CN106487936A - 数据传输方法及设备、分布式存储系统 - Google Patents

数据传输方法及设备、分布式存储系统 Download PDF

Info

Publication number
CN106487936A
CN106487936A CN201611244922.2A CN201611244922A CN106487936A CN 106487936 A CN106487936 A CN 106487936A CN 201611244922 A CN201611244922 A CN 201611244922A CN 106487936 A CN106487936 A CN 106487936A
Authority
CN
China
Prior art keywords
data storage
storage server
data
server
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611244922.2A
Other languages
English (en)
Inventor
熊友军
贾亮亮
粟德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN201611244922.2A priority Critical patent/CN106487936A/zh
Publication of CN106487936A publication Critical patent/CN106487936A/zh
Priority to US15/490,907 priority patent/US10389812B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据传输方法及设备、分布式存储系统，属于存储领域。通过在存储系统中部署负载均衡设备和数据存储服务器集群，将终端上传的数据存储在数据存储服务器集群中的一个数据存储服务器中，避免单点故障，解决了因存储在单一服务器上带来的稳定性差和读写性能差的问题，同时数据存储服务器集群中可以动态扩展节点，提升存储容量。将指示数据的存储位置的路径信息返回给终端，方便终端后续执行备份、下载和查看等操作。

Description

数据传输方法及设备、分布式存储系统
技术领域
本发明涉及存储技术领域，特别涉及数据传输方法及设备、分布式存储系统。
背景技术
随着互联网的发展，终端用户将大量的文件数据(例如：图片、照片或文档)上传到网络侧的服务器存储，并从网络侧的服务器下载数据使用。针对日益增大的数据存储趋势，采用传统的网络侧单一服务器存储方式，存在稳定性差、读写性能差的问题，从而不方便文件的备份、下载和查看等操作。
发明内容
本发明实施例提供了一种能方便文件的备份、下载和查看的数据传输方法及设备、分布式存储系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本发明实施例的第一方面，提供了一种数据传输方法，所述方法包括：
根据设定负载均衡方式，在数据存储服务器集群包括的至少两个数据存储服务器中确定目标数据存储服务器；
将终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器；
所述目标数据存储服务器用于将路径信息返回给所述终端，所述路径信息包含所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置、并与所述描述信息关联；
所述描述信息用于所述终端在读操作时查找关联的路径信息。
可选的，所述根据设定负载均衡方式，确定目标存储服务器，包括：
获取每个所述数据存储服务器的权重；
计算权重最大的数据存储服务器与其他数据存储服务器的权重比；
将所述权重最大的数据存储服务器作为首选目标数据存储服务器，将最小权重比对应的其他数据存储服务器作为次选目标数据存储服务器。
进一步，所述将终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器，包括：
根据所述首选目标数据存储服务器和所述次选目标数据存储服务器的权重比，将所述终端上传的数据及所述数据的描述信息分配到所述首选目标数据存储服务器和所述次选目标数据存储服务器中进行存储。
可选的，所述方法还包括：
将所述终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器对应的数据备份服务器。
可选的，所述方法还包括：
接收从所述路径信息中解析出的所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置；
向带有所述标识的所述目标数据存储服务器发送携带所述存储位置的访问请求；
所述带有所述标识的所述目标数据存储服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
进一步，所述方法还包括：
当检测到带有所述标识的所述目标数据存储服务器发生异常时，向带有所述标识的所述目标数据存储服务器对应的数据备份服务器发送所述访问请求；
所述数据备份服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
根据本发明实施例的第二方面，提供一种数据传输设备，所述设备包括：
确定模块，用于根据设定负载均衡方式，在数据存储服务器集群包括的至少两个数据存储服务器中确定目标数据存储服务器；
第一发送模块，用于将终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器；
所述目标数据存储服务器用于将路径信息返回给所述终端，所述路径信息包含所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置、并与所述描述信息关联；
所述描述信息用于所述终端在读操作时查找关联的路径信息。
可选的，所述确定模块，包括：
获取子模块，用于获取每个所述数据存储服务器的权重；
选择子模块，用于计算权重最大的数据存储服务器与其它数据存储服务器的权重比；将所述权重最大的数据存储服务器作为首选目标数据存储服务器，将最小权重比对应的其他数据存储服务器作为次选目标数据存储服务器。
进一步，所述第一发送模块还用于，根据所述首选目标数据存储服务器和所述次选目标数据存储服务器的权重比，将所述终端上传的数据及所述数据的描述信息分配到所述首选目标数据存储服务器和所述次选目标数据存储服务器中进行存储。
可选的，所述第一发送模块还用于：
将所述终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器对应的数据备份服务器。
可选的，所述设备还包括：
接收模块，用于接收从所述路径信息中解析出所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置；
第二发送模块，用于向带有所述标识的所述目标数据存储服务器发送携带所述存储位置的访问请求；
所述带有所述标识的所述目标数据存储服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
进一步，所述第二发送模块还用于，当检测到带有所述标识的所述目标数据存储服务器发生异常时，向带有所述标识的所述目标数据存储服务器对应的数据备份服务器发送所述访问请求；
所述数据备份服务器，用于将所述存储位置对应的数据发送给提供所述读操作的路径信息的终端。
根据本发明实施例的第三方面，提供一种分布式存储系统，所述系统包括：代理设备、负载均衡设备和数据存储服务器集群；
所述代理设备，用于将终端上传的数据及所述数据对应的描述信息发送给所述负载均衡设备；
所述数据存储服务器集群，包括两个以上数据存储服务器；
所述负载均衡设备，用于根据设定负载均衡方式，确定所述数据存储服务器集群中的目标数据存储服务器，并将所述数据及所述数据对应的描述信息发送到所述目标数据存储服务器；所述目标数据存储服务器用于将路径信息返回给所述终端，所述路径信息包含所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置、并与所述描述信息关联；所述描述信息用于所述终端在读操作时查找关联的路径信息。
可选的，所述代理设备，包括：虚拟服务器和至少两个控制服务器；
所述虚拟服务器，用于检测所述控制服务器的状态；将所述数据及所述数据对应的描述信息发送给任一状态正常的控制服务器；
所述控制服务器，用于将所述数据及所述数据对应的描述信息发送给所述负载均衡设备。
可选的，所述负载均衡设备，包括：至少两个负载均衡服务器；
所述控制服务器，用于检测所述负载均衡服务器的状态；选择任一状态正常的负载均衡服务器发送所述数据。
可选的，所述数据存储服务器每隔设定时间创建一个数据存储目录。
可选的，所述系统还包括：数据备份服务器集群；
所述数据备份服务器集群，包括至少两个数据备份服务器，每个所述数据备份服务器对应所述数据存储服务器集群中的一个所述数据存储服务器；
与所述目标数据存储服务器对应的数据备份服务器，用于接收所述负载均衡设备发送的所述数据及所述数据对应的描述信息。
可选的，所述代理设备，还用于解析所述终端发送的所述路径信息，将所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置发送给所述负载均衡设备；
所述负载均衡设备，还用于向带有所述标识的所述目标数据存储服务器发送携带所述存储位置的访问请求；
所述带有所述标识的数据存储服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
进一步，所述系统还包括：缓存服务器；
所述带有所述标识的所述目标数据存储服务器进一步用于：将所述存储位置对应的数据缓存到所述缓存服务器中；
所述缓存服务器，用于接收所述代理设备发送的包含所述访问请求；向所述代理设备发送与所述访问请求对应的缓存数据。
进一步，所述系统还包括：数据备份服务器集群；
所述数据备份服务器集群，包括至少两个数据备份服务器，每个所述数据备份服务器与所述数据存储服务器集群中的一个所述数据存储服务器对应、并备份对应的所述数据存储服务器存储的数据；
所述负载均衡设备，进一步用于：当检测到带有所述标识的所述目标数据存储服务器发生异常时，向带有所述标识的所述目标数据存储服务器对应的数据备份服务器发送所述访问请求；
所述数据备份服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
本发明实施例提供的技术方案可以包括以下有益效果：
1、采用数据存储服务器集群，通过负载均衡选择将终端写入的数据存储在数据存储服务器集群中的一个数据存储服务器中，避免单点故障，解决了因存储在单一服务器上带来的稳定性差和读写性能差的问题，同时数据存储服务器集群中可以动态扩展节点，提升存储容量；
2、将指示数据的存储位置的路径信息返回给终端，方便终端后续执行备份、下载和查看等操作。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种数据传输方法的数据写操作的流程示意图；
图2是根据一示例性实施例示出的一种数据传输设备的框图；
图3是根据一示例性实施例示出的一种分布式存储系统的框图；
图4是根据一示例性实施例示出的一种分布式存储系统的框图；
图5是根据一示例性实施例示出的一种数据传输方法的数据读操作的流程示意图；
图6是根据一示例性实施例示出的一种数据传输设备的框图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的结构、产品等而言，由于其与实施例公开的部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
以下实施例按写操作和读操作分为两部分说明，第一部分针对数据写操作，即数据上传，第二部分针对数据读操作，即数据下载和查询等，本实施例中以图片的备份、下载和查询为例进行说明，当然操作的数据对象不限于图片。
第一部分：数据写操作。
图1是根据一示例性实施例示出的一种数据传输方法的数据写操作的流程示意图，该方法包括如下步骤。
在步骤101中，根据设定负载均衡方式，在数据存储服务器集群包括的至少两个数据存储服务器中确定目标数据存储服务器。
在步骤102中，将终端上传的数据及数据的描述信息发送到目标数据存储服务器。
目标数据存储服务器用于将路径信息返回给终端，所述路径信息包含目标数据存储服务器的标识及数据在目标数据存储服务器中的存储位置、并与描述信息关联。
描述信息用于终端在读操作时查找关联的路径信息。
图2是根据一示例性实施例示出的一种数据传输设备200的框图，该设备包括：确定模块201和第一发送模块202。
确定模块201，用于根据设定负载均衡方式，在数据存储服务器集群包括的至少两个数据存储服务器中确定目标数据存储服务器。
第一发送模块202，用于将终端上传的数据及数据的描述信息发送到目标数据存储服务器。
目标数据存储服务器用于将路径信息返回给终端，路径信息包含目标数据存储服务器的标识及数据在目标数据存储服务器中的存储位置、并与描述信息关联。
描述信息用于终端在读操作时查找关联的路径信息。
图3是根据一示例性实施例示出的一种分布式存储系统的框图，该系统包括：代理设备301、负载均衡设备302和数据存储服务器集群303。
代理设备301，用于将终端上传的数据及数据对应的描述信息发送给负载均衡设备302。
数据存储服务器集群303，包括两个以上数据存储服务器。
负载均衡设备302，用于根据设定负载均衡方式，确定目标数据存储服务器，并将数据及数据对应的描述信息发送到确定的目标数据存储服务器。
目标数据存储服务器用于将路径信息返回给终端，路径信息包含目标数据存储服务器的标识和数据在目标数据存储服务器中的存储位置、并与描述信息关联。
作为一种可选的实施方式，图3所示的负载均衡设备302可以具有与图2所示数据传输设备200相同的结构。
可以看出，本发明实施例第一部分提供的数据传输方法及装置、分布式存储系统，采用数据存储服务器集群，并通过上述数据传输方法选择将终端写入的数据存储在数据存储服务器集群中的一个数据存储服务器中，避免单点故障，解决因数据存储在单一服务器上带来的稳定性差和写入性能低的问题，同时数据存储服务器集群中可以动态扩展节点，提升存储容量。将指示数据的存储位置的路径信息返回给终端，方便终端后续执行备份、下载和查看等操作。
图4是根据一示例性实施例示出的一种分布式存储系统的框图。
如图4所示，本发明实施例中的分布式存储系统的架构包括：动态代理层、负载均衡层、数据存储层和数据备份层。
上述动态代理层中有代理设备401，上述负载均衡层中有负载均衡设备402，上述数据存储层中有数据存储服务器集群403，上述数据备份层中有数据备份服务器集群404。其中，上述负载均衡设备402中包括至少两个负载均衡服务器4021，上述数据存储服务器集群403中包括至少两个数据存储服务器4031，上述数据备份服务器集群404中包括至少两个数据备份服务器4041。
图4所示的系统的架构中还包括数据库405。
作为一种可选的实施方式，代理设备401可以包括：虚拟服务器4011和至少两个控制服务器4012。其中，虚拟服务器4011对应一个接入地址，用户通过终端访问该接入地址与虚拟服务器4011通信。虚拟服务器4011检测控制服务器4012的状态，将终端上传的数据及数据对应的描述信息随机发送给任一状态正常的控制服务器4012，防止单点故障。控制服务器4012将接收到的数据发送给负载均衡设备402。
作为一种可选的实施方式，控制服务器4012可以由Nginx实现，并由Nginx上的Keeplived实现故障检测和状态正常服务器的选择。
作为一种可选的实施方式，负载均衡设备402可以包括：至少两个负载均衡服务器4021。代理设备401中负责发送数据的控制服务器4012，可以检测负载均衡服务器4021的状态，选择任一状态正常的负载均衡服务器4021来发送终端上传的数据，即可以通过Keeplived来完成选择负载均衡服务器4021的操作，防止单点故障。
作为一种可选的实施方式，负载均衡服务器4021根据设定负载均衡方式，确定目标数据存储服务器，并将由代理设备401的控制服务器4012传递来的终端上传的数据及数据对应的描述信息发送到目标数据存储服务器。
负载均衡服务器4021有多种选择目标数据存储服务器的方式，这里给出一种举例。负载均衡服务器4021可以先获取每个数据存储服务器4031的权重，然后选择权重最大的数据存储服务器4031作为首选目标数据存储服务器，并计算该首选的目标数据存储服务器与其他数据存储服务器4031的权重比，将最小权重比对应的其他数据存储服务器4031作为次选目标数据存储服务器，再根据该首选目标数据存储服务器与次选目标数据存储服务器的权重比，来将数据均衡分配到首选目标数据存储服务器及次选目标数据存储服务器中进行存储。因此，目标数据存储服务器可以包括首选目标数据存储服务器及次选目标数据存储服务器。上述权重指示数据存储服务器4031的负载，权重越大代表负载越小，因此权重大的数据存储服务器4031被选择的概率更大。作为一种可选的情况，如果某个数据存储服务器4031的权重值为0，则不会再将数据存储到该数据存储服务器4031上，相当于在数据上传场景下逻辑删除该数据存储服务器4031，但并不影响从该数据存储服务器4031上读数据，从而提高数据存储效率。
在本实施例中，存储于所述目标数据存储服务器4031的数据带有描述信息，所述被存储的数据对象以照片为例，该数据的描述信息包括如下一个或几个：照片的拍摄时间、上传时间、拍摄地点、拍摄的类型(风景、人物或动物)、照片的容量大小及照片序号等。
作为一种可选的实施方式，数据存储服务器4031设置有初始权重值，然后每隔设定时间，数据存储服务器4031向负载均衡服务器4021上报自己的存储容量，负载均衡服务器4021根据与数据存储服务器4031预先设定的对应关系，更新数据存储服务器4031的权重值。数据存储服务器4031可以在每次上报时，向所有负载均衡服务器4021进行上报，上报时还可携带该数据存储服务器4031的标识，例如该数据存储服务器4031的序列号，以便负载均衡服务器4021记录所有数据存储服务器4031更新后的权重，在选择数据存储服务器4031时快速获取并使用。
数据存储服务器集群403位于数据存储层，包括至少两个数据存储服务器4031，这种集群部署能够提高写入性能。
作为一种可选的实施方式，为了避免单个目录下数据量过大，数据存储服务器4031可以每隔设定时间创建一个数据存储目录。
作为一种可选的实施方式，数据存储服务器4031完成数据存储之后，将路径信息返回给上传数据的终端，终端将该路径信息及上传的数据的描述信息一起保存到指定的数据库405中。用户后续可以根据描述信息到数据库405中查找对应的路径信息，以开始数据读操作的流程。可选的，多个描述信息的结合可对应一路径信息。
数据备份服务器集群404位于数据备份层，包括至少两个数据备份服务器4041，每个数据备份服务器4041与一个数据存储服务器4031对应，避免单点故障。负载均衡服务器4021在将终端上传的数据及描述信息发送到目标数据存储服务器时，也可以将终端上传的数据及描述信息发送到与目标数据存储服务器对应的数据备份服务器4041，由此提高存储可靠性。作为一种可选的实施方式，当数据存储服务器4031每隔设定时间创建一个数据存储目录时，对应的数据备份服务器4041也同步创建一个数据存储目录。数据存储服务器4031与其对应的数据备份服务器4041的同步可以通过多种方式实现，这里不做限定。
作为一种可选的实施方式，图4中所示的负载均衡服务器4021可以具有与图2所示的数据传输设备相同的结构，即包括：确定模块201和第一发送模块202。进一步，确定模块201又可以包括：获取子模块和选择子模块。上述获取子模块，用于获取每个数据存储服务器4031的权重。上述选择子模块，用于计算权重最大的数据存储服务器与其它数据存储服务器的权重比；将所述权重最大的数据存储服务器作为首选目标数据存储服务器，将最小权重比对应的其他数据存储服务器作为次选目标数据存储服务器。进一步，上述第一发送模块202还用于根据首选目标数据存储服务器和次选目标数据存储服务器的权重比，将终端上传的数据及数据的描述信息分配到首选目标数据存储服务器和次选目标数据存储服务器中进行存储。进一步，上述第一发送模块202还用于将终端上传的数据及描述信息发送到目标数据存储服务器对应的数据备份服务器4041。
可以看出在图4所示的实施例中，分布式存储系统取得了如下技术效果：
1)负载均衡层具有高可用性和高性能，避免单点故障、提高写入性能；
2)数据存储层集群部署，提高写入性能，避免单点故障；
3)数据备份层避免单点故障；
4)负载均衡层和数据存储层都可以动态扩展，增加集群节点，提高存储容量。
第二部分：数据读操作
图5是根据一示例性实施例示出所述数据传输方法的数据读操作的流程示意图，该流程包括如下步骤。
在步骤501中，接收目标数据存储服务器的标识及数据在目标数据存储服务器中的存储位置。
在本步骤中，终端接收输入的待读取数据的描述信息，并根据该描述信息在设定数据库中查找与该描述信息对应的路径信息，然后将路径信息发送到分布式存储系统中进行解析，得到目标数据存储服务器的标识及及数据在目标数据存储服务器中的存储位置。
在步骤502中，向带有标识的目标数据存储服务器发送携带存储位置的访问请求。
上述带有标识的目标数据存储服务器，根据存储位置获取到相应的数据。
上述带标识的目标数据存储服务器位于数据存储服务器集群中，数据存储服务器集群包括至少两个数据存储服务器。
图6是根据一示例性实施例示出的一种负载均衡设备600的框图，该设备包括：接收模块601和第二发送模块602。
接收模块601，用于接收从路径信息中解析出的目标数据存储服务器的标识及数据在目标数据存储服务器中的存储位置的解析结果。
第二发送模块602，用于向带有标识的目标数据存储服务器发送携带存储位置的访问请求。
上述带有标识的目标数据存储服务器，用于将与存储位置对应的数据发送给提供上述路径信息的终端。
上述带标识的目标数据存储服务器位于数据存储服务器集群中，数据存储服务器集群包括至少两个数据存储服务器。
第二部分中分布式存储系统的一种示例性框图，与第一部分中图3所示相同，这里基于图3进行描述。
分布式系统包括：代理设备301、负载均衡设备302和数据存储服务器集群303。
代理设备301，用于解析终端发送的路径信息，将目标数据存储服务器的标识及存储位置的解析结果发送给负载均衡设备302。
数据存储服务器集群303，包括至少两个数据存储服务器。
负载均衡设备302，用于向带有标识的目标数据存储服务器发送携带存储位置的访问请求。
上述带有标识的数据存储服务器，用于将与上述存储位置对应的数据发送给提供上述路径信息的终端。
作为一种可选的实施方式，图3所示的负载均衡设备302可以具有与图6所示数据传输设备600相同的结构。
可以看出，本发明实施例第二部分提供的数据传输方法及装置、分布式存储系统，采用数据存储服务器集群，并通过上述负载均衡设备302定位到路径信息所指示的数据存储服务器，由于数据存储服务器本身采用集群部署，不会出现由于单一服务器部署而产生的下载压力过大，影响读出性能的问题。
第二部分中分布式存储系统的另一种示例性框图，与第一部分中图4所示相同，这里基于图4进行描述。
如图4所示，本发明实施例中的分布式存储系统的架构包括：动态代理层、负载均衡层、数据存储层和数据备份层。
上述动态代理层中有代理设备401，上述负载均衡层中有负载均衡设备402，上述数据存储层中有数据存储服务器集群403，上述数据备份层中有数据备份服务器集群404。其中，上述负载均衡设备402中包括至少两个负载均衡服务器4021，上述数据存储服务器集群403中包括至少两个数据存储服务器4031，数据备份服务器集群404中包括至少两个数据备份服务器4041。
图4所示的系统的架构中还包括数据库405。
作为一种可选的实施方式，代理设备401可以包括：虚拟服务器4011和至少两个控制服务器4012。其中，虚拟服务器4011对应一个接入地址，用户通过终端访问该接入地址与虚拟服务器401通信。虚拟服务器4011检测控制服务器4012的状态，将终端发送的路径信息随机发送给任一状态正常的控制服务器4012，防止单点故障。控制服务器4012用于解析路径信息，将目标数据存储服务器的标识及存储位置的解析结果发送给负载均衡设备402。终端可以通过访问数据库405获取路径信息。
作为一种可选的实施方式，控制服务器4012可以由Nginx实现，并由Nginx上的Keeplived实现故障检测和状态正常服务器的选择。
作为一种可选的实施方式，控制服务器4012连接有缓存服务器，图4中并未示出。针对一些下载量超过设定阈值的路径信息，数据存储服务器4031可以将对应的数据缓存到缓存服务器中，这样当控制服务器4012再次解析终端发送的该路径信息时，就可以直接向缓存服务器发送访问请求，并接收缓存服务器发送的与访问请求对应的缓存数据，无需再经过负载均衡设备402向数据存储服务器集群403请求数据访问，保证了数据存储服务器集群403的高可用性和高性能。
作为一种可选的实施方式，负载均衡设备402可以包括：至少两个负载均衡服务器4021。代理设备401中负责发送数据的控制服务器4012，可以检测负载均衡服务器4021的状态，选择任一负载均衡服务器4021来发送路径信息的解析结果，即可以通过Keeplived来完成选择负载均衡服务器4021的操作，防止单点故障。
作为一种可选的实施方式，负载均衡服务器4021根据解析结果，定位到数据存储服务器的标识所指示的目标数据存储服务器4031，并向该目标数据存储服务器4031发送包含存储位置的访问请求。
数据存储服务器集群403位于数据存储层，包括至少两个数据存储服务器4031，这种集群部署能够提高读出性能。
数据备份服务器集群404位于数据备份层，包括至少两个数据备份服务器4041，每个数据备份服务器4041与一个数据存储服务器4031对应，并将对应的数据存储服务器4031存储的数据进行备份，避免单点故障。负载均衡服务器4021在检测到标识指示的目标数据存储服务器4031发生异常时，可以向该目标数据存储服务器4031对应的数据备份服务器4041发送访问请求，并接收该数据备份服务器4041发送的与存储位置对应的数据，由此提高读出可靠性。
作为一种可选的实施方式，上述负载均衡服务器4021具有与图6所示的数据传输设备600相同的结构，即包括：接收模块601和第二发送模块602。第二发送模块602还用于：当检测到标识指示的目标数据存储服务器4031发生异常时，向与标识指示的目标数据存储服务器4031对应的数据备份服务器4041发送访问请求。
由于数据读操作的比例远远高于数据写操作比例，本发明实施例中将数据读操作和数据写操作分开处理，能保证不会因读操作的压力而影响数据写操作。
以上虽然将第一部分和第二部分分开说明，但可以理解的是，第一部分和第二部分的负载均衡设备可以在同一设备上实现，第一部分和第二部分的分布式存储系统也可以在同一架构下实现。
以上图2和图6所示的数据传输设备中的各模块，可以由软件实现，也可以由硬件实现，还可以由软件和硬件共同实现。
作为一种可选的实施方式，上述数据传输设备可以具有另一种结构，即包括处理器和存储器，其中存储器中存储有处理器可执行的指令，当处理器读取指令执行时，实现前文描述的数据传输设备的各项功能。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (20)

1.一种数据传输方法，其特征在于，所述方法包括：
根据设定负载均衡方式，在数据存储服务器集群包括的至少两个数据存储服务器中确定目标数据存储服务器；
将终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器；
所述目标数据存储服务器用于将路径信息返回给所述终端，所述路径信息包含所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置、并与所述描述信息关联；
所述描述信息用于所述终端在读操作时查找关联的路径信息。
2.如权利要求1所述的方法，其特征在于，所述根据设定负载均衡方式，确定目标数据存储服务器，包括：
获取每个所述数据存储服务器的权重；
计算权重最大的数据存储服务器与其他数据存储服务器的权重比；
将所述权重最大的数据存储服务器作为首选目标数据存储服务器，将最小权重比对应的其他数据存储服务器作为次选目标数据存储服务器。
3.如权利要求2所述的方法，其特征在于，所述将终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器，包括：
根据所述首选目标数据存储服务器和所述次选目标数据存储服务器的权重比，将所述终端上传的数据及所述数据的描述信息分配到所述首选目标数据存储服务器和所述次选目标数据存储服务器中进行存储。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
将所述终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器对应的数据备份服务器。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
接收从所述路径信息中解析出的所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置；
向带有所述标识的所述目标数据存储服务器发送携带所述存储位置的访问请求；
所述带有所述标识的所述目标数据存储服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
当检测到带有所述标识的所述目标数据存储服务器发生异常时，向带有所述标识的所述目标数据存储服务器对应的数据备份服务器发送所述访问请求；
所述数据备份服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
7.一种数据传输设备，其特征在于，所述设备包括：
确定模块，用于根据设定负载均衡方式，在数据存储服务器集群包括的至少两个数据存储服务器中确定目标数据存储服务器；
第一发送模块，用于将终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器；
所述目标数据存储服务器用于将路径信息返回给所述终端，所述路径信息包含所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置、并与所述描述信息关联；
所述描述信息用于所述终端在读操作时查找关联的路径信息。
8.如权利要求7所述的设备，其特征在于，所述确定模块，包括：
获取子模块，用于获取每个所述数据存储服务器的权重；
选择子模块，用于计算权重最大的数据存储服务器与其他数据存储服务器的权重比；将所述权重最大的数据存储服务器作为首选目标数据存储服务器，将最小权重比对应的其他数据存储服务器作为次选目标数据存储服务器。
9.如权利要求8所述的设备，其特征在于，所述第一发送模块还用于：
根据所述首选目标数据存储服务器和所述次选目标数据存储服务器的权重比，将所述终端上传的数据及所述数据的描述信息分配到所述首选目标数据存储服务器和所述次选目标数据存储服务器中进行存储。
10.如权利要求7所述的设备，其特征在于，所述第一发送模块还用于，将所述终端上传的数据及所述数据的描述信息发送到所述目标数据存储服务器对应的数据备份服务器。
11.如权利要求7所述的设备，其特征在于，所述设备还包括：
接收模块，用于接收从所述路径信息中解析出所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置；
第二发送模块，用于向带有所述标识的所述目标数据存储服务器发送携带所述存储位置的访问请求；
所述带有所述标识的所述目标数据存储服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
12.如权利要求11所述的设备，其特征在于，所述第二发送模块还用于，当检测到带有所述标识的所述目标数据存储服务器发生异常时，向带有所述标识的所述目标数据存储服务器对应的数据备份服务器发送所述访问请求；
所述数据备份服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
13.一种分布式存储系统，其特征在于，所述系统包括：代理设备、负载均衡设备和数据存储服务器集群；
所述代理设备，用于将终端上传的数据及所述数据对应的描述信息发送给所述负载均衡设备；
所述数据存储服务器集群，包括两个以上数据存储服务器；
所述负载均衡设备，用于根据设定负载均衡方式，确定所述数据存储服务器集群中的目标数据存储服务器，并将所述数据及所述数据对应的描述信息发送到所述目标数据存储服务器；所述目标数据存储服务器用于将路径信息返回给所述终端，所述路径信息包含所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置、并与所述描述信息关联；所述描述信息用于所述终端在读操作时查找关联的路径信息。
14.如权利要求13所述的系统，其特征在于，所述代理设备，包括：虚拟服务器和至少两个控制服务器；
所述虚拟服务器，用于检测所述控制服务器的状态；将所述数据及所述数据对应的描述信息发送给任一状态正常的控制服务器；
所述控制服务器，用于将所述数据及所述数据对应的描述信息发送给所述负载均衡设备。
15.如权利要求14所述的系统，其特征在于，所述负载均衡设备，包括：至少两个负载均衡服务器；
所述控制服务器，用于检测所述负载均衡服务器的状态；选择任一状态正常的负载均衡服务器发送所述数据。
16.如权利要求13所述的系统，其特征在于，所述数据存储服务器每隔设定时间创建一个数据存储目录。
17.如权利要求13至16任一项所述的系统，其特征在于，所述系统还包括：数据备份服务器集群；
所述数据备份服务器集群，包括至少两个数据备份服务器，每个所述数据备份服务器对应所述数据存储服务器集群中的一个所述数据存储服务器；
与所述目标数据存储服务器对应的数据备份服务器，用于接收所述负载均衡设备发送的所述数据及所述数据对应的描述信息。
18.如权利要求13所述的系统，其特征在于，所述代理设备，还用于解析所述终端发送的所述路径信息，将所述目标数据存储服务器的标识及所述数据在所述目标数据存储服务器中的存储位置发送给所述负载均衡设备；
所述负载均衡设备，还用于向带有所述标识的所述目标数据存储服务器发送携带所述存储位置的访问请求；
所述带有所述标识的数据存储服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
19.如权利要求18所述的系统，其特征在于，所述系统还包括：缓存服务器；
所述带有所述标识的所述目标数据存储服务器进一步用于：将所述存储位置对应的数据缓存到所述缓存服务器中；
所述缓存服务器，用于接收所述代理设备发送的所述访问请求；向所述代理设备发送与所述访问请求对应的缓存数据。
20.如权利要求18所述的系统，其特征在于，所述系统还包括：数据备份服务器集群；
所述数据备份服务器集群，包括至少两个数据备份服务器，每个所述数据备份服务器与所述数据存储服务器集群中的一个所述数据存储服务器对应、并备份对应的所述数据存储服务器存储的数据；
所述负载均衡设备，进一步用于：当检测到带有所述标识的所述目标数据存储服务器发生异常时，向带有所述标识的所述目标数据存储服务器对应的数据备份服务器发送所述访问请求；
所述数据备份服务器，用于将所述存储位置对应的数据发送给提供所述路径信息的终端。
CN201611244922.2A 2016-12-29 2016-12-29 数据传输方法及设备、分布式存储系统 Pending CN106487936A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611244922.2A CN106487936A (zh) 2016-12-29 2016-12-29 数据传输方法及设备、分布式存储系统
US15/490,907 US10389812B2 (en) 2016-12-29 2017-04-19 Data transmission method and device, distributed storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611244922.2A CN106487936A (zh) 2016-12-29 2016-12-29 数据传输方法及设备、分布式存储系统

Publications (1)

Publication Number Publication Date
CN106487936A true CN106487936A (zh) 2017-03-08

Family

ID=58286015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611244922.2A Pending CN106487936A (zh) 2016-12-29 2016-12-29 数据传输方法及设备、分布式存储系统

Country Status (2)

Country Link
US (1) US10389812B2 (zh)
CN (1) CN106487936A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145406A (zh) * 2017-05-14 2017-09-08 四川盛世天成信息技术有限公司 一种基于集群技术的容灾备份方法及系统
CN107704490A (zh) * 2017-08-22 2018-02-16 贵州白山云科技有限公司 一种基于对等存储的数据处理方法及装置
CN108153491A (zh) * 2017-12-22 2018-06-12 深圳市瑞驰信息技术有限公司 一种可关闭部分服务器的存储方法及架构
CN108156240A (zh) * 2017-12-25 2018-06-12 深圳市智物联网络有限公司 一种工业适配器接入服务器的方法及系统
CN108256087A (zh) * 2018-01-22 2018-07-06 北京腾云天下科技有限公司 一种基于位图结构的数据导入、查询及处理方法
CN109032803A (zh) * 2018-08-01 2018-12-18 阿里巴巴集团控股有限公司 数据处理方法和装置、客户端
CN109936587A (zh) * 2017-12-15 2019-06-25 北京京东尚科信息技术有限公司 控制方法、控制装置、电子设备及存储介质
CN109981702A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 一种文件存储方法及系统
CN110474951A (zh) * 2019-07-01 2019-11-19 视联动力信息技术股份有限公司 一种指纹采集方法和视联网服务器
CN110837524A (zh) * 2019-10-29 2020-02-25 湖南国奥电力设备有限公司 地下电缆数据处理方法和装置
CN110912953A (zh) * 2018-09-17 2020-03-24 深圳市优必选科技有限公司 一种文件存储系统及方法
CN111064808A (zh) * 2019-12-30 2020-04-24 北京天融信网络安全技术有限公司 一种基于分布式存储系统的负载均衡方法及装置
CN111277801A (zh) * 2020-03-03 2020-06-12 西安烽火软件科技有限公司 一种基于内容的监控视频存储系统及应用方法
CN111597041A (zh) * 2020-04-27 2020-08-28 深圳市金证科技股份有限公司 一种分布式系统的调用方法、装置、终端设备及服务器
WO2020186807A1 (zh) * 2019-03-15 2020-09-24 南瑞集团有限公司 一种基于区块链技术的电力数据链接系统及方法
CN112910830A (zh) * 2019-12-04 2021-06-04 北京博瑞华通科技有限公司 车联网的数据传输系统、数据上传方法及数据下发方法
CN112905114A (zh) * 2021-02-10 2021-06-04 山东英信计算机技术有限公司 一种分布式存储的性能调节方法、系统及介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561151B (zh) * 2018-12-12 2021-09-17 北京达佳互联信息技术有限公司 数据存储方法、装置、服务器和存储介质
CN110365748B (zh) * 2019-06-24 2022-11-08 深圳市腾讯计算机系统有限公司 业务数据的处理方法和装置、存储介质及电子装置
CN110784515B (zh) * 2019-09-19 2022-11-22 平安科技（深圳）有限公司 基于分布式集群的数据存储方法、及其相关设备
CN110933139A (zh) * 2019-11-05 2020-03-27 浙江工业大学 一种解决Web服务器高并发的系统及方法
CN111294287B (zh) * 2020-02-14 2023-11-21 广州市百果园信息技术有限公司 一种数据上传方法、装置、设备和存储介质
CN114095502B (zh) * 2021-10-08 2023-11-03 浙江吉利控股集团有限公司 一种业务处理方法、系统、装置及介质
CN117896380B (zh) * 2024-03-14 2024-05-31 广州云积软件技术有限公司 用于云考试的高并发信息处理方法、系统和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110656A (zh) * 2006-07-18 2008-01-23 宇龙计算机通信科技(深圳)有限公司 无线网络硬盘系统的文件传输方法
CN101552945A (zh) * 2009-05-08 2009-10-07 中兴通讯股份有限公司 一种实现媒体内容共享的方法及系统
CN103139311A (zh) * 2013-03-07 2013-06-05 珠海金山办公软件有限公司 一种文件共享系统、装置及方法
CN104023088A (zh) * 2014-06-28 2014-09-03 山东大学 一种应用于分布式文件系统的存储服务器选择方法
CN104104582A (zh) * 2013-04-12 2014-10-15 阿里巴巴集团控股有限公司 一种数据存储路径管理方法、客户端及服务器
CN104506647A (zh) * 2014-12-31 2015-04-08 北京奇艺世纪科技有限公司 一种数据存储系统及存储和访问方法
CN104994171A (zh) * 2015-07-15 2015-10-21 上海斐讯数据通信技术有限公司 一种分布式存储方法与系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867341B2 (en) * 2007-11-09 2014-10-21 International Business Machines Corporation Traffic management of client traffic at ingress location of a data center
US9800575B1 (en) * 2014-09-24 2017-10-24 Ebay Inc. Assigning storage responsibility in a distributed data storage system with replication
US9842153B2 (en) * 2015-03-03 2017-12-12 SwiftStack, Inc. Usage and bandwidth utilization collection mechanism for a distributed storage system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110656A (zh) * 2006-07-18 2008-01-23 宇龙计算机通信科技(深圳)有限公司 无线网络硬盘系统的文件传输方法
CN101552945A (zh) * 2009-05-08 2009-10-07 中兴通讯股份有限公司 一种实现媒体内容共享的方法及系统
CN103139311A (zh) * 2013-03-07 2013-06-05 珠海金山办公软件有限公司 一种文件共享系统、装置及方法
CN104104582A (zh) * 2013-04-12 2014-10-15 阿里巴巴集团控股有限公司 一种数据存储路径管理方法、客户端及服务器
CN104023088A (zh) * 2014-06-28 2014-09-03 山东大学 一种应用于分布式文件系统的存储服务器选择方法
CN104506647A (zh) * 2014-12-31 2015-04-08 北京奇艺世纪科技有限公司 一种数据存储系统及存储和访问方法
CN104994171A (zh) * 2015-07-15 2015-10-21 上海斐讯数据通信技术有限公司 一种分布式存储方法与系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145406A (zh) * 2017-05-14 2017-09-08 四川盛世天成信息技术有限公司 一种基于集群技术的容灾备份方法及系统
CN107704490A (zh) * 2017-08-22 2018-02-16 贵州白山云科技有限公司 一种基于对等存储的数据处理方法及装置
CN109936587A (zh) * 2017-12-15 2019-06-25 北京京东尚科信息技术有限公司 控制方法、控制装置、电子设备及存储介质
CN108153491A (zh) * 2017-12-22 2018-06-12 深圳市瑞驰信息技术有限公司 一种可关闭部分服务器的存储方法及架构
CN108156240A (zh) * 2017-12-25 2018-06-12 深圳市智物联网络有限公司 一种工业适配器接入服务器的方法及系统
CN109981702A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 一种文件存储方法及系统
CN109981702B (zh) * 2017-12-27 2022-04-15 深圳市优必选科技有限公司 一种文件存储方法及系统
CN108256087A (zh) * 2018-01-22 2018-07-06 北京腾云天下科技有限公司 一种基于位图结构的数据导入、查询及处理方法
CN109032803A (zh) * 2018-08-01 2018-12-18 阿里巴巴集团控股有限公司 数据处理方法和装置、客户端
US11233878B2 (en) 2018-08-01 2022-01-25 Advanced New Technologies Co., Ltd. Data processing method, apparatus, and client device
CN110912953A (zh) * 2018-09-17 2020-03-24 深圳市优必选科技有限公司 一种文件存储系统及方法
WO2020186807A1 (zh) * 2019-03-15 2020-09-24 南瑞集团有限公司 一种基于区块链技术的电力数据链接系统及方法
CN110474951A (zh) * 2019-07-01 2019-11-19 视联动力信息技术股份有限公司 一种指纹采集方法和视联网服务器
CN110837524A (zh) * 2019-10-29 2020-02-25 湖南国奥电力设备有限公司 地下电缆数据处理方法和装置
CN110837524B (zh) * 2019-10-29 2023-05-16 湖南国奥电力设备有限公司 地下电缆数据处理方法和装置
CN112910830A (zh) * 2019-12-04 2021-06-04 北京博瑞华通科技有限公司 车联网的数据传输系统、数据上传方法及数据下发方法
CN112910830B (zh) * 2019-12-04 2022-10-21 北京博瑞华通科技有限公司 车联网的数据传输系统、数据上传方法及数据下发方法
CN111064808A (zh) * 2019-12-30 2020-04-24 北京天融信网络安全技术有限公司 一种基于分布式存储系统的负载均衡方法及装置
CN111277801A (zh) * 2020-03-03 2020-06-12 西安烽火软件科技有限公司 一种基于内容的监控视频存储系统及应用方法
CN111277801B (zh) * 2020-03-03 2021-08-31 西安烽火软件科技有限公司 一种基于内容的监控视频存储系统及应用方法
CN111597041A (zh) * 2020-04-27 2020-08-28 深圳市金证科技股份有限公司 一种分布式系统的调用方法、装置、终端设备及服务器
CN112905114A (zh) * 2021-02-10 2021-06-04 山东英信计算机技术有限公司 一种分布式存储的性能调节方法、系统及介质
CN112905114B (zh) * 2021-02-10 2022-09-20 山东英信计算机技术有限公司 一种分布式存储的性能调节方法、系统及介质

Also Published As

Publication number Publication date
US20180191815A1 (en) 2018-07-05
US10389812B2 (en) 2019-08-20

Similar Documents

Publication Publication Date Title
CN106487936A (zh) 数据传输方法及设备、分布式存储系统
CN102047244B (zh) 在内容分发网络(cdn)中处理长尾内容
JP5103530B2 (ja) グローバルトラフィックロードバランシングのためのクライアントの場所及びリゾルバの負荷を判断するためのｄｎｓワイルドカードビーコニング
CN101409706B (zh) 一种边缘网络中的数据分发方法、数据分发系统及相关设备
CN101472166B (zh) 一种内容缓存、查询方法及点对点媒体传输系统
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
CN105791344A (zh) 灰度发布业务处理的方法、系统、负载均衡器及服务总线装置
CN102104617A (zh) 一种网站运营系统存储海量图片数据的方法
CN102523234A (zh) 一种应用服务器集群实现方法及系统
CN106357539B (zh) 一种数据获取方法和设备
US10067719B1 (en) Methods and systems for storing and accessing data in a distributed data storage system
US20060069778A1 (en) Content distribution system
CN104185036A (zh) 一种视频文件回源方法及装置
CN105515872A (zh) 配置信息的更新方法、装置及系统
CN106202416A (zh) 列表数据写方法和装置、列表数据读取方法和装置
CN106649804A (zh) 数据查询服务器的数据处理方法及装置、数据处理系统
CN107741859A (zh) 基于国产cpu和os的软件包管理方法、装置及系统
CN103024050B (zh) 分发器和对多个服务器进行分发的方法
CN106131113A (zh) 一种资源下载方法、装置、系统以及资源服务器
CN105242983A (zh) 一种数据存储方法以及一种数据存储管理服务器
CN106959820A (zh) 一种数据提取方法和系统
CN109873855A (zh) 一种基于区块链网络的资源获取方法和系统
CN102984277B (zh) 防止恶意连接的系统和方法
CN101931999A (zh) 业务接入方法、门户切换服务器及业务接入系统
CN107071072A (zh) 一种处理对象存储高并发请求的分布式网关方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170308

RJ01 Rejection of invention patent application after publication