CN115002103A

CN115002103A - 一种分布式网络中数据极速传输的方法及系统

Info

Publication number: CN115002103A
Application number: CN202210929562.9A
Authority: CN
Inventors: 胡广庆; 陈敏
Original assignee: Zhengchain Science And Technology Shenzhen Co ltd
Current assignee: Zhengchain Science And Technology Shenzhen Co ltd
Priority date: 2022-08-04
Filing date: 2022-08-04
Publication date: 2022-09-02
Anticipated expiration: 2042-08-04
Also published as: CN115002103B

Abstract

本发明提供一种分布式网络中数据极速传输的方法及系统，该方法实现对加入到分布式网络中的节点的数据进行分布式存储；包括获取终端上传文件的请求步骤；根据分布式网络协议，确定分布式存储的目标地址和对应的文件服务器的步骤；使终端将待上传的文件切割成规定大小的数据块，依次传送到所述对应的文件服务器中设定的目标文件服务器的步骤；所述目标文件服务器将接收到的数据块传送给其它文件服务器的步骤，该系统实现上述方法。本发明中终端节点要上传文件时，只需要将上传的文件切割成规定大小的数据块，将数据块上传一次，由文件服务器完成分布式存储，减小了终端节点的开销。

Description

一种分布式网络中数据极速传输的方法及系统

技术领域

本发明涉及分布式网络领域，特别是一种分布式网络中数据极速传输的方法及系统。

背景技术

分布式网络是由分布在不同地点且具有多个终端的节点机互连而成的。网中任一点均至少与两条线路相连，当任意一条线路发生故障时，通信可转经其他链路完成，具有较高的可靠性。同时，网络易于扩充。

目前，分布式数据网络中进行分布式存储数据时，在分布式存储系统中，一般会基于某种策略将数据的访问服务分散到不同的存储节点。

当前文件传输模块的上传功能，其操作由 V 端发起， V 端通过共享内存把上传文件的信息写入里面，然后通知主程序的网关模块。网关模块收到消息后，把消息转发给文件传输模块的客户端子模块，客户端子模块收到消息后，获得待上传的文件路径，大小，内容等信息，然后按每片 64K 字节的大小把文件的内容切割成若干个数据片。对每一个数据片，文件子模块会查询路由，得到一个目标节点列表（通常含有 20 个节点），然后按顺序依次把这个数据片发给每一个节点。这样就完成了整个文件的传输。其中的过程如图1所示：

我们假设传输一个块（64K 字节）到一个文件服务器节点所需时间为 T，则依次传到 20个节点共耗时 20T，设一个文件被切割为N个块，那传输这个文件的总时间为20NT。也就是说，一个分布式网络的用户（加入到分布式网络中的节点，V端）如果要将一个切割为N个块的文件存储到分布式网络中（分布式存储）时，将要这个V端在20NT的时间才能传送完毕，这对于V端来说是很不好的体验，特别是对于一些加入到分布式网络中的移动终端来说，要让该移动终端使用20NT的时间才能传送一个文件，给移动用户带来很不好的体验。

零极分布式网络近年由本申请人设计的一种应用非常广泛的分布式网络，如图2所示，该分布式网络的节点分布在互联网中，管理的节点划分为基站节点和移动节点两种大类型。节点以节点ID为标识，每个加入到分布式网络的节点都被分配一个20个字节的节点ID，在加入到分布式网络时生成的节点ID遵循一定范围内的均匀分布规则，本领域技术人员知道这种ID生成算法进行的长时间实验数据验证。

加入到零极分布式网络中的节点根据某些协议接受网络服务，如在分布式网络中查询资料，观看网络中的直播节目，或者在分布式网络对外销售产品、下载数据等；也可以为分布式网络提供资源，如某些智能终端加入零极分布式网络中成为一个节点后，利用与分布式网络系统之间的协议，为分布式网络提供资源，如提供计算能力，提供存储空间，进行直播等。

目前，需要加入到零极分布式网络中的智能终端（节点）中，有些是需要将自己的数据进行分布式存储，实践中，分布式存储为了保证数据可靠，将数据分成很多拷贝分别存储在分布式网络的设定的节点中。

目前，节点（V端）有数据需要存储到分布式网络中时，V端发起数据传输，网络系统为V端提供文件服务器，每个文件服务器完成分布式网络中一个拷贝的存储服务。

发明内容

本发明的目的是提供一种分布式网络中数据极速传输的方法及系统，该系统采用传输裂变方案，V端只需要将一个数据片传输到文件服务器以后，由文件服务器传输到其它的文件服务器中，大大节省V端的文件传送时间。

本发明实现其技术目的技术方案是：一种分布式网络中数据极速传输的方法，该方法实现对加入到分布式网络中的节点的数据进行分布式存储；

S1、获取终端上传文件的请求；

S2、根据分布式网络协议，确定分布式存储的目标地址和对应的文件服务器；

S3、使终端将待上传的文件切割成规定大小的数据块，依次传送到所述对应的文件服务器中设定的目标文件服务器；

S4、所述目标文件服务器将接收到的数据块传送给其它文件服务器。

进一步的，上述的分布式网络中数据极速传输的方法中：在步骤S2中，还包括在所有的文件服务器中指定一个文件服务器为终端上传文件的目标文件服务器，设计将数据块传送到所有的文件服务器的传输路径。

进一步的，上述的分布式网络中数据极速传输的方法中：传输路径按照设定的二叉树结构传送。

进一步的，上述的分布式网络中数据极速传输的方法中：所述的步骤S4中，所述目标文件服务器将接收到的数据块传送给设定的几台文件服务器并指示它们按照传输路径将接收到的数据块传送下去。

进一步的，上述的分布式网络中数据极速传输的方法中：所述的步骤S3中，终端将待上传的文件切割成64K大小的数据块。

本发明还提供一种分布式网络中数据极速传输系统，完成终端用户上传数据分布式存储，该系统包括：

接受和回应终端上传文件的请求的装置；该装置中包括确定分布式存储的目标地址和对应的文件服务器的模块，

文件服务器；包括与有文件传输的终端链接的目标文件服务器，所述目标文件服务器将接收到的数据块传送给设定的几台文件服务器并指示它们按照传输路径将接收到的数据块传送下去。

进一步的，上述的分布式网络中数据极速传输系统中：所述的接受和回应终端上传文件的请求的装置中，还包括设计将数据块传送到所有的文件服务器的传输路径的功能模块。

进一步的，上述的分布式网络中数据极速传输系统中：所述的传输路径按照设定的二叉树结构。

进一步的，上述的分布式网络中数据极速传输系统中：所述文件服务器中包括将接收到的数据块传送给设定的几台文件服务器并指示它们按照传输路径将接收到的数据块传送下去的功能模块。

本发明中V端（加入到分布式网络上的终端节点）要上传文件时，只需要将上传的文件切割成规定大小的数据块，将数据块上传一次，由文件服务器完成分布式存储，减小了V端的开销。

以下将结合附图和实施例，对本发明进行较为详细的说明。

附图说明

附图1为现有技术中的节点数据传输图；

附图2为零极分布式网络节点示意图；

附图3本发明的二叉树型数据传输图。

具体实施方式

实施例1本施例是终端将数据文件包括流媒体文件等进行分布式存储的方法，将这些文件根据分布式网络的协议，分多个拷贝分布式存储在分布式网络规定的存储空间中。本实施例中，分布式网络为申请号为202111147092.2的发明专利申请公开零极分布式网络，该分布式网络中各节点分布在互联网的汪洋大海中，如图２所示。

该分布式网络中基础条件说明：

a、所有被管理节点将按照其ID号从小到大进行排序；

b、节点ID的生成符合一定范围的均匀分布规则。

该分布式网络具有65536（2¹⁶）个区域，每个区域最多具有2¹⁴⁴个节点，节点按照其ID号从小到大进行排序。

每个节点中具有局域管理节点表也称局域表和广域管理节点表，其中局域表是实现其所属区域范围内节点查找，而广域管理节点表则是实现跨区域范围内的节点查找。

在局域表中包括该区域范围内所有在线的节点路由信息，而广域表则包括每一个区域内至少一个在线的固定节点的路由信息。本实施例为了实现将网络资源分配到上述分布式网络中的固定节点上，根据需要可以形成多个资源节点，根据网络资源访问量确定，一般情况下，如公用数据，可以保存在分布式网络中3至50个固定节点上，而电视直播等访问量大的资源则可以分配（匹配）到20-30个固定节点上。

本实施例中，加入到分布式网络中的节点是一台加入到分布式网络的移动终端（V端），它有数据文件需要存储到分布式网络中，在分布式网络中进行分布式存储，存储到20个固定节点上，根据分布式网络协议（这里指的是零极网络协议），为V端确定存储位置和分配存储的文件服务器，为每一个存储拷贝分配一个对应的文件服务器。目前，存储时，如图1所示，其操作由 V 端发起， V 端通过共享内存把上传文件的信息写入里面，然后通知主程序的网关模块。网关模块收到消息后，把消息转发给文件传输模块的客户端子模块，客户端子模块收到消息后，获得待上传的文件路径，大小，内容等信息，然后按每片 64K字节的大小把文件的内容切割成若干个数据片。对每一个数据片，文件子模块会查询路由，得到20个目标节点（存储位置）列表，然后按顺序依次把这个数据片通过对应的文件服务器发给每一个节点。这样就完成了整个文件的传输。此时，如果设传输一个块（64K 字节）到一个文件服务器节点所需时间为T，则依次传到 20个节点共耗时 20T，设一个文件被切割为 N个块，那传输这个文件的总时间为 20NT。如果V端需要传送的文件较大，如1G以上，则N将达到16K，虽然T是一个很小的时间段，但总的来说将是一个较长的时间段，对于移动终端（V端）来说会有较大的压力。因此，本实施例中采用文件服务器之间传送数据块，而V端只传一次数据块到文件服务器，其它工作都由文件服务器完成，这样，V端传送文件的服务时间只有现有技术的二十分之一，大大地减少了V端的开销。

本实施例中的分布式网络中数据极速传输的方法如图３所示，它实现加入到零极分布式网络中的移动终端也就是V端的文件进行分布式存储。包括以下步骤：

S1、获取终端上传文件的请求；V端根据零极分布式网络的协议，加入到零极分布式网络中以后，向零极分布式网络提出有数据文件需要分布式存储在零极分布式网络中，此时，向零极分布式网络提出上传文件的请求，该请求中一般有该V端加入到零极网络时分配的标识，也就是ID，还有上传文件的参数如大小，存储位置等，还有上传文件存储的要求，如需要存储有２０个拷贝（分布在２０个节点中）。

S2、根据分布式网络协议，确定分布式存储的目标地址和对应的文件服务器；零极分布式网络系统根据V端的ID，确定分布式存储的目标地址为V端的ID前后各１０个固定节点作为存储地址，各分配一个文件服务器，共２０个文件服务器。当然，也可以根据V端需要上传文件的文件路径等确定一个资源ID，根据资源ID的数据确定与资源ID前后共２０个固定节点为存储节点。这些都可以根据分布式网络资源分配协议确定的。

S3、使终端将待上传的文件切割成规定大小的数据块，依次传送到所述对应的文件服务器中设定的目标文件服务器；V端根据零极分布式网络中的接受和回应终端上传文件的请求的装置指示，将文件切割成６４K大小的数据块，将一个个数据块传送给指定的目标文件服务器，由目标文件服务器再传送给其它文件服务器而完成分布式存储。

S4、目标文件服务器将接收到的数据块传送给其它文件服务器。根据网络协议，事先设定如何将每一个块数据的拷贝传送给每一个文件服务器，数据块传送路径事先做好按排，如图3所示双叉二叉树结构就是一种常用的传输路径，设置目标文件服务器为1#服务器S1，它规定依次传送到2#和3#服务器S2、S3，在将数据块传送的过程中，给2#和3#服务器以指示，要2#服务器将拷贝传送给4#、5#服务器S4、S5；3#服务器将拷贝传送给6#、7#服务器S6、S7，依此类推直到第20#服务器获得数据块的拷贝。实际中，系统也可以固定数据块拷贝传送路径，规定哪个服务器收到数据块以后，直接传送给规定的两个文件服务器。

如图3所示还可以看出，V端将第一块数据块传送到目标文件服务器S1以后，接着将第二块数据块传送到S1，依次类推直到所有数据块全部传送到目标文件服务器S1。

目标文件服务器S1收到第一块数据块以后，在进行数据存储服务的同时，生成一个传送数据的线程（线程1），将接收到的数据块拷贝传送给左枝（S2），该过程与V端向目标文件服务器S1传送第二数据块并行，目标文件服务器S1收到第二块数据块以后，在进行数据存储服务的同时，生成一个传送数据的线程（线程2）将第二数据块的拷贝传送到传送给左枝（S2），此时，线程1将第一块数据块的拷贝传送给右枝的文件服务器S3，结束该线程1，这里目标服务器S1生成的线程在完成接收数据块的拷贝依次传送到左枝的文件服务器S2和右枝的文件服务器S3以后就结束；V端将第三块数据块传送给目标文件服务器S1，目标文件服务器S1收到第三块数据块以后，在进行数据存储服务的同时，生成一个传送数据的线程（线程3）将第三数据块的拷贝传送到传送给左枝（S2），依此类推。每个文件服务器接收到由文件服务器转发来数据块时，都生成一个线程将该文件块的拷贝依次改善给它有左、右两枝（如果有的话）直到最后，如图3所示。

目标文件服务器S1收到第一个数据块以后，马上转发给后面的文件服务器后，如图3所示，如果数据块转发一次所用的时间是T的话，如图3所示，最多在6T的时间就可以传送到每一个文件服务器，这里T表示一个数据块拷贝从一个服务器传送到下一个服务器所用的时间，若V端的数据文件切割为N个数据块，依次将这N个块传送到目标文件服务器S1的时间是NT，V端的文件需要上传零极分布式网络时，只需要占用其在线时间NT这段时间，然后，在V端将最后一个数据块传送到目标文件服务器S1后，还等6T这些时间就存储好了，因此，在(N+6)T时间就能完成分布式存储。这与目前20NT的时间完成少很多，因为N一般是很大的数。

实施例2，V端是一个现场直播终端，将流媒体数据分布式分配到零极分布式网络的节点中，与实施例1一样，根据分布式网络协议，确定网络节点中分配流媒体的节点（流媒体服务器），将其中一个流媒体服务器为目标流媒体服务器（类似于图3中的S1），建议直播终端（V端）与S1之间的链接，将切割的流媒体数据块依次传送到S1上，S1再如实施例1一般依次传送到所有的流媒体服务器中。这样，不但可以减少V端的开销，同时也使直播的延迟减少，如果按照目前传送文件的方式传送，则最大的延迟是20T，而这里最大的延迟是6T，如图3所示，S15和S19的延迟是6T，其它的流媒体服务器的直播延迟都小于6T。

本实施例的方法在分布式网络中应用非常广泛，可以实现：

1、文件分布式存储时块数据的极速分发；

2、分布式应用（DMAPP）相关数据在分布式存储时数据包的极速分发；

3、分布式网络中数据交易分布式存储时交易信息的极速分发；

4、分布式网络中节点加入和离开时，节点数据同步时向多副本节点的极速分发；

5、分布式网络中流媒体进行分布式推流和拉流时，视频流数据的极速分发。

在零极分布式网络中，实现上面两个实施例的分布式资源分配是非常容易的，在V端与文件服务器之间增加一个新的消息类型：数据块同步消息，如下定义：

typedef struct

{

int nChunkSize; //数据块大小

char aResId[SIZE_KEY_ID]; // 资源 ID

int nServerNum; // 节点列表数目，最多支持 10000 个节点

char nodeServerAddr[0]; // 长度可变数组，每一项节点地址占据 10 个字节

}FmCommandSRQ;

这个消息由V端传送给目标文件服务器，目标文件服务器在收到这个消息后，把消息对应的数据存储到本地数据库，同时解析 nodeServerAddr 数组，从中取出每一项地址（10 个字节，格式为32 位节点短 ID + 32 位 IP + 16 位端口），以每一项地址的节点短 ID 作为 key，构造出一颗AVL 平衡二叉树，该二叉树的根节点恰好为本节点。之后，把二叉树的左子树的根节点称为节点 A，把二叉树的右子树的根节点称为节点 B。对于节点 A 来说，构造出一个新的FmCommandSRQ 结构，该结构的 nServerNum 字段的值等于以 A 为根节点的左子树的节点数目， nodeServerAddr 为左子树包含的节点的地址值的序列化，然后将 FmCommandSRQ 结构连同文件内容一起发送给节点 A；对于节点B，采用相同的办法处置。

Claims

1.一种分布式网络中数据极速传输的方法，该方法实现对加入到分布式网络中的节点的数据进行分布式存储；其特征在于：包括以下步骤：

S1、获取终端上传文件的请求；

2.根据权利要求1所述的分布式网络中数据极速传输的方法，其特征在于：在步骤S2中，还包括在所有的文件服务器中指定一个文件服务器为终端上传文件的目标文件服务器，设计将数据块传送到所有的文件服务器的传输路径。

3.根据权利要求2所述的分布式网络中数据极速传输的方法，其特征在于：传输路径按照设定的二叉树结构传送。

4.根据权利要求2所述的分布式网络中数据极速传输的方法，其特征在于：所述的步骤S4中，所述目标文件服务器将接收到的数据块传送给设定的几台文件服务器并指示它们按照传输路径将接收到的数据块传送下去。

5.根据权利要求2所述的分布式网络中数据极速传输的方法，其特征在于：所述的步骤S3中，终端将待上传的文件切割成64K大小的数据块。

6.一种分布式网络中数据极速传输系统，完成终端用户上传数据分布式存储，其特征在于：该系统包括：

7.根据权利要求6所述的分布式网络中数据极速传输系统，其特征在于：所述的接受和回应终端上传文件的请求的装置中，还包括设计将数据块传送到所有的文件服务器的传输路径的功能模块。

8.根据权利要求7所述的分布式网络中数据极速传输系统，其特征在于：所述的传输路径按照设定的二叉树结构。

9.根据权利要求7所述的分布式网络中数据极速传输系统，其特征在于：所述文件服务器中包括将接收到的数据块传送给设定的几台文件服务器并指示它们按照传输路径将接收到的数据块传送下去的功能模块。