CN106657384A - 使用多维化技术大幅降低通信数据传输量的方法 - Google Patents

Abstract

本发明公开了使用多维化技术大幅降低通信数据传输量的方法，可被广泛的应用于无线通讯、网络下载、多媒体数据流分发，以及大数据和云计算等领域。本发明包括如下步骤：步骤一、载入待传输数据流；步骤二、将数据流填充到数据空间中，完成空间重组；步骤三、统计重复性区域并分割；步骤四、重复匹配搜索；步骤五、独立空间模块的压缩；步骤六、对各独立空间模块进行空间序列化操作；步骤七、生成空间数据链；步骤八、传输数据链和独立空间模块；步骤九、数据还原。本发明不但可以大幅减少数据的实际传输数量，更可以减少无效信息的传输数量，降低整个网络环境中的负载压力。

Description

使用多维化技术大幅降低通信数据传输量的方法

技术领域

本发明涉及使用多维化技术大幅降低通信数据传输量的方法，本发明可被广泛的应用于无线通讯、网络下载、多媒体数据流分发，以及大数据和云计算等领域。

背景技术

据申请人了解随着计算机网络技术的快速发展和高速宽带网络的逐渐普及，很多过去需要通过硬件介质才能传输的数据，现在都要经过网络进行传播，如：系统安装镜像、大型应用程序和高清多媒体文件等。

虽然网络带宽的提升让大容量文件的传输变得简单，但是用户对高清素材的追求却同样使得文件的体积大幅增加。过去，一款大型游戏的数据安装包，由于受到DVD等传播介质的制约，往往不会超过4G，即使多张介质也只有十几个G的水平。但是随着网络传播分发方式的普及，这种桎梏变得不再有效，很多安装文件达到或超过60G的游戏开始逐渐崭露头角，并受到用户的追捧。而且随着4K、8K高清多媒体技术和VR技术的普及，这些大容量的素材文件还会更加疯狂的增长，反观硬件技术的发展水平，仍然不足以应对这样的需要。

这种矛盾的产生，一方面是由于网络传输平台对数据量的需求确实过大，另一方面却也是因为传统数据传输模式的粗暴型发展，使得网络环境中产生了大量冗余数据，充塞了本就拥塞的网络传输通道。比如：网络广播信号、数据包中冗余的包头，甚至是传输过程中所产生的协商报文，其有效信息内容往往只占据这些数据实际传输量的十几分之一。

而在某些P2P传输环境中，冗余数据的数据总量更是大幅增加，甚至由于所载数据模块的校验结果失败，大量的数据就需要反复重新传递，由此所带来的网络资源浪费随着使用者规模基数的增加而不断扩大。

因此，只是单纯试图通过升级网络设备来满足数据传输需求的做法已经变得越发困难。甚至随着通讯资费的降低，网络维护成本的增大，以及硬件设备的升级周期缩短，造成相关市场的压力大幅增加，最终会迫使硬件技术的发展、换代速率变得趋于缓慢。

发明内容

本发明的目的在于：针对上述现有技术存在的问题，提出一种使用多维化技术大幅降低通信数据传输量的方法。本发明在既有的网络传输环境中大幅增加有效信息的承载数量，降低冗余通讯数据的所占比例，使用多维化数据空间技术设计出了一种通过对数据流做多维化重新排列来降低数据实际传输量的方法，通过该方法不但可以大幅减少数据的实际传输数量，更可以减少无效信息的传输数量，降低整个网络环境中的负载压力。

本发明具体技术方案如下：本发明使用多维化技术大幅降低通信数据传输量的方法，包括如下步骤：

步骤一、载入待传输数据流；

步骤二、将数据流填充到数据空间中，完成空间重组；

步骤三、统计重复性区域并分割；

步骤四、重复匹配搜索；

步骤五、独立空间模块的压缩；

步骤六、对各独立空间模块进行空间序列化操作；

步骤七、生成空间数据链；

步骤八、传输数据链和独立空间模块；

步骤九、数据还原。

进一步地，所述步骤二中，所述空间重组为：根据数据流长度创建相应的数据空间，在数据空间中实现二进制数据的三维化重组，形成若干个独立几何体。

进一步地，所述步骤三中，在若干个独立几何体之间，以及独立几何体的内部寻找重复区域，然后对这些独立几何体进行分割；待重组工作完成后，获取若干个大型几何体信息，然后搜索小型几何体在若干个大型几何体中重复出现的位置和次数，记录下这些重复信息，并对这些大型几何体进行分割，将小型几何体从大型几何体中分割出来。

进一步地，所述步骤四中，将分割出小型几何体的大型几何体之间再次做重复匹配搜索，重复步骤三，最终得到若干个完全不相匹配的独立空间模块。

进一步地，所述步骤五中，将得到的所有独立空间模块进行搜索并压缩，搜索独立空间模块中有相同的小型几何体的部分，将相同的小型几何体直接压缩为一个小型几何体。

进一步地，所述步骤六中，在数据空间中按照一定方向逐次记录各独立空间模块的方位信息，形成序列，所述序列为各独立空间模块空间坐标，即在空间中X,Y,Z坐标。

进一步地，所述步骤七中，根据序列信息依次记录各独立空间模块的识别特征数据，该特征数据来源为独立空间模块的顶点数据，此特征在同一数据空间中具备唯一性；然后将序列化信息和特征码信息组合为空间数据链；所述空间数据链的构成结构=独立空间模块空间坐标 +独立空间模块特征码数据。

进一步地，所述步骤八中，将数据链和独立空间模块一同传输，传输过程中各数据包之间彼此独立，没有先后顺序制约。

进一步地，所述步骤九中，客户端在接收到全部文件后基于文件类型识别码设定来区分空间数据链和独立空间模块数据包，再将之逐一还原。

进一步地，所述还原步骤为：

步骤一、首先将若干个独立空间模块进行内部还原，将之前内部的重复的小型几何体进行还原；

步骤二、将分割出的小型几何体填充进入大型几何体中，形成最初的大型几何体；

步骤三、将填充后的大型几何体进行完全拆分，拆分为数据流。

进一步地，所述步骤八中，在传输过程中，发现同一文件的不同版本这种相似度较高的文件，使用多维化方式来进一步减少实际数据传输量；具体多维化方式为：对于不同版本的文件，其中将完全相同的几何体部分标注出来分割，然后只传输分割出来的不相同的几何体部分。

进一步地，所述步骤八中，在此过程中存在共性素材，所述共性素材即为不同版本的文件，则这些素材的传输只需要通过文件类型识别码进行快速重建，而无需反复传输重复数据。

本发明有益效果如下：

本发明主要有三个组成部分，首先，通过多维化数据空间技术将待传输的数据流进行多维化重新排列，再将这些重新排列后的数据进行模块化分拆，最后实际传输的只有非重复性的模块数据，本发明只传输非重复性的模块数据，在传输之前就大大减少了数据量，提高了传输的效率；本发明是一种使用多维化方式构建网络传输数据包，并通过减少数据包负载信息量来降低实际数据传输量的方法。该方法可以广泛的应用于有线或无线传输领域，也可以基于此方法设计实现多种低负载的通讯协议，从而在网络条件不变的情况下改善使用者的使用体验，降低使用资费。本发明是一种通过多维化技术在网络环境不变的情况下，大幅度提升数据传输率的方法。该方法使用多维化重组、分拆文件技术，能够在最小数据量传输的情况下，快速组织、重构原始文件内容，是一种通用的网络数据高效传输方法。因此，该方法可被广泛的应用于无线通讯、网络下载、多媒体数据流分发，以及大数据和云计算等领域。本发明是一种全新的网络数据高效率传输方法。通过整合文件中的多维化文件内容，可以在异地使用空间数据链方式快速重构整个文件，而此过程只需要很少的实际传输量。因此，在提升网络通讯质量，提高集群工作效能等方面都有重要的作用。保护的内容：使用多维化数据空间技术进行数据重组、分拆、传输，并在异地进行重构的方法。本发明是一种全面性解决大容量网络数据传输需要的方法。通过该方法不但可以有效减少实际传输的文件内容，减少传输时间，还可以降低无效数据包的传输量，大幅降低网络负载。同时该种方式的传输还具有极强的数据保密性，即使被监听，也无法被破解。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明数据流空间重组的原理图。

图2为本发明大型几何体中相同小型几何体分割示意图。

图3为本发明大型几何体中重复小型几何体合并示意图。

图4为本发明不同版本号的程序文件通过多维化形式展现的原理图。

具体实施方式

本发明具体技术方案如下：本发明使用多维化技术大幅降低通信数据传输量的方法，包括如下步骤：

步骤一、载入待传输数据流；

步骤二、将数据流填充到数据空间中，完成空间重组；

步骤三、统计重复性区域并分割；

步骤四、重复匹配搜索；

步骤五、独立空间模块的压缩；

步骤六、对各独立空间模块进行空间序列化操作；

步骤七、生成空间数据链；

步骤八、传输数据链和独立空间模块；

步骤九、数据还原。

所述步骤二中，所述空间重组为：根据数据流长度创建相应的数据空间，在数据空间中实现二进制数据的三维化重组，形成若干个独立几何体。

如图1-2所示，所述步骤三中，在若干个独立几何体之间，以及独立几何体的内部寻找重复区域，然后对这些独立几何体进行分割；待重组工作完成后，获取若干个大型几何体信息，然后搜索小型几何体在若干个大型几何体中重复出现的位置和次数，记录下这些重复信息，并对这些大型几何体进行分割，将小型几何体从大型几何体中分割出来。

所述步骤四中，将分割出小型几何体的大型几何体之间再次做重复匹配搜索，重复步骤三，最终得到若干个完全不相匹配的独立空间模块。

如图3所示，所述步骤五中，将得到的所有独立空间模块进行搜索并压缩，搜索独立空间模块中有相同的小型几何体的部分，将相同的小型几何体直接压缩为一个小型几何体。

所述步骤六中，在数据空间中按照一定方向逐次记录各独立空间模块的方位信息，形成序列，所述序列为各独立空间模块空间坐标，即在空间中X,Y,Z坐标。

所述步骤七中，根据序列信息依次记录各独立空间模块的识别特征数据，该特征数据来源为独立空间模块的顶点数据，此特征在同一数据空间中具备唯一性；然后将序列化信息和特征码信息组合为空间数据链；所述空间数据链的构成结构=独立空间模块空间坐标 +独立空间模块特征码数据。

所述步骤八中，将数据链和独立空间模块一同传输，传输过程中各数据包之间彼此独立，没有先后顺序制约。

所述步骤九中，客户端在接收到全部文件后基于文件类型识别码设定来区分空间数据链和独立空间模块数据包，再将之逐一还原。所述还原步骤为：

步骤一、首先将若干个独立空间模块进行内部还原，将之前内部的重复的小型几何体进行还原；

步骤二、将分割出的小型几何体填充进入大型几何体中，形成最初的大型几何体；

步骤三、将填充后的大型几何体进行完全拆分，拆分为数据流。

如图4所示，所述步骤八中，在传输过程中，发现同一文件的不同版本这种相似度较高的文件，使用多维化方式来进一步减少实际数据传输量；具体多维化方式为：对于不同版本的文件，其中将完全相同的几何体部分标注出来分割，然后只传输分割出来的不相同的几何体部分，图中的虚线部分。在还原过程中，只需要不相同的几何部分就可以，相当于升级文件。

所述步骤八中，在此过程中存在共性素材，所述共性素材即为不同版本的文件，则这些素材的传输只需要通过文件类型识别码进行快速重建，而无需反复传输重复数据。

如：不同版本号的数十兆的程序文件其差别可能只有几百个字节，通过本方法就可以将这些版本之间的差别用多维化的方式予以展现。

如图1，如步骤2中重组后的几何体识别特征就可以定义为101110，此特征在同一数据空间中具备唯一性。然后再配合空间坐标，这里假定空间坐标为（1,2,3）

所述空间数据链的构成结构=独立空间模块空间坐标（1,2,3） +独立空间模块特征码数据（101110）。

在传输过程中，发现同一文件的不同版本这种相似度较高的文件，使用多维化方式来进一步减少实际数据传输量；

传输数据链信息及独立空间模块，因为不需要保证数据传递的排序问题，因此减少了多线程传输工作的复杂度。又因为独立空间模块在很多程序结构之间都具有共性，因而在这些程序传输时可以通过该方法自行重构数据，而无需实际传输。

多个重复出现的小几何体就相当于传统压缩算法中的数据字典，因此需要以字典的形式存储在序列中，而这种字典也是文中所述特征码的一种。,也可以使用字典的形式对其进行识别，至于具体采取何种方式，以数据的重复量和存储代价来确定。如果重复次数较多则使用字典形式，如果重复次数极少、几何体较大，则使用特征码形式比较节约空间。

本发明主要有三个组成部分，首先，通过多维化数据空间技术将待传输的数据流进行多维化重新排列，再将这些重新排列后的数据进行模块化分拆，最后实际传输的只有非重复性的模块数据，本发明只传输非重复性的模块数据，在传输之前就大大减少了数据量，提高了传输的效率；本发明是一种使用多维化方式构建网络传输数据包，并通过减少数据包负载信息量来降低实际数据传输量的方法。该方法可以广泛的应用于有线或无线传输领域，也可以基于此方法设计实现多种低负载的通讯协议，从而在网络条件不变的情况下改善使用者的使用体验，降低使用资费。本发明是一种通过多维化技术在网络环境不变的情况下，大幅度提升数据传输率的方法。该方法使用多维化重组、分拆文件技术，能够在最小数据量传输的情况下，快速组织、重构原始文件内容，是一种通用的网络数据高效传输方法。因此，该方法可被广泛的应用于无线通讯、网络下载、多媒体数据流分发，以及大数据和云计算等领域。本发明是一种全新的网络数据高效率传输方法。通过整合文件中的多维化文件内容，可以在异地使用空间数据链方式快速重构整个文件，而此过程只需要很少的实际传输量。因此，在提升网络通讯质量，提高集群工作效能等方面都有重要的作用。保护的内容：使用多维化数据空间技术进行数据重组、分拆、传输，并在异地进行重构的方法。本发明是一种全面性解决大容量网络数据传输需要的方法。通过该方法不但可以有效减少实际传输的文件内容，减少传输时间，还可以降低无效数据包的传输量，大幅降低网络负载。同时该种方式的传输还具有极强的数据保密性，即使被监听，也无法被破解。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (10)

1.使用多维化技术大幅降低通信数据传输量的方法，其特征在于：包括如下步骤：

步骤一、载入待传输数据流；

步骤二、将数据流填充到数据空间中，完成空间重组；

步骤三、统计重复性区域并分割；

步骤四、重复匹配搜索；

步骤五、独立空间模块的压缩；

步骤六、对各独立空间模块进行空间序列化操作；

步骤七、生成空间数据链；

步骤八、传输数据链和独立空间模块；

步骤九、数据还原。

2.根据权利要求1所述的使用多维化技术大幅降低通信数据传输量的方法，其特征在于：所述步骤二中，所述空间重组为：根据数据流长度创建相应的数据空间，在数据空间中实现二进制数据的三维化重组，形成若干个独立几何体。

3.根据权利要求1所述的使用多维化技术大幅降低通信数据传输量的方法，其特征在于：所述步骤三中，在若干个独立几何体之间，以及独立几何体的内部寻找重复区域，然后对这些独立几何体进行分割；待重组工作完成后，获取若干个大型几何体信息，然后搜索小型几何体在若干个大型几何体中重复出现的位置和次数，记录下这些重复信息，并对这些大型几何体进行分割，将小型几何体从大型几何体中分割出来。

4.根据权利要求1所述的使用多维化技术大幅降低通信数据传输量的方法，其特征在于：所述步骤四中，将分割出小型几何体的大型几何体之间再次做重复匹配搜索，重复步骤三，最终得到若干个完全不相匹配的独立空间模块。

5.根据权利要求1所述的使用多维化技术大幅降低通信数据传输量的方法，其特征在于：所述步骤五中，将得到的所有独立空间模块进行搜索并压缩，搜索独立空间模块中有相同的小型几何体的部分，将相同的小型几何体直接压缩为一个小型几何体。

6.根据权利要求1所述的使用多维化技术大幅降低通信数据传输量的方法，其特征在于：所述步骤六中，在数据空间中按照一定方向逐次记录各独立空间模块的方位信息，形成序列，所述序列为各独立空间模块空间坐标，即在空间中X,Y,Z坐标。

7.根据权利要求1所述的使用多维化技术大幅降低通信数据传输量的方法，其特征在于：所述步骤七中，根据序列信息依次记录各独立空间模块的识别特征数据，该特征数据来源为独立空间模块的顶点数据，此特征在同一数据空间中具备唯一性；然后将序列化信息和特征码信息组合为空间数据链；所述空间数据链的构成结构=独立空间模块空间坐标 +独立空间模块特征码数据。

8.根据权利要求1所述的使用多维化技术大幅降低通信数据传输量的方法，其特征在于：所述步骤八中，将数据链和独立空间模块一同传输，传输过程中各数据包之间彼此独立，没有先后顺序制约；所述步骤八中，在传输过程中，发现同一文件的不同版本这种相似度较高的文件，使用多维化方式来进一步减少实际数据传输量；具体多维化方式为：对于不同版本的文件，其中将完全相同的几何体部分标注出来分割，然后只传输分割出来的不相同的几何体部分；在此过程中存在共性素材，所述共性素材即为不同版本的文件，则这些素材的传输只需要通过文件类型识别码进行快速重建，而无需反复传输重复数据。

9.根据权利要求1所述的使用多维化技术大幅降低通信数据传输量的方法，其特征在于：所述步骤九中，客户端在接收到全部文件后基于文件类型识别码设定来区分空间数据链和独立空间模块数据包，再将之逐一还原。

10.根据权利要求9所述的使用多维化技术大幅降低通信数据传输量的方法，其特征在于：所述还原步骤为：

步骤一、首先将若干个独立空间模块进行内部还原，将之前内部的重复的小型几何体进行还原；

步骤二、将分割出的小型几何体填充进入大型几何体中，形成最初的大型几何体；

步骤三、将填充后的大型几何体进行完全拆分，拆分为数据流。