CN111225021B - 一种基于文件破碎与重组的多链路并发传输方法和系统 - Google Patents
一种基于文件破碎与重组的多链路并发传输方法和系统 Download PDFInfo
- Publication number
- CN111225021B CN111225021B CN201911107769.2A CN201911107769A CN111225021B CN 111225021 B CN111225021 B CN 111225021B CN 201911107769 A CN201911107769 A CN 201911107769A CN 111225021 B CN111225021 B CN 111225021B
- Authority
- CN
- China
- Prior art keywords
- transmission
- data packets
- fragment data
- processing
- data packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Abstract
本发明提供了一种基于文件破碎与重组的多链路并发传输方法和系统，该多链路并发传输方法和系统通过对不同碎片数据包进行哈希表标定处理，以对相应的碎片数据包进行缓存和查找，以便于将未可进行重组的碎片数据包进行寄存操作，从而保证后续重组处理的延续性和有效性，并且该多链路并发传输方法和系统还能够对处于空闲状态的传输链路进行传输复用，以使得多链路网络在同一时刻能够通过不同传输链路分别传输属于不同目标文件的碎片数据包，从而提高该多链路网络的数据传输效率以避免发生传输链路长时间闲置的情况。
Description
技术领域
本发明涉及多链路网络数据传输的技术领域，特别涉及一种基于文件破碎与重组的多链路并发传输方法和系统。
背景技术
目前，在多链路网络中对文件进行多链路传输主要是将文件破碎分解为多个碎片数据包，再通过不同的传输链路分别将不同碎片数据包进行独立的传输，最终在所有碎片数据包都完成传输后，对所有碎片数据包进行重组以还原得到该文件。可见，该多链路网络能够有效地将大容量文件进行快速的传输，从而保证文件的传输效率。在实际传输过程中，由于系统需要等待所有碎片数据包都完成传输后才能进行后续的文件重组操作，但是多链路网络中不同传输链路的数据传输速度并不相同，这就导致在同一时间发送的碎片数据包并不能在同一时间完成传输，即不同碎片数据包不能实现同步完成传输的效果，这样会使得该多链路网络中的一部分传输链路处于数据传输的繁忙状态，而另一部分传输链路则处于非数据传输的空闲状态，从而严重地降低多链路网络的传输链路利用效率以及增加了碎片数据包进行传输重组的等待时间。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于文件破碎与重组的多链路并发传输方法和系统，该基于文件破碎与重组的多链路并发传输方法和系统通过对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将若干碎片数据包进行多链路并发传输，对若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理，以及根据缓存处理的结果和/或查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理，该多链路并发传输方法和系统通过对不同碎片数据包进行哈希表标定处理，以对相应的碎片数据包进行缓存和查找，以便于将未可进行重组的碎片数据包进行寄存操作，从而保证后续重组处理的延续性和有效性，并且该多链路并发传输方法和系统还能够对处于空闲状态的传输链路进行传输复用，以使得多链路网络在同一时刻能够通过不同传输链路分别传输属于不同目标文件的碎片数据包，从而提高该多链路网络的数据传输效率以避免发生传输链路长时间闲置的情况。可见，该基于文件破碎与重组的多链路并发传输方法和系统通过对碎片数据包进行标定缓存和查找处理，来保证不同目标文件对应的碎片数据包的重组延续性和有效性，并且还将不同传输链路进行数据传输复用切换，以避免该多链路网络长时间传输单一数据而造成传输链路闲置的情况。
本发明提供一种基于文件破碎与重组的多链路并发传输方法，其特征在于，所述基于文件破碎与重组的多链路并发传输方法包括如下步骤：
步骤S1，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将所述若干碎片数据包进行多链路并发传输；
步骤S2，对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理；
步骤S3，根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理；
进一步，在所述步骤S1中，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将所述若干碎片数据包进行多链路并发传输具体包括，
步骤S101，对所述目标文件进行关于预设破碎算法的破碎处理，以将所述目标文件破碎分解为所述若干碎片数据包；
步骤S102，对所述若干碎片数据包进行统计处理，以获取每一个碎片数据包对应的属性信息；
步骤S103，根据所述属性信息，对所述若干碎片数据包与多链路网络进行关于预设神经网络模型的学习处理，以确定每一个碎片数据包与所述多链路网络中每一个传输链路之间的匹配信息；
步骤S104，根据所述匹配信息，将每一个碎片数据包匹配至相应的传输链路，以进行所述多链路并发传输；
进一步，在所述步骤S2中，对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理具体包括，
步骤S201，获取每一个碎片数据包对应的传输编号信息、传输顺序信息和传输起始时间信息中的至少一者，并以此对每一个碎片数据包进行哈希表标定，其中，对每一个碎片数据包进行哈希表标定具体是通过下面公式(A)计算每一个碎片数据包的哈希标定值h
h＝s[0]·31L–1+…+s[L–3]·312+s[L–2]·311+s[L–1]·310 (A)
在上述公式(A)中，h为每一个碎片数据包的哈希标定值，s[0]、…s[L–3]、s[L–2]、s[L–1]为每一个碎片数据包作为哈希对象时字符对应的unicode值，L为所述哈希对象的长度；
步骤S202，根据所述哈希表标定的结果，确定每一个碎片数据包对应的缓存位置信息和/或缓存时间信息；
步骤S203，根据所述缓存位置信息和/或缓存时间信息，对每一个碎片数据包进行所述缓存处理和/或所述查找处理，
其中，所述查找处理是通过通排序处理来实现的，所述通排序处理具体包括，
先循环计算每一个碎片数据包中每一个关键字的桶映射函数，并根据所述通映射函数确定每一个碎片数据包对应的时间复杂度，再根据所述时间复杂度对所有碎片数据包卡进行通排序处理，以实现对每一个碎片数据包的查找处理；
进一步，在所述步骤S3中，根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，
步骤S301，根据所述缓存处理的结果和/或所述查找处理的结果，确定不同碎片数据包相互之间的数据相关信息和/或每一碎片数据包对应的接收时间信息；
步骤S302，根据所述数据相关信息和/或所述接收时间信息，判断所述目标文件对应的所有碎片数据包的传输完整性；
步骤S303，根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理；
进一步，在所述步骤S303中，根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，
步骤S3031，若所述判断结果指示所述目标文件对应的所有碎片数据包已传输完毕，则根据预设重组算法对所述所有碎片数据包进行重组处理；
步骤S3032，若所述判断结果指示所述目标文件对应的所有碎片数据包未传输完毕，则将当前处于空闲状态的传输链路进行其他碎片数据包的传输，其中，对于当前处于空闲状态的传输链路进行其他碎片数据包的传输判定过程如下，
假设i为所有传输链路对应的编号，i＝1、2、3、…、n，n为所有传输链路的总数量，根据下面公式(1)计算碎片数据包传输到编号为i的传输链路需要的最短等待处理时间WFi
WFi＝max{ti1,ti2,…,tij} (1)
在上述公式(1)中，tij为运行在编号为i的传输链路上的第j个进程所需要的时间，其中当j＝0时，WFi＝0，即当传输链路上没有传输进程时，最短等待处理时间为0；
根据下面公式(2)，计算编号为i的传输链路的负载均衡程度wi，
在上述公式(2)中，mi为编号为i的传输链路的总资源数，mij为运行在编号为i的传输链路的第j个进程占用的资源数，p为运行在编号为i的传输链路的总进程数，j＝1、2、3、…、p；
根据下面公式(3)，计算编号为i的传输链路的进程执行消耗Ci，
在上述公式(3)中，tij为运行在编号为i的传输链路上的第j个进程所需要的时间，p为运行在编号为i的传输链路的总进程数，j＝1、2、3、…、p，Vcpui、Vrami、Vbwi分别为编号为i的传输链路对应的CPU、内存和带宽性能指标，αi为编号为i的传输链路在不执行任何进程时维持自身运转需要的消耗；
根据下面公式(4)-(6)，计算传输链路的单项评价得分F(WFi)、F(wi)、F(Ci)，
在上述公式(4)-(6)中，WFmin、WFmax分别表示WFi的最小值和最大值，wmax、wmin分别表示wi的最小值和最大值，Cmax、Cmin分别表示Ci的最小值和最大值；
再根据下面公式(7)，计算传输链路的综合评价得分Fi
再对所述综合评价得分Fi进行排序，若编号为i的传输链路上无进程任务且其对应的综合评价得分排序为第一，则将所述编号为i的传输链路设于待等待状态以用于进行任务重组处理，否则将所述编号为i的传输链路立即用于所述其他碎片数据包的传输。
本发明还提供一种基于文件破碎与重组的多链路并发传输系统，其特征在于：
所述基于文件破碎与重组的多链路并发传输系统包括文件破碎模块、哈希表标定模块、文件重组模块、多链路并发传输模块和传输调整模块；其中，
所述文件破碎模块用于对目标文件进行破碎处理，以得到对应的若干碎片数据包；
所述多链路并发传输模块用于将所述若干碎片数据包进行多链路并发传输；
所述哈希表标定模块用于对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理；
所述传输调整模块用于根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型；
所述文件重组模块用于根据所述缓存处理的结果和/或所述查找处理的结果，对若干碎片数据包进行适应性重组处理；
进一步，所述文件破碎模块包括破碎分解子模块、统计处理子模块和神经网络学习子模块；其中，
所述破碎分解子模块用于对所述目标文件进行关于预设破碎算法的破碎处理，以将所述目标文件破碎分解为所述若干碎片数据包；
所述统计处理子模块用于对所述若干碎片数据包进行统计处理，以获取每一个碎片数据包对应的属性信息；
所述神经网络学习子模块用于根据所述属性信息，对所述若干碎片数据包与多链路网络进行关于预设神经网络模型的学习处理，以确定每一个碎片数据包与所述多链路网络中每一个传输链路之间的匹配信息；
所述多链路并发传输模块还用于根据所述匹配信息，将每一个碎片数据包匹配至相应的传输链路，以进行所述多链路并发传输；
进一步，所述哈希表标定模块包括碎片数据包信息获取子模块、缓存信息确定子模块和缓冲/查找处理子模块；其中，
所述碎片数据包信息获取子模块用于获取每一个碎片数据包对应的传输编号信息、传输顺序信息和传输起始时间信息中的至少一者，并用于对每一个碎片数据包进行哈希表标定；
所述缓存信息确定子模块用于根据所述哈希表标定的结果，确定每一个碎片数据包对应的缓存位置信息和/或缓存时间信息；
所述缓冲/查找处理子模块用于根据所述缓存位置信息和/或缓存时间信息，对每一个碎片数据包进行所述缓存处理和/或所述查找处理；
进一步，所述传输调整模块包括数据相关信息确定子模块、数据包接收时间确定子模块、传输完整性判断子模块和传输状态切换子模块；其中，
所述数据相关信息确定子模块用于根据所述缓存处理的结果和/或所述查找处理的结果，确定不同碎片数据包相互之间的数据相关信息；
所述数据包接收时间确定子模块用于根据所述缓存处理的结果和/或所述查找处理的结果，确定每一碎片数据包对应的接收时间信息；
所述传输完整性判断子模块用于根据所述数据相关信息和/或所述接收时间信息，判断所述目标文件对应的所有碎片数据包的传输完整性；
所述传输状态切换子模块用于根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型；
所述文件重组模块还用于根据所述传输完整性的判断结果，对若干碎片数据包进行适应性重组处理；
进一步，若所述传输完整性判断子模块指示所述目标文件对应的所有碎片数据包已传输完毕，则所述文件重组模块根据预设重组算法对所述所有碎片数据包进行重组处理；
若所述传输完整性判断子模块指示所述目标文件对应的所有碎片数据包未传输完毕，则所述传输状态切换子模块将当前处于空闲状态的传输链路进行其他碎片数据包的传输。
相比于现有技术，该基于文件破碎与重组的多链路并发传输方法和系统通过对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将若干碎片数据包进行多链路并发传输，对若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理，以及根据缓存处理的结果和/或查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理，该多链路并发传输方法和系统通过对不同碎片数据包进行哈希表标定处理，以对相应的碎片数据包进行缓存和查找，以便于将未可进行重组的碎片数据包进行寄存操作，从而保证后续重组处理的延续性和有效性，并且该多链路并发传输方法和系统还能够对处于空闲状态的传输链路进行传输复用，以使得多链路网络在同一时刻能够通过不同传输链路分别传输属于不同目标文件的碎片数据包，从而提高该多链路网络的数据传输效率以避免发生传输链路长时间闲置的情况。可见，该基于文件破碎与重组的多链路并发传输方法和系统通过对碎片数据包进行标定缓存和查找处理，来保证不同目标文件对应的碎片数据包的重组延续性和有效性，并且还将不同传输链路进行数据传输复用切换，以避免该多链路网络长时间传输单一数据而造成传输链路闲置的情况。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于文件破碎与重组的多链路并发传输方法的流程示意图。
图2为本发明提供的一种基于文件破碎与重组的多链路并发传输系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种基于文件破碎与重组的多链路并发传输方法的流程示意图。该基于文件破碎与重组的多链路并发传输方法包括如下步骤：
步骤S1，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将该若干碎片数据包进行多链路并发传输。
优选地，在该步骤S1中，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将该若干碎片数据包进行多链路并发传输具体包括，
步骤S101，对该目标文件进行关于预设破碎算法的破碎处理，以将该目标文件破碎分解为该若干碎片数据包；
步骤S102，对该若干碎片数据包进行统计处理，以获取每一个碎片数据包对应的属性信息；
步骤S103，根据该属性信息，对该若干碎片数据包与多链路网络进行关于预设神经网络模型的学习处理，以确定每一个碎片数据包与该多链路网络中每一个传输链路之间的匹配信息；
步骤S104，根据该匹配信息，将每一个碎片数据包匹配至相应的传输链路，以进行该多链路并发传输。
步骤S2，对该若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理。
优选地，在该步骤S2中，对该若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理具体包括，
步骤S201，获取每一个碎片数据包对应的传输编号信息、传输顺序信息和传输起始时间信息中的至少一者，并以此对每一个碎片数据包进行哈希表标定，其中，对每一个碎片数据包进行哈希表标定具体是通过下面公式(A)计算每一个碎片数据包的哈希标定值h
h＝s[0]·31L–1+…+s[L–3]·312+s[L–2]·311+s[L–1]·310 (A)
在上述公式(A)中，h为每一个碎片数据包的哈希标定值，s[0]、…s[L–3]、s[L–2]、s[L–1]为每一个碎片数据包作为哈希对象时字符对应的unicode值，L为所述哈希对象的长度；
步骤S202，根据该哈希表标定的结果，确定每一个碎片数据包对应的缓存位置信息和/或缓存时间信息；
步骤S203，根据该缓存位置信息和/或缓存时间信息，对每一个碎片数据包进行该缓存处理和/或该查找处理，
其中，所述查找处理是通过通排序处理来实现的，所述通排序处理具体包括，
先循环计算每一个碎片数据包中每一个关键字的桶映射函数，并根据所述通映射函数确定每一个碎片数据包对应的时间复杂度，再根据所述时间复杂度对所有碎片数据包卡进行通排序处理，以实现对每一个碎片数据包的查找处理。
在该步骤S2中，通过计算每一个碎片数据包的哈希标定值来进行哈希表标定能够保证该哈希表标定的唯一性，从而避免后续确定每一个碎片数据包对应的缓存位置信息和/或缓存时间信息时发生异常状况；此外，通过通排序处理来实现查找处理能够提高该查找处理的速度和效率，并且还能够减轻存储介质中的数据存储压力。
步骤S3，根据该缓存处理的结果和/或该查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理。
优选地，在该步骤S3中，根据该缓存处理的结果和/或该查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，
步骤S301，根据该缓存处理的结果和/或该查找处理的结果，确定不同碎片数据包相互之间的数据相关信息和/或每一碎片数据包对应的接收时间信息；
步骤S302，根据该数据相关信息和/或该接收时间信息，判断该目标文件对应的所有碎片数据包的传输完整性；
步骤S303，根据该传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理。
优选地，在该步骤S303中，根据该传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，
步骤S3031，若该判断结果指示该目标文件对应的所有碎片数据包已传输完毕，则根据预设重组算法对该所有碎片数据包进行重组处理；
步骤S3032，若该判断结果指示该目标文件对应的所有碎片数据包未传输完毕，则将当前处于空闲状态的传输链路进行其他碎片数据包的传输，
其中，对于当前处于空闲状态的传输链路进行其他碎片数据包的传输判定过程如下，
假设i为所有传输链路对应的编号，i＝1、2、3、…、n，n为所有传输链路的总数量，根据下面公式(1)计算碎片数据包传输到编号为i的传输链路需要的最短等待处理时间WFi
WFi＝max{ti1,ti2,…,tij} (1)
在上述公式(1)中，tij为运行在编号为i的传输链路上的第j个进程所需要的时间，其中当j＝0时，WFi＝0，即当传输链路上没有传输进程时，最短等待处理时间为0；
根据下面公式(2)，计算编号为i的传输链路的负载均衡程度wi，
在上述公式(2)中，mi为编号为i的传输链路的总资源数，mij为运行在编号为i的传输链路的第j个进程占用的资源数，p为运行在编号为i的传输链路的总进程数，j＝1、2、3、…、p；
根据下面公式(3)，计算编号为i的传输链路的进程执行消耗Ci，
在上述公式(3)中，tij为运行在编号为i的传输链路上的第j个进程所需要的时间，p为运行在编号为i的传输链路的总进程数，j＝1、2、3、…、p，Vcpui、Vrami、Vbwi分别为编号为i的传输链路对应的CPU、内存和带宽性能指标，αi为编号为i的传输链路在不执行任何进程时维持自身运转需要的消耗；
根据下面公式(4)-(6)，计算传输链路的单项评价得分F(WFi)、F(wi)、F(Ci)，
在上述公式(4)-(6)中，WFmin、WFmax分别表示WFi的最小值和最大值，wmax、wmin分别表示wi的最小值和最大值，Cmax、Cmin分别表示Ci的最小值和最大值；
再根据下面公式(7)，计算传输链路的综合评价得分Fi
再对该综合评价得分Fi进行排序，若编号为i的传输链路上无进程任务且其对应的综合评价得分排序为第一，则将该编号为i的传输链路设于待等待状态以用于进行任务重组处理，否则将该编号为i的传输链路立即用于该其他碎片数据包的传输。
参阅图2，为本发明实施例提供的一种基于文件破碎与重组的多链路并发传输系统的结构示意图。该基于文件破碎与重组的多链路并发传输系统包括文件破碎模块、哈希表标定模块、文件重组模块、多链路并发传输模块和传输调整模块；其中，
该文件破碎模块用于对目标文件进行破碎处理，以得到对应的若干碎片数据包；
该多链路并发传输模块用于将该若干碎片数据包进行多链路并发传输；
该哈希表标定模块用于对该若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理；
该传输调整模块用于根据该缓存处理的结果和/或该查找处理的结果，切换多链路并发传输对应的碎片数据包类型；
该文件重组模块用于根据该缓存处理的结果和/或该查找处理的结果，对若干碎片数据包进行适应性重组处理。
优选地，该文件破碎模块包括破碎分解子模块、统计处理子模块和神经网络学习子模块；
优选地，该破碎分解子模块用于对该目标文件进行关于预设破碎算法的破碎处理，以将该目标文件破碎分解为该若干碎片数据包；
优选地，该统计处理子模块用于对该若干碎片数据包进行统计处理，以获取每一个碎片数据包对应的属性信息；
优选地，该神经网络学习子模块用于根据该属性信息，对该若干碎片数据包与多链路网络进行关于预设神经网络模型的学习处理，以确定每一个碎片数据包与该多链路网络中每一个传输链路之间的匹配信息；
优选地，该多链路并发传输模块还用于根据该匹配信息，将每一个碎片数据包匹配至相应的传输链路，以进行该多链路并发传输；
优选地，该哈希表标定模块包括碎片数据包信息获取子模块、缓存信息确定子模块和缓冲/查找处理子模块；
优选地，该碎片数据包信息获取子模块用于获取每一个碎片数据包对应的传输编号信息、传输顺序信息和传输起始时间信息中的至少一者，并用于对每一个碎片数据包进行哈希表标定；
优选地，该缓存信息确定子模块用于根据该哈希表标定的结果，确定每一个碎片数据包对应的缓存位置信息和/或缓存时间信息；
优选地，该缓冲/查找处理子模块用于根据该缓存位置信息和/或缓存时间信息，对每一个碎片数据包进行该缓存处理和/或该查找处理；
优选地，该传输调整模块包括数据相关信息确定子模块、数据包接收时间确定子模块、传输完整性判断子模块和传输状态切换子模块；
优选地，该数据相关信息确定子模块用于根据该缓存处理的结果和/或该查找处理的结果，确定不同碎片数据包相互之间的数据相关信息；
优选地，该数据包接收时间确定子模块用于根据该缓存处理的结果和/或该查找处理的结果，确定每一碎片数据包对应的接收时间信息；
优选地，该传输完整性判断子模块用于根据该数据相关信息和/或该接收时间信息，判断该目标文件对应的所有碎片数据包的传输完整性；
优选地，该传输状态切换子模块用于根据该传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型；
优选地，该文件重组模块还用于根据该传输完整性的判断结果，对若干碎片数据包进行适应性重组处理；
优选地，若该传输完整性判断子模块指示该目标文件对应的所有碎片数据包已传输完毕，则该文件重组模块根据预设重组算法对该所有碎片数据包进行重组处理；
优选地，若该传输完整性判断子模块指示该目标文件对应的所有碎片数据包未传输完毕，则该传输状态切换子模块将当前处于空闲状态的传输链路进行其他碎片数据包的传输。
从上述实施例的内容可知，该基于文件破碎与重组的多链路并发传输方法和系统通过对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将若干碎片数据包进行多链路并发传输，对若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理，以及根据缓存处理的结果和/或查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理，该多链路并发传输方法和系统通过对不同碎片数据包进行哈希表标定处理，以对相应的碎片数据包进行缓存和查找，以便于将未可进行重组的碎片数据包进行寄存操作，从而保证后续重组处理的延续性和有效性，并且该多链路并发传输方法和系统还能够对处于空闲状态的传输链路进行传输复用，以使得多链路网络在同一时刻能够通过不同传输链路分别传输属于不同目标文件的碎片数据包，从而提高该多链路网络的数据传输效率以避免发生传输链路长时间闲置的情况。可见，该基于文件破碎与重组的多链路并发传输方法和系统通过对碎片数据包进行标定缓存和查找处理，来保证不同目标文件对应的碎片数据包的重组延续性和有效性，并且还将不同传输链路进行数据传输复用切换，以避免该多链路网络长时间传输单一数据而造成传输链路闲置的情况。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种基于文件破碎与重组的多链路并发传输方法，其特征在于，所述基于文件破碎与重组的多链路并发传输方法包括如下步骤：
步骤S1，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将所述若干碎片数据包进行多链路并发传输；
步骤S2，对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理；
步骤S3，根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理；
在所述步骤S3中，根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，
步骤S301，根据所述缓存处理的结果和/或所述查找处理的结果，确定不同碎片数据包相互之间的数据相关信息和/或每一碎片数据包对应的接收时间信息；
步骤S302，根据所述数据相关信息和/或所述接收时间信息，判断所述目标文件对应的所有碎片数据包的传输完整性；
步骤S303，根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理；
在所述步骤S303中，根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型和/或对若干碎片数据包进行适应性重组处理具体包括，
步骤S3031，若所述判断结果指示所述目标文件对应的所有碎片数据包已传输完毕，则根据预设重组算法对所述所有碎片数据包进行重组处理；
步骤S3032，若所述判断结果指示所述目标文件对应的所有碎片数据包未传输完毕，则将当前处于空闲状态的传输链路进行其他碎片数据包的传输，其中，对于当前处于空闲状态的传输链路进行其他碎片数据包的传输判定过程如下，
假设i为所有传输链路对应的编号，i＝1、2、3、…、n，n为所有传输链路的总数量，根据下面公式(1)计算碎片数据包传输到编号为i的传输链路需要的最短等待处理时间WFi
WFi＝max{ti1,ti2,…,tij} (1)
在上述公式(1)中，tij为运行在编号为i的传输链路上的第j个进程所需要的时间，其中当j＝0时，WFi＝0，即当传输链路上没有传输进程时，最短等待处理时间为0；
根据下面公式(2)，计算编号为i的传输链路的负载均衡程度wi，
在上述公式(2)中，mi为编号为i的传输链路的总资源数，mij为运行在编号为i的传输链路的第j个进程占用的资源数，p为运行在编号为i的传输链路的总进程数，j＝1、2、3、…、p；
根据下面公式(3)，计算编号为i的传输链路的进程执行消耗Ci，
在上述公式(3)中，tij为运行在编号为i的传输链路上的第j个进程所需要的时间，p为运行在编号为i的传输链路的总进程数，j＝1、2、3、…、p，Vcpui、Vrami、Vbwi分别为编号为i的传输链路对应的CPU、内存和带宽性能指标，αi为编号为i的传输链路在不执行任何进程时维持自身运转需要的消耗；
根据下面公式(4)-(6)，计算传输链路的单项评价得分F(WFi)、F(wi)、F(Ci)，
在上述公式(4)-(6)中，WFmin、WFmax分别表示WFi的最小值和最大值，wmax、wmin分别表示wi的最小值和最大值，Cmax、Cmin分别表示Ci的最小值和最大值；
再根据下面公式(7)，计算传输链路的综合评价得分Fi
再对所述综合评价得分Fi进行排序，若编号为i的传输链路上无进程任务且其对应的综合评价得分排序为第一，则将所述编号为i的传输链路设于待等待状态以用于进行任务重组处理，否则将所述编号为i的传输链路立即用于所述其他碎片数据包的传输。
2.如权利要求1所述的基于文件破碎与重组的多链路并发传输方法，其特征在于：
在所述步骤S1中，对目标文件进行破碎处理，以得到对应的若干碎片数据包，并将所述若干碎片数据包进行多链路并发传输具体包括，
步骤S101，对所述目标文件进行关于预设破碎算法的破碎处理，以将所述目标文件破碎分解为所述若干碎片数据包；
步骤S102，对所述若干碎片数据包进行统计处理，以获取每一个碎片数据包对应的属性信息；
步骤S103，根据所述属性信息，对所述若干碎片数据包与多链路网络进行关于预设神经网络模型的学习处理，以确定每一个碎片数据包与所述多链路网络中每一个传输链路之间的匹配信息；
步骤S104，根据所述匹配信息，将每一个碎片数据包匹配至相应的传输链路，以进行所述多链路并发传输。
3.如权利要求1所述的基于文件破碎与重组的多链路并发传输方法，其特征在于：
在所述步骤S2中，对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理具体包括，
步骤S201，获取每一个碎片数据包对应的传输编号信息、传输顺序信息和传输起始时间信息中的至少一者，并以此对每一个碎片数据包进行哈希表标定，其中，对每一个碎片数据包进行哈希表标定具体是通过下面公式(A)计算每一个碎片数据包的哈希标定值h
h＝s[0]·31L–1+…+s[L–3]·312+s[L–2]·311+s[L–1]·310 (A)
在上述公式(A)中，h为每一个碎片数据包的哈希标定值，s[0]、…s[L–3]、s[L–2]、s[L–1]为每一个碎片数据包作为哈希对象时字符对应的unicode值，L为所述哈希对象的长度；
步骤S202，根据所述哈希表标定的结果，确定每一个碎片数据包对应的缓存位置信息和/或缓存时间信息；
步骤S203，根据所述缓存位置信息和/或缓存时间信息，对每一个碎片数据包进行所述缓存处理和/或所述查找处理，
其中，所述查找处理是通过桶排序处理来实现的，所述桶排序处理具体包括，
先循环计算每一个碎片数据包中每一个关键字的桶映射函数，并根据所述桶 映射函数确定每一个碎片数据包对应的时间复杂度，再根据所述时间复杂度对所有碎片数据包进行桶排序处理，以实现对每一个碎片数据包的查找处理。
4.一种基于文件破碎与重组的多链路并发传输系统，其特征在于：
所述基于文件破碎与重组的多链路并发传输系统包括文件破碎模块、哈希表标定模块、文件重组模块、多链路并发传输模块和传输调整模块；其中，
所述文件破碎模块用于对目标文件进行破碎处理，以得到对应的若干碎片数据包；
所述多链路并发传输模块用于将所述若干碎片数据包进行多链路并发传输；
所述哈希表标定模块用于对所述若干碎片数据包进行哈希表标定，以实现对不同碎片数据包的缓存处理和/或查找处理；
所述传输调整模块用于根据所述缓存处理的结果和/或所述查找处理的结果，切换多链路并发传输对应的碎片数据包类型；
所述文件重组模块用于根据所述缓存处理的结果和/或所述查找处理的结果，对若干碎片数据包进行适应性重组处理；
所述传输调整模块包括数据相关信息确定子模块、数据包接收时间确定子模块、传输完整性判断子模块和传输状态切换子模块；其中，
所述数据相关信息确定子模块用于根据所述缓存处理的结果和/或所述查找处理的结果，确定不同碎片数据包相互之间的数据相关信息；
所述数据包接收时间确定子模块用于根据所述缓存处理的结果和/或所述查找处理的结果，确定每一碎片数据包对应的接收时间信息；
所述传输完整性判断子模块用于根据所述数据相关信息和/或所述接收时间信息，判断所述目标文件对应的所有碎片数据包的传输完整性；所述传输状态切换子模块用于根据所述传输完整性的判断结果，切换多链路并发传输对应的碎片数据包类型；
所述文件重组模块还用于根据所述传输完整性的判断结果，对若干碎片数据包进行适应性重组处理；
若所述传输完整性判断子模块指示所述目标文件对应的所有碎片数据包已传输完毕，则所述文件重组模块根据预设重组算法对所述所有碎片数据包进行重组处理；
若所述传输完整性判断子模块指示所述目标文件对应的所有碎片数据包未传输完毕，则所述传输状态切换子模块将当前处于空闲状态的传输链路进行其他碎片数据包的传输。
5.如权利要求4所述的基于文件破碎与重组的多链路并发传输系统，其特征在于：
所述文件破碎模块包括破碎分解子模块、统计处理子模块和神经网络学习子模块；其中，
所述破碎分解子模块用于对所述目标文件进行关于预设破碎算法的破碎处理，以将所述目标文件破碎分解为所述若干碎片数据包；
所述统计处理子模块用于对所述若干碎片数据包进行统计处理，以获取每一个碎片数据包对应的属性信息；
所述神经网络学习子模块用于根据所述属性信息，对所述若干碎片数据包与多链路网络进行关于预设神经网络模型的学习处理，以确定每一个碎片数据包与所述多链路网络中每一个传输链路之间的匹配信息；
所述多链路并发传输模块还用于根据所述匹配信息，将每一个碎片数据包匹配至相应的传输链路，以进行所述多链路并发传输。
6.如权利要求4所述的基于文件破碎与重组的多链路并发传输系统，其特征在于：
所述哈希表标定模块包括碎片数据包信息获取子模块、缓存信息确定子模块和缓冲/查找处理子模块；其中，
所述碎片数据包信息获取子模块用于获取每一个碎片数据包对应的传输编号信息、传输顺序信息和传输起始时间信息中的至少一者，并用于对每一个碎片数据包进行哈希表标定；
所述缓存信息确定子模块用于根据所述哈希表标定的结果，确定每一个碎片数据包对应的缓存位置信息和/或缓存时间信息；
所述缓冲/查找处理子模块用于根据所述缓存位置信息和/或缓存时间信息，对每一个碎片数据包进行所述缓存处理和/或所述查找处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911107769.2A CN111225021B (zh) | 2019-11-13 | 2019-11-13 | 一种基于文件破碎与重组的多链路并发传输方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911107769.2A CN111225021B (zh) | 2019-11-13 | 2019-11-13 | 一种基于文件破碎与重组的多链路并发传输方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111225021A CN111225021A (zh) | 2020-06-02 |
| CN111225021B true CN111225021B (zh) | 2020-11-27 |
Family
ID=70828987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911107769.2A Active CN111225021B (zh) | 2019-11-13 | 2019-11-13 | 一种基于文件破碎与重组的多链路并发传输方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111225021B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220652B (zh) * | 2021-05-06 | 2022-02-11 | 北京连山科技股份有限公司 | 一种基于压缩处理的多链路并发传输方法和系统 |
| CN113328958B (zh) * | 2021-05-06 | 2022-03-11 | 北京连山科技股份有限公司 | 一种基于udp缓存优化的多链路大批量传输方法和系统 |
| CN113992306B (zh) * | 2021-09-26 | 2022-06-24 | 北京连山科技股份有限公司 | 一种多链路数据重传方法及系统 |
| CN115549954B (zh) * | 2022-08-16 | 2023-05-30 | 北京连山科技股份有限公司 | 一种基于异构的碎片化网络资源安全拼接通信系统 |
| CN115580588B (zh) * | 2022-10-08 | 2023-06-20 | 北京算网技术有限公司 | 一种高效的数据传输方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1633086A (zh) * | 2005-01-26 | 2005-06-29 | 北京大学 | 基于数据分块冗余和虚拟化存储的在线备份方法 |
| CN104539733A (zh) * | 2015-01-20 | 2015-04-22 | 电子科技大学 | 一种隐私碎片文件的云同步方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7248585B2 (en) * | 2001-10-22 | 2007-07-24 | Sun Microsystems, Inc. | Method and apparatus for a packet classifier |
| CN102811158A (zh) * | 2011-06-02 | 2012-12-05 | 中兴通讯股份有限公司 | 一种数据定位、重组方法及相应装置 |
| CN104519090B (zh) * | 2013-09-27 | 2019-02-12 | 深圳市腾讯计算机系统有限公司 | 文件传输方法及装置 |
| CN105933232B (zh) * | 2016-03-29 | 2018-10-23 | 东北大学 | 支持多业务数据传输需求的多径传输控制终端及方法 |
| CN106209883A (zh) * | 2016-07-21 | 2016-12-07 | 连山管控（北京）信息技术有限公司 | 基于链路选择和破碎重组的多链路传输方法及系统 |
-
2019
- 2019-11-13 CN CN201911107769.2A patent/CN111225021B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1633086A (zh) * | 2005-01-26 | 2005-06-29 | 北京大学 | 基于数据分块冗余和虚拟化存储的在线备份方法 |
| CN104539733A (zh) * | 2015-01-20 | 2015-04-22 | 电子科技大学 | 一种隐私碎片文件的云同步方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111225021A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111225021B (zh) | 一种基于文件破碎与重组的多链路并发传输方法和系统 | |
| US8908564B2 (en) | Method for Media Access Control address learning and learning rate suppression | |
| US7529242B1 (en) | Routing network packets for multi-processor network flow analysis | |
| US9997245B1 (en) | Method and apparatus for TCAM based look-up | |
| US7447230B2 (en) | System for protocol processing engine | |
| US7592935B2 (en) | Information retrieval architecture for packet classification | |
| EP2604006B1 (en) | Method and apparatus for packet processing and a preprocessor | |
| AU2008203261A1 (en) | Data processing apparatus and data transfer method | |
| CN109525518B (zh) | 一种基于fpga的ip报文网络地址转换方法及装置 | |
| US20220200906A1 (en) | Network Congestion Handling Method, Model Update Method, and Related Apparatus | |
| CN113519144A (zh) | 用于网络设备的精确匹配和三元内容可寻址存储器(tcam)混合查找 | |
| CN115150328B (zh) | 一种流表硬件卸载方法、设备及介质 | |
| US20060274742A1 (en) | Adaptive cache for caching context and for adapting to collisions in a session lookup table | |
| US7735135B1 (en) | Hardware-based intrusion detection accelerator | |
| CN110324204B (zh) | 一种在fpga中实现的高速正则表达式匹配引擎及方法 | |
| US20190220401A1 (en) | Method and apparatus for search engine cache | |
| US7653070B2 (en) | Method and system for supporting efficient and cache-friendly TCP session lookup operations based on canonicalization tags | |
| US7661138B1 (en) | Finite state automaton compression | |
| CN112866139A (zh) | 一种多规则流分类的实现方法、设备和存储介质 | |
| CN114338529B (zh) | 五元组规则匹配方法及装置 | |
| WO2019241926A1 (zh) | 访问控制列表的管理方法及装置 | |
| CN113411380B (zh) | 基于fpga可编程会话表的处理方法、逻辑电路和设备 | |
| WO2017185864A1 (zh) | 一种表项替换方法、装置及终端 | |
| CN110636005B (zh) | 知识中心网络的知识路由方法及装置 | |
| US20210377197A1 (en) | A mail transmission method, server and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210105 Address after: 2 / F, building 3, 19 Dongying Road, zhaoquanying Town, Shunyi District, Beijing Patentee after: Beijing Lianshan Science and Technology Co.,Ltd. Address before: 1 / F, building 3, 19 Dongying Road, zhaoquanying Town, Shunyi District, Beijing Patentee before: BEIJING LIANSHAN TIMES TECHNOLOGY Co.,Ltd. |