CN114466001A - 一种基于文件分包的文件传输方法、存储介质和系统 - Google Patents

Abstract

本发明公开一种基于文件分包的文件传输方法、存储介质和系统，其中方法包括如下步骤：发送方和接收方建立至少为两个网络通信通道；发送方将待发送的原始数据包中的文件根据通信通道的传输能力大小和通信通道个数进行分组，分组后每组打包成新的数据包；发送方为新的数据包分别指定对应的通信通道的标签；发送方将新的数据包连同标签通过网络通信通道进行传输，通信通道会基于标签采用对应的通信通道进行传输；接收方从不同通信通道接收到数据包后获取内部的文件，将全部的文件组合得到原始数据包。本方案通过文件分包可以降低文件的大小，避免数据包过大而无法进行传输的问题，而且由于传输时采用多个通信通道，传输速度也更快。

Description

一种基于文件分包的文件传输方法、存储介质和系统

技术领域

本发明涉及领域，尤其涉及一种基于文件分包的文件传输方法、存储介质和系统。

背景技术

随着现在的网络技术的高速发展，网络数据的传输不再局限在一个网络环境中，从而产生了不同网络之间的数据的跨网络传输需求。如在不同区域内的分公司或者子公司，需要与总公司进行网络数据传输。这里的不同区域可能是不同市区之间，也有可能是不同省份之间，甚至可能是不同国别之间。区域的分隔会造成网络的分隔，从而产生了不同网络间的跨网络数据传输需求。

而且随着经济的发展，具有不同区域间的公司主体也来越多，则不同网络之间的跨网络数据传输需求越来越普遍，而为了实现数据的跨网络传输，则数据需要通过互联网上进行传输。为了保证数据在互联网中的通信安全，避免数据泄露的问题，目前常见的做法是通过两个方面的途径进行解决，一个是对数据进行加密，通过加密数据后，再进行传输，即使发生数据泄露事件，由于数据是加密的，也可以避免数据被非法取得。另一个是通过专用的网络通道，通过在不同区域的网络间建立起虚拟单独的网络通道，通过该专用通道进行传输数据，也可以提升安全性。随着对网络安全的逐渐重视，通过采用上述两个方式进行结合实现更安全的数据传输。数据在传输时，一般包含有多个数据文件，为了实现对数据快速的加密，会采用将多个数据文件组成一个大的文件包后再进行加密的方式。这样会造成传输时的文件包过大。特别地，为了实现数据网络通道的安全，数据网络通道会限制文件包的大小，过大的文件包可能无法实现传输。

发明内容

为此，需要提供一种基于文件分包的文件传输方法、存储介质和系统，解决现有数据包传输交换场景下对传统多文件组合的大文件数据包上传过程中存在着文件大小限制而导致无法传输的问题。

为实现上述目的，本发明提供了一种基于文件分包的文件传输方法，包括如下步骤：

发送方和接收方建立至少为两个网络通信通道；

发送方将待发送的原始数据包中的文件根据通信通道的传输能力大小和通信通道个数进行分组，分组后每组打包成新的数据包；

发送方为新的数据包分别指定对应的通信通道的标签；

发送方将新的数据包连同标签通过网络通信通道进行传输，通信通道会基于标签采用对应的通信通道进行传输；

接收方从不同通信通道接收到数据包后获取内部的文件，将全部的文件组合得到原始数据包。

进一步地，所述通信通道的传输能力大小通过如下步骤得到：

发送方将不同大小的测试数据包分别指定对应的通信通道的标签，发送方将测试数据包连同标签通过网络通信通道进行传输；

接收方接收测试数据包后返回信息给发送方；

发送方根据返回信息确定每个通信通道所能传输的最大数据包大小，发送方在打包成新的数据包时使得通过某一通信通道的数据包大小不大于该通信通道所能传输的最大数据包大小。

进一步地，所述通信通道的传输能力大小通过如下步骤得到：

发送方将测试数据包分别指定对应的通信通道的标签，发送方将测试数据包连同标签通过网络通信通道进行传输；

接收方接收测试数据包后返回接收到的时间信息给发送方；

发送方根据返回接收到的时间信息确定每个通信通道的传输速度；

发送方在进行分组时根据通信通道的传输速度确定在该通信通道中传输的文件。

进一步地，所述分组后每组打包成新的数据包包括步骤：

发送方将新的数据包进行加密；则所述接收方从不同通信通道接收到数据包包括步骤：

接收方解密接收到的数据包。

进一步地，发送方对分组后的每个数据包分配与原始数据包关联的标记，发送方将新的数据包连同标记、标签一并通过网络通信通道进行传输；接收方接收到数据包得到内部的文件后根据标记将内部文件进行组合，得到原始数据包。

进一步地，所述发送方将原始数据包进行分组后每组打包成新的数据包还包括步骤：

发送方获取原始数据包内的文件个数和每个文件大小，按照大小由大到小依次排列；

根据通信通道的传输能力大小和通信通道个数确定每组的标准大小，依次从取出文件，计算取出的文件与每个组之间的粘合度，将文件放置到粘合度大的分组中，直到所有文件取出完毕后完成文件分组。

进一步地，发送方获取原始数据包内的每个文件大小包括如下步骤：从原始数据包取出文件后，使用所述打包所采用的压缩算法对每个文件进行单独压缩后，获取压缩后的文件大小。

进一步地，所述原始数据包为压缩数据包，发送方通过解压缩获取数据包内的文件。

本发明还提供存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。

本发明还提供基于文件分包的文件传输的系统，包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。

区别于现有技术，上述技术方案首先在发送方和接收方之间建立起两个以上的网络通信通道，通过不同的网络通信通道可以加快网络传输的速度。而后发送方将原始数据包进行分组和重新打包，并在每个通信通道内进行传输，接收方接收到后再重新组成原始数据包，这样就完成了文件分包和文件传输。通过这样的分包可以降低文件的大小，避免数据包过大而无法进行传输的问题，而且由于传输时采用多个通信通道，传输速度也更快。

附图说明

图1为本发明的公开实施例所述的系统结构示意图；

图2为本发明的公开实施例所述的方法流程图；

图3为本发明的公开实施例所述的方法流程图；

图4为本发明的公开实施例所述的方法流程图；

图5为本发明的公开实施例所述的系统结构另一示意图。

附图标记说明：

100、文件传输系统。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本申请中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。

除非另有定义，本文所使用的技术术语的含义与本申请所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本申请。

在本申请的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如A和/或B，表示：存在A，存在B，以及同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。

在本申请中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。

在没有更多限制的情况下，在本申请中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。

与《审查指南》中的理解相同，在本申请中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本申请实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。

在本申请实施例的描述中，所使用的与空间相关的表述，诸如“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“垂直”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等，所指示的方位或位置关系是基于具体实施例或附图所示的方位或位置关系，仅是为了便于描述本申请的具体实施例或便于读者理解，而不是指示或暗示所指的装置或部件必须具有特定的位置、特定的方位、或以特定的方位构造或操作，因此不能理解为对本申请实施例的限制。

除非另有明确的规定或限定，在本申请实施例的描述中，所使用的“安装”“相连”“连接”“固定”“设置”等用语应做广义理解。例如，所述“连接”可以是固定连接，也可以是可拆卸连接，或成一体设置；其可以是机械连接，也可以是电连接，也可以是通信连接；其可以是直接相连，也可以通过中间媒介间接相连；其可以是两个元件内部的连通或两个元件的相互作用关系。对于本申请所属技术领域的技术人员而言，可以根据具体情况理解上述用语在本申请实施例中的具体含义。

在一些实施例中，请参阅图1到图5，本发明首先提供一种基于文件分包的文件传输方法，可以应用在如图1所示的基于文件分包的文件传输系统100中。文件传输系统包括发送方和接收方，发送方和接收方可以是一个电子设备，如计算机。发送方和接收方之间连接有多个网络通信通道，每个网络通信通道具有自己的标签，该标签用于标识网络通信通道，当在数据包在网络中进行传输时，网络设备会根据数据包所携带的通信通道的标签，采用标签对应的通信通道对数据包进行传输。

本发明在进行文件传输时，如图2所示，包括如下步骤：步骤S201发送方和接收方建立至少为两个网络通信通道。如图1中为三个网络通信通道，实际上可以为更多。而后发送方会接收到待发送的原始数据包，则进入步骤S202发送方将待发送的原始数据包中的文件根据通信通道的传输能力大小和通信通道个数进行分组，分组后每组打包成新的数据包。传输能力大小包括有传输的速度和传输的大小限制等，这些信息可以是预设在发送方和接收方上。而后进入步骤S203发送方为新的数据包分别指定对应的通信通道的标签；以及在步骤S204发送方将新的数据包连同标签通过网络通信通道进行传输，通信通道会基于标签采用对应的通信通道进行传输。步骤S205接收方从不同通信通道接收到数据包后获取内部的文件，将全部的文件组合得到原始数据包。

上述方案首先在发送方和接收方之间建立起两个以上的网络通信通道，通过不同的网络通信通道可以加快网络传输的速度。而后发送方将原始数据包进行分组和重新打包，分组时，通信通道传输速度快的分组后的数据包较大，并在每个通信通道内进行传输，接收方接收到后再重新组成原始数据包，这样就完成了文件分包和文件传输。通过这样的分包可以降低文件的大小，避免数据包过大而无法进行传输的问题，而且由于传输时采用多个通信通道，传输速度也更快。

上述实施例中，传输能力大小可以是预设在发送方和接收方上。在某些实施例中，传输能力大小实际上根据实时情况是变化的，特别在跨过网络中，由于距离很远，不同时间网络的繁忙程度不同，对通信通道的通信能力影响很大。则需要实时获取通信通道的传输能力。而后根据实时获取情况进行文件分组。获取时，可以获取通信通道所能传输的最大数据包大小，具体如图3所示，包括如下步骤得到：步骤S301发送方将不同大小的测试数据包分别指定对应的通信通道的标签，发送方将测试数据包连同标签通过网络通信通道进行传输。而后在步骤S302接收方接收测试数据包后返回信息(返回接收到的信息)给发送方；步骤S303发送方根据返回信息确定每个通信通道所能传输的最大数据包大小，发送方在打包成新的数据包时使得通过某一通信通道的数据包大小不大于该通信通道所能传输的最大数据包大小。通过该方法可以避免数据包过大导致传输失败的情况。而后测试的时机可以是固定一个时间，如每天测试一次，或者在每次传输数据包之前。在某些实施例中，测试数据包的大小可以用上次得到的最大数据包大小，而后进行测试，如果能够完成传输，则向上增加最大数据包大小的5％后再次进行测试，直到测试得到最大数据包大小。如果不能完成传输，则向下减少最大数据包大小的5％后再次进行测试，直到测试得到最大数据包大小。这里的最大数据包大小为每个的通信通道具有其自身单独的最大数据包大小。

在测试通信通道的传输速度时，如图4所示，所述通信通道的传输能力大小通过如下步骤得到：步骤S401发送方将测试数据包分别指定对应的通信通道的标签，发送方将测试数据包连同标签通过网络通信通道进行传输；而后进入步骤S402接收方接收测试数据包后返回接收到的时间信息给发送方。而后步骤S403发送方根据返回接收到的时间信息确定每个通信通道的传输速度；最后步骤S404发送方在进行分组时根据通信通道的传输速度确定在该通信通道中传输的文件。即传输速度快的通信通道其数据包较大。如有两个通信通道A和B，A的传输速度是10M/S，B的传输速度是1M/S，如果有十一个文件，每个文件1M，则可以十个文件打包成1组，并标记上通道A的标签。剩下一个打包成1组，并标记上通道B的标签。这样传输时只需要1S就可以完成传输，优化了传输速度。

为了保证数据包在通信通道内传输的安全性，所述分组后每组打包成新的数据包包括步骤：发送方将新的数据包进行加密；则所述接收方从不同通信通道接收到数据包包括步骤：接收方解密接收到的数据包。本实施例通过对数据包进行加密，提高了数据包在通信通道内传输过程中的安全性，提高了传输过程的效率。以及在获取数据包以及传输数据包时均自动进行加密和解密过程，避免了人工加解密的步骤，使得数据包传输更加高效。

由于可能会将一个原始数据包拆分成多次进行发送，为了便于接收方接收到后进行还原，可以通过原始数据包的标记进行识别区分。具体地，发送方对分组后的每个数据包分配与原始数据包关联的标记，发送方将新的数据包连同标记、标签一并通过网络通信通道进行传输；接收方接收到数据包得到内部的文件后根据标记将内部文件进行组合，得到原始数据包。这样接收方可以知道哪些文件是原始数据包的，从而可以还原出原始数据包。具体地，标记中还可以带上文件的序号，最后一个文件增加结束标记，这样可以知道原始数据包有哪些文件，可以等到都接收到后进行组包。对于网络故障可能重复接收到文件也可以进行排除。

实际在传输时，原始数据包内的每个文件大小实际上是不等的，差异较大。为了实现尽可能的优化传输，进一步地，所述发送方将原始数据包进行分组后每组打包成新的数据包还包括步骤：发送方获取原始数据包内的文件个数和每个文件大小，按照大小由大到小依次排列；根据通信通道的传输能力大小和通信通道个数确定每组的标准大小(如直接将原始数据包大小按照通信通道的传输速度进行等比例切割，切割后的每组大小加起来为原始数据包的总大小)，依次从取出文件，计算取出的文件与每个组之间的粘合度，将文件放置到粘合度大的分组中，直到所有文件取出完毕后完成文件分组。其中，粘合度大小根据每组数据包剩下容量大小确定，剩下容量大的粘合度大，从而实现尽可能优化的分组。具体计算过程：从n(递归排列后文件个数)不同单位大小的文件信息中，取出m(通信通道个数)个文件作为基础排列，为每个基础文件定义最终组合的大小，然后依次取出后续文件，计算当前文件与每个组合粘合度，粘合度大的获取组合机会就大，以此类推，最终实现合理分包。

由于在打包的时候会采用压缩算法进行压缩，则为了适配实际传输的过程，发送方获取原始数据包内的每个文件大小包括如下步骤：从原始数据包取出文件后，使用所述打包所采用的压缩算法对每个文件进行单独压缩后，获取压缩后的文件大小。这样与分组后的数据包大小就是打包后的数据包大小，与实际传输情况适配，有利于优化传输。

一般地，原始数据包也可以是压缩数据包，则发送方通过解压缩获取数据包内的文件。而后接收方在通过相同的压缩算法压缩成原始数据包。

本发明还提供存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。存储介质可以安装在两个电子设备上，实现文件分包发送和接收。通过这样的分包可以降低文件的大小，避免数据包过大而无法进行传输的问题，而且由于传输时采用多个通信通道，传输速度也更快。

如图1所示，本发明还提供基于文件分包的文件传输的系统，包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。本发明的文件传输系统通过文件分包可以降低文件的大小，避免数据包过大而无法进行传输的问题，而且由于传输时采用多个通信通道，传输速度也更快。

在某些实施例中，本发明的发送方和接收方可以是网络设备，分别设置在一个区域和另一个区域内，如分公司办公区域和总公司办公区域，发送方和接收方通过互联网连接。而后与办公系统连接，如图5所示，分公司的办公电脑需要通过文件传输系统向总公司的服务器传送文件。传送时，发送方会接收到办公电脑发出的待发送文件，而后发送方和接收方完成对该待发送文件的分包和传输后，服务器接收到该待发送文件，完成办公电脑向服务器发送文件的过程。当然，本发明的文件传输系统也可以集成在邮件发送系统中。这样通过文件传输系统可以完成文件的分包和多通道传输，通过文件分包可以降低文件的大小，避免数据包过大而无法进行传输的问题，而且由于传输时采用多个通信通道，传输速度也更快。

上述所有实施例中，发送方和接收方仅仅是用于区分，并不限定发送方只能进行发送或者接收方只能接收。实际上发送方和接收方其能力是一样的，都可以实现发送分组分包和接收组包的功能，本发明实施例仅仅以一次文件传输进行说明，实际上还存在文件往回发送的情况，即接收方作为发送文件的一方发送到发送方。此时，接收方执行上述实施例中发送方的步骤，而发送方执行上述实施例中接收方的步骤，从而可以实现文件的来回传输。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于文件分包的文件传输方法，其特征在于，包括如下步骤：

发送方和接收方建立至少为两个网络通信通道；

发送方将待发送的原始数据包中的文件根据通信通道的传输能力大小和通信通道个数进行分组，分组后每组打包成新的数据包；

发送方为新的数据包分别指定对应的通信通道的标签；

发送方将新的数据包连同标签通过网络通信通道进行传输，通信通道会基于标签采用对应的通信通道进行传输；

接收方从不同通信通道接收到数据包后获取内部的文件，将全部的文件组合得到原始数据包。

2.根据权利要求1所述的一种基于文件分包的文件传输方法，其特征在于，所述通信通道的传输能力大小通过如下步骤得到：

发送方将不同大小的测试数据包分别指定对应的通信通道的标签，发送方将测试数据包连同标签通过网络通信通道进行传输；

接收方接收测试数据包后返回信息给发送方；

发送方根据返回信息确定每个通信通道所能传输的最大数据包大小，发送方在打包成新的数据包时使得通过某一通信通道的数据包大小不大于该通信通道所能传输的最大数据包大小。

3.根据权利要求1或2所述的一种基于文件分包的文件传输方法，其特征在于，所述通信通道的传输能力大小通过如下步骤得到：

发送方将测试数据包分别指定对应的通信通道的标签，发送方将测试数据包连同标签通过网络通信通道进行传输；

接收方接收测试数据包后返回接收到的时间信息给发送方；

发送方根据返回接收到的时间信息确定每个通信通道的传输速度；

发送方在进行分组时根据通信通道的传输速度确定在该通信通道中传输的文件。

4.根据权利要求1或2所述的一种基于文件分包的文件传输方法，其特征在于，所述分组后每组打包成新的数据包包括步骤：

发送方将新的数据包进行加密；则所述接收方从不同通信通道接收到数据包包括步骤：

接收方解密接收到的数据包。

5.根据权利要求1所述的一种基于文件分包的文件传输方法，其特征在于，发送方对分组后的每个数据包分配与原始数据包关联的标记，发送方将新的数据包连同标记、标签一并通过网络通信通道进行传输；接收方接收到数据包得到内部的文件后根据标记将内部文件进行组合，得到原始数据包。

6.根据权利要求1所述的一种基于文件分包的文件传输方法，其特征在于，所述发送方将原始数据包进行分组后每组打包成新的数据包还包括步骤：

发送方获取原始数据包内的文件个数和每个文件大小，按照大小由大到小依次排列；

根据通信通道的传输能力大小和通信通道个数确定每组的标准大小，依次从取出文件，计算取出的文件与每个组之间的粘合度，将文件放置到粘合度大的分组中，直到所有文件取出完毕后完成文件分组。

7.根据权利要求6所述的一种基于文件分包的文件传输方法，其特征在于，发送方获取原始数据包内的每个文件大小包括如下步骤：从原始数据包取出文件后，使用所述打包所采用的压缩算法对每个文件进行单独压缩后，获取压缩后的文件大小。

8.根据权利要求1所述的一种基于文件分包的文件传输方法，其特征在于，

所述原始数据包为压缩数据包，发送方通过解压缩获取数据包内的文件。

9.存储介质，其特征在于：所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1到8任意一项所述方法的步骤。

10.基于文件分包的文件传输的系统，其特征在于：包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1到8任意一项所述方法的步骤。

Images