CN114363320A - 一种跨网数据回传方法、存储介质和系统 - Google Patents

Abstract

本发明公开一种跨网数据回传方法、存储介质和系统，其中方法包括如下步骤：发送端获取待上传的原始文件的文件标识；发送端将所述待上传的原始文件按照预设的分割规则，分割成多个数据块，对每个数据块按照顺序进行编号以及记录每个数据块的大小；发送端初始化数据块上传任务，接收返回的上传标识；发送端按照预设的发送规则依次发送各个数据块以及数据块编号、数据块大小、上传标识和文件标识到接收端。本方案避免在跨网传输大文件的时候，可能出现网络错误而导致传输断开，网络体验效果差的情况。

Description

一种跨网数据回传方法、存储介质和系统

技术领域

本发明涉及跨网数据传输技术领域，尤其涉及一种跨网数据回传方法、存储介质和系统。

背景技术

跨网数据传输是指在不同的局域网内，通过互联网进行跨局域网的传输。跨境数据传输是典型的跨网数据传输，是跨过国家边界的数据传输。跨境跨网数据传输具有低带宽、大时延的情况。这是因为跨境跨网数据传输一般是通过两个国家之间的主干网进行传输，主干网承载两个国家之间大量的数据交互，网络拥堵情况十分严重，分摊到每个传输链接的带宽则较低。而造成跨国网络数据传输大时延的原因主要有：国家与国家之间的物理距离远，距离越远，延迟越高。而且跨国带宽是国际带宽，其路由所走的线路可能存在绕行，绕行距离越远，延迟越高，网络速度越慢。

这样在跨网传输大文件的时候，则可能出现网络错误而导致传输断开，网络体验效果差。

发明内容

为此，需要提供一种跨网数据回传方法、存储介质和系统，解决在跨网传输大文件的时候，则可能出现网络错误而导致传输断开，网络体验效果差的问题。

为实现上述目的，本发明提供了一种跨网数据回传方法，包括如下步骤：

发送端获取待上传的原始文件的文件标识；

发送端将所述待上传的原始文件按照预设的分割规则，分割成多个数据块，对每个数据块按照顺序进行编号以及记录每个数据块的大小；

发送端初始化数据块上传任务，接收返回的上传标识；

发送端按照预设的发送规则依次发送各个数据块以及数据块编号、数据块大小、上传标识和文件标识到接收端；

接收端根据接收到的各个数据块、数据块编号、数据块大小、上传标识和文件标识，判断数据块是否完整，如果不完整，则发送补发信息到发送端，发送端接收到补发信息后对补发信息中的数据块进行补发；

如果完整，则接收端进行数据块合成得到原始文件。

进一步地，发送端在进行分割前还包括步骤：

发送端检测当前网络带宽，根据预设的最大数据块大小与网络带宽的关系，得到当前网络带宽对应的最大数据块大小，发送端分割出的数据块大小小于得到的最大数据块大小。

进一步地，发送端在进行分割前还包括步骤：

发送端检测当前网络丢包率，根据预设的数据块大小区间与网络丢包率的关系，得到当前网络丢包率对应的数据块大小区间，发送端分割出的数据块大小处在得到的数据块大小区间。

进一步地，所述补发信息包含需要补发数据块中已接收的数据大小，发送端根据补发信息中的数据大小补发数据块剩下的未接收的数据。

进一步地，还包括步骤：

发送端将每个数据块连同数据块编号、数据块大小、上传标识和文件标识打包成一个个数据包，每个数据包包含一个数据块、数据块编号、数据块大小、上传标识和文件标识，发送端依次发送数据包到接收端，接收端解析数据包后得到数据块编号、数据块大小、上传标识和文件标识。

进一步地，发送端对数据块进行打包后还包括对数据块进行压缩成数据包。

进一步地，还包括步骤：所述发送端对原始数据进行加密后分割，所述接收端进行数据块合成且进行解密后得到原始文件。

进一步地，所述的数据块大小相同。

另一方面，本发明还提供存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。

另一方面，本发明还提供跨网数据回传系统，包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。

区别于现有技术，上述技术方案通过原始文件进行分割，分割成多个数据块，而后通过对数据块进行编号和标记，再上传给接收端。实现了大文件的数据上传，通过数据块降低了每次发送的文件的数据大小，避免大文件长时间对网络占用和堵塞。也避免在跨网传输大文件的时候，可能出现网络错误而导致传输断开，网络体验效果差的情况。对于传输失败的数据块，也可以进行单个数据块重新补发，降低了补发时所占用的网络带宽。

附图说明

图1为本发明的一实施方式所述的系统结构示意图；

图2为本发明的一实施方式所述的方法流程图；

图3为本发明的一实施方式所述的方法流程图；

图4为本发明的一实施方式所述的方法流程图；

图5为本发明的一实施方式所述的系统结构另一示意图。

附图标记说明：

100、数据回传系统。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本申请中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。

除非另有定义，本文所使用的技术术语的含义与本申请所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本申请。

在本申请的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如A和/或B，表示：存在A，存在B，以及同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。

在本申请中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。

在没有更多限制的情况下，在本申请中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。

与《审查指南》中的理解相同，在本申请中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本申请实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。

在本申请实施例的描述中，所使用的与空间相关的表述，诸如“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“垂直”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等，所指示的方位或位置关系是基于具体实施例或附图所示的方位或位置关系，仅是为了便于描述本申请的具体实施例或便于读者理解，而不是指示或暗示所指的装置或部件必须具有特定的位置、特定的方位、或以特定的方位构造或操作，因此不能理解为对本申请实施例的限制。

除非另有明确的规定或限定，在本申请实施例的描述中，所使用的“安装”“相连”“连接”“固定”“设置”等用语应做广义理解。例如，所述“连接”可以是固定连接，也可以是可拆卸连接，或成一体设置；其可以是机械连接，也可以是电连接，也可以是通信连接；其可以是直接相连，也可以通过中间媒介间接相连；其可以是两个元件内部的连通或两个元件的相互作用关系。对于本申请所属技术领域的技术人员而言，可以根据具体情况理解上述用语在本申请实施例中的具体含义。

在一些实施例中，请参阅图1到图5，本发明首先提供一种跨网数据回传(传输)方法，可以应用在如图1所示的数据回传系统100中。数据回传系统包括发送端和接收端，发送端和接收端可以是一个电子设备，如计算机或者网络设备等。发送端和接收端之间连接有网络，这里的网络是连接两个不同的局域网，即跨网。本发明在进行数据回传时，如图2所示，当要进行数据回传的时候，发送端会接收到待发送的原始文件，则进入如下步骤：步骤S201发送端获取待上传的原始文件的文件标识；这个文件标识可以是文件的MD5值，用于后续判断是否是同一个文件的数据块。而后步骤S202发送端将所述待上传的原始文件按照预设的分割规则，分割成多个数据块，对每个数据块按照顺序进行编号以及记录每个数据块的大小。分割规则即指定每个数据块的大小。分割时候按照文件数据的顺序分割，编号则按照顺序编号。分割完成后，进入步骤S203发送端初始化数据块上传任务，接收返回的上传标识。这个上传任务即网络上传任务，通过上传标识可以标记该次上传的情况，可以通过上传标识记录上传的情况。而后进入步骤S204发送端按照预设的发送规则依次发送各个数据块以及数据块编号、数据块大小、上传标识和文件标识到接收端。这里的发送规则即发送的顺序，如按照数据块编号的先后进行顺序发送，发送每个数据块的时候都带上数据块编号、数据块大小、上传标识和文件标识，这些信息用于后续的数据完整性校验。发送端发送后，则接收端会接收到各个数据块和附带的信息，此时进入步骤S205接收端根据接收到的各个数据块、数据块编号、数据块大小、上传标识和文件标识，判断数据块是否完整。这里的完整包括单个数据块是否完整，如通过数据块大小判断接收到的数据块的数据量是否足够，通过文件标识和数据块编号可以知道全部的数据块是否全部完成传输。当然，对于最后一个数据块，可以通过附加一个结束标记(如“end”标识)进行标记，这样可以知道最后一个数据块的编号。如果不完整，则步骤S206发送补发信息到发送端，发送端接收到补发信息后对补发信息中的数据块进行补发，补发信息可以是文件标识和数据块编号，发送端接收到后进行对应的数据块的补发。补发完成后，则数据块是完整的。进入步骤S207如果完整，则接收端进行数据块合成得到原始文件。合成即将接收到的数据块按照文件标识和编号进行依次组合形成原始文件。这样就完成了文件的数据回传。当然，组合后，还可以根据组合后的文件，生成文件标识与接收到的文件标识进行对比，判断是否是正确的。如果不正确可以进行重新补发。

上述实施例中，通过对数据块进行补发，当遇上网络环境不好导致某个数据块上传失败的时候，如读取接收到的数据块的容量与发送端发送数据块大小数据不同，则说明数据块接收错误，可以对失败的数据块进行单独的重新补发，而不需要重新上传其他的数据块，这样可以避免数据块重复发送的情况，节省网络带宽。通过原始文件进行分割，分割成多个数据块，而后通过对数据块进行编号和标记，再上传给接收端。实现了大文件的数据上传，通过数据块降低了每次发送的文件的数据大小，避免大文件长时间对网络占用和堵塞。也避免在跨网传输大文件的时候，可能出现网络错误而导致传输断开，网络体验效果差的情况。

进一步地，由于网络情况实时在变，不同的网络情况下，不同的分割规则对传输的影响较大。为了实现根据网络情况实现较好的数据回传，则如图3所示，发送端在进行分割前还包括步骤S301发送端检测当前网络带宽，根据预设的最大数据块大小与网络带宽的关系，得到当前网络带宽对应的最大数据块大小，发送端分割出的数据块大小小于得到的最大数据块大小。其中，步骤S301可以在步骤S201之前，也可以在步骤S201之后。简单地，可以将带宽大小与最大数据块大小设定一个固定比例关系，如10M带宽，数据块最大10M，20M带宽，数据块最大20M。这样网络情况下，可以快速完成每个数据块的上传，避免过大的文件对网络堵塞或者可能由于网络错误产生传输失败情况。从而提高整个通道的利用率,同时也提高了数据的传输效率。

不仅仅是网络的带宽，网络的丢包率也会对数据传输产生较大影响。为了根据网络的实时丢包率实现较好的网络传输，进一步地，如图4所示，发送端在进行分割前还包括步骤：步骤S401发送端检测当前网络丢包率，根据预设的数据块大小区间与网络丢包率的关系，得到当前网络丢包率对应的数据块大小区间，发送端分割出的数据块大小处在得到的数据块大小区间。其中，步骤S401可以在步骤S201之前，也可以在步骤S201之后，通过不同的丢包率，实现不同的数据块大小的传输，从而提高整个通道的利用率,同时也提高了数据的传输效率。在某些实施例中，丢包率可以限制分割后的数据块的数量，从而提高通道利用率。

正如上述实施例提到的，补发信息中可以包含文件标识和数据块编号，可以实现对一整个数据块的补发。在某些实施例中，可以对部分数据块进行补发，则进一步地，所述补发信息包含需要补发数据块中已接收的数据大小，发送端根据补发信息中的数据大小补发数据块剩下的未接收的数据。这样提供断点续传的功能，当某个数据块在传输中途暂停之后，可以从上次上传完成的数据块已上传的位置处继续上传，避免重新上传之前的数据块部分，提高上传效率，节省网络带宽。补发完成后的数据块要进行大小校验，如果大小校验不通过，则需要进行整个数据块的补发。

在传输数据块的时候，可以采用流式上传的方式，这样可以在需要上传的文件大小还不确定的情况下开始上传。

为了使得数据块和附带的信息可以形成一个数据包，进一步地，还包括步骤：发送端将每个数据块连同数据块编号、数据块大小、上传标识和文件标识打包成一个个数据包，每个数据包包含一个数据块、数据块编号、数据块大小、上传标识和文件标识，发送端依次发送数据包到接收端，接收端解析数据包后得到数据块编号、数据块大小、上传标识和文件标识。通过一个完整的数据包，便于数据包的接收和后续的解析。数据块编号、数据块大小、上传标识和文件标识等数据信息可以放置在一个数据文件(如XML文件)中与数据块进行打包，打包可以采用压缩打包的方式，这样可以减少数据容量，提高网络利用率。

由于要进行跨网传输，数据块会经过互联网，为了避免数据被监听窃取后导致泄漏情况，进一步地，还包括步骤：所述发送端对原始数据进行加密后分割，所述接收端进行数据块合成且进行解密后得到原始文件。这样即使有数据块被监听窃取，得到的数据块也是加密后的部分数据，没有完整的数据块和解密秘钥无法完成解密，保证了数据的安全性。在某些实施例中，也可以在分割后的数据块进行每个数据块的单独加密，或者将数据信息文件连同数据块一起打包后进行加密，可以进一步提高安全性。

某些实施例中，如果网络只有一个网络通道，则为了简化分割的流程，可以采用所述的数据块大小相同的分割方式进行数据块的分割。在某些实施例中，如图5所示，网络的网络通道有多个，图中给出3个网络通道的实施例，实际上可以为更多。每个网络通道对应一个网络传输的路径，具有自己的标签，该标签用于标识网络通道，当在数据包在网络中进行传输时，网络设备会根据数据包所携带的网络通道的标签，采用标签对应的网络通道路径对数据包进行传输。此时，可以根据上述的网络带宽与分割规则的对应关系，对不同的网络通道分割不同大小的数据块，如10M带宽分割的数据块为10M，20M带宽分割的数据块为20M，每次分割与网络通道数量相同的数据块，每次分割的数据块的大小与网络通道带宽相匹配，而后按照该方式完成整个文件的分割。分割得到每个网络通道对应的多个数据块。此时，在进行数据块传输时，要为数据块指定相应的网络通道的标签。而后，发送端将数据块连同标签通过网络通道进行传输，网络通道会基于标签采用对应的网络通道进行传输。接收端从不同网络通道接收到数据块后，将全部的数据块组合得到原始文件。这样首先在发送端和接收端之间建立起两个以上的网络通道，通过不同的网络通道可以充分利用网络，加快网络传输的速度。避免大文件长时间占用某个网络通道导致堵塞的问题。

本发明还提供存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。存储介质可以安装在两个电子设备上，实现文件分割发送和接收。通过原始文件进行分割，分割成多个数据块，而后通过对数据块进行编号和标记，再上传给接收端。实现了大文件的数据上传，通过数据块降低了每次发送的文件的数据大小，避免大文件长时间对网络占用和堵塞。也避免在跨网传输大文件的时候，可能出现网络错误而导致传输断开，网络体验效果差的情况。对于传输失败的数据块，也可以进行单个数据块重新补发，降低了补发时所占用的网络带宽。

如图1所示，本发明还提供基于文件分割的数据回传的系统，包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例任意一项所述方法的步骤。本发明的数据回传系统通过数据块降低了每次发送的文件的数据大小，避免大文件长时间对网络占用和堵塞。也避免在跨网传输大文件的时候，可能出现网络错误而导致传输断开，网络体验效果差的情况。对于传输失败的数据块，也可以进行单个数据块重新补发，降低了补发时所占用的网络带宽。

在某些实施例中，本发明的发送端和接收端可以是网络设备，分别设置在一个区域和另一个区域内，如分公司办公区域和总公司办公区域，发送端和接收端通过互联网连接。而后与办公系统连接，如图5所示，分公司的办公电脑需要通过数据回传系统向总公司的服务器传送文件。传送时，发送端会接收到办公电脑发出的待发送文件，而后发送端和接收端完成对该待发送文件的分割和传输后，服务器接收到该待发送文件，完成办公电脑向服务器发送文件的过程。当然，本发明的数据回传系统也可以集成在邮件发送系统中。这样通过数据回传系统可以完成文件的分割和传输，通过文件分割可以降低文件的大小，避免文件过大而无法进行传输的问题。

上述所有实施例中，发送端和接收端仅仅是用于便于区分不同的主体，并不限定发送端只能进行发送或者接收端只能接收。实际上发送端和接收端其能力是一样的，都可以实现发送分割文件传输数据块和接收数据块的功能，本发明实施例仅仅以一次数据回传进行说明，实际上还存在文件往回发送的情况，即接收端作为发送文件的一方发送到发送端。此时，接收端执行上述实施例中发送端的步骤，而发送端执行上述实施例中接收端的步骤，从而可以实现文件的来回传输。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种跨网数据回传方法，其特征在于，包括如下步骤：

发送端获取待上传的原始文件的文件标识；

发送端将所述待上传的原始文件按照预设的分割规则，分割成多个数据块，对每个数据块按照顺序进行编号以及记录每个数据块的大小；

发送端初始化数据块上传任务，接收返回的上传标识；

发送端按照预设的发送规则依次发送各个数据块以及数据块编号、数据块大小、上传标识和文件标识到接收端；

接收端根据接收到的各个数据块、数据块编号、数据块大小、上传标识和文件标识，判断数据块是否完整，如果不完整，则发送补发信息到发送端，发送端接收到补发信息后对补发信息中的数据块进行补发；

如果完整，则接收端进行数据块合成得到原始文件。

2.根据权利要求1所述的一种跨网数据回传方法，其特征在于：发送端在进行分割前还包括步骤：

发送端检测当前网络带宽，根据预设的最大数据块大小与网络带宽的关系，得到当前网络带宽对应的最大数据块大小，发送端分割出的数据块大小小于得到的最大数据块大小。

3.根据权利要求1所述的一种跨网数据回传方法，其特征在于：发送端在进行分割前还包括步骤：

发送端检测当前网络丢包率，根据预设的数据块大小区间与网络丢包率的关系，得到当前网络丢包率对应的数据块大小区间，发送端分割出的数据块大小处在得到的数据块大小区间。

4.根据权利要求1所述的一种跨网数据回传方法，其特征在于：所述补发信息包含需要补发数据块中已接收的数据大小，发送端根据补发信息中的数据大小补发数据块剩下的未接收的数据。

5.根据权利要求1所述的一种跨网数据回传方法，其特征在于，还包括步骤：

发送端将每个数据块连同数据块编号、数据块大小、上传标识和文件标识打包成一个个数据包，每个数据包包含一个数据块、数据块编号、数据块大小、上传标识和文件标识，发送端依次发送数据包到接收端，接收端解析数据包后得到数据块编号、数据块大小、上传标识和文件标识。

6.根据权利要求5所述的一种跨网数据回传方法，其特征在于，发送端对数据块进行打包后还包括对数据块进行压缩成数据包。

7.根据权利要求1所述的一种跨网数据回传方法，其特征在于，还包括步骤：所述发送端对原始数据进行加密后分割，所述接收端进行数据块合成且进行解密后得到原始文件。

8.根据权利要求1到7任意一项所述的一种跨网数据回传方法，其特征在于：所述的数据块大小相同。

9.存储介质，其特征在于：所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1到8任意一项所述方法的步骤。

10.跨网数据回传系统，其特征在于：包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1到8任意一项所述方法的步骤。

Images