CN112492033A - 文件传输方法、系统及计算机可读存储介质 - Google Patents
文件传输方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112492033A CN112492033A CN202011378501.5A CN202011378501A CN112492033A CN 112492033 A CN112492033 A CN 112492033A CN 202011378501 A CN202011378501 A CN 202011378501A CN 112492033 A CN112492033 A CN 112492033A
- Authority
- CN
- China
- Prior art keywords
- file
- target
- data blocks
- segmented data
- target file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000015654 memory Effects 0.000 claims abstract description 51
- 230000011218 segmentation Effects 0.000 claims abstract description 47
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 238000012546 transfer Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 15
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件传输方法，包括：采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测；根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块；采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。本发明还公开了一种文件传输系统及计算机可读存储介质。通过将目标文件划分为多个分段数据块，采用多线程并行传输至服务器，并从服务器异步上传至目标终端，提高了文件传输效果。
Description
技术领域
本发明涉及文件传输技术领域，尤其涉及一种文件传输方法、系统及计算机可读存储介质。
背景技术
在企业、医院和政府等多种应用场景中均具有传输大文件的传输需求。然而，各应用场景中的网络资源通常都是有限的，如，在医院这一场景中，由于医院每天拍摄医疗影像数量庞大，而医生数量有限，为了提升针对效率，就采用AI技术代替医生对医疗影像文件分析，也即当前的互联网医疗+AI模式，而很多医疗影像文件数据量都比较大，而医院带宽不高，无法满足患者对诊断结果的时效要求。于是，在传输数据量较大的大文件时，可能存在被有损压缩传输，或程序崩溃，或是独占网络资源导致其他网络资源无法正常传输，亦或是传输过程中仍然需要等到文件继续上传或下载完才能结束。
因此，目前的文件传输方案，在传输数据量较大的大文件时，容易被损坏或导致应用程序崩溃等问题，导致文件传输效果不佳。
发明内容
本发明主要目的在于提供一种文件传输方法、文件传输系统及计算机可读存储介质，旨在解决现有技术中在传输数据量较大的大文件时，文件传输效果不佳的问题。
为实现上述目的，本发明提供一种文件传输方法，所述方法包括以下步骤：
采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测；
根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块；
采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
可选地，采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测；
根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块；
采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
可选地，所述根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式的步骤包括：
若所述网络状况处于波动状态，则在每传输一次分段数据块后，根据传输后的网络速率和未传输的目标文件大小确定分段数据块的第二数量和第二大小；
将所述目标文件的分段方式确定为按照所述第二数量将所述目标文件切分为所述第二大小的分段数据块。
可选地，所述采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器的步骤包括：
将切分后的多个分段数据块进行压缩，得到压缩后的各分段数据块；
采用多线程以多路复用的方式将压缩后的各分段数据块，从客户端并行传输至多个服务器。
可选地，所述将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件的步骤包括：
为所述多个服务器开启多个数据传输开关；
将各服务器接收到的分段数据块，通过所述多个数据传输开关异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
可选地，在采用多线程将切分后的多个分段数据块并行传输至多个服务器时，所述方法还包括：
监听各线程在传输分段数据块时的执行情况；
若多线程中存在至少一个线程的分段数据块传输失败，则取消所述多线程中的每一个线程。
可选地，所述将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件的步骤包括：
将各服务器接收到的分段数据块异步上传至目标终端；
由所述目标终端根据各分段数据块的位置标识信息和分段数据块的数量信息，运用合并工具将各分段数据块在目标终端的进行合并处理，并以零拷贝方式写入所述目标终端的内存中，使所述目标终端得到完整的所述目标文件。
可选地，所述采用零拷贝方式从存储器中读取待传输的目标文件的步骤包括：
在接收到目标终端发送的获取目标数据的数据请求时，采用零拷贝方式从存储器中读取待传输的目标文件，以将所述目标文件传输至所述目标终端。
此外，为实现上述目的，本发明还提供一种文件传输系统，所述文件传输系统包括存储器、处理器及存储在所述处理器上并可在处理器上运行的文件传输程序，所述处理器执行所述文件传输程序时实现如上所述的文件传输方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有文件传输程序，所述文件传输程序被处理器执行时实现如上所述的文件传输方法的步骤。
本发明实施例中，通过采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测，然后根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块，再采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的目标文件，避免直接传输目标文件时，容易因目标文件过大导致网络堵塞和文件损坏等情况发生，而影响目标文件的传输效果，通过文件分割与多线程并行传输以及异步上传，提高了文件传输速率，进而提高了文件传输效果。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的文件传输系统结构示意图；
图2是本发明文件传输方法第一实施例的流程示意图；
图3为本发明文件传输方法第二实施例的流程示意图；
图4为本发明文件传输方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的主要解决方案是：采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测；根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块；采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
由于不同的应用场景中网络资源通常都是有限的，然而在有限的网络资源下，进行大文件传输时，通常会存在传输文件被损坏或应用程序崩溃等造成网络阻塞，导致文件传输效果不佳。因而，本发明提出一种文件传输方法、系统及计算机可读存储介质，通过采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对目标文件的传输网络的网络状况进行监测，然后根据所监测的网络状况和目标文件的文件大小确定目标文件的分段方式，并按照所确定的分段方式将目标文件切分为多个分段数据块，再采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件，避免直接传输目标文件导致网络堵塞或目标文件损坏等情况发生而影响目标文件的传输效果。通过文件分割、多线程并行传输和异步上传等方式，提高了文件传输速率与可靠性，使得接收方能够得到完整的目标文件，进而提高了目标文件的传输效果。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的文件传输系统结构示意图。
如图1所示，该文件传输系统可以包括：通信总线1002，处理器1001，例如CPU，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的文件传输系统结构并不构成对文件传输系统的限定，可以包括比图示更多或更少的部件，或组合某些部件，或者不同的部件布置。
在图1所示的文件传输系统中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的文件传输程序，并执行以下操作：
采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测；
根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块；
采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
可选地，处理器1001可以调用存储器1005中存储的文件传输程序，还执行以下操作：
若所述网络状况处于稳定状态，则根据传输网络的网络带宽和所述目标文件的文件大小确定分段数据块的第一数量和第一大小；
将所述目标文件的分段方式确定为按照所述第一数量将所述目标文件切分为所述第一大小的分段数据块。
可选地，处理器1001可以调用存储器1005中存储的文件传输程序，还执行以下操作：
若所述网络状况处于波动状态，则在每传输一次分段数据块后，根据传输后的网络速率和未传输的目标文件大小确定分段数据块的第二数量和第二大小；
将所述目标文件的分段方式确定为按照所述第二数量将所述目标文件切分为所述第二大小的分段数据块。
可选地，处理器1001调用存储器1005中存储的文件传输程序，并执行以下操作：
将切分后的多个分段数据块进行压缩，得到压缩后的各分段数据块；
采用多线程以多路复用的方式将压缩后的各分段数据块，从客户端并行传输至多个服务器。
可选地，处理器1001可以调用存储器1005中存储的文件传输程序，还执行以下操作：
为所述多个服务器开启多个数据传输开关；
将各服务器接收到的分段数据块，通过所述多个数据传输开关异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
可选地，在采用多线程将切分后的多个分段数据块并行传输至多个服务器时，处理器1001可以调用存储器1005中存储的文件传输程序，还执行以下操作：
监听各线程在传输分段数据块时的执行情况；
若多线程中存在至少一个线程的分段数据块传输失败，则取消所述多线程中的每一个线程。
可选地，处理器1001可以调用存储器1005中存储的文件传输程序，还执行以下操作：
将各服务器接收到的分段数据块异步上传至目标终端；
由所述目标终端根据各分段数据块的位置标识信息和分段数据块的数量信息，运用合并工具将各分段数据块在目标终端的进行合并处理，并以零拷贝方式写入所述目标终端的内存中，使所述目标终端得到完整的所述目标文件。
可选地，处理器1001可以调用存储器1005中存储的文件传输程序，还执行以下操作：
在接收到目标终端发送的获取目标数据的数据请求时，采用零拷贝方式从存储器中读取待传输的目标文件，以将所述目标文件传输至所述目标终端。
参照图2，图2为本发明文件传输方法的第一实施例流程图，本实施例中，所述文件传输方法包括以下步骤：
步骤S10：采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测；
为了避免直接传输完整的大文件，导致传输过程中因文件过大或网络超时等原因发生传输文件受损或系统崩溃等情况，进而对文件传输效果产生影响，本实施例中，通过将待传输的大文件切分为多个小的分段数据块，然后采用多线程将切分后的多个分段数据块从客户端并行传输至服务器端，通过服务器端与目标终端交互，使得目标终端能够得到完整的目标文件，完成大文件的传输。
具体地，在对待传输的大文件进行切分或分割之前，先要从客户端的存储器(如磁盘)中读取待传输的目标文件，读取目标文件的方式可以是以零拷贝方式读取。其中，零拷贝是指CPU不执行从一个存储区域拷贝数据到另一个存储区域的任务，通常是在通过网络传输文件时用于减少CPU周期和内存带宽。其具体实现方式可以是：基于java nio的FileChannel提供的map()方法，该方法可以在一个打开的文件和MappedByteBuffer之间建立一个虚拟内存映射，MappedByteBuffer继承于ByteBuffer，类似于一个基于内存的缓冲区，可以省掉原来内核的文件读取缓冲区拷贝数据到用户缓冲区的拷贝过程。其中，javanio(java non-blocking IO)是java非阻塞式IO；FileChannel是一个连接到文件的通道，通过文件通道可读写文件，且文件通道总是运行在阻塞模式下；MappedByteBuffer是映射到文件的字节缓冲区；ByteBuffer是一个字节缓冲区；map()方法是创建一个新数组,其结果是该数组中的每个元素都调用一个提供的函数后返回的结果。于是，采用零拷贝方式从客户端的存储器中读取待传输的目标文件能够有效减少数据拷贝和共享总线操作的次数，消除传输数据在存储器之间不必要的中间拷贝次数，从而有效地提高数据传输效率。
然而，从客户端读取的目标文件，可能是大文件也可能是小文件，因而，需要对目标文件的文件大小进行甄别。而甄别目标文件是大文件还是小文件的方式可以是：预先设置一个文件阈值，作为甄别目标文件的依据。在目标文件的文件大小大于或等于文件阈值时，认为目标文件是大文件；在目标文件的文件大小小于文件阈值时，认为目标文件是小文件。而预先设置的文件阈值可以是默认设置也可以是用户自定义设置的固定值，在一较优的实施方案中，可结合网络状况动态设置文件阈值，如，在网络质量较差时，可以适当减小文件阈值，在网络质量较好时，可以合理增大文件阈值。
一实施例中，所读取的目标文件并非是任意选取的文件，而是目标终端侧用户具有读取需求的文件。因而，在采用零拷贝方式从客户端的存储器中读取待传输的目标文件之前，还需要检测是否接收到目标终端发送的获取目标数据的数据请求，若接收到，则采用零拷贝方式从存储器中读取待传输的目标文件，以最终将目标文件传输至目标终端；若未接收到，则继续监听是否接收到目标终端发送的获取目标数据的数据请求。
另外，在采用零拷贝方式从客户端的存储器中读取待传输的目标文件之后，还需要对目标文件的传输网络的网络状况进行监测，目标文件的传输网络尤指用于传输目标文件的网络，所监测的网络状况可包括网络是否稳定和网络是否可靠等，具体可依据网络传输速率和网络带宽等参数进行反映。
步骤S20：根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块；
从客户端读取目标文件之后，为了适应网络环境，提高文件传输速率，可通过将目标文件分成大小相等的多个分段数据块的方式，或者是将目标文件分成大小不等的多个分段数据块的方式；亦或者是随着时间的推移，动态调整所划分的多个分段数据块的数量与大小等方式对目标文件进行分段。具体可根据所监测的网络状况和目标文件的文件大小确定目标文件的分段方式。如，在网络状况良好(如，当前网速在第一范围)时，可以直接将目标文件分成大小相等的预设个数的分段数据块，而所划分的预设个数，还需根据目标文件的大小进行确定；在网络状况一般(如，当前网速在第二范围内)时，可将目标文件分成大小不等的多个分段数据块的方式，具体分为多少个数据块，每个数据块的大小如何，不仅取决于目标文件的大小，还可依据历史传输情况或历史网络数据进行确定，避免网络状况一般时因存在网络波动性的可能性，导致网络波动时无法及时适应网速的变化，而影响文件传输速率；在网络状况较差(如，当前网速在第三范围内)时，可动态调整所划分的多个分段数据块的数量与大小，避免网络波动性较大，容易占用过多的网络资源，不仅不利于目标文件的传输，而且能够有效减少网络阻塞，如，可以先划分成较小的数据块进行传输，然后根据较小的数据块的传输情况决定是否需要调整下一次传输的数据块的大小，依次类推。其中，第一范围内的网速大于第二范围内的网速，第二范围内的网速大于第三范围内的网速。而对于网络状况的监测，可以是以当前一段时间内的网络数据结合历史网络数据进行学习得到网络状况预测模型，对下一时间段内的网络状况进行预测。
另外，也可先根据网络带宽和目标文件的文件大小，进行多次测试，得到最佳的分段方式。如，在公网带宽为10Mb，待传输的目标文件的压缩包为100Mb，若将多线程固定设置为开启5个线程，则记录将分片大小设定为2Mb时的第一传输耗时，并记录将分片大小设定为1Mb时的第二传输耗时；然后将第一传输耗时和第二传输耗时进行比较，以耗时短者作为最终的分片大小，从而最佳的分片分段方式。
步骤S30：采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件；
在将目标文件切分为多个分段数据块之后，为了确保文件传输效果，使目标终端能够得到完整的目标文件，需要将切分后的多个数据块都传输到目标终端。而在传输过程中，为了提高传输速率，并合理利用网络资源，优选采用多线程技术以并行的方式传输切分后的多个分段数据块，其中，多线程技术尤指采用多个线程传输切分后的多个分段数据块，具体采用的线程数量可依据传输网络的带宽和需要传输的分段数据块的数量等进行确定，此处不做具体限定。这里，分段数据块的传输是先从客户端传输至多个服务器节点，每一个服务器节点可对应接收来自一个线程的分段数据块。且目标终端可以是多个服务器中的一个，也可以是独立于多个服务器存在的服务器或终端设备。
并且一实施例中，在传输过程中，系统还会监听各线程在传输分段数据块时的执行情况，若多线程中存在至少一个线程的分段数据块传输失败，则取消多线程中的每一个线程，避免即使其他线程继续传输相应的分段数据，终端亦然无法得到完整的目标文件，造成网络资源的浪费。当然，在其他的一些实施例中，也可以支持断点续传，此时在完成目标文件的所有分段数据块的传输后才能合并恢复得到完整的目标文件，但是断点传输效率较低，且容易造成网络堵塞。
在各服务器接收到相应线程传输的多个分段数据块之后，需要将接收到的多个分段数据块上传到目标终端进行汇总，且在上传汇总时，采用异步上传的方式进行上传，传输效率更高。具体地，在将各服务器接收到的分段数据块异步上传至目标终端之后，可由目标终端根据各分段数据块的位置标识信息(可包括起始位置标识信息和结束位置标志信息)和分段数据块的数量信息，运用合并工具(jdk提供的RandomAccessFile工具)将各分段数据块在目标终端的进行并行合并处理，并在并行合并处理后以零拷贝方式写入目标终端的内存中，具体可以是采用Linux直接以内存形式持久化存储到磁盘，使目标终端能够得到完整的目标文件，避免目标文件失效，导致需要重新传输，影响传输效率。
本实施例通过采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测，然后根据所监测的网络状况和所述目标文件的文件大小确定目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块，再采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的目标文件，可以避免因应用场景中网络资源有限导致的网络堵塞。也即，通过对目标文件执行分段操作，并采用多线程并行传输，能够避免直接传输完整的目标文件，导致文损坏或程序崩溃等情况发生，提高了文件传输效果。
参照图3，图3为本发明文件传输方法的第二实施例流程图，本实施例中，所述文件传输方法包括以下步骤：
步骤S11：采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测；
步骤S12：若所述网络状况处于稳定状态，则根据传输网络的网络带宽和所述目标文件的文件大小确定分段数据块的第一数量和第一大小；
步骤S13：将所述目标文件的分段方式确定为按照所述第一数量将所述目标文件切分为所述第一大小的分段数据块；
步骤S14：按照所确定的分段方式将所述目标文件切分为多个分段数据块；
步骤S15：采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
本实施例中，在采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对目标文件的传输网络的网络状况进行监测之后，可根据所监测的网络状况和所述目标文件的文件大小确定目标文件的分段方式。而根据网络状况和目标文件的文件大小确定目标文件的分段方式可以是：在所监听到的网络状况为传输网络处于稳定状态时，根据传输网络的网络带宽和目标文件的文件大小确定目标文件的分段方式。而传输网络是否处于稳定状况，可结合历史网络数据和当前网络数据进行判断，如可通过历史网络数据和当前网络数据训练网络状况评估模型，以对当前网络状况进行评估。具体地，可先根据传输网络的网络带宽和目标文件的文件大小确定分段数据块的第一数量和第一大小，如，可在网络带宽较宽(大于预设带宽)且目标文件较大(大于预设文件大小)时，将第一数量设定为10，第一大小设定为2MB；在络带宽较宽但目标文件较小时，将第一数量设定为5，第一大小设定为2MB；在网络带宽较窄(小于预设带宽)且目标文件较小(小于预设文件大小)时，将第一数量设定为5，第一大小设定为1MB；在网络带宽较窄但目标文件较大时，可将第一数量设定为10，第一大小设定为1MB等。然后，将目标文件的分段方式确定为按照所确定的第一数量将目标文件切分为第一大小的分段数据块。也即，在网络状况稳定时，可以确定目标文件的分段方式为切分为固定数量与固定大小的多个分段数据块，第一数量也即切分的分段数据块的总数量，第一大小也即各分段数据块的统一大小。
一实施例中，若传输网络的网络状况处于波动状态，则可根据每一次传输后的网络速率和未传输的目标文件大小确定目标文件的分段方式。具体地，可在每传输一次分段数据块后，先根据每一次传输后传输网络的网络速率和剩余未传输的目标文件大小确定分段数据块的第二数量和第二大小，然后将目标文件的分段方式确定为按照所述第二数量将所述目标文件切分为所述第二大小的分段数据块。也即，在网络状态波动时，可以根据网络速率和剩余未传输目标文件的分段数据块的数量与大小确定传输一次后，划分的分段数据块的第二数量和第二大小。如，可依据第一次传输后的网络速率作为下一次传输分段数据快的网络速率，若网络速率有所提高，则在下一次传输时，适当减少分段数量和/或增大分段数据块的大小，若网络速率有所降低，则在下一次传输时，适当增加分段数量和/或减小分段数据块的大小，以此类推。如此，便可以实现第二数量和第二大小的动态调整，避免网络资源占用过多导致网络堵塞，影响文件传输效果。
本实施例通过采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对目标文件的传输网络的网络状况进行监测，然后在网络状况处于稳定状态时，根据传输网络的网络带宽和目标文件的文件大小确定分段数据块的第一数量和第一大小，再将目标文件的分段方式确定为按照第一数量将所述目标文件切分为所述第一大小的分段数据块，并按照所确定的分段方式将目标文件切分为多个分段数据块，然后采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的目标文件。也即，通过在网络状况处于稳定状态时，将目标文件切分为固定大小和数量的分段数据块进行传输，可以避免因传输文件过大导致的文件损坏，网络堵塞和程序崩溃等情况的发生，提高了文件传输效果。
参照图4，图4为本发明文件传输方法的第三实施例流程图，本实施例中，所述文件传输方法包括以下步骤：
步骤S21：采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测；
步骤S22：根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块；
步骤S23：将切分后的多个分段数据块进行压缩，得到压缩后的各分段数据块；
步骤S24：采用多线程以多路复用的方式将压缩后的各分段数据块，从客户端并行传输至多个服务器；
步骤S25：将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
本实施例中，在将目标文件切分为多个分段数据块之后，为了进一步提高传输速率，需要对多分段数据块进行压缩处理。具体地，可先将切分后的多个分段数据块进行压缩，得到压缩后的各分段数据块，然后采用多线程以多路复用的方式将压缩后的各分段数据块从客户端并行传输至多个服务器。其中，多路复用也即一个信道同时传输多路信号，是一种以同一传输媒质(线路)承载多路信号进行通信的方式，可包括频分多路复用、时分多路复用和码分多路复用等。在多路复用的过程中，各路信号在送往传输媒质以前，需按一定的规则进行调制，以利于各路已调信号在媒质中传输，不致于被混淆，且在传到对方时可以使信号具有足够能量，且可用反调制的方法加以区分、恢复成原信号。接着，将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。其中，异步传输的方式可包括：使用第三方控件，如Flash，ActiveX等浏览器插件实现异步上传；使用隐藏的iframe(HTML标签)模拟异步上传；使用XMLHttpRequest2来实现异步上传等。合并的过程可以是根据划分分段数据块时标记的起始位置和结束位置等信息进行合并，以保证合并得到的目标文件的可靠性。
一实施例中，将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的过程中，为了保证高效传输，需要为多个服务器开启多个数据传输开关，然后将各服务器接收到的分段数据块，通过所述多个数据传输开关异步上传至目标终端进行合并，使目标终端得到完整的目标文件。其中，所开启的输出传输开关可包括：muiti_accept on(使一个工作进程可以同时接收所有的新连接)、use epoll(使用epoll模型，以显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率)、sendfile on(开启高效文件传输模式)、tcp_nopush on(减少网络报文段数量，防止网络阻塞)和tcp_nodelay on(防止磁盘阻塞，提高I/O性能)等。并且，epoll除可提供的水平触发(Level Triggered)外，还可提供边缘触发(Edge Triggered)，使得用户空间程序有可能缓存IO状态，减少epoll_wait/epoll_pwait的调用，提高应用程序效率。
本实施例通过对各分段数据块进行压缩可以减少数据的传输量，以多路复用的方式并行传输压缩后的分段数据块，可以有效提高传输速率，通过异步传输可以进一步提高传输速率。因此，通过将切分后的多个分段数据块进行压缩，得到压缩后的各分段数据块，再采用多线程以多路复用的方式将压缩后的各分段数据块，从客户端并行传输至多个服务器，然后将各服务器接收到的分段数据块异步上传至目标终端进行合并，可以有效提高文件传输速率，避免网络堵塞和文件损坏等情况发生，提高了文件传输效果。
此外，本发明实施例还提供一种文件传输系统，所述文件传输系统包括存储器、处理器及存储在所述处理器上并可在处理器上运行的文件传输程序，所述处理器执行所述文件传输程序时实现如上所述文件传输方法的步骤。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有文件传输程序，所述文件传输程序被处理器执行时实现如上所述的文件传输方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，电视，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种文件传输方法，其特征在于，所述文件传输方法包括以下步骤：
采用零拷贝方式从客户端的存储器中读取待传输的目标文件，并对所述目标文件的传输网络的网络状况进行监测；
根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式，并按照所确定的分段方式将所述目标文件切分为多个分段数据块；
采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器，并将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
2.如权利要求1所述的文件传输方法，其特征在于，所述根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式的步骤包括：
若所述网络状况处于稳定状态，则根据传输网络的网络带宽和所述目标文件的文件大小确定分段数据块的第一数量和第一大小；
将所述目标文件的分段方式确定为按照所述第一数量将所述目标文件切分为所述第一大小的分段数据块。
3.如权利要求1所述的文件传输方法，其特征在于，所述根据所监测的网络状况和所述目标文件的文件大小确定所述目标文件的分段方式的步骤包括：
若所述网络状况处于波动状态，则在每传输一次分段数据块后，根据传输后的网络速率和未传输的目标文件大小确定分段数据块的第二数量和第二大小；
将所述目标文件的分段方式确定为按照所述第二数量将所述目标文件切分为所述第二大小的分段数据块。
4.如权利要求1所述的文件传输方法，其特征在于，所述采用多线程将切分后的多个分段数据块从客户端并行传输至多个服务器的步骤包括：
将切分后的多个分段数据块进行压缩，得到压缩后的各分段数据块；
采用多线程以多路复用的方式将压缩后的各分段数据块，从客户端并行传输至多个服务器。
5.如权利要求4所述的文件传输方法，其特征在于，所述将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件的步骤包括：
为所述多个服务器开启多个数据传输开关；
将各服务器接收到的分段数据块，通过所述多个数据传输开关异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件。
6.如权利要求1所述的文件传输方法，其特征在于，在采用多线程将切分后的多个分段数据块并行传输至多个服务器时，所述方法还包括：
监听各线程在传输分段数据块时的执行情况；
若多线程中存在至少一个线程的分段数据块传输失败，则取消所述多线程中的每一个线程。
7.如权利要求1所述的文件传输方法，其特征在于，所述将各服务器接收到的分段数据块异步上传至目标终端进行合并，使目标终端得到完整的所述目标文件的步骤包括：
将各服务器接收到的分段数据块异步上传至目标终端；
由所述目标终端根据各分段数据块的位置标识信息和分段数据块的数量信息，运用合并工具将各分段数据块在目标终端的进行合并处理，并以零拷贝方式写入所述目标终端的内存中，使所述目标终端得到完整的所述目标文件。
8.如权利要求1所述的文件传输方法，其特征在于，所述采用零拷贝方式从存储器中读取待传输的目标文件的步骤包括：
在接收到目标终端发送的获取目标数据的数据请求时，采用零拷贝方式从存储器中读取待传输的目标文件，以将所述目标文件传输至所述目标终端。
9.一种文件传输系统，其特征在于，所述文件传输系统包括存储器、处理器及存储在存储器上并可在处理器上运行的文件传输程序，所述处理器执行所述文件传输程序时实现权利要求1-8中任一项所述的文件传输方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有文件传输程序，所述文件传输程序被处理器执行时实现如权利要求1-8中任一项所述的文件传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011378501.5A CN112492033A (zh) | 2020-11-30 | 2020-11-30 | 文件传输方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011378501.5A CN112492033A (zh) | 2020-11-30 | 2020-11-30 | 文件传输方法、系统及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112492033A true CN112492033A (zh) | 2021-03-12 |
Family
ID=74937765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011378501.5A Pending CN112492033A (zh) | 2020-11-30 | 2020-11-30 | 文件传输方法、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112492033A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112925761A (zh) * | 2021-03-31 | 2021-06-08 | 北京金山云网络技术有限公司 | 一种资源文件同步方法、装置、设备和存储介质 |
| CN113138969A (zh) * | 2021-04-30 | 2021-07-20 | 青岛盛世影云影视科技有限公司 | 数据传输方法、装置、电子设备和计算机可读存储介质 |
| CN113364848A (zh) * | 2021-06-01 | 2021-09-07 | 平安银行股份有限公司 | 文件缓存方法、装置、电子设备及存储介质 |
| CN113472874A (zh) * | 2021-06-28 | 2021-10-01 | 北京明略软件系统有限公司 | 文件并发传输方法、系统、存储介质及电子设备 |
| CN113824771A (zh) * | 2021-08-25 | 2021-12-21 | 深圳市玩物科技有限公司 | 文件传输方法、装置、设备、存储介质及程序产品 |
| CN114285838A (zh) * | 2021-12-22 | 2022-04-05 | 中国农业银行股份有限公司 | 一种文件上传方法、装置、系统、存储介质及电子设备 |
| CN114640665A (zh) * | 2022-02-15 | 2022-06-17 | 北京邮电大学 | 一种多源分段并行的文件下载方法和工具 |
| CN115442312A (zh) * | 2022-03-17 | 2022-12-06 | 北京车和家信息技术有限公司 | 车辆远程升级方法、装置、介质及设备 |
| CN115529307A (zh) * | 2022-08-23 | 2022-12-27 | 北京奇艺世纪科技有限公司 | 一种文件上传方法、系统、客户端设备及服务器 |
| CN115801809A (zh) * | 2022-11-03 | 2023-03-14 | 广州辰创科技发展有限公司 | 跨网数据同步控制系统、方法及介质 |
| CN116800691A (zh) * | 2023-08-25 | 2023-09-22 | 明度智云(浙江)科技有限公司 | 一种缓存数据分割处理方法、系统和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101656756A (zh) * | 2009-09-17 | 2010-02-24 | 中国科学院声学研究所 | 一种发送速率自适应控制的文件传输方法及其系统 |
| CN105338424A (zh) * | 2015-10-29 | 2016-02-17 | 努比亚技术有限公司 | 一种视频处理方法及系统 |
| CN105450769A (zh) * | 2015-12-10 | 2016-03-30 | 浪潮通用软件有限公司 | 一种文件传输的方法及装置 |
| CN109359099A (zh) * | 2018-08-21 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 分布式文件上传方法、装置、计算机设备及存储介质 |
| CN109982160A (zh) * | 2019-04-09 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 一种视频上传的方法、装置、客户端设备及服务器 |
| CN110995784A (zh) * | 2019-11-05 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 数据传输方法、系统及存储介质 |
| CN111404990A (zh) * | 2020-02-14 | 2020-07-10 | Oppo（重庆）智能科技有限公司 | 文件传输方法、装置、客户端及存储介质 |
-
2020
- 2020-11-30 CN CN202011378501.5A patent/CN112492033A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101656756A (zh) * | 2009-09-17 | 2010-02-24 | 中国科学院声学研究所 | 一种发送速率自适应控制的文件传输方法及其系统 |
| CN105338424A (zh) * | 2015-10-29 | 2016-02-17 | 努比亚技术有限公司 | 一种视频处理方法及系统 |
| CN105450769A (zh) * | 2015-12-10 | 2016-03-30 | 浪潮通用软件有限公司 | 一种文件传输的方法及装置 |
| CN109359099A (zh) * | 2018-08-21 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 分布式文件上传方法、装置、计算机设备及存储介质 |
| CN109982160A (zh) * | 2019-04-09 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 一种视频上传的方法、装置、客户端设备及服务器 |
| CN110995784A (zh) * | 2019-11-05 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 数据传输方法、系统及存储介质 |
| CN111404990A (zh) * | 2020-02-14 | 2020-07-10 | Oppo（重庆）智能科技有限公司 | 文件传输方法、装置、客户端及存储介质 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112925761A (zh) * | 2021-03-31 | 2021-06-08 | 北京金山云网络技术有限公司 | 一种资源文件同步方法、装置、设备和存储介质 |
| CN113138969A (zh) * | 2021-04-30 | 2021-07-20 | 青岛盛世影云影视科技有限公司 | 数据传输方法、装置、电子设备和计算机可读存储介质 |
| CN113364848B (zh) * | 2021-06-01 | 2024-03-19 | 平安银行股份有限公司 | 文件缓存方法、装置、电子设备及存储介质 |
| CN113364848A (zh) * | 2021-06-01 | 2021-09-07 | 平安银行股份有限公司 | 文件缓存方法、装置、电子设备及存储介质 |
| CN113472874A (zh) * | 2021-06-28 | 2021-10-01 | 北京明略软件系统有限公司 | 文件并发传输方法、系统、存储介质及电子设备 |
| CN113824771A (zh) * | 2021-08-25 | 2021-12-21 | 深圳市玩物科技有限公司 | 文件传输方法、装置、设备、存储介质及程序产品 |
| CN114285838A (zh) * | 2021-12-22 | 2022-04-05 | 中国农业银行股份有限公司 | 一种文件上传方法、装置、系统、存储介质及电子设备 |
| CN114640665A (zh) * | 2022-02-15 | 2022-06-17 | 北京邮电大学 | 一种多源分段并行的文件下载方法和工具 |
| CN114640665B (zh) * | 2022-02-15 | 2023-02-10 | 北京邮电大学 | 一种多源分段并行的文件下载方法和工具 |
| CN115442312A (zh) * | 2022-03-17 | 2022-12-06 | 北京车和家信息技术有限公司 | 车辆远程升级方法、装置、介质及设备 |
| CN115529307A (zh) * | 2022-08-23 | 2022-12-27 | 北京奇艺世纪科技有限公司 | 一种文件上传方法、系统、客户端设备及服务器 |
| CN115801809A (zh) * | 2022-11-03 | 2023-03-14 | 广州辰创科技发展有限公司 | 跨网数据同步控制系统、方法及介质 |
| CN115801809B (zh) * | 2022-11-03 | 2023-11-03 | 广州辰创科技发展有限公司 | 跨网数据同步控制系统、方法及介质 |
| CN116800691A (zh) * | 2023-08-25 | 2023-09-22 | 明度智云(浙江)科技有限公司 | 一种缓存数据分割处理方法、系统和存储介质 |
| CN116800691B (zh) * | 2023-08-25 | 2023-11-21 | 明度智云(浙江)科技有限公司 | 一种缓存数据分割处理方法、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112492033A (zh) | 文件传输方法、系统及计算机可读存储介质 | |
| US9569742B2 (en) | Reducing costs related to use of networks based on pricing heterogeneity | |
| US11397538B2 (en) | Data migration method and apparatus | |
| US11405458B2 (en) | Sending and receiving data using multiple objects with a single storage request | |
| EP2821925A1 (en) | Distributed data processing method and apparatus | |
| US20150058829A1 (en) | Testing a software interface for a streaming hardware device | |
| US10620871B1 (en) | Storage scheme for a distributed storage system | |
| CN111711801B (zh) | 视频数据传输方法、装置、服务器和计算机可读存储介质 | |
| CN112262559A (zh) | 数据服务过载检测和缓解 | |
| CN109857545B (zh) | 一种数据传输方法及装置 | |
| US20230152978A1 (en) | Data Access Method and Related Device | |
| CN110391989B (zh) | 一种进行数据传输的方法和装置 | |
| JP2022509191A (ja) | 映像デコーディング制御方法、装置、電子機器及び記憶媒体 | |
| CN111611055B (zh) | 一种虚拟设备最优空闲时间迁移法、装置及可读存储介质 | |
| US20190349616A1 (en) | Method and device for transmitting video | |
| CN114296646B (zh) | 基于io业务的缓存方法、装置、服务器和存储介质 | |
| CN117492661A (zh) | 数据写入方法、介质、装置和计算设备 | |
| CN109308288B (zh) | 数据处理方法及装置 | |
| CN111435323B (zh) | 信息的传输方法、装置、终端、服务器及存储介质 | |
| US7827194B2 (en) | Access to shared disk device on storage area network | |
| US20150019768A1 (en) | Software interface for a specialized hardward device | |
| CN115442431A (zh) | 云桌面浏览器的重定向方法、装置、电子设备及存储介质 | |
| CN114500484A (zh) | 页面渲染方法、装置、电子设备及可读介质 | |
| CN111796901B (zh) | 切换共享内存区的方法和装置、存储介质和电子设备 | |
| JP2023509040A (ja) | データ伝送方法、端末及びコンピュータ読み取り可能な記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210312 |