CN112511633A - 一种海量小文件分块传输的方法、系统、设备及介质 - Google Patents
一种海量小文件分块传输的方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN112511633A CN112511633A CN202011397864.3A CN202011397864A CN112511633A CN 112511633 A CN112511633 A CN 112511633A CN 202011397864 A CN202011397864 A CN 202011397864A CN 112511633 A CN112511633 A CN 112511633A
- Authority
- CN
- China
- Prior art keywords
- files
- folder
- layer
- preset maximum
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004806 packaging method and process Methods 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
- H04L49/9057—Arrangements for supporting packet reassembly or resequencing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种海量小文件分块传输的方法、系统、设备和存储介质，方法包括：根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数；根据最大层数对每个文件夹进行遍历，并判断每个文件夹中同一层的文件个数是否大于或等于预设的最大文件个数；响应于同一层中文件个数大于或等于预设的最大文件个数，按照预设的最大文件个数将同一层的文件划分成多个单位；以及对属于同一个单位的文件进行打包传输，并对文件夹中未划分的文件和遍历的最后一层的子文件夹进行拷贝传输。本发明通过对海量小文件的文件夹进行划分，并打包成文件块，提高文件传输性能。
Description
技术领域
本发明涉及数据传输领域，更具体地，特别是指一种海量小文件分块传输的方法、系统、计算机设备及可读介质。
背景技术
随着人工智能相关产业的蓬勃发展，科研企业和高校的研究人员对计算力的要求也是越来越高，AI(人工智能)训练平台有效解决了企业或科研机构对计算力的要求，人工智能训练平台的一项重要的也是最基本的功能就是海量小文件的数据传输操作，如何提高海量小文件的传输效率，成为AI平台性能的一大瓶颈，在提高海量小文件数据集传输效率之后，会提高算法研究人员的模型训练效率，提高AI平台的传输性能，降低AI集群的资源使用情况。
AI训练领域，目前传输海量的小文件方式比较传统，例如通过拷贝一个大的海量小文件到另一台机器上，这样造成了人员和时间的浪费。对于目前涉及的海量小文件技术主要的直接拷贝传输方法，或者多线程的方式进行拷贝传输。直接拷贝传输的方式传输效率极差，如果在有大规模训练的集群中，传输效率会出现定时卡死甚至中断的现象，这样就会使得算法人员训练模型的效率极差，造成大量时间的浪费在海量数据集小文件传输上，不仅耽误了数据传输，在一定程度上还造成了集群上资源的使用浪费，使得在AI平台上申请的资源大部分时间都在等待数据传输的完成。
同时多线程对数据集拷贝，对并行拷贝的数据集划分粒度比较粗略，传输拷贝的数据集文件结构要求比较高，在一些数据集的传输中，性能并不高，例如，一个文件下有百万级别个小文件，在下载此类数据集的时候，数据集下载会特别耗时，甚至资源利用并不充分。
发明内容
有鉴于此，本发明实施例的目的在于提出一种海量小文件分块传输的方法、系统、计算机设备及计算机可读存储介质，利用广度优先的深度遍历方式进行数据集文件的结构遍历，并按照预设文件个数对文件进行分块打包，减少了资源等待，充分利用了网络输入输出，保证了AI训练平台的稳定运行，节省了时间成本，提高了平台的性能，并大大减少了平台占用资源的情况。
基于上述目的，本发明实施例的一方面提供了一种海量小文件分块传输的方法，包括如下步骤：根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数；根据所述最大层数对每个文件夹进行遍历，并判断每个文件夹中同一层的文件个数是否大于或等于预设的最大文件个数；响应于同一层中文件个数大于或等于预设的最大文件个数，按照所述预设的最大文件个数将同一层的文件划分成多个单位；以及对属于同一个单位的文件进行打包传输，并对文件夹中未划分的文件和遍历的最后一层的子文件夹进行拷贝传输。
在一些实施方式中，所述根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数包括：响应于所述文件夹预设的最大遍历层数对应的层中存在文件或子文件夹，则最大层数为所述预设的最大遍历层数。
在一些实施方式中，所述对属于同一个单位的文件进行打包传输包括：根据CPU核数确定线程数，并根据所述线程数采用多个线程对打包后的文件块进行传输。
在一些实施方式中，方法还包括：统计所述文件块的总数，并根据当前传输完成数确定传输进度，并实时记录所述完成进度以供断点续传。
本发明实施例的另一方面，还提供了一种海量小文件分块传输系统，包括：遍历模块，配置用于根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数；判断模块，配置用于根据所述最大层数对每个文件夹进行遍历，并判断每个文件夹中同一层的文件个数是否大于或等于预设的最大文件个数；划分模块，配置用于响应于同一层中文件个数大于或等于预设的最大文件个数，按照所述预设的最大文件个数将同一层的文件划分成多个单位；以及传输模块，配置用于对属于同一个单位的文件进行打包传输，并对文件夹中未划分的文件和遍历的最后一层的子文件夹进行拷贝传输。
在一些实施方式中，所述遍历模块配置用于：响应于所述文件夹预设的最大遍历层数对应的层中存在文件或子文件夹，则最大层数为所述预设的最大遍历层数。
在一些实施方式中，所述传输模块配置用于：根据CPU核数确定线程数，并根据所述线程数采用多个线程对打包后的文件块进行传输。
在一些实施方式中，系统还包括统计模块，配置用于：统计所述文件块的总数，并根据当前传输完成数确定传输进度，并实时记录所述完成进度以供断点续传。
本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：利用广度优先的深度遍历方式进行数据集文件的结构遍历，并按照预设文件个数对文件进行分块打包，减少了资源等待，充分利用了网络输入输出，保证了AI训练平台的稳定运行，节省了时间成本，提高了平台的性能，并大大减少了平台占用资源的情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的海量小文件分块传输的方法的实施例的示意图；
图2为本发明提供的海量小文件分块传输的计算机设备的实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种海量小文件分块传输的方法的实施例。图1示出的是本发明提供的海量小文件分块传输的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
S1、根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数；
S2、根据最大层数对每个文件夹进行遍历，并判断每个文件夹中同一层的文件个数是否大于或等于预设的最大文件个数；
S3、响应于同一层中文件个数大于或等于预设的最大文件个数，按照预设的最大文件个数将同一层的文件划分成多个单位；以及
S4、对属于同一个单位的文件进行打包传输，并对文件夹中未划分的文件和遍历的最后一层的子文件夹进行拷贝传输。
本发明实施例在多线程的基础进行了改进，对数据集进行了特定的细粒度划分，使得下载传输的每块数据集文件到达最优的效果。本发明实施例基于AI平台的资源隔离特性，充分利用训练任务分配的CPU和内存资源等，使用固定的划分方法对海量小文件进行划分，最后打包按块进行传输。按块传输具有非常多的优点，例如可以统计出进度信息，同时还可以进行断点续传等等功能。
根据每个文件夹中每一层级的文件和子文件夹的个数结合预设的最大遍历层数确定对每个文件夹遍历的最大层数。
在一些实施方式中，所述根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数包括：响应于所述文件夹预设的最大遍历层数对应的层中存在文件或子文件夹，则最大层数为所述预设的最大遍历层数。
设置深度遍历的层数为N，N可以根据具体的情形进行不同的配置；设置一个文件夹内的文件个数最大为MAXFILE。数据集具有三种情况：全是文件夹，全是文件，文件夹和文件混合的情况。在遍历一个文件夹下全是子文件夹的情景，继续进行遍历至N层目录，不足N层目录，则遍历至无文件夹的情况。例如，N为5，如果该文件夹只有四层，则遍历到四层，如果该文件夹大于五层，则遍历到五层。如果一个文件夹下某层全是文件，则该层为该文件夹的最底层。如果一个文件夹下文件夹和文件混合，需要考虑文件个数，文件个数不多情况下，划分时进行拷贝传输，文件个数比较多需要进行打包，单独分块，为一个单元进行传输。
根据最大层数对每个文件夹进行遍历，并判断每个文件夹中同一层的文件个数是否大于或等于预设的最大文件个数。响应于同一层中文件个数大于或等于预设的最大文件个数，按照预设的最大文件个数将同一层的文件划分成多个单位。
对属于同一个单位的文件进行打包传输，并对文件夹中未划分的文件和遍历的最后一层的子文件夹进行拷贝传输。针对文件夹的处理，按照直接拷贝的方式进行传输；针对文件块的处理，按照文件个数进行打包传输或拷贝传输。当文件个数比较多时，打包传输的效率比直接传输的效率高，减少了IO(输入输出)的wait(等待)开销，并降低了cpu的利用情况，提高了速度。
目前按照普通的打包方法，将文件进行打成tar包，tar包速度比较快，各个传输场景目前主要都是进行打tar包传输，例如docker数据，打tar包只针对小文件，将多个小文件打包成一个大文件的方式，在传输过程中通过控制文件数量，当传输的文件数量小于设置的阈值MAXFILE，进行文件的直接传输，大于MAXFILE进行打包传输。过程流程为：本地打包、远程拷贝、远程解包、远程包删除和本地包删除五个过程。经测试相比原始多线程拷贝传输，本发明实施例的传输速度增加多倍，不仅降低了io的wait时间，而且提高了cpu密集型操作上下文切换的效率。
在海量小文件的传输中，无论基于DMA的零拷贝还是其他公共模块提供的拷贝方式，对小文件的处理效果均不是最好，例如处理一个文件夹下的百万级别(或者千万级别)的数据集文件，处理效率比linux的基础命令cp或者scp更慢，故本发明实施例进行小文件列表打包的方式是比较好的处理方式，传输完之后进行包的解压合并以及删除操作。此为传输过程的核心且重要的操作，对于提高AI平台资源利用率和传输效率有着至关重要的作用。
在一些实施方式中，所述对属于同一个单位的文件进行打包传输包括：根据CPU核数确定线程数，并根据所述线程数采用多个线程对打包后的文件块进行传输。线程数依赖于训练模型所分配的CPU核数，换算方法如下：cpu核数×2<4时为4个线程数，cpu核数×2>8时为8个线程数，否则线程数为：cpu核数×2。
在一些实施方式中，方法还包括：统计所述文件块的总数，并根据当前传输完成数确定传输进度，并实时记录所述完成进度以供断点续传。在进行文件传输中，需要统计出文件块的总数，计算进度值公式：进度值＝传输完成数/文件块总数×100％。
本发明实施例基于AI训练平台，利用训练任务提供的资源构建线程队列，计算出进度信息，以及失败传输的模块，进行二次断点续传的思想，降低web(网页)压力，性能高效更贴合于算法开发人员使用；本发明实施例结合AI训练平台具体相关业务，通过对海量小文件的文件夹进行划分，打包成传输单位快，使得性能更加高效，避免传输占用太多资源，并且占用太长的实际，影响其它业务的正常使用。
需要特别指出的是，上述海量小文件分块传输的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于海量小文件分块传输的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种海量小文件分块传输的系统，包括：遍历模块，配置用于根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数；判断模块，配置用于根据所述最大层数对每个文件夹进行遍历，并判断每个文件夹中同一层的文件个数是否大于或等于预设的最大文件个数；划分模块，配置用于响应于同一层中文件个数大于或等于预设的最大文件个数，按照所述预设的最大文件个数将同一层的文件划分成多个单位；以及传输模块，配置用于对属于同一个单位的文件进行打包传输，并对文件夹中未划分的文件和遍历的最后一层的子文件夹进行拷贝传输。
在一些实施方式中，所述遍历模块配置用于：响应于所述文件夹预设的最大遍历层数对应的层中存在文件或子文件夹，则最大层数为所述预设的最大遍历层数。
在一些实施方式中，所述传输模块配置用于：根据CPU核数确定线程数，并根据所述线程数采用多个线程对打包后的文件块进行传输。
在一些实施方式中，系统还包括统计模块，配置用于：统计所述文件块的总数，并根据当前传输完成数确定传输进度，并实时记录所述完成进度以供断点续传。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数；S2、根据最大层数对每个文件夹进行遍历，并判断每个文件夹中同一层的文件个数是否大于或等于预设的最大文件个数；S3、响应于同一层中文件个数大于或等于预设的最大文件个数，按照预设的最大文件个数将同一层的文件划分成多个单位；以及S4、对属于同一个单位的文件进行打包传输，并对文件夹中未划分的文件和遍历的最后一层的子文件夹进行拷贝传输。
在一些实施方式中，所述根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数包括：响应于所述文件夹预设的最大遍历层数对应的层中存在文件或子文件夹，则最大层数为所述预设的最大遍历层数。
在一些实施方式中，所述对属于同一个单位的文件进行打包传输包括：根据CPU核数确定线程数，并根据所述线程数采用多个线程对打包后的文件块进行传输。
在一些实施方式中，方法还包括：统计所述文件块的总数，并根据当前传输完成数确定传输进度，并实时记录所述完成进度以供断点续传。
如图2所示，为本发明提供的上述海量小文件分块传输的计算机设备的一个实施例的硬件结构示意图。
以如图2所示的装置为例，在该装置中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。
处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图2中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的海量小文件分块传输的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的海量小文件分块传输的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据海量小文件分块传输的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置303可接收输入的用户名和密码等信息。输出装置304可包括显示屏等显示设备。
一个或者多个海量小文件分块传输的方法对应的程序指令/模块存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的海量小文件分块传输的方法。
执行上述海量小文件分块传输的方法的计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行如上方法的计算机程序。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，海量小文件分块传输的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种海量小文件分块传输的方法，其特征在于，包括以下步骤：
根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数；
根据所述最大层数对每个文件夹进行遍历，并判断每个文件夹中同一层的文件个数是否大于或等于预设的最大文件个数；
响应于同一层中文件个数大于或等于预设的最大文件个数，按照所述预设的最大文件个数将同一层的文件划分成多个单位；以及
对属于同一个单位的文件进行打包传输，并对文件夹中未划分的文件和遍历的最后一层的子文件夹进行拷贝传输。
2.根据权利要求1所述的方法，其特征在于，所述根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数包括：
响应于所述文件夹预设的最大遍历层数对应的层中存在文件或子文件夹，则最大层数为所述预设的最大遍历层数。
3.根据权利要求1所述的方法，其特征在于，所述对属于同一个单位的文件进行打包传输包括：
根据CPU核数确定线程数，并根据所述线程数采用多个线程对打包后的文件块进行传输。
4.根据权利要求3所述的方法，其特征在于，方法还包括：
统计所述文件块的总数，并根据当前传输完成数确定传输进度，并实时记录所述完成进度以供断点续传。
5.一种海量小文件分块传输的系统，其特征在于，包括：
遍历模块，配置用于根据每个文件夹中每一层级的文件和子文件夹的个数以及预设的最大遍历层数确定对每个文件夹遍历的最大层数；
判断模块，配置用于根据所述最大层数对每个文件夹进行遍历，并判断每个文件夹中同一层的文件个数是否大于或等于预设的最大文件个数；
划分模块，配置用于响应于同一层中文件个数大于或等于预设的最大文件个数，按照所述预设的最大文件个数将同一层的文件划分成多个单位；以及
传输模块，配置用于对属于同一个单位的文件进行打包传输，并对文件夹中未划分的文件和遍历的最后一层的子文件夹进行拷贝传输。
6.根据权利要求5所述的系统，其特征在于，所述遍历模块配置用于：
响应于所述文件夹预设的最大遍历层数对应的层中存在文件或子文件夹，则最大层数为所述预设的最大遍历层数。
7.根据权利要求5所述的系统，其特征在于，所述传输模块配置用于：
根据CPU核数确定线程数，并根据所述线程数采用多个线程对打包后的文件块进行传输。
8.根据权利要求7所述的系统，其特征在于，系统还包括统计模块，配置用于：
统计所述文件块的总数，并根据当前传输完成数确定传输进度，并实时记录所述完成进度以供断点续传。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011397864.3A CN112511633B (zh) | 2020-12-03 | 2020-12-03 | 一种海量小文件分块传输的方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011397864.3A CN112511633B (zh) | 2020-12-03 | 2020-12-03 | 一种海量小文件分块传输的方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112511633A true CN112511633A (zh) | 2021-03-16 |
| CN112511633B CN112511633B (zh) | 2022-11-29 |
Family
ID=74969662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011397864.3A Active CN112511633B (zh) | 2020-12-03 | 2020-12-03 | 一种海量小文件分块传输的方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112511633B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360462A (zh) * | 2021-08-10 | 2021-09-07 | 苏州浪潮智能科技有限公司 | 一种文件处理方法、装置、设备及可读存储介质 |
| CN115794749A (zh) * | 2023-01-30 | 2023-03-14 | 广州市刑事科学技术研究所 | 移动终端数据提取方法、装置、设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6192412B1 (en) * | 1998-07-28 | 2001-02-20 | Lucent Technologies, Inc. | Computer file transmission system and method |
| CN101980168A (zh) * | 2010-11-05 | 2011-02-23 | 北京云快线软件服务有限公司 | 一种动态分块传输方法及装置 |
| US20150163301A1 (en) * | 2013-12-06 | 2015-06-11 | Cellco Partnership D/B/A Verizon Wireless | System for and method for media upload multithreading for large file uploads |
| CN108093063A (zh) * | 2017-12-26 | 2018-05-29 | 中国电信股份有限公司新疆分公司 | 大文件多线程ftp上传方法 |
| WO2018108158A1 (zh) * | 2016-12-16 | 2018-06-21 | 贵州白山云科技有限公司 | 一种基于多数派的数据存储方法、装置、存储介质及设备 |
| US20200045100A1 (en) * | 2018-07-31 | 2020-02-06 | Pixspan, Inc. | Accelerated cloud data transfers using optimized file handling and a choice of speeds across heterogeneous network paths |
| CN111901377A (zh) * | 2020-06-28 | 2020-11-06 | 苏州浪潮智能科技有限公司 | 一种基于ai训练平台的文件传输方法、装置、设备和介质 |
-
2020
- 2020-12-03 CN CN202011397864.3A patent/CN112511633B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6192412B1 (en) * | 1998-07-28 | 2001-02-20 | Lucent Technologies, Inc. | Computer file transmission system and method |
| CN101980168A (zh) * | 2010-11-05 | 2011-02-23 | 北京云快线软件服务有限公司 | 一种动态分块传输方法及装置 |
| US20150163301A1 (en) * | 2013-12-06 | 2015-06-11 | Cellco Partnership D/B/A Verizon Wireless | System for and method for media upload multithreading for large file uploads |
| WO2018108158A1 (zh) * | 2016-12-16 | 2018-06-21 | 贵州白山云科技有限公司 | 一种基于多数派的数据存储方法、装置、存储介质及设备 |
| CN108093063A (zh) * | 2017-12-26 | 2018-05-29 | 中国电信股份有限公司新疆分公司 | 大文件多线程ftp上传方法 |
| US20200045100A1 (en) * | 2018-07-31 | 2020-02-06 | Pixspan, Inc. | Accelerated cloud data transfers using optimized file handling and a choice of speeds across heterogeneous network paths |
| CN111901377A (zh) * | 2020-06-28 | 2020-11-06 | 苏州浪潮智能科技有限公司 | 一种基于ai训练平台的文件传输方法、装置、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周兰凤等: "基于云环境下一种小文件传输策略研究", 《计算机工程与科学》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360462A (zh) * | 2021-08-10 | 2021-09-07 | 苏州浪潮智能科技有限公司 | 一种文件处理方法、装置、设备及可读存储介质 |
| WO2023015830A1 (zh) * | 2021-08-10 | 2023-02-16 | 苏州浪潮智能科技有限公司 | 一种文件处理方法、装置、设备及可读存储介质 |
| CN115794749A (zh) * | 2023-01-30 | 2023-03-14 | 广州市刑事科学技术研究所 | 移动终端数据提取方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112511633B (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | Clio: A hardware-software co-designed disaggregated memory system | |
| CN112511633B (zh) | 一种海量小文件分块传输的方法、系统、设备及介质 | |
| US20190163371A1 (en) | Next generation storage controller in hybrid environments | |
| US11743333B2 (en) | Tiered queuing system | |
| CN107977252A (zh) | 一种云平台业务的缩容方法、装置及云平台 | |
| CN103440244A (zh) | 一种大数据存储优化方法 | |
| Zhang et al. | Survey of research on big data storage | |
| US20200274943A1 (en) | Data Processing Method and Apparatus, Server, and Controller | |
| CN103412786A (zh) | 一种高性能服务器架构系统及数据处理方法 | |
| WO2011107046A2 (zh) | 内存访问监测方法和装置 | |
| CN110347651A (zh) | 基于云存储的数据同步方法、装置、设备及存储介质 | |
| CN104333533A (zh) | 一种用于工业控制系统网络的数据包零拷贝获取方法 | |
| Petrov et al. | Adaptive performance model for dynamic scaling Apache Spark Streaming | |
| CN112231098A (zh) | 任务处理方法、装置、设备及存储介质 | |
| CN106411872A (zh) | 一种基于数据报文分类的报文压缩的方法和装置 | |
| WO2023160276A1 (zh) | 一种数据处理方法、装置、计算机设备以及可读存储介质 | |
| CN107070709A (zh) | 一种基于底层numa感知的nfv实现方法 | |
| CN109828842A (zh) | 一种基于dpdk技术开发的高性能数据采集引擎方法 | |
| CN104243348A (zh) | 一种数据处理方法和装置 | |
| Fu et al. | Network traffic based virtual machine migration in cloud computing environment | |
| Feng et al. | Review of hadoop performance optimization | |
| CN106713462A (zh) | 一种网络数据包处理方法和装置 | |
| Datta et al. | SELF-STABILIZING k-out-of-ℓ EXCLUSION IN TREE NETWORKS | |
| CN107967172B (zh) | 一种面向异构存储的Spark任务动态迁移方法和系统 | |
| Zhao et al. | An improved data placement strategy in a heterogeneous hadoop cluster |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |