CN113472874A - 文件并发传输方法、系统、存储介质及电子设备 - Google Patents
文件并发传输方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113472874A CN113472874A CN202110721368.7A CN202110721368A CN113472874A CN 113472874 A CN113472874 A CN 113472874A CN 202110721368 A CN202110721368 A CN 202110721368A CN 113472874 A CN113472874 A CN 113472874A
- Authority
- CN
- China
- Prior art keywords
- transmission
- file
- data block
- receiving end
- concurrent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种文件并发传输方法、系统、存储介质及电子设备，文件并发传输方法包括：文件接收步骤：接收原始文件及传输参数；文件处理步骤：根据所述传输参数将所述原始文件切分为多个数据块；数据块传输步骤：根据传输参数通过网络将多个所述数据块并发传输至接收端；数据块合并步骤：通过合并文件服务将多个所述数据块在所述接收端上进行合并形成所述原始文件。本发明减少了传输时间，提高了传输效率，由于支持断点续传减少了失败重传的效率。
Description
技术领域
本发明属于文件并发传输领域，具体涉及一种文件并发传输方法、系统、存储介质及电子设备。
背景技术
随着互联网的快速发展，用户对网络性能的要求越来越高，对于文件的传输，大文件的传输变得越来越频繁，传输的效率是我们比较关心的。对于目前企业上大部分服务器，cpu几十核、内存百吉以上都已是标配，大部分也都支持超线程，网卡都能支持到千兆以上。所以如果能充分利用上各种硬件资源，达到最高效的传输方式是最理想的。并发、可断点续传，能很好的提高传输性能。
并发传输：在机器的CPU是多核的情况下，程序中如果采用了多线程，那么程序会并发执行相同的逻辑，提高效率。
断点续传：在传输的文件失败后，断点续传可以在失败之后的数据开始传输，之前传输成功的不再传输，减少传输时间。
通过搭建FTP服务器实现文件的传输共享，FTP服务是基于FTP协议。FTP协议是TCP/IP协议组中的协议之一。FTP协议包括两个组成部分，其一为FTP服务器，其二为FTP客户端。其中FTP服务器用来存储文件，用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。在开发网站的时候，通常利用FTP协议把网页或程序传到Web服务器上。此外，由于FTP传输效率非常高，在网络上传输大的文件时，一般也采用该协议。FTP协议的任务是从一台计算机将文件传送到另一台计算机，它与这两台计算机所处的位置、联接的方式、甚至是是否使用相同的操作系统无关。假设两台计算机通过ftp协议对话，并且能访问Internet。
发明内容
本申请实施例提供了一种文件并发传输方法、系统、存储介质及电子设备，以至少解决现有的文件并发传输方法中传输性能不足的问题。
本发明提供了一种文件并发传输方法，其中，包括：
文件接收步骤：接收原始文件及传输参数；
文件处理步骤：根据所述传输参数将所述原始文件切分为多个数据块；
数据块传输步骤：根据传输参数通过网络将多个所述数据块并发传输至接收端；
数据块合并步骤：通过合并文件服务将多个所述数据块在所述接收端上进行合并形成所述原始文件。
上述文件并发传输方法，其中，还包括：
数据块传输监控步骤：每隔一指定时间，获取已经写入所述接收端的数据块的大小、传输状态及数据块id。
上述文件并发传输方法，其中，所述传输参数包括：接收端IP、远程接受文件目录、重传、断点续传、配置文件及发送端的CPU核数；
所述文件处理步骤中通过所述配置文件获取数据块大小，根据所述数据块大小对所述原始文件进行切分，所述文件处理步骤中通过所述CPU核数设置并发传输的线程个数；
所述数据块传输步骤中，根据所述接收端IP将所述数据块传输至所述接收端的所述远程接受文件目录。
上述文件并发传输方法，其中，所述数据块传输步骤中包括：每一数据块在传输完成后，将传输状态标志位为SUCCESS；当传输某一数据块时发生异常后，将传输状态标志位为FAILED或RUNNING，断点续传时，仅传输所述传输状态标志位为FAILED或RUNNING的数据块。
本发明还提供了一种文件并发传输系统，其中，包括：
文件接收模块，所述文件接收模块接收原始文件及传输参数；
文件处理模块，所述文件处理模块根据所述传输参数将所述原始文件切分为多个数据块；
数据块传输模块，所述数据块传输模块根据传输参数通过网络将多个所述数据块并发传输至接收端；
数据块合并模块，所述数据块合并模块通过合并文件服务将多个所述数据块在所述接收端上进行合并形成所述原始文件。
上述文件并发传输系统，其中，还包括：
数据块传输监控模块，所述据块传输监控模块每隔一指定时间，获取已经写入所述接收端的数据块的大小、传输状态及数据块id。
上述文件并发传输系统，其中，所述传输参数包括：接收端IP、远程接受文件目录、重传、断点续传、配置文件及发送端的CPU核数；
所述文件处理模块中通过所述配置文件获取数据块大小，根据所述数据块大小对所述原始文件进行切分，所述文件处理模块中通过所述CPU核数设置并发传输的线程个数；
所述数据块传输模块中，根据所述接收端IP将所述数据块传输至所述接收端的所述远程接受文件目录。
上述文件并发传输系统，其中，每一数据块在传输完成后，将传输状态标志位为SUCCESS；当传输某一数据块时发生异常后，将传输状态标志位为FAILED或RUNNING，断点续传时，仅传输所述传输状态标志位为FAILED或RUNNING的数据块。
本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现任一所述的文件并发传输方法。
本发明还提供一种存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现任一所述的文件并发传输方法。
本发明的有益效果在于：
本发明属于数据能力中的数据传输领域。本发明的文件并发传输方法减少了传输时间，提高了传输效率，由于支持断点续传减少了失败重传的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
在附图中：
图1是本发明的文件并发传输方法的技术路线流程图；
图2是本发明的文件并发传输方法的流程图；
图3是本发明的文件并发传输系统的结构示意图；
图4是根据本发明实施例的电子设备的框架图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
实施例一：
本发明提供一种文件并发传输方法，本发明主要的流程如图1所示，本发明充分利用服务器的软硬件以及网络资源，采用多线程并发传输，当由于各种不可控原因导致传输失败后，支持断点续传，保证不浪费已传输数据的空间与时间。
请参照图2，图2是文件并发传输方法的流程图。如图2所示，本发明的文件并发传输方法包括：
文件接收步骤S1：接收原始文件及传输参数；
文件处理步骤S2：根据所述传输参数将所述原始文件切分为多个数据块；
数据块传输步骤S3：根据传输参数通过网络将多个所述数据块并发传输至接收端；
数据块合并步骤S4：通过合并文件服务将多个所述数据块在所述接收端上进行合并形成所述原始文件。
其中，还包括：
数据块传输监控步骤：每隔一指定时间，获取已经写入所述接收端的数据块的大小、传输状态及数据块id。
其中，所述传输参数包括：接收端IP、远程接受文件目录、重传、断点续传、配置文件及发送端的CPU核数；
所述文件处理步骤中通过所述配置文件获取数据块大小，根据所述数据块大小对所述原始文件进行切分，所述文件处理步骤中通过所述CPU核数设置并发传输的线程个数；
所述数据块传输步骤中，根据所述接收端IP将所述数据块传输至所述接收端的所述远程接受文件目录。
其中，所述数据块传输步骤中包括：每一数据块在传输完成后，将传输状态标志位为SUCCESS；当传输某一数据块时发生异常后，将传输状态标志位为FAILED或RUNNING，断点续传时，仅传输所述传输状态标志位为FAILED或RUNNING的数据块。
具体地说，大文件传输主程序(以下简称“程序”)接受要传输的大文件数据(以下简称“文件”)，以及传输参数，如远程接受文件服务器的IP、远程接受文件的目录、重传还是断点续传。程序从配置文件中获取文件切分数据块大小，程序获取当前机器(部署程序所在的机器)上CPU的核数(或者超线程个数)。如果当前机器只是用来发送大数据文件，仅有这一个程序的服务的话，那程序在设置并发传输的线程个数时，跟CPU核数保持一致即可。如果当前机器上还有其他服务在运行，则按需计算要使用的核数(譬如CPU核数除以2)。需要保证的是，程序中并发的个数乘以每个线程所处理的数据块的大小，不能大于机器的总内存(当前机器只有传输数据的这一个服务的情况下)。
文件传输的主要逻辑，程序根据上一步设置好的并发和切分数据块大小，并指定接收文件服务器的地址跟目录后，就交给线程内部逻辑来处理对各个数据块的远程传输任务了。
通过网络传输上一步并发发送的文件，网卡支持的最大带宽尽量不小于网络带宽，这样才能达到更高效快速的文件传输。
线程内部每隔指定的时间(如1秒)，获取已经写入的当前数据块的大小，并将此值更新到库中对应的记录上。在当前线程处理完整个数据块后，需要修改数据库中传输状态标志位为SUCCESS。线程内部的逻辑在遇到异常时，必须捕获并且处理，处理主要是更改数据库中传输状态标志位为FAILED。
传输完成后，程序调用远程接受文件服务器上的合并文件的服务，对传输完成的文件合并成一个大文件。
重传、断点续传说明：
如果需要重传时(此时往往是因为要传输的原始文件有变化)，程序要做的是：1)调用远程接受文件服务器上的服务删除之前传输完的文件；2)删除数据库中当前文件id的记录(或者不删除，但再次传输相同文件的时候需要对文件id做区分)；3)走传输文件的上面几个操作。
如果断点续传时(此时是因为在4步骤时程序返回了异常导致相关线程没有传输完当前线程的数据块：传输状态为FAILED，最极端的情况是机器宕机：传输状态为RUNNING)，程序要做的是：1)获取数据库中当前续传文件id里对应“传输状态”标志位为FAILED和RUNNING的记录；2)对文件切分(切分时保证跟上次传输切分参数一致)，只传输FAILED和RUNNING记录对应的那些切分块，从数据库中“已传输大小”字段值开始传输，这样达到了断点续传的效果。
实施例二：
请参照图3，图3是本发明的文件并发传输系统的结构示意图。如图3所示本发明的一种文件并发传输系统，其中，包括：
文件接收模块，所述文件接收模块接收原始文件及传输参数；
文件处理模块，所述文件处理模块根据所述传输参数将所述原始文件切分为多个数据块；
数据块传输模块，所述数据块传输模块根据传输参数通过网络将多个所述数据块并发传输至接收端；
数据块合并模块，所述数据块合并模块通过合并文件服务将多个所述数据块在所述接收端上进行合并形成所述原始文件。
上述文件并发传输系统，其中，还包括：
数据块传输监控模块，所述据块传输监控模块每隔一指定时间，获取已经写入所述接收端的数据块的大小、传输状态及数据块id。
上述文件并发传输系统，其中，所述传输参数包括：接收端IP、远程接受文件目录、重传、断点续传、配置文件及发送端的CPU核数；
所述文件处理模块中通过所述配置文件获取数据块大小，根据所述数据块大小对所述原始文件进行切分，所述文件处理模块中通过所述CPU核数设置并发传输的线程个数；
所述数据块传输模块中，根据所述接收端IP将所述数据块传输至所述接收端的所述远程接受文件目录。
上述文件并发传输系统，其中，每一数据块在传输完成后，将传输状态标志位为SUCCESS；当传输某一数据块时发生异常后，将传输状态标志位为FAILED或RUNNING，断点续传时，仅传输所述传输状态标志位为FAILED或RUNNING的数据块。
实施例三：
结合图4所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种文件并发传输方法。
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图4所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以基于文件并发传输，从而实现结合图2描述的方法。
另外，结合上述实施例中文件并发传输方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种文件并发传输方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，基于本发明的有益效果在于，本发明减少了传输时间，提高了传输效率，由于支持断点续传减少了失败重传的效率。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本发明的保护范围应以所附权利要求的保护范围为准。
Claims (10)
1.一种文件并发传输方法，其特征在于，包括：
文件接收步骤：接收原始文件及传输参数；
文件处理步骤：根据所述传输参数将所述原始文件切分为多个数据块；
数据块传输步骤：根据传输参数通过网络将多个所述数据块并发传输至接收端；
数据块合并步骤：通过合并文件服务将多个所述数据块在所述接收端上进行合并形成所述原始文件。
2.如权利要求1所述的文件并发传输方法，其特征在于，还包括：
数据块传输监控步骤：每隔一指定时间，获取已经写入所述接收端的数据块的大小、传输状态及数据块id。
3.如权利要求2所述的文件并发传输方法，其特征在于，所述传输参数包括：接收端IP、远程接受文件目录、重传、断点续传、配置文件及发送端的CPU核数；
所述文件处理步骤中通过所述配置文件获取数据块大小，根据所述数据块大小对所述原始文件进行切分，所述文件处理步骤中通过所述CPU核数设置并发传输的线程个数；
所述数据块传输步骤中，根据所述接收端IP将所述数据块传输至所述接收端的所述远程接受文件目录。
4.如权利要求3所述的文件并发传输方法，其特征在于，所述数据块传输步骤中包括：每一数据块在传输完成后，将传输状态标志位为SUCCESS；当传输某一数据块时发生异常后，将传输状态标志位为FAILED或RUNNING，断点续传时，仅传输所述传输状态标志位为FAILED或RUNNING的数据块。
5.一种文件并发传输系统，其特征在于，包括：
文件接收模块，所述文件接收模块接收原始文件及传输参数；
文件处理模块，所述文件处理模块根据所述传输参数将所述原始文件切分为多个数据块；
数据块传输模块，所述数据块传输模块根据传输参数通过网络将多个所述数据块并发传输至接收端；
数据块合并模块，所述数据块合并模块通过合并文件服务将多个所述数据块在所述接收端上进行合并形成所述原始文件。
6.如权利要求5所述的文件并发传输系统，其特征在于，还包括：
数据块传输监控模块，所述据块传输监控模块每隔一指定时间，获取已经写入所述接收端的数据块的大小、传输状态及数据块id。
7.如权利要求6所述的文件并发传输系统，其特征在于，所述传输参数包括：接收端IP、远程接受文件目录、重传、断点续传、配置文件及发送端的CPU核数；
所述文件处理模块中通过所述配置文件获取数据块大小，根据所述数据块大小对所述原始文件进行切分，所述文件处理模块中通过所述CPU核数设置并发传输的线程个数；
所述数据块传输模块中，根据所述接收端IP将所述数据块传输至所述接收端的所述远程接受文件目录。
8.如权利要求7所述的文件并发传输方法，其特征在于，每一数据块在传输完成后，将传输状态标志位为SUCCESS；当传输某一数据块时发生异常后，将传输状态标志位为FAILED或RUNNING，断点续传时，仅传输所述传输状态标志位为FAILED或RUNNING的数据块。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的文件并发传输方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的文件并发传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110721368.7A CN113472874B (zh) | 2021-06-28 | 2021-06-28 | 文件并发传输方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110721368.7A CN113472874B (zh) | 2021-06-28 | 2021-06-28 | 文件并发传输方法、系统、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113472874A true CN113472874A (zh) | 2021-10-01 |
| CN113472874B CN113472874B (zh) | 2024-09-10 |
Family
ID=77873401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110721368.7A Active CN113472874B (zh) | 2021-06-28 | 2021-06-28 | 文件并发传输方法、系统、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113472874B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114172609A (zh) * | 2021-12-06 | 2022-03-11 | 深圳益邦阳光有限公司 | 一种数据传输方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105100140A (zh) * | 2014-05-04 | 2015-11-25 | 腾讯科技（深圳）有限公司 | 文件传输方法和系统 |
| CN105933412A (zh) * | 2016-04-20 | 2016-09-07 | 北京云宏信达信息科技有限公司 | 文件接收方法和装置及文件传输系统 |
| CN111245748A (zh) * | 2020-01-03 | 2020-06-05 | 北京明略软件系统有限公司 | 文件传输方法及装置、系统、电子设备、存储介质 |
| CN112351086A (zh) * | 2020-10-29 | 2021-02-09 | 北京华云安信息技术有限公司 | 文件传输方法、装置、设备和计算机可读存储介质 |
| CN112398916A (zh) * | 2020-10-29 | 2021-02-23 | 北京华云安信息技术有限公司 | 基于http协议的文件传输方法及装置 |
| CN112492033A (zh) * | 2020-11-30 | 2021-03-12 | 深圳市移卡科技有限公司 | 文件传输方法、系统及计算机可读存储介质 |
| CN112732667A (zh) * | 2021-01-15 | 2021-04-30 | 北京明略昭辉科技有限公司 | 一种分布式文件系统的可用性增强方法及系统 |
-
2021
- 2021-06-28 CN CN202110721368.7A patent/CN113472874B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105100140A (zh) * | 2014-05-04 | 2015-11-25 | 腾讯科技（深圳）有限公司 | 文件传输方法和系统 |
| CN105933412A (zh) * | 2016-04-20 | 2016-09-07 | 北京云宏信达信息科技有限公司 | 文件接收方法和装置及文件传输系统 |
| CN111245748A (zh) * | 2020-01-03 | 2020-06-05 | 北京明略软件系统有限公司 | 文件传输方法及装置、系统、电子设备、存储介质 |
| CN112351086A (zh) * | 2020-10-29 | 2021-02-09 | 北京华云安信息技术有限公司 | 文件传输方法、装置、设备和计算机可读存储介质 |
| CN112398916A (zh) * | 2020-10-29 | 2021-02-23 | 北京华云安信息技术有限公司 | 基于http协议的文件传输方法及装置 |
| CN112492033A (zh) * | 2020-11-30 | 2021-03-12 | 深圳市移卡科技有限公司 | 文件传输方法、系统及计算机可读存储介质 |
| CN112732667A (zh) * | 2021-01-15 | 2021-04-30 | 北京明略昭辉科技有限公司 | 一种分布式文件系统的可用性增强方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114172609A (zh) * | 2021-12-06 | 2022-03-11 | 深圳益邦阳光有限公司 | 一种数据传输方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113472874B (zh) | 2024-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109032796B (zh) | 一种数据处理方法和装置 | |
| CN108712457B (zh) | 基于Nginx反向代理的后端服务器动态负载调整方法及装置 | |
| CN110647511A (zh) | 数据同步方法、计算设备及计算机存储介质 | |
| CN114201421B (zh) | 一种数据流处理方法、存储控制节点及可读存储介质 | |
| CN113742290B (zh) | 一种数据存储方法、装置、存储介质及电子装置 | |
| CN108446300B (zh) | 数据信息的扫描方法及装置 | |
| CN112764877A (zh) | 一种用于硬件加速设备与docker内进程通信的方法与系统 | |
| CN111371585A (zh) | 用于cdn节点的配置方法及装置 | |
| CN110445580B (zh) | 数据发送方法及装置、存储介质、电子装置 | |
| CN113472874B (zh) | 文件并发传输方法、系统、存储介质及电子设备 | |
| US11755534B2 (en) | Data caching method and node based on hyper-converged infrastructure | |
| US20090157896A1 (en) | Tcp offload engine apparatus and method for system call processing for static file transmission | |
| US20160057068A1 (en) | System and method for transmitting data embedded into control information | |
| CN112822299A (zh) | 基于rdma的数据传输方法、装置及电子设备 | |
| CN112165505A (zh) | 去中心化的数据处理方法、电子装置和存储介质 | |
| CN108121514B (zh) | 元信息更新方法、装置、计算设备及计算机存储介质 | |
| CN112149392A (zh) | 一种富文本编辑方法和装置 | |
| CN111404842A (zh) | 数据传输方法、装置及计算机存储介质 | |
| CN114244758B (zh) | 安卓平台的网络诊断方法、存储介质、电子设备及系统 | |
| CN111431951A (zh) | 一种数据处理方法、节点设备、系统及存储介质 | |
| CN113839999A (zh) | 基于多集群的设备回调分发方法、系统、设备及存储介质 | |
| US9509780B2 (en) | Information processing system and control method of information processing system | |
| CN115914380A (zh) | 基于Zlib压缩算法的云计算资源管理器通信延迟优化方法 | |
| CN112861188A (zh) | 用于多集群的数据汇集系统和方法 | |
| CN118158205B (zh) | 一种短期流媒体缓存处理方法、装置、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |