CN106603686A - 一种基于分布式存储系统的文件传输方法 - Google Patents
一种基于分布式存储系统的文件传输方法 Download PDFInfo
- Publication number
- CN106603686A CN106603686A CN201611209057.8A CN201611209057A CN106603686A CN 106603686 A CN106603686 A CN 106603686A CN 201611209057 A CN201611209057 A CN 201611209057A CN 106603686 A CN106603686 A CN 106603686A
- Authority
- CN
- China
- Prior art keywords
- transmitted
- data file
- bearing capacity
- file
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于分布式存储系统的文件传输方法，提出通道复用机制，即多个小文件进行打包，打包后采用数据连接通道进行传输，这样减少频繁建立连接所花费的时间，大大提高了批量小文件的传输速度。对于大文件的传输，采用了分片传输策略。传输文件时，依据文件分片策略将文件分为多个文件分片，将文件分片定向到大文件缓存队列，即为存储服务器上，实现了文件的并行传输。服务器得到文件分片的位置信息，然后建立多个连接进行传输，将文件分片重组为完整的文件。使整个系统的传输效率提高，传输更加可靠。
Description
技术领域
本发明涉及文件传输领域，尤其涉及一种基于分布式存储系统的文件传输方法。
背景技术
目前在广域网内传输批量传输文件是一件非常耗时的事情，文件传输的时间可以分为：客户端向服务器发传输文件的命令请求到文件传输时间，在大量文件进行传输时，需要花费相当多地时间在建立连接和关闭连接上。
而将文件打包作为一个整体再传输虽然提高了传输的性能，但是需要用户主动将文件数据进行打包，当数据集比较大的时候非常消耗系统的资源，传输速率低下，而且容易阻塞网络通道。
发明内容
为了克服上述现有技术中的不足，本发明的目的在于，提供一种基于分布式存储系统的文件传输方法，文件传输方法包括：
S1:获取待传送数据文件的承载量，并将待传送数据文件的承载量与第一承载量阈值进行比较；
S2: 当待传送数据文件的承载量大于第一承载量阈值时，将待传送数据文件分解为若干个待传送数据分片；
S3:将若干个待传送数据分片传输至服务器；
S4:服务器接收若干个待传送数据分片，并将若干个待传送数据分片组合还原成原始数据文件。
优选地，步骤S1之后还包括：
S11：当待传送数据文件的承载量小于第一承载量阈值，且还小于第二承载量阈值时，将该待传送数据文件设置为第一待传送小数据文件；
其中，第一承载量阈值大于第二承载量阈值；
S12：获取下一待传送数据文件的承载量，并将待传送数据文件的承载量与第一承载量阈值进行比较，当待传送数据文件的承载量小于第一承载量阈值，且还小于第二承载量阈值时，将该待传送数据文件设置为第二待传送小数据文件；
S13：将第一待传送小数据文件与第二待传送小数据文件进行累加，获取累加后的第一小数据文件累加承载量；
S14：判断第一小数据文件累加承载量是否大于或等于小文件累加预设值；
S15：当第一小数据文件累加承载量大于或等于小文件累加预设值时，将第一待传送小数据文件与第二待传送小数据文件进行打包，并将打包后的第一待传送小数据文件包发送至服务器；
S16：重复上述步骤，将承载量小于第一承载量阈值，且还小于第二承载量阈值的待传送数据文件，按照小文件累加预设值的承载量进行打包，并发送至服务器。
优选地，步骤S15之后还包括：
服务器接收第一待传送小数据文件包，并将第一待传送小数据文件包分解还原成第一待传送小数据文件与第二待传送小数据文件。
优选地，步骤S1之后还包括：
S21：当待传送数据文件的承载量小于第一承载量阈值，且大于第二承载量阈值时，将该待传送数据文件设置为普通文件；
其中，第一承载量阈值大于第二承载量阈值；
S22：将所述普通文件发送至服务器。
优选地，步骤S1之后还包括：第一承载量阈值大于第二承载量阈值；
当待传送数据文件的承载量大于第一承载量阈值时，将该待传送数据文件缓存到大文件缓存队列；
当待传送数据文件的承载量小于第一承载量阈值，且大于第二承载量阈值时，将该待传送数据文件缓存到普通文件缓存队列；
当待传送数据文件的承载量小于第一承载量阈值，且还小于第二承载量阈值时，将该待传送数据文件缓存到小文件缓存队列。
优选地，当大文件缓存队列中储存量达到第一储存阈值时，将大文件缓存队列中的每个待传送数据文件进行分解，使每个待传送数据文件分解为若干个待传送数据分片；
将若干个待传送数据分片采用并行的传输方式传输至服务器；
服务器接收若干个待传送数据分片，并将若干个待传送数据分片组合还原成原数据文件。
优选地，当普通文件缓存队列中储存量达到第二储存阈值时，将待传送数据文件采用通用通道传输至服务器。
优选地，当小文件缓存队列中储存量达到第三储存阈值时，将小文件缓存队列中储存的所有待传送小数据文件进行打包，并将打包后的数据文件采用通道复用的方式发送至服务器；
服务器接收到打包后的数据文件后，并将该数据文件进行分解，还原成小数据文件。
从以上技术方案可以看出，本发明具有以下优点：
基于分布式存储系统的文件传输方法提出通道复用机制，即多个小文件进行打包，打包后采用数据连接通道进行传输，这样减少频繁建立连接所花费的时间，大大提高了批量小文件的传输速度。
对于大文件的传输，采用了分片传输策略。传输文件时，依据文件分片策略将文件分为多个文件分片，将文件分片定向到大文件缓存队列，即为存储服务器上，实现了文件的并行传输。服务器得到文件分片的位置信息，然后建立多个连接进行传输，将文件分片重组为完整的文件。使整个系统的传输效率提高，传输更加可靠。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例流程图；
图2为本发明另一实施例流程图；
图3为基于分布式存储系统的文件传输示意图；
图4为大文件传输对比图；
图5为小文件传输时间对比图；
图6为传输速率比曲线图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本发明保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。
本实施例提供一种基于分布式存储系统的文件传输方法，如图1所示，文件传输方法包括：
S1:获取待传送数据文件的承载量，并将待传送数据文件的承载量与第一承载量阈值进行比较；
S2: 当待传送数据文件的承载量大于第一承载量阈值时，将待传送数据文件分解为若干个待传送数据分片；
S3:将若干个待传送数据分片传输至服务器；
S4:服务器接收若干个待传送数据分片，并将若干个待传送数据分片组合还原成原始数据文件。
这样先获取待传送数据文件的承载量，当待传送数据文件的承载量大于第一承载量阈值时，将该待传送数据文件进行分解，分解为若干个待传送数据分片；具体的分解方式可以采用100～200MB分为 2 片，200～ 400MB分3片，400~600MB分4片，600MB以上分5片，系统最多分5片。当然具体的分解方式根据系统的处理速度及处理能力来设置，这里不对具体的分解容量进行限定。
待传送数据文件被分解后进行传输，传输至服务器，服务器接收若干个待传送数据分片，并将若干个待传送数据分片组合还原成原始数据文件。若干个待传送数据分片的传输方式可以采用并行的方式传输也可以采用串行的方式传输。
本实施例中，如图2所示，
S11：获取待传送数据文件的承载量，并将待传送数据文件的承载量与第一承载量阈值进行比较；
S12：当待传送数据文件的承载量小于第一承载量阈值，且还小于第二承载量阈值时，将该待传送数据文件设置为第一待传送小数据文件；
其中，第一承载量阈值大于第二承载量阈值；
S13：获取下一待传送数据文件的承载量，并将待传送数据文件的承载量与第一承载量阈值进行比较，当待传送数据文件的承载量小于第一承载量阈值，且还小于第二承载量阈值时，将该待传送数据文件设置为第二待传送小数据文件；
S14：将第一待传送小数据文件与第二待传送小数据文件进行累加，获取累加后的第一小数据文件累加承载量；
S15：判断第一小数据文件累加承载量是否大于或等于小文件累加预设值；
S16：当第一小数据文件累加承载量大于或等于小文件累加预设值时，将第一待传送小数据文件与第二待传送小数据文件进行打包，并将打包后的第一待传送小数据文件包发送至服务器；
S17：重复上述步骤，将承载量小于第一承载量阈值，且还小于第二承载量阈值的待传送数据文件，按照小文件累加预设值的承载量进行打包，并发送至服务器。
本发明中的第一承载量阈值，第二承载量阈值是根据系统的处理速度及处理能力来设置，这里不对承载量阈值的具体的数值进行限定。
其中，步骤S15之后还包括：服务器接收第一待传送小数据文件包，并将第一待传送小数据文件包分解还原成第一待传送小数据文件与第二待传送小数据文件。
本实施例中，步骤S1之后还包括：
S21：当待传送数据文件的承载量小于第一承载量阈值，且大于第二承载量阈值时，将该待传送数据文件设置为普通文件；
其中，第一承载量阈值大于第二承载量阈值；
S22：将所述普通文件发送至服务器。
本实施例中，虽然小文件在进行传输时传输速率较小，但是小文件的传输过多的时间花费在小文件的装载上。传输1000个1KB大小的小文件所需的时间，比传输1个1MB大小的文件所用的时间长得多。
基于这个技术问题，图3所示，还包括下述步骤，
获取待传送数据文件的承载量，并将待传送数据文件的承载量与第一承载量阈值进行比较；
当待传送数据文件的承载量大于第一承载量阈值时，将该待传送数据文件缓存到大文件缓存队列；
当待传送数据文件的承载量小于第一承载量阈值，且大于第二承载量阈值时，将该待传送数据文件缓存到普通文件缓存队列；
当待传送数据文件的承载量小于第一承载量阈值，且还小于第二承载量阈值时，将该待传送数据文件缓存到小文件缓存队列。
这样将待传输的文件进行分类，再缓存到相应的缓存队列内部。
当大文件缓存队列中储存量达到第一储存阈值时，将大文件缓存队列中的每个待传送数据文件进行分解，使每个待传送数据文件分解为若干个待传送数据分片；
将若干个待传送数据分片采用并行的传输方式传输至服务器；
服务器接收若干个待传送数据分片，并将若干个待传送数据分片组合还原成原数据文件。
当普通文件缓存队列中储存量达到第二储存阈值时，
将待传送数据文件采用通用通道传输至服务器。
当小文件缓存队列中储存量达到第三储存阈值时，将小文件缓存队列中储存的所有待传送小数据文件进行打包，并将打包后的数据文件采用通道复用的方式发送至服务器；
服务器接收到打包后的数据文件后，并将该数据文件进行分解，还原成小数据文件。
这样基于系统的优先级可以对普通文件缓存队列，大文件缓存队列，小文件缓存队列进行相应的排序传输。在传输过程中，针对不同缓存队列的特点进行不同的传输方式以达到自适应传输策略，提高传输效率。
第一储存阈值，第二储存阈值，第三储存阈值根据系统的处理速度及处理能力来设置，这里不对承载量阈值的具体的数值进行限定。状态监控普通文件缓存队列，大文件缓存队列，小文件缓存队列的储存量。
本发明针对在基于FTP的传统文件传输系统中，批量小文件和大文件的传输效率很低的问题，通过不同类型文件传输任务的优化方法，提出了文件的自适应传输策略，对小文件的传输采用通道复用技术，对大文件的传输则采用并行传输。
广域网分布式存储系统将分布在广域范围内的数据资源统一管理，屏蔽了底层数据资源的异构性、分散性，采用多个分布的存储服务点为用户提供了一个透明的全局数据视图。GDSS 提供了全局统一的文件名字空间，面向用户特性的数据共享、动态的副本管理机制、高性能自适应数据传输技术、灵活的安全认证机制和多种访问接口。
广域网分布式存储系统中，每个传输任务都被封装为一个传输任务描述对象。若被传输的文件为小文件，则将对应的传输任务描述对象送入任务队列里。在客户端，小文件传输任务队列对应一个数据通道，当队列里有任务时，该数据通道传送数据，没有传输任务时数据通道空闲。在服务器端，服务进程不断地从数据通道读取文件信息并对其进行处理，从中获得文件名、文件大小等信息，然后依据这些信息从数据通道接受文件数据。
本发明的系统环境优选为 16 个节点的集群系统，每个节点的配置为 Xeon 1GHertz 的处理器，512Mega-B的内存，40GB 的硬盘，节点间以100Mb 以太网相连接。每个节点安装 Red Hat 7.3，内核为 2.4.9 版。测试主机及 GDSS 系统的文件服务器都是集群中的节点。图4为大文件传输对比情况，图5中显示的两条曲线分别为以下两种情况的传输速率曲线：曲线一是通用的 FTP 服务器使用一个应用传输多个文件；曲线二使用本发明的分片并行传输技术在一个应用中传输多个文件。由于客户端的带宽有限，同时组合比较消耗系统资源，所以为了体现传输的性能，将服务器的带宽都限制在1500KB/s。根据文件的大小不同，系统会决定采用对应的分片，即文件在 50-100MB不分片即为普通文件，100-200MB分为 2 片，200-400MB分3片，400-600MB分4片，600MB以上分5片，系统最多分5片。
从图5可以看出，对于大文件的传输，随着文件大小的增加，采用分片并行传输时的传输速率要比标准FTP传输快很多，而且随着文件大小的增加，其传输速率呈上升趋势。从图5可以看出，对于批量小文件传输，使用标准 FTP传输文件大小在500KB 以下的文件传输速率没有很大变动，因为过多的时间花在了负载上；当文件大小大于500KB 时，传输速率逐渐增长。而使用通道复用技术进行传输则比标准的 FTP 要快 1-8 倍，
图5为批量小文件传输对比情况。测试采用每次传输 100 个相同大小的文件，取平均值，显示的两条曲线分别为以下两种情况的传输时间曲线：（1）通用的FTP 服务器使用一个应用传输文件；（2）使用本文设计的通道复用技术在一个应用中传输文件。从图6可以看出，当文件小于 1K 的时候：(数据读取时间+ 数据传输时间+ 写数据时间) ≤ 125ms ；网络通信延时≥ TRTT/2 ；建立连接时间≥ 3×网络通信延时；传输准备时间≥ 4×网络通信延时；关闭时间≥ 2×网络通信延时；所以Vchannel/Vftp = Tftp/Tchannel ≥ (9× RTT+ Ttransfer)/ Ttransfer
图6为在不同的网络环境下的传输速率比曲线。图6还显示出由于在通道复用中加入了冗余文件信息以及频繁的文件操作，所以当文件小于 500B 时的平均传输时间要比 1KB-100KB 时的平均传输速度慢
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参考即可。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于分布式存储系统的文件传输方法，其特征在于，文件传输方法包括：
S1:获取待传送数据文件的承载量，并将待传送数据文件的承载量与第一承载量阈值进行比较；
S2: 当待传送数据文件的承载量大于第一承载量阈值时，将待传送数据文件分解为若干个待传送数据分片；
S3:将若干个待传送数据分片传输至服务器；
S4:服务器接收若干个待传送数据分片，并将若干个待传送数据分片组合还原成原始数据文件。
2.根据权利要求1所述的基于分布式存储系统的文件传输方法，其特征在于，
步骤S1之后还包括：
S11：当待传送数据文件的承载量小于第一承载量阈值，且还小于第二承载量阈值时，将该待传送数据文件设置为第一待传送小数据文件；
其中，第一承载量阈值大于第二承载量阈值；
S12：获取下一待传送数据文件的承载量，并将待传送数据文件的承载量与第一承载量阈值进行比较，当待传送数据文件的承载量小于第一承载量阈值，且还小于第二承载量阈值时，将该待传送数据文件设置为第二待传送小数据文件；
S13：将第一待传送小数据文件与第二待传送小数据文件进行累加，获取累加后的第一小数据文件累加承载量；
S14：判断第一小数据文件累加承载量是否大于或等于小文件累加预设值；
S15：当第一小数据文件累加承载量大于或等于小文件累加预设值时，将第一待传送小数据文件与第二待传送小数据文件进行打包，并将打包后的第一待传送小数据文件包发送至服务器；
S16：重复上述步骤，将承载量小于第一承载量阈值，且还小于第二承载量阈值的待传送数据文件，按照小文件累加预设值的承载量进行打包，并发送至服务器。
3.根据权利要求2所述的基于分布式存储系统的文件传输方法，其特征在于，
步骤S15之后还包括：
服务器接收第一待传送小数据文件包，并将第一待传送小数据文件包分解还原成第一待传送小数据文件与第二待传送小数据文件。
4.根据权利要求1所述的基于分布式存储系统的文件传输方法，其特征在于，
步骤S1之后还包括：
S21：当待传送数据文件的承载量小于第一承载量阈值，且大于第二承载量阈值时，将该待传送数据文件设置为普通文件；
其中，第一承载量阈值大于第二承载量阈值；
S22：将所述普通文件发送至服务器。
5.根据权利要求2所述的基于分布式存储系统的文件传输方法，其特征在于，
步骤S1之后还包括：第一承载量阈值大于第二承载量阈值；
当待传送数据文件的承载量大于第一承载量阈值时，将该待传送数据文件缓存到大文件缓存队列；
当待传送数据文件的承载量小于第一承载量阈值，且大于第二承载量阈值时，将该待传送数据文件缓存到普通文件缓存队列；
当待传送数据文件的承载量小于第一承载量阈值，且还小于第二承载量阈值时，将该待传送数据文件缓存到小文件缓存队列。
6.根据权利要求5所述的基于分布式存储系统的文件传输方法，其特征在于，
当大文件缓存队列中储存量达到第一储存阈值时，将大文件缓存队列中的每个待传送数据文件进行分解，使每个待传送数据文件分解为若干个待传送数据分片；
将若干个待传送数据分片采用并行的传输方式传输至服务器；
服务器接收若干个待传送数据分片，并将若干个待传送数据分片组合还原成原数据文件。
7.根据权利要求5所述的基于分布式存储系统的文件传输方法，其特征在于，
当普通文件缓存队列中储存量达到第二储存阈值时，将待传送数据文件采用通用通道传输至服务器。
8.根据权利要求5所述的基于分布式存储系统的文件传输方法，其特征在于，
当小文件缓存队列中储存量达到第三储存阈值时，将小文件缓存队列中储存的所有待传送小数据文件进行打包，并将打包后的数据文件采用通道复用的方式发送至服务器；
服务器接收到打包后的数据文件后，并将该数据文件进行分解，还原成小数据文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611209057.8A CN106603686A (zh) | 2016-12-23 | 2016-12-23 | 一种基于分布式存储系统的文件传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611209057.8A CN106603686A (zh) | 2016-12-23 | 2016-12-23 | 一种基于分布式存储系统的文件传输方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106603686A true CN106603686A (zh) | 2017-04-26 |
Family
ID=58603498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611209057.8A Pending CN106603686A (zh) | 2016-12-23 | 2016-12-23 | 一种基于分布式存储系统的文件传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106603686A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784128A (zh) * | 2017-11-30 | 2018-03-09 | 成都嗨翻屋文化传播有限公司 | 一种数字音频指纹大数据存储检索的方法及系统 |
| CN108920215A (zh) * | 2018-07-18 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种通过initramfs收集系统日志的方法 |
| CN109062737A (zh) * | 2018-08-24 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种快速备份测试数据的方法 |
| CN109343799A (zh) * | 2018-09-28 | 2019-02-15 | 中国电子科技集团公司第五十二研究所 | 一种持续超高速的数据卸载系统 |
| CN109359099A (zh) * | 2018-08-21 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 分布式文件上传方法、装置、计算机设备及存储介质 |
| CN109413509A (zh) * | 2018-12-06 | 2019-03-01 | 武汉微梦文化科技有限公司 | 一种高清视频处理方法 |
| CN109639826A (zh) * | 2019-01-04 | 2019-04-16 | 厦门中控智慧信息技术有限公司 | 一种数据传输方法、终端设备及服务器 |
| CN109842652A (zh) * | 2017-11-27 | 2019-06-04 | 中兴通讯股份有限公司 | 一种文件的上传方法、终端、云服务器和计算机存储介质 |
| CN110266775A (zh) * | 2019-06-04 | 2019-09-20 | 南京南瑞继保电气有限公司 | 文件传输方法、装置、计算机设备及存储介质 |
| CN110278202A (zh) * | 2019-06-18 | 2019-09-24 | 南京科源信息技术有限公司 | 一种文件上传系统 |
| CN110708377A (zh) * | 2019-09-30 | 2020-01-17 | 联想(北京)有限公司 | 一种数据传输方法、装置和存储介质 |
| CN111726401A (zh) * | 2020-06-09 | 2020-09-29 | 北京天空卫士网络安全技术有限公司 | 一种文件传输方法和装置 |
| CN112019605A (zh) * | 2020-08-13 | 2020-12-01 | 上海哔哩哔哩科技有限公司 | 数据流的数据分发方法和系统 |
| CN112839075A (zh) * | 2020-12-22 | 2021-05-25 | 科华恒盛股份有限公司 | 一种应用于采集设备的数据传输方法及相关装置 |
| CN114024950A (zh) * | 2021-09-13 | 2022-02-08 | 福建新大陆通信科技股份有限公司 | 一种电子设备大数据传输方法及系统 |
| CN114172889A (zh) * | 2021-10-18 | 2022-03-11 | 江苏赞奇科技股份有限公司 | 一种实时渲染中小文件高效传输方法及系统 |
| CN114827125A (zh) * | 2022-03-23 | 2022-07-29 | 深圳北鲲云计算有限公司 | 高性能计算云平台并行数据传输方法、系统及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599986A (zh) * | 2008-06-02 | 2009-12-09 | 宏碁股份有限公司 | 加速文件传输速度的方法及计算机系统 |
| CN102647251A (zh) * | 2012-03-26 | 2012-08-22 | 北京星网锐捷网络技术有限公司 | 数据传输方法及系统、发送端设备与接收端设备 |
| CN104978319A (zh) * | 2014-04-02 | 2015-10-14 | 东华软件股份公司 | 一种用于文件分类传输的方法和设备 |
| CN105491132A (zh) * | 2015-12-11 | 2016-04-13 | 北京元心科技有限公司 | 文件服务器、终端及其文件分包传输方法 |
-
2016
- 2016-12-23 CN CN201611209057.8A patent/CN106603686A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599986A (zh) * | 2008-06-02 | 2009-12-09 | 宏碁股份有限公司 | 加速文件传输速度的方法及计算机系统 |
| CN102647251A (zh) * | 2012-03-26 | 2012-08-22 | 北京星网锐捷网络技术有限公司 | 数据传输方法及系统、发送端设备与接收端设备 |
| CN104978319A (zh) * | 2014-04-02 | 2015-10-14 | 东华软件股份公司 | 一种用于文件分类传输的方法和设备 |
| CN105491132A (zh) * | 2015-12-11 | 2016-04-13 | 北京元心科技有限公司 | 文件服务器、终端及其文件分包传输方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109842652A (zh) * | 2017-11-27 | 2019-06-04 | 中兴通讯股份有限公司 | 一种文件的上传方法、终端、云服务器和计算机存储介质 |
| CN107784128B (zh) * | 2017-11-30 | 2021-06-25 | 成都嗨翻屋科技有限公司 | 一种数字音频指纹大数据存储检索的方法及系统 |
| CN107784128A (zh) * | 2017-11-30 | 2018-03-09 | 成都嗨翻屋文化传播有限公司 | 一种数字音频指纹大数据存储检索的方法及系统 |
| CN108920215A (zh) * | 2018-07-18 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种通过initramfs收集系统日志的方法 |
| CN109359099A (zh) * | 2018-08-21 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 分布式文件上传方法、装置、计算机设备及存储介质 |
| CN109062737A (zh) * | 2018-08-24 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种快速备份测试数据的方法 |
| CN109343799A (zh) * | 2018-09-28 | 2019-02-15 | 中国电子科技集团公司第五十二研究所 | 一种持续超高速的数据卸载系统 |
| CN109343799B (zh) * | 2018-09-28 | 2022-04-01 | 中国电子科技集团公司第五十二研究所 | 一种持续超高速的数据卸载系统 |
| CN109413509A (zh) * | 2018-12-06 | 2019-03-01 | 武汉微梦文化科技有限公司 | 一种高清视频处理方法 |
| CN109639826A (zh) * | 2019-01-04 | 2019-04-16 | 厦门中控智慧信息技术有限公司 | 一种数据传输方法、终端设备及服务器 |
| CN110266775A (zh) * | 2019-06-04 | 2019-09-20 | 南京南瑞继保电气有限公司 | 文件传输方法、装置、计算机设备及存储介质 |
| CN110278202B (zh) * | 2019-06-18 | 2020-07-31 | 南京科源信息技术有限公司 | 一种文件上传系统 |
| CN110278202A (zh) * | 2019-06-18 | 2019-09-24 | 南京科源信息技术有限公司 | 一种文件上传系统 |
| CN110708377A (zh) * | 2019-09-30 | 2020-01-17 | 联想(北京)有限公司 | 一种数据传输方法、装置和存储介质 |
| CN111726401A (zh) * | 2020-06-09 | 2020-09-29 | 北京天空卫士网络安全技术有限公司 | 一种文件传输方法和装置 |
| CN111726401B (zh) * | 2020-06-09 | 2023-05-26 | 北京天空卫士网络安全技术有限公司 | 一种文件传输方法和装置 |
| CN112019605A (zh) * | 2020-08-13 | 2020-12-01 | 上海哔哩哔哩科技有限公司 | 数据流的数据分发方法和系统 |
| CN112839075A (zh) * | 2020-12-22 | 2021-05-25 | 科华恒盛股份有限公司 | 一种应用于采集设备的数据传输方法及相关装置 |
| CN114024950A (zh) * | 2021-09-13 | 2022-02-08 | 福建新大陆通信科技股份有限公司 | 一种电子设备大数据传输方法及系统 |
| CN114172889A (zh) * | 2021-10-18 | 2022-03-11 | 江苏赞奇科技股份有限公司 | 一种实时渲染中小文件高效传输方法及系统 |
| CN114172889B (zh) * | 2021-10-18 | 2024-03-22 | 江苏赞奇科技股份有限公司 | 一种实时渲染中小文件高效传输方法及系统 |
| CN114827125A (zh) * | 2022-03-23 | 2022-07-29 | 深圳北鲲云计算有限公司 | 高性能计算云平台并行数据传输方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106603686A (zh) | 一种基于分布式存储系统的文件传输方法 | |
| US20160132541A1 (en) | Efficient implementations for mapreduce systems | |
| US8583625B2 (en) | Systems and methods for network acceleration and efficient indexing for caching file systems | |
| CN102263828B (zh) | 一种负载均衡分配方法及设备 | |
| CN103988483B (zh) | 用于网络加速器的动态适应的系统和方法 | |
| CN105138615A (zh) | 一种构建大数据分布式日志的方法和系统 | |
| CN107733813B (zh) | 报文转发方法及装置 | |
| CN102439574B (zh) | 系统缓存中数据替换方法及多核通信处理器 | |
| CN101150488A (zh) | 一种零拷贝网络报文接收方法 | |
| CN103179217A (zh) | 一种用于web应用服务器群组的负载均衡方法和装置 | |
| US20220137876A1 (en) | Method and device for distributed data storage | |
| US20200348989A1 (en) | Methods and apparatus for multiplexing data flows via a single data structure | |
| CN103116655A (zh) | 集群数据查询方法、客户端及系统 | |
| CN111314480A (zh) | 负载自适应跨平台文件传输协议及其分布式服务实现方法 | |
| CN106936917A (zh) | 一种云存储方法及装置、电子设备 | |
| CN102937997A (zh) | 数据处理系统 | |
| CN104519138A (zh) | 一种基于分布式ftp的数据传输方法及系统 | |
| CN102075584A (zh) | 一种分布式文件系统及其访问方法 | |
| JP4740828B2 (ja) | 情報処理装置及び情報処理システム | |
| CN106549983A (zh) | 一种数据库的访问方法及终端、服务器 | |
| EP1441470A1 (en) | Network attached storage method and system | |
| CN107273188B (zh) | 一种虚拟机中央处理单元cpu绑定方法及装置 | |
| US20150263958A1 (en) | Load balancing apparatus and method | |
| US20140359062A1 (en) | Data transferring apparatus, data transferring system and non-transitory computer readable medium | |
| CN106776617A (zh) | 日志文件的保存方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170426 |
|
| RJ01 | Rejection of invention patent application after publication |