CN114827125A - 高性能计算云平台并行数据传输方法、系统及介质 - Google Patents
高性能计算云平台并行数据传输方法、系统及介质 Download PDFInfo
- Publication number
- CN114827125A CN114827125A CN202210293820.9A CN202210293820A CN114827125A CN 114827125 A CN114827125 A CN 114827125A CN 202210293820 A CN202210293820 A CN 202210293820A CN 114827125 A CN114827125 A CN 114827125A
- Authority
- CN
- China
- Prior art keywords
- transmission
- data
- parallel
- file
- sender
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013467 fragmentation Methods 0.000 claims description 10
- 238000006062 fragmentation reaction Methods 0.000 claims description 10
- 238000007906 compression Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 101100217298 Mus musculus Aspm gene Proteins 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种高性能计算云平台并行数据传输方法、系统及介质，首先将待传输的文件进行encod i ng编码,根据预先设置的B l ockS i ze参数生成多个固定大小的数据块，再将数据块进行分片及队列化，形成并行传输队列，对每个队列项的数据做压缩、加密处理，然后使用多传输通道并行上传多个队列的数据，在接收侧并行接收传输队列的数据，并进行解密及解压缩，得到原始数据块，最后根据数据块中的header信息直接写入文件内容。本发明解决了传输串行低效的问题，提高海量小文件在传输中串行的传输效率；在传输失败的情况下，由于是并行多数据块传输，只需要重新上传失败的数据块，无需整个文件重新上传，避免了整体重传需求。
Description
技术领域
本发明涉及高性能计算技术领域，尤其涉及一种高性能计算云平台并行数据传输方法、系统及介质。
背景技术
高性能计算HPC中会使用到大量的文件用于计算输入以及计算生成的结果，输入文件需要从本地上传到高性能计算平台，而结果文件需要从平台下载到用户本地，所以文件传输对高性能计算平台显得至关重要；当前的高性能计算平台一般使用如下几种方式进行数据传输：
1、基于http协议的传输方式，如网页，客户端等；
2、使用scp,rsync等基于Linux命令行的传输方式；
3、使用一些标准的传输工具如winscp,filezilla等使用ftp协议的传输方式。
然而，这些数据传输方式受网络环境、文件数量及用户离计算集群物理距离影响极大，通常传输速度只能达到它的网络带宽的20％-50％，这对高性能计算这样需要传输大量数据的场景影响极大，这种传统方法存在以下问题：
1、传输低效：串行传输无法最大化传输速度，对大文件传输效果差。
2、失败需要整体重传：在服务器或网络抖动的情形下，传输过程可能会丢包导致失败，而此方法需要整体文件重新传输。
3、海量小文件或包含海量小文件的目录在传输时串行一个个操作，传输及其低效，导致用户等待感强烈。
发明内容
本发明的主要目的在于提供一种高性能计算云平台并行数据传输方法、系统及介质，以解决现有技术中传输低效、失败需要整体重传的问题。
为实现上述目的，本发明提出一种高性能计算云平台并行数据传输方法，其特征在于，所述方法包括以下步骤：
在发送方将待传输的文件进行encoding编码，得到encoding编码过的数据块；
将每个encoding编码过的数据块进行分片及队列化，形成并行传输队列；
对每个传输队列的数据进行压缩及加密处理；
使用多传输通道并行上传多个传输队列的数据至接受方。
其中，所述在发送方将待传输的文件进行encoding编码，得到encoding编码过的数据块的步骤包括：
在发送方选中需要传输的文件列表；
将待传输的文件进行encoding编码，根据一个预先设置的BlockSize参数来生成多个固定大小的数据块，得到encoding编码过的数据块。
其中，所述并行传输队列的长度为固定长度或动态可变值，所述并行传输队列中每个待传输项的大小为固定值，定义为传输项Size，所述传输项Size的值为所述BlockSize的值的整数倍。
其中，所述发送方向接受方并行传输队列数据的传输方式包括：基于TCP的传输、基于UDP的传输。
其中，所述传输方式支持在发送方是一个浏览器，或所述传输方式支持使用一个桌面客户端工具。
其中，所述使用多传输通道并行上传多个传输队列的数据至接受方的步骤包括：
在发送方根据所述并行传输队列的长度，使用多传输通道向所述接受方并行发送多个传输请求，将多个传输队列的数据并行发送至接受方，其中，在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，以及执行解码decoding、写入文件内容操作。
其中，所述在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，以及执行解码decoding、写入文件内容操作的步骤包括：
在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，得到传输项，每个传输项包含1到多个编码过的数据块；
接受方根据传输项Size以及BlockSize参数将传入的传输项分割为1到多个数据块，对每个数据块依次执行解码及写入文件内容操作。
其中，所述接受方对每个数据块依次执行解码及写入文件内容操作的步骤包括：
通过解码算法读取数据块的第一个chunk header信息,获取到第一个文件chunk的信息，然后根据chunk大小，读取对应字节的数据，执行写入文件操作，然后读取下一个chunk header，直至数据块的数据读取完毕。
本发明还提出一种高性能计算云平台并行数据传输系统，所述系统还包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的高性能计算云平台并行数据传输方法。
本发明还提出一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的高性能计算云平台并行数据传输方法。
本发明提出的高性能计算云平台并行数据传输方法，首先将待传输的文件进行encoding编码,根据一个预先设置的BlockSize参数来生成多个固定大小的数据块，再将每个encoding编码过数据块进行分片及队列化，形成并行传输队列，对每个队列项的数据做压缩、加密(可根据当前的业务逻辑)处理，然后使用多传输通道并行上传多个队列的数据，并行传输方式可以是基于TCP的http传输，也可以在网络环境较差的时候使用基于UDP协议的QUIC传输，在接收侧并行接收传输队列的数据，并进行解密及解压缩，得到原始的数据块，最后根据数据块中的header信息直接写入文件内容。
本发明方案通过分片及队列化过程实现了并行传输，解决了传输串行低效的问题；encoding编码可将海量小文件放入一个数据块中，只需一次传输即可完成多个文件，很好的解决了海量小文件在传输中串行的传输效率；在传输失败的情况下，由于是并行多数据块传输，只需要重新上传失败的数据块，而无需整个文件重新上传，也避免了整体重传的需求。
附图说明
图1为本发明高性能计算云平台并行数据传输方法的流程示意图。
图2为本发明传输流程图。
图3为本发明传输分块信息图。
图4为本发明传输方式分块打包的结构图。
图5为本发明传输打包的header结构图。
图6为本发明传输解包的结构图。
图7为本发明传输解包后写入文件流程图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明提出一种高性能计算云平台并行数据传输方法，所述方法包括以下步骤：
步骤S1，在发送方将待传输的文件进行encoding编码，得到encoding编码过的数据块；
步骤S2，将每个encoding编码过的数据块进行分片及队列化，形成并行传输队列；
步骤S3，对每个传输队列的数据进行压缩及加密处理；
步骤S4，使用多传输通道并行上传多个传输队列的数据至接受方。
其中，所述在发送方将待传输的文件进行encoding编码，得到encoding编码过的数据块的步骤包括：
在发送方选中需要传输的文件列表；
将待传输的文件进行encoding编码，根据一个预先设置的BlockSize参数来生成多个固定大小的数据块，得到encoding编码过的数据块。
其中，所述并行传输队列的长度为固定长度或动态可变值，所述并行传输队列中每个待传输项的大小为固定值，定义为传输项Size，所述传输项Size的值为所述BlockSize的值的整数倍。
其中，所述发送方向接受方并行传输队列数据的传输方式包括：基于TCP的传输、基于UDP的传输。
其中，所述传输方式支持在发送方是一个浏览器，或所述传输方式支持使用一个桌面客户端工具。
其中，所述使用多传输通道并行上传多个传输队列的数据至接受方的步骤包括：
在发送方根据所述并行传输队列的长度，使用多传输通道向所述接受方并行发送多个传输请求，将多个传输队列的数据并行发送至接受方，其中，在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，以及执行解码decoding、写入文件内容操作。
其中，所述在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，以及执行解码decoding、写入文件内容操作的步骤包括：
在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，得到传输项，每个传输项包含1到多个编码过的数据块；
接受方根据传输项Size以及BlockSize参数将传入的传输项分割为1到多个数据块，对每个数据块依次执行解码及写入文件内容操作。
其中，所述接受方对每个数据块依次执行解码及写入文件内容操作的步骤包括：
通过解码算法读取数据块的第一个chunk header信息,获取到第一个文件chunk的信息，然后根据chunk大小，读取对应字节的数据，执行写入文件操作，然后读取下一个chunk header，直至数据块的数据读取完毕。
本发明提出的高性能计算云平台并行数据传输方法，首先先将待传输的文件进行encoding编码,根据一个预先设置的BlockSize参数来生成多个固定大小的数据块，再将每个encoding编码过数据块进行分片及队列化，形成并行传输队列，对每个队列项的数据做压缩、加密(可根据当前的业务逻辑)处理，然后使用多传输通道并行上传多个队列的数据，并行传输方式可以是基于TCP的http传输，也可以在网络环境较差的时候使用基于UDP协议的QUIC传输，在接收侧并行接收传输队列的数据，并进行解密及解压缩，得到原始的数据块，最后根据数据块中的header信息直接写入文件内容。
本发明方案通过分片及队列化过程实现了并行传输，解决了传输串行低效的问题；encoding编码可将海量小文件放入一个数据块中，只需一次传输即可完成多个文件，很好的解决了海量小文件在传输中串行的传输效率；在传输失败的情况下，由于是并行多数据块传输，只需要重新上传失败的数据块，而无需整个文件重新上传，也避免了整体重传的需求。
以下对本发明方案进行详细阐述：
本发明首先将待传输的文件进行encoding编码,根据一个预先设置的BlockSize参数来生成多个固定大小的数据块，再将每个encoding编码过数据块进行分片及队列化，形成并行传输队列，对每个队列项的数据做压缩、加密(可根据当前的业务逻辑)处理，然后使用多传输通道并行上传多个队列的数据，并行传输方式可以是基于TCP的http传输，也可以在网络环境较差的时候使用基于UDP协议的QUIC传输，在接收侧并行接收传输队列的数据，并进行解密及解压缩，得到原始的数据块，最后根据数据块中的header信息直接写入文件内容。
通过分片及队列化过程实现了并行传输，解决了传输串行低效的问题；encoding编码可将海量小文件放入一个数据块中，只需一次传输即可完成多个文件，很好的解决了海量小文件在传输中串行的传输效率；在传输失败的情况下，由于是并行多数据块传输，只需要重新上传失败的数据块，而无需整个文件重新上传，也避免了整体重传的需求。
本发明的传输方法流程如图2所示。
如图2中所示，本发明分为七步：encoding编码、分片与队列化、压缩(加密可配置)、并行传输、接收方并行接受、解密及解压缩、decoding解码及写入文件。
(1)、第一步：encoding编码；
在发送方选中需要传输的文件列表后，本步骤用来对这些文件内容进行组合编码，编码的过程是根据一个预先设置的BlockSize参数来生成多个固定大小的数据块，一个数据块包含多个chunk header–文件chunk对组成，一起占据BlockSize参数决定的字节大小，如图3所示：
在图3中，每个数据块Block包含1-N个chunk header,每个chunk header是对文件chunk内容的描述，而文件chunk是某个待传输文件的全部或部分内容，这N个chunkheader–文件chunk累加的大小为BlockSize的值；当对某一个待传输文件进行编码生成数据块block时，本步骤首先对比该文件大小与剩余的块空间，如果文件大小大于剩余块空间，则该文件的数据会被编码到多个数据块block中，反之该数据块会包含多个文件的数据直到大小恰好为BlockSize.
Chunk header为固定548字节大小的信息块，如图4所示：
如图4所示，chunk header依次序包含4个信息块：
文件名称filename:固定500字节大小，表示本文件chunk中的文件名称
文件大小filesize:16字节，表示文件原始大小
offset偏移码:16字节，表示本文件chunk数据在原始文件中的位置
chunksize:16字节，表示本文件chunk的大小
而文件chunk则是根据chunk header中所描述的某个文件的部分或全部数据，当一个Block被编码完成后，它立刻被发送到第二步进行分片与队列化，无需等待剩余Block全部编码结束；与此同时，本步骤持续运行，直到所有的待传输文件已经完成编码encoding操作。
第二步：分片与队列化
本步骤维护一个固定长度的并行传输队列，其长度为N,队列中每个待传输项的大小为固定值，使用传输项Size表示，如图5所示:
传输项Size的值为第一步中BlockSize的值的整数倍，如1表示每个待传输项为一个Block，在接受到第一步发送过来的一个数据块block后，本步骤根据传输项Size的值将它填入到一个空的待传输项中，当一个待传输项已经填满之后，它会通知第三步进行压缩和加密；本步骤维护的队列长度N是并行传输的并行传输的最大并行数量，此参数在一种实现中可设置为固定值如5，在其它的实现方式中，可由发送方在选中传输文件列表时一并设置，即为一个动态可变值。
第三步：压缩及加密
本步骤对第二步中已准备完毕的待传输项进行压缩和加密,本发明并没有提供自己的压缩或加密算法，反之它使用业界通用的压缩及加密算法；在压缩过程中，它可能会使用zstd,lz4这样的压缩比高的压缩算法，或gzip,zip等常见压缩算法；压缩完成后可以根据业务情况决定是否对压缩后的数据进行加密，它主要使用AES-256对称加密算法保证数据在后续传输过程中的安全性，其它可能使用的加密算法还包括3-DES,RSA,MD5,SHA1,Base64等主流加密算法。
第四步：开始并行传输
在数据项完成压缩与加密后，本步骤将它传输至接受方，本发明使用两种传输方式，基于TCP的传输及基于UDP的传输，默认使用基于tcp的传输，然后在发送方物理距离较接收方较远时，发送方可以选择使用基于UDP的传输方式，如跨国传输的场景；
基于TCP的传输使用http协议，它将数据项包含在http请求种发送至接受方，而接受方部署一个http服务器，用来接受发送过来的http请求；
基于UDP的传输使用quic协议,它使用udp协议并在网络环境较差的情况下能比tcp传输更高效；
在一种实现方式中，上述两种传输方式的支持在发送方可以是一个浏览器，如Google Chrome浏览器；
在另外的实现方式中，传输方式的支持可以使用一个桌面客户端工具，如基于Electron的客户端工具；
根据第二步中的并行传输队列长度N,本步骤会并行发送多个传输请求，并等待接受方返回ack消息表示接受成功，如果在给定的超时时间内没有接受到接受方发送的ack消息，则本步骤将重复发送该数据项。
第五步：并行接受数据
当传输请求通过网络到达接收方后，接收方执行本步骤开始处理接受到的数据包，如第四步所述该请求可能是一个基于tcp的http请求，或基于udp的quic请求；
在接收方的实现方式中，这可以是一个http服务器或一个quic服务器用来监听在指定的网络端口之上，它从请求中将接收到的数据项传入第六步进行下一步处理。
第六步：解密、解压缩。
在数据项被传递到本步骤时，它执行第三步的逆向操作，首先进行解密,默认情况下，意味着这是一个AES-256的解密操作，当然也可能是3-DES,RSA,MD5,SHA1,Base64等常见加密算法的解密操作；
解密操作本身依据业务需要，也可能无需执行，在结束此操作后，需要对数据进行解压缩操作，
在本发明的实现方式中，它可能是zstd,lz4对应的解压缩操作，或gunzip,unzip的常见解压缩操作；
最后得到的是一个传输项，一个传输项包含1到N个编码过的数据块block,传输项会被发送到第七步执行解码及写入文件内容操作
第七步：解码decoding、写入文件内容
本步骤首先根据传输项Size以及BlockSize参数将传入的传输项分割为1到多个数据块Block,然后对每个数据块依次执行解码及写入文件内容操作，在多个数据块的情况下，解码及写入文件内容操作可并行执行；
解码算法与第一步encoding相对应,如图6所示,它首先读取数据块的第一个chunk header信息,获取到第一个文件chunk的信息，包括chunk的文件名称，文件总大小，本chunk在文件中的偏移offset,以及本chunk的大小,然后根据chunk大小，读取对应字节的数据，即chunk body部分，执行写入文件操作，然后读取下一个chunk header直至数据块的数据读取完毕；
针对每个获取到的chunk body，需要将其写入文件，写入文件内容操作如图7所示:
它首先执行S1检查文件是否已经存在，如果不存在则执行S2创建文件，否则执行S3打开文件；在S2创建文件步骤中，它根据chunk header中filename文件名称信息到指定路径创建对应文件，文件大小为空，然后执行S3；在S3步骤中，它打开对应的文件并跳转到指定的位置，跳转的偏移量为chunk header中的offset信息决定，最后执行S4，将chunkbody的内容写入对应偏移量的文件内容中，完成一个chunk块的写入。
针对多个传输项或多个数据块并行接受的情况下，上述解码decoding及写入文件操作也是并行执行的，这大大加快了文件内容落地的速度与效率
相比传统的文件传输方式没有一个并行打包概念，导致海量小文件上传不够友好；本发明提供了一种实时分片打包、压缩及并行传输方法，在由于服务器端或者网络短时抖动造成的传输失败时，自动重传失败分片，而无需整个文件重传，在服务端重组分片并解包为原始文件。
此外，本发明还提出一种高性能计算云平台并行数据传输系统，所述系统还包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的高性能计算云平台并行数据传输方法。
本发明还提出一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的高性能计算云平台并行数据传输方法。
本发明提出的高性能计算云平台并行数据传输方法，首先将待传输的文件进行encoding编码,根据一个预先设置的BlockSize参数来生成多个固定大小的数据块，再将每个encoding编码过数据块进行分片及队列化，形成并行传输队列，对每个队列项的数据做压缩、加密(可根据当前的业务逻辑)处理，然后使用多传输通道并行上传多个队列的数据，并行传输方式可以是基于TCP的http传输，也可以在网络环境较差的时候使用基于UDP协议的QUIC传输，在接收侧并行接收传输队列的数据，并进行解密及解压缩，得到原始的数据块，最后根据数据块中的header信息直接写入文件内容。
本发明方案通过分片及队列化过程实现了并行传输，解决了传输串行低效的问题；encoding编码可将海量小文件放入一个数据块中，只需一次传输即可完成多个文件，很好的解决了海量小文件在传输中串行的传输效率；在传输失败的情况下，由于是并行多数据块传输，只需要重新上传失败的数据块，而无需整个文件重新上传，也避免了整体重传的需求。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，方案利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种高性能计算云平台并行数据传输方法，其特征在于，所述方法包括以下步骤：
在发送方将待传输的文件进行encoding编码，得到encoding编码过的数据块；
将每个encoding编码过的数据块进行分片及队列化，形成并行传输队列；
对每个传输队列的数据进行压缩及加密处理；
使用多传输通道并行上传多个传输队列的数据至接受方。
2.根据权利要求1所述的方法，其特征在于，所述在发送方将待传输的文件进行encoding编码，得到encoding编码过的数据块的步骤包括：
在发送方选中需要传输的文件列表；
将待传输的文件进行encoding编码，根据一个预先设置的BlockSize参数来生成多个固定大小的数据块，得到encoding编码过的数据块。
3.根据权利要求2所述的方法，其特征在于，所述并行传输队列的长度为固定长度或动态可变值，所述并行传输队列中每个待传输项的大小为固定值，定义为传输项Size，所述传输项Size的值为所述BlockSize的值的整数倍。
4.根据权利要求3所述的方法，其特征在于，所述发送方向接受方并行传输队列数据的传输方式包括：基于TCP的传输、基于UDP的传输。
5.根据权利要求4所述的方法，其特征在于，所述传输方式支持在发送方是一个浏览器，或所述传输方式支持使用一个桌面客户端工具。
6.根据权利要求4所述的方法，其特征在于，所述使用多传输通道并行上传多个传输队列的数据至接受方的步骤包括：
在发送方根据所述并行传输队列的长度，使用多传输通道向所述接受方并行发送多个传输请求，将多个传输队列的数据并行发送至接受方，其中，在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，以及执行解码decoding、写入文件内容操作。
7.根据权利要求6所述的方法，其特征在于，所述在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，以及执行解码decoding、写入文件内容操作的步骤包括：
在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，得到传输项，每个传输项包含1到多个编码过的数据块；
接受方根据传输项Size以及BlockSize参数将传入的传输项分割为1到多个数据块，对每个数据块依次执行解码及写入文件内容操作。
8.根据权利要求7所述的方法，其特征在于，所述接受方对每个数据块依次执行解码及写入文件内容操作的步骤包括：
通过解码算法读取数据块的第一个chunk header信息,获取到第一个文件chunk的信息，然后根据chunk大小，读取对应字节的数据，执行写入文件操作，然后读取下一个chunkheader，直至数据块的数据读取完毕。
9.一种高性能计算云平台并行数据传输系统，其特征在于，所述系统还包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的高性能计算云平台并行数据传输方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的高性能计算云平台并行数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210293820.9A CN114827125A (zh) | 2022-03-23 | 2022-03-23 | 高性能计算云平台并行数据传输方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210293820.9A CN114827125A (zh) | 2022-03-23 | 2022-03-23 | 高性能计算云平台并行数据传输方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114827125A true CN114827125A (zh) | 2022-07-29 |
Family
ID=82530488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210293820.9A Pending CN114827125A (zh) | 2022-03-23 | 2022-03-23 | 高性能计算云平台并行数据传输方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114827125A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103220226A (zh) * | 2013-05-02 | 2013-07-24 | 百度在线网络技术（北京）有限公司 | 数据中心间透明实时流量压缩方法和系统 |
| CN106603686A (zh) * | 2016-12-23 | 2017-04-26 | 郑州云海信息技术有限公司 | 一种基于分布式存储系统的文件传输方法 |
| CN109361762A (zh) * | 2018-11-26 | 2019-02-19 | 量子云未来（北京）信息科技有限公司 | 一种文件传输方法、装置及系统 |
| CN109788299A (zh) * | 2019-03-12 | 2019-05-21 | 广东工业大学 | 一种移动设备间视频传输方法、系统、设备及计算机介质 |
-
2022
- 2022-03-23 CN CN202210293820.9A patent/CN114827125A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103220226A (zh) * | 2013-05-02 | 2013-07-24 | 百度在线网络技术（北京）有限公司 | 数据中心间透明实时流量压缩方法和系统 |
| CN106603686A (zh) * | 2016-12-23 | 2017-04-26 | 郑州云海信息技术有限公司 | 一种基于分布式存储系统的文件传输方法 |
| CN109361762A (zh) * | 2018-11-26 | 2019-02-19 | 量子云未来（北京）信息科技有限公司 | 一种文件传输方法、装置及系统 |
| CN109788299A (zh) * | 2019-03-12 | 2019-05-21 | 广东工业大学 | 一种移动设备间视频传输方法、系统、设备及计算机介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8064599B2 (en) | Secure message transport using message segmentation | |
| JP5554817B2 (ja) | データ送信装置及び方法 | |
| US8416788B2 (en) | Compression of data packets while maintaining endpoint-to-endpoint authentication | |
| US7307552B2 (en) | Method and apparatus for efficient hardware based deflate | |
| US7643505B1 (en) | Method and system for real time compression and decompression | |
| US8811431B2 (en) | Systems and methods for compressing packet data | |
| EP1453270B1 (en) | Method for using packed compressed buffers for email client server communications | |
| US11303617B2 (en) | Methods and apparatuses for oblivious transfer using trusted environment | |
| US8959155B1 (en) | Data compression through redundancy removal in an application acceleration environment | |
| WO2002093358A1 (en) | System and method for encoding and decoding data files | |
| US20110126007A1 (en) | Secure block read and write protocol for remotely stored files | |
| CN102804800B (zh) | 带有加密段的段去除重复系统 | |
| JP2009506456A (ja) | 任意のフォーマットにおけるラージオブジェクトの通信のためのリモートプロトコルサポート | |
| WO2017056072A1 (en) | Method and system for preparing data files for transmission over a data network | |
| US20070288556A1 (en) | System and Method for Encoding and Decoding Data Files | |
| CN112491832B (zh) | 一种文件传输方法及装置 | |
| US11329666B2 (en) | Method and system for compressing and/or encrypting data files | |
| CN108874584B (zh) | 数据备份方法、数据还原方法、装置、设备及存储介质 | |
| US8677123B1 (en) | Method for accelerating security and management operations on data segments | |
| US9240952B2 (en) | System and method for communication between networked applications | |
| US8838742B2 (en) | Method and device for pre-processing requests related to a digital signal in an architecture of client-server type | |
| CN110720205B (zh) | 经由用户服务平台通信的电子设备 | |
| CN114827125A (zh) | 高性能计算云平台并行数据传输方法、系统及介质 | |
| US20070263876A1 (en) | In-memory compression and encryption | |
| JP2022519671A (ja) | 資源が限られているシステムにおいてメッセージを認証するための方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |