CN116016484A - 数据传输方法、装置、设备和存储介质 - Google Patents

数据传输方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116016484A
CN116016484A CN202211526975.9A CN202211526975A CN116016484A CN 116016484 A CN116016484 A CN 116016484A CN 202211526975 A CN202211526975 A CN 202211526975A CN 116016484 A CN116016484 A CN 116016484A
Authority
CN
China
Prior art keywords
block
processing resource
file
queue
transport block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211526975.9A
Other languages
English (en)
Inventor
刘江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211526975.9A priority Critical patent/CN116016484A/zh
Publication of CN116016484A publication Critical patent/CN116016484A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本公开提供了一种数据传输方法、装置、设备和存储介质,涉及人工智能技术领域,具体涉及云计算、云存储和在线压缩技术,可应用在智能云场景下。数据传输方法包括:采用第一处理资源,将待传输文件划分为至少一个分块,对所述至少一个分块进行压缩处理,以获得至少一个压缩块,并将所述至少一个压缩块存入第一队列中;采用第二处理资源,从所述第一队列中读取所述至少一个压缩块,基于所述至少一个压缩块获得至少一个传输块,并将所述至少一个传输块存入第二队列中;采用第三处理资源,从所述第二队列中读取所述至少一个传输块,并将所述至少一个传输块传输至目的端。本公开可以提高数据传输效率。

Description

数据传输方法、装置、设备和存储介质
技术领域
本公开涉及人工智能技术领域,具体涉及云计算、云存储和在线压缩技术,可应用在智能云场景下,尤其涉及一种数据传输方法、装置、设备和存储介质。
背景技术
用户存在批量下载文件的需求。若待下载的批量文件过大,通常是对批量文件进行压缩,再下载压缩后的文件。
相关技术中,压缩和下载通常是串行方式,导致数据传输效率较低。
发明内容
本公开提供了一种数据传输方法、装置、设备和存储介质。
根据本公开的一方面,提供了一种数据传输方法,包括:采用第一处理资源,将待传输文件划分为至少一个分块,对所述至少一个分块进行压缩处理,以获得至少一个压缩块,并将所述至少一个压缩块存入第一队列中;采用第二处理资源,从所述第一队列中读取所述至少一个压缩块,基于所述至少一个压缩块获得至少一个传输块,并将所述至少一个传输块存入第二队列中;采用第三处理资源,从所述第二队列中读取所述至少一个传输块,并将所述至少一个传输块传输至目的端;其中,所述第一处理资源、所述第二处理资源和所述第三处理资源是并发执行的。
根据本公开的另一方面,提供了一种数据传输装置,包括:压缩模块,用于采用第一处理资源,将待传输文件划分为至少一个分块,对所述至少一个分块进行压缩处理,以获得至少一个压缩块,并将所述至少一个压缩块存入第一队列中;转换模块,用于采用第二处理资源,从所述第一队列中读取所述至少一个压缩块,基于所述至少一个压缩块获得至少一个传输块,并将所述至少一个传输块存入第二队列中;传输模块,用于采用第三处理资源,从所述第二队列中读取所述至少一个传输块,并将所述至少一个传输块传输至目的端;其中,所述第一处理资源、所述第二处理资源和所述第三处理资源是并发执行的。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
根据本公开的技术方案,可以提高数据传输效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是本公开实施例对应的应用场景的示意图;
图3是根据本公开第二实施例的示意图;
图4是根据本公开第三实施例的示意图;
图5是根据本公开第四实施例的示意图;
图6是用来实现本公开实施例的数据传输方法的电子设备的示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
相关技术中,通常采用压缩和下载串行的方式传输数据,数据传输效率较差。
为了提高数据传输效率,本公开提供如下实施例。
图1是根据本公开第一实施例的示意图,本实施例提供一种数据传输方法,如图1所示,该方法包括:
101、采用第一处理资源,将待传输文件划分为至少一个分块,对所述至少一个分块进行压缩处理,以获得至少一个压缩块,并将所述至少一个压缩块存入第一队列中。
102、采用第二处理资源,从所述第一队列中读取所述至少一个压缩块,基于所述至少一个压缩块获得至少一个传输块,并将所述至少一个传输块存入第二队列中。
103、采用第三处理资源,从所述第二队列中读取所述至少一个传输块,并将所述至少一个传输块传输至目的端。
其中,所述第一处理资源、所述第二处理资源和所述第三处理资源是并发(concurrent)执行的。
其中,上述的处理资源可以是Go语言提供的协程(Groutine)。
Go(又称Golang)语言是一种静态强类型、编译型语言。
Groutine(或Goroutine)是Go语言提供的并发执行的实体,是一种轻量级线程,Go可以将Groutine对应的任务合理地分配到处理器(如CPU)上,并让这些任务并发执行。不同的Groutine之间通过管道(channel,简称为chan)进行通信。
相比于其他语言,Go基于协程(Groutine)可以简单高效地实现并发。
待传输文件可以包括单一文件或者批量文件,即可以包括一个或多个文件。
对待传输文件进行分块时,可以基于预设大小,将待传输文件划分为至少一个的大小为预设大小的分块。如,预设大小是10M,待传输文件是100M,则将待传输文件划分为10个分块,每个分块的大小是10M。
针对每个分块,可以对每个分块进行压缩处理,压缩处理可以采用相关的压缩算法进行压缩,例如采用zip算法进行压缩。
压缩后的分块可以称为压缩块,压缩块的大小通常较小。
以处理资源是协程为例,协程之间通过管道(chan)进行通信,管道中的数据可以采用队列形式进行管理,即第一协程获得压缩块后,可以将压缩块存入第一管道的第一队列中。
第二协程可以从第一队列中读取压缩块,并基于压缩块获得传输块。
其中,每个传输块的大小可以是预设值,如预设每个传输块的大小是20M,假设压缩块是5M,则可以将4个压缩块合并为一个传输块。
可以理解的是,根据实际情况的不同,若压缩块的大小大于传输块的大小,则可以对压缩块进行分块,以获得满足要求的传输块。
第二协程获得至少一个传输块后,可以将至少一个传输块存入第二管道的第二队列中。
第三协程可以从第二队列中读取至少一个传输块,并将至少一个传输块传输至目的端。
本实施例可以应用在上传或下载场景下,对应上传,目的端可以是云端;针对下载,目的端可以是用户终端。
本实施例中,由于第一处理资源、第二处理资源和第三处理资源是并发执行的,可以实现传输块的生成过程和传输块的传输过程是并发的,即,可以理解为边压缩边传输,或称为流式传输,由于压缩和传输是并发的,相对于串行方式,可以提高数据传输效率。
为了更好地理解本公开实施例,对本公开实施例的应用场景进行说明。本实施例以上传文件为例,即,用户可以将用户终端上的文件上传至服务器。
图2是本公开实施例对应的应用场景的示意图。数据传输系统可以包括:用户终端201服务器202。用户终端201可以是个人电脑(Personal Computer,PC)、移动设备(如手机、便携式电脑等)、智能家居家电设备(如智能电视、智能音箱等)、可穿戴式设备(如智能手表、智能手环等)等。服务器202可以是本地服务器或者云端服务器。
用户可以在用户终端侧启动文件上传程序,该程序在启动后,可以自动启动三个并发执行的处理资源(第一处理资源、第二处理资源和第三处理资源)。以该程序基于Go语言实现为例,上述处理资源可以是协程(Goroutine)。
第一处理资源,用于对文件进行分块压缩,以获得至少一个压缩块;
第二处理资源,用于基于至少一个压缩块获得至少一个传输块。
第三处理资源,用于将至少一个传输块上传至服务器。
由于处理资源之间是并发执行的,就可以一边生成传输块,一边上传传输块,并不需要等待获得全部的传输块后再上传,可以提高传输效率。
结合上述的应用场景,本公开实施例还提供如下的数据传输方法。
图3是根据本公开第二实施例的示意图,本实施例提供一种数据传输方法,本实施例以处理资源是协程(Goroutine)为例,该方法包括:
301、采用第一协程,将待传输文件划分为至少一个分块,对所述至少一个分块进行压缩处理,以获得至少一个压缩块,并将所述至少一个压缩块存入第一队列中。
302、采用第二协程,从所述第一队列中读取所述至少一个压缩块,对所述至少一个压缩块进行合并处理,以获得至少一个传输块,并将所述至少一个传输块存入第二队列中,其中,每个传输块包括至少一个压缩块。
303、采用第三协程,从所述第二队列中读取所述至少一个传输块,并将所述至少一个传输块传输至目的端。
其中,第一协程、第二协程和第三协程是并发执行的。
Groutine(或Goroutine)是Go语言提供的并发执行的实体,是一种轻量级线程,Go可以将Groutine对应的任务合理地分配到处理器(如CPU)上,并让这些任务并发执行。不同的Groutine之间通过管道(channel,简称为chan)进行通信。
结合图4所示的具体流程,以用户上传文件为例,用户启动文件上传程序后,可以先初始化相关信息,例如可以配置用户的地域信息(根据实际需求,可以设置仅某些地域的用户可以使用该方式上传文件)、配置待上传文件的文件信息,文件信息例如为文件的统一资源定位符(uniform resourcelocator,URL)。待上传文件可以是一个或多个,一个或多个文件的URL可以组成URL列表。
文件上传程序是基于Go语言实现的,该程序在启动后,可以基于预先编写的代码,自动启动并发执行的第一协程、第二协程和第三协程。
第一协程在启动后,可以依次遍历url列表,若存在未遍历的url,则调用该未遍历的url获得对应的文件,获得对应的文件后,可以创建压缩相关信息(如压缩文件头等信息),并分块压缩文件,得到压缩后的文件块,该压缩后的文件块可以称为压缩块,压缩块为一个或多个,由于文件较大,压缩块通常是多个。上述的遍历-分块压缩过程可以重复多次,直至全部的url对应的文件都被分块压缩。
通过基于文件信息(如url)获得文件,可以由用户指定待传输的文件,实现合理有效地获得文件。
第一协程获得压缩块后,将其存入第一队列中,第一队列可以位于第一管道(chan)内,第一管道是第一协程和第二协程相互通信的管道。
第二协程在启动后,可以从第一队列中读取压缩块,对读取的压缩块进行合并处理,并判断合并后的压缩块的大小是否达到预设的传输块大小,若是,将合并后的压缩块作为传输块,否则,可以继续合并压缩块直至达到设定大小。
通过将压缩块合并为传输块,可以满足传输要求,并提高传输效率。
第二协程获得传输块后,可以将其存入第二队列中,第二队列可以位于第二管道(chan)内,第二管道是第二协程和第三协程相互通信的管道。
第三协程在启动后,可以从第二队列中读取传输块,并将传输上传至服务器。
其中,第三协程可以调用对象存储(BaiduObjectStorage,BOS)服务的分块上传接口,通过该接口上传传输块。另外,上传成功后,可以保存上传成功的标识信息。
另外,文件上传程序在调用bos接口完成上传后,可以关闭所有文件(或称为文件流)后结束。
另外,第一协程、第二协程、第三协程在执行过程中发生错误时,可以将报错信息存入错误队列中,文件上传程序还可以封装报错信息。
针对第一协程,执行分块压缩任务,通常来讲,分块压缩是串行执行的,即,各个压缩块是串行生成的。
由于压缩时,后一个压缩块在压缩处理时可能需要前一个压缩块的信息,所以通过串行生成压缩块的方式可以保证数据的准确性。
针对第二协程,执行合并任务,合并任务可以是并行执行的,即,可以采用并行方式,对所述至少一个压缩块进行合并处理,以获得至少一个传输块。
例如,压缩块包括A、B、C、D,则可以并行将A和B合并为一个传输块,将C和D合并为另一个传输块。
通过采用并行方式合并压缩块,可以提高传输块的生成效率,进而提高数据传输效率。
针对第三协程,执行传输任务,传输任务可以是并行执行的,即可以采用并行方式,将所述至少一个传输块传输至目的端。
例如,传输块包括E和F,可以并行将E和F传输至目的端。
通过采用并行方式对传输块进行传输,可以提高数据传输效率。
本实施例中,可以基于Go语言并发实现文件的压缩和传输,由于压缩和传输是并发的,可以提高数据传输效率,又由于Go具有的高效简洁等优势,基于Go语言的协程并发方式,可以高效简洁地实现压缩和传输的并发执行。
图5是根据本公开第三实施例的示意图,本实施例提供一种数据传输装置,该装置500包括:压缩模块501、转换模块502和传输模块503。
压缩模块501用于采用第一处理资源,将待传输文件划分为至少一个分块,对所述至少一个分块进行压缩处理,以获得至少一个压缩块,并将所述至少一个压缩块存入第一队列中;转换模块502用于采用第二处理资源,从所述第一队列中读取所述至少一个压缩块,基于所述至少一个压缩块获得至少一个传输块,并将所述至少一个传输块存入第二队列中;传输模块503用于采用第三处理资源,从所述第二队列中读取所述至少一个传输块,并将所述至少一个传输块传输至目的端;其中,所述第一处理资源、所述第二处理资源和所述第三处理资源是并发执行的。
本实施例中,由于第一处理资源、第二处理资源和第三处理资源是并发执行的,可以实现传输块的生成过程和传输块的传输过程是并发的,即,可以理解为边压缩边传输,或称为流式传输,由于压缩和传输是并发的,相对于串行方式,可以提高数据传输效率。
一些实施例中,所述压缩模块501进一步用于:
接收用户输入的所述待传输文件的文件信息;
基于所述文件信息获取所述待传输文件;
将所述待传输文件划分为至少一个分块。
本实施例中,通过基于文件信息(如url)获得文件,可以由用户指定待传输的文件,实现合理有效地获得文件。
一些实施例中,所述转换模块502进一步用于:
对所述至少一个压缩块进行合并处理,以获得至少一个传输块,其中,每个传输块包括至少一个压缩块。
本实施例中,通过将压缩块合并为传输块,可以满足传输要求,并提高传输效率。
一些实施例中,所述转换模块502进一步用于:
采用并行方式,对所述至少一个压缩块进行合并处理。
本实施例中,通过采用并行方式合并压缩块,可以提高传输块的生成效率,进而提高数据传输效率。
一些实施例中,所述传输模块503进一步用于:
采用并行方式,将所述至少一个传输块传输至目的端。
通过采用并行方式对传输块进行传输,可以提高数据传输效率。
一些实施例中,所述第一处理资源为基于Go语言创建的第一协程;
所述第二处理资源为基于Go语言创建的第二协程;
所述第三处理资源为基于Go语言创建的第三协程。
本实施例中,可以基于Go语言并发实现文件的压缩和传输,由于压缩和传输是并发的,可以提高数据传输效率,又由于Go具有的高效简洁等优势,基于Go语言的协程并发方式,可以高效简洁地实现压缩和传输的并发执行。
可以理解的是,本公开实施例中,不同实施例中的相同或相似内容可以相互参考。
可以理解的是,本公开实施例中的“第一”、“第二”等只是用于区分,不表示重要程度高低、时序先后等。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备600旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备600还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,电子设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM603中,还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如数据传输方法。例如,在一些实施例中,数据传输方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM603并由计算单元601执行时,可以执行上文描述的数据传输方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据传输方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程负载均衡装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("VirtualPrivate Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (15)

1.一种数据传输方法,包括:
采用第一处理资源,将待传输文件划分为至少一个分块,对所述至少一个分块进行压缩处理,以获得至少一个压缩块,并将所述至少一个压缩块存入第一队列中;
采用第二处理资源,从所述第一队列中读取所述至少一个压缩块,基于所述至少一个压缩块获得至少一个传输块,并将所述至少一个传输块存入第二队列中;
采用第三处理资源,从所述第二队列中读取所述至少一个传输块,并将所述至少一个传输块传输至目的端;
其中,所述第一处理资源、所述第二处理资源和所述第三处理资源是并发执行的。
2.根据权利要求1所述的方法,其中,所述将待传输文件划分为至少一个分块,包括:
接收用户输入的所述待传输文件的文件信息;
基于所述文件信息获取所述待传输文件;
将所述待传输文件划分为至少一个分块。
3.根据权利要求1所述的方法,其中,所述基于所述至少一个压缩块获得至少一个传输块,包括:
对所述至少一个压缩块进行合并处理,以获得至少一个传输块,其中,每个传输块包括至少一个压缩块。
4.根据权利要求3所述的方法,其中,所述对所述至少一个压缩块进行合并处理,包括:
采用并行方式,对所述至少一个压缩块进行合并处理。
5.根据权利要求1所述的方法,其中,所述将所述至少一个传输块传输至目的端,包括:
采用并行方式,将所述至少一个传输块传输至目的端。
6.根据权利要求1-5任一项所述的方法,其中,
所述第一处理资源为基于Go语言创建的第一协程;
所述第二处理资源为基于Go语言创建的第二协程;
所述第三处理资源为基于Go语言创建的第三协程。
7.一种数据传输装置,包括:
压缩模块,用于采用第一处理资源,将待传输文件划分为至少一个分块,对所述至少一个分块进行压缩处理,以获得至少一个压缩块,并将所述至少一个压缩块存入第一队列中;
转换模块,用于采用第二处理资源,从所述第一队列中读取所述至少一个压缩块,基于所述至少一个压缩块获得至少一个传输块,并将所述至少一个传输块存入第二队列中;
传输模块,用于采用第三处理资源,从所述第二队列中读取所述至少一个传输块,并将所述至少一个传输块传输至目的端;
其中,所述第一处理资源、所述第二处理资源和所述第三处理资源是并发执行的。
8.根据权利要求7所述的装置,其中,所述压缩模块进一步用于:
接收用户输入的所述待传输文件的文件信息;
基于所述文件信息获取所述待传输文件;
将所述待传输文件划分为至少一个分块。
9.根据权利要求7所述的装置,其中,所述转换模块进一步用于:
对所述至少一个压缩块进行合并处理,以获得至少一个传输块,其中,每个传输块包括至少一个压缩块。
10.根据权利要求9所述的装置,其中,所述转换模块进一步用于:
采用并行方式,对所述至少一个压缩块进行合并处理。
11.根据权利要求9所述的装置,其中,所述传输模块进一步用于:
采用并行方式,将所述至少一个传输块传输至目的端。
12.根据权利要求7-11任一项所述的装置,其中,
所述第一处理资源为基于Go语言创建的第一协程;
所述第二处理资源为基于Go语言创建的第二协程;
所述第三处理资源为基于Go语言创建的第三协程。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
CN202211526975.9A 2022-11-30 2022-11-30 数据传输方法、装置、设备和存储介质 Pending CN116016484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211526975.9A CN116016484A (zh) 2022-11-30 2022-11-30 数据传输方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211526975.9A CN116016484A (zh) 2022-11-30 2022-11-30 数据传输方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN116016484A true CN116016484A (zh) 2023-04-25

Family

ID=86023737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211526975.9A Pending CN116016484A (zh) 2022-11-30 2022-11-30 数据传输方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116016484A (zh)

Similar Documents

Publication Publication Date Title
US11188380B2 (en) Method and apparatus for processing task in smart device
CN114819084A (zh) 模型推理方法、装置、设备及存储介质
CN114579311B (zh) 执行分布式计算任务的方法、装置、设备以及存储介质
CN109462491B (zh) 用于测试服务器功能的系统、方法和装置
CN116016484A (zh) 数据传输方法、装置、设备和存储介质
CN113905040A (zh) 文件传输方法、装置、系统、设备以及存储介质
CN114157917B (zh) 视频剪辑方法、装置及终端设备
CN115600671B (zh) 深度学习框架的数据处理方法、装置、设备和存储介质
CN113472565B (zh) 服务器功能的扩容方法、装置、设备和计算机可读介质
CN113132480B (zh) 一种数据传输方法、装置和系统
CN115118727B (zh) 分布式计算架构的数据传输方法、装置、设备及存储介质
CN111767085B (zh) Storm平台参数配置方法和装置
CN116341689B (zh) 机器学习模型的训练方法、装置、电子设备及存储介质
CN113225399B (zh) 数据通信方法、装置及电子设备
CN114449031B (zh) 信息获取方法、装置、设备和存储介质
CN116560817B (zh) 任务执行方法、装置、电子设备和存储介质
CN112311833B (zh) 数据更新方法和装置
CN117278648A (zh) 协议动态适配方法、装置、电子设备及存储介质
CN117651078A (zh) 一种数据传输方法、装置、电子设备及存储介质
CN117993363A (zh) 富文本编辑方法及装置、电子设备和存储介质
CN117608944A (zh) 权属迁移量配比的计算方法、装置、电子设备和存储介质
CN115759233A (zh) 模型的训练方法、图数据处理方法、装置及电子设备
CN115801718A (zh) 消息处理方法、装置、电子设备及消息处理系统
CN114997329A (zh) 用于生成模型的方法、装置、设备、介质和产品
CN117201483A (zh) 文件传输方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination