CN115037737A - 多点跨国数据交换中的分布式零散文件处理方法和装置 - Google Patents
多点跨国数据交换中的分布式零散文件处理方法和装置 Download PDFInfo
- Publication number
- CN115037737A CN115037737A CN202210468405.2A CN202210468405A CN115037737A CN 115037737 A CN115037737 A CN 115037737A CN 202210468405 A CN202210468405 A CN 202210468405A CN 115037737 A CN115037737 A CN 115037737A
- Authority
- CN
- China
- Prior art keywords
- file
- compressed
- compression scheme
- size
- packing compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000006835 compression Effects 0.000 claims abstract description 125
- 238000007906 compression Methods 0.000 claims abstract description 125
- 238000012856 packing Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 abstract description 38
- 238000010586 diagram Methods 0.000 description 12
- 238000012546 transfer Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了多点跨国数据交换中的分布式零散文件处理方法和装置。方法包括获取所有待传输文件的存储尺寸信息;确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件;确定可选打包压缩方案,可选打包压缩方案可用于处理待压缩文件、以生成若干不大于第二预设尺寸的压缩包;基于预设选择模型,选择最优打包压缩方案处理待压缩文件。以此方式,可以对小于/不大于第一预设存储尺寸的待传输文件压缩,将打包压缩完成的压缩包限定在不大于第二预设尺寸,以适应国际网络链路的文件传输能力,通过对大量存储尺寸相对较小的文件进行打包,减少网络握手、线程分配以及建立临时端口的次数,极大的提高了国际网络链路中的文件传输效率。
Description
技术领域
本申请涉及通信技术领域,并且更具体地,涉及多点跨国数据交换中的分布式零散文件处理方法和装置。
背景技术
在国际网络链路文件传输过程中,往往会出现大量文件需要传输的情况,这些文件大小相对不大,但对传输速度要求较高。国际网络链路往往较长,文件在传输过程中需要经过多个中转服务器,最终才能到达文件接收端,在此过程中,每个文件都会经过多次网络握手、线程分配切换和建立临时端口,存在传输效率低的缺陷。
发明内容
根据本申请的实施例,提供了一种多点跨国数据交换中的分布式零散文件处理方法和装置。
在本申请的第一方面,提供了一种多点跨国数据交换中的分布式零散文件处理方法方法。该方法包括:
获取所有待传输文件的存储尺寸信息;
确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件;
确定可选打包压缩方案,所述可选打包压缩方案可用于处理所述待压缩文件、以生成若干不大于第二预设尺寸的压缩包;
基于预设选择模型,选择最优打包压缩方案处理所述待压缩文件。
通过采用上述技术方案,本申请能够对待传输文件进行筛选,对小于/不大于第一预设存储尺寸的待传输文件压缩,并且考虑到国际网络传输链路中的带宽首先,本申请将打包压缩完成的压缩包限定在不大于第二预设尺寸,以适应国际网络链路的文件传输能力。本申请通过对大量存储尺寸相对较小的文件进行打包,减少了网络握手、线程分配以及建立临时端口的次数,极大的提高了国际网络链路中的文件传输效率。
本申请在一较佳示例中可以进一步配置为:所述第一预设尺寸处于45M-55M范围内。
本申请在一较佳示例中可以进一步配置为:所述第二预设尺寸处于0.9G-1.1G范围内。
本申请在一较佳示例中可以进一步配置为:所述确定可选打包压缩方案包括:
将所有所述待压缩文件划分为若干组,每组所述待压缩文件的存储尺寸和不大于第三预设尺寸,以使每组所述待压缩文件压缩后的尺寸不大于第二预设尺寸;
按组将所述待压缩文件压缩,得到所述压缩包。
本申请在一较佳示例中可以进一步配置为:所述预设选择模型包括:
获取每一可选打包压缩方案得到的压缩包数量信息;
确定所述压缩包数量信息最小的一可选打包压缩方案为所述最优打包压缩方案。
本申请在一较佳示例中可以进一步配置为:所述确定所述压缩包数量信息最小的一可选打包压缩方案为所述最优打包压缩方案包括:
确定所述压缩包数量信息最小的可选打包压缩方案为优选打包压缩方案;
获取所述优选打包压缩方案得到的每一压缩包的尺寸信息;
计算每一优选打包压缩方案的尺寸信息的离散程度信息;
选择尺寸信息的离散程度最小的优选打包压缩方案为最优打包压缩方案。
本申请公开的一种多点跨国数据交换中的分布式零散文件处理方法,在文件发送端对待传输文件进行处理,将存储尺寸小于/不大于第一预设尺寸的待存储文件定义为待压缩文件,确定一个或多个可选打包压缩方案,对待压缩文件进行处理以生成若干不大于第二预设尺寸的压缩包,在可选打包压缩方案为多个时,以压缩包数量最小的可选打包压缩方案为优选打包压缩方案,在优选打包压缩方案为多个时,则以优选打包压缩发难中,压缩包的存储尺寸离散程度最小的优选打包压缩发难为最优打包压缩方案,并依据最优打包压缩方案对待压缩文件进行打包。通过对待传输文件筛选并打包的方式,在传输文件大量减少的情况下,极大的减少了文件传输过程中的网络握手、线程分配切换以及建立临时端口的次数,在应用于国点跨国数据交换中时,由于中转服务器的存在,本申请的提高文件传输效率的效果尤为明显。
在本申请的第二方面,提供了一种多点跨国数据交换中的分布式零散文件处理装置。该装置包括:
获取模块,用于获取所有待传输文件的存储尺寸信息;
筛选模块,用于确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件;
处理模块,用于确定可选打包压缩方案,所述可选打包压缩方案可用于处理所述待压缩文件、以生成若干不大于第二预设尺寸的压缩包;
选择模块,用于基于预设选择模型,选择最优打包压缩方案处理所述待压缩文件。
本申请在一较佳示例中可以进一步配置为:所述第一预设尺寸处于45M-55M范围内。
在本申请的第三方面,提供了一种电子设备。该电子设备包括:存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如以上所述的方法。
在本申请的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如根据本申请的第一方面的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征,亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了能够在其中实现本申请的实施例的示例性运行环境的示意图;
图2示出了根据本申请的实施例的多点跨国数据交换中的分布式零散文件处理方法的流程图;
图3示出了根据本申请的实施例的多点跨国数据交换中的分布式零散文件处理装置的方框图;
图4示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。
附图标记说明:101、文件发送端;102、中转服务器;103、文件接收端;301、获取模块;302、筛选模块;303、处理模块;304、选择模块;401、CPU;402、ROM;403、RAM;404、总线;405、I/O接口;406、输入部分;407、输出部分;408、存储部分;409、通信部分;410、驱动器;411、可拆卸介质。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例,都属于本申请保护的范围。
在国际网络链路文件传输过程中,一般在多个国家设置有用于传输数据的服务器,网络链路往往较长。文件在传输过程中,通常需要从文件发送端起始,经过多个中转服务器,最终传输至文件接收端。在此过程中,每个文件均需经过多次网络握手、线程分配切换和建立临时端口,才能传输至文件接收端。在文件量较大的情况下,网络握手、线程分配切换和建立临时端口会消耗大量时间,导致文件传输效率低下。
本申请中,公开了一种多点跨国数据交换中的分布式零散文件处理方法,在国际网络传输过程中,任一文件发送端均可以执行本方法。本申请能够获取所有待传输文件的储存尺寸信息,并且在所有待传输文件中,确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件,然后确定可选打包压缩方案,可选打包压缩方案能够处理待压缩文件,以生成若干不大于第二预设尺寸的压缩包,基于预设选择模型,在若干可选打包压缩方案中选择最优打包压缩方案,以处理上述的待压缩文件。
本申请能够在传输待传输文件之前,对待传输文件进行筛选,对小于/不大于第一预设存储尺寸的待传输文件压缩,并且考虑到国际网络传输链路中的带宽首先,本申请将打包压缩完成的压缩包限定在不大于第二预设尺寸,以适应国际网络链路的文件传输能力。本申请通过对大量存储尺寸相对较小的文件进行打包,减少了网络握手、线程分配以及建立临时端口的次数,极大的提高了国际网络链路中的文件传输效率。
图1示出了能够在其中实现本申请的实施例的示例性运行环境100的示意图。在运行环境100中包括文件发送端101、中转服务器102和文件接收端103,其中,文件发送端也可以是用作文件接收端。
图2示出了根据本申请实施例的多点跨国数据交换中的分布式零散文件处理方法200的流程图。方法200可以由图1中的文件发送端101。
步骤S100、获取所有待传输文件的存储尺寸信息。
在本申请实施例中,由于同一文件发送端的待传输数据的目的IP地址不同,因此,本方法获取得到的所有待传输文件,为同一传输链路中的所有待传输文件,同一传输链路为同一文件发送端与同一文件接收端之间的传输链路。
步骤S200、确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件。
文件传输速度不仅受网络握手、线程分配以及建立临时端口的次数影响,同样受文件存储尺寸影响。在文件传输的过程中,以一文件从文件发送端传输至文件接收端为例,文件发送端首先需要和中转服务器在网络中握手、切换线程分配、建立临时端口,然后将待传输文件传输至中转服务器。中转服务器与文件接收端之间可能还存在多个中转服务器,每两个服务器之间、中转服务器与文件接收端之间均需经历在网络中握手、切换线程分配、建立临时端口的过程,并且,需要在前一个文件传输完成后,下一个文件再开始启动传输,经历多次在网络中握手、切换线程分配、建立临时端口,最终传输至文件接收端。
在上述过程中,若待传输文件的存储尺寸较小,待传输文件的数量较大时,则会出现大量时间消耗在网络握手、线程分配切换、建立临时端口的过程中,极大的影响文件传输效率。
在本申请实施例中,第一预设尺寸处于45M-55M范围内,具体取值可以视情况而定,第一预设尺寸的取值范围为经过试验表明,低于第一预设尺寸的文件在存储过程中,在网络握手、线程分配切换、建立临时端口中消耗的时间与文件传输全过程所需要的时间相比,占比较大,进而对文件传输效率影响较大。
因此,将所有待传输文件中,将存储尺寸小于/不大于第一预设尺寸的待传输文件作为待压缩文件,在后续步骤中对其进行压缩处理,以提高文件传输效率。对于存储尺寸大于第一预设尺寸的待传输文件,依照常规的文件传输模式,对其进行传输即可。
步骤S300、确定可选打包压缩方案,所述可选打包压缩方案可用于处理所述待压缩文件、以生成若干不大于第二预设尺寸的压缩包。
其中,第二预设尺寸处于0.9G-1.1G范围内,具体取值可以视情况而定,第二预设尺寸为经过试验表明,在压缩包不大于第二预设存储尺寸时,文件传输效率相对较高。
在本申请实施例中,确定可选打包方案的方式可以是将所有待压缩文件划分为若干组,每组待压缩文件的存储尺寸之和不大于第三预设尺寸,以使得每组待压缩文件压缩后的尺寸不大于第二预设尺寸,然后按组将待压缩文件压缩,便可得到压缩包。
其中,第三预设尺寸可以是根据第二预设尺寸和待压缩文件的压缩比例确定的。在一个具体的示例中,第二预设尺寸为1G,待压缩文件的压缩比例为4:1,则第三预设尺寸为4G。
由于每组待压缩文件的存储尺寸的可选择范围较大,因此,通过步骤300确定的可选打包压缩方案为多个。
需要说明的是,步骤S300仅为确定可选的打包压缩方案的方法,并非实际依据每一可选打包压缩方案压缩待压缩文件,为确定最优的打包压缩方案,需执行步骤S400。
步骤S400、基于预设选择模型,选择最优打包压缩方案处理所述待压缩文件。
在本申请实施例中,由于文件传输效率受压缩包数量影响,压缩包数量越小,文件传出效率越高,因此,预设选择模型可以是获取每一可选打包压缩方案得到的压缩包数量信息,并确定压缩包数量信息最小的一可选打包压缩方案为最优打包压缩方案。
在一些实施例中,可能还存在压缩包数量信息最小的可选打包压缩方案为多个,由于待传输文件的总存储尺寸是固定的,在压缩包数量相同的情况下,若优选打包压缩方案中的多个压缩包的尺寸信息之间的差距较小,则每个压缩包的尺寸信息较为均衡,不至于存在由于压缩包之间尺寸信息差距过大,导致部分存储尺寸较大的压缩包传输较慢,进而影响整体文件传输速度的情况。
因此,还可以确定压缩包数量信息最小的可选打包压缩方案为优选打包压缩方案,并获取优选打包压缩方案得到的每一压缩包的尺寸信息,计算每一优选打包压缩方案的尺寸信息的离散程度信息,然后选择尺寸信息的离散程度最小的优选打包压缩方案为最优打包压缩方案。
本申请公开的一种多点跨国数据交换中的分布式零散文件处理方法,在文件发送端对待传输文件进行处理,将存储尺寸小于/不大于第一预设尺寸的待存储文件定义为待压缩文件,确定一个或多个可选打包压缩方案,对待压缩文件进行处理以生成若干不大于第二预设尺寸的压缩包,在可选打包压缩方案为多个时,以压缩包数量最小的可选打包压缩方案为优选打包压缩方案,在优选打包压缩方案为多个时,则以优选打包压缩发难中,压缩包的存储尺寸离散程度最小的优选打包压缩发难为最优打包压缩方案,并依据最优打包压缩方案对待压缩文件进行打包。
本申请通过对待传输文件筛选并打包的方式,在传输文件大量减少的情况下,极大的减少了文件传输过程中的网络握手、线程分配切换以及建立临时端口的次数,在应用于国点跨国数据交换中时,由于中转服务器的存在,本申请的提高文件传输效率的效果尤为明显。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本申请所述方案进行进一步说明。
图3示出了根据本申请的实施例的多点跨国数据交换中的分布式零散文件处理装置300的方框图。装置300可以被包括在图1的文件发送端101中或者被实现为文件发送端101。如图3所示,装置300包括:
获取模块301,用于获取所有待传输文件的存储尺寸信息;
筛选模块302,用于确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件;
处理模块303,用于确定可选打包压缩方案,所述可选打包压缩方案可用于处理所述待压缩文件、以生成若干不大于第二预设尺寸的压缩包;
选择模块304,用于基于预设选择模型,选择最优打包压缩方案处理所述待压缩文件。
本申请在一较佳示例中可以进一步配置为:所述第一预设尺寸处于45M-55M范围内。
本申请在一较佳示例中可以进一步配置为:所述第二预设尺寸处于0.9G-1.1G范围内。
本申请在一较佳示例中可以进一步配置为:所述确定可选打包压缩方案包括:
将所有所述待压缩文件划分为若干组,每组所述待压缩文件的存储尺寸和不大于第三预设尺寸,以使每组所述待压缩文件压缩后的尺寸不大于第二预设尺寸;
按组将所述待压缩文件压缩,得到所述压缩包。
本申请在一较佳示例中可以进一步配置为:所述预设选择模型包括:
获取每一可选打包压缩方案得到的压缩包数量信息;
确定所述压缩包数量信息最小的一可选打包压缩方案为所述最优打包压缩方案。
本申请在一较佳示例中可以进一步配置为:所述确定所述压缩包数量信息最小的一可选打包压缩方案为所述最优打包压缩方案包括:
确定所述压缩包数量信息最小的可选打包压缩方案为优选打包压缩方案;
获取所述优选打包压缩方案得到的每一压缩包的尺寸信息;
计算每一优选打包压缩方案的尺寸信息的离散程度信息;
选择尺寸信息的离散程度最小的优选打包压缩方案为最优打包压缩方案。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,所述描述的模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图4示出了适于用来实现本申请实施例的电子设备的结构示意图。
如图4所示,电子设备包括中央处理单元(CPU)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)404中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有系统400操作所需的各种程序和数据。CPU401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本申请的实施例,上文参考流程图图2描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在机器可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括获取模块、筛选模块、处理模块和选择模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,获取模块还可以被描述为“用于获取所有待传输文件的存储尺寸信息的模块”。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序,当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的多点跨国数据交换中的分布式零散文件处理方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的申请范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离前述申请构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种多点跨国数据交换中的分布式零散文件处理方法,其特征在于,包括:
获取所有待传输文件的存储尺寸信息;
确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件;
确定可选打包压缩方案,所述可选打包压缩方案可用于处理所述待压缩文件、以生成若干不大于第二预设尺寸的压缩包;
基于预设选择模型,选择最优打包压缩方案处理所述待压缩文件。
2.根据权利要求1所述的一种多点跨国数据交换中的分布式零散文件处理方法,其特征在于,所述第一预设尺寸处于45M-55M范围内。
3.根据权利要求1所述的一种多点跨国数据交换中的分布式零散文件处理方法,其特征在于,所述第二预设尺寸处于0.9G-1.1G范围内。
4.根据权利要求1所述的一种多点跨国数据交换中的分布式零散文件处理方法,其特征在于,所述确定可选打包压缩方案包括:
将所有所述待压缩文件划分为若干组,每组所述待压缩文件的存储尺寸和不大于第三预设尺寸,以使每组所述待压缩文件压缩后的尺寸不大于第二预设尺寸;
按组将所述待压缩文件压缩,得到所述压缩包。
5.根据权利要求4所述的一种多点跨国数据交换中的分布式零散文件处理方法,其特征在于,所述预设选择模型包括:
获取每一可选打包压缩方案得到的压缩包数量信息;
确定所述压缩包数量信息最小的一可选打包压缩方案为所述最优打包压缩方案。
6.根据权利要求1所述的一种多点跨国数据交换中的分布式零散文件处理方法,其特征在于,所述确定所述压缩包数量信息最小的一可选打包压缩方案为所述最优打包压缩方案包括:
确定所述压缩包数量信息最小的可选打包压缩方案为优选打包压缩方案;
获取所述优选打包压缩方案得到的每一压缩包的尺寸信息;
计算每一优选打包压缩方案的尺寸信息的离散程度信息;
选择尺寸信息的离散程度最小的优选打包压缩方案为最优打包压缩方案。
7.一种多点跨国数据交换中的分布式零散文件处理装置,其特征在于,包括:
获取模块,用于获取所有待传输文件的存储尺寸信息;
筛选模块,用于确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件;
处理模块,用于确定可选打包压缩方案,所述可选打包压缩方案可用于处理所述待压缩文件、以生成若干不大于第二预设尺寸的压缩包;
选择模块,用于基于预设选择模型,选择最优打包压缩方案处理所述待压缩文件。
8.根据权利要求7所述的一种多点跨国数据交换中的分布式零散文件处理装置,其特征在于,包括:所述第一预设尺寸处于45M-55M范围内。
9.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~6中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210468405.2A CN115037737A (zh) | 2022-04-29 | 2022-04-29 | 多点跨国数据交换中的分布式零散文件处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210468405.2A CN115037737A (zh) | 2022-04-29 | 2022-04-29 | 多点跨国数据交换中的分布式零散文件处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115037737A true CN115037737A (zh) | 2022-09-09 |
Family
ID=83119075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210468405.2A Pending CN115037737A (zh) | 2022-04-29 | 2022-04-29 | 多点跨国数据交换中的分布式零散文件处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115037737A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110167173A1 (en) * | 2010-01-05 | 2011-07-07 | International Business Machines Corporation | Optimal Compression Process Selection Methods |
CN104092666A (zh) * | 2014-06-20 | 2014-10-08 | 裴兆欣 | 一种文件传输方法及装置 |
CN104978319A (zh) * | 2014-04-02 | 2015-10-14 | 东华软件股份公司 | 一种用于文件分类传输的方法和设备 |
CN106161633A (zh) * | 2016-07-20 | 2016-11-23 | 柏科数据技术(深圳)股份有限公司 | 一种基于云计算环境下打包文件的传输方法及系统 |
CN108881454A (zh) * | 2018-06-28 | 2018-11-23 | 北京珠穆朗玛移动通信有限公司 | 文件传输方法、移动终端及存储介质 |
CN109803006A (zh) * | 2019-01-04 | 2019-05-24 | 福建天泉教育科技有限公司 | 分布式文件系统下的多文件批量打包方法、存储介质 |
US20200019535A1 (en) * | 2015-10-01 | 2020-01-16 | PacByte Solutions Pty Ltd | Method and system for preparing data files for transmission over a data network |
-
2022
- 2022-04-29 CN CN202210468405.2A patent/CN115037737A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110167173A1 (en) * | 2010-01-05 | 2011-07-07 | International Business Machines Corporation | Optimal Compression Process Selection Methods |
CN104978319A (zh) * | 2014-04-02 | 2015-10-14 | 东华软件股份公司 | 一种用于文件分类传输的方法和设备 |
CN104092666A (zh) * | 2014-06-20 | 2014-10-08 | 裴兆欣 | 一种文件传输方法及装置 |
US20200019535A1 (en) * | 2015-10-01 | 2020-01-16 | PacByte Solutions Pty Ltd | Method and system for preparing data files for transmission over a data network |
CN106161633A (zh) * | 2016-07-20 | 2016-11-23 | 柏科数据技术(深圳)股份有限公司 | 一种基于云计算环境下打包文件的传输方法及系统 |
CN108881454A (zh) * | 2018-06-28 | 2018-11-23 | 北京珠穆朗玛移动通信有限公司 | 文件传输方法、移动终端及存储介质 |
CN109803006A (zh) * | 2019-01-04 | 2019-05-24 | 福建天泉教育科技有限公司 | 分布式文件系统下的多文件批量打包方法、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113132489A (zh) | 下载文件的方法、装置、计算设备和介质 | |
CN112039796B (zh) | 数据包传输方法和装置、存储介质和电子设备 | |
US11196845B2 (en) | Method, apparatus, and computer program product for determining data transfer manner | |
CN112596920A (zh) | 一种消息处理的方法、装置、电子设备和存储介质 | |
CN112769943A (zh) | 一种业务处理的方法及装置 | |
CN110708234B (zh) | 消息发送的处理方法、消息发送的处理装置及存储介质 | |
CN111800223A (zh) | 生成发送报文、处理接收报文的方法、装置和系统 | |
CN113259490B (zh) | 基于udp传输协议的多级节点网络数据传输方法 | |
CN112311720A (zh) | 数据的传输方法及装置 | |
CN113783822B (zh) | 服务超时管理方法和装置,电子设备,可读介质 | |
CN115037737A (zh) | 多点跨国数据交换中的分布式零散文件处理方法和装置 | |
CN115643310B (zh) | 一种压缩数据的方法、装置和系统 | |
US20150180964A1 (en) | Information processing apparatus and load test method | |
CN109842665B (zh) | 用于任务分配服务器的任务处理方法和装置 | |
CN115576791A (zh) | 压测线程的动态调整方法、装置、电子设备及存储介质 | |
CN111930331B (zh) | 信息显示方法、装置、电子设备和计算机可读介质 | |
CN112436982B (zh) | 一种网络流量自动混跑测试方法、系统、终端及存储介质 | |
CN115221041A (zh) | 多设备的测试方法、装置、电子设备及存储介质 | |
CN109088929B (zh) | 用于发送信息的方法及装置 | |
CN103559155B (zh) | 一种数据传输方法、相关装置及数据传输系统 | |
CN112688982B (zh) | 一种用户请求处理方法和装置 | |
CN113141236A (zh) | 一种报文处理方法和装置 | |
CN109688432B (zh) | 信息传输方法、装置和系统 | |
CN113760693A (zh) | 用于微服务系统的本地调试的方法和装置 | |
CN111756833A (zh) | 节点处理方法、装置、电子设备及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220909 |
|
RJ01 | Rejection of invention patent application after publication |