CN116800730A - 文件传输方法、装置、存储介质以及电子设备 - Google Patents
文件传输方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN116800730A CN116800730A CN202310850387.9A CN202310850387A CN116800730A CN 116800730 A CN116800730 A CN 116800730A CN 202310850387 A CN202310850387 A CN 202310850387A CN 116800730 A CN116800730 A CN 116800730A
- Authority
- CN
- China
- Prior art keywords
- file
- target
- weight
- compressed
- files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000002596 correlated effect Effects 0.000 claims abstract description 18
- 238000012163 sequencing technique Methods 0.000 claims abstract description 14
- 238000007906 compression Methods 0.000 claims description 39
- 230000006835 compression Effects 0.000 claims description 39
- 230000000875 corresponding effect Effects 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000011084 recovery Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种文件传输方法、装置、存储介质以及电子设备。涉及大数据领域。该方法包括:获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。通过本申请,解决了相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题。
Description
技术领域
本申请涉及大数据领域,具体而言,涉及一种文件传输方法、装置、存储介质以及电子设备。
背景技术
随着金融机构的业务数据量逐步扩大,数据中心的体量也随之加大,对于数据中心大体量、集中部署的Oracle数据库(一种数据库),在设计高可用方案时主要存在两种场景,一是近地(也称同城)机房高可用策略,主要用于本地站点数据库、操作系统、服务器出现故障时的应急切换和业务接管;二是远程(也称异地)机房灾备高可用策略,主要用于主站点园区城市级灾难性故障时,由远程异地城市站点接管。
由于异地灾备机房部署距主站点千公里距离之外,因此,当前在对异地灾备节点做数据同步的时候,一般采用Oracle DG(是Oracle数据库提供的一种容灾解决方案)同步技术。但是,由于异地灾备机房与主站点机房距离千公里以上,网络带宽存在资源上限,当多台套数据库集中部署灾备数据同步时,网络带宽存在性能瓶颈,不同灾备等级应用数据库同时使用网络带宽,如果低等级应用产生大量归档日志使用网络进行传出,会对高等级应用数据库数据同步产生干扰和堵塞,导致数据传输出现异常。
针对相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种文件传输方法、装置、存储介质以及电子设备,以解决相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题。
根据本申请的一个方面,提供了一种文件传输方法。该方法包括:获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。
可选地,将目标序列中的文件按照第一权值通过目标传输线路发送至接收端包括:在发送文件的过程中未接收到新增压缩文件的情况下,在检测到目标传输线路完成上一个文件的传输后,从目标序列中删除完成传输的文件,得到第一更新序列;将第一更新序列中的文件按照第一权值通过目标传输线路发送至接收端。
可选地,将目标序列中的文件按照第一权值通过目标传输线路发送至接收端包括:在发送文件的过程中接收到新增压缩文件的情况下,将新增压缩文件添加至目标序列中;根据新增压缩文件的第二权值,以及目标序列中的每个目标压缩文件的等待时长,对目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列,其中,等待时长为每个目标压缩文件等待传输的时长;将第二更新序列中的文件按照第一权值通过目标传输线路发送至接收端。
可选地,根据新增压缩文件的第二权值,以及目标序列中的每个目标压缩文件的等待时长,对目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列包括:获取每个目标压缩文件在目标序列中的等待时长,得到M个等待时长;通过每个目标压缩文件的第一权值与等待时长计算每个目标压缩文件的第三权值;根据每个目标压缩文件的第三权值更新每个目标压缩文件的第一权值,得到M个更新后的第一权值;根据M个更新后的第一权值和第二权值对M个目标压缩文件和新增压缩文件进行排序,得到第二更新序列。
可选地,对每个待传输文件进行压缩,得到M个目标压缩文件包括:对于每个待传输文件,对所述待传输文件进行解析,得到待传输文件中的文本信息,并对文本信息中的预设字符进行压缩,得到待传输文件的候选压缩文件;确定待传输文件所属的服务器,并在服务器中对候选压缩文件进行压缩,得到目标压缩文件。
可选地,文本信息中包括P个初始语句,对文本信息中的预设字符进行压缩,得到待传输文件的候选压缩文件包括:获取文本信息中的每个初始语句的出现次数,得到P个第一次数信息,并按照第一次数信息由大到小的顺序获取Q个初始语句,其中,P、Q均为正整数;获取Q个初始语句中的每个字符的出现次数,得到I个第二次数信息,并按照第二次数信息由大到小的顺序获取J个字符,其中,I、J均为正整数;为每个字符设置对应的压缩编码,得到J个压缩编码,并使用J个压缩编码替换待传输文件中的J个字符,得到候选压缩文件。
可选地,在将目标序列中的文件按照第一权值通过目标传输线路发送至接收端之前,该方法还包括:将J个字符以及每个字符对应的压缩编码发送至接收端,其中,接收端将目标压缩文件进行解压,得到候选压缩文件,并通过J个字符以及每个字符对应的压缩编码对候选压缩文件进行解压,得到待传输文件。
可选地,在将目标序列中的文件按照第一权值通过目标传输线路发送至接收端之后,该方法还包括:接收所述接收端发送的反馈信息,并根据反馈信息对目标序列中的压缩文件的第一权值进行变更;根据变更后的第一权值对目标序列进行变更,得到更新后的目标序列。
根据本申请的另一方面,提供了一种文件传输装置。该装置包括:第一获取单元,用于获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;第二获取单元,用于获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;传输单元,用于将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。
根据本发明的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种文件传输方法。
根据本发明的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种文件传输方法。
通过本申请,采用以下步骤:获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。解决了相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题。通过对每个待传输文件进行压缩,并在压缩后根据文件的重要程度对文件的发送顺序进行确定,从而根据发送顺序进行文件的发送,进而达到了提高文件传输效率以及保证重要文件的正常传输的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的文件传输方法的流程图;
图2是根据本申请实施例提供的第一更新序列的示意图;
图3是根据本申请实施例提供的第二更新序列的示意图;
图4是根据本申请实施例提供的文件传输装置的示意图;
图5为根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
需要说明的是,本公开所确定的文件传输方法、装置、存储介质以及电子设备可用于大数据领域,也可用于除大数据领域之外的任意领域,本公开所确定的文件传输方法、装置、存储介质以及电子设备的应用领域不做限定。
根据本申请的实施例,提供了一种文件传输方法。
图1是根据本申请实施例提供的文件传输方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数。
具体的,在进行文件传输的时候,可以通过集中归档机进行文件的传输,首先,在服务器需要进行文件传输的时候,可以通过预先配置的集中归档机的路径将服务器的数据库中需要进行传输的文件发送至集中归档机中,集中归档机在接收到多个服务器发送的M个待传输文件后,可以对文件进行压缩,得到压缩文件,其中,需要说明的是,在进行压缩的时候,需要用到数据库中自带的压缩功能进行压缩,因此可以在集中归档机中配置Oracle数据库,并使用Oracle数据库存储并压缩接收到的待传输文件。
进一步的,为了可以便捷的识别每个待传输文件的来源数据库,可以在接收到待传输文件后,使用“服务器唯一标识+时间戳”的方式对待传输文件进行命名,从而既确定了待传输文件的来源服务器,又可以对待传输文件的接收时间进行记录。
步骤S102,获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关。
具体的,在得到M个目标压缩文件后,可以根据文件的名称(也即服务器标识)确定每个目标压缩文件所属的服务器,从而根据服务器的权值确定每个目标压缩文件的权值,例如,目标压缩文件A和目标压缩文件B由服务器A发送,目标压缩文件C和目标压缩文件D由服务器B发送,在服务器A的权值为5,服务器B的权值为10的情况下,目标压缩文件A和目标压缩文件B的权值为5,目标压缩文件C和目标压缩文件D的权值为10,从而将目标压缩文件的重要程度进行区分,并通过重要程度决定文件发送次序。
在确定文件发送次序的时候,可以根据权值确定发送先后顺序,从而得到目标序列,其中,排序越靠前的目标压缩文件的权值越高,进而保证了文件传输的合理性。
步骤S103,将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。
具体的,在确定目标序列后,即可按照第一权值,也即序列号由小到大的顺序将目标压缩文件进行传输,从而保证文件可以按照重要性进行传输。
需要说明的是,在传输的过程中,由于部分文件中的内容较多,需要较长时间传输,因此,在传输的时候,如果存在新增目标压缩文件的情况下,需要根据新增目标压缩文件的权值对目标序列中的目标压缩文件进行重新排序,进而可以在完成上一个目标压缩文件的传输后,选择当前时刻权值最高的文件进行传输。
本申请实施例提供的文件传输方法,通过获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。解决了相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题。通过对每个待传输文件进行压缩,并在压缩后根据文件的重要程度对文件的发送顺序进行确定,从而根据发送顺序进行文件的发送,进而达到了提高文件传输效率以及保证重要文件的正常传输的效果。
为了保证文件传输的合理性,可选地,在本申请实施例提供的文件传输方法中,将目标序列中的文件按照第一权值通过目标传输线路发送至接收端包括:在发送文件的过程中未接收到新增压缩文件的情况下,在检测到目标传输线路完成上一个文件的传输后,从目标序列中删除完成传输的文件,得到第一更新序列;将第一更新序列中的文件按照第一权值通过目标传输线路发送至接收端。
具体的,在文件进行传输的时候,如果没有新增的文件的情况下,在完成上一个文件的传输后,可以按照目标序列的顺序进行下一个文件的传输,图2是根据本申请实施例提供的第一更新序列的示意图,如图2所示,正在传输的文件为文件A,此时,在目标序列未发生变化的情况下,在A完成传输后,将文件A从目标序列中删除,此时,文件B为序列为1的文件,则下一个进行传输的文件为文件B。从而达到了按照目标序列进行文件传输的效果。
为了及时更新目标序列中的文件传输顺序,可选地,在本申请实施例提供的文件传输方法中,将目标序列中的文件按照第一权值通过目标传输线路发送至接收端包括:在发送文件的过程中接收到新增压缩文件的情况下,将新增压缩文件添加至目标序列中;根据新增压缩文件的第二权值,以及目标序列中的每个目标压缩文件的等待时长,对目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列,其中,等待时长为每个目标压缩文件等待传输的时长;将第二更新序列中的文件按照第一权值通过目标传输线路发送至接收端。
具体的,在新增压缩文件的情况下,需要根据新增压缩文件的第二权值,以及目标序列中已有的目标压缩文件的权值对目标序列进行重新排序。
需要说明的是,由于新增压缩文件之前,目标序列中的目标压缩文件已经有较长的传输等待时长,因此,需要根据每个目标压缩文件的等待时长对每个目标压缩文件的第一权值进行调整,从而避免部分权值较低的文件一直被新增文件阻挡发送,导致需要较长的等待时间后才能正常发送,进而影响接收端的文件接收和使用。
进一步的,在对目标压缩文件的第一权值进行变更后,即可根据变更后的第一权值以及新增压缩文件的第二权值对目标序列进行重排,得到第二更新序列,并按照第二更新序列中的发送次序进行文件的发送。
例如,图3是根据本申请实施例提供的第二更新序列的示意图,如图3所示,在新增文件X的权值比图2中的目标文件E的权值大的情况下,将新增文件X添加在目标文件E的前面,从而得到图3中的第二更新序列,进而可以按照第二更新序列中的发送顺序,在文件E之前将文件X发送至接收端。
为了准确的对每个目标压缩文件的第一权值进行变更,可选地,在本申请实施例提供的文件传输方法中,根据新增压缩文件的第二权值,以及目标序列中的每个目标压缩文件的等待时长,对目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列包括:获取每个目标压缩文件在目标序列中的等待时长,得到M个等待时长;通过每个目标压缩文件的第一权值与等待时长计算每个目标压缩文件的第三权值;根据每个目标压缩文件的第三权值更新每个目标压缩文件的第一权值,得到M个更新后的第一权值;根据M个更新后的第一权值和第二权值对M个目标压缩文件和新增压缩文件进行排序,得到第二更新序列。
具体的,在对目标压缩文件的第一权值进行变更的时候,首先根据目标压缩文件的名称中的时间戳确定每个目标压缩文件在目标序列中的等待时长,并根据第一权值和等待时长计算每个文件的第三权值,也即,由于不同权值的文件的等待时间成本不同,权值越高的文件的等待成本越高,因此,可以使用第一权值与等待时长相乘的方式计算每个目标文件的第三权值。
进一步的,在计算得到第三权值后,可以将第三权值对第一权值进行更新,例如,将第三权值与第一权值相加,得到更新后的第一权值,并使用更新后的第一权值与新增文件的第二权值进行对比,从而确定新增文件在目标序列中的序号。
例如,对于不同灾备等级的服务器,比如5、4、3、2、1级服务器,设置传输初始等待权重,其中分值越高,表示传输优先级越高。每个压缩文件如果处于等待状态1分钟,则权重值加1,每次传输过程中传输权重值最高的压缩文件。
可选地,在本申请实施例提供的文件传输方法中,对每个待传输文件进行压缩,得到M个目标压缩文件包括:对于每个待传输文件,对所述待传输文件进行解析,得到待传输文件中的文本信息,并对文本信息中的预设字符进行压缩,得到待传输文件的候选压缩文件;确定待传输文件所属的服务器,并在服务器中对候选压缩文件进行压缩,得到目标压缩文件。
具体的,在对待传输文件进行压缩的时候,为了能够进一步减少待传输文件的文件大小,可以先对待传输文件进行解析,从而将待传输中的二进制编码解析为由SQL语句组成的文本信息,并对文本信息中的SQL语句进行压缩,得到候选压缩文件,并通过数据库中的压缩工具对候选压缩文件进行进一步压缩,从而得到目标压缩文件,达到了在使用压缩工具对文件进行压缩的基础上进一步减小待传输文件的大小的效果。
为了降低压缩后的文件大小,可选地,在本申请实施例提供的文件传输方法中,文本信息中包括P个初始语句,对文本信息中的预设字符进行压缩,得到待传输文件的候选压缩文件包括:获取文本信息中的每个初始语句的出现次数,得到P个第一次数信息,并按照第一次数信息由大到小的顺序获取Q个初始语句,其中,P、Q均为正整数;获取Q个初始语句中的每个字符的出现次数,得到I个第二次数信息,并按照第二次数信息由大到小的顺序获取J个字符,其中,I、J均为正整数;为每个字符设置对应的压缩编码,得到J个压缩编码,并使用J个压缩编码替换待传输文件中的J个字符,得到候选压缩文件。
具体的,在根据待传输文件的文件内容对待传输文件进行压缩的时候,可以解析待传输文件,得到文件内容,从文件内容中获取出现次数较多的语句,例如获取出现次数排名前10的SQL语句,在获取到出现次数排名前10的语句后,可以对语句进行解析,获取出现频率最高的J个字符,例如,可以空格为单位,获取出现频率最高的前14个字符,在确定了出现频率最高的10个语句中出现频率最高的14个字符后,可以将每个字符进行编码,得到对应的压缩编码。
表1是一种可选地字符编码表,如表1所示,在确定字符后,可以在文件中获取每个字符对应的二进制编码,并为每个字符设置一个对应的压缩编码,从而可以将待传输文件中的二进制编码替换为压缩编码,从而大幅减小待传输文件的文件大小。例如,字符update的二进制编码为0000110101,在设置了对应的压缩编码为2的情况下,可以将待传输文件中所有表征字符update的二进制编码0000110101变更为2,从而大大降低了文件的大小。
表1
字符 | 二进制编码 | 压缩编码 |
update | 0000110101 | 2 |
delete | 10111101011 | 3 |
... | ... | ... |
空格 | 0100100 | E |
分号 | 000010101 | F |
为了保证接收端可以正常的解析压缩文件,可选地,在本申请实施例提供的文件传输方法中,在将目标序列中的文件按照第一权值通过目标传输线路发送至接收端之前,该方法还包括:将J个字符以及每个字符对应的压缩编码发送至接收端,其中,接收端将目标压缩文件进行解压,得到候选压缩文件,并通过J个字符以及每个字符对应的压缩编码对候选压缩文件进行解压,得到待传输文件。
具体的,在完成上述表1的配置后,可以将表1发送至接收端,接收端同样为集中归档机,与发送端的归档机相同,因此,在接收端获取到表1后,即可根据压缩流程进行反向解压操作,从而在得到压缩文件后对压缩文件进行解压,得到初始的待传输文件。
可选地,在本申请实施例提供的文件传输方法中,在将目标序列中的文件按照第一权值通过目标传输线路发送至接收端之后,该方法还包括:接收所述接收端发送的反馈信息,并根据反馈信息对目标序列中的压缩文件的第一权值进行变更;根据变更后的第一权值对目标序列进行变更,得到更新后的目标序列。
具体的,在接收端接收到每个待传输文件后,由于可以通过文件名确定发送每个待传输文件的服务器以及开始发送的时刻,因此,接收端可以设置每个服务器对应的最大传输时长,并在接收到待传输文件后,确定文件传输时长是否大于最大传输时长,在某个服务器下的、传输时长大于最大传输时长的文件的数量大于阈值的情况下,表征对该服务器的权值设置存在异常,需要提高该服务器的权值,此时接收端会向发送端发送反馈信息,并根据反馈信息对该服务器下的文件的权值进行变更,进而由于权值的变更导致目标序列的变更,使得该服务器发送的文件可以更快的被接收端接收。
通过上述方法,能够真实准确评估每个文件中的SQL语句,并对高频关键字进行数据压缩,大幅提升数据压缩效果,降低网络带宽使用,提升千公里级规模化部署数据库场景下的灾备数据传输能力。同时,结合服务器灾备等级,对不同服务器等级数据库文件进行加权传输,优先保障高等级服务器,兼顾低等级服务器传输需求,进一步提供数据同步状态以及时效监控方法,并结合服务器灾备等级以及时效监控实施效果,对权重值进行迭代调整,满足预期目标。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种文件传输装置,需要说明的是,本申请实施例的文件传输装置可以用于执行本申请实施例所提供的用于文件传输方法。以下对本申请实施例提供的文件传输装置进行介绍。
图4是根据本申请实施例提供的文件传输装置的示意图。如图4所示,该装置包括:第一获取单元41,第二获取单元42,传输单元43。
第一获取单元41,用于获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数。
第二获取单元42,用于获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关。
传输单元43,用于将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。
本申请实施例提供的文件传输装置,通过第一获取单元41获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;第二获取单元42获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;传输单元43将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。解决了相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题。通过对每个待传输文件进行压缩,并在压缩后根据文件的重要程度对文件的发送顺序进行确定,从而根据发送顺序进行文件的发送,进而达到了提高文件传输效率以及保证重要文件的正常传输的效果。
可选地,在本申请实施例提供的文件传输装置中,传输单元43包括:删除模块,用于在发送文件的过程中未接收到新增压缩文件的情况下,在检测到目标传输线路完成上一个文件的传输后,从目标序列中删除完成传输的文件,得到第一更新序列;第一发送模块,用于将第一更新序列中的文件按照第一权值通过目标传输线路发送至接收端。
可选地,在本申请实施例提供的文件传输装置中,传输单元43包括:添加模块,用于在发送文件的过程中接收到新增压缩文件的情况下,将新增压缩文件添加至目标序列中;调整模块,用于根据新增压缩文件的第二权值,以及目标序列中的每个目标压缩文件的等待时长,对目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列,其中,等待时长为每个目标压缩文件等待传输的时长;第二发送模块,用于将第二更新序列中的文件按照第一权值通过目标传输线路发送至接收端。
可选地,在本申请实施例提供的文件传输装置中,调整模块包括:第一获取子模块,用于获取每个目标压缩文件在目标序列中的等待时长,得到M个等待时长;计算子模块,用于通过每个目标压缩文件的第一权值与等待时长计算每个目标压缩文件的第三权值;更新子模块,用于根据每个目标压缩文件的第三权值更新每个目标压缩文件的第一权值,得到M个更新后的第一权值;排序子模块,用于根据M个更新后的第一权值和第二权值对M个目标压缩文件和新增压缩文件进行排序,得到第二更新序列。
可选地,在本申请实施例提供的文件传输装置中,第一获取单元41包括:解析模块,用于对于每个待传输文件,对所述待传输文件进行解析,得到待传输文件中的文本信息,并对文本信息中的预设字符进行压缩,得到待传输文件的候选压缩文件;压缩模块,用于确定待传输文件所属的服务器,并在服务器中对候选压缩文件进行压缩,得到目标压缩文件。
可选地,在本申请实施例提供的文件传输装置中,文本信息中包括P个初始语句,解析模块包括:第二获取子模块,用于获取文本信息中的每个初始语句的出现次数,得到P个第一次数信息,并按照第一次数信息由大到小的顺序获取Q个初始语句,其中,P、Q均为正整数;第三获取子模块,用于获取Q个初始语句中的每个字符的出现次数,得到I个第二次数信息,并按照第二次数信息由大到小的顺序获取J个字符,其中,I、J均为正整数;替换子模块,用于为每个字符设置对应的压缩编码,得到J个压缩编码,并使用J个压缩编码替换待传输文件中的J个字符,得到候选压缩文件。
可选地,在本申请实施例提供的文件传输装置中,该装置还包括:发送单元,用于将J个字符以及每个字符对应的压缩编码发送至接收端,其中,接收端将目标压缩文件进行解压,得到候选压缩文件,并通过J个字符以及每个字符对应的压缩编码对候选压缩文件进行解压,得到待传输文件。
可选地,在本申请实施例提供的文件传输装置中,该装置还包括:接收单元,用于接收所述接收端发送的反馈信息,并根据反馈信息对目标序列中的压缩文件的第一权值进行变更;变更单元,用于根据变更后的第一权值对目标序列进行变更,得到更新后的目标序列。
上述文件传输装置包括处理器和存储器,上述第一获取单元41,第二获取单元42,传输单元43等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中在进行数据传输的时候,由于带宽限制导致数据传输出现异常的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述文件传输方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述文件传输方法。
如图5所示,本发明实施例提供了一种电子设备,电子设备50包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;获取每个待传输文件所属的服务器的第一权值,并按照第一权值对M个目标压缩文件进行排序,得到目标序列,其中,第一权值与服务器的重要度正相关,第一权值与目标序列中的序列号负相关;将目标序列中的文件按照第一权值通过目标传输线路发送至接收端。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种文件传输方法,其特征在于,包括:
获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;
获取每个待传输文件所属的服务器的第一权值,并按照所述第一权值对所述M个目标压缩文件进行排序,得到目标序列,其中,所述第一权值与服务器的重要度正相关,所述第一权值与目标序列中的序列号负相关;
将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端。
2.根据权利要求1所述的方法,其特征在于,将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端包括:
在发送文件的过程中未接收到新增压缩文件的情况下,在检测到所述目标传输线路完成上一个文件的传输后,从所述目标序列中删除完成传输的文件,得到第一更新序列;
将所述第一更新序列中的文件按照所述第一权值通过目标传输线路发送至接收端。
3.根据权利要求1所述的方法,其特征在于,将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端包括:
在发送文件的过程中接收到新增压缩文件的情况下,将所述新增压缩文件添加至所述目标序列中;
根据所述新增压缩文件的第二权值,以及所述目标序列中的每个目标压缩文件的等待时长,对所述目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列,其中,所述等待时长为每个目标压缩文件等待传输的时长;
将所述第二更新序列中的文件按照所述第一权值通过目标传输线路发送至接收端。
4.根据权利要求3所述的方法,其特征在于,根据所述新增压缩文件的第二权值,以及所述目标序列中的每个目标压缩文件的等待时长,对所述目标序列中的每个目标压缩文件的第一权值进行调整,得到第二更新序列包括:
获取每个目标压缩文件在所述目标序列中的等待时长,得到M个等待时长;
通过每个目标压缩文件的第一权值与所述等待时长计算每个目标压缩文件的第三权值;
根据每个目标压缩文件的第三权值更新每个目标压缩文件的第一权值,得到M个更新后的第一权值;
根据所述M个更新后的第一权值和所述第二权值对所述M个目标压缩文件和所述新增压缩文件进行排序,得到所述第二更新序列。
5.根据权利要求1所述的方法,其特征在于,对每个待传输文件进行压缩,得到M个目标压缩文件包括:
对于每个待传输文件,对所述待传输文件进行解析,得到所述待传输文件中的文本信息,并对所述文本信息中的预设字符进行压缩,得到所述待传输文件的候选压缩文件;
确定所述待传输文件所属的服务器,并在服务器中对所述候选压缩文件进行压缩,得到目标压缩文件。
6.根据权利要求5所述的方法,其特征在于,所述文本信息中包括P个初始语句,对所述文本信息中的预设字符进行压缩,得到所述待传输文件的候选压缩文件包括:
获取所述文本信息中的每个初始语句的出现次数,得到P个第一次数信息,并按照所述第一次数信息由大到小的顺序获取Q个初始语句,其中,P、Q均为正整数;
获取所述Q个初始语句中的每个字符的出现次数,得到I个第二次数信息,并按照所述第二次数信息由大到小的顺序获取J个字符,其中,I、J均为正整数;
为每个字符设置对应的压缩编码,得到J个压缩编码,并使用所述J个压缩编码替换所述待传输文件中的所述J个字符,得到所述候选压缩文件。
7.根据权利要求6所述的方法,其特征在于,在将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端之前,所述方法还包括:
将所述J个字符以及每个字符对应的压缩编码发送至所述接收端,其中,所述接收端将所述目标压缩文件进行解压,得到所述候选压缩文件,并通过所述J个字符以及每个字符对应的压缩编码对所述候选压缩文件进行解压,得到所述待传输文件。
8.根据权利要求1所述的方法,其特征在于,在将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端之后,所述方法还包括:
接收所述接收端发送的反馈信息,并根据所述反馈信息对所述目标序列中的压缩文件的第一权值进行变更;
根据变更后的第一权值对所述目标序列进行变更,得到更新后的目标序列。
9.一种文件传输装置,其特征在于,包括:
第一获取单元,用于获取从不同服务器发送的M个待传输文件,并对每个待传输文件进行压缩,得到M个目标压缩文件,其中,M为正整数;
第二获取单元,用于获取每个待传输文件所属的服务器的第一权值,并按照所述第一权值对所述M个目标压缩文件进行排序,得到目标序列,其中,所述第一权值与服务器的重要度正相关,所述第一权值与目标序列中的序列号负相关;
传输单元,用于将所述目标序列中的文件按照所述第一权值通过目标传输线路发送至接收端。
10.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至8中任意一项所述的文件传输方法。
11.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至8中任意一项所述的文件传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310850387.9A CN116800730A (zh) | 2023-07-11 | 2023-07-11 | 文件传输方法、装置、存储介质以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310850387.9A CN116800730A (zh) | 2023-07-11 | 2023-07-11 | 文件传输方法、装置、存储介质以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116800730A true CN116800730A (zh) | 2023-09-22 |
Family
ID=88040157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310850387.9A Pending CN116800730A (zh) | 2023-07-11 | 2023-07-11 | 文件传输方法、装置、存储介质以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116800730A (zh) |
-
2023
- 2023-07-11 CN CN202310850387.9A patent/CN116800730A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
CN110427368B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN111125059B (zh) | 数据迁移方法、装置、存储介质及服务器 | |
CN106156037B (zh) | 数据处理方法、装置及系统 | |
CN111552669A (zh) | 数据处理方法、装置、计算设备和存储介质 | |
CN106055630A (zh) | 日志存储的方法及装置 | |
CN111858146B (zh) | 用于恢复数据的方法、设备和计算机程序产品 | |
CN110825706A (zh) | 一种数据压缩的方法和相关设备 | |
CN109769027B (zh) | 一种消息推送方法、装置及设备 | |
CN117076195A (zh) | 参数的调整方法、装置、存储介质及电子装置 | |
CN116800730A (zh) | 文件传输方法、装置、存储介质以及电子设备 | |
CN108023920B (zh) | 一种数据包传输方法、设备及应用接口 | |
CN113449042B (zh) | 数据自动分库方法及装置 | |
CN115794861A (zh) | 基于特征摘要的离线数据查询复用方法及其应用 | |
CN114138786A (zh) | 一种联机交易消息去重方法、装置、介质、产品和设备 | |
CN111209100B (zh) | 一种业务处理和数据源确定方法 | |
CN110134547B (zh) | 一种基于中间件的重复数据删除方法和相关装置 | |
CN116107801A (zh) | 交易处理方法及相关产品 | |
CN113228595B (zh) | 传输记录的方法和装置 | |
CN112699129A (zh) | 一种数据处理系统、方法及装置 | |
CN111291230A (zh) | 特征处理方法、装置、电子设备及计算机可读存储介质 | |
CN112667607B (zh) | 一种历史数据的管理方法及相关设备 | |
CN111061712A (zh) | 一种数据连接操作的处理方法及装置 | |
CN113595829B (zh) | 压力测试方法、装置、电子设备及存储介质 | |
CN103970860A (zh) | 一种数据处理的方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |