CN115460124A - 跨机房传输链路优化的方法、装置、设备和存储介质 - Google Patents
跨机房传输链路优化的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN115460124A CN115460124A CN202211077585.8A CN202211077585A CN115460124A CN 115460124 A CN115460124 A CN 115460124A CN 202211077585 A CN202211077585 A CN 202211077585A CN 115460124 A CN115460124 A CN 115460124A
- Authority
- CN
- China
- Prior art keywords
- transmission
- link
- machine room
- file
- available
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 532
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005457 optimization Methods 0.000 title claims abstract description 16
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000013136 deep learning model Methods 0.000 claims abstract description 33
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/08—Learning-based routing, e.g. using neural networks or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
- H04L45/124—Shortest path evaluation using a combination of metrics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种跨机房传输链路优化的方法、装置、设备和存储介质,可应用于大数据领域或金融领域,方法包括:获得传输任务信息(含源机房的标识,目标机房的标识和待传输文件的传输数据量);针对源机房到目标机房的每一条可用传输链路,用深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得和可用传输链路的传输网络开销和预计传输耗时相关的传输效率分值;最后以其中传输效率分值最高的第一最优链路传输待传输文件。本方案在传输文件前,根据传输任务信息选择传输网络开销和预计传输耗时最优的第一最优链路,并以第一最优链路进行传输,有效缩减了跨机房传输文件的耗时和占用资源,提高了传输效率。
Description
技术领域
本发明涉及数据传输技术领域,特别涉及一种跨机房传输链路优化的方法、装置、设备和存储介质。
背景技术
大型的计算机系统往往包括分布在多个不同地点的多个机房,每日各机房之间的系统存在海量的批量文本传输交互,在传输过程中需要对传输文本进行转码、压缩、解压、加密、解密等操作,并且存在着大量的跨机房文件传输情况。
在上述系统中,当源机房需要将文件传输给目标机房时,传输链路一般是,从源机房将文件直接传输给目标机房,然而这种双端直连的传输链路往往不是最优传输链路,因此这种传输方法效率较低,并且会占用系统骨干网带宽,导致部分高优先级的批量传输任务受阻。
发明内容
针对上述现有技术的缺点,本发明提供一种跨机房传输链路优化的方法、装置、设备和存储介质,以便在跨机房文件传输中以最优传输链路进行传输,提高传输效率。
本申请第一方面提供一种跨机房传输链路优化的方法,应用于智能网关,包括:
获得传输任务信息;其中,所述传输任务信息包括源机房的标识,目标机房的标识和传输数据量;所述传输数据量为待传输文件的数据量;
确定从所述源机房到所述目标机房的每一条可用传输链路;
针对每一条所述可用传输链路,利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的传输效率分值;其中,所述可用传输链路的历史传输记录包括最近的一个历史周期内所述可用传输链路传输的每份文件的数据量和传输用时;所述传输效率分值和所述可用传输链路的传输网络开销和预计传输耗时相关;
选择对应的传输效率分值最高的所述可用传输链路确定作为所述传输任务信息对应的第一最优链路;
根据所述第一最优链路将所述待传输文件从所述源机房传输到所述目标机房。
可选的,所述利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的传输效率分值,包括:
利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的预计传输耗时;
根据所述可用传输链路包含的每一个机房分配用于传输的带宽资源,计算得到所述可用传输链路的传输网络开销;
根据所述可用传输链路的传输网络开销和预计传输耗时计算得到所述可用传输链路的传输效率分值。
可选的,所述获得传输任务信息之后,还包括:
判断所述智能网关是否已缓存所述待传输文件;
若所述智能网关未缓存所述待传输文件,执行所述确定从所述源机房到所述目标机房的每一条可用传输链路步骤;
若所述智能网关缓存所述待传输文件,根据所述智能网关到所述目标机房的第二最优链路将所述智能网关缓存的所述待传输文件发送给所述目标机房。
可选的,所述根据所述第一最优链路将所述待传输文件从所述源机房传输到所述目标机房之后,还包括:
缓存所述待传输文件。
本申请第二方面提供一种跨机房传输链路优化的装置,应用于智能网关,包括:
获得单元,用于获得传输任务信息;其中,所述传输任务信息包括源机房的标识,目标机房的标识和传输数据量;所述传输数据量为待传输文件的数据量;
确定单元,用于确定从所述源机房到所述目标机房的每一条可用传输链路;
处理单元,用于针对每一条所述可用传输链路,利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的传输效率分值;其中,所述可用传输链路的历史传输记录包括最近的一个历史周期内所述可用传输链路传输的每份文件的数据量和传输用时;所述传输效率分值和所述可用传输链路的传输网络开销和预计传输耗时相关;
选择单元,用于选择对应的传输效率分值最高的所述可用传输链路作为所述传输任务信息对应的第一最优链路;
传输单元,用于根据所述第一最优链路将所述待传输文件从所述源机房传输到所述目标机房。
可选的,所述处理单元利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的传输效率分值时,具体用于:
利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的预计传输耗时;
根据所述可用传输链路包含的每一个机房分配用于传输的带宽资源,计算得到所述可用传输链路的传输网络开销;
根据所述可用传输链路的传输网络开销和预计传输耗时计算得到所述可用传输链路的传输效率分值。
可选的,所述确定单元还用于:
判断所述智能网关是否已缓存所述待传输文件;
若所述智能网关未缓存所述待传输文件,执行所述确定从所述源机房到所述目标机房的每一条可用传输链路步骤;
所述传输单元还用于:
若所述智能网关缓存所述待传输文件,根据所述智能网关到所述目标机房的第二最优链路将所述智能网关缓存的所述待传输文件发送给所述目标机房。
可选的,所述传输单元还用于:
缓存所述待传输文件。
本申请第三方面提供一种电子设备,包括存储器和处理器;
其中,所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序,所述计算机程序被执行时,具体用于实现本申请第一方面任意一项所提供的跨机房传输链路优化的方法。
本申请第四方面提供一种计算机存储介质,用于存储计算机程序,所述计算机程序被执行时,具体用于实现本申请第一方面任意一项所提供的跨机房传输链路优化的方法。
本申请提供一种跨机房传输链路优化的方法、装置、设备和存储介质,方法应用于智能网关,方法包括:获得传输任务信息;其中,传输任务信息包括源机房的标识,目标机房的标识和传输数据量;传输数据量为待传输文件的数据量;确定从源机房到目标机房的每一条可用传输链路;针对每一条可用传输链路,利用预先训练的深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得可用传输链路的传输效率分值;其中,可用传输链路的历史传输记录包括最近的一个历史周期内可用传输链路传输的每份文件的数据量和传输用时;传输效率分值和可用传输链路的传输网络开销和预计传输耗时相关;选择对应的传输效率分值最高的可用传输链路确定作为传输任务信息对应的第一最优链路;根据第一最优链路将待传输文件从源机房传输到目标机房。本方案在传输文件前,根据传输任务信息选择传输网络开销和预计传输耗时最优的第一最优链路,并以第一最优链路进行传输,有效缩减了跨机房传输文件的耗时和占用资源,提高了传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种多机房系统的架构示意图;
图2为本申请实施例提供的一种跨机房传输链路优化的方法的流程图;
图3为本申请实施例提供的一种跨机房传输链路优化的装置的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
大型系统分布部署在四地八中心,每日各机房之间的系统存在海量的批量文本传输交互,在传输过程中需要对传输文本进行转码、压缩、解压、加密、解密等操作,并且存在着大量的跨机房文件传输情况。
目前在跨机房文件传输的过程,经常出现两类问题:(1)文件跨机房传输存在过多冗余的传输任务;(2)跨机房传输的链路不是最优传输链路;这两个问题导致批量文件传输效率下降,占用集团骨干网带宽,导致部分高优先级的批量传输任务受阻,严重影响集团核心系统运行的稳定性与时效性。
针对上述问题,本发明提出一种跨机房传输链路优化的方法、装置、设备和存储介质。
本发明的主要原理如下。
在多系统间跨机房的文件传输场景下,很难通过传统的应用程序规避冗余数据的传输以及最优传输链路的选择,但通过引入模型对复杂的网络环境以及传输链路进行训练与适配,是一个典型的深度学习可以解决的场景。为解决该问题,在项目实施过程中,引入了基于深度学习模型的文件网关,通过训练适配的深度学习模型实现最优传输路径的选择,再以辅助应用处理,规避传输冗余数据。
为了实现本发明的技术方案,需要预先训练适合本场景下的深度学习模型,并且在现有的跨机房文件传输场景下,搭建统一文件网关。
本发明主要包括以下模块:
深度学习模型判断模块,需要对跨机房的文件传输链路进行最优解计算。
冗余数据缓存模块,需要对传输至文件网关的批量文本进行缓存,并针对整个传输网络内的文件传输需求及时响应。
本发明的方法在实施时可以包括如下步骤。
步骤1、线下使用生产数据进行深度学习的最优链路选取模型训练。
步骤2、线上集成模型进行最优传输链路的选择,并采集生产数据,迭代训练模型。
步骤3、冗余数据缓存模块根据文件使用热度分梯度缓存批量数据,依据批量文件传输需求实时响应。
本发明的技术方案的工作原理如下。
基于深度学习模型的智能文件网关,主要通过模型进行最优传输链路的选取以及冗余传输数据的过滤与规避。
机房A下传的批量数据文件至智能文件网关,首先对其到达目标机房D的所有传输链路网络开销与耗时使用已训练好的模型进行计算,获取最优传输链路,如最优链路为蓝色线条指向的机房A到机房C到机房D,规避直接从机房A传输至机房D的这种简单粗暴的直传情况。
机房A下传的批量数据文件,智能文件网关会进行缓存,当连接至智能网关的所有机房内的系统,如果需要智能文件网关内缓存的文件,网关会再次根据模型计算最近传输链路,保证缓存文件经过最近传输链路到达目标机房。
下面结合附图对本发明的技术方案进行进一步说明。
首先请参见图1,为本申请实施例提供的一种应用本发明的跨机房传输链路优化的方法的多机房系统的架构示意图。
如图1所示,该系统中包括机房A,B,C和D,以及智能网关,其中智能网关配置有预先训练的深度学习模型,基于该深度学习模型,智能网关能够提供最优链路选择和冗余数据过滤功能。
可以理解,图1所示系统仅为示例,在实际应用场景中,本申请提供的方案可以适用于包含任意数量机房的系统,不限于图1所示的四个机房。
根据图1所示的多机房系统,本申请实施例提供一种跨机房传输链路优化的方法,请参见图2,为该方法的流程图。该方法可以包括如下步骤。
S201,获得传输任务信息。
其中,传输任务信息包括源机房的标识,目标机房的标识和传输数据量;传输数据量为待传输文件的数据量。例如,待传输文件大小为10GB,则传输数据量为10GB。
源机房,是指发送待传输文件的机房,目标机房是指要接收待传输文件的机房。以图1为例,机房A要将一份待传输文件发送给机房D,则机房A为源机房,机房D为目标机房。
在步骤S201中,源机房可以在确定要将待传输文件发给目标文件后,生成传输任务信息,将传输任务信息发送给智能网关。
S202,确定从源机房到目标机房的每一条可用传输链路。
可用传输路径,是指智能网关在收到传输任务信息之后,可以从源机房传输文件到目标机房的传输链路。
可以理解,在多机房系统中,并非每两个机房之间都有直接连接,比如图1中机房B和机房C之间就没有直接连接。另外,在收到传输任务信息时,可能有部分机房之间的连接因故障而中断,导致对应的传输链路不可用,因此在步骤S202中需要筛选出收到传输任务信息时的可用传输链路。
具体的确定方法可以是,首先确定连接源机房和目标机房的每一条传输链路,然后确定每一条传输链路中的每一段(以直接连接的两个机房为一段)是否故障,如果故障则确定对应的传输链路不可用,最终确定出至少一条可用传输链路。
可选的,如果步骤S202中发现当前不存在可用传输链路,可以暂停传输,直至系统被修复,发现至少一条可用传输链路后再继续执行本实施例。
续接步骤S201中的示例,在源机房A和目标机房D之间确定出的传输链路包括:链路1,机房A——机房D;链路2:机房A——机房B——机房D;链路3,机房A——机房C——机房D。随后检测发现机房A和机房B间的这段连接因故障而中断,故链路2不可用,于是确定出可用传输链路为链路1和链路2。
S203,针对每一条可用传输链路,利用预先训练的深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得可用传输链路的传输效率分值。
其中,可用传输链路的历史传输记录包括最近的一个历史周期内可用传输链路传输的每份文件的数据量和传输用时;传输效率分值和可用传输链路的传输网络开销和预计传输耗时相关。
示例性的,历史传输记录可以包括可用传输链路在最近24小时内传输的每一份文件的数据量和传输用时。
可选的,利用预先训练的深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得可用传输链路的传输效率分值,包括:
A1,利用预先训练的深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得可用传输链路的预计传输耗时;
A2,根据可用传输链路包含的每一个机房分配用于传输的带宽资源,计算得到可用传输链路的传输网络开销;
A3,根据可用传输链路的传输网络开销和预计传输耗时计算得到可用传输链路的传输效率分值。
在步骤A1中,深度学习模型可以根据可用传输链路的历史传输记录,预测在未来一段时间内可用传输链路的预估传输速率变化情况,比如预测一条可用传输链路在未来一小时内,前10分钟传输速率为10MB每秒,第10至30分钟传输速率为20MB每秒,最后30分钟传输速率为5MB每秒。
然后,深度学习模型可以根据该可用传输链路的预估传输速率变化情况,和上述传输数据量,计算得到利用这条可用传输链路传输待传输文件的耗时,计算结果就是上述预计传输耗时。
在步骤A2中,可以将一条可用传输链路上每一个机房分配的用于传输的带宽资源相加,获得可用传输链路的传输网络开销。
续接步骤S203的示例,对于链路1,可以将机房A的用于传输的带宽资源和机房D的用于传输的带宽资源相加,得到链路1的传输网络开销。
在步骤A3中,一般的,一条可用传输链路的预计传输耗时越短,传输网络开销越小,则该可用传输链路越适合用于传输文件,相应的该可用传输路径就应该配置越高的传输效率分值。
因此在计算传输效率分值时,需要保证传输效率分值和传输网络开销呈负相关,且传输效率分值和预计传输耗时呈负相关的关系。本实施例对具体的计算方法不做限定,可以根据实际情况设定。
作为一种示例,传输效率分值的计算方法可以是:
首先确定系统最近一段时间的最低传输速率,比如最近1天内,系统内任意两个机房间传输数据时最慢的速率为1MB每秒,然后用S201中的传输数据量除以该最低传输速率,获得最大传输耗时。
同时,计算系统中最大网络开销,具体的,确定系统中每两个机房之间的每一条可用传输链路,例如在图1的系统中,确定机房A和机房D,机房A和机房B,机房A和机房C,机房B和机房C,机房B和机房D,以及机房C和机房D之间的全部可用传输链路,然后统计其中每一条链路的网络开销(即该链路上每一机房的用于传输的带宽资源之和),将其中最大的网络开销记为最大网络开销。
然后,对于源机房和目标机房之间的一条可用传输链路,用最大传输耗时除以该链路的预计传输耗时,得到第一比值,用最大网络开销除以该链路的传输网络开销,获得第二比值,将第一比值和第二比值的总和确定为该可用传输链路的传输效率分值。
续接步骤S202的示例,在步骤S203中,可以计算得到链路1的传输效率分值,和链路3的传输效率分值。
S204,选择对应的传输效率分值最高的可用传输链路确定作为传输任务信息对应的第一最优链路。
续接步骤S203的示例,假设链路3的传输效率分值大于链路1的传输效率分值,则确定链路3为第一最优链路。
S205,根据第一最优链路将待传输文件从源机房传输到目标机房。
在步骤S205中,智能网关可以将第一最优链路包含的各个机房的标识发给源机房,使得源机房按照第一最优路径向目标机房发送待传输文件。
续接步骤S204的示例,在确定第一最优路径为链路1后,智能网关将链路1包括的三个机房,即机房A——机房C——机房D发给机房A,然后机房A按照该链路,先将待传输文件发给机房C,在指示机房C将待传输文件发给机房D,而不是从机房A直接发给机房D。
在一些可选的实施例中,执行步骤S205之后智能网关可以对深度学习模型进行迭代训练,具体的,智能网关可以在传输结束后,获取本次传输的实际传输耗时和实际传输开销,根据实际传输耗时和预计传输耗时的差值,以及实际传输开销和预估的传输网络开销的差值来更新深度学习模型的参数,使得后续的预测更加准确。
可选的,获得传输任务信息之后,还包括:
判断智能网关是否已缓存待传输文件;
若智能网关未缓存待传输文件,执行确定从源机房到目标机房的每一条可用传输链路步骤;
若智能网关缓存待传输文件,根据智能网关到所述目标机房的第二最优链路将智能网关缓存的待传输文件发送给目标机房。
上述第二最优路径的确定方法,可以参见图2所示实施例的步骤S202至S204确定第一最优路径的方法,即首先确定智能网关到目标机房的每一可用传输路径,然后针对每一可用传输路径,按照步骤S203所述的方法确定该可用传输路径的传输效率分值,然后将智能网关到目标机房的每一可用传输路径中传输效率分值最高的那一条传输路径确定为第二最优路径,最后智能网关按第二最优路径将本地缓存的待传输文件发给目标机房。
以图1为例,假设智能网关缓存有机房A要发往机房D的待传输文件,然后智能网关确定出第二最优路径为智能网关——机房C——机房D,于是智能网关将待传输文件发给机房C,并指示机房C将待传输文件传输给机房D。
在一些可选的实施例中,即使智能网关缓存有待传输文件,仍然可以执行步骤S202至S204,确定出第一最优路径,然后比对第一最优路径的传输效率分值和第二最优路径的传输效率分值,选择其中传输效率分值较大的路径来传输待传输文件。
可选的,根据第一最优链路将待传输文件从源机房传输到目标机房之后,还包括:
缓存待传输文件。
也就是说,智能网关每次执行源机房将待传输文件发给目标机房后,如果智能网关本地没有缓存该待传输文件,则缓存待传输文件,这样后续再有两个机房间传输相同的待传输文件时,智能网关就可以代为传输本地缓存的待传输文件。
可选的,考虑到智能网关存储空间有限,智能网关可以定期清理本地缓存的待传输文件,具体可以每隔一定时间(如一周)就按缓存时间从远到近删除缓存的待传输文件,也就是说越早缓存的越先被删除,直至缓存的文件的数据量小于一定阈值为止。
在另一些可选的实施例中,智能网关可以根据热度,即传输频率来删除本地缓存的文件,具体的,智能网关统计最近一段时间,比如最近一个月内本地缓存的每一份文件在机房之间传输的次数,按次数由高到低排序,当需要清理文件时,优先删除热度较低,即传输次数较少的文件。
同时,智能网关缓存文件时可以按热度缓存,也就是说,可以只缓存最近一段时间(如最近一个月)内在多个机房之间的传输次数大于预设的热度阈值的待传输文件,传输次数小于或等于热度阈值的待传输文件则不缓存。
本申请提供一种跨机房传输链路优化的方法,方法应用于智能网关,方法包括:获得传输任务信息;其中,传输任务信息包括源机房的标识,目标机房的标识和传输数据量;传输数据量为待传输文件的数据量;确定从源机房到目标机房的每一条可用传输链路;针对每一条可用传输链路,利用预先训练的深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得可用传输链路的传输效率分值;其中,可用传输链路的历史传输记录包括最近的一个历史周期内可用传输链路传输的每份文件的数据量和传输用时;传输效率分值和可用传输链路的传输网络开销和预计传输耗时相关;选择对应的传输效率分值最高的可用传输链路确定作为传输任务信息对应的第一最优链路;根据第一最优链路将待传输文件从源机房传输到目标机房。本方案在传输文件前,根据传输任务信息选择传输网络开销和预计传输耗时最优的第一最优链路,并以第一最优链路进行传输,有效缩减了跨机房传输文件的耗时和占用资源,提高了传输效率。
根据本申请实施例提供的跨机房传输链路优化的方法,本申请实施例还提供一种跨机房传输链路优化的装置,请参见图3,该装置可以包括如下单元。
首先说明,本实施例提供的装置可以视为图1所示系统中智能网关上运行的控制程序。
获得单元301,用于获得传输任务信息。
其中,传输任务信息包括源机房的标识,目标机房的标识和传输数据量;传输数据量为待传输文件的数据量。
确定单元302,用于确定从源机房到目标机房的每一条可用传输链路。
处理单元303,用于针对每一条可用传输链路,利用预先训练的深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得可用传输链路的传输效率分值。
其中,可用传输链路的历史传输记录包括最近的一个历史周期内可用传输链路传输的每份文件的数据量和传输用时;传输效率分值和可用传输链路的传输网络开销和预计传输耗时相关。
选择单元304,用于选择对应的传输效率分值最高的可用传输链路作为传输任务信息对应的第一最优链路。
传输单元305,用于根据第一最优链路将待传输文件从源机房传输到目标机房。
可选的,处理单元303利用预先训练的深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得可用传输链路的传输效率分值时,具体用于:
利用预先训练的深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得可用传输链路的预计传输耗时;
根据可用传输链路包含的每一个机房分配用于传输的带宽资源,计算得到可用传输链路的传输网络开销;
根据可用传输链路的传输网络开销和预计传输耗时计算得到可用传输链路的传输效率分值。
可选的,确定单元302还用于:
判断智能网关是否已缓存待传输文件;
若智能网关未缓存待传输文件,执行确定从源机房到目标机房的每一条可用传输链路步骤;
传输单元305还用于:
若智能网关缓存待传输文件,根据智能网关到所述目标机房的第二最优链路将智能网关缓存的待传输文件发送给目标机房。
可选的,传输单元305还用于:
缓存待传输文件。
本申请实施例提供的跨机房传输链路优化的装置,其具体工作原理可以参见本申请任一实施例提供的跨机房传输链路优化的方法中的相关步骤,此处不再赘述。
本申请提供一种跨机房传输链路优化的装置,应用于智能网关,装置包括:获得单元301获得传输任务信息;其中,传输任务信息包括源机房的标识,目标机房的标识和传输数据量;传输数据量为待传输文件的数据量;确定单元302确定从源机房到目标机房的每一条可用传输链路;处理单元303针对每一条可用传输链路,利用预先训练的深度学习模型处理可用传输链路的历史传输记录和传输数据量,获得可用传输链路的传输效率分值;其中,可用传输链路的历史传输记录包括最近的一个历史周期内可用传输链路传输的每份文件的数据量和传输用时;传输效率分值和可用传输链路的传输网络开销和预计传输耗时相关;选择单元304选择对应的传输效率分值最高的可用传输链路确定作为传输任务信息对应的第一最优链路;传输单元305根据第一最优链路将待传输文件从源机房传输到目标机房。本方案在传输文件前,根据传输任务信息选择传输网络开销和预计传输耗时最优的第一最优链路,并以第一最优链路进行传输,有效缩减了跨机房传输文件的耗时和占用资源,提高了传输效率。
本申请实施例还提供一种电子设备,请参见图4,包括存储器401和处理器402。
其中,存储器401用于存储计算机程序。
处理器402用于执行计算机程序,计算机程序被执行时,具体用于实现本申请任一实施例所提供的跨机房传输链路优化的方法。
本申请实施例还提供一种计算机存储介质,用于存储计算机程序,计算机程序被执行时,具体用于实现本申请任一实施例所提供的跨机房传输链路优化的方法。
需要说明的是,本发明提供的跨机房传输链路优化的方法、装置、设备和存储介质可用于大数据领域或金融领域。上述仅为示例,并不对本发明提供的跨机房传输链路优化的方法、装置、设备和存储介质的应用领域进行限定。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要注意,本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种跨机房传输链路优化的方法,其特征在于,应用于智能网关,包括:
获得传输任务信息;其中,所述传输任务信息包括源机房的标识,目标机房的标识和传输数据量;所述传输数据量为待传输文件的数据量;
确定从所述源机房到所述目标机房的每一条可用传输链路;
针对每一条所述可用传输链路,利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的传输效率分值;其中,所述可用传输链路的历史传输记录包括最近的一个历史周期内所述可用传输链路传输的每份文件的数据量和传输用时;所述传输效率分值和所述可用传输链路的传输网络开销和预计传输耗时相关;
选择对应的传输效率分值最高的所述可用传输链路确定作为所述传输任务信息对应的第一最优链路;
根据所述第一最优链路将所述待传输文件从所述源机房传输到所述目标机房。
2.根据权利要求1所述的方法,其特征在于,所述利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的传输效率分值,包括:
利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的预计传输耗时;
根据所述可用传输链路包含的每一个机房分配用于传输的带宽资源,计算得到所述可用传输链路的传输网络开销;
根据所述可用传输链路的传输网络开销和预计传输耗时计算得到所述可用传输链路的传输效率分值。
3.根据权利要求1所述的方法,其特征在于,所述获得传输任务信息之后,还包括:
判断所述智能网关是否已缓存所述待传输文件;
若所述智能网关未缓存所述待传输文件,执行所述确定从所述源机房到所述目标机房的每一条可用传输链路步骤;
若所述智能网关缓存所述待传输文件,根据所述智能网关到所述目标机房的第二最优链路将所述智能网关缓存的所述待传输文件发送给所述目标机房。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一最优链路将所述待传输文件从所述源机房传输到所述目标机房之后,还包括:
缓存所述待传输文件。
5.一种跨机房传输链路优化的装置,其特征在于,应用于智能网关,包括:
获得单元,用于获得传输任务信息;其中,所述传输任务信息包括源机房的标识,目标机房的标识和传输数据量;所述传输数据量为待传输文件的数据量;
确定单元,用于确定从所述源机房到所述目标机房的每一条可用传输链路;
处理单元,用于针对每一条所述可用传输链路,利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的传输效率分值;其中,所述可用传输链路的历史传输记录包括最近的一个历史周期内所述可用传输链路传输的每份文件的数据量和传输用时;所述传输效率分值和所述可用传输链路的传输网络开销和预计传输耗时相关;
选择单元,用于选择对应的传输效率分值最高的所述可用传输链路作为所述传输任务信息对应的第一最优链路;
传输单元,用于根据所述第一最优链路将所述待传输文件从所述源机房传输到所述目标机房。
6.根据权利要求5所述的装置,其特征在于,所述处理单元利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的传输效率分值时,具体用于:
利用预先训练的深度学习模型处理所述可用传输链路的历史传输记录和所述传输数据量,获得所述可用传输链路的预计传输耗时;
根据所述可用传输链路包含的每一个机房分配用于传输的带宽资源,计算得到所述可用传输链路的传输网络开销;
根据所述可用传输链路的传输网络开销和预计传输耗时计算得到所述可用传输链路的传输效率分值。
7.根据权利要求5所述的装置,其特征在于,所述确定单元还用于:
判断所述智能网关是否已缓存所述待传输文件;
若所述智能网关未缓存所述待传输文件,执行所述确定从所述源机房到所述目标机房的每一条可用传输链路步骤;
所述传输单元还用于:
若所述智能网关缓存所述待传输文件,根据所述智能网关到所述目标机房的第二最优链路将所述智能网关缓存的所述待传输文件发送给所述目标机房。
8.根据权利要求5所述的装置,其特征在于,所述传输单元还用于:
缓存所述待传输文件。
9.一种计算机存储介质,其特征在于,用于存储计算机程序,所述计算机程序被执行时,具体用于实现如权利要求1至4任意一项所述的跨机房传输链路优化的方法。
10.一种电子设备,其特征在于,包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序,具体用于实现如权利要求1至4任意一项所述的跨机房传输链路优化的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211077585.8A CN115460124B (zh) | 2022-09-05 | 2022-09-05 | 跨机房传输链路优化的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211077585.8A CN115460124B (zh) | 2022-09-05 | 2022-09-05 | 跨机房传输链路优化的方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115460124A true CN115460124A (zh) | 2022-12-09 |
CN115460124B CN115460124B (zh) | 2024-03-01 |
Family
ID=84302087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211077585.8A Active CN115460124B (zh) | 2022-09-05 | 2022-09-05 | 跨机房传输链路优化的方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115460124B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117459449A (zh) * | 2023-12-20 | 2024-01-26 | 深圳市视晶无线技术有限公司 | 一种基于多链路的通信方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3457294A1 (en) * | 2017-09-15 | 2019-03-20 | Magnet Forensics Inc. | Systems and methods for graphical exploration of forensic data |
CN111246033A (zh) * | 2020-01-08 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 一种数据传输方法、装置、设备以及可读存储介质 |
CN113037577A (zh) * | 2019-12-09 | 2021-06-25 | 中国电信股份有限公司 | 网络流量预测方法、装置和计算机可读存储介质 |
CN113422728A (zh) * | 2021-06-22 | 2021-09-21 | 上海哔哩哔哩科技有限公司 | 内容分发网络链路的选择方法及装置 |
-
2022
- 2022-09-05 CN CN202211077585.8A patent/CN115460124B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3457294A1 (en) * | 2017-09-15 | 2019-03-20 | Magnet Forensics Inc. | Systems and methods for graphical exploration of forensic data |
CN113037577A (zh) * | 2019-12-09 | 2021-06-25 | 中国电信股份有限公司 | 网络流量预测方法、装置和计算机可读存储介质 |
CN111246033A (zh) * | 2020-01-08 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 一种数据传输方法、装置、设备以及可读存储介质 |
CN113422728A (zh) * | 2021-06-22 | 2021-09-21 | 上海哔哩哔哩科技有限公司 | 内容分发网络链路的选择方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117459449A (zh) * | 2023-12-20 | 2024-01-26 | 深圳市视晶无线技术有限公司 | 一种基于多链路的通信方法及装置 |
CN117459449B (zh) * | 2023-12-20 | 2024-03-22 | 深圳市视晶无线技术有限公司 | 一种基于多链路的通信方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115460124B (zh) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101673192B (zh) | 时序化的数据处理方法、装置及系统 | |
CN111966289B (zh) | 基于Kafka集群的分区优化方法和系统 | |
CN103218310A (zh) | 缓存装置、通信设备以及计算机程序产品 | |
CN103986766A (zh) | 自适应负载均衡作业任务调度方法及装置 | |
CN104243405A (zh) | 一种请求处理方法、装置及系统 | |
CN108770017B (zh) | 一种无线资源动态均衡方法及系统 | |
CN105095495B (zh) | 一种分布式文件系统缓存管理方法和系统 | |
CN103902357A (zh) | 应用程序管理系统及方法 | |
TW202133055A (zh) | 透過多層次相關性建立系統資源預測及資源管理模型的方法 | |
CN113391973B (zh) | 一种物联网云容器日志收集方法及装置 | |
CN113645118B (zh) | 一种基于sdn的工业互联网标识流量缓存处理方法 | |
CN115460124A (zh) | 跨机房传输链路优化的方法、装置、设备和存储介质 | |
EP3465966A1 (en) | A node of a network and a method of operating the same for resource distribution | |
CN109189578A (zh) | 存储服务器分配方法、装置、管理服务器以及存储系统 | |
CN111418187A (zh) | 云网络中的可伸缩统计和分析机制 | |
CN116361006A (zh) | 面向存算分离的算网资源协同调度方法及系统 | |
CN102480502A (zh) | 一种i/o负载均衡方法及i/o服务器 | |
CN109815204A (zh) | 一种基于拥塞感知的元数据请求分发方法及设备 | |
CN113596146B (zh) | 一种基于大数据的资源调度的方法及装置 | |
CN111885159B (zh) | 数据采集方法、装置、电子设备及存储介质 | |
CN109828718B (zh) | 一种磁盘存储负载均衡方法及装置 | |
CN110348681B (zh) | 一种电力cps动态负荷分配方法 | |
US20060015593A1 (en) | Three dimensional surface indicating probability of breach of service level | |
CN114443262A (zh) | 计算资源管理方法、装置、设备及系统 | |
CN117332881B (zh) | 分布式训练方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |