CN112671662B - 数据流加速方法、电子设备和存储介质 - Google Patents
数据流加速方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112671662B CN112671662B CN202011593971.3A CN202011593971A CN112671662B CN 112671662 B CN112671662 B CN 112671662B CN 202011593971 A CN202011593971 A CN 202011593971A CN 112671662 B CN112671662 B CN 112671662B
- Authority
- CN
- China
- Prior art keywords
- acceleration
- cloud gateway
- stream
- communication link
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001133 acceleration Effects 0.000 title claims abstract description 218
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004891 communication Methods 0.000 claims abstract description 128
- 238000001514 detection method Methods 0.000 claims description 116
- 230000006835 compression Effects 0.000 claims description 16
- 238000007906 compression Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 30
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 230000008859 change Effects 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 60
- 238000010586 diagram Methods 0.000 description 16
- 239000000523 sample Substances 0.000 description 16
- 239000013598 vector Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据流加速方法、电子设备和存储介质,其中,该方法包括:确定至少两个云网关服务器之间的通信链路质量;根据所述通信链路质量控制所述云网关服务器根据预先存储的流加速策略进行数据流加速。本发明实施例通过云网关服务器之间的通信链路质量控制数据流进行加速,解决了网络变化自适应能力差的问题,实现了线路通信质量的准确监控,可提高数据流传输的安全性。
Description
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种数据流加速方法、电子设备和存储介质。
背景技术
近年来,企业业务逐渐云化,然而由于大型企业业务存在复杂化、异地化的问题,使得同一企业业务会同时部署在多个公有云上,并且在各云之间部署云网关实现多云间业务的互联互通,在这种异构网络形态下,云间网络流量属于广域网(Wide Area Network,WAN)流量。对于WAN流量,受到通讯两端服务器的地理位置距离远、归属不同云服务商、线路受损和线路过载等因素影响,导致通讯两端服务器存在传输慢、反馈慢、费用高和传输易中断等问题出现,为了保证用户的上网体验,出现了传输控制协议(Transmission ControlProtocol,TCP)来保证数据传输的可靠性,IPSEC VPN技术来保证数据的安全性。但是由于TCP中ACK确认、超时重传、流量控制和拥塞控制等机制在广域网中充斥了大量的冗余数据,无法充分利用宽带,而IPsec配置复杂导致异构云网络无法快速部署,WAN传输链路中的数据流速度存在限制。
现有技术中通过广域网加速控制器(Wan Optimization Controller,WAN)实现数据流的加速,在WAN两端对等部署加速控制器;设置黑白名单控制进入加速通道的流量;对IP分组进行压缩,节省带宽占用。然而现有技术的数据流加速存在网络变化自适应能力低,无法监控线路通信质量和无法识别流量特征的缺陷。
发明内容
本发明提供一种数据流加速方法、装置、电子设备和存储介质,以实现广域网间数据流的快速传输,提高网络结构的自适应性,实现数据流的准确监控,提高数据流传输的安全性。
第一方面,本发明实施例提供了一种数据流加速方法,该方法包括:
确定至少两个云网关服务器之间的通信链路质量;
根据所述通信链路质量控制所述云网关服务器根据预先存储的流加速策略进行数据流加速。
第二方面,本发明实施例还提供了一种数据流加速方法,该方法包括:
根据流量管理节点触发通信链路质量探测;
获取所述流量管理节点根据所述通信链路质量生成的加速触发信息;
基于所述加速触发信息按照预先存储的流加速策略进行数据流加速。
第三方面,本发明实施例提供了一种电子设备,该电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例中任一所述的数据流加速方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的数据流加速方法。
本发明实施例,通过确定云网关服务器之间的通信链路质量,根据该通信链路质量对云网关服务器的数据流加速进行控制,使得云网关服务器基于预先存储的流加速策略进行数据流加速,本发明实施例通过流量管理节点按照通信链路质量控制云网关服务器进行数据流加速,实现了广域网间数据流的快速传输,可提高网络结构的自适应性,实现数据流的准确监控,能够提高数据流传输的安全性。
附图说明
图1是本发明实施例一提供的一种数据流加速方法的流程图;
图2是本发明实施例二提供的另一种数据流加速方法的流程图;
图3是本发明实施例二提供的一种流加速策略确定的示例图;
图4是本发明实施例二提供的一种网络探测报文的结构示意图;
图5是本发明实施例二提供的一种通信链路质量探测的示例图;
图6是本发明实施例三提供的一种数据流加速方法的流程图;
图7是本发明实施例四提供的另一种数据流加速方法的流程图;
图8是本发明实施例四提供的一种填充本地通信链路质量的网络探测报文的结构示意图;
图9是本发明实施例五提供的一种数据流加速装置的结构示意图;
图10是本发明实施例六提供的另一种数据流加速装置的结构示意图;
图11是本发明实施例六提供的一种数据流加速装置的示例图;
图12是本发明实施例七提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构,此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1是本发明实施例一提供的一种数据流加速方法的流程图,本实施例可适用于广域网间数据流传输的情况,该方法可以由数据流加速装置来执行,该装置可以采用硬件和/或软件的方式来实现,一般可以集成在流量管理节点,参见图1,本发明实施例提供的方法具体可以包括如下步骤:
步骤110、确定至少两个云网关服务器之间的通信链路质量。
其中,云网关服务器可以是在云端服务器部署的设备,用于实现不同云端业务互通,云网关服务器可以是一个服务器也可以是一个服务器集群。通信链路质量可以是云网关服务器之间的通信链路质量,可以反映出不同云端网络转发节点之间的通信好坏程度。
具体的,可以向云网关服务器发送控制信息,使得云网关服务器可以按照控制信息对应的内容进行通信链路质量的检测,检测的通信链路质量可以是云网关服务器之间不同节点处的通信质量信息,可以包括带宽、负载和时延等信息。可以理解的是,云网关服务器之间的通信链路可以具有一条或者多条,在确定通信链路质量时,可以由流量管理节点选择通信链路以获取对应的通信链路质量。
进一步的,在上述发明实施例的基础上,所述通信链路质量至少包括带宽信息、时延信息和丢包信息中一种。
步骤120、根据通信链路质量控制云网关服务器根据预先存储的流加速策略进行数据流加速。
其中,流加速策略可以是控制云网关服务器进行数据流加速的策略,可以包括报文分组压缩技术、专线加速、多隧道复用等,流加速测控可以由流量管理节点预先确定,并发送给云网关服务器进行预先存储。
在本发明实施例中,流量管理节点可以通过判断云网关服务器之间的通信链路质量判断是否需要在对应的云网关服务器之间开启流加速,例如,当通信链路质量小于通信阈值时,此时可以控制云网关服务器开始进行数据流加速,在云网关服务器中可以预先配置有流加速策略,可以控制云网关服务器根据存储的流加速策略进行数据流加速。
本发明实施例,通过确定云网关服务器之间的通信链路质量,根据该通信链路质量对云网关服务器的数据流加速进行控制,使得云网关服务器基于预先存储的流加速策略进行数据流加速,本发明实施例通过流量管理节点按照通信链路质量控制云网关服务器进行数据流加速,实现了广域网间数据流的快速传输,可提高网络结构的自适应性,实现数据流的准确监控,能够提高数据流传输的安全性。
实施例二
图2是本发明实施例二提供的另一种数据流加速方法的流程图,本发明实施例是在上述发明实施例基础上的具体化,参见图2,本发明实施例提供的方法具备包括:
步骤210、获取云网关服务器上传的数据流,并根据预先训练的机器学习模型确定数据流的流属性。
其中,数据流可以是云网关服务器间传输的信息。流属性可以是数据流的类型,按照数据流对应的数据包类型的不同,流属性可以划分为视频流、文件流、企业资源计划(Enterprise Resource Planning,ERP)流等。机器学习模块可以是使用海量数据流训练生成,可以判断处不同数据流的流属性,例如,可以截取报文固定长度的有效载荷作为待分类的样本序列;基于熵的特征提取算法提取样本序列的特征向量;将特征向量输入预先训练好的机器学习模型识别数据流的流属性。
具体的,可以由云网关服务器采集数据流并上传到流量管理节点,该云网关服务器可以是网络中的传输节点,该传输节点可以与流量管理节点直接进行通信链路质量信息的交互,流量管理节点在获取到数据流后,可以将提取数据流的固定长度的有效载荷作为样本序列,并根据熵的特征提取算法获取该样本序列的特征向量,可以将该特征向量输入到预先训练的机器学习模型,识别出数据流的流属性。
步骤220、根据流属性确定流加速策略下发到云网关服务器以使云网关服务器存储流加速策略。
在本发明实施例中,可以针对流属性将数据流进行划分,可以针对不同流属性的数据流采取不同的加速策略,流量管理节点确定出数据流的流属性后,可以根据预先设置的流属性与流加速策略的对应关系选择出对应的流加速策略,可以将该流加速策略下发到云网关服务器,可以由云网关服务器存储该流加速策略以便后续的数据流加速。
示例性的,图3是本发明实施例二提供的一种流加速策略确定的示例图,参见图3,云网关服务器A和云网关服务器B之间建立了多条会话Session,A在采集窗口内拷贝对应各会话Session的数据流载荷,并将上述数据流载荷上传到流量管理节点;流量管理节点使用预先训练好的机器学习模型识别数据流的流属性;根据流属性选择对应的流加速测试分别下发到云网关服务器A和B,使得云网关服务器A和B可以在不同会话Session中使用对应的加速策略进行数据流加速。
步骤230、确定各云网关服务器对应的探测路径。
其中,探测路径可以是连接云网关服务器的通信路径,该通信路径可以被流量管理节点探测通信质量,探测路径可以在流量管理节点自动生成或者由管理员指定,探测路径可以由一个或者多个通信节点组成,该探测路径两端的节点可以分别为云网关服务器。
具体的,在流量管理节点可以根据需要管理的云网关服务器确定需要进行通信链路质量探测的探测路径,该探测路径可以自动生成或者管理员指定,每对云网关服务器之间的探测路径可以为一条或者多条。
步骤240、定时下发网络探测报文到各云网关服务器,以使各云网关服务器按照探测路径获取通信链路质量。
其中,网络探测报文可以是探测云网关服务器的通信链路质量的报文,图4是本发明实施例二提供的一种网络探测报文的结构示意图,参见图4,网络探测报文可以包括源节点、目的节点以及探测路径。
在本发明实施例中,流量管理节点可以定时向云网关服务器发送网络探测报文,云网关服务器在获取到网络探测报文后,可以采集本地的通信链路质量信息,例如,带宽、时延和丢包等信息。在一个作为转发节点的云网关服务器采集通信链路质量后,可以将网络探测报文沿探测距离继续发送到下一个转发节点,在该转发节点处继续采集通信链路质量,直到获取到整个探测路线对应的通信链路质量。可以理解的是,可以由作为末端的云网关服务器将通信链路质量反馈到流量管理节点。
在一个示例性的实施方式中,图5是本发明实施例二提供的一种通信链路质量探测的示例图,参见图5,流量管理节点可以针对云网关服务器间的不同探测路径下发不同的探测报文;探测报文可以沿探测路径逐节点的发送,每当一个云网关服务器接收到探测报文时,获取本地的带宽、时延和负载等信息作为通信链路质量添加到探测报文中,当探测报文达到探测路径的目标节点时,可以将添加由通信链路质量的探测报文重新反馈到流量管理节点,以使得流量管理节点可以获取到探测路径对应的通信链路质量。
步骤250、确定通信链路质量满足开启加速条件,则下发加速开启配置到云网关服务器以使云网关服务器根据流加速策略进行数据流加速。
其中,开启加速条件可以是控制云网关服务器进行数据流加速的条件,可以包括通信链路质量的开启临界值,当通信链路质量小于或者等于该开启临界值时,可以控制云网关服务器进行数据流加速,开启加速条件中的开启临界值的具体取值可以通过实验确定。
具体的,可以判断通信链路质量是否满足开启加速条件,若满足,则流量管理节点可以向云网关服务器发送加速开启配置,使得云网关服务器可以根据该加速开启配置触发数据流加速,在云网关服务器中可以数据流根据预先存储的流加速策略进行加速,例如,云网关服务器中的非加密压缩流,按照报文分组进行压缩,使得传输的数据流具有更高的带宽效果。
步骤260、确定通信链路质量满足关闭加速条件,则下发加速关闭配置到云网关服务器以使云网关服务器停止进行数据流加速。
其中,关闭加速条件可以是控制作为转发节点的云网关服务器停止数据流加速的条件,可以包括通信链路质量的关闭临界值,当通信链路质量大于该关闭临界值时,可以控制云网关服务器停止数据流加速,关闭加速条件中的关闭临界值的具体取值可以通过实验确定。
在本发明实施例中,当流量管理节点获取到的通信链路质量符合关闭加速条件时,流量管理节点可以向云网关服务器发送加速关闭配置,使得云网关服务器停止进行数据流加速。
本发明实施例,通过实验机器学习模型处理云网关服务器上传的数据流,确定出数据流对应的流属性,按照流属性确定流加速策略下发到云网关服务器进行存储,确定云网关服务器的探测路径,并按照该探测路径定时获取云网关服务器间的通信链路质量,基于开启加速条件或关闭加速条件控制云网关服务器进行数据流加速或者停止数据流加速,其中,数据流加速按照云网关服务器存储的加速策略执行,提高了通信链路质量监测能力,可以应对突发的流量变化,自适应调整加速策略,提高了云网关服务器间数据流传输的安全性。
实施例三
图6是本发明实施例三提供的一种数据流加速方法的流程图,本实施例可适用于广域网间数据流传输的情况,该方法可以由数据流加速装置来执行,该装置可以采用硬件和/或软件的方式来实现,一般可以集成在云网关服务器,参见图6,本发明实施例提供的方法具体可以包括如下步骤:
步骤310、根据流量管理节点触发通信链路质量探测。
在本发明实施例中,流量管理节点可以向云网关服务器传输控制信息以触发通信链路质量探测,例如,流量管理节点可以根据需要探测的云网关服务器生成网络探测报文,可以将该网络探测报文发送到云网关服务器。云网关服务器在接收到该网络探测报文后,可以对本地的带宽、时延、负载和丢包等信息进行采集,实现通信链路质量的探测。
步骤320、获取流量管理节点根据通信链路质量生成的加速触发信息。
其中,加速触发信息可以是触发云网关服务器进行数据流加速的控制信息,加速触发信息具体可以是通信报文。
在本发明实施例中,可以云网关服务器可以监听流量管理节点下发的加速触发信息,判断是否开始进行数据流加速。
步骤330、基于加速触发信息按照预先存储的流加速策略进行数据流加速。
具体的,云网关服务器在获取到加速触发信息时,可以执行数据流加速相应的步骤,可以获取到预先存储的流加速策略,按照对应的流加速策略对本地的数据流进行处理,实现数据流传输的加速。示例性的,流加速策略包括报文分组压缩技术,专线加速、多路隧道复用等,其中,报文分组压缩技术属于传输加速,而专线和隧道复用技术属于网络加速,这几种加速方式可以独立工作也可以叠加工作,这取决于数据流的流属性和云网关服务器的工作负荷。其中报文分组压缩技术针对非加密压缩流具有较好的加速效果,压缩比可达3:1,加速流经过100Mb的带宽效果等同于300Mb带宽。跨云网关间的通信线路有普通的Internet和专线两种。互联网公网由于网络质量不确定且动态变化,适合传输一些视频流、语音流等一些对线路质量不敏感的用户数据包协议(User Datagram Protocol,UDP)流;专线通信质量和安全性有保证,更适合传输一些重要的企业信息流,如办公流量、数据库读写流量等。云网关服务器可以根据本地的数据流的流属性选择对应的流加速策略进行数据流加速。
本发明实施例,通过流量管理节点触发通信链路质量探测,并在接收流量管理节点发送的加速触发信息,其中,加速触发信息基于通信链路质量生成,基于加速触发信息和预先存储的流加速策略进行数据流加速,实现广域网间数据流的快速传输,提高网络结构的自适应性,实现数据流的准确监控,提高数据流传输的安全性。
实施例四
图7是本发明实施例三提供的另一种数据流加速方法的流程图,本发明实施例是在上述发明实施例的基础上的具体化,参见图7,本发明实施例提供的方法具体还包括如下步骤:
步骤410、获取流量管理节点定时下发的网络探测报文。
在本发明实施例中,流量管理节点可以定时向云网关服务器发送网络探测报文,云网关服务器在获取到网络探测报文后,可以采集本地的通信链路质量信息,例如,带宽、时延和丢包等信息。该网络探测报文可以是探测云网关服务器的通信链路质量的报文,网络探测报文中可以包括源节点、目的节点以及探测路径。可以理解的是,若一个云网关服务器不直接与流量管理节点进行数据交互时,流量管理节点定时下发的流量网络探测报文可以由其他云网关服务器转发到当前的云网关服务器。
步骤420、获取本地通信链路质量信息并将本地通信链路质量信息添加到网络探测报文。
其中,本地通信链路质量可以是云网关服务器本地的通信链路的信息,可以包括带宽、时延和丢包等信息。
具体的,作为转发节点的云网关服务器在接受到网络探测报文后,可以采集当前的带宽、时延和丢包等信息,可以将采集到的信息填充到网络探测报文中。示例性的,图8是本发明实施例四提供的一种填充本地通信链路质量的网络探测报文的结构示意图,参见图8,当网络探测报文沿探测路径A-C-B到达云网关服务器B后,网络探测报文可以分别在云网关服务器A、C和B根据对应的本地通信链路质量进行填充,网络探测报文中可以包含有探测路径的通信链路质量。
步骤430、判断网络探测报文对应的探测路径是否存在下一节点,若是,则将网络探测报文传输到下一节点进行通信链路质量探测,若否,则将网络探测报文反馈给流量管理节点。
在本发明实施例中,网络探测报文的探测路径可以由一个或者多个节点组成,若网络探测报文还没有到达探测路径的最后一个节点,可以将网络探测报文继续沿探测路径进行传输,在下一节点中进行通信链路质量的探测,重复上述过程,直到达到网络探测报文的探测路径的最后一个节点,当网络探测报文达到探测路径中最后一个节点时,此时探测路径中不存在下一节点,网络探测报文完成对探测路径的通信链路质量探测,可以将包含有通信链路质量的网络探测报文反馈到流量管理节点。
步骤440、获取流量管理节点根据通信链路质量生成的加速触发信息。
步骤450、基于加速触发信息确定是否存在预先存储的流加速策略;若存在,则按照流加速策略进行数据流加速;若不存在,则采集数据流发送到所述流量管理节点以获取对应的流加速策略,并根据流加速策略进行数据流加速。
具体的,在获取到加速触发信息时,云网关服务器可以在本地查找预先存储的流加速策略,若存在,则直接按照流加速策略对应的方式进行数据流加速,若不存在,需要在云网关服务器采集数据流,并将采集到的数据流发送到流量管理节点,使得流量管理节点对该数据流进行分析识别确定出对应的流属性,可以在流量管理节点按照流属性确定对应的流加速策略,并下发到云网关服务器,云网关服务器根据下发的流加速策略进行数据流加速,进一步的,还可以将下发的流加速策略进行存储,方便后续进行数据流加速。
本发明实施例,通过采集流量管理节点定时下发的网络探测报文,确定本地通信链路质量并添加到网络探测报文,获取网络探测报文中探测路径的下一节点,并发送该网络探测报文到下一节点进行通信链路质量探测,若当前的云网关服务器是探测路径的末端节点,则将网络探测报文反馈到流量管理节点,云网关服务器获取流量管理节点根据通信链路质量生成的加速触发信息,判断是否存在预先存储的流加速策略,若存在,则按照流加速策略进行数据流加速,否则,采集数据流上传到流量管理节点以获取流加速策略进行数据流加速,实现了云网关服务器间数据流的快速传输,提高网络结构的自适应性,实现数据流的准确监控,提高数据流传输的安全性。
进一步的,在上述发明实施例的基础上,所述流加速策略至少包括以下一种:若所述数据流为非加密压缩流,使用报文分组压缩技术处理所述数据流;若所述数据流为视频流、语音流中至少一种,使用至少一条公网线路并行传输所述数据流;若所述数据流为企业信息流,使用专线传输所述数据流。
在本发明实施例中,可以流加速策略按照属性粒度进行细分,对于属于不同属性的数据流采用不同的加速方式,由于非加秘密压缩流可以通过报文分组压缩技术进行处理,提高数据流的压缩比,例如,当压缩比为3:1时,加速流经过100Mb的带宽等于300Mb的带宽效果。由于因特网公网由于网络质量部确定且存在动态变化的情况,适合传输视频流、语音流等对线路质量不敏感的数据流。而对于传输重要信息的企业信息流,如办公流量、数据库读写流量等,可以使用专线进行传输,在提高数据流传输效率的基础上增强传输安全性。
进一步的,在上述发明实施例的基础上,所述数据流加速对应的传输隧道包括至少一条。
具体的,数据流在进行流加速时使用的传输隧道可以存在一条或者多条,可以通过调度算法提高云网关服务器间的带宽,当其中一条隧道失效时,调度算法可以将流量切换到其余有效线路上,待线路恢复时再切回。调度算法可以是基于连接的平均分配法,保证同一连接的包走相同隧道;也可以是带宽优先分配法,即总是将数据包优先发给带宽大的隧道,如果该隧道没有缓冲区,就找下一条隧道。
实施例五
图9是本发明实施例五提供的一种数据流加速装置的结构示意图,可执行本发明任意实施例所提供的数据流加速方法,具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现,一般集成在流量管理节点,具体包括:通信探测模块501和加速控制模块502.
通信探测模块501,用于确定至少两个云网关服务器之间的通信链路质量。
加速控制模块502,根据所述通信链路质量控制所述云网关服务器根据预先存储的流加速策略进行数据流加速。
本发明实施例,通过通信探测模块确定云网关服务器之间的通信链路质量,加速控制模块根据该通信链路质量对云网关服务器的数据流加速进行控制,使得云网关服务器基于预先存储的流加速策略进行数据流加速,本发明实施例通过流量管理节点按照通信链路质量控制云网关服务器进行数据流加速,实现了广域网间数据流的快速传输,可提高网络结构的自适应性,实现数据流的准确监控,能够提高数据流传输的安全性。
进一步的,在上述发明实施例的基础上,所述通信探测模块501包括:
路径确定单元,用于确定各所述云网关服务器对应的探测路径。
报文探测单元,用于定时下发网络探测报文到各所述云网关服务器,以使各所述云网关服务器按照所述探测路径获取通信链路质量。
进一步的,在上述发明实施例的基础上,所述通信探测模块501中的通信链路质量至少包括带宽信息、时延信息和丢包信息中一种。
进一步的,在上述发明实施例的基础上,所述加速控制模块502包括:
加速开启单元,用于确定通信链路质量满足开启加速条件,则下发加速开启配置到所述云网关服务器以使所述云网关服务器根据所述流加速策略进行数据流加速。
加速关闭单元,用于确定通信链路质量满足关闭加速条件,则下发加速关闭配置到所述云网关服务器以使所述云网关服务器停止进行数据流加速。
进一步的,在上述发明实施例的基础上,所述装置还包括:
属性识别模块,用于获取云网关服务器上传的数据流,并根据预先训练的机器学习模型确定所述数据流的流属性。
策略下发模块,用于根据所述流属性确定流加速策略下发到所述云网关服务器以使所述云网关服务器存储所述流加速策略。
实施例六
图10是本发明实施例六提供的另一种数据流加速装置的结构示意图,可执行本发明任意实施例所提供的数据流加速方法,具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现,一般集成在云网关服务器,具体包括:探测执行模块601、加速获取模块602和加速执行模块603。
探测执行模块601,用于根据流量管理节点触发通信链路质量探测。
加速获取模块602,用于获取所述流量管理节点根据所述通信链路质量生成的加速触发信息。
加速执行模块603,用于基于所述加速触发信息按照预先存储的流加速策略进行数据流加速。
本发明实施例,通过探测执行模块根据流量管理节点触发通信链路质量探测,加速获取模块接收流量管理节点发送的加速触发信息,其中,加速触发信息基于通信链路质量生成,加速执行模块基于加速触发信息和预先存储的流加速策略进行数据流加速,实现广域网间数据流的快速传输,提高网络结构的自适应性,实现数据流的准确监控,提高数据流传输的安全性。
进一步的,在上述发明实施例的基础上,所述探测执行模块601包括:
报文获取单元,用于获取所述流量管理节点定时下发的网络探测报文。
质量获取单元,用于获取本地通信链路质量并将所述本地通信链路质量信息添加到所述网络探测报文。
报文传输单元,用于判断所述网络探测报文对应的探测路径是否存在下一节点,若是,则将所述网络探测报文传输到下一节点进行通信链路质量探测,若否,则将所述网络探测报文反馈给所述流量管理节点。
进一步的,在上述发明实施例的基础上,所述加速执行模块603具体用于:基于所述加速触发信息确定是否存在预先存储的流加速策略;若存在,则按照所述流加速策略进行数据流加速;若不存在,则采集数据流发送到所述流量管理节点以获取对应的流加速策略,并根据所述流加速策略进行数据流加速。
进一步的,在上述发明实施例的基础上,所述装置中据流加速对应的传输隧道包括至少一条。
在一个示例性的实施方式中,图11是本发明实施例六提供的一种数据流加速装置的示例图,参见图11,流量管理节点实时识别上送流报文的加速策略,并将加速策略下发至两端云网关服务器部署的数据流加速装置。数据流加速装置依据加速策略,对数据流做加速处理。在传输压缩层,实施加速时数据流加速装置通过netfilter-que机制,将待加速报文从内核拷贝至用户态,分析报文的五元组信息,获得流管理索引。流管理模块负责将同一条流的数据报文绑定到同一个CPU上做压缩处理,多条数据流可以在多个CPU上并行加速,每个CPU上都会维护一个压缩和解压缓冲区,可以优化竞争和平均系统开销。在网络加速层,主要依赖多条隧道同时传输不同数据流。具体可以使用wireguard VPN里的bond接口,可以将多条隧道绑定使用,大大提升了两云网关服务器间WAN带宽。如图11,在WAN加速云网关上,部署了用户态加速程序,负责设备上网卡传输性能监控;接收管理节点发送的控制命令;数据流报文上送管理节点;传输层报文压缩加速;网络层隧道bond口加速。
传输层报文压缩加速步骤如下:1)内核会在ip协议栈出口处调用PRE_ROUTING钩子过滤ip报文;2)命中传输加速流,会将报文上送至用户态加速程序;3)加速程序压缩报文分组后,写入内核;4)内核协议栈继续处理该报文,进入wireguard VPN,wireguard查询该报文所属流是否需要网络层加速;5)需要网络层加速,则进入wireguard bond口进行多路隧道加速。
实施例七
图12是本发明实施例七提供的一种电子设备的结构示意图,如图12所示,该电子设备包括处理器70、存储器71、输入装置72和输出装置73;电子设备中处理器70的数量可以是一个或多个,图12中以一个处理器70为例;电子设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接,图12中以通过总线连接为例。
存储器71作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据流加速方法对应的程序指令/模块(例如,数据流加速装置中的通信探测模块501和加速控制模块502或者探测执行模块601、加速获取模块602和加速执行模块603)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的数据流加速方法。
存储器71可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器71可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器71可进一步包括相对于处理器70远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
实施例八
本发明实施例八还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种数据流加速方法,该方法包括:
确定至少两个云网关服务器之间的通信链路质量;
根据所述通信链路质量控制所述云网关服务器根据预先存储的流加速策略进行数据流加速。
或者,
根据流量管理节点触发通信链路质量探测;
获取所述流量管理节点根据所述通信链路质量生成的加速触发信息;
基于所述加速触发信息按照预先存储的流加速策略进行数据流加速。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据流加速方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述数据流加速装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据流加速方法,其特征在于,应用于流量管理节点,包括:
确定至少两个云网关服务器之间的通信链路质量;
根据所述通信链路质量控制所述云网关服务器根据预先存储的流加速策略进行数据流加速;
其中,所述确定至少两个云网关服务器之间的通信链路质量,包括:
确定各所述云网关服务器对应的探测路径;
定时下发网络探测报文到各所述云网关服务器,以使各所述云网关服务器按照所述探测路径获取通信链路质量;
在一个作为转发节点的云网关服务器采集通信链路质量后,将网络探测报文继续发送到下一个转发节点,末端的云网关服务器将通信链路质量反馈到流量管理节点。
2.根据权利要求1所述的方法,其特征在于,所述通信链路质量至少包括带宽信息、时延信息和丢包信息中一种。
3.根据权利要求1所述的方法,其特征在于,所述根据所述通信链路质量控制所述云网关服务器根据预先配置的流加速策略进行数据流加速,包括:
确定通信链路质量满足开启加速条件,则下发加速开启配置到所述云网关服务器以使所述云网关服务器根据所述流加速策略进行数据流加速;
确定通信链路质量满足关闭加速条件,则下发加速关闭配置到所述云网关服务器以使所述云网关服务器停止进行数据流加速。
4.根据权利要求1所述的方法,其特征在于,还包括:
获取云网关服务器上传的数据流,并根据预先训练的机器学习模型确定所述数据流的流属性;
根据所述流属性确定流加速策略下发到所述云网关服务器以使所述云网关服务器存储所述流加速策略。
5.一种数据流加速方法,其特征在于,应用于云网关服务器,包括:
根据流量管理节点触发通信链路质量探测;
获取所述流量管理节点根据所述通信链路质量生成的加速触发信息;
基于所述加速触发信息按照预先存储的流加速策略进行数据流加速;
其中,所述根据流量管理节点触发通信链路质量探测,包括:
获取所述流量管理节点定时下发的网络探测报文;
获取本地通信链路质量信息并将所述本地通信链路质量信息添加到所述网络探测报文;
判断所述网络探测报文对应的探测路径是否存在下一节点,若是,则将所述网络探测报文传输到下一节点进行通信链路质量探测,若否,则将所述网络探测报文反馈给所述流量管理节点。
6.根据权利要求5所述的方法,其特征在于,所述基于所述加速触发信息按照预先存储的流加速策略进行数据流加速,包括:
基于所述加速触发信息确定是否存在预先存储的流加速策略;
若存在,则按照所述流加速策略进行数据流加速;
若不存在,则采集数据流发送到所述流量管理节点以获取对应的流加速策略,并根据所述流加速策略进行数据流加速。
7.根据权利要求6所述的方法,其特征在于,所述流加速策略至少包括以下一种:
若所述数据流为非加密压缩流,使用报文分组压缩技术处理所述数据流;
若所述数据流为视频流、语音流中至少一种,使用至少一条公网线路并行传输所述数据流;
若所述数据流为企业信息流,使用专线传输所述数据流。
8.根据权利要求5-6中任一所述的方法,其特征在于,所述数据流加速对应的传输隧道包括至少一条。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4或5-8中任一所述的数据流加速方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4或5-8中任一所述的数据流加速方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011593971.3A CN112671662B (zh) | 2020-12-29 | 2020-12-29 | 数据流加速方法、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011593971.3A CN112671662B (zh) | 2020-12-29 | 2020-12-29 | 数据流加速方法、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112671662A CN112671662A (zh) | 2021-04-16 |
CN112671662B true CN112671662B (zh) | 2023-04-18 |
Family
ID=75411912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011593971.3A Active CN112671662B (zh) | 2020-12-29 | 2020-12-29 | 数据流加速方法、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112671662B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115314945B (zh) * | 2022-08-22 | 2024-06-21 | 中国联合网络通信集团有限公司 | 一种业务处理方法、装置、服务器及存储介质 |
CN115942433B (zh) * | 2022-11-04 | 2023-10-03 | 北京水脉科技有限公司 | 基于5g网络云服务的加速方法和设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7873060B2 (en) * | 2008-10-18 | 2011-01-18 | Fortinet, Inc. | Accelerating data communication using tunnels |
CN102571552B (zh) * | 2010-12-31 | 2015-04-22 | 中国移动通信集团公司 | 网关拥塞调控方法及系统、网关、网元 |
CN202160197U (zh) * | 2011-08-11 | 2012-03-07 | 武汉思为同飞网络技术有限公司 | 一种基于广域网vpn加速网关的加速通信装置 |
CN105429899A (zh) * | 2015-11-25 | 2016-03-23 | 广东亿迅科技有限公司 | 一种网关设备的宽带提速控制系统及方法 |
CN105897617A (zh) * | 2016-03-30 | 2016-08-24 | 中国联合网络通信集团有限公司 | 下挂设备带宽调速方法及其系统、网络系统 |
CN105847089A (zh) * | 2016-05-23 | 2016-08-10 | 江苏有线技术研究院有限公司 | 基于广电ipqam的网络自适应智能加速系统及方法 |
CN108933683B (zh) * | 2017-05-23 | 2021-09-28 | 中国电信股份有限公司 | 网络加速感知方法、装置和系统 |
CN110233937B (zh) * | 2019-07-30 | 2021-06-25 | 腾讯科技(深圳)有限公司 | 一种数据传输方法、装置、设备及存储介质 |
-
2020
- 2020-12-29 CN CN202011593971.3A patent/CN112671662B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112671662A (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10511522B2 (en) | Methods and systems for evaluating network performance of and transmitting packets through an aggregated connection | |
CN109792621B (zh) | 用于评估聚合的连接的网络性能的方法和系统 | |
CN111682952B (zh) | 针对体验质量度量的按需探测 | |
EP3278514B1 (en) | Data transmission | |
US9967188B2 (en) | Network traffic flow management using machine learning | |
CN108092888B (zh) | 一种基于Overlay网络的传输方法、网关及传输系统 | |
US8149705B2 (en) | Packet communications unit | |
US7525919B2 (en) | Packet communication method with increased traffic engineering efficiency | |
US20150063349A1 (en) | Programmable switching engine with storage, analytic and processing capabilities | |
CN112788060B (zh) | 数据包传输方法和装置、存储介质和电子设备 | |
CN111314179B (zh) | 网络质量检测方法、装置、设备和存储介质 | |
CN112671662B (zh) | 数据流加速方法、电子设备和存储介质 | |
US20220247650A1 (en) | Network device measurements employing white boxes | |
Luo et al. | Enhancing responsiveness and scalability for OpenFlow networks via control-message quenching | |
CN109088822B (zh) | 数据流量转发方法、装置、系统、计算机设备及存储介质 | |
CN111682989A (zh) | 一种端口链路状态的检测方法、设备及系统 | |
Hussein et al. | SDN for MPTCP: An enhanced architecture for large data transfers in datacenters | |
CN107222403A (zh) | 一种数据传输方法、系统和电子设备 | |
CN116233256A (zh) | 调度路径配置方法、装置、设备及存储介质 | |
CN106656807A (zh) | 一种报文转发方法及sdn交换机 | |
EP2996291B1 (en) | Packet processing method, device, and system | |
Girry et al. | Reducing congestion in the tor network with circuit switching | |
Zhang et al. | Admission control in software-defined datacenter network in view of flow table capacity | |
US10805219B2 (en) | Methods and systems for evaluating network performance of an aggregated connection | |
CN107222299A (zh) | 一种数据传输方法、系统和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |