CN109067668B - 基于智能均衡分配的全球网络加速链路构建方法 - Google Patents
基于智能均衡分配的全球网络加速链路构建方法 Download PDFInfo
- Publication number
- CN109067668B CN109067668B CN201811091576.8A CN201811091576A CN109067668B CN 109067668 B CN109067668 B CN 109067668B CN 201811091576 A CN201811091576 A CN 201811091576A CN 109067668 B CN109067668 B CN 109067668B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- bandwidth
- actual
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明为基于智能均衡分配的全球网络加速链路构建方法,其包含高效率秒级全球节点间传输链路智能分配机制;支持对使用者产生的数据流量目的地和出发地需求,在全球部署的大量服务器节点中分配相应链路并最优化传输途径,并对数据进行压缩和加速传输;使网络通讯信道能够较为充分的被优化利用;使得动态预估、寻找两点间最优化信道得以实现;较大程度上降低丢包率。
Description
技术领域
本发明涉及智能数据传输技术领域,具体的,其展示一种基于智能均衡分配的全球网络加速链路构建方法。
背景技术
现行点对点数据传输加速服务通常在两点间部署服务器,利用两点间服务器内搭载的互联网数据传输协议进行数据传输。
由于各地区不同时段网络带宽压力差异较大,数据包往往不能通过网络压力较少、信号噪音较低的路径到达目标服务器,影响信号传输速度。
因此,有必要提供一种基于智能均衡分配的全球网络加速链路构建方法来解决上述问题。
发明内容
本发明的目的是提供一种基于智能均衡分配的全球网络加速链路构建方法。
技术方案如下:
一种基于智能均衡分配的全球网络加速链路构建方法,步骤为:
1)通过RTT进行网络信号传输的度量,由于各信道噪音的存在,实际RTT为:
RTT实际值=RTT理论值+η
其中η表示链路信号噪声;
2)代入信号传输率:
3)基于该公式(1),表示理想化窗口大小:
Br=Max(DR)(2)
4)网络实际理论窗口最优大小受各节点间信号传输率影响,因此,远距离间两点a、b,途径路由节点c,实际最大窗口大小可由公式(1)、(2)联立得出:
5)进行自动化信号传输率寻找机制设定:
5-1)历史多信道压力数据因子数据分析:
5-1-4)对全网内部署各服务器节点间数据进行最大带宽探测;并将探测结果以五分钟为颗粒度进行规约平均;
5-1-5)带宽检测结果依分钟为颗粒度,按自然日为规约项进行二次规约:
5-1-6)将规约后的数据存入数据库作为历史数据影响因子;
5-2)实时多信道压力数理统计;
5-3)基于历史数据统计和实时压力探测的动态链路选择算法:
5-3-1)基于充分考虑历史带宽数据、充分使用不只一个颗粒的实时压力估计、各实时压力估计值之间应予以权限分配三点,表示两个节点中实际窗口带宽:
5-3-2)α、β及γn的参数取值并非固定值,而是根据每天各时段用户实际线路使用综合带宽综合之均值进行动态调节;调节步骤如下:α、β默认初始值各为1,n取5,γ1至γn分别为:1.8、1.3、1、0.7、0.2;服务运行后,根据实际所有该时段用户分摊至各节点的平均窗口大小估算平均带宽,将平均实际值与公式5中的预测值进行比对,从而调整α、β的值,调整方法使用类决策树的信息熵计算方法;
5-4)系统经过一段时间运行后即进入参数变化较为稳定的平衡状态。每当有用户建立两点间数据连接,系统即利用时段内各数据节点间的网络窗口带宽估算值为其计算两点间最优线路,经由最优线路实现网络请求转发。
进一步的,步骤5-1-1)中,颗粒度设为五分钟为经筛选1分钟、3分钟、5分钟、10分钟等颗粒度后,由10组交叉检验(Cross-validation)后得出的最优颗粒度。
进一步的,步骤5-1)中,实际单日5分钟颗粒度的最大带宽BrΔt,day n的测量由多台云服务器共同完成,其过程如下:
K1)每五分钟伊始,中央主控服务器停止上一轮测量,在接受各服务器上传数据后,调取各服务器内存、CPU、带宽占用率情况,并分别对各地区带宽率、CPU、内存占用情况进行地区内分项目排名;
K2)去服务器较为空闲的10%的服务器参与测试,若该地区服务器数量不足20台,取2台进行测试;
K3)主控服务器向各测试服务器发送数据采集指令,并等待各测试服务器数据反馈。
进一步的,步骤5-2)具体为:历史数据检测能总体上反映每天各时段各地区之间网络信道的通讯延时及带宽压力,然而由于实际网络带宽往往受到节假日、新闻事件、突发事件等情况影响,历史数据无法准确地对实时网络状态进行评价;除历史数据外,每个路径节点的部分中转服务器实时记录各节点间带宽。由于实时测量需要与线上用户使用的服务器集群共用服务,主控服务器仅筛选各节点两个压力较小的服务器同时对其他各节点进行数据压力测试;测试颗粒度为1分钟,从而更细致地刻画各地区间网络带宽等数据的实时情况。
进一步的,步骤5-3-1)中为了保证各实际测量值数据能有效汇总并为主控服务器预留充足的线路分配计算时间,实际估计值采取提前两个节点起列入计算。即对t时刻节点间带宽综合估算的BBR起始于BRRt-2而非BRRt-1或BRRt。
进一步的,5-3-2)中,以α为例,包括:
信息(样例)分拆:
计算信息增益率:
其中,信息增益计算方式同传统决策树算法ID3:
gain(A)=info(D)-infoA(D)。
具体实施方式
实施例:
本实施例展示一种基于智能均衡分配的全球网络加速链路构建方法:
网络信号传输延时主要可以通过RTT(数据往返时延、Round-Trip Time)进行度量,而实际情况中,由于各信道噪音的存在实际RTT可由以下公式表示:
RTT实际值=RTT理论值+η
其中η表示链路信号噪声。
实际过程中,信号传输延时往往受信道压力影响。而对于适用于远程数据传输的网络协议而言,理想化的网络传输协议应能达到网络信道带宽瓶颈,并始终使用该瓶颈窗口大小进行数据传输。
网络数据传输算法在寻找最理想窗口时,需要先行计算某时段内信号传输率。信号传输率可表示如下:
其中,Num(D)表示接受成功的数据量,DR表示数据传输率。而基于该公式,理想化窗口大小可由一下公式表示:
Br=Max(DR)(2)
其中Br代表理想化窗口大小,DR表示信号传输率。
然而,各线路间的网络传输压力受时间、工作习惯、突发事件等情况影响,传统的网络数据加速协议未就网络链路选择进行算法规划,而实际网络传输过程中,两点,特别是远距离状态下两点间信号传输往往有多重链路线路可行,仅将数据通过默认路由线路转发并未考虑各线路间实际、实时的网络压力。
对于远距离间两点a、b,途径路由节点c,实际最大窗口大小可由公式(1)、(2)联立得出:
因此,网络实际理论窗口最优大小受各节点间信号传输率影响。
继而进行自动化信号传输率寻找机制的设定,具体为:
历史多信道压力数据因子数据分析:
包括:基于历史各信道信号嗅探结果数据仓库和根据历史数据生成信道压力数据因子的机器学习算法,算法步骤如下:
A)对全网内部署各服务器节点间数据进行最大带宽探测。并将探测结果以五分钟为颗粒度进行规约平均;
A-1)带宽检测结果依分钟为颗粒度,按自然日为规约项进行二次规约:
A-2)将规约后的数据存入数据库作为历史数据影响因子;
颗粒度设为五分钟为经筛选1分钟、3分钟、5分钟、10分钟等颗粒度后,由10组交叉检验(Cross-validation)后得出的最优颗粒度。
B)线路间最大带宽测量会受到测试服务器性能、测试服务器与主服务器统计数据上传带宽占用、服务器其他进程网络数据占用等影响而有所差异。因此,实际单日5分钟颗粒度的最大带宽BrΔt,day n的测量由多台云服务器共同完成,其过程如下:
B-1)每五分钟伊始,中央主控服务器停止上一轮测量,在接受各服务器上传数据后,调取各服务器内存、CPU、带宽占用率情况,并分别对各地区带宽率、CPU、内存占用情况进行地区内分项目排名;
B-2)去服务器较为空闲的10%的服务器参与测试,若该地区服务器数量不足20台,取2台进行测试;
B-3)主控服务器向各测试服务器发送数据采集指令,并等待各测试服务器数据反馈。
实时多信道压力数理统计:
历史数据检测能总体上反映每天各时段各地区之间网络信道的通讯延时及带宽压力,然而由于实际网络带宽往往受到节假日、新闻事件、突发事件等情况影响,历史数据无法准确地对实时网络状态进行评价。
除历史数据外,每个路径节点的部分中转服务器实时记录各节点间带宽。由于实时测量需要与线上用户使用的服务器集群共用服务,主控服务器仅筛选各节点两个压力较小的服务器同时对其他各节点进行数据压力测试。测试颗粒度为1分钟,从而更细致地刻画各地区间网络带宽等数据的实时情况。
基于历史数据统计和实时压力探测的动态链路选择算法:
实时线路状态数据反映能力较强,但由于参与服务器较少、波动性、偶然性较大。历史测量数据由于单颗粒规约数据较多,往往具有更强的稳定性和代表性。在生成链路选择算法过程中,需要给全部节点间网络压力进行加权估算,在估算过程中,应考虑如下几点:
加权估算应充分考虑历史带宽数据;
加权估算应充分使用不只一个颗粒的实时压力估计;
各实时压力估计值之间应予以权限分配。
基于以上三点,可推断出两个节点中实际窗口带宽估算公式如下:
其中:
BRHt为t时刻历史窗口带宽值;
BRRt-n为t时刻之前的第n个刻度上实际测量的网络窗口带宽;
α、β分别为历史值和实时数据所对应权重,γn为相应时间段(t-n-1)内平均带宽、n为实际值取样点格式。
需要注意的是,为了保证各实际测量值数据能有效汇总并为主控服务器预留充足的线路分配计算时间,实际估计值采取提前两个节点起列入计算。即对t时刻节点间带宽综合估算的BBR起始于BRRt-2而非BRRt-1或BRRt。
α、β及γn的参数取值并非固定值,而是根据每天各时段用户实际线路使用综合带宽综合之均值进行动态调节。调节步骤如下:
α、β默认初始值各为1,n取5,γ1至γn分别为:1.8、1.3、1、0.7、0.2。
服务运行后,根据实际所有该时段用户分摊至各节点的平均窗口大小估算平均带宽,将平均实际值与公式5中的预测值进行比对,从而调整α、β的值,调整方法使用类决策树的信息熵计算方法,以α为例:
信息(样例)分拆:
其中,D为总信息样例数量,Di表示状态为A的所有样例个数。
计算信息增益率:
其中,信息增益计算方式同传统决策树算法ID3:
gain(A)=info(D)-infoA(D)
β、γn的参数调节同α。
系统经过一段时间运行后即进入参数变化较为稳定的平衡状态。每当有用户建立两点间数据连接,系统即利用时段内各数据节点间的网络窗口带宽估算值为其计算两点间最优线路,经由最优线路实现网络请求转发。
本实施例使得网络通讯信道能够较为充分的被优化利用。使得动态预估、寻找两点间最优化信道得以实现。经实验,单日中欧间网络数据传输平均速率利用该方案可提升10%-30%左右,并能够较大程度上降低丢包率。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (6)
1.一种基于智能均衡分配的全球网络加速链路构建方法,其特征在于:步骤为:
1)通过RTT进行网络信号传输的度量,由于各信道噪音的存在,实际RTT为:
RTT实际值=RTT理论值+η
其中,η表示链路信号噪声;
2)代入信号传输率:
其中,Num(D)表示接收成功的数据量,ΔNum(D)为与Δt相除后的结果为平均信号传输率;
3)基于该公式(1),表示理想化窗口大小:
Br=Max(DR) (2)
4)网络实际理论窗口最优大小受各节点间信号传输率影响,因此,远距离间两点a、b,途径路由节点c,实际最大窗口大小可由公式(1)、(2)联立得出:
5)进行自动化信号传输率寻找机制设定:
5-1)历史多信道压力数据因子数据分析:
5-1-1)对全网内部署各服务器节点间数据进行最大带宽探测;并将探测结果以五分钟为颗粒度进行规约平均;
5-1-2)带宽检测结果依分钟为颗粒度,按自然日为规约项进行二次规约:
5-1-3)将规约后的数据存入数据库作为历史数据影响因子;
5-2)实时多信道压力数理统计;
5-3)基于历史数据统计和实时压力探测的动态链路选择算法:
5-3-1)基于充分考虑历史带宽数据、充分使用不只一个颗粒的实时压力估计、各实时压力估计值之间应予以权限分配三点,表示两个节点中实际窗口带宽:
BRHt指t时刻的实际刻度的值;
BRHt-2是指t-2时刻的实际刻度的值;
BRHt-n-1是指t时刻前n-1个实际刻度的值;
5-3-2)α、β及γn的参数取值并非固定值,而是根据每天各时段用户实际线路使用综合带宽综合之均值进行动态调节;调节步骤如下:α、β默认初始值各为1,n取5,γ1至γn分别为:1.8、1.3、1、0.7、0.2;服务运行后,根据实际所有该时段用户分摊至各节点的平均窗口大小估算平均带宽,将平均实际值与公式5中的预测值进行比对,从而调整α、β的值,调整方法使用类决策树的信息熵计算方法;
5-4)系统经过一段时间运行后即进入参数变化较为稳定的平衡状态,每当有用户建立两点间数据连接,系统即利用时段内各数据节点间的网络窗口带宽估算值为其计算两点间最优线路,经由最优线路实现网络请求转发。
2.根据权利要求1所述的一种基于智能均衡分配的全球网络加速链路构建方法,其特征在于:步骤5-1-1)中,颗粒度设为五分钟为经筛选1分钟、3分钟、5分钟、10分钟等颗粒度后,由10组交叉检验(Cross-validation)后得出的最优颗粒度。
3.根据权利要求2所述的一种基于智能均衡分配的全球网络加速链路构建方法,其特征在于:步骤5-1)中,实际单日5分钟颗粒度的最大带宽BrΔt,day n的测量由多台云服务器共同完成,其过程如下:
K1)每五分钟伊始,中央主控服务器停止上一轮测量,在接受各服务器上传数据后,调取各服务器内存、CPU、带宽占用率情况,并分别对各地区带宽率、CPU、内存占用情况进行地区内分项目排名;
K2)去服务器较为空闲的10%的服务器参与测试,若该地区服务器数量不足20台,取2台进行测试;
K3)主控服务器向各测试服务器发送数据采集指令,并等待各测试服务器数据反馈。
4.根据权利要求3所述的一种基于智能均衡分配的全球网络加速链路构建方法,其特征在于:步骤5-2)具体为:历史数据检测能总体上反映每天各时段各地区之间网络信道的通讯延时及带宽压力,然而由于实际网络带宽往往受到节假日、新闻事件、突发事件等情况影响,历史数据无法准确地对实时网络状态进行评价;除历史数据外,每个路径节点的部分中转服务器实时记录各节点间带宽,由于实时测量需要与线上用户使用的服务器集群共用服务,主控服务器仅筛选各节点两个压力较小的服务器同时对其他各节点进行数据压力测试;测试颗粒度为1分钟,从而更细致地刻画各地区间网络带宽等数据的实时情况。
5.根据权利要求4所述的一种基于智能均衡分配的全球网络加速链路构建方法,其特征在于:步骤5-3-1)中为了保证各实际测量值数据能有效汇总并为主控服务器预留充足的线路分配计算时间,实际估计值采取提前两个节点起列入计算,即对t时刻节点间带宽综合估算的BBR起始于BRRt-2而非BRRt-1或BRRt。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811091576.8A CN109067668B (zh) | 2018-09-19 | 2018-09-19 | 基于智能均衡分配的全球网络加速链路构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811091576.8A CN109067668B (zh) | 2018-09-19 | 2018-09-19 | 基于智能均衡分配的全球网络加速链路构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109067668A CN109067668A (zh) | 2018-12-21 |
CN109067668B true CN109067668B (zh) | 2022-03-04 |
Family
ID=64763093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811091576.8A Active CN109067668B (zh) | 2018-09-19 | 2018-09-19 | 基于智能均衡分配的全球网络加速链路构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109067668B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103716251A (zh) * | 2014-01-14 | 2014-04-09 | 三星电子(中国)研发中心 | 用于内容分发网络的负载均衡方法及设备 |
CN106100993A (zh) * | 2016-06-13 | 2016-11-09 | 北京容联易通信息技术有限公司 | 一种流媒体最优路由分发方法 |
US9680665B2 (en) * | 2014-04-24 | 2017-06-13 | Futurewei Technologies, Inc. | Apparatus and method for dynamic hybrid routing in SDN networks to avoid congestion and balance loads under changing traffic load |
CN107733796A (zh) * | 2017-02-07 | 2018-02-23 | 深圳臻云技术股份有限公司 | 一种择优路径计算方法及系统 |
CN107770097A (zh) * | 2016-08-19 | 2018-03-06 | 中兴通讯股份有限公司 | 一种网络传输加速方法及装置 |
CN108064439A (zh) * | 2017-10-17 | 2018-05-22 | 深圳前海达闼云端智能科技有限公司 | 一种网络路径优化方法、系统、控制服务端以及入网端 |
CN108307435A (zh) * | 2018-01-29 | 2018-07-20 | 大连大学 | 一种基于sdsin的多任务路由选择方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10116524B2 (en) * | 2016-02-29 | 2018-10-30 | Wesley Howard Jensen | Machine-learning optimization for computing networks |
-
2018
- 2018-09-19 CN CN201811091576.8A patent/CN109067668B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103716251A (zh) * | 2014-01-14 | 2014-04-09 | 三星电子(中国)研发中心 | 用于内容分发网络的负载均衡方法及设备 |
US9680665B2 (en) * | 2014-04-24 | 2017-06-13 | Futurewei Technologies, Inc. | Apparatus and method for dynamic hybrid routing in SDN networks to avoid congestion and balance loads under changing traffic load |
CN106100993A (zh) * | 2016-06-13 | 2016-11-09 | 北京容联易通信息技术有限公司 | 一种流媒体最优路由分发方法 |
CN107770097A (zh) * | 2016-08-19 | 2018-03-06 | 中兴通讯股份有限公司 | 一种网络传输加速方法及装置 |
CN107733796A (zh) * | 2017-02-07 | 2018-02-23 | 深圳臻云技术股份有限公司 | 一种择优路径计算方法及系统 |
CN108064439A (zh) * | 2017-10-17 | 2018-05-22 | 深圳前海达闼云端智能科技有限公司 | 一种网络路径优化方法、系统、控制服务端以及入网端 |
CN108307435A (zh) * | 2018-01-29 | 2018-07-20 | 大连大学 | 一种基于sdsin的多任务路由选择方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109067668A (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107070794B (zh) | 一种低轨信息网络最优网络效益时延约束路由方法 | |
US9577935B2 (en) | Unified congestion control for real-time media support | |
US10091675B2 (en) | System and method for estimating an effective bandwidth | |
CN109729017B (zh) | 一种基于dpi预测的负载均衡方法 | |
CN110177054B (zh) | 一种端口队列调度方法、装置、网络控制器及存储介质 | |
CN101674242B (zh) | 一种业务报文发送控制方法及装置 | |
CN106454414B (zh) | 一种多径网络实时视频传输方法 | |
CN102668471B (zh) | 对来自多个数据源的数据进行聚合的方法和设备 | |
CN103354528B (zh) | 多流同步方法及装置 | |
CN106161284B (zh) | 一种资源调度方法及系统 | |
CN109150756B (zh) | 一种基于sdn电力通信网的队列调度权值量化方法 | |
CN108337032A (zh) | 一种在sdsn中的时延测量偏差量化与时延预测的方法 | |
Koryachko et al. | Enhanced dynamic load balancing algorithm in computer networks with quality of services | |
CN101013955A (zh) | 用于业务量矩阵估计的快速模拟退火 | |
US11190430B2 (en) | Determining the bandwidth of a communication link | |
CN109067668B (zh) | 基于智能均衡分配的全球网络加速链路构建方法 | |
CN102546286A (zh) | 一种在线检测网络共享拥塞路径的方法 | |
CN106230661B (zh) | 网络数据延迟控制方法 | |
Noroozi et al. | A min-plus model of age-of-information with worst-case and statistical bounds | |
CN116193405B (zh) | 基于dona框架的异构v2x网络数据传输方法 | |
CN115037696B (zh) | 数据传输方法、装置、电子设备和存储介质 | |
CN115375109B (zh) | 一种基于数据规模的数据节点设施布设方法及系统 | |
Cui et al. | MM-ABR: an Enhanced ABR Algorithm with Multi-Metric Information for QUIC-based Video Streaming | |
CN106302222A (zh) | 一种IPv4/IPv6流量转换方法及系统 | |
CN117880206A (zh) | 一种物联网管理设备的负载平衡方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |