CN109842563A - 内容分发网络流量调度方法、装置和计算机可读存储介质 - Google Patents
内容分发网络流量调度方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109842563A CN109842563A CN201711186979.6A CN201711186979A CN109842563A CN 109842563 A CN109842563 A CN 109842563A CN 201711186979 A CN201711186979 A CN 201711186979A CN 109842563 A CN109842563 A CN 109842563A
- Authority
- CN
- China
- Prior art keywords
- node
- flow
- historical information
- information sequence
- content delivery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000012706 support-vector machine Methods 0.000 claims abstract description 11
- 238000009826 distribution Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 abstract description 2
- 230000001314 paroxysmal effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010020852 Hypertonia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009514 concussion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Abstract
本发明公开了一种内容分发网络流量调度方法、装置和计算机可读存储介质，涉及数据通信领域。网络流量调度方法包括：获取节点的历史信息序列，其中，历史信息序列包括历史预设时间段内的多个时刻对应的节点信息；采用节点的历史信息序列训练支持向量机回归模型；采用训练后的支持向量机回归模型预测待测时刻的节点信息；根据支持向量机回归模型输出的预测结果确定是否在待测时刻将流量调度到节点。由于网络中的流量变化往往不是呈线性变化的，而SVM模型适用于随时间非线性、多尺度的网络流量与回归预测，因此能够对网络流量进行准确的预测和调度，缓解了突发性的大量访问请求对节点造成的压力，提高了用户的使用体验。
Description
技术领域
本发明涉及数据通信领域，特别涉及一种内容分发网络流量调度方法、装置和计算机可读存储介质。
背景技术
随着互联网与视频直播业务的快速发展，使得网络中的数据量急剧膨胀，这就为内容分发网络(Content Delivery Network，简称：CDN)的调度可靠性提出了更高的要求。当用户向CDN节点请求内容时，节点间的负载均衡是衡量CDN能力的重要指标。
现有CDN节点间的调度策略，是将用户调度到最近的有内容的节点。但是，当某一时刻，产生了突发性网络流量、或者用户请求数量剧增时，CDN不能及时处理大量突发性用户请求，使得部分节点压力过高，造成CDN节点间的负载不均衡。因此，突发的高峰流量会造成网络堵塞、响应速度慢等问题，从而影响用户的体验质量(Quality of Experience，简称：QoE)。
对于此类问题，现有CDN服务商通过提高节点数量、服务器数量，来避免节点间负载不均衡以及对网络流量的控制，但这也带来了CDN资源消耗和浪费的问题。因此，如何准确预测网络流量非常重要。
在相关技术中，基于自回归积分滑动平均模型(Autoregressive IntegratedMoving Average Model简称：ARIMA)的网络流量调度方法可以用于对虚拟CDN网络流量进行预测。ARIMA模型是一种时间序列预测方法，可以对一段时间内的历史数据流进行差分迭代建模，因此可以应用ARIMA模型预测下一时间段内的网络流量。
然而，在实际使用中，无法基于ARIMA模型对网络流量进行准确调度，仍然存在网络拥塞、网络资源利用率低等问题。
发明内容
发明人对相关技术进行分析后发现，ARIMA模型存在以下缺点：
(1)ARIMA模型适用于捕捉网络流量的线性变化规律，而网络受环境、用户以及网络自身的影响，网络流量也具有多尺度、非线性的变化特点，ARIMA模型不能可靠地作为非线性网络流量预测模型；
(2)ARIMA模型对连续时间的依赖性太强，只适用于小范围时间段的预测模型，把一段时间划分成一个个小片段，通过差分迭代完成，对于时间跨度较大的样本，迭代耗时过长，不支持遥远时刻离散时间点的不同网络流量与负载输入进行回归预测。
因此，ARIMA模型并不能准确地预测CDN网络流量，从而无法对网络流量进行准确调度。
本发明实施例所要解决的一个技术问题是：如何提高内容分发网络流量调度的准确性。
根据本发明一些实施例的第一个方面，提供一种内容分发网络流量调度方法，包括：获取节点的历史信息序列，其中，历史信息序列包括历史预设时间段内的多个时刻对应的节点信息；采用节点的历史信息序列训练支持向量机(Support Vector Machine，简称：SVM)回归模型；采用训练后的支持向量机回归模型预测待测时刻的节点信息；根据支持向量机回归模型输出的预测结果确定是否在待测时刻将流量调度到节点。
在一些实施例中，根据支持向量机回归模型输出的预测结果确定是否在待测时刻将流量调度到节点包括：根据预测结果预测节点在待测时刻能够在预测时刻接受调度的流量的概率；在概率大于预设概率的情况下，在待测时刻将流量调度到节点；在概率不大于预设概率的情况下，不将流量调度到节点。
在一些实施例中，将预测结果输入到逻辑(Logistics)回归模型中，获得逻辑回归模型输出的节点在待测时刻能够在预测时刻接受调度的流量的概率。
在一些实施例中，在将节点的历史信息序列输入到支持向量机回归模型之前，内容分发网络流量调度方法还包括：将当前节点信息输入到逻辑回归模型中，获得逻辑回归模型输出的节点在当前时刻能够接受调度的流量的概率；响应于节点在当前时刻能够在预测时刻接受调度的流量的概率大于预设概率值，将节点的历史信息序列输入到支持向量机回归模型；其中，预测时刻为当前时刻之后的时刻。
在一些实施例中，内容分发网络流量调度方法还包括：将节点的历史信息序列中的节点信息进行去相关处理。
在一些实施例中，内容分发网络流量调度方法还包括：获取用于训练的历史信息序列；根据用于训练的历史信息序列对应的节点信息是否大于预设门限，对用于训练的历史信息序列进行标记；采用已标记的用于训练的历史信息序列对逻辑回归模型进行训练。
在一些实施例中，如果节点为非虚拟的内容分发网络节点，历史信息序列包括历史预设时间段内的多个时刻对应的负载信息；如果节点为虚拟内容分发网络节点，历史信息序列包括历史预设时间段内的多个时刻对应的流量信息。
根据本发明一些实施例的第二个方面，提供一种内容分发网络流量调度装置，包括：历史信息获取模块，用于获取节点的历史信息序列，其中，历史信息序列包括历史预设时间段内的多个时刻对应的节点信息；支持向量机回归模型训练模块，用于采用节点的历史信息序列训练支持向量机回归模型；节点信息预测模块，用于采用训练后的支持向量机回归模型预测待测时刻的节点信息；调度结果确定模块，用于根据支持向量机回归模型输出的预测结果确定是否在待测时刻将流量调度到节点。
在一些实施例中，调度结果确定模块进一步用于根据预测结果预测节点在待测时刻能够在预测时刻接受调度的流量的概率；在概率大于预设概率的情况下，在待测时刻将流量调度到节点；在概率不大于预设概率的情况下，不将流量调度到节点。
在一些实施例中，调度结果确定模块进一步用于将预测结果输入到逻辑回归模型中，获得逻辑回归模型输出的节点在待测时刻能够在预测时刻接受调度的流量的概率。
在一些实施例中，内容分发网络流量调度装置还包括：概率预测模块，用于在将节点的历史信息序列输入到支持向量机回归模型之前，将当前节点信息输入到逻辑回归模型中，获得逻辑回归模型输出的节点在当前时刻能够接受调度的流量的概率；节点信息预测模块用于响应于节点在当前时刻能够在预测时刻接受调度的流量的概率大于预设概率值，将节点的历史信息序列输入到支持向量机回归模型；其中，预测时刻为当前时刻之后的时刻。
在一些实施例中，内容分发网络流量调度装置还包括：去相关模块，用于将节点的历史信息序列中的节点信息进行去相关处理。
在一些实施例中，内容分发网络流量调度装置还包括：逻辑回归模型训练模块，用于获取用于训练的历史信息序列；根据用于训练的历史信息序列对应的节点信息是否大于预设门限，对用于训练的历史信息序列进行标记；采用已标记的用于训练的历史信息序列对逻辑回归模型进行训练。
在一些实施例中，如果节点为非虚拟的内容分发网络节点，历史信息序列包括历史预设时间段内的多个时刻对应的负载信息；如果节点为虚拟内容分发网络节点，历史信息序列包括历史预设时间段内的多个时刻对应的流量信息。
根据本发明一些实施例的第三个方面，提供一种内容分发网络流量调度装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任意一种内容分发网络流量调度方法。
根据本发明一些实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种内容分发网络流量调度方法。
上述发明中的一些实施例具有如下优点或有益效果：由于网络中的流量变化往往不是呈线性变化的，而SVM模型适用于随时间非线性、多尺度的网络流量与回归预测，因此能够对网络流量进行准确的预测和调度，缓解了突发性的大量访问请求对节点造成的压力，提高了用户的使用体验。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明一些实施例的内容分发网络流量调度方法的流程图。
图2为根据本发明另一些实施例的内容分发网络流量调度方法的流程图。
图3为根据本发明一些实施例的在线内容分发网络流量调度方法的流程图。
图4为根据本发明一些实施例的离线内容分发网络流量调度方法的流程图。
图5为根据本发明一些实施例的内容分发网络流量调度装置的结构图。
图6为根据本发明另一些实施例的内容分发网络流量调度装置的结构图。
图7为根据本发明又一些实施例的内容分发网络流量调度装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为根据本发明一些实施例的内容分发网络流量调度方法的流程图。如图1所示，该实施例的内容分发网络流量调度方法包括步骤S102～S108。
在步骤S102中，获取节点的历史信息序列，其中，历史信息序列包括历史预设时间段内的多个时刻对应的节点信息，节点信息可以是流量信息或负载信息。
历史信息序列可以从节点的历史数据中获取，它描述的是CDN节点在不同时刻承载的流量情况或者是节点设备的负载情况。历史预设时间段可以是根据需要设定的，例如，可以为从当前时刻到当前时刻之前的几分钟的时段。
在一些实施例中，如果节点为非虚拟的CDN节点，历史信息序列包括历史预设时间段内的多个时刻对应的负载信息；如果节点为虚拟CDN节点，历史信息序列包括历史预设时间段内的多个时刻对应的流量信息。从而，本发明实施例的方法既可以用于传统的CDN节点的负载情况预测，也可以用于虚拟CDN节点的流量大小预测，适用性更广。
在步骤S104中，采用节点的历史信息序列训练支持向量机回归模型。
在训练时，可以以时间为自变量、节点信息为因变量建立线性关系，然后根据节点的历史信息序列和最优问题模型，求解该线性关系的参数，获得训练后的SVM回归模型。
下面简单介绍一下SVM回归模型的相关内容。设每个时刻x对应的节点信息值为y，则回归函数可以如公式(1)所示。
y＝f(x)＝ωTφ(x)+b (1)
其中，ω为权重，b为偏置项参数。通过求解公式(2)的最优问题，可以获得ω和b的值。具体的求解方式可以参考现有技术中的方案，这里不再赘述。
约束条件如公式(3)所示。
其中，ε为回归允许的最大误差；α和α*为拉格朗日乘子；C是预设的惩罚参数，C为正常数，用于平衡回归函数f(x)的平坦程度以及偏差大于ε样本点的个数；φ(·)为高斯核函数。
通过上述求解过程，可以得到每个时刻与相应的节点信息之间的对应关系。因此当输入待测时刻后，即可以获得预测的该时刻的节点信息。
在步骤S106中，采用训练后的支持向量机回归模型预测待测时刻的节点信息。
在步骤S108中，根据支持向量机回归模型输出的预测结果确定是否在待测时刻将流量调度到节点。
在一些实施例中，可以将预测的节点信息与节点的相应阈值进行比较，如果大于阈值则不在待测时刻将流量调度到节点；否则可以在待测时刻将流量调度到该节点。
在一些实施例中，还可以根据预测结果预测节点在待测时刻能够在预测时刻接受调度的流量的概率；在概率大于预设概率的情况下，在待测时刻将流量调度到节点；在概率不大于预设概率的情况下，不将流量调度到节点。
网络中的流量变化往往不是呈线性变化的。而SVM模型适用于随时间非线性、多尺度的网络流量与回归预测，且支持任何离散时间点的不同网络流量与负载输入进行回归预测。因此，通过上述实施例的方法，能够对网络流量进行准确的预测和调度，缓解了突发性的大量访问请求对节点造成的压力，提高了用户的使用体验。
在一些实施例中，可以将SVM和逻辑回归模型进行结合进行预测。下面参考图2描述本发明内容分发网络流量调度方法的实施例。
图2为根据本发明另一些实施例的内容分发网络流量调度方法的流程图。如图2所示，该实施例的内容分发网络流量调度方法包括步骤S202～S208。
在步骤S202中，获取节点的历史信息序列。
在步骤S204中，采用节点的历史信息序列训练SVM回归模型。
在步骤S206中，采用训练后的SVM回归模型预测待测时刻的节点信息。
在步骤S208中，将预测的待测时刻的节点信息输入到逻辑回归模型中，获得逻辑回归模型输出的节点在待测时刻能够接受调度的概率。
在步骤S210中，判断输出的断概率是否大于预设概率。如果大于，执行步骤S212；否则执行步骤S214。
在步骤S212中，在待测时刻将流量调度到该节点。
在步骤S214中，在待测时刻不将流量调度到该节点。
通过上述实施例的方法，可以在预测流量大小的基础上进一步判断节点是否有能力负载流量，从而可以更准确地对流量进行调度。并且，逻辑回归的求解复杂度低，能够实时地调整网络的负载状况。通过融合SVM回归模型和逻辑回归模型，不仅适用于预测线性变化的网络流量和负载信息，还能够预测非线性、多尺度、非平稳变化的CDN节点的负载和CDN网络的流量状况。
下面简单介绍一下逻辑回归模型的相关内容。设用于训练的历史信息序列为x＝{x1,x2,…,xn}，并且设节点信息小于允许调度的门限的历史信息序列的标记值为1，节点信息大于或等于允许调度的门限的历史信息序列的标记值为0，则标记值z∈{0,1}。因此对于输入数据x为类别1和类别0的概率分别为p(z＝1|x)和p(z＝0|x)，二者的具体表示可以分别参考公式(4)和(5)。
p(z＝0|x)＝1-p(z＝1|x) (5)
其中，e为自然底数，β0为常数，β的下角标表示某个历史时刻点，βi表示第i个历史时刻点的流量信息或负载信息xi的权重。采用μ表示x的权重集合，并将输入的历史信息序列转换为变量函数gi(x)，则公式(4)还可以采用公式(6)表示。
对于上述公式模型中的权重参数，采用最大似然估计求解，对应的似然函数可以参考公式(7)。
通过求L(μ)对μ的导数，并且令可以解得合适的μ值。
在获取节点的历史信息序列之后，还可以将节点的历史信息序列中的数据进行预处理，以挖掘数据的更深层次的特征。下面示例性地介绍两种方法。
在一些实施例中，可以将节点的历史信息序列中的数据进行去相关处理。去相关处理例如可以通过主成分分析(Principal Component Analysis，简称：PCA)的方法实现。
例如，设输入到模型中的数据包括一个节点的历史信息序列集合，对于集合中的历史信息序列x，可以首先求其与集合中数据的平均值的偏差则在特征空间U的投影J表示为U的维数为M*l，J的维数为d*l。若取投影系数向量J的前K维，则投影系数向量J的维数降为K维，记作JK。则重构后的去相关的历史信息序列s可以采用公式(8)表示。其中，M、l、d、K均为正整数。
从而，可以去除数据中冗余信息的干扰，获得潜在的输入数据的表达，使得预测结果更准确。
在一个实施例中，还可以采用稀疏自编码器(Sparse Autoencoder，简称SAE)对历史信息序列中的数据进行预处理。SAE是具有一层隐含层的神经网络，它通过对隐含层的神经元加入稀疏性限制来发现输入数据的隐含特征。SAE在运算时尝试逼近一个恒等函数，从而使得输出特征接近于输入特征，但却能得到输入数据的一些隐含特征。从而，可以获得比原始数据更好的特征描述，进一步提高了流量调度的准确性。
本发明实施例的方法既可以进行在线预测，也可以进行离线预测。下面参考图3和图4分别描述在线预测和离线预测的实施例。
当进行在线预测时，可以先将当前节点信息输入到逻辑回归模型中，获得逻辑回归模型输出的节点在当前时刻能够接受调度的流量的概率，以预测当前时刻是否允许将流量调度到节点，再采用SVM回归模型预测未来的某个时刻的负载情况或流量大小，然后再次采用逻辑回归模型预测该未来时刻是否允许流量调度。在一些实施例中，该过程可以如图3所示，图3包括步骤S302～S320。
在步骤S302中，从CDN节点在当前时刻T之前的一段时间内的历史数据中获得历史信息序列Xtrain。这段时间可以小于预设值，由于SVM可以采用少量数据获得较好的预测结果，因此一小段时间的数据即可以获得准确的预测结果。
设当前时刻T之前的一小段时间中的各个采样时间点组成的序列为Ttrain，其中，Ttrain＝{t(a),t(b),t(c),…,t(k),…,T}。时间序列Ttrain对应的历史信息序列为Xtrain，Xtrain＝{xt(a),xt(b),xt(c),…,xt(k),…,xT}，Xtrain中的每个数据为相应采样时间点所对应的向量形式表示的负载信息。而对于任意一个历史时刻t(k)，其负载信息向量其中，为CPU利用率，为内存利用率，为磁盘利用率，为网络带宽利用率。
本领域技术人员应当清楚，上述各项负载信息仅为示例性的，根据需要还可以选择其他类型的负载信息，这里不再赘述。
在步骤S304中，采用PCA法对Xtrain进行去相关处理，获得Strain。Strain＝{st(a),st(b),st(c),…,st(k),…,sT}。任意一个历史时刻t(k)去相关后的历史负载信息向量或历史网络流量向量为st(k)。
PCA法的特征提取速度快，因此在实时预测的场景下也能够快速地得到去相关后的结果。
在步骤S306中，将sT输入到逻辑回归模型，获得逻辑回归模型输出的概率PT。PT表示在T时刻是是否允许将流量调度到该CDN节点。
在步骤S308中，判断PT是否大于预设概率P0。P0可以是根据需要设定的，表示允许调度流量到该节点的概率门限。如果PT>P0，则第一次校验成功，进入步骤S310，否则执行步骤S320。
在步骤S310中，采用Strain对SVM回归模型进行训练。
在步骤S312中，将未来时刻T+t(m)输入到训练后的SVM回归模型中，获得SVM回归模型预测的T+t(m)时刻的节点负载信息sT+t(m)。
在在线预测的应用场景中，t(m)可以较小，即预测较短时间以后的流量情况。在一些实施例中，t(m)例如可以为几秒、几分钟等等。
在步骤S314中，将sT+t(m)输入到逻辑回归模型中，获得逻辑回归模型输出的概率PT+t(m)。PT+t(m)表示在T+t(m)时刻是是否允许将流量调度到该CDN节点。
在步骤S316中，判断PT+t(m)是否大于预设概率P0。如果PT+t(m)>P0，则第二次校验成功，进入步骤S318，否则执行步骤S320。
在步骤S318中，在待测时刻将流量调度到该节点。
在步骤S320中，拒绝在待测时刻将流量调度到该节点。
通过上述实施例的方法，可以首先在当前时刻校验是否能够将流量调度到节点，再对未来时刻进行负载信息预测，并根据预测结果判断在该时刻是否能够将流量调度到节点，从而提高了在线流量预测的准确性，实现了对流量的准确调度。
图4为根据本发明一些实施例的离线网络流量预测和调度方法的流程图。如图4所示，该实施例的离线网络流量预测和调度方法包括步骤S402～S416。
在步骤S402中，从CDN节点在当前时刻T之前的一段时间内的历史数据中获得历史信息序列Xtrain。
在步骤S404中，采用SAE法对Xtrain进行处理，获得Strain。
在离线场景下，对计算速度的要求没有实时场景要求高。因此可以采用精度更高的SAE法进行数据的预处理，进一步提升离线预测时的精确度。
在步骤S406中，采用Strain对SVM回归模型进行训练。
在步骤S408中，将未来时刻T+t(m)输入到训练后的SVM回归模型中，获得SVM回归模型预测的T+t(m)时刻的节点负载信息sT+t(m)。
在离线预测的应用场景中，t(m)的值可以较大，即可以预测较长时间之后的流量趋势。在一些实施例中，t(m)例如可以为几十天、几个月等等。
在步骤S410中，将sT+t(m)输入到逻辑回归模型中，获得逻辑回归模型输出的概率PT+t(m)。
在步骤S412中，判断PT+t(m)是否大于预设概率P0。如果PT+t(m)>P0，则第二次校验成功，进入步骤S414，否则执行步骤S416。
在步骤S414中，在待测时刻将流量调度到该节点。
在步骤S416中，拒绝在待测时刻将流量调度到该节点。
在离线模式下，负载和流量的变化曲线的震荡变化比较强烈。通过上述实施例的方法，可以采用泛化能力较强的SVM回归模型进行预测，再融合逻辑回归模型的判断结果，提高了离线流量预测的准确性，实现了对流量的准确调度。
图3和图4实施例的方法是以预测节点的负载信息为例进行的阐述。本领域技术人员应当清楚，这些实施例中的节点信息还可以是流量信息。
通过这些实施例，本发明能够避免CDN直播业务中由于CDN节点因突发性访问量过大而造成的节点负载过重、带宽资源不足与网络流量高峰等问题。
并且，本发明同时支持实时与非实时模式，还能够并行满足现网传统CDN与虚拟CDN负载与网络流量调度的需求。对于传统CDN服务器，能够提前调整调度策略；对于虚拟CDN、甚至云化CDN，能够做到容量智能弹性伸缩。从而降低了CDN资源的消耗浪费，提高了访问质量与用户的QoE，利于大力推广，能够取得提前感知、事前预防、实时预测的效果。
下面参考图5描述本发明内容分发网络流量调度装置的实施例。
图5为根据本发明一些实施例的内容分发网络流量调度装置的结构图。如图5所示，该实施例的内容分发网络流量调度装置50包括：历史信息获取模块510，用于获取节点的历史信息序列，其中，历史信息序列包括历史预设时间段内的多个时刻对应的节点信息；支持向量机回归模型训练模块520，用于采用节点的历史信息序列训练支持向量机回归模型；节点信息预测模块530，用于采用训练后的支持向量机回归模型预测待测时刻的节点信息；调度结果确定模块540，用于根据支持向量机回归模型输出的预测结果确定是否在待测时刻将流量调度到节点。
在一些实施例中，调度结果确定模块540可以进一步用于根据预测结果预测节点在待测时刻能够在预测时刻接受调度的流量的概率；在概率大于预设概率的情况下，在待测时刻将流量调度到节点；在概率不大于预设概率的情况下，不将流量调度到节点。
在一些实施例中，调度结果确定模块540可以进一步用于将预测结果输入到逻辑回归模型中，获得逻辑回归模型输出的节点在待测时刻能够在预测时刻接受调度的流量的概率。
在一些实施例中，内容分发网络流量调度装置50还可以包括：概率预测模块550，用于在将节点的历史信息序列输入到支持向量机回归模型之前，将当前节点信息输入到逻辑回归模型中，获得逻辑回归模型输出的节点在当前时刻能够接受调度的流量的概率；节点信息预测模块530进一步用于响应于节点在当前时刻能够在预测时刻接受调度的流量的概率大于预设概率值，将节点的历史信息序列输入到支持向量机回归模型；其中，预测时刻为当前时刻之后的时刻。
在一些实施例中，内容分发网络流量调度装置50还可以包括：去相关模块560，用于将节点的历史信息序列中的节点信息进行去相关处理。
在一些实施例中，内容分发网络流量调度装置50还可以包括：逻辑回归模型训练模块570，用于获取用于训练的历史信息序列；根据用于训练的历史信息序列对应的节点信息是否大于预设门限，对用于训练的历史信息序列进行标记；采用已标记的用于训练的历史信息序列对逻辑回归模型进行训练。
在一些实施例中，如果节点为非虚拟的内容分发网络节点，历史信息序列包括当前时刻之前的预设时间段内若干时刻的负载信息；如果节点为虚拟内容分发网络节点，历史信息序列包括当前时刻之前的预设时间段内若干时刻的流量信息。
图6为根据本发明另一些实施例的内容分发网络流量调度装置的结构图。如图6所示，该实施例的内容分发网络流量调度装置600包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的内容分发网络流量调度方法。
其中，存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图7为根据本发明又一些实施例的内容分发网络流量调度装置的结构图。如图7所示，该实施例的内容分发网络流量调度装置700包括：存储器710以及处理器720，还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730，740，750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种内容分发网络流量调度方法。
本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种内容分发网络流量调度方法，包括：
获取节点的历史信息序列，其中，所述历史信息序列包括历史预设时间段内的多个时刻对应的节点信息；
采用所述节点的历史信息序列训练支持向量机回归模型；
采用训练后的支持向量机回归模型预测待测时刻的节点信息；
根据所述支持向量机回归模型输出的预测结果确定是否在待测时刻将流量调度到所述节点。
2.根据权利要求1所述的内容分发网络流量调度方法，其中，所述根据所述支持向量机回归模型输出的预测结果确定是否在待测时刻将流量调度到所述节点包括：
根据所述预测结果预测所述节点在待测时刻能够在预测时刻接受调度的流量的概率；
在所述概率大于预设概率的情况下，在待测时刻将流量调度到所述节点；
在所述概率不大于预设概率的情况下，不将流量调度到所述节点。
3.根据权利要求2所述的内容分发网络流量调度方法，其中，将所述预测结果输入到逻辑回归模型中，获得所述逻辑回归模型输出的所述节点在待测时刻能够在预测时刻接受调度的流量的概率。
4.根据权利要求1～3中任一项所述的内容分发网络流量调度方法，其中，
在将所述节点的历史信息序列输入到支持向量机回归模型之前，所述内容分发网络流量调度方法还包括：将当前节点信息输入到逻辑回归模型中，获得所述逻辑回归模型输出的所述节点在当前时刻能够接受调度的流量的概率；
响应于所述节点在当前时刻能够在预测时刻接受调度的流量的概率大于预设概率值，将所述节点的历史信息序列输入到支持向量机回归模型；
其中，所述预测时刻为当前时刻之后的时刻。
5.根据权利要求1所述的内容分发网络流量调度方法，还包括：将所述节点的历史信息序列中的节点信息进行去相关处理。
6.根据权利要求3所述的内容分发网络流量调度方法，还包括：
获取用于训练的历史信息序列；
根据所述用于训练的历史信息序列对应的节点信息是否大于预设门限，对所述用于训练的历史信息序列进行标记；
采用已标记的用于训练的历史信息序列对逻辑回归模型进行训练。
7.根据权利要求1所述的内容分发网络流量调度方法，其中，
如果所述节点为非虚拟的内容分发网络节点，所述历史信息序列包括历史预设时间段内的多个时刻对应的负载信息；
如果所述节点为虚拟内容分发网络节点，所述历史信息序列包括历史预设时间段内的多个时刻对应的流量信息。
8.一种内容分发网络流量调度装置，包括：
历史信息获取模块，用于获取节点的历史信息序列，其中，所述历史信息序列包括历史预设时间段内的多个时刻对应的节点信息；
支持向量机回归模型训练模块，用于采用所述节点的历史信息序列训练支持向量机回归模型；
节点信息预测模块，用于采用训练后的支持向量机回归模型预测待测时刻的节点信息；
调度结果确定模块，用于根据所述支持向量机回归模型输出的预测结果确定是否在待测时刻将流量调度到所述节点。
9.根据权利要求8所述的内容分发网络流量调度装置，其中，所述调度结果确定模块进一步用于根据所述预测结果预测所述节点在待测时刻能够在预测时刻接受调度的流量的概率；在所述概率大于预设概率的情况下，在待测时刻将流量调度到所述节点；在所述概率不大于预设概率的情况下，不将流量调度到所述节点。
10.根据权利要求9所述的内容分发网络流量调度装置，其中，所述调度结果确定模块进一步用于将所述预测结果输入到逻辑回归模型中，获得所述逻辑回归模型输出的所述节点在待测时刻能够在预测时刻接受调度的流量的概率。
11.根据权利要求8～10中任一项所述的内容分发网络流量调度装置，还包括：
概率预测模块，用于在将所述节点的历史信息序列输入到支持向量机回归模型之前，将当前节点信息输入到逻辑回归模型中，获得所述逻辑回归模型输出的所述节点在当前时刻能够接受调度的流量的概率；
所述节点信息预测模块用于响应于所述节点在当前时刻能够在预测时刻接受调度的流量的概率大于预设概率值，将所述节点的历史信息序列输入到支持向量机回归模型；
其中，所述预测时刻为当前时刻之后的时刻。
12.根据权利要求8所述的内容分发网络流量调度装置，还包括：
去相关模块，用于将所述节点的历史信息序列中的节点信息进行去相关处理。
13.根据权利要求10所述的内容分发网络流量调度装置，还包括：
逻辑回归模型训练模块，用于获取用于训练的历史信息序列；根据所述用于训练的历史信息序列对应的节点信息是否大于预设门限，对所述用于训练的历史信息序列进行标记；采用已标记的用于训练的历史信息序列对逻辑回归模型进行训练。
14.根据权利要求8所述的内容分发网络流量调度装置，其中，
如果所述节点为非虚拟的内容分发网络节点，所述历史信息序列包括历史预设时间段内的多个时刻对应的负载信息；
如果所述节点为虚拟内容分发网络节点，所述历史信息序列包括历史预设时间段内的多个时刻对应的流量信息。
15.一种内容分发网络流量调度装置，其中：
存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～7中任一项所述的内容分发网络流量调度方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～7中任一项所述的内容分发网络流量调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711186979.6A CN109842563A (zh) | 2017-11-24 | 2017-11-24 | 内容分发网络流量调度方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711186979.6A CN109842563A (zh) | 2017-11-24 | 2017-11-24 | 内容分发网络流量调度方法、装置和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109842563A true CN109842563A (zh) | 2019-06-04 |
Family
ID=66876255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711186979.6A Pending CN109842563A (zh) | 2017-11-24 | 2017-11-24 | 内容分发网络流量调度方法、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109842563A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111030869A (zh) * | 2019-12-20 | 2020-04-17 | 锐捷网络股份有限公司 | 一种网络流量的预测方法及预测装置 |
| CN111245684A (zh) * | 2020-01-13 | 2020-06-05 | 智者四海（北京）技术有限公司 | 流量调度方法和装置、电子设备、计算机可读介质 |
| CN111459761A (zh) * | 2020-04-01 | 2020-07-28 | 广州虎牙科技有限公司 | 一种Redis配置的方法、装置、存储介质及设备 |
| CN112437015A (zh) * | 2019-08-26 | 2021-03-02 | 中国电信股份有限公司 | 分流调度方法、装置、系统和计算机可读存储介质 |
| CN112667398A (zh) * | 2020-12-28 | 2021-04-16 | 北京奇艺世纪科技有限公司 | 资源调度方法、装置、电子设备及存储介质 |
| CN112769643A (zh) * | 2020-12-28 | 2021-05-07 | 北京达佳互联信息技术有限公司 | 资源调度方法、装置、电子设备及存储介质 |
| CN112769733A (zh) * | 2019-11-05 | 2021-05-07 | 中国电信股份有限公司 | 网络预警方法、装置和计算机可读存储介质 |
| CN113037577A (zh) * | 2019-12-09 | 2021-06-25 | 中国电信股份有限公司 | 网络流量预测方法、装置和计算机可读存储介质 |
| CN113055923A (zh) * | 2019-12-27 | 2021-06-29 | 中国移动通信集团湖南有限公司 | 移动网络流量预测方法、装置及设备 |
| CN113507419A (zh) * | 2021-07-07 | 2021-10-15 | 工银科技有限公司 | 流量分发模型的训练方法、流量分发方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101267362A (zh) * | 2008-05-16 | 2008-09-17 | 亿阳信通股份有限公司 | 一种性能指标值正常波动范围的动态确定方法及其装置 |
| CN101639793A (zh) * | 2009-08-19 | 2010-02-03 | 南京邮电大学 | 一种基于支持向量回归机的网格负载预测方法 |
| CN101695050A (zh) * | 2009-10-19 | 2010-04-14 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量自适应预测的动态负载均衡方法 |
| CN102956109A (zh) * | 2012-11-13 | 2013-03-06 | 东南大学 | 一种信号交叉口进口道外置左转车道设置需求判定方法 |
| CN104993966A (zh) * | 2015-07-15 | 2015-10-21 | 国家电网公司 | 一种电力综合业务网流量预测方法 |
| CN106100922A (zh) * | 2016-06-12 | 2016-11-09 | 中车青岛四方机车车辆股份有限公司 | 列车通信网络的网络流量的预测方法和装置 |
| CN106411597A (zh) * | 2016-10-14 | 2017-02-15 | 广东工业大学 | 一种网络流量异常检测方法及系统 |
| CN106656981A (zh) * | 2016-10-21 | 2017-05-10 | 东软集团股份有限公司 | 网络入侵检测方法和装置 |
| CN106713265A (zh) * | 2016-11-21 | 2017-05-24 | 清华大学深圳研究生院 | Cdn节点分配方法及装置、cdn节点分配服务器及cdn网络系统 |
| CN106713055A (zh) * | 2017-02-27 | 2017-05-24 | 电子科技大学 | 一种虚拟cdn的节能部署方法 |
-
2017
- 2017-11-24 CN CN201711186979.6A patent/CN109842563A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101267362A (zh) * | 2008-05-16 | 2008-09-17 | 亿阳信通股份有限公司 | 一种性能指标值正常波动范围的动态确定方法及其装置 |
| CN101639793A (zh) * | 2009-08-19 | 2010-02-03 | 南京邮电大学 | 一种基于支持向量回归机的网格负载预测方法 |
| CN101695050A (zh) * | 2009-10-19 | 2010-04-14 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量自适应预测的动态负载均衡方法 |
| CN102956109A (zh) * | 2012-11-13 | 2013-03-06 | 东南大学 | 一种信号交叉口进口道外置左转车道设置需求判定方法 |
| CN104993966A (zh) * | 2015-07-15 | 2015-10-21 | 国家电网公司 | 一种电力综合业务网流量预测方法 |
| CN106100922A (zh) * | 2016-06-12 | 2016-11-09 | 中车青岛四方机车车辆股份有限公司 | 列车通信网络的网络流量的预测方法和装置 |
| CN106411597A (zh) * | 2016-10-14 | 2017-02-15 | 广东工业大学 | 一种网络流量异常检测方法及系统 |
| CN106656981A (zh) * | 2016-10-21 | 2017-05-10 | 东软集团股份有限公司 | 网络入侵检测方法和装置 |
| CN106713265A (zh) * | 2016-11-21 | 2017-05-24 | 清华大学深圳研究生院 | Cdn节点分配方法及装置、cdn节点分配服务器及cdn网络系统 |
| CN106713055A (zh) * | 2017-02-27 | 2017-05-24 | 电子科技大学 | 一种虚拟cdn的节能部署方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112437015A (zh) * | 2019-08-26 | 2021-03-02 | 中国电信股份有限公司 | 分流调度方法、装置、系统和计算机可读存储介质 |
| CN112769733A (zh) * | 2019-11-05 | 2021-05-07 | 中国电信股份有限公司 | 网络预警方法、装置和计算机可读存储介质 |
| CN113037577A (zh) * | 2019-12-09 | 2021-06-25 | 中国电信股份有限公司 | 网络流量预测方法、装置和计算机可读存储介质 |
| CN113037577B (zh) * | 2019-12-09 | 2023-03-24 | 中国电信股份有限公司 | 网络流量预测方法、装置和计算机可读存储介质 |
| CN111030869B (zh) * | 2019-12-20 | 2022-09-20 | 锐捷网络股份有限公司 | 一种网络流量的预测方法及预测装置 |
| CN111030869A (zh) * | 2019-12-20 | 2020-04-17 | 锐捷网络股份有限公司 | 一种网络流量的预测方法及预测装置 |
| CN113055923A (zh) * | 2019-12-27 | 2021-06-29 | 中国移动通信集团湖南有限公司 | 移动网络流量预测方法、装置及设备 |
| CN113055923B (zh) * | 2019-12-27 | 2022-06-17 | 中国移动通信集团湖南有限公司 | 移动网络流量预测方法、装置及设备 |
| CN111245684A (zh) * | 2020-01-13 | 2020-06-05 | 智者四海（北京）技术有限公司 | 流量调度方法和装置、电子设备、计算机可读介质 |
| CN111459761A (zh) * | 2020-04-01 | 2020-07-28 | 广州虎牙科技有限公司 | 一种Redis配置的方法、装置、存储介质及设备 |
| CN111459761B (zh) * | 2020-04-01 | 2024-03-01 | 广州虎牙科技有限公司 | 一种Redis配置的方法、装置、存储介质及设备 |
| CN112667398A (zh) * | 2020-12-28 | 2021-04-16 | 北京奇艺世纪科技有限公司 | 资源调度方法、装置、电子设备及存储介质 |
| CN112667398B (zh) * | 2020-12-28 | 2023-09-01 | 北京奇艺世纪科技有限公司 | 资源调度方法、装置、电子设备及存储介质 |
| CN112769643B (zh) * | 2020-12-28 | 2023-12-29 | 北京达佳互联信息技术有限公司 | 资源调度方法、装置、电子设备及存储介质 |
| CN112769643A (zh) * | 2020-12-28 | 2021-05-07 | 北京达佳互联信息技术有限公司 | 资源调度方法、装置、电子设备及存储介质 |
| CN113507419B (zh) * | 2021-07-07 | 2022-11-01 | 工银科技有限公司 | 流量分发模型的训练方法、流量分发方法及装置 |
| CN113507419A (zh) * | 2021-07-07 | 2021-10-15 | 工银科技有限公司 | 流量分发模型的训练方法、流量分发方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109842563A (zh) | 内容分发网络流量调度方法、装置和计算机可读存储介质 | |
| CN110070117B (zh) | 一种数据处理方法及装置 | |
| Xie et al. | Real-time prediction of docker container resource load based on a hybrid model of ARIMA and triple exponential smoothing | |
| TWI696124B (zh) | 模型整合方法及裝置 | |
| CN103605662B (zh) | 一种分布式计算框架参数优化方法、装置及系统 | |
| US10432491B2 (en) | Control device for estimation of power consumption and energy efficiency of application containers | |
| US11593735B2 (en) | Automated and efficient personal transportation vehicle sharing | |
| CN111062521B (zh) | 一种在线预测方法、系统及服务器 | |
| Niu et al. | Big data-driven scheduling optimization algorithm for Cyber–Physical Systems based on a cloud platform | |
| CN113821332B (zh) | 自动机器学习系统效能调优方法、装置、设备及介质 | |
| CN108196957A (zh) | 一种云环境下的主机负载预测方法 | |
| CN115237802A (zh) | 基于人工智能的模拟测试方法及相关设备 | |
| US11898895B2 (en) | Methods and systems for natural gas data computation outside gas internet of things based on energy measuring | |
| CN106156170B (zh) | 舆情分析方法及装置 | |
| Huang et al. | Performance modelling and analysis for IoT services | |
| CN108170404B (zh) | 一种基于参数化模型的Web服务组合验证方法 | |
| CN110322153A (zh) | 监控事件处理方法及系统 | |
| JP2022550619A (ja) | 日射量予測を処理するための方法、スタック型一般化モデルをトレーニングするための方法、およびそれらの装置 | |
| CN111105176B (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN109981726A (zh) | 一种存储节点的分配方法、服务器及系统 | |
| CN109446054A (zh) | 基于大数据的越权操作请求的处理方法及终端设备 | |
| CN115063010A (zh) | 配送资源的评估方法、装置、电子设备及存储介质 | |
| CN107645412B (zh) | 一种开放环境下的Web服务组合多目标验证方法 | |
| CN113742187A (zh) | 应用系统的容量预测方法、装置、设备及存储介质 | |
| CN105701114B (zh) | 解决方案搜寻系统的操作方法及解决方案搜寻系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190604 |
|
| RJ01 | Rejection of invention patent application after publication |