CN107015900A - 一种视频网站的服务性能预测方法 - Google Patents

Abstract

本发明公开了一种视频网站的服务性能预测方法，所述方法包含：步骤101)通过模拟用户请求，定时测量视频网站性能参数，计算性能参数之间的相关系数；如果相关系数的绝对值超过预设阈值时，将所有性能参数的值存入对应网站的性能预测数据集，否则，仅把下载速率存入对应网站的性能预测数据集；其中，所述性能参数包含：连接时间和下载速率；步骤102)对预测数据集进行参数无量纲化和归一化预处理，基于预处理后得到的数据和时间序列模型或机器学习模型预测下一时刻的视频网站的服务性能；其中，对时间序列模型或机器学习模型输出的归一化预测结果进行反归一化即得到用户在下一时刻访问视频网站可获得的真实的服务性能预测值。

Description

一种视频网站的服务性能预测方法

技术领域

本发明涉及网站的服务性能预测领域，特别涉及一种融合多信息源的视频网站服务性能预测方法，属于网络服务性能预测领域。

背景技术

针对一个视频内容，网络中有很多视频网站可以提供服务。因为视频网站是通过动态的互联网提供服务，因此视频网站的服务性能不能很好地保持稳定，会随着网络环境、服务器负载等因素的变化而变化，从而出现周期性、短暂性的服务性能变化的情况。为此，对历史数据的分析来准确地预测未来一段时间内视频网站的服务性能，是选择并使用满足用户需求的视频源的关键问题，有重要意义。

目前现有的视频网站服务性能的预测方法的主要思路为：(1)收集某一服务性能指标在一段时间内的数据作为历史数据；(2)选择某种模型，使用单一性能指标的数据进行模型训练和性能预测。

现有的方法存在的问题即使用单一指标的数据进行预测，不考虑其他信息源的数据，在网络情况出现较大波动时，对网站性能的预测会出现较大偏差。因此为改善预测的性能，增加预测模型在网络性能短时间波动较大的情况下的预测稳定性，亟待加入其他信息源的数据，提高服务性能预测的准确度。

发明内容

本发明目的在于，为克服上述技术缺陷，进而使对视频网站未来时刻的服务性能预测所需时间可接受的范围内，本发明技术方案将多个信息源的信息进行融合，进而提高预测模型对视频网站的服务性能预测的精度。同时，本发明的技术方案能够增强预测模型在网络情况剧烈变化的情况下的预测准确性的稳定性。

为了实现上述目的，本发明实施例公开了如下技术方案：

第一方面，提供一种视频网站的服务性能预测方法，所述方法包含：

步骤101)通过模拟用户请求，定时测量视频网站性能参数，计算性能参数之间的相关系数；

如果相关系数的绝对值超过预设阈值时，将所有性能参数的值存入对应网站的性能预测数据集，否则，仅把下载速率存入对应网站的性能预测数据集；

其中，所述性能参数包含：连接时间和下载速率；

步骤102)对预测数据集进行参数无量纲化和归一化预处理，基于预处理后得到的数据和时间序列模型或机器学习模型预测下一时刻的视频网站的服务性能；

其中，对时间序列模型或机器学习模型输出的归一化预测结果进行反归一化即得到用户在下一时刻访问视频网站可获得的真实的服务性能预测值。

结合上述第一方面，在第一种可能的实现方式中，上述步骤101)通过在节点上设定地址列表并模拟用户行为，定时向地址列表中的视频网站发送请求，测量视频网站的连接时间和下载速率。

结合上述第一方面，和/或第一种可能的实现方式中，在第二种可能的实现方式中，采用皮尔逊相关系数计算性能参数之间的相关系数。

结合上述第一方面，和/或第一种可能的实现方式中，在第三种可能的实现方式中，采用线性函数归一化对预测数据集进行归一化处理。

结合上述第一方面，和第三种可能的实现方式中，在第四中可能的实现方式中，上述反归一化方法即线性归一化方法的反归一化。

结合第一方面，和/或第一种可能的实现方式中，在第五中可能的实现方式中，上述时间序列模型为指数平滑模型；或上述机器学习的模型采用线性回归或径向基网络模型。

结合第一方面，和/或第一种可能的实现方式中，在第五中可能的实现方式中，上述步骤102)进一步包含：

步骤102-1)使用测量发生的时间将收集的预测数据集分为两部分：训练集和测试集；

步骤102-2)使用训练集的数据训练预测模型，将测试集数据带入模型公式，以预测值和真实值的最小最方误差为标准，不断调整模型参数并利用梯度下降算法求得模型参数的最优数值；

步骤102-3)利用步骤102-2)中得到的模型参数的取值，得到完整预测模型，将测试集中的数据带入完整预测模型，进行预测，再将预测所得结果反归一化得到预测值。

第二方面，提供一种视频网站的服务性能预测系统，所述系统包含：

预处理模块，用于通过模拟用户请求，定时测量视频网站性能参数，计算性能参数之间的相关系数；

如果相关系数的绝对值超过预设阈值时，将所有性能参数的值存入对应网站的性能预测数据集，否则，仅把下载速率存入对应网站的性能预测数据集；

其中，所述性能参数包含：连接时间和下载速率；

预测模块，用于对预测数据集进行参数无量纲化和归一化预处理，基于预处理后得到的数据和时间序列模型或机器学习模型预测下一时刻的视频网站的服务性能；

其中，对时间序列模型或机器学习模型输出的归一化预测结果进行反归一化即得到用户在下一时刻访问视频网站可获得的真实的服务性能预测值。

结合上述第二方面，在第一种可能的实现方式中，当性能参数包含连接时间和下载速率时，所述预处理模块进一步包含：

测量子模块，通过在节点上设定地址列表并模拟用户行为，定时向地址列表中的视频网站发送请求，测量视频网站的连接时间和下载速率；

判决存储子模块，用于判断如果相关系数的绝对值超过预设阈值时，将所有性能参数的值存入对应网站的性能预测数据集，否则，仅把下载速率存入对应网站的性能预测数据集。

结合上述第二方面，和/或第一种可能的实现方式中，在第二种可能的实现方式中当采用三阶指数平滑预测模型时，所述预测模块进一步包含：

分组子模块，用于采用测量发生的时间将收集的预测数据集分为两部分：训练集和测试集；

预测模型参数最优值获取模块，用于采用训练集的数据训练预测模型，将测试集的数据带入模型公式，以预测值和真实值的最小最方误差为标准，不断调整模型参数，并利用梯度下降算法求得模型参数的最优数值；

预测值获取模块，用于利用预测模型参数最优值获取模块得到的模型参数的取值，得到完整预测模型；再将测试集中的数据带入预测模型，进行预测，最后预测所得结果反归一化得到预测值。

与现有技术相比，本发明的优点在于：

1、通过步骤(1)中测量程序定时对视频网站的连接时间和下载速率进行测量，确保测量条件的相对稳定，减小时间间隔不统一等其余因素对预测准确度的影响；

2、通过步骤(2)和步骤(3)将连接时间和下载速率相关性较高情况下的连接时间加入性能预测数据集，再进行参数无量纲化、归一化，即引入其他信息源，提高预测的准确度和网络状况突变情况下预测模型的稳定性；

3、通过步骤(4)和步骤(5)中选择合适的三阶的指数平滑模型或机器学习模型作为预测模型，提高预测的准确程度。

附图说明

图1是融合多信息源的视频网站服务性能预测方法的流程图；

图2是本方法应用实例的场景示意图；

图3是本发明实施例提供的具体的性能预测数据集的生成及归一化过程；

图4是本发明实施例提供的三阶指数平滑模型训练与预测流程。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明。

实施例1

本发明提供了一种视频网站服务性能预测方法，其步骤包括：

步骤(1)通过在节点上部署测量程序模拟用户请求，定时测量视频网站的连接时间和下载速率两种服务性能指标；

步骤(2)由步骤1测量所得数据，计算下载速率和连接时间的相关系数，若相关系数的绝对值超过预设阈值，判定两个序列有相关性，否则判定两个序列无相关性；

步骤(3)在步骤2中如果判定两个序列有相关性，将测量所得的连接时间和下载速率的历史数据放入网站性能预测数据集，否则仅把下载速率放入数据集。之后再对数据集进行线性归一化；

步骤(4)将归一化后的数据集整理成训练集和测试集，选择时间序列模型中的三阶的指数平滑模型或者机器学习模型中的线性回归模型或径向基网络模型使用训练集训练模型，再使用测试集对模型效果进行验证；

步骤(5)对步骤4中所选预测模型输出的预测结果进行反归一化得到用户在下一时刻访问视频网站可获得的真实的服务性能预测值。

实施例2

本发明的数据测量和服务性能预测模型均在单个节点上进行操作。

单个节点通过测量程序，定时测量视频网站的连接时间和下载速率，进而计算连接时间和下载速率的相关性，整合数据集后进行参数无量纲化、归一化。再选择合适的时间序列预测模型或机器学习模型进行预测，将预测所得结果反归一化得到真实的预测值。

在一个使用实例中，如图2所示，假设节点1上部署了测量程序，定时测量着视频网站的下载速率和连接时间，节点根据测量的数据，依照上述的方法预测出未来时刻的下载速率。

以节点1的下载速率预测为例说明本方法的测量过程：

(1)节点1跟踪所测url列表，即节点1每隔一段时间定时向视频网站服务器发送请求，再根据视频网站服务器返回的数据包测得当前时刻的下载速率和连接时间，并持续测量一段时间；

(2)节点1计算所测下载速率和连接时间之间的相关系数，判断相关系数绝对值是否超过设定阈值，若相关系数的绝对值超过设定阈值则将下载速率和连接时间放入该网站性能预测数据集；否则，仅把下载速率放入数据集；

其中，相关系数的具体计算过程如图3：

计算两个序列的相关系数时使用应用最广泛的皮尔逊相关系数。下载速率的数据集为GR₁,GR₂,...,GR_i,...,GR_N(1≤i≤N)，连接时间的数据集为CT₁,CT₂,...CT_i,...,CT_N(1≤i≤N)，其中N测量的总次数。

皮尔逊相关系数的具体计算公式为：

设定相关系数的阈值为w，当相关系数的绝对值大于等于阈值时，即|ρ_GR,CT|≥w，判定两个序列有相关性，将连接时间加入下载速率预测的数据集。

(3)对数据集进行参数无量纲化和归一化处理，进而生成新的数据集；

其中，归一化的方法为线性归一化，具体实现为：

具体的训练集和测试集的数据格式为所需预测时刻的下载速率之前的24个时刻(具体的时刻个数可根据实际需要进行修改)的下载速率的历史数据加上当前时刻的连接时间，以及预测时刻的下载速率的真实值作为训练集和测试集。

具体的训练集和测试集例子如下：

{GR_i,GR_i+1,GR_i+2,...,GR_i+23,CT_i+24,GR_i+24}

每一训练集用向右平滑一个时刻的新的数据替代原有位置的数据，即产生下一时刻的数据集。

根据上面的数据集形式，在做参数无量纲化和归一化的过程中将两种单位分开归一化，选择线性归一化方法。具体实现为：

归一化后生成的新的训练集为：

{GR_i(un),GR_i+1(un),GR_i+2(un),...,GR_i+23(un),CT_i+24(un),GR_i+24(un)}

(4)选取合适的时间序列预测模型或机器学习模型使用归一化后的数据集进行训练和预测；

具体的预测过程以指数平滑过程为例，细节如图4：

选择的时间序列模型为三阶指数平滑模型，即在一阶指数平滑的基础上加入了趋势因素和季风性因素，具体原理如下：

S_t＝α(x_t-u_t-k)+(1-α)(S_t-1+q_t-1)

q_t＝β(S_t-S_t-1)+(1-β)q_t-1

u_t＝γ(x_t-S_t)+(1-γ)u_t-k

其中，q_t为趋势因素，u_t为季风性因素，S_t为平滑后的值。

初始化的过程为：

q₁＝x₂-x₁

α,β,γ的取值选取使用梯度下降方法来寻找均方误差C最接近0的情况时的取值。寻找均方误差C的定义如下：

(5)对预测模型输出的预测值进行反归一化得到真实的预测值。

假设预测模型得到的预测值为GR_{i+24(un)(pre)}，则进行反归一化得到真实的预测值的方法为：

GR_i+24(pre)＝GR_{i+24(un)(pre)}·(Max(GR)-Min(GR))+Min(GR)

每个节点根据该方法都可以预测出未来时刻本节点的视频服务网站的服务性能。

此外本发明实施例还以三阶指数平滑预测模型为例，详细预测过程如下：

(1)使用测量发生的时间将前一步中收集的性能预测数据集分为两部分：训练集和测试集，eg:共25天的数据，第1天-第15天的数据为训练集，第16天-第25天的数据为测试集；

(2)使用训练集的数据训练预测模型，将训练集数据带入模型公式，以预测值和真实值的最小均方误差为标准，不断调整模型参数(alpha,beta,gamma)，利用梯度下降算法求得模型参数的最优数值；

(3)利用(2)中得到的模型参数的取值，得到完整预测模型。将测试集中的数据带入预测模型，进行预测。预测所得结果反归一化得到预测值；

其余模型的预测原理和上面不同，但是整个预测过程是相同的，均是利用训练集训练模型，寻找模型最优参数，再带入测试集，对性能进行预测。

实施例3

此外，本发明还提供一种视频网站的服务性能预测系统，所述系统包含：

预处理模块，用于通过模拟用户请求，定时测量视频网站性能参数，计算性能参数之间的相关系数；

如果相关系数的绝对值超过预设阈值时，将所有性能参数的值存入对应网站的性能预测数据集，否则，仅把下载速率存入对应网站的性能预测数据集；

其中，所述性能参数包含：连接时间和下载速率；

预测模块，用于对预测数据集进行参数无量纲化和归一化预处理，基于预处理后得到的数据和时间序列模型或机器学习模型预测下一时刻的视频网站的服务性能；

其中，对时间序列模型或机器学习模型输出的归一化预测结果进行反归一化即得到用户在下一时刻访问视频网站可获得的真实的服务性能预测值。

结合上述系统的技术方案，在第一种可能的实现方式中，当性能参数包含连接时间和下载速率时，所述预处理模块进一步包含：

测量子模块，通过在节点上设定地址列表并模拟用户行为，定时向地址列表中的视频网站发送请求，测量视频网站的连接时间和下载速率；

判决存储子模块，用于判断如果相关系数的绝对值超过预设阈值时，将所有性能参数的值存入对应网站的性能预测数据集，否则，仅把下载速率存入对应网站的性能预测数据集。

结合上述系统方案，和/或第一种可能的实现方式中，在第二种可能的实现方式中当采用三阶指数平滑预测模型时，所述预测模块进一步包含：

分组子模块，用于采用测量发生的时间将收集的预测数据集分为两部分：训练集和测试集；

预测模型参数最优值获取模块，用于采用训练集的数据训练预测模型，将测试集的数据带入模型公式，以预测值和真实值的最小最方误差为标准，不断调整模型参数，并利用梯度下降算法求得模型参数的最优数值；

预测值获取模块，用于利用预测模型参数最优值获取模块得到的模型参数的取值，得到完整预测模型；再将测试集中的数据带入预测模型，进行预测，最后预测所得结果反归一化得到预测值。

综上所述，本发明提供了的方法包括：通过测量程序模拟用户请求，定时测量出视频网站的连接时间和下载速率，计算连接时间和下载速率的相关系数。如果相关系数超过预设阈值时，将下载速率和连接时间放入该网站性能预测数据集，否则，仅把下载速率放入数据集。对数据集进行参数无量纲化，归一化处理后，使用时间序列模型或机器学习模型对下一时刻的服务性能指标进行预测。对模型输出的归一化预测结果进行反归一化即得到用户在下一时刻访问视频网站可获得的真实的服务性能预测值。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种视频网站的服务性能预测方法，所述方法包含：

步骤101)通过模拟用户请求，定时测量视频网站性能参数，计算性能参数之间的相关系数；

如果相关系数的绝对值超过预设阈值时，将所有性能参数的值存入对应网站的性能预测数据集，否则，仅把下载速率存入对应网站的性能预测数据集；

其中，所述性能参数包含：连接时间和下载速率；

步骤102)对预测数据集进行参数无量纲化和归一化预处理，基于预处理后得到的数据和时间序列模型或机器学习模型预测下一时刻的视频网站的服务性能；

其中，对时间序列模型或机器学习模型输出的归一化预测结果进行反归一化即得到用户在下一时刻访问视频网站可获得的真实的服务性能预测值。

2.根据权利要求1所述的视频网站的服务性能预测方法，其特征在于，所述步骤101)通过在节点上设定地址列表并模拟用户行为，定时向地址列表中的视频网站发送请求，测量视频网站的连接时间和下载速率。

3.根据权利要求1或2所述的视频网站的服务性能预测方法，其特征在于，采用皮尔逊相关系数计算性能参数之间的相关系数。

4.根据权利要求1或2所述的视频网站服务性能预测方法，其特征在于，采用线性函数归一化对预测数据集进行归一化处理。

5.根据权利要求4所述的视频网站服务性能预测方法，其特征在于，所述反归一化方法即线性归一化方法的反归一化。

6.根据权利要求1或2所述的视频网站服务性能预测方法，其特征在于，

所述时间序列模型为指数平滑模型；或

所述机器学习的模型采用线性回归或径向基网络模型。

7.根据权利要求1或2所述的视频网站服务性能预测方法，其特征在于，所述步骤102)进一步包含：

步骤102-1)使用测量发生的时间将收集的预测数据集分为两部分：训练集和测试集；

步骤102-2)使用训练集的数据训练预测模型，将训练集数据带入模型公式，以预测值和真实值的最小均方误差为标准，不断调整模型参数并利用梯度下降算法求得模型参数的最优数值；

步骤102-3)利用步骤102-2)中得到的模型参数的取值，得到完整预测模型，将测试集中的数据带入完整预测模型，进行预测，再将预测所得结果反归一化得到预测值。

8.一种视频网站的服务性能预测系统，其特征在于，所述系统包含：

预处理模块，用于通过模拟用户请求，定时测量视频网站性能参数，计算性能参数之间的相关系数；

如果相关系数的绝对值超过预设阈值时，将所有性能参数的值存入对应网站的性能预测数据集，否则，仅把下载速率存入对应网站的性能预测数据集；

其中，所述性能参数包含：连接时间和下载速率；

预测模块，用于对预测数据集进行参数无量纲化和归一化预处理，基于预处理后得到的数据和时间序列模型或机器学习模型预测下一时刻的视频网站的服务性能；

其中，对时间序列模型或机器学习模型输出的归一化预测结果进行反归一化即得到用户在下一时刻访问视频网站可获得的真实的服务性能预测值。

9.根据权利要求8所述的视频网站的服务性能预测系统，其特征在于，当性能参数包含连接时间和下载速率时，所述预处理模块进一步包含：

测量子模块，通过在节点上设定地址列表并模拟用户行为，定时向地址列表中的视频网站发送请求，测量视频网站的连接时间和下载速率；

判决存储子模块，用于判断如果相关系数的绝对值超过预设阈值时，将所有性能参数的值存入对应网站的性能预测数据集，否则，仅把下载速率存入对应网站的性能预测数据集。

10.根据权利要求8或9所述的视频网站的服务性能预测系统，其特征在于，当采用三阶指数平滑预测模型时，所述预测模块进一步包含：

分组子模块，用于采用测量发生的时间将收集的预测数据集分为两部分：训练集和测试集；

预测模型参数最优值获取模块，用于采用训练集的数据训练预测模型，将测试集的数据带入模型公式，以预测值和真实值的最小最方误差为标准，不断调整模型参数，并利用梯度下降算法求得模型参数的最优数值；

预测值获取模块，用于利用预测模型参数最优值获取模块得到的模型参数的取值，得到完整预测模型；再将测试集中的数据带入预测模型，进行预测，最后预测所得结果反归一化得到预测值。