CN103441902A - 基于流媒体用户行为分析的流量产生方法 - Google Patents

Abstract

本发明提供一种基于流媒体用户行为分析的流量产生方法，包括步骤：确定Markov视频转移概率矩阵；根据视频被观看的概率确定出第一个观看的视频；当前观看视频的操作类型X1，Markov操作转移概率矩阵确定出观看的视频下一个所对应的操作类型X2；根据视频操作类型X2服从的概率密度分布得出该操作类型X2执行的时间t，视频服务器发送相对应的控制请求数据，所述控制请求包括播放、暂停及断开；根据Markov视频转移概率矩阵、视频请求间隔△t确定下一个视频，直到最后一个视频为止，视频服务器停止发送控制请求数据。本发明对网络上已有的视频网站通过SUBS模型来模拟用户观看行为产生流量，能够更加准确反映最真实的用户请求流量状况，更贴近用户实时请求。

Description

基于流媒体用户行为分析的流量产生方法

技术领域

本发明涉及用户行为分析技术及网络流量产生技术，具体是基于流媒体用户行为分析的流量产生方法。

背景技术

互联网属于实践性很强的领域，相关的研究成果只有在经过实践验证后才会被广泛接受。因此，研究人员需要搭建网络实验床去验证新的网络体系架构、协议、服务等。由于实验床没有真实的用户，所以我们要通过流量发生器来产生大量而且逼真的网络流量，其性能指标对实验结果有直接影响。视频网站发展十分迅速，艾瑞咨询数据显示，2012年5月，在线视频用户覆盖率已达到96%，用户规模首次超越搜索服务跃居第一，互联网上流量流媒体业务占了大部分。另一方面单用户的情况下流媒体业务产生的流量要比网页访问大的多，所以要产生大量而且逼真的网络流量选择流媒体流量是合适的。

目前用于产生网络流量的方法主要有两种：一、网络流量回放——利用网络嗅探器对网络进行嗅探并将获取的数据记录在日志文件中，然后根据日志文件中记录的内容产生网络流量；二、模型流量产生——在了解网络特性后对网络流量建立数学模型，并按照数学模型发送数据包，从而产生符合整体网络特性的网络流量。方法一所产生流量受日志文件约束每次产生的流量都是一样的，流量过于机械；方法二从网络流量整体服从的概率模型入手，产生的网络流量与真实流量在整体上较为接近，但是不能反映单个用户的行为，在很多环境中显得不足。如在面向服务的网络中，服务迁移时往往需要统计单个用户对某一服务的请求次数、喜好程度，以决定是否进行服务迁移，传统方法对此不能有效支持。

与本发明为同一申请人，于2012年12月17日申请了一种基于用户行为分析的web用户流量产生方法，用于刻画用户的浏览行为、页面受欢迎程度，能比较准确的刻画用户的网页浏览行为；但是也存在网络用户通过浏览页面来产生流量不足的瓶颈，当遇到需要对互联网的流媒体业务进行刻画时，该web用户流量产生方法就不能达到目的了，因此提供一种基于流媒体用户行为分析的流量产生方法就显得尤为重要了。

目前对于在线视频流量的产生方法还比较少，使用的方法主要包括一下几种：openRTSP（开源播放器live555提供的测试工具）、StreamingLoadTool（苹果公司的流媒体服务器程序Darwin Streaming Server的工具）、Windows MediaLoad Simulator（微软专门测试Windows媒体服务器的软件）。以上方法仅仅是通过客户机向服务器发送播放请求产生网络流量，没有考虑到用户视频播放特征（如播放/暂停时间、视频的选择、观看视频数量等），多用于流媒体服务器的压力测试等。

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种产生流量足够大而且能够体现真实用户的网络行为的基于用户行为分析的流媒体用户流量产生方法，为达到上述目的，本发明的技术方案是：一种基于流媒体用户行为分析的流量产生方法,其包括以下步骤：

101、采用网络嗅探器获取流媒体用户的网站日志文件，得出每个视频的播放次数、每个视频的播放时间t、暂停时间T、视频前进距离l、视频后退距离L、被观看视频的数量n、视频请求间隔△t、操作状态切换概率P_ij，确定出Markov视频转移概率矩阵，并采用K-S法分别得出视频播放时间t、暂停时间T、视频前进距离l、视频后退距离L、被观看视频的数量n、视频请求间隔△t服从的概率密度分布；前述操作切换概率P_ij表示某视频从操作状态i换到操作状态j的概率，操作状态包括暂停、播放、前进、后退、停止；

102、根据步骤101中得到视频的播放次数确定出视频被观看的概率P，并确定出第一个被观看的视频；

103、根据当前观看视频的操作状态i，并根据步骤101得到的操作状态切换概率P_ij确定出观看的视频下一个所对应的操作状态j，所述操作状态包括暂停、播放、前进、后退、停止；

104、根据步骤103中的视频操作状态j服从的概率密度分布得出该操作状态j执行的时间t'，根据步骤103得到的操作状态j和本步骤得到的操作时间t'形成数据流量通过流媒体服务器发送给客户端，客户端统计出发送流量；

105、根据步骤101中得到的视频请求间隔△t，根据Markov视频转移概率矩阵确定下一个视频，直到最后一个视频为止，流媒体服务器停止发送数据流量。

进一步的，步骤102中确定第一个观看的视频的方法为：

A、随机选取视频Vi，根据公式

计算得到视频Vi的观看概率为p_i；其中

，总共有n个视频，依次为V1,V2…Vi…Vn，其中S_i表示视频Vi被观看的次数，p_i表示观看视频Vi的概率，并设定观看视频的截止观看概率x， $x\⋐\left[\mathrm{0,1}\right];$

B、当p_i≤x时不观看该视频，返回步骤A，直到p_i>x时确定出第一个观看的视频Vi。

本发明的优点及有益效果如下：

本发明基于用户行为分析的流量产生方法较传统方法使产生的网络流量逼真度更高，对网络设备性能测试、网络协议评估提供更好的支持；对真实的视频网站的视频进行请求，产生的流量更真实；通过多线程方式可以产生大规模网络流量，也可以实现在一个客户端上对不同视频同时访问，互不影响。

附图说明

图1为本发明优选实施例流媒体用户行为分析的流量产生方法流程图；

图2为Markov模型转移矩阵；

图3概率密度图；

图4播放请求流程图。

具体实施方式

下面结合附图给出一个非限定性的实施例对本发明作进一步的阐述。

图1是本发明实施例的一种网络流量产生方法的流程图，包括如下步骤：

步骤101,对网站日志文件进行数据挖掘和分析，提取出播放时间、暂停时间、前进距离、后退距离、各个视频被观看的次数、观看视频的数量、视频请求间隔、视频切换关系和观看的视频数量等数据，并对上述数据进行K-S检验（K-S test）确定其服从的分布及相关参数，确定Markov视频转移矩阵、Markov操作转移矩阵。对以上分布及模型参数的确定可以分两种情况：（1）在能得到网站访问日志文件的情况下，可以直接对日志文件进行数据挖掘和分析，提取出各个内容的分布及参数。（2）在知道分布参数的情况下可以直接设定分布和参数。

步骤102，在步骤101的基础上，把各模型参数保存在全局变量中以供后面的步骤查询、修改。

步骤103,根据视频的受欢迎程度确定所观看的第一个视频。假设包含n（n>0）个视频，依次为V1,V2,…Vn。其中S_i表示视频Vi被观看的次数，P(i)表示观看视频Vi的概率，计算方法如公式1所示

$p_i=\frac{S_i}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{S}_j}$ （公式1）

确定第一个观看的视频的方法为：①随机产生一个1到N之间的随机数i，根据公式1计算得到视频i的观看概率为p_i；②以概率p_i决定是否观看该视频，如果不观看该视频这转到①，直到确定第一个观看的视频为止。

步骤104，在步聚101所计算的Markov转移矩阵（Markov模型）的基础上，根据转移概率确定下一个要执行的操作P。用Markov模型对用户观看操作作出预测。Markov模型可以表示为一个三元组MK={X,A，π}（如图2）,其中X是一个离散随机变量，值域为{X₁,X₂,…,X_n}其中每个X_i代表一个操作（比如暂停、播放、前进、后退、停止等），称为模型的一个状态，A为转移概率矩阵。P_ij=P{X_t=X_j|X_t-1=X_i}表示在t-1个操作为X_i的条件下，在t个操作为X_j的概率,π为初始状态分布，每一项为P_i=P(X_t=0=X_i)。

转移矩阵A及初始状态矩阵π可由用户事先指定或由模型参数预处理模块从视频日志中计算得出。其计算方法描述如下：①将视频日志中的观看记录按IP地址进行聚合；②从聚合的视频日志中随机抽取N个用户的观看记录构成学习数据集合U={u₁,u₂…u_n}。利用该学习数据，采用极大似然估计可以估计出Markov模型中的所有参数，计算方法如公式2所示：

$p_{\mathrm{ij}}=\frac{S_{\mathrm{ij}}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}}$ （公式2）

根据用户现在的执行的操作及Markov模型中的转移矩阵就可以预测用户下一个可能的操作（S_ij表示在用户观看序列中从操作i切换到操作j的次数，P_ij表示操作i转移到操作j的概率，P_i为Markov矩阵的初始状态分布，即在初始的操作为i的概率）。。

步骤105,在得到要执行的操作后，我们要确定该操作执行的时间（比如播放/暂停的时间、前进/后退的距离）。

给定一个操作，其执行时间T_i根据该操作时间服从的分布及参数确定，例如操作为前进，而前进距离服从对数正态分布（log-normal），参数为μ和σ其概率密度函数为：

$f(x;\mathrm{\μ},\mathrm{\σ})=\frac{1}{\mathrm{x\σ}\sqrt{2\mathrm{\π}}}{e}^{-{(\ln x-\mathrm{\μ})}^2/{2\mathrm{\σ}}^2}$ (公式3)

如果对应的操作服从的分布是weibull分布那么其概率密度函数为（参数为λ和k）：

$f(x;\mathrm{\λ},k)=\frac{k}{\mathrm{\λ}}{\left(\frac{x}{\mathrm{\λ}}\right)}^{k-1}{e}^{-{(x/\mathrm{\λ})}^k}$ (公式4)

分布的概率密度如图3所示，X轴代表取值，Y轴代表取该值的概率f(x)，其中0=<f(x)<=1。根据服从分布及参数产生随机数的方法为：

①产生1到N（N为取值的最大值）之间的随机数x，根据概率密度和参数求得取该值的概率f（x）；

②随机产生一个0到1之间的数i，如过i<=f(x)那么随机数x就是我们需要的，否则转到①，直到产生符合的随机数。这样当根据概率密度取数x的概率大的时候被选中的概率就大，这样产生的大量的随机数在总体上就与指定的分布相一致。

步骤106,根据步骤104得到的操作类型和步骤105得到的操作时间，视频服务器发送相对应的控制请求。发送播放请求的控制流程如图4所示。

控制请求主要包括以下三种：

①播放（PLAY）：告诉服务器通过规定的机制开始传输数据

②暂停（PAUSE）：临时停止流，而不释放服务器资源。

③断开（TEARDOWN）：停止流传输，释放资源

步骤107，根据步骤101得到的视频观看数量和已经观看了的视频数判断是否是观看的最后一个视频，若是则本算法结束，否则转步骤108继续。

步骤108，根据步骤101得到的视频请求间隔确定观看两个视频之间的间隔。

步骤109，在步聚102所计算的Markov转移矩阵（Markov模型）的基础上，根据转移概率确定下一个要观看的视频。用Markov模型对用户观看操作作出预测。Markov视频转移模型可以表示为一个三元组MK={X,A，π}（如图2）,其中X是一个离散随机变量，值域为{X₁,X₂,…,X_n}其中每个X_i代表一个视频名，称为模型的一个状态，A为转移概率矩阵。p_ij=P{v_t=V_j|v_t-1=V_i}表示在t-1个观看的视频为Xi的条件下，在t个观看的视频为X_j的概率。

转移矩阵A可由用户事先指定或由模型参数预处理模块从视频日志中计算得出。其计算方法描述如下：①将视频日志中的视频观看记录按IP地址进行聚合；②从聚合的视频日志中随机抽取N个用户的视频观看记录构成学习数据集合U={u₁,u₂…u_n}。利用该学习数据，采用极大似然估计可以估计出Markov模型中的所有参数，计算方法见公式2。

根据用户现在的观看的视频及Markov模型中的转移矩阵就可以预测用户下一个可能观看的视频，用户观看的第一个视频由步骤104确定。

以上方法可以在多个线程上独立执行，互不影响，以达到最大化产生网络流量和真实模拟用户行为的目的。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (2)

1.一种基于流媒体用户行为分析的流量产生方法,其特征在于包括以下步骤：

101、采用网络嗅探器获取流媒体用户的网站日志文件，得出每个视频的播放次数、每个视频的播放时间t、暂停时间T、视频前进距离l、视频后退距离L、被观看视频的数量n、视频请求间隔△t、操作状态切换概率P_ij，确定出Markov视频转移概率矩阵，并采用K-S法分别得出视频播放时间t、暂停时间T、视频前进距离l、视频后退距离L、被观看视频的数量n、视频请求间隔△t服从的概率密度分布；前述操作切换概率P_ij表示某视频从操作状态i换到操作状态j的概率，操作状态包括暂停、播放、前进、后退、停止；

102、根据步骤101中得到视频的播放次数确定出视频被观看的概率P，并确定出第一个被观看的视频；

103、根据当前观看视频的操作状态i，并根据步骤101得到的操作状态切换概率P_ij确定出观看的视频下一个所对应的操作状态j，所述操作状态包括暂停、播放、前进、后退、停止；

104、根据步骤103中的视频操作状态j服从的概率密度分布得出该操作状态j执行的时间t'，根据步骤103得到的操作状态j和本步骤得到的操作时间t'形成数据流量通过流媒体服务器发送给客户端，客户端统计出发送流量；

105、根据步骤101中得到的视频请求间隔△t，根据Markov视频转移概率矩阵确定下一个视频，直到最后一个视频为止，流媒体服务器停止发送数据流量。

2.根据权利要求1所述的基于流媒体用户行为分析的流量产生方法，其特征在于，步骤102中确定第一个观看的视频的方法为：

A、随机选取视频Vi，根据公式

计算得到视频Vi的观看概率为p_i；其中

，总共有n个视频，依次为V1,V2…Vi…Vn，其中S_i表示视频Vi被观看的次数，p_i表示观看视频Vi的概率，并设定观看视频的截止观看概率x， $x\&Subset;\left[\mathrm{0,1}\right];$

B、当p_i≤x时不观看该视频，返回步骤A，直到p_i>x时确定出第一个观看的视频Vi。

Images