CN105812834A - 基于聚类信息的视频推荐服务器、推荐方法和预缓存方法 - Google Patents

Abstract

本发明公开了一种基于聚类信息的视频推荐服务器、视频推荐方法和预缓存方法，通过结合观看行为中呈现的偏序信息和聚类信息，结合特征建模方式，通过贝叶斯网络构建一个整合模型，进一步通过用户历史数据挖掘提炼模型参数，服务于移动自组网中视频预取和预缓存的决策。本发明用于移动设备在移动自组网中相互之间共享流媒体数据时候提供视频预测和预取服务，通过提高缓存命中率，使得用户在请求视频数据时候，能够更多从本地得到满足，系统通过尽量少的广播，满足尽量多未来的视频请求，进一步减少了网络中视频传输的数据量，提高整体网络吞吐量和传输带宽，大幅度提升整个网络的通信效率。

Description

基于聚类信息的视频推荐服务器、推荐方法和预缓存方法

技术领域

本发明属于无线移动自组网中的内容推荐与缓存领域，尤其涉及一种基于聚类信息的视频推荐服务器、视频推荐方法以及预缓存方法，应用于无线移动自组网中小视频流媒体数据的推荐与缓存。

背景技术

流媒体业务在移动用户中的迅速流行，给传统基于基站的传输方式带来巨大的挑战。视频流因其巨大的数据量使得带宽占用接近饱和，人们提出使用移动自组网来提高网络吞吐量。但是，无线信号的开放性使得无线节点的有效带宽受到制约。

解决这个问题的方法之一，是使用预缓存策略对未来可能观看的视频进行预取。为此，必须能够预测出用户未来的行为，这正是推荐系统所解决的问题。传统的推荐系统受到如“数据稀疏性”和“冷启动”等诸多问题。为此，结合实际的应用场景，尽可能多的利用可用数据，成了有效的解决方案。

发明内容

发明目的：针对现有技术中存在的上述问题，本发明提出一种基于聚类信息的视频推荐服务器、基于聚类信息的视频推荐方法以及预缓存方法，利用无线信道传输的广播特征，结合聚类信息来达到有效的视频预测，在保证缓存命中率的情况下实施视频预缓存，以整体提升移动自组网的传输效率。

技术方案：为达到上述目的，本发明提供的基于聚类信息的视频推荐服务器，包括：

接口模块，负责与用户进行通信接收用户观看视频的原始数据，对原始数据进行存储作为历史数据，并将原始数据转换为偏序信号和聚类信号，将偏序信号输入偏序信号队列，将聚类信号输入聚类信号队列；

推荐模块，使用推荐模型计算对视频的偏好值得到推荐列表，并将推荐列表交由所述接口模块发送给用户；

偏序信号更新模块，从所述偏序信号队列中获取偏序信号执行更新步骤，对所述推荐模型进行更新；

聚类信号更新模块，从所述聚类信号队列中获取聚类信号执行更新步骤，对所述推荐模型进行更新。

其中，所述偏序信号是指某一用户对某一视频的偏好；所述聚类信号是指某一用户在一个时间段内观看的两个视频所形成的聚类。

其中，所述推荐模块使用的推荐模型为：

用一个d维度实数域上的特征向量u代表某一用户，用一个d维度实数域上的特征向量v代表某一视频；

某一用户u对某一视频v的偏好值通过公式u^Tv计算；

某一用户u对于视频v_j和视频v_k形成的聚类值通过公式∑_dv_juv_k计算，j、k用于表示不同的视频。

其中，所述偏序信号更新模块与所述聚类信号跟新模块对推荐模型的更新，包括以下步骤：

(1)通过贝叶斯网络将用户的偏序信号与聚类信号构建成随机事件，将每个用户的所有偏序事件和所有聚类事件分别建立极大似然得到两个初级目标函数，对两个初级目标函数分别求取对数后叠加，并加上对偏序事件与聚类事件的惩罚项，得到终极目标函数；

(2)使用梯度下降法对所述终极目标函数进行求解，得到用户和视频的特征向量的更新规则；

(3)收集用户观看视频的历史数据，使用上述更新规则对用户和视频的特征向量进行更新。

相应地，本发明还提供了一种基于聚类信息的视频推荐方法，包括以下步骤：

(1)提取用户的偏序信号和聚类信号，对每一个用户的偏序信号和聚类信号使用特征向量进行建模，所述偏序信号是指某一用户对某一视频的偏好；所述聚类信号是指某一用户在一个时间段内观看的两个视频所形成的聚类；

(2)通过贝叶斯网络将用户的偏序信号与聚类信号构建成随机事件，将每个用户的所有偏序事件和所有聚类事件分别建立极大似然得到两个初级目标函数，对两个初级目标函数分别求取对数后叠加，并加上对偏序事件与聚类事件的惩罚项，得到终极目标函数；

(3)使用梯度下降法对所述终极目标函数进行求解，得到用户和视频的特征向量的更新规则；

(4)收集用户的视频观看历史数据，使用所述更新规则对用户和视频的特征向量进行更新；

(5)每隔一段时间，利用用户特征向量和视频特征向量计算用户对视频的偏好值；对每个用户，将视频按照偏好值从高到低排序，截取排名高的若干个视频作为推荐列表；

(6)将视频推荐列表推送至相应的用户。

具体地，步骤(1)中对用户的偏序信号和聚类信号使用特征向量进行建模，包括以下步骤：

用一个d维度实数域上的特征向量u代表某一用户，用一个d维度实数域上的特征向量v代表某一视频；

某一用户u对某一视频v的偏好值通过公式u^Tv计算；

某一用户u对于视频v_j和视频v_k形成的聚类值通过公式∑_dv_juv_k计算，j、k用于表示不同的视频。

具体地，步骤(2)中所述偏序事件为：用户u对视频v_j的喜爱程度超过对视频v_k的喜爱程度，该事件的概率建模为：p(rank)＝1/(1+e^-pref)，其中，pref＝∑_duv_j-uv_k；

所述聚类事件为：用户u认为视频v_j与视频v_k聚类程度高于视频v_j与v_l的聚类程度，该事件的概率建模为：p(cluster)＝1/(1+e^-clu)，其中，clu＝∑_dv_juv_k-v_juv_l；j、k、l用于表示不同的视频。

具体地，所述最终目标函数为：

$\begin{array}{c}\underset{(u,v_j,v_k)\∈\mathrm{Rank}}{\mathrm{\Σ}}\log (1+e^{\mathrm{pref}})+\underset{(u,v_j,v_k,v_l)\∈\mathrm{Cluster}}{\mathrm{\Σ}}\log (1+e^{\mathrm{clu}})\\ -(1_{\mathrm{Rank}}(u,v_j,v_k)({\mathrm{\α}}_u+{\mathrm{\α}}_v)+1_{\mathrm{Cluster}}(u,v_j,v_k,v_l)({\mathrm{\β}}_u+{\mathrm{\β}}_v))(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{u}_i^T{u}_i+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{v}_i^T{v}_i)\end{array}$

式中，Rank为偏序事件构成偏序数据集，Cluster为聚类事件构成聚类数据集，σ(x)＝1/(1+e^-x)，且α_u、α_v、β_u、β_v是预先设定的常数。

进一步，本发明还提供了一种基于聚类信息的视频推荐与预缓存方法，该方法能够应用于无线移动自组网，包括以下步骤：

首先利用上述视频推荐方法将视频推荐列表推送至相应的用户；

用户监听到网络中传输的视频数据时，进行如下操作：若该视频已经被观看，那么直接忽略该视频数据；若该视频还未被观看，且缓存空间未满，那么缓存该视频；若该视频还未被观看，且缓存空间已经满，那么将缓存中的所有视频根据推荐列表进行排序，放弃推荐列表中排列在最后一位的视频，用监听到的视频数据代替被淘汰的视频。

有益效果：本发明中基于聚类信息的视频推荐服务器，采用基于聚类信息进行视频推荐的方法，通过结合观看行为中呈现的偏序信号和聚类信号，结合特征建模方式，通过贝叶斯网络构建一个整合模型，进一步通过用户历史数据挖掘提炼模型参数，服务于移动自组网中视频预取和预缓存的决策。

在移动自组网中，发送端的任何数据传输，都能够被传输范围内的节点监听到。本发明中的基于聚类信息的视频推荐与预缓存方法中监听节点通过判断传输的视频是否对其有价值而决定是否缓存该视频。当监听到一个视频传输时，以本发明提供的基于聚类信息的视频推荐方法判断该视频对用户是否有价值，以进行预缓存处理。本发明通过预缓存技术，在保证一定的缓存命中率的基础上，大幅减少了视频传输在移动自主网中的必要性，从而降低网络信道争用频次，整体上提升了网络带宽与吞吐量，同时视频对请求的响应时间和卡顿现象也得以相应的优化。

附图说明

图1是本发明中基于聚类信息的视频推荐与预缓存方法的应用场景示意图；

图2是本发明中基于聚类信息的视频推荐服务器的模块示意图；

图3是推荐服务器中推荐算法的图模型；

图4是本发明中基于聚类信息的视频推荐方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

图1是本实施例的应用场景示意图，本实施例应用场景为，在无线设备组成的无线自组网中，每个用户拥有不同的视频资源。在一次视频传输过程中，从发送端到接收端的过程中，一个视频能够被多个设备监听到，通过监听缓存的方式使得移动设备预先缓存各自需要的视频。

图2中基于聚类信息的视频推荐服务器，包括接口模块、推荐模块、偏序信号更新模块和聚类信号更新模块，接口模块负责与用户进行通信接收用户观看视频的原始数据，对原始数据进行存储作为历史数据，并将原始数据转换为偏序信号和聚类信号，将偏序信号输入偏序信号队列，将聚类信号输入聚类信号队列；推荐模块使用推荐模型计算对视频的偏好值得到推荐列表，并将推荐列表交由所述接口模块发送给用户；偏序信号更新模块从所述偏序信号队列中获取偏序信号执行更新步骤，对所述推荐模型进行更新；聚类信号更新模块，从所述聚类信号队列中获取聚类信号执行更新步骤，对所述推荐模型进行更新。

图3是推荐决策算法的图模型，图中示出了模型中涉及的随机变量以及之间的依赖关系，我们的目标就是求出这些随机变量的联合概率的最大值。u_i，v_j，v_k，v_l分别代表第i个用户以及第j、k、l个视频的特征向量，δ_ijk代表事件“用户i对视频j的偏好程度高于对于视频k”这一事件，这一事件的概率由涉及到的用户和视频的特征向量决定。ω_ijkl代表事件“用户认为视频j与k聚类程度高于视频j与l的聚类程度”这一事件，事件概率同样由对应的用户和视频的特征向量决定。

图4中基于聚类信息的视频推荐方法，左侧为偏序信号处理，右侧为聚类信号处理；在原始数据中，提取相应的信号，使用相应模型将其表示为一个事件的概率；假设事件之间相互独立得到最后的目标函数。具体地，包括以下步骤：

步骤1)提取用户偏序信号和聚类信号，对每一个用户偏序信号和聚类信号使用特征向量进行建模，所述偏序信号是指某一用户对某一视频的偏好；所述聚类信号是指某一用户在一个时间段内观看的两个视频所形成的聚类，步骤如下：

11)用一个d维度实数域上的特征向量u_i代表一个用户，用一个d维度实数域上的特征向量v_j代表一个视频；

12)某一用户u_d对某一视频v_d的偏好值通过公式u_d ^Tv_d计算；

13)使用一个大小为t的时间窗口，根据视频的观看时间，提取在一个时间窗口内的每一对视频，将其视为一个聚类信号；某一用户u_d对于视频v_1d和视频v_2d形成的视频对的聚类值通过公式∑_dv_1du_dv_2d计算。

步骤2)通过贝叶斯网络将用户的偏序信号与聚类信号建模成随机事件，提出整合的优化目标，步骤如下：

21)对每个用户，将该用户看过的视频作为一个正例，将该用户没看过的视频作为负例，对于一个用户u_d，他的每个正例视频v_1d和负例视频v_2d构成一个偏序事件，即“用户u_d对视频v_1d的喜爱程度超过对视频v_2d的喜爱程度”，所有偏序事件构成偏序数据集Rank，差值程度通过公式pref＝∑_du_dv_1d-u_dv_2d计算，该事件的概率被建模为p(rank)＝1/(1+e^-pref)；

22)对于一个用户u_d，其在一个时间窗口内观看的两个视频v_1d、v_2d以及未观看的一个视频v_3d构成一个聚类事件，即“用户u_d将视频v_1d、v_2d聚类在一起，不倾向于将视频v_1d与视频v_3d聚类在一起”，所有聚类事件构成聚类数据集Cluster，差别程度通过公式clu＝∑_dv_1du_dv_2d-v_1du_dv_3d计算，该事件的概率被建模为p(cluster)＝1/(1+e^-clu)；

23)对于系统中的每个用户的所有偏序事件和所有聚类事件，建立反馈数据的极大似然，得到两个初级目标函数，如公式：

${\∏}_{(u,v_1,v_2)\∈\mathrm{Rank}}\mathrm{\ρ}(u,v_1,v_2),{\∏}_{(u,v_1,v_2,v_3)\∈\mathrm{Cluster}}\mathrm{\ρ}(u,v_1,v_2,v_3);$

24)对目标函数求取对数，同时加上对偏序事件与聚类事件的惩罚项，得到终极目标函数如下：

$\begin{array}{c}\underset{(u,v_j,v_k)\∈\mathrm{Rank}}{\mathrm{\Σ}}\log (1+e^{\mathrm{pref}})+\underset{(u,v_j,v_k,v_l)\∈\mathrm{Cluster}}{\mathrm{\Σ}}\log (1+e^{\mathrm{clu}})\\ -(1_{\mathrm{Rank}}(u,v_j,v_k)({\mathrm{\α}}_u+{\mathrm{\α}}_v)+1_{\mathrm{Cluster}}(u,v_j,v_k,v_l)({\mathrm{\β}}_u+{\mathrm{\β}}_v))(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{u}_i^T{u}_i+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{v}_i^T{v}_i)\end{array}$

在上式中，α和β分别对应着目标函数对偏序事件和聚类事件的惩罚参数，这么做相当于给不同类型信号不同的权重，同时避免训练的“过拟合”现象，其中α_u和α_v分别对应用户和视频的偏序信号惩罚参数，β_u和β_v分别对应用户和视频的聚类信号惩罚参数。1_Rank(u,v₁,v₂)和1_Cluster(u,v₁,v₂,v₃)分别代表指示函数，当(u,v₁,v₂)在偏序信号之中出现，1_Rank(u,v₁,v₂)则返回1，否则返回0；1_Cluster(u,v₁,v₂,v₃)同理。实际实验中对聚类事件减少惩罚权重，能够大幅度提高推荐的准确率。具体操作即，当遇到的是偏序事件，使用α作为惩罚系数，若是聚类事件，则使用β。

步骤3)求解终极目标函数获得更新规则，利用用户和视频的特征向量的更新规则再对模型参数进行更新，计算用户对视频的偏好值得到视频推荐列表并进行周期性推送，具体包括以下步骤：

31)使用梯度下降法对目标函数求解，得到模型参数即用户和视频的特征向量的更新规则：

321)对于每一个偏序信号δ_ijk，用如下规则更新相应用户和视频的特征向量：

u_id←u_id-α_u(1-σ(pref))(v_jd-v_kd)

v_jd←v_jd-α_v(1-σ(pref))u_id

v_kd←v_kd+α_v(1-σ(pref))u_id

其中σ(x)＝1/(1+e^-x)，且α_u、α_v是预先设定的常数。

322)对于每一个聚类信号ω_ijkl，用如下规则更新相应用户和视频的特征向量：

u_id←u_id-β_u(1-σ(clu))(v_jdv_kd-v_jdv_ld)

v_jd←v_jd-β_v(1-σ(clu))(u_idv_kd-v_idv_ld)

v_kd←v_kd-β_v(1-σ(clu))u_idv_jd

V_ld←v_ld+β_v(1-σ(clu))u_idv_ld

其中σ(x)＝1/(1+e^-x)，且β_u、β_v是预先设定的常数。

32)无线自组网中的推荐服务器收集用户的观看历史记录，使用上述更新规则对相应的模型参数进行更新；

33)每隔一段时间，服务器使用用户特征向量u_i和视频特征向量v_j，通过内积获取用户对视频的偏好值。对每个用户，将视频按照偏好值从高到低排序，截取排名高前几个视频作为推荐列表，将相关用户的视频推荐列表推送到用户。

本发明中基于聚类信息的视频推荐与预缓存方法，在移动自组网视频共享应用中，通过无线网络的广播传输，结合上述介绍的基于聚类信息的视频推荐方法对视频内容进行缓存处理，包括以下步骤：

首先利用上述视频推荐方法将视频推荐列表推送至相应的用户；

用户在监听到任何视频数据时，根据以下步骤做进一步判断：

若该视频已经被观看，那么直接忽略该视频数据；

若该视频还未被观看，且缓存空间未满，那么缓存该视频；

若该视频还未被观看，且缓存空间已经满，那么将缓存中的所有视频根据推荐列表进行排序，放弃推荐列表中最后一位的视频，用监听到的视频数据代替被淘汰的视频。

综上所述，本发明采用了基于聚类信息的视频推荐与预缓存的方法，利用无线网络广播传输的特性，中间节点尽量多得监听缓存网络中的视频。为了进一步提升缓存的命中率，本发明提出了结合偏好信息与聚类信息的推荐算法，从用户的历史记录中挖掘用户喜好和视频特性，精准预测用户将来所观看的视频，从而在缓存空间满的时候准确判断该放弃哪些视频。借助改进的推荐算法，缓存命中率得到了大幅提升，实验结果表明，通过引入聚类信息，所需的视频传输次数大量减少，整体上提高了网络吞吐量和移动用户的个人体验，优化了移动自组网中视频传输的通信效率。

需要说明的是，本文中用户包括常见的手机、平板电脑等移动终端；另外，本文中所涉及到的用户以及视频对应的特征向量下标中所出现的d均表示维度，其他数值则是为了表示不同的用户或者不同的视频而引入，若特征向量没有带下标，则默认其维度为d。

以上实施例仅是本发明的较佳实施例，对本发明不构成限定，相关工作人员在不偏离本发明技术思想的范围内，所进行的多样变化和修改,均落在本发明的保护范围内。

Claims (9)

1.一种基于聚类信息的视频推荐服务器，其特征在于，包括：

接口模块，负责与用户进行通信接收用户观看视频的原始数据，对原始数据进行存储作为历史数据，并将原始数据转换为偏序信号和聚类信号，将偏序信号输入偏序信号队列，将聚类信号输入聚类信号队列；

推荐模块，使用推荐模型计算对视频的偏好值得到推荐列表，并将推荐列表交由所述接口模块发送给用户；

偏序信号更新模块，从所述偏序信号队列中获取偏序信号执行更新步骤，对所述推荐模型进行更新；

聚类信号更新模块，从所述聚类信号队列中获取聚类信号执行更新步骤，对所述推荐模型进行更新。

2.根据权利要求1所述的基于聚类信息的视频推荐服务器，其特征在于，所述偏序信号是指某一用户对某一视频的偏好；所述聚类信号是指某一用户在一个时间段内观看的两个视频所形成的聚类。

3.根据权利要求2所述的基于聚类信息的视频推荐服务器，其特征在于，所述推荐模块使用的推荐模型为：

用一个d维度实数域上的特征向量u代表某一用户，用一个d维度实数域上的特征向量v代表某一视频；

某一用户u对某一视频v的偏好值通过公式u^Tv计算；

某一用户u对于视频v_j和视频v_k形成的聚类值通过公式∑_dv_juv_k计算，j、k用于表示不同的视频。

4.根据权利要求3所述的基于聚类信息的视频推荐服务器，其特征在于，所述偏序信号更新模块与所述聚类信号跟新模块对推荐模型的更新，包括以下步骤：

(1)通过贝叶斯网络将用户的偏序信号与聚类信号构建成随机事件，将每个用户的所有偏序事件和所有聚类事件分别建立极大似然得到两个初级目标函数，对两个初级目标函数分别求取对数后叠加，并加上对偏序事件与聚类事件的惩罚项，得到终极目标函数；

(2)使用梯度下降法对所述终极目标函数进行求解，得到用户和视频的特征向量的更新规则；

(3)收集用户观看视频的历史数据，使用上述更新规则对用户和视频的特征向量进行更新。

5.一种基于聚类信息的视频推荐方法，其特征在于，包括以下步骤：

(1)提取用户的偏序信号和聚类信号，对每一个用户的偏序信号和聚类信号使用特征向量进行建模；

(2)通过贝叶斯网络将用户的偏序信号与聚类信号构建成随机事件，将每个用户的所有偏序事件和所有聚类事件分别建立极大似然得到两个初级目标函数，对两个初级目标函数分别求取对数后叠加，并加上对偏序事件与聚类事件的惩罚项，得到终极目标函数；

(3)使用梯度下降法对所述终极目标函数进行求解，得到用户和视频的特征向量的更新规则；

(4)收集用户的视频观看历史数据，使用所述更新规则对用户和视频的特征向量进行更新；

(5)每隔一段时间，利用用户特征向量和视频特征向量计算用户对视频的偏好值；对每个用户，将视频按照偏好值从高到低排序，截取排名高的若干个视频作为推荐列表；

(6)将视频推荐列表推送至相应的用户。

6.根据权利要求5所述的基于聚类信息的视频推荐方法，其特征在于，步骤(1)中对用户的偏序信号和聚类信号使用特征向量进行建模，包括以下步骤：

用一个d维度实数域上的特征向量u代表某一用户，用一个d维度实数域上的特征向量v代表某一视频；

某一用户u对某一视频v的偏好值通过公式u^Tv计算；

某一用户u对于视频v_j和视频v_k形成的聚类值通过公式∑_dv_juv_k计算，j、k用于表示不同的视频。

7.根据权利要求6所述的基于聚类信息的视频推荐方法，其特征在于，步骤(2)中所述偏序事件为：用户u对视频v_j的喜爱程度超过对视频v_k的喜爱程度，该事件的概率建模为：p(rank)＝1/(1+e^-pref)，其中，pref＝∑_duv_j-uv_k；

所述聚类事件为：用户u认为视频v_j与视频v_k聚类程度高于视频v_j与v_l的聚类程度，该事件的概率建模为：p(cluster)＝1/(1+e^-clu)，其中，clu＝∑_dv_juv_k-v_juv_l；j、k、l用于表示不同的视频。

8.根据权利要求7所述的基于聚类信息的视频推荐方法，其特征在于，所述最终目标函数为：

$\begin{array}{c}\underset{(u,v_j,v_k)\∈Rank}{\mathrm{\Σ}}\log (1+e^{pref})+\underset{(u,v_j,v_k,v_l)\∈Cluster}{\mathrm{\Σ}}\log (1+e^{clu})\\ -\left(1_{Rank}\right(u,v_j,v_k\left)\right({\mathrm{\α}}_u+{\mathrm{\α}}_v)+1_{Cluster}(u,v_j,v_k,v_l\left)\right({\mathrm{\β}}_u+{\mathrm{\β}}_v\left)\right)(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{u}_i^T{u}_i+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{v}_i^T{v}_i)\end{array}$

式中，Rank为偏序事件构成偏序数据集，Cluster为聚类事件构成聚类数据集，σ(x)＝1/(1+e^-x)，且α_u、α_v、β_u、β_v是预先设定的常数。

9.一种基于聚类信息的视频推荐与预缓存方法，应用于无线移动自组网，其特征在于，包括以下步骤：

利用权利要求5至8中任意一项所述的视频推荐方法将视频推荐列表推送至相应的用户；

用户监听到网络中传输的视频数据时，进行如下操作：

若该视频已经被观看，那么直接忽略该视频数据；

若该视频还未被观看，且缓存空间未满，那么缓存该视频；

若该视频还未被观看，且缓存空间已经满，那么将缓存中的所有视频根据推荐列表进行排序，放弃推荐列表中排列在最后一位的视频，用监听到的视频数据代替被淘汰的视频。