CN104317835A - 视频终端的新用户推荐方法 - Google Patents

Abstract

本发明公开了一种视频终端的新用户推荐方法，包括：S1、对所有用户的视频参看数据进行预处理，计算各用户对该视频的评分w；S2、根据w的取值来对视频进行集合分类，包括喜欢、不喜欢、和不知道；S3、从根结点开始，选择最佳的分割视频，自顶向下建立决策树；S4、新用户选择到达某结点时，使用该结点用户集合的平均评分来进行预测对各视频的喜好，完成视频推荐。本发明能够利用用户的隐性信息来判断用户对视频的喜好程度，便于新用户快速而准确的寻找到感兴趣的电影、电视剧以及综艺节目等视频，继而完成对用户进行行之有效的推荐。

Description

视频终端的新用户推荐方法

技术领域

本发明涉及计算机中视频推荐技术领域，尤其涉及一种基于决策树的视频终端的新用户推荐方法。

背景技术

互联网和计算机技术的迅猛发展把人类带到了前所未有的一个信息爆炸的时代，海量的数据在带给我们便利的同时，也使得信息的发现越来越难，在这样的情形下，搜索引擎(Google，百度等等)成为大家快速找到目标信息的最好途径。在用户对自己需求相对明确的时候，用搜索引擎很方便的通过关键字搜索很快的找到自己需要的信息。但搜索引擎并不能完全满足用户对信息发现的需求，那是因为在很多情况下，用户其实并不明确自己的需要，或者他们的需求很难用简单的关键字来表述。又或者他们需要更加符合他们个人口味和喜好的结果，因此出现了推荐系统。如今，随着推荐技术的不断发展，推荐引擎已经在电子商务(E-commerce，例如Amazon，当当网)和一些基于social的社会化站点(包括音乐，电影和图书分享，例如豆瓣，Mtime等)都取得很大的成功。这也进一步的说明了，Web2.0环境下，在面对海量的数据，用户需要这种更加智能的，更加了解他们需求，口味和喜好的信息发现机制。

一般情况下，推荐系统所需要的数据源包括：要推荐物品或内容的元数据，例如关键字，基因描述等；系统用户的基本信息，例如性别，年龄等；用户对物品或者信息的偏好，根据应用本身的不同，可能包括用户对物品的评分，用户查看物品的记录，用户的购买记录等。其实这些用户的偏好信息可以分为两类：

1.显式的用户反馈：这类是用户在网站上自然浏览或者使用网站以外，显式的提供反馈信息，例如用户对物品的评分，或者对物品的评论。

2.隐式的用户反馈：这类是用户在使用网站是产生的数据，隐式的反应了用户对物品的喜好，例如用户购买了某物品，用户查看了某物品的信息等等。

显式的用户反馈能准确的反应用户对物品的真实喜好，但需要用户付出额外的代价，而隐式的用户行为，通过一些分析和处理，也能反映用户的喜好，只是数据不是很精确，有些行为的分析存在较大的噪音。但只要选择正确的行为特征，隐式的用户反馈也能得到很好的效果，只是行为特征的选择可能在不同的应用中有很大的不同，例如在电子商务的网站上，购买行为其实就是一个能很好表现用户喜好的隐式反馈。

1.根据推荐引擎的数据源

其实这里讲的是如何发现数据的相关性，根据不同的数据源发现数据相关性的方法可以分以下几种：

1).根据系统用户的基本信息发现用户的相关程度，这种被称为基于人口统计学的推荐(Demographic-based Recommendation)。

2).根据推荐物品或内容的元数据，发现物品或者内容的相关性，这种被称为基于内容的推荐(Content-based Recommendation)。

3).根据用户对物品或者信息的偏好，发现物品或者内容本身的相关性，或者是发现用户的相关性，这种被称为基于协同过滤的推荐(CollaborativeFiltering-based Recommendation)。

2.根据推荐模型的建立方式

可以想象在海量物品和用户的系统中，推荐引擎的计算量是相当大的，要实现实时的推荐务必需要建立一个推荐模型，关于推荐模型的建立方式可以分为以下几种：

1).基于物品和用户本身的，这种推荐引擎将每个用户和每个物品都当作独立的实体，预测每个用户对于每个物品的喜好程度，这些信息往往是用一个二维矩阵描述的。由于用户感兴趣的物品远远小于总物品的数目，这样的模型导致大量的数据空置，即我们得到的二维矩阵往往是一个很大的稀疏矩阵。同时为了减小计算量，我们可以对物品和用户进行聚类，然后记录和计算一类用户对一类物品的喜好程度，但这样的模型又会在推荐的准确性上有损失。

2).基于关联规则的推荐(Rule-based Recommendation)：关联规则的挖掘已经是数据挖掘中的一个经典的问题，主要是挖掘一些数据的依赖关系，典型的场景就是“购物篮问题”，通过关联规则的挖掘，我们可以找到哪些物品经常被同时购买，或者用户购买了一些物品后通常会购买哪些其他的物品，当我们挖掘出这些关联规则之后，我们可以基于这些规则给用户进行推荐。

3).基于模型的推荐(Model-based Recommendation)：这是一个典型的机器学习的问题，可以将已有的用户喜好信息作为训练样本，训练出一个预测用户喜好的模型，这样以后用户在进入系统，可以基于此模型计算推荐。这种方法的问题在于如何将用户实时或者近期的喜好信息反馈给训练好的模型，从而提高推荐的准确度。

关于隐性数据推荐，现有的研究主要集中在以下3个方面

1.OCCF，即one class collaborative filtering，使用的方法为wALS，即用已知的rating和部分的未知数据，对不同的数据根据不同的权重来进行更新。

2.直接将隐性反馈映射成显性反馈。在直接映射方法上，常用的有LR，association rule,DT。

3.pairwise,对某一用户进行了交互的两个物品进行了rank,使得已知rating中有正样本和负样本，再根据已知数据进行MF或kNN。

其实在现在的推荐系统中，很少有只使用了一个推荐策略的推荐引擎，一般都是在不同的场景下使用不同的推荐策略从而达到最好的推荐效果，例如Amazon的推荐，它将基于用户本身历史购买数据的推荐，和基于用户当前浏览的物品的推荐，以及基于大众喜好的当下比较流行的物品都在不同的区域推荐给用户，让用户可以从全方位的推荐中找到自己真正感兴趣的物品。

在推荐系统中，我们无时不刻的面对着新用户的加入，如何给新加入的用户提供他们感兴趣的物品，对于推荐系统其为重要。然而，对于新用户我们所获取的相关信息比较欠缺，如何有效的对新用户进行推荐是我们需要研究的课题。

现阶段对于显式数据推荐系统的冷处理问题主要集中在以下两个方面，

1.基于内容的推荐，即基于新用户信息，寻找跟其比较相近的用户，并根据告用户的购物习惯来对其进行推荐。

2.基于adaptive的推荐。建立基于query的决策树并根据每一个query的结果最总获取到相应的用户的喜好，而进一步对新用户做推荐。

但是显示推荐系统，其用户的评分很明确的表示了用户对该物品的喜好程度，而隐性数据的推荐系统中，如何有效而准确的表达用户的喜好程度仍是研究的重点，而隐性数据推荐系统的冷处理则相应研究比较少，其研究必要集中在基于用户本身的信息来进行处理，其推荐结果并不十分理想，且对于有些推荐系统，并不提供其相应的用户信息。

因此，针对上述技术问题，有必要提供一种基于决策树的视频终端的新用户推荐方法。

发明内容

有鉴于此，本发明的目的在于提供一种视频终端的新用户推荐方法。

为了达到上述目的，本发明实施例提供的技术方案如下：

一种视频终端的新用户推荐方法，所述方法包括：

S1、对所有用户的视频参看数据进行预处理，计算各用户对该视频的评分w；

S2、根据w的取值来对视频进行集合分类，包括喜欢、不喜欢、和不知道；

S3、从根结点开始，选择最佳的分割视频，自顶向下建立决策树；

S4、新用户选择到达某结点时，使用该结点用户集合的平均评分来进行预测对各视频的喜好，完成视频推荐。

作为本发明的进一步改进，所述视频包括连续性视频和非连续性视频。

作为本发明的进一步改进，所述视频参看数据包括用户id、视频id、参看开始时间t_on、参看结束时间t_off、视频时长t、参看次数times。

作为本发明的进一步改进，所述评分w的计算公式为：

$w=\frac{t_{\mathrm{off}}-t_{\mathrm{on}}}{t}*(\frac{2}{1+e^{\frac{\mathrm{times}}{{\mathrm{\μ}}_{\mathrm{times}}}}}-1),$

其中，μ_times为所有用户对视频的参看次数。

作为本发明的进一步改进，所述视频为连续性视频，评分w的计算公式为：

$w=\frac{\mathrm{\Σ}\frac{t_{\mathrm{off}}-t_{\mathrm{on}}}{t}}{n_{\mathrm{see}}}*\frac{n_{\mathrm{see}}}{n}*(\frac{2}{1+e^{\frac{\mathrm{times}}{{\mathrm{\μ}}_{\mathrm{times}}}}}-1),$

其中，μ_times为所有用户对视频的参看次数，n_see为参看视频的集数，n为视频的集数。

作为本发明的进一步改进，所述步骤S3中“选择最佳的分割视频”具体为：

对于给定用户集合t，任选一个视频i作为分割，将用户分成三组集合：喜欢、不喜欢、不知道，分别记为tL(i)、tH(i)、tU(i)；

分别计算三组用户集合tL(i)、tH(i)、tU(i)评分的方差e(tL)、e(tH)、e(tU)：

$e^2{\left(t\right)}_i={\mathrm{\Σ}}_{u\∈s_t\∩R\left(i\right)}{(w_{\mathrm{ui}}-\mathrm{\μ}{\left(t\right)}_i)}^2,$

其中，R(i)是所有对视频i有交互的用户集合，μ(t)_i是用户集合对视频i的评分平均值；

计算三组用户集合tL(i)、tH(i)、tU(i)评分的和方差：

Err_t(i)＝e²(tL)+e²(tH)+e²(tU)，

为每个结点寻找最佳的分割视频，使得三个集合和方差之和最小：

splitter(t)^def＝argiminErr_t(i)。

作为本发明的进一步改进，所述步骤S3中建立决策树还包括：

设定决策树的最大深度；

设定最佳分割视频的误差阈值；

设定当前节点的最少评分数量。

本发明具有以下有益效果：

能够利用用户的隐性信息来判断用户对视频的喜好程度，便于新用户快速而准确的寻找到感兴趣的电影、电视剧以及综艺节目等视频，继而完成对用户进行行之有效的推荐。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种视频终端的新用户推荐方法的具体流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的大致思路为：

设置P个可能采访的问题，用户回答的答案为{0,1，unknown}，1表示为喜欢，0表示为不喜欢，unkown表示为不知道。系统根据用户的回答，获取得到用户的兴趣喜好，从而完成视频终端的新用户推荐。

参图1所示，本发明公开了一种视频终端的新用户推荐方法，具体包括：

S1、对所有用户的视频参看数据进行预处理，计算各用户对该视频的评分w；

S2、根据w的取值来对视频进行集合分类，包括喜欢、不喜欢、和不知道；

S3、从根结点开始，选择最佳的分割视频，自顶向下建立决策树；

S4、新用户选择到达某结点时，使用该结点用户集合的平均评分来进行预测对各视频的喜好，完成视频推荐。

以下结合具体实施例对本发明各步骤作进一步说明。

S1、预处理

本实施例中主要针对的是没有评分的隐性数据，其较为常见的为观看视频数据集，该视频包括连续性(电视剧或者综艺视频等)和非连续性视频(电影等)，该数据集相应比较简单，获取的数据格式为{【用户id(user_id)】，【视频(item_id)】，【参看开始时间(t_on)】，【参看结束时间t_off】，【视频时长t】，【参看次数times】}。该数据集的用户并没提供明显评分，为此本实施例提供一种新的表示方法w，用以表示用户对该视频的评分。

$w=\frac{t_{\mathrm{off}}-t_{\mathrm{on}}}{t}*(\frac{2}{1+e^{\frac{\mathrm{times}}{{\mathrm{\μ}}_{\mathrm{times}}}}}-1),$

其中，μ_times为所有用户对视频的参看次数。

进一步地，因为用户的参看视频习惯，其在参看电视剧或者综艺视频等时，其具有一定的连续性，为了更有准确的获取评分w，针对该类数据进行了相应处理：

$w=\frac{\mathrm{\Σ}\frac{t_{\mathrm{off}}-t_{\mathrm{on}}}{t}}{n_{\mathrm{see}}}*\frac{n_{\mathrm{see}}}{n}*(\frac{2}{1+e^{\frac{\mathrm{times}}{{\mathrm{\μ}}_{\mathrm{times}}}}}-1),$

其中，μ_times为所有用户对视频的参看次数，n_see为参看视频的集数，n为视频的集数。

S2、分类

将所有的用户评分数据映射到<喜欢，不喜欢，不知道(unknown)>三维空间上。

在显式数据时，只需要根据其获取的评分来将其分为三类，如获取评分为1-5星，将1-3星映射为不喜欢，4-5星映射为喜欢，未评分则对应不知道；

而对于隐性数据，获取的只有其相应的动作信息，为此，根据相应的数据集对其进行处理。对此，本实施例根据w的取值来对其进行划分，通过对数据的处理发现，其w的分布呈U型发展，即用户在观看时间比较集中在10％以内，以及90％以上，因此，将以观看时长50％为界限，小于50％用户对该视频为不喜欢，反之，用户对其是喜欢的。针对于unkwon，本实例指的是用户没有看过的该视频，对于看过的，对其只有喜欢与不喜欢两种评价。

S3、建立决策树

从根结点开始，选择最佳的分割视频，自顶向下建立决策树。决策树的终止条件，同时考虑以下三种：

设定决策树的最大深度；

设定最佳分割视频的误差阈值；

设定当前节点的最少评分数量。

整个决策树的优化目标是使得RMSE最小，这里为使树均衡和方便计算，在每个结点使用了和方差。

对于给定用户集合t，可以计算评分w的和方差，任选一个视频i，可以计算针对该视频的平方误差：

$e^2{\left(t\right)}_i={\mathrm{\&Sigma;}}_{u\&Element;s_t\&cap;R\left(i\right)}{(w_{\mathrm{ui}}-\mathrm{\&mu;}{\left(t\right)}_i)}^2,$

R(i)是所有对视频i有交互的用户集合，这里特指参看了视频i的用户集合，μ(t)_i是集合用户对视频i的平均值；和方差Err_t(i)＝e²(tL)+e²(tH)+e²(tU)，即将该用户集合t所有评分视频的平方误差相加；

对于给定用户集合t，任选一个视频i作为分割，都会将用户分成三组：喜欢、不喜欢、不知道，分别记为tL(i)、tH(i)、tU(i)。这样可以计算出三个集合的和方差之和。

决策树的每个结点对应一个用户集合，即其父结点的一个特定划分。对于根结点，这个集合就是全体用户。

为每个结点寻找最佳的分割视频，就是找到一个视频i使得三个集合和方差之和最小：

splitter(t)^def＝argiminErr_t(i)，

综上所述，决策树的建立主要集中在计算Err上，具体为：

首节点的选取：计算和方差Err，找到使和方差Err最小的视频，并根据用户对该视频的反应对用户进行划分，喜欢该视频的划分为一类，不喜欢的划分为一类，没看过的划分为一类；

在已分好类的用户中，对剩下不同的视频分别计算和方差Err，找到该类中和方差Err最小的视频，作为该类用户的节点，并往下进行分类，如此类推。本发明中分类的层数一般设置在3-8层。

具体实现中，还有如下的一些考虑：

在计算评分误差时，考虑user bias；通过将视频的损失误差转化为其被选择的概率，支持一定程度上的随机树的生成；

针对性的性能优化tU(i)集合的用户数目是占大多数，通过公式变化转化为对结点全体用户t和tL(i)、tL(i)的运算；通过数据结构设计，将集合划分实现为对某视频对应用户集合数组的排序操作，由于是评分只有三个值，计算复杂度为O(n)。

S4、预测

建树完成。当新用户通过一系列选择到达某结点时，就可以使用该结点用户集合的平均评分来进行预测对各视频的喜好，甚至可以基于预测评分得到一个ranked-list提供最简陋的推荐。

首先需要考虑对于某个视频该结点下用户评分数目过少的情况，这样很容易出现过拟和。因此引入层次平滑(hierarchical smoothing)，将父结点对于该视频的评分也纳入来考虑。直接基于预测值排序的推荐可能过于保守，在此，比较该结点的预测值跟全体用户的平均值，倾向取差值较大的视频。

综上所述，与现有技术相比，本发明能够利用用户的隐性信息来判断用户对视频的喜好程度，便于新用户快速而准确的寻找到感兴趣的电影、电视剧以及综艺节目等视频，继而完成对用户进行行之有效的推荐。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种视频终端的新用户推荐方法，其特征在于，所述方法包括：

S1、对所有用户的视频参看数据进行预处理，计算各用户对该视频的评分w；

S2、根据w的取值来对视频进行集合分类，包括喜欢、不喜欢、和不知道；

S3、从根结点开始，选择最佳的分割视频，自顶向下建立决策树；

S4、新用户选择到达某结点时，使用该结点用户集合的平均评分来进行预测对各视频的喜好，完成视频推荐。

2.根据权利要求1所述的方法，其特征在于，所述视频包括连续性视频和非连续性视频。

3.根据权利要求2所述的方法，其特征在于，所述视频参看数据包括用户id、视频id、参看开始时间t_on、参看结束时间t_off、视频时长t、参看次数times。

4.根据权利要求3所述的方法，其特征在于，所述评分w的计算公式为：

$w=\frac{t_{\mathrm{off}}-t_{\mathrm{on}}}{t}*(\frac{2}{1+e^{\frac{\mathrm{times}}{{\mathrm{\&mu;}}_{\mathrm{times}}}}}-1),$

其中，μ_times为所有用户对视频的参看次数。

5.根据权利要求3所述的方法，其特征在于，所述视频为连续性视频，评分w的计算公式为：

$w=\frac{\mathrm{\&Sigma;}\frac{t_{\mathrm{off}}-t_{\mathrm{on}}}{t}}{n_{\mathrm{see}}}*\frac{n_{\mathrm{see}}}{n}*(\frac{2}{1+e^{\frac{\mathrm{times}}{{\mathrm{\&mu;}}_{\mathrm{times}}}}}-1),$

其中，μ_times为所有用户对视频的参看次数，n_see为参看视频的集数，n为视频的集数。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3中“选择最佳的分割视频”具体为：

对于给定用户集合t，任选一个视频i作为分割，将用户分成三组集合：喜欢、不喜欢、不知道，分别记为tL(i)、tH(i)、tU(i)；

分别计算三组用户集合tL(i)、tH(i)、tU(i)评分的方差e(tL)、e(tH)、e(tU)：

$e^2{\left(t\right)}_i={\mathrm{\&Sigma;}}_{u\&Element;s_t\&cap;R\left(i\right)}{(w_{\mathrm{ui}}-\mathrm{\&mu;}{\left(t\right)}_i)}^2,$

其中，R(i)是所有对视频i有交互的用户集合，μ(t)_i是用户集合对视频i的评分平均值；

计算三组用户集合tL(i)、tH(i)、tU(i)评分的和方差：

Err_t(i)＝e²(tL)+e²(tH)+e²(tU)，

为每个结点寻找最佳的分割视频，使得三个集合和方差之和最小：

$\mathrm{splitter}\left(t\right)\stackrel{\mathrm{def}}{=}{\arg }_i\min {\mathrm{Err}}_t\left(i\right).$

7.根据权利要求1所述的方法，其特征在于，所述步骤S3中建立决策树还包括：

设定决策树的最大深度；

设定最佳分割视频的误差阈值；

设定当前节点的最少评分数量。