CN105045931A - 一种基于Web挖掘的视频推荐方法和系统 - Google Patents

Abstract

本发明公开了一种基于Web挖掘的视频推荐方法和系统，该方法首先将数据挖掘算法应用于Web挖掘用户观看视频的点击行为数据中，利用分类回归树建立用户兴趣模型，采用传统的协同过滤算法给用户推荐个性化的视频，克服了传统推荐系统由于用户评论信息少而带来的数据稀疏性问题，缓解了新用户或新项目无评分的推荐冷启动问题，提高了用户观看视频的满意度，最后将同一兴趣喜好的用户生成推荐，在视频推荐系统中实现好友推荐。

Description

一种基于Web挖掘的视频推荐方法和系统

技术领域

本发明一种基于Web挖掘的视频推荐方法和系统，属于数据挖掘技术领域。

背景技术

如今已经进入了一个数据爆炸的时代，Web2.0的蓬勃发展使得内容的创建和分享变得越来越容易，互联网用户每天都有大量的图片、博客、视频发布到网上，人们逐渐从信息匮乏的时代走入了信息过载的时代。在这个时代，无论是信息消费者还是信息生产者都遇到了极大的挑战：对于信息消费者，信息的爆炸性增长使得人们找到他们需要的信息将变得越来越难；而对于信息生产者，为了让自己生产的信息脱颖而出，受到广大用户的关注，也是一件棘手的事情，推荐系统就是为了解决这一矛盾的重要工具。

然而现有的推荐系统仍然面临许多困难和挑战：主要包括：1、数据稀疏性是推荐系统面临的主要问题。协同过滤推荐算法基于用户-项目评分矩阵，通过相似度计算找出与目标用户度较高的用户进行推荐，评分数据的稀疏将导致推荐结果不准确；2、在大数据环境下，当推荐系统的用户数量达到千万级别时，推荐算法将面临严重的可扩展问题。许多在线网站需要对用户产生及时的推荐结果，而现有的推荐算法都不具有可扩展性；3、推荐系统中特征提取问题。一方面互联网的大量信息以多媒体形式存在，由于多媒体信息自动特征提取技术的限制，多媒体信息推荐研究缓慢，另一方面对文本信息进行推荐时，面临过拟合的现象。

Web挖掘是将数据挖掘应用于Web以便从其文档和服务中自动发现抽取信息。它是一个跨学科的领域，涉及到人工智能、知识发现、数据挖掘、机器学习、统计学等学科的知识。同时，Web挖掘也存在语义分析难、深层数据库信息抽取复杂以及网站内容时效性弱等问题。而本发明能够很好地解决上面的问题。

发明内容

为了克服传统推荐系统中由于用户评论信息少而带来的数据稀疏性问题，缓解新用户或新项目无评分的推荐冷启动问题，本发明提出了一种基于Web挖掘给用户推荐视频的方法和系统，该方法能够主动给用户推荐个性化的视频，提高了用户观看视频的满意度，并且推荐结果非常准确。

本发明解决其技术问题所采用的技术方案是：一种基于Web挖掘的视频推荐方法，该方法包括如下步骤：

步骤1：通过Web挖掘对用户浏览日志进行分析，获取用户观看视频的行为和属性数据。该数据包括用户的注册信息、用户搜索视频的记录、用户观看视频记录以及用户对视频的评分；所述Web挖掘数据预处理包括四个步骤，即：数据净化、用户识别、会话识别和路径补充。

步骤2：对采集后的用户数据进行预处理后存储在数据库中，从该数据库中获取每个视频的属性信息，并根据该属性信息提取用户的兴趣标记，利用分类回归树建立个性化兴趣模型；

根据步骤2所述CART生成决策树时用基尼(Gini)指数选择最优特征，Gini指数计算公式为：

$\mathrm{Gini}\left(p\right)=1-\underset{K=1}{\overset{K}{\mathrm{\Σ}}}{p}_k^2$ 式2

式中p_k是样本点属于第k类的概率。

步骤3：采用协同过滤推荐算法对用户生成推荐视频；

步骤4：对每个用户的兴趣喜好进行标记，把具有相同标记的用户划归为一个类，在同一个类中的用户之间实现相互推荐。

本发明的上述方法应用于Web挖掘的视频推荐系统。

本发明还提供了一种基于Web挖掘的视频推荐系统，该系统包括：行为记录模块、模型分析模块、推荐算法模块。

行为记录模块的功能是：采集用户信息的行为记录模块是通过分析用户搜索、观看视频记录获取用户喜好；

模型分析模块的功能是：建立用户兴趣的模型分析模块，采用分类回归树获取用户兴趣模型；

推荐算法模块的功能是：利用协同过滤推荐算法，实时地从视频库中筛选出用户感兴趣视频进行推荐，同时把相同兴趣的用户推荐给目标用户。协同过滤算法计算用户A与用户B之间的相似度，其所采用的计算公式为：

其中A为用户A，B为用户B，sim(A，B)为用户之间的兴趣相似度，N(A)表示用户A曾经有过正反馈的视频个数，N(B)表示用户B曾经有过正反馈的视频个数。

本发明的系统采用相似度计算公式，用于惩罚用户A、B共同兴趣列表中，热门视频对他们相似度的影响，推荐结果更准确，更高效。

有益效果：

1、本发明是基于Web挖掘的个性化推荐系统通过使用Web挖掘技术实现隐式的数据采集方式，在不需要用户的参与就能获得用户与项目之间潜在的喜好关系或者评分信息，不仅仅提高了用户体验，还能有效减少恶意评论对系统准确性的干扰。

2、本发明是基于Web挖掘发现的用户偏好信息，具有客观性，比仅仅依靠用户评分数据相比更准确、更具说服力，还能在一定程度上降低由于用户评分信息较少而带来的数据稀疏性问题，缓解推荐系统中由于新用户或者新项目无评分而导致的推荐冷启动问题。

3、本发明能主动给用户推荐个性化的视频，避免用户被动地搜索视频，提高用户观看视频的满意度。

4、本发明在视频推荐系统中进行好友推荐，让共同兴趣的用户能成为好友。

附图说明

图1为本发明基于用户的协同过滤推荐原理示意图。

图2为本发明基于项目的协同过滤推荐原理示意图。

图3为本发明的方法流程图。

图4为本发明的系统结构示意图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细说明。

本发明技术术语包括：

知识发现：是指意为从数据库中发现知识，它代表从低层次数据中提取高层次知识的全过程，包括数据信息的收集，数据原型的确定，相关函数的分析，知识的抽取和数据模式分析。

个性化视频推荐系统：是指通过建立用户与视频信息之间的二元关系，获取用户的选择、搜索以及观看评分记录，利用数据挖掘发现用户的喜好并主动向用户推荐用户感兴趣的视频。

冷启动问题：是指新用户或新项目无评分导致系统无法推荐。冷启动主要分为三类：

用户冷启动：是指当新用户加入系统后，系统中没有用户的行为数据，无法根据他的历史行为为其推荐感兴趣的项目，从而无法实现个性化推荐。

项目冷启动：是指主要解决如何将新的项目推荐给可能对它感兴趣的用户。

系统冷启动：是指主要解决如何在一个新开发的网站上设计个性化推荐系统，从而在网站刚发布时就让用户体验个性化服务。

本发明的推荐系统包括3个部分，即：搜集用户信息的行为记录模块、分析用户喜好的模型分析模块以及推荐算法模块，其中推荐算法是最核心的部分。根据不同的推荐算法，推荐系统可以分为协同过滤系统、基于内容推荐系统、基于关联规则推荐系统以及混合推荐，各种推荐方法优缺点比较如下表，包括：

主要推荐方法对比

在本发明的实现方法中首先要获取用户数据。Web用户访问数据可以从三个方面收集：服务器端(即：Server)、客户端(即：Client)、代理端(即：Proxy)。Web挖掘最常用的数据源是服务器端的数据。通常在使用Web日志文件中的数据作为数据源进行分析和知识挖掘时，最初获取的数据总是杂乱无章的、冗余且不完整的，不符合Web挖掘对数据源的要求。因此，必须首先对Web日志数据进行数据预处理，才能使数据更好地应用于Web挖掘。

如图1所示，本发明的数据预处理就是将Web服务器中日志数据整理成事务数据库，供挖掘阶段使用，Web挖掘数据预处理主要分为以下四个步骤：数据净化、用户识别、会话识别和路径补充，包括：

步骤1：数据净化

数据净化指删除事务数据库无关的数据，主要包含以下内容：

步骤1-1：在网络传输过程中产生的错误数据；

步骤1-2：由用户发送请求以外的方式完成的服务；

步骤1-3：一些非HTML文件，如图片文件，通常可以通过后缀(即：gif，jpeg，jpg等)识别。

步骤2：用户识别

用户是一个独立的个体，它通过一个浏览器访问一个或多个Web站点。但在实际操作中，由于本地Cache和代理服务器(即：Proxy)的存在，使得用户的识别非常困难，比如：不同的用户可能使用同一个代理服务器，在日志文件中会形成相同的IP地址；同时由于代理服务器中的缓存功能，使得同一个用户的访问请求被误认为不同的用户。用户可以用一个浏览器，也可以用多个浏览器；可以访问一个服务器，也可以访问多个服务器。在识别用户时，通常将AccessLog，ReferLog和用户提交的查询和注册信息结合起来，同时应遵循以下三条原则：

步骤2-1：如果用户的IP地址不同则认为是不同的用户；

步骤2-2：如果IP地址相同但用户使用的浏览器不同或操作系统不同，则认为是不同的用户；

步骤2-3：通过ReferLog和站点的拓扑结构图构建每个用户的访问路径，如果所请求的页面和以前访问的所有页面不存在直接的超链接关系，则认为具有相同IP地址的用户是不同用户。

步骤3：会话识别

会话识别是指将用户在同一时间段内访问的页面组成一个用户会话序列。AccessLog中存储大量的访问信息，且时间跨度大，因而需要将用户多次访问的页面识别成单一的用户会话记录。

步骤4：路径补充

当用户会话识别完后，会发现用户会话序列中当前访问页和上一次请求页之间没有直接的超链接关系，那么可能是用户使用浏览器的Back按钮，调出本地缓存的页面。这时需要根据站点的拓扑结构图和ReferLog，将日志文件中遗漏的页面补充在路径中。

数据经过预处理后，采用分类回归树挖掘用户的属性信息，建立用户兴趣模型。

分类与回归树(即：CART)由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归。CART首先基于训练数据集生成一颗决策树，再根据交叉验证和测试数据集对已生成的树进行剪枝并选择最优子树。

本发明的一棵决策树的生成过程，主要分为以下3个部分，包括：

a、特征选择：特征选择是指从Web挖掘预处理数据中用户观看众多的视频中选择一个属性作为当前节点的分裂标准。

样本数据所有特征中有一些特征在分类时起到决定性作用，为了找出样本中最具决定性的特征属性，分类出的结果更加准确，我们必须分析数据集中蕴含的每个特征，寻找分类数据集的最好特征。在经过数据预处理之后，原始数据集就被划分为几个数据子集，这些数据子集会分布在第一个决策点的所有分支上。如果某个分支下的数据属于同一个类型，则该分支处理完成，称为一个叶子节点，即确定了分类；如果数据子集内的数据不属于同一类型，则需要重复划分数据子集，直到所有具有相同类型的数据均在一个数据子集内。

b、决策树生成：根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则停止决策树生长；

CART生成决策树时用基尼(Gini)指数选择最优特征，同时决定该特征的最优二值切分点。假设用户p观看了K个类别的记录，那么Gini指数就是

$\mathrm{Gini}\left(p\right)=1-\underset{K=1}{\overset{K}{\mathrm{\Σ}}}{p}_k^2$ 式2

式中p_k是样本点属于第k类的概率。如果用户p是一个二类分类问题，即用户p在特征A的条件下分成两部分D1和D2，则集合D的基尼指数定义为：

$\mathrm{Gini}(D,A)=\frac{\left|D_1\right|}{\left|D\right|}\mathrm{Gini}\left(D_1\right)+\frac{\left|D_2\right||}{\left|D\right|}\mathrm{Gini}\left(D_2\right)$ 式3

其中Gini(D₁)和Gini(D₂)分别由式1得到。

在对样本数据集进行分割时，从根节点开始，递归地对每个结点重复进行以下操作，构建二叉决策树，包括：

(1)设结点的训练数据集为D，计算现有特征对该数据集的基尼指数。此时，对每一个特征A，对其可能取得每个值a，根据样本点对A＝a的测试为“是”或“否”将D分割成D₁和D₂两部分，利用式2计算A＝a时的基尼指数。

(2)在所有可能的特征A以及它们所有可能的切分点中a中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依据最优特征与最优切分点，从现有结点生成两个子结点，将训练数据集依据特征分配到两个子结点中去。

(3)对两个子结点递归地调用上述(1)、(2)，直至满足停止条件。

(4)生成CART决策树。

c、决策树剪枝：决策树容易过拟合，一般需要对决策树进行剪枝，缩小树结构规模、缓解过拟合。

本发明的CART剪枝算法是由两个步骤组成，包括：

(1)首先从生成算法产生的决策树T₀底端开始不断剪枝，直到T₀的根节点，形成一个子树序列{T₀，T₁,…,T_n，}；

(2)然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。

算法停止计算的条件是结点中样本个数小于预定阈值，或样本集的基尼指数小于预定阈值(即：样本基本属于同一类)，或者没有更多特征。

获取用户兴趣模型后，根据协同过滤算法对候选视频列表中的每条候选视频根据权值计算模型进行权值计算，并根据每条候选视频的权值计算结果排序生成推荐列表，输出推荐结果。

另外本发明应用于Web端，推荐原理如下：

如图1所示，本发明假设用户A喜好视频A、C，用户B喜好视频B，用户C喜好视频A、C、D，通过Web日志挖掘用户的历史信息中，可以发现用户A和C的口味和偏好比较相似，同时用户C喜好视频D，如图中虚线所示系统就会自动将视频D推荐给用户A。

如图2所示，本发明假设用户A喜好视频A、C，用户B喜好视频A、B、C，用户C喜好视频A，通过Web挖掘可以发现用户C很有可能也喜好视频C，如图中虚线所示所以系统会自动将视频C推荐给用户C。

本发明另一方面还提供一种在视频推荐系统中为用户推荐好友的方法。计算用户兴趣相似度找到与用户有相同喜好的另一用户，实现好友推荐。

本发明将视频推荐系统中为用户推荐好友的方法分为两步：首先将整个用户成员划分为一个个子网络，每一个子网都是一个类，从中发现用户所在的子网也就是用户所在的类；然后在这个类中计算用户与其他类中用户的相似度，以此来衡量他们成为好友的熟悉程度以及成为好友的可能性，并选出相似度较高的成员推荐给用户。

Claims (5)

1.一种基于Web挖掘的视频推荐方法，其特征在于，所述方法包括如下步骤：

步骤1：通过Web挖掘对用户浏览日志进行分析，获取用户观看视频的行为和属性数据，该数据包括用户的注册信息、用户搜索视频的记录、用户观看视频记录以及用户对视频的评分；所述Web挖掘数据预处理包括四个步骤，即：数据净化、用户识别、会话识别和路径补充；

步骤2：对采集后的用户数据进行预处理后存储在数据库中，从该数据库中获取每个视频的属性信息，并根据该属性信息提取用户的兴趣标记，利用分类回归树建立个性化兴趣模型；

根据步骤2所述CART生成决策树时用基尼，即Gini指数选择最优特征，Gini指数计算公式为：

$Gini\left(p\right)=1-\underset{K=1}{\overset{K}{\Σ}}{p}_k^2$ 式2

式中p_k是样本点属于第k类的概率；

步骤3：采用协同过滤推荐算法对用户生成推荐视频；

步骤4：对每个用户的兴趣喜好进行标记，把具有相同标记的用户划归为一个类，在同一个类中的用户之间实现相互推荐。

2.根据权利要求1所述的一种基于Web挖掘的视频推荐方法，其特征在于，所述方法应用于Web挖掘的视频推荐系统。

3.一种基于Web挖掘的视频推荐系统，其特征在于，所述系统包括：行为记录模块、模型分析模块、推荐算法模块；

行为记录模块的功能是：采集用户信息的行为记录模块是通过分析用户搜索、观看视频记录获取用户喜好；

模型分析模块的功能是：建立用户兴趣的模型分析模块，采用分类回归树获取用户兴趣模型；

推荐算法模块的功能是：利用协同过滤推荐算法，实时地从视频库中筛选出用户感兴趣视频进行推荐，同时把相同兴趣的用户推荐给目标用户，协同过滤算法计算用户A与用户B之间的相似度，其所采用的计算公式为：

$sim(A,B)=\frac{{\mathrm{\Σ}}_{i\∈N\left(A\right)\∩N\left(B\right)}\frac{1}{\log 1+\left|N\left(i\right)\right|}}{\sqrt{\left|N\left(A\right)\right|\left|N\left(B\right)\right|}}$ 式1

其中，A为用户A，B为用户B，sim(A，B)为用户之间的兴趣相似度，N(A)表示用户A曾经有过正反馈的视频个数，N(B)表示用户B曾经有过正反馈的视频个数。

4.根据权利要求3所述一种基于Web挖掘的视频推荐系统，其特征在于：所述系统采用相似度计算公式，用于惩罚用户A、B共同兴趣列表中，热门视频对他们相似度的影响。

5.根据权利要求3所述一种基于Web挖掘的视频推荐系统，其特征在于：所述系统进行好友推荐，让共同兴趣的用户能成为好友。