CN108536856A - 基于双边网络结构的混合协同过滤电影推荐模型 - Google Patents

Abstract

本发明涉及一种基于双边网络结构的混合协同过滤电影推荐模型，属于推荐系统领域。该模型引入深度学习的思想利用电影的海报和描述文本，通过CNN生成用户和物品的有效特征表达，并利用概率矩阵分解技术通过高斯噪声参数引入潜在的用户和电影模型，集成搭建具有双边网络结构的深度神经推荐模型。并将该模型应用于来自MovieLens网站的MovieLens_1M表示为ML_1M的开源数据集上进行实验，验证利用深度学习引入辅助信息即电影海报和描述文本搭建混合协同过滤推荐模型，是否可以改善在用户和物品交互评分矩阵稀疏情况下，降低数据稀疏性对推荐精度的影响。本发明在数据稀疏情况下，更具有生成有效特征表达能力，降低数据稀疏性造成的影响，有效的改善推荐不精准问题。

Description

基于双边网络结构的混合协同过滤电影推荐模型

技术领域

本发明属于推荐系统领域，涉及基于双边网络结构的混合协同过滤电影推荐模型。

背景技术

传统的推荐模型，仅单方面考虑利用用户的评分数据或者物品和用户的描述信息产生推荐，生成的预测结果往往很难满足实际应用。然而，混合协同过滤推荐算法作为推荐系统领域的重要研究方向之一，却可以有效的避免评分数据的稀疏性，新物品的冷启动和可扩展性等问题的影响，通过利用深度学习方法引入辅助信息生成有效的隐式特征表达，综合考虑评分数据，物品和用户的描述信息搭建混合推荐模型，从而提供有效的推荐结果。

目前主流的推荐技术主要归纳为三种推荐类型分别是：基于内容的推荐算法、基于模型的推荐算法和混合推荐算法。其中，基于内容的推荐主要是利用用户描述信息和物品属性信息挖掘用户的兴趣爱好和物品的有效特征产生推荐，例如文本、图片和标签都可以考虑在内；基于模型的推荐算法，主要依赖于隐式特征因子进行推荐，如考虑把用户属性信息、时间因子和物品内容信息等因素作为辅助信息集成到矩阵分解中获得潜在特征因子；混合推荐算法主要通过引入不同数据信息和推荐算法搭建多视角的推荐系统。另外，为了改善传统因素对推荐系统的影响，引入深度学习思想处理推荐问题，主要表现为引入辅助信息搭建混合协同过滤推荐模型产生推荐。

基于内容的推荐算法、基于模型的推荐算法，在推荐领域研究中都有不同程度的进步，已经解决了大量的信息挖掘和物品推荐的问题。但是，这些推荐模型仅单方面的根据用户描述信息、物品的属性信息，评分数据产生推荐，容易受用户和物品的评分矩阵稀疏性、新物品的冷启动和可扩展性等因素的影响。

发明内容

有鉴于此，本发明的目的在于提供一种基于双边网络结构的混合协同过滤电影推荐模型，通过利用深度学习中的卷积神经网络引入辅助信息即电影海报和电影描述文本信息，生成有效的隐式特征表达，在结合概率矩阵分解PMF搭建基于双边网络结构的混合协同过滤电影推荐模型，解决传统推荐模型因为数据稀疏性、新物品冷动和可扩展性造成的推荐精度不精准问题。

为达到上述目的，本发明提供如下技术方案：

基于双边网络结构的混合协同过滤电影推荐模型，该模型包括基于电影描述文本的电影隐式特征表达生成模型、基于电影描述文本的电影隐式特征表达生成模型和概率矩阵分解PFM拟合用户和物品的原始评分数据矩阵模型；

基于电影描述文本的电影隐式特征表达生成模型是基于电影海报的用户隐式特征表达生成结构，包含的是利用卷积神经网络CNN对电影的海报进行特征提取，生成用户的有效隐式特征表达向量作为用户的视觉模型；基于电影描述文本的电影隐式特征表达生成模型是基于电影文本的电影隐式特征表达生成结构，表示利用CNN网络对电影的描述文档进行特征提取，生成电影的隐式特征表达向量作为用户对电影的语义分析模型；概率矩阵分解PFM拟合用户和物品的原始评分数据矩阵模型为概率矩阵分解PFM拟合原始评分数据矩阵结构，是对评分矩阵中的缺失评分进行预测。

进一步，所述基于电影描述文本的电影隐式特征表达生成模型具体为：

①每篇电影描述文档矩阵的生成表示为D_n：

假设文档D经过去掉特殊字符、标点符号等文本预处理之后，生成每一篇文档D_n最大长度是l即包含单词个数，那么

D＝[D₁,D₂,D₃…D_n] (1.1)

文档D输入CNN的嵌入层，则每一篇文档D_n∈R^s*l生成的文档矩阵为：

其中，s表示嵌入词维度；w_[1:s,i]表示每一篇D_n包含的词i；

②电影描述文本的隐式特征向量c^j，生成：

上下文特征生成：

由CNN的卷积层中的第j个共享权重提取的生成隐式特征向量c^j∈R^l-ws+1为：

其中，*表示卷积操作，表示CNN的第j个共享权重，表示偏置，δ(*)表示激活函数，ws表示卷积核大小；

③优化隐式特征向量c^j，通过CNN的池化层提取具有一定长度和代表性的文本隐式特征向量为：

式中，c^j表示通过提取l-ws+1定长的特征向量；pool(·)表示隐式特征向量c^j经过池化层提取最具代表的c^j，m_c表示共享权重W_c数目即中j＝1,2,3,4,…m_c。

④电影j的有效隐式特征表达向量，生成：

通过卷积神经网络的全连接层非线性投影d_f，生成电影的k维隐式特征向量，其矢量形式为：

q＝tanh(W_f2{tanh(W_f1d_f+b_f1)}+b_f2) (1.6)

式中，W_f2∈R^k*f表示投影矩阵，b_f1∈R^f，b_f2∈R^k表示偏置向量，tanh(·)表示卷积神经网络的非线性激活函数即双正切函数。

⑤最终，返回每个电影j描述文本的隐式特征表达向量作为输出：

q_j＝cnn(W,Y_j) (1.7)

在CNN的嵌入层中，把每个电影j的描述文本转化为文本矩阵D_n；其中，文本矩阵D_n生成的词向量选择随机初始化或者通过训练好的词嵌入模型优化训练词i的词向量；在本模型中，使用Glove预先训练的50维词嵌入模型，对单词i生成的词向量进行训练优化，防止数据稀疏性对推荐精度的影响；在卷积层中，扫描转化的文本矩阵D_n生成电影的文本特征而通过改变卷积窗口ws提取出表示上下文的文本特征，生成隐式特征向量c^j，在模型中运用卷积核大小为3、4、5三种不同类型的卷积窗口扫描文本矩阵D_n，实现对文本特征微妙语义的捕捉，提取更有效的隐式特征向量c^j；在CNN网络的池化层中，通过池化窗口提取的特征表达，除去代表性低的特征词，并构造一定长度的文本特征向量；最后，由嵌入层，卷积层以及池化层生成的高维文本特征输入全连接层中，通过利用非线性投影映射输出每个电影j的隐式特征表达向量q_j。

进一步，所述基于电影海报的用户隐式特征表达生成模型具体为：利用卷积神经网络训练电影海报生成用户隐式特征表达，其中网络结构层总共包含7个层，分别是输入层、卷积层、降采样层、卷积层、降采样层、全连接层和输出层；在输入层中，给定一幅电影海报训练样本尺寸为224×224的彩色图像；当训练样本被第一卷积层扫描之后，映射成为由8张特征图组成，其每张特征图对应一个3×3的卷积核提取一种特定特征，经过卷积遍历输入图像得到大小为111×111的特征图；第一降采样层跟第一卷积层有着相同的特征图个数，每张特征图采用平均池化的方法，每4个像素进行平均，特征图的大小变为原来的1/4；第二个卷积层由16张特征图组成，同样每张特征图对应一个3×3大小的卷积核，再经过第二次降采样后，与全连接层128个神经元全连接；最终全连接层与输出层50个神经元进行全连接，生成每个用户i的隐式特征表达向量q_i＝cnn(W⁺,X_i)；其中，W+表示CNN内部的权重；X_i表示用户i的辅助信息；cnn()表示卷积神经网络的输出。

进一步，所述概率矩阵分解PFM拟合用户和物品的原始评分数据矩阵模型具体为：

PMF分解矩阵是由N个用户和M个电影的交互评分数据组成的评分矩阵R∈R^N×M，U∈R^K×N和V∈R^K×M分别是由R矩阵分解为两个满足正态高斯分布的用户和电影特征矩阵，其中，K表示在U和V中的每一列隐式特征表达向量维度，N和M分别表示用户和电影个数。

根据概率学观点，预测用户和电影交互评分数据矩阵中缺失评分，需满足的条件分布式为：

每对用户-电影(i,j)的生成的预测评分为：

该模型利用卷积神经网络对电影海报和描述文本信息提取之后，每个用户和电影将会生成隐式特征表达向量u_i和v_i，再把u_i和v_i集成到PMF中拟合原始评分矩阵实现评分预测，进而产生推荐。

本发明的有益效果在于：本发明综合考虑利用更多的数据信息搭建混合协同过滤推荐模型，包括电影海报、电影描述文本、用户对电影的评分数据，并在公开数据集上进行验证，在数据稀疏情况下，该模型更具有生成有效特征表达能力，降低数据稀疏性造成的影响，可以有效的改善推荐不精准问题。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为双边网络结构的混合协同过滤电影推荐模型；

图2为用户隐式特征表达生成模型。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1基于双边网络结构的混合协同过滤电影推荐模型的结构组成共分为3部分，图中：(1)基于电影海报的用户隐式特征表达生成模型；(2)基于电影描述文本的电影隐式特征表达生成模型；(3)概率矩阵分解(PFM)拟合用户和物品的原始评分数据矩阵模型。

从图1模型可以了解到，该模型主要分为三部分，左边的分红色虚线中是基于电影海报的用户隐式特征表达生成结构，包含的是利用卷积神经网络(CNN)对电影的海报进行特征提取，生成用户的有效隐式特征表达向量作为用户的视觉模型；最右边的红色框中是基于电影文本的电影隐式特征表达生成结构，表示利用CNN网络对电影的描述文档进行特征提取，生成电影的隐式特征表达向量作为用户对电影的语义分析模型；两个黑线正方形交叉部分为概率矩阵分解(PFM)拟合原始评分数据矩阵结构，主要是对评分矩阵中的缺失评分进行预测。其中，表示方差；W和W+表示CNN内部的权重；X_i和Y_j分别表示用户i和电影j的辅助信息，以下是对本发明中的三个模型结构及使用的数据集进行详细介绍：

1、基于电影描述文本的电影隐式特征表达生成模型

电影隐式特征表达生成模型主要运用卷积神经网络对电影的描述文本进行特征提取，生成有效的电影隐式特征表达具体实现步骤为：

①每篇电影描述文档矩阵的生成表示为D_n：

假设文档D经过去掉特殊字符、标点符号等文本预处理之后，生成每一篇文档D_n最大长度是l即包含单词个数，那么

D＝[D₁,D₂,D₃…D_n] (1.1)

文档D输入CNN的嵌入层，则每一篇文档D_n∈R^s*l生成的文档矩阵为：

其中，s表示嵌入词维度；w_[1:s,i]表示每一篇D_n包含的词i。

②电影描述文本的隐式特征向量cj，生成：

上下文特征生成：

由CNN的卷积层中的第j个共享权重提取的生成隐式特征向量cj∈Rl-ws+1为：

其中，*表示卷积操作，表示CNN的第j个共享权重，表示偏置，δ(*)表示激活函数，ws表示卷积核大小。

③优化隐式特征向量cj，通过CNN的池化层提取具有一定长度和代表性的文本隐式特征向量为：

式子中，cj表示通过提取l-ws+1定长的特征向量，pool(·)表示隐式特征向量cj经过池化层提取最具代表的cj，m_c表示共享权重W_c数目即中j＝1,2,3,4,…m_c。

④电影j的有效隐式特征表达向量，生成：

通过卷积神经网络的全连接层非线性投影d_f，生成电影的k维隐式特征向量，其矢量形式为：

q＝tanh(W_f2{tanh(W_f1d_f+b_f1)}+b_f2) (1.6)

式子中，W_f2∈R^k*f表示投影矩阵，b_f1∈R^f，b_f2∈R^k表示偏置向量，tanh(·)表示卷积神经网络的非线性激活函数即双正切函数。

⑤最终，返回每个电影j描述文本的隐式特征表达向量作为输出：

q_j＝cnn(W,Y_j) (1.7)

在CNN的嵌入层中，把每个电影j的描述文本转化为文本矩阵D_n。其中，文本矩阵D_n生成的词向量可以选择随机初始化或者通过训练好的词嵌入模型优化训练词i的词向量。在本模型中，使用Glove预先训练的50维词嵌入模型，对单词i生成的词向量进行训练优化，主要是防止数据稀疏性对推荐精度的影响。在卷积层中，主要是扫描转化的文本矩阵D_n生成电影的文本特征而通过改变卷积窗口ws可以提取出表示上下文的文本特征，生成隐式特征向量c^j，在模型中主要运用了卷积核大小为3、4、5三种不同类型的卷积窗口扫描文本矩阵D_n，实现对文本特征微妙语义的捕捉，提取更有效的隐式特征向量c^j。在CNN网络的池化层中，通过池化窗口提取主要的特征表达，除去代表性低的特征词，并构造一定长度的文本特征向量。最后，由嵌入层，卷积层以及池化层生成的高维文本特征输入全连接层中，通过利用非线性投影映射输出每个电影j的隐式特征表达向量q_j。

2、基于电影海报的用户隐式特征表达生成模型

用户隐式特征表达生成模型主要采用卷积神经网络对电影的海报进行特征提取，生成用户的有效隐式特征表达，如图2所示为用户隐式特征表达生成模型。

该模型主要利用卷积神经网络训练电影海报生成用户隐式特征表达，其中网络结构层总共包含7个层，分别是输入层、卷积层、降采样层、卷积层、降采样层、全连接层和输出层。在输入层中，给定一幅电影海报训练样本尺寸为224×224的彩色图像；当训练样本被第一卷积层扫描之后，映射成为由8张特征图组成，其每张特征图对应一个3×3的卷积核提取一种特定特征，经过卷积遍历输入图像得到大小为111×111的特征图；第一降采样层跟第一卷积层有着相同的特征图个数，每张特征图采用平均池化的方法，每4个像素进行平均，特征图的大小变为原来的1/4；第二个卷积层由16张特征图组成，同样每张特征图对应一个3×3大小的卷积核，再经过第二次降采样后，与全连接层128个神经元全连接；最终全连接层与输出层50个神经元进行全连接，生成每个用户i的隐式特征表达向量q_i＝cnn(W⁺，X_i)。

3、概率矩阵分解(PFM)拟合用户和物品的原始评分数据矩阵模型

上述图1中的两个黑线正方形交叉部分为PFM拟合原始评分数据矩阵模型。其中，PMF分解矩阵是由N个用户和M个电影的交互评分数据组成的评分矩阵R∈R^N×M，U∈R^K×N和V∈R^K×M分别是由R矩阵分解为两个满足正态高斯分布的用户和电影特征矩阵，其中，K表示在U和V中的每一列隐式特征表达向量维度，N和M分别表示用户和电影个数。

根据概率学观点，预测用户和电影交互评分数据矩阵中缺失评分，需满足的条件分布式为：

每对用户-电影(i,j)的生成的预测评分为：

该模型主要利用卷积神经网络对电影海报和描述文本信息提取之后，每个用户和电影将会生成隐式特征表达向量u_i和v_i，再把u_i和v_i集成到PMF中拟合原始评分矩阵实现评分预测，进而产生推荐。

4.验证本发明有效性的数据集

为了研究所提出发明模型的有效性，本次发明所涉及的数据主要有三部分，包括评分数据集，电影海报和电影描述文本。其中，评分数据集来自MovieLens网站的MovieLens_1M表示为ML_1M，被作为模型的实验数据集。该数据集中包含6040个用户在参与观看3952部电影时，所做出的大约一百万条评分记录，其打分粒度分布在1～5范围内。该数据集主要有三个文件组成，分别是users.dat、movies.dat和ratings.dat。其中，ratings.dat文件中每一行包含电影ID、用户ID、评分分值和评分时间。

电影海报主要是从IMDB网站(http://www.imdb.com/)利用爬虫技术通过电影ID对应的IMDB-ID抓取相应的电影海报，用于训练生成用户的隐式特征。而电影的描述文本也是从IMDB网站获取相应电影的文本，文本包含电影描述信息记录，每个电影文本经过文本预处理，包括去掉特殊字符、标点符号、非词汇单词得到一定大长度的每个电影文本，用于训练生成电影的隐式特征。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.基于双边网络结构的混合协同过滤电影推荐模型，其特征在于：该模型包括基于电影描述文本的电影隐式特征表达生成模型、基于电影描述文本的电影隐式特征表达生成模型和概率矩阵分解PFM拟合用户和物品的原始评分数据矩阵模型；

基于电影描述文本的电影隐式特征表达生成模型是基于电影海报的用户隐式特征表达生成结构，包含的是利用卷积神经网络CNN对电影的海报进行特征提取，生成用户的有效隐式特征表达向量作为用户的视觉模型；基于电影描述文本的电影隐式特征表达生成模型是基于电影文本的电影隐式特征表达生成结构，表示利用CNN网络对电影的描述文档进行特征提取，生成电影的隐式特征表达向量作为用户对电影的语义分析模型；概率矩阵分解PFM拟合用户和物品的原始评分数据矩阵模型为概率矩阵分解PFM拟合原始评分数据矩阵结构，是对评分矩阵中的缺失评分进行预测。

2.根据权利要求1所述的基于双边网络结构的混合协同过滤电影推荐模型，其特征在于：所述基于电影描述文本的电影隐式特征表达生成模型具体为：

①每篇电影描述文档矩阵的生成表示为D_n：

假设文档D经过去掉特殊字符、标点符号等文本预处理之后，生成每一篇文档D_n最大长度是l即包含单词个数，那么

D＝[D₁,D₂,D₃…D_n] (1.1)

文档D输入CNN的嵌入层，则每一篇文档D_n∈R^s*l生成的文档矩阵为：

其中，s表示嵌入词维度；w_[1:s,i]表示每一篇D_n包含的词i；

②电影描述文本的隐式特征向量c^j，生成：

上下文特征生成：

由CNN的卷积层中的第j个共享权重提取的生成隐式特征向量c^j∈R^l-ws+1为：

其中，*表示卷积操作，表示CNN的第j个共享权重，表示偏置，δ(*)表示激活函数，ws表示卷积核大小；

③优化隐式特征向量c^j，通过CNN的池化层提取具有一定长度和代表性的文本隐式特征向量为：

式中，c^j表示通过第j个提取l-ws+1定长的特征向量，pool(·)表示隐式特征向量c^j经过池化层提取最具代表的c^j，m_c表示共享权重W_c数目即中j＝1,2,3,4,…m_c；

④电影j的有效隐式特征表达向量，生成：

通过卷积神经网络的全连接层非线性投影d_f，生成电影的k维隐式特征向量，其矢量形式为：

q＝tanh(W_f2{tanh(W_f1d_f+b_f1)}+b_f2) (1.6)

式中，W_f2∈R^k*f表示投影矩阵，b_f1∈R^f，b_f2∈R^k表示偏置向量，tanh(·)表示卷积神经网络的非线性激活函数即双正切函数；

⑤最终，返回每个电影j描述文本的隐式特征表达向量作为输出：

q_j＝cnn(W,Y_j) (1.7)

在CNN的嵌入层中，把每个电影j的描述文本转化为文本矩阵D_n；其中，文本矩阵D_n生成的词向量选择随机初始化或者通过训练好的词嵌入模型优化训练词i的词向量；在本模型中，使用Glove预先训练的50维词嵌入模型，对单词i生成的词向量进行训练优化，防止数据稀疏性对推荐精度的影响；在卷积层中，扫描转化的文本矩阵D_n生成电影的文本特征而通过改变卷积窗口ws提取出表示上下文的文本特征，生成隐式特征向量c^j，在模型中运用卷积核大小为3、4、5三种不同类型的卷积窗口扫描文本矩阵D_n，实现对文本特征微妙语义的捕捉，提取更有效的隐式特征向量c^j；在CNN网络的池化层中，通过池化窗口提取的特征表达，除去代表性低的特征词，并构造一定长度的文本特征向量；最后，由嵌入层，卷积层以及池化层生成的高维文本特征输入全连接层中，通过利用非线性投影映射输出每个电影j的隐式特征表达向量q_j。

3.根据权利要求1所述的基于双边网络结构的混合协同过滤电影推荐模型，其特征在于：所述基于电影海报的用户隐式特征表达生成模型具体为：利用卷积神经网络训练电影海报生成用户隐式特征表达，其中网络结构层总共包含7个层，分别是输入层、卷积层、降采样层、卷积层、降采样层、全连接层和输出层；在输入层中，给定一幅电影海报训练样本尺寸为224×224的彩色图像；当训练样本被第一卷积层扫描之后，映射成为由8张特征图组成，其每张特征图对应一个3×3的卷积核提取一种特定特征，经过卷积遍历输入图像得到大小为111×111的特征图；第一降采样层跟第一卷积层有着相同的特征图个数，每张特征图采用平均池化的方法，每4个像素进行平均，特征图的大小变为原来的1/4；第二个卷积层由16张特征图组成，同样每张特征图对应一个3×3大小的卷积核，再经过第二次降采样后，与全连接层128个神经元全连接；最终全连接层与输出层50个神经元进行全连接，生成每个用户i的隐式特征表达向量q_i＝cnn(W⁺,X_i)；其中，W⁺表示CNN内部的权重；X_i表示用户i的辅助信息；cnn()表示卷积神经网络的输出。

4.根据权利要求1所述的基于双边网络结构的混合协同过滤电影推荐模型，其特征在于：所述概率矩阵分解PFM拟合用户和物品的原始评分数据矩阵模型具体为：

PMF分解矩阵是由N个用户和M个电影的交互评分数据组成的评分矩阵R∈R^N×M，U∈R^K×N和V∈R^K×M分别是由R矩阵分解为两个满足正态高斯分布的用户和电影特征矩阵，其中，K表示在U和V中的每一列隐式特征表达向量维度，N和M分别表示用户和电影个数；

根据概率学观点，预测用户和电影交互评分数据矩阵中缺失评分，需满足的条件分布式为：

每对用户-电影(i,j)的生成的预测评分为：

该模型利用卷积神经网络对电影海报和描述文本信息提取之后，每个用户和电影将会生成隐式特征表达向量u_i和v_i，再把u_i和v_i集成到PMF中拟合原始评分矩阵实现评分预测，进而产生推荐。