CN109800424A - 一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法 - Google Patents

Abstract

本发明公开了一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法，在矩阵分解推荐模型的基础上加入用户和项目的影响因子，得到改进矩阵分解推荐模型；然后在卷积神经网络的卷积层后面添加一层跨通道卷积层，得到改进后的跨通道卷积神经网络；最后将改进矩阵分解模型与跨通道卷积神经网络融合后进行推荐。本发明具有泛化能力强、同等训练条件下，对文本的识别率较高等优点。

Description

一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法

技术领域

本发明涉及电商网站和视频网站推荐的技术领域，尤其涉及到一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法。

背景技术

在电子商务中，推荐系统的应用越来越广泛，推荐模型预测结果对准确率的要求不言而喻，随着用户和项目数量呈现爆炸性的增长，推荐系统面临两方面的挑战。一方面，用户和项目数量的爆炸式增长加剧了用户对项目评分数据的稀疏性，这种数据稀疏性会降低传统推荐模型预测的准确性。另一方面，现在不论是电子商务网站还是主流社交软件，用户对于项目的文字评价数据越来越多，需要一种既可以利用用户给项目的评分数据又可以识别用户-项目评价信息的推荐模型，这样就可以最大效率利用已有且易收集的数据从而做出准确的推荐。

传统矩阵分解与卷积神经网络融合的推荐模型尽管利用了用户对项目的分数评价和文字评价信息，但有两个缺点：

(1)模型的泛化能力不够。

(2)同等训练条件下，卷积神经网络对文本的识别率较低。

发明内容

本发明的目的在于克服现有技术的不足，提出一种泛化能力强、同等训练条件下，对文本的识别率较高的基于改进矩阵分解与跨通道卷积神经网络的推荐方法。

为实现上述目的，本发明所提供的技术方案为：

一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法，在矩阵分解推荐模型的基础上加入用户和项目的影响因子，得到改进矩阵分解推荐模型；然后在卷积神经网络的卷积层后面添加一层跨通道卷积层，得到改进后的跨通道卷积神经网络；最后将改进矩阵分解模型与跨通道卷积神经网络融合后进行推荐。

进一步地，所述在矩阵分解推荐模型的基础上加入用户和项目的影响因子，得到改进矩阵分解推荐模型的具体步骤如下：

矩阵分解推荐模型是指把用户-项目评分矩阵R分解成两个低维矩阵P和Q的乘积：

R＝P^TQ (1)

假定有U个用户，D个项目，R为评分矩阵；

假定有K个隐含变量，找到矩阵P^K×U和Q^K×D；p和q分别代表矩阵P和矩阵Q的行向量和列向量，将用户的评分矩阵R分解成矩阵P^K×U和Q^K×D，P^K×U的转置乘以Q^K×D既满足评分矩阵R已有的值，同时也填充未评分的项；定义损失函数，为避免过拟合，将损失函数正则化：

用户有自己的打分喜好，存在对项目评分非常严格或者非常宽松的情况，称第i个用户的偏执为b_i；项目可能会因为一些特殊因素让其相对于其它商品更容易获得用户的低分或者高分，称第j个项目的偏执为b_j；从而得到：

其中，表示改进矩阵分解模型对用户评分的预测值，u表示用户对项目打分平均值；从而得到改进矩阵分解模型：

式中，L(P，Q)表示损失函数，r_ij代表原评分矩阵的元素，u表示用户对项目打分平均值，b_i表示第i个用户对项目的偏执，b_j表示第j个项目相对其他项目的偏执，||p_i||²、||q_j||²、||b_i||²和||b_j||²分别表示各对应矩阵中向量的欧几里得范数，λ₁、λ₂、λ₃和λ₄表示正则化平衡系数。

进一步地，所述在卷积神经网络的卷积层后面添加一层跨通道卷积层，得到改进后的跨通道卷积神经网络的具体步骤如下：

卷积神经网络的卷积层通过一个线性的卷积滤波器得到特征图，再经过非线性激活，其计算特征图的表达式如下：

其中，(i,j)为特征图的坐标，x_i,j为滑动窗口中以(i,j)为中心位置的输入，k为特征图的通道索引，ω为权重向量，b为偏执项，max()为非线性激励函数；

对于经过预处理的词向量，为了提取更抽象的特征，同时考虑训练网络的运算量，在卷积层后面再增加一层跨通道卷积层，以提高模型的表达能力，根据式(5)，改进的模型如式(6)、(7)：

其中，式(6)为基本卷积层，为卷积层中第k₁张特征图与输入层的权向量；式(7)为跨通道卷积层，为卷积层中第k₂张特征图与基本卷积层的权向量。

进一步地，所述将改进矩阵分解模型与跨通道卷积神经网络融合后进行推荐的具体步骤如下：

S1：对于用户关于项目的评分，整理出打分矩阵R；对于用户关于项目的文字评价，预处理成词向量；

S2：将打分矩阵R进行矩阵分解，加入用户和项目的偏执；

S3：将词向量组成信息矩阵，建立跨通道的卷积神经网络进行文本识别，得到该评价信息的特征值；

S4：将步骤S3得到的特征值与步骤S2中改进矩阵分解模型中的正则化项进行融合，对融合推荐模型的损失函数，根据参数设定，运用梯度下降法进行训练，当损失函数小于0.01时，停止训练；

S5：模型训练完，得到矩阵P^K×U和Q^K×D，P^K×U的转置和Q^K×D的乘积重构评分矩阵此时，评分矩阵已填补了用户关于某些项目未评价的项,根据这些补齐的打分项，从大到小进行排序，对用户进行一些项目的推荐。

进一步地，所述融合推荐模型的损失函数如下：

其中，L(P,Q，W)表示损失函数，_rij代表原评分矩阵的元素，u表示用户对项目打分平均值，b_i表示第i个用户对项目的偏执，b_j表示第j个项目相对其他项目的偏执，cnn(W，X_i)表示项目评价信息经改进卷积神经网络识别成有意义的打分值，||p_i||²、||q_j||²、||b_i||²、||b_j||²和||w_k||²分别表示各对应矩阵中向量的欧几里得范数，λ₁、λ₂、λ₃、λ₄和λ₅表示正则化平衡系数。

与现有技术相比，本方案原理和优点如下：

1.在传统矩阵分解模型基础上加入了用户和项目的影响因子，提高预测模型的泛化能力。

2.对用户关于项目的文字评价信息，本方案建立跨通道卷积神经网络对该文字信息进行识别，同等训练条件下，跨通道卷积神经网络对文本的识别率要高，将改进的矩阵分解模型与改进卷积神经网络进行融合，提高预测模型的整体推荐性能。

附图说明

图1为本发明一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法中改进后的跨通道CNN层次结构图；

图2为本发明一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法中改进矩阵分解与跨通道卷积神经网络模型图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

本实施例所述的一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法，具体步骤如下：

第一步：在矩阵分解推荐模型的基础上加入用户和项目的影响因子，得到改进矩阵分解推荐模型；具体解析如下：

矩阵分解推荐模型是指把用户-项目评分矩阵R分解成两个低维矩阵P和Q的乘积：

R＝P^TQ (1)

假定有U个用户，D个项目，R为评分矩阵；

假定有K个隐含变量，找到矩阵P^K×U和Q^K×D；p和q分别代表矩阵P和矩阵Q的行向量和列向量，将用户的评分矩阵R分解成矩阵P^K×U和Q^K×D，P^K×U的转置乘以Q^K×D既满足评分矩阵R已有的值，同时也填充未评分的项；定义损失函数，为避免过拟合，将损失函数正则化：

用户有自己的打分喜好，存在对项目评分非常严格或者非常宽松的情况，称第i个用户的偏执为b_i；项目可能会因为一些特殊因素让其相对于其它商品更容易获得用户的低分或者高分，称第j个项目的偏执为b_j；从而得到：

其中，表示改进矩阵分解模型对用户评分的预测值，u表示用户对项目打分平均值；从而得到改进矩阵分解模型：

式中，L(P，Q)表示损失函数，_rij代表原评分矩阵的元素，u表示用户对项目打分平均值，b_i表示第i个用户对项目的偏执，b_j表示第j个项目相对其他项目的偏执，||p_i||²、||q_j||²、||b_i||²和||b_j||²分别表示各对应矩阵中向量的欧几里得范数，λ₁、λ₂、λ₃和λ₄表示正则化平衡系数，一般取较小值。

第二步：在卷积神经网络的卷积层后面添加一层跨通道卷积层，得到改进后的跨通道卷积神经网络；具体解析如下：

卷积神经网络(ConvolutionalNeural Networks,CNN)是一种基于深度神经网络的模型，一般由卷积层、激励层、池化层和全连接层组成。CNN主要有三个特点，第一是局部关联(local receptive fields)，第二是权值共享(share weights)，第三是下采样(sub-sampling)。

卷积神经网络的卷积层通过一个线性的卷积滤波器得到特征图，再经过非线性激活，其计算特征图的表达式如下：

其中，(i，j)为特征图的坐标，x_i,j为滑动窗口中以(i，j)为中心位置的输入，k为特征图的通道索引，ω为权重向量，b为偏执项，max()为非线性激励函数；

这种线性卷积滤波器在特征线性可分的情况下有很好的效果，而实际应用中需要提取的特征很多是非线性的；对于经过预处理的词向量，为了提取更抽象的特征，同时考虑训练网络的运算量，在卷积层后面再增加一层跨通道卷积层，以提高模型的表达能力，根据式(5)，改进的模型如式(6)、(7)：

其中，式(6)为基本卷积层，为卷积层中第k₁张特征图与输入层的权向量；式(7)为跨通道卷积层，为卷积层中第k₂张特征图与基本卷积层的权向量；

跨通道卷积层本质上是一个1×1的卷积核，实现对输入的特征图加权线性重组，从而在特征图分辨率不变情况下进行跨通道的整合，以学习更加复杂的不同通道之间相互关联的信息。根据式(6)(7)，改进后的跨通道卷积神经网络模型如图1所示。

第三步：将改进矩阵分解模型与跨通道卷积神经网络融合后进行推荐，具体步骤如下：

S1：对于用户关于项目的评分，整理出打分矩阵R；对于用户关于项目的文字评价，预处理成词向量；

S2：将打分矩阵R进行矩阵分解，加入用户和项目的偏执；

S3：将词向量组成信息矩阵，建立跨通道的卷积神经网络进行文本识别，得到该评价信息的特征值；

S4：将步骤S3得到的特征值与步骤S2中改进矩阵分解模型中的正则化项进行融合，对融合推荐模型的损失函数，根据参数设定，运用梯度下降法进行训练，当损失函数小于0.01时，停止训练；

S5：模型训练完，得到矩阵P^K×U和Q^K×D，P^K×U的转置和Q^K×D的乘积重构评分矩阵此时，评分矩阵已填补了用户关于某些项目未评价的项,根据这些补齐的打分项，从大到小进行排序，对用户进行一些项目的推荐。

上述中所述的融合推荐模型的损失函数如下：

其中，L(P，Q，W)表示损失函数，_rij代表原评分矩阵的元素，u表示用户对项目打分平均值，b_i表示第i个用户对项目的偏执，b_j表示第j个项目相对其他项目的偏执，cnn(W，X_i)表示项目评价信息经改进卷积神经网络识别成有意义的打分值，||p_i||²、||q_j||²、||b_i||²、||b_j||²和||w_k||²分别表示各对应矩阵中向量的欧几里得范数，λ₁、λ₂、λ₃、λ₄和λ₅表示正则化平衡系数。

本实施例在传统矩阵分解模型基础上加入了用户和项目的影响因子，提高预测模型的泛化能力。另外，对用户关于项目的文字评价信息，本实施例建立跨通道卷积神经网络对该文字信息进行识别，同等训练条件下，跨通道卷积神经网络对文本的识别率要高，将改进的矩阵分解模型与改进卷积神经网络进行融合，提高预测模型的整体推荐性能。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (5)

1.一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法，其特征在于，在矩阵分解推荐模型的基础上加入用户和项目的影响因子，得到改进矩阵分解推荐模型；然后在卷积神经网络的卷积层后面添加一层跨通道卷积层，得到改进后的跨通道卷积神经网络；最后将改进矩阵分解模型与跨通道卷积神经网络融合后进行推荐。

2.根据权利要求1所述的一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法，其特征在于，所述在矩阵分解推荐模型的基础上加入用户和项目的影响因子，得到改进矩阵分解推荐模型的具体步骤如下：

矩阵分解推荐模型是指把用户-项目评分矩阵R分解成两个低维矩阵P和Q的乘积：

R＝P^TQ (1)

假定有U个用户，D个项目，R为评分矩阵；

假定有K个隐含变量，找到矩阵P^K×U和Q^K×D；p和q分别代表矩阵P和矩阵Q的行向量和列向量，将用户的评分矩阵R分解成矩阵P^K×U和Q^K×D，P^K×U的转置乘以Q^K×D既满足评分矩阵R已有的值，同时也填充未评分的项；定义损失函数，为避免过拟合，将损失函数正则化：

用户有自己的打分喜好，存在对项目评分非常严格或者非常宽松的情况，称第i个用户的偏执为b_i；项目可能会因为一些特殊因素让其相对于其它商品更容易获得用户的低分或者高分，称第j个项目的偏执为b_j；从而得到：

其中，表示改进矩阵分解模型对用户评分的预测值，u表示用户对项目打分平均值；从而得到改进矩阵分解模型：

式中，L(P,Q)表示损失函数，_rij代表原评分矩阵的元素，u表示用户对项目打分平均值，b_i表示第i个用户对项目的偏执，b_j表示第j个项目相对其他项目的偏执，||p_i||²、||q_j||²、||b_i||²和||b_j||²分别表示各对应矩阵中向量的欧几里得范数，λ₁、λ₂、λ₃和λ₄表示正则化平衡系数。

3.根据权利要求1所述的一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法，其特征在于，所述在卷积神经网络的卷积层后面添加一层跨通道卷积层，得到改进后的跨通道卷积神经网络的具体步骤如下：

卷积神经网络的卷积层通过一个线性的卷积滤波器得到特征图，再经过非线性激活，其计算特征图的表达式如下：

其中，(i,j)为特征图的坐标，x_i,j为滑动窗口中以(i,j)为中心位置的输入，k为特征图的通道索引，ω为权重向量，b为偏执项，max()为非线性激励函数；

对于经过预处理的词向量，为了提取更抽象的特征，同时考虑训练网络的运算量，在卷积层后面再增加一层跨通道卷积层，以提高模型的表达能力，根据式(5)，改进的模型如式(6)、(7)：

其中，式(6)为基本卷积层，为卷积层中第k₁张特征图与输入层的权向量；式(7)为跨通道卷积层，为卷积层中第k₂张特征图与基本卷积层的权向量。

4.根据权利要求1所述的一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法，其特征在于，所述将改进矩阵分解模型与跨通道卷积神经网络融合后进行推荐的具体步骤如下：

S1：对于用户关于项目的评分，整理出打分矩阵R；对于用户关于项目的文字评价，预处理成词向量；

S2：将打分矩阵R进行矩阵分解，加入用户和项目的偏执；

S3：将词向量组成信息矩阵，建立跨通道的卷积神经网络进行文本识别，得到该评价信息的特征值；

S4：将步骤S3得到的特征值与步骤S2中改进矩阵分解模型中的正则化项进行融合，对融合推荐模型的损失函数，根据参数设定，运用梯度下降法进行训练，当损失函数小于0.01时，停止训练；

S5：模型训练完，得到矩阵P^K×U和Q^K×D，P^K×U的转置和Q^K×D的乘积重构评分矩阵此时，评分矩阵已填补了用户关于某些项目未评价的项,根据这些补齐的打分项，从大到小进行排序，对用户进行一些项目的推荐。

5.根据权利要求4所述的一种基于改进矩阵分解与跨通道卷积神经网络的推荐方法，其特征在于，所述融合推荐模型的损失函数如下：

其中，L(P,Q，W)表示损失函数，_rij代表原评分矩阵的元素，u表示用户对项目打分平均值，b_i表示第i个用户对项目的偏执，b_j表示第j个项目相对其他项目的偏执，cnn(W,X_i)表示项目评价信息经改进卷积神经网络识别成有意义的打分值，||p_i||²、||q_j||²、||b_i||²、||b_j||²和||w_k||²分别表示各对应矩阵中向量的欧几里得范数，λ₁、λ₂、λ₃、λ₄和λ₅表示正则化平衡系数。