CN109299396A - 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 - Google Patents

Abstract

本申请公开了一种融合注意力模型的卷积神经网络协同过滤推荐方法及系统，涉及数据挖掘推荐技术领域，提高了特征提取效率和评分预测精度，降低运维成本，简化费用管理方式，方便联合经营和大面积推广应用。融合注意力模型的卷积神经网络协同过滤推荐方法，包括：步骤S1：将用户特征向量和物品特征向量拼接融合为一个新向量；步骤S2：将新向量作为输入向量送入多层感知器中学习，预测评分；其中，将注意力模型融合到物品潜在向量、获得物品特征向量的卷积神经网络或多层感知器的隐藏层中。

Description

融合注意力模型的卷积神经网络协同过滤推荐方法及系统

技术领域

本申请涉及数据挖掘推荐技术领域，尤其涉及一种融合注意力模型的卷积神经网络协同过滤推荐方法及系统。

背景技术

现有深度学习是目前处理大数据领域的一种重要手段。它模仿人类的脑神经元进行抽象建模。在推荐系统中，将数据中的用户和物品信息作为神经网络的输入向量来做预测任务。为了提高预测精度，模型需要高效地进行特征提取。从稀疏的输入数据中得到高维的特征向量用于训练。然而，单靠神经网络增加层数的方法提高特征提取的效率提高模型的预测精度是不可取的。这样做会增加模型的复杂程度，同时也不一定能达到预期的效果。

推荐系统是建立在对海量数据进行数据挖掘(data mining)的基础上的一种高级智能方法。其主要的功能就是依照用户的需求为其进行个性化的推荐，它在用户喜好和物品偏好的学习上扮演了一个重要的角色。推荐系统通过预测物品的评分或者其他指标来反映用户的喜好。这样做能够有效地改善用户在海量的数据中搜索效率不高的现象。它旨在为用户提供在行为记录中具有相似品味和喜好的人喜欢的项目的建议。例如，要预测一位用户对于某一部电影的喜爱程度，可以预测这名用户能为这部电影打多少分。根据预测的评分，来决定是否为用户推荐这部电影。事实证明，在Netfilx上有80％的电影的观看是源于推荐系统的结果。

对于这样的回归预测问题，协同过滤(CF)是构建个性化推荐系统的关键技术，它不仅从用户的行为数据中推断用户的偏好，而且推断其他用户的行为数据。协同过滤主要分为基于记忆的方法和基于模型的方法。其中，基于记忆的方法使用用户之间或者物品之间的联系来进行推荐。具体来说是依照相似性度量值来把相似的用户或者物品匹配起来。另一种是基于模型的推荐方法。它利用机器学习算法对特征向量进行学习，进而得到用户对物品的评分来进行推荐。许多优秀的推荐系统使用了协同过滤。协同过滤分析用户之间的关系以及项目之间的相互依赖关系，以便识别新的用户——项目关联。其目的是利用人们在历史记录中的相似喜好来预测用户可能喜欢的东西。协同过滤可以找到对于不同用户在评分方面存在的共同特征的深层原因。一般的办法是将已有的用户和物品的信息以one-hot向量的方式表示，并将它们送入利用深度学习建立的框架内进行训练。现有的可行方法有libFM、wide&deep learning、NCF等。由此可见，利用CF的推荐方法是非常普遍和成功的。

然而，如果仅利用代表用户和物品的one-hot向量进行训练，这样做使输入数据变得稀疏，包含的信息量过少，不利于训练模型更加精确地预测评分。

发明内容

本申请的目的在于提供一种融合注意力模型的卷积神经网络协同过滤推荐方法及系统，提高了特征提取效率和评分预测精度，降低运维成本，简化费用管理方式，方便联合经营和大面积推广应用。

为达到上述目的，本申请提供一种融合注意力模型的卷积神经网络协同过滤推荐方法，包括：

步骤S1：将用户特征向量和物品特征向量拼接融合为一个新向量；

步骤S2：将新向量作为输入向量送入多层感知器中学习，预测评分；

其中，将注意力模型融合到物品潜在向量、获得物品特征向量的卷积神经网络或多层感知器的隐藏层中。

其中，物品特征向量的获取方法包括：

步骤a1：选取Glove方法对物品的原始数据进行预训练，使物品文本信息中的词形成词向量矩阵D∈R^a*I，其中，a是向量的维度，I是文本信息的长度；

步骤a2：利用卷积神经网络从词向量矩阵中提取文本特征，形成物品潜在向量；

其中，在卷积层中利用一维卷积核w∈R^a*h对词向量矩阵D进行特征提取，获取特征值C_n，其中a表示向量的维度，h表示一维卷积核窗口的大小；

在卷积层中提取特征的方法为：

其中，n表示卷积运算的次数，m表示卷积核的个数，h表示一维卷积核的窗口大小，n:n+h-1表示n到n+h-1，f表示非线性激活函数，·表示卷积核的共享权重和词向量的对应运算，x表示词向量矩阵的输入值，w表示权重，b表示偏差值。

在池化层中用如下公式提取特征值：

p_v＝max[C_n] (公式2)

其中n表示卷积运算的次数。

如上的，其中，根据注意力模型的原理生成注意力权重矩阵，并将注意力权重矩阵与对应的物品特征向量点乘获得新的物品特征向量，表示公式为：

v′＝z_att⊙v (公式3)

其中，z_att表示注意力权重矩阵，v表示物品特征向量，v′表示获得注意后的物品特征向量。

如上的，其中，在步骤S2中，预测评分的公式为：

其中，w_ir表示权重，w₀表示偏差值，U_i表示用户特征向量，I_r表示物品特征向量，i表示用户，r表示物品。

如上的，其中，所述多层感知器是包括多个隐藏层的深度神经网络，隐藏层定义为：

L_j＝σ_j(w_jL_j-1+b_j) (公式5)

其中，j表示多层感知器中隐藏层的个数，σ_j、w_j和b_j分别表示对应隐藏层的激活函数、权重和偏差值。

如上的，其中，利用损失函数更新权重的值，损失函数的计算公式为：

其中，m表示训练集记录条数，表示预测评分，表示实际评分，t表示第几个评分，

利用公式6所得的损失值进行随机梯度下降来更新模型的权重，计算公式为：

其中，α代表学习率，表示每次向着函数J(w)最陡峭的方向迈步的大小，w_j表示权重，w_j：表示更新后的权重，表示梯度。

如上的，其中，利用批规范化对每个隐藏层的输入数据进行标准化处理，标准化处理公式为：

其中，μ_B表示批的平均值，σ_B ²表示批的标准差，ε为正数，γ为调整数值大小的值，β为调整正则化的值。

如上的，其中，批的平均值计算公式为：

其中，x_i表示输入数据，k表示隐藏层的个数，w表示权重。

本申请还提供一种融合注意力模型的卷积神经网络协同过滤推荐系统，包括：用户特征向量、物品特征向量和注意力卷积协同过滤模型，注意力卷积协同过滤模型包括：注意力模型、卷积神经网络和多层感知器，所述注意力模型分别与物品潜在向量、获得物品特征向量的卷积神经网络和多层感知器的隐藏层进行融合，

多层感知器，计算用户特征向量与物品特征向量拼接融合后的新向量，预测评分。

本申请实现的有益效果如下：

(1)将注意力模型融合到协同过滤模型中应用于评分预测的推荐系统，采用卷积神经网络对物品的文本信息进行特征提取，形成注意力卷积协同过滤模型，有效地提取数据的特征值，进一步提高评分预测精度。

(2)根据注意力模型的原理生成注意力权重矩阵，并将权重矩阵与对应的物品特征向量点乘获得新的物品特征向量，提高特征提取效率。

(3)卷积神经网络对文本信息进行学习，利用卷积神经网络处理的文本信息作为输入向量，有效的解决了输入数据稀疏的问题，建立了用户和物品之间更为复杂的联系，进一步提高了评分预测的准确性。

(4)采用多层感知器来计算所获得用户特征向量和物品特征向量拼接融合的向量，获得评分，多层感知器是包含多个隐藏层的深度神经网络，多个隐藏层计算评分提高了预测准确性。

(5)利用批规范化对每个隐藏层的输入数据进行标准化处理，解决因权重规模不可控而导致的问题，缓解梯度消失或爆炸的现象，加快收敛速度，加快模型的训练速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明一种融合注意力模型的卷积神经网络协同过滤推荐方法的流程图。

图2为本发明一种融合注意力模型的卷积神经网络协同过滤推荐方法的步骤2中利用卷积神经网络对文本信息进行处理的流程图。

图3为本发明一种融合注意力模型的卷积神经网络协同过滤推荐系统的结构示意图。

其中1-用户特征向量，2-物品特征向量，3-注意力模型，4-多层感知器，5-卷积神经网络。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本申请提供一种融合注意力模型的卷积神经网络协同过滤推荐方法，包括：

步骤S1：将用户特征向量和物品特征向量拼接融合为一个新向量；

步骤S2：将新向量作为输入向量送入多层感知器中学习，预测评分；

其中，将注意力模型融合到物品潜在向量、获得物品特征向量的卷积神经网络或多层感知器的隐藏层中。

如图2所示，物品特征向量的获取方法包括：

步骤a1：选取Glove方法对物品的原始数据进行预训练，它能够使文本中的词以固定规模的向量的形式来表示，形成一个词向量矩阵D∈R^a*I，Glove方法是现有技术中已知的算法，具有训练速度快，统计信息利用充分，主要用于词相近性分析的特点；并且，预训练解决了原始文本信息句子长短不一的问题，规范了物品输入矩阵的规模，使物品文本信息中的词形成词向量矩阵D∈R^a*I,其中，a是向量的维度，I是文本信息的长度；

其中，将二维已知的实际评分矩阵降维成一维的用户矩阵和一维的物品矩阵，物品矩阵的文本信息作为物品的原始数据，

步骤a2：利用卷积神经网络从词向量矩阵中提取文本特征，形成物品潜在向量，物品潜在向量指在特征向量送入多层感知器之前，为了与其他特征向量融合进行维度变换所形成的向量；

其中，在卷积层中利用一维卷积核w∈R^a*h对词向量矩阵D进行特征提取，获取特征值C_n，其中a表示向量的维度，h表示一维卷积核窗口的大小；

具体地，利用如下公式在卷积层中提取特征：

其中，n表示卷积运算的次数，m表示卷积核的个数，h表示一维卷积核的窗口大小，n:n+h-1表示n到n+h-1，f表示非线性激活函数，·表示卷积核的共享权重和词向量的对应运算，x表示词向量矩阵的输入值，w表示权重，b表示偏差值。

然后，在池化层中用如下公式进一步提取特征值：

p_v＝max[C_n] (公式2)

其中n表示卷积运算的次数。通过池化层的采样，将通过卷积获得的特征进一步分类。这样能够防止过拟合并增强结构的鲁棒性。

一维卷积核是卷积神经网络处理文本任务的一种有效工具。它的大小与向量的维度a保持一致。其窗口的大小h决定了每一步长包含几个词。

卷积层的作用是提取句子的特征，主要是通过一个卷积核在输入层从上到下滑动进行卷积操作，通过该卷积操作得到一个特征映射，卷积操作是根据h的大小不同提取不同长度相邻单词的特征。

池化层的作用是对特征做进一步提取，将最重要的特征提取出来，从而获取物品特征向量，物品特征向量指输入的one-hot向量经过非线性变换(即特征提取)之后所形成的一系列代表物品信息的高阶向量。本申请运用的是最大池化方法:取出特征映射的最大值作为最重要的特征，最终对于所有的特征映射池化后都得到一个一维向量，池化层将若干个特征映射处理后获得一个一维向量。本申请的协同过滤推荐方法融合了注意力模型。对于深度学习中的注意力模型，可以把它看成一个与输入数据规模相同的权重矩阵。每一个权重对应一个输入值，然后让每一个权重与输入值相乘得到注意后的结果。权重的大小决定了对于输入数据的注意程度。具体来说，权重与注意力的程度成正比，权重越大被注意的程度也就越大。总而言之，注意力模型的中心思想是学习分配注意力权重给一系列特征。注意力在许多推荐方法中都有应用。例如，在考虑到输入的交互关系的情况下，注意力网络由双交互层生成，并且作用于每一个交互向量。

作为一个实施例，将注意力模型与获得的物品特征向量相融合。根据现有技术中注意力模型的原理生成注意力权重矩阵，并将注意力权重矩阵与对应的物品特征向量点乘获得新的物品特征向量，表示公式为：

v′＝z_att⊙v (公式3)

其中，z_att表示注意力权重矩阵，v表示物品特征向量，v′表示获得注意后的物品特征向量。

作为另一个实施例，将注意力模型与卷积神经网络相融合。在注意力模型与卷积神经网络相融合的方法中，优选将注意力矩阵与池化层相融合。注意力模型在卷积神经网络不同层的应用会产生不同的效果，其与池化层融合是有效的，而与卷积层融合后效果较差。

其中，在步骤S2中，预测评分的公式为：

其中，w_ir表示权重，w₀表示偏差值，U_i表示用户特征向量，I_r表示物品特征向量，i表示用户，r表示物品，表示将物品特征向量和用户特征向量拼接融合后的新向量送入隐藏层中进行计算，N表示物品特征向量送入隐藏层计算的次数，M表示物品特征向量送入隐藏层计算的次数。使用concat(U_iI_r)返回结果为连接参数产生的字符串，可用来将两个或多个数组结合起来。

如上的，其中，所述多层感知器是包括多个隐藏层的深度神经网络，每个相邻隐藏层之间的神经元都是全连接的，隐藏层定义为：

L_j＝σ_j(w_jL_j-1+b_j) (公式5)

其中，L_j表示第j层隐藏层的特征向量，j表示多层感知器中第几层隐藏层，σ_j、w_j和b_j分别表示第j层隐藏层的激活函数、权重和偏差值。w_j的初始值为随机初始化获得，然后其他层的权重通过模型训练获取比较好的结果。

L_j-1为第j-1层隐藏层的特征向量，将该向量传递到第j层隐藏层，然后通过权重w_j和激活函数σ_j来进行计算，从而得到第j层隐藏层的特征向量L_j，并将结果L_j传递到下一层，L_j作为下一层隐藏层输入值，按照上述方法继续计算第j层隐藏层的特征向量。将用户特征向量和物品特征向量拼接融合后的新向量作为初始隐藏层的特征向量，按照上述方法，在多个隐藏层中进行学习获得第j层隐藏层的特征向量。

作为再一个实施例，将注意力模型与多层感知器相融合。

隐藏层由多个不同维度的特征向量组成，注意力模型是一个与特征向量维度相同的注意力权重矩阵，注意力权重矩阵通过相乘的方式与相同维度上隐藏层的特征向量融合。

隐藏层的个数是决定模型效果的一个重要因素，通常情况下，层数越多的模型预测准确率越高。但是，层的个数也有限度，一味地增加层的数量不能无限提高模型的精准度。

为了能进一步提高模型的预测精准度和使用效率，引用了一些优化算法来完善模型。在深度学习框架中，随机梯度下降方法是一种普遍的神经网络的优化算法，能够对模型中的权重进行迭代更新。它通过一个随机选取的数据来获取梯度，以此对权重w进行更新。这种方法多用于数据量大的实验中，能够提高实验效率。

优选地，利用损失函数更新权重的值，损失函数的计算公式为：

其中，m表示训练集记录条数，j表示隐藏层的个数，表示预测评分，表示已知的实际评分，t表示第几个评分。由公式4求得，

利用公式6所得的损失值进行随机梯度下降来更新模型的权重，计算公式为：

其中，α代表学习率，表示每次向着函数J(w)最陡峭的方向迈步的大小，w_j表示权重，w_j:表示更新后的权重，表示梯度。

步长如果太小，则会影响函数最小化的速率；步长如果太大则会出现越过最低点的现象。每个样本的损失函数，对w求偏导得到对应的梯度，来更新w的值。随机梯度下降是通过每个样本来迭代更新一次，最小化每条样本的损失函数，如果样本量很大的情况(例如几十万)，那么可能只用其中几万条或几千条的样本，就已经将w迭代到最优解了。

根据本发明的一个具体实施例，根据公式6和公式7对公式4中的权重w_ir进行更新。

优选地，利用批规范化对每个隐藏层的输入数据进行标准化处理，标准化处理公式为：

其中，μ_B表示批的平均值，σ_B ²表示批的标准差，ε为正数，γ为调整数值大小的值，β为调整正则化的值。为了防止除数为零，加入了一个微小的正数ε，γ和β是在学习是网络自己学习得到的，L_j由公式5计算得到。

如上的，其中，批的平均值计算公式为：

其中，x_i表示隐藏层的输入数据，k表示隐藏层的个数，w表示权重。

公式9是对k个隐藏层的输入数据求取平均值。

利用随机梯度下降的方法训练模型的时候，要注意反向传播过程中梯度的问题。在模型的隐藏层会包含多个全连接的神经网络结构。在网络层数比较深的情况下，如果权重大多小于1，那么在计算梯度的后期会出现梯度消失的问题；相反如果权重大多大于1，那么就会容易产生梯度爆炸的问题。这些都会严重影响模型的训练。所以，用到了批规范化(batch normalization，BN)来解决因权重规模不可控而导致的问题。

批规范化的原理是通过规范化的手段，把每层神经网络任意神经元的输入值的分布强拉回到均值为0方差为1的标准正态分布，即把越来越偏的分布强制拉回比较标准的分布，这样把输入的分布变窄，但是让梯度变大，避免梯度消失问题的产生，梯度变大后学习收敛速度变快，大大加快了训练速度。

批规范化的优点是：加大探索补偿，加快收敛速度，缓解梯度消失或爆炸的现象，加快模型的训练速度，更容易跳出局部最小，破坏原来的数据分析，一定程度上缓解过拟合。

实施例2

如图3所示，本申请还提供一种融合注意力模型的卷积神经网络协同过滤推荐系统，包括：用户特征向量1、物品特征向量2和注意力卷积协同过滤模型，注意力卷积协同过滤模型包括：注意力模型3、卷积神经网络和多层感知器4。多层感知器4用于计算用户特征向量与物品特征向量拼接融合后的新向量，预测评分。

如实施例1所述，注意力模型3可以分别与物品潜在向量、获得物品特征向量2的卷积神经网络5和多层感知器4的隐藏层进行融合，在此不再赘述。

协同过滤对于一个评分矩阵，使用用户之间或者物品之间的联系这一数据来给用户u推荐他没有评分的物品i。协同过滤利用了机器学习方法。在用户历史数据的基础上，训练生成一个推荐模型用于预测评分。

为了证明融合注意力模型的卷积神经网络协同过滤推荐方法及系统能够有效地预测评分从而为用户推荐，利用MovieLens1M(简称ML-1m)和MovieLens10M(简称ML-10m)以及Amazon Instant Video(简称AIV)这样的真实世界的数据集来验证模型的精度。其中，MovieLens数据集是在评分预测领域比较常用的一种数据集。在这些数据集中，均包含了用户对于电影的评分。用户依照自身的喜爱程度给电影标记从1到5的评分。但是MovieLens数据集中不包含电影的描述信息，借用IMDB(互联网电影资料库)数据集中的相关的描述性文档作为物品的输入。

表1

为了得到更精准的预测结果，在进行实验之前，对数据集进行了预处理。将数据集中评分过少的用户以及没有匹配的描述文档删除。同时，将文档中频率高于0.5的语料库特定停止词删除，并且限定每个文档的词数最大限度为300。从表1可以看到，ML-10m的数据集的评分数量要远远多于ML-1m的数据集，但是它的数据稀疏度要低很多。对于AIV虽然它的用户和物品的数量要多于ML-1m的数据集，但是，它所包含评分数据相对很少。因此它的数据也十分的稀疏。为了检验模型在真实世界的数据集上的预测能力。将数据集打乱顺序之后分成训练集80％，校验集10％和测试集10％。并且，采用RMSE(均方根误差)来评估模型预测评分的能力。

其中，T是用于训练的评分信息的总量。y_ir是实际评分。

具体实现细节如下：

采用Keras(神经网络库)作为实验环境并且使用GeForce GTX 1080 GPU作为运行工具。对于描述文档，采用Glove的方法将每个单词生成一个100维的词向量。这样就形成了一个包含300个词的词向量矩阵D∈R^a*b(a＝100，b＝300)用于卷积神经网络。但是对于AIV，依照以往实验的经验，采用Glove的方法将AIV的文本数据预处理成300维的词向量用于学习。在卷积层的训练中，采用窗口大小分别为3、4、和5的一维卷积核各100个对词向量矩阵进行特征提取。不同大小的窗口能够从不同的角度提取词向量矩阵的特征，从而提高预测的准确性。在用户—物品的潜在向量进行融合的方式上，选用拼接的方法，这样做是考虑到用户的输入和物品的输入并非同一性质的数据，因此以拼接的方式最大程度地保留用户—物品的特征值。

在模型的三个不同位置加入了注意力模型，分别是隐藏层，卷积神经网络的潜在向量层和卷积神经网络的池化层进行对比实验。其中，加入卷积神经网络的池化层的注意力模型是通过重塑卷积层得到的矩阵所形成注意力向量。在神经网络中采用超参为0.2的丢弃和批规范化来防止模型的过拟合。

采用三种不同的注意力卷积协同过滤模型模型(Att-ConvCF)与以下一些基准相比较。

概率矩阵分解模型(PMF)是一个具有代表性的仅利用用户评分的协同过滤的方法来预测评分的模型。

协同深度学习模型(CDL)利用自编码器和概率矩阵分解模型(PMF)来预测评分，并且使用SDAE(堆叠去噪自编码器)来分析文档从而提高预测精度。

CTR协同话题回归模型是一个优秀的推荐模型。它结合了概率矩阵分解模型(PMF)和降维方法线性判别分析(LDA)来预测一个用户感兴趣与否。

卷积矩阵分解模型(ConvMF)是近期具有代表性的推荐模型，它结合了概率矩阵分解模型(PMF)和卷积神经网络(CNN)的方法借用物品的文本信息对用户评分进行预测。

实验结果如下：

1、潜在向量与注意力相结合的方法可以提高模型特征提取的能力，结合注意力的模型相比较而言具有更高的稳定性。

表2

如表2所示，在三种不同的数据集上分别进行了实验。表格中展示了注意力应用在模型的三个不同位置时，在进行300代之后各自所得到的最好的均方根误差(RMSE)的值。

如表2所示，在ML-1m的数据集上，在预测准确度方面表现最好的是注意力机制与池化层相结合的模型。但是同注意力与物品潜在向量层相结合的模型在预测精度上相差很少。

如表2所示，在ML-10m的数据集上，所有模型的预测精度都有所提高。值得注意的是，与在ML-1m上的结果不同，在ML-10m的数据集上预测精度最好的是注意力与隐藏层相结合的模型。

如表2所示，对于数据稀疏度最高的AIV，三种不同的方法在预测精度上都表现良好并且结果十分接近。

2、拼接的方法在预测精度上要优于点乘的方法。

点乘的方法是将两个维度相同的向量通过对应相乘的方法融合成为一个新的向量。拼接的方法是将两个向量以首尾相连的方法融合成一个新的向量。在固定模型的结构和其他参数不变的情况下，选用在ML-1m数据集上表现最好的模型，并分别用以上两种方法进行对比实验。拼接的方法在预测精度上要优于点乘的方法。并且在300代的训练过程中，使用拼接方法的模型在预测能力上比较平稳，泛化能力更强。实验结果说明，拼接的方法能够最大限度地保留两种不同的特征向量所包含的信息，这符合神经网络的原理，为深度学习提供了充分的特征值有利于预测评分。

3、注意力卷积协同过滤模型(Att-ConvCF)在测试集上的RMSE是结果均优于其他模型。

列举包括Att-ConvCF在内的五个模型在测试集上的RMSE的值。根据上一个对比实验中的数据，挑选出在每一种数据集中预测精度最高的有注意力参与的模型与其他模型进行对比。从数据中可以直观的发现，Att-ConvCF在测试集上的RMSE是结果均优于其他模型。

表3

对于最佳的竞争对手卷积矩阵分解模型(ConvMF)，它采用了与注意力卷积协同过滤模型(Att-ConvCF)类似的方法，具体来说，它将卷积神经网络无缝集成到概率矩阵分解模型中，利用用户的标签和物品的文本信息进行评分预测。

如表3所示，在ML-1m的数据集上，Att-ConvCF比最佳的竞争对手ConvMF在测试集上提升了11.39％。这是一个十分显著的进步。与同样使用了协同过滤的协同深度学习模型(CDL)相比，注意力卷积协同过滤模型采用了更加有效的方法进行特征提取，预测精度也随之有很大的提升。

如表3所示，在ML-10m的数据集上，注意力卷积协同过滤模型相对于ConvMF提升了8.01％。提升幅度并没有在相对数据量较少的ML-1m的数据集上提升明显。规模较大的数据集更利于模型进行特征提取，当然这种优势同样也适用于其它模型。相比较而言，Att-ConvCF的预测能力更强一些。这也说明注意力卷积协同过滤模型对于处理稀疏的数据有着更好的效果。再与同样加入了文档信息的CTR比较，注意力卷积协同过滤模型在ML-10m的数据集上提升了6.74％，其主要原因是对数据进行了预处理。虽然Att-ConvCF同样使用了Glove的方法预先训练词嵌入模型，但是与ConvMF不同，Glove可以将单词转化为可选的不同维数的向量。经过实验比对之后，选择了适合的Glove方法作为预训练的参考。

如表3所示，在学习AIV数据集的对比实验中，Att-ConvCF展现出了处理稀疏数据的优秀能力。与最佳竞争对手ConvMF相比Att-ConvCF提高了35.27％。这是一个很大幅度的提升，同时再一次证明了Att-ConvCF相比于其他模型能够更好地处理稀疏数据。

实验结论如下：

采用注意力卷积协同过滤模型Att-ConvCF用于推荐评分，注意力机制对于模型的特征提取和预测评分的能力具有良好的改善作用，注意力机制的加入起到了很好的促进作用，拼接的办法处理特征向量是一个很好的选择，注意力卷积协同过滤模型普遍优于其它模型。

本申请实现的有益效果如下：

(1)将注意力模型融合到协同过滤模型中应用于评分预测的推荐系统，采用卷积神经网络对物品的文本信息进行特征提取，形成注意力卷积协同过滤模型，有效地提取数据的特征值，进一步提高评分预测精度。

(2)根据注意力模型的原理生成注意力权重矩阵，并将权重矩阵与对应的物品特征向量点乘获得新的物品特征向量，提高特征提取效率。

(3)卷积神经网络对文本信息进行学习，利用卷积神经网络处理的文本信息作为输入向量，有效的解决了输入数据稀疏的问题，建立了用户和物品之间更为复杂的联系，进一步提高了评分预测的准确性。

(4)采用多层感知器来计算所获得用户特征向量和物品特征向量拼接融合的向量，获得评分，多层感知器是包含多个隐藏层的深度神经网络，多个隐藏层计算评分提高了预测准确性。

(5)利用批规范化对每个隐藏层的输入数据进行标准化处理，解决因权重规模不可控而导致的问题，缓解梯度消失或爆炸的现象，加快收敛速度，加快模型的训练速度。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，包括：

步骤S1：将用户特征向量和物品特征向量拼接融合为一个新向量；

步骤S2：将新向量作为输入向量送入多层感知器中学习，预测评分；

其中，将注意力模型融合到物品潜在向量、获得物品特征向量的卷积神经网络或多层感知器的隐藏层中。

2.根据权利要求1所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，其中，物品特征向量的获取方法包括：

步骤a1：选取Glove方法对物品的原始数据进行预训练，使物品文本信息中的词形成词向量矩阵D∈R^a*I，其中，a是向量的维度，I是文本信息的长度；

步骤a2：利用卷积神经网络从词向量矩阵中提取文本特征，形成物品潜在向量；

其中，在卷积层中利用一维卷积核w∈R^a*h对词向量矩阵D进行特征提取，获取特征值C_n，其中a表示向量的维度，h表示一维卷积核窗口的大小；

在卷积层中提取特征的方法为：

其中，n表示卷积运算的次数，m表示卷积核的个数，h表示一维卷积核的窗口大小，n:n+h-1表示n到n+h-1，f表示非线性激活函数，·表示卷积核的共享权重和词向量的对应运算，x表示词向量矩阵的输入值，w表示权重，b表示偏差值。

3.根据权利要求2所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，在池化层中用如下公式提取特征值：

p_v＝max[C_n] (公式2)

其中n表示卷积运算的次数。

4.根据权利要求1所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，根据注意力模型的原理生成注意力权重矩阵，并将注意力权重矩阵与对应的物品特征向量点乘获得新的物品特征向量，表示公式为：

v′＝z_att⊙v (公式3)

其中，z_att表示注意力权重矩阵，v表示物品特征向量，v′表示获得注意后的物品特征向量。

5.根据权利要求1所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，在步骤S2中，预测评分的公式为：

其中，w_ir表示权重，w₀表示偏差值，U_i表示用户特征向量，I_r表示物品特征向量，i表示用户，r表示物品。

6.根据权利要求5所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，所述多层感知器是包括多个隐藏层的深度神经网络，隐藏层定义为：

L_j＝σ_j(w_jL_j-1+b_j) (公式5)

其中，j表示多层感知器中隐藏层的个数，σ_j、w_j和b_j分别表示对应隐藏层的激活函数、权重和偏差值。

7.根据权利要求6所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，利用损失函数更新权重的值，损失函数的计算公式为：

其中，m表示训练集记录条数，表示预测评分，表示实际评分，t表示第几个评分，

利用公式6所得的损失值进行随机梯度下降来更新模型的权重，计算公式为：

其中，α代表学习率，表示每次向着函数J(w)最陡峭的方向迈步的大小，w_j表示权重，w_j：表示更新后的权重，表示梯度。

8.根据权利要求7所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，利用批规范化对每个隐藏层的输入数据进行标准化处理，标准化处理公式为：

其中，μ_B表示批的平均值，σ_B ²表示批的标准差，ε为正数，γ为调整数值大小的值，β为调整正则化的值。

9.根据权利要求8所述的融合注意力模型的卷积神经网络协同过滤推荐方法，其特征在于，批的平均值计算公式为：

其中，x_i表示输入数据，k表示隐藏层的个数，w表示权重。

10.用于执行权利要求1-9任意一项所述协同过滤推荐方法的一种融合注意力模型的卷积神经网络协同过滤推荐系统，其特征在于，包括：用户特征向量、物品特征向量和注意力卷积协同过滤模型，注意力卷积协同过滤模型包括：注意力模型、卷积神经网络和多层感知器，

所述注意力模型分别与物品潜在向量、获得物品特征向量的卷积神经网络和多层感知器的隐藏层进行融合，多层感知器，计算用户特征向量与物品特征向量拼接融合后的新向量，预测评分。