CN110765260A - 一种基于卷积神经网络与联合注意力机制的信息推荐方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络与联合注意力机制的信息推荐方法，用于有效的利用文本的潜在语义信息，解决传统机器学习的特征提取方法的固有缺陷。本发明将CNN深度神经网络处理的评价文本的特征向量再进行一层注意力机制的处理，增加评价文本中的重点关注点的注意力权重。将用户、项目的向量集合分别和上一层注意力机制的分值再使用一层注意力机制，分别得到用户和项目的注意力机制权重向量，再分别和用户、项目的向量集合进行点乘得到最终表示，合并用户、项目和评价文本得到最终表示，进而进行评分预测。通过与传统的推荐技术进行对比发现，本方法能够更有效地进行推荐，提高了推荐的质量，增强了推荐的可解释性。

Description

一种基于卷积神经网络与联合注意力机制的信息推荐方法

1.技术领域

本发明涉及基于深度学习的文本特征提取和联合注意力机制推荐方法，属于信息推荐领域。

2.背景技术

信息推荐的主要任务是根据用户的行为记录进行推荐，发现最适合的项目并且推荐给用户，通过分析用户的历史行为，对用户的兴趣进行建模，主动给用户推荐能够满足用户兴趣和需求的信息。推荐系统是个交叉学科，包括机器学习(Machine Learning)、数据挖掘(Data Mining)、信息检索(Information Retrieval)和人机交互(Human-ComputerInteraction) 等领域。

深度学习技术已经在图像处理、自然语言处理和语音识别等领域有了重大的突破，是近年来人工智能研究的热潮。相对于传统的协同过滤、基于内容和混合的推荐算法，深度学习的推荐技术在处理文本内容、特征提取、获取用户与项目的深层特征表示都有很大优势。根据深度学习在处理自然语言方面的优势，能够更好的处理推荐系统使用原始评价文本数据的需求。在借鉴传统的推荐技术同时，如何弥补现有技术的不足，提高基于深度学习推荐技术的准确率，是目前工业界和学术界研究的重点。

已有的推荐算法主要包括协同过滤(Collaborative Filtering，CF)、基于内容的推荐算法、基于上下文的推荐算法和混合的推荐算法等。协同过滤算法通过用户对历史行为数据的挖掘，发现用户偏好，并基于不同的偏好对用户进行群组划分，推荐相似物品。基于内容的推荐算法利用物品的描述属性来做出推荐，“内容”是对物品的描述，该方法中，用户的评分和购买行为与物品中可以获得的内容信息相结合，并且该方法在推荐新物品时有一定优势。基于上下文的推荐算法是利用额外的辅助信息上下文(Context)来定制其推荐，这些上下文信息包括时间、位置和社交数据等。混合的推荐算法灵活使用不同类型的推荐算法来完成推荐任务，可以是不同类型的相互结合来达到最好的推荐效果，同时该类算法可以将同一类型的多个模型相互结合，从而提高推荐算法的有效性。

上述的几种算法都没有有效的利用文本的潜在语义信息，而传统的机器学习的特征提取的方法存在一些固有的缺陷。

发明内容

为了弥补这些方法的不足，本发明在有效利用文本信息的基础上引入深度学习Attention注意力机制，对文本的潜在语义信息进行学习，并结合用户和项目特征进行推荐。

为了获取基于文本的上下文信息，本发明提出利用卷积神经网络(ConvolutionalNeural Network,CNN)对用户和项目属性进行提取，CNN具有提取复杂特征的优势。再结合用户和项目的特征嵌入，优化模型做出更好的推荐。基于CNN实现评价文本的特征提取，如图1所示将用户对项目的评价文本输入，通过词向量嵌入模型对评价文本进行一步处理，接着将处理的评价文本依次传入CNN神经网络中的卷积层、池化层和全连接层，从而得到评价文本映射的特征向量。

引入Attention和CNN深度神经网络进行学习，可以更准确的提取到文本中包含的语义特征，进一步利用用户和项目的特征嵌入，更准确的进行推荐，并提高推荐的可解释性。基于CNN神经网络和协同注意机制的推荐模型图如图2所示，将CNN深度神经网络处理的评价文本的特征向量再进行一层注意力机制的处理，增加评价文本中的重点关注点的注意力权重。将用户、项目的向量集合分别和上一层注意力机制的分值再使用一层注意力机制，分别得到用户和项目的注意力机制权重向量，再分别和用户、项目的向量集合进行点乘得到最终表示，合并用户、项目和评价文本得到最终表示，进而进行评分预测。

本发明主要设计并实现了基于CNN神经网络和协同注意力机制的推荐方法，通过与传统的推荐技术进行对比发现，本方法能够更有效地进行推荐，提高了推荐的质量，增强了推荐的可解释性。

本发明主要的发明内容如下：

首先，数据集收集整理：

下载Amazon数据集合，并按照9:1比例划分训练集与测试集。

其次，对数据集中用户和项目进行特征提取，主要工作如下：

(1)把数据集中的用户和项目ID进行one-hot编码。

(2)设计一个输入层，其中输入层中对应两个潜在因子参数矩阵，分别用于存储兴趣相似的用户集合和项目的相似集合。

(3)通过输入层将用户和项目的one-hot表示的相似集合转换成低维的密集向量，表示为用户和项目的嵌入。

第三，对数据集中用户的评价文本进行分词及预处理，主要工作如下：

(1)将数据集中的评价文本数据进行切割，把超过平均词数量的文本切除，得到固定长度的评价文本。

(2)将切割后的文本数据中英文大写转小写，并进行停用词过滤，标点符号过滤以及特殊符号过滤。

(3)利用优化的分词模型对经过处理的文本预料进行分词处理，得到一系列的文本词串。

第四，构建模型使用的词表，具体工作如下：

将上述进行分词预处理后的数据集文本词串利用Word2vec词表进行映射，获得本方法模型所使用数据集的词表。

第五，提取数据集中评价文本特征向量，主要工作如下：

将预处理后的评价文本词汇集合利用特征提取算法进行特征提取：

上述特征提取方法是通过词嵌入(Word Embedding)模型，将数据集中的评价文本通过模型的函数映射到一个新的表达空间，由此得到模型所使用数据集词表的词向量表示。

在这个词向量表达空间中，数据集评价文本中语义相近的词汇，在特征空间中位置也相近。

这种词向量的表示的优点就是避免因词汇量过大造成的数据稀疏，同时还可以对数据进行降维，实现句子级的表示，并加入了词对词的相互关系。

第六，基于CNN神经网络对数据集评价文本的特征提取，具体过程如下：

(1)利用上述提取数据集中的步骤，将数据集中评论文本进行处理，得到相应的表达。

(2)将上述数据集中评价文本的相应表达作为输入，进入卷积神经网络模型中进行卷积处理提取相互数据集中评价文本的深层特征。

(3)在进行进行最大池化操作，降低上一步卷积层的深层特征向量维度，并解决过拟合问题。

(4)将上述最大池化层结果输入全连接层，会将上述学习到的深层特征向量映射到标记空间。

第七，基于第一层注意力机制学习数据集评价文本信息的注意力权重，具体过程如下：

(1)把通过深度神经网络CNN模型处理得到的评价文本的特征c_k送入第一层注意机制中，提升评价文本中对重点内容的关注度，得到注意力权重c_t。

(2)对上述经过第一层注意力机制得到的注意力权重分值进行归一化，实现对评价文本更加准确的建模。

第八，基于第二层注意力机制获取交互权重，具体过程如下：

不同的用户对不同项目有着不同的评价文本，即使对于同一用户，不同的评价文本在不同项目的交互也会具有不同的含义。在用户和项目的交互中，评价文本提供了重要的上下文信息，因此所涉及的用户和项目都可能受到这种交互上下文的影响。使用一种相互增强的联合注意力机制方式，即第二层注意力机制。利用这两个相同的网络结构改进用户、项目和评价文本的嵌入。第二层注意力机制包括如下：

(1)将经过输入层得到的用户相似集合的嵌入向量x_u和第一层注意力机制得到的评价文本的注意力权重分值c_t一起传入第二层注意力机制中，计算出用户嵌入向量x_u和第一层注意力权重c_t交互的权重值β_u，即用户交互注意力机制权重向量。

(2)将经过输入层得到的项目相似集合的嵌入向量y_i和第一层注意力机制得到的评价文本的注意力权重分值c_t一起传入第二层注意力机制中，计算出项目嵌入向量y_i和第一层注意力权重c_t交互的权重值β_i，即项目交互注意力机制权重向量。

第九，计算模型最终表示，具体过程如下：

(1)使用上述经过第二层注意力机制得到的用户交互注意力机制权重向量β_u和输入层得到的用户嵌入向量x_u进行点乘，计算出用户的最终表示

(2)使用上述经过第二层注意力机制得到的项目交互注意力机制权重向量β_i和输入层得到的项目嵌入向量y_i进行点乘，计算出项目的最终表示

(3)将用户最终表示项目最终表示

和第一层注意力机制得到数据集评价文本的表示c_t三个嵌入向量合并为模型的统一表示形式

第十，利用模型上述表示形式进行评分预测，具体过程如下：

将上述深度学习网络获得的最终特征集合进行评分预测，得到预测评分高的项目。

有益效果

本发明针对推荐算法的稀疏性问题，进一步提高推荐的准确性。利用用户对项目的评价文本等上下文信息，该方法能够有效的提取出用户和项目之间的关系以及文本潜在的语义信息，从而对提高推荐的可解释性具有积极的意义。

Attention注意力机制能够学习用户、项目和基于文本的上下文的有效表示，从而实现强大的信息交互。通过深度神经网络的训练过程，学习用户、项目和基于文本的上下文嵌入，再联合注意力机制通过相互增强的方式进一步改进表示方式。

经过实验证明，该方法能够较好的挖掘出用户和项目的信息，提取高质量的潜在语义特征，有效提升了推荐的准确性。

附图说明：

图1、基于CNN模型的特征提取的流程图；

图2、基于CNN神经网络和协同注意机制的推荐模型；

6.具体实施方式：

传统的协同过滤推荐算法主要是基于用户-项目之间的关系，而基于内容的推荐算法是利用用户和项目的属性信息，这两种常用的推荐算法都有局限性，协同过滤算法是通过大量用户给出的评分协同处理进行推荐，对于稀疏性、可扩展性问题还很难解决，浅层模型无法学习到用户和项目的深层次特征，同时推荐质量也取决于历史数据集。基于内容的推荐算法是建立在项目的内容信息上进行推荐，不依赖用户对项目的评价意见，该算法要求进行有效的特征提取。本发明利用深度学习模型学习用户、项目和用户对项目评价文本内容的深层特征，改进上述模型的不足，更有效地进行推荐。

本发明包含如下具体步骤：

将语料集合按照9:1的比例划分为训练集与测试集，利用训练集进行模型训练，利用测试集验证方法的有效性。

把数据集中的用户和项目ID进行one-hot编码。

给定一对用户-项目<u，i>，p_u∈R^|U|×1和q_i∈R^|I|×1代表one-hot表示。

设计一个输入层，在这个输入层中对应两个参数矩阵P∈R^|U|×d和Q∈R^|I|×d，分别存储用户和项目的潜在因子。其中d为用户和项目嵌入表示的维度大小，|U|和|I|分别代表用户数和项目数。

通过输入层将用户和项目的one-hot表示的相似集合转换成低维的密集向量，表示为用户和项目的嵌入，x_u代表用户的嵌入，y_i代表项目的嵌入。具体公式如下：

x_u＝P^T·p_u

y_i＝Q^T·q_i

接下来对用户的评价文本进行分词预处理，将数据集中的评价文本数据进行切割，把超过平均词数量的文本切除，得到固定长度的评价文本。结果如下所示：

例如，数据集原评价文本为"I love the variety of comics.Great for dinnerTV entertainment because of length of each episode."进行切割以后为"I love thevariety of comics.Great for dinner TV entertainment because of length"。

将切割后的文本数据的英文大写转小写，并进行停用词过滤，标点符号过滤以及特殊符号过滤等。结果如下所示：

例如，切割后文本数据为"I love the variety of comics.Great for dinnerTV entertainment because of length"，进行过滤以后为"I love variety comicsgreat dinner TV entertainment length"。

将经过上述过程处理的数据集的词语利用Word2vec词表进行映射，获得本模型所使用数据集的词表。

提取数据集评价文本中隐层的特征，获取数据集评价文本的低维向量表示，以改进交互建模。在这部分需要提取评价文本中有效的特征，得到基于评价文本上下文的有效表示。

上述特征提取方法是通过使用词嵌入(Word Embedding)模型，将数据集中的评论文本通过模型的函数映射到一个新的表达空间，由此得到评价文本的词向量表示，即 f:word_n→R_n，其中word_n代表数据集中组成词表的每个单词，R_n代表经过参数化的函数映射得到一个n维特征向量。

数据集中的评价文本被表示为一个词嵌入矩阵，采取词汇表示方式来挖掘评论中的语义。具体实现方式如下：

将上述处理过的所有评论文本内容的单词合并为一个文档，代表单词的词表w_1:n，其中n代表的是评价文本词表中单词的个数，并定义w_k代表词表中第k个词。

处理上述词表内所有词汇得到相应的词向量表示，得到词向量字典表示，定义为(w_1:n)'，其中(w_k)'代表第k个词的词向量表示。

评价文本词向量字典(w_1:n)'的组合过程中将保留词汇在评价文本中的原始顺序，此举将有利于语义的挖掘与表示，由此得到词向量矩阵M。表达如下所示：

M＝(w₁)':(w₂)':......:(w_n)'

将上述词向量表示作为输入，进入卷积神经网络模型的卷积层。每层中包含n个神经元，目的是实现将输入的词向量矩阵M进行卷积操作提取新的特征。在每个神经元中使用尺寸为m×t的过滤器filter_k。其中m为词嵌入模型中的特征维度，k为设计的滑动词窗口大小。在卷积神经网络中，每个卷积核经卷积操作对应产生一个特征集合。产生的特征集合，定义为map_n，具体公式如下：

在上式中，f()是ReLU激活函数，

为卷积操作，一般都是矩阵对应相乘，b_k为过滤器的偏置。

接着将上述map_n集合进行最大池化操作，降低上一步卷积层的特征向量维度，并解决过拟合问题。计算池化层特征集合map_n'，其中allfeature代表卷积层结果中所有的特征向量，具体公式如下：

map_n'＝map_n(Max(allfeature))

经过最大池化操作得到新的特征集合map_n'，作为输入进入全连接层中，与本层的权值矩阵相乘并加上偏置求和。具体公式如下：

c_k＝f(W×map_n'+b_con)

在上式中，f()是ReLU激活函数，W为全连接层的权值矩阵，b_con为全连接层的偏置。

进一步把经过全连接层得到的权重c_k，作为输入进入第一层注意力机制中用来，进一步学习评价文本信息，得到第一层注意力权重，具体公式如下：

c_t＝f(w_ac_k+b_a)

在上式中，f()是ReLU激活函数，w_a为注意力机制权值矩阵，b_a为注意力机制的偏置。

同时在第一层注意力机制中通过softmax函数对上述所得注意力权重分值c_t进行归一化操作。

接着进行第二层注意力机制操作，因为在同一用户对不同物品有不同的评价文本，这种文本的语义信息可能会与不同的项目有多重交互，所涉及的用户和项目也可能受到这种交互的影响。我们使用第二层注意力机制的方式来相互增强用户、项目和评价文本信息的表示形式。

如上所述使用第二层注意力机制计算得到注意力权重向量β_u和β_i，β_u表示用户通过输入层获得潜在嵌入向量x_u和基于文本的上下文嵌入向量c_t的交互；β_i表示项目通过输入层获得潜在嵌入向量y_i和基于文本的上下文嵌入向量c_t的交互。

β_u＝f(w_ux_u+w_cc_t+b_u)

β_i＝f(w_iy_i+w'_c c_t+b_i)

使用第二层注意力权重向量β_u与用户的潜在嵌入向量x_u进行点乘，同时使用第二层注意力权重向量β_i与项目的潜在嵌入向量y_i进行点乘，分别计算出用户和项目的最终表示，具体公式如下：

将用户与项目的最终表示和数据集评价文本的第一层注意力权重表示合并为当前交互的统一表示形式。

经过训练和调整过程，通过使用该深度神经网络模型学习并获得注意力向量的输出。

利用该深度神经网络模型将注意力向量进行学习训练，并进行预测评分，验证预测结果的准确性。

将测试集合利用上述相同的步骤计算注意力向量，然后对其进行评分预测。

对测试集进行评分预测计算，记录测试集合对应的预测评分和真是评分的均方根误差(RMSE)和均方误差(MSE)的值。

计算本发明方法在测试集上的均方根误差(RMSE)和均方误差(MSE)的值。

调整算法的超参数，进一步增强训练，提高推荐预测的准确度。本方法在学习率取0.0005，batch_size取64时，性能最优。

经过实验验证，本发明提出方法的实验结果如表1所示：

Dataset	MSE	RMSE
			Instant Video	0.8978	0.9475
Digital Music	0.7150	0.8455
			Grocery and Gourmet Food	0.7180	0.8473
Patio_Lawn_and_Garden	0.5192	0.7205
			Tools_and_Home_Improvement	0.7322	0.8556

表1五类数据集下推荐性能评价结果。

Claims (4)

1.一种基于卷积神经网络与联合注意力机制的信息推荐方法，其特征在于包括以下步骤：

(1)数据集收集整理，数据集包括用户、项目和评价；

(2)对数据集中用户和项目进行特征提取，得到用户相似集合的嵌入向量x_u和项目相似集合的嵌入向量y_i；

(3)对数据集中用户的评价文本进行分词及预处理，得到文本词串；

(4)利用文本词串构建模型使用的词表；

(5)通过词嵌入模型WordEmbedding，将词表映射表示为评价文本的词向量表示；

(6)将评价文本的词向量表示输入CNN神经网络，得到评价文本的特征c_k；

(7)把通过深度神经网络CNN模型得到的评价文本特征送入第一层注意机制，得到评价文本信息的注意力权重c_t；

(8)基于第二层注意力机制获取交互权重，第二层注意力机制包括用户交互注意力机制和项目交互注意力机制两部分，

其中，用户交互注意力机制的输入为用户相似集合的嵌入向量x_u和第一层注意力机制得到的评价文本的注意力权重分值c_t，输出为用户嵌入向量和第一层注意力权重交互的权重值β_u；

项目交互注意力机制的输入为项目相似集合的嵌入向量y_i和第一层注意力机制得到的评价文本的注意力权重分值c_t，输出为项目嵌入向量和第一层注意力权重交互的权重值β_i；

(9)计算模型最终表示

其中，

为用户交互注意力机制权重向量β_u和用户相似集合的嵌入向量x_u的点乘；

为项目交互注意力机制权重向量β_i和项目相似集合的嵌入向量y_i的点乘；

c_t为步骤6得到的评价文本的特征；

(10)对上述CNN模型和两层注意力机制进行训练，利用训练完成的模型进行评分预测，预测评分高的项目即为推荐项目。

2.根据权利要求1所述的一种基于卷积神经网络与联合注意力机制的信息推荐方法，其特征在于步骤2中所述的特征提取包括以下步骤：

(1)把数据集中的用户ID和项目ID进行one-hot编码；

(2)通过输入层将用户和项目的one-hot表示转换成低维的密集向量，即为用户相似集合的嵌入向量x_u和项目相似集合的嵌入向量y_i，其中，输入层对应两个潜在因子参数矩阵，分别用于存储兴趣相似的用户集合和项目的相似集合。

3.根据权利要求1所述的一种基于卷积神经网络与联合注意力机制的信息推荐方法，其特征在于：步骤3进一步包括以下步骤：

(1)将数据集中的评价文本数据进行切割，把超过平均词数量的文本切除，得到固定长度的评价文本；

(2)将切割后的文本数据中英文大写转小写，并进行停用词过滤，标点符号过滤以及特殊符号过滤；

(3)利用优化分词模型对经过处理的文本语料进行分词处理，得到一系列的文本词串。

4.根据权利要求1所述的一种基于卷积神经网络与联合注意力机制的信息推荐方法，其特征在于：步骤4进一步的，将分词预处理后的数据集文本词串利用Word2vec进行映射，获得模型所使用数据集的词表。

Images