CN113792810B - 一种基于协同过滤与深度学习的多注意力推荐方法 - Google Patents

Abstract

本发明涉及一种基于协同过滤与深度学习的多注意力推荐方法，属于自然语言处理中的推荐算法领域。本发明包括：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层。输入层将用户信息文本进行文本处理作为词嵌入层的输入，词嵌入层将数据转化为低维稠密的词向量数据，局部上下文注意力层挖掘向量局部特征与上下文特征，多头注意力融合层利用协同过滤中拆分的评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，相似注意力层运用欧式距离计算用户与物品之间的相似得分，融合决策层将训练的用户特征与评分特征利用FM模型特征组合的能力，提高模型的对用户评分预测效果。

Description

一种基于协同过滤与深度学习的多注意力推荐方法

技术领域

本发明涉及一种基于协同过滤与深度学习的多注意力推荐方法，属于自然语言处理中的推荐算法领域。

背景技术

互联网高速发展，衍生了海量的数据，我们已经进入了一个信息爆炸的时代，每时每刻都有海量信息产生，然而这些信息并不全是个人所关心的，用户从大量的信息中寻找对自己有用的信息也变得越来越困难。另一方面，信息的生产方也在绞尽脑汁的把用户感兴趣的信息送到用户面前，每个人的兴趣又不尽相同，所以可以实现千人千面的推荐系统应运而生。其中基于协同过滤的传统的机器学习方法以及基于深度学习的推荐算法不断被推出，但基于协同过滤的评分模型由于数据的稀疏性与冷启动问题一直严重限制了其推荐效果。诸多研究利用深度模型去挖掘评论文本中的抽象特征，虽取得推荐性能的提升，却忽略了矩阵分解的浅层隐向量特征。如何充分挖掘评论与评分矩阵的特征的以及结合协同过滤算法于深度学习算法的问题迫待解决。

发明内容

本发明要解决的技术问题是：提供一种算法模型，解决评分模型被数据的稀疏性制约性能的问题，解决CNN作为特征的提取工具，却未能很好的解决语句长序特征丢失问题；解决充分挖掘评分隐向量与评论特征之间的深层关系的问题；解决用户特征与物品特征结合推荐的交互问题。

本发明采用的技术方案是：一种基于协同过滤与深度学习的多注意力推荐方法。本发明由六个结构构成，分别是：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层，具体步骤如下：

第一步：采用Amazon 5-core数据集作为模型的训练集，在输入层中将训练集做特征提取的预处理操作并拆分为用户物品评分矩阵和评论矩阵。

第二步：在词嵌入层中采用协同过滤模型将用户物品评分矩阵分解为用户以及物品隐向量矩阵，并使用与词向量模型将评论数据转化为更易处理的低维稠密的词向量数据。

第三步：运用CNN与全连接网络捕捉词向量局部与全局特征。

第四步：运用多头注意力挖掘评分隐向量与评论向量的多维关系。

第五步：运用欧式距离法计算用户与物品的交互关系。

第六步：运用Softmax激活归一化，后将FM特征组合特征后输入损失函数进行回归训练

所述第一步的输入层是对按比例分割的训练集的文本做预处理和数据清洗，以及数据的分类处理。

所述第二步的词嵌入层是对处理好的文本经过Word2Vec模型得到评论的词向量以及协同过滤模型得到用户以及物品的隐语义矩阵。

所述第三步运用CNN的局部卷积获得局部特征并结合全连接网络捕捉词向量全局特征，使用全连接网络弥补卷积神经网路丢失的全局信息。

所述第四步运用多头注意力挖掘评分隐向量与评论向量的多维关系，深挖用户的评分的浅层特征与用户评论的深层隐含特征之间的深层关系，使得模型能够从用户数据中得到深层训练。

所述第五步欧式距离法计算用户与物品的交互关系，不依赖于传统的静态关系推荐，转而使用用户与物品一一对应的动态关联运算，提高了用户预测评分的针对性。

所述第六步使用Softmax多分类层是对特征向量进行归一化处理输出用户评分并运用FM特征组合进行用户特征物品特征的深层融合，最后使用损失函数进行回归训练。

Softmax函数中假设有一个数组v，v_i表示v中的第i个元素，j为数组中的元素总数，e为自然常数，Softmax可表达如下：

Word2Vec是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。用于训练词向量以重新架构词向量和文本的映射，以此表示词对词之间的关系。

CNN是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，在推荐算法领域可以方便的在数据保真的前提下进行数据的压缩和提取。

FM模型是在线性回归的基础上加上了交叉特征，通过学习交叉特征的权重从而得到每个交叉特征的重要性。

本发明的有益效果是：

1.本发明基于神经网络的方法，并结合传统的协同过滤算法，运用深度学习挖掘深层的语句特征，运用协同过滤挖掘浅层的评分数据，充分合理挖掘利用数据，解决数据稀疏问题。

2.本发明运用CNN与全连接网络用以捕捉词向量局部与全局特征。

3.本发明加入了多头注意力机制将用户的评分隐向量作为多头注意力Key值，挖掘评分隐向量与评论向量的多维关系。

4.本发明加入了欧式距离提取用户与物品之间的动态关联权重。模型与现有相关的多个优秀模型都有显著的提升。

附图说明

图1为一种基于协同过滤与深度学习的多注意力推荐方法流程图；

图2为一种基于协同过滤与深度学习的多注意力推荐方法模型图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步描述。

实施例1：如图1，2所示，一种基于协同过滤与深度学习的多注意力推荐方法，本方法由六层结构构成，分别为：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层，输入层将用户信息文本进行文本处理作为词嵌入层的输入，词嵌入层主要包含传统协同过滤模型与词向量模型，其主要职责在于将数据转化为更易处理的低维稠密的词向量数据，局部上下文注意力层是用于挖掘向量局部特征与上下文特征，多头注意力融合层是利用协同过滤中拆分的评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，相似注意力层主要包含运用欧式距离计算用户与物品之间的相似得分，拥有挖掘用户对不同物品中存在的感情偏向，将训练的用户特征的与评分特征利用FM模型特征组合的能力，学习特征间的交互关系，提高了模型的对用户评分预测效果。

具体步骤如下：

S1:采用Amazon 5-core数据集作为模型的训练集，在输入层中将训练集做特征提取的预处理操作并拆分为用户物品评分矩阵和评论矩阵。输入文本，进行数据预处理，对文本进行分词、去掉停用词等操作。

S2：将评论文本通过单词向量Word2Vec模型，使每一个单词都映射到向量中,并按照词序拼接起来，组成用户的聚合评论文本，具体形式如下所示：

D_u＝[w₁...,w_i-1,w_i,w_i+1,...w_l]

w_i表示第i个的词向量，D_u表示用户u的评论词向量集。

在评分矩阵模块中，本模型使用BiasSVD模型，它是由基本的奇异值分解算法演变而来。传统的矩阵分解是通过将评分矩阵拆分为两个低阶的矩阵，分别代表了用户的隐含特征与物品的隐含特征每个维度的内积表达了用户对物品的喜爱程度，然后进行回归预测出结果，具体公式如下：

b_iu＝b_i+b_u+μ

其中p_uk与分别表示含有k维隐含向量的用户数u以及物品数i的低阶矩阵，μ表示总体数据的平均值，代表了这个数据集的基调，b_i表示项目的评分偏置，b_u表示用户的评分偏置,/>表示的预测用户物品评分矩阵，用户评分矩阵/>和商品评分矩阵/>分别表示具有k维隐向量的m个用户的以及n个物品的评分集合。BiasSVD_U_m代表BiasSVD模型分解的用户m的隐向量集合，BiasSVD_I_n代表BiasSVD模型分解的物品n的隐向量集合。

S3:在局部上下文注意力层中将用户的评论文本向量数组D_u作为输入，其中表示第j个卷积核，﹡代表了卷积操作，/>表示数组的切片，ω代表了滑动窗口的大小同时也是卷积核j窗口的宽度，/>为第j个卷积核在位置i上的卷积输出，c_u表示用户u评论词向量的局部卷积集合，其中W_a表示全连接权重矩阵，b_l∈R_l表示长度为l的偏置，ReLU为激活函数，其中w_a表示全连接权重矩阵，/>表示全局注意力特征矩阵，/>表示局部上下文注意力层用户评论的输出，同理，/>表示物品评论的输出，公式如下所示:

S4:多头注意力融合层利用评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，key＝BiascSVD_U，经过线性层变换得到/> 为调节因子，防止出现内积过大的问题。S_u(Q,K,V)为多头注意力输出，多头注意力将输入的Q,K,V拆分n份，其中/>分别是第n个头对Q,K,V的线性变化参数矩阵，/>表示对n个头的注意力训练结果。W^l表示将n个头拼接后输入线性层的训练的权重矩阵，MHF_u表示用户u评论与评分的多头注意力融合层得分，同理物品评论与物品评分为MHF_i，具体公式如下。

S5:相似注意力层主要包含运用欧式距离计算用户与物品之间的相似得分。M中的每一个元素都代表用户与物品的关联对权重，R为欧氏距离计算公式，计算得到二者的相关系数。M_u,*代表了用户u与物品上下文特征的相关性权重，同理M_i,*代表了物品i与用户上下文的相关性权重,Softmax为激活函数，SMA_u,SMA_i分别为用户u与物品i在相似注意力层的得分，具体公式如下。

M＝R(MHF_u,MHF_i)

SMA_u＝softmax(MHF_u⊙M_u,*)

SMA_i＝softmax(MHF_i⊙M_i,*)

S6:融合决策层将训练的用户特征的与评分特征利用FM模型特征组合的能力，学习特征间的交互关系，提高了模型的对用户评分预测效果。其中Z表示用户与物品在相似注意力层的输出拼接。z_i表示内部的第i个特征，z_j同理，ω₀,ω_i以及ω_ij表示待学习的权重值，是预测评分。其中r_u,i是真实评分，采用λ_θ||θ||²作为正则化来防止模型的产生过拟合，E表示平方损失函数的回归方法，具体公式如下。

本发明涉及一种基于协同过滤与深度学习的多注意力推荐方法，涉及自然语言处理中的推荐算法领域。本发明由六个层结构构成，分别为输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层。

其中，所述输入层将用户信息文本进行文本处理作为词嵌入层的输入，所述词嵌入层主要包含协同过滤模型与词向量模型，其主要职责在于将数据转化为更易处理的低维稠密的词向量数据，所述局部上下文注意力层是用于挖掘向量局部特征与上下文特征，所述多头注意力融合层，利用评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，所述相似注意力层主要包含运用欧式距离计算用户与物品之间的相似得分，拥有挖掘用户对不同物品中存在的感情偏向，将训练的用户特征的与评分特征利用FM模型特征组合的能力，学习特征间的交互关系，提高了模型的对用户评分预测效果。

以上结合附图对本发明的具体实施方式做了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：该方法采用的实现模型由六个结构构成，分别是：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层，输入层将用户信息文本进行文本处理作为词嵌入层的输入，词嵌入层包含传统协同过滤模型与词向量模型，其职责在于将数据转化为更易处理的低维稠密的词向量数据，局部上下文注意力层是用于挖掘向量局部特征与上下文特征，多头注意力融合层是利用协同过滤中拆分的评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，相似注意力层包含运用欧式距离计算用户与物品之间的相似得分，拥有挖掘用户对不同物品中存在的感情偏向，融合决策层将训练的用户特征与评分特征利用FM模型特征进行组合，学习特征间的交互关系；

具体步骤如下：

第一步：采用Amazon 5-core数据集作为模型的训练集，在输入层中，将训练集做特征提取预处理操作并拆分为用户物品评分矩阵和评论矩阵；

第二步：在词嵌入层采用包含传统机器学习的协同过滤模型将用户物品评分矩阵分解为用户以及物品隐向量矩阵，并使用词向量模型将评论数据转化为更易处理的低维稠密的词向量数据；

第三步：运用CNN卷积神经网络与全连接网络捕捉词向量局部与全局特征；

第四步：运用多头注意力挖掘评分隐向量与评论向量的多维关系；

第五步：运用欧式距离法计算用户与物品的交互关系；

第六步：运用Softmax激活归一化，后将FM特征组合特征后输入损失函数进行回归训练；

所述第三步运用CNN的局部卷积获得局部特征并结合全连接网络捕捉词向量全局特征，使用全连接网络弥补卷积神经网路丢失的全局信息；

所述第四步运用多头注意力挖掘评分隐向量与评论向量的多维关系，深挖用户的评分的浅层特征与用户评论的深层隐含特征之间的深层关系，使得模型能够从用户数据中得到深层训练。

2.根据权利要求1所述的一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：所述第一步的输入层是对按比例分割的训练集的文本做预处理和数据清洗，以及数据的分类处理。

3.根据权利要求2所述的一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：所述第二步的词嵌入层是对处理好的文本经过Word2Vec模型得到评论的词向量以及协同过滤模型得到用户以及物品的隐语义矩阵。

4.根据权利要求1所述的一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：所述第五步欧式距离法计算用户与物品的交互关系，使用用户与物品一一对应的动态关联运算。

5.根据权利要求4所述的一种基于协同过滤与深度学习的多注意力推荐方法，其特征在于：所述第六步的使用Softmax多分类层是对特征向量进行归一化处理输出用户评分并运用FM特征组合进行用户特征物品特征的深层融合，最后使用损失函数进行回归训练。