CN114693397B - 一种基于注意力神经网络的多视角多模态商品推荐方法 - Google Patents

Abstract

该发明公开了一种基于注意力机制的多视角多模态的商品推荐方法，属于推荐算法领域。本发明将物品所在场景的多模态信息融入推荐算法中；对数据进行预处理构建了物品相关关系图和物品的描述文本信息；将这些信息输入模型中进行训练，使得模型既使用了用户‑物品的历史交互，又捕捉了物品的描述性文本信息和物品间的相似性信息。不同于其他推荐方法单纯对用户的偏好进行建模，本发明同时对用户的偏好和厌恶进行建模；对用户的历史序列通过用户平均分进行划分，得到用户的偏好序列和厌恶序列，模型对用户的偏好的厌恶分别进行建模。提升了对用户的表征能力。

Description

一种基于注意力神经网络的多视角多模态商品推荐方法

技术领域

本发明属于推荐算法领域，特别是一种基于注意力机制的多视角多模态推荐方法。

背景技术

注意力机制：注意力机制(Attention Mechanism)是人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。目前，注意力机制已经成为深度学习领域，是应用最广泛的“组件”之一。

神经网络：是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。

图注意力网络：图注意力网络(GAT)是一种基于空间的图卷积网络，它的注意机制是在聚合特征信息时，将注意机制用于确定节点邻域的权重。

推荐系统是一种信息过滤系统，用于预测用户对物品的"评分"或"偏好"。推荐系统近年来非常流行，应用于各行各业。推荐的对象包括：电影、音乐、新闻、书籍、学术论文、搜索查询、分众分类、以及其他产品。

推荐系统产生推荐列表的方式通常有两种：协同过滤以及基于内容推荐，或者基于个性化推荐。协同过滤方法根据用户历史行为(例如其购买的、选择的、评价过的物品等)结合其他用户的相似决策建立模型。这种模型可用于预测用户对哪些物品可能感兴趣(或用户对物品的感兴趣程度)。基于内容推荐利用一些列有关物品的离散特征，推荐出具有类似性质的相似物品。传统的推荐算法比如基于物品的协同过滤、因子分解机等都取得了显著的效果。

利用神经网络可通过学习一种深层次非线性网络结构，表征用户和物品相关的海量数据，具有强大的从样本中学习数据集本质特征的能力，能够获取用户和物品的深层次特征表示。同时可以通过从多源异构数据中进行自动特征学习，从而将不同数据映射到一个相同的隐空间，能够获得数据的统一表征。这非常适合推荐任务，因此，近年来，越来越多的推荐算法使用神经网络结构，比如NCF、DeepFM、NGCF和MKGAT等等。神经网络的普遍应用推动推荐算法的研究进入了新阶段。

现有技术的缺点：

随着时代的发展，推荐场景也不断在变化，当今的推荐场景中，往往含有多种模态的数据。比如：物品的描述性信息、物品构成图反映的社群信息等等。而已有的基于神经网络的推荐算法往往忽略了场景中丰富的多模态信息，而单纯使用用户和物品的交互历史来进行推荐。这样一来相当于放弃了物品侧丰富的描述性信息，不能对物品进行全面的建模，会大大降低推荐的效果。

发明内容

本发明针对现有技术的不足，提供了一种基于注意力机制的多视角多模态的推荐方法。本发明尝试利用推荐场景中的多模态信息进行推荐，并尝试对用户进行多视角表征。首先从推荐场景信息数据库中提取物品的结构信息和语义信息用于物品的表征，然后根据用户与物品的交互历史，利用注意力融合机制生成用户表征。本发明从偏好和厌恶两个视角对每个用户进行多视角的表征。最后，将偏好用户表征和厌恶用户表征分别与候选物品表征进行点积，然后将两个点积结果加权求和得到最终的预测结果。

本发明公开一种基于注意力机制的多视角多模态的商品推荐方法，该方法具体包括下列步骤：

步骤1：数据获取；

从数据库中获取用户对物品的历史打分记录和物品的相关信息，其中物品的相关信息包括物品的描述信息和相关属性信息；

步骤2：对物品的描述信息和相关属性信息进行编码，并进行语义提取；

首先把物品的描述信息和相关属性信息的分句符号去除，让其从一段话转化为一个句子，表示为{w₁,w₂,w₃,..w_l.,w_L}，L代表句子长度,w_l表示一个字，然后采用BERT的编码器把这个句子编码为{t₁,t₂,t₃,...,t_L+1}，在这其中t₁＝[CLS]，是BERT编码器分类任务中特殊的编码，之后，被编码后的句子作为输入再传进BERT编码器中，输出为形如L×d的隐向量h，其中d代表嵌入的维度；

h＝{h₁,h₂....h_L+1}

把t₁＝[CLS]对应的词嵌入h₁，此时h₁已经浓缩了整句的语义信息，把h₁当做这个句子的代表，把h₁输入一个全连接层进行维度变换得到最终维度为d_h的句子，采用下式计算提取到语义信息向量s；

其中

b是全连接层中的学习参数；

步骤3：利用物品的相关属性信息构建物品的相关关系图，并计算结点表征；

步骤3.1：构建一个单部图G，物品是G的结点，如果物品i和j有K个相同的属性，则在i和j对应的结点间连一条边，由此方法构建出的图G即为物品的相关关系图对构建出的物品间的相似性关系；

步骤3.2：对单部图G，随机初始化每个结点的向量P＝{p₁,p₂,...,p_M}，使用两层多头注意力机制来得到最终的结点嵌入，使用的注意力机制的权重α为：

其中a是一层前馈神经网络的权重，用来实现注意力机制；p_i是目标结点，p_j是第i个节点的某个邻居结点，N_i是第i个节点的邻接结点集，p_k是节点集中的第k个节点，α_ij为第j个节点对第i个节点的重要程度，exp()表示以e为底的指数函数，LeakyReLU()是激活函数，W_pi表示对i节点进行线性变换的参数矩阵，W_pj，W_pk分别代表j节点和k节点对应的线性变换矩阵；

步骤3.3：采用基于拼接策略的多头注意力机制得到第一层结点表征

其中σ是一个非线性变换激活函数，||代表拼接操作,K是多头注意力机制的头数，W^k是头k对应的线性变换矩阵，

表示第k个头中结点j对结点i的重要程度，再对

进行一次基于求平均策略的多头注意力机制，得到最终的结点表征向量

步骤4：生成物品低维向量；将步骤2和步骤3中得到的向量进行拼接，作为物品的表征向量:

r＝p^**||s

其中，p^**代表步骤3中得到的结点表征向量，s代表步骤2中得到的语义信息向量。

步骤5：评分正则化和用户偏好厌恶划分；

将数据集中的评分数据根据每个用户的平均打分正则化为0和1，用户评分低于平均分的物品作为用户的厌恶序列，高于平均分的物品作为用户的偏好序列；

步骤6：数据集划分；

将数据集中的偏好序列和厌恶序列分别随机按照一定比例划分为训练集、验证集和测试集；

步骤7：训练网络模型；该网络模型方法为：

步骤7.1：得到用户u的历史物品集ε_u:

其中，

代表与用户u交互过且用户u感兴趣的物品集，

代表与用户u交互过但用户不喜欢的物品集，u表示用户，v表示物品，V表示物品集，y_uv表示用户u对物品v的评分，v_dislike表示和用户有过交互且用户不喜欢的物品；

步骤7.2：利用多头自注意力机制对

和

中包含的物品嵌入向量分别进行加权求和得到用户的偏好表征和厌恶表征，其中物品嵌入向量从步骤4中得到；

针对偏好表征，物品的自注意力权值β为：

其中，exp()表示以自然数e为底的指数函数，Attention()表示与Transformer编码器相同的自注意力机制，r表示步骤4中得到的物品嵌入向量，r_e表示物品e对应的嵌入向量，A表示

集的大小；

最终用户的偏好表征u_pos为：

采用相同方法利用

中的物品嵌入得到用户的厌恶表征u_neg；

步骤7.3：预测点击概率；

设候选物品Y的物品嵌入向量为y，使用用户u的偏好表征和厌恶表征分别与y做点积后加权求和得到最终的点击概率click:

click＝w₁×y^Tu_pos+w₂×y^Tu_neg

其中，w₁，w₂为加权系数；

步骤8：采用步骤7训练好的模型进行预测，预测结果为该样本被当前用户点击的概率。

和现有的技术相比，本发明有益效果为：

1、本发明将物品所在场景的多模态信息融入推荐算法中。在步骤3中对数据进行预处理构建了物品相关关系图和物品的描述文本信息。在步骤8中将这些信息输入模型中进行训练，使得模型既使用了用户-物品的历史交互，又捕捉了物品的描述性文本信息和物品间的相似性信息。

2、不同于其他推荐方法单纯对用户的偏好进行建模，本发明同时对用户的偏好和厌恶进行建模。在步骤5中对用户的历史序列通过用户平均分进行划分，得到用户的偏好序列和厌恶序列，步骤7中的模型对用户的偏好的厌恶分别进行建模。提升了对用户的表征能力。

附图说明

图1为本发明提出的多视角多模态推荐方法流程图。

图2为Bert文本表征算法结构示意图。

图3为GAT算法结构示意图。

图4为本发明提出的物品编码器结构示意图。

图5为多模态多视角推荐算法网络结构示意图。

图6为在真实数据集MovieLens-1M和Book-Crossing上对本发明进行了对比实验结果图。

具体实施方案

为了使本发明的目的更加清楚，以下结合附图对本发明进一步详细介绍。

图1可视化地表示出了本发明提出的推荐方法的步骤。具体而言包括数据处理、偏好厌恶序列划分、数据集划分、网络模型训练以及最后的预测。

图2展示了对物品的描述性文本信息进行编码方法，该方法不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的遮掩语言模型，以致能生成深度的双向语言表征。一层transformer编码器如下图所示，BERT由多个transformer编码器堆叠而成。

每层中最重要的部分是进行自注意力计算；BERT使用的注意力机制属于放缩点积注意力机制，计算公式如下：

其中Q,K,V分别是query矩阵、key矩阵和value矩阵，d_k是key矩阵的向量维度。

Bert的输入相较其它模型，采用了三个嵌入向量相加的方式，通过加入字符嵌入向量，段嵌入向量，P位置嵌入向量三个向量，以此达到预训练和预测下一句的目的。

在本发明的应用中，对于输入的一段文本内容，首先把它的分句符号去除，让其从一段话转化为一个句子，表示为{w₁,w₂,w₃,...,w_L}，L代表句子长度。然后使用和BERT相同的编码器把这个句子编码为{t₁,t₂,t₃,...,t_L+1}，在这其中t₁＝[CLS]，是BERT分类任务中特殊的编码。之后，被编码后的句子作为输入传进BERT中。BERT输出的是形如L×d的隐向量h。其中d代表嵌入的维度。

h＝{h₁,h₂....h_L+1}

把t₁＝[CLS]对应的词嵌入h₁，此时h₁已经浓缩了整句的语义信息，把h₁当做这个句子的代表，把h₁输入一个全连接层进行维度变换得到最终维度为d_h的句子，s作为提取到的语义信息。

其中

b是全连接层中的可学习参数。在本发明中，使用Huggingface的预训练BERT-base-uncased模型，其中Transformer编码器的层数N＝12,维度d_h＝768。

图3直观的展示了本发明将物品相似性关系图中的结点嵌入进向量的方法；对构建出的物品间的相似性关系单部图G＝(N,E)，首先随机初始化每个结点的向量P＝{p₁,p₂,...,p_M}，其中

d_k是嵌入向量的维度。之后使用两层多头注意力机制来得到最终的结点嵌入；使用的注意力机制的权重α表示为：

其中a是一层前馈神经网络的权重，用来实现注意力机制，W是为了提升表达能力而使用的线性变换矩阵。p_i是目标结点，p_j是i的某个邻居结点，N_i是结点i的邻接结点集。α_ij为结点j对结点i的重要程度。

采用基于拼接策略的多头注意力机制得到第一层结点表征

其中σ是一个非线性变换激活函数，||代表拼接操作,K是多头注意力机制的头数，W^k是头k对应的线性变换矩阵。为了得到结点更好的类别表征，又对

进行了一次基于求平均策略的多头注意力机制得到最终的结点嵌入

图4直观展示了物品编码器的结构，具体而言物品编码器的运算过程如下。物品编码器使用上文中提到的BERT来对文本进行向量化，用图注意力神经网络对图结点进行向量化嵌入，然后将两个向量进行拼接得到物品表征r，具体可以表示为：

r＝BERT({t₁....t_L+1})||{item_i|GAT(G(N,E))}

图5展示了本发明提出的推荐方法的网络架构，原理如下。每个用户由两个视角的向量来表征，一个向量代表该用户的偏好，另一个向量代表该用户的厌恶，这样可以更全面的表征用户。用户u的历史物品集ε_u表示为:

其中

代表与用户u交互过且用户u感兴趣的物品集，

代表与用户u交互过但用户不喜欢的物品集，u表示用户，v表示物品，V表示物品集，y_uv表示用户u对物品v的评分，v_dislike表示和用户有过交互且用户不喜欢的物品；接下来，利用多头自注意力机制对

和

中物品的嵌入分别进行加权求和得到用户的偏好表征和厌恶表征；以偏好表征为例，物品的自注意力权值β为：

最终用户的偏好表征u_pos为：

r表示步骤4中得到的物品嵌入向量，r_e表示物品e对应的嵌入向量，A表示

集的大小，采用相同方法利用

中的物品嵌入得到用户的厌恶表征u_neg。

点击预测部分用来预测用户对候选物品的点击概率；采用点积的方法计算用户点击概率。假设候选物品Y的物品嵌入向量为y，使用用户u的偏好表征和厌恶表征分别与y做点积后加权求和得到最终的点击概率click:

click＝w₁×y^Tu_pos+w₂×y^Tu_neg

本发明在推荐算法常用的两个真实数据集MovieLens-1M和Book-Crossing上对本发明进行了对比实验，结果如图6所示。结果显示，本发明预测准确率(AUC)明显高于其余方法，归一化折损累计增益(nDCG)也明显高于其余方法；所以本发明的效果优于所有对比算法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形都应视为本发明的保护范围。

Claims (1)

1.一种基于注意力机制的多视角多模态的商品推荐方法，该方法具体包括下列步骤：

步骤1：数据获取；

从数据库中获取用户对物品的历史打分记录和物品的相关信息，其中物品的相关信息包括物品的描述信息和相关属性信息；

步骤2：对物品的描述信息和相关属性信息进行编码，并进行语义提取；

首先把物品的描述信息和相关属性信息的分句符号去除，让其从一段话转化为一个句子，表示为{w₁,w₂,w₃,..w_l.,w_L}，L代表句子长度,w_l表示一个字，然后采用BERT的编码器把这个句子编码为{t₁,t₂,t₃,...,t_L+1}，在这其中t₁＝[CLS]，是BERT编码器分类任务中特殊的编码，之后，被编码后的句子作为输入再传进BERT编码器中，输出为形如L×d的隐向量h，其中d代表嵌入的维度；

h＝{h₁,h₂....h_L+1}

把t₁＝[CLS]对应的词嵌入h₁，此时h₁已经浓缩了整句的语义信息，把h₁当做这个句子的代表，把h₁输入一个全连接层进行维度变换得到最终维度为d_h的句子，采用下式计算提取到语义信息向量s；

其中

b是全连接层中的学习参数；

步骤3：利用物品的相关属性信息构建物品的相关关系图，并计算结点表征；

步骤3.1：构建一个单部图G，物品是G的结点，如果物品i和j有K个相同的属性，则在i和j对应的结点间连一条边，由此方法构建出的图G即为物品的相关关系图对构建出的物品间的相似性关系；

步骤3.2：对单部图G，随机初始化每个结点的向量P＝{p₁,p₂,...,p_M}，使用两层多头注意力机制来得到最终的结点嵌入，使用的注意力机制的权重α为：

其中a是一层前馈神经网络的权重，用来实现注意力机制；p_i是目标结点，p_j是第i个节点的某个邻居结点，N_i是第i个节点的邻接结点集，p_k是节点集中的第k个节点，α_ij为第j个节点对第i个节点的重要程度，exp()表示以e为底的指数函数，LeakyReLU()是激活函数，

表示对i节点进行线性变换的参数矩阵，

分别代表j节点和k节点对应的线性变换矩阵；

步骤3.3：采用基于拼接策略的多头注意力机制得到第一层结点表征

其中σ是一个非线性变换激活函数，||代表拼接操作,K是多头注意力机制的头数，W^k是头k对应的线性变换矩阵，

表示第k个头中结点j对结点i的重要程度，再对

进行一次基于求平均策略的多头注意力机制，得到最终的结点表征向量

步骤4：生成物品低维向量；将步骤2和步骤3中得到的向量进行拼接，作为物品的表征向量:

r＝p^**||s

其中，p^**代表步骤3中得到的结点表征向量，s代表步骤2中得到的语义信息向量；

步骤5：评分正则化和用户偏好厌恶划分；

将数据集中的评分数据根据每个用户的平均打分正则化为0和1，用户评分低于平均分的物品作为用户的厌恶序列，高于平均分的物品作为用户的偏好序列；

步骤6：数据集划分；

将数据集中的偏好序列和厌恶序列分别随机按照一定比例划分为训练集、验证集和测试集；

步骤7：训练网络模型；该网络模型方法为：

步骤7.1：得到用户u的历史物品集ε_u:

其中，

代表与用户u交互过且用户u感兴趣的物品集，

代表与用户u交互过但用户不喜欢的物品集，u表示用户，v表示物品，V表示物品集，y_uv表示用户u对物品v的评分，v_dislike表示和用户有过交互且用户不喜欢的物品；

步骤7.2：利用多头自注意力机制对

和

中包含的物品嵌入向量分别进行加权求和得到用户的偏好表征和厌恶表征，其中物品嵌入向量从步骤4中得到；

针对偏好表征，物品的自注意力权值β为：

其中，exp()表示以自然数e为底的指数函数，Attention()表示与Transformer编码器相同的自注意力机制，r表示步骤4中得到的物品嵌入向量，r_e表示物品e对应的嵌入向量，A表示

集的大小；

最终用户的偏好表征u_pos为：

采用相同方法利用

中的物品嵌入得到用户的厌恶表征u_neg；

步骤7.3：预测点击概率；

设候选物品Y的物品嵌入向量为y，使用用户u的偏好表征和厌恶表征分别与y做点积后加权求和得到最终的点击概率click:

click＝w₁×y^Tu_pos+w₂×y^Tu_neg

其中，w₁，w₂为加权系数；

步骤8：采用步骤7训练好的模型进行预测，预测结果为样本被当前用户点击的概率。

Images