CN111415222B - 一种物品推荐方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种物品推荐方法，包括：利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对目标物品的可见偏好信息和不可见偏好信息；利用评论驱动的视觉注意力模网络结合偏好信息，计算目标物品的图像向量表示；将原用户向量表示与偏好信息结合，得到目标用户向量表示；将原物品向量表示与图像向量表示结合，得到目标物品向量表示；对目标用户向量表示和目标物品向量表示进行相似度评分计算；根据评分计算结果向用户进行物品推荐。本发明充分结合了用户的可视偏好信息和不可视偏好信息进行物品推荐，较大地提高了物品推荐的准确性。本发明还公开了一种物品推荐装置、设备及存储介质，具有相应技术效果。

Description

一种物品推荐方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种物品推荐方法、装置、设备及计算机可读存储介质。

背景技术

随着在线购物的快速发展，近年来，使用图像进行可解释的个性化物品推荐已引起越来越多的关注。如今，在网上购买物品时，用户的决定主要受到产品外观的影响。

现有的物品推荐方式已经能够捕获用户对可视特征的偏好，并提供直观的图像解释。但是，用户无法从图像中观察到的不可见特征，例如衣服的材质和质量，并且没有提供相应的文本解释，并且这些不可见特征也会影响用户的决定。从而忽略了用户的个性化视觉偏好，忽略了不可视偏好的获取，并且由于图像表达的限制性而无法提供对不可视特征的解释，进而导致物品推荐的准确性低。

综上所述，如何有效地解决现有的物品推荐方式忽略了对用户不可视偏好的获取，物品推荐的准确性低等问题，是目前本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种物品推荐方法，该方法实现了视觉信息和文本信息的共同增强，充分结合了用户的可视偏好信息和不可视偏好信息进行物品推荐，较大地提高了物品推荐的准确性；本发明的另一目的是提供一种物品推荐装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供如下技术方案：

一种物品推荐方法，包括：

利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对所述目标物品的偏好信息；其中，所述偏好信息包括可见偏好信息和不可见偏好信息；

利用评论驱动的视觉注意力网络结合所述偏好信息，计算所述目标物品的图像向量表示；

获取原用户向量表示，并将所述原用户向量表示与所述偏好信息结合，得到目标用户向量表示；

获取所述目标物品对应的原物品向量表示，并将所述原物品向量表示与所述图像向量表示结合，得到目标物品向量表示；

对所述目标用户向量表示和所述目标物品向量表示进行相似度评分计算，得到评分计算结果；

根据所述评分计算结果向所述用户进行物品推荐。

在本发明的一种具体实施方式中，利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对所述目标物品的偏好信息，包括：

利用所述两层自适应注意力网络对所述用户历史评论和所述原物品向量表示进行计算，得到所述用户历史评论中与所述目标物品的第一相关信息；

利用所述两层自适应注意力网络对所述物品历史评论和所述原用户向量表示进行计算，得到所述物品历史评论中与所述用户的第二相关信息；

结合所述第一相关信息和所述第二相关信息得到所述用户对所述目标物品的偏好信息。

在本发明的一种具体实施方式中，利用所述两层自适应注意力网络对所述用户历史评论和所述原物品向量表示进行计算，得到所述用户历史评论中与所述目标物品的第一相关信息，包括：

分别获取所述用户历史评论的每个评论中各单词的词向量表示；

将所述原物品向量表示与各所述词向量表示转换到同一空间；

利用所述两层自适应注意力网络对所述原物品向量表示和各所述词向量表示进行计算，得到各所述词向量表示分别对应的第一权重值；

对每个评论中各所述词向量表示和对应的第一权重值进行加权计算，得到每个评论的句子向量表示；

将所述原物品向量表示与各所述句子向量表示转换到同一空间；

利用所述两层自适应注意力网络对所述原物品向量表示和各所述句子向量表示进行计算，得到各所述句子向量表示分别对应的第二权重值；

对各所述句子向量表示和对应的第二权重值进行加权计算，得到所述第一相关信息。

在本发明的一种具体实施方式中，利用评论驱动的视觉注意力网络结合所述偏好信息，计算所述目标物品的图像向量表示，包括：

利用评论驱动的视觉注意力网络结合将预测用户评论作为弱监督信号得到的偏好信息，计算所述图像向量表示；其中，所述预测用户评论为通过包括所述两层自适应注意力网络和评论驱动的视觉注意力网络的物品推荐模型训练得到。

在本发明的一种具体实施方式中，利用评论驱动的视觉注意力网络结合将预测用户评论作为弱监督信号得到的偏好信息，计算所述图像向量表示，包括：

利用VGG-19网络对所述目标物体的图像进行区域划分，得到各图像区域；

获取各所述图像区域的区域向量表示；

结合将所述预测用户评论作为弱监督信号得到的偏好信息和各所述区域向量表示，分别计算各所述区域向量表示对应的第三权重值；

对各所述区域向量表示和对应的第三权重值进行加权计算，得到所述图像向量表示。

在本发明的一种具体实施方式中，对所述目标用户向量表示和所述目标物品向量表示进行相似度评分计算，得到评分计算结果，包括：

对所述目标用户向量表示和所述目标物品向量表示进行相似度评分计算，得到所述用户对所述目标物品感兴趣的概率值；

根据所述评分计算结果向所述用户进行物品推荐，包括：

对多个所述目标物品的概率值进行大小排序，将概率值高于预设值的目标物品推荐给所述用户。

一种物品推荐装置，包括：

偏好信息获得模块，用于利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对所述目标物品的偏好信息；其中，所述偏好信息包括可见偏好信息和不可见偏好信息；

图像向量计算模块，用于利用评论驱动的视觉注意力网络结合所述偏好信息，计算所述目标物品的图像向量表示；

用户向量计算模块，用于获取原用户向量表示，并将所述原用户向量表示与所述偏好信息结合，得到目标用户向量表示；

物品向量获得模块，用于获取所述目标物品对应的原物品向量表示，并将所述原物品向量表示与所述图像向量表示结合，得到目标物品向量表示；

评分结果获得模块，用于对所述目标用户向量表示和所述目标物品向量表示进行相似度评分计算，得到评分计算结果；

物品推荐模块，用于根据所述评分计算结果向所述用户进行物品推荐。

在本发明的一种具体实施方式中，所述偏好信息获得模块包括：

第一相关信息获得子模块，用于利用所述两层自适应注意力网络对所述用户历史评论和所述原物品向量表示进行计算，得到所述用户历史评论中与所述目标物品的第一相关信息；

第二相关信息获得子模块，用于利用所述两层自适应注意力网络对所述物品历史评论和所述原用户向量表示进行计算，得到所述物品历史评论中与所述用户的第二相关信息；

偏好信息获得子模块，用于结合所述第一相关信息和所述第二相关信息得到所述用户对所述目标物品的偏好信息。

一种物品推荐设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如前所述物品推荐方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述物品推荐方法的步骤。

本发明提供了一种物品推荐方法：利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对目标物品的偏好信息；其中，偏好信息包括可见偏好信息和不可见偏好信息；利用评论驱动的视觉注意力网络结合偏好信息，计算目标物品的图像向量表示；获取原用户向量表示，并将原用户向量表示与偏好信息结合，得到目标用户向量表示；获取目标物品对应的原物品向量表示，并将原物品向量表示与图像向量表示结合，得到目标物品向量表示；对目标用户向量表示和目标物品向量表示进行相似度评分计算，得到评分计算结果；根据评分计算结果向用户进行物品推荐。

通过上述技术方案可知，利用两层自适应注意力网络从用户历史评论和物品历史评论中，获取包括用户的可见偏好信息和不可见偏好信息的偏好信息，结合偏好信息计算目标物品针对当前用户的个性化的图像向量表示，将原用户向量表示融入用户的偏好信息，得到目标用户向量表示，并将原物品向量表示融入计算得到的图像向量表示，得到目标物品向量表示，进而通过对目标用户向量表示和目标物品向量表示进行相似度评分计算，根据得到的评分计算结果向用户进行物品推荐。从而实现了视觉信息和文本信息的共同增强，充分结合了用户的可视偏好信息和不可视偏好信息进行物品推荐，较大地提高了物品推荐的准确性。

相应的，本发明实施例还提供了与上述物品推荐方法相对应的物品推荐装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中物品推荐方法的一种实施流程图；

图2为本发明实施例中物品推荐方法的另一种实施流程图；

图3为本发明实施例中一种物品推荐装置的结构框图；

图4为本发明实施例中一种物品推荐设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

参见图1，图1为本发明实施例中物品推荐方法的一种实施流程图，该方法可以包括以下步骤：

S101：利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对目标物品的偏好信息；其中，偏好信息包括可见偏好信息和不可见偏好信息。

通过预先训练得到两层自适应注意力网络，两层自适应注意力网络包含利用目标物品过滤用户历史评论和利用用户过滤目标物品的物品历史评论两部分。从而利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对目标物品的偏好信息。获取到的用户对目标物品的偏好信息包括可见偏好信息和不可见偏好信息，如当目标物品为衣服时，包括用户对衣服的领口、袖口等可见偏好信息，还包括用户对衣服的材质、质量等非可见偏好信息。

S102：利用评论驱动的视觉注意力网络结合偏好信息，计算目标物品的图像向量表示。

预先训练得到评论驱动的视觉注意力网络，在获取到用户对目标物品的偏好信息之后，利用评论驱动的视觉注意力网络结合偏好信息，计算目标物品的图像向量表示，从而获得目标物品带有单词注释的，符合用户细粒度的视觉偏好的个性化图像向量表示。

S103：获取原用户向量表示，并将原用户向量表示与偏好信息结合，得到目标用户向量表示。

在得到用户对目标物品的偏好信息之后，获取原用户向量表示，并将原用户向量表示与偏好信息结合，得到目标用户向量表示。使得目标用户向量表示中包含有用户的可见偏好信息和不可见偏好信息。

S104：获取目标物品对应的原物品向量表示，并将原物品向量表示与图像向量表示结合，得到目标物品向量表示。

在计算得到目标物品的图像向量表示之后，获取目标物品对应的原物品向量表示，并将原物品向量表示与图像向量表示结合，得到目标物品向量表示。

S105：对目标用户向量表示和目标物品向量表示进行相似度评分计算，得到评分计算结果。

在得到目标用户向量表示和目标物品向量表示之后，对目标用户向量表示和目标物品向量表示进行相似度评分计算，得到评分计算结果，从而能够根据评分计算结果预测用户会对目标物品感兴趣的可能性。

S106：根据评分计算结果向用户进行物品推荐。

在得到评分计算结果之后，根据评分计算结果向用户进行物品推荐。从而实现了视觉信息和文本信息的共同增强，充分结合了用户的可视偏好信息和不可视偏好信息进行物品推荐，较大地提高了物品推荐的准确性。

通过上述技术方案可知，利用两层自适应注意力网络从用户历史评论和物品历史评论中，获取包括用户的可见偏好信息和不可见偏好信息的偏好信息，结合偏好信息计算目标物品针对当前用户的个性化的图像向量表示，将原用户向量表示融入用户的偏好信息，得到目标用户向量表示，并将原物品向量表示融入计算得到的图像向量表示，得到目标物品向量表示，进而通过对目标用户向量表示和目标物品向量表示进行相似度评分计算，根据得到的评分计算结果向用户进行物品推荐。从而实现了视觉信息和文本信息的共同增强，充分结合了用户的可视偏好信息和不可视偏好信息进行物品推荐，较大地提高了物品推荐的准确性。

需要说明的是，基于上述实施例一，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。

实施例二：

S201：分别获取用户历史评论的每个评论中各单词的词向量表示。

假设有一个用户集U＝{u₁,u₂,...,u_n}和一个物品集V＝{v₁,v₂,...,v_m}，收集用户集与物品集之间的所有交互，以形成交互集O＝{(u,v)|用户u曾购买过的物品v}，每个交互都伴随有相应的真实评论。将用户u对物品v的评论定义为

其中，

是第t个单词，l_uv是评论的长度。交互的所有评论的集合定义为W＝{W_uv|(u,v)∈O}。

每个物品v对应的图像表示为F_v，所有物品的视觉特征集都表示为F＝{F_v|v∈V}。用户u的用户历史评论为

其中，N表示评论的数目，每个评论

由一组单词表示，所有用户的历史记录集表示为W'_u＝{W_u|u∈U}。同样，

表示物品v的历史评论，所有物品历史评论的集合表示为W_v'＝{W_v|v∈V}。

在向用户进行物品推荐时，分别获取用户历史评论的每个评论中各单词的词向量表示。用户历史评论

令

是第k个评论

的词向量列表，其中，

为第k个评论

中的第j个单词的词向量表示，R^d指一个长度维d的一维向量。

S202：将原物品向量表示与各词向量表示转换到同一空间。

获取目标物品对应的原物品向量表示，原物品向量表示定义为p_v，p_v∈R^k，将原物品向量表示与各词向量表示转换到同一空间。

S203：利用两层自适应注意力网络对原物品向量表示和各词向量表示进行计算，得到各词向量表示分别对应的第一权重值。

在获取到各单词的词向量表示

和原物品向量表示p_v之后，利用两层自适应注意力网络对原物品向量表示和各词向量表示进行计算，得到各词向量表示分别对应的第一权重值。词向量表示分别对应的第一权重值定义为α_vjk，可以通过以下公式计算各词向量表示分别对应的第一权重值：

其中，W_v∈R^s*k,W_j∈R^s*d为将原物品向量p_v∈R^k和各单词的词向量表示

转换到同一空间的参数，R^s*k表示s*k的二维向量，R^s*d表示s*d的二维向量，R^k表示长度为k的一维向量；E₁(.)和E₂(.)是线性转换操作；ReLU是整流线性单位；

是逐元素乘法，T表示每个评论中词向量总个数。

S204：对每个评论中各词向量表示和对应的第一权重值进行加权计算，得到每个评论的句子向量表示。

在得到每个评论中各词向量表示以及各词向量表示对应的第一权重值之后，对每个评论中各词向量表示和对应的第一权重值进行加权计算，得到每个评论的句子向量表示。可以通过以下公式计算每个评论的句子向量表示：

S205：将原物品向量表示与各句子向量表示转换到同一空间。

在计算得到各句子向量表示之后，将原物品向量表示与各句子向量表示转换到同一空间。

S206：利用两层自适应注意力网络对原物品向量表示和各句子向量表示进行计算，得到各句子向量表示分别对应的第二权重值。

利用两层自适应注意力网络对原物品向量表示和各句子向量表示进行计算，得到各句子向量表示分别对应的第二权重值。可以通过以下公式计算各句子向量表示分别对应的第二权重值：

其中，W'_v∈R^s*k,W'_k∈R^s*d是将原物品向量E'₂(.)p_v∈R^k和每个评论的句子向量表示R_uvk∈R^d投影到同一空间的参数；E'₁(.)和是线性转换操作；N表示用户历史评论的总个数。

S207：对各句子向量表示和对应的第二权重值进行加权计算，得到第一相关信息。

在计算得到用户历史评论中各句子向量表示和每个句子对应的第二权重值之后，对各句子向量表示和对应的第二权重值进行加权计算，得到第一相关信息。可以通过以下公式计算第一相关信息：

S208：利用两层自适应注意力网络对物品历史评论和原用户向量表示进行计算，得到物品历史评论中与用户的第二相关信息。

利用两层自适应注意力网络对物品历史评论和原用户向量表示进行计算，得到物品历史评论中与用户的第二相关信息。第二相关信息的计算过程类比第一相关信息的计算过程。

S209：结合第一相关信息和第二相关信息得到用户对目标物品的偏好信息；其中，偏好信息包括可见偏好信息和不可见偏好信息。

在分别计算得到第一相关信息和第二相关信息之后，结合第一相关信息和第二相关信息得到用户对目标物品的偏好信息，获取到的用户对目标物品的偏好信息包括可见偏好信息和不可见偏好信息。可以通过以下公式对第一相关信息和第二相关信息进行整合，得到用户对目标物品的偏好信息：

S210：利用VGG-19网络对目标物体的图像进行区域划分，得到各图像区域。

在获取到目标物体的图像之后，利用VGG-19网络对目标物体的图像进行区域划分，得到各图像区域。

具体的，将目标物品的图像输入VGG-19网络，并取VGG-19网络conv5层的14*14*512的特征向量作为最终图像表示。14*14表示图像被分割分成14*14个图像区域，以及512维对应(D＝512)对应于每个图像区域特征向量表示。

S211：获取各图像区域的区域向量表示。

在对目标物体的图像进行区域划分，得到各图像区域之后，获取各图像区域的区域向量表示。获得图像F_v∈R^h*D，R^h*D是h*D的二维向量，其中每行

对应于图像区域，R^D表示长度为D的一维向量，区域总数是h＝196。

S212：结合将预测用户评论作为弱监督信号得到的偏好信息和各区域向量表示，分别计算各区域向量表示对应的第三权重值。

其中，预测用户评论为通过包括两层自适应注意力网络和评论驱动的视觉注意力网络的物品推荐模型训练得到。

在获取各图像区域的区域向量表示之后，结合将预测用户评论作为弱监督信号得到的偏好信息和各区域向量表示，分别计算各区域向量表示对应的第三权重值。可以通过如下公式计算各区域向量表示对应的第三权重值：

其中，W_p,W_f为将用户对目标物品的偏好信息F_uv和图像区域表示

转换到同一空间的参数，h表示目标物品的图像对应的图像区域总数。

假设用户u对物品v进行注释的单词列表为

其中，l_uv是评论的长度。可以通过以下公式将预测用户评论作为弱监督信号引入目标物品的图像向量表示：

其中，[.；.；.]表示连接输入的向量，i_t，f_t，o_t，g_t，e_t是门函数，

是输入单词

的向量表示，h_t∈R^z是隐藏状态，R^z是长度为z的一维向量，

是考虑不同时间步长的注意力图像表示，原始注意力图像嵌入I_uv和隐藏状态h_t确定的上下文输入，其计算公式如下：

其中，q_v是原物品向量表示；p_u是原用户向量表示；E_I(.),E_PQ(.)是线性变换；β^t＝σ(w_th_t)是时间门函数，用于模拟当前单词是由图像的可见特征生成还是由用户和物品嵌入中的那些隐含特征生成。

通过利用包括两层自适应注意力网络和评论驱动的视觉注意力网络的物品推荐模型进行训练，得到预测用户评论，将预测用户评论作为弱监督信号不断迭代训练得到偏好信息，保证了后续得到的图像向量表示中第三权重最大的区域向量准确的与真实评论中的描述一一对应，引入预测用户评论辅助监督图像向量表示。

S213：对各区域向量表示和对应的第三权重值进行加权计算，得到图像向量表示。

在的带各区域向量表示和每个区域向量对应的第三权重值之后，对各区域向量表示和对应的第三权重值进行加权计算，得到图像向量表示。可以通过以下公式计算像向量表示：

其中，α'_uv＝{α'_uv1,α'_uv2,...,α'_uvh}。

S214：获取目标物品对应的原物品向量表示，并将原物品向量表示与图像向量表示结合，得到目标物品向量表示。

S215：对目标用户向量表示和目标物品向量表示进行相似度评分计算，得到用户对目标物品感兴趣的概率值。

在分别获取到目标用户向量表示和目标物品向量表示之后，对目标用户向量表示和目标物品向量表示进行相似度评分计算，得到用户对目标物品感兴趣的概率值。可以通过以下公式计算用户对目标物品感兴趣的概率值：

其中，W_I∈R^K*D是权重参数，P(.)是L层神经网络，F_uv是用户偏好信息，I_uv是用户u对目标物品v的视觉偏好，使用逐元素相乘，将原用户向量表示p_u与用户偏好信息F_uv结合起来以获得目标用户向量表示，将原物品向量表示q_v与用户u对目标物品v的视觉偏好I_uv结合起来以获得目标物品向量表示。

通过将目标用户向量表示与目标物品向量表示进行相似度评分计算，可以预测用户u对目标物品v感兴趣的概率值，如用户u购买目标物品v的概率值。

S216：对多个目标物品的概率值进行大小排序，将概率值高于预设值的目标物品推荐给用户。

对同一类物品，物品的数目为多个，在分别获得用户对每个目标物品感兴趣的概率值之后，对多个目标物品的概率值进行大小排序，将概率值高于预设值的目标物品推荐给用户。从而将概率值高的目标物品优先推荐给用户，提高物品推荐度准确性。

需要说明的是，概率值的预设值可以根据实际情况进行设定和调整，本发明实施例对此不做限定，如可以设置为50％。

相应于上面的方法实施例，本发明实施例还提供了一种物品推荐装置，下文描述的物品推荐装置与上文描述的物品推荐方法可相互对应参照。

参见图3，图3为本发明实施例中一种物品推荐装置的结构框图，该装置可以包括：

偏好信息获得模块31，用于利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对目标物品的偏好信息；其中，偏好信息包括可见偏好信息和不可见偏好信息；

图像向量计算模块32，用于利用评论驱动的视觉注意力模网络结合偏好信息，计算目标物品的图像向量表示；

用户向量计算模块33，用于获取原用户向量表示，并将原用户向量表示与偏好信息结合，得到目标用户向量表示；

物品向量获得模块34，用于获取目标物品对应的原物品向量表示，并将原物品向量表示与图像向量表示结合，得到目标物品向量表示；

评分结果获得模块35，用于对目标用户向量表示和目标物品向量表示进行相似度评分计算，得到评分计算结果；

物品推荐模块36，用于根据评分计算结果向用户进行物品推荐。

通过上述技术方案可知，利用两层自适应注意力网络从用户历史评论和物品历史评论中，获取包括用户的可见偏好信息和不可见偏好信息的偏好信息，结合偏好信息计算目标物品针对当前用户的个性化的图像向量表示，将原用户向量表示融入用户的偏好信息，得到目标用户向量表示，并将原物品向量表示融入计算得到的图像向量表示，得到目标物品向量表示，进而通过对目标用户向量表示和目标物品向量表示进行相似度评分计算，根据得到的评分计算结果向用户进行物品推荐。从而实现了视觉信息和文本信息的共同增强，充分结合了用户的可视偏好信息和不可视偏好信息进行物品推荐，较大地提高了物品推荐的准确性。

在本发明的一种具体实施方式中，偏好信息获得模块31包括：

第一相关信息获得子模块，用于利用两层自适应注意力网络对用户历史评论和原物品向量表示进行计算，得到用户历史评论中与目标物品的第一相关信息；

第二相关信息获得子模块，用于利用两层自适应注意力网络对物品历史评论和原用户向量表示进行计算，得到物品历史评论中与用户的第二相关信息；

偏好信息获得子模块，用于结合第一相关信息和第二相关信息得到用户对目标物品的偏好信息。

在本发明的一种具体实施方式中，第一相关信息获得子模块包括：

词向量获取单元，用于分别获取用户历史评论的每个评论中各单词的词向量表示；

词向量空间转换单元，用于将原物品向量表示与各词向量表示转换到同一空间；

第一权重值计算单元，用于利用两层自适应注意力网络对原物品向量表示和各词向量表示进行计算，得到各词向量表示分别对应的第一权重值；

句子向量表示单元，用于对每个评论中各词向量表示和对应的第一权重值进行加权计算，得到每个评论的句子向量表示；

句子向量空间转换单元，用于将原物品向量表示与各句子向量表示转换到同一空间；

第二权重值计算单元，用于利用两层自适应注意力网络对原物品向量表示和各句子向量表示进行计算，得到各句子向量表示分别对应的第二权重值；

第一相关信息获得单元，用于对各句子向量表示和对应的第二权重值进行加权计算，得到第一相关信息。

在本发明的一种具体实施方式中，图像向量计算模块32具体为利用评论驱动的视觉注意力网络结合将预测用户评论作为弱监督信号得到的偏好信息，计算图像向量表示的模块；其中，预测用户评论为通过包括两层自适应注意力网络和评论驱动的视觉注意力网络的物品推荐模型训练得到。

在本发明的一种具体实施方式中，图像向量计算模块32包括：

图像区域获得子模块，用于利用VGG-19网络对目标物体的图像进行区域划分，得到各图像区域；

区域向量表示获得子模块，用于获取各图像区域的区域向量表示；

第二权重值计算子模块，用于结合将预测用户评论作为弱监督信号得到的偏好信息和各区域向量表示，分别计算各区域向量表示对应的第三权重值；

图像向量计算子模块，用于对各区域向量表示和对应的第三权重值进行加权计算，得到图像向量表示。

在本发明的一种具体实施方式中，评分结果获得模块35具体为对目标用户向量表示和目标物品向量表示进行相似度评分计算，得到用户对目标物品感兴趣的概率值的模块；

物品推荐模块36具体为对多个目标物品的概率值进行大小排序，将概率值高于预设值的目标物品推荐给用户的模块。

相应于上面的方法实施例，参见图4，图4为本发明所提供的物品推荐设备的示意图，该设备可以包括：

存储器41，用于存储计算机程序；

处理器42，用于执行上述存储器41存储的计算机程序时可实现如下步骤：

利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对目标物品的偏好信息；其中，偏好信息包括可见偏好信息和不可见偏好信息；利用评论驱动的视觉注意力模网络结合偏好信息，计算目标物品的图像向量表示；获取原用户向量表示，并将原用户向量表示与偏好信息结合，得到目标用户向量表示；获取目标物品对应的原物品向量表示，并将原物品向量表示与图像向量表示结合，得到目标物品向量表示；对目标用户向量表示和目标物品向量表示进行相似度评分计算，得到评分计算结果；根据评分计算结果向用户进行物品推荐。

对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。

相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：

利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对目标物品的偏好信息；其中，偏好信息包括可见偏好信息和不可见偏好信息；利用评论驱动的视觉注意力模网络结合偏好信息，计算目标物品的图像向量表示；获取原用户向量表示，并将原用户向量表示与偏好信息结合，得到目标用户向量表示；获取目标物品对应的原物品向量表示，并将原物品向量表示与图像向量表示结合，得到目标物品向量表示；对目标用户向量表示和目标物品向量表示进行相似度评分计算，得到评分计算结果；根据评分计算结果向用户进行物品推荐。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种物品推荐方法，其特征在于，包括：

利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对所述目标物品的偏好信息；其中，所述偏好信息包括可见偏好信息和不可见偏好信息；

利用评论驱动的视觉注意力网络结合所述偏好信息，计算所述目标物品的图像向量表示；

获取原用户向量表示，并将所述原用户向量表示与所述偏好信息结合，得到目标用户向量表示；

获取所述目标物品对应的原物品向量表示，并将所述原物品向量表示与所述图像向量表示结合，得到目标物品向量表示；

对所述目标用户向量表示和所述目标物品向量表示进行相似度评分计算，得到评分计算结果；

根据所述评分计算结果向所述用户进行物品推荐；

其中，所述利用评论驱动的视觉注意力网络结合所述偏好信息，计算所述目标物品的图像向量表示，包括：利用评论驱动的视觉注意力网络结合将预测用户评论作为弱监督信号得到的偏好信息，计算所述图像向量表示；其中，所述预测用户评论为通过包括所述两层自适应注意力网络和评论驱动的视觉注意力网络的物品推荐模型训练得到；

所述利用评论驱动的视觉注意力网络结合将预测用户评论作为弱监督信号得到的偏好信息，计算所述图像向量表示，包括：利用VGG-19网络对目标物体的图像进行区域划分，得到各图像区域；获取各所述图像区域的区域向量表示；结合将所述预测用户评论作为弱监督信号得到的偏好信息和各所述区域向量表示，分别计算各所述区域向量表示对应的第三权重值；对各所述区域向量表示和对应的第三权重值进行加权计算，得到所述图像向量表示。

2.根据权利要求1所述的物品推荐方法，其特征在于，利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对所述目标物品的偏好信息，包括：

利用所述两层自适应注意力网络对所述用户历史评论和所述原物品向量表示进行计算，得到所述用户历史评论中与所述目标物品的第一相关信息；

利用所述两层自适应注意力网络对所述物品历史评论和所述原用户向量表示进行计算，得到所述物品历史评论中与所述用户的第二相关信息；

结合所述第一相关信息和所述第二相关信息得到所述用户对所述目标物品的偏好信息。

3.根据权利要求2所述的物品推荐方法，其特征在于，利用所述两层自适应注意力网络对所述用户历史评论和所述原物品向量表示进行计算，得到所述用户历史评论中与所述目标物品的第一相关信息，包括：

分别获取所述用户历史评论的每个评论中各单词的词向量表示；

将所述原物品向量表示与各所述词向量表示转换到同一空间；

利用所述两层自适应注意力网络对所述原物品向量表示和各所述词向量表示进行计算，得到各所述词向量表示分别对应的第一权重值；

对每个评论中各所述词向量表示和对应的第一权重值进行加权计算，得到每个评论的句子向量表示；

将所述原物品向量表示与各所述句子向量表示转换到同一空间；

利用所述两层自适应注意力网络对所述原物品向量表示和各所述句子向量表示进行计算，得到各所述句子向量表示分别对应的第二权重值；

对各所述句子向量表示和对应的第二权重值进行加权计算，得到所述第一相关信息。

4.根据权利要求1至3任一项所述的物品推荐方法，其特征在于，对所述目标用户向量表示和所述目标物品向量表示进行相似度评分计算，得到评分计算结果，包括：

对所述目标用户向量表示和所述目标物品向量表示进行相似度评分计算，得到所述用户对所述目标物品感兴趣的概率值；

根据所述评分计算结果向所述用户进行物品推荐，包括：

对多个所述目标物品的概率值进行大小排序，将概率值高于预设值的目标物品推荐给所述用户。

5.一种物品推荐装置，其特征在于，包括：

偏好信息获得模块，用于利用两层自适应注意力网络，从用户历史评论和目标物品对应的物品历史评论中获取用户对所述目标物品的偏好信息；其中，所述偏好信息包括可见偏好信息和不可见偏好信息；

图像向量计算模块，用于利用评论驱动的视觉注意力网络结合所述偏好信息，计算所述目标物品的图像向量表示；

用户向量计算模块，用于获取原用户向量表示，并将所述原用户向量表示与所述偏好信息结合，得到目标用户向量表示；

物品向量获得模块，用于获取所述目标物品对应的原物品向量表示，并将所述原物品向量表示与所述图像向量表示结合，得到目标物品向量表示；

评分结果获得模块，用于对所述目标用户向量表示和所述目标物品向量表示进行相似度评分计算，得到评分计算结果；

物品推荐模块，用于根据所述评分计算结果向所述用户进行物品推荐；

其中，所述图像向量计算模块，用于利用评论驱动的视觉注意力网络结合将预测用户评论作为弱监督信号得到的偏好信息，计算所述图像向量表示；其中，所述预测用户评论为通过包括所述两层自适应注意力网络和评论驱动的视觉注意力网络的物品推荐模型训练得到；

所述图像向量计算模块，用于利用VGG-19网络对目标物体的图像进行区域划分，得到各图像区域；获取各所述图像区域的区域向量表示；结合将所述预测用户评论作为弱监督信号得到的偏好信息和各所述区域向量表示，分别计算各所述区域向量表示对应的第三权重值；对各所述区域向量表示和对应的第三权重值进行加权计算，得到所述图像向量表示。

6.根据权利要求5所述的物品推荐装置，其特征在于，所述偏好信息获得模块包括：

第一相关信息获得子模块，用于利用所述两层自适应注意力网络对所述用户历史评论和所述原物品向量表示进行计算，得到所述用户历史评论中与所述目标物品的第一相关信息；

第二相关信息获得子模块，用于利用所述两层自适应注意力网络对所述物品历史评论和所述原用户向量表示进行计算，得到所述物品历史评论中与所述用户的第二相关信息；

偏好信息获得子模块，用于结合所述第一相关信息和所述第二相关信息得到所述用户对所述目标物品的偏好信息。

7.一种物品推荐设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述物品推荐方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述物品推荐方法的步骤。

Images