CN113377973A - 一种基于对抗哈希的物品推荐方法 - Google Patents

Abstract

本发明公开了一种基于对抗哈希的物品推荐方法，创新地设计了一个基于物品视觉特征的物品哈希网络利用哈希函数根据物体深度学习特征将物品空间映射到低维空，生成物品ID以及潜在向量，同时，采用模态判别器使潜在向量h_i与视觉嵌入v_i相似，利用对抗训练，视觉嵌入直接推断物品潜在向量，对模型参数较少的冷启动物品，提高了推荐性能(准确性)。

Description

一种基于对抗哈希的物品推荐方法

技术领域

本发明属于物品推荐技术领域，更为具体地讲，涉及一种基于对抗哈希的物品推荐方法。

背景技术

物品推荐是应用机器学习的一项基本任务，学习用户的兴趣以及如何向用户推荐物品。随着推荐场景的复杂化和数据量的增加，物品推荐进入了深度学习的新时代。贝叶斯个性化排序(BPR)等基于潜在因素的方法将每个物品和用户表示为潜在因素或嵌入，并根据不同的机制计算相似度或偏好。BPR是一种协同过滤方法，利用一种新的BPR成对排序损失来训练矩阵分解模型。由于矩阵分解是完全基于用户-物品交互学习的，因此它可以作为具有视觉特征的模型的基准。但是，这些方法不能充分利用物品的侧面信息，在推测用户偏好时可能会隐藏有用信息。

基于神经网络的方法为从图像、文字和视频的角度理解物品内容提供了新的工具，但如何利用这些深度学习特征进行物品推荐仍是一个问题。在基于图像的物品推荐场景中，DUIF(Deep User and Image Feature learning)将矩阵分解中嵌入的项替换为将图像深度特征投影到潜在空间中。VBPR(Visual Bayesian Personalized Ranking)同时使用物品潜在因素和深度学习图像特征来表示一个项目，在推荐场景预热时性能更好。由于VBPR在预测不可见的用户-多媒体物品交互方面具有很强的泛化能力，因此被认为是最有效的物品推荐模型。

物品推荐在在线服务中起着核心作用，由于深度神经网络在表示学习方面的成功，物品推荐的最新进展主要集中在探索深度学习方法来提高推荐精度。但是，由于物品总体呈幂律分布，并不是所有的物品嵌入都能被很好的训练，从而导致冷启动物品的推荐性能(准确性)较差。

目前的物品推荐方法仍然依赖于从用户-物品交互中训练出来的项目潜在因子或项目嵌入。因此，当推断用户对冷启动物品的偏好时，这些错误的输入将带来更糟糕的结果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于对抗哈希的物品推荐方法，以提高冷启动物品的推荐准确性。

为实现上述发明目的，本发明基于对抗哈希的物品推荐方法，其特征在于，包括以下步骤：

(1)、提取物品的深度学习特征图

对物品的图片或视频进行预处理，然后送入卷积神经网络进行特征提取，得到物品的D维的深度学习特征图c_i，i＝1，2，…N，N为物品的数量，深度学习特征图c_i为行向量；

(2)、获取物品的潜在向量

将物品的深度学习特征图c_i送入物品哈希网络中，首先进行哈希函数映射，将视觉上相似的物品通过哈希函数映射到同一个桶(bucket)中，哈希函数为一个两层感知器h，得到特征向量b_i：

b_i＝sgn(h(c_i))

其中，h()表示哈希函数，将深度学习特征图c_i映射为L维，如果某一维大于0，则符号函数sgn()返回1，否则返回0；这样，特征向量b_i表示为：

特征向量b_i为二进制multi-hot为物品的新“ID”，所有N个物品的特征向量b_i按行依次放置，构成矩阵B_N×L；

然后，将矩阵B_N×L与特征嵌入矩阵Q_L×K相乘，得到物品潜在矩阵H_N×K，其中，第i个物品对应的特征向量为h_i(为物品潜在矩阵H_N×K的第i行)，即物品的潜在向量h_i；

(3)、获取物品的视觉嵌入向量

对物品的深度学习特征图c_i送入视觉嵌入生成器，得到视觉嵌入v_i：

v_i＝(E_K×D·c_i ^T)^T

其中，T表示转置，E_K×D为视觉嵌入生成器的参数；

(4)、训练物品哈希网络

将物品的潜在向量h_i与视觉嵌入v_i送入模态判别器进行判别，根据判别结果，采用反向传播，对物品哈希网络进行对抗训练，使模态判别器无法判别输入来自物品哈希网络还是视觉嵌入生成器；

(5)、物品推荐

将物品的深度学习特征图送入训练好的物品哈希网络中，得到物品的潜在向量h_i，并与视觉嵌入v_i一并送入预测模型中进行预测，得到物品i对于用户u的预测值

其中：

p_u＝u·P_M×K

其中，u为表示用户的行向量(用户向量)，用户数量为M，根据用户编号确定用户向量对应位为1，其余的都为0，p_u为用户潜在向量，P_M×K为用户嵌入矩阵；

根据预测值

的大小进行排序，向用户u进行物品推荐。

本发明的目的是这样实现的。

本发明基于对抗哈希的物品推荐方法，创新地设计了一个基于物品视觉特征的物品哈希网络利用哈希函数根据物体深度学习特征将物品空间映射到低维空，生成物品ID以及潜在向量，同时，采用模态判别器使潜在向量h_i与视觉嵌入v_i相似，利用对抗训练，视觉嵌入直接推断物品潜在向量，对模型参数较少的冷启动物品，提高了推荐性能(准确性)。

附图说明

图1是本发明基于对抗哈希的物品推荐方法一种具体实施方式流程图；

图2是本发明基于对抗哈希的物品推荐方法一种具体实施方式原理示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

推荐系统在电子商务、视频播放、社交媒体等用户集中在线服务中起着核心作用。推荐系统通过向用户提供个性化的内容建议，不仅可以改善用户体验，还可以通过增加流量来增加内容提供商的利润。对于物品推荐，如果有更多的用户-物品交互，物品推荐建议就会变得更加精确。许多研究已经致力于先进的物品推荐技术，这是一个有吸引力的研究课题，学术界和工业界在近十年。多媒体数据在当前Web上变得流行起来，例如描述、图像和视频。这些多媒体信息包含丰富的信息，不仅可以捕获用户的注意力，为改进通常仅基于用户行为数据协同过滤的推荐系统提供了机会。

基于多媒体的物品推荐在在线服务中起着核心作用。由于深度神经网络在表示学习方面的成功，基于多媒体的去皮推荐的最新进展主要集中在探索深度学习方法来提高推荐精度。但是，由于物品总体呈幂律分布，并不是所有的项目嵌入都能被很好的训练，从而导致冷启动项目的推荐性能较差。同时，在物品越多的情况下，节省每个物品的嵌入参数可以带来更多的存储成本。

本发明创新性的提出了一种基于对抗哈希的物品推荐方法，利用哈希函数根据多媒体即图片或视频得特征，将物品空间映射到低维空间，并利用视觉特征进行对抗训练，直接推断物品潜在向量。对物品推荐系统参数较少的冷启动物品，本发明可提高推荐准确性。

具体来说，本发明基于对抗哈希的物品推荐方法包括以下步骤：

步骤S1：提取物品的深度学习特征图

对物品的图片或视频进行预处理，然后送入卷积神经网络进行特征提取，得到物品的D维的深度学习特征图c_i，i＝1，2，…N，N为物品的数量，深度学习特征图c_i为行向量；

步骤S2：获取物品的潜在向量

在VBPR和其他基于潜在因素的方法中，每个物品都有一个潜在因素或嵌入。这些方法基于用户-物品交互，对训练集中物品的潜在因子进行训练。但是，由于训练集中普遍存在偏差，并不是所有的物品嵌入都得到了很好的训练。对于冷启动物品，其嵌入向量无法被训练，训练结束后仍保持初始化状态，导致测试性能较差。

假设数据集中有N个物品，我们可以将这些物品通过哈希映射到L个桶(bucket)中，并将bucket的索引赋给这个bucket中的所有物品。多个物品共享同一个索引和嵌入向量，克服了冷启动问题。同时，这也带来了节省存储成本的优点，因为物品推荐模型不需要为每个物品存储嵌入向量。然而，如果我们将不相关的物品通过哈希函数映射到相同的bucket中，可能会导致更糟糕的结果。假设在一个在线购物平台上，如果手机和裙子被哈希映射到同一个bucket并共享嵌入，只买裙子的用户会被建议购买手机。

为了解决这个问题，我们可以使用物品的多媒体内容(图片或视频)将那些视觉上相似的物品通过哈希函数映射到同一个bucket中，具体为：

将物品的深度学习特征图c_i送入物品哈希网络中，首先进行哈希函数映射，将视觉上相似的物品通过哈希函数映射到同一个桶(bucket)中，哈希函数为一b＝f(x)＝sgn(h(c_i))，

个两层感知器h，得到特征向量(哈希特征图)b_i：

b_i＝sgn(h(c_i))

其中，h()表示哈希函数，将深度学习特征图c_i映射为L维，如果某一维大于0，则符号函数sgn()返回1，否则返回0；这样，特征向量b_i表示为：

特征向量b_i为二进制multi-hot为物品的新“ID”，所有N个物品的特征向量b_i按行依次放置，构成矩阵B_N×L。

该物品哈希网络仅用于前向计算和测试。这里，二进制multi-hot表示可以被视为物品的新“ID”，不同于原来的one-hot编码的ID，这个“ID”更为密集，因为bucket L的数量小于物品的数量N。密集的“ID”将会与一个嵌入矩阵乘积为物品的潜在因素。需要注意的是，与其他基于潜在因素的方法不同，这里的嵌入矩阵Q的维度是L×K，而不是N×K，因此存储成本将减少N/L次。物品不会直接被赋值为内嵌向量，而是根据它们所在的bucket计算它们自己的嵌入，具体为：

将矩阵B_N×L与特征嵌入矩阵Q_L×K相乘，得到物品潜在矩阵H_N×K，其中，第i个物品对应的特征向量为h_i(为物品潜在矩阵H_N×K的第i行)，即物品的潜在向量h_i。

步骤S3：获取物品的视觉嵌入向量

对物品的深度学习特征图c_i送入视觉嵌入生成器，得到视觉嵌入v_i：

v_i＝(E_K×D·c_i ^T)^T

其中，T表示转置，E_K×D为视觉嵌入生成器的参数。

这样深度学习特征图c_i从D维度转换为K维度的视觉嵌入v_i，实现高维度向低维度的转换。

步骤S4：训练物品哈希网络

生成对抗网络在计算机视觉、信息检索等领域已显示出优势。该网络采用了两种神经网络的对抗：生成器和鉴别器，可以使用反向传播进行训练，大大提高了生成模型的训练效率。本发明采用生成对抗方式对物品哈希网络进行训练，具体为：

将物品的潜在向量h_i与视觉嵌入v_i送入模态判别器进行判别，根据判别结果，采用反向传播，对物品哈希网络进行对抗训练，使模态判别器无法判别输入来自物品哈希网络还是视觉嵌入生成器；

步骤S5：物品推荐

将物品的深度学习特征图送入训练好的物品哈希网络中，得到物品的潜在向量h_i，并与视觉嵌入v_i一并送入预测模型中进行预测，得到物品i对于用户u的预测值

其中：

p_u＝u·P_M×K

其中，u为表示用户的行向量(用户向量)，用户数量为M，根据用户编号确定用户向量对应位为1，其余的都为0，p_u为用户潜在向量，P_M×K为用户嵌入矩阵。

根据预测值

的大小进行排序，向用户u进行物品推荐。

其中，预测模型的目标方程为：

其中训练数据R_B为：

R_B＝{(u，i，j)|i∈R(u)∩j∈I-R(u)}

θ代表与用户u，物品i，j相关的嵌入(预测模型参数)，I代表数据集中所有物品的集合，R(u)代表所有与用户u有相互作用的物品的集合，(u，i，j)代表用户u喜欢物品i更胜于物品，，λ为超参数，σ()为激活函数，

为物品j对于用户u的预测值。该模型及预测属于现有技术，在此不再赘述。

实验验证

在本实验验证中，采用AUC和NDCG@K指标来评估本发明。AUC指ROC(真阳性率与伪阳性率关系)曲线下与坐标轴围成的面积，AUC越接近1模型效果越好。NDCG@K指归一化折损累计增益，用作排序结果的评价指标，是最常用的排序准确性评估方法。

在本实验验证中，在两个多媒体物品推荐数据集Pinterest和Amazon上测试本发明。两个数据集分别包含9844和201279个用户物品对，选取其中6531/143529个用户物品对为训练集，其余的用户物品对为测试集。将测试集分为三个子集，冷起用户物品对(Cold)，非冷起用户物品对(Warm)，以及所有测试用户物品对对(All)。在测试时，分两种设定分别测试，第一种是所有测试样本的结果，第二种是冷起条件下样本的测试结果。两种设定下的测试结果表1、表2所示。

表1

表2

从以上表1、表2可以看出，本发明在所有的测试集上均优于之前的方法。相比于现有最好方法MTPR和AMR分别平均提高了AUC：4.5％/3.3％，12.8％/1.0％，NDCG：20.1％/15.6％，88.5％/41.8％。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于对抗哈希的物品推荐方法，其特征在于，包括以下步骤：

(1)、提取物品的深度学习特征图

对物品的图片或视频进行预处理，然后送入卷积神经网络进行特征提取，得到物品的D维的深度学习特征图c_i，i＝1，2，…N，N为物品的数量，深度学习特征图c_i为行向量；

(2)、获取物品的潜在向量

将物品的深度学习特征图c_i送入物品哈希网络中，首先进行哈希函数映射，将视觉上相似的物品通过哈希函数映射到同一个桶(bucket)中，哈希函数为一个两层感知器h，得到特征向量b_i：

b_i＝sgn(h(c_i))

其中，h()表示哈希函数，将深度学习特征图c_i映射为L维，如果某一维大于0，则符号函数sgn()返回1，否则返回0；这样，特征向量b_i表示为：

特征向量b_i为二进制multi-hot为物品的新“ID”，所有N个物品的特征向量b_i按行依次放置，构成矩阵B_N×L；

然后，将矩阵B_N×L与特征嵌入矩阵Q_L×K相乘，得到物品潜在矩阵H_N×K，其中，第i个物品对应的特征向量为h_i(为物品潜在矩阵H_N×K的第i行)，即物品的潜在向量h_i；

(3)、获取物品的视觉嵌入向量

对物品的深度学习特征图c_i送入视觉嵌入生成器，得到视觉嵌入v_i：

v_i＝(E_K×D·c_i ^T)^T

其中，T表示转置，E_K×D为视觉嵌入生成器的参数；

(4)、训练物品哈希网络

将物品的潜在向量h_i与视觉嵌入v_i送入模态判别器进行判别，根据判别结果，采用反向传播，对物品哈希网络进行对抗训练，使模态判别器无法判别输入来自物品哈希网络还是视觉嵌入生成器；

(5)、物品推荐

将物品的深度学习特征图送入训练好的物品哈希网络中，得到物品的潜在向量h_i，并与视觉嵌入v_i一并送入预测模型中进行预测，得到物品i对于用户u的预测值

其中：

p_u＝u·P_M×K

其中，u为表示用户的行向量(用户向量)，用户数量为M，根据用户编号确定用户向量对应位为1，其余的都为0，p_u为用户潜在向量，P_M×K为用户嵌入矩阵；

根据预测值

的大小进行排序，向用户u进行物品推荐。

Images