CN113536116A - 基于双流sliced wasserstein自编码器的跨域推荐方法 - Google Patents

Abstract

本发明属于跨域推荐技术领域，公开了基于双流sliced wasserstein自编码器的跨域推荐方法，将数据输入到跨域推荐模型的编码器中，经过编码器可以得到用户隐空间上的特征向量，将上述的特征向量输入到跨域推荐模型的解码器中，得到重构的用户交互向量，对两个域用户特征向量加以高斯分布的限制，同时使用Sliced Wasserstein距离来缓解分布不平衡的问题，达到高精度的推荐效果，解决现有跨域推荐存在的数据稀疏性问题以及变分自编码器带来的分布不对齐问题。

Description

基于双流sliced wasserstein自编码器的跨域推荐方法

技术领域

本发明属于跨域推荐技术领域，特别涉及基于双流sliced wasserstein自编码器的跨域推荐方法。

背景技术

跨域推荐通过构建统一的隐空间实现多域表征的对齐和跨域重建，目前最前沿的跨域表征是基于多域变分自编码器架构的跨域表征模型。该模型的优势是能够基于变分推理实现跨域分布的对齐，但是，该模型在隐变量分布对齐的过程中采用KL散度，无法准确刻画分布差异，导致模型收敛缓慢；其次，该模型采用确定性解码函数，无法对重构表征的分布进行准确刻画，导致重构的多样性缺失；第三，在跨域重建的过程中聚焦于共性特征的建模，忽略了多域的差异性。同时针对跨域上的因变量的迁移，我们提出使用SWAE来提高正交变换的性能，刻画不同域上用户的特征。因此针对以上三个问题，本项目提出了一种基于典型相关和域差异刻画的跨域推荐架构。

在跨域推荐问题上大多模型是在构建一个高质量的用户特征向量，其次在该特征向量入手，通过某种算法或网络架构将学习到的特征映射到另一个域上。多数找寻该特征向量的方法包括但不限于使用线性网络层、变分自编码器以及其他自编码器。在跨域问题上则有应用迁移学习的思想，将网络权重或者特征向量进行迁移，同时有模型在特征向量训练过程中就使用共享权重，以及堆对不同域上的特征向量应用正交变换等方法。

目前多数构建特征向量的模型采用ae自编码器的架构。其中包括去噪自编码器(denoising autoencoder)，该类模型只能重构输入和输出，缺少一定的生成能力，并且只能将数据映射到一个固定的空间，这导致模型的泛化能力很弱。除此之外变分自编码器(variational autoencoder)采用了变分推理，构成了上述模型的生成能力。但是该方法根据K-L散度衡量特征空间和先验空间的差异，从而导致一对多的重构误差和空间之间的不对齐问题。

因此，我们提出使用Sliced Wasserstein autoencoder来解决上述问题，该方法同时具备应有的生成能力，而且该方法基于最佳传输原理，避免了kl散度的弱点。本发明的目的在于针对现有技术中纯跨域推荐存在的数据稀疏性问题以及变分自编码器带来的分布不对齐问题，提供可提高推荐精准度的基于双流Sliced Wasserstein的跨域推荐方法。

发明内容

针对现有技术存在的不足，本发明提供一种基于双流sliced wasserstein自编码器的跨域推荐方法，将双流Sliced Wasserstein自编码器用于跨域推荐场景中，使用可训练的参数矩阵进行特征的迁移，使用Sliced Wasserstein对迁移后的特征进行对齐，有效地提高了迁移的能力，以增强最终的推荐效果。

为了解决上述技术问题，本发明采用的技术方案是：

基于双流sliced wasserstein自编码器的跨域推荐方法，包括以下步骤：

S1、获取输入数据

获取A数据域的用户-项目-评分数据和B域的用户-项目-评分数据，得到用户i在a域的交互数据x_i，用户i在b域的交互数据y_i，

S2、将上述数据输入到跨域推荐模型的编码器中，经过编码器可以得到用户隐空间上的特征向量：

z^x＝σ(W_xx_i+c_u+b_x)

z^y＝σ(W_yy_i+c_u+b_y)

W_x、W_y、c_u分别是编码器中可训练的参数矩阵，b_x、b_y为偏置，σ为激活函数；

S3、将上述的特征向量输入到跨域推荐模型的解码器中，得到重构的用户交互向量：

得到4个重构的用户交互向量，

代表从A域恢复得来的用户在A域交互向量，

代表从B域恢复来的用户在A域的交互向量，

代表从B域恢复得来的用户在B域交互向量，

代表从A域恢复来的用户在B域的交互向量，σ为激活函数，W_x′、W_y′分别是解码器中可训练的参数矩阵，b_x′、by′为偏置；

S4、对两个域S2中所述用户隐空间上的特征向量和S3中所述重构的用户交互向量加以高斯分布的限制，同时计算其与高斯分布之间的Sliced Wasserstein距离，通过损失函数来训练跨域推荐模型中的所有参数，使用Adam优化器进行参数的迭代更新。

进一步的，步骤S1中，两个域上具有共同的用户，则一个用户在不同域上有如下的数据对(x_i，y_i)，其中，在将数据输入跨域推荐模型进行后续步骤时，使用用户的隐反馈数据，x_i、y_i是代表对所有用户是否有交互的向量，有则为1，否则为0。

进一步的，步骤S4中，损失函数包括两部分：一是高斯对齐；二是特征学习，包括重构损失以及跨域特征对齐损失，

高斯对齐部分的损失如下：

代表两个均值为0、方差为1的高斯分布；

特征学习部分的损失如下：

其中，ce代表交叉熵损失，

上述SW1为模为1的sliced wasersstein距离，计算方法如下：

η_l为随机采样的向量，[m]为对数据切片的索引，L为投影的个数。

与现有技术相比，本发明优点在于：

(1)本发明采用双流Sliced Wasserstein自编码器代替多域变分自编码器，利用sliced Wasserstein距离代替KL散度，提升跨域推荐模型生成能力，具有更好的提取特征的能力，可以在不同数据域上得到一个更高质量的用户特征向量。本发明首次将双流SWAE模型应用于跨域推荐场景中，可以有效地提高用户特征空间的表征能力。当两个分布之间没有交集时，传统的变分自编码器无法准确衡量分布的差异，而本发明通过计算Wasserstein距离，可以在分布没有交集时也能判断他们之间的差异。

(2)本发明使用可训练的参数矩阵进行特征的迁移，同时使用SlicedWasserstein对迁移后的特征进行对齐，有效地提高了迁移的能力，以增强最终的推荐效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法原理示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

结合图1所示，基于双流sliced wasserstein自编码器的跨域推荐方法，包括以下步骤：

S1、获取输入数据

获取A数据域的用户-项目-评分数据和B域的用户-项目-评分数据，得到用户i在a域的交互数据x_i，用户i在b域的交互数据y_i。

上述两个域上具有共同的用户，则一个用户在不同域上有如下的数据对(x_i，y_i)，其中，在将数据输入跨域推荐模型进行后续步骤时，使用用户的隐反馈数据，即x_i、y_i代表对所有用户是否有交互的向量，有则为1，否则为0。

S2、将上述数据输入到跨域推荐模型的编码器中，经过编码器可以得到用户隐空间上的特征向量：

z^x＝σ(W_xx_i+c_u+b_x)

z^y＝σ(W_yy_i+c_u+b_y)

W_x、W_y、c_u分别是编码器中可训练的参数矩阵，b_x、b_y为偏置，σ为激活函数，使用ReLU。

S3、将上述的特征向量输入到跨域推荐模型的解码器中，得到重构的用户交互向量，即预测的交互：

这里会得到4个重构的用户交互向量，

代表从A域恢复得来的用户在A域交互向量，

代表从B域恢复来的用户在A域的交互向量，

代表从B域恢复得来的用户在B域交互向量，

代表从A域恢复来的用户在B域的交互向量，W_x′、W_y′分别是解码器中可训练的参数矩阵，b_x′、b_y′为偏置；σ为激活函数，使用ReLU。

S4、为了使不同域学习到的用户特征向量分布对齐，对两个域S2中所述用户隐空间上的特征向量和S3中所述重构的用户交互向量加以高斯分布的限制，同时计算其与高斯分布之间的Sliced Wasserstein距离，来缓解分布不平衡的问题，通过损失函数来训练跨域推荐模型中的所有参数，使用Adam优化器进行参数的迭代更新。

损失函数包括两部分：一是高斯对齐；二是特征学习，包括重构损失以及跨域特征对齐损失，

高斯对齐部分的损失如下：

代表两个均值为0、方差为1的高斯分布；

特征学习部分的损失如下：

其中，SW₁(z_x，z_yW′_x)+SW₁(z_y，z_xW′_y)为重构损失，ce代表交叉熵损失，

为跨域特征对齐损失。

上述SW1为模为1的sliced wasersstein距离，计算方法如下：

η_l为随机采样的向量，[m]为对数据切片的索引，L为投影的个数。通过Sliced切片操作将Wasserstein距离计算投影到低维空间，降低计算复杂度的同时增强了特征的表示能力。

下表为利用本发明所述跨域推荐方法进行的电影域-书籍域上的推荐效果：

其中有三个指标，hr，ndcg，mrr，都是来评判推荐的性能，分数越高代表着推荐效果越好。具体做法是，给跨域推荐模型一组测试数据，该数据会包括用户没有买过的一些物品，例如一组数据包括100个，1个真实买过的物品，99个没有买过的物品，指标得分越高，代表着模型对真实物品推荐的位置更靠前(例如真实买过物品的预测排在100的第五位的得分要比排在第20位要高)。

综上所述，本发明将Sliced Wasserstein自编码器应用在跨域推荐场景上，可以具备更好的生成能力以及提取特征的能力，可以在不同数据域上得到一个更高质量的用户特征向量，并且，当两个分布之间没有交集时，传统的变分自编码器(VAE)计算公式会得出0，此时无法准确衡量分布的差异，而本发明通过计算Wasserstein距离，可以在分布没有交集时也能判断他们之间的差异。同时，本发明采用Sliced切片操作将Wasserstein距离计算投影到低维空间，降低计算复杂度的同时增强了特征的表示能力。同时我们采用正交变换重构，可以将特征向量通过矩阵映射到别的域，这增强了在该域上的推荐效果。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (3)

1.基于双流sliced wasserstein自编码器的跨域推荐方法，其特征在于，包括以下步骤：

S1、获取输入数据

获取A数据域的用户-项目-评分数据和B域的用户-项目-评分数据，得到用户i在a域的交互数据x_i，用户i在b域的交互数据y_i，

S2、将上述数据输入到跨域推荐模型的编码器中，经过编码器可以得到用户隐空间上的特征向量：

z^x＝σ(W_xx_i+c_u+b_x)

z^y＝σ(W_yy_i+c_u+b_y)

W_x、W_y、c_u分别是编码器中可训练的参数矩阵，b_x、b_y为偏置，σ为激活函数；

S3、将上述的特征向量输入到跨域推荐模型的解码器中，得到重构的用户交互向量：

得到4个重构的用户交互向量，

代表从A域恢复得来的用户在A域交互向量，

代表从B域恢复来的用户在A域的交互向量，

代表从B域恢复得来的用户在B域交互向量，

代表从A域恢复来的用户在B域的交互向量，σ为激活函数，W_x′、W_y′分别是解码器中可训练的参数矩阵，b_x′、by′为偏置；

S4、对两个域S2中所述用户隐空间上的特征向量和S3中所述重构的用户交互向量加以高斯分布的限制，同时计算其与高斯分布之间的Sliced Wasserstein距离，通过损失函数来训练跨域推荐模型中的所有参数，使用Adam优化器进行参数的迭代更新。

2.根据权利要求1所述的基于双流sliced wasserstein自编码器的跨域推荐方法，其特征在于，步骤S1中，两个域上具有共同的用户，则一个用户在不同域上有如下的数据对(x_i，y_i)，其中，在将数据输入跨域推荐模型进行后续步骤时，使用用户的隐反馈数据，x_i、y_i是代表对所有用户是否有交互的向量，有则为1，否则为0。

3.根据权利要求2所述的基于双流sliced wasserstein自编码器的跨域推荐方法，其特征在于，步骤S4中，损失函数包括两部分：一是高斯对齐；二是特征学习，包括重构损失以及跨域特征对齐损失，

高斯对齐部分的损失如下：

代表两个均值为0、方差为1的高斯分布；

特征学习部分的损失如下：

其中，ce代表交叉熵损失，

上述SW1为模为1的sliced wasersstein距离，计算方法如下：

η_l为随机采样的向量，[m]为对数据切片的索引，L为投影的个数。

Images