CN116910375B - 一种基于用户偏好多样性的跨域推荐方法及系统 - Google Patents

Abstract

本发明公开了一种基于用户偏好多样性的跨域推荐方法及系统，所述方法包括：数据预训练，提取出用户与项目的源域全局表示和目标域全局表示；利用多层多头自注意力机制对源域中重叠用户的近期交互记录中的项目聚合编码；用户的个性化偏好映射：基于用户‑项目交互记录编码进行多偏好建模，选取与用户源域全局表示最相关的偏好向量输入偏好映射桥，得到用户在目标域上的个性化偏好向量；基于预测的评分结果构建评分损失函数对推荐模型进行优化更新。本发明将对用户的偏好多样性建模引入跨域推荐任务，建立从源域到目标域的用户偏好映射，实现对用户在源域中的交互记录信息的充分利用，提高了在冷启动问题下的推荐性能。

Description

一种基于用户偏好多样性的跨域推荐方法及系统

技术领域

本发明涉及推荐领域，尤其涉及一种基于用户偏好多样性的跨域推荐方法及系统。

背景技术

推荐系统是一种利用用户历史行为数据和物品信息实现向用户推荐可能感兴趣的物品，是一类能够解决数据过载问题的有效方法。近年来，得益于大数据技术的发展，推荐系统的应用范围日益广泛。

单一域内推荐系统侧重于对用户在一个领域内的行为进行建模，通过分析用户的历史行为和物品的特征来生成推荐结果，不断的优化推荐效果，从而提供有关用户个性化的推荐，以满足用户的偏好和需求。目前常用的推荐算法有协同过滤、深度学习和图神经网络等方法。相比矩阵分解等传统表示学习方法，图神经网络的推荐方法的性能有较大的提升。因为图神经网络除了可以对用户的序列编码进行建模外，还可以实现对整个用户-项目交互图进行学习，而图中往往包含比序列内容更丰富的信息，但这类方法受限于计算复杂度和图的规模，难以用于大规模的推荐系统中。

除此之外，当应用刚开始运行，或者加入一个新用户，对于新加入的用户而言，用户-项目交互极为稀疏，甚至不存在交互。跨域推荐方法就是一种既能缓解系统冷启动问题又能提高推荐性能的有效方法，它利用迁移学习的思想，尝试利用交互数据较多的外部域（称为源域）中的隐信息来帮助完成当前稀疏域（称为目标域）的推荐任务。

中国专利202211085488.3公开了一种面向冷启动用户基于分类偏好迁移的跨域推荐方法，但是该方案使用了K-Means聚类算法将偏好相似的用户聚类到一个簇中，使用簇中的质心表示该簇中所有用户的一般偏好表示，对聚类结果中的每一类用户生成给一个映射桥函数；而这样可能会忽视同一个聚类中的用户个体偏好的细微差别，即忽略了用户的个性化偏好，从而影响推荐性能。

发明内容

发明目的：本发明旨在提供一种考虑用户的个性化偏好、提高冷启动问题下推荐性能的基于用户偏好多样性的跨域推荐方法及系统。

技术方案：本发明所述的一种基于用户偏好多样性的跨域推荐方法，其特征在于，包括以下步骤：

（1）数据预训练，提取出用户与项目的源域全局表示和目标域全局表示；

（2）利用多层多头自注意力机制对源域中重叠用户的近期交互记录中的项目聚合编码；

（3）用户的个性化偏好映射：基于用户-项目交互记录编码进行多偏好建模，选取与用户源域全局表示最相关的偏好向量输入偏好映射桥，得到用户在目标域上的个性化偏好向量；

（4）基于预测的评分结果构建评分损失函数，对推荐模型进行优化更新。

优选地，步骤（1）中所述数据包括用户-项目交互数据，即为源域和目标域的重叠用户对源域和目标域的项目的评分数据，其中源域和目标域的项目没有重叠。

优选地，步骤（1）中所述数据预训练包括采用矩阵分解模型对各域中评分数据进行预训练，定义损失函数为最小化评分误差：

其中，表示评分数据个数，表示用户对项目评分的真实值，分别表 示用户的全局表示以及项目的全局表示，分别对源域和目标域计算损失，得到源域和目 标域中的用户全局表示、以及源域和目标域中的项目全局表示、。

优选地，步骤（2）包括：

假设任一重叠用户在源域交互的项目记录为，通过截取或补全操 作，得到用户源域定长记录；式中，表示定长记录长度；表示用户 在源域中的第个项目交互记录；

使用层的多头自注意力机制对用户源域定长记录建模，的初始嵌入为：

从第0层的初始嵌入开始进行迭代，得到第层的嵌入：

式中，表示一个重叠用户的定长记录在第层多头自注意力机制中 的嵌入，表示缩放点积多头注意力机制，是缩放因子，表示的维度，Q、K、V分 别表示查询矩阵、键矩阵和值矩阵，、、分别表示不同的可训练参数矩阵；表示 用户在源域中第个项目交互记录建模得到的初始嵌入；第层的输出嵌入为用户- 项目交互记录编码。

优选地，步骤（3）中所述多偏好建模包括将用户-项目交互记录编码作为输入，利 用自注意力机制选取用户多个偏好向量：

式中，为用户的多个偏好表示，、均为可训练的参数矩阵。

优选地，步骤（3）中所述选取与用户源域全局表示最相关的偏好向量包括：

通过余弦相似度计算函数计算每个偏好向量与用户在目标域的全局表示的相关性，并使用挑选出最相关偏好向量：

。

优选地，步骤（3）中所述偏好映射桥采用NTN神经张量网络或多层感知器MLP构建。

优选地，基于NTN神经张量网络构建偏好映射桥，将用户的源域全局表示 和最相关偏好向量拼接后输入，得到同一个用户在目标域上的偏好向量：

式中，为拼接函数，为经过偏好映射桥输出的用户在目标域上的偏好 向量。

优选地，步骤（4）包括：

（4.1）基于用户在目标域上的偏好向量，预测用户在目标域上的评分结果：

（4.2）构建评分损失函数进行模型优化更新；

式中，表示模型预测的评分结果，T为转置，为源域和目标域的重叠用户 在目标域中的评分矩阵，是中非零元素的数量，为源域和目标域重叠用户u对项 目的真实评分。

本发明所述的一种基于用户偏好多样性的跨域推荐系统，包括：

数据预训练模块，用于提取出用户与项目的源域全局表示和目标域全局表示；

用户-项目交互记录编码模块，用于利用多层多头自注意力机制对源域中重叠用户的近期交互记录中的项目聚合编码；

个性化偏好映射模块，用于基于用户-项目交互记录编码进行多偏好建模，选取与用户源域全局表示最相关的偏好向量输入偏好映射桥，得到用户在目标域上的个性化偏好向量；

模型预测与更新模块，用于基于预测的评分结果构建评分损失函数，对推荐模型进行优化更新。

有益效果：与现有技术相比，本发明具有如下显著优点：提出了偏好多样性提取的深度学习方法，利用源域中的交互记录为用户进行偏好多样性建模，细化用户从源域到目标域的偏好映射关系，对源域和目标域中重叠用户的交互记录使用矩阵分解作为预训练模型提取有用信息，选择多层多头自注意力机制对用户记录进行建模，偏好多样性提取通过计算数据中偏好与用户全局表示的相关性，可以缩小目标范围，减少计算量，从而挖掘出最有效的语义信息，实现从多样的个性化偏好中提取出一个最有价值的偏好向量，再将其映射到目标域中，提高模型的推荐性能；跨域的推荐学习可以缓解单一域中推荐学习的种种局限性，更适合用于缓解推荐系统难以避免的冷启动问题，同时可以提高推荐性能，提升用户的体验。

附图说明

图1为本发明的工作流程图；

图2为本发明的模型训练流程图；

图3为本发明实施例中任务1情况下各模型的推荐性能对比图；

图4为本发明实施例中任务2情况下各模型的推荐性能对比图；

图5为本发明实施例中任务3情况下各模型的推荐性能对比图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

对于给定领域进行内容推荐的任务，可以看作使用训练集训练出一个性能较好的跨域推荐模型，之后使用该模型实现对用户的内容推送，并在测试集上对模型的性能进行评估。本发明所述的一种基于用户偏好多样性的跨域推荐方法，包括以下步骤：

（1）对用户-项目交互数据进行解析处理，对各域中评分数据进行预训练，捕获用户与项目的源域全局表示和目标域全局表示。

步骤（1）中所述的用户-项目交互数据即为源域和目标域的重叠用户对项目的评分数据，其中源域和目标域的项目没有重叠。

在跨域推荐问题中，数据包含源域和目标域，各域均包含一个用户集，一个项目集，和一个评分矩阵，其中分别 表示用户的数量和项目的数量，表示用户项目的评分数据，也称为交互 数据。跨域推荐模型的目标就是构造一个偏好映射函数，将用户在源域的偏好向量映射到更接近目标域偏好向量的位置上，最终实现用户对目标域中项目的评分。

对用户-项目交互数据进行解析处理过程中引入矩阵分解，同时定义损失函数为最小化评分误差：

其中，表示评分数据个数，表示当前域中用户对项目评分的真实值，分别表示当前域中用户的全局表示以及项目的全局表示。当计算源域的用户和项 目全局表示，则表示源域的真实值，表示源域的用户和项目全局表示；当计算目标 域的用户和项目全局表示，则表示目标域的真实值，表示目标域的用户和项目全局 表示。分别对源域和目标域计算损失，最终从用户和项目的交互数据中分离出用户和项目 的全局表示，得到源域和目标域中的用户全局表示、以及源域和目标域中的项目全局 表示、，这四组向量的维度均为。

将预训练的用户和项目的全局表示分为训练集和预测集。

（2）由于该推荐系统一开始运行环境存在冷启动的问题，即用户在目标域中没有足够的评分数据，因此需要从源域的交互记录中捕捉用户的多样偏好，进行跨域推荐，从而缓解冷启动带来的问题。因此，采用多头自注意力机制提取用户的偏好特征，对用户的近期交互记录进行编码。具体步骤包括：

（2.1）将训练集中经过预训练的用户和项目的全局表示作为模型的输入，假设任 一源域和目标域中的重叠用户在源域交互的项目记录为，通过截取或补全 操作，得到用户源域定长记录，表示用户最近交互的q个项目记录；

（2.2）使用层的多头自注意力机制对用户源域定长记录建模，的初始嵌入为：

从第0层的初始嵌入开始进行迭代，可以得到后续第层的嵌入：

式中，表示一个重叠用户的定长记录在第层多头自注意力机制中 的嵌入，表示缩放点积多头注意力机制,用于更加准确地得到用户的交互嵌入， 是缩放因子，用于平衡点积的尺度，表示的维度，Q、K、V分别表示查询矩阵、键矩阵和值 矩阵，、、分别表示不同的可训练参数矩阵；最终第层的输出嵌入为 ，即得到用户-项目交互记录编码。

（3）基于用户-项目交互记录编码进行用户的个性化偏好建模与在目标域的映射。具体包括以下步骤：

（3.1）将用户-项目交互记录编码作为输入，利用自注意力机制从中选取用户的多 个偏好表示：

其中、均表示可训练的参数矩阵；

（3.2）根据用户的多个偏好表示，与用户的交互记录编码点乘获得多个偏好 向量：

（3.3）为了进一步从用户的多个偏好向量中挑选出最能够体现用户个性化偏好的 向量，从而实现对用户当前最主要的个性化偏好进行准确建模，通过余弦相似度计算函数计算每个偏好向量与用户在目标域的全局表示的相关性，并使用挑选出最 相关偏好向量：

（3.4）基于NTN神经张量网络构建偏好映射桥，将用户的源域全局表示和最 相关偏好向量拼接后输入，即可得到同一个用户在目标域上的偏好向量：

式中，为拼接函数，为经过偏好映射桥输出的用户在目标域上的偏好 向量。

（4）基于评分结果构建评分损失函数对推荐模型进行优化更新。具体包括：

（4.1）将用户在目标域上的偏好向量与项目在目标域上的全局表示计算点 积，得到推荐模型预测的评分结果用户对项目的评分数据：

（4.2）构建评分损失函数为：

式中，表示推荐模型预测的评分结果，T为转置，为源域和目标域的重叠 用户在目标域中的评分矩阵，是中非零元素的数量，为源域和目标域重叠用户u 对项目的真实评分。

通过最小化该评分损失函数，即可完成对模型参数的更新，优化模型。

本发明所述的一种基于用户偏好多样性的跨域推荐系统，包括：

数据预训练模块，用于提取出用户与项目的源域全局表示和目标域全局表示；

用户-项目交互记录编码模块，用于利用多层多头自注意力机制对源域中重叠用户的近期交互记录中的项目聚合编码；

个性化偏好映射模块，用于基于用户-项目交互记录编码进行多偏好建模，选取与用户源域全局表示最相关的偏好向量输入偏好映射桥，得到用户在目标域上的个性化偏好向量；

模型预测与更新模块，用于基于预测的评分结果构建评分损失函数对推荐模型进行优化更新。

为了进一步说明本发明的方法，采用Amazon数据集的部分子集“Movies_and_TV”（影视子集）、“CDs_and_Vinyl”（音乐子集）和“Books”（图书子集）来模拟源域和目标域，同时构建了三个跨域推荐任务：影视➝音乐、图书➝影视和图书➝音乐。不同任务数据集中详细数据如下表所示：

为了测试模型在不同冷启动程度下的推荐性能，三个跨域推荐任务中均按照8:2比例划分训练集和测试集，以观察不同新用户比例场景下的推荐性能。

如图1所示，本发明所述的一种基于用户偏好多样性的跨域推荐方法，具体包括数据预训练阶段、迭代训练阶段和模型性能评估阶段。

（1）数据预训练阶段

对数据集中的用户-项目交互数据进行预训练，分别提取在源域和目标域中用户和项目的全局表示。

每个任务均有源域和目标域两个数据集，各域之间共享部分重叠用户，且不存在重叠项目。

通过对三个不同任务中用户-项目交互数据进行解析，使用矩阵分解，定义损失函数为最小化评分误差：

分别对源域和目标域计算损失，可以得到用户和项目的源域全局表示和目标域全局表示。

（2）迭代训练阶段，优化推荐系统网络，使源域中的映射更加接近目标域中的结果，如图2所示。具体步骤包括：

（2.1）将训练集中经过预训练的用户和项目的全局表示表示作为输入，假设任一 重叠用户在源域的交互项目为，通过截取或补全操作使得交互记录长度为 定值，得到用户最近交互的q个记录；

（2.2）使用3层多头自注意力机制对源域中用户交互定长记录建模，初始嵌入为：

（2.3）由初始嵌入进行迭代，得到第层的嵌入为：

式中，表示缩放点积注意力机制，最终输出嵌入为即为用户的项目交 互记录编码，、、是三个不同的可训练参数矩阵；

（2.4）将用户交互记录编码作为输入数据，利用自注意力机制从中选取用户的 多个偏好表示：

其中，、均表示可训练的参数矩阵，为用户的多个偏好表 示，即为提取得到的多个偏好向量；

（2.5）为了进一步实现预测项目的评分还需要从用户的多个偏好向量中挑选出最 能够体现用户当前偏好的一个向量，从而实现对用户当前最主要的个性化偏好进行准确建 模，采用余弦相似度计算函数计算每个偏好向量与用户在目标域的全局表示的相 关性，并使用挑选出最相关的偏好向量：

（2.6）将用户的源域全局表示和最相关偏好向量拼接，输入一个使用NTN神 经张量网络实现偏好映射桥，即可得到同一个用户在目标域上的偏好向量：

式中，为拼接函数，即为经过偏好映射桥输出的用户在目标域上 的偏好向量。

（2.7）将用户在目标域上的向量与项目在目标域上的全局表示计算点积，得到 用户对项目的评分数据：

（2.8）构建推荐模型的评分损失函数为：

通过最小化该评分损失，即可完成对模型参数的更新，优化模型。

（3）模型性能评估阶段：

将预训练后的测试集数据作为推荐模型的输入，使用跨域推荐中常用的平均绝对误差MAE和均方根误差RMSE作为模型性能的度量指标。其中MAE表示预测结果和真实结果之间的误差均值，RMSE表示预测值和真实结果之间的标准差。两个指标越小，该跨域推荐模型性能越好。MAE和RMSE的定义如下：

为了进一步验证本发明的方法，采用本发明的方法与基准矩阵分解模型TGT、广义矩阵分解模型GMF和集体矩阵分解模型CMF、目前主流的跨域推荐模型EMCDR和目前最新的跨域推荐模型PTUPCDR以及使用深度神经网络构造偏好映射桥的跨域推荐模型DCDCSR等进行对比，本发明使用PyTorch 1.9版本实现该跨域推荐模型的训练和推理，并利用GPU加速模型的训练阶段和推理阶段，使用Adam作为模型的优化器，学习率设置为0.01，多头自注意力机制中设置为2头。所有的程序中用户和项目的全局表示维度均为10，batch size设置为512，对于每个任务，每个模型取五次实验结果的平均值。在影视➝音乐（任务1）、图书➝影视（任务2）和图书➝音乐（任务3）三个跨域推荐任务情况下的实验对比结果分别如图3-5所示。从图中可以看出，本发明所述的基于用户偏好多样性的跨域推荐方法的度量指标值最小，表现出最佳的推荐性能，推荐性能比其他的方法性能高出10%以上，因此，本发明更适合缓解冷启动这一推荐系统中常见的任务。

Claims (7)

1.一种基于用户偏好多样性的跨域推荐方法，其特征在于，包括以下步骤：

（1）数据预训练，提取用户与项目的源域全局表示和目标域全局表示；

（2）利用多层多头自注意力机制，对源域中重叠用户的近期交互记录中的项目聚合编码；

步骤（2）包括：

假设任一重叠用户在源域交互的项目记录为/>，通过截取或补全操作，得到用户源域定长记录/>，式中，/>表示定长记录长度；/>表示用户/>在源域中的第/>个项目交互记录；

使用层的多头自注意力机制对用户源域定长记录/>建模，/>的初始嵌入为/>：

从第0层的初始嵌入开始进行迭代，得到第层的嵌入：

式中，表示一个重叠用户/>的定长记录/>在第/>层多头自注意力机制中的嵌入，/>表示缩放点积多头注意力机制，/>是缩放因子，/>表示K的维度，Q、K、V分别表示查询矩阵、键矩阵和值矩阵，/>、/>、/>分别表示不同的可训练参数矩阵；/>表示用户/>在源域中第/>个项目交互记录/>建模得到的初始嵌入；第/>层的输出嵌入/>为用户-项目交互记录编码；

（3）用户的个性化偏好映射：基于用户-项目交互记录编码进行多偏好建模，选取与用户源域全局表示最相关的偏好向量输入偏好映射桥，得到用户在目标域上的个性化偏好向量；

将用户-项目交互记录编码作为输入，利用自注意力机制从中选取用户的多个偏好表示：

其中，、/>均表示可训练的参数矩阵；

根据用户的多个偏好表示，与用户/>的交互记录编码点乘获得多个偏好向量/>：

通过余弦相似度计算函数计算每个偏好向量与用户/>在目标域的全局表示/>的相关性，并使用/>挑选出最相关偏好向量/>：

将用户的源域全局表示/>和最相关偏好向量/>拼接后输入偏好映射桥，得到同一个用户/>在目标域上的个性化偏好向量；

（4）基于预测的评分结果构建评分损失函数，对推荐模型进行优化更新。

2.根据权利要求1所述的一种基于用户偏好多样性的跨域推荐方法，其特征在于，步骤（1）中所述数据包括用户-项目交互数据，即源域和目标域的重叠用户对源域和目标域的项目的评分数据，其中源域和目标域的项目没有重叠。

3.根据权利要求2所述的一种基于用户偏好多样性的跨域推荐方法，其特征在于，步骤（1）中所述数据预训练包括采用矩阵分解模型对各域中评分数据进行预训练，定义损失函数为最小化评分误差：

其中，表示评分数据个数，/>表示用户/>对项目/>评分的真实值，/>分别表示当前域中用户/>的全局表示以及项目/>的全局表示，分别对源域和目标域计算损失，得到源域和目标域中的用户全局表示/>、/>以及源域和目标域中的项目全局表示/>、/>。

4.根据权利要求1所述的一种基于用户偏好多样性的跨域推荐方法，其特征在于，步骤（3）中所述偏好映射桥采用NTN神经张量网络或多层感知器MLP构建。

5.根据权利要求4所述的一种基于用户偏好多样性的跨域推荐方法，其特征在于，基于NTN神经张量网络构建偏好映射桥，将用户/>的源域全局表示/>和最相关偏好向量/>拼接后输入，得到同一个用户/>在目标域上的偏好向量：

式中，为拼接函数，/>为经过偏好映射桥输出的用户/>在目标域上的偏好向量。

6.根据权利要求5所述的一种基于用户偏好多样性的跨域推荐方法，其特征在于，步骤（4）包括：

（4.1）基于用户在目标域上的偏好向量/>，预测用户在目标域上的评分结果：

（4.2）构建评分损失函数进行模型优化更新；

式中，表示模型预测的评分结果，T为转置，/>为源域和目标域的重叠用户在目标域中的评分矩阵，/>是/>中非零元素的数量，/>为源域和目标域重叠用户u对项目/>的真实评分。

7.一种基于用户偏好多样性的跨域推荐系统，用于实现权利要求1-6任一项所述的基于用户偏好多样性的跨域推荐方法，其特征在于，包括：

数据预训练模块，用于提取出用户与项目的源域全局表示和目标域全局表示；

用户-项目交互记录编码模块，用于利用多层多头自注意力机制对源域中重叠用户的近期交互记录中的项目聚合编码；

个性化偏好映射模块，用于基于用户-项目交互记录编码进行多偏好建模，选取与用户源域全局表示最相关的偏好向量输入偏好映射桥，得到用户在目标域上的个性化偏好向量；

模型预测与更新模块，用于基于预测的评分结果构建评分损失函数，对推荐模型进行优化更新。