CN115757529B - 基于多元辅助信息融合的跨域共性迁移推荐方法和系统 - Google Patents

基于多元辅助信息融合的跨域共性迁移推荐方法和系统 Download PDF

Info

Publication number
CN115757529B
CN115757529B CN202310015107.2A CN202310015107A CN115757529B CN 115757529 B CN115757529 B CN 115757529B CN 202310015107 A CN202310015107 A CN 202310015107A CN 115757529 B CN115757529 B CN 115757529B
Authority
CN
China
Prior art keywords
user
domain
embedded
information
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310015107.2A
Other languages
English (en)
Other versions
CN115757529A (zh
Inventor
倪欣
聂婕
左子杰
谢华鑫
魏志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310015107.2A priority Critical patent/CN115757529B/zh
Publication of CN115757529A publication Critical patent/CN115757529A/zh
Application granted granted Critical
Publication of CN115757529B publication Critical patent/CN115757529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于跨域推荐技术领域，公开了一种基于多元辅助信息融合的跨域共性迁移推荐方法和系统，获取共同用户在源域和目标域上的物品评论信息、用户评论信息和用户历史偏好信息；提取平衡融合多辅助信息的用户和物品Aspect级特征；基于变分自编码器提取用户域间共性特征，并基于自注意力机制获得源域和目标域用户和物品的嵌入特征；通过得到的用户嵌入特征、物品嵌入特征预测打分。通过本发明利用多元辅助信息之间的关联来开展嵌入特征的学习，利用变分自编码器获取用户域间共性特征和域内个性特征，通过最小化共性特征与个性特征之间的互信息来进行共性信息增强，将用户偏好进行有效迁移，解决了跨域推荐过程中可能会出现的负迁移问题。

Description

基于多元辅助信息融合的跨域共性迁移推荐方法和系统
技术领域
本发明属于跨域推荐技术领域，特别涉及基于多元辅助信息融合的跨域共性迁移推荐方法和系统。
背景技术
跨域推荐是解决推荐领域数据稀疏性和冷启动问题的重要方法。跨域推荐旨在通过将源域的显式或隐式反馈传递到目标域来提高推荐性能。跨域推荐包括两个关键过程，其一，在单一域中开展特征工程，获得高质量的用户和物品表征；其二，利用迁移机制，将源域的用户和物品的隐空间映射至目标域，缓解目标域的数据稀疏和冷启动问题。针对过程一，目前主要采用深度神经网络表征模型，例如：卷积神经网络、堆叠自编码器等。针对过程二，目前主要采用多层感知机（MLP），通过公共子空间映射机制，进行源域到目标域的迁移。传统方法主要面临的问题是用户或物品嵌入表征的质量不高，这是由于用户或物品嵌入表征的学习仅依赖于交互历史数据，特征抽取非常局限。因此，Zhao等人设计了一种Aspect级特征迁移网络的跨域推荐模型，如图1所示，将文本卷积神经网络与门控机制结合，有效提取用户和物品评论信息的Aspect级特征，然后利用相似非重叠用户的评论构建辅助文档，从而在增加训练数据多样性的同时有效缓解了数据稀疏，挖掘了跨域的细粒度观点之间的相关性。最后，再利用设置两个全局Aspect级特征矩阵来帮助构建源域和目标域用户特征相关性矩阵并进行特征迁移，实现目标域冷启动用户对项目的评分预测。该方法的优势在于利用辅助信息的不变属性来提升用户和物品特征在跨域应用时的泛化性，并探索Aspect级用户特征在各个域之间的相互关系，提高对用户偏好的理解和推荐的可解释性。
但是，该方法存在以下问题：第一，在用户或物品的嵌入特征学习过程中辅助信息利用不全面，未充分利用多种辅助信息之间的关联来开展嵌入特征的学习，在用户嵌入特征提取过程中仅单一使用用户评论作为辅助信息，没有考虑物品的描述信息，导致用户表征刻画片面。第二，在用户嵌入特征的学习过程中，直接将两种辅助信息Aspect级特征拼接作为用户嵌入特征进行特征映射，并未充分考虑两种辅助信息融合时的特征选取问题，因而特征融合过程中易引入噪声，降低了特征融合的显著性。第三，传统的跨域知识迁移方式将源域和目标域的用户嵌入特征通过多层感知机进行非线性映射，没有进行域间共性特征和域内个性特征的区分，直接映射可能会受到不相关特征的影响，带来负迁移。
发明内容
针对现有技术存在的不足，本发明提供基于多元辅助信息融合的跨域共性迁移推荐方法和系统。
为了解决上述技术问题，本发明采用的技术方案是：
首先，本发明提供一种基于多元辅助信息融合的跨域共性迁移推荐方法，包括以下步骤：
步骤S0、获取共同用户在源域和目标域上的物品评论信息、用户评论信息和用户历史偏好信息；
步骤S1、提取融合多元辅助信息的用户和物品Aspect级特征，具体包括：
步骤S101、词嵌入表征预处理：将步骤S0获取的信息的每个单词处理成词向量表示；
步骤S102、Aspect级特征提取：基于交叉注意力机制，将用户历史交互商品的描述信息作为用户历史偏好信息，将用户历史偏好信息、用户评论信息、物品评论信息通过Aspect级特征提取模块来获取用户和物品多维度特征表示，得到用户评论Aspect级特征
Figure 837536DEST_PATH_IMAGE001
、用户历史偏好Aspect级特征/>
Figure 551414DEST_PATH_IMAGE002
、物品Aspect级特征/>
Figure 862310DEST_PATH_IMAGE003
，其中，s表示源域，t表示目标域；
步骤S103、用户多元辅助信息特征融合：将步骤S102提取的用户历史偏好信息和用户评论信息的Aspect级特征通过联合注意力机制加权进行特征融合，用融合了用户历史偏好信息和用户评论信息的用户Aspect级特征
Figure 991940DEST_PATH_IMAGE004
来参与域间共性特征提取过程，其中
Figure 337470DEST_PATH_IMAGE005
是源域用户的Aspect级特征，/>
Figure 691091DEST_PATH_IMAGE006
是目标域用户的Aspect级特征；
步骤S2、基于变分自编码器提取域间共性特征，并基于自注意力机制获得源域和目标域用户和物品的Aspect级嵌入特征：
对于用户，基于变分自编码器提取用户在本源域与目标域域间共性特征和域内个性特征，将共性特征进行特征对齐，同时求取个性特征与共性特征的互信息，通过最小化互信息进行共性信息增强，进行嵌入特征的非线性映射，然后对用户嵌入特征进行自注意力加权得到最终的用户嵌入特征
Figure 754862DEST_PATH_IMAGE007
；
对于物品，对步骤S102得到的物品Aspect特征
Figure 688183DEST_PATH_IMAGE008
经过变分自编码器得到物品在源域和目标域的嵌入特征向量；然后对物品在源域和目标域的嵌入特征进行自注意力加权得到最终的物品嵌入特征/>
Figure 888220DEST_PATH_IMAGE009
；
步骤S3、通过步骤S2得到用户嵌入特征、物品嵌入特征预测打分，对预测结果和真实评分结果的差异反向传播、训练：
在源域和目标域上，分别将用户嵌入特征与物品嵌入特征的转秩相乘进行预测打分，选取该用户对物品的预测打分的高者作为该用户的推荐物品；
步骤S4、冷启动用户跨域推荐预测：
对于一个冷启动用户
Figure 403954DEST_PATH_IMAGE010
，将该用户/>
Figure 955021DEST_PATH_IMAGE010
在源域经过步骤S1、S2提取的用户域间共性特征作为其在目标域的用户嵌入特征，最后将用户嵌入特征与目标域已知物品/>
Figure 426453DEST_PATH_IMAGE011
的嵌入特征的转秩相乘得到该用户/>
Figure 480997DEST_PATH_IMAGE010
对该物品/>
Figure 707579DEST_PATH_IMAGE011
的预测打分值；选取用户对目标物品的预测打分的高者作为该冷启动用户/>
Figure 480363DEST_PATH_IMAGE010
的推荐物品。
进一步的，步骤S2中，基于变分自编码器进行源域和目标域用户特征提取时，具体如下：
首先，将源域用户的Aspect级特征
Figure 489907DEST_PATH_IMAGE012
和目标域用户的Aspect级特征/>
Figure 664537DEST_PATH_IMAGE013
作为输入，使用变分自编码器SUAL_VAE和TUAL_VAE提取用户Aspect级域间共性特征/>
Figure 796441DEST_PATH_IMAGE014
和域内个性特征/>
Figure 56521DEST_PATH_IMAGE015
，SUAL_VAE和TUAL_VAE分别为源域和目标域中提取用户域间共性特征和域内个性特征的变分自编码器，/>
Figure 869756DEST_PATH_IMAGE016
和/>
Figure 898892DEST_PATH_IMAGE017
分别为源域和目标域提取的域间共性特征，
Figure 467276DEST_PATH_IMAGE018
和/>
Figure 152336DEST_PATH_IMAGE019
分别为源域和目标域提取的域内个性特征，然后将/>
Figure 566000DEST_PATH_IMAGE016
和/>
Figure 715221DEST_PATH_IMAGE017
通过欧式距离损失进行特征对齐，同时将/>
Figure 188928DEST_PATH_IMAGE016
与/>
Figure 361283DEST_PATH_IMAGE018
、/>
Figure 313059DEST_PATH_IMAGE017
与/>
Figure 582366DEST_PATH_IMAGE019
通过最小化其之间的互信息来进行特征解耦；然后将提取出的域间共性特征作为用户嵌入特征，用户嵌入特征经过自注意力机制，进行特征加权表示，得到最终的用户嵌入特征。
然后，本发明提供一种基于多元辅助信息融合的跨域共性迁移推荐系统，用于实现如前所述的基于多元辅助信息融合的跨域共性迁移推荐方法和系统，包括融合多元辅助信息的Aspect级特征提取模块和基于变分自编码器的域间共性特征提取域适应模块；所述融合多元辅助信息的Aspect级特征提取模块包括词嵌入表征预处理模块、Aspect级特征提取模块、用户多元辅助信息特征融合模块。
与现有技术相比，本发明优点在于：
（1）充分挖掘推荐系统中辅助信息的价值以更好解决跨域推荐中的冷启动和数据稀疏问题。本方法将用户历史交互过的物品描述作为用户历史偏好信息，与用户评论信息共同参与用户嵌入特征的学习，利用交叉注意力机制进行Aspect级嵌入特征提取，充分利用辅助信息的共性特征提取更丰富的语义，提高用户嵌入表征的质量。
（2）多辅助信息特征融合选取合理。本方法在特征融合的过程中，通过联合注意力机制进行两种辅助信息特征的相关性分析，并且应用变分自编码器作为嵌入特征提取器，充分利用了变分自编码器这种深度生成模型在构建嵌入特征的有效性，提升了多元辅助信息融合的合理性。
（3）通过获取用户域间共性特征和域内个性特征来解决跨域推荐中特征迁移的问题。利用变分自编码器获取用户域间共性特征和域内个性特征，在保持源域用户嵌入表征提取精度的前提下，缩小源域与目标域用户共性嵌入表征分布空间上的距离，同时通过最小化共性特征与个性特征之间的互信息来进行共性信息增强，将用户偏好进行有效迁移，解决了可能会出现的负迁移问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术的模型架构图；
图2为本发明的基于多元辅助信息融合的跨域共性迁移推荐系统结构图；
图2a为本发明的融合多元辅助信息的Aspect级特征提取模块结构示意图；
图2b为本发明的基于变分自编码器域间共性特征提取域适应模块结构示意图；
图3为本发明的整套系统流程图；
图4为本发明的整套系统架构图；
图5为本发明在使用时数据处理过程；
图6为本发明的训练流程图；
图7为冷启动用户跨域推荐步骤的流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
实施例1
如图2、图2a、图2b所示，本实施例提供一种基于多元辅助信息融合的跨域共性迁移推荐系统，包括融合多元辅助信息的Aspect级特征提取模块和基于变分自编码器的域间共性特征提取域适应模块。所述融合多元辅助信息的Aspect级特征提取模块包括词嵌入表征预处理模块、Aspect级特征提取模块、用户多元辅助信息特征融合模块。
在获取了物品评论文档、用户评论文档、用户历史偏好文档之后，需要对其进行预处理，所述词嵌入表征预处理模块就是用于将获取的文档中的单词处理成词向量，用于后续步骤，三者在源域和目标域的词向量分别是
Figure 226974DEST_PATH_IMAGE020
、/>
Figure 886625DEST_PATH_IMAGE021
，/>
Figure 645021DEST_PATH_IMAGE022
、/>
Figure 503256DEST_PATH_IMAGE023
，/>
Figure 318765DEST_PATH_IMAGE024
、/>
Figure 465713DEST_PATH_IMAGE025
（s代表源域，t代表目标域）。
所述Aspect级特征提取模块，对于用户，用于从用户历史偏好信息与用户评论信息中获取用户多维度特征表示，利用交叉注意力机制，分别得到用户评论Aspect级特征
Figure 24870DEST_PATH_IMAGE026
和用户历史偏好Aspect级特征/>
Figure 3190DEST_PATH_IMAGE027
；对于物品，用于从物品评论信息中获取物品的特征表示，得到物品的Aspect表征/>
Figure 927284DEST_PATH_IMAGE028
。
所述用户多元辅助信息特征融合模块，用于将Aspect级特征提取模块提取的用户评论Aspect级特征
Figure 623845DEST_PATH_IMAGE026
和用户历史偏好Aspect级特征/>
Figure 721114DEST_PATH_IMAGE027
经过联合注意力机制加权，进行特征融合，得到用户Aspect级特征/>
Figure 757203DEST_PATH_IMAGE005
和/>
Figure 648935DEST_PATH_IMAGE006
，用融合了添加权重信息的用户Aspect级表征/>
Figure 832792DEST_PATH_IMAGE005
和/>
Figure 733752DEST_PATH_IMAGE006
来参与特征提取过程。
所述基于变分自编码器域间共性特征提取域适应模块，对于用户，对于融合多元辅助信息的Aspect级特征提取模块输出的用户Aspect级特征，获取用户在源域与目标域域间共性特征和域内个性特征，将共性特征进行特征对齐，在保持源域用户嵌入特征提取精度的前提下，缩小源域与目标域用户共性嵌入特征分布空间上的距离，同时通过最小化共性特征与个性特征之间的互信息来进行共性信息增强，用这种域适应方式代替传统方法使用多层感知机进行嵌入表征的非线性映射。将用户偏好进行有效迁移，解决了可能会出现的负迁移问题。
对于物品，对于融合多辅助信息的Aspect级特征提取模块输出的物品Aspect级特征，经过变分自编码器获取物品在源域和目标域的嵌入特征；然后对物品在源域和目标域的嵌入表征进行自注意力加权得到最终的物品嵌入特征。
其中，本实施例使用的变分自编码器SUAL_VAE和TUAL_VAE分别为源域和目标域中提取用户域间共性特征
Figure 358768DEST_PATH_IMAGE014
和域内个性特征/>
Figure 952561DEST_PATH_IMAGE015
的变分自编码器，SIAL_VAE和TIAL_VAE分别为源域和目标域中提取物品嵌入特征的变分自编码器。本发明通过上述变分自编码器进行源域和目标域用户嵌入表征的提取，在保持源域用户嵌入表征提取精度的前提下，缩小源域与目标域用户嵌入表征分布空间上的距离，减少域间共性特征和域内个性特征的互信息，从而减少特征分布差异，强化模型的泛化性，避免出现负迁移。
实施例2
本实施例提供一整套跨域推荐系统，如图3、图4所示，分为两大部分，第一部分是实验所用数据，第二部分是整个网络模型（即本发明实施例1记载的跨域推荐系统）。本系统的数据包括用户和物品的评论信息以及物品的描述信息，网络模型分为9个部分，各模块的组成及功能在实施例1部分及后续的实施例3中的基于多辅助信息融合的Aspect级共性特征迁移的跨域推荐方法详细介绍。
整体流程包括收集源数据、数据预处理、将输入数据输入到网络模型（即本发明实施例1记载的跨域推荐系统），输出得到预测值。如图3所示，首先收集用户和物品的评论信息以及物品的描述信息作为源数据，经过数据预处理模块将其转换为300维的结构化数据，并将其划分为训练数据集、验证数据集和测试数据集，如果不是测试数据集，则输入到整个模型中进行训练，得到预测值，并计算误差进行回传；如果是测试数据集则直接得到预测值。
实施例3
如图5-图7所示，并结合实施例1部分记载的跨域推荐系统，本实施例提供基于多元辅助信息融合的跨域共性迁移推荐方法，具体包括以下步骤：
步骤S0、获取共同用户在源域和目标域上的物品评论信息、用户评论信息和用户历史偏好信息；
步骤S1、提取融合多元辅助信息的用户和物品Aspect级特征，具体包括：
步骤S101、词嵌入表征预处理：将步骤S0获取的信息的每个单词处理成词向量表示。
数据的处理过程如图5所示，将用户和物品的评论信息以及用户交互过的物品的描述信息分别收集，形成3个文档，每个文档经过数据预处理过程只保留M个单词，利用词向量字典将每个单词表示成N维的词向量，得到3个N*M维向量表示的文档。
步骤S102、Aspect级特征提取：基于交叉注意力，将用户历史交互商品的描述信息作为用户历史偏好信息，将用户历史偏好信息、用户评论信息、物品评论信息通过Aspect级特征提取模块来获取用户和物品多维度特征表示；得到用户评论Aspect级特征
Figure 92555DEST_PATH_IMAGE026
、用户历史偏好Aspect级特征/>
Figure 468DEST_PATH_IMAGE027
、物品Aspect级特征/>
Figure 807887DEST_PATH_IMAGE028
，其中，s表示源域，t表示目标域；
步骤S103、用户多元辅助信息特征融合：将步骤S102提取的用户评论Aspect级特征
Figure 307002DEST_PATH_IMAGE026
和用户历史偏好Aspect级特征/>
Figure 137554DEST_PATH_IMAGE027
经过联合注意力机制加权，进行特征融合，得到用户在源域Aspect级特征/>
Figure 645896DEST_PATH_IMAGE005
和用户在目标域Aspect级特征/>
Figure 245505DEST_PATH_IMAGE006
，用融合了添加权重信息的用户Aspect级特征/>
Figure 915521DEST_PATH_IMAGE005
和/>
Figure 33037DEST_PATH_IMAGE006
来参与特征提取过程；
步骤S2、基于变分自编码器提取Aspect级共性特征，并基于自注意力机制获得源域和目标域用户和物品的Aspect级嵌入特征：
对于用户，基于变分自编码器提取用户在本源域与目标域域间共性特征和域内个性特征，将共性特征进行特征对齐，同时求取个性特征与共性特征的互信息，通过最小化互信息进行共性信息增强，进行嵌入特征的非线性映射，然后对用户嵌入特征进行自注意力加权得到最终的用户嵌入特征
Figure 79490DEST_PATH_IMAGE029
；
对于物品，对步骤S102得到的物品Aspect级特征
Figure 799185DEST_PATH_IMAGE030
经过变分自编码器得到物品在源域和目标域的嵌入特征；然后对物品在源域和目标域的嵌入特征进行自注意力加权得到最终的物品嵌入特征/>
Figure 640102DEST_PATH_IMAGE031
；
步骤S3、通过步骤S2得到用户嵌入特征、物品嵌入特征预测打分，对预测结果和真实评分结果的差异反向传播、训练：
在源域和目标域上，分别将用户嵌入特征与物品嵌入特征的转秩相乘进行预测打分，选取该用户对物品的预测打分的高者作为该用户的推荐物品。
步骤S4、冷启动用户跨域推荐预测：
结合图7，对于一个冷启动用户
Figure 507563DEST_PATH_IMAGE010
，将该用户/>
Figure 295391DEST_PATH_IMAGE010
在源域经过步骤S1、S2所述方法提取的用户域间共性特征作为其在目标域的用户嵌入特征，最后将用户嵌入特征与目标域已知物品/>
Figure 666329DEST_PATH_IMAGE011
的嵌入特征的转秩相乘得到该用户/>
Figure 943727DEST_PATH_IMAGE010
对该物品/>
Figure 767326DEST_PATH_IMAGE011
的预测打分值；选取该用户对目标物品的预测打分的高者作为该冷启动用户/>
Figure 358845DEST_PATH_IMAGE010
的推荐物品。
作为一个优选的试实施方式，步骤S2中，基于变分自编码器进行源域和目标域用户嵌入表征提取时，具体如下：
将源域用户的Aspect级特征
Figure 849869DEST_PATH_IMAGE012
和目标域用户的Aspect级特征/>
Figure 32589DEST_PATH_IMAGE013
作为输入，SUAL_VAE和TUAL_VAE分别为源域和目标域中提取用户域间共性特征和域内个性特征的变分自编码器，SIAL_VAE和TIAL_VAE分别为源域和目标域中提取物品嵌入特征的变分自编码器，/>
Figure 812326DEST_PATH_IMAGE016
和/>
Figure 738693DEST_PATH_IMAGE017
分别为源域和目标域提取的域间共性特征，/>
Figure 84224DEST_PATH_IMAGE018
和/>
Figure 703424DEST_PATH_IMAGE019
分别为源域和目标域提取的域内共性特征，将/>
Figure 704878DEST_PATH_IMAGE016
和/>
Figure 434937DEST_PATH_IMAGE017
通过欧式距离损失进行特征对齐，同时将/>
Figure 634974DEST_PATH_IMAGE016
与/>
Figure 628338DEST_PATH_IMAGE018
、
Figure 913826DEST_PATH_IMAGE017
与/>
Figure 447575DEST_PATH_IMAGE019
通过最小化其之间的互信息来进行特征解耦；然后将提取出的域间共性信息作为用户嵌入特征，用户嵌入特征与物品嵌入特征各自经过自注意力机制，进行特征加权表示，得到最终的用户和物品嵌入特征。
模型训练过程如图6所示，对于一个数据集，将源域和目标域的共同用户作为训练集。对于用户，取出用户的评论信息和交互过的物品的描述信息，将其经过数据预处理和Aspect级特征提取模块得出用户评论和历史偏好的Aspect级特征向量，之后经过联合注意力机制融合两种辅助信息得到用户的Aspect嵌入特征，再经过变分自编码器学习用户域间共性特征和域内个性特征，训练域适应模型最小化共性信息和个性信息之间的互信息并对齐源域和目标域的域间共性特征，用户嵌入特征经过自注意力加权后得到最终的用户嵌入特征。对于物品，取出用户交互过的所有物品的评论信息，将其经过数据预处理和Aspect级特征提取模块得出物品的Aspect级嵌入特征，再经过变分自编码器得到物品在源域和目标域上的嵌入特征。最后，通过用户的嵌入特征和物品的嵌入特征得到预测评分。
在实际应用时，跨域推荐的步骤如图7所示，当一个冷启动用户进入，首先利用它在源域的辅助信息经过模型处理得到该用户的Aspect级嵌入特征，之后将该嵌入特征利用训练好的基于变分自编码器的域间共性特征提取域适应模块得到域间共性特征作为该用户在目标域的嵌入特征，最后将目标域用户物品的嵌入特征相乘得到该用户对该物品的预测打分值。选取该用户对物品的预测打分的高者作为该用户的推荐物品。
此外关于损失计算，还需要说明的是，损失函数公式如下：
Figure 705381DEST_PATH_IMAGE032
源域损失函数
Figure 669314DEST_PATH_IMAGE033
包括四个部分，/>
Figure 176518DEST_PATH_IMAGE034
、/>
Figure 513959DEST_PATH_IMAGE035
分别是SUAL_VAE、SIAL_VAE的损失，/>
Figure 891851DEST_PATH_IMAGE036
为源域用户域间共性特征/>
Figure 86072DEST_PATH_IMAGE037
和域内个性特征/>
Figure 346152DEST_PATH_IMAGE038
之间的互信息损失，/>
Figure 956125DEST_PATH_IMAGE039
为源域用户对物品的评分损失，i代表物品，u代表用户，以下分别说明：
Figure 188523DEST_PATH_IMAGE040
Figure 491328DEST_PATH_IMAGE041
Figure 441967DEST_PATH_IMAGE042
Figure 855630DEST_PATH_IMAGE043
Figure 4852DEST_PATH_IMAGE044
和/>
Figure 478559DEST_PATH_IMAGE045
相似，以/>
Figure 650914DEST_PATH_IMAGE044
为例：
在式(3)中，
Figure 602690DEST_PATH_IMAGE044
分为三部分：①源域用户Aspect级向量的重构损失，/>
Figure 871997DEST_PATH_IMAGE046
为/>
Figure 251026DEST_PATH_IMAGE047
的源域重构向量。②为源域用户域间共性信息向量/>
Figure 910677DEST_PATH_IMAGE048
的隐空间分布与标准正态分布的KL散度，/>
Figure 666143DEST_PATH_IMAGE049
、/>
Figure 804606DEST_PATH_IMAGE050
为源域用户域间共性信息向量/>
Figure 354536DEST_PATH_IMAGE051
的均值和方差。/>
Figure 563800DEST_PATH_IMAGE052
为源域用户域内个性信息向量/>
Figure 857378DEST_PATH_IMAGE053
的隐空间分布与标准正态分布的KL散度， />
Figure 773382DEST_PATH_IMAGE054
、/>
Figure 25371DEST_PATH_IMAGE055
为源域用户域内个性信息向量/>
Figure 456353DEST_PATH_IMAGE056
的均值和方差。
在式(5)中，
Figure 756884DEST_PATH_IMAGE057
为/>
Figure 324132DEST_PATH_IMAGE058
和/>
Figure 481444DEST_PATH_IMAGE059
的联合概率分布，/>
Figure 665300DEST_PATH_IMAGE060
、/>
Figure 503943DEST_PATH_IMAGE061
分别为/>
Figure 191276DEST_PATH_IMAGE062
和/>
Figure 785069DEST_PATH_IMAGE063
的边缘概率分布，/>
Figure 925063DEST_PATH_IMAGE064
为后验估计，通过神经网络得到的变分分布来近似。
在式(6)中，
Figure 832976DEST_PATH_IMAGE065
为源域用户对物品的评分损失。
目标域和源域损失类似：
Figure 640395DEST_PATH_IMAGE066
Figure 139510DEST_PATH_IMAGE067
在式(8)中，
Figure 970063DEST_PATH_IMAGE068
为源域用户域间共性特征/>
Figure 947246DEST_PATH_IMAGE069
和目标域用户域间共性特征/>
Figure 874751DEST_PATH_IMAGE070
的欧式距离损失。
训练的总损失为：
Figure 748029DEST_PATH_IMAGE071
Figure 865545DEST_PATH_IMAGE072
Figure 646419DEST_PATH_IMAGE073
Figure 428430DEST_PATH_IMAGE074
Figure 472610DEST_PATH_IMAGE075
Figure 74492DEST_PATH_IMAGE076
Figure 924637DEST_PATH_IMAGE077
式(9)中，
Figure 295575DEST_PATH_IMAGE078
是防止过拟合的正则化项，/>
Figure 510656DEST_PATH_IMAGE079
是正则化参数：
Figure 599835DEST_PATH_IMAGE080
Figure 988091DEST_PATH_IMAGE081
为源域用户和物品的嵌入特征，/>
Figure 416798DEST_PATH_IMAGE082
为目标域用户和物品的嵌入特征。
综上所述，本发明在跨域推荐中增加了用户历史交互过的物品描述作为用户历史偏好信息，将其与用户评论信息分别利用交叉注意力机制进行Aspect级特征提取，深度挖掘多种辅助信息的隐含价值。
本发明还设计了一个用户多元辅助信息特征融合模块，将用户两种辅助信息的Aspect级表征通过联合注意力机制进行相关性分析，通过权重分配进行特征融合，提升了多视角信息融合的质量。
本发明设计了基于变分自编码器域间共性特征提取的域适应模块，提升用户嵌入表征迁移的有效性。采用变分自编码器提取源域与目标域域间共性特征和域内个性特征，将共性特征进行特征对齐，同时求取个性信息与共性信息的互信息，通过最小化互信息进行共性信息增强，提升嵌入表征迁移的泛化性，有效改善了可能产生的负迁移问题。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (3)

1.基于多元辅助信息融合的跨域共性迁移推荐方法，其特征在于，包括以下步骤：
步骤S0、获取共同用户在源域和目标域上的物品评论信息、用户评论信息和用户历史偏好信息；
步骤S1、提取融合多元辅助信息的用户和物品Aspect级特征，具体包括：
步骤S101、词嵌入表征预处理：将步骤S0获取的信息的每个单词处理成词向量表示；
步骤S102、Aspect级特征提取：基于交叉注意力机制，将用户历史交互商品的描述信息作为用户历史偏好信息，将用户历史偏好信息、用户评论信息、物品评论信息通过Aspect级特征提取模块来获取用户和物品多维度特征表示，得到用户评论Aspect级特征
Figure 922054DEST_PATH_IMAGE001
、用户历史偏好Aspect级特征/>
Figure 42457DEST_PATH_IMAGE002
、物品Aspect级特征/>
Figure 291036DEST_PATH_IMAGE003
，其中，s表示源域，t表示目标域；
步骤S103、用户多元辅助信息特征融合：将步骤S102提取的用户历史偏好信息和用户评论信息的Aspect级特征通过联合注意力机制加权进行特征融合，用融合了用户历史偏好信息和用户评论信息的用户Aspect级特征
Figure 951824DEST_PATH_IMAGE004
来参与域间共性特征提取过程，其中/>
Figure 235038DEST_PATH_IMAGE005
是源域用户的Aspect级特征，/>
Figure 526342DEST_PATH_IMAGE006
是目标域用户的Aspect级特征；
步骤S2、基于变分自编码器提取域间共性特征，并基于自注意力机制获得源域和目标域用户和物品的嵌入特征：
对于用户，基于变分自编码器提取用户在源域与目标域域间共性特征和域内个性特征，将共性特征进行特征对齐，同时求取个性特征与共性特征的互信息，通过最小化互信息进行共性信息增强，进行嵌入特征的非线性映射，然后对用户嵌入特征进行自注意力加权得到最终的用户嵌入特征
Figure 996638DEST_PATH_IMAGE007
；
对于物品，对步骤S102得到的物品Aspect特征
Figure 664380DEST_PATH_IMAGE008
经过变分自编码器得到物品在源域和目标域的嵌入特征向量；然后对物品在源域和目标域的嵌入特征进行自注意力加权得到最终的物品嵌入特征/>
Figure 802100DEST_PATH_IMAGE009
；
步骤S3、通过步骤S2得到用户嵌入特征、物品嵌入特征预测打分，对预测结果和真实评分结果的差异反向传播、训练：
在源域和目标域上，分别将用户嵌入特征与物品嵌入特征的转秩相乘进行预测打分，选取该用户对物品的预测打分的高者作为该用户的推荐物品；
步骤S4、冷启动用户跨域推荐预测：
对于一个冷启动用户
Figure 61043DEST_PATH_IMAGE010
，将该用户/>
Figure 284214DEST_PATH_IMAGE010
在源域经过步骤S1、S2提取的用户域间共性特征作为其在目标域的用户嵌入特征，最后将用户嵌入特征与目标域已知物品/>
Figure 481278DEST_PATH_IMAGE011
的嵌入特征的转秩相乘得到该用户/>
Figure 473505DEST_PATH_IMAGE010
对该物品/>
Figure 106612DEST_PATH_IMAGE011
的预测打分值；选取用户对目标物品的预测打分的高者作为该冷启动用户/>
Figure 613816DEST_PATH_IMAGE010
的推荐物品。
2.根据权利要求1所述的基于多元辅助信息融合的跨域共性迁移推荐方法，其特征在于，步骤S2中，基于变分自编码器进行源域和目标域用户嵌入特征提取时，具体如下：
首先，将源域用户的Aspect级特征
Figure 357781DEST_PATH_IMAGE012
和目标域用户的Aspect级特征/>
Figure 470094DEST_PATH_IMAGE013
作为输入，使用变分自编码器SUAL_VAE和TUAL_VAE提取用户域间共性特征/>
Figure 8523DEST_PATH_IMAGE014
和域内个性特征
Figure 206286DEST_PATH_IMAGE015
，SUAL_VAE和TUAL_VAE分别为源域和目标域中提取用户域间共性特征和域内个性特征的变分自编码器，/>
Figure 550679DEST_PATH_IMAGE016
和/>
Figure 517498DEST_PATH_IMAGE017
分别为源域和目标域提取的域间共性特征，/>
Figure 492408DEST_PATH_IMAGE018
和/>
Figure 708625DEST_PATH_IMAGE019
分别为源域和目标域提取的域内个性特征，然后将/>
Figure 59972DEST_PATH_IMAGE016
和/>
Figure 615719DEST_PATH_IMAGE017
通过欧式距离损失进行特征对齐，同时将/>
Figure 27108DEST_PATH_IMAGE016
与/>
Figure 730622DEST_PATH_IMAGE018
、/>
Figure 620081DEST_PATH_IMAGE017
与/>
Figure 295913DEST_PATH_IMAGE019
通过最小化其之间的互信息来进行特征解耦；然后将提取出的域间共性特征作为用户嵌入特征，用户嵌入特征经过自注意力机制，进行特征加权表示，得到最终的用户嵌入特征。
3.基于多元辅助信息融合的跨域共性迁移推荐系统，其特征在于，用于实现如权利要求1-2任一项所述的基于多元辅助信息融合的跨域共性迁移推荐方法，包括融合多元辅助信息的Aspect级特征提取模块和基于变分自编码器的域间共性特征提取域适应模块；所述融合多元辅助信息的Aspect级特征提取模块包括词嵌入表征预处理模块、Aspect级特征提取模块、用户多元辅助信息特征融合模块。
CN202310015107.2A 2023-01-06 2023-01-06 基于多元辅助信息融合的跨域共性迁移推荐方法和系统 Active CN115757529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310015107.2A CN115757529B (zh) 2023-01-06 2023-01-06 基于多元辅助信息融合的跨域共性迁移推荐方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310015107.2A CN115757529B (zh) 2023-01-06 2023-01-06 基于多元辅助信息融合的跨域共性迁移推荐方法和系统

Publications (2)

Publication Number Publication Date
CN115757529A CN115757529A (zh) 2023-03-07
CN115757529B true CN115757529B (zh) 2023-05-26

Family

ID=85348292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310015107.2A Active CN115757529B (zh) 2023-01-06 2023-01-06 基于多元辅助信息融合的跨域共性迁移推荐方法和系统

Country Status (1)

Country Link
CN (1) CN115757529B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952360B (zh) * 2023-03-14 2023-06-20 中国海洋大学 基于用户和物品共性建模的域自适应跨域推荐方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806630A (zh) * 2021-08-05 2021-12-17 中国科学院信息工程研究所 基于注意力的多视角特征融合跨域推荐方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210110306A1 (en) * 2019-10-14 2021-04-15 Visa International Service Association Meta-transfer learning via contextual invariants for cross-domain recommendation
CN112464097B (zh) * 2020-12-07 2023-06-06 广东工业大学 一种多辅助域信息融合跨域推荐方法与系统
CN112734104B (zh) * 2021-01-06 2022-07-19 河北工业大学 一种融合生成对抗网络和自编码器的跨域推荐方法
CN114254203A (zh) * 2021-12-23 2022-03-29 中国海洋大学 基于评论共性信息嵌入和迁移的跨域推荐方法及系统
CN115438732B (zh) * 2022-09-06 2023-05-26 重庆理工大学 面向冷启动用户基于分类偏好迁移的跨域推荐方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806630A (zh) * 2021-08-05 2021-12-17 中国科学院信息工程研究所 基于注意力的多视角特征融合跨域推荐方法及装置

Also Published As

Publication number Publication date
CN115757529A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
Ni et al. An effective recommendation model based on deep representation learning
Li et al. Unifying task-oriented knowledge graph learning and recommendation
CN113918832B (zh) 基于社交关系的图卷积协同过滤推荐系统
CN115757529B (zh) 基于多元辅助信息融合的跨域共性迁移推荐方法和系统
CN111581520A (zh) 基于会话中物品重要性的物品推荐方法和系统
CN113918833B (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
Ratadiya et al. An attention ensemble based approach for multilabel profanity detection
Zhu et al. SI-News: Integrating social information for news recommendation with attention-based graph convolutional network
CN113918834A (zh) 融合社交关系的图卷积协同过滤推荐方法
Hao et al. Feature-level deeper self-attention network with contrastive learning for sequential recommendation
Han et al. Towards accurate and robust domain adaptation under multiple noisy environments
CN115952360B (zh) 基于用户和物品共性建模的域自适应跨域推荐方法及系统
Cao et al. Implicit user relationships across sessions enhanced graph for session-based recommendation
Liu et al. Joint user profiling with hierarchical attention networks
Wang RH-Net: Improving neural relation extraction via reinforcement learning and hierarchical relational searching
Qiao et al. Bi-channel Multiple Sparse Graph Attention Networks for Session-based Recommendation
CN113268657B (zh) 基于评论和物品描述的深度学习推荐方法及系统
Alagarsamy et al. RNN LSTM-based deep hybrid learning model for text classification using machine learning variant xgboost
Guo et al. Multi-attribute subspace clustering via auto-weighted tensor nuclear norm minimization
Daradkeh et al. Lifelong machine learning for topic modeling based on hellinger distance
CN115470406A (zh) 一种基于双通道信息融合的图神经网络会话推荐方法
Zheng et al. Aspect-Level Sentiment Classification Based on Auto-Adaptive Model Transfer
Zhao et al. Subspace Clustering via Adaptive Non-Negative Representation Learning and Its Application to Image Segmentation
Lu et al. Generative essential graph convolutional network for multi-view semi-supervised classification
Rauf et al. BCE4ZSR: Bi-encoder empowered by teacher cross-encoder for zero-shot cold-start news recommendation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant