CN115952360B - 基于用户和物品共性建模的域自适应跨域推荐方法及系统 - Google Patents

基于用户和物品共性建模的域自适应跨域推荐方法及系统 Download PDF

Info

Publication number
CN115952360B
CN115952360B CN202310238254.6A CN202310238254A CN115952360B CN 115952360 B CN115952360 B CN 115952360B CN 202310238254 A CN202310238254 A CN 202310238254A CN 115952360 B CN115952360 B CN 115952360B
Authority
CN
China
Prior art keywords
domain
user
information
cross
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310238254.6A
Other languages
English (en)
Other versions
CN115952360A (zh
Inventor
倪欣
聂婕
左子杰
谢华鑫
魏志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310238254.6A priority Critical patent/CN115952360B/zh
Publication of CN115952360A publication Critical patent/CN115952360A/zh
Application granted granted Critical
Publication of CN115952360B publication Critical patent/CN115952360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明属于跨域推荐技术领域，公开了基于用户和物品共性建模的域自适应跨域推荐方法及系统，所述系统包括数据输入模块、基于变分自编码器的辅助信息共性提取模块、基于跨域Transformer的域适应模块以及评分预测模块，通过基于变分自编码器的辅助信息共性提取模块，提取用户和物品在辅助域和目标域的评论共性信息和评分信息，获得用户嵌入特征，然后通过基于跨域Transformer的域适应模块，将用户嵌入特征进行特征对齐，最后评分预测模块输出预测结果；通过本发明减少跨域推荐中的负迁移问题和噪声的影响。

Description

基于用户和物品共性建模的域自适应跨域推荐方法及系统
技术领域
本发明属于跨域推荐技术领域，特别涉及基于用户和物品共性建模的域自适应跨域推荐方法及系统。
背景技术
跨域推荐将交互历史较丰富的数据域作为辅助域，借助辅助域丰富的交互数据来学习用户偏好，通过迁移学习机制进行用户特征迁移以解决推荐系统中数据稀疏和冷启动问题，帮助目标域用户进行更精准的个性化推荐。跨域推荐包括两个关键过程，其一，利用辅助域中相对丰富的交互信息进行用户和物品的特征提取，获得高质量的用户或物品特征；其二，利用迁移机制将不同域之间的共性特征从辅助域迁移到目标域，解决冷启动用户问题，提高目标域推荐质量。
针对过程一，跨域推荐领域的前沿方法主要围绕在用户和物品的特征学习过程中添加辅助信息来提高单个用户或物品的特征质量；针对过程二，目前主要基于域间共同用户存在的共性特征进行跨域迁移，采用多层感知机(MLP)构建辅助域到目标域之间的迁移函数进行特征迁移。
目前，跨域推荐领域的前沿研究方法通过引入用户评论等辅助信息来提高用户和物品特征提取质量，其优势在于利用辅助信息的不变属性来提升用户和物品表征在跨域应用时的泛化性，但是，该方法存在以下问题：第一，在用户嵌入表征提取过程中仅使用用户级辅助信息，在物品嵌入表征提取过程中仅使用物品级辅助信息，没有充分提取用户级和物品级辅助信息的共性特征。第二，辅助信息与评分信息进行融合时没有考虑二者的相关性，直接融合可能会引入噪声，对训练产生负面影响。第三，传统的跨域知识迁移方式将辅助域和目标域的用户嵌入特征通过多层感知机进行非线性映射，没有考虑不同域的数据分布差异，强行对齐可能会引起负迁移的问题。
发明内容
针对现有技术存在的不足，本发明提供基于用户和物品共性建模的域自适应跨域推荐方法及系统。
为了解决上述技术问题，本发明采用的技术方案是：
首先，本发明提供一种基于用户和物品共性建模的域自适应跨域推荐方法，包括以下步骤：
步骤1、收集用户和物品在辅助域和目标域的评论信息和评分信息作为源数据，并将源数据结构化为输入数据，输入构建的域自适应跨域推荐网络模型，所述域自适应跨域推荐网络模型包括基于变分自编码器的辅助信息共性提取模块、基于跨域Transformer的域适应模块以及评分预测模块。
步骤2、融合用户级和物品级的评论共性信息和评分信息来获得用户和物品的嵌入特征，其中，用户嵌入特征提取过程具体如下：
步骤201、共性特征提取：将辅助域和目标域用户评论信息
Figure SMS_3
、/>
Figure SMS_5
和物品评论信息
Figure SMS_7
、/>
Figure SMS_1
通过变分自编码器/>
Figure SMS_4
和/>
Figure SMS_6
进行共性特征提取，来建模用户级和物品级辅助信息的相关性，获得用户和物品评论共性信息/>
Figure SMS_8
和/>
Figure SMS_2
，用于参与用户和物品的嵌入特征提取过程。
步骤202、特征融合：
（1）在进行用户评论信息和用户评分信息特征融合前，先对其进行相关性分析来约束特征融合，具体是，利用注意力机制构建评论共性信息
Figure SMS_10
、/>
Figure SMS_12
与辅助域和目标域的用户评分信息/>
Figure SMS_14
、/>
Figure SMS_9
之间的掩码矩阵，根据掩码矩阵给评论共性信息/>
Figure SMS_13
、/>
Figure SMS_15
赋予权重，得到添加了权重的融合评论信息/>
Figure SMS_16
和/>
Figure SMS_11
。
（2）利用变分自编码器
Figure SMS_18
和/>
Figure SMS_23
进行用户评论信息和用户评分信息的特征融合过程：辅助域和目标域的用户评分信息/>
Figure SMS_17
、/>
Figure SMS_21
和加权后的融合评论信息/>
Figure SMS_24
和/>
Figure SMS_27
经过变分自编码器/>
Figure SMS_19
和/>
Figure SMS_22
得到辅助域和目标域的用户嵌入特征/>
Figure SMS_25
和/>
Figure SMS_26
。
对于物品嵌入特征提取过程，采取和用户嵌入特征同样的提取方法，得到辅助域和目标域的物品嵌入特征
Figure SMS_28
和/>
Figure SMS_29
。
步骤3、将步骤2得到的辅助域和目标域的用户嵌入特征
Figure SMS_32
和/>
Figure SMS_33
输入基于跨域Transformer的域适应模块，所述基于跨域Transformer的域适应模块包括多头自注意力机制和交叉注意力机制，使用跨域Transformer的多头自注意力机制得到用户在辅助域和目标域的嵌入特征/>
Figure SMS_35
和/>
Figure SMS_30
，并使用基于跨域Transformer的域适应模块的交叉注意力机制得到辅助域和目标域用户共性嵌入特征/>
Figure SMS_36
，最小化辅助域用户嵌入特征/>
Figure SMS_37
和跨域共性嵌入特征/>
Figure SMS_38
之间的距离，同时最小化目标域用户嵌入特征/>
Figure SMS_31
和跨域共性嵌入特征/>
Figure SMS_34
之间的距离。
步骤4、评分预测
将目标域用户嵌入特征
Figure SMS_39
与物品嵌入特征/>
Figure SMS_40
的转秩相乘，得到目标域中用户对物品的预测打分值。
反复迭代步骤1-步骤4，训练模型。
步骤5、对于一个冷启动用户，输入训练好的模型，选取该用户对物品的预测打分的高者作为该用户的推荐物品。
进一步的，所述基于跨域Transformer的域适应模块包括传统Transformer模型和跨域Transformer模型，步骤3中，辅助域和目标域用户嵌入特征对齐具体是，将辅助域和目标域的用户嵌入特征
Figure SMS_42
和/>
Figure SMS_46
作为输入，各自经过传统Transformer模型的多头自注意力层、归一化层、前馈神经网络层、归一化层得到用户嵌入特征/>
Figure SMS_49
和/>
Figure SMS_44
，于此同时，将辅助域和目标域的用户嵌入特征/>
Figure SMS_48
和/>
Figure SMS_50
经过跨域Transformer模型，基于多头交叉注意力机制，经过归一化层、前馈神经网络层、归一化层生成辅助域和目标域间的跨域共性特征/>
Figure SMS_53
；之后经过欧式距离分别最小化辅助域用户嵌入特征/>
Figure SMS_41
与跨域共性特征/>
Figure SMS_47
之间的距离，以及目标域用户嵌入特征/>
Figure SMS_51
与跨域共性特征/>
Figure SMS_52
之间的距离，从而最终达到/>
Figure SMS_43
与/>
Figure SMS_45
之间的分布对齐。
进一步的，在训练阶段，将步骤3基于跨域Transformer的域适应模块得到的辅助域和目标域的用户嵌入特征
Figure SMS_54
和/>
Figure SMS_55
分别与步骤2得到的辅助域和目标域的物品嵌入特征
Figure SMS_56
和/>
Figure SMS_57
的转秩相乘，得到预测评分，对预测结果和真实评分结果/>
Figure SMS_58
的差异反向传播，开展模型训练。
进一步的，对于一个冷启动用户，将该用户通过基于跨域Transformer的域适应模块得到的用户嵌入特征
Figure SMS_59
作为其在目标域的用户嵌入特征，与目标域物品嵌入特征/>
Figure SMS_60
的转秩相乘得到预测打分，选取该用户对目标物品的预测打分高者作为该冷启动用户的推荐物品。
本发明还提供一种基于用户和物品共性建模的域自适应跨域推荐系统，包括数据输入模块、基于变分自编码器的辅助信息共性提取模块、基于跨域Transformer的域适应模块以及评分预测模块，
所述数据输入模块，用于收集用户和物品的评论数据和评分数据并进行数据预处理；
所述基于变分自编码器的辅助信息共性提取模块，用于融合用户级和物品级的评论共性信息和评分信息来获得用户和物品的嵌入特征；
所述基于跨域Transformer的域适应模块，用于将基于变分自编码器的辅助信息共性提取模块输出的辅助域和目标域的用户嵌入特征进行特征对齐，输出对齐后的用户嵌入特征；
所述评分预测模块，用于将基于跨域Transformer的域适应模块输出的目标域用户嵌入特征与基于变分自编码器的辅助信息共性提取模块输出的物品嵌入特征的转秩相乘，得到用户对物品的预测打分值并输出推荐结果。
与现有技术相比，本发明优点在于：
（1）充分挖掘评论信息的价值以更好解决跨域推荐中的冷启动和数据稀疏问题。在辅助域中，本方法基于用户级和物品级评论的共性建模开展用户嵌入特征的学习，充分利用了用户和物品评论信息的共性特征，提取了辅助信息更丰富的语义，提高辅助域嵌入表征的质量，目标域同理；
（2）辅助信息和评分信息特征融合选取合理。例如，本方法在评论信息和评分信息特征融合时，通过注意力机制获取特征相关性，经过掩码处理，保留与用户或物品评分信息更相关的辅助信息进行特征融合，减少加入辅助信息引入的噪声；并且应用变分自编码器作为融合架构，提升了多元辅助信息融合的合理性；
（3）通过获取域间共性特征进行用户嵌入特征的特征对齐解决跨域推荐问题。利用跨域Transformer交叉注意力机制获取辅助域和目标域的共性特征，在保持辅助域用户嵌入特征提取精度的前提下，缩小源域与目标域用户嵌入表征分布空间上的距离，将辅助域与目标域用户嵌入特征的特征对齐，提升嵌入表征迁移的泛化性，减少跨域推荐中的负迁移问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的整套系统架构图；
图2为本发明的整套系统流程图；
图3为本发明在使用时数据处理过程；
图4为本发明的基于用户和物品共性建模的域自适应跨域推荐系统架构图；
图5为本发明的基于变分自编码器的辅助信息共性提取模块；
图6为本发明的基于跨域Transformer的域适应模块；
图7为本发明的训练流程图；
图8为冷启动用户跨域推荐步骤的流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
本发明的方案是在跨域推荐网络模型中设计了三个模块，即基于变分自编码器的辅助信息共性提取模块、基于跨域Transformer的域适应模块以及评分预测模块，其输入数据为用户和物品在辅助域和目标域的评论信息和评分信息。其中，基于变分自编码器的辅助信息共性提取模块通过基于变分自编码器的方法，提取用户和物品在辅助域和目标域的评论共性信息和评分信息，以获得高质量的用户嵌入特征。接下来，基于跨域Transformer的域适应模块，将辅助域和目标域的用户嵌入特征和物品嵌入特征进行融合，以适应目标域的数据分布。最后，评分预测模块利用融合后的用户嵌入特征和物品嵌入特征进行评分预测。
实施例1
结合图1所示，本实施例设计了一整套跨域推荐系统，分为两大部分，第一部分是实验所用数据，第二部分是整个网络模型（模型结构在本发明实施例3记载的跨域推荐系统有详细介绍）。本系统的数据包括用户和物品的评分信息以及评论信息，网络模型分为7个部分，用于实现辅助域用户和物品评论共性提取、辅助域用户嵌入特征学习、辅助域物品嵌入特征学习、目标域用户和物品评论共性提取、目标域用户嵌入特征学习、目标域物品嵌入特征学习及通过域适应模块实现辅助域和目标域的嵌入特征对齐，实现方式在实施例2部分详细介绍。
结合图2所示，本实施例的设计流程是，收集源数据、数据预处理、将输入数据输入到网络模型（本发明实施例3记载的跨域推荐系统），输出得到预测值。具体是，首先收集用户和物品的评分信息和评论信息作为源数据，如果是评论信息，则先经过数据预处理，将其转换为结构化数据（例如300维），如果不是评论信息则直接将其结构化为输入数据。
将所有结构化数据划分为训练数据集、验证数据集和测试数据集，如果不是测试数据集，则输入到整个模型中进行训练，得到预测值，并计算误差进行回传；如果是测试数据集则直接得到预测值。其中模型的训练和预测在实施例2中再详细介绍。
作为一个优选的实施方式，数据处理过程如图3所示，将用户和物品的评分信息和评论信息分别收集，如果为评论信息，则将用户和物品的评论信息分别收集到一个文档，每个文档经过数据预处理过程只保留M个单词，利用词向量字典将每个单词表示成N维的词向量，得到2个N*M维向量表示的文档。如果为评分信息，则按照用户索引ID将用户评分信息随机初始化为N维向量表示，按照物品索引ID将物品评分信息随机初始化为N维向量表示。
实施例2
结合图4-图8，本实施例提供一种基于用户和物品共性建模的域自适应跨域推荐方法，包括以下步骤：
步骤1、收集用户和物品在辅助域和目标域的评论信息和评分信息作为源数据，并将源数据结构化为输入数据（数据的处理可参考实施例1的记载，此处不再赘述）。
本实施例的辅助域和目标域的用户评分信息记为
Figure SMS_63
、/>
Figure SMS_65
，辅助域和目标域的用户评论信息记为/>
Figure SMS_67
、/>
Figure SMS_61
，辅助域和目标域的物品评论信息记为/>
Figure SMS_64
、/>
Figure SMS_66
，辅助域和目标域的物品评分信息记为/>
Figure SMS_68
、/>
Figure SMS_62
。
将收集、处理的数据输入预先构建的域自适应跨域推荐网络模型，所述域自适应跨域推荐网络模型包括基于变分自编码器的辅助信息共性提取模块、基于跨域Transformer的域适应模块以及评分预测模块。
步骤2、融合用户级和物品级的评论共性信息和评分信息来获得用户和物品的嵌入特征。
本实施例首先设计了基于变分自编码器的辅助信息共性提取模块，用于融合用户级和物品级的评论共性信息和评分信息，提取高质量的用户和物品的嵌入特征。如图5所示，以用户嵌入特征提取过程为例说明，具体如下：
步骤201、共性特征提取：
将辅助域和目标域用户评论信息
Figure SMS_70
、/>
Figure SMS_75
和物品评论信息/>
Figure SMS_78
、/>
Figure SMS_71
通过变分自编码器
Figure SMS_73
和/>
Figure SMS_77
进行共性特征提取，来建模用户级和物品级辅助信息的相关性，获得用户和物品评论共性信息/>
Figure SMS_80
和/>
Figure SMS_69
，用于参与用户和物品的嵌入特征提取过程，其中/>
Figure SMS_74
和
Figure SMS_76
分别为辅助域和目标域提取用户和物品评论共性信息/>
Figure SMS_79
和/>
Figure SMS_72
的变分自编码器。
该步骤实现用用户和物品评论共性信息
Figure SMS_81
和/>
Figure SMS_82
代替/>
Figure SMS_83
、/>
Figure SMS_84
和/>
Figure SMS_85
、/>
Figure SMS_86
来参与用户和物品的嵌入特征提取过程。
步骤202、特征融合：
对于用户嵌入特征提取过程，（1）在进行用户评论信息和用户评分信息特征融合前，先对其进行相关性分析来约束特征融合。利用注意力机制构建评论共性信息
Figure SMS_88
、/>
Figure SMS_91
与辅助域和目标域的用户评分信息/>
Figure SMS_92
、/>
Figure SMS_87
之间的掩码矩阵，根据掩码矩阵给评论共性信息/>
Figure SMS_90
、/>
Figure SMS_93
赋予权重，得到添加了权重的融合评论信息/>
Figure SMS_94
和/>
Figure SMS_89
。
（2）利用变分自编码器
Figure SMS_95
和/>
Figure SMS_103
进行用户评论信息和用户评分信息的特征融合过程：辅助域和目标域的用户评分信息/>
Figure SMS_97
、/>
Figure SMS_101
和加权后的融合评论信息/>
Figure SMS_105
和/>
Figure SMS_107
经过变分自编码器/>
Figure SMS_96
和/>
Figure SMS_102
得到辅助域和目标域的用户嵌入特征/>
Figure SMS_106
和/>
Figure SMS_108
；其中/>
Figure SMS_98
和/>
Figure SMS_100
分别为辅助域和目标域提取用户嵌入特征/>
Figure SMS_104
和/>
Figure SMS_109
的变分自编码器。
对于物品嵌入特征提取过程，采取和用户嵌入特征同样的提取方法，得到辅助域和目标域的物品嵌入特征
Figure SMS_110
和/>
Figure SMS_111
；其中/>
Figure SMS_112
和/>
Figure SMS_113
分别为辅助域和目标域中提取物品嵌入特征的变分自编码器。
此基于变分自编码器的辅助信息共性提取模块解决了传统方法在进行辅助信息和评分信息特征融合时对辅助信息特征提取不充分的问题。该步骤在对评论信息与评分信息进行特征融合前，通过注意力机制得到两者的相关性矩阵，通过增加掩码来对评论信息特征进行过滤以得到与评分信息有更高相关性的特征，实现更高质量的特征融合。
步骤3、将步骤2得到的辅助域和目标域的用户嵌入特征
Figure SMS_114
和/>
Figure SMS_119
输入基于跨域Transformer的域适应模块，所述基于跨域Transformer的域适应模块包括多头自注意力机制和交叉注意力机制，使用跨域Transformer的多头自注意力机制得到用户在辅助域和目标域的嵌入特征/>
Figure SMS_122
和/>
Figure SMS_116
，并使用基于跨域Transformer的域适应模块的交叉注意力机制得到辅助域和目标域用户共性嵌入特征/>
Figure SMS_117
，最小化辅助域用户嵌入特征/>
Figure SMS_120
和跨域共性嵌入特征/>
Figure SMS_121
之间的距离，同时最小化目标域用户嵌入特征/>
Figure SMS_115
和跨域共性嵌入特征/>
Figure SMS_118
之间的距离。
步骤4、评分预测
将目标域用户嵌入特征
Figure SMS_123
与物品嵌入特征/>
Figure SMS_124
的转秩相乘，得到目标域中用户对物品的预测打分值。
反复迭代步骤1-步骤4，训练模型。
步骤5、对于一个冷启动用户，输入训练好的模型，选取该用户对物品的预测打分的高者作为该用户的推荐物品。
本实施例设计了基于跨域Transformer的域适应模块，在模型训练阶段，通过辅助域与目标域特征分布对齐方式代替传统方法使用多层感知机进行嵌入特征的非线性映射。
作为一个优选的实施方式，如图6所示，所述基于跨域Transformer的域适应模块包括传统Transformer模型和跨域Transformer模型。
辅助域和目标域用户嵌入特征对齐具体是，将通过基于变分自编码器的多元辅助信息融合模块得到的辅助域和目标域的用户嵌入特征
Figure SMS_128
和/>
Figure SMS_129
作为输入，各自经过传统Transformer模型的多头自注意力层、归一化层、前馈神经网络层、归一化层得到用户嵌入特征/>
Figure SMS_133
和/>
Figure SMS_127
，于此同时，将辅助域和目标域的用户嵌入特征/>
Figure SMS_131
和/>
Figure SMS_135
经过跨域Transformer模型，基于多头交叉注意力机制，经过归一化层、前馈神经网络层、归一化层生成辅助域和目标域间的跨域共性特征/>
Figure SMS_137
；之后经过欧式距离分别最小化辅助域用户嵌入特征/>
Figure SMS_126
与跨域共性特征/>
Figure SMS_130
之间的距离，以及目标域用户嵌入特征/>
Figure SMS_134
与跨域共性特征/>
Figure SMS_136
之间的距离，从而最终达到/>
Figure SMS_125
与/>
Figure SMS_132
之间的分布对齐。
使用基于跨域Transformer的域适应模块的交叉注意力机制进行辅助域和目标域用户嵌入特征的特征对齐，在保持辅助域用户嵌入特征提取精度的前提下，缩小源域与目标域用户嵌入特征分布空间上的距离，从而减少特征分布差异。可以强化模型的泛化性，避免跨域推荐过程中的负迁移问题。
关于模型的训练，结合图7所示的模型训练过程，将辅助域和目标域的共同用户作为训练集。取出用户和物品的评分信息和评论信息，将其进行数据预处理（实施例1的记载）后经过基于变分自编码器的辅助信息共性提取模块，首先，提取用户评论信息和有交互的物品评论信息的评论共性特征向量，再利用注意力机制得出评论共性特征向量和评分向量之间的相关性矩阵，根据相关性系数给特征赋予权重后进行评论共性特征向量和评分向量的融合，得到用户和物品在辅助域和目标域的嵌入特征向量。然后，再经过基于跨域Transformer的域适应模块得到用户的跨域共性特征，经过欧式距离同时最小化辅助域及目标域用户嵌入特征与跨域共性特征之间的距离来进行特征分布对齐，得到用户在辅助域和目标域上的最终嵌入特征。最后，通过用户的嵌入特征和物品的嵌入特征得到预测评分。
作为一个优选的实施方式，在模型训练阶段，将步骤3基于跨域Transformer的域适应模块得到的辅助域和目标域的用户嵌入特征
Figure SMS_138
与/>
Figure SMS_139
分别与步骤2基于变分自编器的多元辅助信息融合模块得到的辅助域和目标域的物品嵌入特征/>
Figure SMS_140
和/>
Figure SMS_141
的转秩相乘，得到预测评分，对预测结果和真实评分结果/>
Figure SMS_142
的差异反向传播，开展模型训练。
实施例3
结合图4-图6，本实施例提供基于用户和物品共性建模的域自适应跨域推荐系统，包括数据输入模块、基于变分自编码器的辅助信息共性提取模块、基于跨域Transformer的域适应模块以及评分预测模块。
所述数据输入模块，用于收集用户和物品的评论数据和评分数据并进行数据预处理，具体可参见实施例1记载。
所述基于变分自编码器的辅助信息共性提取模块，用于通过用户和物品共性建模融合用户级和物品级的评论共性信息和评分信息来获得用户和物品的嵌入特征。该模块采用基于变分自编码器的方法进行实现，提取用户和物品在辅助域和目标域的评论共性信息和评分信息，并生成高质量的用户嵌入特征。具体来说，分为两个步骤：（1）共性特征提取：将辅助域和目标域用户级评论信息和物品级评论信息通过变分自编码器进行共性特征提取，来建模用户级和物品级辅助信息的相关性。这里的变分自编码器是一种神经网络模型，可以学习数据的潜在表示，并且能够在此过程中进行数据降维。由一个编码器和一个解码器组成的，其中编码器将原始数据映射到潜在空间中，解码器则将潜在表示转换回原始数据空间。通过这种方式，可以对评论信息和评分信息进行共性特征提取，得到高质量的用户嵌入特征。（2）特征融合：在进行用户评论信息和用户评分信息特征融合前，先对其进行相关性分析来约束特征融合，通过注意力机制得到两者的相关性矩阵，通过增加掩码来对评论信息特征进行过滤以得到与评分信息有更高相关性的特征，实现更高质量的特征融合，进而减少直接融合两种辅助信息引入的噪声。最后利用变分自编码器进行用户评论信息和用户评分信息的特征融合过程，得到辅助域和目标域的用户嵌入特征，进行物品评论信息和物品评分信息的特征融合过程，得到辅助域和目标域的物品嵌入特征。
所述基于跨域Transformer的域适应模块，用于将基于变分自编码器的辅助信息共性提取模块输出的辅助域和目标域的用户嵌入特征进行特征对齐，输出对齐后的用户嵌入特征。该模块包括传统Transformer模型和跨域Transformer模型两种模型，传统Transformer模型依次包括多头自注意力层、归一化层、前馈神经网络层、归一化层，以便更好地捕捉用户和物品之间的交互信息。跨域Transformer模型依次包括多头交叉注意力层、归一化层、前馈神经网络层、归一化层。
首先，将基于变分自编码器的辅助信息共性提取模块中获取的用户和物品嵌入特征分别送入两个传统Transformer模块，其中包括多头自注意力机制、前馈神经网络和残差连接等模块，以便更好地捕捉用户和物品之间的交互信息。然后，为了使模型更好地适应目标域，引入了一个域适应机制。使用跨域Transformer模型的交叉注意力机制进行辅助域和目标域用户嵌入特征的特征对齐，在保持辅助域用户嵌入特征提取精度的前提下，缩小源域与目标域用户嵌入特征分布空间上的距离，从而减少特征分布差异。
所述评分预测模块，用于将基于跨域Transformer的域适应模块输出的目标域用户嵌入特征与基于变分自编码器的辅助信息共性提取模块输出的物品嵌入特征的转秩相乘，得到用户对物品的预测打分值并输出推荐结果。
各个模块的功能实现详细可参见实施例2的记载，此处不再赘述。
结合图8所示的跨域推荐步骤，在应用时，当一个冷启动用户进入，首先利用该用户在辅助域的评论信息以及交互过物品的评论信息经过基于变分自编码器的辅助信息共性提取模块处理得到评论共性特征，之后经过求取评分信息和评论共性信息之间的相关性矩阵进行特征融合，得到该用户的嵌入特征。之后将该嵌入特征利用训练好的基于跨域Transformer的域适应模块得到用户在辅助域的用户嵌入特征
Figure SMS_143
，将该特征作为用户在目标域的用户嵌入特征。最后将该目标域用户嵌入特征与目标域物品嵌入特征/>
Figure SMS_144
的转秩相乘得到该用户对该物品的预测打分值。选取该用户对物品的预测打分的高者作为该用户的推荐物品。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (4)

1.基于用户和物品共性建模的域自适应跨域推荐方法，其特征在于，包括以下步骤：
步骤1、收集用户和物品在辅助域和目标域的评论信息和评分信息作为源数据，并将源数据结构化为输入数据，输入构建的域自适应跨域推荐网络模型，所述域自适应跨域推荐网络模型包括基于变分自编码器的辅助信息共性提取模块、基于跨域Transformer的域适应模块以及评分预测模块；
步骤2、融合用户级和物品级的评论共性信息和评分信息来获得用户和物品的嵌入特征，其中，用户嵌入特征提取过程具体如下：
步骤201、共性特征提取：将辅助域和目标域用户评论信息
Figure FDA0004211312110000011
和物品评论信息/>
Figure FDA0004211312110000012
Figure FDA0004211312110000013
通过变分自编码器AR_VAE和TR_VAE进行共性特征提取，来建模用户级和物品级辅助信息的相关性，获得用户和物品评论共性信息/>
Figure FDA0004211312110000014
和/>
Figure FDA0004211312110000015
用于参与用户和物品的嵌入特征提取过程；
步骤202、特征融合：
(1)在进行用户评论信息和用户评分信息特征融合前，先对其进行相关性分析来约束特征融合，具体是，利用注意力机制构建评论共性信息
Figure FDA0004211312110000016
与辅助域和目标域的用户评分信息/>
Figure FDA0004211312110000017
之间的掩码矩阵，根据掩码矩阵给评论共性信息/>
Figure FDA0004211312110000018
赋予权重，得到添加了权重的融合评论信息/>
Figure FDA0004211312110000019
和/>
Figure FDA00042113121100000110
(2)利用变分自编码器AUS_VAE和TUS_VAE进行用户评论信息和用户评分信息的特征融合过程：辅助域和目标域的用户评分信息
Figure FDA00042113121100000111
和加权后的融合评论信息/>
Figure FDA00042113121100000112
和/>
Figure FDA00042113121100000113
经过变分自编码器AUS_VAE和TUS_VAE得到辅助域和目标域的用户嵌入特征Ua和Ut；
对于物品嵌入特征提取过程，采取和用户嵌入特征同样的提取方法，得到辅助域和目标域的物品嵌入特征Ia和It；
步骤3、将步骤2得到的辅助域和目标域的用户嵌入特征Ua和Ut输入基于跨域Transformer的域适应模块，所述基于跨域Transformer的域适应模块包括多头自注意力机制和交叉注意力机制，使用跨域Transformer的多头自注意力机制得到用户在辅助域和目标域的嵌入特征Ua′和Ut′，并使用基于跨域Transformer的域适应模块的交叉注意力机制得到辅助域和目标域用户共性嵌入特征U(a+t)′，最小化辅助域用户嵌入特征Ua′和跨域共性嵌入特征U(a+t)′之间的距离，同时最小化目标域用户嵌入特征Ut′和跨域共性嵌入特征U(a+t)′之间的距离；
其中所述基于跨域Transformer的域适应模块包括传统Transformer模型和跨域Transformer模型，辅助域和目标域用户嵌入特征对齐具体是，将辅助域和目标域的用户嵌入特征Ua和Ut作为输入，各自经过传统Transformer模型的多头自注意力层、归一化层、前馈神经网络层、归一化层得到用户嵌入特征Ua′和Ut′，于此同时，将辅助域和目标域的用户嵌入特征Ua和Ut经过跨域Transformer模型，基于多头交叉注意力机制，经过归一化层、前馈神经网络层、归一化层生成辅助域和目标域间的跨域共性特征U(a+t)′；之后经过欧式距离分别最小化辅助域用户嵌入特征Ua′与跨域共性特征U(a+t)′之间的距离，以及目标域用户嵌入特征Ut′与跨域共性特征U(a+t)′之间的距离，从而最终达到Ua′与Ut′之间的分布对齐；
步骤4、评分预测
将目标域用户嵌入特征Ut′与物品嵌入特征It的转秩相乘，得到目标域中用户对物品的预测打分值；
反复迭代步骤1-步骤4，训练模型；
步骤5、对于一个冷启动用户，输入训练好的模型，选取该用户对物品的预测打分的高者作为该用户的推荐物品。
2.根据权利要求1所述的基于用户和物品共性建模的域自适应跨域推荐方法，其特征在于，在训练阶段，将步骤3基于跨域Transformer的域适应模块得到的辅助域和目标域的用户嵌入特征Ua′和Ut′分别与步骤2得到的辅助域和目标域的物品嵌入特征Ia和It的转秩相乘，得到预测评分，对预测结果和真实评分结果Ra的差异反向传播，开展模型训练。
3.根据权利要求1所述的基于用户和物品共性建模的域自适应跨域推荐方法，其特征在于，对于一个冷启动用户，将该用户通过基于跨域Transformer的域适应模块得到的用户嵌入特征Ua′作为其在目标域的用户嵌入特征，与目标域物品嵌入特征It的转秩相乘得到预测打分，选取该用户对目标物品的预测打分高者作为该冷启动用户的推荐物品。
4.基于用户和物品共性建模的域自适应跨域推荐系统，其特征在于，用于实现权利要求1-3任一项所述的基于用户和物品共性建模的域自适应跨域推荐方法，包括数据输入模块、基于变分自编码器的辅助信息共性提取模块、基于跨域Transformer的域适应模块以及评分预测模块，
所述数据输入模块，用于收集用户和物品的评论数据和评分数据并进行数据预处理；
所述基于变分自编码器的辅助信息共性提取模块，用于融合用户级和物品级的评论共性信息和评分信息来获得用户和物品的嵌入特征；
所述基于跨域Transformer的域适应模块，用于将基于变分自编码器的辅助信息共性提取模块输出的辅助域和目标域的用户嵌入特征进行特征对齐，输出对齐后的用户嵌入特征；
所述评分预测模块，用于将基于跨域Transformer的域适应模块输出的目标域用户嵌入特征与基于变分自编码器的辅助信息共性提取模块输出的物品嵌入特征的转秩相乘，得到用户对物品的预测打分值并输出推荐结果。
CN202310238254.6A 2023-03-14 2023-03-14 基于用户和物品共性建模的域自适应跨域推荐方法及系统 Active CN115952360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310238254.6A CN115952360B (zh) 2023-03-14 2023-03-14 基于用户和物品共性建模的域自适应跨域推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310238254.6A CN115952360B (zh) 2023-03-14 2023-03-14 基于用户和物品共性建模的域自适应跨域推荐方法及系统

Publications (2)

Publication Number Publication Date
CN115952360A CN115952360A (zh) 2023-04-11
CN115952360B true CN115952360B (zh) 2023-06-20

Family

ID=85903343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310238254.6A Active CN115952360B (zh) 2023-03-14 2023-03-14 基于用户和物品共性建模的域自适应跨域推荐方法及系统

Country Status (1)

Country Link
CN (1) CN115952360B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502271B (zh) * 2023-06-21 2023-09-19 杭州金智塔科技有限公司 基于生成模型的隐私保护跨域推荐方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035389A (ko) * 2002-10-22 2004-04-29 한국전자통신연구원 패턴 변환 기법을 이용한 온라인 서명인증 장치 및 그구현 방법
CN111061951A (zh) * 2019-12-11 2020-04-24 华东师范大学 一种基于双层自注意力评论建模的推荐模型

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103605B1 (en) * 1999-12-10 2006-09-05 A21, Inc. Timeshared electronic catalog system and method
US11580673B1 (en) * 2019-06-04 2023-02-14 Duke University Methods, systems, and computer readable media for mask embedding for realistic high-resolution image synthesis
CN111563205A (zh) * 2020-04-26 2020-08-21 山东师范大学 共享账户中基于自注意力机制的跨域信息推荐方法及系统
CN111708937B (zh) * 2020-05-27 2022-12-16 北京阅视无限科技有限公司 基于标签迁移的跨域推荐方法
US20220129706A1 (en) * 2020-10-23 2022-04-28 Sharecare AI, Inc. Systems and Methods for Heterogeneous Federated Transfer Learning
CN114254203A (zh) * 2021-12-23 2022-03-29 中国海洋大学 基于评论共性信息嵌入和迁移的跨域推荐方法及系统
CN114329233A (zh) * 2022-01-10 2022-04-12 青岛科技大学 一种跨区域跨评分协同过滤推荐方法及系统
CN114266905A (zh) * 2022-01-11 2022-04-01 重庆师范大学 基于Transformer结构的图像描述生成模型方法、装置和计算机设备
CN115731178A (zh) * 2022-11-21 2023-03-03 华东师范大学 一种跨模态的无监督域自适应医学图像分割方法
CN115757529B (zh) * 2023-01-06 2023-05-26 中国海洋大学 基于多元辅助信息融合的跨域共性迁移推荐方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035389A (ko) * 2002-10-22 2004-04-29 한국전자통신연구원 패턴 변환 기법을 이용한 온라인 서명인증 장치 및 그구현 방법
CN111061951A (zh) * 2019-12-11 2020-04-24 华东师范大学 一种基于双层自注意力评论建模的推荐模型

Also Published As

Publication number Publication date
CN115952360A (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN112926396B (zh) 一种基于双流卷积注意力的动作识别方法
Zhang et al. Rich visual knowledge-based augmentation network for visual question answering
WO2023108324A1 (zh) 对比学习增强的双流模型推荐系统及算法
CN112508077A (zh) 一种基于多模态特征融合的社交媒体情感分析方法及系统
CN112818861A (zh) 一种基于多模态上下文语义特征的情感分类方法及系统
Sharma et al. A survey of methods, datasets and evaluation metrics for visual question answering
CN112328893B (zh) 一种基于记忆网络和协同注意力的推荐方法
CN115952360B (zh) 基于用户和物品共性建模的域自适应跨域推荐方法及系统
CN111144130A (zh) 一种基于上下文感知的混合神经网络的细粒度情感分类方法
Cao et al. Deep multi-view learning to rank
CN111259264B (zh) 一种基于生成对抗网络的时序评分预测方法
CN114020900B (zh) 基于融合空间位置注意力机制的图表英语摘要生成方法
CN117196763A (zh) 基于时序感知自注意力和对比学习的商品序列推荐方法
CN114626454A (zh) 一种融合自监督学习和注意力机制的视觉情感识别方法
Geng et al. Spatial-temporal pyramid graph reasoning for action recognition
Gao et al. Generalized pyramid co-attention with learnable aggregation net for video question answering
CN115757529B (zh) 基于多元辅助信息融合的跨域共性迁移推荐方法和系统
CN117034921A (zh) 一种基于用户数据的提示学习训练方法、装置和介质
CN116403608A (zh) 基于多标签纠正和时空协同融合的语音情感识别方法
CN114998698A (zh) 动态时域卷积网络驱动的多模态情感识别方法
CN114882529A (zh) 一种基于注意力校准的双分支跨域行人重识别方法
Hu et al. Deep batch active learning and knowledge distillation for person re-identification
He et al. VGSG: Vision-Guided Semantic-Group Network for Text-Based Person Search
Cao et al. Be an Excellent Student: Review, Preview, and Correction
CN117611924B (zh) 一种基于图文子空间联合学习的植物叶片表型病害分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant