CN112464097B - 一种多辅助域信息融合跨域推荐方法与系统 - Google Patents

一种多辅助域信息融合跨域推荐方法与系统 Download PDF

Info

Publication number
CN112464097B
CN112464097B CN202011418691.9A CN202011418691A CN112464097B CN 112464097 B CN112464097 B CN 112464097B CN 202011418691 A CN202011418691 A CN 202011418691A CN 112464097 B CN112464097 B CN 112464097B
Authority
CN
China
Prior art keywords
matrix
domain
information
user
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011418691.9A
Other languages
English (en)
Other versions
CN112464097A (zh
Inventor
廖永
李卫军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011418691.9A priority Critical patent/CN112464097B/zh
Publication of CN112464097A publication Critical patent/CN112464097A/zh
Application granted granted Critical
Publication of CN112464097B publication Critical patent/CN112464097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Abstract

本发明提供的一种多辅助域信息融合跨域推荐方法，通过引入自注意力机制为各共同用户(物品)信息向量自动计算对应的权重，避免池化技术造成的偏差或方差过大问题，实现在用户(物品)空间中融合了各向量的信息。同时，自注意力机制的并行化计算使得模型应用在大规模数据上的性能得到优化。本发明提出的多辅助域融合的办法，打破了现有的DCTOR模型只能应用于双目标推荐的瓶颈，为多领域的跨域推荐提供了可能，能够增加推荐物品的多样性，使推荐列表更完备，以防形成“信息茧房”。

Description

一种多辅助域信息融合跨域推荐方法与系统
技术领域
本发明涉及跨域推荐技术领域，更具体的，涉及一种多辅助域信息融合跨域推荐方法与系统。
背景技术
随着互联网飞速发展，网络上信息资源迅猛增长，“信息过载”的问题愈发严重，用户从海量的文本、视频、图像和商品等资源中找到符合自己个性化需求的信息变得十分困难。个性化推荐系统是解决上述问题的关键技术之一。推荐系统能够通过对用户的历史行为数据的研究，统计分析出用户的兴趣偏好，从而引导用户发现自己的信息需求，实现个性化推荐。对于用户来说，能够使用推荐系统快速地找到自己所需要的信息；对于企业来说，挖掘用户深层信息以及兴趣点，为提高客户留存率，改变商品销售策略，具有非常重要的商业价值。
传统的个性化推荐系统都是基于单一领域的，即根据用户对某一领域的偏好特征，为用户提供该领域的推荐服务。例如，YouTube网站依据用户观看视频的历史记录给用户推荐他可能感兴趣的视频；但随着用户规模和项目数量的急剧增长，单一领域的推荐方法的缺陷也逐渐暴露出来：新用户新项目的冷启动问题，用户行为数据稀疏问题。并且单一领域的推荐方法容易出现“信息茧房”的问题，即用户只关注自己熟悉的领域，并持续、反复加深兴趣爱好，推荐系统所推荐的物品缺乏多样性，反复推荐同类商品给用户。因此跨域推荐系统因运而生，能够从其它领域中获取有效的用户偏好或项目特征的信息来丰富目标领域中的数据，精准地预测用户行为，提供更加合理和个性化的推荐服务。不仅可以有效地缓解用户访问量少的推荐系统所面临的数据稀疏和冷启动问题，而且增加了推荐物品的多样，提高用户满意度、改善用户体验。
目前，主流的跨域推荐算法有3类：基于矩阵或张量合并及分解的跨域推荐，基于图模型的跨域推荐以及基于深度学习的跨域推荐等。与本文方法最接近的方法是基于embedding的跨域推荐算法框架A Framework for Dual-Target Cross-DomainRecommendation(Feng Zhu,Chaochao Chen,Yan Wang,Guanfeng Liu,and XiaolinZheng.2019.DTCDR:A Framework for Dual-Target Cross-Domain Recommendation.InThe 28th ACM International Conference on Information and Knowledge Management(CIKM’19),November 3–7,2019,Beijing,China.ACM, New York,NY,USA,10pages.https://doi.org/10.1145/3357384.3357992)(下称 DTCDR)，如模型框架如图1所示。该种方法主要应用于两个领域中，在嵌入层中使用word2vc或doc2vec等技术将用户和文本特征生成embedding表示，在合并和共享层使用池化技术来提取两个领域中共同用户的文本和评分特征信息。在模型层中，将共享特征与独有的特征进行拼接，输入到全连接的多层感知器(MLP) 来学习用户和物品之间的非线性关系，并最终把物品的推荐结果(概率)给输出层。但该方法针对的是两个域的共同用户任务之间的推荐问题，不能对多个域的情况进行推荐；且该模型在使用池化技术对信息进行抽取时，容易丢失两个领域的部分特征信息。
发明内容
本发明为克服现有的跨域推荐算法存在无法在多个域的情况进行推荐，且在使用池化技术对信息进行抽取时，容易丢失部分特征信息的技术缺陷，提供一种多辅助域信息融合跨域推荐方法与系统。
为解决上述技术问题，本发明的技术方案如下：
一种多辅助域信息融合跨域推荐方法，包括以下步骤：
S1：采集数据集并进行数据集的预处理，对数据进行分领域处理，设领域C 为目标域，领域B、领域M、领域E均为辅助域；
S2：多个辅助域分别与目标域使用基于自注意力机制的DCTOR模型，即 SA-DCTOR模型，进行训练，分别得到对应领域与目标域的共同用户信息矩阵；
S3：将多个共同用户信息矩阵输入自注意力机制模块进行特征融合，并对融合后的向量进行拼接，得到多域融合后含有评分信息和文本信息的融合矩阵；
S4：将融合矩阵输入到多层感知机中进行用户和物品之间非线性关系的学习；
S5：将多层感知机的输出结果输入到Softmax操作，将其结果归一化为概率分布，得到目标域C中的推荐物品召回列表；
S6：根据物品召回列表进行筛选，得到目标域C的跨域推荐结果。
上述方案中，通过引入自注意力机制为各共同用户(物品)信息向量自动计算对应的权重，避免池化技术造成的偏差或方差过大问题，实现在用户(物品) 空间中融合了各向量的信息。同时，自注意力机制的并行化计算使得模型应用在大规模数据上的性能得到优化。本发明提出的多辅助域融合的办法，打破了现有的DCTOR模型只能应用于双目标推荐的瓶颈，为多领域的跨域推荐提供了可能，能够增加推荐物品的多样性，使推荐列表更完备，以防形成“信息茧房”。
其中，在所述步骤S1中，所述数据集包括评分、投票以及产品元数据，所述数据集的预处理具体为：
剔除评分数量过小的锚用户和产品，缓解数据集中严重的数据稀疏性；
在领域B、领域M、领域E中均保留了一定数量共同用户的数据；
在每个领域保留了评分数目较多的用户；
最后将数据集归类成数值型信息和类别信息，其中数值型信息主要包括评分信息，类别信息主要包括物品描述信息、品牌及链接。
其中，所述步骤S2中具体为：
S21：分别从领域M和目标域C的评分矩阵Rm和Rc中使用LFM方法分解出对应领域的潜在因子矩阵，即领域M的用户矩阵Um、物品矩阵Vm，目标域C 的用户矩阵UC、物品矩阵VC；
S22：分别从领域M和目标域C中的文本数据中使用word2VEC方法将文本数据映射成用户向量和物品向量，即领域M的用户向量UCm、物品向量VCm，目标域C的用户向量UCC、物品向量VCC；
S23：根据潜在因子矩阵和用户向量、物品向量，基于自注意力机制计算得到领域M和目标域C中含有评分信息和文本信息的共同用户信息矩阵Dmc；
S24：将领域M替换为领域B或领域E，重复执行步骤S21～S23，得到领域 B和目标域C的共同用户信息矩阵Dbc、领域E和目标域C的共同用户信息矩阵 Dec。
其中，在所述步骤S21中，所述领域M的潜在因子矩阵产生过程具体为：
利用奇异值分解的方法将m*n为的评分矩阵Rm分解成为m*k维的用户矩阵U和k*n维的物品矩阵相乘的形式，具体为：
求出评分矩阵Rm的m个特征值，将m个特征值组成对角阵∧；
设U为m维空间下的正交基矩阵，且解满足Rm*V＝Λ*U的正交矩阵V，则得到Rm＝U*Λ*VT的分解形式；令Um＝U*Λ，Vm＝VT，得到分解潜在因子结果为：
Figure BDA0002821256020000041
为了使得两个潜在因子的乘积更接近实际的评分矩阵，采用均方误差作为损失函数，具体公式为：
Figure BDA0002821256020000042
其中，Rm表示实际的评分矩阵，Um和Vm分别为用户和物品的潜在因子。
其中，在所述步骤S21中，对损失函数求偏导，得所求参数的梯度更新公式为：
um＝um-η(-emvm)＝um+ηemvm
Figure BDA0002821256020000043
其中，η为学习率，控制每次更新的步长；接着采用梯度下降法进行求解，梯度下降法实际上是一种迭代计算方法；
首先，随机初始化um和vm的值；
然后每次根据梯度更新公式求解参数um和vm的值，将um和vm的值带入到损失函数进行计算；
接着重复上述计算步骤，当损失函数的值最小或者损失函数的值不发生变化时，此时求得的参数值um和vm即为最优参数值，至此完成对潜在因子的求解。
其中，在所述步骤S22中，采用具体word2VEC方法中的CBOW模型对词向量进行训练。
其中，所述步骤S22具体为：
S221：采用中文常用停用词表Vocabulary，其中词表大小为v，并令窗口大小c＝10；
S222：使用CBOW模型对词向量进行训练，以用户为单位构建出词向量yi，通过向量拼接，得到v×m的矩阵Y；
S223：通过全连接网络训练一个v×n的embedding权重矩阵We，将矩阵Y与权重矩阵做点积，得到一个m×n维的文本向量矩阵Rv，数学表示为：
Rv＝YTWe
S224：使用基于矩阵分解的潜在因子求解方法，得到领域M的用户向量UCm；
S225：重复执行步骤S221～S224，得到领域M的物品向量VCm，目标域C 的用户向量UCC、物品向量VCC。
其中，所述步骤S23具体为：
以用户矩阵Um为Query，用户矩阵UC为Key，评分矩阵Rs为Value；先对Query和Key做点积操作来计算相似度，并对点积结果进行scal Dot-Prodect操作，得到相似度矩阵au；
对各相似度矩阵进行softmax归一化操作，得到注意力权重矩阵Wu，最后，将权重矩阵au与Value做内积运算得到一个head输出，记为Hu；具体表示式为：
Hu＝Attention(Um,Uc,Rs)
Figure BDA0002821256020000051
其中，d为矩阵Um和UC的维度，Rs为领域M和目标域C的拼接评分矩阵；
同样的，通过上述计算得到用户向量UCm、用户向量UCC的拼接文本向量矩阵Hy；
最后，将Hu、Hy做拼接操作，得到领域M和目标域C中含有评分信息和文本信息的共同用户信息矩阵，具体为：
Dmc＝Concat(Hu,Hy)
其中，Dmc为领域M和目标域C中含有评分信息和文本信息的共同用户信息矩阵。
其中，所述步骤S3具体为：将Dmc、Dbc和Dec输入一层自注意力机制Layer 进行加权融合，将融合后的向量进行concat拼接，得到多域融合后含有评分信息和文本信息的融合矩阵U。
其中，所述步骤S6具体为：将物品召回列表以用户id进行分组，并根据概率大小进行排序，针对每个用户id的物品取出概率值最大的N个物品分别作为目标域C的推荐结果。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供的一种多辅助域信息融合跨域推荐方法，通过引入自注意力机制为各共同用户(物品)信息向量自动计算对应的权重，避免池化技术造成的偏差或方差过大问题，实现在用户(物品)空间中融合了各向量的信息。同时，自注意力机制的并行化计算使得模型应用在大规模数据上的性能得到优化。本发明提出的多辅助域融合的办法，打破了现有的DCTOR模型只能应用于双目标推荐的瓶颈，为多领域的跨域推荐提供了可能，能够增加推荐物品的多样性，使推荐列表更完备，以防形成“信息茧房”。
附图说明
图1为DTCDR模型框架示意图；
图2为本发明所述方案流程示意图；
图3为自注意力机制原理图；
图4为基于自注意力机制改进的DCTOR模型示意图；
图5为端到端的自注意力机制原理图；
图6为矩阵分解示意图；
图7为连续词袋模型CBOW示意图；
图8为max-pooling原理图；
图9为average-pooling原理图；
图10为N-SA-DCTOR模型示意图；
图11为物品召回与排序流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图2所示，一种多辅助域信息融合跨域推荐方法，包括以下步骤：
S1：采集数据集并进行数据集的预处理，对数据进行分领域处理，设领域C 为目标域，领域B、领域M、领域E均为辅助域；
S2：多个辅助域分别与目标域使用基于自注意力机制的DCTOR模型，即 SA-DCTOR模型，进行训练，分别得到对应领域与目标域的共同用户信息矩阵；
S3：将多个共同用户信息矩阵输入自注意力机制模块进行特征融合，并对融合后的向量进行拼接，得到多域融合后含有评分信息和文本信息的融合矩阵；
S4：将融合矩阵输入到多层感知机中进行用户和物品之间非线性关系的学习；
S5：将多层感知机的输出结果输入到Softmax操作，将其结果归一化为概率分布，得到目标域C中的推荐物品召回列表；
S6：根据物品召回列表进行筛选，得到目标域C的跨域推荐结果。
在具体实施过程中，本发明首先使用自注意力机制对基线模型的信息抽取进行改良，为所有的特征信息增加了权重，从而实现根据特征重要性来抽取共同用户的特征信息，解决了使用池化技术进行信息抽取所引起的信息丢失问题。另外，还提出了多辅助域推荐方法，能够加强跨域推荐中信息丰富度，使跨域推荐能够应用于多个领域范围。
在具体实施过程中，通过引入自注意力机制为各共同用户(物品)信息向量自动计算对应的权重，避免池化技术造成的偏差或方差过大问题，实现在用户(物品)空间中融合了各向量的信息。同时，自注意力机制的并行化计算使得模型应用在大规模数据上的性能得到优化。本发明提出的多辅助域融合的办法，打破了现有的DCTOR模型只能应用于双目标推荐的瓶颈，为多领域的跨域推荐提供了可能，能够增加推荐物品的多样性，使推荐列表更完备，以防形成“信息茧房”。
实施例2
更具体的，对于单个模型的共同用户信息抽取部分，使用自注意力机制代替原来的池化技术，自注意力机制原理如图3所示，Query和Key分别是解码器和编码器的隐藏状态，Value是要抽取信息的Embedding向量。Query和Key经过点积计算相似度，归一化，掩码以及softmax等操作后，产生对应的权重a。将得到的权重a乘以信息向量Value，即可为每个输入的向量根据相似性来赋予权重。而使用池化技术时会使其失去一般性或特殊性。(具体地，使用max-pooling 会保留两个领域中比较突出的，即保留特殊性但失去一般性。使用average-pooling 则简单地保留两者的均值，即保留一般性但失去特殊性。)
更具体的，基于自注意力机制改进的DCTOR模型(以下称SA-DCTOR模型) 结构如图4所示，在使用自注意力机制层替换pooling层后，使得每个输入的向量都被赋予了一个权重，能够根据两个领域共同用户向量的相似性来抽取信息，同时保留两个领域中的特殊性和一般性。另外，如图5所示，自注意力机制是一种可并行的端到端的算法，输入序列向量a经过自注意力机制进行加权后输入出序列向量b，算法的并行性使到模型在大规模数据上取得良好的应用性能。
在具体实施过程中，以Amazon数据集作为本发明的实验数据，该数据集普遍用于跨域推荐算法的训练和测试，数据集直观包含有评分，投票以及产品元数据等信息。Amazon将商品集划分为24个类别，本发明选取其中四个具有代表性的商品类别(电影域M，图书域B，音乐域C，电子产品域E)进行方案说明。
首先，对于数据进行预处理，具体过程包括：
剔除评分数量过小的锚用户和产品，缓解数据集中严重的数据稀疏性；
在音乐域C、图书域B、电影域M、电子产品域E中均保留了一定数量共同用户的数据；
在每个领域保留了评分数目较多的用户；
最后将数据集归类成数值型信息和类别信息，其中数值型信息主要包括评分信息，类别信息主要包括物品描述信息、品牌及链接。
其中，以音乐域C作为目标域，图书域B、电影域M、电子产品域E分别作为辅助域，将对应的数据输入到SA-DCTOR模型。本发明以电影域M和音乐域 C作为实例，其他的双域单模训练过程与本实施例基本相同，过程为：
在嵌入层中主要将所需要的数据进行embedding向量化处理。具体如下：
①分别从电影域M和音乐域C中的评分矩阵Rm和Rc中使用LFM方法分解出对应领域的潜在因子矩阵，即电影域M的用户矩阵Um、物品矩阵Vm，音乐域C的用户矩阵UC、物品矩阵VC。下面对本发明中的潜在因子向量产生过程进行描述，以电影域M的潜在因子产生过程为例，音乐域C的潜在因子同理可得：
首先，利用奇异值分解(SVD)的方法将m*n为的评分矩阵Rm分解成为m*k 维的用户矩阵U和k*n维的物品矩阵相乘的形式，具体示意图如图6所示。其中m是用户数量，n是物品数量，k是潜在因子向量的维度，也就是隐含特征的维度。
更具体的，上述奇异值分解方法实施如下：
利用奇异值分解的方法将m*n为的评分矩阵Rm分解成为m*k维的用户矩阵U和k*n维的物品矩阵相乘的形式，具体为：
求出评分矩阵Rm的m个特征值，将m个特征值组成对角阵∧；
设U为m维空间下的正交基矩阵，且解满足Rm*V＝Λ*U的正交矩阵V，则得到Rm＝U*Λ*VT的分解形式；令Um＝U*Λ，Vm＝VT，得到分解潜在因子结果为：
Figure BDA0002821256020000091
为了使得两个潜在因子的乘积更接近实际的评分矩阵，采用均方误差作为损失函数，具体公式为：
Figure BDA0002821256020000092
其中，Rm表示实际的评分矩阵，Um和Vm分别为用户和物品的潜在因子。
接着，对损失函数求偏导，得所求参数的梯度更新公式为：
um＝um-η(-emvm)＝um+ηemvm
Figure BDA0002821256020000093
其中，η为学习率，控制每次更新的步长；接着采用梯度下降法进行求解，梯度下降法实际上是一种迭代计算方法；
首先，随机初始化um和vm的值；
然后每次根据梯度更新公式求解参数um和vm的值，将um和vm的值带入到损失函数进行计算；
接着重复上述计算步骤，当损失函数的值最小或者损失函数的值不发生变化时，此时求得的参数值um和vm即为最优参数值，至此完成对潜在因子的求解。
②分别从电影域M和音乐域C中的文本数据中使用word2VEC方法将文本数据映射成用户向量和物品向量，即领域M的用户向量UCm、物品向量VCm，目标域C的用户向量UCC、物品向量VCC；本发明采用具体word2VEC方法中的CBOW模型对词向量进行训练。
上述的CBOW模型核心思想是从一个句子里面把一个词去掉，用这个词的上下文去预测这个被去掉的词。模型如图7所示。
更具体的，对本发明根据文本信息生成词向量的方法进行阐述。
首先，采用中文常用停用词表Vocabulary，其中词表大小为v，并令窗口大小c＝10；
其次，该模型的输入层是经过独热编码编码的1*v维向量{x1,...,xc}，隐藏层是一个n维的向量，输出层也是一个被独热编码的单词向量y。
更具体的，输入的向量通过一个v×n维的权重矩阵w连接到隐藏层；隐藏层通过一个n×v的权重矩阵w′连接到输出层，得到一个单词向量，该向量即为被去掉的词所对应的one-hot向量。具体数学表示如下：
Figure BDA0002821256020000101
H＝[h1,....,hn]
y＝HTW'
其中，
Figure BDA0002821256020000102
为每个单词的v维独热编码向量，W为v×n维的权重矩阵，H为 n维向量，W'为n×v维的矩阵，y为v维的独热编码向量。
由上述步骤可知，可以通过连续词袋模型得到数据集中所有文本信息用的向量表示。由于独热编码向量是稀疏的，不利于词向量之前的关系表示，并且由独热编码向量所组成的矩阵也会存在维度爆炸的问题。因此，本方法要对每个单词的独热编码向量yi进行embedding向量化操作。具体步骤如下：
以用户为单位构建出词向量yi，通过向量拼接，得到v×m的矩阵Y；
通过全连接网络训练一个v×n的embedding权重矩阵We，将矩阵Y与权重矩阵做点积，得到一个m×n维的文本向量矩阵Rv，数学表示为：
Rv＝YTWe
使用基于矩阵分解的潜在因子求解方法，得到电影域M的用户向量UCm；
重复执行步骤S221～S224，得到影域M的物品向量VCm，音乐域C的用户向量UCC、物品向量VCC。
更具体的，将共享层中，需要将两个不同的领域的用户矩阵和物品矩阵进行融合和与特征抽取。具体如下：
现有的模型采用的是使用池化技术进行特征抽取，但无论是max-pooling还是average-pooling对向量进行抽取时，因其只取池化窗口中某个值，而舍弃其它值的操作，使得被丢弃值所蕴含的信息将被丢失。具体地，如图8所示max-pooling 只会保留池化窗口中的最大值而舍弃其他值，使得抽取出来的特征具备特殊性而失去一般性。如图9所示，average-pooling只会保留池化窗口中所有值的平均值，使得抽取出来的特征具备一般性而失去特殊性。因此，现有模型采用池化技术会使得抽取的特征具有较差的泛化性能。
针对上述述问题，本发明提出了自注意力机制来替代池化技术进行特征融合，相比池化技术，自注意力机制根据相似度将每个特征向量进行加权，并且不受文本长度限制，能够完美地融合各向量的特征信息。如图3所示，所述自注意力机制具体结构包括：
首先，输入包括Q(Query)、K(Key)、V(Value)三个矩阵，矩阵Q与矩阵K之间进行点乘运算(MatMul)；
然后，将点成运算的即如果除以一个尺度标度
Figure BDA0002821256020000111
再利用Softmax操作将其结果归一化为概率分布。
最后，将得到的概率分布乘以矩阵V(MatMul)，得到权重求和的表示。
运算一次得到一个head，经过H次操作就得到H个head；将得到的H个head 做拼接操作。
在具体实施过程中，以用户矩阵Um为Query，用户矩阵UC为Key，评分矩阵Rs为Value；先对Query和Key做点积操作来计算相似度，并对点积结果进行 scal Dot-Prodect操作，得到相似度矩阵au；
对各相似度矩阵进行softmax归一化操作，得到注意力权重矩阵Wu，最后，将权重矩阵au与Value做内积运算得到一个head输出，记为Hu；具体表示式为：
Hu＝Attention(Um,Uc,Rs)
Figure BDA0002821256020000112
其中，d为矩阵Um和UC的维度，Rs为领域M和目标域C的拼接评分矩阵；
同样的，通过上述计算得到用户向量UCm、用户向量UCC的拼接文本向量矩阵Hy；
最后，将Hu、Hy做拼接操作，得到领域M和目标域C中含有评分信息和文本信息的共同用户信息矩阵，具体为：
Dmc＝Concat(Hu,Hy)
其中，Dmc为领域M和目标域C中含有评分信息和文本信息的共同用户信息矩阵；重复执行上述步骤，得到图书域B和音乐域C的共同用户信息矩阵Dbc、电子产品域E和音乐域C的共同用户信息矩阵Dec
更具体的，将Dmc、Dbc和Dec输入一层自注意力机制Layer进行加权融合，将融合后的向量进行concat拼接，得到多域融合后含有评分信息和文本信息的融合矩阵U。
实施例3
更具体的，本发明基于集成模型的思想，提出了基于自注意力机制和DCTOR 的多辅助域信息融合模型(下称N-SA-DCTOR模型)，如图10所示。假设领域C 为目标域，领域B，领域M，领域E均为辅助域。第一步，先将各辅助域分别与C使用基于自注意力机制的DCTOR模型(以下简称SA-DCTOR模型)，分别产生主域与各辅助域的共同用户信息向量Dmc、Dbc和Dec。第二步，将多个共同用户向量输入到一层自注意力机制Layer进行加权融合，将融合后的向量进行 concat拼接，得到多域的融合向量U。第三步使用了全连接的多层感知器(MLP) 来学习用户和物品之间的非线性关系。最后，经过一层softmax进行输出，得到最终的结果概率预测。
与原有的DCTOR模型相比，SA-DCTOR模型采用了集成模型的思想，使得模型能够应用于多个领域的用户信息融合中，解决了DCTOR模型只能在两个领域中进行融合而造成的信息丰富度不足等问题。通过融合多个辅助域的信息，能够增加推荐物品的多样性，使推荐列表更完备。
在具体实施过程中，具体技术方案如下：
S1：采集数据集并进行数据集的预处理，对数据进行分领域处理，设领域C 为目标域，领域B、领域M、领域E均为辅助域；
S2：多个辅助域分别与目标域使用基于自注意力机制的DCTOR模型，即 SA-DCTOR模型，进行训练，分别得到对应领域与目标域的共同用户信息矩阵；
S3：将多个共同用户信息矩阵输入自注意力机制模块进行特征融合，并对融合后的向量进行拼接，得到多域融合后含有评分信息和文本信息的融合矩阵；
S4：将融合矩阵输入到多层感知机中进行用户和物品之间非线性关系的学习；
S5：将多层感知机的输出结果输入到Softmax操作，将其结果归一化为概率分布，得到目标域C中的推荐物品召回列表；
S6：如图11所示流程，将物品召回列表以用户id进行分组，并根据概率大小进行排序，针对每个用户id的物品取出概率值最大的N个物品分别作为目标域C的推荐结果。
在具体实施过程中，本发明提供的一种多辅助域信息融合跨域推荐方法，通过引入自注意力机制为各共同用户(物品)信息向量自动计算对应的权重，避免池化技术造成的偏差或方差过大问题，实现在用户(物品)空间中融合了各向量的信息。同时，自注意力机制的并行化计算使得模型应用在大规模数据上的性能得到优化。本发明提出的多辅助域融合的办法，打破了现有的DCTOR模型只能应用于双目标推荐的瓶颈，为多领域的跨域推荐提供了可能，能够增加推荐物品的多样性，使推荐列表更完备，以防形成“信息茧房”。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种多辅助域信息融合跨域推荐方法，其特征在于，包括以下步骤：
S1：采集数据集并进行数据集的预处理，对数据进行分领域处理，设领域C为目标域，领域B、领域M、领域E均为辅助域；
S2：多个辅助域分别与目标域使用基于自注意力机制的DCTOR模型，即SA-DCTOR模型，进行训练，分别得到对应领域与目标域的共同用户信息矩阵；
所述步骤S2中具体为：
S21：分别从领域M和目标域C的评分矩阵Rm和Rc中使用LFM方法分解出对应领域的潜在因子矩阵，即领域M的用户矩阵Um、物品矩阵Vm，目标域C的用户矩阵UC、物品矩阵VC；
在所述步骤S21中，所述领域M的潜在因子矩阵产生过程具体为：
利用奇异值分解的方法将m*n维的评分矩阵Rm分解成为m*k维的用户矩阵U和k*n维的物品矩阵相乘的形式，具体为：
求出评分矩阵Rm的m个特征值，将m个特征值组成对角阵∧；
设U为m维空间下的正交基矩阵，且解满足Rm*V＝Λ*U的正交矩阵V，则得到Rm＝U*Λ*VT的分解形式；令Um＝U*Λ，Vm＝VT，得到分解潜在因子结果为：
Figure QLYQS_1
为了使得两个潜在因子的乘积更接近实际的评分矩阵，采用均方误差作为损失函数，具体公式为：
Figure QLYQS_2
其中，Rm表示实际的评分矩阵，Um和Vm分别为用户和物品的潜在因子；
在所述步骤S21中，对损失函数求偏导，得所求参数的梯度更新公式为：
um＝um-η(-emvm)＝um+ηemvm
em＝Rm-UmTVm
其中，η为学习率，控制每次更新的步长；接着采用梯度下降法进行求解，梯度下降法实际上是一种迭代计算方法；
首先，随机初始化um和vm的值；
然后每次根据梯度更新公式求解参数um和vm的值，将um和vm的值带入到损失函数进行计算；
接着重复上述计算步骤，当损失函数的值最小或者损失函数的值不发生变化时，此时求得的参数值um和vm即为最优参数值，至此完成对潜在因子的求解；
S22：分别从领域M和目标域C中的文本数据中使用word2VEC方法将文本数据映射成用户向量和物品向量，即领域M的用户向量UCm、物品向量VCm，目标域C的用户向量UCC、物品向量VCC；
S23：根据潜在因子矩阵和用户向量、物品向量，基于自注意力机制计算得到领域M和目标域C中含有评分信息和文本信息的共同用户信息矩阵Dmc；
所述步骤S23具体为：
以用户矩阵Um为Query，用户矩阵UC为Key，评分矩阵Rs为Value；先对Query和Key做点积操作来计算相似度，并对点积结果进行scale Dot-Prodect操作，得到相似度矩阵au；
对各相似度矩阵进行softmax归一化操作，得到注意力权重矩阵Wu，最后，将权重矩阵au与Value做内积运算得到一个head输出，记为Hu；具体表示式
为：Hu＝Attention(Um,Uc,Rs)
Figure QLYQS_3
其中，d为矩阵Um和UC的维度，Rs为领域M和目标域C的拼接评分矩阵；
同样的，通过上述计算得到用户向量UCm、用户向量UCC的拼接文本向量矩阵Hy；
最后，将Hu、Hy做拼接操作，得到领域M和目标域C中含有评分信息和文本信息的共同用户信息矩阵，具体为：
Dmc＝Concat(Hu,Hy)
其中，Dmc为领域M和目标域C中含有评分信息和文本信息的共同用户信息矩阵；
S24：将领域M替换为领域B或领域E，重复执行步骤S21～S23，得到领域B和目标域C的共同用户信息矩阵Dbc、领域E和目标域C的共同用户信息矩阵Dec；
S3：将多个共同用户信息矩阵输入自注意力机制模块进行特征融合，并对融合后的向量进行拼接，得到多域融合后含有评分信息和文本信息的融合矩阵；
S4：将融合矩阵输入到多层感知机中进行用户和物品之间非线性关系的学习；
S5：将多层感知机的输出结果输入到Softmax操作，将其结果归一化为概率分布，得到目标域C中的推荐物品召回列表；
S6：根据物品召回列表进行筛选，得到目标域C的跨域推荐结果。
2.根据权利要求1所述的一种多辅助域信息融合跨域推荐方法，其特征在于，在所述步骤S1中，所述数据集包括评分、投票以及产品元数据，所述数据集的预处理具体为：
剔除评分数量过小的锚用户和产品，缓解数据集中严重的数据稀疏性；
在领域B、领域M、领域E中均保留了一定数量共同用户的数据；
在每个领域保留了评分数目较多的用户；
最后将数据集归类成数值型信息和类别信息，其中数值型信息主要包括评分信息，类别信息主要包括物品描述信息、品牌及链接。
3.根据权利要求2所述的一种多辅助域信息融合跨域推荐方法，其特征在于，在所述步骤S22中，采用具体word2VEC方法中的CBOW模型对词向量进行训练。
4.根据权利要求3所述的一种多辅助域信息融合跨域推荐方法，其特征在于，所述步骤S22具体为：
S221：采用中文常用停用词表Vocabulary，其中词表大小为v，并令窗口大小c＝10；
S222：使用CBOW模型对词向量进行训练，以用户为单位构建出词向量yi，通过向量拼接，得到v×m的矩阵Y；
S223：通过全连接网络训练一个v×n的embedding权重矩阵We，将矩阵Y与权重矩阵做点积，得到一个m×n维的文本向量矩阵Rv，数学表示为：
Rv＝YTWe
S224：使用基于矩阵分解的潜在因子求解方法，得到领域M的用户向量UCm；
S225：重复执行步骤S221～S224，得到领域M的物品向量VCm，目标域C的用户向量UCC、物品向量VCC。
5.根据权利要求4所述的一种多辅助域信息融合跨域推荐方法，其特征在于，所述步骤S3具体为：将Dmc、Dbc和Dec输入一层自注意力机制Layer进行加权融合，将融合后的向量进行concat拼接，得到多域融合后含有评分信息和文本信息的融合矩阵U。
6.根据权利要求5所述的一种多辅助域信息融合跨域推荐方法，其特征在于，所述步骤S6具体为：将物品召回列表以用户id进行分组，并根据概率大小进行排序，针对每个用户id的物品取出概率值最大的N个物品分别作为目标域C的推荐结果。
CN202011418691.9A 2020-12-07 2020-12-07 一种多辅助域信息融合跨域推荐方法与系统 Active CN112464097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011418691.9A CN112464097B (zh) 2020-12-07 2020-12-07 一种多辅助域信息融合跨域推荐方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011418691.9A CN112464097B (zh) 2020-12-07 2020-12-07 一种多辅助域信息融合跨域推荐方法与系统

Publications (2)

Publication Number Publication Date
CN112464097A CN112464097A (zh) 2021-03-09
CN112464097B true CN112464097B (zh) 2023-06-06

Family

ID=74801591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011418691.9A Active CN112464097B (zh) 2020-12-07 2020-12-07 一种多辅助域信息融合跨域推荐方法与系统

Country Status (1)

Country Link
CN (1) CN112464097B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966766B (zh) * 2021-03-18 2022-06-07 北京三快在线科技有限公司 物品分类方法、装置、服务器及存储介质
CN113177546A (zh) * 2021-04-30 2021-07-27 中国科学技术大学 一种基于稀疏注意力模块的目标检测方法
CN113221916B (zh) * 2021-05-08 2023-07-07 哈尔滨工业大学（深圳） 一种基于跨域快速迁移的视觉拣选方法及装置
CN113222707B (zh) * 2021-05-25 2024-02-27 中国人民大学 一种智能服务交易推荐方法和系统
CN113806630A (zh) * 2021-08-05 2021-12-17 中国科学院信息工程研究所 基于注意力的多视角特征融合跨域推荐方法及装置
CN114915496B (zh) * 2022-07-11 2023-01-10 广州番禺职业技术学院 基于时间权重和深度神经网络的网络入侵检测方法和装置
CN115757529B (zh) * 2023-01-06 2023-05-26 中国海洋大学 基于多元辅助信息融合的跨域共性迁移推荐方法和系统
CN116501976B (zh) * 2023-06-25 2023-11-17 浙江天猫技术有限公司 数据推荐、模型训练、相似用户分析方法、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299396A (zh) * 2018-11-28 2019-02-01 东北师范大学 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN111291261A (zh) * 2020-01-21 2020-06-16 江西财经大学 融合标签和注意力机制的跨领域推荐方法及其实现系统
CN111563205A (zh) * 2020-04-26 2020-08-21 山东师范大学 共享账户中基于自注意力机制的跨域信息推荐方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299396A (zh) * 2018-11-28 2019-02-01 东北师范大学 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN111291261A (zh) * 2020-01-21 2020-06-16 江西财经大学 融合标签和注意力机制的跨领域推荐方法及其实现系统
CN111563205A (zh) * 2020-04-26 2020-08-21 山东师范大学 共享账户中基于自注意力机制的跨域信息推荐方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Feng Zhu等.DTCDR: A Framework for Dual-Target Cross-Domain Recommendation.《CIKM'19》.2019,1533-1542. *
跨领域推荐研究进展;陶鸿等;《长春师范大学学报》;第第38卷卷(第第12期期);44-53 *

Also Published As

Publication number Publication date
CN112464097A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112464097B (zh) 一种多辅助域信息融合跨域推荐方法与系统
WO2022041979A1 (zh) 一种信息推荐模型的训练方法和相关装置
Meghawat et al. A multimodal approach to predict social media popularity
CN112119388A (zh) 训练图像嵌入模型和文本嵌入模型
WO2021139415A1 (zh) 数据处理方法、装置、计算机可读存储介质及电子设备
US20230205813A1 (en) Training Image and Text Embedding Models
CN109871485A (zh) 一种个性化推荐方法及装置
CN112035743A (zh) 数据推荐方法、装置、计算机设备以及存储介质
CN111143705A (zh) 一种基于图卷积网络的推荐方法
CN113094549A (zh) 一种视频分类方法、装置、电子设备和存储介质
CN105701516B (zh) 一种基于属性判别的自动图像标注方法
CN116521906B (zh) 元描述生成方法及其装置、设备、介质
Alfarhood et al. DeepHCF: a deep learning based hybrid collaborative filtering approach for recommendation systems
Lang et al. Movie recommendation system for educational purposes based on field-aware factorization machine
CN116976505A (zh) 基于信息共享的解耦注意网络的点击率预测方法
CA3111094C (en) Noise contrastive estimation for collaborative filtering
CN114781503A (zh) 一种基于深度特征融合的点击率预估方法
CN112632377B (zh) 一种基于用户评论情感分析与矩阵分解的推荐方法
Zeng et al. User Personalized Recommendation Algorithm Based on GRU Network Model in Social Networks
CN115689639A (zh) 一种基于深度学习的商业广告点击率预测方法
Wen et al. Extended factorization machines for sequential recommendation
Shen et al. A deep embedding model for co-occurrence learning
CN114692012A (zh) 一种基于Bert的神经协同过滤的电子政务推荐方法
CN114565436A (zh) 基于时序建模的车型推荐系统、方法、设备及存储介质
CN108805628B (zh) 一种电子商务推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant