CN112541132B - 基于多视图知识表示的跨领域推荐方法 - Google Patents
基于多视图知识表示的跨领域推荐方法 Download PDFInfo
- Publication number
- CN112541132B CN112541132B CN202011538984.0A CN202011538984A CN112541132B CN 112541132 B CN112541132 B CN 112541132B CN 202011538984 A CN202011538984 A CN 202011538984A CN 112541132 B CN112541132 B CN 112541132B
- Authority
- CN
- China
- Prior art keywords
- item
- knowledge representation
- user
- items
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 21
- 230000000694 effects Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000013461 design Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于多视图知识表示的跨领域推荐方法。该方法包括：根据不同领域各个项目的相似属性，以异质图的形式将不同的项目进行整合，形成多个视图，将各个视图分别作为图注意力网络的输入，通过图注意力网络获得项目在每个视图下的初始知识表示；将项目在每个视图下的初始知识表示分别作为多头注意力网络的输入，通过多头注意力网络获得并整合不同视图下带有用户偏好的项目表示向量，得到带有用户偏好的项目最终表示；根据带有用户偏好的项目最终表示和目标领域的信息对所述用户推荐目标领域中的对应项目。本发明通过在多个领域间设立多视图多头注意力网络学习方法，充分学习项目知识表示，进行跨领域推荐，从而提高目标领域的推荐效果。
Description
技术领域
本发明涉及大数据领域技术领域，尤其涉及一种基于多视图知识表示的跨领域推荐方法。
背景技术
由于网络上可用信息量的指数级增长，推荐系统在我们的日常生活中变得不可避免。但当用户对项目的反馈较少或者出现新用户、新项目加入系统中后由于没有历史信息，会导致推荐性能极度下降，也就是所谓的单领域数据稀疏性问题、冷启动问题。
针对单领域推荐存在的上述问题，一个自然的解决方法就是利用其他领域的数据信息来丰富用户模型，从而产生更好的推荐，也就是跨领域推荐。例如用户喜欢的电影类型可以从他喜欢的书的类型导出。此外，跨领域推荐可生成捆绑推荐。例如可以向用户推荐带有音乐专辑的电影，进行电影和音乐的捆绑推荐。但是跨领域推荐算法仍然有很多待解决的问题，例如：如何充分利用源领域的信息，抽取出源领域和目标领域可以共享的知识从而避免负迁移现象；如何避免算法模型过于复杂导致训练时间长等。
图1为现有技术中的一种跨领域推荐示意图。根据可利用知识的处理方式，将跨领域分为基于知识聚合的推荐和基于知识迁移的推荐。
(1)基于知识聚合的推荐即将源域和目标域之间的知识进行整合汇总在目标领域向用户进行推荐；该方法的主要思想是将单领域内常见的协同过滤算法直接运用到跨领域中。有方案提出了联合矩阵分解(CollectiveMF)方法，通过分解一系列相互关联的矩阵，通过按权重将不同矩阵的损失函数相加实现多个领域的协同过滤方法，从而在一定程度上缓解数据稀疏性等问题。还有方案提出一种融合标签的协同过滤的跨领域推荐算法。模型利用标签系统中丰富的标签信息，计算出用户之间的相似度矩阵和项目之间的相似度矩阵，再用标签来丰富目标领域信息，以缓解数据稀疏的问题。
(2)知识迁移是利用在某个领域中学习到的知识，将其迁移至另一个领域中，并很好的帮助在另一个域中的学习任务。基于知识迁移的推荐即在源领域中找出目标领域可以利用的潜在用户特征或者项目属性迁移至目标领域，完成推荐。有方案通过确定了不同领域间上下文的不变性，并提出了一种学习领域上下文不变性的迁移学习表示方法，从而达到了不需要共享用户或项目来学习用户项目表示的目的。还有方案提出了一种基于联合非负矩阵的潜在因子聚类模型(CLFM)，该模型不仅可以学习到多个领域之间共享的通用评分模式，而且还可以从某些特定信息中学习到特定域的聚类级别评分模式。
用户对项目的评分可以用矩阵表示为其中，n表示用户数，m表示项目数，rij表示第i个用户对第j个项目的评分值。未有评分行为则评分值为0。图书和电影是两个不同的领域，图书领域内有不同的图书项目以及用户，电影领域包含不同的电影项目以及用户。
由于跨领域推荐中的大多数研究模型对用户评分矩阵的研究仅限于在用户对项目的评分这样的单一关联关系上。导致此类模型没有学习到用户对项目不同属性的偏好关系、项目和项目的关联关系及结构特征来做出更好的跨领域推荐。在知识表示方法上，传统的基于协同过滤的跨领域推荐是将两个领域的用户项目评分矩阵数据进行合并，再用联合矩阵分解分别得到用户和项目的特征向量，这类方法只考虑到了评分数据；基于迁移学习的跨领域推荐则是用聚类等机器学习方法将一个领域的用户或项目特征进行聚类，放入另一个领域进行学习和推荐，这类方法同样没有充分考虑到数据之间的结构关系。而推荐系统中的用户和项目之间的偏好行为、以及项目与项目之间的关联关系等，可以建模成为一个图结构。图结构的好处，在于能够更好学习数据间的关联关系和结构特征。因此，本发明提出的方法是把跨领域推荐中多个领域内的用户项目数据利用图结构进行建模，再用图的表示学习方法进行研究，构建项目的知识表示。
近年来，学术界在图的表示学习方法上有很多研究，将神经网络应用于图形数据的图形神经网络(图神经网络)发展迅速，在解决各种图形的多样性挑战方面显示出巨大的潜力。本发明将进一步借鉴图神经网络的优势，通过引入图神经网络来解决推荐系统中的学习数据高阶结构特性的问题，构建项目的知识表示。使用到的图神经网络模型包括：(1)图注意力网络，(2)图卷积网络。
(1)图注意力网络
图2为现有技术中的一种图注意力网络示意图。图注意力网络(GAT)将注意力机制引入到图神经网络中，学习节点特征以及节点在图中的结构特征，以区别地学习其他用户或项目的不同相关性和影响程度。具体地说，注意力权重被学习来将邻居的信息集中到目标用户或项目的知识表示中，如图2所示。图注意力网络的优点在于：能为有向图和无向图服务；能为节点的邻居分配不同的权重；能处理动态图，不需要学习特定的图结构。图注意力网络是建立在GAT的基础上的，目的是为了更准确地了解用户之间或项目之间的关系，以便随后提出建议。将图注意力网络用于推荐系统强调了特定的用户或项目，这更符合实际情况，因此有利于改进表示向量用于推荐。由于GAT具有良好的区分能力，它被应用于不同类型的图结构中，有方案将图注意力网络应用于社交关系图中整合不同的用户社交关系，不同项目对用户的影响关系和不同用户对某一项目的影响关系，再整合进行进一步的知识表示，还有方案将图注意力网络应用于知识图谱中，以构建具有良好推荐性能的各种基于图注意力网络的推荐。
(2)图卷积网络
图卷积网络(GCN)通常学习如何利用图结构和节点特征信息，利用神经网络迭代地从局部图邻域中聚集特征信息。一般来说，通过使用卷积和池化操作，GCN能够通过有效地将用户和项目的邻域信息聚合成图结构来学习用户和项目的信息构成知识表示。将图卷积神经网络用于学习用户或图中的项目知识表示，同时综合利用用户或/和项目之间的复杂关系以及用户自身的信息构成相关用户或项目的知识表示，用于推荐。由于GCN具有强大的特征提取和学习能力，特别是在结合图结构和节点内容信息方面的优势，GCN被广泛地应用于推荐系统中的各种图结构中来构建基于图卷积神经网络的知识表示，在推荐系统中具有广阔的应用前景。例如，有方案将GCN用于社交推荐中对社交图的影响扩散表示；还有方案挖掘用户项目交互图上隐藏的用户项目连接信息，以缓解协同过滤中的数据稀疏问题；还有方案通过在基于项目属性的知识图谱上挖掘它们的关联属性来获取项目间的相关性。
上述现有技术中的跨领域推荐方案的缺点为：大多是将协同过滤算法直接运用到跨领域的评分数据中，或将迁移学习应用于跨领域推荐，或是使用知识聚合的方式，涉及到的知识大多采用用户和项目之间的评分矩阵。但是用户项目之间除了直接表示的评分数据，也有用户之间，项目之间相关的细粒度属性偏好关联，现有的模型未充分考虑在多个领域间，如何刻画项目的细粒度属性特征和项目之间的关联关系去学习项目的表示。
异质信息网络(Heterogeneous Information Networks,HIN)可以表示节点和边存在多种类型和各种复杂的关系的有向图，现有的异质图学习方法大多是非端到端的学习方式，它们依赖于繁琐的过程，需要使用随机游走方法人工选择元路径或元图，或者在异质图中进行知识表示构造、相似性或交换矩阵离线计算，这种学习方式在计算能力和空间性能上都很低效。
现有的异质图算法中，未区别学习异质图数据中不同项目属性(views)对用户的偏好影响，而在现实中，对于不同的电影，用户喜欢根据不同的电影属性来决定观看的内容，如导演、演员和类型对用户是否观看某电影的影响不同。
发明内容
本发明的实施例提供了一种基于多视图知识表示的跨领域推荐方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种基于多视图知识表示的跨领域推荐方法，包括：
根据各个项目的相似属性，以异质图的形式将不同的项目进行整合，形成多个视图，将各个视图分别作为图注意力网络的输入，通过图注意力网络获得项目在每个视图下的初始知识表示；
将项目在每个视图下的初始知识表示分别作为多头注意力网络的输入，通过多头注意力网络获得带有用户偏好的项目知识表示向量，将不同视图下带有用户偏好的项目知识表示向量进行整合，得到带有用户偏好的项目最终知识表示向量；
根据所述带有用户偏好的项目最终知识表示向量和目标领域的信息对所述用户推荐目标领域中的对应项目。
优选地，所述的根据各个项目的相似属性，以异质图的形式将不同的项目进行整合，形成多个视图，包括：
将各个项目的one-hot向量作为各个项目的初始嵌入表示，利用不同项目的初始嵌入表示之间的相似性，将不同领域的具有相同或相似的属性关系类型的所有项目整合在一个异质图结构中，根据领域间不同项目的属性类型构造不同视角的子图，利用所有的子图形成多个视图，根据属性的数量构造相应个数的视图，该视图的节点个数包括用户、项目和属性，边的类型包括用户-项目、项目-属性和用户-用户。
优选地，所述的将各个视图分别作为图注意力网络的输入，通过图注意力网络获得项目在每个视图下的初始知识表示，包括：
将每个视图下的项目分别作为图注意力网络的输入，通过图注意力网络学习聚合项目周围邻居节点的知识表示，学习并区分各个邻居节点的影响力，并聚合得到项目在每个视图下的初始知识表示。优选地，所述的将项目在每个视图下的初始知识表示分别作为多头注意力网络的输入，通过多头注意力网络获得带有用户偏好的项目知识表示向量，将不同视图下带有用户偏好的项目知识表示向量进行整合，得到带有用户偏好的项目最终知识表示向量，包括：
所述图注意网络包括多头注意力层和视图层；
所述多头注意力层利用多个记忆模块对项目在每个视图下的初始知识表示进行学习，将不同视图下项目的邻域信息聚合到知识表示中，得到项目的组成部分信息，并用记忆模块存储每个项目的组成部分信息，并融合用户向量和注意力，突出最有影响的部分，得到不同视图下带有具体用户偏好的项目知识表示向量；
所述的视图层把多头注意力层得到的不同视图下带有具体用户偏好的项目知识表示向量作为输入，使用注意力层进一步进行学习，输出视图层的带有用户偏好的项目的最终知识表示；
训练多个独立的注意力网络，利用训练好的多个注意力网络将带有用户偏好的各个项目的最终知识表示进行整合，得到带有用户偏好的项目最终知识表示向量。
优选地，所述的根据带有用户偏好的项目最终知识表示向量和目标领域的信息对所述用户主动推荐目标领域中的对应项目，包括：
将目标领域的项目知识表示融合目标领域的用户项目评分矩阵的知识表示，得到目标领域用户对项目的知识表示；
将带有用户偏好的项目最终知识表示向量和目标领域用户对项目的知识表示向量进行拼接后，作为机器学习中的多层感知机MLP的输入，通过MLP对带有用户偏好的项目的最终知识表示和目标领域用户对项目的知识表示赋予不同的权重，学习得到用户对目标领域中各个项目的偏好信息，进而对所述用户推荐目标领域中的偏好项目。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例在异质图知识表示学习方法中，采用多视图注意力网络的方法。通过设立多视图多头注意力网络学习方法，充分学习项目的知识表示，进行跨领域推荐，从而提高推荐性能。通过融合不同用户的偏好信息，所设计的偏好预测算法结合模型学习的最终项目知识表示和目标领域的用户项目评分矩阵，最后联合计算预测出用户对目标领域内项目的偏好，也解决了单领域推荐中的数据稀疏和冷启动的问题。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中的一种跨领域推荐示意图；
图2为现有技术中的一种图注意力网络示意图；
图3为本发明提出的一种基于多视图知识表示的跨领域推荐方法的实现流程示意图；
图4为本发明提出的一种异质图表示示意图；
图5为本发明实施例提供的一种跨领域的多视图的构建过程示意图；
图6为本发明实施例提供的一种多头注意力层示意图；
图7为本发明实施例提供的一种视图层示意图；
图8为本发明实施例提供的一种联合知识表示部分示意图；
图9为本发明实施例提出的一种跨领域知识表示及偏好预测的算法伪代码示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明实施例充分利用用户项目的评分矩阵、项目的属性信息及用户-项目属性关联关系构建异质图网络，运用图神经网络方法进行用户、项目的表示学习，做出更准确的推荐。
本发明实施例在异质图学习上设计基于图神经网络的学习方法，不需要任何的相似性、交换矩阵的离线计算或设计基于随机游走的知识表示构造，从而提高推荐效率。
本发明实施例设计图神经网络学习方法，学习用户对项目属性的更细粒度的偏好，将项目的属性区别为不同视图，来学习不同视图对不同用户的偏好影响，以针对不同用户进行个性化推荐，提高推荐效果。
当前，由于跨领域推荐算法的研究未充分考虑项目之间的属性特征去学习项目的表示，难以实现针对项目的不同属性对用户的影响进行个性化推荐，本发明将利用异质图能够表示异质节点之间的关联关系的特点，结合多领域的项目关联关系，以及原始的用户-项目评分矩阵建立起聚合辅助域与目标域的用户、项目节点构成的异质图，运用图的方法对用户及项目属性的偏好进行学习。
现有基于异质图的算法大多为基于元路径的人工算法或离线相似性计算，在计算能力和空间性能及推荐效果上仍有发展空间。为此，本发明提出面向项目属性的多视图学习方法，并运用于跨领域的推荐场景中，针对多个不同领域的项目按照属性构造异质图，建立端到端的模型，进行更有效地个性化推荐，具有重要的理论意义和应用价值。
本发明提出的一种基于多视图知识表示的跨领域推荐方法的实现原理示意图如图3所示，主要通过图3的前两个模块来构建模型，并在第三个模块用于跨领域推荐的偏好预测。
模块一：跨领域的多视图构建，主要作用是将源领域和目标领域的项目数据集进行整合，以项目的相似属性为视图划分依据，将不同项目整合起来构造为一个视图(一个视图中的项目具有相似属性，表现为异质图的形式)，利用所有的子图形成多个视图。将各个视图作为图注意力网络的输入，通过图注意力网络获得项目在每个视图下的初始知识表示。
模块二：多头注意力设计，同一个项目会因为拥有不同属性而出现在多个视图中。这个阶段主要是针对不同视图获得的项目初始知识表示，将项目在每个视图下的初始知识表示分别作为多头注意力网络的输入，通过多头注意力网络获得不同视图下带有用户偏好的项目知识表示向量，将不同视图下带有用户偏好的项目知识表示向量进行整合，得到带有用户偏好的项目最终知识表示向量。
模块三：跨领域场景下的偏好预测设计，通过设计偏好预测，根据所述带有用户偏好的项目最终知识表示和目标领域的信息对所述用户进行目标领域的推荐。
相关参数定义
定义一：异质图
传统的同构图(Homogeneous Graph)中图数据只存在一种类型的节点和边，异质信息网络(Heterogeneous Information Networks,HIN)可以表示节点和边存在多种类型和各种复杂的关系的有向图，图4为异质图的表示示意图，如图4所示，异质图的形式化定义如下：
(1)有向图G(ν,ε)，其中ν为实体集，ε为实体之间的关系集合；
(2)两个类型映射函数：fe(ν)->O,fr(ε)->R，其中O为实体类型，R为关系类型；
(3)若|O|+|R|>2，则称G(ν,ε)为HIN
本发明实施例中的数据集按照定义一所描述的异质图组织，其中，数据的节点类型是项目和属性，边的类型分别为项目-项目、项目-属性。如图4所示。
图神经网络是用于处理图结构数据的神经网络，它通过迭代聚合图上节点的局部邻域结构信息以生成该节点的低维知识表示。本发明实施例中，采用图神经网络中的多视图注意力网络，其定义如下：
图注意力网络：使用注意力机制为每个邻居节点学习不同的权重(式4.1)，以区分不同邻居节点对目标节点知识表示的贡献，其通过迭代学习来更新节点的知识表示(4.2)和其周围节点的注意力大小。
注意力权重：
节点的知识表示：
多视图注意力网络：训练多个独立的注意力网络，然后拼接不同视图下节点的知识表示聚合得到的知识表示作为最终的节点的知识表示。利用训练好的多个注意力网络将带有用户偏好的各个项目的最终知识表示进行整合，得到带有用户偏好的项目的最终知识表示。
带有用户偏好的项目最终知识表示向量，是包含了多个因素整合而成的一个知识表示向量。多个因素包括项目的各个视图(属性)信息、用户对项目的偏好信息以及这些因素对带有用户偏好的项目最终知识表示向量的权重大小。
方案描述
模块一：跨领域的多视图构建
通常情况下，单领域异质图信息包括用户项目评分数据，并且包含着项目属性信息、用户信息等多种数据。多个领域原始数据的这些特点不便于对数据的整体特征进行直观的分析，也不利于后续对数据建模分析。因此，本发明首先需要对数据进行预处理。在实际数据中，项目之间具有多种类型的关系，并且不同领域的项目也有许多相似的关系，本发明实施例首先利用项目的one-hot(独热编码，又称一位有效编码，其方法是使用N位的状态位来对N个状态进行编码。每个状态都有它的状态位，并且在任意时候，其中只有一位有效)向量zj作为项目的初始嵌入表示，将不同领域的所有项目整合在一个异质图结构中，将不同领域的具有相同或相似的属性关系类型的项目构造在一个异质图形式的视图当中，然后根据领域间不同项目的属性类型构造不同视角的子图，即，不同的视图，即根据属性的数量构造相应个数的视图。
图5为本发明实施例提供的一种跨领域的多视图的构建过程示意图。如图5所示，例如根据图书领域和电影领域的题材属性构造一个视图，使相同题材的图书和电影在子视图中相连。在多视图构建完成后，下一步的操作是进行表示学习。将每个视图下的项目分别进行图注意力学习，利用图注意力网络学习聚合项目周围邻居节点的知识表示，学习并区分各个邻居节点的影响力，并聚合得到项目在每个视图下的初始知识表示
模块二：多头注意力设计
图注意力网络能够很好地聚合图结构数据中邻居节点信息，所以本发明实施例在通过跨领域的多视图构建知识表示后，进一步设计图注意力网络来分别聚合不同视图下项目的邻域信息融入到知识表示中。因为考虑了不同用户对不同项目的偏好不同，所以将多头注意力设计分为两个部分，第一个部分为多头注意力层，用来学习每个视图下融合用户对输入的知识表示中不同组成部分的偏好，进一步构建项目知识表示；第二个部分是视图层，用来学习不同视图下用户对视图中项目的偏好，构建项目的最终的知识表示向量。
(1)多头注意力层
多头注意力指的是利用多个记忆模块学习项目的组成信息，相当于组成部分，可以直观的想象成输入信息的不同组成部分。在多头注意力层设计部分，将上一模块得到的项目最初的知识表示用多头注意力网络分别对单个视图下的项目表示进一步学习项目的组成部分信息，并用记忆模块存储每个组成信息，并融合用户向量和注意力，突出最有影响的部分，再聚合这些信息得到每个注意力下的项目知识表示/>如式4.3，其中，s表示某个视图，γ表示视图中的某个记忆模块，τ表示记忆模块的个数。此外，注意力形式如式4.4所示。不同领域的项目知识表示在每个视图下都得到了充分的学习，图6为本发明实施例提供的一种多头注意力层示意图，如图6所示。
多个记忆模块聚合的项目知识表示：
注意力形式：
βuγ为注意力参数
(2)视图层
在视图层，把多头注意力层最终得到的不同视图下带有具体用户偏好的项目知识表示向量作为输入，使用注意力层进一步进行学习，输出视图层的项目向量的知识表示，因为不同视图对用户的偏好影响不同，所以这里融合用户的表示向量pu，来建模并区分不同视角的项目知识表示以及用户偏好对视图层的项目知识表示的贡献，充分学习得到源领域和目标领域的项目知识表示，以进行目标领域的推荐。图7为本发明实施例提供的一种视图层示意图，如图7所示。最终得到的是属于项目关于多个视图及用户偏好的异质图项目知识表示。此处，本发明实施例对于跨领域的项目多视图知识表示已经构造完成。
视图层项目知识表示:
模块三：偏好预测算法的设计
本发明实施例通过注意力得到了对不同视图和用户带有偏好的项目知识表示φ(u，j),再将目标领域项目知识表示融合目标领域的用户项目U-I评分矩阵(包括用户特征向量pu和项目特征向量qj的内积)的知识表示，得到目标领域用户对项目的知识表示ψ(u，j)，然后再使用MLP(机器学习中的多层感知机)聚合(拼接)这两个信息进行训练来进行偏好预测。MLP对带有用户偏好的项目的最终知识表示和目标领域用户对项目的知识表示赋予不同的权重，学习得到用户对目标领域中各个项目的偏好信息，进而对用户推荐目标领域中的与其偏好信息对应的项目。
图8为本发明实施例提供的一种联合知识表示部分示意图。如图8所示。评分预测的损失函数也应该融合目标领域的用户偏好信息。
最终项目知识表示：
偏好预测：代表全连接网络 (4.7)
pu代表目标领域用户特征向量，qj代表目标领域项目特征向量，pu⊙qj代表这两个向量的哈达玛积所得的评分矩阵知识表示向量。代表目标领域用户特征向量和带有用户偏好的项目最终知识表示向量的哈达玛积，||是向量拼接操作。
本发明实施例提出的一种跨领域知识表示及偏好预测的算法伪代码如图9所示。
综上所述，本发明实施例提出面向项目属性的多视图学习方法，并运用于跨领域的推荐场景中，针对多个不同领域的项目按照属性构造异质图，建立端到端的模型，进行更有效地个性化推荐，具有重要的理论意义和应用价值。
本发明实施例在异质图知识表示学习方法中，采用多视图注意力网络的方法。通过设立多视图多头注意力网络学习方法，充分学习项目知识表示，进行跨领域推荐，从而提高推荐效果。通过融合不同用户的偏好信息，所设计的偏好预测算法结合模型学习的最终项目知识表示和目标领域的用户项目评分矩阵，最后联合计算出用户对目标领域内项目的偏好预测，也解决了单领域推荐中的数据稀疏和冷启动的问题。
本发明实施例充分考虑了不同领域项目的相同属性特征，考虑了数据各分量对用户的影响，并充分利用用户项目的评分矩阵和它们所带的属性信息构建项目知识表示，运用图神经网络学习方法学习进行推荐，并应用于推荐任务，做出更准确的推荐。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (3)
1.一种基于多视图知识表示的跨领域推荐方法，其特征在于，包括：
根据各个项目的相似属性，以异质图的形式将不同的项目进行整合，形成多个视图，将各个视图分别作为图注意力网络的输入，通过图注意力网络获得项目在每个视图下的初始知识表示；
将项目在每个视图下的初始知识表示分别作为多头注意力网络的输入，通过多头注意力网络获得带有用户偏好的项目知识表示向量，将不同视图下带有用户偏好的项目知识表示向量进行整合，得到带有用户偏好的项目最终知识表示向量；
根据所述带有用户偏好的项目最终知识表示向量和目标领域的信息对所述用户推荐目标领域中的对应项目；
所述的将项目在每个视图下的初始知识表示分别作为多头注意力网络的输入，通过多头注意力网络获得带有用户偏好的项目知识表示向量，将不同视图下带有用户偏好的项目知识表示向量进行整合，得到带有用户偏好的项目最终知识表示向量，包括：
所述图注意力网络包括多头注意力层和视图层；
所述多头注意力层利用多个记忆模块对项目在每个视图下的初始知识表示进行学习，将不同视图下项目的邻域信息聚合到知识表示中，得到项目的组成部分信息，并用记忆模块存储每个项目的组成部分信息，并融合用户向量和注意力，突出最有影响的部分，得到不同视图下带有具体用户偏好的项目知识表示向量；
所述的视图层把多头注意力层得到的不同视图下带有具体用户偏好的项目知识表示向量作为输入，使用注意力层进一步进行学习，输出视图层的带有用户偏好的项目的最终知识表示；
训练多个独立的注意力网络，利用训练好的多个注意力网络将带有用户偏好的各个项目的最终知识表示进行整合，得到带有用户偏好的项目最终知识表示向量；
所述的根据所述带有用户偏好的项目最终知识表示向量和目标领域的信息对所述用户主动推荐目标领域中的对应项目，包括：
将目标领域的项目知识表示融合目标领域的用户项目评分矩阵的知识表示，得到目标领域用户对项目的知识表示；
将带有用户偏好的项目最终知识表示向量和目标领域用户对项目的知识表示向量进行拼接后，作为机器学习中的多层感知机MLP的输入，通过MLP对带有用户偏好的项目的最终知识表示和目标领域用户对项目的知识表示赋予不同的权重，学习得到用户对目标领域中各个项目的偏好信息，进而对所述用户推荐目标领域中的偏好项目。
2.根据权利要求1所述的方法，其特征在于，所述的根据各个项目的相似属性，以异质图的形式将不同的项目进行整合，形成多个视图，包括：
将各个项目的one-hot向量作为各个项目的初始嵌入表示，利用不同项目的初始嵌入表示之间的相似性，将不同领域的具有相同或相似的属性关系类型的所有项目整合在一个异质图结构中，根据领域间不同项目的属性类型构造不同视角的子图，利用所有的子图形成多个视图，根据属性的数量构造相应个数的视图，该视图的节点个数包括用户、项目和属性，边的类型包括用户-项目、项目-属性和用户-用户。
3.根据权利要求1所述的方法，其特征在于，所述的将各个视图分别作为图注意力网络的输入，通过图注意力网络获得项目在每个视图下的初始知识表示，包括：
将每个视图下的项目分别作为图注意力网络的输入，通过图注意力网络学习聚合项目周围邻居节点的知识表示，学习并区分各个邻居节点的影响力，并聚合得到项目在每个视图下的初始知识表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011538984.0A CN112541132B (zh) | 2020-12-23 | 2020-12-23 | 基于多视图知识表示的跨领域推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011538984.0A CN112541132B (zh) | 2020-12-23 | 2020-12-23 | 基于多视图知识表示的跨领域推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541132A CN112541132A (zh) | 2021-03-23 |
| CN112541132B true CN112541132B (zh) | 2023-11-10 |
Family
ID=75017095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011538984.0A Active CN112541132B (zh) | 2020-12-23 | 2020-12-23 | 基于多视图知识表示的跨领域推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541132B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113254716B (zh) * | 2021-05-26 | 2022-05-24 | 北京亮亮视野科技有限公司 | 视频片段检索方法、装置、电子设备和可读存储介质 |
| CN113254803B (zh) * | 2021-06-24 | 2021-10-22 | 暨南大学 | 一种基于多特征异质图神经网络的社交推荐方法 |
| CN115309975B (zh) * | 2022-06-28 | 2024-06-07 | 中银金融科技有限公司 | 基于交互特征的产品推荐方法及系统 |
| CN115291864B (zh) * | 2022-06-30 | 2024-03-29 | 浙江大学 | 一种基于图神经网络的零碎图层检测方法及装置 |
| CN115114542B (zh) * | 2022-08-26 | 2022-11-18 | 北京高德云信科技有限公司 | 一种对象推荐方法、系统、训练方法、介质及计算机设备 |
| CN115878904B (zh) * | 2023-02-22 | 2023-06-02 | 深圳昊通技术有限公司 | 基于深度学习的知识产权个性化推荐方法、系统及介质 |
| CN117648493B (zh) * | 2023-12-13 | 2024-05-31 | 南京航空航天大学 | 一种基于图学习的跨领域推荐方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897464A (zh) * | 2017-03-29 | 2017-06-27 | 广东工业大学 | 一种跨领域推荐方法及系统 |
| CN109544306A (zh) * | 2018-11-30 | 2019-03-29 | 苏州大学 | 一种基于用户行为序列特征的跨领域推荐方法及装置 |
| CN111291261A (zh) * | 2020-01-21 | 2020-06-16 | 江西财经大学 | 融合标签和注意力机制的跨领域推荐方法及其实现系统 |
| CN111598599A (zh) * | 2019-02-21 | 2020-08-28 | 阿里巴巴集团控股有限公司 | 用户表征方法、装置、电子设备及计算机可读介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10803386B2 (en) * | 2018-02-09 | 2020-10-13 | Twitter, Inc. | Matching cross domain user affinity with co-embeddings |
-
2020
- 2020-12-23 CN CN202011538984.0A patent/CN112541132B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897464A (zh) * | 2017-03-29 | 2017-06-27 | 广东工业大学 | 一种跨领域推荐方法及系统 |
| CN109544306A (zh) * | 2018-11-30 | 2019-03-29 | 苏州大学 | 一种基于用户行为序列特征的跨领域推荐方法及装置 |
| CN111598599A (zh) * | 2019-02-21 | 2020-08-28 | 阿里巴巴集团控股有限公司 | 用户表征方法、装置、电子设备及计算机可读介质 |
| CN111291261A (zh) * | 2020-01-21 | 2020-06-16 | 江西财经大学 | 融合标签和注意力机制的跨领域推荐方法及其实现系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541132A (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541132B (zh) | 基于多视图知识表示的跨领域推荐方法 | |
| CN112529168B (zh) | 一种基于gcn的属性多层网络表示学习方法 | |
| US11715132B2 (en) | Adaptive and recursive system and method | |
| US7526458B2 (en) | Adaptive recommendations systems | |
| CN111310063B (zh) | 基于神经网络的记忆感知门控因子分解机物品推荐方法 | |
| Feng et al. | Interpretable partitioned embedding for customized multi-item fashion outfit composition | |
| CN111611472A (zh) | 一种基于图卷积神经网络的捆绑推荐方法及系统 | |
| US20070174220A1 (en) | Mutually Adaptive Systems | |
| CN109190030B (zh) | 融合node2vec和深度神经网络的隐式反馈推荐方法 | |
| WO2005054982A2 (en) | Adaptive recombinant systems | |
| CN112699310A (zh) | 基于深度神经网络的冷启动跨域混合推荐的方法及系统 | |
| CN113918834B (zh) | 融合社交关系的图卷积协同过滤推荐方法 | |
| Yu et al. | A user-based cross domain collaborative filtering algorithm based on a linear decomposition model | |
| CN113918832A (zh) | 基于社交关系的图卷积协同过滤推荐系统 | |
| CN113918833A (zh) | 通过社交网络关系的图卷积协同过滤实现的产品推荐方法 | |
| CN112784118A (zh) | 一种对三角形结构敏感的图中的社区发现方法和装置 | |
| CN115329215A (zh) | 异构网络中基于自适应动态知识图谱的推荐方法及系统 | |
| Benavent et al. | FCA-based knowledge representation and local generalized linear models to address relevance and diversity in diverse social images | |
| CN108984551A (zh) | 一种基于多类别联合软聚类的推荐方法及系统 | |
| Zhang et al. | Knowledge graph driven recommendation model of graph neural network | |
| CN113590976A (zh) | 一种空间自适应图卷积网络的推荐方法 | |
| Liu et al. | TCD-CF: Triple cross-domain collaborative filtering recommendation | |
| Sangeetha et al. | Predicting personalized recommendations using GNN | |
| CN114090848A (zh) | 数据推荐及分类方法、特征融合模型及电子设备 | |
| Bang et al. | Collective matrix factorization using tag embedding for effective recommender system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |