CN115017275A - 一种基于图神经网络和知识图谱的会话推荐方法及系统 - Google Patents

一种基于图神经网络和知识图谱的会话推荐方法及系统 Download PDF

Info

Publication number
CN115017275A
CN115017275A CN202210167706.1A CN202210167706A CN115017275A CN 115017275 A CN115017275 A CN 115017275A CN 202210167706 A CN202210167706 A CN 202210167706A CN 115017275 A CN115017275 A CN 115017275A
Authority
CN
China
Prior art keywords
graph
session
item
conversation
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210167706.1A
Other languages
English (en)
Inventor
唐彦
许馨怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202210167706.1A priority Critical patent/CN115017275A/zh
Publication of CN115017275A publication Critical patent/CN115017275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于图神经网络和知识图谱的会话推荐方法及系统，所述方法包括：将由物品组成的所有会话集合建模为会话图；将该会话图通过图形卷积网络处理并赋予时间和流行度权重，得到当前会话中每个物品节点的嵌入向量；使用注意力机制获得整个会话的嵌入表示Sg；使用图注意力网络来聚合物品实体在物品知识图谱中的k跳邻域，得到当前会话中最后一个物品的局部嵌入表示Sl；组合动态全局嵌入Sg和局部嵌入Sl生成最终的会话混合嵌入Semb，将混合会话嵌入Semb和每个物品的嵌入进行内积计算，使softmax函数得到最终每个物品的点击概率，概率最高的作为推荐结果。本方法简单易行，准确度高，在社交、在线购物、新闻等领域应用前景广阔。

Description

一种基于图神经网络和知识图谱的会话推荐方法及系统
技术领域
本发明涉及推荐系统，尤其涉及一种基于图神经网络和知识图谱的会话推荐方法及会话推荐系统。
背景技术
推荐系统已经发展成为人们进行快速有效选择和决策的一个基本工具。它已经渗透到我们日常生活的方方面面，包括生活、工作、学习、娱乐、社交和商业运营。推荐系统的作用在数字经济中和信息日益过载的时代显得尤为重要，因为用户通常需要从大量的和快速增长的内容、产品和服务(统称为物品(item))中选择他们所需要的。
基于会话的推荐系统(session-based recommender system，SBRS)作为推荐系统的一种新的范式，正在兴起。基于会话的推荐系统从用户在交易过程中产生的会话(session)数据来挖掘和学习用户的偏好。每一个会话包含在一段连续的时间段内发生的多个「用户–物品交互行为」，例如，用户在一次交易会话(比如从登录电商平台的账号到退出账号这段时间)中购买了一篮子商品。基于会话的推荐系统(本文中也称为会话推荐系统)将每一个会话作为最基本的输入数据单元，能够从用户的最近产生的会话中捕获他的短期偏好，从而进行更精准和实时的推荐。
目前主流的会话推荐系统是基于递归神经网络结构的，其主要思想是捕获用户在当前会话中显示的短期首选项信息，以完成推荐。然而会话作为推荐领域中特殊的数据形式，往往很难通过传统的推荐方法对会话数据进行建模。虽然有学者通过对传统推荐方法进行改进来解决会话建模的问题，但会话推荐系统的效果却被模型结构中存在的很多问题所限制。现有的会话推荐系统缺乏对物品与物品之间、会话与会话之间的依赖关系的考虑，缺乏对长期偏好和当前兴趣的捕获，从而导致推荐准确率不高的问题。因此，有必要对传统的基于会话的推荐系统进行多方面的实质性改进，提高推荐的准确性。
发明内容
发明目的：本发明的目的是提供一种基于图神经网络和知识图谱的会话推荐方法及推荐系统，通过对会话图进行建模使物品信息得到充分利用，同时捕获长期偏好和当前兴趣，提高推荐的准确性。
技术方案：为了实现以上发明目的，本发明采用如下技术方案：
根据本发明的第一方面，提供一种基于图神经网络和知识图谱的会话推荐方法，包括以下步骤：
步骤S1：将由物品集合V组成的所有会话集合S建模为会话图Gs，遍历会话图得到会话图的邻接矩阵A和度矩阵D，并为会话图中的物品节点集合设置随机初始化的特征矩阵X，对特征矩阵X做线性变换，得到变换后的特征矩阵H(0)；
步骤S2：将H(0)、邻接矩阵A和度矩阵D作为图卷积神经网络的输入，使用图卷积神经网络对会话图做图卷积操作，并赋予时间和流行度权重得到当前会话中每个物品节点的嵌入向量，使用注意力机制获得会话的动态全局嵌入向量Sg；
步骤S3：使用图注意力网络聚合物品实体在物品知识图谱中的k跳邻域，得到当前会话中最后一个物品的局部嵌入向量Sl；
步骤S4：组合动态全局嵌入向量Sg和局部嵌入向量Sl，生成最终的会话混合嵌入向量Semb；
步骤S5：对会话混合嵌入向量Semb和每个物品的嵌入进行内积计算，使用softmax函数得到每个物品的点击概率，即每个候选物品会被下一步交互的可能性概率
Figure BDA0003516235350000021
根据概率概率
Figure BDA0003516235350000022
得到最终推荐结果。
根据本发明的第二方面，提供一种基于图神经网络和知识图谱的会话推荐系统，包括：
会话图构建模块，用于将由物品集合V组成的所有会话集合S建模为会话图Gs，遍历会话图得到会话图的邻接矩阵A和度矩阵D，并为会话图中的物品节点集合设置随机初始化的特征矩阵X，对特征矩阵X做线性变换，得到变换后的特征矩阵H(0)；
图卷积操作模块，用于将H(0)、邻接矩阵A和度矩阵D作为图卷积神经网络的输入，使用图卷积神经网络对会话图做图卷积操作，并赋予时间和流行度权重得到当前会话中每个物品节点的嵌入向量，使用注意力机制获得会话的动态全局嵌入向量Sg；
知识图谱聚合模块，用于使用图注意力网络聚合物品实体在物品知识图谱中的k跳邻域，得到当前会话中最后一个物品的局部嵌入向量Sl；
嵌入组合模块，用于组合动态全局嵌入向量Sg和局部嵌入向量Sl，生成最终的会话混合嵌入向量Semb；
推荐概率输出模块，用于对会话混合嵌入向量Semb和每个物品的嵌入进行内积计算，使用softmax函数得到每个物品的点击概率，即每个候选物品会被下一步交互的可能性概率
Figure BDA0003516235350000031
根据概率概率
Figure BDA0003516235350000032
得到最终推荐结果。
根据本发明的第三方面，提供一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如本发明第一方面所述的基于图神经网络和知识图谱的会话推荐方法的步骤。
根据本发明的第四方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的基于图神经网络和知识图谱的会话推荐方法的步骤。
有益效果：本发明提出了一种基于图卷积神经网络和知识图谱的会话推荐方法及系统，该方法综合考虑了物品的流行度权重和时间权重，共同得到会话的全局嵌入表示，这种新颖的表示机制对会话项之间的动态全局关系进行编码，有助于提高推荐的准确性。同时，本发明通过将知识图谱中的物品实体与最后一个会话项相关联来获得第k跳的邻居语义知识，实现了在外部知识上使用最先进的知识图注意力网络进行基于会话的推荐。本发明将动态的全局知识和静态的局部知识结合起来，在统一的模型中同时学习，可以实现更全面、更准确的推荐，并且本发明的方法简单、易实现，在社交、在线购物、新闻等领域具有广阔的应用前景。
附图说明
图1是根据本发明实施方式的基于图卷积神经网络和知识图谱的会话推荐方法的流程图。
图2是根据本发明实施方式的基于图卷积神经网络和知识图谱的会话推荐系统的处理过程的示意。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的概念、对象、要素等或具有相同或类似功能的概念、对象、要素等。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域及相关领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应被理解为具有与现有技术的上下文中的意义一致的意义，且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明提供了一种基于图神经网络和知识图谱的会话推荐方法及推荐系统，图神经网络是图表示学习的一个分支，其目标在于通过将图中的节点以低维稠密的向量进行表示，同时保留图中节点之间形成的结构信息，便于进行后续任务。受到卷积网络在计算机视觉领域所获巨大成功的激励，近来出现了很多为图数据重新定义卷积概念的方法。这些方法属于图卷积网络(graph convolutional network，GCN)的范畴。Bruna等人提出第一个图卷积神经网络，他们基于谱图理论从卷积定理出发，在谱空间定义图卷积。这也是图卷积领域的谱方法的起源。由于谱方法通常同时处理整个图，并且难以并行或扩展到大图上，基于空间的图卷积网络开始快速发展。这些方法通过聚集近邻节点的信息，直接在图结构上执行卷积。在本发明的实施方式中，图神经网络使用的是图卷积网络，也称为图卷积神经网络。
知识图谱(knowledge graph)包含实体之间丰富的语义关联，为推荐系统提供了潜在的辅助信息来源。在推荐系统领域，人们关注的往往是用户与物品之间的联系，缺少对用户与用户、物品与物品等之间的相互联系的考虑。在推荐系统中利用知识图谱，将用户与用户、用户与物品以及物品与物品之间进行相互连接，有望增强数据的语义信息，从而进一步提高推荐准确度。在下文中，将详细地描述如何在图神经网络的推荐系统中通过知识图谱获取会话中的局部嵌入表示，从而实现更全面、更准确的推荐。
如图1所示，本发明实施方式中提出的基于图神经网络和知识图谱的会话推荐方法，包括下列步骤S1至S5：
步骤S1：将由物品集合V组成的所有会话集合S建模为会话图Gs，基于会话图Gs得到特征矩阵H(0)；
在本发明的实施方式中，物品指的是向用户推荐的对象，如电影、音乐、书籍、新闻、商品等，在以下描述的示例中涉及对音乐相关内容的提及，并不表示本发明的技术方案仅限于对音乐数据的推荐。本发明对此不做限制。
会话指的是包含在一段连续的时间段内发生的一个或多个用户与物品的交互行为。例如，用户USER1在一次会话(比如从登录音乐平台的账号到退出账号这段时间)中按时间顺序听了“听妈妈的话”、“晴天”、“千里之外”这三首歌曲，那这三首歌按时间顺序排列就形成了一条序列，即一条会话{“听妈妈的话”,“晴天”,“千里之外”}。
会话集合指由所有会话形成的集合。例如，用户USER1在一次会话中按时间顺序听了“听妈妈的话”、“晴天”、“千里之外”这三首歌曲，用户USER1在另一次会话中按时间顺序听了“稻香”、“珊瑚海”这两首歌曲，那么会话集合由这所有的会话组成：{{“听妈妈的话”,“晴天”,“千里之外”},{“稻香”、“珊瑚海”}}。
会话集合是根据会话数据集得到的，会话数据集是由多个用户的多次对物品的交互行为形成的，例如点击、购买等行为，并且会话数据集是包含时间戳的，会话数据集的字段包括“用户ID”、“物品ID”、“时间戳”，例如，将数据集对不同的用户ID数据按照时间戳从先到后的顺序排序，对每个用户ID在时间戳为连续一周内的数据创建为一条会话。会话按照“物品ID”值按排列好的先后的顺序进行表示。整个数据集的所有会话形成的集合叫会话集合。
物品集合表示在所有会话中出现过的物品的集合，物品集合是对字段“物品ID”中的所有的值用代码做去重处理后得到的唯一值组成的集合，不需要严格的先后顺序。例如，音乐数据集Last.FM：该数据集可以在网站https://grouplens.org/datasets/hetrec-2011/上获得，包含3846个不同的音乐作品，此时物品集合就是3846个音乐作品组成的集合。
在步骤S1中，将由物品集合V组成的所有会话集合S建模为会话图Gs，遍历会话图Gs得到会话图的邻接矩阵A和度矩阵D，之后再为会话图中的物品节点集合设置一个随机初始化的特征矩阵X，对特征矩阵X做线性变换，得到变换后的特征矩阵H(0)。具体而言，步骤S1包括：
步骤S1-1：令V＝{v1,v2,...vm,...,vp}表示所有会话中包含的物品的总集合，其中vm表示第m个物品，p代表物品总个数；令S＝{s1,s2,...si...,sq}表示所有会话的总集合，其中si表示第i条会话，q代表会话的总条数；一条会话si由多个物品组成，将这些物品按照时间戳排序作为一条会话的表示：
Figure BDA0003516235350000051
其中
Figure BDA0003516235350000052
表示用户在会话si中与物品
Figure BDA0003516235350000053
进行了交互，1≤j≤n，n表示用户在会话si中共有n次交互。
步骤S1-2：将会话集合S建模为会话图Gs＝(Vs,Es)，其中Vs表示会话图节点集合，Es表示会话图边的集合，在这个会话图中，每个节点代表一个物品
Figure BDA0003516235350000054
会话节点也称为物品节点，每条边
Figure BDA0003516235350000055
表示用户在某一条会话si中先与物品
Figure BDA0003516235350000056
发生了交互，之后还与物品
Figure BDA0003516235350000061
发生了交互；以上面的歌曲会话集为例，{“听妈妈的话”,“晴天”,“千里之外”}中，“听妈妈的话”和“晴天”之间存在边，“晴天”和“千里之外”存在边，“听妈妈的话”和“千里之外”之间不存在边，而这三个和“稻香”、“珊瑚海”都不存在边。
步骤S1-3：遍历会话图得到会话图的邻接矩阵A和度矩阵D；
邻接矩阵是表示顶点之间相邻关系的矩阵，是一个二维数组，每个行和列表示图中的顶点。存储在行v和列w的交叉点处的单元中的值表示是否存在从顶点v到顶点w的边。会话图Gs＝(Vs,Es)有|Vs|个顶点，邻接矩阵A定义为
Figure BDA0003516235350000062
度矩阵指度矩阵是对角阵，对角上的元素为各个顶点的度。一个顶点的度表示和该顶点相关联的边的数量。获取邻接矩阵和度矩阵是为了将图转换为计算机能处理的数学形式的表示方式。
步骤S1-4：为会话图中的物品节点集合设置一个随机初始化的特征矩阵X，也叫做节点的特征向量
Figure BDA0003516235350000063
步骤S1-5：对随机初始化的特征向量X做线性变换，得到变换后的特征矩阵，记为H(0)，H(0)＝WX+b，其中W表示参数矩阵，b表示偏置向量。
步骤S2：利用图卷积层构建图卷积神经网络，将H(0)、邻接矩阵A和度矩阵D作为图卷积神经网络的输入，使用图卷积神经网络对会话图做图卷积操作，并赋予时间和流行度权重得到当前会话中每个物品节点的嵌入表示，使用注意力机制获得整个会话的嵌入表示Sg；
嵌入表示(embedding)，也称为嵌入向量表达，是指用向量表示一个物体，这个物体可以是一个单词、一条语句、一个序列、一件商品、一个动作、一本书、一部电影等。如本文中使用的，术语嵌入表示、嵌入向量、嵌入表示向量、嵌入或向量可互换地使用，例如，全局嵌入表示、全局嵌入也可以用全局嵌入向量或全局向量来替换，局部嵌入表示、局部嵌入也可以用局部嵌入向量或局部向量来替换。
所述步骤S2进一步包括：
步骤S2-1：将上一步骤得到的H(0)、邻接矩阵A和度矩阵D作为图卷积神经网络(GCN)的输入，通过公式
Figure BDA0003516235350000064
进行传播学习，其中
Figure BDA0003516235350000065
Figure BDA0003516235350000066
其中I为单位矩阵，W(l)表示第l层的权重矩阵，σ表示非线性激活函数。H(l+1)表示物品节点向量(即H(0))在图卷积神经网络里传播第l+1层的结果，H(l+1)也表示经过学习得到得最终特征矩阵
Figure BDA0003516235350000071
其中第i个会话中的第j个物品节点的初始化嵌入表示向量定义为：
Figure BDA0003516235350000072
步骤S2-2：基于会话图中每个节点的出现频率，计算物品节点的流行度权重
Figure BDA0003516235350000073
Figure BDA0003516235350000074
其中，
Figure BDA0003516235350000075
表示单个物品节点vj的物品流行度权重，
Figure BDA0003516235350000076
表示物品节点在所有会话中出现的总次数。
步骤S2-3：基于会话图中每个节点的时间戳，计算物品节点的时间权重
Figure BDA0003516235350000077
Figure BDA0003516235350000078
其中，
Figure BDA0003516235350000079
表示单个物品节点vj的时间权重，
Figure BDA00035162353500000710
表示当前会话中物品节点的时间戳。
步骤S2-4：将得到的会话节点的流行度权重和时间权重乘以初始化的节点嵌入表示，得到赋予总权重的物品节点的嵌入表示：
Figure BDA00035162353500000711
其中，
Figure BDA00035162353500000712
表示被赋予了总权重值的物品节点的嵌入表示。
步骤S2-5：使用注意力机制获得整个会话si的嵌入表示Sg：
Figure BDA00035162353500000713
Figure BDA00035162353500000714
其中，W1、W2、
Figure BDA00035162353500000717
和c是控制物品嵌入向量的参数，均为可训练的参数，αi表示注意力机制中计算得到的权重值。注意力机制最早是在视觉图像领域提出来的，用来关注图片中重要的部分。其本质是一种通过网络自主学习出的一组权重系数，并以“动态加权”的方式来强调我们所感兴趣的区域同时抑制不相关背景区域的机制。用在本发明中是关注会话中不同物品的重要性程度不同。αi表示注意力机制中计算得到的权重值，也就是注意力机制中的不同物品的重要程度值。
步骤S3：使用图注意力网络来聚合物品实体在物品知识图谱中的k跳邻域，从而得到当前会话中最后一个物品的局部嵌入表示Sl；
知识图谱定义为
Figure BDA00035162353500000715
其中ε是实体集，
Figure BDA00035162353500000716
是关系集，知识图谱中的三元组表示为(h,r,t)，其中h和t分别代表头实体和尾实体，r表示头实体和尾实体的关系。物品知识图谱中，h表示物品，t表示不同于h的物品，也可以表示物品的属性信息，这些属性信息是在知识图谱构建时确定的，或者利用开源知识图谱的情况下是开源知识图谱里自带的。知识图谱中关系箭头指向的那个实体就是尾实体，箭头另一边是头实体。r的具体关系是知识图谱里给出的，将这些多种多样的关系统称为关系r。知识图谱的构建方法不是本发明的核心，此处不再赘述。本发明实施例中的知识图谱由开源数据集得到，例如音乐数据集的物品知识图谱可以在网站https://github.com/xiangwang1223/knowledge_graph_attention_network/tree/master/Data/La st.FM上获得，该知识图谱数据集包含实体数9366个，关系数60个，三元组数量15518个，稀疏性3.704％。
步骤S3进一步包括：
步骤S3-1：使用TransR模型将物品知识图谱中的头实体h和尾实体t、以及它们之间的关系r表示为初始化嵌入向量：头实体的嵌入表示为eh、尾实体的嵌入表示为et、关系的嵌入表示为er，整个S3步骤中的头实体h是指当前会话中si的最后一个物品
Figure BDA0003516235350000081
步骤S3-2：进行多层注意力嵌入传播的操作的第一步：基于知识的注意力机制，得到信息传播中的权重π(h,r,t)：
π(h,r,t)＝(Wrer)Ttanh((Wreh+er))
其中，Wr是参数矩阵，tanh表示非线性激活函数。
步骤S3-3：进行多层注意力嵌入传播的操作的第二步：消息传播，得到头实体h进一步的嵌入表示
Figure BDA0003516235350000084
Figure BDA0003516235350000083
其中，π(h,r,t)表示邻居实体的权重，由步骤S3-2得到。Nh表示头实体的邻居。
步骤S3-4：进行多层注意力嵌入传播的操作的第三步：信息聚合，得到聚合邻居信息后的头实体h的嵌入表示eh (k)。
所述步骤S3-4进一步包括：
以嵌入信息聚合的层数(k)为控制循环的循环变量，其初始值为1，其终止值为k，增量步长为1，共k次重复执行下列步骤：
步骤S3-4-1：参考论文KGAT，“Xiang Wang,Xiangnan He,Yixin Cao,Meng Liu,and Tat-Seng Chua.2019.KGAT:Knowledge Graph Attention Network forRecommendation.In Proceedings of the 25th ACM SIGKDD International Conferenceon Knowledge Discovery&Data Mining,KDD 2019,Anchorage,AK,USA,August 4-8,2019,AnkurTeredesai,Vipin Kumar,Ying Li,Rómer Rosales,Evimaria Terzi,and GeorgeKarypis(Eds.).ACM,950–958.https://doi.org/10.1145/3292500.3330989”，在聚合器函数里选择双向交互聚合器，进行接下来的步骤，记为f：
Figure BDA0003516235350000091
其中，Wf1、Wf2表示权重矩阵。LeakyReLU是激活函数，它引入了一个小斜率来保持更新过程的活跃度，并能够保留流入其中的一定程度的负值。
步骤S3-4-2：第k-1层的头实体的邻居的表示
Figure BDA0003516235350000092
是通过公式
Figure BDA0003516235350000093
Figure BDA0003516235350000094
计算得到，et (k-1)表示尾实体t存储了来自第k-1层的邻居信息。
步骤S3-4-3：计算多层的信息传播中实体的嵌入，通过
Figure BDA0003516235350000095
Figure BDA0003516235350000096
计算得到。
步骤S3-5：经过连接操作，得到当前会话的最后一个物品
Figure BDA0003516235350000097
的嵌入表示
Figure BDA0003516235350000098
也称作会话的局部表示Sl：
Figure BDA0003516235350000099
其中，||表示连接操作。此时把得到的当前会话的最后一个物品
Figure BDA00035162353500000910
的嵌入表示
Figure BDA00035162353500000911
也称作会话的局部表示Sl。
步骤S4：组合会话的动态全局嵌入Sg和最后一个会话项的局部嵌入Sl生成最终的会话混合嵌入Semb：
Semb＝W3[Sl；Sg]
其中，W3是参数矩阵。
步骤S5：将混合会话嵌入Semb和每个物品的嵌入进行内积计算，使softmax函数得到最终每个物品的点击概率，即每个候选物品会被下一步交互的可能性概率
Figure BDA00035162353500000912
概率最高的作为推荐结果。
所述步骤S5进一步包括：
步骤S5-1：在获得当前会话的混合嵌入Semb后，要计算每个候选物品的分数
Figure BDA0003516235350000101
Figure BDA0003516235350000102
其中
Figure BDA0003516235350000103
是步骤S2-4中获得的物品的嵌入表示。
步骤S5-2：使用一个softmax函数得到模型的输出向量
Figure BDA0003516235350000104
即候选物品出现在当前会话si中的下一次交互的概率。
Figure BDA0003516235350000105
其中，
Figure BDA0003516235350000106
表示候选物品出现在当前会话si中的下一次交互的概率。
本发明实施方式中，基于图神经网络和知识图谱的会话推荐方法的伪代码实现过程表示如下：
Figure BDA0003516235350000107
Figure BDA0003516235350000111
在该伪代码描述中，粗体的语句具有计算机科学技术领域及相关领域中公知的常规含义。伪代码描述中的变量或符号及其含义见表1。
表1伪代码中的变量或符号及其含义
Figure BDA0003516235350000112
Figure BDA0003516235350000121
本发明实施例还提供一种基于图神经网络和知识图谱的会话推荐系统，包括：会话图构建模块、图卷积操作模块、知识图谱聚合模块、嵌入组合模块、推荐概率输出模块，这些模块依次和上述方法实施例中步骤S1～S5相对应。下面结合图2来形象地解释该推荐系统各模块的实现以及它们之间的配合关系。如图2所示，会话图构建模块将由物品集合V组成的所有会话集合S建模为会话图Gs，并根据会话图Gs获取特征矩阵即物品节点向量。具体而言，会话图构建模块将由物品集合V{v1,v2,...vi,...,vp}组成的所有会话集合S＝{s1,s2,...si...,sq}建模为会话图Gs，其中p代表物品总个数，q代表会话图中包括的会话的总条数。将这些物品按照时间戳排序作为一条会话的表示：
Figure BDA0003516235350000131
其中
Figure BDA0003516235350000132
表示用户在会话si中与物品
Figure BDA0003516235350000133
进行了交互。遍历会话图得到会话图的邻接矩阵A和度矩阵D，之后再为会话图中的物品节点集合设置一个随机初始化的特征矩阵X，对特征矩阵X做线性变换，得到变换后的特征矩阵，记为H(0):H(0)＝WX+b,其中W表示参数矩阵，b表示偏置向量，将H(0)、邻接矩阵A和度矩阵D作为图卷积神经网络(GCN)的输入。
紧接着图卷积操作模块使用图卷积神经网络对会话图做图卷积操作，并赋予时间和流行度权重得到当前会话中每个物品节点的嵌入向量，使用注意力机制获得整个会话的嵌入表示Sg。具体而言，图卷积操作模块包括：
GCN学习单元，将上一步骤得到的H(0)、邻接矩阵A和度矩阵D作为图卷积神经网络(GCN)的输入，通过公式
Figure BDA0003516235350000134
进行传播学习，其中
Figure BDA0003516235350000135
其中I为单位矩阵，W(l)表示第l层的权重矩阵，σ表示非线性激活函数。H(l+1)表示物品节点向量在图卷积神经网络里传播第l+1层的结果，H(l+1)也表示经过学习得到得最终特征矩阵
Figure BDA0003516235350000136
把第i个会话中的第j个物品节点的初始化嵌入表示向量定义为：
Figure BDA0003516235350000137
节点权重计算单元，包括流行度权重计算单元和时间权重计算单元。流行度权重计算单元使用会话图中每个节点的出现频率，计算会话节点的流行度权重
Figure BDA0003516235350000138
其中，
Figure BDA0003516235350000139
表示单个会话节点vj的物品流行度权重，
Figure BDA00035162353500001310
表示物品节点在所有会话中出现的总次数。时间权重计算单元使用会话图中每个节点的时间戳，计算会话节点的时间权重
Figure BDA00035162353500001311
其中，
Figure BDA00035162353500001312
表示单个会话节点vj的物品流行度权重，
Figure BDA00035162353500001313
表示当前会话中物品节点的时间戳。
会话嵌入表示单元，将得到的会话节点的流行度权重和时间权重乘以更新后的节点嵌入表示
Figure BDA0003516235350000141
其中，
Figure BDA0003516235350000142
表示某一个节点的初始化嵌入表示向量，
Figure BDA0003516235350000143
表示被赋予了总权重值的会话节点的嵌入表示；最后再使用注意力机制获得整个会话的嵌入表示Sg。
知识图谱聚合模块使用图注意力网络来聚合物品实体在物品知识图谱中的k跳邻域，从而得到当前会话中最后一个物品的局部嵌入表示Sl。具体而言，知识图谱聚合模块包括：
初始化向量表示单元，使用TransR模型将物品知识图谱中的头实体h和尾实体t、她们之间的关系r表示为初始化嵌入向量：头实体的嵌入表示为eh、尾实体的嵌入表示为et、关系的嵌入表示为er，这里头实体h是指当前会话中si的最后一个物品
Figure BDA0003516235350000144
多层注意力嵌入传播单元，进行多层注意力嵌入传播的操作，包括第一步：基于知识的注意力机制，得到信息传播中的权重π(h,r,t)；第二步：消息传播，得到头实体h进一步的嵌入表示
Figure BDA0003516235350000145
第三步：信息聚合，得到聚合邻居信息后的头实体h的嵌入表示eh (k)；
局部嵌入表示单元，经过连接操作，得到当前会话的最后一个物品
Figure BDA0003516235350000146
的嵌入表示
Figure BDA0003516235350000147
也称作会话的局部表示Sl。
嵌入组合模块，通过组合会话的动态全局嵌入Sg和最后一个会话项的局部嵌入Sl生成最终的会话混合嵌入Semb。
推荐概率输出模块将混合会话嵌入Semb和每个物品的嵌入进行内积计算，使softmax函数得到最终每个物品的点击概率，即每个候选物品会被下一步交互的可能性概率
Figure BDA0003516235350000148
概率最高的作为推荐结果。
本发明对传统的基于会话的推荐系统进行多方面的实质性改进，使最后一次单击产生当前兴趣和一般兴趣的混合特征，再结合知识图谱来增强会话中最后一个物品的局部表示，能够将动态的全局嵌入和静态的局部嵌入结合起来，在统一的模型中同时学习。为了验证该方法的性能，实施例中选用Last.FM数据集来进行对比试验。Last.FM数据集可以在网站https://grouplens.org/datasets/hetrec-2011/上可以获得，包含3846个物品数。该数据集涉及的知识图谱数据集可以在网站https://github.com/xiangwang1223/knowledge_graph_attention_network/tree/master/Data/Last.FM上获得，该知识图谱数据集包含实体数9366个，关系数60个，三元组数量15518个，稀疏性3.704％。按照70％和30％的比例将其随机划分为训练集和测试集进行实验。与四个基线方法：SR-GNN、NARM、FPMC、RippleNet进行了对比，比较结果如表2所示。
表2几种方法的比较
方法名称 Recall@20 MRR@20
SR-GNN 12.007 2.844
NARM 11.990 3.370
FPMC 7.437 0.801
RIPPLENET 7.910 1.903
本发明的方法 14.490 3.899
实验结果表明，本发明方法的性能(即Recall、MRR值)都明显高于其他四个基线方法，这证明了本发明提出的方法的有效性和推荐的准确性。
本发明实施例还提供一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如方法实施例所述的基于图神经网络和知识图谱的会话推荐方法的步骤。
本发明实施例提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如方法实施例所述的基于图神经网络和知识图谱的会话推荐方法的步骤。
综上所述，由本发明上述技术方案及其具体实施方式可以理解的是，本发明的有益技术效果主要包括四个方面：(1)提出了一种基于图卷积神经网络和知识图谱的会话推荐方法，该方法综合考虑了物品的时间权重，共同得到会话的全局嵌入。这种新颖的物品表示机制对会话项之间的动态全局关系进行编码，有助于提高推荐的准确性；(2)通过将知识图谱中的物品实体与最后一个会话项相关联来获得第k跳的邻居语义知识，探索了在外部知识上使用最先进的知识图注意力网络进行基于会话的推荐；(3)将动态的全局知识和静态的局部知识结合起来，在统一的模型中同时学习，以实现更全面、更准确的推荐；(4)所提供的方法在大数据分析等领域具有广阔的应用前景。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于图神经网络和知识图谱的会话推荐方法，其特征在于，所述方法包括以下步骤：
步骤S1：将由物品集合V组成的所有会话集合S建模为会话图Gs，遍历会话图得到会话图的邻接矩阵A和度矩阵D，并为会话图中的物品节点集合设置随机初始化的特征矩阵X，对特征矩阵X做线性变换，得到变换后的特征矩阵H(0)；
步骤S2：将H(0)、邻接矩阵A和度矩阵D作为图卷积神经网络的输入，使用图卷积神经网络对会话图做图卷积操作，并赋予时间和流行度权重得到当前会话中每个物品节点的嵌入向量，使用注意力机制获得会话的动态全局嵌入向量Sg；
步骤S3：使用图注意力网络聚合物品实体在物品知识图谱中的k跳邻域，得到当前会话中最后一个物品的局部嵌入向量Sl；
步骤S4：组合动态全局嵌入向量Sg和局部嵌入向量Sl，生成最终的会话混合嵌入向量Semb；
步骤S5：对会话混合嵌入向量Semb和每个物品的嵌入进行内积计算，使用softmax函数得到每个物品的点击概率，即每个候选物品会被下一步交互的可能性概率
Figure FDA0003516235340000011
根据概率概率
Figure FDA0003516235340000012
得到最终推荐结果。
2.如权利要求1所述的基于图神经网络和知识图谱的会话推荐方法，其特征在于，所述步骤S1包括：
步骤S1-1：令V＝{v1，v2，...vm，...，vp}表示所有会话中包含的物品的总集合，其中vm表示第m个物品，p代表物品总个数；令S＝{s1，s2，...si...，sq}表示会话图中所有会话的总集合，其中si表示某一条会话，q代表会话图中包括的会话的总条数；一条会话si由多个物品组成，将这些物品按照时间戳排序作为一条会话的表示：
Figure FDA0003516235340000013
其中
Figure FDA0003516235340000014
表示用户在会话si中与某个物品进行了第j次交互，1≤j≤n，n表示用户在会话si中共有n次交互；
步骤S1-2：将会话集合S建模为会话图Gs＝(Vs，Es)，其中Vs表示会话图节点集合，Es表示会话图边的集合，会话图中每个节点代表一个物品
Figure FDA0003516235340000015
每条边
Figure FDA0003516235340000016
表示用户在某一条会话si中先与物品
Figure FDA0003516235340000017
发生了交互，之后还与物品
Figure FDA0003516235340000018
发生了交互；
步骤S1-3：遍历会话图得到会话图的邻接矩阵A和度矩阵D；
步骤S1-4：为会话图中的物品节点集合设置一个随机初始化的特征矩阵X，也叫做节点的特征向量
Figure FDA0003516235340000021
步骤S1-5：对随机初始化的特征向量X做线性变换，得到变换后的特征矩阵，记为H(0)，H(0)＝WX+b，其中W表示参数矩阵，b表示偏置向量。
3.如权利要求1所述的基于图神经网络和知识图谱的会话推荐方法，其特征在于，所述步骤S2包括：
步骤S2-1：将H(0)、邻接矩阵A和度矩阵D作为图卷积神经网络的输入，通过公式
Figure FDA0003516235340000022
进行传播学习，其中
Figure FDA0003516235340000023
其中I为单位矩阵，W(l)表示第l层的权重矩阵，σ表示非线性激活函数；H(l+1)表示物品节点向量在图卷积神经网络里传播第l+1层的结果，H(l+1)也表示经过学习得到得最终特征矩阵
Figure FDA0003516235340000024
其中第i个会话中的第j个物品节点的初始化嵌入表示向量定义为：
Figure FDA0003516235340000025
步骤S2-2：使用会话图中每个节点的出现频率，计算物品节点的流行度权重
Figure FDA0003516235340000026
步骤S2-3：使用会话图中每个节点的时间戳，计算物品节点的时间权重
Figure FDA0003516235340000027
步骤S2-4：将得到的物品节点的流行度权重
Figure FDA0003516235340000028
和时间权重
Figure FDA0003516235340000029
乘以初始化节点嵌入表示
Figure FDA00035162353400000210
得到赋予总权重的物品节点的嵌入表示
Figure FDA00035162353400000211
步骤S2-5：使用注意力机制获得整个会话的嵌入表示Sg。
4.如权利要求3所述的基于图神经网络和知识图谱的会话推荐方法，其特征在于，所述步骤S2-2中计算公式如下：
Figure FDA00035162353400000212
其中，
Figure FDA00035162353400000213
表示单个物品节点vj的物品流行度权重，
Figure FDA00035162353400000214
表示物品节点在所有会话中出现的总次数。
5.如权利要求3所述的基于图神经网络和知识图谱的会话推荐方法，其特征在于，所述步骤S2-3中计算公式如下：
Figure FDA00035162353400000215
其中，
Figure FDA0003516235340000031
表示单个物品节点vj的时间权重，
Figure FDA0003516235340000032
表示当前会话中物品节点的时间戳。
6.如权利要求1所述的基于图神经网络和知识图谱的会话推荐方法，其特征在于，所述步骤S3包括：
步骤S3-1：使用TransR模型将物品知识图谱中的头实体h和尾实体t、以及它们之间的关系r表示为初始化嵌入向量：头实体的嵌入表示为eh、尾实体的嵌入表示为et、关系的嵌入表示为er，其中头实体h为当前会话si中的最后一个物品
Figure FDA0003516235340000033
步骤S3-2：进行多层注意力嵌入传播的操作的第一步：基于知识的注意力机制，得到信息传播中的权重π(h，r，t)；
步骤S3-3：进行多层注意力嵌入传播的操作的第二步：消息传播，得到头实体h进一步的嵌入表示
Figure FDA0003516235340000034
步骤S3-4：进行多层注意力嵌入传播的操作的第三步：信息聚合，得到聚合邻居信息后的头实体h的嵌入表示eh (k)；
步骤S3-5：经过连接操作，得到当前会话的最后一个物品
Figure FDA0003516235340000035
的嵌入表示
Figure FDA0003516235340000036
也称作会话的局部表示Sl。
7.如权利要求1所述的基于图神经网络和知识图谱的会话推荐方法，其特征在于，所述步骤S5包括：
步骤S5-1：在获得当前会话的混合嵌入Semb后，计算每个候选物品的分数
Figure FDA0003516235340000037
其中
Figure FDA0003516235340000038
是当前会话Si中第j个物品节点的嵌入表示；
步骤S5-2：使用一个softmax函数得到模型的输出向量
Figure FDA0003516235340000039
即候选物品出现在当前会话si中的下一次交互的概率。
8.一种基于图神经网络和知识图谱的会话推荐系统，其特征在于，包括：
会话图构建模块：用于将由物品集合V组成的所有会话集合S建模为会话图Gs，遍历会话图得到会话图的邻接矩阵A和度矩阵D，并为会话图中的物品节点集合设置随机初始化的特征矩阵X，对特征矩阵X做线性变换，得到变换后的特征矩阵H(0)；
图卷积操作模块：用于将H(0)、邻接矩阵A和度矩阵D作为图卷积神经网络的输入，使用图卷积神经网络对会话图做图卷积操作，并赋予时间和流行度权重得到当前会话中每个物品节点的嵌入向量，使用注意力机制获得会话的动态全局嵌入向量Sg；
知识图谱聚合模块：用于使用图注意力网络聚合物品实体在物品知识图谱中的k跳邻域，得到当前会话中最后一个物品的局部嵌入向量Sl；
嵌入组合模块：用于组合动态全局嵌入向量Sg和局部嵌入向量Sl，生成最终的会话混合嵌入向量Semb；
推荐概率输出模块：用于对会话混合嵌入向量Semb和每个物品的嵌入进行内积计算，使用softmax函数得到每个物品的点击概率，即每个候选物品会被下一步交互的可能性概率
Figure FDA0003516235340000041
根据概率概率
Figure FDA0003516235340000042
得到最终推荐结果。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如权利要求1-7中任一项所述的基于图神经网络和知识图谱的会话推荐方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于图神经网络和知识图谱的会话推荐方法的步骤。
CN202210167706.1A 2022-02-23 2022-02-23 一种基于图神经网络和知识图谱的会话推荐方法及系统 Pending CN115017275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210167706.1A CN115017275A (zh) 2022-02-23 2022-02-23 一种基于图神经网络和知识图谱的会话推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210167706.1A CN115017275A (zh) 2022-02-23 2022-02-23 一种基于图神经网络和知识图谱的会话推荐方法及系统

Publications (1)

Publication Number Publication Date
CN115017275A true CN115017275A (zh) 2022-09-06

Family

ID=83066830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210167706.1A Pending CN115017275A (zh) 2022-02-23 2022-02-23 一种基于图神经网络和知识图谱的会话推荐方法及系统

Country Status (1)

Country Link
CN (1) CN115017275A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118485150A (zh) * 2024-07-16 2024-08-13 上海天使印记信息科技有限公司 一种基于人工智能的推理信息生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118485150A (zh) * 2024-07-16 2024-08-13 上海天使印记信息科技有限公司 一种基于人工智能的推理信息生成方法

Similar Documents

Publication Publication Date Title
Xie et al. BaGFN: broad attentive graph fusion network for high-order feature interactions
Zhu Discovering the influential users oriented to viral marketing based on online social networks
CN111881363B (zh) 一种基于图交互网络的推荐方法
CN106651016B (zh) 一种热点话题下动态预测用户行为的系统及方法
CN111309927B (zh) 一种基于知识图谱挖掘的个性化学习路径推荐方法及系统
CN113590900A (zh) 一种融合动态知识图谱的序列推荐方法
CN107341145A (zh) 一种基于深度学习的用户情感分析方法
CN103020712B (zh) 一种海量微博数据的分布式分类装置及方法
CN116010684A (zh) 物品推荐方法、装置及存储介质
CN114637863B (zh) 一种基于传播的知识图谱推荐方法
CN108960293B (zh) 基于fm算法的ctr预估方法及系统
CN114065048A (zh) 基于多异构图图神经网络的物品推荐方法
CN106407379A (zh) 一种基于Hadoop平台的电影推荐方法
CN114154565A (zh) 一种基于多层次特征交互的点击率预测方法及装置
CN115017275A (zh) 一种基于图神经网络和知识图谱的会话推荐方法及系统
CN114741597A (zh) 一种基于知识增强注意力图神经网络的下一项推荐方法
CN113344648B (zh) 一种基于机器学习的广告推荐方法及系统
CN113377656B (zh) 一种基于图神经网络的众测推荐方法
Wei et al. Research on intelligent design mechanism of landscape lamp with regional cultural value based on interactive genetic algorithm
Jarrett et al. Towards a service-oriented architecture for pre-processing crowd-sourced sentiment from Twitter
Chen et al. Multi-state open opinion model based on positive and negative social influences
Di Deep interest network for taobao advertising data click-through rate prediction
Yang Chinese contemporary music diffusion strategy based on public opinion maximization
Yin Research on intelligent recommendation algorithm of literature based on knowledge graph technology
Song et al. Graph factorization machine based recommendation algorithm with graph construction and attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination