CN115545300A - 一种基于图神经网络进行用户行为预测的方法及装置 - Google Patents

一种基于图神经网络进行用户行为预测的方法及装置 Download PDF

Info

Publication number
CN115545300A
CN115545300A CN202211205618.2A CN202211205618A CN115545300A CN 115545300 A CN115545300 A CN 115545300A CN 202211205618 A CN202211205618 A CN 202211205618A CN 115545300 A CN115545300 A CN 115545300A
Authority
CN
China
Prior art keywords
embedding
entity
time
graph
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211205618.2A
Other languages
English (en)
Other versions
CN115545300B (zh
Inventor
王晔
贾焰
莫重
廖清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Original Assignee
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology filed Critical Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority to CN202211205618.2A priority Critical patent/CN115545300B/zh
Publication of CN115545300A publication Critical patent/CN115545300A/zh
Application granted granted Critical
Publication of CN115545300B publication Critical patent/CN115545300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种基于图神经网络进行用户行为预测的方法及装置，其方法包括标注用户、商品及两者之间的交互行为；进行构图；初始化动态实体嵌入和动态关系嵌入，设置模型的训练时间步；若当前的训练时间步小于设置的训练时间步，则获取当前的时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入；使用图神经网络计算当前的时序知识图谱的静态实体嵌入，并使用循环神经网络更新动态实体嵌入，直至训练时间步等于或大于设置值；使用卷积解码器进行解码，得到所有实体的得分，并根据得分进行评估，保存评估结果满足预设条件的时序知识图谱推理的模型；基于模型进行预测。本申请具有使图结构信息聚合更准确，提高预测精度的效果。

Description

一种基于图神经网络进行用户行为预测的方法及装置
技术领域
本申请涉及信息传播分析技术领域，尤其是涉及一种基于图神经网络进行用户行为预测的方法及装置。
背景技术
随着图神经网络的不断发展，使用图神经网络对知识图谱进行建模是一种新的选择。图神经网络可以表征知识图谱中的图结构信息。目前，在推荐系统中，知识图谱发挥着重要的作用。知识图谱可以表示出用户和商品的信息，以通过这些信息来预测用户未来的活动。知识图谱推理可以分为静态知识图谱推理和时序知识图谱推理两种。
静态知识图谱推理指对不带时间戳的知识图谱进行补全，常见的方法有距离向量模型TransE、语义匹配模型RESCAL及它们的拓展模型。这些方法虽然简单方便，但无法获取知识图谱中的时间信息，只能在静态层面上推理知识图谱中缺失的信息。
时序知识图谱推理的任务是推理未来时间的事实，在现有的时序知识图谱上进一步拓展未来时间的知识图谱，从而反映出用户可能的行为和活动，根据用户喜好为其推荐相应的产品。时序知识图谱推理包括内插和外推两种模式，在给定一个从时间0到t的时序知识图谱的情况下，内插模式是推理时间0到t中发生过的事实，目前的方法是将时间信息和关系相结合形成新的嵌入，再使用静态方法进行推理；外推模式则是推理时间t之外的未发生过的事实，目前的方法一般是采用时间序列分解或时间感知的方式来对已有事实进行建模，进一步推理未来的事实。但这些方法存在以下不足：
1)无法准确得到每一时间下的知识图谱的结构信息；
2)对于相邻时间下知识图谱之间的序列模式建模不准确。
针对上述中的相关技术，发明人发现现有的使用图神经网络进行建模的推理工作存在有图结构信息聚合不准确、预测精度低的问题。
发明内容
为了使图结构信息聚合更准确，提高预测精度，本申请提供了一种基于图神经网络进行用户行为预测的方法及装置。
第一方面，本申请提供一种基于图神经网络进行用户行为预测的方法。
本申请是通过以下技术方案得以实现的：
一种基于图神经网络进行用户行为预测的方法，包括以下步骤，
标注用户、商品及两者之间的交互行为，获取所有的实体和行为关系；
将获取的所述实体和所述行为关系进行构图，得到时序知识图谱；
初始化所述时序知识图谱的动态实体嵌入和动态关系嵌入，设置所述时序知识图谱推理的模型的训练时间步；
若当前的训练时间步小于设置的所述训练时间步，则获取当前的所述时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入；
使用图神经网络计算当前的时序知识图谱的静态实体嵌入，并使用循环神经网络更新动态实体嵌入，直至当前的训练时间步等于或大于设置的所述训练时间步；
使用卷积解码器进行解码，得到所有实体的得分，并根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型；
基于所述模型，对未来多个时间步的事实进行预测，输出预测的用户行为。
本申请在一较佳示例中可以进一步配置为：所述获取当前的所述时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入的步骤包括，
针对所述时序知识图谱的每个时间段下的切片，对所述时序知识图谱的所述动态关系嵌入使用平均池化对与其相关的所述实体进行操作，得到静态关系嵌入；
基于所述静态关系嵌入，使用循环神经网络GRU对所述动态关系嵌入进行更新。
本申请在一较佳示例中可以进一步配置为：所述使用图神经网络计算当前的静态实体嵌入，并使用循环神经网络更新动态实体嵌入的步骤包括，
将所述时序知识图谱的上一时间段得到的所述动态实体嵌入和所述动态关系嵌入输入具有关系注意力机制的两层网络结构的图神经网络RGCN中，运算得到用户和商品在当前时间下的结构化实体嵌入，以及用户和商品在当前时间下的静态实体嵌入；
同时，将上一时间段得到的所述动态实体嵌入和所述动态关系嵌入输入具有时间感知机制的两层网络结构的图神经网络TGCN中，区分用户的长时间喜好和短时间喜好；
将所述结构化实体嵌入和所述静态实体嵌入进行拼接，并采用循环神经网络GRU对动态实体嵌入进行更新。
本申请在一较佳示例中可以进一步配置为：所述时序知识图谱包括G＝(E，R，S，T)，其中，E＝{e1，e2，...，e|E|}表示用户和商品的实体集合，包含|E|种不同实体，R＝{r1，r2，...，r|R|}表示用户和商品的交互行为的行为关系集合，包含|R|种不同行为关系，T＝{0，1，...，t|T|}表示时序知识图谱中事实发生的时间集合，包含|T|个时间步，
Figure BDA0003873506050000021
表示知识图谱中事实的集合。
本申请在一较佳示例中可以进一步配置为：所述使用图神经网络计算当前的静态实体嵌入的公式包括，
Figure BDA0003873506050000031
式中，
Figure BDA0003873506050000032
表示实体o在l+1层的嵌入，
Figure BDA0003873506050000033
表示实体s在l层的嵌入，
Figure BDA0003873506050000034
表示实体o在l层的嵌入，
Figure BDA0003873506050000035
表示带有关系聚合信息的权重矩阵，
Figure BDA0003873506050000036
表示带有关系聚合信息的自循环矩阵，co表示实体o的入度，co为一个归一化常数，f表示带泄露的随机线性整流函数，(s，r，o，t)表示事实的四元组形式。
本申请在一较佳示例中可以进一步配置为：所述根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型的步骤包括，
将所述得分按由高到低进行排序，得到排序列表；
将当前得分与所述排序列表进行比较，若当前得分与所述排序列表中的第n个结果相同，则将当前得分替换为1/n；
根据所有得分计算所述评估结果，并保存评估结果最大的所述时序知识图谱推理的模型，其中，所述评估结果的计算公式为，
Figure BDA0003873506050000037
式中，Q表示待预测的事实的个数，ranki表示对于第i个事实的四元组，排序列表中与当前得分相同的位置。
本申请在一较佳示例中可以进一步配置为：所述根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型的步骤包括，
将所述得分按由高到低进行排序，得到排序列表；
将当前得分与所述排序列表进行比较，计算排序小于第n个事实的四元组的平均占比，其中，所述平均占比的计算公式为，
Figure BDA0003873506050000038
式中，Q表示待预测的事实的个数，ranki表示对于第i个事实的四元组，χ表示indicator函数，n依次取1、3和10；
保存所述平均占比最大的所述时序知识图谱推理的模型。
本申请在一较佳示例中可以进一步配置为：所述使用循环神经网络更新动态关系嵌入时，还包括以下步骤，
基于关系预测中的标签向量，使用交叉熵计算所述时序知识图谱推理的模型的训练过程中的关系嵌入损失，其中，所述关系嵌入损失的计算公式为，
Figure BDA0003873506050000041
式中，Lr为关系嵌入损失函数，
Figure BDA0003873506050000042
表示
Figure BDA0003873506050000043
中第k个关系的标签向量，pk(o|s，r，Ht，Rt)表示关系k的概率得分。
本申请在一较佳示例中可以进一步配置为：所述使用循环神经网络更新动态实体嵌入时，还包括以下步骤，
基于实体预测中的标签向量，使用交叉熵计算所述时序知识图谱推理的模型的训练过程中的实体嵌入损失，其中，所述实体嵌入损失的计算公式为，
Figure BDA0003873506050000044
式中，Le为实体嵌入损失函数，
Figure BDA0003873506050000045
表示
Figure BDA0003873506050000046
中第j个实体的标签向量，pj(o|s，r，Ht，Rt)表示实体j的概率得分。
本申请在一较佳示例中可以进一步配置为：所述保存评估结果满足预设条件的所述时序知识图谱推理的模型前，还包括以下步骤，
设置所述时序知识图谱推理的模型的训练次数；
若当前的训练次数等于或大于设置的所述训练次数时，则保存评估结果满足预设条件的所述时序知识图谱推理的模型。
第二方面，本申请提供一种基于图神经网络进行用户行为预测的装置。
本申请是通过以下技术方案得以实现的：
一种基于图神经网络进行用户行为预测的装置，包括，
数据标注模块，用于标注用户、商品及两者之间的交互行为，获取所有的实体和行为关系；
构图模块，用于将获取的所述实体和所述行为关系进行构图，得到时序知识图谱；
初始化模块，用于初始化所述时序知识图谱的动态实体嵌入和动态关系嵌入，并设置所述时序知识图谱推理的模型的训练时间步；
关系嵌入模块，用于若当前的训练时间步小于设置的所述训练时间步，则获取当前的所述时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入；
实体嵌入模块，用于使用图神经网络计算当前的时序知识图谱的静态实体嵌入，并使用循环神经网络更新动态实体嵌入，直至当前的训练时间步等于或大于设置的所述训练时间步；
评估模块，用于使用卷积解码器进行解码，得到所有实体的得分，并根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型；
预测模块，用于基于所述模型，对未来多个时间步的事实进行预测，输出预测的用户行为。
第三方面，本申请提供一种计算机设备。
本申请是通过以下技术方案得以实现的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种基于图神经网络进行用户行为预测的方法的步骤。
第四方面，本申请提供一种计算机可读存储介质。
本申请是通过以下技术方案得以实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种基于图神经网络进行用户行为预测的方法的步骤。
综上所述，与现有技术相比，本申请提供的技术方案带来的有益效果至少包括：
标注用户、商品及两者之间的交互行为，获取所有的实体和行为关系，并将获取的实体和行为关系进行构图，得到时序知识图谱，用于预测用户未来的活动；初始化时序知识图谱的动态实体嵌入和动态关系嵌入，设置时序知识图谱推理的模型的训练时间步，以确保模型的预测精度；若当前的训练时间步小于设置的训练时间步，则获取当前的时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入，使用图神经网络计算当前的静态实体嵌入，以提取局部实体嵌入，并使用循环神经网络更新动态实体嵌入，以获得最终时间的动态实体嵌入和动态关系嵌入，使图结构信息聚合更准确，直至当前的训练时间步等于或大于设置的训练时间步；使用卷积解码器进行解码，得到所有实体的得分，并根据得分进行评估，保存评估结果满足预设条件的时序知识图谱推理的模型，基于模型，对未来多个时间步的事实进行预测，输出预测的用户行为，作为模型对时序知识图谱最终的预测结果，极大提高了模型预测的精度。
附图说明
图1为本申请一个示例性实施例提供的一种基于图神经网络进行用户行为预测的方法的主要流程示意图。
图2为本申请又一个示例性实施例提供的一种基于图神经网络进行用户行为预测的方法的动态关系嵌入更新和动态实体嵌入更新的示意图。
图3为本申请另一个示例性实施例提供的一种基于图神经网络进行用户行为预测的方法的预测过程示意图。
具体实施方式
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
参照图1，本申请实施例提供一种基于图神经网络进行用户行为预测的方法，所述方法的主要步骤描述如下。
标注用户、商品及两者之间的交互行为，获取所有的实体和行为关系；
将获取的所述实体和所述行为关系进行构图，得到时序知识图谱；
初始化所述时序知识图谱的动态实体嵌入和动态关系嵌入，设置所述时序知识图谱推理的模型的训练时间步，并更新所述动态关系嵌入；
若当前的训练时间步小于设置的所述训练时间步，则获取当前的所述时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入；
使用图神经网络计算当前的静态实体嵌入，并使用循环神经网络更新动态实体嵌入，直至当前的训练时间步等于或大于设置的所述训练时间步；
使用卷积解码器进行解码，得到所有实体的得分，并根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型；
基于所述模型，对未来多个时间步的事实进行预测，输出预测的用户行为。
具体地，在系统中将用户和商品标注为实体，将用户和商品之间的交互行为标注为行为关系，如艾丽丝买过白色衬衫(Alice bought white shirt)，系统会将爱丽丝(Alice)和白色衬衫(white shirt)标注为实体，将买(bought)标注为二者之间的关系。
通过标注获取所有的实体和行为关系后，使用深度图数据库(Deep GraphLibrary)，将得到的实体和行为关系进行构图，得到时间从0到t的时序知识图谱。
为了获取用户的实时偏好，初始化动态实体嵌入和动态关系嵌入，动态实体嵌入表征用户和商品的特征，动态关系嵌入则是表征用户对商品的喜好，并更新动态关系嵌入，以及时更新用户的实时喜好，以获得更准确的时序知识图谱中的图结构信息。
若当前的训练时间步小于设置的训练时间步，则通过每个时间下的时序知识图谱切片获取当前的时序知识图谱的静态关系嵌入，以获取用户在当前时间下的喜好特征，并使用循环神经网络更新动态关系嵌入，以对用户的实时喜好进行更新，使得获取的时序知识图谱中的图结构信息聚合度更好，信息更准确。
使用图神经网络计算当前的静态实体嵌入，即从时序知识图谱的结构信息中得到用户和商品在当前时间下的结构特征，并使用循环神经网络更新动态实体嵌入，以获取用户和商品的实时特征，直至当前的训练时间步等于或大于设置的所述训练时间步。
在得到t时间的动态实体嵌入和动态关系嵌入后，使用卷积解码器进行解码，例如，基于卷积神经网络的解码器ConvTransE，其包含两个卷积层和一个线性层，得到所有实体的得分，即待预测的所有实体的相关得分，作为发生概率的判断依据，并根据得分进行评估，确定未来时间步下可能发生的事实，保存评估结果满足预设条件的时序知识图谱推理的模型。
基于训练得到的满足预设条件的模型，对未来多个时间步的事实进行预测，输出预测的用户行为，作为模型对时序知识图谱最终的预测结果，使得图结构信息聚合更准确，极大提高了模型预测的精度。
进一步地，所述更新所述动态关系嵌入的步骤包括，
针对所述时序知识图谱的每个时间段下的切片，对所述时序知识图谱的所述动态关系嵌入使用平均池化对与其相关的所述实体进行操作，得到静态关系嵌入；
基于所述静态关系嵌入，使用循环神经网络GRU对所述动态关系嵌入进行更新。
具体地，针对时序知识图谱的每个时间段下的切片，对时序知识图谱的动态实体嵌入使用平均池化，以对与其相关的所述关系进行平均池化操作，得到静态关系嵌入，以更准确地获取用户在当前时间下喜好的特征；再基于静态关系嵌入，使用循环神经网络GRU对动态关系嵌入进行更新，对用户的实时喜好进行更新，以在捕捉长序列语义关联时，能有效抑制梯度消失和爆炸的情况，且计算复杂度降低，利于提升模型训练速度，使得模型结构更简化，利于在大规模知识图谱上推广应用。
进一步地，所述使用图神经网络计算当前的静态实体嵌入，并使用循环神经网络更新动态实体嵌入的步骤包括，
将所述时序知识图谱的上一时间段得到的所述动态实体嵌入和所述动态关系嵌入输入具有关系注意力机制的两层网络结构的图神经网络RGCN中，运算得到用户和商品在当前时间下的结构化实体嵌入，以及用户和商品在当前时间下的静态实体嵌入；
同时，将上一时间段得到的所述动态实体嵌入和所述动态关系嵌入输入具有时间感知机制的两层网络结构的图神经网络TGCN中；
将所述结构化实体嵌入和所述静态实体嵌入进行拼接，并采用循环神经网络GRU对动态实体嵌入进行更新。
具体地，将时序知识图谱上一时间段得到的动态实体嵌入和动态关系嵌入输入具有关系注意力机制的两层网络结构的图神经网络RGCN中，运算得到用户和商品在当前时间下的结构化实体嵌入，以及用户和商品在当前时间下的静态实体嵌入，计算过程因依据类别分类，可以共享权重矩阵，大大降低了计算的复杂度，利于提升模型训练速度，使得模型结构更简化，利于在大规模知识图谱上推广应用。
同时，将上一时间段得到的动态实体嵌入和动态关系嵌入输入具有时间感知机制的两层网络结构的图神经网络TGCN中，能够精准区分用户的长时间喜好和短时间喜好，以更好地获得时序知识图谱中的图结构信息和序列关系，使得推理的未来事实更加准确。
将结构化实体嵌入和静态实体嵌入进行拼接，并采用循环神经网络GRU对动态实体嵌入进行更新，以更准确地获取用户和商品的实时特征。
在一实施例中，所述时序知识图谱包括G＝(E，R，S，T)，其中，E＝{e1，e2，...，e|E|}表示用户和商品的实体集合，包含|E|种不同实体，R＝{r1，r2，...，r|R|}表示用户和商品的交互行为的行为关系集合，包含|R|种不同行为关系，T＝{0，1，...，t|T|}表示时序知识图谱中事实发生的时间集合，包含|T|个时间步，
Figure BDA0003873506050000091
表示知识图谱中事实的集合。
在一实施例中，所述使用图神经网络计算当前的静态实体嵌入的公式包括，
Figure BDA0003873506050000092
式中，
Figure BDA0003873506050000093
表示实体o在l+1层的嵌入，
Figure BDA0003873506050000094
表示实体s在l层的嵌入，
Figure BDA0003873506050000095
表示实体o在l层的嵌入，
Figure BDA0003873506050000096
表示带有关系聚合信息的权重矩阵，
Figure BDA0003873506050000097
表示带有关系聚合信息的自循环矩阵，co表示实体o的入度，co为一个归一化常数，f表示带泄露的随机线性整流函数，(s，r，o，t)表示事实的四元组形式。
在一实施例中，所述根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型的步骤包括，
将所述得分按由高到低进行排序，得到排序列表；
将当前得分与所述排序列表进行比较，若当前得分与所述排序列表中的第n个结果相同，则将当前得分替换为1/n；
根据所有得分计算所述评估结果，并保存评估结果最大的所述时序知识图谱推理的模型，其中，所述评估结果的计算公式为，
Figure BDA0003873506050000098
式中，Q表示待预测的事实的个数，ranki表示对于第i个事实的四元组，排序列表中与当前得分相同的位置。
在一实施例中，所述根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型的步骤包括，
将所述得分按由高到低进行排序，得到排序列表；
将当前得分与所述排序列表进行比较，计算排序小于第n个事实的四元组的平均占比，其中，所述平均占比的计算公式为，
Figure BDA0003873506050000099
式中，Q表示待预测的事实的个数，ranki表示对于第i个事实的四元组，χ表示indicator函数，n依次取1、3和10；
保存所述平均占比最大的所述时序知识图谱推理的模型。
进一步地，所述更新所述动态关系嵌入时，还包括以下步骤，
基于关系预测中的标签向量，使用交叉熵计算所述时序知识图谱推理的模型的训练过程中的关系嵌入损失，其中，所述关系嵌入损失的计算公式为，
Figure BDA0003873506050000101
式中，Lr为关系嵌入损失函数，
Figure BDA0003873506050000102
表示
Figure BDA0003873506050000103
中第k个关系的标签向量，pk(o|s，r，Ht，Rt)表示关系k的概率得分。
进一步地，所述使用循环神经网络更新动态实体嵌入时，还包括以下步骤，
基于实体预测中的标签向量，使用交叉熵计算所述时序知识图谱推理的模型的训练过程中的实体嵌入损失，其中，所述实体嵌入损失的计算公式为，
Figure BDA0003873506050000104
式中，Le为实体嵌入损失函数，
Figure BDA0003873506050000105
表示
Figure BDA0003873506050000106
中第j个实体的标签向量，pj(o|s，r，Ht，Rt)表示实体j的概率得分。
进一步地，所述保存评估结果满足预设条件的所述时序知识图谱推理的模型前，还包括以下步骤，
设置所述时序知识图谱推理的模型的训练次数；
若当前的训练次数等于或大于设置的所述训练次数时，则保存评估结果满足预设条件的所述时序知识图谱推理的模型。
由于时序知识图谱中越靠近t+1时间发生的事实对推理的作用越大，故可以设置时序知识图谱推理的模型的训练次数，只使用前m(0＜m＜t)个时间的知识图谱来进行推理，即动态嵌入更新重复m次，保证模型的预测精度。
上述各个实施例的具体描述如下。
首先，数据初始化，使用已有数据进行构图。
在系统中将用户和商品标注为实体，将用户和商品之间的交互行为标注为行为关系。从原始数据中提取出实体和行为关系，然后构建时序知识图谱，最终得到的知识库可以表示为G＝(E，R，S，T)，可以看作是从时间0到t知识图谱序列{G0，...，Gt}，E＝{e1，e2，...，e|E|}表示实体集合，包含|E|种不同实体，R＝{r1，r2，...，r|R|}表示关系集合，包含|R|种不同关系，T＝{0，1，...，t|T|}表示时间集合，包含|T|个时间步，表示时序知识图谱中事实发生的时间，
Figure BDA0003873506050000111
表示知识图谱中事实的集合。
参照图1和图2，在推荐系统中，将用户和物品标注为实体，将用户和商品间的交互标注为行为关系，形成时序知识图谱，获取知识图谱序列G＝(E，R，S，T)，知识图谱序列为从时间0到t知识图谱序列{G0，...，Gt}。知识图谱中的事实具有时效性。使用四元组(s，r，o，t)来表示时序知识图谱中事实，其中，s和o表示头实体和尾实体，r表示行为关系，t表示事实发生的时间。时序知识图谱推理的任务是推理未来时间的事实，即预测四元组(s，r，？，t+1)或(？，r，o，t+1)中缺失的头实体或尾实体，以在现有的时序知识图谱上拓展未来时间的知识图谱，用于反映出用户可能的行为和活动，根据用户喜好为其推荐相应的产品。
接着，获得t时间的动态实体嵌入和动态关系嵌入。
在获得知识图谱序列{G0，...，Gt}后，根据时序知识图谱中越靠近推理时间的事实对其影响越大的特性，系统中使用推理时间的前m个时间的知识图谱序列进行建模，即对于时间t+1的事实进行推理时，使用知识图谱序列{Gt-m+1，...，Gt}进行建模。对于动态实体嵌入
Figure BDA0003873506050000112
和动态关系嵌入
Figure BDA0003873506050000113
(d表示嵌入的维度)，模型首先将其随机初始化为H0和R0。
首先，动态关系嵌入更新，获取用户对商品的实时喜好特征。
对于t时间的某个关系嵌入
Figure BDA0003873506050000114
根据t时间和关系r相关联的所有实体的动态嵌入Vr，t＝{i|(i，r，o，t)or(s，r，i，t)∈St}，通过均值池化操作可以得到t时间下的静态关系嵌入
Figure BDA0003873506050000115
相关公式如下：
Figure BDA0003873506050000116
对于t时间没有发生过事实的关系，有
Figure BDA0003873506050000117
Figure BDA0003873506050000118
为所有单个关系嵌入
Figure BDA0003873506050000119
的集合。对于动态关系嵌入Rt，系统中使用GRU网络进行循环更新，具体公式如下：
Figure BDA00038735060500001110
其次，图中结构依赖关系获取，得到每个知识图谱序列下的结构化静态实体嵌入。
根据上一步得到的动态关系嵌入Rt和上一时间的动态实体嵌入Ht-1，系统将其作为输入，再使用一个带有关系注意力机制的ω层图神经网络来对知识图谱中的图结构信息进行建模，得到当前时间的结构化静态实体嵌入。在l∈[0，ω-1]层的结构化静态实体嵌入更新公式如下：
Figure BDA00038735060500001111
式中，
Figure BDA00038735060500001112
和
Figure BDA00038735060500001113
分别表示实体s和实体o在l层的嵌入表示，
Figure BDA00038735060500001114
表示实体o在l+1层嵌入的表示，
Figure BDA0003873506050000121
和
Figure BDA0003873506050000122
分别表示带有关系聚合信息的权重矩阵和自循环矩阵，co为一个归一化常数，为实体o的入度，f表示带泄露的随机线性整流函数(Randomized Leaky RectifiedLinear Unit)。该步骤最终所有实体的结构化静态实体表示为
Figure BDA0003873506050000123
接着，图中时间信息获取，得到每个知识图谱序列下的内置时间静态实体嵌入。
为了更好的对时序知识图谱中时间信息进行建模，该部分将根据上一时间的动态实体嵌入Ht-1，使用一个带有时间感知的ω层图神经网络来对当前时间下知识图谱序列的内置时间信息进行建模，得到当前时间的内置时间静态实体嵌入。在l∈[0，ω-1]层的内置时间静态实体嵌入更新公式如下：
Figure BDA0003873506050000124
式中，
Figure BDA0003873506050000125
和
Figure BDA0003873506050000126
分别表示实体s和实体o在l层的嵌入表示，
Figure BDA0003873506050000127
表示实体o在l+1层嵌入的表示，rt表示关系r在t时间的嵌入表示，
Figure BDA0003873506050000128
表示当前计算事实的时间信息，
Figure BDA0003873506050000129
和
Figure BDA00038735060500001210
表示权重矩阵，g表示双曲正切函数tanh。该步骤最终所有实体的内置时间静态实体嵌入表示为
Figure BDA00038735060500001211
最后，动态实体嵌入更新，获取用户和商品的实时特征。
根据上两个步骤得到的结构化静态实体
Figure BDA00038735060500001212
和内置时间静态实体嵌入
Figure BDA00038735060500001213
得到最终的静态实体嵌入
Figure BDA00038735060500001214
该步骤公式如下：
Figure BDA00038735060500001215
式中，；表示嵌入向量的拼接。系统接下来使用GRU网络对动态实体嵌入Ht进行更新。该步骤公式如下：
Figure BDA00038735060500001216
更新关系嵌入和实体嵌入。在关系嵌入更新时，通过均值池化的方式，使用动态实体嵌入和相关图结构获取静态关系嵌入，再使用循环神经网络GRU对动态关系嵌入进行更新。在实体嵌入更新时，使用时间感知图卷积网络TGCN和关系感知图卷积网络RGCN分别获取内置静态实体嵌入和结构化实体嵌入，再使用循环神经网络GRU对动态实体嵌入进行更新。
紧接着，获得预测四元组中所有实体和缺失关系的概率向量。
首先，获取实体概率向量和关系概率向量。
系统中的推理任务可以看作是未来时间的实体预测或关系预测，实体预测是对四元组(s，r，？，t+1)或(？，r，o，t+1)中进行缺失实体的预测，以预测尾实体为例，将所有客实体的条件概率向量与主实体s、关系r以及历史知识图谱序列Gt-m+1：t进行联合概率建模，再结合编码获得的动态实体嵌入Ht和动态关系嵌入Rt。公式如下：
p(o|s，r，Gt-m+1：t)＝p(o|s，r，Ht，Rt)
关系预测是对四元组(s，？，o，t+1)中缺失关系的预测，将所有关系的条件概率与主实体s、客实体o以及历史知识图谱序列Gt-m+1：t进行联合概率建模，结合动态实体嵌入Ht和动态关系嵌入Rt。公式如下：
p(r|s，o，Gt-m+1：t)＝p(r|s，o，Ht，Rt)
接着，解码获得实体概率向量和关系概率向量。
由于卷积解码在解码过程中的表现更好，系统中使用一个带有两个卷积层和一个全连接层的解码器，以下简写为Dec，解码后得到实体概率向量和关系概率向量。获得四元组中缺失实体概率向量的公式如下：
p(o|s，r，Ht，Rt)＝σ(HtDec(st，rt))
式中，σ表示sigmoid函数，
Figure BDA0003873506050000131
和
Figure BDA0003873506050000132
表示实体s和关系r在时间t的嵌入。同理，获得四元组中缺失关系概率向量的公式如下：
p(r|s，o，Ht，Rt)＝σ(RtDec(st，rt))
参照图3，系统在获得动态实体嵌入和动态关系嵌入后，对用户行为及用户和商品之间的交互进行预测。例如，以(Alice，buy，？，t+1)为例，获取Alice和buy的嵌入表示，通过ConvTransE解码器计算所有实体在四元组中出现的概率。同理，在例子(Alice，？，TheTruman Show，t+1中，获取Alice和The Truman Show的嵌入表示，通过ConvTransE解码器计算所有关系在四元组中出现的概率。
进行模型训练，通过模型中参数学习，对模型进行评估，保存得分更好的模型。
在系统的模型训练中，可以使用两种评估指标。
第一种是平均倒数排名(MeanReciprocalRank，MRR)，该指标将训练过程中模型得到的训练结果进行排序得到排序列表，然后与实际值进行匹配，如果与列表中第一个结果相同得分为1，与列表中第二个结果相同得分为0.5，依次类推，与列表中第n个结果相同得分为1/n，最终结果为所有得分的平均数。具体公式如下：
Figure BDA0003873506050000133
式中，|Q|表示要预测的四元组的个数，ranki表示对于第i个四元组，排序列表中与实际值相同的位置。
或者，第二种评估指标是Hits@n，该指标同样将训练过程中模型得到的训练结果进行排序得到排序列表，将列表中结果和实际值比较，得到排名小于n的四元组的平均占比。具体公式如下：
Figure BDA0003873506050000141
式中，Q和ranki的含义和MRR公式中相同，χ表示indicator函数，在条件为真是返回1，否则返回0。在系统模型训练中，分别取n为1，3和10。
进一步地，训练过程的损失函数描述如下。
系统中实体预测和关系预测都可以看作是多分类任务，用
Figure BDA0003873506050000142
和
Figure BDA0003873506050000143
分别表示t+1时间实体预测和关系预测中的标签向量，使用交叉熵来分别计算模型训练过程中的实体嵌入损失和关系嵌入损失。实体嵌入损失的公式如下：
Figure BDA0003873506050000144
式中，
Figure BDA0003873506050000145
表示
Figure BDA0003873506050000146
中第j个实体的标签向量，pj(o|s，r，Ht，Rt)表示实体j的概率得分。同理，关系嵌入损失的公式如下：
Figure BDA0003873506050000147
式中，
Figure BDA0003873506050000148
表示
Figure BDA0003873506050000149
中第k个关系的标签向量，pk(o|s，r，Ht，Rt)表示关系k的概率得分。
因此，最终的损失函数定义为L＝λ1Le+λ2Lr，λ1和λ2表示控制两者损失比例大小的参数。
本实施例中，设置模型的训练次数为n，在每次训练过程中，系统对本轮训练的模型进行评估，计算MRR或Hits@n的评估得分，如果这轮训练模型的得分比上一轮训练模型的得分高，系统对本轮模型进行保存。
在计算得分并得到实体概率向量和关系概率向量后，系统会计算本轮训练中的损失，通过反向传播的方式计算出模型中各个参数的梯度并对其进行更新。该步骤最终得到训练后评分最高的模型并进行保存。
最后，对时序知识图谱中的未来事实进行推理。
系统中，模型训练完成后得到最终得分最高的模型，在此步骤中，系统将结合时序知识图谱中所有实体和关系对四元组(s，r，？，t|T|+n)或(？，r，o，t|T|+n)进行打分，即通过枚举的方式来对所有组合进行打分，得到得分最高的四元组或得分较高的一些四元组，来作为系统最终的输出。系统可以进行多步推理，可以对当前时序知识图谱中最大时间t|T|之外n个时间的事实进行推理，得到推理的最终结果。
综上所述，一种基于图神经网络进行用户行为预测的方法通过标注用户、商品及两者之间的交互行为，获取所有的实体和行为关系，并将获取的实体和行为关系进行构图，得到时序知识图谱，用于预测用户未来的活动；初始化时序知识图谱的动态实体嵌入和动态关系嵌入，设置时序知识图谱推理的模型的训练时间步，以确保模型的预测精度；若当前的训练时间步小于设置的训练时间步，则获取当前的时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入，使用图神经网络计算当前的静态实体嵌入，以提取局部实体嵌入，并使用循环神经网络更新动态实体嵌入，以获得最终时间的动态实体嵌入和动态关系嵌入，使图结构信息聚合更准确，直至当前的训练时间步等于或大于设置的训练时间步；使用卷积解码器进行解码，得到所有实体的得分，并根据得分进行评估，保存评估结果满足预设条件的时序知识图谱推理的模型，基于模型，对未来多个时间步的事实进行预测，输出预测的用户行为，作为模型对时序知识图谱最终的预测结果，极大提高了模型预测的精度。
本申请可以对每个时间下的知识图谱进行结构聚合和对不同时间下的知识图谱进行序列分析，从而更好的表达出时序知识图谱中实体和关系的动态嵌入，更加准确的预测当前时序知识图谱之外的时间戳可能发生的事实。
本申请通过将对图神经网络结构进行改进，使用关系感知的图神经网络和带有时间信息的图神经网络对时序知识图谱中的图结构信息和内置时间信息进行建模，在更好的获得图中特征的同时，也提高了建模效率；此外，本申请中使用循环神经网络同时对时序知识图谱中的所有实体嵌入和所有关系嵌入进行更新，不仅学习到了时序知识图谱中的序列结构特征，也提高了模型训练效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还提供一种基于图神经网络进行用户行为预测的装置，该一种基于图神经网络进行用户行为预测的装置与上述实施例中一种基于图神经网络进行用户行为预测的方法一一对应。该一种基于图神经网络进行用户行为预测的装置包括，
数据标注模块，用于标注用户、商品及两者之间的交互行为，获取所有的实体和行为关系；
构图模块，用于将获取的所述实体和所述行为关系进行构图，得到时序知识图谱；
初始化模块，用于初始化所述时序知识图谱的动态实体嵌入和动态关系嵌入，设置所述时序知识图谱推理的模型的训练时间步；
关系嵌入模块，用于若当前的训练时间步小于设置的所述训练时间步，则获取当前的所述时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入；
实体嵌入模块，用于使用图神经网络计算当前的时序知识图谱的静态实体嵌入，并使用循环神经网络更新动态实体嵌入，直至当前的训练时间步等于或大于设置的所述训练时间步；
评估模块，用于使用卷积解码器进行解码，得到所有实体的得分，并根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型；
预测模块，用于基于所述模型，对未来多个时间步的事实进行预测，输出预测的用户行为。
一种基于图神经网络进行用户行为预测的装置还包括，
训练模块，用于设置所述时序知识图谱推理的模型的训练次数，若当前的训练次数等于或大于所述设置的最大训练次数时，则保存评估结果满足预设条件的所述时序知识图谱推理模型。
关于一种基于图神经网络进行用户行为预测的装置的具体限定可以参见上文中对于一种基于图神经网络进行用户行为预测的方法的限定，在此不再赘述。上述一种基于图神经网络进行用户行为预测的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种基于图神经网络进行用户行为预测的方法。
在一个实施例中，提供了一种计算机可读存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
标注用户、商品及两者之间的交互行为，获取所有的实体和行为关系；
将获取的所述实体和所述行为关系进行构图，得到时序知识图谱；
初始化所述时序知识图谱的动态实体嵌入和动态关系嵌入，设置所述时序知识图谱推理的模型的训练时间步；
若当前的训练时间步小于设置的所述训练时间步，则获取当前的所述时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入；
使用图神经网络计算当前的时序知识图谱的静态实体嵌入，并使用循环神经网络更新动态实体嵌入，直至当前的训练时间步等于或大于设置的所述训练时间步；
使用卷积解码器进行解码，得到所有实体的得分，并根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型；
基于所述模型，对未来多个时间步的事实进行预测，输出预测的用户行为。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

Claims (10)

1.一种基于图神经网络进行用户行为预测的方法，其特征在于，包括以下步骤，
标注用户、商品及两者之间的交互行为，获取所有的实体和行为关系；
将获取的所述实体和所述行为关系进行构图，得到时序知识图谱；
初始化所述时序知识图谱的动态实体嵌入和动态关系嵌入，设置所述时序知识图谱推理的模型的训练时间步；
若当前的训练时间步小于设置的所述训练时间步，则获取当前的所述时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入；
使用图神经网络计算当前的时序知识图谱的静态实体嵌入，并使用循环神经网络更新动态实体嵌入，直至当前的训练时间步等于或大于设置的所述训练时间步；
使用卷积解码器进行解码，得到所有实体的得分，并根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型；
基于所述模型，对未来多个时间步的事实进行预测，输出预测的用户行为。
2.根据权利要求1所述的基于图神经网络进行用户行为预测的方法，其特征在于，所述获取当前的所述时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入的步骤包括，
针对所述时序知识图谱的每个时间段下的切片，对所述时序知识图谱的所述动态关系嵌入使用平均池化对与其相关的所述实体进行操作，得到静态关系嵌入；
基于所述静态关系嵌入，使用循环神经网络GRU对所述动态关系嵌入进行更新。
3.根据权利要求1所述的基于图神经网络进行用户行为预测的方法，其特征在于，所述使用图神经网络计算当前的静态实体嵌入，并使用循环神经网络更新动态实体嵌入的步骤包括，
将所述时序知识图谱的上一时间段得到的所述动态实体嵌入和所述动态关系嵌入输入具有关系注意力机制的两层网络结构的图神经网络RGCN中，运算得到用户和商品在当前时间下的结构化实体嵌入，以及用户和商品在当前时间下的静态实体嵌入；
同时，将上一时间段得到的所述动态实体嵌入和所述动态关系嵌入输入具有时间感知机制的两层网络结构的图神经网络TGCN中；
将所述结构化实体嵌入和所述静态实体嵌入进行拼接，并采用循环神经网络GRU对动态实体嵌入进行更新。
4.根据权利要求1所述的基于图神经网络进行用户行为预测的方法，其特征在于，所述时序知识图谱包括G＝(E,R,S,T)，其中，E＝{e1,e2,…,e|E|}表示用户和商品的实体集合，包含|E|种不同实体，R＝{r1,r2,…,r|R|}表示用户和商品的交互行为的行为关系集合，包含|R|种不同行为关系，T＝{0,1,…,t|T|}表示时序知识图谱中事实发生的时间集合，包含|T|个时间步，
Figure FDA0003873506040000021
表示知识图谱中事实的集合。
5.根据权利要求4所述的基于图神经网络进行用户行为预测的方法，其特征在于，所述使用图神经网络计算当前的静态实体嵌入的公式包括，
Figure FDA0003873506040000022
式中，
Figure FDA0003873506040000023
表示实体o在l+1层的嵌入，
Figure FDA0003873506040000024
表示实体s在l层的嵌入，
Figure FDA0003873506040000025
表示实体o在l层的嵌入，
Figure FDA0003873506040000026
表示带有关系聚合信息的权重矩阵，
Figure FDA0003873506040000027
表示带有关系聚合信息的自循环矩阵，co表示实体o的入度，co为一个归一化常数，f表示带泄露的随机线性整流函数，(s,r,o,t)表示事实的四元组形式。
6.根据权利要求1所述的基于图神经网络进行用户行为预测的方法，其特征在于，所述根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型的步骤包括，
将所述得分按由高到低进行排序，得到排序列表；
将当前得分与所述排序列表进行比较，若当前得分与所述排序列表中的第n个结果相同，则将当前得分替换为1/n；
根据所有得分计算所述评估结果，并保存评估结果最大的所述时序知识图谱推理的模型，其中，所述评估结果的计算公式为，
Figure FDA0003873506040000028
式中，Q表示待预测的事实的个数，ranki表示对于第i个事实的四元组，排序列表中与当前得分相同的位置。
7.根据权利要求1所述的基于图神经网络进行用户行为预测的方法，其特征在于，所述根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型的步骤包括，
将所述得分按由高到低进行排序，得到排序列表；
将当前得分与所述排序列表进行比较，计算排序小于第n个事实的四元组的平均占比，其中，所述平均占比的计算公式为，
Figure FDA0003873506040000031
式中，Q表示待预测的事实的个数，ranki表示对于第i个事实的四元组，χ表示indicator函数，n依次取1、3和10；
保存所述平均占比最大的所述时序知识图谱推理的模型。
8.根据权利要求1所述的基于图神经网络进行用户行为预测的方法，其特征在于，所述使用循环神经网络更新动态关系嵌入时，还包括以下步骤，
基于关系预测中的标签向量，使用交叉熵计算所述时序知识图谱推理的模型的训练过程中的关系嵌入损失，其中，所述关系嵌入损失的计算公式为，
Figure FDA0003873506040000032
式中，Lr为关系嵌入损失函数，
Figure FDA0003873506040000033
表示
Figure FDA0003873506040000034
中第k个关系的标签向量，pk(p|s,r,Ht,Rt)表示关系k的概率得分。
9.根据权利要求1所述的基于图神经网络进行用户行为预测的方法，其特征在于，所述使用循环神经网络更新动态实体嵌入时，还包括以下步骤，
基于实体预测中的标签向量，使用交叉熵计算所述时序知识图谱推理的模型的训练过程中的实体嵌入损失，其中，所述实体嵌入损失的计算公式为，
Figure FDA0003873506040000035
式中，Le为实体嵌入损失函数，
Figure FDA0003873506040000036
表示
Figure FDA0003873506040000037
中第j个实体的标签向量，pj(o|s,r,Ht,Rt)表示实体j的概率得分。
10.一种基于图神经网络进行用户行为预测的装置，其特征在于，包括，
数据标注模块，用于标注用户、商品及两者之间的交互行为，获取所有的实体和行为关系；
构图模块，用于将获取的所述实体和所述行为关系进行构图，得到时序知识图谱；
初始化模块，用于初始化所述时序知识图谱的动态实体嵌入和动态关系嵌入，设置所述时序知识图谱推理的模型的训练时间步；关系嵌入模块，用于若当前的训练时间步小于设置的所述训练时间步，则获取当前的所述时序知识图谱的静态关系嵌入，使用循环神经网络更新动态关系嵌入；
实体嵌入模块，用于使用图神经网络计算当前的时序知识图谱的静态实体嵌入，并使用循环神经网络更新动态实体嵌入，直至当前的训练时间步等于或大于设置的所述训练时间步；评估模块，用于使用卷积解码器进行解码，得到所有实体的得分，并根据所述得分进行评估，保存评估结果满足预设条件的所述时序知识图谱推理的模型；
预测模块，用于基于所述模型，对未来多个时间步的事实进行预测，输出预测的用户行为。
CN202211205618.2A 2022-09-30 2022-09-30 一种基于图神经网络进行用户行为预测的方法及装置 Active CN115545300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211205618.2A CN115545300B (zh) 2022-09-30 2022-09-30 一种基于图神经网络进行用户行为预测的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211205618.2A CN115545300B (zh) 2022-09-30 2022-09-30 一种基于图神经网络进行用户行为预测的方法及装置

Publications (2)

Publication Number Publication Date
CN115545300A true CN115545300A (zh) 2022-12-30
CN115545300B CN115545300B (zh) 2023-07-11

Family

ID=84731228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211205618.2A Active CN115545300B (zh) 2022-09-30 2022-09-30 一种基于图神经网络进行用户行为预测的方法及装置

Country Status (1)

Country Link
CN (1) CN115545300B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882538A (zh) * 2023-05-26 2023-10-13 海南大学 一种海洋环境预测模型的训练方法及相关装置
CN117171449A (zh) * 2023-09-21 2023-12-05 西南石油大学 一种基于图神经网络的推荐方法
CN118410173A (zh) * 2024-03-08 2024-07-30 暨南大学 基于时序知识图谱的系统用户行为预测分析方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522962A (zh) * 2020-04-09 2020-08-11 苏州大学 序列推荐方法、装置及计算机可读存储介质
CN114529399A (zh) * 2022-02-18 2022-05-24 中国工商银行股份有限公司 用户数据处理方法、装置、计算机设备和存储介质
CN115082147A (zh) * 2022-06-14 2022-09-20 华南理工大学 一种基于超图神经网络的序列推荐方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522962A (zh) * 2020-04-09 2020-08-11 苏州大学 序列推荐方法、装置及计算机可读存储介质
CN114529399A (zh) * 2022-02-18 2022-05-24 中国工商银行股份有限公司 用户数据处理方法、装置、计算机设备和存储介质
CN115082147A (zh) * 2022-06-14 2022-09-20 华南理工大学 一种基于超图神经网络的序列推荐方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882538A (zh) * 2023-05-26 2023-10-13 海南大学 一种海洋环境预测模型的训练方法及相关装置
CN116882538B (zh) * 2023-05-26 2024-03-05 海南大学 一种海洋环境预测模型的训练方法及相关装置
CN117171449A (zh) * 2023-09-21 2023-12-05 西南石油大学 一种基于图神经网络的推荐方法
CN117171449B (zh) * 2023-09-21 2024-03-19 西南石油大学 一种基于图神经网络的推荐方法
CN118410173A (zh) * 2024-03-08 2024-07-30 暨南大学 基于时序知识图谱的系统用户行为预测分析方法、系统及设备

Also Published As

Publication number Publication date
CN115545300B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
Zhou et al. Atrank: An attention-based user behavior modeling framework for recommendation
CN108804633B (zh) 基于行为语义知识网络的内容推荐方法
WO2021081962A1 (zh) 推荐模型的训练方法、推荐方法、装置及计算机可读介质
CN115545300A (zh) 一种基于图神经网络进行用户行为预测的方法及装置
CN110598845B (zh) 数据处理方法、装置、计算机设备和存储介质
US20180225391A1 (en) System and method for automatic data modelling
CN110795657B (zh) 文章推送及模型训练方法、装置、存储介质和计算机设备
CN111581510A (zh) 分享内容处理方法、装置、计算机设备和存储介质
Wasserkrug et al. A model for reasoning with uncertain rules in event composition systems
CN110929047A (zh) 关注邻居实体的知识图谱推理方法和装置
CN110866181A (zh) 资源推荐的方法、装置及存储介质
CN111831901B (zh) 数据处理方法、装置、设备和存储介质
CN114186013A (zh) 实体识别模型热更新方法及其装置、设备、介质、产品
CN113343091A (zh) 面向产业和企业的科技服务推荐计算方法、介质及程序
CN112131261A (zh) 基于社区网络的社区查询方法、装置和计算机设备
CN115344698A (zh) 标签处理方法、装置、计算机设备、存储介质和程序产品
CN109241442A (zh) 基于预测值填充的项目推荐方法、可读存储介质和终端
CN115204463A (zh) 一种基于多注意力机制的剩余使用寿命不确定性预测方法
CN111489196B (zh) 基于深度学习网络的预测方法、装置、电子设备及介质
CN117668157A (zh) 基于知识图谱的检索增强方法、装置、设备及介质
CN112749333A (zh) 资源搜索方法、装置、计算机设备和存储介质
CN114936327B (zh) 元素识别模型的获取方法、装置、计算机设备和存储介质
KR20200112495A (ko) 상권 분석 서비스 제공 서버 및 그 방법
CN115222112A (zh) 一种行为预测方法、行为预测模型的生成方法及电子设备
CN111552827A (zh) 标注方法和装置、行为意愿预测模型训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant