CN112380435B - 基于异构图神经网络的文献推荐方法及推荐系统 - Google Patents

基于异构图神经网络的文献推荐方法及推荐系统 Download PDF

Info

Publication number
CN112380435B
CN112380435B CN202011278839.3A CN202011278839A CN112380435B CN 112380435 B CN112380435 B CN 112380435B CN 202011278839 A CN202011278839 A CN 202011278839A CN 112380435 B CN112380435 B CN 112380435B
Authority
CN
China
Prior art keywords
document
user
data
literature
quotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011278839.3A
Other languages
English (en)
Other versions
CN112380435A (zh
Inventor
孙圣力
赵玉媛
李青山
司华友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guoxin Yunfu Technology Co ltd
Nanjing Boya Blockchain Research Institute Co ltd
Peking University
Original Assignee
Beijing Guoxin Yunfu Technology Co ltd
Nanjing Boya Blockchain Research Institute Co ltd
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guoxin Yunfu Technology Co ltd, Nanjing Boya Blockchain Research Institute Co ltd, Peking University filed Critical Beijing Guoxin Yunfu Technology Co ltd
Priority to CN202011278839.3A priority Critical patent/CN112380435B/zh
Publication of CN112380435A publication Critical patent/CN112380435A/zh
Application granted granted Critical
Publication of CN112380435B publication Critical patent/CN112380435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出的一种基于异构图神经网络的文献推荐方法，包括以下步骤：获取用户特征数据以及文献特征数据；从文献特征数据中提取文献属性数据以及文献引文数据，根据文献属性数据以及文献引文数据通过图卷积神经网络获取文献引文特征数据；根据预设元路径提取结构数据，根据结构数据构建异构信息网络，并通过自注意力机制学习网络获取结构特征数据；将源数据进行规范化处理获得样本集，将样本集划分为训练集以及测试集，将训练集以及测试集输入至推荐模型中对推荐模型进行训练并获取推荐结果。通过图卷积神经网络和图注意力网络挖掘用户的结构特征数据及文献的结构特征数据，对用户进行多元化的兴趣表示，实现对用户进行个性化的推荐的目的。

Description

基于异构图神经网络的文献推荐方法及推荐系统
技术领域
本发明涉及数据推荐技术领域，特别是涉及一种基于异构图神经网络的文献推荐方法及推荐系统。
背景技术
随着互联网时代的到来，信息共享呈现普遍化、细微化的发展趋势，科技文献也越来越多，如何帮助用户从海量的科技文献中快速找到用户感兴趣的内容成为推荐算法领域研究的热门问题。在传统的推荐方法中，最为主流的是协同过滤技术，它假设：用户对过去感兴趣的项目一直感兴趣，而协同过滤技术整体可分类为基于用户的协同过滤、基于项目的协同过滤和基于模型的协同过滤。基于用户的协同过滤的原理是根据所有用户对物品或者信息的偏好，发现与当前用户口味和偏好相似的“邻居”用户群，然后，基于这K个邻居的历史偏好信息，为当前用户进行推荐。基于项目的协同过滤的原理是使用所有用户对物品或者信息的偏好，发现物品和物品之间的相似度，然后根据用户的历史偏好信息，将类似的物品推荐给用户。基于模型的协同过滤以矩阵分解为主流技术，矩阵分解的主要目的是学习一种有效的预测功能来表征用户-项目交互记录(例如用户项目评分矩阵)，挖掘用户潜在兴趣表示。
随着推荐技术的发展，深度学习方法成为热门研究方向，深度兴趣网络(DeepInterset Network，DIN)是一种推荐技术在深度学习方向的最新模型，该模型是第一个将注意力机制应用到推荐技术的方法。在经典的推荐网络中，用户兴趣一般映射到固定长度向量，这在用户多元兴趣表达上具有很大的局限性，DIN模型则通过局部激活单元，根据用户历史行为自适应学习不同的兴趣向量表示，更好的捕捉用户的多元兴趣进行个性化推荐。但即使构建了多方面的用户特征，DIN模型在向量嵌入方面的工作明显不足，仅对用户ID和商品ID以及商品所属的商店ID等信息进行向量表示，未深入挖掘用户和商品的辅助数据在用户兴趣的表示的影响。
当前用于建模和利用异构复杂信息的热门方法是搭建异构信息网络(Heterogeneous Information Network，HIN)，它由多种类型的节点和链接组成，具备建模数据异质性的灵活性，被运用在推荐系统中表征丰富的辅助信息。大多数文献表明，现有的基于HIN的推荐方法的基本思想是利用HIN上用户和项之间基于路径的语义相关性进行推荐，例如基于元路径的相似性。虽然基于HIN的方法在某种程度上提高了效果，但是由于基于元路径的相似性依赖于显式的路径可达性，并且当路径连接稀疏或嘈杂时，将其用于推荐可能并不可靠；而且，基于元路径的相似性主要表征了基于HIN定义的语义关系，并不直接适用于推荐系统。
随着深度学习的进一步发展，图神经网络(Graph Neural Networks，GNN)成为一种基于深度学习的强大图表示技术。文献表明，基于层次注意力机制的GNN通过关注节点与其基于元路径的邻居之间的重要性和不同元路径的重要性，并利用分层方式来聚合来自元路径的邻居的特征形成节点嵌入，较好表示了异质图神经网络的潜在内容，具有较好的鲁棒性，但仍未能直接适用于推荐系统中。
发明内容
基于此，有必要针对传统的异构神经网络以及图神经网络不能直接适用于推荐系统的技术问题，提出了一种基于异构图神经网络的文献推荐方法及推荐系统。
本发明提出的一种基于异构图神经网络的文献推荐方法，所述推荐方法包括以下步骤：
S100，原始数据获取步骤，获取用户特征数据以及文献特征数据；
S200，文献引文特征数据获取步骤，从所述文献特征数据中提取文献属性数据以及文献引文数据，根据所述文献属性数据以及所述文献引文数据通过图卷积神经网络获取文献引文特征数据；
S300，结构特征数据获取步骤，根据预设元路径提取结构数据，根据所述结构数据构建异构信息网络，并通过自注意力机制学习网络获取结构特征数据；
S400，推荐模型训练及推荐结果获取步骤，将源数据进行规范化处理获得样本集，将所述样本集划分为训练集以及测试集，将所述训练集以及所述测试集输入至推荐模型中对所述推荐模型进行训练并获取推荐结果。
在其中的一个实施例中，在所述步骤S100中，所述用户特征数据包括用户身份信息；所述文献特征数据包括文献身份信息、文献标签、文献引文以及文献单词包集合中的任意一种或几种。
在其中的一个实施例中，在所述步骤S200中，所述根据所述文献属性数据以及所述文献引文数据通过图卷积神经网络获取文献引文特征数据包括以下步骤：
根据所述文献属性数据构建文献属性特征矩阵；
根据所述文献引文数据创建文献引文图，所述文献引文图包括邻接矩阵和度矩阵；
将所述邻接矩阵与self-loop相加，获得self-loop-邻接矩阵；
对所述self-loop-邻接矩阵依据进行归一化特征表示，对应更改度矩阵获得self-loop-度矩阵；
将所述文献属性特征矩阵、所述self-loop-邻接矩阵以及所述self-loop-度矩阵输入到所述图卷积神经网络进行半监督训练，直至所述半监督训练的输出结果与所述文献属性数据差别最小结束训练，输出所述输出结果作为文献引文特征数据。
在其中的一个实施例中，在所述S300中，所述预设元路径包括“用户-文献-用户”元路径以及“文献-用户-文献”元路径；
所述“用户-文献-用户”元路径为对同一文献打标签的用户，按照所述“用户-文献-用户”元路径获取的矩阵数据作为用户结构特征源数据；
所述“文献-用户-文献”元路径为被同一用户打标签的文献，按照所述“文献-用户-文献”元路径获取的矩阵数据作为文献结构特征源数据；
将所述用户结构特征源数据以及所述献结构特征源数据通过类型转换矩阵映射到相同空间中，获得结构数据。
在其中的一个实施例中，在所述步骤S300中，所述通过自注意力机制获取结构特征数据包括以下步骤：
依据进行自注意力机制学习网络处理获得邻居节点对本地节点的重要程度；
依据对所述邻居节点对本地节点的重要程度/>进行归一化处理，获得归一化的邻居节点对本地节点的重要程度；
依据整合所述本地节点的全部归一化的邻居节点对本地节点的重要程度及其权重系数并与所述本地节点的属性向量进行拼接，获得所述结构特征数据。
在其中的一个实施例中，在所述步骤S400中，所述源数据包括所述用户特征数据、所述文献特征数据、所述文献引文特征数据以及所述结构特征数据。
在其中的一个实施例中，在所述步骤S400中，将源数据进行规范化处理获得样本集之前，还包括对所述源数据进行预处理；
所述预处理包括以下步骤：
从所述按照所述“文献-用户-文献”元路径获取矩阵数据作为文献结构特征源数据获得的结构特征数据中提取用户感兴趣的历史文献列表，根据所述历史文献列表对所述文献引文特征数据进行正负样本构建，并设置判断标签的值；
其中，如果用户对某一特定文献打标签(即历史文献)，该特定文献的文献引文特征数据为正样本，设置其判断标签的值为正样本判断标签的值；如果用户未对某一特定文献打标签，该特定文献的文献引文特征数据为负样本，设置其判断标签的值为负样本判断标签的值。
在其中的一个实施例中，在所述步骤S400中，所述规范化处理包括以下步骤：
将源数据处理成<用户身份信息、用户结构嵌入表示、用户历史行为表示、待判断文献表示、判断标签>的格式，其中，
用户结构嵌入表示为将所述用户特征数据与按照所述“用户-文献-用户”元路径获取的矩阵数据作为用户结构特征源数据获得的结构特征数据进行融合获得用户结构嵌入表示；
用户历史行为表示为所述预处理过后得到的正样本的集合；
待判断文献嵌入表示为所述待判断文献的文献引文特征数据。
在其中的一个实施例中，在所述步骤S400中，所述推荐模型的处理模式如下：
将所述用户历史行为表示的正样本的集合按照时间顺序排序，截取同一时长历史文献为一组，以得到的最长的历史文献长度为长度，其余填充0，得到历史文献表示；
将所述历史文献表示通过注意力机制处理获得历史文献对不同时间序列的历史文献影响权重的集合作为用户历史行为嵌入表示；
将所述用户结构嵌入表示、所述用户历史行为嵌入表示以及待判断文献嵌入表示进行融合，并通过pooling层将拼接后的向量转化为长度为512的向量；
将所述长度为512的向量输入到两层全连接层，并通过softmax函数获得待判断文献的判断标签。
本发明还提出了一种基于异构图神经网络的文献推荐系统，所述推荐系统包括以下模块：
原始数据获取模块，所述原始数据获取模块用于获取用户特征数据以及文献特征数据；
文献引文特征数据获取模块，所述文献引文特征数据获取模块用于从所述文献特征数据中提取文献属性数据以及文献引文数据，根据所述文献属性数据以及所述文献引文数据通过图卷积神经网络获取文献引文特征数据；
结构特征数据获取模块，所述结构特征数据获取模块用于根据预设元路径提取结构数据，根据所述结构数据构建异构信息网络，并通过自注意力机制学习网络获取结构特征数据；
推荐模型训练及推荐结果获取模块，所述推荐模型训练及推荐结果获取模块用于将源数据进行规范化处理获得样本集，将所述样本集划分为训练集以及测试集，将所述训练集以及所述测试集输入至推荐模型中对所述推荐模型进行训练并获取推荐结果。
上述基于异构图神经网络的文献推荐方法及推荐系统，采取预训练和端到端相结合的数据预处理方式，通过图卷积神经网络和图注意力网络挖掘用户的结构特征数据及文献的结构特征数据，对用户进行多元化的兴趣表示，实现对用户进行个性化的推荐的目的。
进一步地，上述基于异构图神经网络的文献推荐方法及推荐系统，采取预训练和端到端相结合的数据预处理方式，通过图卷积神经网络和图注意力网络挖掘用户的属性和结构特征数据以及文献的属性和结构特征数据，同时利用融合时序的注意力机制挖掘用户随时间改变的历史行为，从而实现在属性、结构、时间三种维度挖掘用户对带判断文献的兴趣程度，进而得出更好的推荐结果，实现对用户进行更个性化、当前更感兴趣的推荐的目的。
附图说明
为了更清晰地说明本发明实施例与所设计的系统架构中的技术方案，下面结合附图对系统实施例与系统架构和技术方案中所需要的使用的附图进行简单介绍，显而易见，下面描述的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于异构图神经网络的文献推荐方法的流程图；
图2为本发明基于异构图神经网络的文献推荐方法的推荐模型框架图；
图3为本发明基于异构图神经网络的文献推荐方法的图卷积神经网络示意图；
图4为本发明基于异构图神经网络的文献推荐方法的节点级别注意力机制的示意图；
图5为本发明基于异构图神经网络的文献推荐方法的融合时序概念注意力机制的结构图。
具体实施方式
应当指明，以下详细说明的内容都是示例性的，目的是对本发明的内容进行指示性的说明，需要注意的是，本发明使用的所有技术和科学术语具有与发明所属技术领域的普通技术人员通常理解的相同含义。
下面将结合本发明实施例中的附图说明，对本发明实施例中的系统架构与现有技术中的解决方案进行清晰、完整的描述，需要注意的是，所描述的实施例仅是为了对本发明进行解释与说明，而不是全部的内容。在本发明所提供的实施例的基础上，本领域内的普通技术人员在没有做出创造性劳动的前提下所得到的其他所有实施例，都在本发明申请的保护范围之内。
请参阅图1和图2所示，本发明提出的一实施例的基于异构图神经网络的文献推荐方法，包括以下步骤：
S100，原始数据获取步骤，获取用户特征数据以及文献特征数据；
S200，文献引文特征数据获取步骤，从文献特征数据中提取文献属性数据以及文献引文数据，根据文献属性数据以及文献引文数据通过图卷积神经网络获取文献引文特征数据；
S300，结构特征数据获取步骤，根据预设元路径提取结构数据，根据结构数据构建异构信息网络，并通过自注意力机制学习网络获取结构特征数据；
S400，推荐模型训练及推荐结果获取步骤，将源数据进行规范化处理获得样本集，将样本集划分为训练集以及测试集，将训练集以及测试集输入至推荐模型中对推荐模型进行训练并获取推荐结果。
在本发明的实施例中，原始数据是从citeulike-a数据集中获取的，即从citeulike-a数据集中获取用户特征数据和文献特征数据。
citeulike-a数据集来自citeulike网站，该citeulike网站是一家提供在线文献管理服务的网站，可以帮助用户(user)管理感兴趣的文献。该citeulike-a数据集包含了5509个用户、13519个项目、5138个标签和164863个用户和文章的交互记录，除此之外，该数据集还包含论文引用数据和论文关键词数据。
上述基于异构图神经网络的文献推荐方法及推荐系统，采取预训练和端到端相结合的数据预处理方式，通过图卷积神经网络和图注意力网络挖掘用户的结构特征数据及文献的结构特征数据，对用户进行多元化的兴趣表示，实现对用户进行个性化的推荐的目的。
在步骤S100中，用户特征数据包括用户身份信息；文献特征数据包括文献身份信息、文献标签、文献引文以及文献单词包集合中的任意一种或几种。在具体应用本发明的推荐方法时，根据数据集内容的不同选择适宜的用户特征数据种类以及文献特征数据种类。
在步骤S100中，进一步可选的，用户特征数据和文献特征数据包含了身份属性类特征和多值离散特征的embedding表示。
在步骤S100中，本实施例的citeulike-a数据集提供的数据中，用户特征仅有用户身份信息(用户ID)，文献特征包含文献身份信息(paper ID/文献ID)、文献标签(文献tag)、文献引文、文献包含的单词包集合。本发明根据citeulike-a数据集中数据的特点以及所要采用的模型输入要求，将数据集中用户属性特征和文献属性特征的嵌入表示包含两种情况，第一种情况是用户ID和文献ID表示，虽然原本应该考虑文献及文献所属刊物的ID层次表示，但是数据集中未包含文献所属刊物，所以仅考虑用户ID和文献本身的文献ID表示，这时的嵌入表示采取的是端到端的表示，首先初始化用户ID和文献ID的嵌入表示矩阵，长度分为用户和文献的数量，维度设置为128，采取tf.nn.embedding_lookup接口获取目标嵌入；第二种情况是文献属性特征表示，具体为文献tag和文献包含的单词包集合表示，由于每一篇文献不止含有一个文献tag和一个单词内容，所以文献属性特征表示该数据为多值离散数据，针对这类数据，本发明首先设置了SpareTensor(多维稀疏矩阵的一种表示方式)，只记录了非0值所在的位置和值，然后初始化嵌入表示，例如，维度设置为5，并将得到的SpareTensor传入到tensorflow中的embedding_lookup_sparse的接口中，从而得到多值离散特征的嵌入表示。
在步骤S100中，需要注意的是，上述第一种情况的嵌入表示是端到端的表示，它作为网络的一部分，在整体模型训练中进行更新的；而第二种情况的表示是预训练得到嵌入表示之后再放入网络中。
在步骤S200中，作为一种可选实施方式，根据文献属性数据以及文献引文数据通过图卷积神经网络获取文献引文特征数据包括以下步骤：
根据文献属性数据构建文献属性特征矩阵；
根据文献引文数据创建文献引文图，文献引文图包括邻接矩阵和度矩阵；
将邻接矩阵与self-loop矩阵相加，获得self-loop-邻接矩阵；
对self-loop-邻接矩阵依据进行归一化特征表示，对应更改度矩阵获得self-loop-度矩阵；
将文献属性特征矩阵、self-loop-邻接矩阵以及self-loop-度矩阵输入到图卷积神经网络进行半监督训练，直至半监督训练的输出结果与文献属性数据差别最小结束训练，输出输出结果作为文献引文特征数据。
在步骤S200中，需要读取两类数据，一类是文献属性数据，一类是文献引文数据。可选的，文献属性数据由步骤S100中获取的文献特征数据和文献ID组成，文献的标签(文献label)设置为标记该文献的用户ID，表示为被同一用户标记的文献为一类，文献属性数据的输入格式为(<paper_ID><attributes><class_label>)。文献引文数据由被引用文献ID和引用文献ID组成，文献引文数据输入格式为(<cited_paper_ID><citing_paper_ID>)，其中，<cited_paper_ID>是被引用文献ID，<citing_paper_ID>是引用文献ID。在步骤S200中，首先根据文献属性数据构建文献属性特征矩阵，文献属性特征矩阵是大小为N(文献数)*F(特征数)的X，根据文献引文数据构建文献引文图，文献引文图是大小为N*N的邻接矩阵A和度矩阵D。
在步骤S200中，进一步地，为解决运算结果没有文献本身特征的问题，本发明将邻接矩阵A与self-loop矩阵相加，获得self-loop-邻接矩阵，使邻接矩阵A具备self-loop的结构。
在步骤S200中，更进一步地，为解决邻接矩阵A节点多的特征值会大、节点少的特征值会小的问题，对self-loop-邻接矩阵依据进行归一化特征表示，对应更改度矩阵获得self-loop-度矩阵/>其中，上式左侧/>是进行self-loop操作完的self-loop-邻接矩阵，/>是对/>对应更改后的度矩阵。
在步骤S200中，对文献属性数据以及文献引文数据进行上述处理后，将得到的文献属性特征矩阵X、self-loop-邻接矩阵以及self-loop-度矩阵/>输入到图卷积神经网络(GNN)进行半监督训练，直至半监督训练的输出结果与文献属性数据差别最小结束训练，输出的输出结果作为文献引文特征数据。
在步骤S200中，请参阅图3所示，可选的，图卷积神经网络模型的原理如下式所示：
其中，权重W(0)和W(0)分别是输入层到隐藏层的权值矩阵和隐藏层到输入层的权值矩阵；W(0)的大小为F1*H，F1是输入数据的特征数，H为隐藏层的设定的特征数；W(1)的大小为H*F2，F2是输出的类别数。
通过半监督训练使半监督训练的输出结果与文献属性数据差别最小结束训练，最终输出隐藏层的嵌入表示，作为文献引文特征数据(文献的嵌入表示)。
在步骤S300中，首先根据预设元路径从citeulike-a数据集中提取结构数据。其中，预设元路径包括“用户-文献-用户”元路径以及“文献-用户-文献”元路径；“用户-文献-用户”元路径为对同一文献打标签的用户，按照“用户-文献-用户”元路径获取的矩阵数据作为用户结构特征源数据；“文献-用户-文献”元路径为被同一用户打标签的文献，按照“文献-用户-文献”元路径获取的矩阵数据作为文献结构特征源数据。
在构建异构信息网络的结构特征嵌入表示之前，由于不同类型节点有不同的特征空间，即按照“用户-文献-用户”元路径获取的用户结构特征源数据与按照“文献-用户-文献”元路径获取的文献结构特征源数据的特征空间不同，需要将“用户”类型的节点和“文献”类型的节点映射到相同的空间中，
在本实施例中，类型转换矩阵来将不同类型的节点映射到相同空间中，可选的实现的公式如下：
其中，为转换矩阵，hi和h′i分别为转换前后的节点i的特征。
通过转换矩阵将用户结构特征源数据和文献结构特征源数据映射到相同空间中，获得结构数据。
在步骤S300中，通过自注意力机制获取结构特征数据包括以下步骤：
首先，请参阅图4所示，采用自注意力机制学习针对一个节点的不同邻居节点的权重，例如，给定一个通过元路径“文献-用户-文献”获得的节点对(i,j)，表示论文节点j对论文节点i的重要程度，依据/>进行自注意力机制学习网络处理获得邻居节点对本地节点的重要程度/>
其中，attnode表示采用自注意力机制的深度学习网络，并且attnode被基于元路径Φ的节点对共享，在上式中，是不对称的，也就是说节点j对节点i的重要程度和节点i对节点j的重要程度是不一样的。
然后，对获取的利用softmax函数进行归一化操作，依据
对邻居节点对本地节点的重要程度/>进行归一化处理，获得归一化的邻居节点对本地节点的重要程度；
其中，σ代表激活函数，||代表链接操作，代表节点之间的注意力向量。
最后，整合文献节点i的全部的邻居节点及其权重系数来更新该文献节点i的嵌入表示，并与该节点i的属性向量进行拼接，即依据整合本地节点的全部归一化的邻居节点对本地节点i的重要程度及其权重系数并与本地节点i的属性向量进行拼接，获得结构特征数据；
其中，Xi为节点i的属性特征。
通过自注意力机制获取不同邻居节点对本地节点的影响程度，能够更好地表示用户结构特征和文献结构特征。
在步骤S400中，可选的，源数据包括用户特征数据、文献特征数据、文献引文特征数据以及结构特征数据。
在步骤S400中，进一步可选的，将源数据进行规范化处理获得样本集之前，还包括对源数据进行预处理；
预处理包括以下步骤：
从按照“文献-用户-文献”元路径获取矩阵数据作为文献结构特征源数据获得的结构特征数据中提取用户感兴趣的历史文献列表，根据历史文献列表对文献引文特征数据进行正负样本构建，并设置判断标签的值；
其中，如果用户对某一特定文献打标签(即历史文献)，该特定文献的文献引文特征数据为正样本，设置其判断标签的值为正样本判断标签的值；如果用户未对某一特定文献打标签，该特定文献的文献引文特征数据为负样本，设置其判断标签的值为负样本判断标签的值。
在步骤S400中，进一步优选的，对预处理后的源数据进行规范化处理，规范化处理包括以下步骤：
将源数据处理成<用户身份信息、用户结构嵌入表示、用户历史行为表示、待判断文献表示、判断标签>的格式，其中，
用户结构嵌入表示为将用户特征数据与按照“用户-文献-用户”元路径获取的矩阵数据作为用户结构特征源数据获得的结构特征数据进行融合获得用户结构嵌入表示；
用户历史行为表示为预处理过后得到的正样本的集合；
待判断文献嵌入表示为待判断文献的文献引文特征数据。
例如，对于某一用户获取他的个人用户特征的embedding和通过元路径得到的节点embedding，对这两部分进行常规的融合连接(concat)，得到用户结构嵌入表示；
用户历史行为表示为某一用户的预处理过后得到的正样本的集合，即用户打标签的历史文献表示集合。
在步骤S400中，将样本集划分为训练集以及测试集的方法为对输入文献特征数据进行正负样本采集，并设置判断标签的值，如果用户对待判断文献打标签，该文献特征数据为正样本；如果用户未对待判断文献打标签，则该数据为负样本。之后按照80％的比例随机将正负样本划分成训练集，剩下的即为测试集。
在步骤S400中，请参阅图2、图4和图5所示，该模型融入了注意力机制，达到获取当前文献对历史文献的影响权重的目标，从而更好通过嵌入式表现出用户的历史行为特征。其处理模式如下：
推荐模型的注意力融合机制如图5所示，是一种具有明显时序特点的注意力机制的本地激活单元。
首先，将输入的用户历史行为表示的正样本的集合按照时间顺序排序，按照同一时间长度进行划分，形成多个维度，截取同一时长历史文献为一组(一个维度)，每一维度的数据以得到的最长的历史文献长度为长度，不满这一长度的维度通过填充0的方式进行规则化，即其余的维度填充0，得到历史文献表示；同时对候选文献(待判断文献)按照同样的维度数进行复制，与历史文献表示对应。
其次，将历史文献表示输入到注意力单元中，获取到一个表示，再经过一个注意力单元，得到最终的权重，由于每个用户的历史论文的个数不一样，也就是用户的历史行为的维度不一样，所以将每个用户的行为向量采用Pooling的操作映射到固定长度的向量中。然后将这一固定长度的向量与历史论文通过引文网络进行embedding后的向量进行加权连接，
即也就是说，将历史文献表示通过注意力机制处理获得历史文献对不同时间序列的历史文献影响权重的集合作为用户历史行为嵌入表示；即针对每一维度的数据按照输入到本地激活单元中获取当前文献对历史文献的影响程度，其中，需要注意的是，a(·)是一个输出为激活权重的前馈网络，输入为历史文献数据的嵌入表示和当前待判断文献的嵌入表示，并且，这里采取掩藏码(mask)机制仅抽取有历史文献的部分通过softmax函数进行归一化处理，softmax函数为/>其中，N为通过掩藏码机制获取到的权重集合，wij和w′ij分别表示为转换前后的序列i的第j个历史文献的权重。
再通过一个本地激活单元集合，获取当前文献对不同序列的历史数据的影响程度：
其中，∑jwj＝1的限制不存在，这一做法可以看作是激活用户在时间维度上的兴趣强度的近似值。
完成上述的权重单元计算后，将用户结构嵌入表示、用户历史行为嵌入表示以及待判断文献嵌入表示进行融合，并通过pooling层将拼接后的向量转化为长度为512的向量e＝pooling(eu，μ(A)，et)，其中，eu为用户结构嵌入表示，μ(A)为用户历史行为嵌入表示，et为当前的待判断文献的嵌入表示。
将长度为512的向量输入到两层全连接层，经过Dice激活函数处理，并通过softmax函数层获得待判断文献的判断标签。例如，设置的softmax为2维的，判断结果为0时说明用户对该科技文献不感兴趣，判断结果为1时说明该用户对该科技文献感兴趣。
在该实施例中，主要从属性、空间、时间维度对文献本身与用户个人之间的兴趣进行深入挖掘，并且在一定的设计上，使得文献的属性特征影响着文献的空间特征，文献的属性特征和空间特征又在一定程度上影响着用户时间上的特征，与现实世界的逻辑相符。并且本发明的如图5所示层次注意力机制首次将异构文献信息和属性信息结合在一起，使得最终的嵌入表示中不仅包含了用户随时间的兴趣侧重，还包含了由不同元路径提取出来的扩展信息，提高了推荐过程中的可扩展性，例如文献引文网络、“用户-论文-用户”和“论文-用户-论文”的元路径下提取出来的结构信息，可以扩展用户之间的联系和论文之间的联系，从而将该用户之前未注意到的文献的引文在一定程度上推荐给用户。
本发明的第二大方面还提出了一种基于异构图神经网络的文献推荐系统，推荐系统包括以下模块：
原始数据获取模块，原始数据获取模块用于获取用户特征数据以及文献特征数据；
文献引文特征数据获取模块，文献引文特征数据获取模块用于从文献特征数据中提取文献属性数据以及文献引文数据，根据文献属性数据以及文献引文数据通过图卷积神经网络获取文献引文特征数据；
结构特征数据获取模块，结构特征数据获取模块用于根据预设元路径提取结构数据，根据结构数据构建异构信息网络，并通过自注意力机制学习网络获取结构特征数据；
推荐模型训练及推荐结果获取模块，推荐模型训练及推荐结果获取模块用于将源数据进行规范化处理获得样本集，将样本集划分为训练集以及测试集，将训练集以及测试集输入至推荐模型中对推荐模型进行训练并获取推荐结果。
本发明的基于异构图神经网络的文献推荐推荐系统，实在基于异构图神经网络的文献推荐推荐方法的基础上实现的，其采取预训练和端到端相结合的数据预处理方式，通过图卷积神经网络和图注意力网络挖掘用户的结构特征数据及文献的结构特征数据，对用户进行多元化的兴趣表示，实现对用户进行个性化的推荐的目的。
进一步地，上述基于异构图神经网络的文献推荐系统，采取预训练和端到端相结合的数据预处理方式，通过图卷积神经网络和图注意力网络挖掘用户的属性和结构特征数据以及文献的属性和结构特征数据，同时利用融合时序的注意力机制挖掘用户随时间改变的历史行为，从而实现在属性、结构、时间三种维度挖掘用户对带判断文献的兴趣程度，进而得出更好的推荐结果，实现对用户进行更个性化、当前更感兴趣的推荐的目的。
关于本发明的基于异构图神经网络的文献推荐系统的具体实现方式，在所述基于异构图神经网络的文献推荐方法中已经进行了详细的描述，在此不再赘述。
对所公开的上述实施例的说明，为了便于本领域专业技术人员能够实现或使用本发明，对上述实施例的修改或拓展到其他电子商务平台的应用对本领域的专业技术人员来说是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中应用。因此，本发明将不会被限制于上述的实施例，而是符合本发明所公开的技术原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于异构图神经网络的文献推荐方法，其特征在于，所述推荐方法包括以下步骤：
S100，原始数据获取步骤，获取用户特征数据以及文献特征数据；
S200，文献引文特征数据获取步骤，从所述文献特征数据中提取文献属性数据以及文献引文数据，根据所述文献属性数据以及所述文献引文数据通过图卷积神经网络获取文献引文特征数据；
S300，结构特征数据获取步骤，根据预设元路径提取结构数据，根据所述结构数据构建异构信息网络，并通过自注意力机制学习网络获取结构特征数据；
S400，推荐模型训练及推荐结果获取步骤，将源数据进行规范化处理获得样本集，将所述样本集划分为训练集以及测试集，将所述训练集以及所述测试集输入至推荐模型中对所述推荐模型进行训练并获取推荐结果；
在步骤S300中，所述预设元路径包括“用户-文献-用户”元路径以及“文献-用户-文献”元路径；
所述“用户-文献-用户”元路径为对同一文献打标签的用户，按照所述“用户-文献-用户”元路径获取的矩阵数据作为用户结构特征源数据；
所述“文献-用户-文献”元路径为被同一用户打标签的文献，按照所述“文献-用户-文献”元路径获取的矩阵数据作为文献结构特征源数据；
将所述用户结构特征源数据以及所述文献结构特征源数据通过类型转换矩阵映射到相同空间中，获得结构数据；
在步骤S400中，所述源数据包括所述用户特征数据、所述文献特征数据、所述文献引文特征数据以及所述结构特征数据；
在步骤S400中，将源数据进行规范化处理获得样本集之前，还包括对所述源数据进行预处理；
所述预处理包括以下步骤：
从按照所述“文献-用户-文献”元路径获取矩阵数据作为文献结构特征源数据获得的结构特征数据中提取用户感兴趣的历史文献列表，根据所述历史文献列表对所述文献引文特征数据进行正负样本构建，并设置判断标签的值；
其中，如果用户对历史文献打标签，该历史文献的文献引文特征数据为正样本，设置其判断标签的值为正样本判断标签的值；如果用户未对历史文献打标签，该历史文献的文献引文特征数据为负样本，设置其判断标签的值为负样本判断标签的值；
在步骤S400中，所述规范化处理包括以下步骤：
将源数据处理成<用户身份信息、用户结构嵌入表示、用户历史行为表示、待判断文献表示、判断标签>的格式，其中，
用户结构嵌入表示为将所述用户特征数据与按照所述“用户-文献-用户”元路径获取的矩阵数据作为用户结构特征源数据获得的结构特征数据进行融合获得用户结构嵌入表示；
用户历史行为表示为所述预处理过后得到的正样本的集合；
待判断文献嵌入表示为所述待判断文献的文献引文特征数据；
在步骤S400中，所述推荐模型的处理模式如下：
将所述用户历史行为表示的正样本的集合按照时间顺序排序，截取同一时长历史文献为一组，以得到的最长的历史文献长度为长度，其余填充0，得到历史文献表示；
将所述历史文献表示通过注意力机制处理获得历史文献对不同时间序列的历史文献影响权重的集合作为用户历史行为嵌入表示；
将所述用户结构嵌入表示、所述用户历史行为嵌入表示以及待判断文献嵌入表示进行融合，并通过pooling层将拼接后的向量转化为长度为512的向量；
将所述长度为512的向量输入到两层全连接层，并通过softmax函数获得待判断文献的判断标签。
2.根据权利要求1所述的基于异构图神经网络的文献推荐方法，其特征在于，在步骤S100中，所述用户特征数据包括用户身份信息；所述文献特征数据包括文献身份信息、文献标签、文献引文以及文献单词包集合中的任意一种或多种。
3.根据权利要求2所述的基于异构图神经网络的文献推荐方法，其特征在于，在步骤S200中，所述根据所述文献属性数据以及所述文献引文数据通过图卷积神经网络获取文献引文特征数据包括以下步骤：
根据所述文献属性数据构建文献属性特征矩阵；
根据所述文献引文数据创建文献引文图，所述文献引文图包括邻接矩阵和度矩阵；
将所述邻接矩阵与self-loop相加，获得self-loop-邻接矩阵；
对所述self-loop-邻接矩阵依据进行归一化特征表示，对应更改度矩阵获得self-loop-度矩阵；
将所述文献属性特征矩阵、所述self-loop-邻接矩阵以及所述self-loop-度矩阵输入到所述图卷积神经网络进行半监督训练，直至所述半监督训练的输出结果与所述文献属性数据差别最小结束训练，输出所述输出结果作为文献引文特征数据。
4.一种基于异构图神经网络的文献推荐系统，其特征在于，所述推荐系统包括以下模块：
原始数据获取模块，所述原始数据获取模块用于获取用户特征数据以及文献特征数据；
文献引文特征数据获取模块，所述文献引文特征数据获取模块用于从所述文献特征数据中提取文献属性数据以及文献引文数据，根据所述文献属性数据以及所述文献引文数据通过图卷积神经网络获取文献引文特征数据；
结构特征数据获取模块，所述结构特征数据获取模块用于根据预设元路径提取结构数据，根据所述结构数据构建异构信息网络，并通过自注意力机制学习网络获取结构特征数据；
推荐模型训练及推荐结果获取模块，所述推荐模型训练及推荐结果获取模块用于将源数据进行规范化处理获得样本集，将所述样本集划分为训练集以及测试集，将所述训练集以及所述测试集输入至推荐模型中对所述推荐模型进行训练并获取推荐结果；
所述预设元路径包括“用户-文献-用户”元路径以及“文献-用户-文献”元路径；
所述“用户-文献-用户”元路径为对同一文献打标签的用户，按照所述“用户-文献-用户”元路径获取的矩阵数据作为用户结构特征源数据；
所述“文献-用户-文献”元路径为被同一用户打标签的文献，按照所述“文献-用户-文献”元路径获取的矩阵数据作为文献结构特征源数据；
将所述用户结构特征源数据以及所述文献结构特征源数据通过类型转换矩阵映射到相同空间中，获得结构数据；
所述源数据包括所述用户特征数据、所述文献特征数据、所述文献引文特征数据以及所述结构特征数据；
将源数据进行规范化处理获得样本集之前，还包括对所述源数据进行预处理；
所述预处理包括以下步骤：
从按照所述“文献-用户-文献”元路径获取矩阵数据作为文献结构特征源数据获得的结构特征数据中提取用户感兴趣的历史文献列表，根据所述历史文献列表对所述文献引文特征数据进行正负样本构建，并设置判断标签的值；
其中，如果用户对历史文献打标签，该历史文献的文献引文特征数据为正样本，设置其判断标签的值为正样本判断标签的值；如果用户未对历史文献打标签，该历史文献的文献引文特征数据为负样本，设置其判断标签的值为负样本判断标签的值；
所述规范化处理包括以下步骤：
将源数据处理成<用户身份信息、用户结构嵌入表示、用户历史行为表示、待判断文献表示、判断标签>的格式，其中，
用户结构嵌入表示为将所述用户特征数据与按照所述“用户-文献-用户”元路径获取的矩阵数据作为用户结构特征源数据获得的结构特征数据进行融合获得用户结构嵌入表示；
用户历史行为表示为所述预处理过后得到的正样本的集合；
待判断文献嵌入表示为所述待判断文献的文献引文特征数据；
所述推荐模型的处理模式如下：
将所述用户历史行为表示的正样本的集合按照时间顺序排序，截取同一时长历史文献为一组，以得到的最长的历史文献长度为长度，其余填充0，得到历史文献表示；
将所述历史文献表示通过注意力机制处理获得历史文献对不同时间序列的历史文献影响权重的集合作为用户历史行为嵌入表示；
将所述用户结构嵌入表示、所述用户历史行为嵌入表示以及待判断文献嵌入表示进行融合，并通过pooling层将拼接后的向量转化为长度为512的向量；
将所述长度为512的向量输入到两层全连接层，并通过softmax函数获得待判断文献的判断标签。
CN202011278839.3A 2020-11-16 2020-11-16 基于异构图神经网络的文献推荐方法及推荐系统 Active CN112380435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011278839.3A CN112380435B (zh) 2020-11-16 2020-11-16 基于异构图神经网络的文献推荐方法及推荐系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011278839.3A CN112380435B (zh) 2020-11-16 2020-11-16 基于异构图神经网络的文献推荐方法及推荐系统

Publications (2)

Publication Number Publication Date
CN112380435A CN112380435A (zh) 2021-02-19
CN112380435B true CN112380435B (zh) 2024-05-07

Family

ID=74585426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011278839.3A Active CN112380435B (zh) 2020-11-16 2020-11-16 基于异构图神经网络的文献推荐方法及推荐系统

Country Status (1)

Country Link
CN (1) CN112380435B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157957A (zh) * 2021-03-05 2021-07-23 北京工业大学 一种基于图卷积神经网络的属性图文献聚类方法
CN113191838B (zh) * 2021-04-09 2024-01-30 山东师范大学 一种基于异质图神经网络的购物推荐方法及系统
CN113326425B (zh) * 2021-04-20 2022-09-20 中国电子科技集团公司第五十四研究所 一种基于结构和语义注意力堆叠的会话推荐方法及系统
CN113127632B (zh) * 2021-05-17 2022-07-26 同济大学 基于异质图的文本摘要方法及装置、存储介质和终端
CN113297490B (zh) * 2021-06-04 2022-08-02 西南大学 基于图卷积神经网络的双向推荐方法
CN113254803B (zh) * 2021-06-24 2021-10-22 暨南大学 一种基于多特征异质图神经网络的社交推荐方法
CN113627463A (zh) * 2021-06-24 2021-11-09 浙江师范大学 基于多视图对比学习的引文网络图表示学习系统及方法
CN114417161B (zh) * 2022-01-21 2023-04-07 杭州碧游信息技术有限公司 基于异构图的虚拟物品时序推荐方法、装置、介质及设备
CN114610989B (zh) * 2022-02-23 2022-11-18 苏州大学 基于异构图动态信息补偿的个性化论文推荐方法及系统
CN114743053B (zh) * 2022-04-14 2023-04-25 电子科技大学 基于图神经网络和自注意力的磁共振影像辅助处理系统
CN115186086B (zh) * 2022-06-27 2023-08-08 长安大学 一种异构环境下嵌入预期价值的文献推荐方法
CN116821512B (zh) * 2023-08-25 2024-02-20 深圳唯爱智云科技有限公司 推荐模型训练方法及装置、推荐方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589948A (zh) * 2015-12-18 2016-05-18 重庆邮电大学 一种文献引用网络可视化及文献推荐方法及系统
CN110516146A (zh) * 2019-07-15 2019-11-29 中国科学院计算机网络信息中心 一种基于异质图卷积神经网络嵌入的作者名字消歧方法
CN111429234A (zh) * 2020-04-16 2020-07-17 电子科技大学中山学院 一种基于深度学习的商品序列推荐方法
WO2020147594A1 (zh) * 2019-01-16 2020-07-23 阿里巴巴集团控股有限公司 获取实体间关系表达的方法、系统和设备、广告召回系统
CN111581401A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于深度相关性匹配的局部引文推荐系统及方法
CN111611410A (zh) * 2020-06-23 2020-09-01 中国人民解放军国防科技大学 基于多层网络空间知识表示的知识处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589948A (zh) * 2015-12-18 2016-05-18 重庆邮电大学 一种文献引用网络可视化及文献推荐方法及系统
WO2020147594A1 (zh) * 2019-01-16 2020-07-23 阿里巴巴集团控股有限公司 获取实体间关系表达的方法、系统和设备、广告召回系统
CN110516146A (zh) * 2019-07-15 2019-11-29 中国科学院计算机网络信息中心 一种基于异质图卷积神经网络嵌入的作者名字消歧方法
CN111429234A (zh) * 2020-04-16 2020-07-17 电子科技大学中山学院 一种基于深度学习的商品序列推荐方法
CN111581401A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于深度相关性匹配的局部引文推荐系统及方法
CN111611410A (zh) * 2020-06-23 2020-09-01 中国人民解放军国防科技大学 基于多层网络空间知识表示的知识处理方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
信息网络表示学习方法综述;鲁军豪等;河北科技大学学报;20200229;第41卷(第2期);全文 *
基于排序学习的推荐算法研究综述;黄震华等;软件学报;20160331;第27卷(第3期);全文 *
多任务及Resnet网络在人脸多属性识别中的应用;徐培超;陈雯柏;陈祥凤;韩琥;;小型微型计算机系统;20181211(第12期);全文 *

Also Published As

Publication number Publication date
CN112380435A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112380435B (zh) 基于异构图神经网络的文献推荐方法及推荐系统
CN111061856B (zh) 一种基于知识感知的新闻推荐方法
CN112084331A (zh) 文本处理、模型训练方法、装置、计算机设备和存储介质
CN112214685A (zh) 一种基于知识图谱的个性化推荐方法
CN113569001A (zh) 文本处理方法、装置、计算机设备及计算机可读存储介质
CN113392651A (zh) 训练词权重模型及提取核心词的方法、装置、设备和介质
CN112417097A (zh) 一种用于舆情解析的多模态数据特征提取与关联方法
Han et al. Augmented sentiment representation by learning context information
CN111625715A (zh) 信息提取方法、装置、电子设备及存储介质
CN114818737B (zh) 科技论文数据文本语义特征提取方法、系统及存储介质
CN113254652A (zh) 一种基于超图注意力网络的社交媒体贴文真实性检测方法
CN115687760A (zh) 一种基于图神经网络的用户学习兴趣标签预测方法
CN113254649B (zh) 敏感内容识别模型的训练方法、文本识别方法及相关装置
CN117574915A (zh) 基于多方数据源的公共数据平台及其数据分析方法
CN114610989B (zh) 基于异构图动态信息补偿的个性化论文推荐方法及系统
CN113741759B (zh) 评论信息的展示方法、装置、计算机设备和存储介质
CN115630223A (zh) 基于多模型融合的服务推荐方法及推荐系统
CN112989024B (zh) 文本内容的关系提取方法、装置、设备及存储介质
CN111597306B (zh) 语句识别方法和装置、存储介质及电子设备
CN113535946A (zh) 基于深度学习的文本鉴别方法、装置、设备及存储介质
CN111737591A (zh) 一种基于异质重边信息网络翻译模型的产品推荐方法
CN111460169B (zh) 语义表达式生成方法、装置及设备
Yassin et al. Fuzzy ontology as a basis for recommendation Systems for Traveler’s preference
CN113792163B (zh) 多媒体推荐方法、装置、电子设备及存储介质
CN116702784B (zh) 实体链接方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant