CN113254803B - 一种基于多特征异质图神经网络的社交推荐方法 - Google Patents
一种基于多特征异质图神经网络的社交推荐方法 Download PDFInfo
- Publication number
- CN113254803B CN113254803B CN202110701053.6A CN202110701053A CN113254803B CN 113254803 B CN113254803 B CN 113254803B CN 202110701053 A CN202110701053 A CN 202110701053A CN 113254803 B CN113254803 B CN 113254803B
- Authority
- CN
- China
- Prior art keywords
- user
- feature
- topic
- attention
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 107
- 230000002776 aggregation Effects 0.000 claims abstract description 26
- 238000004220 aggregation Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 230000003997 social interaction Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000012552 review Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多特征异质图神经网络的社交推荐方法,该方法包括下述步骤:提取社交网络用户和话题的多种属性信息进行编码;将用户编码信息和话题编码信息分别通过多层感知机得到各用户和话题的初始特征向量表示;以用户和话题作为节点建立异质图,输入异质图神经网络结合注意力机制在图中进行信息传递,更新特征向量表示;对用户特征向量进行相似度计算,选择与用户向量相似度最高的top‑k用户和top‑k话题进行推荐。本发明同时提取用户和话题的多种属性信息,并将用户和话题同时作为节点建立异质图,能更全面地挖掘社交信息,通过异质图神经网络进行信息传递及聚合,深度融合用户及其兴趣话题特征,提高了推荐准确性和用户体验。
Description
技术领域
本发明涉及数据挖掘信息推荐技术领域,具体涉及一种基于多特征异质图神经网络的社交推荐方法。
背景技术
近年来,互联网和信息技术及其附属产业高速发展,互联网的服务与交易等业务越来越普及,人们也越来越倾向于借助互联网进行社交活动,由于庞大的用户群体,社交网络每天都会出现海量的用户行为信息,如用户间相互关注、评论、点赞以及在共同感兴趣的话题交流,造成了信息过载,这虽然为用户提供了丰富的信息,但也不免使得用户耗费大量时间在大量自己并不感兴趣的信息上,因此信息过载既是对用户和社交平台的挑战也是机遇。而推荐系统的出现为从大量数据信息中挖掘用户感兴趣的信息提供了解决方案,可以节省用户时间,提升用户体验,也能够增加平台对用户的粘性,提高用户满意度和平台收益。因此,运用有效的推荐系统技术,从大量用户交互信息中提取出用户感兴趣的信息并推荐给用户,对用户和社交网络平台都具有极大价值,使得社交推荐系统成为当前的一个热点研究方向。
现有的社交推荐系统技术中,大多都只较考虑到了部分的稀疏信息(如用户间的关注、评论、点赞等交互行为),没有考虑多种因素共同作用对推荐系统的影响,这样会导致对于社交网络上的信息挖掘不够充分,同时当前技术大多数都只单一的关注用户交互或用户感兴趣主题,这也会带来信息的丢失,具有一定的局限性。
发明内容
为了克服现有技术存在的缺陷与不足,本发明提供一种基于多特征异质图神经网络的社交推荐方法,提取用户和话题的多种特征,并同时对用户和话题建立异构图,全面挖掘社交网络交互特征信息,深度融合用户及其兴趣话题特征,从而获得更精准的社交推荐效果,提升用户体验。
为了达到上述目的,本发明采用以下技术方案:
本发明提供一种基于多特征异质图神经网络的社交推荐方法,包括下述步骤:
同时提取用户多种属性信息和话题多种属性信息,并进行编码预处理;
将编码预处理后的用户和话题的多特征编码分别输入不同的多层感知机同时训练,输出用户初始特征向量和话题初始特征向量;
将社交网络上的用户和话题同时作为节点,基于用户网络社交交互进行用户-用户连边,基于用户感兴趣话题进行用户-话题连边,对所有用户-用户边权计算后对各边的权值进行归一化,对所有用户-话题边权计算后对各边权值进行归一化,输出异质图;
构建异质图神经网络模型;
将所述异质图输入到异质图神经网络模型,对用户类型邻居节点和话题类型邻居节点分别采用不同的注意力向量计算注意力分数;
对于两种类型的注意力分数各自分别进行归一化后再统一进行归一化,得到中心节点的邻居节点集合的注意力分数;
对中心节点的各邻居节点根据其注意力分数进行特征传递并与中心节点特征进行聚合,更新中心节点特征表示,输出各用户和话题经过异质图神经网络进行信息聚合后的更新向量表示;
计算推荐的目标用户与各用户之间的特征向量相似度和各话题之间的特征向量相似度,排序后选择相似度最高的top-k用户和话题推荐给目标用户。
作为优选的技术方案,所述编码预处理具体步骤包括:
涉及到自然语言的语义信息采用word2vec方法得到embedding特征编码,具体包括:噪声信息去除、分词及停用词处理、训练数值向量化的词表示和获取语义信息的embedding编码表示;
采用离散值表示的数据进行one-hot编码。
作为优选的技术方案,所述多层感知机的各层计算公式为:
作为优选的技术方案,所述基于用户网络社交交互进行用户-用户连边,具体条件为:
若两个用户之间进行过网络社交交互则进行连边,所述网络社交交互包括关注、点赞和评论的交互;
边的权值初始化为两用户之间网络社交交互的次数。
作为优选的技术方案,所述基于用户感兴趣话题进行用户-话题连边,具体条件为:
若用户对某话题进行过关注和话题评论则进行连边,边的权值初始化为用户对话题的关注和话题评论次数。
作为优选的技术方案,所述对用户类型邻居节点和话题类型邻居节点分别采用不同的注意力向量计算注意力分数,具体计算过程为:
其中,为聚合的中心节点,为的邻居节点集合,、分别表示用户类型邻居节点、话题类型邻居节点的注意力分数,为用户类型邻居的可学习的注意力权重向量的转置,为话题类型邻居的可学习的注意力权重向量的转置,为中心节点的特征向量,为用户类型邻居节点的特征向量,为话题类型邻居节点的特征向量,为激活函数,表示的邻居节点集合中的用户类型邻居节点,表示的邻居节点集合中的话题类型邻居节点。
作为优选的技术方案,所述对于两种类型的注意力分数各自分别进行归一化后再统一进行归一化,具体计算过程为:
其中,表示softmax函数归一化后的注意力分数,表示的邻居节点集合,为的邻居节点,表示注意力分数矩阵第行列的值,、分别表示用户类型邻居节点、话题类型邻居节点的注意力分数,表示归一化后的某一特定用户类型邻居节点注意力分数,表示归一化后某一特定话题类型邻居节点注意力分数,表示归一化前的任一用户类型邻居节点注意力分数,表示归一化前的任一话题类型邻居节点注意力分数,k表示的邻居节点集合中的任一节点,i表示的邻居节点集合中的用户类型邻居节点,
作为优选的技术方案,所述对中心节点的各邻居节点根据其注意力分数进行特征传递并与中心节点特征进行聚合,更新中心节点特征表示,计算过程表示为:
其中,表示第层异质图神经网络层节点特征矩阵中节点i的特征向量,表示第层异质图神经网络层所得的节点特征矩阵,表示第层异质图神经网络层的可训练权重矩阵,表示中心节点i与其邻居节点j的注意力分数,表示激活函数,表示中心节点i的邻居节点集合。
作为优选的技术方案,所述异质图神经网络模型与多层感知机联合训练,共用训练过程中的反向传播损失,并同时更新各个参数;
将经过多层异质图神经网络层信息传递和聚合后的各用户节点和话题节点的特征向量更新到用户和话题的数据库中。
本发明还提供一种基于多特征异质图神经网络的社交推荐系统,包括:信息提取模块、编码预处理模块、初始特征向量输出模块、异质图构建模块、异质图神经网络模型构建模块、注意力分数计算模块、综合注意力分数计算模块、信息聚合及更新模块、特征向量相似度计算模块和推荐结果输出模块;
所述信息提取模块用于同时提取用户多种属性信息和话题多种属性信息;
所述编码预处理模块用于对用户多种属性信息和话题多种属性信息进行编码预处理;
所述初始特征向量输出模块用于输出初始特征向量,将编码预处理后的用户和话题的多特征编码分别输入不同的多层感知机同时训练,输出用户初始特征向量和话题初始特征向量;
所述异质图构建模块用于构建异质图,将社交网络上的用户和话题同时作为节点,基于用户网络社交交互进行用户-用户连边,基于用户感兴趣话题进行用户-话题连边,对所有用户-用户边权计算后对各边的权值进行归一化,对所有用户-话题边权计算后对各边权值进行归一化,输出异质图;
所述异质图神经网络模型构建模块用于构建异质图神经网络模型;
所述注意力分数计算模块用于将所述异质图输入到异质图神经网络模型,对用户类型邻居节点和话题类型邻居节点分别采用不同的注意力向量计算注意力分数;
所述综合注意力分数计算模块用于对于两种类型的注意力分数各自分别进行归一化后再统一进行归一化,得到中心节点的邻居节点集合的注意力分数;
所述信息聚合及更新模块用于对中心节点的各邻居节点根据其注意力分数进行特征传递并与中心节点特征进行聚合,更新中心节点特征表示,输出各用户和话题经过异质图神经网络进行信息聚合后的更新向量表示;
所述特征向量相似度计算模块用于计算推荐的目标用户与各用户之间的特征向量相似度和各话题之间的特征向量相似度;
所述推荐结果输出模块用于在排序后输出相似度最高的top-k用户和话题推荐结果。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明关注到社交网络中用户的行为特征,同时考虑社交网络中用户和话题的多种因素特征的共同作用对推荐系统的影响,更全面的挖掘用户社交网络信息。
(2)本发明将用户和话题同时作为节点建立异质图,通过异质图神经网络进行信息传递及聚合,拟合了现实社交网络的真实结构,同时关注用户交互及用户感兴趣主题,深度融合用户及其兴趣话题特征,提高了推荐的准确性和用户体验。
附图说明
图1为本发明基于多特征异质图神经网络的社交推荐方法的流程示意图;
图2为本发明多层感知机初始化特征向量的工作示意图;
图3为本发明将用户和话题作为节点建立异质图的示意图;
图4为本发明异质图神经网络的工作示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
如图1所示,本实施例提供一种基于多特征异质图神经网络的社交推荐方法,包括下述步骤:
S1:对用户和话题的多种属性信息进行提取和预处理
同时提取用户多种属性信息(如昵称,年龄,所在城市等)和话题多种属性信息(如主题,热度,简介信息等),这其中涉及到自然语言的语义信息采用word2vec方法得到embedding特征编码,其余可以用离散值表示的数据进行one-hot编码。
本实施例对用户和话题的多种属性信息进行提取和预处理,具体包括以下子步骤:
S1.1:多特征提取
同时对社交平台的用户多种属性信息(如昵称,年龄,所在城市等)和话题多种属性信息(如主题,热度,简介信息等)进行初步提取;
S1.2:embedding特征编码
对于所提取的信息,若涉及到自然语言的语义信息(如用户昵称,话题简介等),采用自然语言处理的方法得到特征编码,具体步骤为:首先对语义数据进行预处理,包括噪声信息去除、分词及停用词处理、训练数值向量化的词表示和获取语义信息的embedding编码表示;
噪声信息去除:通过正则表达式对语义信息进行预处理,将无关的噪声信息过滤,如URL,乱码字符等;
分词及停用词处理:对噪声信息去除后的语义信息,采用分词工具进行分词,将文本序列转换为分词后对应的词列表;对分词后对应的词列表,通过停用词表进行停用词处理,得到停用词去除后的词列表。
训练数值向量化的词表示:根据语义信息经过分词得到的词集合,采用word2vec神经网络特征嵌入的方法训练得到语义信息对应词列表的初始词嵌入向量,然后在每个词向量中加上表示词位置的位置向量得到融合了词位置信息的词嵌入向量。
获取语义信息的embedding编码表示:对语义信息所包含的各词的词向量进行平均池化,语义信息的embedding编码表示。
S1.3:one-hot特征编码
对于所提取的信息,对可以用离散值表示的数据进行one-hot编码(如年龄,所在城市等),例如年龄,假设社交网络上的用户群体的年龄为20-24岁,对于一个21岁的用户而言,其年龄部分的one-hot特征编码表示为[0,1,0,0,0]。
S2:获取用户和话题的初始特征向量
如图2所示,通过多层感知机初始化特征向量,对预处理后的用户和话题的多特征编码,分别输入训练用户特征向量的多层感知机和训练话题特征向量的多层感知机同时进行训练,输出用户初始特征向量和话题初始特征向量,作为异质图神经网络中用户节点和话题节点的节点特征向量。
其中,多层感知机的各层的主要计算公式为:
S3:对用户和话题建立异质图
如图3所示,从社交网络中用户的行为特征考虑,将用户和话题作为节点建立异质图,将社交网络用户和话题同时作为节点,通过用户-用户和用户-话题连边建立异质图。其中用户-用户的连边条件为:若两个用户之间进行过包括关注、点赞和评论的交互,则进行连边,边的权值初始化为两用户之间关注、点赞和评论的次数,对所有用户-用户边权计算后再对各边的权值进行归一化。用户-话题的连边条件为:若用户对某话题进行过关注和话题评论,则进行连边,边的权值初始化为用户对话题的关注和话题评论次数,对所有用户-话题边权计算后再对各边权值进行归一化,得到用户-话题异质图。这种建图方式拟合了现实社交网络的真实结构,同时关注社交网络中最重要的用户交互及用户感兴趣主题,而关注到用户具体操作的细粒度连边方式,更加全面细致地考虑用户行为特征,有助于后续的模型深度融合用户及其兴趣话题特征。
其中归一化采用min-max normalization的方式,具体公式为:
用户-用户类型的边权和用户-话题类型的边权分别各自进行归一化,相较于两种类型边权一起进行归一化,有助于缓和不同类型边权间的差异,并保持不同类型边权所特有的信息,更好地统一后续两种类型边权的操作。
S4:建立异质图神经网络模型
如图4所示,将所建立的用户-话题异质图输入异质图神经网络模型,对用户类型邻居节点和话题类型邻居节点分别通过注意力机制采用不同的注意力向量计算注意力分数,对于两种类型的注意力分数各自分别进行归一化后再统一进行归一化,结合两种类型中各节点的注意力分数进行邻居节点信息传递和聚合,输出各用户和话题经过异质图神经网络进行信息聚合后的更新向量表示。
步骤S4建立异质图神经网络模型,具体包括以下子步骤:
S4.1:计算用户类型邻居节点和话题类型邻居节点注意力分数
对于进行信息聚合的中心节点,其邻居节点类型可能是用户类型节点也可能是话题类型节点,对于两种不同类型的邻居节点,分别采用各自的注意力机制计算其注意力分数,具体计算过程为:
其中,为聚合的中心节点,为的邻居节点集合,、分别表示用户类型邻居节点、话题类型邻居节点的注意力分数,为用户类型邻居的可学习的注意力权重向量的转置,为话题类型邻居的可学习的注意力权重向量的转置,为中心节点的特征向量,为用户类型邻居节点的特征向量,为话题类型邻居节点的特征向量,为激活函数,表示的邻居节点集合中的用户类型邻居节点,表示的邻居节点集合中的话题类型邻居节点。
S4.2:综合注意力分数
对于用户类型节点和话题类型节点的注意力分数分别进行归一化,得到各自类型归一化注意力分数,再通过一次softmax归一化综合得到中心节点的邻居节点集合的注意力分数,更好地保持各类型的注意力分数分布,具体计算过程为:
其中,为softmax函数归一化后的注意力分数,表示注意力分数矩阵第行列的值,为的邻居节点,表示的邻居节点集合,、分别表示用户类型邻居节点、话题类型邻居节点的注意力分数,表示归一化后的某一特定用户类型邻居节点注意力分数,表示归一化后某一特定话题类型邻居节点注意力分数,表示归一化前的任一用户类型邻居节点注意力分数,表示归一化前的任一话题类型邻居节点注意力分数,k表示的邻居节点集合中的任一节点,i表示的邻居节点集合中的用户类型邻居节点,j表示的邻居节点集合中的话题类型邻居节点,表示归一化后的任一邻居节点注意力分数。
S4.3:信息聚合及更新
对中心节点的各邻居节点根据其注意力分数进行特征传递并与中心节点特征进行聚合,更新中心节点特征表示,具体计算过程为:
其中,表示第层异质图神经网络层节点特征矩阵中节点i的特征向量,表示第层异质图神经网络层所得的节点特征矩阵,当时,为节点初始特征向量所构成的矩阵,表示第层异质图神经网络层的可训练权重矩阵,表示中心节点i与其邻居节点j的注意力分数,为激活函数,表示中心节点i的邻居节点集合。
训练过程中,此部分的异质图神经网络模型与前面的多层感知机模型一起进行联合训练,即此部分异质图神经网络模型和之前的多层感知机模型共用训练过程中的反向传播损失,并同时更新模型的各部分参数。
S5:top-k向量相似度的用户和话题推荐
对于要进行推荐的目标用户,计算其与各用户之间的特征向量相似度和各话题之间的特征向量相似度,排序后选择相似度最高的top-k用户和话题推荐给目标用户。
向量相似度的计算方式为:
实施例2
本实施例提供一种基于多特征异质图神经网络的社交推荐系统,包括:信息提取模块、编码预处理模块、初始特征向量输出模块、异质图构建模块、异质图神经网络模型构建模块、注意力分数计算模块、综合注意力分数计算模块、信息聚合及更新模块、特征向量相似度计算模块和推荐结果输出模块;
在本实施例中,信息提取模块用于同时提取用户多种属性信息和话题多种属性信息;
在本实施例中,编码预处理模块用于对用户多种属性信息和话题多种属性信息进行编码预处理;
在本实施例中,初始特征向量输出模块用于输出初始特征向量,将编码预处理后的用户和话题的多特征编码分别输入不同的多层感知机同时训练,输出用户初始特征向量和话题初始特征向量;
在本实施例中,异质图构建模块用于构建异质图,将社交网络上的用户和话题同时作为节点,基于用户网络社交交互进行用户-用户连边,基于用户感兴趣话题进行用户-话题连边,对所有用户-用户边权计算后对各边的权值进行归一化,对所有用户-话题边权计算后对各边权值进行归一化,输出异质图;
在本实施例中,异质图神经网络模型构建模块用于构建异质图神经网络模型;
在本实施例中,注意力分数计算模块用于将所述异质图输入到异质图神经网络模型,对用户类型邻居节点和话题类型邻居节点分别采用不同的注意力向量计算注意力分数;
在本实施例中,综合注意力分数计算模块用于对于两种类型的注意力分数各自分别进行归一化后再统一进行归一化,得到中心节点的邻居节点集合的注意力分数;
在本实施例中,信息聚合及更新模块用于对中心节点的各邻居节点根据其注意力分数进行特征传递并与中心节点特征进行聚合,更新中心节点特征表示,输出各用户和话题经过异质图神经网络进行信息聚合后的更新向量表示;
在本实施例中,特征向量相似度计算模块用于计算推荐的目标用户与各用户之间的特征向量相似度和各话题之间的特征向量相似度;
在本实施例中,推荐结果输出模块用于在排序后输出相似度最高的top-k用户和话题推荐结果。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种基于多特征异质图神经网络的社交推荐方法,其特征在于,包括下述步骤:
同时提取用户多种属性信息和话题多种属性信息,并进行编码预处理;
将编码预处理后的用户和话题的多特征编码分别输入不同的多层感知机同时训练,输出用户初始特征向量和话题初始特征向量;
将社交网络上的用户和话题同时作为节点,基于用户网络社交交互进行用户-用户连边,基于用户感兴趣话题进行用户-话题连边,对所有用户-用户边权计算后对各边的权值进行归一化,对所有用户-话题边权计算后对各边权值进行归一化,输出异质图;
构建异质图神经网络模型;
将所述异质图输入到异质图神经网络模型,对用户类型邻居节点和话题类型邻居节点分别采用不同的注意力向量计算注意力分数;
对于两种类型的注意力分数各自分别进行归一化后再统一进行归一化,得到中心节点的邻居节点集合的注意力分数;
对中心节点的各邻居节点根据其注意力分数进行特征传递并与中心节点特征进行聚合,更新中心节点特征表示,输出各用户和话题经过异质图神经网络进行信息聚合后的更新向量表示;
计算推荐的目标用户与各用户之间的特征向量相似度和各话题之间的特征向量相似度,排序后选择相似度最高的top-k用户和话题推荐给目标用户。
2.根据权利要求1所述的基于多特征异质图神经网络的社交推荐方法,其特征在于,所述编码预处理具体步骤包括:
涉及到自然语言的语义信息采用word2vec方法得到embedding特征编码,具体包括:噪声信息去除、分词及停用词处理、训练数值向量化的词表示和获取语义信息的embedding编码表示;
采用离散值表示的数据进行one-hot编码。
4.根据权利要求1所述的基于多特征异质图神经网络的社交推荐方法,其特征在于,所述基于用户网络社交交互进行用户-用户连边,具体条件为:
若两个用户之间进行过网络社交交互则进行连边,所述网络社交交互包括关注、点赞和评论的交互;
边的权值初始化为两用户之间网络社交交互的次数。
5.根据权利要求1或4所述的基于多特征异质图神经网络的社交推荐方法,其特征在于,所述基于用户感兴趣话题进行用户-话题连边,具体条件为:
若用户对某话题进行过关注和话题评论则进行连边,边的权值初始化为用户对话题的关注和话题评论次数。
7.根据权利要求1所述的基于多特征异质图神经网络的社交推荐方法,其特征在于,所述对于两种类型的注意力分数各自分别进行归一化后再统一进行归一化,具体计算过程为:
9.根据权利要求1所述的基于多特征异质图神经网络的社交推荐方法,其特征在于,所述异质图神经网络模型与多层感知机联合训练,共用训练过程中的反向传播损失,并同时更新各个参数;
将经过多层异质图神经网络层信息传递和聚合后的各用户节点和话题节点的特征向量更新到用户和话题的数据库中。
10.一种基于多特征异质图神经网络的社交推荐系统,其特征在于,包括:信息提取模块、编码预处理模块、初始特征向量输出模块、异质图构建模块、异质图神经网络模型构建模块、注意力分数计算模块、综合注意力分数计算模块、信息聚合及更新模块、特征向量相似度计算模块和推荐结果输出模块;
所述信息提取模块用于同时提取用户多种属性信息和话题多种属性信息;
所述编码预处理模块用于对用户多种属性信息和话题多种属性信息进行编码预处理;
所述初始特征向量输出模块用于输出初始特征向量,将编码预处理后的用户和话题的多特征编码分别输入不同的多层感知机同时训练,输出用户初始特征向量和话题初始特征向量;
所述异质图构建模块用于构建异质图,将社交网络上的用户和话题同时作为节点,基于用户网络社交交互进行用户-用户连边,基于用户感兴趣话题进行用户-话题连边,对所有用户-用户边权计算后对各边的权值进行归一化,对所有用户-话题边权计算后对各边权值进行归一化,输出异质图;
所述异质图神经网络模型构建模块用于构建异质图神经网络模型;
所述注意力分数计算模块用于将所述异质图输入到异质图神经网络模型,对用户类型邻居节点和话题类型邻居节点分别采用不同的注意力向量计算注意力分数;
所述综合注意力分数计算模块用于对于两种类型的注意力分数各自分别进行归一化后再统一进行归一化,得到中心节点的邻居节点集合的注意力分数;
所述信息聚合及更新模块用于对中心节点的各邻居节点根据其注意力分数进行特征传递并与中心节点特征进行聚合,更新中心节点特征表示,输出各用户和话题经过异质图神经网络进行信息聚合后的更新向量表示;
所述特征向量相似度计算模块用于计算推荐的目标用户与各用户之间的特征向量相似度和各话题之间的特征向量相似度;
所述推荐结果输出模块用于在排序后输出相似度最高的top-k用户和话题推荐结果。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110701053.6A CN113254803B (zh) | 2021-06-24 | 2021-06-24 | 一种基于多特征异质图神经网络的社交推荐方法 |
US17/846,058 US11631147B2 (en) | 2021-06-24 | 2022-06-22 | Social recommendation method based on multi-feature heterogeneous graph neural networks |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110701053.6A CN113254803B (zh) | 2021-06-24 | 2021-06-24 | 一种基于多特征异质图神经网络的社交推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113254803A CN113254803A (zh) | 2021-08-13 |
CN113254803B true CN113254803B (zh) | 2021-10-22 |
Family
ID=77189394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110701053.6A Active CN113254803B (zh) | 2021-06-24 | 2021-06-24 | 一种基于多特征异质图神经网络的社交推荐方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11631147B2 (zh) |
CN (1) | CN113254803B (zh) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113254648B (zh) * | 2021-06-22 | 2021-10-22 | 暨南大学 | 一种基于多层次图池化的文本情感分析方法 |
CN113609398B (zh) * | 2021-08-17 | 2023-09-19 | 石家庄铁道大学 | 一种基于异构图神经网络的社交推荐方法 |
CN113762372B (zh) * | 2021-08-30 | 2023-04-07 | 中国电子科技集团公司第十五研究所 | 即时通讯信息中组织成员识别方法及装置 |
CN113869992B (zh) * | 2021-12-03 | 2022-03-18 | 平安科技(深圳)有限公司 | 基于人工智能的产品推荐方法、装置、电子设备及介质 |
CN114168804B (zh) * | 2021-12-17 | 2022-06-10 | 中国科学院自动化研究所 | 一种基于异质子图神经网络的相似信息检索方法和系统 |
CN114398462B (zh) * | 2022-03-24 | 2022-08-09 | 之江实验室 | 一种基于多源异构信息网络的目的地推荐方法及系统 |
CN114579879B (zh) * | 2022-05-06 | 2022-07-26 | 南方科技大学 | 好友推荐方法、装置、设备和存储介质 |
CN115080846B (zh) * | 2022-05-30 | 2024-06-11 | 广州大学 | 一种融合场景信息的图神经网络衣物推荐方法 |
CN115357783B (zh) * | 2022-08-01 | 2023-06-06 | 山东省计算中心(国家超级计算济南中心) | 一种基于结构化多兴趣协同的企业服务快讯推荐方法 |
CN115545960B (zh) * | 2022-12-01 | 2023-06-30 | 江苏联弘信科技发展有限公司 | 一种电子信息数据交互系统及方法 |
CN116245610B (zh) * | 2023-03-02 | 2024-05-17 | 上海交通大学 | 一种基于蒙特卡洛方法和轻量化图神经网络的图书精排方法 |
CN116541273B (zh) * | 2023-04-13 | 2024-01-26 | 中国兵器工业信息中心 | 基于图注意力的二进制代码相似性检测方法及系统 |
CN116776193B (zh) * | 2023-05-17 | 2024-08-06 | 广州大学 | 基于注意力机制的跨社交网络虚拟身份关联方法及装置 |
CN116383521B (zh) * | 2023-05-19 | 2023-08-29 | 苏州浪潮智能科技有限公司 | 主题词挖掘方法及装置、计算机设备及存储介质 |
CN116662676A (zh) * | 2023-06-09 | 2023-08-29 | 北京华品博睿网络技术有限公司 | 一种基于多行为建模的在线招聘双向互惠推荐系统及方法 |
CN116842398B (zh) * | 2023-06-27 | 2024-06-28 | 哈尔滨工业大学 | 一种基于屏蔽自注意力网络的话题感知信息转发预测方法及系统 |
CN116578884B (zh) * | 2023-07-07 | 2023-10-31 | 北京邮电大学 | 基于异质信息网络表示学习的科研团队识别方法及装置 |
CN116561173B (zh) * | 2023-07-11 | 2023-10-13 | 太原理工大学 | 用关系图注意力神经网络选择查询执行计划的方法及系统 |
CN116610803B (zh) * | 2023-07-19 | 2023-12-08 | 橙客时代(北京)网络科技有限公司 | 基于大数据的产业链优企信息管理方法及系统 |
CN116701706B (zh) * | 2023-07-29 | 2023-09-29 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的数据处理方法、装置、设备及介质 |
CN117171448B (zh) * | 2023-08-11 | 2024-05-28 | 哈尔滨工业大学 | 一种基于图神经网络的多行为社会化推荐方法及系统 |
CN117078312B (zh) * | 2023-09-05 | 2024-02-27 | 北京玖众科技股份有限公司 | 一种基于人工智能的广告投放管理方法及系统 |
CN117540232A (zh) * | 2023-09-13 | 2024-02-09 | 广州大学 | 基于上下文路径的在线社交网络用户表示方法及装置 |
CN116932923B (zh) * | 2023-09-19 | 2023-12-08 | 江西财经大学 | 一种结合行为特征与三角协作度量的项目推荐方法 |
CN116992099B (zh) * | 2023-09-27 | 2024-01-12 | 湖北工业大学 | 一种基于交互选择的图神经网络推荐方法、系统及终端 |
CN117390266B (zh) * | 2023-10-08 | 2024-04-30 | 宁夏大学 | 基于高阶邻居生成算法与异构图神经网络的项目推荐方法 |
CN117495482B (zh) * | 2023-10-28 | 2024-07-02 | 深圳闪新软件技术服务有限公司 | 一种基于用户画像的二手手机销售推荐方法及系统 |
CN117493490B (zh) * | 2023-11-17 | 2024-05-14 | 南京信息工程大学 | 基于异构多关系图的话题检测方法、装置、设备及介质 |
CN117370672B (zh) * | 2023-12-06 | 2024-02-23 | 烟台大学 | 基于混合结构图的用户兴趣点推荐方法、系统和设备 |
CN117421671B (zh) * | 2023-12-18 | 2024-03-05 | 南开大学 | 面向引文网络的频率自适应静态异质图节点分类方法 |
CN117807275B (zh) * | 2023-12-29 | 2024-09-27 | 江南大学 | 基于关系挖掘的异构图嵌入方法及系统 |
CN117520995B (zh) * | 2024-01-03 | 2024-04-02 | 中国海洋大学 | 一种网络信息平台中异常用户检测方法及系统 |
CN117763238B (zh) * | 2024-01-09 | 2024-05-24 | 南京理工大学 | 基于多图神经网络的学位论文评审专家推荐方法 |
CN117540111B (zh) * | 2024-01-09 | 2024-03-26 | 安徽农业大学 | 一种基于图神经网络的偏好感知社会化推荐方法 |
CN117670571B (zh) * | 2024-01-30 | 2024-04-19 | 昆明理工大学 | 基于异构消息图关系嵌入的增量式社交媒体事件检测方法 |
CN117763485A (zh) * | 2024-02-22 | 2024-03-26 | 福建理工大学 | 一种基于谱图分解的社交网络异常检测方法 |
CN117994007B (zh) * | 2024-04-03 | 2024-07-05 | 山东科技大学 | 一种基于多视图融合异质图神经网络的社交推荐方法 |
CN118069881B (zh) * | 2024-04-25 | 2024-07-30 | 山东科技大学 | 一种基于异质图模型的音乐推荐方法 |
CN118154282B (zh) * | 2024-05-11 | 2024-08-16 | 武汉纺织大学 | 基于图神经网络的多模态个性化服装推荐方法 |
CN118282876B (zh) * | 2024-06-04 | 2024-08-30 | 烟台大学 | 一种不完备异构以太坊网络的异常节点检测方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106227792A (zh) * | 2016-07-20 | 2016-12-14 | 百度在线网络技术(北京)有限公司 | 用于推送信息的方法和装置 |
US10346411B1 (en) * | 2013-03-14 | 2019-07-09 | Google Llc | Automatic target audience suggestions when sharing in a social network |
CN111723292A (zh) * | 2020-06-24 | 2020-09-29 | 携程计算机技术(上海)有限公司 | 基于图神经网络的推荐方法、系统、电子设备及存储介质 |
CN112380435A (zh) * | 2020-11-16 | 2021-02-19 | 北京大学 | 基于异构图神经网络的文献推荐方法及推荐系统 |
CN112541132A (zh) * | 2020-12-23 | 2021-03-23 | 北京交通大学 | 基于多视图知识表示的跨领域推荐方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8843433B2 (en) * | 2011-03-29 | 2014-09-23 | Manyworlds, Inc. | Integrated search and adaptive discovery system and method |
US10459950B2 (en) * | 2015-12-28 | 2019-10-29 | Facebook, Inc. | Aggregated broad topics |
US10922609B2 (en) * | 2017-05-17 | 2021-02-16 | Facebook, Inc. | Semi-supervised learning via deep label propagation |
US11797838B2 (en) * | 2018-03-13 | 2023-10-24 | Pinterest, Inc. | Efficient convolutional network for recommender systems |
US11514333B2 (en) * | 2018-04-30 | 2022-11-29 | Meta Platforms, Inc. | Combining machine-learning and social data to generate personalized recommendations |
CN110162703B (zh) * | 2019-05-13 | 2024-08-20 | 深圳市雅阅科技有限公司 | 内容推荐方法、训练方法、装置、设备及存储介质 |
CN112035669B (zh) * | 2020-09-09 | 2021-05-14 | 中国科学技术大学 | 基于传播异质图建模的社交媒体多模态谣言检测方法 |
CN112381179B (zh) * | 2020-12-11 | 2024-02-23 | 杭州电子科技大学 | 一种基于双层注意力机制的异质图分类方法 |
CN112990431A (zh) * | 2021-02-25 | 2021-06-18 | 电子科技大学 | 一种基于异质图神经网络的邻域探索方法 |
CN112989842A (zh) * | 2021-02-25 | 2021-06-18 | 电子科技大学 | 多语义异质图的通用嵌入框架的构建方法 |
CN113191838B (zh) * | 2021-04-09 | 2024-01-30 | 山东师范大学 | 一种基于异质图神经网络的购物推荐方法及系统 |
-
2021
- 2021-06-24 CN CN202110701053.6A patent/CN113254803B/zh active Active
-
2022
- 2022-06-22 US US17/846,058 patent/US11631147B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10346411B1 (en) * | 2013-03-14 | 2019-07-09 | Google Llc | Automatic target audience suggestions when sharing in a social network |
CN106227792A (zh) * | 2016-07-20 | 2016-12-14 | 百度在线网络技术(北京)有限公司 | 用于推送信息的方法和装置 |
CN111723292A (zh) * | 2020-06-24 | 2020-09-29 | 携程计算机技术(上海)有限公司 | 基于图神经网络的推荐方法、系统、电子设备及存储介质 |
CN112380435A (zh) * | 2020-11-16 | 2021-02-19 | 北京大学 | 基于异构图神经网络的文献推荐方法及推荐系统 |
CN112541132A (zh) * | 2020-12-23 | 2021-03-23 | 北京交通大学 | 基于多视图知识表示的跨领域推荐方法 |
Also Published As
Publication number | Publication date |
---|---|
US11631147B2 (en) | 2023-04-18 |
US20220414792A1 (en) | 2022-12-29 |
CN113254803A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113254803B (zh) | 一种基于多特征异质图神经网络的社交推荐方法 | |
CN112084383B (zh) | 基于知识图谱的信息推荐方法、装置、设备及存储介质 | |
WO2021203819A1 (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
CN110837602B (zh) | 基于表示学习和多模态卷积神经网络的用户推荐方法 | |
CN112380435B (zh) | 基于异构图神经网络的文献推荐方法及推荐系统 | |
CN114817663B (zh) | 一种基于类别感知图神经网络的服务建模与推荐方法 | |
CN113392209B (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
CN114780831A (zh) | 基于Transformer的序列推荐方法及系统 | |
CN113254652B (zh) | 一种基于超图注意力网络的社交媒体贴文真实性检测方法 | |
CN113486173B (zh) | 文本标注神经网络模型及其标注方法 | |
CN114741599B (zh) | 基于知识增强和注意力机制的新闻推荐方法及系统 | |
CN112132633B (zh) | 一种基于消费事理图谱的消费意图识别和预测方法 | |
CN111666496A (zh) | 一种基于评论文本的组推荐方法 | |
CN115293437A (zh) | 一种基于社交网络平台动态交互的关系预测方法 | |
CN112364236A (zh) | 目标对象推荐系统、方法、装置、数据处理方法及装置 | |
CN112311608A (zh) | 一种多层异质网络空间节点表征方法 | |
CN117574915A (zh) | 基于多方数据源的公共数据平台及其数据分析方法 | |
CN118468883A (zh) | 一种基于互信息与跨模态交互图的多模态在线评论情感分析方法 | |
CN112215629B (zh) | 基于构造对抗样本的多目标广告生成系统及其方法 | |
CN117764669A (zh) | 物品推荐方法、装置、设备、介质及产品 | |
Fang | Making recommendations using transfer learning | |
CN111309923A (zh) | 对象向量确定、模型训练方法、装置、设备和存储介质 | |
CN112905906B (zh) | 一种融合局部协同与特征交叉的推荐方法及系统 | |
CN116452241B (zh) | 一种基于多模态融合神经网络的用户流失概率计算方法 | |
Bi et al. | A recommendations model with multiaspect awareness and hierarchical user-product attention mechanisms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |