CN114357312A - 基于图神经网络自动建模的社区发现方法及个性推荐方法 - Google Patents
基于图神经网络自动建模的社区发现方法及个性推荐方法 Download PDFInfo
- Publication number
- CN114357312A CN114357312A CN202210254385.9A CN202210254385A CN114357312A CN 114357312 A CN114357312 A CN 114357312A CN 202210254385 A CN202210254385 A CN 202210254385A CN 114357312 A CN114357312 A CN 114357312A
- Authority
- CN
- China
- Prior art keywords
- neural network
- graph
- matrix
- function
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 title claims abstract description 96
- 239000011159 matrix material Substances 0.000 claims abstract description 140
- 238000003062 neural network model Methods 0.000 claims abstract description 41
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 136
- 230000007246 mechanism Effects 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 41
- 238000005457 optimization Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 230000002776 aggregation Effects 0.000 claims description 17
- 238000004220 aggregation Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010845 search algorithm Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 241001235534 Graphis <ascomycete fungus> Species 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013209 evaluation strategy Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于图神经网络自动建模的社区发现方法,包括获取图神经网络结构组件并构建图神经网络搜索空间;采样图神经网络搜索空间得到图神经网络结构化初始种群;计算各图神经网络模型的适应度并选取若干作为父代图神经网络结构群体;进行子代图神经网络结构搜索、计算各子代图神经网络结构的适应度并更新父代图神经网络结构群体;选取父代图神经网络结构群体中最优的图神经网络结构建模并得到图数据的系数矩阵;对图数据的系数矩阵分解得到图数据的相似度矩阵并进行聚类实现社区发现。本发明还公开了一种包括所述基于图神经网络自动建模的社区发现方法的个性推荐方法。本发明方法的可靠性高,精确性高,且更加科学合理。
Description
技术领域
本发明属于计算机技术领域,具体涉及一种基于图神经网络自动建模的社区发现方法及个性推荐方法。
背景技术
随着经济技术的发展和人们生活水平的提高,社区发现技术已经广泛应用于人们的生产和生活当中,给人们的生产和生活带来了无尽的便利。基于社区发现技术,人们可以应用于向系统用户推送用户潜在感兴趣的文章、产品、知识或其他用户等,从而使用用户的体检更好。
传统社区发现方法大部分是基于统计推断与机器学习理论构建的,典型的社区发现方法包括:基于图的划分算法、层次聚类算法、边聚类算法、随机游走算法、种子扩散算法等。然而,随着网络图数据的复杂度与规模的增加,传统的社区发现方法将面临节点表现能力欠佳,算法效率低下等许多问题。
与传统社区发现方法相比,基于图神经网络的深度学习方法能够更好的处理复杂网络中的社区结构识别过程。一层图神经网络模型由不同的组件组成,例如,节点聚合函数,注意力机制函数,激活函数等。面对复杂网络,图神经网络通过注意力机制函数计算网络中心节点与邻居节点的相关性系数,使用聚合函数对邻居节点信息进行聚合并得到中心节点的表示,再利用激活函数对节点表示进行非线性变换增强其表示能力,最后基于节点表达使用不同的聚类算法实现社区发现任务。但由于图神经网络结构复杂,且不同的网络节点特征分布不同,导致需要耗费大量的时间针对不同特征分布的图网络构建图神经网络模型,这无疑限制了使用图神经网络实现社区发现的效率。
随着图神经网络自动建模的兴起,越来越多的社区发现研究开始使用该技术;例如,节点分类,链路预测,图分类等。图神经网络自动建模过程包含以下几个步骤:(1)使用图神经网络结构组件构建图神经网络搜索空间;(2)构建搜索算法从图神经网络搜索空间中采样图神经网络结构(3)使用评估策略评估采样的图神经网络结构并产生反馈信号;(4)使用反馈信号对搜索算法进行迭代,改进搜索算法采样图神经网络结构的能力。
传统的图神经网络自动建模面向的是有监督学习问题:在传统的图神经网络自动建模过程中使用有监督评估策略,面向的图数据是有标签数据。但是,社区发现是一个无监督学习问题,即图网络中节点没有标签。这使得传统的图神经网络建模已经无法完成社区发现的任务。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性高且科学合理的基于图神经网络自动建模的社区发现方法。
本发明的目的之二在于提供一种包括了所述基于图神经网络自动建模的社区发现方法的个性推荐方法。
本发明提供的这种基于图神经网络自动建模的社区发现方法,包括如下步骤:
S1. 获取图神经网络的结构组件,从而构建图神经网络搜索空间;
S2. 在步骤S1构建的图神经网络搜索空间中进行采样,从而构建若干图神经网络模型作为图神经网络结构化初始种群;
S3. 计算步骤S2构建的图神经网络结构化初始种群中各个图神经网络模型的适应度;
S4. 根据步骤S3得到的各个图神经网络模型的适应度,选取若干个图神经网络结构作为父代图神经网络结构群体;
S5. 基于步骤S4得到的父代图神经网络结构群体,进行子代图神经网络结构搜索,计算各个子代图神经网络结构的适应度,并对父代图神经网络结构群体进行更新;
S6. 更新完毕后,选取父代图神经网络结构群体中最优的图神经网络结构进行建模,从而得到图数据的系数矩阵;
S7. 对步骤S6得到的图数据的系数矩阵进行矩阵分解得到图数据的相似度矩阵,并基于相似度矩阵进行聚类操作,从而实现社区发现。
所述的步骤S1,具体包括如下步骤:
图神经网络的结构组件包括注意力机制函数组件,聚合函数组件,输出层隐藏单元维度组件,激活函数组件和注意力机制头数组件;
注意力机制函数组件包括如下函数:
聚合函数组件包括如下函数:
第一聚合函数:函数名为mean;函数功能为:中心节点i的隐层表示为邻居节点j的隐层表示乘以相关系数r ij 后求和再求均值;
第二聚合函数:函数名为max;函数功能为:中心节点i的隐层表示为邻居节点j的隐层表示乘以相关系数r ij 后向量对应元素求最大值;
第三聚合函数:函数名为sum;函数功能为:中心节点i的隐层表示为邻居节点j的隐层表示乘以相关系数r ij 后求和;
输出层隐藏单元维度组件的取值范围包括:8、16、32、64、128和256;
激活函数组件包括如下函数:
softplus函数、reaky_relu函数、relu6函数、elu函数、tanh函数、sigmiod函数、relu函数和linear函数;
注意力机制头数组件的取值范围包括:1、2、4和8。
所述的步骤S2,具体包括如下步骤:
在步骤S1构建的图神经网络搜索空间中,采用随机采样的方式进行采样,第i次采样得到的图神经网络机构表示为;n为图神经网络的层数;att i 表示第i层图神经网络的注意力机制函数;agg i 为第i层图神经网络的注聚合函数;dim i 为第i层图神经网络的输出层隐藏单元维度的取值;act i 为第i层图神经网络的激活函数;head i 二维第i层图神经网络的注意力机制头数的取值;
一共随机采样m次,从而得到m个图神经网络结构作为图神经网络结构化初始种群;m为设定的正整数。
所述的步骤S3,具体包括如下步骤:
A. 基于图自监督学习与图自表示学习,构建下游节点表示与图系数矩阵学习任务,采用图数据与节点表示学习任务对待计算的图神经网络模型进行训练,并使用节点编码矩阵与图系数矩阵学习任务对图表示学习模型进行训练;
B. 计算步骤A中图自监督学习与图自表示学习中产生的损失值变化量的乘积,从而得到待计算的图神经网络结构的适应度;
C. 重复步骤A~B,直至计算得到所有的待计算的图神经网络模型的适应度。
所述的步骤A,具体包括图自监督学习和图自表示学习:
图自监督学习包括如下步骤:
a1. 对需要进行社区发现的图数据G进行两轮处理,两轮处理分别得到两张不同的预处理图数据G 1和G 2;所述的处理包括第一处理过程和第二过程:第一处理过程为按照设定的比例随机选择图数据G上的节点,并使用全零向量代替选中节点的原始特征向量;第二处理过程为在第一处理过程的基础上按照设定的比例随机删除图数据G上节点之间的边关系;
a2. 根据步骤a1得到的预处理图数据G 1和G 2,得到对应的节点特征矩阵X 1和X 2;将节点特征矩阵X 1和X 2输入到待计算的图神经网络模型g中,得到对应的节点编码矩阵Z 1和Z 2;
a3. 根据步骤a2得到节点编码矩阵Z 1 和Z 2 ,采用如下方式构建待计算的图神经网络模型g的训练数据集:
在节点编码矩阵Z 1和Z 2中,任意选取第i 1行数据和第i 2行数据,从而构成一个样本例;其中,若选取的第i 1行数据来自于矩阵Z 1、第i 2行数据来自于Z 2且i 1= i 2,则判定该样本例为正样本例;若选取的第i 1行数据来自于矩阵Z 1、第i 2行数据来自于Z 2且,则判定该样本例为负样本例;若选取的第i 1行数据和第i 2行数据来自于同一个节点编码矩阵且,则判定该样本例为负样本例;
重复选取若干次,并保证正样本例与负样本例的数量相同,从而得到待计算的图神经网络模型g的训练数据集;
a4. 基于步骤a3得到的训练数据集,采用如下损失函数计算得到待计算的图神经网络模型g在本次编码的节点特征矩阵X 1和X 2产生的损失值L SS :
式中V为需要进行社区发现的图数据G的节点数;log( )为求以e为底数的对数;为温度参数,用于控制余弦相似的强度;为求正样本例编码向量z 1,i 和z 2,j 的余弦相似度;为求负样本例编码向量z 1,i 和z 1,j 的余弦相似度;为求负样本例编码向量z 1,i 和z 2,j 的余弦相似度;
a5. 基于步骤a4得到的损失值,采用Adam算法优化待计算的图神经网络模型g的参数,并在优化过程中采用如下算式计算得到图自监督学习损失值变换量SSLC:
a6. 优化完成后,待计算的图神经网络模型g的图自监督学习完成;采用需要进行社区发现的图数据G所对应的节点特征矩阵X输入到待计算的图神经网络模型g中,得到节点编码矩阵Z;
图自表示学习包括如下步骤:
式中z j 为节点编码矩阵Z中每一个节点j的编码向量;
b3. 采用如下损失函数计算得到自表示学习模型基于节点编码矩阵Z的损失值L SR :
b4. 基于步骤b3计算得到的损失值,使用Adam算法优化图自表示学习模型的系数矩阵C,在优化过程中采用如下算式计算得到图自表示学习损失值变换量SSLR:
b5. 优化完成后,输出系数矩阵C。
所述的步骤B,具体包括如下步骤:
采用如下算式计算得到待计算的图神经网络模型g的适应度fitness:
式中SSLC为步骤A得到的图自监督学习损失值变换量;SSLR为步骤A得到的图自表示学习损失值变换量。
所述的步骤S5,具体为基于步骤S4得到的父代图神经网络结构群体,采用受信息熵约束的自适应遗传搜索算法对子代图神经网络结构进行搜索,计算各个子代图神经网络结构的适应度,并将适应度大于设定阈值的子代图神经网络结构加入父代图神经网络结构群体,从而完成对父代图神经网络结构群体的更新。
所述的步骤S5,具体包括如下步骤:
式中h(c i )为图神经网络结构组件中第i个组件的信息熵,,n为图神经网络的层数,,v j 为父代图神经网络结构群体中第i个组件出现在对应取值集合中的第j个值,f(v j )为第i个组件取值为v j 的频率;
(4)当子代图神经网络结构群体中任意图神经网络结构的适应度大于设定的阈值时,将该图神经网络结构加入到父代群体中;
(5)重复步骤(1)~(4)直至满足设定的条件,完成对父代图神经网络结构群体的更新。
在步骤(3)的计算过程中,M的值随着搜索轮次的增加而递减,递减规则为:若搜索轮次能够整除M,则将M的值减少1,直至M=1,此时M的值不再变化,直至搜索结束。
所述的步骤S6,具体为更新完毕后,选取父代图神经网络结构群体中适应度最优的图神经网络结构进行建模,并基于图自监督学习与自表示学习过程得到图数据的系数矩阵。
所述的步骤S7,具体包括如下步骤:
5)采用如下算式计算得到需要进行社区发现的图数据G的相似度矩阵S:
6)基于步骤5)得到的相似度矩阵S进行聚类操作,从而实现需要进行社区发现的图数据G的社区发现。
本发明还公开了一种包括了所述基于图神经网络自动建模的社区发现方法的个性推荐方法,包括如下步骤:
S1. 使用用户购物数据构建用户商品二分图;
S2. 采用上述基于图神经网络自动建模的社区发现方法对步骤S1得到的用户商品二分图进行处理,构建用户画像后实现社区发现;
S3. 根据步骤S2得到的社区发现的结果,将属于同一社区用户购买的商品进行统计;
S4. 将不同的高频商品推荐给属于同一社区且没有购买该高频商品的用户,从而实现个性推荐。
本发明提供的这种基于图神经网络自动建模的社区发现方法及个性推荐方法,基于不同数据分布的图网络自动地搜索出合适的图神经网络结构构建图神经网络模型,并基于图自监督学习与图自表示学习实现社区发现和个性推荐;因此本发明方法的可靠性高,精确性高,且更加科学合理。
附图说明
图1为本发明的社区发现方法的方法流程示意图。
图2为本发明的个性推荐方法的方法流程示意图。
具体实施方式
如图1所示为本发明的社区发现方法的方法流程示意图:本发明提供的这种基于图神经网络自动建模的社区发现方法,包括如下步骤:
S1. 获取图神经网络的结构组件,从而构建图神经网络搜索空间;具体包括如下步骤:
图神经网络的结构组件包括注意力机制函数组件,聚合函数组件,输出层隐藏单元维度组件,激活函数组件和注意力机制头数组件;
注意力机制函数组件包括如下函数:
聚合函数组件包括如下函数:
第一聚合函数:函数名为mean;函数功能为:中心节点i的隐层表示为邻居节点j的隐层表示乘以相关系数r ij 后求和再求均值;
第二聚合函数:函数名为max;函数功能为:中心节点i的隐层表示为邻居节点j的隐层表示乘以相关系数r ij 后向量对应元素求最大值;
第三聚合函数:函数名为sum;函数功能为:中心节点i的隐层表示为邻居节点j的隐层表示乘以相关系数r ij 后求和;
输出层隐藏单元维度组件的取值范围包括:8、16、32、64、128和256;
激活函数组件包括如下函数:
softplus函数、reaky_relu函数、relu6函数、elu函数、tanh函数、sigmiod函数、relu函数和linear函数;
注意力机制头数组件的取值范围包括:1、2、4和8;
S2. 在步骤S1构建的图神经网络搜索空间中进行采样,从而构建若干图神经网络模型作为图神经网络结构化初始种群;具体包括如下步骤:
在步骤S1构建的图神经网络搜索空间中,采用随机采样的方式进行采样,第i次采样得到的图神经网络机构表示为;n为图神经网络的层数;att i 表示第i层图神经网络的注意力机制函数;agg i 为第i层图神经网络的注聚合函数;dim i 为第i层图神经网络的输出层隐藏单元维度的取值;act i 为第i层图神经网络的激活函数;head i 二维第i层图神经网络的注意力机制头数的取值;
一共随机采样m次,从而得到m个图神经网络结构作为图神经网络结构化初始种群;m为设定的正整数;
S3. 计算步骤S2构建的图神经网络结构化初始种群中各个图神经网络模型的适应度;具体包括如下步骤:
A. 基于图自监督学习与图自表示学习,构建下游节点表示与图系数矩阵学习任务,采用图数据与节点表示学习任务对待计算的图神经网络模型进行训练,并使用节点编码矩阵与图系数矩阵学习任务对图表示学习模型进行训练;
具体实施时,具体包括图自监督学习和图自表示学习:
图自监督学习包括如下步骤:
a1. 对需要进行社区发现的图数据G进行两轮处理,两轮处理分别得到两张不同的预处理图数据G 1和G 2;所述的处理包括第一处理过程和第二过程:第一处理过程为按照设定的比例随机选择图数据G上的节点,并使用全零向量代替选中节点的原始特征向量;第二处理过程为在第一处理过程的基础上按照设定的比例随机删除图数据G上节点之间的边关系;
a2. 根据步骤a1得到的预处理图数据G 1和G 2,得到对应的节点特征矩阵X 1和X 2;将节点特征矩阵X 1和X 2输入到待计算的图神经网络模型g中,得到对应的节点编码矩阵Z 1和Z 2;
a3. 根据步骤a2得到节点编码矩阵Z 1 和Z 2 ,采用如下方式构建待计算的图神经网络模型g的训练数据集:
在节点编码矩阵Z 1和Z 2中,任意选取第i 1行数据和第i 2行数据,从而构成一个样本例;其中,若选取的第i 1行数据来自于矩阵Z 1、第i 2行数据来自于Z 2且i 1= i 2,则判定该样本例为正样本例;若选取的第i 1行数据来自于矩阵Z 1、第i 2行数据来自于Z 2且,则判定该样本例为负样本例;若选取的第i 1行数据和第i 2行数据来自于同一个节点编码矩阵且,则判定该样本例为负样本例;
重复选取若干次,并保证正样本例与负样本例的数量相同,从而得到待计算的图神经网络模型g的训练数据集;
a4. 基于步骤a3得到的训练数据集,采用如下损失函数计算得到待计算的图神经网络模型g在本次编码的节点特征矩阵X 1和X 2产生的损失值L SS :
式中V为需要进行社区发现的图数据G的节点数;log( )为求以e为底数的对数;为温度参数,用于控制余弦相似的强度;为求正样本例编码向量z 1,i 和z 2,j 的余弦相似度;为求负样本例编码向量z 1,i 和z 1,j 的余弦相似度;为求负样本例编码向量z 1,i 和z 2,j 的余弦相似度;
a5. 基于步骤a4得到的损失值,采用Adam算法优化待计算的图神经网络模型g的参数,并在优化过程中采用如下算式计算得到图自监督学习损失值变换量SSLC:
a6. 优化完成后,待计算的图神经网络模型g的图自监督学习完成;采用需要进行社区发现的图数据G所对应的节点特征矩阵X输入到待计算的图神经网络模型g中,得到节点编码矩阵Z;
图自表示学习包括如下步骤:
式中z j 为节点编码矩阵Z中每一个节点j的编码向量;
b3. 采用如下损失函数计算得到自表示学习模型基于节点编码矩阵Z的损失值L SR :
b4. 基于步骤b3计算得到的损失值,使用Adam算法优化图自表示学习模型的系数矩阵C,在优化过程中采用如下算式计算得到图自表示学习损失值变换量SSLR:
b5. 优化完成后,输出系数矩阵C;
B. 计算步骤A中图自监督学习与图自表示学习中产生的损失值变化量的乘积,从而得到待计算的图神经网络结构的适应度;具体包括如下步骤:
采用如下算式计算得到待计算的图神经网络模型g的适应度fitness:
式中SSLC为步骤A得到的图自监督学习损失值变换量;SSLR为步骤A得到的图自表示学习损失值变换量;
C. 重复步骤A~B,直至计算得到所有的待计算的图神经网络模型的适应度;
S4. 根据步骤S3得到的各个图神经网络模型的适应度,选取若干个图神经网络结构作为父代图神经网络结构群体;
S5. 基于步骤S4得到的父代图神经网络结构群体,进行子代图神经网络结构搜索,计算各个子代图神经网络结构的适应度,并对父代图神经网络结构群体进行更新;具体为基于步骤S4得到的父代图神经网络结构群体,采用受信息熵约束的自适应遗传搜索算法对子代图神经网络结构进行搜索,计算各个子代图神经网络结构的适应度,并将适应度大于设定阈值的子代图神经网络结构加入父代图神经网络结构群体,从而完成对父代图神经网络结构群体的更新;
具体实施时,具体包括如下步骤:
式中h(c i )为图神经网络结构组件中第i个组件的信息熵,,n为图神经网络的层数,,v j 为父代图神经网络结构群体中第i个组件出现在对应取值集合中的第j个值,f(v j )为第i个组件取值为v j 的频率;
(3)基于步骤(2)得到的变异选择概率向量,在父代图神经网络结构群体中选择M个组件进行随机变异操作,得到子代图神经网络结构群体,并计算子代图神经网络结构群体中各个图神经网络结构的适应度;在本步骤的计算过程中,M的值随着搜索轮次的增加而递减,递减规则为:若搜索轮次能够整除M,则将M的值减少1,直至M=1,此时M的值不再变化,直至搜索结束;
(4)当子代图神经网络结构群体中任意图神经网络结构的适应度大于设定的阈值时,将该图神经网络结构加入到父代群体中;
(5)重复步骤(1)~(4)直至满足设定的条件,完成对父代图神经网络结构群体的更新;
S6. 更新完毕后,选取父代图神经网络结构群体中最优的图神经网络结构进行建模,从而得到图数据的系数矩阵;具体为更新完毕后,选取父代图神经网络结构群体中适应度最优的图神经网络结构进行建模,并基于图自监督学习与自表示学习过程得到图数据的系数矩阵;
S7. 对步骤S6得到的图数据的系数矩阵进行矩阵分解得到图数据的相似度矩阵,并基于相似度矩阵进行聚类操作,从而实现社区发现;具体包括如下步骤:
5)采用如下算式计算得到需要进行社区发现的图数据G的相似度矩阵S:
6)基于步骤5)得到的相似度矩阵S进行聚类操作,从而实现需要进行社区发现的图数据G的社区发现。
以下结合一个实施例,对本发明方法进行进一步说明:
实验图数据说明如下表1所示:
表1 实验图数据说明示意表
Cora、CiteSeer是标准的引用网络图数据集,每个节点单标论文,每条边连接的两个节点表示两篇论文之间存在引用关系,每个节分别由1433、3703维度的特征向量表示,Wiki数据集每个节点代表一个Wiki网页,每条边连接的两个节点表示两个Wiki网页之间存在链接关系,每个节点由4973维特征向量表示;
使用本发明提出的基于图神经网络自动建模的社区发现对上述3个图数据集进行社区发现并使用三个社区发现常用性能评估指标F1分数、归一化互信息、准确度评估本发明方法与其他方法的性能,性能评估结果如下表2所示:
表2 性能评估结果示意表
由上表可以看出,本发明方法相较于其他方法能在不同图数据上三个评价指标都能获得最优的社区发现性能,这是因为本发明提出了一种无监督图神经网络结构评估方法,此方法利用图自监督学习与自表示学习过程中损失函数的变化量衡量采样的图神经网络结构的有效性,并基于图神经网络自动建模过程,为具有不同特征分布的图数据设计合适的图神经网络结构,对图数据进行编码实现下游社区发现任务,因此本发明对不同分布的图数据进行社区发现实现个性化推荐具有广泛的普适性。
如图2所述为本发明的个性推荐方法的方法流程示意图:本发明公开的这种包括了所述基于图神经网络自动建模的社区发现方法的个性推荐方法,包括如下步骤:
S1. 使用用户购物数据构建用户商品二分图;
S2. 采用上述基于图神经网络自动建模的社区发现方法对步骤S1得到的用户商品二分图进行处理,构建用户画像后实现社区发现;
S3. 根据步骤S2得到的社区发现的结果,将属于同一社区用户购买的商品进行统计;
S4. 将不同的高频商品推荐给属于同一社区且没有购买该高频商品的用户,从而实现个性推荐。
Claims (9)
1.一种基于图神经网络自动建模的社区发现方法,其特征在于包括如下步骤:
S1. 获取图神经网络的结构组件,从而构建图神经网络搜索空间;
S2. 在步骤S1构建的图神经网络搜索空间中进行采样,从而构建若干图神经网络模型作为图神经网络结构化初始种群;
S3. 计算步骤S2构建的图神经网络结构化初始种群中各个图神经网络模型的适应度;具体包括如下步骤:
A. 基于图自监督学习与图自表示学习,构建下游节点表示与图系数矩阵学习任务,采用图数据与节点表示学习任务对待计算的图神经网络模型进行训练,并使用节点编码矩阵与图系数矩阵学习任务对图表示学习模型进行训练;
B. 计算步骤A中图自监督学习与图自表示学习中产生的损失值变化量的乘积,从而得到待计算的图神经网络结构的适应度;
C. 重复步骤A~B,直至得到所有的待计算的图神经网络模型的适应度;
S4. 根据步骤S3得到的各个图神经网络模型的适应度,选取若干个图神经网络结构作为父代图神经网络结构群体;
S5. 基于步骤S4得到的父代图神经网络结构群体,进行子代图神经网络结构搜索,计算各个子代图神经网络结构的适应度,并对父代图神经网络结构群体进行更新;
S6. 更新完毕后,选取父代图神经网络结构群体中最优的图神经网络结构进行建模,从而得到图数据的系数矩阵;
S7. 对步骤S6得到的图数据的系数矩阵进行矩阵分解得到图数据的相似度矩阵,并基于相似度矩阵进行聚类操作,从而实现社区发现。
2.根据权利要求1所述的基于图神经网络自动建模的社区发现方法,其特征在于所述的步骤S1,具体包括如下步骤:
图神经网络的结构组件包括注意力机制函数组件,聚合函数组件,输出层隐藏单元维度组件,激活函数组件和注意力机制头数组件;
注意力机制函数组件包括如下函数:
聚合函数组件包括如下函数:
第一聚合函数:函数名为mean;函数功能为:中心节点i的隐层表示为邻居节点j的隐层表示乘以相关系数r ij 后求和再求均值;
第二聚合函数:函数名为max;函数功能为:中心节点i的隐层表示为邻居节点j的隐层表示乘以相关系数r ij 后向量对应元素求最大值;
第三聚合函数:函数名为sum;函数功能为:中心节点i的隐层表示为邻居节点j的隐层表示乘以相关系数r ij 后求和;
输出层隐藏单元维度组件的取值范围包括:8、16、32、64、128和256;
激活函数组件包括如下函数:
softplus函数、reaky_relu函数、relu6函数、elu函数、tanh函数、sigmiod函数、relu函数和linear函数;
注意力机制头数组件的取值范围包括:1、2、4和8。
4.根据权利要求3所述的基于图神经网络自动建模的社区发现方法,其特征在于所述的步骤A,具体包括图自监督学习和图自表示学习:
图自监督学习包括如下步骤:
a1. 对需要进行社区发现的图数据G进行两轮处理,两轮处理分别得到两张不同的预处理图数据G 1和G 2;所述的处理包括第一处理过程和第二过程:第一处理过程为按照设定的比例随机选择图数据G上的节点,并使用全零向量代替选中节点的原始特征向量;第二处理过程为在第一处理过程的基础上按照设定的比例随机删除图数据G上节点之间的边关系;
a2. 根据步骤a1得到的预处理图数据G 1和G 2,得到对应的节点特征矩阵X 1和X 2;将节点特征矩阵X 1和X 2输入到待计算的图神经网络模型g中,得到对应的节点编码矩阵Z 1和Z 2;
a3. 根据步骤a2得到节点编码矩阵Z 1 和Z 2 ,采用如下方式构建待计算的图神经网络模型g的训练数据集:
在节点编码矩阵Z 1和Z 2中,任意选取第i 1行数据和第i 2行数据,从而构成一个样本例;其中,若选取的第i 1行数据来自于矩阵Z 1、第i 2行数据来自于Z 2且i 1= i 2,则判定该样本例为正样本例;若选取的第i 1行数据来自于矩阵Z 1、第i 2行数据来自于Z 2且,则判定该样本例为负样本例;若选取的第i 1行数据和第i 2行数据来自于同一个节点编码矩阵且,则判定该样本例为负样本例;
重复选取若干次,并保证正样本例与负样本例的数量相同,从而得到待计算的图神经网络模型g的训练数据集;
a4. 基于步骤a3得到的训练数据集,采用如下损失函数计算得到待计算的图神经网络模型g在本次编码的节点特征矩阵X 1和X 2产生的损失值L SS :
式中V为需要进行社区发现的图数据G的节点数;log( )为求以e为底数的对数;为温度参数,用于控制余弦相似的强度;为求正样本例编码向量z 1,i 和z 2,j 的余弦相似度;为求负样本例编码向量z 1,i 和z 1,j 的余弦相似度;为求负样本例编码向量z 1,i 和z 2,j 的余弦相似度;
a5. 基于步骤a4得到的损失值,采用Adam算法优化待计算的图神经网络模型g的参数,并在优化过程中采用如下算式计算得到图自监督学习损失值变换量SSLC:
a6. 优化完成后,待计算的图神经网络模型g的图自监督学习完成;采用需要进行社区发现的图数据G所对应的节点特征矩阵X输入到待计算的图神经网络模型g中,得到节点编码矩阵Z;
图自表示学习包括如下步骤:
式中z j 为节点编码矩阵Z中每一个节点j的编码向量;
b3. 采用如下损失函数计算得到自表示学习模型基于节点编码矩阵Z的损失值L SR :
b4. 基于步骤b3计算得到的损失值,使用Adam算法优化图自表示学习模型的系数矩阵C,在优化过程中采用如下算式计算得到图自表示学习损失值变换量SSLR:
b5. 优化完成后,输出系数矩阵C。
5.根据权利要求4所述的基于图神经网络自动建模的社区发现方法,其特征在于所述的步骤S5,具体为基于步骤S4得到的父代图神经网络结构群体,采用受信息熵约束的自适应遗传搜索算法对子代图神经网络结构进行搜索,计算各个子代图神经网络结构的适应度,并将适应度大于设定阈值的子代图神经网络结构加入父代图神经网络结构群体,从而完成对父代图神经网络结构群体的更新。
6.根据权利要求5所述的基于图神经网络自动建模的社区发现方法,其特征在于所述的步骤S5,具体包括如下步骤:
式中h(c i )为图神经网络结构组件中第i个组件的信息熵,,n为图神经网络的层数,,v j 为父代图神经网络结构群体中第i个组件出现在对应取值集合中的第j个值,f(v j )为第i个组件取值为v j 的频率;
(4)当子代图神经网络结构群体中任意图神经网络结构的适应度大于设定的阈值时,将该图神经网络结构加入到父代群体中;
(5)重复步骤(1)~(4)直至满足设定的条件,完成对父代图神经网络结构群体的更新。
7.根据权利要求6所述的基于图神经网络自动建模的社区发现方法,其特征在于在步骤(3)的计算过程中,M的值随着搜索轮次的增加而递减,递减规则为:若搜索轮次能够整除M,则将M的值减少1,直至M=1,此时M的值不再变化,直至搜索结束。
8.根据权利要求7所述的基于图神经网络自动建模的社区发现方法,其特征在于所述的步骤S7,具体包括如下步骤:
5)采用如下算式计算得到需要进行社区发现的图数据G的相似度矩阵S:
6)基于步骤5)得到的相似度矩阵S进行聚类操作,从而实现需要进行社区发现的图数据G的社区发现。
9.一种包括了权利要求1~8之一所述的基于图神经网络自动建模的社区发现方法的个性推荐方法,其特征在于包括如下步骤:
S1. 使用用户购物数据构建用户商品二分图;
S2. 采用上述基于图神经网络自动建模的社区发现方法对步骤S1得到的用户商品二分图进行处理,构建用户画像后实现社区发现;
S3. 根据步骤S2得到的社区发现的结果,将属于同一社区用户购买的商品进行统计;
S4. 将不同的高频商品推荐给属于同一社区且没有购买该高频商品的用户,从而实现个性推荐。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210254385.9A CN114357312B (zh) | 2022-03-16 | 2022-03-16 | 基于图神经网络自动建模的社区发现方法及个性推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210254385.9A CN114357312B (zh) | 2022-03-16 | 2022-03-16 | 基于图神经网络自动建模的社区发现方法及个性推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114357312A true CN114357312A (zh) | 2022-04-15 |
CN114357312B CN114357312B (zh) | 2022-06-10 |
Family
ID=81094791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210254385.9A Active CN114357312B (zh) | 2022-03-16 | 2022-03-16 | 基于图神经网络自动建模的社区发现方法及个性推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114357312B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114896436A (zh) * | 2022-06-14 | 2022-08-12 | 厦门大学 | 一种基于表征互信息的网络结构搜索方法 |
CN116108764A (zh) * | 2023-04-14 | 2023-05-12 | 中国科学院长春光学精密机械与物理研究所 | 光学智能优化方法、装置、设备、介质 |
CN116822727A (zh) * | 2023-06-16 | 2023-09-29 | 深圳慧锐通智能技术股份有限公司 | 一种基于智慧社区云平台的精细化社区管理方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734223A (zh) * | 2018-05-27 | 2018-11-02 | 北京工业大学 | 基于社区划分的社交网络好友推荐方法 |
CN113379035A (zh) * | 2021-06-17 | 2021-09-10 | 中南大学 | 图神经网络结构优化搜索方法、系统及存储介质 |
CN113641920A (zh) * | 2021-10-13 | 2021-11-12 | 中南大学 | 基于社区发现和图神经网络的商品个性化推荐方法及系统 |
CN113704570A (zh) * | 2021-06-16 | 2021-11-26 | 香港理工大学深圳研究院 | 基于自监督学习式进化的大规模复杂网络社区检测方法 |
US11227190B1 (en) * | 2021-06-29 | 2022-01-18 | Alipay (Hangzhou) Information Technology Co., Ltd. | Graph neural network training methods and systems |
CN114020928A (zh) * | 2021-11-02 | 2022-02-08 | 上海交通大学 | 一种基于异质图对比学习的虚假新闻识别方法 |
-
2022
- 2022-03-16 CN CN202210254385.9A patent/CN114357312B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734223A (zh) * | 2018-05-27 | 2018-11-02 | 北京工业大学 | 基于社区划分的社交网络好友推荐方法 |
CN113704570A (zh) * | 2021-06-16 | 2021-11-26 | 香港理工大学深圳研究院 | 基于自监督学习式进化的大规模复杂网络社区检测方法 |
CN113379035A (zh) * | 2021-06-17 | 2021-09-10 | 中南大学 | 图神经网络结构优化搜索方法、系统及存储介质 |
US11227190B1 (en) * | 2021-06-29 | 2022-01-18 | Alipay (Hangzhou) Information Technology Co., Ltd. | Graph neural network training methods and systems |
CN113641920A (zh) * | 2021-10-13 | 2021-11-12 | 中南大学 | 基于社区发现和图神经网络的商品个性化推荐方法及系统 |
CN114020928A (zh) * | 2021-11-02 | 2022-02-08 | 上海交通大学 | 一种基于异质图对比学习的虚假新闻识别方法 |
Non-Patent Citations (1)
Title |
---|
简毅等: "基于遗传优化GRNN神经网络的人脸识别算法", 《兵器装备工程学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114896436A (zh) * | 2022-06-14 | 2022-08-12 | 厦门大学 | 一种基于表征互信息的网络结构搜索方法 |
CN114896436B (zh) * | 2022-06-14 | 2024-04-30 | 厦门大学 | 一种基于表征互信息的网络结构搜索方法 |
CN116108764A (zh) * | 2023-04-14 | 2023-05-12 | 中国科学院长春光学精密机械与物理研究所 | 光学智能优化方法、装置、设备、介质 |
CN116822727A (zh) * | 2023-06-16 | 2023-09-29 | 深圳慧锐通智能技术股份有限公司 | 一种基于智慧社区云平台的精细化社区管理方法及装置 |
CN116822727B (zh) * | 2023-06-16 | 2024-03-22 | 深圳慧锐通智能技术股份有限公司 | 一种基于智慧社区云平台的精细化社区管理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114357312B (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114357312B (zh) | 基于图神经网络自动建模的社区发现方法及个性推荐方法 | |
Fernandes Jr et al. | Pruning deep convolutional neural networks architectures with evolution strategy | |
CN110263227B (zh) | 基于图神经网络的团伙发现方法和系统 | |
Fan et al. | Universal approximation with quadratic deep networks | |
CN111859166B (zh) | 一种基于改进的图卷积神经网络的物品评分预测方法 | |
Wang et al. | Bi-gcn: Binary graph convolutional network | |
Reihanian et al. | Community detection in social networks with node attributes based on multi-objective biogeography based optimization | |
CN112529168A (zh) | 一种基于gcn的属性多层网络表示学习方法 | |
CN112800344B (zh) | 一种基于深度神经网络的电影推荐方法 | |
Katarya et al. | A comparative study of genetic algorithm in sentiment analysis | |
CN111597428A (zh) | 一种具有q分离k稀疏的用户与物品拼接的推荐方法 | |
CN113850616A (zh) | 基于深度图神经网络的客户生命周期价值预测方法 | |
Farooq | Genetic algorithm technique in hybrid intelligent systems for pattern recognition | |
CN114861072B (zh) | 一种基于层间组合机制的图卷积网络推荐方法及装置 | |
Gupta et al. | A comparative analysis of genetic programming and genetic algorithm on multi-criteria recommender systems | |
CN116304518A (zh) | 用于信息推荐的异质图卷积神经网络模型构建方法及系统 | |
Li et al. | Large-scale nodes classification with deep aggregation network | |
Pecli et al. | Dimensionality reduction for supervised learning in link prediction problems | |
Liang et al. | A normalizing flow-based co-embedding model for attributed networks | |
Wang et al. | Color trend prediction method based on genetic algorithm and extreme learning machine | |
Lyu | Cryptocurrency price forecasting: A comparative study of machine learning model in short-term trading | |
Manoju et al. | Conductivity based agglomerative spectral clustering for community detection | |
Liu et al. | Feature selection for orthogonal broad learning system based on mutual information | |
Wilson et al. | A recommendation model based on deep feature representation and multi-head self-attention mechanism | |
Yin et al. | Adaptive graph convolutional networks based on decouple and residuals to relieve over-smoothing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |