CN115293919B - 面向社交网络分布外泛化的图神经网络预测方法及系统 - Google Patents
面向社交网络分布外泛化的图神经网络预测方法及系统 Download PDFInfo
- Publication number
- CN115293919B CN115293919B CN202210871411.2A CN202210871411A CN115293919B CN 115293919 B CN115293919 B CN 115293919B CN 202210871411 A CN202210871411 A CN 202210871411A CN 115293919 B CN115293919 B CN 115293919B
- Authority
- CN
- China
- Prior art keywords
- graph
- social
- neural network
- network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000009826 distribution Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 114
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 238000012360 testing method Methods 0.000 abstract description 7
- 238000011160 research Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种面向社交网络分布外泛化的图神经网络预测方法及系统。该方法包括:1)把社交网络数据中打标签的数据作为训练数据集,每个节点代表一个用户,两个节点之间的边代表两个用户彼此是好友关系;2)对训练数据集进行随机采样,形成不同批次的训练数据;3)利用不同批次的训练数据更新聚类中心,划分不同的子图,每个子图包含的用户由聚类中心决定;4)利用上一步得到的不同的子图,更新图神经网络参数;5)利用更新后的图神经网络参数,进行社交网络用户标签的预测,从而预测该用户的社交信。本发明将图神经网络应用于分布外的社交网络预测。相比一般图神经网络算法,本发明对训练集分布外的测试数据具有较强的鲁棒性和准确率。
Description
技术领域
本发明涉及机器学习领域,尤其涉及面向社交网络分布外泛化的图神经网络预测方法及系统。
背景技术
最近,图形神经网络在各种图形任务上取得了先进的性能,例如分子图属性预测,场景图分类,和社交网络分类。尽管图神经网络的性能令人震惊,但大多数现有方法都假设训练和测试数据是独立且分布相同的,而对于许多真实世界的图形和应用,即在社交网络领域,训练和测试数据之间的分布可能不同。由于缺乏分布外泛化能力,现有方法的模型性能在数据的分布变化下会显著降低。因此,学习具有分布外泛化能力的图神经网络是至关重要的。
发明内容
本发明的目的是克服现有图神经网络算法在社交网络数据中,训练数据与测试数据的分布不同造成性能下降的问题,并提出了一种面向社交网络分布外泛化的图神经网络预测方法,该方法可以直接在图神经网络的表征层面进行不变学习,从而在不同分布的测试数据集上都可以进行稳定而准确的社交信息标签预测。
为实现上述发明目的,本发明具体采用的技术方案如下:
第一方面,本发明提供了一种面向社交网络分布外泛化的图神经网络预测方法,其包括如下步骤:
S1、把社交网络数据中标记有社交信息标签的数据作为训练数据集;所述社交网络数据以社交网络图的形式存储,图中的每个节点代表一个用户,若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接,若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接;
S2、对训练数据集进行随机采样,形成不同批次的训练数据,每一个批次的训练数据构成一个社交图网络;
S3、根据预先设定的用户聚类数目,分别用一个第一图神经网络为每个聚类簇的聚类中心,每个第一图神经网络的输入为社交图网络,输出为社交图网络中每个用户节点的社交信息标签;选择一个批次的训练数据迭代更新聚类中心,且聚类中心每更新一次,社交网络图中的所有用户节点需被更新划分至对该用户的标签预测准确度最高的第一图神经网络所在的聚类簇中,训练完毕后将社交网络图按照最终的聚类簇划分为多个子图;
S4、利用S3中当前输入批次的训练数据对应的各子图迭代训练第二图神经网络,第二图神经网络的输入为子图,输出为子图中每个节点的社交信息标签;
S5、利用S2中采集的不同批次的训练数据,通过不断执行S3和S4,迭代训练第二图神经网络,直至第二图神经网络收敛;
S6、利用训练得到的第二图神经网络对所述社交网络数据中的未知标签用户进行预测,得到各位置标签用户的社交信息标签。
在上述方案基础上,各步骤可以采用如下优选的具体方式实现。
作为上述第一份方面的优选,所述的S3具体包括以下子步骤:
S301、根据预先设定的用户聚类数目N,初始化N个图神经网络模型作为N个聚类中心,其中θj为第j个图神经网络模型的参数;
S302、选择一个批次的训练数据作为输入,对当前输入批次的训练数据所对应的社交图网络Gt,初始化提取的图特征Ψ=Gt,同时将社交图网络Gt中的所有用户节点初始化划分至当前最新的N个图神经网络模型对应的聚类簇中;
S303、对每个聚类中心对应的图神经网络模型通过最小化损失函数hj(Ψ,Y)进行一轮更新:
其中Y是社交图网络Gt中用户节点的社交信息标签真值,Ψ是图神经网络模型中的特征提取操作,Ψ的输入是Xj和A,Xj是社交图网络Gt中当前属于第j个聚类簇的节点特征,A是社交图网络Gt中与Xj中所包含的节点相关的邻边数据,输出社交图网络Gt中用户节点的社交信息标签预测值;
S304、根据S303中更新后的各聚类中心对应的图神经网络模型对社交图网络Gt中的所有用户节点重新进行划分,每个用户节点被划分至对该用户节点的社交信息标签预测准确度最高的图神经网络模型所对应的聚类簇中;
S305、不断迭代重复S303和S304,从而将当前输入批次的训练数据中相似的图数据聚类在一起,而将不相似的图数据分隔开,迭代结束后以每一个聚类簇中的用户节点构建一个子图,子图中用户节点之间的边连接与社交图网络Gt一致。
作为上述第一份方面的优选,所述的S4中第二图神经网络的具体训练方法如下:
利用S3中基于当前输入批次的训练数据所得到的不同子图,训练第二图神经网络,更新图神经网络参数,训练采用的损失函数为:
其中:Xe,Ae分别是第e个子图中的节点特征和邻边数据;θ是第二图神经网络GNN的参数;表示计算损失的期望,l表示损失计算函数;Ye是第e个子图中用户节点的社交信息标签真值,GNN(Ψ(Xe,Ae);θ)输出第e个子图中用户节点的社交信息标签预测值,e=1,2,…,N。
作为上述第一份方面的优选,所述用户聚类数目N=2~5。
作为上述第一份方面的优选,所述损失计算函数l为交叉熵损失函数。
作为上述第一份方面的优选,所述第一图神经网络和第二图神经网络均为带有分类器的图神经网络。
作为上述第一份方面的优选,所述社交网络数据中,两个用户之间存在社交关系和不存在社交关系分别表示这两个用户之间存在关联联系和不存在关联联系,用户的社交信息标签为用户的分类类型标签。
第二方面,本发明提供了一种面向社交网络分布外泛化的图神经网络预测系统,其包括:
数据获取模块,用于把社交网络数据中标记有社交信息标签的数据作为训练数据集;所述社交网络数据以社交网络图的形式存储,图中的每个节点代表一个用户,若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接,若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接;
采样模块,用于对训练数据集进行随机采样,形成不同批次的训练数据,每一个批次的训练数据构成一个社交图网络;
子图划分模块,用于根据预先设定的用户聚类数目,分别用一个第一图神经网络模型为每个聚类簇的聚类中心,每个第一图神经网络的输入为社交图网络,输出为社交图网络中每个用户节点的社交信息标签;选择一个批次的训练数据迭代更新聚类中心,且聚类中心每更新一次,社交网络图中的所有用户节点需被更新划分至对该用户的标签预测准确度最高的第一图神经网络所在的聚类簇中,训练完毕后将社交网络图按照最终的聚类簇划分为多个子图;
图网络更新模块,用于利用子图划分模块中当前输入批次的训练数据对应的各子图迭代训练第二图神经网络,第二图神经网络的输入为子图,输出为子图中每个节点的社交信息标签;
迭代训练模块,用于利用采样模块中采集的不同批次的训练数据,通过不断执行子图划分模块和图网络更新模块,迭代训练第二图神经网络,直至第二图神经网络收敛;
标签预测模块,用于利用训练得到的第二图神经网络对所述社交网络数据中的未知标签用户进行预测,得到各位置标签用户的社交信息标签。
第三方面,本发明提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如第一方面中任一项所述的面向社交网络分布外泛化的图神经网络预测方法。
第四方面,本发明提供了一种计算机电子设备,其包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如第一方面中任一项所述的面向社交网络分布外泛化的图神经网络预测方法。
相对于现有技术而言,本发明提出了一种面向社交网络分布外泛化的图神经网络预测方法,该方法可以直接在图神经网络的表征层面进行不变学习,从而在不同分布的测试数据集上都可以进行稳定而准确的社交信息标签预测。本发明将图神经网络应用于分布外的社交网络预测,相比一般图神经网络算法,对训练数据分布外的数据具有更强的鲁棒性和准确率。
附图说明
图1是面向社交网络分布外泛化的图神经网络预测方法步骤示意图。
图2是面向社交网络分布外泛化的图神经网络预测方法流程示意图。
图3是面向社交网络分布外泛化的图神经网络预测系统的模块组成示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
如图1所示,在本发明的一个较佳实施例中,提供了一种面向社交网络分布外泛化的图神经网络预测方法,该方法用于对社交网络数据中的无标签用户进行社交信息标签的预测。该预测方法具体包括如下步骤:
S1、把社交网络数据中标记有社交信息标签的数据作为训练数据集;所述社交网络数据以社交网络图的形式存储,图中的每个节点代表一个用户,若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接,若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接。
在本发明中,社交网络数据是反映用户的社交行为的数据,例如用户添加某位好友,用户删除某位好友等等,均可为构建社交网络提供构图依据。两个用户之间存在社交关系和不存在社交关系分别表示这两个用户之间存在关联联系和不存在关联联系,用户的社交信息标签为用户的分类类型标签。用户的社交信息标签是一种对用户进行画像时的分类类别标签,具体的标签形式可以根据实际的应用场景决定,例如用户喜欢的音乐类型标签、用户自身的研究领域标签等等。而且,用户之间的关联联系具体也可以根据实际应用场景决定,例如当标签形式为用户喜欢的音乐类型标签,用户之间的关联联系可以代表两个用户之间是否为好友,例如用户与其他用户如果是好友关系,则用户代表的节点与其他用户代表的节点之间有边作为连接,而不是好友关系,则没有边。在后续实例中,当标签形式为用户自身的研究领域标签,用户之间的关联联系可以代表两个用户之间是否有科研合作,例如出现合署论文等。
S2、对训练数据集进行随机采样,形成不同批次的训练数据,每一个批次的训练数据构成一个社交图网络。
需要说明的是,随机采样过程中,每一个批次的训练数据均为原始训练数据集的一部分,每一个批次的训练数据对应的社交图网络相当于原始训练数据集对应的社交图网络中的一部分。
S3、根据预先设定的用户聚类数目,分别用一个第一图神经网络模型为每个聚类簇的聚类中心,每个第一图神经网络的输入为社交图网络,输出为社交图网络中每个用户节点的社交信息标签;选择一个批次的训练数据迭代更新聚类中心,且聚类中心每更新一次,社交网络图中的所有用户节点需被更新划分至对该用户的标签预测准确度最高的第一图神经网络所在的聚类簇中,训练完毕后将社交网络图按照最终的聚类簇划分为多个子图。
在本实施例中,上述步骤S3具体包括以下子步骤:
S301、根据预先设定的用户聚类数目N,初始化N个图神经网络模型作为N个聚类中心,其中θj为第j个图神经网络模型的参数;
在本实施例中,上述步骤用户聚类数目可根据实际需要进行调整,可选的,N=2~5。
S302、选择一个批次的训练数据作为输入,对当前输入批次的训练数据所对应的社交图网络Gt,初始化提取的图特征Ψ=Gt,同时将社交图网络Gt中的所有用户节点初始化划分至当前最新的N个图神经网络模型对应的聚类簇中。
需要注意的是,此处所谓的“当前最新的N个图神经网络模型”,对于第一轮训练而言就是S301中初始化的N个图神经网络模型/>而对于其他训练轮数而言就是上一轮中训练后的N个图神经网络模型/>
S303、对每个聚类中心对应的图神经网络模型通过最小化损失函数hj(Ψ,Y)进行一轮更新:
其中Y是社交图网络Gt中用户节点的社交信息标签真值,Ψ是图神经网络模型中的特征提取操作,Ψ的输入是Xj和A,Xj是社交图网络Gt中当前属于第j个聚类簇的节点特征,A是社交图网络Gt中与Xj中所包含的节点相关的邻边数据,输出社交图网络Gt中用户节点的社交信息标签预测值。
S304、根据S303中更新后的各聚类中心对应的图神经网络模型对社交图网络Gt中的所有用户节点重新进行划分,每个用户节点被划分至对该用户节点的社交信息标签预测准确度最高的图神经网络模型所对应的聚类簇中;
需要说明的是,此处每个用户节点的聚类划分是以用户节点的社交信息标签预测准确度最高为基准的。在实际实现时,可以利用每一个图神经网络模型对该用户节点的社交信息标签进行预测,获得其分类软标签即在不同标签类别上的概率分布,进而确定每一个图神经网络模型/>下正确标签类别所对应的概率值,选择概率值最大的一个图神经网络模型/>作为聚类中心,将该用户节点划分至对应的聚类簇中。
S305、不断迭代重复S303和S304,从而将当前输入批次的训练数据中相似的图数据聚类在一起,而将不相似的图数据分隔开,迭代结束后以每一个聚类簇中的用户节点构建一个子图,子图中用户节点之间的边连接与社交图网络Gt一致。
S4、利用S3中当前输入批次的训练数据对应的各子图迭代训练第二图神经网络,第二图神经网络的输入为子图,输出为子图中每个节点的社交信息标签。
在本实施例中,上述步骤S4中第二图神经网络的具体训练方法如下:
利用S3中基于当前输入批次的训练数据所得到的不同子图,训练第二图神经网络,更新图神经网络参数,训练采用的损失函数为:
其中:Xe,Ae分别是第e个子图中的节点特征和邻边数据;θ是第二图神经网络GNN的参数;表示计算损失的期望,l表示损失计算函数;Ye是第e个子图中用户节点的社交信息标签真值,第二图神经网络GNN(Ψ(Xe,Ae);θ)基于Xe,Ae输出第e个子图中用户节点的社交信息标签预测值,e=1,2,…,N。
在本实施例中,由于标签预测属于分类问题,因此损失计算函数l可采用交叉熵损失函数。
S5、利用S2中采集的不同批次的训练数据,通过不断执行S3和S4,迭代训练第二图神经网络,直至第二图神经网络收敛。
需要注意的是,基于实际的神经网络训练模式中,需要利用训练集进行训练,用验证集进行验证。因此,在实际应用时,可在S1中,把社交网络数据中打标签的数据作为训练数据集,随机抽样其中的30%作为数据作为验证数据集。在对S2中,亦可对训练数据集和验证数据集分别进行随机采样,形成不同批次的训练数据和验证数据,其训练流程如图2所示。训练数据和验证数据的具体划分和使用,与传统神经网络模型的训练类似,不再赘述。
S6、利用训练得到的第二图神经网络对所述社交网络数据中的未知标签用户进行预测,得到各位置标签用户的社交信息标签。
在本实施例中,第一图神经网络和第二图神经网络均为带有分类器的图神经网络,即图神经网络中包含特征提取部分和分类器,先由特征提取部分提取图数据中的节点特征,再送入分类器中进行分类。图神经网络的具体结构属于现有技术,对此不再赘述。
同样的,基于同一发明构思,本发明的另一较佳实施例中还提供了与上述实施例提供的面向社交网络分布外泛化的图神经网络预测方法对应的一种面向社交网络分布外泛化的图神经网络预测系统,如图3所示,该系统包括:
数据获取模块,用于把社交网络数据中标记有社交信息标签的数据作为训练数据集;所述社交网络数据以社交网络图的形式存储,图中的每个节点代表一个用户,若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接,若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接;
采样模块,用于对训练数据集进行随机采样,形成不同批次的训练数据,每一个批次的训练数据构成一个社交图网络;
子图划分模块,用于根据预先设定的用户聚类数目,分别用一个第一图神经网络模型为每个聚类簇的聚类中心,每个第一图神经网络的输入为社交图网络,输出为社交图网络中每个用户节点的社交信息标签;选择一个批次的训练数据迭代更新聚类中心,且聚类中心每更新一次,社交网络图中的所有用户节点需被更新划分至对该用户的标签预测准确度最高的第一图神经网络所在的聚类簇中,训练完毕后将社交网络图按照最终的聚类簇划分为多个子图;
图网络更新模块,用于利用子图划分模块中当前输入批次的训练数据对应的各子图迭代训练第二图神经网络,第二图神经网络的输入为子图,输出为子图中每个节点的社交信息标签;
迭代训练模块,用于利用采样模块中采集的不同批次的训练数据,通过不断执行子图划分模块和图网络更新模块,迭代训练第二图神经网络,直至第二图神经网络收敛;
标签预测模块,用于利用训练得到的第二图神经网络对所述社交网络数据中的未知标签用户进行预测,得到各位置标签用户的社交信息标签。
由于本发明实施例中的面向社交网络分布外泛化的图神经网络预测系统解决问题的原理与本发明上述实施例的面向社交网络分布外泛化的图神经网络预测方法相似,因此该实施例中系统的各模块具体实现形式未尽之处亦可可以参见上述方法的具体实现形式,重复之处不再赘述。
同样的,基于同一发明构思,本发明的另一较佳实施例中还提供了与上述实施例提供的面向社交网络分布外泛化的图神经网络预测方法对应的一种电子设备,其包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如前所述的面向社交网络分布外泛化的图神经网络预测方法。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
由此,基于同一发明构思,本发明的另一较佳实施例中还提供了与上述实施例提供的面向社交网络分布外泛化的图神经网络预测方法对应的一种计算机可读存储介质,该所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,能实现如前所述的面向社交网络分布外泛化的图神经网络预测方法。
具体而言,在上述两个实施例的计算机可读存储介质中,存储的计算机程序被处理器执行,可执行前述S1~S6的步骤。
可以理解的是,上述存储介质可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。同时存储介质还可以是U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是,上述的处理器可以是通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外需要说明的是,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的各实施例中,所述的系统和方法中对于步骤或者模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或步骤可以结合或者可以集成到一起,一个模块或者步骤亦可进行拆分。
下面利用前述实施例中S1~S6所示的面向社交网络分布外泛化的图神经网络方法,通过一个具体的应用实例来展示本发明在社交网络预测的具体效果。具体的方法步骤如前所述,不再赘述,下面仅展示其具体效果。
实施例
本实施例在公开的科研社交数据集Collab上进行实施及验证。图中每个节点对应于一个研究人员,即研究人员及其合作者是节点,边表示两个研究人员之间的互相认识,有科研合作。研究人员有三种代表研究领域的标签,即高能物理、凝聚态物理和天体物理,数据集由5000个研究人员的节点构成。算法的任务是给定研究人员的图数据,根据其与其他研究人员是否合作,预测其研究领域为高能物理、凝聚态物理和天体物理中的哪一种。
算法训练和测试中,将数据集中的10%作为有标签的训练集,剩余作为无标签的待预测的测试集。
为了客观评估本算法的性能,使用预测准确率(Accuracy)对该方法进行评价,并将其与目前广泛使用的图神经网络算法GCN和邻居聚合算法PNA进行对比。
所得实验结果如表1所示,结果表明,本发明的面向社交网络分布外泛化的图神经网络方法具有较高的准确率。
表1图数据的图预测分类准确率
以上所述的实施例只是本发明的一种较佳的方案,然其并非用以限制本发明。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
Claims (9)
1.一种面向社交网络分布外泛化的图神经网络预测方法,其特征在于,包括如下步骤:
S1、把社交网络数据中标记有社交信息标签的数据作为训练数据集;所述社交网络数据以社交网络图的形式存储,图中的每个节点代表一个用户,若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接,若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接;
S2、对训练数据集进行随机采样,形成不同批次的训练数据,每一个批次的训练数据构成一个社交图网络;
S3、根据预先设定的用户聚类数目,分别用一个第一图神经网络为每个聚类簇的聚类中心,每个第一图神经网络的输入为社交图网络,输出为社交图网络中每个用户节点的社交信息标签;选择一个批次的训练数据迭代更新聚类中心,且聚类中心每更新一次,社交网络图中的所有用户节点需被更新划分至对该用户的标签预测准确度最高的第一图神经网络所在的聚类簇中,训练完毕后将社交网络图按照最终的聚类簇划分为多个子图,具体步骤如下:
S301、根据预先设定的用户聚类数目N,初始化N个图神经网络模型作为N个聚类中心,其中θj为第j个图神经网络模型的参数;
S302、选择一个批次的训练数据作为输入,对当前输入批次的训练数据所对应的社交图网络Gt,初始化提取的图特征Ψ=Gt,同时将社交图网络Gt中的所有用户节点初始化划分至当前最新的N个图神经网络模型对应的聚类簇中;
S303、对每个聚类中心对应的图神经网络模型通过最小化损失函数hj(Ψ,Y)进行一轮更新:
其中Y是社交图网络Gt中用户节点的社交信息标签真值,Ψ是图神经网络模型中的特征提取操作,Ψ的输入是Xj和A,Xj是社交图网络Gt中当前属于第j个聚类簇的节点特征,A是社交图网络Gt中与Xj中所包含的节点相关的邻边数据,输出社交图网络Gt中用户节点的社交信息标签预测值;
S304、根据S303中更新后的各聚类中心对应的图神经网络模型对社交图网络Gt中的所有用户节点重新进行划分,每个用户节点被划分至对该用户节点的社交信息标签预测准确度最高的图神经网络模型所对应的聚类簇中;
S305、不断迭代重复S303和S304,从而将当前输入批次的训练数据中相似的图数据聚类在一起,而将不相似的图数据分隔开,迭代结束后以每一个聚类簇中的用户节点构建一个子图,子图中用户节点之间的边连接与社交图网络Gt一致;
S4、利用S3中当前输入批次的训练数据对应的各子图迭代训练第二图神经网络,第二图神经网络的输入为子图,输出为子图中每个节点的社交信息标签;
S5、利用S2中采集的不同批次的训练数据,通过不断执行S3和S4,迭代训练第二图神经网络,直至第二图神经网络收敛;
S6、利用训练得到的第二图神经网络对所述社交网络数据中的未知标签用户进行预测,得到各位置标签用户的社交信息标签。
2.如权利要求1所述的面向社交网络分布外泛化的图神经网络预测方法,其特征在于,所述的S4中第二图神经网络的具体训练方法如下:
利用S3中基于当前输入批次的训练数据所得到的不同子图,训练第二图神经网络,更新图神经网络参数,训练采用的损失函数为:
其中:Xe,Ae分别是第e个子图中的节点特征和邻边数据;θ是第二图神经网络GNN的参数;表示计算损失的期望,l表示损失计算函数;Ye是第e个子图中用户节点的社交信息标签真值,GNN(Ψ(Xe,Ae);θ)输出第e个子图中用户节点的社交信息标签预测值,e=1,2,…,N。
3.如权利要求1所述的面向社交网络分布外泛化的图神经网络预测方法,其特征在于,所述用户聚类数目N=2~5。
4.如权利要求2所述的面向社交网络分布外泛化的图神经网络预测方法,其特征在于,所述损失计算函数l为交叉熵损失函数。
5.如权利要求1所述的面向社交网络分布外泛化的图神经网络预测方法,其特征在于,所述第一图神经网络和第二图神经网络均为带有分类器的图神经网络。
6.如权利要求1所述的面向社交网络分布外泛化的图神经网络预测方法,其特征在于,所述社交网络数据中,两个用户之间存在社交关系和不存在社交关系分别表示这两个用户之间存在关联联系和不存在关联联系,用户的社交信息标签为用户的分类类型标签。
7.一种面向社交网络分布外泛化的图神经网络预测系统,其特征在于,包括:
数据获取模块,用于把社交网络数据中标记有社交信息标签的数据作为训练数据集;所述社交网络数据以社交网络图的形式存储,图中的每个节点代表一个用户,若用户与用户之间存在社交关系则在对应的两个用户节点之间建立边连接,若用户与用户之间不存在社交关系则在对应的两个用户节点之间不存在边连接;
采样模块,用于对训练数据集进行随机采样,形成不同批次的训练数据,每一个批次的训练数据构成一个社交图网络;
子图划分模块,用于根据预先设定的用户聚类数目,分别用一个第一图神经网络为每个聚类簇的聚类中心,每个第一图神经网络的输入为社交图网络,输出为社交图网络中每个用户节点的社交信息标签;选择一个批次的训练数据迭代更新聚类中心,且聚类中心每更新一次,社交网络图中的所有用户节点需被更新划分至对该用户的标签预测准确度最高的第一图神经网络所在的聚类簇中,训练完毕后将社交网络图按照最终的聚类簇划分为多个子图;具体步骤如下:
S301、根据预先设定的用户聚类数目N,初始化N个图神经网络模型作为N个聚类中心,其中θj为第j个图神经网络模型的参数;
S302、选择一个批次的训练数据作为输入,对当前输入批次的训练数据所对应的社交图网络Gt,初始化提取的图特征Ψ=Gt,同时将社交图网络Gt中的所有用户节点初始化划分至当前最新的N个图神经网络模型对应的聚类簇中;
S303、对每个聚类中心对应的图神经网络模型通过最小化损失函数hj(Ψ,Y)进行一轮更新:
其中Y是社交图网络Gt中用户节点的社交信息标签真值,Ψ是图神经网络模型中的特征提取操作,Ψ的输入是Xj和A,Xj是社交图网络Gt中当前属于第j个聚类簇的节点特征,A是社交图网络Gt中与Xj中所包含的节点相关的邻边数据,输出社交图网络Gt中用户节点的社交信息标签预测值;
S304、根据S303中更新后的各聚类中心对应的图神经网络模型对社交图网络Gt中的所有用户节点重新进行划分,每个用户节点被划分至对该用户节点的社交信息标签预测准确度最高的图神经网络模型所对应的聚类簇中;
S305、不断迭代重复S303和S304,从而将当前输入批次的训练数据中相似的图数据聚类在一起,而将不相似的图数据分隔开,迭代结束后以每一个聚类簇中的用户节点构建一个子图,子图中用户节点之间的边连接与社交图网络Gt一致;
图网络更新模块,用于利用子图划分模块中当前输入批次的训练数据对应的各子图迭代训练第二图神经网络,第二图神经网络的输入为子图,输出为子图中每个节点的社交信息标签;
迭代训练模块,用于利用采样模块中采集的不同批次的训练数据,通过不断执行子图划分模块和图网络更新模块,迭代训练第二图神经网络,直至第二图神经网络收敛;
标签预测模块,用于利用训练得到的第二图神经网络对所述社交网络数据中的未知标签用户进行预测,得到各位置标签用户的社交信息标签。
8.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1~6任一项所述的面向社交网络分布外泛化的图神经网络预测方法。
9.一种计算机电子设备,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求1~6任一项所述的面向社交网络分布外泛化的图神经网络预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210871411.2A CN115293919B (zh) | 2022-07-22 | 2022-07-22 | 面向社交网络分布外泛化的图神经网络预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210871411.2A CN115293919B (zh) | 2022-07-22 | 2022-07-22 | 面向社交网络分布外泛化的图神经网络预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115293919A CN115293919A (zh) | 2022-11-04 |
CN115293919B true CN115293919B (zh) | 2023-08-04 |
Family
ID=83823518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210871411.2A Active CN115293919B (zh) | 2022-07-22 | 2022-07-22 | 面向社交网络分布外泛化的图神经网络预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115293919B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115883147B (zh) * | 2022-11-22 | 2023-10-13 | 浙江御安信息技术有限公司 | 一种基于图神经网络的攻击者画像方法 |
CN116664292B (zh) * | 2023-04-13 | 2024-05-28 | 连连银通电子支付有限公司 | 一种交易异常预测模型的训练方法和交易异常预测方法 |
CN117273086B (zh) * | 2023-11-17 | 2024-03-08 | 支付宝(杭州)信息技术有限公司 | 多方联合训练图神经网络的方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816535A (zh) * | 2018-12-13 | 2019-05-28 | 中国平安财产保险股份有限公司 | 欺诈识别方法、装置、计算机设备及存储介质 |
CN109859054A (zh) * | 2018-12-13 | 2019-06-07 | 平安科技(深圳)有限公司 | 网络社团挖掘方法、装置、计算机设备及存储介质 |
CN111985622A (zh) * | 2020-08-25 | 2020-11-24 | 支付宝(杭州)信息技术有限公司 | 一种图神经网络训练方法和系统 |
CN112165496A (zh) * | 2020-10-13 | 2021-01-01 | 清华大学 | 基于聚类图神经网络的网络安全异常检测算法和检测系统 |
CN112529115A (zh) * | 2021-02-05 | 2021-03-19 | 支付宝(杭州)信息技术有限公司 | 一种对象聚类方法和系统 |
CN113468227A (zh) * | 2021-06-25 | 2021-10-01 | 北京达佳互联信息技术有限公司 | 基于图神经网络的信息推荐方法、系统、设备和存储介质 |
US11227190B1 (en) * | 2021-06-29 | 2022-01-18 | Alipay (Hangzhou) Information Technology Co., Ltd. | Graph neural network training methods and systems |
CN114358111A (zh) * | 2021-11-03 | 2022-04-15 | 腾讯科技(深圳)有限公司 | 对象聚类模型的获取方法、对象聚类方法及装置 |
CN114528441A (zh) * | 2021-12-30 | 2022-05-24 | 深圳云天励飞技术股份有限公司 | 一种图结构数据节点分类方法、装置及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9292884B2 (en) * | 2013-07-10 | 2016-03-22 | Facebook, Inc. | Network-aware product rollout in online social networks |
-
2022
- 2022-07-22 CN CN202210871411.2A patent/CN115293919B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816535A (zh) * | 2018-12-13 | 2019-05-28 | 中国平安财产保险股份有限公司 | 欺诈识别方法、装置、计算机设备及存储介质 |
CN109859054A (zh) * | 2018-12-13 | 2019-06-07 | 平安科技(深圳)有限公司 | 网络社团挖掘方法、装置、计算机设备及存储介质 |
CN111985622A (zh) * | 2020-08-25 | 2020-11-24 | 支付宝(杭州)信息技术有限公司 | 一种图神经网络训练方法和系统 |
CN112165496A (zh) * | 2020-10-13 | 2021-01-01 | 清华大学 | 基于聚类图神经网络的网络安全异常检测算法和检测系统 |
CN112529115A (zh) * | 2021-02-05 | 2021-03-19 | 支付宝(杭州)信息技术有限公司 | 一种对象聚类方法和系统 |
CN113468227A (zh) * | 2021-06-25 | 2021-10-01 | 北京达佳互联信息技术有限公司 | 基于图神经网络的信息推荐方法、系统、设备和存储介质 |
US11227190B1 (en) * | 2021-06-29 | 2022-01-18 | Alipay (Hangzhou) Information Technology Co., Ltd. | Graph neural network training methods and systems |
CN114358111A (zh) * | 2021-11-03 | 2022-04-15 | 腾讯科技(深圳)有限公司 | 对象聚类模型的获取方法、对象聚类方法及装置 |
CN114528441A (zh) * | 2021-12-30 | 2022-05-24 | 深圳云天励飞技术股份有限公司 | 一种图结构数据节点分类方法、装置及电子设备 |
Non-Patent Citations (1)
Title |
---|
基于图编码网络的社交网络节点分类方法;郝志峰;柯妍蓉;李烁;蔡瑞初;温雯;王丽娟;;计算机应用(01);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115293919A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11922308B2 (en) | Generating neighborhood convolutions within a large network | |
CN115293919B (zh) | 面向社交网络分布外泛化的图神经网络预测方法及系统 | |
Fawagreh et al. | Random forests: from early developments to recent advancements | |
Hartmann et al. | Clustering evolving networks | |
Corchado et al. | Ibr retrieval method based on topology preserving mappings | |
Žalik et al. | Memetic algorithm using node entropy and partition entropy for community detection in networks | |
CN111667022A (zh) | 用户数据处理方法、装置、计算机设备和存储介质 | |
CN110515986B (zh) | 一种社交网络图的处理方法、装置及存储介质 | |
CN113554175B (zh) | 一种知识图谱构建方法、装置、可读存储介质及终端设备 | |
CN112395487A (zh) | 信息推荐方法、装置、计算机可读存储介质及电子设备 | |
Valero-Mas et al. | On the suitability of Prototype Selection methods for kNN classification with distributed data | |
Fang et al. | LASSO isotone for high-dimensional additive isotonic regression | |
Matsui | Sparse group lasso for multiclass functional logistic regression models | |
Xu et al. | Towards annotating media contents through social diffusion analysis | |
CN113553326A (zh) | 电子表格数据处理方法、装置、计算机设备和存储介质 | |
Kumar et al. | Gene expression data clustering using variance-based harmony search algorithm | |
CN116522232A (zh) | 文档分类方法、装置、设备及存储介质 | |
CN116956081A (zh) | 面向异构社交网络分布外泛化的社交标签预测方法及系统 | |
Culos et al. | An artificial bee colony algorithm for mixture model-based clustering | |
Mishra et al. | Unsupervised functional link artificial neural networks for cluster Analysis | |
CN115577283A (zh) | 一种实体分类方法、装置、电子设备及存储介质 | |
Dahinden et al. | Decomposition and model selection for large contingency tables | |
Liu et al. | Margin-based two-stage supervised hashing for image retrieval | |
Wang et al. | Clustered coefficient regression models for poisson process with an application to seasonal warranty claim data | |
Steyn et al. | A nearest neighbor open-set classifier based on excesses of distance ratios |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |