CN112733933B - 基于统一优化目标框架图神经网络的数据分类方法及装置 - Google Patents
基于统一优化目标框架图神经网络的数据分类方法及装置 Download PDFInfo
- Publication number
- CN112733933B CN112733933B CN202110023447.0A CN202110023447A CN112733933B CN 112733933 B CN112733933 B CN 112733933B CN 202110023447 A CN202110023447 A CN 202110023447A CN 112733933 B CN112733933 B CN 112733933B
- Authority
- CN
- China
- Prior art keywords
- representing
- neural network
- matrix
- graph
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 123
- 238000005457 optimization Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 133
- 238000001914 filtration Methods 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 19
- 230000007704 transition Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 102100029212 Putative tetratricopeptide repeat protein 41 Human genes 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了基于统一优化目标框架图神经网络的数据分类方法及装置，获取待分类对象的描述信息，待分类对象之间的关系信息；基于描述信息生成特征矩阵，基于关系信息生成邻接矩阵；将特征矩阵和邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；图神经网络是根据预先确定的特征传播方程构建的，特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。提出了图神经网络的统一的优化目标方程，并对图形过滤器进行赋值得到特征传播方程，根据特征传播方程构建图神经网络，根据所构建的图神经网络对待分类对象进行分类，能够提高分类准确性。
Description
技术领域
本发明涉及深度学习技术领域，特别是涉及一种基于统一优化目标框架图神经网络的数据分类方法及装置。
背景技术
图神经网络(graph neural networks，GNNs)是一种连接模型，它通过图的节点之间的消息传递来捕捉图的依赖关系。图神经网络可以表示来自其邻域的具有任意深度的信息。近年来，图神经网络在社交网络、知识图、推荐系统、问答系统、生命科学等各个领域得到了越来越广泛的应用，通常可以用于对象的分类。
设计良好的特征传播方程是图神经网络的关键部分，而现有图神经网络，并未针对不同类型的特征数据单独设计相应的特征传播方程，因此，采用现有图神经网络进行数据分类的准确度也不够高。
发明内容
本发明实施例的目的在于提供一种基于统一优化目标框架图神经网络的数据分类方法及装置，以提高数据分类的准确性。具体技术方案如下：
为实现上述目的，本发明实施例提供了一种基于统一优化目标框架图神经网络的数据分类方法，所述方法包括：
获取待分类对象的描述信息，以及所述待分类对象之间的关系信息；
基于所述描述信息生成特征矩阵，并基于所述关系信息生成邻接矩阵；
将所述特征矩阵和所述邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；其中，所述图神经网络是根据预先确定的特征传播方程构建的，所述特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。
可选的，所述优化目标方程为：
其中，表示优化目标，Z表示分类概率向量，F1表示第一图形过滤器，22表示第二图形过滤器，/>表示特征拟合约束项，/>表示图拉普拉斯正则化约束项，/>表示F范数平方运算，H表示特征数据的变换矩阵，/>表示归一化对称正半定图拉普拉斯矩阵，/>表示添加了自循环的邻接矩阵，A表示邻接矩阵，I表示单位矩阵，tr(·)表示矩阵的迹。
可选的，基于如下公式计算所述图拉普拉斯正则化约束项：
其中，i，j均表示节点的标号，n表示节点数目，ξ表示预设系数，表示邻接矩阵第i行第j列的元素，Zi表示节点i的分类概率向量，Zj表示节点j的分类概率向量。
可选的，对所述第一图形过滤器F1和所述第二图形过滤器F2进行如下赋值，得到带低频滤波的图神经网络：
μ∈[1/2，1)
α∈(0，2/3)
ξ＝1/α-1
其中，μ表示第一平衡系数，α表示预设转移概率，表示正则化邻接矩阵；
所述带低频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
可选的，对所述第一图形过滤器F1和所述第二图形过滤器F2进行如下赋值，得到带高频滤波的图神经网络：
β∈(0，∞)
ξ＝1/α-1
α∈(0，1]
其中，β表示第二平衡系数，α表示预设转移概率，表示归一化对称正半定图拉普拉斯矩阵；
所述带高频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
为实现上述目的，本发明实施例还提供了一种基于统一优化目标框架图神经网络的数据分类装置，所述装置包括：
获取模块，用于获取待分类对象的描述信息，以及所述待分类对象之间的关系信息；
生成模块，用于基于所述描述信息生成特征矩阵，并基于所述关系信息生成邻接矩阵；
分类模块，用于将所述特征矩阵和所述邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；其中，所述图神经网络是根据预先确定的特征传播方程构建的，所述特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。
可选的，所述优化目标方程为：
其中，表示优化目标，Z表示分类概率向量，F1表示第一图形过滤器，F2表示第二图形过滤器，/>表示特征拟合约束项，/>表示图拉普拉斯正则化约束项，/>表示F范数平方运算，H表示特征数据的变换矩阵，/>表示归一化对称正半定图拉普拉斯矩阵，/>表示添加了自循环的邻接矩阵，A表示邻接矩阵，I表示单位矩阵，tr(·)表示矩阵的迹。
可选的，基于如下公式计算所述图拉普拉斯正则化约束项：
其中，i，j均表示节点的标号，n表示节点数目，ξ表示预设系数，表示邻接矩阵第i行第j列的元素，Zi表示节点i的分类概率向量，Zj表示节点j的分类概率向量。
可选的，所述装置还包括赋值模块，用于：
对所述第一图形过滤器F1和所述第二图形过滤器F2进行如下赋值，得到带低频滤波的图神经网络：
μ∈[1/2，1)
α∈(0，2/3)
ξ＝1/α-1
其中，μ表示第一平衡系数，α表示预设转移概率，表示正则化邻接矩阵；
所述带低频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
可选的，所述赋值模块，还用于：
对所述第一图形过滤器F1和所述第二图形过滤器F2进行如下赋值，得到带高频滤波的图神经网络：
β∈(0，∞)
ξ＝1/α-1
α∈(0，1]
其中，β表示第二平衡系数，α表示预设转移概率，表示归一化对称正半定图拉普拉斯矩阵；
所述带高频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
为实现上述目的，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一方法步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法步骤。
本发明实施例有益效果：
应用本发明实施例提供的基于统一优化目标框架图神经网络的数据分类方法及装置，获取待分类对象的描述信息，以及待分类对象之间的关系信息；基于描述信息生成特征矩阵，并基于关系信息生成邻接矩阵；将特征矩阵和邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；其中，图神经网络是根据预先确定的特征传播方程构建的，特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。可见，提出了图神经网络的统一的优化目标方程，并在此基础上对图形过滤器进行赋值得到特征传播方程，以适应不同场景的特征数据。进而根据特征传播方程构建图神经网络，并根据所构建的图神经网络对待分类对象进行分类，能够提高分类的准确性。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的基于统一优化目标框架图神经网络的数据分类方法的一种流程示意图；
图2为本发明实施例提供的基于统一优化目标框架图神经网络的数据分类装置的一种结构示意图；
图3为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决采用现有图神经网络对节点进行预测分类时不够准确的技术问题，本发明实施例提供了一种基于统一优化目标框架图神经网络的数据分类方法，参见图1，图1为本发明实施例提供的基于统一优化目标框架图神经网络的数据分类方法的一种流程示意图，方法包括以下步骤：
S101：获取待分类对象的描述信息，以及待分类对象之间的关系信息。
本发明实施例中，可以将待分类对象及待分类对象之间的关系建模成图结构，每个待分类对象对应图结构中的一个节点，待分类对象之间的关系对应图结构中的边。
其中，待分类对象可以是任意能够使用图结构表示的对象。
举例来讲，社交网络可以建模成图结构，其中社交网络中的用户对应图结构中的节点，用户之间的关系对应图结构中的边，则待分类对象是社交网络中的用户。
论文引用网络也可以建模成图结构，其中论文引用网络中的论文对应图结构中的节点，论文之间的引用关系对应图结构中的边，则待分类对象是论文引用网络中的论文。
上述仅作为示例，本领域技术人员可以理解，通讯网络、交通网络、推荐系统、蛋白质作用网络等都可以建模成图结构，则所建模的图结构中节点所表示的含义均可作为待分类对象。本发明实施例对待分类对象的选取不做限定。
本步骤中，可以获取待分类对象的描述信息，描述信息也可以理解为属性信息，举例来讲，对于论文引用网络，待分类对象是论文，则待分类对象的描述信息可以是论文的标题、关键词等信息。相应的，待分类对象之间的关系信息可以是论文之间的引用关系。
S102：基于描述信息生成特征矩阵，并基于关系信息生成邻接矩阵。
本发明实施例中，可以根据各个待分类对象的描述信息生成特征矩阵。具体的，针对每个待分类对象，可以将该待分类对象的描述信息转换为特征值，再将各个待分类对象的描述信息的特征值进行组合，得到特征矩阵。可见，特征矩阵能够表示所有待分类对象的描述信息。
其中，将描述信息转换为特征值的方式可以参见相关技术，不再赘述。
并且，可以根据待分类对象之间的关系信息生成邻接矩阵。
具体的，设所建模的图结构为包括节点集/>和边集/> 表示节点数，每个节点对应一个待分类对象。
特征矩阵为其中f是节点特征的维数。/>的图结构可以用邻接矩阵描述，其中如果节点i和节点j之间有边，则邻接矩阵A对应位置的元素值为1，否则为0。
此外，为了便于描述，定义如下矩阵：
对角度矩阵D＝diag(d1，···，dn)，其中dj＝∑jAi，j。表示添加了自循环的邻接矩阵，/>表示添加了自循环的对角度矩阵。正则化邻接矩阵用表示，对应的/>表示归一化对称正半定图拉普拉斯矩阵。
S103：将特征矩阵和邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；其中，图神经网络是根据预先确定的特征传播方程构建的，特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。
本发明实施例中，将特征矩阵和邻接矩阵输入预先构建并训练完成的图神经网络，即可得到针对每个待分类对象的分类概率向量，进而确定待分类对象的分类结果。
与现有的图神经网络不同，本发明实施例中，图神经网络是根据预先确定的特征传播方程构建的，特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的。
具体的，申请人对现有的图神经网络进行大量分析研究后发现，尽管现有的图神经网络有不同的传播策略，但传播后的学习表示均可以作为一个统一优化目标的最优解，该统一优化目标由特征拟合约束项和图拉普拉斯正则化约束项构成，也就是说，现有的图神经网络的传播机制都可以理解为在最优化一个结合了特征拟合项和图拉普拉斯正则项的优化目标。
进而，本发明实施例中，提出了图神经网络的统一框架的优化目标方程。该统一框架的优化目标方程可以表示为：
其中，表示优化目标，Z表示分类概率向量，F1表示第一图形过滤器，F2表示第二图形过滤器，/>表示特征拟合约束项，/>表示图拉普拉斯正则化约束项，/>表示F范数平方运算，H表示特征数据的变换矩阵，/>表示归一化对称正半定图拉普拉斯矩阵，/>表示添加了自循环的邻接矩阵，A表示邻接矩阵，I表示单位矩阵，tr(·)表示矩阵的迹。
在本发明的一种实施例中，图拉普拉斯正则化约束项用于约束两个连通节点的学习表示的相似度，从而捕获同质性，具体可以表示为如下形式：
其中，i，j均表示节点的标号，n表示节点数目，ξ表示预设系数，表示邻接矩阵第i行第j列的元素，Zi表示节点i的分类概率向量，Zj表示节点j的分类概率向量。
下面对现有的部分典型图神经网络进行分析，以验证上述统一框架的优化目标方程。
PPNP是现有的一种图神经网络，利用来自个性化PageRank的传播机制，将特征转换与聚合过程分离开来，其传播机制可以表示为：
且H＝fθ(X)
α∈(0，1]是转移概率，H是原始特性X使用MLP网络fθ(·)的非线性转换结果。
由于计算逆矩阵的复杂度很高，因此采用计算复杂度为线性的幂次迭代版本APPNP进行逼近。APPNP的传播过程可以看作是一个与初始变换特征矩阵残差连接的分层图卷积H：
Z(0)＝H＝fθ(X)
为了证明符合统一框架的优化目标方程，引入以下定理：
设置F1＝F2＝I，ζ＝1，ξ＝1/α-1，PPNP/APPNP的传播过程优化了以下目标：
H＝fθ(X)
将公式(15)对Z的导数设为零，得到最优的Z：
一个矩阵M有一个逆矩阵当且仅当矩阵det(M)的行列式不为零。因为归一化的拉普拉斯矩阵λi∈[0，2)，矩阵的特征值是(1+ξλi)>0。那么/>同时公式(16)中Z可以重写为：
将和α代入上述公式得到：
这恰好对应于PPNP的传播机理或APPNP的收敛传播结果。
可见，现有的图神经网络PPNP和APPN符合本发明实施例提出的统一框架的优化目标方程。
再举一例，JKNet是一种深度图神经网络，利用来自不同区域的邻域的信息。这种架构有选择的将来自不同层的聚合与输出端的连接、最大池化和/或注意力结合起来。
对于JKNet，简化第k层的图卷积运算操作，忽略非线性激活σ(x)＝x，并且每一层共享权重那么第k层临时输出是/>利用最后一层的注意机制组合，JKNet的K-层传播结果可以表示为：
其中α1，α2，…，αK是可学习的融合权重，且为了方便分析，我们假设第k层的所有节点共享一个共同的权值αk。
引入以下定理：
设置F1＝I，ζ＝1，ξ∈(0，∞)，JKNet的传播过程优化了以下目标：
H＝XW*，是经过简化后的线性特征变换。
将上述公式对Z的导数设为零，得到最优的Z：
因此矩阵/>存在。则对应的闭式解可以写为：
因为对于任何/>且矩阵/>有界为1的特征值，因此它的所有正幂次都有界，因此该逆矩阵在K→∞可以用分解为如下的形式：
在H＝XW*的条件下，我们有下面的展开形式：
其中且在ξ∈(0，∞)范围内调整拟合融合权重α1，α2，…，αK。当层K足够大时，JKNet传播机制对应于上述统一框架的优化目标方程。
可见，上述图神经网络PPNP、APPN和JKNet的传播机制均符合本发明实施例提出的统一框架的优化目标方程。
上述仅作为示例，实际上，现有的其他图神经网络，例如SGC、DAGNN等均可以证明符合本发明实施例提出的统一框架的优化目标方程，在此不做赘述。
在提出上述统一框架的优化目标方程后，申请人发现，现有的图神经网络通常将变换矩阵H中的所有原始信息编码为分类概率向量Z，也就是说，现有的图神经网络，并没有设置特定的图形过滤器，而是默认将优化目标方程中的F1和F2设置为单位矩阵I。
然而，变换矩阵H中不可避免的包含噪音或不确定的信息，因此现有的图神经网络无法筛选出特定的有效信息，导致分类结果不够准确。
因此，本发明实施例中，可以根据实际需求设置第一图形滤波器F1和第二图形滤波器F2，以适应不同的特征数据。
在本发明的一种实施例中，可以对第一图形滤波器F1和第二图形滤波器F2进行如下赋值，以得到带低频滤波的图神经网络：
μ∈[1/2，1)
α∈(0，2/3)
ξ＝1/α-1
其中，μ表示第一平衡系数，α表示预设转移概率，表示正则化邻接矩阵；
具体的，上述低频滤波的图神经网络的传播过程可以表示为：
设置μ∈[1/2，1)，是一个对称的正半定矩阵，因此，的滤波能力类似于/>
设置α∈(0，2/3)，以确保迭代表示具有正系数。通过调整平衡系数μ，设计目标可以灵活约束Z和H在原始空间和低频空间的相似性，有利于满足不同任务的需求。
为了将公式中的目标函数最小化，我们上述公式中关于Z的导数设为零，推导出相应的闭型解如下：
考虑到封闭解由于矩阵求逆而计算效率低，可以使用以下迭代逼近解来代替构造稠密逆矩阵，得到带低频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
根据上述带低频滤波的图神经网络的特征传播方程，即可构建带低频滤波的图神经网络。
具体的，基于上述特征传播方程，可以设置深度的、计算效率高的图神经网络：
且H＝fθ(X)
使用第K层的输出作为传播结果。这种迭代传播机制可以看作是基于的邻域聚合，加上在特征矩阵H和过滤后的特征矩阵/>的残差连接。
在构建带低频滤波的图神经网络之后，可以对其进行训练，训练方法可以与现有的其他图神经网络的训练方法相同。训练完成后，即可用于待分类对象的分类。
在本发明的一种实施例中，可以对第一图形滤波器F1和第二图形滤波器F2进行如下赋值，以得到带高频滤波的图神经网络：
β∈(0，∞)
ξ＝1/α-1
α∈(0，1]
其中，β表示第二平衡系数，α表示预设转移概率，表示归一化对称正半定图拉普拉斯矩阵。
具体的，上述高频滤波的图神经网络的传播过程可以表示为：
设置β∈(0，∞)，这样是一个对称半正定矩阵和矩阵有和/>类似的滤波行为。通过调整平衡系数β，设计目标可以灵活地约束Z和H在原始空间和高频空间中的相似性。
相应的，基于上式计算的闭式解为：
考虑到求逆矩阵效率低，在不构造稠密逆矩阵的情况下，推算出带高频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
根据上述带高频滤波的图神经网络的特征传播方程，即可构建带高频滤波的图神经网络。
具体的，基于上述特征传播方程，定义以下具有闭式解传播机制的新图神经网络：
H＝fθ(X)
其中β在(0，∞)范围、α在(0，∞]范围。直接将传播矩阵 应用于H和/>矩阵上，可以同时得到编码原始空间和高频空间的表示信息的表示。
进而可以构建一个深层的、计算效率高的图神经网络，
且H＝fθ(X)
直接使用第K层的输出作为传播结果。同样，这种迭代传播机制可以看作是基于的邻域聚合，以及在特征矩阵H和高频滤波特征矩阵/>上的残差连接。
在构建带高频滤波的图神经网络之后，可以对其进行训练，训练方法可以与现有的其他图神经网络的训练方法相同。训练完成后，即可用于待分类对象的分类。
此外，本领域技术人员可以理解，在确定特征传播方程后，即可根据特征传播方程构建对应的图神经网络，因此，本发明实施例中对根据特征传播方程构建图神经网络的过程仅做简要说明，具体可以参见相关技术。
应用本发明实施例提供的基于统一优化目标框架图神经网络的数据分类方法，获取待分类对象的描述信息，以及待分类对象之间的关系信息；基于描述信息生成特征矩阵，并基于关系信息生成邻接矩阵；将特征矩阵和邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；其中，图神经网络是根据预先确定的特征传播方程构建的，特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。可见，提出了图神经网络的统一的优化目标方程，并在此基础上对图形过滤器进行赋值得到特征传播方程，以适应不同场景的特征数据。进而根据特征传播方程构建图神经网络，并根据所构建的图神经网络对待分类对象进行分类，能够提高分类的准确性。
相应于本发明实施例提供的基于统一优化目标框架图神经网络的数据分类方法实施例，本发明实施例还提供了一种基于统一优化目标框架图神经网络的数据分类装置，参见图2，装置可以包括以下模块：
获取模块201，用于获取待分类对象的描述信息，以及待分类对象之间的关系信息；
生成模块202，用于基于描述信息生成特征矩阵，并基于关系信息生成邻接矩阵；
分类模块203，用于将特征矩阵和邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；其中，图神经网络是根据预先确定的特征传播方程构建的，特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。
在本发明的一种实施例中，优化目标方程为：
其中，表示优化目标，Z表示分类概率向量，F1表示第一图形过滤器，F2表示第二图形过滤器，/>表示特征拟合约束项，/>表示图拉普拉斯正则化约束项，/>表示F范数平方运算，H表示特征数据的变换矩阵，/>表示归一化对称正半定图拉普拉斯矩阵，/>表示添加了自循环的邻接矩阵，A表示邻接矩阵，I表示单位矩阵，tr(·)表示矩阵的迹。
在本发明的一种实施例中，基于如下公式计算图拉普拉斯正则化约束项：
其中，i，j均表示节点的标号，n表示节点数目，ξ表示预设系数，表示邻接矩阵第i行第j列的元素，Zi表示节点i的分类概率向量，Zj表示节点j的分类概率向量。
在本发明的一种实施例中，在图2所示装置基础上，还包括赋值模块，用于：对第一图形过滤器F1和第二图形过滤器F2进行如下赋值，得到带低频滤波的图神经网络：
μ∈[1/2，1)
α∈(0，2/3)
ξ＝1/α-1
其中，μ表示第一平衡系数，α表示预设转移概率，表示正则化邻接矩阵；
带低频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
在本发明的一种实施例中，赋值模块，还用于：
对第一图形过滤器F1和第二图形过滤器F2进行如下赋值，得到带高频滤波的图神经网络：
β∈(0，∞)
ξ＝1/α-1
α∈(0，1]
其中，β表示第二平衡系数，α表示预设转移概率，表示归一化对称正半定图拉普拉斯矩阵；
带高频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
应用本发明实施例提供的基于统一优化目标框架图神经网络的数据分类装置，获取待分类对象的描述信息，以及待分类对象之间的关系信息；基于描述信息生成特征矩阵，并基于关系信息生成邻接矩阵；将特征矩阵和邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；其中，图神经网络是根据预先确定的特征传播方程构建的，特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。可见，提出了图神经网络的统一的优化目标方程，并在此基础上对图形过滤器进行赋值得到特征传播方程，以适应不同场景的特征数据。进而根据特征传播方程构建图神经网络，并根据所构建的图神经网络对待分类对象进行分类，能够提高分类的准确性。
其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
本发明实施例还提供了一种电子设备，如图3所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：
获取待分类对象的描述信息，以及待分类对象之间的关系信息；
基于描述信息生成特征矩阵，并基于关系信息生成邻接矩阵；
将特征矩阵和邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；其中，图神经网络是根据预先确定的特征传播方程构建的，特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应用本发明实施例提供的电子设备，获取待分类对象的描述信息，以及待分类对象之间的关系信息；基于描述信息生成特征矩阵，并基于关系信息生成邻接矩阵；将特征矩阵和邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；其中，图神经网络是根据预先确定的特征传播方程构建的，特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项。可见，提出了图神经网络的统一的优化目标方程，并在此基础上对图形过滤器进行赋值得到特征传播方程，以适应不同场景的特征数据。进而根据特征传播方程构建图神经网络，并根据所构建的图神经网络对待分类对象进行分类，能够提高分类的准确性。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一基于统一优化目标框架图神经网络的数据分类方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于统一优化目标框架图神经网络的数据分类方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于基于统一优化目标框架图神经网络的数据分类装置、电子设备、计算机可读存储介质及计算机程序产品实施例而言，由于其基本相似于基于统一优化目标框架图神经网络的数据分类方法实施例，所以描述的比较简单，相关之处参见基于统一优化目标框架图神经网络的数据分类方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (5)
1.一种基于统一优化目标框架图神经网络的数据分类方法，其特征在于，所述方法包括：
获取待分类对象的描述信息，以及所述待分类对象之间的关系信息；其中，所述待分类对象是论文引用网络中的论文；所述描述信息包括：所述论文的标题和/或关键词；所述关系信息表示所述论文之间的引用关系；
基于所述描述信息生成特征矩阵，并基于所述关系信息生成邻接矩阵；
将所述特征矩阵和所述邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；所述分类结果表征所述论文的分类类别；其中，所述图神经网络是根据预先确定的特征传播方程构建的，所述特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项；
所述优化目标方程为：
其中，表示优化目标，Z表示分类概率向量，F1表示第一图形过滤器，F2表示第二图形过滤器，/>表示特征拟合约束项，/>表示图拉普拉斯正则化约束项，/>表示F范数平方运算，H表示特征数据的变换矩阵，/>表示归一化对称正半定图拉普拉斯矩阵，/>表示添加了自循环的邻接矩阵，A表示邻接矩阵，I表示单位矩阵，tr(·)表示矩阵的迹；
基于如下公式计算所述图拉普拉斯正则化约束项：
其中，i，j均表示节点的标号，n表示节点数目，ξ表示预设系数，表示邻接矩阵第i行第j列的元素，Zi表示节点i的分类概率向量，Zj表示节点j的分类概率向量；
对所述第一图形过滤器F1和所述第二图形过滤器F2进行如下赋值，得到带低频滤波的图神经网络：
μ∈[1/2，1)
α∈(0，2/3)
ξ＝1/α-1
其中，μ表示第一平衡系数，α表示预设转移概率，表示正则化邻接矩阵；
所述带低频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
2.根据权利要求1所述的方法，其特征在于，对所述第一图形过滤器F1和所述第二图形过滤器F2进行如下赋值，得到带高频滤波的图神经网络：
β∈(0，∞)
ξ＝1/α-1
α∈(0，1]
其中，β表示第二平衡系数，α表示预设转移概率，表示归一化对称正半定图拉普拉斯矩阵；
所述带高频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，z(k)表示第k层的分类概率向量。
3.一种基于统一优化目标框架图神经网络的数据分类装置，其特征在于，所述装置包括：
获取模块，用于获取待分类对象的描述信息，以及所述待分类对象之间的关系信息；其中，所述待分类对象是论文引用网络中的论文；所述描述信息包括：所述论文的标题和/或关键词；所述关系信息表示所述论文之间的引用关系；
生成模块，用于基于所述描述信息生成特征矩阵，并基于所述关系信息生成邻接矩阵；
分类模块，用于将所述特征矩阵和所述邻接矩阵输入预先构建并训练完成的图神经网络，得到各待分类对象的分类结果；所述分类结果表征所述论文的分类类别；其中，所述图神经网络是根据预先确定的特征传播方程构建的，所述特征传播方程是在预设优化目标方程的基础上进行图形过滤器赋值得到的，其中，优化目标方程包括特征拟合约束项和图拉普拉斯正则化约束项；
所述优化目标方程为：
其中，表示优化目标，Z表示分类概率向量，F1表示第一图形过滤器，F2表示第二图形过滤器，/>表示特征拟合约束项，/>表示图拉普拉斯正则化约束项，/>表示F范数平方运算，H表示特征数据的变换矩阵，/>表示归一化对称正半定图拉普拉斯矩阵，/>表示添加了自循环的邻接矩阵，A表示邻接矩阵，I表示单位矩阵，tr(·)表示矩阵的迹；
基于如下公式计算所述图拉普拉斯正则化约束项：
其中，i，j均表示节点的标号，n表示节点数目，ξ表示预设系数，表示邻接矩阵第i行第j列的元素，Zi表示节点i的分类概率向量，Zj表示节点j的分类概率向量；
对所述第一图形过滤器F1和所述第二图形过滤器F2进行如下赋值，得到带低频滤波的图神经网络：
μ∈[1/2，1)
α∈(0，2/3)
ξ＝1/α-1
其中，μ表示第一平衡系数，α表示预设转移概率，表示正则化邻接矩阵；
所述带低频滤波的图神经网络的特征传播方程为：
其中，k表示网络层数，Z(k)表示第k层的分类概率向量。
4.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1、2任一所述的方法步骤。
5.一种处理器可读存储介质，其特征在于，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行权利要求1、2任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110023447.0A CN112733933B (zh) | 2021-01-08 | 2021-01-08 | 基于统一优化目标框架图神经网络的数据分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110023447.0A CN112733933B (zh) | 2021-01-08 | 2021-01-08 | 基于统一优化目标框架图神经网络的数据分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112733933A CN112733933A (zh) | 2021-04-30 |
| CN112733933B true CN112733933B (zh) | 2024-01-05 |
Family
ID=75591276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110023447.0A Active CN112733933B (zh) | 2021-01-08 | 2021-01-08 | 基于统一优化目标框架图神经网络的数据分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112733933B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470828A (zh) * | 2021-06-30 | 2021-10-01 | 上海商汤智能科技有限公司 | 分类方法及装置、电子设备和存储介质 |
| CN114969934B (zh) * | 2022-05-31 | 2023-09-05 | 湖南工商大学 | 一种斜拉索损伤程度识别方法及模型构建方法 |
| CN114997340B (zh) * | 2022-08-01 | 2022-10-14 | 南京邮电大学 | 一种基于图神经网络系统的文献分类方法 |
| CN116069478B (zh) * | 2023-03-07 | 2023-06-02 | 湖南师范大学 | 基于图神经网络的车载系统安全感知设计优化方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321999A (zh) * | 2018-03-30 | 2019-10-11 | 北京深鉴智能科技有限公司 | 神经网络计算图优化方法 |
| CN110929029A (zh) * | 2019-11-04 | 2020-03-27 | 中国科学院信息工程研究所 | 一种基于图卷积神经网络的文本分类方法及系统 |
| CN111090764A (zh) * | 2019-12-20 | 2020-05-01 | 中南大学 | 基于多任务学习和图卷积神经网络的影像分类方法及装置 |
| CN111259672A (zh) * | 2020-02-12 | 2020-06-09 | 新疆大学 | 基于图卷积神经网络的中文旅游领域命名实体识别方法 |
| CN111291270A (zh) * | 2020-03-02 | 2020-06-16 | 合肥工业大学 | 一种基于自适应图卷积网络的属性推理和产品推荐方法 |
-
2021
- 2021-01-08 CN CN202110023447.0A patent/CN112733933B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321999A (zh) * | 2018-03-30 | 2019-10-11 | 北京深鉴智能科技有限公司 | 神经网络计算图优化方法 |
| CN110929029A (zh) * | 2019-11-04 | 2020-03-27 | 中国科学院信息工程研究所 | 一种基于图卷积神经网络的文本分类方法及系统 |
| CN111090764A (zh) * | 2019-12-20 | 2020-05-01 | 中南大学 | 基于多任务学习和图卷积神经网络的影像分类方法及装置 |
| CN111259672A (zh) * | 2020-02-12 | 2020-06-09 | 新疆大学 | 基于图卷积神经网络的中文旅游领域命名实体识别方法 |
| CN111291270A (zh) * | 2020-03-02 | 2020-06-16 | 合肥工业大学 | 一种基于自适应图卷积网络的属性推理和产品推荐方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112733933A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733933B (zh) | 基于统一优化目标框架图神经网络的数据分类方法及装置 | |
| Zhang et al. | Wavelet neural networks for function learning | |
| Mall et al. | Single layer Chebyshev neural network model for solving elliptic partial differential equations | |
| Li et al. | High dimensional model representation (HDMR) coupled intelligent sampling strategy for nonlinear problems | |
| US20200034694A1 (en) | Multiple task transfer learning | |
| Zeng et al. | Cascade neural network-based joint sampling and reconstruction for image compressed sensing | |
| Schaub et al. | Signal processing on simplicial complexes | |
| Connolly | Constructing hidden variables in baysesian networks via conceptual clustering | |
| Zhang et al. | Zhang neural network and its application to Newton iteration for matrix square root estimation | |
| Kheyrinataj et al. | Fractional Chebyshev functional link neural network‐optimization method for solving delay fractional optimal control problems with Atangana‐Baleanu derivative | |
| CN112115971B (zh) | 一种基于异质学术网络进行学者画像的方法及系统 | |
| Tang et al. | DAS: A deep adaptive sampling method for solving partial differential equations | |
| Alonso et al. | Distributed and localized model-predictive control–part i: Synthesis and implementation | |
| Liu et al. | A polarized random Fourier feature kernel least-mean-square algorithm | |
| Cowen et al. | Lsalsa: accelerated source separation via learned sparse coding | |
| CN114399025A (zh) | 一种图神经网络解释方法、系统、终端以及存储介质 | |
| Seo et al. | Graph neural networks and implicit neural representation for near-optimal topology prediction over irregular design domains | |
| CN116978450A (zh) | 蛋白质数据的处理方法、装置、电子设备及存储介质 | |
| Alonso et al. | Distributed and localized model predictive control via system level synthesis | |
| CN112232565A (zh) | 基于两阶段的时间序列预测方法、预测系统、终端及介质 | |
| Kririm et al. | Deconvolution filter design of transmission channel: application to 3D objects using features extraction from orthogonal descriptor | |
| Dutordoir et al. | Deep Gaussian process metamodeling of sequentially sampled non-stationary response surfaces | |
| JP7306432B2 (ja) | 情報処理方法、情報処理装置及びプログラム | |
| CN116976402A (zh) | 超图卷积神经网络的训练方法、装置、设备及存储介质 | |
| Podina et al. | A PINN approach to symbolic differential operator discovery with sparse data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |