CN113591997A - 基于图学习卷积神经网络的装配特征图连接关系分类方法 - Google Patents

Abstract

本发明公开了一种基于图学习卷积神经网络的装配特征图连接关系分类方法。建立装配特征图中节点关系的图学习卷积神经网络结构，包括输入层、中间层和输出层；输入层以初始的节点表示矩阵和邻接矩阵为输入，经过卷积、图学习和调整得输出；中间层以前一层的节点表示矩阵和邻接矩阵作为输入，经过GNN运算、图学习、蒸馏、池化得输出；输出层用分类器分类预测；使用训练集训练使损失函数达到最小；将训练后结果对待测的装配特征图进行预测处理，获得零部件连接关系的分类结果。本发明有利于对图中的结构信息进行充分挖掘和分类，使得本发明能够实现在低标记率下分类任务的高鲁棒性。

Description

基于图学习卷积神经网络的装配特征图连接关系分类方法

技术领域

本发明属于深度学习技术领域的一种装配特征数据处理方法，涉及一种基于图学习卷积神经网络的装配特征图连接关系分类方法。

背景技术

复杂机械装配结构由许多种零部件构成，还存在各种复杂的配合关系，其在制造业中具有十分重要的地位，而在其制造、装配以及服役的过程中容易产生误差还有形变，这导致零部件会在尺寸和形状方面与理想条件存在偏差。各个偏差的积累从而导致整个复杂机械装配体存在偏差，尤其是在关键表面，实际位置与理想位置之间的偏差，会严重影响到装配体使用寿命以及正常运行过程。目前的检修过程只能在少量的测试数据的基础上进行，很多内部零件表面的偏差很难测量，基本上整个过程是在耗时耗力地盲目试凑。因此需要充分利用测试偏差数据进行误差溯源，对维修过程进行指导，使得机械装配图可持续正常运行。

为实现误差溯源，需要根据偏差传递过程，建立复杂机械装配特征图模型，然而不同节点间的联系，有时不能完全被反映，而且各技术人员存在技术上的差异性，会产生得到的特征图中连接冗余或连接关系不足的问题。因此要节点间的相似性关系进行挖掘，从而提升接下来任务处理的鲁棒性。

随着对于使用深度学习在图数据上的扩展研究不断深入，图卷积神经网络(GCN)由此诞生。由于机械装配体的各个零件间的配合是确定的，因此由此建立的特征图是唯一的。虽然所得的特征图能很好地描述各节点间的真实连接，但仅凭借这些连接无法保证之后对偏差进行预测结果的最优化，即GCN的功能不一定得到完全发挥。另外，在特征图建立过程中进行人为干预会有诸多不确定性，使得所建立的特征图部分产生冗余边抑或缺少连接边，也就是说特征图中产生了噪声。这些都会对之后的预测造成很大的影响。所以需要一种复杂机械装配特征图的关系挖掘方法，能让后续任务在存在噪声的图上依旧能够较好地完成。

发明内容

为了解决上述现有技术中存在的问题，本发明提出了一种基于图学习卷积神经网络的装配特征图连接关系分类方法。

本发明方法包括以下步骤：

步骤1：建立装配特征图中节点关系的图学习卷积神经网络结构，包括输入层、中间层和输出层；

步骤2：使用训练集训练所建立的图学习卷积神经网络结构，使损失函数达到最小；

步骤3：将训练后的图学习卷积神经网络针对待测的装配特征图进行预测处理，获得零部件连接关系的分类结果。

所述的装配特征图是指反映零件间连接装配关系的特征图。

所述的装配特征图是由多个节点构成，每个节点代表了零部件，节点间的连线代表了零部件的连接关系。

节点特征为零部件的特征，具体是指零部件的公差链信息和位置信息，其中公差链指构成零件的几何特征如点、线、面各个要素间的实际形状相对于理想形状的允许变动量。零部件的特征向量是指由零部件的特征组成的向量。

所述步骤1中，图学习卷积神经网络结构具体为：

步骤1.1：以初始的节点表示矩阵H₀和邻接矩阵A₀为输入层的输入，通过输入层经过卷积、图学习和调整得到用于输入到中间层中第一子层的节点表示矩阵H₁和邻接矩阵A₁；

步骤1.2：以前第一子层的节点表示H_i-1和邻接矩阵A_i-1作为输入，在中间层中经过图神经网络的运算以及图学习、蒸馏、池化的步骤进行不断迭代处理得到输出最后子层的节点表示矩阵H^*和邻接矩阵A^*；

步骤1.3：针对最后子层的节点表示矩阵H_b和邻接矩阵A_b，在输出层中使用分类器对节点的标签进行分类预测，获得节点连接关系的分类结果。

所述步骤1.1具体为：

首先对节点表示矩阵H₀右乘一个预设的低维矩阵P，对节点表示矩阵H₀进行降维，公式如下：

其中，

表示降维后的节点表示矩阵；

然后根据降维后的节点表示矩阵

进行图学习过程，使用单层神经网络完成相似性关系的学习，获得相似性参数S_ij，由所有相似性参数构成了相似性矩阵S，公式如下：

其中，a为权重向量，T表示矩阵转置，h_i表示降维后的节点表示矩阵

中的第i行行向量；S_ij表示节点i和节点j之间的相似性参数，即相似性矩阵S中的第i行第j列的元素，N表示节点的总数；ReLU是线性整流函数；

最后，对图学习获得的相似性矩阵S加权后与初始的邻接矩阵A₀求和计算，公式如下：

A₁＝γ₁S+A₀

其中，γ₁为初始的邻接矩阵A₀与相似性矩阵S之间的第一权重系数，A₁表示中间层中第一子层的邻接矩阵；

同时以初始的节点表示矩阵H₀直接作为中间层中第一子层的节点表示矩阵H₁。

所述初始的邻接矩阵A₀具体按照以下方式获得：

装配特征图对应的机械装配结构中的零部件连接关系是已知明确的，则：若节点i和节点j有连接，则邻接矩阵中第i行第j列的元素A₀(i，j)＝1，否则为0；

装配特征图对应的机械装配结构中的零部件连接关系是未知不明确的，则按照以下方式处理确定：

首先对节点i与节点j之间的距离d(i，j)进行计算，公式如下：

d(i，j)＝‖g_i-g_j‖²

其中，g_i与g_j分别是节点i与节点j对应的特征向量；

然后通过建立高斯扩散核的方式来计算节点间关系的距离远近：

其中，σ为距离的方差，S(i，j)表示节点i与节点j之间的距离远近参数，exp表示指数函数；

在得到所有两个节点间的距离远近参数后，根据预设的数量阈值k，进行划分获得邻接矩阵A₀中每个元素的值，公式如下：

其中，T_k(i)是与节点i之间的关系强弱参数S(i，j)最小的前k个节点j的集合。

所述步骤1.2具体为：

中间层划分为多个子层，各个子层依次进行处理；每个子层中，以当前子层的节点表示矩阵H_p和邻接矩阵A_p为输入，获得下一层的节点表示矩阵H_p+1和邻接矩阵A_p+1进行输出，每层处理具体为：

首先进行图神经网络的计算中间层第p个子层的中间矩阵Z_p，公式如下：

D_p，p＝∑_qA_p(i，j)

D_p，q＝0，若p≠q

其中，D为对角矩阵，D_p，q表示对角矩阵D中第p行第q列的元素，W_p为中间层的第p子层的学习参数，Z_p表示中间层的第p子层的中间矩阵，

表示中间层的第p子层的参考矩阵，A_p(i，j)表示中间层的第p子层的邻接矩阵中第p行第q列的元素；

之后根据中间矩阵Z_p进行图学习过程获得第p个子层的相似性矩阵L_p，具体为：

其中，z_p表示第p子层的中间矩阵Z_p中的第p行行向量；L_p表示第p子层的中间矩阵Z_p的内部相似性矩阵；

接着进行蒸馏，将图学习过程输出的相似性矩阵L_p加权后与A_p相加，然后通过蒸馏得到新的第p+1子层的邻接矩阵A_p+1，公式如下：

其中，γ₂为邻接矩阵A_p与相似性矩阵S_p之间的第二权重系数，sparsemax(.)表示阈值截取函数；[]₊表示比较函数，具体为取输入值和零当中的较大值，T(.)为蒸馏函数；

最后对中间矩阵Z_p进行池化获得第p+1子层的节点表示矩阵H_p+1。

所述步骤1.3具体为：

运用softmax分类器对步骤1.2获得的最后子层的节点表示矩阵H^*和邻接矩阵A^*按照以下采取分类预测操作，公式如下：

其中，W^*表示输出层所需训练的参数，H^*表示最后子层的节点表示矩阵，A^*表示最后子层的邻接矩阵，

表示中间层的第p子层的预测参考矩阵，H^out表示类别矩阵。

所述步骤2中，建立以下损失函数，包括两个部分，第一部分是输出层中节点分类的交叉熵损失L_pred，第二部分是中间层的图学习损失L_gl：

计算交叉熵损失L_pred的公式如下：

其中，Y_L为在分类任务中所有具有标签的节点构成的集合，F为掩膜矩阵，F_pq表示掩膜矩阵F中第p行第q列的元素；若节点p是属于类q的，那么F_pq的值为1，否则为0；b为类别矩阵H^out的列数，类别矩阵H^out的行数为1，每列上的元素代表对应节点的分类结果；

图学习损失L_gl由两部分组成，公式如下：

其中，‖.‖₂表示向量的2范数，‖.‖_F代表掩膜矩阵F的Frobenius范数；γ₃为两部分间的权重系数；

总损失函数公式如下：

L_GLCNN＝L_pred+L_gl

其中，L_pred为节点分类的交叉熵损失，L_gl为图学习损失。

本发明的有益效果是：

本发明通过定义图学习、蒸馏以及池化操作实现在各层间同时更新节点表示矩阵以及邻接矩阵，使之不为常量，这样更有利于对图中的结构信息进行充分挖掘，使得本发明能够实现在低标记率下分类任务的高鲁棒性。对于初始邻接关系完全未知的情况，本发明可以通过定义输入层来实现对邻接关系的学习。

附图说明

图1为本发明的图学习卷积神经网络的结构图。

图2为本发明的图学习卷积神经网络的输入层结构图。

图3为本发明的图学习卷积神经网络的中间层结构图。

具体实施方式

以下结合附图和和具体实施例来对本发明作进一步详细说明。

本发明的实施例方法包括以下步骤：

步骤1：建立装配特征图中节点关系的图学习卷积神经网络结构，如图1所示，包括输入层、中间层和输出层；装配特征图是由多个节点构成，每个节点代表了零部件，节点间的连线代表了零部件的连接关系。

图学习卷积神经网络结构具体为：

步骤1.1：如图2所示，以初始的节点表示矩阵H₀和邻接矩阵A₀为输入层的输入，通过输入层经过卷积、图学习和调整得到用于输入到中间层中第一子层的节点表示矩阵H₁和邻接矩阵A₁；

对于初始的节点表示矩阵H₀，

N是节点的总个数，n是节点特征的维数，节点表示矩阵H₀中第i行、第m列元素代表了第i节点的第m各特征。

首先对节点表示矩阵H₀右乘一个预设已知的低维矩阵P，对节点表示矩阵H₀进行降维，公式如下：

其中，

表示降维后的节点表示矩阵；

然后根据降维后的节点表示矩阵

进行图学习过程，使用单层神经网络完成相似性关系的学习，获得相似性参数S_ij，由所有相似性参数构成了相似性矩阵S，公式如下：

其中，a为权重向量，使用反向传播算法获得，T表示矩阵转置，h_i表示降维后的节点表示矩阵

中的第i行行向量；S_ij表示节点i和节点j之间的相似性参数，即相似性矩阵S中的第i行第j列的元素，N表示节点的总数；ReLU是线性整流函数；

最后，对图学习获得的相似性矩阵S加权后与初始的邻接矩阵A₀求和计算，公式如下：

A₁＝γ₁S+A₀

其中，γ₁为初始的邻接矩阵A₀与相似性矩阵S之间的第一权重系数，A₁表示中间层中第一子层的邻接矩阵；

同时以初始的节点表示矩阵H₀直接作为中间层中第一子层的节点表示矩阵H₁。

输入层以初始的节点表示矩阵H₀和邻接矩阵A₀为输入，输出为计算后的H₁和A₁。

上述初始的邻接矩阵A₀具体按照以下方式获得：

装配特征图对应的机械装配结构中的零部件连接关系是已知明确的，则：若节点i和节点j有连接，则邻接矩阵中第i行第j列的元素A₀(i，j)＝1，否则为0；

装配特征图对应的机械装配结构中的零部件连接关系是未知不明确的，则按照以下方式处理确定：

首先对节点i与节点j之间的距离d(i，j)进行计算，公式如下：

d(i，j)‖g_i-g_j‖²

其中，g_i与g_j分别是节点i与节点j对应的特征向量；

然后通过建立高斯扩散核的方式来计算节点间关系的距离远近：

其中，σ为距离的方差，S(i，j)表示节点i与节点j之间的距离远近参数，exp表示指数函数；

在得到所有两个节点间的距离远近参数后，根据预设的数量阈值k，进行划分获得邻接矩阵A₀中每个元素的值，公式如下：

其中，T_k(i)是与节点i之间的关系强弱参数S(i，j)最小的前k个节点j的集合。

步骤1.2：如图3所示，以前第一子层的节点表示H_i-1和邻接矩阵A_i-1作为输入，在中间层中经过图神经网络的运算以及图学习、蒸馏、池化的步骤进行不断迭代处理得到输出最后子层的节点表示矩阵H^*和邻接矩阵A^*；

中间层划分为多个子层，各个子层依次进行处理；每个子层中，以当前子层的节点表示矩阵H_p和邻接矩阵A_p为输入，获得下一层的节点表示矩阵H_p+1和邻接矩阵A_p+1进行输出，每层处理具体为：

首先进行图神经网络的计算中间层第p个子层的中间矩阵Z_p，公式如下：

D_p，p＝∑_qA_p(i，j)

D_p，q＝0，若p≠q

其中，D为对角矩阵，D_p，q表示对角矩阵D中第p行第q列的元素，W_p为中间层的第p子层的学习参数，Z_p表示中间层的第p子层的中间矩阵，

表示中间层的第p子层的参考矩阵，A_p(i，j)表示中间层的第p子层的邻接矩阵中第p行第q列的元素；

之后根据中间矩阵Z_p进行图学习过程获得第p个子层的相似性矩阵L_p，具体为：

其中，z_p表示第p子层的中间矩阵Z_p中的第p行行向量；L_p表示第p子层的中间矩阵Z_p的内部相似性矩阵；

图学习过程是与输入层中的操作是一致的。

接着进行蒸馏，在蒸馏过程中，将图学习过程输出的相似性矩阵L_p加权后与A_p相加，然后通过蒸馏得到新的第p+1子层的邻接矩阵A_p+1，公式如下：

其中，γ₂为邻接矩阵A_p与相似性矩阵S_p之间的第二权重系数，sparsenax(.)表示阈值截取函数，阈值截取函数sparsemax(.)用于返回矩阵中大于某一预设阈值的所有值，而其他值则均变为0；[]₊表示比较函数，具体为取输入值和零当中的较大值，即[x]₊＝max{0，x}，T(.)为蒸馏函数，蒸馏函数T(.)能够根据输入的矩阵返回需要蒸馏的温度值；

最后对中间矩阵Z_p进行池化获得第p+1子层的节点表示矩阵H_p+1。池化的具体操作为对于一待池化的矩阵，选取其中一行，对该行的每一位元素分别用其邻域元素的最大值替代该位元素，对每一行都进行如此操作完成池化。

以预设的中间层中的子层总数x在中间层中进行多次迭代处理。

步骤1.3：针对最后子层的节点表示矩阵H_b和邻接矩阵A_b，在输出层中使用分类器对节点的标签进行分类预测，获得节点连接关系的分类结果，作为最后的输出。

运用softmax分类器对步骤1.2获得的最后子层的节点表示矩阵H^*和邻接矩阵A^*按照以下采取分类预测操作，公式如下：

其中，W^*表示输出层所需训练的参数，H^*表示最后子层的节点表示矩阵，A^*表示最后子层的邻接矩阵，

表示中间层的第p子层的预测参考矩阵，H^out表示类别矩阵，H^out的列数等于需要分类的类别数。

Softmax分类器处理获得同一类别节点具有极强的连接关系，将极强的连接关系的零部件分为同一类。

步骤2：使用训练集训练所建立的图学习卷积神经网络结构，使损失函数达到最小；

建立以下损失函数，包括两个部分，第一部分是输出层中节点分类的交叉熵损失L_pred，第二部分是中间层的图学习损失L_gl：

计算交叉熵损失L_pred的公式如下：

其中，Y_L为在分类任务中所有具有标签的节点构成的集合，F为掩膜矩阵，F_pq表示掩膜矩阵F中第p行第q列的元素；若节点p是属于类q的，那么F_pq的值为1，否则为0；b为类别矩阵H^out的列数，类别矩阵H^out的行数为1，每列上的元素代表对应节点的分类结果；

图学习损失L_gl由两部分组成，公式如下：

其中，‖.‖₂表示向量的2范数，‖.‖_F代表掩膜矩阵F的Frobenius范数，是矩阵中各元素的平方和再开平方；γ₃为两部分间的权重系数，当数据较大时将γ₃设置为0从而节省运算资源；

总损失函数公式如下：

L_GLCNN＝L_pred+L_gl

其中，L_pred为节点分类的交叉熵损失，L_gl为图学习损失。

步骤3：将训练后的图学习卷积神经网络针对待测的装配特征图进行预测处理，获得零部件连接关系的分类结果。

以引文数据集Cora和图片数据集MNIST为例，用训练集训练神经网络，再用测试集验证该方法的分类准确率。引文数据集中的论文表示为节点，论文间的引用表示为边，不同的研究领域表示为类别。图片数据集中的图片表示为节点，图片像素的RGB值表示为其特征。由于图片数据集中缺少边的信息，因此需要根据kNN计算得到初始邻接矩阵。本实施例中选择k的值为10，与0到9这十个数字相对应。蒸馏只保留前90％的连接关系，输入层中特征的维数为70，中间层中GNN计算输出的特征的维数为30。经过训练得到本发明方法在Cora数据集上分类的准确率为84.6±0.2％，在MNIST数据集上分类的准确率为70.5±0.5％，具有较高的分类准确率。

以上所述仅为本发明的优选实施例，并不用以限制本发明，凡在本发明的形式和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (8)

1.一种基于图学习卷积神经网络的装配特征图连接关系分类方法，其特征在于，方法包括以下步骤：

步骤1：建立装配特征图中节点关系的图学习卷积神经网络结构，包括输入层、中间层和输出层；

步骤2：使用训练集训练所建立的图学习卷积神经网络结构，使损失函数达到最小；

步骤3：将训练后的图学习卷积神经网络针对待测的装配特征图进行预测处理，获得零部件连接关系的分类结果。

2.根据权利要求1所述的一种基于图学习卷积神经网络的装配特征图连接关系分类方法，其特征在于：所述的装配特征图是由多个节点构成，每个节点代表了零部件，节点间的连线代表了零部件的连接关系。

3.根据权利要求1所述的一种基于图学习卷积神经网络的装配特征图连接关系分类方法，其特征在于：所述步骤1中，图学习卷积神经网络结构具体为：

步骤1.1：以初始的节点表示矩阵H₀和邻接矩阵A₀为输入层的输入，通过输入层经过卷积、图学习和调整得到用于输入到中间层中第一子层的节点表示矩阵H₁和邻接矩阵A₁；

步骤1.2：以前第一子层的节点表示H_i-1和邻接矩阵A_i-1作为输入，在中间层中经过图神经网络的运算以及图学习、蒸馏、池化的步骤进行不断迭代处理得到输出最后子层的节点表示矩阵H^*和邻接矩阵A^*；

步骤1.3：针对最后子层的节点表示矩阵H_b和邻接矩阵A_b，在输出层中使用分类器对节点的标签进行分类预测，获得节点连接关系的分类结果。

4.根据权利要求3所述的一种基于图学习卷积神经网络的装配特征图连接关系分类方法，其特征在于：所述步骤1.1具体为：

首先对节点表示矩阵H₀右乘一个预设的低维矩阵P，对节点表示矩阵H₀进行降维，公式如下：

其中，

表示降维后的节点表示矩阵；

然后根据降维后的节点表示矩阵

进行图学习过程，使用单层神经网络完成相似性关系的学习，获得相似性参数S_ij，由所有相似性参数构成了相似性矩阵S，公式如下：

其中，a为权重向量，T表示矩阵转置，h_i表示降维后的节点表示矩阵

中的第i行行向量；S_ij表示节点i和节点j之间的相似性参数，即相似性矩阵S中的第i行第j列的元素，N表示节点的总数；ReLU是线性整流函数；

最后，对图学习获得的相似性矩阵S加权后与初始的邻接矩阵A₀求和计算，公式如下：

A₁＝γ₁S+A₀

其中，γ₁为初始的邻接矩阵A₀与相似性矩阵S之间的第一权重系数，A₁表示中间层中第一子层的邻接矩阵；

同时以初始的节点表示矩阵H₀直接作为中间层中第一子层的节点表示矩阵H₁。

5.根据权利要求4所述的一种基于图学习卷积神经网络的装配特征图连接关系分类方法，其特征在于：所述初始的邻接矩阵A₀具体按照以下方式获得：

装配特征图对应的机械装配结构中的零部件连接关系是已知明确的，则：若节点i和节点j有连接，则邻接矩阵中第i行第j列的元素A₀(i，j)＝1，否则为0；

装配特征图对应的机械装配结构中的零部件连接关系是未知不明确的，则按照以下方式处理确定：

首先对节点i与节点j之间的距离d(i，j)进行计算，公式如下：

d(i，j)＝||g_i-g_j||²

其中，g_i与g_j分别是节点i与节点j对应的特征向量；

然后通过建立高斯扩散核的方式来计算节点间关系的距离远近：

其中，σ为距离的方差，S(i，j)表示节点i与节点j之间的距离远近参数，exp表示指数函数；

在得到所有两个节点间的距离远近参数后，根据预设的数量阈值k，进行划分获得邻接矩阵A₀中每个元素的值，公式如下：

其中，T_k(i)是与节点i之间的关系强弱参数S(i，j)最小的前k个节点j的集合。

6.根据权利要求3所述的一种基于图学习卷积神经网络的装配特征图连接关系分类方法，其特征在于：所述步骤1.2具体为：

中间层划分为多个子层，各个子层依次进行处理；每个子层中，以当前子层的节点表示矩阵H_p和邻接矩阵A_p为输入，获得下一层的节点表示矩阵H_p+1和邻接矩阵A_p+1进行输出，每层处理具体为：

首先进行图神经网络的计算中间层第p个子层的中间矩阵Z_p，公式如下：

D_p，p＝∑_qA_p(i，j)

D_p，q＝0，若p≠q

其中，D为对角矩阵，D_p，q表示对角矩阵D中第p行第q列的元素，W_p为中间层的第p子层的学习参数，Z_p表示中间层的第p子层的中间矩阵，

表示中间层的第p子层的参考矩阵，A_p(i，j)表示中间层的第p子层的邻接矩阵中第p行第q列的元素；

之后根据中间矩阵Z_p进行图学习过程获得第p个子层的相似性矩阵L_p，具体为：

其中，z_p表示第p子层的中间矩阵Z_p中的第p行行向量；L_p表示第p子层的中间矩阵Z_p的内部相似性矩阵；

接着进行蒸馏，将图学习过程输出的相似性矩阵L_p加权后与A_p相加，然后通过蒸馏得到新的第p+1子层的邻接矩阵A_p+1，公式如下：

其中，γ₂为邻接矩阵A_p与相似性矩阵S_p之间的第二权重系数，sparsemax(.)表示阈值截取函数；[]₊表示比较函数，具体为取输入值和零当中的较大值，T(.)为蒸馏函数；

最后对中间矩阵Z_p进行池化获得第p+1子层的节点表示矩阵H_p+1。

7.根据权利要求1所述的一种基于图学习卷积神经网络的装配特征图连接关系分类方法，其特征在于：所述步骤1.3具体为：

运用softmax分类器对步骤1.2获得的最后子层的节点表示矩阵H^*和邻接矩阵A^*按照以下采取分类预测操作，公式如下：

其中，W^*表示输出层所需训练的参数，H^*表示最后子层的节点表示矩阵，A^*表示最后子层的邻接矩阵，

表示中间层的第p子层的预测参考矩阵，H^out表示类别矩阵。

8.根据权利要求1所述的一种基于图学习卷积神经网络的装配特征图连接关系分类方法，其特征在于：所述步骤2中，建立以下损失函数，包括两个部分，第一部分是输出层中节点分类的交叉熵损失L_pred，第二部分是中间层的图学习损失L_gl：

计算交叉熵损失L_pred的公式如下：

其中，Y_L为在分类任务中所有具有标签的节点构成的集合，F为掩膜矩阵，F_pq表示掩膜矩阵F中第p行第q列的元素；若节点p是属于类q的，那么F_pq的值为1，否则为0；b为类别矩阵H^out的列数，类别矩阵H^out的行数为1，每列上的元素代表对应节点的分类结果；

图学习损失L_gl由两部分组成，公式如下：

其中，||.||₂表示向量的2范数，||.||_F代表掩膜矩阵F的Frobenius范数；γ₃为两部分间的权重系数；

总损失函数公式如下：

L_GLCNN＝L_pred+L_gl

其中，L_pred为节点分类的交叉熵损失，L_gl为图学习损失。

Images