CN112241478B - 一种基于图神经网络的大规模数据可视化降维方法 - Google Patents

Abstract

本发明提出一种基于图神经网络的可视化降维方法，涉及深度学习、大规模数据处理的技术领域，解决了现有降维技术中，模型无法进行大规模数据训练、非参数式可视化降维模型无法处理未知数据点的可视化以及参数式可视化降维模型的可视化结果差的问题，对获取后的高维数据集进行划分和预处理后，构建异构图，建立GNN图神经网络模型，并确认损失函数，然后训练，训练完成后进行测试，损失函数面向高维大规模数据进行可视化降维，采用子图负采样的思想进行了创新训练，减少了模型的训练成本，且能把数据的维度降低，但保持住相当一部分的高维数据信息，使得后续的数据分析与处理变得更有意义且容易。

Description

一种基于图神经网络的大规模数据可视化降维方法

技术领域

本发明涉及深度学习、大规模数据处理的技术领域，更具体地，涉及一种基于图神经网络的大规模数据可视化降维方法。

背景技术

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注，由于大数据分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作，将会花费过多的时间和金钱，因此在大数据时代，对已收集的数据进行了解和探索是一项重要的任务，传统通过绘制2维(2D)或3维(3D)空间中数据的方法使数据散布在数据挖掘管道中，直接可视化观察数据分布，并以交互方式参与探索分析，对大规模数据分析探索起着至关重要的作用，保证了各行各业决策行动的准确性和时效性。

然而，大规模数据大多是高维的并且难以研究，例如，机器学习中样本的特征变量、图像的像素强度矢量以及单词或文档的嵌入通常包含数百至数千个维度，解决此类问题的核心思想是将高维数据投影到保留相似结构的低维空间中，这意味着投影的低维空间中的数据节点若在高维空间中是相似的，则应靠近，而若在高维空间中非相似，则应远离，这些高维度的数据引起的维度灾难现象使得很多传统的机器学习、数据挖掘算法失去原有的效果，因此，高维数据的降维技术一直是学术界关注的重点。

在降维技术中，有一类特殊的降维技术可以使数据直接下降到低维空间上，这种降维技术被称为可视化降维技术。2018年12月，董骏在《计算技术与自动化》期刊上发表了“面向数据集的ST-SNE算法高维数据降维研究”文章，对t-SNE计算高维空间样本点相似度的过程进行了改进，克服了数据集欧氏距离在高维空间中不能忠实反映样本位于非线性流形上相似关系的缺陷，提升了降维结果的分类准确度和可视化效果，然而在现有可视化降维算法中，往往需要对全部的数据进行可视化，这样的做法虽然能够使得可视化降维后的效果显著，但在模型的训练上所付出的代价是十分巨大的，因此无法进行大规模训练，而且实际应用对可视化的速度要求高，传统非参数式模型无法处理未知数据点的可视化问题。

发明内容

为解决现有降维技术中，模型无法进行大规模数据训练、非参数式可视化降维模型无法处理未知数据点的可视化以及参数式可视化降维模型的可视化结果差的问题，本发明提出了一种基于图神经网络的可视化降维方法，实现高效数据降维的同时，保证了高维数据原有的数据结构，便于后续数据的分析与处理操作。

为了达到上述技术效果，本发明的技术方案如下：

一种基于图神经网络的大规模数据可视化降维方法，包括：

S1.获取高维数据集，对高维数据集进行预处理；

S2.构建高维数据集的异构图；

S3.构建GNN图神经网络模型，将高维数据集及异构图作为输入，输出降维后的可视化向量；

S4.将高维数据集划分为测试集T和训练集S，构建图神经网络模型的损失函数，利用训练集S训练GNN图神经网络模型；

S5.图神经网络模型训练完成后，利用测试集T对图神经网络模型进行测试，确定最终的可视化降维模型；

S6.将待降维的大规模数据集输入可视化降维模型，进行可视化降维。

优选地，所述高维数据集包括词向量数据集和图形像素数据集，设高维数据集表示为D＝{D₁，D₂，...D_i，...，D_N}，D∈R^d，R表示实数，D_i表示第i个维度为d的向量，对高维数据集进行的预处理操作包括正则化处理。

优选地，步骤S2所述构建高维数据集的异构图的过程包括：利用高维数据集中已存在的异构图信息直接组成异构图或高维数据集中不存在异构图信息，构建高维数据集的KNN图；

所述利用高维数据集中已存在的异构图信息直接组成异构图的表达式为：

G_H＝(E_H，V_H)

其中，G_H表示高维数据集的异构图，V_H表示异构图的节点集合，V_H中第i个节点v_i对应的高维数据集的第一个向量D₁；E_H表示异构图的边，若节点v_i与节点v_j在异构图中存在边，则(v_i，v_j)∈E_H。

优选地，构建异构图的过程中获得高维数据集的概率分布P，表示为：

其中，p_ij表示节点D_i的附近出现节点D_j的概率；k，l表示不同于i、j的数值编号。

优选地，步骤S3所述的构建GNN图神经网络模型的过程为：

S31.确定GNN图神经网络模型的超参数，包括隐藏层的维度h、神经网络的深度H及学习速率γ；

S32.将高维数据集D及高维数据集的异构图G_H＝(E_H，V_H)作为GNN图神经网络模型的输入，选定神经网络模型参数W＝{w₁，w₂，...，w_H}，其中，w_i表示GNN图神经网络第i层隐藏层的可训练参数；

S33.构建出GNN图神经网络模型f_GNN(G_H，D，W)。

优选地，步骤S4所述构建图神经网络模型的损失函数面向的算法包括于t-SNE算法、UMAP算法及LargeVis算法，通过GNN图神经网络模型f_GNN(G_H，D，W)得到与输入高维数据集D＝{D₁，D₂，...，D_N}对应降维后的y维可视化向量D′＝{D′₁，D′₂，...，D′_N}，其中D′∈R^y，y＝2或3，兼容任何的可视化目标函数。

优选地，面向t-SNE算法构建的第一损失函数OF_t-SNE满足：

其中，q_ij为中间概率，

且为整数；

面向UMAP算法构建的第二损失函数OF_UMAP满足：

其中，β、u均为大于零的实数；

面向LargeVis算法构建的第三损失函数OF_LargeVis满足：

其中，E_H为异构图的边集合，δ为大于0的实数，

表示在选定的数据节点D_j的情况下，节点D_k被选中的概率。

在此，面向t-SNE算法构建的第一损失函数OF_t-SNE目标在于最小化高维数据集与低维数据集之间的Kullback-Leibler散度，面向UMAP算法构建的第二损失函数OF_UMAP目标在于最小化高维数据集与低维数据集之间的交叉熵cross-entropy，面向LargeVis算法构建的第三损失函数OF_LargeVis与面向面向UMAP算法构建的第二损失函数OF_UMAP类似，但利用了负采样的方式对相距较远的数据点进行负采样，通过不同的可视化损失函数，使得模型的结果有所不同，但是这些损失函数的特点是使得数据点在高维空间中相近的节点在低维空间中也保持相近的特性，而在高维空间中相距较远的节点在低维空间中也保持较远。

优选地，利用训练集S训练GNN图神经网络模型的过程为：

S41.基于第一损失函数OF_t-SNE、第二损失函数OF_UMAP及第三损失函数OF_LargeVis，确定损失函数值OF；

S42.利用神经网络残差反向传播技术，计算GNN图神经网络模型中的所有节点残差，更新网络中的参数W＝{w₁，w₂，...，w_H}；

S43.存在收敛值E，判断损失函数值OF是否满足：

|OF-E|≤ε是否成立，ε表示足够小的正数，若是，训练结束；否则，返回步骤S41。

9.根据权利要求8所述的基于图神经网络的大规模数据可视化降维方法，其特征在于，步骤S5所述利用测试集T对图神经网络模型进行测试的过程包括：

S51.确认高维数据集中的标签信息；

S52.将测试集T＝{T₁，T₂，...，T_N′}通过训练好的GNN图神经网络模型进行降维，得到降维后的测试集T′＝{T′₁，T′₂，...，T′_N′}；

S53.利用k邻近邻居分类算法测试数据集T′的可视化效果：

确定测试节点i的k邻近邻居集合N(T′_i)＝{T′_i1，T′_i2，...，T′_ik}；

通过k邻近邻居集合N(T′_i)计算出节点T′_i得到标签，判断是否与节点T′_i的原分类标签是否一致，若是，GNN图神经网络模型为最终的可视化降维模型；否则，返回S4继续训练GNN图神经网络模型，通过这个方法可以计算出可视化降维后的数据是否能将分类标签相同的点聚在一块区域上，假设在高维空间上，相同标签的数据是聚在同一块区域内。

优选地，步骤S5所述利用测试集T对图神经网络模型进行测试的过程还包括高维数据集中未含标签信息的测试；过程为：

S501.将测试集T＝{T₁，T₂，...，T_N′}通过训练好的GNN图神经网络模型进行降维，得到降维后的测试集T′＝{T′₁，T′₂，...，T′_N′}；

S502.设测试集T＝{T₁，T₂，...，T_N′}的秩为ρ，计算满足：

ρ_ij＝|{k:δ_ik＜δ_ij or(δ_ik＝δ_ij and k＜j)}|

δ_ij＝||T_i-T_j||²

其中，|·|表示集合的基数，δ_ij表示降维前高维测试集节点i与高维节点j的距离；

降维后的测试集T′＝{T′₁，T′₂，...，T′_N′}的秩为r，计算满足：

r_ij＝|{k:d_ik＜d_ij or(d_ik＝d_ij and k＜j)}|

d_ij＝||T′_i-T′_j||²

其中，d_ij表示低维节点i与低维节点j的距离；

S503.将降维前高维测试集的秩为ρ与降维后的秩r对比，利用co-ranking技术确认降维前高维测试集与降维后数据的相似度，判断相似度是否满足K标准，若是，GNN图神经网络模型为最终的可视化降维模型；否则，返回S4继续训练GNN图神经网络模型，通过此过程判断高维测试集在降维过后能保持原有高维数据信息的多少，只有符合标准的GNN图神经网络模型才会作为最终的可视化降维模型。

与现有技术相比，本发明技术方案的有益效果是：

本发明提出一种基于图神经网络的大规模数据可视化降维方法，首先获取到高维数据集，然后构建GNN图神经网络模型，将高维数据集及异构图作为输入，输出降维后的可视化向量，构建图神经网络模型的损失函数，利用训练集S训练GNN图神经网络模型，图神经网络模型训练完成后，利用测试集T对图神经网络模型进行测试，确定最终的可视化降维模型，在基于反向传播技术的GNN图神经网络模型下，利用t-SNE，UMAP，LargeVis非参数式可视化降维算法所导出的可视化损失函数对高维大规模数据进行可视化降维，过程中采用子图负采样的思想进行了创新训练，减少了模型的训练成本，且能把数据的维度降到低，且能保持住相当一部分的高维数据信息，使得后续的数据分析与处理变得更有意义且容易。

附图说明

图1表示本发明实施例中提出的基于图神经网络的大规模数据可视化降维方法的流程图；

图2表示本发明实施例中提出的图神经网络模型中数据流动的示意图；

图3表示本发明实施例中提出的应用于高维数据集MNIST手写数据集上的可视化降维效果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好地说明本实施例，附图某些部位会有省略、放大或缩小；

对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示的基于图神经网络的大规模数据可视化降维方法的流程图；参见图1，包括：

S1.获取高维数据集，对高维数据集进行预处理；

S2.构建高维数据集的异构图；

S3.构建GNN图神经网络模型，将高维数据集及异构图作为输入，输出降维后的可视化向量；

S4.将高维数据集划分为测试集T和训练集S，构建图神经网络模型的损失函数，利用训练集S训练GNN图神经网络模型；

S5.图神经网络模型训练完成后，利用测试集T对图神经网络模型进行测试，确定最终的可视化降维模型；

S6.将待降维的大规模数据集输入可视化降维模型，进行可视化降维。

在本实施例中，所述高维数据集包括词向量数据集和图形像素数据集，设高维数据集表示为D＝{D₁,D₂,...D_i,...，D_N}，D∈R^d，R表示实数，D_i表示第i个维度为d的向量，对高维数据集进行的预处理操作包括正则化处理，但实际实施时，预处理操作的过程并不局限于正则化处理。

在本实施例中，步骤S2所述构建高维数据集的异构图的过程包括：利用高维数据集中已存在的异构图信息直接组成异构图或高维数据集中不存在异构图信息，构建高维数据集的KNN图；

所述利用高维数据集中已存在的异构图信息直接组成异构图的表达式为：

G_H＝(E_H，V_H)

其中，G_H表示高维数据集的异构图，V_H表示异构图的节点集合，V_H中第i个节点v_i对应的高维数据集的第一个向量D₁；E_H表示异构图的边，若节点v_i与节点v_j在异构图中存在边，则(v_i，v_j)∈E_H。

构建异构图的过程中获得高维数据集的概率分布P，表示为：

其中，p_ij表示节点D_i的附近出现节点D_j的概率；k，l表示不同于i、j的数值编号。

在本实施例中，步骤S3所述的构建GNN图神经网络模型的过程为：

S31.确定GNN图神经网络模型的超参数，包括隐藏层的维度h、神经网络的深度H及学习速率γ；

S32.将高维数据集D及高维数据集的异构图G_H＝(E_H，V_H)作为GNN图神经网络模型的输入，选定神经网络模型参数W＝{w₁，w₂，...，w_H}，其中，w_i表示GNN图神经网络第i层隐藏层的可训练参数；

S33.构建出GNN图神经网络模型f_GNN(G_H，D，W)。

在本实施例中，步骤S4所述构建图神经网络模型的损失函数面向的算法包括于t-SNE算法、UMAP算法及LargeVis算法，损失函数的主要作用在于利用设计好的损失函数对S3中构建的GNN图神经网络模型的可训练参数W，通过深度学习中的反向传播的技术进行迭代。通过GNN图神经网络模型f_GNN(G_H，D，W)得到与输入高维数据集D＝{D₁，D₂，...，D_N}对应降维后的y维可视化向量D′＝{D′₁，D′₂，...，D′_N}，其中D′∈R^y，y＝2或3，兼容任何的可视化目标函数。

面向t-SNE算法构建的第一损失函数OF_t-SNE满足：

其中，q_ij为中间概率，

且为整数；

面向UMAP算法构建的第二损失函数OF_UMAP满足：

其中，β、u均为大于零的实数；

面向LargeVis算法构建的第三损失函数OF_LargeVis满足：

其中，E_H为异构图的边集合，δ为大于0的实数，

表示在选定的数据节点D_j的情况下，节点D_k被选中的概率。面向t-SNE算法构建的第一损失函数OF_t-SNE目标在于最小化高维数据集与低维数据集之间的Kullback-Leibler散度，面向UMAP算法构建的第二损失函数OF_UMAP目标在于最小化高维数据集与低维数据集之间的交叉熵cross-entropy，面向LargeVis算法构建的第三损失函数OF_LargeVis与面向面向UMAP算法构建的第二损失函数OF_UMAP类似，但利用了负采样的方式对相距较远的数据点进行负采样，通过不同的可视化损失函数，使得模型的结果有所不同，但是这些损失函数的特点是使得数据点在高维空间中相近的节点在低维空间中也保持相近的特性，而在高维空间中相距较远的节点在低维空间中也保持较远。

在本实施例中，利用训练集S训练GNN图神经网络模型的过程为：

S41.基于第一损失函数OF_t-SNE、第二损失函数OF_UMAP及第三损失函数OF_LargeVis，确定损失函数值OF；

S42.利用神经网络残差反向传播技术，计算GNN图神经网络模型中的所有节点残差，更新网络中的参数W＝{w₁，w₂，...，w_H}；

S43.存在收敛值E，判断损失函数值OF是否满足：

|OF-E|≤ε是否成立，ε表示足够小的正数，若是，训练结束；否则，返回步骤S41，具体图神经网络模型中数据流动的示意参见图2，由概率分布得到最终的损失函数值OF。

在本实施例中，步骤S5所述利用测试集T对图神经网络模型进行测试的过程包括：

S51.确认高维数据集中的标签信息；

S52.将测试集T＝{T₁，T₂，...，T_N′}通过训练好的GNN图神经网络模型进行降维，得到降维后的测试集T′＝{T′₁，T′₂，...，T′_N′}；

S53.利用k邻近邻居分类算法测试数据集T′的可视化效果：

确定测试节点i的k邻近邻居集合N(T′_i)＝{T′_i1，T′_i2，...，T′_ik}；

通过k邻近邻居集合N(T′_i)计算出节点T′_i得到标签，判断是否与节点T′_i的原分类标签是否一致，若是，GNN图神经网络模型为最终的可视化降维模型；否则，返回S4继续训练GNN图神经网络模型，通过这个方法可以计算出可视化降维后的数据是否能将分类标签相同的点聚在一块区域上，假设在高维空间上，相同标签的数据是聚在同一块区域内。

步骤S5所述利用测试集T对图神经网络模型进行测试的过程还包括高维数据集中未含标签信息的测试；即为测试一个模型是否为有效的可视化降维模型提供两类方法，除上述第一类方法外，若高维数据集中未含标签信息，则测试过程为：

S501.将测试集T＝{T₁，T₂，...，T_N′}通过训练好的GNN图神经网络模型进行降维，得到降维后的测试集T′＝{T′₁，T′₂，...，T′_N′}；

S502.设测试集T＝{T₁，T₂，...，T_N′}的秩为ρ，计算满足：

ρ_ij＝|{k:δ_ik＜δ_ij or(δ_ik＝δ_ij and k＜j)}|

δ_ij＝||T_i-T_j||²

其中，|·|表示集合的基数，δ_ij表示降维前高维测试集节点i与高维节点j的距离；

降维后的测试集T′＝{T′₁，T′₂，...，T′_N′}的秩为r，计算满足：

r_ij＝|{k:d_ik＜d_ij or(d_ik＝d_ij and k＜j)}|

d_ij＝||T′_i-T′_j||²

其中，d_ij表示低维节点i与低维节点j的距离；

S503.将降维前高维测试集的秩为ρ与降维后的秩r对比，利用co-ranking技术确认降维前高维测试集与降维后数据的相似度，判断相似度是否满足K标准，若是，GNN图神经网络模型为最终的可视化降维模型；否则，返回S4继续训练GNN图神经网络模型，通过此过程判断高维测试集在降维过后能保持原有高维数据信息的多少，只有符合标准的GNN图神经网络模型才会作为最终的可视化降维模型。

为验证本发明所提出方法的有效性，进一步给出本发明所提方法应用于高维数据集MNIST手写数据集上的可视化降维效果图如图3所示，参见图3，横坐标表示可视化降维成二维数据的X维度坐标值，而纵坐标表示降维后的Y维度坐标值，图中相同类别的数据被投影到相近的区域符合可视化降维效果,表明了本发明提出的方法能把数据的维度降到非常低，并且能保持住相当一部分的高维数据信息。

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (2)

1.一种基于图神经网络的大规模数据可视化降维方法，其特征在于，包括：

S1.获取高维数据集，对高维数据集进行预处理；

所述高维数据集包括词向量数据集和图形像素数据集，设高维数据集表示为D＝{D₁，D₂，...D_i，...，D_N}，D∈R^d，R表示实数，D_i表示第i个维度为d的向量，对高维数据集进行的预处理操作包括正则化处理；

S2.构建高维数据集的异构图；

步骤S2所述构建高维数据集的异构图的过程包括：利用高维数据集中已存在的异构图信息直接组成异构图或高维数据集中不存在异构图信息，构建高维数据集的KNN图；

所述利用高维数据集中已存在的异构图信息直接组成异构图的表达式为：

G_H＝(E_H，V_H)

其中，G_H表示高维数据集的异构图，V_H表示异构图的节点集合，V_H中第i个节点v_i对应的高维数据集的第一个向量D₁；E_H表示异构图的边，若节点v_i与节点v_j在异构图中存在边，则(v_i，v_j)∈E_H；

S3.构建GNN图神经网络模型，将高维数据集及异构图作为输入，输出降维后的可视化向量；

S4.将高维数据集划分为测试集T和训练集S，构建图神经网络模型的损失函数，利用训练集S训练GNN图神经网络模型；

步骤S4所述构建图神经网络模型的损失函数面向的算法包括于t-SNE算法、UMAP算法及LargeVis算法，通过GNN图神经网络模型f_GNN(G_H，D，W)得到与输入高维数据集D＝{D₁，D₂，...，D_N}对应降维后的y维可视化向量D′＝{D′₁，D′₂，...，D′_N}，其中D′∈R^y，y＝2或3；

面向t-SNE算法构建的第一损失函数OF_t-SNE满足：

其中，q_ij为中间概率，

且为整数；

构建异构图的过程中获得高维数据集的概率分布P，表示为：

其中，p_ij表示节点D_i的附近出现节点D_j的概率；k，l表示不同于i、j的数值编号；

面向UMAP算法构建的第二损失函数OF_UMAP满足：

其中，β、u均为大于零的实数；

面向LargeVis算法构建的第三损失函数OF_LargeVis满足：

其中，E_H为异构图的边集合，δ为大于0的实数，

表示在选定的数据节点D_j的情况下，节点D_k被选中的概率；

利用训练集S训练GNN图神经网络模型的过程为：

S41.基于第一损失函数OF_t-SNE、第二损失函数OF_UMAP及第三损失函数OF_LargeVis，确定损失函数值OF；

S42.利用神经网络残差反向传播技术，计算GNN图神经网络模型中的所有节点残差，更新网络中的参数W＝{w₁，w₂，...，w_H}；

S43.存在收敛值E，判断损失函数值OF是否满足：

|OF-E|≤ε是否成立，ε表示足够小的正数，若是，训练结束；否则，返回步骤S41；

S5.GNN图神经网络模型训练完成后，利用测试集T对图神经网络模型进行测试，确定最终的可视化降维模型；

步骤S5所述利用测试集T对图神经网络模型进行测试的过程包括：

S51.确认高维数据集中的标签信息；

S52.将测试集T＝{T₁，T₂，...，T_N′}通过训练好的GNN图神经网络模型进行降维，得到降维后的测试集T′＝{T′₁，T′₂，...，T′_N′}；

S53.利用k邻近邻居分类算法测试数据集T′的可视化效果：

确定测试节点i的k邻近邻居集合N(T′_i)＝{T′_i1，T′_i2，...，T′_ik}；

通过k邻近邻居集合N(T′_i)计算出节点T′_i得到标签，判断是否与节点T′_i的原分类标签是否一致，若是，GNN图神经网络模型为最终的可视化降维模型；否则，返回S4继续训练GNN图神经网络模型；

步骤S5所述利用测试集T对图神经网络模型进行测试的过程还包括高维数据集中未含标签信息的测试；过程为：

S501.将测试集T＝{T₁，T₂，...，T_N′}通过训练好的GNN图神经网络模型进行降维，得到降维后的测试集T′＝{T′₁，T′₂，...，T′_N′}；

S502.设测试集T＝{T₁，T₂，...，T_N′}的秩为ρ，计算满足：

ρ_ij＝|{k：δ_ik＜δ_ijor(δ_ik＝δ_ijand k＜j)}|

δ_ij＝||T_i-T_j||²

其中，|·|表示集合的基数，δ_ij表示降维前高维测试集节点i与高维节点j的距离；

降维后的测试集T′＝{T′₁，T′₂，...，T′_N′}的秩为r，计算满足：

d_ij＝||T′_i-T′_j||²

其中，d_ij表示低维节点i与低维节点j的距离；

S503.将降维前高维测试集的秩为ρ与降维后的秩r对比，利用co-ranking技术确认降维前高维测试集与降维后数据的相似度，判断相似度是否满足K标准，若是，GNN图神经网络模型为最终的可视化降维模型；否则，返回S4继续训练GNN图神经网络模型；

S6.将待降维的大规模数据集输入可视化降维模型，进行可视化降维。

2.根据权利要求1所述的基于图神经网络的大规模数据可视化降维方法，其特征在于，步骤S3所述的构建GNN图神经网络模型的过程为：

S31.确定GNN图神经网络模型的超参数，包括隐藏层的维度h、神经网络的深度H及学习速率γ；

S32.将高维数据集D及高维数据集的异构图G_H＝(E_H，V_H)作为GNN图神经网络模型的输入，选定神经网络模型参数W＝{w₁，w₂，...，w_H}，其中，w_v表示GNN图神经网络第v层隐藏层的可训练参数；

S33.构建出GNN图神经网络模型f_GNN(G_H，D，W)。

Images