CN110751269B - 图神经网络训练方法、客户端设备及系统 - Google Patents

Abstract

本发明提供了一种图神经网络训练方法、客户端设备及系统，涉及图神经网络的技术领域，该方法应用于图神经网络训练的客户端设备，首先，响应用户的环境创建操作来创建图神经网络的训练环境，然后响应用户的模型创建操作创建待训练图神经网络，再响应用户的设置操作设置待训练图神经网络的超参数，随后响应用户的训练操作，利用图数据训练集对不同的超参数组合对应的待训练图神经网络进行训练，最终确定出图数据训练集对应的最优超参数组合，本发明在充分利用图数据结构的基础上，快速且自动的得出待训练图神经网络对图数据训练集的最优超参数组合，减少用户调参的工作量，从而缓解了现有技术中的图神经网络训练方法工作效率低的技术问题。

Description

图神经网络训练方法、客户端设备及系统

技术领域

本发明涉及图神经网络的技术领域，尤其是涉及一种图神经网络训练方法、客户端设备及系统。

背景技术

图神经网络GNN(Graph Neural Networks)是一种处理图数据的方法，主要是基于深度学习的处理图域信息的方法，能够针对图数据的特性进行处理，因为图数据是不规则(非欧)的，图神经网络在学习之前或者在学习的过程中需要对图数据进行规则化处理，在尽可能保留图结构信息的基础上处理成相同维度的训练样本，常用的方法有近邻节点控制，但是近邻节点控制在解决数据规则化问题的同时，又引入了新的超参数，如近邻节点的数量和排序规则等参数，使得调参的工作量较大，导致寻找最优参数的时间较长。

综上所述，现有技术中的图神经网络训练方法存在工作效率低的技术问题。

发明内容

本发明的目的在于提供一种图神经网络训练方法、客户端设备及系统，以缓解了现有技术中的图神经网络训练方法存在的工作效率低的技术问题。

第一方面，本发明提供一种图神经网络训练方法，应用于图神经网络训练的客户端设备，所述客户端设备与图神经网络训练的服务端设备通信连接，所述方法包括：

响应用户的环境创建操作，利用所述服务端设备的资源创建与所述环境创建操作对应的图训练环境，其中，所述图训练环境包括：物理资源和所述物理资源上部署的镜像资源；

响应所述用户的模型创建操作，根据所述模型创建操作创建待训练图神经网络；

响应所述用户的设置操作，根据所述设置操作对所述待训练图神经网络的超参数进行设置；

响应所述用户的训练操作，利用所述训练操作对应的图数据训练集，对不同的超参数组合对应的所述待训练图神经网络进行训练；

基于不同的超参数组合对应的所述待训练图神经网络的训练效果，确定出所述图数据训练集对应的最优超参数组合。

进一步的，响应用户的环境创建操作，利用所述服务端设备的资源创建与所述环境创建操作对应的图训练环境的步骤，包括：

在所述客户端设备的用户操作界面上展示所述服务端设备的资源供用户选择；

基于所述用户选择的资源生成环境创建操作；调用所述服务端设备所述环境创建操作对应的资源，创建图训练环境；

所述图训练环境中的镜像资源包括深度学习框架和图深度学习框架。

进一步的，所述响应所述用户的模型创建操作，根据所述模型创建操作创建待训练图神经网络的步骤，包括：

响应所述用户的模型创建操作；其中，所述模型创建操作包括自定义模型操作和模型选择操作；

如果所述用户的模型创建操作为自定义模型操作，将所述自定义模型操作对应的自定义图神经网络，确定为待训练图神经网络；

如果所述用户的模型创建操作为模型选择操作，将所述模型选择操作选中的图神经网络确定为待训练图神经网络；

在所述图训练环境中创建所述待训练图神经网络。

进一步的，所述响应所述用户的设置操作，根据所述设置操作对所述待训练图神经网络的超参数进行设置的步骤，包括：

如果所述用户的模型创建操作为模型选择操作，展示所述待训练图神经网络的超参数列表；

根据所述用户基于所述超参数列表触发的设置操作，确定所述待训练图神经网络中待优化的超参数，以及设置每个所述超参数的类型和取值范围。

进一步的，所述响应所述用户的设置操作，根据所述设置操作对所述待训练图神经网络的超参数进行设置的步骤，包括：

如果所述用户的模型创建操作为所述自定义模型操作，响应所述用户的设置操作，设置所述待训练图神经网络中的每个超参数的取值范围。

进一步的，所述响应所述用户的训练操作，利用所述训练操作对应的图数据训练集，对不同的超参数组合对应的所述待训练图神经网络进行训练的步骤，包括：

响应所述用户的训练操作中上传的图数据训练集和指定的超参数组合；

利用所述图数据训练集对每个所述超参数组合对应的所述待训练图神经网络进行训练；其中，训练过程中，利用超参数优化算法，对每个所述超参数组合中的超参数进行优化。

进一步的，所述超参数优化算法包括模拟退火、蚁群算法或栅格法。

进一步的，基于不同的超参数组合对应的所述待训练图神经网络的训练效果，确定出所述图数据训练集对应的最优超参数组合的步骤包括：

在所述客户端设备上展示不同的超参数组合对应的所述待训练图神经网络的训练效果；

将基于所述训练效果选取的超参数组合，确定为所述图数据训练集对应的最优超参数组合。

第二方面，本发明还提供一种图神经网络训练的客户端设备，所述客户端设备与图神经网络训练的服务端设备通信连接，所述客户端设备包括：

环境创建模块，用于响应用户的环境创建操作，利用所述服务端设备的资源创建与所述环境创建操作对应的图训练环境，其中，所述图训练环境包括：物理资源和所述物理资源上部署的镜像资源；

模型创建模块，用于响应所述用户的模型创建操作，根据所述模型创建操作创建待训练图神经网络；

设置模块，用于响应所述用户的设置操作，根据所述设置操作对所述待训练图神经网络的超参数进行设置；

训练模块，用于响应所述用户的训练操作，利用所述训练操作对应的图数据训练集，对不同的超参数组合对应的所述待训练图神经网络进行训练；

确定模块，用于基于不同的超参数组合对应的所述待训练图神经网络的训练效果，确定出所述图数据训练集对应的最优超参数组合。

第三方面，本发明还提供一种图神经网络训练系统，所述图神经网络训练系统包括前述实施方式中所述的图神经网络训练的客户端设备，还包括：图神经网络训练的服务端设备；其中，所述客户端设备与所述服务端设备通信连接；所述服务端设备用于提供图神经网络训练所需的资源。

第四方面，本发明实施例提供一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述实施方式中任一项所述的方法的步骤。

第五方面，本发明实施例提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行前述实施方式中任一项所述的方法。

本发明提供的图神经网络训练方法，应用于图神经网络训练的客户端设备，且客户端设备与图神经网络训练的服务端设备通信连接，该方法包括：响应用户的环境创建操作，利用服务端设备的资源创建与环境创建操作对应的图训练环境，其中，图训练环境包括：物理资源和物理资源上部署的镜像资源；响应用户的模型创建操作，根据模型创建操作创建待训练图神经网络；响应用户的设置操作，根据设置操作对待训练图神经网络的超参数进行设置；响应用户的训练操作，利用训练操作对应的图数据训练集，对不同的超参数组合对应的待训练图神经网络进行训练；基于不同的超参数组合对应的待训练图神经网络的训练效果，确定出图数据训练集对应的最优超参数组合。

现有技术中的图神经网络训练方法，在对图数据进行规则化处理时，为了更能体现图数据的结构，往往需要引入新的超参数，但是这会使调参的工作量增大，导致寻找最优参数的时间较长，与现有技术相比，本发明提供了一种图神经网络训练方法，该方法应用于图神经网络训练的客户端设备，首先，响应用户的环境创建操作来创建图神经网络的训练环境，然后响应用户的模型创建操作创建待训练图神经网络，再响应用户的设置操作设置待训练图神经网络的超参数，随后响应用户的训练操作，利用图数据训练集对不同的超参数组合对应的待训练图神经网络进行训练，最终确定出图数据训练集对应的最优超参数组合，本发明方法能够在充分利用图数据结构的基础上，快速且自动的得出待训练图神经网络对图数据训练集的最优超参数组合，减少用户调参的工作量，从而缓解了现有技术中的图神经网络训练方法工作效率低的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图神经网络训练方法的流程图；

图2为本发明实施例提供的一种客户端设备的环境创建用户操作界面；

图3为本发明实施例提供的一种客户端设备的超参数设置用户操作界面；

图4为本发明实施例提供的一种客户端设备的图数据训练集上传用户操作界面；

图5为本发明实施例提供的一种图神经网络训练的客户端设备的功能模块图；

图6为本发明实施例提供的一种图神经网络训练系统的功能示意图；

图7为本发明实施例提供的一种电子设备的示意图。

图标：1-客户端设备；2-服务端设备；10-环境创建模块；20-模型创建模块；30-设置模块；40-训练模块；50-确定模块；60-处理器；61-存储器；62-总线；63-通信接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

深度学习对于提取数据底层复杂的特征具有强大的表达能力，目前在各个领域都具有比较广泛的研究与应用，但图数据的复杂性对现有机器学习、深度学习算法提出了重大挑战，图是一种数据结构，表征的是对象(节点)与关系(边)，现实生活中的应用场景主要有社交网络、电商网络、交通网络等等，但是由于图数据的非欧、异构、节点边复杂关联等特性，使得一些能够在图像、自然语言中容易计算的网络层(如卷积)不能直接应用于图。

图神经网络GNN是一种处理图数据的方法，主要是基于深度学习的处理图域信息的方法，能够针对图数据的特性进行处理，图神经网络GNN建模的思路可分为两种：卷积神经网络CNN(Convolutional Neural Networks)、图嵌入GE(Graph Embedding)。由于图数据的非欧特性，卷积神经网络CNN在应用的过程中，需要先对图数据进行规则化处理，图数据和CNN的结合体就形成了一类图神经网络算法：图卷积神经网络GCN(Graph ConvolutionalNetwork)；图嵌入GE的思想是对图的节点、边数据进行低维向量空间表示，然后再通过机器学习、深度学习的方式进行训练，在低维向量空间表示之前同样存在节点转换的问题。

所以，由于图数据的不规则性，图神经网络在学习之前或者在学习的过程中需要对图数据进行规则化处理，在尽可能保留图结构信息的基础上处理成相同维度的训练样本，常用的方法有近邻节点控制，近邻节点控制方法在对图数据进行处理的过程中，需要先设置统一的规则，并确定图结构近邻节点数量(可以选择一阶或者高阶)和节点顺序，然后再从中提取特征进行深度学习，上述近邻节点数量和节点顺序的排序规则中的参数，就相当于给图神经网络引入了新的超参数。

虽然近邻节点控制能够利用先验知识，在数据集中设置参数来构造图神经网络的输入，使得模型构造的更透明，可解释性更好，也更能利用图数据的结构(一般来说，相同结构的图相似性越高)，但是在数据集中设置的参数的值不容易确定，且不同数据集，调参的工作量较大，有鉴于此，本发明提供了一种图神经网络训练方法、客户端设备及系统，用于解决图数据的规范化问题和图训练网络超参数的优化问题。

实施例一

本发明实施例提供的一种图神经网络训练方法，应用于图神经网络训练的客户端设备，客户端设备与图神经网络训练的服务端设备通信连接，如图1所示，该方法包括如下步骤：

步骤S11，响应用户的环境创建操作，利用服务端设备的资源创建与环境创建操作对应的图训练环境。

在本发明实施例中，用户要对待训练图神经网络进行训练，只需要与图神经网络训练的客户端设备进行交互即可，上述客户端设备与图神经网络训练的服务端设备通信连接，服务端设备用于提供图神经网络训练所需的资源。

首先，用户向客户端设备发送图神经网络的训练环境创建操作的请求，随后客户端设备响应用户的环境创建操作，并利用服务端设备的资源创建与环境创建操作对应的图训练环境，其中，图训练环境包括：物理资源和物理资源上部署的镜像资源，在本发明实施例中，客户端设备优选使用容器化技术(如Docker)和容器编排技术(如Kubernetes)完成图训练环境的创建。

图训练环境依赖的是服务端设备的云服务技术(如kubectl集群，包括镜像、资源等)，通过客户端设备创建的图训练环境，其本质是在集群上分配了相关物理资源，并在该物理资源上部署了镜像(软件依赖，如操作系统、深度学习框架等)。

步骤S12，响应用户的模型创建操作，根据模型创建操作创建待训练图神经网络。

在图训练环境创建完成后，用户就可以在该环境中创建待训练图神经网络，首先，用户向客户端设备发送模型创建操作的请求，具体的，用户可以通过客户端设备自带的jupyter或者通过远程登录上述图训练环境来发送模型的创建请求，然后，客户端设备响应用户的请求，并根据模型创建操作创建待训练图神经网络。

步骤S13，响应用户的设置操作，根据设置操作对待训练图神经网络的超参数进行设置。

确定了待训练图神经网络后，还需要指定待训练图神经网络的超参数，在机器学习中，超参数是在开始学习过程之前设置的参数，而不是通过训练得到的参数数据，通过对超参数进行优化，就能实现提高机器学习的性能和效果。在本发明实施例中，用户发送设置超参数的操作请求，客户端设备对上述请求进行响应，进而完成对待训练图神经网络的超参数进行设置，超参数的操作请求包括设置超参数的类型和限定超参数的取值范围。

步骤S14，响应用户的训练操作，利用训练操作对应的图数据训练集，对不同的超参数组合对应的待训练图神经网络进行训练。

用户通过客户端设备创建图训练环境，并在上述环境上创建待训练图神经网络，且成功设置了待训练图神经网络的超参数后，要想开始对待训练图神经网络的训练，还需要上传与待训练图神经网络对应的图数据训练集至客户端设备，在这些前提下，用户再发送开始训练的请求至客户端设备，客户端设备在响应用户的训练操作时，才能够利用上述图数据训练集对不同的超参数组合对应的待训练图神经网络进行训练。

步骤S15，基于不同的超参数组合对应的待训练图神经网络的训练效果，确定出图数据训练集对应的最优超参数组合。

训练结束，客户端设备能够展示在不同的超参数组合下，上述待训练图神经网络相对于提供的图数据训练集的训练效果，也就是不同超参数组合下优化指标的值，进而基于所有优化指标的值确定出上述图数据训练集对应的最优超参数组合。

现有技术中的图神经网络训练方法，在对图数据进行规则化处理时，为了更能体现图数据的结构，往往需要引入新的超参数，但是这会使调参的工作量增大，导致寻找最优参数的时间较长，与现有技术相比，本发明实施例提供了一种图神经网络训练方法，该方法应用于图神经网络训练的客户端设备，首先，响应用户的环境创建操作来创建图神经网络的训练环境，然后响应用户的模型创建操作创建待训练图神经网络，再响应用户的设置操作设置待训练图神经网络的超参数，随后响应用户的训练操作，利用图数据训练集对不同的超参数组合对应的待训练图神经网络进行训练，最终确定出图数据训练集对应的最优超参数组合，本发明方法能够在充分利用图数据结构的基础上，快速且自动的得出待训练图神经网络对图数据训练集的最优超参数组合，减少用户调参的工作量，从而缓解了现有技术中的图神经网络训练方法工作效率低的技术问题。

上文中对本发明实施例提供的图神经网络训练方法进行了简要的介绍，下面对其中涉及的响应用户的环境创建操作的具体内容进行详细的介绍。

在一个可选的实施方式中，上述步骤S11具体可以包括以下步骤：

步骤S111，在客户端设备的用户操作界面上展示服务端设备的资源供用户选择。

具体的，如图2所示，本发明实施例的客户端设备提供用户操作界面，且能够展示与其通信连接的服务端设备上的资源，优选的，提供两种内置的图训练环境(镜像)Tensorflow+Graph_nets和Pytorch+Geometric，用户在客户端设备上进行环境创建操作时，用户操作界面能够展示图训练环境的名称、镜像以及训练环境所需要的资源等，上述资源包括CPU(central processing unit，中央处理器)的数量和GPU(Graphics ProcessingUnit，图形处理器)的数量等，若用户认为上述图训练环境不能满足实际需求，还可以通过Dockerfile自定义图训练环境。

步骤S112，基于用户选择的资源生成环境创建操作。

步骤S113，调用服务端设备环境创建操作对应的资源，创建图训练环境。

用户在操作界面上选择图训练环境的资源后，客户端设备就能够基于用户选择的资源生成环境创建操作，进而调用服务端设备上环境创建操作所对应的资源完成图训练环境的创建，其中，图训练环境中的镜像资源包括常用的深度学习框架(如Tensorflow、Pytorch等)和图深度学习框架(Graph_nets、Geometric等)，用户也可以在此基础上安装图神经网络训练所需要的依赖的环境，也就是说，用户可以自定义图训练环境，本发明实施例不对图训练环境的构建过程进行具体限定，只要服务端设备上配置了相关资源，用户都可以根据实际情况进行调用，进而完成图训练环境的创建。

图训练环境创建完成后，下一步就需要在这个环境上创建待训练图神经网络，在一个可选的实施方式中，上述步骤S12具体可以包括以下步骤：

步骤S121，响应用户的模型创建操作。

步骤S122，如果用户的模型创建操作为自定义模型操作，将自定义模型操作对应的自定义图神经网络，确定为待训练图神经网络。

首先，客户端设备接收用户的模型创建操作的请求，本发明实施例不对用户发送请求的途径进行具体限制，只要客户端设备接收到正确的请求，就能够及时响应该请求，并创建对应的模型，在模型创建时，客户端设备能够为用户提供两种模型创建操作：自定义模型操作和模型选择操作，如果用户选择自定义模型操作，就可以在图训练环境上自定义神经网络层，进而构造出的自定义图神经网络，并将其作为待训练图神经网络，同时，还需要指出该待训练图神经网络的优化指标，优化指标是判断模型好坏的标准，不同的模型有不同的指标，例如，一个模型用于人脸识别，那么该模型的优化指标就可以是错误率等参数。

步骤S123，如果用户的模型创建操作为模型选择操作，将模型选择操作选中的图神经网络确定为待训练图神经网络。

如果选择了模型选择操作，用户就可以在操作界面上选择已有的图神经网络，如line，node2vec等，本发明实施例不对可选的图神经网络进行一一枚举，用户可以根据实际需求将服务端设备的资源进行扩充，原则上能够将现有的所有图神经网络进行整合，供用户选择，用户选择了其中的一个图神经网络后，就将其作为待训练图神经网络。

步骤S124，在图训练环境中创建待训练图神经网络。

在一个可选的实施方式中，响应用户的设置操作，根据设置操作对待训练图神经网络的超参数进行设置的步骤，包括两种情况，情况一：

如果用户的模型创建操作为模型选择操作，那么展示待训练图神经网络的超参数列表，然后，根据用户基于超参数列表触发的设置操作，确定待训练图神经网络中待优化的超参数，以及设置每个超参数的类型和取值范围。

具体的，如图3所示，如果用户的模型创建操作为模型选择操作，那么在待训练图神经网络创建完成后，客户端设备的用户操作界面就能够展示该待训练图神经网络的超参数列表，也就是说，对于客户端设备上已经封装的算法模型，用户需要在选定模型的超参数列表上确定待优化的超参数，然后再对每一个选定的超参数类型和取值范围进行限定即可，其中，超参数的类型包括：整型INT、单浮点型FLOAT、枚举类型ENUM和布尔值等，用户在选择参数类型后，再基于参数类型限定每个超参数的取值范围或布尔值。

情况二：如果用户的模型创建操作为自定义模型操作，响应用户的设置操作，设置待训练图神经网络中的每个超参数的取值范围。

具体的，如果用户的模型创建操作为自定义模型操作，那么在待训练图神经网络创建完成后，客户端设备的用户操作界面就能够进一步展示自定义超参数的界面，用户需要根据自定义的待训练图神经网络，指定待训练图神经网络中的每个超参数以及对应的类型和取值范围，其中，超参数的类型包括：整型INT、单浮点型FLOAT、枚举类型ENUM和布尔值等，用户在选择参数类型后，再基于参数类型限定每个超参数的取值范围或布尔值。

在一个可选的实施方式中，上述步骤S14具体可以包括以下步骤：

步骤S141，响应用户的训练操作中上传的图数据训练集和指定的超参数组合。

步骤S142，利用图数据训练集对每个超参数组合对应的待训练图神经网络进行训练。

具体的，在指定待训练图神经网络的超参数之后，用户开始训练待训练图神经网络之前，还需要在客户端设备上上传待训练图神经网络训练过程中所需要的图数据训练集，如图4所示，用户可以从本地上传图数据训练集至客户端设备上，还可以获取远程文件至客户端设备上，本发明实施例不对图数据训练集的获取方式进行具体限定，用户可以根据实际需求进行设置。

在确定图数据训练集后，结合上文中已经指定的超参数以及相应的取值范围，确定出待训练图神经网络所有的超参数组合，用户发送训练请求后，客户端设备就能够利用图数据训练集对每个超参数组合对应的待训练图神经网络进行训练，例如，选定的超参数分别为A、B、和C，且数据类型均为整型，十进制，对应的取值范围分别为[1,5]、[2,4]和[3,9]，那么说明A的取值可以有5种情况，B的取值可以有3种情况，A的取值可以有7种情况，那么超参数组合就有5*3*9＝135个，在获取到图数据训练集后，将分别对135个不同超参数组合所对应的135个待训练图神经网络进行训练。其中，训练过程中，利用超参数优化算法，对每个超参数组合中的超参数进行优化，超参数优化算法包括模拟退火、蚁群算法或栅格法。

客户端设备响应用户的训练操作，其主要过程是保持图数据训练集相同的情况下，在超参数允许的范围内选择不同的超参数组合，使得优化指标收敛到全局最值。

在一个可选的实施方式中，基于不同的超参数组合对应的待训练图神经网络的训练效果，确定出图数据训练集对应的最优超参数组合的步骤包括：

步骤S151，在客户端设备上展示不同的超参数组合对应的待训练图神经网络的训练效果。

步骤S152，将基于训练效果选取的超参数组合，确定为图数据训练集对应的最优超参数组合。

训练结束，客户端设备能够展示不同的超参数组合下待训练图神经网络相对于所提供的图数据训练集的训练效果，对于算法工程师来说，调参的工作就是根据不同的取值来查看模型的训练效果，对于超参数比较少的组合，比方说较少数量(例如1、2、3个)参数的模型，可以通过折线图、直方图等方式进行展示，对于超参数比较多的情况，还可以通过表格的形式：如列代表不同的超参数，行代表超参数取值组合，最后一列为优化指标的取值。本发明实施例不对其训练效果展示的具体方式进行限定，只要用户能够基于客户端设备展示的训练效果选取出上述图数据训练集对应的最优超参数组合即可。

本发明实施例针对的是图神经网络所依赖的软件环境差异(例如：操作系统、程序语言、深度学习框架等)以及参数整定问题，图神经网络的参数整定有别与常规神经网络的参数整定问题，常规神经网络一旦确定了模型结构，除了数据增强、交叉验证等数据集、特征工程方面的优化，还有优化器的选择等，对于参数整定就只剩下结构参数的优化，而图神经网络还需要针对图数据的特点进行规范化处理，本发明实施例有效的解决了上述两个问题。

本发明实施例结合AutoML的参数优化思想和容器化技术，针对图训练环境的差异问题、图数据的规范化问题和训练过程中超参数的优化问题，提出了一种图神经网络训练方法，在用户给定图数据训练集，自定义或者选择现有的算法模型后，本发明方法会在保留算法模型结构的基础上，不破坏算法模型定义的图数据结构，对指定的模型参数进行自动优化，最大化模型表现效果。

总的来说，整个流程是用户与图神经网络训练的客户端设备进行交互，客户端设备与图神经网络训练的服务端设备进行交互。用户根据需求在客户端设备上创建图训练环境，选择已有的模型或者提交代码(自定义图神经网络)，在上传图数据训练集之后，就可以自动优化待优化的参数。本发明在充分利用图数据结构的基础上，能够快速训练已有图神经网络对于不同图数据训练集的最优超参数组合；同时，对于自定义的图神经网络，能够使得用户专注于图神经网络的构造，保证算法的自由度，减少调参的工作量。

实施例二

本发明实施例还提供了一种图神经网络训练的客户端设备，该客户端设备与图神经网络训练的服务端设备通信连接，且主要用于执行上述实施例一所提供的图神经网络训练方法，以下对本发明实施例提供的图神经网络训练的客户端设备做具体介绍。

图5是本发明实施例提供的一种图神经网络训练的客户端设备的功能模块图，该客户端设备包括：环境创建模块10，模型创建模块20，设置模块30，训练模块40，确定模块50，其中：

环境创建模块10，用于响应用户的环境创建操作，利用服务端设备的资源创建与环境创建操作对应的图训练环境，其中，图训练环境包括：物理资源和物理资源上部署的镜像资源。

模型创建模块20，用于响应用户的模型创建操作，根据模型创建操作创建待训练图神经网络。

设置模块30，用于响应用户的设置操作，根据设置操作对待训练图神经网络的超参数进行设置。

训练模块40，用于响应用户的训练操作，利用训练操作对应的图数据训练集，对不同的超参数组合对应的待训练图神经网络进行训练。

确定模块50，用于基于不同的超参数组合对应的待训练图神经网络的训练效果，确定出图数据训练集对应的最优超参数组合。

现有技术中的图神经网络训练方法，在对图数据进行规则化处理时，为了更能体现图数据的结构，往往需要引入新的超参数，但是这会使调参的工作量增大，导致寻找最优参数的时间较长，与现有技术相比，本发明实施例提供了一种图神经网络训练的客户端设备，首先，响应用户的环境创建操作来创建图神经网络的训练环境，然后响应用户的模型创建操作创建待训练图神经网络，再响应用户的设置操作设置待训练图神经网络的超参数，随后响应用户的训练操作，利用图数据训练集对不同的超参数组合对应的待训练图神经网络进行训练，最终确定出图数据训练集对应的最优超参数组合，该客户端设备能够在充分利用图数据结构的基础上，快速且自动的得出待训练图神经网络对图数据训练集的最优超参数组合，减少用户调参的工作量，从而缓解了现有技术中的图神经网络训练方法工作效率低的技术问题。

可选的，环境创建模块10还用于：

在客户端设备的用户操作界面上展示服务端设备的资源供用户选择。

基于用户选择的资源生成环境创建操作。

调用服务端设备环境创建操作对应的资源，创建图训练环境；图训练环境中的镜像资源包括深度学习框架和图深度学习框架。

可选的，模型创建模块20还用于：

响应用户的模型创建操作；其中，模型创建操作包括自定义模型操作和模型选择操作。

如果用户的模型创建操作为自定义模型操作，将自定义模型操作对应的自定义图神经网络，确定为待训练图神经网络。

如果用户的模型创建操作为模型选择操作，将模型选择操作选中的图神经网络确定为待训练图神经网络。

在图训练环境中创建待训练图神经网络。

可选的，设置模块30还用于：

如果用户的模型创建操作为模型选择操作，展示待训练图神经网络的超参数列表。

根据用户基于超参数列表触发的设置操作，确定待训练图神经网络中待优化的超参数，以及设置每个超参数的类型和取值范围。

可选的，设置模块30还用于：

如果用户的模型创建操作为自定义模型操作，响应用户的设置操作，设置待训练图神经网络中的每个超参数的取值范围。

可选的，训练模块40还用于：

响应用户的训练操作中上传的图数据训练集和指定的超参数组合。

利用图数据训练集对每个超参数组合对应的待训练图神经网络进行训练；其中，训练过程中，利用超参数优化算法，对每个超参数组合中的超参数进行优化。

可选的，超参数优化算法包括模拟退火、蚁群算法或栅格法。

可选的，确定模块还用于：

在客户端设备上展示不同的超参数组合对应的待训练图神经网络的训练效果。

将基于训练效果选取的超参数组合，确定为图数据训练集对应的最优超参数组合。

实施例三

本发明实施例还提供了一种图神经网络训练系统，如图6所示，该图神经网络训练系统包括上述实施例一中的图神经网络训练的客户端设备1，还包括：图神经网络训练的服务端设备2；

其中，客户端设备1与服务端设备2通信连接；

服务端设备2用于提供图神经网络训练所需的资源。

实施例四

参见图7，本发明实施例提供了一种电子设备，该电子设备包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。

其中，存储器61可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线62可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器61用于存储程序，所述处理器60在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。

处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的一种图神经网络训练方法、客户端设备及系统的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种图神经网络训练方法，其特征在于，应用于图神经网络训练的客户端设备，所述客户端设备与图神经网络训练的服务端设备通信连接，所述方法包括：

响应用户的环境创建操作，利用所述服务端设备的资源创建与所述环境创建操作对应的图训练环境，其中，所述图训练环境包括：物理资源和所述物理资源上部署的镜像资源；

响应所述用户的模型创建操作；其中，所述模型创建操作包括自定义模型操作和模型选择操作；如果所述用户的模型创建操作为自定义模型操作，将所述自定义模型操作对应的自定义图神经网络，确定为待训练图神经网络；如果所述用户的模型创建操作为模型选择操作，将所述模型选择操作选中的图神经网络确定为待训练图神经网络；在所述图训练环境中创建所述待训练图神经网络；

响应所述用户的设置操作，根据所述设置操作对所述待训练图神经网络的超参数进行设置；

响应所述用户的训练操作，利用所述训练操作对应的图数据训练集，对不同的超参数组合对应的所述待训练图神经网络进行训练；

基于不同的超参数组合对应的所述待训练图神经网络的训练效果，确定出所述图数据训练集对应的最优超参数组合。

2.根据权利要求1所述的方法，其特征在于，响应用户的环境创建操作，利用所述服务端设备的资源创建与所述环境创建操作对应的图训练环境的步骤，包括：

在所述客户端设备的用户操作界面上展示所述服务端设备的资源供用户选择；

基于所述用户选择的资源生成环境创建操作；

调用所述服务端设备所述环境创建操作对应的资源，创建图训练环境；所述图训练环境中的镜像资源包括深度学习框架和图深度学习框架。

3.根据权利要求1所述的方法，其特征在于，所述响应所述用户的设置操作，根据所述设置操作对所述待训练图神经网络的超参数进行设置的步骤，包括：

如果所述用户的模型创建操作为模型选择操作，展示所述待训练图神经网络的超参数列表；

根据所述用户基于所述超参数列表触发的设置操作，确定所述待训练图神经网络中待优化的超参数，以及设置每个所述超参数的类型和取值范围。

4.根据权利要求1所述的方法，其特征在于，所述响应所述用户的设置操作，根据所述设置操作对所述待训练图神经网络的超参数进行设置的步骤，包括：

如果所述用户的模型创建操作为所述自定义模型操作，响应所述用户的设置操作，设置所述待训练图神经网络中的每个超参数的取值范围。

5.根据权利要求1所述的方法，其特征在于，所述响应所述用户的训练操作，利用所述训练操作对应的图数据训练集，对不同的超参数组合对应的所述待训练图神经网络进行训练的步骤，包括：

响应所述用户的训练操作中上传的图数据训练集和指定的超参数组合；

利用所述图数据训练集对每个所述超参数组合对应的所述待训练图神经网络进行训练；其中，训练过程中，利用超参数优化算法，对每个所述超参数组合中的超参数进行优化。

6.根据权利要求5所述的方法，其特征在于，所述超参数优化算法包括模拟退火、蚁群算法或栅格法。

7.根据权利要求1所述的方法，其特征在于，基于不同的超参数组合对应的所述待训练图神经网络的训练效果，确定出所述图数据训练集对应的最优超参数组合的步骤包括：

在所述客户端设备上展示不同的超参数组合对应的所述待训练图神经网络的训练效果；

将基于所述训练效果选取的超参数组合，确定为所述图数据训练集对应的最优超参数组合。

8.一种图神经网络训练的客户端设备，其特征在于，所述客户端设备与图神经网络训练的服务端设备通信连接，所述客户端设备包括：

环境创建模块，用于响应用户的环境创建操作，利用所述服务端设备的资源创建与所述环境创建操作对应的图训练环境，其中，所述图训练环境包括：物理资源和所述物理资源上部署的镜像资源；

模型创建模块，用于响应所述用户的模型创建操作；其中，所述模型创建操作包括自定义模型操作和模型选择操作；如果所述用户的模型创建操作为自定义模型操作，将所述自定义模型操作对应的自定义图神经网络，确定为待训练图神经网络；如果所述用户的模型创建操作为模型选择操作，将所述模型选择操作选中的图神经网络确定为待训练图神经网络；在所述图训练环境中创建所述待训练图神经网络；

设置模块，用于响应所述用户的设置操作，根据所述设置操作对所述待训练图神经网络的超参数进行设置；

训练模块，用于响应所述用户的训练操作，利用所述训练操作对应的图数据训练集，对不同的超参数组合对应的所述待训练图神经网络进行训练；

确定模块，用于基于不同的超参数组合对应的所述待训练图神经网络的训练效果，确定出所述图数据训练集对应的最优超参数组合。

9.一种图神经网络训练系统，其特征在于，所述图神经网络训练系统包括权利要求8所述的图神经网络训练的客户端设备，还包括：图神经网络训练的服务端设备；

其中，所述客户端设备与所述服务端设备通信连接；

所述服务端设备用于提供图神经网络训练所需的资源。

10.一种电子终端，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。

11.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一项所述的方法的步骤。

Images