CN111931416A - 一种结合可解释性的图表示学习的超参数优化方法 - Google Patents

Abstract

本发明涉及超参数优化技术领域，特别涉及一种结合可解释性的图表示学习的超参数优化方法。本方法包括以下步骤：采样若干小规模的子图；根据完全可解释的图特征，分配有限的算力以及用于后续样本权重；对不同的超参数和图特征做去相关化；根据去相关化后的子图和部分原图计算结果，优化原图的图表示学习超参数。该方法采用了完全可解释的图特征，对算力进行合理分配，在超参数优化过程中对不同的超参数和图特征做了去相关处理，使得整体方法在保证性能的同时，具备很高的可解释性。

Description

一种结合可解释性的图表示学习的超参数优化方法

技术领域

本发明涉及超参数优化技术领域，特别涉及一种结合可解释性的图表示学习的超参数优化方法。

背景技术

图作为一种结构化的数据表现形式，对变量之间的相互联系具有非常强的建模能力。图表示学习通过学习图中节点的低维向量表示，来更好地理解图中各个节点之间的语义联系。自动机器学习包括了机器学习的各个阶段：数据处理、特征工程、模型选择、超参数优化和神经网络架构搜索，减轻了模型调优过程中对于人力的依赖和消耗。超参数优化通过选择最优的超参数配置来提高模型的性能。

但是当前超参数优化技术主要关注图像、文本等数据，且多采用黑盒的方式来进行优化，整体框架缺乏可解释性，不能有效地解释每次试验为什么采用特定的超参数取值，比如社交网络场景下的好友推荐，当需要进行超参数调优时，很难解释需要如何调节超参数，有待解决。相关技术中，(1)一种超参数随机搜索技术，其适用于各种形式数据的任务，但其性能一般，搜索到最优超参数需要很长的时间。(2)一种基于序列化模型的优化方法，但并没有针对图表示学习进行优化，且基于黑盒模型，不具备可解释性。(3)一种在图表示学习中利用采样子图信息的优化方法，但提取图特征的方式基于太强的物理假设，且没有解决不同超参数之间的互相影响问题，可解释性不强。

综上所述，目前，超参数优化在真实图表示学习场景下存在如下缺陷：

(1)技术多适用于文本、图像等类型的数据，对于结构化的图结构信息利用不足。现实场景中图的规模往往包含数十亿个节点和边，难以同时保证效率和性能。

(2)现有技术往往依赖于过强的数学或者物理假设，由于采用黑盒化的优化方式，严重缺乏可解释性，无法解释下一轮试验中超参数选择某个特定值的原因。

发明内容

本发明的目的是提出一种结合可解释性的图表示学习的超参数优化方法，以克服已有技术的缺点，在保证较高性能的同时，解耦不同超参数之间的相关性，使超参数优化方法具有更高的可解释性，可以解释每次试验超参数取特定值的原因。

本发明提出的考虑可解释性的图表示学习过程中确定最优超参数的方法，包括以下步骤：

(1)从待确定最优超参数的原图中采样多个子图；

(2)根据具有可解释性的特征，在子图上执行图表示学习算法，保留图表示学习算法的结果样本；

(3)从样本中消除图表示学习算法的超参数与子图特征之间的相关度；

设定循环次数K，初始化时设循环次数k为1；

设定有n个样本，其中每个样本包含p₁个图表示学习算法的超参数和p₂个子图特征，用一个n行(p₁+p₂)列的矩阵X表示超参数和图特征数据，X＝[A，B],其中A为一个n行p₁列的超参数矩阵，B为一个n行p₂列的子图特征矩阵；

利用以下损失方程，求解样本权重γ，使得：

满足

∑_γ=diag(γ_i，…γ_n)

式中，γ为一个n维向量，diag(γ_i,…,γ_n)为以γ_i,…,γ_n为对角线的对角矩阵，

表示X的二范数，上标T表示矩阵转置，

表示求期望；

用相关度L_Deco表示上述损失方程：

为了使得最小化

的γ有唯一解，对γ作如下限制：

其中，λ₁和λ₂是人为设置的大常数，c＝{γ：|γ_i|≤c}，c为常数；

(4)确定原图上的图表示学习算法的最优超参数，包括以下步骤：

(4-1)以步骤(2)的图表示学习算法的超参数和子图特征作为多层感知机的输入，多层感知机的输出为图表示学习算法的性能结果；

(4-2)利用步骤(3)的样本权重，对步骤(4-1)的多层感知机进行训练，设定多层感知机的优化目标如下：

其中，Y_i表示第i个样本X_i中的超参数和图特征下的图表示学习算法性能，Φ是多层感知机的拟合函数，Θ是多层感知机自身的参数，训练过程中得到多层感知机全连接层的权重；

(4-3)根据步骤(4-2)所有超参数在多层感知机中全连接层的权重绝对值之和，利用下式计算该超参数对于图表示学习算法性能的重要度：

其中weight(x_i)表示第i个超参数对于图表示学习算法性能的重要度，

表示多层感知机中计算使用的权重矩阵的第j行，第i列；

(4-4)对超参数进行重要度降序排序，依次对每个超参数进行优化，优化的过程中固定其他超参数的取值，优化的过程为对当前超参数在取值范围内进行均匀采样，将超参数的取值和原图的特征作为多层感知机的输入，多层感知机的输出为预测的图表示学习算法性能，取与图表示学习算法性能最高的值相对应的超参数作为待运行超参数取值；

(4-5)以步骤(4-4)的待运行超参数取值，在待确定最优超参数的原图上执行图表示学习算法，得到第k轮图表示学习算法性能，将原图的特征、使用的超参数以及第k轮图表示学习算法的结果作为一个新样本加入步骤(3)的n个样本中；

(4-6)对循环次数k进行判断，若k<K，则令k＝k+1，返回步骤(3)，若k≥K，则将K轮超参数中与图表示学习算法性能Y_i的最大值相对应的超参数作为最优超参数，实现考虑可解释性的图表示学习过程中最优超参数的确定。

上述方法还可以根据多层感知机中全连接层的权重绝对值之和，计算每个超参数对于图表示学习算法性能的重要度，根据重要度指导人工的后续调优。

本发明的上述确定最优超参数的方法中，从待确定最优超参数的原图中采样多个子图的方法为：根据待确定最优超参数的原图中给定的多类型节点标签，从同一类型节点中确定子图的起点，每个时刻从当前节点随机跳动到一个临近节点，连续多个时刻的随机跳动，多个节点构成一条路径。选取多个不同类型节点作为起点得到多条路径，多条路径上的所有节点集合的并集即为采样的节点集合，原图上由该采样节点集合诱导出一个子图；重复本步骤多次，得到多个子图。或者，也可以根据区域检测方法，从多个区域的一个区域中确定子图的起点，每个时刻从当前节点随机跳到一个临近节点，连续多个时刻的随机跳动，多个节点构成一条路径。选取多个区域中的节点作为起点得到多条路径，多条路径上的所有节点集合的并集即为采样的节点集合，原图上由该采样节点集合诱导出一个子图；重复本步骤多次，得到多个子图。

上述方法中，所述的根据具有可解释性的特征，在子图上执行图表示学习算法，保留图表示学习算法的结果样本；包括以下步骤：

(1)根据图论理论，从原图和多个子图中提取特征，提取的特征分别包括原图和多个子图的点集大小、边集大小、互有链接的节点三元组数目和连通块的数目；

(2)根据原图和多个子图的特征，利用以下堪培拉距离公式，分别计算多个子图与原图之间的相似度；

其中gⁱ表示第i个子图与原图的相似度，f_i和f分别表示第i个子图和原图的特征，d表示特征的维度，

和f_k分别表示第i个子图和原图的第k维特征；

(3)按相似度大小分配在子图上运行图表示学习算法的次数，按分配的计算次数，分别在多个子图上执行图表示学习算法，每次执行时随机选取一组图表示学习算法的超参数，每个超参数设定一个取值范围，将每次图表示学习算法的计算结果记为一条样本，每条样本中包括子图特征、图表示学习算法的超参数以及结果指标。

本发明提出的结合可解释性的图表示学习的超参数优化方法，其优点是：

本发明的结合可解释性的图表示学习的超参数优化方法，针对超参数优化在真实图表示学习场景下存在的问题，提取针对图数据设计的特征，并从采样的子图中学习可迁移的知识，同时保证了效率和性能。本发明方法中采用了完全可解释的图特征，并对不同的超参数和图特征做了针对性的去相关化，提高了超参数优化方法的可解释性。本发明方法考虑了可解释性在真实应用场景的重要性，开发了基于子图采样和去相关化的超参数优化技术，并获得了完全可解释的图特征，从而有效解释了下一轮试验超参数选取特定值的原因，平衡了超参数优化方法的整体性能和效率。

附图说明

图1为本发明提出的结合可解释性的图表示学习超参数优化方法的流程图。

图2为根据本发明实施例的采样器的部分结构示意图。

图3为根据本发明实施例的去相关带权回归器的部分结构示意图。

具体实施方式

本发明提出的考虑可解释性的图表示学习过程中确定最优超参数的方法，包括以下步骤：

(1)从待确定最优超参数的原图中采样多个子图；

(2)根据具有可解释性的特征，在子图上执行图表示学习算法，保留图表示学习算法的结果样本；

(3)从样本中消除图表示学习算法的超参数与子图特征之间的相关度；

研究超参数与图特征的不同取值对图表示学习算法性能的影响，而超参数与图特征之间不可避免会存在某些相关性，使得超参数对图表示学习算法性能的影响不光取决于自身取值，同时还取决于其它图特征以及其它未知隐含因素的取值。这就极大影响了对最优超参数取值的估计与判断。为了排除其它因素对超参数与算法性能关系的干扰，赋予不同数据样本不同的权重，以此将非超参数因素的影响去掉，从而达到去相关性的目的，在满足一定条件下，权重赋予机制能够使得超参数对算法性能的影响最大化地取决于超参数本身的取值，从而更准确地学习出不同超参数对算法性能影响的重要性以更有可解释性地对超参数优化顺序进行选择。

设定循环次数K，初始化时设循环次数k为1；

设定有n个样本，其中每个样本包含p₁个图表示学习算法的超参数和p₂个子图特征，用一个n行(p₁+p₂)列的矩阵X表示超参数和图特征数据，X＝[A，B],其中A为一个n行p₁列的超参数矩阵，B为一个n行p₂列的子图特征矩阵；

利用以下损失方程，求解样本权重γ，使得：

满足

∑_γ=diag(γ_i，…γ_n)

式中，γ为一个n维向量，diag(γ_i,…,γ_n)为以γ_i,…,γ_n为对角线的对角矩阵，

表示X的二范数，上标T表示矩阵转置，

表示求期望；

用相关度L_Deco表示上述损失方程：

由上式得到，当p₁和p₂固定且样本数n足够大的时候，一定存在一个非负取值的γ，使得A中的超参数互相之间的影响趋近于无，即：

为了使得最小化

的γ有唯一解，对γ作如下限制：

其中，λ₁和λ₂是人为设置的大常数，c＝{γ：|γ_i|≤c}，c为常数，本发明的一个实施例中，c的取值为1000；

由此得到，当p₁和p₂固定且样本数n足够大时，λ₁n＞＞p²+λ₂且p²＞＞max(λ₁,λ₂)，通过

进行重加权后，A中的超参数与样本X中变量的相关度变为0；

(4)确定原图上的图表示学习算法的最优超参数，包括以下步骤：

(4-1)以步骤(2)的图表示学习算法的超参数和子图特征作为多层感知机的输入，多层感知机的输出为图表示学习算法的性能结果；

(4-2)利用步骤(3)的样本权重，对步骤(4-1)的多层感知机进行训练，预测图表示学习算法的性能。设定多层感知机的优化目标如下：

其中，Y_i表示第i个样本X_i中的超参数和图特征下的图表示学习算法性能，Φ是多层感知机的拟合函数，Θ是多层感知机自身的参数，训练过程中得到多层感知机全连接层的权重；

(4-3)根据步骤(4-2)所有超参数在多层感知机中全连接层的权重绝对值之和，利用下式计算该超参数对于图表示学习算法性能的重要度：

其中weight(x_i)表示第i个超参数对于图表示学习算法性能的重要度，

表示多层感知机中计算使用的权重矩阵的第j行，第i列；

(4-4)对超参数进行重要性降序排序，依次对每个超参数进行优化，优化的过程中固定其他超参数的取值，优化的过程为对当前超参数在取值范围内进行均匀采样，将超参数的取值和原图的特征作为多层感知机的输入，多层感知机的输出为预测的图表示学习算法性能，取与图表示学习算法性能最高的值相对应的超参数作为待运行超参数取值；

(4-5)以步骤(4-4)的待运行超参数取值，在待确定最优超参数的原图上执行图表示学习算法，得到第k轮图表示学习算法性能，将原图的特征、使用的超参数以及第k轮图表示学习算法的结果作为一个新样本加入步骤(3)的n个样本中；

(4-6)对循环次数k进行判断，若k<K，则令k＝k+1，返回步骤(3)，若k≥K，则将K轮超参数中与图表示学习算法性能Y_i的最大值相对应的超参数作为最优超参数，实现考虑可解释性的图表示学习过程中最优超参数的确定。

本发明方法还可以根据多层感知机中全连接层的权重绝对值之和，计算每个超参数对于图表示学习算法性能的重要度，根据影响度指导人工的后续调优。

本发明的上述确定最优超参数的方法中，从待确定最优超参数的原图中采样多个子图的方法为：根据待确定最优超参数的原图中给定的多类型节点标签(如社交网络的用户信息)，从同一类型节点中确定子图的起点，每个时刻从当前节点随机跳动到一个临近节点，连续多个时刻的随机跳动，多个节点构成一条路径。选取多个不同类型节点作为起点得到多条路径，多条路径上的所有节点集合的并集即为采样的节点集合，原图上由该采样节点集合诱导出一个子图；重复本步骤多次，得到多个子图。也可以根据区域检测方法，从多个区域的一个区域中确定子图的起点，每个时刻从当前节点随机跳到一个临近节点，连续多个时刻的随机跳动，多个节点构成一条路径。选取多个区域中的节点作为起点得到多条路径，多条路径上的所有节点集合的并集即为采样的节点集合，原图上由该采样节点集合诱导出一个子图；重复本步骤多次，得到多个子图。

上述方法中，根据具有可解释性的特征，在子图上执行图表示学习算法，保留图表示学习算法的结果样本，包括以下步骤：

(1)根据图论理论，从原图和多个子图中提取特征，提取的特征分别包括原图和多个子图的点集大小、边集大小、互有链接的节点三元组数目和连通块的数目；

(2)根据原图和多个子图的特征，利用以下堪培拉距离公式，分别计算多个子图与原图之间的相似度；

其中gⁱ表示第i个子图与原图的相似度，f_i和f分别表示第i个子图和原图的特征，d表示特征的维度，

和f_k分别表示第i个子图和原图的第k维特征；

(3)按相似度大小分配在子图上运行图表示学习算法的次数，相似度越高，分配的计算次数越多，按分配的计算次数，分别在多个子图上执行图表示学习算法，每次执行时随机选取一组图表示学习算法的超参数，每个超参数设定一个取值范围，将每次图表示学习算法的计算结果记为一条样本，每条样本中包括子图特征、图表示学习算法的超参数以及结果指标。

下面结合附图，进一步介绍本发明内容：

参照附图描述根据本发明实施例提出的结合可解释性的图表示学习超参数优化方法及装置，首先将参照附图描述根据本发明实施例提出的结合可解释性的图表示学习超参数优化方法。

图1是本发明一个实施例的结合可解释性的图表示学习超参数优化方法的流程图。

如图1所示，该结合可解释性的图表示学习超参数优化方法包括以下步骤：

在步骤S101中，采样若干小规模的子图。

可以理解的是，如图2所示，本发明实施例输入一个图的点和边信息，以及节点的标签等信息，对于原图执行若干次截断随机游走得到采样的点集，原图由此点集诱导出的子图即是采样得到的子图。随机游走的起点由不同标签的节点或者社区检测方法检测出的不同社区来决定。

在步骤S102中，根据完全可解释的图特征，分配有限的算力以及用于后续样本权重。

在本发明的一个实施例中，根据完全可解释的图特征，包括通过可解释的图论概念得到的，提取时间复杂度为线性的特征。

具体而言，为了得到完全可解释的图特征，本发明实施例采用了一些线性计算复杂度的图论概念，例如点集大小、边集大小、图中三角形的个数、全局聚类系数、最大总度数、连通块个数等，保证了计算的高效性。对于每个子图和原图分别计算图特征，利用堪培拉距离来计算图之间的相似度，根据相似度动态分配计算次数。

在步骤S103中，对不同的超参数和图特征做去相关化。

进一步地，在本发明的一个实施例中，对不同的超参数和图特征做去相关化，包括：采用采样重测的方式，考虑超参数的一阶距(均值)，以某一超参数与所有其他超参数和图特征之间的相关性作为损失，最后得到一个去相关之后的样本权重。

在步骤S104中，根据去相关化后的子图和部分原图计算结果，优化原图的图表示学习超参数。

进一步地，在本发明的一个实施例中，根据去相关化后的子图和部分原图计算结果，优化原图的图表示学习超参数，包括：利用子图和原图之前的图表示算法运行结果，训练期望性能预测网络，对本轮试验采用的超参数进行调整，通过多轮试验来优化图表示学习的超参数。

可以理解的是，如图3所示，以超参数和图特征作为输入，利用多层感知机对于最终的性能来进行预测，从而调整下一轮的超参数。调整的策略是按照超参数在多层感知机的权重来进行降序排序，每次固定其他超参数，对当前超参数进行细调。

下面将以用图卷积神经网络学习社交网络好友推荐为例对结合可解释性的图表示学习超参数优化方法进行进一步阐述，具体包括：

(1)在社交网络中快速检测出若干社区，以不同社区作为起点采样若干个子图。

(2)图的可解释特征在社交网络的意义为，互有好友关系的三人组、最多好友个数等。

(3)去相关后的预测网络能对图卷积神经网络的调优起到很大的指导作用，根据其权重矩阵，可以看出最先调节了Dropout的值，接着是学习率，整体的可解释性大大提升。

综上，(1)本发明实施例基于子图采样，保证了算法性能与计算效率之间的平衡。(2)本发明实施例通过完全可解释的图特征，以及超参数之间的去相关化，增强了系统的可解释性。

根据本发明实施例提出的结合可解释性的图表示学习超参数优化方法，通过利用子图和原图的可迁移知识，保持了很高的性能；通过采用完全可解释的图特征，在超参数优化过程中对不同的超参数和图特征做去相关处理，使得整体方法具备很高的可解释性。

其次参照附图描述根据本发明实施例提出的结合可解释性的图表示学习超参数优化装置。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种考虑可解释性的图表示学习过程中确定最优超参数的方法，其特征在于该方法包括以下步骤：

(1)从待确定最优超参数的原图中采样多个子图；

(2)根据具有可解释性的特征，在子图上执行图表示学习算法，保留图表示学习算法的结果样本；

(3)从样本中消除图表示学习算法的超参数与子图特征之间的相关度；

设定循环次数K，初始化时设循环次数k为1；

设定有n个样本，其中每个样本包含p₁个图表示学习算法的超参数和p₂个子图特征，用一个n行(p₁+p₂)列的矩阵X表示超参数和图特征数据，X＝[A，B]，其中A为一个n行p₁列的超参数矩阵，B为一个n行p₂列的子图特征矩阵；

利用以下损失方程，求解样本权重γ，使得：

满足

∑_γ＝diag(γ_i，...，γ_n)

式中，γ为一个n维向量，diag(γ_i，...，γ_n)为以γ_i，...，γ_n为对角线的对角矩阵，

表示X的二范数，上标T表示矩阵转置，

表示求期望；

用相关度L_Deco表示上述损失方程：

为了使得最小化

的γ有唯一解，对γ作如下限制：

其中，λ₁和λ₂是人为设置的大常数，

c为常数；

(4)确定原图上的图表示学习算法的最优超参数，包括以下步骤：

(4-1)以步骤(2)的图表示学习算法的超参数和子图特征作为多层感知机的输入，多层感知机的输出为图表示学习算法的性能结果；

(4-2)利用步骤(3)的样本权重，对步骤(4-1)的多层感知机进行训练，设定多层感知机的优化目标如下：

其中，Y_i表示第i个样本X_i中的超参数和图特征下的图表示学习算法性能，Φ是多层感知机的拟合函数，Θ是多层感知机自身的参数，训练过程中得到多层感知机全连接层的权重；

(4-3)根据步骤(4-2)所有超参数在多层感知机中全连接层的权重绝对值之和，利用下式计算该超参数对于图表示学习算法性能的重要度：

其中weight(x_i)表示第i个超参数对于图表示学习算法性能的重要度，

表示多层感知机中计算使用的权重矩阵的第j行，第i列；

(4-4)对超参数进行重要性降序排序，依次对每个超参数进行优化，优化的过程中固定其他超参数的取值，优化的过程为对当前超参数在取值范围内进行均匀采样，将超参数的取值和原图的特征作为多层感知机的输入，多层感知机的输出为预测的图表示学习算法性能，取与图表示学习算法性能最高的值相对应的超参数作为待运行超参数取值；

(4-5)以步骤(4-4)的待运行超参数取值，在待确定最优超参数的原图上执行图表示学习算法，得到第k轮图表示学习算法性能，将原图的特征、使用的超参数以及第k轮图表示学习算法的结果作为一个新样本加入步骤(3)的n个样本中；

(4-6)对循环次数k进行判断，若k＜K，则令k＝k+1，返回步骤(3)，若k≥K，则将K轮超参数中与图表示学习算法性能Y_i的最大值相对应的超参数作为最优超参数，实现考虑可解释性的图表示学习过程中最优超参数的确定。

2.如权利要求1所述的确定最优超参数的方法，其特征在于还包括根据多层感知机中全连接层的权重绝对值之和，计算每个超参数对于图表示学习算法性能的重要度，根据影响度指导人工的后续调优。

3.如权利要求1所述的确定最优超参数的方法，其特征在于从待确定最优超参数的原图中采样多个子图的方法为：根据待确定最优超参数的原图中给定的多类型节点标签，从同一类型节点中确定子图的起点，每个时刻从当前节点随机跳动到一个临近节点，连续多个时刻的随机跳动，多个节点构成一条路径。选取多个不同类型节点作为起点得到多条路径，多条路径上的所有节点集合的并集即为采样的节点集合，原图上由该采样节点集合诱导出一个子图；重复本步骤多次，得到多个子图。

4.如权利要求1所述的确定最优超参数的方法，其特征在于所述的从待确定最优超参数的原图中采样多个子图的方法为：根据区域检测方法，从多个区域的一个区域中确定子图的起点，每个时刻从当前节点随机跳到一个临近节点，连续多个时刻的随机跳动，多个节点构成一条路径。选取多个区域中的节点作为起点得到多条路径，多条路径上的所有节点集合的并集即为采样的节点集合，原图上由该采样节点集合诱导出一个子图；重复本步骤多次，得到多个子图。

5.如权利要求3或4所述的确定最优超参数的方法，其特征在于所述的根据具有可解释性的特征，在子图上执行图表示学习算法，保留图表示学习算法的结果样本；包括以下步骤：

(1)根据图论理论，从原图和多个子图中提取特征，提取的特征分别包括原图和多个子图的点集大小、边集大小、互有链接的节点三元组数目和连通块的数目；

(2)根据原图和多个子图的特征，利用以下堪培拉距离公式，分别计算多个子图与原图之间的相似度；

其中gⁱ表示第i个子图与原图的相似度，f_i和f分别表示第i个子图和原图的特征，d表示特征的维度，

和f_k分别表示第i个子图和原图的第k维特征；

(3)按相似度大小分配在子图上运行图表示学习算法的次数，按分配的计算次数，分别在多个子图上执行图表示学习算法，每次执行时随机选取一组图表示学习算法的超参数，每个超参数设定一个取值范围，将每次图表示学习算法的计算结果记为一条样本，每条样本中包括子图特征、图表示学习算法的超参数以及结果指标。

Images