CN110232434A - 一种基于属性图优化的神经网络架构评估方法 - Google Patents

Abstract

本发明公开了一种基于属性图优化的神经网络架构评估方法，将神经网络架构建模为属性图，构建贝叶斯图神经网络代理模型；通过随机生成、训练以及测试一组神经网络架构，将这组神经网络架构以及测试对应的性能指标作为初始训练集，训练集用于训练贝叶斯图神经网络代理模型；根据当前的训练集，通过进化算法生成新的神经网络候选集并训练贝叶斯图神经网络代理模型；并通过最大化采集函数从神经网络候选集中选择一个潜在个体，然后对该个体进行训练、测试，并将其以及测试对应的性能指标添加到当前的训练集中；在固定成本的约束下，重复上述步骤直到在当前的训练集中得到最好的神经网络架构以及架构对应的权重。与现有技术相比，本发明可以快速地找到比人工设计效果更好的模型。

Description

一种基于属性图优化的神经网络架构评估方法

技术领域

本发明涉及自动机器学习领域，特别是一种基于属性图优化的神经网络架构评估方法。

背景技术

深度学习已经成功应用到很多领域中，比如图像识别，语音识别，机器翻译等。一般情况下这些深度学习模型都需要经过优秀的专家精心设计，由于搜索空间巨大，一方面真实训练一个神经网络非常耗时，另一方面设计这些模型需要耗费大量的精力。为了解决这个问题，我们使用了贝叶斯优化方法。自动机器学习问题的常规方法是将机器学习过程形式化为一个黑盒优化任务，贝叶斯优化在自动机器学习已经有了很好的应用。可以将贝叶斯优化应用到神经网络架构搜索中，通过设计贝叶斯优化的代理函数去评估神经网络的性能，不需要对所有的神经网络进行真实训练，仅需要真实训练一小部分神经网络，可以在很大程度上降低时间的开销，节省计算资源的成本。目前贝叶斯优化在神经网络架构搜索的应用主要利用神经网络的架构信息，去分析网络的之间的相似性，利用高斯过程做代理函数，用EI函数评估网络。但仅利用这些架构信息进行简单的融合，以用于比较两个网络的相似性，并没有充分寻找神经网络的架构特征，这些网络的特征都需要手工分析设计，设计架构的相似度有很多主观因素，不同的相似度函数对最后的结果影响也很大。

发明内容

本发明的目的是要解决现有技术中存在的不足，提供一种基于属性图优化的神经网络架构评估方法。

为达到上述目的，本发明是按照以下技术方案实施的：

一种基于属性图优化的神经网络架构评估方法，包括以下步骤：

S1、将神经网络架构建模为属性图，将神经架构搜索任务建模为属性图优化任务，其中最重的任务是构建贝叶斯图神经网络代理模型，所述贝叶斯图神经网络代理模型由图神经网络层GN、池化层Pooling、全连接层FC和贝叶斯线性回归层BLR组成，神经网络经过编码的属性图作为贝叶斯图神经网络代理模型的输入、把当前评估最好的神经网络架构作为输出，整个方法对应的程序最终输出的是最好的神经网络架构以及架构对应的权重；

S2、通过随机生成、训练以及测试一组神经网络架构，将这组神经网络架构以及测试对应的性能指标作为初始训练集；

S3、根据当前的训练集，通过进化算法生成新的神经网络候选集并训练贝叶斯图神经网络代理模型；

S4、贝叶斯图神经网络代理模型用于预测在候选集中每个神经网络的性能，并通过最大化采集函数从候选集中选择一个潜在个体，然后对该个体进行训练、测试，并将其以及测试对应的性能指标添加到当前的训练集中；

S5、在固定成本的约束下，重复S2-S4直到在当前的训练集中得到最好的神经网络架构以及架构对应的权重。

进一步，所述S3的具体步骤为：

采用的图神经网络层GN的三个功能：

u′＝MLP_u([e′，v′，u])

其中MLP_e，MLP_v以及MLP_u分别各有五层，sum是按元素求和运算，u是表示全局属性的向量，V是一组节点，每个V_i表示节点i的属性，E是一组边，其中每个e_k表示边k的属性，r_k是接收节点的索引，s_k是发送节点的索引，通过池化层以及全连接层最终能够提取整个网络的特征。

进一步，所述S4的具体步骤为：

贝叶斯线性回归层BLR作为贝叶斯图神经网络代理模型的最后一层，通过深度神经网络的权重和偏差来对贝叶斯线性回归层BLR进行参数化，BLR的公式化形式如下：

y_1：N＝Φ(·)^Tw+b

其中y是代理模型的输出，是一个正态分布，Φ(.)是先前层输出的决策矩阵，用作BLR层的输入，对于给定一个权重w的先验分布：

通过以下方式对属性图G^★性能预测：

其中表示观测点，y_1：N是评估的度量。

与现有技术相比，本发明具有以下有益效果：

1.在学习代理函数时，可以更加充分的利用架构的各种特征：网络结构、节点(层)属性、架构的全局属性。

2.基于高斯过程的贝叶斯优化，在其推断过程中需要计算协方差矩阵的逆(计算复杂度是立方阶)，具有低可扩展性问题，而基于图神经网络的计算复杂度是近线形，具有很高的扩展性。

3.图神经网络一般都具有参数“稀疏”和“共享”的特点，更少的参数可以有效的防止过拟合，增加了模型泛化能力。

4.能够自动化提取神经网络架构的特征，而不需要人工去设计网络特征。

附图说明

图1为本发明的贝叶斯图神经网络代理模型的全部工作流程图。

图2为图1的(A)处放大图。

图3为图1的(B)处放大图。

图4为图1的(C)处放大图。

图5为本发明的方法与现有技术的一些方法在数据集上的收敛速度图：(a)Cifar10数据集；(b)Fashion数据集；(c)Minist数据集；(d)Indoor数据集；(e)Slice数据集。

图6为本发明一种实施例的卷积神经网络CNNs的架构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。

如图1、图2、图3、图4所示，一种基于属性图优化的神经网络架构评估方法，包括以下步骤：

S1、将神经网络架构建模为属性图，将神经架构搜索任务建模为属性图优化任务，其中最重的任务是构建贝叶斯图神经网络代理模型，所述贝叶斯图神经网络代理模型由图神经网络层GN、池化层Pooling、全连接层FC和贝叶斯线性回归层BLR组成，神经网络经过编码的属性图作为贝叶斯图神经网络代理模型的输入、把当前评估最好的神经网络架构作为输出；如图1所示，图1的顶部为图贝叶斯优化代理方案。它由图神经网络层(GN)、池化层(Pooling)、全连接层(FC)和贝叶斯线性回归层(BLR)组成。图神经网络层的输入是神经网络经过编码的属性图，为了捕捉全连接层预测的不确定性，我们添加了一个BLR(贝叶斯线性回归)层。注意，我们只在代理模型的最后一层添加不确定性，而不是将所有模型参数建模为随机变量。这是为了平衡评估的不确定度和计算成本的需要。我们将神经网络编码成一个属性图作为输入，可以充分挖掘架构的各种特征，架构属性图主要由网络结构、节点(层)属性、架构的全局属性组成。一个神经网络的网络结构是由层集合L以及有向边E组成，其中有向边(u,v)表示层节点u输出是否作下一层v的输入。每一个节点(层)都有各自的属性，比如全连接层的单元数，卷积层的通道数，卷积层的尺寸，属于哪个层类型等，这里的层类型可以是卷积层，全连接层，输入层等。全局属性包含各种层类型所占的比例，节点的平均度等。

S2、通过随机生成、训练以及测试一部分神经网络架构作为初始训练集，训练集用于训练贝叶斯图神经网络代理模型(如图1的a))；

具体为：

采用的图神经网络层GN的三个功能：

u′＝MLP_u([e′，v′，u])

其中MLP_e，MLP_v以及MLP_u分别各有五层，sum是按元素求和运算，u是表示全局属性的向量，V是一组节点，每个V_i表示节点i的属性，E是一组边，其中每个e_k表示边k的属性，r_k是接收节点的索引，s_k是发送节点的索引，使用连接到边的节点特征更新边，使用连接到节点的边特征更新节点。

S3、根据当前的训练集，通过进化算法生成新的候选神经网络集(如图1的b)；

S4、贝叶斯图神经网络代理模型用于预测候选集中每个神经网络的性能，并通过最大化采集函数从多个神经网络中选择一个潜在个体(如图1的c))，然后对该个体进行训练、测试，并将其以及测试对应的性能指标添加到当前的训练集中(如图1的d))；

具体为：

贝叶斯线性回归层BLR作为贝叶斯图神经网络代理模型的最后一层，通过深度神经网络的权重和偏差来对贝叶斯线性回归层BLR进行参数化，BLR的公式化形式如下：

y_1：N＝Φ(·)^Tw+b

其中y是代理模型的输出，是一个正态分布，Φ(·)是先前层输出的决策矩阵，用作BLR层的输入，对于给定一个权重w的先验分布：其中用于表示捕获的不确定性。

通过以下方式对属性图G^★性能预测：

其中表示观测点，y_1：N是评估的度量。

S5、在固定成本的约束下，重复S2-S4直到在当前的训练集中得到最好的神经网络架构以及架构对应的权重。

为了验证本发明的可行性，本实施例以CNNs为例(如图6所示)，每一层为一个节点，图6为8个节点。表1是对节点属性具体说明，节点属性包括层类型：softmax,conv3,conv5,conv7,res3,res5,res7,fc,max-pool,avg-pool,softmax,ip,op等，每一个层类型在节点特征中单独占一维，其他额外节点属性包括卷积通道数，全连接单元数。该图的全局属性包括该图中节点的总数，卷积层的个数以及层类型的个数。节点之间的连边表示上一层的输出作为下一层的输入，节点的序号是通过拓扑排序得到的，即序号小的节点指向序号大的节点。对于CNNs，利用这种神经网络属性图的表示，通过网络节点是否相连可以很容易构造残差网络以及dense网络。

表1

简称	取值	具体描述
			ip	{0，1}	输入层
conv3	{0，1}	3×3卷积层
			avg-pool	{0，1}	平均池化层
fc	{0，1}	全连接层
			softmax	{0，1}	激活函数softmax层
op	{0，1}	输出层
			filters	{2<sup>3</sup>～2<sup>10</sup>}	卷积层对应的滤波器的个数
conv5	{0，1}	5×5卷积层
			conv7	{0，1}	7×7卷积层
res3	{0，1}	2个3×3卷积层构成的残差块
			res5	{0，1}	2个5×5卷积层构成的残差块
res7	{0，1}	2个7×7卷积层构成的残差块
			max-pool	{0，1}	最大池化层
units	{2<sup>3</sup>～2<sup>10</sup>}	全连接层对应的单元数

本实施例使用五个数据集进行实验，如下：Indoor Location，SliceLocalization，Cifar10，Minist，Fanshion Minist。前两个数据集适用于MLPs的回归问题。最后三个数据集应用于CNNs图像的分类任务。对于前两个数据集，我们使用0.6-0.2-0.2的比例分割数据集，分别用作训练数据集，测试数据集和验证数据集，并将这些数据集进行标准化。对于Cifar10数据集，有60，000张图像。我们使用40K-10K-10K比率来分割数据集，用作训练数据集，测试数据集和验证数据集。对于最后两个数据集，分别有70,000个图像。我们最终使用50K-10K-10K比率来分割数据集，分别用作训练数据集，测试数据集和验证数据集。

NASGBO代表本实施例提出的方法。在相同初始个体的情况下，RAND算法从初始个体中随机选择一个神经网络用于变异并测试。

EA是一种进化算法，与NASGBO相比，没有使用贝叶斯优化。

TreeBO是一种只搜索前馈架构的贝叶斯优化方法。

SEAS是一种基于爬山的搜索策略，用于卷积神经网络的架构搜索。

NASNM一种使用贝叶斯优化算法指导网络态射的过程。

NASBOT是一种使用贝叶斯优化算法指导网络变异的过程，是NIPS2018新提出的算法。

实验结果如表2所示，表2中值越低越好，对于前三个数据集表示训练误差，对于后两个数据集表示回归MSE值。从表中可以看到我们算法的效果整体比别的算法效果更好，“—”表示最初的对比算法并没有提供该数据集下的实验。

表2

如图5所示，在评估数量相同的基础上，NASGBO在Cifar10和Fashion数据集上的收敛速度比其他算法快，两种算法的性能在Minist数据集上几乎相同，NASGBO在IndoorLocation以及Slice Localization的收敛速度比其他算法快。

因此，本发明可以为不同设备专门生成对应的最优神经网络模型。

1.现如今很多设备(比如手机)都涉及到离线的智能化处理，比如人脸识别等。不同设备处理的方式可能不同，这些都涉及到深度学习模型，都需要精心设计模型的网络架构以达到最好的效果，可以通过我们提出的算法，将这些模型编码成属性图，通过进化策略不断产生新的模型，然后使用贝叶斯图神经网络代理模型进行性能评估，可以快速的找到比人工设计效果更好的模型。

2.可以建立云服务，更好地、自动化地为研究深度学习的学者设计神经网络的架构。

对于很多一线的深度学习研究人员设计网络模型的架构以及调参非常耗时，耗费大量的人力以及资源，每次根据经验设计一个新的模型，都需要在训练集上验证模型的好坏，这一过程也很耗时，我们的算法利用贝叶斯图神经网络代理模型提供指导，快速预估一个网络的性能，可以在很少次的尝试就可以找到一个最优的架构，可以将算法建立一个云服务，用户只需要将网络的基本架构单元以及对应的任务等作为输入，云端会自动返回搜索得到最好的神经网络架构以及架构对应的权重。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (3)

1.一种基于属性图优化的神经网络架构评估方法，其特征在于，包括以下步骤：

S1、将神经网络架构建模为属性图，将神经网络架构搜索任务建模为属性图优化任务，其中最重的就是构建贝叶斯图神经网络代理模型，所述贝叶斯图神经网络代理模型由图神经网络层GN、池化层Pooling、全连接层FC和贝叶斯线性回归层BLR组成，神经网络经过编码的属性图作为贝叶斯图神经网络代理模型的输入、把当前评估最好的神经网络架构作为输出，整个方法对应的程序最终输出的是最好的神经网络架构以及架构对应的权重；

S2、通过随机生成、训练以及测试一组神经网络架构，将这组神经网络架构以及测试对应的性能指标作为初始训练集；

S3、根据当前的训练集，通过进化算法生成新的神经网络候选集并训练贝叶斯图神经网络代理模型；

S4、贝叶斯图神经网络代理模型用于预测在候选集中每个神经网络的性能，并通过最大化采集函数从候选集中选择一个潜在个体，然后对该个体进行训练、测试，并将其以及测试对应的性能指标添加到当前的训练集中；

S5、在固定成本的约束下，重复S2-S4直到在当前的训练集中得到最好的神经网络架构以及架构对应的权重。

2.根据权利要求1所述的基于属性图优化的神经网络架构评估方法，其特征在于，所述S3的具体步骤为：

采用的图神经网络层GN的三个功能：

u′＝MLP_u([e′，v'，u])

其中MLP_e，MLP_v以及MLP_u分别各有五层，sum是按元素求和运算，u是表示全局属性的向量，V是一组节点，每个V_i表示节点i的属性，E是一组边，其中每个e_k表示边k的属性，r_k是接收节点的索引，s_k是发送节点的索引，通过池化层以及全连接层最终能够提取整个网络的特征。

3.根据权利要求2所述的基于属性图优化的神经网络架构评估方法，其特征在于：所述S4的具体步骤为：

贝叶斯线性回归层BLR作为贝叶斯图神经网络代理模型的最后一层，通过深度神经网络的权重和偏差来对贝叶斯线性回归层BLR进行参数化，BLR的公式化形式如下：

y_1∶N＝Φ(.)^Tw+b

其中y是代理模型的输出， 是一个正态分布，Φ(.)是先前层输出的决策矩阵，用作BLR层的输入，对于给定一个权重w的先验分布：

通过以下方式对属性图G^★性能预测：

其中表示观测点，y_1：N是评估的度量。