CN112699957A - 一种基于darts的图像分类优化方法 - Google Patents

Abstract

本发明公开了一种基于DARTS的图像分类优化方法，用于提高DARTS构建的模型对图像分类的稳定性和准确率。本发明分析跳跃连接操作在排他操作方面有不公平优势，进而导致DARTS性能崩溃，本发明提出了一种关联跳跃连接操作构造新的验证损失函数，以阻碍这种不公平的优势，避免跳跃连接过度，并且解析架构参数确定一个针对特定图像数据集的合适的子网络。接着进行整体模型训练测试，堆叠一定个数的搜索好的单元架构来构建卷积神经网络，从头开始训练，基于此模型对图像进行稳定而准确的分类测试。本方法在针对特定图像进行分类时可以有效地阻碍跳跃连接的不公平优势，并能产生更好的性能。

Description

一种基于DARTS的图像分类优化方法

技术领域

本发明属于深度学习及机器视觉领域，涉及一种基于DARTS的图像分类优化技术。这在现实场景中具有非常广泛的应用，例如人脸识别、指纹识别等。

背景技术

图像分类是使用计算机视觉和机器学习算法从图像中抽取意义的任务。看似简单，但是这是计算机视觉领域的核心问题之一，为其他视觉领域中的问题(比如物体检测和分割)做技术基础。图像分类任务因为图像分类任务的多样性而变得困难，图像类别总数不一致，比如数据集cifar10类和ImageNet的1000类；图像特点多样性，比如背景单一且为灰度图的mnist数据集和复杂背景且为彩色图的cifar100数据集。因而不同的图像分类任务要选择一个合适的CNN网络变得非常困难。

近年来，针对图像分类任务，深度学习的繁荣，尤其是神经网络的发展，颠覆了传统方式对图像分类的时代，将卷积神经网络的浪潮推到了历史最高点。针对不同的图像数据集，各种神经网络模型层出不穷，而网络结构作为一种特殊的超参数，在深度学习整个环节中扮演着举足轻重的角色。然而，往往模型性能越高，对超参数的要求也越来越严格，稍有不同就无法复现论文的结果。在图像分类任务上大放异彩的Residual Networks(ResNet)、在机器翻译任务上称霸的Transformer等网络结构无一不来自专家的精心设计。这些精细的网络结构的背后是深刻的理论研究和大量广泛的实验，这无疑给人们带来了新的挑战。

但是大热的深度神经网络，虽然将以前很另人头疼的特征提取自动化了，但卷积神经网络结构的设计很大程度上还是需要手工设计，且依赖经验。一个自然的诉求就是针对特定的图像分类任务，最优神经网络架构选择的工作能否交给机器来做。近几年，主流的效果最好的神经网络架构搜索的两种方法是进化算法(EvolutionaryAlgorithm)和强化学习(Reinforcement learning)，但是这两种架构搜索相当于一个离散领域的黑盒优化问题，从而导致需要评价大量的结构，非常耗时。受到此启发，可以将搜索空间松弛到连续的领域，通过梯度下降进行性能优化，能够在丰富的搜索空间搜索到一种具有复杂图形拓扑结构的高性能框架,从而得到稳定而精确的图像分类结果。

发明内容

为了提高DARTS构建的模型对图像分类的稳定性和准确率，本发明提出一种基于DARTS的图像分类优化方法。

本发明在搜索单元训练时关联跳跃连接操作构造了一个新的验证损失函数，以阻碍跳跃连接的不公平优势，避免跳跃连接过度，并且解析架构参数，确定了最终的子网络更合适特定的图像数据集，实现图形分类的稳定性和准确率都有所提高。

具体技术方案如下：

该技术方案主要分为两个阶段：搜索单元训练阶段和整体模型训练测试阶段。

搜索单元训练阶段包括以下步骤：

步骤1：确定搜索空间：搜索单元训练阶段目标是搜索一个单元，这个单元可以堆叠组成卷积神经网络。一个单元是n个节点构成的有向无环图。每一个节点x⁽ⁱ⁾是卷积神经网络中一个特征图的表示，并且每一条边(i,j)是节点x⁽ⁱ⁾到节点x^(j)的操作o^(i,j)。每个单元有两个输入和一个输出，卷积神经网络中，单元的两个输入对应前两层的输出。网络共搜索两种单元，一种是normal cell，另一种是reduction cell。reduction cell会把输出的特征图高度和宽度缩小一倍，用在网络的1/3和2/3处。通过把单元不断堆叠得到表现好的卷积神经网络。

每一个中间节点都是根据所有的前节点计算的，如公式(1)所示：

步骤2：用O表示候选离散的操作集合(卷积、池化、零)，其中应用于节点x⁽ⁱ⁾的某个函数o(·)表示某一种操作。为了让搜索空间连续，对所有的结构计算其softmax，公式如下：

其中成对节点之间混合权重的操作被向量α^(i,j)∈|O|进行参数化，此时的结构化搜索任务被简化成学习一系列连续的变量的过程α＝{α^(i,j)}。在搜索过程的最后，将每一个混合操作

替换为最可能的操作

(直接将softmax后最大α值对应的操作保留而抛弃其他的操作)从而得到一个离散的结构α。

松弛完成之后，我们的目标是学习结构α和权重w，类似于强化学习或者进化算法，将验证集上的性能看做最终的目标或者拟合程度，DARTS的目标就是优化验证集上的损失。L_train和L_val分别表示训练和验证的损失。这两个损失不仅决定了结构α而且也决定了网络中的权重w。结构的搜索目标是找到最优α^*使L_val(w^*，α^*)最小，然而架构搜索中的skip-connect操作如果在一个单元中所占比例比较大，整个卷积神经网络就会变浅，使其图像分类能力变弱。为了避免跳跃连接过度，在搜索架构时把验证损失L_val(w^*，α^*)与skip-coonect操作联系到一起如公式4所示，其中λ是一个常数，o_s代表跳跃连接操作，

表示架构矩阵，设置

架构矩阵跳跃操作为矩阵向量1，其他操作为矩阵向量0，累加跳跃连接操作个数，从而可知跳跃连接操作个数和整体验证损失函数成正比，那么为使整体验证损失最小，则网络搜索出来的单元包含的skip-connect操作也不会很多，这样设计验证损失函数阻碍跳跃连接的不公平优势，那么最后搜索出来的单元组成的卷积神经网络对图像分类任务的稳定性和准确率会有所提高。确定下来结构α之后，通过最小化训练损失得到权重w^*＝arg max_wL_train(w，α^*)，其双层优化公式如下：

w^*(α)＝arg max_w L_train(w，α) (4)

整体模型训练测试包括以下步骤：

步骤1：用搜索单元训练阶段搜到的单元堆叠起来，并用normal cell和reductioncell构建整个卷积神经网络；

步骤2：将图像数据集分为训练集和测试集，将构造好的卷积神经网络在训练集上进行权值的训练，具体操作是输入图像，经过卷积神经网络之后求出网络的输出值与目标值之间的误差，当训练轮数少于设定的轮数，就将误差传回网络中，并更新权重，循环此操作，直至达到一定的训练轮数就停止训练，保存网络的结构和权重。

步骤3：加载网络结构和权重，输入图像数据集在其上面进行图像测试，测试结果可以在很多公开数据集上取得不错的结果。

有益效果

本文的基于DARTS的图像分类优化方法在搜索单元训练的时候优势明显，而且这个方法针对特定图像数据集，在搜索网络时构造的验证损失函数与跳跃连接操作成正比，最终为使得验证损失最小，那么跳跃连接操作也不会很多，因而阻碍了跳跃连接的不公平优势，那么卷积神经网络结构不会变浅，使得图像分类性能会达到更好的效果。

附图说明

图1本发明方法整体实验流程图。

图2本方法使用的卷积神经网络结构图。

图3(a)表示DARTS搜索架构阶段最终单元cell的结构图。左侧图为normal cell结构，右侧图为reduction cell结构。(b)表示DARTS-0.1搜索架构阶段最终单元cell的结构图。左侧图为normal cell结构，右侧图为reduction cell结构。(c)表示DARTS-0.2搜索架构阶段最终单元cell的结构图。左侧图为normal cell结构，右侧图为reduction cell结构。

图4十类cifar10数据集每类随机抽取10张图像展示图。

具体实施方式

本发明在搜索单元训练时构造了一个新的损失函数，使其搜索到的单元块包含的skip-connect操作减少，然后得到最终的子网络更合适特定的图像数据集，实现图形分类的稳定性和准确率都有所提高。

具体技术方案如下：

具体技术方案如下：

该技术方案主要分为两个阶段：搜索单元训练阶段和整体模型训练测试阶段。

搜索单元训练阶段包括以下步骤：

步骤1：确定搜索空间：搜索单元训练阶段目标是搜索一个单元，这个单元可以堆叠组成卷积神经网络。一个单元是n个节点构成的有向无环图。每一个节点x⁽ⁱ⁾是卷积神经网络中一个特征图的表示，并且每一条边(i，j)是节点x⁽ⁱ⁾到节点x^(j)的操作o^(i，j)。每个单元有两个输入和一个输出，卷积神经网络中，单元的两个输入对应前两层的输出。网络共搜索两种单元，一种是normal cell，另一种是reduction cell。reduction cell会把输出的特征图高度和宽度缩小一倍，用在网络的1/3和2/3处。通过把单元不断堆叠得到表现好的卷积神经网络。

每一个中间节点都是根据所有的前节点计算的，如公式(1)所示：

步骤2：用O表示候选离散的操作集合(卷积、池化、零)，其中应用于节点x⁽ⁱ⁾的某个函数o(·)表示某一种操作。为了让搜索空间连续，对所有的结构计算其softmax，公式如下：

其中成对节点之间混合权重的操作被向量α^(i，j)∈|O|进行参数化，此时的结构化搜索任务被简化成学习一系列连续的变量的过程α＝{α^(i，j)}。在搜索过程的最后，将每一个混合操作

替换为最可能的操作

(直接将softmax后最大α值对应的操作保留而抛弃其他的操作)从而得到一个离散的结构α。

松弛完成之后，我们的目标是学习结构α和权重w，类似于强化学习或者进化算法，将验证集上的性能看做最终的目标或者拟合程度，DARTS的目标就是优化验证集上的损失。L_train和L_val分别表示训练和验证的损失。这两个损失不仅决定了结构α而且也决定了网络中的权重w。结构的搜索目标是找到最优α^*使L_val(w^*，α^*)最小，然而架构搜索中的skip-connect操作如果在一个单元中所占比例比较大，整个卷积神经网络就会变浅，使其图像分类能力变弱。为了避免跳跃连接过度，在搜索架构时把验证损失L_val(w^*，α^*)与skip-coonect操作联系到一起如公式4所示，其中λ是一个常数，o_s代表跳跃连接操作，

表示架构矩阵，设置

架构矩阵跳跃操作为矩阵向量1，其他操作为矩阵向量0，累加跳跃连接操作个数，从而可知跳跃连接操作个数和整体验证损失函数成正比，那么为使整体验证损失最小，则网络搜索出来的单元包含的skip-connect操作也不会很多，这样设计验证损失函数阻碍跳跃连接的不公平优势，那么最后搜索出来的单元组成的卷积神经网络对图像分类任务的稳定性和准确率会有所提高。确定下来结构α之后，通过最小化训练损失得到权重w^*＝arg max_wL_train(w，α^*)，其双层优化公式如下：

w^*(α)＝arg max_w L_train(w，α) (4)

整体模型训练测试包括以下步骤：

步骤1：用搜索单元训练阶段搜到的单元堆叠起来，并用normal cell和reductioncell构建整个卷积神经网络；

步骤2：将图像数据集分为训练集和测试集，将构造好的卷积神经网络在训练集上进行权值的训练，具体操作是输入图像，经过卷积神经网络之后求出网络的输出值与目标值之间的误差，当训练轮数少于设定的轮数，就将误差传回网络中，并更新权重，循环此操作，直至达到一定的训练轮数就停止训练，保存网络的结构和权重。

步骤3：加载网络结构和权重，输入图像数据集在其上面进行图像测试，测试结果可以在很多公开数据集上取得不错的结果。

具体实施步骤叙述完毕，实验结果如下表所示。下面给出本发明的一个测试结果。实验环境为：GTX1070GPU，CUDA 8.0版本，使用cifar10数据集进行测试并与现有的DARTS方法进行比较。用以下评估方法评估本发明的结果，准确率越高越好，损失越小越好。其中分为搜索过程和训练过程的实验结果，搜索过程与原有的DARTS方法进行了对比，其中DARTS-0.1代表公式四中的λ取值为0.1，DARTS-0.2代表公式四中的λ取值为0.2，结果如下表：

结果对比：

本文的基于DARTS的图像分类优化方法在搜索单元训练的时候优势明显，而且这个方法针对特定图像数据集，在构建网络时构造的验证损失函数与skip-connect操作成正比，最终使得验证损失函数最小，那么skip-connect操作也不会很多，阻碍跳跃连接的不公平优势，卷积神经网络结构不会变浅，使得图像分类性能会达到更好的效果。

Claims (1)

1.一种基于DARTS的图像分类优化方法，其特征在于：分为两个阶段：搜索单元训练阶段和整体模型训练测试阶段；

搜索单元训练阶段包括以下步骤：

步骤1：确定搜索空间：搜索单元训练阶段目标是搜索一个单元，这个单元可以堆叠组成卷积神经网络；一个单元是n个节点构成的有向无环图；每一个节点x⁽ⁱ⁾是卷积神经网络中一个特征图的表示，并且每一条边(i,j)是节点x⁽ⁱ⁾到节点x^(j)的操作o^(i,j)；每个单元有两个输入和一个输出，卷积神经网络中，单元的两个输入对应前两层的输出；网络共搜索两种单元，一种是normal cell，另一种是reduction cell；reduction cell会把输出的特征图高度和宽度缩小一倍，用在网络的1/3和2/3处；通过把单元不断堆叠得到表现好的卷积神经网络；

每一个中间节点都是根据所有的前节点计算的，如公式(1)所示：

步骤2：用O表示候选离散的操作集合，其中应用于节点x⁽ⁱ⁾的某个函数o(·)表示某一种操作；为让搜索空间连续，对所有的结构计算其softmax，公式如下：

其中成对节点之间混合权重的操作被向量α^(i,j)∈|O|进行参数化，此时的结构化搜索任务被简化成学习一系列连续的变量的过程α＝{α^(i,j)}；在搜索过程的最后，将每一个混合操作

替换为最可能的操作

从而得到一个离散的结构α；

松弛完成之后，目标是学习结构α和权重w，类似于强化学习或者进化算法，将验证集上的性能看做最终的目标或者拟合程度，DARTS的目标就是优化验证集上的损失；L_train和L_val分别表示训练和验证的损失；在搜索架构时把验证损失L_val(w^*,α^*)与skip-coonect操作联系到一起如公式4所示，其中λ是一个常数，o_s代表跳跃连接操作，

表示架构矩阵，设置

架构矩阵跳跃操作为矩阵向量1，其他操作为矩阵向量0，累加跳跃连接操作个数，从而可知跳跃连接操作个数和整体验证损失函数成正比；确定下来结构α之后，通过最小化训练损失得到权重w^*＝argmax_wL_train(w,α^*)，其双层优化公式如下：

w^*(α)＝argmax_wL_train(w,α) (4)

整体模型训练测试包括以下步骤：

步骤1：用搜索单元训练阶段搜到的单元堆叠起来，并用normal cell和reductioncell构建整个卷积神经网络；

步骤2：将图像数据集分为训练集和测试集，将构造好的卷积神经网络在训练集上进行权值的训练，具体操作是输入图像，经过卷积神经网络之后求出网络的输出值与目标值之间的误差，当训练轮数少于设定的轮数，就将误差传回网络中，并更新权重，循环此操作，直至达到一定的训练轮数就停止训练，保存网络的结构和权重；

步骤3：加载网络结构和权重，输入图像数据集在其上面进行图像测试，测试结果可以在很多公开数据集上取得不错的结果。

Images