CN111582094B - 并行选取超参数设计多分支卷积神经网络识别行人的方法 - Google Patents

Abstract

本发明并行选取超参数设计多分支卷积神经网络识别行人的方法，包括步骤：1)初始化多分支卷积神经网络架构；2)自适应的根据具体任务，自动化筛选构建单元，迭代并行添加到各分支，构成精度和运算量可分离的分支卷积神经网络；3)验证评估，保留最高精度下降5％以内的所有模型，选择其中计算量最小的模型为选取结构；4)将最有筛选的多分支卷积神经网络拆分开来，单个分支使用或者两两分支组合作为基准模型，存储在终端设备，离线推理识别行人。本发明中多分支卷积神经网络的各个分支一起，根据具体的行人识别数据集，在每个迭代周期选取超1次参数，生成构建块，这些构建块并行添加到各分支去训练，然后选择出性能优异的超参数保存模型。

Description

并行选取超参数设计多分支卷积神经网络识别行人的方法

技术领域

本发明属于深度学习研究领域，具体涉及一种并行选取超参数设计多分支卷积神经网络识别行人的方法。

背景技术

机器学习和深度学习的模型好坏，很大程度上归根于“调参”，即超参数的优化。深度学习主要算法之一的卷积神经网络处理目标识别、检测、实例分割、场景理解、强化学习等任务，主要需要完成网络结构的设计以及超参数的调整和优化，而超参数的调整优化一般取决于人工调参，需要依赖超参数、训练误差、泛化误差和计算资源等经验和直觉，并且需要耗费大量的时间和精力。因此，现如今越来越多的超参数的调优，都在向自适应、自动化的方向上靠拢，它们旨在使用带有策略的启发式搜索在更短的时间内找到最优超参数，除了初始设置之外，并不需要额外的手动调参。

如果网络模型较为简单，超参数较少，常见的超参数自动搜索方法是网格搜索。网格搜索即设立超参数范围集合，然后得到超参数集合的笛卡尔积，作为候选参数送入网络一一训练，直到选出最佳精度的组合。显而易见，如果网络结构过于复杂，超参数集合庞大，网格搜索就有点得不偿失了。随机搜索方法在网格搜索方法的基础上做了改进。首先，为每个超参数集合选择了一个分布，例如，Bernoulli分布，然后按照这个分布从超参数集合中生成超参数的随机组合，送入网路进行训练，选择最佳精度组合，但是，随机搜索适合于粗选、普查，容易遗漏关键数据。因此，启发式搜索，利用问题拥有的启发信息来引导搜索，既能节省时间，降低问题复杂度，又可以减少搜索范围，它在状态空间中，会对每一个搜索的位置进行评估，得到最好的位置，再从这个位置进行搜索直到选取最佳组合。启发式搜索常见算法有进化规划、进化策略、遗传算法等。Google brain利用强化学习，使用500块TeslaP100训练4天多得到NASNet，不管在精度还是在速度上都超越了人工设计的经典结构。同时，自从早期的神经网络研究以来，硬件设计者已经致力于可以加速神经网络算法的训练和推理的专用硬件实现。不同形式的专用硬件的研究已经持续了好几十年，比如专用集成电路的数字，模拟和混合实现(组合数字和模拟组件)。近年来更灵活的现场可编程门阵列实现也得到了长足发展。因此，专门针对不同的硬件平台，去研究和设计卷积神经网络结构有助于软件硬件结合的更好的发展。

发明内容

本发明的目的在于提供一种并行选取超参数设计多分支卷积神经网络识别行人的方法。

本发明采用如下技术方案来实现的：

并行选取超参数设计多分支卷积神经网络识别行人的方法，包括以下步骤：

1)初始化多分支卷积神经网络架构；

2)自适应的根据具体任务，自动化筛选构建单元，迭代并行添加到各分支，构成精度和运算量可分离的分支卷积神经网络；

3)验证评估，保留最高精度下降5％以内的所有模型，选择其中计算量最小的模型为选取结构；

4)将最有筛选的多分支卷积神经网络拆分开来，单个分支使用或者两两分支组合作为基准模型，存储在终端设备，离线推理识别行人。

本发明进一步的改进在于，步骤1)的具体实现方法如下：

针对INRIA行人识别扩展数据集，其包含训练集4339张图片，正类别样本2219张，负类别样本2120张；测试集400张图片，正类别样本200张，负类别样本200张，正类别样本是包含各种姿势和场景下的人图片，而负类别样本则是各种室内环境下的无人的图片，如家、银行、楼梯和书店，所有训练集合测试集都被整理成分辨率为120×120×3大小，格式为JPG的图片，首先直接初始化一个多分支卷积神经网络架构，这个架构不包含任何卷积层和池化层，并选择分支数为3。

本发明进一步的改进在于，步骤2)的具体实现方法如下：

201)自适应输入设置超参数候选集合，包括卷积核的超参数、全连接层超参数；

202)迭代周期一中，一边训练，一边从超参数候选集合中，自动筛选超参数，并行添加到多分支卷积神经网络的第1分支、第2分支、第3分支，作为3分支的第1个构建块；

203)迭代周期二中，继续训练，并且从超参数候选集合中，自动筛选超参数，并行添加到多分支卷积神经网络第2分支和第3分支，作为第2、3分支的第2个构建块；

204)迭代周期三中，继续训练，并且从超参数候选集合中，自动筛选超参数，添加到多分支卷积神经网络第3分支，作为第3分支的第3个构建块；

205)迭代周期四中，以梯度形式设立多分支卷积神经网络全连接层的超参数的候选集合；第1分支，全连接层节点数集合{16，32，64，128}；第2分支，全连接层节点数集合{32，64，128，256}；第3分支，全连接层节点数集合{128，256，512，1024}；每个分支单独从各所属集合中自动筛选超参数，添加到各分支。

本发明进一步的改进在于，步骤3)的具体实现方法如下：

训练过程中，每个迭代周期，计算和记录每个模型的搜出的卷积核大小以及模型的精度和计算量性能，保留其中最高精度下降5％以内的所有模型，按照计算量性能排序，计算量最小模型的超参数为最优筛选的多分支卷积神经网络。

本发明进一步的改进在于，步骤4)的具体实现方法如下：

多分支卷积神经网络模型自动选取超参数训练好之后，选取多分支卷积神经网络的单分支个体，组合分支个体，或者整体架构作为基准模型，存储到移动终端设备的硬件处理架构中推理识别行人，这样一共能够可组合出7种测试结果。

本发明至少具有如下有益的技术效果：

主要特点：

1、一次训练，基于初始化的多分支卷积神经网络并行地、自动化地搜索超参数，作为构建块，一边训练一边添加到各个分支，自适应地生成多分支卷积神经网络。

2、多分支卷积神经网络结构，单分支、不同双分支组合和总的结构，可构成精度、计算量和参数量可分离的7种不同卷积神经网络模型。

3、多分支卷积神经网络的各个分支一起，根据具体的行人识别数据集，在每个迭代周期选取超1次参数，生成构建块，这些构建块并行添加到各分支去训练，然后选择出性能优异的超参数保存模型。

主要优点：

1、卷积神经网络结构不是一开始既定，而是初始化多分支卷积神经网络后，一边训练一边在超参数搜索空间自动化的搜索合适的超参数，逐步添加到各个分支，直到自适应地生成完整的卷积神经网络结构。

2、超参数空间可以根绝任务自由设定候选集合，搜索过程仿照贪心策略，基于多分支并行搜索一步一步生成完整网络结构，节省时间。

3、只需要一次训练，一遍搜索，便可生成分支结构的卷积神经网络，其中单分支、组合分支使用，可生成精度、计算量和参数量可分离的7种卷积神经网络模型，在硬件实施时也只需一次训练，便可有不同性能的模型同时满足不同性能的硬件平台。

附图说明

图1为基于分支结构的自适应选区示意图；

图2为NasNet搜索结构示意图；

图3为贝叶斯搜索的卷积神经网络结构。

具体实施方式

以下结合附图和实施例对本发明做出进一步的说明。

本发明提供的并行选取超参数设计多分支卷积神经网络识别行人的方法，包括以下步骤：

1)初始化多分支卷积神经网络架构；

2)自适应的根据具体任务，自动化筛选构建单元，迭代并行添加到各分支，构成精度和运算量可分离的分支卷积神经网络；

3)验证评估，保留最高精度下降5％以内的所有模型，选择其中计算量最小的模型为选取结构；

4)将最有筛选的多分支卷积神经网络拆分开来，单个分支使用或者两两分支组合作为基准模型，存储在终端设备，离线推理识别行人。

当下目标识别、目标检测领域，常用的数据集有MNIST、Cifar10、ImageNet、VOC等，MNIST网络两、三层卷积就可以训练出很高精度的模型，Cifar10，ImageNet大约5-13层卷积也有良好精度性能的推理模型，ImageNet可能由于1000分类，分类过多，数据集大小过大，后续有人用更深层次或者更先进的连接方式提高了精度性能，例如ResNet。VOC数据集是目标检测领域常用的数据集，一开始Faster R-CNN，YOLOV1、V2也都是以Vgg或者Vgg变体为主体卷积结构来训练模型的，大约13-19层，后续才有像是YOLOV3等更深层次、更高端连接的网络模型的出现，使得目标检测的性能得到了很大的提升。因此，处理具体任务的推理模型，其精度、时间复杂度、空间复杂度等性能的好坏和网络模型的卷积层结构的深度、卷积层结构的宽度还有卷积层结构的连接方式等息息相关。

针对具体的行人识别任务，如果这个数据集的大小在100M以下，是10分类以内简单分类，则选取组合分支结构一为基准网络进行训练。针对目标检测任务和数据大小大于100M的目标分类任务，则选取组合分支结构二为基准网络进行训练。具体的组合分支结构设计如下：

首先，以连续分布从表1中自动筛选卷积核，分别作为第1分支、第2分支、第3分支的第1个构建块，如图1中的“Block1”，进行训练。训练过程中，计算和记录每个迭代周期的每个模型的搜出的卷积核大小和特征图通道的超参数以及精度和计算量，在这些选取模型的精度和计算量性能中，保留最高精度下降5％以内的所有模型，按照计算量性能排序，计算量最小模型的卷积核和特征图通道为最优筛选结果。

然后，以连续分布从表1中自动筛选卷积核，分别作为第2分支、第3分支的第2个构建块，如图1中的“Block2”，进行训练。训练过程中，计算和记录每个迭代周期的每个模型的搜出的卷积核大小和特征图通道的超参数以及精度和计算量，在这些选取模型的精度和计算量性能中，保留最高精度下降5％以内的所有模型，按照计算量性能排序，计算量最小模型的卷积核和特征图通道为最优筛选结果。

接着，以连续分布从表1中自动筛选卷积核，作为第3分支的构建块3，如图1中的两个“Block3”，进行训练。训练过程中，计算和记录每个迭代周期的每个模型的搜出的卷积核大小和特征图通道的超参数以及精度和计算量，在这些选取模型的精度和计算量性能中，保留最高精度下降5％以内的所有模型，按照计算量性能排序，计算量最小模型的卷积核和特征图通道为最优筛选结果。

最后，全连接层通道，以梯度形式设立全连接层的超参数的候选集合。第1分支，全连接层节点数集合{16，32，64，128}。第2分支，全连接层节点数集合{32，64，128，256}；第3分支，全连接层节点数集合{128，256，512，1024}。每个分支单独从各所属集合中自动筛选超参数，添加到各分支。

组合分支结构一为基准的网络，构建块深度以1层起步，这样，组合分支结构一的组成为第1分支，1层卷积；第2分支，2层卷积；第3分支4层卷积；为使得各个分支个体的计算量有明显差异，卷积核通道筛选也以梯度形式设立候选集合，自适应、自动化地选取，第1分支，卷积核通道集合8，16。第2分支，卷积核通道集合32，64；第3分支，卷积核通道集合64，128。

组合分支结构二为基准的网络，构建块深度以2层起步，这样，组合分支结构二的组成为第1分支，2层卷积；第2分支，4层卷积；第3分支8层卷积；为使得各个分支个体的计算量有明显差异，卷积核通道筛选也以梯度形式设立候选集合，自适应、自动化地选取，第1分支，卷积核通道集合32，64。第2分支，卷积核通道集合128，256；第3分支，卷积核通道集合256，512。

当然，构建块深度，可根据具体任务另行增加，比如：3，4，5……卷积核通道等超参数集合也均可以根据任务情况再调整。

其余超参数例如激活函数等也可以作为自动选取的候选元素，在卷积核、卷积核通道还有全连接节点选取完成之后的新结构上，设立候选集合，边训练边选取精度性能最优模型，可以以构建块为单位选取，也可以以卷积层架构、全连接层架构为独立单元选取。

多分支卷积神经网络自动选取超参数训练好之后，推理测试具体任务时，可按单分支个体，组合分支个体，读取模型参数，然后重新编写测试过程，这样，3分支可组合出7种测试结果。

本发明与现有方法的性能对比如下：

网络搜索给定不同的超参数候选集合，生成超参数候选集合的笛卡尔积组合，将这些组合依次送入已经写好的网络进行训练，寻找精度最佳模型。而随即搜索方法为节省时间，在网格搜索方法的基础上做了改进。即在不同的超参数候选集合中随机选取超参数，生成超参数集合，依次将这些组合送入网路进行训练，选择最佳精度的模型。网格搜索的限制是1，网络结构实现既定。2，网络结构如果复杂，超参数候选集合过多，将会非常耗时。3，因为要将所有超参数候选集合的笛卡尔积组合送入网络进行训练，所以有些根据经验根本不需要验证的数据也参与了选取，等于做了无用功。随机搜索则适合于粗选、普查，容易遗漏关键数据，并且随机搜索还是在既定的网络结构上搜索超参数因此，

本发明提出的并行选取超参数设计多分支卷积神经网络识别行人的方法，对比网格搜索和随机搜索方法。首先，网络结构不是事先既定的，而是一边搜索一边自适应生成。其次，超参数的搜索空间可以依据经验或者具体任务自己设定，不容易遗漏关键数据并且节省时间。在INRIA扩展数据集上，运用RTX2080Ti平台，实验网格搜索、随即搜索和本发明提出的并行选取超参数设计多分支卷积神经网络识别行人的方法，并行选取超参数设计多分支卷积神经网络识别行人的方法整体结构的精度性能是94％，耗时30小时。相比于网格搜索方法的45小时、随机搜索方法的41.5小时，还有贝叶斯搜索方法的50小时，时间性能分别提升33.3％、27.7％和40％。其次，并行选取超参数设计多分支卷积神经网络识别行人的方法搜索设计的多分支卷积神经网络结构的整体精度性能高于网格搜索方法的85.3％和随机搜索方法的83.2％，略低于贝叶斯搜索方法的96.3％，这一次，贝叶斯搜索方法耗时24小时，自动搜索生成的结构包含19层3×3卷积(padding是SAME模式)，其中12层含有双分支结构，这个结构耗时是本文方法的2倍。最后，网络搜索和随机搜索方法因为要事先确定网络结构，本专利设置两种搜索方法的既定网络结构均为1层卷积，2层全连接隐含层，超参数候选集合的卷积核的大小还是从表1中筛选，隐含层节点也设置了超参数候选集合去选取，具体的集合为：{16，32，64，128，256，512，1024}。

表1：自适应选取超参数设计卷积神经网络应用于行人识别实验对比

此外，并行选取超参数设计多分支卷积神经网络识别行人的方法搜索设计出的多分支卷积神经网络结构，改善了整体的网络精度性能的同时，还可以将分支架构拆分开来，取单个分支、或者取两两分支组合作为“基准”元素使用，便可组成新的卷积神经网络结构，加上完整的原始的多分支卷积神经网络结构，一共可以组合生成7种不同的卷积神经网络的模型，如表2所示，这些新组成的卷积神经网络模型的精度、计算量和参数量都是可分裂的、不同的，因此实现一次自适应地迭代训练，就能生成7种精度和计算量可分离的卷积神经网络。

表2：7种精度计算量可分离的卷积神经网络

实施例

本发明提出并行选取超参数设计多分支卷积神经网络识别行人的方法。具体实施步骤如下：

比如针对INRIA扩展数据集，数据及大小小于100M，而且是2分类的目标识别任务，所以初始化多分支结构，以组合分支结构一为基准的网络，构建块深度以1层起步。自适应输入设置超参数候选集合，包括卷积核的超参数等。迭代周期一中，一边训练，一边从超参数候选集合中，自动筛选超参数，并行添加到多分支卷积神经网络的第1分支、第2分支、第3分支，作为3分支的第1个构建块。构建块深度为1。迭代周期二中，继续训练，并且从超参数候选集合中，自动筛选超参数，并行添加到多分支卷积神经网络第2分支和第3分支，作为第2、3分支的第2个构建块。构建块深度为1。迭代周期三中，继续训练，并且从超参数候选集合中，自动筛选超参数，添加到多分支卷积神经网络第3分支，作为第3分支的第3个构建块。构建块深度为1。迭代周期四中，以梯度形式设立多分支卷积神经网络全连接层的超参数的候选集合。第1分支，全连接层节点数集合{16，32，64，128}。第2分支，全连接层节点数集合{32，64，128，256}；第3分支，全连接层节点数集合{128，256，512，1024}。每个分支单独从各所属集合中自动筛选超参数，添加到各分支。训练过程中，每个迭代周期，计算和记录每个模型的搜出的卷积核大小以及模型的精度和计算量性能，保留其中最高精度下降5％以内的所有模型，按照计算量性能排序，计算量最小模型的超参数为最优筛选的多分支卷积神经网络。多分支卷积神经网络模型自动选取超参数训练好之后，可选取多分支卷积神经网络的单分支个体，组合分支个体，或者整体架构作为基准模型，存储到移动终端设备的硬件处理架构中推理识别行人，这样一共可以可组合出7种测试结果。

Claims (2)

1.并行选取超参数设计多分支卷积神经网络识别行人的方法，其特征在于，包括以下步骤：

1)初始化多分支卷积神经网络架构；具体实现方法如下：

针对INRIA行人识别扩展数据集，其包含训练集4339张图片，正类别样本2219张，负类别样本2120张；测试集400张图片，正类别样本200张，负类别样本200张，正类别样本是包含各种姿势和场景下的人图片，而负类别样本则是各种室内环境下的无人的图片，如家、银行、楼梯和书店，所有训练集合测试集都被整理成分辨率为120×120×3大小，格式为JPG的图片，首先直接初始化一个多分支卷积神经网络架构，这个架构不包含任何卷积层和池化层，并选择分支数为3；

2)自适应的根据具体任务，自动化筛选构建单元，迭代并行添加到各分支，构成精度和运算量可分离的分支卷积神经网络；具体实现方法如下：

201)自适应输入设置超参数候选集合，包括卷积核的超参数、全连接层超参数；

202)迭代周期一中，一边训练，一边从超参数候选集合中，自动筛选超参数，并行添加到多分支卷积神经网络的第1分支、第2分支、第3分支，作为3分支的第1个构建块；

203)迭代周期二中，继续训练，并且从超参数候选集合中，自动筛选超参数，并行添加到多分支卷积神经网络第2分支和第3分支，作为第2、3分支的第2个构建块；

204)迭代周期三中，继续训练，并且从超参数候选集合中，自动筛选超参数，添加到多分支卷积神经网络第3分支，作为第3分支的第3个构建块；

205)迭代周期四中，以梯度形式设立多分支卷积神经网络全连接层的超参数的候选集合；第1分支，全连接层节点数集合{16，32，64，128}；第2分支，全连接层节点数集合{32，64，128，256}；第3分支，全连接层节点数集合{128，256，512，1024}；每个分支单独从各所属集合中自动筛选超参数，添加到各分支；

3)验证评估，保留最高精度下降5％以内的所有模型，选择其中计算量最小的模型为选取结构；具体实现方法如下：

训练过程中，每个迭代周期，计算和记录每个模型的搜出的卷积核大小以及模型的精度和计算量性能，保留其中最高精度下降5％以内的所有模型，按照计算量性能排序，计算量最小模型的超参数为最优筛选的多分支卷积神经网络；

4)将最优筛选的多分支卷积神经网络拆分开来，单个分支使用或者两两分支组合作为基准模型，存储在终端设备，离线推理识别行人。

2.根据权利要求1所述的并行选取超参数设计多分支卷积神经网络识别行人的方法，其特征在于，步骤4)的具体实现方法如下：

多分支卷积神经网络模型自动选取超参数训练好之后，选取多分支卷积神经网络的单分支个体，组合分支个体，或者整体架构作为基准模型，存储到移动终端设备的硬件处理架构中推理识别行人，这样一共能够可组合出7种测试结果。

Images