CN114445674A - 一种基于多尺度融合卷积的目标检测模型搜索方法 - Google Patents

Abstract

本发明公开了基于多尺度融合卷积的目标检测模型搜索方法，本发明提出了一组多尺度融合卷积模块，在单个卷积操作中集成了不同尺寸的卷积核，并利用分组卷积降低参数量，使得多尺度卷积模块在没有增加参数量的前提下，提高了网络的特征处理能力，其中，利用小尺寸的卷积核关注图片中的细节信息和小尺寸目标，利用大尺寸卷积核关注图片中的整体信息和较大目标。输入的特征图由所有卷积核处理完毕之后，将所有卷积核输出的特征图融合作为整个多尺度融合卷积模块的输出。之后，本发明利用NAS技术，将所述多尺度融合卷积模块集成到神经网络架构中，作为目标检测模型的主干网络，可有效的提高所述主干网络的特征提取能力。

Description

一种基于多尺度融合卷积的目标检测模型搜索方法

技术领域

本发明涉及目标检测模型设计及优化技术，特别涉及一种基于多尺度融合卷积的目标检测模型搜索方法。

背景技术

在目标检测问题中，为了从图像中检测出目标的类别和位置，通常需要设计一个主干网络(Backbone network)提出图像中的特征信息，然后利用这些特征信息去实现目标的分类和定位。因此，主干网络的特征提取能力对目标检测模型的性能有着十分重要的影响。神经网络架构搜索技术(Neural Architecture Search,NAS)可以基于给定的任务目标设计自动设计神经网络模型，因此，利用NAS技术为目标检测模型设计主干网络已经引起了研究人员的广泛关注。在目标检测问题中，同一目标在不同的图片中可能具有不同的尺度，或者一张图片中可能包含有不同尺度的目标。

为了使得神经网络的感受野能够覆盖较多的信息，现有的NAS技术通常会将不同尺寸的卷积层和池化层放入搜索空间中，之后通过算法自适应的集成到神经网络架构中。然而，较大尺寸的卷积核虽然可以有效的增大感受野，但是会增加网络的计算量和参数量，不利于模型在移动端或者嵌入式设备中部署。传统的池化层在增大感受野的同时，又会损失较多的细节信息，不利于小尺寸目标的检测。

发明内容

本发明的目的是解决上述现有技术中存在的问题，本发明提供一种基于多尺度融合卷积的目标检测模型搜索方法。

为解决上述问题，本发明提供如下技术方案，为了达到上述目的，本申请提供了一种基于多尺度融合卷积的目标检测模型搜索方法，包括以下步骤：

步骤S1，构建模块搜索空间，其中包含一组多尺度融合卷积模块；给定带有标签的目标检测数据集，并将该数据集划分为训练集，验证集和测试集；

步骤S2，种群初始化，构建初始种群。初始种群中包含N个个体，每个个体以输入层为第一层，封装数个子网络，每个子网络中封装从操作搜索空间中随机采样数个模块，以全连接层为输出层，并对每个个体进行编码，产生N条染色体。所述M为大于1的自然数；

步骤S3，由初始种群中的所有个体组成超网络(one-shot model)，并基于ImageNet数据集，利用采样训练的方法对超网络进行预训练，直到超网络模型收敛，并得到超网络权值W_*；

步骤S4，为每一个个体融合边界框生成网络(Region Proposal Network,RPN)，使得每个个体成为一个目标检测模型；

步骤S5，每个个体A_i从超网络中继承相应的权值

之后在训练集上进行训练，直至收敛。

步骤S5，基于验证集，利用mAP值作为适应度函数，对每个个体进行适应度评估；

步骤S6，利用锦标赛选择法从所述种群中选择数个个体，组成第一种群；

步骤S7，根据交叉率p_c，利用多点交叉方法对第一种群中的个体染色体进行两两交叉，得到数个个体染色体，组成第二种群；

步骤S8，根据变异率p_m，对第二种群中的个体染色体的某一模块进行替换或者删除；

步骤S9，基于训练集，对第二种群的每个个体进行训练，直至个体收敛；基于验证集，利用mAP值作为适应度函数，对第二种群中进行适应度评估；

步骤S10，将第一种群和第二种群中的个体合并，根据适应度值排序，选出适应度排名前N个个体，并反馈至步骤S6，直到达到预设的进化代数，之后输出适应度值最优的个体作为搜索到的目标检测模型。

优选地，所述多尺度融合卷积模块由M个分支组成，每个分支包含有一种尺寸的卷积核，从分支1至分支M，卷积核的尺寸逐层递增。为了降低多尺度融合卷积模块的计算量，在不同分支需利用分组卷积的思想，根据卷积核的尺寸，对各自分支的卷积核进行分组，降低卷积核之间的连接密度。每个分支将所述多尺度融合卷积模块的输入特征图作为分支的输入，经过各自卷积核处理之后的输入，通过拼接操作沿着深度维度进行拼接作为所述多尺度融合卷积模块的输出，所述拼接之后的通道数需与所述多尺度融合卷积模块的输入数据的通道数相同。

优选地，利用采样训练的方法基于ImageNet数据集对超网络进行预训练，即每一个mini-batch随机从初始种群中有放回的采样一个个体进行，直到达到预设的采样训练次数。个体在所述mini-batch数据完成训练之后，会保留训练权值w_*(i),在下次被采样之后，会继承之前采样训练得到的权值w_*(i)，继续训练。

优选地，利用mAP值作为适应度函数，其表达式为：

其中，P为类别j的准确率，R为类别j的召回率，AP_j为类别j的AP值，H为数据集中的类别总数。

优选地，利用锦标赛选择法从所述种群中选择数个个体，组成第一种群，具体步骤如下：

步骤S61，种群中的每个个体获得自己的适应度值f(x_a)，其中，a＝(1,2,……,N)；

步骤S62，从种群中随机挑选两个个体，将适应度值较高的个体保留至第一种群；

步骤S63，重复步骤S62，直到产生预定数量的个体，组成第一种群。

优选地，根据交叉率p_m，利用多点交叉方法对第一种群中的个体染色体进行两两交叉，得到数个个体染色体，组成第二种群，具体步骤为：

步骤S71，在区间[0,1]内随机产生一个数r，随机从第一种群中选择两个个体；

步骤S72，若r<p_m,将两个个体对应的染色体，沿左侧对齐，随机选择数个基因点作为交叉点，将相同位置的基因交换；并将交换后的染色体保留至第二种群，并依次解码为神经网络架构；

步骤S73，若r>p_m，将两个个体保留至第二种群中，不执行任何操作；

优选地，根据变异率p_m，对第二种群中的个体染色体的某一模块进行替换或者删除，具体步骤为：

步骤S81，在区间[0,1]内随机产生任一个体对应的一个随机数t；

步骤S82，若r<p_m，则执行变异，将该个体中的某一模块进行替换或者删除；

步骤S83，若r>p_m，则不执变异。

与现有技术相比，上述申请具有如下优点或者有益效果：

本发明提出了一组多尺度融合卷积模块，在单个卷积操作中集成了不同尺寸的卷积核，并利用分组卷积降低参数量，使得多尺度卷积模块在没有增加参数量的前提下，提高了网络的特征处理能力。其中，利用小尺寸的卷积核关注图片中的细节信息和小尺寸目标，利用大尺寸卷积核关注图片中的整体信息和较大目标。输入的特征图由所有卷积核处理完毕之后，将所有卷积核输出的特征图融合作为整个多尺度融合卷积模块的输出。之后，本发明利用NAS技术，将所述多尺度融合卷积模块集成到神经网络架构中，作为目标检测模型的主干网络，可有效的提高所述主干网络的特征提取能力。

附图说明

图1是本发明的算法流程图；

图2是本发明的一个目标检测模型架构示意图；

图3是本发明的一个多尺度融合卷积模块示意图；

图4是本发明的一个模块搜索空间示意图。

具体实施方式

结合以下具体实施例，对本发明的优选实施方案进行描述，但不能以此限制本专利的保护范围。

为了达到上述目的，本申请提供了一种基于多尺度融合卷积的目标检测模型搜索方法，算法流程图如图1所示，包括以下步骤：

步骤S1，构建模块搜索空间，其中包含一组多尺度融合卷积模块；给定带有标签的目标检测数据集，并将该数据集划分为训练集，验证集和测试集；

步骤S2，种群初始化，构建初始种群。初始种群中包含N个个体，每个个体以输入层为第一层，封装数个子网络，每个子网络中封装从操作搜索空间中随机采样数个模块，以全连接层为输出层，并对每个个体进行编码，产生N条染色体。所述M为大于1的自然数；

步骤S3，由初始种群中的所有个体组成超网络(one-shot model)，并基于ImageNet数据集，利用采样训练的方法对超网络进行预训练，直到超网络模型收敛，并得到超网络权值W_*；

步骤S4，为每一个个体融合边界框生成网络(Region Proposal Network,RPN)，使得每个个体成为一个目标检测模型；

步骤S5，每个个体A_i从超网络中继承相应的权值

之后在训练集上进行训练，直至收敛。

步骤S5，基于验证集，利用mAP值作为适应度函数，对每个个体进行适应度评估；

步骤S6，利用锦标赛选择法从所述种群中选择数个个体，组成第一种群；

步骤S7，根据交叉率p_c，利用多点交叉方法对第一种群中的个体染色体进行两两交叉，得到数个个体染色体，组成第二种群；

步骤S8，根据变异率p_m，对第二种群中的个体染色体的某一模块进行替换或者删除；

步骤S9，基于训练集，对第二种群的每个个体进行训练，直至个体收敛；基于验证集，利用mAP值作为适应度函数，对第二种群中进行适应度评估；

步骤S10，将第一种群和第二种群中的个体合并，根据适应度值排序，选出适应度排名前N个个体，并反馈至步骤S6，直到达到预设的进化代数，之后输出适应度值最优的个体作为搜索到的目标检测模型。

如图4所示，所述的模块搜索空间中共包含9种模块，其中有5种普通模块，分别为：卷积核为3的卷积层、卷积核为5的卷积层、卷积核为7的卷积层、池化核为3的最大池化层，池化核为3的平均池化层；4种多尺度融合卷积模块，其中，模块7拥有3个分支，模块6、模块8、模块9拥有2个分支。

所述多尺度融合卷积模块由M个分支组成，每个分支包含有一种尺寸的卷积核，从分支1至分支M，卷积核的尺寸逐层递增。为了降低多尺度融合卷积模块的计算量，在不同分支需利用分组卷积的思想，根据卷积核的尺寸，对各自分支的卷积核进行分组，降低卷积核之间的连接密度。每个分支将所述多尺度融合卷积模块的输入特征图作为分支的输入，经过各自卷积核处理之后的输入，通过拼接操作沿着深度维度进行拼接作为所述多尺度融合卷积模块的输出，所述拼接之后的通道数需与所述多尺度融合卷积模块的输入数据的通道数相同。如图3所示，示例的多尺度融合卷积由3个分支组成，分支1的卷积核为7，输入通道数为8，卷积分组数为4，每组卷积的输出通道为1，即分支1的输出通道数为4；分支2的卷积核为5，输入通道数为8，卷积分组数为2，每组卷积的输出通道数为1，即分支2的输出通道数为2；分支3的卷积核为3，输入通道数为8，卷积分组数为1，每组卷积的输出通道数为2。将所有分支的输出通道数拼接，即所示例的多尺度融合卷积的输出通道数为8。

所述的每个个体中，以输入层为第一层，封装5个子网络，以全连接层为输出层。

利用采样训练的方法基于ImageNet数据集对超网络进行预训练，即每一个mini-batch随机从初始种群中有放回的采样一个个体进行，直到达到预设的采样训练次数。个体在所述mini-batch数据完成训练之后，会保留训练权值w_*(i),在下次被采样之后，会继承之前采样训练得到的权值w_*(i)，继续训练。

为每一个个体融合RPN网络，使得每个个体成为一个目标检测模型，具体步骤为：

为了进一步提高模型的特征融合能力，即具有强语义特征的深层特征核分辨率高的浅层特征。如图2所示，本发明分别将第一子网络、第三子网络、第五子网络的输出特征图进行融合，其中，第一子网络对应着浅层特征，第三子网络对应着中层特征，第五子网络对应着深层特征。然后对浅层的特征图进行最大池化，对深层的特征进行反卷积，使得二者的分辨率都与中层特征图的分辨率相同。所述的三个子网络输出的特征图由一个卷积核为1的卷积层统一为通道数为42的特征图，然后通过一个通道拼接操作，将所述三个子网络的输出特征图沿深度维度拼接到一起，得到一个126维的特征图，然后将该组特征图输入到RPN网络中。在RPN网络中，对每一维特征图上的每一个点都生成9个anchors。定义anchor的大小为：32×32，64×64，128×128，256×256，512×512，比例设置为1:2，1:1，2:1。RPN网络输出的预测值包含有预测值(Dets)包含有物体类别、边框位置的4位回归向量(x,y,w,h)、该物体的得分，由分类层，回归层产生。标签值(GTs)中包含物体类别、边框位置的4位真值向量。对每一个anchor，都对应一个N维的一位有效编码(one-hot)向量，N为物体类别数，对于分类层来说，每个anchor都要N个类别，即一个N维向量，表示每一类的概率，基于one-hot编码，选择概率值最高的设置为1，其余N-1类设置为0。此外，每个anchor的4位回归向量(x,y,w,h)由回归层输出，用于预测anchor和它相对应的标签框位置的偏移量以精修anchor的位置，并计算损失。分类层和回归层参数不共享。此外，RPN输出的特征图，将通过ROI池化操作，将所有特征图的尺寸统一为7×7，进一步输入到全连接网络中，预测每一个每一个RoI的分类，并预测偏移量以精修边框的位置，并计算损失。

利用mAP值作为适应度函数，其表达式为：

其中，P为类别j的准确率，R为类别j的召回率，AP_j为类别j的AP值，H为数据集中的类别总数。

利用锦标赛选择法从所述种群中选择数个个体，组成第一种群，具体步骤如下：

步骤S61，种群中的每个个体获得自己的适应度值f(x_a)，其中，a＝(1,2,……,N)；

步骤S62，从种群中随机挑选两个个体，将适应度值较高的个体保留至第一种群；

步骤S63，重复步骤S62，直到产生预定数量的个体，组成第一种群。

根据交叉率p_m，利用多点交叉方法对第一种群中的个体染色体进行两两交叉，得到数个个体染色体，组成第二种群，具体步骤为：

步骤S71，在区间[0,1]内随机产生一个数r，随机从第一种群中选择两个个体

步骤S72，若r<p_m,将两个个体对应的染色体，沿左侧对齐，随机选择数个基因点作为交叉点，将相同位置的基因交换；并将交换后的染色体保留至第二种群，并依次解码为神经网络架构；

步骤S73，若r>p_m，将两个个体保留至第二种群中，不执行任何操作；

根据变异率p_m，对第二种群中的个体染色体的某一模块进行替换或者删除，具体步骤为：

步骤S81，在区间[0,1]内随机产生任一个体对应的一个随机数t；

步骤S82，若r<p_m，则执行变异，将该个体中的某一模块进行替换或者删除；

步骤S83，若r>p_m，则不执变异。

以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于多尺度融合卷积的目标检测模型搜索方法，其特征在于，包括以下步骤：

步骤S1，构建模块搜索空间，其中包含一组多尺度融合卷积模块；给定带有标签的目标检测数据集，并将该数据集划分为训练集，验证集和测试集；

步骤S2，种群初始化，构建初始种群，初始种群中包含N个个体，每个个体以输入层为第一层，封装数个子网络，每个子网络中封装从操作搜索空间中随机采样数个模块，以全连接层为输出层，并对每个个体进行编码，产生N条染色体，所述M为大于1的自然数；

步骤S3，由初始种群中的所有个体组成超网络(one-shot model)，并基于ImageNet数据集，利用采样训练的方法对超网络进行预训练，直到超网络模型收敛，并得到超网络权值W_*；

步骤S4，为每一个个体融合边界框生成网络(Region Proposal Network,RPN)，使得每个个体成为一个目标检测模型；

步骤S5，每个个体A_i从超网络中继承相应的权值

之后在训练集上进行训练，直至收敛；

步骤S5，基于验证集，利用mAP值作为适应度函数，对每个个体进行适应度评估；

步骤S6，利用锦标赛选择法从所述种群中选择数个个体，组成第一种群；

步骤S7，根据交叉率p_c，利用多点交叉方法对第一种群中的个体染色体进行两两交叉，得到数个个体染色体，组成第二种群；

步骤S8，根据变异率p_m，对第二种群中的个体染色体的某一模块进行替换或者删除；

步骤S9，基于训练集，对第二种群的每个个体进行训练，直至个体收敛；基于验证集，利用mAP值作为适应度函数，对第二种群中进行适应度评估；

步骤S10，将第一种群和第二种群中的个体合并，根据适应度值排序，选出适应度排名前N个个体，并反馈至步骤S6，直到达到预设的进化代数，之后输出适应度值最优的个体作为搜索到的目标检测模型。

2.根据权利要求1所述的一种基于多尺度融合卷积的目标检测模型搜索方法，其特征在于，所述多尺度融合卷积模块由M个分支组成，每个分支包含有一种尺寸的卷积核，从分支1至分支M，卷积核的尺寸逐层递增，为了降低多尺度融合卷积模块的计算量，在不同分支需利用分组卷积的思想，根据卷积核的尺寸，对各自分支的卷积核进行分组，降低卷积核之间的连接密度，每个分支将所述多尺度融合卷积模块的输入特征图作为分支的输入，经过各自卷积核处理之后的输入，通过拼接操作沿着深度维度进行拼接作为所述多尺度融合卷积模块的输出，所述拼接之后的通道数需与所述多尺度融合卷积模块的输入数据的通道数相同。

3.根据权利要求1所述的一种基于多尺度融合卷积的目标检测模型搜索方法，其特征在于，所述利用采样训练的方法基于ImageNet数据集对超网络进行预训练，即每一个mini-batch随机从初始种群中有放回的采样一个个体进行，直到达到预设的采样训练次数。个体在所述mini-batch数据完成训练之后，会保留训练权值w_*(i),在下次被采样之后，会继承之前采样训练得到的权值w_*(i)，继续训练。

4.根据权利要求1所述的一种基于多尺度融合卷积的目标检测模型搜索方法，其特征在于，利用所述mAP值作为适应度函数，其表达式为：

其中，P为类别j的准确率，R为类别j的召回率，AP_j为类别j的AP值，H为数据集中的类别总数。

5.根据权利要求1所述的一种基于多尺度融合卷积的目标检测模型搜索方法，其特征在于，利用所述锦标赛选择法从所述种群中选择数个个体，组成第一种群，具体步骤如下：

步骤S61，种群中的每个个体获得自己的适应度值f(x_a)，其中，a＝(1,2,……,N)；

步骤S62，从种群中随机挑选两个个体，将适应度值较高的个体保留至第一种群；

步骤S63，重复步骤S62，直到产生预定数量的个体，组成第一种群。

6.根据权利要求1所述的一种基于多尺度融合卷积的目标检测模型搜索方法，其特征在于，根据所述交叉率p_m，利用多点交叉方法对第一种群中的个体染色体进行两两交叉，得到数个个体染色体，组成第二种群，具体步骤为：

步骤S71，在区间[0,1]内随机产生一个数r，随机从第一种群中选择两个个体

步骤S72，若r<p_m,将两个个体对应的染色体，沿左侧对齐，随机选择数个基因点作为交叉点，将相同位置的基因交换；并将交换后的染色体保留至第二种群，并依次解码为神经网络架构；

步骤S73，若r>p_m，将两个个体保留至第二种群中，不执行任何操作。

7.根据权利要求1所述的一种基于多尺度融合卷积的目标检测模型搜索方法，其特征在于，根据所述变异率p_m，对第二种群中的个体染色体的某一模块进行替换或者删除，具体步骤为：

步骤S81，在区间[0,1]内随机产生任一个体对应的一个随机数t；

步骤S82，若r<p_m，则执行变异，将该个体中的某一模块进行替换或者删除；

步骤S83，若r>p_m，则不执变异。

Images