CN113128558A - 基于浅层空间特征融合与自适应通道筛选的目标检测方法 - Google Patents

Abstract

本发明请求保护一种基于浅层空间特征融合与自适应通道筛选的目标检测方法，包括如下步骤：获取数据集，选取并划分目标检测任务所需的训练集和验证集；对训练集图像进行数据增强，分别对训练集图像和验证集图像中的样本图像进行数据增强；数据输入基于Pytorch开源深度学习框架设计的卷积神经网络中；输出图像中可能存在的目标的位置与类别信息；计算网络模型的输出信息与对应标注信息的损失，训练并优化检测模型；利用优化后的模型参数，检测真实场景图像中是否存在目标，得到相应的目标检测框。本发明采用浅层空间特征融合的方式，提升网络的特征提取能力，实现了端到端的目标检测方法。

Description

基于浅层空间特征融合与自适应通道筛选的目标检测方法

技术领域

本发明属于卷积神经网络和目标检测技术，尤其涉及基于卷积神经网络的 浅层特征融合与自适应通道筛选的目标检测方法。

背景技术

目标检测是计算机视觉中重要的研究课题之一，其研究结果对于其它的视 觉任务有着重要的影响作用。随着人工智能理论的发展，基于深度学习的目标 检测算法已经逐渐取代了传统的算法，成为了计算机领域的热门研究课题，揭 开了人工智能时代的大幕。其作为图像理解和计算机视觉的基石，已经在机器 人视觉、消费电子产品、安保、自动驾驶、人机交互、基于内容的图像检索和 智能视频监控等许多领域开始了广泛的应用。

目前基于卷积神经网络的目标检测方法分为单阶段网络和两阶段网络两类， 单阶段网络中比较经典的算法包括：YOLO系列算法和SSD网络，而两阶段网络 包括：RCNN系列算法以及基于RCNN改进的算法等。目标检测方法研究的难点在 于如何在复杂坏境下实现不同目标的定位与类别标定。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于浅层空间特征融合与 自适应通道筛选的目标检测方法。本发明的技术方案如下：

一种基于浅层空间特征融合与自适应通道筛选的目标检测方法，其包括以下 步骤：

1)、获取用于目标检测的数据集，选取并划分目标检测任务所需的训练集 和验证集；

2)、对训练集图像进行数据增强，分别对训练集图像和验证集图像中的样 本图像进行数据增强；其中数据增强包括光度畸变和几何畸变；

3)、将步骤2)处理后的数据输入基于Pytorch开源深度学习框架设计的卷 积神经网络中，所述卷积神经网络包括浅层空间特征融合模块和自适应通道筛 选模块，浅层空间特征融合模块用于下采样过程中的多尺度特征融合，自适应 通道筛选模块用于对融合后的特征图进行通道权重再分配，输出图像中可能存 在目标的位置与类别信息；

4)、计算网络模型的输出信息与对应标注信息的损失，采用位置分类损失 函数联合训练并优化检测模型；

5)、利用优化后的模型参数，检测真实场景图像中是否存在目标，得到相 应的目标检测框。

进一步的，所述步骤1)训练集图像和验证集图像，在将PascalVOC 2007 与2012数据集进行合并后，按照9:1的比例划分为训练集图像与验证集图像。

进一步的，所述步骤2)的光度畸变包括随机亮度、随机对比度、随机色调 和随机饱和度，几何畸变包括随机扩展、随机裁剪、随机翻转。

进一步的，所述步骤3)卷积神经网络包括：

基础网络模块，采用VGG-16网络，并将VGG-16的全连接层fc6和fc7转 换成3×3的卷积层Conv6和1×1卷积层Conv7，同时在后面增加了8个卷积层； 用于生成不同尺度的特征图；

浅层空间特征融合模块，根据不同的应用场景，该模块具体分为3类，第 一类适用于8倍下采样特征融合，第二类适用于4倍下采样特征融合，第三类 适用于2倍下采样特征融合；

自适应通道筛选模块，首先通过全局平均池化操作获取每个特征通道的信 息量大小，再通过两个全连接层以及激活层获取特征通道注意力向量，通过学 习的方式自适应地为每个通道分配不同的权重；

目标检测框生成模块，用于生成目标位置、类别及其置信度信息。

进一步的，所述第一类适用于8倍下采样特征融合，包含两组深度可分离卷 积模块、两个抗锯齿卷积层与一次平均池化下采样操作，第一组深度可分离卷 积中的深度卷积层的卷积核大小为3×3，膨胀率为5，第二组对应的膨胀率为3， 平均池化执行两倍下采样操作；抗锯齿卷积层用于降低下采样过程中引入的混 叠效应；

第二类适用于4倍下采样特征融合，包含一组深度可分离卷积模块、一个 抗锯齿卷积层与一次池化下采样操作；第三类适用于2倍下采样特征融合，包 含一组深度可分离卷积与抗锯齿卷积层。

进一步的，所述自适应通道筛选模块中，特征通道注意力向量 W＝σ(W₂(δ(W₁)))，C表示通道数，此处取值为1664，σ表示sigmoid激活函 数，δ表示ReLU激活函数，W₁和W₂∈R^{C ×C/r}分别表示两个全连接层参数，r表示 维度收缩比例。

进一步的，所述步骤4)优化卷积神经网络参数采用的位置分类损失函数为Smooth L1损失函数，位置分类损失函数为多分类交叉熵损失函数与基于余弦距 离的损失函数之和；

位置损失函数为Smooth L1函数，公式如下：

L_loc(x)表示定位损失函数，x表示位置信息预测向量与位置标签向量的差。

分类损失函数公式如下：

L＝L_ce+L_cos

L_ce表示多分类交叉熵损失函数，L_cos表示基于余弦距离的分类损失函数，L 表示总的分类损失函数。

设p为实际的标签分布，p^*为模型预测的标签分布，N表示当前的类别总数， 则有：

设x_i，y_i分别表示模型预测的分类结果向量与数据集对应标签经过one-hot 编码后得到的向量，ε＝1e-5，则有：

其中：

该损失函数利用余弦距离的性质“当两个向量方向相同时其余弦相似度为1， 正交时为0，相反时为-1”，使得目标分类的结果更加准确。

本发明的优点及有益效果如下：

本发明基于卷积神经网络，首先构建了一类全局特征融合(Global FeatureFusion,GFF)模块，该模块加强了对CNN模型全局特征的利用， 同时该模块的参数量小，可以在保证检测速度的条件下使检测模型更加准 确；其次设计了一组自适应通道筛选操作，在特征融合完成之后，进行一 次通道权重再分配，提升了有效特征所在通道的权重；最后，在网络模型 训练的过程中改进了目标分类损失函数。在交叉熵损失函数的基础上附加 了一个基于余弦距离的分类损失函数，该损失函数利用余弦距离的内积性 质，使目标检测模型的分类结果更加稳定。

附图说明

图1是本发明提供优选实施例的流程图；

图2是三类GFF模块结构图；

图3是自适应通道筛选模块结构图；

图4是真实场景下目标检测结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，一种基于浅层空间特征融合与自适应通道筛选的目标检测方 法，图像数据在经过主干网络的过程中，全局特征融合GFF模块同步完成了浅 层特征融合操作，将融合后的特征图与主干网络中的部分特征图输入目标检测 框生成模块，完成最终的目标定位、分类任务。具体分为以下步骤：

1)、获取数据集，选取并划分目标检测任务所需的训练集和验证集；

2)、对训练集图像进行数据增强，分别对训练集图像和验证集图像中的样 本图像进行数据增强；

3)、将步骤2)处理后的数据输入基于Pytorch开源深度学习框架设计的卷 积神经网络中；输出图像中可能存在的目标的位置与类别信息；

4)、计算网络模型的输出信息与对应标注信息的损失，训练并优化检测模 型；

5)、利用优化后的模型参数，检测真实场景图像中是否存在目标，得到相 应的目标检测框。

所述的一种基于浅层特征融合与自适应通道筛选的目标检测方法，其中所 述步骤1)训练集图像和验证集图像，是在将PascalVOC 2007与2012数据集进 行合并后，按照9:1的比例划分而来。

所述的一种基于浅层特征融合与自适应通道筛选的目标检测方法，其中所 述步骤2)的数据增强操作为：

将待训练的数据进行光度畸变和几何畸变，其中光度畸变包括随机亮度、 随机对比度、随机色调和随机饱和度，几何畸变包括随机扩展、随机裁剪、随 机翻转。最终将输入图像的大小缩放为320×320，完成数据增强。

所述的一种基于浅层特征融合与自适应通道筛选的目标检测方法，其中所 述步骤3)的卷积神经网络包括：

(1)基础网络模块，采用VGG-16网络，并将VGG-16的全连接层fc6和fc7 转换成3×3的卷积层Conv6和1×1卷积层Conv7，同时在后面增加了8个卷积层； 用于生成不同尺度的特征图；

(2)浅层空间特征融合模块，根据不同的应用场景，该模块具体分为3， 第一类适用于8倍下采样特征融合，包含两组深度可分离卷积模块、两个抗锯 齿卷积层与一次平均池化下采样操作，第一组深度可分离卷积中的深度卷积层 的卷积核大小为3×3，膨胀率为5，第二组对应的膨胀率为3，平均池化执行两 倍下采样操作；第二类适用于4倍下采样特征融合，包含一组深度可分离卷积 模块、一个抗锯齿卷积层与一次池化下采样操作。第三类适用于2倍下采样特 征融合，包含一组深度可分离卷积与抗锯齿卷积；

(3)自适应通道筛选模块，首先通过全局平均池化操作获取每个特征通道 的信息量大小，再通过两个全连接层以及激活层获取特征通道注意力向量，通 过学习的方式可以自适应地为每个通道分配不同的权重，其中特征通道注意力 向量W＝σ(W₂(δ(W₁)))，C表示通道数，此处取值为1664，σ表示sigmoid激 活函数，δ表示ReLU激活函数，W₁和W₂∈R^C×C/r分别表示两个全连接层参数，r 表示维度收缩比例。

(4)目标检测框生成模块，用于生成目标位置、类别及其置信度信息。

所述的一种基于浅层特征融合与自适应通道筛选的目标检测方法，其中步 骤4)，包括：

计算网络模型的输出信息与对应标注信息的损失，训练并优化检测模型； 具体包括：

在步骤3)生成的特征图中，选择六组不同大小的特征图。按照特征图从小 到大的顺序，依次在对应的特征图单元上生成4，6，6，6，4，4个默认框，通 过计算默认框与真实边界框之间的交并比并根据设定的阈值(0.5)将默认框分 成正负两类样本。在经过正负比例样本平衡后，此时的每个预测框包含了各自 的位置与类别标签。

在获得预测框的标签后可以计算对应的位置损失与分类损失。位置损失函 数为Smooth L1函数，公式如下：

将分类损失函数定义为多分类交叉熵损失函数与基于余弦距离的损失函数 之和。公式如下：

L＝L_ce+L_cos

设p为实际的标签分布，p^*为模型预测的标签分布，N表示当前的类别总数， 则有：

设x_i，y_i分别表示模型预测的分类结果向量与数据集对应标签经过one-hot 编码后得到的向量，ε＝1e-5，则有：

其中：

根据以上定义的损失函数，迭代训练设计的卷积神经网络模型，完成模型 框架参数的优化与更新，实现基于浅层特征融合与自适应通道筛选的目标检测 方法。

所述的一种基于浅层特征融合与自适应通道筛选的目标检测方法，其中步 骤5)，包括：

利用优化后的模型，选择验证集图像测试已训练模型的检测性能，即通过 前向传播，计算目标位置、类别及置信度，最后标注出相应的目标位置框。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅 包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过 程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包 括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者 设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于浅层空间特征融合与自适应通道筛选的目标检测方法，其特征在于，包括以下步骤：

1)、获取用于目标检测的数据集，选取并划分目标检测任务所需的训练集和验证集；

2)、对训练集图像进行数据增强，分别对训练集图像和验证集图像中的样本图像进行数据增强；其中数据增强包括光度畸变和几何畸变；

3)、将步骤2)处理后的数据输入基于Pytorch开源深度学习框架设计的卷积神经网络中，所述卷积神经网络包括浅层空间特征融合模块和自适应通道筛选模块，浅层空间特征融合模块用于下采样过程中的多尺度特征融合，自适应通道筛选模块用于对融合后的特征图进行通道权重再分配，输出图像中可能存在目标的位置与类别信息；

4)、计算网络模型的输出信息与对应标注信息的损失，采用位置分类损失函数联合训练并优化检测模型；

5)、利用优化后的模型参数，检测真实场景图像中是否存在目标，得到相应的目标检测框。

2.根据权利要求1所述的基于浅层空间特征融合与自适应通道筛选的目标检测方法，其特征在于，所述步骤1)训练集图像和验证集图像，在将PascalVOC 2007与2012数据集进行合并后，按照9:1的比例划分为训练集图像与验证集图像。

3.根据权利要求1所述的基于浅层空间特征融合与自适应通道筛选的目标检测方法，其特征在于，所述步骤2)的光度畸变包括随机亮度、随机对比度、随机色调和随机饱和度，几何畸变包括随机扩展、随机裁剪、随机翻转。

4.根据权利要求1所述的基于浅层空间特征融合与自适应通道筛选的目标检测方法，其特征在于，所述步骤3)卷积神经网络包括：

基础网络模块，采用VGG-16网络，并将VGG-16的全连接层fc6和fc7转换成3×3的卷积层Conv6和1×1卷积层Conv7，同时在后面增加了8个卷积层；用于生成不同尺度的特征图；

浅层空间特征融合模块，根据不同的应用场景，该模块具体分为3类，第一类适用于8倍下采样特征融合，第二类适用于4倍下采样特征融合，第三类适用于2倍下采样特征融合；

自适应通道筛选模块，首先通过全局平均池化操作获取每个特征通道的信息量大小，再通过两个全连接层以及激活层获取特征通道注意力向量，通过学习的方式自适应地为每个通道分配不同的权重；

目标检测框生成模块，用于生成目标位置、类别及其置信度信息。

5.根据权利要求4所述的基于浅层空间特征融合与自适应通道筛选的目标检测方法，其特征在于，所述第一类适用于8倍下采样特征融合，包含两组深度可分离卷积模块、两个抗锯齿卷积层与一次平均池化下采样操作，第一组深度可分离卷积中的深度卷积层的卷积核大小为3×3，膨胀率为5，第二组对应的膨胀率为3，平均池化执行两倍下采样操作；抗锯齿卷积层用于降低下采样过程中引入的混叠效应；

第二类适用于4倍下采样特征融合，包含一组深度可分离卷积模块、一个抗锯齿卷积层与一次池化下采样操作；第三类适用于2倍下采样特征融合，包含一组深度可分离卷积与抗锯齿卷积层。

6.根据权利要求4所述的基于浅层空间特征融合与自适应通道筛选的目标检测方法，其特征在于，所述自适应通道筛选模块中，特征通道注意力向量W＝σ(W₂(δ(W₁)))，C表示通道数，此处取值为1664，σ表示sigmoid激活函数，δ表示ReLU激活函数，W₁和W₂∈R^C×C/r分别表示两个全连接层参数，r表示维度收缩比例。

7.根据权利要求4所述的基于浅层空间特征融合与自适应通道筛选的目标检测方法，其特征在于，所述步骤4)优化卷积神经网络参数采用的位置分类损失函数为Smooth L1损失函数，位置分类损失函数为多分类交叉熵损失函数与基于余弦距离的损失函数之和；

位置损失函数为Smooth L1函数，公式如下：

L_loc(x)表示定位损失函数，x表示位置信息预测向量与位置标签向量的差；

分类损失函数公式如下：

L＝L_ce+L_cos

L_ce表示多分类交叉熵损失函数，L_cos表示基于余弦距离的分类损失函数，L表示总的分类损失函数；

设p为实际的标签分布，p^*为模型预测的标签分布，N表示当前的类别总数，则有：

设x_i，y_i分别表示模型预测的分类结果向量与数据集对应标签经过one-hot编码后得到的向量，ε＝1e-5，则有：

其中：

该损失函数利用余弦距离的性质“当两个向量方向相同时其余弦相似度为1，正交时为0，相反时为-1”，使得目标分类的结果更加准确。

Images