CN114283320A - 基于全卷积的无分支结构目标检测方法 - Google Patents

Abstract

本发明涉及一种基于全卷积的无分支结构标检测方法，包括以下步骤：步骤S1:获取目标检测数据集，并预处理，生成训练集；步骤S2:构建可重参数化的多分支全卷积网络模型；步骤S3:基于训练集对可重参数化的多分支全卷积网络模型进行训练，通过随机梯度下降方法，优化模型参数；步骤S4:对训练好的多分支全卷积网络模型进行重参数化，构建无分支全卷积网络，作为推理模型；步骤S5:将待测试图像输入推理模型进行测试。本发明能够有效地减少边缘小目标的漏检。

Description

基于全卷积的无分支结构目标检测方法

技术领域

本发明涉及模式识别与计算机视觉领域，具体涉及一种基于全卷积的无分支结构目标检测方法。

背景技术

目标检测是与计算机视觉和图像处理相关的计算机技术，是许多计算机视觉任务的基础，现阶段的目标检测算法为了解决网络退化问题设计更深的网络模型，网络中加入了旁路分支，拓扑结构越来越复杂。复杂的拓扑结构会导致的模型内存效率较低，因为每个分支的结果都需要保留到加法或级联之后，显著提高了内存占用。相比之下，无分支结构中的结果在操作完成时立即释放。并且复杂的拓扑结构的优点都是针对训练阶段，在应用时去除掉一些复杂的结构可以提高检测速度，重点关注于如何保证在测试阶段模型的精度。

发明内容

有鉴于此，本发明的目的在于提供一种基于全卷积的无分支结构目标检测方法，能够有效地减少边缘小目标的漏检，提高图像检测效率。

为实现上述目的，本发明采用如下技术方案：

一种基于全卷积的无分支结构目标检测方法，包括以下步骤：

步骤S1:获取目标检测数据集，并预处理，生成训练集；

步骤S2:构建可重参数化的多分支全卷积网络模型；

步骤S3:基于训练集对可重参数化的多分支全卷积网络模型进行训练，通过随机梯度下降方法，优化模型参数；

步骤S4:对训练好的多分支全卷积网络模型进行重参数化，构建无分支全卷积网络，作为推理模型；

步骤S5:将待测试图像输入推理模型进行测试。

进一步的，所述预处理具体为：对图像进行水平翻转和垂直翻转，图像翻转的概率设为0.5。

进一步的，所述步骤S2具体为:

步骤S21：使用ResNet作为主干网络的CenterNet目标检测模型作为基线模型,对ResNet的跳跃连接进行修改，一个ResNet基本块中包含两种跳跃连接，一种是当前层输出和输入特征图的尺度相同，直接对两个图像进行相加融合，一种是当前层输出特征图和输入特征图的尺度不同，使用1×1卷积对输入特征图进行通道变换后再与输出特征相加融合获得下一层的输入；

当尺度匹配时加入1×1卷积分支，不匹配时加入3×3卷积分支，并且每一个分支在卷积操作后加上批量归一化；对于尺度匹配的连接，设输入特征图为F₁，通过当前层的3×3卷积操作后输出值为f₁(F₁)，设批量归一化操作为BN(X)，表示对输入X进行批量归一化，则BN(F₁)表示对特征图F₁进行批量归一化，则下一层的输入特征图Y₁为：

Y₁＝BN(g₁(F₁))+BN(f₁(F₁))+BN(F₁)

其中g₁(F₁)是加入的1×1卷积分支的输出值，对于尺度匹不配的连接，设输入特征图为F₂，通过当前层的3×3卷积操作后输出值为f₂(F₂)，则下一层的输入特征图Y₂为：

Y₂＝BN(g₂(F₂))+BN(f₂(F₂))+BN(H(F₂))

其中g₂(F₂)是网络原来的1×1卷积分支的输出值，H(F₂)是加入的3×3卷积分支的输出值；对每一个卷积操作加入分支结构，扩展为三个分支。

步骤S22：在步骤S21改进的ResNet网络后加上ECA注意力模块，将改进后的ResNet网络获得的特征值送入ECA注意力模块，构建可重参数化的多分支可重参数化的全卷积网络模型。

进一步的，所述步骤S3具体为：训练阶段使用随机初始化方法初始化网络参数，设置初始学习率设置为1.25e-2，每过5轮将学习率乘以0.9998，使用动量为0.9的随机梯度下降优化方法，通过最小化损失获得模型的最优参数，得到训练好的可重参数化的多分支可重参数化的全卷积网络模型。

进一步的，所述步骤S4具体为:

步骤S41：将训练好的可重参数化的多分支可重参数化的全卷积网络模型中每一个卷积操作扩展为三个分支，若网络中一共包含n个卷积层，那么扩展后网络包含3n个处理过程，推理模型需要将3n个处理过程通过重参数化的方法转化为n个处理过程；用C_in表示卷积操作中的参数输入通道数，C_out表示输出通道数，对于尺度匹配的连接，设用

表示当前层主干3×3卷积的权值，则

为加入的旁路1×1卷积的权值，μ、σ、γ、β为批量归一化层的累积均值、标准差、学习的缩放因子和偏差，F为输出特征图,W为对应卷积层的权值；设

为3×3卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差；

为加入的1×1卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差，

为输入值直接批量归一化层的累积均值、标准差、学习的缩放因子和偏差，那么训练阶段网络模型中对于输入特征图F，将使用Bn(F*W,μ,σ,γ,β)来表示批量归一化具体计算过程，*表示卷积：

步骤S42：根据步骤S41中批量归一化的计算公式，输入特征图F₁与下一层的输入特征图Y₁计算关系进一步表示为：

根据训练好的模型权值重新构造测试模型需要的参数值，将多个分支结构的权值压缩到一个卷积中，将式子化简后的值使用一个卷积代替，简化后的计算公式为：

测试阶段使用的压缩后的卷积的权值和偏移量{W'₁,b'₁}的公式如下:

得到测试阶段的为分支结构的计算关系为：

Y₁＝F₁*W'₁+b'₁

步骤S43：根据步骤S42化简后的公式直接用于对于尺度不匹配的连接，输入通道数为C_in，输出通道数为C_o枰t的情况，用

表示当前层的主干3×3卷积的权值，

为当前层1×1卷积的权值，则

为加入的3×3卷积的权值；设

为3×3卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差；

为旁路1×1卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差，μ⁽³⁾、σ⁽³⁾、γ⁽³⁾、β⁽³⁾为加入的旁路3×3卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差，测试阶段使用的卷积的权值因此测试阶段使用的卷积的权值{W'₂,b'₂}的公式如下:

因此测试阶段网络模型中对于输入特征图F₂得

Y₂＝F₂*W'₂+b'₂

步骤S44：对网络结构进行判断，对于尺度匹配的连接使用{W'₁,b'₁}计算的新权值复制给主干3×3卷积进行重参数化，对于尺度不匹配的连接使用{W'₁,b'₂}计算的新权值复制给主干3×3卷积进行重参数化，并删除旁路分支结构，构建无分支全卷积网络模型作为推理模型。

进一步的，所述步骤S5具体为：将待测图像输入推理模型进行预测，设置阈值为0.5到0.95，根据预测概率选出符合要求预测框。

本发明与现有技术相比具有以下有益效果：

本发明在训练阶段使用可重参数化的多分支结构网络解决网络训练的退化问题，将训练好的模型通过模型重参数化获得推理阶段使用的无分支结构的网络模型，解决了模型复杂检测速度慢的问题，能够有效地减少边缘小目标的漏检，提高图像检测效率。

附图说明

图1是本发明方法流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于全卷积的无分支结构目标检测方法，具体包括以下步骤：

步骤S1：获取目标检测数据集，预处理后生成训练集；

步骤S2：构建可重参数化的多分支全卷积网络模型作为训练阶段使用的模型；

步骤S3：对步骤S2构建的可重参数化的多分支可重参数化的全卷积网络模型进行训练，通过随机梯度下降方法，优化模型参数；

步骤S4：对步骤S3训练好的模型进行重参数化，构建无分支全卷积网络模型作为推理阶段使用的模型；

步骤S5：使用步骤S4构建的推理模型对待测试图像进行测试。

在本实施例中，包括步骤S1具体包括以下步骤：

步骤S11：获取目标检测数据集，包括训练集和测试集。

步骤S12：对步骤S11获得的训练集图像进行水平翻转和垂直翻转，图像翻转的概率设为0.5。

在本实施例中，步骤S2具体包括以下步骤：

步骤S21：使用ResNet作为主干网络的CenterNet目标检测模型作为基线模型。对ResNet的跳跃连接进行修改，一个ResNet基本块中包含两种跳跃连接，一种是当前层输出和输入特征图的尺度相同，直接对两个图像进行相加融合，一种是当前层输出特征图和输入特征图的尺度不同，使用1×1卷积对输入特征图进行通道变换后再与输出特征相加融合获得下一层的输入。当尺度匹配时加入1×1卷积分支，不匹配时加入3×3卷积分支，并且每一个分支在卷积操作后加上批量归一化。对于尺度匹配的连接，设输入特征图为F₁，通过当前层的3×3卷积操作后输出值为f₁(F₁)，设批量归一化操作为BN(X)，表示对输入X进行批量归一化，则BN(F₁)表示对特征图F₁进行批量归一化，则下一层的输入特征图Y₁为：

Y₁＝BN(g₁(F₁))+BN(f₁(F₁))+BN(F₁)

其中g₁(F₁)是加入的1×1卷积分支的输出值，对于尺度匹不配的连接，设输入特征图为F₂，通过当前层的3×3卷积操作后输出值为f₂(F₂)，则下一层的输入特征图Y₂为：

Y₂＝BN(g₂(F₂))+BN(f₂(F₂))+BN(H(F₂))

其中g₂(F₂)是网络原来的1×1卷积分支的输出值，H(F₂)是加入的3×3卷积分支的输出值。对每一个卷积操作加入分支结构，扩展为三个分支(加入的1×1卷积和3×3卷积分支)。

步骤S22：在步骤S21改进的ResNet网络后加上ECA注意力模块，将改进后的ResNet网络获得的特征值送入ECA注意力模块，从而优化后的特征值，构建可重参数化的多分支可重参数化的全卷积网络模型。

在本实施例中，步骤S3具体包括：

训练阶段使用随机初始化方法初始化网络参数，设置初始学习率设置为1.25e-2，每过5轮将学习率乘以0.9998，使用动量为0.9的随机梯度下降优化方法，通过最小化损失获得模型的最优参数，得到训练好的可重参数化的多分支可重参数化的全卷积网络模型。

在本实施例中，步骤S4具体包括以下步骤：

步骤S41：步骤S3训练好的可重参数化的多分支可重参数化的全卷积网络模型中每一个卷积操作扩展为三个分支，若网络中一共包含n个卷积层，那么扩展后网络包含3n个处理过程，推理模型需要将3n个处理过程通过重参数化的方法转化为n个处理过程。用C_in表示卷积操作中的参数输入通道数，C_out表示输出通道数，对于尺度匹配的连接，设用

表示当前层主干3×3卷积的权值，则

为加入的旁路1×1卷积的权值，μ、σ、γ、β为批量归一化层的累积均值、标准差、学习的缩放因子和偏差，F为输出特征图,W为对应卷积层的权值。设

为3×3卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差。

为加入的1×1卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差，

为输入值直接批量归一化层的累积均值、标准差、学习的缩放因子和偏差，那么训练阶段网络模型中对于输入特征图F，将使用Bn(F*W,μ,σ,γ,β)来表示批量归一化具体计算过程，*表示卷积：

步骤S42：根据步骤S41中批量归一化的计算公式，输入特征图F₁与下一层的输入特征图Y₁计算关系可进一步表示为：

根据训练好的模型权值重新构造测试模型需要的参数值，也就是将多个分支结构的权值压缩到一个卷积中，因此，将式子化简后的值使用一个卷积代替，简化后的计算公式为：

因此测试阶段使用的压缩后的卷积的权值和偏移量{W'₁,b'₁}的公式如下:

得到测试阶段的为分支结构的计算关系为：

Y₁＝F₁*W'₁+b'₁

步骤S43：根据步骤S42化简后的公式直接用于对于尺度不匹配的连接，输入通道数为C_in，输出通道数为C_out的情况，用

表示当前层的主干3×3卷积的权值，

为当前层1×1卷积的权值，则

为加入的3×3卷积的权值。设

为3×3卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差。

为旁路1×1卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差，μ⁽³⁾、σ⁽³⁾、γ⁽³⁾、β⁽³⁾为加入的旁路3×3卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差，因此测试阶段使用的卷积的权值因此测试阶段使用的卷积的权值{W'₂,b'₂}的公式如下:

因此测试阶段网络模型中对于输入特征图F₂得

Y₂＝F₂*W'₂+b'₂

步骤S44：对网络结构进行判断，对于尺度匹配的连接使用{W'₁,b'₁}计算的新权值复制给主干3×3卷积进行重参数化，对于尺度不匹配的连接使用{W'₁,b'₂}计算的新权值复制给主干3×3卷积进行重参数化，并删除旁路分支结构，构建无分支全卷积网络模型作为推理阶段使用的模型。

在本实施例中，步骤S5具体包括：

将步骤S1准备的测试集图像输入S44构建的无分支全卷积网络模型进行预测，设置阈值为0.5到0.95，根据预测概率选出符合要求预测框。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于全卷积的无分支结构目标检测方法，其特征在于，包括以下步骤：

步骤S1:获取目标检测数据集，并预处理，生成训练集；

步骤S2:构建可重参数化的多分支全卷积网络模型；

步骤S3:基于训练集对可重参数化的多分支全卷积网络模型进行训练，通过随机梯度下降方法，优化模型参数；

步骤S4:对训练好的多分支全卷积网络模型进行重参数化，构建无分支全卷积网络，作为推理模型；

步骤S5:将待测试图像输入推理模型进行测试。

2.根据权利要求1所述的基于全卷积的无分支结构目标检测方法，其特征在于，所述预处理具体为：对图像进行水平翻转和垂直翻转，图像翻转的概率设为0.5。

3.根据权利要求1所述的基于全卷积的无分支结构目标检测方法，其特征在于，所述步骤S2具体为:

步骤S21：使用ResNet作为主干网络的CenterNet目标检测模型作为基线模型，对ResNet的跳跃连接进行修改，一个ResNet基本块中包含两种跳跃连接，一种是当前层输出和输入特征图的尺度相同，直接对两个图像进行相加融合，一种是当前层输出特征图和输入特征图的尺度不同，使用1×1卷积对输入特征图进行通道变换后再与输出特征相加融合获得下一层的输入；

当尺度匹配时加入1×1卷积分支，不匹配时加入3×3卷积分支，并且每一个分支在卷积操作后加上批量归一化；对于尺度匹配的连接，设输入特征图为F₁，通过当前层的3×3卷积操作后输出值为f₁(F₁)，设批量归一化操作为BN(X)，表示对输入X进行批量归一化，则BN(F₁)表示对特征图F₁进行批量归一化，则下一层的输入特征图Y₁为：

Y₁＝BN(g₁(F₁))+BN(f₁(F₁))+BN(F₁)

其中g₁(F₁)是加入的1×1卷积分支的输出值，对于尺度匹不配的连接，设输入特征图为F₂，通过当前层的3×3卷积操作后输出值为f₂(F₂)，则下一层的输入特征图Y₂为：

Y₂＝BN(g₂(F₂))+BN(f₂(F₂))+BN(H(F₂))

其中g₂(F₂)是网络原来的1×1卷积分支的输出值，H(F₂)是加入的3×3卷积分支的输出值；对每一个卷积操作加入分支结构，扩展为三个分支。

步骤S22：在步骤S21改进的ResNet网络后加上ECA注意力模块，将改进后的ResNet网络获得的特征值送入ECA注意力模块，构建可重参数化的多分支可重参数化的全卷积网络模型。

4.根据权利要求1所述的基于全卷积的无分支结构目标检测方法，其特征在于，所述步骤S3具体为：训练阶段使用随机初始化方法初始化网络参数，设置初始学习率设置为1.25e-2，每过5轮将学习率乘以0.9998，使用动量为0.9的随机梯度下降优化方法，通过最小化损失获得模型的最优参数，得到训练好的可重参数化的多分支可重参数化的全卷积网络模型。

5.根据权利要求1所述的基于全卷积的无分支结构目标检测方法，其特征在于，所述步骤S4具体为：

步骤S41：训练好的可重参数化的多分支可重参数化的全卷积网络模型中每一个卷积操作包含三个分支，若网络中一共包含n个卷积层，那么网络包含3n个处理过程，推理模型需要将3n个处理过程通过重参数化的方法转化为n个处理过程；用C_in表示卷积操作中的参数输入通道数，C_out表示输出通道数，对于尺度匹配的连接，设用

表示当前层主干3×3卷积的权值，则

为加入的旁路1×1卷积的权值，μ、σ、γ、β为批量归一化层的累积均值、标准差、学习的缩放因子和偏差，F为输出特征图，W为对应卷积层的权值；设

为3×3卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差；

为加入的1×1卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差，

为输入值直接批量归一化层的累积均值、标准差、学习的缩放因子和偏差，那么训练阶段网络模型中对于输入特征图F，将使用Bn(F*W，μ，σ，γ，β)来表示批量归一化具体计算过程，*表示卷积：

步骤S42：根据步骤S41中批量归一化的计算公式，输入特征图F₁与下一层的输入特征图Y₁计算关系进一步表示为：

根据训练好的模型权值重新构造测试模型需要的参数值，将多个分支结构的权值压缩到一个卷积中，将式子化简后的值使用一个卷积代替，简化后的计算公式为：

测试阶段使用的压缩后的卷积的权值和偏移量{W′₁，b′₁}的公式如下：

得到测试阶段的为分支结构的计算关系为：

Y₁＝F₁*W′₁+b′₁

步骤S43：根据步骤S42化简后的公式直接用于对于尺度不匹配的连接，输入通道数为C_in，输出通道数为C_out的情况，用

表示当前层的主干3×3卷积的权值，

为当前层1×1卷积的权值，则

为加入的3×3卷积的权值；设

为3×3卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差；

为旁路1×1卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差，μ⁽³⁾、σ⁽³⁾、γ⁽³⁾、β⁽³⁾为加入的旁路3×3卷积层之后批量归一化层的累积均值、标准差、学习的缩放因子和偏差，测试阶段使用的卷积的权值因此测试阶段使用的卷积的权值{W′₂，b′₂}的公式如下：

因此测试阶段网络模型中对于输入特征图F₂得

Y₂＝F₂*W′₂+b′₂

步骤S44：对网络结构进行判断，对于尺度匹配的连接使用{W′₁，b′₁}计算的新权值复制给主干3×3卷积进行重参数化，对于尺度不匹配的连接使用{W′₁，b′₂}计算的新权值复制给主干3×3卷积进行重参数化，并删除旁路分支结构，构建无分支全卷积网络模型作为推理模型。

6.根据权利要求1所述的基于全卷积的无分支结构目标检测方法，其特征在于，所述步骤S5具体为：将待测图像输入推理模型进行预测，设置阈值为0.5到0.95，根据预测概率选出符合要求预测框。

Images