CN111738344A - 一种基于多尺度融合的快速目标检测方法 - Google Patents

Abstract

本发明公开了一种基于多尺度融合的快速目标检测方法，包括：S1：将待检测图像输入Darknet53特征提取器提取待检测图像特征图；S2：将Darknet53特征提取器提取的特征图输入至多特征融合模块；S3：将多特征融合模块获得的特征信息输入至多尺度聚合模块；S4：将多尺度聚合模块获得的特征信息输入至具有空间注意力机制的残差预测模块，输出目标检测结果。本发明所构建的多特征融合模块，通过将可学习的加权参数自适应分配给三个不同的卷积分支，提高目标检测模型的多特征表示能力。检测网络的四条输出分支通过多尺度聚合模块自上而下的增强了网络的多尺度检测能力。在预测模块中使用空间注意力，使网络更好地定位物体的位置信息。

Description

一种基于多尺度融合的快速目标检测方法

技术领域

本发明涉及深度学习中的目标检测技术领域，特别涉及一种基于多尺度融合的快速目标检测方法。

背景技术

近年来，随着深度学习的不断发展，基于深度学习的目标检测技术得到了广泛的应用。在现实生活的场景中，目标检测受到多种因素的干扰，如：光照、遮挡等。如何快速地、准确地对复杂场景下的目标进行检测、识别已经成为一个值得深入研究的课题。目标检测技术是利用计算机视觉技术判断静态图像或动态视频中是否存在感兴趣的物体，正确识别物体类别，并定位物体的位置信息。现有的目标检测方法一般分为两大类：两阶段法和单阶段法。两阶段法首先使用区域推荐网络获得若干候选框；然后这些候选框再通过特征提取网络提取图像特征，最后进行分类和位置回归。两阶段法一般具有较高的检测准确性，但是检测速度较慢。单阶段法将目标检测当做回归问题来解决，同时训练和检测放在一个网络中。相比于两阶段法，单阶段法一般具有更好的检测实时性。

发明内容

为了克服现有技术中的不足，本发明提供一种基于多尺度融合的快速目标检测方法，通过提出一种多特征融合模块来改善现有检测网络的多尺度特征表达能力，此外，通过提出一种具有空间注意力构建块的残差预测模块，使网络更好的定位目标的位置信息。

为了达到上述发明目的，解决其技术问题所采用的技术方案如下：

一种基于多尺度融合的快速目标检测方法，包括以下步骤：

步骤S1：将待检测图像输入Darknet53特征提取器提取待检测图像特征图；

步骤S2：将步骤S1中Darknet53特征提取器提取的特征图输入至多特征融合模块；

步骤S3：将步骤S2中多特征融合模块获得的特征信息输入至多尺度聚合模块；

步骤S4：将步骤S3中多尺度聚合模块获得的特征信息输入至具有通道注意力机制的残差预测模块，输出目标检测结果。

进一步的，步骤S2具体包括以下内容：

一个多特征融合模块由卷积核为3×3、1×3、3×1三个平行分支组成，对于多特征融合模块中的一个分支，I∈^M×N×D表示卷积层的输入，使用F＝[g₁，g₂，…，g_c]表示学习的卷积核集，其中g_c表示对应的第c个卷积核的参数，U∈^H×W×C表示卷积层的输出，H、W、C分别表示输出特征图的高度、宽度、通道数，对于该层的第c个滤波器，对应的输出特征图通道为：

其中，*表示卷积，g_c∈^K×K×D，U＝[V¹，V²，...，V^C]，

I＝[Y¹，Y²，...，Y^D]和

表示g_c的单个通道的二维空间核，V^c表示U的第c个输出特征图通道，Y^s表示I的第s个输入特征图通道；

为了减少过拟合，在卷积层之后采用批量归一化操作，批处理后的归一化层进行线性尺度变换以增强网络的表示能力，输出特征映射通道变为：

其中，u_c和σ_c表示通道平均值和批量归一化的标准偏差，γ_c和β_c分别表示学习尺度因子和偏差项；

最终，可学习的权重被添加到多特征融合模块的三个分支中，对应的融合输出特征图通道可以计算为：

其中，V_fusion ^c表示三个平行分支对应的第c个融合输出特征图通道，

和

表示三个平行分支的相应权重和相应第c个输出特征图通道，其中i∈{1，2，3}。

进一步的，步骤S3中所述多尺度聚合模块由两个操作符组成，分别为一个上采样操作和一个特征图拼接操作，所述上采样操作将来自顶层的特征图的尺寸扩大一倍，用于和底层的特征图进行拼接操作。

进一步的，步骤S4具体包括以下内容：

对于输入空间注意力构建块的特征图Q＝[q₁，q₂，…，q_c]，首先我们进行两个变换H_mean：

和H_max：U→V∈^H×W×1，H_mean和H_max指的分别是沿相应通道轴的全局平均池化和全局最大池化操作，将上一步两个变换获得的特征图

和v拼接在一起以创建空间注意力图M′∈^H×W×2：

其中，cat表示拼接函数，然后通过大小为7×7的卷积核对空间注意力图M′进行卷积以产生2D空间注意力图M″∈^H×W：

M″＝F^7×7(cat(H_mean(U)，H_max(U))) (1.5)

其中，F^7×7表示卷积核大小为7×7的卷积运算，在上一步骤中生成的2D空间注意图M″基础上，生成多维空间注意图M∈^H×W×C：

M＝F^1×1(F^7×7(cat(H_mean(U)，H_max(U)))) (1.6)

其中，F^1×1表示卷积核大小为1×1的卷积运算，然后，使用全局平均池来生成通道统计量，通过将M缩小到其空间维度H×W来生成统计量n∈^C，使得统计量n的第c个元素通过以下公式计算：

其中，F_ga(·)表示全局平均池操作符，m_c表示特征图Q的第c个通道特征图，m_c(i，j)表示特征图Q的第c个通道上位置为(i，j)的像素点；

之后，对空间注意力构建块的输出结果应用一个简单的sigmoid运算符，得到如下结果：

R＝σ(n) (1.8)

其中，R表示空间注意力分支应用sigmoid运算符之后得到的输出特征图，σ表示sigmoid运算符；

再将上一步得到的输出结果与第二个分支应用一个通道像素乘积算子得到输出特征图G，可写为：

G＝Q·R (1.9)

然后，在上一步得到的输出特征图G与特征图X之间运用一个通道像素求和算子得到输出特征图Y，可写为：

Y＝X·G (1.10)

最后，对上一步得到的输出特征图Y应用一个非极大值抑制函数输出目标检测结果。

本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：

本发明设计一种多特征融合模块，提高目标检测模型的多特征表示能力。检测网络的四条输出分支通过多尺度聚合模块自上而下的增强了网络的多尺度检测能力。在预测模块中使用空间注意力，使网络更好地定位物体的位置信息。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：

图1是本发明的整体流程示意图；

图2是本发明基于多尺度融合的快速目标检测网络的结构图；

图3是本发明多特征融合模块的结构图；

图4是本发明空间注意力构建块的结构图；

图5是本发明具有空间注意力构建块的残差预测模块的结构图。

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本实施例公开了一种基于多尺度融合的快速目标检测方法，包括以下步骤：

步骤S1：将待检测图像输入Darknet53特征提取器提取待检测图像特征图；

步骤S2：将步骤S1中Darknet53特征提取器提取的特征图输入至多特征融合模块；

所述多特征融合模块包括以下步骤：

图2显示了基于多尺度融合的快速目标检测网络的结构图，图3显示了多特征融合模块的结构图。如图2所示，我们目标检测网络的输出包括四个分支，每个输出分支都含有一个多特征融合模块。如图3所示，一个多特征融合模块由卷积核为3×3、1×3、3×1三个平行分支组成，对于多特征融合模块中的一个分支，I∈^M×N×D表示卷积层的输入，使用F＝[g₁，g₂，…，g_c]表示学习的卷积核集，其中g_c表示对应的第c个卷积核的参数，U∈^H×W×C表示卷积层的输出，H、W、C分别表示输出特征图的高度、宽度、通道数，对于该层的第c个滤波器，对应的输出特征图通道为：

其中，*表示卷积，g_c∈^K×K×D，U＝[V¹，V²，...，V^C]，

I＝[Y¹，Y²，...，Y^D]和

表示g_c的单个通道的二维空间核，V^c表示U的第c个输出特征图通道，Y^s表示I的第s个输入特征图通道；

为了减少过拟合，在卷积层之后采用批量归一化操作，批处理后的归一化层进行线性尺度变换以增强网络的表示能力，输出特征映射通道变为：

其中，u_c和σ_c表示通道平均值和批量归一化的标准偏差，γ_c和β_c分别表示学习尺度因子和偏差项；

最终，可学习的权重被添加到多特征融合模块的三个分支中，对应的融合输出特征图通道可以计算为：

其中，V_fusion ^c表示三个平行分支对应的第c个融合输出特征图通道，

和

表示三个平行分支的相应权重和相应第c个输出特征图通道，其中i∈{1，2，3}。

步骤S3：将步骤S2中多特征融合模块获得的特征信息输入至多尺度聚合模块；

所述多尺度聚合模块包括以下步骤：

图3显示中显示了多尺度聚合模块的结构，步骤S3中所述多尺度聚合模块由两个操作符组成，分别为一个上采样操作和一个特征图拼接(Concatenate)操作，所述上采样操作将来自顶层的特征图的尺寸扩大一倍，用于和底层的特征图进行拼接(Concatenate)操作。

步骤S4：将步骤S3中多尺度聚合模块获得的特征信息输入至具有通道注意力机制的残差预测模块，输出目标检测结果。

所述具有空间注意力构建块的残差预测模块包括以下步骤：：

图4显示了空间注意力构建块的结构图，图5显示了具有空间注意力构建块的残差预测模块的结构图。对于输入空间注意力构建块的特征图Q＝[q₁，q₂，…，q_c]，首先我们进行两个变换H_mean：

和H_max：U→V∈^H×W×1，H_mean和H_max指的分别是沿相应通道轴的全局平均池化和全局最大池化操作，将上一步两个变换获得的特征图

和v拼接在一起以创建空间注意力图M′∈^H×W×2：

其中，cat表示拼接函数，然后通过大小为7×7的卷积核对空间注意力图M′进行卷积以产生2D空间注意力图M″∈^H×W：

M″＝F^7×7(cat(H_mean(U)，H_max(U))) (1.5)

其中，F^7×7表示卷积核大小为7×7的卷积运算，在上一步骤中生成的2D空间注意图M″基础上，生成多维空间注意图M∈^H×W×C：

M＝F^1×1(F^7×7(cat(H_mean(U)，H_max(U)))) (1.6)

其中，F^1×1表示卷积核大小为1×1的卷积运算，然后，使用全局平均池来生成通道统计量，通过将M缩小到其空间维度H×W来生成统计量n∈^C，使得统计量n的第c个元素通过以下公式计算：

其中，F_ga(·)表示全局平均池操作符，m_c表示特征图Q的第c个通道特征图，m_c(i，j)表示特征图Q的第c个通道上位置为(i，j)的像素点；

之后，对空间注意力构建块的输出结果应用一个简单的sigmoid运算符，得到如下结果：

R＝σ(n) (1.8)

其中，R表示空间注意力分支应用sigmoid运算符之后得到的输出特征图，σ表示sigmoid运算符；

再将上一步得到的输出结果与第二个分支应用一个通道像素乘积算子得到输出特征图G，可写为：

G＝Q·R (1.9)

然后，在上一步得到的输出特征图G与特征图X之间运用一个通道像素求和算子得到输出特征图Y，可写为：

Y＝X·G (1.10)

最后，对上一步得到的输出特征图Y应用一个非极大值抑制函数输出目标检测结果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于多尺度融合的快速目标检测方法，其特征在于，包括以下步骤：

步骤S1：将待检测图像输入Darknet53特征提取器提取待检测图像特征图；

步骤S2：将步骤S1中Darknet53特征提取器提取的特征图输入至多特征融合模块；

步骤S3：将步骤S2中多特征融合模块获得的特征信息输入至多尺度聚合模块；

步骤S4：将步骤S3中多尺度聚合模块获得的特征信息输入至具有空间注意力机制的残差预测模块，输出目标检测结果。

2.根据权利要求1所述的一种基于多尺度融合的快速目标检测方法，其特征在于，步骤S2具体包括以下内容：

一个多特征融合模块由卷积核为3×3、1×3、3×1三个平行分支组成，对于多特征融合模块中的一个分支，I∈^M×N×D表示卷积层的输入，使用F＝[g₁，g₂，…，g_c]表示学习的卷积核集，其中g_c表示对应的第c个卷积核的参数，U∈^H×W×C表示卷积层的输出，H、W、C分别表示输出特征图的高度、宽度、通道数，对于该层的第c个滤波器，对应的输出特征图通道为：

其中，*表示卷积，g_c∈^K×K×D，U＝[V¹，V²，...，V^C]，

I＝[Y¹，Y²，...，Y^D]和

表示g_c的单个通道的二维空间核，V^c表示U的第c个输出特征图通道，Y^s表示I的第s个输入特征图通道；

为了减少过拟合，在卷积层之后采用批量归一化操作，批处理后的归一化层进行线性尺度变换以增强网络的表示能力，输出特征映射通道变为：

其中，u_c和σ_c表示通道平均值和批量归一化的标准偏差，γ_c和β_c分别表示学习尺度因子和偏差项；

最终，可学习的权重被添加到多特征融合模块的三个分支中，对应的融合输出特征图通道可以计算为：

其中，V_fusion ^c表示三个平行分支对应的第c个融合输出特征图通道，W_i ^c和V_i ^c表示三个平行分支的相应权重和相应第c个输出特征图通道，其中i∈{1，2，3}。

3.根据权利要求2所述的一种基于多尺度融合的快速目标检测方法，其特征在于，步骤S3中所述多尺度聚合模块由两个操作符组成，分别为一个上采样操作和一个特征图拼接操作，所述上采样操作将来自顶层的特征图的尺寸扩大一倍，用于和底层的特征图进行拼接操作。

4.根据权利要求3所述的一种基于多尺度融合的快速目标检测方法，其特征在于，步骤S4具体包括以下内容：

对于输入空间注意力构建块的特征图Q＝[q₁，q₂，…，q_c]，首先我们进行两个变换H_mean：

和H_max：U→V∈^H×W×1，H_mean和H_max指的分别是沿相应通道轴的全局平均池化和全局最大池化操作，将上一步两个变换获得的特征图

和v拼接在一起以创建空间注意力图M′∈^H×W×2：

其中，cat表示拼接函数，然后通过大小为7×7的卷积核对空间注意力图M′进行卷积以产生2D空间注意力图M″∈^H×W：

M″＝F^7×7(cat(H_mean(U)，H_max(U))) (1.5)

其中，F^7×7表示卷积核大小为7×7的卷积运算，在上一步骤中生成的2D空间注意图M″基础上，生成多维空间注意图M∈^H×W×C：

M＝F^1×1(F^7×7(cat(H_mean(U)，H_max(U)))) (1.6)

其中，F^1×1表示卷积核大小为1×1的卷积运算，然后，使用全局平均池来生成通道统计量，通过将M缩小到其空间维度H×W来生成统计量n∈^C，使得统计量n的第c个元素通过以下公式计算：

其中，F_ga(·)表示全局平均池操作符，m_c表示特征图Q的第c个通道特征图，m_c(i，j)表示特征图Q的第c个通道上位置为(i，j)的像素点；

之后，对空间注意力构建块的输出结果应用一个简单的sigmoid运算符，得到如下结果：

R＝σ(n) (1.8)

其中，R表示空间注意力分支应用sigmoid运算符之后得到的输出特征图，σ表示sigmoid运算符；

再将上一步得到的输出结果与第二个分支应用一个通道像素乘积算子得到输出特征图G，可写为：

G＝Q·R (1.9)

然后，在上一步得到的输出特征图G与特征图X之间运用一个通道像素求和算子得到输出特征图Y，可写为：

Y＝X·G (1.10)

最后，对上一步得到的输出特征图Y应用一个非极大值抑制函数输出目标检测结果。

Images