CN111414909A - 一种目标检测方法和装置 - Google Patents

Abstract

本发明提供了一种目标检测方法，包括以下步骤：获取一原始图像；将原始图像输入卷积神经网络结构中进行若干次特征提取得到特征图，设置其中一张特征图为共享特征图；从共享特征图获取若干目标特征图，分别对每个目标特征图进行特征提取获取分支特征图；以及分别对每个分支特征图进行分类和回归操作，进行目标检测。每个分支特征图负责检测一定尺寸范围的目标，不再需要向其他分支特征图输送特征，或者不再需要与其他分支特征图进行融合，在一定程度上将不同尺寸目标的目标检测之间进行了解耦。同时，该方法无需进行上采样运算，不会带来网络计算带宽的增大，在计算量上也不会有明显增加。本发明还提供一种目标检测装置。

Description

一种目标检测方法和装置

技术领域

本发明涉及信息处理领域，特别涉及一种目标检测方法和装置。

背景技术

深度学习领域的目标检测通常分为一步法和两步法，无论是一步法还是两步法，都会涉及到卷积神经网络结构。如图1所示，卷积神经网络结构包括主干网络1和检测分支2。原始图像输入主干网络1中经过若干次下采集得到特征图，其中上层的特征图通过一系列卷积、激活、下采样等运算过渡到邻近的下层特征图，主干网络1自上而下进行下采集，每次下采集得到的特征图分辨率会逐渐变小，但特征图的抽象概括能力越来越强。检测分支2可以选择主干网络1中三个不同分辨率的特征图作为输入，靠上层的检测分支2选择主干网络1上分辨率较大的特征图作为输入，负责检测特征图中尺寸较小的目标；靠下层的检测分支选择主干网络上分辨率较小的特征图作为输入，负责检测特征图中尺寸较大的目标。但是这样的检测网络结构存在两个明显的问题：(1)靠上层的检测分支2，其输入特征图经过的运算单元较少，造成其深度较浅，抽象概括能力较弱，不利于尺寸较小的目标的分类，使得尺寸较小的目标往往比尺寸较大的目标的检测效果差很多；(2)靠上层检测分支的输入特征图，不仅要为该检测分支提供足够多的深度用来检测目标，还须为下层检测分支的特征图输送浅层特征，这样使得相邻检测分支之间相互耦合、相互影响，某一个检测分支的效果变差可能会影响其他检测分支的性能。

为了缓解上述的问题，现有技术提出了一些解决办法。如图2所示，为了弥补负责检测较小目标的特征图深度较浅、抽象概括能力较弱的缺点，该结构从深度较深、抽象概括能力较强的特征图上进行上采样，将该上采样特征图与上层特征图进行融合，以加强上层特征图的抽象概括能力，用来检测较小尺寸的目标。该方法可以明显提升较小尺寸目标的检测效果，可以针对性的解决问题(1)，但是该方法使得各个尺寸目标的检测任务耦合得更加严重，而且该方法使得整个网络的计算代价以及网络带宽变大，不利于落地到嵌入式产品中；针对问题(2)目前现有技术还没有较好的解决办法。

发明内容

本发明提出一种目标检测方法和装置，用以解决现有技术的目标检测方法中各个尺寸目标的检测任务耦和度高以及较小尺寸目标检测性能精度低的问题。

为了解决上述问题，本发明提供了一种目标检测方法，包括以下步骤：

获取一原始图像；

将原始图像输入卷积神经网络结构中进行若干次特征提取，得到若干张特征图，设置其中一张特征图为共享特征图；

从共享特征图获取若干目标特征图，并分别对每个目标特征图进行特征提取获取，以分支特征图；

以及分别对每个分支特征图进行分类和回归操作，进行目标检测。

进一步地，所述特征提取包括卷积、激活和下采样运算。

进一步地，所述目标特征图采用卷积操作获取。

进一步地，所述共享特征图按照目标尺寸的感知域的大小获取所述目标特征图。

进一步地，所述目标特征图包括第一目标特征图、第二目标特征图和第三目标特征图,并满足：

0像素＜S1＜32*32像素，32*32像素≤S2＜96*96像素，S3≥96*96像素，

其中S1为第一目标特征图的感知域的大小，S2为第二目标特征图的感知域的大小，S3为第三目标特征图的感知域的大小。

进一步地，所述目标特征图包括第一目标特征图、第二目标特征图、第三目标特征图、第四特征图、第五特征图和第六特征图，并满足：

0像素＜S1＜16*16像素，16*16像素≤S2＜32*32像素，32*32像素≤S3＜64*64像素，64*64像素≤S4＜128*128像素，128*128像素≤S5＜256*256像素，S6≥256*256像素，

其中S1为第一目标特征图的感知域的大小，S2为第二目标特征图的感知域的大小，S3为第三目标特征图的感知域的大小，S4为第四目标特征图的感知域的大小，S5为第五目标特征图的感知域的大小，S6为第六目标特征图的感知域的大小。

进一步地，所述共享特征图为通道数最大的特征图。

进一步地，所述目标特征图的感知域的大小大于该目标特征图预定检测目标的尺寸大小。

进一步地，所述共享特征图包含不同感知域的特征信息。

为了解决上述问题，本发明还提供了一种目标检测装置，包括主干网络和检测分支，所述主干网络包括一卷积神经网络结构和分支卷积结构，

所述卷积神经网络结构用于对原始图像进行若干次特征提取形成特征图，所述分支卷积结构用于设置其中一张特征图为共享特征图，并从共享特征图获取若干目标特征图，分别对每个目标特征图进行特征提取获取分支特征图；

所述检测分支用于分别对每个分支特征图进行分类和回归操作，进行目标检测。

由此可知，本发明的目标检测方法和装置，通过将卷积神经网络结构提取的其中一张特征图按照所要检测的目标尺寸大小分为若干个目标特征图，分别对每个目标特征图进行特征提取获取分支特征图，最后分别对每个分支特征图进行分类和回归操作，进行目标检测。每个分支特征图负责检测一定尺寸范围的目标，不再需要向其他分支特征图输送特征，或者不再需要与其他分支特征图进行融合，在一定程度上将不同尺寸目标的目标检测之间进行了解耦，降低了各个尺寸的目标检测之间的影响。同时，该方法无需进行上采样运算，不会带来网络计算带宽的增大，在计算量上也不会有明显增加。

附图说明

图1为现有技术的一种目标检测网络结构图；

图2为现有技术的另一种目标检测网络结构图；

图3为本发明实施例的一种目标检测方法流程图；

图4为本发明实施例的一种目标检测网络结构图；

图5为本发明实施例的基于resnet34结构目标检测流程图；

图1-2中，1-主干网络，2-检测分支；

图3中，111-卷积神经网络结构，112-分支卷积结构，11-主干网络，12-检测分支。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种目标检测方法和装置作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“左”、“右”等指示的方位或者位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

如图3所示，其为本发明实施例的一种目标检测方法流程图。本发明提供了一种目标检测方法，包括以下步骤：

S1、获取一原始图像；

S2、将原始图像输入卷积神经网络结构中进行若干次特征，提取得到若干张特征图，设置其中一张特征图为共享特征图；

S3、从共享特征图获取若干目标特征图，并分别对每个目标特征图进行特征提取，以获取分支特征图；

S4、分别对每个分支特征图进行分类和回归操作，进行目标检测。

所述特征提取包括但不限于卷积、激活和下采样运算等操作，具体来说，卷积神经网络结构中包括卷积层、激活层和池化层(也叫下采样层)，所述卷积层对输入图像进行特征提取。具体来说，在每个卷积层之后，通常会立即应用一个激活层，其目的是给一个在卷积层中刚经过线性计算操作的系统引入非线性特征。在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤，池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。一般而言，池化为下采样，使得图像符合显示区域的大小，同时生成对应图像的缩略图。对于一幅图像I尺寸为M*N，对其进行n倍下采样，即得到(M/n)*(N/n)尺寸的得分辨率图像。本实施例中n一般为满足公式：n＝2^m,m为正整数，也就是说每次下采样是对前一个特征图或者原始图像进行2倍的下采样。

进一步地，所述目标特征图采用卷积操作获取，一般而言，共享特征图按照一定的规律划分后，需对划分之后的共享特征图分别使用1x1的卷积操作，进而形成目标特征图。

所述共享特征图可以按照目标尺寸的感知域的大小划分目标特征图。本发明常用的一种划分方法为：所述目标特征图包括第一目标特征图、第二目标特征图和第三目标特征图,并满足：0像素＜S1＜32*32像素，32*32像素≤S2＜96*96像素，S3≥96*96像素，其中S1为第一目标特征图的感知域的大小，S2为第二目标特征图的感知域的大小，S3为第三目标特征图的感知域的大小。

本发明常用的另一种划分方法为：所述目标特征图包括第一目标特征图、第二目标特征图、第三目标特征图、第四特征图、第五特征图和第六特征图，并满足：0像素＜S1＜16*16像素，16*16像素≤S2＜32*32像素，32*32像素≤S3＜64*64像素，64*64像素≤S4＜128*128像素，128*128像素≤S5＜256*256像素，S6≥256*256像素，其中S1为第一目标特征图的感知域的大小，S2为第二目标特征图的感知域的大小，S3为第三目标特征图的感知域的大小，S4为第四目标特征图的感知域的大小，S5为第五目标特征图的感知域的大小，S6为第六目标特征图的感知域的大小。

当然，目标特征图的划分方法并无严格约束，具体划分需要根据输入图像的实际情况而定。

进一步地，所述共享特征图为通道数最大的所述特征图，上层的特征图是通过一系列的卷积、激活、下采样运算得到邻近的下层特征图，当前特征图的深度越深说明由原始图像需要更多的运算单元计算(卷积、激活、下采样等操作均称为运算单元)得到当前特征图，通常情况下是特征图深度越深，通道数越大。因此，通道数最大的特征图拥有较大的抽象概括能力，能够满足尺寸较小目标的检测。

进一步地，所述目标特征图的感知域的大小大于该目标特征图预定检测目标的尺寸大小，通常为1-2倍的大小，这样可以拥有足够的尺寸进行目标检测。

进一步地，所述共享特征图包含不同感知域的特征信息，目标特征图通过共享特征图划分获取，因此共享特征图需拥有足够多大的感知域满足其划分条件，进而获取到目标特征图。

参阅图4，本发明的实施例还提供一种目标检测装置，包括主干网络11和检测分支12，所述主干网络11包括一卷积神经网络结构111和分支卷积结构112，所述卷积神经网络结构111用于对原始图像进行若干次特征提取形成特征图，所述分支卷积结构112用于设置其中一张特征图为共享特征图，并从共享特征图获取若干目标特征图，分别对每个目标特征图进行特征提取获取分支特征图；所述检测分支12用于分别对每个分支特征图进行分类和回归操作，进行目标检测。

可以看出，原始图像在输入进卷积神经网络结构111进行了若干次特征提取，第一次特征提取形成2倍下采样特征图，之后将前一次特征图作为输入图像进行特征提取形成本次的特征图。当经过若干次特征提取后n倍下采样特征图具有足够大的通道数时，分支卷积结构112将n倍下采样特征图作为共享特征图，并从共享特征图中获取3个目标特征图，分别对每个目标特征图进行特征提取获取分支1特征图、分支2特征图和分支3特征图，最后分别对分支1特征图、分支2特征图和分支3特征图进行分类和回归操作，完成目标检测。

为了更好得理解本发明的目标检测装置，本实施例基于resnet34结构生成了如图5所示的目标检测装置。举例来说，“7x7 conv,64,/2”代表了一个卷积运算，卷积核的大小为7x7，卷积结果的输出通道数为64，卷积运算的步长为2；“3x3 pool,/2”表示感知域大小为3x3步长为2的池化操作；一般情况下，卷积运算结束了以后都会跟一个激活运算，通常不用将激活操作单独画出来；弧形箭头表示快速连接操作，对两个非邻近的特征图做融合操作，可以使特征图具有更精确、更丰富、更可靠的细节，有利于图像的进一步理解和分析。具体而言，图5中每个矩形框代表一个运算，第一个运算(即“7*7conv,64,/2”)结束后，可以得到“2倍下采样特征图”，第8个运算(即“3*3conv,64”)结束后，可以得到“4倍下采样特征图”，第16个运算(即“3*3conv,128”)结束后，可以得到“8倍下采样特征图”，第28个运算(即“3*3conv,256”)结束后，可以得到“16倍下采样特征图”。在此基础上，以“16倍下采样特征图”作为共享特征图，将共享特征图划分为3个分支，分别用3个1*1的卷积运算(即“1*1conv,512”)进行不同分支的特征选取形成3个目标特征图，再对每个目标特征图分别进一步的特征提取，第35个运算(即“3*3conv,512”)结束后，可以得到分支特征图，最终对提取到的分支特征图进行分类和回归操作，完成整个目标检测。

综上所述，本发明的目标检测方法和装置，通过将卷积神经网络结构提取的特征图按照所要检测的目标尺寸大小分为若干个目标特征图，分别对每个目标特征图进行特征提取获取分支特征图，最后分别对每个分支特征图进行分类和回归操作，进行目标检测。每个分支特征图负责检测一定尺寸范围的目标，不再需要向其他分支特征图输送特征，或者不再需要与其他分支特征图进行融合，在一定程度上将不同尺寸目标的目标检测之间进行了解耦，降低了各个尺寸的目标检测之间的影响。同时，该方法无需进行上采样运算，不会带来网络计算带宽的增大，在计算量上也不会有明显增加。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”或“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种目标检测方法，其特征在于，包括以下步骤：

获取一原始图像；

将原始图像输入卷积神经网络结构中进行若干次特征提取，得到若干张特征图，设置其中一张特征图为共享特征图；

从共享特征图获取若干目标特征图，并分别对每个目标特征图进行特征提取，以获取分支特征图；

以及分别对每个分支特征图进行分类和回归操作，进行目标检测。

2.如权利要求1所述的目标检测方法，其特征在于，所述特征提取包括卷积、激活和下采样运算。

3.如权利要求1所述的目标检测方法，其特征在于，所述目标特征图采用卷积操作获取。

4.如权利要求1所述的目标检测方法，其特征在于，所述共享特征图按照目标尺寸的感知域的大小获取所述目标特征图。

5.如权利要求4所述的目标检测方法，其特征在于，所述目标特征图包括第一目标特征图、第二目标特征图和第三目标特征图,并满足：

0像素＜S1＜32*32像素，32*32像素≤S2＜96*96像素，S3≥96*96像素，

其中S1为第一目标特征图的感知域的大小，S2为第二目标特征图的感知域的大小，S3为第三目标特征图的感知域的大小。

6.如权利要求4所述的目标检测方法，其特征在于，所述目标特征图包括第一目标特征图、第二目标特征图、第三目标特征图、第四特征图、第五特征图和第六特征图，并满足：

0像素＜S1＜16*16像素，16*16像素≤S2＜32*32像素，32*32像素≤S3＜64*64像素，64*64像素≤S4＜128*128像素，128*128像素≤S5＜256*256像素，S6≥256*256像素，

其中S1为第一目标特征图的感知域的大小，S2为第二目标特征图的感知域的大小，S3为第三目标特征图的感知域的大小，S4为第四目标特征图的感知域的大小，S5为第五目标特征图的感知域的大小，S6为第六目标特征图的感知域的大小。

7.如权利要求1所述的目标检测方法，其特征在于，所述共享特征图为通道数最大的特征图。

8.如权利要求1所述的目标检测方法，其特征在于，所述目标特征图的感知域的大小大于该目标特征图预定检测目标的尺寸大小。

9.如权利要求1所述的目标检测方法，其特征在于，所述共享特征图包含不同感知域的特征信息。

10.一种目标检测装置，其特征在于，包括主干网络和检测分支，所述主干网络包括一卷积神经网络结构和分支卷积结构，

所述卷积神经网络结构用于对原始图像进行若干次特征提取形成特征图，所述分支卷积结构用于设置其中一张特征图为共享特征图，并从共享特征图获取若干目标特征图，分别对每个目标特征图进行特征提取获取分支特征图；

所述检测分支用于分别对每个分支特征图进行分类和回归操作，进行目标检测。

Images