CN110659664A - 一种基于ssd的高精度识别小物体的方法 - Google Patents

Abstract

本发明公开了一种基于SSD的高精度识别小物体的方法。本发明改进的网络结构如下：(1)基于原始SSD网络，保留与SSD网络一样的瀑布递减式结构，然后将Conv7后边的Conv8_2与Conv9_2换成了RFB模块,形成网络Ⅰ；(2)再将网络Ⅰ进行改进，改进成类似于FPN的特征金字塔结构网络Ⅱ，通过特征金字塔结构网络Ⅱ能够将高层特征通过上采样和低层特征做融合，获得融合后的特征图，从而通过特征图来使用各层网络的特征；(3)对于融合后的特征图，使用新的NMS算法定位目标；引入了一种新的PrROI pooling来将ROI映射到其中来修正边框。本发明利用FPN网络可以充分利用各层网络特征信息和RFB可以模拟人类视觉皮质中离心率的效果来提高感受野的优点。

Description

一种基于SSD的高精度识别小物体的方法

技术领域

本发明属于计算机视觉、计算机图形学技术领域，特别地，本发明涉及一种基于SSD的高精度识别小物体的方法。

背景技术

目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。是计算机视觉与计算机图像学领域中一个重要的问题，它在人机交互、虚拟现实及增强现实等领域也有非常广泛的应用。例如，在计算机视觉中，可以将摄像头实时拍摄的场景中是否含有目标，达到预防和检测意外事故发生的目的。

但是目标识别还是有种种困难需要克服，比如本文所提到的对于小物体的识别精度并不是很精确。

发明内容

本发明的目的是提高SSD网络识别小物体精度。其网络识别小物体精度精度不高的部分原因是在于SSD利用低层网络做预测时，由于网络不够深，不能提取到有效的语义信息；再加上低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略的原因。所以为了解决这一问题，本发明在SSD的基础是提出了对其网络进行了优化，在采用了空洞卷积结合FPN结构的情况下，来充分利用输入图片的低层的特征语义信息；加以使用一种新的边界框回归和非极大抑制(NMS)来定位目标的方法来提高NMS算法移除重复预测框的准确性。

本发明提出的一种基于SSD的高精度识别小物体的方法，主要改进的网络结构是：

(1)基于原始SSD网络，保留与SSD网络一样的瀑布递减式结构，然后将Conv7后边的Conv8_2与Conv9_2换成了RFB模块,形成网络Ⅰ；

(2)再将网络Ⅰ进行改进，改进成类似于FPN(feature pyramid networks)的特征金字塔结构网络Ⅱ，通过特征金字塔结构网络Ⅱ能够将高层特征通过上采样和低层特征做融合，获得融合后的特征图，从而通过特征图来使用各层网络的特征；

(3)对于融合后的特征图，使用新的NMS算法定位目标；引入了一种新的PrROIpooling来将ROI映射到其中来修正边框。

所述的RFB模块包括两个部分：

①使用不同大小的核的多分支卷积层，来模拟不同尺度的pRF；

②使用空洞卷积来模拟pRF的离心率，最终得到pRF的尺度和离心率之间的关系。

关于RFB模块的使用：

先使用1×1的conv减低输入的特征图(feature map)的通道数，形成4路分支结构，将其中的一个分支保留记为shortcut；然后先后在剩余的3个分支结构上使用不同尺度的正常卷积和空洞卷积，通过正常卷积的不同卷积核尺寸来模拟pRF中的不同感受，再通过各分支上的空洞卷积得到离心率，从而达到模拟pRF尺寸与离心率比例；最后将3个分支级联后再加上一个1×1的conv，再与分支shortcut进行像素间的叠加得到输出。

步骤2所述的网络Ⅰ改进成类似于FPN的特征金字塔结构网络Ⅱ，具体如下：

以一张图像作为输入，其前端网络以全卷积的方式在多个层级间输出成大小不同的特征图，而且尺寸逐渐变小；FPN采用把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，从而让所有尺度下的特征都有充足的信息；即对高层的特征图进行上采样，然后与上一层的特征信息进行关联，从利用底层的定位细节信息和来加强高层特征。

所述的利用底层的定位细节信息和来加强高层特征，具体操作细节如下：

将最高层特征进行2倍上采样，然后与其对应进行过1×1conv改变了通道的上层特征进行结合，结合方式是像素间的叠加，得到上层新的特征；再将得到的新的特征也进行2倍上采样后与其对应的上一层进行过1×1conv操作的特征结合，得到其对应的上一层的新特征；重复进行该操作直到生成新的conv3_3层特征结束。

步骤3所述的使用新的NMS定位目标；引入新的PrROI pooling来将ROI映射到其中来修正边框，具体实现如下：

使用的新的NMS算法学习预测每个检测得到的边界框和与之匹配的目标之间的IoU作为该框的定位置信度；对预测框的定位置信度排序，然后按IoU过滤，并更新分类置信度；得到定位置信度最高的框，并且分类置信度变成最高；利用这种定位置信度，能确保定位更准确的边界框在NMS过程中被保留下来。

所述的新的PrROI pooling实现如下：

新的PrROI pooling采用积分的方法计算每个预测框的值；设w_i,j是特征图上一个离散位置(i,j)处的特征；使用双线性插值，这个离散的特征图能够被视为在任意连续坐标(x,y)处都是连续的：

其中，IC(x,y,i,j)＝max(0,1-|x-i|)×max(0,1-|y-i|)是一个插值函数，再令任意预测框(bin)用左上角和右下角的连续坐标表示，即：bin＝{(x1,y1),(x2,y2)}；则该预测框的值能够用下面公式表示

这样就能够通过对该预测框中所有插值点求积分得到该预测框所包围点的总和，最后除以面积就得到该预测框的值，然后将预测框都映射到输入的特征上。

本发明的特点及有益效果：

本发明提出了一种基于SSD的高精度识别小物体的方法，利用FPN网络可以充分利用各层网络特征信息和RFB可以模拟人类视觉皮质中离心率的效果来提高感受野的优点，从而解决了SSD由于网络不够深，不能提取到有效的语义信息导致识别小物体精度较低的问题。

此技术可以在普通PC机或工作站等硬件系统上实现。

附图说明

图1为本发明方法总体流程图。图2为RFB(空洞卷积)流程图。

图3为ROIpooling与PrROI pooling

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。具体实现步骤如下：

步骤1、基于原始SSD网络，保留与SSD网络一样的瀑布递减式结构，然后将Conv7后边的Conv8_2与Conv9_2换成了RFB模块。

神经学研究中表明在人类视觉皮质中，population Receptive Field(pRF)的尺寸在视网膜定位图中是随着离心率地增加而增加的。因此表明了目标区域靠近感受野中心区域的重要性，可以提高小尺度空间位移的鲁棒性。所以RFBnet的作者就设计了RFB模块来进行模拟人类视觉系统的大小和离心率，旨在即使使用轻量级CNN网络，也可以提取到深层特征。

所述的RFB模块包括两个部分：

①使用不同大小的核的多分支卷积层，与Inception类似，来模拟不同尺度的pRF。

②使用空洞卷积来模拟pRF的离心率，最终得到pRF的尺度和离心率之间的关系。

本发明改进的网络结构中使用的RFB结构如图2。先使用1×1的conv减低输入的特征图(feature map)的通道数，形成4路分支结构，保留一个分支为shortcut，然后先后在剩余的每个分支上使用不同尺度的正常卷积和空洞卷积，通过正常卷积的不同卷积核尺寸来模拟pRF中的不同感受，又通过各分支上的空洞卷积得到离心率，从而达到模拟pRF尺寸与离心率比例的目的。最后各个分支级联后再加上一个1×1的conv，再与shortcut进行像素间的加法便可得到输出。

步骤2、基于初步改进的SSD网络，再将初步改进的SSD网络改进成类似于FPN(feature pyramid networks)的特征金字塔结构；

在SSD网络的基础上，将一张照片作为输入，其前端网络以全卷积的方式在多个层级间输出成大小不同的feature map，而且是尺寸逐渐变小的。虽然尺寸变小，但层级越高同时也拥有最强的特征。因为SSD所使用的最低特征是conv4_3，所以忽略了很多高分辨率的底层特征，而这恰恰是检测小物体的关键。FPN采用把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，从而让所有尺度下的特征都有了充足的信息。

因此，本发明中将高层的feature map进行上采样，然后与上一层的特征信息进行关联，从而达到利用底层的定位细节信息和加强高层特征的目的。

具体操作细节如下，将最高层特征进行2倍上采样，然后与其对应进行过1×1conv改变了channel的上层特征进行结合，结合方式是像素间的加法，得到上层新的特征。再将得到的特征也进行2倍上采样后与其对应的上一层进行过1×1conv操作的特征结合得到其对应的上一层的新特征。重复进行该操作直到生成新的conv3_3层特征结束。

步骤3、使用新的NMS定位目标；引入新的PrROI pooling(参考IOU-Net)来将ROI映射到其中来修正边框。

目标检测器一般是依靠NMS来定位目标，通过对检测出的预测框的分类置信度排序，然后按IoU过滤，得到分类置信度最高的框。可以知道其对类别标签的预测概率可以直接反映每个框的分类置信度，然而对框的定位置信度却缺失了。这使得原本定位准确的边界框会在迭代回归的过程中偏离目标，又或甚至在NMS过程中受到抑制。使用的新的NMS算法可学习预测每个检测得到的边界框和与之匹配的目标之间的IoU作为该框的定位置信度。对预测框的定位置信度排序，然后按IoU过滤，并更新分类置信度。得到定位置信度最高的框，并且分类置信度变成最高了。利用这种定位置信度，检测器能确保定位更准确的边界框在NMS过程中被保留下来，从而改进了NMS过程。

传统的ROI pooling使用的是最近邻插值的方法，预测得到的ROI先除以步幅，并量化取整得到坐标为整数值的ROI，然后将ROI划分成k*k个预测框，划分后得到的一个预测框，预测框的左上角坐标是(x₁,y₁)，右下角坐标是(x₂,y₂)，如图3中的红色虚线框。如果在对于缩放后坐标不能刚好为整数的情况，还要有一个量化的过程，如图所示采用了对左上角坐标(x₁,y₁)向下取整，对右下角坐标(x₂,y₂)向上取整，直接舍去小数的方法，这样就得到红色实线框。这相当于选取离目标点最近的点，必然损失一定的空间精度。

假如用w_i，j表示特征图上点(i,j)的特征值(绿色小圆点)，那么最后得到的ROI中一个预测框的特征值

改进之后的PrROIpooling没有采用ROIpooling使用的最近邻插值法，而是采用积分的方法计算每个预测框的值。设wi，j是该特征图上一个离散位置(i,j)处的特征。使用双线性插值，这个离散的特征图可以被视为在任意连续坐标(x,y)处都是连续的：

其中IC(x,y,i,j)＝max(0,1-|x-i|)×max(0,1-|y-i|)是一个插值函数，再令任意预测框(bin)用左上角和右下角的连续坐标表示，即：bin＝{(x1,y1),(x2,y2)}；则该预测框的值可以用下面公式表示

这样就可以通过对该预测框中所有插值点求积分得到该预测框所包围点的总和，最后除以面积就得到该预测框的值，然后将预测框都映射到输入的feature上，因此结果更加准确。

实施例：

本发明的一个实施例是由一张600×600×3的照片作为输入，通过SSD的前几个卷积层到达conv3_3时大小为150×150×256，conv4_3时为75×75×512，conv4_3时为38×38×1024，然后到达conv_fc6的时候变为19×19×2048，又知道conv_fc6与conv_fc7之间是做卷积核为一的卷积，就相当于对其做全连接操作，所以conv_fc7尺寸大小不变，到达RFB1的时候，先使用1×1的conv减低输入conv_fc7的特征图(feature map)的通道数，形成4路分支结构，保留一个分支为shortcut，剩下的3路分支先分别用1×1conv、3×3conv、5×5conv的卷积核进行卷积操作，从而达到模拟pRF中的不同感受，然后又对每个分支都做3×3conv，步长分别为1、3、5的空洞卷积操作得到离心率，然后将分支进行级联后再加上一个1×1的conv，再与shortcut进行像素间的加法便可得到大小为10×10×1024输出，到达RFB2时进行同样的操作得到输出大小为5×5×512，由于操作完后尺寸过于小，无法使用空洞卷积，故最后两层使用常规卷积后大小分别为3×3×256与1×1×256。然后如图所示从最后一层特征conv11_2开始，对feature map做乘2上采样再结合上一层进行过1×1conv改变了channel的上层特征信息conv10_2相结合，结合方式是像素间的加法进行，得到conv10_2新的特征；再将新产生的conv10_2乘2上采样后与进行过1×1conv改变了channel的上层特征信息RFB2相结合生成新的特征，然后重复该操作直到conv3_3层，生成新的feature map结束。之后分别对每一层新生成的feature map做RPN操作，产生对应的预测框，但由于feature map的尺寸并不一样，产生的预测框也尺寸不相同。因此使用改进过的PrROIpooling将RPN输出的预测框坐标映射到其对应的feature map上，输出的预测框个数与输入的相同，只是将预测框的尺寸变成大小相同的，最后经过2个全连接层(FC)对预测框进行具体类别的分类，输出分类置信度和位置准确度，并给出所得IOU分数。并可以通过获得位置偏移量bbox_pred，用于边框回归获得更加精确的目标检测框。

Claims (7)

1.一种基于SSD的高精度识别小物体的方法，其特征在于改进的网络结构如下：

(1)基于原始SSD网络，保留与SSD网络一样的瀑布递减式结构，然后将Conv7后边的Conv8_2与Conv9_2换成了RFB模块,形成网络Ⅰ；

(2)再将网络Ⅰ进行改进，改进成类似于FPN(feature pyramid networks)的特征金字塔结构网络Ⅱ，通过特征金字塔结构网络Ⅱ能够将高层特征通过上采样和低层特征做融合，获得融合后的特征图，从而通过特征图来使用各层网络的特征；

(3)对于融合后的特征图，使用新的NMS算法定位目标；引入了一种新的PrROI pooling来将ROI映射到其中来修正边框。

2.根据权利要求1所述的一种基于SSD的高精度识别小物体的方法，其特征在于:

所述的RFB模块包括两个部分：

①使用不同大小的核的多分支卷积层，来模拟不同尺度的pRF；

②使用空洞卷积来模拟pRF的离心率，最终得到pRF的尺度和离心率之间的关系。

3.根据权利要求1或2所述的一种基于SSD的高精度识别小物体的方法，其特征在于关于RFB模块的使用：

先使用1×1的conv减低输入的特征图(feature map)的通道数，形成4路分支结构，将其中的一个分支保留记为shortcut；然后先后在剩余的3个分支结构上使用不同尺度的正常卷积和空洞卷积，通过正常卷积的不同卷积核尺寸来模拟pRF中的不同感受，再通过各分支上的空洞卷积得到离心率，从而达到模拟pRF尺寸与离心率比例；最后将3个分支级联后再加上一个1×1的conv，再与分支shortcut进行像素间的叠加得到输出。

4.根据权利要求3所述的一种基于SSD的高精度识别小物体的方法，其特征在于步骤2所述的网络Ⅰ改进成类似于FPN的特征金字塔结构网络Ⅱ，具体如下：

以一张图像作为输入，其前端网络以全卷积的方式在多个层级间输出成大小不同的特征图，而且尺寸逐渐变小；FPN采用把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，从而让所有尺度下的特征都有充足的信息；即对高层的特征图进行上采样，然后与上一层的特征信息进行关联，从利用底层的定位细节信息和来加强高层特征。

5.根据权利要求4所述的一种基于SSD的高精度识别小物体的方法，其特征在于利用底层的定位细节信息和来加强高层特征，具体操作细节如下：

将最高层特征进行2倍上采样，然后与其对应进行过1×1conv改变了通道的上层特征进行结合，结合方式是像素间的叠加，得到上层新的特征；再将得到的新的特征也进行2倍上采样后与其对应的上一层进行过1×1conv操作的特征结合，得到其对应的上一层的新特征；重复进行该操作直到生成新的conv3_3层特征结束。

6.根据权利要求4或5所述的一种基于SSD的高精度识别小物体的方法，其特征在于步骤3所述的使用新的NMS定位目标；引入新的PrROI pooling来将ROI映射到其中来修正边框，具体实现如下：

使用的新的NMS算法学习预测每个检测得到的边界框和与之匹配的目标之间的IoU作为该框的定位置信度；对预测框的定位置信度排序，然后按IoU过滤，并更新分类置信度；得到定位置信度最高的框，并且分类置信度变成最高；利用这种定位置信度，能确保定位更准确的边界框在NMS过程中被保留下来。

7.根据权利要求6所述的一种基于SSD的高精度识别小物体的方法，其特征在于步骤3所述的新的PrROI pooling实现如下：

新的PrROI pooling采用积分的方法计算每个预测框的值；设w_i,j是特征图上一个离散位置(i,j)处的特征；使用双线性插值，这个离散的特征图能够被视为在任意连续坐标(x,y)处都是连续的：

其中，IC(x,y,i,j)＝max(0,1-|x-i|)×max(0,1-|y-i|)是一个插值函数，再令任意预测框(bin)用左上角和右下角的连续坐标表示，即：bin＝{(x1,y1),(x2,y2)}；则该预测框的值能够用下面公式表示

这样就能够通过对该预测框中所有插值点求积分得到该预测框所包围点的总和，最后除以面积就得到该预测框的值，然后将预测框都映射到输入的特征上。

Images