CN109784386A - 一种用语义分割辅助物体检测的方法 - Google Patents

Abstract

本发明涉及一种用语义分割辅助物体检测的方法，包括下列步骤：选取主干网络并设定参数：语义分割和物体检测共用主干网络；设计空间信息反馈模块：将语义分割分支后两个模块Block4’，Block5’输出特征与物体检测分支Block4，Block5的输出特征融合，语义分割分支输出特征反馈至物体检测分支，增强物体检测的特征；设计全局注意力机制模块。基于选取的主干网络和设计的空间信息反馈模块和全局注意力机制模块设计语义分割辅助物体检测的结构。

Description

一种用语义分割辅助物体检测的方法

技术领域

本发明属于深度学习和计算机视觉领域，特别涉及一种用语义分割辅助物体检测的方法。

背景技术

物体检测是计算机视觉领域一个非常重要的领域。物体检测是用一个矩形框定位物体并且识别物体类别的任务。物体检测已经广泛应用于视频监控、自动驾驶和人机交互等众多领域。在自动驾驶系统中，物体检测算法可以识别前行车辆或行人以保持安全距离。在交通场景下的视频监控中，物体检测可以辅助检测违章车辆等。

随着卷积神经网络表达能力的提升和大数据的获取，基于卷积神经网络的物体检测算法取得很大的进展。物体检测难点之一是物体的多尺度性。为了提取更具鲁棒性的特征，卷积神经网络需要进行池化操作，池化操作会使得特征图的分辨率不断减小，使得小物体的特征减弱或者丢失，导致小物体的检测准确性很低。为了提升小物体的检测准确性，现有的方法是用卷积神经网络中浅层的、较大分辨率、有很多空间信息和小物体细节的特征图来检测小物体，深层，较小分辨率、特征鲁棒的特征图用于检测大物体[1][3]。浅层特征的语义级别低，表征能力弱，小物体检测性能还能进一步提升：为了加强浅层特征的语义级别，[2]引入一种top-down结构，用高语义的特征与低语义特征融合，加强浅层特征的语义级别。物体检测的另一个难点是物体存在遮挡，被遮挡的物体很难检测到，为了检测被遮挡的物体，[3]扩大感兴趣区域以引入上下文信息，辅助被遮挡物体的检测。[4][5][6]证明物体检测与其他任务联合，有助于提升物体检测的性能。

本发明提出一种用语义分割辅助物体检测的方法。语义分割是对图像上的每个像素进行分类的任务。语义分割任务中的特征相较物体检测，有更多的空间信息和上下文信息。语义分割常用膨胀卷积代替下采样操作，在保持特征图分辨率不变的情况下，还能提升特征的语义信息。本发明提出在原有物体检测的分支基础上，引入语义分割的分支，充分利用语义分割分支的特征，使物体检测的特征融入丰富的上下文信息和语义信息，帮助检测小物体和有遮挡的物体。

参考文献：

[1]W.Liu,D.Anguelov,D.Erhan,C.Szegedy,S.Reed,C.-Y.Fu,andA.C.Berg.Ssd:Single shot multibox detector.In Proc.ECCV 2016.

[2]T.Lin,P.Dollar,R.Girshick,K.He,B.Hariharan,and S.Belongie,“FeaturePyramid Networks for Object Detection.”In Proc.CVPR 2017.

[3]Cai Z,Fan Q,Feris R S,et al.A Unified Multi-scale DeepConvolutional Neural Network forFast Object Detection[C]/In Proc.ECCV,2016.

[4]K.He,G.Gkioxari,P.Dollár,andR.Girshick.“Mask r-cnn.”In Proc.ICCV2017.

[5]Zhao,Xiangyun,Shuang Liang,and Yichen Wei."Pseudo Mask AugmentedObject Detection."arXiv preprint arXiv:1803.05858(2018).

[6]Zhang,Zhishuai,et al."Single-Shot Object Detection with EnrichedSemantics."In Proc.CVPR 2018.

[7]Chen,Liang-Chieh,Kevin Murphy,and Alan L.Yuille."Deeplab:Semanticimage segmentation with deep convolutional nets,atrous convolution,and fullyconnected crfs."IEEE transactions onpattern analysis and machine intelligence40.4(2018):834-848.

[8]S.Ren,K.He,R.Girshick,and J.Sun,“Faster r-cnn:towards real-timeobject detection with region proposal networks,”in International Conferenceon Neural Information Processing Systems,2015,pp.91–99.

[9]Hariharan B.,Arbelaez P.,Bourdev L.,Maji S.,and Malik J."Semanticcontours from inverse detectors."In Proc.ICCV 2011.

发明内容

本发明目的在于提供一种用语义分割辅助物体检测的方法,利用语义分割任务中特征空间信息和语义信息丰富的特点，对物体检测的特征进行辅助加强,建立两个分支——物体检测分支和语义分割分支，进行多任务学习。技术方案如下：

一种用语义分割辅助物体检测的方法，包括下列步骤：

(1)选取主干网络并设定参数：语义分割和物体检测共用主干网络，主干网络通常包含5个block块，物体检测和语义分割分支完全共用前3个block，包括Block1，Block2，Block3模块，特征分辨率依次降低1/2，降至1/8；后2个模块Block4，Block5根据任务需求，两个分支设置不同的膨胀率和下采样参数：语义分割分支膨胀率大于1，不进行下采样，最终特征分辨率保持在输入的1/8；物体检测分支膨胀率为1，继续下采样，最终特征分辨率是输入的1/32。

(2)设计空间信息反馈模块：将语义分割分支后两个模块Block4’，Block5’输出特征与物体检测分支Block4，Block5的输出特征融合，语义分割分支输出特征反馈至物体检测分支，增强物体检测的特征；Block4’，Block5’和Block4，Block5在卷积网络中的深度相同，融合更彻底；先对Block4’，Block5’进行下采样，下采样倍数一次为2和4，然后将下采样过后的特征再分别与Block4，Block5的输出特征融合，采用逐元素相加的操作。

(3)设计全局注意力机制模块：将语义分割分支的特征使用全局池化操作，利用1×1卷积操作压缩信息，sigmoid的函数激活，接着利用1×1卷积操作恢复通道数，最终产生逐通道注意力，即1×1×C的矢量，与用于物体检测的特征逐通道相乘，对其微调，抑制噪声，对物体产生更强的响应。

(4)基于选取的主干网络和设计的空间信息反馈模块和全局注意力机制模块设计语义分割辅助物体检测的结构：该网络包含平行的两支，一支负责物体检测，另一支进行语义分割，并且共用主干网络。由于语义分割后端的特征保留丰富的空间信息和语义信息，利用设计的空间信息反馈模块和全局注意力机制模块，将语义分割的特征与物体检测特征融合，加强物体检测特征，加强后的特征输入至后续的网络，产生检测结果。

(5)确定网络训练、测试所用的数据集，训练策略，对设计的网络进行训练，训练得到最后的检测模型。

本发明适用于任何基于神经网络的物体检测和语义分割相结合的情况，可以提升单阶段或者双阶段的物体检测器的性能，所采用的空间信息反馈机制和全局注意力机制具有较强的实用性和普适性。本发明实现简单，可以融入丰富的上下文信息，有效地提升检测器的检测性能，有助于小物体和有遮挡的物体检测。

附图说明

图1语义分割任务辅助的物体检测的网络结构

图2基于增强上下文的单阶段物体检测器的网络结构

具体实施方式

下面结合附图对本发明作进一步的描述。

一般而言，物体检测算法中用于提取特征的卷积网络可以为五个模块：Block1，Block2，Block3，Block4，Block5这五个模块依次连接，特征图的分辨率依次减少为前一个的1/2。与原图的分辨率相比，Block1，Block2，Block3，Block4，Block5的特征图分辨率依次是原图的1/2,1/4,1/8,1/16,1/32。这是通过下采样操作实现的。鉴于Block5的输出特征图语义级别最高，通常会选择Block5的输出特征图用作检测。但是Block5的输出特征图分辨率低，不利于小物体和有遮挡的物体。

语义分割算法中提取特征的卷积网络也可以为五个模块：Block1’，Block2’，Block3’，Block4’，Block5’这五个模块依次连接，一般而言，语义分割会在Block4’，Block5’使用膨胀卷积，在保持分辨率的同时提升语义信息，所以Block1’，Block2’，Block3’，Block4’，Block5’的输出依次是原图的1/2,1/4,1/8,1/8,1/8。Block4’，Block5’相较于Block4，Block5有更丰富的空间信息。此外，语义分割通常会利用多个block的特征图进行融合，或者对Block5进行空间池化金字塔的操作，这两种操作的目的都是得到有丰富上下文信息和丰富语义信息的特征图S1。对特征图S1进行softmax操作得到S2，再上采样S2便是最终的输出，softmax之前的特征图S1的语义信息非常丰富。可以将语义分割中的空间信息和语义信息反馈给物体检测的特征，加强其表达能力。本发明的特点在于：

1)空间信息反馈机制：将语义分割阶段里Block4’，Block5’的输出反馈到Block4，Block5的输出特征中。Block4’，Block5’和Block4，Block5在卷积网络中的深度相同，语义级别相近，融合更彻底。鉴于Block4’，Block5’的分辨率都是原图的1/8,，先对Block4’，Block5’进行下采样，下采样倍数一次为2和4，然后将下采样过后的特征再分别与Block4，Block5的输出特征融合，采用逐元素相加的操作。

2)全局注意力机制：语义分割中softmax前的特征S1非常接近输出结果(特征图S1的大小为H'×W'×C，H'，W'和C分别为特征图的长，宽和通道数)，拥有很高的语义信息，S1可以用来实现物体检测分支全局的特征M1(特征图M1的大小为H×W×C)再调整，受到近来通道注意力机制的启发，本发明将语义分割分支的特征来产生逐通道注意力，即1×1×C的矢量，与物体检测特征M1逐通道相乘，对特征M1进行微调，抑制噪声，对物体产生更强的响应。

图1描述了一种语义分割辅助的物体检测的结构，如图所示，为了能够更好地进行端到端的训练，物体检测和语义分割两分支共用前三个模块，从Block4开始分开。物体检测分支的Block4和Block5依然进行下采样操作，特征分辨率一次减小。而语义分割分支的Block4’和Block5’为了保留更多细节信息，采用膨胀卷积，可以保持特征分辨率，同时感受野也增大，提升了特征的表征能力，增强其鲁棒性。为了加强物体检测的空间信息，引入两支空间信息反馈，将Block4’和Block5’的特征分别下采样2倍和4倍，和Block4，Block5的输出特征相结合。

图2描述了本发明提出的全局注意力机制。在语义分割算法中，常常使用ASPP[7]等来获得包含多尺度的上下文信息的特征S1(S1的大小为H'×W'×C，H'，W'和C分别为特征图的长，宽和通道数)，同时特征S1很接近输出结果，受到的监督约束强，S1的语义级别高，包含上下文信息多，可以用S1来对物体检测的特征M1(M1的大小为H×W×C)进行注意力的约束，抑制M1的噪声，突出和物体相关的显著性信息。对S1进行全局的均匀池化，得到1×1×C的矢量，然后与M1进行逐通道相乘，对M1形成通道上的特征再调整，即通道级的注意力，鉴于S1是语义分割分支中上下文信息最丰富的特征，将其称为全局注意力机制。为了网络更好地收敛，还设置了一个短连接相加。

下面将对本发明的技术方案进行清楚、完整地描述，描述中将对双阶段检测器fasterrcnn[8]用语义分割任务辅助，提升检测性能，显然，所描述的实施例仅是本发明的一部分实例，而不是全部的实例。

将本发明应用于物体检测任务中，主要包含四个步骤：准备数据集；设计用语义分割辅助的双阶段检测器；训练用语义分割任务辅助的双阶段检测器；测试/应用检测模型。其具体实现步骤描述如下：

第一步：准备数据集。

选择合适的物体检测数据集。目前较为常用的物体检测的数据集有Pascal VOC和COCO等。Pascal VOC有物体类别和物体检测框的标签信息,Pascal VOC 2012 trainva还有图像像素的标注，可以用作语义分割的任务。作为一种示例，我们采用Pascal VOC2012trainval数据集，有5717张图像用于检测，1464张用于语义分割。[9]额外标注了10582张图像的像素级信息。

第二步：设计用语义分割任务辅助的双阶段检测器。

本发明中采用ResNet50作为主干网络，如图1所示，检测分支的5个Block与图像分类中的Resnet50设置相同，语义分割分支的前三个Block与检测分支共用，Block4’和Block5’的残差快分别有三个，三个残差快中不采取下采样操作，使用(1,2,1)的膨胀率设置，消除栅格效应。将本发明发明的空间信息反馈机制应用于第四和第五个Block之后，对物体检测分支由于下采样操作丢失的空间信息进行弥补。反馈操作较为简单，将Block4’和Block5’的特征分别下采样2倍和4倍，和Block4，Block5的输出特征相结合。Block5输出特征M1还会得到语义分割分支ASPP[7]之后的特征S1对特征的再调整，即全局注意力机制。

检测分支的后续部分延用[8]中faster rcnn的设置，采用RPN子网络提取候选建议框和RoI Pooling提取框所对应特征并采样至固定大小，接着输入两个全连接层，最后用小型的分类网络和边框回归网络依次输出分类和回归的结果。

语义分割分支如图1所示，对特征S1进行softmax操作之后，上采样至原图大小，得到的就是最终的分割结果。

第三步：训练用语义分割任务辅助的双阶段检测器。

主干网络即ResNet50用其在ImageNet数据集分类训练的权重初始化，剩余的网络层随机初始化。本发明的参数包括：各个卷积滤波器的参数。总体架构与传统的用于目标检测和语义分割的训练方式相同。采用随机梯度下降算法，因为是多任务学习，损失函数表示为：

L＝L_det+λL_seg＝L_cls+L_bbox+λL_seg

L_det是检测分支的损失值，L_seg是语义分割分支的损失值，L_det又包含了分类的损失值L_cls和边框回归的损失值L_bbox。在训练过程中，滤波器的参数不断迭代更新，直到随机梯度下降算法(SGD)收敛。

第四步：测试、应用训练好的网络模型。

(1)准备好测试集数据Pascal Voc2007test dataset，调用设计好的网络结构和训练好的网络参数，并将测试图片批量或单张的输入到训练好的模型中。

(2)前向计算，将图像数据通过检测分支和语义分割分支，不必输出语义分割结果。在物体检测的分支，分类子网络输出为检测框属于各类的概率，并选择概率最大的类别作为最终的检测框的类别，检测框回归子网络输出的是相对默认框的偏移量，经过偏移得到更加准确的检测框结果。经过非极大值抑制之后，将类别概率大于设定阈值的认定为最终的检测结果。

Claims (1)

1.一种用语义分割辅助物体检测的方法，包括下列步骤：

(1)选取主干网络并设定参数：语义分割和物体检测共用主干网络，主干网络通常包含5个block块，物体检测和语义分割分支完全共用前3个block，包括Block1，Block2，Block3模块，特征分辨率依次降低1/2，降至1/8；后2个模块Block4，Block5根据任务需求，两个分支设置不同的膨胀率和下采样参数：语义分割分支膨胀率大于1，不进行下采样，最终特征分辨率保持在输入的1/8；物体检测分支膨胀率为1，继续下采样，最终特征分辨率是输入的1/32。

(2)设计空间信息反馈模块：将语义分割分支后两个模块Block4’，Block5’输出特征与物体检测分支Block4，Block5的输出特征融合，语义分割分支输出特征反馈至物体检测分支，增强物体检测的特征；Block4’，Block5’和Block4，Block5在卷积网络中的深度相同，融合更彻底；先对Block4’，Block5’进行下采样，下采样倍数一次为2和4，然后将下采样过后的特征再分别与Block4，Block5的输出特征融合，采用逐元素相加的操作。

(3)设计全局注意力机制模块：将语义分割分支的特征使用全局池化操作，利用1×1卷积操作压缩信息，sigmoid的函数激活，接着利用1×1卷积操作恢复通道数，最终产生逐通道注意力，即1×1×C的矢量，与用于物体检测的特征逐通道相乘，对其微调，抑制噪声，对物体产生更强的响应。

(4)基于选取的主干网络和设计的空间信息反馈模块和全局注意力机制模块设计语义分割辅助物体检测的结构：该网络包含平行的两支，一支负责物体检测，另一支进行语义分割，并且共用主干网络。由于语义分割后端的特征保留丰富的空间信息和语义信息，利用设计的空间信息反馈模块和全局注意力机制模块，将语义分割的特征与物体检测特征融合，加强物体检测特征，加强后的特征输入至后续的网络，产生检测结果。

(5)确定网络训练、测试所用的数据集，训练策略，对设计的网络进行训练，训练得到最后的检测模型。