CN109858547A - 一种基于bssd的目标检测方法与装置 - Google Patents

Abstract

本发明公开了一种基于BSSD(Bidirection Single Shot Multibox Detector)的目标检测方法与装置，其中BSSD网络模型基于SSD网络模型构建，先通过线性插值将相对较低的高层特征层与其之前的SSD用于检测最小目标的特征层进行融合，再通过passthrough的方法将相对较高的低层特征层与融合后的特征层进行拼接以得到用于小目标检测的特征层；改进后的BSSD能够充分利用各网络层所提取的特征信息，有效改善SSD没有使用高层特征语义信息的问题，并且进一步对SSD默认框的设置方式和模型训练时的数据扩增策略中的采样比例进行修改，以提高模型对小目标的检测能力。所以本发明改进后的BSSD相较于SSD对小目标检测具有更好的检测效果，并具有更优良的鲁棒性。

Description

一种基于BSSD的目标检测方法与装置

技术领域

本发明涉及一种基于BSSD(Bidirection Single Shot Multibox Detector)的目标检测方法与装置，通过对SSD(Single Shot Multibox Detector)中的高特征层与低特征层进行融合，对SSD默认框的设置方式进行修改，并对SSD训练方案中的数据扩增策略进行修改，能够有效提高模型对小目标的检测能力，属于计算机视觉处理技术领域。

背景技术

目标检测是计算机视觉领域最热门且最具挑战性的研究任务之一，在现实场景中有非常重要的应用，如人脸识别、行为识别、自动驾驶、智能视频监控等。随着深度学习的蓬勃发展，基于深度学习的目标检测算法已经成为主流，它具有识别精度高、速度快等优点，应用广泛。

当前主流的基于深度学习的目标检测算法主要分为两种：基于候选区域的目标检测算法、基于回归的目标检测算法。基于候选区域的目标检测算法有R-CNN、SPP-net、FastR-CNN、Faster R-CNN等，基于候选区域的目标检测算法将目标检测分成两步：区域提出、目标分类，该类算法检测精度较高但检测速度普遍达不到实时性要求，为了改正这一不足，基于回归的目标检测算法YOLO(You Only Look Once)和SSD相继产生。YOLO算法具有简单、检测速度快的优点，但是检测精度不高。SSD算法结合了YOLO中的回归思想以及Faster R-CNN中的anchor机制，与Faster R-CNN中只在共享的最后一个特征层上运行anchor机制不同，SSD在多个尺度的特征图上运行anchor机制，从而实现多尺度的目标检测。

SSD在保证具有近乎实时的检测速度的同时兼具了较高的检测精度，但是SSD对于小目标的检测能力依然有限。对于300×300的输入图像，SSD对于图像中小于32×32的小目标的召回率较低。在自动驾驶的环境中，距离无人车较远的目标在图像上的成像较小，对于这些目标，SSD的检出率较低，从而降低了系统的可靠性。

发明内容

发明目的：针对现有技术中存在的问题和不足，本发明提供一种基于BSSD的目标检测方法与装置，充分利用低层特征的位置信息以及高层特征的语义信息，能够有效改善SSD算法对于小目标检测能力不足的问题。

技术方案：为实现上述发明目的，本发明所提出的一种基于BSSD的目标检测方法，该方法能够充分利用各网络层所提取的特征信息，有效改善SSD算法没有使用高层特征语义信息的问题，对SSD默认框的设置方式进行修改，并且对模型训练时的数据扩增策略中的采样比例进行修改，提高模型对小目标的检测能力。该方法主要包括如下步骤：

(1)将训练集的图像进行去均值处理并归一化到指定的大小；

(2)利用训练集对构建的BSSD网络模型进行训练；所述BSSD网络模型基于SSD网络模型构建，通过线性插值将相对较低的高层特征层与其之前的SSD用于检测最小目标的特征层进行融合，并通过passthrough的方法将相对较高的低层特征层与融合后的特征层进行拼接得到用于小目标检测的特征层；

(3)利用训练好的BSSD网络模型对测试图像中的目标进行检测，根据设置的阈值剔除检测置信度较低的检测框，并通过非极大值抑制的方法进一步减少检测框数目，对检测出的目标进行标注。

作为优选，所述BSSD网络模型首先利用双线性插值算法将SSD中的第七个特征层上采样到与第四个卷积模块的第三个特征层同样的大小，并通过按位相加的方式与第四个卷积模块的第三个特征层进行融合；然后通过passthrough的方法对第三个卷积模块的第三个特征层的进行修改，拼接到上一步融合的特征层，得到用于小目标检测的特征层。

作为优选，融合SSD的第七个特征层和第四个卷积模块的第三个特征层时，通过1×1卷积减少上采样第七个特征层得到的特征图的通道数，并以按位和的方式与第四个卷积模块的第三个特征层进行融合，然后使用3×3的卷积核对融合后的特征进行卷积，以消除上采样的混叠效应。

作为优选，所述步骤(2)中训练BSSD网络模型时，使用K-means聚类算法对数据集中的真实框进行聚类，并根据聚类结果及交叉验证的方式确定BSSD中默认框的尺度及长宽比。

作为优选，所述步骤(2)中训练BSSD网络模型时，改进SSD训练方案中的数据扩增策略，增加小采样比例。

作为优选，所述步骤(2)中训练BSSD网络模型时，使用VGGNet预训练模型初始化BSSD中基础神经网络的参数。

作为优选，训练BSSD网络模型的总目标损失函数定位损失L_loc和置信度损失L_conf加权求和获得；所述置信度损失L_conf的计算公式如下：

其中：表示第i个默认边界框与类别p的第j个真实边界框是否匹配，N是与真实边界框相匹配的默认边界框的个数，是第i个默认边界框类别为p的置信度，β_p是类别为p的权重因子，β₀是类别为背景的权重因子，γ是聚焦参数，是第i个默认边界框类别为背景的置信度，Pos表示所有的正样本，Neg表示所有的负样本。

基于相同的发明构思，本发明提供的一种基于BSSD的目标检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于BSSD的目标检测方法。

基于相同的发明构思，本发明还提供一种存储装置，存储有可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于BSSD的目标检测方法。

有益效果：与现有技术相比，本发明具有如下优点：

1.本发明对SSD中的高低特征层进行融合，能够有效改善SSD算法没有充分利用特征层中的位置信息及语义信息，而导致对小目标检测能力不足的问题，提高对小目标检测的准确率。

2.本发明对SSD中默认框的设置方式进行修改，与原有的手工设计方式相比，对于训练数据集更具针对性，检测结果具有更高的准确率。

3.本发明对SSD训练方案中的数据扩增策略所使用的采样比例进行修改，能够有效改善因采样比例过大影响算法对于小目标的检测效果的问题，从而进一步提高对小目标检测的能力。

附图说明

图1为本发明基于BSSD的目标检测方法流程图。

图2为本发明对SSD模型进行改进后的BSSD神经网络结构图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明实施例公开的一种基于BSSD的目标检测方法，具体实施步骤如下：

步骤1，数据集制作。为了方便本发明方法与SSD的对比，本实施例选用了PASCALVOC数据集，其为SSD中采用的数据集之一。在具体的应用场景中，如自动驾驶场景，可采用与场景相关的数据集。首先将VOC2007的训练验证集及测试集与VOC2012的训练验证集合并作为训练集(共21503张图片)，将VOC2012的测试集作为测试集(共10991张图片)；随后将训练集及测试集中的图片减去训练集里所有图片的像素均值；最后通过裁剪或者填充的方式将所有图片归一化到300×300的大小。

步骤2，BSSD网络模型构建。SSD使用Conv4_3(第四个卷积模块的第三个特征层)检测小目标，但是该层缺乏高层的语义信息，考虑到小目标可能在高特征层已失去相关信息，本实施例选择相对较低的高层特征Conv7(第七个特征层)作为与Conv4_3融合的高层特征。与此同时，图片中极小的目标可能在Conv4_3已经失去相关信息，考虑到低特征层存在特征提取不充分的问题，本实施例选择相对较高的低层特征Conv3_3(第三个卷积模块的第三个特征层)作为与Conv4_3拼接的低层特征。具体地，如图2所示，首先利用双线性插值算法(Bilinear Up-sampling)将SSD中的Conv7特征层上采样到与Conv4_3同样的大小，并通过按位相加(Element-wise Sum)的方式与Conv4_3特征层进行融合，得到Conv_tmp特征层；然后通过passthrough的方法对Conv3_3特征层的结构进行修改，拼接到Conv_tmp后，得到用于小目标检测的低特征层Conv_conc。该步骤实施过程分为3个子步骤：

子步骤2-1,上采样Conv_7特征层。利用双线性插值算法将Conv_7特征层上采样到与Conv4_3同样的大小。双线性插值的计算公式如下：

其中：f为未知函数，P＝(x,y)是待求值的坐标点，f(P)为待求的值，Q₁₁＝(x₁,y₁)、Q₁₂＝(x₁,y₂)、Q₂₁＝(x₂,y₁)、Q₂₂＝(x₂,y₂)是四个已知的坐标点，f(Q₁₁)、f(Q₁₂)、f(Q₂₁)、f(Q₂₂)为函数f在四个点处已知的值，R₁＝(x,y₁)，R₂＝(x,y₂)。

子步骤2-2，融合Conv7和Conv4_3特征层。通过1×1卷积减少步骤2-1得到的特征图的通道数，并以按位和的方式与Conv4_3特征层进行融合，然后使用3×3的卷积核对融合后的特征进行卷积，以消除上采样的混叠效应。

子步骤2-3，融合Conv3_3和Conv4_3特征层。通过passthrough的方法将Conv3_3转换成与Conv4_3同样大小特征层，并与子步骤2-2得到的特征图进行拼接，进行通道扩展，得到用于小目标检测的Conv_conc特征层。passthrough方法就是对上一层特征图的相邻像素进行切分，组成另外一个通道，即如果是26×26×512的特征图将转换为13×13×2048的特征图。

步骤3，BSSD网络模型训练。首先使用K-means聚类算法确定BSSD中默认框的尺度及长宽比；然后针对SSD小目标检测能力不足的问题，改进SSD训练方案中的数据扩增策略，增加小采样比例；最后从github的SSD项目主页中下载VGGNet预训练模型，以初始化BSSD中对应部分的基础神经网络的参数，并训练BSSD神经网络模型。该步骤实施过程分为3个子步骤：

子步骤3-1,为默认框选择尺度和长宽比。使用K-means聚类算法对PASCAL VOC数据集中的真实框进行聚类，并根据聚类结果及交叉验证的方式确定BSSD中默认框的尺度及长宽比。与标准K-means聚类算法使用欧氏距离作为距离度量不同，本实施例使用YOLOV2中定义的距离度量标准公式如下：

d(box,centroid)＝1-IOU(box,centroid) (4)

其中：box为边界框，centroid为中心框，d(box,centroid)为边界框与中心框之间的距离，IOU(box,centroid)为边界框和中心框之间的交并比，即两个框交集的面积除以两个框并集的面积。

子步骤3-2，改进数据扩增策略。修改训练样本采样比例，增加小采样比例，最终设置的采样比例为：0.01、0.03、0.07、0.1、0.3、0.5、0.7、0.9。相比于SSD增加了0.1以下的采样比例。

子步骤3-3，训练检测模型。使用VGGNet预训练模型初始化BSSD中基础神经网络的参数，其余网络层的初始化方式与SSD中的相同，设置模型训练的目标损失函数，利用制作好的训练集训练BSSD神经网络模型。

目标损失函数如公式(5)所示，令表示第i个默认边界框与类别p的第j个真实边界框是否匹配，总的目标损失函数由定位损失(localization loss，L_loc)和置信度损失(confidence loss，L_conf)加权求和获得：

其中：N是与真实边界框相匹配的默认边界框的个数(若N＝0，设置loss＝0)，l为预测边界框，g为真实边界框，c为预测边界框类别为p的置信度。

L_loc是l与g参数之间的Smooth L1Loss，回归默认边界框(d)的中心偏移量(cx,cy)和其宽度(w)、高度(h)的偏移量，计算L_loc的公式如下：

其中：的定义如下：

其中：是第j个真实边界框中心点的横坐标，是第j个真实边界框中心点的纵坐标，是第j个真实边界框的宽，是第j个真实边界框的高，是第i个默认边界框中心点的横坐标，是第i个默认边界框中心点的纵坐标，是第i个默认边界框的宽，是第i个默认边界框的高。

SSD模型检测准确率低于two-stage检测模型的原因之一是正负样本极不均衡，即负样本远远多于正样本。虽然SSD也采用了难分样本挖掘等启发式采样方法，但是依然不够充分，原因是训练过程仍然由易分的背景样本主导。为了降低易分样本对训练过程的影响，使得模型专注于在难分样本上进行学习，本实施例对SSD中的L_conf进行了改进，新的L_conf是在多类别置信度(c)上融合了Focal Loss的Softmax损失，计算L_conf的公式如下：

其中：表示第i个默认边界框与类别p的第j个真实边界框是否匹配，N是与真实边界框相匹配的默认边界框的个数，是第i个默认边界框类别为p的置信度，β_p是类别为p的权重因子，β₀是类别为背景的权重因子，γ是聚焦参数，是第i个默认边界框类别为背景的置信度，Pos表示所有的正样本，Neg表示所有的负样本。超参数α、β、γ通过交叉验证的方式确定。

步骤4，图像目标检测；首先利用训练好的检测模型对待检测图片中的目标进行检测；随后设置阈值剔除检测置信度较低的检测框，减少检测框的数目；最后通过非极大抑制的方法进一步减少检测框的数目，对于图片中存在的且能够检测出的目标使用矩形框标出，并标识其对应的类别。

基于相同的发明构思，本发明实施例还提供一种基于BSSD的目标检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的基于BSSD的目标检测方法。

基于相同的发明构思，本发明实施例还提供一种存储装置，存储有可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的基于BSSD的目标检测方法。

Claims (9)

1.一种基于BSSD的目标检测方法，其特征在于：包括如下步骤：

(1)将训练集的图像进行去均值处理并归一化到指定的大小；

(2)利用训练集对构建的BSSD网络模型进行训练；所述BSSD网络模型基于SSD网络模型构建，通过线性插值将相对较低的高层特征层与其之前的SSD用于检测最小目标的特征层进行融合，并通过passthrough的方法将相对较高的低层特征层与融合后的特征层进行拼接得到用于小目标检测的特征层；

(3)利用训练好的BSSD网络模型对测试图像中的目标进行检测，根据设置的阈值剔除检测置信度较低的检测框，并通过非极大值抑制的方法进一步减少检测框数目，对检测出的目标进行标注。

2.根据权利要求1所述的基于BSSD的目标检测方法，其特征在于：所述BSSD网络模型首先利用双线性插值算法将SSD中的第七个特征层上采样到与第四个卷积模块的第三个特征层同样的大小，并通过按位相加的方式与第四个卷积模块的第三个特征层进行融合；然后通过passthrough的方法对第三个卷积模块的第三个特征层的进行修改，拼接到上一步融合的特征层，得到用于小目标检测的特征层。

3.根据权利要求2所述的基于BSSD的目标检测方法，其特征在于：融合SSD的第七个特征层和第四个卷积模块的第三个特征层时，通过1×1卷积减少上采样第七个特征层得到的特征图的通道数，并以按位和的方式与第四个卷积模块的第三个特征层进行融合，然后使用3×3的卷积核对融合后的特征进行卷积，以消除上采样的混叠效应。

4.根据权利要求1所述的基于BSSD的目标检测方法，其特征在于：所述步骤(2)中训练BSSD网络模型时，使用K-means聚类算法对数据集中的真实框进行聚类，并根据聚类结果及交叉验证的方式确定BSSD中默认框的尺度及长宽比。

5.根据权利要求1所述的基于BSSD的目标检测方法，其特征在于：所述步骤(2)中训练BSSD网络模型时，改进SSD训练方案中的数据扩增策略，增加小采样比例。

6.根据权利要求1所述的基于BSSD的目标检测方法，其特征在于：所述步骤(2)中训练BSSD网络模型时，使用VGGNet预训练模型初始化BSSD中基础神经网络的参数。

7.根据权利要求1所述的基于BSSD的目标检测方法，其特征在于：训练BSSD网络模型的总目标损失函数定位损失L_loc和置信度损失L_conf加权求和获得；所述置信度损失L_conf的计算公式如下：

其中： 表示第i个默认边界框与类别p的第j个真实边界框是否匹配，N是与真实边界框相匹配的默认边界框的个数，是第i个默认边界框类别为p的置信度，β_p是类别为p的权重因子，β₀是类别为背景的权重因子，γ是聚焦参数，是第i个默认边界框类别为背景的置信度，Pos表示所有的正样本，Neg表示所有的负样本。

8.一种基于BSSD的目标检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-7任一项所述的基于BSSD的目标检测方法。

9.一种存储装置，存储有可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-7任一项所述的基于BSSD的目标检测方法。