CN110399884B - 一种特征融合自适应锚框模型车辆检测方法 - Google Patents

Abstract

本发明公开了一种特征融合自适应锚框模型车辆检测方法。采集车辆数据集的多幅图像，将图像输入到卷积神经网络中进行特征提取，利用A2中得到的特征图来预测候选框，建立预测网络模型，预测中自适应锚框，根据图像中GT框的大小建立自适应阈值得到多个锚框的大小；标签和偏移量的获取：建立预测网络模型的损失函数，训练预测网络；针对未知物体GT框的待测图像，输入到训练后的预测网络模型中，得到候选框及其候选框的位置坐标。本发明提高了对小物体的检测能力，有效的提高了车辆检测性能，结果较为准确。

Description

一种特征融合自适应锚框模型车辆检测方法

技术领域

本发明涉及目标检测领域，更具体的涉及一种特征融合自适应锚框模型车辆检测方法。

背景技术

车辆检测在无人驾驶、道路监控、辅助驾驶等方面都有着重要应用，随着近些年车辆的不断增多和人们对于车辆检测技术需求的不断提高，车辆检测已经成为目标检测领域的重要研究对象。

在传统的车辆检测算法中，图像处理和机器学习发挥了重要的作用，被许多学者研究，并将取得的成果应用在科学研究和工程领域。这些算法通常包括两个步骤：首先，通过局部二值模式(LBP)、方向梯度直方图(HOG)、尺度不变特征变换(SIFT)等方法从图像中提取目标的特征向量。然后将提取的特征向量送入分类器，如：支持向量机(SVM)、自适应增强(AdaBoost)、决策树(DT)等进行分类。这些方法依托人工设计的特征提高了检测性能，但是无法在复杂场景中取得好的效果，在车辆检测中存在瓶颈。

深度学习使用大量数据训练的更深更复杂的网络模型对图像提取特征，所提取的特征优于传统方法所提取的特征，在一定程度上解决了训练时间长，检测速度慢的问题。但是现有深度学习的目标检测方法的步骤都比较繁琐，使用选择性搜索方法产生的候选框存在很多冗余，并且这些区域会进行多次卷积操作，造成很大的计算量，十分耗时。

尤其是对于小目标车辆的检测，这些方法不能获得较好的检测结果。

发明内容

本发明目的是针对现有的车辆检测方法对小目标车辆检测能力的不足之处，以提高车辆检测的准确性，提供了一种特征融合自适应锚框模型车辆检测方法。

本发明方法的基本思路是首先将特征提取网络提取的不同尺度的特征图相融合，然后根据训练数据中Ground Truth(GT)的长宽分布自适应阈值得到合适尺寸的锚框，这样通过提升对小目标的检测能力，来提高检测性能。

本发明的目的是通过以下技术方案来实现的，如图2所示，包括以下具体步骤：

A1，采集车辆数据集，车辆数据集包含物体GT框的多幅图像I，物体对象为车辆，GT框数据为[c^*,x^*,y^*,w^*,h^*]，c^*表示GT框内物体的类别，x^*，y^*分别表示GT框内中心点的x坐标和y坐标，w^*，h^*分别表示GT框的高度和宽度；

A2，特征融合，将图像I输入到卷积神经网络中进行特征提取，将特征提取后得到不同尺度相融合的大小特征图，在大特征图中对小物体进行检测，在小特征图中对大物体进行检测；

A3，候选框预测，利用A2中得到的特征图来预测候选框，具体建立如下预测网络模型：

A3-1，同时用滑动窗口分别在融合后的大小特征图上分别进行卷积，滑动窗口的中心作为锚点，以每个锚点为中心产生固定数量的不同尺寸的锚框，每个滑动窗口生成一个固定维度的特征；

A3-2，将A3-1中生成的特征输入到两个全连接层，一个全连接层用于预测锚框是物体的概率p，另外一个全连接层用于预测候选框坐标相对于锚框的偏移量t；

A4，预测中自适应锚框，根据图像I中GT框的大小建立自适应阈值得到多个锚框的大小，以进行实时处理，这样能加快损失函数的收敛速度，并提高对小目标的检测能力；

A5，标签和偏移量的获取：为锚框设定标签p^*，将A4-3得到的不同尺寸的锚框，通过计算锚框和GT框之间的交并比(IOU)来确定锚框的标签p^*；并且计算候选框与锚框之间的偏移量t_ki，GT框与锚框之间的偏移量t_ki ^*；

A6，建立预测网络模型的损失函数；

所述的损失函数是由分类损失和回归损失组成：

分类损失函数为：

其中，k是融合后的大小特征图的索引，i是锚框的索引，p_ki表示第k特征图第i个锚框是物体的预测概率；p_ki ^*是k层第i个锚框的真实标签；L_cls是分类损失，N_cls是分类样本图像数；

回归损失函数为：

其中，t_ki表示第k特征图的候选框与第i个锚框之间的偏移量，t_ki ^*是第k特征图的GT框与第i个锚框的偏移量，N_reg是偏移量的数据总数，L_reg是回归损失，L_reg(t_ki,t_ki ^*)＝R(t_ki-t_ki ^*)，R表示具有鲁棒性的平滑L1损失函数；

总损失函数为：

其中，λ_k为比例系数；

A7，将车辆数据集的包含多幅已知物体GT框的图像I采用上述A2～A6进行处理，并输入到预测网络模型通过梯度下降最小化进行训练，使得预测的候选框和GT框相匹配；针对未知物体GT框的待测图像，输入到训练后的预测网络模型中，得到候选框及其候选框的位置坐标，作为车辆物体的检测结果。

所述A4具体为：

A4-1，将所有图像I中GT框的宽尺寸归一化，得到归一化后的宽数值大小x_w，以相同的宽数值大小x_w组成作为同一种宽数值组，统计每一种宽数值组中宽数值大小x_w的数值个数为y_w，以最大的数值个数y_w作为宽峰值y_max，计算获得自适应宽阈值γ_w＝y_max/5；

A4-2，以宽数值大小x_w及其对应的数值个数y_w分别作为横纵坐标，绘制曲线图，处理获得将数据个数y_w等于自适应宽阈值γ_w时对应的两个宽数值大小x_w，两个宽数值大小x_w按照大小分别作为最小宽数值α_w和最大宽数值β_w；

A4-3，按照A4-1和A4-2相同的方法，设定自适应高阈值γ_h，得到最小高数值α_h和最大高数值β_h；

A4-4，将得到的最小宽数值α_w、最大宽数值β_w、最小高数值α_h和最大高数值β_h乘以图像的宽和高，据此得到多个锚框的尺寸范围。

所述A5中，当锚框与GT框的交并比大于0.7时，认为该锚框为物体，标签p^*为正样本；当锚框与GT框的交并比大于0.3时，认为该锚框为背景，标签p^*为负样本。

本发明的有益效果是：

本发明与现有车辆检测方法相比，充分利用了不同特征图中的信息，并利用GT框的长宽分布自适应阈值得到合适尺寸的锚框大小，提高了对小物体的检测能力，有效的提高了车辆检测性能，结果较为准确。

附图说明

图1为卷积后各层的特征图；

图2为本发明方法的实现流程图；

图3为自适应锚框的实施效果图；左侧表示自适应锚框宽的结果，右侧表示自适应锚框高的结果；上侧两幅图为GT数据的宽高分布，下侧两幅图为自适应锚框的结果；

图4为不同方法的车辆图像检测对比结果图；(a)输入图像，(b)Faster R-CNN检测结果，(c)基于Faster R-CNN的特征融合自适应锚框模型检测结果。

图5为不同方法的检测率性能图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明，本发明的目的和效果将变得更加明显。

本发明的具体实施例及其实施过程如下：

实验数据是从真实道路交通场景中采集的图像，从中选取质量高、形变小的车辆图像作为数据集进行实验。

A1，采集车辆数据集，车辆数据集包含物体GT框的多幅图像I，物体对象为车辆，GT框数据为[c^*,x^*,y^*,w^*,h^*]，c^*表示GT框内物体的类别，x^*，y^*分别表示GT框内中心点的x坐标和y坐标，w^*，h^*分别表示GT框的高度和宽度；

A2，特征融合，将图像I输入到卷积神经网络中进行特征提取，将特征提取后得到不同尺度相融合的大小特征图，具体为大特征图和小特征图的两种特征图，在大特征图中对小物体进行检测，在小特征图中对大物体进行检测；

具体实施中，车辆数据集包含10000张图像，7000张作为训练集，3000张作为测试集，采用卷积神经网络VGG-16，用卷积、池化和激活函数等相结合的方式对训练集图像I进行特征提取，特征提取后各层的特征图如图1所示。输出获得五个不同尺度的特征图，尺寸尺度从大到小顺序，对特征提取得到的五层不同尺度的特征图做如下处理：将第一层特征图通过最大池化将维度减小和第三层特征图进行连接融合起来为大特征图l₁，对小物体进行检测，通过反卷积将第五层特征图维度增大为小特征图l₂，对大物体进行检测。

A3，候选框预测，利用A2中得到的特征图来预测候选框，具体建立如下预测网络模型：

A3-1，同时用两个3×3的滑动窗口分别在l₁和l₂特征图上进行卷积，滑动窗口的中心作为锚点，以每个锚点为中心产生k个不同尺寸的锚框，每个滑动窗口生成一个512维的特征；

A3-2，将A3-1中生成的512维的特征输入到两个全连接层，一个全连接层用于预测锚框是物体的概率p，另外一个全连接层用于预测候选框坐标相对于锚框的偏移量t；

A4，预测中自适应锚框，根据图像I中GT框的大小建立自适应阈值得到多个锚框的大小，以进行实时处理；

所述A4具体为：

A4-1，将所有图像I中GT框的宽尺寸归一化，得到归一化后的宽数值大小x_w，以相同的宽数值大小x_w组成作为同一种宽数值组，统计每一种宽数值组中宽数值大小x_w的数值个数为y_w，以最大的数值个数y_w作为宽峰值y_max，计算获得自适应宽阈值γ_w＝y_max/5；

A4-2，以宽数值大小x_w及其对应的数值个数y_w分别作为横纵坐标，绘制曲线图，处理获得将数据个数y_w等于自适应宽阈值γ_w时对应的两个宽数值大小x_w，两个宽数值大小x_w按照大小分别作为最小宽数值α_w和最大宽数值β_w，如图3所示；

A4-3，按照A4-1和A4-2相同的方法，设定自适应高阈值γ_h，得到最小高数值α_h和最大高数值β_h，如图3所示；

A4-4，将得到的最小宽数值α_w、最大宽数值β_w、最小高数值αh和最大高数值β_h乘以图像的宽和高，由此得到多个锚框的尺寸范围。

具体实施，最小宽数值α_w＝0.303，最大宽数值β_w＝0.405，最小高数值α_h＝0.371和最大高数值β_h＝0.584。在最小宽数值α_w和最大宽数值β_w的尺寸范围中选择两个端点值和中间值的三个值，并且也在最小高数值α_h和最大高数值β_h的尺寸范围中选择两个端点值和中间值的三个值，3×3构成9种尺寸的锚框比例。即将(0.303*W，(0.303+0.405)*W/2，0.405*W)和(0.371*H，(0.371+0.584)*H/2，0.584*H)作为锚框的长和宽尺寸，由此可以得到k＝9个不同尺寸的锚框。

A5，标签和偏移量的获取：为9种不同尺寸的锚框设定标签p^*，将A4-3得到的不同尺寸的锚框，通过计算锚框和GT框之间的交并比(IOU)来确定锚框的标签p^*；并且计算候选框与锚框之间的偏移量t_ki，GT框与锚框之间的偏移量t_ki ^*；

当锚框与GT框的交并比大于0.7时，认为该锚框为物体，标签p^*为正样本；当锚框与GT框的交并比大于0.3时，认为该锚框为背景，标签p^*为负样本。

将既不为正样本也不为负样本的锚框舍去，通过计算候选框与锚框的偏移量得到t＝(t_x,t_y,t_w,t_h)，GT框与锚框的偏移量得到t^*＝(t_x ^*,t_y ^*,t_w ^*,t_h ^*)：

其中，[x，y，w，h]，[x^*，y^*，w^*，h^*]分别是候选框和GT框的中心坐标、宽和高。

A6，建立预测网络模型的损失函数；

所述的损失函数是由分类损失和回归损失组成：

分类损失函数为：

其中，k是融合后的大小特征图的索引，i是锚框的索引，p_ki表示第k特征图第i个锚框是物体的预测概率；p_ki ^*是k层第i个锚框的真实标签，如果锚框为正样本，真实标签p_ki ^*为1，为负样本，真实标签p_ki ^*为0；L_cls是分类损失，N_cls是分类样本图像数；

回归损失函数为：

其中，t_ki表示第k特征图的候选框与第i个锚框之间的偏移量，t_ki ^*是第k特征图的GT框与第i个锚框的偏移量，N_reg是偏移量的数据总数，L_reg是回归损失，L_reg(t_ki,t_ki ^*)＝R(t_ki-t_ki ^*)，R表示具有鲁棒性的平滑L1损失函数；

总损失函数为：

其中，λ_k为比例系数；

A7，将车辆数据集的包含多幅已知物体GT框的图像I采用上述A2～A6进行处理，并输入到预测网络模型通过带动量的梯度算法下降算法最小化进行训练，使得预测的候选框和GT框相匹配，从而完成训练；针对未知物体GT框的待测图像，输入到训练后的预测网络模型中，得到候选框及其候选框的位置坐标，作为车辆物体的检测结果。

具体实施中，一共迭代10000次，前6000次的学习率设置为10^-3，后4000次的学习率设置为10^-4，动量设置为0.9。

为了验证我们方法的性能，利用测试集对R-CNN、Fast R-CNN、Faster R-CNN和我们的方法进行了测试。使用目标检测的标准评判准则mAP进行评价，mAP值越大，说明性能越好。本方法和不同方法的车辆图像检测mAP值如表所示。

从上表可以看出，本发明提供方法的mAP值高于其他方法。可见本方法针对现有车辆检测方法对小目标检测能力的不足之处，充分利用不同特征图中的信息，并利用GT框的长宽分布自适应阈值得到合适尺寸的锚框大小，提高了对小物体的检测能力，有效的提高了车辆检测性能。

Claims (2)

1.一种特征融合自适应锚框模型车辆检测方法，其特征在于：方法如下：

A1，采集车辆数据集，车辆数据集包含物体GT框的多幅图像I，物体对象为车辆，GT框数据为[c^*,x^*,y^*,w^*,h^*]，c^*表示GT框内物体的类别，x^*，y^*分别表示GT框内中心点的x坐标和y坐标，w^*，h^*分别表示GT框的高度和宽度；

A2，特征融合，将图像I输入到卷积神经网络中进行特征提取，将特征提取后得到不同尺度相融合的大小特征图，在大特征图中对小物体进行检测，在小特征图中对大物体进行检测；

A3，候选框预测，利用A2中得到的特征图来预测候选框，具体建立如下预测网络模型：

A3-1，同时用滑动窗口分别在融合后的大小特征图上分别进行卷积，滑动窗口的中心作为锚点，以每个锚点为中心产生固定数量的不同尺寸的锚框，每个滑动窗口生成一个固定维度的特征；

A3-2，将A3-1中生成的特征输入到两个全连接层，一个全连接层用于预测锚框是物体的概率p，另外一个全连接层用于预测候选框坐标相对于锚框的偏移量t；

A4，预测中自适应锚框，根据图像I中GT框的大小建立自适应阈值得到多个锚框的大小，以进行实时处理；

A5，标签和偏移量的获取：为锚框设定标签p^*，将A4得到的不同尺寸的锚框，通过计算锚框和GT框之间的交并比(IOU)来确定锚框的标签p^*；并且计算候选框与锚框之间的偏移量t_ki，GT框与锚框之间的偏移量t_ki ^*；

A6，建立预测网络模型的损失函数；

所述的损失函数是由分类损失和回归损失组成：

分类损失函数为：

其中，k是融合后的大小特征图的索引，i是锚框的索引，p_ki表示第k特征图第i个锚框是物体的预测概率；p_ki ^*是k层第i个锚框的真实标签；L_cls是分类损失，N_cls是分类样本图像数；

回归损失函数为：

其中，t_ki表示第k特征图的候选框与第i个锚框之间的偏移量，t_ki ^*是第k特征图的GT框与第i个锚框的偏移量，N_reg是偏移量的数据总数，L_reg是回归损失，L_reg(t_ki,t_ki ^*)＝R(t_ki-t_ki ^*)，R表示具有鲁棒性的平滑L1损失函数；

总损失函数为：

其中，λ_k为比例系数；

A7，将车辆数据集的包含多幅已知物体GT框的图像I采用上述A2～A6进行处理，并输入到预测网络模型通过梯度下降最小化进行训练，使得预测的候选框和GT框相匹配；针对未知物体GT框的待测图像，输入到训练后的预测网络模型中，得到候选框及其候选框的位置坐标，作为车辆物体的检测结果；

所述A4具体为：

A4-1，将所有图像I中GT框的宽尺寸归一化，得到归一化后的宽数值大小x_w，以相同的宽数值大小x_w组成作为同一种宽数值组，统计每一种宽数值组中宽数值大小x_w的数值个数为y_w，以最大的数值个数y_w作为宽峰值y_max，计算获得自适应宽阈值γ_w＝y_max/5；

A4-2，以宽数值大小x_w及其对应的数值个数y_w分别作为横纵坐标，绘制曲线图，处理获得将数据个数y_w等于自适应宽阈值γ_w时对应的两个宽数值大小x_w，两个宽数值大小x_w按照大小分别作为最小宽数值a_w和最大宽数值β_w；

A4-3，按照A4-1和A4-2相同的方法，设定自适应高阈值γ_h，得到最小高数值a_h和最大高数值β_h；

A4-4，将得到的最小宽数值a_w、最大宽数值β_w、最小高数值a_h和最大高数值β_h乘以图像的宽和高，据此得到多个锚框的尺寸范围。

2.根据权利要求1所述的一种特征融合自适应锚框模型车辆检测方法，其特征在于：所述A5中，当锚框与GT框的交并比大于0.7时，认为该锚框为物体，标签p^*为正样本；当锚框与GT框的交并比小于0.3时，认为该锚框为背景，标签p^*为负样本。

Images