CN113033363A - 一种基于深度学习的车辆稠密目标检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车辆稠密目标检测方法，包括S1、构建并训练多尺度降维卷积特征提取网络；S2、通过多尺度降维卷积特征提取网络提取待检测图像的多尺度降维特征图；S3、基于历史图像，生成先验知识锚框；S4、生成待检测图像中的所有目标候选区域；S5、对目标候选区域进行ROIpooling处理，获得具有车辆稠密目标检测结果。本发明考虑了稠密目标尺度差异大的特点，在faster‑rcnn网络的基础上，提出了多级多分辨、多尺寸降维卷积特征提取和基于形状先验的锚点窗口生成的思路，提高了对多尺度稠密模型的检测能力，有效解决了现有相关检测方法中存在的信息丢失问题，实现了对稠密目标的自动识别和辨别。

Description

一种基于深度学习的车辆稠密目标检测方法

技术领域

本发明属于智能交通技术领域，具体涉及一种基于深度学习的车辆稠密目标检测方法。

背景技术

随着我国现代化建设进程的加快，城市基础设施的建设速度根本无法满足经济高速增长的需求，人、车辆等目标拥挤的情况经常出现，由此所带来的交通安全、道路堵塞、环境污染等问题日益凸显。造成事故多发的主要原因之一就是道路通行流量大，车辆拥挤、违规混行，与车辆的密集程度有着直接关系。实际场景中密集分布的车辆不仅会直接导致交通事故的发生，还会影响到城市基础设施的服务能力。如果智能交通分析系统能够实时检测出稠密分布的车辆，进一步引导相关管理部门对车辆的异常行为、道路流量进行检查布控，并且及时给予提醒、预警，那么很大程度上能够避免道路拥堵和事故的发生，如何高效地分析稠密分布的车辆，保证出行安全、道路畅通已经成为智能交通分析系统急需解决的问题，这涉及到稠密目标检测技术。针对复杂的场景，提出更加切实高效的稠密车辆检测方案，已经成为智能交通的迫切需求，稠密目标检测技术还能够完成航拍遥感、卫星导弹对地面目标的检测任务，在军事、安防、救援等各个领域都发挥了及其重要的应用价值。

稠密分布的目标常常会受拍摄角度、遮挡、光线、背景、图像分辨率等因素的限制，即使是同一目标往往也表现出不同的外观细节。当前稠密目标的检测方法主要是将目标的检测视为通用目标检测的特例，与非稠密目标相比，稠密分布的目标呈现出较大的外表、尺度、视角差异，并且目标之间很容易相互遮挡，当有的目标检测方法大多未考虑目标自身的特性，仍然存在以下问题未被解决，首先，稠密目标往往尺度差异较大，将图像输入网络进行处理后，小目标往往边缘特征不明显甚至缺失，导致目标无法正常被识别检测；其次，稠密目标检测场景相对复杂，目标数量多，现有方法无法有效检测到所有目标。

发明内容

针对现有技术中的上述不足，本发明提供的基于深度学习的车辆稠密目标检测方法解决了现有相关目标检测方法中未考虑目标特性，以至目标无法正常被识别及针对复杂场景无法检测到所有目标的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于深度学习的车辆稠密目标检测方法，包括以下步骤：

S1、构建并训练多尺度降维卷积特征提取网络；

S2、通过训练好的多尺度降维卷积特征提取网络提取待检测图像的多尺度降维特征图；

S3、基于具有车辆稠密目标识别结果的历史图像，生成先验知识锚框；

S4、基于多尺度降维特征图和先验知识锚框，利用RPN网络生成待检测图像中的所有目标候选区域；

S5、基于先验知识锚框，对目标候选区域进行ROI pooling处理，获得具有车辆稠密目标检测结果。

进一步地，所述步骤S1的多尺度降维卷积特征提取网络包括依次连接的特征提取子网络、多尺寸降维卷积子网络和跨层信息融合子网络；

所述特征提取子网络为以ResNet-50网络为基本结构构建的用于特征提取的残差网络，用于提取输入图像的特征，获得尺度不同的特征图C3和特征图C4，并通过对特征图C3进行2倍上采样处理获得特征图F3；

所述多尺寸降维卷积子网络用于特征图C4进行信息提纯处理，获得特征图 F4；

所述跨层信息融合子网络用于对特征图F3和F4进行融合处理，获得多尺度降维特征图F。

进一步地，所述多尺寸降维卷积子网络包括依次连接的输入层、并行的五个网络分支及与特征串联层；

所述输入层为4倍的上采样层，其输出维度为256；

在并行的五个网络中，第一分支为第一1×1卷积层，输出维度为64；第二分支包括依次连接的第一3×3卷积层和第二1×1卷积层，输出维度为32；第三分支包括依次连接的第三1×1卷积层和第二3×3卷积层，输出维度为96；第四分支包括依次连接的第四1×1卷积层和5×5卷积层，输出维度为32；第五分支包括依次连接的第五1×1卷积层和7×7卷积层，输出维度为32；

所述特征串联层按照五个网络分支的输出顺序对其输出的图像进行串联融合，获得特征图F4。

进一步地，所述跨层信息融合子网络对特征图F3和F4进行融合处理的方法具体为：

对特征图F3和特征图F4使用L2正则化处理，获得归一化的特征图后将其按照通道轴进行拼接，获得通道数为512的多尺度降维的特征图F。

进一步地，所述步骤S2中，对多尺度降维卷积特征提取网络训练时，其训练集中的图像为经过数据增强处理的具有车辆稠密目标的图像；

对图像进行数据增强处理的方法具体为：

A1、尺度缩放：将图像的较短边的长度随机缩放至原长度的80％～120％，较长边的长度不变；

A2、随机变化：在经过A1处理的图像的基础上，对不同尺寸的图像随机进行水平翻转、添加噪声和更改颜色对比度操作；

A3、多级分辨率拼接：在经过A2处理的图像的基础上，对不同尺度、不同分辨率的图像，随机截取一半的图像进行拼接，得到不同尺度不同分辨率的拼接图像，作为训练集中的图像。

进一步地，所述步骤S3具体为：

S31、设置K＝9，即形成9类锚点窗口的参考锚框；

S32、定义用于先验锚点框距离的距离函数d(B,C)＝1-IoU(B,C)；

其中，B为标注的目标窗口，即目标框，C为聚类中心，IoU(B,C)为聚类中心和目标框的IoU值，且

式中，

为目标框B的左上顶点和右下顶点坐标，

为距离中心C的左上顶点和右下顶点；

S32、对具有车辆稠密目标识别结果的历史图像，基于距离函数d(B,C)计算标注的目标框B和距离中心C的距离，并根据设置K＝9对历史图像进行k-means 聚类，形成9类锚点窗口的的参考锚框；

S33、基于历史图像中的目标识别结果作为先验知识锚框，使用聚类方法对参考锚框进行调整，使其范围不局限于70～768的尺度范围内，生成9个尺寸的先验知识锚框。

进一步地，所述步骤S5具体为：

S51、将大小形状各不相同的目标候选区域归一化为固定尺寸的目标识别区域；

S52、计算各目标识别区域的类别，并使用边框归一化处理获得目标检测框作为车辆稠密检测结果。

本发明的有益效果为：

本发明提供的稠密目标检测考虑到了稠密目标尺度差异大的特点，在 faster-rcnn网络的基础上，提出了多级多分辨、多尺寸降维卷积特征提取和基于形状先验的锚点窗口生成的目标检测思路，提高了对多尺度稠密模型的检测能力，有效解决了现有相关检测方法中存在的信息丢失问题，实现了对稠密目标的自动识别和辨别。

附图说明

图1为本发明提供的基于深度学习的车辆稠密目标检测方法流程图。

图2为本发明提供的多尺寸降维卷积子网络结构示意图。

图3为本发明提供的数据增强处理示意图。

图4为本发明提供的车辆稠密目标检测示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于深度学习的车辆稠密目标检测方法，包括以下步骤：

S1、构建并训练多尺度降维卷积特征提取网络；

S2、通过训练好的多尺度降维卷积特征提取网络提取待检测图像的多尺度降维特征图；

S3、基于具有车辆稠密目标识别结果的历史图像，生成先验知识锚框；

S4、基于多尺度降维特征图和先验知识锚框，利用RPN网络生成待检测图像中的所有目标候选区域；

S5、基于先验知识锚框，对目标候选区域进行ROI pooling处理，获得具有车辆稠密目标检测结果。

本实施例的步骤S1中的多尺度降维卷积特征提取网络包括依次连接的特征提取子网络、多尺寸降维卷积子网络和跨层信息融合子网络；

特征提取子网络为以ResNet-50网络为基本结构构建的用于特征提取的残差网络，用于提取输入图像的特征，取ResNet-50网络网络结构中第三层输出和第四层输出的两个特征图，获得尺度不同的特征图C3和特征图C4，并通过对特征图C3进行2倍上采样处理获得特征图F3；

多尺寸降维卷积子网络用于特征图C4进行信息提纯处理，获得特征图F4；

跨层信息融合子网络用于对特征图F3和F4进行融合处理，获得多尺度降维特征图F。

如图2所示，多尺寸降维卷积子网络包括依次连接的输入层、并行的五个网络分支及与特征串联层；

输入层为4倍的上采样层，其输出维度为256；

在并行的五个网络中，第一分支为第一1×1卷积层，输出维度为64；第二分支包括依次连接的第一3×3卷积层和第二1×1卷积层，输出维度为32；第三分支包括依次连接的第三1×1卷积层和第二3×3卷积层，输出维度为96；第四分支包括依次连接的第四1×1卷积层和5×5卷积层，输出维度为32；第五分支包括依次连接的第五1×1卷积层和7×7卷积层，输出维度为32；

特征串联层按照五个网络分支的输出顺序对其输出的图像进行串联融合，获得特征图F4；

在多尺寸降维卷积子网络中，将特征C4依次输入到输入层和并行的五个网络分支中，五个网络分支提取图像不同尺度的特征信息，对于卷积核较大的分支，先进行降维，对于卷积核较小的分支，先进行最大池化减少冗余信息，最终对五个分支的特征结果按照通道维度进行串联融合得到特征图F4。

具体地，跨层信息融合子网络对特征图F3和F4进行融合处理的方法具体为：

对特征图F3和特征图F4使用L2正则化处理，获得归一化的特征图后将其按照通道轴进行拼接，获得通道数为512的多尺度降维的特征图F。

在本实施例的步骤S2中，为了增强网络训练的准确性，在对多尺度降维卷积特征提取网络训练时，其训练集中的图像为经过数据增强处理的具有车辆稠密目标的图像；

如图3所示，对图像进行数据增强处理的方法具体为：

A1、尺度缩放：将图像的较短边的长度随机缩放至原长度的80％～120％，较长边的长度不变；

A2、随机变化：在经过A1处理的图像的基础上，对不同尺寸的图像随机进行水平翻转、添加噪声和更改颜色对比度操作；

A3、多级分辨率拼接：在经过A2处理的图像的基础上，对不同尺度、不同分辨率的图像，随机截取一半的图像进行拼接，得到不同尺度不同分辨率的拼接图像，作为训练集中的图像。

本实施例的步骤S3具体为：

S31、设置K＝9，即形成9类锚点窗口的参考锚框；

S32、定义用于先验锚点框距离的距离函数d(B,C)＝1-IoU(B,C)；

其中，B为标注的目标窗口，即目标框，C为聚类中心，IoU(B,C)为聚类中心和目标框的IoU值，且

式中，

为目标框B的左上顶点和右下顶点坐标，

为距离中心C的左上顶点和右下顶点；

S32、对具有车辆稠密目标识别结果的历史图像，基于距离函数d(B,C)计算标注的目标框B和距离中心C的距离，并根据设置的K对历史图像进行k-means 聚类，形成9类锚点窗口的的参考锚框；

S33、基于历史图像中的目标识别结果作为先验知识锚框，使用聚类方法对参考锚框进行调整，使其范围不局限于70～768的尺度范围内，生成9个尺寸的先验知识锚框。

具体地，从训练集中随机选择9个数据点作为质心，对于训练集中的每一个目标，根据定义的距离函数计算目标框B和质心C之间的距离，根据距离计算结果，将质心划分到对应的集合中，如果新计算出来的质心和原来质心的距离d(B,C)小于设置的阈值1e-4，则聚类停止，得到9类用于稠密目标的先验框大小，通过利用历史图像中真实标注的目标大小作为先验知识生产锚框，使用聚类方法获得使用范围不再局限于70～768的尺度范围内，生成9个尺寸的先验知识锚框，以适配各种目标。

本实施例的步骤S4中，基于9个尺寸的先验知识锚框，利用RPN网络对待检测的图像进行处理，生成所有目标候选区域。

本实施例的步骤S5具体为：

S51、将大小形状各不相同的目标候选区域归一化为固定尺寸的目标识别区域；

S52、计算各目标识别区域的类别，并使用边框归一化处理获得目标检测框作为车辆稠密检测结果。

如图4为基于本发明方法获得车辆稠密目标检测结果，从图中可以看出本发明具有较好的稠密目标检测结果。

Claims (7)

1.一种基于深度学习的车辆稠密目标检测方法，其特征在于，包括以下步骤：

S1、构建并训练多尺度降维卷积特征提取网络；

S2、通过训练好的多尺度降维卷积特征提取网络提取待检测图像的多尺度降维特征图；

S3、基于具有车辆稠密目标识别结果的历史图像，生成先验知识锚框；

S4、基于多尺度降维特征图和先验知识锚框，利用RPN网络生成待检测图像中的所有目标候选区域；

S5、基于先验知识锚框，对目标候选区域进行ROIpooling处理，获得具有车辆稠密目标检测结果。

2.根据权利要求1所述的基于深度学习的车辆稠密目标检测方法，其特征在于，所述步骤S1的多尺度降维卷积特征提取网络包括依次连接的特征提取子网络、多尺寸降维卷积子网络和跨层信息融合子网络；

所述特征提取子网络为以ResNet-50网络为基本结构构建的残差网络，用于提取输入图像的特征，获得尺度不同的特征图C3和特征图C4，并通过对特征图C3进行2倍上采样处理获得特征图F3；

所述多尺寸降维卷积子网络用于特征图C4进行信息提纯处理，获得特征图F4；

所述跨层信息融合子网络用于对特征图F3和F4进行融合处理，获得多尺度降维特征图F。

3.根据权利要求2所述的基于深度学习的车辆稠密目标检测方法，其特征在于，所述多尺寸降维卷积子网络包括依次连接的输入层、并行的五个网络分支及与特征串联层；

所述输入层为4倍的上采样层，其输出维度为256；

在并行的五个网络中，第一分支为第一1×1卷积层，输出维度为64；第二分支包括依次连接的第一3×3卷积层和第二1×1卷积层，输出维度为32；第三分支包括依次连接的第三1×1卷积层和第二3×3卷积层，输出维度为96；第四分支包括依次连接的第四1×1卷积层和5×5卷积层，输出维度为32；第五分支包括依次连接的第五1×1卷积层和7×7卷积层，输出维度为32；

所述特征串联层按照五个网络分支的输出顺序对其输出的图像进行串联融合，获得特征图F4。

4.根据权利要求2所述的基于深度学习的车辆稠密目标检测方法，其特征在于，所述跨层信息融合子网络对特征图F3和F4进行融合处理的方法具体为：

对特征图F3和特征图F4使用L2正则化处理，获得归一化的特征图后将其按照通道轴进行拼接，获得通道数为512的多尺度降维的特征图F。

5.根据权利要求1所述的基于深度学习的车辆稠密目标检测方法，其特征在于，所述步骤S2中，对多尺度降维卷积特征提取网络训练时，其训练集中的图像为经过数据增强处理的具有车辆稠密目标的图像；

对图像进行数据增强处理的方法具体为：

A1、尺度缩放：将图像的较短边的长度随机缩放至原长度的80％～120％，较长边的长度不变；

A2、随机变化：在经过A1处理的图像的基础上，对不同尺寸的图像随机进行水平翻转、添加噪声和更改颜色对比度操作；

A3、多级分辨率拼接：在经过A2处理的图像的基础上，对不同尺度、不同分辨率的图像，随机截取一半的图像进行拼接，得到不同尺度不同分辨率的拼接图像，作为训练集中的图像。

6.根据权利要求1所述的基于深度学习的车辆稠密目标检测方法，其特征在于，所述步骤S3具体为：

S31、设置K＝9，即形成9类锚点窗口的参考锚框；

S32、定义用于先验锚点框距离的距离函数d(B,C)＝1-IoU(B,C)；

其中，B为标注的目标窗口，即目标框，C为聚类中心，IoU(B,C)为聚类中心和目标框的IoU值，且

式中，

为目标框B的左上顶点和右下顶点坐标，

为距离中心C的左上顶点和右下顶点；

S32、对具有车辆稠密目标识别结果的历史图像，基于距离函数d(B,C)计算标注的目标框B和距离中心C的距离，并根据设置K＝9对历史图像进行k-means聚类，形成9类锚点窗口的的参考锚框；

S33、基于历史图像中的目标识别结果作为先验知识锚框，使用聚类方法对参考锚框进行调整，使其范围不局限于70～768的尺度范围内，生成9个尺寸的先验知识锚框。

7.根据权利要求6所述的基于深度学习的车辆稠密目标检测方法，其特征在于，所述步骤S5具体为：

S51、将大小形状各不相同的目标候选区域归一化为固定尺寸的目标识别区域；

S52、计算各目标识别区域的类别，并使用边框归一化处理获得目标检测框作为车辆稠密检测结果。

Images