CN105718912A - 一种基于深度学习的车辆特征物检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的车辆特征物检测方法。本发明首先把车窗内所有需要检测的物体都标注出来，设计CNN网络结构。其次通过统计机器学习的方法粗略定位车脸的位置，并对车窗四个点进行定位，得到车窗的位置。结合selective search与edgebox建议框提取方法，得到可能是目标物体的建议框。然后在建议框的基础上进行多尺度缩放得到不同尺度下的待分类区域，利用多分类模型进行分类。最后利用每一物体自有的先验信息进行最后的去误检处理。得到每辆车车窗上的各种特征物类别与坐标。本发明相对传统的图像处理方法来说具有较高的鲁棒性，而且能够一次性检测出车窗内所有感兴趣的物体，且速度比传统学习方法快。

Description

一种基于深度学习的车辆特征物检测方法

技术领域

本发明属于机器视觉技术领域，涉及一种基于深度学习的车辆特征物检测方法。

背景技术

截至2015年，我国汽车保有量已经超过1.6亿辆。随着经济的发展，这一数字还在持续增长。大量的汽车在道路上行驶，给交通管理部门带了巨大的管理压力。另一方，许多治安案件中，都存在汽车作为交通工具而出现的情况。

我们国家已有的对汽车管理自动化手段主要是电子警察和卡口系统。这些系统能够实时捕获车辆高清图片，并且自动分析出车牌号码、车型信息（包括品牌、型号和年份，目前正在逐步实施）、颜色等信息，达到对车辆的自动化管理和快速查找。但是即使能够充分利用前述信息，也很难将特定的嫌疑车辆找出来，特别当没有嫌疑车辆的图片，而只有目击证人时。因此利用车上除上述信息以外的，每辆车的独有结构化描述信息，包括遮阳板放下与否，纸巾盒，挂件，标识符等，成为确定特定车辆的重要线索。

目前已有技术主要集中于车辆遮阳板的检测，包括传统的图像处理方法，比如《一种基于图像分析的车辆遮阳板检测方法及装置-201210089548.9》，《一种车辆遮阳板状态的检测方法-201310365024.2》和《一种车内遮阳板检测方法及装置-201310574043.6》，与传统机器学习方法，比如《一种车辆遮阳板状态检测方法及装置-201510531752.5》，《基于图像分析的车辆遮阳板检测方法及装置-201310512222.7》。其中，采用传统的图像处理方法对于环境变化，比如光照变化，反光等情况下效果比较差，容易造成误检。而传统的机器学习方法需要对遮阳板特征进行人工提取。由于遮阳板特征相对单一，因此，导致传统的机器学习方法对一些极端环境下的检测效果非常差。另一方面，传统机器学习方法利用扫描框的方法对不同尺度下图像所有可能的区域进行扫描，速度非常慢（往往一张图几万个扫描框）。已有的方法都只能对一个物体进行检测。

发明内容

为了克服传统方法只能对车窗内某个物体检测，本发明采用建议框提取技术与深度学习相结合的方法，同时对车窗内多个物体进行检测，从而达到在最短时间内检测尽可能多的物体，以满足对数据处理的实时性要求。

本发明方法包括以下步骤：

步骤1.把车窗内所有需要检测的物体都标注出来，设计CNN网络结构，该网络主要包括三个卷积层，三个池化层（1个Max池化层，2个AVE池化层），三个RELU层、两个全连接层及Softmaxwithloss层，并用该结构在Caffe框架上进行训练，得到一个多分类模型。

步骤2.通过统计机器学习的方法粗略定位车脸的位置，并对车窗四个点进行定位，得到车窗的位置。

步骤3.结合selectivesearch(SelectiveSearchforObjectRecognition)与edgebox(EdgeBoxes:LocatingObjectProposalsfromEdges)建议框提取方法，得到可能是目标物体的建议框；该建议框提取方法主要先利用edgebox来生成selectivesearch的初始化框，由于本身edgebox是以图像边缘来分割图像的，因此，基于edgebox的初始化区域具有比原selectivesearch方法里的初始化区域方法更准确。

步骤4.在建议框的基础上进行多尺度缩放得到不同尺度下的待分类区域，然后利用步骤1得到的多分类模型进行分类。

步骤5.利用每一物体自有的先验信息进行最后的去误检处理。这里可以利用的先验信息包括每个物体的位置概率分布图，大小，长宽比等。根据这些先验信息，可以有效地去除一些误检，使得检测更准确。

步骤6.得到每辆车车窗上的各种特征物类别与坐标。

本发明的有益效果：本发明相对传统的图像处理方法来说具有较高的鲁棒性，而且能够一次性检测出车窗内所有感兴趣的物体，且速度比传统学习方法快（建议框每图2000个左右建议框，相对于传统扫描框每图几万甚至十几万个建议框），能够为车辆检索系统自动提供具有区分性的特征以及架起文字描述与图片转换的桥梁。

附图说明

图1为本发明方法流程图。

图2为SelectiveSearch（SS）流程图；

图3为RCNN流程图。

具体实施方式

以下结合实施例和附图对本发明作进一步说明：

本发明总体过程具体见图1，详细介绍如下：

1.由于本发明需要预先训练一个基于CNN的多分类模型，训练流程见图3的右半部分，训练详细过程介绍如下：

1)标注采集到的数据，目前主要标注遮阳板，年检标识符，挂件，摆件，纸巾盒五类。

2)抠取所有的正样本并缩放到统一大小，比如32x32，计算所有样本均值，然后所有样本减去均值。

3)设计CNN网络结构。本发明主要采用如下的网络结构：

31)卷积层

32)Max池化层

33)Relu层

34)卷积层

35)AVE池化层

36)PRelu层

37)卷积层

38)AVE池化层

39)PRelu层

310)全连接层

311)全连接层

312)Softmaxwithloss层

其中，softmaxwithloss中使用softmax函数计算公式如下：

，

表示类别，通过这个可以判定某个物体z属于第i类的概率大小。

4).通过Caffe训练得到车辆特征检测的CNN多分类模型。

2.通过监控视频采集得到一张图像。

3.通过统计学习方法以及特征点定位精确得到车窗四个顶点的位置信息。

4.结合selectivesearch和edgebox得到有可能包含物体的建议框，该方法流程具体见图2，

1）利用edgebox计算出图像的edges,再得到一个edgegroups,根据这些edgegroup得到m个初始区域，记为。设置一个相似度集合记为S,初始化为空。

2)计算每两个区域的相似度,并存入到S集合中。

3)找出相似度最大的两个区域，，删除这两块区域与其他区域的相似度，然后合并这两区域，并重新计算该区域与相邻的相似度，存入到S；一直重复这个过程直到S集里的数目小于事先预定的数目。

4）提取第3）步得到的区域作为可能为目标的建议框。

5.通过第4步结合多尺度得到不同的建议框，利用第1步得到的CNN多分类模型对不同的建议框进行计算，预测每一个建议框的类别以及属于该类别的置信度，该流程详见图3的左半部分。

6.根据统计的信息，结合置信度，去除一些误检。可以利用的信息包括每类物体的位置概率密度分布，大小，长宽比等。

7.得到最后的每个车窗上含有的物体及位置坐标。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (3)

1.一种基于深度学习的车辆特征物检测方法，其特征在于该方法包括以下步骤：

步骤1.把车窗内所有需要检测的物体标注出来，设计CNN网络结构，该网络结构主要包括三个卷积层，三个池化层，三个RELU层、两个全连接层及Softmaxwithloss层，并用该结构在Caffe框架上进行训练，得到一个多分类模型；

步骤2.通过统计机器学习的方法粗略定位车脸的位置，并对车窗四个点进行定位，得到车窗的位置；

步骤3.结合selectivesearch与edgebox建议框提取方法，得到可能是目标物体的建议框；

步骤4.在建议框的基础上进行多尺度缩放得到不同尺度下的待分类区域，然后利用步骤1得到的多分类模型进行分类；

步骤5.利用每一物体自有的先验信息进行最后的去误检处理；

步骤6.得到每辆车车窗上的各种特征物类别与坐标。

2.根据权利要求1所述的一种基于深度学习的车辆特征物检测方法，其特征在于：步骤3具体是：

1）利用edgebox计算出图像的edges,再得到一个edgegroups,根据这些edgegroup得到m个初始区域，记为；设置一个相似度集合记为S,初始化为空；

2)计算每两个区域的相似度,并存入到集合S中；

3)找出相似度最大的两个区域，，删除这两块区域与其他区域的相似度，然后合并这两区域，并重新计算该区域与相邻的相似度，存入到集合S；一直重复这个过程直到S集里的数目小于事先预定的数目；

4）提取第3）步得到的区域作为可能为目标的建议框。

3.根据权利要求1或2所述的一种基于深度学习的车辆特征物检测方法，其特征在于：所述的先验信息包括每个物体的位置概率分布图、大小、长宽比。