CN110210351A - 一种基于深度神经网络的车辆特征提取方法 - Google Patents

Abstract

本发明涉及一种基于深度神经网络的车辆特征提取方法，本发明根据卡口采集到的图片特性，不直接采用RPN算法进行目标物体边缘框的推荐，而是将图片切分成均匀网格，并利用车道检测算法对每个摄像头进行网格修正。接着，在网格化基础上进行车辆定位，从而使需要递归计算的边缘框的数量大幅减少，加快了对图片的分析速度。本发明方法所使用的网络能够在检测车辆位置的同时归纳提取车辆特征，并将车辆特征存储起来。本发明方法提取的特征可以用于基于车辆的图片的各种应用，如车辆检索，车型识别等。

Description

一种基于深度神经网络的车辆特征提取方法

技术领域

本发明涉及智慧交通领域，尤其涉及一种基于深度神经网络的车辆特征提取方法。

背景技术

交通违法是构成交通安全隐患的一个重要方面，特别是伪造车牌、失驾行为(吊销驾照者依然驾车出行)等行为。传统的城市交通管理往往根据市民举报来获取情报，工作被动且难以有效治理，因此需要更智能的交通监控系统。目前我国已在城市道路上部署了大规模数量的电子警察和卡口系统。这些系统能够实时捕获车辆高清图片，并且识别分析出车牌号码，以及一部分车型信息(如车辆大小，颜色等)。但这系统也并非完美，车牌号码识别也有10％左右的误识别、漏识别率。由于车牌识别精度的限制，存在大量未识别和识别错误的记录，特别对于套牌车或故意遮掩拍照的违法车将无法进行识别，致使理论上可行的大量算法缺乏实战价值。本发明拟运用基于人工智能的车辆特征提取算法，提取“车辆指纹特征”。通过车辆本身的特征作为一个新的车辆识别条件，用以辅助卡口系统，将能够弥补当前卡口系统的不足，提高卡口系统识别车辆精确度。

传统车辆特征提取方法，首先要检测出运动目标，例如使用背景差分法等方法，再将包含运动目标的区域图片像素转化为人工定义的特征，例如：尺度不变特征变换(SIFT,Scale-invariant feature transform)、方向梯度直方图(HOG,Histogram of OrientedGradient)特征等，然后将这些特征放入分类器中去分类。但由于光照变化多样性，背景多样性等等外界因素及本身算法复杂，步骤累积误差等影响，传统方法的精度往往较低。

深度学习在图像分类，定位，检测领域已经有了令人瞩目的成就。比起传统方法上精度有了很大的提升，但由于通常的深度学习算法通常需要十分巨大的计算量，难以保证对庞大数量图片的分析效率。即使是目前热门的区域推荐网络(RPN)算法，也需要通过推荐非常大数量的区域候选框，再对每一个候选框做回归，合并以此搜寻目标所在的准确位置及范围。这将会花费非常大量的计算时间，不符合在智慧交通领域的准实时处理要求。因此设计一种基于深度神经网络的车辆特征提取方法是十分有必要的。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于深度神经网络的车辆特征提取方法，本发明根据卡口采集到的图片特性，不直接采用RPN算法进行目标物体边缘框的推荐，而是将图片切分成均匀网格，并利用车道检测算法对每个摄像头进行网格修正。接着，在网格化基础上进行车辆定位，从而使需要递归计算的边缘框的数量大幅减少，加快了对图片的分析速度。本发明方法所使用的网络能够在检测车辆位置的同时归纳提取车辆特征，并将车辆特征存储起来。本发明方法提取的特征可以用于基于车辆的图片的各种应用，如车辆检索，车型识别等等。

本发明是通过以下技术方案达到上述目的：一种基于深度神经网络的车辆特征提取方法，包括如下步骤：

(1)对获取得到的卡口图片统一压缩到相同尺寸大小，并进行车辆边缘框位置的标注；

(2)基于车道检测算法进行自动网格化；

(3)设计深度神经网络，并训练得到车辆定位神经网络；

(4)利用车辆定位神经网络对卡口图片提取车辆特征，实现车辆特征的快速提取。

作为优选，所述的自动网格化具体包括：将图像切分成均匀网格，并基于车道检测算法对卡口摄像头进行网格修正；其中，所述的网格修正包括对冗余网格和错位网格进行修正，剔除冗余网格，平移错位网格。

作为优选，所述的的车道检测算法采用基于Kitti分割数据库训练的全卷积模型，模型参数直接迁移Kitti分割训练所得的预训练参数；其中，在Kitti数据库的基础上加入卡口摄像头采集的图像，对FCN模型进行Fine-tune，用于保证精度。

作为优选，所述的深度神经网络结构包括：2个普通卷积层，2个多层感知卷积层，3个最大值池化层，1个全局平均池化层，1个全连接层；利用多层感知卷积层代替一般常用的线性卷积层，使其对图片拥有更强的抽象能力。

作为优选，所述训练车辆定位神经网络的方法如下：

(i)对图片作预处理，包括将图片压缩到统一尺寸，并进行白平衡计算，提高过暗图像亮度，并去除过亮区域；

(ii)将预处理后的图片作为深度神经网络的输入，进行自动网格化；若某个车辆的中心落在一个网格中，则这个网格就负责预测这个车辆位置及大小；每个网格预测B个边界框，预测时，每个边界框除了要回归车辆的位置和边界之外，还附带预测置信度；

(iii)根据目标函数对深度神经网络进行优化训练，反复迭代循环训练网络至损失值不再减小为止，得到车辆定位神经网络。

作为优选，所述的置信度代表了所预测的边界框中含有车辆的置信度和这个框预测的可信度两重信息，其计算公式如下：

其中，若有车辆落在一个网格里，则Pr(Object)取1，否则取0；表示的是网络预测的边缘框和标注的边缘框之间的IoU值。

作为优选，所述的目标函数如下所示：

其中，obj、noobj表示是否有车辆出现在第i个分割框中；表示第i个分割框中的第j个负责预测的预测器；λ_coord表示的是含有车辆的目标边缘框的损失权重；λ_noobj表示的是不含有车辆的目标边缘框的损失权重；公式中的前两项用于回归边缘框的位置(x,y)与大小(w,h)，第三项用于回归含有车辆的预测边缘框的置信度(C)，第四项用于回归不含边缘框的置信度。

作为优选，所述步骤(4)具体包括如下步骤：

(4.1)将步骤(1)处理后的卡口图片输入车辆定位神经网络，得到每个预测边界框的置信度评分后，并设置阈值，过滤掉得分低的边界框，对保留的边界框进行非极大值抑制(NMS)处理，得到最终的检测结果；

(4.2)基于最后的卷积网络层，根据边界框的框选位置，选取出该卷积网络层的对应位置，并对该卷积网络层中每个特征图中的对应位置进行全局平均池化处理，归纳得到图像特征，即车辆特征。

本发明的有益效果在于：(1)本发明使用的自动网格化及车辆定位神经网络，直接处理整幅图片，将物体目标检测和物体分类的网络结合在一起，交叉运算，提高了计算效率和算法的智能化程度。在单块NAVIDA TITAN X的环境下，1秒钟可以处理4-6张卡口采集图片；(2)本发明在网络层面使用的普通的卷积层和多层感知卷积层(MLP)的组合网络，大幅增强深度神经网络的表达能力因此，在卡口系统中的应用完全避免了这方面劣势，使得该方法在有极大速度提升的基础上，依然能够有很高的检测精度。

附图说明

图1是本发明的方法流程示意图；

图2是本发明实施例的图片标注样列示意图；

图3是本发明实施例的自动网格化结果示意图；

图4是本发明的提取车辆特征流程示意图；

图5是本发明实施例的相同车辆检索示例示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：如图1所示，一种基于深度神经网络的车辆特征提取方法包括如下步骤：

(1)对获取得到的卡口图片统一压缩到相同尺寸大小，并进行车辆边缘框位置的标注；在本实施例中，对卡口系统采集到的10,000张图片统一压缩到448×448的尺寸大小并进行车辆边缘框位置的标注，标注结果如图2所示。

(2)基于车道检测算法进行自动网格化：将图片切分成均匀网格，并利用车道检测算法对每个摄像头进行网格修正。

网格化是将图片分割成若干矩形区域，通常为了便于并行计算或者缩小搜索窗范围，提高计算效率。本发明就利用网格化提高计算效率。均匀网格是最常用的方法，但容易存在冗余和错位。例如，卡口相机通常能完全覆盖两到三个车道，除此之外的区域是冗余区域，网格如果仅覆盖冗余区域则为冗余网格；某些网格有部分区域覆盖冗余区域，这些网格就是错位网格。为自动去除冗余和错位网格，本发明使用车道检测算法。车道检测算法使用基于Kitti分割数据库训练的全卷积模型(FCN)，模型参数直接迁移Kitti分割训练所得预训练参数。Kitti是欧洲公路车道标注图像库，用于车道分割算法评测。图像包括常见公路车道，例如高速道路，城市道路，乡村道路等，并对每种道路采集多种路况。在此数据库训练的车道分割模型可以直接用于分割国内大部分道路车道，并保证分割精度比实验精度无明显下降。另外，本发明为保证精度，在Kitti数据库的基础上又加入卡口摄像头采集的图像，对FCN模型进行Fine-tune。在正确检测车道的基础上，对冗余和错位网格进行修正。剔除冗余网格，平移错位网格，满足网格尽可能多的覆盖车道，同时又有较低的覆盖冗余区域比例。从而保证车辆定位的准确性。

在本实施例中，首先将图像分成均匀的6*6网格，在标注图像上对FCN网络进行finetune，移动网格位置，使得覆盖车道及车辆框面积最大化。因为每个摄像头的拍摄角度不同，因此要对单摄像头分别进行网格优化，优化后网格如图3所示。

(3)设计深度神经网络，并训练得到车辆定位神经网络。

本发明设计的深度神经网络主要包括：2个普通卷积层，2个多层感知卷积层，3个最大值池化层，1个全局平均池化层，1个全连接层，具体为：7×7卷积层，最大值池化层，3×3卷积层，最大值池化层，MLP卷积层，最大值池化层，MLP卷积层，全局平均池化层，全连接层。其中，用MLP卷积层代替了一般常用的线性卷积层，使其对图片拥有更强的抽象能力。多层感知器(MLP)实际上是对一般卷积层的复合，可以看成是比普通线性函数近似器更具表达能力的非线性函数近似器。通过MLP层，模型增强的局部模型的表达能力，也因此可将最后一层输出的各个通道的特征图的空间平均值理解为图像本身的特征向量。同时也避免了普通卷积神经网络(CNN)模型容易过拟合的特性。

训练车辆定位神经网络的方法如下：

(i)图像预处理，包括将图片压缩到统一尺寸，尺寸优选为640*480，白平衡计算，提高过暗图像的细节，并去除过亮区域。

(ii)将整张图片作为网络的输入到深度神经网络中，进行自动网格化，如果某个车辆的中心落在一个网格中，则这个网格就负责预测这个车辆位置及大小。每个网格要预测B个边界框，在本实施例中，B取2；每个边界框除了要回归车辆的位置和边界之外，还要附带预测一个置信度。这个置信度代表了所预测的边界框中含有车辆的置信度和这个框预测的可信度两重信息，其计算公式如下：

若有车辆落在一个网格里，则第一项Pr(Object)取1，否则取0。第二项表示的是网络预测的边缘框和标注的边缘框之间的IoU值。

(iii)根据目标函数对深度神经网络进行优化训练，反复迭代循环训练网络至损失值不再减小为止，得到车辆定位神经网络。其中，目标函数如下式所示：

上式中，obj、noobj表示是否有车辆出现在分割框中。表示第i个分割框中的第j个负责预测的预测器。λ_coord表示的是含有车辆的目标边缘框的损失权重。λ_noobj表示的是不含有车辆的目标边缘框的损失权重。公式中前两项用于回归边缘框的位置(x,y)与大小(w,h)，第三项用于回归含有车辆的预测边缘框的置信度(C)，第四项用于回归不含边缘框的置信度。

在本实施例中，将目标函数中的λ_coord设定为5，λ_noobj设定为0.5，由此可以更为重视包含汽车的边缘框的损失权重。通过目标函数对98个不断回归，训练网络模型。

(4)利用车辆定位神经网络提取车辆特征，实现车辆特征的快速提取，具体流程如图4所示。

(4.1)将步骤(1)处理后的卡口图片输入车辆定位神经网络，得到每个预测边界框的置信度评分后，并设置阈值，过滤掉得分低的边界框，对保留的边界框进行非极大值抑制(NMS)处理，得到最终的检测结果；

(4.2)基于最后的卷积网络层，根据边界框的框选位置，选取出该卷积网络层的对应位置，并对该卷积网络层中每个特征图中的对应位置进行全局平均池化处理，这样每个特征图都归纳得到一个特征。最后的卷积网络层有1024个通道，这样每一辆车就能得到出一个1024元的特征向量。

在本实施例中，同样使用10000张卡口采集到的车辆经过图片对本发明中训练完毕的网络模型进行测试，每分钟能够处理45张左右的图片，可以满足智慧交通系统的准实时性需求。提取到的特征仅通过欧式距离计算，可以显著分别车型，车身颜色等因素造成的不同。对每辆车进行图像检索，在其他卡口图像中找到匹配图像，结果如图5所示。可见本发明提取的图像特征针对不同时间段(白天和夜间)有较强的适应性。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (8)

1.一种基于深度神经网络的车辆特征提取方法，其特征在于，包括如下步骤：

(1)对获取得到的卡口图片统一压缩到相同尺寸大小，并进行车辆边缘框位置的标注；

(2)基于车道检测算法进行自动网格化；

(3)设计深度神经网络，并训练得到车辆定位神经网络；

(4)利用车辆定位神经网络对卡口图片提取车辆特征，实现车辆特征的快速提取。

2.根据权利要求1所述的一种基于深度神经网络的车辆特征提取方法，其特征在于：所述的自动网格化具体包括：将图像切分成均匀网格，并基于车道检测算法对卡口摄像头进行网格修正；其中，所述的网格修正包括对冗余网格和错位网格进行修正，剔除冗余网格，平移错位网格。

3.根据权利要求1所述的一种基于深度神经网络的车辆特征提取方法，其特征在于：所述的的车道检测算法采用基于Kitti分割数据库训练的全卷积模型，模型参数直接迁移Kitti分割训练所得的预训练参数；其中，在Kitti数据库的基础上加入卡口摄像头采集的图像，对FCN模型进行Fine-tune，用于保证精度。

4.根据权利要求1所述的一种基于深度神经网络的车辆特征提取方法，其特征在于：所述的深度神经网络结构包括：2个普通卷积层，2个多层感知卷积层，3个最大值池化层，1个全局平均池化层，1个全连接层；利用多层感知卷积层代替一般常用的线性卷积层，使其对图片拥有更强的抽象能力。

5.根据权利要求1所述的一种基于深度神经网络的车辆特征提取方法，其特征在于：所述训练车辆定位神经网络的方法如下：

(i)对图片作预处理，包括将图片压缩到统一尺寸，并进行白平衡计算，提高过暗图像亮度，并去除过亮区域；

(ii)将预处理后的图片作为深度神经网络的输入，进行自动网格化；若某个车辆的中心落在一个网格中，则这个网格就负责预测这个车辆位置及大小；每个网格预测B个边界框，预测时，每个边界框除了要回归车辆的位置和边界之外，还附带预测置信度；

(iii)根据目标函数对深度神经网络进行优化训练，反复迭代循环训练网络至损失值不再减小为止，得到车辆定位神经网络。

6.根据权利要求5所述的一种基于深度神经网络的车辆特征提取方法，其特征在于：所述的置信度代表了所预测的边界框中含有车辆的置信度和这个框预测的可信度两重信息，其计算公式如下：

其中，若有车辆落在一个网格里，则Pr(Object)取1，否则取0；表示的是网络预测的边缘框和标注的边缘框之间的IoU值。

7.根据权利要求5所述的一种基于深度神经网络的车辆特征提取方法，其特征在于：所述的目标函数如下所示：

其中，obj、noobj表示是否有车辆出现在分割框中；表示第i个分割框中的第j个负责预测的预测器；λ_coord表示的是含有车辆的目标边缘框的损失权重；λ_noobj表示的是不含有车辆的目标边缘框的损失权重；公式中的前两项用于回归边缘框的位置(x,y)与大小(w,h)，第三项用于回归含有车辆的预测边缘框的置信度(C)，第四项用于回归不含边缘框的置信度。

8.根据权利要求1所述的一种基于深度神经网络的车辆特征提取方法，其特征在于：所述步骤(4)具体包括如下步骤：

(4.1)将步骤(1)处理后的卡口图片输入车辆定位神经网络，得到每个预测边界框的置信度评分后，并设置阈值，过滤掉得分低的边界框，对保留的边界框进行非极大值抑制(NMS)处理，得到最终的检测结果；

(4.2)基于最后的卷积网络层，根据边界框的框选位置，选取出该卷积网络层的对应位置，并对该卷积网络层中每个特征图中的对应位置进行全局平均池化处理，归纳得到图像特征，即车辆特征。