CN110532904B - 一种车辆识别方法 - Google Patents

Abstract

本发明提供了一种车辆识别方法，将细粒度车型识别和车辆再识别融为一体，在无法获得车辆车牌信息的情况下，可以在多个场景图片中快速定位待检索车辆，极大地提高了车辆检索的速度和准确性，在处理包括提高收费效率、裁定交通责任和追踪肇事逃逸者等交通问题上有着得天笃厚的优势，对于智能交通系统的建设具有重要意义。

Description

一种车辆识别方法

技术领域

本发明涉及车辆识别技术领域，尤其涉及一种车辆识别方法。

背景技术

随着现代化工业的发展，汽车极大地方便了人们的工作、生活，但也不可避免地带来了交通安全问题。为了有效地警示汽车违章违法的行驶行为，交通管理部门采取的措施之一是对违法、违章车辆的车主进行处罚。因此，智能交通系统的一个重要环节就是能够自动且准确地明确违章违法车辆与车主的对应关系，目前最常见的方法是使用通过视频监控拍摄到的违法、违章车辆的车牌信息作为唯一凭证来检索车主。在不同位置的监控视频图像中识别到相同车牌号码的车辆是最为简易的车辆重识别方法，但在一些如无车牌、遮挡车牌、变更车牌或车牌分辨率较低等车牌信息错误或者缺失的情况下，利用车牌识别实现车辆再识别的方法则完全不可靠，这时就需要通过其他车辆识别匹配方法来进行车辆再识别。细粒度车型识别旨在通过车辆任意角度及场景下的外观图像识别出其生产厂家、型号、年款等信息，车辆型号能够唯一标识车辆的外观信息，在智能交通、行车大数据分析、公共安全等领域具有重要意义，在视频监控领域，通过细粒度车型识别可在多个监控视频中快速定位嫌疑车辆，尤其在是在车牌信息错误或者缺失的情况下，车型信息显得十分重要。

发明内容

本发明的目的在于提供一种车辆识别方法，能够对无车牌的车辆进行车型识别以快速找出待检索的车辆。

为了达到上述目的，本发明提供了一种车辆识别方法，包括：

提供一包含若干车辆的场景图片；

将所述场景图片输入一定位网络中，并通过所述定位网络提取所述场景图片中的目标车辆以及目标车辆的各语义部件；

将所述定位网络产生的目标车辆以及目标车辆的各语义部件的特征向量输入一匹配网络中，所述匹配网络将待检索的车辆的各语义部件与所述目标车辆的各语义部件进行一一匹配并计算相似度；

通过一识别网络分别融合目标车辆和待检索的车辆的整体特征及各语义部件特征作为所述目标车辆和所述待检索的车辆特征表征，以得到识别结果。

可选的，所述语义部件包括车前大灯、前保险杠、雾灯、前盖、车标、轮胎。尾灯、排气管、后保险杠和后窗中的一个或多个。

可选的，所述定位网络包括RPN网络和ResNet网络。

可选的，所述RPN网络使用的是4-23层的卷积特征图F，对卷积特征图F进行L种图像分割，再将分割出来的每一个分割窗口映射到M种形状估计，其中L和均M大于或等于1。

可选的，所述RPN网络在所述场景图片的每个区域位置，通过参照框生成多比例及多尺度的区域候选，且所述RPN网络的目标函数为多任务损失函数。

可选的，当所述RPN网络从所述场景图片中选出多个对应目标车辆或各语义部件的候选框时，利用NMS算法去除冗余的目标框。

可选的，将获取的候选框进行K次回归迭代。

可选的，利用正则化的最大间隔最近邻算法计算相似度。

在本发明提供的车辆识别方法中，将细粒度车型识别和车辆再识别融为一体，在无法获得车辆车牌信息的情况下，可以在多个场景图片中快速定位待检索车辆，极大地提高了车辆检索的速度和准确性，在处理包括提高收费效率、裁定交通责任和追踪肇事逃逸者等交通问题上有着得天笃厚的优势，对于智能交通系统的建设具有重要意义。

附图说明

图1为本发明实施例提供的车辆识别方法的流程图；

图2为本发明实施例提供的车辆识别方法的网络构成；

图3为本发明实施例提供的ResNet网络的网络结构图；

图4为本发明实施例提供的通过改进的RPN网络获得的边框采用K次回归迭代的流程图；

图5为本发明实施例提供的基于Faster R-CNN的细粒度车型识别和车辆重识别一体的车辆检索方法的网络图。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

如图1所示。本实施例提供了一种车辆识别方法，包括如下步骤：

步骤S1：提供一包含若干车辆的场景图片；

步骤S2：将所述场景图片输入一定位网络中，并通过所述定位网络提取所述场景图片中的目标车辆以及目标车辆的各语义部件；

步骤S3：将所述定位网络产生的目标车辆以及目标车辆的各语义部件的特征向量输入一匹配网络中，所述匹配网络将待检索的车辆的各语义部件与所述目标车辆的各语义部件进行一一匹配并计算相似度；

步骤S4：通过一识别网络分别融合目标车辆和待检索的车辆的整体特征及各语义部件特征作为所述目标车辆和所述待检索的车辆特征表征，以得到识别结果。

在视频监控应用中，当车牌信息错误或者确实的情况下，无法对车辆车牌进行识别时，从细粒度车型识别进行车辆验证可以快速地找出目标车辆，在事后调查中，也可以通过使用基于Faster R-CNN的细粒度车型识别与车辆再识别一体的车辆检索算法从海量视频数据中检索同样认证的车辆，从而可以裁定相关的交通责任。

具体的，如图2所示，所述车辆识别方法将细粒度车型识别与车辆再识别融为一体，由定位网络和匹配网络以及识别网络组成，本发明的定位网络是由改进的RPN网络和ResNet网络两部分组成，定位车辆目标及10个车辆语义部件：车前大灯、前保险杠、雾灯、前盖、车标、轮胎。尾灯、排气管、后保险杠和后窗。本发明通过ResNet网络改进了原始FasterR-CNN的卷积特征提取器，这样可以使网络的识别及检测性能变得更好，更加适用于细粒度车型识别。网络结构图如3所示。

其中改进的RPN网络使用的是卷积层4-23层的卷积特征图F，检测网络使用的是最后一层卷积层特征。由于原始的RPN网络的滑动窗口大小是固定的，对于真实场景的车辆预测及车辆各语义部件预测会有很大的限制，因为不同图像中车辆大小是不一样的，有可能会非常小，也有可能非常大；同时滑动窗口会产生较多的窗口冗余，导致计算量过大，时间复杂度过高。因此本发明对RPN网络做出了改进，通过用固定尺寸分割策略代替滑动窗口策略，对卷积特征图F进行L种图像分割，再将分割出来的每一个分割窗口映射到M种形状估计，也就如同将原本固定大小的卷积核变为多种尺度大小的卷积核操作，相当于构建了多个RPN网络模型，这样提高了对车辆及车辆各语义部件的检测效率。为了尽可能枚举所有的区域候选，在每个区域位置，通过参照框生成多比例及多尺度的区域候选，由于需要同时优化分类损失和回归损失，改进的RPN网络的目标函数为多任务损失函数，即

式中，p_i，t_i分别为分类及回归的预测值，

为真实值。目标函数L({p_i},{t_i})分为分类损失

和回归损失

两部分，并通过N_cls，λ/N_reg 3个超参数权衡分类和回归的相对重要性，其中分类损失函数为对数损失，式(1)所示训练过程为最小化损失函数的过程。回归网络用于将网络产生的区域候选向真实区域靠近，这样可以产生准确的区域位置。其损失函数为：

由于改进后的RPN仍然对于同一个目标可能会产生多个候选框，于是本发明使用NMS算法去除冗余的目标框。其算法流程如下：

a)首先遍历图像中所有的车辆及车辆各语义部件，对于每一类别下的类别得分大于阈值的目标框按照得分降序排列，并舍弃其他小于阈值的目标框。

b)依次选中得分最高的目标框，并计算其余的框与该框的重叠面积(loU)，若其loU大于一定的阈值，则删除该框。其中的计算方法为：

式中，s(A∩B)为区域A、B交集部分的面积，s(A∪B)为区域A、B并集部分的面积。

c)从未处理的框中继续选一个得分最高的目标框，然后重复步骤b)，知道处理完所有的目标框

为了得到定位更精确的车辆矩形框及各语义部件矩形框，再将通过改进的RPN网络获得的边框采用K次回归迭代，这样可以获得更加精确的车辆矩形框及车辆各语义部件矩形框，其实现流程图如图4所示。

该网络具体算法步骤如下：

输入：ResNet网络卷积特征提取器产生的卷积特征图F和经过改进的RPN网络生成的车辆及车辆各语义部件建议框B。

输出：经过K次迭代修正后的候选区域建议框P。

11).读入初始车辆及语义部件建议框B及ResNet网络卷积特征提取器产生的卷积特征图F，并将它们重新输入RoI池化层中，对车辆及语义部件建议框B在卷积特征图F中对应的RoI再次进行池化操作。

12).使用2个全连接层对池化后的RoI进行特征提取，接着利用2个全连接层同时对提取到的特征向量进行类别得分预测及边框回归预测。

13).若迭代次数未达到K，则将12)中得到修正后的边框与卷积特征图F一起作为11)中的输入并继续执行该算法；若迭代次数已经达到K，则输出经过K次迭代修正后的候选车辆及语义部件建议框P作为最终结果。

在迭代过程中，本发明使用Softmax交叉熵损失函数作为车辆类得分的损失函数，SmoothL₁损失函数作为边框回归的损失函数，每轮迭代的损失函数为Softmax交叉熵损失函数和Smooth L₁损失函数的和。

在改进RPN网络上获得迭代回归型边框的基础上，本发明提出了一种基于FasterR-CNN的细粒度车型识别和车辆重识别一体的车辆检索方法，其网络整体结构如图5所示。

首先通过ResNet网络提取车辆目标及车辆各语义部件的深层特征，然后通过改进的RPN网络获得迭代回归型边框进行车辆及车辆各语义部件定位，将难以处理的车辆姿势及角度影响转换为影响较小的各语义部件之间的差别，然后通过匹配网络将具有区分度的车辆各语义部件特征与待检索车辆各语义部件特征进行距离相似度度量，从而实现车辆的重识别。最后通过通过识别网络进行识别，本发明的识别网络通过融合车辆的整体特征与车辆各语义部件特征，综合考虑车辆目标的整体及局部信息，识别网络分为2个阶段：

(1)融合车辆目标整体特征及具有区分度的车辆各语义部件特征，得到车辆目标最终的特征表示；

(2)将融合后的车辆特征通过CNN训练生成最终的识别模型。

识别网络的训练步骤如下：

输入：包含若干车辆的某一场景图片及事先标记的真实车辆框及类别。

输出：经过训练优化后的车辆检索网络

21).将场景图片输入到残差网络ResNet-101中，利用网络中Conv1层到Res4b这一部分来产生卷积特征图F，得到具有1024个通道的卷积特征图。

22).利用Step1中产生的卷积特征图F输入到改进的RPN网络中产生候选框，同时通过迭代回归得到定位非常精确的车辆边框及车辆各语义部件边框。

23).将Step1中产生的卷积特征图F和22)中产生的候选边框同时输入至RoI池化层，接着讲池化后的RoI区域特征图输入到特征提取层，然后得到每个边框对应的特征向量。

24).将所有预测框和事先标记的真实框对应的特征向量均送入到RSS(randomsampling softmax)损失函数中，然后再将事先标记的真实框所对应的特征向量送入到中心损失函数中，在误差反向传播过程中，车辆类别中心以及特征提取层的参数都会得到更新，从而使该车辆检索网络具有提取车辆具有区分度特征的能力。

在测试过程中，只需要将裁剪后的待检索车辆图片以及某一场景图片输入到该一体化车辆检索网络中，就可以得到待检索车辆和所有候选车辆的特征向量，最后通过匹配网络计算距离相似度将待检索车辆特征与候选车辆特征一一比对，并按照相似度大小取得最终的匹配结果。

本发明采用基于正则化的最大间隔最近邻算法(Large Margin NearestNeighbor，LMNN)来计算距离相似度，该算法原理过程如下：对于特征向量x，我们将特性向量空间中理应与其保持较小距离或者相同特征向量的样本称为目标邻域样本，将与特征向量x之间的距离小于目标邻域样本与x之间的距离，并且具有不同特征向量的样本称为非目标邻域样本，LMNN算法通过拉近目标邻域样本，使得相同类别个体的特征间的类内距离很小；同时推远非目标邻域样本，使得不同类别个体的特征间的类间距离较大，学习到一个最优的半正定矩阵M.该过程可以总结为如下优化问题：

其中，0≤μ≤1是用于平衡拉近目标邻域样本和推远非目标邻域样本作用的权重参数，j→i表示特征向量x_j是特征向量x_i的目标邻域样本，ξ_ijl为松弛变量，而度量函数

为马氏距离函数，即：

公式(4)表示的是LMNN算法，可以利用成熟的半正定规划(Semi-DefiniteProgramming，SDP)求解器进行优化求解，但考虑到训练样本的不足，这样使得优化结果很容易趋于过拟合，为了解决该问题，我们将参数的核范数约束||M||作为一种正则项，引入到原始LMNN算法中，提出了基于正则化的LMNN算法，数学模型如下：

其中，λ是正则化参数，基于正则化的LMNN算法可以促使LMNN学习到一个低秩的半正定矩阵M；我们在利用低秩半正定矩阵M计算距离相似度时，其中隐含了对特征进行选择的操作，因此基于正则化的LMNN算法还可以使距离相似度计算更加稳定。

综上，本发明对原始RPN网络做出了改进，利用迭代型边框回归会的非常精确的候选区域边框。将细粒度车型识别与车辆再识别两个模块融为一体，探讨一种端对端的车辆检索系统，提出一种基于Faster R-CNN的细粒度车型识别与再识别一体的车辆检索算法，极大地提高了车辆检索的速度和准确率。还提出了一种基于正则化的最大间隔最近邻算法(Large Margin Nearest Neighbor,LMNN)用于计算距离相似度，使得距离相似度的计算更加准确且稳定。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (3)

1.一种车辆识别方法，其特征在于，包括：

提供一包含若干车辆的场景图片；

将所述场景图片输入一定位网络中，并通过所述定位网络提取所述场景图片中的目标车辆以及目标车辆的各语义部件；

将所述定位网络产生的目标车辆以及目标车辆的各语义部件的特征向量输入一匹配网络中，所述匹配网络将待检索的车辆的各语义部件与所述目标车辆的各语义部件进行一一匹配并计算相似度；

通过一识别网络分别融合目标车辆和待检索的车辆的整体特征及各语义部件特征作为所述目标车辆和所述待检索的车辆特征表征，以得到识别结果；其中，所述目标车辆为车牌信息错误或者缺失的车辆；

所述语义部件包括车前大灯、前保险杠、雾灯、前盖、车标、轮胎、尾灯、排气管、后保险杠和后窗中的一个或多个；

所述定位网络包括RPN网络和ResNet网络；所述RPN网络在所述场景图片的每个区域位置，通过参照框生成多比例及多尺度的区域候选，且所述RPN网络的目标函数为多任务损失函数；

当所述RPN网络从所述场景图片中选出多个对应目标车辆或各语义部件的候选框时，利用NMS算法去除冗余的目标框，算法流程如下：

a)遍历图像中所有的车辆及车辆各语义部件，对于每一类别下的类别得分大于阈值的目标框按照得分降序排列，并舍弃其他小于阈值的目标框；

b)依次选中得分最高的目标框，并计算其余的框与该框的交并比loU，若其loU大于一定的阈值，则删除该框；其中的计算方法为：

式中，s(A∩B)为区域A、B交集部分的面积，s(A∪B)为区域A、B并集部分的面积；

从未处理的框中继续选一个得分最高的目标框，然后重复步骤b)，直到处理完所有的目标框；

将通过改进的RPN网络获得的边框采用K次回归迭代，得到车辆矩形框及车辆各语义部件矩形框，算法步骤如下：

输入：ResNet网络卷积特征提取器产生的卷积特征图F和经过改进的RPN网络生成的车辆及车辆各语义部件建议框B；

输出：经过K次迭代修正后的候选区域建议框P；

11).读入初始车辆及语义部件建议框B及ResNet网络卷积特征提取器产生的卷积特征图F，并将它们重新输入RoI池化层中，对车辆及语义部件建议框B在卷积特征图F中对应的RoI再次进行池化操作；

12).使用2个全连接层对池化后的RoI进行特征提取，接着利用2个全连接层同时对提取到的特征向量进行类别得分预测及边框回归预测；

13).若迭代次数未达到K，则将12)中得到修正后的边框与卷积特征图F一起作为11)中的输入并继续执行该算法；若迭代次数已经达到K，则输出经过K次迭代修正后的候选车辆及语义部件建议框P作为最终结果。

2.如权利要求1所述的车辆识别方法，其特征在于，所述RPN网络使用的是4-23层的卷积特征图F，对卷积特征图F进行L种图像分割，再将分割出来的每一个分割窗口映射到M种形状估计，其中L和均M大于或等于1。

3.如权利要求1所述的车辆识别方法，其特征在于，利用正则化的最大间隔最近邻算法计算相似度。

Images