CN109885718A - 一种基于深度车贴检测的嫌疑车辆检索方法 - Google Patents

Abstract

本发明公开了一种基于深度车贴检测的嫌疑车辆检索方法，属于智能交通领域以及图像检索领域。所述方法包括：对卡口车辆图像进行车窗检测，获取卡口车辆图像中的车窗的车贴区域；对车贴区域进行车贴检测，所述车贴检测包括将待检测车贴信息与车贴数据库中的车贴信息做对比以得出车辆检索结果；其中车贴数据库中的车贴信息为预先存储并在检测过程中不断补充得到的。本发明通过选用嫌疑车辆前脸车窗上的车贴作为车辆的一个独有特征来对车辆进行检索，通过训练并使用深度网络模型能够精确有效的检索出数据库中的车辆，满足实际情况中的车辆检索需求。

Description

一种基于深度车贴检测的嫌疑车辆检索方法

技术领域

本发明涉及一种基于深度车贴检测的嫌疑车辆检索方法，属于智能交通领域以及图像检索领域。

背景技术

目前，车辆检索系统主要根据视频或卡口图片中车辆固有的车牌号码、车辆品牌和车辆颜色来检索车辆的。

但是，在现实生活中涉及到车辆的违法案件中，涉案车辆往往是假(套)牌车，甚至会改变车辆品牌标志以及车辆颜色，此时根据车辆品牌、颜色以及车牌号码进行侦查将发挥不了任何作用；同时，根据车辆品牌和车辆颜色检索可疑车辆在减少工作量方面起到的作用也很有限。因此，基于这些车辆固有属性特征的检索方法对于假(套)牌车辆达不到预期的检索效果。

因此，需要提供一种能够针对车辆的某独一特征进行准确检索识别的方法。

发明内容

为了解决目前存在的基于车辆固有属性特征的检索方法对于假(套)牌车辆达不到预期的检索效果的问题，本发明选用嫌疑车辆前脸车窗上的车贴作为车辆的一个独有特征来对嫌疑车辆进行检索。

车贴是指车辆前挡风玻璃上通常粘贴的环保标志、年检标志、交强险标志以及一些其他个人标志，这些大小，数量，位置不一的车贴可以视为车辆的一个独有特征。因此，本发明在实际应用中有着极为重要的意义。

本发明的第一个目的在于提供一种车辆检索方法，所述方法包括：对卡口车辆图像进行车窗检测；获取卡口车辆图像中的车窗的车贴区域；对车贴区域进行车贴检测，所述车贴检测包括将待检测车贴信息与车贴数据库中的车贴信息做对比以得出车辆检索结果；其中车贴数据库中的车贴信息为预先存储并在检测过程中不断补充得到的。

可选的，所述将待检测车贴信息与车贴数据库中的车贴信息做对比，包括：

精修车贴检测框，得到待检测车贴区域；

使用预训练好的深度卷积神经网络对待检测车贴区域进行特征提取，将提取出的特征向量和车贴数据库中的特征向量使用余弦距离进行相似度计算，找出相似度大于特定阈值的特征向量；相似度大于特定阈值的特征向量对应的图片即为车辆检索结果；其中，提取出的特征向量为深度卷积特征向量。

可选的，所述精修车贴检测框包括：将获取到的车贴区域按照长和宽分别放大1.2倍后进行图像二值化处理，并利用开运算移除由图像噪声形成的斑点以及与边界相连的目标物；

对二值图进行膨胀操作并移除小目标连通域；

最大连通域即为待检测车贴区域。

可选的，所述获取卡口车辆图像中的车窗的车贴区域为：使用训练好的Mask RCNN网络检测出卡口车辆图像中的车窗的车贴区域；

如果不存在连通域，则保存训练好的Mask RCNN检测的车贴区域。

可选的，所述对卡口车辆图像进行车窗检测为：训练Faster RCNN网络并使用训练后的Faster RCNN网络对卡口车辆图像进行车窗检测。

可选的，所述获取卡口车辆图像中的车窗的车贴区域之前，包括训练Mask RCNN网络，在训练Mask RCNN网络时使用标注工具labelme标注出卡口车辆车窗中的车贴区域，具体为：

(1)在终端中输入命令>>activate labelme，打开标注软件，标注完成后产生一个<文件名>.json文件；

(2)进入<文件名>.json文件所在目录下，在终端执行命令>>labelme_json_to_dataset<文件名>.json，可得到一个文件夹，里面有五个文件分别为：*.png，info.yaml，label.png，label_viz.png，其中label.png和info.ymal是需要用到的标注信息。

可选的，所述使用训练好的Mask RCNN网络检测出卡口车辆图像中的车窗的车贴区域，包括：

(1)将使用标注工具labelme标注好车贴区域后得到的label.png和info.yaml输入到ResNet101网络中，其中ResNet101网络由五个部分组成，分别记为[Stage1，Stage2，Stage3，Stage4，Stage5]，其中Stage1部分输出的特征图C₁大小为256*256，Stage2部分输出的特征图C₂大小为128*128，Stage3部分输出的特征图C₃大小为64*64，Stage4部分输出的特征图C₄大小为32*32，Stage5部分输出的特征图C₅大小为16*16；

(2)用特征金字塔结构将提取到的后四个部分[Stage2，Stage3，Stage4，Stage5]的深度卷积特征向量C₂，C₃，C₄，C₅重新组合成新的深度卷积特征向量P₂，P₃，P₄，P₅，P₆；当i＝5,4,3,2，U₆＝0时，新的深度卷积特征向量组合计算过程如下式所示：

其中：conv表示卷积计算，sum表示逐位求和操作，upsample表示将卷积特征的长和宽分别上采样到原先两倍的操作，pooling表示步长为2的最大池化操作，T_i、U_i为中间参数，不具有实际意义；

(3)区域生成网络对P₂，P₃，P₄，P₅，P₆五个新的卷积特征图中的每一个特征点选取不同尺寸和长宽比的区域并通过非极大值抑制生成感兴趣区域ROI；

(4)生成的ROI区域将经过两个ROIAlign部分，其中一个ROIAlign遍历每一个ROI，保持浮点数边界，接着将ROI分割成7*7个单元，在每个单元内的采样点数是4，用双线性内插的方法计算出四个点位置的值，然后对这四个位置的值进行最大池化操作；另一个ROIAlign也遍历每一个ROI，保持浮点数边界并将ROI分割成14*14个单元，在每个单元内的采样点数是4，用双线性内插的方法计算出四个点位置的值，然后对这四个位置的值进行最大池化操作；

(5)两个ROIAlign分别输出7*7和14*14大小的卷积特征；其中7*7大小的卷积特征经过两个全连接层后输出一个五维的向量用作分类预测和回归框预测；14*14大小的卷积特征作为掩膜预测网络的输入，通过4个3*3的卷积层和一个2*2的反卷积层将输入的卷积特征上采样到28*28，由于只需要预测车贴一个类别，最后通过1*1的卷积层得到一个28*28*1的掩膜预测特征；掩膜预测特征上每个点的值表示属于前后景的置信度；最后，使用0.5的阈值获取车贴掩膜。

可选的，所述将获取到的车贴区域按照长和宽分别放大1.2倍后进行图像二值化处理，包括：

(1)将Mask RCNN网络检测出的车贴区域结果按照长和宽分别放大1.2倍并裁减出来；

(2)将裁剪出的图像进行灰度化处理，其中灰度值的计算公式为：Gray＝0.299*R+0.587*G+0.114*B；

(3)将灰度化后的图像使用全局阈值进行图像二值化。

可选的，所述对卡口车辆图像进行车窗检测之前，包括：采用高清卡口系统获取卡口车辆图像。

本发明的第二个目的在于提供一种上述车辆检索方法在交通领域内的应用。

本发明有益效果是：

解决了目前存在的基于车辆固有属性特征的检索方法对于假(套)牌车辆达不到预期的检索效果的问题，通过选用嫌疑车辆前脸车窗上的车贴作为车辆的一个独有特征来对车辆进行检索，通过训练并使用深度网络模型能够精确有效的检索出数据库中的车辆，满足实际情况中的车辆检索需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于Mask RCNN嫌疑车辆检索系统方法流程图。

图2为本发明所提供的训练Mask RCNN网络进行车贴检测的流程示意图。

图3为本发明所提供的用训练好后的Mask RCNN网络检测车贴的流程示意图。

图4是特征提取网络、特征金字塔网络、区域生成网络中的卷积特征处理流程图。

图5是分类预测、回归框预测、掩膜预测中的卷积特征处理流程图。

图6是精修车贴检测框的流程图。

图7是Mask RCNN的车贴检测结果。

图8是精修Mask RCNN车贴检测后的结果。

图9是车辆检索流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一：

本实施例提供一种车辆检索方法，请参考图1，图1为本发明所提供的一种基于深度车贴检测的嫌疑车辆检索系统具体实施方式流程示意图。

在本实施例中，一种基于深度车贴检测的嫌疑车辆检索系统，其包括以下部分：

S01、训练Faster RCNN网络并使用Faster RCNN网络对卡口车辆图像进行车窗检测；

其中，卡口车辆图像可由目前交通系统所采用的高清卡口系统来获取，不增加额外的硬件系统。

S02、使用标注工具labelme标注出卡口车辆车窗中的车贴区域；

根据步骤S01检测出的卡口车辆车窗图像，使用标注工具labelme标注出其中的车贴区域；

所述步骤S02具体为：

(1)在终端中输入命令>>activate labelme，打开标注软件，标注完成后产生一个<文件名>.json文件；

(2)进入<文件名>.json文件所在目录下，在终端执行命令>>labelme_json_to_dataset<文件名>.json，可得到一个文件夹，里面有五个文件分别为：*.png，info.yaml，label.png，label_viz.png，其中label.png和info.ymal是需要用到的标注信息；

S03、训练Mask RCNN网络；

所述步骤S03具体为：

(1)如图2所示，将使用标注工具labelme标注好车贴区域后得到的label.png和info.yaml输入到ResNet101网络中，其中ResNet101网络由五个小部分组成，分别记为[Stage1，Stage2，Stage3，Stage4，Stage5]，其中Stage1部分输出的特征图C₁大小为256*256，Stage2部分输出的特征图C₂大小为128*128，Stage3部分输出的特征图C₃大小为64*64，Stage4部分输出的特征图C₄大小为32*32，Stage5部分输出的特征图C₅大小为16*16；

(2)如图4所示，用特征金字塔结构将提取到的后四个部分[Stage2，Stage3，Stage4，Stage5]的深度卷积特征向量C₂，C₃，C₄，C₅重新组合成新的深度卷积特征向量P₂，P₃，P₄，P₅，P₆。当i＝5,4,3,2，U₆＝0时，新的深度卷积特征向量组合计算过程如下式所示：

其中：conv表示卷积计算，sum表示逐位求和操作，upsample表示将卷积特征的长和宽分别上采样到原先两倍的操作，pooling表示步长为2的最大池化操作，T_i、U_i为中间参数，不具有实际意义；

(3)区域生成网络对P₂，P₃，P₄，P₅，P₆这五个新的卷积特征图中的每一个特征点选取不同尺寸和长宽比的区域并通过非极大值抑制生成感兴趣区域(region of interest，ROI)；

(4)如图5所示，有两个ROIAlign，其中一个ROIAlign遍历每一个ROI，保持浮点数边界，接着将ROI分割成7*7个单元，在每个单元内的采样点数是4，用双线性内插的方法计算出四个点位置的值，然后对这四个位置的值进行最大池化操作；另一个ROIAlign也遍历每一个ROI，保持浮点数边界并将ROI分割成14*14个单元，在每个单元内的采样点数是4，用双线性内插的方法计算出四个点位置的值，然后对这四个位置的值进行最大池化操作；

(5)两个ROIAlign分别输出7*7和14*14大小的卷积特征；其中7*7大小的卷积特征经过两个全连接层后输出一个五维的向量用作分类预测和回归框预测；14*14大小的卷积特征作为掩膜预测网络的输入，通过4个3*3的卷积层和一个2*2的反卷积层将输入的卷积特征上采样到28*28，由于只需要预测车贴一个类别，最后通过1*1的卷积层得到一个28*28*1的掩膜预测特征；该掩膜预测特征上每个点的值表示属于前后景的置信度；最后，使用0.5的阈值获取车贴掩膜；

S04、精修车贴检测框：将Mask RCNN检测出的检测框区域，如图7所示，按照长和宽分别放大1.2倍后进行图像二值化，并利用开运算移除由图像噪声形成的斑点，接着移除与边界相连的目标物，然后对二值图进行膨胀操作并移除小目标连通域；最后找出最大连通域即为需要检测的车贴区域，如果不存在连通域则保存Mask RCNN检测的车贴区域，精修后的检测结果如图8所示；

比较精修前的图7和精修后的图8可知：精修后的图8中的车贴检测图要比未精修的车贴检测图更准确，比如修复了车贴的不完整部分或者将多余部分进行了滤除；图7中上排左起第一和第二幅图以及图7下排第二幅图中，车贴部分显示不完整，可能会后续检索产生影响，而精修后的图8中对应的上排左起第一和第二幅图以及图8下排第二幅图中车贴部分显示完整；图7中上排左起第三幅图以及图7中下排左起第一和第三幅图中包含较多的多余部分，而精修后的图8中对应的上排左起第三幅图以及图8中下排左起第一和第三幅图中则对应将多余部分进行了滤除；通过检测框精修能够检测出更准确的车贴区域，这将使得深度卷积网络提取到更准确的车贴卷积特征，有利于接下来通过度量车贴卷积特征之间的距离进行车辆检索。

所述步骤S04具体为：

(1)如图6所示，将Mask RCNN网络检测出的回归框结果按照长和宽分别放大1.2倍并裁减出来；

(2)将裁剪出的图像进行灰度化处理，其中灰度值的计算公式为：Gray＝0.299*R+0.587*G+0.114*B；

(3)将灰度化后的图像使用全局阈值进行图像二值化；

(4)将二值图进行形态学处理，具体是使用开运算来移除二值图像中的小斑点；

(5)移除与边界相连的连通域，具体是索引二值图中四条边的边界像素值为1的像素，以及该像素的八连通域，直到与之相关的八连通域都为0为止，并将相关区域中的1改为0；

(6)将二值图进行形态学处理，具体是对二值图进行膨胀操作；

(7)移除二值图中面积小于50的小目标区域，具体是索引每个连通域并计算面积，将面积小于50的连通域的值由1变为0；

(8)找出二值图中的最大连通域，如果存在并找出该连通域的最小外接矩定位出车贴区域，如果二值图不存在连通域则保存Mask RCNN检测出的车贴区域；

S05、对检测出的车贴区域使用预训练好的深度卷积神经网络(如VGG16)进行特征提取，然后将提取出的特征向量和数据库中的向量使用余弦距离进行相似度计算，找出最接近的一些特征向量，这些特征向量对应的图片即为检索结果；其中，数据库中的特征向量是对数据库中其它图片，按照上述步骤抽取的特征向量并离线存储的；

所述步骤S05具体为：

(1)如图9所示，对Mask RCNN检测并精修后的车贴区域使用预训练好的卷积神经网络(如VGG16)提取卷积特征；

(2)将提取特征向量和数据库中的向量使用余弦距离进行相似度计算，找出最接近的一些特征向量，这些特征向量对应的图片即为检索结果；

(3)数据库中的向量是由原始数据库中的卡口车辆图像按照上述步骤提取卷积特征向量，并使用h5py离线保存得到的；

本发明通过选用嫌疑车辆前脸车窗上的车贴作为车辆的一个独有特征来对车辆进行检索，通过训练并使用深度网络模型能够精确有效的检索出数据库中的车辆，满足实际情况中的车辆检索需求，经模拟实验证明，采用本发明提供的车辆检索方法能够在车辆品牌标志以及车辆颜色发生改变时依然可以准确定位出目标车辆，检索精度达到了95％。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车辆检索方法，其特征在于，所述方法包括：对卡口车辆图像进行车窗检测；获取卡口车辆图像中的车窗的车贴区域；对车贴区域进行车贴检测，所述车贴检测包括将待检测车贴信息与车贴数据库中的车贴信息做对比以得出车辆检索结果；其中车贴数据库中的车贴信息为预先存储并在检测过程中不断补充得到的。

2.根据权利要求1所述的方法，其特征在于，所述将待检测车贴信息与车贴数据库中的车贴信息做对比，包括：

精修车贴检测框，得到待检测车贴区域；

使用预训练好的深度卷积神经网络对待检测车贴区域进行特征提取，将提取出的特征向量和车贴数据库中的特征向量使用余弦距离进行相似度计算，找出相似度大于特定阈值的特征向量；相似度大于特定阈值的特征向量对应的图片即为车辆检索结果；其中，提取出的特征向量为深度卷积特征向量。

3.根据权利要求2所述的方法，其特征在于，所述精修车贴检测框包括：将获取到的车贴区域按照长和宽分别放大1.2倍后进行图像二值化处理，并利用开运算移除由图像噪声形成的斑点以及与边界相连的目标物；

对二值图进行膨胀操作并移除小目标连通域；

最大连通域即为待检测车贴区域。

4.根据权利要求3所述的方法，其特征在于，所述获取卡口车辆图像中的车窗的车贴区域为：使用训练好的Mask RCNN网络检测出卡口车辆图像中的车窗的车贴区域；

如果不存在连通域，则保存训练好的Mask RCNN检测的车贴区域。

5.根据权利要求4所述的方法，其特征在于，所述对卡口车辆图像进行车窗检测为：训练Faster RCNN网络并使用训练后的Faster RCNN网络对卡口车辆图像进行车窗检测。

6.根据权利要求5所述的方法，其特征在于，所述获取卡口车辆图像中的车窗的车贴区域之前，包括训练Mask RCNN网络，在训练Mask RCNN网络时使用标注工具labelme标注出卡口车辆车窗中的车贴区域，具体为：

(1)在终端中输入命令>>activate labelme，打开标注软件，标注完成后产生一个<文件名>.json文件；

(2)进入<文件名>.json文件所在目录下，在终端执行命令>>labelme_json_to_dataset<文件名>.json，可得到一个文件夹，里面有五个文件分别为：*.png，info.yaml，label.png，label_viz.png，其中label.png和info.ymal是需要用到的标注信息。

7.根据权利要求6所述的方法，其特征在于，所述使用训练好的Mask RCNN网络检测出卡口车辆图像中的车窗的车贴区域，包括：

(1)将使用标注工具labelme标注好车贴区域后得到的label.png和info.yaml输入到ResNet101网络中，其中ResNet101网络由五个部分组成，分别记为[Stage1，Stage2，Stage3，Stage4，Stage5]，其中Stage1部分输出的特征图C₁大小为256*256，Stage2部分输出的特征图C₂大小为128*128，Stage3部分输出的特征图C₃大小为64*64，Stage4部分输出的特征图C₄大小为32*32，Stage5部分输出的特征图C₅大小为16*16；

(2)用特征金字塔结构将提取到的后四个部分[Stage2，Stage3，Stage4，Stage5]的深度卷积特征向量C₂，C₃，C₄，C₅重新组合成新的深度卷积特征向量P₂，P₃，P₄，P₅，P₆；

当i＝5,4,3,2，U₆＝0时，新的深度卷积特征向量组合计算过程如下式所示：

其中：conv表示卷积计算，sum表示逐位求和操作，upsample表示将卷积特征的长和宽分别上采样到原先两倍的操作，pooling表示步长为2的最大池化操作，T_i、U_i为中间参数，不具有实际意义；

(3)区域生成网络对P₂，P₃，P₄，P₅，P₆五个新的卷积特征图中的每一个特征点选取不同尺寸和长宽比的区域并通过非极大值抑制生成感兴趣区域ROI；

(4)生成的ROI区域将经过两个ROIAlign部分，其中一个ROIAlign遍历每一个ROI，保持浮点数边界，接着将ROI分割成7*7个单元，在每个单元内的采样点数是4，用双线性内插的方法计算出四个点位置的值，然后对这四个位置的值进行最大池化操作；另一个ROIAlign也遍历每一个ROI，保持浮点数边界并将ROI分割成14*14个单元，在每个单元内的采样点数是4，用双线性内插的方法计算出四个点位置的值，然后对这四个位置的值进行最大池化操作；

(5)两个ROIAlign分别输出7*7和14*14大小的卷积特征；其中7*7大小的卷积特征经过两个全连接层后输出一个五维的向量用作分类预测和回归框预测；14*14大小的卷积特征作为掩膜预测网络的输入，通过4个3*3的卷积层和一个2*2的反卷积层将输入的卷积特征上采样到28*28，由于只需要预测车贴一个类别，最后通过1*1的卷积层得到一个28*28*1的掩膜预测特征；掩膜预测特征上每个点的值表示属于前后景的置信度；最后，使用0.5的阈值获取车贴掩膜。

8.根据权利要求7所述的方法，其特征在于，所述将获取到的车贴区域按照长和宽分别放大1.2倍后进行图像二值化处理，包括：

(1)将Mask RCNN网络检测出的车贴区域结果按照长和宽分别放大1.2倍并裁减出来；

(2)将裁剪出的图像进行灰度化处理，其中灰度值的计算公式为：Gray＝0.299*R+0.587*G+0.114*B；

(3)将灰度化后的图像使用全局阈值进行图像二值化。

9.根据权利要求1-8任一所述的方法，其特征在于，所述对卡口车辆图像进行车窗检测之前，包括：采用高清卡口系统获取卡口车辆图像。

10.一种权利要求1-9任一所述的方法在交通领域内的应用。