CN109033175A - 一种以图搜车的方法及系统 - Google Patents

Abstract

本发明提供了一种以图搜车的方法及系统，其方法包括，预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；获取待检测目标车辆的正面俯拍图，检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；根据所述目标车辆车牌信息的不同情况，启动有牌车检索或无牌车检索。通过多种模型先进行过滤以降低干扰因素的影响，然后再使用特征区域分类模型进行特征比对排序。并且，根据使用场景使用了不同的特征比对模型。同时，根据车辆样本的特性而专门设计特征比对模型，在应用过程中保证准确率、显存占用、运行速度之间的平衡。

Description

一种以图搜车的方法及系统

本技术方案涉及车辆监控领域，尤其涉及一种分类以图搜车的方法及系统。

背景技术

随着计算机视觉技术的研究与应用，对目标进行跟踪检测以其智能性和可靠性可被用在政府管控、违章锁定、嫌疑人跟等现实场景，目前已经应用于交通、公安、军队、能源等多个领域，更有进一步深入发展的趋势。

以图搜车是一种基于图像的车辆检索技术，广泛的应用于交通车辆管理、犯罪嫌疑人追踪等领域，目的是替代人工从海量数据中检索出目标车辆。以图搜车的技术路线可以总结为：提取目标车辆图片与测试库所有图片的特征，然后根据相似度进行排序。在较早的一些方案中，许多人工的特征被设计出来以提取车辆的特征。CN104361087A《一种基于图像的机动车辆检索方法及装置》把车辆的外在轮廓划分为多个子窗口，对子窗口提取SIFT(Scale-invariant feature transform,尺度不变特征变换)、HOG(Histogram ofOriented Gradient,方向梯度直方图)等特征，最后对所有窗口的特征进行融合。传统的检索方法通常采取SITF、HOG等人工设计的特征，具有运行速度快、可解释性强等优点。但是，在实际应用中仍然会出现对不同场景泛化性差、对遮挡、光照变化、角度变化等干扰鲁棒性差等缺点。随着深度学习技术的提升以及GPU(显卡)计算能力的不断增强，人脸识别、商品检索等应用的精度得到了大幅度的提升。同时，一些深度学习的方法也开始应用到了以图搜车中。CN106156750A《一种基于卷积神经网络的以图搜车方法》中，收集不同车辆的图像集，相同的车辆作为正样本对，不同的车辆作为负样本对，在经典网络上进行训练模型以提取特征进行匹配排序。

CN106156750A《一种基于卷积神经网络的以图搜车方法》仅仅使用了单一的模型提取特征进行比对排序，并且使用场景没有细分。因此，实际应用中会出现泛化性差，并且容易受到光照、姿态、遮挡等干扰因素的影响。同时，现有技术使用的经典特征比对模型，比如Resnet(残差网络)、Inception、VGG等)虽然准确率较高，但是在实际应用中具有显存占用大、运行时间长等缺点，从而影响产品的实时性与经济性。

发明内容

本技术方案提出了一种分类以图搜车的方法及系统，首先通过多种模型先进行过滤以降低干扰因素的影响，然后再使用模型进行特征比对排序。并且，根据使用场景使用了不同的特征比对模型。同时，根据车辆样本的特性而专门设计特征比对模型，在应用过程中保证准确率、显存占用、运行速度之间的平衡。

本发明公开了一种以图搜车的方法，其特征在于，包括，

步骤A，预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；

步骤B，获取待检测目标车辆的正面俯拍图，检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；

步骤C，根据所述目标车辆车牌信息的不同情况，启动有牌车检索或无牌车检索，所述有牌车检索或无牌车检索包括，

步骤C-1，获取所述目标车辆(有牌车或无牌车)的图像信息，所述图像信息包括车辆类型信息、颜色信息、子品牌信息，特征提取区域；

步骤C-2，对所述目标车辆的图像信息输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

步骤C-3，将所述目标车辆图像信息中特征提取区域与所述第一剩余测试集中车辆的特征提取区域使用特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

更进一步，所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为车脸分类模型；

所述步骤C-1中特征提取区域为车脸区域。

更进一步，所述车脸区域为车辆引擎盖下部区域。

更进一步，所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为全车特征分类模型；

所述步骤C-1中特征提取区域为全车区域。

更进一步，若所述目标车辆为有牌车，则：

所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为车脸分类模型；

所述步骤C-1中特征提取区域为车脸区域。

更进一步，若所述目标车辆为无牌车，则：

所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为全车分类模型；

所述步骤C-1中特征提取区域为全车区域，所述全车区域为所述待检测目标车辆的最小外接矩形；

在所述步骤C-2及步骤C-3之间还包括步骤C-21，将所述第一剩余测试集中车牌信息作去除处理，获得第二剩余测试集；

在所述步骤C-3中将所述第一剩余测试集替换为所述第二剩余测试集。

更进一步，所述预先训练用于车辆过滤的多种模型是通过卡口摄像机、照相机拍摄到的车辆图像。

更进一步，所述步骤A中所述特征区域分类模型使用512维全连接层作为所述测试集图片的特征向量，所述步骤C-1中所述特征区域信息为使用512维全连接层作为所述目标车辆的特征向量。

本发明还公开了一种以图搜车的系统，包括，

训练单元，用于预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；

第一获取单元，用于获取待检测目标车辆的正面俯拍图；

检测单元，用于检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；

第二获取单元，用于获取所述目标车辆(有牌车或无牌车)的图像信息，所述图像信息包括车辆类型信息、颜色信息、子品牌信息、特征区域信息；

过滤单元，用于将所述目标车辆的图像信息输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

比对单元，用于将所述目标车辆图像信息中特征提取区域与所述第一剩余测试集中车辆的特征提取区域使用特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

更进一步，在所述过滤单元和所述比对单元之间还包括去除单元，用于将所述第一剩余测试集中车牌信息作去除处理，获得第二剩余测试集。

通过本发明技术方案，通过深度学习的算法预先训练用于车辆过滤的多种模型，在获取目标车辆的图像信息后首先将目标车辆区分为有牌车或无牌车，其次对测试集进行级联过滤，最后通过提取特定区域特征信息进行相似度比对筛选出置信度最高的车辆以完成以图搜车。本实施例减少了后期深度学习提取特征比对的难度，保证了准确率、显存占用、运行速度之间的平衡。

附图说明

图1为本发明实施例1的流程示意图；

图2为本发明实施例2的流程示意图；

图3为本发明实施例3的流程示意图；

图4为本发明实施例4的结构示意图；

图5为本发明实施例5的结构示意图；

图6为本发明实施例6的结构示意图。

具体实施方式

在介绍本发明具体实施例之前，首先对本技术方案的思路简要概括：

首先介绍本发明涉及的两个概念：①分类模型，预先训练用于车辆过滤的模型，在图像数据输入模型后输出标签，输出标签包含在训练集标签中，比如车辆颜色模型，车辆类型模型等；②识别模型，一般训练样本包含的类别标签往往无法完全覆盖测试样本的标签，训练分类模型只是为了制作一个特征向量提取器，最后计算目标图片与测试图片特征向量之间的距离作为相似度。

本发明以图搜车属于数据识别的问题，具体而言，通过输入一辆车的图片，找出这辆车的其它图片。理论上可以训练一个特征提取模型就可以进行特征比对排序。然而现实的情况是，为每一辆车建立训练集需要消耗大量的人力成本，同时，训练集能覆盖的车辆是有限的，比如训练集中有10万辆车，但过车记录里却有100万辆车。然而，车辆类型模型、颜色模型、子品牌模型这些分类模型数据容易获取，训练难度不大，而且分类准确率率较高，先使用这些分类模型进行过滤，后面特征比对识别的难度会大大降低。同时，比对排序由于循环次数减少，计算时间也会大幅度降低。

为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请实施例一部分实施例，而非全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

实施例1：

图1为本实施例流程示意图，一种以图搜车的方法，包括，

步骤101，预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；

本实施例公开的以图搜车的方法采用了深度学习的目标检测模型，因深度学习具备强大的特征学习能力，可以提高目标检测准确率及效率。具体的，本实施例使用如vgg、resnet等经典深度学习算法改进的网络结构，同时满足了精度与速度的要求。

在本实施例中，对从公安交通卡口的摄像头采集的车辆图像进行模型训练，得到多种过滤模型，这里的过滤模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型，每个过滤模型提前用各自对应的训练集训练完成。其中车辆类型具体包括轿车、大客车、大货车、小客车、小货车、皮卡、商务车、越野车、微型、面包车等常见类型；颜色模型为所采集到车辆的颜色信息，包括白色、红色、蓝色、黄色、灰色、黑色、绿色、粉色、紫色、棕色、橙色等主流颜色类别；子品牌模型为主品牌下的细分类别，这里的子品牌模型训练集中包含了市场上大部分常见的子品牌车辆，因数量种类庞大，在此不一一列举；车牌信息模型包括有牌或无牌及车牌号码信息；特征区域分类模型包括对图像的特征信息进行训练，图像的特征信息可以采用向量形式表示，在本实施例中，使用分类网络的512维全连接层作为每张图片的特征向量，具体的，采用10万辆车，每辆车50张不同姿态的图片,训练类别数为10万的分类网络。取分类网络的512维度全连接层作为特征向量，这些特征向量表达了每辆车的特征信息。比如，同一辆车的图片提取的特征向量的空间距离近，不同车的图片提取的特征向量的空间距离远。

还需要说明的是，上述训练集，是指训练过滤模型所用到的数据，比如训练车辆类型时，需要用到10种车辆类型的数据，每种车辆类型1W张图片，训练10分类模型；训练颜色模型需要用到10种车辆颜色数据，每种颜色1W张图片，训练10分类模型；训练子品牌模型需要3000种子品牌类型数据，每种子品牌需要1000张图片，训练3000分类模型；车牌信息模型分为有牌车和无牌车，需要有牌车1000张图片，无牌车1000张图片，训练2种分类模型；训练特征提取模型时，采用10万辆车，每辆车50张不同姿态的图片,训练类别数为10万的分类模型。

在本实施例中，为了保证训练精度的同时减少训练的复杂度，训练车辆类型模型与车辆颜色模型使用全车区域进行训练，子品牌模型、车牌信息模型使用车脸区域进行训练、特征区域分类模型可以选择使用全车区域或者车脸区域进行训练。

步骤102，获取待检测目标车辆的正面俯拍图，检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；

目标车辆的正面俯拍图，可以采用设置在公安交通卡口的相机拍摄到的图像，也可以是民用车库、公共停车场进出口的相机拍摄到的图像。设置在公安卡口的相机一般是公安部门为了监控道路信息，在道路上访设置的摄像机或照相机。通常，在同一公安卡口还会设置有相应的机动车辆感知装置，例如铺设在路面下方的感应线圈，当有机动车辆通过相应路段时，机动车辆感知装置可以感知到有机动车辆驶过，进而触发相机对通过的机动车辆进行拍摄。同样地，民用车库、公共停车场、进出口一般会设置监控设备，对进出车辆进行信息采集，以便对车库、停车场车辆进行管控及对车辆收费。

本实施例中正面俯拍图像，是指对于机动车辆的前脸拍摄的图像，通过正面俯拍图像可以获得待检测机动车辆的车牌信息，本实施例是通过对有牌车及无牌车分别进行检测，因此在本步骤仅检测目标车辆为有牌照或无牌照，同时需要注意的是，有牌照底色但没有车牌号码的车也归为无牌照车。

步骤103，根据目标车辆车牌信息的不同情况，启动有牌车检索或无牌车检索。

首先说明在本实施例对有牌车检索及无牌车检索相同的步骤：

步骤1031，获取目标车辆(有牌车或无牌车)的图像信息，这里的图像信息包括车辆类型信息、颜色信息、子品牌信息，特征提取区域；

本实施例以图搜车的技术方案首先需要确定目标车辆的信息，通过提取目标车辆的特征提取区域信息与车辆过车记录原始测试集车辆的特征提取区域信息进行比对。本步骤具体获取目标车辆的图像信息，由于在步骤102中已获取了目标车辆的车牌信息，所以本步骤获取的是除车牌信息以外的图像信息，并且为了与步骤1032中车辆过车记录原始测试集车辆进行比对，这里获取的信息要与车辆过车记录原始测试集车辆信息相对应，所以获取目标车辆的图像信息包括车辆类型、颜色、子品牌、特征提取区域，目标车辆的类型能与车辆过车记录原始测试集车辆类型相对应，目标车辆的颜色能与车辆过车记录原始测试集车辆的颜色相对应，目标车辆子品牌类型能与车辆过车记录原始测试集车辆的子品牌对应，目标车辆特征区域与车辆过车记录原始测试集车辆特征区域相对应，且对目标车辆特征区域的提取使用分类网络的512维全连接层目标车辆图像的特征向量

步骤1032，将目标车辆的图像信息图输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

需要说明的是，这里的车辆过车记录原始测试集指车辆分析系统里面的过车记录，本步骤的目的在于将测试集中与目标车辆类型、颜色、子品牌不同的车辆过滤掉。在经过本步骤获得的第一剩余测试集中，只剩下与目标车辆类型、颜色、子品牌相同的车辆，可以减少在之后的步骤中进行特征比对的难度。

作为本实施例一个具体情况，比如有车辆分析系统里面的过车记录测试集图片有1000万张，现抓拍到一张目标车辆图片，通过的过滤模型识别为：轿车、白色、奔驰2012款、有车牌。根据本实施例技术方案，接下来的流程为：有牌---进行有牌车检索、轿车---过滤掉测试集中非轿车的图片，测试集只剩下100W辆；白色---过滤掉剩余测试集中非白色的车辆，测试集只剩下10W辆、奔驰2012款---过滤掉剩余测试集非奔驰2012款的车辆图片，测试集只剩下1000辆车；分别提取目标车辆车脸与剩余测试集车辆车脸的512维特征向量进行比对排序，筛选出剩余测试集中相似度排名靠前的车辆为本实施例的检索结果。

步骤1033，对目标车辆图像信息中特征提取区域与第一剩余测试集中车辆的特征提取区域使用特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

具体的，目标车辆图像信息中的特征区域与第一剩余测试集中车辆图像信息中特征提取区域是相对应的，并且目标车辆图像信息中特征区域提取到的特征信息与第一剩余测试集中车辆图像信息中特征区域提取到的特征信息也是相对应的。分别提取目标车辆与剩余测试集车辆特征区域的特征向量，再计算特征向量两者之间的距离，称之为置信度，筛选出置信度最高的车辆，从而达到以图搜车的目的。

上述技术方案，通过深度学习算法预先训练多种过滤模型，在获取目标车辆的图像信息后首先将目标车辆区分为有牌车或无牌车，其次对测试集车辆进行级联过滤，最后通过提取特征区域特征向量进行相似度排序，筛选出置信度最高的车辆以完成以图搜车。本实施例减少了后期深度学习提取特征比对的难度，保证了准确率、显存占用、运行速度之间的平衡。

实施例2：

本实施例将本发明目标车辆定义为有牌车，图2为本实施例流程示意图，一种以图搜车的方法，包括，

步骤201，预先训练用于车辆过滤的模型，这里的模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型，车脸区域分类模型；

本实施例预先训练用于检测车辆的训练方法及过程同实施例1中步骤101，但需要注意的是，本实施例中特征区域分类模型使用车脸区域进行训练。这是因为相对于全车区域训练车辆的分类模型，使用车脸区域模型更容易学习到车牌的字符特征，且针对有牌车，车牌信息作为每辆车的独特编号，在车辆其它特征特征中具有更高的权重。

具体的，对于车脸区域分类模型的训练，采用10万辆车，每辆车50张不同姿态的车脸图片,训练类别数为10万的分类网络。车脸区域输入分类模型中，最后512维全连接层输出的值为车辆的特征向量，这些特征向量表达了每辆车的特征信息。同一辆车的图片提取的特征向量的空间距离近，不同车的图片提取的特征向量的空间距离远。

需要说明的是，本步骤训练车辆类型模型、车辆颜色模型依然使用全车区域，训练子品牌模型、车牌信息模型、特征区域分类模型使用车脸区域，整体训练依然是车辆全局区域与车辆局部区域的信息融合。

步骤202，获取待检测目标车辆的正面俯拍图，检测目标车辆的车牌信息，所述检索结果为：有牌车；

本实施例对目标车辆的车牌信息检测同实施例1，本实施例检测到的目标车辆为有牌车。

步骤203，启动有牌车检索。

有牌车检索具体包括：

步骤2031，获取目标车辆(有牌车)的图像信息，这里的图像信息包括车辆类型信息、颜色信息、子品牌信息，车脸特征区域信息；

需要说明的是，在对有牌车检索时候特征区域选定为车脸区域，是因为相对于全车区域训练车辆的分类模型，使用车脸区域模型更容易学习到车牌的字符特征，也就是说，每辆车的车牌是特定的ID(Identification)。

步骤2032，将目标车辆(有牌车)的图像信息图输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

需要说明的是，本步骤的目的在于将车辆过车记录原始测试集中与目标车辆类型、颜色、子品牌不同的车辆过滤掉。

步骤2033，对目标车辆图像信息中特征提取区域与第一剩余测试集中车辆的特征区域提取区域使用特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

具体的，这里的目标车辆(有牌车)图像信息中的特征区域与第一剩余测试集中车辆图像信息中特征区域都是车脸区域，并且目标车辆(有牌车)车脸区域的特征信息与第一剩余测试集中车辆车脸区域的特征信息也是对应的，均为使用车脸分类网络的512维全连接层目标车辆图像的特征向量。

分别提取目标车辆(有牌车)与剩余测试集车辆特征区域的特征向量，再计算特征向量两者之间的距离，称之为置信度，筛选出置信度最高的车辆以达到以图搜车的目的。

本实施例特别针对有牌车的车辆检索，通过深度学习算法预先训练多种过滤模型在获取目标车辆的图像信息后输入车辆过车记录原始测试集，对测试集进行级联过滤，再提取车脸区域特征向量进行相似度排序，筛选出置信度最高的车辆以完成以图搜车。本实施例减少了后期深度学习提取特征比对的难度，保证了准确率、显存占用、运行速度之间的平衡。

实施例3：

本实施例将本发明目标车辆定义为无牌车，图3为本实施例流程示意图，一种以图搜车的方法，包括，

步骤301，预先训练用于车辆过滤的模型，这里的模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型，全车区域分类模型；

本实施例预先训练用于检测车辆的训练方法及过程同实施例1中步骤101，但需要注意的是，特征区域分类模型使用全车区域进行训练。这是因为对于无牌车而言，车脸区域的车辆信息有限，为保证目标车辆检测的精度，需要对全车区域进行特征提取，采用全车区域分类模型，保证了检测精度与模型训练复杂度的平衡。

具体的，对于全车区域分类模型的训练，采用10万辆车，每辆车50张不同姿态的全车图片,训练类别数为10万的分类网络。全车区域输入分类模型中，最后512维全连接层输出的值为车辆的特征向量。同一辆车的图片提取的特征向量的空间距离近，不同车的图片提取的特征向量的空间距离远。

需要说明的是，本步骤训练车辆类型模型、车辆颜色模型、特征区域分类模型使用全车区域，训练子品牌模型、车牌信息模型、特征区域分类模型使用车脸区域，整体训练依然是全车区域与特征区域的信息进行融合。

步骤302，获取待检测目标车辆的正面俯拍图，检测所述目标车辆的车牌信息，所述检索结果为：无牌车；

本实施例对目标车辆的车牌信息检测同实施例1，本实施例检测到的目标车辆为无牌车。

步骤303，启动无牌车检索。

有牌车检索具体包括：

步骤3031，获取目标车辆(无牌车)的图像信息，这里的图像信息包括车辆类型信息、颜色信息、子品牌信息，全车特征区域信息；

需要说明的是，对无牌车检索时候特征区域选定为全车区域，是因为无牌车失去了车牌这种特定标签，区分同款车的不同车辆时，需要加入车窗部分的信息，比如车内标志物(年检标、挂饰、摆饰等)。

步骤3032，将目标车辆(无牌车)的图像信息图输入测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

需要说明的是，本步骤的目的在于将测试集中与目标车辆类型、颜色、子品牌不同的车辆过滤掉。

步骤30321，将第一剩余测试集中车牌信息作去除处理，获得第二剩余测试集。

具体的，因为是对无牌车进行检索，而第一剩余测试集中依然包含车辆车牌信息，为避免车牌信息对车辆检索的影响，同时减少比对的复杂度，对第一剩余测试集中车牌信息作去除处理，获得第二剩余测试集。

步骤3033，将目标车辆(无牌车)图像信息中特征提取区域与第二剩余测试集中车辆的特征提取区域使用特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

需要说明的是，分别提取目标车辆(无牌车)与第二剩余测试集车辆特征区域的特征向量，再计算特征向量两者之间的距离，称之为置信度，筛选出置信度最高的车辆以达到以图搜车的目的。

具体的，这里的目标车辆(无牌车)图像信息中的特征区域与第二剩余测试集中车辆图像特征提取区域都是全车区域，并且目标车辆(无牌车)全车区域的特征信息与第二测试集中车辆全车区域的特征信息均为使用全车分类网络的512维全连接层目标车辆图像的特征向量。

分别提取目标车辆(无牌车)与剩余测试集车辆特征区域的特征向量，再计算特征向量两者之间的距离，称之为置信度，筛选出置信度最高的车辆以达到以图搜车的目的。

本实施例特别针对无牌车的车辆检索，通过深度学习算法预先训练多种过滤模型)，在获取目标车辆的图像信息后输入车辆过车记录原始测试集，对测试集进行级联过滤，并且对级联过滤之后的第一剩余测试集进行去车牌处理得到第二剩余测试集，再通提取全车区域特征向量进行相似度排序筛选出置信度最高的车辆以完成以图搜车。本实施例保证了准确率、显存占用、运行速度之间的平衡。

实施例4：

图4为本实施例结构示意图，一种以图搜车的系统，包括，

训练单元401，用于预先训练用于车辆过滤的模型，这里的模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；

第一获取单元402，用于获取待检测目标车辆的正面俯拍图；

检测单元403，用于检测目标车辆的车牌信息，检索结果为：有牌车或无牌车；

第二获取单元404，用于获取目标车辆(有牌车或无牌车)的图像信息，图像信息包括车辆类型信息、颜色信息、子品牌信息，特征提取区域信息；

过滤单元405，用于将目标车辆的图像信息图输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

比对单元406，用于将目标车辆图像信息中特征提取区域与第一剩余测试集中车辆的特征提取区域使用分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

上述系统每个单元对实施例1中的方法相对应，在此不赘述。

实施例5：

图5为本实施例结构示意图，一种以图搜车的系统，包括，

训练单元501，用于预先训练用于车辆过滤的模型，这里的模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型，车脸特征区域分类模型；

第一获取单元502，用于获取待检测目标车辆的正面俯拍图；

检测单元503，用于检测目标车辆的车牌信息，检索结果为：有牌车；

第二获取单元504，用于获取目标车辆(有牌车)的图像信息，图像信息包括车辆类型信息、颜色信息、子品牌信息，车脸特征区域信息；

过滤单元505，用于将目标车辆的图像信息图输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

比对单元506，用于将目标车辆图像信息中车脸特征区域与第一剩余测试集中车辆车脸特征区域使用分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

上述系统每个单元对实施例2中的方法相对应，在此不赘述。

实施例6：

图6为本实施例结构示意图，一种以图搜车的系统，包括，

训练单元601，用于预先训练用于车辆过滤的模型，这里的模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型，全车特征区域分类模型；

第一获取单元602，用于获取待检测目标车辆的正面俯拍图；

检测单元603，用于检测目标车辆的车牌信息，检索结果为：无牌车；

第二获取单元604，用于获取目标车辆(无牌车)的图像信息，所述图像信息包括车辆类型信息、颜色信息、子品牌信息，全车特征区域信息；

过滤单元605，用于将目标车辆的图像信息图输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

去除单元606，用于将第剩余一测试集中车牌信息作去除处理，获得第二剩余测试集；

比对单元607，用于将目标车辆图像信息中全车特征区域与第一剩余测试集中车辆全车特征区域使用分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

上述系统每个单元对实施例3中的方法相对应，在此不赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所披露的方法、系统，可以通过其它的方式实现。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种以图搜车的方法，其特征在于，包括，

步骤A，预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；

步骤B，获取待检测目标车辆的正面俯拍图，检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；

步骤C，根据所述目标车辆车牌信息的不同情况，启动有牌车检索或无牌车检索，所述有牌车检索或无牌车检索包括，

步骤C-1，获取所述目标车辆(有牌车或无牌车)的图像信息，所述图像信息包括车辆类型信息、颜色信息、子品牌信息、特征提取区域；

步骤C-2，将所述目标车辆的图像信息输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

步骤C-3，对所述目标车辆图像信息中特征提取区域与所述第一剩余测试集中车辆的特征提取区域使用所述特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

2.根据权利要求1所述的以图搜车的方法，其特征在于，所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为车脸分类模型；

所述步骤C-1中特征提取区域为车脸区域。

3.根据权利要求2所述的以图搜车的方法，其特征在于，所述车脸区域为车辆引擎盖下部区域。

4.根据权利要求1所述的以图搜车的方法，其特征在于，所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为全车特征分类模型；

所述步骤C-1中特征提取区域为全车区域。

5.根据权利要求1所述的以图搜车的方法，其特征在于，若所述目标车辆为有牌车，则：

所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为车脸分类模型；

所述步骤C-1中特征提取区域为车脸区域。

6.根据权利要求1所述的以图搜车的方法，其特征在于，若所述目标车辆为无牌车，则：

所述步骤A，预先训练用于车辆过滤的模型的特征区域分类模型为全车分类模型；

所述步骤C-1中特征提取区域为全车区域，所述全车区域为所述待检测目标车辆的最小外接矩形；

在所述步骤C-2及步骤C-3之间还包括步骤C-21，将所述第一剩余测试集中车牌信息作去除处理，获得第二剩余测试集；

在所述步骤C-3中将所述第一剩余测试集替换为所述第二剩余测试集。

7.根据权利要求1-6所述的任意一种以图搜车的方法，其特征在于，所述预先训练用于车辆过滤的多种模型是通过卡口摄像机、照相机拍摄到的车辆图像。

8.根据权利要求1-6所述的任意一种以图搜车的方法，其特征在于，所述步骤A中所述特征区域分类模型使用512维全连接层作为所述测试集图片的特征向量，所述步骤C-1中所述特征区域信息为使用512维全连接层作为所述目标车辆的特征向量。

9.一种以图搜车的系统，其特征在于，包括，

训练单元，用于预先训练用于车辆过滤的模型，所述模型包括车辆类型模型、颜色模型、子品牌模型、车牌信息模型、特征区域分类模型；

第一获取单元，用于获取待检测目标车辆的正面俯拍图；

检测单元，用于检测所述目标车辆的车牌信息，所述检索结果为：有牌车或无牌车；

第二获取单元，用于获取所述目标车辆(有牌车或无牌车)的图像信息，所述图像信息包括车辆类型信息、颜色信息、子品牌信息、特征区域信息；

过滤单元，用于将所述目标车辆的图像信息输入车辆过车记录原始测试集，进行车辆类型、车辆颜色、车辆子品牌的过滤，获得第一剩余测试集；

比对单元，用于将所述目标车辆图像信息中特征提取区域与所述第一剩余测试集中车辆的特征提取区域使用特征区域分类模型分别提取特征，通过相似度对比排序筛选出置信度最高的车辆。

10.根据权利要求9所述的以图搜车的系统，其特征在于，在所述过滤单元和所述比对单元之间还包括去除单元，用于将所述第一剩余测试集中车牌信息作去除处理，获得第二剩余测试集。