CN106295526A - 车辆图像匹配的方法及装置 - Google Patents

Abstract

本申请是关于车辆图像匹配的方法及装置，该方法包括：提取目标车辆图像中的第一车窗区域的第一关键特征点；根据所述第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域；按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域；提取所述第二目标区域的目标特征；根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度；选择满足预设的相似度条件的参考车辆作为所述目标车辆对应的疑似匹配车辆。应用该方法，可以有效地提高车辆图像匹配的效率与准确率。

Description

车辆图像匹配的方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及车辆图像匹配的方法及装置。

背景技术

随着平安城市的建设，图像监控的应用范围日益扩大。基于目标车辆的图像对前端设备，例如卡口相机所拍摄到的车辆图像进行匹配，可以在很大程度上提升公安破案效率。例如，涉事车辆为无牌车或套牌车，即使后续该涉事车辆为了躲避追查，安装假车牌或者更换车牌，仍可以通过车辆图像匹配，从图库中查找到与该涉事车辆具有相同或相似特征的车辆图像，以尽快地锁定涉事车辆。

现有技术中，在进行车辆图像匹配时，需将目标车辆的图像与图库中每一张车辆图像分别进行特征点匹配以及图像对齐，并根据感兴趣区域，一一进行比较，从而，现有技术中的车辆图像匹配方法效率较低；并且，由于现有技术中，通过仿射变换进行图像对齐，导致对齐的效果较差，从而很可能导致车辆图像匹配的准确率较低。

发明内容

为克服相关技术中存在的问题，本申请提供了车辆图像匹配的方法及装置，以有效地提高车辆图像匹配的效率与准确率。

根据本申请实施例的第一方面，提供一种车辆图像匹配的方法，所述方法包括：

提取目标车辆图像中的第一车窗区域的第一关键特征点；

根据所述第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域；

按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域；

提取所述第二目标区域的目标特征；

根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度；

选择满足预设的相似度条件的参考车辆作为所述目标车辆对应的疑似匹配车辆。

可选的，所述按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域，包括：

按照预设像素，将所述第一目标区域进行平均分块，得到目标分块；

按照所述目标分块的像素大小，对所述第一目标区域进行上下扩张，得到第二目标区域。

可选的，所述第二目标区域包括若干个目标分块；

所述提取所述第二目标区域的目标特征，包括：

将用户选定的画框区域进行透视变换，得到搜索区域；

在所述第二目标区域上，确定所述搜索区域所占的目标分块；

通过已训练的卷积神经网络对所述搜索区域所占的目标分块进行特征提取，提取所述搜索区域所占的目标分块的目标特征。

可选的，所述方法还包括：

提取参考车辆图像中的第二车窗区域的第二关键特征点；

根据所述第二关键特征点，对所述第二车窗区域进行透视变换，得到第一参考区域；

按照预设像素，将所述第一参考区域进行平均分块，得到参考分块；

按照所述参考分块的像素大小，对所述第一参考区域进行上下扩张，得到第二参考区域，所述第二参考区域与所述第二目标区域具有相同的像素大小，所述参考分块与所述目标分块具有相同的像素大小；

通过已训练的卷积神经网络提取所述第二参考区域上的参考分块的参考特征。

可选的，所述根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度，包括：

将用户选定的画框区域进行透视变换，得到搜索区域；

确定所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例；

根据所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例，获取所述搜索区域在所述目标分块上的权重；

当所述搜索区域与所述第二目标区域上的目标分块有重叠区域时，计算所述目标分块上的目标特征与所述目标分块对应的参考分块上的参考特征的余弦距离；所述第二目标区域与所述第二参考区域的相同分块位置上分别是目标分块与所述目标分块对应的参考分块；

将每个所述目标分块上的权重与余弦距离进行加权求和，得到所述目标车辆与参考车辆的距离值，所述距离值与所述目标车辆与参考车辆之间的相似度成反比关系。

根据本申请实施例的第二方面，提供一种车辆图像匹配的装置，所述装置包括：

关键点提取模块，用于提取目标车辆图像中的第一车窗区域的第一关键特征点；

变换模块，用于根据所述第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域；

扩张模块，用于按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域；

特征提取模块，用于提取所述第二目标区域的目标特征；

相似度确定模块，用于根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度；

选择模块，用于选择满足预设的相似度条件的参考车辆作为所述目标车辆对应的疑似匹配车辆。

可选的，所述扩张模块，包括：

分块子模块，用于按照预设像素，将所述第一目标区域进行平均分块，得到目标分块；

处理子模块，用于按照所述目标分块的像素大小，对所述第一目标区域进行上下扩张，得到第二目标区域。

可选的，所述第二目标区域包括若干个目标分块；

所述特征提取模块，包括：

第一变换子模块，用于将用户选定的画框区域进行透视变换，得到搜索区域；

第一确定子模块，用于在所述第二目标区域上，确定所述搜索区域所占的目标分块；

提取子模块，用于通过已训练的卷积神经网络对所述搜索区域所占的目标分块进行特征提取，提取所述搜索区域所占的目标分块的目标特征。

可选的，所述关键点提取模块，还用于：提取参考车辆图像中的第二车窗区域的第二关键特征点；

所述变换模块，还用于：根据所述第二关键特征点，对所述第二车窗区域进行透视变换，得到第一参考区域；

所述装置还包括：

分块模块，用于按照预设像素，将所述第一参考区域进行平均分块，得到参考分块；

处理模块，用于按照所述参考分块的像素大小，对所述第一参考区域进行上下扩张，得到第二参考区域，所述第二参考区域与所述第二目标区域具有相同的像素大小，所述参考分块与所述目标分块具有相同的像素大小；

所述特征提取模块，还用于：通过已训练的卷积神经网络提取所述第二参考区域上的参考分块上的参考特征。

可选的，所述相似度确定模块，包括：

第二变换子模块，用于将用户选定的画框区域进行透视变换，得到搜索区域；

第二确定子模块，用于确定所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例；

权重确定子模块，用于根据所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例，获取所述搜索区域在所述目标分块上的权重；

计算子模块，用于当所述搜索区域与所述第二目标区域上的目标分块有重叠区域时，计算所述目标分块上的目标特征与所述目标分块对应的参考分块上的参考特征的余弦距离；所述第二目标区域与所述第二参考区域的相同分块位置上分别是目标分块与所述目标分块对应的参考分块；

加权求和子模块，用于将每个所述目标分块上的权重与余弦距离进行加权求和，得到所述目标车辆与参考车辆的距离值，所述距离值与所述目标车辆与参考车辆之间的相似度成反比关系。

由上述实施例可见，通过提取目标车辆图像中的第一车窗区域的第一关键特征点，根据该第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域，由于透视变换具有较强的变换能力，从而根据所得的第一目标区域进行图像匹配时，可以使得匹配结果更为准确；通过按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域，提取该第二目标区域的目标特征，后续根据该目标特征与参考车辆的参考特征，可以计算得出目标车辆与参考车辆的相似度，并选择满足预设的相似度条件的参考车辆作为所述目标车辆对应的疑似匹配车辆。由于在进行车辆图像匹配时，可以直接使用已获取到的参考特征，并不需要每次重新获取参考特征，从而提高了车辆图像匹配的效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1A示例了本申请车辆图像匹配的方法的一个实施例流程图；

图1B示例了在目标车辆图像上获取到的第一车窗区域；

图1C示例了图1B所示的第一车窗区域经过透视变换后所得到的第一目标区域；

图1D示例了前端设备所采集到的参考车辆图像；

图2A示例了本申请车辆图像匹配的方法的另一个实施例流程图；

图2B示例了根据目标分块的像素大小，对第一目标区域进行上下扩张后所得的第二目标区域；

图2C示例了包括画框区域的第一车窗区域；

图2D示例了包括搜索区域的第二目标区域；

图3示例了本申请提取参考车辆的参考特征的过程；

图4示例了本申请计算目标车辆与参考车辆相似度的方法的一个实施例流程图；

图5是本申请实施例中车辆图像匹配的装置所在设备的硬件结构框图；

图6示例了本申请车辆图像匹配的装置的一个实施例框图；

图7示例了本申请车辆图像匹配的装置的另一个实施例框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

为了解决现有技术中存在的问题，实现有效地提高车辆图像匹配的效率与准确率，本申请提供一种车辆图像匹配的方法及装置。

如下，列举下述实施例，详细地描述本申请所提供的车辆图像匹配的方法。

请参见图1A，示例了本申请车辆图像匹配的方法的一个实施例流程图，该车辆图像匹配的方法可以应用在服务器(例如，车辆图像管理服务器)上，也可以应用在对车辆进行图像采集的前端设备(例如，卡口相机)上，该方法可以包括以下步骤：

步骤S101：提取目标车辆图像中的第一车窗区域的第一关键特征点。

在本申请中，为了描述方便，可以将用户感兴趣的，期望查找到的车辆称为目标车辆，将用户指定的，待匹配的，包括该目标车辆的车辆图像称为目标车辆图像。

利用目标检测算法，例如Adaboost车窗分类器，可以在目标车辆图像中获取到车窗区域，为了描述方便，将目标车辆图像中包括的车窗区域称为第一车窗区域。例如，图1B示例了在目标车辆图像上获取到的第一车窗区域。

在一个可选的实现方式中，可以使用已训练的卷积神经网络(ConvolutionalNeural Networks，简称为CNN)提取第一车辆区域的第一关键特征点。具体地，该卷积神经网络可以包括至少一个卷积层和至少一个全连接层，将目标车辆图像中的第一车窗区域对应的局部图像输入到训练后的卷积神经网络的输入层，训练后的卷积神经网络中的卷积层和全连接层在第一车窗区域提取出车窗的四个角点，将该四个角点作为第一关键特征点，通过训练后的卷积神经网络的输出层即可得到该第一关键特征点。

步骤S102：根据所述第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域。

通常情况下，由于透视变换是将图像投影到一个新的平面上，其可以把矩形变换为任意四边形；而仿射变换是一种二维坐标到二维坐标的线性变换，其可以维持二维图像的“平直性”。这里所说的“平直性”是指，直线经过仿射变换后仍为直线，一对平行线经过仿射变换后仍为平行线。从而，透视变换相较于仿射变换而言，具有更强的图像变换能力。

本申请中，当执行完步骤S101，获取到第一关键特征点，即目标车辆车窗的四个角点后，可以根据该四个角点，对第一车窗区域进行透视变换。并且，为了消除目标车辆图像中的背景以及目标车辆的侧面车窗的影响，可以将第一车窗区域经过透视变换，变为矩形区域，并且可以预先设置该矩形区域的像素宽与像素高，例如，假设该矩形区域的像素宽为256，像素高为128。

可以理解的是，本申请中对透视变换后的矩形区域的像素大小并不作限制，相关领域技术人员可以根据实际应用调整矩形区域的像素大小。

为了描述方便，可以将经过上述透视变换后的第一车窗区域称为第一目标区域。如图1C，示例了图1B所示的第一车窗区域经过透视变换后所得到的第一目标区域。

步骤S103：按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域。

为了扩大目标区域，提高车辆图像匹配的准确度，将图1C中所示的第一目标区域进行扩张，得到第二目标区域，该第二目标区域则包括了目标车辆的车窗及附近区域。

为了使得第二目标区域包括目标车辆的车窗及附近区域，本申请中，可以根据第一目标区域的像素大小，设定预设像素，并根据该预设像素对第一目标区域进行扩张。具体是如何根据第一目标区域的像素大小，设定该预设像素，并且根据该预设像素对第一目标区域进行扩张，得到第二目标区域的，可以参见下述实施例中的描述，在此先不作详述。

步骤S104：提取所述第二目标区域的目标特征。

在一个可选的实现方式中，可以使用已训练的卷积神经网络提取第二目标区域的目标特征。可以理解的是，本步骤中的卷积神经网络可以不同于上述步骤S101中所描述的卷积神经网络。具体地，本步骤中所描述的用于提取第二目标区域的目标特征的卷积神经网络，可以包括至少一个卷积层和至少一个全连接层，将目标车辆图像中的第二目标区域对应的局部图像输入到该卷积神经网络的输入层，该卷积神经网络中的卷积层和全连接层在第二目标区域提取出目标车辆的特征，通过该卷积神经网络的输出层即可得到该目标车辆的特征。为了描述方便，可以将提取到的目标车辆的特征称为目标特征。

步骤S105：根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度。

在本申请中，可以将前端设备，例如卡口相机，所拍摄到的每一张车辆图像称为参考车辆图像，将该参考车辆图像中所包括的车辆称为参考车辆；并且，在本申请中，所描述的参考车辆图像中包括完整的车身图像。例如，图1D示例了前端设备所采集到的参考车辆图像。

前端设备每拍摄到一张参考车辆图像，即可以对该参考车辆图像进行预处理，以得到参考车辆图像中所包括的参考车辆的参考特征。具体是如何对参考车辆图像进行预处理的，可以参见下述实施例中的详细描述，在此先不作详述。可以理解的是，对参考车辆图像进行预处理的过程，可以由前端设备执行，也可以由前端设备将采集到的参考车辆图像上传至车辆图像管理服务器，由车辆图像管理服务器执行，本申请对此不作限制。

执行完上述步骤S101至步骤S104，可以提取到目标车辆图像中包括的目标车辆的目标特征。那么在本步骤中，则可以继续根据所提取到的目标特征和参考车辆的参考特征，计算得出目标车辆与参考车辆的相似度。

步骤S106：选择满足预设的相似度条件的目标车辆作为所述参考车辆对应的疑似匹配车辆。

在一个可选的实现方式中，预设的相似度条件可以表示为：参考车辆与目标车辆的相似度不得低于预设阈值，例如80％。在该种情况下，若经过执行步骤S105，得出参考车辆与目标车辆的相似度不低于80％，则该参考车辆满足预设的相似度条件，可以将该参考车辆作为该目标车辆的疑似匹配车辆。

在另一个可选的实现方式中，预设的相似度条件可以表示为：参考车辆与目标车辆的相似度在所有参考车辆中的排名位于前N位，例如前10位。在该种情况下，经过执行步骤S105，得出所有参考车辆与目标车辆的相似度之后，根据相似度从高到低的顺序，对参考车辆进行排序，选择位于前10位的参考车辆作为该目标车辆的疑似匹配车辆。

由上述实施例可见，通过提取目标车辆图像中的第一车窗区域的第一关键特征点，根据该第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域，由于透视变换具有较强的变换能力，从而根据所得的第一目标区域进行图像匹配时，可以使得匹配结果更为准确；通过按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域，提取该第二目标区域的目标特征，后续根据该目标特征与参考车辆的参考特征，可以计算得出目标车辆与参考车辆的相似度，并选择满足预设的相似度条件的参考车辆作为所述目标车辆对应的疑似匹配车辆。由于在进行车辆图像匹配时，可以直接使用已获取到的参考特征，并不需要每次重新获取参考特征，从而提高了车辆图像匹配的效率。

请参见图2A，示例了本申请车辆图像匹配的方法的另一个实施例流程图，该图2A所示的流程在上述图1A所示流程的基础上，着重描述了根据第一目标区域得到第二目标区域，以及获取目标车辆的目标特征的过程，可以包括以下步骤：

步骤S201：提取目标车辆图像中的第一车窗区域的第一关键特征点。

步骤S202：根据所述第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域。

步骤S201和步骤S202的详细描述可以参见上述实施例中步骤S101和步骤S102的详细描述，在此不再作详细赘述。

步骤S203：按照预设像素，将所述第一目标区域进行平均分块，得到目标分块。

在本申请中，为了使得在根据用户所选定的区域进行车辆图像匹配时，更有针对性，并降低后续计算目标车辆与参考车辆相似度的复杂性，可以对第一目标区域进行分块。具体地，可以按照预设像素，对第一目标区域进行平均分块。该预设像素可以根据第一目标区域的像素大小进行设定，且该预设像素小于第一目标区域的像素大小。例如，假设第一目标区域的像素宽为256，高为128，可以按照预设像素为64*64对第一目标区域进行分块，例如，可以将该第一目标区域划分为4*2块，那么每个分块的像素宽为256/4＝64，像素高为128/2＝64。为了描述方便，本申请中，可以将第一目标区域中包括的各个分块称为目标分块。

步骤S204：按照所述目标分块的像素大小，对所述第一目标区域进行上下扩张，得到第二目标区域。

由于通常情况下，车身两侧后视镜及两侧车窗不会对目标车辆的目标特征造成影响，则在本申请中，可以对该第一目标区域进行上下扩张，将车顶及车头区域包括在第二目标区域中。

并且，在本申请中，为了保持后续计算目标特征的过程一致性，可以根据上述步骤S203所得的每个目标分块的像素大小，对第一目标区域进行扩张，得到第二目标区域。例如，在已进行分块后的第一目标区域的上方和下方各扩张“一行”分块，这里所说的“一行”是指1*4块。例如，如图2B，示例了根据目标分块的像素大小，对第一目标区域进行上下扩张后所得的第二目标区域。

由上述可知，第二目标区域包括第一目标区域以及扩张区域，并且，由于第一目标区域包括若干目标分块，扩张区域是根据目标分块的像素大小进行扩张的，即扩张区域也包括若干分块，为了描述方面，可以将第二目标区域中包括的各个分块称为目标分块。

可以理解的是，上述在对第一目标区域进行上下扩张时，所扩张的块数并不限制在“一行”，可以根据实际应用中，所得目标分块的像素大小，确定扩张的块数，旨在将车顶及车头区域包括在第二目标区域中。

步骤S205：将用户选定的画框区域进行透视变换，得到搜索区域。

通常情况下，为了有针对性的对车辆图像进行匹配，可以允许用户在目标车辆图像上选定感兴趣区域，例如，用户选定的感兴趣区域为年检贴区域。可以通过某种技术手段，使得用户在目标车辆图像上对感兴趣区域进行画框，为了描述方便，将用户画框的感兴趣区域称为画框区域。例如，图2C示例了包括画框区域的第一车窗区域。

在本申请中，可以将该画框区域进行透视变换，在第二目标区域上确定搜索区域，该搜索区域为矩形区域，以方便后续相似度的计算。例如，图2D示例了包括搜索区域的第二目标区域。

步骤S206：在所述第二目标区域上，确定所述搜索区域所占的目标分块。

假设在该图2D上，将第二目标区域所包括的目标分块按照从上到下，从左到右的顺序，依次进行编号，编号为1-16(图2D中并未示出)。则与搜索区域具有重叠部分的目标分块的编号为5和9，即搜索区域所占的目标分块为目标分块5和目标分块9。

步骤S207：通过已训练的卷积神经网络对所述搜索区域所占中的目标分块进行特征提取，提取所述搜索区域所占的目标分块的目标特征。

通过步骤S203中的描述可知，假设第一目标区域的的像素宽为M，高为N，并将该第一目标区域划分为a*b个目标分块，那么每个目标分块的像素大小则为(M/a)*(N/b)。若直接利用该目标分块参与后续的目标车辆与参考车辆的相似度计算，由于数据量较大，将导致计算较为复杂。那么，本申请中，可以对目标分块提取目标特征，以达到数据降维的目的，并简化后续的相似度计算。并且，在本申请中，由于已确定具有针对性的搜索区域，则可以仅对搜索区域所占的目标分块提取目标特征，而不是提取第二目标区域中每个目标分块的目标特征，有效地提高了车辆图像匹配的效率。

具体地，在本申请中，可以使用上述步骤S104中所描述的卷积神经网络对搜索区域所占的每个目标分块进行特征提取。将搜索区域所占第二目标区域中的每个目标分块对应的局部图像输入到训练后的卷积神经网络的输入层，训练后的卷积神经网络中的卷积层和全连接层提取出目标车辆在搜索区域所占的每个目标分块上的目标特征，通过训练后的卷积神经网络的输出层即可得到搜索区域所占第二目标区域中的每个目标分块的目标特征。

例如，所提取出的目标特征的向量长度为L，L<<(M/a)*(N/b)，从而，后续使用该目标特征计算目标车辆与参考车辆的相似度，可以有效地降低计算的复杂性。

步骤S208：根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度。

步骤S209：选择满足预设的相似度条件的参考车辆作为所述目标车辆对应的疑似匹配车辆。

步骤S208和步骤S209的详细描述可以参见上述步骤S105和步骤S106中的详细描述，在此不再作详细赘述。

由上述实施例可见，通过对第一目标区域进行平均分块，并根据分块大小，对第一目标区域进行上下扩张，得到第二目标区域，在该第二目标区域上，确定用户选定的搜索区域所占的目标分块，通过已训练的卷积神经网络提取该搜索区域所占的第二目标区域中每个目标分块的目标特征，从而可以降低目标特征的维数，降低根据该目标特征与参考车辆的参考特征，计算目标车辆与参考车辆的相似度的复杂性，同时可以提高车辆图像匹配的效率。

由上述描述可知，每采集到一张参考车辆图像，即可以对该参考车辆图像进行预处理，以得到参考车辆图像中所包括的参考车辆的参考特征。如下请参见图3，示例了本申请提取参考车辆的参考特征的过程，该过程可以由前端设备，例如卡口相机执行，也可以由服务器，例如车辆图像管理服务器执行，可以包括以下步骤：

步骤S301：提取参考车辆图像中的第二车窗区域的第二关键特征点。

参考车辆图像即为前端设备所拍摄到的车辆图像，为了描述方便，可以将参考车辆图像中包括的车窗区域称为第二车窗区域。

获取第二车窗区域，以及提取第二车窗区域的第二关键特征点的过程可以参见上述实施例的步骤S101中获取第一车窗区域以及第一关键特征点的过程，在此不再作详细赘述。

步骤S302：根据所述第二关键特征点，对所述第二车窗区域进行透视变换，得到第一参考区域。

本步骤的详细描述可以参见上述步骤S202中的详细描述，在此不再作详细赘述。

需要说明的是，为了描述方便，本申请中将经过透视变换后的第二车窗区域称为第一参考区域。

步骤S303：按照预设像素，将所述第一参考区域进行平均分块，得到参考分块。

步骤S304：按照所述参考分块的像素大小，对所述第一参考区域进行上下扩张，得到第二参考区域，所述第二参考区域与所述第二目标区域具有相同的像素大小，所述参考分块与所述目标分块具有相同的像素大小。

步骤S303和步骤S304的详细描述可以参见上述实施例中步骤S203和步骤S204的详细描述，在此不再详细赘述。

需要说明的是，为了保持目标特征与参考特征维数的一致性，以降低后续计算目标车辆和参考车辆相似度时的复杂度，参考车辆图像上的第二参考区域与目标车辆图像上的第二目标区域可以具有相同的像素大小，并且，第二参考区域中的参考分块与第二目标区域中的目标分块可以具有相同的像素大小。

步骤S305：通过已训练的卷积神经网络提取所述第二参考区域上的参考分块的参考特征。

本申请中是如何通过已训练的卷积神经网络提取第二参考区域上的参考特征的，可以参见上述步骤S207中的相关描述，在此不再作详细赘述。

需要说明的是，在本申请中，一次性提取第二参考区域上每个参考分块的参考特征后，在后续每次进行车辆图像匹配的过程中都可以使用，而不需要每次进行车辆图像匹配时，重复地进行参考特征的提取，从而，有效地提高了车辆图像匹配的效率。

由上述实施例可见，通过提取参考车辆图像中的第二车窗区域的第二关键特征点，根据该第二关键特征点，对所述第二车窗区域进行透视变换，得到第一参考区域，由于透视变换具有较强的变换能力，从而根据所得的第一参考区域进行图像匹配时，可以使得匹配结果更为准确；通过按照预设像素，对所述第一参考区域进行扩张，得到第二参考区域，通过已训练的卷积神经网络提取该第二参考区域的参考特征，且该参考特征与目标车辆图像的目标特征具有相同的维数，从而在根据参考特征与目标特征获取参考车辆与目标车辆的相似度时，降低了计算的复杂度，提高了车辆图像匹配的效率。

请参见图4，示例了本申请计算目标车辆与参考车辆相似度的方法的一个实施例流程图，该图4所示的流程，在上述图2A、图3所示流程的基础上，可以包括以下步骤：

步骤S401：将用户选定的画框区域进行透视变换，得到搜索区域。

本步骤的详细描述可以参见上述步骤S205中的详细描述，在此不再作详细赘述。

步骤S402：确定所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例。

本步骤中，可以确定搜索区域所占的目标分块，例如，在图2D上，搜索区域所占的目标分块为目标分块5和目标分块9，可以进一步确定搜索区域的面积在目标分块5和目标分块9中所占的比例。例如，搜索区域与目标分块5的重叠部分占目标分块5面积的一半，即搜索区域的面积占目标分块5的比例为0.5；搜索区域与目标分块9的重叠部分占目标分块9面积的五分之一，即搜索区域的面积占目标分块9的比例为0.2。

步骤S403：根据所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例，获取所述搜索区域在所述目标分块上的权重。

在本申请中，可以将搜索区域的面积占目标分块的比例，作为搜索区域在所述目标分块上的权重，例如，搜索区域在目标分块5上的权重为0.5，搜索区域在目标分块9上的权重为0.2。

可以理解的是，搜索区域在与其并无重叠部分的目标分块上的权重为0。

步骤S403：当所述搜索区域与所述第二目标区域上的目标分块有重叠区域时，计算所述目标分块上的目标特征与所述目标分块对应的参考分块上的参考特征的余弦距离；所述第二目标区域与所述第二参考区域的相同分块位置上分别是目标分块与所述目标分块对应的参考分块。

步骤S404：将每个所述目标分块上的权重与余弦距离进行加权求和，得到所述目标车辆与参考车辆的距离值，所述距离值与所述目标车辆与参考车辆之间的相似度成反比关系。

在本申请中，当所述搜索区域与所述第二目标区域上的目标分块有重叠区域时，可以计算目标分块上的目标特征与该目标分块对应的参考分块上的参考特征之间的余弦距离，假设所计算出的余弦距离为S₅和S₉。将每个目标分块上的权重与余弦距离进行加权求和，假设加权求和的结果为0.5*S₅+0.9*S₉，可以将该结果作为目标车辆与参考车辆的距离值，并且，距离值越小，表示目标车辆与参考车辆之间的相似度越高。

由上述实施例可见，通过在第二目标区域上确定待参考区域所占每个目标分块的权重，并在与待参考区域有重叠部分的待参考分块上，计算参考特征与目标特征的余弦距离，从而实现了减少不必要的计算，降低计算的复杂性；后续，将所述每个待参考分块上的权重与余弦距离进行加权求和，得到所述目标车辆与参考车辆的距离值，所述距离值与所述目标车辆与参考车辆之间的相似度成反比关系，提高了车辆图像匹配的效率和准确率。

基于与上述方法同一的申请构思，本申请实施例还提供了车辆图像匹配的装置的实施例，该装置可以用于服务器或前端设备上。其中，该装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在的处理器，将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，是本申请实施例中车辆图像匹配的装置所在设备的硬件结构框图，除了图5所示的处理器51、内存52、网络接口53以及非易失性存储器54外，还可以包括其他硬件，如摄像装置、负责处理报文的转发芯片等。

请参见图6，示例了本申请车辆图像匹配的装置的一个实施例框图，该装置可以包括：关键点提取模块61、变换模块62、扩张模块63、特征提取模块64、相似度确定模块65、选择模块66。

该关键点提取模块61，可以用于提取目标车辆图像中的第一车窗区域的第一关键特征点；

该变换模块62，可以用于根据所述第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域；

该扩张模块63，可以用于按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域；

该特征提取模块64，可以用于提取所述第二目标区域的目标特征；

该相似度确定模块65，可以用于根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度；

该选择模块66，可以用于选择满足预设的相似度条件的目标车辆作为所述参考车辆对应的疑似匹配车辆。

在一实施例中，该关键点提取模块61，还可以用于：提取参考车辆图像中的第二车窗区域的第二关键特征点；

该变换模块62，还可以用于：根据所述第二关键特征点，对所述第二车窗区域进行透视变换，得到第一参考区域；

该装置还可以包括(图6中未示出)：分块模块、处理模块。

其中，该分块模块，可以用于按照预设像素，将所述第一参考区域进行平均分块，得到参考分块；

该处理模块，可以用于按照所述参考分块的像素大小，对所述第一参考区域进行上下扩张，得到第二参考区域，所述第二参考区域与所述第二目标区域具有相同的像素大小，所述参考分块与所述目标分块具有相同的像素大小；

在该实施例中，特征提取模块64，还可以用于：通过已训练的卷积神经网络提取所述第二参考区域上的参考分块上的参考特征。

请参见图7，示例了本申请车辆图像匹配的装置的另一个实施例框图，该图7所示的装置在上述图6所示装置的基础上，扩张模块63，可以包括分块子模块631、处理子模块632。

其中，该分块子模块631，可以用于按照预设像素，将所述第一目标区域进行平均分块，得到目标分块；

该处理子模块632，可以用于按照所述目标分块的像素大小，对所述第一目标区域进行上下扩张，得到第二目标区域。

特征提取模块64，可以包括：第一变换子模块641、第一确定子模块642、提取子模块643。

其中，该第一变换子模块641，可以用于将用户选定的画框区域进行透视变换，得到搜索区域；

该第一确定子模块642，可以用于在所述第二目标区域上，确定所述搜索区域所占的目标分块；

该提取子模块643，可以用于通过已训练的卷积神经网络对所述搜索区域所占的目标分块进行特征提取，提取所述搜索区域所占的目标分块的目标特征。

相似度确定模块65，可以包括：第二变换子模块651、第二确定子模块652、权重确定子模块653、计算子模块654、加权求和子模块655。

其中，该第二变换子模块651，可以用于将用户选定的画框区域进行透视变换，得到搜索区域；

该第二确定子模块652，可以用于确定所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例；

该权重确定子模块653，可以用于根据所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例，获取所述搜索区域在所述目标分块上的权重；

该计算子模块654，可以用于当所述搜索区域与所述第二目标区域上的目标分块有重叠区域时，计算所述目标分块上的目标特征与所述目标分块对应的参考分块上的参考特征的余弦距离；所述第二目标区域与所述第二参考区域的相同分块位置上分别是目标分块与所述目标分块对应的参考分块；

该加权求和子模块655，可以用于将每个所述目标分块上的权重与余弦距离进行加权求和，得到所述目标车辆与参考车辆的距离值，所述距离值与所述目标车辆与参考车辆之间的相似度成反比关系。

本领域技术人员在考虑说明书及实践这里申请的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种车辆图像匹配的方法，其特征在于，所述方法包括：

提取目标车辆图像中的第一车窗区域的第一关键特征点；

根据所述第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域；

按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域；

提取所述第二目标区域的目标特征；

根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度；

选择满足预设的相似度条件的参考车辆作为所述目标车辆对应的疑似匹配车辆。

2.根据权利要求1所述的方法，其特征在于，所述按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域，包括：

按照预设像素，将所述第一目标区域进行平均分块，得到目标分块；

按照所述目标分块的像素大小，对所述第一目标区域进行上下扩张，得到第二目标区域。

3.根据权利要求1所述的方法，其特征在于，所述第二目标区域包括若干个目标分块；

所述提取所述第二目标区域的目标特征，包括：

将用户选定的画框区域进行透视变换，得到搜索区域；

在所述第二目标区域上，确定所述搜索区域所占的目标分块；

通过已训练的卷积神经网络对所述搜索区域所占的目标分块进行特征提取，提取所述搜索区域所占的目标分块的目标特征。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

提取参考车辆图像中的第二车窗区域的第二关键特征点；

根据所述第二关键特征点，对所述第二车窗区域进行透视变换，得到第一参考区域；

按照预设像素，将所述第一参考区域进行平均分块，得到参考分块；

按照所述参考分块的像素大小，对所述第一参考区域进行上下扩张，得到第二参考区域，所述第二参考区域与所述第二目标区域具有相同的像素大小，所述参考分块与所述目标分块具有相同的像素大小；

通过已训练的卷积神经网络提取所述第二参考区域上的参考分块的参考特征。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度，包括：

将用户选定的画框区域进行透视变换，得到搜索区域；

确定所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例；

根据所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例，获取所述搜索区域在所述目标分块上的权重；

当所述搜索区域与所述第二目标区域上的目标分块有重叠区域时，计算所述目标分块上的目标特征与所述目标分块对应的参考分块上的参考特征的余弦距离；所述第二目标区域与所述第二参考区域的相同分块位置上分别是目标分块与所述目标分块对应的参考分块；

将每个所述目标分块上的权重与余弦距离进行加权求和，得到所述目标车辆与参考车辆的距离值，所述距离值与所述目标车辆与参考车辆之间的相似度成反比关系。

6.一种车辆图像匹配的装置，其特征在于，所述装置包括：

关键点提取模块，用于提取目标车辆图像中的第一车窗区域的第一关键特征点；

变换模块，用于根据所述第一关键特征点，对所述第一车窗区域进行透视变换，得到第一目标区域；

扩张模块，用于按照预设像素，对所述第一目标区域进行扩张，得到第二目标区域；

特征提取模块，用于提取所述第二目标区域的目标特征；

相似度确定模块，用于根据所述目标特征与参考车辆的参考特征，确定所述目标车辆与参考车辆的相似度；

选择模块，用于选择满足预设的相似度条件的参考车辆作为所述目标车辆对应的疑似匹配车辆。

7.根据权利要求6所述的装置，其特征在于，所述扩张模块，包括：

分块子模块，用于按照预设像素，将所述第一目标区域进行平均分块，得到目标分块；

处理子模块，用于按照所述目标分块的像素大小，对所述第一目标区域进行上下扩张，得到第二目标区域。

8.根据权利要求6所述的装置，其特征在于，所述第二目标区域包括若干个目标分块；

所述特征提取模块，包括：

第一变换子模块，用于将用户选定的画框区域进行透视变换，得到搜索区域；

第一确定子模块，用于在所述第二目标区域上，确定所述搜索区域所占的目标分块；

提取子模块，用于通过已训练的卷积神经网络对所述搜索区域所占的目标分块进行特征提取，提取所述搜索区域所占的目标分块的目标特征。

9.根据权利要求7所述的装置，其特征在于，所述关键点提取模块，还用于：提取参考车辆图像中的第二车窗区域的第二关键特征点；

所述变换模块，还用于：根据所述第二关键特征点，对所述第二车窗区域进行透视变换，得到第一参考区域；

所述装置还包括：

分块模块，用于按照预设像素，将所述第一参考区域进行平均分块，得到参考分块；

处理模块，用于按照所述参考分块的像素大小，对所述第一参考区域进行上下扩张，得到第二参考区域，所述第二参考区域与所述第二目标区域具有相同的像素大小，所述参考分块与所述目标分块具有相同的像素大小；

所述特征提取模块，还用于：通过已训练的卷积神经网络提取所述第二参考区域上的参考分块上的参考特征。

10.根据权利要求9所述的装置，其特征在于，所述相似度确定模块，包括：

第二变换子模块，用于将用户选定的画框区域进行透视变换，得到搜索区域；

第二确定子模块，用于确定所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例；

权重确定子模块，用于根据所述搜索区域的面积在所述第二目标区域上的目标分块中所占的比例，获取所述搜索区域在所述目标分块上的权重；

计算子模块，用于当所述搜索区域与所述第二目标区域上的目标分块有重叠区域时，计算所述目标分块上的目标特征与所述目标分块对应的参考分块上的参考特征的余弦距离；所述第二目标区域与所述第二参考区域的相同分块位置上分别是目标分块与所述目标分块对应的参考分块；

加权求和子模块，用于将每个所述目标分块上的权重与余弦距离进行加权求和，得到所述目标车辆与参考车辆的距离值，所述距离值与所述目标车辆与参考车辆之间的相似度成反比关系。