CN105320705A - 相似车辆的检索方法及装置 - Google Patents

Abstract

本发明提供一种相似车辆的检索方法及装置，方法包括：根据视频监控装置中采集的样例图像，建立不同区域的车型模板库；根据包括车辆的待查询图像以及待查询图像的区域信息，确定待查询图像的车型信息；根据车型信息、和目标数据库的图像信息，建立待查询图像对应的查询图像集合；获取查询图像集合中的每一个样例图像与目标数据库中所有图像的检索结果；根据查询图像集合中所有样例图像的检索结果，确定目标数据库中与待查询图像中的车辆的相似车辆；每一区域的车型模板库包括：多种车型信息及其对应的车型模板库，每种车型信息对应的车型模板库包括：该车型信息对应的车辆实例的多个样例图像的集合。由上述方法可提高相似车辆检索性能的鲁棒性。

Description

相似车辆的检索方法及装置

技术领域

本发明涉及智能交通技术领域，尤其涉及一种相似车辆的检索方法及装置。

背景技术

随着我国经济的快速发展、城市规模的不断扩大、以及车辆数量的大幅增长，我国的交通系统正逐渐走向智能化。交通监控视频是公安业务的重要数据基础，在社会治安维稳、打击违法犯罪等方面有着至关重要的作用。其中，从大量的监控视频中检索出目标车辆是一项基本需求。

现有技术中，相似车辆检索方法大部分都基于车牌号进行车辆搜索，这种方法极大程度地依赖于车牌识别的准确性，不同的光照条件、车牌磨损或车牌故意遮挡等原因都会造成检索结果错误。另一种方法是将查询图像直接与数据库中的各图像进行对比，其检索性能也极大地受光照条件、拍摄视角、车辆遮挡程度等因素影响，准确率和鲁棒性不高。

发明内容

针对现有技术中的缺陷，本发明提供一种相似车辆的检索的方法及装置，能够提高相似车辆检索性能的准确率和鲁棒性。

第一方面，本发明提供一种相似车辆的检索方法，包括：

根据视频监控装置中采集的样例图像，建立不同区域的车型模板库；

根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息；

根据所述车型信息、和目标数据库的图像信息，建立所述待查询图像对应的查询图像集合；

获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，每一区域的车型模板库包括：多种车型的车型模板库，每种车型的车型模板库包括：该车型的多个样例图像的集合；所述样例图像为：不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像或不同场景的车辆样例图像。

可选地，根据视频监控装置中采集的样例图像，建立不同区域的车型模板库，包括：

针对每一区域，获取该区域内的视频监控装置采集的多个车辆图像，将所述多个车辆图像作为样例图像，识别所述样例图像中的车牌号，并根据所述样例图像的车牌号，从车辆管理机构的数据库中获取与所述车牌号对应的车辆信息，所述车辆信息包括：车型信息；

将所述车辆信息和所述样例图像生成所述车型信息的候选车型模板库；

筛选所述候选车型模板库，获得所述车型信息的车型模板库，所述车型模板库中的每一样例图像均是唯一的。

可选地，根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息，包括：

在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号和所述待查询图像的区域信息，在与所述区域信息对应的车辆管理机构的数据库中确定所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在所述待查询图像的区域信息对应的车型模板库中查找是否有与所述第一子图像匹配的车辆图像；

如果有与所述第一子图像匹配的车辆图像，则将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息；

如果没有与所述第一子图像匹配的车辆图像，则将所有不同区域的车型模板库中查找是否有与所述第一子图像匹配的车辆图像；

将与所述第一子图像匹配的车辆图像所属的车型模板库的车型信息作为所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在所述待查询图像的区域信息对应的各种车型的车型模板库中查找是否有与所述第一子图像匹配的车型模板库；

如果有与所述第一子图像匹配的车型模板库，则将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息；

如果没有与所述第一子图像匹配的车型模板库，则在所有不同区域的车型模板库中查找是否有与所述第一子图像匹配的车型模板库；

将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

可选地，所述获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果，包括：

获取所述每一样例图像的特征描述子，以及获取所述目标数据库中每一图像的特征描述子；

获取所述每一样例图像的特征描述子与所述目标数据库中每一图像的特征描述子的视觉特征相似度，将该样例图像、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有样例图像的三元组信息；或者，所述检索结果包括：按照视觉特征相似度排序的所有样例图像的三元组信息。

可选地，所述根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆，包括：

将所述查询图像集合中所有样例图像的检索结果按照视觉特征相似度大小进行排序，选择视觉特征相似度大于预设的第一阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆；

或者，

将所述查询图像集合中所有样例图像的检索结果进行归一化，并将归一化后的视觉特征相似度大于预设的第二阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆。

可选地，获取所述每一样例图像的特征描述子，包括：

获取样例图像的至少一个局部特征描述子，所述至少一个局部特征描述子形成一集合；

根据局部特征描述子的选择方式，从所有的局部特征描述子中选取一个或多个局部特征描述子，所述选取的一个或多个局部特征描述子组成所述集合的第一子集；

将所述第一子集中的局部特征描述子进行降维，获得降维后的局部特征描述子；

根据预设的第一规则，将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子。

可选地，所述目标数据库的图像为特定区域内多个监控视频装置中在特定时间段内采集的图像；

所述时间信息包括：所述目标数据库中图像被采集的最早时间点，以及图像被采集的最晚时间点；

所述光照条件为：所述最早时间点至所述最晚时间点之间的光照信息。

第二方面，本发明提供一种相似车辆的检索装置，包括：

车型模板库建立单元，用于根据视频监控装置中采集的样例图像，建立不同区域的车型模板库；

车型信息获取单元，用于根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息；

查询图像集合生成单元，用于根据所述车型信息、和目标数据库的图像信息，建立所述待查询图像对应的查询图像集合；

检索结果获取单元，用于获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

相似车辆确定单元，用于根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，每一区域的车型模板库包括：多种车型的车型模板库，每种车型的车型模板库包括：该车型的多个样例图像的集合；所述样例图像为：不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像或不同场景的车辆样例图像。

可选地，所述检索结果获取单元，具体用于

获取所述每一样例图像的特征描述子，以及获取所述目标数据库中每一图像的特征描述子；

获取所述每一样例图像的特征描述子与所述目标数据库中每一图像的特征描述子的视觉特征相似度，将该样例图像、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有样例图像的三元组信息；或者，所述检索结果包括：按照视觉特征相似度排序的所有样例图像的三元组信息。

可选地，所述相似车辆确定单元，具体用于

将所述查询图像集合中所有样例图像的检索结果按照视觉特征相似度大小进行排序，选择视觉特征相似度大于第一阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆；

或者，

将所述查询图像集合中所有样例图像的检索结果进行归一化，并将归一化后的视觉特征相似度大于第二阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆。

由上述技术方案可知，本发明的相似车辆的检索方法及装置，通过建立不同区域的车型模板库，根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息，根据所述车型信息、和目标数据库的图像信息，建立所述待查询图像对应的查询图像集合，获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果，根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆，进而可较好的提高相似车辆检索性能的准确性和鲁棒性。

附图说明

图1为本发明一实施例提供的相似车辆的检索方法的流程示意图；

图2示出了本发明一实施例提供的获取图像的紧凑全局特征描述子的方法的流程示意图；

图3为本发明一实施例提供的相似车辆的检索装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。

图1示出了本发明一实施例提供的相似车辆的检索方法的流程示意图，如图1所示，本实施例的相似车辆的检索方法如下所述。

101、根据视频监控装置中采集的样例图像，建立不同区域的车型模板库。

本实施例中每一区域的车型模板库包括：多种车型所属的车型模板库，每种车型的车型模板库包括：该车型的多个样例图像的集合；所述样例图像可为：不同光照条件下的车辆样例图像，不同拍摄角度的车辆样例图像或不同场景的车辆样例图像等。本实施例的样例图像均来自于真实场景中的视频监控装置拍摄的车辆图像。

可以理解的是，不同区域间的环境、摄像机品质、参数等都不相同，本实施例建立的不同区域的车型模板库能够真实的反映监控视频场景下获取的车辆图像，方便车辆管理机构根据本实施例建立的车型模板库对车辆的管理。

本实施例中“不同区域”不限于“不同城市”，也可以是一个城市中的不同区、不同县，甚至不同镇，“不同区域”的定义应根据需求和实际情况，本实施例不对其进行限定。

应该说明的是，所述车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

应该说明的是，前述步骤101中建立的车型模板库可以在任意检索中使用，后续对待查询图像可无需建立车型模板库，可直接使用前期建立的车型模板库即可，即，只需要建立一次车型模板库，每次检索时可以直接使用，无需每检索一次建立一次模板库。

102、根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息。

举例来说，本实施例的待查询图像可为包含全部车辆的图像，也可以为待查询车辆一部分区域对应的车辆图像等，本实施例不对其进行限定。例如，待查询图像的区域信息为北京地区、天津地区等，当然，本实施例中的区域限于城市，也可根据需要扩大或缩小所述区域信息的范围。

本实施例中的车型信息可包括车辆的型号。在其他实施例中，车型信息还可包括车辆的颜色，或者车辆的其他信息如尺寸等等，本实施例不对车型信息进行限定。

103、根据所述车型信息、和目标数据库的图像信息，建立所述待查询图像对应的查询图像集合。

应该说明的是，所述目标数据库的图像信息为特定区域内多个监控视频装置在特定时间段内采集的图像。

举例来说，目标数据库的图像信息可包括图像的时间信息、光照条件等。例如，目标数据库为海淀区玉泉路2014年7月26日早上8:00至11:00的视频监控装置采集的图像的数据库，包括其光照信息(如晴天)、时间信息(早上8:00至11:00)。

在实际应用中，可选取上述时间信息和光照信息对应的车型模板库中的部分或全部样例图像组成查询图像集合。

可理解的是，在该步骤中，可利用车型信息、目标检索区域内的目标数据库的图像信息，以及目标检索区域内建立的车型模板库建立目标检索区域内的查询图像集合。

104、获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果。

举例来说，可采用特征描述子方式获取所述查询图像集合中每一个样例图像与所述目标数据库中所述图像的视觉特征相似度，从而获取所有样例图像的检索结果。

在具体应用中，所述检索结果可为包括样例图像、所述目标数据库中的图像、所述视觉特征相似度的三元组信息，该处的视觉特征相似度为该三元组信息中样例图像和目标数据库中的图像的视觉特征相似度。

优选地，所述检索结果可为按照视觉特征相似度排序的所有样例图像的三元组信息。

在具体应用中，在样例图像可能为多个区域的样例图像时，检索结果可为将不同区域的样例图像的检索结果进行融合之后，得到的所有区域的样例图像的三元组信息。

也就是说，检索结果中输出的三元组信息可以按照预设的规则排列并输出，该预设规则可为根据用户需求设置的规则。

105、根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆。

在具体应用中，可将获取的不同样例图像的检索结果混合排序，并输出。

举例来说，可以将所述查询图像集合中所有样例图像的检索结果按照视觉特征相似度大小进行排序，选择视觉特征相似度大于预设的第一阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆；

或者，上述步骤105还可具体为：将所述查询图像集合中所有样例图像的检索结果进行归一化，并将归一化后的视觉特征相似度大于预设的第二阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆。

当然，也可将视觉特征相似度的最大值对应的所述目标数据库中的图像作为待查询图像中的车辆的相似车辆，其实施方式可根据需要选择不同方法，本实施例不对其进行限定。

本实施例中对检索结果归一化，可为将每一区域内检索结果中的每一个视觉特征相似度可与该区域内所有视觉特征相似度中的最大值的比值。

应说明的是，本实施例中对检索结果归一化，原因主要是可能出现查询样例图像的检索结果的视觉特征相似度整体偏低，或者部分视觉特征相似度整体偏高，为此，在混合排序输出时，视觉特征相似度整体偏低的结果都会排序到整体偏高的结果后面，可能导致结果输出不太准确，鉴于此，可将检索结果归一化，并将归一化后的检索结果输出。

应说明的是，本实施例提供的检索结果输出的方式仅为举例说明，不对其进行限定，具体应用中，还可以使用其他的多样例图像的检索结果融合/混合排序输出的方式。

由此，可获得待查询图像中车辆的相似车辆，并且提高了检索性能的鲁棒性。

在一种可能的实现场景中，前述的步骤101，可具体包括下述的图中未示出的子步骤：

S1011、针对每一区域，获取该区域内的视频监控装置采集的多个车辆图像，将所述多个车辆图像作为样例图像，识别所述样例图像中的车牌号，并根据所述样例图像的车牌号，从车辆管理机构的数据库中获取与所述车牌号对应的车辆信息，所述车辆信息包括：车型信息。

举例来说，识别车牌号可为当前业内公知的技术，例如采用车牌识别技术从待查询图像中识别车牌号。本实施例中可采用公知技术识别待查询图像中的车牌号，根据所述车牌号在车管所数据库(即车辆管理机构的数据库)中获取所述车牌号对应的车型信息。

对于车辆样例图像包括车牌号主要是用于方便获取车辆信息。当前，只有通过车牌号的方式可获取车辆信息，保证车辆信息的准确性。

举例来说，车辆管理机构的数据库可包括如下信息：车辆是宝马X6汽车、奥迪Q7汽车、大众v6汽车等车型的信息，车辆是什么颜色的，是黑色，白色还是银色的，车辆所有者车辆的购买日期等等。

S1012、将所述车辆信息和所述样例图像生成所述车型信息的候选车型模板库。

也就是说，对一幅监控视频中的车辆图像S，对车辆图像S中的车牌号进行识别，获取车辆图像S的车牌号P；通过车牌号P获取车辆图像S的车辆信息，对车牌号P检索到与之对应的车辆的车型T，将车辆图像S与车辆的车型T加入到车型T的候选车型模板库TDS。

需要说明的是，本实施例可重复执行前述的步骤S1011至步骤S1012，获取车型T的多个角度、不同光照、不同场景下的多个车辆样例图像，进而将这些车辆样例图像均加入到车型T的候选车型模板库TDS。另外，在确定车型T的候选车型模板库之后，还可采用图像采集装置对该车型T采集多个图像，该些图像可以包括车牌号，也可以不包括车牌号等，采集的多个图像均属于车型T的候选车型模板库中的图像。

应说明的是，由于区域的分配，每个区域的车型T的候选车型模板库可不同，例如，北京区域的车型T的候选车型模板库、天津区域的车型T的候选车型模板库、南京区域的车型T的候选车型模板库可不相同。本实施例中可针对不同区域建立各自的候选车型模板库，方便后续车辆管理机构的管理。

S1013、筛选所述候选车型模板库，获得所述车型信息的车型模板库，所述车型模板库中的每一样例图像均是唯一的。

在实际应用中，筛选可为人工筛选也可为自动筛选，优选实现自动筛选，因为每一车型信息的车型模板库中的数据(包括图像)有上千张，人工筛选导致费时费力，可通过视觉特征比对的方式自动筛选重复的图像。

本实施例中，候选车型模板库中图像的数量可大于等于最后获取的车型模板库中图像的数量。

筛选时应保证车型模板库中的数据的多样性，即包含不同角度、不同尺度、不同颜色、不同遮挡程度、不同遮挡角度、不同光照、不同天气情况等尽可能涵盖所有代表性的不同情况下的图像。

也就是说，该步骤中可根据预设条件进行所述候选车型模板库的筛选。本实施例中筛选时应保证车型模板库的多样性，即包含不同角度、不同尺度、不同颜色、不同遮挡程度、不同遮挡角度、不同光照、不同天气情况等尽可能涵盖所有代表性的不同情况下的图像样例。每种车型的样例数不做具体限定，至少1个，涵盖尽可能多的情况下的图像的前提下，每种车型样例数一般约30个，不同车型的样例总数可以不同。

本实施例中，通过对候选车型模板库的筛选，可以建立良好的车型模板库，涵盖各种条件的图像，方便车辆管理机构的管理。

另外，还可从道路的视频监控装置中获取多个车辆样例图像，若所述车辆图像包括：背景区域和车辆显示区域。本实施例中的背景区域为使用车辆图像时用户不关注的区域。由此，最后获取的车型模板库中的车辆样例图像可不包括车辆图像的背景区域。

在另一可能的实现场景中，前述的步骤102可具体包括下述的图中未示出的子步骤：

S1021、在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号和所述待查询图像的区域信息，在与所述区域信息对应的车辆管理机构的数据库中确定所述待查询图像的车型信息。

本实施例的车型信息可包括车辆的型号，以及车辆的颜色等信息。

在另一可能的实现场景中，前述的步骤102可具体包括下述的图中未示出的子步骤：

S102a、提取待查询图像中包括车辆的第一子图像。

可理解的是，在该步骤中，待查询图像可包括车牌号，也可不包括车牌号。若待查询图像可包括车牌号，且车牌号能够较好识别时，优选采用前述的步骤S1021获取待查询图像的车型信息。

S102b、在所述待查询图像的区域信息对应的车型模板库中查找是否有与所述第一子图像匹配的车辆图像，如果有，则执行下述步骤S102c，否则执行下述步骤S102d。

S102c、如果有与所述第一子图像匹配的车辆图像，则将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息。

S102d、如果没有与所述第一子图像匹配的车辆图像，则在所有不同区域的车型模板库中查找是否有与所述第一子图像匹配的车辆图像；进而可将与所述第一子图像匹配度最高的车辆图像所属的车型模板库的车型信息作为所述待查询图像的车型信息。

举例来说，可采用特征描述子方式获取所述第一子图像与所述车型模板库中每一图像的第一相似度即第一视觉特征相似度；

比较所述第一相似度与预设的第三阈值的大小；

在所述第一相似度大于所述第三阈值时，确定所述第一子图像与所述大于第三阈值的第一相似度对应的图像匹配；

将匹配度最高的车辆图像所属的车型模板库的车型信息作为所述待查询图像的车型信息。

在第三种可能的实现方式中，前述的步骤102可具体包括下述的图中未示出的子步骤：

S102a’、提取待查询图像中包括车辆的第一子图像。

S102b’、在所述待查询图像的区域信息对应的各种车型的车型模板库中查找是否有与所述第一子图像匹配的车型模板库，如果有，则执行步骤S102c’，否则，执行步骤S102d’。

在本实施例中，可采用特征描述子方式获取所述第一子图像与每一车型数据库中所有样例图像的第一相似度，得到第一相似度集合；对与每一车型数据库对应的所有样例图像的第一相似度集合进行数学统计分析，得到所述第一子图像与每一车型数据库的视觉特征相似度。

举例来说，将与每一车型数据库对应的所有样例图像的第一相似度的平均值作为所述第一子图像与每一车型数据库的视觉特征相似度。

或者，采用特征描述子方式获取所述第一子图像与每一车型数据库中所有样例图像的第一相似度(即第一视觉特征相似度)；进而可将与每一车型数据库对应的所有样例图像的第一相似度中的最大值作为所述第一子图像与每一车型数据库的视觉特征相似度；

或者，采用特征描述子方式获取所述第一子图像与每一车型数据库中所有样例图像的第一相似度，将与每一车型数据库对应的所有样例图像的第一相似度中的最小值作为所述第一子图像与每一车型数据库的视觉特征相似度；

或者，采用特征描述子方式获取所述第一子图像与每一车型数据库中所有样例图像的第一相似度，采用异类样本分析方式去除每一车型数据库对应的所有样例图像的第一相似度中的孤立点，获取与每一车型数据库对应的所有样例图像中除去孤立点之外的第一相似度的平均值，将该平均值作为第一子图像与每一车型数据库的视觉特征相似度，本实施例不对其进行限定，可根据实际需要设置。

将所述视觉特征相似度最大值对应的车型模板库作为与第一子图像匹配的车型模板库。

本实施例仅为举例说明，在具体应用中，还可通过其它方式在数据库中查找与第一子图像匹配的车型模板库。

获取视觉特征相似度之前需要分别提取第一子图像的视觉特征，以及所有车型模板库中样例图像的视觉特征；在实际应用中，可采用全局特征描述子的方式提取第一子图像和预先建立的数据库中每一图像的视觉特征，或者采用局部特征描述子的方式提取第一子图像和预先建立的数据库中每一图像的视觉特征。

S102c’、如果有与所述第一子图像匹配的车型模板库，则将与所述第一子图像匹配的车辆图像的车型模板库的车型信息作为所述待查询图像的车型信息。

S102d’、如果没有与所述第一子图像匹配的车型模板库，则在所有不同区域的车型模板库中查找是否有与所述第一子图像匹配的车型模板库；进而可将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

若某一个或多个视觉特征相似度大于另一预设阈值，可确定第一子图像与大于另一阈值的视觉特征相似度对应的车型模板库匹配。如果所有的视觉特征相似度都不大于另一预设阈值，可认为没有与第一子图像匹配的车型模板库。

相应地，将与所述第一子图像匹配度最高(即视觉特征相似度最大)的车型模板库的车型信息作为所述待查询图像的车型信息。

在另一种可能的实现场景中，前述的步骤104，可具体包括下述的图中未示出的子步骤：

S1041、获取所述每一样例图像的特征描述子，以及获取所述目标数据库中每一图像的特征描述子。

举例来说，获取样例图像的特征描述子的一种可能的实现方式如下图2所示。

通过下面图2所示的方法可以获得样例图像的全局特征描述子，相应地，也可通过图2所述的方法获取目标数据库中每一图像的全局特征描述子，本实施例仅为举例说明，不对获取图像的特征描述子进行限定。

S1042、获取所述每一样例图像的特征描述子与所述目标数据库中每一图像的特征描述子的视觉特征相似度，将该样例图像、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息。

所述检索结果包括：所有样例图像的三元组信息；在实际应用中，所述检索结果可包括：将不同样例的检索结果中的三元组信息进行融合排序得到的三元组信息。

该检索结果输出的三元组信息的排序方式可根据用户需求进行设置，可以是按照视觉特征相似度的大小进行排序的，还可以是根据每一样例图像的检索结果组成的序列进行融合后排序的。

举例来说，在提取每一样例图像的视觉特征，以及数据库中每一图像的视觉特征之后，可采用欧式距离或马式距离的方式获取每一样例图像的视觉特征和每一车型模板库中所有图像的视觉特征的视觉特征相似度。具体的，例如采用图2所示方法提取紧凑全局描述子，后续计算视觉特征相似度的方法还可以采用汉明距离计算两个图像的视觉特征相似度。

本实施例的相似车辆的检索方法，通过建立不同区域的车型模板库，根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息，根据所述车型信息、和目标数据库的图像信息，建立所述待查询图像对应的查询图像集合，获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果，根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆，由此，能够提高相似车辆检索性能的鲁棒性。

图2示出了本发明一实施例提供的获取图像的紧凑全局特征描述子的方法的流程示意图，如图2所示，本实施例中的获取图像的紧凑全局特征描述子的方法如下所述。

该处的图像可以是前述的样例图像，也可以是目标数据库中的任一图像，本实施仅通过举例的方式说明一种获取紧凑全局特征描述子的方法。

201、获取图像的至少一个局部特征描述子，所述至少一个局部特征描述子形成一集合。

举例来说，获取图像的至少一个局部特征描述子的方式为现有的方式，可采用尺度不变特征转换(Scale-invariantfeaturetransform，简称SIFT)，快速鲁棒特征(Speeded-upRobustFeatures，简称SURF)，特征梯度直方图(HistogramsofOrientedGradients，简称HOG)等方式提取图像的局部特征描述子。

应了解的是，SIFT或SURF的提取方式可为现有的提取方式，本实施例不再详述。通常，SIFT的维度为128维，SURF的维度为64维。

202、根据局部特征描述子的选择方式，从所有的局部特征描述子中选取一个或多个局部特征描述子，所述选取的一个或多个局部特征描述子组成所述集合的第一子集。

举例来说，若图像的局部特征描述子的总数为1000个，则可以选取300个局部特征描述子组成第一子集。

另外，若图像的局部特征描述子的总数为150个，则可以将150个局部特征描述子组成第一子集。

例如，选取第一子集的方式可通过训练的方式实现，例如，分别对若干匹配图像对和非匹配图像对提取所述SIFT。其中，匹配图像对是指包含同一个物体或同一个场景的两幅图像，非匹配图像对是指包含不同物体或不同场景的两幅图像。这些匹配图像对和非匹配图像对均为训练图像，与本发明中提及的图像无关联。

通过统计，获得所述SIFT的不同特性在正确匹配的SIFT和误匹配SIFT中的概率分布；其中，不同特性可以包括，如：尺度、方向、高斯差分的峰值、到图像中心的距离等。

基于上述概率分布，计算当步骤202中的待执行操作的图像的SIFT的各个特性分别处于某一取值范围时，所述SIFT正确匹配的概率，根据所述概率从步骤202中的待执行操作的图像的所有SIFT中选取一个或多个SIFT。其中，假设所述SIFT的不同特性统计独立，所述SIFT正确匹配的概率为基于不同特性计算的SIFT正确匹配的概率的乘积，并以此作为选取SIFT子集中的元素的依据。

203、将所述第一子集中的局部特征描述子进行降维，获得降维后的局部特征描述子。

举例来说，降维过程如下所述：采用降维矩阵对所述第一子集中的局部特征描述子进行降维，获得降维后的局部特征描述子；

其中，所述降维矩阵为采用降维方式训练预设的图像数据集之后得到的矩阵。图像数据集可为预先获取的与本发明的图像无关联的图像。此外，降维方式可以是主成分分析、线性判别分析等方式。

具体地，可利用降维矩阵分别对选取的N个SIFT进行降维，将SIFT的维度从128维降至32维。

对选取的第一子集中的局部特征描述子降维的目的在于，可以减小生成的图像的全局特征描述子的维度，进而可以减小最终生成的图像的紧凑全局特征描述子的维度；进一步地，通过降维操作，可以消除选取的第一子集中的局部特征描述子中的冗余信息，进而提升图像搜索和匹配的性能。

204、根据预设的第一规则，将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子。

举例来说，可根据Fisher向量(FisherVector)生成规则，对所述降维后的局部特征描述子进行转换，得到累积梯度向量集合，并由所述累积梯度向量集合中的累积梯度向量构造第一Fisher向量，以及

根据Fisher向量稀疏性判别规则，对所述累积梯度向量集合进行处理，并生成用于表达所述图像视觉特征的全局特征描述子。

上述的Fisher向量稀疏性判别规则可为基于统计量的稀疏性判别规则，或者Fisher向量稀疏性判别规则可为基于概率的稀疏性判别规则。需要说明的是，上述Fisher向量稀疏性判别规则中的稀疏性是指：第一Fisher向量的大部分维度对于表达图像的面向检索的区分力的作用不大时，称这样的第一Fisher向量是稀疏的。

另外，上述的第一Fisher向量可为本领域所述的自适应Fisher向量，自适应是指根据图像视觉特征的统计特性生成Fisher向量。

205、将所述全局特征描述子进行数据压缩，得到所述图像的紧凑全局特征描述子。

举例来说，根据数据压缩规则，将所述全局特征描述子中各维度的数值均用1个比特位表示。数据压缩规则可包括如下内容：若全局特征描述子中某一维度的数值为正数，则二进制数值为1；若全局特征描述子中某一维度的数值为负数和零，则二进制数值为0。

本实施例中可采用最简单的二值化(Binarizing)方法，对所述可伸缩的全局特征描述子进行数据压缩；例如，若可伸缩的全局特征描述子某一维度的数值为非负值，则将对应位置为1，否则将对应位置为0。在实际应用中，也可以采用其他将实数向量二值化的方法，如采用哈希映射函数等。

上述方法通过根据局部特征描述子的统计特性选择具有判决力的局部特征描述子，并采用主成分分析方法对选取的局部特征描述子进行降维，利用降维后的局部特征描述子生成图像的自适应Fisher向量，根据Fisher向量的稀疏性对自适应Fisher向量进行进一步压缩，进而得到可伸缩的全局特征描述子，最终通过对全局特征描述子二值化得到紧凑全局特征描述子，能够进一步提升图像搜索和匹配的性能，减少内存的消耗，具有更好的灵活性。

图3为本发明一实施例提供的相似车辆的检索装置的结构示意图，如图3所示，本实施例的相似车辆的检索装置包括：车型模板库建立单元31、车型信息获取单元32、查询图像集合生成单元33、检索结果获取单元34、相似车辆确定单元；

其中，车型模板库建立单元31，用于根据视频监控装置中采集的样例图像，建立不同区域的车型模板库；

车型信息获取单元32，用于根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息；

查询图像集合生成单元33，用于根据所述车型信息、和目标数据库的图像信息，建立所述待查询图像对应的查询图像集合；

检索结果获取单元34，用于获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

相似车辆确定单元35，用于根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，每一区域的车型模板库包括：多种车型的车型模板库，每种车型的车型模板库包括：该车型的多个样例图像的集合；所述样例图像为：不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像或不同场景的车辆样例图像。

另外，在具体应用中，前述的装置还可包括图中未示出的结果输出单元，该结果输出单元可用于将获取的相似车辆按照相似度从高到低输出。

在具体应用中，所述车型模板库建立单元31，具体用于

针对每一区域，获取该区域内的视频监控装置采集的多个车辆图像，将所述多个车辆图像作为样例图像，识别所述样例图像中的车牌号，并根据所述样例图像的车牌号，从车辆管理机构的数据库中获取与所述车牌号对应的车辆信息，所述车辆信息包括：车型信息；

将所述车辆信息和所述样例图像生成所述车型信息的候选车型模板库；

筛选所述候选车型模板库，获得所述车型信息的车型模板库，所述车型模板库中的每一样例图像均是唯一的。

在一种可能的实现方式中，所述车型信息获取单元32可具体用于，在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号和所述待查询图像的区域信息，在与所述区域信息对应的车辆管理机构的数据库中确定所述待查询图像的车型信息；

在另一种可能的实现方式中，前述的车型信息获取单元32还可具体用于，提取待查询图像中包括车辆的第一子图像；

在所述待查询图像的区域信息对应的车型模板库中查找是否有与所述第一子图像匹配的车辆图像；

如果有与所述第一子图像匹配的车辆图像，则将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息；

如果没有与所述第一子图像匹配的车辆图像，则将所有不同区域的车型模板库中查找是否有与所述第一子图像匹配的车辆图像；

将与所述第一子图像匹配的车辆图像所属的车型模板库的车型信息作为所述待查询图像的车型信息；

在第三种可能的实现方式中，前述的车型信息获取单元32还可具体用于，

提取待查询图像中包括车辆的第一子图像；

在所述待查询图像的区域信息对应的各种车型的车型模板库中查找是否有与所述第一子图像匹配的车型模板库；

如果有与所述第一子图像匹配的车型模板库，则将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息；

如果没有与所述第一子图像匹配的车型模板库，则在所有不同区域的车型模板库中查找是否有与所述第一子图像匹配的车型模板库；

将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

此外，前述的检索结果获取单元34，具体用于，获取所述每一样例图像的特征描述子，以及获取所述目标数据库中每一图像的特征描述子；

获取所述每一样例图像的特征描述子与所述目标数据库中每一图像的特征描述子的视觉特征相似度，将该样例图像、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

举例来说，所述检索结果包括：所有样例图像的三元组信息；或者，所述检索结果包括：根据视觉特征相似度的大小排序的三元组信息。

在另一可实现的方式中，所述检索结果获取单元34，还具体用于

获取样例图像的至少一个局部特征描述子，所述至少一个局部特征描述子形成一集合；

根据局部特征描述子的选择方式，从所有的局部特征描述子中选取一个或多个局部特征描述子，所述选取的一个或多个局部特征描述子组成所述集合的第一子集；

将所述第一子集中的局部特征描述子进行降维，获得降维后的局部特征描述子；

根据预设的第一规则，将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子。

可选地，所述相似车辆确定单元35，具体用于

将所述查询图像集合中所有样例图像的检索结果按照视觉特征相似度大小进行排序，选择视觉特征相似度大于第一阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆；

或者，在其他实施例中，前述的相似车辆确定单元35还可具体用于，将所述查询图像集合中所有样例图像的检索结果进行归一化，并将归一化后的视觉特征相似度大于第二阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆。

应该说明的是，本实施例中所述目标数据库的图像为特定区域内多个监控视频装置中在特定时间段内的采集的图像；

所述时间信息包括：所述目标数据库中图像被采集的最早时间点，以及图像被采集的最晚时间点；

所述光照条件为：所述最早时间点至所述最晚时间点之间的光照信息。

本实施例的相似车辆的检索装置可用于相似车辆的检索，并可提高相似车辆检索性能的鲁棒性。

本实施例的相似车辆的检索装置，可以用于执行前述图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种相似车辆的检索方法，其特征在于，包括：

根据视频监控装置中采集的样例图像，建立不同区域的车型模板库；

根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息；

根据所述车型信息、和目标数据库的图像信息，建立所述待查询图像对应的查询图像集合；

获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，每一区域的车型模板库包括：多种车型的车型模板库，每种车型的车型模板库包括：该车型的多个样例图像的集合；所述样例图像为：不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像或不同场景的车辆样例图像。

2.根据权利要求1所述的方法，其特征在于，根据视频监控装置中采集的样例图像，建立不同区域的车型模板库，包括：

针对每一区域，获取该区域内的视频监控装置采集的多个车辆图像，将所述多个车辆图像作为样例图像，识别所述样例图像中的车牌号，并根据所述样例图像的车牌号，从车辆管理机构的数据库中获取与所述车牌号对应的车辆信息，所述车辆信息包括：车型信息；

将所述车辆信息和所述样例图像生成所述车型信息的候选车型模板库；

筛选所述候选车型模板库，获得所述车型信息的车型模板库，所述车型模板库中的每一样例图像均是唯一的。

3.根据权利要求1所述的方法，其特征在于，根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息，包括：

在所述待查询图像中包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号和所述待查询图像的区域信息，在与所述区域信息对应的车辆管理机构的数据库中确定所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在所述待查询图像的区域信息对应的车型模板库中查找是否有与所述第一子图像匹配的车辆图像；

如果有与所述第一子图像匹配的车辆图像，则将与所述第一子图像匹配的车辆图像的车型信息作为所述待查询图像的车型信息；

如果没有与所述第一子图像匹配的车辆图像，则将所有不同区域的车型模板库中查找是否有与所述第一子图像匹配的车辆图像；

将与所述第一子图像匹配的车辆图像所属的车型模板库的车型信息作为所述待查询图像的车型信息；

或者，

提取待查询图像中包括车辆的第一子图像；

在所述待查询图像的区域信息对应的各种车型的车型模板库中查找是否有与所述第一子图像匹配的车型模板库；

如果有与所述第一子图像匹配的车型模板库，则将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息；

如果没有与所述第一子图像匹配的车型模板库，则在所有不同区域的车型模板库中查找是否有与所述第一子图像匹配的车型模板库；

将与所述第一子图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

4.根据权利要求1所述的方法，其特征在于，所述获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果，包括：

获取所述每一样例图像的特征描述子，以及获取所述目标数据库中每一图像的特征描述子；

获取所述每一样例图像的特征描述子与所述目标数据库中每一图像的特征描述子的视觉特征相似度，将该样例图像、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有样例图像的三元组信息；或者，所述检索结果包括：按照视觉特征相似度排序的所有区域的三元组信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆，包括：

将所述查询图像集合中所有样例图像的检索结果按照视觉特征相似度大小进行排序，选择视觉特征相似度大于预设的第一阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆；

或者，

将所述查询图像集合中所有样例图像的检索结果进行归一化，并将归一化后的视觉特征相似度大于预设的第二阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆。

6.根据权利要求4所述的方法，其特征在于，获取所述每一样例图像的特征描述子，包括：

获取样例图像的至少一个局部特征描述子，所述至少一个局部特征描述子形成一集合；

根据局部特征描述子的选择方式，从所有的局部特征描述子中选取一个或多个局部特征描述子，所述选取的一个或多个局部特征描述子组成所述集合的第一子集；

将所述第一子集中的局部特征描述子进行降维，获得降维后的局部特征描述子；

根据预设的第一规则，将所述降维后的局部特征描述子转换为用于表达所述图像视觉特征的全局特征描述子。

7.根据权利要求1所述的方法，其特征在于，所述目标数据库的图像为特定区域内多个监控视频装置中在特定时间段内采集的图像；

所述时间信息包括：所述目标数据库中图像被采集的最早时间点，以及图像被采集的最晚时间点；

所述光照条件为：所述最早时间点至所述最晚时间点之间的光照信息。

8.一种相似车辆的检索装置，其特征在于，包括：

车型模板库建立单元，用于根据视频监控装置中采集的样例图像，建立不同区域的车型模板库；

车型信息获取单元，用于根据包括车辆的待查询图像以及所述待查询图像的区域信息，确定所述待查询图像的车型信息；

查询图像集合生成单元，用于根据所述车型信息、和目标数据库的图像信息，建立所述待查询图像对应的查询图像集合；

检索结果获取单元，用于获取所述查询图像集合中的每一个样例图像与所述目标数据库中所有图像的检索结果；

相似车辆确定单元，用于根据所述查询图像集合中所有样例图像的检索结果，确定所述目标数据库中与待查询图像中的车辆的相似车辆；

其中，每一区域的车型模板库包括：多种车型的车型模板库，每种车型的车型模板库包括：该车型的多个样例图像的集合；所述样例图像为：不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像或不同场景的车辆样例图像。

9.根据权利要求8所述的装置，其特征在于，所述检索结果获取单元，具体用于

获取所述每一样例图像的特征描述子，以及获取所述目标数据库中每一图像的特征描述子；

获取所述每一样例图像的特征描述子与所述目标数据库中每一图像的特征描述子的视觉特征相似度，将该样例图像、所述目标数据库中的图像、所述视觉特征相似度组成三元组信息；

所述检索结果包括：所有样例图像的三元组信息；或者，所述检索结果包括：按照视觉特征相似度排序的所有区域的三元组信息。

10.根据权利要求8所述的装置，其特征在于，所述相似车辆确定单元，具体用于

将所述查询图像集合中所有样例图像的检索结果按照视觉特征相似度大小进行排序，选择视觉特征相似度大于第一阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆；

或者，

将所述查询图像集合中所有样例图像的检索结果进行归一化，并将归一化后的视觉特征相似度大于第二阈值对应的所述目标数据库中的图像作为与待查询图像中的车辆的相似车辆。