CN105320703A - 相似车辆检索中的查询扩展方法及装置 - Google Patents

Abstract

本发明提供一种相似车辆检索中的查询扩展方法及装置，其中所述方法包括：根据包括车辆的待查询图像，确定所述待查询图像的车型信息；从所述待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像；将所述样例图像组成查询扩展图像集合，以使所述查询扩展图像集合中的样例图像代替所述待查询图像在目标数据库中进行查询；其中，所述车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像，由上述方法可提高车辆图像检索的召回率和准确率。

Description

相似车辆检索中的查询扩展方法及装置

技术领域

本发明涉及智能交通技术，尤其涉及一种相似车辆检索中的查询扩展方法及装置。

背景技术

随着我国经济的快速发展、城市规模的不断扩大、以及车辆数量的大幅增长，我国的交通系统正逐渐走向智能化。交通监控视频是公安业务的重要数据基础，在社会治安维稳、打击违法犯罪等方面有着至关重要的作用。其中，从大量的监控视频中检索出目标车辆是一项基本需求。现有技术中，一般直接对查询车辆进行特征提取，然后在数据库中进行检索，这种方法对查询图像的质量要求很高，一旦角度、光照、遮挡等任何一个方面达不到要求，都会极大地影响检索结果。

查询扩展是检索技术中用来提高召回率和准确率的常用方法。查询扩展技术是将原来查询句增加新的关键字来重新查询的方法，例如搜索引擎会将使用者输入的查询句先做一次检索，根据检索出来的文件，选取出适合的关键字，加到查询句重新检索，借此来找出更多的相关文件。可见，查询扩展可有效地提高资讯检索的召回率，但是现有技术中还没有针对图像中的车辆这一特殊对象提出有针对性的查询扩展方法。

发明内容

针对现有技术中的缺陷，本发明提供一种相似车辆检索中的查询扩展方法及装置，对车辆图像进行查询扩展，提高车辆图像检索的召回率和准确率。

第一方面，本发明提供一种相似车辆检索中的查询扩展方法，包括：

根据包括车辆的待查询图像，确定所述待查询图像的车型信息；

从所述待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像；

将选取的样例图像组成查询扩展图像集合，以使所述查询扩展图像集合中的样例图像代替所述待查询图像在目标数据库中进行查询；

其中，所述车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

可选地，所述根据待查询图像，确定所述待查询图像的车型信息，包括：

在所述待查询图像包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号，在车辆管理机构数据库中进行查询，确定所述待查询图像的车型信息；

或者，

提取待查询图像中待查询车辆对应的第一图像；

与所述待查询图像所属区域内的所有车型的车型模板库做视觉特征相似度比对，查找与所述第一图像匹配的车型模板库；

将与所述第一图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

可选地，所述车型信息包括：待查询图像中车辆的型号。

可选地，与所述待查询图像所属区域内的所有车型的车型模板库做视觉特征相似度比对，查找与所述第一图像匹配的车型模板库，包括：

采用特征描述子方式获取所述第一图像与所述车型模板库中每一样例图像的第一相似度，得到第一相似度集合；

对所述第一相似度集合进行数学统计分析，得到所述第一图像与所述车型模板库的视觉特征相似度；

确定所述视觉特征相似度是否有大于第一预设阈值的视觉特征相似度，在所述视觉特征相似度中有大于第一预设阈值的视觉特征相似度时，将大于第一预设阈值的视觉特征相似度中的最大值对应的车型模板库作为与所述待查询图像的匹配的车型模板库。

第二方面，本发明提供一种相似车辆检索中的查询扩展装置，包括：

车型信息获取单元，用于根据包括车辆的待查询图像，确定所述待查询图像的车型信息；

样例图像选取单元，用于从所述待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像；

查询扩展图像集合生成单元，用于将选取的样例图像组成查询扩展图像集合，以使所述查询扩展图像集合中的样例图像代替所述待查询图像在目标数据库中进行查询；

其中，所述车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

可选地，所述车型信息获取单元，具体用于

在所述待查询图像包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号，在车辆管理机构数据库中进行查询确定所述待查询图像的车型信息。

或者，

提取待查询图像中待查询车辆对应的第一图像；

与所述待查询图像所属区域内的所有车型的车型模板库做视觉特征相似度比对，查找与所述第一图像匹配的车型模板库；

将与所述第一图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

可选地，所述车型信息包括：待查询图像中车辆的型号。

可选地，所述车型信息获取单元，具体用于

采用特征描述子方式获取所述第一图像与所述车型模板库中每一样例图像的第一相似度，得到第一相似度集合；

对所述第一相似度集合进行数学统计分析，得到所述第一图像与所述车型模板库的视觉特征相似度；确定所述视觉特征相似度是否有大于第一预设阈值的视觉特征相似度，在所述视觉特征相似度中有大于第一预设阈值的视觉特征相似度时，将大于第一预设阈值的视觉特征相似度中的最大值对应的车型模板库作为与所述待查询图像的匹配的车型模板库。

由上述技术方案可知，本发明的相似车辆检索中的查询扩展方法及装置，通过确定待查询图像的车型信息，从待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像，将选取的样例图像组成待查询图像集合，实现采用查询扩展图像集合中的样例图像代替待查询图像在目标数据库中进行查询，由此提高了待查询图像中的车辆检索的召回率和准确率。

附图说明

图1为本发明一实施例提供的相似车辆检索中的查询扩展方法的流程示意图；

图2为本发明一实施例提供的车型模板库的建立方法的流程示意图；

图3为本发明一实施例提供的相似车辆检索中的查询扩展装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。

图1示出了本发明一实施例提供的相似车辆检索中的查询扩展方法的流程示意图，如图1所示，本实施例的相似车辆检索中的查询扩展方法如下所述。

101、根据包括车辆的待查询图像，确定所述待查询图像的车型信息。

举例来说，本实施例的待查询图像均来自于真实场景中的视频拍摄图像或其它图像采集装置采集到的车辆图像，例如可为视频监控装置中获取的车辆图像，也可以为待查询车辆一部分区域对应的车辆图像等，本实施例不对其进行限定。

本实施例的车型信息可包括：待查询图像中车辆的型号。或者在其他实施例中，该车型信息还可包括待查询图像中车辆的颜色等等。

102、从所述待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像。

本实施例中的车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

应说明的是，本实施例中的车型模板库为预先建立的，且属于特定区域的车型模板库。该车型模板库可包括：雾天、雨天、晴天等不同光照时间段内的不同角度、不同场景下的车辆样例图像，该样例图像均为真实场景中的各种视频监控装置获取的车辆图像。也就是说，不同区域的车型模板库不相同，例如，天津区域的车型模板库和北京区域的车型模板库是不同的。

103、将选取的样例图像组成查询扩展图像集合，以使所述查询扩展图像集合中的样例图像代替所述待查询图像在目标数据库中进行查询。

在实际应用中，可选取上述车型模板库中的部分或全部样例图像组成查询扩展图像集合。例如，公安部门获取到的嫌疑车辆图像，即待查询图像为一固定方向拍摄的图像(如从左前方拍摄到的图像)，这时，可在待查询图像的车型信息对应的车型模板库中选取由不由角度拍摄的样例图像组成查询扩展图像集合，与原始的待查询图像集合相比，在嫌疑车辆图像检索中，可避免漏掉从其它方向拍摄到的嫌疑车辆图像的检索，从而提高车辆图像检索的召回率和准确率。

举例来说，若目标数据库为海淀区玉泉路2014年7月26日早上8:00至11:00的视频监控装置采集的图像的数据库，则相应的对应前述图1所示的方法中的步骤102的预设条件可包括：2014年7月26日早上8:00至11:00的光照信息(如晴天)、时间信息(早上8:00至11:00)，区域海淀区玉泉路。

由此，在步骤102中根据预设条件选取的多个样例图像为符合早上8:00至11:00的光照信息下的在海淀区玉泉路的车型模板库中的样例图像。

进而，采用选取的样例图像组成的查询扩展图像集合在目标数据库中进行查找(例如，获取查询扩展图像集合中的每一样例图像与目标数据库中所有图像的视觉特征相似度)，可较好的提高待查询图像中的车辆检索的召回率和准确率。

当然，在具体应用中，可采用特征描述子的方式来前述的视觉特征相似度。

在一种可能的实现场景中，前述的步骤101，可具体包括下述的图中未示出的子步骤：

S1011、在所述待查询图像包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号，在车辆管理机构数据库中进行查询，如车管所数据库，确定所述待查询图像的车型信息。

举例来说，识别车牌号可为当前业内公知的技术，例如采用车牌识别技术从待查询图像中识别车牌号。本实施例中可采用公知技术识别待查询图像中的车牌号，根据所述车牌号在车管所数据库中获取所述车牌号对应的车型信息。

在另一可能的实现场景中，前述的步骤101还可具体包括下述的图中未示出的子步骤：

S1011’、提取待查询图像中待查询车辆对应的第一图像。

可理解的是，在该步骤中，待查询图像可包括车牌号，也可不包括车牌号。若待查询图像可包括车牌号，且车牌号能够较好识别时，优选采用前述的步骤S1011获取待查询图像的车型信息。

S1012’、与所述待查询图像所属区域内的所有车型的车型模板库做视觉特征相似度比对，查找与所述第一图像匹配的车型模板库。

也就是说，与所述待查询图像所属区域内的所有车型的车型模板库计算视觉相似度，找到与所述第一图像匹配的车型模板库。

例如，采用特征描述子方式获取所述第一图像与所述车型模板库中每一样例图像的第一相似度，得到第一相似度集合；

对所述第一相似度集合进行数学统计分析，得到所述第一图像与所述车型模板库的视觉特征相似度；

进而确定所述视觉特征相似度是否有大于第一预设阈值的视觉特征相似度，在所述视觉特征相似度中有大于第一预设阈值的视觉特征相似度时，将大于第一预设阈值的视觉特征相似度中的最大值对应的车型模板库作为与所述待查询图像的匹配的车型模板库。

在具体应用中，对所述第一相似度集合进行数学统计分析，得到所述第一图像与所述车型模板库的视觉特征相似度，可具体如下：

将与每一车型模板库对应的所有样例图像的第一相似度的平均值作为所述第一图像与每一车型模板库的视觉特征相似度；

或者，

将与每一车型模板库对应的所有样例图像的第一相似度中的最大值作为所述第一图像与每一车型模板库的视觉特征相似度；

或者，

将与每一车型模板库对应的所有样例图像的第一相似度中的最小值作为所述第一图像与每一车型模板库的视觉特征相似度；

或者，

采用异类样本分析方式去除每一车型模板库对应的所有样例图像的第一相似度中的孤立点，获取与每一车型模板库对应的所有样例图像中除去孤立点之外的第一相似度的平均值，将该平均值作为第一图像与每一车型模板库的视觉特征相似度。

S1013’、将与所述第一图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

由上方式可较好的获取待查询图像中车辆的车型信息。

应说明的是，在本实施例中，对图像进行比对/匹配，均需要获取图像的视觉特征，在本实施例中，可采用尺度不变特征转换(Scale-invariantfeaturetransform，简称SIFT)，快速鲁棒特征(Speeded-upRobustFeatures，简称SURF)，特征梯度直方图(HistogramsofOrientedGradients，简称HOG)等方式提取图像的视觉特征。

由此，本实施例的相似车辆检索中的查询扩展方法，通过确定待查询图像的车型信息，从待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像，将选取的样例图像组成待查询图像集合，实现采用查询扩展图像集合中的样例图像代替待查询图像在目标数据库中进行查询，由此提高了待查询图像中的车辆检索的召回率和准确率。

图2示出了本发明一实施例提供的车型模板库的建立方法的流程示意图，如图2所示，本实施例的车型模板库的建立方法如下所述。

201、获取多个车辆图像，每一车辆图像中具有能够识别的车牌号。

举例来说，可通过车辆的视频监控装置中获取多个车辆图像，或者，可通过图像采集装置获取多个车辆图像。该些车辆图像可为样例图像。

应说明的是，本实施例中获取的多个车辆图像中的每一车辆图像可包括车牌号，即每一车辆图像中具有能够识别的车牌号。

对于车辆图像包括车牌号主要是用于方便获取车辆信息。当前，只有通过车牌号的方式可获取车辆信息，保证车辆信息的准确性。

202、识别所述车辆图像中的车牌号，并根据所述车辆图像的车牌号，从预设的数据库中获取与所述车牌号对应的车辆信息，所述车辆信息可包括：车型信息。

举例来说，识别车牌号可为当前业内公知的技术，例如采用车牌识别技术从车辆图像中识别车牌号。本实施例中采用公知技术识别车辆图像中的车牌号主要是用于获取车牌号对应的车辆信息。

当然，在实际应用中，本实施例的车辆信息还可包括：车辆部件信息(如部件型号)、车辆颜色(如白色、黑色)、所述车辆的购买日期等等，本实施例仅对车辆信息进行举例说明，不限定车辆信息所包含的其他内容。另外，需要说明的是，这里所述的车辆信息可为车辆管理机构内部的车辆信息。

前述的预设的数据库可为业内所知的车辆管理机构的数据库。

举例来说，车辆管理机构的数据库中包括如下信息：车辆是宝马X6汽车、奥迪Q7汽车、大众v6汽车等车型的信息，车辆是什么颜色的，是黑色，白色还是银色的，车辆所有者车辆的购买日期等等。

203、将所述车辆信息和所述车辆图像生成所述车型信息的候选车型模板库。

也就是说，对一幅监控视频中的车辆图像S，对车辆图像S中的车牌号进行识别，获取车辆图像S的车牌号P；通过车牌号P获取车辆图像S的车辆信息，对车牌号P检索到与之对应的车辆的车型T，将车辆图像S与车辆的车型T加入到车型T的候选车型模板库TDS。

需要说明的是，本实施例可重复执行前述的步骤201至步骤203，获取车型T的多个角度、不同光照、不同场景下的多个车辆图像即样例图像，进而将这些样例图像均加入到车型T的候选车型模板库TDS。

另外，在确定车型T的候选车型模板库之后，还可采用图像采集装置对该车型T采集多个图像，该些图像可以包括车牌号，也可以不包括车牌号等，采集的多个图像均属于车型T的候选车型模板库中的图像。

应说明的是，由于区域的分配，每个区域的车型T的候选车型模板库可不同，例如，北京区域的车型T的候选车型模板库、天津区域的车型T的候选车型模板库、南京区域的车型T的候选车型模板库可不相同。本实施例中可针对不同区域建立各自的候选车型模板库，方便后续车辆管理机构的管理。

当然，在实际应用中，车型T也可建立一个候选车型模板库，该候选车型模板库可包括不同区域的子候选车型模板库，本实施例仅为举例说明，不对其进行限定。

204、根据预设条件筛选所述候选车型模板库，获得所述车型信息的车型模板库。

通常情况下，可将候选车型模板库中重复的图像删除，保证车型模板库中每一样例图像的场景/光照/属性都是唯一的。

在实际应用中，筛选可为人工筛选也可为自动筛选，优选实现自动筛选，因为每一车型信息的车型模板库中的数据(包括图像)有上千张，人工筛选导致费时费力，可通过视觉特征比对的方式自动筛选重复的图像。

本实施例中，候选车型模板库中图像的数量可大于等于最后获取的车型模板库中图像的数量。

筛选时应保证车型模板库中的数据的多样性，即包含不同角度、不同尺度、不同颜色、不同遮挡程度、不同遮挡角度、不同光照、不同天气情况等尽可能涵盖所有代表性的不同情况下的图像。

本实施例中，通过对候选车型模板库的筛选，可以建立良好的车型模板库，涵盖各种条件的图像，方便车辆管理机构的管理。

另外，还可从道路的视频监控装置中获取多个车辆样例图像，若所述车辆图像包括：背景区域和车辆显示区域。本实施例中的背景区域为使用车辆图像时用户不关注的区域。由此，最后获取的车型模板库中的车辆样例图像可不包括车辆图像的背景区域。

图3为本发明一实施例提供的车型图像查询扩展装置，如图3所示，本实施例的车型图像查询扩展装置包括：车型信息获取单元31、样例图像选取单元32、查询扩展图像集合生成单元33；

其中，车型信息获取单元31用于根据包括车辆的待查询图像，确定所述待查询图像的车型信息；

样例图像选取单元32用于从所述待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像；

查询扩展图像集合生成单元33用于将选取的样例图像组成查询扩展图像集合，以使所述查询扩展图像集合中的样例图像代替所述待查询图像在目标数据库中进行查询；

其中，所述车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

在具体应用中，所述车型信息获取单元31具体用于，在所述待查询图像包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号，在车辆管理机构数据库中进行查询确定所述待查询图像的车型信息；

或者，

提取待查询图像中待查询车辆对应的第一图像；

与所述待查询图像所属区域内的所有车型的车型模板库做视觉特征相似度比对，查找与所述第一图像匹配的车型模板库；

将与所述第一图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

举例来说，本实施例中的所述车型信息包括：待查询图像中车辆的型号。在其他实施例中，车型信息还可包括待查询图像中车辆的颜色。本实施例不对车型信息进行限定，根据实际需求设置。

在另一可能的实现方式中，所述车型信息获取单元31可具体用于

采用特征描述子方式获取所述第一图像与所述车型模板库中每一样例图像的第一相似度，得到第一相似度集合；

对所述第一相似度集合进行数学统计分析，得到所述第一图像与所述车型模板库的视觉特征相似度；

确定所述视觉特征相似度是否有大于第一预设阈值的视觉特征相似度，在所述视觉特征相似度中有大于第一预设阈值的视觉特征相似度时，将大于第一预设阈值的视觉特征相似度中的最大值对应的车型模板库作为与所述待查询图像的匹配的车型模板库。

本实施例的车型图像查询扩展装置可用于车辆图像的查询扩展，提高车辆图像检索的召回率和准确率。

本实施例的车型图像查询扩展装置，可以用于执行前述图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (8)

1.一种相似车辆检索中的查询扩展方法，其特征在于，包括：

根据包括车辆的待查询图像，确定所述待查询图像的车型信息；

从所述待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像；

将选取的样例图像组成查询扩展图像集合，以使所述查询扩展图像集合中的样例图像代替所述待查询图像在目标数据库中进行查询；

其中，所述车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

2.根据权利要求1所述的方法，其特征在于，所述根据待查询图像，确定所述待查询图像的车型信息，包括：

在所述待查询图像包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号，在车辆管理机构数据库中进行查询，确定所述待查询图像的车型信息；

或者，

提取待查询图像中待查询车辆对应的第一图像；

与所述待查询图像所属区域内的所有车型的车型模板库做视觉特征相似度比对，查找与所述第一图像匹配的车型模板库

将与所述第一图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

3.根据权利要求1所述的方法，其特征在于，所述车型信息包括：待查询图像中车辆的型号。

4.根据权利要求2所述的方法，其特征在于，与所述待查询图像所属区域内的所有车型的车型模板库做视觉特征相似度比对，查找与所述第一图像匹配的车型模板库，包括：

采用特征描述子方式获取所述第一图像与所述每种车型的车型模板库中每一样例图像的第一相似度，得到第一相似度集合；

对所述第一相似度集合进行数学统计分析，得到所述第一图像与所述车型模板库的视觉特征相似度；

确定所述视觉特征相似度是否有大于第一预设阈值的视觉特征相似度，在所述视觉特征相似度中有大于第一预设阈值的视觉特征相似度时，将大于第一预设阈值的视觉特征相似度中的最大值对应的车型模板库作为与所述待查询图像的匹配的车型模板库。

5.一种相似车辆检索中的查询扩展装置，其特征在于，包括：

车型信息获取单元，用于根据包括车辆的待查询图像，确定所述待查询图像的车型信息；

样例图像选取单元，用于从所述待查询图像的车型信息对应的车型模板库中选取符合预设条件的多个样例图像；

查询扩展图像集合生成单元，用于将选取的样例图像组成查询扩展图像集合，以使所述查询扩展图像集合中的样例图像代替所述待查询图像在目标数据库中进行查询；

其中，所述车型模板库包括：多个不同光照条件下的车辆样例图像、不同拍摄角度的车辆样例图像和不同场景的车辆样例图像。

6.根据权利要求5所述的装置，其特征在于，所述车型信息获取单元，具体用于

在所述待查询图像包括车牌号时，识别所述待查询图像中的车牌号，根据所述车牌号，在车辆管理机构数据库中进行查询确定所述待查询图像的车型信息；

或者，

提取待查询图像中待查询车辆对应的第一图像；

与所述待查询图像所属区域内的所有车型的车型模板库做视觉特征相似度比对，查找与所述第一图像匹配的车型模板库

将与所述第一图像匹配的车型模板库的车型信息作为所述待查询图像的车型信息。

7.根据权利要求5所述的装置，其特征在于，所述车型信息包括：待查询图像中车辆的型号。

8.根据权利要求6所述的装置，其特征在于，所述车型信息获取单元，具体用于

采用特征描述子方式获取所述第一图像与所述车型模板库中每一样例图像的第一相似度，得到第一相似度集合；

对所述第一相似度集合进行数学统计分析，得到所述第一图像与所述车型模板库的视觉特征相似度；

确定所述视觉特征相似度是否有大于第一预设阈值的视觉特征相似度，在所述视觉特征相似度中有大于第一预设阈值的视觉特征相似度时，将大于第一预设阈值的视觉特征相似度中的最大值对应的车型模板库作为与所述待查询图像的匹配的车型模板库。