CN106033443B - 一种车辆检索中的扩展查询方法及装置 - Google Patents

Abstract

本发明公开了一种车辆检索中的扩展查询方法及装置，所述方法包括：获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于模板库中所有样例图像的第二统计分布特征向量；获取所述目标图像库中图像按照第一相似度排序的初始检索结果序列，根据第一统计分布特征向量和初始检索结果序列中的每一图像的第二统计分布特征向量，确定待查询图像与初始检索结果序列中每一图像的第二相似度；根据预设的第一阈值和第二阈值，从初始检索结果序列中选取部分图像作为扩展查询图像。上述方法能够实现在车辆检索中选出更相似的扩展查询图像，以便提高车辆检索的准确率和召回率。

Description

一种车辆检索中的扩展查询方法及装置

技术领域

本发明涉及计算机技术，具体涉及一种车辆检索中的扩展查询方法及装置。

背景技术

交通监控图像和视频是公安业务的重要数据基础，在社会治安维稳、打击违法犯罪等方面有着至关重要的作用。为此，如何从大量的监控图像和视频中检索出目标车辆成为研究热点。

查询扩展技术是检索技术中用来提高召回率和准确率的常用方法。查询扩展技术是将原来查询句增加新的关键字来重新查询的方法，例如搜索引擎会将使用者输入的查询句先做一次检索，根据检索出来的文件，选取出适合的关键字，加到查询句重新检索，借此来找出更多的相关文件。

目前，常用的查询扩展方法包括两种，第一种根据初次检索出来的相关图像，选出合适的相关图像作为扩展查询样例，进行二次检索，但是在车辆图像检索、尤其在跨卡口的车辆图像检索中，由于不同车型之间的相似性，以及跨卡口等原因造成的视觉模型的差异性，常用的视觉特征描述子对车辆特征的表达能力有限，初次检索结果中，正确相关图像和错误相关图像可能难以通过常用的视觉特征区分，从而导致难以选择出正确的扩展查询样例；第二种通过车牌号识别，从车管所数据库或类似数据库中读取该车牌号的注册车辆车型，然后从第三方数据库中选择该车型的样例作为扩展查询样例，这种方法依赖于车牌号识别，当车牌号识别错误，或车牌遮挡、损旧时，这种方法就会失效，同时，车管所数据库的登记信息并不规范、完整，导致这种方法的可行性受到很大限制。

发明内容

针对现有技术中的缺陷，本发明提供了一种车辆检索中的扩展查询方法及装置，能够实现在车辆检索中选出更相似的扩展查询图像，以便提高车辆检索的准确率。

第一方面，本发明提供一种车辆检索中的扩展查询方法，包括：

获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征向量；

获取所述目标图像库中全部或部分图像排序的初始检索结果序列，所述初始检索结果序列是按照所述待查询图像与所述目标图像库中每一图像的第一相似度的大小排序的；

根据所述第一统计分布特征向量和所述初始检索结果序列中的每一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相似度；

根据所述第一相似度对应的第一阈值，所述第二相似度对应的第二阈值，从所述初始检索结果序列中选取部分图像作为扩展查询图像。

可选地，所述获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量之前，所述方法还包括：

对筛选后的样例图像进行聚类处理，建立包括部分样例图像的模板库，所述模板库中的样例图像均不重复。

可选地，所述对筛选后的样例图像进行聚类处理，建立包括样例图像的模板库，包括：

采用预设的图像匹配系统对预先收集的N张样例图像进行筛选，获得筛选后的T张样例图像；

其中，N、T均为大于1的自然数，N大于T。

可选地，获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，包括：

获取所述待查询图像与所述模板库中每张样例图像的视觉相似度，得到Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；

根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q’个二元组，Q和Q’均为大于1的自然数；

采用构建的第一向量和第二向量对Q’个二元组进行统计，根据统计结果生成第一统计分布特征向量；

其中，所述第一向量为各维度初始化为0；

第二向量为各维度初始化为0；

所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的类别数量匹配。

可选地，获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征向量，包括：

获取所述目标图像库中每一图像与所述模板库中每张样例图像的视觉相似度，获得每一图像的Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；

根据预设的视觉相似度的阈值，从每一图像对应的所有二元组中筛选出R个二元组，R为大于1的自然数；

采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成该图像的第二统计分布特征向量；

其中，所述第一向量为各维度初始化为0；

第二向量为各维度初始化为0；

所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的类别数量匹配。

可选地，所述根据统计结果生成第一统计分布特征向量，包括：

将统计有Q’个二元组的第一向量的每个维度除以统计有Q’个二元组的第二向量中对应维度值的开方，获得第一统计分布特征向量；

或者，

根据统计结果生成第二统计分布特征向量，包括：

将统计有R个二元组的第一向量的每个维度除以统计有R个二元组的第二向量中对应维度值的开方，获得第二统计分布特征向量。

可选地，根据所述第一相似度对应的第一阈值，所述第二相似度对应的第二阈值，从所述初始检索结果序列中选取部分图像作为扩展查询图像，包括：

针对所述初始检索结果序列中的每一图像，确定该图像对应的第一相似度是否大于所述第一阈值；

如果大于，则确定该图像对应的第二相似度是否大于所述第二阈值；

如果大于，则将该图像作为扩展查询图像；

按照所述初始检索结果序列的顺序，对每一图像进行筛选，如果所述扩展查询图像的数量大于预设限制阈值，则停止筛选。

第二方面，本发明提供一种车辆检索中的扩展查询装置，包括：

统计分布特征向量获取单元，用于获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征向量；

初始检索结果序列获取单元，用于获取所述目标图像库中全部或部分图像排序的初始检索结果序列，所述初始检索结果序列是按照所述待查询图像与目标图像库中每一图像的第一相似度的大小排序的；

第二相似度确定单元，用于根据所述第一统计分布特征向量和所述初始检索结果序列中的每一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相似度；

扩展查询图像获取单元，用于根据所述第一相似度对应的第一阈值，所述第二相似度对应的第二阈值，从所述初始检索结果序列中选取部分图像作为扩展查询图像。

可选地，所述装置还包括：

模板库建立单元，用于对筛选后的样例图像进行聚类处理，建立包括部分样例图像的模板库，所述模板库中的样例图像均不重复。

可选地，统计分布特征向量获取单元，具体用于

获取所述待查询图像与所述模板库中每张样例图像的视觉相似度，得到Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；

根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q’个二元组，Q和Q’均为大于1的自然数；

采用构建的第一向量和第二向量对Q’个二元组进行统计，根据统计结果生成第一统计分布特征向量；

以及获取所述目标图像库中每一图像与所述模板库中每张样例图像的视觉相似度，获得每一图像的Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；

根据预设的视觉相似度的阈值，从每一图像对应的所有二元组中筛选出R个二元组，R为大于1的自然数；

采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成该图像的第二统计分布特征向量；

其中，所述第一向量为各维度初始化为0；

第二向量为各维度初始化为0；

所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的类别数量匹配。

第三方面，本发明还提供一种车辆检索方法，包括：

根据上述任一所述的车辆检索中的扩展查询方法获取待查询图像的扩展查询图像；

根据所述扩展查询图像，确定与所述待查询图像相似的目标图像。

由上述技术方案可知，本发明的车辆检索中的扩展查询方法及装置，获取待查询图像和目标图像库中图像基于第三方的模板库的统计分布特征向量，以及获取目标图像库的初始检索结果序列；进而选取待查询图像的扩展查询图像，由此，本实施例中基于第三方模板库的统计分布特征向量对应的第二相似度作为补充选择标准，可以选出更加准确的扩展查询图像，以便提高车辆检索的准确率。

附图说明

图1为本发明一实施例提供的车辆检索中的扩展查询方法的流程示意图；

图2为本发明一实施例提供的车辆检索中的扩展查询方法的流程示意图；

图3为本发明一实施例提供的车辆检索中的扩展查询装置的流程示意图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。本发明实施例中所使用的“第一”、“第二”仅为更清楚的说明本申请的内容，不具有特定含义，也不限定任何内容。

“车辆无限，但车型有限”，利用车辆的这种独有特性，本发明训练一个第三方的模板库，对车型的统计分布特性进行表达，将一对一的匹配模式转换为一对多的匹配，可以得到更准确、稳定的匹配关系，从而可以从初始检索结果中筛选出正确的扩展查询图像。

图1示出了本发明一实施例提供的车辆检索中的扩展查询方法的流程示意图，如图1所示，本实施例的车辆检索中的扩展查询方法如下所述。

101、获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征向量。

在本实施例中，模板库是预先建立的，并包括有多个类别即车型种类类别的样例图像，且模板库中的样例图像均不重复。

102、获取所述目标图像库中全部或部分图像排序的初始检索结果序列，所述初始检索结果序列是按照所述待查询图像与所述目标图像库中每一图像的第一相似度的大小排序的。

举例来说，可预先获取所述待查询图像与所述目标图像库中每一图像的第一相似度；选取大于预设第一阈值的第一相似度组成第一相似度集合，将所述第一相似度集合中所有第一相似度对应的图像进行排序，获得初始检索结果序列。

103、根据所述第一统计分布特征向量和所述初始检索结果序列中的第一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相似度；

104、根据所述第一相似度对应的第一阈值，所述第二相似度对应的第二阈值，从所述初始检索结果序列中选取部分图像作为扩展查询图像。

本实施例的车辆检索中的扩展查询方法，获取待查询图像和目标图像库中图像基于第三方的模板库的统计分布特征向量，以及获取目标图像库的初始检索结果序列；进而选取待查询图像的扩展查询图像，由此，本实施例中基于第三方模板库的统计分布特征向量对应的第二相似度作为补充选择标准，可以选出更加准确的扩展查询图像，以便提高车辆检索的准确率。

图2示出了本发明一实施例提供的车辆检索中的扩展查询方法的流程示意图，如图2所示，本实施例的车辆检索中的扩展查询方法如下所述。

201、对筛选后的样例图像进行聚类处理，建立包括部分或全部样例图像的模板库，所述模板库中的样例图像均不重复。

举例来说，可采用预设的图像匹配系统对预先收集的N张样例图像进行筛选，获得筛选后的T张样例图像；其中，N、T均为大于1的自然数，N大于T。

例如，对预先收集N张样例图像的第一图像集合中的所有样例图像进行图像检索筛选，获得符合某一设定阈值的M对图像匹配对，每一图像匹配对包括第一图像集合中的两个样例图像；

进一步地，还可采用预设的图像匹配系统对所述M对图像匹配对进行优化筛选，获得P对图像匹配对，将所述P对图像匹配对对应的样例图像组成模板库；

其中，M大于等于P。

本实施例中，预设图像匹配系统可为FPR(False Positive Rate)低于某一设定阈值的图像匹配系统。

本实施例中的模板库属于第三方的图像集合，由N张样例图像组成，且使用聚类算法按照视觉相似度聚成K类，每一类包含若干不等量样例图像。在本实施例中，使用的模板库包含T＝18347张样例图像，并对每张样例图像提取Fisher向量计算两两之间的视觉相似度，构建T*T的相似度矩阵，然后使用AP聚类算法聚类得到K＝938个子集。

202、获取所述待查询图像基于所述模板库中每张样例图像的视觉相似度，得到Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度。

举例来说，每一二元组可为包括(图像ID，与该图像对应视觉相似度)的二元组。

对待查询图像与模板库中的每张样例图像的视觉相似度即为视觉特征相似度，该处的视觉特征可使用Fisher向量、SIFT特征、SURF特征等现有特征提取技术，不做限定，本实施例使用Fisher向量作为视觉特征描述子，得到Q个(图像ID，视觉相似度)二元组；

203、根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q’个二元组；采用构建的第一向量和第二向量对Q’个二元组进行统计，根据统计结果生成第一统计分布特征向量；

本实施例中，Q和Q’均为大于1的自然数，其中，所述第一向量可为各维度初始化为0；

第二向量可为各维度初始化为0；

所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的类别数量匹配。可理解的是，模板库中的类别是用聚类算法自动聚类生成的，与车型种类不严格对应。

另外，需要说明的是，预设的视觉相似度的阈值可为具体经验值，但考虑到不同视觉模型下(如，来自不同交通治安卡口)的查询图像和目标图像库中图像的视觉相似度可能不在相当的水平，该处的阈值应根据实际场景自适应调节，本实施例的视觉相似度的阈值设置方式为：记Q个(图像ID，视觉相似度)二元组中视觉相似度最大值为MAX，那么视觉相似度的阈值＝MAX*0.6，其中，0.6为经验值，可根据实际目标图像库的相关信息进行调节。

举例来说，将统计有Q’个二元组的第一向量的每个维度除以统计有Q’个二元组的第二向量中对应维度值的开方，获得第一统计分布特征向量。

例如，可将上述第一向量每个维度除以第二向量中的相应维度值：生成第一统计分布特征向量

204、获取所述目标图像库中每一图像基于所述模板库中每张样例图像的视觉相似度，获得目标图像库中每一图像的Q个二元组。

本实施例中，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度。

205、根据预设的视觉相似度的阈值，从目标图像库对应的所有二元组中筛选出R个二元组，采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成第二统计分布特征向量；

本实施例中，Q、R均为大于1的自然数；其中，所述第一向量为各维度初始化为0；

第二向量为各维度初始化为0；

所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的类别匹配。可理解的是，模板库中的类别是用聚类算法自动聚类生成的，与车型种类不严格对应。

举例来说，根据统计结果生成第二统计分布特征向量，包括：

将统计有R个二元组的第一向量的每个维度除以统计有R个二元组的第二向量中对应维度值的开方，获得第二统计分布特征向量。

206、获取目标图像库中部分图像排序的初始检索结果序列，所述初始检索结果序列是按照所述待查询图像与所述目标图像库中每一图像的第一相似度的大小排序的。

在本实施例中基于通过某种检索方式获取的初始检索结果序列进行后续操作的。

假设通过某种检索方式，获取查询图像Q₁的长度为m的初始检索结果序列R₁＝{r₁，r₂，…，r_m}，一般满足sim1(Q₁,r_j)>sim1(Q₁,r_j+1)，sim1表示两张图像的第一相似度，即R₁按照第一相似度从高到低排列。

207、根据所述第一统计分布特征向量和所述初始检索结果序列中每一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相似度。

也就是说，分别计算待查询图像Q₁与r₁～r_m的统计分布特征相似度，即第二相似度，即计算sim2可以是余弦距离，也可以先进行L2归一化，然后计算欧式距离，当然也可以使用其他距离度量方式，不做具体限定，本实施例使用余弦距离作为统计分布特征相似性度量方式，并进行归一化:

208、根据所述第一相似度对应的第一阈值，所述第二相似度对应的第二阈值，从所述初始检索结果序列中选取部分图像作为扩展查询图像。

例如，针对所述初始检索结果序列中的每一图像，确定该图像对应的第一相似度是否大于所述第一阈值；

如果大于，则确定该图像对应的第二相似度是否大于所述第二阈值；

如果大于，则将该图像作为扩展查询图像；

按照所述初始检索结果序列的顺序，对每一图像进行筛选，如果所述扩展查询图像的数量大于预设限制阈值，则停止筛选。

本实施例中，第一阈值可为具体经验值，但考虑到不同视觉模型下(如，来自不同交通治安卡口)的查询图像和目标数据库图像的视觉相似度可能不在相当的水平，第一阈值应根据实际场景自适应调节，本实施例的第一阈值设置方式为：初始检索结果序列中，第一相似度最大值为MAX(一般MAX＝sim1(Q₁,r₁))，那么第一阈值＝MAX*0.6，其中，0.6为经验值，可根据实际的目标图像库进行调节。

由于在步骤207中，可使用余弦距离作为统计分布特征相似性度量方式，进而第二相似度取值范围为[0,1]，因此，本实施例根据经验将第二阈值设为0.66。当时用其他距离度量方式时，第二阈值应相应改变。

将初始检索结果序列中满足sim1(Q₁,r_j)>第一阈值，且sim2(Q₁,r_j)>第二阈值的所有图像作为“可靠”扩展查询图像。

在实际应用中，按照上述方式选出来的扩展查询图像的个数可能很多，如，超过10个，但一般并不需要这么多，而且过多扩展查询图像会增大二次检索的时间、空间开销，因此，可以当选择的扩展查询图像多于设定的某一阈值时，停止选择。本实施例中，设定的针对扩展查询图像的个数的阈值(如上所述的限制阈值)可为6，即，最终最多选择6个扩展查询图像。

本实施例的方法，除了使用第一相似度作为选择标准之一，还加入基于第三方模板库的统计分布特征向量获取的第二相似度作为补充选择标准，可以选出更加准确的扩展查询样例。

在一个具体的例子中，对上述步骤201进行详细说明如下：

2011、根据样例筛选规则，从第一样例图像集合中选择可靠车辆样例图像，构成第二样例图像集合。

所述第一样例图像集合为车辆图像样例组成的样例图像集合，一般应尽可能但不绝对要求包含所有车型的样例，假设第一样例图像集合包含样例图像的个数为N，N一般应大于5000，本实施例中使用从XX城镇交通治安卡口采集的样例图像中随机选择的N＝30000张样例图像构成第一样例图像集合；

根据样例筛选规则，从第一样例图像集合的N个样例图像中选择出T个可靠的样例图像，构成第二样例图像集合。需要说明的是，T的具体值依赖于样例筛选规则中的参数设置，以及第一样例图像集合中的N张样例图像的实际分布情况，不同情况下会得到不同的T值。本实施例中，从N＝30000张样例图像中筛选出了T＝18347张样例图像构成第二样例图像集合。

具体地：2011a、对第一样例图像集合两两构建图像匹配对，得到第一图像对集合。

第一样例图像集合包含N张样例图像，对其两两构建图像匹配对，目标是从这些样例图像对中选出强匹配对，但并不严格要求能够选出所有的强匹配对，理论上可以产生C(N,2)＝N(N-1)/2对图像对，本实施例中N＝30000，理论产生图像匹配对数量为4亿多对，而其中多数是不匹配对，如果对所有4亿多对图像匹配对一一匹配，效率过低。

因此，本实施例首先将N₁张样例图像中的每一张样例图像作为查询图像基于这N₁张样例图像构成的第一图像集合进行检索，每张查询图像得到一个按相似度从高到低排序的检索结果序列R₂＝{r₁，r₂，…，r_N}，其中首位结果r₁与查询图像的相似度sim(Q₂,r₁)最大，当该最大值小于第三阈值时，认为这一组检索结果序列不存在可能与相应查询图像构成强匹配对的样例图像，直接跳过这一条查询，否则，即，当sim(Q₂,r₁)大于第三阈值时，从序列检索结果R₂中选出相似度大于第四阈值的结果与查询图像构成图像匹配对。本实施例中，使用Fisher向量作为描述子，第三阈值设为25.0，第四阈值设为sim(Q₂,r₁)*0.8。需要说明的是，不同的视觉特征描述子计算得到的相似度得分量级不同，应根据实际情况设置第三阈值。

按照上述方法构建的图像匹配对都存在相对较强的匹配关系，本实施例中构建了约42.7万对图像对，远远少于4亿的理论值，大大减少了后续匹配的工作量。

本实施例中的第三阈值和第四阈值可对应前述步骤201中选取M对图像匹配对过程中设定的阈值。

可选地，本实施例中还可执行下述的步骤2011b。

2011b、采用预设的图像匹配系统对第一图像对集合中的每组图像匹配对做匹配，选出能够匹配上的图像匹配对组成第二图像对集合。

本实施例预设图像匹配系统可为FPR(False Positive Rate)低于某一设定阈值如0.1％的图像匹配系统对第一图像对集合中的样例图像对逐对进行匹配，所有能够识别为匹配对的样例图像对组成第二图像对集合。本实施例从42.7万对图像匹配对中选出了42.5万对图像匹配对，构成第二图像对集合。

2012、使用第二图像对集合中的图像组成第二图像集合。

将第二图像对集合所包含图像匹配对对应的样例图像组成第二图像集合，本实施例包含42.5万对图像对的第二图像对集合包含18347张不重复图像，即，本实施例的第二图像集合由18347张不重复图像构成。

本实施例的模板库样例筛选方法，通过控制图像匹配系统的FPR在较低水平，选择出“可靠”的样例图像，这些样例图像能够与部分其他样例产生较强的匹配关系，使用这些“可靠”的样例图像进行聚类，能够较好地保证类的高内聚低耦合要求，从而更好地支撑后续的统计分布特性表达。

2013、使用聚类算法训练第二图像集合，生成模板库。

使用聚类算法对第二图像集合按照视觉特征相似度进行聚类，得到K个子集，构成所述模板库。

聚类算法可以是AP聚类算法、谱聚类算法、K-Means聚类算法等现有技术。本实施例中，首先对包含T张图像的第二图像集合构建T*T的相似度矩阵，然后使用AP聚类算法进行聚类，算法原理在此不做详述。

在本实施例中，获取相似度矩阵之前，需要分别提取每一张样例图像的视觉特征，通常，可采用Fisher向量、尺度不变特征转换(Scale-invariant feature transform，简称SIFT)，快速鲁棒特征(Speeded-up Robust Features，简称SURF)，特征梯度直方图(Histograms of Oriented Gradients，简称HOG)等方式提取每一张图像的视觉特征。本实施例中，提取任一图像的视觉特征可为业内公知技术，本实施例不对其进行详述。

在提取第二图像集合中每一样例图像的视觉特征之后，可采用汉明距离、欧式距离、马式距离等距离度量方式获取两两之间的视觉特征相似度，构建T*T的相似度矩阵。

另外需要说明的是，使用AP聚类算法聚出的类别个数一般较多，而模板库的类别个数一般不应偏离实际车型种类数量太远，本实施例使用AP聚类算法第一次聚类得到3392个类，而实际车型种类大约在1000种，因此，本实施例对第一次聚类得到的聚类中心进行二次聚类，最终得到938个类。本实施例中，这18347张图像训练出的938个子集构成所述模板库。

应该说明的是，前述步骤201中建立的模板库可以在任意检索中使用，后续对待查询图像可无需建立模板库，直接使用前期建立的模板库即可，即，只需要建立一次模板库，每次检索时可以直接使用，无需每检索一次建立一次模板库。

进一步地，前述步骤203中和205中的第一向量和第二向量的长度均为K，K值为模板库子集个数，本实施例中，K＝938，因此生成的统计分布特征向量为938维。

统计方式为：对Q’或R个二元组中的每一个，如果“图像ID”所对应的图像在模板库中属于第i类，i∈N⁺,i∈[1,K]，那么将“视觉相似度”累加到p_i，同时t_i加1。

进一步地，可将上述第一向量每个维度除以第二向量中的相应维度值的开方：生成所述统计分布特征向量

待查询图像和目标图像库中每张图像均按上述方式生成相应的K维统计分布特征向量(如上步骤203中的第一统计分布特征向量和步骤205中的第二统计分布特征向量)。

由于上述统计过程之前用视觉相似度的阈值进行了选择，参与统计的(图像ID，视觉相似度)二元组数量一般很少，本实施例中，平均能够保留约不到20个二元组，因此，生成的K维统计分布特征向量SG是稀疏的，在后续步骤中计算量很小，从而保证了时间效率。

上述实施例中的方法，能够选出正确率高的扩展查询样例，从而提升检索性能。

例如，本实施例构建一个包含4188张图像的目标数据库，对150张查询图像进行检索，目标数据库图像与查询图像来自不同城市。

使用CDVS特征和检索框架获取按照第一相似度排序的初始检索结果序列，平均准确率(Mean Average Precision，MAP)为0.42，然后使用本发明所述方法对每张查询图像选择不多于6张扩展查询样例进行扩展查询及检索结果融合，融合方法为(以任意一张查询图像为例说明)：构建一个维度为4188(目标数据库所含图像数量)的向量各维度初始化为0。按本发明所述方法对查询图像Q选出了K(K小于等于6)张扩展查询样例，那么对这K张扩展查询样例分别做基于目标数据库的检索(仍使用CDVS检索框架)，得到K条检索结果序列，检索结果序列长度均为500，检索结果序列中的每个结果对应一个(图像ID，相似度)二元组，这里的相似度与前面所述第一相似度性质相同。这样包括查询图像的初始检索结果序列，共有(K+1)*500个二元组。对这(K+1)*500个二元组进行统计，统计方法为：对每一个二元组，将“相似度”累加到向量的第“图像ID”维上，得到目标图像库中每张图像的最终得分。最后将各维度按照累加的相似度从高到低排序，得到最终检索结果序列。最终检索结果序列的MAP值提升到0.60.

从上述实验结果可知，本发明实施例的扩展查询样例选择方法，在查询图像与目标数据库图像来自不同场景的情况下也能选择出正确的扩展查询样例，大幅度提升检索性能。

本实施例的方法与现有技术相比，不同于图像对之间一对一的匹配，本实施例使用聚类算法训练一个第三方的样例图像集合，这里称之为“模板库”，利用模板库的统计分布特性，将待匹配的两张图像分别映射到该模板库，生成统计分布特征，将统计分布特征相似度与第一相似度结合，能够选出更准确的扩展查询样例，从而提升检索性能。

另外，本发明还提供一种车辆检索方法，该方法包含前述任意实施例描述的车辆检索中的扩展查询样例选择方法获取待查询图像的目标检索结果序列；进而根据所述目标检索结果序列，确定于所述待查询图像相似的目标图像。

图3示出了本发明一实施例提供的车辆检索的扩展查询装置，如图3所示，本实施例的车辆检索的扩展查询装置包括：统计分布特征向量获取单元31、初始检索结果序列获取单元32、第二相似度确定单元33、扩展查询图像获取单元34；

统计分布特征向量获取单元31用于获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征向量；

初始检索结果序列获取单元32用于获取所述目标图像库中全部或部分图像排序的初始检索结果序列，所述初始检索结果序列是按照所述待查询图像与目标图像库中每一图像的第一相似度的大小排序的；

第二相似度确定单元33用于根据所述第一统计分布特征向量和所述初始检索结果序列中的每一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相似度；

扩展查询图像获取单元34用于根据所述第一相似度对应的第一阈值，所述第二相似度对应的第二阈值，从所述初始检索结果序列中选取部分图像作为扩展查询图像。

可选地，上述装置还包括图中未示出的模板库建立单元30，该模板库建立单元30用于采用预设的图像匹配系统对预先收集的N张样例图像进行筛选，获得筛选后的T张样例图像；进而对筛选后的样例图像进行聚类处理，建立包括部分样例图像的模板库，所述模板库中的样例图像均不重复，其中，N、T均为大于1的自然数，N大于T。

在具体应用中，统计分布特征向量获取单元31具体用于

获取所述待查询图像基于所述模板库中每张样例图像的视觉相似度，得到Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；

根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q’个二元组，Q和Q’均为大于1的自然数；

采用构建的第一向量和第二向量对Q’个二元组进行统计，根据统计结果生成第一统计分布特征向量；

以及获取所述目标图像库中每一图像基于所述模板库中每张样例图像的视觉相似度，获得每一图像的Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；

根据预设的视觉相似度的阈值，从每一图像对应的所有二元组中筛选出R个二元组，R为大于1的自然数；

采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成该图像的第二统计分布特征向量；

其中，所述第一向量为各维度初始化为0；

第二向量为各维度初始化为0；

所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的类别数量匹配。

本实施例中的扩展查询装置可执行前述图1和图2所示的方法流程，本实施例不对其进行详述。进一步地，本实施例的扩展查询装置可位于任一终端或设备中，实现图像的检索。本实施例中车辆检索的扩展查询装置，能够提升相似车辆检索性能。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在于该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是互相排斥之处，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (9)

1.一种车辆检索中的扩展查询方法，其特征在于，包括：

获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征向量；

获取所述目标图像库中全部或部分图像排序的初始检索结果序列，所述初始检索结果序列是按照所述待查询图像与所述目标图像库中每一图像的第一相似度的大小排序的；

根据所述第一统计分布特征向量和所述初始检索结果序列中的每一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相似度；

根据所述第一相似度对应的第一阈值，所述第二相似度对应的第二阈值，从所述初始检索结果序列中选取部分图像作为扩展查询图像；

其中，获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，包括：

获取所述待查询图像与所述模板库中每张样例图像的视觉相似度，得到Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；

根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q’个二元组，Q和Q’均为大于1的自然数；

采用构建的第一向量和第二向量对Q’个二元组进行统计，根据统计结果生成第一统计分布特征向量；

其中，所述第一向量为各维度初始化为0；

第二向量为各维度初始化为0；

所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的类别数量匹配。

2.根据权利要求1所述的方法，其特征在于，所述获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量之前，所述方法还包括：

对筛选后的样例图像进行聚类处理，建立包括部分样例图像的模板库，所述模板库中的样例图像均不重复。

3.根据权利要求2所述的方法，其特征在于，所述对筛选后的样例图像进行聚类处理，建立包括样例图像的模板库，包括：

采用预设的图像匹配系统对预先收集的N张样例图像进行筛选，获得筛选后的T张样例图像；

其中，N、T均为大于1的自然数，N大于T。

4.根据权利要求1所述的方法，其特征在于，获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征向量，包括：

获取所述目标图像库中每一图像与所述模板库中每张样例图像的视觉相似度，获得每一图像的Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；

根据预设的视觉相似度的阈值，从每一图像对应的所有二元组中筛选出R个二元组，R为大于1的自然数；

采用构建的第一向量和第二向量对R个二元组进行统计，根据统计结果生成该图像的第二统计分布特征向量；

其中，所述第一向量为各维度初始化为0；

第二向量为各维度初始化为0；

所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的类别数量匹配。

5.根据权利要求4所述的方法，其特征在于，所述根据统计结果生成第一统计分布特征向量，包括：

将统计有Q’个二元组的第一向量的每个维度除以统计有Q’个二元组的第二向量中对应维度值的开方，获得第一统计分布特征向量；

或者，

根据统计结果生成第二统计分布特征向量，包括：

将统计有R个二元组的第一向量的每个维度除以统计有R个二元组的第二向量中对应维度值的开方，获得第二统计分布特征向量。

6.根据权利要求1至4任一所述的方法，其特征在于，根据所述第一相似度对应的第一阈值，所述第二相似度对应的第二阈值，从所述初始检索结果序列中选取部分图像作为扩展查询图像，包括：

针对所述初始检索结果序列中的每一图像，确定该图像对应的第一相似度是否大于所述第一阈值；

如果大于，则确定该图像对应的第二相似度是否大于所述第二阈值；

如果大于，则将该图像作为扩展查询图像；

按照所述初始检索结果序列的顺序，对每一图像进行筛选，如果所述扩展查询图像的数量大于预设限制阈值，则停止筛选。

7.一种车辆检索中的扩展查询装置，其特征在于，包括：

统计分布特征向量获取单元，用于获取待查询图像基于预先建立的模板库中所有样例图像的第一统计分布特征向量，以及获取目标图像库中每一图像基于所述模板库中所有样例图像的第二统计分布特征向量；

初始检索结果序列获取单元，用于获取所述目标图像库中全部或部分图像排序的初始检索结果序列，所述初始检索结果序列是按照所述待查询图像与目标图像库中每一图像的第一相似度的大小排序的；

第二相似度确定单元，用于根据所述第一统计分布特征向量和所述初始检索结果序列中的每一图像的第二统计分布特征向量，确定所述待查询图像与所述初始检索结果序列中每一图像的第二相似度；

扩展查询图像获取单元，用于根据所述第一相似度对应的第一阈值，所述第二相似度对应的第二阈值，从所述初始检索结果序列中选取部分图像作为扩展查询图像；

其中，所述统计分布特征向量获取单元具体用于：

获取所述待查询图像与所述模板库中每张样例图像的视觉相似度，得到Q个二元组，每一二元组包括：样例图像标识和该样例图像对应的视觉相似度；

根据预设的视觉相似度的阈值，从Q个二元组中筛选出Q’个二元组，Q和Q’均为大于1的自然数；

采用构建的第一向量和第二向量对Q’个二元组进行统计，根据统计结果生成第一统计分布特征向量；

其中，所述第一向量为各维度初始化为0；

第二向量为各维度初始化为0；

所述第一向量的维度和第二向量的维度相同，且与所述模板库中所有样例图像对应的类别数量匹配。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

模板库建立单元，用于对筛选后的样例图像进行聚类处理，建立包括部分样例图像的模板库，所述模板库中的样例图像均不重复。

9.一种车辆检索方法，其特征在于，包括：

根据权利要求1至6任一所述的方法获取待查询图像的扩展查询图像；

根据所述扩展查询图像，确定与所述待查询图像相似的目标图像。