CN103514276A - 基于中心估计的图形目标检索定位方法 - Google Patents

Abstract

本发明公开了一种基于中心估计的图形目标检索定位方法，属于图像检索技术领域，包括以下步骤：1）根据查询图像的量化信息和倒排索引结构，得到查询图像与数据集图像的匹配特征对；2）利用匹配特征对的位置和尺度方向信息，估计目标区域的中心位置；3）通过中心位置直方图去除错误匹配的特征对；4）利用正确匹配特征对计算候选图像的匹配分值，根据匹配分值排序返回检索结果；5）利用正确匹配特征对，得到候选图像中目标区域的定位。本发明充分利用了图像中的空间分布信息，能够在保持倒排索引结构的快速检索状态下对由此引入的错误匹配特征进行过滤，提高匹配的正确性和检索的准确度。并且能够在检索结果图像中定位出存在的目标区域。

Description

基于中心估计的图形目标检索定位方法

技术领域

本发明属于图像检索技术领域，具体涉及一种基于中心估计的图形目标检索定位方法。

背景技术

随着计算机网络与多媒体技术的快速发展，图像和音频视频等多媒体内容正在以爆炸式的速度急剧增长，人们获取信息的途径随之也发生了根本的改变。图像作为承载信息的一种重要形式，因其内容丰富、展现直观并且易于存储的优势已经成为人们日常生活中不可或缺的信息来源。但是庞大复杂的网络系统使得无以计数的图像资源存储在纷繁交错的网络端点。如何在大规模的网络数据集中依照用户给定的目标进行图像的检索，获取用户感兴趣的图像具有重要的研究意义。

文本检索方法相较于图像检索方法发展更早也更为成熟，因此早期的图像检索是通过对图像添加文本标签的方式将图像检索转化为文本检索。以百度、Google为代表的商用搜索引擎中图像检索主要利用的就是这种方法。这种方法存在固有缺陷：首先需要对图像额外添加文本信息；而且检索质量非常依赖于文本标签的正确性；另外有一些图像很难准确地用文本进行表达。为了克服这些缺陷研究者们开始了基于内容的图像检索方法的研究。基于内容的图像检索方法对图像自身进行分析，提取具有视觉信息的特征向量，利用特征向量进行图像的相似性比较。其中用于检索的图像称为查询图像。

图像具有丰富的视觉信息，其中也许包含了多个目标物。如果利用整幅图像作为查询图像，那么图像中的各个目标物将具有同等的重要性，这会导致搜索目标的模糊和搜索结果的偏离。而且实际情况下，给定一幅查询图像时，人们关心的往往是图像中的某一个目标。由用户框定查询图像中感兴趣的目标区域进行检索，能够更加充分明确地表达用户的检索意图。如何从大规模的图像数据集中快速鲁棒地检索出存在目标区域的相关图像并对目标区域进行定位具有重要的实用价值。另外，数据集图像中可能存在多个查询的目标区域，如何准确地定位出现的所有目标区域也是一个巨大的挑战。

随着图像数据集规模的不断增大，研究者们引入了倒排索引结构。倒排索引结构根据视觉词汇对提取的图像特征向量进行有效地组织，能够有效地提高基于内容的图像目标检索的效率并且能够降低特征存储的负担。虽然倒排索引技术的引入有效地提高了图像目标检索的效率，然而构建倒排索引过程中对特征的量化操作带来的误差将会造成特征的错误匹配，影响图像目标检索的质量。

发明内容

为了克服上述现有技术存在的缺陷，本发明的目的在于提供一种基于中心估计的图形目标检索定位方法，该方法能够有效应对图像变化，准确、快速地为客户返回查找的目标区域的图像。

本发明是通过以下技术方案来实现：

基于中心估计的图形目标检索定位方法，包括以下步骤：

第一步，根据查询图像的量化信息和倒排索引结构，得到查询图像与数据集图像的匹配特征对；

第二步，利用匹配特征对的位置和尺度方向信息，估计目标区域的中心位置；

第三步，通过中心位置直方图去除错误匹配的特征对；

第四步，利用正确匹配特征对计算候选图像的匹配分值，根据匹配分值排序返回检索结果；同时，利用正确匹配特征对，得到候选图像中目标区域的定位。

第一步所述的查询图像与数据集图像的匹配特征对是通过以下步骤得到的：

1）查询图像目标区域内特征向量，量化到距离最近视觉词汇构成查询图像的量化信息；

2）利用量化信息在倒排索引结构中查找，量化到相同视觉词汇的特征为匹配特征，得到查询图像与数据集图像的匹配特征对。

所述的视觉词汇是指由图像特征聚类过程得到的类中心向量。

所述的倒排索引结构是对数据集中所有图像特征按视觉词汇构建的组织结构，以视觉词汇为索引记录数据集中特征出现图像号以及特征的位置、尺度和方向信息。

第二步所述的利用匹配特征对的位置和尺度方向信息，估计目标区域的中心位置，具体包括以下步骤：

1）根据查询图像中的特征点的位置和目标区域中心点位置，得到一个从特征点指向中心点的向量，表示为

2）利用特征点的尺度方向和平移变化来估计目标区域的空间变化，得到候选图像中变换后的

向量记为

其中，向量

是候选图像中从特征点指向目标区域中心位置的向量，由向量

终点得到候选图像中目标区域的中心位置的估计值。

第三步所述的通过中心位置直方图去除误匹配的特征，具体包括以下步骤：

1）利用二维直方图进行中心确认，将候选图像划分为N*M的方格；

2）利用目标区域的中心位置的估计值对图像方格进行加权投票；

3）设定阈值C，选取分值大于阈值的方格对应的匹配特征对作为正确匹配的特征对，过滤其他特征对；大于阈值C的方格数目对应数据集中图像的目标区域数目。

第四步所述的利用正确匹配特征对得到候选图像中目标区域的定位，是将每个大于阈值C的方格内的匹配特征对构成一组正确匹配特征对，利用每组正确匹配特征对定位出候选图像中的一个目标区域。

所述的利用每组正确匹配特征对定位出候选图像中的一个目标区域，具体包括以下步骤：

1）根据正确匹配特征对的估计中心位置均值计算目标区域的中心位置，用符号

表示；

2）通过正确匹配特征对的尺度变化均值计算候选图像中目标区域相对于查询图像目标的尺度变化；

3）通过正确匹配特征对的方向变化均值计算候选图像中目标区域相对与查询图像目标的方向变化；

4）根据查询图像中目标的大小，利用尺度变化值得到目标区域的大小；

5）根据目标区域的中心位置、目标区域大小以及区域方向变化，在候选图像中对目标区域进行定位。

第四步所述的利用正确匹配特征对计算候选图像的匹配分值，根据匹配分值排序返回检索结果，具体包括以下步骤：

1）将存在匹配特征对的图像称为候选图像，且候选图像的匹配分值由正确匹配特征对的匹配分值加权得到；

2）对候选图像的匹配分值从大到小进行排序，得到图像目标检索的排序结果。

所述特征对的匹配分值加权的权值为特征对中心的IDF值。

与现有技术相比，本发明具有以下有益的技术效果：

本发明充分利用了图像中的空间分布信息，能够在保持倒排索引结构的快速检索状态下对由此引入的错误匹配特征进行过滤，提高匹配的正确性和检索的准确度。并且能够在检索结果图像中定位出存在的目标区域。本发明方案的有益效果体现在以下几点：

1、检索效率高，充分利用了倒排索引结构；

2、检索结果准确，利用图像的空间信息过滤错误匹配；

3、实现图像目标定位，能够有效地定位出现的多个目标。

附图说明

图1为本发明方法的处理流程图；

图2为本发明方法中的中心估计和确认原理图；

图3为本发明方法中的目标区域定位原理图；

图4为本发明方法中的匹配过滤结果示例图。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参见图1,给出了本发明的流程示意图：

首先，根据查询图像的量化信息在倒排索引结构中查找得到查询图像与数据集中候选图像的匹配特征对。倒排索引结构是对图像数据集中特征信息的组织，以视觉词汇为索引入口，记录了量化到该视觉词汇的特征的相关信息，包括特征所属图像以及特征的尺度方向和位置信息。查询图像的量化信息记录的是查询图像中特征量化到的视觉词汇。量化到同一个视觉词汇的特征构成一对匹配特征，表示为m(f_q(x_q,y_q,s_q,θ_q),f_c(x_c,y_c,s_c,θ_c))，其中f_q表示查询图像中的特征，f_c表示候选图像中特征。因此可以根据查询图像的量化信息在倒排索引结构中查找，得到查询图像与数据集中图像的所有匹配特征对。

由于量化误差的存在，匹配的特征对并非都是正确匹配的。正确匹配特征对是在候选图像中包含目标区域的前提下，匹配特征对中两个特征点表示的是目标区域中相同位置的特征点。因此两个特征点在目标区域中的位置分布应该一致。另外由于图像的局部随整体变换，正确匹配特征对的尺度方向变化也应当与目标区域的变化一致。利用匹配特征对的尺度方向和平移变化来模拟目标区域的变化，可以在候选图像中得到变化后的特征点到中心的向量。向量的终点表示的是目标区域的中心，因此可以根据每个匹配特征对在候选图像中得到一个估计的中心位置。

图2给出了利用匹配特征对估计目标区域中心的原理图。图2（a）表示查询图像及查询目标，目标区域中心是指框定目标区域的矩形的对角线交点，用O(x_o,y_o)表示。特征点到中心的向量表示为

向量的长度和方向利用公式分别表示为：

$L=|\stackrel{\→}{l}|=\sqrt{{(x_0-x_q)}^2+{(y_0-y_q)}^2}---\left(1\right)$

$\mathrm{\Θ}=\arctan \frac{(y_0-y_q)}{(x_0-x_q)}---\left(2\right)$

候选图像中目标区域是查询图像目标经过某种空间变化后的结果。利用特征对中两个特征的尺度方向和位置变化模拟区域变化可以在候选图像中得到变化后的向量

向量的终点即为候选图像的目标区域中心。匹配特征对的尺度和方向变化由公式表示为：

$\mathrm{\ΔS}=\frac{S_c}{S_q}---\left(3\right)$

Δθ＝θ_c-θ_q    (4)

利用向量的长度和方向以及特征对的尺度和方向变化估计得到

向量的长度L′和方向Θ′：

L′=L×ΔS    (5)

Θ′＝Θ+Δθ    (6)

最后，利用向量

的长度和方向以及

起点位置(x_c,y_c)可以得到

向量的端点位置，即目标区域中心位置估计值O′(x_o′,y_o′)：

x_o′=x_c+L′cosΘ′    (7)

y_o′=y_c+L′sinΘ′    (8)

利用所有的特征匹配对进行目标区域中心估计，可以得到所有的中心位置估计值{O_i(x_i,y_i)}，如图2（b）中O₁-O₅所示。如果特征对是正确匹配的特征对那么由其估算得到的目标区域中心位置应当具有聚合性，接近真实的目标区域中心。

利用二维直方图的方式进行最后的中心确认。将候选图像划分为N*M的方格（N和M参数的选取可以用于控制检索的精度和效率），利用中心位置估计值计算图像方格的分值。中心位置落在方格内分值加1，为了降低量化误差，中心位置落在当前方格8邻域方格内对当前方格分值增加0.5。如果更加细致地考虑匹配特征对距离的影响，也可以利用高斯函数对匹配分值进行加权。考虑到数据集图像中存在多个检索目标的情况，我们通过设定阈值C（阈值C的选取可以用于控制错检率和漏检率）来确定目标区域的数目。大于阈值C的方格对应的匹配特征构成一组正确匹配特征对。利用每组正确匹配特征对可以在候选图像中定位出一个目标区域。

候选图像与查询图像目标的相似性用匹配分值来度量，候选图像的匹配分值通过所有正确匹配特征对的匹配分值加权求和得到。根据候选图像的匹配分值进行排序得到图像目标检索的排序结果。

下面是利用一组正确匹配特征对在候选图像中定位目标区域的过程：

为了对候选图像中的目标区域进行定位，利用正确匹配特征对的估计中心重新计算目标区域的中心位置，用符号

表示：

$x_{\stackrel{\‾}{O}}=\frac{1}{n_c}\underset{i=1}{\overset{n_c}{\mathrm{\Σ}}}{x}_i---\left(9\right)$

$y_{\stackrel{\‾}{O}}=\frac{1}{n_c}\underset{i=1}{\overset{n_c}{\mathrm{\Σ}}}{y}_i---\left(10\right)$

其中n_c代表候选图像中正确匹配的特征数目。正确匹配特征对的两个特征点表示的是目标区域中相同位置的特征点。然后利用正确匹配特征对估计目标区域的尺度和方向变化。(S_q,S_c)表示一对正确匹配的特征对的尺度信息，其中S_q和S_c分别表示查询图像和候选图像特征的尺度信息。匹配特征对的尺度变化由公式表示为：

$\mathrm{\ΔS}=\frac{S_c}{S_q}---\left(11\right)$

通过计算所有正确匹配对的尺度变化可以得到一组尺度变化值{ΔS_i}。正确匹配的特征对的尺度变化具有一致性，通过求取均值可以估算得到候选图像中目标区域相对于查询图像目标的尺度变化，记为

$\mathrm{\Δ}\stackrel{\‾}{S}=\frac{1}{n_c}\underset{i=1}{\overset{n_c}{\mathrm{\Σ}}}\mathrm{\Δ}{S}_i---\left(12\right)$

(θ_q,θ_c)表示一对正确匹配特征对的主方向信息，那么匹配特征对的方向变化由公式表示为：

Δθ＝θ_c-θ_q    (13)

计算所有正确匹配对的方向变化可以得到一组方向变化值{Δθ_i}。正确匹配的特征对的方向变化也具有一致性，通过求取均值可以得到候选图像中目标区域相对于查询图像目标的主方向变化，记为

$\mathrm{\Δ}\stackrel{\‾}{\mathrm{\θ}}=\frac{1}{n_c}\underset{i=1}{\overset{n_c}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\θ}}_i---\left(14\right)$

得到了候选图像中目标区域的中心位置以及目标区域的尺度和方向变化，可以在候选图像中对目标区域进行定位。(W,H)表示查询图像中目标的大小，利用尺度变化值可以得到目标区域的大小

用公式表示为：

$\hat{W}=\mathrm{\Δ}\stackrel{\‾}{S}\×W---\left(15\right)$

$\hat{H}=\mathrm{\Δ}\stackrel{\‾}{S}\×H---\left(16\right)$

最后，根据目标区域的中心位置、目标区域大小以及区域方向变化，可以在候选图像中得到一个目标区域的定位结果，如图3中虚线方框所示。如果存在多组匹配特征对，那么多组正确匹配特征对计算完成后可以在候选图像中定位出存在的多个目标区域。

图4为以“7-Eleven”图像为例的特征匹配过滤和目标区域定位示例图。候选图像中只存在一个目标区域。图4（a）为查询目标，图4（b）为一幅候选图像，第一行表示过滤前的匹配特征，第二行表示利用中心估计过滤错误匹配特征后的结果，正方形方框内的区域表示定位的目标区域。

综上所述，本发明方法不仅能够非常有效地过滤图像间错误匹配的特征对提高图像检索结果的质量，而且还能在检索到的图像中定位出目标区域，本发明中的定位方法能够很好地应对数据集图像中存在多个目标的情况。

Claims (10)

1.基于中心估计的图形目标检索定位方法，其特征在于，包括以下步骤：

第一步，根据查询图像的量化信息和倒排索引结构，得到查询图像与数据集图像的匹配特征对；

第二步，利用匹配特征对的位置和尺度方向信息，估计目标区域的中心位置；

第三步，通过中心位置直方图去除错误匹配的特征对；

第四步，利用正确匹配特征对计算候选图像的匹配分值，根据匹配分值排序返回检索结果；同时，利用正确匹配特征对，得到候选图像中目标区域的定位。

2.根据权利要求1所述的基于中心估计的图形目标检索定位方法，其特征在于，第一步所述的查询图像与数据集图像的匹配特征对是通过以下步骤得到的：

1）查询图像目标区域内特征向量，量化到距离最近视觉词汇构成查询图像的量化信息；

2）利用量化信息在倒排索引结构中查找，量化到相同视觉词汇的特征为匹配特征，得到查询图像与数据集图像的匹配特征对。

3.根据权利要求2所述的基于中心估计的图形目标检索定位方法，其特征在于，所述的视觉词汇是指由图像特征聚类过程得到的类中心向量。

4.根据权利要求2所述的基于中心估计的图形目标检索定位方法，其特征在于，所述的倒排索引结构是对数据集中所有图像特征按视觉词汇构建的组织结构，以视觉词汇为索引记录数据集中特征出现图像号以及特征的位置、尺度和方向信息。

5.根据权利要求1所述的基于中心估计的图形目标检索定位方法，其特征在于，第二步所述的利用匹配特征对的位置和尺度方向信息，估计目标区域的中心位置，具体包括以下步骤：

1）根据查询图像中的特征点的位置和目标区域中心点位置，得到一个从特征点指向中心点的向量，表示为

2）利用特征点的尺度方向和平移变化来估计目标区域的空间变化，得到候选图像中变换后的

向量记为

其中，向量

是候选图像中从特征点指向目标区域中心位置的向量，由向量

终点得到候选图像中目标区域的中心位置的估计值。

6.根据权利要求5所述的基于中心估计的图形目标检索定位方法，其特征在于，第三步所述的通过中心位置直方图去除误匹配的特征，具体包括以下步骤：

1）利用二维直方图进行中心确认，将候选图像划分为N*M的方格；

2）利用目标区域的中心位置的估计值对图像方格进行加权投票；

3）设定阈值C，选取分值大于阈值的方格对应的匹配特征对作为正确匹配的特征对，过滤其他特征对；大于阈值C的方格数目对应数据集中图像的目标区域数目。

7.根据权利要求6所述的基于中心估计的图形目标检索定位方法，其特征在于，第四步所述的利用正确匹配特征对得到候选图像中目标区域的定位，是将每个大于阈值C的方格内的匹配特征对构成一组正确匹配特征对，利用每组正确匹配特征对定位出候选图像中的一个目标区域。

8.根据权利要求7所述的基于中心估计的图形目标检索定位方法，其特征在于，所述的利用每组正确匹配特征对定位出候选图像中的一个目标区域，具体包括以下步骤：

1）根据正确匹配特征对的估计中心位置均值计算目标区域的中心位置，用符号

表示；

2）通过正确匹配特征对的尺度变化均值计算候选图像中目标区域相对于查询图像目标的尺度变化；

3）通过正确匹配特征对的方向变化均值计算候选图像中目标区域相对与查询图像目标的方向变化；

4）根据查询图像中目标的大小，利用尺度变化值得到目标区域的大小；

5）根据目标区域的中心位置、目标区域大小以及区域方向变化，在候选图像中对目标区域进行定位。

9.根据权利要求1所述的基于中心估计的图形目标检索定位方法，其特征在于，第四步所述的利用正确匹配特征对计算候选图像的匹配分值，根据匹配分值排序返回检索结果，具体包括以下步骤：

1）将存在匹配特征对的图像称为候选图像，且候选图像的匹配分值由正确匹配特征对的匹配分值加权得到；

2）对候选图像的匹配分值从大到小进行排序，得到图像目标检索的排序结果。

10.根据权利要求9所述的基于中心估计的图形目标检索定位方法，其特征在于，所述特征对的匹配分值加权的权值为特征对中心的IDF值。

Images