CN102016880A - 用于图像识别的尺度健壮的基于特征的标识符 - Google Patents

Abstract

一种得到图像标识符的方法包括：得到图像的尺度空间表示，并且处理尺度空间表示以检测具有极大值或极小值的多个特征点。对于与所检测到的多个特征点中的一个或更多个特点相关联的尺度相关的图像区域，得到表示。在实施方式中，图像区域的大小取决于与相应特征点相关联的尺度。使用针对尺度相关的图像区域得到的表示来得到图像标识符。图像标识符可以在用于比较图像的方法中使用。

Description

用于图像识别的尺度健壮的基于特征的标识符

技术领域

本发明涉及健壮的图像识别问题并且公开了相对于例如早期提交的共同未决专利申请EP 06255239.3、GB 0700468.2、GB 0712388.8、GB0719833.6和GB 0800364.2中所公开的那些现有技术的方法提供了优点的新方法。

背景技术

多媒体内容的健壮识别的目的在于提取可能对于多媒体内容执行的典型修改下保留的信息。该修改可以出于单纯或恶意的目的。在图像的情况下，当其中经受压缩、灰度变换、旋转、噪声、颜色变更、裁剪和平移(translate)等时，健壮的标识符应当基本上被保留。另外，标识符应当提供鉴别能力，使得无关的内容具有充分不同的标识符。

欧洲专利申请No.EP 06255239.3以及英国专利申请No.GB0700468.2、GB 0712388.8和GB 0719833.6的类似之处在于它们都基于全局信息提取标识符，全局信息是关于整个图像的信息。该系列的相关标识符以非常低的误报警率提供了接近100％的健壮性(这意味着它们提供了高鉴别能力)，通常的误报警率小于百万分之0.1。

大量图像存在于各种图像数据库中，嵌入在网页、演示文稿和文档中。著名网站的调查显示Flickr具有超过20亿个图像，Photobucket具有超过40亿并且Facebook具有17亿。用户在他们的个人收集中常常具有数千个照片，并且专业人士将具有更多。为了实际使用给出的大尺寸的数据集，标识符必须也允许非常快速的搜索。专利申请EP 06255239.3、GB 0700468.2、GB 0712388.8和GB 0719833.6中公开的技术可以允许超过每秒1千万个图像的搜索速度。

尽管对于许多普通图像修改有高水平的健壮性，但是专利申请EP06255239.3、GB 0700468.2、GB 0712388.8和GB 0719833.6中公开的现有技术的标识符对某类图像修改无法提供所需水平的健壮性，在该类图像修改中图像内容的重要部分丢失或被代替，例如平移和裁剪。GB0800364.2中公开的技术提供了在该类图像修改的情况下的显著改进的健壮性。它是涉及i)特征检测和选择，ii)特征区域和标识符提取，以及iii)匹配的处理。本发明提出了对于现有技术图像标识符的健壮性的改进。

已经在计算机视觉和对象识别领域(后面的参考文献2、3)中开发了现有技术的特征点方法。方法依赖于非常大量的点：

“该方法的重要方面在于它生成密集地覆盖图像的大量特征...尺寸500×500像素的通常图像将导致大约2000个特征。”[后面的参考文献2]

提取大量特征的结果是搜索和匹配计算变得非常慢；在原始情况下，来自查询图像的所有特征应当与来自数据库中所有图像的所有特征相比较。为了减少搜索时间，现有技术的方法使用各种形式的数据结构，然而这些结构造成了附加的数据库初始化时间、附加的存储和内存需求的成本，并且常常进行一些用较低的检测率换取提高的搜索速度的近似。

本发明涉及检测图像和它们的修改版本，其不同于许多现有技术的应用领域。特别是，图像复制检测涉及查找图像的修改版本，例如已裁剪的、已压缩的等等。相反，大部分现有技术的方法涉及检测图像中的特定对象或者一类对象，例如Ford Focus汽车。尽管这些问题之间的区别可能看起来微不足道或者细微，但是它是重要的。例如考虑伦敦圣保罗大教堂的两幅图像，从两种不同的视角拍摄了图像。现在，在对象识别任务下，应当检测这些图像之间的相似性，但是在图像复制检测下，不应当检测相似性。想到这个，需要不同的技术来处理这两种不同的问题。

GB 0800364.2中公开的方法提出了基于迹变换的二元特征点描述符。使用二元描述符的优点在于，汉明(Hamming)距离用于特征匹配，这使得搜索处理非常快。而且，选择处理将特征的数量限制为被证明对于难的图像修改(例如裁剪和平移)来说令人惊讶地健壮的小集合。尽管健壮性好，但是期望提供进一步的改进。

发明内容

根据第一方面，本发明提供了一种通过处理与图像相对应的信号来得到该图像的表示(即，图像描述符)的方法。该方法包括得到该图像的尺度空间表示。处理该尺度空间表示，以检测在尺度空间表示中具有幅度极值(即极大值或极小值)的多个特征点。针对所检测到的多个特征点中的一个或更多个特征点，该方法确定与相应特征点相关联的尺度相关的图像区域。然后得到所确定的、尺度相关的图像区域各个的表示。

因此，可以基于图像的具有最高特征强度的特征来得到图像描述符。

在实施方式中，通过将基于二阶图像梯度的第一算子应用于图像的尺度空间表示，并且识别尺度空间表示中具有最高结果值的那些特征点，来检测多个特征点。然后，第二算子可以应用到所检测到的多个特征点，第二算子是基于一阶图像梯度的，并且具有阈值之下的结果值的特征点被去除。可以从通过应用第一算子和第二算子所检测到的多个特征点中，选择预定数量的特征点。

在其它实施方式中，根据期望的应用，可以使用不同阶的算子，或者使用不同的技术，来检测多个特征点。

优选地，对于所选择的一个或更多个所检测到的特征点，通过确定图像中与特征点的空间位置相关联的空间区域，来确定尺度相关的图像区域，其中，空间区域的尺寸是基于特征点的尺度的。

所确定的、尺度相关的图像区域各个的表示可以是例如通过使用迹变换或等同物基于在图像区域上的线投影得到的。

在一个示例中，对于一个或更多个所确定的、尺度相关的图像区域中的每一个，得到图像区域的至少一部分的函数，其中图像区域的平移后的、缩放后的或旋转后的版本是该图像区域的所述函数的平移后的或缩放后的版本。得到图像区域的至少一部分的函数的步骤可以包括在图像区域上沿着线应用第一泛函。该方法还可以包括将第二泛函应用于所得到的函数，以获得图像区域的至少一部分的中间表示。

所确定的、尺度相关的图像区域各个的表示可以包括二元图像描述符。

图像的表示可以从尺度相关的图像区域的两个或更多个所得到表示来得到。

根据第二方面，本发明提供了一种使用图像的描述符比较图像的方法，所述图像的描述符是使用根据本发明第一方面的方法而得到的。该方法包括将与第一图像的描述符相关联的一个或更多个尺度相关的图像区域的表示和与第二图像的描述符相关联的一个或更多个尺度相关的图像区域的表示进行比较。

本发明的另外方面包括：使用根据本发明第一方面的方法而得到的图像表示的用途，包括发送或接收；用于执行根据本发明第一方面或第二方面，或者其两者的方法的装置，以及包括由计算机执行时执行根据本发明第一方面或第二方面或者其两者的方法的指令的计算机可读存储介质。

根据以下描述和附图，本发明的其它特征和优点将是明显的。

本发明包括按照需要改进健壮性的两个主要方面，i)区域尺度合并到特征选择及提取的处理中，和ii)提出了在计算成本最小化的同时保持健壮性的多达四个阶段的匹配处理。

使用特征检测处理来选择具有空间和尺度位置的多个特征。特征选择使用新的处理，以选择适合于任务的特征，并且其已在实验上被示出与基于迹变换的特征描述符工作得很好。

对于图像匹配，需要在检测性能、独立性、计算时间和内存需求之间做权衡。在公开的实施方式中，引入了旨在使计算时间和内存需求两者最小化的同时使检测率和独立性最大化的四个步骤的匹配处理。第一阶段快速确定具有高概率的假定(即，候选)并且排除低概率匹配，第二阶段测试这些假定并且去除大量的错误假定。第三阶段进一步排除错误假定。每个阶段对于前面的阶段而言涉及增加级别的复杂性，所以通过在处理中尽可能早地排除错误假定来管理复杂性并使复杂性最小化。

除了前述方面，本发明的其它方面包括基于图像的所选择和提取出的特征得到图像的表示，以及用于实现根据本发明一个或更多个方面的处理的装置和计算机程序。

附图说明

现在将参考附图描述本发明的实施方式，在附图中：

图1中(a)示出了图像；

图1中(b)示出了图1中(a)的图像的缩小后的版本；

图1中(c)示出了图1中(a)的图像的旋转后的版本；

图1中(d)示出了图1中(a)的图像的模糊化后的版本；

图1中(e)示出了图1中(a)的图像的翻转(左右)后的版本；

图1中(f)示出了图1中(a)的图像的严重压缩后的版本；

图1中(g)示出了图1中(a)的图像的裁剪后的版本；

图2示出了图像和根据现有技术的图像的比特串表示；

图3示出了图像的由特征检测器检测到的关注点的示例集合；

图4示出了从其选择特征的最终集合的图像，特征的尺度用圆的大小表示，并且特征的方向用线表示；

图5示出了使用根据(a)：原始图像和(b)：(a)的旋转后的版本的汉明距离所找到的匹配的关注点，其中关注点之间的线长度用于应用几何约束；

图6是根据本发明实施方式的装置的框图；并且

图7是示出根据本发明实施方式的特征标识符(a)和图像标识符(b)的结构的图。

具体实施方式

下面将描述用于得到图像的表示，特别是图像标识符，并且用于例如出于识别、匹配或验证图像的目的而使用这种表示/标识符的各种实施方式。本发明对于识别图像尤其有用于，但是不限于识别图像。在描述的实施方式中，“图像标识符”(也称作为“标识符”、“描述符”、“图像描述符”、“签名”或“图像签名”)是图像的表示的示例，并且术语仅用于指代图像的表示或者描述符。

技术人员将会理解，根据本发明实施方式的图像识别装置和方法的特定设计细节，以及图像识别中使用的图像标识符的得到，是由与图像修改类型相关的需求所确定的，它对于标识符的尺寸、提取和匹配复杂性、目标误报警率等应当是健壮的。

以下示例示出了导致对于图像的下列修改(这不是穷尽列表)健壮的标识符的一般设计：

退色(colour reduction)，

模糊，

亮度改变，

翻转(左右和上下)，

灰度级转换，

直方图均衡化，

JPEG压缩，

噪声，

旋转，

裁剪，

缩放，

平移，

歪斜(skew)，以及

透视改变。

已经发现，所提出的设计在广泛类别的图像上通常可以获得少于百万分之(PPM)一的低的误报警率，和98.0％以上的普通检测率。

图1示出了图像和图像的修改后的版本的示例。更具体地，图1中(a)是原始图像，图1中(b)是图1中(a)的图像的缩小(缩放)后的版本，图1中(c)是图1中(a)的图像的旋转后的版本，图1中(d)是图1中(a)的图像的模糊化后的版本，图1中(e)是图1中(a)的图像的翻转后的版本，图1中(f)是图1中(a)的图像的压缩后的版本，并且图1中(g)是图1中(a)的图像的裁剪后的版本。

本发明的实施方式通过处理与图像相对应的信号和/或图像数据得到了图像的表示，并且更具体地，是图像标识符。

特征点的检测和选择

与EP 06255239.3、GB 0700468.2、GB 0712388.8、GB 0719833.6和GB 0800364.2相一致，在提取图像标识符的初始阶段，可选地通过调整大小和滤波来预处理图像。调整大小的步骤用于在处理之前使图像标准化。滤波的步骤可以包括滤波以去除例如图形失真(aliasing)的影响，它还可以包括区域选择和锥化。在一个实施方式中，图像被调整大小为256×N或N×256的分辨率并且保持纵横比，其中N≥256。在另一个实施方式中，图像被调整大小为256×256的正方形。然后用3×3的高斯(Gaussian)内核来对图像进行低通滤波。预处理步骤是可选的并且可以包括上面的任意组合。

在下一个阶段中，检测图像中的特征点。一个实施方式使用特征检测器，以基于测量图像梯度来检测图像中的潜在特征和它们的强度。基于一阶图像梯度的一个适当的图像特征检测器是如在GB 0800364.2中使用的哈里斯(Harris)

${(I_x^2(x,y)I_y^2(x,y)-I_x{I}_y(x,y)I_x{I}_y(x,y))-\mathrm{\α}(I_x^2(x,y)+I_y^2(x,y))}^2---\left(1\right)$

其中I_x(x，y)是位置(x，y)处的图像强度I(x，y)的一阶导数，并且α是控制特征检测的参数。

备选的二阶检测器是拉普拉斯算子(Laplacian)(其对应于二阶偏导黑森(Hessian)矩阵的迹)

|I_xx(x，y)+I_yy(x，y)|    (2)

其中I_xx(x，y)是在位置(xy)处的图像的二阶导数。

在GB 0800364.2中，以仅仅一个尺度选择特征，即原始图像的标准化后的版本。而且，在特征周围形成从其提取特征签名的图像区域的区域是固定的。然而，在裁剪修改下，部分图像丢失。当图像(如在前述在预处理中或者由用户)被几何地标准化时，区域相对于原始图像中的同一区域变大。在严重地裁剪下，这两个区域的基于迹变换的描述符变得不可接受地不同；距离可以在用于声明相似性的阈值之上。

为了解决该问题，根据本发明的第一方面，可以使用“尺度估计”。尺度估计试图选择适当的尺度用于分析每个特征。应当注意，每个特征将与它自己的尺度相关联。

首先，得到图像的尺度空间表示。在实施方式中，可以以两种方式之一(尽管其它技术是可能和期望的)来构造图像的尺度空间表示。第一种是连续地平滑并采样原始图像，第二种是在增加滤波器尺寸的同时对图像重复地进行平滑。然后，通过找到位置尺度空间中的极大值来检测特征。已经示出了，用于平滑滤波器的最优选择是高斯(滤波器)，通过高斯(滤波器)平滑后的图像表示为

J(x，y，σ_D)＝G(σ_D)*I(x，y)    (3)

其中*是卷积算子，并且G(σ_D)是高斯滤波器，并且σ_D是确定所述尺度的平滑滤波器的标准差。

在一个实施方式中，两个检测器用于提供对尺度空间表示中的特征的位置和尺度的良好检测，一个检测器使用一阶梯度，另一个使用二阶梯度。

首先，高斯算子的变形的尺度修正后的拉普拉斯算子(the modifiedscale corrected Laplacian of Gaussian operator)

${\mathrm{\σ}}_D^{\mathrm{\γ}2}|G\left({\mathrm{\σ}}_I\right)*J_{\mathrm{xx}}(x,y,{\mathrm{\σ}}_D)+G\left({\mathrm{\σ}}_I\right)*J_{\mathrm{xx}}(x,y,{\mathrm{\σ}}_D)|---\left(4\right)$

用于检测多个特征位置和尺度(即，尺度空间表示中的特征点)。其中G(σ_I)是用于对导数进行平均的积分的高斯滤波器，σ_I是积分尺度并且γ是尺度标准化参数。引入对尺度适化拉普拉斯算子(scale adaptedLaplacian)进行平滑的积分有助于改进特征检测器的性能。

第二检测器是尺度适化哈里斯算子(scale adapted Harris operator)

$(R_x^2(x,y,{\mathrm{\σ}}_D,{\mathrm{\σ}}_I)R_y^2(x,y,{\mathrm{\σ}}_D,{\mathrm{\σ}}_I)-R_x{R}_y(x,y,{\mathrm{\σ}}_D,{\mathrm{\σ}}_I)R_x{R}_y(x,y,{\mathrm{\σ}}_D,{\mathrm{\σ}}_I))$

$-\mathrm{\α}{(R_x^2(x,y,{\mathrm{\σ}}_D,{\mathrm{\σ}}_I)+R_y^2(x,y,{\mathrm{\σ}}_D,{\mathrm{\σ}}_I))}^2---\left(5\right)$

其中

R_x(x，y，σ_D，σ_I)＝G(σ_I)*J_x(x，y，σ_D)    (6)

因此，拉普拉斯算子等式(4)应用于尺度空间中，然后选择具有最高值的位置和尺度作为潜在特征。然后从潜在特征的集合中去除具有非显著(即阈值之下)的哈里斯检测器响应的那些特征。应用如下所述的选择处理，以从使用两个检测器得到的潜在特征的集合中选择特征的代表集合。在实施方式中，选择多达预定数量的特征。

首先，根据拉普拉斯算子检测器等式(4)，从所检测到的特征中的容许的特征中选择最强的特征。如果特征比根据特征尺度计算出的半径r更接近该图像的边缘，那么拒绝该特征，参见等式(7)。按照强度的顺序来选择随后的特征，同时具有以下限制：如果特征在先前所选择的任意特征周围的排除区域内，则不选择该特征。在一个实施方式中，半径为10个像素的圆区域用作排除区域。一旦选择了预定义数量的代表特征(例如32个特征)，或者没有更多的特征剩下，则选择处理终止。

图4中示出了图2中图像的从如图3中所示的所检测到的那些特征中选择出的特征的集合，尺度由圆的尺寸表示，并且特征方向由线表示。将会理解，所检测到的特征和它们周围的图像区域是整个图像的代表或者对于整个图像来说是重要的。

既然已经选择了特征(或关注)点的位置，优选地例如使用OpenCV03/01/2008中描述的方法(FindCornerSubPix)，以所选择尺度将它们的位置改善到子像素的分辨率，OpenCV 03/01/2008可以在因特网上(在http://opencvlibrary.sourceforge.net/CvReference，后面的参考文献[1])得到。

特征区域和标识符的提取

在通过引用合并于此的GB 0719833.6中，公开了一种提取二元图像标识符或图像表示的方法。在本发明的实施方式中，应用GB 0719833.6的方法来从特征点周围的区域提取二元“特征标识符”。因此，各特征标识符是与所检测到的特征相关联的图像区域的二元表示。图像区域可以具有预定的尺寸。例如，在一个实施方式中，选择以特征点为圆心、半径为32个像素的圆形图像区域，并且为该图像区域计算二元签名。例如优选地使用三次插值，以子像素级的精度提取圆形区域。

优选地，代替使用固定的特征区域半径，使用检测特征的尺度，以适当地调整区域尺寸。要以尺度s所选择的区域的半径由以下给出：

r＝r₀σ_D， ${\mathrm{\σ}}_D=\mathrm{\κ}{\mathrm{\σ}}_0^s---\left(7\right)$

其中r₀是基础半径，σ₀是初始尺度并且κ是作为设计参数的常数。还值得注意的是，用于积分尺度(integration scale)的较好选择是

${\mathrm{\σ}}_I={\mathrm{\σ}}_0^s$

在优选实施方式中，κ＝0.6，σ₀＝1.14，r₀＝20s∈(0，1，...，S)并且S＝14。使用三次插值，以子像素精度提取由特征位置(x，y)和半径r确定的区域。然后将该区域标准化为由标准化半径给出的预定义尺寸，在优选实施方式中标准化半径

为32。然后，使用根据GB 0719833.6的方法处理所提取的区域，以得到相应的图像标识符。下面提供了该方法的简短概要。

通过在图像上以用d，θ参数化的方式投影所有可能的线并且在这些线上应用一次泛函T，来执行图像区域的迹变换T(d，θ)。可以根据GB0700468.2中公开的方法对迹变换的结果进行分解，以减小在它的维度d，θ任一个或两者中它的分辨率。二次泛函P可以应用于迹变换的列，以便给出实数的向量(即一维函数)，如在EP 06255239.3和GB 0700468.2的方法中那样。该二次泛函P已知为直径的泛函并且得到的向量已知为圆函数(circus function)。

作为三次泛函的圆泛函(circus functional)可以应用于圆函数，以给出单个数，尽管在优选实施方式中没有使用该步骤。

另选地，根据GB 0719833.6的方法，可以得到所谓的“带圆(band-circus)”函数，作为上面论述的圆函数的候选，其通过选择并处理来自仅仅一部分迹变换的值，将迹变换限制到图像的线的子集。

可以通过适当地选择一次、二次和/或三次泛函(迹、直径和圆)来控制结果的属性。

经由频率表示从圆函数(或者带圆函数)提取该图像区域的二元标识符。例如，可以在傅立叶变换的幅度系数上定义函数c(ω)。该函数的一个例示采用了相邻系数的差

c(ω)＝|F(ω)|-|F(ω+1)|    (8)

通过将阈值应用于得到的向量使得，

$b_{\mathrm{\&omega;}}=\left\{\begin{array}{cc}0,& c\left(\mathrm{\&omega;}\right)<S\\ 1,& c\left(\mathrm{\&omega;}\right)\&GreaterEqual;S\end{array}\right.$ 对于所有的ω    (9)

可以提取二进制串。

关于S的适当选择包括S＝0和S＝mean(c)。然后，图像区域的二元表示由这些二进制串的值B＝{b₀，...，b_n}来组成。

在本发明的实施方式中，因为使用了局部图像区域(相对于如在GB0719833.6中的整个图像)，需要对于这里描述的签名提取技术进行修改。特别是，根据EP 06255239.3中公开的方法，使用泛函从全迹变换的圆函数中提取两个标识符：

max(ξ(t))    (10)

和

∫|ξ(t)′|dt    (11)

根据GB 0700468.2中公开的方法，可以从通过按8、16和32的因子分解(或子采样)迹变换的距离(d)参数并且应用等式(10)和(11)两者而得到的圆函数提取另外6个“多分辨率”标识符。

根据GB 0712388.8中公开的方法，从迹变换中的带中选择另外三个函数，并且根据GB 0719833.6中公开的方法，从环形迹函数提取两个函数并且从圆形迹函数提取一个函数。

这14个分量标识符各是8比特，对于每个特征标识符给出了总共112比特。

另外，还计算在每个特征的邻域上进行积分的尺度适化的特征方向(scale adapted feature direction)：

$\mathrm{\&theta;}(x,y)={\tan }^{-1}\left(\frac{R_x(x,y,{\mathrm{\&sigma;}}_D,{\mathrm{\&sigma;}}_I)}{\mathrm{Ry}(x,y,{\mathrm{\&sigma;}}_D,{\mathrm{\&sigma;}}_I)}\right)---\left(12\right)$

方向θ量化为优选为16个级，16个级可以通过4比特数据来表示。

根据所有特征签名或一些特征签名来形成图像标识符或描述符。可以以许多方式表示关于特征点完全集的图像标识符。在优选实施方式中，图像描述符是包含许多信息字段的比特流，第一字段是特征数量。然后每个特征在比特流中表示为标准化的特征点坐标(x和y)，量化的特征方向，跟着是二元特征签名。可选地，不是存储特征数量，而是填充符(padding)可以与标志集一起使用，以表示未使用的字段。二元特征签名包括全部112比特，或者可选地可以选择、得到或存储112比特的子集。在图7(a)中示出了特征标识符的结构，并且在图7(b)中示出了图像签名。

使用特征标识符的图像匹配

可以通过比较或匹配形成图像标识符的一部分的特征签名来执行图像匹配。如前所述，为了效率，通过比较特征签名所进行的一对图像之间的完全匹配处理由四个阶段组成。在阶段一和三中形成假定。在阶段二和四中执行一系列几何测试，假定必须依次通过这些测试以前进到下一阶段。这些阶段在计算上变得越来越复杂，所以每个阶段的目标是使随后处理所接受的假定的数量最小化。

第一步骤涉及通过比较来自一个图像的N个特征签名中的第一M个与来自第二图像的N个特征签名中的第一M个，来形成用于潜在匹配特征的假定。使用M子集的优点在于它使速度加快同时保持了健壮性。在优选实施方式中N是32并且M是24。

为了执行两个签名B₁和B₂之间的匹配，采用汉明(Hamming)距离：

$H(B_1,B_2)=\mathrm{\&Sigma;}{B}_1\&CircleTimes;B_2---\left(13\right)$

其中，

是异或(XOR)算子。

在优选实施方式中，用三对匹配特征的所有组合生成假定的集合(潜在匹配特征的候选对)。由三对特征点(a₁，a₂，a₃，b₁，b₂，b₃)的集合组成假定。如果各特征对的距离在恒定阈值T_A之下，并且累计距离大约在第二恒定阈值T_B之下，则声明三对特征的集合匹配。在优选假定中，T_A＝0.06并且T_B＝0.2。假定的集合按照它们的累计距离排序，首先是最短的距离(即，匹配的概率最高)。为了最小化复杂性，可以将假定的数量限制于与最短距离相对应的K个假定。在优选实施方式中K是18。

第二步骤将几何约束应用于在阶段一所生成的各个。应用两个几何约束来减少假匹配(false match)，i)特征检测和ii)线长度比。

如上所述，方向与各特征相关联，特征_an的方向表示为θ_an。采用与来自同一图像的特征相对应的角度之间的差，以确保角度距离测度不受旋转影响。距离测度必须解决左右和上下翻转修改的问题，如这里使用这角度距离的这两种测度所实现的

Ω₁＝|(θ_a1-θ_a2)-(θ_b1-θ_b2)|和Λ₁＝|(θ_a1-θ_a2)+(θ_b1-θ_b2)|    (14)

将阈值应用于角度距离的两个测度Ω₁，Λ₁，以测试它们是否在容许的间隔内。角度距离的容许值取决于角度量化Q中的级数，并且由以下给出

Ω₁≤q或Q-q≤Ω₁≤Q+q或Λ₁≤q或Q-q≤Λ₁≤Q+q    (15)

其中q是可用于改变角度变化的敏感度的常数。在优选实施方式中，q设置为1并且Q是16。

使用在各假定中选择的特征的位置，特征之间的线长度比被用作约束，如图5中所示。我们通过|a₁a₂|表示连接特征a₁的位置到特征a₂的位置的线的长度。使用三个特征点|a₁a₂|、|a₂a₃|和|a₃a₁|来找出线长度比。计算三个线长度比

$L_1=\frac{\left|a_1{a}_2\right|}{\left|a_1{a}_3\right|},$ $L_2=\frac{\left|a_2{a}_3\right|}{\left|a_3{a}_1\right|}$ 和 $L_3=\frac{\left|a_3{a}_1\right|}{\left|a_1{a}_2\right|}.---\left(16\right)$

两个图像A和B的线长度比之间的相似性的测度(G₁，G₂，G₃)定义为：

$G_1=\frac{|L_1^A-L_1^B|}{L_1^A+L_1^B},$ $G_2=\frac{|L_2^A-L_2^B|}{L_2^A+L_2^B}$ 和 $G_3=\frac{|L_3^A-L_3^B|}{L_3^A+L_3^B}.---\left(17\right)$

有利地，图像中所定义点之间的线长度比对于例如旋转、平移和缩放的变换来说是不变的，使得上面的几何约束适合于匹配已经经历这些几何变换的图像。然而，可以使用与设计需求一致的其它适当几何约束。

在实施方式中，将两个阈值应用于距离测度，一个阈值约束单个测度的幅度，并且另一个阈值约束距离的总和。

从有效假定的集合移除在上述的一个或多个测试中失败的任何假定。如果在测试全部假定后，集合为空，那么声明图像不匹配。如果假定通过了所有测试，那么它进行到下一个阶段以生成四个特征假定。

匹配的第三阶段将来自第一图像的全部N个特征与来自第二图像的全部N个特征比较。现在，已经存在三个特征对的假定，所以目标是找到具有四个对的假定的集合，向当前三个特征对的假定添加一个或更多个特征的假定。如在阶段一中，基于签名距离寻找潜在特征。假定的集合按照第四特征的距离来排序。

在阶段四中，对于四个特征的假定的集合执行几何分析，以进一步减少误接受率。第一几何约束基于如用于三个特征的特征方向等式(14)和(15)。先前使用的线的比对于相似性变换来说是不变的。凭借四个特征，通过使用如下所述的面积比，不变性可以放宽到更一般的仿射变换。这允许设置接受真匹配同时拒绝假匹配的更紧的阈值。

根据四个特征值(a₁，a₂，a₃，a₄)的集合，可以构造四个三角形(a₁a₂a₃，a₂a₃a₄，a₃a₄a₁，a₄a₁a₂)，这些三角形的面积可以由以下得到

$A_1=\sqrt{\left(s(s-|a_1{a}_2\left|\right)(s-|a_2{a}_3\left|\right)(s-|a_3{a}_1)\right)},---\left(18\right)$

其中s＝(|a₁a₂|+|a₂a₃|+|a₃a₁|)/2。然后，面积比可以计算为

$A_{1/2}=\frac{A_1}{A_2},---\left(19\right)$

并且然后可以由下式得到图像A的面积比和图像B的面积比之间的距离

$D(A_{1/2},B_{1/2})=\frac{|A_{1/2}-B_{1/2}|}{A_{1/2}+B_{1/2}}.---\left(20\right)$

将两个阈值T_c和T_D应用到特征集合之间的四个面积比距离的集合。第一阈值拒绝具有第一阈值T_c之上的任何面积比距离的假定。第二阈值拒绝距离总和大于阈值T_D的假定。在优选实施方式中，T_c＝0.15并且T_D＝0.4。

本发明的上述实施方式的图像匹配技术可以与其它图像匹配技术组合，例如GB 0719833.6中所公开的方法。对于包含全部单个标识符的每个图像生成描述符。在优选实施方式中，标识符比特流包含基于GB0719833.6的两个标识符，和根据本发明的描述符。在基于GB 0719833.6的两个标识符中，第一个标识符是通过预处理图像以保持图像纵横比来生成的，并且另一个标识符是在被处理为正方形时产生的。

优选地，首先以非常低的误报警阈值用GB 0719833.6的快速算法来执行匹配。阈值之下的任何图像对被认为是匹配的，并且然后根据本发明处理阈值之上(即GB 0719833.6不认为是匹配)的对。

图6中示出了根据实施方式的用于实现本发明的、用于执行上面的方法的装置。实现涉及建立在图像数据库230中存储的图像的标识符的数据库240。两个数据库230和240可以是同一数据库或分开的数据库。装置允许在标识符数据库140搜索从查询图像250提取的标识符260以寻找匹配。可能排序的图像列表返回给用户290或查询应用。

如本领域技术人员将会理解的，可以对所描述的实施方式做出许多变化和修改。例如，尽管所描述的实施方式基于特征检测识别从其得到图像签名的图像区域，但是可以使用其它技术以识别作为图像的表示的图像区域或者图像内重要的图像区域。而且，尽管所描述的实施方式使用了基于图像梯度法的特征检测器，但是可以使用许多其它适当方法来检测图像中的关注点或区域。类似地，用于选择最好或最强的检测特征或关注点的其它技术也是可以的。

另外，除了在所描述的实施方式中使用的涉及与三个特征点的集合相关联的线长度之比的距离测度，也可以使用各种几何约束中的一种或多种。例如，任何数量的特征点可以与距离测度一起使用。作为候选，其它几何约束可以基于特征点之间的角度。而且，可以使用仿射模型来定义几何约束。

旨在包括落入本发明精神和范围内的所有这些变化、修改和等同物。候选实现

尽管上面的描述使用了强力搜索(brute force search)来生成假定，但是在某些情况下，使用允许近似汉明距离计算的结构可能是有利的。这将以某些检测级别的为代价提供增加的搜索速度。

给出的特征匹配方法可以适于制作沿着[以下参考文献4]中给出的思路的概率模型。

参考文献

1.Open CV Reference Manual，Chapter 1：Image ProcessingGradients，Edge and Corners-“FindCornerSubPix”：http://opencvlibrary.sourceforge.net/CvReference

2.D.G.Lowe，“Distinctive Image Features from Scale InvariantKeypoints”，International Journal of Computer Vision，60，2，2004.pp.91-110。

3.D.G.Lowe，“Method and apparatus for identifying scale invariantfeatures in an image and use of same for locating an object in an image”，US6,711,293，Mar.2000。

4.C.Schmid，“A Structured Probabilistic Model for Recognition”，Proc.Computer Vision and Pattern Recognition，2，485-490，Jun.1999。

Claims (36)

1.一种通过处理与图像相对应的信号来得到该图像的表示的方法，所述方法包括以下步骤：

得到所述图像的尺度空间表示；

处理所述尺度空间表示，以检测具有幅度极值的多个特征点；

针对所检测到的所述多个特征点中的一个或更多个特征点，确定与相应特征点相关联的尺度相关的图像区域；以及

得到所确定的、尺度相关的图像区域各个的表示。

2.根据权利要求1所述的方法，其中，通过将基于二阶图像梯度的算子应用于所述图像的所述尺度空间表示，并且识别所述尺度空间表示中具有最高结果值的那些特征点，来检测所述多个特征点。

3.根据权利要求1或2所述的方法，所述方法还包括以下步骤：

选择步骤，从所检测到的所述多个特征点选择预定数量的特征点；以及

确定与各个所选择的特征点相关联的尺度相关的图像区域。

4.根据权利要求3所述的方法，其中，所述选择步骤包括从所检测到的所述多个特征点去除具有尺度空间表示中的最低幅度值的、或者在在尺度空间表示中的幅度值在阈值之下的那些特征点。

5.根据权利要求3或权利要求4所述的方法，其中，所述选择步骤包括从所检测到的所述多个特征点中根据特征点在图像中的空间位置去除特征点。

6.根据权利要求5所述的方法，其中，所选择的特征点的空间位置大致遍布所述图像而分布，并且优选地，在所述图像中各个所选择的特征点的空间位置与其它所选择的特征点分开至少预定距离。

7.根据权利要求3、4、5或6所述的方法，其中，所述选择步骤包括：将算子应用于所检测到的所述多个特征点，所述算子基于一阶图像梯度；以及去除具有低于阈值的结果值的特征点。

8.根据权利要求7所述的方法，其中，所述算子是尺度适化哈里斯算子。

10.根据前述任一权利要求所述的方法，其中，针对所述尺度空间表示中的特征点确定尺度相关的图像区域的步骤包括确定所述图像的与所述特征点的所述空间位置相关联的空间区域，其中，所述空间区域的尺寸基于所述特征点的尺度。

11.根据前述任一权利要求所述的方法，所述方法还包括以下步骤：

在确定尺度相关的图像区域之前，将所述一个或更多个特征点的所述空间位置改善到子像素分辨率，优选地采用三次插值将所述一个或更多个特征点的所述空间位置改善到子像素分辨率。

12.根据前述任一权利要求所述的方法，其中，得到所确定的、尺度相关的图像区域各个的表示的步骤包括：基于在所述图像区域上的线投影得到表示，优选地使用迹变换或等同物基于在所述图像区域上的线投影得到表示。

13.根据前述任一权利要求所述的方法，其中，得到所确定的、尺度相关的图像区域各个的表示的步骤包括：

得到所述图像区域的至少一部分的函数；以及

使用所述函数，以获得所述图像区域的所述至少一部分的中间表示。

14.根据权利要求13所述的方法，所述方法包括以下步骤：

针对一个或多个所述所确定的、尺度相关的图像区域中的各个：

得到所述图像区域的至少一部分的函数，其中，图像区域的平移后、缩放后的或旋转后的版本的所述函数是所述图像区域的所述函数的平移后的或缩放后的版本。

15.根据权利要求13或14所述的方法，其中，

得到所述图像区域的至少一部分的函数的步骤包括：在所述图像区域上沿着线应用第一泛函，所述方法优选地还包括以下步骤：

将第二泛函应用于所得到的函数，以获得所述图像区域的所述至少一部分的中间表示。

16.根据前述任一权利要求所述的方法，所述方法还包括以下步骤：

从所述尺度相关的图像区域的两个或更多所得到的表示，得到所述图像的所述表示。

17.根据前述任一权利要求所述的方法，所述方法还包括以下步骤：

针对所述多个特征点中的所述一个或更多个特征点，来确定所述特征点的特征方向，优选地通过在所述特征点的邻域上进行积分来确定所述特征点的特征方向。

18.根据权利要求17所述的方法，其中，使用以下等式确定所述特征方向：

$\mathrm{\&theta;}(x,y)={\tan }^{-1}\left(\frac{R_x(x,y,{\mathrm{\&sigma;}}_D,{\mathrm{\&sigma;}}_I)}{\mathrm{Ry}(x,y,{\mathrm{\&sigma;}}_D,{\mathrm{\&sigma;}}_I)}\right)---\left(12\right)$

其中：θ是在空间位置(x，y)处所述特征点的所述特征方向。

20.根据前述任一权利要求所述的方法，其中，得到所确定的、尺度相关的图像区域各个的表示的步骤包括得到所述尺度相关的图像区域的二元图像描述符。

21.一种使用图像的描述符比较图像的方法，所述图像的描述符是使用前述任一权利要求所述的方法而得到的，所述方法包括以下步骤：

将与第一图像的所述描述符相关联的一个或更多个尺度相关的图像区域的表示和与第二图像的所述描述符相关联的一个或更多个尺度相关的图像区域的表示进行比较。

22.根据权利要求21所述的方法，所述方法包括以下步骤：

将第一图像的所述描述符的图像区域的表示的子集与第二图像的所述描述符的图像区域的表示的对应子集进行比较，以识别匹配图像区域的候选对。

23.根据权利要求21或权利要求22所述的方法，所述方法包括以下步骤：

确定与所述第一图像的所述描述符中表示的图像区域相关联的预定数量的特征点的第一多个集合；

确定与所述第二图像的所述描述符中表示的图像区域相关联的所述预定数量的特征点的第二多个集合；

使用匹配算法，将所确定的第一多个集合的集合与所确定的第二多个集合的集合进行比较。

24.根据权利要求23所述的方法，其中，所述预定数量为3，并且所述匹配算法基于与所述第一图像和所述第二图像中的特征点相关联的图像区域的一对表示之间的汉明距离，以及与所述第一图像和所述第二图像中的特征点相关联的图像区域的三对表示之间的累计汉明距离。

25.根据权利要求24所述的方法，所述方法还包括以下步骤：

在所述第一图像和所述第二图像中，当所述汉明距离在第一阈值之下并且所述累计汉明距离在第二阈值之下时，确定为特征点的候选匹配集合。

26.根据权利要求25所述的方法，所述方法还包括以下步骤：

将几何约束应用于各个所述候选匹配集合的几何信息，以从所述候选集合中消除假匹配。

27.根据权利要求26所述的方法，其中，应用几何约束的步骤包括：

确定所述候选集合中各个特征点之间的空间线长度；

确定所述第一图像和所述第二图像的所述候选集合中的线对之间的比，以及

得到与所述第一图像相关联的所确定的线长度比和与所述第二图像相关联的所确定的线长度比之间的至少一个相似性测度。

28.根据权利要求26或权利要求27所述的方法，其中，与所述特征点相关联的所述图像区域的表示包括特征方向信息，并且所述几何约束把特征方向考虑在内。

29.根据权利要求26、27或28所述的方法，所述方法还包括以下步骤：

如果相似性测度在阈值之下，则从所述候选集合消除特征点的候选匹配集合。

30.根据权利要求26、27、28或29所述的方法，所述方法还包括以下步骤：

如果没有候选匹配集合，则确定所述第一图像和所述第二图像不匹配。

31.根据权利要求30所述的方法，所述方法还包括以下步骤：

如果候选匹配集合剩余，则：

将第一图像的所述描述符的所有图像区域的表示与第二图像的所述描述符的所有图像区域的表示进行比较，以确定未出现在所述候选集合中的特征点的另外匹配集合。

32.根据权利要求31所述的方法，其中，基于所述第一图像和所述第二图像的未出现在所述候选集合中的特征点之间的最低汉明距离，来确定特征点的另外匹配集合。

33.根据权利要求31或权利要求32所述的方法，所述方法还包括以下步骤：

将所确定的特征点的另外匹配集合添加到所述候选集合，以产生更新后的候选集合；以及

将几何约束应用于四个特征点的更新后的候选匹配集合各个的几何信息，以进一步从所述候选集合消除假匹配。

34.使用权利要求1到20中任一项所述的方法而得到的图像的表示的用途，例如包括所述图像的表示的发送或接收。

35.一种用于执行权利要求1到33中任一项所述的方法的设备。

36.根据权利要求35所述的设备，所述设备包括控制装置，其用于控制所述装置的操作，以执行权利要求1到20和/或权利要求21到33中任一项所述的方法。

37.根据权利要求36所述的设备，所述设备还包括用于存储图像和/或图像的表示的存储装置、显示装置和图像选择装置中的一个或更多个，所述存储装置例如是图像数据库和/或描述符数据库。

38.一种包括当由计算机执行时执行权利要求1到20和/或权利要求21到33中任一项所述的方法的指令的计算机存储介质。

Images