CN102763123B - 通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配 - Google Patents

Abstract

本发明提供一种用于图像辨识中的特征匹配的方法。首先，图像缩放可基于图像的尺度空间上的特征分布以估计图像大小/分辨率，其中使用在不同尺度下的关键点分布中的峰值来跟踪支配性图像尺度且大致跟踪对象大小。其次，替代将图像中的所有检测到的特征用于特征匹配，可基于群集密度和/或检测关键点的尺度层级来精减所述关键点。出于特征匹配的目的，落在高密度群集内的关键点可优于落在较低密度群集内的特征。第三，通过将关键点在空间上约束到群集中来增加内围层与外露层关键点比率，以便减少或避免对所述图像的几何一致性检查。

Description

通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配

依据35U.S.C.§119主张优先权

本专利申请案主张2009年12月2日申请的题目为“通过使用关键点成群集方法来改善RANSAC的局部特征分类器性能和效率及收敛速率(Improving Local FeatureClassifier Performance and Efficiency and Convergence Rate of RANSAC by Using aKeypoint Clustering Method)”的第61/265,955号美国临时申请案的优先权，所述美国临时申请案转让给本发明的受让人且特此以引用方式并入本文。

技术领域

一个特征涉及计算机视觉，且更特定来说，涉及用于改善图像辨识技术的性能、效率且降低其计算复杂性的方法和技术。

背景技术

各种应用可得益于具有能够识别视觉表示(例如，图像或图片)中的对象的机器或处理器。计算机视觉领域尝试提供准许识别图像中的对象或特征的技术和/或算法，其中对象或特征可通过识别一个或一个以上关键点的描述符来表征。这些技术和/或算法常常也适用于面部辨识、对象检测、图像匹配、3维结构构造、立体对应关系和/或运动跟踪，以及其它应用。大体上，对象或特征辨识可涉及识别图像中的关注点(也称为关键点)以用于特征识别、图像检索和/或对象辨识的目的。优选地，可选择关键点且处理其周围的小块，以使得所述关键点对图像尺度改变和/或旋转来说不变，且提供在一大范围上的失真、观看点改变和/或噪声和照度改变上的稳健匹配。此外，为了良好地适用于例如图像检索和对象辨识等任务，特征描述符可优选地在如下意义上有所不同：可对照来自多个目标图像的特征的大数据库以高概率正确地匹配单个特征。

在检测和定位图像中的关键点之后，可通过使用各种描述符来识别或描述所述关键点。举例来说，描述符可表示图像中的内容的视觉特征，例如形状、色彩、纹理和/或旋转，以及其它图像特性。随后将对应于关键点且由描述符表示的个别特征匹配于来自已知对象的特征的数据库。因此，可将对应关系搜索系统分离为三个模块：关键点检测器、特征描述符和对应关系定位器。在这三个逻辑模块中，描述符的构造复杂性和维数对特征匹配系统的性能具有直接且显著的影响。

此些特征描述符逐渐应用于实时对象辨识、3D重构、全景缝合、机器人绘图、视频跟踪和类似任务。取决于应用，特征描述符(或等效物)的传输和/或存储可限制对象检测的计算速度和/或图像数据库的大小。在移动装置(例如，相机电话、移动电话等)或分布式相机网络的情形中，在节点之间传输信息(例如，包含图像和/或图像描述符)的过程中可能花费大量的通信和电力资源。因此，特征描述符压缩对于存储、等待时间和传输的减少来说是重要的。

计算机视觉和/或图像俘获实施方案往往是处理密集的。对象辨识常常受到不精确的特征匹配过程的妨碍，不精确的特征匹配过程因仿射变换和其它失真而加剧，从而导致减少的正确肯定(辨识)和增加的错误肯定(降低的精度)。在例如对象辨识系统的分类器级、宽基线立体匹配和姿势估计等计算机视觉领域中，重要的步骤是使用受污染数据对正确模型的拟合。基本假设是数据由“内围层(inlier)”和“外露层(outlier)”组成，内围层即分布可通过模型参数的某个集合来解释的数据(或点)，外露层是不与模型拟合的数据。常常在对象辨识系统中的匹配过程之后强加几何一致性或验证来抑制外露层，但计算成本较高且常常阻碍对象辨识系统的实时操作。数据拟合模型的参数可能用于例如估计立体匹配或投影变换中的基本矩阵，以用于对象辨识中的外露层抑制和图像缝合中的外露层抑制。举例来说，随机样本一致性(RANSAC)是一种数据拟合模型，其广泛用以与受污染数据一起工作，且通过对来自数据的点集合随机取样以估计模型参数并迭代地验证所有数据以确定拟合来工作。然而，随着内围层与外露层的比率下降，RANSAC算法以指数方式变得较慢(即，较慢的收敛速率)。

因此，需要改善几何验证技术的缓慢收敛速率和/或消除对几何验证的需要。

发明内容

下文呈现一个或一个以上实施例的简化概述，以便提供对一些实施例的基本理解。此概述不是所有预期实施例的广泛概览，且既定不识别所有实施例的关键或重要元件，也不勾勒出任一或所有实施例的范围。其唯一目的是以简化形式呈现一个或一个以上实施例的一些概念，作为稍后呈现的更详细描述的序言。

提供各种特征以用于改善图像辨识系统中的特征匹配。

根据第一方面，可通过将关键点在空间上约束到群集中来增加内围层与外露层关键点比率。针对查询图像的图像获得多个关键点。关键点可为查询图像的尺度空间中的局部最大值像素或局部最小值像素。举例来说，可在对应于查询图像的模糊版本的多个尺度空间上确认关键点。在一些实例中，可通过用于关键点匹配的描述符来表示关键点。

随后基于(例如，所述多个关键点的)关键点分布来针对查询图像界定关键点群集集合。可基于以下各者中的至少一者来使关键点成群集：(a)在查询图像的尺度空间上所述关键点的空间位置，或(b)所述尺度空间中检测所述关键点的尺度层级。

随后可通过将查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配。锚匹配可为超过阈值与一个或一个以上目标图像中的关键点匹配的关键点匹配。可选择所述阈值以便排除外露层匹配，其中外露层匹配是错误肯定得关键点匹配。另外，可强加尺度层级优先级，使得锚匹配是针对查询图像中在所述查询图像的尺度空间层级的选定子集内出现的关键点的关键点匹配。锚匹配可指代至少部分地基于查询图像的关键点子集中的每一者周围的局部像素信息而匹配的那些关键点匹配。所述局部像素信息可包含像素梯度、像素色彩、群集形状或关键点分布中的至少一者。

即使在锚匹配之后，也可在所述查询关键点群集中的关键点至少部分地匹配于所述目标关键点群集中的关键点的情况下保持所述关键点。然而，可在来自所述查询关键点群集的关键点未匹配或匹配于除所述目标关键点群集外的群集中的关键点的情况下从所述查询关键点群集排除所述关键点。

在一个实例中，建立锚匹配可包含：(a)将所述查询图像中的关键点匹配于所述目标图像中的关键点；和/或(b)保持所述查询图像中的关键点的关键点匹配信息以用于关于是否应将关键点从其对应关键点群集排除的后续二进制确定。

随后，基于所述锚匹配的子集来将查询关键点群集匹配于目标关键点群集。

应注意，低于阈值的关键点匹配可视为部分匹配。对于这些部分匹配，在已将所述查询关键点群集匹配于所述目标关键点群集之后，可基于二进制决策来在群集中保持所述查询关键点群集中的关键点。针对所述查询关键点群集中的关键点的所述二进制决策可基于是否针对所述关键点已发现部分匹配且所述匹配是否在所述目标关键点群集内。

根据第二特征，作为使用图像中的所有检测到的特征用于特征匹配的替代，可基于群集密度和/或检测关键点的尺度层级来精减所述关键点。举例来说，落在高密度群集内的关键点可优于落在较低密度群集内的特征来用于特征匹配的目的。在一个实例中，在多个图像尺度空间上获得查询图像的关键点。随后，可通过如下方式来减少所述查询图像的关键点数目：(a)从所述关键点群集集合精减一个或一个以上较低密度群集，和/或(b)从所述关键点群集集合中的所述群集中的至少一些群集精减在所述查询图像的尺度空间的较低层级处检测到的关键点。为此目的，可获得所述关键点群集集合中的群集中的每一者的关键点密度。

随后，可针对查询图像产生所述减少数目的关键点的描述符。可在产生描述符之前丢弃所述经精减的关键点和/或群集。随后可将所述减少数目的关键点的描述符传输到特征匹配装置以将所述查询图像或所述查询图像中的对象匹配于目标图像。

根据第三特征，可基于图像的尺度空间上的特征分布来执行图像缩放以估计图像大小/分辨率，其中使用在不同尺度下的关键点分布中的峰值来跟踪支配性图像尺度且大致跟踪对象大小。可在查询图像的多个尺度空间上获得关键点分布。随后可基于所述关键点分布来估计查询图像的尺度。可根据所述尺度空间上的关键点的所述分布来估计所述图像尺度，使得截止尺度保留直到所述截止尺度的所述空间尺度内的阈值百分比的关键点。随后可基于所述估计的查询图像尺度来选择用于使关键点成群集的核心大小。随后可利用所述查询图像在所述选定核心大小下的模糊版本来执行关键点成群集。

类似地，提供一种特征匹配装置，其包括存储装置和处理电路。存储装置可存储多个目标图像的信息。处理电路可适于：(a)获得查询图像的多个关键点，(b)基于关键点分布而界定所述查询图像的关键点群集集合，(c)通过将所述查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配，和/或(d)基于所述锚匹配的子集来将查询关键点群集匹配于目标关键点群集。

附图说明

通过结合图式进行的下文陈述的详细描述，各种特征、性质和优点可变得显而易见，在图式中，相同的参考符号在全部图式中进行对应地识别。

图1是说明用于对所查询图像执行对象辨识的功能阶段的方框图。

图2说明示范性图像俘获阶段。

图3说明示范性图像处理阶段中的尺度空间产生。

图4说明示范性图像处理阶段中的特征检测。

图5说明示范性图像处理阶段中的特征描述符提取。

图6说明示范性图像比较阶段中的特征匹配。

图7说明所查询图像内的关键点群集。

图8(包括图8A和8B)说明如何通过使用关键点群集来改善内围层与外露层比率。

图9说明根据图8的方法的查询群集与目标群集之间的关键点匹配的实例。

图10是说明用于使用成群集执行关键点匹配的方法的流程图。

图11(包括图11A和11B)说明锚点匹配、群集对应关系和二进制关键点匹配的实例。

图12是说明图11的结果的进一步细节的表。

图13是说明逐群集匹配优于逐关键点匹配的改进的框图。

图14说明高分辨率图像的关键点分布的实例。

图15说明低分辨率图像的关键点分布的实例。

图16说明用于图像的核心缩放的方法，其促进执行群集对应关系。

图17说明基于关键点密度的群集精减。

图18是用于通过基于关键点密度精减关键点群集来减少查询图像的关键点的方法。

图19说明基于关键点尺度的关键点精减的方法。

图20是用于通过基于关键点密度精减关键点群集来减少查询图像的关键点的方法。

图21是说明图像匹配装置的实例的框图。

图22是说明适于执行图像处理以用于图像或对象辨识的示范性移动装置的框图。

图23(包括图23A、23B和23C)是说明作为对象辨识过程的部分的用于图像缩放、特征精减和/或空间上受约束特征匹配的方法的流程图。

具体实施方式

现在参考图式描述各种实施例，其中相同的参考数字用于在全部图式中指代相同的元件。在以下描述中，出于解释的目的，阐述许多特定细节以便提供对一个或一个以上实施例的彻底理解。然而，可显而易见，可在无这些特定细节的情况下实践此类实施例。在其它例子中，以框图形式展示众所周知的结构和装置以便促进描述一个或一个以上实施例。

概述

本文中所描述的各种特征涉及改进图像辨识的速度和/或效率。

根据第一方面，查询图像中的关键点被分组为群集。来自查询群集的关键点基于高对应关系阈值而匹配于目标群集。满足阈值(或更好)的查询关键点是全匹配且被视为锚点。不满足阈值但却具有对应的目标关键点的查询关键点是部分匹配。查询群集与目标群集之间的对应关系随后基于锚点而建立。在对应目标群集内具有部分匹配的额外关键点被带入查询群集中。在查询群集中忽略所有其它查询关键点(未匹配的关键点或匹配于不同的目标群集)。因为部分匹配的关键点是作为二进制决策而被带入(不是如锚点匹配中的阈值/概率决策)，所以即使存在空间上重复的结构，也接受所有可能的内围层关键点。

根据第二方面，基于在图像的尺度空间金字塔(例如，高斯尺度空间)的不同尺度下观测到的关键点分布来大致估计图像的分辨率。在不同尺度下的关键点分布中的峰值可用于跟踪支配性图像尺度并大致跟踪对象大小。此观测用于取得对对象大小的估计并使核心大小半径R与其成比例。具体来说，通过最小尺度层级来选择对象大小，所述最小尺度层级包含在此或更小(更低)的尺度下检测到的所有关键点的某一阈值百分比。如果大百分比的关键点位于尺度空间金字塔的较高尺度处或在各尺度上均匀地展开，则此指示图像具有高分辨率。否则，如果关键点集中于较低尺度，则此指示图像具有低分辨率。

根据第三方面，关键点的数目可经精减以减少在特征匹配阶段期间的计算复杂性。精减/减少关键点的两种方法包含：(a)基于群集密度精减关键点以及(b)基于检测尺度精减关键点。根据第一种方法，为了减少用于查询图像与目标图像之间的匹配的关键点群集，选择具有较高关键点密度的关键点群集，而在后续的特征匹配期间精减或忽略剩余的关键点群集(即，较低的关键点密度)。根据第二种方法，在较高尺度(较低的分辨率)下检测到的关键点被保留且在较低尺度(较高的分辨率)下的关键点被精减或忽略以用于特征匹配的目的。

示范性对象辨识过程

图1是说明用于对所查询图像执行对象辨识的功能阶段的方框图。在图像俘获阶段102处，可俘获所关注的图像108(即，所查询图像)。在图像处理阶段104中，随后通过产生对应的尺度空间110(例如，高斯尺度空间)、执行特征检测112并执行特征描述符提取116来处理所俘获的图像108。特征检测112可识别所俘获图像108的高度不同的关键点和/或几何关注的关键点，其可随后用于特征描述符提取116中以获得多个描述符。在图像比较阶段106处，这些描述符用于与已知描述符的数据库执行特征匹配122(例如，通过比较关键点和/或关键点或围绕关键点的小块的其它特性)。随后对关键点匹配执行几何验证或一致性检查124以确认正确的特征匹配并提供匹配结果126。以此方式，可将所查询图像与目标图像的数据库进行比较，和/或从目标图像的数据库识别所查询图像。

根据第一方面，图像缩放114可基于尺度空间上的特征密度或分布以估计图像大小/分辨率。在不同尺度下的关键点分布中的峰值用于跟踪支配性图像尺度并大致跟踪对象大小。如果大百分比的关键点位于尺度空间金字塔(例如，高斯尺度空间金字塔)的较高尺度或在各尺度上均匀地展开，则此指示图像具有高分辨率。否则，如果关键点集中于较低尺度，则此指示图像具有低分辨率。这允许选择与所述所估计的图像大小成比例的核心大小半径R。举例来说，通过最小尺度层级来选择对象大小，所述最小尺度层级包含在此或更小(更低)的尺度下检测到的所有关键点的某一阈值百分比。

根据第二方面，可执行特征精减118以减小需要处理和/或匹配的特征的数目。作为使用所有检测到的特征来用于特征匹配的替代，基于群集密度和/或检测其的尺度来精减特征(即，关键点)。即，为了特征匹配的目的，落入高密度群集内的特征可优于落入较低密度群集内的特征。

根据第三方面，可执行空间上受约束的特征匹配120。为了增加内围层与外露层关键点比率并减少或避免对查询图像的几何一致性检查，查询图像与目标图像之间的关键点匹配可基于关键点成群集。可通过将附近的关键点分组在一起来界定群集。随后，在查询图像与一个或一个以上目标图像之间执行关键点匹配(以高阈值)。发现全匹配(高于阈值的匹配)的关键点被视为锚点。查询图像群集和目标图像群集可基于所匹配的锚点而匹配。随后可执行二进制关键点匹配，其中(通过对应的锚点)先前在选定的目标图像群集内发现部分匹配(低于阈值的匹配)的关键点中的任一者被包含作为群集的部分。出于图像辨识的目的，从查询群集排除未匹配的关键点和/或错误匹配的关键点。

图2说明示范性图像俘获阶段102。此处，可通过图像俘获装置202俘获图像108以获得数字的所俘获图像208，图像俘获装置202可包含一个或一个以上图像传感器204和/或模/数转换器。图像传感器204(例如，电荷耦合装置(CCD)、互补金属半导体(CMOS))可将光转换为电子。电子可形成模拟信号，所述模拟信号随后被模/数转换器206转换为数字值。以此方式，可以数字格式俘获图像108，其可例如将图像I(x，y)界定为具有对应的色彩、照度和/或其它特性的多个像素。

图3说明示范性图像处理阶段104中的尺度空间产生。已开发出许多算法(例如，尺度不变特征变换(SIFT))来执行图像中的特征检测。针对图像中的特定对象的检测的第一步骤是基于其局部特征对所查询对象进行分类。目标是识别并选择对于例如照度、图像噪声、旋转、缩放和/或观看点的小改变是不变和/或稳健的特征。即，不论两个图像之间在照度、图像噪声、旋转、尺度和/或观看点上的差异，也应找到查询图像与比较目标图像之间的匹配。这样做的一种方式是对图像的小块执行极值检测(例如，局部最大值或最小值)，以识别高度不同的特征(例如，图像中的不同点、像素和/或区)。

SIFT是用于检测并提取局部特征的一种方法，所述局部特征对于照度、图像噪声、旋转、缩放上的改变和/或观看点中的小改变适度不变。用于SIFT的图像处理阶段104可包含：(a)尺度空间极值检测，(b)关键点定位，(c)定向指派，和/或(d)关键点描述符的产生。应清楚，用于特征检测及后续的特征描述符产生的替代性算法(尤其包含加速稳健特征(SURF)、梯度位置和定向直方图(GLOH)、基于局部能量的形状直方图(LESH)、经压缩的梯度直方图(CHoG))也可受益于本文中所描述的特征。

在尺度空间产生110中，数字图像I(x，y)208(图2)逐渐被模糊或平滑以构建尺度空间金字塔302。模糊(平滑)一般涉及在尺度cσ下使原始图像I(x，y)与模糊/平滑函数G(x，y，cσ)进行卷积，使得被模糊/平滑的图像L(x，y，cσ)被界定为L(x，y，cσ)＝G(x，y，cσ)*I(x，y)。此处，模糊/平滑函数G是空间滤波器核心(例如，高斯或高斯的拉普拉斯算子，及其它)，cσ表示用于模糊图像I(x，y)的模糊/平滑函数G的标准偏差。随着乘数c变化(c₀＜c₁＜c₂＜c₃＜c₄)，标准偏差cσ变化，且获得逐渐的模糊/平滑。西格玛σ是基础尺度变量(实质上是高斯核心的宽度)。当初始图像I(x，y)递增地与模糊/平滑函数G卷积以产生模糊的图像L时，模糊的图像L被尺度空间中的恒定因子c分离。随着模糊的(平滑的)图像L的数目增加且为尺度空间金字塔302提供的近似接近连续空间，所述两个尺度也接近一个尺度。在一个实例中，经卷积的图像L可通过八元组进行分组，其中八元组可对应于标准偏差σ的值的双倍。另外，乘数c的值(例如，c₀＜c₁＜c₂＜c₃＜c₄)可经选择以使得每个八元组获得固定数目(例如，多个)的经卷积的图像L。缩放的每一八元组可对应于显式图像调整大小。因此，随着通过逐渐模糊/平滑函数G模糊/平滑原始图像I(x，y)，像素的数目逐渐减小。

可通过计算尺度空间金字塔302中的任何两个连续模糊的图像的差来构建差分尺度空间(例如，高斯差(DoG))金字塔304。在差分尺度空间304中，D(x，y，a)＝L(x，y，c_nσ)-L(x，y，c_n-1σ)。差分图像D(x，y，σ)是在尺度c_nσ和c_n-1σ下的两个邻近的模糊/平滑的图像L之间的差。D(x，y，σ)的尺度位于c_nσ与c_n-1σ之间某处。可针对每个八元组从邻近的模糊图像L获得差分图像D。在每一八元组之后，可通过因子2对图像进行下取样，且随后重复过程。以此方式，可将图像变换为对于平移、旋转、尺度和/或其它图像参数和/或失真稳健或不变的局部特征。

一旦产生，用于所查询图像的差分尺度空间304可用于极值检测以识别所关注的特征(例如，识别图像中的高度不同的点)。这些高度不同的点在本文中被称作关键点。可通过围绕每一关键点的小块或局部区的特性来识别这些关键点。可针对每一关键点及其对应的小块而产生描述符，所述描述符可用于查询图像与所存储的目标图像之间的关键点的比较。“特征”可指描述符(即，关键点及其对应的小块)。特征(即，关键点及对应的小块)的群组可被称作群集。

图4说明示范性图像处理阶段104中的特征检测。在特征检测112中，差分尺度空间304可用于识别图像I(x，y)的关键点。特征检测112设法确定图像中的特定样本点或像素周围的局部区或小块是否为潜在关注的小块(几何上而言)。

一般来说，差分尺度空间304中的局部最大值和/或局部最小值经识别，且这些最大值和最小值的位置用作差分尺度空间304中的关键点位置。在图4中所说明的实例中，已用小块406识别关键点408。可通过将差分尺度空间304中的每一像素(例如，关键点408的像素)与相同尺度下的其八个相邻像素以及关键点408的两侧上的相邻尺度中的每一者中的九个相邻像素(在邻近的小块410和412中)进行比较(总共26个像素(9×2+8＝26))，而实现找出局部最大值和最小值(还称为局部极值检测)。此处，小块被界定为3×3像素区。如果关键点408的像素值是小块406、410和412中的所有二十六(26)个所比较像素中的最大者或最小者，则将其选择为关键点。可进一步处理关键点，使得更准确地识别其位置，且一些关键点(例如，低对比度关键点和边缘关键点)可丢弃。

图5说明示范性图像处理阶段104中的特征描述符提取。一般来说，特征(例如，关键点及其对应的小块)可由描述符表示，其允许所述特征(来自查询图像)与目标图像的数据库中所存储的特征的有效比较。在特征描述符提取116的一个实例中，基于局部图像梯度的方向，每一关键点可被指派一个或一个以上定向或方向。通过基于局部图像特性将一致定向指派给每一关键点，关键点描述符可相对于此定向进行表示，且因此实现对图像旋转的不变性。可针对模糊图像L中和/或关键点尺度下的关键点408周围的相邻区中的每一像素来执行量值和方向计算。位于(x，y)处的关键点408的梯度的量值可表示为m(x，y)，且位于(x，y)处的关键点的梯度的定向或方向可表示为Γ(x，y)。关键点的尺度用于选择具有最接近关键点408的尺度的尺度的模糊/平滑图像L，使得以尺度不变方式来执行所有计算。对于此尺度下的每一图像样本L(x，y)，使用像素差来计算梯度量值m(x，y)和定向Γ(x，y)。举例来说，可将量值m(x，y)计算为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y-1)-L(x,y-1))}^2}$ (等式1)

可将方向定向Γ(x，y)计算为：

$\mathrm{\Γ}(x,y)=\arctan \left[\frac{\left(L(x,y+1)L(x,y-1)\right)}{(L(x+1,y)-L(x-1,y))}\right]$ (等式2)

此处，L(x，y)为也是关键点的尺度的尺度σ下的模糊图像L(x，y，σ)的样本。

可针对尺度空间金字塔中的位于比差分尺度空间中的关键点的平面高的尺度的平面或者尺度空间金字塔的位于比所述关键点低的尺度的平面一致地计算关键点408的梯度。任一方式对于每一关键点来说，梯度全部是在围绕关键点的矩形区域(例如，小块)中的一个相同尺度下计算出。另外，在模糊图像的尺度中反映图像信号的频率。但是，SIFT仅使用所述小块(例如，矩形区域)中的所有像素处的梯度值。在关键点周围界定小块；在块内界定子块；在子块内界定样本，且此结构对于所有关键点保持相同，甚至在关键点的尺度是不同时也如此。因此，虽然图像信号的频率随着同一八元组中的模糊/平滑滤波器的连续应用而改变，但在不同尺度下识别的关键点可以相同数目的样本进行取样，而不管图像信号的频率的改变，所述改变由尺度表示。

为了表征关键点定向，可在关键点408的相邻区中产生(以SIFT)梯度定向的向量(例如，通过使用最接近关键点的尺度的尺度下的尺度空间图像)。然而，还可例如通过使用经压缩的梯度直方图(CHoG)，由梯度定向直方图(参看图5)来表示关键点定向。每一相邻像素的贡献可由梯度量值和高斯窗口加权。直方图中的峰值对应于支配性定向。可相对于关键点定向来测量关键点的所有特性，这提供对旋转的不变性。

在一个实例中，可针对每一块计算经高斯加权的梯度的分布，其中每一块是2个子块乘2个子块，总共4个子块。为计算高斯加权的梯度的分布，形成具有若干频段的定向直方图，其中每一频段覆盖关键点周围的区域的一部分。举例来说，定向直方图可具有36个频段，每一频段覆盖360度的定向范围中的10度。或者，所述直方图可具有8个频段，每一频段覆盖360度范围中的45度。应清楚，本文中所描述的直方图编码技术可适用于任何数目个频段的直方图。应注意，还可使用最终产生直方图的其它技术。

可以各种方式获得梯度分布和定向直方图。举例来说，二维梯度分布(dx，dy)(例如，方框506)被转换为一维分布(例如，直方图514)。关键点408位于围绕关键点408的小块506(还称为单元或区)的中心。针对金字塔的每一层级而预先计算的梯度被展示为每一样本位置508处的小箭头。如所示，4×4的样本区508形成子块510，且2×2的子块区形成块506。块506还可被称作描述符窗口。高斯加权函数用圆圈502展示且用于将权数指派给每一样本点408的量值。圆形窗口502中的权数平滑下降。高斯窗口502的目的是在窗口位置有小改变的情况下避免描述符的突发性改变，且给予远离描述符中心的梯度较少强调。从2×2的子块获得定向直方图512的2×2＝4阵列，其中直方图的每一频段中的8个定向产生(2x2)x8＝32维度特征描述符向量。举例来说，定向直方图513和515可对应于子块510的梯度分布。然而，使用每一直方图中具有8个定向(8频段直方图)的4×4直方图阵列(针对每一关键点产生(4x4)x8＝128维度特征描述符向量)可产生更好的结果。应注意，其它类型的量化频段星座图(例如，具有不同的弗洛诺伊(Voronoi)单元结构)也可用于获得梯度分布。

如本文中所使用，直方图是映射k_i，其对落入被称为频段的各种不相交类别中的观测、样本或出现(例如，梯度)的数目进行计数。直方图的图表仅是表示直方图的一种方式。因此，如果k是观测、样本或出现的总数目，且m是频段的总数目，则直方图k_i中的频率满足以下条件；

$n=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{k}_i$ (等式3)

其中∑是求和运算符。

来自子块的直方图可经串联以获得关键点的特征描述符向量。如果使用来自16个子块的8频段直方图中的梯度，则可产生128维度特征描述符向量。

以此方式，可获得所识别的每一关键点的描述符，其中所述描述符可由高斯加权的梯度的分布的位置(x，y)、定向和描述符来表征。应注意，图像可由一个或一个以上关键点描述符(还称作图像描述符)来表征。另外，描述符还可包含位置信息(例如，关键点的坐标)、尺度(例如，检测关键点的高斯尺度)和例如群集识别符等其它信息，等等。

图6说明示范性图像比较阶段106中的特征匹配。一旦已获得查询图像中所识别的关键点的描述符，便可将所查询图像108中的关键点与目标图像602、604、606和/或608中的点进行比较和/或匹配，以执行特征匹配122。举例来说，所查询图像中的关键点的描述符可与存储于目标图像的数据库中的一个或一个以上描述符(对应于目标图像的数据库中的关键点)进行比较，以找出一个或一个以上匹配。描述符匹配可涉及最近的相邻者搜索，其中将查询描述符与数据库中的候选描述符的库进行比较以确定最近或最接近的匹配。在若干现有技术方法中，使查询描述符与数据库中的候选描述符匹配可涉及设定一个或一个以上阈值以避免错误的肯定。举例来说，两个描述符之间的距离L2可用于验证最近的相邻者匹配(即，最短的距离被选择为匹配)。此匹配技术容易受到图像中的重复结构的描述符影响。因此，针对查询描述符的第一匹配与最近的第二匹配之间的距离比率(d1/d2)可用于过滤出非唯一的特征(例如，重复结构)。以此方式，查询图像中的关键点匹配于目标图像中的关键点。然而，仅仅因为特征在图像中重复，且错误匹配来自于彼此位于紧密空间接近度中的多个关键点，所以即使附加了距离比率测试也容易拒绝潜在的匹配。

另外，归因于姿势或照度或其它因素(例如，环境条件等)中的变化，特征匹配(例如，最近的相邻者搜索)可导致错误，因为描述符自身也可显著改变。因此，已知所述特征匹配具有过多错误匹配(被称作错误肯定)的问题。此处针对所查询图像108中的对象600说明部分特征匹配(通过虚线展示)，其中对象600的关键点已匹配于多个不同目标图像602、604、606和/或608上的多个关键点。一些关键点已匹配于不正确的图像602和608。那些相同关键点和其它关键点中的一些可能已匹配于正确的图像604。甚至在匹配于正确图像604时，所查询图像中的一些关键点也可能匹配于正确图像604的不正确的点(即，位置)(如同不正确的匹配610)。举例来说，对象600的关键点的描述符可能不正确地匹配于正确图像604的描述符。出于此原因，执行几何一致性检查124作为后处理步骤。

几何一致性检查124(还称作几何验证)经执行以确认或验证所匹配关键点中的哪一者(在特征匹配步骤中)实际上是正确的匹配。此几何验证常将数据拟合模型应用于来自所查询图像的多个关键点。举例来说，随机样本一致性(RANSAC)是用于受污染数据的数据拟合模型，且通过对来自数据的点集合进行随机取样而工作以估计模型参数并验证所有数据来确定拟合。这是用以验证正确匹配的迭代过程。

几何验证在对象辨识的管线中是主要的计算瓶颈。关键点匹配的成功验证被称作“内围层”，且关键点匹配的不成功验证被称作“外露层”。内围层匹配允许解决图像中的对象的位置和/或姿势。一旦识别出比外露层大的数目个内围层，数据拟合模型(例如，RANSAC)便可经选择且用于实施几何验证技术。在不减少内围层的同时寻求外露层抑制中的高精度(高再调用)趋于改善特征匹配，但也减慢对象辨识过程。这是因为，在寻求接受所有可能的内围层匹配的过程中，数据(来自查询图像的关键点)由于接受导致错误匹配的许多关键点(外露层)而被高度污染。随着包含更多的外露层，数据拟合模型(例如，RANSAC)趋于以指数方式减慢。相反，通过在特征匹配步骤处更具选择性(例如，增加被视为“匹配”的阈值)，不仅减少外露层匹配，而且减少内围层匹配。为了找到折衷的阈值以在减少外露层的同时取得足够的内围层以用于更快速的收敛，对各种数据集的几何验证步骤通常是不可能的。如已经注意，常规的方法(例如，最近的相邻者L2距离和/或最近的相邻者/第二最近的相邻者的比率d1/d2)对于具有空间上重复的特征的对象或在某些特征在紧密空间群集中出现时(导致在重叠的小块上构造描述符)遭受已知问题。即，空间上重复的特征常导致不正确的关键点匹配。

通过使用锚点、成群集、二进制关键点匹配来改善几何验证的性能

几何验证被用作后处理步骤以排除错误肯定的关键点匹配(即，外露层)。在执行几何验证(也被称作一致性检查)中，估计出查询图像与候选目标图像之间的最佳的假设变换，将不与此变换一致的关键点匹配作为错误肯定(即，外露层)移除。然而，几何验证在计算上较昂贵。

根据一种用于消除几何验证或改善几何验证的收敛速率的方法包含与特征匹配过程并行地对关键点匹配强加约束。即，不再在特征匹配之后应用几何验证，可在特征匹配步骤自身期间减少、避免和/或消除错误肯定的匹配。此方法增加了内围层与外露层比率，使得几何验证技术的收敛速率未减慢。

已观测到，图像中的关键点常以分组或群集出现。因此，在所查询图像中，将存在所存在的关键点的自然群集(即，局部分组)。图7说明所查询图像内的关键点群集。在此实例中，已识别出四个关键点群集704、706、708和710，这些群集中的每一者包含所查询图像108的区702的多个关键点。还已观测到，每一群集大致具有相同的关键点姿势或几何形状(例如，所有关键点的尺度和定向大致相同)。另一观测是一些群集将具有与其它群集相比更高计数的内围层。另外，群集在观看点(例如，与目标图像相比的查询图像的观看角度)上通常经保留，但大小和形状可变化。

根据一个特征，内围层与外露层比率可通过将所识别的关键点分组为群集、从关键点中选择锚点，以及建立与目标图像的锚点对应关系而得以增加，且对群集内的关键点匹配强加二进制决策。

图8(包括图8A和8B)说明如何通过使用关键点群集来改善内围层与外露层比率。

识别群集802：一旦已识别图像的多个关键点，便可识别所述图像的区702内的一个或一个以上关键点群集704、706、708和710。可例如使用非参数密度估计过程、均值移位分析来对查询图像和目标图像估计局部关键点群集。此可针对查询图像在运行中完成且针对目标图像离线完成。在识别出关键点之后，基于密度分析在关键点周围但不是在图像的每一像素周围构造群集。

建立锚点对应关系804：在每一群集内，可将一个或一个以上关键点(但不一定是群集中的所有关键点)选择为锚点805。可基于锚点在不同尺度空间上的稳健性或辨识而从群集704、706、708和710中的关键点中选择锚点。即，可将可在多个尺度上检测到的关键点选择为锚点806。可通过将群集中的每一关键点与来自数据库中的一个或一个以上目标图像的关键点进行迭代比较来完成锚点的识别。即，可比较与此些关键点相关联的描述符以确定是否存在匹配。找到强匹配(例如，高于高预定阈值和/或在高尺度空间中出现)的关键点可被视为锚点。是否出现锚点匹配或“对应关系”的决策可基于描述符距离阈值和/或尺度空间的辨识出关键点的层级。因此，锚点具有查询图像与目标图像之间的高度对应关系。锚点匹配还可考虑一些群集比其它群集更可靠(针对变形的稳健)且具有更多的内围层。在此实例中，查询群集704、706、708和710中的锚点已与第一目标图像812中的锚点匹配。

在建立锚点的此过程中，试图使查询群集中的关键点与一个或一个以上目标图像中的关键点匹配。查询群集中的一些关键点将不充分靠近目标图像中的关键点以找到匹配。举例来说，尽管查询群集中的查询关键点可具有目标群集中的对应的关键点，但其可能不充分靠近(例如，在距离上)以找到“匹配”。然而，关于这些尝试/失败的关键点匹配的信息可经保存以用于随后使用(即，用于执行二进制关键点决策808)。此类信息可例如包含目标群集中是否存在对应的关键点。

二进制关键点决策808：对于建立了锚点对应关系的每一群集，可针对群集704、706、708和710中的额外关键点做出二进制决策。此二进制决策仅仅确定查询图像的群集中的关键点是否在对应的目标图像中具有匹配。因为对查询群集中的所有关键点与目标图像中的一个或一个以上关键点的匹配的尝试已经发生以用于建立锚点，所以此关键点匹配过程不需要重复。而是，来自先前的匹配尝试的信息可用于做出此二进制关键点匹配决策。只要在目标图像中找到对应的关键点且此关键点在与查询群集的锚点相同的对应群集内，则找到二进制匹配。举例来说，群集708可能已匹配于(经由其锚点)目标图像812中的群集816。因此，查询群集708中的关键点在其在对应的目标群集816中具有对应的关键点的情况下被自动“匹配”。这导致具有局部群集内的更高密度的匹配的非常高的内围层/外露层比率。应注意，在建立锚点时已经获得了用以执行此二进制关键点匹配的所有信息，因此不需要额外的关键点比较。

图9说明根据图8的方法的查询群集与目标群集之间的关键点匹配的实例。为了确认查询群集中的锚点，可将查询群集708中的每一关键点(例如，使用其对应的描述符)与来自数据库的一个或一个以上目标图像中的关键点进行比较。可将强匹配(例如，满足高阈值的那些关键点匹配)选择为锚点。在此实例中，已将关键点QAP-1和QAP-2识别为查询群集708的锚点。应注意，如果查询群集708中的锚点与一个以上目标群集相关联，则将具有最高数目个对应的锚点的目标群集选择为对应的群集。此处，已发现目标群集816是查询群集708的对应的群集。在识别出群集对应关系(在查询群集708与目标群集816之间)之后，可对查询群集708中的剩余关键点执行二进制关键点匹配。此处，查询关键点QKP-1、QKP-2、QKP-3和QKP-4可能在先前已被排除出锚点之外，因为尽管其在目标群集中具有对应的关键点，但此对应关系不满足锚点匹配的高阈值。由于此对应关系过程已识别出这些查询关键点中的一些具有对应的关键点以及这些对应的关键点的目标群集，所以此信息可用于执行二进制关键点匹配。如果查询关键点在曾基于锚点匹配而选择的同一目标群集中具有对应的关键点，则包含所有那些关键点作为查询群集的部分以用于图像辨识目的。此处，查询关键点QKP-1、QKP-2、QKP-3和QKP-4已分别与目标群集816中的对应的关键点KP-j、KP-c、KP-d和KP-h相关联。应注意，关键点QKP-5未匹配，这意味着其可能已与不同目标群集中的关键点不正确地匹配或相关联，或没有找到其关键点匹配。

由于已建立了空间约束(即，已界定群集)，所以通常不出现外露层匹配。即，关键点不仅仅匹配于目标图像中的其它关键点，而且会匹配于对应的群集内的关键点(如由锚点匹配识别)。另外，由于这是二进制决策(不是如锚点匹配中的阈值/概率决策)，所以即使存在空间上重复的结构，也接受所有可能的内围层。

使用成群集的示范性关键点匹配

图10是说明用于使用成群集来执行关键点匹配的方法的流程图。起初，可离线处理目标图像以便构造参考图像的数据库。举例来说，可在一个或一个以上目标图像中识别出关键点1002。可针对目标图像中的每一者识别或界定关键点群集1004。类似地，对于所查询图像的实时处理，识别关键点1008，且界定关键点群集1010。应注意，此处所描述的成群集过程不是基于使图像中的每个像素成群集，而是仅针对已被分类为关键点的那些像素。

通过仅考虑总的关键点的子集(即，仅锚点)来使用初始成群集，可进一步降低计算复杂性。通过比较来自查询图像和目标图像的关键点，可识别出查询图像中的每一群集的一个或一个以上锚点1012。举例来说，可基于查询图像中的关键点与目标图像中的关键点之间的高对应关系阈值来选择所述一个或一个以上锚点。此锚点选择过程可通过将查询图像中的每一关键点的描述符与目标图像中的关键点的描述符进行比较来完成。

接下来，可基于锚点对应关系在查询图像与目标图像之间执行群集匹配1014。即，基于已在查询群集中匹配的锚点，在目标图像中选择对应的群集。举例来说，目标图像中的对应的群集可为从查询图像的群集已匹配最大数目个锚点的群集。随后，可针对查询图像在逐群集的基础上执行二进制关键点匹配1016。即，在已经执行关键点比较之后，可获得关于目标图像的群集中的最近的对应关键点的信息。具有目标群集内的部分匹配(即，低于高阈值的匹配)的关键点被保持在查询群集中。未匹配的关键点和/或错误匹配的关键点被从查询群集排除。

可以许多方式执行识别群集(例如，图8中的802)的步骤1004/1010。在给定多个关键点的情况下，可非参数地(即，没有对群集的先前数目的约束)获得这些关键点的群集。用于成群集的参数可为空间接近度。可通过用于成群集的核心大小来设定接近度尺度。除了用于成群集的空间接近度之外，还可使用色彩和纹理。在成群集的一个实例中，可使用非参数核心密度估计器将n个关键点分组为单独的群集或群组。对于关键点集合{x₁，...x_n}，其中x_iεR²是第i个关键点的坐标，用于此集合的非参数核心密度估计器可界定为：

$k\left(x\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{k}_h(x,x_i)$ (等式4)

其中k_h(x，x_i)是具有带宽h的核心。带宽指定了密度的分辨率且因此指定影响x周围的局部密度估计的点的相邻者。举例来说，对于高斯核心，带宽h对应于标准偏差

$k_h(x,x_i)=c_h{g}_h(x,x_i)=c_h\exp (-\frac{{\left|\right|x-x_i\left|\right|}^2}{2h^2})$ (等式5)

其中c_h是正规化常量，且g(x，x_i)是未正规化的高斯核心。如果核心是凸面且单调增加，则均值移位算法保证收敛到局部最大值。这可在与密度函数的梯度上升方向成比例的均值移位之后迭代地完成。对于高斯核心，均值移位可由下式给出：

$y_{j+1}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{g}_h(y_j,x_i)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_h(y_j,x_i)},$ (等式6)

其中y_j+1是在所估计的密度函数下从y_j移位的位置。因为移位是以当前位置的概率相反地加权，所以其快速收敛到局部最大值。收敛到相同的局部最大值的所有关键点均可被视为群集。

给定查询图像I_Q，尺度不变特征(被称作关键点)的集合F(I_Qj)＝{(x_Qj，y_Qj，s_QJ)}可经提取以使得其在尺度s_QJ下以坐标(x_QJ，y_QJ)为中心。空间群集的集合KQ_k，k＝{l..n_c}经界定，其中n_c是通过对F(I_Qj)使用具有半径K的圆形核心的均值移位成群集而获得的群集数目。因此，(关键点的)空间群集的集合可界定为：

KQ_k＝{(f_QJ∈F(I_Qj)，{f_j∈F(I_Qj)|cl(k)}                        (等式7)

其中cl(K)表示使用核心K的成群集。

在离线训练阶段中，数据库图像I_T可经类似处理以获得关键点群集，但具有多个不同的核心大小。此处设定的特征(关键点)可界定为F(I_Tj)。总的群集集合被界定为KT_I，其中下标“I”表示整个群集集合KT中的群集的索引。挑选查询图像I_Q的核心大小和数据库图像I_T的核心集合(即，多个核心大小)的原因是，数据库图像I_T是在多个不同尺度下取样的，从而准许不同图像尺度下的特征匹配。

对于查询图像I_Q中的每一群集(k，KQ_k)，可通过使用连续的图像小块之间的距离比率(或距离L2)阈值来获得点对应关系集合C。此对应关系集合C是初始的锚点集合(即，锚点集合)。回想到关键点(包含锚点)是由描述符表示。举例来说，查询图像I_Q中的特征(例如，关键点和/或相邻点)F(I_Qj)可由描述符D(I_Q)表示。类似地，数据库图像I_Tj中的特征(即，关键点)F(I_Tj)可由描述符D(I_T)表示。对应关系集合C包含单一查询群集(对于查询图像I_Q)中的与图像数据库中的群集中的锚点成功匹配的那些锚点因此，一个群集的锚点对应关系的集合C被界定为：

$C=\{(f_d^1,f_d^2),$ 其中(等式8)

其中运算符^是逻辑连结运算符(即，在锚点位于两个描述符群组中的情况下为真，否则为假)。锚点对应关系集合C具有很少或不具有外露层，但也具有非常少的内围层。以此方式，可获得一个群集的锚点集合(即，由锚点对应关系集合C界定)。

图11(包括图11A和11B)说明锚点匹配、群集对应关系和二进制关键点匹配的实例。图12是说明图11的结果的进一步细节的表。将查询群集i 1001的多个关键点(与描述符D1-D9相关联)与一个或一个以上目标图像的关键点进行比较以尝试找到锚点匹配。在确定锚点匹配时，使用高阈值。进行满足阈值的关键点匹配(即，关键点对应关系等于或高于阈值)，随后是锚点匹配(称为“完全匹配”)。否则，如果查询关键点未匹配或关键点对应关系小于阈值(称为“部分匹配”)，那么不进行锚点匹配。维持、保存或存储此匹配信息(包含对应的目标图像群集)用于后续使用。在此实例中，与描述符D2、D3和D4相关联的关键点已满足对应关系阈值(即，是完全匹配)。D2已与群集j+2和j+3中的关键点匹配。D3已与群集j+2中的关键点匹配。D4已与群集j和j+2中的关键点匹配。因为锚点的最大数目的完全匹配是与群集j+2，所以查询群集i 1101与目标群集j+2 1106之间的群集对应关系得以建立。因此，锚点对应关系集合C_i可包含对应于群集i 1101的描述符D2、D3和D4的锚点。随后，为了增加内围层关键点计数且减少外露层关键点计数，将包含在选定目标群集j+2 1106中找到部分匹配的其它查询关键点以作为关键点。这是二进制决策，其中只要查询关键点在选定目标群集中具有部分匹配，则将其包含作为查询群集的部分。在此实例中，将与描述符D1、D5、D7和D9相关联的查询关键点带入查询群集i 1101的关键点中。丢弃或忽略所有其它关键点，例如与描述符D6和D8相关联的那些关键点，以用于图像匹配的目的。

在一个实例中，锚点匹配(“完全匹配”)可基于L2距离而不是距离比率。也就是说，选择L2距离的阈值(例如，关键点匹配的最大误差)以使得所有外露层匹配受到抑制，即使以抑制大多数(但不是全部)的内围层匹配为代价也如此。

匹配过程也可基于尺度空间优先级，其中在较高尺度下检测到的关键点比在较低尺度下检测到的关键点优选或有利。此处，说明尺度空间金字塔1110，其展示检测各种关键点的不同尺度。已观察到，在尺度空间金字塔中在较高尺度下检测到的关键点与在较低尺度下检测到的关键点相比更稳定。这是因为高尺度特征(即，在尺度空间金字塔的较高八元组处检测到的特征)较平滑且对噪声和变形更稳健。在一个实例中，仅落在尺度空间金字塔1110的高尺度和/或中等尺度中的关键点可被视为锚点。

因此，在一个实例中，仅在L2距离小于阈值Tc且查询关键点满足预设的尺度空间优先级(例如，在尺度空间金字塔的n最高尺度下发现查询关键点)的情况下才可接受目标图像中的最近相邻者作为锚点。以此方式，所得匹配被视为锚点匹配。

应注意，即使在查询图像中存在空间上重复的特征，由锚点和群集对应关系强加的空间约束也趋于减少不正确的关键点匹配，进而改善内围层与外露层比率。

描述符的可重复性和描述性能力随着仿射改变和观看角度而变差。因此，在确定关键点/特征匹配时，还可考虑观看角度。也就是说，在查询图像具有与目标数据库图像广泛不同的观看角度的情况下，匹配错误或不准确的可能性更大。因为期望锚点对应关系集合C尽可能准确，所以可处置或避免在观看角度的某一改变之后的匹配。参考视图是场景或对象的正视图。在观看点改变时，在从参考和有角度的视图获得的描述符的L2距离与观看角度β之间存在相关性。L2范数在被选择为阈值角度的某一角度β之后达到峰值。因此，超过阈值角度β的任何匹配均可视为不可靠的。在实施方案中，可通过确定正确的关键点对应关系开始下降的阈值角度β(即，L2距离开始达到峰值的角度β)来以实验方式确认阈值角度β。

在获得群集i 1101的锚点匹配(在对应关系集合C_i中识别)之后，可获得群集对应关系集合S_k1，其包含匹配锚点。也就是说，一旦匹配群集i 1101的锚点f_i，那么基于锚点匹配，查询群集可匹配于数据库中的群集。锚点的群集对应关系集合S_k1可界定为：

S_k1＝{f_i<->f_j，其中f_i∈(k，KQ_k)且f_j∈(I，KT_I)}                   (等式9)

其中<->表示查询图像锚点f_i与目标数据库图像锚点f_j之间的对应关系。

可从整个群集集合KT_I获得目标数据库群集的索引Is为：

Is＝arg_{对于所有“I”}max(基数(S_k1))                               (等式10))

也就是说，选定的数据库群集是查询图像群集中的最多锚点匹配的群集。应注意，可能存在两个索引(例如Is1和Is2)可在等式10下提供相同解(即，发现识别与不同群集的匹配的两个或两个以上索引)的情况。如果是这样，那么选择指向具有峰值关键点密度的目标群集的索引，因为这提供具有较少外露层的较紧密的匹配。

以此方式，可实现在后续关键点匹配中增强空间约束的群集对应关系。

可以各种方式确认群集对应关系。在一个实例中，如果查询群集中的充分高百分比的锚点匹配于目标群集，那么找到群集对应关系。举例来说，如果群集对应关系集合S_k1中的锚点数目与查询图像群集KQ_k中的最低或最小锚点数目或数据库中的目标群集集合KT_I中的最低或最小锚点数目的比率大于阈值T_cluster，那么将索引Is被视为有意义的。举例来说，在以下情况下将索引Is视为有意义的：

(等式11)

其中阈值T_cluster可为用户界定的百分比或比率。等式11考虑在(群集对应关系集合S_k1中)获得的正确锚点匹配的分数是否显著足够(充分高)以形成群集对应关系。等式11将群集对应关系集合S_k1中的锚点数目除以查询群集或数据库目标群集中的最小锚点数目以考虑由于闭塞和仿射变形所致的群集大小变化。这导致不会接受查询群集与数据库(目标)群集之间的错误群集对应关系。这利用了一些群集比其它群集更稳定的观察。

在一些实施方案中，群集是否被视为有意义可考虑到显著的观看点改变将改变群集大小。因此，取决于观看点角度，被视为足以用于群集对应关系的匹配的数目可变化。举例来说，如果预期最大70度的观看点改变，那么等式11中的最小匹配分数的阈值可建模为T_cluster＝arccos(70)，其近似为0.35。这表明相对于查询群集和目标群集中的特征的数目，可存在最小数目的锚点匹配以使得可容许对应关系。

再次参见图11，一旦已执行群集对应关系，便可针对先前未被选择为锚点的那些关键点执行关键点匹配。为了产生群集中的所有匹配关键点的最终对应关系集合CN，将查询群集中的每一关键点匹配于数据库图像中的关键点。仅在查询关键点落在由索引Is识别的目标群集内的情况下才接受“匹配”。群集中的匹配关键点的最终对应关系集合CN可表示为：

(等式12)

应注意，集合CN可大于具有高数目的内围层和极少外露层的锚点对应关系集合C。应注意，当计算群集对应关系时，计算查询图像中的所有点的最近相邻者距离，且这些最近相邻者(NN)所落在的数据库基本群集(针对被接受和被拒绝匹配)也连同其L2距离一起存储。随后，当正执行每群集的关键点匹配时，针对每一关键点执行检查以确定查询关键点的最近相邻者是否已落在正确的群集中。因此，无需针对查询关键点再次计算最近相邻者。

另外，通过个别地比较每一查询群集与数据库群集(使用核心大小族来构造)，这考虑到尺度改变可能由于仿射变换而在图像上并不均匀。

图13是说明逐群集匹配优于逐关键点匹配的改进的框图。在关键点与关键点的匹配1302中，将查询图像1306的每一关键点个别地与图像数据库1308中的一个或一个以上关键点进行比较，而不考虑空间约束。在此实例中，用于查询图像1306中的关键点的描述符D1、D2、D3、D4、D5、D6、D7、D8和D9匹配于图像数据库中的关键点的描述符。如此处所说明，从D1到D9以循序或随机次序(即，空间上不受约束)比较和/或匹配描述符D1到D9。

相比之下，在逐群集匹配方法1304中，首先将关键点分组为空间上受约束群集1310、1312、1314和1316。随后，仅需要匹配每一群集内的总关键点的子集(即，锚点)，以便确认群集与群集的匹配。也就是说，在将查询图像1306中的关键点分组为群集之后，可在逐群集的基础上执行比较/匹配。举例来说，可将第一群集1310中的关键点与数据库中的关键点进行比较以确认关键点匹配。一旦已匹配足够数目或百分比的关键点，那么可在第一群集1310与图像数据库1308中的群集之间形成群集对应关系。随后，在逐群集匹配的基础上针对第二群集1312、第三群集1314和第四群集1316重复此过程。不同于逐关键点匹配方法1302，在逐群集匹配方法1304下，不需要匹配(或尝试匹配)所有关键点。而是，可在每一群集的基础上完成匹配尝试。一旦已匹配群集中的足够数目/百分比的关键点，那么无需匹配其余关键点。而是，可使用经匹配关键点来实际上将查询群集匹配于图像数据库中的目标群集。因此，通过实施空间上受约束关键点匹配而避免了大量的关键点处理。

图像缩放——调适核心大小以辅助群集对应关系

在执行查询图像与目标图像之间的关键点匹配之前，需要估计或大致确认查询图像的尺度，使得针对查询图像和目标图像两者以大致相同的尺度执行关键点比较。考虑以与同一场景或对象的目标图像略有不同的观看点下的查询图像，其中在两个图像之间存在尺度差异。对于相同的高斯核心大小‘R’(高斯金字塔中)，由于核心覆盖图像的不同大小的部分，在查询图像和目标图像中检测到的群集可不同。可能不会建立一对一群集对应关系。确定查询图像的尺度允许选择核心大小‘R’。‘尺度’可指代给定图像的分辨率。

对于任一给定图像，将存在沿着例如高斯金字塔等尺度空间金字塔(图3)的检测到的关键点的分布。高斯金字塔是在图像处理中使用的技术，且涉及产生一系列图像(即，从单个图像)，所述图像使用高斯平均(高斯模糊)向下加权且缩小。当对图像多次使用此技术时，其产生连续较小图像的堆叠或金字塔，其中每一像素含有对应于金字塔的下部层级上的像素相邻者的局部平均。

观察到，在较高尺度中检测到的关键点对应于较大特征。随着图像分辨率减小(例如，随着观看点进一步移动远离目标)，较精细细节有所减少(例如，最终变为不可检测为关键点)且在较高尺度下检测到的细节(对应于粗略细节)移动到较低尺度(对应于较精细细节)。关键点的分布因此随着图像分辨率减小而移位到较低尺度。此观察可用以获得图像的大小的估计且因此使核心大小半径‘R’与其成比例(例如，R α(1/L))，其中L是对应于特征(关键点)分布的峰值密度开始的层级(从尺度空间金字塔的顶部算起)的尺度因子。在示范性实施方案中，可缩放因子L可选自集合{1，1.5，2，2.5，3，lower_bound}。

在可为离线的训练阶段中，可对仅具有核心族的数据库图像执行成群集的处理。对于所有L＝{1，1.5，2，2.5，3，lower_bound}，核心R大小经界定为{DC/(20*L)，IY/(20*L)}。这考虑到因使具有由L界定的所有可能核心大小的数据库图像成群集所引起的查询图像与数据库图像之间的尺度变化。

如果曾在较高尺度下检测密度大的特征(关键点)，那么图像的分辨率将足够高，这将把L带到1附近且因此核心R将为图像的尺寸的1/20。如果从较低尺度检测密度大的特征，那么L将对应地增加，从而减小核心的大小以考虑图像分辨率的减小。在此实例中，将“20”选取为基线，因为观察到，在最高分辨率(800像素乘600像素)下，通过1/20尺寸的核心进行的成群集对于有效的群集对应关系来说是较好的。此基线因子可取决于最高分辨率而改变。缩放因子L扩展直到lower_bound为止。在基数(L)缩放步骤之后，核心大小的进一步减小表明了无法完成辨识或至少有意义的成群集的极小图像。虽然下界取决于所建立的八元组的数目，但通常lower_bound＝4较好地起作用，因为假设所关注对象填充最大分辨率的至少1/4。

图14说明高分辨率图像的关键点分布的实例。此处，针对图像展示尺度空间金字塔的低尺度1402、中等尺度1404和高尺度1406。应清楚，在尺度空间金字塔中可存在额外的图像尺度。如果针对图像在尺度空间金字塔的较高尺度(八元组)下检测到密度大的特征(关键点)，那么这将指示图像的分辨率较高。此处，可了解，在较高尺度1406中存在大百分比的关键点。也就是说，关键点密度或分布在高尺度1406、中等尺度1404和低尺度1402上相当均匀。因此，可假设，此图像具有相对高的分辨率(其允许多个尺度上的关键点检测)。

图15说明低分辨率图像的关键点分布的实例。此处，针对图像展示尺度空间金字塔的低尺度1502、中等尺度1504和高尺度1506。如果在尺度空间金字塔(例如，高斯金字塔)的较低尺度(八元组)下检测到密度大的特征，那么这将指示图像的分辨率较低。也就是说，随着图像分辨率减小，较精细特征减少，且在较高尺度下检测到的细节(对应于粗略特征)移动到较低尺度。此处，可了解，在较高尺度1506中不存在大百分比的关键点。也就是说，关键点密度或分布以较低尺度1502为中心。因此，可假设，此图像具有相对低的分辨率。

因此，关键点分布中的峰值可用来跟踪支配性图像尺度且大致跟踪对象大小。此观察用以获得对象的大小的估计，且因此使核心大小半径R与其成比例。具体来说，通过最小尺度层级来选择对象大小，所述最小尺度层级包含在此尺度或较低尺度下检测到的所有关键点的某一阈值百分比。在各种实例中，此百分比可在30％到50％的范围中(例如，40％)。

在一个实例中，核心大小半径R可如下给出：

$\mathrm{R\&alpha;}\frac{1}{{\mathrm{\&sigma;}}_{\max }-{\mathrm{\&sigma;}}_{\mathrm{obj}}+1},$ (等式13)

其中σ_max是金字塔中的最大尺度层级，且σ_obj是所估计的对象尺度。此处，σ_max取决于对象图像的分辨率。大体上，如果对象图像的分辨率为m乘n像素，那么核心大小如下给出：

$R=\frac{(k*\min (m,n))}{{\mathrm{\&sigma;}}_{\max }-{\mathrm{\&sigma;}}_{\mathrm{obj}}+1},$ (等式14)

其中k是缩放因子(例如，k＝1/20)。对于具有σ_obj-σ_max的对象图像，图像大小的1/20的核心大小足以表示图像中的群集。应注意，随着对象图像分辨率σ_obj减小，半径R也随着(σ_max-σ_obj+1)增加而减小。

图16说明用于图像的核心缩放的方法，其促进执行群集对应关系。对于任一给定图像，存在沿着尺度空间金字塔(图3)的检测到的关键点的分布。举例来说，可在多个不同尺度下使图像与模糊函数进行卷积以获得从低尺度到高尺度的范围的多个模糊图像1602。随后可识别所述多个模糊图像上的多个关键点1604。随后可确认所述多个尺度上的关键点的分布(例如，集中度)1606。随后可基于关键点的分布来估计图像大小1608。随后可基于所估计得图像大小来选择图像的核心大小1610。随后可利用选定核心大小下的模糊图像来执行关键点成群集1612。

基于密度精减群集和/或基于尺度精减关键点

在一些实例中，可能仅基于可用的关键点子集匹配从查询图像到目标图像的特征。举例来说，可能已识别图像的五百个关键点，但可能实际上需要仅一百(100)或两百(200)个来执行图像或对象匹配。减少关键点的数目有助于减少对象/图像辨识所需的处理。减少关键点的两种方法包含基于群集密度精减关键点和基于尺度精减关键点。

图17说明基于关键点密度的群集精减。已观察到，高密度群集往往包含较多的所关注特征。为了减少用于查询图像1702与目标图像之间的匹配的关键点群集，选择具有较高关键点密度的那些关键点群集，同时精减或忽略其余的关键点群集。随后使用选定的关键点群集用于查询图像与目标图像之间的匹配。在此实例中，在查询图像1702中识别多个关键点群集1706、1708、1710、1712和1714，每一群集分别具有关键点密度ρ1、ρ2、ρ3、ρ4和ρ5，其中ρ1＞ρ2＞ρ3＞ρ4＞ρ5。可根据关键点密度将查询群集评级。在此实例中，针对查询图像1702’选择三个最高密度群集1706、1708和1710，同时可精减或忽略最低密度群集1710和1712。随后可使用选定的关键点群集1706、1708和1710用于查询图像与一个或一个以上目标图像之间的匹配。

除了关键点密度外，在较高尺度下出现的关键点可比在较低尺度下出现的关键点具有更高评级。也就是说，可保留在较高尺度(即，较低分辨率)下检测到的关键点，同时可精减在较低尺度(即，较高分辨率)下检测到的关键点。

图18是用于通过基于关键点密度精减关键点群集来减少查询图像的关键点的方法。首先，可获得查询图像的多个关键点1802。此些关键点可在一个或一个以上尺度上检测到且可为例如高度不同的特征(例如，具有局部最大值和最小值、高对比度等的像素)。随后将关键点分组为多个群集1804。举例来说，可使用非参数密度估计过程、均值移位分析来将关键点分组为群集。随后，可获得每一群集的关键点密度1806。随后可移除或忽略来自所述多个群集的一个或一个以上低密度群集以获得具有减少数目个关键点的经精减群集集合1808。随后可使用经精减群集来用于查询图像与一个或一个以上目标图像之间的特征匹配1810。

图19说明基于关键点尺度的关键点精减的方法。关键点可在各种尺度下检测到(例如，高斯尺度空间的差异)。在不同尺度上且在同一区中的关键点可组合为一群集。可通过比在较低尺度下使图像更模糊来产生更高尺度。在此实例中，已使查询图像模糊以产生查询图像的低尺度1902、中等尺度1904和高尺度1906版本。查询图像的所得群集1908可因此包含在不同尺度下检测到的关键点。已观察到在较高尺度下检测到的关键点对于关键点匹配的目的来说更是稳健且稳定的。因此，在此方法中，保留在较高尺度下检测到的关键点，且精减或忽略较低尺度下的关键点，以用于关键点匹配的目的。应注意，一些关键点可在不同尺度下检测到。在此些情况下，使用检测关键点的最高尺度。在此实例中，多个群集1912、1914、1916、1918和1920可包含来自查询图像的多个尺度(例如，低尺度1902、中等尺度1904和高尺度1906)上的关键点。在此实例中，从所得群集1908移除在低尺度1902中识别的关键点以获得经精减群集1910。因此，经精减群集仅包含可在中等尺度1904和高尺度1906下检测的关键点。经精减群集1910中的关键点随后可用于查询图像与一个或一个以上目标图像之间的匹配。

图20是用于通过基于关键点密度精减关键点群集来减少查询图像的关键点的方法。可获得查询图像的在多个图像尺度上的多个关键点2002。此些关键点可在一个或一个以上尺度上检测到且可为例如高度不同的特征(例如，具有局部最大值和最小值、高对比度等的像素)。可任选地将关键点分组为多个群集2004。举例来说，非参数密度估计过程、均值移位分析可用于将关键点分组为群集。随后，可从所述多个关键点或群集精减在较低尺度下检测到的关键点以获得经精减关键点集合2006。随后可使用经精减关键点集合来用于查询图像与一个或一个以上目标图像之间的特征匹配2008。

在各种实施方案中，本文描述的群集精减和关键点精减方法两者可以任一顺序或次序组合。举例来说，可针对查询图像首先执行群集精减且随后可执行关键点精减。在另一实例中，可针对查询图像首先执行关键点精减且随后可执行群集精减。

示范性图像匹配装置

图21是说明图像匹配装置的实例的框图。图像匹配装置2100可包含处理电路2102，其耦合到通信接口2104、图像俘获装置2106和/或存储装置2108。通信接口2104可适于经由有线/无线网络进行通信且接收图像和/或一个或一个以上图像的特征描述符。图像俘获装置2106可为例如可俘获查询图像的数码相机。处理电路2102可包含用以从图像提取特征的图像处理电路2114和使用所提取特征来将查询图像匹配于目标图像数据库2110和/或将查询图像描述符匹配于描述符数据库2112的图像匹配电路2116。根据一个示范性实施方案，图像匹配应用尝试将查询图像匹配于图像数据库中的一个或一个以上图像。图像数据库可包含与存储在数据库2110中的一个或一个以上图像相关联的数百万个特征描述符。

图像处理电路2114可包含特征识别电路2120，其包含尺度空间产生器2122、特征检测器2124、图像缩放电路2126、特征精减电路2128和/或特征描述符提取器2130。尺度空间产生器2122可用以使图像与模糊函数进行卷积以产生例如图3中说明的多个不同尺度空间(例如，高斯尺度空间金字塔)。特征检测器2124可随后识别图像的不同尺度空间中的一个或一个以上关键点(例如，通过使用如图4中说明的局部最大值和最小值)。图像缩放电路2126可用以近似图像的尺度，以便选择执行特征检测和/或成群集的适当核心大小。特征精减电路2128通过仅使用/选择较高密度群集中的关键点(图17)和/或利用在较高尺度中检测到的关键点(图19)来减少匹配的关键点的数目。特征描述符产生器2130产生每一关键点和/或其周围小块(例如，图5中说明)的描述符。

图像匹配电路2116可包含空间上受约束的特征匹配电路2134，空间上受约束的特征匹配电路2134包含锚点检测器2136、群集产生器2138和/或二进制关键点选择器2140。锚点检测器2136可用以识别高度相关的关键点(例如，高于高阈值的匹配)，其称为锚点(图8、11和12中说明)。群集产生器2138随后执行查询图像与目标图像之间的群集匹配(图8、11和12中说明)。一旦已确认群集匹配，二进制关键点选择器2140便基于二进制决策执行将关键点添加到查询群集(图8、11和12中说明)。所得查询群集可随后用于确定图像或对象匹配。可经由通信接口21提供匹配结果(例如，提供到发送图像或特征描述符的移动装置)。

应注意，在一些实施方案中，与查询图像的关键点相关联的特征描述符集合可由图像匹配装置接收。在此情形中，查询图像已经处理(以获得描述符)。因此，可从图像匹配装置2100绕过或移除图像处理电路2114。

示范性移动装置

图22是说明适于执行图像处理以用于图像或对象辨识的示范性移动装置的框图。移动装置2200可包含处理电路2202，处理电路2202耦合到图像俘获装置2204、通信接口2210和存储装置2208。图像俘获装置2204(例如，数码相机)可适于俘获所关注的查询图像2206且将其提供到处理电路2202。处理电路2202可适于处理所俘获图像以产生特征描述符，所述特征描述符可随后经传输或使用以用于图像/对象辨识。举例来说，处理电路2202可包含或实施特征识别电路2220，特征识别电路2220包含尺度空间产生器2222、特征检测器2224、图像缩放电路2226、特征精减电路2228和/或特征描述符提取器2230。尺度空间产生器2222可用以使图像与模糊函数进行卷积以产生例如图3中说明的多个不同尺度空间(例如，高斯尺度空间金字塔)。特征检测器2224可随后识别图像的不同尺度空间中的一个或一个以上关键点(例如，通过使用如图4中说明的局部最大值和最小值)。图像缩放电路2226可用以近似图像的尺度，以便选择执行特征检测和/或成群集的适当核心大小。特征精减电路2228通过仅使用/选择较高密度群集中的关键点(图17)和/或利用在较高尺度中检测到的关键点(图19)来减少匹配的关键点的数目。特征描述符产生器2230产生每一关键点和/或其周围小块的描述符(例如，图5中说明)。

处理电路2202可随后将所述一个或一个以上特征描述符存储在存储装置2208中和/或也可通过通信网络2212经由通信接口2210(例如，无线通信接口、收发器或电路)将特征描述符传输到图像匹配服务器，所述图像匹配服务器使用所述特征描述符来识别其中的图像或对象。也就是说，图像匹配服务器可将特征描述符与其自身的特征描述符数据库进行比较以确定其数据库中的任一图像是否具有相同特征。

图23(包括图23A、23B和23C)是说明作为对象辨识过程的部分的用于图像缩放、特征精减和/或空间上受约束的特征匹配的方法的流程图。应注意，此方法的方面可独立于此方法的其它方面或与此方法的其它方面组合地实施。此方法可通过图21和/或22中说明的组件中的一者或一者以上来实施。

起初，可执行图像缩放以获得图像的适当尺度。可获得查询图像的多个关键点2302。举例来说，可在对应于查询图像的模糊版本的多个尺度空间上获得关键点。随后可在查询图像的多个尺度空间上获得关键点分布2304。随后可基于关键点分布来估计查询图像的尺度2306。在一个实例中，根据在尺度空间上的关键点分布来估计图像尺度，使得截止尺度保留直到截止尺度的空间尺度内的阈值百分比(例如，70％、75％、80％、85％、90％或95％)的关键点。随后可基于所估计的查询图像尺度选择核心大小以用于使关键点成群集2308。随后可在选定核心大小下使用查询图像的模糊版本来执行关键点成群集。

接下来，随后可执行关键点精减。首先，可获得查询图像的关键点群集集合中的群集中的每一者的关键点密度2310。举例来说，可基于关键点分布(其中紧密定位的关键点分组在一起)来界定查询图像的关键点群集集合。查询图像的关键点的数目可通过如下方式减少：从关键点群集集合精减一个或一个以上较低密度群集2312，和/或从第一关键点群集集合中的群集中的至少一些群集精减在查询图像的尺度空间的较低层级下检测到的关键点2314。可在产生描述符之前丢弃经精减的关键点和群集2316。随后可产生查询图像的减少数目个关键点的描述符2318。可将减少数目个关键点的描述符传输到特征匹配装置以将查询图像或查询图像中的对象匹配于目标图像。

随后可使用基于群集的关键点匹配来执行特征匹配。可将查询图像中的关键点匹配于一个或一个以上目标图像中的关键点2320。应注意，关键点可由用于关键点匹配的描述符表示。随后可通过将查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立查询图像的锚匹配2322。锚匹配可为超过阈值与一个或一个以上目标图像中的关键点匹配的关键点匹配。建立锚匹配可包含保持查询图像中的关键点的关键点匹配信息以用于关于是否应将关键点从其对应的关键点排除的后续二进制确定。随后可基于以下各项来建立关键点群集：(a)在查询图像的尺度空间上的关键点的空间位置，和/或(b)尺度空间中的检测关键点的尺度层级2326。可基于锚匹配的子集来将查询关键点群集匹配于目标关键点群集2328。可在关键点至少部分地匹配于目标关键点群集中的关键点的情况下将所述关键点保持在查询关键点群集中2330。可在关键点未匹配或匹配于除目标关键点群集外的群集中的关键点的情况下从查询关键点群集排除所述关键点2332。

图中说明的组件、步骤、特征和/或功能中的一者或一者以上可经再布置和/或组合为单个组件、步骤、特征或功能或者在若干组件、步骤或功能中体现。在不脱离本文揭示的新颖特征的情况下也可添加额外的元件、组件、步骤和/或功能。图中说明的设备、装置和/或组件可经配置以执行另一图中描述的方法、特征或步骤中的一者或一者以上。本文描述的算法也可有效地以软件实施和/或嵌入在硬件中。

而且应注意，可将实施例描述为一过程，其描绘为流程图、流图、结构图或框图。虽然流程图可将操作描述为循序过程，但所述操作中的许多操作可并行或同时执行。另外，操作的次序可经再布置。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于功能时，其终止对应于所述功能到调用功能或主功能的返回。

而且，存储媒体可表示用于存储数据的一个或一个以上装置，包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置和/或用于存储信息的其它机器可读媒体、处理器可读媒体和/或计算机可读媒体。术语“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”可包含(但不限于)非暂时媒体，例如便携式或固定存储装置、光学存储装置和能够存储、包含或载运指令和/或数据的各种其它媒体。因此，本文描述的各种方法可完全或部分地由可存储在“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”中且由一个或一个以上处理器、机器和/或装置执行的指令和/或数据实施。

此外，可通过硬件、软件、固件、中间件、微码或其任一组合来实施实施例。当以软件、固件、中间件或微码实施时，用以执行必要任务的程序代码或代码段可存储在例如存储媒体或其它存储装置等机器可读媒体中。处理器可执行所描述的任务。代码段可表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类或者指令、数据结构或程序语句的任一组合。代码段可通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可经由任一合适手段而传递、转发或传输，所述手段包含存储器共享、消息传递、权标传递、网络传输等。

结合本文所揭示的实例描述的各种说明性逻辑块、模块、电路、元件和/或组件可用经设计以执行本文描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件或其任一组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，所述处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算组件的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。

结合本文所揭示的实例描述的方法或算法可直接以硬件、以可由处理器执行的软件模块或以所述两者的组合、以处理单元、编程指令或其它指示的形式来体现，且可包含在单个装置中或分布于多个装置上。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸式盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。

所属领域的技术人员将进一步了解，结合本文所揭示的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或所述两者的组合。为了清楚说明硬件与软件的这种可交换性，上文已大体上在其功能性方面描述了各种说明性组件、块、模块、电路和步骤。将此类功能性实施为硬件还是软件取决于特定应用和对整个系统强加的设计约束。

在不脱离本发明的情况下，本文描述的本发明的各种特征可在不同系统中实施。应注意，上述实施例仅是实例且不应解释为限制本发明。实施例的描述既定为说明性的而不限制权利要求书的范围。由此，本教示可容易应用于其它类型的设备且所属领域的技术人员将了解许多替代方案、修改和变化。

Claims (31)

1.一种用于图像辨识中的特征匹配的方法，其包括：

获得查询图像的多个关键点；

基于关键点分布而界定所述查询图像的关键点群集集合；

通过将所述查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配，其中所述锚匹配是与一个或一个以上目标图像中的关键点匹配超过阈值的关键点匹配，且低于所述阈值的关键点匹配是对应的一个或一个以上目标图像的部分匹配；

基于目标关键点群集的所述锚匹配来将查询关键点群集匹配于所述目标关键点群集；以及

将为了群集匹配的目的而在先前作为部分匹配从所述查询关键点群集排除的关键点保持为所述查询关键点群集的部分以用于后续的几何验证操作。

2.根据权利要求1所述的方法，其中选择所述阈值以便排除外露层匹配，其中外露层匹配是错误肯定的关键点匹配。

3.根据权利要求1所述的方法，其中锚匹配是针对所述查询图像中在所述查询图像的尺度空间层级的选定子集内出现的关键点的关键点匹配。

4.根据权利要求1所述的方法，其中基于是否已针对所述关键点发现部分匹配且所述匹配是否在所述目标关键点群集内的二进制决策而在所述查询关键点群集中保持所述部分匹配的关键点。

5.根据权利要求1所述的方法，其中锚匹配是至少部分地基于所述查询图像的所述关键点子集中的每一者周围的局部像素信息而匹配的那些关键点匹配。

6.根据权利要求5所述的方法，其中所述局部像素信息包含像素梯度、像素色彩、群集形状或关键点分布中的至少一者。

7.根据权利要求1所述的方法，其中建立锚匹配包含：

将所述查询图像中的关键点匹配于所述目标图像中的关键点；

为了群集匹配的目的从所述查询关键点群集排除部分匹配的关键点；以及

保持所述查询图像中的关键点的关键点匹配信息以用于关于是否应将关键点从其对应的关键点群集排除的后续二进制确定。

8.根据权利要求1所述的方法，其进一步包括：

在关键点未匹配或匹配于除所述目标关键点群集外的群集中的关键点的情况下从所述查询关键点群集排除所述关键点。

9.根据权利要求1所述的方法，其中关键点是所述查询图像的尺度空间中的局部最大值像素或局部最小值像素。

10.根据权利要求1所述的方法，其中在对应于所述查询图像的模糊版本的多个尺度空间上确认关键点。

11.根据权利要求1所述的方法，其中通过用于关键点匹配的描述符来表示关键点。

12.根据权利要求1所述的方法，其中基于以下各者中的至少一者来使关键点成群集：

在所述查询图像的尺度空间上的所述关键点的空间位置，或

所述尺度空间中检测所述关键点的尺度层级。

13.根据权利要求1所述的方法，其中在多个图像尺度空间上获得所述查询图像的所述

关键点，且所述方法进一步包括：

通过以下各者中的一者来减少所述查询图像的关键点的数目：

从所述关键点群集集合精减一个或一个以上较低密度群集，或

从所述关键点群集集合中的所述群集中的至少一些群集精减在所述查询图像的尺度空间的较低层级下检测到的关键点。

14.根据权利要求13所述的方法，其进一步包括：

产生所述查询图像的所述减少数目个关键点的描述符。

15.根据权利要求14所述的方法，其进一步包括：

在产生描述符之前丢弃所述经精减的关键点和群集。

16.根据权利要求14所述的方法，其进一步包括：

将所述减少数目个关键点的所述描述符传输到特征匹配装置以将所述查询图像或所述查询图像中的对象匹配于目标图像。

17.根据权利要求13所述的方法，其进一步包括：

获得所述关键点群集集合中的所述群集中的每一者的关键点密度。

18.根据权利要求1所述的方法，其进一步包括：

获得所述查询图像的多个尺度空间上的关键点的分布；以及

基于关键点的所述分布来估计所述查询图像的尺度。

19.根据权利要求18所述的方法，其中根据所述尺度空间上的所述关键点的所述分布来估计所述图像尺度，使得截止尺度保留直到所述截止尺度的所述空间尺度内的阈值百分比的关键点。

20.根据权利要求18所述的方法，其进一步包括：

基于所述估计的查询图像尺度来选择用于使关键点成群集的核心大小。

21.根据权利要求20所述的方法，其进一步包括：

利用所述查询图像在所述选定核心大小下的模糊版本来执行关键点成群集。

22.一种特征匹配装置，其包括：

用于获得查询图像的多个关键点的装置；

用于基于关键点分布而界定所述查询图像的关键点群集集合的装置；

用于通过将所述查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配的装置，其中所述锚匹配是与一个或一个以上目标图像中的关键点匹配超过阈值的关键点匹配，且低于所述阈值的关键点匹配是对应的一个或一个以上目标图像的部分匹配；

用于基于目标关键点群集的所述锚匹配来将查询关键点群集匹配于所述目标关键点群集的装置；以及

用于将为了群集匹配的目的而在先前从所述查询关键点群集中排除以作为部分匹配的关键点保持为所述查询关键点群集的部分以用于后续的几何验证操作的装置。

23.根据权利要求22所述的特征匹配装置，其中所述阈值经选择以便排除外露层匹配，其中外露层匹配是错误肯定的关键点匹配。

24.根据权利要求22所述的特征匹配装置，其中锚匹配是针对所述查询图像中在所述查询图像的尺度空间层级的选定子集内出现的关键点的关键点匹配。

25.根据权利要求23所述的特征匹配装置，其进一步包括：

用于基于是否已针对所述关键点发现部分匹配且所述匹配是否在所述目标关键点群集内的二进制决策而在所述查询关键点群集中保持所述部分匹配的关键点的装置。

26.根据权利要求22所述的特征匹配装置，其中所述用于建立所述锚匹配的装置包括：

用于将所述查询图像中的关键点匹配于所述目标图像中的关键点的装置；

用于为了群集匹配的目的而从所述查询关键点群集中排除部分匹配的关键点的装置；以及

用于保持所述查询图像中的关键点的关键点匹配信息以用于关于是否应将关键点从其对应的关键点群集中排除的后续二进制确定的装置。

27.根据权利要求22所述的特征匹配装置，其进一步包括：

图像俘获装置，其用于俘获所述查询图像。

28.根据权利要求22所述的特征匹配装置，其中所述查询图像的所述关键点是在多个图像尺度空间上获得，且所述特征匹配装置进一步包括：

用于通过以下各者中的至少一者来减少所述查询图像的关键点的数目的装置：

用于从所述关键点群集集合精减一个或一个以上较低密度群集的装置，或

用于从所述关键点群集集合中的所述群集中的至少一些群集精减在所述查询图像的较低尺度空间处检测到的关键点的装置。

29.根据权利要求28所述的特征匹配装置，其进一步包括：

用于产生所述查询图像的所述减少数目个关键点的描述符的装置。

30.根据权利要求29所述的特征匹配装置，其进一步包括：

传输器，其适于将所述减少数目个关键点的所述描述符传输到特征匹配装置以将所述查询图像或所述查询图像中的对象匹配于目标图像。

31.根据权利要求22所述的特征匹配装置，其进一步包括：

用于获得所述查询图像的多个尺度空间上的关键点分布的装置；以及

用于基于所述关键点分布来估计所述查询图像的尺度的装置。