CN103959307B

CN103959307B - 从灰度图像中检测和描述特征的方法

Info

Publication number: CN103959307B
Application number: CN201180073206.1A
Authority: CN
Inventors: D·库尔茨; 彼得·梅尔
Original assignee: Metaio GmbH
Current assignee: Apple Inc
Priority date: 2011-08-31
Filing date: 2011-08-31
Publication date: 2017-10-24
Anticipated expiration: 2031-08-31
Also published as: EP2761535A1; US9679384B2; CN103959307A; US20140254874A1; WO2013029673A1

Abstract

本发明提供了从灰度图像中检测和描述特征的方法。在若干方面的一个中，方法包括步骤：提供由捕获设备捕获的灰度图像，提供用于确定灰度图像中的至少一个元素的深度的方法，在特征检测处理中检测灰度图像中的至少一个特征，其中通过处理尺度处的灰度图像的图像灰度信息来执行特征检测，所述尺度取决于灰度图像中至少一个元素的深度，以及提供所述至少一个检测到的特征的特征描述符。例如，特征描述符包含至少一个第一参数和至少一个第二参数，所述至少一个第一参数基于由灰度图像提供的信息，所述至少一个第二参数是尺度的指示。

Description

从灰度图像中检测和描述特征的方法

本发明致力于从灰度图像中检测和描述特征的方法。

摄像机采用的图像处理中的众多任务（诸如在增强现实应用和计算机视觉中）需要找到在多个图像中相同对象或场景的点或特征，所述点或特征对应相同的物理3D结构。通用的方法，例如在SIFT[1]中是使用具有高再重复性的方法来首先检测图像中的特征。这意味着，对于不同的视角、不同的旋转和照度设置，将对应相同的物理3D表面的点选为特征的概率高。

特征是图像中的显著元素，其能够是点（经常称作关键点或者兴趣点）、线、曲线、连通区域、或者任意像素的集合。通常在尺度空间中提取特征，即，在不同的尺度处提取特征。因此，每一个特征除了在图像中的其两维位置之外还具有可重复的尺度。此外，通常从围绕特征的区域中的像素的灰度中计算可重复的方位（旋转），例如，作为灰度梯度的主方向。

最终，为了能使特征的比较和匹配，需要特征描述符。通用的方法使用特征的计算出的尺度和方位来变换描述符的坐标，其提供了对于旋转和尺度的不变性。最后，描述符是n维向量，其通常通过连接本地图像灰度的函数直方图来构造，诸如[1]中公开的梯度。

图1以流程图概述了特征检测和描述的标准方法。首先，在步骤S11中，加载或者通过摄像机捕获灰度图像I，其接着在步骤S12中所述灰度图像I可选地经历预处理。接着，在步骤S14中，在步骤S13中已经定义尺度空间或者离散尺度集合之后，在此尺度空间检测特征并且计算和与图像中的每个特征的尺度和位置一起存储他们的正则方位（旋转）。所检测的特征以F(s，x，y，o)来指定，其中，s指定尺度，x、y指定二维位置，以及o指定特征F的方位。接着，在最终在应用中使用所提取的特征（步骤S16）之前，在步骤S15中描述他们，其中，v指定描述符。

标准方法的限制：

任意两维计算机视觉方法的强的限制在于其操作在投影空间。这使得不可能从自对象的实际物理尺度得到的尺度中辨别自对象到摄像机的距离中得到的尺度。

在众多应用中明确期望对于从自摄像机到对象的距离中得到的尺度的不变性，并且所述不变性是尺度不变性的原始动机。但是，在不同的物理尺度处存在相似特征的情况下，对于尺度的不变性使得他们不可辨别。例如，如在[1]中所描述的描述符将不能在真实建筑和其小型模型之间辨别。

除此之外，通过从图像灰度中计算特征可重复的尺度来提供尺度-变性的方法高度取决于这一计算出的尺度的精确性和可重复性。

已经提议的方案：

使用围绕每一个特征的小块上的相似性或距离函数，例如归一化互相关（NCC）或者绝对差之和（SAD），来比较特征的大多数朴素方法能够在不同的尺度处的相似特征之间辨别。但是，这些技术对于自摄像机和对象之间的距离得到的尺度不是不变的，这在真实世界应用中是明确期望的。这意味着，他们将能够从小型模型中辨别真实建筑，但是他们不能从不同的距离中匹配建筑或小型模型。

存在工作在组合的范围-灰度数据上的方法。除了灰度图像之外，他们利用范围图，所述范围图包含与灰度图像相关联的密集的深度信息。像素的深度指捕获设备的主点和成像在此像素上的物理3D表面之间的距离。

图2示出了由玩偶的两个集合S1和S2（每一个集合包括高和小玩偶）、以及捕获设备CD组成的场景。使用捕获设备将集合S1的物理点PP1成像在像素IP1中。这一像素的深度为D1，即捕获设备的光学中心OC和物理点PP1之间的距离，其中，所述捕获设备的光学中心OC定义了摄像机坐标系的原点。类似地，将集合S2的第二物理点PP2成像在IP2中并且具有深度D2。注意，摄像机固有参数（特别是焦距）的估计，允许在给定点PP1的深度D1和在图像平面IP1上的其像素位置下，计算点PP1的笛卡尔坐标中的3D位置。

Smith等人[5]给出了在图4中说明的从组合的范围-灰度数据中检测和描述物理尺度处的特征的方法。给定灰度图像和登记的密集的深度图（步骤S41），他们首先在步骤S42中为深度图中的每个点计算法线。接着，他们将灰度图像像素投影到深度点的切平面上（步骤S43）并且在步骤S44中对在图像栅格中得到的反投影灰度像素进行三角测量。在这一图像栅格上执行所有以下步骤，所述图像栅格为具有用于每个顶点的灰度信息的物理尺度处的3D栅格。

接着，作者定义了物理尺度的集合，在所述物理尺度处，从栅格中检测特征（步骤S45）。基于点的距离和点的法线来计算贡献权重的平滑核，用于将图像栅格中的灰度和法线两者平滑到不同的物理尺度空间（步骤S46）。将平滑的图像栅格上的拉普拉斯-贝尔特拉米算子的局部极值用作特征（S47）。对于特征描述，他们对每一个特征使用3D坐标系，所述3D坐标系由其法线和投影到切平面上的相邻的像素灰度的主梯度方向来定义（步骤S48、S49）。这一3D坐标系用于变换他们的特征描述符的坐标，以提供对于旋转和视角的不变性（步骤S410）。最后，在步骤S411中，应用使用所描述的特征。

虽然这一方法明确地改进了特征描述处理，但是，图像栅格的创建和处理是非常昂贵的并且需要密集的深度数据。在栅格处理之后，步骤S48是另一昂贵的步骤。

相似的方法已经由Wu等人[3]提议，其中他们使用围绕特征候选者的已知的局部几何结构，来计算切平面并且在有结构的3D模型投影到该切平面之上执行特征检测和描述。但是，他们的描述符是尺度不变的，并且因此不提供所提议的技术的益处。

注意，通篇公开中，术语“物理尺度”和“真实尺度”是可互换的。

范围数据上的特征描述符上的相关工作：

存在大量关于范围图像中的特征的提取和描述的文献，例如，如在[2，4]中所公开的。这些完全工作在范围图像上并且不使用任何灰度图像。范围图像以每像素编码朝摄像机的环境的距离。可能显示将距离表示为灰度的范围图像，但是他们的数据源保持不同。当范围数据或者3D数据存在时，能够以众多不同的方式创建范围图像。在通篇该公开文献中，当我们谈及灰度图像时，我们指代表从环境反射的不同量的光的图像，大多数取决于环境的材料和光的状况。灰度图像能够以不同的比特分辨率（例如8比特或者高动态范围）来编码一个（例如灰度级）或者多于一个通道（例如RGB—红－绿－蓝）中的灰度。

[2]的作者利用范围图像上的尺度空间来检测尺度不变的特征。由此，他们的方法不提供不同尺度处的相似特征的辨别性。类似地，2.5D SIFT[4]是在没有任何灰度数据的情况下适应SIFT到范围图像。这一尺度不变的特征检测器和描述符针对每个特征计算表面法线和围绕特征的范围数据中的主梯度方向，以便为每个特征定义用于变换其描述符的3D正则方位。接着，后者计算描述符支持区域中的形状指数的直方图。

描述范围数据中的特征的任何朴素法使能够匹配不同的距离处的特征并且在不同的尺度处的相似特征的区分，所述朴素法不是尺度不变的。

对于大量场景和对象，仅仅使用范围图像的这样的特征描述符可很好地工作。但是，人造对象和环境主要由分段平坦表面组成。当平坦表面不包含用于明显描述的任何有用信息时，人造环境中的边缘和角经常是成直角的和高度重复的。在这样的情况下，灰度图像中可见的结构经常能够提供关于特征的更多的明显的信息。

本发明的目标是提供从灰度图像中检测和描述特征的方法，对于大量应用，其对于自摄像机和对象之间的距离得到的尺度是不变的，但是对对象的真实（物理）尺度敏感。

根据本发明的方面，提供了从灰度图像中检测和描述特征的方法，包括步骤：提供由捕获设备捕获的灰度图像，提供用于确定灰度图像中至少一个元素的深度的方法，在特征检测处理中检测灰度图像中的至少一个特征，其中特征检测通过在尺度处处理灰度图像的图像灰度信息来执行，以及提供所述至少一个检测到的特征的特征描述符，其中，所述尺度取决于灰度图像中至少一个元素的深度。

根据实施例，特征描述符包含基于灰度图像提供的图像灰度信息的至少一个第一参数，并且包含描述符坐标，所述描述符坐标取决于灰度图像中至少一个元素的深度而按比例确定，所述至少一个元素是检测到的特征的一部分，或者特征描述符基于灰度图像提供的信息来描述围绕检测到的特征的支持区域中的检测到的特征，其中支持区域取决于灰度图像中至少一个元素的深度而按比例确定，所述至少一个元素是检测到的特征的一部分。

根据本发明的另一方面，提供了从灰度图像中检测和描述特征的方法，包括步骤：提供由捕获设备捕获的灰度图像，提供方法以确定灰度图像中至少一个元素的深度，基于灰度图像提供的图像灰度信息来检测灰度图像中的至少一个特征，提供所述至少一个检测到的特征的特征描述符，其中特征描述符包含基于灰度图像提供的图像灰度信息的至少一个第一参数，并且包含描述符坐标，所述描述符坐标取决于灰度图像中至少一个元素的深度而按比例确定，所述至少一个元素为检测到的特征的一部分，或者其中特征描述符基于灰度图像提供的信息描述围绕检测到的特征的支持区域中的检测到的特征，其中支持区域取决于灰度图像中至少一个元素的深度而按比例确定，所述至少一个元素为检测到的特征的一部分。当提及描述符坐标时，我们指灰度值的坐标，从所述坐标中关于预定义的特征中心而构建描述符。图3有助于理解所述概念。

根据本发明的另一方面，提供了从灰度图像中检测和描述特征的方法，包括步骤：提供由捕获设备捕获的灰度图像，提供方法以确定灰度图像中至少一个元素的深度，基于灰度图像提供的图像灰度信息来检测灰度图像中的至少一个特征，以及给所述至少一个检测到的特征的特征描述符提供特定尺度的指示符，特征描述符包含基于灰度图像提供的信息的至少一个第一参数，以及指示组合灰度图像中至少一个元素的尺度和深度的至少一个第二参数，所述至少一个元素为检测到的特征的一部分。

本发明还涉及计算机程序产品，所述计算机程序产品适于加载到数字计算机的内部存储器中并且包括软件代码段，借由所述软件代码段，当在所述计算机上运行所述产品时，执行根据本发明的任意所描述的方面和实施例的方法。

因而提议利用灰度图像中元素（例如像素）的深度以用于灰度图像中此特定元素（像素）处的特征检测和/或描述。由此，能够在真实（物理）尺度处检测和描述特征，提供改进的相比于灰度图像上的标准尺度不变特征描述符而言的辨别性，而不引入摄像机移动上的任何限制。

根据本发明的方面，在所提议的方法中，作出灰度图像中至少一个元素是否属于检测到的特征的决定，这取决于灰度图像中的灰度值。

特别地，根据本发明的方面，所提议的方法仅仅基于灰度图像来检测和描述特征。特别地，特征的深度用于通过关联真实（物理）尺度来改进处理，但是与现有技术形成对比，不使用围绕特征的本地几何结构的任何其他知识。

可以在以上提及的对象的上下文中预期[5]中描述的方法，但是由于其操作在与特征的切面相邻的特征中的图像栅格和投影梯度上，其不是普遍适用的。这需要密集的深度数据并且不能应用在具有稀疏深度信息的图像上。相比于本发明的方案，其还是更加计算密集的，本发明的方案针对性能进行优化，而同时具有接近[5]的所有优点。

在一个方面中，根据本发明的方法仅仅使用一个标量值以改进特征的检测和/或描述，所述标量值是距离指示，所述特征仅仅从2D灰度图像中检测和描述。

存在不同的方法以提供与灰度图像中的特定像素相关联的深度信息。示例包括使用结构光的立体视觉、飞行时间摄像机和方法。以下，我们假设将灰度图像和用于确定灰度图像中至少一个元素的深度的方法提供给我们。这一方法能够例如是关联的深度图中的查找操作（可能使用内插和/或外插）或者其能够是从给定第二灰度图像的立体中计算深度，所述第二灰度图像包含来自不同视角的对应的物理元素。

现在将通过参考以下附图来更具体地描述本发明的进一步的方面和实施例，其中：

图1为以流程图概述了特征检测和描述的标准方法；

图2示出了由两个玩偶的集合组成的示例性场景以及捕获设备，其中每一个玩偶的集合包括高的和小的玩偶；

图3说明了关于FAST角点检测器和SIFT特征描述符的特征尺度或者大小，作为用于检测点特征的方法的通用示例；

图4示出了根据Smith等人[5]从组合的范围灰度数据中检测和描述物理尺度处的特征的方法；

图5示出了根据本发明的一个方面的实施例的方法流程图；

图6示出了根据本发明的另一方面的实施例的方法流程图；

图7示出了根据本发明的另一方面的实施例的方法流程图；

图8示出了根据本发明的另一方面的实施例的方法流程图；

图9说明了示例性场景，其比较根据本发明的方面的技术和标准方法，示出其中捕获设备捕获由玩偶的两个集合组成的场景的建立；

图10示出了相比于标准方法（左）的应用本发明的方面到SIFT特征（右）的示例性结果。

图11示出了根据本发明的技术确定的描述符的可能的使用。

本领域技术人员应该将本发明的方面的以下描述理解为仅仅用于解释和说明本发明的原理和方面的实施例，而非限制如所附权利要求书中定义的本发明的范围。

1、根据本发明的第一方面的真实尺度处的特征检测：

通常，根据这一方面的方法包括步骤：提供捕获设备捕获的灰度图像，提供用于确定灰度图像中至少一个元素的深度的方法，在特征检测处理中检测灰度图像中的至少一个特征，其中通过处理尺度处的灰度图像的图像灰度信息来执行特征检测，所述尺度取决于灰度图像中至少一个元素的深度，以及提供所述至少一个检测到的特征的特征描述符。

根据实施例，特征描述符包含至少一个第一参数和至少一个第二参数，所述至少一个第一参数基于由灰度图像提供的图像灰度信息，所述至少一个第二参数是尺度的指示。

根据实施例，特征描述符包含基于由灰度图像提供的图像灰度信息的至少一个第一参数，并且包含取决于灰度图像中的至少一个元素的深度而成比例的描述符坐标，所述至少一个元素为检测到的特征的一部分，或者特征描述符基于由围绕检测到的特征的支持区域中的灰度图像提供的信息来描述检测到的特征，其中取决于灰度图像中至少一个元素的深度而使支持区域成比例，所述至少一个元素为检测到的特征的一部分。

特征是图像中的突出元素，其能够是点（在文献中通常称作关键点或兴趣点）、直线、曲线、区域（例如如文献[6]中所描述的）或者图像的任意其他子集。特征检测算法通常是突出检测器。例如，他们找到线、边缘、或者微分算子的局部极值。能够将特征检测器视为将像素的区域映射到响应的功能。在文献中，将这一区域称作采样窗口、支持区域或者特征检测器的测量孔径。最终将响应取门限以决定哪些像素是特征以及哪些不是。为了提取特定尺度处的特征，能够相应地使采样窗口或支持区域成比例或者在计算特征检测器的响应之前，使用逆比例因子使图像成比例。接着，将特征的尺度（或者大小）定义为用于检测其的采样窗口或者支持区域的大小。

在这一上下文中，图3说明了FAST角点检测器的大小（左侧的说明），作为用于检测点特征的方法的通用示例。在这一示例中，将特征F的尺度（或者大小）定位为如所示的“尺度1”或者“尺度2”，其对应用于检测其的采样窗口或者支持区域（这里通过像素的循环集合来定义）的大小。在图3的左侧，在两个不同的尺度处示出了贡献于决定像素是否为特征的（采样窗口或支持区域）图像区域（这里通过像素的循环集合来划界），所述两个不同的尺度尺度1和尺度2指定支持区域的两个不同的大小。

例如，在本发明的一个方面中，方法包括步骤：将支持区域定义为覆盖部分灰度图像的区域，基于围绕特征的支持区域中的信息来检测灰度图像中的至少一个特征，其中，与尺度一致地确定支持区域的大小，在所述尺度处检测到所述至少一个特征。

根据实施例，检测到所述至少一个特征的尺度取决于支持区域的深度采样。例如，支持区域（按像素）与灰度图像中的至少一个元素的深度按比例成反比，对于所述至少一个元素，特征检测处理确定其是否是检测到的特征的一部分。

特征检测方法的通用的示例包括高斯拉普拉斯（LoG）、高斯差分（DoG）、海森行列式（DoH）、最大稳定极值区域（MSER）、哈里斯特征、或者基于学习的角点检测器，诸如FAST。为了检测边缘特征，能够应用广泛知晓的算法，诸如Canny、Sobel、或者Prewitt。

例如，在至少一个尺度处执行特征检测，所述至少一个尺度反向成比例地取决于灰度图像中至少一个元素的深度，对于所述至少一个元素，特征检测处理确定其是否是检测到的特征的一部分。

根据实施例，所述至少一个尺度对应特征的物理大小，在所述至少一个尺度处检测到所述至少一个特征。

在本发明的一个可能的实现中，我们提议，作出元素是否是特征的决定，取决于灰度图像中的值和此元素的深度。更具体地说，对于每一个检测到的元素，我们在一个或者更多个尺度处执行特征检测，所述一个或更多个尺度反向成比例地取决于推定元素的深度。

在本发明的一个实现中，特征检测仅仅使用一个真实尺度（例如按mm）来检测特征。在另一实现中，取决于深度的多于一个的真实尺度（例如按mm）用于检测特征（例如对于比50cm远并且比100cm近的特征，按30mm和60mm）。因此，当例如通过使图像尺度与深度成反比来将图像尺度（按像素）转化成真实尺度时，能够不同地和独立地按比例确定按度量距离的物理尺度或真实尺度。

由此，替代按摄像机像素单元的尺度，在其中检测到特征的（多个）尺度对应真实（物理）大小。

需要捕获设备的焦距的估计，以便在绝对的真实尺度处检测特征。

图5示出了根据本发明的第一方面的这一方法的示例性实施例的流程图。步骤S51使用捕获设备（诸如摄像机）捕获灰度图像，或者加载灰度图像，并且提供方法以确定灰度图像中的至少一个元素（诸如特定像素）的深度（关于这样的方法的可能的实现，下面提供进一步的细节）。步骤S52定义在哪些尺度处提取特征，其取决于深度样本。对于每一个支持区域，在其中检测灰度图像中的特征的（多个）尺度取决于区域的深度样本，所述每一个支持区域能够与像素一样小。在本发明的一个实施例中，支持区域由多于8个像素组成。如以上所解释的，从深度中确定尺度的一个可能的方式是反向成比例关系，所述反向成比例关系得到真实（物理）尺度。然后，步骤S53为不同尺度生成所提供的灰度图像的表示。在步骤S54中，在期望的尺度处检测特征。特别地，在特征检测处理中生成不同尺度的灰度图像的各自的表示，并且在各自的尺度处检测灰度图像中的特征。为了特征描述，在步骤S55中分派至少一个方位，例如作为相邻像素的主梯度方向或者使用方位传感器测量（例如与重力对齐）来分派至少一个方位。最后，在步骤S56中考虑他们的尺度和方位来描述特征，并且步骤S57如在标准方法中的使用所描述的特征。

特别注意，步骤S53和S54是示例性的。这里能够应用允许在不同的尺度处检测特征的任意方法，包括替代作用在灰度图像的成比例的版本而使他们的采样孔径（或者支持区域）成比例的那些方法。

本发明的一个实施例使用点特征（即，关键点或者兴趣点）。在这一情况下，使用基于围绕点的采样窗口中的图像灰度来为图像中的单个点（即，像素）来决定其是否是特征的方法。

例如，FAST角点检测器频繁地用作特征检测器，其将用在本发明的如下实现中。给定像素，取决于其灰度和以3.5个像素为半径的围绕其的圆周上的像素的灰度，检测器确定其是否为特征（角点）。所提议的方法将首先从深度-提供方法中确定此像素的深度。给定这一深度（深度_真实）、期望的真实尺度（半径_真实）、以及按像素的捕获设备的焦距（焦距_象素），对应于期望的真实尺度的按照像素的直径或半径（半径_象素）能够计算如下：

半径_像素=焦距_像素*半径_真实/深度_真实

如上所解释的，对应于表面上某真实尺度的图像中的尺度与深度成反比地变化。这是从深度确定尺度的一个可能的方式。

为了检测真实尺度处的特征，替代默认的3.5个像素，将使用以半径_像素个像素的半径操作的原始检测器的修改，或者具有半径半径_像素的绕候选像素的块通过因子半径_像素/3.5来成比例，并且使用标准检测器在此成比例的图像块上执行检测，其中，所述真实尺度对应FAST角点检测器的半径半径_真实。

替代为每一个深度提供单独的尺度，将深度范围指定给尺度将是计算上的优点。例如，将5-10m的范围指定给100mm的尺度以及将10m以上的范围指定给300mm。

如上所述，替代深度，本发明的另一可能的实施例可以使用其他深度指示值。一个实施例使用以摄像机为中心的笛卡尔坐标系的z值，其中z轴与摄像机的光轴共线。

通常，还清楚深度或者距离不一定要从摄像机的中心精确测量。

可选地，在提取特征或者建立描述符之前，根据额外的固有参数，图像或者部分图像能够不失真。

在与文献[5]中的方法的比较中，本发明不需要正则计算（其需要密集的深度数据）、图像后投影到3D中、以及三角测量的昂贵步骤。替代图像栅格，本发明的方法使用简单的2D密度图像以创建尺度空间。其不执行如文献[5]中的基于切平面的附近的任意正规化，并且还一点不考虑特征描述中的正则。

特别地，根据本发明，在特征检测处理期间，没有创建基于深度数据的3D栅格。

2、根据本发明的第二个方面的真实尺度处的特征描述

通常，根据这一方面的方法包括步骤：提供由捕获设备捕获的灰度图像，提供用于确定灰度图像中至少一个元素处的深度的方法，基于由灰度图像提供的图像灰度信息来检测灰度图像中至少一个特征，提供所述至少一个检测到的特征的特征描述符。

在第一可能性中，特征描述符包含基于由灰度图像提供的图像灰度信息的至少一个第一参数，并且包含描述符坐标，其取决于灰度图像中至少一个元素的深度而成比例，所述至少一个元素为检测到的特征的一部分。

可选地，在第二可能性中，特征描述符基于由灰度图像提供的围绕检测到的特征的支持区域中的图像灰度信息来描述检测到的特征，其中支持区域取决于灰度图像中至少一个元素的深度而成比例，所述至少一个元素是检测到的特征的一部分。

特征描述符基于围绕特征的图像的支持区域中的可用信息来描述特征。特征描述符的尺度是支持区域的大小。为了清楚并且作为示例，图3在说明的右侧上说明了两个不同的尺度处的SIFT描述符的支持区域（这里通过具有对比梯度的以直线描述的框架或者矩形），所述两个不同的尺度为尺度3和尺度4，这里他们分派框架或者矩形的不同的支持区域大小。

取决于待描述的特征的尺度，通常线性地选择描述符的尺度。在本发明的一个优选的实施例中，用于构建特征描述符的支持像素由围绕像素的几何结构规定的像素组成（例如在圆周的边缘上，或者椭圆内的所有像素），所述像素已经识别为特征，其中几何结构仅仅根据深度而变化。变化使得能够在不同的深度处调整几何结构的大小或者几何结构的形状。不同的深度能够是间隔，例如0-0.5m和0.5m-5m以及5m以上。注意，通过支持区域，我们指具有非零贡献权重的部分支持区域。

例如，灰度图像中的支持点用于提供特征描述符，所述特征描述符包括由围绕点中之一的几何结构规定的点，所述点中的一个已经在特征检测处理中识别为检测到的特征的一部分，其中几何结构根据所述点中的一个的深度而变化，特别地，其中变化能够是在不同的深度处调整几何结构的大小或者改变几何结构的形状。

根据实施例，使用不同真实尺度处的支持区域，其中这些支持区域中的支持区域在更小的确定出的深度处确定为更小，并且在更大的确定出的深度处确定为更大。

特征描述符能够是实数向量，例如SIFT或者SURF，但是还能够是基于分类的方法，诸如随机FERNS。此外，能够使用统计描述符，例如轮廓的曲率或者（物理）长度。本质上，在本公开的说法中，考虑使能特征匹配的任何方法为特征描述符。

根据本发明的一个方面，提议描述由以上描述的方法提供的取决于灰度图像中的值和特征深度的特征。下面将解释这一提议的更具体的实现。

根据实施例，特征描述符的支持区域反比于灰度图像中的至少一个元素的深度而成比例，所述至少一个元素为检测到的特征的一部分。

根据另一实施例，特征描述符的描述符坐标反比于灰度图像中的至少一个元素的深度而成比例，所述至少一个元素为检测到的特征的一部分。

特别地，提议特征描述符的坐标或者支持区域反比于特征的深度而成比例。这得到对应于真实尺度的特征描述符的尺度并且不仅仅提高特征描述符尺度的可再现性，还使能区分不同的物理尺度处的类似特征。

如果真实尺度应该对应能够在不同的设备上使用的绝对尺度，需要捕获设备的焦距的估计。接着，对应特定距离（深度_真实）处的绝对真实尺度（S_真实）的按像素的尺度（S_象素）计算为：

S_像素=焦距_像素*S_真实/深度_真实

图6示出了对应本发明的第二个方面的实施例的方法的流程图。在步骤S61中，使用捕获设备捕获灰度图像或者加载灰度图像，并且提供给出所请求的像素的深度的方法之后，在步骤S63中，检测在步骤S62中定义的尺度处的特征。这些尺度不具有与真实（物理）尺度的已知关系，但是在图像坐标中定义。为了在步骤S65中描述特征，我们引入由深度提供方法提供的特征的深度。如上所解释的，深度用于将描述符坐标按比例到真实尺度。在在步骤S66中的方位指定之后，在步骤S67中使用对应真实尺度的描述符尺度来描述特征。最后，在步骤S68中，在应用中使用所描述的特征。在本发明的可能的实现中，提取特征，从而提供深度（例如，使用立体摄像机）。在此情况下，特征能够立即传递到步骤S65，并且不（不再）一定非要进行步骤S62、S63和S64（即，对应于图5中的步骤S53和S54的特征提取FE）。

在本节中所提议的方法的实施例，使用点特征（即，关键点或者兴趣点）以及用于这样的特征的特征描述符。给定图像中的2D点、尺度以及可选地给定方位，其计算描述符，所述描述符能够例如是基于围绕特征的支持区域中的灰度值而由真实值向量来表示。这样的方法的流行示例包括SIFT和SURF。

图10示出了相比于标准方法（左）的将我们的发明应用到SIFT特征（右）的结果。

为了支持处理具有更强深度变化的场景，我们提议定义对应于真实尺度的多个期望的特征描述符尺度。因此本发明的一个可能的实施例使用不同的真实尺度支持区域，其中，支持区域在更小的深度处更小，并且在更高的深度值处更大。例如，在对远方山脉成像时，50mm×50mm的支持区域没有意义，因为将覆盖小于像素的路。另一方面，10000mm×10000mm的支持区域将对这样的场景有意义，虽然其在室内桌面环境中明显不可行。

根据第一方面和/或第二方面的实施例，将尺度定义为全局设置并且特征描述符不包含至少第二参数，所述第二参数指示尺度和/或支持区域。

3、根据本发明的第三个方面的尺度不变真实尺度察觉特征描述：

根据本发明的这一方面，提议如在标准方法中完成地，基于灰度图像定义特征描述符的尺度。根据这一方面的方法包括步骤：提供由捕获设备捕获的灰度图像，提供用于确定灰度图像中至少一个元素的深度的方法，基于由灰度图像提供的图像灰度信息来检测灰度图像中的至少一个特征，以及提供具有特定尺度的指示符的所述至少一个检测到的特征的特征描述符。特征描述符包含基于由灰度图像提供的图像灰度信息的至少一个第一参数和指示灰度图像中的所述至少一个元素的尺度和深度的组合的至少一个第二参数，所述至少一个元素是检测到的特征的一部分。

例如，第二参数指示灰度图像中至少一个元素的尺度和深度的乘积，所述至少一个元素是检测到的特征的一部分。

根据实施例，第二参数可选地包括关于捕获设备的焦距的信息，其用作后续特征匹配处理中的选择步骤的基础，在所述后续特征匹配中，认为仅仅另一灰度图像的那些特征是检测到的特征的可能的匹配，所述检测到的特征具有包括类似所述至少第二参数的至少一个参数的特征描述符。

优选地，第二参数对于检测到的特征到捕获设备的距离而言是不变的。

根据实施例，除了围绕特征的支持区域中的灰度图像的描述，特征描述符包含标量值，例如S*d。由此，s代表特征描述符的尺度，并且d为特征的深度。当这一值对于特征到捕获设备的距离是理想地不变时，其提供特征的可区分的描述。如果特征的深度d（或者距离）加倍，灰度图像中这一特征的大小、以及因此其尺度s将减少一半。本领域技术人员清楚只要焦距是恒定的，焦距没有关系。但是在其中能够使用任意摄像机的一般情况下，其就有关系。因而，恒定将由（s*d）/f替代，其中f是焦距。这是重要的，从而确保具有不同焦距的摄像机之间的数据的通用性。通过认为那些特征是具有类似s*d值的可能的特征，尺度和深度（以及可选地为焦距）的乘积能够例如用于加速特征匹配。

图7示出了根据本发明的第三个方面的实施例的方法的流程图。在在步骤S71中使用捕获设备捕获灰度图像或者加载灰度图像、并且提供方法以获得灰度图像中特定点的深度样本之后，在步骤S73中，在步骤S72中定义的尺度处创建灰度图像的尺度空间。在步骤S74中，从尺度空间图像中提取特征。对于每个特征，在步骤S75中分派方位，并且在步骤S76中计算描述。注意，方法到此为止没有不同于诸如为SIFT的常规的尺度不变方法。在后续步骤S77中，根据本发明，引入由在步骤S71中提供的方法提供的特征的深度。在这一情况下，如以上所解释的，深度形成描述符的一部分，并且与特征尺度以及可选地为焦距相乘。最后，在步骤S78中在应用中使用所描述的特征。在本发明的可能的实现中，提取特征，从而提供深度（例如，使用立体摄像机）。在此情况下，特征能够立即传送给步骤S75，并且步骤72、73和74（即，特征提取FE）不（不再）一定非要进行。

4、示例性结果的描述

图9在建立处比较根据本发明的以上描述的方面的新技术与标准方法，在所述建立处，捕获设备CD捕获由玩偶的两个集合S1和S2组成的场景。每一个集合包含在不同的尺度处的两个相似的玩偶（即，高玩偶和更小的玩偶）。两个集合S1和S2位于离捕获设备CD不同的距离处。左图I1说明了使用CD捕获的图像。重叠的方形指示位于每个玩偶的右眼处的特征的标准尺度不变特征描述符的支持区域。小图R11、R12、R13和R14示出了由单独的特征的支持区域覆盖的一部分图像。如能够看到的，由于对于尺度的不变性，他们都一样。虽然这使能匹配不同的距离处的对象（例如，R11和R13）的特征，其不提供在不同的物理尺度处的类似对象（例如，R11和R12）之间的辨别。

相反，I2示出了相同的捕获图像，所述捕获图像在每一个玩偶的右眼处具有四个特征的支持区域，使用根据本发明的提议的方法来成比例。虽然支持区域以及因此描述符对于对象（例如，R21和R23或者R22和R24）离摄像机的距离不变，其区别在不同的尺度处的类似对象。例如，支持区域R21和R22在他们的图像内容上明显不同，其导致辨别特征描述符。

5、可能的方法以提供深度样本

存在若干可能的方法以提供在如上给出的方法中使用的深度样本，其能够之后用在根据本发明的特征检测和描述方法中。这也是与本领域中已有的方法的主要区别，所述已有方法依赖于扫描和密集的深度数据。像素的深度指在该像素中成像的物理表面和捕获设备的光学中心之间的距离。深度数据能够是密集的或者稀疏的。因为具有用于特征自身的深度信息能够足够用于基于尺度来创建我们的描述符，所以，我们的方法能够与密集的深度数据一起工作。此外，我们的方法能够与稀疏的深度数据一起工作。

如较早所提及的，将像素的深度定义为捕获设备的主点和物理3D表面之间的距离，所述物理3D表面在此像素中成像。由于特征不必是点或像素，而是能够具有任意形状，产生特征的深度是什么的问题。根据实施例，可以将特征的深度定义为属于这一特征的深度样本集合的任意加权平均。这一定义包括随机拾取一个深度样本（具有权重1）并且将权重0分配给所有其他样本。

一般，当不可能为图像的一部分或者所有部分获取深度时，所提议的方法能够落回可选的特征描述符（例如经典的SIFT）。这也意味着能够以混合方式使用尺度不变特征描述符和我们的真实尺度特征描述符。

5.1来自定标摄像机的深度

根据用于确定灰度图像中至少一个元素的深度的实施例，具有已知的相对位置和/或方位的至少两个捕获设备的每一个捕获各自的灰度图像，其中在图像中找到一致，并且将捕获设备的相对位置和/或方位用于计算灰度图像中至少一个元素的深度，所述至少一个元素是至少一个一致的一部分。

特别地，提供深度数据的一个可能性如下：至少两个摄像机能够在接近相同的时间、或者不移动时在不同的时间捕获图像，其中，所述至少两个摄像机以已知的相对姿势和理想的已知固有参数来记录灰度。

一致性能够在两个图像中找到，并且摄像机的相对姿势和固有参数能够用于计算在任一图像坐标系中的一致性深度。因为他们能够用于通过引入额外约束（例如，对极几何）来简化一致性的创建，在尝试找到一致性之前，获取相对姿势和固有参数是有利的。

例如，能够将基于点特征的一致性查找实现为如下：为了从一个图像到另一个图像匹配2D特征，在另一图像中搜索规定大小的围绕2D特征的小块。例如，平方差之和（SSD）或者归一化互相关（NCC）分别能够用作距离或者相似性测量。为了减少搜索对应的小块所需要的比较的量，仅仅沿着另一图像中的特征点的椭圆线来搜索。为了将沿着椭圆线的搜索简化到1D搜索，首先校正图像。将具有最高类似性的两个小块设置到关系中。如果具有最高相似性的一个明显比第二最高相似性更相似，则将认为前者是匹配一致。

当然，对于专家，清楚存在众多可能性以获得一致性。还有可能在不考虑椭圆线之下获得一致性。当然，还能够以迭代方式实现处理，使用初始深度估计与我们提议的真实尺度特征描述符一起工作，并且以更高的精确性重新计算一致性和特征的位置。

5.2来自至少一个移动摄像头的深度

根据用于确定灰度图像中至少一个元素的深度的另一实施例，至少一个捕获设备在不同的时间点从不同的位置捕获灰度图像，其中在不同的图像中找到一致性，并且恢复不同的图像之间的捕获设备的相对位置和/或方位以及一致性的结构和将其用于计算灰度图像中至少一个元素的深度，所述至少一个元素是至少一个一致性的一部分。

例如，至少一个摄像机在不同的时间点从不同的位置照相。理想地，某些额外的传感器测量是可利用的（例如GPS位置）。如果可利用图像和额外信息，则分析他们。例如通过从图像到图像地跟踪特征或者通过检测本地特征和使用尺度不变描述符以匹配他们，找到不同的图像中的一致性。

接着，将所谓的从运动恢复结构（SfM）方法用于恢复不同图像之间的相对位置和一致性的结构。存在对本领域技术人员已知的众多不同的方法。理想地，额外的传感器数据，类似GPS位置和摄像机的已知的移动（例如在汽车中，通过测量汽车的移动），能够用于给一致性的结构物理尺度。可选地，如果在任意图像中能够获取具有已知大小的已知对象（例如，美钞或者筹码），同样能够获取物理尺度。在不能获取物理尺度的情况下，假设尺度并且仍然能够使用我们的方法，但是仅仅对这一精确场景中进一步匹配起作用。例如，为了跟踪摄像机移动，从而给视频游戏添加游戏角色，移动的精确大小不影响，但是实际的相对移动是重要的。这里通过真实尺度特征描述符的增加的匹配能够有帮助。

再次，能够以迭代方式实现这一处理，使用初始尺度估计以改善一致性，导致位置估计和结构的更高的精确性。

5.3来自图像匹配的深度

根据用于确定灰度图像中的至少一个元素的深度的另一实施例，提供了灰度图像的至少一个数据库，其中对于每一个灰度图像，整体深度、或者至少一个图像区域的深度、或者一个或者更多个像素的深度是已知的并且由捕获设备捕获的灰度图像（当前的灰度图像）与这一数据库较量。匹配结果用于计算当前灰度图像中的至少一个元素的深度。

例如，用于获取与图像相关联的深度的方法如下：我们假设图像数据库存在并且对于每一个图像，一个整体深度（例如，10m）、或者单独图像区域的深度、或者用于每一个像素的深度是已知的。当前拍摄的图像现在与这一数据库较量。为了加速处理和/或为了增加稳健性，能够将可选的步骤用于创建用于图像匹配的优化的数据结构。这能够，例如是从特征描述符中构建词汇树或者KD-树。

本方法能够尝试使用从数据库图像和我们的提议的真实尺度特征描述符中的具体深度信息（如果存在）或者使用其他方法来注册两个图像。如果这不可能或者没有提供具体深度信息，返回一个给定深度或者平均深度。

5.4来自3D模型信息和传感器信息的深度

根据用于确定灰度图像中的至少一个元素的深度的另一实施例，当捕获与环境模型相关的灰度图像时，提供了环境模型（其可以是初始估计）和关于捕获设备的位置和/或发那个位的信息，其中组合环境模型和关于捕获设备的位置和/或方位的信息，并且用于计算灰度图像中至少一个元素的深度。

例如，假设能够提供环境模型，所述环境模型能够例如是构造的3D模型或者环境的扫描。如果当拍摄关于环境模型的图像时关于捕获设备的位置和/或方位知晓任意信息，能够将两者组合。例如，通过使用假设的摄像机姿势和摄像机固有参数来渲染3D模型，能够从由环境模型提供并且在渲染期间使用的深度缓冲区中获取每个像素的深度。尽管对于这一方法初始姿势估计是需要的，但是，在其他应用中，使用假设的深度和具有结构环境模型的本发明，接着姿势能够改进并且变得更加准确。当然，还可以迭代地使用这一处理。

5.5来自专用传感器的深度

根据用于确定灰度图像中至少一个元素的深度的另一实施例，提供了至少一个传感器以用于获取信息或者范围数据以及与捕获设备相关的所述至少一个传感器的相对位置和/或方位，其中深度信息或者范围数据用于计算灰度图像中至少一个元素的深度。优选地，传感器和捕获设备两者的姿势（位置和方位）和固有参数是已知的。

特别地，用于获取深度信息的方法使用专门的传感器，专用于获取深度信息或者范围数据。其能够例如是逃离机制的时间，类似激光扫描仪或者飞行时间法摄像机。另一示例是传感器，其投影已知的光线图案到环境中并且在其由具有传感器的环境反射后获取图案。通过匹配投影信息和接收的图案以及通过知晓投影仪和传感器两者的固有参数，能够计算深度。

允许获取深度数据的另一传感器是全景摄像机[7]。

为了以灰度图像使用深度传感器的信息，姿势和固有参数两者是已知的。接着，能够将深度信息变换到摄像机坐标系中并且使用。

6、本发明的进一步的方面

根据本发明的实施例，用于确定灰度图像中的至少一个元素的深度的方法基于捕获设备的光学焦点。

根据本发明的另一实施例，在用于确定灰度图像中的至少一个元素的深度的方法中，通过提取灰度图像和至少一个进一步的灰度图像的特征来生成灰度图像中的元素的深度样本，并且使用立体摄像机对的荧光几何结构来匹配他们，所述立体摄像机对捕获灰度图像和所述至少一个进一步的灰度图像。在这一情况下，其中提取特征从而提供深度（例如，使用立体摄像机），所提取的特征能够立即用于特征描述。例如，图8示出了根据本发明的这一实施例的方法的流程图。首先，在步骤S81中，由摄像机捕获灰度图像I1和I2或者加载灰度图像I1和I2，接着，其可以可选地经历步骤S82中的预处理。在步骤S84中，存在步骤S83中已经定义尺度空间或者离散尺度的集合之后，在I1和/或I2中的此尺度空间中检测特征并且确定一致性，例如使用立体摄像机对的荧光几何结构或者用于单声道摄像机建立的尺度不变的特征描述符。检测到的特征一致性C（F1（x,y）,F2(x,y)）具有指定两个对应特征的Fi和指定各自的特征Fi的2-维位置的x，y，将其认为是描述3D空间中的相同的点到I1和I2的投影，并且因而在步骤S85中能够，例如通过三角测量来计算深度（即，此点的3D空间中的位置）。在最终在应用中使用所描述的特征（步骤S87）之前，在步骤S86中描述所提取的特征或者关键点K。描述包含描述符v，其从灰度数据中创建。此外，取决于应用，其能够对于存储在图像中他们的位置（x,y）或者他们的3D位置（能够从深度中计算）起作用。可选地，还可以关于关键点存储尺度s、方位o和所确定的深度d。为了利用本发明，不需要将尺度存储为描述符的一部分。例如，对于特定深度，还可以全局地将尺度定义到10mm或者1000mm，或者使用依赖于深度d的通式，其应用到应用中的所有特征。如上关于图6和7所述的，在步骤S86中，可以使用如第2部分（例如，从图6中的S65开始）或者第3部分（例如，从图7中的S75开始）中所描述的任意根据本发明的实施例的方法。在根据第3部分的实施例的情况下，K还将进一步包括从组合s和d（可选地，以及摄像机的焦距）中得到的值。

根据本发明的进一步的实施例，使用搜索算法来估计灰度图像中的至少一个元素的深度，以初始地比较不同的距离。

根据本发明的进一步的实施例，本方法可以进一步包括步骤：提供整体坐标系中捕获设备的位置和方位的测量，从测量中确定捕获设备的姿势，提供环境的3D模型，其中结合3D模型使用姿势以计算灰度图像中特征的至少一个元素的深度，例如，借由投射来自捕获设备中心的虚拟射线通过特征到3D模型。这在下面关于图11更具体地解释。整体坐标系中捕获设备的位置的测量可以由GPS传感器/接收机、IR或者RFID三角测量来提供，或者借由使用宽带或者无线架构的定位方法。整体坐标系统中捕获设备的方位的测量可以由惯性传感器、加速计、陀螺仪、罗盘、或者机械的、电磁的、声学的、或者光学跟踪系统中的至少一者来提供。在本发明的上下文中，惯性传感器可以（例如，连续地）提供传感器信息，所述传感器信息包括关于环境的对象或设备的位置和/或方位，通过使用以下的任意组合：磁力计（例如，罗盘）、动作传感器/旋转传感器（加速计/陀螺仪）、重力传感器、以及提供这样的信息的其他传感器。

根据本发明的进一步的方面，提供了跟踪或者识别方法，分别用于跟踪关于由捕获设备捕获的灰度图像的对象的捕获设备的位置和/或方位，或者用于识别由捕获设备捕获的灰度图像的对象，其使用以上所述的方法。

7、应用

一般，本发明能够用在所有场景中，其中正使用当前的描述符，诸如SIFT或者SURF，诸如视觉搜索和图像匹配，3D重构和光学姿势估计和跟踪。

具有真实尺度特征描述符的深度提供方法的可能的组合可以用在光学姿势估计和跟踪中，例如从而创建户外AR体验。例如，使用如图11中描述的粗传感器数据和环境模型来提取深度。在步骤S11中，通过捕获设备捕获灰度图像I1或者加载灰度图像I1。此外，从粗传感器测量中估计捕获I1时捕获设备的初始姿势，所述粗传感器测量诸如是GPS位置和方位传感器信息。最终，提供包括3D数据和图像数据（类似于谷歌街景）的提高的环境模型（步骤S112）。如果用于跟踪的参考模型（例如，已经包含特征3D坐标和特征描述符）还没有提前创建，则仅仅需要图像数据。在步骤S113中，使用步骤S111提供的假设的摄像机姿势来加载环境模型，即从灰度图像I1的摄像机视角得到环境模型。在步骤S114中，从环境模型中获取深度信息并且在步骤S115中将其用于计算检测到的特征的真实尺度描述符。换言之，使用在图像I1登记的深度信息，在固定的尺度处提取真实尺度特征，所述固定的尺度，例如是1m。因为环境模型组合3D数据和图像数据，能够创建具有1m的尺度的物理尺度特征的参考3D模型（S116，这当然能够提前完成）。

接着，能够将S115和S116的结果用于创建I1中的特征和3D物理尺度特征的一致性。使用最佳算法，能够计算环境模型的坐标系统中的I1的改进的姿势。接着，改进的姿势能够用于应用，例如，旅行数据的增强的逼真显示，或者可选地用于改进S111和通过步骤S111-S117重复，直到姿势中的变化已经比预定义的质量门限低。

Claims

1.一种从亮度图像中检测和描述特征的方法，包括步骤：

-获得由捕获设备捕获的2D亮度图像；

-基于从所述2D亮度图像中至少一个元素反射的光确定所述至少一个元素的深度；

-根据所确定的深度按比例缩放覆盖所述2D亮度图像的一部分的支持区域的大小；

-基于所述支持区域的图像亮度信息检测所述2D亮度图像中的特征，其中以其检测到所述特征的尺度取决于用于所述支持区域的深度样本；及

-提供检测到的特征的特征描述符。

2.根据权利要求1所述的方法，其中所述特征描述符包含至少一个第一参数和至少一个第二参数，所述至少一个第一参数基于由所述亮度图像提供的信息，并且所述至少一个第二参数指示所述支持区域的大小的尺度。

3.根据权利要求1或2所述的方法，其中，

-所述特征描述符在与检测到的特征相邻的支持区域中基于由亮度图像提供的信息描述检测到的特征。

4.根据权利要求1或2所述的方法，还包括：

基于所述2D亮度图像中的亮度值确定所述2D亮度图像中至少一个元素属于检测到的特征。

5.根据权利要求4所述的方法，其中确定至少一个元素属于检测到的特征包括：

以成反比地取决于所述2D亮度图像中至少一个元素的深度的尺度执行特征检测。

6.根据权利要求1或2所述的方法，其中以其检测到所述特征的所述尺度对应于所述特征的物理大小。

7.根据权利要求1所述的方法，其中所述支持区域与所述2D亮度图像中的所述至少一个元素的深度成反比地按比例缩放。

8.根据权利要求1或2所述的方法，还包括：

对于多个尺度，生成所述2D亮度图像的各自的表示，及

以所述各自的尺度检测所述2D亮度图像中的所述特征。

9.一种从亮度图像中检测和描述特征的方法，包括：

-获得由捕获设备捕获的2D亮度图像；

-基于由所述2D亮度图像提供的图像亮度信息来检测所述2D亮度图像中的至少一个特征，其中以其检测到所述特征的尺度取决于用于支持区域的深度样本；

-确定所述2D亮度图像中至少一个元素的深度，其中所述至少一个元素是检测到的特征的一部分，其中以其检测到所述特征的尺度取决于用于所述支持区域的深度样本；

-以根据所确定的深度而按比例缩放的大小生成围绕检测到的特征的支持区域；及

-提供至少一个检测到的特征的特征描述符；

-其中所述特征描述符包含至少一个第一参数，并且包含描述符坐标，所述至少一个第一参数基于由所述2D亮度图像提供的图像亮度信息，所述描述符坐标取决于至少一个元素的深度和所述支持区域的大小而被按比例缩放；或者

-其中所述特征描述符在围绕检测到的特征的支持区域中基于由所述2D亮度图像提供的信息描述检测到的特征，其中所述支持区域取决于至少一个元素的深度和所述支持区域的大小而被按比例缩放。

10.根据权利要求9所述的方法，其中所述特征描述符的支持区域与所述2D亮度图像中的至少一个元素的深度成反比地进行按比例缩放，所述至少一个元素是检测到的特征的一部分。

11.根据权利要求9或10所述的方法，其中所述特征描述符的描述符坐标与所述2D亮度图像中的至少一个元素的深度成反比地进行按比例缩放，所述至少一个元素是检测到的特征的一部分。

12.根据权利要求9或10所述的方法，其中

-所述2D亮度图像中的支持区域用于提供所述特征描述符，所述特征描述符包括由围绕多个点之一的几何结构规定的点，在特征检测处理中已经将所述多个点之一识别为检测到的特征的一部分；

-其中所述几何结构根据所述多个点之一的深度而变化。

13.根据权利要求1或10所述的方法，其中所述支持区域的尺度为整体设置，并且所述特征描述符不包含第二参数，所述第二参数指示所述尺度。

14.一种从亮度图像中检测和描述特征的方法，包括：

-获得由捕获设备捕获的2D亮度图像；

-基于由所述2D亮度图像提供的图像亮度信息来检测所述亮度图像中的至少一个特征；

-确定所述2D亮度图像中至少一个元素的深度，其中所述至少一个元素是检测到的特征的一部分，其中以其检测到所述特征的尺度取决于用于支持区域的深度样本；

-提供至少一个检测到的特征的特征描述符，所述特征描述符包含至少一个第一参数和至少一个第二参数，所述至少一个第一参数基于由所述2D亮度图像提供的信息，所述至少一个第二参数指示至少一个元素的深度和所述支持区域的大小的组合。

15.根据权利要求14所述的方法，其中所述第二参数指示所述支持区域的大小和所述2D亮度图像中至少一个元素的深度的乘积。

16.根据权利要求14或15所述的方法，其中所述第二参数用作后续的特征匹配处理中的选择步骤的基础，在所述后续的特征匹配处理中，对于检测到的特征，将另一亮度图像的特征认为是可能的匹配，所述另一亮度图像的所述特征具有包括类似于所述第二参数的参数的特征描述符。

17.根据权利要求14或15所述的方法，其中所述第二参数对检测到的特征到捕获设备的距离是不变的。

18.根据权利要求1、9或14所述的方法，其中确定所述2D亮度图像中至少一个元素的深度基于所述捕获设备的光学焦点。

19.根据权利要求1、9或14所述的方法，其中确定所述2D亮度图像中至少一个元素的深度包括：通过提取所述亮度图像和至少一个又一亮度图像的特征并且使用立体摄像机对的对极几何来匹配深度样本，生成所述亮度图像中的元素的深度样本，其中，所述立体摄像机对捕获所述2D亮度图像和所述至少一个又一亮度图像。

20.根据权利要求1、9或14所述的方法，其中使用视觉搜索算法来估计所述2D亮度图像中的至少一个元素的深度，以初始地比较不同的距离。

21.根据权利要求1、9或14所述的方法，包括：

-获得整体坐标系中所述捕获设备的位置和方位的测量；

-从测量中确定所述捕获设备的姿势；及

-生成环境的3D模型；

-其中结合所述3D模型使用所述姿势以计算所述至少一个元素的深度。

22.一种跟踪或者识别方法，使用根据权利要求1-21中任意一项所述的方法，分别用于跟踪捕获设备相对于由所述捕获设备捕获的2D亮度图像的对象的位置和/或方位，或者用于识别由所述捕获设备捕获的2D亮度图像的对象。

23.一种数字计算机，包括：

存储指令的存储器；及

耦接到所述存储器的处理器，其中当被处理器执行时，所述指令使得所述处理器执行根据权利要求1-21中任意一项所述的方法。