CN103959308B - 以参考特征匹配图像特征的方法 - Google Patents

以参考特征匹配图像特征的方法 Download PDF

Info

Publication number
CN103959308B
CN103959308B CN201180073205.7A CN201180073205A CN103959308B CN 103959308 B CN103959308 B CN 103959308B CN 201180073205 A CN201180073205 A CN 201180073205A CN 103959308 B CN103959308 B CN 103959308B
Authority
CN
China
Prior art keywords
feature
parameter
fixed reference
image
pick device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180073205.7A
Other languages
English (en)
Other versions
CN103959308A (zh
Inventor
D·库尔茨
彼得·梅尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of CN103959308A publication Critical patent/CN103959308A/zh
Application granted granted Critical
Publication of CN103959308B publication Critical patent/CN103959308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

一种以参考特征匹配图像特征的方法，该方法包括下列步骤：提供通过一拾取装置拾取的一当前图像，提供一组参考特征，其中每个该等参考特征包括至少一第一参数，所述第一参数是至少部分地指示有关一广域坐标系统的参考特征的一位置和/或方位，其中所述广域坐标系统是一地面坐标系统或一对象坐标系统，或所述第一参数是至少部分地指示有关一高度的参考特征的一位置，在一特征检测过程中检测所述当前图像中的至少一特征，关联所述检测特征于至少一第二参数，所述第二参数是至少部分地指示有关所述广域坐标系统的检测特征的一位置和/或方位，或所述第二参数是至少部分地指示有关一高度的检测特征的一位置，以及通过决定在所述至少一第一参数以及所述至少一第二参数之间的一相似度测量，而匹配所述检测特征与所述一组参考特征的参考特征的至少之一。

Description

以参考特征匹配图像特征的方法
技术领域
本发明是针对一种以参考特征匹配图像特征的方法，包括下列步骤：提供通过一拾取装置拾取的一当前图像，提供参考特征，检测在一特征检测过程中的当前图像中的至少一特征，以及将所述检测特征与所述参考特征的至少之一匹配。
背景技术
在利用摄影机取得的图像的处理中的许多任务，例如，在增强实境应用以及计算机视觉中，需要找出对应于相同实体3D表面的相同对象或景象的多个图像中的点或特征。一常见方法，例如，在参考文献[1]中所揭示的SIFT中，首先以具有高重复性的方法检测图像中的特征。这意味着，对应至相同实体3D表面的图像中的部分被选择作为对于不同视角、不同旋转以及照明设置的特征的可能性是高的。特征通常在尺度空间(即，在不同的尺度上)中被提取。因此，每个特征具有除了其的二维位置外的可重复尺度。此外，可重复方位(旋转)自在特征附近的区域(例如，强度梯度的主要方向)中的像素强度被计算出。
最后，为启用特征的比较以及匹配，一特征描述符是需要的。通常的方法使用计算的特征的尺度以及方位以转换特征描述符的坐标，其提供对于旋转以及尺度的不变性。描述符是，例如，一个n-维的实数向量，其通常利用连接局部图像强度函数的直方图被构建，例如，在参考文献[1]中的梯度。
给予一当前特征，自一当前强度图像被检测以及被描述，一重要工作是在将被称为参考特征的一组被提供的特征中，找出对应至相同的实体表面的一特征。一自然方法是通过彻底地搜寻找出当前特征的描述符的最接近邻近者以及选择对应的参考特征作为匹配。更先进的方法采用描述符领域中的空间数据结构以加速匹配。遗憾地是，没有已知的现有方法可启用高维度空间中最接近邻近者的搜寻，其是显著地更快于彻底的搜寻。这是为什么通常的方法反而使用近似最接近邻近者的搜寻，例如，通过空间分割数据结构被启用，例如，参考文献[1]中的kd-树。
标准方法的限制：
随着参考特征的数目增加，匹配一单一当前特征的时间上升，使得在一些点的实时处理成为不可能。同时，特征描述符的特殊性随参考特征的总数目而减少。虽然第一个问题可随着最佳化数据结构启用快速近似最接近邻近者的搜寻至一定的程度而被解决，但若不包含任何进一步的信息则第二问题不能被解决。
已经提出的解决办法：
Reitmayr以及Drummond的参考文献[5]说明依赖视觉跟踪的一户外增强实境系统。为初始化视觉跟踪，即去找出有关于世界的摄影机位置以及方位而不必具有自在先帧的任何知识，他们使用GPS以得到装置的粗略位置。给予的这个位置，他们试图通过在粗略的GPS测量附近的一些位置样本的受限的摄影机位置初始化视觉跟踪，直至初始化成功。
Schall等人的参考文献[7]在Kalman滤波器中将一差动GPS/IMU硬件模块与气压高度测量组合，以改进使用者的3D位置评估的精确度。这滤波的惯性跟踪再次与允许自然特征的线上学习的无漂移视觉全景跟踪器被组合。该方法不使用任何(离线学习)参考特征。
不同的方法存在，其是根据作用如参考特征的一组地理参考局部图像特征。这些方法的假设是，如果拾取装置的位置是大约地已知，例如，通过GPS，则仅那些安置于拾取装置附近的参考特征可能是可见的。这类型方法的一些范例将在下面被说明。
Kumar等人的参考文献[2]使用GPS定位以缩小至拾取装置附近的搜寻区域，并且使用一组预先建立的词汇树以找出这搜寻区域中的最佳匹配图像。
同样地，陈(Chen)等人的参考文献[4]使用通过GPS的关于装置位置的在先信息以改进特征匹配。他们讨论为每个空间区域使用一小的词汇树，如参考文献[2]，并且将这结果与使用一广域词汇树以及包含GPS位置作为特征匹配评分过程中的在先信息的方法进行比较。他们达成结论，第二方法将提供较佳的结果。
在参考文献[8]中，Arth等人使用潜在可视集合(PVS)并且因而不仅考虑特征的空间附近，而且也考虑视程限制。即使他们不在他们的室内试验中使用GPS，他们亦说明GPS可如何被在户外应用中使用以决定拾取装置的粗略位置，其接着可被使用来取回这位置的参考特征的潜在可视集合。
Bleser以及Stricker的参考文献[3]提出一视觉惯性跟踪方法，其应用惯性传感器来测量摄影机自在先帧至当前帧的相对移动。这知识被使用来预测位置并且因此定义图像空间中逐帧被跟踪的特征的2D搜寻空间。由于他们仅使用相对摄影机转换的测量，他们的技术不适合于摄影机位姿跟踪的初始化。
虽然参考文献[7]不使用环境的任何参考特征或任何模型，被说明在参考文献[5]中的方法却使用，但是不限制根据测量的GPS位置的参考特征的搜寻空间。然而，参考文献[2]、[4]以及[8]是如此。根据拾取装置的位置，他们决定哪个参考特征可能是可见的以及哪个最有可能是不可见。这决定被采用于每图像位准上，表示参考特征的相同子集被考虑为对于当前摄影机图像中的所有当前特征的一可能的匹配。
现代手持装置提供比装置位置更多的传感器数据。例如，数位罗盘测量有关北方的装置方位并且惯性传感器提供有关重力的装置方位。摄影机图像中的特征的2D位置，以及其的深度，如果可行的话，也包含一些应用中的有用信息。
如上面的设定，已知的现有技术方法减少在拾取位置附近对特征的搜寻空间，并且因而避免与远处特征匹配。但是，尤其是在城市环境中，时常是相似外观特征的情况，其易于导致错配，其被彼此接近安置并且在相同时间可能两者皆是可见的。范例包含通常看起来都非常相似的建筑物外观窗户。其明显地很可能具有在相同时间在摄影机图像中可见到许多看起来相似的窗户。这使得任何广域方法，即减少一每图像位准上的搜寻空间，如上面的设定，不适用于防止错配。
发明内容
本发明的一目的是提供一种以参考特征匹配图像特征的方法，该方法可改善实时的处理而保持特征描述符的特殊性，即使是具有一增加的参考特征总数目。
依据本发明一论点，其提供一种以参考特征匹配图像特征的方法，该方法包括下列步骤：提供通过一拾取装置拾取的一当前图像，提供一组参考特征，其中每个该等参考特征包括至少一第一参数，所述第一参数是至少部分地指示关于一广域坐标系统的参考特征的一位置和/或方位，其中所述广域坐标系统是一地面坐标系统或一对象坐标系统，或所述第一参数是至少部分地指示有关一高度的参考特征的一位置，在一特征检测过程中检测所述当前图像中的至少一特征，关联所述检测特征于至少一第二参数，所述第二参数是至少部分地指示有关所述广域坐标系统的检测特征的一位置和/或方位，或所述第二参数是至少部分地指示有关一高度的检测特征的一位置，以及通过决定在所述至少一第一参数以及所述至少一第二参数之间的一相似度测量，匹配所述检测特征与所述一组参考特征的参考特征的至少之一。尤其是，所述广域坐标系统可以是一地面坐标系统或一对象坐标系统，例如，一建筑物或一产品。
依据一实施例，该方法包括当匹配所述检测特征时通过在所述一组参考特征内之一减低参考特征的数量而定义一搜寻空间的步骤，其中所述搜寻空间根据所述至少一第二参数被决定。
因此，依据本发明的论点，其通过考虑广域坐标系统(世界坐标)坐标中他们的位置的至少部分的知识，提出减少用于匹配局部图像特征的搜寻空间。在当前图像中给予的一当前特征，该方法是在具有(部分地已知的)世界坐标的一组参考特征中寻找一对应特征。尤其是，依据关于在当前图像被取得时拾取装置的位置和/或方位的可用的信息，以及当前图像的特定像素的可能可用的深度，世界坐标中一当前特征的(部分)位置可被确定。这接着被用以通过仅考虑那些参考特征减少搜寻空间，作为可能的匹配被安置接近至世界坐标中的当前特征的(部分)位置。产生的匹配可，例如，被用以初始化在一增强现实应用中的视觉摄影机跟踪方法。
如上面的设定，依据参考文献[2]、[4]以及[8]的方法根据拾取装置的位置决定哪些参考特征可能是可见的以及哪些最可能是不可见的。这个决定被采用于一每图像位准上，表示参考特征的相同子集被考虑作为对于一当前摄影机图像中的所有当前特征的可能匹配。依据本发明的方法不同于这些方法，因其将一摄影机图像的检测特征关联于有关广域坐标系统的检测特征的一至少部分的位置和/或方位信息，并且在每特征位准上采用这一决定。可能匹配参考特征组根据其(部分地)已知的广域位置对于当前摄影机图像中的每个检测特征被决定。
依据一实施例，所述广域坐标系统提供有关一特征的地理参考位置和/或方位的信息。例如，至少一第一以及第二参数中的至少之一是至少部分地指示一经度以及纬度。
依据一实施例，至少一第一以及第二参数中的至少之一是至少部分地指示有关相对于该拾取装置的一相对高度、或一绝对高度的一位置。
依据一实施例，所述检测特征的位置和/或方位通过一方程式被描述，该方程式描述一几何形状，例如，一点、一射线、一直线、一圆、一圆锥形、或一圆柱形。例如，匹配所述检测特征与所述一组参考特征的步骤仅考虑该组参考特征中具有至所述几何形状的距离是在一阈值之下的一位置的那些参考特征为可能的匹配。
依据一实施例，至少一第一以及第二参数的至少之一是在一特征描述符领域中和/或在一空间领域中的一空间数据结构的部分，例如，其中所述空间数据结构包含一限定容积，例如，轴对齐方块、定位方块、球形、任意容积，或一网格，或任何类型的树型，例如，四分树型(Quadtree)、八叉树型(Octree)、二元空间分割树型(BSP-tree)、k维空间树型(kd-tree)、多维空间索引树型(R-tree)。
最好是，当拾取所述当前图像时，所述至少一第二参数使用有关所述广域坐标系统的拾取装置的至少部分的位置和/或方位被决定。
依据本发明一实施例，至少一第一参数可以是至少部分地指示有关广域坐标系统的参考特征的仅仅一位置和/或至少部分地指示一位置以及方位。同样地，依据本发明一实施例，所述至少一个第二参数是至少部分地指示有关广域坐标系统的检测特征的一位置或至少部分地指示一位置以及方位。在这些实施例中，检测特征的方位可能不被所述方法所考虑。
如果检测特征一元素的深度信息是可用的，则至少一第二参数可使用所述当前图像中的至少一元素的一深度作为所述检测特征的一部分而被决定。
依据一实施例，该至少一第二参数使用关联于所述拾取装置的一坐标系统中的一重力向量的一测量值以及所述当前图像中的至少一元素的一深度作为该检测特征的一部分而被决定。例如，检测特征的位置是至少部分地以通过具有一法线是或对应至所述重力向量的一平面被描述，而该平面指示高度。
依据一实施例，至少一第二参数通过进一步使用所述拾取装置的一组固有参数、以及所述当前图像中的所述检测特征的一位置而被决定。
利用组合朝向所述拾取装置的所述检测特征的一决定的距离以及该拾取装置的方位，而计算有关所述广域坐标系统或该拾取装置的一坐标系统的该检测特征的一3维位置。
依据一实施例，所述一组参考特征被取得自至少一参考图像，该至少一参考图像通过不同于所述拾取装置的一第二拾取装置被记录。例如，该至少一参考图像的拾取时间是至少比所述当前图像的拾取时间早一天。
依据一实施例，所述方法进一步包括提供所述拾取装置的至少一部分的位置、方位和/或高度的步骤，其中关联于所述检测特征的至少一第二参数的一不确定性信息被导出。
依据一实施例，所述不确定性信息被用以影响所述匹配过程。例如，该不确定性信息通过依据所述不确定性而改变关于位置和/或方位的个别的自由度的至少之一的各自权重(例如，笛卡儿(Cartesian)坐标中的x，y，z)，以影响所述匹配过程。
依据另一实施例，至少一个不确定性信息可影响作为将被匹配的匹配候选者的参考特征的选择。例如，至少一个方法进一步包括提供作为匹配候选者的参考特征的选择为根据被影响的一权重，其中一较高的不确定性减少所述权重并且一较低的不确定性增加所述权重。
例如，所述不确定性信息根据用来提供所述拾取装置的位置、方位和/或高度的传感器类型被决定。
依据一实施例，所述方法进一步包含为在所述当前图像中的一对象的检测、分类或局部化，或为在所述广域坐标系统中的所述拾取装置的局部化，或为在所述拾取装置的初始位姿评估，或为在所述拾取装置的初始化位姿跟踪使用一匹配结果的步骤。
在一可能的实施例中，该方法被使用在一增强现实应用中。
本发明也是关于一计算机程序产品，其适用于被载入一数字计算机的内部存储器并且包括软件代码段，当所述产品在所述计算机上运行时，利用所述软件代码段依据本发明的方法被执行。
附图说明
本发明进一步的论点以及实施例将通过参考下面的图形而更详细地被说明，其中：
图1A是展示匹配一组当前特征与一组参考特征的标准方法的流程图；
图1B是用来阐述特征的检测、描述以及匹配的说明；
图1C展示由两组玩偶以及拾取其图像的一拾取装置所构成而用于阐述特征深度的范例景象；
图2解释进行特征匹配的现有技术，其流程图中包含一装置位置粗略的先验知识，例如通过GPS提供；
图3展示依据本发明一实施例的方法流程图；
图4是展示本发明一实施例与目前方法的比较的阐述；
图5展示一范例景象，在其中依据本发明一实施例的方法被应用；
图6显示通过一拾取装置所取得的一范例景象的图像；
图7显示以拾取装置所取得的另一范例景象的图像；
图8展示依据本发明一实施例的一方法的可能应用；
图9阐述有关FAST转角检测器以及SIFT特征描述符的特征尺度或尺寸，作为检测点特征的方法的常见范例；
图10a展示依据本发明一实施例的方法的流程图；
图10b展示依据本发明另一实施例的方法的流程图；
图10c展示依据本发明另一实施例的方法的流程图；
图11阐述一范例景象，其将依据本发明的实施例的技术与标准方法进行比较，其展示一拾取装置拾取由两组玩偶所构成的景象的设置。
具体实施方式
技术人员应明白，本发明论点的下面说明仅关于用来说明以及阐述本发明原理及论点的实施例，而非限定如申请专利范围中所定义的本发明范畴。
在下面，名词例如“广域坐标系统”、“世界坐标系统”、“广域坐标”以及“世界坐标”可替换地被使用，并且被用于指示如上所述的一广域坐标系统及其坐标。
假定提供一组地理参考局部图像特征，其中每个特征具有除了一特征描述符外的描述其在广域坐标系统中的(部分)位置和/或方位的相关性质。我们将参看此组特征作为参考特征。参考图像的取得、来自参考图像的参考特征的检测与描述以及他们(部分)位置和/或方位的决定可通过任何方法被执行并且为了简洁理由，将不进一步被说明。进一步地，存在的方法可至少部分地决定有关高度的参考特征的位置，例如，当拾取一参考图像时通过使用一气压计作为传感器装置。熟悉本领域技术人员应非常明白可提供此类参考特征的此类方法。
从这个意义上讲，一特征是一图像中的一突显元素，其可以是一点、一线、一曲线、一连接区域或任何其他像素组。一特征描述符涉及提供一区别性描述的方法，例如，依据一个或复数个图像中的其局部邻近者的一特征的实数向量形式。
关联于特征的一广域坐标系统中的一(部分)位置和/或方位和/或高度(如下面更详细地说明)的任何参数可被储存作为分别的特征描述符的一部分，或除了分别的特征描述符之外者可被储存。如适当的话，可选择其方式以关联这信息与一分别的特征。
使用一拾取装置，例如一摄影机，一当前图像被拾取并且在该当前图像中的至少一当前特征被检测并且被描述。对于每个当前特征，其目标是找出一组参考特征中对应至相同实体表面的一特征。
图1A展示匹配一组当前特征与和图1B有关的一组参考特征的标准方法的流程图。在步骤S11中，利用一拾取装置取得的当前图像CI被提供。下一步骤S12接着检测并且描述当前图像CI中的特征(选择性：依据所评估的模型-特征-位置的已选择性的提取)，其中每个产生的当前特征CF具有一特征描述符D(CF)以及在摄影机图像CI中的2D位置。可被使用在特征检测以及描述的可能方法，将参考实施范例而更详细地在下面被说明。
一组参考特征RF，各具有广域坐标系统的一描述符D(RF)以及一(部分)位置和/或方位被提供于步骤S13中。在步骤S14中，来自步骤S12的当前特征CF以及来自步骤S13的参考特征RF被匹配。例如，对于每个当前特征，参考特征被搜寻，其具有与有关一确定距离度量的当前特征的描述符最接近的描述符。
依据步骤S15，一应用使用该等特征匹配，例如，为了在一增强现实应用中非常准确地评估拾取设备的位置和方向，将所记录的虚拟3D对象空间集成入摄影机图像中。
如下面将更详细地描述，当匹配特征时，在一图像中一元素，例如，像素，的一深度可被用作为进一步的信息。通常，一图像中的一元素(例如，像素)的深度可定义成在这元素(像素)中被成像的实体表面与拾取位置，尤其是拾取装置的光学中心之间的距离。
就此而言，图1C展示由两组玩偶S1与S2(各组包括一高的以及一小的玩偶)以及一拾取装置CD所构成的范例景象。该组S1的实体点PP1通过拾取装置被成像于像素IP1中。这像素的深度是D1，那是在拾取装置的光学中心OC，其定义摄影机坐标系统的原点，和实体点PP1之间的距离。相似地，该组S2的一个第二实体点PP2被成像于IP2中并且具有深度D2。注意到，摄影机固有参数(尤其是焦距)的评估，允许计算出给定其在图像平面IP1上的深度D1和其像素位置的点PP1的笛卡儿坐标中的3D位置。
有许多方法可能提供一图像中的一元素(例如，像素)的深度，其可能被用于依据本发明将在下面的段落中被说明的匹配过程中。
来自被校准摄影机的深度：
依据一实施例以确定一强度图像中的至少一元素的深度，具有已知相对位置和/或方位的至少两个拾取装置，其各拾取一分别的强度图像，其中对应关系被发现于该等图像中并且该等拾取装置的相对位置和/或方位被用以计算强度图像中的至少一元素的深度，其是该等对应关系的至少之一的部分。
尤其是，提供深度数据的一可能性是如下所述：至少两个摄影机，记录具有已知的相对位姿以及理想的已知固有参数的强度，可在大约相同时间或当不移动时在不同时间拾取图像。对应关系可被发现在两图像中，并且摄影机的相对位姿以及固有参数可被使用以计算任一图像坐标系统中的对应性深度。在试图找出对应关系之前重新得到相对位姿以及固有参数是有利的，因为他们可被使用以通过引介另外的限制(例如，同轴几何)而简化对应关系的创建。
例如，根据点特征的对应关系的寻找可如下所述被实施：为自一个图像至另一图像匹配一2D特征，关于指定尺寸的2D特征的斑块在其他图像中被搜寻。例如，差异值平方和(SSD)或标准化相关性(NCC)可分别地被使用作为距离或相似度量。为减低搜寻对应的斑块所需要的比较数量，其仅沿着另一图像中的特征点的同轴线被搜寻。为简化进行一1D-搜寻的沿着同轴线的搜寻，图像首先被矫正。具有最高相似性的两个斑块被设定成为相关。如果具有最高相似性的那个是显著地比第二最高相似性的更相似，则前面的那个将被考虑作为匹配对应关系。
当然，熟悉本技术人员明白，许多可能性存在以得到对应关系。其也可能得到对应关系而不必考虑同轴线。当然，过程也可以迭代的形式被实施，其使用初始深度评估与我们所提的实际尺度特征描述符工作并且再计算具有较高精确度的特征的对应关系以及位置。
来自至少一移动的摄影机的深度：
依据另一实施例来决定一强度图像中的至少一元素的深度，至少一拾取装置自不同装置在不同时间点从不同的位置拾取强度图像，其中对应关系被发现于不同的图像中并且在不同图像间的拾取装置的相对位置和/或方位以及对应关系的结构被重新获得，并且被用来计算强度图像中至少一元素的深度，其是该等对应关系的至少之一的部分。
例如，至少一个摄影机在不同的时间点自不同的位置拾取图像。理想地，一些其他传感器测量值是可用的(例如，GPS位置)。该等图像以及另外信息，如果可用的话，接着被分析。不同图像中的对应关系被发现，例如，通过逐图像跟踪特征或通过检测局部特征并且使用尺度不变描述符以匹配它们。接着，一所谓的自移动产生的结构(SfM)的方法被使用以重新获得在不同的图像以及对应关系的结构之间的相对位姿。熟悉本领域技术人员应明白，亦有许多不同方法。理想地，另外的传感器数据，像GPS位置或摄影机的已知的移动(例如，通过在车子中测量该车子的移动)可被使用来提供实体尺度的对应关系的结构。另外地，如果在任何图像中，具有已知尺寸的一已知对象，可被取回(例如，一现钞或标志)，实体尺度也可被取回。在实体尺度不能被取回的情况中，一尺度被假设，并且我们的方法仍然可被使用，但是仅将用于进行这确切情节中的进一步的匹配。例如，为了跟踪摄影机移动以便对视频游戏叠加游戏角色，移动的确切尺寸可能不是问题，但是实际的相对移动是重要的。通过真实尺度特征描述符的增强的匹配在此会是有用的。
再者，这过程可以迭代的方式被实施，其使用初始尺度评估以改善对应关系，导致位姿评估以及结构中的较高的精确度。
来自图像匹配的深度：
依据另一实施例以决定一强度图像中的至少一元素的深度，其提供强度图像的至少一数据库，其中对于每个该等强度图像的一总体深度，或对于至少一图像区域的深度，或对于一个或多个像素的深度是已知的，并且利用拾取装置拾取的强度图像(当前强度图像)对照于这数据库而被匹配。匹配结果被使用以计算当前强度图像中的至少一元素的深度。
例如，取回相关于一图像的深度的方法是如下所述：我们假设图像的一数据库存在并且对于每个图像的总体深度(例如，10米)或对于分别的图像区域的深度或对于每个像素的深度的任一者是已知的。所采取的当前图像对照于这数据库被匹配。为了加速过程和/或为增加鲁棒性，一可选的步骤可被使用以产生用于图像匹配的最佳化数据结构。这可，例如，自特征描述符建立一词汇树或一KD-树。
该方法可使用来自数据库图像的详细的深度信息(如果存在的话)以及我们提议的真实尺度特征描述符或使用其他方法试图记录两图像。如果这是不可能或没有详细的深度信息被提供，则所给予的那个深度或平均深度被返回。
来自3D模型信息以及传感器信息的深度：
依据另一实施例以决定一强度图像中至少一元素的深度，当拾取有关一环境模型的强度图像(其可以是一初始评估)时，则其提供一环境模型以及有关拾取装置的位置和/或方位的信息，其中该环境模型以及有关拾取装置的位置和/或方位的信息被组合并且被使用以计算强度图像中至少一个元素的深度。例如，假设一环境模型可被提供，其可以，例如，是一所构建的3D模型或环境的扫描。当有关环境模型的图像被取得时，如果有关拾取装置的位置和/或方位的任何信息是已知的，则两者可被组合。例如，通过用假设的摄影机位姿以及摄影机固有参数而渲染的(rendering)3D模型，每个像素的深度可通过环境模型自由环境模型提供的深度缓冲区被获得，以及在渲染期间被使用的深度缓冲区而被得到。虽然一初始位姿评估对这个方法是必须的，使用假设的深度以及具有纹理的环境模型的本发明，该位姿接着可在其他应用之间被改善并且变得更精确。当然这过程也可反复地被使用。
来自专用传感器的深度：
依据另一实施例以决定一强度图像中至少一元素的深度，其提供至少一传感器以取得深度信息或范围数据以及有关该拾取装置的至少一传感器的至少一个相对位置和/或方位，其中该深度信息或范围数据被使用以计算强度图像中至少一元素的深度。优选地，位姿(位置与方位)以及传感器以及拾取装置二者的固有参数是已知的。
尤其是，取得深度信息的方法是使用特别传感器，其专用于取得深度信息或范围数据。例如，其可是飞行时间机构，类似于激光扫描仪或飞行时间摄影机。另一范例是传感器，其投射一已知的光样型(pattern of light)进入环境中并且在通过具有一传感器的环境被反射之后取得该样型。通过匹配投射的信息与所接收的样型以及通过知晓投射器朝向取得传感器的位姿和通过知晓投射器与传感器两者的固有参数，深度可被计算。
允许深度数据的取得的另一传感器是参考文献[6]的全光摄影机。
为了使用具有强度图像的深度传感器的信息，位姿以及固有参数两者皆是已知的。深度信息接着可被转换成为摄影机坐标系统并且被使用。
图2说明对于特征匹配的现有技术的方法，例如，如在参考文献[4]中说明的基于GPS的方法，该方法流程图中包含一粗略的在先拾取装置位置，例如，利用GPS被提供。在步骤S21中，当前图像被提供，并且这图像中的特征被检测和描述于步骤S22中。产生的一组当前特征对各个特征具有一描述符以及图像坐标中的2D位置。步骤S23提供广域坐标系统中的拾取装置的一(部分)位置和/或方位。与一组参考特征一起被提供于步骤S24中，(部分地)具有已知的广域坐标系统中的坐标，拾取装置的(部分)装置和/或方位以及当前特征被使用于步骤S25中的匹配步骤中。在此处，拾取装置位置和/或方位的(部分的)知识被使用来减少可能是可见参考特征的搜寻空间。对于每个当前特征，具有最相似的描述符的参考特征被发现于具有相似于拾取装置的位置和/或方位的该组参考特征中。最后，在步骤S26中，一应用使用当前以及参考特征匹配。如在图1A的步骤S15中，这应用可以是，但不限于，一增强现实应用。
依据本发明的论点，提议通过考虑世界坐标(或广域坐标)中它们的位置的(部分)知识，以减少用于匹配利用一拾取装置所取得的当前图像的图像特征的搜寻空间。一广域坐标系统可以是一地面坐标系统或一对象坐标系统(例如，建筑物或一产品封装箱或一车子)，其具有关于地球的重力的固定高度或固定方位。
为减少搜寻空间，依据本发明的方法优选使用所有可用的信息以至少部分地描述广域坐标系统中的当前特征的位置和/或方位(亦即，不属于拾取装置)。由于可被决定的特征位置的自由度，是严重取决于拾取装置的位置以及方位上的可用信息，本发明论点的不同实施范例将在下面更详细地被说明。
图3描述依据本发明一实施例的方法流程图。在步骤S31中，利用拾取装置所取得的一当前图像被提供。一广域坐标系统中的这个拾取装置的(部分)位置和/或方位被提供在步骤S32中。接着，步骤S33检测以及描述来自被提供的当前图像的特征并且计算每个当前特征在广域坐标系统中的(部分)位置和/或方位。各具有一描述符以及广域坐标系统中的一(部分)位置和/或方位的一组参考特征被提供于步骤S34中，其中在步骤S35中，该等参考特征与当前特征一起作为至匹配的输入。所提议的匹配方法(步骤S35)接着通过在该组参考特征中寻找具有最接近的描述符的参考特征而对于每个当前特征找出匹配的参考特征，该组参考特征具有接近广域坐标系统中的当前特征的(部分地)已知位置和/或方位的广域坐标系统中的一(部分)位置和/或方位。最后，特征匹配被使用于步骤S36中的一应用中，其对应至如上所述的步骤S15以及S26。
一当前特征的位置可利用一方程式E被描述，方程式E描述一点、一射线、一直线、一圆、一圆锥体、或一圆柱体或任何其他的几何形状。该匹配步骤接着仅考虑具有通过E被定义的至该几何形状的距离是在一阈值ε(epsilon)一下的一位置的那些参考特征作为可能的匹配。因此，ε是，例如，取决于被使用以计算当前特征的部分位置的传感器测量值所决定的精确度。取决于部分空间信息的分别来源的不确定性，在一参考特征以及一当前特征的位置之间的距离测量不必定地需要是欧几里德(Euclidean)距离，但是可具有对于不同自由度的不同权重。其也可以是取决于在一参考特征以及拾取装置之间的距离。
不确定性传输的详细说明可被发现于参考文献[9]中。
本构想的论点具有对于同轴几何概念的一些相似性。如果在二摄影机之间的转换是已知的，找到对应的特征的问题被简化，至于第一图像中的每个特征，如果其是完全可见于该图像中，则第二图像中的一直线(“同轴线”)可被确定而包含对应的特征。然而，本方法的一论点中，不同于其更通用且该方法在3D中的使用限制，反之同轴几何限制是在2D图像空间中。另一重要差别是受限制的匹配过程的参考坐标系统。例如，在同轴几何中，一切事务被结合至图像空间，而本方法是根据在广域坐标系统，使得它们无关于对应的摄影机位姿。
实施范例：
这部分不仅根据可用的信息而讨论本发明论点的不同实施例，同时也提到特征检测、特征说明以及一在所给定的空间限制下匹配两个特征集的方法的实施范例。
可被用于本发明的在一个图像中检测特征的方法包括但是不限于高斯之拉普拉斯(LoG)的局部极值、高斯差分(DoG)或赫斯亚行列式(DoH)、最大稳定极值区域(MSER)、赫利斯(Harris)特征、或基于学习的转角检测器，例如，FAST。检测边缘(边缘元素)的方法也适用于在此方法中。所使用的特征检测方法是不受限定于可运行在2D强度灰阶图像上的方法，但是也可被执行在包含RGB、HSV以及Lab的任何其他色彩空间中的图像上，或唯一地包含深度信息或提供深度以及强度两个信息的范围图像。
描述特征的方法可在上述的任何形式的图像上工作并且可包含SIFT(尺度-不变特征转换)、SURF(加速鲁棒特征)、GLOH(梯度位置以及方位统计图)、HOG(定位梯度统计图)、2.5D-SIFT，或任何其他方法以比较包含类似于随机蕨的基于分类的方法的局部特征。
我们方法中的匹配程序的最自然方法是，在考虑其可能的匹配之前对于当前以及参考特征的每个组合进行彻底的搜寻并且检查它们空间距离并且计算在二描述符之间的距离。更详尽的构想的实施例将使用描述符领域和/或空间领域中的空间数据结构以加速匹配。适当的数据结构包含，但不限于容积(轴对齐方块、定位方块、球形、任意容积)，网格(一致的或不是一致的)，或任何类型的树型(例如，四分树型、八叉树型、二元空间分割树型、k维空间树型、多维空间索引树型)。匹配过程中的参考以及当前特征的角色是可交换的，即要么对每个当前特征搜寻一匹配参考特征要么反之亦然。其也不必定需要在任何一特征组之一中找出对于每个单一特征的匹配，但是匹配过程目标在找出一参考特征以及一当前特征之间的至少一匹配。
所述所发现的特征匹配接着可被使用于包括对象检测、对象分类、对象局部化以及广域坐标系统中的摄影机局部化的应用。后者，同时也被称为“自我局部化”，例如，可通过鲁棒位姿评估方法，例如，RANSAC、PROSAC或M-评估器被执行。注意到，此等方法需要固有摄影机参数的评估，尤其是，焦距。根据拾取装置位置和/或方位上的可用信息以及像素的深度，形成本发明构想的不同的可能实施例。它们不同于空间限制以减少对于参考特征的位置和/或方位的搜寻空间，该参考特征是一给定当前特征的潜在的匹配。我们所考虑尤其重要的范例将在下面详细地被说明。
该等方法假设摄影机的固有参数的评估将是可用的。这评估，例如，可产生自一校正程序或一合理的猜测，例如，根据摄影机分辨率。根据拾取装置的位置的指示的那些方法是可由两个不同的实施例被知晓。装置的经度以及纬度根据测量值，例如，GPS而被提供。依据被使用的硬件，其可能是无高度测量值可用或它们可能是非常不精确的。如果拾取装置的绝对高度的测量值是可用的并且可被考虑为充分地精确，则其被使用。否则使用一假设，例如，使用者被安置在街道位准上并且握有拾取装置在他或她手中在街道位准上面大约1.5至2米的高度。装置高度可无关于经度以及纬度地被测量，例如，通过一气压计。
在下面，我们将假设一特征是一点(亦即，一特征点，关键点或相交点)。但是本发明可以任何其他类型特征的相似方式被实施，例如，通过将一特征的重心视为其的位置。其他特征可以是边缘、小边或区域。
在下面，本发明一实施例使用来自装置位置以及3D装置方位的射线或点作为实施范例被说明。
如果在世界坐标中的拾取装置位置(例如，通过GPS以及任意的一气压计)以及3D方位(例如，通过惯性传感器以及数位罗盘的组合测量)是已知的，依据本发明论点的方法与摄影机的固有参数以及当前图像中的当前特征的位置一起使用这信息以定义这个特征被安置的世界坐标中的一射线。如果另外地，特征的深度的评估是可用的，则该方法可计算世界坐标中的当前特征的绝对3D位置。
在匹配阶段中，最合适的参考特征被认为比一阈值(epsilon)更接近于当前特征被安置的点或射线。再次，在一参考特征以及一点或射线之间的距离度量可以被定义为包含位置和/或方位的分别的自由度的一个或多个不确定性的方式。用于这组态的世界坐标领域中的一适当的空间数据结构将是一均匀的网格。3DDDA算法，例如，将被应用以决定一射线穿透的有关的单元格。对一网格中的每个单元格，描述符领域中的任何空间数据结构可被应用来储存包含在单元格中的参考特征，例如，KD-树型。
图4是展示本发明一实施例与一现有技术方法的比较的说明。尤其是，图4在一非常粗略位准上比较本发明论点与当前技术。城市区域的顶视图被展示，其中一使用者在一测量位置握有一拾取装置CD(在左方描述中为CD1以及在右方描述中为CD2)，在测量位置中拾取装置拾取一环境图像。在被拾取的图像中，一特征F被检测(在左方描述中为F1以及在右方描述中为F2)。现有技术(左方描述)根据已知的拾取装置CD的位置定义用于对应至当前特征F的参考特征的一搜寻空间SS1。依据本发明论点的方法(右方描述)计算特征F的(部分)位置并且根据F的(部分地已知)位置定义用于对应至F的参考特征的不同的搜寻空间SS2。如在图4中所见，搜寻空间SS2是显著地小于依据在先技术方法的搜寻空间SS1。因此，依据本发明的方法除了导致较少错配的技术状况之外还允许进一步地减少搜寻空间。
在下面，本发明另一实施例使用来自2D重力方向的1D特征高度以及1D特征深度作为实施范例被说明。这实施例或相关于这实施例被说明的本发明论点可能被使用而不必或结合任何上述实施例或本发明论点。
提供关联于拾取装置的坐标系统中的重力向量的测量值，例如，通过惯性传感器，以及当前摄影机图像中的当前特征深度，例如，通过立体深度(depth-from-stereo)方法，依据本发明论点的方法计算这个特征的相对或绝对高度。
图像中一特征的2D位置与固有摄影机参数一起导致定义关联于拾取装置的一坐标系统中的3D射线。此外，因特征深度可能是已知的，摄影机对齐的坐标系统中的特征的3D位置可被计算。自拾取装置光学中心至3D特征位置的向量接着被投射至导致特征高度的标准化重力向量上。
上述方法导致有关拾取装置的一相对高度测量。为了计算特征的绝对高度，装置的绝对高度需要被添加。这可以被测量，例如，通过GPS或气压计，或可以是根据如上面说明的一假设。
图5阐述如上所述的本发明论点的一可能实施例。尤其是，图5展示一拾取装置CD，其提供装置坐标(亦即，拾取装置坐标系统的坐标)中一重力向量G以及特征F1的深度D的测量值。给予二片段信息，有关拾取装置CD的特征F1的相对高度RA可被计算。尤其是，图像中的特征F1的2D位置能够与固有摄影机参数一起定义关联于拾取装置的坐标系统中的3D射线。当特征F1的深度D是已知时，摄影机对齐坐标系统中的特征的3D位置可被计算。自拾取装置CD光学中心至特征F1的3D特征位置的向量接着被投射至导致特征F1的相对高度RA的标准化重力向量上。增加拾取装置CD的(绝对)高度CDA导致特征F1的绝对高度AA。类似的计算可供用于特征F2以计算其之高度。
供用于对应至当前特征F1的参考特征的搜寻空间接着被定义在其之高度AA附近。注意到，以此方式，参考特征F2不被考虑作为可能匹配，虽然其看来非常相似于F1，但其不是落进搜寻空间之中。因此，依据这论点的本发明减低错配的可能性。
依据一实施例，在匹配阶段中，当前特征的位置通过具有重力向量是法线的一平面被说明。将是用于当前特征的一候选匹配者的参考特征的空间限制即它们至该平面的距离是在一特定阈值之下。因该平面描述一高度，该限制也可被视为迫使一参考以及一当前特征的高度绝对差是在阈值之下。
用于这实施例中的广域坐标系统领域的一适当数据结构将是具有沿着重力轴的大多数次分割之一非均匀网格。再者，任何数据结构可被使用以依据它们的描述符而分类单元格中的所有特征。
进一步的可能实施例：
在下面，我们将扼要地说明本发明论点的多种可能实施例。依据一实施例，名词“2D位置”涉及拾取装置的经度以及纬度，而“3D位置”另外地包含高度。名词“1D旋转”涉及对于重力的方位，例如，通过罗盘所得到者，“2D旋转”是相对于重力的旋转(例如，通过惯性传感器所测量者)以及“3D旋转”涉及两信息的结合。
本发明一可能实施例将使用拾取装置的2D位置以及3D旋转与当前特征的位置以及深度一起定义世界坐标中的一垂直线，一对应的参考特征需要近似地被安置在其上。
本发明的另一可能实施例将使用拾取装置的2D位置以及3D旋转与当前特征的位置一起定义世界坐标中的一个半平面，一对应的参考特征需要相关地被安置在其上。
本发明的另一可能实施例将使用拾取装置的3D位置以及1D旋转与一当前特征的位置以及深度一起定义世界坐标中的一半圆，一对应的参考特征需要相关地被安置在其上。
本发明的另一可能实施例将使用拾取装置的3D位置以及1D旋转与一当前特征的位置一起定义世界坐标中的一个半平面，一对应的参考特征需要相关地被安置在其上。
本发明的另一可能实施例将使用拾取装置的2D位置以及1D旋转与一当前特征的位置一起定义世界坐标中的一个半平面，一对应的参考特征需要相关地被安置在其上。
本发明的另一可能实施例将使用拾取装置的3D位置以及2D旋转与一当前特征的位置以及深度一起定义世界坐标中的一圆，一对应的参考特征需要相关地被安置在其上。
本发明的另一可能实施例将使用拾取装置的3D位置以及2D旋转与一当前特征的位置一起定义世界坐标中的一圆锥体，一对应的参考特征需要相关地被安置在其上。
本发明的另一可能实施例将使用拾取装置的2D位置以及2D旋转与一当前特征的位置以及深度一起定义世界坐标中的一圆柱体，一对应的参考特征需要相关地被安置在其上。
本发明的另一可能实施例将使用拾取装置的1D位置以及2D旋转与一当前特征的位置以及深度一起定义世界坐标中的一平面，一对应的参考特征需要相关地被安置在其上。
本发明的另一可能实施例将使用拾取装置的3D位置与一当前特征的位置以及深度一起定义世界坐标中的一球体，一对应的参考特征需要相关地被安置在其上。
一可能实施例可依据下面的公式计算在一参考特征(利用指标1被指示)对照于来自一当前图像之一提取特征(利用指标2被指示)之间的匹配可能性MP_A：
MP_A＝1/sqrt[(x1-x2)∧2*weightx+(y1-y2)∧2*weighty+(z1-z2)∧2*weightz]
其中“权重(weight)”取决于特征位置评估被传送的不确定性，根据该装置的当前位姿评估被传送。例如，如果距离是已知的以及高度与高度角度，但是非x，y坐标(标示图像中的2D位置)，则权重x(weightx)以及权重y(weighty)是0，而权重z(weightz)是非零。权重x、权重y、权重z标示用于分别的x，y，z坐标的分别的权重。
换言之，MP_A根据在可能通过数据库或参考模型被提供的参考特征以及已被提取但是尚未被匹配的当前特征之间的空间中的笛卡儿距离被决定。随着在该等特征之间的距离增加，匹配可能性将减少。这提供非常可靠的结果，但是其高度地依赖于非常好的位姿评估的初始化。
另一实施例可计算在参考特征1的特征描述符向量v1以及提取特征2的特征描述符v2之间的匹配可能性MP_B，如自当前技术方法所已知者：
MP_B＝1/sqrt[(v1-v2)∧2]。
换言之，MP_B考虑在被提供的信息之间的图像中的相似性(例如，强度差量)。
有利地，一可能实施例可组合如上所述的两个匹配可能性计算。例如，MP_A可被计算以决定一限定的当前匹配的预选择，并且接着MP_B可关于其中MP_A超出一确定阈值的参考特征以及当前特征被计算。或者，MP_B可能首先被计算以决定一限定的当前匹配的预选择并且接着MP_B可关于参考特征以及当前特征的被计算。
在一可能实施例中，其可能根据位姿评估的不确定性被决定，何者匹配机率的位姿评估不确定性将被计算、被组合和/或在其中匹配机率将被计算的顺序。例如，如果摄影机位姿的不确定性是低的，MP_A可能是较佳的或优先于MP_B，表示MP_A或MP_A以及MP_B组合的任一者(其中MP_A被使用于预选择)可被使用。
依据一实施例，不确定性信息通过根据不确定性(例如，笛卡儿坐标中的x，y，z)而改变关于位置和/或方位的分别自由度的至少之一的一分别的权重以影响匹配过程。例如，当匹配候选者将被匹配时，不确定性信息影响参考特征的选择。例如，当具有一权重时，作为匹配候选者的参考特征的选择根据该权重被影响，一较高的不确定性可能减少该权重并且一较低的不确定性可能增加该权重。
例如，用来提供拾取装置的位置、方位和/或高度的不确定性信息根据传感器型式被决定。
假设我们被提供于广域坐标系统中的拾取装置的(部分)位姿上的一粗略预知以及相同广域坐标系统中的环境的一参考模型(例如，剖析参考特征集合或一三角形网格)。我们提出将参考模型(的部分)转换成为关联于拾取装置的坐标系统，并且将其投射至摄影机图像平面上。特征检测方法接着使用这投射的信息于其仅检测它们邻近中具有参考模型被投射的部分的图像中的那些位置的特征。
图6显示通过一拾取装置取得的范例景象的图像。该图像的景象包含风景(山、岸边、海)以及一些人工对象(屋子)。使用拾取装置的粗略位姿，例如自GPS、一数位罗盘、以及一加速器，邻近中可用的参考模型RM通过那位姿被渲染。这模型不包含山或海上的任何信息，但是专有地代表景象中的人工结构。根据被投射的参考模型RM，涵盖投射的参考模型以及其局部邻近者的一适应式区域AR被形成。依据本发明的方法接着仅检测在这区域AR内部的特征，因在图像的其他区域中被检测的特征很可能在参考模型中不具有任何对应关系。
图7阐述另一实施例，其展示通过拾取装置所取得的另一范例景象的图像。假设仅有关拾取装置的重力的粗略方位是已知的，例如，通过一加速器被提供，一更通常的参考模型被使用，例如，地平线。通过在已知的方位考虑之下投射地平线H进入图像中并且通过仅检测在这投射线邻近之一适合区域AR中的特征，检测在地面及天空的特征被避免。这提供匹配中的有利条件，因户外情节中的地面上的特征通常是非常重复的并且天空的特征是明显地无用的，因天空随时时间激烈地改变景象。
依据本发明一实施例，所述方法可被使用于客户服务器架构中，于其中一个或多个客户，例如，在移动式装置上执行，通过网络，例如，无线LAN、GSM或任何其他宽带网络(WAN)，与一服务器通讯。
图8阐述在客户C以及服务器S之间的通讯范例的流程图。在步骤S81中，在客户C决定其的粗略(部分的)位姿(位置以及方位)之后，这信息被使用作为至服务器S的一询问。在步骤S82中，服务器S接着依据该询问于其的数据库SDB中产生参考模型的一子集。该子集，例如，可对应至整个参考模型的部分，其被安置邻近客户(部分)的位置。在步骤S83中，该子集被传送以响应该客户C，接着客户C通过所取回的子集而更新其之局部数据库CDB。在步骤S84中，在拾取一新的帧(图像)之后，当前特征被检测、被描述并且被匹配于施加空间限制的局部数据库CDB中的局部参考模型，如上面的说明(步骤S85)。在步骤S86中，该等匹配接着被使用以决定拾取装置的状态。在拾取一新的帧(图像)之后(步骤S87)，取决于位姿评估是否成功，客户C继续进行(步骤S88)。如果成功，该方法相对至在先帧而评估拾取装置位姿(亦即，帧-至-帧跟踪)，否则客户C依据一些推理(步骤S89)而产生新的当前特征以尝试初始化跟踪(步骤S85)，或传送一新的询问至服务器S(步骤S81)。选择地，在步骤S810中，导致一成功位姿评估的匹配可被使用以更新服务器数据库SDB。
特征检测以及特征描述：
任何二维计算机视觉方法的一强的限制是其操作在一投射空间中。这使得其不可能从产生自一对象的实际实体尺度的尺度而辨认产生自一对象至摄影机的距离的尺度。对于产生自摄影机至一对象的距离的尺度的不变性清楚地在许多应用中是所需求的，并且是对于尺度不变性的原始动机。但是，在不同实体尺度的相似特征的存在情况中，尺度的不变性使得它们难以辨认。例如，如在参考文献[1]中被说明的一描述符将不可能在一真正建筑物以及其之一小型模型之间辨认。除此之外，通过自图像强度计算一可重复特征尺度而提供尺度不变性的方法是高度地依赖这被计算的尺度的精确度以及重复性。
依据本发明实施例，该方法因此也包含检测以及描述来自一强度图像的特征的方法，其对于产生自在拾取装置以及对象之间距离的尺度是不变的，但其却是易敏感于多种应用对象的真正实体的尺度。就此而言，此方法的各种实施例是可设置如下所述：
在一实施例中，该方法可包括下列步骤：提供利用摄影机拾取的一强度图像，提供一方法以供决定强度图像中的至少一元素的深度，在一特征检测过程中检测强度图像中至少一特征，其中该特征检测通过处理在取决于强度图像中至少一元素的深度的一尺度的强度图像的图像强度信息而被执行，并且提供至少一检测特征的一特征描述符。
依据一实施例，特征描述符包括依据通过强度图像提供的图像强度信息的至少一第一参数，以及包含描述符坐标，该等描述符坐标依据作为检测特征的一部分的强度图像中至少一元素的深度被测量，或特征描述符根据通过在检测特征附近的一支撑域中的强度图像提供的信息而描述检测特征，其中该支撑域依据作为检测特征的一部分的强度图像中至少一元素的深度被测量。
依据本发明另一实施例，该方法可包含检测以及描述来自一强度图像的特征的方法，该方法包括下列步骤：提供通过一摄影机拾取的一强度图像，提供一方法以供决定强度图像中的至少一元素的深度，根据通过强度图像提供的图像强度信息而检测强度图像中至少一特征，提供至少一检测特征的一特征描述符，其中该特征描述符根据通过强度图像提供的图像强度信息而包含至少一第一参数，以及包含描述符坐标，该等描述符坐标依据作为检测特征的一部分的强度图像中至少一元素的深度被测量，或其中该特征描述符根据通过在检测特征附近的一支撑域中的强度图像提供的信息而描述检测特征，其中该支撑域依据作为检测特征的一部分的强度图像中至少一元素的深度被测量。
依据本发明另一实施例，该方法可包含检测以及描述来自一强度图像的特征的方法，该方法包括下列步骤：提供通过一摄影机拾取的一强度图像，提供一方法以供决定强度图像中的至少一元素的深度，根据通过强度图像提供的图像强度信息而检测强度图像中的至少一特征，以及提供具有一特定尺度的一指标的至少一检测特征的一特征描述符，该特征描述符包含根据通过强度图像提供的信息的至少一第一参数，以及至少一第二参数，其是指示作为检测特征的一部分的强度图像中至少一元素的尺度及深度的组合。当参考描述符坐标时，我们参看强度数值的坐标，自其中描述符关于一定义的特征中心而被建立。图3有助于了解所述概念。
因此建议采用强度图像中一元素(例如，一像素)的深度以供用于在强度图像中的特定元素(像素)的特征检测和/或描述。因此，特征可以真实(实体)尺度被检测并且被描述，比较至强度图像上的标准尺度不变的特征描述符则提供被改进的独特性，而不引介任何限制在摄影机移动上。
依据一实施例，在建议的方法中，其在特征检测过程中决定强度图像中的至少一元素是否属于一检测特征或不取决于强度图像中的强度值。
尤其是，依据本发明一实施例，该建议的方法仅根据强度图像而检测以及描述特征。尤其是，一特征的深度被使用以通过关于一真正(实体)尺度而改进过程，但是对照于当前技术，在特征附近的任何其他局部几何的知识不被使用。
依据这些实施例的方法，在一论点中仅使用一个纯量数值，其是距离的一指示，以改进唯一来自2D强度图像中被检测并且被描述的特征的检测和/或描述。
不同的方法存在以提供关联强度图像中特定像素的深度信息。范例包含立体视觉、飞行时间摄影机以及使用结构光的方法。在下面，我们假设我们被提供一强度图像以及一方法以供决定强度图像中至少一元素的深度。这方法可以，例如，是一相关深度映射中的一查询操作(可能是使用内插和/或外插)或其可能是来自包含自不同视角的对应的实体元素的给予的第二强度图像的立体深度的计算。
1、依据本发明一实施例在真实尺度的特征检测：
通常，依据这论点的一方法包括下列步骤：提供通过一拾取装置拾取的一强度图像，提供一方法以供决定强度图像中的至少一元素的深度，在一特征检测过程中检测强度图像中至少一特征，其中该特征检测通过处理在依据强度图像中至少一元素的深度的一尺度的该强度图像的图像强度信息而被执行，并且提供至少一检测特征的一特征描述符。
依据一实施例，特征描述符包括依据通过强度图像提供的图像强度信息的至少一第一参数，以及作为尺度指示的至少一第二参数。
依据一实施例，特征描述符包含依据通过强度图像提供的图像强度信息的至少一第一参数，以及包含描述符坐标，该等描述符坐标依据作为检测特征的部分的强度图像中的至少一元素的深度被测量，或特征描述符根据通过在检测特征附近的一支撑域中的强度图像中提供的信息而描述检测特征，其中该支撑域依据作为检测特征的一部分的强度图像中的至少一元素的深度被测量。
一特征是一图像中的一显著的元素，其可以是一点(在文献中时常被称为关键点或相关点)、一线、一曲线、一区域、或图像的任何其他子集。特征检测算法通常是显著性检测器。例如，它们找出线、边缘、或一微分运算器的相对极值。一特征检测器可被视为映射像素的一区域至一响应的一函数。在文献中，这区域被称为特征检测器的采样窗口、支撑域或测量孔径。该响应是决定哪些元素是特征以及哪些不是的最终阈值。为了在一定尺度提取特征，采样窗口或支撑域的任何一个可因此被测量，或图像可在计算特征检测器的响应之前通过反向尺度系数被缩放。一特征的尺度(或尺寸)接着被定义作为被使用以检测它的采样窗口或支撑域的尺寸。
在这种情况中，图9展示快速(FAST)转角检测器的一尺寸(在左边的展示)，如用于检测点特征的方法的通常范例。在这范例中，一特征F的尺度(或尺寸)被定义为如展示的“尺度1”或“尺度2”，其等对应至被使用以检测它的采样窗口或支撑域(此处通过圆形组像素被定义)的尺寸。在图9左边上，提供决定一像素是否为一特征(采样窗口或支撑域)的图像区域(在此处通过圆形组像素被限定)以两个不同尺度，尺度1以及尺度2被展示而标明两个不同尺寸的支撑域。
例如，在本发明一论点中，该方法包括下列步骤：定义一支撑域作为涵盖强度图像的一部分的区域，根据在该特征附近的支撑域中的信息而检测强度图像中的至少一特征，其中支撑域的一尺寸对应于具有至少一特征被检测的尺度而被决定。
依据一实施例，至少一特征被检测的尺度依据于支撑域的深度取样。例如，支撑域以反比于强度图像中的至少一元素的深度被测量以供特征检测过程决定其是否为检测特征的一部分。
用于特征检测方法的常见范例包含高斯之拉普拉斯(LoG)、高斯差分(DoG)、赫斯亚行列式(DoH)、最大稳定极值区域(MSER)、赫利斯(Harris)特征、或学习为基础转角检测器，例如，FAST。对于检测边缘特征，广泛已知的算法，例如，肯尼(Canny)、莎贝尔(Sobel)或普利卫特(Prewitt)可被应用。
例如，特征检测在反比例依据于强度图像中至少一元素的深度的至少一尺度被运行以供特征检测过程决定其是否为检测特征的一部分。
依据一实施例，在至少一特征被检测的至少一尺度对应至该特征的一实体尺寸。
在本发明的一可能实施例中，提议决定一元素是否为一特征或不取决于强度图像中的数值以及元素深度。更明确地说，对于各检测元素，特征检测以反比例依据于推定的元素深度的一个或多个尺度被实行。
在本发明一实施例中，特征检测仅使用一个真实尺度(例如，毫米)以检测特征。在另一实施例中，多于一个的真实尺度(例如，毫米)，其依据被使用的深度以检测特征(例如，30毫米以及60毫米以供用于更远于50公分以及较接近于100公分的特征)。因此，虽然图像尺度(像素)被改变至真实尺度，例如，通过使其反比例于深度，于量度距离的实体或真实尺度可不同地以及独立地被测量。
因此，在特征被检测的尺度对应至一真实(实体)的尺寸而替代摄影机像素单位的尺度。拾取装置焦距的评估是以绝对真实尺度检测特征所需求的。
图10a展示根据本发明这论点的方法的实施范例流程图。步骤S51通过一拾取装置，例如，一摄影机，拾取一强度图像，或装载一强度图像，并且提供一方法以决定强度图像中的至少一元素，例如，一特定像素，的深度(关于此一方法的可能实施例，进一步的详细说明在上面被提供)。步骤S52，其定义提取特征的尺度，是取决于深度取样。对于各支撑域，其可以是如一像素一般地小，检测强度图像中的特征的尺度依据于对该区域的一深度取样。在本发明一实施例中的支撑域是由多于8个像素所构成。如上面的说明，自深度决定尺度的一可能方式是一反比关系，其导致真实(实体)尺度。随后，步骤S53产生用于不同尺度的所提供的强度图像表示。在步骤S54中，特征以所需的尺度被检测。尤其是，在特征检测过程中，用于不同尺度的强度图像的分别表示被产生并且强度图像中的特征以分别的尺度被检测。对于特征描述，至少一方位被指定于步骤S55中，例如，在邻近像素的主要梯度方向或使用一方位传感器测量，例如，通过重力被对准。最终，在步骤S56中，考虑它们的尺度以及方位，特征被描述，并且在步骤S57使用如在标准方法中的所述特征。
尤其注意到，步骤S53以及S54是范例。允许以不同尺度检测特征的任何方法可被应用于此，包含以缩放它们的采样孔径(或支撑域)以取代工作在强度图像的尺度版本上那些方法。
本发明一实施例使用点特征(亦即，关键点或相关点)。特征检测在此情况中通过一方法被执行而依据在该点附近的采样窗口中的图像强度决定对于一图像(亦即，一像素)中的一单一点是否为一特征。
例如，FAST转角检测器，其时常被使用作为特征检测器，将如下所述地被使用在本发明一实施例中。给予一像素，检测器依据其的强度以及在具有半径3.5像素的圆附近上的像素强度决定其是否为一特征(转角)。所提议的方法将首先自一深度提供方法以决定像素深度。给予这深度(深度真正)、一所需的真实尺度(半径真正)以及拾取装置的焦距(焦距像素)(像素单位)，对应至所需的真实尺度的像素中的直径或半径(半径像素)可如下所示被计算：
半径像素＝焦距像素*半径真正/深度真正
如上面的说明，对应至表面上一些真实尺度的图像中的尺度反比例于深度地变化。这是自深度决定尺度的一可能方式。
为了以对应至用于FAST转角检测器的半径(半径真正)的真实尺度检测一特征，原始检测器的任何的修改将被使用而以一半径像素的像素的半径以取代原定3.5像素而操作，或在具有半径像素的半径的候选像素附近的一斑块通过半径像素/3.5的系数被尺度调整，并且检测通过标准检测器被执行在被尺度调整的图像斑块上。
取代提供用于各深度的一分别尺度，其可以是计算地有利于指定一深度范围至一尺度。例如，5-10米的范围被指定100毫米的尺度并且范围在10米之上者被指定至300毫米。
本发明另一可能实施例可使用其他深度指示值，如上所述的取代深度。一实施例使用以摄影机为中心的笛卡儿坐标系统的z-值，其中z-轴是与摄影机的光轴在同一直线。
一般，其也是清楚的，深度或距离，不必定是精确地自摄影机的中心被测量。
选择地，图像或部分图像，在特征被提取或描述符被建立之前，可能依据另外的固有参数而不失真。
本发明不需要正交计算(其需要密集的深度数据)的昂贵步骤、图像的投射返回为3D、以及三角测量。替代一图像网格，本发明的方法使用一简单2D强度图像用以产生尺度空间。其不根据正切平面执行任何邻近地区的正交化并且根本也不考虑特征描述中的法线。尤其是，依据本发明，在特征检测过程期间没有依据深度数据的3D网格被产生。
2、依据本发明进一步实施例的真实尺度的特征描述：
通常，依据这论点的方法包括下列步骤：提供通过一摄影机拾取的一强度图像，提供一方法以供决定强度图像中至少一元素的深度，依据通过强度图像提供的图像强度信息检测强度影响中的至少一特征，以及提供至少一检测特征的一特征描述符。
在第一可能性中，特征描述符包括依据通过强度图像提供的图像强度信息的至少一第一参数，以及包含描述符坐标，该等描述符坐标依据作为检测特征的一部分的强度图像中至少一元素的深度被测量。
另外地，在一第二可能性中，特征描述符描述依据通过在检测特征附近的一支撑域中的强度图像提供的图像强度信息的检测特征，其中支撑域依据作为检测特征的一部分的强度图像中的至少一元素的深度被测量。
一特征描述符根据在特征附近的图像的一支撑域中的可用信息描述一特征。特征描述符的尺度是支撑域的尺寸。为清楚起见以及作为一范例，图9展示在所展示的右边上，以两个不同尺度的SIFT描述符的支撑域(此处通过具有展示如直线的一相对梯度的一框形或矩形被定义)，标明不同尺寸的支撑域的尺度3以及尺度4，在此处是框形或矩形。
一描述符的尺度通常被选择而线性地依据描述的特征尺度。在本发明一较佳实施例中，被使用在建立特征描述符的支援像素是由在一像素附近的几何图形(例如，在一圆的边缘上，或在一椭圆内部的所有像素)所指定的像素所构成，其被辨识作为一特征，其中几何图形仅依据深度变化。变化可以是重新评估几何图形或以不同的深度改变几何图形形状。不同的深度可以是区间，例如，0-0.5米以及0.5米-5米及在5米以上。注意到，有关支撑域，我们指示具有非零供献权重的支撑域的部分。
例如，强度图像中的支援点被使用于提供特征描述符，其包括通过已在特征检测过程中被辨识作为检测特征的一部分的该等点之一者附近的一几何图形所指定的点，其中几何图形依据该等点之一者的深度而变化，尤其是，其中该变化可在不同的深度重新调整该几何图形大小或改变该几何图形形状。
依据一实施例，在不同的真实尺度的支撑域被使用，其中这些支撑域的一支撑域在较小的决定深度被决定为较小并且在较大的决定深度被决定为较大。
一特征描述符可以是一实数向量，例如，SIFT或SURF，但是也可以是分类为基础的方法，例如，随机FERNS。此外，统计式描述符，如同一外形的曲率或(实体)长度，可被使用。在本质上，能够匹配特征的任何方法在这揭示说法中被考虑为一特征描述符。
依据一实施例，其提议依据通过上述方法提供的强度图像中的数值以及特征深度，而描述一特征。这提议的更多特定实施例将在下面被说明。
依据一实施例，特征描述符的支撑域成反比于作为检测特征的一部分的强度图像中至少一元素的深度被尺度调整。
依据另一实施例，特征描述符的描述符坐标反比例于作为检测特征的一部分的强度图像中至少一元素的深度被尺度调整。
尤其是，其提议反比例于特征深度而尺度调整特征描述符的坐标或支撑域。这导致特征描述符的尺度对应至一真实尺度并且不仅改进特征描述符尺度的重复性但同时也能够辨认在不同的实体尺度的相似特征。
如果真实尺度将对应至可在不同的装置各处被使用的一绝对尺度，拾取装置的焦距评估是所需的。在一定距离(深度真正)对应至一绝对真实尺度(S真正)的像素(S像素)中的尺度接着被计算如：
S像素＝焦距像素*S真正/深度真正。
图10b展示依据本发明这论点的一实施例方法的流程图。在步骤S61中，在通过一拾取装置拾取一强度图像或装载一强度图像并且提供给予一要求像素的深度的方法之后，在步骤S63中，特征以在步骤S62中被定义的尺度被检测。这些尺度对于真实(实体)尺度不具有一已知的关系，但是在图像坐标中被定义。在步骤S65中，为了描述一特征，我们并入通过深度提供方法被提供的特征深度。深度被使用以量度描述符坐标以对应至一真实尺度，如上面的说明。在步骤S66中，在方位指定之后，特征使用对应至一真实尺度的描述符尺度在步骤S67中被描述。最终，在步骤S68中，被描述的特征被使用于应用中。在本发明的可能实施例中，特征被提取以便提供深度(例如，使用一立体摄影机)。因此，特征可即时地被传送至步骤S65，并且步骤S62，S63以及S64(亦即，对应至图10a中的步骤S53以及S54的特征提取FE)不(再)必须进行。
在这部分中被提议的方法的一实施例使用点特征(亦即，关键点或相关点)以及供用于此等特征的特征描述符。给予一图像中的一2D点，一尺度以及选择地一方位，其计算一描述符，例如，其可根据在一特征附近的支撑域中的强度值通过一实数向量被表示。此等方法的通俗范例包含SIFT以及SURF。
为了支援处理具有强深度变化的景象，我们提议定义复数个对应至真实尺度的所需的特征描述符尺度。因此本发明之一可能实施例使用不同的真实尺度支撑域，其中支撑域在较小的深度是较小并且在较高的深度数值是较大。例如，当成像一处远的山时，因它将涵盖小于一像素，50毫米*50毫米的一支撑域是无意义的。另一方面，10000毫米*10000毫的一支撑域，对于此一景象可能是有意义的，而其是清楚地不能在一室内桌面环境中实行。
依据如上所述在部分1中和/或在这部分2中的一实施例，尺度被定义作为一广域设置并且特征描述符不包含指示尺度和/或支撑域的至少一第二参数。
3、依据本发明进一步实施例的尺度不变真正尺度察觉特征描述：
依据本发明这论点，其提议根据强度图像定义特征描述符的尺度，如在标准方法中所处理的一般。根据这论点的方法包括下列步骤：提供通过一摄影机拾取的一强度图像，提供一方法以供决定强度图像中至少一元素的深度，根据通过强度图像提供的图像强度信息检测强度图像中至少一特征，以及通过一特定尺度的指标提供至少一检测特征的一特征描述符。特征描述符包含根据通过强度图像提供的图像强度信息的至少一第一参数以及至少一第二参数，该第二参数指示尺度以及作为检测特征的一部分的强度图像中至少一元素的深度的组合。
例如，第二参数是指示尺度以及作为检测特征的一部分的强度图像中至少一元素的深度的一乘积。
依据一实施例，该第二参数，其选择地包含有关拾取装置的焦距的信息，被使用作为一连续特征匹配过程中的一选择步骤的基础，在其中仅另一强度图像的那些特征被考虑作为具有包含相似至少第二参数的至少一参数的一特征描述符的检测特征的可能匹配。
最好是，第二参数是对于检测特征至拾取装置的距离是不变的。
依据一实施例，特征描述符除了在特征附近的支撑域中的强度图像的一描述之外还包含一纯量值，例如，s*d。因而s指示特征描述符尺度并且d是指示特征深度。虽然这数值是一特征对于拾取装置的距离是理想地不变的，它提供一特征的明显的描述。如果一特征的深度d(或距离)加倍，则强度图像中这特征的尺寸，以及因此其之尺度s将减少一半。熟悉本领域技术人员应明白，焦距不是要紧的，只要它是常数。但是在一般情况中，要紧的是，任何摄影机可被使用。因此，该常数将是以(s*d)/f作为替代，其中f是焦距。这是重要的，以便确保数据在不同焦距摄影机之间可操作。尺度以及深度(以及选择地焦距)的乘积，例如，可被使用以通过仅考虑具有一相似s*d数值的那些特征作为可能匹配而加速特征匹配。
图10c展示依据本发明这论点的一实施例方法的流程图。在步骤S71中，在通过拾取装置拾取一强度图像或装载一强度图像以及提供一方法以得到强度图像中特定点的深度取样之后，强度图像的一尺度空间以在步骤S72中被定义的尺度在步骤S73中被产生。在步骤S74中，特征自尺度空间图像被提取。对于每个特征，一方位在步骤S75中被指定并且在步骤S76中一描述被计算。注意，该方法到目前为止无不同于一常规尺度不变的方法，例如，SIFT。在下面步骤S77中，依据本发明通过在步骤S71中所提供的方法被提供的特征深度被并入。在此情况中，深度形成描述符的一部分并且与特征尺度以及选择地焦距相乘，如上面的说明。最终，上述特征被使用在步骤S78的应用中。在本发明可能的实施例中，特征被提取以便提供深度(例如，使用立体摄影机)。因此，特征可即时地被传送至步骤S75，并且步骤S72、S73以及S74(亦即，特征提取FE)不(再)必须进行。
范例结果的描述：图11比较依据本发明上述论点(如参考在第1-3点中)与标准方法的在一拾取装置CD拾取由两组玩偶S1以及S2所构成的景象的结构中的技术。各组包含两组不同尺度的相似玩偶(亦即，一高玩偶以及一较小玩偶)。两组玩偶S1以及S2被安置在离拾取装置CD不同的距离。图11左方展示通过CD被拾取的图像。涵盖的方形指示对于被安置在每个玩偶右眼的特征的标准尺度不变特征描述符的支撑域。在该插图R11、R12、R13以及R14展示被分别特征的支撑域所涵盖着的图像部分。如同所见，由于尺度的不变性，它们都是相同的。虽然这启用在不同距离，例如，R11以及R13的一对象的匹配特征，它不在不同的实体尺度，例如，R11以及R12，提供在相似对象之间的识别力。
相对的，I2展示通过在各玩偶右眼的四个特征的支撑域的相同拾取图像，其依据本发明提议的方法被尺度调整。虽然支撑域以及因此描述符对于自摄影机至对象的距离，例如，R21以及R23或R22以及R24，是不变的，但其对于不同尺度的相似对象是不同的。例如，支撑域R21以及R22在它们图像内容中是明显地不同，其导致不同的特征描述符。
依据本发明一实施例，用以提供参考和/或当前深度取样，供决定强度图像中至少一元素的深度的方法是依据于拾取装置的一光学焦点。
依据本发明另一实施例，在用以决定强度图像中至少一元素的深度的方法中，强度图像中的元素的深度取样通过提取强度图像以及至少一进一步的强度图像的特征并且使用拾取强度图像以及至少一进一步的强度图像的立体摄影机组对的同轴几何匹配它们而被产生。在其中特征被提取以便提供深度(例如，使用一立体摄影机)的情况中，提取的特征可即时地被使用于特征描述。例如，在第一步骤中，两组强度图像I1以及I2通过摄影机被拾取或被装载，其接着可选择地被接受预处理。在一尺度空间或一组离散尺度已被定义之后，在I1和/或I2的尺度空间中的特征被检测并且对应关系被决定，例如，使用单眼摄影机结构的立体摄影机组对的同轴几何或尺度不变的特征描述符。通过Fi标出两个对应特征并且x，y标出分别特征Fi的一2维位置，一检测特征对应关系C(F1(x，y)、F2(x，y))被考虑以描述将3D空间的相同点进入I1以及I2中的投射，并且因此，深度，亦即，这点在3D空间中的位置，例如，可通过三角测量被计算。在最终使用上述特征在一应用中之前，提取的特征或关键点K被描述。该描述包含描述符V，其自强度数据被产生。此外，取决于应用，储存它们的位置在图像(x，y)或它们的3D位置(可自深度被计算)中可能是有意义的。选择地，尺度s、方位o以及被决定的深度d也可相关于关键点被储存。为了使用本发明这实施例，其是不必须储存该尺度作为描述符的部分。例如，尺度也可广域地对于某些深度被定义为10毫米或1000毫米或使用来自深度d的一般公式根据，其应用至该应用中的所有特征。如有关图10b以及图10c所述，依据如上面部分2(例如，自图10b中的S65开始)或部分3(例如，自图10c中的S75开始)中所述的本发明一实施例的任一方法可被使用。在依据部分3一实施例的情况中，K将也进一步地包括自组合s以及d(以及选择地摄影机的焦距)所导出的数值。
依据本发明进一步的实施例，强度图像中至少一元素的深度使用视觉搜寻算法以初始地比较不同距离而被评估。
依据本发明一实施例，该方法可进一步包括下列步骤：提供广域坐标系统中的拾取装置的位置以及方位的测量，自该测量决定拾取装置的位姿，提供环境的3D模型，其中该位姿被组合在3D模型中使用以计算强度图像中一特征的至少一元素的深度，例如，通过自拾取装置中心投射一虚拟射线通过该特征进入3D模型中。
广域坐标系统中拾取装置的位置的测量可通过一GPS传感器/接收器，IR或RFID三角测量，或通过局部化方法使用多频率或无线基础建设被提供。广域坐标系统中拾取装置的方位的测量可通过一惯性传感器、一加速器、一回转仪、一罗盘或一机械、电磁、声音、或光学跟踪系统的至少之一被提供。在本发明这种情况中，一惯性传感器通过使用下列的任何组合：磁力计(例如，罗盘)、移动传感器/转动传感器(加速器/回转仪)、重力传感器以及提供此信息的其他传感器，而例如，可连续地提供包含关于环境的一对象或装置的位置和/或方位的传感器信息。
具有真实尺度特征描述符的深度提供方法的可能组合可被使用在光学位姿评估以及跟踪中，例如，以便产生户外AR体验。例如，深度使用粗略传感器数据以及一环境模型被提取。一强度图像I1通过拾取装置被拾取或被装载。此外，当拾取I1的同时，拾取装置的一初始位姿自粗略传感器测量值(例如，GPS位置以及方位传感器信息)被评估。最后，包含3D数据以及图像数据(相似于Google街道图)的一先进环境模型被提供。如果用于跟踪的一参考模型(例如，已经包含特征3D坐标以及特征描述符)不预先被产生，则需图像数据。环境模型使用假设的摄影机位姿被装载，亦即，环境模型自强度图像I1的摄影机视角被渲染。深度信息自环境模型被取回并且被使用于接着的步骤中用以计算检测特征的真实尺度描述符。换言之，使用对齐于图像I1的深度信息，真实尺度特征在一固定尺度(例如1米)被提取。因为环境模型组合3D数据以及图像数据，具有1米尺度的实体尺度特征的一参考3D模型可被产生(这当然可预先被完成)。该结果接着可被使用以在I1以及3D实体尺度特征中产生特征的对应关系。使用一最佳化算法，在环境模型的坐标系统中的I1的改善位姿可被计算。该改善位姿接着可被使用于一应用，例如，一增强现实的旅游数据的视觉化，或选择地被使用以使状态评估改善并且通过过程而重复，直至在定义的品质阈值之下的位姿中的改变已经达成为止。
参考文献：
[1]David G.Lowe.Distinctive Image Features from Scale-lnvariantKeypoints.Int.J.
Comput.Vision 60,2(November 2004),91-110,2004
[2]A.Kumar,J.-P.Tardif,R.Anati,and K.Daniilidis.Experiments on visualloop closing using vocabulary trees.In Computer Vision and PatternRecognition(CVPR)Workshops,June 2008.Anchorage,AK.
[3]Gabriele Bleser and Didier Strieker.Advanced tracking throughefficient image processing and visual-inertial sensor fusion.Computer&Graphics,Vol.33,Pages 59-72,Elsevier,New York,2/2009.
[4]D.Chen,G.Baatz,K.Koeser,S.Tsai,R.Vedantham,T.Pylvanainen,K.Roimela,X.
Chen,J.Bach,M.Pollefeys,B.Girod,and R.Grzeszczuk.City-scale landmarkidentification on mobile devices.IEEE International Conference on ComputerVision and Pattern Recognition(CVPR),June 2011.
[5]Gerhard Reitmayr and Tom W.Drummond.Initialisation for VisualTracking in Urban Environments.In Proceedings of the 20076th IEEE and ACMInternational Symposium on Mixed and Augmented Reality(ISMAR ′O7).IEEEComputer Society,Washington,DC,USA,1-9,2007.
[6]D.V.Johnston,Learning Depth in Lightfield Images,CS229 MachineLearning Autumn 2005,Stanford University,2005,http://www.Stanford,edu/class/cs229/proj 2005/Johnston-LeamingDeptMnLightfieldlmages.pdf
[7]Gerhard Schall,Daniel Wagner,Gerhard Reitmayr,Elise Taichmann,Manfred Wie-ser,Dieter Schmalstieg,and Bernhard Hofmann-Wellenhof.Global poseestimation using multi-sensor fusion for outdoor Augmented Reality.InProceedings of the 20098th IEEE International Symposium on Mixed andAugmented Reality,2009
[8]Clemens Arth,Daniel Wagner,Manfred Klopschitz,Arnold Irschara,andDieter Schmalstieg.Wide area localization on mobile phones.In Proceedings ofthe 20098th IEEE International Symposium on Mixed and Augmented Reality(ISMAR′O9).IEEE Computer Society,Washington,DC,USA,73-82,2009.
[9]US 7 768 534 B2.

Claims (29)

1.一种以参考特征匹配图像特征的方法，包括下列步骤：
提供通过拾取装置拾取的一当前图像，
提供一组参考特征，其中每个所述参考特征包括至少一个第一参数，所述第一参数至少部分地指示参考特征关于一广域坐标系统的一位置和/或方位，其中所述广域坐标系统是一地面坐标系统或一对象坐标系统，或所述第一参数至少部分地指示参考特征关于一高度的一位置，
在一特征检测过程中检测所述当前图像中的至少一个特征，
关联所检测特征与至少一个第二参数，所述第二参数至少部分地指示所检测特征关于所述广域坐标系统的一位置和/或方位，或所述第二参数至少部分地指示所检测特征关于一高度的一位置，
通过确定在所述至少一个第一参数以及所述至少一个第二参数之间的一相似度测量，匹配所检测特征与所述一组参考特征的参考特征的至少之一。
2.依据权利要求1的方法，包括当匹配所检测特征时通过在所述一组参考特征内的一减低数量的参考特征而定义一搜寻空间的步骤，其中所述搜寻空间根据所述至少一个第二参数被确定。
3.依据权利要求1或2的方法，其中所述广域坐标系统提供有关一特征的地理参考位置和/或方位的信息。
4.依据权利要求1或2的方法，其中所述至少一个第一参数以及第二参数中至少之一至少部分地指示一经度以及一纬度。
5.依据权利要求1或2的方法，其中所述至少一个第一参数以及第二参数中至少之一至少部分地指示关于相对于所述拾取装置的一相对高度、或一绝对高度的一位置。
6.依据权利要求1或2的方法，其中所检测特征的位置和/或方位通过一方程式被描述，所述方程式描述一几何形状。
7.依据权利要求6的方法，其中匹配所检测特征与所述一组参考特征的步骤包括仅考虑该组参考特征中具有至所述几何形状的距离在一阈值之下的一位置的那些参考特征为可能的匹配。
8.依据权利要求1或2的方法，其中所述至少一个第一参数以及第二参数中至少之一是在一特征描述符领域中和/或在一空间领域中的一空间数据结构的部分。
9.依据权利要求1或2的方法，其中当拾取所述当前图像时，所述至少一个第二参数使用拾取装置关于所述广域坐标系统的一至少部分的位置和/或方位被确定。
10.依据权利要求1或2的方法，其中所述至少一个第二参数使用所述当前图像中的至少一个元素的一深度作为所检测特征的一部分而被确定。
11.依据权利要求1或2的方法，其中所述至少一个第二参数使用相关于所述拾取装置的一坐标系统中的一重力向量的一测量值以及所述当前图像中的至少一个元素的一深度作为所检测特征的一部分而被确定。
12.依据权利要求11的方法，其中所检测特征的位置是至少部分地通过具有一法线的一平面被描述，所述法线是或对应于所述重力向量，而所述平面指示高度。
13.依据权利要求9的方法，其中所述至少一个第二参数通过进一步使用所述拾取装置的一组固有参数以及所述当前图像中的所检测特征的一位置而被确定。
14.依据权利要求1或2的方法，进一步包括通过组合所述拾取装置与所检测特征之间的一确定的距离以及所述拾取装置的方位，计算关于所述广域坐标系统或所述拾取装置的一坐标系统的所检测特征的一3维位置。
15.依据权利要求1或2的方法，其中所述一组参考特征取自至少一个参考图像，所述至少一个参考图像通过不同于所述拾取装置的一第二拾取装置被记录。
16.如权利要求15的方法，其中所述至少一个参考图像的拾取时间是至少比所述当前图像的拾取时间早一天。
17.依据权利要求1或2的方法，进一步包括提供所述拾取装置的至少一部分的位置、方位和/或高度的步骤，其中以此为基础关联于所检测特征的至少一个第二参数的一不确定性信息被导出。
18.依据权利要求17的方法，其中所述不确定性信息用以影响所述匹配过程。
19.依据权利要求18的方法，其中所述不确定性信息通过依据所述不确定性改变关于位置和/或方位的一个或多个各自由度的至少之一的一相应权重，来影响所述匹配过程。
20.依据权利要求18的方法，其中所述不确定性信息影响作为将被匹配的匹配候选者的参考特征的选择。
21.依据权利要求20的方法，进一步提供一权重，基于所述权重作为匹配候选者的参考特征的选择被影响，其中一较高的不确定性减少所述权重并且一较低的不确定性增加所述权重。
22.依据权利要求17的方法，其中所述不确定性信息根据用以提供所述拾取装置的位置、方位和/或高度的一传感器类型被确定。
23.依据权利要求1或2的方法，进一步包含使用一匹配结果的步骤，所述匹配结果用于以下一者或多者：
在所述当前图像中一对象的检测、分类或局部化，
在所述广域坐标系统中的所述拾取装置的局部化，
所述拾取装置的初始位姿评估，以及
所述拾取装置的初始化位姿跟踪。
24.依据权利要求1或2的方法，其中所述方法用于一增强现实应用中。
25.依据权利要求6的方法，其中所述几何形状是以下之一：一点、一射线、一直线、一圆、一圆锥体、或一圆柱体。
26.依据权利要求8的方法，其中所述空间数据结构包含一限定容积。
27.依据权利要求26的方法，其中所述限定容积是以下之一：轴对齐方块、定位方块、球形、任意容积或一网格，或任何类型的树型。
28.依据权利要求27的方法，其中所述树型是以下之一：四分树型、八叉树型、二元空间分割树型、k维空间树型、多维空间索引树型。
29.一种以参考特征匹配图像特征的系统，包括：
用于提供通过拾取装置拾取的一当前图像的装置，
用于提供一组参考特征的装置，其中每个所述参考特征包括至少一个第一参数，所述第一参数至少部分地指示参考特征关于一广域坐标系统的一位置和/或方位，其中所述广域坐标系统是一地面坐标系统或一对象坐标系统，或所述第一参数至少部分地指示参考特征关于一高度的一位置，
用于在一特征检测过程中检测所述当前图像中的至少一个特征的装置，
用于关联所检测特征与至少一个第二参数的装置，所述第二参数至少部分地指示所检测特征关于所述广域坐标系统的一位置和/或方位，或所述第二参数至少部分地指示所检测特征关于一高度的一位置，
用于通过确定在所述至少一个第一参数以及所述至少一个第二参数之间的一相似度测量，匹配所检测特征与所述一组参考特征的参考特征的至少之一的装置。
CN201180073205.7A 2011-08-31 2011-08-31 以参考特征匹配图像特征的方法 Active CN103959308B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2011/065002 WO2013029674A1 (en) 2011-08-31 2011-08-31 Method of matching image features with reference features

Publications (2)

Publication Number Publication Date
CN103959308A CN103959308A (zh) 2014-07-30
CN103959308B true CN103959308B (zh) 2017-09-19

Family

ID=44741274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180073205.7A Active CN103959308B (zh) 2011-08-31 2011-08-31 以参考特征匹配图像特征的方法

Country Status (5)

Country Link
US (1) US9400941B2 (zh)
EP (1) EP2751742A1 (zh)
CN (1) CN103959308B (zh)
TW (1) TWI570633B (zh)
WO (1) WO2013029674A1 (zh)

Families Citing this family (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US9986208B2 (en) * 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
EP2672461A1 (de) * 2012-06-05 2013-12-11 a.tron3d GmbH Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
CN108197631B (zh) * 2012-07-23 2022-06-28 苹果公司 提供图像特征描述符的方法
WO2014186970A1 (en) * 2013-05-23 2014-11-27 Google Inc. Systems and methods for generating three-dimensional models using sensed position data
US9999038B2 (en) 2013-05-31 2018-06-12 At&T Intellectual Property I, L.P. Remote distributed antenna system
US9036867B2 (en) * 2013-08-12 2015-05-19 Beeonics, Inc. Accurate positioning system using attributes
US9625612B2 (en) 2013-09-09 2017-04-18 Google Inc. Landmark identification from point cloud generated from geographic imagery data
US10297083B2 (en) 2013-09-16 2019-05-21 Apple Inc. Method and system for determining a model of at least part of a real object
WO2015048232A1 (en) * 2013-09-26 2015-04-02 Tokitae Llc Systems, devices, and methods for classification and sensor identification using enhanced sparsity
US9883173B2 (en) 2013-12-25 2018-01-30 3Di Llc Stereoscopic display
US9986228B2 (en) * 2016-03-24 2018-05-29 3Di Llc Trackable glasses system that provides multiple views of a shared display
US11343487B2 (en) 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
US10652525B2 (en) * 2013-10-31 2020-05-12 3Di Llc Quad view display system
CN103914830B (zh) * 2014-02-22 2017-02-01 小米科技有限责任公司 直线检测方法和装置
US10380410B2 (en) 2014-04-07 2019-08-13 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
WO2015164696A1 (en) * 2014-04-25 2015-10-29 Google Technology Holdings LLC Electronic device localization based on imagery
EP3161802A4 (en) * 2014-06-27 2017-12-06 Nokia Technologies OY A method and technical equipment for determining a pose of a device
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9418283B1 (en) * 2014-08-20 2016-08-16 Amazon Technologies, Inc. Image processing using multiple aspect ratios
US9576196B1 (en) 2014-08-20 2017-02-21 Amazon Technologies, Inc. Leveraging image context for improved glyph classification
US10063280B2 (en) 2014-09-17 2018-08-28 At&T Intellectual Property I, L.P. Monitoring and mitigating conditions in a communication network
US9615269B2 (en) 2014-10-02 2017-04-04 At&T Intellectual Property I, L.P. Method and apparatus that provides fault tolerance in a communication network
JP6274067B2 (ja) * 2014-10-03 2018-02-07 ソニー株式会社 情報処理装置および情報処理方法
US9503189B2 (en) 2014-10-10 2016-11-22 At&T Intellectual Property I, L.P. Method and apparatus for arranging communication sessions in a communication system
US9973299B2 (en) 2014-10-14 2018-05-15 At&T Intellectual Property I, L.P. Method and apparatus for adjusting a mode of communication in a communication network
TWI514319B (zh) * 2014-10-14 2015-12-21 Zappoint Corp 藉由虛擬物件編輯資料之方法及系統，及相關電腦程式產品
US9769020B2 (en) 2014-10-21 2017-09-19 At&T Intellectual Property I, L.P. Method and apparatus for responding to events affecting communications in a communication network
US9312919B1 (en) 2014-10-21 2016-04-12 At&T Intellectual Property I, Lp Transmission device with impairment compensation and methods for use therewith
JP2016086245A (ja) * 2014-10-23 2016-05-19 キヤノン株式会社 画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラム
US9461706B1 (en) 2015-07-31 2016-10-04 At&T Intellectual Property I, Lp Method and apparatus for exchanging communication signals
US10243784B2 (en) 2014-11-20 2019-03-26 At&T Intellectual Property I, L.P. System for generating topology information and methods thereof
US9544006B2 (en) 2014-11-20 2017-01-10 At&T Intellectual Property I, L.P. Transmission device with mode division multiplexing and methods for use therewith
US9800327B2 (en) 2014-11-20 2017-10-24 At&T Intellectual Property I, L.P. Apparatus for controlling operations of a communication device and methods thereof
US9954287B2 (en) 2014-11-20 2018-04-24 At&T Intellectual Property I, L.P. Apparatus for converting wireless signals and electromagnetic waves and methods thereof
US9997819B2 (en) 2015-06-09 2018-06-12 At&T Intellectual Property I, L.P. Transmission medium and method for facilitating propagation of electromagnetic waves via a core
US10009067B2 (en) 2014-12-04 2018-06-26 At&T Intellectual Property I, L.P. Method and apparatus for configuring a communication interface
SE538405C2 (en) * 2015-01-07 2016-06-14 Viscando Ab Method and system for categorization of a scene
US9876570B2 (en) 2015-02-20 2018-01-23 At&T Intellectual Property I, Lp Guided-wave transmission device with non-fundamental mode propagation and methods for use therewith
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
CN107533233B (zh) 2015-03-05 2021-01-29 奇跃公司 用于增强现实的系统和方法
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
US9705561B2 (en) 2015-04-24 2017-07-11 At&T Intellectual Property I, L.P. Directional coupling device and methods for use therewith
US10224981B2 (en) 2015-04-24 2019-03-05 At&T Intellectual Property I, Lp Passive electrical coupling device and methods for use therewith
US9793954B2 (en) 2015-04-28 2017-10-17 At&T Intellectual Property I, L.P. Magnetic coupling device and methods for use therewith
US20160335275A1 (en) * 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
US9871282B2 (en) 2015-05-14 2018-01-16 At&T Intellectual Property I, L.P. At least one transmission medium having a dielectric surface that is covered at least in part by a second dielectric
US9490869B1 (en) 2015-05-14 2016-11-08 At&T Intellectual Property I, L.P. Transmission medium having multiple cores and methods for use therewith
US10650940B2 (en) 2015-05-15 2020-05-12 At&T Intellectual Property I, L.P. Transmission medium having a conductive material and methods for use therewith
US9917341B2 (en) 2015-05-27 2018-03-13 At&T Intellectual Property I, L.P. Apparatus and method for launching electromagnetic waves and for modifying radial dimensions of the propagating electromagnetic waves
US9866309B2 (en) 2015-06-03 2018-01-09 At&T Intellectual Property I, Lp Host node device and methods for use therewith
US9912381B2 (en) 2015-06-03 2018-03-06 At&T Intellectual Property I, Lp Network termination and methods for use therewith
US10812174B2 (en) 2015-06-03 2020-10-20 At&T Intellectual Property I, L.P. Client node device and methods for use therewith
US9913139B2 (en) 2015-06-09 2018-03-06 At&T Intellectual Property I, L.P. Signal fingerprinting for authentication of communicating devices
US9820146B2 (en) 2015-06-12 2017-11-14 At&T Intellectual Property I, L.P. Method and apparatus for authentication and identity management of communicating devices
EP3104241B1 (en) * 2015-06-12 2020-09-16 Accenture Global Services Limited An augmented reality method and system for measuring and/or manufacturing
US9865911B2 (en) 2015-06-25 2018-01-09 At&T Intellectual Property I, L.P. Waveguide system for slot radiating first electromagnetic waves that are combined into a non-fundamental wave mode second electromagnetic wave on a transmission medium
US9640850B2 (en) 2015-06-25 2017-05-02 At&T Intellectual Property I, L.P. Methods and apparatus for inducing a non-fundamental wave mode on a transmission medium
US9509415B1 (en) 2015-06-25 2016-11-29 At&T Intellectual Property I, L.P. Methods and apparatus for inducing a fundamental wave mode on a transmission medium
US10148016B2 (en) 2015-07-14 2018-12-04 At&T Intellectual Property I, L.P. Apparatus and methods for communicating utilizing an antenna array
US9853342B2 (en) 2015-07-14 2017-12-26 At&T Intellectual Property I, L.P. Dielectric transmission medium connector and methods for use therewith
US9847566B2 (en) 2015-07-14 2017-12-19 At&T Intellectual Property I, L.P. Method and apparatus for adjusting a field of a signal to mitigate interference
US9628116B2 (en) 2015-07-14 2017-04-18 At&T Intellectual Property I, L.P. Apparatus and methods for transmitting wireless signals
US9882257B2 (en) 2015-07-14 2018-01-30 At&T Intellectual Property I, L.P. Method and apparatus for launching a wave mode that mitigates interference
US10205655B2 (en) 2015-07-14 2019-02-12 At&T Intellectual Property I, L.P. Apparatus and methods for communicating utilizing an antenna array and multiple communication paths
US10044409B2 (en) 2015-07-14 2018-08-07 At&T Intellectual Property I, L.P. Transmission medium and methods for use therewith
US10090606B2 (en) 2015-07-15 2018-10-02 At&T Intellectual Property I, L.P. Antenna system with dielectric array and methods for use therewith
US9871283B2 (en) 2015-07-23 2018-01-16 At&T Intellectual Property I, Lp Transmission medium having a dielectric core comprised of plural members connected by a ball and socket configuration
US9749053B2 (en) 2015-07-23 2017-08-29 At&T Intellectual Property I, L.P. Node device, repeater and methods for use therewith
US9948333B2 (en) 2015-07-23 2018-04-17 At&T Intellectual Property I, L.P. Method and apparatus for wireless communications to mitigate interference
US9912027B2 (en) 2015-07-23 2018-03-06 At&T Intellectual Property I, L.P. Method and apparatus for exchanging communication signals
US9811760B2 (en) 2015-07-31 2017-11-07 Ford Global Technologies, Llc Online per-feature descriptor customization
US9967173B2 (en) 2015-07-31 2018-05-08 At&T Intellectual Property I, L.P. Method and apparatus for authentication and identity management of communicating devices
US20170039567A1 (en) * 2015-08-03 2017-02-09 Capital One Services, LLC. Systems and methods for item-based transaction authentication
US9904535B2 (en) 2015-09-14 2018-02-27 At&T Intellectual Property I, L.P. Method and apparatus for distributing software
CN107949866A (zh) * 2015-09-15 2018-04-20 三菱电机株式会社 图像处理装置、图像处理系统和图像处理方法
US9769128B2 (en) 2015-09-28 2017-09-19 At&T Intellectual Property I, L.P. Method and apparatus for encryption of communications over a network
US10339411B1 (en) 2015-09-28 2019-07-02 Amazon Technologies, Inc. System to represent three-dimensional objects
US9876264B2 (en) 2015-10-02 2018-01-23 At&T Intellectual Property I, Lp Communication system, guided wave switch and methods for use therewith
US10355367B2 (en) 2015-10-16 2019-07-16 At&T Intellectual Property I, L.P. Antenna structure for exchanging wireless signals
TW201719572A (zh) * 2015-11-19 2017-06-01 國立交通大學 三維模型分析及搜尋方法
AU2016365422A1 (en) * 2015-12-04 2018-06-28 Magic Leap, Inc. Relocalization systems and methods
KR102434406B1 (ko) * 2016-01-05 2022-08-22 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법
CN105701821B (zh) * 2016-01-14 2018-07-24 福州华鹰重工机械有限公司 立体图像表面探测匹配方法及装置
US10922838B2 (en) * 2016-02-26 2021-02-16 Nec Corporation Image display system, terminal, method, and program for displaying image associated with position and orientation
TWI553592B (zh) * 2016-03-29 2016-10-11 Next Animation Studio Ltd The method of tracking objects in the video
TWI571805B (zh) * 2016-04-15 2017-02-21 元智大學 基於雜湊函數的漸進式影像匹配方法與裝置
TWI618644B (zh) * 2016-05-06 2018-03-21 財團法人金屬工業研究發展中心 Image overlay method
CN117741956A (zh) 2016-08-02 2024-03-22 奇跃公司 固定距离虚拟和增强现实系统及方法
US10169914B2 (en) * 2016-08-26 2019-01-01 Osense Technology Co., Ltd. Method and system for indoor positioning and device for creating indoor maps thereof
US9860075B1 (en) 2016-08-26 2018-01-02 At&T Intellectual Property I, L.P. Method and communication node for broadband distribution
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
US10811767B2 (en) 2016-10-21 2020-10-20 At&T Intellectual Property I, L.P. System and dielectric antenna with convex dielectric radome
US10312567B2 (en) 2016-10-26 2019-06-04 At&T Intellectual Property I, L.P. Launcher with planar strip antenna and methods for use therewith
US10225025B2 (en) 2016-11-03 2019-03-05 At&T Intellectual Property I, L.P. Method and apparatus for detecting a fault in a communication system
US10178445B2 (en) 2016-11-23 2019-01-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for load balancing between a plurality of waveguides
CN108133492B (zh) * 2016-12-01 2022-04-26 京东方科技集团股份有限公司 图像匹配方法、装置和系统
US10694379B2 (en) 2016-12-06 2020-06-23 At&T Intellectual Property I, L.P. Waveguide system with device-based authentication and methods for use therewith
US10819035B2 (en) 2016-12-06 2020-10-27 At&T Intellectual Property I, L.P. Launcher with helical antenna and methods for use therewith
US10637149B2 (en) 2016-12-06 2020-04-28 At&T Intellectual Property I, L.P. Injection molded dielectric antenna and methods for use therewith
US10727599B2 (en) 2016-12-06 2020-07-28 At&T Intellectual Property I, L.P. Launcher with slot antenna and methods for use therewith
US10139820B2 (en) 2016-12-07 2018-11-27 At&T Intellectual Property I, L.P. Method and apparatus for deploying equipment of a communication system
US10547348B2 (en) 2016-12-07 2020-01-28 At&T Intellectual Property I, L.P. Method and apparatus for switching transmission mediums in a communication system
US10243270B2 (en) 2016-12-07 2019-03-26 At&T Intellectual Property I, L.P. Beam adaptive multi-feed dielectric antenna system and methods for use therewith
US10168695B2 (en) 2016-12-07 2019-01-01 At&T Intellectual Property I, L.P. Method and apparatus for controlling an unmanned aircraft
US10446936B2 (en) 2016-12-07 2019-10-15 At&T Intellectual Property I, L.P. Multi-feed dielectric antenna system and methods for use therewith
US10389029B2 (en) 2016-12-07 2019-08-20 At&T Intellectual Property I, L.P. Multi-feed dielectric antenna system with core selection and methods for use therewith
US10359749B2 (en) 2016-12-07 2019-07-23 At&T Intellectual Property I, L.P. Method and apparatus for utilities management via guided wave communication
US9893795B1 (en) 2016-12-07 2018-02-13 At&T Intellectual Property I, Lp Method and repeater for broadband distribution
US10777873B2 (en) 2016-12-08 2020-09-15 At&T Intellectual Property I, L.P. Method and apparatus for mounting network devices
US9998870B1 (en) 2016-12-08 2018-06-12 At&T Intellectual Property I, L.P. Method and apparatus for proximity sensing
US10530505B2 (en) 2016-12-08 2020-01-07 At&T Intellectual Property I, L.P. Apparatus and methods for launching electromagnetic waves along a transmission medium
US10103422B2 (en) 2016-12-08 2018-10-16 At&T Intellectual Property I, L.P. Method and apparatus for mounting network devices
US9911020B1 (en) 2016-12-08 2018-03-06 At&T Intellectual Property I, L.P. Method and apparatus for tracking via a radio frequency identification device
US10069535B2 (en) 2016-12-08 2018-09-04 At&T Intellectual Property I, L.P. Apparatus and methods for launching electromagnetic waves having a certain electric field structure
US10326689B2 (en) 2016-12-08 2019-06-18 At&T Intellectual Property I, L.P. Method and system for providing alternative communication paths
US10601494B2 (en) 2016-12-08 2020-03-24 At&T Intellectual Property I, L.P. Dual-band communication device and method for use therewith
US10389037B2 (en) 2016-12-08 2019-08-20 At&T Intellectual Property I, L.P. Apparatus and methods for selecting sections of an antenna array and use therewith
US10938108B2 (en) 2016-12-08 2021-03-02 At&T Intellectual Property I, L.P. Frequency selective multi-feed dielectric antenna system and methods for use therewith
US10264586B2 (en) 2016-12-09 2019-04-16 At&T Mobility Ii Llc Cloud-based packet controller and methods for use therewith
US10340983B2 (en) 2016-12-09 2019-07-02 At&T Intellectual Property I, L.P. Method and apparatus for surveying remote sites via guided wave communications
US9838896B1 (en) 2016-12-09 2017-12-05 At&T Intellectual Property I, L.P. Method and apparatus for assessing network coverage
EP3566193A4 (en) * 2017-01-04 2020-08-26 Aquifi, Inc. SYSTEMS AND METHODS FOR SHAPE-BASED OBJECT RECOVERY
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US9973940B1 (en) 2017-02-27 2018-05-15 At&T Intellectual Property I, L.P. Apparatus and methods for dynamic impedance matching of a guided wave launcher
US10298293B2 (en) 2017-03-13 2019-05-21 At&T Intellectual Property I, L.P. Apparatus of communication utilizing wireless network devices
IL303275B1 (en) 2017-03-17 2024-04-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
AU2018236457B2 (en) 2017-03-17 2021-04-29 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
CA3055218A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
US10097241B1 (en) 2017-04-11 2018-10-09 At&T Intellectual Property I, L.P. Machine assisted development of deployment site inventory
US10467456B2 (en) 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
US10467756B2 (en) * 2017-05-14 2019-11-05 International Business Machines Corporation Systems and methods for determining a camera pose of an image
CN109146963B (zh) * 2017-06-13 2020-07-07 南京鑫和汇通电子科技有限公司 一种基于快速特征匹配的图像位置偏移检测方法
US10943088B2 (en) 2017-06-14 2021-03-09 Target Brands, Inc. Volumetric modeling to identify image areas for pattern recognition
US10515559B2 (en) * 2017-08-11 2019-12-24 The Boeing Company Automated detection and avoidance system
CN109584295B (zh) 2017-09-29 2022-08-26 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统
CN107833280B (zh) * 2017-11-09 2021-05-11 交通运输部天津水运工程科学研究所 一种基于地理网格与图像识别相结合的户外移动增强现实方法
US10896218B2 (en) * 2017-12-22 2021-01-19 Oracle International Corporation Computerized geo-referencing for images
WO2019189965A1 (ko) * 2018-03-30 2019-10-03 데이터얼라이언스 주식회사 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
CN117711284A (zh) 2018-07-23 2024-03-15 奇跃公司 场顺序显示器中的场内子码时序
EP3827299A4 (en) 2018-07-23 2021-10-27 Magic Leap, Inc. SYSTEM OF MIXED REALITY WITH VIRTUAL CONTENT DISTORTION AND PROCESS FOR GENERATING VIRTUAL CONTENT WITH IT
CN112805750A (zh) 2018-08-13 2021-05-14 奇跃公司 跨现实系统
EP3629290B1 (en) 2018-09-26 2023-01-04 Apple Inc. Localization for mobile devices
CN113196209A (zh) 2018-10-05 2021-07-30 奇跃公司 在任何位置渲染位置特定的虚拟内容
JP7049983B2 (ja) * 2018-12-26 2022-04-07 株式会社日立製作所 物体認識装置および物体認識方法
US11488352B1 (en) * 2019-02-21 2022-11-01 Apple Inc. Modeling a geographical space for a computer-generated reality experience
CN111680709A (zh) * 2019-03-11 2020-09-18 武汉小狮科技有限公司 一种基于环境图片特征匹配的定位方法
JP2022551733A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 位置特定サービスを伴うクロスリアリティシステム
JP2022551734A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
CN114730546A (zh) 2019-11-12 2022-07-08 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实系统
US11562542B2 (en) 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
CN111144239B (zh) * 2019-12-12 2022-03-29 中国地质大学（武汉） 一种利用词汇树引导的无人机倾斜影像特征匹配方法
WO2021163306A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with accurate shared maps
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
JP2023514208A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム
US20210287441A1 (en) * 2020-02-20 2021-09-16 Vergendo Ltd. Method and system for gathering and distribution of data for mobile agent global positioning in multi-agent environment
CN115461787A (zh) 2020-02-26 2022-12-09 奇跃公司 具有快速定位的交叉现实系统
CN111311588B (zh) * 2020-02-28 2024-01-05 浙江商汤科技开发有限公司 重定位方法及装置、电子设备和存储介质
WO2021188741A1 (en) * 2020-03-17 2021-09-23 Ptc Inc. Machine vision determination of location based on recognized surface features and use thereof to support augmented reality
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments
CN112396642B (zh) * 2020-12-08 2024-04-05 兰州交通大学 耦合点线特征的多模态亚米/米级卫星影像配准技术
CN112906557B (zh) * 2021-02-08 2023-07-14 重庆兆光科技股份有限公司 一种多视角下的多粒度特征聚合目标重识别方法及系统
CN113221921B (zh) * 2021-05-21 2022-05-27 吉林大学 基于优选空间的sift特征快速提取方法、计算机设备以及存储介质
US11842058B2 (en) * 2021-09-30 2023-12-12 EMC IP Holding Company LLC Storage cluster configuration
CN115760856B (zh) * 2023-01-10 2023-04-28 惟众信(湖北)科技有限公司 一种基于图像识别的零件间距测量方法、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1847789A (zh) * 2005-04-06 2006-10-18 佳能株式会社 测量位置及姿态的方法和装置
EP1376464B1 (en) * 2001-03-06 2011-03-23 Canon Kabushiki Kaisha Image processing device and method therefor and program codes, storing medium
WO2011047888A1 (en) * 2009-10-19 2011-04-28 Metaio Gmbh Method of providing a descriptor for at least one feature of an image and method of matching features

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005061952B4 (de) 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
US9088673B2 (en) * 2010-09-24 2015-07-21 Hewlett-Packard Development Company, L.P. Image registration
KR101677561B1 (ko) * 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1376464B1 (en) * 2001-03-06 2011-03-23 Canon Kabushiki Kaisha Image processing device and method therefor and program codes, storing medium
CN1847789A (zh) * 2005-04-06 2006-10-18 佳能株式会社 测量位置及姿态的方法和装置
WO2011047888A1 (en) * 2009-10-19 2011-04-28 Metaio Gmbh Method of providing a descriptor for at least one feature of an image and method of matching features

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"A hybrid registration method of outdoor augmented reality";K Satoh等;《Proceedings of the IEEE and ACM International Symposium on Augmented Reality》;20011029;第67-76页 *
"Computer Vision Centric Hybrid Tracking for Augmented Reality in Outdoor Urban Environments";WT Fong等;《Proceedings of the 8th International Conference on Virtual Reality Continuum and Its Application in Industry》;20091214;第185-190页 *
"Fast and Stable Tracking for AR fusing Video and Inertial Sensor Data";Gabriele Bleser等;《WSCG2006》;20060203;第109-115页 *
"Inertial sensor-aligned visual feature descriptors";Daniel Kurz等;《Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition》;20110620;第161-166页 *
"Supporting Outdoor Mixed Reality Applications for Architecture and Cultural Heritage";Pedro Santos等;《Proceedings of the 2010 Spring Simulation Multiconference》;20100411;第1-6页 *

Also Published As

Publication number Publication date
WO2013029674A1 (en) 2013-03-07
EP2751742A1 (en) 2014-07-09
TW201319955A (zh) 2013-05-16
US20150161476A1 (en) 2015-06-11
CN103959308A (zh) 2014-07-30
TWI570633B (zh) 2017-02-11
US9400941B2 (en) 2016-07-26

Similar Documents

Publication Publication Date Title
CN103959308B (zh) 以参考特征匹配图像特征的方法
CN103988226B (zh) 用于估计摄像机运动以及用于确定实境三维模型的方法
US20200401617A1 (en) Visual positioning system
EP2491529B1 (en) Providing a descriptor for at least one feature of an image
EP3309751B1 (en) Image processing device, method, and program
Santos et al. Image-based 3D digitizing for plant architecture analysis and phenotyping.
CN103959307B (zh) 从灰度图像中检测和描述特征的方法
CN105358937A (zh) 用于测绘仪器的定位方法和所述测绘仪器
CN102609942A (zh) 使用深度图进行移动相机定位
Houshiar et al. A study of projections for key point based registration of panoramic terrestrial 3D laser scan
Kim et al. Evaluation of 3D feature descriptors for multi-modal data registration
US10607350B2 (en) Method of detecting and describing features from an intensity image
CN111028358A (zh) 室内环境的增强现实显示方法、装置及终端设备
Özdemir et al. Classification of aerial point clouds with deep learning
Kelbe et al. Multiview marker-free registration of forest terrestrial laser scanner data with embedded confidence metrics
RU2571300C2 (ru) Способ дистанционного определения абсолютного азимута целевой точки
CN114140539A (zh) 一种室内物体的位置获取方法和装置
Tang et al. Surveying, geomatics, and 3D reconstruction
Wang et al. iNavigation: an image based indoor navigation system
JP2020052719A (ja) データ生成方法、装置およびプログラム
Radanovic et al. Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration
CN109612455A (zh) 一种室内定位方法及系统
Ayadi et al. A skyline-based approach for mobile augmented reality
Wolfart et al. Deep learning for nuclear safeguards
Onyango Multi-resolution automated image registration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180424

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: Munich, Germany

Patentee before: METAIO GmbH

TR01 Transfer of patent right