CN103415860A - 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法 - Google Patents

确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法 Download PDF

Info

Publication number
CN103415860A
CN103415860A CN2011800659564A CN201180065956A CN103415860A CN 103415860 A CN103415860 A CN 103415860A CN 2011800659564 A CN2011800659564 A CN 2011800659564A CN 201180065956 A CN201180065956 A CN 201180065956A CN 103415860 A CN103415860 A CN 103415860A
Authority
CN
China
Prior art keywords
image
warping function
catching
attitude
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800659564A
Other languages
English (en)
Other versions
CN103415860B (zh
Inventor
S·本希马宁
D·乌布利希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of CN103415860A publication Critical patent/CN103415860A/zh
Application granted granted Critical
Publication of CN103415860B publication Critical patent/CN103415860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

一种用于确定第一图像和第二图像之间的对应关系的方法，包括如下步骤：提供真实环境的第一图像和第二图像，在第一和第二图像之间定义翘曲函数，通过图像配准方法确定第一图像和第二图像之间的翘曲函数的参数，通过将具有确定出的参数的翘曲函数应用在第一图像上以确定第三图像，通过匹配第三图像和第二图像以确定匹配结果，以及使用匹配结果和具有确定出的参数的翘曲函数来确定第一图像和第二图像之间的对应关系。该方法可用于基于关键帧的方法中，用于基于确定出的对应关系来确定摄像机姿态。

Description

确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法
技术领域
本发明涉及一种用于确定第一图像和第二图像之间的对应关系的方法，例如用于光学跟踪和初始化过程，比如支持光学关键帧的跟踪和初始化过程。另外，本发明涉及一种使用这样的方法确定摄像机姿态的方法，并涉及一种包括用于实现该方法的软件代码段的计算机程序产品。
背景技术
在许多计算机视觉应用（比如增强现实（AR）应用）中经常需要基于关键帧的3D跟踪。在这类跟踪系统中，根据支持2D-3D的对应关系通过所谓的关键帧来估计摄像机的位置和方向，以允许自动的初始化和假使丢失跟踪时的重新初始化。这个2D-3D对应关系通常是利用CAD模型建立的，如在Juri Platonov,Hauke Heibel,Peter Meier和Bert Grollmann在“A mobilemarkerless AR system for maintenance and repair”，In:proceeding of the5thIEEE and ACM International Symposium on Mixed and Augmented Reality中所述。
关键帧是具有预提取特征描述符的帧，并且一组可靠的2D-3D对应关系可因此被配准到共同的坐标系中。通过使得从当前摄像机图像（由摄像机在真实环境中拍摄的当前图像）中提取的特征描述符与关键帧的可用3D点的特征描述符匹配，可建立当前图像中的2D-3D对应关系，并可估计粗略的摄像机姿态。如果投影点与在关键帧中所存储的2D表现可相比较，则搜索相对估计的姿态最近的关键帧并将所存储的3D点逆投影到当前图像增加了对应关系的数量。通过执行2D-3D姿态估计，现今能够计算更精确的摄像机姿态以初始化跟踪算法，如KLT或POSIT（如公开在“Pose fromOrthography and Scaling with Iterations”-DeMenthon&Davis,1995）。
最近的出版物如G.Klein和D.Murray:“Parallel Tracking and Mapping forSmall AR Workspaces”,in:Proceeding of the International Symposium onMixed and Augmented Reality,2007，示出了基于关键帧的（重新）初始化方法的优势。Klein比较了缩减版的当前图像和缩减的关键帧，并选择具有基于最佳强度的相似性的图像作为最近的关键帧。如果可以找到许多新的特征点并且所有其他关键帧的基线足够大，则将来自跟踪阶段的帧作为关键帧添加到系统中。
在进行3D无标记跟踪时，可由如下的步骤描述标准的方法。关于这一点，图4示出了生成关键帧的示范性过程的流程图：
在步骤1和步骤2中，一旦获取到一组数字图像（一个或多个图像），就从一组这样的“参考”数字图像中提取特征并进行保存。该特征可以是点、一组点（图像中的线、片段、区域或简单的是一组像素），等等。
在步骤3中，可为每个提取出的特征计算描述符（或分类器）并进行存储。这些描述符可被称作“参考”描述符。
在步骤4中，通过使用在线重建方法（如SLAM）利用手动的、半自动的或全自动的配准方法或简单地通过已知的CAD模型，相对于3D点配准提取出的2D参考特征。
在步骤5中，提取出的2D特征和指定的3D点与数字图像一起存储在一结构中。这个结构被称为关键帧。
根据图5，描述了一种用于初始化和跟踪的支持关键帧的标准方法，该方法包括如下步骤：
在步骤10中，由摄像机捕获一个或多个当前图像，所述摄像机的姿态要被确定或估计。
在步骤11中，针对每一个捕获的当前图像，提取在关键帧中使用的相同类型的特征。这些特征可能被称作“当前特征”。
在步骤12中，可为被提取且存储的每一个当前特征计算描述符（或分类器）。这些描述符可被称作“当前描述符”。
在步骤13中，使用参考描述符和当前描述符匹配当前特征与参考特征。如果这些描述符在某一相似度量方面是接近的，则它们是匹配的。例如，向量表示的点积或欧几里德距离可用作相似度量。
在步骤14中，给定目标的模型，执行异常剔除算法。一般地，该异常剔除算法基于鲁棒姿态估计，如RANSAC或PROSAC。
在步骤15中，将提供最高次数的已验证匹配的关键帧选择作为最近的关键帧。
在步骤16中，利用来自当前帧的2D坐标和通过2D-(2D-3D)匹配间接得知的3D坐标，例如使用普通的线性姿态估计算法如由经典的非线性优化方法（Gauss-Newton，Levenberg-Marquard）提炼的DLT来计算初始的摄像机姿态。
在步骤17中，为了改进这个计算出的摄像机姿态的第一猜测，利用计算出的姿态可将来自关键帧的尚未匹配的3D点投影到当前摄像机图像中。
在步骤18中，所有投影点的描述符（点周围的局部斑块）与在当前帧（当前图像）中已知的2D点的局部描述符相比较。再次基于相似度量方法，这些点被处理为匹配或非匹配。一般地，执行如KLT的局部2D跟踪以处理小的位移。
在步骤19中，使用所有新的和之前已知的2D-3D匹配，再次执行姿态估计步骤以计算更精确和可靠的摄像机姿态（提炼的姿态RP）。
作为标准方法的限制，投影到当前摄像机图像中的3D点经常被剔除，这是因为通常位移对于仅能处理纯平移的普通2D跟踪算法（如KLT）来说太大了。由于小的旋转可近似为平移这一事实，所以可以处理非常小的旋转，但如果是较大旋转则该算法将不适用。另外，描述符一般处理平面内旋转、缩放和最佳情况的仿射变换，但不处理透视畸变，这使得当这些畸变存在于图像中时，基于描述符的方法是易受攻击的。
一种提高匹配过程的方法描述于Vincent Lepetit,Luca Vacchetti,DanielThalmann和Pascal Fua的“Fully Automated and Stable Registration forAugmented Reality Applications”,Proc.of the Second IEEE and ACMInternational Symposium on Mixed and Augmented Reality(ISMAR2003)，其中，作者在平面上的兴趣点周围局部逼近对象表面，以利用粗略估计的摄像机姿态综合地重新渲染所有的块。所有重新渲染的块用于创建与当前帧更近的关键帧，并因此允许增加总的匹配数量。为了加快计算，所有的变换都近似于在给定所使用的摄像机的固有参数时从投影矩阵中提取出的单应性矩阵（homography）。
这种方法有如下的缺点：这种近似只有知道摄像机模型以及姿态的初始猜测才能进行，这使得在摄像机参数是未知的情况下和/或当比如计划在线估计摄像机固有参数时，该方法是不可用的。
因此，提供一种用于确定第一和第二图像之间的对应关系的方法是非常有益的，该方法独立于所使用的摄像机模型并且不严重依赖姿态的初始猜测。
发明内容
根据本发明的一个方案，提供了一种用于确定第一图像和第二图像之间的对应关系的方法，该方法包括如下步骤：
a）提供真实环境的第一图像和第二图像，
b）定义第一图像和第二图像之间的翘曲函数（warping function），
c）通过图像配准方法确定第一图像和第二图像之间的翘曲函数的参数，
d）通过将具有确定出的参数的翘曲函数应用到第一图像上以确定第三图像，
e）通过匹配第三图像和第二图像来确定匹配结果，以及
f）使用匹配结果和具有确定出的参数的翘曲函数来确定第一图像和第二图像之间的对应关系。
在该方法的可行的实施中，使用这些匹配可计算出更加精确的摄像机的姿态。另外，如果第一图像（例如关键帧图像）远离第二图像（例如当前图像），则这种方法允许更好地初始化3D跟踪系统。进一步地，由于使用了图像配准方法这一事实，该方法独立于所使用的摄像机模型并且不严重依靠姿态的初始猜测。
根据示例，第一图像可以是具有预提取特征描述符和一组可靠的2D-3D对应关系的参考图像（关键帧），该对应关系可由如上所述参考图4而生成。第二图像可以是在当前环境中由摄像机拍摄的真实环境的当前图像。通过定义第一和第二图像之间的翘曲函数，并将该翘曲函数应用到第一图像中以确定第三图像，可假设真实环境的情况或变化或者在捕获第一和第二图像之间的摄像机运动并将其反映在翘曲函数中，这可促进图像的匹配，以及在第一和第二图像之间的对应关系的确定。
例如，为了确定对应关系，特征由第三图像（例如翘曲关键帧）中提取出并且与第二图像（当前图像）的特征匹配。利用匹配结果和具有确定出的参数的翘曲函数来确定第一图像（关键帧）和第二图像之间的对应关系。更具体地，利用翘曲函数的反演的参数集使得第二图像和第三图像之间的匹配非翘曲（unwarp），以建立在第二图像和第一图像之间的匹配。
与之前在Lepetit等人的“Fully Automated and Stable Registration forAugmented Reality Applications”中描述的方法相比较，如上所述，Lepetit等人提出的方法是利用对应于图像中局部特征的已知3D平面、已知的先前姿态（R，t）和已知的摄像机固有参数，将计算出的投影矩阵分解为用于翘曲块的单应性矩阵中。然而，根据本发明的方法适用于仅考虑当前图像和关键帧图像来直接计算单应性矩阵，因此独立于摄像机固有参数和之前计算出的姿态。
根据本发明的实施例，翘曲函数的定义基于关于真实环境的几何图形的假设。例如，真实环境的几何图形被假设为平面的。在这个实施例中，作为反应在翘曲函数中的情况，可假设摄像机以在当捕获第一和第二图像时的情况之间的方式进行移动，这允许在寻找图像间的对应关系时忽略深度信息。
根据另一个实施例，翘曲函数的定义基于当捕获第一图像和捕获第二图像之间时在真实环境中的变化。例如，翘曲函数的使用基于跟踪可变形表面的技术，如Ezio Malis的“An efficient approach to direct visual tracking ofrigid and deformable surfaces”,Intelligent Robots and Systems,IROS2007所述。
例如，关于在真实环境中的几何图形的假设和/或当捕获第一图像和第二图像时在真实环境中的变化可从环境模型、三维重建方法、飞行时间摄像机、立体视觉和/或基于光结构的方法来获取，其中基于光结构的方法中的光可以是可见的或红外的（例如微软的Kinect设备）。
根据本发明的另一个实施例，翘曲函数的定义基于捕获第一图像和捕获第二图像之间的假设的摄像机运动。例如，可以将在捕获第一图像和捕获第二图像之间的线性平移假设为摄像机运动。
根据本发明的另一个实施例，翘曲函数的定义基于在真实环境中或在第一图像和第二图像之间的图像中的光照变化。例如，翘曲函数的使用可基于在变化的光照情况下跟踪表面的技术，如Geraldo Silveira和Ezio Malis的“Real-time Visual Tracking under Arbitary Illumination Changes”，ComputerVision and Pattern Recongnition,2007,CVPR’07中所述。
在本发明的实施例中，可根据翘曲函数的定义选择图像配准方法。
在进一步的实施例中，图像配准方法基于迭代最小化过程，其中在第一图像中的第一组像素与在第二图像中的计算出的一组像素作比较，并且用于比较的在第二图像中的计算出的一组像素在每次迭代中都改变。例如，在图像配准方法中的比较基于图像强度差异。
根据实施例，翘曲函数的参数的初始估计可被提供给迭代最小化过程。例如，使用在捕获第一图像和捕获第二图像之间的摄像机运动的估计来确定翘曲函数的参数的初始估计。
根据本发明的实施例，方法中的步骤e）进一步包括了如下步骤：从第三图像中提取特征，从第二图像中提取特征，并通过匹配从第三和第二图像中提取的特征确定匹配结果。例如，该方法进一步包括提供第一图像和第二图像之间的初始对应关系的步骤，其中仅针对不存在于初始对应关系中的提取出的特征确定匹配结果。
具体地，可使用图像匹配方法确定初始对应关系。例如，该技术方法的状态可如上参考图5所描述的那样被使用。另外，可手动确定初始对应关系。
根据本发明的另一个方案，提供了一种用于确定摄像机姿态的方法，包括如下步骤：
a）在捕获至少一个参考图像时，在共同的坐标系中提供至少一个参考图像和摄像机的参考姿态，
b）捕获当前图像，
c）根据前述权利要求之一所述的方法，确定在当前图像和至少一个参考图像之间的对应关系，其中，分别将第一图像设定为参考图像或当前图像，而将第二图像设定为当前图像或参考图像，以及
d）基于确定出的对应关系确定摄像机的姿态。
根据实施例，这个方案的步骤b）进一步包括如下步骤：在捕获当前图像时，提供在共同的坐标系中的摄像机的当前姿态的初始估计，并且在步骤c）中，当前图像与从一组参考图像中选择的至少一个参考图像匹配，其中该选择基于从参考姿态到当前姿态的估计之间的距离。
例如，通过使用光学跟踪方法、惯性传感器信息和/或立体视觉来获取摄像机的姿态的初始估计。
在本发明的上下文中，惯性传感器可通过使用如下部件的任意组合例如持续地提供包括对象或设备相对于环境的位置和/或方向的传感器信息：磁力计（例如指南针）、运动传感器/旋转传感器（加速计/陀螺仪）、重力传感器和其他提供这种信息的传感器。
根据本发明的另一方案，提供了一种适用于加载到数字计算机的内部存储器上的计算机程序产品，该产品包括软件代码段，当所述产品在所述计算机上运行时，通过该代码段执行如上所述的方法。
附图说明
现在将结合示范性实施例的以下描述以及附图对本发明做出解释，其中附图为：
图1示出了本发明实施例的流程图，其中图1a示出了确定摄像机姿态的整个过程，图1b示出了确定该姿态的提炼方法，
图2和图3示出了结合参考图1描述的方法的真实对象的示范性图像，
图4示出了生成关键帧的标准过程的流程图，
图5示出了基于使用关键帧的初始化和跟踪的标准过程的流程图。
具体实施方式
参考图1，将更详细地说明根据本发明各方案的方法的实施例。技术人员将会理解以下描述仅仅是根据本发明的方法的各方案可能的实施的示例，并且所述方法或其步骤还可用于将要确定第一和第二图像之间的对应关系的任何其他领域或应用中。
在图1的实施例中，描述了一种支持关键帧的用于初始化和跟踪的方法，其实施本发明的各方案。在本实施例中，所描述的方法用于相对于真实环境中的对象确定摄像机的姿态，该摄像机捕获真实环境的一个或多个图像。一般地，提供至少一个参考图像（例如关键帧图像），包括在捕获参考图像的同时在公共坐标系中的摄像机的参考姿态的数据。在捕获真实环境的当前图像时，该参考图像用作确定摄像机姿态的基础。为确定摄像机的姿态，需根据本发明的各方案来确定当前图像和至少一个参考图像之间的对应关系。
更详细地，在步骤30到36中，执行确定摄像机姿态的初始估计的过程，该过程本质上与如上关于图5的部分所描述的初始化过程相对应。其使用具有如上关于图4所描述的类型的参考特征和参考描述符的参考图像或关键帧。
具体地，在步骤30中，摄像机捕获一个或多个当前图像，摄像机的姿态要被确定和跟踪。在步骤31中，针对所捕获的每一个当前图像，提取与在参考图像中使用的相同类型的特征。这些特征被称为“当前特征”。在步骤32中，为被提取且存储的每一个当前特征计算描述符（或分类器）。这些描述符被称作“当前描述符”。在步骤33中，使用参考描述符和当前描述符匹配当前特征与参考特征。如果这些描述符在某一相似度量方面是接近的，则它们是匹配的。例如，向量表示的点积或欧几里德距离可用作相似度量。在步骤34中，给定目标的模型，执行异常剔除算法。例如，该异常剔除算法基于鲁棒姿态估计，如RANSAC或PROSAC。作为步骤34的输出，提供过滤后的对应关系，该对应关系为异常剔除或移除之后存留的对应关系。过滤后的对应关系还被提供作为根据步骤40的过程的输入，更多细节将在以下参考图1b进行说明。在步骤35中，提供最高次数的已验证匹配的关键帧被选择作为最近的关键帧。在步骤36中，利用来自当前图像的图像特征的2D坐标和通过2D-(2D-3D)匹配间接得知的3D坐标，例如可使用普通的线性姿态估计算法，比如由经典的非线性优化方法（Gauss-Newton，Levenberg-Marquard）提炼的DLT，来计算初始的摄像机姿态P。在步骤40中，根据图1b中阐述的过程来确定提炼的摄像机姿态RP。
在图1b中，描述了确定第一和第二图像之间的对应关系的方法的实施例，该实施例可用于确定提炼的摄像机姿态，并可用于根据图1a的过程的步骤40中。在当前的实施和根据图1a的过程的环境中，如下所称的第一图像被设定为参考图像（例如，最近的关键帧），如下所称的第二图像的被设定为由摄像机捕获的当前图像。然而，根据另一实施例，第一图像可被设定为由摄像机捕获的当前图像，而第二图像可被设定为参考图像（例如，最近的关键帧）。
具体地，图1b中示出的方法是使用有效的图形对准/配准方法来直接计算转换，如图1b的右手侧所描绘的。基于比如在步骤401提供的第一图像和步骤402提供的第二图像之间的图像差异，其给出了光测误差y(x)（步骤403），如果所述误差大于指定的阈值ε（在步骤404中做出决定），则计算参数更新d（步骤405）。以计算出的参数更新d更新参数集x（下面会更详细的说明）（步骤406），并且使用假设的翘曲方法和参数集x来生成翘曲的关键帧（步骤407）。迭代地重复这些步骤，光测误差y(x)会变小。如果误差低于给定的阈值ε，那么从翘曲的关键帧中提取特征（步骤408），并且使所述特征与从第二图像中提取的特征匹配（步骤410），其中，在这个实施例中，使用姿态P将额外的3D点投影到第二图像中（步骤409）。例如，该方法进一步包括提供第一图像和第二图像之间的初始对应关系的步骤，其中仅为不存在于初始对应关系中的提取出的特征确定步骤410的匹配结果。利用反演的参数集x使得第二图像和翘曲的第一图像（第三图像）之间的匹配非翘曲，从而建立在第二图像和第一图像之间的匹配（步骤411）。使用这些匹配，能够计算出更加精确的姿态RP（步骤412）。如果第一图像（例如关键帧）远离当前图像，则这个方法还允许更好地初始化3D跟踪系统。
更具体地，在步骤401中，对于第一图像（关键帧图像），提供参数集x，包括参考姿态的可选择的初始估计（即，当捕获关键帧图像时摄像机的姿态）。具体地，在优选的实施例中，参数集x的初始估计包括在当捕获关键帧图像时的摄像机的姿态和当捕获当前图像时的摄像机的姿态之间在共同坐标系中的三维平移和三维旋转。当假设摄像机在捕获第一图像和第二（或当前）图像时为静态的时，初始估计是可选择的。旋转和平移的初始值之后会为零。在优选的实施例中，初始估计可由诸如惯性传感器或外部跟踪系统提供。
在步骤403中，将在第一图像（关键帧图像）中的第一组像素与在第二图像（当前图像）中的计算出的一组像素进行比较，所述计算出的一组像素表示第二图像的一部分。这样，可计算出光测误差y(x)。在根据步骤403-407的接下来的迭代最小化过程中，将在第一图像中的第一组像素与在第二图像中的计算出的一组像素进行比较，其中在第二图像中用于比较的计算出的一组像素在每次迭代中变化。具体地，利用第二图像和第一图像的数据计算光测误差y(x)。此误差用在非线性优化的代价函数phi(d)中，该函数用于搜索参数集x的更新d。可选择性地将正则化集成到phi(d)中。
根据步骤405，参数集x的参数更新d从光测误差y(x)中计算得出，并在步骤406中应用到参数集x中，并且在步骤407中使用假设的翘曲方法和参数集x生成翘曲的关键帧。对于更多关于如何针对给定光测误差计算更新的细节，人们可以使用任何如下的参考文献：
B.Lucas和T.Kanade,“An iterative image registration technique withapplication to stereo vision”,in JCAI,p.674-679,1981.
S.Baker和I.Matthews,“Equivalence and efficiency of image alignmentalgorithms”,in IEEE CVPR,p.1090-1097,2001.
S.Benhimane和E.Mailis,“Real-time image-based tracking of planes usingEfficient Second-order Minimization”,p.943-948,in IEEE/RSJ IROS2004.
步骤403-407是迭代重复的，其中光测误差y(x)被最小化。如果该误差低于给定的阈值ε，则从翘曲关键帧中提取特征（步骤408）。
例如，步骤407中的翘曲函数的定义基于关于在真实环境中的几何图形的假设。例如，假设真实环境中的几何图形为平面。进一步地，翘曲函数的定义可基于在真实环境中捕获第一图像和捕获第二图像之间的变化。例如，关于在真实环境中的几何图形的假设和/或在真实环境中捕获第一图像和第二图像之间的变化可从环境模型、三维重建方法、飞行时间摄像机、立体视觉和/或基于结构光的方法来采集到，其中，在立体视觉和/或基于结构光的方法中光是可见的或是红外的（如微软的Kinect设备）。
此外，翘曲函数的定义可基于在捕获第一图像和捕获第二图像之间的假设的摄像机运动。例如，在捕获第一图像和捕获第二图像之间的线性平移可被假设为摄像机运动。进一步地，翘曲函数的定义可基于在真实环境中或者在第一图像和第二图像之间的图像中的光照变化。例如，翘曲函数的使用可基于在变化的光照条件下跟踪表面的技术。
例如，可根据翘曲函数的定义选择图像配准方法。在另一实施例中，图形配准方法可基于迭代最小化过程，如上所述。例如，在图像配准方法中的比较是基于图形强度差异。
图2和图3示出了结合参考图1所述的方法的真实对象RO的示范性图像。从图2中可以看出，从当前图像（当前帧CF）中提取出的特征可以为特征F1，其与在关键帧KF中真实对象RO的特征F2相对应。然而，如果没有根据本发明如上所述的提炼方法，则位移对于普通匹配算法来说可能太大了，从而特征F1和F2可能不被发现为相互的对应关系。另一方面，如图3所示，对于根据本发明的如图1b所描述的方法，发现翘曲关键帧图像WKF和当前图像CF之间的对应关系可能会变容易，因为在对应特征F3和F1之间的偏差明显地减小。就这一点而言，根据另外的实施例，如果第一图像被设定为由摄像机捕获的当前图像，且第二图像被设定为参考图像（例如最近的关键帧），则能获得类似的结果，其中当前图像经受翘曲以减少第一和第二图像的对应特征之间的偏差。

Claims (19)

1.一种用于确定第一图像和第二图像之间的对应关系的方法，包括如下步骤：
a）提供真实环境的第一图像和第二图像，
b）在所述第一图像和所述第二图像之间定义翘曲函数，
c）通过图像配准方法，确定在所述第一图像和所述第二图像之间的所述翘曲函数的参数，
d）通过将具有确定出的参数的所述翘曲函数应用到所述第一图像以确定第三图像，
e）通过匹配所述第三图像和所述第二图像以确定匹配结果，以及
f）使用所述匹配结果以及具有确定出的参数的所述翘曲函数来确定在所述第一图像和所述第二图像之间的对应关系。
2.如权利要求1所述的方法，其中，所述翘曲函数的定义基于关于所述真实环境的几何图形的假设。
3.如权利要求2所述的方法，其中，假设所述真实环境的所述几何图形是平面的。
4.如权利要求1-3之一所述的方法，其中，所述翘曲函数的定义基于在捕获所述第一图像和捕获所述第二图像之间的在所述真实环境中的变化。
5.如权利要求2-4之一所述的方法，其中，关于所述真实环境的所述几何图形的所述假设和/或在捕获所述第一图像和所述第二图像之间的在所述真实环境中的所述变化是从以下至少一个中获取的：环境模型、三维重建方法、飞行时间摄像机、立体视觉和基于结构光的方法。
6.如权利要求1-5之一所述的方法，其中所述翘曲函数的定义基于捕获所述第一图像和捕获所述第二图像之间的假设的摄像机运动。
7.如权利要求1-6之一所述的方法，其中，所述翘曲函数的定义基于在所述真实环境中或在所述第一图像和所述第二图像之间的图像中的光照变化。
8.如权利要求1-7之一所述的方法，其中，根据所述翘曲函数的定义来选择所述图像配准方法。
9.如权利要求1-8之一所述的方法，其中，所述图像配准方法基于迭代最小化过程，其中将在所述第一图像中的第一组像素与在所述第二图像中的计算出的一组像素进行比较，并且用于所述比较的在所述第二图像中的所述计算出的一组像素在每次迭代中都改变。
10.如权利要求9所述的方法，其中，在所述图像配准方法中的所述比较基于图像强度差异。
11.如权利要求9-10之一所述的方法，其中，所述翘曲函数的所述参数的初始估计被提供给所述迭代最小化过程。
12.如权利要求11所述的方法，其中，使用在捕获所述第一图像和捕获所述第二图像之间的摄像机运动的估计，来确定所述翘曲函数的所述参数的所述初始估计。
13.如权利要求1-12之一所述的方法，其中，步骤e）进一步包括：
-从所述第三图像中提取特征，
-从所述第二图像中提取特征，
-通过匹配从所述第三图像和所述第二图像中提取的特征以确定匹配结果。
14.如权利要求13所述的方法，进一步包括：
-提供在所述第一图像和所述第二图像之间的初始对应关系，以及
-仅针对不存在于所述初始对应关系中的提取出的特征而确定所述匹配结果。
15.如权利要求14所述的方法，其中，利用图像匹配方法确定所述初始对应关系。
16.一种用于确定摄像机姿态的方法，包括如下步骤：
a）在捕获至少一个参考图像时，在共同坐标系中提供至少一个参考图像和摄像机的参考姿态，
b）捕获当前图像，
c）根据前述权利要求之一所述的方法，确定在当前图像和所述至少一个参考图像之间的对应关系，其中，分别将第一图像设定为所述参考图像或所述当前图像，而将第二图像设定为所述当前图像或所述参考图像，
d）基于确定出的对应关系，确定所述摄像机的姿态。
17.如权利要求16所述的方法，其中步骤b）进一步包括如下步骤：在捕获所述当前图像时，在共同坐标系中提供所述摄像机的当前姿态的初始估计，并且在步骤c）中，所述当前图像与从一组参考图像中选择的至少一个参考图像匹配，其中所述选择基于所述参考姿态到所述当前姿态的所述估计的距离。
18.如权利要求17所述的方法，其中，通过使用光学跟踪方法、惯性传感器信息和立体视觉三者中的至少一个来获取所述摄像机的所述姿势的所述初始估计。
19.一种计算机程序产品，其适用于加载到数字计算机的内部存储器中，并包括软件代码段，并且当所述产品在所述计算机上运行时，通过所述软件代码段执行如权利要求1至18中任一项所述的方法。
CN201180065956.4A 2011-01-27 2011-01-27 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法 Active CN103415860B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2011/051142 WO2012100829A1 (en) 2011-01-27 2011-01-27 Method for determining correspondences between a first and a second image, and method for determining the pose of a camera

Publications (2)

Publication Number Publication Date
CN103415860A true CN103415860A (zh) 2013-11-27
CN103415860B CN103415860B (zh) 2019-07-12

Family

ID=44454097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180065956.4A Active CN103415860B (zh) 2011-01-27 2011-01-27 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法

Country Status (4)

Country Link
US (2) US9235894B2 (zh)
EP (1) EP2668617A1 (zh)
CN (1) CN103415860B (zh)
WO (1) WO2012100829A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731658A (zh) * 2013-12-25 2014-04-16 深圳市墨克瑞光电子研究院 双目摄像机复位方法和双目摄像机复位装置
CN104778697A (zh) * 2015-04-13 2015-07-15 清华大学 基于快速定位图像尺度和区域的三维跟踪方法及系统
CN108283018A (zh) * 2015-10-07 2018-07-13 谷歌有限责任公司 基于影像和非图像传感器数据的电子设备姿态识别
CN108475114A (zh) * 2015-12-31 2018-08-31 微软技术许可有限责任公司 用于对象姿势跟踪器的反馈
CN108475433A (zh) * 2015-11-20 2018-08-31 奇跃公司 用于大规模确定rgbd相机姿势的方法和系统

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN107404609B (zh) 2011-05-11 2020-02-11 快图有限公司 用于传送阵列照相机图像数据的方法
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
CN104081414B (zh) 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9020982B2 (en) * 2012-10-15 2015-04-28 Qualcomm Incorporated Detection of planar targets under steep angles
US9159133B2 (en) 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) * 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9426539B2 (en) * 2013-09-11 2016-08-23 Intel Corporation Integrated presentation of secondary content
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9811731B2 (en) * 2013-10-04 2017-11-07 Qualcomm Incorporated Dynamic extension of map data for object detection and tracking
US9407678B2 (en) * 2013-10-21 2016-08-02 Cisco Technology, Inc. System and method for locating a boundary point within adaptive bitrate conditioned content
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US11120271B2 (en) 2014-02-28 2021-09-14 Second Spectrum, Inc. Data processing systems and methods for enhanced augmentation of interactive video content
US10769446B2 (en) 2014-02-28 2020-09-08 Second Spectrum, Inc. Methods and systems of combining video content with one or more augmentations
US10713494B2 (en) 2014-02-28 2020-07-14 Second Spectrum, Inc. Data processing systems and methods for generating and interactive user interfaces and interactive game systems based on spatiotemporal analysis of video content
US11861906B2 (en) 2014-02-28 2024-01-02 Genius Sports Ss, Llc Data processing systems and methods for enhanced augmentation of interactive video content
AU2015222869B2 (en) * 2014-02-28 2019-07-11 Genius Sports Ss, Llc System and method for performing spatio-temporal analysis of sporting events
US10521671B2 (en) 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9870621B1 (en) 2014-03-10 2018-01-16 Google Llc Motion-based feature correspondence
US10108254B1 (en) 2014-03-21 2018-10-23 Google Llc Apparatus and method for temporal synchronization of multiple signals
US10242453B2 (en) 2014-04-30 2019-03-26 Longsand Limited Simultaneous localization and mapping initialization
KR101613418B1 (ko) * 2014-05-29 2016-04-21 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9600723B1 (en) 2014-07-03 2017-03-21 Google Inc. Systems and methods for attention localization using a first-person point-of-view device
US9607388B2 (en) * 2014-09-19 2017-03-28 Qualcomm Incorporated System and method of pose estimation
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US20160259404A1 (en) 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9911242B2 (en) 2015-05-14 2018-03-06 Qualcomm Incorporated Three-dimensional model generation
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
DE102015010264A1 (de) * 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
CN108604383A (zh) * 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
EP3398164B1 (en) 2015-12-30 2020-04-01 Telecom Italia S.p.A. System for generating 3d images for image recognition based positioning
CN107248169B (zh) * 2016-03-29 2021-01-22 中兴通讯股份有限公司 图像定位方法及装置
EP3494549A4 (en) 2016-08-02 2019-08-14 Magic Leap, Inc. SYSTEMS AND METHODS FOR FIXED AND INCREASED DISTANCE VIRTUAL REALITY
US10341568B2 (en) 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10534964B2 (en) * 2017-01-30 2020-01-14 Blackberry Limited Persistent feature descriptors for video
EP3596703A4 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME
KR102366781B1 (ko) 2017-03-17 2022-02-22 매직 립, 인코포레이티드 컬러 가상 콘텐츠 와핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
AU2018233733B2 (en) 2017-03-17 2021-11-11 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
EP3619684A4 (en) 2017-05-04 2021-06-09 Second Spectrum, Inc. METHOD AND DEVICE FOR AUTOMATIC INTRINSIC CAMERA CALIBRATION USING IMAGES OF A PLANAR CALIBRATION PATTERN
CN110517319B (zh) * 2017-07-07 2022-03-15 腾讯科技（深圳）有限公司 一种相机姿态信息确定的方法及相关装置
WO2019019157A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated INITIALIZING IMAGE SENSOR IN A ROBOTIC VEHICLE
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
AU2017225023A1 (en) 2017-09-05 2019-03-21 Canon Kabushiki Kaisha System and method for determining a camera pose
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
JP6973285B2 (ja) * 2018-05-15 2021-11-24 日本電信電話株式会社 テンプレート姿勢推定装置、方法、及びプログラム
CN117711284A (zh) 2018-07-23 2024-03-15 奇跃公司 场顺序显示器中的场内子码时序
EP3827299A4 (en) 2018-07-23 2021-10-27 Magic Leap, Inc. SYSTEM OF MIXED REALITY WITH VIRTUAL CONTENT DISTORTION AND PROCESS FOR GENERATING VIRTUAL CONTENT WITH IT
JP7273250B2 (ja) 2019-09-17 2023-05-12 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
US11113535B2 (en) 2019-11-08 2021-09-07 Second Spectrum, Inc. Determining tactical relevance and similarity of video sequences
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
JP2022071822A (ja) * 2020-10-28 2022-05-16 オリンパス株式会社 画像表示方法、表示制御装置、およびプログラム
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
CN1864176A (zh) * 2003-10-30 2006-11-15 日本电气株式会社 用于估计对象状态的估计系统、估计方法和估计程序
CN1878319A (zh) * 2006-07-06 2006-12-13 上海交通大学 基于平面单应矩阵特征线的摄像机标定方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US20080170126A1 (en) * 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
FR2946444B1 (fr) 2009-06-08 2012-03-30 Total Immersion Procede et dispositif de calibration d'un capteur d'images utilisant un systeme temps reel de suivi d'objets dans une sequence d'images
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
CN1864176A (zh) * 2003-10-30 2006-11-15 日本电气株式会社 用于估计对象状态的估计系统、估计方法和估计程序
CN1878319A (zh) * 2006-07-06 2006-12-13 上海交通大学 基于平面单应矩阵特征线的摄像机标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN JING等: "An Improved Real-time Natural Feature Tracking Algorithm for AR Application", 《PROCEEDINGS OF THE 16TH INTERNATIONAL CONFERENCE ON ARTIFICIAL REALITY AND TELEXISTENCE—WORKSHOPS》, 31 December 2006 (2006-12-31) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731658A (zh) * 2013-12-25 2014-04-16 深圳市墨克瑞光电子研究院 双目摄像机复位方法和双目摄像机复位装置
CN104778697A (zh) * 2015-04-13 2015-07-15 清华大学 基于快速定位图像尺度和区域的三维跟踪方法及系统
CN104778697B (zh) * 2015-04-13 2017-07-28 清华大学 基于快速定位图像尺度和区域的三维跟踪方法及系统
CN108283018A (zh) * 2015-10-07 2018-07-13 谷歌有限责任公司 基于影像和非图像传感器数据的电子设备姿态识别
CN108283018B (zh) * 2015-10-07 2022-04-01 谷歌有限责任公司 电子设备和用于电子设备的姿态识别的方法
CN108475433A (zh) * 2015-11-20 2018-08-31 奇跃公司 用于大规模确定rgbd相机姿势的方法和系统
CN108475433B (zh) * 2015-11-20 2021-12-14 奇跃公司 用于大规模确定rgbd相机姿势的方法和系统
US11838606B2 (en) 2015-11-20 2023-12-05 Magic Leap, Inc. Methods and systems for large-scale determination of RGBD camera poses
CN108475114A (zh) * 2015-12-31 2018-08-31 微软技术许可有限责任公司 用于对象姿势跟踪器的反馈
CN108475114B (zh) * 2015-12-31 2021-04-02 微软技术许可有限责任公司 用于对象姿势跟踪器的反馈

Also Published As

Publication number Publication date
WO2012100829A1 (en) 2012-08-02
EP2668617A1 (en) 2013-12-04
US20160321812A1 (en) 2016-11-03
US9235894B2 (en) 2016-01-12
CN103415860B (zh) 2019-07-12
US9875424B2 (en) 2018-01-23
US20140037140A1 (en) 2014-02-06

Similar Documents

Publication Publication Date Title
CN103415860A (zh) 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法
JP6430064B2 (ja) データを位置合わせする方法及びシステム
Huang et al. Clusterslam: A slam backend for simultaneous rigid body clustering and motion estimation
Zubizarreta et al. A framework for augmented reality guidance in industry
Baak et al. A data-driven approach for real-time full body pose reconstruction from a depth camera
Pomerleau et al. Tracking a depth camera: Parameter exploration for fast ICP
Silveira et al. An efficient direct approach to visual SLAM
Azad et al. 6-DoF model-based tracking of arbitrarily shaped 3D objects
Prankl et al. RGB-D object modelling for object recognition and tracking
Wang et al. Point cloud and visual feature-based tracking method for an augmented reality-aided mechanical assembly system
Akkaladevi et al. Tracking multiple rigid symmetric and non-symmetric objects in real-time using depth data
Gedik et al. 3-D rigid body tracking using vision and depth sensors
Liu et al. A SLAM-based mobile augmented reality tracking registration algorithm
Han et al. A review of edge-based 3D tracking of rigid objects
Gao et al. Object registration in semi-cluttered and partial-occluded scenes for augmented reality
Wientapper et al. Composing the feature map retrieval process for robust and ready-to-use monocular tracking
Mörwald et al. Advances in real-time object tracking: Extensions for robust object tracking with a Monte Carlo particle filter
Zhang et al. A stereo SLAM system with dense mapping
Delmas et al. Stereo camera visual odometry for moving urban environments
Chen et al. Accurate 3D motion tracking by combining image alignment and feature matching
Liu et al. Building semantic maps for blind people to navigate at home
Timofeev et al. Control of a transport robot in extreme weather based on computer vision systems
Zhang et al. Neural guided visual slam system with Laplacian of Gaussian operator
Lee et al. Tracking 3-d motion from straight lines with trifocal tensors
Matez-Bandera et al. Sigma-FP: Robot Mapping of 3D Floor Plans With an RGB-D Camera Under Uncertainty

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180423

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Munich, Germany

Applicant before: METAIO GmbH

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant