CN101785026B - 用于确定摄像机相对于真实对象的位置和方向的方法和系统 - Google Patents

用于确定摄像机相对于真实对象的位置和方向的方法和系统 Download PDF

Info

Publication number
CN101785026B
CN101785026B CN2008800251958A CN200880025195A CN101785026B CN 101785026 B CN101785026 B CN 101785026B CN 2008800251958 A CN2008800251958 A CN 2008800251958A CN 200880025195 A CN200880025195 A CN 200880025195A CN 101785026 B CN101785026 B CN 101785026B
Authority
CN
China
Prior art keywords
real object
video camera
respect
movable part
measuring sonde
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008800251958A
Other languages
English (en)
Other versions
CN101785026A (zh
Inventor
P·迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of CN101785026A publication Critical patent/CN101785026A/zh
Application granted granted Critical
Publication of CN101785026B publication Critical patent/CN101785026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明涉及一种用于确定摄像机(11)相对于真实对象(12)的位置和方向的方法，该方法用于虚拟数据模型(13)与由摄像机(11)生成的图像融合，所述图像包括真实对象(12)的至少一个部分。该方法包含以下步骤：将摄像机(11)设置在传感器系统(20)的活动部分(22)上，该活动部分能与至少一个测量探头(23)连接，所述测量探头适合于接触真实对象(12)的至少一个部分；对该传感器系统的设置有摄像机(11)的活动部分(22)进行定位，使得通过摄像机可以生成图像；和生成该传感器系统(20)相对于真实对象(12)的位置数据(31)；以及基于传感器系统(20)的位置数据(31，32)确定摄像机(11)的位置和方向。

Description

用于确定摄像机相对于真实对象的位置和方向的方法和系统
技术领域
本发明涉及一种用于确定摄像机或显示装置相对于真实对象的位置和方向的方法和系统，该方法和系统用于虚拟数据模型与由摄像机或显示装置生成的图像的融合，所述图像包括真实对象的至少一个部分。
背景技术
这种方法和这种系统在现有技术中、特别是在与所谓的增强现实系统相关的现有技术中是公知的。这使得计算机生成的虚拟信息可以与真实环境中的视觉印象相叠加。为此，优选的是通过佩戴在头上的半透明的数据眼镜，使真实世界的视觉印象与虚拟信息相互融合。虚拟信息或对象的插入在此可以与上下文相关地实现，也就是说适配于以及基于各个观察到的真实环境。使用的虚拟信息基本上可以是任何类型的数据，如文本、图像等。真实环境可以通过例如佩戴在用户头上的摄像机来探测。通过虚拟和真实环境的叠加，用户可以容易的进行应有/实际的比较。在增强现实系统用户的头部运动中，所有人工对象必须追踪不断变化的视场。
在初始化过程中，例如，真实环境中的对象是与摄像机相互关联的。由此可以使真实环境与摄像机图像匹配。真实环境可以是复杂的装置，探测对象可以是该装置的显著元件。在以下所谓的跟踪过程中(该过程代表了实际的工作过程)，例如，当系统用户收到在相对于真实环境的期望位置插入到使用的显示装置中的与上下文相关的信息时，插入的虚拟数据模型追踪用户的运动和随之发生的对真实世界的视野的变化。
此外，结合了虚拟模型与现实相叠加的增强现实技术是现有技术中公知的，其目的是检验模型的或根据规范建立的现实的正确性。应用范围例如是工厂规划(如在DE10128015A1或DE102004046144A1中描述)，或如汽车设计(如在DE20203367A中描述)。由现有技术也已知了这样的装置，用手使这些装置运动并因此占据虚拟世界中的一个观察位置(例如US5436638A)。
这样的增强现实系统或方法基本上涉及对摄像机相对于现实的姿势进行识别。摄像机姿势是摄像机在空间中的位置和方向。现实大多呈现为某种形式的模型，例如呈现为3D模型，所述模型描述了现实或一部分现实的几何性质。该3D模型可以例如从设计图中获得，比如CAD文件。真实对象通常与对象坐标系相关，而摄像机又与摄像机坐标系相关。在此通常有问题的是：为了确定摄像机姿势，尤其要准确地确定对象坐标系和摄像机坐标系之间的变换。
发明内容
本发明的目的是提供一种开头所述类型的系统和方法，其允许在各种情况下在很大程度上准确地相对于现实呈现虚拟对象。
通过根据权利要求1的特征和根据权利要求8的特征的方法来达到这一目标。此外，还通过根据权利要求14的特征和根据权利要求21的特征的系统来达到该目标。本发明还涉及根据权利要求24的计算机程序产品。
本发明的应用实例尤其是包括工厂规划、产品开发中的样机构造或实验构造(例如汽车研发中的碰撞测试)和机械设备建造的验收。由此尤其是能够比较虚拟模型相对于真实对象的质量，或真实对象相对于虚拟模型的质量。
根据本发明的系统和方法的可能应用尤其是包括增强现实技术在服务和维护领域中的应用、在生产中的应用、和在移动环境中的一般应用。使用根据本发明的方法和根据本发明的系统的优点是，在为了借助于传感器系统确定摄像机相对于真实对象的精确姿势而求出对象坐标系和摄像机坐标系之间的变换时精度特别高，因此虚拟数据模型可以与现实在很大程度上准确地叠加，或可以确定数据模型和现实之间精确的相对偏差。
特别地，本发明涉及一种开头所述类型的用于确定摄像机相对于真实对象的位置和方向的方法，该方法包括以下步骤：将摄像机安置在传感器系统的一个活动部分上，该活动部分可耦接到至少一个适合于接触真实对象的至少一个部分的测量探头上；对该传感器系统的设置有摄像机的活动部分进行定位，以使摄像机可以生成图像；生成该传感器系统相对于该真实对象的位置数据；和基于传感器系统的位置数据确定摄像机的位置和方向。
为了以理想方式实时地确定摄像机姿势，可以使用各种不同的传感器或传感器组合，有利的是可以使用具有测量探头的高精度机械测量臂，其用于校准相对传感器位置。因此，可以使用高精度传感器系统来确定对象坐标系和摄像机坐标系之间在很大程度上准确的变换，以作为确定摄像机姿势的出发点。
特别地，传感器系统的固定部分设置成与真实对象有固定关系，并且建立传感器坐标系作为传感器系统的参照系。此外，确定该传感器坐标系相对于真实对象的位置。有利的是，通过以下方式确定传感器坐标系相对于真实对象的位置，即测量探头在至少一个校准过程中与真实对象的至少一个部分相接触。
在本发明的一种实施方式中，所述至少一个校准过程根据多个存储的校准算法之一来执行。例如，用户选择真实对象的CAD模型的至少一个部分，其中，基于所述选择，为至少一个校准过程和至少一个测量程序选择一个校准算法。
在本发明的另一个方面，涉及一种开头所述类型的用于确定摄像机或显示装置相对于真实对象的位置和方向的方法，该方法包括以下步骤：将跟踪系统安置在传感器系统的第一活动部分上，该第一活动部分可耦接到至少一个适合于接触真实对象的至少一个部分的测量探头上；和以相对于传感器系统的第二活动部分的固定关系安置所述摄像机或显示装置。
传感器系统的第一活动部分这样地定位，使得传感器系统的第二活动部分可被跟踪系统探测到，传感器系统的第二活动部分与摄像机或显示装置这样地定位，使得通过所述摄像机或显示装置生成图像。然后，生成传感器系统相对于真实对象的第一位置数据和跟踪系统相对于传感器系统的第二活动部分的第二位置数据。在第一和第二位置数据的基础上确定摄像机或显示装置的位置和方向。
该方面反映了根据本发明的构思的有利实现，即本发明的构思也可以用于所谓的头戴式显示器(HMD)。例如，传感器系统的第二活动部分可以独立于第一活动部分移动，并被第一活动部分的跟踪系统所探测。这样，移动摄像机或显示装置(例如头戴式显示器)与传感器系统之间的耦合使得摄像机或显示装置的姿势可以使用传感器系统相对于真实对象的准确校准参数来计算，而不必机械地绑定到传感器系统上。机械式传感器测量系统与跟踪系统(例如光学跟踪系统)的结合形成一个整体系统，所述跟踪系统固定在机械式传感器系统的传感头上并“跟踪”(追踪)摄像机或显示装置，所述整体系统具有更高的量程和更轻的传感头，以及在很大程度上准确的确定姿势。
特别地，在通过测量探头进行探测之后，可以动态地通过跟踪系统与对象坐标系之间的变换、跟踪系统与传感器系统的第二活动部分之间的变换和传感器系统的第二活动部分与摄像机或显示装置之间的变换，计算与传感器系统的第二活动部分连接的摄像机或显示装置的姿势。
在一种实施形式中，跟踪系统构造为机械式跟踪系统或光学跟踪系统。光学测量或跟踪系统在这方面具有优势，它们具有轻的、符合人体工程学的易于使用并可独立移动的传感头，该传感头例如可被佩戴在头上。然而，该传感头只能在被跟踪系统的光学传感器看到的地方提供有效的值。机械式测量系统的传感头比较重并且量程也较短。然而，该传感头可被带到更难进入的地点(例如车辆内部)。
在本发明的一种实施形式中，确定了虚拟数据模型与真实对象的匹配品质，特别是实现了真实对象的至少一个部分与虚拟数据模型的至少一个部分之间的至少一个距离的测量。例如，利用基于边缘或基于面的跟踪方法确定虚拟数据模型与真实对象的匹配品质。
真实对象的至少一个部分与虚拟数据模型的至少一个部分之间的至少一个距离的确定可以这样实现，即：用户选择图像中虚拟模型的一个部分或利用测量探头选择现实中真实对象的一个部分，从而确定第一点，接着用户通过测量探头选择真实对象的对应部分或图像中虚拟模型的对应部分，从而确定第二点，其中，待确定的距离就是所述第一点和第二点之间的距离。
测定虚拟数据模型与真实对象的匹配品质可以包括步骤：由用户或实施的算法在真实对象和虚拟数据模型的融合过程中执行比较，直到数据模型的至少一个部分与真实对象的对应部分在很大程度上正确地叠加，其中，将执行的比较的尺度作为关于匹配品质的报告的基础使用。
特别地，在数据模型相对于真实对象的定位过程中，本发明还可以生成相对准确的误差信息，特别是不可靠性信息，如在DE102005061952中详述。
根据本发明的系统的一种有利实施例将摄像机或跟踪系统安置在转接装置上，该转接装置在摄像机/跟踪系统与测量探头之间建立机械式连接。通过使用转接装置使测量探头和摄像机/跟踪系统相互连接，现在可以非常容易地执行高精度的叠加。特别地，转接装置设计为能重复地或更换地安装不同的测量探头并又可拆除。优选地，转接装置设计为当与一个测量探头连接时，该测量探头可被传感器系统自动地识别。
另一种实施形式将用于显示摄像机图像的显示装置(特别是屏幕)安装到该转接装置上。同样地，用于计算期望姿势的处理装置也可被安装到该转接装置上。在此例如将摄像机、处理装置和显示装置实施为集成装置，该集成装置被安装到该转接装置上，该转接装置又在测量探头和该集成装置之间建立机械式连接。
本发明的其它优选实施形式和扩展形式将在从属权利要求中描述。
附图说明
本发明将在下文中参照附图进行更为详细的解释，附图体现了本发明的优选实施方式。
图1以示意图示出了根据本发明的用于确定摄像机相对于真实对象的位置和方向的系统的一种实施形式；
图2以示意图示出了根据图1的系统以及各个部件之间可视化的变换；
图3以示意图示出了根据本发明的用于确定摄像机或显示装置相对于真实对象的位置和方向的系统的其它实施形式，分别带有各个部件之间可视化的变换；
图4以示意图示出了根据本发明的系统的另一种实施形式；
图5示出了关于增强现实系统中的方法过程的流程图，其中实现了根据本发明的构思。
具体实施方式
图1以示意图示出了根据本发明的用于确定摄像机相对于真实对象的位置和方向的系统的实施形式。系统10包括一个传感器系统20，该传感器系统20具有至少一个活动部分22，所述活动部分22通过活动铰链固定到一个固定部分21上。该传感器系统还可以具有分别相互通过铰链等连接的另外的活动部分，或者可以具有一个或多个使该传感器系统的各个部分相耦接的光学跟踪系统。这样形成的测量臂形式的活动部分22在当前实例中通过一个转接装置24与至少一个测量探头23连接，所述测量探头适合于与真实对象12的至少一个部分形成接触。该传感器系统可以以各种各样的方式构造，特别是也可以作为光学传感器系统实现。设置在传感器系统20的测量臂22上的摄像机11用于生成图像。摄像机11可以设置有用于照亮真实对象的光源。
另外，设置了接口装置26，用于输出传感器系统20相对于真实对象12的位置数据，以便确定摄像机11相对于真实对象12的位置和方向(姿势)，下文中将会解释。位置数据通常应理解为用于推断相关组件的位置和方向的数据。例如，传感器系统只传送来自各个传感器组件的原始位置数据和组件的尺寸，它们只有在外部计算机中处理为适当的、可针对用途进行分析处理的位置数据。
在当前实例中，摄像机姿势的计算通过计算机形式的外部处理装置14来执行，该装置连接到接口装置26。这样计算的摄像机姿势用于按照上下文正确地将虚拟数据模型13与摄像机11生成的图像相融合，该图像显示在屏幕形式的外部显示装置15上。为此，计算机14既连接到传感器系统20也连接到摄像机11，以便一方面获得用于确定摄像机姿势所必须的参数和另一方面获得摄像机11的图像。虚拟数据模型13存储在计算机14中，并基于对该虚拟数据模型的计算以基于上下文正确的方式在屏幕15上在摄像机的图像上与真实对象12相叠加。
目的是确定摄像机11相对于真实研究对象12的对象坐标系40的姿势(也就是位置和方向)，并因此能够将数据模型13的形式的虚拟几何体叠加到真实对象12上。例如，虚拟几何体13可以是构件的CAD设计图，而真实对象12是从CAD设计得到的真实原型。此外，建立一个传感器坐标系30(所谓的传感器世界坐标系)作为传感器系统的参照系。
图2以示意图示出了根据图1的系统，各个部件之间具有可视化的变换。为了理想地实时获得摄像机11的姿势，可以使用传感器系统20的各种不同的传感器或传感器组合。有利地，可以使用高精度机械式测量臂，以测量臂21、22的形式示意性地示出。但是，所述姿势并不是直接从传感器测量结果获得，而是还要基于传感器世界坐标系30向真实对象12的对象坐标系40的变换32以及摄像机坐标系60与传感头坐标系70之间的变换62，其中传感头由测量探头23形成。这些变换32和62优选永久存储在计算机14或传感器系统20中。由此，不必总是重新生成这些变换，而只需相应地调用这些变换来计算姿势。
为了确定传感头坐标系70与摄像机坐标系60之间的变换62，可以使用现有技术中公知的校准方法(例如“手眼校准”)。例如，使用如在Y.Zhuang，Y.C.Shiu的“A noise-tolerant algorithm for robotic hand-eye calibration with orwithout sensor orientation measurement”，IEEE Transactions on Systems，Manand Cybernetics，第23卷(1993)，July/August，Nr.4，New York(U.S.)，第1168-1175页中描述的方法(“Roboter visuell-motorische Eichung”)。
对象坐标系40与传感器世界坐标系30之间的变换32，迄今为止在增强现实领域是普遍存在问题的。为了解决这一问题，根据本发明，使用与摄像机相结合的传感器系统，例如借助传感器系统20和摄像机11说明的那样。尤其是使用了一种传感器系统20，其中使用所谓的测量探头23进行接触真实对象12。这意味着，作为(所谓的校准过程的)起始点，几何属性(如表面或孔)被传感器系统20的操作者接近和接触，这样确定它们在传感器世界坐标系30中的位置。因此，用这种方法在所谓的校准中确定对象坐标系40和传感器世界坐标系30之间的变换32。传感器世界坐标系与传感器系统20的固定部分21成固定的关系并且与真实对象12成固定的关系。同样，固定部分21也与真实对象12成固定关系。传感头坐标系70和传感器世界坐标系30之间的变换31由传感器系统20提供。
校准之后，传感器系统的测量臂22与使用的摄像机11一起被定位，使得摄像机可生成图像。在这个过程中，生成传感器系统20相对于真实对象12的位置数据，以构成变换31，并且，在该位置数据的基础上确定摄像机11的位置和方向。此外，在当前实施例中，用于确定摄像机相对于传感头23的姿势的变换62是必不可少的。
尤其是执行以下步骤来确定计算摄像机姿势的起始参数，该起始参数例如是增强现实可视化(AR可视化)所需的。
通过对带有摄像机11的传感器系统20进行定位，使摄像机11可以探测对象12来生成图像，确定测量探头23相对于传感器世界坐标系30的位置，并将测量探头23相对于传感器世界坐标系30的位置数据以变换31的形式输出。然后，基于变换31、传感器世界坐标系30相对于真实对象12的位置(变换32)并基于摄像机11相对于测量探头23的位置(变换62)确定摄像机11相对于真实对象12的位置和方向。基本上，AR可视化所需的摄像机11和真实对象12之间的变换T的结果为：
T-1＝32-1·31·62-1
在用于确定摄像机姿势的起始参数被确定之后，可以通过公知的计算方法来确定所述姿势。该计算在计算机14上进行，该计算机连接到包含摄像机11的相应传感器上，并能在考虑摄像机参数、姿势和显示面的情况下由3D数据生成虚拟图像，该虚拟图像与已有利地根据摄像机数据修正的摄像机图像相混合，并在显示装置15和/或头戴式屏幕系统18、19上显示(图3a或3b)。摄像机参数的确定本身是现有技术已知的。同样地，根据摄像机参数本身修正摄像机图像也是公知的。摄像机数据的传输可以优选采用数字传输标准进行，例如IEEE1394标准。
用这种方法可以确定摄像机坐标系60与数据模型13(在起始位置13-1)的坐标系51之间的变换61，以及在起始位置13-1的坐标系51与数据模型13在转移位置13-2的坐标系52之间的转移变换53。
在计算机14中存储了相应的计算机程序，该计算机程序根据上述方法执行基于特定位置数据确定摄像机11的位置和方向的过程。
通过使用最好是刚性的转接装置24使可更换的测量探头23和摄像机11相互连接，现在可以非常简便地实现高度精确的叠加。根据本发明，转接装置24使用现有技术中的机械方法这样地设计，使得可以以高的重复精度安装和固定不同的测量探头23。有利地，探头23设置有一种能力，使得可装备相应传感器装置的转接装置24能够自动地识别该探头并且计算机14可以相应地自动调用修正的探头信息。转接装置24可以优选由支架或类似的机械器件(例如钢索等)支撑，或操作者能够被解放。
图3以示意图示出了根据本发明的用于确定摄像机或显示装置相对于真实对象的位置和方向的系统10的其它实施例，分别在各个部件之间具有可视化变换。系统10又包含具有至少一个测量臂22形式的第一活动部分的传感器系统20，至少一个测量探头23可耦接到该第一活动部分上。此外，设置有传感器系统20的第二活动部分25，该第二活动部分在当前实例中不与机械臂22机械式连接，也就是一个独立的可运动的传感头25。在最简单的情况下，该传感头25可以仅仅是任意的标记。
设置在传感器系统的测量臂22上的跟踪系统16(例如光学跟踪系统)用于跟踪(“Tracken”)传感头25。为此，跟踪系统包括带有计算机系统的摄像机，该摄像机探测和跟踪例如传感头25的标记。为此，确定跟踪系统坐标系80与(例如由所述标记定义的)传感头坐标系90之间的变换81。为了确定测量探头坐标系70与跟踪系统坐标系80之间的变换，可以再次使用“手眼校准”。此外，传感头坐标系90与摄像机坐标系100之间的变换91是公知的。变换101表示摄像机坐标系100与数据模型13的坐标系51之间的变换。
在根据图3a的实施方式中，摄像机17设置在传感器系统的传感头25上，并且适合于且定位为生成包含真实对象12的至少一个部分的图像。摄像机生成的图像成像在头戴式显示器(HM)18上并在该图像中插入虚拟信息，用户9将该头戴式显示器戴在头上。跟踪系统16(也称为由外向内传感器系统(outside-in-Sensor-System))或测量臂22这样地设置，使得摄像机17被跟踪系统16探测到。摄像机17和显示器18构成所谓的视频透视系统，其中在用户眼前设置视频屏幕(显示器18)，在该视频屏幕上使真实的和虚拟的视觉印象融合在一起。
为了通过可与接口装置26耦接的处理装置14确定摄像机17相对于真实对象12的位置和方向，接口装置26(见图1)用于输出传感器系统20相对于真实对象12的第一位置数据(特别是用于计算变换31)和跟踪系统16的第二位置数据(特别是用于计算变换81)。所述数据用于虚拟数据模型13与摄像机17生成的图像的融合。接口装置26可以是无线的或有线的，也可以包含多个单独的接口，或在传感器系统的不同位置。例如，跟踪系统16也可以通过接口装置的一个对应接口直接连接到计算机14。
换言之，由外向内传感器系统16观察所谓的由外向内传感头25并动态确定其相对于传感头坐标系90的姿势。一个适当的由外向内传感器系统16可以是具有一个或多个摄像机的光学跟踪系统，光线标记为其构成传感头25。但是，也可以使用通过测量时间或角度来确定姿势的方法。使用传感头25至摄像机17(优选固定在头戴式屏幕系统18上)的变换91，可以为观察者9叠加虚拟对象13，该虚拟对象相对于真实对象12具有尽可能准确的姿势。摄像机17可能是立体摄像机系统，并且HMD显示有立体感的图像。更优选地，HMD被装备有摄像机和由外向内传感头的便携式监视器代替。
在图3b的实施方式中，半透明的头戴式显示器形式的显示装置19(光学透视显示装置)取代摄像机17和显示器18直接设置在传感器系统的传感头25上。就光学透视来说，融合是通过所谓的光学混频器(用户眼前的半透明显示装置)实现的，在半透明显示装置上通过装置的透明度看到真实世界，并通过向显示装置投影实现虚拟信息的叠加，因此摄像机17可被省去。显示装置19的位置确定可以与根据图3a的系统类似地实现(如参照对摄像机17的说明)。此外，传感头坐标系90与显示器坐标系110之间的变换91是公知的。变换111表示显示器坐标系110与数据模型13的坐标系51之间的变换。在这种情况下通常仍需要所谓的透视校准，例如在文献US2002/0105484A1中描述的。
参照图1和2关于摄像机11姿势确定的说明也同样适用于跟踪系统16在根据图3的布置中的姿势确定，在该布置中跟踪系统16取代摄像机11设置在测量臂22上。
图4示出了另一种有利的结构，其中用于显示摄像机11的图像的显示装置15安装到转接装置24上。此外，计算机14也安装到转接装置24上。优选的，摄像机11、计算机14和显示装置15实施为安装到转接装置24上的集成装置。在这种情况下指的是集成解决方案(例如基本上由现有技术已知的具有屏幕和集成摄像机的紧凑计算机)。
图5示出了在实施本发明概念的增强现实系统中方法过程的流程图。特别地，图5示出了利用图1至3的系统结构进行构件叠加的优选过程。
在第一步骤中，保证对象12和传感器世界坐标系30彼此具有固定的关系(步骤1.0)。然后利用测量探头23执行校准过程(步骤2.0)并将结果存储在计算机14中。该校准过程优选包括在对象12上识别适宜的校准几何体(例如孔或面)。不同形式的探头(例如尖端或球)可以有利地适用于不同的校准几何体。为了避免更换测量探头，有利的是校准几何体根据测量探头形状进行输入。为了能够执行校准过程，可能的算法必须同时知道相对于传感器世界坐标30的实际特征和在对象坐标系40中的对应应有特征。优选地，用户可以通过鼠标点击选择CAD模型的一个部分(例如一个点，一条边或一个面)，来告知系统涉及哪一种对应。特别地，现在一个算法根据规则集从选定的CAD部分周围的CAD拓扑和选定的校准算法确定测量程序的顺序，其中，适宜的测量程序根据该规则集设置为最佳选择。另一种可能性在于，用户还可以在一开始不选择校准算法，而只选择CAD部分，然后由规则集全局性定义校准算法、特定测量程序、探头的选择和测量程序以及要输入的CAD部分的顺序。如果没有CAD模型，也可以直接指定具有有限自由度的应有特征(步骤2.1)。
如果程序已经知道哪个CAD部分或哪个输入的应有特征将以哪个测量程序输入，或该程序已经将其告知用户(例如在视觉上)，用户就可以插入需要的测量探头，如果还未插入的话，并实施该测量程序(例如圆形探测球在一个平面上移动)。对每个选中的CAD部分执行这一过程。最后，该校准算法可以确定变换32(步骤2.1.1和步骤2.1.2)。
现在可以继续测试。例如，附加设计元件现在可以虚拟地附着到作为真实对象12的样品车辆上，或者可以实施结构元件的应有/实际比较(步骤3.0)。为此，可能要载入一个或多个虚拟对象，例如用虚拟现实建模语言(VRML)描述的虚拟对象(步骤3.1)。但是可选的，也可以直接显示校准所用的虚拟几何体。优选地，数字模型的材料特征是可变的(步骤3.2)。
如果视觉控制不令人满意，在必要时可以明确地记载偏差(步骤4.0)。真实对象的感兴趣部分和虚拟数据模型的对应部分之间距离的测量可以例如通过以下方法实现：用户在图像中选择虚拟模型的一部分，例如感兴趣点，从而确定第一点，随后用于利用测量探头选择真实对象上的对应部分，从而确定第二点，待确定的距离就是所述第一和第二点之间的距离。选择的顺序也是可反过来的，也就是说，可以首先利用测量探头选择现实中的真实对象上的感兴趣的点，然后选择虚拟模型上的对应点。
还可以通过与参与者进行交流来存储实际屏幕状态(步骤4.1，例如存储为JPEG)。如果要生成定量声明，用户一方面可以例如通过一个如鼠标滚轮的操作元件，改变叠加的虚拟几何体13的修正变换53(图2)的单个自由度，直到几何体13尽可能正确地叠加到真实部分12(步骤4.2a)。该修正变换53就生成了关于偏差的声明。可选地，可以通过计算机辅助确定偏差(步骤4.2b)。在该实例中，一个优化方法改变修正变换53并测量剩余的偏差，其计入优化方法的成本函数。成本函数的测量能够以二维或三维的方式实现。三维数据一方面可由附加的3D传感器(例如激光扫描仪)确定，或通过现有技术中公知的3D重构算法获得，3D重构算法利用了不同的摄像机视图和相关的跟踪数据。
根据本发明的系统和方法的优势和应用再次总结如下：
现有的系统具有如下缺点：传感器坐标系和对象坐标系之间关系的建立通常不能充分解决。例如，跟踪系统观察现实中的例如一个标记(比如在车辆上)。但是该标记必须先利用测量系统相对于世界坐标系(车辆坐标系)单独校准。因此上述系统和方法的明显优势就是校准和观察系统的直接结合，优点如下：
-节省叠加任务的时间，因为不必在校准和观察工具间进行切换。这关系到物理上的改变和操作软件的切换。
-节省硬件开销，例如在光学系统中，因为昂贵的标记只需为组合头获取和维护，而不必为不同的头获取和维护。
-降低软件复杂度，因为软件不需要管理例如不同的光学标记。

Claims (21)

1.用于虚拟数据模型与由摄像机生成的图像的融合的方法，所述图像包含真实对象的至少一个部分，所述方法具有以下步骤：
将所述摄像机设置在传感器系统的一个活动部分上，所述活动部分能与至少一个测量探头耦接，所述测量探头适合于在校准过程中与所述真实对象的至少一个部分接触；
对所述传感器系统的设置有摄像机的所述活动部分进行定位，使得由所述摄像机生成所述图像；
将所述传感器系统的固定部分设置成与所述真实对象具有固定关系并建立传感器坐标系作为所述传感器系统的参照系以及确定所述传感器坐标系相对于所述真实对象的位置；
其中，在定位设置有摄像机的所述传感器系统时，确定所述测量探头相对于所述传感器坐标系的位置并且输出所述测量探头相对于所述传感器坐标系的位置数据；
基于所述测量探头相对于所述传感器坐标系的位置数据、所述传感器坐标系相对于所述真实对象的位置和所述摄像机相对于所述测量探头的位置，确定所述摄像机相对于所述真实对象的位置和方向；并且，
基于所述摄像机的位置和方向使表示设计图的虚拟数据模型与由所述摄像机生成的图像相融合；
其中，使所述虚拟数据模型准确地与所述真实对象叠加，或者，确定所述虚拟数据模型和所述真实对象之间的相对偏差。
2.根据权利要求1的方法，其特征在于，
通过在至少一个校准过程中使所述测量探头与所述真实对象的至少一个部分相接触来确定所述传感器坐标系相对于所述真实对象的位置。
3.根据权利要求2的方法，其特征在于，
根据多个存储的校准算法中的一个来执行所述至少一个校准过程。
4.根据权利要求2或3的方法，其特征在于，
由用户选择所述真实对象的CAD模型的至少一个部分，并基于所述选择为所述至少一个校准过程和至少一个测量程序选择校准算法。
5.根据权利要求1至3之一的方法，其特征在于，
为了确定所述摄像机的位置和方向，通过手眼校准实现所述摄像机相对于所述测量探头的位置的确定。
6.用于虚拟数据模型与由摄像机或显示装置生成的图像的融合的方法，所述图像包含真实对象的至少一个部分，所述方法具有以下步骤：
将跟踪系统设置在传感器系统的第一活动部分上，所述第一活动部分能与至少一个测量探头耦接，所述测量探头适合于在校准过程中与所述真实对象的至少一个部分接触；
将所述摄像机或所述显示装置设置成与所述传感器系统的第二活动部分具有固定关系；
对所述传感器系统的第一活动部分进行定位，使得所述传感器系统的第二活动部分能被所述跟踪系统探测到；
对所述传感器系统的具有所述摄像机或所述显示装置的第二活动部分进行定位，使得由所述摄像机或所述显示装置生成图像；以及
生成所述传感器系统相对于所述真实对象的第一位置数据和所述跟踪系统相对于所述传感器系统的第二活动部分的第二位置数据；基于所述测量探头相对于所述传感器坐标系的位置数据、所述传感器坐标系相对于所述真实对象的第一位置数据和所述跟踪系统相对于所述传感器系统的第二活动部分的第二位置数据，确定所述摄像机或所述显示装置相对于所述真实对象的位置和方向；并且
基于所述摄像机或显示装置的位置和方向使表示设计图的虚拟数据模型与生成的图像相融合；
其中，使所述虚拟数据模型准确地与所述真实对象叠加，或者，确定所述虚拟数据模型和所述真实对象之间的相对偏差。
7.根据权利要求1、2、3或6的方法，其特征在于，
确定所述虚拟数据模型与所述真实对象的匹配品质，其中，实现对所述真实对象的至少一个部分与所述虚拟数据模型的至少一个部分之间的至少一个距离的测量。
8.根据权利要求7的方法，其特征在于，
对所述真实对象的至少一个部分与所述虚拟数据模型的至少一个部分之间的至少一个距离的测量这样实现：由用户选择图像中所述虚拟数据模型的一个部分从而确定第一点，随后由用户利用所述测量探头选择所述真实对象的对应部分从而确定第二点；或者由用户利用所述测量探头选择所述真实对象的一个部分从而确定第一点，随后由用户选择图像中所述虚拟数据模型的对应部分从而确定第二点，其中，待确定的距离就是所述第一点和所述第二点之间的距离。
9.根据权利要求7的方法，其特征在于，
所述虚拟数据模型与所述真实对象的匹配品质的确定在利用基于棱边或基于面的跟踪方法的情况下进行。
10.根据权利要求7的方法，其特征在于，
所述虚拟数据模型与所述真实对象的匹配品质的确定包括以下步骤：由用户或实施的算法在所述真实对象和所述虚拟数据模型的融合时执行比较，直到所述虚拟数据模型的至少一个部分正确地叠加到所述真实对象的对应部分上，其中，执行的比较的尺度作为关于匹配品质的声明的基础使用。
11.根据权利要求1、2、3或6的方法，其特征在于，
在所述虚拟数据模型相对于所述真实对象的定位中生成误差信息。
12.用于虚拟数据模型与由摄像机生成的图像的融合的系统，包括：
传感器系统，具有至少一个活动部分，在所述活动部分上能耦接至少一个测量探头，所述测量探头适合于在校准过程中与真实对象的至少一个部分接触；
摄像机，该摄像机设置在所述传感器系统的所述活动部分上，并适合用于生成包含所述真实对象的至少一个部分的图像；
具有接口装置，用于输出所述传感器系统相对于所述真实对象的位置数据，以便确定所述摄像机相对于所述真实对象的位置和方向；
处理装置，所述处理装置与所述接口装置耦接并且适合基于所述测量探头相对于所述传感器坐标系的位置数据、所述传感器坐标系相对于所述真实对象的位置和所述摄像机相对于所述测量探头的位置，确定所述摄像机相对于所述真实对象的位置和方向；并且
所述处理装置适合基于所述摄像机的位置和方向使表示设计图的虚拟数据模型与由所述摄像机生成的图像相融合，其中，所述虚拟数据模型准确地与所述真实对象叠加，或者，确定了所述虚拟数据模型和所述真实对象之间的相对偏差。
13.根据权利要求12的系统，其特征在于，
所述摄像机安置在转接装置上，所述转接装置在所述摄像机和所述测量探头之间建立机械式连接。
14.根据权利要求13的系统，其特征在于，
所述转接装置设计为能重复地安装不同的测量探头。
15.根据权利要求13或14的系统，其特征在于，
所述转接装置设计为在与测量探头连接时所述测量探头能被所述传感器系统自动地识别。
16.根据权利要求13或14的系统，其特征在于，
在所述转接装置上安置用于显示所述摄像机的图像的显示装置。
17.根据权利要求13或14的系统，其特征在于，
所述处理装置安置到所述转接装置上。
18.根据权利要求12的系统，其特征在于，
所述摄像机、所述处理装置和用于显示所述摄像机的图像的显示装置实施为安装到转接装置上的集成装置，所述转接装置在所述测量探头和集成装置之间建立机械式连接。
19.用于虚拟数据模型与由摄像机或显示装置生成的图像的融合的系统，包括：
传感器系统，具有至少一个第一活动部分和一个第二活动部分，在所述第一活动部分上能耦接至少一个测量探头，所述测量探头适合于在校准过程中与真实对象的至少一个部分接触；
跟踪系统，该跟踪系统设置在所述传感器系统的第一活动部分上；
摄像机或显示装置，其设置在所述传感器系统的第二活动部分上并适合用于生成包含所述真实对象的至少一个部分的图像；
其中，所述跟踪系统能够设置使得所述传感器系统的第二活动部分能被所述跟踪系统探测到；
具有接口装置，用于输出所述传感器坐标系相对于所述真实对象的第一位置数据和所述跟踪系统相对于所述传感器系统的第二活动部分的第二位置数据，以便确定所述摄像机或所述显示装置相对于所述真实对象的位置和方向；
与所述接口装置耦接的处理装置，所述处理装置适合基于所述测量探头相对于所述传感器坐标系的位置数据、所述传感器坐标系相对于所述真实对象的第一位置数据和所述跟踪系统相对于所述传感器系统的第二活动部分的第二位置数据，确定所述摄像机或所述显示装置相对于所述真实对象的位置和方向；并且
所述处理装置适合基于所述摄像机或所述显示装置的位置和方向使表示设计图的虚拟数据模型与生成的图像相融合，其中，所述虚拟数据模型准确地与所述真实对象叠加，或者，确定了所述虚拟数据模型和所述真实对象之间的相对偏差。
20.根据权利要求19的系统，其特征在于，
所述跟踪系统实施为光学跟踪系统。
21.根据权利要求12、13、14、18、19或20的系统，其特征在于，
所述摄像机设置有用于照亮所述真实对象的光源。
CN2008800251958A 2007-07-18 2008-07-03 用于确定摄像机相对于真实对象的位置和方向的方法和系统 Active CN101785026B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102007033486.0 2007-07-18
DE102007033486A DE102007033486B4 (de) 2007-07-18 2007-07-18 Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
PCT/EP2008/005447 WO2009010195A1 (de) 2007-07-18 2008-07-03 Verfahren und system zur ermittlung der position und orientierung einer kamera relativ zu einem realen objekt

Publications (2)

Publication Number Publication Date
CN101785026A CN101785026A (zh) 2010-07-21
CN101785026B true CN101785026B (zh) 2012-12-26

Family

ID=39714196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800251958A Active CN101785026B (zh) 2007-07-18 2008-07-03 用于确定摄像机相对于真实对象的位置和方向的方法和系统

Country Status (6)

Country Link
US (1) US9008371B2 (zh)
EP (1) EP2176833B1 (zh)
JP (1) JP5378374B2 (zh)
CN (1) CN101785026B (zh)
DE (1) DE102007033486B4 (zh)
WO (1) WO2009010195A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
WO2011106520A1 (en) 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
US9098905B2 (en) 2010-03-12 2015-08-04 Google Inc. System and method for determining position of a device
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
DE102011085784B3 (de) * 2011-11-04 2012-12-27 Lufthansa Technik Ag Messsystem und Verfahren zur Vermessung von Bauteilen
JP6121647B2 (ja) * 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP2600109A3 (en) * 2011-11-30 2015-03-25 Sony Ericsson Mobile Communications AB Method for calibration of a sensor unit and accessory comprising the same
JP5670416B2 (ja) * 2012-12-28 2015-02-18 ファナック株式会社 ロボットシステム表示装置
US9928652B2 (en) 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9679414B2 (en) 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
DE102013206569B4 (de) * 2013-04-12 2020-08-06 Siemens Healthcare Gmbh Gestensteuerung mit automatisierter Kalibrierung
US10373018B2 (en) 2013-10-08 2019-08-06 Apple Inc. Method of determining a similarity transformation between first and second coordinates of 3D features
US10380764B2 (en) * 2013-12-18 2019-08-13 Cognex Corporation System and method for performing vision system planar hand-eye calibration from straight line features
DE102014003178B4 (de) * 2014-03-01 2021-09-16 Audi Ag Vorrichtungen und Verfahren zum Anzeigen eines Bildes mittels eines am Kopf eines Nutzers tragbaren Anzeigegeräts
EP2916099B1 (en) 2014-03-07 2020-09-30 Hexagon Technology Center GmbH Articulated arm coordinate measuring machine
DE102014104714A1 (de) * 2014-04-03 2015-10-08 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Lageabgleich mindestens eines physischen Bauteils oder einer physischen Bauteilegruppe mit einem virtuellen Modell des Bauteils oder der Bauteilgruppe
KR101596868B1 (ko) * 2014-04-25 2016-02-24 주식회사 고영테크놀러지 카메라 파라미터 산출 방법
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
CN107847187B (zh) * 2015-07-07 2021-08-17 皇家飞利浦有限公司 用于对肢体的至少部分进行运动跟踪的装置和方法
US9645012B2 (en) * 2015-08-17 2017-05-09 The Boeing Company Rapid automated infrared thermography for inspecting large composite structures
DE102015015695A1 (de) 2015-12-04 2017-06-08 Audi Ag Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems
CA2953752A1 (en) * 2017-01-06 2018-07-06 Libra At Home Ltd Virtual reality apparatus and methods therefor
CN107392961B (zh) 2017-06-16 2019-12-06 华勤通讯技术有限公司 基于增强现实的空间定位方法及装置
CN107959803A (zh) * 2018-01-16 2018-04-24 灵然创智（天津）动画科技发展有限公司 一种虚拟摄像机与真实摄像机对位
US11137484B1 (en) * 2018-02-27 2021-10-05 Valve Corporation Systems and methods to calibrate tracking systems
NL2021702B1 (en) * 2018-09-25 2020-05-07 Handicare Stairlifts B V Staircase measuring method and system for obtaining spatial information on a staircase and an environment of the staircase
DE102018218475B4 (de) 2018-10-29 2022-03-10 Carl Zeiss Optotechnik GmbH Trackingsystem und optisches Messsystem zur Bestimmung mindestens einer räumlichen Position und Orientierung mindestens eines Messobjekts
JP7244541B2 (ja) * 2018-12-03 2023-03-22 マクセル株式会社 拡張現実表示装置及び拡張現実表示方法
CN109557904B (zh) * 2018-12-06 2020-07-10 百度在线网络技术（北京）有限公司 一种测试方法、装置、设备和介质
EP3706076B1 (en) * 2019-03-07 2021-02-24 Siemens Healthcare GmbH Method and device to determine the dimensions and distance of a number of objects in an environment
DE102019107417A1 (de) * 2019-03-22 2020-09-24 Günther Battenberg Verfahren zur Durchführung von zumindest einem Tätigkeitsprozess mittels eines Roboters

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436638A (en) 1993-12-17 1995-07-25 Fakespace, Inc. Image display method and apparatus with means for yoking viewpoint orienting muscles of a user
JPH1063317A (ja) * 1996-08-13 1998-03-06 Fanuc Ltd ロボット−視覚センサシステムにおける座標系結合方法
JP4481383B2 (ja) * 1999-04-19 2010-06-16 本田技研工業株式会社 形状検証システムおよび形状検証方法
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US20020105484A1 (en) 2000-09-25 2002-08-08 Nassir Navab System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality
DE20203367U1 (de) 2002-03-04 2003-05-08 Audi Ag Frühzeitige Visualisierung von Designideen im Ton-/Designmodell
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
US7203384B2 (en) * 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
WO2005000139A1 (en) 2003-04-28 2005-01-06 Bracco Imaging Spa Surgical navigation imaging system
US7110100B2 (en) * 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7038846B2 (en) * 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) * 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) * 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7693325B2 (en) * 2004-01-14 2010-04-06 Hexagon Metrology, Inc. Transprojection of geometry data
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7729515B2 (en) * 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
TWI242981B (en) * 2004-02-06 2005-11-01 Ortery Technologies Inc Multi-functional peripheral capable of taking pictures
JP4356983B2 (ja) * 2004-02-10 2009-11-04 キヤノン株式会社 画像処理方法、画像処理装置
US7023536B2 (en) * 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) * 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) * 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
JP4677273B2 (ja) * 2004-06-29 2011-04-27 キヤノン株式会社 情報処理方法および情報処理装置
DE102004046144A1 (de) * 2004-09-23 2006-03-30 Volkswagen Ag Verfahren und System zum Planen einer Produktionsumgebung
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
DE102005061952B4 (de) 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
EP2030171A1 (en) * 2006-04-10 2009-03-04 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
US20090153550A1 (en) * 2007-12-18 2009-06-18 Disney Enterprises, Inc. Virtual object rendering system and method
GB2458388A (en) * 2008-03-21 2009-09-23 Dressbot Inc A collaborative online shopping environment, virtual mall, store, etc. in which payments may be shared, products recommended and users modelled.
JP5388534B2 (ja) * 2008-10-09 2014-01-15 キヤノン株式会社 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体
US20100091036A1 (en) * 2008-10-10 2010-04-15 Honeywell International Inc. Method and System for Integrating Virtual Entities Within Live Video
US20100257252A1 (en) * 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US20100271394A1 (en) * 2009-04-22 2010-10-28 Terrence Dashon Howard System and method for merging virtual reality and reality to provide an enhanced sensory experience
US8970709B2 (en) * 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604014A (zh) * 2003-09-30 2005-04-06 佳能株式会社 图像显示装置和方法

Also Published As

Publication number Publication date
US20100239121A1 (en) 2010-09-23
WO2009010195A1 (de) 2009-01-22
JP5378374B2 (ja) 2013-12-25
JP2010534013A (ja) 2010-10-28
EP2176833A1 (de) 2010-04-21
DE102007033486B4 (de) 2010-06-17
US9008371B2 (en) 2015-04-14
DE102007033486A1 (de) 2009-01-22
CN101785026A (zh) 2010-07-21
EP2176833B1 (de) 2014-12-24

Similar Documents

Publication Publication Date Title
CN101785026B (zh) 用于确定摄像机相对于真实对象的位置和方向的方法和系统
US8849636B2 (en) Assembly and method for verifying a real model using a virtual model and use in aircraft construction
Krotkov Active computer vision by cooperative focus and stereo
US9508146B2 (en) Automated frame of reference calibration for augmented reality
EP1886281B1 (en) Image processing method and image processing apparatus
EP2682710B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
EP2263837A1 (en) Operation teaching system and operation teaching method
JP7102115B2 (ja) 校正方法、校正装置、３次元測定機、３次元視覚測定装置、ロボットのエンドエフェクタ、プログラム、記録媒体
CN105180855A (zh) 生成关于坐标测量机的传感器链的信息的方法
US11403780B2 (en) Camera calibration device and camera calibration method
JP2008002980A (ja) 情報処理方法および装置
CN103142313B (zh) 一种基于单目视觉的手术工具位姿实时检测系统
Faccio et al. Real-time assistance to manual assembly through depth camera and visual feedback
CN117769691A (zh) 基于路点的导航地图的拓扑处理
Lu et al. Calibration of five-axis motion platform based on monocular vision
JP2003296708A (ja) データ処理方法、データ処理プログラムおよび記録媒体
de Souza et al. Industrial robot programming by demonstration using stereoscopic vision and inertial sensing
Zhang et al. Flexible method for accurate calibration of large-scale vision metrology system based on virtual 3-D targets and laser tracker
Grießbach et al. IPS–a system for real-time navigation and 3D modeling
EP3693697A1 (en) Method for calibrating a 3d measurement arrangement
JP2012018684A (ja) 情報処理方法および装置
Lang Deformable model acquisition and validation
JP2018132847A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021010994A (ja) センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
CN114465910B (zh) 一种基于增强现实技术的机械加工设备校准方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180425

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: Munich, Germany

Patentee before: METAIO GmbH

TR01 Transfer of patent right