CN100594517C - 确定与ar-物体光学重叠的方法和装置 - Google Patents

确定与ar-物体光学重叠的方法和装置 Download PDF

Info

Publication number
CN100594517C
CN100594517C CN200680000269A CN200680000269A CN100594517C CN 100594517 C CN100594517 C CN 100594517C CN 200680000269 A CN200680000269 A CN 200680000269A CN 200680000269 A CN200680000269 A CN 200680000269A CN 100594517 C CN100594517 C CN 100594517C
Authority
CN
China
Prior art keywords
image
real
virtual object
scene
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200680000269A
Other languages
English (en)
Other versions
CN1957374A (zh
Inventor
赖纳·比朔夫
阿里夫·卡斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Laboratories GmbH
Original Assignee
KUKA Roboter GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Roboter GmbH filed Critical KUKA Roboter GmbH
Publication of CN1957374A publication Critical patent/CN1957374A/zh
Application granted granted Critical
Publication of CN100594517C publication Critical patent/CN100594517C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

本发明涉及一种将虚物重叠到显示场景的场景图像中的方法，该发明包括从一个视点拍摄该场景的深度图像；按照虚物从该视点以一个预定的位姿出现在场景图像中的情况，修改位于该场景图像中的该虚物；从该视点确定虚物面向该视点的部分与该深度图像的相关像点之间的关系，最后以预定的方式修改该虚物的各个部分在涉及该图像表面深度方面的显示，并将该加工了的虚物重叠到该场景图像中。本发明还涉及一种将虚物重叠到显示该场景的场景图像中的装置，该装置由实施该方法的各个单元装置构成。

Description

确定与AR-物体光学重叠的方法和装置
技术领域
本发明涉及一种确定虚物体(AR-物体)的虚像与真实场景的实像光学重叠的方法和装置，特别是涉及一种将AR-物体插入到显示场景的场景图像中的方法和装置。
背景技术
本发明所涉及的AR(AUGMENTED REALITY)即增强现实，是指现实与虚信息的视觉叠加或增强。AR-物体或增强现实物体是这样一种物体，有关它的空间信息首先被输入计算机，存储在存储器中，利用这些空间信息生成图像后，该物体通过渲染器被插入到场景图像中或者将两者进行叠加。AR-物体是如何形成的，也就是说，定义空间信息来自何处并不重要，因为它可以通过纯数学方法或模拟方式来形成；也可以通过从实际存在的物体得到的空间信息来形成。
在增强现实中，可以观察拍成视频图像的现实或场景，或通过透明显示屏观察现实或场景，并将AR-物体插入到其中。第一种情况被称作“视频穿透式”(VST)，第二情况被称作“光学穿透式”(OST)。除此之外，还具有其它的可视化方式，这些方式与上述两种方式没有太大的区别。
另外，可以以多种方式利用增强现实。例如，可以将以工具形式如焊钳或工件表现的AR-物体，(依据ISO8373)以正确的方式插入到一台机械或机器人的图像中，以识别附件(如工件，工具)限制的运动空间。也可以用来插入坐标系，以说明和解释物体之间及与机械或机器人的相互配合关系，也可以用来插入文本信息，如操作指南摘录等。
如果要将AR-物体在场景图像中显示出来，下面采用的技术将不涉及场景图像的可视化技术(如VST，OST或其它类型的技术)。为了使AR-物体能够无间隙地插入到场景图像中，也就是说，位置准确且遮掩完全，就需要有尽可能准确的场景模型，这种模型也被称作遮掩模型。该模型被用来遮掩AR-物体的一部分，使得观察者从一个确定的视角看不到某一场景。
这一技术存在的问题是，机器人单元的模型只能与实际情况相近似。其原因在于，机器人单元无法完全按设计准确建立起来，并且在建立和启用时还可能出现一些模型无法模拟的变动。至今还没有一种方法能够将模型和实物自动校准。
遮掩模型无法真实地反映出实物的所有细节。所以在机器人的模型中通常无法重现电缆的布置。并且遮掩模型在真实场景中不能准确定位。这种校准错误(也称记录错误)会导致AR-物体被插入到场景图像中错误的位置上。其偏差是显而易见，即必须遮掩的AR-物体却有些部分可以被看到，或者必须看到的AR-物体却有些部分看不到了。
发明内容
本发明的目的在于，避免上述问题，不需要在实际应用中建立遮掩模型，就可以将AR-物体位置准确、遮掩恰当地与场景图像重叠。
根据本发明，上述发明目的是通过如下方法实现的：从一个观察位姿用光学方法获取实像的像点，确定与该观察位姿相关的该实像像点的第一深度位置，生成基于虚物位姿和该观察位姿所形成的虚物虚像的像点，计算与该观察位姿相关的该虚像像点的第二深度位置，在该观察位姿的同一光轴上将第一深度位置与第二景深位置进行比较。其方法优选实施方式的特征在于，从某一视点拍摄场景的深度图像，改变位于场景图像中的AR-物体的显示方式，如从该视点的视线看，使其显示在场景图像中指定的位置上，测定AR-物体朝向视点的各个部分的位置，如从视点出发这些部分相对于深度图像所属的像点的位置，即将场景实像像点的深度位置与生成AR-物体像点的深度位置进行比较；至少可以以如下方式改变AR-物体各部分在图像中涉及其的表面深度和深度位置的显示，如将处于前景中的AR-物体的图像区域通过光学的方法变为位于背景的AR-物体的图像区域，将经这样处理过的AR-物体插入到场景图像中。
为了实现上述目的，本发明还给出了这种类型的装置，其特征在于：包括从一个观察位姿用光学方法获取实像像点的拍摄装置、用于确定与该观察位姿相关的该实像像点第一深度位置的确定装置，用于生成基于虚物位姿和该观察位姿所形成的虚物虚像的像点的生成装置，计算与该观察位姿相关的该虚像像点的第二深度位置计算装置以及在该观察位姿的同一光轴上将第一深度位置与第二景深位置进行比较的比较装置，其中优选的装置是这样构成的：一个从视点拍摄场景的深度图像的拍摄装置，一个这样改变置于场景图像中AR-目标的图形的显示装置，使其从视点上在规定的位置在场景图像中显现，用于确定靠近视点AR-目标的部分的确定装置，其部分从视点上相对于景深图像相应像点设置，即场景实像像点的景深位置与产生AR-目标像点的景深位置进行比较，用于可以以如下方式改变AR-物体各部分在图像中涉及其的表面深度和深度位置的显示，如将处于前景中的AR-物体的图像区域通过光学的方法变为位于背景的AR-物体的图像区域的第二显示装置；将AR-物体插入到场景图像中的插入装置。本发明特别是应用在与机器人相关的领域和机器人领域。
可借助渲染生成基于虚像位姿和观察位姿产生的虚物虚像的像点，即计算或生成计算机空间模拟模型的实像。在考虑观察者视点的情况下，修改AR-物体的显示可以被理解为：基于观察点和3D虚物在空间的位姿，由一个存储的3D虚像计算该实际观察点的2d图像(AR-物体)。深度位置表示从视点到获得的像点的距离。前景显示是相对于它的深度位置前置的一个相关显示，而背景显示则被定义为相对于它的深度位置后置的一个相关显示。
本发明的核心构思是，不是对真实场景进行模拟，而是即借助光学系统不仅获得真实场景图的像点，而且获得被测像点距像点(深度位置)的距离，从而直接将深度信息与数字图像数据同时获得。通过将真实图像像点的深度位置与虚像深度位置进行比较能够获得叠加区域的描述。这种描述能够通过将真实图像像点的深度位置与插入的虚像进行简单地比较来获得，而不需要复杂的计算。由于省去了复杂的运算，本发明所涉及的方法在操作上就有了很强的时间优势。
对于VST-系统，视点就是摄像机的位置，而对于OST-系统，视点就是观察者的眼睛，其中，拍摄深度图像的装置被设置在从观察者的眼睛到处于其视野中的场景之间靠近光轴区域上，必要时，将拍摄深度图像的拍摄装置的坐标与观察者的眼睛坐标进行转换。
所述方法优选实时进行，即随着真实场景的改变，其装置进行实时处理且特别是以实时模式工作。在本发明中，AR-物体以动态形式被插入到场景图像中，在VST-方法中，AR-物体被实时地且位置准确、遮掩恰当地插入到视频图像中。本发明实现此目的的方法是，取代耗时费力的模型制作程序，将像距的深度信息，直接用于对AR-物体位置和遮掩方式的处理。校准真实物体坐标系与AR-物体坐标系之间要求的位置关系，例如，用常用的校准方法确定机器人坐标系与摄像机坐标系的关系。因此，借助已知的转换控制器，将AR-物体已知的空间位姿转换到摄像机坐标系中并随后转换进图像平面中。由此可直接获得有关被测定的深度图像，并按照规定的遮掩规则以这种方式和方法将AR-目标的这些部分表示出来。
为了拍摄深度图像，原则上可以考虑不同的方法，例如飞行时间法(Timeof Flight-TOF)、激光扫描、主动三角测量、立体瞄准、通过散焦确定距离、结构照射、波纹技术，特别是还有一种方法，即通过光帘以极短的时间照射处于观察者视野内的场景，例如US 4 184 748中所述的技术，由场景反射的光同样以很短的时间在纳秒范围内，例如通过(光电)遮光板断开，产生深度图像。实质上这一方法的工作速度很快，所以是实时工作。
如果已知一个在图像屏幕上显示的经计算机生成的人工物体的位置和方向，常用这样的图形或图像的处理技术，即把物体当作模型或空间信息来进行加工，观察者将其在显示屏上显示出来，要看到朝向他的该物体的各点，而不应该看到由物体本身“遮掩”的各点。
为了以规定的方式加工AR-物体，可以设置一个加工控制装置，其设置在例如计算机中，优选的方式例如是：AR-物体的点，例如安装在机器人手动法兰上的焊钳的点，从视点上看处于深度图像所属的各像点的后面，例如在机器人手后面的区域，由插入到场景图像中的AR-物体即焊钳遮掩。另外，AR-物体的某些特征可以根据其距场景图像中的实体物体界线的距离修正自身的显示，如AR-物体的透明度或颜色、标线宽度、线类型、线格栅或全平面模拟图。例如，坐标系的AR-物体的点，它从视点上看处于深度图像所属各像点后面，如机器人部件的“内部”，在场景图像中由网格图或虚线或点划线表示。这也适合于例如作为AR-物体的传动装置的传动部件“位于”传动装置壳体盖的后面，但在AR-图像中应该是可见的。
在另一个优选实施方式中，场景图像作为视频图像被显示出来，AR-物体被插入到该视频图像中(VST)，或者通过透明的屏幕直接观察场景图像，该AR-物体在透明屏幕中被插入到显示在其中的场景图像中(OST)。
在装置的相应优选实施方式中，在VST范围内，显示AR-物体的显示装置是一个普通的，同样可用来显示拍摄场景图像的显示屏，或者显示AR-物体的显示装置是可以使场景图像穿过的透明显示屏。根据本发明的替换实施方式，或是一个视网膜显示屏。
如果拍摄深度图像的拍摄装置是上述的深度图像摄像机，优选的实施方式是将其与视频摄像机组合使用。
依据本发明也可以按照真实物体进行虚物或AR-物体的模拟。一个具有多个控制点的包络线可以与被模拟的真实物体的轮廓相一致。现有模型的参数应该尽可能设定得与真实性更好地吻合。复杂工具或整个单元的交互式确认的简化模型可以应用在许多方面，例如用于对避免碰撞的计算。人与虚物在真实场景下的交互作用体现了本发明主题在可视化过程中的明显优势。
附图说明
在权利要求和本发明实施例中对本发明的其它优点和特征还逐一进行了阐述。其中：
图1是AR-可视化情形的示意图，其中包括一台固定摄像机，它不仅可以拍摄用于VST可视化的深度图像，而且可以拍摄普通的视频图像；
图2a是AR-可视化情形的示意图，其中包括一台与机器人一起运动的深度图像摄像机；
图2b是AR-可视化情形的示意图，其中借助一台与使用者一起运动的深度图像摄像机进行VST-AR可视化；
图3是本发明所涉及的VST-AR系统的功能原理的示意图；
图4a-d是处理虚物的示意图，说明如何将AR-物体位置准确并遮掩合适地插入到真实物体的场景图像中；
图5a-c是将坐标系作为AR-物体插入到场景图像中的示意图，其中描述了视点和真实存在且部分视域被AR-物体从不同角度遮住的物体；
图6是本发明VST可视化方法的流程图；
图7是借助3D摄像机进行OST-AR可视化的示意图，该摄像机集成在AR-眼镜里并和使用者的头部一起运动；
图8是涉及本发明主题的OST-AR系统的示意图；
图9是本发明所涉及的方法在进行OST可视化时的流程图；
图10a-g是机器人手爪在增强场景中交互模拟情形的示意图；
图11是设有3D摄像机的视频穿透(VST)可视化装置，其中的摄像机不仅拍摄深度图像，而且拍摄场景图像；
图12是设有3D摄像机的光学穿透(OST)可视化装置，其中的摄像机只拍摄深度图像。
具体实施方式
图1给出的是机器人加工单元1的一个典型场景示意图。其中示出的机器人是一个关节式机器人，它是按照EN ISO 8373由连杆3.1，3.2和关节4.1，4.2构成。关节4.2是由三个可单独旋转的转动关节构成的Rotoid式关节，其上装有机械接口4.3和末端操作器连接装置5(机械人2用于末端操作器，如手爪，的连接法兰)。在机械人2的底部标出了世界坐标系或机械人坐标系6。另外，图1给出了设置在工件台7上的工件8和围绕该工件8的机器人导向轨道9，该导向轨道具有多个控制点和从属于它的用于编程的地球坐标系或参考坐标系10。
最后，图1还给出了一台标有摄像机坐标系12的固定摄像机11，优选为3D摄像机，该摄像机用于拍摄基础装配面1.1上的机器人2和工件8构成的画面和场景。
该摄像机不仅能够拍摄普通的视频图像，而且能够拍摄所示场景1的深度图像，图像的转换是通过确定机器人坐标系与摄像机坐标系之间的空间关系来实现的，这也是对摄像机11拍摄到的AR-物体图像进行AR-可视化处理的先决条件。
图2a给出了与图1相同的画面或场景，其中相同的部分采用了相同的标识，对图2的描述可以参阅图1进行。在图2的结构形式中，摄像机11不是固定的，而是设置在机器人身上，准确地说，是设置在机械接口4.3或机器人手爪上，所以摄像机坐标系与机械接口或机器人手爪一起运动。
这一结构相对于图1结构的优点在于，机器人2自身就可以给出摄像机11为完成AR-可视化应采取的位姿和摄像机11与机器人坐标系6的相对关系，这里所述的关系可以参见专利申请DE 103 45 743.7。用这种方法，即使没有外部跟踪和建立模型，也可以非常简便地实现可信度很高的AR-可视化。
在图2b的结构设置中，摄像机11与操作者形成并保持着固定的位置关系。该摄像机设置有一个以图像显示器形式出现的可视装置11a，场景和AR-物体都可以从这个显示器中显示出来。该摄像机还设置有一个跟踪辅助装置11b，借助于这个装置能够分别确定操作者相对于其它场景特别是机器人的位置变化。
图3给出了采用VST-AR-系统进行AR-可视化的设备优选配置的示意图。
该设备包括一台3D摄像机11，它由普通的视频摄像机和深度图像摄像机组成，该摄像机不仅能够提供视频图像11.1，还能够提供远程图像11.2，以及跟踪信息11.4。跟踪系统13是用来监测和跟踪3D摄像机位置和转动情况的系统，必要时它能够接收和利用由摄像机11拍摄到的图像信息(特别是深度图像)。
摄像机11拍摄处于其视野中的环境1的真实场景图像，例如图1中的机器人2。
本发明还包括一个对AR-物体15进行存储的装置，这个装置可以是存储器或自身携带的存储介质。本发明另外还包括一个处理装置16，用于处理至少一个存置在场景图像中的这样的AR-物体，如从拍摄点看到的出现在场景图像14预设位置上的物体，借助这一处理装置，一幅源自虚场景(AR-物体)的虚像就生成了。在该设备上还依次连接有景深滤光器17、视频混合器18和以图像显示器形式出现的显像装置19，观察者20可以通过该图像显示器观察重叠的场景图像和AR-物体。
首先，视频图像和景深图像被同时拍摄。然后将AR-物体15在处理装置16中进行加工处理，使它们被显示出来时具有适宜的尺寸和位置。每个经这样处理过的AR-物体象深度图像11.3一样被输送到景深图像滤光器17中，这也是用于处理AR-物体各点的处理装置的一种可能的工作形态，在这里AR-物体会被按照上述方法进行处理(在下面还会对处理方法做进一步的描述)，如区域的选择、标注虚线或其它类似的工作。每个经这样再处理过的AR-物体15象视频图像11.1一样被输送到视频混合器18中，视频混合器18是实现将AR-物体插入到场景图像中的插入设备，经这一程序混合过的图像再被输入到监视器或图像显示器19中，这样一来，观察者就看到了真实场景与至少一个AR-物体重叠在一起的AR-图像。
这里将通过图4a-d以及图5a-5c逐一介绍处理AR-物体和将AR-物体插入到场景图像中的情形。
图4a给出了一条在场景深度图像中穿过由包络面围绕的点云(Punktewolke)的交界线示意图(真实目标14)。图4b给出了一个正方形的AR-物体15.1。图4c给出了当图4b中的AR-物体被插入到图4a的场景中时，其尺寸和定位(位置)发生变化的示意图，即对实物进行了放大和旋转。图4d给出了将真实目标场景图像与AR-物体叠加的情形，其中，一部分沿视线方向即纸张的俯视方向被真实物体14遮掩住的AR-物体没有被画出，也就是说，这部分是观察者看不到的，如图4d所示，AR-物体位于真实物体14的后面。
图5a-5c给出了用正方形和圆形两种简单图形表示的真实目标14.1和14.2和由坐标系16.1，16.2，16.3表示的AR-物体16。坐标系16.1位于物体14.1的中点，在它们的重叠区域观察者看到的坐标系16.1是用虚线标示的。另外，坐标系16.2在图5a中被设定处于圆形目标14.2左侧的最外点上。处于与目标14.2重叠区域的水平轴同样以虚线标出，从摄像机11的视线上处于目标14.2后面的垂直轴区域以及从视线方向处于物体14.1之后的坐标系16.2的垂直轴尖端部分也是用虚线来标示的。
以坐标系16.3形式表示的AR-物体从视线上看位于两个物体之前，所以被完整地、未加改变地标示出来。
图5b给出了从与图5a相反视线方向观察到的物体14.1，14.2的情形。AR-物体16.1的垂直轴与物体14.1的重叠区域以虚线标出，从摄像机11的视线上看，位于物体之内或之后的水平轴完全以虚线标示。从图5b中沿摄像机11的视线方向坐标系16.3的部分区域即部分垂直轴位于物体14.1后面，是无法看到的，所以也用虚线进行了标示。在坐标系16.2中，由于最初的位置设定因素，垂直轴完全可见，而水平轴用虚线标示。
图5c是图5a的一种变形情形，即相对于坐标系的水平轴呈一个有限的角度。对AR-物体16.1，16.2的观察方式与在图5a中相同。AR-物体16.2的水平轴的情形与在图5a中十分相似，而垂直轴由于改变了视角，被物体14.2遮盖的区域变小，而被物体14.1遮盖的区域变大，这两部分都以虚线标示了出来。
图6给出了本发明采用VST-可视化方法时可能的流程图。其中部分按图示和顺序流程表示的步骤也可以并行，也即同时进行。
首先，按步骤A启动，在步骤B中对真实场景的图像进行视频拍摄和数字化处理。在步骤C中(此步骤可以和步骤B同时进行)，深度图像摄像机在规定范围内进行拍摄形成深度图像(也称作远程图像或点云)。在步骤D中，对深度图像摄像机的位姿(位置和方向)进行定位。如果有外部传感系统提供跟踪信息，步骤D也可以与步骤B和C同时进行。在接下来的步骤E中，要对存置到场景图像中去的AR-物体进行处理，从摄像机中可以看到这个出现在场景图像中设定位置上的AR-物体，依据在上一个步骤中确定的位姿生成AR-图像，即虚场景图像。AR-图像生成后，就要在接下来的步骤中用给出方式中的一种对AR-物体的点进行处理，这些点沿视线方向位于真实场景深度图像各自所属的像点之后，对AR-物体的点进行处理的方法包括从AR-图像中剪裁片段，这些片段从深度图像摄像机的角度看是从生成的点云(真实场景图像的位置)后面得到的(步骤F)。图像片段或图像点通过景深滤光器规定属性。其属性主要是由剪裁图像或图像像点与摄像机或深度轮廓之间的距离决定的。在进行这种图像剪裁时(判定步骤G)，同时也在AR-图像中对剪裁下来的图像进行处理，例如调整颜色、透明度、虚线、遮掩等等(步骤H)。步骤G和H适用于对图像所有点的处理，即检查各剪裁图像/像素是否通过景深滤光器已获得了属性。如果“是”，像素就会依属性(如颜色、透明度等)发生改变；如果“不是”，则进入下一个图像剪裁/像素程序。
在接下来的步骤中(步骤I)，将AR-图像的像点与真实场景视频图像相应的像点进行重叠，在最后的步骤J中，对待增强的视频图像进行可视化处理。如果该程序的下一个任务是处理另一个由视频摄像机生成的图像，程序流程就返回到步骤B(经过判定步骤K)，用前面给出的方法加工处理下一个图像，如果不需要去处理其他的图像，流程就到此结束(步骤L)。
如果采用OST方法进行可视化处理，在上述程序的基础上，主要省去不必要的步骤B和I，而其它程序是相同的，其中在步骤J中，AR-物体的可视化是通过将虚像插入在观察者的视野中来实现的，这一点在图7中有进一步的阐述。
图7-9对本发明的主题---OST增强现实系统进行了阐述。其中，相同的部分采用了相同的附图标记。与图1-3，6相比较场景布局没有发生变化，相应的实施方式参考前面，这里就不重复说明。
在图7的结构中，摄像机11与使用者产生并保持着固定的位置关系。其中使用者身上设置有一个视网膜显像器11c，借助该视网膜显像器AR-图像被投射到观察者的视网膜上，并插入到观察者看到的真实场景中去。
图8给出了一幅真实场景(环境)的画面，它是由摄像机11拍摄到的，这个摄像机只能是纯深度图像摄像机。其中的AR-物体15以相同的方式借助跟踪系统13的帮助被插入到拍摄到的深度图像11.3中，跟踪系统13的任务是连续获取位姿的信息，这时在局部透明的图像显示器19’上就显示了出来，图像显示器19’能反映出观察者20视野内的图像，观察者20只能通过该显示器直接看到场景14，这样一来，适合的AR-物体就在正确的位置上以正确的方式在观察者看到的场景图像中显示出来。
除了OST-观察方式的变化，图9给出的方法流程与VST可视化的方法流程基本一致，因此基本可以参考对图6的描述。
如上所述，在OST-可视化过程中，观察者是直接或通过一个透明的图像显示器来观察场景或环境，而不是使用图像监视器，因此，VST方法流程中对视频图像进行拍摄和数字化处理的步骤B就不需要了。将虚像像点与真实场景视频图像相应像点进行重叠的步骤I也被相应地取消。这样只实现了一种方式的可视化，即将AR-图像插入到观察者的视野内(步骤J)。其它方法步骤与图6的VST可视化的方法步骤一致。
本发明涉及的方法和装置可以有效地应用在将真实物体模拟成虚的或AR-物体上，下面将参照图10a-g对此进行描述：
一个机器人工具，如焊钳或将在下面描述的手爪，可以借助象正方体或球体这样的小的基本几何图形进行现场模拟，此时这些基本几何图形会逐步被操作者定位在放大的实景中。图10a首先给出了带有(实际)手爪5的机器人2。图10b又另外给出了一个戴着眼镜的被插入到AR-物体中的操作人员20a，通过某种未加以说明的操作仪器，操作人员20a设计了一个AR-物体，该物体以矩形框架30形式出现并围住了手爪5，该矩形框架是用虚线画出的两维矩形。图10c-10g给出了操作人员20a进一步模拟的情况，模拟的目的是得到虚像或AR-物体，并使其尽可能与实际手爪5完全吻合，其中图10c再次给出了围绕真实手爪5的长方体30。首先，框架30缩小成长方体31，其边缘正好围住了真实物体手爪5。接下来进行进一步的近似，形成更小的长方体，它们分别围住横梁5a，连接板5b，和手指5c，5d(图10e)。之后，长方体32分解成模拟横梁的长方体36以及模拟连接板的长方体37(图10f)。接着，带尖的手指5c，5d通过相应几何形状的图形38，39模拟。这样形成的AR-物体被截取(被存储)且能够在以后使用时用于可视、避免碰撞、模拟等。
图11和12以理想化的方式同时给出了VST可视装置和OST可视装置。两装置也可以被称作“AR-眼镜”。理想的状态是，观察者的视点与3D摄像机的视点取得一致(借助反射镜来实现)。图11中，在观察者20的视野内以双图像方式设置了反光镜41，借助反射镜41，并通过另一反射镜42，场景图像转向深度图像摄像机11，同时整个图像即真实图像和AR-图像被投射到投影仪前，由此被观察者20看到。
在图12的结构中，在观察者20的视野内设置了一个半透光的反射镜44，借助它和反射镜42场景图像转向了景深图像摄像机11，观察者20可以通过它观察到场景。另外，通过反射镜44使得投影仪43的AR-图像转向观察者20的视野并将其与看到的(真实)场景重叠。
附图标记一览表
1                 机器人加工单元
1.1               基础装配面
1                 场景
2                 机器人
3.1，3.2          构件
4.1               关节
4.1               交接位置
4.2               关节
4.3               交接位置
5                 机械手
5a                横梁
5b                连接板
5c，5d            机械手臂
6                 机器人坐标系
7                 工件台
8                 工件
9                 机械人轨迹
10                坐标系
11                摄像机
11a               可视装置
11b               跟踪辅助装置
11c               视网膜显像器
11.1              视频图像
11.2              远程图像
11.3              深度图像
11.4              跟踪信息
12                摄像机坐标系
13                跟踪系统
14，14.1，14.2    物体
15                  AR-物体
15.1                AR-物体
16                  处理装置
16.1，16.2，16.3    AR-物体的坐标系
17                  景深图像滤光器
18                  视频混合器
19                  重放装置
19’                图像显示器，AR-眼镜
20                  观察者
20a                 操作人员
30                  框
31-34               长方体
36，37              长方体
38，39              几何图形
41，42，44          反射镜
43                  投影仪

Claims (19)

1、一种将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：从一个观察位姿用光学方法获取实像的像点；确定与该观察位姿相关的该实像像点的第一深度位置；生成基于虚物位姿和该观察位姿所形成的虚物虚像的像点；计算与该观察位姿相关的该虚像像点的第二深度位置；在该观察位姿的同一光轴上将第一深度位置与第二深度位置进行比较。
2、如权利要求1所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：将该第二深度位置小于作为前景图像的实像像点的第一深度位置的虚像像点，用光学方法插入到真实场景的图像中。
3、如权利要求1所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：在相对于前景图像产生光学变化的图像中，将该第二深度位置大于作为背景图像的实像像点的第一深度位置的虚像像点，用光学方法遮掩或插入到真实场景的图像中。
4、如权利要求1所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：借助光学传感器，采用RGBD摄像机，以与图像的拍摄同步进行的方式获取实像像点的第一深度位置。
5、如权利要求1至4之一所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：
从某一视点拍摄场景的深度图像；
改变位于场景图像中的虚物的显示方式，当从视点上看，使虚物显示在场景图像中指定的位置上；
测定虚物朝向视点的各个部分的位置，当从视点看这些部分相对于深度图像所属的像点的位置，即将场景实像像点的深度位置与生成虚物像点的深度位置进行比较；
至少可以以如下方式改变虚物各部分在图像中所涉及的表面深度和深度位置的显示，即：将处于前景中的虚物的图像区域通过光学的方法变为位于背景的虚物的图像区域；
将经处理过的虚物插入到场景图像中。
6、如权利要求5所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：显示从该视点看虚物位于深度图像各自所属的图像区域后面的部分。
7、如权利要求5所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：从视点上看虚物位于深度图像的剪裁图像所属的各图像区域后面的部分被插入到场景图像中的虚物所遮掩。
8、如权利要求5所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：从视点上看虚物位于深度图像的剪裁图像所属的各图像区域后面的部分，在场景图像中被显示为边界虚线、点划线，和/或以其不同的透明度或颜色来表示。
9、如权利要求5所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：播放作为视频图像的场景图像，并将虚物插入到该视频图像中。
10、如权利要求5所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：通过透明屏幕直接观察场景图像，并将该透明屏幕中的虚物插入到通过该透明屏幕观察到的场景图像中。
11、如权利要求5所述的将虚物的虚像与真实场景的实像进行光学重叠的方法，其特征在于：多个虚物被实时地插入到连续的视频数据流中，或作为单个的图像或静止的图像被插入。
12、一种将虚物的虚像与真实场景的实像进行光学重叠的装置，其特征在于：包括从一个观察位姿用光学方法获取实像像点的拍摄装置(11)、用于确定与该观察位姿相关的该实像像点的第一深度位置确定装置(11)，用于生成基于虚物位姿和该观察位姿所形成的虚物虚像的像点的生成装置(11)，计算与该观察位姿相关的该虚像像点的第二深度位置计算装置(16)以及在该观察位姿的同一光轴上将第一深度位置与第二深度位置进行比较的比较装置(17)。
13、如权利要求12所述的将虚物的虚像与真实场景的实像进行光学重叠的装置，其特征在于：包括将该第二深度位置小于作为前景图像的实像像点的第一深度位置的虚像像点，用光学方法插入到真实场景的图像中的插入装置(18)。
14、如权利要求12所述的将虚物的虚像与真实场景的实像进行光学重叠的装置，其特征在于：包括混合装置(18)，在相对于前景图像产生光学变化的图像中，将该第二深度位置大于作为背景图像的实像像点的第一深度位置的虚像像点，用光学方法遮掩或插入到真实场景的图像中。
15、如权利要求12所述的将虚物的虚像与真实场景的实像进行光学重叠的装置，其特征在于：借助光学传感器，采用RGBD摄像机，以与图像的拍摄同步进行的方式获取实像像点的第一深度位置。
16、如权利要求12至15之一所述的将虚物的虚像与真实场景的实像进行光学重叠的装置，其特征在于：包括：
从某一视点拍摄场景的深度图像的拍摄装置，
用于改变位于场景图像中的虚物的显示方式，当从该视点上，使虚物显示在场景图像中指定的位置上的显示装置；
用于测定虚物朝向视点的各个部分的位置，当从视点上这些部分相对于深度图像所属的像点的位置，即将场景实像像点的第一深度位置与生成虚物像点的第二深度位置进行比较的确定装置，
用于可以以如下方式改变虚物各部分在图像中所涉及的表面深度和深度位置的显示，即：将处于前景中的虚物的图像区域通过光学的方法变为位于背景的虚物的图像区域的另一显示装置
将虚物插入到场景图像中的插入装置。
17、如权利要求16所述的将虚物的虚像与真实场景的实像进行光学重叠的装置，其特征在于：拍摄深度图像的拍摄装置具有激光扫描器。
18、如权利要求16所述的将虚物的虚像与真实场景的实像进行光学重叠的装置，其特征在于：拍摄深度图像的拍摄装置是深度摄像机。
19、如权利要求16所述的将虚物的虚像与真实场景的实像进行光学重叠的装置，其特征在于：显示虚物的显示装置是一个普通的、同样可用来显示拍摄场景图像的显示屏，或可以使场景图像穿过的透明显示屏，或是一个视网膜显示屏。
CN200680000269A 2005-03-02 2006-02-25 确定与ar-物体光学重叠的方法和装置 Active CN100594517C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102005009437.6 2005-03-02
DE102005009437A DE102005009437A1 (de) 2005-03-02 2005-03-02 Verfahren und Vorrichtung zum Einblenden von AR-Objekten
PCT/EP2006/001753 WO2006092251A1 (de) 2005-03-02 2006-02-25 Verfahren und vorrichtung zur bestimmung von optischen überdeckungen mit ar-objekten

Publications (2)

Publication Number Publication Date
CN1957374A CN1957374A (zh) 2007-05-02
CN100594517C true CN100594517C (zh) 2010-03-17

Family

ID=36463507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680000269A Active CN100594517C (zh) 2005-03-02 2006-02-25 确定与ar-物体光学重叠的方法和装置

Country Status (6)

Country Link
US (1) US9030492B2 (zh)
EP (1) EP1763845B1 (zh)
JP (1) JP5032343B2 (zh)
CN (1) CN100594517C (zh)
DE (1) DE102005009437A1 (zh)
WO (1) WO2006092251A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104903934A (zh) * 2013-01-03 2015-09-09 高通股份有限公司 基于前景物体再现扩增实境
US11250604B2 (en) 2019-05-06 2022-02-15 Apple Inc. Device, method, and graphical user interface for presenting CGR files
US11385761B2 (en) 2019-05-06 2022-07-12 Apple Inc. Device, method, and graphical user interface for composing CGR files

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029548A (ko) * 2006-09-29 2008-04-03 삼성전자주식회사 실사기반 이동기기 제어 방법 및 장치
US20090180668A1 (en) * 2007-04-11 2009-07-16 Irobot Corporation System and method for cooperative remote vehicle behavior
US8577126B2 (en) * 2007-04-11 2013-11-05 Irobot Corporation System and method for cooperative remote vehicle behavior
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
US8994645B1 (en) 2009-08-07 2015-03-31 Groundspeak, Inc. System and method for providing a virtual object based on physical location and tagging
US8502835B1 (en) 2009-09-02 2013-08-06 Groundspeak, Inc. System and method for simulating placement of a virtual object relative to real world objects
US8386080B2 (en) * 2009-09-15 2013-02-26 Harris Corporation Robotic apparatus implementing collision avoidance scheme and associated methods
DE102010027526B4 (de) * 2010-07-16 2012-04-19 Gottfried Wilhelm Leibniz Universität Hannover Handführbares Vermessungs- und Projektionssystem und Verfahren
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
FI20106387A (fi) * 2010-12-30 2012-07-01 Zenrobotics Oy Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi
EP2695027B1 (en) 2011-04-06 2015-08-12 Koninklijke Philips N.V. Safety in dynamic 3d healthcare environment
US20120290130A1 (en) * 2011-05-10 2012-11-15 Agile Planet, Inc. Method to Model and Program a Robotic Workcell
JP5734080B2 (ja) * 2011-05-10 2015-06-10 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
DE102011107228A1 (de) 2011-07-13 2013-01-17 Volkswagen Aktiengesellschaft Verfahren zur Erkennung möglicher Kollisionen eines beweglichen Objekts
WO2013012335A1 (en) * 2011-07-21 2013-01-24 Ziv Attar Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
CN104067317A (zh) 2011-09-08 2014-09-24 宝福特控股私人有限公司 用于在真实世界视频剪辑内对合成对象进行可视化的系统和方法
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
KR101893771B1 (ko) 2012-05-10 2018-08-31 삼성전자주식회사 3d 정보 처리 장치 및 방법
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
CN105190705B (zh) * 2013-04-24 2019-05-10 川崎重工业株式会社 工件加工作业支持系统及工件加工方法
TWI529663B (zh) * 2013-12-10 2016-04-11 財團法人金屬工業研究發展中心 虛擬影像定位方法及其裝置
DE102014102773A1 (de) 2014-03-03 2015-09-03 De-Sta-Co Europe Gmbh Verfahren zur Wiedergabe eines Fertigungsprozesses in einer virtuellen Umgebung
WO2016064435A1 (en) 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US10320437B2 (en) * 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
EP3268949B1 (en) 2015-03-09 2021-05-26 Illinois Tool Works Inc. Methods and apparatus to provide visual information associated with welding operations
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10363632B2 (en) * 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
JP6420229B2 (ja) 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
US9815204B2 (en) * 2016-01-22 2017-11-14 The Boeing Company Apparatus and method to optically locate workpiece for robotic operations
CN109074681B (zh) * 2016-04-18 2023-03-21 索尼公司 信息处理装置、信息处理方法和程序
JP6348149B2 (ja) * 2016-07-08 2018-06-27 ファナック株式会社 ロボットを用いてレーザ加工を行うレーザ加工ロボットシステム
CN106295525B (zh) * 2016-07-29 2019-12-03 深圳迪乐普数码科技有限公司 一种视频图像置换方法及终端
CN106296573B (zh) * 2016-08-01 2019-08-06 深圳迪乐普数码科技有限公司 一种实现虚拟屏幕墙的方法及终端
CN106296789B (zh) * 2016-08-05 2019-08-06 深圳迪乐普数码科技有限公司 一种虚拟植入物体在实景中穿梭的方法及终端
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
FR3064389B1 (fr) * 2017-03-22 2021-06-11 Ease It Dispositif de modelisation et de representation, et procede correspondant
JP7116410B2 (ja) * 2017-03-31 2022-08-10 株式会社バンダイナムコエンターテインメント プログラム及び画像生成システム
US10438362B2 (en) * 2017-05-31 2019-10-08 Here Global B.V. Method and apparatus for homography estimation
CN107610212B (zh) * 2017-07-25 2020-05-12 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
DE102017221305A1 (de) * 2017-11-23 2019-05-23 Robert Bosch Gmbh Verfahren zum Betreiben eines kollaborativen Roboters
WO2019120481A1 (en) * 2017-12-19 2019-06-27 Abb Schweiz Ag System and method for determining a transformation representation
DE102018201589A1 (de) * 2018-02-01 2019-08-01 KORIS Vision & Force GmbH Verfahren zur Programmierung der Steuerung eines Industrieroboters, Verfahren zum Betreiben eines Industrieroboters, Programmiervorrichtung sowie Industrierobotersystem mit einer solchen Programmiervorrichtung
US11823376B2 (en) 2018-05-16 2023-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
DE102018113336A1 (de) * 2018-06-05 2019-12-05 GESTALT Robotics GmbH Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung
US11182465B2 (en) * 2018-06-29 2021-11-23 Ye Zhu Augmented reality authentication methods and systems
JP6823018B2 (ja) * 2018-08-03 2021-01-27 ファナック株式会社 協調動作支援装置
CN111771180A (zh) * 2018-10-08 2020-10-13 谷歌有限责任公司 增强现实环境中对象的混合放置
KR20200090315A (ko) * 2019-01-18 2020-07-29 삼성전자주식회사 영상을 처리하는 방법 및 디바이스
US11521512B2 (en) 2019-02-19 2022-12-06 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
US11450233B2 (en) 2019-02-19 2022-09-20 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
CN113597362A (zh) * 2019-03-25 2021-11-02 Abb瑞士股份有限公司 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
US11580724B2 (en) * 2019-07-23 2023-02-14 Toyota Research Institute, Inc. Virtual teach and repeat mobile manipulation system
KR20210044506A (ko) * 2019-10-15 2021-04-23 삼성전자주식회사 증강 현실 객체를 표시하는 장치 및 그 동작 방법
US11645756B2 (en) 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
US11721231B2 (en) 2019-11-25 2023-08-08 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US11322037B2 (en) 2019-11-25 2022-05-03 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US11354011B2 (en) * 2019-12-04 2022-06-07 Google Llc Snapping range for augmented reality
DE102020201375B3 (de) 2020-02-05 2021-06-24 Magna Steyr Fahrzeugtechnik Ag & Co Kg Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters
AU2021330970A1 (en) 2020-08-24 2023-03-23 Fd Ip & Licensing Llc Previsualization devices and systems for the film industry
DE102020129823B4 (de) 2020-11-12 2022-07-07 Sick Ag Visualisieren eines Schutzfeldes
US11875492B1 (en) 2023-05-01 2024-01-16 Fd Ip & Licensing Llc Systems and methods for digital compositing

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
US20050231505A1 (en) * 1998-05-27 2005-10-20 Kaye Michael C Method for creating artifact free three-dimensional images converted from two-dimensional images
WO2000038117A1 (en) * 1998-12-23 2000-06-29 Washington State University Research Foundation Method and system for a virtual assembly design environment
JP2000207575A (ja) * 1999-01-08 2000-07-28 Nadeisu:Kk 空間融合装置及びこれを適用した応用装置
JP2002538541A (ja) * 1999-03-02 2002-11-12 シーメンス アクチエンゲゼルシヤフト 遠隔のエキスパートにより専門作業者を状況に応じて支援するために強調現実感ベース技術を利用するシステム及び方法
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
DE10127396A1 (de) * 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
JP2002045566A (ja) * 2000-08-03 2002-02-12 Namco Ltd ゲーム装置および情報記憶媒体
EP1356413A2 (en) * 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
JP2002172575A (ja) * 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
JP2004537082A (ja) * 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
US6856324B2 (en) * 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
US20030012410A1 (en) * 2001-07-10 2003-01-16 Nassir Navab Tracking and pose estimation for augmented reality using real features
US7379077B2 (en) * 2001-08-23 2008-05-27 Siemens Corporate Research, Inc. Augmented and virtual reality guided instrument positioning using along-the-line-of-sight alignment
US6587752B1 (en) * 2001-12-25 2003-07-01 National Institute Of Advanced Industrial Science And Technology Robot operation teaching method and apparatus
JP2003215494A (ja) * 2002-01-22 2003-07-30 Canon Inc 複合現実感提示装置および画像処理方法
KR100490726B1 (ko) * 2002-10-17 2005-05-24 한국전자통신연구원 비디오 기반의 사격 게임 장치 및 그 방법
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
DE10345743A1 (de) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
WO2005114368A1 (en) * 2004-05-20 2005-12-01 Abb Research Ltd A method and system to retrieve and display technical data for an industrial device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104903934A (zh) * 2013-01-03 2015-09-09 高通股份有限公司 基于前景物体再现扩增实境
US11250604B2 (en) 2019-05-06 2022-02-15 Apple Inc. Device, method, and graphical user interface for presenting CGR files
US11385761B2 (en) 2019-05-06 2022-07-12 Apple Inc. Device, method, and graphical user interface for composing CGR files

Also Published As

Publication number Publication date
CN1957374A (zh) 2007-05-02
JP5032343B2 (ja) 2012-09-26
EP1763845B1 (de) 2013-10-09
EP1763845A1 (de) 2007-03-21
JP2008532149A (ja) 2008-08-14
US9030492B2 (en) 2015-05-12
WO2006092251A1 (de) 2006-09-08
US20080150965A1 (en) 2008-06-26
DE102005009437A1 (de) 2006-09-07

Similar Documents

Publication Publication Date Title
CN100594517C (zh) 确定与ar-物体光学重叠的方法和装置
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
Azuma A survey of augmented reality
US7236854B2 (en) Method and a system for programming an industrial robot
EP1435280B1 (en) A method and a system for programming an industrial robot
Klein et al. Robust visual tracking for non-instrumental augmented reality
EP2919093A1 (en) Method, system, and computer for identifying object in augmented reality
CN110389656A (zh) 由用户借助移动显示装置使用多节式致动运动机构的方法
JP2006072903A (ja) 画像合成方法及び装置
US10606241B2 (en) Process planning apparatus based on augmented reality
US10893190B2 (en) Tracking image collection for digital capture of environments, and associated systems and methods
CN105939472A (zh) 具有视频叠加的激光投影系统
Hu et al. Alignment-free offline calibration of commercial optical see-through head-mounted displays with simplified procedures
JP2022106801A (ja) 多層ビューイングシステムおよび方法
JP2018022242A (ja) 複合システム及びターゲットマーカ
JPH11338532A (ja) 教示装置
JP2002324239A (ja) 情報呈示システム
Sommer et al. View-dependent Virtual and Augmented Reality for Machine Tools
JP2001239983A (ja) 艤装支援システム
Wang et al. Real-time registration of video with ultrasound using stereo disparity
Giesler et al. Sharing skills: Using augmented reality for human-Robot collaboration
JP2016218839A (ja) Ａｒ情報表示装置
Wheeler Virtual primitives for the representation of features and objects in a remote telepresence environment
WO2023237768A1 (en) Method of building a target structure, system and computer program therefor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: KUKA EXPERIMENTAL INSTRUMENT CO., LTD.

Free format text: FORMER OWNER: AMATEC ROBOTICS GMBH

Effective date: 20110510

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20110510

Address after: Augsburg

Patentee after: Kuka Lab GmbH

Address before: Augsburg

Patentee before: Amatec Robotics GmbH