CN102834799B - 在真实环境的视图中显示虚拟信息的方法 - Google Patents

在真实环境的视图中显示虚拟信息的方法 Download PDF

Info

Publication number
CN102834799B
CN102834799B CN201180011462.8A CN201180011462A CN102834799B CN 102834799 B CN102834799 B CN 102834799B CN 201180011462 A CN201180011462 A CN 201180011462A CN 102834799 B CN102834799 B CN 102834799B
Authority
CN
China
Prior art keywords
information
virtual
pose
accuracy
true environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180011462.8A
Other languages
English (en)
Other versions
CN102834799A (zh
Inventor
P·迈耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of CN102834799A publication Critical patent/CN102834799A/zh
Application granted granted Critical
Publication of CN102834799B publication Critical patent/CN102834799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在真实环境的视图中显示虚拟信息的方法包括下面步骤:提供用于在真实环境的视图中显示虚拟信息的系统,确定该系统的至少一个部分相对于真实环境的至少一个部分的当前位姿,提供该当前位姿的准确度信息,提供多条虚拟信息,向所述多条虚拟信息中的各条虚拟信息分配指示不同的位姿准确度信息的不同参数中的一个,根据与所述多条虚拟信息中的至少一条的分配的参数有关的当前位姿的准确度信息,在真实环境的视图中显示所述多条虚拟信息中的所述至少一条虚拟信息。

Description

在真实环境的视图中显示虚拟信息的方法
技术领域
本发明涉及在真实环境的视图中显示虚拟信息的方法,其中,提供用于在真实环境的视图中显示虚拟信息的系统,确定该系统的至少一个部分相对于真实环境的至少一个部分的当前位姿。
背景技术
在现有技术中,使用所谓的增强现实(AR)技术,用虚拟信息或者对象对至少一个照相机生成的一幅图像或一些图像进行扩增的应用是已知的。在该应用中,耦接到诸如微处理器之类的处理单元的照相机拍摄真实环境的图片,其中该真实环境在显示屏上以视图方式向用户显示,除真实环境之外还可以显示虚拟对象,使得使用任意种类的虚拟对象对显示屏上显示的真实环境进行扩增。作为显示,可以使用(例如,诸如智能电话之类的移动设备的)显示屏或者光学式透视显示设备(例如,半透明带在头上的显示器)。在该应用中,为了扩增具有虚拟对象的图像,需要微处理器确定照相机关于真实环境的至少一个对象的当前位置和方位(本领域称为“位姿”),以便微处理器对具有任何虚拟对象的所捕获图像进行正确地扩增。在该上下文中,对具有任何虚拟对象的所捕获图像进行正确地扩增,意味着以虚拟对象适合于该图像的场景的方式来显示这些虚拟对象。
在过去,可以获得关于增强现实和虚拟现实技术的各种公开。
本申请关注于生成对虚拟、基于位置的信息进行显示的改进方法的细节方面。具体而言,在增强现实中,在真实环境的视图中显示虚拟信息的多种概念是公众可获得的。在虚拟现实中,“细节水平”的概念是已知的。这里,可以根据显示系统的图形能力或者与对象的距离,来显示虚拟对象的不同描绘。
本发明解决了随着移动设备和基于位置的服务变得可用和普及,才在近年来变得突出的问题。基于位置的服务,特别是将虚拟数据覆盖在真实世界视图的之上的服务(例如,照相机图像或者通过半透明显示或通过投影方式,周围环境上的投影信息),通常依赖于不同的位置单元(可选)和获得方位的单元(可选)。换言之,使用AR技术的基于位置的服务,通常使用位姿确定单元。该单元可以使用来自随着用户/设备移动的传感器(内至外的装置)的数据,或者从外部对用户的移动进行测量的传感器(外至内的装置)的数据。
作为简化,其在下文和贯穿整个申请中称为“位姿”,其可以是处于1、2或者3自由度的位置或者处于不同的自由度的位置和方位或者仅仅方位。位姿可以是相对于以地球为中心的坐标系统或者(例如,大型建筑物的)任何其它坐标系统。相对于坐标系统,直接或者间接地放置虚拟信息。
在本领域的规定中描述了确定信息系统关于坐标系统的位姿的多种方法。例如,这些方法中的一些使用GPS、指南针、或者重力传感器,其它方法依赖于图像或者距离测量设备,多种其它方法也是已知的。通常,这些方法对不同的传感器进行组合来估计位姿,或者根据它们的可用性,在不同的传感器系统之间进行切换。有时,还将整个方法从一种类型的位姿确定方法切换到另一种类型的位姿确定方法。
此外,不同的传感器和/或不同的位姿确定方法在确定位姿时,具有不同的准确度。例如,与用于确定位姿的基于光学的跟踪方法(其按照更高水平的准确度操作(或者较低水平的不准确度,例如,以较低的不准确度操作))相比,基于GPS传感器的位姿确定方法按照较低水平的准确度进行操作(或者更高水平的不准确度,例如,以更高的不准确度操作)。与各种类型的真实世界场景相组合,当在真实世界的视图中显示虚拟信息时,这可能导致问题。
例如,可以存在一些场景,其中在这些场景中,按照相当高水平的准确度来显示虚拟信息以适合该场景,例如当真实世界的详细程度在显示该虚拟信息的位置处相当地高(例如,在与该用户相当接近的真实世界的区域中)。在该情况下,位姿准确度的方面是相当重要的。另一方面,还可以存在真实世界的详细程度在显示该虚拟信息的位置处相当地低的场景(例如,在与该用户相当远距离的真实世界的区域中),在该情况下,位姿准确度的方面不太重要。
因此,在考虑上面所提及的方面的情况下,提供在真实环境的视图中显示虚拟信息的方法将是有利的。
发明内容
根据本发明的一个方面,提供了一种在真实环境的视图中显示虚拟信息的方法,该方法包括下面的步骤:提供用于在真实环境的视图中显示虚拟信息的系统,确定该系统的至少一个部分相对于真实环境的至少一个部分的当前位姿,提供该当前位姿的准确度信息,提供多条虚拟信息,向所述多条虚拟信息中的各条虚拟信息分配指示不同的位姿准确度信息的不同参数中的一个,根据或者依据与所述多条虚拟信息中的至少一条的分配的参数有关的当前位姿的准确度信息,在真实环境的视图中显示所述多条虚拟信息中的所述至少一条虚拟信息。
例如,所述准确度信息包含关于位姿确定的准确度或者不准确度的信息。在本发明的一个实施例中,所述准确度信息包含关于不准确度的信息。通常,将不准确度(其是本领域中通常公知的术语)理解为用于规定值(目前情况下,与位姿确定相关联的值)的偏差的参数。但是,本发明可以结合用于指示位姿准确度的任意类型的信息来使用。在该方面,对于熟练技术人员来说显而易见的是,准确度信息包括指示不准确度的信息(其中术语“准确度”和“不准确度”通常可在本领域中互换地使用)。
例如,根据本发明,依据当前位姿的准确度信息是否超过所述多条虚拟信息中的至少一条的分配的参数,在真实环境的视图中显示所述多条虚拟信息中的所述至少一条虚拟信息。
根据一个实施例,通过跟踪系统自己的准确度装置,通过自从位姿估计装置上一次成功位姿估计之后经过的时间,或者通过该系统的位置或者位置的改变,来确定当前位姿的准确度信息和/或准确度信息的改变。
根据另一个实施例,分别地针对位姿的每一个分量(自由度)或者分别针对方位和位置,来确定准确度信息,该方法包括:向所述多条虚拟信息中的各条虚拟信息分配指示不同的位姿准确度信息的不同参数中的一个。
在原理上,本发明可以用于能够提供基于AR的服务的任何类型系统。例如,该方法可以用于诸如移动电话之类的移动设备,这是由于今天的多种移动电话提供增强现实所必需的各种组件,例如,高分辨率照相机和显示器、加速计、方位传感器、GPS、WLAN和/或无线链路所实现的无线连接。
附图说明
通过下面的实施例的公开,本发明的其它方面、实施例和优点特征变得显而易见。
现结合附图来更详细地描述本发明,其中附图描绘了本发明的各个实施例。
图1示出了可以在其中使用本发明的实施例的示例性AR场景的示意性视图;
图2示出了根据本发明的一个实施例的方法的流程图视图;以及
图3示出了根据本发明的另一个实施例的方法的流程图视图。
具体实施方式
图1示出了可以在其中使用本发明的实施例的示例性AR场景的示意性视图。具体而言,在可以使用本发明的可能场景的示例中,图1示出了展览会的鸟瞰图。用户7持移动设备8接收关于不同的公司的虚拟信息,产生展览会场的呈现。移动设备是用于在真实环境的视图中显示虚拟信息的系统的可能实现。但是,本发明并不受此限制,而是可以使用任意类型的AR系统。例如,用于在真实环境的视图中显示虚拟信息的系统还可以是分布式系统,其中在分布式系统中,处理器、显示器和/或照相机等等不包含在同一壳体之内。
通常,可以用于实现本发明的用于在真实环境的视图中显示虚拟信息的系统,并入照相机(没有示出)或者与照相机耦合,以生成真实世界的至少一幅图像,例如包含如图所示的真实对象1、2、3、4。提供该照相机用于捕获真实环境的图像,该照相机耦合到用于提供真实环境的视图的显示屏(例如,其在面向用户7的移动设备8的一侧提供)。但是,也可以使用适合于向用户显示的任何其它图像显示单元,例如,半透明带在头上的显示器或者任何其它类型的移动或静止显示设备。此外,该系统还包括处理设备(没有示出),后者可以是例如微处理器。在本实现中,处理设备与移动设备8相连接,或者并入到移动设备8中。在特定的非限制性应用中,移动设备8可以是具有集成的方位传感器、照相机、触摸屏和处理设备的移动电话。此外,移动设备8可以包括加速计、GPS、由WLAN和/或无线链路实现的无线连接。为了本发明的描绘起见,这些组件也可以分布在不同的应用中和/或用于不同的应用。此外,它们可以以有线或无线方式进行彼此耦合。根据另一个实施例,该系统或移动设备还可以分别是位于汽车或者任何其它车辆之内的固定安装部件。
上面的组件中的一个或多个可以用于确定该系统的至少一个部分相对于真实环境的至少一个部分的当前位姿。在确定当前位姿时,还提供当前位姿的准确度信息。例如,当通过GPS的方式确定位姿时,提供40的不准确度(其指示40米的不准确度),而当通过光跟踪的方式确定位姿时,提供1的不准确度(其指示1米的不准确度)。在该情况下,该不准确度分别指示可能的位姿值在40m或者1m的范围之内的偏差。
在本领域的描述中,还通过期望的误差值和不准确度来描述系统的准确度,所有这些不同的规定并不改变本发明的概念的指示。本文只是期望系统根据其模拟的方式,对准确度规定起作用。
在移动设备8的显示单元上,可以通过根据照相机的位姿,在视图中显示与真实环境叠加的虚拟信息,来使用诸如POI(“感兴趣点”,其通常称为POI)之类的虚拟信息来扩增真实环境的图像。例如,照相机的位姿可以是关于真实对象1、2、3或4的位姿。为此,可以关于某个坐标系统(没有示出)来确定该位姿,其中该坐标系统与真实世界的各对象相关联。
在图1的场景中,存在具有不同区域(例如,5和6)的两个主建筑物1和2。在每一个区域上,存在向展览会的公众显示的不同产品3、4。根据本发明,不仅根据位姿,还根据位姿估计方法的准确度(或者组合),向用户7呈现不同的虚拟视觉。为此,移动设备8中的系统保持或者存取多条虚拟信息(例如,多个POI),其中向所述多条虚拟信息中的各条虚拟信息分配指示不同的位姿估计信息或者与不同的位姿估计信息有关的不同参数中的至少一个(比较,图2和图3中获取这些参数的步骤2.0)。例如,向与建筑物1、2中的一个相关联的POI分配指示40米的位姿准确度信息(例如,不准确度)的参数。另一方面,向与产品3、4中的一个相关联的POI分配指示1米的位姿准确度信息(例如,不准确度)的参数。
例如,如果用户7位于建筑物1、2之外,则他只获得显示与这些建筑物有关的POI的指示,这是由于该移动设备的位姿是使用具有相当高的不准确度(相当低的准确度)的GPS和指南针来确定的。由于该准确度是大约40米,因此不显示关于区域5、6和产品3、4的信息。
用户可能现在移动到建筑物2之内,其中在该建筑物中,可以使用更准确的位姿估计方法,例如,增加的无线LAN定位装置。现在,位姿确定的不准确度可以是大约10米。现在,关于建筑物1、2的多条虚拟信息可以消失,而关于不同的区域5、6的多条虚拟信息(例如,POI)出现。用户7可以使用该信息来确定方位,导航到他选择的区域。当到达区域6时,启动光跟踪装置,其训练有该区域的数据或者QR编码(QR意味着快速响应,其在物流和移动领域是通常公知的术语),或者可以检测保持位置信息的标记。现在,准确度改变到1米或者更小。在该时刻,虚拟产品信息(例如,如3D覆盖)可以出现,并显示给用户。在该情况下,关于区域5、6的虚拟信息也保持可视。
为了提供当前位姿的准确度信息,或者检测准确度何时发生改变,可以使用不同的装置。可以根据位姿估计方法本身,或者通过不同的各位姿估计方法的不同准确度的融合,来获取准确度信息。例如,
1)时间:该系统可以假定,在没有从更准确的跟踪系统接收高准确度结果的某个时间之后,整个系统准确度适合于传送数据的传感器的准确度。例如,在扫描QR码(“快速响应”,本领域公知的标准编码)或者对象的光检测之后,系统假定某个时间量(例如,30秒)的更高准确度。根据位姿估计装置或者位置(例如,假定在扫描QR码之后,用户在某个位置花用了某个数量的时间),该时间跨度的持续时间是可配置的。
2)当前位置或者基于移动的预测的位置:对于多种位姿确定系统来说,该系统操作的覆盖区域是已知的。例如,如果使用安装在屋顶的照相机来确定用户的位置,则只要该用户移出此照相机的视野,准确度就发生改变。对于例如依赖于在安装照相机的设备的照相机图像中检测对象的系统来说,通常可能的对象检测和跟踪的区域是已知的。如果用户移出该区域之外,则可以立即重新设置整个系统的准确度。一些位姿确定单元不仅依赖于关于已知坐标系统的绝对测量,而且还基于运动传感器或者照相机图像来跟踪该位姿与前一位姿的关系(例如,使用光学流,参见下面的改进使用:“Hybrid Tracking Approach Using Optical Flow And Pose Estimation”,Muriel Pressigout,Eric Marchand,Etienne Memin,IEEE Int.Conf. on ImageProcessing,ICIP’08(2008)。
如果用户例如扫描QR码(其具有在该编码中编码的位置),则只要用户移动离开,准确度就急剧地下降。使用如J.H.Rieger,D.T.Lawton在SIGGRAPH Comput.Graph.18,1(January 1984),24-24中的“Determining theinstantaneous axis of translation from optic flow generated by arbitrary sensormotion”里所描述的装置,可以检测该移动。此外,针对位姿的不同组成部分,当然可以分别地处理该装置的准确度。例如,使用旋转传感器来确定系统的方位,使用QR码和GPS来确定该系统的位置。
3)跟踪系统自己的准确度装置:如上所述,例如,多个跟踪系统具有它们特定的不准确度确定方法,并可以动态地传送不准确度数据。
因此,在本发明的方法中,根据与多条虚拟信息中的至少一条的分配的参数有关的当前位姿的准确度信息,在真实环境的视图中显示多条虚拟信息中的所述至少一条虚拟信息。换言之,该方法包括下面的步骤:向不同的虚拟信息分配与准确度信息有关的不同值,根据当前位姿的准确度来显示这些信息。
例如,如果当前位姿的准确度信息等于或者超过各个分配的参数所规定的阈值,则显示或者不显示各条虚拟信息,或者以不同的呈现或显现方法等等来显示。例如,在当前位姿的准确度信息等于或者超过某个阈值时,不显示所述多条虚拟信息中的至少一条。
在该方面,图2显示了根据本发明的一个实施例的方法的流程图视图。步骤1.0包括下面步骤:确定当前位姿的不准确度(例如,10米),而在步骤2.0,获取该位姿周围的POI以及它们的不准确度参数(例如,“最小不准确度”=15m,“最大不准确度”=5m)。可以并行地或者串行地运行该处理的一部分(例如,POI不始终是新获取的)。不准确度越小,则当前跟踪越佳。“最大不准确度”指定:仅显示良好跟踪的对象。“最小不准确度”指定:仅显示较差跟踪的对象。这些值中的一个是可选的。
在步骤3.0,判断这些POI中的每一个是显示还是没有显示。在第一可选子步骤中,判断与该POI相关联的真实环境的对象的距离是否小于指示与该对象的距离的参数(“最大距离”)。如果是,并且如果当前位姿的不准确度小于“最大不准确度”,则显示该POI。如果不是,并且如果当前位姿的不准确度大于“最小不准确度”,则不显示该POI。但是,如果当前位姿的不准确度等于或者小于“最小不准确度”,则显示该POI。在该情况下,当前位姿的不准确度处于两个参数“最小不准确度”和“最大不准确度”之间的范围之内。当然,为了避免在较短的时间之内进行过多的切换,还可以给予这些值另外的值,其不仅期望高于和低于某个阈值,还期望在某个时间量之内进行某种改变。
因此,在当前位姿的准确度信息位于第一范围之内时,显示第一数量的多条虚拟信息(POI),在当前位姿的准确度信息位于与第一范围不相同的第二范围之内时,显示第二数量的多条虚拟信息(POI)。例如,在该准确度到达某个阈值时,不显示一些POI(例如,当准确度较高时,显示一些POI,当准确度较低时,显示其它POI)。
本发明的一个实施例包括下面步骤:将多条虚拟信息进行聚类,根据所聚类的多条虚拟信息,生成一条上位的虚拟信息,向所述上位的虚拟信息分配指示位姿准确度信息的参数,其中该参数与分配给所聚类的多条虚拟信息的参数不相同。用此方式,当显示多条虚拟信息没有意义时,可以生成要显示的单一虚拟信息(例如,通过对本地、细节信息进行聚类,因此生成单一的一条信息,来根据信息自动地生成不同程度的准确度。如,将与图1的产品3和4有关的虚拟信息进行聚类,通过其生成上位的虚拟信息,该信息自动地关联到区域6,并当与产品3、4有关的虚拟信息的不准确度参数相比,当前位姿不准确度更高时进行显示)。
本发明的一个实施例包括下面步骤:向所述多条虚拟信息中的各条虚拟信息分配指示距离的各第二参数,确定系统的至少一个部分与真实环境的至少一个部分的当前距离,根据或者依据该当前距离是否超过所述多条虚拟信息中的至少一条的分配的第二参数,在真实环境的视图中显示多条虚拟信息中的所述至少一条虚拟信息。因此,可以根据指示最大距离的另外POI参数(第二参数)来显示信息,其中在该距离处,使信息显示有意义。如果当前距离超过该POI参数,则不显示各个POI。
根据本发明的另外实施例,提供当前位姿的准确度信息包括:根据是使用光学位姿确定方法还是非光学位姿确定方法,区分当前位姿的准确度信息。
本发明的一个实施例包括下面步骤:根据下面二者的组合,在真实环境的视图中显示多条虚拟信息中的至少一条虚拟信息:当前位姿的准确度信息、系统的至少一个部分和与真实环境有关的多条虚拟信息中的至少一条的位置的距离(例如,在低准确度时,不显示近处的虚拟信息,但在低准确度时,显示远处的虚拟信息,这是由于距离越远,则位置不准确度的影响越低)。
本发明的一个实施例包括:根据当前位姿的准确度信息,使用不同的呈现或显现方法,在真实环境的视图中显示所述多条虚拟信息中的至少一条(例如,低准确度情况下的浮动图像和高准确度情况下的3D对象)。
在该方面,图3示出了根据本发明的另一个实施例的方法的流程图视图。基本上,可以独立地实现如图3中所示的处理,也可以结合如图2中所示的处理来实现如图3中所示的处理。在图3的所示实施例中,步骤1.0和2.0基本上与图2中的相同。在步骤2.0,规定了在如图所示的步骤3.0中使用的另外参数“max_uncertainty_level1(最大不准确度水平1)”和“max_uncertainty+level2(最大不准确度水平2)”。在步骤3.0,确定每一条虚拟信息(例如,POI)的显示方法。这些子步骤与图2的子步骤类似,或者如图3中所指示的步骤3.1A到3.1C中的结果可与图2进行比较。
具体而言,在步骤3.0中,确定如何显示POI。如果当前位姿的不准确度小于“最大不准确度水平1”,则将各POI显示成3D模型。如果不是,并且如果当前位姿的不准确度小于“最大不准确度水平2”,则将各POI显示成图像覆盖。否则,不显示各POI。基本上,可以规定能与“最大不准确度水平1”和“最大不准确度水平2”进行比较的任意数量的水平。
本发明的一个实施例包括:在当前位姿的较高准确度的情况下,在真实环境上正确地透视覆盖的真实环境的视图中,显示所述多条虚拟信息中的至少一条,在当前位姿的较低准确度的情况下,在非正确地覆盖的真实环境的视图中,显示所述多条虚拟信息中的至少一条。
本发明的一个实施例包括:提供能够以第一模式提供增强现实视图和以第二模式提供地图视图的信息系统,其中,在增强现实视图中,而不是在地图视图中,执行根据当前位姿的准确度信息来显示多条虚拟信息中的至少一条的步骤。同样,在增强现实视图中,而不是在地图视图中,考虑每一条虚拟信息的准确度信息。
本发明的另外实施例包括:不仅根据当前位姿的准确度信息,而且还根据关于真实环境中的遮挡对象的距离和/或信息,和/或系统的显示器关于针对真实环境所固定的坐标系统的当前速度,确定一条虚拟信息的绘画风格的可见度。
虽然参照示例性实施例描述了本发明,但本领域普通技术人员应当理解的是,在不脱离权利要求书的保护范围的基础上,可以进行各种改变,针对其组成元素用等同物替代。因此,本发明并不旨在限于所公开的具体实施例,而是本发明包括落入所附权利要求书的保护范围之内的所有实施例。

Claims (14)

1.一种用于在真实环境的视图中显示虚拟信息的方法,包括下面的步骤:
-提供用于在真实环境的视图中显示虚拟信息的系统,
-确定所述系统的至少一个部分相对于所述真实环境的至少一个部分的当前位姿,提供所述当前位姿的准确度信息,其中,所述当前位姿指示所述系统的至少一个部分相对于所述真实环境的至少一个部分的当前位置和方位;
-提供多条虚拟信息,向所述多条虚拟信息中相应的一条虚拟信息分配指示不同的位姿准确度信息的不同参数中的一个,
-根据与至少一条虚拟信息的所分配参数有关的当前位姿的准确度信息,在所述真实环境的视图中显示所述至少一条虚拟信息。
2.根据权利要求1所述的方法,其中,所述准确度信息包含关于不准确度的信息。
3.根据权利要求1所述的方法,其中,当所述当前位姿的准确度信息等于或者超过某个阈值时,不显示所述多条虚拟信息中的至少一条。
4.根据权利要求3所述的方法,其中,当所述当前位姿的准确度信息位于第一范围时,显示第一数量的多条虚拟信息,当所述当前位姿的准确度信息位于与所述第一范围不相同的第二范围时,显示第二数量的多条虚拟信息。
5.根据权利要求1所述的方法,包括:
-对多条虚拟信息进行聚类,
-根据所聚类的多条虚拟信息,生成一条上位的虚拟信息,
-向所述上位的虚拟信息分配指示位姿准确度信息的参数,其中该参数与分配给所聚类的多条虚拟信息的参数不相同。
6.根据权利要求1所述的方法,包括:
-向所述多条虚拟信息中相应的一条虚拟信息分配指示距离的相应的第二参数,
-确定所述系统的至少一个部分至所述真实环境的至少一个部分的当前距离,
-根据与至少一条虚拟信息的所分配第二参数有关的当前距离,在所述真实环境的视图中显示所述至少一条虚拟信息。
7.根据权利要求1所述的方法,其中,
提供所述当前位姿的准确度信息包括:根据是使用光学位姿确定方法还是非光学位姿确定方法,区分所述当前位姿的准确度信息。
8.根据权利要求1所述的方法,包括:
根据下面二者的组合,在所述真实环境的视图中显示至少一条虚拟信息:所述当前位姿的准确度信息、所述系统的至少一个部分至与所述真实环境有关的所述至少一条虚拟信息的位置的距离。
9.根据权利要求1所述的方法,包括:
根据所述当前位姿的准确度信息,使用不同的呈现或可视化方法,在所述真实环境的视图中显示所述至少一条虚拟信息。
10.根据权利要求1所述的方法,包括:
在所述当前位姿的较高准确度的情况下,在所述真实环境上正确地透视覆盖的所述真实环境的视图中,显示所述多条虚拟信息中的至少一条;在所述当前位姿的较低准确度的情况下,在非正确地透视覆盖的所述真实环境的视图中,显示所述至少一条虚拟信息。
11.根据权利要求1所述的方法,还包括:
-提供能够以第一模式提供增强现实视图和以第二模式提供地图视图的信息系统,
-其中,在所述增强现实视图中,而不是在所述地图视图中,执行根据所述当前位姿的准确度信息来显示所述至少一条虚拟信息的步骤。
12.根据权利要求1所述的方法,包括:
不仅根据所述当前位姿的准确度信息,而且还根据关于所述真实环境中的遮挡对象的距离和/或信息,和/或所述系统的显示器关于针对所述真实环境固定的坐标系统的当前速度,确定一条虚拟信息的绘画风格的可见度。
13.根据权利要求1所述的方法,其中,通过跟踪系统自己的准确度装置,通过自从位姿估计装置上一次成功位姿估计之后经过的时间,或者通过所述系统的位置或者位置的改变,来确定所述当前位姿的准确度信息和/或准确度信息的改变。
14.根据权利要求1所述的方法,其中,分别地针对所述位姿的每一个分量或者分别针对方位和位置,来确定所述准确度信息,向所述多条虚拟信息中相应的一条虚拟信息分配指示不同的位姿准确度信息的不同参数中的一个。
CN201180011462.8A 2010-03-01 2011-02-28 在真实环境的视图中显示虚拟信息的方法 Active CN102834799B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10155026 2010-03-01
EP10155026.7 2010-03-01
PCT/EP2011/052900 WO2011107423A1 (en) 2010-03-01 2011-02-28 Method of displaying virtual information in a view of a real environment

Publications (2)

Publication Number Publication Date
CN102834799A CN102834799A (zh) 2012-12-19
CN102834799B true CN102834799B (zh) 2015-07-15

Family

ID=43827964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180011462.8A Active CN102834799B (zh) 2010-03-01 2011-02-28 在真实环境的视图中显示虚拟信息的方法

Country Status (4)

Country Link
US (3) US9170766B2 (zh)
EP (1) EP2542957B1 (zh)
CN (1) CN102834799B (zh)
WO (1) WO2011107423A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011104524A1 (de) * 2011-06-15 2012-12-20 Ifakt Gmbh Verfahren und Vorrichtung zum Ermitteln und Wiedergeben virtueller ortsbezogener Informationen für einen Raumbereich
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
KR102009928B1 (ko) * 2012-08-20 2019-08-12 삼성전자 주식회사 협업 구현 방법 및 장치
US9922446B2 (en) 2012-12-21 2018-03-20 Apple Inc. Method for representing virtual information in a real environment
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
JP6304241B2 (ja) * 2013-04-04 2018-04-04 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
DE102013206173A1 (de) * 2013-04-09 2014-10-09 Bayerische Motoren Werke Aktiengesellschaft Auswahl von Einzelelementen zur Anzeige auf einer Datenbrille
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9687059B2 (en) 2013-08-23 2017-06-27 Preemadonna Inc. Nail decorating apparatus
US11265444B2 (en) 2013-08-23 2022-03-01 Preemadonna Inc. Apparatus for applying coating to nails
JP6264870B2 (ja) * 2013-12-13 2018-01-24 富士通株式会社 情報提供装置、プログラム、及びシステム
US9613448B1 (en) * 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
WO2015160828A1 (en) 2014-04-15 2015-10-22 Huntington Ingalls Incorporated System and method for augmented reality display of dynamic environment information
US9864909B2 (en) 2014-04-25 2018-01-09 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
US10504294B2 (en) 2014-06-09 2019-12-10 Huntington Ingalls Incorporated System and method for augmented reality discrepancy determination and reporting
WO2015191346A1 (en) 2014-06-09 2015-12-17 Huntington Ingalls Incorporated System and method for augmented reality display of electrical system information
US10915754B2 (en) 2014-06-09 2021-02-09 Huntington Ingalls Incorporated System and method for use of augmented reality in outfitting a dynamic structural space
WO2016011149A1 (en) * 2014-07-16 2016-01-21 Huntington Ingalls Incorporated System and method for augmented reality display of hoisting and rigging information
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US9557951B2 (en) 2015-03-04 2017-01-31 International Business Machines Corporation Filtering information within augmented reality overlays
US9563983B2 (en) 2015-03-04 2017-02-07 International Business Machines Corporation Filtering information within augmented reality overlays
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10366528B2 (en) * 2015-12-08 2019-07-30 Amazon Technologies, Inc. Interactive points of interest for 3D-representations
EP3405828A1 (en) 2016-01-22 2018-11-28 Corning Incorporated Wide field personal display
US10083534B2 (en) 2016-07-01 2018-09-25 Phillips 66 Company Process for rendering and presenting underground utilities for efficient identification, marking and inspection
CN106331689B (zh) * 2016-08-26 2018-09-18 杭州智屏电子商务有限公司 Vr视频播放时定位对象方法及vr视频播放时定位对象装置
CN106502388B (zh) * 2016-09-26 2020-06-02 惠州Tcl移动通信有限公司 一种互动式运动方法及头戴式智能设备
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
WO2019070886A1 (en) 2017-10-04 2019-04-11 Preemadonna Inc. SYSTEMS AND METHODS FOR ADAPTIVE NAILS PRINTING AND COLLABORATIVE BEAUTY PLATFORM HOSTING
DE102017220268B4 (de) * 2017-11-14 2024-03-21 Volkswagen Aktiengesellschaft Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN114797096A (zh) * 2022-04-28 2022-07-29 北京字跳网络技术有限公司 虚拟对象的控制方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828769A (en) * 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7155339B2 (en) * 2003-06-13 2006-12-26 Alpine Electronics, Inc. Display method and apparatus for navigation system for searching POI and arranging listing order of POI
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20080045138A1 (en) * 2006-05-01 2008-02-21 Microsoft Corporation Context information communications via a mobile device
US8239132B2 (en) * 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
KR101561913B1 (ko) * 2009-04-17 2015-10-20 엘지전자 주식회사 이동 단말기의 영상 표시 방법 및 그 장치
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
US8681178B1 (en) * 2010-11-02 2014-03-25 Google Inc. Showing uncertainty in an augmented reality application
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828769A (en) * 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
E•巴斯柯克.3D地图,摄像电话将"现实"放入扩展的现实.《www.wired.com》.2009,第1-5段,附图. *

Also Published As

Publication number Publication date
CN102834799A (zh) 2012-12-19
WO2011107423A1 (en) 2011-09-09
EP2542957A1 (en) 2013-01-09
EP2542957B1 (en) 2020-07-08
US20160210786A1 (en) 2016-07-21
US11694407B2 (en) 2023-07-04
US20130057581A1 (en) 2013-03-07
US20210166489A1 (en) 2021-06-03
US10916056B2 (en) 2021-02-09
US9170766B2 (en) 2015-10-27

Similar Documents

Publication Publication Date Title
CN102834799B (zh) 在真实环境的视图中显示虚拟信息的方法
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US10499002B2 (en) Information processing apparatus and information processing method
US10462406B2 (en) Information processing apparatus and information processing method
US8335400B2 (en) Information processing method and information processing apparatus
US10481679B2 (en) Method and system for optical-inertial tracking of a moving object
US20180253601A1 (en) Method of providing augmented reality content, and electronic device and system adapted to the method
CN106327461B (zh) 一种用于监测的图像处理方法及装置
CN103843429A (zh) 针对设备位置的位所指示控制
JP2002259976A (ja) 特定点検出方法及び装置
CN108700946A (zh) 用于并行测距和建图的故障检测和恢复的系统和方法
CN104204848B (zh) 具有测距相机的勘测设备
CN106919254B (zh) 一种头戴式虚拟现实设备及安全保护方法
CN110426725B (zh) 一种精确定位室内用户移动终端的方法
WO2020024909A1 (zh) 定位跟踪方法、终端设备及计算机可读取存储介质
Low et al. SunMap+: An intelligent location-based virtual indoor navigation system using augmented reality
CN111551179A (zh) 室内导航方法及装置、终端及可读存储介质
CN109214482A (zh) 一种室内定位方法、装置、终端设备及存储介质
Chang et al. [POSTER] Road Maintenance MR System Using LRF and PDR
CN116592876B (zh) 定位装置及定位装置的定位方法
US20240196161A1 (en) Systems and methods of using wireless signatures
CN116249074A (zh) 智能穿戴设备的信息展示方法、智能穿戴设备及介质
KR20160059094A (ko) 실내 위치 인식 시스템
CN117968656A (zh) 多传感器融合定位方法、自移动设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180420

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: Munich, Germany

Patentee before: METAIO GmbH

TR01 Transfer of patent right