CN104995665B - 用于在真实环境中表示虚拟信息的方法 - Google Patents

Abstract

一种用于在真实环境的视图中表示虚拟信息的方法，包括以下步骤：提供包括至少一个显示装置的系统设备，其中，该系统设备适于在显示装置上将虚拟信息混和到该视图的至少一部分中；确定视点相对于该真实环境的至少一个要素的位置；提供该真实环境的几何模型，该几何模型包括该真实环境的各个内置真实对象的多种表示，每种表示包括至少一个2D或3D几何形状，所述2D或3D几何形状具有界定相应对象的至少一个边界，其中，所述边界的一侧朝向其内侧界定所述对象，而所述边界的另一侧朝向其外侧界定所述对象；提供至少一个虚拟信息项和所述至少一个虚拟信息项的位置；根据所述视点的位置和所述几何模型来确定在所述显示装置上混和所述至少一个虚拟信息项的可视化模式；计算所述视点与所述虚拟信息项之间的射线；确定通过所述射线的边界交点的数目，其中，如果所述边界交点的数目小于2，则以非遮挡模式混和所述虚拟信息项，否则以遮挡模式混和所述虚拟信息项，和/或在所述边界交点的数目小于2时将所述虚拟信息项的位置相对于所述视点移动至所相交边界的前方。

Description

用于在真实环境中表示虚拟信息的方法

技术领域

本发明涉及一种用于在真实环境的视图中表示虚拟信息的方法，该方法包括提供具有至少一个显示装置的系统设备的步骤，其中，该系统设备适于在显示装置上混和虚拟信息。本发明还涉及一种包括用于执行该方法的软件代码部分的计算机程序产品。

背景技术

已知增强现实(AR)系统通过提供将计算机生成的虚拟信息与真实环境的视图或真实环境的一部分的视图叠加的可视化来增强真实环境的信息。虚拟信息可以是任何类型的视觉可感知数据，例如对象、文本、图画、视频及其组合。如本文中所理解的，真实环境的视图或真实环境的一部分的视图可以被用户的眼睛感知为视觉印象，和/或可以通过相机，例如由用户佩戴的或附接在用户持有的装置上的相机，作为一个或更多个图像获取。

叠加或混和的虚拟信息原则上可以是各种虚拟信息项。例如，可以增强真实环境的信息的虚拟信息项可以是感兴趣的点，正如像在地图或导航应用中已知的。感兴趣的点(POI)可以表示真实环境的真实对象(例如，建筑物或地标)的位置，并且经常包括与该真实对象相关的数字内容。例如，该位置为全球位置(例如，地理坐标，如经度和纬度的2D坐标或者经度、纬度和海拔高度的3D坐标)或邮政地址(例如，楼层、街道、邮政编码、国家)。邮政地址和全球位置可以彼此转换。POI的数字内容可以包含各种数据，例如与真实对象相关的名称、描述和联系方式。

增强现实系统的一个主要功能是向真实环境的视图叠加虚拟信息项，如感兴趣的点(POI)。在基于位置的(移动)增强现实应用例如用于探索城市环境的旅游向导中，这是特别有用且流行的，如本文在说明书的结尾所引用的参考文献[1，2，4]中所描述的。例如，当用户处于新地方并想要获得关于他们看见的事物的信息时，用户可以使用增强现实应用来将POI叠加至真实环境的视图。在增强现实系统中，POI信息必须表示在真实环境中或真实环境的一部分中，使得其满足期望的视觉感知和可用性。用于POI信息的大部分数据源不会将与真实世界中的点相关的信息提供为具有多于一个的点或顶点的三维模型。本发明非常适合于处理由纬度、经度和可选的海拔高度以及另外的元信息所描述的虚拟信息项的可视化，该元信息包括文本和2D图像信息。

已经开发出用于改善在增强现实应用中向真实环境的视图混和或叠加POI信息的视觉感知和可用性的若干种方法。

POI的视距是指POI的位置与相机或用户所处的位置之间的距离。POI的视向是指从相机或用户所处的位置到POI的位置的方向。

Hoellerer等人在参考文献[4]中提出：以对于用户的观看姿态而言正确的视角将POI显示为虚拟标志和标签，同时标签面对用户并且无论距离如何都保持它们的大小以确保可读性。

增强现实系统面临着更加有用地向用户显示POI的显著技术挑战。Uusitalo等人在参考文献[1]中公开了一种基于对真实环境的分区来显示POI信息的方法。该方法基于真实环境的视图中的一个或多个分区来确定叠加一个或更多个POI。他们教导利用建筑物的平面图或高度的知识将该建筑物分隔为各分区，并且将POI叠加至建筑物的图像中的相应分区。

当POI具有相同的视向时，POI可以在增强现实应用中被布置成逐次向后以用于显示。在这一点上，上述POI中的一些可能不是可见的，因为其可能隐藏在其他POI后面。为此，Sandberg在参考文献[2]中激发使具有相同视向的POI成组，然后以可见的方式显示成组的POI。

Meier等人在参考文献[3]中公开了一种通过基于区域到视点的距离将真实环境的视图细分成多个区域来在增强现实系统中实现POI的人机工程学(ergonmic)表示的方法。

增强现实系统通常将POI不透明地叠加在真实环境的视图的顶部。在图9中示出了一种示例性场景，其中POI在真实环境51的图像81的顶部叠加为不透明标签92、93、94、95、96、97、98和99。以这种方式，POI表示(例如，不透明标签)遮挡真实环境的图像或真实环境的图像的一部分。Sandberg在参考文献[2]中以及Uusitalo等人在参考文献[1]中也将POI的图标和标签不透明地叠加到真实环境的图像。这使得用户难以从叠加的POI快速并直观地理解真实环境。

真实环境的真实对象有时可能在真实环境的视图中不是可见的，原因在于从视点来看该对象可能被置于其前方的真实对象遮挡。在图8中示出了一个示例(示出了图9在不具有POI的情况下的场景)，其中真实环境51中的真实对象(建筑物)D(参照图7)在该环境的图像81中不可见。在这种情况下，在真实环境的视图的顶部简单地叠加与被遮挡对象相关的POI(如图9所示)可能会以下述方式使用户混淆：用户可能错误地使POI与视图中可见的前方对象相关。在图9的示例中，用户可能会使POI信息93、94、95、96、97和98与真实对象(建筑物)A相关，而表示POI_7和POI_8的97和98与建筑物A不相关。

因此，可能期望以与可见的前方对象不同的方式，更具体地以用户可以直观地感知遮挡效果的方式来使与被遮挡对象相关的POI可视化。例如，与被遮挡对象相关的POI可以以半透明或虚线的方式示出，而与前方对象相关的POI可以以不透明、实线或不同颜色的方式示出。

Meier等人在参考文献[3]中教导了使用沿着从视点到真实环境的POI的视向的深度，以便确定是否以遮挡模型来显示该POI。根据参考文献[3]，如果该POI具有长于上述深度的视距，则该POI以遮挡方式即半透明或虚线的方式进行显示。

真实环境的真实对象通常占据作为3D空间中的体积的三维空间，而与真实对象相关的POI表示作为3D空间中的点的位置。POI位置可以被分配到与POI相关的真实对象内的任何地方。因此，从视点来看真实对象可能是可见的，而POI具有比沿着至真实对象的视向的估计深度长的视距。例如，建筑物(如，购物商场)在真实环境的视图中是可见的，而与该建筑物相关的POI的视距比从视点到建筑物的外表面(如壁)的深度长。

在图5、图6、图7和图8中，描绘了下述示例：其中，真实对象A在图像81中可见，而相对于视点71，与A相关的POI_3(图7)比A更远。在这种情况下，Meier等人在参考文献[3]中公开的方法会导致向真实环境的视图叠加POI的不正确遮挡感知。

增强现实的空间中的普遍问题在于：人们很容易构建具有好看的增强现实体验的实物模型或幻想电影，但是未考虑和未解决为了实现这样的体验的细节问题。

POI表示位于另一真实对象内的真实对象的情况对于在增强现实系统中正确显示该POI而言可能更具挑战性。例如，POI_4表示在真实环境51中处于建筑物A内部的真实对象(房间)A3(图7)。当用户站立在建筑物A外部并使用增强现实技术来将POI_4叠加至真实环境51的图像时，优选的是，以非遮挡模型显示POI_4信息，即POI_4信息显示在图像中。在另一情况下，建筑物D在建筑物A外部，并且在图像81中被A遮挡(图7、8)。在这种情况下，优选的是，在图像81上以遮挡模型叠加与D相关的POI_8，即POI_8不会显示在图像中。先前开发的方法中没有一种方法教导或有动机以遮挡模型显示POI_8，且以非遮挡模型显示POI_4。

因此，提供用于在真实环境中表示虚拟信息的方法将是有利的：该方法能够在增强现实应用或系统中混和虚拟信息项，具体是将其混和至真实环境的视图时改善遮挡感知。

发明内容

根据本发明的一个方面，提供了一种用于在真实环境的视图中表示虚拟信息的方法，该方法包括以下步骤：提供包括至少一个显示装置的系统设备，其中，所述系统设备适于在所述显示装置上混和虚拟信息；确定视点相对于所述真实环境的至少一个要素的位置和取向；提供所述真实环境的几何模型，所述几何模型包括所述真实环境的各个内置真实对象的多种表示，每种表示包括至少一个2D或3D几何形状，所述2D或3D几何形状具有用于界定相应对象的至少一个边界，其中，所述边界的一侧朝向其内侧界定所述对象，并且所述边界的另一侧朝向其外侧界定所述对象；提供至少一个虚拟信息项和所述至少一个虚拟信息项的位置；根据所述视点的位置和所述几何模型来确定在所述显示装置上混和所述至少一个虚拟信息项的可视化模式；计算所述视点与所述虚拟信息项之间的射线；确定所述射线的边界交点的数目，其中，如果所述边界交点的数目小于2，则以非遮挡模式混和所述虚拟信息项，否则以遮挡模式混和所述虚拟信息项，和/或在所述边界交点的数目小于2时将所述虚拟信息项的位置相对于所述视点移动至所相交边界的前方。

具体地说，通过使用视点的位置以及真实环境的几何模型，优选是2D和/或3D几何模型，本发明解决了在增强现实应用中向真实环境的视图或真实环境的一部分的视图混和或叠加数字内容或虚拟信息项如感兴趣点(POI)的不正确遮挡感知的问题。

数字内容或虚拟信息项可以是任何类型的视觉可感知数据，例如对象、文本、图画、视频及其组合。真实环境的视图或真实环境的一部分的视图由捕获装置捕获。例如，真实环境的视图可以由用户的眼睛捕获为视觉印象，或者可以通过由用户佩戴的或附接在用户持有的装置上的相机而获取为一个或更多个图像。另一可替换的显示装置可以是例如安装在汽车或飞机上的平视显示器。人眼和相机具有相同的成像数学模型，即针孔投影模型。针孔投影模型描述了3D点的坐标与其到视图上的图像投影之间的关系。图像平面是形成由光学系统生成的图像的平面。3D点的图像投影由从视点到3D点的射线与图像平面之间的交点限定。

在已知的具有半透明玻璃的光学透视显示器中，用户可以看见虚拟信息项例如POI和真实环境的叠加或混和的信息。然后，用户通过半透明玻璃看见利用POI的虚拟信息所增强的真实环境的对象，该POI的虚拟信息混和在上述玻璃中。在具有相机和常见显示装置的视频透视显示器中，用户也可以看见POI和真实环境的叠加。真实环境由相机捕获，并且在显示器中向用户示出虚拟数据与真实环境的叠加。

在一实施例中，该方法包括：确定视点相对于真实环境的至少一个要素的姿态，其描述捕获装置(例如，相机或人眼)将真实环境的视图或真实环境的一部分的视图捕获为图像或视觉感知所处的位置和取向。

真实环境可以是真实世界中的任何真实场景，如自然场景、室内环境场景或城市场景。真实环境包括一个或更多个真实对象。真实对象，例如地方、建筑物、树或山，定位并占据在真实环境中的区域。地方是位于真实环境中的具有空间的一部分或边界的区域，其通常以区域命名，例如建筑物的室内区域、慕尼黑、曼哈顿或英国花园(位于慕尼黑的绿化区域)。真实对象还可以包括在包含的真实对象内的一个或更多个真实环境。例如，城市(真实环境)包括购物商场(城市中的真实对象)，并且购物商场可以包含室内场景(真实环境)，该室内场景包括各种商店(购物商场中的真实对象)。

具体地说，几何模型包括内置真实对象的多种表示，每种表示包括至少一个2D或3D几何形状，该2D或3D几何形状具有用于界定所述对象的至少一个边界，该方法还包括以下步骤：计算所述视点与所述虚拟信息项之间的射线；以及确定通过所述射线的边界交点的数目。具体地说，如果边界交点的数目小于2，则该虚拟信息项以非遮挡模式混和在视图中，否则以遮挡模式混和在视图中。根据另外的或可替代的实施例，如果边界交点的数目小于2，则将虚拟信息项的位置移动至相交边界相对于视点的前方。边界的一侧朝向一侧界定对象，具体是其内侧，而边界的另一侧朝向另一侧界定对象，具体是其外侧。例如，边界可以为线，其中该线的一侧界定对象朝向其内侧，而该线的另一侧界定对象朝向其外侧。例如，该线可以表示建筑物的壁。根据另一示例，边界可以由线的集合来限定，例如可以通过指定具有两侧(即，内侧和外侧)的壁来限定边界，如由一条线表示该壁的一侧并且由一条线表示该壁的另一侧。在该示例中，边界应当被理解为通过将壁表示为边界的两条线的集合形成，其中该边界的一侧(即，壁的内侧/线)朝向其内侧界定对象，而该边界的另一侧(即壁的外侧/线)朝向其外侧界定对象。

根据一个实施例，所述标准至少部分地基于使用几何模型从视点向内置真实对象射出一条或更多条射线来确定。如果存在从视点起的与内置真实对象的至少一个边界最先相交的至少一条射线，则该内置真实对象在真实环境的视图中是至少部分可见的。

根据一个实施例，内置真实对象的表示包括至少一个2D或3D几何形状，该2D或3D几何形状具有用于界定所述对象的至少一个边界，该方法还包括以下步骤：确定虚拟信息项的位置是否在2D或3D几何形状内，并且基于此将虚拟信息项与内置真实对象相关联。

根据一个实施例，迭代地执行该方法，其中在每次迭代中，虚拟信息项的高度增加，并且当通过射线的边界交点的数目变为小于2时或当高度超过预定限度时，停止迭代。

根据又一实施例，虚拟信息项的可视化模式的确定受虚拟信息与视点的距离影响，并且假如虚拟信息项被确定为以非遮挡模式混和，虚拟信息项的图形表示被添加至几何模型，且其在确定后续虚拟信息项的可视化模式时被考虑。

例如，几何模型是从与显示装置相关联的深度传感器源得出的，该深度传感器源例如为立体相机、阵列相机或飞行时间相机。

在又一实施例中，该方法包括以下步骤：提供多个虚拟信息项，并且使所述虚拟信息项中的每一个与在真实环境的视图中至少部分可见的内置真实对象相关、与所述真实环境的前方场景组或所述真实环境的被遮挡场景组相关。

在又一实施例中，该方法还包括以下步骤：提供多个虚拟信息项，并且使所述虚拟信息项中的每一个与内置真实对象相关、与所述真实环境的前方场景组或所述真实环境的被遮挡场景组相关，以及将与不可见的内置对象相关的虚拟信息项分配给所述被遮挡场景组。

在一种特定的实施方式中，系统设备适于：通过拍照来提供所述真实环境的至少一个视图；以及在所述显示装置上混和虚拟信息，使得所述虚拟信息在所述视图的至少一部分中与所述真实环境叠加。

根据一个实施例，系统设备适于：提供所述真实环境的至少一个渲染视图；以及在所述显示装置上混和虚拟信息，使得所述虚拟信息在所述视图的至少一部分中与所述真实环境叠加。

根据另一实施例，系统设备适于：提供所述真实环境的至少一个视图；以及在半透明显示装置上混和虚拟信息，使得所述虚拟信息在所述视图的至少一部分中与所述真实环境叠加。

例如，该方法还包括以下步骤：以非遮挡模式将与可见内置对象相关的虚拟信息项叠加至所述真实环境的视图，以非遮挡模式将前方场景组的虚拟信息项叠加至所述真实环境的视图，以及以遮挡模式将被遮挡场景组的虚拟信息项叠加至所述真实环境的视图。

该方法还可以包括以下步骤：基于由系统设备的至少一个距离传感器提供的真实环境的视图的深度图，将前方场景组的虚拟信息项重新分配给前方场景组或被遮挡场景组。

根据一个实施例，该方法还包括以下步骤：提供由所述系统设备的至少一个距离传感器提供的所述真实环境的视图的深度图，其中，所述标准至少部分地基于所述深度图来确定。

例如，几何模型是真实环境的2D模型，该2D模型描述了真实环境相对于特定平面例如2D模型的地平面的2D几何形状。几何模型通常不显示在视图中，而是用于如本文所述的计算和处理目的。然而，如果需要，几何模型也可以显示在视图中。

几何模型可以描述真实环境的以下属性中的至少一个：形状、对称性、几何尺寸、结构。几何模型可以表示城市地图、城市蓝图、建筑物的平面图或购物商场的蓝图。

根据另一实施例，所述几何模型为真实环境的3D模型，所述3D模型描述所述真实环境的3D几何形状。例如，所述真实环境的3D模型是从2D模型以及与所述2D模型的地平面正交的维度获得的。

优选地，在所述几何模型中，所述真实环境的内置真实对象是指由2D和3D几何形状中的至少一个表示的真实对象，该几何形状在所述几何模型中具有至少一个闭合边界，例如至少一个边缘或表面。

根据一个实施例，以半透明或虚线的方式示出了与所述真实环境的视图中的被遮挡真实对象相关的虚拟信息项，并且以不透明、实线或不同颜色的方式示出了与所述真实环境的视图中至少部分可见的真实对象相关的虚拟信息项。

本发明还涉及一种计算机程序产品，所述计算机程序产品适于被加载到数字计算机系统的内部存储器中并且包括软件代码部分，当所述产品在所述计算机系统上运行时，通过所述软件代码部分来执行根据上述方面和实施例中的任一个所述的步骤。

附图说明

根据以下描述并结合附图，本发明的其他方面、有利特征和实施例将是明显的，在附图中：

图1示出了根据本发明的在增强现实应用中将POI叠加至真实环境的视图的方法的实施例的流程图，

图2A示出了使用真实环境的2D模型来确定可见内置对象的实施例的流程图，

图2B示出了使用真实环境的3D模型来确定可见内置对象的另一实施例的流程图，

图3A示出了将POI与可见内置对象、前方场景组或被遮挡场景组相关的实施例的流程图，

图3B示出了将POI与内置对象、前方场景组或被遮挡场景组相关的另一实施例的流程图，

图4示出了根据本发明的在增强现实应用中将POI叠加至真实环境的视图的方法的另一实施例的流程图，

图5示出了包括以建筑物A、B、C、D和E形式的真实对象的示例性真实环境，

图6示出了根据图5的真实环境的示例性蓝图，其中建筑物A还包含包括真实对象Al、A2、A3和A4的真实环境62，

图7示出了从视点与视场的视角得到的图6的场景，并且示出了POI(POI_1、POI_2、POI_3、POI_4、POI_5、POI_6、POI_7、POI_8和POI_9)相对于真实环境的位置，

图8示出了以如图7所示的视点与视场所获取的真实环境的示例性图像，

图9示出了图8的将POI不透明地叠加至图像的场景，

图10示出了根据本发明的实施例的将POI叠加至图8的场景的图像的适当遮挡感知的实施例，

图11示出了根据本发明的实施例的将POI叠加至图8的场景的图像的适当遮挡感知的另一实施例，

图12示出了包括以建筑物F和G形式的真实对象的示例性真实环境，

图13示出了根据图12的真实环境的示例性蓝图，其中具有视点和POI(POI_10、POI_11和POI_12)相对于真实环境的位置，

图14示出了以如图13所示的视点与视场所获取的真实环境的示例性图像。

具体实施方式

图1以流程图的方式示出了本发明的实施例，该流程图示出了根据本发明的在增强现实应用中将虚拟信息项如POI叠加至真实环境的视图的方法的第一实施例。

在步骤1中，捕获装置，具体是相机，捕获真实环境的视图或真实环境的一部分的视图。例如，该视图可以由用户的眼睛捕获为视觉印象，和/或可以通过由用户佩戴的或附接在用户持有的装置上的相机获取为一个或更多个图像。在本实施例中，如图7所示，所捕获的视图可以用于确定视点71的姿态。

在步骤2中，确定捕获装置捕获真实环境的视图的视点71的位置和取向(姿态)以及视场72。视点的位置和取向以及视场应当相对于真实环境来确定。可以采用全球定位系统(GPS)来确定捕获装置的全球位置，例如地理坐标，如经度和纬度的2D坐标或者经度、纬度和海拔高度的3D坐标。各种取向传感器，如罗盘传感器和重力传感器，可以测量相对于全局坐标系的取向。真实环境的2D或3D几何模型也表示在全局坐标系中。在具有该信息的情况下，可以确定视点相对于真实环境的位置和取向。各种基于视觉的姿态估计方法可以用来估计视点的位置和取向，例如基于真实环境的2D或3D模型几何。视向连同视图的角度覆盖范围一起限定可以观看到真实环境的视场。

观看姿态即视点的位置可以是地理位置或相对于参考坐标系的位置。地理位置可以通过经度和纬度的2D坐标或者经度、纬度和海拔高度的3D坐标来描述。在许多情况下，例如在已知用户或相机装置处于真实环境的地平面的情况下，经度和纬度的2D坐标足以确定观看姿态的位置。

观看姿态(即视点)的取向描述了视向相对于参考坐标系的角度位置或姿势。观看取向连同视图的角度覆盖范围一起限定可以观看到真实环境的视场。

在获知视点的位置和取向并且使用几何模型如真实环境的2D和/或3D几何模型的情况下，如在下面更详细地阐述的，本发明的一个方面是确定或检查通过下述射线在几何模型中与内置对象的边界的交叉点或交点的数目：该射线介于视点的位置与相应的POI之间。

如本文中所描述的，真实环境的内置真实对象是指由2D和/或3D几何形状表示的真实对象，该2D和/或3D几何形状分别在真实环境的2D和3D模型中具有至少一个边界，具体是闭合边界，例如边缘、表面和/或壁，以用于界定该对象。该2D和/或3D几何形状可以通过描述边缘和表面的任何数学表示来定义，例如用于2D几何形状的多边形、圆形或闭合B样条，以及用于3D几何的多面体、球体、圆柱体。

本文中术语“边界”应当被理解为：该边界的一侧朝向一侧界定对象，例如其内侧，并且该边界的另一侧朝向其另一侧界定对象，例如其外侧。例如，该边界可以是下述线：该线的一侧朝向其内侧界定对象，即闭合或近乎闭合的对象如建筑物的内部，并且该线的另一侧朝向其外侧界定对象，如建筑物的外部。例如，该线可以表示建筑物的壁。根据另一示例，边界可以由具有两侧(即内侧和外侧)的壁限定，例如由一条线表示该壁的内侧并且由一条线表示该壁的外侧。在该示例中，边界应当被理解为由将壁表示为边界的两条线的集合形成，其中该边界的一侧(即，壁的内侧/线)朝向其内侧界定对象，而该边界的另一侧(即，壁的外侧/线)朝向其外侧界定对象。如果对象不是由闭合包界定的，如建筑物，而是具有开放形状(例如壁)，则对象的内侧应当被理解为边界的面向远离视点的一侧，而对象的外侧应当被理解为边界的面向视点的一侧。

建筑物或道路通常是城市的内置真实对象，原因在于建筑物或道路在2D城市地图中通过多边形表示。房间可以是室内场景的内置真实对象，原因在于房间在室内场景的2D蓝图中通过多边形表示。人或行驶的汽车经常不是内置真实对象，原因在于它们在真实环境的2D或3D模型中不被描述为真实环境的一部分。

根据本发明的一个方面，确定真实环境中的哪些内置真实对象应当在真实环境的视图中可见或部分可见。这可以通过使用观看姿态的位置和取向以及真实环境的2D和/或3D几何模型来实现。通过考虑来自距离传感器的真实环境的视图的深度图可以获得关于可见内置真实对象的更加逼真的结果，其是可选的并且将在下面更详细地描述。本发明的一个方面还公开了一种确定POI应当以遮挡模式还是非遮挡模式进行显示的方法。如下面更详细地描述的，这通过基于交叉或相交边界的数目使相应POI与内置真实对象相关来实现。

具体地说，真实环境的2D模型描述真实环境相对于特定平面的2D几何形状。几何描述了以下属性，但不限于：形状、对称性、几何尺寸、以及结构。由2D模型描述的特定平面可以指2D模型的地平面。

真实环境的2D模型可以是城市地图、城市蓝图、建筑物的平面图或购物商场的蓝图。城市地图或蓝图通常描述城市相对于地平面的2D几何形状。建筑物的平面图可以用作建筑物在特定楼层上的2D几何形状或结构。地平面和地板平面在本文中分别用作2D城市地图的地平面和2D地平面。

具体地说，真实环境的3D模型描述真实环境的3D几何和真实环境的真实对象。环境的3D模型可以从2D模型以及与2D模型的地平面正交的维度获得。城市的3D模型可以根据城市蓝图以及相应的高度数据来构建。3D模型也可以是作为环境表面的垂直和水平维度的地形。

图12示出了包括以建筑物F和G形式的真实对象的示例性真实环境，并且图13示出了根据图12的真实环境121的示例性蓝图，其中具有视点131和虚拟信息项(这里为POI)，特别地为POI_10、POI_11和POI_12相对于真实环境的位置。图14示出了在如图13所示的视点与视场所获取的真实环境的示例性图像141。

当POI位于在真实环境的视图中可见的内置真实对象内时，在相关联的POI与视点之间很可能存在内置真实对象的一个边界(参见例如图13，其中具有视点131和用于作为真实环境121中的内置真实对象的建筑物F的POI_10，该边界为建筑物F相对于在视点131处捕获的视图141的前壁)。因此，如果交叉(或相交)边界的数目小于2，则该POI应当以非遮挡模式叠加至视图，否则应当以遮挡模式叠加至视图。视点131与POI_10之间的射线134与1个边界交叉。POI_10以非遮挡模式例如实线叠加至视图141(参见图14)。视点131与POI_12之间的射线132与2个边界交叉。POI_12以遮挡模式例如虚线叠加至视图141(参见图14)。POI_11具有相同的情况(参见图14)，原因在于射线133与3个边界交叉。

也可以将与相应内置真实对象的少于2个边界交叉的POI的位置相对于视点移动至相应交叉边界的前方。然后，与对应深度数据(例如来自距离传感器)相比位于较靠近视点处的POI将以非遮挡模式显示，而与对应深度数据相比位于较远离视点处的POI将以遮挡模式显示。只要在无需重新计算交叉边界的数目的情况下交叉边界在真实环境的视图中可见，这可能对于所有情况起作用。

现在返回到图1的处理，步骤3确定真实环境的视图中的可见的内置真实对象。可见的内置真实对象是在真实环境的视图中可见或部分可见的内置真实对象(或者如在本文中简称为内置对象)。部分可见意味着内置对象的至少一部分在该视图中是可见的。本发明的一个方面公开了一种确定真实环境中的哪些内置对象应当在真实环境的视图中可见或部分可见的方法。这可以通过使用观看姿态的位置和取向以及真实环境的2D和/或3D几何模型来实现。通过考虑来自距离传感器的真实环境的视图的深度图可以获得确定可见内置对象的更加逼真的结果。

在许多情况下，视点和POI的2D位置以及真实环境的2D模型足以确定可见内置对象。一个示例为下述情况：视点和视场内的内置对象处于与真实环境的地平面相同的距离水平。例如，捕获装置位于地球平面，其中，所有建筑物和地标均位于城市的真实环境中的同一地球平面。另一示例为下述情况：其中，视场内的内置对象处于与真实环境的地平面相同的距离水平，并且内置对象具有与地平面相同的高度或者该高度不影响内置对象在视图中的可见性。例如，购物商场内的所有商店可以具有相同的高度，并且该高度不会影响在由购物商场内的捕获装置捕获的视图中的商店的可见性。

在图2A中示出了根据图1的步骤3使用真实环境的2D模型来确定可见内置对象的实施例。步骤3.1A提供真实环境的2D模型。步骤3.2A根据在2D模型的2D平面上在视场内从视点射出射线来确定可见的内置对象。如果内置对象的至少一部分与来自视点的射线最先相交，则该内置对象在视图中是可见的。交点坐标可以基于来自视点的射线方程和内置对象的2D几何模型的方程来计算。此外，步骤3.2A计算每个可见内置对象覆盖的视图区域的部分。例如，可见内置对象覆盖的视图区域可以是可见内置对象在真实环境的视图下捕获的图像中的图像区域。可见内置对象覆盖的视图区域的部分可以基于图像平面与确定视图中的可见内置对象的对应射线或对应射线的一部分之间的交点来确定。可见内置对象覆盖的视图区域的部分还可以在获知视点相对于真实环境的位置和取向的情况下基于将可见内置对象的几何形状或该几何形状的一部分投影到图像平面上来确定。

在步骤3.3A中，执行是否存在来自一个或更多个距离传感器(例如飞行时间相机)的针对真实环境的视图的深度图的检查。深度图是由一个或多个距离传感器测量的深度数据的集合，该一个或多个距离传感器测量从视点到真实环境或真实环境的一部分的距离(即深度)。如果来自距离传感器的深度图不可用，则处理结束。如果根据步骤3.3A来自一个或更多个距离传感器的深度图是可用的，则执行步骤3.4A。

真实环境通常包含真实对象，例如不存在于真实环境的2D模型中的行驶的汽车和/或人。使用来自距离传感器的深度图可以提供确定可见内置对象的更加逼真的结果，原因在于距离传感器测量从视点到真实环境的距离。

在步骤3.4A中，可以根据深度图对在步骤3.3A中确定的可见内置对象的可见性进行重新确定。对于来自步骤3.3A的每个可见内置对象，创建模拟高度，使得该模拟高度至少覆盖相对于视场的地平面正交的维度。然后，可以根据模拟高度以及可见内置对象的2D模型来重建该可见内置对象的3D模型。将3D模型与来自深度数据的对应深度进行比较。如果3D模型的至少一部分与对应深度相比并未离视点更远，则内置对象在视图中是可见的，否则内置对象在视图中是不可见的。注意到，深度图的深度数据可以指示不存在内置对象，如朝向天空。因而，在步骤3.4A中重新确定可见内置对象之前，可以将超过一定阈值的深度设置为零深度。

在接下来的步骤3.5A中，图像平面与根据深度图重新确定可见内置对象的对应射线之间的交点可以重新定义可见内置对象覆盖的视图区域的至少一部分。

在图2B中示出了根据图1的步骤3使用真实环境的3D模型来确定可见内置对象的一个实施例。步骤3.1B提供真实环境的3D模型，在该3D模型中可以由多面体来表示真实环境的内置对象。环境的3D模型可以从2D模型以及与2D模型的地平面正交的维度来获得。城市的3D模型可以从城市蓝图以及对应的高度数据来构建。在接下来的步骤3.2B中，检查是否存在来自距离传感器(例如飞行时间相机)的针对真实环境的视图的深度图。如果来自距离传感器的深度图不可用，则执行步骤3.3B。

在步骤3.3B中，基于视点的姿态和真实环境的3D模型来生成针对真实环境的视图的深度图。这可以通过使用射线投射(ray casting)法或所谓的光栅化(rasterization)方法来实现。射线投射的基本概念为：在3D空间中从视点发射多条射线，并且检测该射线与由3D模型限定的表面的最先交点。在射线投射的过程中，通过最先与来自视点的射线相交的内置对象的至少一部分来确定可见内置对象。

如果根据步骤3.2B来自距离传感器的深度图可用，则执行步骤3.4B。在步骤3.4B中，如果内置对象的至少一部分沿着从视点起的射线并不比深度图中的对应深度远，则该对象在视图中是可见的。

在接下来的步骤3.5B中，计算每个可见内置对象覆盖的视图区域的部分。可见内置对象覆盖的视图区域的部分可以基于图像平面与确定视图中的可见内置对象的对应射线或对应射线的一部分之间的交点来确定。可见内置对象覆盖的视图区域的部分还可以在获知视点相对于真实环境的位置和取向的情况下基于将可见内置对象的几何形状或该几何形状的一部分投影到图像平面上来确定。

图5示出了包括内置对象A、B、C、D和E的真实环境51。内置对象A还包含包括内置对象Al、A2、A3和A4(图6)的真实环境(室内环境)62。在图8中将在具有视场72的视点71处捕获的真实环境51的视图示出为图像81。基于所公开的使用3D模型来确定真实环境的视图中的可见内置对象的方法，A、B、C和E是视图81中的可见内置对象。

再次参照图1，步骤4选择待显示、叠加或混和在真实环境的视图中的POI。感兴趣点(POI)包括与真实环境中的内置真实对象相关的位置和数字内容。POI的位置可以在任何地方，但是要在相关的内置真实对象内。

基本上，如由Meier等人在参考文献[3]中所公开的，POI可以来自各种来源并且建立用于大量的不同形式的信息。可以自动地从因特网提取POI信息。例如，这可以是具有地址或评级页面的公司或餐厅网站。用户可以在不同位置存入文本、图像或3D对象，并使其可用于其他人。可以针对地理信息来搜索信息页面如维基百科，并且该页面可以作为POI被访问。POI可以根据移动设备的用户的搜索和浏览行为自动生成。可以示出其他感兴趣的地方，如地下交通或公交车站、医院、警察局、医生、房地产广告或健身俱乐部。

可以基于不同的标准来选取或选择在真实环境的视图中待叠加或混和的POI，该标准例如为从视点起的距离、沿着从视点起的视线和/或在视场内。

图1中的步骤5使所选的POI中的每一个与可见内置对象、前方场景组或被遮挡场景组相关。在前方场景组中，以非遮挡模式示出POI；而在被遮挡场景组中，POI被处理为以遮挡模式示出(例如，根本未示出或以虚线等示出，如本文中更详细描述的)。

视点和POI的2D位置以及真实环境的2D几何模型足以将所选POI中的每一个与可见内置对象或无关的组相关。一个示例为下述情况：视点与视场内的内置对象处于与真实环境的地平面相同的距离水平。例如，捕获装置位于地球平面，其中所有建筑物和地标均位于城市的真实环境中的同一地球平面。另一示例为下述情况：其中，视场内的内置对象处于与真实环境的地平面相同的距离水平，并且内置对象具有与地平面相同的高度或者高度不影响内置对象在视图中的可见性。例如，购物商场内的所有商店可以具有相同的高度，并且高度将不会影响商店在购物商场的室内场景的视图中的可见性。

可以基于检测虚拟信息(即POI)的点是否在内置对象的2D或3D几何形状内来将POI与可见内置对象、前方场景组或被遮挡场景组相关。可以使用用于检测点是否在2D或3D几何形状内的若干种方法，具体是例如点在多边形内检测(参见参考文献[7，8])或点在多面体内检测(参见参考文献[9])。在本发明的一个方面，提出了POI是否位于内置对象内的检测。其通过基于从POI到视点的射线与边界(例如对于2D和3D几何形状分别为边缘和表面)交叉来实现。这种基于射线投射的方法可以通过下述方式来检测点是否位于2D(或3D)几何内：检查从该点开始并沿任意方向行进的射线与该2D(或3D)几何的边缘(或表面)相交多少次。如果点在外部，则交点的数目为偶数；并且如果点在内部，则交点的数目为奇数。已知的是视点在所有可见内置对象(2D或3D几何必须被检测)外。因此，该检测可以从POI开始沿着射线进行，直到该射线到达视点为止。

存在虚拟信息项(例如POI)是否位于内置对象内的另一种提出的检测。例如，在参考文献[7]中提出可以使用角度求和法用于检测2D多边形中的点。角度求和法可以如下来实现：将在该点处通过每个边缘的端点形成的带符号角度求和。一个带符号角度由该点对向一个边缘的两个端点来形成。如果和为零，则该点在外部；如果和不为零，则该点在内部。角度求和法可以应用于可以由多边形近似的任何2D几何。通过形成与点和3D几何形状交叉的2D几何形状，角度求和法还可以应用于检测该点是否在该3D几何形状内。如果存在该点不在其内部的一个交叉2D几何形状，则该点在上述3D几何形状外，否则该点在上述3D几何形状内。

通过图3A中所示的流程图，将POI与可见内置对象或无关的组相关的潜在实现描述为用于实现图1的步骤5的实施例。

步骤5.1创建从POI的位置开始到视点的射线。步骤5.2检测射线与内置对象(优选地所有内置对象)的边界(例如，边缘或表面)的交点。如果没有任何交点，则将POI与前方场景组相关(步骤5.3)。如果存在交点，则按照交点与POI的距离增加的顺序对与射线相交的内置对象排序(步骤5.4)。步骤5.5从排序组获得最先相交的内置对象。步骤5.6基于交叉边界来检查该POI是否位于相交的内置对象内。如果该POI位于相交的内置对象内，则检查相交的内置对象是否为可见内置对象(步骤5.7)。如果相交的内置对象为可见内置对象，则将POI与对应的可见内置对象相关(步骤5.11)。如果相交的内置对象不是可见内置对象，则由步骤5.6和5.7所致，步骤5.8检查被检查的相交内置对象是否为排序组中的最后一个。如果被检查的相交内置对象是最后一个，则将该POI与被遮挡场景组相关(步骤5.9)。否则，移动到排序组中的下一个相交内置对象(步骤5.10)。

返回图1，步骤6是可选的，步骤6基于从一个或多个距离传感器提供的深度图将前方场景组的POI重新分配至前方场景组或被遮挡场景组。这可以基于包含例如汽车和/或人的真实环境的现实深度数据产生针对前方场景组和被遮挡场景组的更加现实的结果。不存在于环境的2D或3D模型中的汽车或人可以相对于视点处于POI前方并且遮挡POI。如果从POI到视点的距离长于深度图中沿着从该POI到视点的射线的对应深度，则该POI与被遮挡场景组相关联，否则与前方场景组相关联。

基于所公开的使用2D模型将POI与可见内置对象、前方场景组或被遮挡场景组相关的方法，如图10所示，前方场景组包括POI_2，并且被遮挡场景组包括POI_7和POI_8。此外，POI_1与可见内置对象B相关，POI_6与可见内置对象C相关，POI_9与可见内置对象E相关，以及POI_3、POI_4和POI_5与可见内置对象A相关。

在图4中示出了根据本发明的方法的另一实施例。关于步骤1、2、3、4、6和7，图1和图4所示的实施例彼此对应。根据图4的实施例相对于图1的区别在于步骤44和45，如以下所阐述的。

根据图4所示的实施例，可以在无需获知可见内置对象的情况下将所选POI中的每一个与内置对象、前方场景组或被遮挡场景组相关(步骤44)。只要从步骤3得到可用的可见内置对象的信息，步骤45就可以将与不可见内置对象相关的POI分配给被遮挡场景组。

图3B示出了作为用于实现图4的步骤44的实施例的、将所选POI中的每一个与内置对象、前方场景组或被遮挡场景组相关的潜在实现。关于步骤5.1、5.2、5.3、5.4、5.5、5.6和5.8、5.9、5.10，图3A和3B所示的实施例彼此对应。根据图3B的实施例相对于图3A的区别在于步骤5.12代替步骤5.7和5.11。在步骤5.12中，POI与相应的内置对象相关，无论该内置对象是否是可见的。只要从步骤3得到可用的可见内置对象的信息，图4中的步骤45就将如图3B所示尚未分配给被遮挡场景组或前方场景组并且与不可见内置对象相关的POI分配至被遮挡场景组。任何剩余的内置对象及其相关联的POI被处理为属于至少部分可见的内置对象。

根据图1和图4的两个实施例，步骤7将与可见内置对象相关的POI以非遮挡方式叠加至真实环境的视图，将前方场景组的POI以非遮挡方式叠加至真实环境的视图，以及将被遮挡场景组的POI以遮挡方式叠加至真实环境的视图。被遮挡的POI可以以半透明或虚线的方式示出，而未被遮挡的POI可以以不透明、实线或不同颜色的方式示出，如图10所示。

此外，相应POI应当优选地以可用且友好的方式叠加至真实环境的视图，使得用户可以从叠加的POI迅速且直观地了解真实环境。POI在真实环境的视图中的布置可以提高将POI与真实环境的视图叠加的可用性和友好性。可以将与可见内置对象相关的POI置于该可见内置对象的视图区域的一部分内或附近。为此目的，步骤3.2A、3.5A和/或3.5B可以计算每个可见内置对象覆盖的视图区域的部分。例如，优选的是在视图81中将POI_6设置成接近于相关的可见内置对象C覆盖的区域，如图10所示。另一示例为在视图81中将POI_3、POI_4和POI_5放置在相关的可见内置对象A覆盖的区域处，如图10所示。由于内置对象B在视图81中是可见的或部分可见的，所以相关的POI_1在视图81中放置在内置对象B的图像区域处。

更具体地说，优选的是将POI放置在真实环境的视图中有意义的位置处。对于在真实环境中具有入口的建筑物，与建筑物相关的POI可以叠加在入口覆盖的视图区域的部分附近或内部。在真实环境51的视图81中，POI_3、POI_4和POI_5被定位在建筑物A的入口处，并且POI_9被定位在建筑物E的入口处(图11)。入口的图像区域可以使用在其中指定入口的2D或3D模型，基于射线投射或光栅化来确定。基于图像的模式识别方法也可以基于入口的视觉特性，例如不同于周边的纹理，来检测入口的图像区域。

此外，当捕获装置位于真实对象内并且捕获室内环境的视图时，与该真实对象相关的POI可以以与遮挡模式和非遮挡模式不同的模式叠加至视图。这可以使用户意识到他们处于该真实对象内。

参考文献：

1.US20120113138A1

2.US20120075341A1

3.US20120176410A1

4.Hoellerer，T.，and S.Feiner.″Mobile augmented reality.″Telegeoinformatics：Location-Based Computing and Services.Taylor and FrancisBooks Ltd.，London，UK(2004).

5.Feiner，Steven，et al.″A touring machine：Prototyping 3D mobileaugmented real-ity systems for exploring the urban environment.″PersonalandUbiquitous Com-puting 1.4(1997)：208-217.

6.Woop et al.″RPU：a programmable ray processing unit for realtime raytracing.″ACM Transactions on Graphics(TOG).Vol.24.No.3.ACM，2005

7.Ivan Sutherland etal.，″A Characterization of Ten Hidden-SurfaceAlgorithms″1974，ACM Computing Surveys vol.6 no.1.

8.″Point in Polygon，One More Time...″，Ray Tracing News，vol.3 no.4，October 1，1990.

9.Horvat，.″Ray-casting point-in-polyhedron test.“2012

Claims (15)

1.一种用于在真实环境的视图中表示虚拟信息的方法，包括以下步骤：

提供包括至少一个显示装置的系统设备，其中，所述系统设备适于在所述显示装置上混和虚拟信息；

确定视点相对于所述真实环境的至少一个要素的位置；

提供所述真实环境的几何模型，所述几何模型包括所述真实环境的各个真实对象的多种表示，每种表示包括至少一个2D或3D几何形状，所述2D或3D几何形状具有界定相应对象的至少一个边界，其中，所述边界的一侧朝向其内侧界定所述真实对象的表示，并且所述边界的另一侧朝向其外侧界定所述真实对象的表示；

计算所述视点和真实对象之间的第一射线；

基于第一射线确定所述视点与所述真实对象之间的距离；

从与所述显示装置相关联的深度传感器接收所述真实环境的深度图，该深度图具有所述视点与所述真实对象之间的距离的指示；

基于第一射线与该距离的指示之间的比较，确定所述真实对象是可见对象；

提供与所述真实对象相关的至少一个虚拟信息项和所述至少一个虚拟信息项的位置；

根据所述视点的位置和所述几何模型来确定用于将所述至少一个虚拟信息项与在所述显示装置上显示的图像混和的可视化模式；

计算所述视点与所述虚拟信息项之间的第二射线；以及

确定与所述射线的边界交点的数目，

其中，在所述边界交点的数目小于2的情况下，以非遮挡模式混和所述虚拟信息项，和/或将所述虚拟信息项的位置相对于所述视点移动至所相交边界的前方，以及

其中，在所述边界交点的数目大于1的情况下，以遮挡模式混和所述虚拟信息项。

2.根据权利要求1所述的方法，其中，迭代地执行所述方法，其中在每次迭代中，所述虚拟信息项的高度增加，并且当通过所述射线的所述边界交点的数目变为小于2时或当所述高度超过预定限度时，停止所述迭代。

3.根据权利要求1或2中的一项所述的方法，其中，确定虚拟信息项的可视化模式受所述虚拟信息与所述视点的距离影响，并且假如所述虚拟信息项被确定为以非遮挡模式混和，所述虚拟信息项的图形表示被添加至所述几何模型，并且在确定后续虚拟信息项的可视化模式时考虑所述虚拟信息项的图形表示。

4.根据权利要求1或2中的一项所述的方法，其中，所述几何模型是从与所述显示装置相关联的深度传感器源得到的，所述深度传感器源例如为立体相机、阵列相机或飞行时间相机。

5.根据权利要求1或2中的一项所述的方法，其中，所述几何模型为真实环境的2D模型，所述2D模型描述所述真实环境相对于特定平面的2D几何形状，特别是相对于所述2D模型的地平面。

6.根据权利要求1或2中的一项所述的方法，其中，所述几何模型描述所述真实环境的以下属性中的至少一种：形状、对称性、几何尺寸、结构。

7.根据权利要求1或2中的一项所述的方法，其中，所述几何模型表示城市地图、城市蓝图、建筑物的平面图或购物商场的蓝图。

8.根据权利要求1或2中的一项所述的方法，其中，所述几何模型为真实环境的3D模型，所述3D模型描述所述真实环境的3D几何形状。

9.根据权利要求8所述的方法，其中，所述真实环境的所述3D模型是从2D模型以及与所述2D模型的地平面正交的维度获得的。

10.根据权利要求1或2中的一项所述的方法，其中，在所述几何模型中，所述真实对象是指在所述几何模型中由2D和3D几何形状中的至少一种几何形状表示的真实对象，所述至少一种几何形状具有至少一个闭合边界，具体是至少一个边缘或表面。

11.根据权利要求1或2中的一项所述的方法，其中，以半透明或虚线的方式示出与被遮挡真实对象相关的虚拟信息项，并且以不透明、实线或不同颜色的方式示出与至少部分可见的真实对象相关的虚拟信息项。

12.根据权利要求1或2中的一项所述的方法，其中，所述系统设备适于：通过拍照来提供所述真实环境的至少一个视图；以及在所述显示装置上混和虚拟信息，使得所述虚拟信息在所述视图的至少一部分中与所述真实环境叠加。

13.根据权利要求1或2中的一项所述的方法，其中，所述系统设备适于：提供所述真实环境的至少一个渲染视图；以及在所述显示装置上混和虚拟信息，使得所述虚拟信息在所述视图的至少一部分中与所述真实环境叠加。

14.根据权利要求1或2中的一项所述的方法，其中，所述系统设备适于：提供所述真实环境的至少一个视图；以及在显示装置上混和虚拟信息，使得所述虚拟信息在所述视图的至少一部分中与所述真实环境叠加。

15.一种其上存储有软件代码部分的计算机可读介质，其中，所述软件代码部分在由数字计算机系统执行时，使得所述数字计算机系统执行根据权利要求1至14中任一项所述的方法。