CN116057577A - 用于增强现实的地图 - Google Patents

Abstract

在增强现实系统中，从通过表示真实环境的捕获数据获得的3D纹理网格生成真实环境的地图。在网格上进行一些处理，以移除非必要的元素并生成地图，该地图包括一组2D图片：一张图片用于地面层，一张图片用于场景的其他元素。然后，可以在增强现实设备上呈现所生成的地图。地面内容和非地面内容可以独立呈现，然后使用代理在地图中实时定位并显示附加元素，诸如增强现实场景的其他用户或虚拟对象。该呈现可适合用户姿态以及设备本身。

Description

用于增强现实的地图

技术领域

本实施方案中的至少一个实施方案总体上涉及增强现实，并且更具体地涉及表示真实环境的地图的生成以及该地图与增强现实场景的关联。

背景技术

增强现实(AR)是一种概念和一组技术，用于合并真实元素和虚拟元素以产生物理和数字对象共存并实时交互的可视化。AR可视化需要一种装置以将增强的虚拟元素视为物理视图的一部分。这可使用装有摄像头和显示器的增强现实终端(AR终端)来实现，该增强现实终端从用户环境中捕获视频，并将该捕获信息与显示器上的虚拟元素相结合。这样的设备的示例是诸如智能电话、平板计算机或头戴式显示器等。3D模型和动画是AR中最明显的待可视化虚拟元素。然而，AR对象通常可以是空间性(空间中的3D位置和定向)为其提供附加价值的任何数字信息，例如图片、视频、图形、文本和音频。AR可视化可从不同视点正确地看到，使得当用户改变他/她的视点时，虚拟元素就像物理场景的一部分一样。这需要捕获和跟踪技术，用于通过扫描真实环境来推导出环境的3D特性以产生AR内容，并且在观看内容时跟踪AR终端相对于环境的位置。AR对象的位置是相对于物理环境来定义的，使得AR对象可被增强到物理现实中。可例如通过跟踪AR终端的视频流中的已知对象或使用一个或多个传感器来跟踪AR终端的位置。通常，当开始AR会话时，使用在虚拟环境内位置已知的已知简单对象(打印的QR码、图片框)来同步定位。

增强现实系统用户面临的挑战是将用户自己定位在增强环境中。即使AR应用发生在物理受限位置(诸如房间)，当用户专注于他的AR终端时，他/她对环境的定向和感知可能是存在偏差。例如，用户的视觉注意力集中在AR终端的屏幕上以至于有时她/他不知道她/他在房间中的位置。对于诸如电话和平板计算机之类的手持式视频传输设备而言显然是这样的，但是对于头戴式光学透视显示器而言也是如此，因为它们的视野有限。为了在真实世界中定位自己，用户被迫离开他们的屏幕环顾四周，这是不太实际的。另外，在多用户应用的情况下，用户不一定知道其他用户位于何处。

因此，显示环境的鸟瞰图(一种地图)将是有用的，该鸟瞰图提供整个环境的概览并且实时显示增强环境的其他用户的位置。这样的解决方案在游戏和VR应用中非常常见，因为这些应用是基于手动建模的虚拟环境。从这样的数据中提取一张完美的地图是很容易的。这在AR中并不常用，因为AR应用通常基于对真实环境的扫描。该扫描允许将虚拟场景正确地定位在真实环境的顶部。可使用例如基于运动恢复结构(SFM)或多视图立体(MVS)技术的3D重建方法，用一组拍摄的照片来构建房间的3D模型，以覆盖房间中所有元素。然而，这样的重建3D模型通常是不完整的、有噪声的并且界限感很差。

下文描述的实施方案在设计时考虑了前述内容。

发明内容

在至少一个实施方案中，在增强现实系统中，从通过表示真实环境的捕获数据获得的3D纹理网格生成真实环境的地图。在网格上进行一些处理，以移除非必要的元素并生成地图，该地图包括一组2D图片：一张图片用于地面层，一张图片用于场景的其他元素。

然后可在AR终端上呈现所生成的地图。地面内容和非地面内容可独立呈现，然后诸如AR场景的其他用户或虚拟对象之类的附加元素被定位并使用代理在地图中实时表示。最后，该呈现可适合用户移动、姿态以及设备本身。

至少一个实施方案的第一方面涉及一种用于创建表示增强现实场景的地图的方法，该方法包括：从捕获数据重建3D纹理网格；将重建3D纹理网格分割成第一3D纹理网格和第二3D纹理网格，在该第一3D纹理网格中表示场景的地面的数据已经被移除，该第二3D纹理网格表示场景的地面；以及呈现第一图片和第二图片，该第一图片来自第一3D纹理网格的俯视图，该第二图片来自所检测到的地面层处的俯视图，其中该地图包括第一图片和第二图片。

至少一个实施方案的第二方面涉及一种用于创建表示增强现实场景的地图的装置，该装置包括处理器，该处理器被配置为：从捕获数据重建3D纹理网格；将重建3D纹理网格分割成第一3D纹理网格和第二3D纹理网格，在该第一3D纹理网格中表示场景的地面的数据已经被移除，该第二3D纹理网格表示场景的地面；以及呈现第一图片和第二图片，该第一图片来自第一3D纹理网格的俯视图，该第二图片来自所检测的地面层处的俯视图，其中该地图包括第一图片和第二图片。

在第一方面和第二方面的变型中，表示场景的地面的第二3D纹理网格由使用基于检测到的墙壁面与地平面之间的相交线的多边形的网格来代替，第二3D纹理网格的纹理通过图像修补过程来确定，或者使用纹理合成来重新生成，或者利用表示原始第二图片的平均颜色的单个颜色值来均匀填充，基于第二3D纹理网格的边界以及第一图片和第二图片的像素尺寸，根据摄像头参数使用正交摄像头来进行呈现，所使用的正交摄像头位于增强现实场景的中心处，基于第二3D纹理网格的边界来确定该中心，从捕获数据中清理3D纹理网格以移除孤立元素，清理捕获数据中的3D纹理网格以移除检测到的墙壁面和第二3D纹理网格的地平面之外的元素。

至少一个实施方案的第三方面涉及一种用于显示表示增强现实场景的地图的方法，该方法包括：获得表示增强现实场景的数据、根据第一方面生成的地图、表示用户定位的信息、表示真实环境的捕获的数据；以及显示表示真实环境的捕获的数据的表示，其上依次覆盖有表示增强现实场景的数据的表示、地图的表示和用户定位的表示。

在第三方面的变型中，地图的尺寸响应于用户输入，与地面相关的第二图片是透明显示的。

至少一个实施方案的第四方面涉及一种增强现实系统，该增强现实系统包括增强现实场景、增强现实控制器和增强现实终端，其中根据第一方面生成的地图与增强现实场景相关联并且由增强现实终端显示。

根据至少一个实施方案的第五方面，呈现了一种包括能够由处理器执行的程序代码指令的计算机程序，该计算机程序至少实施根据第一方面的方法的步骤。

根据至少一个实施方案的第六方面，呈现了一种存储在非暂态计算机可读介质上并且包括能够由处理器执行的程序代码指令的计算机程序产品，该计算机程序产品至少实施根据第一方面的方法的步骤。

附图说明

图1示出了在其中实现各种方面和实施方案的增强现实系统的示例的框图。

图2示出了根据实施方案的增强现实终端的示例性具体实施的框图。

图3示出了根据实施方案的增强现实控制器的示例性具体实施的框图。

图4示出了根据至少一个实施方案的用于生成AR地图的过程的示例性流程图。

图5示出了根据至少一个实施方案的显示AR地图的过程的示例性流程图。

图6A和图6B示出了根据实施方案的在AR地图生成过程的步骤420中生成的重建3D纹理网格。

图7A和图7B示出了根据实施方案的在AR地图生成过程的步骤430中获得的清理后的网格。

图8A示出了根据实施方案的用于地图生成过程的呈现步骤430的正投影的示例。

图8B示出了根据实施方案的用于地图生成过程的呈现步骤430的变换的示例。

图9A、图9B和图9C示出了根据实施方案的用于地图生成过程的呈现步骤430的正投影的第二示例。

图9D示出了根据实施方案的包括用于地图生成过程的呈现步骤430的旋转的正投影的第二示例。

图10A和图10B示出了根据实施方案的正投影的呈现的示例。图10C和图10D是表示这些呈现示例的简化等效绘图。

图11A和图11B示出了根据实施方案的地图生成过程的步骤450的结果的示例。图11C和图11D是表示结果的这些示例的简化等效绘图。

图12A示出了根据实施方案的在AR终端上显示的AR地图的屏幕截图的示例。图12B是表示该屏幕截图的简化等效绘图。

图13示出了世界坐标系参考与AR地图坐标轴之间的映射的示例。

图14A表示位于AR场景内并显示AR地图的AR终端的显示器的屏幕截图。图14B是表示该屏幕截图的简化等效绘图。

图15A和图15B示出了根据实施方案的使用缩放特征在AR终端上显示AR地图的示例。

图16示出了根据实施方案的使用透明度特征在AR终端上显示AR地图的示例。

图17A和图17B示出了根据实施方案的使用以用户为中心的裁剪特征在AR终端上显示AR地图的示例。

具体实施方式

图1示出了在其中实现各种方面和实施方案的系统的示例的框图。多个用户(此处为爱丽丝和鲍勃)可同时从虚拟对象在AR场景中的位置查看虚拟对象并与其交互，该AR场景是共享的增强真实世界3D环境。每个用户都可实时地看到AR场景中的修改。AR场景120的数字表示由AR控制器110处理，该AR控制器还管理增强环境中用户之间的交互的协调。AR控制器可包括不同的功能元件。场景控制器112处理所生成的包括地图的环境数据。用户控制器管理使用AR终端的注册用户，尤其是管理其重新定位状态和AR终端的当前姿态。模块在注册时向用户分配ID，并且在用户注销时，即离开应用时，将该ID移除。当用户被重新定位时，他频繁地将其姿态传输到服务器，然后该服务器将姿态提供给参与AR体验的所有用户。在刚性对象这一背景下，姿态由世界坐标系内的位置和定向来定义。定位控制器114执行重新定位过程以估计AR终端在共享世界坐标系中的姿态。应用控制器115管理特定于给定应用的数据。在AR聊天应用的示例中，该控制器管理由用户发送的消息，通知接收者何时可以收到消息，等等。

为了享受AR场景，用户使用AR终端(100A,100B)加入共享增强空间中的其他用户。AR终端显示叠加到真实世界环境的视野的AR场景的虚拟对象。为了确保与AR场景的一致交互，所有AR终端必须被不断定位在相同的世界坐标系中。AR终端和AR控制器通过耦合到通信网络150的相应通信接口111和通信接口101一起交换数据。该网络优选是无线的以向AR终端提供移动性。

从功能的角度来看，AR终端100A和AR终端100B可包括使用传感器102(诸如，摄像头、惯性测量单元、各种输入控件(键、触摸屏、麦克风))的感测能力，以及向用户呈现AR场景的显示能力104。AR应用103允许控制用户、AR场景和其他用户之间的交互。

在使用图1的系统的协作体验中，在所有用户之间共享虚拟对象。每个用户可使用自己的AR终端来显示AR场景。每个用户可以与表示增强环境中的用户的AR代理相关联。AR代理的姿态与用户的AR终端的姿态相关联。AR代理可以采取类似人的3D模型或任何其他虚拟对象的形式。用户将移动到AR场景中，与共享的AR场景的虚拟对象交互或通过其AR代理与其他用户交互。例如，当爱丽丝向右移动时，AR终端100A将向右移动，因此AR场景内的对应AR代理的姿态将由AR控制器110更新并提供到其他AR终端以反映到这些设备中，使得鲍勃可在其AR终端100B上可视化爱丽丝的移动。稳定性对于体验的整体成功至关重要，特别是对于不同AR终端的定位和对其移动的跟踪而言。

在空间中定义真实对象的位置和定向被称为位置跟踪，可以借助于传感器来确定。当真实对象移动或被移动时，传感器记录来自真实对象的信号，并且相对于整个真实环境分析对应的信息以确定姿态。AR终端的位置跟踪可使用不同的机制，包括无线跟踪、具有或不具有标记的基于视觉的跟踪、惯性跟踪、传感器融合、声学跟踪等。

在消费者环境中，光学跟踪是常用于位置跟踪的技术之一。实际上，典型的具有增强现实能力的设备(诸如智能电话、平板电脑或头戴式显示器)包括摄像头，该摄像头能够提供面向设备的场景的图像。一些AR系统使用类似QR码的可见标记，这些标记被印刷到真实场景和AR场景中的已知位置处，因此使得能够在检测这些QR码时执行虚拟世界与真实世界之间的对应。

侵入性较小的无标记AR系统可使用两步法，其中首先对AR场景建模以便在第二步骤中实现定位。建模可例如通过捕获真实环境来完成。从对应于真实环境的捕获数据中检测特征点。特征点是可跟踪的3D点，因此其必须能够与当前图像中的最近点区分开来。根据该要求，可以将其与对应于所捕获环境的视频序列中的对应点进行唯一匹配。因此，特征的邻域应当与小位移后获得的邻域有足够的差异。通常，它是类似于角落的高频点。这样的点的典型示例是桌子的一角、地板和墙壁之间的接合处、家具装备上的旋钮、墙上框架的边界等。AR场景也被建模而不是被捕获。在这种情况下，锚点被关联到虚拟环境中选定的独特点。然后，当使用这样的AR系统时，不断地分析从AR终端捕获的图像，以识别之前确定的独特点，从而与它们在虚拟环境中的位置进行对应，以确定AR终端的姿态。

除此之外，一些AR系统将所捕获图像的2D特征点与例如通过飞行时间传感器获得的深度信息或与例如基于微机械系统从加速计、陀螺仪或惯性测量单元获得的运动信息结合。

根据图1中所描述的系统，该分析可完全在AR终端中完成，完全在AR控制器中完成，或计算可在这些设备之间共享。实际上，独特点的检测通常对应于2D图像中的特征点的检测，例如使用SIFT描述符来识别特征点。这可能是相当耗费资源的任务，特别是对于电池电量有限的移动设备而言。因此，AR系统可以通过在AR控制器(通常是计算机或服务器)中执行一些计算来平衡计算工作量。这需要将从AR终端传感器收集的信息传输到AR控制器，整个计算时间不得超过两个连续帧的显示之间的持续时间。该步骤包括将数据传输到服务器和计算结果检索。这样的解决方案仅适用于低延时网络。

为了最大限度地减少位置跟踪计算工作量，一些AR系统使用称为锚点的选定特征点的子集。虽然典型的虚拟环境可包括数百或数千特征点，但锚点通常是在AR场景内预定的，例如在构建AR场景时手动选择。典型的AR场景可包括大约六个锚点，因此可以最大限度地减少位置跟踪所需的计算资源。锚点是由世界坐标系中的姿态(位置和旋转)定义的虚拟对象。锚点与定义唯一签名的一组特征点相关联。当锚点已经被放置到AR场景的区域中时，AR终端的摄像头捕获到该区域时的可视化将导致定位更新。这样做是为了纠正任何漂移。另外，AR场景的虚拟对象通常附接到锚点以确保其在世界坐标系中的空间位置。

可以使用光线投射来定义锚点。特征点显示为虚拟3D粒子。用户将确保选择属于密集集合的对象，这将为该区域提供更强的签名。被光线击中的特征点的姿态将给出锚点的姿态。

图2示出了根据实施方案的增强现实终端的示例性具体实施的框图。这样的装置对应于AR终端100A和AR终端100B并实现图1中介绍的AR终端功能。AR终端100可包括处理器201。处理器201可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器可执行信号解码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些功能使得AR终端能够在增强现实环境中运行，诸如运行AR应用。

处理器201可耦合到输入单元202，该输入单元被配置为传达用户交互。多种类型的输入和模态均可用于该目的。虽然也可以使用语音控制，但物理键盘或触敏表面是适合该用途的典型输入示例。另外，输入单元还可包括能够捕获AR体验所必需的静态图片或视频的数字摄像头。

处理器201可耦合到显示单元203，该显示单元被配置为输出待显示于屏幕上的可视化数据。多种类型的显示器均可用于该目的，诸如液晶显示器(LCD)或有机发光二极管(OLED)显示单元。处理器201还可耦合到音频单元204，该音频单元被配置为通过诸如扬声器等适配换能器呈现待转换为声波的声音数据。

处理器201可耦合到通信接口205，该通信接口被配置为与外部设备交换数据。通信优选地使用无线通信标准(诸如LTE通信、Wi-Fi通信等)来提供AR终端的移动性。

处理器201可耦合到定位单元206，该定位单元被配置为在AR终端的环境内定位AR终端。定位单元可集成提供关于AR终端的当前位置的经度和纬度位置的GPS芯片组，以及提供定位服务的其他运动传感器，诸如加速计和/或电子罗盘。应当理解，在与实施方案保持一致的同时，该AR终端可通过任何合适的位置确定方法来获取位置信息。

处理器201可从存储器207访问信息，并将数据存储在存储器中，存储器可包括多种类型的存储器，包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、用户识别模块(SIM)卡、记忆棒、安全数字(SD)存储卡、任何其他类型的存储器存储设备。在其他实施方案中，处理器201可从存储器访问信息，并将数据存储在存储器中，该存储器不在AR终端(诸如服务器、家用计算机或另一设备)上。

处理器201可从电源210接收电力，并可被配置为向AR终端200中的其他部件分配和/或控制电力。电源210可以是用于为AR终端供电的任何合适的设备。例如，电源210可包括一个或多个干电池组(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

虽然该图将处理器201和其他元件202至208描绘为单独的部件，但是应当理解，这些元件可以一起集成在电子封装或芯片中。应当理解，在与实施方案保持一致的同时，AR终端200可包括本文所述元件的任何子组合。

处理器201还可耦合到图2中未描绘的其他外围设备或单元，这些外围设备或单元可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备可包括传感器，诸如通用串行总线(USB)端口、振动设备、电视收发器、免提耳机、

模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器，等等。

如上所述，AR终端的典型示例是智能电话、平板电脑或透视眼镜。然而，提供类似功能的任何设备或设备的组合都可用作AR终端。

图3示出了根据实施方案的增强现实控制器的示例性具体实施的框图。这样的装置对应于AR控制器110并实现图1中所介绍的AR控制器功能。AR控制器110可包括处理器301。处理器301可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器可执行信号解码、数据处理、功率控制、输入/输出处理和/或使得AR终端能够在增强现实环境中运行的任何其他功能，包括图1中介绍的场景控制器112、用户控制器113、定位控制器114和应用控制器115。

处理器301可耦合到通信接口302，该通信接口被配置为与外部设备交换数据。通信优选地使用无线通信标准(诸如LTE通信、Wi-Fi通信等)来提供AR控制器的移动性。

处理器301可从存储器303访问信息，并将数据存储在存储器中，存储器可包括多种类型的存储器，包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、用户识别模块(SIM)卡、记忆棒、安全数字(SD)存储卡、任何其他类型的存储器存储设备。在其他实施方案中，处理器301可从存储器访问信息，并将数据存储在存储器中，该存储器不在AR控制器(诸如服务器、家用计算机或另一设备)上。存储器303可存储AR场景或可使用外部存储器来存储AR场景。

处理器301还可耦合到其他外围设备或单元，这些外围设备或单元可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备可包括键盘、显示器、各种接口，诸如通用串行总线(USB)端口、

模块等。

应当理解，在与实施方案保持一致的同时，AR控制器110可包括本文所述元件的任何子组合。

图4示出了根据至少一个实施方案的用于生成AR地图的过程的示例性流程图。在步骤410中，AR终端首先获取表示真实环境的数据，该数据由AR终端捕获。在使用设备的摄像头的示例性具体实施中，这些数据是一组2D图像。在其他具体实施中，可获取其他类型的数据，例如包括使用飞行时间传感器捕获的深度信息。在步骤420中，重建真实环境的3D纹理网格。例如，使用3D重建技术(诸如SFM或MVS)从该组2D图像构建该网格。该操作的结果的示例在图6A和图6B中示出。该捕获需要用户在真实环境中移动AR终端以捕获真实环境的大部分表面。所获取的数据优选地进行净化，例如通过移除孤立元素。重建步骤的结果是3D纹理网格。重建步骤通常仅在创建AR场景时执行一次，并且被存储为AR场景的元素。在AR场景的进一步使用中，3D纹理网格是直接可用的。

在步骤430中，根据平面分析来分割3D纹理网格以确定水平面和竖直面。地平面被确定为在最低竖直位置处的水平面。天花板面被确定为在最高竖直位置处的水平面。对应于天花板的3D网格被移除。在围绕场景的竖直面中选择墙壁面。提取地面角落作为墙壁面和地平面之间的交点，并且确定地面区域被包含在四个角落之间，换句话说，确定场景边界。此时，可通过移除位于有界空间外的所有数据来完成第二清理阶段。实际上，这些元件都在墙壁后面。此外，还可以移除对应于地面的原始3D网格数据。另外，为了移除地面周围的噪声重建，还定义了余量值以移除所检测的地平面上方和下方的数据。基于所确定的角落使用几何形状(通常为四边形)来构建用于地面的单独网格。因此，数据包括两个3D纹理网格：一个非常简单的用于地面，一个用于场景的其他元素，在下文中分别称为地面网格和场景网格。图7A和图7B示出了过程中该阶段的场景网格的示例。

在步骤440中，从俯视图呈现网格来生成2D图像。为此，将正交摄像头定位于场景网格上方，朝向地面，以3D纹理网格的原点(具有零坐标的点)为中心，并调整摄像头的比例因子，使得呈现覆盖整个场景边界。如图10A和图10B所示，该呈现生成两个2D图像，一个用于场景，一个用于地面。

在步骤450中，在步骤440中呈现的场景图片和地面图片可在需要时进行调整。实际上，根据一种呈现技术，呈现可覆盖大量不必要的空间，具体取决于3D纹理网格的原点的位置。地面图片被用作掩模以确定裁剪尺寸，因此场景图片和地面图片的尺寸相应地减小。可选地，如有需要，可以旋转地面图片和场景图片。在至少一个实施方案中，步骤440包括摄像头在3D纹理网格的中心上方的最佳定位和缩放(以及可能的旋转)，使得步骤450变得不再必要。实际上，呈现将直接以最佳尺寸提供地面图片和场景图片。该定位可以通过测量3D纹理网格中的地面角落位置来完成。

在步骤460中，生成包括地面图片和场景图片的AR地图。这些图片的示例在图11A至图11D中示出。然后，AR地图可以与AR场景关联存储。

地图生成过程400可以由独立的AR终端执行，或者由AR控制器与AR终端组合执行。在典型的具体实施中，扫描之后的步骤在AR控制器上执行，以从这样的设备上可用的更优计算资源中受益。

图5示出了根据至少一个实施方案的显示AR地图的过程的示例性流程图。地图显示过程500通常可以由AR终端和AR控制器组合执行，但是也可以由独立的AR终端来实现。请注意，步骤510至骤540是关于获得数据的，并且可以按任何其他顺序执行。在步骤510中，获得AR场景的虚拟元素。在步骤520中，获得与AR场景相关联的AR地图。在步骤530中，获得用户定位。在步骤540中，例如通过AR终端的摄像头捕获真实环境。在步骤550中，通过AR场景的虚拟对象来增强所捕获的真实环境的显示。另外，AR地图将显示在其他元素之上。图12A中示出了显示的示例。

在此广泛描述之后，下文详述描述了用以产生和显示AR地图的过程的不同步骤。

图6A和图6B示出了根据实施方案的在AR地图生成过程的步骤420中生成的重建3D纹理网格。图6A是黑白屏幕截图，而图6B是简化等效绘图。由于在捕获真实环境时视图的数量有限并存在遮挡，并且还由于重建技术不允许完美的3D重建，重建3D纹理网格存在不同的问题。首先，网格可能是不完整的，缺少未捕获的区域。如图6B中的区域610所示，这种情况在地板上非常常见。另一个问题是如区域620所示的空间未由界限明确的墙壁限定。第三个问题是由于错误重建而存在离群值分量，如元素630所示。因此，重建之后的第一步骤包括移除这些孤立元素。

图7A和图7B示出了根据实施方案的在AR地图生成过程的步骤430中获得的清理后的网格。分析场景模型以检测诸如地面、天花板、墙壁和角落的特定区域并且确定一些重要值(尺寸、场景相对于原点的位置)。

该分析使用重力方向，该重力方向可以使用配备在捕获3D模型的移动设备中的传感器来直接确定。例如，在基于安卓平台的示例性具体实施中，基于软件的重力传感器通过设备的加速度计和磁力计或陀螺仪提供的数据来估计重力的方向和大小。此外，在场景模型包含可用于相对于重力方向重新对齐该模型的特定参考对象的情况下，可由用户交互式地指示重力方向。例如，在使用摄影测量方法进行3D建模的过程中，可以在标记图像内手动指示坐标系的轴，其中Y轴与重力方向相反。然后，由于参考对象通常被识别为虚拟环境中的原点(零坐标点)，重建3D模型被变换到用户定义的坐标系中。

所提出的用于识别地面、墙壁和天花板的解决方案将利用该参考对象(或标记)的存在，假设存在以下约束：

-第一要求是参考对象需是维度已知的3D或2D形状。另外，2D形状的情况将要求对象具有独特的纹理(以允许在捕获图像中识别)和附加的2D坐标系(通常是2D形状的主要维度后面的2轴，即X轴、Y轴)。

-第二要求是定义和保持参考对象在场景中的位置信息。例如，参考对象被放置在场景中的水平表面上，或者在竖直表面上。该第二要求与一致的重力方向确定有关，即场景模型的重力方向与指示来自为参考对象定义的3D坐标系的重力方向的一个轴一致。在2D参考对象的情况下，诸如例如遵循上述要求的特定平面纸张，其可以被有意地设置为在场景的平面表面上的一般定向(设置在桌子上、地面上......或者相反地，墙壁上)，使得场景模型过程能够提供分别与该标记对齐的重新缩放的模型，其中X轴和Y轴平行于该参考平面的主方向，并且Z轴与X轴和Y轴垂直，通过交叉确定作为该平面的法线。

利用所确定的重力方向，场景模型的平面分析可以将所检测到的平面分类为水平面和竖直面。因此，地平面被确定为沿着重力方向最远的有效水平面。如果存在，则天花板面被确定为沿着逆重力方向最远的水平面。并且在围绕场景的竖直面中选择墙壁面。

然后可以进行进一步的清理以处理噪声数据和孤立分量。检测场景的重要边界面(墙壁、地面、天花板)并移除位于这些边界面外的数据元素。

例如，假设如图6A所示捕获和重建的室内场景可以以长方体为界。基于几何标准从3D模型提取平面，假设重力方向是模型坐标系中Y轴的反方向，然后将平面分类为水平面和竖直面。因此，地平面被确定为沿着重力方向最远的有效水平面。如果存在，则天花板面被确定为沿着逆重力方向最远的水平面。在围绕场景的竖直面中选择墙壁面。在以长方体为界的场景中，存在四个墙壁面，并且相邻墙壁面是垂直的。因此，检测垂直的一对相邻竖直面，以使用这两个平面的法线方向确定墙壁的两个主方向。沿着每个方向及其相反方向，选择最远的重要竖直面作为所需的墙壁面。最后，提取地面角落作为墙壁面和地平面之间的交叉点，这定义了地面区域。然后可以移除位于有界空间(图6A的场景的长方体)外的所有数据。

另外，为了更好地呈现AR地图，还移除了地面的原始数据，并替换为前面提及的地面的单独网格。天花板数据(如果有的话)也会被移除。因此，该步骤为场景生成一个3D纹理网格，并为地面生成一个(非常简单的)网格。

在复杂场景中，空间不局限于长方体。对重建网格的分析允许检测房间几何结构何时比立方体更复杂。这是通过检查墙壁和地面交叉点来完成的。地平面或天花板面的检测可以如上所述实现。在没有假设长方体场景的情况下，从竖直面中选择墙壁面，尽可能地形成场景的边界。例如，首先将面积大于阈值的竖直面的3D数据投影在检测到的地平面上。然后，可以从投影点计算凸包，这指示了重要场景数据的边界。墙壁面被检测为能够最佳地拟合凸包的竖直面集合。因此，相邻的墙壁面不必垂直，墙壁面的数量可以是任意的(大于2)。在这种情况下，使用基于检测到的墙壁面和地平面之间的相交线的多边形来进行地面表示。另一有问题的情况是当真实环境不是具有明显墙壁的封闭空间时，或者当墙壁远离较远，例如超出设备的扫描范围时。在这种情况下，重要的竖直面(诸如家具平面)形成场景的边界。可以通过配置区域尺寸的阈值来控制这些平面的提取。

关于地平面，利用墙壁与地面相交提取出的角落，构建出相应的平面形状。结果通常是四边形或多边形，从而可以使用简单的网格。该四边形或多边形位于与地面相同的高度。对于纹理，可以选择接近地板颜色的平均颜色，就像在地面的所有原始数据上选择平均值或中位数颜色一样简单。基于所捕获的地面图片的合成纹理也可用于增加真实感。可采用来自所捕获图片的地面的部分纹理，使用图像修补方法来生成完整但部分合成的纹理。例如，四边形或多边形与纹理部分映射，并且合成其正面平行视图以用作图像修补的输入。然后，修补图像被用作合成纹理。还可以采用纹理合成方法来仅从地面的捕获图片的小样本生成新的纹理图像，即通过将该样本的小块拼接在一起，直到获得所需的大纹理。或者，合成纹理也可以来自可用的地板纹理数据库：对于数据库中可用的每个纹理图，计算原始地面纹理的样本块与来自数据库的纹理的样本块之间的相似性度量。这样的相似性度量可以基于颜色相似度(例如平方差之和)和纹理相似度(例如基于Gabor滤波器)的组合。数据库中与原始地面纹理的相似度最高的纹理被保留并裁剪以匹配所需的尺寸。然后使用该纹理化的四边形或多边形来替换原始重建的地面。通过对地平面的这种定义，可能对应于未观测到的区域并因此在重建过程后保留在地面上的洞不再存在，地面被完全定义。

图8A示出了根据实施方案的用于地图生成过程的呈现步骤430的正投影的示例。在呈现框架中，在先前清理的3D纹理网格上方的给定高度处竖直地放置正交摄像头(因此提供平行投影)，摄像头面向地平面。调整比例因子以获得示出整个场景的俯视图。这可以通过对角落的估计来完成。实际上，由于重建网格包括尺寸已知的对象(例如上述帧)，因此可以计算场景的真实尺寸，并且至少计算场景的角落之间的距离。然后根据地图的期望尺寸，确定比例因子。在图中所示的示例中，外部正方形810对应于具有确定分辨率(例如512×512像素)的目标图像。内部矩形801是由摄像头呈现的场景的俯视图。在该示例性实施方案中，场景原点(例如上述帧)和摄像头的中心对齐。然后根据距中心的最大距离来确定比例因子，在该示例中等于1/c。

使用完全相同的摄像头设置分别呈现场景的3D纹理网格和地面的3D纹理网格，因此生成了两张图片：一张用于场景，一张用于地面。图10A至图10D示出了呈现的结果：图10A示出了场景的3D纹理网格的呈现的屏幕截图，图10B示出了地面的3D纹理网格的呈现的屏幕截图，图10C和图10D是表示屏幕截图的简化等效绘图。

在该呈现之后，根据地面图片来裁剪所获得的图片。地面图片被用作掩模，用于裁剪。换句话说，地面图片的未使用区域定义了水平方向和竖直方向上的最小值和最大值。这些值被用作场景图片和地面图片本身的裁剪限制，使得仅这些限制内的像素被保持在所得图片中。这对应于生成过程的步骤440的第一部分。图11A至图11D示出了该裁剪的结果的示例。

图8B示出了根据实施方案的用于地图生成过程的呈现步骤430的变换的示例。实际上，当摄像头的轴和3D纹理网格的轴没有完全对齐时，投影会产生旋转的2D图像。这可以通过将变换应用于场景图片和地面图片本身的所有点来校正。为了计算旋转角度θ，使用了点积。最终的变换是以下矩阵乘积：

变换＝T(O→M)*(R)*T(M→O)

其中T是平移，R是旋转矩阵

将该变换应用于场景图片和地面图片，得到最终的校正图像。这些图像形成AR地图的基础。

图9A、图9B和图9C示出了根据实施方案的用于地图生成过程的呈现步骤430的正投影的第二示例。在该实施方案中，通过利用所确定的墙壁的尺寸来将摄像头的中心与场景的中心对齐，确定比例以及可选地旋转摄像头来优化图8A和图8B的过程。因此，3D纹理网格的呈现直接提供场景图片和地面图片的图像，而不需要进一步的裁剪和变换。该过程被应用于场景网格以及地面网格。

图9A示出了没有旋转的第一示例，换句话说，墙壁平行于3D纹理网格坐标系的一个轴。在第一步骤中，基于场景的外角落C1至C4之间的距离来确定场景901的宽度W和高度H，通常用米表示。这将确定要使用的比例因子SF，其与宽度或高度的最大值成反比：

SF＝1/(Max(H,W)/2)

因此，对于尺寸为3米乘4米的房间，比例因子将确定为0,5。在第二步骤中，然后确定角落相对于3D纹理网格原点902的距离。然后选择具有最高坐标(Cx,Cy)的角落。在该图的示例中，该角落是C2。然后确定平移向量903，具体如下所示：

Tx＝Cx-W/2

Ty＝Cy-H/2

一旦确定了这些参数，就可以使用平移向量903将摄像头定位在场景904的中心处，并且可将比例调整到比例因子SF，以便生成3D纹理网格的最优2D图像。为了确保墙壁具有更好的可分辨性，优选地向比例因子添加安全因子以覆盖场景周围的一些空的空间。例如，如果场景宽度是10米，则确定的比例因子为1/10/2＝0,2。10％的安全系数将使该值减小到0.18，从而有效地覆盖大约相当于11米的更大空间。图9A示出了根据这些原理的生成所需的设置，其中摄像头捕获场景901的图像910。

图9D示出了包括旋转的第二示例，换句话说，墙壁不平行于3D纹理网格坐标系的轴。使用与之前相同的原理，并且添加图8B中描述的旋转，图9D示出了拟使用的摄像头设置。

与正投影的第一示例相比，正投影的第二示例提供了质量更好的图像，因为摄像头的全分辨率用于生成图像并且之后不需要裁剪。它允许直接生成图11A至图11D所示的图像。

图11A、图11B、图11C和图11D示出了根据实施方案的地图生成过程的步骤450的结果的示例。图11A示出了根据先前步骤生成的场景图片的示例，图11B示出了根据先前步骤生成的地面图片的示例，图11C和图11D是表示这些图片的简化等效绘图。这些图片组成AR地图。该AR地图可根据所使用的AR系统来封装且优选地与相应AR场景相关联。在至少一个实施方案中，AR地图是AR场景的参数并且可由AR控制器与AR场景一起存储。然后，AR终端可以获得AR场景以及AR地图。在至少一个实施方案中，不使用地面图片，因此AR地图仅包括场景图片。

图12A和图12B示出了根据实施方案的地图的显示的示例。图12A表示如在AR终端100上显示的AR地图的屏幕截图。图12B是表示该屏幕截图的简化等效绘图。AR地图显示了覆盖在地面图片上的场景图片，而且还显示了三个用户的位置，由图12B中的笑脸符号表示。实际上，在至少一个实施方案中，AR地图还可包括附加元素，诸如用户在场景内的位置、其他用户的位置(更确切地说，由用户使用的AR终端的位置)和/或虚拟对象。这些附加元素由图标表示，该图标位于与其在用户的真实环境和虚拟对象的虚拟环境中的定位相对应的AR地图上的位置。用户和虚拟对象的定向由相应图标的旋转来表示。

这通过跟踪AR终端以及通过AR控制器获知AR场景的虚拟对象而成为可能。在多用户应用中，每个AR终端定期向AR控制器提供其位置，然后AR控制器将该信息提供给所有其他AR设备。然后，这些设备可以使用每个用户的特定图标或每个用户的特定颜色来更新地图上其他用户的位置。在图12A的屏幕截图中，例如，表示三个用户的三个图标将以三种不同的颜色显示。

在世界空间中跟踪AR终端允许系统从用户的角度显示虚拟场景。实际上，可以实时准确地知道AR终端在世界坐标系中的位置和定向，并进行相应的更新。

齐次变换4x4矩阵T的符号如下：

其中R表示旋转，t表示平移。

AR终端的摄像头C1的姿态(在世界坐标系中)进行以下变换：

因此，可以传输用于位置的3D矢量和用于AR终端的定向(旋转)的四元数。这些位置及定向可在共同AR场景的用户之间共享，使得用户中的每个用户可在其AR地图上显示其他用户的姿态。

图13示出了世界坐标系参考与AR地图坐标轴之间的映射的示例。实际上，为了在AR地图内定位用户或虚拟对象，需要知道世界坐标系参考所在的位置。为此，相对于一个角落C来表示世界坐标系坐标。由于这是2D地图，因此不考虑高度。然后，应用比例因子SF。因此，相对于角落C所有图标都位于AR地图上，尺寸比例根据显示比例因子DSF进行调整。

一个角落必须被定义为参考角落C，例如左下角落。在数字示例中，如果在世界坐标系坐标中用户的位置是(-0.5,0.1,2)，则在世界坐标系坐标中C的坐标是(-1.5,-1.9,3)，一米等于200像素(DSF＝200)。

用户在AR地图上相对于C的像素坐标为：

(-0.5+1.5)*200＝200

(-2+3)*200＝200(C是新的参考，并认为X'＝X，Y'＝-Z)

图14A和图14B示出了根据实施方案在AR终端上显示AR地图的示例。图14A表示位于AR场景内并展示AR地图的AR终端100的显示器的屏幕截图。图14B是表示该屏幕截图的简化等效绘图。通常，画布可用于实现AR应用中的用户界面。AR地图1430将位于用户界面中。元素1410表示横幅，区域1420显示由AR终端的摄像头捕获的图像。在该示例中，用户位于长方体坐垫后面的电视前面。在该示例中，没有虚拟对象被添加到真实环境中。AR地图1430显示在显示器的左下角并与摄像头的图像重叠。

对于AR地图的插入，定义尺寸与最终图片的尺寸成比例的区域，然后将在该区域中拟合(内插和滤波)图片。画布设置自动适应屏幕的分辨率。这将优化小型地图的分辨率。

地面角落的坐标以真实比例表示在世界坐标系中。从仿射变换推导出显示比例因子，该仿射变换将由地面角落形成的简单几何形状重新缩放到画布区域。

图15A和图15B示出了根据实施方案的使用缩放特征在AR终端上显示AR地图的示例。在一些情况下，在一些AR终端上，AR地图的尺寸对于用户来说可能太小。为此，在至少一个实施方案中提供地图缩放特征。该特征的一个示例性具体实施是检测地图区域上的触摸并增大AR地图的尺寸(例如，使其加倍)直到屏幕的一个维度被完全覆盖。进一步的触摸将恢复原始尺寸。

图14B具有原始缩放值，其中AR地图的宽度是AR终端显示器的宽度的四分之一。当用户触摸AR地图时，缩放值加倍。因此AR地图显示在大区域上，使得其宽度是AR终端屏幕的尺寸的一半，具体如图15A所示。AR地图区域上的另一个触摸将再次使AR地图的尺寸加倍，如图15B中所示，其中AR地图覆盖AR终端屏幕的整个宽度。在该区域上的进一步触摸将返回到图14B的原始尺寸。

在另一具体实施中，滑块允许将缩放级别直接调整到所需值并相应地更新AR地图的尺寸。

图16示出了根据实施方案的使用透明度特征在AR终端上显示AR地图的示例。在增强现实的背景下，用户将所呈现的场景看作真实元素和虚拟元素的混合。重要的是避免不必要的或非信息性区域遮挡该呈现场景的大面积区域。因此，在至少一个实施方案中，AR地图的地面图片被呈现为半透明区域，以将诸如用户的化身、墙壁区域、对象等其他元素保持为完全不透明或更不透明的区域。在至少一个实施方案中，不显示AR地图的地面图片(或显示为完全透明的)，从而允许用户透视AR地图地面区域且仍能够可视化AR场景中的其他真实对象或虚拟对象。该透明度特征优选地由用户控制。

图17A和图17B示出了根据实施方案的使用以用户为中心的裁剪特征在AR终端上显示AR地图的示例。先前描述使用包括完整AR场景的AR地图。这并不总是可能的。当AR场景非常大时，很难以可视的方式显示完整的地图。在至少一个实施方案中，仅显示完整地图的一部分：将AR地图裁剪为完整地图的缩小尺寸的一部分，并根据用户在完整地图中的位置按以用户为中心的方式显示。以用户在AR地图上的位置为中心的浮动窗口确定要显示的裁剪区域。为方便起见，该窗口将具有与AR地图成比例的尺寸，裁剪的结果将适合画布区域。在图17A中，元素1710表示完整的地图。仅区域1720将被显示为AR地图。该区域1720根据用户位置1730而移动。

如图17B所示，当用户移动到AR场景的角落时，窗口的居中受小型地图边缘所约束。因此，裁剪保持在完整地图区域内，但不再以用户位置为中心。

这种以用户为中心的裁剪特征的选择优选地由用户控制。

未示出的其他特征可进一步增强AR地图。

根据至少一个实施方案，根据用户在AR场景内的定向来重新定向AR地图，使得地图的顶部表示用户的当前定向。虽然前一描述使用具有固定定向的AR地图，但具有可变地图定向允许以改进的方式查找路线。这样的特征优选地与圆形AR地图一起使用，而不是整个说明书中使用的正方形或矩形AR地图。

根据至少一个实施方案，AR地图进一步显示标签，以识别AR场景的对象。这些对象可以通过AR场景的分割步骤来确定，以确定对象并将它们的标签相关联。这些元素还可以被存储为AR场景的参数。

根据至少一个实施方案，AR控制器存储用户在一段时间内的位置。然后，该信息用于在AR地图上显示用户所遵循的路径，例如，表示为指向表示用户的图标的一串圆点。可调整时间周期以显示使地图非常动态的短期移动(例如，最后五秒)，或显示长期移动，以跟踪AR场景内的所有移动。当标识符与一组位置相关联时，就可知道对应用户是谁以及在哪里。

根据至少一个实施方案，通过在AR控制器(通常是计算机或服务器)中执行一些计算来减少AR终端的计算工作量。这需要将从AR终端传感器收集的信息传输到AR控制器。

根据至少一个实施方案，AR终端还包括AR控制器的功能，从而允许AR场景的独立操作，同时仍然与本文所述的实施方案兼容。在这样的单用户应用中，可以使用车载地图，并利用用户位置进行本地更新(例如，借助于标记)。

尽管上文已在使用AR控制器和AR终端的常规客户端-服务器情形中描述了AR地图生成过程，但对等方法也是可能的。在这样的具体实施中，描述的AR控制器上的所有角色和功能都将分布在用于当前会话的客户端集合上。但是需要添加一些特定的元素来管理会话和客户端发现、会话模型和数据持久性，因为这在基于对等网络的系统中很常见。

混合方法也是可能的，其中第一AR终端作为独立AR系统运行，托管AR场景，执行自身的定位，用虚拟对象增强场景，并且当在AR场景内检测到另一AR终端时切换到对等模式，进一步共享AR场景和交互。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本说明书通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请或其权利要求书可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请或其权利要求书可涉及“访问”各种信息。访问信息可包括例如接收信息、(例如，从存储器)检索信息、存储信息、移动信息、复制信息、计算信息、预测信息或估计信息中的一者或多者。

另外，本申请或其权利要求书可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如(例如，从存储器或光学介质存储装置)访问信息或检索信息中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

Claims (24)

1.一种用于创建表示增强现实场景的地图的方法，所述方法包括，

-从捕获数据重建(420)3D纹理网格，

-将所述重建3D纹理网格分割(430)成第一3D纹理网格和第二3D纹理网格，在所述第一3D纹理网格中表示场景的地面的数据已经被移除，所述第二3D纹理网格表示场景的地面；以及

-通过呈现(440)覆盖在第二图片上的第一图片来生成地图，其中所述第一图片基于所述第一3D纹理网格的俯视图，并且所述第二图片基于所述第二3D纹理网格。

2.根据权利要求1所述的方法，其中，表示场景的地面的所述第二3D纹理网格由使用基于检测到的墙壁面和地平面之间的相交线的多边形的网格来代替。

3.根据权利要求2所述的方法，其中，所述第二3D纹理网格的纹理通过图像修补过程来确定，或者使用纹理合成来重新生成，或者利用表示原始第二图片的平均颜色的单个颜色值来均匀填充，或者基于相似性从纹理数据库获得。

4.根据权利要求1至3中任一项所述的方法，其中，基于所述第二3D纹理网格的边界以及所述第一图片和所述第二图片的像素尺寸，根据摄像头参数使用正交摄像头来进行呈现。

5.根据权利要求1至4中任一项所述的方法，其中，所使用的正交摄像头位于所述增强现实场景的中心处，基于所述第二3D纹理网格的边界来确定所述中心。

6.根据权利要求1至5中任一项所述的方法，所述方法还包括通过移除孤立元素来从捕获数据中清理(430)所述3D纹理网格。

7.根据权利要求2至6中任一项所述的方法，所述方法还包括从捕获数据中清理(430)所述3D纹理网格，以移除在所检测到的墙壁面和所述第二3D纹理网格的地平面之外的元素。

8.一种用于准备表示增强现实场景的地图的显示的方法，所述方法包括，

-获得表示增强现实场景的数据、根据权利要求1至7中任一项所述生成的地图、表示用户定位的信息、表示真实环境的捕获的数据，以及

-准备显示表示真实环境的捕获的数据的表示，其上依次覆盖有所述表示增强现实场景的数据的表示、所述地图的表示和所述用户定位的表示。

9.根据权利要求8所述的方法，其中所述地图的尺寸响应于用户输入。

10.根据权利要求8或9中任一项所述的方法，其中，第二图片是透明显示的或不显示。

11.一种用于创建表示增强现实场景的地图的装置，包括处理器，所述处理器被配置为：

-从捕获数据重建3D纹理网格，

-将所述重建3D纹理网格分割成第一3D纹理网格和第二3D纹理网格，在所述第一3D纹理网格中表示场景的地面的数据已经被移除，所述第二3D纹理网格表示场景的地面；以及

-通过呈现(440)覆盖在第二图片上的第一图片来生成地图，其中所述第一图片基于所述第一3D纹理网格的俯视图，并且所述第二图片基于所述第二3D纹理网格。

12.根据权利要求11所述的装置，其中，表示场景的地面的所述第二3D纹理网格由使用基于检测到的墙壁面和地平面之间的相交线的多边形的网格来代替。

13.根据权利要求12所述的装置，其中，所述第二3D纹理网格通过图像修补过程来确定，或者使用纹理合成来重新生成，或者利用表示原始第二图片的平均颜色的单个颜色值来均匀填充。

14.根据权利要求11至13中任一项所述的装置，其中，基于所述第二3D纹理网格的边界以及所述第一图片和所述第二图片的像素尺寸，根据摄像头参数使用正交摄像头来进行呈现。

15.根据权利要求11至14中任一项所述的装置，其中，所使用的正交摄像头位于所述增强现实场景的中心处，基于所述第二3D纹理网格的边界来确定所述中心。

16.根据权利要求11至15中任一项所述的装置，所述装置还包括通过移除孤立元素来从捕获数据中清理(430)所述3D纹理网格。

17.根据权利要求11至16中任一项所述的装置，所述装置还包括从捕获数据中清理(430)所述3D纹理网格以移除在所检测到的墙壁面和所述第二3D纹理网格的地平面之外的元素。

18.一种用于准备表示增强现实场景的地图的显示的装置，所述装置包括处理器，所述处理器被配置为：

-获得表示增强现实场景的数据、根据权利要求1至7中任一项所述生成的地图、表示用户定位的信息、表示真实环境的捕获的数据，以及

-准备显示表示真实环境的捕获的数据的表示，其上依次覆盖有所述表示增强现实场景的数据的表示、所述地图的表示和所述用户定位的表示。

19.根据权利要求18所述的装置，其中所述地图的尺寸响应于用户输入。

20.根据权利要求18或19中任一项所述的装置，其中，与地面相关的第二图片是透明显示的或不显示。

21.一种增强现实系统，所述增强现实系统包括：

-增强现实场景，

-增强现实控制器，

-增强现实终端，

其中，根据权利要求1生成的地图与所述增强现实场景相关联。

22.根据权利要求21所述的增强现实系统，所述增强现实系统还包括显示根据权利要求8生成的地图的表示。

23.一种计算机程序，所述计算机程序包括程序代码指令，所述程序代码指令在由处理器执行时实施根据权利要求1至10中至少一项所述的方法的步骤。

24.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括程序代码指令，所述程序代码指令在由处理器执行时实施根据权利要求1至10中至少一项所述的方法的步骤。

Images