CN110910507A - 计算机实现方法、计算机可读介质和用于混合现实的系统 - Google Patents

Abstract

本申请涉及计算机实现方法、计算机可读介质和用于混合现实的系统。混合现实(MR)仿真系统包括控制台和头戴式设备(HMD)。MR系统使用安装到HMD的向外立体相机从现实世界环境捕获立体图像。MR系统对立体图像进行预处理以使对比度最大化，然后从这些图像中提取包括边缘或拐角等的特征的组。对于每个特征，MR系统生成一个或多个二维(2D)多段线。然后，MR系统在右侧图像中找到的2D多段线与左侧图像中找到的对应2D多段线之间进行三角测量，以生成一组3D多段线。MR系统在3D多段线中包含的3D顶点之间内插或者外插额外的3D顶点，从而生成现实世界环境的几何重建。MR系统可以比更新几何重建更快地将来源于现实世界环境的纹理映射到几何表示上。

Description

计算机实现方法、计算机可读介质和用于混合现实的系统

技术领域

各个实施方式的领域

各个实施方式总体上涉及虚拟现实和增强现实，并且更具体地，涉及在混合现实应用中的基本视觉提示的重建。

背景技术

人工现实系统仿真虚拟环境或将虚拟元素添加到真实环境，以便向用户提供虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)内容。人工现实系统包括控制台和头戴设备(headset)。控制台生成并渲染图形元素，而头戴设备将这些图形元素输出给用户。头戴设备包括立体显示器，立体显示器向用户的每只眼睛输出略微不同的图像，从而使用户感知3D空间环境。头戴设备还可以包括向外相机，向外相机被配置为捕获立体图像以便生成混合现实仿真。

术语“混合现实”通常是指结合现实世界元素和/或现实世界元素的仿真版本向用户显示仿真图形元素的任何类型的仿真。例如，控制台可以经由头戴设备上的向外相机捕获表示用户周围的环境的立体图像。然后，控制台将生成与视频游戏或其他类型的计算机仿真相关联的三维(3D)图形元素。然后，控制台将生成的3D图形元素合并到立体图像中，并经由头戴设备将结果输出给用户。

安装在头戴设备上的向外相机通常以不同于大多数用户的瞳间距离的相机视差彼此分开。因此，被捕获并随后显示给用户的立体图像可能在空间上显得失真，这可能导致不良的用户体验。此外，这种空间失真可能会降低用户对现实世界环境的空间感知，这在某些情况下可能是危险的。

对于生成混合现实仿真，人工现实系统通常缺乏解决这种空间失真同时还保持高质量的用户体验的处理能力。因此，这些系统以非常低的帧速率输出混合现实仿真，因此具有明显的延迟。这种延迟会分散注意力并导致不良的用户体验。大的延迟也可能是危险的，因为在仿真可以更新以表示对象之前，用户可能在不知不觉中遇到现实世界对象(并且可能与其碰撞)。此外，在不解决上述空间失真的情况下，由常规人工现实系统生成的混合现实仿真可能导致用户体验晕动症和迷失方向，从而导致不良的用户体验。

发明内容

各种实施方式包括一种计算机实现方法，该计算机实现方法包括：识别与现实世界场景中的一个或多个对象相关联的特征的组；基于该组特征生成二维(2D)几何形状；基于2D几何形状生成三维(3D)几何形状，3D几何形状包括仅部分地表示该一个或多个对象的现实世界场景的几何重建；以及基于3D几何形状渲染用于显示的现实世界场景的第一图形表示。

所公开的技术的至少一个优点是MR系统可以在很少或没有延迟的情况下产生有沉浸感且空间逼真的混合现实体验。因为MR系统仅基于现实世界环境的基本几何特征生成几何重建，所以与必须生成和更新高度复杂的几何重建的常规系统相比，MR系统可以更快地更新重建。此外，由于MR系统将来源于现实世界环境的纹理实时地映射到几何重建上，因此MR系统可以输出具有可忽略的延迟的混合现实仿真。因此，与常规方法相比，本文中公开的技术代表了显著的技术进步。

附图说明

为了可以详细地理解各种实施方式的上述特征，可以关于各种实施方式给出上文简要总结的本发明概念的更具体的描述，其中一些实施方式在附图中示出。然而，应注意，附图仅示出了本发明概念的典型实施方式，因此不应被视为以任何方式限制范围，并且存在其他同等有效的实施方式。

图1示出了被配置为实现各种实施方式的一个或多个方面的系统；

图2示出了根据各种实施方式的图1的仿真应用如何预处理与现实世界场景相关联的原始图像；

图3示出了根据各种实施方式的图1的仿真应用如何识别预处理图像内的特征；

图4示出了根据各种实施方式的图1的仿真应用如何基于一组识别特征生成特征几何形状；

图5示出了根据各种实施方式的图1的仿真应用如何基于特征几何形状生成几何重建；

图6示出了根据各种实施方式的图1的仿真应用如何渲染现实世界场景的重建版本；

图7示出了根据各种实施方式的图1的仿真应用如何将来自现实世界场景的纹理映射到几何重建上；

图8是根据各种实施方式的用于生成现实世界场景的低延迟仿真的方法步骤的流程图；以及

图9是根据各种实施方式的通用计算设备的框图。

具体实施方式

在以下描述中，阐述了许多具体细节以提供对各种实施方式的更透彻的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一个或多个的情况下实践本发明概念。

一些混合现实系统从现实世界捕获立体图像，然后向用户渲染现实世界的几何重建。因为这种方法需要实时更新高度复杂的几何形状，所以这种仿真不能以足够高的帧速率操作以接近现实。因此，这些类型的仿真遭受明显的延迟，这可能降低用户体验并且可能使用户面临安全风险。在具有有限计算能力和有限内存的移动平台中，这些问题尤为棘手。

为了解决这些问题，各种实施方式包括一种混合现实(MR)系统，该系统被配置为以给定延迟更新现实世界环境的几何重建，并渲染几何重建的部分以便以较低延迟向用户显示。MR系统还可以以较低的延迟将来源于现实世界环境的纹理附加地映射到几何表示上。

在操作中，MR系统使用安装到头戴式设备(HMD)的一组向外立体相机从现实世界环境捕获立体图像。MR系统对立体图像进行预处理以使对比度最大化，然后从这些图像中提取包括线条、边缘或拐角等的特征的组。在其他实施方式中，MR系统在不执行对比度增强操作的情况下提取该组特征。对于每个特征，MR系统生成一个或多个二维(2D)多段线。MR系统在立体图像的右侧图像中找到的2D多段线与立体图像的左侧图像中找到的对应2D多段线之间进行三角测量，以生成一组3D多段线。MR系统在3D多段线中包含的3D顶点之间内插或者外插附加3D顶点，从而生成现实世界环境的近似几何重建。

MR系统可以实时地更新几何重建或者比实时慢，这取决于硬件能力。MR系统还可以生成并渲染3D图形，以便以高帧速率实时显示给用户。在渲染图形时，MR系统被配置为将来源于现实世界环境的原始立体图像的纹理重新映射回到几何重建上，以便增强那些3D图形的真实感。

本文中所述的技术的至少一个优点是MR系统可以在很少或没有延迟的情况下产生有沉浸感且空间逼真的混合现实体验。因为MR系统基于现实世界环境的基本几何特征生成几何重建，所以与生成和更新高度复杂的几何重建的常规系统相比，MR系统可以更快地更新重建。此外，由于MR系统将来源于现实世界环境的纹理实时地映射到几何重建上，因此MR系统可以输出具有可忽略延迟的逼真的混合现实仿真。因此，与常规方法相比，本文中公开的技术代表了显著的技术进步。

系统概述

图1示出了被配置为实现各种实施方式的一个或多个方面的系统。如所示出的，MR系统100包括头戴式设备(HMD)110和控制台120。HMD 110是被配置为由用户150佩戴的可穿戴设备。HMD 110被配置为使用户150沉浸到由控制台120或HMD 110生成的混合现实仿真中。该仿真至少部分地基于与用户150所在的环境相关联的现实世界场景160。在一个实施方式中，HMD 110可以作为通透设备操作，以将环境的图像接力转播给用户150。这些图像可以是未修改的或由HMD 110增强的。

HMD 110包括显示器112、光学器件114、眼睛跟踪模块116和头部跟踪模块118。显示器112是被配置为向用户150输出立体图像的立体输出设备。那些图像可以表示当从略微不同的视角观看时的现实世界场景160，从而使用户150感知三维(3D)空间环境。光学器件114包括光学设备的组件，包括一个或多个向外相机。在一个实施方式中，光学器件114利用经由HMD 110捕获和/或发出的光执行各种光学调整。

眼睛跟踪模块116被配置为跟踪用户150的眼睛注视方向。在一个实施方式中，眼睛跟踪模块116测量用户150的各种属性(包括用户150的瞳间距离)，然后基于那些测量配置光学器件114以执行各种光学调整。在另一实施方式中，可以省去眼睛跟踪模块116。头部跟踪模块118被配置为跟踪用户150的头部位置和/或取向。在一个实施方式中，基于经由头部跟踪模块118收集的头部跟踪数据来修改与经由HMD 110输出的仿真相关联的一个或多个视角。

控制台120是被配置为执行仿真应用130以便生成经由HMD 110输出给用户150的混合现实仿真的计算设备。在一个实施方式中，HMD 110执行仿真应用130以生成混合现实仿真。图9中示出了可以被配置为实现HMD 110和控制台120中的任一者的示例性计算设备。仿真应用130包括预处理器132、特征识别器134、几何建模器136、深度估计器138、几何投影仪140和纹理映射器142。这些块中的每一个块表示处理流水线中的不同阶段，该处理流水线被配置为生成上述的现实世界场景160的混合现实仿真。如图所示，现实世界场景160包括墙壁162和164以及地板166。框架170被安装在墙壁162上并保有画作172。箱子180搁置在地板166上，并且餐垫182搁置在箱子180上。

在操作中，预处理器132接收经由光学器件114立体地捕获的现实世界场景160的左侧和右侧的图像。在一种操作模式中，预处理器132预处理那些图像以增加对比度，如下面结合图2更详细地描述的。特征识别器134分析预处理的图像以识别一个或多个特征，如下面结合图3更详细地描述的。几何建模器136基于所识别的特征生成表示现实世界场景160的特征几何形状，如下面结合图4更详细地描述的。深度估计器138内插和/或外插深度信息以增强特征几何形状并生成几何重建，如下面结合图5更详细地描述的。几何投影仪140基于几何重建来渲染立体图像，如下面结合图6更详细地描述的。另外，纹理映射器142可以从初始的原始图像中提取纹理并将这些纹理映射到几何重建上以提供对几何重建的更详细渲染，如下面结合图7更详细地描述的。

本文中描述的方法赋予了若干技术优点。具体地，仿真应用130生成简化的几何重建，其可以用足够强大的硬件实时渲染。然而，如果这样的硬件不可用并且无法实时更新重建，则仿真应用130仍然可以实时地以最小延迟投影该几何形状以用于立体渲染。在任一情况下，仿真应用130通常能够实时地将纹理映射到几何重建上，从而增强混合现实仿真的外观和真实感。这些技术总体上代表对于常规混合现实仿真、特别是混合现实应用的3D通透的显著进步，这些技术由于过量延迟而可能出现物理失真或缓慢。

混合现实仿真的示例性生成

图2至图7示出了仿真应用130如何实现上面简要讨论的各种处理阶段。本领域技术人员将理解，提供这些图和对应的描述是出于示例性目的，并不意味着对范围进行限制。

图2示出了根据各种实施方式的图1的仿真应用如何预处理与现实世界场景相关联的原始图像。如所示出的，仿真应用130内的预处理器132生成具有提升的整体对比度水平的预处理场景200，以突出显示边缘组202、204、206、210和220。预处理器132分析描绘现实世界场景160的原始立体图像，然后增强那些图像的一些或所有区域中的对比度。在一个实施方式中，预处理器132可以跨不同图像区域不同地调整图像对比度。预处理器132可以以这种方式增加图像对比度以便于随后检测预处理图像内的特征，尽管在一些实施方式中，可以在不首先调整图像对比度的情况下执行特征检测。下面结合图3来更详细地描述特征检测。

图3示出了根据各种实施方式的图1的仿真应用如何识别预处理图像内的特征。如所示出的，仿真应用130内的特征识别器134检测现实世界场景160的例如包括特定场景特征300的特征，包括：用户150所在的房间的边缘302、304和306；框架170的边缘310、312、314和316；以及箱子180的边缘320、322、324和326(以及其他)。

当以这种方式识别特征时，特征识别器134实现计算机视觉技术以分析左侧和右侧的图像。特征识别器134可以识别可以基于一组像素识别的线条、边缘、拐角、表面和任何其他技术上可行的特征的存在。在一个实施方式中，经由特征识别器134识别的基本特征可以包括用户150可以出于定位和/或定向的目的而辨识的任何类型的视觉提示或视觉参考。在本公开中，这些特征可以被称为“基本”，因为人类空间感知至少在某种程度上依赖于辨识这些特征以用于物理空间的精确导航。如下面更详细描述的，MR系统100再现这些基本特征以帮助用户150在沉浸于混合现实仿真期间安全地导航现实世界环境。在识别特征时，特征识别器134可以实现用于识别属于特定边缘的特定像素组的Canny边缘检测算法，或用于识别可辨识特征的任何其他计算机视觉技术。特征识别器134可以用特定分类标记预处理图像内的像素或像素组，然后将标记的预处理图像输出到几何建模器136，如下面结合图4更详细地描述的。

图4示出了根据各种实施方式的图1的仿真应用如何基于一组识别特征生成特征几何形状。如所示出的，仿真应用130内的几何建模器136生成特征几何形状400以表示现实世界场景160的特定几何属性。特征几何形状400包括表示用户150所在房间的边缘的多段线402、404和406，表示框架170的多段线410和表示箱子180的多段线420。每条多段线包括一组顶点。例如，多段线402包括顶点402(0)到402(4)。在各种实施方式中，几何建模器136可以生成任何技术上可行的几何图元而不是2D多段线。例如，几何建模器136可以生成2D特征点或2D补丁以及其他类型的几何图元。本领域技术人员将理解如何使用任何类型的几何图元代替2D多段线来执行本文中描述的技术。

为了生成特征几何形状400，几何建模器136生成不同的2D多段线以表示由特征识别器143识别的每个特征。例如，几何建模器136可以覆盖由特征识别器143检测到的给定边缘上的线段，并生成限定该线段的一组顶点。几何建模器136对左侧和右侧的图像执行该操作。然后，几何建模器136将左侧图像中包含的一些或所有2D多段线匹配到关联的右侧图像中包含的对应2D多段线。

几何建模器136可以实现任何技术上可行的方法来匹配2D多段线、那些多段线的顶点、以及与不同图像之间的那些多段线相关联的各个像素。在一个实施方式中，几何建模器136实现图像空间补丁匹配方法以关联左侧图像与右侧图像之间的多段线顶点。然后，几何建模器136在匹配的2D多段线之间进行三角测量，以便推断这些多段线的每个顶点的深度信息，从而生成3D多段线。每条3D多段线包括一组3D顶点。几何建模器136还可以放弃彼此相距太远的特定2D多段线，以允许精确计算深度信息。几何建模器136可以实现用于对图像的立体对的元素进行三角测量以推断本文中描述的深度信息的任何技术上可行的方法。生成的3D多段线形成现实世界场景160的几何重建的基础，并且经由深度估计器138进行进一步处理，如下面结合图5更详细地描述的。

图5示出了根据各种实施方式的图1的仿真应用如何基于特征几何形状生成几何重建。如所示出的，仿真应用130内的深度估计器138基于上面结合图4讨论的特征几何形状400生成几何重建500。几何重建500包括在多段线410之间内插的3D顶点502、在多段线404与406之间内插的3D顶点504、在多段线420之间内插的3D顶点506以及在402与406之间内插的3D顶点508。几何重建500包括基于经由几何建模器136生成的3D多段线的3D顶点而被内插和/或外插的附加深度信息。在一个实施方式中，深度估计器138还在内插/外插之前过滤异常值，以避免基于彼此非常远的多段线生成3D顶点。

因为几何重建500是基于现实世界场景160的基本特征(诸如线条、边缘等)生成的，所以几何重建500可以仅部分地表示该场景内的对象。因此，几何重建500可以被认为是现实世界场景160的粗略近似。尽管如此，由于计算重点在于重建基本提示和其他特征(包括对象轮廓和剪影)，因此从几何观点来看，几何重建500可以看起来高度准确。

在一个实施方式中，深度估计器138可以基于经由几何建模器136生成的3D多段线来实现Delaunay三角测量，以便生成用于近似附加3D顶点的三角网格。该网格横跨在3D多段线之间，并形成在比以前的内插/外插操作更全局的水平上近似于现实世界场景160的几何形状的表面。以这种方式估计3D顶点的深度可以是计算上有效的，因为典型的现实世界结构中的任何两个边缘或拐角之间的实际几何形状通常是平面的。例如，地板166是平面，并且可以基于与该平面交界的多段线402和406高精度地近似该平面上的许多3D顶点。这种方法的一个优点是可以减少通常与某些现实世界特征(诸如平表面)的如实重建相关联的视觉伪像，因为可以估计这些特征的几何形状而不是重建这些特征的几何形状。对这些特征进行风格化可以进一步减少伪像。一旦深度估计器138以上述方式生成了附加3D顶点，几何投影仪140就可以渲染可被输出给用户150的3D图形，如下面结合图6更详细地描述的。

图6示出了根据各种实施方式的图1的仿真应用如何渲染现实世界场景的重建版本。如所示出的，仿真应用130内的几何投影仪140基于几何重建500生成渲染场景600以显示给用户150。几何投影仪140可以基于用户150的几何特征生成表示那些3D图形的立体图像，包括瞳间距离等。因此，渲染场景600对于用户150可能在空间上显得逼真，并且没有显著的空间失真。在一个实施方式中，几何投影仪140可以在生成渲染场景600时实现风格化渲染方法。例如，几何投影仪140可以将各个线条渲染为手绘线条。该方法可以降低可能经由上述重建过程引入的任何视觉伪像的明显性。

渲染场景600表示允许用户150在环境内定位和定向所需的现实世界场景160的基本几何形状。由于渲染场景600的简单性，该场景可以实时渲染以便显示。然而，不需要以同样高的速率更新该场景基础的几何重建500。相反，只要硬件允许，几何重建500可以基于捕获的立体图像进行更新，但仍然基于HMD 110的位置和/或取向用于实时渲染目的。为了进一步改善真实感，来源于现实世界场景160的纹理也可以在渲染之前被映射到几何重建500上，如下面结合图7更详细地描述的。

图7示出了根据各种实施方式的图1的仿真应用如何将来自现实世界场景的纹理映射到几何重建上。如所示出的，仿真应用130内的纹理映射器142将各种纹理映射到几何重建500上，然后重新生成渲染的场景600以产生纹理化场景700。纹理化场景700包括具有映射到框架上的画作纹理712的重建帧710，以及具有映射到其上的餐垫纹理722的重建箱子720。画作纹理712来源于画作172的原始图像，而餐垫纹理722来源于餐垫182的原始图像。

在一个实施方式中，纹理映射器142分析经由HMD 110捕获的原始图像，以识别在经由几何建模器136生成的3D多段线之间的纹理。纹理映射器142然后捕获这些纹理的立体剪辑并将这些剪辑重新映射到几何重建600的对应部分上。例如，纹理映射器142可以分析描绘画作172的原始图像，然后基于多段线410和/或3D顶点502捕获表示画作172的立体剪辑。随后，纹理映射器142可以将该剪辑映射到与多段线410相关联的位置处的渲染场景600上。纹理映射器142可以实时地或者在硬件允许的条件下均可能快地执行这些步骤。该方法可以通过将图像添加到在几何重建500内否则将保持空白的空间中来增加混合现实仿真的真实感。在另一实施方式中，几何投影仪140可以实现本领域中称为“超像素”的技术，以渲染具有相似颜色值且边缘与几何重建500内的边缘对齐的几何重建500的大区域。在其他实施方式中，几何重建500可以被均匀地或非均匀地嵌入以填充否则将空白的区域。

总体上参考图1至图7，取决于HMD 110和/或控制台120的硬件能力，可以以不同的速率执行到目前为止所讨论的每个不同处理阶段。在一些情况下，所有这些步骤都可以实时执行。在其他情况下，预处理器132、特征识别器134、几何建模器136和深度估计器138比实时操作慢，而几何投影仪140和纹理映射器142实时操作。在任何情况下，仿真应用130被配置为使用户150沉浸到混合现实仿真中，该仿真在空间上是逼真的并且另外看起来是实时更新和渲染的。

生成混合现实仿真的过程

图8是根据各种实施方式的用于生成现实世界场景的低延迟仿真的方法步骤的流程图。尽管结合图1至图7的系统描述了方法步骤，但是本领域技术人员将理解，任何系统可以被配置为以任何顺序执行这些方法步骤。

如所示出的，方法800开始于步骤802，其中仿真应用130内的预处理器132预处理经由HMD 110捕获的原始立体图像以增加特定区域中的对比度。在一个实施方式中，预处理器132可以跨原始图像的不同区域不同地调整图像对比度。预处理器132通常以这种方式增加图像对比度，以便于随后检测预处理图像内的特征(包括边缘和其他特征)。以上结合图2讨论了预处理器132如何预处理图像的实例。

在步骤804，仿真应用130内的特征识别器134分析预处理图像以提取和标记特征。特征识别器134可以实现任何技术上可行的特征识别技术，以识别经由HMD 110捕获的左侧和右侧的图像内的特征。那些特征可以包括线条、边缘、拐角、表面等。在一个实施方式中，特征识别器134实现Canny边缘检测算法以识别属于特定边缘的特定像素组。然后，特征识别器134使用特定特征分类标记预处理图像内的像素或像素组。以上结合图3讨论了特征识别器134如何识别特征的实例。

在步骤806，仿真应用130内的几何建模器136通过在为标记特征生成的2D多段线之间进行三角测量来生成特征几何形状。在这样做时，几何建模器136为经由步骤804标记的每个特征生成一个或多个2D多段线。例如，几何建模器136可以跟踪检测到的边缘，然后沿着该边缘生成一组2D顶点。那些2D顶点将形成与该边缘对齐的2D多段线。然后，几何建模器136在步骤806生成的匹配的2D多段线对之间进行三角测量，以估计那些2D多段线的每个顶点的深度值，从而生成3D多段线。以上结合图4讨论了几何建模器136如何生成3D多段线的实例。

在步骤808，仿真应用130内的深度估计器138通过内插或外插在步骤806生成的3D多段线以产生附加3D顶点来生成几何重建。这些附加3D顶点位于特征几何形状的几乎没有几何信息可用的区域中。然而，因为许多空间环境包括许多平面表面，所以可以基于与这些区域交界的检测到的特征生成3D顶点以表示这些区域。在一个实施方式中，深度估计器138基于在步骤806生成的3D多段线来实现Delaunay三角测量，以便生成用于近似附加3D顶点的三角网格。以上结合图5讨论了深度估计器138如何生成几何重建的实例。

在步骤810，几何投影仪140基于在步骤808生成的几何重建来渲染3D图形。几何投影仪140可以实现基于3D模型渲染图形的任何技术上可行的方法，并且还可以基于与用户150的几何属性对应的相机角度生成立体图像。在一个实施方式中，几何投影仪140可以在生成渲染场景600时实现风格化渲染方法。例如，几何投影仪140可以将各个线条渲染为手绘线条。该方法可以降低经由上述重建过程可能引入的任何视觉伪像的明显性。以上结合图6讨论了几何投影仪140如何渲染图形的实例。

在步骤812，纹理映射器142将从经由HMD 110捕获的原始图像导出的纹理映射到重建的几何形状的对应部分上。例如，纹理映射器142可以在步骤802之前分析捕获的原始图像，然后剪辑对应于几何重建的特定区域的那些图像的特定部分。随后，纹理映射器142可以将剪辑的部分映射到适当位置处的几何重建。纹理映射器142可以实时地或者在硬件允许的条件下尽可能快地执行这些步骤。在一个实施方式中，纹理映射器142在几何投影仪810渲染3D图形之前执行步骤812。在另一实施方式中，方法800完全跳过步骤812。以上结合图7讨论了纹理映射器142如何映射纹理的实例。

总体上参考图1至图8，本领域技术人员将理解，任何技术上可行的计算机硬件和/或软件形式可以被配置为执行到目前为止所讨论的任何技术。以下结合图9更详细地描述示例性计算设备。

示例计算设备

图9示出了根据各种实施方式的在图1的系统中包含的计算设备。如所示出的，计算设备900包括处理器910、输入/输出(I/O)设备920和存储器930。存储器930包括软件应用932和数据库934。处理器910可以包括被配置为处理数据和执行软件应用的任何硬件。I/O设备920包括被配置为接收输入的设备、被配置为提供输出的设备、以及被配置为接收输入和提供输出的设备。存储器930可以由任何技术上可行的存储介质实现。软件应用932包括程序代码，该程序代码在由处理器910执行时执行本文中描述的任何功能，包括与仿真应用130相关联的功能。软件应用932可以访问存储在数据库934中的数据。本领域技术人员将理解，计算设备900仅出于示例目的而提供，并不意味着对本实施方式的范围进行限制。

总而言之，混合现实(MR)仿真系统包括控制台和头戴式设备(HMD)。MR系统使用安装到HMD的一组向外立体相机从现实世界环境捕获立体图像。MR系统对立体图像进行预处理以使对比度最大化，然后从这些图像中提取包括边缘或拐角等的特征的组。对于每个特征，MR系统生成一个或多个二维(2D)多段线。然后，MR系统在右侧图像中找到的2D多段线与左侧图像中找到的对应2D多段线之间进行三角测量，以生成一组3D多段线。MR系统在3D多段线中包含的3D顶点之间内插或者外插额外的3D顶点，从而生成现实世界环境的几何重建。MR系统可以比更新几何重建更快地将来源于现实世界环境的纹理映射到几何表示上。

本文中所述的技术的至少一个优点是MR系统可以在很少或没有延迟的情况下产生有沉浸感且空间逼真的混合现实体验。因为MR系统仅基于现实世界环境的基本几何特征生成几何重建，所以与必须生成和更新高度复杂的几何重建的常规系统相比，MR系统可以更快地更新重建。此外，由于MR系统将来源于现实世界环境的纹理实时地映射到几何重建上，因此MR系统可以输出具有可忽略的延迟的混合现实仿真。因此，与常规方法相比，本文中公开的技术代表了显著的技术进步。

1.在一些实施方式中，一种计算机实现方法包括：识别与现实世界场景中的一个或多个对象相关联的特征的组；基于该组特征生成二维(2D)几何形状；基于2D几何形状生成三维(3D)几何形状，3D几何形状包括现实世界场景的粗略几何重建；以及基于3D几何形状渲染用于显示的现实世界场景的第一图形表示。

2.根据条款1所述的计算机实现方法，其中，粗略几何重建包括用于导航现实世界场景的一个或多个视觉提示。

3.根据条款1或2所述的计算机实现方法，其中，粗略几何重建包括在第一时间点的现实世界场景的表示，并且进一步包括基于3D几何形状并在比第一时间点晚的第二时间点渲染现实世界场景的第二图形表示。

4.根据条款1至3中任一项所述的计算机实现方法，其中，现实世界场景的第一图形表示是经由混合现实系统显示的。

5.根据条款1至4中任一项所述的计算机实现方法，其中，识别该组特征包括识别描绘现实世界场景的图像的组内的边缘、拐角和表面中的至少一者。

6.根据条款1至5中任一项所述的计算机实现方法，其中，该组图像包括图像的立体对，图像的立体对包括左相机图像和右相机图像。

7.根据条款1至6中任一项所述的计算机实现方法，其中，生成2D几何形状包括针对该组特征中包含的每个特征生成至少一根多段线。

8.根据条款1至7中任一项所述的计算机实现方法，其中，生成3D几何形状包括：识别2D几何形状中包含的第一多段线；识别2D几何形状中包含的第二多段线；在第一多段线与第二多段线之间进行三角测量以生成多个深度值；并且基于第一多段线、第二多段线和多个深度值来生成3D多段线。

9.根据条款1至8中任一项所述的计算机实现方法，其中，生成3D几何形状包括：识别2D几何形状中包含的第一多段线；识别2D几何形状中包含的第二多段线；并且基于第一多段线和第二多段线生成三角网格，以产生3D几何形状的多个3D顶点。

10.根据条款1至9中任一项所述的计算机实现方法，其中，第一多段线是基于从第一视角描绘现实世界场景的第一图像生成的，并且其中，第二多段线是基于从第二视角描绘现实世界场景的第二图像生成的。

11.根据条款1至10中任一项所述的计算机实现方法，其中，图形进一步基于用户的至少一个属性来渲染以供显示。

12.根据条款1至11中任一项所述的计算机实现方法，其中，用户的至少一个属性包括与用户相关联的瞳间距离。

13.根据条款1至12中任一项所述的计算机实现方法，进一步包括增加与描绘现实世界场景的图像的组相关联的局部自适应对比度值，以生成预处理图像的组。

14.根据条款1至13中任一项所述的计算机实现方法，其中，该组特征是在该组预处理图像中识别的。

15.根据条款1至14中任一项所述的计算机实现方法，其中，渲染现实世界场景的第一图形表示包括：从描绘现实世界场景的图像内的区域中提取纹理；并且将纹理映射到对应于区域的粗略几何重建的一部分上。

16.在一些实施方式中，一种非暂时性计算机可读介质存储指令，指令在由处理器执行时使处理器执行以下步骤：识别与现实世界场景中的一个或多个对象相关联的特征的组；基于该组特征生成二维(2D)几何形状；基于2D几何形状生成三维(3D)几何形状，3D几何形状包括现实世界场景的粗略几何重建；以及基于3D几何形状渲染用于显示的现实世界场景的第一图形表示。

17.根据条款16所述的非暂时性计算机可读介质，进一步包括以下步骤：以第一延迟更新3D几何形状；并且以第二延迟将第一纹理映射到3D几何形状的部分上，第一延迟超过第二延迟。

18.根据条款16或17所述的非暂时性计算机可读介质，其中，第一图形表示以第二延迟被渲染以供显示。

19.在一些实施方式中，一种系统包括：存储程序指令的存储器，以及处理器，处理器执行指令以执行以下步骤：识别与现实世界场景中的一个或多个对象相关联的特征的组；基于该组特征生成二维(2D)几何形状；基于2D几何形状生成三维(3D)几何形状，3D几何形状包括现实世界场景的粗略几何重建；以及基于3D几何形状渲染用于显示的现实世界场景的第一图形表示。

20.根据条款19所述的系统，系统，处理器执行以下额外步骤：以第一延迟更新3D几何形状；并且以第二延迟将第一纹理映射到3D几何形状的部分上，第一延迟超过第二延迟。

任何方式中的任何权利要求中所述的任何权利要求元素和/或本申请中描述的任何元素的任何和所有组合都落入本实施方式和保护的预期范围内。

已经出于说明的目的呈现了对各种实施方式的描述，但是并不旨在穷举或限制于所公开的实施方式。在不脱离所描述的实施方式的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。

本实施方式的方面可以体现为系统、方法或计算机程序产品。因此，本公开的方面可以采取完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施方式的形式，这些实施方式在本文中总体上可以被称为“模块”或“系统”。此外，本公开的方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质具有在其上体现的计算机可读程序代码。

可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或者前述的任何合适的组合。计算机可读存储介质的更具体实例(非详尽列表)将包括以下内容：具有一根或多根线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何合适的组合。在本文件的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序。

以上参考根据本公开的实施方式的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的方面。应当理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以通过计算机程序指令实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器。当经由计算机的处理器或其他可编程数据处理装置执行时，这些指令使得能够实现在流程图和/或框图块中指定的功能/动作。这些处理器可以是但不限于通用处理器、专用处理器、应用特定处理器或现场可编程门阵列。

附图中的流程图和框图示出了根据本公开的各种实施方式的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示代码的模块、片段或部分，其包括用于实现特定逻辑功能的一个或多个可执行指令。还应注意，在一些替代实现方式中，框中记录的功能可以不按图中所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图说明的每个框以及框图和/或流程图说明中的框的组合可以由执行特定功能或动作的基于专用硬件的系统或专用硬件与计算机指令的组合来实现。

虽然前述内容针对本公开的实施方式，但是在不脱离本公开的基本范围的情况下可以设计本公开的其他和进一步的实施方式，并且本公开的范围由所附权利要求确定。

Claims (20)

1.一种计算机实现方法，包括：

识别与现实世界场景中的一个或多个对象相关联的特征的组；

基于所述特征的组生成二维几何形状；

基于所述二维几何形状生成三维几何形状，所述三维几何形状包括所述现实世界场景的粗略几何重建；以及

基于所述三维几何形状渲染用于显示的所述现实世界场景的第一图形表示。

2.根据权利要求1所述的计算机实现方法，其中，所述粗略几何重建包括用于导航所述现实世界场景的一个或多个视觉提示。

3.根据权利要求1所述的计算机实现方法，其中，所述粗略几何重建包括在第一时间点的所述现实世界场景的表示，并且进一步包括基于所述三维几何形状并在比所述第一时间点晚的第二时间点渲染所述现实世界场景的第二图形表示。

4.根据权利要求1所述的计算机实现方法，其中，所述现实世界场景的所述第一图形表示是经由混合现实系统显示的。

5.根据权利要求1所述的计算机实现方法，其中，识别所述特征的组包括识别描绘所述现实世界场景的图像的组内的边缘、拐角和表面中的至少一者。

6.根据权利要求5所述的计算机实现方法，其中，所述图像的组包括图像的立体对，所述图像的立体对包括左相机图像和右相机图像。

7.根据权利要求1所述的计算机实现方法，其中，生成所述二维几何形状包括针对所述特征的组中包含的每个特征生成至少一根多段线。

8.根据权利要求1所述的计算机实现方法，其中，生成所述三维几何形状包括：

识别所述二维几何形状中包含的第一多段线；

识别所述二维几何形状中包含的第二多段线；

在所述第一多段线与所述第二多段线之间进行三角测量以生成多个深度值；并且

基于所述第一多段线、所述第二多段线和所述多个深度值来生成三维多段线。

9.根据权利要求1所述的计算机实现方法，其中，生成所述三维几何形状包括：

识别所述二维几何形状中包含的第一多段线；

识别所述二维几何形状中包含的第二多段线；并且

基于所述第一多段线和所述第二多段线生成三角网格，以产生所述三维几何形状的多个三维顶点。

10.根据权利要求9所述的计算机实现方法，其中，所述第一多段线是基于从第一视角描绘所述现实世界场景的第一图像生成的，并且其中，所述第二多段线是基于从第二视角描绘所述现实世界场景的第二图像生成的。

11.根据权利要求1所述的计算机实现方法，其中，进一步基于用户的至少一个属性来渲染以显示图形。

12.根据权利要求11所述的计算机实现方法，其中，所述用户的所述至少一个属性包括与所述用户相关联的瞳间距离。

13.根据权利要求1所述的计算机实现方法，进一步包括增加与描绘所述现实世界场景的图像的组相关联的局部自适应对比度值，以生成预处理图像的组。

14.根据权利要求13所述的计算机实现方法，其中，所述特征的组是在所述预处理图像的组中识别的。

15.根据权利要求1所述的计算机实现方法，其中，渲染所述现实世界场景的所述第一图形表示包括：

从描绘所述现实世界场景的图像内的区域中提取纹理；并且

将所述纹理映射到对应于所述区域的所述粗略几何重建的一部分上。

16.一种非暂时性计算机可读介质，存储有指令，所述指令在由处理器执行时使所述处理器执行以下步骤：

识别与现实世界场景中的一个或多个对象相关联的特征的组；

基于所述特征的组生成二维几何形状；

基于所述二维几何形状生成三维几何形状，所述三维几何形状包括所述现实世界场景的粗略几何重建；以及

基于所述三维几何形状渲染用于显示的所述现实世界场景的第一图形表示。

17.根据权利要求16所述的非暂时性计算机可读介质，进一步包括以下步骤：

以第一延迟更新所述三维几何形状；并且

以第二延迟将第一纹理映射到所述三维几何形状的部分上，所述第一延迟超过所述第二延迟。

18.根据权利要求17所述的非暂时性计算机可读介质，其中，所述第一图形表示以所述第二延迟被渲染以供显示。

19.一种用于混合现实的系统，包括：

存储器，存储程序指令；

处理器，执行所述程序指令以执行以下步骤：

识别与现实世界场景中的一个或多个对象相关联的特征的组，

基于所述特征的组生成二维几何形状，

基于所述二维几何形状生成三维几何形状，所述三维几何形状包括所述现实世界场景的粗略几何重建，以及

基于所述三维几何形状渲染用于显示的所述现实世界场景的第一图形表示。

20.根据权利要求19所述的系统，其中，所述处理器执行以下额外步骤：

以第一延迟更新所述三维几何形状；并且

以第二延迟将第一纹理映射到所述三维几何形状的部分上，所述第一延迟超过所述第二延迟。

Images