CN105611267A

CN105611267A - 现实世界和虚拟世界图像基于深度和色度信息的合并

Info

Publication number: CN105611267A
Application number: CN201510776449.1A
Authority: CN
Inventors: 达尼洛·P·歌柔帕; 罗亚·J·帕茨纳斯基
Original assignee: Rockwell Collins Inc
Current assignee: Rockwell Collins Inc
Priority date: 2014-11-21
Filing date: 2015-11-11
Publication date: 2016-05-25
Anticipated expiration: 2035-11-11
Also published as: CN105611267B

Abstract

本发明公开了一种将现实世界物体选择性合并至虚拟环境中的方法和系统。所述方法包括：接收一个用于虚拟环境渲染的第一输入，一个用于现实世界环境渲染的第二输入，以及一个关于现实世界环境渲染的深度信息；至少识别现实世界环境渲染的一部分，所述现实世界环境处于深度范围内，并且区别于预定背景；生成一个合并渲染，至少包括将现实世界环境渲染部分合并至虚拟环境渲染；将此合并渲染给显示给用户。

Description

现实世界和虚拟世界图像基于深度和色度信息的合并

技术领域

本发明涉及电子显示技术领域，尤其涉及一种现实世界和虚拟世界图像基于深度和色度信息的合并。

背景技术

虚拟世界（也可称为虚拟现实，虚拟环境，或者合成环境）是一种计算机模拟的环境。虚拟现实技术通常用于各种类型的游戏以及培训目的。例如，使用头戴式显示器（HMD）可以使用户完全沉浸在虚拟世界中，通过各种各样的地形，环境和情节进行培训。虚拟现实技术也可用于飞行模拟和其它各种培训业务。

发明内容

本发明的实施例涉及一种将现实世界中的物体选择性的合并进虚拟世界的方法。所述方法可包括：接收用于一虚拟环境渲染的第一输入、用于一现实世界环境渲染的第二输入、以及关于所述现实世界环境渲染的一深度信息；识别所述现实世界环境渲染的至少一个部分，该部分处于一深度范围内且由一预定背景可区分；生成一合并渲染，其包括所述现实环境渲染的所述至少一个部分合并到所述虚拟环境渲染中；和向用户显示所述合并渲染。

在一方面，本发明实施例涉及一种装置。所述装置可包括至少一个输入端口，其被构形用以接收用于一虚拟环境渲染的第一输入、用于一现实世界环境渲染的第二输入、和关于所述现实世界环境渲染的一深度信息；和一图像处理器，其被构形用以：识别所述现实世界环境渲染的至少一个部分，该部分处于一深度范围内且由一预定背景可区分；生成一合并渲染，其包括所述现实环境渲染的所述至少一个部分和所述虚拟环境渲染；和向用户显示所述合并渲染。

在另一方面，本发明的实施例还涉及一个系统。所述系统可包括一图像处理器，其被构形用以：接收用于一虚拟环境渲染的第一输入、用于一现实世界环境渲染的第二输入、以及关于所述现实世界环境渲染的一深度信息；识别所述现实世界环境渲染的至少一个部分，该部分处于一深度范围内且由一预定背景可区分；和生成一合并渲染，其包括所述现实环境渲染的所述至少一个部分和所述虚拟环境渲染；和一与所述图像处理器连接的显示装置，该显示装置被构形用以将所述合并渲染显示给用户。

应当理解，以上概述及以下详述仅为本发明的示范和解释，并不用以限制本发明，附图被纳入并构成说明书的一部分，与说明书共同解释本发明的实施例，说明本发明的原理。

附图说明

通过参考下列附图，本领域技术人员可更好理解本发明的多个优点：

图1所示为一个训练设施内用户佩戴的头戴式显示器；

图2所示为一个呈现给用户的合成图像；

图3所示为同一训练设施内的多个用户；

图4是本发明实施例所述的一个将现实世界中的物体选择性合并到虚拟环境的系统的框图；和

图5是本发明实施例所述的一种将现实世界中的物体选择性合并到虚拟环境的方法的流程图。

具体实施方式

详细参考在此公开的本发明内容的示例性实施例，其中的例子已在附图进行说明。

头戴式显示器或者头盔式显示器，简称为HMD，是一种佩戴在头上或者作为头盔的显示装置，在用户的单眼或双眼前方有显示装置。HMDs被用于游戏、训练以及各种类型的模拟。这样的模拟覆盖较大范围的应用，包括驾驶、飞行、战斗训练、医疗程序的培训，甚至更多。

值得注意的是，然而，利用HMD可能阻碍对现实世界中物体的观察。例如，为了训练目的而佩戴HMD的战士可能看不到他的/她的手，脚，或者任何他/她在现实世界中物理佩戴的装置。现实世界物体的这种阻碍可能导致沉浸、现实主义和存在感的损失，并且有时可能需要用户摘掉HMD去使用现实世界中的装置。重复的摘掉和佩戴HMD头盔会导致消极训练。

本发明在此公开的实施例选择性的将现实世界中物体的渲染带入到虚拟世界中。更具体的说，从用户角度看到的现实世界中物体的视频流是选择性的合并到呈现给用户的虚拟环境的实时视频流中，当现实世界中的物体合并到虚拟环境中时，允许用户看到和使用现实世界中的物体，而无需移除显示装置（例如，HMD）。将现实世界中的物体合并到虚拟世界中的能力还能够将触觉和触觉反馈有效的呈现给用户。

如图1所示，描绘了训练设施104中用户102佩戴的头戴式显示器HMD100。训练设施104包括如图1所示的训练房间。为了简单介绍，训练设施104被描述为矩形房间；这是可以理解的，然而，训练设施104具有不同的尺寸和/或形状。训练设施104可以安装在室外，而不会背离本发明在此公开的发明构思的范围。

本发明在此公开的实施例可以选择性的将物理安装在训练设施104内的现实世界中的物体带入至虚拟环境中，所述虚拟环境通过HMD100呈现给用户102。例如，如果训练需要用户102操作出现在训练设施104中的测距仪106，这就需要将从用户102的角度看到的测距仪106的视频图像与呈现给用户102的虚拟环境进行合并。也可以将其他接近用户102的现实世界中的物体（例如，训练设施104中的沙包108）视频图像合并到虚拟环境中。然而，远离用户102安装的特定的现实世界中的物体（例如，训练室的墙壁）可能被排除在外而无法合并到虚拟环境中。

图2描绘了呈现给用户102的合成图像116。特定的HMDs能够为用户102的双眼呈现立体图像；然而，为了简单介绍，仅显示这些合成图像116中的一种。可以预见的是，在此公开的相似的合成技术能够适用于二维的、三维、立体以及各种其他类型的图像（或视频流）而不会背离本发明在此公开的发明构思的范围。

如图2所示，通过HMD100将虚拟环境114呈现给用户102。通过HMD100还可以呈现给用户102测距仪106以及沙袋108的效果图，这些效果图是以用户102的视角看到的。提供根据用户102角度看到的测距仪106和沙袋108的效果图通过设置一个或者更多的摄像机或者连接HMD100以模拟用户眼睛的视角。如图2所示，图像（或者视频流）是通过这样的摄像机处理得到并且实时叠加在虚拟环境114中，从而产生典型的合成图像116并呈现给用户102。

值得注意的是，被安装在远离用户102（例如训练室墙壁）的特定距离内，利用以用户102的视角观察到的深度信息，物体被自动排除在合成图像116之外。深度信息能够在多个实施例中利用以决定特定的物体是包括在合成图像116之内还是排除在合成图像116之外。更具体的说，如果特定的物体距离用户102的距离远大于特定距离，这个特定的物体被认为超出了深度范围并且被自动排除在合成图像116之外。

应该预想到深度信息能够通过利用各种不同的技术而获得。例如，深度信息（也可称为深度图）能够利用安装在HMD100或者连接在HMD100上的立体摄像机实时生成。这样一个深度图可能是利用距离成像解决方案生成的，所述距离成像解决方案包括飞行时间、结构光、立体三角或者窄深度技术以及类似。此外，和/或可选择的，深度图可能利用预先拍摄的三维空间数据实时生成，例如根据当前的HMD的头部姿势（考虑到头部位置和跟踪信息），实时呈现空间点云/网格。可以预见的是，利用其他的上述没有特别提到的技术获得的深度信息并不脱离在此公开的本发明的发明构思的范围。

然而利用上述描述的深度信息使深度范围之外的物体能够实现实时排除，以免其合并到合并图116中。可能需要进一步的排除特定的现实世界的物体，即使它们处于深度范围内。例如，可能需要排除用户102所处的物理位置，训练室地板的图像。返回图1，假设记112的地板区域标处于深度范围之外，该区域112被自动排除在合并图116之外。值得注意的是，然而，标记110的地板区域被认为处于深度范围之内，并且因此，额外的处理的实施可能将区域110的相应图像排除在合并图116之外。

在一些实施例中，一个或者更多预定颜色的色调（色度范围/键控）可能被用于覆盖处于深度范围内却并非合并图116所需的物体。处于深度范围内却并非合并图116所需的物体一般简称为背景信息，并且被简称为颜色键控或者色度键控的这一技术被用于有效的排除这种背景信息。参考图1所示的例子，标记110的地板区域以特殊的色度键颜色进行绘制，使其能够与测距仪106和沙袋108相区别。在一些实施例中，视觉指示器118被提供在合并图116中（如图2所示）用以直接的显示区域110和112的边界给用户102。然而，在一些实施例中，视觉指示器118是不被需要的，用户102可以根据需要转换和关闭视觉指示器118。

应该预想到其他的数字图像处理技术也可用于除了（或者替代）色度键控的使用。例如，训练设施104能够预扫描以记录/绘制训练设施104（简称为背景环境）的部分物体。在扫描之后，被引入训练设施104的额外的物体作为区别于预扫描背景被识别。可以预见的是，用于从背景环境中区分现实世界物体的数字图像处理技术的具体实施方式可能有所不同，但并不脱离本发明在此公开的发明构思的范围。

值得注意的是，虽然具体实施方式存在差异，但是用于选择性的将位于训练设施104中的真实世界的物体与虚拟世界相结合的三个基本法则是能够在本发明在此公开的发明构思中的多个实施例中看到。再次重申，这三个基本原则是：

a)位于限定的深度范围之外的物体被排除在合并图116之外；

b)位于限定的深度范围之内并且作为背景的一部分被识别的物体（例如，特定色度键颜色的物体）被排除在合并图116之外；和

c)位于限定的深度范围之内却未作为背景的一部分被识别的物体被呈现和列入合并图116中。

值得注意的是，所有这三个基本原则至少是部分基于限定的深度范围（或者一般的深度信息）。利用这样的深度信息具备几个优点。例如，由于位于限定的深度范围之外的物体能够被自动排除在效果图之外，仅有在限定的深度范围之内的小部分区域需要执行去除背景的操作。它还允许多个用户102同时使用训练设施104，如图3所示，只要用户102在至少一个深度范围内远离彼此。反之，这可能需要在一定的训练方案中去显示相同合并图116中的多个用户102，因此，它们将被包括在训练设施的深度范围内。可以预见的是，深度范围是可以预定的，用户配置，训练的具体情况，或者动态调整，或者它们的组合。还可以预见的是用户102还可以采用以色度键颜色绘制的全向跑步机以在一些实施例中提供更加现实的跑步/步行能力的解决方案。

进一步预想到将现实世界物体选择性结合进虚拟环境的技术并不限于战斗训练中的应用。相似的技术可以应用到各种类型的飞机和车辆模拟，并且可以为用户提供各种情况的视觉和触觉反馈，以及用于执行各种任务，例如驾驶、飞行、医疗程序的培训以及更多。

现在参考图4，图4是本发明实施例所述的将现实世界中的物体选择性合并到虚拟环境的系统400的框图。处理器402被用于生成虚拟环境，该虚拟环境被用于各种目的，如游戏、训练、模拟以及类似。所述处理器402与显示装置404相通讯，例如头戴式显示器（或者HMD），用于为一个或多个用户显示图像（也可称为视频流）。显示装置404包括一个或者多个位置追踪器，用以追踪头部位置和运动。可选/另外，辅助位置追踪器406也被用于追踪目的。

一个或者多个摄像机都位于或者靠近显示器404，并且配置用于获得与显示器404（例如，HMD）的视野基本匹配的现实世界的图像。在一些实施例中，随着摄像机获得的图像，它们可能被用于获得深度信息。或者/另外，额外的摄像机或者传感器能够被用于获得深度信息。获得的现实世界的图像和深度信息被同时处理以决定是否任何获得的现实世界图像的任何位置都能够合并到虚拟环境中。

在一些实施例中，一个专用的图像处理器硬件408被用于接收用于虚拟环境（由处理器402生成的）渲染的输入和用于现实世界物体（由摄像机404获得的）渲染的输入，以及处理接收的输入用以生成一个合并的视频流。专用图像处理器408被用于最小化与图像处理相关的任何延迟。例如，现实世界中运动发生后的20毫秒内，即以合并流反映一个用户的头部运动是可以期望的，如果延迟超过25毫秒，用户可能体验晕动或者其他不想要的状况。可以预见的是，然而，专用硬件的使用是不需要的，并且图像处理可由处理器402执行而不脱离本发明在此公开的发明构思范围。

无论图像处理器408是否作为一个专用硬件或者一个嵌入式组件，图像处理器408的目的都是基于前面描述的深度和色度信息将现实世界中的物体合并到虚拟环境中。然后，将合并流提供给显示装置404并且显示给用户。

参考图5，图5是本发明实施例所述的一种将现实世界中的物体选择性合并到虚拟环境的方法500的流程图。在步骤502中，从不同的来源接收视频输入信号。接收的信号包括用于渲染虚拟环境的视频输入，现实世界环境的视频输入，以及现实世界环境的深度信息/映射。在步骤504中，接收的信号基于与每个信号相关的时间信息可进行缓冲和同步，然后在步骤506中转换成随后可被处理的普通格式。可以预见的是，该格式可基于特定需求例如分辨率，压缩率，可处理能力，以及其他不脱离本发明在此公开的发明构思范围的因素。

一些实施例中，在步骤508中，几何变换被用于将所有输入匹配至常见的二维界面角度处理步骤。每个二维帧像素都是基于前面定义的合并原则被处理的。更具体地说，如果像素位置对应于确定（确定步骤510）限定深度范围之外的区域，基于用于渲染虚拟环境的视频输入提供这个像素位置。另一方面，如果像素对应于确定的限定深度范围之内的区域，进一步的确定步骤512以决定以这个像素位置的摄像头输入是否对应一个不必要的背景图像（例如，该像素处于色度键控范围内）。此外，基于摄像头输入而提供的像素位置有效的使现实世界图像成为帧。

一旦确定该视频输入（虚拟或现实）应该用于每个像素位置，合并后的视频流可在步骤514中生成。当上述描述的以像素级别进行图像处理例子，在某些实施例中，一些相邻的像素可能作为一个单元以类似的方式被处理。可以预见的是，这个处理步骤的间隔尺寸是基于各种因素被确定的，这些因素如分辨率，可用处理能力，以及其他不脱离本发明在此公开的发明构思范围的因素。

还可以预见的是，额外的后处理效果可应用在步骤516中。例如，效果如夜视护目镜、热成像以及其他各种类型可被引入的视觉效果。进一步设想，如果使用了头戴显示器，某些HMD的特定变换可能被应用和显示在步骤518中。这样的变换可能包括，例如，几何镜头扭曲、色相差校正、多重采样、调整大小等。然而，可以预见的是，HMD的利用不是必须的，并且显示装置可能是二维、三维、立体或者各种其他类型的不脱离本发明在此公开的发明构思范围的显示装置。

这是可以理解的，本发明能够以多种方便的形式实现，如软件，硬件或者固件包。这样的包可能是计算机程序产品。该产品利用包括存储计算机编码在内的计算机-可读存储介质。所述计算机编码用于计算机编程以形成本发明公开的功能和过程。计算机-可读介质包括，但是不限于，任何类型的常规软盘、光盘、CD-ROM光盘、磁盘、硬盘驱动器、磁光盘、只读存储器、随机存取存储器、可擦除可编程只读寄存器、带电可擦写可编程只读存储器、磁或光卡，或者能够用于存储电子指令的任何其它合适的介质。

这是可以理解的，本发明的实施例描述的本发明的发明构思不限于任何潜在的实现技术。利用任何软件，固件和硬件技术，并且利用一系列不脱离本发明的发明构思范围或者不牺牲所有材料优点的情况下

本发明公开的发明构思的实施例不限于任何潜在的实施技术。本发明公开的发明构思能够利用任何软件、固件和硬件技术的结合而实施，并且可以利用各种技术，这些技术不会背离本发明公开的发明构思的范围或者不牺牲所有材料的技术优势。

这是可以理解的，公开过程中步骤的特定顺序或层次是一个示范性方法的例子。这同样也是可以理解的，过程中的步骤的特定顺序或层次能够重排，同时保持本发明在此公开的发明构思的范围之内。补充的方法要求样品顺序中各步骤现有的元素，并不意味着被限制于特定的顺序或层次结构。

人们认为在此公开的本发明的发明构思和许多随之而来的优点将通过前面的描述被理解，并且在形式，构建，和组件的排列方面可做出不同的变化，并且不脱离本发明的发明构思的范围或不牺牲所有材料的技术优势，这将是很明显的。在此之前，仅仅是一个解释性的实施例描述的形式，这是后面的包括这些变化的权利要求的意图。

Claims

1.一种方法，包括：

接收用于一虚拟环境渲染的第一输入、用于一现实世界环境渲染的第二输入、以及关于所述现实世界环境渲染的一深度信息；

识别所述现实世界环境渲染的至少一个部分，该部分处于一深度范围内且由一预定背景可区分；

生成一合并渲染，其包括所述现实环境渲染的所述至少一个部分合并到所述虚拟环境渲染中；和

向用户显示所述合并渲染。

2.根据权利要求1所述的方法，其中，用于所述现实世界环境渲染的所述第二输入是从用户角度获得。

3.根据权利要求1所述的方法，其中，利用至少一个色度键促进识别由所述预定背景可区分的所述现实世界环境渲染的所述至少一个部分。

4.根据权利要求1所述的方法，进一步包括：

利用时间同步用于所述虚拟环境渲染的所述第一输入、用于所述现实世界环境渲染的所述第二输入、以及关于所述现实世界环境渲染的所述深度信息。

5.根据权利要求1所述的方法，进一步包括：

将用于所述虚拟环境渲染的所述第一输入、用于所述现实世界环境渲染的所述第二输入、和关于所述现实世界环境渲染的所述深度信息转换成用于图像处理的通用格式。

6.根据权利要求1所述的方法，进一步包括：

应用几何变换将用于所述虚拟环境渲染的所述第一输入、用于所述现实世界环境渲染的所述第二输入、和关于所述现实世界环境渲染的所述深度信息转变成二维图像帧。

7.根据权利要求1所述的方法，其中，所述虚拟环境渲染和所述现实世界环境渲染是利用头戴式显示器呈现的立体视频格式。

8.一种装置，包括：

至少一个输入端口，其被构形用以接收用于一虚拟环境渲染的第一输入、用于一现实世界环境渲染的第二输入、和关于所述现实世界环境渲染的一深度信息；和

一图像处理器，其被构形用以：

生成一合并渲染，其包括所述现实环境渲染的所述至少一个部分和所述虚拟环境渲染；和

向用户显示所述合并渲染。

9.根据权利要求8所述的装置，进一步包括：

一输出端口，其被构形用以将所述合并渲染提供给一显示装置。

10.根据权利要求9所述的装置，其中，所述显示装置包括一头戴式显示器，以及其中所述合并渲染是利用头戴式显示器呈现的立体视频格式。

11.根据权利要求10所述的装置，其中，用于所述现实世界环境渲染的所述第二输入是从至少一个与所述显示装置相关设置的摄像机获得。

12.根据权利要求8所述的装置，其中，所述虚拟环境渲染和所述现实环境的渲染都是视频流。

13.根据权利要求8所述的装置，其中，所述预定背景包括至少一个预定色调。

14.一种系统，包括：

一图像处理器，其被构形用以：

识别所述现实世界环境渲染的至少一个部分，该部分处于一深度范围内且由一预定背景可区分；和

一与所述图像处理器连接的显示装置，该显示装置被构形用以将所述合并渲染显示给用户。

15.根据权利要求14所述的系统，其中，所述显示装置包括一头戴式显示装置，以及其中所述合并渲染是适用于利用头戴式显示器呈现的立体视频渲染。

16.根据权利要求15所述的系统，其中，所述头戴式显示装置被用于为用户提供完全身临其境的训练。

17.根据权利要求14所述的系统，其中，用于所述现实世界环境渲染的所述第二输入是利用至少一个与所述显示装置相关设置的摄像机从用户角度获得。

18.根据权利要求17所述的系统，其中，关于所述现实世界环境渲染的所述深度信息是利用所述至少一个摄像机从用户角度获得。

19.根据权利要求17所述的系统，其中，关于现实世界环境渲染的所述深度信息是利用以下至少一种从用户角度获得：深度摄像机、两个立体摄像机产生的视差图以及预先采集的三维空间数据集合。

20.根据权利要求14所述的系统，其中，所述预定背景包括至少一个预定色调。