CN111936910A - 虚拟现实系统和方法 - Google Patents

Abstract

一种用于创建两个或更多用户之间的虚拟现实（VR）交互的计算机装置和过程，其中至少一个用户穿戴着VR头戴式视图器。提供了具有一个或多个集成传感器部件的至少一个VR头戴式视图器设备以及用于至少捕捉穿戴该VR头戴式视图器设备的用户的图像的照相机设备。VR成像计算机设备通信地耦合到至少一个VR头戴式视图器设备和照相机设备中的每个。VR成像计算机使用照相机设备创建至少一个穿戴VR头戴式视图器的用户的二维（2D）图像，其中，在头戴式视图器中定位的是一个或多个传感器。使用一个或多个传感器跟踪用户的瞳孔移动，使得从穿戴头戴式视图器的用户移除来自创建的2D图像的头戴式视图器图像。然后，在用户的捕捉图像中缝合由VR头戴式视图器的一个或多个传感器呈现的用户的检测到并记录的瞳孔图像，以便叠加在从用户的创建的2D图像移除了头戴式视图器图像的区域中，使得另一用户可以观看该用户的VR图像，就好像该用户未穿戴头戴式视图器一样。

Description

虚拟现实系统和方法

相关申请的交叉引用

本申请要求于2018年3月13日提交的美国专利申请序列号62/642,488的优先权，其全部内容通过引用合并于此。

技术领域

本说明书一般地涉及用于捕捉和处理二维（2D）和三维（3D）图像的方法和设备。

背景技术

虚拟现实（VR）带来了非凡的沉浸式体验，提供了观看世界的新方式以及探索真实和虚构的新环境的能力。然而，与物理现实相比，与其他人共享这些体验可能很困难，因为VR头戴式视图器（headset）使得创建参与体验的人的完整图景成为挑战。

通过混合现实（MR）减轻了该脱节现象（disconnect）中的一些，作为相关的媒体，其以二维视频格式共享VR用户的虚拟上下文（context），允许其他观看者感受到该用户的虚拟体验。虽然MR促进了共享，但头戴式视图器继续阻挡面部表情和眼睛注视，这对于完全参与VR中的人的体验和完整视图构成了重大障碍。

发明内容

下文描述的所示实施例的目的和优势将在下面的描述中阐明并从中清楚。通过在撰写的说明书及其权利要求书中以及从附图特别指出的设备、系统和方法，将实现并获得所示实施例的附加优势。

该项目的一般目的是提供实况（live）VR聊天体验。当前，VR聊天应用使用动画化身。本发明的目的是用没有用户的头戴式视图器的图像的实况视频代替化身，用户的头戴式视图器的图像将被用户的头部的3D模型（例如，在用户没有穿戴头戴式视图器的情况下先前记录的）可视地代替。本发明的另一个目的是每个用户可以调整他们的现实水平（例如，从化身到实况3D视频图像）。

附图说明

所附的附录和/或附图示出了根据本公开的各种非限制性的示例创造性方面：

图1示出了可以用于实现本文描述的技术的计算机设备和移动设备的示例；

图2描绘了穿戴头戴式视图器的用户以及另一头戴式视图器穿戴用户的头戴式视图器穿戴用户感知的视图；

图3描绘了从用户移除头戴式视图器的图像以创建用户的VR就像头戴式视图器被移除一样的过程；以及

图4-7示出了根据所描述的示出实施例的用于在用户之间创建VR聊天的过程的部分。

具体实施方式

现在参考附图更充分地描述所示的实施例，其中，相同的附图标记标识相似的结构/功能特征。所示的实施例不以任何方式被限制为所示的内容，因为以下描述的所示的实施例仅是示例性的，其可以以各种形式实施，如本领域的技术人员所理解的那样。因此，应当理解，本文公开的任何结构和功能细节都不解释为限制性的，而仅仅作为权利要求的基础以及作为教导本领域技术人员各种使用所讨论的实施例的表示。此外，本文所使用的术语和短语不旨在是限制性的，而是提供对所示实施例的可理解的描述。

在提供值的范围的情况下，应理解，该范围的上限和下限与该所述范围中的任何其他所述或居间值之间的、除非上下文另有明确规定否则达到下限的单位的十分之一（thetenth of the unit）的每个居间值（intervening value）被包括在所示实施例内。这些较小范围的上限和下限可以独立地被包括在较小范围中，其也被包括在所示实施例之内，受制于所述范围内的任何具体排除的限制。在所述范围包括一个或两个限制的情况下，排除那些包括的限制的任两个的范围也被包括在所示实施例中。

除非另有定义，否则本文使用的所有技术和科学术语具有与由本发明所属领域的普通技术人员通常所理解的含义相同的含义。虽然类似于或等同于本文描述的那些方法和材料的任何方法和材料也可以用于实践或测试所示实施例，但是现在描述示例性方法和材料。本文提及的所有出版物通过引用并入本文，以公开和描述与引用出版物有关的方法和/或材料。

必须注意的是，如本文和所附权利要求书中所使用的，单数形式“一”、“一个”和“该”包括复数参照物（referent），除非上下文另有明确规定。因此，例如，对“刺激”的提及包括多个这样的刺激并且对“该信号”的提及包括对一个或多个信号及本领域技术人员已知的其等同物的提及，以及诸如此类。

提供本文讨论的出版物仅是为了本申请的提交日期之前的它们的公开。本文中没有内容被解释为承认所示实施例无权借助在先发明而早于此类出版物。此外，提供的出版的日期可能与实际出版的日期有所不同，这可能需要独立确认。

应当理解，下面讨论的所示实施例优选地是驻留在具有控制逻辑的计算机可用介质上的软件算法、程序或代码，该控制逻辑用于使能在具有计算机处理器的机器上的执行。该机器通常包括存储器存储装置，其被配置为提供来自计算机算法或程序的执行的输出。

如本文所使用的，术语“软件”意味着是与可以在主机计算机的处理器中的任何代码或程序的同义词，而不论实现在硬件、固件中还是作为盘、存储器存储设备上可用的软件计算机产品或用于从远程机器下载的软件计算机产品。本文描述的实施例包括用于实现上述方程、关系和算法的此类软件。基于上述实施例，本领域技术人员将理解所示实施例的进一步的特征和优势。因此，除了由所附权利要求书所指示的以外，所示实施例不受已经特别示出和描述的内容的限制。本文引用的所有出版物和参考文献均通过引用全文明确地并入本文。

现在描述性地转向附图，在附图中，相似的附图标记贯穿若干视图表示相似的元素，图1描绘了示例性通用计算系统600和通用移动计算机设备650，它们可以与这里描述的技术一起使用。应当理解，计算系统600和移动设备650应被理解为示例性实施例，其中其一个或多个部件可以与如本文所述的本发明的所示实施例一起使用。

计算设备600包括处理器602、存储器604、存储设备606、连接到存储器604和高速扩展端口610的高速接口608以及连接到低速总线614和存储设备606的低速接口612。使用各种总线互连部件602、604、606、608、610和612中的每个，并且互连部件602、604、606、608、610和612中的每个可以安装在共同主板上或以其他适当方式安装。处理器602可以处理用于在计算设备600内执行的指令，包括存储在存储器604中或存储设备606上以在外部输入/输出设备上显示GUI的图形信息的指令，外部输入/输出设备诸如是耦合到高速接口608的显示器616。在其他实现中，可以适当地使用多个处理器和/或多个总线，连同多个存储器和存储器的类型。另外，可以连接多个计算设备600，其中每个设备提供必要操作的部分（例如，作为服务器组、刀片服务器的组或多处理器系统）。

存储器604将信息存储在计算设备600内。在一个实现中，存储器604是一个或多个易失性存储器单元。在另一实现中，存储器604是一个或多个非易失性存储器单元。存储器604也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。

存储设备606能够为计算设备600提供大容量存储。在一个实现中，存储设备606可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或带设备、闪存或其他类似的固态存储器设备，或设备的阵列，包括存储区域网络中或其他配置的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，指令在被执行时执行一种或多种方法，诸如上述那些方法。信息载体是计算机或机器可读介质，诸如存储器604、存储设备606或处理器602上的存储器。

高速控制器608管理计算设备600的带宽密集型操作，而低速控制器612管理较低带宽密集型操作。这种功能分配仅是示例性的。在一个实现中，高速控制器608（例如，通过图形处理器或加速器）耦合到存储器604、显示器616，并且耦合到可以接受各种扩展卡（未示出）的高速扩展端口610。在该实现中，低速控制器612耦合到存储设备606和低速扩展端口614。可以包括各种通信端口（例如，USB、蓝牙、以太网、无线以太网）的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指点设备、扫描仪或联网设备，诸如交换机或路由器。

如图中所示，计算设备600可以以多种不同的形式实现。例如，它可以被实现为标准服务器620，或者在这样的服务器的组中实现多次。它也可以被实现为机架服务器系统624的部分。此外，它还可以被实现在诸如膝上型计算机622之类的个人计算机中。替代地，来自计算设备600的部件可以与移动设备中的其他部件（未示出）组合，移动设备诸如是设备650。这样的设备中的每个可以包含计算设备600、650中的一个或多个，并且整个系统可以由彼此通信的多个计算设备600、650组成。

除其他部件之外，计算设备650包括处理器652、存储器664、诸如显示器654、通信接口666和收发器668之类的输入/输出设备。设备650还可以配备有存储设备，诸如微驱动器或其他设备，以提供附加的存储。使用各种总线互连部件650、652、664、654、666和668中的每个，并且部件中的若干部件可以安装在公共主板上或以适当的其他方式安装。

处理器652可以在计算设备650内执行指令，所述指令包括存储在存储器664中的指令。处理器可以被实现为包括分离的以及多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如设备650的其他部件的协调，诸如对用户界面、由设备650运行的应用以及由设备650进行的无线通信的控制。

处理器652可以通过耦合到显示器654的显示接口656和控制接口658与用户通信。显示器654可以是例如TFT LCD（薄膜晶体管液晶显示器）或OLED（有机发光二极管）显示器，或其他适当的显示技术。显示接口656可以包括用于驱动显示器654以向用户呈现图形和其他信息的适当电路。控制接口658可以从用户接收命令并且转换它们用于提交给处理器652。另外，可以提供与处理器652通信的外部接口662，以便使能设备650与其他设备的附近区域通信。外部接口662可以例如在一些实现中提供有线通信，或在其他实现中提供无线通信，并且也可以使用多个接口。

存储器664在计算设备650内存储信息。存储器664可以被实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一个或多个。还可以提供扩展存储器674，并通过扩展接口672将其连接到设备650，扩展接口672可以包括例如SIMM（单列存储器模块）卡接口。这样的扩展存储器674可以为设备650提供额外的存储空间，或者还可以为设备650存储应用或其他信息。具体地，扩展存储器674可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器674可以被提供为设备650的安全模块，并且可以用允许安全使用设备650的指令来编程。此外，可以经由SIMM卡连同附加信息来提供安全应用，诸如以非可入侵（non-hackable）方式在SIMM卡上放置标识信息。

存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一个实现中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令，指令在被执行时执行一种或多种方法，诸如上述那些方法。信息载体是计算机或机器可读介质，诸如存储器664、扩展存储器674或处理器652上的存储器，其可以例如通过收发器668或外部接口662被接收。

设备650可以通过通信接口666无线通信，通信接口666在必要时可以包括数字信号处理电路。通信接口666可以提供各种模式或协议下的通信，各种模式或协议除其他之外诸如是GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS。这样的通信可以例如通过射频收发器668发生。此外，可以诸如使用蓝牙、Wi-Fi或其他这样的收发器（未示出）发生短距离通信。此外，GPS（全球定位系统）接收器模块670可以向设备650提供附加导航以及位置相关无线数据，设备650上运行的应用可以适当使用这些数据。

设备650还可以使用音频编解码器660可听地进行通信，音频编解码器660可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器660可以同样地为用户生成可听的声音，诸如通过例如设备650的头戴式视图器中的扬声器。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音（例如，语音消息、音乐文件、等等），并且还可以包括由在设备650上操作的应用生成的声音。

如图中所示，可以以多种不同的形式来实现计算设备650。例如，它可以被实现为蜂窝电话680。它也可以被实现为智能电话682、个人数字助理或其他类似的移动设备的部分。

可以在数字电子电路、集成电路、专门设计的ASIC（专用集成电路）、计算机硬件、固件、软件和/或其组合中实现此处描述的系统和技术的各种实现。这些各种实现可以包括在一个或多个计算机程序中的实现，该一个或多个计算机程序在包括至少一个可编程处理器的可编程系统上可执行和/或可解释，该至少一个可编程处理器可以是专用的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令并向存储系统、至少一个输入设备和至少一个输出设备传输数据和指令。

这些计算机程序（也称为程序、软件、软件应用或代码）包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如本文所使用的，术语“机器可读介质”“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备（例如磁盘、光盘、存储器、可编程逻辑器件（PLD）），包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，此处描述的系统和技术可以在具有用于向用户显示信息的显示设备（例如CRT（阴极射线管）或LCD（液晶显示器）监视器）（以及其他合适的显示技术）以及用户通过其可以向计算机提供输入的键盘和指点设备（例如鼠标或跟踪球）的计算机上实现。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈（例如视觉反馈、听觉反馈或触觉反馈）；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

此处描述的系统和技术可以实现在计算系统中，所述计算系统包括后端部件（例如，作为数据服务器），或包括中间件部件（例如，应用服务器）或包括前端部件（例如，具有图形用户接口或Web浏览器的客户端计算机，用户可以通过图形用户接口或Web浏览器与此处描述的系统和技术的实现进行交互），或实现在此类后端、中间件或前端部件的任何组合中。系统的部件可以通过数字数据通信的任何形式或介质（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”）、广域网（“WAN”）和因特网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是通过在相应计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。

图1中描绘的计算设备与虚拟现实（VR头戴式视图器690）对接。在所示实施例中，VR头戴式视图器中包括一个或多个传感器，以在一个用户与另一用户交互时虚拟移除头戴式视图器690的外观。例如，头戴式视图器传感器690可以包括在跟踪用户的瞳孔时照亮用户的眼睛的一个或多个LED 691和用于记录用户的眼睛/瞳孔的一个或多个微型照相机693。

例如，本发明的实施例在穿戴头戴式视图器690时使用照相机设备400作为用户的隐藏的面部的代理（proxy）来创建没有头戴式视图器690的用户的面部704的模型。该代理用于在混合现实（MR）视频中合成面部，从而产生如下效果（impression）：当一个使用（oneusing）在VR领域中与另一个用户进行交互时，头戴式视图器690被移除。例如，该初始校准步骤可能要求用户704坐在彩色+深度（color+depth）照相机400和监视器前面，并且然后利用他们的眼睛跟踪监视器上的标记。该校准过程获取用户704的3D面部模型，并且创建数据库，该数据库将外观图像（或纹理）映射到不同的眼睛注视方向和眨眼（经由传感器691和693）。前述眼睛注视数据库（即，优选地具有通过眼睛注视索引的纹理的面部模型）使得用户的面部的外观能够被动态地改变以生成期望的（和实时的）眼睛注视，因此使合成的面部看起来自然且活泼。应当理解，也可以通过使用适当的线框软件技术来改变面部的构造。

在一些实现中，除了计算设备之外的一个或多个输入设备（例如，鼠标、键盘）可以在计算机生成的3D环境中被呈现（render）。呈现的输入设备（例如，呈现的鼠标、呈现的键盘）可以在VR空间中如呈现的那样使用以控制VR空间中的对象。

计算设备600旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备650旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。此处所示的部件、它们的连接和关系以及它们的功能意味着仅是示例性的，并不意味着限制本文档中描述和/或要求保护的本发明的实现。

在上面一般地示出和讨论图1的示例性计算系统环境100的情况下，以及现在参考图2-7，在下面描述的是各种示例性实施例的实现。

应当理解，用于本发明的所示实施例的使用的环境涉及一种系统600，该系统600优选地利用实况视频使能VR中的在线聊天。在下面讨论的用于描述所示实施例的示例中，应当理解，其假设两个人与本地用户和远程用户实况聊天（本发明不应被理解为局限于此）。示例性实施例包括上述系统600的一个或多个部件，包括诸如Oculus Rift^TM之类的VR系统、每个用户一个或多个网络摄像头400以及优选的绿屏。参考图2，在根据所示实施例的VR聊天会话期间，穿戴着头戴式视图器690的远程用户700例如在VR中将观看另一用户702（穿戴着头戴式视图器690）的实况视频，减去本地用户正穿戴着704的头戴式视图器690。同样，在相同的VR聊天会话期间，穿戴着头戴式视图器690的远程用户702在VR中将观看用户700（穿戴着头戴式视图器690）的实况视频，减去本地用户正穿戴着706的头戴式视图器690。

根据本发明的一个方面（并且参考图3），远程用户的头戴式视图器视觉被本地用户的头部的预先记录的静态图像/视频的覆盖物代替。优选地，需要叠加用户头部的仅一部分，因为当穿戴着VR头戴式视图器时，嘴和面部的下部仍是大致可见的。优选地，优选地使用标准2D网络摄像头400（图4）通过抠像（chromakey）（“绿屏”）技术来创建实况视频效果。因此，根据所示实施例，每个用户704、706优选地被放置在便携式绿屏（402）的前面。应当理解，这可以通过某些软件技术来消除，或者替代地，通过使用3D照相机在没有绿屏的情况下确定用户轮廓可以是可能的。

如下所述，根据所示实施例，两个或更多用户（704和706）可以在每个用户位置处使用特殊的网络摄像头400来参与实况在线聊天。每个用户（704、706）优选地穿戴VR头戴式视图器690（700、702），从而每个用户（704、706）观看另一个用户的头部（706、704）的叠加和预先记录的图像。广播图像优选地是实况视频和预先记录的图像的合成。实况视频优选地包括直到仅用户的嘴部区域上方的身体（图3）（例如，VR头戴式视图器690通常驻留的位置）。因此，记录的图像优选地是用户（704、706）的鼻子、眼睛和头部的顶部。应当理解，如下应该是可能的：实现与两个以上的人的实况聊天，诸如公司电话会议。

该记录的图像也可以使用特殊形式的摄影测量法（photogrammetry）在之前创建。这是其中将多个2D图像缝合在一起并进行处理以创建3D模型和纹理的技术。当前，该过程是昂贵的、耗时的并且需要特殊的硬件和多个照相机。相反，根据本发明的实施例，可以利用廉价的立体照相机的实现，其由面对用户的两个照相机组成，每个照相机具有立体或单视场（monoscopic）视觉。例如，当照相机记录并捕捉场景时，用户将在他们的椅子中旋转。立体或单视场照相机输出的后处理将用于生成3D模型。

现在参考图4-7，描述了根据所示实施例的用于使能VR会话的示例性过程。首先，由网络摄像头400对没有头戴式视图器的每个用户704（图4）、706（图5）的面部拍照。如图6和7中所示，每个用户（704、706）然后穿戴头戴式视图器690，头戴式视图器690具有用于检测眼睛注视、移动和眨眼的前述LED传感器691和693。优选地，当微型摄像机传感器693记录用户的瞳孔时，传感器691照亮头戴式视图器690内的用户的一只眼睛以跟踪瞳孔移动。处理芯片602优选地被配置并且可操作以通过优选地经由软件“缝合”移动瞳孔来将移动瞳孔恢复到面部来完成头戴式视图器690当前遮挡的面部的图像。因此，用户704和706两者都可以实时地观看彼此的3D图像（经由他们各自的头戴式视图器690），就好像另一个用户704、706的面部在他们的前面并且未被头戴式视图器690遮挡一样。

应当进一步理解的是，通过进一步使用优选地位于每个用户的额头和眉毛上的电敏设备，还可以经由处理芯片602上的软件处理来跟踪每个用户704、706的皱眉表情。

总之，并且根据一个或多个所示实施例，本发明使能在视频聊天中的用户的网络摄像头视频流的虚拟投影，减去用户的头戴式视图器。这是通过使用诸如摄影测量法之类的建模技术以3D形式对用户头部进行建模来实现的。例如，该模型实时地替代用户的头部的顶部，因此其他参与用户仅观看到参与用户的身体、头部、面部和眼睛，减去头戴式视图器690。

应当理解，将包括多个用户（例如，大于两个用户），其中使用一个或多个固定的立体3D照相机（例如，StereoLabs ZED照相机、Microsoft Kinect、Intel RealSense系列3D照相机等）对每个用户进行建模。附加的3D照相机技术可以计算用户的位置，提供VR合作互动。例如，两个用户可以在火星上玩捉迷藏游戏，或者两个人可以一起在大峡谷（GrandCanyon）中进行虚拟漫步。

应当理解，本发明计算系统600和头戴式视图器690可以被配置和操作用于在增强现实（AR）设置中使用。应将AR理解为一种如下的技术：将计算机生成的增强的层置于现有现实之上，以便通过与之交互的能力使其变得更有意义。所示实施例包括AR被开发优选地作为小应用（app）使用头戴式视图器690，以用数字部件和真实世界彼此增强的这样的方式将数字部件混合到现实世界中。例如，根据本文的教导，每个都在不同位置的穿戴本发明头戴式视图器690的两个或更多用户可以使用/操作头戴式视图器690，以便在所选择的设置（例如，跳伞）和/或位置（例如，巴黎）中出现在彼此旁边，由此，他们不仅实时地将相同的设置（例如，法国巴黎的街道）一起可视化，而且他们看到彼此，就好像头戴式视图器690被移除一样。

还应当理解，计算系统600和/或头戴式视图器690的附加实施例可以被配置为优选地使用至少两个分离的视频馈送和/或单个视频馈送优选地结合预定的静止帧图像高速缓存（still-frame Image Cache）提供实时图像缝合。优选地，经由安装在VR显示设备内部的照相机来执行眼追踪，使得经高速缓存的图像和/或“混合的”图像的实时选择能够从将在图像缝合步骤中使用的初始“建立”阶段（图像高速缓存）导出，因为用户的面部的“眼睛区域”通常因为VR显示设备而被遮盖，因此使用最终（合成/缝合的）视频提供实时3D面部跟踪和重构。应当理解，通过采用实时数字创建的面部（代表用户），面部/结果优选地被合成到用户的实时视频和/或深度提取上。应当理解，优选地使用绿屏技术和/或深度提取技术从其背景提取用户身体。应当进一步理解的是，完全重构的用户可以被合成为多种应用，诸如（但不限于）：360度视频、VR聊天室和其他适用的应用。应当进一步理解，当前正在使用和/或探索的以下各种各样的技术（例如，SDK、API等）包括（但不限于）：EmguCV、OpenCV和MATLAB；具有SDK的ZED照相机；ARKit;主要编程语言：C＃和C ++；Unity（游戏引擎）；和Oculus和/或Vive（VR显示设备）。

对于上面描述的某些所示实施例，应当理解，本文描述的各种非限制性实施例可以单独地、组合地或选择性地组合用于特定应用。此外，可以使用上述非限制性实施例的各种特征中的一些，而不相应地使用其他所描述的特征。因此，本文中提供的描述应被认为仅是本发明的原理、教导和示例性实施例的说明，并且不是对其的限制。

Claims (14)

1.一种用于在两个或更多用户之间创建虚拟现实（VR）交互，其中至少一个用户穿戴着VR头戴式视图器，包括：

使用照相机设备创建穿戴着VR头戴式视图器的至少一个用户的二维（2D）图像，其中位于头戴式视图器中的是一个或多个传感器；

使用一个或多个传感器跟踪用户的瞳孔移动；

从穿戴着头戴式视图器的用户的创建的2D图像移除头戴式视图器图像；

缝合由一个或多个传感器呈现的用户的检测并记录的瞳孔图像，以便在从用户的创建的2D图像移除头戴式视图器图像的位置叠加，使得另一用户可以观看用户的VR图像，就好像用户没有穿戴头戴式视图器一样。

2.如权利要求1所述的计算机方法，其中，使用摄像机创建2D图像。

3.如权利要求1所述的计算机方法，其中，照相机设备具有深度传感器。

4.如权利要求1所述的计算机方法，其中，一个或多个传感器包括红外LED传感器。

5.如权利要求4所述的计算机方法，其中，一个或多个传感器还包括用于记录用户的瞳孔的方面的微型摄像机。

6.如权利要求1所述的方法，其中，用户可以实时观看彼此。

7.一种用于在两个或更多用户之间创建虚拟现实（VR）交互的装置，其中至少一个用户穿戴着VR头戴式视图器，包括：

至少一个VR头戴式视图器设备，具有一个或多个集成传感器部件；

照相机设备，用于至少捕捉穿戴着VR头戴式视图器设备的用户的图像；

VR成像计算机设备，通信地耦合到至少一个VR头戴式视图器设备和照相机设备中的每个，VR成像计算机设备包括：

存储器；

与所述存储器通信地布置的处理器，并且被配置为发布存储在存储器中的多个指令，其中所述指令使得处理器：

使用照相机设备创建穿戴着VR头戴式视图器的至少一个用户的二维（2D）图像，其中，位于头戴式视图器中的是一个或多个传感器；

使用位于VR头戴式视图器的一个或多个传感器跟踪用户的瞳孔移动；

从穿戴着头戴式视图器的用户的创建的2D图像移除头戴式视图器图像；

缝合由VR头戴式视图器的一个或多个传感器呈现的用户的检测并记录的瞳孔图像，以便叠加在从用户的创建的2D图像移除了头戴式视图器图像的区域中，使得另一用户可以观看用户的VR图像，就好像用户未穿戴着头戴式视图器一样。

8.如权利要求9所述的用于在两个或更多用户之间创建虚拟现实（VR）交互的装置，其中，照相机设备是摄像机。

9.如权利要求9所述的用于在两个或更多用户之间创建虚拟现实（VR）交互的装置，其中，照相机设备与智能电话设备集成。

10.如权利要求1所述的用于在两个或更多用户之间创建虚拟现实（VR）交互的装置，其中，照相机设备具有深度传感器。

11.如权利要求1所述的用于在两个或更多用户之间创建虚拟现实（VR）交互的装置，其中，集成在VR头戴式视图器中的一个或多个传感器部件包括红外LED传感器。

12.如权利要求11所述的用于在两个或更多用户之间创建虚拟现实（VR）交互的装置，其中，集成在VR头戴式视图器中的一个或多个传感器部件包括用于记录用户的瞳孔的方面的至少一个微型摄像机。

13.如权利要求7所述的用于在两个或更多用户之间创建虚拟现实（VR）交互的装置，其中，用户可以实时地观看彼此。

14.如权利要求7所述的用于在两个或更多用户之间创建虚拟现实（VR）交互的装置，其中，用户可以针对预定的背景图像观看。

Images