CN107209561A - 用于在虚拟现实环境中导航的方法、系统及设备 - Google Patents

用于在虚拟现实环境中导航的方法、系统及设备 Download PDF

Info

Publication number
CN107209561A
CN107209561A CN201580075012.3A CN201580075012A CN107209561A CN 107209561 A CN107209561 A CN 107209561A CN 201580075012 A CN201580075012 A CN 201580075012A CN 107209561 A CN107209561 A CN 107209561A
Authority
CN
China
Prior art keywords
posture
user
movement
body part
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580075012.3A
Other languages
English (en)
Inventor
纳达夫·格罗辛格
埃米尔·阿隆
艾多·巴尔·戴维
埃弗拉特·索洛德尼科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Priority to CN202110361065.9A priority Critical patent/CN113050802A/zh
Publication of CN107209561A publication Critical patent/CN107209561A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Abstract

本文提供了用于使用身体部位的姿态和姿势，在虚拟现实场景中导航的方法、系统和设备。该方法可包括：经由近眼显示器将合成3D场景投射至用户的双眼，以向用户提供虚拟现实视图；识别由所述用户的至少一个身体部位作出的至少一个姿态或姿势；测量与所检测的姿态或姿势相关的向量的至少一个度量；基于测量的度量，在虚拟现实环境中应用所述用户的移动或动作；以及修改虚拟现实视图以在虚拟现实环境中反映所述用户的移动或动作。

Description

用于在虚拟现实环境中导航的方法、系统及设备
技术领域
本发明总体涉及虚拟现实(VR)环境，并且更具体地，涉及用于在VR环境中导航的方法、系统和设备。
背景技术
在阐述本发明的背景技术之前，阐述将在下文中使用的某些术语的定义会是有帮助的。
如本文使用的术语‘虚拟现实’(VR)被限定为可模拟真实世界或想象世界中的地点的物理呈现的计算机模拟环境。虚拟现实可重塑感官体验，包括虚拟味觉、视觉、嗅觉、听觉、触觉等等。许多传统VR系统使用用于呈现3D虚拟环境的近眼显示器。
如本文使用的术语‘增强现实’(AR)被限定为物理、真实世界环境的实时直接或间接视图，其元素被计算机生成的感官输入(诸如，声音、视频、图形或GPS数据)增大(或补充)。它与被称为介导现实的更一般概念相关，其中，现实的视图被计算机修改(可能地甚至减弱而不是增大)。
如本文使用的术语‘近眼显示器’被限定为包括可穿戴投影显示器的设备，就每只眼睛呈现有稍微不同的视场而言，该设备通常是立体的以重塑3D感知。
术语‘虚拟现实耳机’(有时被称为‘护目镜’)是显示计算机输出的环绕式视觉界面。通常，计算机显示信息呈现为真实世界环境的三维表示。除了用于保持计算机显示器的纯粹结构(可能地，以智能电话的形式)以外，护目镜可包括或可不包括光学器件。
如本文使用的术语‘虚拟现实导航’被限定为遍及虚拟环境移动，其造成投影在用户眼睛上的场景的相应改变。应注意，VR系统通常不维持真实世界移动与虚拟世界移动之间的一比一的比值(例如，在真实世界中向前迈进一步并不必意味着在虚拟世界中向前迈进一步)。因此，所有类型的输入设备被使用以允许用户进行VR导航。
图1示出传统的虚拟现实(VR)系统，其中，用户10佩戴头戴式立体显示器12(例如，Oculus RiftTM)，其向用户10的每只眼睛投射场景(例如，泰姬陵)的合成图像15A和15B。每只眼睛以略微不同的角度接收合成场景，以在用户的大脑中重塑3D感知。此外，头戴式显示器12可设置有可实时检测用户的视角或凝视方向的传感器(未示出)(诸如加速计或陀螺仪)。因此，VR系统可调整图像15A和15B以适配用户的新的头部方位。因为该调整实时进行，所以可实现模仿真实世界中的头部移动的虚拟现实的幻觉。
除了如上所述的跟踪用户的视点以外，VR系统经由诸如操纵杆14(或鼠标、触摸板或甚至键盘)的输入设备提供与虚拟世界的进一步交互。这种输入设备可使用户10使用视觉指示器来执行VR导航。例如，用户可呈现有他或她可移动的视觉指示器，例如，在VR场景中的立体图像15A和15B上指示的光标16A、16B。随后，响应于用户10的进一步动作，诸如拉动操纵杆14上的触发器，用户朝向他或她由光标指向的位置虚拟前进。当用户10被限制为在真实世界中移动一步或两步时，在虚拟世界中，他或她可四处移动并且步行很远。如上所述的输入设备目前被使用以解决虚拟世界中的导航问题。自然地，这种传统输入设备的使用破坏整体用户VR体验。
发明内容
根据本发明的一个实施方式，本文提供一种系统，该系统用作用于使用姿势和/或姿态在虚拟现实场景中导航的输入设备。该系统可包括：近眼显示器，被配置为将合成3D场景投射至用户的双眼，以生成虚拟现实环境；姿态-姿势捕获设备，被配置为导出所述用户的至少一个身体部位的姿态；以及计算机处理器，被配置为将导出的所述身体部位的姿态变换为所述用户在所述合成3D场景中的移动或动作，并且基于变换的移动或动作修改虚拟现实环境的用户的视点。
根据本发明的另一实施方式，本文提供用于使用姿势和姿态在虚拟现实场景中导航的方法。该方法可包括以下步骤：经由近眼显示器将合成3D场景投射至用户的双眼，以向用户提供虚拟现实视图；识别由所述用户的至少一个身体部位作出的至少一个姿态或姿势；测量与所检测的姿态或姿势相关的向量的至少一个度量；基于测量的度量，在虚拟现实环境中应用所述用户的移动或动作；以及修改虚拟现实视图以在虚拟现实环境中反映所述用户的移动或动作。
本发明的实施方式的这些附加的和/或其他方面和/或优势在随后的详细说明中阐述；其可能从详细说明中推断；和/或可通过本发明的实施方式来习得。
附图说明
为了更好地理解本发明的实施方式，并示出本发明的实施方式可以如何实现，现在将完全通过实例来参考附图，在附图中，贯穿全文，相同的标号表示对应元件或部分。
在附图中：
图1是示出根据现有技术的虚拟现实系统的示意图；
图2是示出根据本发明的一些实施方式的虚拟现实系统的示意图；
图3A至图3C是示出根据本发明的一些实施方式的虚拟现实系统的方面的示图；
图4是示出根据本发明的实施方式的虚拟现实系统的可能架构的框图；
图5是示出根据本发明的实施方式的方法的流程图；
图6A和图6B是示出根据本发明的一些实施方式的更多方面的示图；
图7是示出本发明的一些实施方式的另一方面的示意图；
图8A和图8B是示出本发明的一些实施方式的又一方面的示图；
图9是示出本发明的一些实施方式的又一方面的示图；
图10是示出根据本发明的一些实施方式的方法的又一方面的流程图；以及
图11是示出本发明的一些实施方式的又一方面的示图。
具体实施方式
现在详细地具体参考附图，强调通过举例的方式示出细节，并且仅为了本技术的优选实施方式的说明性讨论的目的，并且由于提供被认为最有用并且容易理解本技术的原理和概念性方面的描述描述而呈现。在这方面上，未尝试以相比对于本技术的基础理解所必须的更详细地示出本技术的结构细节，与附图一起进行的描述使得对于本领域技术人员显而易见的是，本发明的若干形式可如何在实践中体现。
在详细说明本技术的至少一种实施方式之前，应理解，本发明不限于将其应用于以下描述中所阐述的或在附图中示出的部件的构造和布置的细节。本技术可应用于其他实施方式或者以各种方式实践或进行。另外，应理解，本文中采用的措词和术语是为了描述的目的且不应被认为是限制。
本发明的一些实施方式提供用于通过作出对于用户直观的各种身体姿势和/或姿态，在虚拟现实环境中导航的方法、系统和设备。更具体地，用户可以以这样的方式移动他或她的身体或身体部位，即，通过本发明的实施方式实时变换为预定义导航命令。因此，真实世界中的某些姿势和/或姿态引起虚拟现实世界中的对应移动。
本发明的一些实施方式首先检测由用户应用的预定义姿势或姿态，并且随后继续测量与姿态或姿势相关的定量度量。这些度量可涉及与姿势或姿态相关的向量，并且可包括该向量的长度和空间角度。在一些实施方式中，向量的度量通常以连续方式变换为虚拟现实世界中的定量导航命令。因此，除非预定义终止行为已由用户执行，否则虚拟现实中的导航命令不改变。这种终止行为可包括恢复基础姿势或某种手的动作。
图2是根据本发明的一些实施方式的包装并附接至其周围环境200的设备210的立体图，周围环境200是被配置为用于与诸如智能电话220的移动设备一起使用的虚拟现实(VR)耳机240(护目镜)。设备210可包括诸如红外(IR)图案照明器212的照明器(例如，激光发射器)、诸如IR照相机214的照相机。设备210可进一步包括被配置为执行初始图像处理的预处理器(未示出)。设备210进一步被配置为与智能电话220和近眼显示器240物理接合和电接合，该智能电话220和近眼显示器240一起形成VR耳机。如本领域已知的，这种VR耳机(护目镜)可布置为用于与智能电话一起使用，并且通常包括可传输智能电话的显示的光学器件(未示出-面向相对侧)、用于容纳可包括照相机222的智能电话220的封套250以及用于将VR耳机(护目镜)紧固在用户的头部上的带子230。然而，应理解，设备210可与诸如GoogleGlassTM和Oculus RiftTM的近眼显示器接合。
在操作中，如在下文中将详述的，设备210可用作用于使用用户的一个或多个身体部位的直观姿势和姿态来提供VR导航命令的装置。
图3A至图3C是示出根据本发明的一些实施方式的虚拟现实系统的方面的示图。图3A是示出根据本发明的一个实施方式的处于操作的VR导航设备300的示意图。用户10佩戴近眼显示器330，在该近眼显示器330上，可能地但不排外地安装VR导航设备300作为如上所述的附加装置。VR导航设备300可包括具有视场(FOV)322的照明器(例如，激光发射器)320以及具有FOV 312的捕获单元(例如，照相机)310。有利地，两个FOV都足够大以包括用户的周围环境。为了实用性目的，重要的是使得FOV覆盖双手的任何移动，包括将双手伸展到身体的两侧。因此，尽管‘肖像’方位也是可能的，但是照明器和照相机的‘风景’方位是有利的。非限制性配置可包括针对‘风景’方位的55°水平FOV和43°垂直FOV以及针对‘肖像’方位的55°垂直FOV和43°水平FOV。
在操作中，近眼显示器330可被可能地经由诸如移动设备(未示出)的外部计算机处理器配置为将合成场景投射在用户10的双眼上。照明器310可利用图案化光324照亮用户10的附近和/或用户10。图案化光的反射可由捕获单元310捕获，并且随后由计算机处理器(在此未示出)分析。计算机处理器可导出由用户10作出的姿势或姿态的类型。此处，用户10的手12的竖立指向手指14沿着向量340从位置14A降低至位置14B。一旦如此检测到指向手指的降低，则与向量340相关的度量被进一步分析，以将向量的度量(在真实世界中)(诸如方向和位移)变换为对应导航移动(在虚拟世界中)。图3B示出当用户10的指向手指处于位置14A时他所看到的东西，同时图3B示出随着用户10的指向手指移动至位置14B在虚拟世界中的向前前进。
图4是示出根据本发明的一些实施方式的VR系统400B的框图。系统400B可包括姿态-姿势捕获设备402B或者可与姿态-姿势捕获设备402B可操作相关联，该姿态-姿势捕获设备402B可被配置为捕获用户的各种身体部位或用户保持物体的位置和方位随时间的各种改变。位置和方位在本文中表示为‘姿势’，同时姿势随时间的改变在本文中表示为‘姿态’。
在一个非限制性实例中，姿态-姿势捕获设备402B可基于捕获场景中的立体视图的一个或多个可见光照相机。视频图像随后使用由处理器404B执行的各种图像处理算法处理，以用于导出用户的移动。另一可能实现方式是使用如上所述的图案化光，其中，从场景返回来的反射被分析以用于生成从其推断姿势和/或姿态的深度图。
处理器404B可被配置为从姿态-姿势捕获设备402B接收原始数据(诸如，取决于技术的多个视频图像或图案化反射)并且使用在其上执行的分类算法，以基于预定义标准(或数据库)识别姿势或姿态。一旦识别到特定姿势或姿态，可使用姿势-姿态存储库408B以确定VR移动或VR导航活动的哪些形式与所检测的姿势或姿态相关。
因此，基于存储在姿势-姿态存储库408B中的字典，处理器404B可指示近眼显示器409B调节如呈现至用户的VR场景的视点，以符合对应VR导航活动。例如，用户410B可以姿态420B挥动他或她的手，该姿态可被处理器404B和存储库208B解释为在VR场景中‘向前移动’。因此，处理器204B可指示近眼显示器209B，以使得用户410B的如由近眼显示器409B观看的视点向前前进。如以下将详细说明和示出的，挥动手420B可由模仿VR世界中的向前移动的任意其他操作(例如，游泳移动)替换。还应注意，不仅姿态可用于调用VR导航活动，而且静态预定义姿势也可用于调用VR导航活动。例如，当用户410B的手以特定角度向上倾斜时，他或她的手的挥动结束。如果如此预定义，则该姿势可被解释为表示‘向前走’的导航活动命令，并且只要手以近似特定角度倾斜，则用户将保持在VR世界中向前移动。如上所述，在至少一些实施方式中，姿态-姿势捕获设备402B在系统400B外部，并且可从远程位置提供与位置和方位相关的原始数据。
图5是示出根据本发明的一些实施方式的方法500的流程图。该过程从识别对象的姿势开始510。随后，一旦检测到姿势，则从对象导出向量使得向量空间表示所检测的姿势。将向量转换为虚拟现实中的导航移动、在虚拟世界中应用基于向量的长度和角度的连续移动530。该方法随后重复检查是否已识别到终止行为或触发540。在已识别到终止行为的情况下，虚拟世界中的移动结束550。在未识别到终止行为的情况下，连续移动被重复应用530，直至识别到这种终止行为。应注意，以上描述还可应用于姿态，而不仅是姿势。就甚至静态姿势也可调用虚拟世界中的移动而言，将以上描述应用至姿势是唯一的。
图6A是示出根据本发明的实施方式的VR系统的与姿势相关的方面的示图。一系列躯干倾斜被描绘。姿势611C是从其导出所有其他姿态或姿势的基础姿势。在姿势612C中，用户向前倾斜，这是可被解释为VR导航域中的VR导航命令的真实世界中的动作。如上所述，其可以是从611C变换为612C(例如，姿态)或者仅仅是212C的静态发生(例如，姿势)，这限定调用预定义VR导航活动的角度α。
类似地，姿势613C中的进一步向前倾斜可用作已经可操作的VR导航活动的加速器，使得当此处的角度是大于角度α的β时，移动将更快速。返回基础姿势614C可被视为终止行为，并且将通常基于上下文消除VR导航活动或者至少降低其影响。
图6B是示出根据本发明的实施方式的VR系统的与姿势相关的另一方面的示图。此处，基础姿势是远离彼此的以具体距离D1定位的手的两个手掌621D。一旦识别到姿势类型(例如，两个手掌并排伸展)，则根据该距离的测量值(其在姿势622D中，变为D2)，可调用VR导航活动。如上所述，D2或可选地D1与D2之间的差值的绝对值可用作如由存储库预定义的与VR导航活动相对应的度量。
在姿势623D中，手之间的距离D2保持相同，并且因此，根据一些实施方式，这可解释为不间断导航命令，尽管手是静态的并且根本未移动。在姿势624D中，手之间的水平距离D3用作变换为VR导航活动的度量。应理解，两个或多个身体部位之间的比值、距离和角度均可用作解释为对应VR导航命令或活动的度量。
图7示出又一方式，通过该方式，用户700A可调用虚拟世界中的移动或位移。用户700A可使他的身体从位置720向位置710向前倾斜，由此限定向前倾斜角度α。真实世界中的向前倾斜移动可变换为虚拟世界中的向前前进移动，可能地以相似于控制SegwayTM的方式。
具体地，只要用户700A的躯干限定位置710与基础位置720之间的非零角度，则虚拟世界中的向前前进移动继续。角度α的值可影响前进的速度。因为曲线图700B示出真实世界中的移动与对应虚拟世界移动不表现出线性关系。相反，因为曲线图700B示出躯干的较小倾斜不影响虚拟世界并且仅超过预定义角度α，虚拟世界中的移动开始。随后，一旦虚拟世界中的移动开始，则较小倾斜足以在虚拟世界中前进。除了特定角度以外，对躯干倾斜的敏感性再次降低，使得有效施加针对前进速度的上限。
在一些实施方式中，通过分析由位置722中的设备生成的深度图与如由位置712处的设备生成的深度图的差异，来检测用户的躯干的倾斜。具体地，当从位置720移动至位置720时，真实世界中的视点改变，由该设备生成的深度图也是如此。分析深度图中的改变可用于以间接方式推断躯干倾斜。应理解，这种姿态有时可需要远程外部摄影机(在此未示出)看着用户。
图8A和图8B是示出本发明的一些实施方式的又一方面的示图。图8A示出用户处于位置800A，其中，两只手810A和820A向前伸展并且彼此相邻。图8B示出用户处于位置800B，其中，两只手810B和820B限定它们之间的角度γ。一旦识别到向前伸展的两只手的姿势的类型，则角度γ的对应度量可被测量并且用作用于虚拟世界中的导航命令的引导。
图9是示出本发明的一些实施方式的又一方面的示图。此处，通过可能地从位置920向位置910升高用户900的肩膀来调用虚拟现实导航，这限定可被测量并变换为虚拟现实世界中的对应导航命令的位移930。应理解，如本文描述的这种姿态可需要放置在场景中的、朝向用户900的远程照相机940。
图10是示出根据本发明的一些实施方式的方面的高水平流程图。本发明的实施方式的一个挑战是区分凝视方向的改变或头部的方位与影响头部位置的故意姿态或姿势，其应被解释为VR导航命令。该区分可通过从总体身体姿态中减去被感知为与移动用户的头部相关的移动进行，以仅用于改变视点的目的。
根据本发明的一些实施方式，分析图案化光的反射可包括减去与用户的头部移动相关的移动分量，以检索身体部位相对于用户头部的姿态。所检索的移动将是除去不期望的头部移动的所谓的“纯姿态”。
根据可能的非限制性实现方式，一旦基于反射识别到移动1010，则流程继续检查用户的头部是否移动1020。在头部移动的情况下，进一步检查手是否以类似方式移动1022。在手移动的情况下，不需要采取行动1030。在头部与手不同地移动的情况下，减去头部移动并且执行手移动1040。在头部不移动的情况下，进行手是否移动的检查1024。在手未移动的情况下，不采取行动1030。在手移动的情况下，减去头部移动并且执行手移动1040。
图11是示出根据本发明的一个实施方式的系统和环境的示意图。用户10佩戴近眼显示器1100，该近眼显示器进一步包括照明器1120和捕获设备1110。在操作中，近眼显示器1130被配置为将合成场景投射在用户10的双眼上。照明器1110可利用图案化光1122照亮用户10的附近和/或用户10他自己或她自己，该图案化光的反射可由捕获设备1110捕获并且随后由近眼显示器1100内的计算机处理器1130分析，以获得实时改变的位置和方位。在用户10执行预定义姿态的情况下，诸如操纵杆18A/18B的虚拟输入设备出现在图像中。用户随后可抓住虚拟世界中的虚拟操纵杆，并且使用真实世界中的姿态控制它，其中，如在20A/20B处看到的，在图19A和图19B中，操纵杆的方位的改变是显而易见的。重要的是，应注意，此处未涉及真实的操纵杆，而是相反，完全虚拟的操纵杆可以是被虚拟化的任意输入设备。由用户执行的模仿操纵杆的夹持和控制的姿势和姿态处于该实施方式的中心，使能够进行直观的身体姿态。
在以上描述中，实施方式是本发明的实例或实现方式。“一个实施方式”、“一种实施方式”或“一些实施方式”的各种显现不必都指代相同实施方式。
尽管本发明的各种特征可在单个实施方式的背景下描述，但是特征还可单独提供或以任意合适组合提供。相反，尽管本文中为了清楚，本发明可在分离实施方式的背景下描述，但是本发明还可实现为单个实施方式。
说明书中的“一些实施方式”、“一种实施方式”、“一个实施方式”或“其他实施方式”的参考意味着结合实施方式描述的特定特征、结构或特性被包括在至少一些实施方式中，而不必是本发明的所有实施方式。
应理解，本文采用的语句和术语不应被解释为限制性的，并且仅用于描述性目的。
本发明的教导的原理和用途可参考伴随描述、图和实例更好得理解。
应理解，本文阐述的细节不构成对本发明的应用的限制。
此外，应理解，本发明可以以各种方式进行或实践，并且本发明可实现为除了以上描述中概述的实施方式以外的实施方式。
应理解，术语“包括(including)”、“包含(comprising)”、“组成(consisting)”以及其语法变体不排除一个或多个部件、特征、步骤或整数或其组的添加，并且术语应解释为指定部件、特征、步骤或整数。
如果说明书或权利要求书提及“额外”元件，其不排除存在不止一个的额外元件。
应理解，权利要求书或说明书提及“一(a)”或“一个(an)”元件，这种参考不解释为仅存在该元件中的一个。
应理解，说明书阐述部件、特征、结构或特征“可(may)”、“可能(might)”、“能够(can)”或“可(could)”被包括，特定部件、特征、结构或特征不必被包括。
在可应用的情况下，尽管状态示图、流程图或两者可用于描述实施方式，但是本发明不限于那些示图或对应描述。例如，流程不需要通过每个示出的框或状态移动，或者以如示出和描述的完全相同顺序移动。
本发明的方法可通过手动、自动或其组合执行或完成选择的步骤或任务来实现。
权利要求书和说明书中呈现的描述、实例、方法和材料不应解释为限制性的，而是仅说明性的。
除非另外限定，否则本文中使用的技术和科学术语的含义通常由本发明所属的本领域普通技术人员理解。
本发明可以以与本文描述的方法和材料等效或相似的方法和材料，在测试或实践中实现。
尽管针对有限数量的实施方式描述了本发明，但这些实施方式不应被理解为对本发明的范围的限制，而是作为一些优选实施方式的范例。其他可行的变化、变形和应用也存在于本发明范围内。因此，本发明的范围不应被至此所描述的内容所限定，而是由所附权利要求及其法律等同物来限定。

Claims (22)

1.一种方法，包括：
将合成3D场景投射至用户的双眼，以向所述用户提供虚拟现实视图；
识别由所述用户的至少一个身体部位作出的至少一个姿态或姿势；
测量与所识别的姿态或姿势相关的向量的至少一个度量；
基于所测量的度量，在虚拟现实环境中应用所述用户的移动或动作；以及
修改所述虚拟现实视图以在所述虚拟现实环境中反映所述用户的移动或动作。
2.根据权利要求1所述的方法，其中，识别至少一个姿态或姿势是通过应用分类器，按照预定义姿势和姿态的数据库执行的。
3.根据权利要求1所述的方法，其中，只要所测量的度量维持超过预定阈值的值，在虚拟现实环境中应用所述用户的移动或动作就连续执行。
4.根据权利要求1所述的方法，其中，在虚拟现实环境中应用所述用户的移动或动作响应于预定义终止行为的检测而终止。
5.根据权利要求1所述的方法，其中，在虚拟现实环境中应用所述用户的移动或动作响应于所述身体部位返回至基本姿势位置的检测而终止。
6.根据权利要求1所述的方法，其中，所识别的姿势是所述用户的躯干向前倾斜。
7.根据权利要求1所述的方法，其中，所识别的姿势是升高所述用户的肩膀。
8.根据权利要求1所述的方法，其中，所识别的姿势由至少两个身体部位之间的空间关系限定，并且其中，所测量的度量包括所述至少两个身体部位之间的角度。
9.根据权利要求1所述的方法，其中，与所检测的姿态或姿势相关的所述向量的至少一个度量包括：所述向量的长度、所述向量的空间方向角度。
10.根据权利要求1所述的方法，其中，识别由所述用户的至少一个身体部位作出的至少一个姿态或姿势进一步包括：减去与所述用户的头部移动有关的移动分量，以仅检索所述身体部位相对于所述用户的头部的姿势和姿态。
11.根据权利要求1所述的方法，其中，在检测到特定姿态的情况下，所述方法进一步包括：将虚拟用户界面对象叠加至所述合成3D场景中，使所述用户能够相对于所述虚拟用户界面对象应用姿态和姿势。
12.一种系统，包括：
设备，被配置为将合成3D场景投射至用户的双眼，以向所述用户提供虚拟现实视图；以及
计算机处理器，被配置为：
识别由所述用户的至少一个身体部位作出的至少一个姿态或姿势；
测量与所识别的姿态或姿势相关的向量的至少一个度量；
基于所测量的度量，在虚拟现实环境中应用所述用户的移动或动作；以及
修改所述虚拟现实视图以在所述虚拟现实环境中反映所述用户的移动或动作。
13.根据权利要求12所述的系统，其中，识别至少一个姿态或姿势是通过应用分类器，按照预定义姿势和姿态的数据库执行的。
14.根据权利要求12所述的系统，其中，只要所测量的度量维持超过预定阈值的值，在虚拟现实环境中应用所述用户的移动或动作就连续执行。
15.根据权利要求12所述的系统，其中，在虚拟现实环境中应用所述用户的移动或动作响应于预定义终止行为的检测而终止。
16.根据权利要求12所述的系统，其中，在虚拟现实环境中应用所述用户的移动或动作响应于所述身体部位返回至基本姿势位置的检测而终止。
17.根据权利要求12所述的系统，其中，所识别的姿势是所述用户的躯干向前倾斜。
18.根据权利要求12所述的系统，其中，所识别的姿势是升高所述用户的肩膀。
19.根据权利要求12所述的系统，其中，所识别的姿势由至少两个身体部位限定的空间关系限定，并且其中，所测量的度量包括所述至少两个身体部位之间的角度。
20.根据权利要求12所述的系统，其中，与所检测的姿态或姿势相关的所述向量的至少一个度量包括：所述向量的长度、所述向量的空间方向角度。
21.根据权利要求12所述的系统，其中，识别由所述用户的至少一个身体部位作出的至少一个姿态或姿势进一步包括：减去与所述用户的头部移动有关的移动分量，以仅检索所述身体部位相对于所述用户的头部的姿势和姿态。
22.根据权利要求12所述的系统，其中，在检测到特定姿态的情况下，方法进一步包括：将虚拟用户界面对象叠加至所述合成3D场景中，使所述用户能够相对于所述虚拟用户界面对象应用姿态和姿势。
CN201580075012.3A 2014-12-18 2015-12-18 用于在虚拟现实环境中导航的方法、系统及设备 Pending CN107209561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110361065.9A CN113050802A (zh) 2014-12-18 2015-12-18 用于在虚拟现实环境中导航的方法、系统及设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462093493P 2014-12-18 2014-12-18
US62/093,493 2014-12-18
PCT/US2015/066907 WO2016100931A1 (en) 2014-12-18 2015-12-18 Method, system and device for navigating in a virtual reality environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110361065.9A Division CN113050802A (zh) 2014-12-18 2015-12-18 用于在虚拟现实环境中导航的方法、系统及设备

Publications (1)

Publication Number Publication Date
CN107209561A true CN107209561A (zh) 2017-09-26

Family

ID=56127742

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580075012.3A Pending CN107209561A (zh) 2014-12-18 2015-12-18 用于在虚拟现实环境中导航的方法、系统及设备
CN202110361065.9A Pending CN113050802A (zh) 2014-12-18 2015-12-18 用于在虚拟现实环境中导航的方法、系统及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110361065.9A Pending CN113050802A (zh) 2014-12-18 2015-12-18 用于在虚拟现实环境中导航的方法、系统及设备

Country Status (6)

Country Link
US (2) US9659413B2 (zh)
EP (1) EP3234741A4 (zh)
JP (2) JP6554631B2 (zh)
KR (4) KR20170081272A (zh)
CN (2) CN107209561A (zh)
WO (1) WO2016100931A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509040A (zh) * 2019-08-26 2021-03-16 苹果公司 对提供镜面反射和反射修改的表面进行基于图像的检测
CN112654951A (zh) * 2018-09-27 2021-04-13 苹果公司 基于现实世界数据移动头像

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2480955B1 (en) * 2009-09-22 2018-05-16 Facebook Inc. Remote control of computer devices
CN107209561A (zh) * 2014-12-18 2017-09-26 脸谱公司 用于在虚拟现实环境中导航的方法、系统及设备
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP5981591B1 (ja) * 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
ES2746448T3 (es) * 2015-06-16 2020-03-06 Nokia Technologies Oy Realidad mediada
JP6203346B1 (ja) * 2016-08-16 2017-09-27 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
CN110023884B (zh) 2016-11-25 2022-10-25 森索里克斯股份公司 可穿戴运动跟踪系统
US10055028B2 (en) 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
CN106775245B (zh) * 2016-12-19 2020-02-14 传线网络科技（上海）有限公司 基于虚拟现实的用户属性设置方法及装置
KR102343387B1 (ko) * 2017-02-24 2021-12-29 주식회사 브이알애드 가상현실 기반 방사선학 실습 장치 및 방법
US10453273B2 (en) 2017-04-25 2019-10-22 Microsoft Technology Licensing, Llc Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
FR3069936B1 (fr) 2017-08-03 2019-09-27 Renault S.A.S Interaction tactile avec des ihm dans un environnement immersif
WO2019171557A1 (ja) * 2018-03-08 2019-09-12 塁 佐藤 画像表示システム
US11410398B2 (en) 2018-11-21 2022-08-09 Hewlett-Packard Development Company, L.P. Augmenting live images of a scene for occlusion
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
KR102464437B1 (ko) 2022-05-04 2022-11-09 주식회사 엠펀치 기가 픽셀 미디어 객체 감상 및 거래를 제공하는 메타버스 기반 크로스 플랫폼 서비스 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129551A (zh) * 2010-02-16 2011-07-20 微软公司 基于关节跳过的姿势检测
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN103608750A (zh) * 2011-05-31 2014-02-26 微软公司 动作选择做手势

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11305907A (ja) * 1998-04-21 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> 仮想現実空間内移動インタフェース装置及び情報生成方法並びに情報生成プログラムを記録した記録媒体
JP2001229394A (ja) * 2000-02-17 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> 仮想空間制御方法、仮想空間制御装置、および仮想空間制御プログラムを記録した記録媒体
JP2001250123A (ja) * 2000-03-06 2001-09-14 Nippon Telegr & Teleph Corp <Ntt> 仮想空間制御方法、仮想空間制御装置、および仮想空間制御プログラムを記録した記録媒体
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
US20040095311A1 (en) * 2002-11-19 2004-05-20 Motorola, Inc. Body-centric virtual interactive apparatus and method
JP2006323769A (ja) * 2005-05-20 2006-11-30 Tokai Univ 対面入力装置
KR101060779B1 (ko) * 2006-05-04 2011-08-30 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 시각, 음향, 관성, 및 혼합 데이터 중 하나 이상에 근거하여 기어링 효과들을 입력에 적용하기 위한 방법들 및장치들
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US9366862B2 (en) * 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9134534B2 (en) * 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
WO2013049248A2 (en) * 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
JP5689850B2 (ja) * 2012-05-25 2015-03-25 株式会社ソニー・コンピュータエンタテインメント 映像解析装置、映像解析方法、および注視点表示システム
EP2893388B1 (en) 2012-09-03 2016-08-03 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
JP6066676B2 (ja) * 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
JP5696908B2 (ja) * 2013-02-15 2015-04-08 コニカミノルタ株式会社 操作表示システム
US20140282275A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US9367960B2 (en) * 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
JP2014235634A (ja) * 2013-06-04 2014-12-15 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
KR101347037B1 (ko) * 2013-07-31 2014-01-03 주식회사 장 자동화 종류가 상이한 식물종자가 부착되는 종자붙임 멀칭재 제조 방법 및 종자붙임 멀칭재
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
CN107209561A (zh) * 2014-12-18 2017-09-26 脸谱公司 用于在虚拟现实环境中导航的方法、系统及设备
US9588593B2 (en) * 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129551A (zh) * 2010-02-16 2011-07-20 微软公司 基于关节跳过的姿势检测
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN103608750A (zh) * 2011-05-31 2014-02-26 微软公司 动作选择做手势

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112654951A (zh) * 2018-09-27 2021-04-13 苹果公司 基于现实世界数据移动头像
CN112509040A (zh) * 2019-08-26 2021-03-16 苹果公司 对提供镜面反射和反射修改的表面进行基于图像的检测

Also Published As

Publication number Publication date
KR102284821B1 (ko) 2021-08-03
KR20210099163A (ko) 2021-08-11
KR20170081272A (ko) 2017-07-11
WO2016100931A1 (en) 2016-06-23
JP2018501570A (ja) 2018-01-18
KR20210097818A (ko) 2021-08-09
JP2019083033A (ja) 2019-05-30
JP6810125B2 (ja) 2021-01-06
US20160180595A1 (en) 2016-06-23
WO2016100931A8 (en) 2017-07-13
CN113050802A (zh) 2021-06-29
US20170169618A1 (en) 2017-06-15
JP6554631B2 (ja) 2019-08-07
KR20180088754A (ko) 2018-08-06
US9972136B2 (en) 2018-05-15
EP3234741A1 (en) 2017-10-25
US9659413B2 (en) 2017-05-23
EP3234741A4 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
CN107209561A (zh) 用于在虚拟现实环境中导航的方法、系统及设备
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10712901B2 (en) Gesture-based content sharing in artificial reality environments
US10783712B2 (en) Visual flairs for emphasizing gestures in artificial-reality environments
CN107004279B (zh) 自然用户界面相机校准
EP4123425A1 (en) Eye tracking calibration techniques
US8749557B2 (en) Interacting with user interface via avatar
CN110413105A (zh) 虚拟环境内的虚拟对象的有形可视化
JP2022535325A (ja) 人工現実システムのための腕注視駆動のユーザインターフェース要素ゲーティング
JP2023507867A (ja) 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム
US11422626B2 (en) Information processing device, and information processing method, for outputting sensory stimulation to a user
KR20120138329A (ko) 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
JP2022535182A (ja) ユーザインターフェース要素をゲーティングするパーソナルアシスタント要素を備えた人工現実システム
JP2015166816A (ja) 表示装置，表示制御プログラム及び表示制御方法
US20190266798A1 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
KR101519589B1 (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
KR101861096B1 (ko) 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190328

Address after: American California

Applicant after: Facebook Technology Co., Ltd.

Address before: American California

Applicant before: Facebook Inc

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926