CN108153409B - 增强现实环境和/或虚拟现实环境中的会话结束检测 - Google Patents

增强现实环境和/或虚拟现实环境中的会话结束检测 Download PDF

Info

Publication number
CN108153409B
CN108153409B CN201710915583.4A CN201710915583A CN108153409B CN 108153409 B CN108153409 B CN 108153409B CN 201710915583 A CN201710915583 A CN 201710915583A CN 108153409 B CN108153409 B CN 108153409B
Authority
CN
China
Prior art keywords
mounted display
detecting
head mounted
orientation
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710915583.4A
Other languages
English (en)
Other versions
CN108153409A (zh
Inventor
杰森·托夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108153409A publication Critical patent/CN108153409A/zh
Application granted granted Critical
Publication of CN108153409B publication Critical patent/CN108153409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及增强现实环境和/或虚拟现实环境中的会话结束检测。在增强现实和/或虚拟现实系统中，可以基于检测到的头戴式显示设备的位置和/或定向和/或由用户穿戴的头戴式显示设备的移动和位置/定向来检测虚拟会话的终止和/或虚拟会话的暂停。可以响应于检测到虚拟会话的终止和/或暂停而自动地启动与最近终止的虚拟会话相关联的后续处理和/或补充任务，而不需要用户干预和/或手动输入指示系统启动处理的命令。

Description

增强现实环境和/或虚拟现实环境中的会话结束检测
相关申请的交叉引用
本申请是于2016年12月5日提交的美国申请第15/369,918号的继续申请并要求其优先权，其全部内容通过引用合并于此。
技术领域
本文件总体上涉及在增强现实和/或虚拟现实环境中检测增强和/或虚拟现实会话的结束。
背景技术
增强现实(AR)和/或虚拟现实(VR)系统可以生成沉浸式的三维(3D)虚拟环境。用户可以使用各种电子设备与这种虚拟环境中的虚拟对象、元素、特征等进行交互，该电子设备例如为头盔或其他头戴式设备(包括显示器、眼镜或护目镜，用户在查看显示设备时通过其进行观看)、一个或多个手持电子设备(诸如控制器，操纵杆等)、装配有传感器的手套、键盘、鼠标和其他电子设备。
发明内容
在一个方面，一种方法可以包括在周围环境中操作的头戴式显示器(HMD)设备中生成虚拟环境；启动虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至少一个用户输入；检测和跟踪所述周围环境中的所述HMD的位置或定向中的至少一个；基于所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入；基于检测到所述姿势输入来检测所述虚拟会话的结束；以及响应于检测到的所述虚拟会话的结束，启动与在所述虚拟会话处于所述活动状态期间接收到的所述至少一个用户输入相关的处理。
在另一方面，一种系统可以包括计算设备，所述计算设备被配置为生成虚拟现实环境。计算设备可以包括：存储器，所述存储器存储可执行指令；以及处理器，所述处理器被配置为执行所述指令。指令的执行可以使所述计算设备：在周围环境中操作的头戴式显示器(HMD)设备中生成虚拟环境；启动虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至少一个用户输入；检测并跟踪所述周围环境中的所述HMD的位置或定向中的至少一个；基于所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入；基于检测到所述姿势输入来检测所述虚拟会话的结束；以及响应于检测到的所述虚拟会话的结束，启动与在所述虚拟会话处于所述活动状态期间接收到的所述至少一个用户输入相关的处理。
在另一方面，一种体现在非暂时性计算机可读介质上的计算机程序产品，在该计算机可读介质上可以存储有指令序列。该指令序列在被处理器执行时可以使处理器执行方法。该方法可以包括：在周围环境中操作的头戴式显示器(HMD)设备中生成虚拟环境；启动虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至少一个用户输入；检测并跟踪所述周围环境中的所述HMD的位置和定向；基于所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入；基于检测到所述姿势输入来检测所述虚拟会话的结束；以及响应于检测到的所述虚拟会话的结束，在所述周围环境中的计算设备处自动地启动与在所述虚拟会话处于所述活动状态期间接收到的所述至少一个用户输入相关的处理，该计算设备可操作地耦接到所述HMD并且在所述HMD外部。
在附图和下面的描述中阐述了一个或多个实施方式的细节。从说明书和附图以及权利要求书中，将使其他特征显而易见。
附图说明
图1是根据本文所述的实施方式的包括与外部输入设备通信的头戴式显示器的增强和/或虚拟现实系统的示例实施方式。
图2A和2B是根据本文所述的实施方式的示例头戴式显示设备的立体图。
图3是根据本文所述的实施方式的增强和/或虚拟现实系统的框图。
图4A-4F图示出了根据本文所述的实施方式的用于检测虚拟会话的结束的系统。
图5A-5C图示出了根据如本文所述的实施方式的响应于虚拟会话的结束的检测而启动的示例性处理。
图6A-6C图示出了根据本文所述的实施方式的用于检测虚拟会话的结束的系统。
图7A-7C图示出了根据本文所述的实施方式的用于检测虚拟会话的结束的系统。
图8是根据本文所述的实施方式的方法的流程图。
图9图示出了可以用于实现本文所述的技术的计算机设备和移动计算机设备的示例。
具体实施方式
沉浸在穿戴例如头戴式显示器(HMD)设备的增强和/或虚拟现实环境中的用户可以探索虚拟环境并通过各种不同类型的输入与虚拟环境交互。这些输入可以包括例如HMD和/或与HMD可操作地耦接的一个或多个外部电子设备的操作、和/或手部/臂部姿势，眼睛/头部注视等。在没有特定用户干预的前提下检测用户已选择结束增强/虚拟现实会话和/或已到达增强/虚拟现实会话中的暂时中止点并且进行外围任务和/或与用户在增强/虚拟现实会话中的活动相关的处理的能力可以增强用户的体验并提高生产力。因此，外围任务涉及例如与在虚拟会话期间采取的动作相关的对HMD外部的外围计算设备的处理。
在系统和方法中，根据本文描述的实施方式，在检测到用户已完成接入虚拟现实会话或者暂时暂停接入虚拟现实会话时，系统可以自动地执行例如补充任务的进一步动作。该检测可以基于例如在虚拟会话结束时特征地执行的动作或姿势，而不需要特定附加用户输入或干预来启动补充任务。该动作或姿势可以包括例如基于由HMD中的传感器和/或系统中其他组件中的其他传感器提供的数据而检测到的用户移除HMD。该进一步的动作或补充任务可以包括与用户在接入到虚拟环境中时实施的动作相关的任务，例如处理、编译、生成预览、生成用于待采取的后续动作的建议等。虚拟会话的完成和/或虚拟会话的暂时暂停可以由系统以被动方式检测，而不需要指示虚拟会话的终止和/或暂停的特定用户输入或干预。响应于虚拟会话的结束或虚拟会话中的中间点的中断的检测而自动实施与虚拟环境中的用户动作相关的外围任务的能力可以增强用户在虚拟环境中的整体体验环境以及完成现实世界环境中的相关任务的整体体验。这可以提高用户的生产力，这是因为进一步的动作可以基本上由系统自动执行，从而有效地使用本将维持不使用的一段时间(在检测到的虚拟会话的结束与用户输入以启动进一步的动作的时间之间)。
图1是穿戴HMD 100的用户的第三人称视图。在该示例的第三人称视图中，用户处于可操作增强/虚拟现实系统的物理空间400中，并且接入到显示在HMD 100的显示器上的虚拟环境中。图1示出了在虚拟环境对HMD 100内的用户可见时在HMD 100的显示器上为用户显示的虚拟环境(或其中的对象)的示例表示500，其是简化的以易于讨论和说明。用户可以与一个或多个外部计算设备200进行交互，该外部计算设备可以与HMD 100可操作地耦接并与其通信。这可以提供外部设备200与HMD 100之间的通信以及外部设备与HMD之间的数据交换。在图1所示的示例中，与HMD 100可操作地耦接的外部设备200是手持电子设备200或手持控制器200。在一些实施方式中，多个手持电子设备200、其他外部设备200(例如鼠标、键盘、操纵杆等)可以可操作地耦接到HMD 100以接收用于在虚拟环境中的交互的用户输入。在该实施方式中，在检测到用户已完成接入虚拟现实会话或者经由HMD 100暂时暂停接入虚拟现实会话时，系统可以自动地执行任务。
图2A和2B是示例的HMD的立体图，例如图1所示的示例中的由用户穿戴的HMD 100。HMD 100可以包括耦接到框架120的壳体110，其中，包括例如安装在耳机中的扬声器的音频输出设备130也耦接到框架120。在图2B中，壳体110的前部部分110a旋转远离壳体110的基部部分110b，使得接收在壳体110中的一些组件可见。显示器140可以安装在壳体110的前部部分110a的内侧。当前部部分110a处于抵靠在壳体110的基部部分110b上的关闭位置时，镜片150可以安装在用户的眼睛与显示器140之间的壳体110中。HMD 100可以包括：感测系统160，该感测系统160包括各种传感器；以及控制系统170，该控制系统170包括处理器190和用于促进HMD 100的操作的各种控制系统设备。
例如，在一些实施方式中，感测系统160可以包括惯性测量单元(IMU)162，该惯性测量单元包括各种不同类型的传感器，例如加速计、陀螺仪、磁力计和其它这样的传感器。HMD 100的位置和定向可以基于由包括在IMU 162中的传感器提供的数据来检测和跟踪。检测到的MHD 100的位置和定向可以允许系统进而检测和跟踪用户的头部注视方向和移动。
在一些实施方式中，HMD 100可以包括注视跟踪设备165，该注视跟踪设备包括例如一个或多个传感器165A以检测和跟踪眼睛注视方向和移动。由传感器165A捕获的图像可以被处理以检测和跟踪用户的眼睛注视的方向和移动，并且所检测和跟踪的眼睛注视可以被处理为待转换成在沉浸式虚拟体验中的对应交互的用户输入。摄像机180可以捕获可用于帮助跟踪用户和/或与HMD 100通信/可操作地耦接的其他外部设备的物理位置的静止和/或移动图像。在通过模式中，所捕获的图像也可以在显示器140上被显示给用户。
在图3中示出了根据本文描述的实施方式的系统的框图。该系统可以包括第一电子设备300(例如，如上文关于图1和2A-2B所述的HMD)和与第一电子设备300通信的至少一个第二电子设备302(例如，与上文关于图1所述的手持电子设备或其他外部设备)。
第一电子设备300可以包括感测系统360和控制系统370，其可以分别类似于图2A和2B所示的感测系统160和控制系统170。感测系统360可以包括不同类型的传感器(包括例如光学传感器、音频传感器、图像传感器、距离和/或接近传感器)、IMU(包括例如陀螺仪、加速计、磁力计等)、计时器和/或其他传感器和/或传感器的不同组合。控制系统370可以包括例如接通/暂停控制设备、音频和视频控制设备、光学控制设备、转换控制设备和/或其他这样的设备和/或不同的设备组合。取决于特定的实施方式，感测系统360和/或控制系统370可以包括更多或更少的设备。包括在感测系统360和/或控制系统370中的元件可以具有例如在除了图2A和2B所示的HMD 100之外的HMD内的不同的物理布置(例如，不同的物理位置)。第一电子设备300还可以包括存储器380以及与感测系统360和控制系统370通信的处理器390。处理器390可处理从感测系统360以及从其它外部源(例如，第二电子设备302)接收的输入，并执行与检测到的输入对应的指令。第一电子设备300还可以包括提供第一电子设备300与其他外部计算设备(例如第二电子设备302与涉及处理系统相关信息的其他计算设备)之间的通信的通信模块350。
第二电子设备302可以包括通信模块306，该通信模块提供第二电子设备302与另一设备(例如第一电子设备300)之间的通信和数据交换。在一些实施方式中，取决于第二电子设备302(即，手持电子设备或控制器与键盘或鼠标)的特定配置，第二电子设备302可以包括感测系统304，该感测系统包括例如图像传感器和音频传感器(诸如包括在例如摄像机和麦克风中)、IMU、计时器、触摸传感器(诸如包括在手持电子设备或智能电话的触敏表面中)以及其它这样的传感器和/或不同的传感器组合。处理器309可以与第二电子设备302的感测系统304和控制器305通信，控制器305可以访问存储器308并控制第二电子设备302的整体操作。
如上所述，用户可以接入虚拟环境中的应用，可以在虚拟会话结束时执行对虚拟环境的补充或跟随的动作或任务。该补充动作或任务可以包括例如与由用户在虚拟会话期间接入到虚拟环境中时提供的输入、动作等和/或在虚拟会话期间运行的应用相关的处理。如果该补充动作或任务可以在无需特定的用户干预的情况下由系统响应于检测到的虚拟会话的结束而启动，则可以提高生产力。这可以允许有效地使用在虚拟会话的结束与用户提供单独的输入以启动补充任务的时间点之间的本来空闲的时间。因此，在系统和方法中，根据本文描述的实施方式，系统可以基于例如由系统检测到的姿势而检测到接入虚拟环境中的应用的用户已结束(或暂时脱离)虚拟会话。该姿势可以与由用户在虚拟会话结束时特征性地采取的动作(例如移除HMD)关联，并且不需要用户的一部分的特定附加动作。可以基于例如由HMD中的传感器提供的位置和/或定向数据来检测这种类型的姿势。
图4A-4F图示出了一个示例实施方式，其中，系统检测HMD 100的位置并且确定检测到的HMD 100的位置对应于从用户的头部移除HMD 100或将其移出用户的视线。然后，系统将该检测到的HMD 100的位置与虚拟会话的结束关联。响应于检测到的虚拟会话的结束，系统启动跟随动作，例如处理与由用户在接入虚拟会话时所采取的动作相关的数据。以这种方式，处理或其他动作可以在用户移除HMD 100与用户另外在另一个计算设备(例如，与HMD 100可操作地耦接的计算机终端)处手动启动该处理的时间点之间的时间内执行。这可以有效地使用这种本来空闲的时间，并且提高生产力。
图4A是在物理空间400中的接入例如由HMD 100在HMD 100的显示器上生成和显示的虚拟环境中的用户的第三人称视图。如图4A所示，用户穿戴HMD 100，并且使用手持电子设备200与各种虚拟元件交互，该虚拟元件与虚拟环境500中运行的应用关联，与基于用户在虚拟环境中的交互来接收数据的另一外部计算设备250关联。在图4A所示的示例中，示例的虚拟环境500的各种虚拟元件因为它们可以显现给用户而被示出在用户前方，其是简化的以易于讨论和说明。将相对于在虚拟环境500中运行的3D建模应用讨论图4A-4F和5A-5C所示的示例实施方式，其是简化的以易于讨论和说明。然而，下文描述的原理可以应用于待在虚拟环境中执行的许多其他应用和虚拟体验，并且在虚拟会话结束之后和/或在虚拟会话的接入虚拟会话中的用户已暂时暂停时的中间点具有待进行的附加动作。
如图4A、4B和4C所示，用户可以例如使用手持电子设备200和/或手部/臂部姿势等与虚拟环境500中的各种虚拟对象、元件等交互。与虚拟对象的用户交互可以对应于待在虚拟环境中执行的用户输入或用户命令，以生成期望的结果，如在从图4A到图4B到图4C时虚拟三维对象550的结构变化中所示。
如图4D和4E所示，当用户结束虚拟会话时或者当用户临时脱离虚拟环境时，用户可以将HMD 100移出其视线，和/或可以从其头部移除HMD 100。HMD 100的这种移动/移除可以被认为是与虚拟会话的结束关联的移动或姿势或动作，其可以由系统检测到。HMD 100的这种移动/移除是在用户脱离虚拟环境时由用户采用的自然动作，以终止虚拟会话和/或暂时暂停接入虚拟会话。HMD 100的这种移动/移除可以使得HMD 100被定向成使得HMD 100的前表面110a处于基本上水平的位置或者基本上水平地定向，如图4E所示。
在一些实施方式中，HMD 100在预先设定的或预定义的位置中的使HMD100的前表面110a沿着基本上水平的平面对准的这种定向可以与HMD 100的非活动状态关联。当用户主动地接入到虚拟环境500中(其中HMD 100定位成与用户的视线对准)时，通常不会遇到HMD 100的使前表面110a沿着基本上水平的平面对准的定向，这是因为当HMD 100处于活动状态时将被对准。相反，当HMD 100仍被定位成与用户的视线对准时，HMD 100的这种基本上水平的定向将需要用户采取并维持不自然的、相对笨拙的位置，直视。在大多数情况下，特别是当HMD 100的基本水平的定向被暂停或维持大于预先设定的或预定义的时间量时，HMD100的这种基本上水平的定向可以与将HMD 100从用户的视线移除和/或从用户的头部移除关联，并由此可以与HMD 100的非活动状态关联。由此，尽管移除HMD 100并且导致HMD 100的基本上水平的定向是在虚拟会话结束时在用户的一部分上的相对正常的无意识动作，但HMD 100的这种基本上水平的定向的检测可以被认为是虚拟会话的结束的相对可靠的指示。以这种方式，除了上述相对正常的无意识动作之外，用户不需要其他动作来启动处理或者与在虚拟会话期间采用的动作相关的对HMD外部的计算设备的附加任务。
在一些实施方式中，与HMD 100的非活动状态关联的将HMD 100从用户的视线移除和/或从用户的头部移除可以由HMD 100中的其他传感器检测。例如，在一些实施方式中，光学跟踪设备165可以传感用户眼睛的检测和/或跟踪中的损失，并且将检测和/或跟踪中的损失与HMD 100移出用户的视线和/或从用户头部的移除以及HMD 100从活动状态转换到非活动状态关联。在一些实施方式中，光学传感器可以检测与将HMD 100从用户头的部移除以及HMD 100从活动状态转换到非活动状态关联的光的变化。
通常，在虚拟会话结束时，用户将移动到外部计算设备250以进行与在虚拟会话期间采取的动作相关的处理或附加任务，如图4F所示。然而，在根据本文描述的实施方式的系统和方法中，响应于检测到HMD 100的移除，系统可以自动启动与在虚拟会话期间采取的动作相关的处理或附加任务。这可以使得有效使用在移除HMD 100(如图4D所示)与用户到达外部计算设备250以用于手动输入用户命令以启动处理(如图4F所示)之间的本来空闲的时间。
在一些实施方式中，HMD 100的定向状态可以由例如HMD 100中的传感器检测和/或跟踪。例如，HMD 100的IMU 162中的传感器(例如，包括在HMD100的IMU 162中的陀螺仪)可以检测到HMD 100被定向在基本上水平的状态，如上面相对于图4E所述。如上所述，当HMD100被主动地接入到虚拟环境中的用户穿戴时，通常不会遇到HMD 100的这种基本上水平的状态。然而，为了避免基于HMD 100的定向错误地识别虚拟会话的结束，在一些实施方式中，当确定出HMD 100保持定向在基本上水平的状态大于设定阈值时间量时，可以检测到虚拟会话的结束的指示。例如，在一些实施方式中，当检测到HMD 100保持在基本上水平的方向上大于或等于大约1秒时，可以确定出用户已终止或暂时暂停虚拟会话。这种1秒设定阈值时间仅是一个示例，并且设定阈值时间可以基于许多不同的因素而变化，例如特定应用的特征和/或在该特定应用中的用户交互可以使得HMD 100定向在基本上水平的位置中特定时间量的可能性。
在检测到HMD 100定向在基本上水平的状态中并且确定出如上所述地基于HMD100的基本上水平的定向而终止或暂停虚拟会话时，系统可以启动与关于刚刚结束的虚拟会话相关的信息的进一步动作或补充任务。例如，系统可以开始处理与在上文相对于图4A-4D描述的配置下的虚拟3D对象550相关的信息和/或数据。可以由HMD 100和/或由一个或多个外部计算设备(例如，图4A-4D所示的外部计算设备250)执行该处理。由于如上所述地已经基于用户移除HMD 100检测到虚拟会话的结束，所以该系统可以响应于例如在图4D所示的点处检测到虚拟会话的结束而自动启动这种处理或补充任务，而不是如图4F所示在用户到达外部计算设备之后等待特定用户命令以启动处理或补充任务。在图4D所示的点与图4F所示的点之间这种空闲时间的使用可以提高用户的便利性和生产力。
如上所述，响应于如上所述地检测到虚拟会话的结束，系统可以由HMD 100和/或外部计算设备(例如图4A-4F所示的外部计算设备250)自动启动处理。当检测到虚拟会话的结束时(在图4D所示的点)启动处理，而不是当用户到达计算设备250以手动输入命令以启动处理时(在图4F所示的点)，可以允许有效使用可用时间。当处理计算密集型任务(例如涉及图形处理等的处理)时，这可能是特别有益的。例如，当如上所述地检测到虚拟会话的结束时，系统可以启动处理以生成对象550的3D预览供用户查看，3D预览的生成是补充任务或外围任务的示例或者是与图5A所示的在虚拟会话期间采取的动作和/或图5B所示的对象550的多个不同视图和/或图5C所示的用于发布或共享对象550和/或用于进一步编辑对象550的选项相关的(例如在HMD外部的计算设备上的)附加任务的处理。这些仅是如上所述的由系统响应于基于HMD 100的基本上水平的定向检测到的虚拟会话的结束而可以启动和执行的处理类型的一些示例。
在一些实施方式中，HMD 100的持续空闲状态可以由传感器(例如，包括在HMD 100的IMU 162中的传感器)检测，以指示虚拟会话的结束(另外或替代地，检测HMD 100的水平定向以指示如上所述的虚拟会话的结束)。当HMD 100被用户穿戴时，这些传感器可以检测甚至相当轻微的移动。也就是说，即使当用户意图保持基本静止时，用户仍未保持完全静止或固定，并且用户穿戴的HMD100的传感器将检测到用户的轻微的自然移动(并因此，检测到用户穿戴的HMD 100的轻微的自然移动)。这种检测到的移动可以指示用户保持在至少一定程度上接入到虚拟环境中。
在一些实施方式中，指示虚拟会话的终止或暂时暂停的设定姿势可以基于检测到HMD 100保持在同一位置中(基本上完全静止)大于或等于预先设定的或预定义的时间量来限定。图6A-6C示出了在固定支撑表面600上的各种不同位置中的从用户头部移除的HMD100。如图6A所示，用户已移除HMD 100并且将HMD 100定位于固定支撑表面600上，其中，HMD100基本水平地定向，并且例如HMD 100的示例性中心线112基本上水平地定向。在图6B所示的示例中，用户已经移除HMD 100并将HMD 100定位于固定支撑表面600上，其中，HMD 100定向为相对于水平面成一角度或倾斜，并且例如其中，HMD 100的示例性中心线112定向为相对于水平方向成一角度或倾斜。在图6C所示的示例中，用户已移除HMD 100并将HMD 100定位于固定支撑表面600上，其中，HMD 100基本上竖直地定向，并且例如其中，HMD 100的示例性中心线112基本上竖直地定向。HMD 100的示例性中心线112包括在图6A-6C中，其是简化的以易于说明和解释可以将HMD 100放置在固定支撑表面600上的各种不同位置。
在图6A-6C所示的每个不同示例位置中，位于固定支撑表面600上的HMD 100可以保持基本上完全静止，并且不管HMD的定向如何，都不具有由传感器(例如，HMD 100的IMU162的传感器)检测到的任何移动。基于由HMD 100的传感器提供的数据，系统可以确定出HMD 100已保持静止(并且不移动)大于或等于一预先设定的或预定义的时间量。基于确定出HMD 100已保持固定至少该设定时间量，系统可以确定已检测到指示用户已经脱离虚拟环境的设定姿势。响应于检测到虚拟会话的结束或虚拟会话的暂时暂停，系统可以自动启动处理，例如如上所述的在不需要单独的用户干预来启动处理的情况下与在虚拟会话期间实施的动作关联的处理。这可以允许在不具有用户手动输入命令或其他特定用户干预的情况下启动后续处理、补充任务等。在这种场境中，用户手动输入命令可以例如指的是用户在执行处理的计算系统的用户界面上的手动输入。后续处理的这种自动启动可以提高用户的便利性和生产力，从而使用用户移除HMD 100与用户录入特定命令以启动处理之间的本来空闲的时间。
在一些实施方式中，系统可以基于不一定涉及将HMD 100移出用户视线和/或将HMD 100从用户的头部移除的因素来检测指示虚拟会话结束和/或用户接入到虚拟会话中的暂停的设定姿势。例如，在一些实施方式中，系统可以基于穿戴HMD 100的用户在物理空间400中的位置(例如，穿戴HMD 100的用户在物理空间400中相对于物理空间400中的其他元件(例如，外部计算设备250)的位置)来检测虚拟会话的结束和/或用户接入到虚拟会话中的暂停。在一些实施方式中，系统可以基于用户通过物理空间400的移动(例如，用户朝向物理空间400的某些元件(例如，外部计算设备250)的移动)来检测虚拟会话的结束和/或用户接入到虚拟会话中的暂停。在一些实施方式中，系统可以基于用户通过物理空间400的移速(rate)或速率(speed)或速度(velocity)(例如，用户朝向物理空间400的某些元件(例如，外部计算设备250)的移速或速率或速度)来检测虚拟会话的结束和/或用户接入到虚拟会话中的暂停。系统可以基于例如检测到的用户在物理空间中的速度和/或加速度相对于预先设定的或预定义的速度和/或加速度值的比较来进行这种确定。
穿戴HMD 100并在位于物理空间400中的位置A(如图7A所示)处时接入到虚拟环境500中的用户可以在物理空间400中移动到物理空间400中的位置B(如图7B所示)和/或可以移动到物理空间400中的位置C(如图7C所示)。当穿戴HMD 100的用户在物理空间400中移动时，系统可以检测并跟踪穿戴HMD 100的用户在物理空间400中的位置和/或定向。系统可以被设定成响应于穿戴HMD 100的用户在物理空间400内的设定位置处和/或在设定方向上移动或接近物理空间400中的设定元件和/或以大于或等于预先设定的移速或速率或速度在设定方向上移动或接近设定元件的检测来检测设定姿势。响应于这些设定姿势中的一个或多个，系统可以确定出用户已终止或暂时暂停接入到虚拟会话中，并且可以启动如上所述的处理或补充任务，即使用户不一定移除HMD 100。
例如，系统可以检测到穿戴HMD 100的用户处于或已经移动到图7C所示的位置，并且基于用户物理地接近外部计算设备250而可以确定出用户意图终止或暂时暂停虚拟会话，并且可以自动启动处理和/或其他补充任务，例如，只要系统检测出用户在外部计算设备250的设定接近度内，就会自动启动与最近终止或暂停的虚拟会话相关的处理和/或任务。在不具有(例如，在外部计算设备150处的)特定手动用户输入的情况下启动这种处理的能力可以提高生产力和有效性，并且可以改善用户体验。
在一些实施方式中，系统可以例如沿着设定路径或方向检测用户的移动，指示用户例如正朝向物理空间400中的某个元件移动，诸如朝向外部计算设备250移动。系统可以基于检测到的用户在物理空间400中的移动方向来确定用户正朝向例如外部计算设备250移动。例如，系统可以检测到用户沿着朝向与图7C所示的外部计算设备250相距预先设定接近度内的位置C的路径已从图7A所示的位置A移动到图7B所示的位置B或朝向位置B移动。系统可以确定该检测到的用户移动方向指示用户已脱离虚拟环境，并且趋于终止或暂时暂停虚拟会话。基于例如在物理空间400中的用户位置B(或物理空间400中的另一位置，基于系统设定)处的该检测到的移动方向，系统可以检测虚拟会话的终止或暂时暂停，并且可以自动启动处理和/或其他补充任务，例如，与最近终止或暂停的虚拟会话相关的处理和/或任务。
在一些实施方式中，系统可以检测例如从图7A所示的位置A朝向图7B所示的位置B和/或朝向图7C所示的位置C的用户移动。系统还可以基于例如从位置A处的检测到位置B处的检测所经过的时间量而检测用户例如从位置A移动到位置B的移速；或者基于例如从位置A处的检测到位置C的检测所经过的时间量而检测用户从位置A移动到位置C的速率。系统可以基于检测到的用户在物理空间400中的移动方向连同用户移动的移速确定出用户已脱离虚拟环境，并趋于终止或暂时暂停虚拟会话。基于例如该检测到的移动连同检测到的移动移速或速率(例如，大于或等于设定阈值)，系统可以检测虚拟会话的终止或暂时暂停，并且可以自动启动处理和/或其他补充任务，例如与最近终止或暂停的虚拟会话相关的处理和/或任务。
在系统和方法中，根据本文所述的实施方式，响应于检测到虚拟会话的结束和/或虚拟会话的暂时暂停，可以触发补充任务(诸如，启动处理)的启动。如上面相对于图4A-4F所述的，可以响应于检测到在设定方向上的HMD 100，而检测设定姿势。如上面相对于图6A-6C所述的，可以响应于检测到HMD 100处于静止位置大于或等于设定时间量，而检测设定姿势。如上面相对于图7A-7C所述的，可以响应于检测到的用户在设定方向上和/或以大于设定速度的移动和/或在外部对象的设定接近度内，而检测设定姿势。在一些实施方式中，当HMD 100内的光学跟踪设备检测到用户的眼睛的轨迹的损失时，可以检测设定姿势，该损失与HMD 100离开视线的移动和/或从用户头部移除HMD 100关联。在一些实施方式中，可以响应于检测到HMD 100在将指示移除HMD 100的高度处(例如，在腰部水平处或腰部水平以下，或在用户头部上方一竖直距离，该竖直距离与HMD 100在活动状态中将不会自然定位一持续时间量的高度相对应)，而检测设定姿势。在一些实施方式中，可以响应于检测到沿着HMD100移动离开用户视线和/或从用户头部移除HMD 100的路径特征(例如，包括提升运动连同特定旋转量)的HMD 100的移动，而检测设定姿势。这些仅是系统可以检测到的设定姿势的一些示例，以指示虚拟会话的结束和/或虚拟会话的暂时暂停，这可能进而自动触发后续处理任务(特别是，与在虚拟会话期间用户采取的动作关联的任务)的启动。
在图8中示出了根据本文所述的实施方式的在增强和/或虚拟现实环境中检测虚拟会话的结束的方法800。
用户可以使用例如计算设备来启动增强现实体验和/或虚拟现实体验，该计算设备例如为包括如上所述的HMD设备的系统，其可以与一个或多个外部设备可操作地耦接或配对以生成增强现实和/或虚拟现实环境(框810)。系统可以检测和跟踪系统的元件，例如如上所述的HMD，检测可与用户从虚拟环境脱离以及虚拟会话的终止和/或虚拟会话的暂时暂停相对应的姿势(框820)。指示虚拟会话的终止和/或暂时暂停的检测到的姿势可以包括检测到HMD的基本水平定向大于或等于设定阈值时间量(框830)，如上文相对于图4A-4F详细描述的。指示虚拟会话的终止和/或暂时暂停的检测到的手势可以包括检测到HMD已保持静止大于或等于阈值时间量，而没有任何检测到的移动(框840)，如上文相对于图6A-6C所述的。指示虚拟会话的终止和/或暂时暂停的检测到的手势可以包括检测到穿戴HMD的用户处于特定位置和/或检测到穿戴HMD的用户在特定方向上的移动和/或以大于或等于设定阈值速度的速度的移动(框850)，如上文相对于图7A-7C所述的。响应于设定姿势中的一个或多个(框830、840、850)，系统可以检测虚拟会话的终止或暂时暂停，并且可以启动与虚拟会话相关的处理(框870)，如上文相对于图5A-5C所述的。该过程可以持续直到确定当前增强现实和/或虚拟现实体验已被终止(框860)。
在根据本文描述的实施方式的系统和方法中，可以基于不涉及特定用户输入或干预的设定姿势来检测虚拟会话的结束或虚拟会话的暂时暂停。基于在虚拟会话期间的用户交互的后续处理和/或补充任务可以由系统响应于检测到虚拟会话的结束而自动地启动，而无需单独的用户干预或手动输入来启动处理，从而生产地使用可用时间和计算资源。
图9示出了可以与本文描述的技术一起使用的计算机设备1000和移动计算机设备1050的示例。计算设备1000包括处理器1002、存储器1004、存储设备1006、连接到存储器1004和高速扩展端口1010的高速接口1008、以及连接到低速总线1014和存储设备1006的低速接口1012。组件1002、1004、1006、1008、1010和1012中的每一个使用各种总线互连，并且可以适当地安装在公共主板上或以其他方式安装。处理器1002可以处理用于在计算设备1000内执行的指令，包括存储在存储器1004中或存储设备1006上的指令，以在外部输入/输出设备(诸如耦接到高速接口1008的显示器1016)上显示用于GUI的图形信息。在其他实施方式中，可以连同多个存储器以及多种存储器适当地使用多个处理器和/或多个总线。此外，多个计算设备1000可以与提供必要操作的部分的每个设备(例如，服务器群，一组刀片式服务器或多处理器系统)连接。
存储器1004在计算设备1000内存储信息。在一个实施方式中，存储器1004是易失性存储单元。在另一实施方式中，存储器1004是非易失性存储单元。存储器1004还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
存储设备1006能够为计算设备1000提供大容量存储。在一个实施方式中，存储设备1006可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设备、或者包括存储区域网络中的设备或其他配置的设备阵列。计算机程序产品可以实体地体现在信息载体中。计算机程序产品还可以包含指令，该指令在被执行时执行一个或多个方法，诸如上述的方法。信息载体是计算机或机器可读介质，诸如存储器1004、存储设备1006或处理器1002上的存储器。
高速控制器1008管理计算设备1000的带宽密集型操作，而低速控制器1012管理较低带宽密集型操作。这种功能分配仅是示例的。在一个实施方式中，高速控制器1008耦接到存储器1004、显示器1016(例如，通过图形处理器或加速计)以及可接受各种扩展卡(未示出)的高速扩展端口1010。在该实施方式中，低速控制器1012耦接到存储设备1006和低速扩展端口1014。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦接到一个或多个输入/输出设备，诸如键盘、指针设备、扫描仪或者诸如交换机或路由器的网络设备，例如通过网络适配器。
如图所示，计算设备1000可以以多种不同的形式实现。例如，其可以被实现为标准服务器1020，或者在一组这样的服务器中多次实现。其也可以被实现为机架式服务器系统1024的一部分。此外，其可以为个人计算机，诸如膝上型计算机1022。可替代地，来自计算设备1000的组件可以与诸如设备1050的移动设备中的其他组件(未示出)组合。这些设备中的每一个可以包含计算设备1000、1050中的一个或多个，并且整个系统可以由彼此通信的多个计算设备1000、1050组成。
计算设备1050包括处理器1052、存储器1064，诸如显示器1054的输入/输出设备、通信接口1066和收发器1068等。设备1050还可以被提供有诸如微驱动器或其他设备的存储设备，以提供附加的存储。组件1050、1052、1046、1054、1066和1068中的每一个使用各种总线互连，并且该组件中的几个可以适当地安装在公共主板上或以其他方式安装。
处理器1052可以执行计算设备1050内的指令，包括存储在存储器1064中的指令。处理器可以被实现为包括单独的和多个模拟和数字处理器的芯片的芯片集。处理器可以例如提供设备1050的其他组件的协同，诸如用户界面的控制、由设备1050运行的应用以及设备1050的无线通信。
处理器1052可以通过耦接到显示器1054的控制接口1058和显示接口1056与用户通信。显示器1054可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或者其他适当的显示技术。显示接口1056可以包括用于驱动显示器1054以向用户呈现图形和其它信息的适当电路。控制接口1058可以从用户接收命令并将其转换以提交给处理器1052。此外，外部接口1062可以提供与处理器1052通信，以便能够使设备1050与其他设备进行近区域通信。在一些实施方式中，外部接口1062可以提供例如有线通信，或者在其他实施方式中提供无线通信，并且还可以使用多个接口。
存储器1064在计算设备1050内存储信息。存储器1064可以被实现为计算机可读介质、易失性存储单元或非易失性存储单元中的一个或多个。扩展存储器1074也可以通过扩展接口1072设置并连接到设备1050，该扩展接口例如可以包括SIMM(单线存储模块)卡接口。这种扩展存储器1074可以为设备1050提供额外的存储空间，或者还可以存储用于设备1050的应用或其他信息。具体地，扩展存储器1074可以包括执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1074可以被提供为用于设备1050的安全模块，并且可以用允许设备1050的安全使用的指令来编程。此外，可以经由SIMM卡连同附加信息来提供安全应用，诸如以不可攻击的方式将识别信息放置在SIMM卡上。
存储器可以包括例如闪速和/或NVRAM存储器，如下所述。在一个实施方式中，计算机程序产品被实体地体现在信息载体中。计算机程序产品包含指令，该指令在被执行时执行一个或多个方法，诸如上述的方法。信息载体是计算机或机器可读介质，诸如存储器1064、扩展存储器1074或处理器1052上的存储器，其可以例如通过收发器1068或外部接口1062接收。
设备1050可以通过通信接口1066进行无线通信，该通信接口可以在必要时包括数字信号处理电路。通信接口1066可以在各种模式或协议下提供通信，诸如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器1068发生。此外，可能发生短距离通信，诸如使用蓝牙、Wi-Fi或其它这样的收发器(未示出)。此外，GPS(全球定位系统)接收模块1070可以向设备1050提供附加的导航和位置相关的无线数据，其可以由在设备1050上运行的应用适当地使用。
设备1050还可以使用音频编解码器1060音频地通信，该音频编解码器可以从用户接收口语信息并将其转换为可用的数字信息。音频编解码器1060同样可以诸如通过扬声器(例如，在设备1050的手持设备中)为用户生成可听见的声音。这种声音可以包括来自语音电话呼叫的声音，可以包括录音(例如，语音消息、音乐文件等)，并且还可以包括由在设备1050上操作的应用生成的声音。
计算设备1050可以以多种不同的形式来实现，如图所示。例如，其可以被实现为蜂窝电话1080。其也可以被实现为智能电话1082、个人数字助理或其他类似移动设备的一部分。
本文描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括可以是专用或通用目的的至少一个可编程处理器，其被耦接以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及将数据和指令传输到存储系统、至少一个输入设备和至少一个输出设备。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级程序和/或面向对象编程语言和/或汇编/机器语言实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，本文描述的系统和技术可以在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以向计算机提供输入的键盘和指针设备(例如，鼠标或轨迹球)的计算机上实现。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
本文描述的系统和技术可以在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该图形用户界面或Web浏览器与本文描述的系统和技术的实施方式进行交互)或者这些后端组件、中间件组件或前端组件的任何组合的计算系统中实现。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，且通常通过通信网络进行交互。客户端和服务器之间的关系是凭借在相应的计算机上运行的计算机程序并且彼此之间具有客户端-服务器关系而产生的。
在一些实施方式中，图9所示的计算设备可以包括与虚拟现实(VR耳机/HMD设备1090)连接的传感器。例如，包括在图9所示的计算设备1050或其他计算设备上的一个或多个传感器可以为VR耳机1090提供输入，或者一般来说，可为VR空间提供输入。传感器可以包括但不限于触摸屏、加速计、陀螺仪、压力传感器、生物传感器、温度传感器、湿度传感器和环境光学传感器。计算设备1050可以使用传感器来确定计算设备在VR空间中的绝对位置和/或检测到的旋转，然后其可以用作VR空间的输入。例如，计算设备1050可以作为虚拟对象(诸如，控制器、激光指针、键盘、武器等)并入VR空间中。当并入VR空间中时，由用户定位计算设备/虚拟对象可以允许用户将计算设备定位成使得以某些方式观看VR空间中的虚拟对象。例如，如果虚拟对象表示激光指针，则用户可以像操纵实际激光指针一样操纵计算设备。用户可以将计算设备左右移动、上下移动、圆形移动等，并以与使用激光指针类似的方式使用该设备。
在一些实施方式中，包括在计算设备1050上或连接到计算设备1050的一个或多个输入设备可以用作VR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、指针设备、鼠标、轨迹球、操纵杆、摄像机、麦克风、具有输入功能耳机或耳塞、游戏控制器或其他可连接的输入设备。当计算设备并入到VR空间中时，与包括在计算设备1050上的输入设备交互的用户可能导致在VR空间中发生特定动作。
在一些实施方式中，计算设备1050的触摸屏可以被渲染为VR空间中的触摸板。用户可以与计算设备1050的触摸屏交互。例如，在VR耳机1090中，该交互被渲染为VR空间中的渲染的触摸板上的移动。渲染的移动可以控制VR空间中的虚拟对象。
在一些实施方式中，包括在计算设备1050上的一个或多个输出设备可以向VR空间中的VR耳机1090的用户提供输出和/或反馈。输出和反馈可以是视觉、触觉或音频。输出和/或反馈可以包括但不限于振动、一个或多个灯或闪光灯的打开和关闭或闪烁和/或闪光、发出警报、发出鸣响、播放歌曲和播放音频文件。输出设备可以包括但不限于振动电动机、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。
在一些实施方式中，计算设备1050可以在计算机生成的3D环境中显示为另一对象。用户与计算设备1050的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与VR空间中的对象的交互。在VR空间中的激光指针的示例中，计算设备1050在计算机生成的3D环境中显示为虚拟激光指针。当用户操纵计算设备1050时，VR空间中的用户看到激光指针的移动。用户在计算设备1050或VR耳机1090上接收来自与VR环境中的计算设备1050的交互的反馈。
在一些实施方式中，计算设备1050可以包括触摸屏。例如，用户可以以特定的方式与触摸屏交互，其可以用在VR空间中发生的情况模仿在触摸屏上发生的情况。例如，用户可以使用捏合式运动来缩放在触摸屏上显示的内容。触摸屏上的这种捏合式运动可以使VR空间中提供的信息被缩放。在另一示例中，计算设备可以在计算机生成的3D环境中被渲染为虚拟书。在VR空间中，可以在VR空间中显示书的页面，并且可以将用户的手指在触摸屏上的滑动解释为翻动/翻转虚拟书的页面。随着每个页面被翻动/翻转时，除了看到页面内容变化之外，用户可以被提供音频反馈，诸如翻动书中的页面的声音。
在一些实施方式中，除了计算设备(例如，鼠标、键盘)之外的一个或多个输入设备可以在计算机生成的3D环境中被渲染。渲染的输入设备(例如，渲染的鼠标，渲染的键盘)可以用于在VR空间中被渲染以控制VR空间中的对象。
计算设备1000旨在表示各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片式服务器、大型主机和其他适当的计算机。计算设备1050旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。本文所示的组件、其连接和关系以及其功能仅是示例性的，且并不意味着限制本文中描述和/或要求保护的发明的实施方式。
在以下的示例中描述了其他实施方式：
示例1：一种方法，包括：在周围环境中操作的头戴式显示器(HMD)设备中生成虚拟环境；启动虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至少一个用户输入；检测所述周围环境中的所述HMD的位置或定向中的至少一个；基于所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入；基于检测到所述姿势输入来检测所述虚拟会话的结束；以及响应于检测到的所述虚拟会话的结束，启动与在所述虚拟会话处于所述活动状态期间接收到的所述至少一个用户输入相关的处理。
示例2：示例1的方法，基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入，包括：检测所述HMD的定向；将检测到的所述HMD的定向与设定定向进行比较；以及当基于该比较而确定出检测到的所述HMD的定向与所述HMD的所述预设定向匹配大于或等于设定时间量时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入。
示例3：示例2的方法，其中，所述HMD的所述设定定向与由所述用户穿戴的所述HMD的中心线的水平对准相对应。
示例4：示例1至3中一项的方法，基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入，包括：检测所述HMD的所述位置和所述定向；以及当基于所述HMD的所述位置和所述定向确定出所述HMD保持静止大于或等于设定时间量时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入。
示例5：示例1至4中一项的方法，基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入，包括：检测所述HMD的所述位置；以及当基于所述HMD的所述位置确定出所述HMD位于小于或等于距所述周围环境中的计算设备的预设距离时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入，该计算设备可操作地耦接到所述HMD并且在所述HMD外部。
示例6：示例1至5中一项的方法，基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入，包括：检测所述HMD的所述位置；基于所述HMD的所述位置检测所述HMD的移动路径；以及当基于所述HMD的所述移动路径确定出所述HMD的所述移动路径与所述周围环境中的计算设备对准时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入，该计算设备可操作地耦接到所述HMD并且在所述HMD外部。
示例7：示例6的方法，基于所述HMD的所述位置检测所述HMD的移动路径，包括：检测所述HMD的移动方向；检测所述HMD的移动速度；以及当所述HMD在检测到的移动方向上的所述移动速度大于或等于设定速度时，检测与所述虚拟会话的所述结束对应的所述姿势输入。
示例8：示例1至7中一项的方法，启动与在所述虚拟会话期间接收的所述至少一个用户输入相关的处理，包括：在没有用户输入的情况下自动启动所述周围环境中的所述计算设备处的处理，该计算设备可操作地耦接到所述HMD并且在所述HMD外部。
示例9：一种系统，包括：计算设备，该计算设备被配置为生成虚拟现实环境，该计算设备包括：存储器，该存储器存储可执行指令；以及处理器，该处理器被配置为执行所述指令以使所述计算设备：在周围环境中操作的头戴式显示器(HMD)设备中生成虚拟环境；启动虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至少一个用户输入；检测所述周围环境中的所述HMD的位置或定向中的至少一个；基于所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入；基于检测到所述姿势输入来检测所述虚拟会话的结束；以及响应于检测到的所述虚拟会话的结束，启动与在所述虚拟会话处于所述活动状态期间接收到的所述至少一个用户输入相关的处理。
示例10：示例9的系统，其中，在基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个检测姿势输入中，所述指令使所述计算设备：检测所述HMD的定向；将检测到的所述HMD的定向与设定定向进行比较；以及当基于该比较检测出检测到的所述HMD的定向与所述HMD的所述设定定向匹配大于或等于设定时间量时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入。
示例11：示例10的系统，其中，所述HMD的所述设定定向与由用户穿戴的所述HMD的中心线的水平对准相对应。
示例12：示例9至11中一项的系统，其中，在基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个检测姿势输入中，所述指令使所述计算设备：检测所述HMD的所述位置和所述定向；以及当基于所述HMD的所述位置和所述定向确定出所述HMD保持静止大于或等于设定时间量时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入。
示例13：示例9至12中一项的系统，其中，在基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个检测姿势输入中，所述指令使所述计算设备：检测所述HMD的所述位置；以及当基于所述HMD的所述位置确定出所述HMD位于小于或等于距所述周围环境中的计算设备的设定距离时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入，该计算设备可操作地耦接到所述HMD并且在所述HMD外部。
示例14：示例9至13中一项的系统，其中，在基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个检测姿势输入中，所述指令使所述计算设备：检测所述HMD的所述位置；基于所述HMD的所述位置检测所述HMD的移动路径；以及当基于检测到的所述HMD的移动路径确定出检测到的所述HMD的所述移动路径与所述周围环境中的计算设备对准时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入，该计算设备可操作地耦接到所述HMD并且在所述HMD外部。
示例15：示例14的方法，其中，在基于所述HMD的所述位置检测所述HMD的移动路径时，所述指令使所述计算设备：检测所述HMD的移动方向；检测所述HMD的移动速度；以及当所述HMD在检测到的移动方向上的所述移动速度大于或等于设定速度时，检测与所述虚拟会话的所述结束对应的所述姿势输入。
示例16：示例9至15中一项的系统，其中，在启动与在所述虚拟会话期间接收到的所述至少一个用户输入相关的处理中，所述指令使计算设备：在没有用户输入的情况下自动地启动所述周围环境中的所述计算设备处的处理，该计算设备可操作地耦接到所述HMD并且在所述HMD外部。
示例17：一种体现在非暂时性计算机可读介质上的计算机程序产品，在该计算机可读介质上存储有指令序列，该指令序列在被处理器执行时使所述处理器执行方法，该方法包括：在周围环境中操作的头戴式显示器(HMD)设备中生成虚拟环境；启动虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至少一个用户输入；检测所述周围环境中的所述HMD的位置和定向；基于所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入；基于检测到所述姿势输入来检测所述虚拟会话的结束；以及响应于检测到的所述虚拟会话的结束，在所述周围环境中的计算设备处自动地启动与在所述虚拟会话处于所述活动状态期间接收到的所述至少一个用户输入相关的处理，该计算设备可操作地耦接到所述HMD并且在所述HMD外部。
示例18：示例17的计算机程序产品，基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入，包括：检测所述HMD的定向；将检测到的所述HMD的定向与设定定向进行比较；以及当基于检测到的所述HMD的定向确定出所述HMD被大致水平地定向大于或等于设定时间量时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入。
示例19：示例17或18的计算机程序产品，基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入，包括：检测所述HMD的所述位置和所述定向；以及当基于所述HMD的所述位置和所述定向确定出所述HMD保持静止大于或等于设定时间量时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入。
示例20：示例17至19中一项的计算机程序产品，基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入，包括：检测所述HMD的所述位置；以及当基于所述HMD的检测到和跟踪到的位置确定出所述HMD位于小于或等于距所述计算设备的设定距离时，检测与检测到所述虚拟会话的所述结束对应的所述姿势输入。
在另一示例中，在增强现实和/或虚拟现实系统中，可以基于检测到头戴式显示器设备的位置和/或定向和/或由用户穿戴的头戴式显示器设备的移动和位置/定向来检测虚拟会话的终止和/或虚拟会话的暂停，其中，可以响应于检测到虚拟会话的终止和/或暂停而自动地启动与最近终止的虚拟会话相关的后续处理和/或补充任务，而不需要用户干预和/或手动输入指示系统启动处理的命令。
已经描述了许多实施例。然而应当理解，在不背离本说明书的精神和范围的情况下，可以进行各种修改。
此外，附图中示出的逻辑流程不需要所示的特定顺序或相继次序来实现期望的结果。此外，可以从所述的流程中提供其他步骤，或者可以从所述的流程中去除步骤，并且可以将其他组件添加到所述的系统中或从所述的系统中去除其他组件。因此，其它实施例在所附权利要求的范围内。
虽然已经如本文所述地示出了所述实施方式的某些特征，但本领域技术人员现在将会想到许多修改、替换、改变和等价物。因此，应当理解，所附权利要求旨在覆盖落入实施方式的范围内的所有这样的修改和改变。应当理解，它们仅作为示例而非限制地呈现，并且可以进行形式和细节的各种改变。除了相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合方式组合。本文描述的实施方式可以包括所述不同实施方式的功能、组件和/或特征的各种组合和/或子组合。

Claims (20)

1.一种用于控制与虚拟环境的用户交互的方法，包括：
在操作在周围环境中的头戴式显示器(HMD)设备中生成虚拟环境；
启动虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至少一个用户输入；
检测所述周围环境中的所述头戴式显示器的位置和定向中的至少一个；
基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入；
基于检测到所述姿势输入来检测所述虚拟会话的结束；以及
响应于检测到所述虚拟会话的结束，启动与所述至少一个用户输入相关的处理。
2.根据权利要求1所述的方法，其中基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入包括：
检测所述头戴式显示器的定向；
将检测到的所述头戴式显示器的定向与所述头戴式显示器的预设定向进行比较；以及
当基于该比较而确定出检测到的所述头戴式显示器的定向与所述头戴式显示器的所述预设定向相匹配达大于或等于设定时间量时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束对应。
3.根据权利要求2所述的方法，其中，所述头戴式显示器的所述预设定向与由所述用户穿戴的所述头戴式显示器的中心线的水平对准相对应。
4.根据权利要求1所述的方法，其中基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入包括：
检测所述头戴式显示器的所述位置和所述定向；以及
当基于所述头戴式显示器的所述位置和所述定向确定出所述头戴式显示器保持静止达大于或等于设定时间量时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束相对应。
5.根据权利要求1所述的方法，其中基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入包括：
检测所述头戴式显示器的所述位置；以及
当基于所述头戴式显示器的所述位置确定出所述头戴式显示器位于小于或等于距所述周围环境中的计算设备的预设距离时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束相对应，所述计算设备可操作地耦接到所述头戴式显示器并且在所述头戴式显示器外部。
6.根据权利要求1所述的方法，其中基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入包括：
检测所述头戴式显示器的所述位置；
基于所述头戴式显示器的所述位置检测所述头戴式显示器的移动路径；以及
当基于所述头戴式显示器的所述移动路径确定出所述头戴式显示器的所述移动路径与所述周围环境中的计算设备对准时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束对应，所述计算设备可操作地耦接到所述头戴式显示器并且在所述头戴式显示器外部。
7.根据权利要求6所述的方法，其中基于所述头戴式显示器的所述位置检测所述头戴式显示器的移动路径包括：
检测所述头戴式显示器的移动方向；
检测所述头戴式显示器的移动速度；以及
当所述头戴式显示器在检测到的移动方向上的所述移动速度大于或等于设定速度时，将所述姿势输入检测为与所述虚拟会话的所述结束相对应。
8.根据权利要求1所述的方法，其中启动与所述至少一个用户输入相关的处理包括：
在没有到计算设备的用户输入的情况下在所述周围环境中的所述计算设备处自动启动处理，所述计算设备可操作地耦接到所述头戴式显示器并且在所述头戴式显示器外部。
9.一种用于控制与虚拟环境的用户交互的系统，包括：
计算设备，所述计算设备被配置为生成虚拟现实环境，所述计算设备包括：
存储器，所述存储器存储可执行指令；以及
处理器，所述处理器被配置为执行所述指令以使所述计算设备：
在操作在周围环境中的头戴式显示器(HMD)设备中生成虚拟环境；
启动虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至少一个用户输入；
检测所述周围环境中的所述头戴式显示器的位置和定向中的至少一个；
基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入；
基于检测到所述姿势输入来检测所述虚拟会话的结束；以及
响应于检测到所述虚拟会话的结束，启动与所述至少一个用户输入相关的处理。
10.根据权利要求9所述的系统，其中，在基于所述头戴式显示器的所述位置和所述定向中的所述至少一个检测姿势输入中，所述指令使所述计算设备：
检测所述头戴式显示器的定向；
将检测到的所述头戴式显示器的定向与所述头戴式显示器的预设定向进行比较；以及
当基于该比较检测出检测到的所述头戴式显示器的定向与所述头戴式显示器的所述预设定向相匹配达大于或等于设定时间量时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束相对应。
11.根据权利要求10所述的系统，其中，所述头戴式显示器的所述预设定向与由所述用户穿戴的所述头戴式显示器的中心线的水平对准相对应。
12.根据权利要求9所述的系统，其中，在基于所述头戴式显示器的所述位置和所述定向中的所述至少一个检测姿势输入中，所述指令使所述计算设备：
检测所述头戴式显示器的所述位置和所述定向；以及
当基于所述头戴式显示器的所述位置和所述定向确定出所述头戴式显示器保持静止达大于或等于设定时间量时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束相对应。
13.根据权利要求9所述的系统，其中，在基于所述头戴式显示器的所述位置和所述定向中的所述至少一个检测姿势输入中，所述指令使所述计算设备：
检测所述头戴式显示器的所述位置；以及
当基于所述头戴式显示器的所述位置确定出所述头戴式显示器位于小于或等于距所述周围环境中的计算设备的设定距离时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束相对应，所述计算设备可操作地耦接到所述头戴式显示器并且在所述头戴式显示器外部。
14.根据权利要求9所述的系统，其中，在基于所述头戴式显示器的所述位置和所述定向中的所述至少一个检测姿势输入中，所述指令使所述计算设备：
检测所述头戴式显示器的所述位置；
基于所述头戴式显示器的所述位置检测所述头戴式显示器的移动路径；以及
当基于检测到的所述头戴式显示器的所述移动路径确定出检测到的所述头戴式显示器的所述移动路径与所述周围环境中的计算设备对准时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束相对应，所述计算设备可操作地耦接到所述头戴式显示器并且在所述头戴式显示器外部。
15.根据权利要求14所述的系统，其中，在基于所述头戴式显示器的所述位置检测所述头戴式显示器的移动路径时，所述指令使所述计算设备：
检测所述头戴式显示器的移动方向；
检测所述头戴式显示器的移动速度；以及
当所述头戴式显示器在检测到的移动方向上的所述移动速度大于或等于设定速度时，将所述姿势输入检测为与所述虚拟会话的所述结束相对应。
16.根据权利要求9所述的系统，其中，在启动与在所述虚拟会话期间接收到的所述至少一个用户输入相关的处理中，所述指令使计算设备：
在没有用户输入的情况下在所述周围环境中的所述计算设备处自动地启动处理，所述计算设备可操作地耦接到所述头戴式显示器并且在所述头戴式显示器外部。
17.一种包含指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时使所述处理器执行操作，所述操作包括：
在操作在周围环境中的头戴式显示器(HMD)设备中生成虚拟环境；
启动虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至少一个用户输入；
检测所述周围环境中的所述头戴式显示器的位置和定向；
基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入；
基于检测到所述姿势输入来检测所述虚拟会话的结束；以及
响应于检测到所述虚拟会话的结束，在所述周围环境中的计算设备处自动地启动与所述至少一个用户输入相关的处理，所述计算设备可操作地耦接到所述头戴式显示器并且在所述头戴式显示器外部。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入包括：
检测所述头戴式显示器的定向；
将检测到的所述头戴式显示器的定向与所述头戴式显示器的预设定向进行比较；以及
当基于检测到的所述头戴式显示器的定向确定出所述头戴式显示器被大致水平地定向达大于或等于设定时间量时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束相对应。
19.根据权利要求17所述的非暂时性计算机可读存储介质，其中基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入包括：
检测所述头戴式显示器的所述位置和所述定向；以及
当基于所述头戴式显示器的所述位置和所述定向确定出所述头戴式显示器保持静止达大于或等于设定时间量时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束相对应。
20.根据权利要求17所述的非暂时性计算机可读存储介质，其中基于所述头戴式显示器的所述位置和所述定向中的所述至少一个来检测姿势输入包括：
检测所述头戴式显示器的所述位置；以及
当基于所述头戴式显示器的检测到和跟踪到的位置确定出所述头戴式显示器位于小于或等于距所述计算设备的设定距离时，将所述姿势输入检测为与检测到所述虚拟会话的所述结束相对应。
CN201710915583.4A 2016-12-05 2017-09-30 增强现实环境和/或虚拟现实环境中的会话结束检测 Active CN108153409B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/369,478 US10055028B2 (en) 2016-12-05 2016-12-05 End of session detection in an augmented and/or virtual reality environment
US15/369,478 2016-12-05

Publications (2)

Publication Number Publication Date
CN108153409A CN108153409A (zh) 2018-06-12
CN108153409B true CN108153409B (zh) 2020-12-29

Family

ID=61912679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710915583.4A Active CN108153409B (zh) 2016-12-05 2017-09-30 增强现实环境和/或虚拟现实环境中的会话结束检测

Country Status (7)

Country Link
US (1) US10055028B2 (zh)
EP (1) EP3548995B1 (zh)
JP (1) JP6872613B2 (zh)
KR (1) KR102338835B1 (zh)
CN (1) CN108153409B (zh)
DE (1) DE202017105283U1 (zh)
WO (1) WO2018106298A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182274A (ja) 2016-03-29 2017-10-05 セイコーエプソン株式会社 情報処理装置およびコンピュータープログラム
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
JP7070547B2 (ja) * 2017-03-22 2022-05-18 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
US10621751B2 (en) 2017-06-16 2020-04-14 Seiko Epson Corporation Information processing device and computer program
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10970425B2 (en) 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
US10311833B1 (en) * 2018-03-27 2019-06-04 Seiko Epson Corporation Head-mounted display device and method of operating a display apparatus tracking an object
US11405913B2 (en) * 2019-03-08 2022-08-02 Facebook Technologies, Llc Latency reduction for artificial reality
CN118151761A (zh) * 2024-05-10 2024-06-07 同辉佳视（北京）信息技术股份有限公司 一种基于虚拟现实的数据处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
CN105377383A (zh) * 2013-06-07 2016-03-02 索尼电脑娱乐公司 在头戴式显示器上转变游戏过程
CN106125913A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及vr眼镜
CN106164993A (zh) * 2014-01-25 2016-11-23 索尼互动娱乐美国有限责任公司 头戴式显示器中的环境中断以及非视野不动产的利用

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1164780A (ja) * 1997-08-12 1999-03-05 Olympus Optical Co Ltd 頭部装着型映像表示装置
JP2004233903A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
JP2005070308A (ja) * 2003-08-22 2005-03-17 Matsushita Electric Ind Co Ltd 頭部装着型表示装置
JP4187768B2 (ja) * 2007-03-20 2008-11-26 株式会社コナミデジタルエンタテインメント ゲーム装置、進行制御方法、および、プログラム
US9292084B2 (en) 2009-10-13 2016-03-22 Intel Corporation Control systems and methods for head-mounted information systems
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
JP2015504616A (ja) 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
WO2014106823A2 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
JP2014170330A (ja) * 2013-03-02 2014-09-18 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法、仮想現実提示装置
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9256072B2 (en) 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9741169B1 (en) * 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10055018B2 (en) * 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
WO2016100931A1 (en) 2014-12-18 2016-06-23 Oculus Vr, Llc Method, system and device for navigating in a virtual reality environment
KR101693629B1 (ko) * 2014-12-19 2017-01-09 서울대학교산학협력단 로코모션 인터페이스 장치상에서 보행하는 보행자의 위치 추정 방법 및 장치
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9659411B2 (en) 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
JP2016153944A (ja) * 2015-02-20 2016-08-25 セイコーエプソン株式会社 表示装置、表示制御方法、表示制御プログラム
US9690374B2 (en) 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
KR101655792B1 (ko) * 2015-12-16 2016-09-08 삼성전자 주식회사 헤드 마운트 디스플레이 장치
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
WO2017222997A1 (en) * 2016-06-20 2017-12-28 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105377383A (zh) * 2013-06-07 2016-03-02 索尼电脑娱乐公司 在头戴式显示器上转变游戏过程
CN106164993A (zh) * 2014-01-25 2016-11-23 索尼互动娱乐美国有限责任公司 头戴式显示器中的环境中断以及非视野不动产的利用
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
CN106125913A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及vr眼镜

Also Published As

Publication number Publication date
JP6872613B2 (ja) 2021-05-19
WO2018106298A1 (en) 2018-06-14
EP3548995A4 (en) 2020-07-15
KR20190076028A (ko) 2019-07-01
EP3548995A1 (en) 2019-10-09
US10055028B2 (en) 2018-08-21
JP2020503595A (ja) 2020-01-30
KR102338835B1 (ko) 2021-12-13
CN108153409A (zh) 2018-06-12
EP3548995B1 (en) 2023-11-01
US20180157344A1 (en) 2018-06-07
DE202017105283U1 (de) 2018-03-27

Similar Documents

Publication Publication Date Title
CN108153409B (zh) 增强现实环境和/或虚拟现实环境中的会话结束检测
US10509487B2 (en) Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
EP3548988B1 (en) Switching of active objects in an augmented and/or virtual reality environment
CN109891367B (zh) 在增强和/或虚拟现实环境中使用手势生成虚拟符号表面
CN107667328B (zh) 用于在增强和/或虚拟现实环境中跟踪手持设备的系统
CN109643159B (zh) 在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象
CN108073276B (zh) 增强和/或虚拟现实环境的拖拽虚拟元件
US20170372499A1 (en) Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
US10976890B2 (en) Intelligent command batching in an augmented and/or virtual reality environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant