CN107667328B - 用于在增强和/或虚拟现实环境中跟踪手持设备的系统 - Google Patents

用于在增强和/或虚拟现实环境中跟踪手持设备的系统 Download PDF

Info

Publication number
CN107667328B
CN107667328B CN201680019787.3A CN201680019787A CN107667328B CN 107667328 B CN107667328 B CN 107667328B CN 201680019787 A CN201680019787 A CN 201680019787A CN 107667328 B CN107667328 B CN 107667328B
Authority
CN
China
Prior art keywords
electronic device
handheld electronic
head
handheld
front face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680019787.3A
Other languages
English (en)
Other versions
CN107667328A (zh
Inventor
陈世琦
拉胡尔·加尔格
克里斯蒂安·普拉格曼
多米尼克·菲利蒙·克泽尔
皮埃尔·若热尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107667328A publication Critical patent/CN107667328A/zh
Application granted granted Critical
Publication of CN107667328B publication Critical patent/CN107667328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在由诸如头戴式显示器的第二电子设备产生的虚拟现实环境中跟踪例如手持式电子设备的第一电子设备的系统，可以包括：将电子设备的传感器收集的数据与头戴式显示器的传感器收集的数据以及电子设备的前置相机收集的与头戴式显示器的前面相关的数据进行融合。

Description

用于在增强和/或虚拟现实环境中跟踪手持设备的系统
相关申请的交叉引用
本申请是2016年6月20日提交的美国申请号15/187,218的继续申请并且要求其优先权，美国申请号15/187,218要求2015年6月24日提交的美国申请号62/183,907的优先权，这些申请的公开以全文引用的方式并入到本文中。本申请要求2015年6月24日提交的美国申请No.62/183,907的优先权，该申请的公开以全文引用的方式并入到本文中。
技术领域
本发明总体而言涉及在增强和/或虚拟现实环境中的电子设备的检测和跟踪。
背景技术
增强现实(AR)和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式环境。用户可以通过与各种电子设备(例如，头盔或其它头戴式设备)交互来体验这种虚拟环境，这样的头盔或其它头戴式设备包括显示器、用户在观看显示设备时用来观看的眼镜或护目镜，配有传感器的手套，包括传感器的外部手持设备和其它这样的电子设备。一旦沉浸在虚拟环境中，用户与虚拟环境的交互可以采取各种形式，例如手持式电子设备和/或头戴式设备的物理移动和/或操纵以与虚拟环境交互、使虚拟环境个性化和控制虚拟环境。
发明内容
在一个方面，一种方法可以包括在周围环境中操作的第一电子设备的显示器上生成并显示虚拟环境，跟踪第二电子设备在周围环境中的移动，以及将第二电子环境的跟踪运动转换成由第一电子设备产生的虚拟环境中的对应动作。
在另一方面，一种系统可以包括头戴式电子设备，该头戴式电子设备包括：外壳；包括在外壳中的显示器和透镜；在外壳上的深度相机，并且深度相机被配置为收集与可操作地耦合到头戴式电子设备的手持式电子设备相关的位置数据；以及，控制第二电子设备的操作的处理器。头戴式电子设备可以被配置为从手持式电子设备接收与手持式电子设备的移动有关的加速度数据和取向数据，并且基于由深度相机收集的位置数据以及从手持式电子设备接收的加速度数据和取向数据确定手持式电子设备相对于头戴式电子设备的位置和移动。
在另一方面，非暂时计算机可读介质可以包含指令，指令当由被配置为头戴式显示设备的计算设备的处理器执行时，可以使计算设备：在周围环境中操作的头戴式显示设备显示器上生成并显示虚拟环境；跟踪在周围环境中操作的手持式电子设备的移动，手持式电子设备可操作地耦合到头戴式显示设备；并将手持式电子设备的跟踪移动转换成由头戴式显示设备产生的虚拟环境中的对应动作。
在附图和下面的描述中阐述了一个或多个实施方式的细节。从描述和附图以及权利要求中，其它特征将是显而易见的。
附图说明
图1是根据本文所描述的实施方式的包括头戴式显示器和手持式电子设备的虚拟现实系统的示例；
图2A和2B是根据本文所描述的实施方式的示例头戴式显示器的透视图；
图3是根据本文所描述的实施方式的头戴式显示器和手持式电子设备的框图；
图4是根据本文所描述的实施方式跟踪虚拟现实系统中的手持设备的方法的流程图；
图5A-5C和6A-6C示出了根据本文所描述的实施方式，在电子设备相对于HMD的不同位置处由电子设备的前置相机捕获的HMD的前面的视图；以及
图7是根据本文所描述的实施方式在虚拟现实系统中跟踪手持设备的方法的流程图。
图8示出了可以用于实施本文描述的技术的计算设备和移动计算设备的示例。
具体实施方式
佩戴例如头戴式显示器(HMD)设备、沉浸在增强和/或虚拟现实环境中的用户可以探索3D虚拟环境并通过与3D虚拟环境交互例如物理交互(例如，手/手臂姿势、头部移动、行走等)例)和/或操纵HMD和/或单独的电子设备来体验虚拟环境。例如，在一些实施方式中，HMD可以与手持式电子设备(例如，控制器、陀螺仪或其它这样的手持式电子设备)配对。与HMD配对的手持式电子设备的用户操纵可以允许用户与由HMD产生的虚拟环境中的特征进行交互。在一种系统和方法中，根据本文所描述的实施方式，由例如深度相机收集的数据与手持式电子设备的惯性测量单元(IMU)提供的数据的组合可允许系统重建和/或跟踪用户的手和/或手持式电子设备或控制器，或陀螺仪或电子设备，等在六自由度(6DOF)空间中的位置。
在图1所示的示例实施方式中，如图1所示，佩戴HMD100的用户在他的手142中抓握便携手持式电子设备102。如上所提到的，手持式电子设备102可以是例如用于虚拟环境中的控制器、陀螺仪等和其它电子设备，其被配置为与HMD 100可操作地耦合并与HMD 100通信，并且可以被检测和跟踪，使得可以检测和跟踪设备的六自由度位置和取向。在图1所示的示例中，用户正在右手中握住电子设备102。然而，用户也可以仅将电子设备102抓握在左手中或者左手和右手中，并且仍然与由HMD 100产生的沉浸式虚拟体验交互。
图2A和2B是示例HMD的透视图，例如图1中用户佩戴的HMD100，其生成并显示增强和/或虚拟现实环境。HMD 100可以包括其中可以接纳光学组件的外壳110。外壳110可以耦合，例如可旋转地耦合和/或可移除地附连到框架120，框架120允许外壳110被安装或佩戴在使用者的头部上。音频输出设备130还可以耦合到框架120，并且可以包括例如安装在头戴装备中并耦合在框架120上的扬声器。
在图2B中，外壳110的前面110a远离外壳110的基部110b旋转，使得接纳在外壳110中的一些组件可见。显示器140可以安装在外壳110的前面110a上。当前面110a处于抵靠外壳110的基部110a的闭合位置时，透镜150可以安装在外壳110中的安装结构155上，在用户的眼睛与显示器140之间。透镜150的位置可以通过调节装置158调节，使得透镜150可以与用户眼睛的相应光轴对准，以提供相对较宽的视野和较短的焦距。
HMD 100还可以包括感测系统160和控制系统170，感测系统160包括各种感测系统设备162至164，控制系统170包括各种控制系统设备171至176，以便于HMD 100的操作。控制系统170还可以包括处理器190，处理器190可操作地耦合到控制系统170的组件。
HMD 100还可以包括相机180，相机180可以捕获真实世界环境的静止和/或移动图像。在一些实施方式中，可以以透过模式在显示器140上向用户显示相机180捕获的图像，允许用户暂时离开虚拟环境并返回到真实世界，而不需要移除HMD 100或以其它方式改变HMD100的配置以将外壳110移动到用户的视线之外。
在一些实施方式中，相机180可以是例如深度相机，其可以确定从HMD 100上的相机180到例如抓握电子设备102的用户的手142的距离，并且可以基本实时地更新距离。在一些实施方式中，相机180(例如，如上文所描述的深度相机)也可以收集与相机视野内的对象相关的其它信息，例如与视野内捕获的对象相关的红外反射率、与视野内捕获的物体相关的红/绿/蓝(RGB)信息以及其它此类信息。在一些实施方式中，由于例如电子设备102的反射表面，特定的增强和/或虚拟现实环境中的照明条件等，相机180可能难以捕获电子设备102本身的准确图像。然而，使用电子设备102与由HMD100生成的虚拟环境交互的用户通常将电子设备102握在他/她的手142中。用户的手142可以相对一致地被深度相机检测到，这是由于相对一致的红外(IR)皮肤反应。通过深度相机检测用户皮肤的IR响应在HMD 100上的相机180与握在用户手142中的电子设备102之间的典型距离或范围内可能是特别准确的。
使用由深度相机收集的数据，用户的手142，以及通过延伸，由用户抓握的电子设备10，可以在3D维空间中被定位和/或跟踪。以这种方式确定在3D空间中抓握电子设备102的用户的手142的位置可以与由例如电子设备102的惯性测量单元(IMU)提供的取向数据(例如，可以在一个或多个信号中表示或编码取向数据)组合。由IMU提供的数据可以包括例如加速度计数据、陀螺仪数据和由电子设备102的其它传感器收集的其它取向数据，其可以基本上连续地由IMU收集。由深度相机收集的数据与由电子设备102的IMU提供的数据的融合或组合可以允许系统重建和/或跟踪用户的手142和电子设备102在六自由度(6DOF)空间所处的位置。以这种方式跟踪6DOF空间中的电子设备102可以将电子设备102的移动转换为由HMD 100生成并显示的虚拟环境中的所希望的交互。
用于跟踪增强和/或虚拟现实环境中的手持设备的系统的框图在图1中示出。系统300可以包括与第二用户电子设备202通信的第一用户电子设备200。第一用户电子设备200可以是例如如上关于图1和2所描述的HMD。如图2A和2B所示，生成要向用户显示的增强和/或虚拟现实环境，并且第二用户电子设备202可以是例如如上关于图1所描述的手持式电子设备，其便于用户与由HMD生成并显示的虚拟环境中的虚拟特征进行交互。例如，如上所描述，物理3D空间中的第二(手持)电子设备202的物理移动可以被转换成由第一(头戴式)电子设备200产生和显示的虚拟环境中的所希望的交互。
第一电子设备200可以包括感测系统260和控制系统270，感测系统260和控制系统270可以分别类似于图2A和图2B所示的感测系统160和控制系统170。在图1所示的示例中，感测系统260可以包括许多不同类型的传感器，包括例如图2A和2B所示的HMD 100中的光传感器162、距离/接近传感器163、音频传感器164以及其它传感器和/或不同传感器组合。在一些实施方式中，光传感器、图像传感器和音频传感器可以包括在一个组件中，例如诸如图2A和2B所示的HMD100的相机180的相机。控制系统270可以包括许多不同类型的设备，包括例如功率/暂停控制设备171、音频和视频控制设备172和173，光学控制设备274，过渡控制设备275以及其它这样的设备和/或不同设备的(一种或多种)组合。在一些实施方式中，感测系统260和/或控制系统270可以包括更多或更少的设备，这取决于特定的实施方式。包括在感测系统260和/或控制系统270中的元件可以具有例如在除图2A和2B所示的HMD 100之外的HMD内的不同物理布置(例如，不同的物理位置)。
第一电子设备200还可以包括与感测系统260和控制系统270通信的处理器290、可由例如控制系统270的模块访问的存储器280以及提供用于第一电子设备200与另一外部设备，例如与第一电子设备200配对的第二电子设备202，之间通信的通信模块250。
第二电子设备202可以包括通信模块206，通信模块206提供第二电子设备200与另一个外部设备，例如可操作地耦合到第二电子设备200或与第二电子设备配对的第一电子设备200，之间的通信。第二电子设备202可以包括感测系统204，感测系统204包括多个不同传感器。例如，在一些实施方式中，感测系统204可以包括IMU，IMU包括例如加速度计204A、陀螺仪204B以及其它传感器和/或不同传感器的(一种或多种)组合。处理器209可以与感测系统204和第二电子设备202的控制器205通信，控制器205访问存储器208并控制第二电子设备202的整体操作。
如上文所描述，在增强和/或虚拟现实系统中，用户可以使用手持式电子设备102的移动来与虚拟环境交互，例如使得由HMD100生成并显示的特征或元素在虚拟环境中的移动。例如，用户可以虚拟地抓握虚拟环境中的虚拟物品。利用与HMD 100配对的电子设备102和抓握在用户的手142中的电子设备102，系统可以基于抓握电子设备102用户的手142的位置来定位和/或跟踪电子设备102的6DOF移动。用户的手142的位置可以通过例如包括在HMD100中的深度相机检测，与由传感器提供的取向数据，例如由电子设备102的IMU提供的数据，组合。该系统可以将确定的现实环境中的电子设备102的地点/位置/取向/移动转换为虚拟世界环境中抓握的虚拟物品的相对应移动或与检测到的移动类型相对应的其它动作以及在虚拟环境中显示的虚拟对象、元素等，例如菜单操纵、对象选择、对象尺寸调整和放置等等。
根据本文所描述的实施方式，在增强和/或虚拟现实环境中跟踪手持式电子设备的方法400在图4中示出。如上所提到的，手持式电子设备可以是例如图1所示的电子设备102。电子设备102可以可操作地耦合到例如如图1和2A-2B所示的HMD 100或与其配对，被配置为生成并显示增强和/或虚拟现实环境。电子设备102可以例如经由有线连接，经由例如Wi-Fi或蓝牙的无线连接或其它类型的连接与HMD 100配对和/或与HMD 100通信。在HMD100和电子设备102已经在框410被激活并配对并且已经在框420启动了沉浸式增强和/或虚拟现实体验之后，数据收集和数据合成可以由HMD 100和电子设备102进行以定位和/或跟踪电子设备102的位置和/或移动，并将电子设备102的移动转换(例如，关联，表示)到虚拟环境中的对应交互。
在框430，HMD 100的传感器，例如包括在相机180中的传感器，特别是HMD 100的深度相机，可以收集与用户的手在运用该系统的物理3D空间中的位置有关的数据。如上所描述，由于皮肤的相对一致的IR响应，用户的手142可被深度相机检测到。深度相机可以基本上连续地(或周期性地或随机地)收集与抓握电子设备102的用户的手142的位置有关的数据。在一些实施方式中，可以假定用户的手142相对于电子设备102的位置保持相对一致，使得由深度相机收集的手位置/距离数据可以一致地转换为由手142抓握的电子设备102的位置/距离。
在框440和450，电子设备102可以从电子设备102的传感器收集数据，例如由电子设备102的IMU的加速度计收集的移动/加速度数据和/或由电子设备102的IMU的陀螺仪收集的取向数据和/或由IMU和/或电子设备102的其它传感器收集的其它数据，并且可以将收集的数据发送到HMD 100。在一些实施方式中，电子设备102可以基本上连续地收集这些数据，并且将这些数据基本上连续地发送到HMD 100。在一些实施方式中，在框430处由HMD100执行的深度相机数据的收集以及在框440和450处IMU数据的收集和从电子设备102到HMD 100传输可以同时执行。
由HMD 100的深度相机收集的3D位置数据以及由电子设备102的IMU收集并发送到HMD 100的加速度和/或取向数据可以在框460处由HMD 100处理，并且确定的电子设备102的移动可以在框470处被转换成由HMD100生成的虚拟环境中的对应交互。例如，可以比较在当前时间点获取的位置和移动和/或取向数据与在先前时间点的位置和移动和/或取向数据，以确定在连续地收集、处理和/或合成数据时连续更新的移动轨迹。
可以重复执行该过程，直到在框480确定虚拟沉浸式体验已终止。
在根据本文描述的实施方式的系统和方法中，手持式个人电子设备(例如智能电话、陀螺仪、控制器等)可以在增强和/或虚拟现实环境被定位和/或跟踪，而不需要使用设施中用于检测和/或跟踪该设备的专门装备，或仅用于与虚拟现实系统一起使用的定制设备。
在另一个实施方式中，来自手持设备的传感器数据，例如由如上所描述的电子设备的IMU收集的加速度计和陀螺仪数据，与例如由电子设备的能够捕获HMD的图像的相机收集的图像数据一起，可以用来减少或简化用于从6DOF空间到3D空间相对于HMD定位和/或跟踪电子设备的搜索空间。当电子设备被抓握在用户的一只手或双手中时，可以通过将搜索空间离散到用户的手臂/手相对于HMD的在一定程度上有限的运动或运动范围内来进一步减小搜索空间。
例如，如图1所示，电子设备102可以被抓握在用户的手142中，其中HMD 100处于电子设备102的前置相机103的视野内。使用HMD 100的图像，例如由电子设备102的前置相机捕获的图像，和来自电子设备102的IMU的数据，与HMD 100的IMU数据一起，可以减少用于定位和/或跟踪电子设备102的搜索区域，因此降低复杂性和计算负荷，并且可以有效地定位和/或跟踪电子设备102相对于HMD 100的移动。
HMD 100和电子设备102的示例取向以及由电子设备102的前置相机103观看的HMD100的前面的图像在图5A-5C和图6A-6C中示出。为了便于讨论和说明，图5A-5C和图6A-6C所示的示例HMD 100的前面100A基本上是矩形的。然而，根据HMD的具体实施方式，HMD 100的前面可以具有各种不同的形状。在一些实施方式中，HMD的前面100A的形状可以是电子设备102已知的，例如，由于HMD 100与电子设备102配对，在一些实施方式中，HMD的前面100A的形状可以由电子设备102在初始化过程中例如通过以下方式确定，在电子设备102相对于HMD 100的已知取向捕获电子设备102的前面100A的初始图像，将电子设备102的前面100A直接抵靠HMD100的前面100A定位以建立平行取向，然后以离前面100A已知的距离，同时沿着HMD100的前面100A的平行平面取向时捕获HMD100的前面100A的图像，以及其它这样的方式。
在图5A和5B中，HMD100的电子设备102和前面100A被间隔开并且沿着平行的竖直平面取向，电子设备102的前面102A面向HMD100的前面100A，并且电子设备102的前置相机103基本上正交于HMD 100的前面100A来观察HMD100的前面。在图5A和图5B所示的HMD100和电子设备102的布置中，电子设备102的前置相机103捕获的HMD100的前面100A的视图如图5C所示。如图5C所示，由于HMD 100和电子设备102被取向为间隔开并且沿着平行的竖直平面，所以由前置相机103捕获的HMD 100的前面100A的图像也基本上是矩形的。
在图如图6A和6B所示，电子设备102与HMD100的前面100A间隔开已知距离，但是在图6B中，电子设备102已被旋转，使得电子设备102现在相对于图5B所示的竖直平面定位成角度α。在这种布置中，HMD100的大致矩形的前面100A的图像现在是梯形的，如图6C所示，这是由于电子设备102的取向的改变以及电子设备102的前置相机103相对于HMD100的前面100A的视角/位置/距离的变化。
在图5A-5C和6A-6C所示的布置中，HMD100的前面100A与电子设备102的前面102A之间的已知距离(电子设备102的前置相机103从该距离观看HMD100的前面100A)可以相对一致，因为电子设备102被抓握在用户的手142中。例如，HMD 100的前面100A与电子设备102的前面102A之间的已知距离可以在一定程度上落在受到例如用户臂的长度限制的范围内。
在一些实施方式中，电子设备102相对于HMD 100的角位置也可以变化。也就是说，在图5A-5B和6A-6B所示的取向中，电子设备102基本上直接面向HMD 100。然而，当用户移动电子设备102时，例如为了在由HMD 100产生的虚拟浸入体验中进行交互，电子设备102的位置可以偏移并且不与HMD 100的前面100A平行对准。在这种情况下，电子设备102相对于HMD100的角度取向的范围可能在一定程度上受到用户的手臂长度和用户手臂的运动范围限制。
一旦HMD100的前面100A的形状被电子设备102知道，无论是通过初始化，配对还是其它方式，如上文所描述，由电子设备的前置相机103捕获的图像102可以被检查并与已知的形状进行比较。通过将已知的形状与电子设备102的前置相机103所看到的形状进行比较，电子设备102可以基于由相机103观看的HMD100的前面100A的形状的变换来确定电子设备102相对于HMD 100的位置。
在一些实施方式中，为了便于图像的快速处理以及基于由相机103捕获的图像来连续地确定和更新位置和/或移动，系统(例如，电子设备102)可以构建层级或金字塔，或一组模板，其基本上包括例如在已知距离(例如基于抓握电子设备102的用户手臂的长度来限定)下HMD 100的基本上所有可能视图，以及已知的角位置范围(例如，基于抓握电子设备102的用户臂的运动范围来限定)。电子设备102可以将相机103的视野内捕获的HMD100的前面100A的形状与该图像集合进行比较，以确定电子设备102相对于HMD 100的位置。由于该过程基本上连续地执行，因此连续顺序位置可以限定电子设备102的移动。
HMD 100的各种传感器，例如包括例如加速度计和陀螺仪的HMD100的IMU，可提供HMD 100在其中系统被接纳和操作的空间中的绝对旋转。类似地，电子设备102的各种传感器，例如包括例如加速度计和陀螺仪的电子设备102的IMU，可以提供电子设备102在其中系统被接纳和操作的空间中的绝对旋转。在一些实施方式中，来自HMD 100的IMU的旋转数据可以被发送到电子设备102。来自HMD 100的旋转数据可以与来自电子设备102的IMU的旋转数据和电子设备102相对于HMD 100的位置数据(基于由电子设备102的前置相机103捕获的HMD100的前面的图像)组合。这种组合数据可以例如由电子设备102处理以确定电子设备102与HMD 100的相对位置/旋转/移动。由于旋转数据基本上连续地从HMD 100传送到电子设备102，并且电子设备102的旋转数据和HMD 100的前面的图像数据由电子设备102基本上连续地收集并被电子设备102处理，因此电子设备102的移动可以被确定、跟踪并将发送回HMD 100，其中移动被转换成由HMD 100产生的虚拟浸入式体验中的相对应的交互。
据本文广泛描述的实施方式，在虚拟现实系统中跟踪手持式电子设备的移动的方法700在图7中示出。如上文所提及，手持式电子设备可以是例如包括如图1、图5A-5C和6A-6C所示的前置相机103的电子设备102。电子设备102可以与例如如图1和图2A-2B、图5A-5C和图6A-6C所示的HMD 100配对，被配置为产生沉浸式虚拟环境。电子设备102可以例如经由有线连接、通过例如Wi-Fi或蓝牙的无线连接或其它类型的连接与HMD 100配对和/或与HMD100通信。如上文所提及，在一些实施方式中，配对可以包括例如在框720初始化电子设备102和HMD 100以建立HMD 100的前面100A的形状，以便与由电子设备的前置相机103所捕获的图像比较。如上文所提及，在一些实施方式中，配对还可以包括从HMD 100的前面100A的已知图像和/或形状、HMD 100与电子设备102之间的已知距离，和/或电子设备102相对于HMD 100的已知运动范围建立多个模板。
在框710和720处激活、配对和初始化HMD 100和电子设备102以及在框730已经启动沉浸式虚拟现实体验之后，数据收集和数据合成可以如上文所描述由HMD 100和电子设备102执行，以定位和跟踪电子设备102的位置和移动，并将电子设备102的移动转换为虚拟环境中的对应交互。
电子设备102的传感器，例如包括在前置相机103中的传感器，可以在框740处收集与HMD 100的前面100A的图像有关的数据。HMD100的前面100A的前置相机的视图可以与HMD100的前面100A的已知形状，以及与基于已知形状、HMD 100与电子设备102之间的已知距离、以及电子设备102相对于HMD 100的角度位置的已知范围呈现和存储的各种位置处的各种形状进行比较，以确定电子设备102相对于HMD 100的当前位置。
在框750，HMD 100可以使用例如HMD 100的加速度计和陀螺仪来收集HMD 100的加速度和/或取向数据，并且在框750处发送到电子设备102。在框760处，电子设备102可以使用例如电子设备102的加速度计和陀螺仪来收集电子设备102的加速度和取向数据。在一些实施方式中，可以同时并基本上连续地完成框740、750和760处的数据收集。
在框770，HMD加速度和取向数据、电子设备加速度和取向数据以及电子设备3D位置数据可由电子设备102处理，并且在框780处所确定的电子设备102的移动可被转换为由HMD产生的虚拟环境中的对应交互。例如，可以将在当前时间点取得的位置和移动和/或取向数据与位于前一时间点处的位置和移动和/或取向数据进行比较，以确定随着数据被连续收集、处理和/或合成而不断更新的运动轨迹。
可以重复执行该过程，直到在框790确定虚拟沉浸式体验已终止。
在如本文所实施和广泛描述的系统和方法中，可以在虚拟现实环境中定位和跟踪诸如电子设备的手持式个人电子设备，而不需要使用设施中的专用装备检测并跟踪设备，或者仅用于虚拟现实系统的定制设备。
图8示出了可以与这里描述的技术一起使用的计算机设备800和移动计算机设备850的示例。计算设备800包括处理器802、存储器804、存储设备806、连接到存储器804的高速接口808和高速扩展端口810，以及连接到低速总线814和存储设备806的低速接口812。组件802、804、806、808、810和812中的每一个使用各种总线互连，并且可以适当地安装在公共主板上或以其它方式安装。处理器802可以处理在计算设备800内执行的指令，包括存储在存储器804中或存储设备806上的指令，以在外部输入/输出设备诸如耦合到高速接口808的显示器816上显示GUI的图形信息。在其它实施方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和类型的存储器。此外，可以连接多个计算设备800，每个设备提供必要操作的一部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器804在计算设备800内存储信息。在一个实施方式中，存储器804是一个或多个易失性存储器单元。在另一实施方式中，存储器804是一个或多个非易失性存储器单元。存储器804还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
存储设备806能够为计算设备800提供大容量存储。在一个实施方式中，存储设备806可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备，闪存或其它类似的固态存储设备，或设备阵列，包括存储区域网络或其它配置的设备。计算机程序产品可以有形地实现在信息载体中。计算机程序产品还可以包含指令，当被执行时，执行一个或多个方法，例如上述的方法。信息载体是诸如存储器804，存储设备806或处理器802上的存储器的计算机或机器可读介质。
高速控制器808管理计算设备800的带宽密集型操作，而低速控制器812管理较低带宽密集型操作。功能的这种分配仅是示例性的。在一个实施方式中，高速控制器808耦合到存储器804、显示器816(例如，通过图形处理器或加速器)以及可接受各种扩展卡(未示出)的高速扩展端口810。在实施方式中，低速控制器812耦合到存储设备806和低速扩展端口814。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦合到一个或多个输入/输出设备，例如键盘，指示设备，扫描仪或诸如交换机或路由器的网络设备，例如通过网络适配器。
计算设备800可以以多种不同的形式来实现，如图所示。例如，它可以被实施为标准服务器820，或者在一组这样的服务器中多次实施。它也可以被实施为机架服务器系统824的一部分。此外，它可以在诸如膝上型计算机822的个人计算机中实施。或者，来自计算设备800的组件可以与移动设备诸如设备850中的其它组件(未示出)组合。这些设备中的每一个可以包含计算设备800、850中的一个或多个，并且整个系统可以由彼此通信的多个计算设备800、850组成。
计算设备850包括处理器852，存储器864，诸如显示器854之类的输入/输出设备，通信接口866和收发器868以及其它组件。设备850还可以设置有诸如微驱动器或其它设备等存储设备，以提供额外的存储。组件850、852、864、854、866和868中的每一个使用各种总线互连，并且若干组件可以适当地安装在公共主板上或以其它方式安装。
处理器852可以执行计算设备850内的指令，包括存储在存储器864中的指令。处理器可以被实施为包括单独的和多个模拟和数字处理器的芯片的芯片组。例如，处理器可以提供例如用于设备850的其它组件的协调，诸如控制用户界面，由设备850运行的应用以及设备850的无线通信。
处理器852可以通过耦合到显示器854的控制接口858和显示接口856与用户通信。显示器854可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它适当的显示技术。显示接口856可以包括用于驱动显示器854以向用户呈现图形和其它信息的适当电路。控制接口858可以从用户接收命令并将它们转换提交给处理器852。此外，可以提供与处理器852通信的外部接口862，以便能够允许设备850与其它设备进行近区域通信。外部接口862可以提供例如在一些实施方式中用于有线通信或者在其它实施方式中用于无线通信，并且还可以使用多个接口。
存储器864将信息存储在计算设备850内。存储器864可以被实施为计算机可读介质或介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一个或多个。扩展存储器874还可以通过扩展接口872来提供并且连接到设备850，扩展接口872可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器874可以为设备850提供额外的存储空间，或者也可以存储用于设备850的应用或其它信息。具体来说，扩展存储器874可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器874可以被提供为用于设备850的安全模块，并且可以用允许设备850安全使用的指令来编程。此外，可以经由SIMM卡以及附加信息来提供安全应用，例如以不可攻击的方式将识别信息放置在SIMM卡上。
存储器可以包括例如闪存和/或NVRAM存储器，如下文所讨论。在一个实施方式中，计算机程序产品被有形地实现在信息载体中。计算机程序产品包含指令，当被执行时，实行一种或多种方法，例如上述的方法。信息载体是可以例如通过收发机868或外部接口862接收的计算机或机器可读介质，诸如存储器864，扩展存储器874或处理器852上的存储器。
设备850可以通过通信接口866进行无线通信，通信接口866可以在必要时包括数字信号处理电路。通信接口866可以提供诸如GSM语音呼叫，SMS、EMS或MMS消息，CDMA，TDMA，PDC，WCDMA，CDMA2000或GPRS等各种模式或协议的通信。这种通信可以例如通过射频收发机868发生。此外，可能会发生短距离通信，例如使用蓝牙、Wi-Fi或其它此类收发器(未示出)。此外，GPS(全球定位系统)接收机模块870可以向设备850提供附加的导航和位置相关的无线数据，这些数据可以由在设备850上运行的应用适当地使用。
设备850还可以使用音频编解码器860可听地通信，音频编解码器860可以从用户接收口语信息并将其转换为可用的数字信息。音频编解码器860也可以例如通过扬声器(例如，在设备850的手机中)为用户产生可听见的声音。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息，音乐文件，等等)，并且还可以包括在设备850上操作的应用产生的声音。
计算设备850可以以多种不同的形式来实现，如图所示。例如，它可以被实施为蜂窝电话880。它也可以被实施为智能电话882、个人数字助理或其它类似移动设备的一部分。
这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，可编程系统包括可以是特殊或通用目的的至少一个可编程处理器，其被耦合以从和向存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及发送数据以及指令。
这些计算机程序(也称为程序，软件，软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级进程和/或面向对象的编程语言和/或汇编/机器语言实施。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，其用于向可编程处理器提供机器指令和/或数据，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，这里描述的系统和技术可以在计算机上实施，计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以向计算机提供输入的键盘和指点设备(例如，鼠标或跟踪球)。也可以使用其它类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
这里描述的系统和技术可以在计算系统中实施，计算系统包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器))，或者包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过图形用户界面或Web浏览器与本文描述的系统和技术的实施方式进行交互)，或者包括这种后端、中间件或前端组件的任何组合。系统的组件可以通过数字数据通信(例如，通信网络)的任何形式或介质来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端与服务器之间的关系是由于各自计算机上运行的计算机程序和彼此之间的客户端-服务器关系而产生的。
在一些实施方式中，图8所示的计算设备8可以包括与虚拟现实(VR头戴装备/HMD设备890)形成接口连接的传感器。例如，包括在计算设备850或图8中描绘的其它计算设备上的一个或多个传感器可以为VR头戴装备890提供输入，或者一般来说，可为VR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物测定传感器、温度传感器、湿度传感器和环境光传感器。计算设备850可以使用传感器来确定VR空间中的计算设备的绝对位置和/或检测到的旋转，然后可以将其用作VR空间的输入。例如，计算设备850可以作为虚拟对象(例如控制器、激光指示器、键盘、武器等)并入到VR空间中。在计算设备/虚拟对象并入VR空间时由用户对计算设备/虚拟对象的定位可以允许用户定位计算设备，以便以VR空间中的某些方式查看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户可以就像实际的激光指示器那样操作计算设备。用户可以将计算设备左右移动，上下移动到一个圆圈等中，并以与使用激光指示器相似的方式使用该设备。
在一些实施方式中，包括在计算设备850上或连接到计算设备850的一个或多个输入设备可以用作VR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、指点设备、鼠标、跟踪球、操纵杆、相机、麦克风、具有输入功能的耳机或耳塞、游戏控制器或其它可连接的输入设备。当计算设备被并入到VR空间中时，与包括在计算设备850中的输入设备交互的用户可以在VR空间中引起特定动作。
在一些实施方式中，可以使计算设备850的触摸屏被渲染为VR空间中的触摸板。用户可以与计算设备850的触摸屏进行交互。例如，在VR头戴装备890中交互被渲染为在VR空间中渲染的触摸板上的移动。渲染的动作可以控制VR空间中的虚拟对象。
在一些实施方式中，包括在计算设备850上的一个或多个输出设备可以向VR空间中的VR头戴装备890的用户提供输出和/或反馈。输出和反馈可以是视觉、触觉或音频。输出和/或反馈可以包括但不限于振动，一个或多个灯或闪光灯接通和断开或闪烁和/或闪光、发出警报、播放铃声、播放歌曲和播放一个音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。
在一些实施方式中，计算设备850可以在计算机生成的3D环境中显示为另一个对象。用户与计算设备850的交互(例如，旋转，摇动，对触摸屏进行触摸，在触摸屏上滑动手指)可以被解释为与VR空间中的对象交互。在VR空间中的激光指示器的示例中，计算设备850在计算机生成的3D环境中显示为虚拟激光指示器。当用户操纵计算设备850时，VR空间中的用户看到激光指示器移动。用户在计算设备850或VR头戴装备890上的VR环境中接收与计算设备850交互的反馈。
在一些实施方式中，计算设备850可以包括触摸屏。例如，用户可以以特定的方式与触摸屏交互，这可以利用VR空间中发生的情况来模仿在触摸屏上发生的情况。例如，用户可以使用捏型运动来缩放显示在触摸屏上的内容。触摸屏上的这种捏型运动可以使VR空间中提供的信息缩放。在另一示例中，计算设备可以在计算机生成的3D环境中渲染为虚拟书。在VR空间中，可以在VR空间中显示该书的页面，并且可以将触摸屏上用户的手指滑动解释为翻转/翻过虚拟书的页面。当每个页面被翻转/翻过时，除了看到页面内容改变之外，用户可以被提供音频反馈，例如在书中翻页的声音。
在一些实施方式中，除了计算设备之外的一个或多个输入设备(例如，鼠标、键盘)可以在计算机生成的3D环境中渲染。渲染的输入设备(例如，渲染的鼠标，渲染的键盘)可以用于在VR空间中渲染以控制VR空间中的对象。
计算设备800旨在表示各种形式的数字计算机和设备，包括但不限于笔记本电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当的计算机。计算设备850旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算设备。这里所示的组件，它们的连接和关系以及它们的功能仅仅是示例性的，并不意味着限制本文中描述和/或要求保护的发明的实施方式。
已经描述了许多实施例。然而，应当理解，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。
此外，附图中描绘的逻辑流程不需要所示的特定次序或以顺序次序来实现期望的结果。此外，可以从所描述的流程中提供其它步骤，或者可以从所描述的流程中消除步骤，并且可以将其它组件添加到所描述的系统中或从所描述的系统中移除。因此，其它实施例在所附权利要求的范围内。
虽然所描述的实施方式的某些特征已经如本文所描述的那样被示出，但是本领域技术人员现在将会想到许多修改、替换、改变和等效物。因此，应当理解，所附权利要求旨在涵盖属于实施方式范围内的所有这样的修改和改变。应当理解，它们仅以示例的方式给出，而没有限制意义，并且可以进行形式和细节的各种改变。除了相互排斥的组合之外，本文描述的设备和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。
根据示例性实施例，提供了一种用于在由第二电子设备例如头戴式显示器产生的虚拟现实环境中跟踪第一电子设备诸如手持式电子设备的系统，可以包括融合由具有由电子设备的传感器收集的数据与头戴式显示器的传感器收集的数据以及由与头戴式显示器的前面相关的电子设备的前置相机收集的数据。
在下文中总结了另外的示例，另外的示例限定构成本申请主体的一部分的实施例并且可以是权利要求的范围的一部分。
示例1：一种方法，包括：在周围环境中操作的第一电子设备的显示器上生成并显示虚拟环境；基于第二电子设备相对于第一电子设备的位置数据，以及由第二电子设备的传感器收集的取向数据，在周围环境中跟踪第二电子设备的移动；以及，将第二电子环境的跟踪移动转换为由第一电子设备生成的虚拟环境中的对应动作。
示例2：根据示例1所述的方法，其中，跟踪第二电子设备的移动包括：基于由第一电子设备的深度相机收集的数据来收集第二电子设备相对于第一电子设备的位置数据；以及，在第一电子设备处接收由第二电子设备的加速度计检测到的第二电子设备的加速度数据和由第一电子设备的陀螺仪检测到的第二电子设备的取向数据。
实施例3：根据示例2所述的方法，其中，跟踪第二电子设备的移动还包括：由第一电子设备将由第一电子设备的深度相机收集的位置数据与从第二电子设备接收的加速度数据和取向数据组合，以确定第二电子设备的当前位置、加速度和取向；以及，将第二电子设备的当前位置、加速度和取向与第二电子设备的先前位置、加速度和取向进行比较，以跟踪第二电子设备的移动。
示例4：根据示例3所述的方法，其中，第一电子设备是头戴式显示设备，并且第二电子设备是可操作地耦合到头戴式显示设备的手持式控制器。
示例5：根据示例2至4中任一个所述的方法，其中，基于由深度相机收集的数据来收集与第二电子设备相关的位置数据包括：基于对由深度相机产生的红外信号的响应来收集与第二电子设备相关的位置数据。
示例6：根据示例1至5中任一个所述的方法，其中，跟踪第二电子设备的移动包括：初始化第一电子设备的前面与第二电子设备的前面之间的位置并捕获第一电子设备的前面的初始图像；利用第二电子设备的前置相机捕获第一电子设备的前面的图像；将第一电子设备的前面的捕获图像与第一电子设备的前面的初始图像进行比较；以及，基于该比较，确定第二电子设备相对于第一电子设备的位置和取向。
示例7：根据示例6所述的方法，其中，将第一电子设备的前面的捕获图像与第一电子设备的前面的初始图像进行比较包括：将在初始图像中检测到的第一电子设备的初始轮廓与捕获图像中检测到的第一电子设备的当前轮廓进行比较；以及，基于该比较，确定第二电子设备相对于第一电子设备的位置变化或取向变化中的至少一个。
示例8：根据示例6或7所述的方法，其中，跟踪第二电子设备的移动还包括：由第一电子设备的处理器将第二电子设备相对于第一电子设备的确定的位置与来自第二电子设备的加速度计的第二电子设备的加速度数据和来自第二电子设备的陀螺仪的第二电子设备的取向数据相结合，确定第二电子设备的当前位置、加速度和取向；以及，将第二电子设备的当前位置、加速度和取向与第二电子设备的先前位置、加速度和取向进行比较，以跟踪第二电子设备的移动。
示例9：根据示例1至8中任一个所述的方法，其中，跟踪第二电子设备的移动包括：初始化第一电子设备的前面与第二电子设备的前面之间的位置并捕获第二电子设备的前面的初始图像；利用第一电子设备的相机捕获第二电子设备的前面的图像；将第二电子设备的前面的捕获图像与第二电子设备的前面的初始图像进行比较；以及，基于该比较，确定第二电子设备相对于第一电子设备的位置和取向。
示例10：根据示例9所述的方法，其中，将第二电子设备的前面的捕获图像与第二电子设备的前面的初始图像进行比较包括：将在初始图像中检测到的第二电子设备的初始轮廓与捕获图像中检测到的第二电子设备的当前轮廓进行比较；以及，基于该比较，确定第二电子设备相对于第一电子设备的位置变化或取向的变化中的至少一个。
示例11：一种系统，包括头戴式电子设备，该头戴式电子设备包括：外壳；包括在外壳中的显示器和透镜；在外壳上的深度相机，并被配置为收集与可操作地耦合到头戴式电子设备的手持式电子设备相关的位置数据；以及，控制第二电子设备的操作的处理器，其中头戴式电子设备被配置为从手持式电子设备接收与手持式电子设备的移动相关的加速度数据和取向数据，并且基于由深度相机收集的位置数据以及从手持式电子设备接收的加速度数据和取向数据来确定手持式电子设备相对于头戴式电子设备的位置和移动。
示例12：根据示例11所述的系统，其中，处理器被配置为将手持式电子设备的当前位置、加速度和取向与手持式电子设备的先前位置、加速度和取向进行比较，并且基于比较来跟踪手持式电子设备的移动。
示例13：根据示例11或12所述的系统，其中，处理器被配置为：将由手持式电子设备捕获的头戴式电子设备的前面的初始图像与由手持式电子设备捕获的头戴式电子设备的前面的当前图像进行比较，以及，基于该比较来确定手持式电子设备相对于头戴式电子设备的位置和取向。
示例14：根据示例13所述的系统，其中，在将头戴式显示设备的前面的捕获图像与头戴式电子设备的前面的初始图像进行比较时，处理器被配置为：将在初始图像中检测到的头戴式电子设备的初始轮廓与在捕获的图像中检测到的头戴式电子设备的当前轮廓进行比较；以及，基于该比较，确定手持式电子设备相对于头戴式电子设备的位置变化或取向的变化中的至少一个。
示例15：根据示例11至14中任一个所述的系统，其中，处理器被配置为：将由头戴式电子设备捕获的手持式电子设备的前面的初始图像与由头戴式电子设备捕获的手持式电子设备的前面的当前图像进行比较，以及，基于该比较来确定手持式电子设备相对于头戴式电子设备的位置和取向。
示例16：根据示例15所述的系统，其中，在将手持式电子设备的前面的捕获图像与手持式电子设备的前面的初始图像进行比较时，处理器被配置为：将在初始图像中检测到的手持式电子设备的初始轮廓与捕获图像中检测到的手持式电子设备的当前轮廓进行比较；以及，基于该比较，确定手持式电子设备相对于头戴式电子设备的位置变化或取向变化中的至少一个。
17.根据示例11至16中任一个所述的系统，其中，由深度相机收集的位置数据包括对由深度相机产生的红外信号的响应。
示例18：一种包含指令的非暂时计算机可读介质，指令当被配置为头戴式显示设备的计算设备的处理器执行时，使得计算设备：在周围环境中操作的头戴式显示设备的显示器上生成并显示虚拟环境；跟踪在周围环境中操作的手持式电子设备的移动，手持式电子设备可操作地耦合到头戴式显示设备；以及，将手持式电子设备的跟踪移动转换成由头戴式显示设备产生的虚拟环境中的对应动作。
示例19：根据示例18所述的非暂时计算机可读介质，其中，在跟踪手持设备的移动中，指令还使得计算设备：捕获头戴式显示设备的前面的初始图像；利用手持式电子设备的前置相机捕获头戴式显示设备的前面的当前图像；将头戴式显示设备的前面的捕获图像与头戴式显示设备的前面的初始图像进行比较；以及，基于该比较，确定手持式电子设备相对于头戴式显示设备的位置和取向。
示例20：根据示例18或19所述的非暂时计算机可读介质，其中，在跟踪手持设备的移动时，指令进一步使计算设备：基于由头戴式显示设备的深度相机收集的数据，收集与手持式电子设备相关的位置数据；以及，在头戴式显示设备处接收由手持式电子设备的加速度计检测到的手持式电子设备的加速度数据和由手持式电子设备的陀螺仪检测到的手持式电子设备的取向数据。
示例21：根据权利要求18至20所述的非暂时计算机可读介质，其中，指令还使得计算设备：将手持式电子设备相对于头戴式显示设备的确定的位置与手持式电子设备的加速度数据和手持式电子设备的取向数据相结合，以确定手持式电子设备的当前位置、加速度和取向；以及，将手持式电子设备的当前位置、加速度和取向与手持式电子设备的先前位置、加速度和取向进行比较，以跟踪第二电子设备的移动。

Claims (15)

1.一种在虚拟环境中跟踪手持电子设备的方法，包括：
在周围环境中操作的头戴式电子设备的显示器上生成并显示虚拟环境；
在所述周围环境中跟踪手持式电子设备的移动，包括：
由所述头戴式电子设备的深度相机生成红外信号；
基于对由所述头戴式电子设备的所述深度相机生成的所述红外信号的响应，由所述头戴式电子设备收集所述手持式电子设备相对于所述头戴式电子设备的位置数据；
收集由所述手持式电子设备的相机捕获的、表征所述头戴式电子设备的图像数据；
由所述头戴式电子设备接收由所述手持式电子设备的加速度计收集的所述手持式电子设备的加速度数据和由所述手持式电子设备的陀螺仪收集的所述手持式电子设备的取向数据；以及
由所述头戴式电子设备处理所述位置数据、所述加速度数据和所述取向数据以确定所述手持式电子设备的六自由度6DOF位置，包括使用所述图像数据以减少用于相对于所述头戴式电子设备定位所述手持式电子设备的搜索空间；以及
将所述手持式电子设备的跟踪移动转换为由所述头戴式电子设备显示的所述虚拟环境中的对应动作。
2.根据权利要求1所述的方法，其中，由所述头戴式电子设备处理所述位置数据、所述加速度数据和所述取向数据以确定所述手持式电子设备的所述6DOF位置包括：
由所述头戴式电子设备将由所述头戴式电子设备的所述深度相机收集的所述位置数据与从所述手持式电子设备接收的所述加速度数据和所述取向数据组合，以确定所述手持式电子设备的当前位置、当前加速度和当前取向；以及
将所述手持式电子设备的所述当前位置、所述当前加速度和所述当前取向分别与所述手持式电子设备的先前位置、先前加速度和先前取向进行比较，以跟踪所述手持式电子设备的移动。
3.根据权利要求2所述的方法，其中，所述手持式电子设备是可操作地耦合到所述头戴式电子设备的手持式控制器。
4.根据权利要求1所述的方法，其中，跟踪所述手持式电子设备的移动包括：
初始化所述头戴式电子设备的前面与所述手持式电子设备的前面之间的位置，并捕获所述头戴式电子设备的前面的初始图像；
利用所述手持式电子设备的前置相机捕获所述头戴式电子设备的前面的当前图像；
将所述头戴式电子设备的前面的所述当前图像与所述头戴式电子设备的前面的所述初始图像进行比较；以及
基于所述比较，确定所述手持式电子设备相对于所述头戴式电子设备的位置和取向。
5.根据权利要求4所述的方法，其中，将所述头戴式电子设备的前面的所述当前图像与所述头戴式电子设备的前面的所述初始图像进行比较包括：
将在所述初始图像中检测到的所述头戴式电子设备的初始轮廓与在所述当前图像中检测到的所述头戴式电子设备的当前轮廓进行比较；以及
基于所述比较，确定所述手持式电子设备相对于所述头戴式电子设备的位置变化或取向变化中的至少一个。
6.根据权利要求4所述的方法，其中，跟踪所述手持式电子设备的移动还包括：
由所述头戴式电子设备的处理器将所述手持式电子设备相对于所述头戴式电子设备的所确定的位置与来自所述手持式电子设备的加速度计的所述手持式电子设备的加速度数据和来自所述手持式电子设备的陀螺仪的所述手持式电子设备的取向数据相结合，以确定所述手持式电子设备的当前位置、加速度和取向；以及
将所述手持式电子设备的所述当前位置、加速度和取向与所述手持式电子设备的先前位置、加速度和取向进行比较，以跟踪所述手持式电子设备的移动。
7.根据权利要求1所述的方法，其中，跟踪所述手持式电子设备的移动包括：
初始化所述头戴式电子设备的前面与所述手持式电子设备的前面之间的位置，并捕获所述手持式电子设备的前面的初始图像；
利用所述头戴式电子设备的相机捕获所述手持式电子设备的前面的当前图像；
将所述手持式电子设备的前面的所述当前图像与所述手持式电子设备的前面的所述初始图像进行比较；以及
基于所述比较，确定所述手持式电子设备相对于所述头戴式电子设备的位置和取向。
8.根据权利要求7所述的方法，其中，将所述手持式电子设备的前面的所述当前图像与所述手持式电子设备的前面的所述初始图像进行比较包括：
将在所述初始图像中检测到的所述手持式电子设备的初始轮廓与在所述当前图像中检测到的所述手持式电子设备的当前轮廓进行比较；以及
基于所述比较，确定所述手持式电子设备相对于所述头戴式电子设备的位置变化或取向的变化中的至少一个。
9.一种跟踪手持电子设备的系统，包括：
头戴式电子设备，包括：
外壳；
包括在所述外壳中的显示器和透镜；
深度相机，所述深度相机在所述外壳上，其中所述深度相机被配置为生成红外信号，并且基于对由所述头戴式电子设备的所述深度相机生成的所述红外信号的响应，收集与可操作地耦合到所述头戴式电子设备的手持式电子设备相关的位置数据；以及
控制所述头戴式电子设备的操作的处理器，
其中，所述头戴式电子设备被配置为：
从所述手持式电子设备接收由所述手持式电子设备的相机捕获的、表征所述头戴式电子设备的图像数据；
从所述手持式电子设备接收与所述手持式电子设备的移动相关的由所述手持式电子设备的加速度计收集的加速度数据和由所述手持式电子设备的陀螺仪收集的取向数据，并且
处理由所述深度相机收集的所述位置数据以及从所述手持式电子设备接收的所述加速度数据和所述取向数据以确定所述手持式电子设备的六自由度6DOF位置，包括使用从所述手持式电子设备接收的所述图像数据以减少用于相对于所述头戴式电子设备定位所述手持式电子设备的搜索空间。
10.根据权利要求9所述的系统，其中，所述处理器被配置为：将所述手持式电子设备的当前位置、当前加速度和当前取向分别与所述手持式电子设备的先前位置、先前加速度和先前取向进行比较，并且基于所述比较来跟踪所述手持式电子设备的移动。
11.根据权利要求9所述的系统，其中，所述处理器被配置为：
将由所述手持式电子设备捕获的所述头戴式电子设备的前面的初始图像与由所述手持式电子设备捕获的所述头戴式电子设备的前面的当前图像进行比较，以及
基于所述比较，确定所述手持式电子设备相对于所述头戴式电子设备的位置和取向。
12.根据权利要求11所述的系统，其中，在将所述头戴式电子设备的前面的所述捕获图像与所述头戴式电子设备的前面的所述初始图像进行比较时，所述处理器被配置为：
将在所述初始图像中检测到的所述头戴式电子设备的初始轮廓与在所述捕获图像中检测到的所述头戴式电子设备的当前轮廓进行比较；以及
基于所述比较，确定所述手持式电子设备相对于所述头戴式电子设备的位置变化或取向的变化中的至少一个。
13.根据权利要求9所述的系统，其中，所述处理器被配置为：
将由所述头戴式电子设备捕获的所述手持式电子设备的前面的初始图像与由所述头戴式电子设备捕获的所述手持式电子设备的前面的当前图像进行比较，以及
基于所述比较，确定所述手持式电子设备相对于所述头戴式电子设备的位置和取向。
14.根据权利要求13所述的系统，其中，在将所述手持式电子设备的前面的所述捕获图像与所述手持式电子设备的前面的所述初始图像进行比较时，所述处理器被配置为：
将在所述初始图像中检测到的所述手持式电子设备的初始轮廓与所述捕获图像中检测到的所述手持式电子设备的当前轮廓进行比较；以及
基于所述比较，确定所述手持式电子设备相对于所述头戴式电子设备的位置变化或取向变化中的至少一个。
15.一种包含指令的非暂时计算机可读介质，所述指令当由被配置为头戴式显示设备的计算设备的处理器执行时，使得所述计算设备执行权利要求1至8中的任一项所述的方法。
CN201680019787.3A 2015-06-24 2016-06-21 用于在增强和/或虚拟现实环境中跟踪手持设备的系统 Active CN107667328B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562183907P 2015-06-24 2015-06-24
US62/183,907 2015-06-24
US15/187,218 2016-06-20
US15/187,218 US20160378204A1 (en) 2015-06-24 2016-06-20 System for tracking a handheld device in an augmented and/or virtual reality environment
PCT/US2016/038540 WO2016209819A1 (en) 2015-06-24 2016-06-21 System for tracking a handheld device in an augmented and/or virtual reality environment

Publications (2)

Publication Number Publication Date
CN107667328A CN107667328A (zh) 2018-02-06
CN107667328B true CN107667328B (zh) 2021-04-13

Family

ID=56497840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019787.3A Active CN107667328B (zh) 2015-06-24 2016-06-21 用于在增强和/或虚拟现实环境中跟踪手持设备的系统

Country Status (4)

Country Link
US (1) US20160378204A1 (zh)
EP (1) EP3314371B1 (zh)
CN (1) CN107667328B (zh)
WO (1) WO2016209819A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
EP2998849A4 (en) * 2013-05-15 2017-01-25 Sony Corporation Display control device, display control method, and recording medium
US10545345B2 (en) * 2015-12-30 2020-01-28 Shenzhen Royole Technologies Co., Ltd. Head-mounted display device with function of touch input and touch control method thereof
CN107019915B (zh) * 2016-02-01 2018-09-07 腾讯科技（深圳）有限公司 一种确定移动轨迹的方法、用户设备及系统
US10067636B2 (en) * 2016-02-09 2018-09-04 Unity IPR ApS Systems and methods for a virtual reality editor
JP6709633B2 (ja) * 2016-02-17 2020-06-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びゲームシステム
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
CN106998461A (zh) * 2017-04-06 2017-08-01 深圳市魔眼科技有限公司 一种头戴显示系统
CN106998462A (zh) * 2017-04-06 2017-08-01 深圳市魔眼科技有限公司 一种头戴显示系统
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10540006B2 (en) 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
CN106990851B (zh) * 2017-05-24 2023-04-25 北京无远弗届科技有限公司 虚拟现实手持组件及其制作方法、虚拟现实交互系统
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
US10852847B2 (en) * 2017-07-26 2020-12-01 Google Llc Controller tracking for multiple degrees of freedom
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
US10521011B2 (en) 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US10509464B2 (en) 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
EP4212222A1 (en) * 2018-03-07 2023-07-19 Magic Leap, Inc. Visual tracking of peripheral devices
US10740924B2 (en) * 2018-04-16 2020-08-11 Microsoft Technology Licensing, Llc Tracking pose of handheld object
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
CN108632373B (zh) * 2018-05-09 2021-11-30 方超 设备控制方法和系统
CN110488489B (zh) * 2018-05-15 2022-10-11 苹果公司 用于头戴式壳体的眼睛登记
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
US11100713B2 (en) 2018-08-17 2021-08-24 Disney Enterprises, Inc. System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
US11189054B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Localization and mapping using images from multiple devices
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
CN113454989A (zh) * 2019-02-15 2021-09-28 欧克斯赛特有限公司 头戴式显示设备
US11749018B1 (en) 2019-05-28 2023-09-05 Apple Inc. Eye enrollment for head-mounted enclosure
US11009964B2 (en) * 2019-06-06 2021-05-18 Finch Technologies Ltd. Length calibration for computer models of users to generate inputs for computer systems
US11030459B2 (en) * 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US11189059B2 (en) * 2019-07-17 2021-11-30 Apple Inc. Object tracking for head-mounted devices
CN110456905A (zh) * 2019-07-23 2019-11-15 广东虚拟现实科技有限公司 定位跟踪方法、装置、系统及电子设备
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
US20220308659A1 (en) * 2021-03-23 2022-09-29 Htc Corporation Method for interacting with virtual environment, electronic device, and computer readable storage medium
EP4338146A1 (en) * 2021-05-11 2024-03-20 Axon Enterprise, Inc. Equipment detection using a wearable device
US20240280817A1 (en) * 2023-02-17 2024-08-22 Apple Inc. Tunable Lens in an Electronic Device Controlled Using a Paired Electronic Device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104483753A (zh) * 2014-12-04 2015-04-01 上海交通大学 自配准透射式头戴显示设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372926B2 (ja) * 1999-03-26 2003-02-04 キヤノン株式会社 ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US9667954B2 (en) * 2006-10-13 2017-05-30 Apple Inc. Enhanced image display in head-mounted displays
WO2008091857A1 (en) * 2007-01-22 2008-07-31 Bell Helicopter Textron, Inc. System and method for controlling a virtual reality environment by an actor in the virtual reality environment
US20150156196A1 (en) * 2012-07-31 2015-06-04 Intellectual Discovery Co., Ltd. Wearable electronic device and method for controlling same
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
US20160292922A1 (en) * 2013-05-21 2016-10-06 Sony Corporation Display control device, display control method, and recording medium
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
WO2014204330A1 (en) * 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
CN103877726B (zh) * 2014-04-10 2017-09-26 北京蚁视科技有限公司 一种虚拟现实组件系统
CN104618712A (zh) * 2015-02-13 2015-05-13 北京维阿时代科技有限公司 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104483753A (zh) * 2014-12-04 2015-04-01 上海交通大学 自配准透射式头戴显示设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于增强现实的室内漫游系统;翁冬冬等;《光学技术》;20060831;第32卷;第261-265页 *

Also Published As

Publication number Publication date
CN107667328A (zh) 2018-02-06
EP3314371B1 (en) 2019-11-20
US20160378204A1 (en) 2016-12-29
WO2016209819A1 (en) 2016-12-29
EP3314371A1 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
CN107667328B (zh) 用于在增强和/或虚拟现实环境中跟踪手持设备的系统
CN109643159B (zh) 在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象
US11181986B2 (en) Context-sensitive hand interaction
US10083544B2 (en) System for tracking a handheld device in virtual reality
CN109074149B (zh) 用于增强或虚拟现实环境的头戴式参考系中的对象跟踪
CN109074154B (zh) 增强和/或虚拟现实中的悬停触摸输入补偿
CN108153409B (zh) 增强现实环境和/或虚拟现实环境中的会话结束检测
US10976890B2 (en) Intelligent command batching in an augmented and/or virtual reality environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant