CN109313497A - 用于六自由度混合现实输入的惯性控制器的模块化扩展 - Google Patents

用于六自由度混合现实输入的惯性控制器的模块化扩展 Download PDF

Info

Publication number
CN109313497A
CN109313497A CN201780035517.6A CN201780035517A CN109313497A CN 109313497 A CN109313497 A CN 109313497A CN 201780035517 A CN201780035517 A CN 201780035517A CN 109313497 A CN109313497 A CN 109313497A
Authority
CN
China
Prior art keywords
controller
clamping device
optical reflection
shell
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780035517.6A
Other languages
English (en)
Other versions
CN109313497B (zh
Inventor
A·O·巴兰
C·杜鲁
C·D·埃德蒙兹
M·J·费诺齐奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109313497A publication Critical patent/CN109313497A/zh
Application granted granted Critical
Publication of CN109313497B publication Critical patent/CN109313497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种模块化夹持装置，用于选择性地耦合到采用轻薄形状因子的提供被动光学和惯性跟踪的无线手持惯性控制器，以用于与头戴式显示器一起使用，该头戴式显示器通过将(i)从位于头戴式显示器中的前向深度相机得到的与控制器的位置相关的数据与(ii)从位于控制器中的惯性测量单元得到的与控制器的取向相关的数据进行融合来以六个自由度进行操作。

Description

用于六自由度混合现实输入的惯性控制器的模块化扩展
背景技术
混合现实是在显示器中允许虚拟图像与真实世界物理环境混合的技术。用于混合现实的系统可以包括例如透视头戴式显示(HMD)设备或者具有内置相机的智能电话。这样的系统通常包括处理单元，该处理单元在一个或多个应用的控制下提供图像。也可以使用HMD和其他设备来支持其中没有真实世界对象可观察的全虚拟现实环境。
这样的系统还可以包括一个或多个无线手持惯性控制器，系统的用户能够操纵该一个或多个无线手持惯性控制器以与HMD交互并向HMD提供用户输入，包括但不限于控制和移动虚拟游标、选择、移动和旋转对象、滚动、等等。
提供本背景技术以介绍后续发明内容和具体实施方式的简要上下文。本背景技术既不旨在作为确定所要求保护的主题的范围中的辅助，也不旨在被视为将所要求保护的主题限制于解决以上呈现的缺点或问题中的任何或全部缺点或问题的实施方式。另外，本文中要求保护的主题不限于解决任何缺点或仅仅操作于例如以上描述的那些环境的环境中的实施例。相反，该背景仅仅被提供以说明本文中描述的一些实施例可以在其中被实践的一个示例性技术领域。
发明内容
本发明涉及一种模块化夹持装置，其用于选择性地耦合到采用轻薄形状因子的提供被动光学和惯性跟踪的无线手持惯性控制器(下文有时被称为“控制器”)，以用于与HMD一起使用，该HMD通过将(i)从位于HMD中的前向深度相机得到的与控制器的位置相关的数据与(ii)从位于控制器中的惯性测量单元(IMU)得到的与控制器的取向相关的数据进行融合来以六个自由度(6DOF)进行操作。
在一个实施例中，装置可以包括：壳体，其具有第一端和第二端；在壳体的第一端处或靠近第一端的第一光学反射标记；在壳体的第二端处或靠近第二端的第二光学反射标记；以及在壳体上位于第一光学反射标记和第二光学反射标记之间的对接部分，该对接部分具有与手持控制器的大小和形状互补的大小和形状，并且被配置为将手持控制器以相对于第一光学反射标记和第二光学反射标记的固定空间关系选择性地耦合到夹持装置。
提供本发明内容从而以简化的形式介绍下面在具体实施方式中进一步描述的一系列概念。本发明内容不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在用作确定要求保护的主题的范围的辅助。
附加的特征和优点将被阐述在后续描述中，并且部分将从描述显而易见，或者可以通过对本文中的教导的实践来习得。本发明的特征和优点可以借助于在所附权利要求中特别指出的装置和组合来被实现和获得。本发明的特征将从下面的描述和所附权利要求变得更完整地显而易见，或者可以通过对如在后文中阐述的本发明的实践来习得。
附图说明
为了描述能够获得以上所述的优点和特征以及其他优点和特征的方式，将通过参考在附图中图示的特定实施例来呈现以上简要描述的主题的更具体的描述。在理解这些附图仅仅描绘典型实施例并且因此不被认为是在范围上的限制的情况下，将通过对附图的使用中利用附加的特异性和细节来描述并解释实施例，在附图中：
图1是头戴式虚拟或增强现实显示器的一个实施例的示意性表示。
图2是微软全息眼镜的一个实施例的一般透视绘制。
图3是微软全息眼镜的一个实施例的分解透视绘制，其进一步图示立体视觉显示系统的一个实施例。
图4是微软全息眼镜的一个实施例的一般透视绘制，其进一步图示光学传感器系统的一个实施例。
图5是微软全息眼镜的一个实施例的一般透视绘制，其进一步图示控制器板和相关的板上处理器的一个实施例。
图6是无线手持惯性控制器的一个实施例的透视绘制。
图7是图示无线手持惯性控制器的一个实施例的基本部件的功能框图。
图8是增强现实显示器的一个实施例的可能视场的一个示例的图形表示。
图9是用于与无线手持惯性控制器一起使用的模块化夹持装置的一个实施例的透视图。
图10是用于与无线手持惯性控制器一起使用的模块化夹持装置的另一实施例的透视图。
具体实施方式
下面阐述的是本申请中所公开和/或要求保护的装置和系统能够在其中被实现的代表性环境的概述。然而，应当清楚地理解和认识到，这样的描述仅仅被提供作为一个代表性环境的示例，并且本文描述的发明可以容易地适应其他HMD设备以及AR和VR系统/环境，以及其他传统计算环境和系统，包括其他常规显示设备。
图1示意性地图示了HMD设备10的示例。图2-5是微软全息眼镜的图示，其表示HMD的一个最近实施例。
参考图1-5，总体上，HMD设备10采取可穿戴眼镜或护目镜的形式，但是将认识到其他形式是可能的。HMD设备10可以以增强现实配置被配置为呈现增强现实环境，并且因此可以包括至少部分透视立体视觉显示器12，其可以被配置为视觉地增强由用户通过至少部分透视立体视觉显示器12观察到的物理环境的外观。在一些示例中，至少部分透视立体视觉显示器12可以包括透明(例如，光学清晰)的一个或多个区域，并且可以包括不透明或半透明的一个或多个区域。在其他示例中，至少部分透视立体视觉显示器12可以跨立体视觉显示器12的整个可用显示表面是透明的(例如，光学清晰的)。备选地，HMD设备10可以以虚拟现实配置被配置为呈现全虚拟现实环境，并且因此立体视觉显示器12可以是非透视立体视觉显示器。HMD设备10可以被配置为经由非透视立体视觉显示器向用户显示虚拟三维环境。HMD设备10可以被配置为显示虚拟表示，诸如在用户前面的可以包括附加虚拟对象的对物理环境的三维图形绘制，或者可以被配置为显示物理环境的相机捕获的图像，以及包括被叠加在相机捕获的图像上的虚拟游标的附加虚拟对象。
例如，HMD设备10可以包括图像产生系统14，其被配置为利用立体视觉显示器12向用户显示虚拟对象。在关于至少部分透视显示器的增强现实配置中，虚拟对象被视觉地叠加到通过显示器可见的物理环境上以便在各种深度和位置处被感知到。在虚拟现实配置中，图像产生系统14可以被配置为利用非透视立体视觉显示器向用户显示虚拟对象，使得虚拟对象在相对于彼此的各种深度和位置处被感知到。在一个实施例中，HMD设备10可以使用立体视觉以通过向用户的两只眼睛显示虚拟对象的分离图像来将虚拟对象虚拟地放置在期望深度处。使用该立体视觉技术，HMD设备10可以控制虚拟对象的显示的图像，使得用户将感知到虚拟对象存在于所查看的物理环境中的期望深度和位置处。在一个示例中，虚拟对象可以是被显示给用户的虚拟游标，使得虚拟游标对用户而言看起来像位于虚拟三维环境中的期望位置处。在增强现实配置中，虚拟对象可以是被显示给用户的全息游标，使得全息游标对用户而言看起来像位于真实世界物理环境中的期望位置处。
HMD设备10包括光学传感器系统16，其可以包括一个或多个光学传感器。在一个示例中，光学传感器系统16包括面向外部的光学传感器18，其可以被配置为从如由用户通过至少部分透视立体视觉显示器12观察到的类似有利位置(例如，视线)检测真实世界背景。光学传感器系统16可以附加地包括面向内部的光学传感器20，其可以被配置为检测用户的眼睛的注视方向。将认识到，对外光学传感器18可以包括一个或多个分量传感器，包括RGB相机和深度相机。RGB相机可以是高清相机或具有另一分辨率。深度相机可以被配置为投影不可见光(诸如红外(IR)辐射)，并且捕获所投影的光的反射，并且基于此来生成包括针对图像中的每个像素的测量到的深度数据的图像。如果需要，则该深度数据可以与来自由RGB相机捕获的图像数据的颜色信息组合成包括颜色数据和深度数据两者的单个图像表示。在虚拟现实配置中，由光学传感器系统16捕获的颜色和深度数据可以用于执行表面重建并且生成可以经由显示器12被显示给用户的真实世界背景的虚拟模型。备选地，由光学传感器系统16捕获的图像数据可以在显示器12上作为图像数据被直接地呈现给用户。
HMD设备10还可以包括位置传感器系统22，其可以包括一个或多个位置传感器，诸如包含3轴加速度计、3轴陀螺仪和/或磁力计的一个或多个惯性测量单元(IMU)，全球定位系统，多点定位跟踪器，和/或输出可用作相关传感器的位置、取向和/或移动的位置传感器信息的其他传感器。
从光学传感器系统16接收的光学传感器信息和/或从位置传感器系统22接收的位置传感器信息可以用于评估HMD设备10的有利位置相对于其他环境对象的位置和取向。在一些实施例中，有利位置的位置和取向可以用六个自由度(例如，世界空间X、Y、Z(θpitch、θyaw和θroll))来表征。有利位置可以被全局地或者独立于真实世界背景来表征。位置和/或取向可以利用板上计算系统(例如，板上计算系统24)和/或板外计算系统来确定。通常，位于板上HMD设备10上的所有传感器的参考系被工厂对准和校准为解析相对于世界空间的六个自由度。
另外，光学传感器信息和位置传感器信息可以由计算系统用于执行对真实世界背景的分析，诸如深度分析、表面重建、环境颜色和照明分析、或者其他适合的操作。具体地，光学传感器信息和位置传感器信息可以用于创建真实世界背景的虚拟模型。在一些实施例中，有利位置的位置和取向可以相对于该虚拟空间被表征。此外，虚拟模型可以用于确定虚拟空间中的虚拟对象的位置并且添加要在真实世界内的期望深度和位置处被显示给用户的附加虚拟对象。
附加地，从光学传感器系统16接收的光学传感器信息可以用于标识并跟踪光学传感器系统16的视场中的对象。例如，由光学传感器系统16捕获的深度数据可以用于标识并跟踪用户的手的运动。所跟踪的运动可以包括用户的手在三维空间中的移动，并且可以用六个自由度(例如，世界空间X、Y、Z(θpitch、θyaw和θroll))来表征。所跟踪的运动还可以用于标识并跟踪由用户的手做出的手势。例如，一个可标识的手势可以是向上或向下移动食指。将认识到，其他方法可以用于标识并跟踪用户的手的运动。例如，光学标签可以被放置在用户的手或者由用户佩戴的手套上的已知位置处，并且该光学标签可以通过由光学传感器系统16捕获的图像数据来被跟踪。
将认识到，以下示例和方法可以被应用于HMD设备10的虚拟现实和增强现实配置两者。在虚拟现实配置中，HMD设备10的显示器12是非透视显示器，并且三维环境是被显示给用户的虚拟环境。虚拟环境可以是基于由HMD设备10的光学传感器系统16对真实世界背景捕获的图像数据而生成的虚拟模型。
微软全息眼镜。
HMD的一个示例是微软全息眼镜，其是一对混合现实头戴式智能眼镜。全息眼镜具有透视全息透镜，其使用高级光学投影系统来生成具有很低延时的多维全色全息图，因此用户能够看见真实世界设置中的全息对象。
位于全息眼镜前面的是传感器和相关硬件，包括相机和处理器。全息眼镜还包含惯性测量单元(IMU)，其包括加速度计、陀螺仪、以及磁力计，四个“环境理解”传感器，具有120°×120°视角的高能效深度相机，前向2.4百万像素摄影视频摄像机，四个麦克风阵列，以及环境光传感器。全息眼镜包含高级传感器以捕获关于用户正在做什么和用户所处的环境的信息。内置相机还使得用户能够记录(混合现实捕获(MRC))周围世界中的全息图的HD图片和视频以与其他人共享。
在护目镜内包封的是一对透明组合透镜，其中投影的图像被显示在下半部分中。全息眼镜必须被校准到瞳孔间距(IPD)或者用户的适应的视力。
沿着被定位在用户的耳朵附近的侧面的底边是一对小的3D音频扬声器。扬声器不会阻塞外部声音，从而允许用户听到虚拟声音以及环境。使用头部相关的传递函数，全息眼镜生成双耳音频，其可以模拟空间效应；意味着用户可以虚拟地感知并定位声音，如同其正来自虚拟精确点或位置。
在顶边上是两对按钮：在左耳上面的显示亮度按钮，以及在右耳上面的音量按钮。相邻按钮被不同地成形——一凹、一凸——使得用户能够通过触摸来区分它们。
在左臂的端处是电源按钮和一排五个小的个体LED节点，这些LED节点用于指示系统状态以及用于功率管理，从而指示电池水平并设置通电/待机模式。USB 2.0micro-B插座沿着底边被定位。3.5mm音频插孔沿着右臂的底边被定位。
除了中央处理单元(CPU)和图形处理单元(GPU)，全息眼镜的特征还在于定制的微软全息处理单元(HPU)，其是专门为全息眼镜制造的协同处理器。HPU的主要目的是处理并集成来自传感器的数据，以及处理诸如空间映射、姿势识别以及声音和语音识别的任务。HPU处理实时数据中来自全息眼镜的传感器的兆兆字节级别的信息。
全息眼镜的透镜使用光波导以跨三个不同层来着蓝色、绿色和红色，每个具有衍射特征。在每个组合透镜上面的光引擎将光投射到透镜中，波长然后击中衍射元件并且沿着波导被重复地反射直到其被输出到眼睛。类似于许多其他光学头戴式显示器的显示投影，针对全息眼镜的显示投影占据用户的视场(FOV)的有限部分，特别是与虚拟现实头戴式显示器相比，其通常覆盖大得多的视场。
全息眼镜包含内部可充电电池，但是能够在充电的同时被操作。全息眼镜的特征还在于IEEE 802.11ac Wi-Fi和蓝牙4.1低功耗(LE)无线连接性。
利用全息眼镜，用户可以利用姿势来创建并形成全息图，使用语音命令与应用通信，并且利用扫视、手势、控制器和/或其他定点设备进行导航。全息眼镜理解手势、注视和语音，从而使得用户能够以可能的最自然的方式进行交互。利用空间声音，全息眼镜合成声音，使得用户能够听到来自房间中的任何地方的全息图，即使它们在用户后面。
关于全息眼镜的附加细节被提供在于2014年7月25日提交的题为“Head MountedDisplay Apparatus”的美国专利申请序列号No.62/029,351中。
如以上所提到的，全息眼镜包括深度相机，其能够检测位于深度相机的FOV内的对象的3D位置。深度相机如何确切地完成这样的检测的技术细节对于本领域技术人员而言是已知的，但是对于本公开不是必须的。一言以蔽之，深度相机能够在逐像素的基础上精确地检测物理对象上的每个点在相机的视场内的确切3D位置。当全息眼镜使用深度相机时，立体视觉光学器件也可以用于经由三角测量法来检测对象与HMD的距离以及这样的对象在3D空间中的位置。在任一事件中，这样的传感器可以检测位于FOV内的真实对象相对于HMD的3D位置(x、y和z坐标)。在控制器的情况下，HMD的深度相机可以用于检测控制器相对于HMD的3D位置。
无线手持控制器。
如先前所提到的，全息眼镜具有跟踪用户的手在空间中的移动并且标识和解释各种手部姿态、姿势和移动以操纵AR空间中的虚拟对象的能力。关于手部跟踪、手势标识、分类和识别和/或手部姿态识别、分类和识别的附加细节被提供在于2010年12月21日提交的题为“Skeletal Control of Three-Dimensional Virtual World”的美国专利申请序列号No.12/975,086、于2011年12月15日提交的题为“Problem States for Pose TrackingPipeline”的美国专利申请序列号No.13/327,098、于2013年8月5日提交的题为“Two-HandInteraction with Natural User Interface”的美国专利申请序列号No.13/959,555、和/或于2015年6月24日提交的题为“Contextual Cursor Display Based on Hand Tracking”的美国专利申请序列号No.14/748,646中。
然而，关于手部跟踪和姿势识别的挑战之一在于它们可能要求相对高水平的处理开销。为了减少这样的开销，可能有用的是提供能够与HMD通信并且允许操纵AR空间中的对象的无线手持控制器。例如，在全息眼镜的情况下，头戴式耳机使用蓝牙LE来与被称为“点击器”的无线手持惯性控制器配对，无线手持惯性控制器是拇指大小的手指操纵的输入设备，其可以用于使得用户能够选择、滚动、保持和双击以与增强现实空间内的虚拟对象交互。
通常，当点击器被首先通电时，其通常经由预定无线协议(通常经由蓝牙配对)建立与全息眼镜的连接。一旦连接被建立，点击器被全息眼镜指派独特控制器ID。以这种方式，从特定点击器接收的所有取向数据和用户输入能够专门地与该控制器相关联。
参考图6和图7，控制器40可以包括板上微控制器42、它自己的IMU 44、通信电台46、可充电电池(未示出)、以及一个或多个状态LED 48。IMU通常包括3轴加速度计和3轴陀螺仪，并且还可以包括磁力计。从IMU得到的用户输入和取向数据(俯仰、偏航和滚动)可以由微控制器42经由无线电台46无线地传达到HMD 10的CPU。控制器40还可以包括用于由用户选择性激活以控制虚拟游标和/或以各种方式(诸如例如，选择、移动、旋转、滚动、等等)操纵虚拟对象的一个或多个瞬时开关48。控制器40还可以包括(用于保持设备的)弹性手指环和用于对内部电池进行充电的USB 2.0 Micro-B插座。
从加速度计和陀螺仪，IMU 44可以检测控制器40的取向，但是仅仅具有三个自由度，即，俯仰(仰角)、偏航(方位角)和滚动(旋转)。因为加速度计可以检测重力向量，所以控制器40的参考系的垂直轴被容易地标识和对准。类似地，IMU 44的陀螺仪可以容易地检测水平面，并且因此水平面被容易地标识和对准。如果IMU 44还包括磁力计，则磁北极能够被容易地标识，并且控制器40的参考系可以被向北对准。如果HMD 10的IMU和控制器40的IMU44两者都包括磁力计，则控制器40的参考系将与HMD的参考系(遭受某些小变化/偏移和漂移，其能够随时间被校正)被自动地对准。
如果控制器40的IMU 44不包括磁力计，则IMU 44在其上电时任意地指派x轴并且然后连续地跟踪从该初始参考系的方位变化(水平面中的角度旋转)。在这种情况下，控制器40的参考系将需要与HMD的参考系对准或被校准到HMD的参考系，如下面更详细地讨论的。
在这一点上，值得重复的是，全息眼镜和点击器的前述描述仅仅被提供作为本文所公开和/或要求保护的系统和方法能够在其中被实现的系统和环境的示例。本文描述的发明能够容易地适应其他HMD设备以及AR和VR系统/环境，以及其他传统计算系统和环境，包括其他常规显示设备。
图8图示由用户26佩戴的HMD设备10的增强现实配置，其在至少部分透视立体视觉显示器12上显示了游标(游标在该示例中是全息游标28)以便看起来像处于三维环境32中的位置30处。在图8中示出的特定示例中，三维环境32是真实世界中的房间，并且全息游标28被显示在至少部分透视立体视觉显示器上，使得全息游标28对用户26而言看起来像是在位置30处悬停在房间的中间。将认识到，针对全息游标28的位置30可以基于各种适合的方法来被计算。例如，位置30可以基于相对于用户26的预定距离和取向(诸如，作为一个特定示例，在用户26前面的两英尺处)来被计算。
作为另一非限制性示例，位置30可以基于检测到的注视方向34和与检测到的注视方向相交的识别的对象来被计算。在该示例中，所识别的对象可以是三维环境中的真实对象。该示例被图示在图8中，其中所识别的对象是作为用作三维环境32的房间的一部分的墙壁36。因此，墙壁36与用户26的检测到的注视方向34之间的交叉点可以用于计算针对全息游标28的位置30。进一步确保全息游标28被显示给用户26可以是有利的，使得全息游标28容易对用户26可见。例如，为了增加可见性，全息游标28的位置30可以被放置在远离所识别的对象的阈值距离处，以防止全息游标28被所识别的对象的任何突出物遮挡。附加地，基于与用户26的检测到的注视方向34正交的平面来进一步计算全息游标28的位置30可以是有利的。通过将全息游标28的位置30放置在这样的平面上，即使在用户改变注视方向时，全息游标28的一致视图可以被维持。
附加地，在图8中图示的示例中，由用户26佩戴的HMD设备10可以被配置为检测用户的手的运动。基于由光学传感器系统16捕获的一系列图像，HMD设备10可以确定用户26的手38的运动是否是可跟踪的。例如，在位置38和38A处的用户的手处于光学传感器系统16的视场内。因此，用户的手在时间T1内从位置38移动到位置38A的运动可由HMD设备10跟踪。然而，当位置38B可能在光学传感器系统16的视场的外部时，用户的手在时间T2内从位置38A移动到位置38B的运动可能不可由HMD设备10跟踪。将认识到，当HMD可以监测手以用于手势输入时，用户的手被确定为可由HMD跟踪。因此，例如当以在HMD设备10的处理器上执行的软件实现的计算机算法识别由板上相机捕获的图像中的手并且开始跟踪手时，用户的手被认为是可跟踪的，直到那些算法丢失对手的跟踪的时刻。可以用于跟踪手的技术包括搜索类似颜色值的区域并且基于来自图像的剩余部分的颜色值来分割图像的一部分，以及搜索已经改变的像素的区域，指示手或其他对象的前景移动。当深度信息可用时，除了以上内容或作为对以上内容的备选，可以使用骨骼跟踪技术来定位手。当由算法输出的置信度指示手正以高于预定阈值水平的置信度被跟踪时，手可以被确定为是可跟踪的。
在以上实施例中，HMD设备10向用户传达用户的手的运动是否是可跟踪的。在该实施例中，响应于至少确定手的运动是可跟踪的，HMD设备10修改全息游标的视觉外观以指示手的运动是可跟踪的。在图8中示出的示例中，全息游标的视觉外观被修改为看起来像全息游标28，其是未填充的圆形。因此，当用户在时间T1内将手从位置38移动到位置38A时，向用户示出具有视觉外观28的全息游标并且因此向用户提供用户的手的运动当前是可跟踪的反馈，并且任何手势或手部移动将由HMD设备10跟踪。
另外，在该实施例中，响应于至少确定手的运动不是可跟踪的，HMD设备10修改全息游标的视觉外观以指示手的运动不是可跟踪的。如图8所示，全息游标的视觉外观可以被修改为看起来像全息游标28A，其具有与全息游标28不同的视觉外观。在该示例中，全息游标28A的视觉外观是填充的圆形。因此，当用户在时间T2内将手从位置38A移动到位置38B时，向用户示出具有视觉外观28A的全息游标并且因此向用户提供用户的手的运动当前不是可跟踪的反馈。将认识到，尽管图8中示出的示例将全息游标的视觉外观修改为看起来像填充的圆形或未填充的圆形，但是任何适合的视觉修改是可能的。作为几个其他非限制性示例，全息游标的视觉外观可以通过改变颜色、改变形状、添加或移除图标、或者改变全息游标的大小来被修改。
采用轻薄形状因子的具有被动光学和惯性跟踪的无线手持控制器。
尽管在现有技术中发现的无线控制器(包括点击器)可以提供具有3DOF的取向信息，但是它们不提供位置信息。尽管手部跟踪和骨骼分割可以与从手持惯性控制器得到的取向数据相组合以恢复多达五个自由度，但是这样的过程通常可能要求高水平的处理开销。另外，即使利用手部跟踪和骨骼分割也难以区分控制器的微妙的移动，特别是微妙的旋转移动。根据下面描述的装置和系统，有可能以高度的分辨率和准确性以及以减少的处理开销来恢复6DOF。
如下面更详细地描述的，本发明的一个方面是提供一种模块化扩展或夹持装置，其被配置为与点击器控制器或其他手持惯性控制器耦合，并且其通过增加被动光学定位跟踪能力来扩展并增强现有点击器设备的惯性跟踪能力，然后这允许点击器利用6DOF进行操作。
除了组合手持设备的光学位置跟踪和惯性取向跟踪，处理开销能够通过提供除了手部跟踪和手势识别之外的识别手持控制器的位置的备选方法被进一步减少。在一个实施例中，手持控制器可以包括具有被定位在控制器的每一端处或控制器的每一端附近的一对无源IR标记的细长形状因子。当与被定位在HMD上的IR辐射源和IR深度相机组合时，IR标记可以提供定位手持控制器在3D空间中的位置的有利方式，以及提供可以与从并入到手持控制器中的IMU得到的取向数据组合的附加取向数据。对细长形状因子和两个或更多个IR标记的使用提供下面更详细地讨论的各种优点。
在一个实施例中，系统用于在通过HMD设备经历的虚拟和增强现实世界中进行交互。在另一实施例中，显示器是外部的。换言之，本文描述的发明能够容易地适应其他HMD设备以及AR和VR系统/环境，以及其他传统计算系统和环境，包括其他常规显示设备。
在一个实施例中，控制器具有触笔形状，其具有两个球形反射标记在每一端处，并且控制器具有板上IMU、通信电台、以及按钮。该形状因子带来使该技术方案可行的若干关键优点。第一，形状因子在两个标记之间建立宽基线，其利用高分辨率改进对连接两个标记的段的取向的检测、分割、以及精确估计。第二，标记中的至少一个由光学传感器在手部取向的全范围上可见。利用仅仅一个光学标记，在手移动的正常范围内，从HMD的视野，单个光学标记可以容易地被手挡住。利用两个分离的标记，至少一个标记将通常对HMD相机一直可见。
现在参考图9，其图示了本发明的一个实施例，该实施例可以包括被设计为选择性地且安全地与点击控制器或其他类似的惯性控制器40(下文有时被简单地称为“控制器40”)的模块化夹持装置60。如所示出的，模块化夹持装置60可以包括大小和形状被设计为以紧密贴合的耦合关系选择性地、牢固地和可移除地接收控制器40的壳体的一部分的中心耦合部分62。中心耦合部分62还可以被配置为提供对控制器40的各种部件和控制表面(诸如瞬时开关、状态LED、充电端口、等等)的访问。
中心耦合部分62还可以包括从中心耦合部分62的一端延伸的第一细长延伸部64。中心耦合部分62还可以包括从中心耦合部分62的另一端延伸的第二细长延伸部66。第一细长延伸部64可以包括位于或靠近第一细长延伸部64的远端的第一被动光学反射标记68，并且第二细长延伸部66可以包括位于或靠近第二细长延伸部66的远端的第二被动光学反射标记70。
在一个实施例中，延伸部64和66沿共同纵轴被定位并且通过固定的预定距离被分离。这连同延伸部64和66相对于中心耦合部分62的固定关系一起提供控制器40与标记68、70之间的固定且已知的几何关系。以下讨论假设延伸部64和66的线性对准。然而，延伸部64和66可以在其他配置中相对于彼此和/或相对于中心耦合部分62被定位。特定配置不是限制性的，只要部件相对于彼此保持固定并且特定的固定尺寸和相对位置是已知的。
如图10所示，否则，夹持装置60的形状或形状因子是不受约束的，从而允许对能够与单个点击器可互换地使用的各种物理道具(例如，笔、枪、来复枪、运动器材、等等)的设计和生产。图10示出了采用具有集成枪式手柄的手枪的一般形状的模块化夹持器60的示意性表示。以这种方式，各种形状因子可以以减少的成本来被设计和制造。因此，控制器40可重新使用并且可从一种形状因子转移到另一种形状因子。
另外，夹持装置60可以基于特定的期望的物理约束而被定制设计，这种特定的期望的物理约束包括标记之间的分离距离、控制器40与夹持装置60之间的轴配准、等等。另外还有，夹持装置60可以被设计用于3D打印设备和/或由3D打印设备装配。
在另一实施例中，夹持装置可以是活动的并且包括进一步扩展控制器的现有功能的附加元件，诸如例如，触觉、视觉、音频反馈(扬声器)、无线通信、自拍摄像头、扩展的电池、以及其他类似的元件和/或功能。
在又一实施例中，按钮按压可以使用杠杆、弹簧或其他机械连杆从夹持装置60上的一个位置被机械地转移到点击器上的实际按钮。例如，在枪式形状因子中，用户可以利用食指而非拇指来进行触发。如果不是机械的，则夹持装置60还可以具有它自己的按钮和自己的通信层，以用于将用户输入传达到控制器40和/或HMD设备10。
如以上所提到的，控制器40包括IMU 44。从加速度计和陀螺仪，IMU 44可以检测控制器40的取向，但是仅仅具有三个自由度，即，俯仰(仰角)、偏航(方位角)和滚动(旋转)。因为加速度计可以检测重力向量，所以控制器40的参考系的垂直轴被容易地标识和对准。类似地，IMU 44的陀螺仪可以容易地检测水平面，并且因此水平面被容易地标识和对准。如果IMU 44还包括磁力计，则磁北极能够被容易地标识，并且控制器40的参考系可以被向北对准。如果HMD 10的IMU和控制器40的IMU 44两者都包括磁力计，则控制器40的参考系将与HMD的参考系(遭受某些小变化/偏移和漂移，其能够随时间被校正)被自动地对准。
如果控制器40的IMU 44不包括磁力计，则IMU 44在其上电时任意地指派x轴并且然后连续地跟踪从该初始参考系的方位变化(水平面中的角度旋转)。在这种情况下，控制器40的参考系将需要与HMD的参考系对准或被校准到HMD的参考系，如下面更详细地讨论的。
如先前所讨论的，IMU包括加速度计和陀螺仪、可选地加上磁力计的组合。来自IMU44的数据可以被融合来以高频率和低延时计算控制器40相对于被重力对准的某个初始参考系的取向。另外，如果IMU 44包括磁力计，则磁力计将自动地将控制器的参考系与HMD的参考系向北对准并且还将减少方位漂移。
通过将控制器40与模块化夹持装置60(包括反射标记68和70)相组合，有可能准确地跟踪控制器40的位置。HMD 10的光学传感器系统16跟踪标记68、70在3D中的位置。光学传感器系统16可以包括照亮被动反射标记68、70的照明源和成像传感器。在一个实施例中，照明源辐射IR辐射，并且光学传感器使用主动IR深度相机来检测并且直接地估计标记68、70在3D中的位置。即使标记是高度反射性的以用于IR快门图像中容易分割，但是深度相机仍然有可能计算在每个像素处的深度。在另一实施例中，立体IR相机对可以用于对标记68、70的3D位置进行三角测量。
在一个实施例中，标记68、70在视觉上被隐藏在IR透射材料后面，阻挡可见光谱中的光，但是允许处于光学传感器的IR操作范围中的光通过。以这种方式，在不限制本文描述的功能的情况下，光学标记可以从视野被隐藏，使得模块化夹持装置60(单独地或者与耦合的控制器40组合)可以呈现许多不同对象的形状，诸如例如，触笔、手杖、或者通常在VR游戏中使用的各种对象(例如，枪、来复枪、剑、运动器材、等等)，对其而言，该对象(夹持装置60和/或控制器40)的位置和取向的精确检测可以是非常重要的。
光学跟踪系统16通常通过刚性变换与HMD 10的显示参考系机械地相关，刚性变换通过校准来被细化。不失一般性，假设HMD设备10通过使用IMU和/或其他环节跟踪子系统(例如，HMD中的头部跟踪部件)而处于重力对准的参考系中。
当HMD 10的光学系统16在其FOV内检测到光学反射标记(诸如标记68、70)时，其利用3DOF(x、y和z)恢复位置数据。由于被包含在控制器40和夹持装置60的组件(“组件”)中的两个标记68、70之间的固定几何关系，当HMD在其FOV内检测到两个标记68、70时，则两个另外的自由度被恢复(即，方位角和仰角，也称为偏航和俯仰)。更具体地，这是可能的，因为光学系统16能够以高精确度来确定检测到的每个标记68、70的确切位置。另外，因为检测到的两个标记68、70之间的几何图形关系(在图示的实施例中，几何关系是将两个标记沿着与控制器40的纵轴对准的直线分离的已知距离)，所以光学系统16有可能(再次以高精确度来)计算控制器的仰角/俯仰角和方位角/旋转角。丢失的第六个自由度是沿着连接两个标记的轴的滚动角，其在光学上不受约束，但是其容易从控制器40的IMU 44被恢复。
如先前所讨论的，重力向量在控制器40和光学传感器16参考系两者中是已知的。每当控制器40不是水平的时，有可能通过将两个标记68、70的位置投影到重力向量上并且将由HMD 10的光学系统16检测到的仰角和方位角分别与如由控制器40的IMU 44测量到的仰角和方位角进行比较来在两个标记68、70之间进行区分。例如，控制器IMU 44的仰角(垂直倾斜)应当被预期为匹配(在一定容差内)由HMD的光学系统16基于光学检测到的两个标记的相对位置而得到的仰角。如果这样的角(在可接受的容差内)匹配，则有可能唯一地标识并标记每个标记68、70(通过这样标记被定位为高于其他标记，反之亦然)。一旦光学系统16已经能够在预定置信度水平上唯一地标识每个标记，则唯一标记ID与每个标记68、70相关联。另外，指派的标记ID与控制器40的控制器ID(在控制器40与HMD 10初始地配对时被指派给控制器40)相关联，以用于未来跟踪目的。另一方面，不匹配的值可以用于消除错误的标记检测。
类似地，由HMD 10的光学系统16计算的方位角(水平航向)也被预期为(在设定容差内)匹配由IMU 44测量的两个标记的方位角(假设IMU 44包含磁力计)。备选地，控制器40与光学传感器16参考系之间的方位偏移可以通过在其中观察到两个标记68、70的若干捕获的视频帧内被估计，并且随时间逐渐地被更新以计算合适的方位偏移角和/或补偿任何IMU漂移。
在随后的帧中，即使当标记68、70中的一个变得从光学系统16的视野被阻挡或者移动到光学系统的FOV之外时，6DOF跟踪仍然被实现。由于一个标记足以使HMD 10的光学系统16恢复位置并且在先前已经唯一地标识了每个标记，剩余的取向数据可以从控制器40的IMU 44得到。标记的身份通过到标记的先前估计的位置的接近度来被持续。
如果控制器40完全移动到光学传感器16的FOV之外，则控制器40可以基于来自IMU44的取向数据而立即恢复回到3DOF，并且/或者其可以基于前向预测算法来预测控制器40的位置，诸如使用在来自IMU 44的加速度计数据上操作的双重积分的卡尔曼滤波器。
对反射光学标记68、70的使用比其他方法提供检测位置和取向的更高的分辨率和准确性。即使利用良好的手部跟踪和姿势识别，也仍然难以在类似手部配置和/或控制器如何被把持(例如，控制器在手中的精确取向)之间进行区分。对在物理上通过已知距离分离的并且与从控制器40的板上IMU 44得到的取向数据耦合的两个或更多个标记68、70的使用提供增加的准确性和分辨率，而同时减少其他方法(诸如，手部跟踪、姿态识别和/或骨骼分割/分析)所需要的处理开销。尽管手部跟踪在识别AR场中的手所处的区域中可能是有用的，但是难以单独基于手部跟踪来检测精确位置和/或精细旋转细节。
两个光学标记68、70之间的物理分离还允许比常规方法更大的关于光学跟踪的角度分辨率。甚至更大的分辨率可以通过将从HMD 10的光学系统16得到的位置数据与从控制器40的IMU 44得到的取向数据相组合来被实现。
另外，标记和IMU的组合给你更大的准确性和分辨率，而无需执行对于手部跟踪和姿势识别所必需的计算上密集的处理。并且，因为你刚刚处理了能够由光学传感器16准确地标识的空间中的两个点，所以也有可能检测控制器的取向和/或旋转的小变化。
本发明的另一方面是提供一种系统，其包括HUD设备与具有轻薄形状因子的具有被动光学和惯性跟踪装置的无线手持控制器的组合。在一个实施例中，系统可以包括：头戴式显示设备，其具有处理器；无线手持惯性控制器，其被配置为与处理器通信以选择性地提供一个或多个用户输入，手持惯性控制器包括具有第一端、第二端以及在第一端和第二端之间的细长中间部分的触笔，触笔还包括在第一端处或靠近第一端的第一光学反射标记和在第二端处或靠近第二端的第二光学反射标记；并且细长中间部分包封微控制器、惯性测量单元、通信电台以及被配置和定位用于利用用户的手指或拇指进行选择性致动的一个或多个按钮，惯性测量单元跟踪手持惯性控制器在三维空间中相对于预定参考系的取向并且将取向和加速度数据提供到微控制器，并且通信电台提供无线通信以便将取向数据和用户输入提供到处理器；以及位于显示器上的光学传感器，其用于确定第一光学反射标记和第二光学反射标记中的每一个相对于显示器的位置并且用于将位置数据提供到处理器，其中处理器使用取向数据和位置数据来以六自由度跟踪三维空间内的手持惯性控制器。
本发明的实施例可以包括或利用包括计算机硬件的专用计算机或通用计算机，如下面更详细地讨论的。本发明的范围内的实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理介质和其他计算机可读介质。这样的计算机可读介质可以是能够由通用计算机系统或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。承载计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而非限制性的方式，本发明的实施例可以包括至少两种截然不同的种类的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。
物理计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置(例如，CD、DVD、等等)、磁盘存储装置或其他磁性存储设备、或能够被用于存储以计算机可执行指令或数据结构的形式的期望程序代码单元并且能够由通用计算机或专用计算机访问的任何其他介质。
“网络”被定义为实现在计算机系统和/或模块和/或其他电子设备之间的电子数据的传输的一个或多个数据链路。当通过网络或另外的通信连接(硬接线的、无线的或硬接线或无线的组合)将信息传递或提供到计算机时，计算机将连接恰当地视为传输介质。传输介质可以包括能够被用于承载以计算机可执行指令或数据结构的形式的期望程序代码单元并且能够由通用计算机或专用计算机访问的网络和/或数据链路。以上的组合也被包括在计算机可读介质的范围内。
另外，在到达各种计算机系统部件后，以计算机可执行指令或数据结构的形式的程序代码单元能够自动地从传输计算机可读介质被传递到物理计算机可读存储介质(或者反之亦然)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构能够被缓冲在网络接口模块(例如，“NIC”)内的RAM中，并且然后被最终传递到计算机系统RAM和/或在计算机系统处的较不易失性计算机可读物理存储介质。因此，计算机可读物理存储介质可以被包括在也(或甚至主要)利用传输介质的计算机系统部件中。
计算机可执行指令包括例如使通用计算机、专用计算机、或专用处理设备执行特定功能或功能组的指令和数据。计算机可执行指令可以例如为二进制、诸如汇编语言的中间格式指令或甚至源代码。尽管已经以特定于结构特征和/或方法动作的语言描述了本主题，但是应理解在所附权利要求中限定的主题不必限于以上描述的所描述的特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将认识到可以在具有许多类型的计算机系统配置的网络计算环境中实践本发明，许多类型的计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC、微型计算机、大型计算机、移动手机、PDA、寻呼机、路由器、交换机、等等。还可以在分布式系统环境中实践本发明，在分布式系统环境中通过网络(通过硬接线数据链路、无线数据链路、或通过硬接线数据链路和无线数据链路的组合)链接的本地计算机系统和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以被定位在本地存储器存储设备和远程存储器存储设备两者中。
备选地或另外，本文描述的功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如但不限于，能够被使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)、等等。
本发明可以在不背离其精神或特性的情况下以其他具体形式来体现。所描述的实施例应在所有方面仅仅被认为是说明性的而非限制性的。本发明的范围因此由所附权利要求而非由前述描述指示。落入权利要求的等效形式的意义和范围内的所有改变将被包含在权利要求的范围内。

Claims (15)

1.一种夹持装置，用于与无线手持控制器一起使用，所述无线手持控制器包括微控制器、惯性测量单元、通信电台以及一个或多个按钮，所述一个或多个按钮被配置和定位用于利用用户的手指或拇指进行选择性致动，所述夹持装置包括：
壳体，所述壳体具有第一端和第二端；
在所述壳体的所述第一端处或靠近所述壳体的所述第一端的第一光学反射标记；
在所述壳体的所述第二端处或靠近所述壳体的所述第二端的第二光学反射标记。
2.根据权利要求1所述的夹持装置，其中所述第一光学反射标记和所述第二光学反射标记各自包括红外标记。
3.根据权利要求1所述的夹持装置，其中所述夹持装置还包括在所述壳体上位于所述第一光学反射标记和所述第二光学反射标记之间的对接部分，并且其中所述对接部分被配置为以相对于所述第一光学反射标记和所述第二光学反射标记的固定空间关系将所述手持控制器选择性地且可移除地耦合到所述夹持装置。
4.根据权利要求3所述的夹持装置，其中所述对接部分具有与所述手持控制器的大小和形状互补的大小和形状。
5.根据权利要求3所述的夹持装置，其中夹持装置还包括致动表面和连杆，所述连杆被机械地耦合在所述致动表面与位于所述控制器上的所述一个或多个按钮中的一个按钮之间。
6.根据权利要求3所述的夹持装置，其中夹持装置还包括：
通信电台；
一个或多个按钮，所述一个或多个按钮被配置和定位用于利用用户的手指或拇指进行选择性致动；以及
用于传达用户输入的通信层。
7.根据权利要求3所述的夹持装置，其中所述夹持装置还包括从包括以下项的组中选择的一个或多个附加部件：视觉反馈设备、触觉反馈设备、显示器、扬声器、无线收发器、相机、以及辅助电池。
8.一种系统，包括：
具有处理器的三维增强现实头戴式显示(HMD)设备；
无线手持惯性控制器，所述无线手持惯性控制器被配置为与所述处理器通信，以选择性地提供一个或多个用户输入；以及
夹持装置，所述夹持装置被配置为以选择性且可移除的方式与所述控制器物理地耦合。
9.根据权利要求8所述的系统，其中所述夹持装置包括：
壳体，所述壳体具有第一端和第二端；
在所述壳体的所述第一端处或靠近所述壳体的所述第一端的第一光学反射标记；以及
在所述壳体的所述第二端处或靠近所述壳体的所述第二端的第二光学反射标记。
10.根据权利要求9所述的系统，其中所述第一光学反射标记和所述第二光学反射标记各自包括红外标记。
11.根据权利要求10所述的系统，其中所述夹持装置还包括在所述壳体上位于所述第一光学反射标记和所述第二光学反射标记之间的对接部分，其中所述对接部分被配置为以相对于所述第一光学反射标记和所述第二光学反射标记的固定空间关系将所述手持控制器选择性地且可移除地耦合到所述夹持装置。
12.根据权利要求11所述的系统，其中所述对接部分具有与所述手持控制器的大小和形状互补的大小和形状。
13.根据权利要求12所述的系统，其中夹持装置还包括致动表面和连杆，所述连杆被机械地耦合在所述致动表面与位于所述控制器上的所述一个或多个按钮中的一个按钮之间。
14.根据权利要求12所述的系统，其中夹持装置还包括：
通信电台；
一个或多个按钮，所述一个或多个按钮被配置和定位用于利用用户的手指或拇指进行选择性致动；以及
用于传达用户输入的通信层。
15.根据权利要求12所述的系统，其中所述对接部分包括从包括以下项的组中选择的一个或多个附加部件：视觉反馈设备、触觉反馈设备、显示器、扬声器、无线收发器、相机、以及辅助电池。
CN201780035517.6A 2016-06-09 2017-06-02 用于六自由度混合现实输入的惯性控制器的模块化扩展 Active CN109313497B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662347866P 2016-06-09 2016-06-09
US62/347,866 2016-06-09
US15/274,387 2016-09-23
US15/274,387 US10146335B2 (en) 2016-06-09 2016-09-23 Modular extension of inertial controller for six DOF mixed reality input
PCT/US2017/035569 WO2017213969A1 (en) 2016-06-09 2017-06-02 Modular extension of inertial controller for six dof mixed reality input

Publications (2)

Publication Number Publication Date
CN109313497A true CN109313497A (zh) 2019-02-05
CN109313497B CN109313497B (zh) 2021-07-23

Family

ID=60572650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035517.6A Active CN109313497B (zh) 2016-06-09 2017-06-02 用于六自由度混合现实输入的惯性控制器的模块化扩展

Country Status (4)

Country Link
US (1) US10146335B2 (zh)
EP (1) EP3469457B1 (zh)
CN (1) CN109313497B (zh)
WO (1) WO2017213969A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244187A1 (en) * 2020-06-05 2021-12-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for tracking head mounted display device and head mounted display system
WO2022002133A1 (zh) * 2020-07-01 2022-01-06 青岛小鸟看看科技有限公司 手势追踪方法及装置
CN114641251A (zh) * 2019-11-05 2022-06-17 替代外科手术公司 外科手术虚拟现实用户接口

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10146334B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
WO2018026893A1 (en) * 2016-08-03 2018-02-08 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
DE202017104928U1 (de) * 2016-08-23 2017-11-24 Google Inc. Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
AU2018244316B2 (en) * 2017-03-28 2022-09-29 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
US10444865B2 (en) * 2017-05-01 2019-10-15 Google Llc Tracking of position and orientation of objects in virtual reality systems
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
US20220178692A1 (en) * 2017-12-21 2022-06-09 Mindmaze Holding Sa System, method and apparatus of a motion sensing stack with a camera system
WO2019173524A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Visual tracking of peripheral devices
US20200089335A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Tracking Method and Tracking System Using the Same
USD870727S1 (en) 2018-11-14 2019-12-24 Hiscene Information Technology Co., Ltd. Smart glasses
US10824244B2 (en) 2018-11-19 2020-11-03 Facebook Technologies, Llc Systems and methods for transitioning between modes of tracking real-world objects for artificial reality interfaces
JPWO2020110659A1 (ja) * 2018-11-27 2021-10-14 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US10990168B2 (en) 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
DE102019207454B4 (de) * 2019-05-21 2021-05-12 Volkswagen Aktiengesellschaft Augmented-Reality-System
US11275453B1 (en) * 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11054923B2 (en) * 2019-10-11 2021-07-06 Finch Technologies Ltd. Automatic switching between different modes of tracking user motions to control computer applications
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
KR20210157708A (ko) 2020-06-22 2021-12-29 삼성전자주식회사 밝기 조절 방법 및 hmd 장치
TWI784305B (zh) 2020-08-26 2022-11-21 財團法人資訊工業策進會 透過六自由度虛擬空間中的軌跡篩選資料之裝置及方法
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
WO2022061263A1 (en) * 2020-09-21 2022-03-24 Daedalus Labs Llc Systems having peripherals with magnetic field tracking
JP1691788S (zh) * 2020-09-23 2021-08-02
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US11861070B2 (en) 2021-04-19 2024-01-02 Snap Inc. Hand gestures for animating and controlling virtual and graphical elements
US11892624B2 (en) * 2021-04-27 2024-02-06 Microsoft Technology Licensing, Llc Indicating an off-screen target
CN113407084B (zh) * 2021-06-24 2022-05-17 杭州灵伴科技有限公司 展示内容更新方法、头戴式显示设备和计算机可读介质
US20230041294A1 (en) * 2021-08-03 2023-02-09 Sony Interactive Entertainment Inc. Augmented reality (ar) pen/hand tracking
US20240094831A1 (en) * 2022-09-21 2024-03-21 Apple Inc. Tracking Devices for Handheld Controllers
US11947736B1 (en) * 2022-12-21 2024-04-02 Varjo Technologies Oy Utilising focussing of light sources in image for controller tracking

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548547A (zh) * 2007-08-16 2009-09-30 索尼电脑娱乐公司 利用与倾斜角信息相结合的视频输入的对象检测
US20120007839A1 (en) * 2010-06-18 2012-01-12 Vantage Surgical Systems, Inc. Augmented Reality Methods and Systems Including Optical Merging of a Plurality of Component Optical Images
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
CN105359054A (zh) * 2013-06-10 2016-02-24 微软技术许可有限责任公司 在空间中对设备进行定位和取向
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器
US20160098095A1 (en) * 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
CN105607763A (zh) * 2014-11-14 2016-05-25 苹果公司 具有惯性传感器的触控笔

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2167304C (en) 1993-07-16 1998-04-21 Louis B. Rosenberg Multi degree of freedom human-computer interface with tracking and forcefeedback
AU2001233019A1 (en) 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US7206626B2 (en) 2002-03-06 2007-04-17 Z-Kat, Inc. System and method for haptic sculpting of physical objects
US7071970B2 (en) 2003-03-10 2006-07-04 Charles Benton Video augmented orientation sensor
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
GB2411532B (en) 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7467061B2 (en) 2004-05-14 2008-12-16 Canon Kabushiki Kaisha Information processing method and apparatus for finding position and orientation of targeted object
US7567241B2 (en) 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
US7860301B2 (en) 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US20090183929A1 (en) 2005-06-08 2009-07-23 Guanglie Zhang Writing system with camera
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8224024B2 (en) 2005-10-04 2012-07-17 InterSense, LLC Tracking objects with markers
US20070247422A1 (en) 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
US20070265075A1 (en) 2006-05-10 2007-11-15 Sony Computer Entertainment America Inc. Attachable structure for use with hand-held controller having tracking ability
US9891435B2 (en) 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US8696458B2 (en) 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US9024972B1 (en) 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
US8568233B2 (en) 2009-04-23 2013-10-29 Performance Designed Products Llc Video game controller attachment apparatus
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9341704B2 (en) 2010-04-13 2016-05-17 Frederic Picard Methods and systems for object tracking
US9310887B2 (en) 2010-05-06 2016-04-12 James W. Wieder Handheld and wearable remote-controllers
US8555205B2 (en) * 2010-10-08 2013-10-08 Cywee Group Limited System and method utilized for human and machine interface
US8419541B2 (en) 2010-11-17 2013-04-16 Sony Computer Entertainment Inc. Smart shell to a game controller
CN103620527B (zh) * 2011-05-10 2018-08-17 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
US9459457B2 (en) * 2011-12-01 2016-10-04 Seebright Inc. Head mounted display with remote control
WO2013124741A1 (en) * 2012-02-21 2013-08-29 Comsa Radu Mircea Augmented reality system
WO2014005225A1 (en) 2012-07-03 2014-01-09 7D Surgical Inc. Attachments for tracking handheld implements
US9329678B2 (en) * 2012-08-14 2016-05-03 Microsoft Technology Licensing, Llc Augmented reality overlay for control devices
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US8996177B2 (en) 2013-03-15 2015-03-31 Brain Corporation Robotic training apparatus and methods
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US20150085111A1 (en) 2013-09-25 2015-03-26 Symbol Technologies, Inc. Identification using video analytics together with inertial sensor data
US9684369B2 (en) 2014-04-08 2017-06-20 Eon Reality, Inc. Interactive virtual reality systems and methods
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
US9999835B2 (en) * 2015-02-05 2018-06-19 Sony Interactive Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
WO2017014733A1 (en) * 2015-07-17 2017-01-26 Ivd Mining Virtual reality training
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
CA3021964A1 (en) * 2016-04-26 2017-11-02 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098095A1 (en) * 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
CN101548547A (zh) * 2007-08-16 2009-09-30 索尼电脑娱乐公司 利用与倾斜角信息相结合的视频输入的对象检测
US20120007839A1 (en) * 2010-06-18 2012-01-12 Vantage Surgical Systems, Inc. Augmented Reality Methods and Systems Including Optical Merging of a Plurality of Component Optical Images
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
CN105377117A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 基于用户的光学处方的头戴式显示器
CN105359054A (zh) * 2013-06-10 2016-02-24 微软技术许可有限责任公司 在空间中对设备进行定位和取向
CN105607763A (zh) * 2014-11-14 2016-05-25 苹果公司 具有惯性传感器的触控笔

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114641251A (zh) * 2019-11-05 2022-06-17 替代外科手术公司 外科手术虚拟现实用户接口
WO2021244187A1 (en) * 2020-06-05 2021-12-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for tracking head mounted display device and head mounted display system
WO2022002133A1 (zh) * 2020-07-01 2022-01-06 青岛小鸟看看科技有限公司 手势追踪方法及装置

Also Published As

Publication number Publication date
WO2017213969A1 (en) 2017-12-14
CN109313497B (zh) 2021-07-23
US10146335B2 (en) 2018-12-04
EP3469457A1 (en) 2019-04-17
US20170357334A1 (en) 2017-12-14
EP3469457B1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
CN109313497A (zh) 用于六自由度混合现实输入的惯性控制器的模块化扩展
US10521026B2 (en) Passive optical and inertial tracking in slim form-factor
US10818092B2 (en) Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10078377B2 (en) Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US20220206588A1 (en) Micro hand gestures for controlling virtual and graphical elements
US11287905B2 (en) Trackability enhancement of a passive stylus
EP4327185A1 (en) Hand gestures for animating and controlling virtual and graphical elements
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
CN108803861A (zh) 一种交互方法、设备及系统
US12013985B1 (en) Single-handed gestures for reviewing virtual content
WO2021231261A1 (en) Computationally efficient method for computing a composite representation of a 3d environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant