CN106255916A - 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准 - Google Patents

跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准 Download PDF

Info

Publication number
CN106255916A
CN106255916A CN201580021919.1A CN201580021919A CN106255916A CN 106255916 A CN106255916 A CN 106255916A CN 201580021919 A CN201580021919 A CN 201580021919A CN 106255916 A CN106255916 A CN 106255916A
Authority
CN
China
Prior art keywords
hmd
labelling
led
video
back side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580021919.1A
Other languages
English (en)
Other versions
CN106255916B (zh
Inventor
E.拉森
A.米哈伊洛夫
J.R.斯塔福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN201910636823.6A priority Critical patent/CN110308561A/zh
Publication of CN106255916A publication Critical patent/CN106255916A/zh
Application granted granted Critical
Publication of CN106255916B publication Critical patent/CN106255916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了用于头戴式显示器(HMD)实施方式的方法和系统。一种示例性实施方式,HMD包括用于与计算系统通信的电路,所述计算系统处理用于在所述HMD中显示的多媒体内容。还包括所述HMD的正面单元,其具有用于显示多媒体内容的屏幕,并且所述正面单元具有一组LED。所述HMD包括加速度计和陀螺仪,其安置在所述HMD的所述正面单元中。所述HMD的背面区段设有一组LED。包括将所述正面单元连接至所述背面区段的头带,以使得所述头带的调整改变所述正面单元的所述一组LED中的至少一个与所述背面区段的所述一组LED中的至少一个之间的间隔距离。其中,不时地执行所述间隔距离的校准,以产生估计的间隔距离用于在使用期间跟踪所述HMD。

Description

跟踪头戴式显示器(HMD)的方法和系统以及用于HMD头带调整 的校准
1.发明领域
本发明涉及用于跟踪头戴式显示器(HMD)的位置和定向的方法和系统以及用于所述HMD的头带调整所进行的校准。
背景
2.相关技术的描述
视频游戏产业多年以来经历了很多改变。随着计算机能力的不断扩大,视频游戏的开发者同样也制作了充分利用计算能力的这些增强的游戏软件。为此目的,视频游戏开发者一直以来都在编码结合复杂操作和数学运算的游戏以产生非常逼真的游戏体验。
示例性游戏服务和系统可能包括由Sony所提供的那些服务和系统,所述服务和系统目前作为游戏机、便携式游戏装置进行销售,并且作为云服务进行提供。众所周知的是,游戏机被设计成连接至监视器(通常是电视),并且能够利用手持式控制器来实现用户互动。游戏机被设计成具有专门的处理硬件和其它胶合硬件、固件和软件,所述专门处理硬件包括:CPU;用于处理集中图形操作的图形处理器;用于执行几何变换的向量单元。游戏机还被设计成具有用于容纳游戏压缩盘的光盘托盘,以便利用所述游戏机在本地玩游戏。也可以是在线游戏,其中用户可以通过互联网与其他用户以互动方式比赛或一起进行游戏。由于游戏的复杂性不断激起玩家的兴趣,游戏和硬件制造商不断进行创新以启用额外的互动性和计算机程序。
计算机游戏行业的发展趋势是开发提高用户与游戏系统之间的互动性的游戏。实现更丰富的互动体验的一个方法是使用无线游戏控制器,游戏系统对所述控制器的移动进行跟踪以便跟踪玩家的移动并将这些移动用作游戏的输入。一般而言,手势输入表示使用诸如计算系统、视频游戏机、智能家电等电子装置对由玩家做出并且被电子装置采撷的一些手势做出反应。
实现更为沉浸的互动式体验的另一种方法是使用头戴式显示器。头戴式显示器由用户穿戴,并且可以被配置来呈现各种图形,诸如虚拟空间的视图。呈现在头戴式显示器上的图形可以覆盖用户的大部分或甚至全部视野。因此,头戴式显示器可以为用户提供沉浸的体验。当前用于HMD的位置和定向的跟踪技术仍然需要改进,以促成HMD的改进的内容呈现。
本发明的实施方案在该背景下出现。
概要
本发明的实施方案提供当用户正在穿戴头戴式显示器(HMD)并且查看和/或与多媒体内容互动时使得所述HMD能够改进对HMD的位置和移动的跟踪的方法和系统。所述系统和方法使得动态校准能够将HMD的头带中的调整纳入考虑,以使得可以准确地估计正面跟踪LED灯与背面跟踪LED灯之间的距离间隔。可以不时地对校准进行更新,诸如当用户在不同游戏阶段之间调整头带大小时,当传感器确定调整已经发生时,以及当其他用户调整头带以更好地匹配时。应了解,本发明可以多种方式实现,诸如计算机可读媒体上的过程、设备、系统、装置或方法。下面描述本发明的若干创造性实施方案。
在一个实施方案中,提供了一种方法。所述方法包括使用摄像机采撷视频帧。所述视频帧被配置来采撷头戴式显示器(HMD)上的标记,并且在采撷的视频帧中分析HMD上的所述标记以确定HMD的位置和定向,用于处理在由HMD显示的多媒体内容的呈现期间生成的场景的改变。所述方法还包括估计HMD的正面单元上的标记与HMD的背面区段上的标记之间的间隔距离。正面单元和背面区段由可调整头带耦接在一起。估计包括分析多个视频帧和当采撷了视频帧时采撷的惯性数据,并且所述分析产生HMD的正面单元上的标记与HMD的背面区段上的标记之间的估计的间隔距离。随着从采撷的视频帧采撷和分析正面单元和背面区段上的标记,在进一步跟踪HMD的位置和定向期间使用所述估计的间隔距离。
在另一实施方案中,提供了一种系统。所述系统包括计算系统和与所述计算系统通信的头戴式显示器(HMD)。HMD包括正面单元,其具有用于显示多媒体内容的屏幕。正面单元具有在其上安置的标记,以及惯性传感,其用于生成指示HMD的位置和定向中的改变的惯性数据。在一个实施方案中,惯性数据产生一组值,其量化HMD的旋转中的改变和HMD的位置中的改变。可以映射所述一组值以识别在多个采撷的视频帧的图像数据中的HMD的标记的位置。HMD还包括HMD的由可调整头带耦接至正面单元的背面区段。背面区段具有安置在其上的标记。所述系统还包括与计算系统通信的摄像机。所述摄像机被配置来在使用的阶段期间采撷HMD的视频帧。采撷的视频帧不时地被配置来包括正面单元的标记和背面区段的标记。计算系统处理采撷的视频帧,以针对生成的惯性数据识别正面单元和背面区段的标记。所述处理产生正面单元的标记与背面区段的标记之间的估计的间隔。所述估计的间隔用于使用期间的改进的跟踪。
在另一实施方案中,提供了头戴式显示器(HMD)。所述HMD包括用于与计算系统通信的电路,所述计算系统处理用于在HMD中显示的多媒体内容。还包括所述HMD的正面单元,其具有用于显示多媒体内容的屏幕,并且所述正面单元具有一组LED。所述HMD包括加速度计和陀螺仪,其安置在所述HMD的所述正面单元中。所述HMD的背面区段设有一组LED。包括将所述正面单元连接至所述背面区段的头带,以使得所述头带的调整改变所述正面单元的所述一组LED中的至少一个与所述背面区段的所述一组LED中的至少一个之间的间隔距离。其中,不时地执行所述间隔距离的校准,以产生估计的间隔距离用于在使用期间跟踪所述HMD。
当结合附图理解以下借助于举例的方式说明本发明的原理的详细描述时,本发明的其它方面将变得明显。
附图简述
参考结合附图进行理解的以下描述可最好地理解本发明。
图1A图示根据本发明的实施方案的用于视频游戏的互动式游戏过程的系统。
图1B图示根据本发明的实施方案的头戴式显示器(HMD)。
图2图示根据本发明的实施方案的使用耦接至HMD的客户端系统的游戏过程的一个实例。
图3A至图3B图示根据本发明的实施方案的用户穿戴HMD的实例,其中摄像机位于所述HMD的固定位置处。
图3C-1至图3G-3图示根据本发明的实施方案的穿戴经由头带捆绑到用户的头部的HMD的用户以及针对其采撷的图像数据的实例。
图4A图示根据本发明的实施方案的HMD和摄像机的俯视图,所述摄像机被定位以能够识别与所述HMD相关联的标记(例如,LED)。
图4B至图4C图示根据本发明的实施方案的HMD的俯视图和相关联处理的实例,其中对所述HMD的间隔进行物理调整。
图4D提供根据本发明的实施方案的可以执行来识别HMD上的正面标记与和所述HMD的头带相关联的可见背面标记之间的间隔距离的操作的示例性流程图。
图4E图示根据本发明的实施方案的另一流程图实例,所述实例被利用来对HMD的正面单元的LED与和所述HMD背面部分相关联的LED之间的间隔距离进行校准。
图4F图示根据本发明的实施方案的另一实施方案,其中视频帧和惯性数据的检查被执行用于识别HMD的正面标记与背面标记之间的间隔距离。
图5A提供根据本发明的一个实施方案的HMD的俯视图的实例。
图5B和图5C图示根据本发明的一个实施方案的当惯性传感器被添加至背面区段时(即,补充仅正面单元中具有惯性传感器)的实例和处理。
图6A至图6C图示根据一个实施方案的当穿戴在个人用户的头部上的HMD的各种视图。
图7示出根据一个实施方案的HMD的侧视图,示出头带有时可以被扯下和/或扭曲,这可以触发对估计的间隔距离进行再校准的需要。
图8图示根据一个实施方案的在使用(例如,游戏过程)期间穿戴HMD的用户。
图9是根据本发明的实施方案的图示头戴式显示器102的示例性部件的图解。
图10图示根据本发明的实施方案的头戴式显示器的部件。
详述
在一个实施方案中,本文所描述的系统和方法用于当用户正在穿戴头戴式显示器(HMD)并且查看和/或与多媒体内容互动时对HMD的位置和位置移动进行跟踪。所述系统和方法使得校准能够将对HMD的头带的调整纳入考虑,以使得准确地估计安置在HMD和头带上的标记(例如,LED灯)的距离。如下面所描述,可以不时地更新校准,诸如当用户在使用的阶段期间、不同游戏阶段之间调整头带大小时,当传感器确定调整已经发生时,以及当其他用户调整头带以更好地匹配时。用于执行校准的方法和系统因此将确保将标记之间的估计的距离被更新成尽可能接近HMD上的实际当前物理距离,这提供在使用期间对HMD的位置和移动的更为准确的跟踪。然而,对于本领域技术人员将明显的是,可实践本发明而无需这些特定细节中的一些或全部。在其它情况下,未详细描述熟知的过程操作,以免不必要地模糊本发明。
在一个实例中,使用者穿戴的HMD提供查看丰富多媒体内容的用户访问,所述多媒体内容可以包括视频游戏、电影、互联网内容和其它类型的互动和非互动性内容。对HMD的跟踪使用系统的组合执行。所述系统包括但不限于HMD中的惯性传感器以及使用一个或多个摄像机的光学跟踪。光学跟踪中使用的摄像机可以采撷穿戴HMD的用户的视频,因此当用户围绕HMD移动时,可对视频帧进行分析以确定HMD的位置、定向和移动。一般来说,由HMD呈现的一些内容动态地取决于HMD的移动。
例如,如果HMD提供对场景的视图,那么用户能够自然移动其头部以查看所述场景的其它部分。在视频游戏实例中,穿戴HMD的用户可以在任何方向上移动他或她的头部,以围绕虚拟场景的内部和周边移动。在一个实施方案中,虚拟场景以丰富的三维(3D)格式呈现。因此,为了流畅地呈现HMD中的内容,将使用高保真度跟踪HMD的移动。在一个配置中,HMD被配置来与客户端系统106通信,所述客户端系统106对呈现给HMD的内容进行呈现。在一些实施方案中,可使用云游戏基础设施从一个或多个远程服务器对所述内容(例如,游戏、电影、视频、音频、图像、多媒体等)进行流式传输。在一些实例中,所述内容被下载到客户端系统106进行呈现并且然后被传递至HMD。
如上所述,跟踪可包括使用被安置在HMD内的惯性传感器。示例性惯性传感器包括一个或多个加速度计和一个或多个陀螺仪。一些实施方式可能包括更多或更少的惯性传感器。除了惯性传感器以外,可以使用摄像机跟踪HMD。在一个实施方案中,HMD配置有充当标记的若干灯(例如,发光二极管(LED))。然后可以通过由客户端系统106对摄像机采撷的一个或多个视频帧进行分析来容易地识别所述标记。在一个配置中,HMD包括正面单元102a(例如,本文中也称作光学块)的四个转角上的四个LED和背面区段(例如,带调整单元102b)上的两个LED。
在一个实例中,正面单元102a包括每一侧上的正面和侧面,其中所述正面和侧面限定大致连续的表面。在本文提供的各种实例中,正面LED被限定在正面单元102a的外壳中,并且安置有当打开LED时可以照明的透明塑料。另外,在一些实施方案中,正面LED被配置成部分安置在正表面上且部分在侧表面上,以限定部分L形状或弯曲L形状或飞镖形状或弯曲矩形或曲线或点或圆圈或图案或其的组合。
该形状允许当用户直接面向摄像机108时以及当用户从直接面向摄像机108开始转变方向时对正面单元102a进行跟踪。随着用户面向侧面并且进一步远离直接面向摄像机的位置,正面LED将可见,直至仅正面的一侧上的LED可见并且背面上的LED中的一个可见。这是从正面LED向正面和背面LED的过渡。由于如上所述的该过渡,需要正面LED与背面LED之间的间隔距离,以使得可以进行准确的跟踪。
另外,当穿戴HMD的用户面向摄像机时,摄像机应能够查看所有四个LED。四个正面LED的间隔对于客户端系统106是已知的。例如,HMD的几何模型可以由在客户端系统106上执行的程序访问,以确定当用户穿戴HMD时头部的深度(相对于摄像机)和定向。举例来说,因为在一个实施方案中,四个LED安置在转角(例如,描画出矩形形状)上,所以可以根据采撷的视频帧确定用户是向下看、向上看或向侧面看。
然而,因为可以在HMD中呈现的互动性内容可以几乎是无界限的,所以用户能够查看几乎每一个维度中的虚拟场景并且与所述虚拟场景互动。因此,穿戴HMD的用户可决定在任何方向上转动其头部,不一定始终是在相对于摄像机的前向。实际上,根据所呈现的内容(例如,沉浸互动式视频游戏、移动、虚拟游览、片段、音频和其的组合),用户将会多次面向摄像机的侧面以及直接远离摄像机。
在所述互动式阶段期间,跟踪HMD的摄像机将从查看正面四个LED变成有时查看正面LED中的两个的侧面以及背面LED中的一个。虽然正面四个LED维持在固定的相对定向,但是基于HMD的几何模型,背面LED可根据HMD的头带的调整的安置改变位置。举例来说,如果头部较小的用户调整头带进行匹配,那么相对于另一头部较大的用户的调整安置,正面LED与背面LED之间的距离(例如,当从侧面查看时)将更近。
为了将头带调整的变化纳入考虑,过程被配置来对HMD的几何模型进行校准,以使得正面LED与背面LED之间的间隔(例如,当用户转动其头部离开与摄像机正交的位置时)可以用来准确地呈现场景内容至HMD以及从所需的视角、角度和/或定向提供场景。在一个实施方式中,几何模型是存储/包含HMD 102的尺寸和/或三维轮廓的计算机模型,所述尺寸和/或三维轮廓与计算机辅助设计(CAD)绘图可以展示的尺寸和/或三维轮廓类似。然而,几何模型并未作为图纸显示,而是存储为游戏或电影或软件或固件或硬件或其的组合可访问的数据集,以实现准确的跟踪。
继续举例来说,在一个实施方案中,HMD 102的三维轮廓可以包括HMD的每一形状和LED区域的形状的轮廓,LED相对于轮廓中的形状的位置,HMD的物理结构的角度和廓线,以及定义HMD的特征和构造的测量结果的数据集。确切地说,几何模型可能包括限定LED在正面单元102a上的确切相对布置的维度数据。然而,因为背面LED耦接至可调整头带,所以在校准期间必须对间隔距离进行更新,以使得可以利用正面LED与背面LED之间的更加准确的距离更新几何模型。
在一个实施方案中,校准过程被配置来在视频帧的分析确定背面LED中的一个可见之后启动(例如,从当仅正面LED可见时开始)。例如,在阶段(例如,游戏过程或互动阶段)开始时,常见的是用户将朝向摄像机面对HMD。在一些点处,用户将使其头部转动远离摄像机,这将暴露背面LED中的至少一个。在该点处,对视频帧的持续分析将检测背面LED的出现。
在一个实施方案中,所述过程将随着用户继续移动对若干帧进行分析,以将可见背面LED和可见正面LED与惯性数据相关联。针对每一帧呈现的惯性数据(例如)用来关联可见背面LED与可见正面LED之间的估计的间隔距离。在一个实例中,来自HMD的陀螺仪数据被用于随着HMD移动确定用户的头部的旋转运动。另外,举例来说,来自HMD的加速度计数据被用于确定诸如位置(例如,倾斜/俯仰)和旋转等的移动。
因此,使用来自HMD的采撷的视频帧的图像数据(即,当背面LED和正面LED可见时),与图像数据结合的惯性数据将针对HMD的头带的当前大小安置呈现正面LED与背面LED之间的估计的间隔距离。该数据然后被用于校准HMD的包括估计的间隔距离的几何模型。在一个实施方案中,可以不时地对校准进行更新,并且还可以独立地对HMD的每一侧进行校准。
在HMD的几何模型的校准完成后,用户可在所述阶段期间进行互动。然而,在所述阶段完成后,可能不同的用户可希望访问HMD。在此时,也可能的是,新的用户会将HMD的头带调整为另一大小,这将引起正面LED与背面LED之间的实际间隔距离改变。在一个实施方案中,可以使用现有更新的校准或来自原始几何模型的尺寸开始新的阶段。
开始时,游戏过程或互动性阶段将流畅地进行,其中HMD中呈现的场景将基于用户的头部移动呈现。当穿戴HMD的用户正面向着摄像机时将是这种情况,其中HMD的正面中的四个LED之间的固定间隔是已知的。然而,在用户转身远离摄像机并且找到背面LED后,无自动校准的系统将会在HMD中呈现的内容中出现跳动或弹跳。会出现这种情况是因为对HMD的跟踪将会与HMD的真实位置不同步,所述对HMD的跟踪利用对LED的标记跟踪来识别位置。
在一个实施方案中,每当用户面向HMD的侧面时,执行是否需要再校准的确定,其中正面LED和背面LED变得可见(即,从仅正面LED或仅背面LED可见转变而来)。在一个实例中,如果当前阶段出现校准,并且正在对所述阶段进行当前校准,所述系统将在后台运行校准以确定当前校准是否仍然在预定义的容差界限内。例如,如果同一个用户在游戏过程期间对头带进行调整,或者取下HMD进行小尺寸调整,或者一些其他人临时试戴所述HMD,那么正面与背面之间的实际间隔将与初始校准期间用于估计间隔的间隔不同。
对容差界限进行配置或选择,以使得如果新的后台校准显示出呈现干扰、跳转或弹跳很可能会发生(例如,发生在呈现在HMD中的视频图像中),那么新的校准会变成当前校准。
在另一实施方案中,HMD将包括将安置标志的头带调整检测器。可以通过系统和/或游戏执行读取标志,所述标志可以用来要求对几何模型的再校准。举例来说,如果用户在HMD的使用期间调整头带,那么可以经由所述标志提醒系统应重新运行校准。如果调整因为另一用户试戴HMD而发生,那么即使同一阶段正在进行可能也是如此。在更多实施方案中,当启动新的阶段或当系统检测出HMD已经静止或不移动一段时间时,可以生成标志。所述指标可以视为存在以下可能性:在新的阶段发生之前或者甚至在阶段期间已经对头带进行了调整。
图1A图示根据本发明的实施方案的用于视频游戏的互动式游戏过程的系统。示出穿戴头戴式显示器(HMD)102的用户100。HMD 102以与眼镜、护目镜或头盔类似的方式穿戴,并且被配置来向用户100显示视频游戏或其它内容。HMD 102被配置来凭借靠近用户的眼睛提供显示机构(例如,光学器件和显示屏幕)以及递送至HMD的内容的格式向用户提供沉浸式体验。在一个实例中,HMD 102可以向用户的每一只眼睛提供显示区域,所述显示区域占据用户的大部分或甚至全部视野。
在一个实施方案中,HMD 102可以连接至计算机106。至计算机106的连接可以是有线的或无线的。计算机106可以是任何通用或专用计算机,包括但不限于:游戏机、个人电脑、笔记本电脑、平板电脑、移动装置、移动电话、平板、瘦客户端、机顶盒、流媒体装置等。在一些实施方案中,HMD 102可以直接连接至互联网,这样可允许在无需单独本地计算机的情况下进行云游戏。在一个实施方案中,计算机106可以被配置来执行视频游戏(和其它数字内容),以及从视频游戏输出视频和音频以由HMD 102进行呈现。计算机106在本文中也被称作客户端系统106a,所述客户端系统106a在一个实例中是视频游戏机。
在一些实施方案中,计算机可能是本地或远程计算机,并且所述计算机可运行仿真软件。在云游戏实施方案中,计算机是远程的并且可由可在数据中心进行虚拟化的多个计算服务表示,其中游戏系统/逻辑可以被虚拟化以及通过网络分配给用户。
用户100可操作控制器104以提供用于视频游戏的输入。在一个实例中,摄像机108可以被配置来采撷其中定位有用户100的互动性环境的图像。可以对这些采撷的图像进行分析,以确定用户100、HMD102和控制器104的位置和移动。在一个实施方案中,控制器104包括灯(或多个灯),可以对其进行跟踪以确定其位置和定向。另外,如下面进一步详细描述,HMD 102可能包括一个或多个灯,可将所述一个或多个灯作为标记进行跟踪,以在游戏过程期间大致实时地确定HMD 102的位置和定向。
摄像机108可以包括一个或多个麦克风,以从所述互动性环境采撷声音。可处理由麦克风阵列采撷的声音,以识别声音源的位置。可以选择性地利用或处理来自识别的位置的声音,以排除并非来自所述识别的位置的其它声音。另外,摄像机108可以被限定成包括多个图像采撷装置(例如,一对立体摄像机)、IR摄像机、深度摄像机和其的组合。
在一些实施方案中,计算机106可以在计算机106的处理硬件上本地执行游戏。可以获得呈诸如物理媒体形式(例如,数字光盘、磁带、卡、指状驱动器、固态芯片或卡等)等任何形式的游戏或内容,或者经由网络110从互联网下载。在另一实施方案中,计算机106充当经由网络与云游戏供应商112通信的客户端。云游戏供应商112可维护和执行用户100正在玩的视频游戏。计算机106从HMD 102、控制器104和摄像机108传输输入至云游戏供应商,所述云游戏供应商处理输入以影响正在执行的视频游戏的游戏状态。来自正在执行的视频游戏的输出被传输至计算机106,所述输出诸如视频数据、音频数据和触觉反馈数据。计算机106可在传输之前进一步处理数据,或可将所述数据直接传输至相关装置。例如,将视频流和音频流提供至HMD 102,而将振动反馈命令提供至控制器104。
在一个实施方案中,HMD 102、控制器104和摄像机108本身可能是网络连接装置,所述网络连接装置连接至网络110以与云游戏供应商112通信。例如,计算机106可能是诸如路由器等本地网络装置,其不会另外执行视频游戏处理,但是有助于通过的网络流量。HMD102、控制器104和摄像机108至网络的连接可能是有线的或无线的。在一些实施方案中,在HMD 102上执行的或可在显示器107上显示的内容可以从任何内容源120获得。示例性内容源可以包括例如提供可下载内容和/或流内容的互联网站。在一些实例中,所述内容可以包括任何类型的多媒体内容,诸如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站等。
如下面更加详细地描述,玩家100可能正在HMD 102上玩游戏,其中所述内容是沉浸式3D互动性内容。当玩家正在玩时,HMD 102上的内容可以分享给显示器107。在一个实施方案中,分享给显示器107的内容可以允许接近玩家100或远距离的其他用户一起看用户玩游戏。在更多实施方案中,在显示器107上查看玩家100的游戏过程的另一玩家可互动地参与玩家100。例如,在显示器107上查看游戏过程的用户可控制游戏场景中的角色,提供反馈,提供社交互动,和/或提供评论(经由文本、经由语音、经由动作、经由手势等),这样允许未穿戴HMD 102的用户与玩家100、游戏过程或HMD 102中呈现的内容进行社交互动。
图1B图示根据本发明的实施方案的头戴式显示器(HMD)。如图所示,HMD 102包括多个灯200A至200H、200J和200K(例如,其中200K和200J定位朝向HMD头带的背面或背侧)。这些灯中的每一个可被配置成具有特定形状和/或位置,并且可以被配置来具有相同或不同的颜色。灯200A、200B、200C和200D布置在HMD 102的正表面上。灯200E和200F布置在HMD102的侧表面上。并且灯200G和200H布置在HMD 102的转角处,以便跨越HMD 102的正表面和侧表面。应了解的是,可以在用户使用HMD 102的互动环境的采撷的图像中识别所述灯。
基于对所述灯的识别和跟踪,可以确定HMD 102在互动环境中的位置和定向。应进一步了解的是,所述灯中的一些可能是可见的或者可能不可见,取决于HMD 102相对于图像采撷装置的特定定向。而且,不同的灯部分(例如,灯200G和200H)可被暴露用于图像采撷,取决于HMD 102相对于图像采撷装置的定向。在一些实施方案中,惯性传感器安置在HMD102中,所述惯性传感器可在无需灯的情况下提供关于位置的反馈。在一些实施方案中,灯和惯性传感器一起工作,以允许位置/运动数据的混合和选择。
在一个实施方案中,灯可以被配置来将HMD的当前状态指示给附近的其他人。例如,所述灯中的一些或全部可被配置成具有特定颜色布置、强度布置;被配置成闪烁,具有特定开/关配置或指示HMD102的当前状态的其它布置。举例来说,所述灯可以被配置来在相对于视频游戏的其它非活跃游戏过程方面的视频游戏的活跃游戏过程期间(大体上是在游戏的活跃时间线期间或场景内发生的游戏过程)显示不同的配置,诸如导航菜单界面或配置游戏安置(期间游戏时间线或场景可能不活跃或暂停)。所述灯还可以被配置来指示游戏过程的相对强度等级。例如,当游戏过程的强度提高时,灯的强度或闪烁的速度可能提高。
HMD 102可能另外包括一个或多个麦克风。在说明的实施方案中,HMD 102包括限定在HMD 102的正表面上的麦克风204A和204B,以及限定在HMD 102的侧表面上的麦克风204C。通过利用麦克风阵列,可以处理来自麦克风中的每一个的声音,以确定声音的来源的位置。可以各种方式来利用该信息,包括排除不需要的声音源,将声音源与视觉识别相关联等。
HMD 102可能还包括一个或多个图像采撷装置。在说明的实施方案中,示出HMD102包括图像采撷装置202A和202B。通过利用一对立体图像采撷装置,可以从HMD 102的视角采撷环境的三维(3D)图像和视频。可以将所述视频呈现给用户,以在用户穿戴HMD 102的同时向用户提供“视频透明”能力。也就是,虽然从严格意义上来说用户无法看穿HMD 102,但是由图像采撷装置202A和202B采撷的视频可以仍然提供相当于能够看到HMD 102的外部环境就如同看穿HMD 102的功能。
所述视频可以使用虚拟要素进行增强,以提供增强的实景体验,或者所述视频可以其它方式与虚拟要素组合或混合。虽然在说明的实施方案中,示出HMD 102的正表面上有两个摄像机,但是应了解的是,可能存在任何数量的面向外部的摄像机,或者单个摄像机可以安装在HMD 102上并且定向在任何方向上。例如,在另一实施方案中,可能有摄像机安装在HMD 102的侧面上,以提供对环境的额外全景图像采撷。
图2图示使用客户端系统106的游戏过程的一个实例,所述客户端系统106能够将视频游戏内容呈现给用户100的HMD 102。在该图示中,提供给HMD的游戏内容是丰富的互动式3-D空间。如上面所讨论,游戏内容可以下载至客户端系统106,或者在一个实施方案中可由云处理系统执行。云游戏服务112可以包括用户数据库140,允许所述用户数据库140访问特定游戏,与其他朋友分享体验,发表评论以及管理其账号信息。
云游戏服务还可以存储特定用户的游戏数据150,所述游戏数据150可在游戏过程期间、未来游戏过程期间使用,可分享至社交媒体网络,或者用于存储奖品、奖项、状态、排名等。社交数据160也可以由云游戏服务112进行管理。社交数据可以由可经由互联网110与云游戏服务112接口连接的单独社交媒体网络进行管理。经由互联网110,可以连接任何数量的客户端系统106以用于访问内容以及与其他用户互动。
继续参考图2的实例,在HMD中查看到的三维互动式场景可以包括游戏玩法,诸如3D视图中图示的角色。例如P1的一个角色可以由穿戴HMD 102的用户100控制。该实例示出两个玩家之间的篮球场景,其中在3-D视图中,HMD用户100正在将球扣到另一角色身上。另一个角色可以是游戏的AI(人工智能)角色,或者可以由另外一个或多个玩家(Pn)控制。示出穿戴HMD 102的用户100正在围绕使用的空间移动,其中HMD可基于用户的头部移动和身体位置移动。示出摄像机108定位在房间中的显示屏幕上方,然而,为了使用HMD,可以将摄像机108放置在可以采撷HMD 102的图像的任何位置处。为此,示出用户102从摄像机108和显示器107转身约90度,因为HMD 102中呈现的内容可以取决于从摄像机108的视角而言HMD102的定位方向。当然,在HMD使用期间,用户100将移动,转动其头部,在各种方向上观看,以致可能需要利用由HMD呈现的动态虚拟场景。
图3A图示穿戴HMD 102的用户的实例,其中安置在固定位置处的摄像机108指向用户。在一个实施方案中,摄像机108将具有将能够查看用户的位置,以使得在采撷的视频帧中可以看到HMD 102和控制器104。在一个实例中,控制器104可能包括诸如LED灯等标记,可以在跟踪HMD 102的同时跟踪所述标记。在侧视图中,摄像机108正在采撷HMD 102的侧面。出于说明的目的,正面单元102a上的那些LED标记被编号为标记1、2、3和4。带调整单元102b上的LED标记未在侧视图中示出,但是俯视图示出摄像机108将能够从正面单元102a采撷至少标记2和标记4,并且从带调整单元102b采撷标记6。在一个实施方案中,对正面标记与背面标记之间的间隔进行估计。
如上所述,在采撷的视频中检测到图3A的侧视图后,基于对视频帧的分析,执行对估计的距离d1的校准。如果使用的当前阶段尚未出现校准,那么将执行校准,其中对若干视频帧进行分析并将其与从HMD惯性传感器获得的HMD的实际运动数据进行比较。运动数据与图像数据的组合产生距离d1的估计。在一个实施方案中,如上面所讨论,HMD与几何模型相关联,所述几何模型是有关标记中的每一个的定位和形状数字信息。
使用校准数据,利用估计的间隔d1的计算结果对当前使用阶段的几何模型进行更新。随着用户继续玩游戏或与HMD 102互动,如图3B中所示,距离数据被利用来跟踪HMD的空间中的移动和空间定位,以及HMD的倾斜和相对于摄像机108的角度。例如在图3B中,所述图解以俯视图方式示出用户已将头部转回朝向摄像机108。在所述时间点,摄像机可能够看到正面单元102a上的所有标记1至6。在该实例中,间隔d1假设用户可能已经在某一时刻调整了头带102c,以使得HMD将贴合用户的头部。贴合安置是优选的,因为这避免HMD 102在用户的脸上移动。另外,在一个实施方案中,当透过HMD 102查看时,HMD 102的移动也会改变至场景中的场景查看点。
例如,如果对头带102c进行调整,那么正面标记与背面标记之间的实际间隔将改变,所述改变可能会(取决于调整的量)引起由游戏或程序(例如,库文件)的代码所利用的几何模型所预期的标记之间的不一致,并且HMD 102的移动可能不会很好地转化成HMD 102中所呈现的场景中的改变。举例来说,当仅跟踪正面标记(即LED)1至4时,HMD 102的移动将不会改变,因为HMD 102的几何模型保持静止,因为所述标记处于固定位置处。然而,当摄像机在正面LED与背面LED之间移动时,如果头带发生调整(将其调大或调小),那么实际间隔与几何模型或校准的几何模型可能不匹配。在所述情况下,如果一个阶段期间发生改变,或者头带的一些改变或者弯曲使得实际间隔移动,那么所述系统可以检测出需要校准或再校准。
图3C-1、图3C-2和图3C-3图示穿戴利用头带102c捆绑到用户的头部的HMD 102的用户的实例,所述头带连接至正面单元102a和带调整单元102b。在一个实施方案中,带调整单元102b包括调整器。在一个实例中,所述调整器可以是允许绷紧(使得大小变小)或松开(使得大小变大)头带的旋转轮。也可以使用其它调整器,因为不应限制为使用示例性旋转轮。
在对头带进行调节后,用户可以开始在游戏阶段中使用HMD。在该实例中,用户面向摄像机108,如从俯视图中示出。虽然用户正在游戏阶段中互动,但是摄像机被用于跟踪HMD 102的移动和位置。如上所述,惯性传感器也在HMD 102的跟踪期间使用,并且所述惯性数据可以用来增强摄像机108的光学跟踪。另外,惯性传感器在校准期间使用,其中结合在视频图像中识别的标记对图像数据进行分析。
例如,惯性传感器生成HMD 102的位置数据、旋转数据和一般移动数据,在一些实施方案中,所述数据在一个视频帧的生成期间多次生成。因为生成的惯性数据非常丰富且具有高保真度,所以可以对若干个帧时间段上识别的图像标记或目标之间的距离进行估计。为此,校准将产生对例如HMD 102的正面LED与背面LED之间的标记之间的实际距离的估计。在示例性采撷的帧302中,示出HMD 102的正面单元102a的正面是可见的。
图3D-1、图3D-2和图3D-3图示用户已经将其头部从图3C中示出的起始位置旋转离开约45度的实例。应理解的是,旋转不必是完美旋转,因为正常人的旋转移动可以包括旋转的同时面朝上和面朝下(例如,倾斜)。出于举例的目的,示出简单的旋转,并且假设也发生了其它运动(例如,在旋转期间的不同时间点上/下倾斜)。在运转中,移动在一些时间段上发生,所述移动可响应于用户希望探索游戏中的不同场景或者查看虚拟空间中的不同内容或者查看电影或视频内的不同场景区域而发生(在任何时间点)。在一个时间点上,如图3D-3中所示,采撷的帧303将包括图像数据,所述图像数据包括标记2、4和6。出于举例的目的,随着对图像数据进行了分析,假设这是第一次在帧中采撷背面标记6。如果当前阶段尚未发生校准,或者确定距离上一次校准已经过去一段时间,那么系统将执行校准操作,其中对正面LED与背面LED之间的距离进行了计算。
如上面所讨论,这通过对来自HMD 102的惯性传感器(例如,陀螺仪和加速度计)的旋转数据和位置数据进行分析完成。该分析将呈现用于进一步跟踪的估计的间隔距离。在一个实施方案中,该初始估计的距离被保存至HMD 102的几何模型,所述几何模型包含关于LED的空间间隔和几何形状的信息以及模型化的HMD 102的其它特征。在其它实施方案中,使用包括估计的距离的校准,直至进一步检查指示改变已经发生(即,新的检查生成与当前校准的几何模型中使用的间隔距离不同的间隔距离)。
该改变可能在以下情况下发生:当用户调整头带时,或者取下HMD 102并且另一用户进行了调整并且试戴HMD 102,或者头带102在游戏阶段期间变得弯曲或移动。如果新估计的间隔距离超出预定义的界限,那么新估计的间隔距离被添加至校准的几何模型。如上面所提及,校准的几何模型可以被应用和/或系统用来提供对HMD 102的移动和位置的准确跟踪,以及用来提供与穿戴HMD 102的用户做出的方向、移动和运动一致的内容至HMD 102。
通过维持几何模型的校准更新为任何识别的距离改变或头带大小的实际调整,防止提供至HMD 102的内容在HMD 102中显示时出现跳动、弹跳或不准确的抖动,尤其当用户将HMD 102移动至侧面时(即,不再大致上与摄像机108正交)。
图3E-1、图3E-2和图3E-3图示用户已经从图3C-1和图3C-2中示出的位置移动离开约90度。在该点处,如果尚未做出调整,并且校准似乎在界限内(如与更多后台校准相比,但是未应用至所述模型),那么系统将继续使用正面LED与背面LED之间的估计的距离来呈现内容至HMD 102。
图3F-1、图3F-2和图3F-3图示游戏阶段中用户已经从图3E-1的位置旋转约180度的时间。在该实例中,摄像机108正在生成采撷的帧302,其中标记1、3和5是可见的。如上所述,可继续使用间隔距离的原始校准直至下一游戏阶段,直至用户停止移动并且然后重新开始,或者当用户调整头带时。在另一实施方案中,所述系统可以再次通知正面LED和背面LED可查看,但是也通知现在是对侧可查看。换句话说,图3E-3的可查看LED是图3F-3中的那些可查看LED的相对侧LED。
因此,系统可以要求独立地对每一侧进行校准。因此,虽然已经对图3E-3中的侧面进行校准,并且在几何模型中使用估计的距离间隔,但是系统可以独立地运行对另一侧的校准,并且估计被添加至几何模型的另一间隔距离。以该方式,两侧的单独校准可以解决以下情况:其中对头带的一侧进行调整而未对头带的另一侧进行调整,或者如果头带中的扭结在背面LED与正面可见LED之间产生不同的实际间隔。
图3G-1、图3G-2和图3G-3图示HMD 102的背面在采撷的帧302中可见的实例。在该实例中,使用HMD 102的原始几何模型可以发生LED 5和LED 6的跟踪,因为LED 5和LED 6位于不会改变的固定结构上。在其它实施方案中,如果背面LED未相对于彼此固定,那么也可以随着用户的头部在不同的时间旋转将背面LED中的一个校准为正面LED并且然后将背面LED校准为其它LED。
图4A图示HMD 102和摄像机108的俯视图,所述摄像机108被定位以能够识别与HMD102相关联的标记(LED)。HMD 102的俯视图示出借助于头带102c连接的正面单元102a和带调整单元102b。正面单元102a包括HMD 102的光学块区段。光学块被配置来可由调整间隙402进行调整。为此,当附接至用户的头部时,光学块可以移动朝向用户的面部以及从用户的面部移动离开。在一个实施方案中,调整间隙402是可调整的从而为HMD 102用户提供舒适,并且还在用户的眼睛与光学块中的结构之间提供额外空间。额外空间可以被利用来容纳用户的眼镜。如图所示,带调整单元102b包括旋转轮404,所述旋转轮404可用于调整头带,以使得所述头带收缩到带调整单元102b中或者扩张到带调整单元102b以外。
如上所述,也可以使用其它调整器,因为不应限制为使用示例性旋转轮。举例来说,其它调整器可以包括皮带调整器、切口调整器、带上的销孔调整器、卡扣式或咬合式调整器、维可牢调整器、胶带调整器、带扣调整器、绳子调整器、链连接器调整器、弹性调整器或各种类型的调整器的组合以及夹子和锁。
进行调整从而为已经将HMD放置到其头部上的用户提供贴合匹配或舒适匹配。因为该可调整性,所以从HMD 102的正面到背面之间的实际间隔距离D将基于做出的调整而变化。出于说明目的,如果将光学块完全推向用户面部,并且对旋转轮404进行调整以使得头带的大小为其可能的最小大小,那么间隔距离将是dC。然而,鉴于用户做出的自定义调整,间隔dA将针对光学块中的调整而出现变化,并且间隔dB将针对带调整单元102b中的调整而出现变化。在任何一个时间点,光学块的正面单元中的LED与带调整单元102b中的背面LED之间的实际物理间隔D将会变化,并且因此执行如上所述的校准,以基于当前调整识别正面LED与背面LED之间的估计的间隔距离。
如图所示,间隔距离等于:D=dC+/-dA+/-dB。HMD的使用期间的校准将因此识别对可见背面LED与可见正面LED之间的实际间隔的密切近似估计,因此限定间隔距离。然后将所述间隔距离添加至HMD 102的几何模型,所述几何模型被利用以基于使用期间HMD的位置、旋转、移动和定向呈现内容至HMD。
图4B图示HMD 102的俯视图的实例,其中间隔d1被物理地安置用于物理HMD。所述物理安置可以由于对HMD的头带102c做出的调整而发生。当分析视频帧410时将示出基于对多个帧的分析以及对由HMD 102中的传感器产生的惯性数据的同时分析对间隔距离d1的估计。
相比之下,图4C图示对HMD 102进行调整以使得头带102c更大之后的俯视图。该过程还将包括对采撷的视频帧的分析,以识别背面LED与正面LED的当前位置,以及然后运行校准操作来确定得到的估计的间隔是否与先前对图4B的大小进行的校准相同。在一个实施方案中,系统将确定所述大小现在大了Δd,换句话说大小是d1+Δd,现在是d2。如果差值Δd大于系统可接受的界限,那么将维持原始校准。
如果新估计的距离d2与估计的距离d1不同,那么对几何模型中的校准数据进行更新以包括距离d2。在另一实施方案中,代替依赖于额外校准步骤来识别新校准是否生成比原始估计的距离更大的估计的距离,对旋转轮404或任何其它调整机构的调整可以触发信号,诸如指示头带102c的大小改变的标志或数据。
因此,可以将该信号传达回到系统,所述系统然后将要求执行新的校准以识别正面LED与背面LED之间的新估计的间隔。在其它实施方案中,当系统确定HMD的不活跃或不移动已经发生一段时间时可以执行再校准。这将是正面LED与背面LED之间的距离需要新校准数据的指示信号,因为非常可能的是新用户已经戴上HMD 102以开始新的游戏阶段或参与现有游戏阶段。
举例来说,在第一玩家享受游戏阶段期间,附近的第二玩家可以希望查看HMD中呈现的内容,并且所述第一玩家可以或可能移除HMD使得第二玩家可以在短时间内查看内容。在该分享期间,可能的是可能已经对HMD头带进行了调整。实际上,对于发生的调整可能的是:用于第二玩家临时穿戴HMD的第一调整和第二调整,以使得第一玩家可以在从第二玩家拿回HMD之后重新开始游戏阶段。
图4D提供可以执行用来识别HMD上的正面标记与和所述HMD的头带相关联的可见背面标记之间的间隔距离的操作的示例性流程图。操作420包括当正在与多媒体内容互动的用户穿戴头戴式显示器时采撷所述头戴式显示器的视频帧。如上所述,所述多媒体内容可能包括各种类型的媒体。媒体的类型可以包括视频游戏、电影、网站内容、视频片段、音频内容、视频和音频的组合、视频会议、社交媒体互动式通信和/或其的组合。
在当穿戴HMD的用户正在与多媒体互动的时间期间,将内容提供给HMD进行呈现以及由用户进行查看。在一个实施方案中,还提供摄像机用于查看HMD的位置和定向以及移动。在一个实施方案中,摄像机产生呈视频帧形式的多个图像。然后在操作422中,可以检查视频帧,以识别安置在HMD上的标记。如上面所提及,标记可以包括LED。
在其它实施方案中,标记可以包括以下标记:不照明、形状、反向反射表面、不同颜色的表面、不同颜色区域或表面、LED和表面的组合、LED的组合、反向反射带、反射漆、反射表面、数值数据、QR代码数据、图案、图像和其的两个或更多个的组合。为此,虽然一个实施方案利用使用颜色照亮HMD的区域的LED,但是所述颜色可以改变,并且被照明的LED表面或区域的形状和定向也可以改变。在一些实施方案中,HMD可以使用多个不同的颜色,以使得特定颜色识别位置。在其它实施方式中,当跟踪多个HMD时,可以在HMD的不同部分或不同HMD上利用不同的颜色。如果跟踪多个HMD用户,那么可以分配不同的颜色至不同的玩家。LED还可以被配置来间歇地以不同模式照亮,或者借助于由系统采撷和分析的图像数据有规律地传达代码或数据。
在一些实施方案中,可对LED进行配置以改变照明强度。可以诸如响应于检测环境光照动态地控制照明的改变。如果房间中的光照明亮,那么可以强化照明或者可以选择不同的颜色以改进或增强跟踪。在一些其它实施方案中,选择的颜色可能是不同的颜色,或者可能是提供与房间、环境、人的衣服或其的组合的周围环境更高对比度的颜色。
在操作424中,可以通过分析由摄像机采撷的图像数据来跟踪识别的标记。在正面光学块上识别的标记有助于对HMD的跟踪,所述标记以一种布置定向,以使得允许对HMD的正面光学块的位置和定向进行识别。在图示的实例中,当从摄像机108直接查看时,所述标记定位在大致矩形光学块的正面转角处。因此,当分析视频帧中的图像数据时,当用户将其头部向下移动时两个上部LED和两个底部LED在由系统采撷的图像中似乎变得更近。可以做出类似的处理,以确定用户何时向左转,向右转,向左倾斜,向右倾斜或诸如旋转和倾斜等移动的组合。在一个实施方案中,操作426确定头带调整单元上的标记在采撷的视频帧中是否可见。
如上所述,当使用和穿戴HMD时,带调整单元大致上朝向用户头部的背面安置。为此,带调整单元上的标记在当正面标记中的至少两个也可见的时间点将是可见的。在该点处,操作428中可以发生校准操作,以识别正面LED与背面LED之间的距离。在该操作中,对帧中的至少一个进行检查并且对惯性数据进行检查,以估计正面光学块上的可见标记与带调整单元上的可见标记之间的间隔距离。如上所述,可以对多个帧进行分析,以识别HMD的移动以及图像数据中的移动改变,所述移动和改变被一起映射以识别估计的间隔距离。
在一个实施方案中,将可以包括陀螺仪数据和加速度计数据的惯性数据与不同时间点相关联,在所述不同时间点各种帧相对于其它帧示出LED的移动。在一些实施方式中,所利用的陀螺仪可以每帧多次的速度提供样本,所述样本是允许对正面LED与背面LED之间发生的移动量进行非常准确的估计的一组丰富的数据,所述数据允许对间隔距离的准确估计。在一些实施方案中,加速度计可以最高约2000帧/秒的速度提供样本,并且该信息也可用于识别HMD的位置和旋转。
在一个实施方案中,操作430被处理用于确定是否已经检测到指示带调整单元的大小变化的标志。例如,带调整单元中的电路可以触发信号、标志,或者可以传达指示对头带做出的改变和/或改变的量的数据。如果尚未检测到标志,那么操作移动到432,其中HMD使用可以继续检查额外帧和惯性数据以确定是否有必要对估计的距离进行更新,同时将估计的间隔距离保持在适当位置并且与HMD的几何模型相关联。如果在操作430中检测出已经安置标志,那么方法移动到操作434,前提是已经在头带中安置了不同的距离,这将要求对间隔距离进行新的估计。在对新的间隔距离进行估计后,将新的间隔距离添加至HMD 102的三维模型,然后在游戏阶段、新的游戏阶段或者HMD的进一步使用中使用所述新的间隔距离。
图4E图示另一流程图实例,所述实例被利用来对HMD 102的正面单元的LED与和所述HMD的背面部分相关联的LED之间的间隔距离进行校准。在该实例中,在操作440中,对HMD的视频帧进行检查,以识别用于光学位置和定向跟踪的标记。在操作442中,确定正面标记和背面标记在视频帧中是否可见。如果所述标记不可见,那么所述方法继续识别并且将HMD的正面单元上的标记用于跟踪,因为正面单元上的标记在正面单元上具有固定定向,所以其间隔不会改变。因为所述标记固定在正面单元上,所以HMD的几何模型与HMD的正面单元上的已知间隔相一致。
在操作444中,在正面标记和背面标记在至少一个帧中可见后,所述操作根据视频帧数据和HMD惯性数据执行对HMD的正面标记与背面标记之间的距离的估计。通过以下方式对间隔进行估计:检查视频帧数据并将其与当用户移动其头部时的惯性数据相联系,因此以特定速度、定向和距离移动可见LED的位置。在确定估计的距离后,将所述估计的距离间隔添加至HMD的原始几何模型。
通过将估计的距离添加至模型,所述模型现已被校准为正面可见标记与背面可见标记之间的估计的间隔距离。在操作446中,确定游戏阶段是否已经结束。在以下情况下可以确定游戏阶段已经结束:当HMD不再移动达到一段时间时;HMD放置在表面上且已经不再移动达到一段时间;HMD不再出现与可在图像数据中检测到的用户一起移动;传感器指示器生成指示游戏阶段结束的标志;游戏代码已经结束与游戏的互动性;用户已经关闭单元;用户已经将单元安置为睡眠模式;或者用户正在与显示数据互动或者浏览屏幕或无需对HMD进行运动跟踪的安置等。因此,当游戏阶段已经结束时,应确定的是必需对正面标记与背面标记之间的距离进行更新以用于下一用户或下一游戏阶段。
如果操作446确定游戏阶段尚未结束,那么操作448中做出决定来确定是否已经安置指示头带被调整的标志。如果已经调整头带且安置了标志,那么系统将要求应对正面标记与背面标记之间的距离进行更新以用于下一游戏阶段或继续玩游戏或使用。如果操作448中未安置标志,那么系统可以进行在使用期间对估计的距离进行改进。如上所述,这可以周期性发生或者每当用户将HMD的侧面暴露于摄像机时发生,即仅将正面LED暴露于摄像机之后发生。
在一些实施方案中,可以计算估计的距离,但是校准不会被自动更新到几何模型中。在该实例中,校准可以继续连续地发生,直至校准中的一个识别出估计的距离显著不同或者超出容许的界限,因此新校准的估计的距离应添加至几何模型以供继续使用。
在一个实施方案中,已经确定的是,最大约50mm的估计的间隔距离改变在界限内(或者最大约30mm在界限内,或最大约20mm在界限内,或者最大约15mm在界限内,或者最大约10mm在界限内,或者最大约5mm在界限内),并且将不会不利地影响跟踪和多媒体内容至HMD的递送。在一些实施方案中,如果估计的间隔距离已改变超过约一些预定义的mm值(例如,1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm、9mm、10mm、15mm、20mm等),那么应将新估计的间隔距离添加至几何模型,以避免跟踪位置与软件和系统预期HMD所在的位置的不一致性。当所述不一致发生时,可能的是,HMD上呈现的图像或内容可以显示出不正常的干扰、弹跳或某种跳动。如果估计的间隔距离的差异最小,小于预定义的mm值(例如,1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm、9mm、10mm、15mm、20mm等),那么确定的是不必要对几何模型进行更新,因为图像将在无明显品质损耗的情况下呈现。
在一些实施方案中,间隔距离改变的界限或量可以根据HMD102中所显示的内容而变化。如果内容要求更高的精确性,诸如在复杂或非常丰富的图形密集型游戏中,那么界限可能较低。如果内容是网络数据、网页或不会经常改变或大致上固定或较少互动的其它内容,那么界限可以较大。
图4F图示另一实施方案,其中视频帧和惯性数据的检查被执行用于识别HMD的正面标记与背面标记之间的间隔距离。在该实例中,操作460识别HMD的几何模型和HMD上的标记。HMD上的标记包括正面标记和背面标记。如上面所提及,正面标记固定在相对于HMD的正面单元的一组定向上。背面标记耦接至可调整头带。因此,通过调节头带,背面标记将被调整成距离HMD的正面单元的标记更远或更近。
必须对二者之间的间隔距离进行估计,以使得可以将所述距离校准为HMD的几何模型。在操作462中,当用户穿戴HMD时采撷所述HMD的视频帧。在操作464中,确定正面标记和背面标记在游戏阶段或使用期间采撷的视频帧中是否可见。如果所述标记不可见,那么在操作462中方法利用来自安置在HMD的正面单元上的标记的位置和定向信息继续采撷HMD的视频帧,所述标记的间隔距离和相对定向以及形状从几何学上看是已知的。
在操作466中,确定当检查来自HMD的加速度计数据和陀螺仪数据时,必须检查HMD的一个或多个帧。然后将由摄像机采撷的HMD的一个或多个帧与加速度计数据和陀螺仪数据相关联。通过结合惯性数据分析连续帧和相关联的图像帧,估计在图像帧中可见的正面标记与背面标记之间的间隔距离。在操作468中,确定是否已经执行校准。如果尚未执行校准,那么方法移动到操作472。在操作472中,对HMD的几何模型进行校准。
为此,几何模型将包括如在操作466中确定的正面标记与背面标记之间的估计的距离。如果确定校准已在过去发生,那么方法从操作468移动到操作470。在操作470中,确定校准是否准确。如上所述,在以下情况下校准可能变得不准确:如果已经对头带进行调整;头带中已经引入扭结;或者已经将HMD与已经对头带进行调整或者对HMD进行操纵以产生不同的估计的间隔的另一用户分享。
如果已经通过当正面标记和背面标记可见时再次检查视频帧而对不同的估计的间隔进行了确定,并将所述不同的估计的间隔与惯性数据进行比较,并且所述新估计的间隔距离大于允许的界限,那么在操作472中对校准进行更新。如果校准保持准确,或者保持在界限内,那么HMD的校准的几何模型将继续与正面标记与背面标记之间初始确定的间隔距离一起使用。
因此,当跟踪时以及当呈现多媒体内容时将继续使用校准的几何模型以确定HMD的位置和定向,所述多媒体内容至少会存在由用户对HMD的移动和/或位置的改变。如上所述,所述方法可以继续执行校准,所述校准未添加至几何模型但是被用于确定何时需要响应于对HMD的头带的某些改变或调整对间隔距离进行更新。
图5A提供根据本发明的一个实施方案的HMD 102的俯视图的实例。在该实例中,示出的是,与HMD的正面单元102a相关联的光学块包括各种部件。在不详述光学块内所包含的所有部件的情况下,具有跟踪和确定正面LED与背面LED之间的估计的间隔距离的用途的一些部件以举例方式示出。
在块502中,示例性部件可以包括加速度计510、陀螺仪512和LED控制电路514、图像处理电路516、光学器件518、显示屏幕520以及当与客户端系统106通信时用于呈现内容至HMD的其它部件和电路系统。如上面所提及,HMD可以直接与本地客户端系统106通信,并且可借助于有线或无线连接进行连接。在一个实施方案中,HMD包括用于与HMD通信的电路。所述电路可以用于传输信号和/或数据至计算系统以及从计算系统接收信号和/或数据。呈无线配置的电路可以包括无线通信链路。呈有线构造的电路可以包括用于HMD与计算系统之间的接通、连接、延伸和/或接口连接的电缆连接器和接口。
在一些实施方式中,HMD 102的用户也可以使用控制器104或另一输入技术与HMD中呈现的内容互动。在另一实施方案中,HMD102可以包括用于直接与路由器或网络部件通信的电路系统,所述路由器或网络部件允许与云基础设施的通信。
如进一步示出,HMD 102可以包括由头带部分102d限定的额外头带。所述额外头带可能包括衬垫,并且可以与头带102c分开进行调整。HMD 102的俯视图设有用户头部的图解,所述用户头部上定位有HMD。进一步图示的是任选部件504,所述任选部件504可集成或包含在带调整单元102b内。在一些实施方式中,所述部件可以包括块504a中示出的部件。
块504 80包括加速度计522、陀螺仪524、头带调整检测器526,所述头带调整检测器526被配置来生成标志530。在一个实施方案中,当检测出已经诸如通过调整旋转轮404对头带做出调整时对标志530进行安置。在另一实施方案中,块504b可能安置在带调整单元102b内。在该实例中,带调整单元102b不包括电路系统,但是包括将安置在光学块(502)中的电路系统连接至LED 5和LED 6的简单接线。
在另一实施方案中,块504c可以包括加速度计522并且任选地包括被利用来生成标志530的头带调整检测器526。因此,应理解的是,在本文中被称作带调整单元102b的头带的背面区段可以不包括电路系统,或者可以包括额外电路系统以允许凭借来自惯性传感器的输出对位置进行进一步确定。
图5C图示穿戴HMD 102的用户的侧视图的实例,其中正面单元102a安置在用户脸部和眼睛上方,同时连接至头带102c和带调整单元102b。图5C图示HMD 102的侧视图,以示出包括正面单元102a的光学块的相对定位以及连接至头带102c的带调整单元102b的定位。
如图所示,当HMD 102定位在用户头部上方时,光学块和带调整单元102b的定位将具有大致上已知的相对定向。如果带调整单元102b被配置成包括背面加速度计和陀螺仪,那么可以从HMD的背面和HMD的正面二者收集数据,所述HMD已经包括正面加速度计和陀螺仪。在一个实施方案中,可以对从来自HMD的正面和来自背面HMD的惯性传感器获得的数据进行标绘,以确定部件的相对定位,诸如相对于HMD的中心点(例如,用户头部将驻留的近似中心)的定位。
例如,正面加速度计和背面加速度计可以生成有关旋转力和相对于重力的旋转角度的数据。在大致正常或静止位置处,光学块将大致上平行于由正面加速度计确定的重力。在相同位置处,背面加速度计可能会出现相对于重力的旋转角度。因此可以对从正面加速度计和背面加速度计接收的位置和定向数据进行映射或监测,以确定何时已在头带中进行调整,所述调整将要求对正面LED与背面LED之间的间隔距离进行再校准。在另一实施方案中,通过检查正面LED与背面LED之间的相对惯性数据,通过简单地使用HMD的正面区段与背面区段的惯性数据对间隔距离进行估计,无需依赖于对由摄像机采撷的视频帧的检查。
因此,可以检查正面加速度计数据与背面加速度计之间的俯仰和倾斜,以识别HMD的正面区段与背面区段之间的近似中心点间隔。因此,头带的调整将改变至中心的距离,这然后将表明需要对HMD的几何模型中的估计的间隔距离进行调整,以允许在使用期间对HMD进行准确跟踪。另外,通过将陀螺仪包括在正面和背面中,可以减少陀螺仪数据中的错误,进而可以随着时间推移抵消或改进差异。
因此,在一些实施方式中,如果背面头带中存在加速度计,那么可以确定背面与正面的倾斜度。这可能表明例如带中存在挠曲。然后可以借助于建议将该信息传达给用户,例如像通过HMD的屏幕中的消息。
另外,在具有正面加速度计和背面加速度计以及陀螺仪的情况下,可以估计头带距离正面加速度计的距离。因为背面加速度计将出现较大的向心加速度(例如,因为其在比正面加速度计更长的“手臂”上行进),所以这是可能的。并且,因为HMD的旋转(例如,使用陀螺仪)有多快是已知的,所以可以确定或估计加速度计彼此相距多远。该信息可以用来确定估计的间隔距离,所述估计的间隔距离然后可作为校准添加至HMD 102的几何模型,并且被用于在内容的呈现期间进行跟踪。
另外,因为加速度计和陀螺仪二者均安置在背面头带上,所以可以运行两个独立跟踪“装置”,以及将结果平均化,或者执行额外估计或混合。在一个实施方案中,正面LED与背面LED之间的该估计的间隔将是所述LED之间的差异。在更多实施方案中,如果在HMD的两侧对正面LED与背面LED之间的间隔进行估计(例如,单独地),那么可以将结果混合或融合在一起以得到在几何模型的两侧上使用的更优化的估计的间隔距离。
图6A至图6C图示根据一个实施方案的当穿戴在个人用户的头部上的HMD 102的各种视图。在图6a中,示出LED 2可以围绕HMD102的正面和侧面包裹。对于LED 4,可以发生相同的情况。以此方式,LED 2和LED 4从正面和从侧面二者可见。当用户转向侧面时,LED 6将也可见,并且LED 2和/或LED 4中的至少一个也将可见(例如,取决于角度、倾斜度、定向和/或位置)。背面区段102b也被示出连接至头带102c。
图6B示出当正面单元面向摄像机时的HMD 102。在该实例中,如果用户面向下,那么可能的是有时仅LED 1和LED 2可见。然而,如果用户锁住,那么LED 3和LED 4将与LED 1和LED 2可见,取决于用户的头部相对于摄像机108的定向。图6C示出俯视图,其中LED 1和LED 2以及LED 6和LED 5可能是可见的。也示出背面区段102b上的调整器。另外示出头带部分102d,所述头带部分102d可能是用于提供额外支撑和舒适度的第二头带。头带部分102d具有其自身调整器,但是所述调整器可能通常不会影响背面LED相对于正面LED的空间物理位置。
图7示出HMD的侧视图。在该实例中,示出具有调整器404的背面区段102b,所述背面区段102b有时可以被扯下或者可以扭曲。所述改变可以会引起对背面LED相对于正面LED的校准的定位的调整。在此种情况下,可以对校准的间隔距离进行调整或更新,并且也对HMD的几何模型进行更新。
图8图示根据一个实施方案的在使用期间穿戴HMD 102的用户。在该实例中,示出使用从由摄像机108采撷的视频帧获得的图像数据对HMD进行跟踪802。另外,示出也可以使用从由摄像机108采撷的视频帧获得的图像数据对控制器进行跟踪804。也示出HMD经由电缆806连接至计算系统106的配置。在一个实施方案中,HMD从同一电缆获得电力,或者可以耦接至另一电缆。在另一实施方案中,HMD可以具有可充电电池,以便避免额外的电源线。
参考图9,示出图示根据本发明的实施方案的头戴式显示器102的示例性部件的图解。应理解,从HMD 102可以包括或排除更多或更少的部件,取决于启用的配置和功能。头戴式显示器102可包括用于执行程序指令的处理器900。存储器902被提供用于存储目的,并且可能包括易失性和非易失性存储器二者。包括显示器904,其提供用户可进行查看的可视界面。
显示器904可以由一个单个显示器限定,或者呈针对每一眼睛的独立显示屏幕的形式。当提供两个显示屏幕时,可以分开提供左眼视频内容和右眼视频内容。视频内容分开呈现至每一眼睛例如可以提供对三维(3D)内容的更好沉浸式控制。如上所述,在一个实施方案中,通过使用针对一个眼睛的输出将HMD 102的第二屏幕内容提供给第二屏幕107,并且然后对内容进行格式化以呈2D格式显示。在一个实施方案中,一个眼睛可以是左眼视频馈送,但是在其它实施方案中,其可以是右眼视频馈送。
可以将电池906提供作为头戴式显示器102的电源。在其它实施方案中,电源可以包括至电力的输出连接。在其它实施方案中,可提供至电力的出口连接和电池906。运动检测模块908可能包括各种类别的运动敏感硬件中的任何一个,诸如磁力计910、加速度计912和陀螺仪914。
加速度计是用于测量加速度和重力引起的反应力的装置。单轴线模型和多轴线(例如,六个轴线)模型能够检测幅值和不同方向上的加速度方向。加速度计被用于感测倾角、振动和冲击。在一个实施方案中,三个加速度计912被用于提供重力的方向,其给出用于两个角度(世界空间俯仰和世界空间滚转)的绝对参考。
磁力计测量头戴式显示器附近的磁场的强度和方向。在一个实施方案中,在头戴式显示器内使用三个磁力计910,从而确保用于世界空间偏转角的绝对参考。在一个实施方案中,设计磁力计,以跨越±80微特斯拉的地球磁场。磁力计受金属影响,并且提供与实际偏转单调的偏转测量结果。由于环境中的金属的缘故,磁场可能会扭曲,这引起偏转测量结果的偏离。如果必要,则可以使用来自诸如陀螺仪或摄像机等其它传感器的信息来校准该偏离。在一个实施方案中,加速度计912和磁力计910一起使用以获得头戴式显示器102的倾角和方位角。
陀螺仪是基于角动量的原理测量或维持定向的装置。在一个实施方案中,三个陀螺仪914基于惯性传感提供关于越过相应轴线(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而,陀螺仪可以随着时间漂移而无需存在绝对参考。这要求周期性地重置陀螺仪,可以使用诸如基于对象的视觉跟踪、加速度计、磁力计等的位置/定向确定的其它可用信息来完成。
提供摄像机916用于采撷真实环境的图像和图像流。头戴式显示器102中可以包括一个以上摄像机(任选地),包括背向摄像机(当用户正在查看头戴式显示器102的显示器时远离用户的指向)和正向摄像机(当用户正在查看头戴式显示器102的显示器时朝向用户的指向)。另外,可以在头戴式显示器102中包括深度摄像机918,用于感测对象在真实环境中的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器920。而且,可包括麦克风922用于从真实环境采撷音频,所述音频包括来自周围环境的声音,由用户做出的语音等。头戴式显示器102包括用于提供触觉反馈给用户的触觉反馈模块924。在一个实施方案中,触觉反馈模块924能够引起头戴式显示器102的移动和/或振动,以便提供触觉反馈给用户。
提供LED 926作为头戴式显示器102的状态的视觉指示器。例如,LED可以指示电池量、电源通电等。提供读卡器928以使得头戴式显示器102能够从存储器卡读取信息和向存储器卡写入信息。USB接口930被包括作为接口的实例,所述接口用于启用至外围装置的连接或至诸如其它便携式装置、计算机等其它装置的连接。在头戴式显示器102的各种实施方案中,可包括各种类别的接口中的任何一个,以启用头戴式显示器102的更大的连接性。
可包括WiFi模块932用于经由无线网络技术启用至互联网的连接。而且,头戴式显示器102可能包括用于启用至其它装置的无线连接的蓝牙模块934。可能也包括通信链路936用于至其它装置的连接。在一个实施方案中,通信链路936利用红外传输进行无线通信。在其它实施方案中,通信链路936可利用各种无线或有线传输协议中的任何一个来与其它装置通信。
包括输入按钮/传感器938以向用户提供输入接口。可能包括各种类别的输入接口中的任何一个,诸如按钮、手势、触摸板、操纵杆、轨迹球等。超声通信模块940可能包括在头戴式显示器102中,用于促进经由超声技术与其它装置进行通信。
包括生物传感器942以启用对来自用户的生理数据的检测。在一个实施方案中,生物传感器942包括一个或多个干电极,所述一个或多个干电极用于经由用户的皮肤、声音检测、眼睛视网膜检测以识别用户/外形等来检测用户的生理信号。
已经将头戴式显示器102的前述部件仅描述成可能包括在头戴式显示器102中的示例性部件。在本发明的各种实施方案中,头戴式显示器102可能包括或可能不包括各种前述部件中的一些。头戴式显示器102的实施方案可能另外包括本文未描述但本领域已知的其它部件,以用于促进如本文所描述的本发明的方面的目的。
本领域技术人员将了解,在本发明的各种实施方案中,前面提及的手持式装置结合显示器上显示的互动式应用来利用,以提供各种互动功能。本文所描述的示例性实施方案仅以举例且不受限制的方式提供。
在一个实施方案中,本文所称的客户端和/或客户端装置可能包括头戴式显示器(HMD)、终端、个人电脑、游戏机、平板电脑、电话、机顶盒、公用电话间、无线装置、数字板、独立装置、手持式玩游戏装置等等。通常来说,客户端被配置来:接收编码的视频流;对视频流进行解码;以及将得到的视频呈现给用户,例如游戏的玩家。接收编码的视频流和/或对视频流进行解码的过程通常包括在客户端的接收缓冲器中存储个别视频帧。可在与客户端成一体的显示器上或者诸如检测器或电话灯单独装置上将视频流呈现给用户。
客户端被任选地配置来支持一个以上游戏玩家。例如,游戏机可被配置来支持两个、三个、四个或更多个同时玩家(例如,P1,P2,…Pn)。这些玩家中的每一个可以接收或分享视频流,或者单个视频流可能包括帧的区域,所述帧专门针对每一玩家生成,例如基于每一玩家的视角生成。任何数量的客户端可以是本地的(例如,协同定位的)或者是地理上分散的。包括在游戏系统中的客户端数量可能变化击打,从一个或两个到数千个、好几万或更多。如本文所使用,术语“游戏玩家”被用于指代玩游戏的人,并且术语“玩游戏的装置”被用来指代用于玩游戏的装置。在一些实施方案中,玩游戏的装置可能指代协作以递送游戏体验至用户的多个计算装置。
例如,游戏机和HMD可以与视频伺服系统协作,以利用HMD递送查看的游戏。在一个实施方案中,游戏机从视频伺服系统接收视频流,并且游戏机传送视频流,或者将视频流更新至HMD和/或电视以进行呈现。
另外,HMD可以用来查看和/或与产生或使用的任何类型的内容互动,诸如视频游戏内容、电影内容、视频剪辑内容、网络内容、广告内容、比赛内容、赌博游戏内容、会议呼叫/会议内容、社交媒体内容(例如,邮件、消息、媒体流、友员事件和/或游戏过程)、视频部分和/或音频内容,以及被制作用于经由互联网利用浏览器和应用从来源消耗的内容以及任何类型的流内容。当然,前述内容列表并不受限,因为可以呈现任何类型的内容,前提是所述内容可在HMD中查看,或者可以呈现至屏幕或HMD的屏幕。
客户端可能但不要求还包括被配置来修改接收的视频的系统。例如,客户端可以被配置来执行进一步呈现,以将一个视频图像重叠在另一视频图像上,从而收获视频图像等。例如,客户端可以被配置来接收诸如I帧、P帧和B帧等各种类型的视频帧,以及将这些帧处理成用于显示给用户的图像。在一些实施方案中,客户端中的一个成员被配置来执行进一步呈现、遮蔽、转换成3-D、转换成2D、失真消除、调整大小或视频流上的类似操作。客户端中的成员被任选地配置来接收一个以上音频或视频流。
客户端的输入装置可能包括例如单手游戏控制器、双手游戏控制器、手势识别系统、目光识别系统、语音识别系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、摄像机、待开发的输入装置等。
视频源可能包括呈现逻辑,例如硬件、固件和/或存储在诸如存储装置等计算机可读媒体上的软件。该呈现逻辑被配置来基于游戏状态创建视频流的视频帧。呈现逻辑的全部或一部分任选地安置在一个或多个图形处理单元(GPU)内。呈现逻辑通常包括处理阶段,所述处理阶段被配置来确定物体之间的三维空间关系和/或用于基于游戏状态和观点应用适当结构。呈现逻辑可以产生编码的原始视频。例如,可以根Adobe标准、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x、Xvid、FFmpeg、x264、VP6-8、realvideo、mp3等。编码过程产生视频流,其被任选地包装用于递送至装置上的解码器。视频流的特征在于帧大小和帧速度。典型的帧大小包括800x 600、1280x 720(例如,720p)、1024x 768、1080p,尽管可以使用任何其它帧大小。.帧速度是每秒钟的视频帧数量。视频流可能包括不同类型的视频帧。例如,H.264标准包括“P”帧和“I”帧。I帧包括用于刷新显示装置上的所有宏块/像素的信息,而P帧包括用于刷新其子集的信息。P帧的数据大小通常小于I帧的数据大小。如本文所使用,术语“帧大小”意在指代帧内的像素数量。术语“帧数据大小”被用于指代存储帧所要求的字节数。
在一些实施方案中,客户端可以是通用计算机、专用计算机、游戏机、个人电脑、笔记本电脑、平板电脑、移动计算装置、便携式游戏装置、移动电话、机顶盒、流媒体接口/装置、智能电视或网络显示器,或者能够被配置来完成如本文所定义的客户端的功能性的任何其它计算装置。在一个实施方案中,云游戏伺服器被配置来检测用户正在利用的客户端装置的类型,以及为用户的客户端装置提供适当的云游戏体验。例如,图像安置、音频安置和其它类型的安置可被优化用于用户的客户端装置。
图10图示信息服务供应架构的实施方案。信息服务供应商(ISP)1070递送大量信息服务至地理上分散的且经由网络1086连接的用户1082。ISP可以递送仅一种类型的服务,诸如股票价格更新或者多种服务,诸如广播媒体、新闻、运动、游戏等。另外,由每一ISP提供的服务是动态的,也就是,可在任何时间点添加服务或解除服务。因此,提供特定类型的服务至特定个体的ISP可以随时间改变。例如,当用户在其当地时,可由极为靠近用户的ISP对用户进行服务,并且当用户旅行到不同城市时,可由不同的ISP对用户进行服务。当地ISP将递送所需的信息和数据至新的ISP,以使得用户信息“跟随”用户去往新的城市,使得数据更为接近用户并且更易于访问。在另一实施方案中,可以在主ISP与伺服ISP之间建立主-伺服关系,所述主ISP管理用户的信息,并且伺服ISP在来自主ISP的控制下与用户直接交流。在另一实施方案中,随着客户端在全球移动而将数据从一个ISP递送至另一ISP,以使得处于最好的位置以服务于用户服务的ISP成为提供这些服务的ISP。
ISP 1070包括应用服务供应商(ASP)1072,其经由网络提供基于计算机的服务至客户。使用ASP模型提供的软件有时也被称作按需软件或软件即服务(SaaS)。提供至特定应用程序(诸如客户关系管理)的访问的简单形式是通过使用诸如HTTP等标准协议。应用程序驻留在销售商的系统上,并且由用户通过销售商提供的专用客户端软件或诸如瘦客户端等其它远程接口使用HTML利用网络浏览器进行访问。
在广泛的地理区域上递送的服务常常使用云计算云计算是一种风格的计算,其中动态可扩展的且常常是虚拟化的资源被提供作为互联网上的服务。用户无需是“云”中对用户进行支持的技术基础设施的专家。云计算可以划分成不同的服务,诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务常常提供从网页浏览器进行访问的在线常见业务应用,同时软件和数据存储在伺服器上。术语“云”被用作互联网的比喻(例如,使用服务器、存储装置和逻辑),基于互联网在计算机网络图中是如何被描绘的,并且是其所隐藏的复杂基础设施的抽象化。
另外,ISP 1070包括游戏处理伺服器(GPS)1074,其被游戏客户端用来玩单个玩家和多玩家视频游戏。在互联网上玩的大多数视频游戏经由至游戏伺服器的连接进行操作。通常来说,游戏使用专用伺服器应用,所述专用伺服器应用从玩家收集数据并将其分配给其它玩家。这比对等布置更加高效和有效,但是其要求单独的服务器来托管伺服器应用。在另一实施方案中,GPS在玩家与其相应游戏过程装置之间建立通信,以在无需依赖集中式GPS的情况下交换信息。
专用GPS是独立于客户端运行的伺服器。所述伺服器通常在定位于数据中心中的专用硬件上运行,从而提供更多带宽和专用处理能力。对于大多数基于PC的多玩家游戏来说,专用伺服器是托管游戏服务器的优选方法。大规模多玩家在线游戏在专用伺服器上运行,所述专用伺服器通常由拥有游戏标题的软件公司托管,从而允许所述专用伺服器对内容进行控制和更新。
广播处理伺服器(BPS)1076将音频或视频信号分配给观众。至非常窄范围的观众的广播有时称作窄播送。广播分配的最终回合使得信号抵达收听者或观看者,并且所述信号可以与无线电台或电视台一样在空中传播至天线或接收器,或者可经由电台或直接从网络进入电缆电视或电缆广播(或“无线电缆”)。互联网还可以将收音机或电视带给接收者,尤其是使用允许信号和带宽被共享的多信道广播。在过去,广播一直受到诸如地理区域的间隔,诸如国家广播或区域广播。然而,随着互联网的迅速扩散,广播不再由地理进行限定,因为内容可以到达世界上几乎任何国家。
存储服务供应商(SSP)1078提供计算机存储空间和相关管理服务。SSP还提供周期性备份和归档。通过提供存储即服务,用户可以视需要订购更大的存储空间。另一主要优点在于,SSP包括备份服务,并且当用户的计算机的硬盘损坏时用户将不会丢失其数据。另外,多个SSP可以具有用户数据的全部或部分副本,从而允许用户高效地访问数据,独立于用户所在地或用于访问数据的装置。例如,用户可以访问家用计算机中的个人文件,以及当用户移动时可以访问移动电话中的个人文件。
通信供应商1080提供连接至用户。一种类别的通信供应商是互联网服务供应商(ISP),其提供对互联网的访问。ISP使用数据传输技术连接其客户,所述数据传输技术适合于递送互联网协议数据报,诸如拨号上网、DSL、缆线数据机器、光纤、无线或专用高速互连。通信供应商还可以提供讯息服务,诸如电子邮件、即时通讯和SMS短信。另一种类型的通信供应商是网络服务供应商(NSP),其通过提供至互联网的直接主干网访问来出售带宽或网络访问。网络服务供应商可由以下组成:电信公司、数据载体、无线通信供应商、互联网服务供应商、提供高速互联网访问的有线电视运营商等。
数据交换1088将ISP 1070中的若干模块互连,并且经由网络1086将这些模块连接至用户1082。数据交换1088可以覆盖小区域,其中ISP 1070的所有模块很靠近,或者当不同的模块在地理上分散时可以覆盖大的地理区域。例如,数据交换1088可能包括若干数据中心内的快速吉比特以太网(或更快)或者周即虚拟局域网(VLAN)。
用户1082使用客户端装置1084访问远程服务,所述客户端装置1084包括至少CPU、显示器和I/O。客户端装置可以是PC、移动电话、上网本、平板、游戏系统、PDA等。在一个实施方案中,ISP 1070识别客户端所使用的装置类型,并且对所采用的通信方法进行调整。在其它情况下,客户端装置使用诸如html等标准通信方法来访问ISP1070。
本发明的实施方案可使用各种计算机系统配置来实践,所述计算机系统配置包括:手持式装置、微处理器系统、基于微处理器的或者可编程消费性电子产品、小型计算机、主计算机等。本发明还可以在分布式计算环境中实践,在所述分布式计算环境中任务由远程处理装置执行,所述远程处理装置经由有线或无线网络进行链接。
考虑到以上实施方案,应理解本发明可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是那些要求物理量的物理操纵的操作。本文所描述的形成本发明的操作的任何一个操作是有用的机器操作。本发明还涉及用于执行这些操作的装置或设备。可以专门构造所述设备用于所要求的目的,或所述设备可以是选择性地启动或由存储在计算机中的计算机程序配置的通用计算机。确切地说,各种通用机器可以与根据本文的教示写入的计算机程序一起使用,或者可更方便的构造更专门的设备来执行所要求的操作。
本发明还可以体现为计算机可读媒体上的计算机可读代码。计算机可读介质是可以存储数据且此后可由计算机系统读取的任何数据存储装置。计算机可读媒体的实例包括硬盘驱动器、网络附加存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其它光学和非光学数据存储装置。计算机可读媒体可以包括分布在网络耦接的计算机系统上的计算机可读有形媒体,以使得计算机可读代码呈分布式方式存储和执行。
虽然以特定顺序描述方法操作,但是应理解的是可在操作之间执行其它整理操作,或者可调整操作使得其在稍有不同的时间发生,或者可以分布在允许处理操作在与处理相关联的各种间隔发生的系统中,只要是以所需的方式执行叠加操作的处理。
虽然出于理解的清晰性的目的已经在一定详细程度上对上述发明进行描述,但是应明白,可以在所附权利要求的范围内实践特定改变和修改。因此,本实施方案应被视为是说明性而不是限制性的,并且本发明并不限于本文给出的细节,而是可以在所述权利要求的范围和等效形式内进行修改。

Claims (31)

1.一种方法,其包括:
使用摄像机采撷视频帧,所述视频帧被配置来采撷头戴式显示器(HMD)上的标记,在所述采撷的视频帧中分析所述HMD上的所述标记以确定所述HMD的位置和定向,用于处理在由所述HMD显示的多媒体内容的呈现期间生成的场景的改变;以及
估计所述HMD的正面单元上的标记与所述HMD的背面区段上的标记之间的间隔距离,所述正面单元和所述背面区段由可调整头带耦接在一起,所述估计包括分析多个视频帧和当采撷了所述视频帧时采撷的惯性数据,所述分析产生所述HMD的所述正面单元上的所述标记与所述HMD的所述背面区段上的标记之间的估计的间隔距离,
其中,随着从所述采撷的视频帧采撷和分析所述正面单元和所述背面区段上的标记,在进一步跟踪所述HMD的位置和定向期间使用所述估计的间隔距离。
2.如权利要求1所述的方法,其中分析多个所述采撷的视频帧和惯性数据包括跟踪在所述多个所述采撷的视频帧的所述处理期间采撷的惯性数据,所述惯性数据产生一组值,其量化所述HMD的旋转中的改变和位置中的改变,所述一组值映射到在所述多个所述采撷的视频帧的图像数据中的所述HMD的所述标记的识别的位置。
3.如权利要求1所述的方法,其中当在所述采撷的视频帧中识别所述正面单元上的所述标记和所述背面区段上的所述标记时,所述一组值到所述标记的所述识别的位置的所述映射产生所述估计的间隔距离。
4.如权利要求3所述的方法,其还包括:
通过利用所述生成的估计的间隔距离更新所述正面单元上的所述标记与所述背面区段上的所述标记之间的当前间隔距离,校准所述HMD的几何模型。
5.如权利要求4所述的方法,其中单独地处理所述估计的间隔距离用于所述HMD的左侧和所述HMD的右侧,以使得所述HMD的所述左侧和所述右侧中的每一个包括在所述HMD的正面单元上的标记和在所述HMD的背面区段上的标记。
6.如权利要求1所述的方法,其中所述正面单元包括正面和侧面,并且所述正面与所述侧面之间的交叉点限定至少四个过渡转角,所述过渡转角中的每一个包括标记。
7.如权利要求6所述的方法,其中当从所述摄像机查看时,所述过渡转角中的所述标记限定大致矩形布置。
8.如权利要求7所述的方法,其中所述过渡转角中的所述标记中的每一个由发光二极管(LED)限定,所述LED具有照明形状,其部分包裹所述过渡转角,以使得所述照明形状部分安置在所述正面上并且部分安置在所述侧面上。
9.如权利要求1所述的方法,其中在所述呈现期间生成的所述场景中的所述改变中的至少一些基于在使用的阶段随着时间从所述HMD的所述确定的位置和定向产生的移动来改变至所述场景中和周围的视图。
10.如权利要求1所述的方法,其中所述多媒体内容包括下列各项中的一个或多个:视频游戏内容、电影内容、互联网内容、互动内容、视频会议内容、音频内容、视频剪辑内容、虚拟游览内容或其的组合。
11.如权利要求10所述的方法,其中当所述多媒体内容是视频游戏内容时,所述方法还包括:
识别所述采撷的视频帧中与游戏控制器相关联的标记,在所述游戏玩法的阶段期间,连同跟踪所述HMD一起,跟踪所述游戏控制器的所述标记用于位置和定向。
12.如权利要求11所述的方法,其中将所述游戏控制器用于与所述HMD中呈现的视频游戏内容互动,并且独立于所述游戏控制器的所述位置和定向跟踪所述HMD的所述位置和定向。
13.如权利要求1所述的方法,其还包括:
不时地继续估计所述HMD的所述正面单元上的所述标记与所述HMD的所述背面区段上的所述标记之间的所述间隔距离;
确定新估计的间隔距离是否包括与当前用于跟踪的所述估计的间隔距离的差异;以及
当所述差异超出预定义的可容许界限时,使用所述新估计的间隔距离而不是所述当前使用的估计的间隔距离。
14.如权利要求1所述的方法,其中所述HMD的所述背面区段上的所述标记包括一对标记,所述背面区段上的所述一对标记中的每一个设有用于照明的LED,所述一对标记以已知的相对固定间隔限定在所述背面区段上。
15.如权利要求1所述的方法,其中所述背面区段包括调整器,其用于减小或增大所述可调整头带的大小。
16.如权利要求15所述的方法,其还包括:
当对所述调整器做出调整时,接收指示设置标志的信号;以及
重新处理所述间隔距离的所述估计以响应于接收所述信号产生新估计的间隔距离。
17.一种系统,其包括:
(a)计算系统;
(b)与所述计算系统通信的头戴式显示器(HMD),所述HMD包括:
(i)具有用于显示多媒体内容的屏幕的正面单元,所述正面单元具有在其上安置的标记,以及惯性传感器,其用于生成指示所述HMD的位置和定向中的改变的惯性数据;
(ii)通过可调整头带连接至所述正面单元的所述HMD的背面区段,所述背面区段具有在其上安置的标记;
(c)与所述计算系统通信的摄像机,所述摄像机被配置来在使用的阶段期间采撷所述HMD的视频帧,所述采撷的视频帧不时地被配置来包括所述正面单元的所述标记和所述背面区段的所述标记;
其中所述计算系统处理所述采撷的视频帧,以针对所述生成的惯性数据识别所述正面单元和所述背面区段的所述标记,所述处理产生所述正面单元的所述标记与所述背面区段的所述标记之间的估计的间隔。
18.如权利要求17所述的系统,其中所述标记由发光二极管限定,其被配置来照明限定在所述正面单元和所述背面区段的表面上的形状。
19.如权利要求17所述的系统,其中所述背面区段包括调整器,其用于扩展和收缩所述可调整头带。
20.如权利要求17所述的系统,其中所述背面区段包括用于改变所述可调整头带的大小的调整器,所述调整器还包括头带调整检测器,其产生指示所述大小的改变的标志,所述标志由所述计算系统处理以触发所述估计的间隔的再校准。
21.如权利要求17所述的系统,其中所述HMD的所述惯性传感器包括加速度计和陀螺仪。
22.如权利要求17所述的系统,其中所述HMD的所述标记由LED限定,其被配置来照明以增强由所述摄像机对所述HMD进行的跟踪,所述LED由LED控制电路启动。
23.如权利要求17所述的系统,其中所述HMD包括光学器件和图像处理电路,其用于呈现将在所述屏幕上显示的所述多媒体内容。
24.如权利要求17所述的系统,其中所述正面单元上的所述标记由安置在所述正面单元的正面的转角处的四个LED限定,并且所述背面区段上的所述标记包括两个LED。
25.一种头戴式显示器(HMD),其包括:
用于与计算系统通信的电路,所述计算系统处理用于在所述HMD中显示的多媒体内容;
具有用于显示多媒体内容的屏幕的所述HMD的正面单元,所述正面单元具有一组LED,
安置在所述HMD的所述正面单元中的加速度计;
安置在所述HMD的所述正面单元中的陀螺仪;
具有一组LED的所述HMD的背面区段;
将所述正面单元连接至所述背面区段的头带,以使得所述头带的调整改变所述正面单元的所述一组LED中的至少一个与所述背面区段的所述一组LED中的至少一个之间的间隔距离。
26.如权利要求25所述的HMD,其中所述计算系统处理图像数据,其包括所述正面单元的所述一组LED中的至少一个和所述背面区段的所述一组LED中的至少一个,连同来自所述加速度计和所述陀螺仪的惯性数据,以产生用于所述头带的当前调整的估计的间隔距离。
27.如权利要求25所述的HMD,其中所述背面区段包括调整器,其用于调整所述头带的大小。
28.如权利要求25所述的HMD,其还包括调整检测器,其产生指示所述大小的改变的标志,所述标志由所述计算系统处理以触发估计的间隔距离的再校准。
29.如权利要求25所述的HMD,其中以一个或多个强度或颜色照明所述LED以增强跟踪。
30.如权利要求25所述的HMD,其中所述HMD包括光学器件和图像处理电路,其用于呈现将在所述HMD的屏幕上显示的所述多媒体内容。
31.如权利要求25所述的HMD,其中所述正面单元上的所述一组LED由安置在所述正面单元的正面的转角处的四个LED限定,并且所述背面区段的所述一组LED平行于彼此对齐。
CN201580021919.1A 2014-03-14 2015-03-13 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准 Active CN106255916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910636823.6A CN110308561A (zh) 2014-03-14 2015-03-13 用于头戴式显示器(hmd)的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461953730P 2014-03-14 2014-03-14
US61/953,730 2014-03-14
PCT/US2015/020617 WO2015139005A1 (en) 2014-03-14 2015-03-13 Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910636823.6A Division CN110308561A (zh) 2014-03-14 2015-03-13 用于头戴式显示器(hmd)的方法和系统

Publications (2)

Publication Number Publication Date
CN106255916A true CN106255916A (zh) 2016-12-21
CN106255916B CN106255916B (zh) 2019-08-09

Family

ID=52823791

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910636823.6A Pending CN110308561A (zh) 2014-03-14 2015-03-13 用于头戴式显示器(hmd)的方法和系统
CN201580021919.1A Active CN106255916B (zh) 2014-03-14 2015-03-13 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910636823.6A Pending CN110308561A (zh) 2014-03-14 2015-03-13 用于头戴式显示器(hmd)的方法和系统

Country Status (5)

Country Link
US (4) US9710057B2 (zh)
EP (1) EP3117263B1 (zh)
JP (1) JP6377759B2 (zh)
CN (2) CN110308561A (zh)
WO (1) WO2015139005A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109491495A (zh) * 2017-09-13 2019-03-19 宏达国际电子股份有限公司 头戴式显示系统及其图像显示方法
US10412845B2 (en) 2017-11-06 2019-09-10 Htc Corporation Head mounted display
CN110494827A (zh) * 2017-05-01 2019-11-22 谷歌有限责任公司 对虚拟现实系统中的对象的位置和定向的跟踪
CN110537208A (zh) * 2017-05-04 2019-12-03 索尼互动娱乐欧洲有限公司 头戴式显示器和方法
CN110914739A (zh) * 2017-09-07 2020-03-24 苹果公司 具有调节机构的头部安装显示器
CN112733840A (zh) * 2020-12-28 2021-04-30 歌尔光学科技有限公司 耳机定位方法、终端设备及存储介质

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10495726B2 (en) * 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
US9659411B2 (en) * 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
US9851091B2 (en) * 2015-02-18 2017-12-26 Lg Electronics Inc. Head mounted display
CN107533225B (zh) * 2015-03-04 2020-07-14 脸谱科技有限责任公司 用于虚拟现实系统的稀疏投影
US10298281B2 (en) * 2015-05-07 2019-05-21 Nxp B. V. Establishing communication with wireless devices using orientation data
US10586469B2 (en) * 2015-06-08 2020-03-10 STRIVR Labs, Inc. Training using virtual reality
JP6548821B2 (ja) * 2015-09-30 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
EP3343906B1 (en) * 2015-10-08 2022-04-06 Sony Interactive Entertainment Inc. Control device, head-mounted display, control system, control method, and program
JP6514089B2 (ja) * 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
DE102015015695B4 (de) * 2015-12-04 2024-10-24 Audi Ag Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems
US10095928B2 (en) 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社meleap 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
KR20170120946A (ko) * 2016-04-22 2017-11-01 한국전자통신연구원 입력 장치의 마커를 사용하여 입력 장치에 대한 정보를 도출하는 방법 및 장치
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US20170353714A1 (en) * 2016-06-06 2017-12-07 Navid Poulad Self-calibrating display system
KR20180028211A (ko) 2016-09-08 2018-03-16 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
WO2018095804A1 (en) * 2016-11-25 2018-05-31 Sensoryx AG Wearable motion tracking system
CN108332741B (zh) * 2017-01-18 2021-09-14 宏达国际电子股份有限公司 定位装置及方法
WO2018143909A1 (en) * 2017-01-31 2018-08-09 Hewlett-Packard Development Company, L.P. Video zoom controls based on received information
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
WO2018156809A1 (en) 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
US10403050B1 (en) 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
JP6229089B1 (ja) * 2017-04-26 2017-11-08 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
US11163416B2 (en) * 2017-04-27 2021-11-02 Magic Leap, Inc. Light-emitting user input device for calibration or pairing
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
US10154885B1 (en) 2017-05-26 2018-12-18 Medline Industries, Inc. Systems, apparatus and methods for continuously tracking medical items throughout a procedure
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
US10924641B2 (en) * 2017-07-10 2021-02-16 Ubiquiti Inc. Wearable video camera medallion with circular display
JP2019016316A (ja) * 2017-07-11 2019-01-31 株式会社日立エルジーデータストレージ 表示システム、及び表示システムの表示制御方法
GB2565836B (en) * 2017-08-25 2021-04-14 Sony Interactive Entertainment Inc Data processing for position detection using markers in captured images
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
EP4212222A1 (en) * 2018-03-07 2023-07-19 Magic Leap, Inc. Visual tracking of peripheral devices
KR102602848B1 (ko) * 2018-03-23 2023-11-16 엘지전자 주식회사 헤드 마운티드 디스플레이
CN110555879B (zh) * 2018-05-31 2023-09-08 京东方科技集团股份有限公司 一种空间定位方法、其装置、其系统及计算机可读介质
US10388255B2 (en) 2018-06-29 2019-08-20 Intel Corporation Computers for supporting multiple virtual reality display devices and related methods
WO2020048461A1 (zh) * 2018-09-03 2020-03-12 广东虚拟现实科技有限公司 三维立体显示方法、终端设备及存储介质
US11982809B2 (en) 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
EP3650988A1 (de) * 2018-11-09 2020-05-13 iXperienz GmbH & Co. KG Eingabevorrichtung und verfahren zur eingabe von informationen sowie verfahren zur erzeugung eines virtuellen zeigers
WO2020113185A1 (en) * 2018-11-28 2020-06-04 Mira Labs, Inc. Control system for a three dimensional environment
JP2020135306A (ja) * 2019-02-18 2020-08-31 セイコーエプソン株式会社 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
US11617625B2 (en) 2019-03-12 2023-04-04 Medline Industries, Lp Systems, apparatus and methods for properly locating items
JP7353773B2 (ja) 2019-03-18 2023-10-02 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
US10921602B2 (en) * 2019-05-07 2021-02-16 Microsoft Technology Licensing, Llc Conformable HMD with dynamically adjustable nested ribbon
EP3760157A1 (en) 2019-07-04 2021-01-06 Scopis GmbH Technique for calibrating a registration of an augmented reality device
US12059276B2 (en) 2019-08-21 2024-08-13 Medline Industries, Lp Systems, apparatus and methods for automatically counting medical objects, estimating blood loss and/or communicating between medical equipment
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
TWI737039B (zh) * 2019-11-19 2021-08-21 緯創資通股份有限公司 頭戴裝置
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
US11209657B2 (en) 2020-01-24 2021-12-28 Valve Corporation Position tracking system for head-mounted display systems that includes angle sensitive detectors
US11417020B2 (en) * 2020-04-07 2022-08-16 Zebra Technologies Corporation Detection of calibration errors
US11860439B1 (en) 2020-05-06 2024-01-02 Apple Inc. Head-mounted electronic device with alignment sensors
US11308644B2 (en) * 2020-08-28 2022-04-19 Weta Digital Limited Multi-presence detection for performance capture
US12019248B1 (en) 2020-09-15 2024-06-25 Apple Inc. Adjustable head securement for head-mountable device
US11693249B2 (en) * 2021-02-09 2023-07-04 Dell Products L.P. Clamping force adjusting headset
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
US20240230318A1 (en) * 2021-05-10 2024-07-11 Apple Inc. Fit detection system for head-mountable devices
US12019797B2 (en) * 2021-09-01 2024-06-25 Tdk Corporation Gaze tracking for a retinal projection display system
US11748965B2 (en) * 2021-09-28 2023-09-05 Htc Corporation Virtual image display system and virtual image display method
US20230415033A1 (en) * 2022-06-28 2023-12-28 Niantic, Inc. Compact Head-Mounted Augmented Reality System
SE2350088A1 (en) * 2023-01-31 2024-08-01 Tobii Ab Systems and methods for head pose data
WO2024203063A1 (ja) * 2023-03-24 2024-10-03 ソニーグループ株式会社 情報処理装置および情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419339A (zh) * 2008-11-24 2009-04-29 电子科技大学 一种头戴显示器
CN101655605A (zh) * 2008-08-21 2010-02-24 索尼株式会社 头部安装型显示器
WO2013140744A1 (en) * 2012-03-22 2013-09-26 Sony Corporation Head -mounted display with tilt sensor for medical use

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4051534A (en) * 1976-10-27 1977-09-27 Honeywell Inc. Head attached television
US4952024A (en) * 1986-08-29 1990-08-28 Gale Thomas S Three-dimensional sight and sound reproduction apparatus for individual use
US4797736A (en) * 1987-09-02 1989-01-10 Luxtec Corporation Head mounted illumination and camera assembly
US4885808A (en) * 1988-09-06 1989-12-12 Dan J. Goodard Headband with multipositioned lenspiece
US4982278A (en) * 1989-02-15 1991-01-01 Dahl Thomas R Binocular stereovision
US5880773A (en) * 1991-12-27 1999-03-09 Sony Corporation Head mounted display configured to a user's physical features
US5671037A (en) * 1994-09-19 1997-09-23 Olympus Optical Co., Ltd. Head mounted image display having at least four supporting points
US5949388A (en) * 1995-03-03 1999-09-07 Olympus Optical Co., Ltd. Head-mounted video display
US5583795A (en) * 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
US5767820A (en) * 1995-05-09 1998-06-16 Virtual Research Systems Head-mounted visual display apparatus
US5746693A (en) * 1995-05-22 1998-05-05 Aaron Spitz Flexible endoscopic apparatus and methods of use
USD427982S (en) * 1996-01-24 2000-07-11 Sony Corporation Television monitor
JPH09292588A (ja) * 1996-04-26 1997-11-11 Sony Corp 光学視覚装置
US6050717A (en) * 1996-05-15 2000-04-18 Sony Corporation Head-mounted image display having selective image suspension control and light adjustment
US5844656A (en) * 1996-11-07 1998-12-01 Xybernaut Corporation Head mounted display with adjustment components
US5954642A (en) * 1997-12-23 1999-09-21 Honeywell Inc. Adjustable head mounted display and system
US6388640B1 (en) * 1998-01-09 2002-05-14 Canon Kabushiki Kaisha Head mount display
JP3053061U (ja) * 1998-04-09 1998-10-13 東京セイル株式会社 プリズムスコープ
JPH11298826A (ja) * 1998-04-15 1999-10-29 Canon Inc 頭部装着装置
USD436086S1 (en) * 1998-05-11 2001-01-09 Sony Corporation Monitor television receiver
JP3256183B2 (ja) * 1998-08-17 2002-02-12 株式会社エム・アール・システム研究所 装着機構及び頭部装着型装置
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
US6630915B1 (en) * 1999-01-26 2003-10-07 Lsa. Inc. Wireless transmission system for transmitting data to a simulation system user
US20060126013A1 (en) * 2000-03-10 2006-06-15 Tristram Himmele Sports binocular assembly
JP3880294B2 (ja) * 2000-07-19 2007-02-14 キヤノン株式会社 頭部装着機構及びそれを用いた頭部装着装置
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
AT413641B (de) * 2002-02-14 2006-04-15 Life Optics Gmbh Halter für am kopf zu tragende geräte
KR100480780B1 (ko) 2002-03-07 2005-04-06 삼성전자주식회사 영상신호로부터 대상물체를 추적하는 방법 및 그 장치
WO2004061519A1 (ja) * 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
US20070132785A1 (en) * 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
JP2007071782A (ja) * 2005-09-08 2007-03-22 Canon Inc 位置姿勢計測システム及びその計測方法、並びに制御プログラム
WO2007103030A2 (en) 2006-03-01 2007-09-13 Joel Price Lightweight head mounted display with multiple adjustments
JP4958599B2 (ja) * 2007-03-29 2012-06-20 キヤノン株式会社 頭部装着型の映像表示装置
JP5004752B2 (ja) * 2007-10-26 2012-08-22 キヤノン株式会社 頭部装着型機器
JP2010169742A (ja) * 2009-01-20 2010-08-05 Olympus Corp 頭部装着型光学装置
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20110233958A1 (en) * 2010-03-25 2011-09-29 Cindy Rhine See thru sun visor
FR2958528B1 (fr) * 2010-04-09 2015-12-18 E Ye Brain Systeme optique de suivi de mouvements oculaires et dispositif support associe
JP2011233958A (ja) * 2010-04-23 2011-11-17 Olympus Corp 頭部装着型映像表示装置
JP2012023495A (ja) * 2010-07-13 2012-02-02 Olympus Corp ジャケットおよび頭部装着型光学システム
US20120038543A1 (en) * 2010-08-16 2012-02-16 Martin H Lee Method and Apparatus to Support Miniature Image Displays
US8704879B1 (en) * 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
US8854594B2 (en) * 2010-08-31 2014-10-07 Cast Group Of Companies Inc. System and method for tracking
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US20130305432A1 (en) * 2012-05-04 2013-11-21 Gregory K. Thomson Adjustable headband pillow
JP2013258614A (ja) 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US9495783B1 (en) * 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
KR101388980B1 (ko) * 2012-08-21 2014-04-24 주식회사 도담시스템스 헤드 마운티드 디스플레이 장치
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
WO2014179559A1 (en) * 2013-05-03 2014-11-06 The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. Skin substitutes and methods for hair follicle neogenesis
US20140375531A1 (en) * 2013-06-24 2014-12-25 Ray Latypov Method of roviding to the user an image from the screen of the smartphome or tablet at a wide angle of view, and a method of providing to the user 3d sound in virtual reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655605A (zh) * 2008-08-21 2010-02-24 索尼株式会社 头部安装型显示器
CN101419339A (zh) * 2008-11-24 2009-04-29 电子科技大学 一种头戴显示器
WO2013140744A1 (en) * 2012-03-22 2013-09-26 Sony Corporation Head -mounted display with tilt sensor for medical use

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110494827A (zh) * 2017-05-01 2019-11-22 谷歌有限责任公司 对虚拟现实系统中的对象的位置和定向的跟踪
CN110494827B (zh) * 2017-05-01 2023-09-22 谷歌有限责任公司 对虚拟现实系统中的对象的位置和定向的跟踪
CN110537208A (zh) * 2017-05-04 2019-12-03 索尼互动娱乐欧洲有限公司 头戴式显示器和方法
CN110537208B (zh) * 2017-05-04 2024-01-09 索尼互动娱乐股份有限公司 头戴式显示器和方法
CN110914739A (zh) * 2017-09-07 2020-03-24 苹果公司 具有调节机构的头部安装显示器
US11036054B2 (en) 2017-09-07 2021-06-15 Apple Inc. Head-mounted display with adjustment mechanism
US11914158B2 (en) 2017-09-07 2024-02-27 Apple Inc. Head-mounted display with adjustment mechanism
CN110914739B (zh) * 2017-09-07 2024-04-05 苹果公司 具有调节机构的头部安装显示器
CN109491495A (zh) * 2017-09-13 2019-03-19 宏达国际电子股份有限公司 头戴式显示系统及其图像显示方法
US10412845B2 (en) 2017-11-06 2019-09-10 Htc Corporation Head mounted display
CN112733840A (zh) * 2020-12-28 2021-04-30 歌尔光学科技有限公司 耳机定位方法、终端设备及存储介质

Also Published As

Publication number Publication date
CN110308561A (zh) 2019-10-08
US20170315611A1 (en) 2017-11-02
EP3117263A1 (en) 2017-01-18
US11079838B2 (en) 2021-08-03
EP3117263B1 (en) 2018-05-09
JP2017516187A (ja) 2017-06-15
CN106255916B (zh) 2019-08-09
JP6377759B2 (ja) 2018-08-22
US9710057B2 (en) 2017-07-18
US11816255B2 (en) 2023-11-14
US20150261291A1 (en) 2015-09-17
US20210365110A1 (en) 2021-11-25
WO2015139005A1 (en) 2015-09-17
US10409364B2 (en) 2019-09-10
US20180314323A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
CN106255916B (zh) 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准
US11724177B2 (en) Controller having lights disposed along a loop of the controller
TWI594174B (zh) 頭戴顯示器之追蹤系統、方法及裝置
CN108292040B (zh) 优化头戴式显示器屏幕上的内容定位的方法
JP6538897B2 (ja) 空間感知を備えるゲーム機
CN111095150B (zh) 机器人作为私人教练
CN111624770B (zh) 头戴式显示器上的夹捏和保持手势导航
CN105573486B (zh) 具有与移动计算设备介接的接口的头戴式设备(hmd)系统
JP7337161B2 (ja) Hmdに対するコントローラの動きを判定するためのシステム及び方法
CN106232192B (zh) 具有可旋转放置的摄像机的玩游戏装置
CN102939139B (zh) 共享虚拟空间中便携式设备的校准
CN109475774A (zh) 虚拟现实环境中的视图位置处的观众管理
CN109069933A (zh) 在vr环境中的观众视角
CN109069934A (zh) 对虚拟现实环境(vr)中的vr用户的观众视图跟踪
CN107683449A (zh) 控制经由头戴式显示器呈现的个人空间内容
CN106575159A (zh) 手套接口对象
CN106716306A (zh) 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant