CN103809687A - 头戴式显示器、运动检测器及方法、图像呈现系统和程序 - Google Patents

头戴式显示器、运动检测器及方法、图像呈现系统和程序 Download PDF

Info

Publication number
CN103809687A
CN103809687A CN201310525037.1A CN201310525037A CN103809687A CN 103809687 A CN103809687 A CN 103809687A CN 201310525037 A CN201310525037 A CN 201310525037A CN 103809687 A CN103809687 A CN 103809687A
Authority
CN
China
Prior art keywords
image
light
outer cover
bright spot
emitting component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310525037.1A
Other languages
English (en)
Other versions
CN103809687B (zh
Inventor
山本浩嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103809687A publication Critical patent/CN103809687A/zh
Application granted granted Critical
Publication of CN103809687B publication Critical patent/CN103809687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Multimedia (AREA)

Abstract

本发明公开了一种头戴式显示器，包括：外罩，容纳适于呈现三维图像的呈现部分，并在佩戴在观看者的头部时位于观看者眼睛的前面；以及成像元件，设置在外罩内，并适于将外罩外部的光转换为图像，其中成像元件对在外罩佩戴在观看者头部时相对于外罩垂直向下并在观看者视线方向前方的光成像。

Description

头戴式显示器、运动检测器及方法、图像呈现系统和程序
技术领域
本发明涉及头戴式显示器、运动检测器、运动检测方法和图像呈现系统。
背景技术
近年来，我们目睹了三维图像呈现技术发展的进步，能够呈现具有深度的三维图像的头戴式显示器变得越来越普遍。用户、观看者以使得同时盖住他或她的双眼并和用户头部一起运动的方式佩戴头戴式显示器。因此，通过跟踪用户头部的运动，并将其结果馈送回头戴式显示器呈现的虚拟空间图像，很有可能可以以高度的身临其境感向用户呈现虚拟空间。
另外，用户、观看者以使得同时盖住他或她的双眼的方式佩戴头戴式显示器。因此，在佩戴着头戴式显示器时很难看到外部世界的真实图像，如他或她的手。另一方面，如果可以跟踪用户的手的运动，那么很有可能可以使用指令，其中每一个都根据其运动的类型定义，用于控制头戴式显示器本身和呈现的图像。
被设计用来测量三轴加速度、三轴角速度和三轴地磁的九轴法是已知用来跟踪头戴式显示器的运动的方法之一。由于随区域变化的地磁倾角（geomagnetic dip），这种方法很难跟踪运动，并可能容易受到周围磁场（如，建筑物和电机的钢架产生的磁场）的影响。此外，存在对开发小而紧凑的、适于检测用户的手的运动并允许用户进行直观操作的装置的需求。
鉴于上述情况，人们希望提供一种用于检测佩戴头戴式显示器的用户的运动的技术。
发明内容
根据本公开的一个实施例，提供了一种头戴式显示器。头戴式显示器包括外罩和成像元件。外罩容纳适于呈现三维图像的呈现部分，并在佩戴在观看者的头部时位于观看者眼睛的前面。成像元件设置在外罩内，并将外罩外部的光转换为图像。在这里，成像元件对当外罩佩戴在观看者头部时相对于外罩垂直向下并在观看者视线方向前方的光成像。
根据本发明的一个实施例，还提供了一种运动检测器。该运动检测器包括图像获取单元、亮点检测部分、矢量获取单元、俯仰角（pitch）获取部分和偏转角（yaw）获取部分。图像获取部分获取由附接到用户头部的成像元件通过对由随着用户的手的运动移动的发光元件辐射的红外光成像获取到的图像。亮点检测单元检测成像元件获取的图像中的红外光点。矢量获取单元获取具有作为终点的由亮点检测单元检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量。俯仰角获取部分获取作为发光元件相对于成像元件的俯仰角的由矢量获取单元获取的矢量的长度。偏转角获取部分获取作为发光元件相对于成像元件的偏转角的由矢量获取单元获取的矢量的倾斜角（declination）。
根据本发明的一个实施例，还提供了一种运动检测方法。该运动检测方法使得处理器执行获取由附接到用户头部的成像元件通过对由随着用户的手的运动移动的发光元件辐射的红外光成像获取到的图像的步骤。该运动检测方法使得处理器执行另一个检测成像元件获取的图像中的红外光点的步骤。该运动检测方法使得处理器执行又一个获取具有作为终点的检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量的步骤。该运动检测方法使得处理器执行又一个获取获取的矢量的长度的步骤。该运动检测方法使得处理器执行又一个获取获取的矢量的倾斜角的步骤。
根据本发明的一个实施例，还提供一种图像呈现系统，包括头戴式显示器和与观看者握持的握持部分附接且适于辐射红外光的发光元件。这里，头戴式显示器包括外罩、成像元件和运动跟踪部分。外罩容纳适于呈现三维图像的呈现部分，并在佩戴在观看者的头部时位于观看者眼睛的前面。成像元件设置在外罩内，并对由随着握持部分的运动移动的发光元件辐射的红外光成像。运动跟踪部分通过分析由成像元件获取的红外光跟踪发光元件相对于成像元件的相对位置的变化。
根据本发明的一个实施例，还提供了一种程序，用于使计算机实现上述方法的步骤。
该程序可以作为被包括在适于基本控制硬件资源（如，视频、音频、游戏装置和头戴式显示器）的装置中的固件的一部分提供。该固件存储在设置在装置中的例如半导体存储器（如，ROM（只读存储器））或闪速存储器中。可以提供存储该固件程序的计算机可读记录介质来提供该固件或更新部分固件。替代性地，该程序也可以通过通信线路传输。
应该注意的是，上述组件的任何组合和本公开在“方法”、“装置”、“系统”、“计算机程序”、“数据结构”、“记录介质”等之间的任何表达转换，作为本公开的模式也是有效的。
本公开提供了一种用于检测佩戴头戴式显示器的用户的运动的技术。
附图说明
图1是示意性示出根据本公开的一个实施例的图像呈现系统的整体结构概略的图；
图2是示意性示出根据本发明的一个实施例的图像呈现系统的使用场景；
图3是示意性示出根据本发明的一个实施例的图像呈现系统的内部结构的图；
图4是示意性示出根据本发明的一个实施例的头戴式显示器的功能结构的图；
图5是示出根据本发明的一个实施例的图像呈现系统执行跟踪过程流程的流程图；
图6是示意性示出根据本发明的一个实施例的手部跟踪概略的图；
图7是示意性示出根据本发明的一个实施例的图像呈现系统的手部跟踪的使用场景的图；
图8是示意性示出根据本发明的一个实施例的由外罩成像部分获取的图像示例的图；
图9是示意性示出根据本发明的一个实施例的手部跟踪块的功能结构的图；
图10是示出根据本发明的一个实施例的手部跟踪块执行的过程步骤流程的流程图；
图11是示意性示出根据本发明的一个实施例的头部跟踪的整体结构概略的图；
图12是示意性示出根据本发明的一个实施例的图像呈现系统的头部跟踪的使用场景的图。
图13是示意性示出根据本发明的一个实施例的躯干成像部分获取的图像示例的图；
图14是示意性示出根据本发明的一个实施例的头部跟踪块的功能结构的图；
图15是示出根据本发明的一个实施例的头部跟踪块执行的过程步骤流程的流程图；
图16是示出根据本发明的一个实施例的头戴式显示器的局部放大视图的图；
图17是示出根据本发明的一个实施例的亮点选择单元执行亮点选择过程流程的流程图；
图18是示出根据本发明的一个实施例的检测由位置指定装置发出的信号的流程的流程图；以及
图19是示出检测到根据本发明的一个实施例的由位置指定装置发出的信号时亮点检测单元的内部条件的状态转换图。
具体实施方式
（图像呈现系统100的整体结构）
图1是示意性示出根据一个实施例的图像呈现系统100的整体结构概略的图。根据该实施例的相同系统100包括头戴式显示器200、躯干紧固装置300和位置指定装置400。
头戴式显示器200具有附接到用户（观看者）头部的外罩，并使用被包括在外罩内的呈现部分向用户呈现三维图像。相同的显示器200还包括第一按钮202、外罩成像部分204和外罩发光元件210。第一按钮202用作接口，适于例如打开和关闭电源。外罩成像部分204设置在头戴式显示器200的外罩上以对外罩外部的光成像。外罩发光元件210设置在头戴式显示器200的外罩上，以从外罩外部辐射光。外罩成像部分204还包括第一和第二成像元件206和208。
躯干紧固装置300安装到佩戴头戴式显示器200的用户躯干上，如用户的胸部或胸部附近某个位置，以对由头戴式显示器200的外罩发光元件210辐射的光成像。因此，相同的装置300包括躯干成像元件302和可附接至用户500的元件支持部分314。如图1所示，躯干紧固装置300和头戴式显示器200以有线方式连接。头戴式显示器200可以获取由躯干成像元件302获取的图像。相同的显示器200可以通过分析所获取的图像确定外罩发光元件210相对于躯干紧固装置300的相对位置。应该注意的是，躯干紧固装置300和头戴式显示器200可以通过使用例如红外线通信技术以无线方式连接。另外，元件支持部分314包括适于调节躯干成像元件302的倾斜度的调节部分312。
位置指定装置400包括握持部分402、位置指定发光元件404和第二按钮406。用户握持握持部分402。位置指定发光元件404是附接到握持部分402的发光元件。第二按钮406控制位置指定发光元件404发光的方式。相同的元件404发光的方式在用户打开和关闭第二按钮之间变化。头戴式显示器200的外罩成像部分204对由位置指定发光元件404辐射的光成像，将其转换为图像。头戴式显示器200通过分析图像可以确定位置指定发光元件404的位置以及第二按钮是否被按下。应该注意的是，位置指定装置400包括握持部分402不是必须的，只要位置指定发光元件404随着用户的手的运动移动。例如，相同的装置400可以包括在环或手镯上的位置指定发光元件404。
图2是示意性示出根据本发明的一个实施例的图像呈现系统100的使用场景。如图2所示，头戴式显示器200在使用时附接到用户500的头部，并随着用户500的头部的运动移动。躯干紧固装置300通过放置在用户脖子周围的绳索状构件（如，项链）悬挂，并安装在例如从用户500的胸部中心到腹部上方的某处。应该注意的是，虽然图中未示出，但躯干紧固装置300可以使用紧固构件（如，带子）固定到用户躯干上。使用时，由用户500握持位置指定装置400。因此，当用户500移动握持位置指定装置400的手时，位置指定发光元件404随着用户的手的运动移动。
图3是示意性地示出根据本发明的一个实施例的图像呈现系统100的内部结构的图。如前所述，根据本发明的一个实施例的图像呈现系统100包括头戴式显示器200、躯干紧固装置300和位置指定装置400。
头戴式显示器200包括除了上述的第一按钮202和外罩成像部分204之外，还包括存储部分212、通信部分214、记录介质接口216、呈现部分218、音频输出部分220、CPU（中央处理单元）222、加速度传感器224、第一LED（发光二极管）226、电源228、内部总线230和I/O（输入/输出）控制部分232。
第一成像元件206对不可见范围的光（如，红外光）成像。更具体地说，相同的元件206对已经通过适于衰减将被成像的不可见范围的光以外的光的光学滤波器的光成像。与此相反，第二成像元件208包括适于衰减可见范围的光以外的光和对可见范围的光成像的光学滤波器。第一和第二成像元件206和208中的每一个都可以使用已知的固态成像元件实现，如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）图像传感器。
另外，第一和第二成像元件206和208中的每一个都包括鱼眼镜头，对当头戴式显示器200佩戴在用户500头部时相对于头戴式显示器200的外罩垂直向下并在用户500视线方向前方的光成像。如图1中所示的连接参考标记S1和S2的线段，头戴式显示器200外罩的底侧具有当用户500佩戴头戴式显示器200时在用户500的视线方向上并垂直向上倾斜的斜坡区域。这两个第一和第二成像元件206和208都设置在头戴式显示器200外罩底侧上可用的斜坡区域上。这允许相同的元件206和208对当头戴式显示器200佩戴在用户500头部时相对于头戴式显示器200的外罩垂直向下并在用户500视线方向前方的光成像。
存储部分212存储固件，包括适于全面控制头戴式显示器200运行的运行程序。此外，存储部分212存储由外罩成像部分204所获取的图像和从躯干紧固装置300所获取的图像，并用作例如由CPU222执行的处理的工作区域。相同的部分212可以通过已知的易失性或非易失性存储器实现。
通信单元214是用于头戴式显示器200与图像呈现系统100的外部设备通信的接口。相同的部分214可以通过已知的无线通信技术，如WiFi（注册商标）或蓝牙（注册商标）实现。
记录介质接口216是适于读取记录介质（如，存储内容（如，电影和游戏）的DVD（数字通用光盘）、蓝光光盘（注册商标）或闪速存储器）的接口。CPU222对记录介质接口216读出的内容进行处理，并通过呈现部分218和音频输出部分220提供给用户。记录介质接口216可以使用已知的技术（如，光驱）实现。
呈现部分218是适于为用户500呈现图像的装置。尽管未示出，但相同的部分218包括左眼和右眼呈现部分，以可以分别向用户500的左眼和右眼彼此独立地呈现用于左眼和右眼的视差图像。这使得向用户500呈现具有深度的三维图像成为可能。呈现部分218可以用已知的显示技术实现，如LCD（液晶显示器）或OELD（有机电致发光显示器）。
音频输出部220是适于为用户500呈现音频的装置。虽然未示出，但相同的块220连接到左耳和右耳的耳机，从而允许向用户呈现立体声音频。
CPU222对从头戴式显示屏200的不同部分通过内部总线230获得的信息进行处理，从而不仅处理内容呈现，还处理其他进程，包括头部跟踪过程和手跟踪过程，这将在后面描述。
加速度传感器224检测头戴式显示器200的加速度。更具体地说，相同的传感器224检测重力的方向来检测头戴式显示器200的倾斜。加速度传感器224可以用例如已知的低g加速度传感器实现。另一方面，第一LED226是适于从头戴式显示器200的外部辐射光的LED光源，例如，辐射不可见范围的光（如，红外光）。如上描述的外罩发光元件210可以用第一LED226实现。
I/O控制部分232不仅控制来自第一按钮202、外罩成像部分204和加速度传感器224的输入，还由控制由第一LED226辐射的光。相同的232还控制与设置在躯干紧固装置300中的I/O控制部分304的信息交换。电源228包括电池（未示出），提供驱动头戴式显示器200的不同部分的能量。
躯干紧固装置300包括I/O控制部分304和第三成像元件306。相同的元件306与上面描述的躯干成像元件302对应，并可以使用已知的成像元件（如CCD或CMOS）实现。此外，第三成像元件306包括透视投影镜头。虽然在后面会详细描述，但相同的元件306包括适于传送设置在头戴式显示器200中的第一LED226辐射的光的波长附近的波长的光并衰减其他波长的光的光学滤波器。这使得有选择地对由第一LED226辐射的光成像成为可能。驱动躯干紧固装置300的不同部分的电源从电源228通过电缆（未示出）提供。
I/O控制部分304将由第三成像元件306获取的图像输出到设置在头戴式显示器200中的I/O控制部分232。此外，I/O控制部分304接收来自设置在头戴式显示器200中的I/O控制部分232的指示，以启动或停止第三成像元件306进行成像，从而控制相同的元件306的成像操作。
位置指定装置400包括第二按钮406、I/O控制部分408、第二LED410和电源412。
第二LED410与上面描述的位置指定发光元件404对应，并在I/O控制部分408的控制下辐射不可见范围的光，如红外光。相同的部分408控制第二LED410根据第二按钮406的ON/OFF状态发光的方式。更具体地说，当第二按钮406为ON时，I/O控制部分408保持第二LED410在任何时候都点亮。并且，当第二按钮406为OFF时，相同的部分408使得第二LED410以预定频率闪烁。这里，假设闪烁频率是F[Hz]，当第二按钮406为OFF时，I/O控制部分408保持反复以1/（2×F）秒点亮第二LED410，并在下一个1/（2×F）秒保持相同的LED410不点亮。电源412包括电池（未示出），提供驱动位置指定装置400的不同部分的能量。
图4是示意性示出根据本发明的一个实施例的头戴式显示器200的功能结构的图。根据一个实施例的头戴式显示器200包括鱼眼镜头234、外罩成像部分204、呈现部分218、图像获取部分250、跟踪部分260、内容再现部分270和合成部分280。图像获取部分250还包括第一和第二图像获取块252和254。再有，跟踪部分260包括头部跟踪块600，手跟踪块700和输出块262。
鱼眼镜头234具有约180度的视角，并用于获取图像，例如，通过等距投影。虽然通过鱼眼镜头234获取图像，但第一和第二成像元件206和208被统称为图4中的外罩成像部分204。另外，在本说明书中，第一和第二成像元件206和208被统称为外罩成像部分204，除非有必要区分这两者。第一和第二成像元件206和208可以通过不同的鱼眼镜头获取图像。
如上所述，使用时用户500用手握持位置指定装置400。因此，位置指定发光元件404位于相对于头戴式显示器200的外罩垂直向下并在用户500视线方向前方的位置。外罩成像部分204可以对当头戴式显示器200佩戴在用户500头部时相对于头戴式显示器200的外罩垂直向下并在用户500视线方向前方的光成像。这使得外罩成像部分204可以比较容易地在视角范围内布置随着用户500的手的运动移动的位置指定发光元件404。
设置在图像获取部分250中的第二图像获取块254获取由外罩成像部分204获取到的图像。设置在跟踪部分260中的跟踪块700从第二图像获取块254获取由外罩成像部分204获取到的图像。相同的块700通过分析所获取的图像来跟踪由位置指定发光元件404产生的亮点的位置变化。相同的元件404随着用户500的手的运动移动，从而允许手跟踪块700检测用户500的手的运动。手跟踪块700可以通过CPU222执行适于实现存储在图3所示的存储部分212中的手部跟踪过程的程序实现。手跟踪块700进行的手跟踪过程将在后面描述。
设置在图像获取部分250中的第一图像获取块252获取由躯干紧固装置300的躯干成像元件302获取的图像。头部跟踪块600获取由第一图像获取块252获取的图像。
如上所述，躯干成像元件302对包括由头戴式显示器200的外罩发光元件210辐射的光的对象成像。因此，由外罩发光元件210产生的亮点被成像在由第一图像获取块252获取的图像中。因此，头部跟踪块600通过分析所获取的图像跟踪位置指定发光元件404的位置变化。这允许相同的块600检测外罩发光元件210相对于躯干成像元件302的相对运动。因此，头部跟踪块600可以检测用户500的头部相对于用户500的躯干的方向，即视线方向。头部跟踪块600可以通过CPU222执行适于实现存储在如3所示的存储部分212中的头部跟踪过程的程序实现。应当注意的是，头部跟踪块600进行的头部跟踪过程将在后面详细描述。
设置在跟踪部分260中的输出块262输出头部跟踪块600和手跟踪块700执行的处理的结果。内容再现部分270再现记录介质接口216读出的内容。相同的部分270根据从输出块262获取的跟踪部分260的输出结果改变呈现给用户500的图像。例如，如果用户500的视线的相对于他或她的躯干朝向左，那么内容再现部分270使得呈现部分218显示与左方向相关联的三维图像。内容再现部分270可以通过使用存储部分212和CPU222的资源实现。
合成部分280合成由内容再现部分270生成的图像和由外罩成像部分204所获取的图像。更具体地，相同的部分280从输出块262获取用户500的视线方向。如果所获取的视线方向是垂直向下的，即，朝向用户500的手或脚的方向，那么合成部分280合成由外罩成像部分204获取的可见光图像和由内容再现部分270生成的图像。合成部分280合成图像可以通过CPU222执行适于执行已知的图像处理技术（如，alpha混合）的程序实现。作为获取手的朝向的另一种手段，也可以使用位置指定发光元件404相对于头戴式显示器200的坐标系10的方向，它可以通过将在后面描述的手跟踪过程获取。
根据一个实施例的头戴式显示器200在佩戴在用户500头上时位于用户500眼睛前面，遮挡周边的可见性。用户500观看由呈现部分218呈现的虚拟三维图像，由此为用户500提供更高的身临其境感。另一方面，由于合成部分280合成了用户500的手和脚及周边区域的真实图像，因此佩戴头戴式显示器200的用户500可以更容易完成手动操作、行走和其他任务，从而有助于提高可用性。应该注意的是，合成部分280是否合成由外罩成像部分204获取的图像可以是可开关的，例如，通过按第一按钮202。
图5是示出根据一个实施例的图像呈现系统100执行跟踪过程流程的流程图。该流程图所示的过程在例如打开头戴式显示器200的电源时开始。
外罩成像部分204对由位置指定装置400的位置指定发光元件404辐射的光成像，将其转换成图像（S2）。手跟踪块700通过分析由外罩成像部分204获取的图像检测用户500的手的运动（S4）。
外罩发光元件210在I/O控制部分232的控制下相对于头戴式显示器200垂直向下辐射光（S6）。躯干紧固装置300的躯干成像元件302通过对外罩发光元件210垂直向下辐射的光成像获取图像（S8）。头部跟踪块600通过分析由第一图像获取块252获取的和由躯干成像元件302获取的图像检测头戴式显示器200相对于躯干成像元件302的相对运动（S10）。
当头部跟踪块600检测出头戴式显示器200相对于躯干成像元件302的相对运动时，流程图中所示的过程终止。应该注意的是，虽然为了方便，描述了首先由手跟踪块700检测手的运动，再由头部跟踪块600检测头部运动的情形，但也可以先检测头部的运动，再检测手的运动。或者，可以并行地检测头部和手的运动。
（手跟踪）
上面已经描述了的图像呈现系统100的整体结构的和跟踪过程概略。下面将描述根据本发明的一个实施例的手跟踪。
图6是示意性示出用于手部跟踪的图像呈现系统100的结构的图。如图6所示，根据本实施例，头戴式显示器200和位置指定装置400用于手跟踪。
图7是示意性示出使用根据本发明的一个实施例的图像呈现系统100的手跟踪的场景。在根据本实施例的手跟踪中，位置指定发光元件404相对于头戴式显示器200的坐标系10（Hx，Hy，Hz）的方向被获取为一组俯仰角和偏转角。图7所示的坐标系10具有位于外罩成像部分204位置处的原点，Hy轴定义为指向垂直向上，Hx轴定义为从用户500头部的左边指向右边，Hz轴定义为从用户500头部的前面指向后面。应该注意的是，图7中未示出躯干紧固装置300。
图8是示意性示出由根据本发明的一个实施例的外罩成像部分204获取的图像256的示例的图。在图8中，点O是由外罩成像部分204获取的图像256的中心，P点是位置指定发光元件404产生的亮点。如前所述，外罩成像部分204通过鱼眼镜头234等距投影来获取图像。因此，如果位置指定发光元件404存在于外罩成像部分204的光轴上，那么亮点P存在于图像256的中心O。
位置指定发光元件404距离外罩成像部分204的光轴的距离越长，即从位置指定发光元件404向下绘制的到外罩成像部分204的光轴的垂直线越长，亮点P和图像256中心O之间的距离就越长。此外，如果位置指定发光元件404移动的同时保持从相同的元件404到外罩成像部分204的光轴为常数，那么图像256的亮点P沿围绕中心O的弧移动。
根据上面的描述，可以当线段OP是半径矢量时，通过测量半径矢量的长度L获取位置指定发光元件404相对于坐标系10的俯仰角。另外，可以通过测量半径矢量的倾斜角θ获取位置指定发光元件404相对于坐标系10的偏转角。
图9是示意性示出根据本发明的一个实施例的手跟踪块700的功能结构的图。相同的块700包括亮点检测单元710、矢量获取单元720、俯仰角获取单元730、偏转角获取单元740和手势识别单元750。
亮点检测单元710获取由外罩成像部分204从第二图像获取块254获取的图像。相同的单元710从所获取的图像检测由位置指定发光元件404产生的亮点P。如上所述，位置指定发光元件404根据第二按钮406的ON/OFF状态在任何时候点亮和闪烁之间切换。因此，亮点检测单元710还检测检测到的亮点是在任何时候点亮还是闪烁，从而还检测第二按钮406是否已经被按下。亮点检测单元710可以使用例如已知的图像处理技术（如，模式匹配）实现。应该注意的是，亮点检测单元710执行的检测第二按钮406是否已经被按下的过程将在后面详细描述。
矢量获取单元720获取具有作为终点的由亮点检测单元710检测到的亮点P和作为起点的由外罩成像部分204获取的图像256中心O的半径矢量。俯仰角获取单元730从由矢量获取单元720获取的半径矢量的长度L获取位置指定发光元件404相对于坐标系10的俯仰角，坐标系10具有位于外罩成像部分204位置处的原点。偏转角获取单元740从由矢量获取单元720获取的半径矢量的倾斜角θ获取位置指定发光元件404相对于坐标系10的偏转角，坐标系10具有位于外罩成像部分204位置处的原点。
手势识别单元750获取由设置在外罩成像部分204中的第二成像元件208获取到的图像。如上所述，第二成像元件208对可见范围内的光成像。相同的元件208对用户500的手成像，例如，当用户500不具有位置指定装置400时。手势识别单元750识别由第二成像元件208成像的用户500的手的形状，并将此信息输出到输出块262。
作为示例，我们假设用拇指和食指形成圆圈的手势与第二按钮406的ON状态相关联，握紧拳头与相同的按钮406的OFF状态相关联。此时，如果手势识别单元750检测到由第二成像元件208获取的图像中的用拇指和食指形成圆圈的手势，相同的单元750输出与当亮点检测单元710检测到第二按钮406的ON状态时相同的信号。同样，如果手势识别单元750检测到由第二成像元件208获取的图像中的握紧的拳头，相同的单元750输出与当亮点检测单元710检测到第二按钮406的OFF状态时相同的信号。
这使得可能获得与当用户500按下第二按钮406时相同的信息，即使用户500没有位置指定装置400。手势识别单元750还可以识别上述以外的手势。这使得可以从用户500获得比按下第二按钮406更多的信息。相同的单元750可以使用已知的图像识别技术实现，如，使用基于机器学习的模式识别。替代性地，手势识别单元750可以与位置指定装置400组合使用。相同的单元750可以通过获取由设置在外罩成像部分204中的第一成像元件206获取的图像来将跟踪手的轨迹识别为手势。
图10是示出根据本发明的一个实施例的手跟踪块执行的过程步骤的流程图，图5中详细示出步骤S4。
第二图像获取块254通过对由位置指定发光元件404辐射的红外光成像（S402）来获取由外罩成像部分204获取的图像。亮点检测单元710检测由从第二图像获取模块254获取的图像中的红外光产生的亮点（S404）。
矢量获取单元720获取具有作为终点的由亮点检测单元710检测到的亮点和作为起点的由外罩成像部分204获取的图像中心（S406）的矢量。俯仰角获取单元730获取由矢量获取单元720获得的矢量的长度L（S408）。偏转角获取单元740获取由矢量获取单元720获取的矢量倾斜角θ（S410）。
（头部跟踪）
上面已经描述了根据本发明的一个实施例的手跟踪。下面将描述根据本发明的一个实施例的头部跟踪。
图11是示意性示出用于头部追踪的图像呈现系统100的结构的图。如图11所示，头戴式显示器200和躯干紧固装置300用于根据该实施例的头部跟踪。
图12是示意性示出根据本发明的一个实施例的图像呈现系统100的头部跟踪的使用场景的图。在根据本实施例的头部跟踪中，检测头戴式显示器200的坐标系10（Hx，Hy，Hz）相对于躯干紧固装置300的坐标系12（Bx，By，Bz）的相对姿态角的变化（Hpitch，Hyaw，Hroll）。这里，Hpitch表示坐标系10相对于坐标系12的俯仰角，Hyaw表示坐标系10相对于坐标系12的偏转角，Hroll表示坐标系10相对于坐标系12的滚动角。头戴式显示器200的坐标系10相对于躯干紧固装置300的坐标系12的变化与用户500的头部相对于他或她的躯干的位置变化对应。
图12中示出的坐标系12具有在躯干成像元件302位置处的原点，定义为指向垂直向上的By轴，定义为从用户500左边指向右边的Bx轴和定义为从用户500前面指向后面的Bz轴。应该注意的是，图12中未示出位置指定装置400。
在躯干紧固装置300的坐标系12中，By轴平行于重力方向，而Bx和Bz轴垂直于重力方向。类似地，如果用户500面向朝前，那么头戴式显示器200坐标系10的Hy轴平行于重力方向，而Hx和Hz轴垂直于重力方向。
如躯干紧固装置300的坐标系12所示，如果用户500向上或向下移动他或她的头部，即，如果他或她向下看地板上或向上看天花板，那么头戴式显示器200坐标系10的俯仰角相对于坐标系12变化。另外，如果用户500向左或向右倾斜他或她的头部，即，如果他或她的头部向一侧倾斜，那么头戴式显示器200坐标系10的滚动角相对于坐标系12变化。在坐标系10的俯仰角或滚动角相对于坐标系12变化的情况下，坐标系10的Hx和Hy轴从垂直于重力的方向偏离。可以通过使用图3中的加速度传感器224检测该“偏离”来检测坐标系10相对于坐标系12的俯仰角或滚动角。
与此相反，很难从重力方向变化检测出坐标系10相对于坐标系12的偏转角变化。例如，如果用户500面朝左边或右边，而同时他或她的脖子保持直立，那么坐标系10的偏转角相对于坐标系12变化。然而，坐标系10的H轴不会改变，保持平行于重力方向。因此，根据本实施例的图像呈现系统100通过使用躯干成像元件302对由外罩发光元件210辐射的光成像和分析图像检测出坐标系10相对于坐标系12的偏转角变化。下面将描述从躯干成像元件302获取到的图像检测出坐标系10相对于坐标系12的偏转角变化的原理。
图13是示意性示出根据本发明的一个实施例的由躯干成像部分302获取的图像308的一个示例的图。更具体地说，图13示出了当用户500佩戴头戴式显示器200面向朝前并左右旋转脖子时，由外罩发光元件210产生的亮点的轨迹。一般情况下，一个人可以在左右两个方向上旋转他的脖子的角度大约为60度。因此，如果用户500佩戴头戴式显示器200面向朝前并左右旋转脖子时，那么由外罩发光元件210产生的亮点的轨迹是其中心角约为120度的扇形弧线。
在图13中，点P表示当用户500面向朝前时外罩发光元件210产生的亮点。Q表示当用户500尽可能向右旋转脖子时外罩发光元件210产生的亮点。另外，R点表示当用户500尽可能向左旋转脖子时外罩发光元件210产生的亮点。假设外罩发光元件210产生的亮点的轨迹描记为弧线，那么点P、Q和R在同一圆周上。一般情况下，通过三个点的圆可以被唯一地确定。因此，上述弧线可以通过检测点P、Q和R确定。
这里，如果用户500在左右旋转他或她的脖子时，脖子还前后弯曲，那么图像308中由外罩发光元件210产生的亮点的轨迹描记的圆的半径比当用户500面向朝前时要短。其原因是，当用户500向前或向后弯曲他或她的脖子时，外罩发光元件210更靠近作为旋转轴线的用户500的脖子。
图13中的弧CD示出了当用户500左右旋转他或她的脖子，并前后弯曲脖子时，用户500脖子的轨迹。由此看出，本申请的发明者发现“外罩发光元件210的存在区域”存在于图像308中可能存在由外罩发光元件210产生的亮点的地方。更具体地说，该区域是由经过点P、Q和R并具有图13的中心角为180度的弧线包围的区域。外罩发光元件210的存在区域是由图13中的线段AB和弧线AB所包围的区域。应当注意的是，图13中的点O是弧线的圆心。
如上所述，躯干紧固装置300包括躯干成像元件302和适于支持相同的元件302的元件支持部分314。另外，元件支持部分314还包括适于调节躯干成像元件302的倾斜度（tilt）的调节部分312。当使用图像呈现系统100时，用户500使用调节部分312进行被设计用来以使得“外罩发光元件210的存在区域”被包括在由躯干成像元件302获取的图像308中的方式调节躯干成像元件302的倾斜度的校准。这提供了由外罩发光元件210产生的亮点存在于图像308中的更高的可能性。
图14是示意性示出根据一个实施例的头部跟踪块600的功能结构的图。根据本实施例的头部跟踪块600包括区域定义部分610和亮点分析部分620。区域定义部分610从第一图像获取块252获取由躯干成像元件302获取的图像308。如果已经确定“外罩发光元件210的存在区域”，那么相同的部分610定义图像308中外罩发光元件210的存在区域。
亮点分析部分620通过分析图像308检测外罩发光元件210相对于躯干成像元件302的偏转角。下面将对亮点分析部分620详细说明。
亮点分析部分620包括亮点选择单元630、轨迹检测单元640、拟合单元650、矢量获取单元660和偏转角获取单元670。亮点选择单元630在图像308中存在多个亮点时从多个亮点中选择由外罩发光元件210产生的亮点。
图像308中存在多个亮点的情形可能是例如除了由外罩发光元件210产生的亮点之外还存在由位置指定发光元件404产生的亮点。亮点选择单元630执行的选择过程将在后面详细叙述。
轨迹检测单元640检测由躯干成像元件302获取的图像308中由亮点选择单元630选择的亮点的轨迹。拟合单元650获取拟合由轨迹检测单元640检测到的轨迹的弧线。相同的单元650将获取的弧线作为在适于调节躯干成像元件302的倾斜度的校准过程中的外罩发光元件210的存在区域发送给区域定义部分610。
矢量获取单元660获取具有作为起点的由拟合部分650获取的弧线的中心和作为终点的由亮点选择单元630选择的亮点的半径矢量。与设置在手跟踪700块中的偏转角获取单元740一样，偏转角获取单元670通过获取由矢量获取单元660获取的半径矢量的倾斜角来检测外罩发光元件210相对于躯干成像元件302的偏转角。
图15是示出根据一个实施例的头部跟踪过程的流程的流程图，图5详细示出步骤S10。
区域定义部分610定义由躯干成像元件302所获取的图像308中外罩发光元件210的存在区域（S102）。如果区域定义部分610定义的区域中存在多个亮点，那么亮点选择单元630确定由外罩发光元件210产生的亮点（S104）。轨迹检测单元640检测躯干成像元件302所获取的图像308中由亮点选择单元630选择的亮点的轨迹（S106）。
拟合单元650获取拟合由轨迹检测单元640检测到的轨迹的弧线（S108）。矢量获取单元660获取具有作为起点的由拟合单元650获取的弧线的中心和作为终点的由亮点选择单元630选择的亮点的半径矢量（S110）。偏转角获取单元670获取由矢量获取单元660获取的半径矢量的倾斜角（S112）。
（联合使用手跟踪和头部跟踪）
上面已经描述了根据本发明的实施例的头部跟踪。下面将描述联合使用根据本发明的实施例的手跟踪和头部跟踪的情况。
（外罩发光元件210和外罩成像部分204之间的位置关系）
图16是示出根据本发明的实施例的头戴式显示器200的局部放大视图的图，示出外罩发光元件210和外罩成像部分204之间的位置关系。
如上所述，外罩成像部分204的第一和第二成像元件206和208设置在头戴式显示器200的外罩的斜坡区域上。在图16中，斜坡区域用连接参考标号S1和S2的斜线线段表示。这里，外罩成像部分204被设计为对位置指定发光元件404成像。因此，优选地，相同的部分204不应该对由用于头部跟踪的外罩发光元件210辐射的光成像。
出于此原因，头戴式显示器200的外罩允许外罩成像部分204和外罩发光元件210之间屏蔽。更具体地说，至少一部分外罩存在于外罩成像部分204和外罩发光元件210之间，如图16中参考标号S1和S2所示。这降低了外罩发光元件210辐射的光落入外罩成像部分204的角度范围内或至少落入区域定义部分610定义的外罩发光元件210的存在区域内的机会。
另外，如上所述，外罩发光元件210被设计用于检测头戴式显示器200的坐标系10相对于躯干紧固装置300的坐标系12的偏转角的变化。这里，虽然拟合单元650在检测到偏转角变化时执行圆形拟合，但一般情况下，要拟合的圆的半径越大，拟合精度就越高。因此，优选地，当用户500佩戴头戴式显示器200时，外罩发光元件210应位于尽可能远离用户500的头部的位置。
出于此原因，当头戴式显示器200佩戴在用户500的头部上时，外罩发光元件210安装得比外罩成像部分204在用户500的视线方向上更靠前。此外，由于外罩的至少一部分存在于外罩成像部分204和外罩发光元件210之间，因此相同的元件210安装得比外罩成像部分204在垂直方向上更加向上。这提供了由躯干成像元件302获取的图像308中由外罩发光元件210产生的亮点轨迹描记的更大的弧线半径，从而有助于提高拟合单元650执行的圆形拟合的精确度。
（亮点选择）
下面将描述亮点选择单元630进行的亮点选择过程。
如上所述，亮点分析部分620通过分析区域定义部分610定义的外罩发光元件210的存在区域中的亮点的运动来检测外罩发光元件210的运动。然而，如果外罩发光元件210的存在区域中存在多个亮点，那么首先从这多个亮点中选择由相同的元素210产生的亮点。例如，如果手跟踪和头部跟踪组合使用，可能会出现的情况是，由位置指定发光元件404产生的亮点可能出现在外罩发光元件210的存在区域中。
亮点选择单元630基于由躯干成像元件302获取的图像308中定义的外罩发光元件210的存在区域中检测到的多个亮点的大小，选择由外罩发光元件210产生的亮点。
当用户500在头戴式显示器200和躯干成像元件302之间移动位置指定装置400时，位置指定发光元件404辐射的光可能会落入躯干成像元件302的视角范围内。在这种情况下，从躯干成像元件302到外罩发光元件210的距离比从躯干成像元件302到位置指定发光元件404的距离长。这里，根据本发明的实施例的外罩发光元件210具有与位置指定发光元件404相同的尺寸。因此，如果由外罩发光元件210产生的亮点和由位置指定发光元件404产生的另一个亮点同时存在于外罩发光元件210的存在区域中，那么由外罩发光元件210产生的亮点小于由位置指定发光元件404产生的亮点。
出于这个原因，亮点选择单元630在大小方面比较在外罩发光元件210的存在区域中检测到的多个亮点，选择最小的一个作为由外罩发光元件210产生的亮点。这使得可以从外罩发光元件210的存在区域的多个亮点中识别出由外罩发光元件210产生的亮点。
图17是示出根据本发明的一个实施例的亮点选择单元630执行选择过程流程的流程图，图15详细示出步骤S104。
亮点选择单元630详细研究亮点是否存在于区域定义部分610定义的外罩发光元件210的存在区域中。如果不存在亮点（S20中为否），相同的单元630确定还需检测亮点（S38）。当存在亮点时（S20中为是），亮点选择单元630详细研究在外罩发光元件210的存在区域中是否存在两个或两个以上的亮点。如果不存在两个或两个以上的亮点，也就是说，只存在一个亮点（S22中为否），那么亮点选择单元630将检测到的亮点选择作为由外罩发光元件210产生的亮点（S36）。
当存在两个或两个以上的亮点时（S22中为Y），亮点选择单元630详细研究检测到的亮点之间的大小关系。当一个亮点大于或小于另一个的或其他的亮点时（S24中为Y），相同的单元630选择最小的亮点作为由外罩发光元件210产生的亮点（S34）。如果没有一个亮点大于或小于另一个的或其他的亮点（S24中为否），那么亮点选择单元630找到从先前选择作为由外罩发光元件210产生的亮点的亮点位置到每个亮点的距离。当一个距离长于或短于另一个的或其他的距离时（S28中为Y），相同的单元630选择最靠近前一个的亮点作为由外罩发光元件210产生的亮点（S32）。
如果发现的距离中没有比另一个或其他距离（S28中为否）更长或更短的，那么亮点选择单元630获取每个亮点的重心的坐标，并认为由外罩光发光元件210产生的亮点存在在该坐标位置处（S30）。
（检测来自位置指定设备400的信号）
上面已经描述了亮点选择单元630执行的亮点选择过程。下面将描述亮点检测单元710执行检测过程，以检测是否已经按下位置指定装置400的第二按钮406。
如上所述，当第二按钮406为ON时，位置指定发光元件404在所有的时间点亮，当第二按钮406为OFF时，以闪烁频率F闪烁。亮点选择单元630通过分析在外罩成像部分204所获取的图像256中是否存在由位置指定发光元件404产生的亮点来检测是否已经按下第二按钮406。
更具体地说，外罩成像部分204分析通过以至少频率2F（位置指定发光元件404闪烁频率F的两倍）进行成像而获取的图像256进行分析。可以知道的是，由于相同的部分204以位置指定发光元件404闪烁频率F的至少两倍获取图像256，并分析达到两个连续帧的图像256，因此亮点检测单元710可以识别位置指定发光元件404是在所有时间点亮还是以频率F（周期T=1/F）闪烁，或者是否没有亮点存在于图像256中。闪烁频率F是例如120[Hz]，尽管它可以考虑多个因素（如，外罩成像部分204的时间分辨率）实验确定。在这种情况下，第二按钮406为OFF时，位置指定发光元件404每隔1/240秒反复地点亮和熄灭。另一方面，外罩成像单元204以至少240[Hz]获取包括位置指定发光元件404的对象。
图18是示出根据本发明的一个实施例的检测由位置指定装置400发出的信号的流程的流程图，示出以何种方式控制位置指定发光元件404。
设置在位置指定装置400中的I/O控制部分408初始化切换器（S40）。这里，术语“切换器”指的是二进制值，指示当第二按钮406没有被按下时第二LED是点亮还是熄灭。在本发明的实施例中，切换器每隔1/240秒反转一次，并存储在未示出的I/O控制部分408的临时存储部分中。
I/O控制部分408验证第二按钮406的ON/OFF状态（S42）。当已经按下第二按钮406时（S44中为是），相同的部分408点亮第二LED410，位置指定发光元件404（S50）。如果第二按钮406没有被按下（S44中为否），并且如果切换器不为“0”（S46中为否），那么I/O控制部分408也点亮第二LED410，位置指定光发光元件404（S50）。
如果第二按钮406没有被按下（S44中为否），并且如果切换器为“0”（S46中为是），那么I/O控制部分408熄灭第二LED410，位置指定发光元件404（S48）。稍后，当切换器为“0”（S52中为是）时，I/O控制部分408将切换器反转为“1”（S56）。如果切换器具不为“0”（S52中为否），那么相同的部分408将切换器反转为“0”（S56）。在切换器反转之后，I/O控制部分408返回到步骤S42，重复上述步骤。
I/O控制部分408例如每隔1/240秒就重复一次上述步骤，从步骤S42到S54和S56。这使得相同的部分408作为整体可以使得当第二按钮406为OFF时，第二LED410以120[Hz]的间隔闪烁，当第二按钮406为ON时，第二LED灯410连续点亮。
图19是示出当检测到根据本发明的一个实施例的位置指定装置400发出的信号时描述由亮点检测单元710执行的检测过程的亮点检测单元710内部条件状态转换图。
亮点检测单元710基于由外罩成像部分204获取的图像检测由位置指定装置400发出的信号，并根据在检测过程中检测到的信号改变“按下标志”的值。这里，术语“按下标志”指的是用来检测存在或不存在由位置指定发光元件404产生的亮点以及用来在检测到亮点时检测第二按钮406的ON/OFF状态的工作存储器。该按下标志被包含在存储部分212中。
更具体地说，亮点检测单元710逐帧地获取由外罩成像部分204获取的图像256以进行分析。当检测到由位置指定发光元件404产生的亮点闪烁时，即当识别出第二按钮406为OFF时，亮点检测单元710将按下标志设置为“0”。另一方面，当检测到由位置指定发光元件404产生的亮点在所有时间点亮时，也就是说，当识别出第二按钮406为ON时，亮点检测单元710将按下标志设置为“1”。此外，当在由外罩成像单元204获取的图像中未检测由位置指定发光元件404产生的亮点时，亮点检测单元710将按下标志设置为“2”。
这里，按下标志的值与亮点检测单元710的内部条件相关联。即，当按下标志为0时，相同的单元710在OFF状态（ST0）。此外，当按下标志为“1”时，相同的单元710处于ON状态（ST1）。当按下标志为“2”时，相同的单元710处于未知状态（ST2）。亮点检测单元710分析由外罩成像部分204获取的图像256的两个连续的帧，根据分析结果改变其内部条件。
我们假设，例如，当亮点检测单元710的内部条件为ON状态（ST0）时，相同的单元710检测到由位置指定发光元件404产生的亮点在图像206的两个连续的帧中。在这种情况下，相同的单元710将按下标志从“0”变为“1”，使得内部条件转换为ON状态ST1。原因是，当在图像256的两个连续的帧中都检测到亮点时，亮点极有可能在所有时间都点亮。
在图19中，上述转换用从OFF状态ST0指向ON状态ST1的箭头和“（P->P）”表示。这里，参考标号P表示图像256中存在亮点，并且是单词“Present（存在）”的第一个字母。“（P->P）”表示在第一和下一图像256中都检测到亮点的事件。
我们假设当亮点检测单元710的内部条件是ON状态（ST1）时，相同的单元710在图像256的第一帧中没有检测到任何亮点，但在其下一帧中检测到亮点。在这种情况下，相同的单元710将按下标志从“1”变化为“0”，使得内部条件转换为OFF状态ST0。在图19中，上述转换用从ON状态ST1指向OFF状态ST0的箭头和事件（A->P）表示。这里，参考标号A表示在图像256中不存在亮点，是单词“Absent（不存在）”的第一个字母。事件（A->P）表示在第一图像256中没有检测到的亮点，但在下一图像256中检测到亮点。这同样适用于下文。事件（A->A）表示在图像256的两个连续的帧中都未检测到亮点，事件（P->A）表示在第一图像256中检测到亮点，但在下一图像256中没有检测到亮点。
类似地，如果当亮点检测单元710的内部条件是ON状态（ST1）时，发生事件（A->A），那么亮点检测单元710将按下标志从“1”变为“2”，使得内部条件转换为未知状态ST2。如果在图像256的两个连续的帧中都未检测到亮点，那么图像256中不存在亮点，使得亮点检测单元710极有可能已经未能跟踪亮点。如果当亮点检测单元710的内部条件是未知状态（ST2）时，发生事件（P->P），那么亮点检测单元710将按下标志从“2”变为“1”，使得内部条件转换为ON状态ST1。
如果当亮点检测单元710的内部条件是未知状态（ST2）时，发生事件（P->A），那么亮点检测单元710将按下标志从“2”变为“0”，使得内部条件转换为OFF状态ST0。并且，如果当亮点检测单元710的内部条件是OFF状态（ST0）时，发生事件（A->A），那么亮点检测单元710将按下标志从“0”变为“2”，使得内部条件转换为未知状态ST2。
因此，亮点检测单元710可以检测出存在或不存在由第二按钮406产生的亮点，以及如果存在，可以识别第二按钮406的ON/OFF状态。
如上所述，根据本发明的一个实施例的图像呈现系统100提供了一种用于检测佩戴头戴式显示器的用户的运动的技术。
因此，本公开已经基于其实施例进行了描述。上述实施例是示例性的，并且本领域的技术人员应该理解的是，可以以各种方式修改这些组件和过程的组合，并且，这些变型例也属于本公开的范围。
（第一变型例）
上面已经描述了亮点选择单元630基于在躯干成像元件302获取的图像308中定义的外罩发光元件210的存在区域中检测到的多个亮点的大小选择由外罩发光元件210产生的亮点的情形。然而，亮点选择单元630执行的亮点选择方法并不局限于此。除了上述的方法，可以通过利用由发光元件（亮点的源）辐射的光的波长差异来选择亮点。下面将对此方法进行描述。
根据第一变型例的外罩发光元件210辐射的光的波长不同于位置指定发光元件404辐射的光的波长。出于此原因，躯干成像元件302使用具有比对位置指定发光元件404辐射的光更高的对外罩发光元件210辐射的光的透射率的光学滤波器实现成像。因此，即使由外罩发光元件210产生的亮点和由位置指定发光元件404产生的另一个亮点都存在于外罩发光元件210的存在区域中，这些亮点的亮度也不同。
更具体地说，如果躯干成像元件302以例如光量越大亮度越高的方式获取图像，那么由外罩发光元件210产生的亮点比由位置指定发光元件404产生的亮度更高，因为位置指定发光元件404辐射的光通过光学滤波器衰减。出于此原因，亮点选择单元630在亮度方面比较图像中的两个亮点，将具有更高亮度的亮点选择为由外罩发光元件210产生的亮点。
（第二变型例）
上面已经描述了亮点选择单元630选择最接近前一个亮点的亮点作为由外罩发光元件210产生的亮点。但是，如果之前检测到由外罩发光元件210产生的亮点，那么可以根据之前检测到的亮点的位置预测亮点的当前位置。这可以通过例如采样由偏转角获取单元670获取的半径矢量的倾斜角和估计亮点的角速度实现。如上所述，可以通过跟踪弧线形状的轨迹来预测由外罩发光元件210产生的亮点。因此，亮点的当前位置可以根据它之前的位置和角速度以较高精度进行估计。
第二变型例的优点在于，与上面使用光学过滤器情形不同，它可以以较高的精度估计由外罩发光元件210产生的亮点，即使由例如电视机遥控器发出的光的波长接近外罩发光元件210辐射的光。
（第三变型例）
上面已经描述了外罩成像部分204包括适于对在不可见范围的光（如，红外光）成像的第一成像元件206和适于对在可见范围的光成像的第二成像元件208。然而，外罩成像部分204可以包括能够同时对在可见和不可见范围的光成像的单个成像元件。这有助于减轻头戴式显示器200的重量，从而确保佩戴相同的显示器200的用户500的负担较轻。
应该注意的是，根据本发明的实施例的公开内容可以通过下面给出的特征识别。
（特征1-1）
头戴显示器，包括：
外罩，容纳适于呈现三维图像的呈现部分，并在佩戴在观看者的头部时位于观看者眼睛的前面；以及
成像元件，设置在外罩内，并适于将外罩外部的光转换为图像，其中
成像元件对当外罩佩戴在观看者头部时相对于外罩垂直向下并观看者视线方向前方的光成像。
（特征1-2）
特征1-1的头戴式显示器，其中
在构成外罩的侧面中，当外罩佩戴在用户头部时，位于相对于外罩垂直向下位置的底侧的至少一部分具有垂直向上倾斜的斜坡区域，并且其中
成像元件设置在倾斜区域上。
（特征1-3）
特征1-1或1-2的头戴式显示器，其中
成像元件通过鱼眼镜头获取外罩外部的光，并将其转换成图像。
（特征1-4）
特征1-1至1-3中任一项的头戴式显示器，其中
成像元件将不可见范围的光转换成图像。
（特征1-5）
特征1-4的头戴式显示器，其中
成像元件将随着观看者的手的运动一起移动的发光元件发出的光转换成图像，头戴式显示器进一步包括：
手跟踪块，适于通过分析由成像元件获取的图像来跟踪发光元件的位置变化。
（特征1-6）
特征1-5的头戴式显示器，其中
与观看者的手的运动一起移动的发光元件附接到观看者握持的握持部分。
（特征1-7）
特征1-5或特征1-6的头戴式显示器，其中，手跟踪块，包括：
亮点检测单元，适于检测在由成像元件获取的图像中的亮点；
矢量获取单元，适于获取具有作为终点的由亮点检测单元检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量；
俯仰角获取单元，适于获取作为发光元件相对于成像元件的俯仰角的由矢量获取单元获取的矢量的长度；
偏转角获取单元，适于获取作为发光元件相对于成像元件的偏转角的由矢量获取单元获取的矢量的倾斜角。
（特征1-8）
特征1-1至1-3中任一项的头戴式显示器，其中
成像元件通过将可见范围的光转换成图像生成可见光图像，头戴式显示器还包括：
图像合成部分，适于合成可见光图像和虚拟图像以供呈现部分呈现。
（特征1-9）
特征1-8的头戴式显示器还包括：
手势识别单元，适于识别由成像元件获取的观看者的手势。
（特征1-10）
一种运动检测器，包括：
图像获取部分，适于通过对随着用户的手的运动一起移动的发光元件辐射的红外光成像来获取由附接到用户头部的成像元件获取的图像；
亮点检测单元，适于检测在由成像元件获取的图像中的红外光的亮点；
矢量获取单元，适于获取具有作为终点的由亮点检测单元检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量；
俯仰角获取单元，适于获取作为发光元件相对于成像元件的俯仰角的由矢量获取单元获取的矢量的长度；以及
偏转角获取单元，适于获取作为发光元件相对于成像元件的偏转角的由矢量获取单元获取的矢量的倾斜角。
（特征1-11）
一种运动检测方法，使得处理器执行：
通过对随着用户的手的运动一起移动的发光元件辐射的红外光成像来获取由附接到用户头部的成像元件获取的图像；
检测所获取的图像中的红外光亮点；
获取具有作为终点的检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量；
获取所获取的矢量的长度；以及
获取所获取的矢量的倾斜角。
（特征1-12）
一种程序，使得计算机执行以下功能：
通过对随着用户的手的运动一起移动的发光元件辐射的红外光成像来获取由附接到用户头部的成像元件获取的图像；
检测所获取的图像中的红外光亮点；
获取具有作为终点的检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量；
获取所获取的矢量的长度；以及
获取所获取的矢量的倾斜角。
（特征1-13）
一种图像呈现系统，包括：
头戴式显示器；以及
发光元件，附接在观看者握持的握持部分并适于辐射红外光，其中
头戴式显示器包括：
外罩，容纳适于呈现三维图像的呈现部分，并在佩戴在观看者的头部时位于观看者眼睛的前面；
成像元件，设置在外罩内，并适于对由随着握持部分的运动一起移动的发光元件辐射的红外光成像；以及
运动跟踪部分，适于通过分析由成像元件获取的红外光图像来跟踪发光元件相对于成像元件的相对位置变化。
（特征2-1）
一种头戴式显示器，包括：
外罩，容纳适于呈现三维图像的呈现部分，并在佩戴在观看者的头部时位于观看者眼睛的前面；
外罩发光元件，适于当外罩佩戴在观看者头部时相对于外罩垂直向下辐射光；
图像获取部分，适于获取通过附接到观看者的躯干的躯干成像元件获取的外罩发光元件的光的图像，以对由外罩发光元件辐射的光成像；以及
头部跟踪块，适于通过分析由图像获取部分获取的光图像来跟踪外罩发光元件相对于躯干成像元件的相对运动。
（特征2-2）
特征2-1的头戴式显示器，还包括：
设置在外罩内并适于对由随着观看者的手的运动一起移动的发光元件辐射的光成像的外罩成像部分，其中
当外罩佩戴在观看者的头部时，外罩发光元件与外罩成像部分相比，位于观看者视线方向上更靠前的位置，并在更垂直向上的位置，其中
外罩允许在外罩成像部分和外罩发光元件之间屏蔽。
（特征2-3）
特征2-1或2-2的头戴式显示器，其中
头部跟踪块检测外罩发光元件相对于躯干成像元件的偏转角。
（特征2-4）
特征2-1至2-3中任一项的头戴式显示器，其中
头部跟踪块进一步包括：
区域定义部分，适于定义被确定为存在外罩发光元件的区域的在由躯干成像元件获取的图像中的外罩发光元件存在区域；以及
亮点分析部分，适于通过分析在区域定义部分定义的外罩发光元件存在区域中的亮点的运动来检测外罩发光元件的运动。
（特征2-5）
特征2-4的头戴式显示器，其中，亮点分析部分包括：
轨迹检测单元，适于检测由躯干成像元件获取到的图像中的光的亮点的轨迹；
拟合部，适于获取拟合由轨迹检测单元检测到的轨迹的弧线；
矢量获取单元，适于获取具有作为起点的包括由拟合单元获取的弧线的圆的中心和作为终点的图像中的亮点的半径矢量；
偏转角获取单元，适于获取由矢量获取单元获取的半径矢量的倾斜角。
（特征2-6）
特征2-5的头戴式显示器，其中，亮点分析部分还包括：
亮点选择单元，适于在由区域定义部定义的区域中存在多个亮点的情况下根据图像中亮点大小或亮度差异中的至少一种差异识别由外罩发光元件产生的亮点。
（特征2-7）
特征2-6的头戴式显示器，其中
亮点选择单元在大小方面比较图像中的多个亮点并选择最小的一个。
（特征2-8）
特征2-6的头戴式显示器，其中
由外罩发光元件辐射的光与由随着观看者的手的运动移动的发光元件辐射的光的波长不同，其中
躯干成像元件对通过光学滤波器的光成像，所述光学滤波器具有较之对由随着观看者的手的运动一起移动的发光元件辐射的光，对由外罩发光元件辐射的光的更高的透射率，并且其中
亮点选择单元在亮度方面比较图像中的多个亮点，并选择具有最高亮度的一个。
（特征2-9）
特征2-4至2-8中任一项的头戴式显示器，其中
区域定义部分将以包括通过拟合单元获取的弧线的圆的中心为中心的扇形区域定义为外罩发光元件的存在区域。
（特征2-10）
特征2-2的头戴式显示器还包括：
手跟踪块，适于通过分析由外罩成像部分获取到的图像跟踪与观看者的手的运动一起移动的发光元件相对于外罩成像部分的相对运动。
（特征2-11）
特征2-1至2-10中任一项的头戴式显示器，其中
躯干成像元件的元件具有可附接到观看者的躯干的支持部分，其中
元件支持部分包括适于调节躯干成像元件的倾斜度的调节部分。
（特征2-12）
特征2-1至2-11中任一项的头戴式显示器，其中
外罩发光元件辐射不可见范围内的光。
（特征2-13）
一种图像呈现系统的运动检测方法，所述图像呈现系统包括：
头戴式显示器；
躯干成像元件，能够与头戴式显示器通信，并附接在观看者的躯干上；
发光元件，随着观看者的手的运动一起移动，其中头戴式显示器的处理器执行：
将随着观看者的手的运动一起移动的发光元件辐射的光转换成图像；
通过分析由发光元件辐射的光的图像，检测发光元件相对于头戴式显示器的相对运动；
当头戴式显示器佩戴在观看者的头部时，相对于头戴式显示器垂直向下辐射光；
通过对垂直向下辐射的光成像，获取由躯干成像元件获取的图像；以及
通过分析由躯干成像元件获取的所获取的图像，检测头戴式显示器相对于躯干成像元件的相对运动。
（特征2-14）
用于使图像呈现系统的计算机实现运动检测功能的程序，所述图像呈现系统包括：
头戴式显示器；
躯干成像元件，能够与头戴式显示器通信，并附接在观看者的躯干上；以及
发光元件，随着观看者的手的运动一起移动，其中运动检测功能包括下列多个功能：
当头戴式显示器佩戴在观看者的头部时，相对于头戴式显示器垂直向下辐射光；
将随着观看者的手的运动一起移动的发光元件辐射的光转换成图像；
通过分析由发光元件辐射的光的图像，检测发光元件相对于头戴式显示器的相对运动；
通过对垂直向下辐射的光成像，获取由躯干成像元件获取的图像；
通过分析由躯干成像元件获取的所获取的图像，检测头戴式显示器相对于躯干成像元件的相对运动。
（特征3-1）
一种图像呈现系统，包括：
头戴式显示器；
第一成像元件，能够与头戴式显示器通信；以及
第一发光元件，随着移动用户的手的运动一起移动，其中
头戴式显示器包括：
外罩，容纳适于呈现三维图像，并在佩戴在观看者的头部时位于观看者眼睛的前面；
第二发光元件，设置在外罩内，并适于当外罩佩戴在用户头部时相对于外罩垂直向下辐射光；以及
第二成像元件，设置在外罩内，并适于对由第一发光元件辐射的光成像，其中
第一成像元件附接到用户的躯干上，并对由第二发光元件辐射的光成像。
（特性3-2）
一种图像呈现系统的运动检测方法，所述图像呈现系统包括：
头戴式显示器；
第一成像元件，能够与头戴式显示器通信；以及
第一发光元件，随着移动用户的手的运动一起移动，其中头戴式显示器的处理器执行：
当头戴式显示器佩戴在用户头部时，相对于头戴式显示器垂直向下辐射光；
将由第一发光元件辐射的光转换成图像；
通过分析由第一发光元件辐射的光的图像，检测第一发光元件相对于头戴式显示器的相对运动；
通过对垂直向下辐射的光成像，获取由附接在用户的躯干上的第一成像元件获取的图像；以及
通过分析由第一成像元件获取的所获取的图像，检测头戴式显示器相对于第一成像元件的相对运动。
（特征3-3）
一种头戴显示器，包括：
外罩，容纳适于呈现三维图像的呈现部分，并在佩戴在观看者的头部时位于观看者眼睛的前面；
成像元件，设置在外罩内，并适于对由随着用户的手的运动一起移动的第一发光元件辐射的光成像；
第二发光元件，设置在外罩内，并适于当外罩佩戴在用户的头部时，相对于外罩垂直向下辐射光；以及
图像获取部分，适于获取通过附接在用户躯干上的成像元件获取的由第二发光元件辐射的光的图像。
（特征3-4）
一种运动检测器，包括：
图像获取部分，适于获取通过使用附接在用户躯干上的成像元件检测由随着用户的头部运动一起移动的发光元件辐射的光获取的图像；
轨迹检测单元，适于检测由图像获取部分获取的图像中光的亮点的轨迹；
拟合单元，适于获取拟合由轨迹检测单元检测到的轨迹的弧线；
矢量获取单元，适于获取具有作为起点的包括通过拟合单元获取的弧线的圆的中心和作为终点的图像中的亮点的半径矢量；以及
偏转角获取单元，适于获取作为发光元件相对于成像元件的俯仰角的由矢量获取单元获取的半径矢量的倾斜角。
本发明的技术包含与在2012年11月6日向日本专利局提交的日本优先权专利申请日本特开2012-244142中所公开的主题有关的主题，其全部内容通过引用被包括在本说明书中。
本领域的技术人员应该理解的是，根据设计要求和其他因素，只要它们在所附权利要求或其等同物的范围内，可以出现各种修改、组合、子组合和变更。

Claims (13)

1.一种头戴式显示器，包括：
外罩，容纳适于呈现三维图像的呈现部分，并在佩戴在观看者的头部时位于观看者眼睛的前面；以及
成像元件，设置在外罩内，并适于将外罩外部的光转换为图像，其中
成像元件对在外罩佩戴在观看者头部时相对于外罩垂直向下并在观看者视线方向前方的光成像。
2.如权利要求1所述的头戴式显示器，其中
在构成外罩的侧面中，当外罩佩戴在观看者头部时，位于相对于外罩垂直向下位置的底侧的至少一部分具有垂直向上倾斜的斜坡区域，并且
成像元件设置在斜坡区域上。
3.如权利要求1所述的头戴式显示器，其中
成像元件通过鱼眼镜头获取外罩外部的光，并将其转换成图像。
4.如权利要求1所述的头戴式显示器，其中
成像元件将不可见范围的光转换成图像。
5.如权利要求4所述的头戴式显示器，其中
成像元件将随着观看者的手的运动一起移动的发光元件发出的光转换成图像，头戴式显示器进一步包括：
手跟踪块，适于通过分析由成像元件获取的图像来跟踪发光元件的位置变化。
6.如权利要求5所述的头戴式显示器，其中
与观看者的手的运动一起移动的发光元件附接到观看者握持的握持部分。
7.如权利要求6所述的头戴式显示器，其中，手跟踪块包括：
亮点检测单元，适于检测在由成像元件获取的图像中的亮点；
矢量获取单元，适于获取具有作为终点的由亮点检测单元检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量；
俯仰角获取单元，适于获取作为发光元件相对于成像元件的俯仰角的由矢量获取单元获取的矢量的长度；以及
偏转角获取单元，适于获取作为发光元件相对于成像元件的偏转角的由矢量获取单元获取的矢量的倾斜角。
8.如权利要求1所述的头戴式显示器，其中
成像元件通过将可见范围的光转换成图像生成可见光图像，头戴式显示器还包括：
图像合成部分，适于合成可见光图像和虚拟图像以供呈现部分呈现。
9.如权利要求8所述的头戴式显示器，还包括：
手势识别单元，适于识别由成像元件获取的观看者的手势。
10.一种运动检测器，包括：
图像获取部分，适于通过对随着用户的手的运动一起移动的发光元件辐射的红外光成像来获取由附接到用户头部的成像元件获取的图像；
亮点检测单元，适于检测在由成像元件获取的图像中的红外光的亮点；
矢量获取单元，适于获取具有作为终点的由亮点检测单元检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量；
俯仰角获取单元，适于获取作为发光元件相对于成像元件的俯仰角的由矢量获取单元获取的矢量的长度；以及
偏转角获取单元，适于获取作为发光元件相对于成像元件的偏转角的由矢量获取单元获取的矢量的倾斜角。
11.一种运动检测方法，使得处理器执行：
通过对随着用户的手的运动一起移动的发光元件辐射的红外光成像来获取由附接到用户头部的成像元件获取的图像；
检测所获取的图像中的红外光亮点；
获取具有作为终点的检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量；
获取所获取的矢量的长度；以及
获取所获取的矢量的倾斜角。
12.一种程序，使得计算机执行以下功能：
通过对随着用户的手的运动一起移动的发光元件辐射的红外光成像来获取由附接到用户头部的成像元件获取的图像；
检测所获取的图像中的红外光亮点；
获取具有作为终点的检测到的亮点和作为起点的由成像元件获取的图像的中心的矢量；
获取所获取的矢量的长度；以及
获取所获取的矢量的倾斜角。
13.一种图像呈现系统，包括：
头戴式显示器；以及
发光元件，附接在观看者握持的握持部分并适于辐射红外光，其中
头戴式显示器包括：
外罩，容纳适于呈现三维图像的呈现部分，并在佩戴在观看者的头部时位于观看者眼睛的前面；
成像元件，设置在外罩内，并适于对由随着握持部分的运动一起移动的发光元件辐射的红外光成像；以及
运动跟踪部分，适于通过分析由成像元件获取的红外光图像来跟踪发光元件相对于成像元件的相对位置变化。
CN201310525037.1A 2012-11-06 2013-10-30 头戴式显示器、运动检测器及方法、图像呈现系统和程序 Active CN103809687B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-244142 2012-11-06
JP2012244142A JP6066676B2 (ja) 2012-11-06 2012-11-06 ヘッドマウントディスプレイおよび映像提示システム

Publications (2)

Publication Number Publication Date
CN103809687A true CN103809687A (zh) 2014-05-21
CN103809687B CN103809687B (zh) 2017-10-13

Family

ID=50621878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310525037.1A Active CN103809687B (zh) 2012-11-06 2013-10-30 头戴式显示器、运动检测器及方法、图像呈现系统和程序

Country Status (3)

Country Link
US (2) US9448405B2 (zh)
JP (1) JP6066676B2 (zh)
CN (1) CN103809687B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
CN105242400A (zh) * 2015-07-10 2016-01-13 上海鹰为智能科技有限公司 虚拟现实眼镜
CN105630168A (zh) * 2015-12-24 2016-06-01 联想(北京)有限公司 一种信息处理方法、第一电子设备及第二电子设备
CN105929533A (zh) * 2015-02-18 2016-09-07 Lg电子株式会社 头戴式显示器
CN106293099A (zh) * 2016-08-19 2017-01-04 北京暴风魔镜科技有限公司 手势识别方法及系统
CN106371597A (zh) * 2016-08-31 2017-02-01 安徽协创物联网技术有限公司 一种虚拟现实互换的轻质vr一体机
CN106371206A (zh) * 2016-08-31 2017-02-01 安徽协创物联网技术有限公司 一种广视角虚拟现实装置
CN106415510A (zh) * 2014-05-30 2017-02-15 三星电子株式会社 数据处理方法及其电子设备
CN106687888A (zh) * 2014-09-19 2017-05-17 索尼公司 控制设备、控制方法和程序
CN106796351A (zh) * 2014-09-18 2017-05-31 爱父爱斯吉尔有限公司 通过视线控制的头戴式显示装置及其控制方法、用于控制该装置的计算机程序
CN107852474A (zh) * 2015-08-11 2018-03-27 索尼互动娱乐股份有限公司 头戴式显示器
CN108062159A (zh) * 2016-11-07 2018-05-22 宏达国际电子股份有限公司 虚拟实境或扩增实境的方法、装置以及非暂态计算机可读取媒体
CN108475120A (zh) * 2016-02-01 2018-08-31 微软技术许可有限责任公司 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
CN109643152A (zh) * 2016-06-03 2019-04-16 脸谱科技有限责任公司 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
CN110431468A (zh) * 2017-04-28 2019-11-08 惠普发展公司，有限责任合伙企业 确定用于显示系统的用户躯干的位置和取向
CN110673340A (zh) * 2019-09-24 2020-01-10 歌尔科技有限公司 增强现实设备的控制方法及增强现实设备
CN111273450A (zh) * 2020-04-14 2020-06-12 湖南翰坤实业有限公司 一种vr体验头盔及其平衡调节方法
CN111698427A (zh) * 2020-06-23 2020-09-22 联想(北京)有限公司 一种图像处理方法、装置及电子设备
CN113031754A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 头戴式显示系统及其旋转中心修正方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9110503B2 (en) 2012-11-30 2015-08-18 WorldViz LLC Precision position tracking device
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
US9804257B2 (en) * 2014-11-13 2017-10-31 WorldViz LLC Methods and systems for an immersive virtual reality system using multiple active markers
US10495726B2 (en) 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
KR101651535B1 (ko) * 2014-12-02 2016-09-05 경북대학교 산학협력단 Hmd 디바이스 및 그 제어 방법
JP6554631B2 (ja) 2014-12-18 2019-08-07 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 仮想現実環境においてナビゲートする方法、システム、および装置
KR101658096B1 (ko) * 2015-02-18 2016-09-21 엘지전자 주식회사 헤드 마운티드 디스플레이
CN107615759B (zh) * 2015-06-10 2020-09-01 索尼互动娱乐股份有限公司 头戴式显示器、显示控制方法以及程序
JP2017130190A (ja) 2015-12-04 2017-07-27 株式会社半導体エネルギー研究所 電子機器、表示システム
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10095928B2 (en) 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
JP2017130201A (ja) 2016-01-20 2017-07-27 株式会社半導体エネルギー研究所 入力システム、および電子機器
JP6742760B2 (ja) * 2016-02-29 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017156622A1 (en) * 2016-03-13 2017-09-21 Rising Sun Productions Limited Head-mounted audiovisual capture device
US10687403B2 (en) * 2016-03-21 2020-06-16 Koninklijke Philips N.V. Adaptive lighting system for a mirror component and a method of controlling an adaptive lighting system
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
USD795871S1 (en) * 2016-06-01 2017-08-29 Microsoft Corporation Illuminated augmented reality input device
USD795870S1 (en) * 2016-06-01 2017-08-29 Microsoft Corporation Augmented reality input device
USD795256S1 (en) * 2016-06-01 2017-08-22 Microsoft Corporation Augmented reality input device
KR101861096B1 (ko) * 2016-09-12 2018-05-29 한국과학기술연구원 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치
CN110402426A (zh) * 2017-03-22 2019-11-01 索尼公司 图像处理装置、方法及程序
US10403050B1 (en) 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US10304207B2 (en) 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
US10003905B1 (en) 2017-11-27 2018-06-19 Sony Corporation Personalized end user head-related transfer function (HRTV) finite impulse response (FIR) filter
US10142760B1 (en) 2018-03-14 2018-11-27 Sony Corporation Audio processing mechanism with personalized frequency response filter and personalized head-related transfer function (HRTF)
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
US10948976B1 (en) * 2019-02-06 2021-03-16 Facebook Technologies, Llc Systems and methods for electric discharge-based sensing via wearables donned by users of artificial reality systems
US11113092B2 (en) 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
US11954247B2 (en) 2019-06-21 2024-04-09 Maxell, Ltd. Head mounted display apparatus
US10712791B1 (en) * 2019-09-13 2020-07-14 Microsoft Technology Licensing, Llc Photovoltaic powered thermal management for wearable electronic devices
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11113890B2 (en) 2019-11-04 2021-09-07 Cognizant Technology Solutions India Pvt. Ltd. Artificial intelligence enabled mixed reality system and method
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
US11677911B2 (en) * 2019-11-14 2023-06-13 Canon Kabushiki Kaisha Display apparatus capable of controlling a position of a display range based on a change of focal distance
KR102405416B1 (ko) * 2019-11-25 2022-06-07 한국전자기술연구원 Hmd를 착용한 사용자의 자세 추정 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US5850575A (en) * 1935-09-14 1998-12-15 Nikon Corporation Image vibration reduction device
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
US6369952B1 (en) * 1995-07-14 2002-04-09 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
CN201689383U (zh) * 2010-05-18 2010-12-29 孙敏 增强现实地理信息系统的智能交互实现装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0980510A (ja) * 1995-09-14 1997-03-28 Nikon Corp 像振れ補正装置
US5905525A (en) * 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
US6003991A (en) * 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
JP3387326B2 (ja) * 1996-08-30 2003-03-17 ミノルタ株式会社 映像観察システム
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
US7878905B2 (en) * 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
JP2001356875A (ja) * 2000-06-13 2001-12-26 Toshiba Corp ポインタ表示システム
JP2004094653A (ja) * 2002-08-30 2004-03-25 Nara Institute Of Science & Technology 情報入力システム
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP2004205711A (ja) * 2002-12-24 2004-07-22 Canon Inc 表示装置
CN101770073B (zh) * 2003-12-03 2013-03-27 株式会社尼康 信息显示装置
JP4576523B2 (ja) * 2004-03-26 2010-11-10 洋史 早坂 観察装置
US7952594B2 (en) * 2004-05-27 2011-05-31 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and image sensing apparatus
JP4965800B2 (ja) * 2004-10-01 2012-07-04 キヤノン株式会社 画像表示システム
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
JP2008276017A (ja) * 2007-05-01 2008-11-13 Sony Corp 撮像装置および方法、並びにプログラム
NO327577B1 (no) * 2007-07-31 2009-08-24 Kongsberg Defence & Aerospace Naerobservasjonssensor med folgestyring og malbestemmelse for vapenstasjon
JP4985248B2 (ja) * 2007-09-05 2012-07-25 コニカミノルタホールディングス株式会社 映像表示ユニットおよび面体ユニット
JP4404927B2 (ja) * 2007-10-10 2010-01-27 シャープ株式会社 表示システムおよび指示位置の検出方法
JP4457144B2 (ja) * 2007-12-11 2010-04-28 シャープ株式会社 表示システム、液晶表示装置
US7980771B2 (en) * 2008-02-05 2011-07-19 Andrew Chamberlayne Camera carrying device with locking mechanism
US9696546B2 (en) * 2008-06-30 2017-07-04 Honeywell International Inc. Head-mountable cockpit display system
JP5262681B2 (ja) * 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
EP2599226B1 (en) * 2010-07-28 2018-06-20 Marvell World Trade Ltd. Fractional spur reduction using controlled clock jitter
US8479009B2 (en) * 2010-09-17 2013-07-02 International Business Machines Corporation Wearable time-bracketed video authentication
US8896992B2 (en) * 2010-11-17 2014-11-25 Solatido Inc. Wearable computer system
US8976086B2 (en) * 2010-12-03 2015-03-10 Esight Corp. Apparatus and method for a bioptic real time video system
EP2923638B1 (en) * 2011-03-18 2019-02-20 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
US9024872B2 (en) * 2011-04-28 2015-05-05 Sharp Kabushiki Kaisha Head-mounted display
JP5536729B2 (ja) * 2011-09-20 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、アプリケーション提供システム、アプリケーション提供サーバ、アプリケーション提供方法、および情報処理方法
US10013138B2 (en) * 2012-10-22 2018-07-03 Atheer, Inc. Method and apparatus for secure data entry using a virtual interface
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850575A (en) * 1935-09-14 1998-12-15 Nikon Corporation Image vibration reduction device
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US6369952B1 (en) * 1995-07-14 2002-04-09 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
CN201689383U (zh) * 2010-05-18 2010-12-29 孙敏 增强现实地理信息系统的智能交互实现装置

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106415510A (zh) * 2014-05-30 2017-02-15 三星电子株式会社 数据处理方法及其电子设备
CN106415510B (zh) * 2014-05-30 2020-03-13 三星电子株式会社 数据处理方法及其电子设备
US10365882B2 (en) 2014-05-30 2019-07-30 Samsung Electronics Co., Ltd. Data processing method and electronic device thereof
CN106796351A (zh) * 2014-09-18 2017-05-31 爱父爱斯吉尔有限公司 通过视线控制的头戴式显示装置及其控制方法、用于控制该装置的计算机程序
CN106687888A (zh) * 2014-09-19 2017-05-17 索尼公司 控制设备、控制方法和程序
CN105929533B (zh) * 2015-02-18 2018-11-20 Lg电子株式会社 头戴式显示器
CN105929533A (zh) * 2015-02-18 2016-09-07 Lg电子株式会社 头戴式显示器
CN105242400A (zh) * 2015-07-10 2016-01-13 上海鹰为智能科技有限公司 虚拟现实眼镜
CN105242400B (zh) * 2015-07-10 2017-12-29 上海鹰为智能科技有限公司 虚拟现实眼镜
US11126840B2 (en) 2015-08-11 2021-09-21 Sony Interactive Entertainment Inc. Head-mounted display
US10635901B2 (en) 2015-08-11 2020-04-28 Sony Interactive Entertainment Inc. Head-mounted display
CN107852474A (zh) * 2015-08-11 2018-03-27 索尼互动娱乐股份有限公司 头戴式显示器
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
CN105630168A (zh) * 2015-12-24 2016-06-01 联想(北京)有限公司 一种信息处理方法、第一电子设备及第二电子设备
CN105630168B (zh) * 2015-12-24 2019-09-24 联想(北京)有限公司 一种信息处理方法、第一电子设备及第二电子设备
CN108475120A (zh) * 2016-02-01 2018-08-31 微软技术许可有限责任公司 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
US10908694B2 (en) 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US11513605B2 (en) 2016-02-01 2022-11-29 Microsoft Technology Licensing, Llc Object motion tracking with remote device
CN108475120B (zh) * 2016-02-01 2021-09-14 微软技术许可有限责任公司 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
CN109643152A (zh) * 2016-06-03 2019-04-16 脸谱科技有限责任公司 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
CN106293099A (zh) * 2016-08-19 2017-01-04 北京暴风魔镜科技有限公司 手势识别方法及系统
CN106371206A (zh) * 2016-08-31 2017-02-01 安徽协创物联网技术有限公司 一种广视角虚拟现实装置
CN106371597A (zh) * 2016-08-31 2017-02-01 安徽协创物联网技术有限公司 一种虚拟现实互换的轻质vr一体机
CN108062159A (zh) * 2016-11-07 2018-05-22 宏达国际电子股份有限公司 虚拟实境或扩增实境的方法、装置以及非暂态计算机可读取媒体
CN110431468A (zh) * 2017-04-28 2019-11-08 惠普发展公司，有限责任合伙企业 确定用于显示系统的用户躯干的位置和取向
CN110431468B (zh) * 2017-04-28 2022-12-06 惠普发展公司，有限责任合伙企业 确定用于显示系统的用户躯干的位置和取向
CN110673340A (zh) * 2019-09-24 2020-01-10 歌尔科技有限公司 增强现实设备的控制方法及增强现实设备
CN113031754A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 头戴式显示系统及其旋转中心修正方法
CN111273450A (zh) * 2020-04-14 2020-06-12 湖南翰坤实业有限公司 一种vr体验头盔及其平衡调节方法
CN111698427A (zh) * 2020-06-23 2020-09-22 联想(北京)有限公司 一种图像处理方法、装置及电子设备
CN111698427B (zh) * 2020-06-23 2021-12-24 联想(北京)有限公司 一种图像处理方法、装置及电子设备

Also Published As

Publication number Publication date
US20140125579A1 (en) 2014-05-08
US9448405B2 (en) 2016-09-20
CN103809687B (zh) 2017-10-13
US20160266644A1 (en) 2016-09-15
JP6066676B2 (ja) 2017-01-25
US10241331B2 (en) 2019-03-26
JP2014093703A (ja) 2014-05-19

Similar Documents

Publication Publication Date Title
CN103809687A (zh) 头戴式显示器、运动检测器及方法、图像呈现系统和程序
US11310483B2 (en) Display apparatus and method for controlling display apparatus
US10169923B2 (en) Wearable display system that displays a workout guide
EP3008698B1 (en) Head-mountable apparatus and systems
CN105045375B (zh) 头部佩戴型显示装置、其控制方法、控制系统及计算机程序
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN103827780B (zh) 用于虚拟输入设备的方法和系统
US9423880B2 (en) Head-mountable apparatus and systems
CN110018736A (zh) 人工现实中的经由近眼显示器界面的对象增强
US10881937B2 (en) Image processing apparatus, analysis system, and method for processing images
US11712619B2 (en) Handle controller
JP2019128693A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2016131782A (ja) 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
JP2015229052A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
WO2021061326A1 (en) Automated video capture and composition system
JP5732446B2 (ja) ヘッドマウントディスプレイ、および動き検出方法
JP2020077271A (ja) 表示装置、学習装置、及び、表示装置の制御方法
US11900058B2 (en) Ring motion capture and message composition system
JP6467039B2 (ja) 情報処理装置
JP2012194659A (ja) ジェスチャ認識装置、ジェスチャ認識方法、及び、コンピュータプログラム
JP2019024776A (ja) 評価装置、評価方法、及び評価プログラム
US11733789B1 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device
JP7501044B2 (ja) 表示システム、情報処理装置及び表示システムの表示制御方法
JP2018082770A (ja) 運動解析装置、運動解析方法及びプログラム
Li et al. Handheld pose tracking using vision-inertial sensors with occlusion handling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant