CN105607255B - 头部佩戴型显示装置、控制其的方法及计算机可读存储介质 - Google Patents

头部佩戴型显示装置、控制其的方法及计算机可读存储介质 Download PDF

Info

Publication number
CN105607255B
CN105607255B CN201510783106.8A CN201510783106A CN105607255B CN 105607255 B CN105607255 B CN 105607255B CN 201510783106 A CN201510783106 A CN 201510783106A CN 105607255 B CN105607255 B CN 105607255B
Authority
CN
China
Prior art keywords
user
coordinates
image
standard
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510783106.8A
Other languages
English (en)
Other versions
CN105607255A (zh
Inventor
矢岛健郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN105607255A publication Critical patent/CN105607255A/zh
Application granted granted Critical
Publication of CN105607255B publication Critical patent/CN105607255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Architecture (AREA)

Abstract

本发明提供头部佩戴型显示装置、控制其的方法及计算机程序。能实现考虑了眼的个人差异的增强现实感处理。利用者能够对虚像和外景进行视觉识别的头部佩戴型显示装置具备：使利用者对虚像进行视觉识别的图像显示部；偏移检测部，使得用于使利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的虚像形成于图像显示部，求取表示利用者注视记号时的注视点的三维空间上的注视点坐标，对标准坐标与注视点坐标之间的偏移进行检测；以及增强现实感处理部，使得包含用于针对实际存在于现实世界的实际物体显示的、使用检测出的偏移而配置的虚拟物体的虚像形成于图像显示部。

Description

头部佩戴型显示装置、控制其的方法及计算机可读存储介质
技术领域
本发明涉及头部佩戴型显示装置。
背景技术
公知有使用计算机对实际存在于现实世界的物体、即实际物体附加提示信息的被称为增强现实感(AR，Augmented Reality，扩展现实)的技术。在增强现实感中，也将附加性地显示于实际物体的信息称为“虚拟物体”。增强现实感的功能搭载于例如头戴式显示器(以下，也称为“HMD”或者“头部佩戴型显示装置”。)。
HMD利用相机来拍摄外景，对拍摄所得的图像进行图像识别而生成或者获取虚拟物体。在佩戴着HMD的状态下利用者的视野不被遮挡的透过型HMD中，仅使利用者对包含虚拟物体的虚像进行视觉识别。利用者可以通过观察现实世界的实际物体与虚像所表示的虚拟物体这双方来体验增强现实感。
在透过型的HMD中实现增强现实感的情况下，为了降低带给利用者的视觉上的不协调感，优选地使利用者要视觉识别的实际物体的位置与利用者要视觉识别的虚拟物体的位置对准。“位置”包含与利用者相距的距离以及利用者的视野内的水平方向和铅垂方向的位置。于是，以往，使利用者的左右眼对包含向利用者的左右眼赋予视差的虚拟物体的虚像进行视觉识别，据此将实际物体的位置与虚拟物体的位置对准。
然而，人的眼是存在个人差异的。换言之，眼的位置、眼球的形状、眼中的与视觉相关的部位(例如，晶状体、视网膜，中央凹等)的位置等是因人而异的。因此，为了将实际物体的位置与虚拟物体的位置对准，使利用者的左右眼对包含向利用者的左右眼赋予视差的虚拟物体的虚像进行视觉识别，但即便如此，若利用者不同，则各利用者所视觉识别的虚拟物体的位置会产生偏移。专利文献1中记载了通过对摄像机所获取的患者的面部图像进行图像处理来非接触性地检测患者的视线方向的技术。
(现有技术文献)
(专利文献)
专利文献1：日本特开2005-100366号公报
专利文献2：日本特开2005-128901号公报
发明内容
为了降低在增强现实感处理中对利用者赋予的视觉上的不协调感，优选地，考虑眼的个人差异来确定虚拟物体的位置。关于这点，在专利文献1、2所记载的技术中，关于增强现实感处理中对眼的个人差异的考虑未作任何记载。
因此，可以实现考虑了眼的个人差异的增强现实感处理的头部佩戴型显示装置被人们所期望。
(用于解决问题的措施)
本发明为了解决上述的问题的至少一部分而提出，可以实现为以下的方式。
(1)根据本发明的一个方式，提供一种利用者可以对虚像和外景进行视觉识别的头部佩戴型显示装置。上述头部佩戴型显示装置具备：使所述利用者对所述虚像进行视觉识别的图像显示部；偏移检测部，使得用于使所述利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的所述虚像形成于所述图像显示部，求取表示所述利用者注视所述记号时的注视点的所述三维空间上的注视点坐标，对所述标准坐标与所述注视点坐标之间的偏移进行检测；以及增强现实感处理部，使得包含用于针对实际存在于现实世界的实际物体显示的、使用检测出的所述偏移而配置的虚拟物体的所述虚像形成于所述图像显示部。
根据上述方式的头部佩戴型显示装置，偏移检测部可以检测形成在三维空间上的记号的标准坐标与表示利用者注视记号时的注视点的注视点坐标之间的偏移。上述“偏移”是标准的利用者注视记号时的注视点与头部佩戴型显示装置的实际的利用者注视记号时的注视点之间的偏移，是因实际的利用者的眼的个人差异而产生的偏移。另外，增强现实感处理部使用由偏移检测部检测出的标准坐标与注视点坐标之间的偏移(即，因实际的利用者的眼的个人差异而产生的偏移)，来配置用于针对实际物体显示的虚拟物体。结果，能够提供可实现考虑了眼的个人差异的增强现实感处理的头部佩戴型显示装置。
(2)在上述方式的头部佩戴型显示装置中，所述偏移检测部也可以：求取连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述标准坐标的标准向量与连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述注视点坐标的注视点向量之间的角度差，作为所述标准坐标与所述注视点坐标之间的偏移。
根据上述方式的头部佩戴型显示装置，偏移检测部可以将标准坐标与注视点坐标之间的偏移定义为：可等同视为连结标准的利用者的眼的中央凹与晶状体的中心的向量的“标准向量”与可等同视为连结实际的利用者的眼的中央凹与晶状体的中心的向量的“注视点向量”之间的角度差。
(3)在上述方式的头部佩戴型显示装置中，所述角度差也可以包含滚转角的角度差、俯仰角的角度差以及偏航角的角度差。
根据上述方式的头部佩戴型显示装置，偏移检测部可以求取关于三维空间上的正交坐标系中的x轴、y轴、z轴的每一个的、标准向量与注视点向量的角度差。
(4)在上述方式的头部佩戴型显示装置中，还可以具备获取与所述利用者的左右眼对应的至少2张外景图像的外景图像获取部，所述偏移检测部引导所述利用者指示所述记号，基于由所述外景图像获取部获取的所述至少2张外景图像内的所述指示，来求取所述注视点坐标。
根据上述方式的头部佩戴型显示装置，偏移检测部可以使用由头部佩戴型显示装置中较广泛地搭载的外景图像获取部(例如，立体相机)获取的至少2张外景图像，来求取注视点坐标。
(5)在上述方式的头部佩戴型显示装置中，还具备获取所述利用者的视野方向的外景图像的外景图像获取部和获取到任意的目标物为止的距离的距离获取部，所述偏移检测部可以引导所述利用者指示所述记号，基于由所述外景图像获取部获取的所述外景图像内的所述指示和由所述距离获取部获取的到所述目标物为止的距离，来求取所述注视点坐标。
根据上述方式的头部佩戴型显示装置，偏移检测部在外景图像获取部仅可以获取1张外景图像的情况下，可以通过同时使用距离获取部所获取的到指示为止的距离来求取注视点坐标。
(6)在上述方式的头部佩戴型显示装置中，所述偏移检测部针对具有不同的多个标准坐标的不同的多个记号反复执行：使所述利用者在所述标准坐标上对所述记号进行视觉识别、求取所述注视点坐标、检测所述标准坐标与所述注视点坐标之间的偏移的一系列的处理，所述增强现实感处理部在所述虚拟物体的配置中，也可以使用针对不同的多个标准坐标分别检测出的多个偏移。
根据上述方式的头部佩戴型显示装置，由于增强现实感处理部使用针对不同的多个标准坐标分别检测出的多个偏移来配置虚拟物体，因此可以提高在增强现实感处理中考虑的眼的个人差异的精度。
(7)在上述方式的头部佩戴型显示装置中，所述偏移检测部也可以将利用所述头部佩戴型显示装置内的任意的应用程序形成的任意的显示用作所述记号，来执行所述一系列的处理。
根据上述方式的头部佩戴型显示装置，偏移检测部可以将利用头部佩戴型显示装置内的任意的应用程序形成的任意的显示用作记号，在任意的应用程序的背景中执行用于检测标准坐标与注视点坐标之间的偏移的一系列的处理。结果，可以减轻利用者的费事程度。
(8)在上述方式的头部佩戴型显示装置中，所述偏移检测部也可以通过对所述利用者用右眼进行视觉识别的所述虚像与所述利用者用左眼进行视觉识别的所述虚像之间赋予视差来使所述利用者在所述标准坐标上对所述记号进行视觉识别。
根据上述方式的头部佩戴型显示装置，偏移检测部可以使用三角测量的原理简单地在图像显示部形成用于使得在标准坐标上对记号进行视觉识别的虚像。
上述的本发明的各方式所具有的多个结构要素并不是全部都是必须的，为了解决上述的问题的一部分或者全部、或者为了达成本说明书所记载的效果的一部分或者全部，可以适当地对所述多个结构要素的一部分的结构要素进行变更、删除、替换为新的结构要素、删除限定内容的一部分。另外，为了解决上述的问题的一部分或者全部、或者为了达成本说明书中记载的效果的一部分或者全部，也可以将上述的本发明的一个方式所含的技术的特征的一部分或者全部与上述的本发明的其它方式所含的技术的特征的一部分或者全部进行组合来作为本发明的独立的一个方式。
例如，本发明的一个方式可以实现为具备图像显示部、偏移检测部、增强现实处理部这3个要素中的一部分或者全部要素的装置。即，上述装置可以具有图像显示部，也可以不具有图像显示部。另外，上述装置可以具有偏移检测部，也可以不具有偏移检测部。另外，上述装置可以具有增强现实处理部，也可以不具有增强现实处理部。这样的装置可以实现为例如头部佩戴型显示装置，但也可以实现为头部佩戴型显示装置以外的其它的装置。上述的头部佩戴型显示装置的各方式的技术的特征的一部分或者全部都可以适用于上述装置。例如，作为本发明的一个方式的装置将实现考虑了眼的个人差异的增强现实处理为问题。但是，对于上述装置，除了上述以外还期望装置的小型化、利便性的提高、装置制造时的低成本化、节省资源化、制造的容易化等。
此外，本发明可以以各种方式来实现，例如，可以以头部佩戴型显示装置及头部佩戴型显示装置的控制方法、包含头部佩戴型显示装置的系统、用于实现上述的方法、装置、系统的功能的计算机程序、存储了上述计算机程序的存储媒介等方式来实现。
附图说明
图1是表示本发明的一个实施方式中的头部佩戴型显示装置的概略构成的说明图。
图2是功能性地示出HMD100的构成的框图。
图3是表示利用者所视觉识别的虚像的一例的说明图。
图4是表示偏移校正处理的次序的流程图。
图5是用于对偏移校正处理的步骤S102进行说明的图。
图6是用于对偏移校正处理的步骤S104以后的处理进行说明的图。
图7是用于对偏移校正处理的步骤S106进行说明的图。
图8是用于对偏移校正处理的步骤S116以后的处理进行说明的图。
图9是用于对变形2进行说明的图。
图10是表示变形例中的HMD的外观构成的说明图。
【附图标记的说明】
10…控制部；11…确定键；12…点亮部；13…显示切换键；14…触控板；15…亮度切换键；16…方向键；17…菜单键；18…电源开关；20…图像显示部；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学像显示部；28…左光学像显示部；30…耳机插头；32…右耳机；34…左耳机；40…连接部；42…右软线；44…左软线；46…连结部件；48…主体软线；51…发送部；52…发送部；53…接收部；54…接收部；61…相机(外景图像获取部)；66…9轴传感器；110…输入信息获取部；100…HMD(头部佩戴型显示装置)；120…存储部；122…距离信息；130…电源；132…无线通信部；140…CPU；142…增强现实感处理部；144…偏移检测部；160…图像处理部；170…声音处理部；180…接口；190…显示控制部；201…右背光源控制部；202…左背光源控制部；211…右LCD控制部；212…左LCD控制部；221…右背光源；222…左背光源；241…右LCD；242…左LCD；251…右投射光学系统；252…左投射光学系统；261…右导光板；262…左导光板；60…晶状体；70…中央凹；80…手；PCLK…时钟信号；VSync…垂直同步信号；HSync…水平同步信号；Data…图像数据；Data1…右眼用图像数据；Data2…左眼用图像数据；OA…外部设备；PC…个人计算机；SC…外景；VI…虚像；VR…视野；RE…右眼；LE…左眼；ER…端部；EL…端部；IM…认证画面；VO…虚拟物体；B1L…标准向量；B2L…注视点向量；B1R…标准向量；B2R…注视点向量
具体实施方式
A.实施方式：
A-1.头部佩戴型显示装置的构成：
图1是表示本发明的一个实施方式中的头部佩戴型显示装置的概略构成的说明图。本实施方式的头部佩戴型显示装置100是佩戴于头部的显示装置，也被称为头戴式显示器(Head Mounted Display，HMD)。HMD100是利用者可以在对虚像进行视觉识别的同时对外景也直接视觉识别的光学透射型的头戴式显示器。
本实施方式的HMD100可以执行使用HMD100的CPU对实际存在于现实世界的物体即“实际物体”附加信息的增强现实感(AR，Augmented Reality)处理。在此，物体是指任意的人、任意的动植物、任意的物体(包含人工物体、自然物体等)等。另外，在增强现实感处理中，将针对实际物体附加性地显示的信息称为“虚拟物体”。
在本实施方式中，“附加性地”是包含以下所有情况的意思。
·使用虚拟物体对实际物体附加信息。
·使用虚拟物体来强调实际物体。
·使用虚拟物体来删除实际物体所具有的信息(色、形等)以及使实际物体所具有的信息(色、形等)衰减。
·上述的附加、强调、删除、衰减中的任意2个以上的组合。
此外，实际物体与附加性地显示于实际物体的虚拟物体可以存在关联，也可以不存在关联。
本实施方式的HMD100在增强现实感处理中，仅使利用者对包含虚拟物体的虚像进行视觉识别。利用者可以通过观察透射HMD100的实际物体和由虚像表示的虚拟物体这双方来体验增强现实感感。在这种增强现实感处理中，本实施方式的HMD100可以考虑眼的个人差异来确定虚拟物体的位置。
此外，本实施方式的实际物体包含利用者所给予关心的(例如视线朝向的)物体即“实际关心物体”和利用者不关心的(例如虽然进入视野但视线未朝向的)物体即“实际背景物体”这双方。在本实施方式的增强现实感处理中，包含实际关心物体与实际背景物体这双方的实际物体可以成为处理对象。
HMD100具备在佩戴于利用者的头部的状态下使利用者对虚像进行视觉识别的图像显示部20和用于控制图像显示部20的控制部(控制器，controller)10。此外，在以后的说明中，为方便起见，也将利用者通过HMD100进行视觉识别的虚像称为“显示图像”。另外，也将射出HMD100基于图像数据生成的图像光的情况称为“对图像进行显示”。
A-1-1.图像显示部的构成：
图2是功能性地示出HMD100的构成的框图。图像显示部20是佩戴于利用者的头部的佩戴体，在本实施方式中为眼镜形状(图1)。图像显示部20具备右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、相机61以及9轴传感器66。以下，对利用者佩戴着图像显示部20的状态下的、图像显示部20的各部分的位置关系与功能进行说明。
如图1所示，右光学像显示部26和左光学像显示部28以分别位于利用者的右眼前和左眼前的方式配置。右光学像显示部26的一端与左光学像显示部28的一端在与利用者的眉间对应的位置连接。如图2所示，右光学像显示部26具备右导光板261和调光板(图示省略)。右导光板261由光透射性的树脂材料等形成，使从右显示驱动部22输出的图像光边沿着预定的光路反射边被引导至利用者的右眼RE。调光板是薄板状的光学元件，以覆盖图像显示部20的表侧(与利用者的眼一侧相反的一侧)的方式配置。调光板保护右导光板261，抑制损伤和/或污垢的附着等。另外，通过调节调光板的光透射率，可以调节进入利用者的眼的外界光量而调节虚像的视觉识别的容易度。此外，调光板可以省略。
左光学像显示部28具备左导光板262和调光板(图示省略)。它们的具体构成与右光学像显示部26相同。此外，也可将右光学像显示部26和左光学像显示部28简单地统称为“光学像显示部”。关于光学像显示部，只要可以利用图像光在利用者的眼前形成虚像，可以使用任意的方式，例如可以使用衍射光栅来实现，也可以使用半透射半反射膜来实现。
如图1所示，右保持部21以从右光学像显示部26的另一端ER延伸至与利用者的头的侧部对应的位置的方式设置。左保持部23以从左光学像显示部28的另一端EL延伸至与利用者的头的侧部对应的位置的方式设置。右保持部21和左保持部23如眼镜的镜腿(耳挂部)那样将图像显示部20保持于利用者的头部。此外，也将右保持部21和左保持部23简单地统称为“保持部”。
如图1所示，右显示驱动部22配置在右保持部21的内侧(与利用者的头部相对的一侧)。左显示驱动部24配置在左保持部23的内侧。如图2所示，右显示驱动部22具备接收部(Rx)53、作为光源发挥作用的右背光源(BL)控制部201和右背光源(BL)221、作为显示元件发挥作用的右LCD(液晶显示器，Liquid Crystal Display)控制部211和右LCD 241、以及右投射光学系统251。此外，也将右背光源控制部201、右LCD控制部211、右背光源221和右LCD241统称为“图像光生成部”。
接收部53作为控制部10与图像显示部20之间的串行传输用的接收器发挥作用。右背光源控制部201基于被输入的控制信号来驱动右背光源221。右背光源221例如是LED(发光二极管，Light Emitting Diode)和/或电致发光体(EL)等发光体。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和右眼用图像数据Data来驱动右LCD 241。右LCD 241是将多个像素配置为矩阵状的透射型液晶面板。右投射光学系统251是将从右LCD 241射出的图像光形成为并行状态的光束的准直透镜。
左显示驱动部24具备接收部(Rx)54、作为光源发挥作用的左背光源(BL)控制部202和左背光源(BL)222、作为显示元件发挥作用的左LCD控制部212和左LCD242、以及左投射光学系统252。它们的详细构成与右显示驱动部22相同。此外，也可以将右显示驱动部22和左显示驱动部24简单地统称为“显示驱动部”。
如图1所示，相机61是分别配置在与利用者的左右的外眼角的上方对应的位置的立体相机。左右的相机61分别拍摄图像显示部20的表侧方向换言之佩戴着HMD100的状态下的利用者的视野方向的外景(外部的景色)，获取与左右对应的2张外景图像。相机61是所谓的可见光相机，利用相机61获取的外景图像是由物体所辐射的可见光表示物体的形状的图像。此外，本实施方式中的相机61是立体相机，但也可以是单眼相机。此外，相机61作为“外景图像获取部”发挥作用。
如图1所示，9轴传感器66配置在与利用者的右侧的太阳穴对应的位置。9轴传感器66是检测加速度(3轴)、角速度(3轴)、地磁(3轴)的运动传感器。由于9轴传感器66设置于图像显示部20，因此，当图像显示部20佩戴在利用者的头部时，作为检测头戴式显示器100的利用者的头部的移动的移动检测部发挥作用。在此，头部的移动包含头部的速度/加速度/角速度/朝向/朝向的变化。
如图1所示，图像显示部20具备用于连接图像显示部20与控制部10的连接部40。连接部40包含与控制部10连接的主体软线48、主体软线48所分支的右软线42和左软线44、以及设置于分支点的连结部件46。在连结部件46设置有用于连接耳机插头30的插孔。右耳机32和左耳机34从耳机插头30延伸。图像显示部20与控制部10经由连接部40来进行各种信号的传输。连接部40的各软线例如可以采用金属线缆和/或光纤。
A-1-2.控制部的构成：
控制部10是用于控制HMD100的装置。如图1所示，控制部10具备确定键11、点亮部12、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17以及电源开关18。确定键11检测按下操作而输出用于确定控制部10中被操作的内容的信号。点亮部12例如利用LED实现，利用发光状态通知HMD100的工作状态(例如电源的接通/关断等)。显示切换键13检测按下操作而输出例如将内容动态图像的显示模式切换为3D和2D的信号。
触控板14检测触控板14的操作面上的利用者的手指的操作而输出与检测内容相应的信号。作为触控板14，可以采用静电式和/或压力检测式、光学式之类的各种方式。亮度切换键15检测按下操作而输出增减图像显示部20的亮度的信号。方向键16检测针对与上下左右方向对应的键的按下操作而输出与检测内容相应的信号。电源开关18通过检测开关的滑动操作来切换HMD100的电源接通状态。
如图2所示，控制部10具备输入信息获取部110、存储部120、电源130、无线通信部132、GPS模块134、CPU140、接口180、以及发送部(Tx)51和52，各部分通过未图示的总线相互连接。
输入信息获取部110获取与针对确定键11、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17以及电源开关18的操作输入相应的信号。输入信息获取部110可以获取使用上述以外的各种方法的操作输入。例如，也可以获取基于脚踏开关(通过利用者的脚操作的开关)的操作输入。例如，也可以获取与视线检测部(图示省略)所检测到的利用者的视线和/或眼的移动对应的指令的操作输入。上述指令也可以由利用者以可增加的方式设定。例如，也可以使用相机61来检测利用者的手势而获取与手势对应的指令的操作输入。在手势检测时，可以将利用者的指尖、戴在利用者的手上的戒指和/或利用者手持的医疗器具等作为移动检测用的记号。只要可以获取基于上述的方法的操作输入，则即使在利用者难以腾出手的操作中，输入信息获取部110也可以获取来自利用者的操作输入。
存储部120由ROM、RAM、DRAM、硬盘等构成。存储部120中保存有以操作系统(OS)为代表的各种计算机程序。另外，存储部120中存储有距离信息122。
距离信息122中预先存储有用于在下述的偏移校正处理中使用的、与利用者的眼相关的距离的信息。在本实施方式中，距离信息122中包含眼间距离和显示部距离。眼间距离是利用者的右眼RE与左眼LE之间的距离。在本实施方式中，将右光学像显示部26的中心与左光学像显示部28的中心之间的距离视为利用者的右眼RE与左眼LE之间的距离。因此，眼间距离中预先保存有基于HMD100的设计值的右光学像显示部26的中心与左光学像显示部28的中心之间的距离(例如，65mm)。显示部距离是利用者的右眼RE(或者左眼LE)的中央凹与光学像显示部之间的距离。在本实施方式中，预先保存有预定的值(例如，45mm)作为默认值。中央凹是位于人的眼的视网膜的黄斑部的中心的组织，是有助于高精确的中心视野中的视觉的组织的名称。此外，眼间距离和显示部距离也可以由利用者适当变更。
电源130向HMD100的各部分供给电力。作为电源130，可以使用例如二次电池。
无线通信部132依据预定的无线通信标准在无线通信部132与外部装置之间进行无线通信。预定的无线通信标准是指例如以红外线、Bluetooth(注册商标)例示的近距离无线通信、以IEEE802.11例示的无线LAN等。
GPS模块134接收来自GPS卫星的信号，据此检测HMD100的利用者的当前位置，并生成表示利用者的当前位置信息的当前位置信息。当前位置信息可以利用例如表示纬度经度的坐标来实现。
CPU140读出并执行保存在存储部120中的计算机程序，据此作为增强现实感处理部142、偏移检测部144、操作系统(OS)150、图像处理部160、声音处理部170、显示控制部190发挥作用。
增强现实感处理部142执行增强现实感处理。增强现实感处理是用于对实际存在于现实世界的实际物体附加地显示虚拟物体的处理，包含以下的次序a1～a6。
(a1)增强现实感处理部142获取由相机61拍摄到的外景图像。
(a2)增强现实感处理部142从次序a1所获取的外景图像中所含的实际物体中，特定作为附加虚拟物体的对象的实际物体(以下，也称为“对象物体”。)。
(a3)增强现实感处理部142获取对象物体的位置。在此，“位置”包含与利用者相距的距离以及利用者的视野内的水平方向和铅垂方向的位置。此时，增强现实感处理部142也可以使用由作为立体相机的相机61获取的2张以上的外景图像来计算对象物体的位置。另外，增强现实感处理部142也可以一并使用由相机61获取的1张以上的外景图像和未图示的各种传感器(例如，深度传感器、测距传感器等)来计算对象物体的位置。
(a4)增强现实感处理部142获取或者生成表示虚拟物体的图像、文字、图形符号等(例如指示器、快捷键、菜单、单选按钮、选择按钮、软键盘等)。增强现实感处理部142可以将虚拟物体预先存储于存储部120，也可以从与HMD100网络连接的其它装置获取虚拟物体。
(a5)增强现实感处理部142生成：以与在次序a3中获取的对象物体的位置对准的方式配置次序a4的虚拟物体，并对其它部分配置了黑色的附加图像数据。在上述的位置对准之际，增强现实感处理部142可以利用对象物体的特征部(边缘等)，也可以利用附加给对象物体的标记等记号。在位置对准之际，增强现实感处理部142也可以利用使用了预先存储于存储部120的对象物体的模型(或者图像)的图像识别。在位置对准之际，增强现实感处理部142也可以基于利用者的指示。另外，增强现实感处理部142在配置虚拟物体时，也可以对虚拟物体实施放大、缩小、旋转、色变换等图像处理。
(a6)增强现实感处理部142通过与偏移检测部144协作来执行下述的“偏移校正处理”。利用偏移校正处理，并考虑眼的个人差异来校正附加图像数据内的虚拟物体的位置，而确定最终的虚拟物体的位置。偏移校正处理的具体内容在下文中记述。
偏移检测部144在下述的偏移校正处理中检测眼的个人差异。
图像处理部160进行图像显示用的信号处理。具体而言，图像处理部160在经由接口180和/或无线通信部132输入了内容(影像)的情况下，生成基于内容的图像数据Data。图像处理部160在从HMD100的其它功能部接收到图像数据的情况下，将所接收的数据作为图像数据Data。此外，图像处理部160也可以对图像数据Data执行分辨率变换处理、亮度和/或彩度的调节之类的各种色调校正处理、梯形失真校正处理等图像处理。图像处理部160将上述的图像数据Data、时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync经由发送部51、52向图像显示部20发送。此外，也将经由发送部51发送的图像数据Data称为“右眼用图像数据Data1”，将经由发送部52发送的图像数据Data称为“左眼用图像数据Data2”。
显示控制部190生成对右显示驱动部22和左显示驱动部24进行控制的控制信号。具体而言，显示控制部190利用控制信号独立地控制左右的LCD控制部211、212对左右的LCD241、242的驱动接通/关断和/或左右的背光源控制部201、202对左右的背光源221、222的驱动接通/关断，据此来控制右显示驱动部22和左显示驱动部24的每一个的图像光的生成和射出。显示控制部190将上述的控制信号经由发送部51、52向图像显示部20发送。
声音处理部170获取内容所包含的声音信号，对所获取的声音信号进行放大，并供给至右耳机32的未图示的扬声器和左耳机34的未图示的扬声器。
接口180依据预定的有线通信标准在接口180与外部装置OA之间进行通信。作为预定的有线通信标准，例如有Micro USB(通用串行总线，Universal Serial Bus)、USB、HDMI(高清晰度多媒体接口，High Definition Multimedia Interface，HDMI是注册商标)、DVI(数字视频接口，Digital Visual Interface)、VGA(视频图形阵列，Video GraphicsArray)、Composite(复合式)、RS-232C(Recommended Standard(推荐标准)232)、以IEEE802.3例示的有线LAN等。作为外部设备OA，例如可以利用个人计算机PC和/或便携电话终端、游戏终端等。
图3是表示利用者所视觉识别的虚像的一例的说明图。图3(A)例示在未执行增强现实感处理的情况下的利用者的视野VR。如上所述，被导至HMD100的利用者的双眼的图像光在利用者的视网膜成像，据此利用者对虚像VI进行视觉识别。在图3(A)的例子中，虚像VI是HMD100的OS150的待机画面。利用者透过右光学像显示部26和左光学像显示部28对外景SC进行视觉识别。这样，本实施方式的HMD100的利用者对于视野VR中的、显示了虚像VI的部分，可以观察虚像VI和位于虚像VI的背后的外景SC。另外，对于视野VR中的、未显示虚像VI的部分，可以透过光学像显示部来直接观察外景SC。
图3(B)例示了执行增强现实感处理的情况下的利用者的视野VR。利用者通过执行增强现实感处理对包含虚拟物体VO的虚像VI进行视觉识别。虚拟物体VO是以与外景SC的山麓重叠的方式配置的苹果的图像。这样，利用者可以通过观察虚像VI所包含的虚拟物体VO和透过到虚像VI的背后看到的外景SC内的实际物体这双方，来体验增强现实感。
A-2.偏移校正处理：
偏移校正处理是在增强现实感处理中考虑眼的个人差异来校正附加图像数据内的虚拟物体的位置的处理。偏移校正处理作为增强现实感处理的子例程，在增强现实感处理的次序a6中被执行。
图4是表示偏移校正处理的次序的流程图。图5是用于对偏移校正处理的步骤S102进行说明的图。在图5中，为了图示方便，省略了除了HMD100的右光学像显示部26和左光学像显示部28以及利用者的右眼RE和左眼LE以外的图示。右眼RE具备晶状体60R和中央凹70R，左眼LE具备晶状体60L和中央凹70L。以下，也将右眼RE和左眼LE统称为“双眼”。同样地，也将晶状体60R和晶状体60L统称为“晶状体”，也将中央凹70R和中央凹70L统称为“中央凹”。同样地，也将右光学像显示部26和左光学像显示部28统称为“光学像显示部”。
在偏移校正处理(图4)的步骤S102中，偏移检测部144使作为记号的虚拟物体OB(以下，也简单地称为“记号OB”。)显示在标准坐标上。具体而言，偏移检测部144在利用标准的利用者的双眼将记号OB成像的情况下，生成在距离Z1处的(X1，Y1)坐标上换言之在三维空间上的标准坐标(X1，Y1，Z1)上对记号OB进行视觉识别那样的带有视差的包含记号OB的右眼用图像数据Data1和左眼用图像数据Data2，并向图像处理部160发送。此时，设右眼用图像数据Data1内的记号OB的坐标为PR(x1，y1，0)，设左眼用图像数据Data2内的记号OB的坐标为PL(x1，y1，0)。此外，PR和PL是不同的坐标系。此外，以下，将PR的x1的值记载为“PRx1”，将PR的y1的值记载为“PRy1”，将PR的z1的值记载为“PRz1”。对于RL也是同样的。
标准坐标(X1，Y1，Z1)、PR(x1，y1，0)、PL(x1，y1，0)的关系可以如以下的方式地进行定义。
·X1＝PRx1或者PLx1
·Y1＝PRy1或者PLy1
·Z1＝右眼用图像数据Data1和左眼用图像数据Data2中的通过记号OB的视差瞄准的任意的点。设上述点为比利用者的手臂的长度短的点。
在以上的说明中，为使说明简便，在X1中，忽略PRx1与PLx1的差异。在更加严密地定义标准坐标X1的情况下，也可以采用以下的方式。此外，眼间距离和显示部距离使用预先存储于距离信息122的值。
·X1-(眼间距离/2)×{显示部距离/(Z1+显示部距离)}＝PRx1
·X1+(眼间距离/2)×{显示部距离/(Z1+显示部距离)}＝PLx1
图6是用于对偏移校正处理的步骤S104以后的处理进行说明的图。在图6中也省略了除了光学像显示部和利用者的双眼以外的图示。在图6中，图5中示出的标准的利用者的双眼RE、LE用虚线图示，执行偏移校正处理时的实际的利用者的双眼REa、LEa用实线图示。实际的利用者的右眼REa和左眼LEa与标准的利用者的右眼RE和左眼LE相比较，眼球的形状、晶状体60Ra和晶状体60La的位置、中央凹70Ra和中央凹70La的位置存在差异。
在图4的步骤S104中，偏移检测部144促使HMD100的实际的利用者一边注视步骤S102中显示的记号OB，一边使用手指示记号OB。偏移检测部144可以通过将促使注视和用手指示的消息显示为虚像来实现引导，也可以使用声音来实现引导。
实际的利用者依照上述的引导，用手指示步骤S102中显示的记号OB。实际的利用者的眼球的形状和晶状体以及中央凹的位置与标准的利用者存在差异。因此，实际的利用者识别为“存在记号OB”，一边用手80指示一边注视的点FP(以下，也称为“注视点FP”。)如图6所示，与记号OB的位置是不同的。以下，也将三维空间上的注视点FP的坐标(X2，Y2，Z2)称为“注视点坐标”。
图7是用于对偏移校正处理的步骤S106进行说明的图。在图4的步骤S106中，偏移检测部144利用作为立体相机的相机61来获取与实际的利用者的右眼RE对应的外景图像IMR和与左眼LE对应的外景图像IML。
在图4的步骤S108中，偏移检测部144从2张外景图像中求取注视点坐标(X2，Y2，Z2)。具体而言，偏移检测部144首先求取外景图像IMR内的指尖的坐标(换言之，注视点的坐标)FPR(x3，y3，0)和外景图像IML内的指尖的坐标FPL(x3，y3，0)。FPR和FPL是不同的坐标系。此外，以下，将FPR的x3的值记载为“FPRx3”，将y3的值记载为“FPRy3”。对于FRL也是同样。
偏移检测部144可以使用求得的坐标FPR(x3，y3，0)和FPL(x3，y3，0)按照以下的方式求取注视点坐标(X2，Y2，Z2)。
·X2＝通过求解以下的式1、式2来求取。此外，眼间距离和显示部距离使用预先存储于距离信息122的值。
X2-(眼间距离/2)×{显示部距离/(Z1+显示部距离)}＝FPRx3…(式1)
X2+(眼间距离/2)×{显示部距离/(Z1+显示部距离)}＝FPLx3…(式2)
·Y2＝FPRy3或者FPLy3
·Z2＝根据视差(即FPRx3与FPLx3之差)和距离信息122内的眼间距离，使用三角函数求取的点
根据步骤S108，偏移检测部144可以使用在头部佩戴型显示装置(HMD100)中广泛地搭载的立体相机所获取的至少2张外景图像IMR、IML，来求取注视点坐标(X2，Y2，Z2)。
以下的偏移校正处理(图4)中的右眼用处理(步骤S110～S120)和左眼用处理(步骤S150～S160)并行地执行。以下，首先，仅对右眼用处理进行说明。
在图4的步骤S110中，偏移检测部144求取右眼的标准向量B1R。具体而言，偏移检测部144求取连结图5的右眼用图像数据Data1内的记号OB的坐标PR(x1，y1，0)与假定利用标准的利用者的双眼对记号OB进行视觉识别的标准坐标(X1，Y1，Z1)的向量，并将所求取的向量作为右眼的标准向量B1R。右眼的标准向量B1R可以等同视为连结标准的利用者的右眼RE的中央凹70R与晶状体60R的中心的向量。
在步骤S112中，偏移检测部144求取右眼的注视点向量B2R。具体而言，偏移检测部144求取连结图6的右眼用图像数据Data1内的记号OB的坐标PR(x1，y1，0)与利用实际的利用者的双眼对记号OB进行视觉识别而得的注视点坐标(X2，Y2，Z2)的向量，并将所求取的向量作为右眼的注视点向量B2R。右眼的注视点向量B2R可以等同视为连结实际的利用者的右眼REa的中央凹70Ra与晶状体60Ra的中心的向量。
在步骤S114中，偏移检测部144求取右眼的标准向量B1R与右眼的注视点向量B2R的角度差ΔθR(x，y，z)。角度差ΔθR的x表示俯仰角(pitch angle)的角度差，y表示偏航角(yaw angle)的角度差，z表示滚转角(roll angle)的角度差。
图8是用于对偏移校正处理的步骤S116以后的处理进行说明的图。在图8中，省略了光学像显示部和利用者的双眼以外的图示，标准的利用者的双眼RE、LE用虚线图示，实际的利用者的双眼REa、LEa用实线图示。图8所示的距离L0是存储于距离信息122的显示部距离。
在图4的步骤S116中，增强现实感处理部142求取与想使实际的利用者对虚拟物体进行视觉识别的距离Li(图8)相应的右眼用校正量。具体而言，设从利用者的右眼RE虚拟地引向无限远方向的虚拟直线与右眼的标准向量B1R之间的俯仰角的角度差为θRx。设右眼的标准向量B1R与右眼的注视点向量B2R的角度差ΔθR(x，y，z)中的、俯仰角的角度差为ΔθRx。另外，设从利用者的右眼RE虚拟地引向无限远方向的虚拟直线与标准坐标(X1，Y1，Z1)之间的x轴方向的长度为dx。设标准坐标(X1，Y1，Z1)与注视点坐标(X2，Y2，Z2)之间的x轴方向的长度为ΔXi。
此时，上述的各值满足以下的式3、式4的关系。
tanθRx＝dx/Li…(式3)
tan(θRx+ΔθRx)＝(dx+ΔXi)/Li…(式4)
增强现实感处理部142可以通过针对“ΔθRx”求解式3、式4来求取右眼用图像数据Data1内的记号OB的坐标PR(x1，y1，0)的x轴方向上的右眼用校正量。
增强现实感处理部142同样地求取右眼用图像数据Data1内的记号OB的坐标PR(x1，y1，0)的y轴方向、z轴方向上的右眼用校正量。例如，在求取y轴方向上的校正量的情况下，将上述记载中的、“俯仰角”替换为“偏航角”，将“x轴方向”替换为“y轴方向”，将“θRx”替换为“θRy”，将“ΔθRx”替换为“ΔθRy”，将“dx”替换为“dy”，将“ΔXi”替换为“ΔYi”即可。
在图4的步骤S118中，增强现实感处理部142基于在步骤S116中求得的x、y、z轴方向上的右眼用校正量，对增强现实感处理的次序a5中生成的附加图像数据内的虚拟物体的位置进行校正。
在步骤S120中，增强现实感处理部142将校正后的附加图像数据作为右眼用图像数据Data1向图像处理部160发送。
在图4的步骤S150～S160中，执行左眼用的处理。即，偏移检测部144求取左眼的标准向量B1L(步骤S150)，求取左眼的注视点向量B2L(步骤S152)，并求取它们的角度差ΔθL(x，y，z)(步骤S154)。增强现实感处理部142求取与所求取的角度差ΔθL(x，y，z)和想要使实际的利用者对虚拟物体进行视觉识别的距离Li对应的左眼用校正量(步骤S156)。增强现实感处理部142将使用左眼用校正量校正了虚拟物体的位置(步骤S158)的附加图像数据作为左眼用图像数据Data2向图像处理部160发送(步骤S160)。
在接收到右眼用图像数据Data1和左眼用图像数据Data2的图像处理部160中，执行上述的显示处理。结果，导入到右眼REa的图像光和导入到左眼LEa的图像光在视网膜(尤其在中央凹附近)上成像，据此HMD100的实际的利用者可以对包含考虑了人的眼的个人差异(眼的位置、眼球的形状、与眼中的视觉相关的部位(例如晶状体、视网膜、中央凹等)的位置的差异)而进行了位置对准而得的虚拟物体的虚像进行视觉识别。
如上所述，根据本实施方式的偏移校正处理(图4)，偏移检测部144可以检测形成在三维空间上的记号OB的标准坐标(X1，Y1，Z1)与表示利用者注视记号OB时的注视点的注视点坐标(X2，Y2，Z2)之间的偏移。上述“偏移”是标准的利用者注视记号OB时的注视点FP与头部佩戴型显示装置(HMD100)的实际的利用者注视记号OB时的注视点FP之间的偏移，是由于实际的利用者的眼REa、LEa的个人差异而产生的偏移。另外，增强现实感处理部142使用由偏移检测部144检测到的标准坐标(X1，Y1，Z1)与注视点坐标(X2，Y2，Z2)之间的偏移(即，因实际的利用者的眼REa、LEa的个人差异而产生的偏移)，来配置用于向实际物体附加性地显示的虚拟物体(次序a6)。结果，能够提供可实现考虑了眼的个人差异的增强现实感处理(次序a1～a6)的头部佩戴型显示装置。
进而，根据本实施方式的偏移校正处理(图4)，偏移检测部144可以将标准坐标(X1，Y1，Z1)与注视点坐标(X2，Y2，Z2)之间的偏移定义为：可等同视为连结标准的利用者的眼RE、LE的中央凹70R、70L与晶状体60R、60L的中心的向量的“标准向量B1R、B1L”与可等同视为连结实际的利用者的眼REa、LEa的中央凹70Ra、70La与晶状体60Ra、60La的中心的向量的“注视点向量B2R、B2L”的角度差ΔθR、ΔθL。另外，由于角度差ΔθR、ΔθL包含俯仰角的角度差ΔθRx、ΔθLx、偏航角的角度差ΔθRy、ΔθLy、滚转角的角度差ΔθRz、ΔθLz，所以偏移检测部144可以求取关于三维空间上的正交坐标系的x轴、y轴、以及z轴的每一个的、标准向量B1R、B1L与注视点向量B2R、B2L的角度差。
A-3.偏移校正处理的变形：
此外，也可以对偏移校正处理(图4)实施以下这样的变形1～3。变形1～3可以单独采用，也可以组合来采用。此外，在变形1～3的说明中，仅对与上述实施方式不同的部分进行说明。关于以下不进行说明的步骤，均与上述实施方式相同。
A-3-1.变形1：
在变形1中，针对不同的多个标准坐标，检测标准坐标与注视点坐标之间的偏移，据此来提高偏移校正处理的精度。
在图4中，偏移检测部144一边改变标准坐标的X1、Y1、Z1的具体的值，一边反复执行步骤S102～S114的一系列的处理，即，使利用者在标准坐标(X1，Y1，Z1)上对记号OB进行视觉识别、求取注视点坐标(X2，Y2，Z2)、检测标准向量B1R与注视点向量B2R的角度差ΔθR(x，y，z)作为标准坐标与注视点坐标之间的偏移这一系列的处理。同样地，偏移检测部144对于步骤S102～S154的一系列的处理，也是一边改变标准坐标的X1、Y1、Z1的具体的值，一边反复执行。
此时，优选地，使标准坐标在利用者的视野内尽可能地分散。例如，优选地，偏移检测部144设第一次处理中的标准坐标为利用者的视野的右上端部，设第二次处理中的标准坐标为利用者的视野的左上端部，设第三次处理中的标准坐标为利用者的视野的左下端部，设第四次处理中的标准坐标为利用者的视野的右下端部，设第五次处理中的标准坐标为利用者的视野的中央部。
在图4的步骤S116中，增强现实感处理部142使用所求得的多个标准坐标与注视点坐标之间的偏移(角度差ΔθR)，来求取右眼用校正量。具体而言，增强现实感处理部142可以使用以下的方法b1、b2中的任意一种来求取右眼用校正量。
(b1)增强现实感处理部142从所求得的多个角度差ΔθR中选择：使用与想要使实际的利用者对虚拟物体进行视觉识别的x轴方向的位置和y轴方向的位置最近的标准坐标来求取的1个角度差ΔθR。增强现实感处理部142使用所选择的角度差ΔθR来执行图4的步骤S116中说明的处理，据此求取右眼用校正量。
(b2)增强现实感处理部142求取所求得的多个角度差ΔθR的平均值。平均值对于俯仰角的角度差ΔθRx、偏航角的角度差ΔθRy、滚转角的角度差ΔθRz分别求取。增强现实感处理部142使用所求得的角度差ΔθR的平均值来执行图4的步骤S116中说明的处理，据此求取右眼用校正量。
同样地，在步骤S156中，增强现实感处理部142使用所求得的多个角度差ΔθL来求取左眼用校正量。
这样，根据变形1，由于增强现实感处理部142使用对于不同的多个标准坐标(X1，Y1，Z1)分别检测出的多个偏移(ΔθR，ΔθL)来配置虚拟物体，因此可以提高在增强现实感处理(次序a1～a6)中考虑的眼的个人差异的精度。
A-3-2.变形2：
在变形2中，与变形1同样地，针对不同的多个标准坐标，检测标准坐标与注视点坐标之间的偏移，据此来提高偏移校正处理的精度。进而，在变形2中，将由HMD100内的任意的应用程序形成的任意的显示用作记号OB。此外，在变形2的说明中，仅对与变形1不同的部分进行说明。在以下不进行说明的步骤与变形1是相同的。
图9是用于对变形2进行说明的图。图9的(A)以及图9的(B)均示意性地示出显现由HMD100内的认证应用程序形成的认证画面IM的虚像VI。认证画面IM具备9个输入区域A1～A9。认证应用程序是在利用者利用输入区域A1～A9输入的密码与预先存储于HMD100内的密码一致的情况下判定为利用者是HMD100的正当的利用者，并执行例如画面锁定解除等处理的应用程序。
偏移检测部144设反复执行步骤S102～S114(左眼的情况下为步骤S102～S154)的一系列的处理时的“标准坐标”为认证画面IM内的假定利用者的触碰的坐标。例如，在利用者的密码为“ACH”的情况下，偏移检测部144设第一次的标准坐标为被分配字符串“A”的输入区域A1的例如中央部的坐标(图9的(A))。该情况下，输入区域A1的“A”这一显示被用作第一次的记号OB。同样地，偏移检测部144设第二次的标准坐标为被分配字符串“C”的输入区域A3的中央部的坐标(图9的(B))，设第三次的标准坐标为被分配字符串“H”的输入区域A8的中央部的坐标。该情况下，输入区域A3的“C”这一显示被用作第二次的记号OB，输入区域A8的“H”这一显示被用作第三次的记号OB。
此外，在上述的说明中例示了认证应用程序，偏移检测部144也可以利用由HMD100内的任意的应用程序(例如，游戏应用程序、文字输入应用程序、基于手势的输入应用程序等)形成的任意的显示(例如，文字、图形、图像等)作为记号OB。
这样，根据变形2，偏移检测部144利用由头部佩戴型显示装置内(HMD100)的任意的应用程序形成的任意的显示作为记号OB，在任意的应用程序的背景中，可以执行用于检测标准坐标(X1，Y1，Z1)与注视点坐标(X2，Y2，Z2)之间的偏移(ΔθR，ΔθL)的一系列的处理。结果，可以使利用者省事。
A-3-3.变形3：
在变形3中，以不使用立体相机的方式实现与上述实施方式同样的处理。
在变形3中，图2所示的相机61为单眼相机。另外，在HMD100的图像显示部20搭载有可以获取到正面的各点为止的深度(距离)的深度传感器。此外，深度传感器作为“距离获取部”发挥作用。
在图4的步骤S106中，偏移检测部144利用相机61获取利用者的视野方向的外景图像。进而，偏移检测部144使用深度传感器获取利用者与利用者的视野方向的各点之间的深度。
在步骤S108中，偏移检测部144使用由相机61获取的外景图像和由深度传感器获取的深度来求取注视点坐标(X2，Y2，Z2)。具体而言，偏移检测部144可以使用外景画像内的指尖的坐标(x4，y4)按以下的方式求取注视点坐标(X2，Y2，Z2)。
·X2＝x4
·Y2＝y4
·Z2＝由深度传感器获取的深度(距离)
此外，在上述的说明中，例举了深度传感器作为距离获取部的一个例子，作为距离获取部的功能也可以利用超声波传感器、红外线传感器等其它传感器来代替。
这样，根据变形3，偏移检测部144在外景图像获取部(相机61)仅可获取1张外景图像的情况下，可以通过一并使用由距离获取部(深度传感器)获取的到指示(利用者的指尖)为止的距离(深度)，来求取注视点坐标(X2，Y2，Z2)。
B.变形例：
在上述实施方式中，可以用软件代替由硬件实现的构成的一部分，相反地，也可以用硬件代替由软件实现的构成的一部分。此外，也可以为以下的变形。
·变形例1：
在上述实施方式中，对HMD的构成进行了例示。然而，HMD的构成在不脱离本发明的主旨的范围内可以任意地选定，例如，可以进行各构成部的增加/删除/变更等。
上述实施方式中的对于控制部与图像显示部的构成要素的分配只是一个例子，可以采用各种方式。例如，也可以采用以下的方式。
(i)在控制部搭载CPU和/或存储器等的处理功能，在图像显示部仅搭载显示功能的方式
(ii)向控制部与图像显示部双方搭载CPU和/或存储器等的处理功能的方式
(iii)将控制部与图像显示部一体化的方式(例如，在图像显示部包含控制部而作为眼镜型的可穿戴式计算机发挥作用的方式)
(iv)使用智能手机和/或便携式游戏机代替控制部的方式
(v)利用经由无线LAN、红外线通信和/或Bluetooth等无线信号传输路径的连接将控制部与图像显示部进行连接，而废弃连接部(软线)的方式。此外，在上述情况下，也可以利用无线方式实施针对控制部或者图像显示部的供电。
例如，在上述实施方式中例示的控制部、图像显示部的构成可以任意地进行变更。具体而言，例如，控制部的发送部(Tx)以及图像显示部的接收部(Rx)也可以都具备可双向通信的功能而作为收发部发挥作用。例如，也可以省略控制部所具备的操作用接口(各种键和/或触控板等)的一部分。例如，控制部也可以具备操作用棒等其它操作用接口。例如，作为可以将键盘和/或鼠标等器件与控制部连接的构成，也可以为从键盘和/或鼠标接受输入的构成。例如，使用二次电池作为电源，但电源不限于二次电池，可以使用各种电池。例如，也可以使用一次电池和/或燃料电池、太阳能电池、热电池等。
图10是示出变形例中的HMD的外观的构成的说明图。图10的(A)的画像显示部20x具备右光学像显示部26x和左光学像显示部28x。它们比上述实施方式的光学部件形成得小，分别配置于HMD被佩戴时的利用者的左右眼的斜上方。图10的(B)的图像显示部20y具备右光学像显示部26y和左光学像显示部28y。它们比上述实施方式的光学部件形成得小，分别配置于HMD被佩戴时的利用者的左右眼的斜下方。这样，光学像显示部只要配置于利用者的眼的附近即可。形成光学像显示部的光学部件的大小是任意的，可以是光学像显示部仅覆盖利用者的眼的一部分的方式，换言之，可以是光学像显示部不完全覆盖利用者的眼的方式。
例如，控制部所具备的各处理部(例如图像处理部、显示控制部、增强现实感处理部等)也可以使用为实现该功能而设计的ASIC(Application Specific IntegratedCircuit：专用集成电路)而构成。
例如，HMD是双眼型的透射型HMD，但也可以是单眼型HMD。例如，可以构成为在利用者佩戴着HMD的状态下遮挡外景的透射的非透射型HMD，也可以构成为在非透射型HMD上搭载了相机的视频透视型。例如，对于耳机而言，可以采用耳挂型、头戴型，也可以省略。
例如，也可以采用通常的平面型显示器装置(液晶显示器装置、等离子显示器装置、有机EL显示器装置等)，来取代如眼镜那样佩戴的图像显示部。该情况下，控制部与图像显示部之间的连接也可以为有线、无线中的任意一种。这样，可以将控制部用作通常的平面型显示器装置的遥控器。例如，也可以采用如帽子那样佩戴的图像显示部、内置于头盔等身体防护具的图像显示部之类的其他方式的图像显示部，来取代如眼镜那样佩戴的图像显示部。例如，也可以构成为搭载于汽车、飞机等车辆或者其他交通工具的平视显示器(HUD，Head-Up Display)。
例如，图像光生成部可以与上述的构成部(背光源、背光源控制部、LCD、LCD控制部)一起具备用于实现其它方式的构成部，或者，可以替代上述的构成部而具备用于实现其它方式的构成部。例如，图像光生成部可以具备有机EL(有机电致发光，Organic Electro-Luminescence)的显示器和有机EL控制部。例如，图像生成部可以具备数字微镜器件等来取代LCD。例如，也可以将本发明应用于激光视网膜投影型的头部佩戴型显示装置。
·变形例2：
在上述实施方式中，示出了增强现实感处理和偏移校正处理的一个例子。然而，上述实施方式中所示出的处理的次序只是一个例子，可以进行各种变形。例如，可以省略一部分的步骤，还可以增加更进一步的其它步骤。也可以变更所执行的步骤的顺序。
例如，可以省略偏移校正处理(图4)的步骤S104。尤其是，如变形2那样，在利用由任意的应用程序形成的任意的显示作为记号的情况下，由于利用者大多数情况下清楚“自己应指的位置”，因此大多情况下不需要步骤S104的引导。
例如，也可以省略步骤S110～S114以及步骤S150～S154。在此情况下，在步骤S116和步骤S156中，增强现实感处理部可以使用步骤S102的标准坐标(X1，Y1，Z1)与步骤S108中求得的注视点坐标(X2，Y2，Z2)的各值的差来求取右眼用校正量和左眼用校正量。
例如，在增强现实感处理中，形成于利用者的眼前的虚像中可以仅包含虚拟物体，也可以包含虚拟物体以外的其它信息(例如，菜单栏和/或钟表等)。
·变形例3：
本发明不局限于上述的实施方式和/或实施例、变形例，在不脱离其主旨的范围内可以以各种构成来实现。例如，关于与发明内容一栏记载的各方式中的技术特征对应的实施方式、实施例、变形例中的技术特征，为了解决上述的问题的一部分或者全部、或者为了实现上述的效果的一部分或者全部，可以适当地进行替换和/或组合。另外，如果上述技术特征在本说明书中未作为必须的特征进行说明，则可以适当地删除。

Claims (9)

1.一种头部佩戴型显示装置，其能使利用者对虚像和外景进行视觉识别，具备：
使所述利用者对所述虚像进行视觉识别的图像显示部；
偏移检测部，其使得用于使所述利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的所述虚像形成于所述图像显示部，求取表示所述利用者注视所述记号时的注视点的所述三维空间上的注视点坐标，对所述标准坐标与所述注视点坐标之间的偏移进行检测；以及
增强现实感处理部，其使得包含虚拟物体的所述虚像形成于所述图像显示部，该虚拟物体用于针对实际存在于现实世界的实际物体显示且使用检测出的所述偏移而配置；
所述偏移检测部求取：连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述标准坐标的标准向量与连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述注视点坐标的注视点向量之间的角度差，作为所述标准坐标与所述注视点坐标之间的偏移。
2.根据权利要求1所述的头部佩戴型显示装置，其中，
所述角度差包含滚转角的角度差、俯仰角的角度差以及偏航角的角度差。
3.根据权利要求1或2所述的头部佩戴型显示装置，其中，
还具备：获取与所述利用者的左右眼对应的至少2张外景图像的外景图像获取部，
所述偏移检测部引导所述利用者指示所述记号，基于由所述外景图像获取部获取的所述至少2张外景图像内的所述指示来求取所述注视点坐标。
4.根据权利要求1或2所述的头部佩戴型显示装置，其中，
还具备：
获取所述利用者的视野方向的外景图像的外景图像获取部；以及
获取到任意的目标物为止的距离的距离获取部，
所述偏移检测部引导所述利用者指示所述记号，基于由所述外景图像获取部获取的所述外景图像内的所述指示和由所述距离获取部获取的到所述目标物为止的距离，来求取所述注视点坐标。
5.根据权利要求1或2所述的头部佩戴型显示装置，其中，
所述偏移检测部针对具有不同的多个标准坐标的不同的多个记号反复执行：使所述利用者在所述标准坐标上对所述记号进行视觉识别、求取所述注视点坐标、检测所述标准坐标与所述注视点坐标之间的偏移的一系列的处理，
所述增强现实感处理部在所述虚拟物体的配置中，使用针对不同的多个标准坐标分别检测出的多个偏移。
6.根据权利要求5所述的头部佩戴型显示装置，其中，
所述偏移检测部将利用所述头部佩戴型显示装置内的任意的应用程序形成的任意的显示用作所述记号，来执行所述一系列的处理。
7.根据权利要求1或2所述的头部佩戴型显示装置，其中，
所述偏移检测部通过对所述利用者用右眼进行视觉识别的所述虚像与所述利用者用左眼进行视觉识别的所述虚像之间赋予视差，来使所述利用者在所述标准坐标上对所述记号进行视觉识别。
8.一种控制头部佩戴型显示装置的方法，其包括：
在图像显示部形成用于使利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的虚像的步骤；
求取表示所述利用者注视所述记号时的注视点的所述三维空间上的注视点坐标的步骤；
检测所述标准坐标与所述注视点坐标之间的偏移的步骤；以及
形成包含虚拟物体的虚像的步骤，该虚拟物体用于针对实际存在于现实世界的实际物体显示且使用检测出的所述偏移而配置；
在检测所述标准坐标与所述注视点坐标之间的偏移的步骤中，求取连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述标准坐标的标准向量与连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述注视点坐标的注视点向量之间的角度差，作为所述标准坐标与所述注视点坐标之间的偏移。
9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使计算机实现如下功能：
在图像显示部形成用于使利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的虚像的功能；
求取表示所述利用者注视所述记号时的注视点的所述三维空间上的注视点坐标的功能；
检测所述标准坐标与所述注视点坐标之间的偏移的功能；以及
形成包含虚拟物体的虚像的功能，该虚拟物体用于针对实际存在于现实世界的实际物体显示且使用检测出的所述偏移而配置；
在检测所述标准坐标与所述注视点坐标之间的偏移的功能中，求取连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述标准坐标的标准向量与连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述注视点坐标的注视点向量之间的角度差，作为所述标准坐标与所述注视点坐标之间的偏移。
CN201510783106.8A 2014-11-17 2015-11-16 头部佩戴型显示装置、控制其的方法及计算机可读存储介质 Active CN105607255B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-232750 2014-11-17
JP2014232750A JP6459421B2 (ja) 2014-11-17 2014-11-17 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム

Publications (2)

Publication Number Publication Date
CN105607255A CN105607255A (zh) 2016-05-25
CN105607255B true CN105607255B (zh) 2020-03-10

Family

ID=55962164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510783106.8A Active CN105607255B (zh) 2014-11-17 2015-11-16 头部佩戴型显示装置、控制其的方法及计算机可读存储介质

Country Status (3)

Country Link
US (1) US10627620B2 (zh)
JP (1) JP6459421B2 (zh)
CN (1) CN105607255B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10156723B2 (en) * 2016-05-12 2018-12-18 Google Llc Display pre-distortion methods and apparatus for head-mounted displays
CN107436679B (zh) * 2016-05-27 2020-08-07 富泰华工业（深圳）有限公司 手势控制系统及方法
CN106127171A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实内容的显示方法、装置及终端
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6292682B1 (ja) * 2016-10-06 2018-03-14 学校法人東京女子医科大学 画像処理システム、画像処理方法及び画像処理プログラム
KR102564479B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
US10740444B2 (en) * 2017-02-01 2020-08-11 Samsung Electronics Co., Ltd. Electronic device and method for performing authentication
CN108664037B (zh) * 2017-03-28 2023-04-07 精工爱普生株式会社 头部佩戴型显示装置以及无人机的操纵方法
IT201700035014A1 (it) * 2017-03-30 2018-09-30 The Edge Company S R L Metodo e dispositivo per la visione di immagini in realta' aumentata
CN106990843B (zh) * 2017-04-01 2021-01-08 维沃移动通信有限公司 一种眼睛跟踪系统的参数校准方法及电子设备
CN107609391B (zh) 2017-09-27 2023-01-17 歌尔科技有限公司 一种解锁方法及虚拟现实设备
KR102594527B1 (ko) * 2018-04-27 2023-10-25 테세랜드 엘엘씨 인간 시각 적응형 광 필드 디스플레이
CN109316741A (zh) * 2018-07-17 2019-02-12 派视觉虚拟现实（深圳）软件技术有限公司 一种vr场景中控制角色移动的方法、装置及设备
CN110826375B (zh) * 2018-08-10 2022-08-12 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
TWI676459B (zh) * 2018-08-14 2019-11-11 晉弘科技股份有限公司 眼底相機
JP7226836B2 (ja) * 2018-11-06 2023-02-21 日本電気株式会社 表示制御装置、プレゼンテーションシステム、表示制御方法、及びプログラム
CN109379581A (zh) * 2018-12-05 2019-02-22 北京阿法龙科技有限公司 一种头戴式双屏幕立体显示系统的坐标变换及显示方法
JP7276823B2 (ja) * 2019-03-28 2023-05-18 学校法人早稲田大学 視覚認知機能評価システム
JP2021105782A (ja) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 表示システム、表示方法、及び、プログラム
EP4202531A4 (en) * 2020-11-24 2024-03-20 Samsung Electronics Co Ltd WEARABLE ELECTRONIC DEVICE WITH AUGMENTED REALITY INCLUDING A CAMERA
TW202235956A (zh) 2021-03-05 2022-09-16 大立光電股份有限公司 頭戴裝置
CN113155417B (zh) * 2021-04-25 2022-10-18 歌尔股份有限公司 偏移状态测试方法、测试设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
US6091899A (en) * 1988-09-16 2000-07-18 Canon Kabushiki Kaisha Apparatus for detecting the direction of visual axis and information selecting apparatus utilizing the same
JP2012055428A (ja) * 2010-09-07 2012-03-22 Honda Motor Co Ltd 視線検出装置
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
WO2014033306A1 (en) * 2012-09-03 2014-03-06 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
WO2014109498A1 (en) * 2013-01-09 2014-07-17 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631151B2 (ja) * 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
JP3673834B2 (ja) 2003-08-18 2005-07-20 国立大学法人山口大学 眼球運動を用いた視線入力コミュニケーション方法
JP4491598B2 (ja) 2003-10-27 2010-06-30 独立行政法人産業技術総合研究所 画像表示システム
US10379609B2 (en) * 2013-05-22 2019-08-13 National University Corporation Kobe University Line-of-sight measurement device, line-of-sight measurement method and line-of-sight measurement program
WO2015048030A1 (en) * 2013-09-24 2015-04-02 Sony Computer Entertainment Inc. Gaze tracking variations using visible lights or dots
US9727135B2 (en) * 2014-04-30 2017-08-08 Microsoft Technology Licensing, Llc Gaze calibration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091899A (en) * 1988-09-16 2000-07-18 Canon Kabushiki Kaisha Apparatus for detecting the direction of visual axis and information selecting apparatus utilizing the same
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2012055428A (ja) * 2010-09-07 2012-03-22 Honda Motor Co Ltd 視線検出装置
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
WO2014033306A1 (en) * 2012-09-03 2014-03-06 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
WO2014109498A1 (en) * 2013-01-09 2014-07-17 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统

Also Published As

Publication number Publication date
US10627620B2 (en) 2020-04-21
US20160140773A1 (en) 2016-05-19
JP6459421B2 (ja) 2019-01-30
CN105607255A (zh) 2016-05-25
JP2016095779A (ja) 2016-05-26

Similar Documents

Publication Publication Date Title
CN105607255B (zh) 头部佩戴型显示装置、控制其的方法及计算机可读存储介质
US10297062B2 (en) Head-mounted display device, control method for head-mounted display device, and computer program
US11054650B2 (en) Head-mounted display device, control method of head-mounted display device, and display system
JP6337418B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN110068926B (zh) 显示装置
CN105988219B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP5970872B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6217244B2 (ja) 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム
US10303435B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
JP6369005B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016063504A1 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US9799144B2 (en) Head mounted display, and control method for head mounted display
JP6645096B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2017091433A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2014187574A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20150168728A1 (en) Head mounted display device
JP6451222B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6683218B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6287399B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
JP6308249B2 (ja) 頭部装着型表示装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant