CN104423045A - 头部佩戴型显示装置 - Google Patents
头部佩戴型显示装置 Download PDFInfo
- Publication number
- CN104423045A CN104423045A CN201410432731.3A CN201410432731A CN104423045A CN 104423045 A CN104423045 A CN 104423045A CN 201410432731 A CN201410432731 A CN 201410432731A CN 104423045 A CN104423045 A CN 104423045A
- Authority
- CN
- China
- Prior art keywords
- hand
- user
- image
- virtual image
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002093 peripheral effect Effects 0.000 claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 56
- 230000003287 optical effect Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 39
- 238000000034 method Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 34
- 238000003860 storage Methods 0.000 description 30
- 210000003811 finger Anatomy 0.000 description 27
- 230000015572 biosynthetic process Effects 0.000 description 22
- 210000003128 head Anatomy 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000012353 t test Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000005224 forefinger Anatomy 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 244000060701 Kaempferia pandurata Species 0.000 description 2
- 235000016390 Uvaria chamae Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000013316 zoning Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000959 ear middle Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本发明提供在能够适用扩展现实感(AR)的头戴式显示器中实现使用者的手的识别状态的持续化的头部佩戴型显示装置。头戴式显示器(100)，若识别到进入了相机(61)的拍摄区域(CR)的使用者的手(Yh)，则对该拍摄区域(CR)中的手(Yh)的举动进行监视。而且，若已进入拍摄区域(CR)的使用者的手(Yh)到达形成拍摄区域(CR)的外周缘的外周缘区域(CRf)则向使用者报告。
Description
技术领域
本发明涉及头部佩戴型显示装置。
背景技术
已知一种在现实环境中利用计算机附加提示信息的被称为扩展现实感(AR，Augmented Reality)的技术。这样的扩展现实感的实现手法，除适用于被称为头戴式显示器(HMD：Head Mounted Display)的头部佩戴型显示装置外(例如，专利文献1)，也适用于在HMD以外的现有显示器上显示图像的图像处理装置(例如，非专利文献1)。专利文献1的HMD使利用扩展现实感所形成的假想面板作为虚像被观看，并用相机对使用者的手的位置和/或移动进行拍摄，将该拍摄位置与假想面板相关联。因此，使用者的手的识别技术是不可缺少的，这样的手识别除了非专利文献1外还在非专利文献2中被提出。
【专利文献】
【专利文献1】日本特开2010－146481号公报
【非专利文献】
【非专利文献1】Handy AR:Markerless Inspection of AugmentedReality Objects Using Fingertip Tracking
【非专利文献2】The international Journal of Virtual Reality,2009,8(2):7-12 Robust Hand Tracking Using a Simple Color ClassificationTechnique
在例如像专利文献1那样用相机对使用者的手进行拍摄而检测的情况下，使用者实际上是依赖过去的经验和/或显现出的虚像而使手移动的。因此，已经被指出存在下述问题：至此为止被检测到的手由于使用者造成的手的移动而未被拍摄到。因此，就要求在应用了扩展现实感(AR)的HMD中，实现使用者的手的检测状态的持续化。此外，也期望提高使用者的手的检测的通用性和/或降低其成本等。
发明内容
本发明是为了解决上述问题中的至少一部分而完成的，能够作为下面的方式来实现。
(1)根据本发明的一个方式，提供一种头部佩戴型显示装置。该头部佩戴型显示装置，使得使用者能够将虚像与外景重叠地观看，具备：扩展现实处理部，其生成用于显示所述虚像的图像数据，并利用该生成的所述图像数据，以在使用者的视野中显示所述虚像的方式使所述虚像被观看；检测部，其检测进入到对使用者的手进行检测的预定检测区域的所述使用者的手，对所述检测区域中的所述使用者的手的举动进行检测；和报告部，其基于该检测部检测到的所述使用者的手的举动，若所述使用者的手到达形成所述检测区域的外周缘的外周缘区域，则报告所述使用者。
在该方式的头部佩戴型显示装置中，如果使用者移动自己的手而使该手进入了检测区域，则之后，若使用者的手要从该检测区域向该区域外移动，则将这情况报告手这样移动的使用者。接受了该报告的使用者，能够认识到如果使得手进一步移动的话则自己的手会离开检测区域，所以能够停止手的移动、将手收回，以将自己的手留在检测区域。其结果，根据该方式的头部佩戴型显示装置，除能够使得暂时检测到的使用者的手的检测状态持续外，还能够通过检测状态的持续而有助于提高手的检测准确度。
(2)在上述方式的头部佩戴型显示装置中能够为下述构成：所述扩展现实处理部使所述虚像在与所述检测区域相对应的显示区域被观看，并且，若所述检测部检测到进入所述检测区域的所述使用者的手，则生成用于显示加入有与该检测到的所述使用者的手的至少一部分部位相对应的手部位对应图像的所述虚像的所述图像数据，与所述一部分部位在所述检测区域中所占的位置相应地，更新所述手部位对应图像在所述虚像的显示区域中所占的位置。这样一来，使使用者观看包括手部位对应图像的状态的虚像，所以能够使使用者识别出使用者的手与虚像中的手部位对应图像的对应。
(3)在上述任一方式的头部佩戴型显示装置中能够为下述构成：所述扩展现实处理部，生成用于显示包括与形成所述检测区域的外周缘的所述外周缘区域相对应的框形状的所述虚像的所述图像数据，使使用者观看所述虚像。这样一来，使使用者更可靠地认识到占据检测区域的使用者的手的位置，所以能够以高有效性来使得使用者的手的检测状态持续和提高手的检测准确度。
(4)在上述任一方式的头部佩戴型显示装置中能够为下述构成：所述扩展现实处理部，若所述检测部检测到进入所述检测区域的所述使用者的手，则生成用于将表示所述使用者的手已检测完毕这一情况的检测结束图像作为所述虚像来显示的所述图像数据、或生成用于显示加入有所述检测结束图像的所述虚像的所述图像数据，使使用者观看所述虚像。这样一来，能够使使用者认识到：如果在当前位置周围移动自己的手则使用者的手会保持进入到检测区域不变，因此除了能够使得暂时检测到的使用者的手的检测状态持续外，还能够通过检测状态的持续而有助于提高手的检测准确度。
(5)在上述任一方式的头部佩戴型显示装置中能够为下述构成：所述报告部构成为，能够改变向所述使用者进行报告的方式(形式)，随着已进入所述检测区域的所述使用者的手接近所述外周缘区域的外缘，一边改变报告方式一边报告所述使用者。这样一来，能够通过报告的方式变化使使用者可靠地认识到已进入检测区域的使用者的手要向该区域外移动，以促使使用者将自己的手留在检测区域，所以能够以更高的有效性来使得使用者的手的检测状态持续和提高手的检测准确度。
(6)在上述方式的头部佩戴型显示装置中能够为下述构成：所述报告部，在已进入所述检测区域的所述使用者的手越接近所述外周缘区域的外缘时发出越高频率的声音，或在越接近所述外缘时发出越高音量的声音，以报告所述使用者。这样一来，能够使使用者可靠地认识到已进入检测区域的使用者的手要向该区域外移动，通过声音促使使用者将自己的手留在检测区域，所以能够以更高的有效性来使得使用者的手的检测状态持续和提高手的检测准确度。
上述的本发明的各方式所具有的多个构成要素并不是全部是必需的，为了解决上述问题的一部分或全部，或者为了达成本说明书所记载的效果的一部分或全部，能够适当地就所述多个构成要素的一部分构成要素进行变更、删除、与新构成要素的替换、删除限定内容的一部。另外，为了解决上述问题的一部分或全部，或者为了达成本说明书所记载的效果的一部分或全部，也可以将上述的本发明的一个方式所含的技术特征的一部分或全部与上述的本发明的其他方式所含的技术特征的一部分或全部组合，以作为本发明的独立的一个方式。
例如，本发明的一个方式，能够作为头部佩戴型显示装置实现，但是也能够作为头部佩戴型显示装置以外的其他装置实现。上述的头部佩戴型显示装置的各方式的技术特征的一部分或全部都能够适用于该装置。
此外，本发明能够以各种方式来实现，例如能够以头部佩戴型显示装置的控制方法、头部佩戴型显示系统、用于实现该方法、该装置或该系统的功能的计算机程序、记录有该计算机程序的记录介质等的方式实现。
附图说明
图1是示出本发明的一个实施方式中的头部佩戴型显示装置的概略构成的说明图。
图2是按功能示出头戴式显示器100的构成的框图。
图3是示出由右显示驱动部22中的图像光生成部射出图像光的状况的说明图。
图4是表示通过由AR处理部142所执行的扩展现实处理而被使用者识别出的虚像的一例的说明图。
图5是对由包括图像处理部160和/或AR处理部142等的CPU140所执行的手识别处理的简略进行说明的说明图。
图6是示出手识别处理的步骤的流程图。
图7是对拍摄数据的输入状况进行说明的说明图。
图8是示意性地示出拍摄区域CR的一部分部位的相邻像素之间的差值计算的情况的说明图。
图9是简略地示出在拍摄区域CR的整个区域进行差值计算及其分组化的结果的说明图。
图10是示出存储部120的手轮廓形状存储部122已存储的手轮廓的概略的说明图。
图11是简略地示出将与识别到的使用者的手Yh的指尖相对应的指示物P加入虚像VI后的情况的说明图。
图12是对包括图像处理部160和/或AR处理部142等的控制部10所执行的报告处理的概要进行说明的说明图。
图13是示出报告处理的步骤的流程图。
图14是示出留在拍摄区域CR的手Yh的举动与外周缘区域CRf的关系以及与所发出的警报声(alarm sound)的发出状况的关系的说明图。
图15是简略地示出用其他实施方式的头戴式显示器100进行的手识别处理的情况的说明图。
图16是示出别的实施方式的头戴式显示器100的概略构成的说明图。
图17是简略地示出位于图像显示部20的端部ER的相机61a的拍摄区域CR与使用者的视野VR的关系的说明图。
图18是示出相机61a的拍摄区域CR偏离了使用者的视野VR的情况下的手的检测手法的概要情况的说明图。
图19是示出变形例中的头戴式显示器的外观构成的说明图。
附图标记说明
10…控制部(控制器)； 12…点亮部； 14…触摸垫；
16…十字键； 18…电源开关； 20…图像显示部；
20a、20b…图像显示部； 21…右保持部；
22…右显示驱动部； 23…左保持部； 24…左显示驱动部；
26…右光学像显示部； 26a、26b…右光学像显示部；
28…左光学像显示部； 28a、28b…左光学像显示部；
30…耳机插塞； 32…右耳机； 34…左耳机；
40…连接部； 42…右软线； 44…左软线；
46…连接部件； 48…主体软线； 51…发送部；
52…发送部； 53…接收部； 61、61a…相机；
100…头戴式显示器(头部佩戴型显示装置)；
110…输入信息获取部； 120…存储部；
122…手轮廓形状存储部； 130…电源；132…无线通信部；
140…CPU； 142…AR处理部(扩展现实处理部)；
160…图像处理部； 170…声音处理部； 180…接口；
190…显示控制部； 201…右背光源控制部；
202…左背光源控制部； 221…右背光源； 222…左背光源；
251…右投影光学系统； 252…左投影光学系统；
261…右导光板； 262…左导光板；PCLK…时钟信号；
VSync…垂直同步信号； HSync…水平同步信号；
Data…图像数据； Data1…右眼用图像数据；
Data2…左眼用图像数据； CR…拍摄区域；
CRf…外周缘区域； CR11～CR22…分割区域；
CRD…下端区域； CRL…左端区域；
CRR…右端区域； CRU…剩余区域；
P…指示物； PC…个人计算机； SC…外景；
RE…右眼； LE…左眼； VI…虚像；
VIf…矩形框； EL…端部； AP…前端部
ER…端部； VR…视野； Yh…手
Li…像素列
具体实施方式
A.实施方式：
A－1.头部佩戴型显示装置的构成：
图1是示出本发明的一个实施方式中的头部佩戴型显示装置的概略构成的说明图。头部佩戴型显示装置100是在头部佩戴的显示装置，也被称为头戴式显示器(Head Mounted Display，以下称为头戴式显示器100)。本实施方式的头戴式显示器100是使用者在观看虚像的同时也能够直接观看外景的光学透射型的头部佩戴型显示装置。
头戴式显示器100具备：图像显示部20，其在被佩戴于使用者的头部的状态下使使用者观看虚像；和对图像显示部20进行控制的控制部(控制器)10。
图像显示部20是在使用者的头部佩戴的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包括右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28和相机61。右光学像显示部26以及左光学像显示部28分别配置为，在使用者佩戴了图像显示部20时位于使用者的右眼前以及左眼前。右光学像显示部26的一端与左光学像显示部28的一端在与使用者佩戴了图像显示部20时的使用者的眉间相对应的位置相互连接。
右保持部21是从右光学像显示部26的另一端即端部ER延伸设置到与使用者佩戴了图像显示部20时的使用者的头侧部相对应的位置的部件。同样地，左保持部23是从左光学像显示部28的另一端即端部EL延伸设置到与使用者佩戴了图像显示部20时的使用者的头侧部相对应的位置的部件。右保持部21以及左保持部23像眼镜的镜腿那样将图像显示部20保持于使用者的头部。
右显示驱动部22配置在右保持部21的内侧、换言之配置于与使用者佩戴了图像显示部20时的使用者的头部相对的一侧。另外，左显示驱动部24配置于左保持部23的内侧。此外，下面，也将右保持部21以及左保持部23笼统地简称为“保持部”，也将右显示驱动部22以及左显示驱动部24笼统地简称为“显示驱动部”，也将右光学像显示部26以及左光学像显示部28笼统地简称为“光学像显示部”。
显示驱动部包括液晶显示器(Liquid Crystal Display，下面称为“LCD”)241、242和/或投影光学系统251、252等(参照图2)。后述显示驱动部的详细构成。作为光学部件的光学像显示部包括导光板261、262(参照图2)和调光板。导光板261、262包含光透射性的树脂材料等而形成，将从显示驱动部输出的图像光导向使用者的眼睛。调光板是薄板状的光学元件，配置成覆盖图像显示部20的表侧(与使用者的眼睛侧相反的一侧)。调光板保护导光板261、262，抑制导光板261、262损伤和/或污垢附着等。另外，通过调整调光板的光透射率，能够调整进入使用者眼睛的外光量以调整虚像的观看的容易度。此外，调光板是能够省略的。
相机61配置在与使用者佩戴了图像显示部20时的使用者的眉间相对应的位置。相机61拍摄图像显示部20的表侧方向、换言之为佩戴了头戴式显示器100的状态下的使用者的视场方向的外景(外部的景色)，而获取外景图像。相机61是所谓的可见光相机，具备例如CCD(Charge CoupledDevice，电耦合器件)和/或CMOS(Complementary Metal-OxideSemiconductor，互补型金属氧化物半导体)等拍摄元件。由该相机61获取到的外景图像是利用从物体射出的可见光示出物体的形状的图像。本实施方式中的相机61是单眼相机，但也可以是立体相机。另外，相机61的配设位置不限于使用者的眉间，也可以是图像显示部20的端部EL和/或端部ER。
图像显示部20还具有用于将图像显示部20连接于控制部10的连接部40。连接部40包括：连接于控制部10的主体软线48；主体软线48分支成2根而成的右软线42以及左软线44；和设置于分支点的连接部件46。右软线42从右保持部21的延伸方向的前端部AP插入右保持部21的壳体内，并连接于右显示驱动部22。同样地，左软线44从左保持部23的延伸方向的前端部AP插入左保持部23的壳体内，并连接于左显示驱动部24。在连接部件46设有用于连接耳机插塞30的塞孔。从耳机插塞30延伸出右耳机32以及左耳机34。
图像显示部20与控制部10经由连接部40进行各种信号的传输。在主体软线48中的与连接部件46相反侧的端部与控制部10，分别设有相互嵌合的连接器(未图示)，通过主体软线48的连接器与控制部10的连接器的嵌合/解除嵌合，控制部10与图像显示部20或连接或分离。右软线42、左软线44和主体软线48能够采用例如金属缆线和/或光纤。
控制部10是用于控制头戴式显示器100的装置。控制部10包括点亮部12、触摸垫14、十字键16和电源开关18。点亮部12通过其发光方式来通知头戴式显示器100的工作状态(例如，电源的ON/OFF等)。作为点亮部12，能够使用例如LED(Light Emitting Diode，发光二极管)。触摸垫14检测在触摸垫14的操作面上的接触操作而输出与检测内容相应的信号。作为触摸垫14能够采用静电式和/或压力检测式、光学式之类的各种触摸垫。十字键16检测对与上下左右方向相对应的键的按下操作以输出与检测内容相应的信号。电源开关18通过检测开关的滑动操作而切换头戴式显示器100的电源的状态。
图2是按功能示出头戴式显示器100的构成的框图。控制部10包括输入信息获取部110、存储部120、电源130、无线通信部132、GPS模块134、CPU140、接口180、发送部(Tx)51以及52，各部分通过未图示的总线相互连接。
输入信息获取部110获取例如与针对触摸垫14和/或十字键16、电源开关18等的操作输入相应的信号。存储部120包括ROM、RAM、DRAM、硬盘等。存储部120包括手轮廓形状存储部122和频率映射部124。关于手轮廓形状存储部122的存储内容和频率映射部124的存储内容后述。电源130对头戴式显示器100的各部分供给电力。作为电源130能够使用例如二次电池。
CPU140通过读出存储部120中存储的计算机程序并执行，而作为操作系统(OS)150、图像处理部160、声音处理部170、显示控制部190和AR处理部142发挥作用。AR处理部142以来自OS150和/或特定的应用程序的处理开始请求为触发而执行用于实现扩展现实感的处理(下面也称为“扩展现实处理”)。详细情况后述。此外，AR处理部142与技术方案中的“扩展现实处理部”相当。
图像处理部160基于经由接口180所输入的内容(影像)生成信号。而且，图像处理部160将生成的信号经由连接部40供给到图像显示部20。用于供给到图像显示部20的信号在是模拟形式和数字形式的情况下不同。在是模拟形式的情况下，图像处理部160生成并发送时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和图像数据Data。具体而言，图像处理部160获取内容所含的图像信号。获取的图像信号在例如是动态图像的情况下，一般是由每秒30枚的帧图像构成的模拟信号。图像处理部160从获取的图像信号中分离出垂直同步信号VSync和/或水平同步信号HSync等同步信号，并与这些信号的周期相应地利用PLL电路等生成时钟信号PCLK。图像处理部160利用A/D转换电路等将分离了同步信号后的模拟图像信号转换成数字图像信号。图像处理部160将转换后的数字图像信号作为RGB数据的图像数据Data按每1帧存储于存储部120内的DRAM。另一方面，在是数字形式的情况下，图像处理部160生成并发送时钟信号PCLK和图像数据Data。具体而言，在内容是数字形式的情况下，与图像信号同步地输出时钟信号PCLK，所以无需生成垂直同步信号VSync以及水平同步信号HSync和无需进行模拟图像信号的A/D转换。此外，图像处理部160也可以对存储于存储部120的图像数据Data执行分辨率转换处理和/或辉度、彩度的调整之类的各种色调校正处理和/或梯形失真校正处理等图像处理。
图像处理部160经由发送部51、52分别发送：生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和存储于存储部120内的DRAM的图像数据Data。此外，也将经由发送部51发送的图像数据Data称为“右眼用图像数据Data1”，也将经由发送部52发送的图像数据Data称为“左眼用图像数据Data2”。发送部51、52作为用于控制部10与图像显示部20之间的串行传输的收发器发挥作用。
图像处理部160，除了上述处理外，还具备用于后述的使用者的手识别的手检测处理部162。图像处理部160的手检测处理部162，具体而言，按照后述图6的手识别处理的步骤进行：接受通过相机61的各像素所得到的拍摄数据的输入、由该拍摄数据所示的颜色的相邻像素之间的差值计算和/或相邻像素之间的颜色差值为预定阈值以内的拍摄数据的排列所形成的形状的捕捉、该捕捉到的形状是不是使用者的手的判定等。因此，该手检测处理部162与图6的手识别处理相结合而构筑技术方案中的“检测部”。
显示控制部190生成对右显示驱动部22以及左显示驱动部24进行控制的控制信号。具体而言，显示控制部190通过控制信号独立地控制由右LCD控制部211实现的右LCD241的驱动ON/OFF和/或由右背光源控制部201实现的右背光源221的驱动ON/OFF、由左LCD控制部212实现的左LCD242的驱动ON/OFF和/或由左背光源控制部202实现的左背光源222的驱动ON/OFF等，从而对由右显示驱动部22以及左显示驱动部24分别进行的图像光的生成以及射出进行控制。例如，显示控制部190使右显示驱动部22以及左显示驱动部24这两方生成图像光或仅使一方生成图像光或使两方都不生成图像光。另外，显示控制部190经由发送部51以及52分别发送针对右LCD控制部211与左LCD控制部212的控制信号。另外，显示控制部190分别发送针对右背光源控制部201与左背光源控制部202的控制信号。
声音处理部170获取内容所含的声音信号并对获取到的声音信号进行放大，并对连接于连接部件46的右耳机32内的未图示的扬声器以及左耳机34内的未图示的扬声器供给。此外，例如，在采用Dolby(注册商标)系统的情况下，进行针对声音信号的处理，从右耳机32以及左耳机34分别输出例如频率等改变的不同声音。
接口180是用于对控制部10连接成为内容供给源的各种外部设备OA的接口。作为外部设备OA例如有个人计算机PC和/或便携式电话机终端、游戏终端等。作为接口180能够使用例如USB接口和/或微USB接口、存储卡用接口等。
图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、相机61和9轴传感器66。
9轴传感器66是对加速度(3轴)、角速度(3轴)、地磁场(3轴)进行检测的移动传感器(motion sensor)。9轴传感器66设置于图像显示部20，所以在图像显示部20被佩戴于使用者的头部时，作为检测使用者头部移动的移动检测部发挥作用。这里，所谓头部的移动包括头部的速度、加速度、角速度、朝向变化。
右显示驱动部22包括接收部(Rx)53、作为光源发挥作用的右背光源(BL)控制部201以及右背光源(BL)221、作为显示元件发挥作用的右LCD控制部211以及右LCD241、和右投影光学系统251。此外，也将右背光源控制部201、右LCD控制部211、右背光源221和右LCD241笼统地称为“图像光生成部”。
接收部53作为用于控制部10与图像显示部20之间的串行传输的接收器发挥作用。右背光源控制部201基于所输入的控制信号来驱动右背光源221。右背光源221是例如LED和/或电致发光(EL)等的发光体。右LCD控制部211基于经由接收部53所输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和右眼用图像数据Data1，来驱动右LCD241。右LCD241是多个像素配置成矩阵状的透射型液晶面板。
图3是示出由右显示驱动部22中的图像光生成部出射图像光的情况的说明图。右LCD241通过驱动按矩阵状配置的各像素位置的液晶而使透射右LCD241的光的透射率变化，从而，将从右背光源221照射的照明光向显示图像的有效图像光调制。此外，在本实施方式中，设为采用背光源方式，但是也可以采用前光源方式和/或反射方式出射图像光。
右投影光学系统251包括使从右LCD241出射的图像光成为并行状态的光束的准直透镜而构成。作为右光学像显示部26的右导光板261一边使从右投影光学系统251输出的图像光沿预定光路反射一边将其导向使用者的右眼RE。光学像显示部，只要利用图像光在使用者眼前形成虚像就能够采用任意方式，例如，既可以采用衍射栅格也可以采用半透射半反射膜。
左显示驱动部24具有与右显示驱动部22同样的构成。即，左显示驱动部24包括接收部(Rx)54、作为光源发挥作用的左背光源(BL)控制部202以及左背光源(BL)222、作为显示元件发挥作用的左LCD控制部212以及左LCD242、和左投影光学系统252。右显示驱动部22与左显示驱动部24成对，左显示驱动部24的各部分具有与在对右显示驱动部22的说明中的上述各部分同样的构成以及功能，所以将其说明省略。
图4是示出通过由AR处理部142所执行的扩展现实处理而被使用者识别到的虚像的一例的说明图。如上所述，被引导至头戴式显示器100的使用者的双眼的图像光在使用者的视网膜上成像，从而使用者能够观看虚像VI。如图4所示，在头戴式显示器100的使用者的视野VR内显示虚像VI。另外，关于使用者视野VR中的显示有虚像VI的部分，使用者观看光学像显示部的虚像VI并以透过该虚像VI的方式在虚像VI背后观看外景SC。关于使用者视野VR中的显示有虚像VI的部分以外的部分，使用者能够透过光学像显示部直接观看外景SC。这样，通过由头戴式显示器100的AR处理部142进行的扩展现实处理，生成用于与外景SC重叠地显示虚像VI的图像数据，作为表示用于扩展使用者所感知的外景SC的附加提示用的信息的图像数据。而且，由AR处理部142所生成的图像数据被通信给右LCD控制部211等，虚像VI显示在使用者的正面区域。此外，所谓“扩展外景SC”意指：对于使用者眼睛观看的现实环境即外景SC附加、删除、增强、衰减信息，而扩展使用者所看到的现实世界即外景SC。在实现图像数据生成的扩展现实处理时，AR处理部142为了使附加提示用的信息融像于外景SC而生成不同的右眼用图像数据Data1与左眼用图像数据Data2。所谓“使附加提示用的信息融像于外景”意指：在使用者眼睛实际观看的外景SC中的距使用者预定距离的位置，显示对使用者赋予存在附加提示用的信息那样的感觉的虚像VI。例如，在图4中，若使用者所观看的虚像VI是苹果，则通过扩展现实处理生成表示该苹果的图像数据作为重叠在外景SC所含的现实道路上那样的图像数据，基于该生成的图像数据的图像显示为虚像VI。由此，使用者能够得到好像在什么都没有的道路上有苹果落下那样的感觉，AR处理部142通过扩展现实处理生成并输出：用于在现实的外景SC中距使用者预定距离地显示图4所示的虚像VI和/或苹果的虚像VI的右眼用、左眼用的上述数据。
A－2.手识别处理:
图5是说明包括图像处理部160和/或AR处理部142等的CPU140所执行的手识别处理的概要的说明图。如图1所示，头戴式显示器100在图像显示部20中具备相机61，该相机位于眉间，所以如图5所示，相机61的拍摄区域CR占据视野VR的大致中央的信息区域。使用者根据相机位置而大概感知到该拍摄区域CR所占据的位置，所以，按自身的意志使自己的手Yh进入拍摄区域CR。若使用者的手Yh这样进入拍摄区域CR，则相机61拍摄到外景SC中包括手Yh的图像，将与各个像素相对应的拍摄数据输出到CPU140。如果是图5所示的外景SC，则使用者改变视点，飞鸟进入拍摄区域CR并且/或者在道路上行驶的车辆等也进入拍摄区域CR。另外，例如，如果使用者在室内使用头戴式显示器100，则有时桌子和/或椅子、室内犬和/或猫、友人等的面部等也进入拍摄区域CR，相机61拍摄到包括这些的图像，将与各个像素相对应的拍摄数据输出到CPU140。本实施方式的头戴式显示器100如下这样识别进入到拍摄区域CR的物体是否是使用者的手Yh。图6是示出手识别处理的步骤的流程图。
该手识别处理反复执行，图像处理部160首先接受相机61所具备的每个像素的拍摄数据的输入(步骤S100)。图7是对拍摄数据的输入状况进行说明的说明图。如图7所示，在本实施方式中，将拍摄区域CR纵横分成4个而成的分割区域CR11～CR22为数据输入单位。而且，每个分割区域的数据输入，以各个分割区域的左上的像素为数据输入起点，一边在每个分割区域沿横向扫描一边将分割区域的右下的像素作为数据输入终点。按分割区域CR11→CR12→CR21→CR22的顺序执行这样的数据扫描输入。图像处理部160在接受拍摄数据的扫描输入时，基于9轴传感器66的传感器输出而消除使用者头部的倾斜和/或扭转等头部动作。图像处理部160一边接受沿像素排列的每个分割区域的拍摄数据的扫描输入一边算出由接受该输入的拍摄数据所表示的颜色的相邻像素之间的像素值的差值(步骤S102)。图8是示意性地示出拍摄区域CR的一部分部位的相邻像素之间的像素值的差值计算的情况的说明图。
接在这样的相邻像素之间的像素值的差值计算之后，图像处理部160将算出的像素值的差值在预定阈值以内的拍摄数据的排列分组化(步骤S104)。在图8中，在像素列Li中，使用者的手Yh的手指所占的范围中相邻的像素的像素值的算出差值为预定阈值以内，因此被分组化。在像素列Li以外的像素列中，也进行同样的分组化。相邻像素之间的颜色的差值为预定阈值以内，其含义等同于：在相邻像素拍摄到的颜色在阈值范围内为同一颜色，所以通过步骤S104的分组化，同色系统的区域与其他区域区别开。在图8中，使用者的手Yh的区域与其他区域区别开，其轮廓形状被捕捉到。另外，在图8中对于使用者的手Yh以外的区域也进行相邻像素之间的像素值的差值计算，算出的差值为预定阈值以内的拍摄数据的排列被分组化。图9是简略地表示在拍摄区域CR的整个区域进行了差值计算及其分组化后的结果的说明图。如该图9所示，例如，在手Yh的左右和/或上方，假设拍摄到同样颜色的云和/或山脉树木，则在该云和/或山脉、树木中也按算出的差值为预定阈值以内的拍摄数据的排列而分组化。在本实施方式中，如果通过上述的分组化所捕捉到的轮廓形状是比通过相机61拍摄到的使用者的手Yh的大小小的形状，则将该轮廓形状从后述的形状对比的对象中去除。由此，能够减轻形状对比所需要的运算负荷。
接着，图像处理部160将在上次手识别处理时在步骤S104中分组化而捕捉到的轮廓与在本次手识别处理的步骤S104中分组化而捕捉到的轮廓进行对比，判别捕捉完毕的轮廓是否移动了、或者轮廓形状是否有变化(步骤S106)。例如，在图8中，若使用者按图示的手指的形态原样地移动手Yh或者使用者弯曲拇指，则捕捉完毕的轮廓已移动和/或轮廓形状有变化，图像处理部160从存储部120的手轮廓形状存储部122读入存储完毕的手轮廓作为对比形状(步骤S108)。另一方面，若捕捉完毕的轮廓未移动和/或轮廓形状未变化，则捕捉到的轮廓很有可能是图8中的云和/或山脉、树木或室内使用时的室内的桌子和/或椅子等，所以，步骤S108之后的手识别无用，暂时结束本例程。该情况下，也会存在使用者在使手Yh进入拍摄区域CR后不再动该手的情况，但是使用者的手Yh在进入拍摄区域CR的时刻有移动，所以在步骤S106中作出肯定判别，转变到下一步骤S108。此外，也可以省略步骤S106的判别处理，而在步骤S104中的轮廓捕捉后接着执行步骤S108的对比形状即存储完毕的手轮廓的读入。
图10是示出存储部120的手轮廓形状存储部122中作为对比形状已存储的手轮廓的概略的说明图。如图所示，手轮廓形状存储部122存储有：表示拇指张开而食指伸直的手Yh的轮廓的数据、表示只伸出食指而其他手指弯曲的手Yh的轮廓的数据、表示伸出食指和中指的手Yh的轮廓的数据等。设想进入相机61的拍摄区域CR时使用者能够预先作出的手Yh的形状，规定这些轮廓并数据化，并将它们预先存储于手轮廓形状存储部122。图像处理部160，在后续于步骤S106的步骤S108中读入图10的手Yh的轮廓数据，而后，将在步骤S104中捕捉到的轮廓和与图10的手Yh的轮廓数据相对应的轮廓相对比，判定它们一致还是不一致(步骤S110)。图像处理部160，在该判定中采用对比凹凸状况的所谓凹凸对比手法等手法，若判定为轮廓一致，则将该判定的轮廓识别为使用者的手Yh，将表示手识别已完成这一情况的识别标记Fr设为值1(步骤S112)。该识别标记Fr，其初始值为值零，在头戴式显示器100断开电源时以及后述的报告处理的过程中被重置为值零。
之后，图像处理部160，与AR处理部142等协同工作，对虚像VI生成用的图像数据进行修正，以将与在步骤S112中识别出的使用者的手Yh的一部分部位例如指尖相对应的指示物P加入虚像VI，并利用该修正后的图像数据使使用者观看包括指示物P的虚像VI(步骤S114)。图11是概略性地示出：与识别出的使用者的手Yh的指尖相对应的指示物P加入了虚像VI的情况的说明图。此外，虚像VI中的指示物P所对应的使用者的手指的部位，不限于指尖，也可以设为在步骤S112中识别出的使用者的手Yh的手指的指根和/或伸直了的手指的中段。
图像处理部160，根据与从相机61输出的拍摄数据相对应的像素的排列计算出占据拍摄区域CR的手Yh的指尖的坐标，换算算出将该拍摄区域CR与虚像VI的显示矩形相对应地变形时的指尖坐标，作为指示物P的坐标。接着，AR处理部142对虚像VI生成用的图像数据进行再生成(修正)以使得指示物P显示于虚像VI中的该换算坐标，如图11所示使使用者观看包括指示物P的虚像VI。之后，如果使用者的手Yh在拍摄区域CR的范围内移动，则图像处理部160进行每次的手Yh的指尖坐标的算出和虚像VI中的指示物坐标的换算算出，因此AR处理部142接受这些，跟随手Yh的指尖的移动而更新虚像VI的显示用的图像数据，所以，一边使得指示物P在虚像VI中移动，一边使使用者观看该虚像VI。
另外，图像处理部160除将指示物P加入虚像VI外，还在虚像VI的显示矩形的内侧周缘将矩形框VIf也加入虚像VI而使使用者观看。该矩形框VIf是使得与形成拍摄区域CR的外周缘的外周缘区域CRf相对应地由AR处理部142生成其的图像数据并显示的框，使使用者认识到拍摄区域CR的外周缘与手Yh的位置关系。此外，矩形框VIf除能够始终显示外，也可以设为以某一操作例如使用者对触摸垫14的接触操作为触发而显示。
A－3.报告处理:
图12是说明由包括图像处理部160和/或AR处理部142等的控制部10所执行的报告处理的概要的说明图。如图12所示，使用者在使手Yh进入拍摄区域CR后，除使该手Yh在拍摄区域CR的区域内移动外，还使其从该拍摄区域CR的内部区域向其外周缘侧移动。这样的手的移动是使用者怀着某种意图作出的，但是使用者因为有时无法观看到相机61的拍摄区域CR，所以有可能虽然打算使手Yh在拍摄区域CR的区域内移动，但事与愿违，手Yh的指尖越过形成拍摄区域CR的外周缘的外周缘区域CRf而使手Yh移动到拍摄区域CR的外侧。手Yh的指尖，像图11中所说明的那样与指示物P相对应，所以若手Yh的指尖移动到了拍摄区域CR的外侧，则与指尖相对应的指示物P不能包含于虚像VI而由使用者识别到。在使指示物P与使用者的手Yh的指根和/或手指中段相对应的情况下也一样，指根和/或伸直了的手指的中段可能会越过形成拍摄区域CR的外周缘的外周缘区域CRf、使手Yh移动到拍摄区域CR的外侧。这样的情况下，为了促使使用者将手Yh在拍摄区域CR的区域内移动，本实施方式的头戴式显示器100执行下面记述的报告处理。图13是示出报告处理的步骤的流程图。
该手识别处理反复执行，控制部10首先判定既述的识别标记Fr是否被设为值1(步骤S210)。在这里，在否定判定为识别标记Fr未被设为值1的情况下，不进行图6所说明的手Yh的识别，手Yh处在拍摄区域CR的区域外，尚未进入该拍摄区域CR。在这样的情况下，不可能如图12所说明地那样出现下述情况：暂时进入了拍摄区域CR的手Yh以使得其指尖越过外周缘区域CRf的方式向拍摄区域CR的外侧移动。因此，在步骤S210中作出了否定判定的情况下，暂时结束本例程。
另一方面，控制部10，若在步骤S210中肯定判定为识别标记Fr已被设为值1，则手Yh保持进入拍摄区域CR不变地留在拍摄区域CR。因此，通过以下处理，控制部10监视留在拍摄区域CR的手Yh的此后的举动。也就是，后续于步骤S210的肯定判定，控制部10，根据与从相机61输出的拍摄数据相对应的像素的排列算出占据拍摄区域CR的手Yh的指尖的坐标而把握指尖位置，并算出拍摄区域CR的最外周缘距指尖位置的距离(步骤S220)。
接下来，控制部10根据在步骤S220中算出的指尖位置的距离来判定指尖位置是否处在图11和/或图12所示的外周缘区域CRf的带状区域内(步骤S230)。在这里，若是肯定判定，则留在拍摄区域CR的手Yh正在向外周缘区域CRf侧移动，所以控制部10为了报告手Yh将要伸到拍摄区域CR的区域外这一情况而从右耳机32和左耳机34发出警报声(步骤S240)。
图14是示出留在拍摄区域CR的手Yh的举动与外周缘区域CRf的关系以及与所发的警报声的发生状况的关系的说明图。该图14示出：在手Yh留在比外周缘区域CRf靠内侧的拍摄区域CR的情况下，不发出警报声；在手Yh到达了外周缘区域CRf以后，越靠近拍摄区域CR的最外周缘发出越高频域的警报声；以及如果手Yh伸到拍摄区域CR的区域外，则停止此前在高频域所发的警报声。这样的指尖位置与外周缘区域CRf的关系以及与所发的警报声的频率的关系，作为频率对指尖位置的映射而存储于频率映射部124。因此，控制部10，当在步骤S240中发出警报声时，参照频率映射部124的频率映射，用与在步骤S220中算出的指尖位置的距离相应的频率发出警报声。在这样地发出警报声后转变到既述的步骤S220。
在经历了步骤S240的警报声发出后转变到的步骤S220中，再次算出距指尖位置的距离，在后续的步骤S230中判定指尖位置是否在外周缘区域CRf内。也就是，在指尖位置处于外周缘区域CRf的带状区域内的全部期间，反复进行步骤S220～240的处理，持续按与指尖位置的距离相应的频率发出警报声。如图14所示，该情况下的警报声成为指尖位置越接近拍摄区域CR的最外周缘即外周缘区域CRf的外缘则频率越高的警报声，对于使用者而言，成为因为指尖位置位于外周缘区域CRf所以手Yh将要离开拍摄区域CR这样的情况的报告音。
另一方面，在步骤S230中，若否定判定为指尖位置不在外周缘区域CRf的带状区域内，则控制部10判定指尖位置是否已推移到了外周缘区域CRf的区域外(步骤S250)。控制部10，将在步骤S220中算出的指尖位置的距离按时间序列存储于存储部120或指定的存储器地址，所以根据指尖位置的距离的推移来判定指尖位置是否已推移到了外周缘区域CRf的区域外。若在步骤S250作出了肯定判定，则指尖位置已推移到了外周缘区域CRf的区域外即手Yh伸出到了拍摄区域CR的区域外，所以控制部10在重置识别标记Fr后(步骤S270)，停止警报声(步骤S260)，结束本例程。在步骤S250中作出了否定判定的情况下，指尖位置从外周缘区域CRf伸出并推移到了拍摄区域CR的内部区域，所以控制部10不重置识别标记Fr，转变到步骤S280并停止警报声、结束本例程。
具备以上说明了的构成的本实施方式的头戴式显示器100，如图1所示，若识别出在头部佩戴有该头戴式显示器100的使用者的手Yh进入了对该使用者的正面区域进行拍摄的相机61的拍摄区域CR(图6：步骤S112)，则基于来自于相机61的输出拍摄数据对占据拍摄区域CR的手Yh的指尖的举动进行监视(图13：步骤S220～S230)。而且，本实施方式的头戴式显示器100，若已进入拍摄区域CR的使用者的手Yh到达了形成拍摄区域CR的外周缘的外周缘区域CRf，则对使用者发出警报声进行报告(步骤S240)。由此具备下面的优点。
当前设为使用者移动自己的手Yh使该手进入到了相机61的拍摄区域CR。之后，若使用者要使自己的手Yh从拍摄区域CR向该区域外移动(参照图12)，则这样移动手的使用者，通过发出的警报声接收到下述报告：已进入拍摄区域CR的使用者的手Yh到达了形成拍摄区域CR的外周缘的外周缘区域CRf。接收到了该报告的使用者，能够认识到如果手再动的话使用者的手Yh会离开拍摄区域CR，所以停止手Yh的移动或者将手Yh收回，能够将自己的手Yh留在拍摄区域CR。其结果，根据本实施方式的头戴式显示装置100，除能够持续暂时检测到的使用者的手Yh的检测状态外，还能够通过检测状态的持续来提高手Yh的检测准确度。
关于本实施方式的头戴式显示器100，在经图像处理部160和/或图像显示部20使使用者观看基于由AR处理部142生成的图像数据的虚像VI时，使得与检测到的使用者的手Yh的指尖相对应的指示物P，采用拍摄区域CR中指尖所占的位置与虚像VI的显示区域中指示物P所占的位置的对应，而加入到虚像VI，并使使用者观看到(步骤S114：图11)。此时，本实施方式的头戴式显示器100，通过一边运算识别出的使用者的手Yh的指尖在拍摄区域CR所占的坐标一边将该坐标换算成虚像VI中的指示物P的坐标，而使指示物P跟随手Yh的移动在虚像VI中移动，使使用者与指示物P的移动相关联地识别到自己的手Yh的移动。由此，根据本实施方式的头戴式显示器100，能够将使用者的手Yh应用于某些指令工作、便利性提高，并且在使使用者的手Yh的举动与虚像VI中指示物P的举动相对应的基础上，能够通知使用者检测到了手Yh。
本实施方式的头戴式显示器100，在使使用者观看基于由AR处理部142生成的图像数据的虚像VI时，将与形成拍摄区域CR的外周缘的外周缘区域CRf相对应的矩形框VIf加入虚像VI而使使用者观看(图11)。由此，根据本实施方式的头戴式显示器100，能够使使用者可靠地认识到占据拍摄区域CR的使用者的手Yh的位置，所以能够以高有效性实现使用者的手Yh的检测状态的持续和手Yh的检测准确度的提高。
本实施方式的头戴式显示器100，已进入拍摄区域CR的使用者的手Yh越接近形成拍摄区域CR的外周缘的外周缘区域CRf的外缘，发出频率越高的警报声。由此，使用者通过频率一边升高一边发出的警报声接收到下述报告：因为手Yh的指尖处于外周缘区域CRf所以手Yh将要离开拍摄区域CR和/或、已进入拍摄区域CR的使用者的手Yh将要移动到该区域外。其结果，根据本实施方式的头戴式显示器100，能够促使使用者将自己的手Yh留在拍摄区域CR，所以能够以更高的有效性实现使用者的手Yh的检测状态的持续。
本实施方式的头戴式显示器100，在识别出使用者的手Yh已进入了相机61的拍摄区域CR时，预先在手轮廓形状存储部122中存储能够拍摄到的手Yh的轮廓形状。在其基础上，本实施方式的头戴式显示器100，接受相机61所具备的每个像素的拍摄数据的输入(步骤S100)，进行由拍摄数据表示的颜色的相邻像素之间的差值计算(步骤S102)，将该算出差值在预定阈值以内的同色系统的拍摄数据的排列进行分组化(步骤S104：图8～图9)。接着，本实施方式的头戴式显示器100将经分组化而捕捉到的轮廓与已存储于手轮廓形状存储部122的手Yh的轮廓形状进行对比(步骤S110)，如果轮廓一致，则将经分组化而捕捉到的轮廓识别为已进入拍摄区域CR的使用者的手Yh。
此外，在上述非专利文献中，在识别用相机拍摄到的使用者的手时，预先将手的颜色规定为肤色的模型色，提取匹配于该规定的模型色的颜色的区域，将该提取的区域形状作为用户的手。因而，通过增加规定为用户的手的颜色的肤色的模型色，或者通过使匹配的判断值具有某程度的幅度，能够某种程度地确保用户的手的识别准确度。但是，用户的手的拍摄状况并非一成不变，例如，在野外由于其各个时期的天气和/或日光的照射状况的变化、反射光或者影子的映入等，用户的手的周边的照度大多会突变。在如此的情况下，在与模型色的匹配方面会产生不一致，导致用户的手的识别准确度会下降。如果是室内，则因照明条件会产生同样的情况。并且，用户的手的颜色相应于人种本来就不同，相应于各人就多种多样，所以要使成为用户的手的识别的基准的模型色一致于不可识别的用户的手的颜色，必需每次重新进行规定，缺乏便利性。而且，即使重新规定了模型色，因照度突变也能引起识别准确度的降低。
相对于此，本实施方式的头戴式显示器100，如上所述，在经基于相邻像素间的颜色的差值运算的分组化而捕捉了轮廓的基础上，通过捕捉到的轮廓与已存储的手Yh的轮廓形状的对比而识别使用者的手Yh，所以具备下面的优点。也就是，根据本实施方式的头戴式显示器100，无需按手的每种颜色来规定成为使用者的手的识别基准的模板色，无损识别使用者的手Yh时的便利性。另外，算出相邻像素之间的颜色差值时的各个像素，即使使用者的手周围的照度突变，也大致同等地受其影响，所以相邻像素之间的颜色差值不怎么受使用者的手Yh周围照度的突变影响。由此，根据本实施方式的头戴式显示器100，能够抑制由于照度突变导致的手的识别准确度减低，并且能够提高识别准确度。另外，存储于手轮廓形状存储部122的手的轮廓形状只要是设想使用者在拍摄区域CR中出于某目的而采用的手的轮廓形状即可，所以不必某种程度地限制预先存储的手的轮廓形状，不必相应于人种和/或各个用户而设定。从这点也是，根据本实施方式的头戴式显示器100，除了无损对用户的手Yh进行识别时的便利性之外，也可以提高用户的手Yh的识别的通用性并降低成本。
本实施方式的头戴式显示器100，在将经分组化而捕捉到的轮廓与已存储于手轮廓形状存储部122的手Yh的轮廓形状进行对比时，如果捕捉完毕的轮廓维持在预定形状变化范围内地移动、捕捉完毕的轮廓发生形状变化(步骤S106：肯定判定)，则执行捕捉完毕轮廓与存储完毕的手的轮廓的对比。通过这样，有下面的优点。在相机对使用者的正面区域进行拍摄的情况下，相机也会拍摄到使用者的手以外的物体。例如，在正对着使用者的相机对使用者的正面区域进行拍摄时，不仅拍摄到使用者的手Yh还会拍摄到使用者的面部和/或上半身、或使用者后方的室内的桌子和/或椅子等所谓静止物体。此外，组装入图像显示部20的相机61例如拍摄图8中的云和/或山脉、树木、或在室内使用时拍摄室内的桌子和/或椅子等静止物体。这些静止物体不发生轮廓的移动和/或轮廓形状的变化。相对于此，使用者通常出于某种目的使手Yh进入拍摄区域CR，所以使手Yh不怎么变化其姿势地在拍摄区域移动、改变手Yh的形态。由此，即使捕捉图8中的云和/或山脉、树木、或在室内使用时捕捉室内的桌子和/或椅子等所谓静止物体，这些都不发生轮廓的移动和/或轮廓形状的变化，所以能够将对于静止物体补充完整了的轮廓从与存储完毕的手的轮廓的对比中除外。由此，根据本实施方式的头戴式显示器100，能够减轻手识别所需要的运算处理的负荷。
本实施方式的头戴式显示器100，关于显示了包括指示物P的虚像VI的部分，使使用者透过虚像VI在虚像VI的背后观看外景SC。由此，透过已进入相机61的拍摄区域CR的使用者的手Yh而显示虚像VI，使得使用者观看它。其结果，根据本实施方式的头戴式显示器100，使使用者与虚像VI重叠地识别使用者的手Yh，所以能够提高相对于使用者的手Yh的移动的指示物P的识别。
本实施方式的头戴式显示器100，在接受拍摄数据的扫描输入时，基于9轴传感器66的传感器输出而消除使用者的头部移动。因此，根据本实施方式的头戴式显示器100，能够不受使用者的头部移动左右地、正确地捕捉作为同色系统而分组化了的轮廓，所以使用者的手的识别精度提高。
A－4.其他实施方式－1:
头戴式显示器100能够为下面的实施方式。图15是简略地示出利用其他实施方式的头戴式显示器100执行的手识别处理的情况的说明图。在该实施方式中，以按预先划分拍摄区域CR而成的每个划分区域所确定的执行顺序来进行：步骤S100中的拍摄数据的扫描输入和后续于其的步骤S102中的差值计算。也就是，如图15所示，预先将拍摄区域CR划分成左端区域CRL、右端区域CRR、下端区域CRD和剩余区域CRU，按右端区域CRR→下端区域CRD→左端区域CRL的顺序执行各分割区域的每个区域的横向数据扫描输入。通常，使用者将惯用侧的手Yh伸入使用者所观看的相机的拍摄区域CR，所以如果惯用右手，则从右端区域CRR或下端区域CRD将手Yh伸入拍摄区域CR。在先前说明了的实施方式中，使指尖与指示物P一致，所以即使是惯用左手的使用者，也设想其采用与惯用右手的人同样的手部动作。因此，根据预先将拍摄区域CR划分成左端区域CRL、右端区域CRR、下端区域CRD和剩余区域CRU并按上述顺序实现数据扫描输入的该方式的头戴式显示器100，通过使按每个划分区域所确定的执行顺序与向拍摄区域CR的手Yh的伸入工作相对应，例如，在使用者的手Yh进入了右端区域CRR的时刻能够迅速地识别到该手Yh，之后，能够根据在全部区域中的数据输入而使手Yh的举动与指示物P的工作相对应。该实施方式中，也可以按下端区域CRD→右端区域CRR→左端区域CRL的顺序执行数据扫描输入。另外，数据扫描输入既可以按左端区域CRL→下端区域CRD→右端区域CRR的顺序执行，也可以在左端区域CRL、下端区域CRD和右端区域CRR中的任一区域最先执行差值计算。
A－5.其他实施方式－2:
作为头戴式显示器100的其他实施方式，将在步骤S100接受输入的RGB系的拍摄数据色转换成按色调(hue)、彩度(saturation)和亮度(value)来表示颜色的HSV表色系。而且，将接下来的步骤S102中的相邻像素之间的颜色的差值计算替换为通过色转换所得的亮度的相邻像素之间的差值计算。对拍摄数据进行色转换所得的亮度与受到拍摄的使用者的手Yh的周边照度的影响的辉度，在向HSV表色系色转换的过程分离，所以根据利用经向HSV表色系色转换所得的亮度的实施方式的头戴式显示器100，能够以更高的有效性来抑制与照度突变相伴的识别准确度的降低，能够进一步提高手Yh的识别准确度。
A－6.其他实施方式－3:
图16是示出其他实施方式的头戴式显示器100的概略构成的说明图。在该实施方式中，关于既述的相机61，设为外景SC的拍摄专用的相机，在图像显示部20的端部ER具备用于使用者的手Yh的识别专用的相机61a。图17是简略地示出位于图像显示部20的端部ER的相机61a的拍摄区域CR与使用者的视野VR的关系的说明图。如该图17所示，由于相机配设位置的关系，相机61a的拍摄区域CR为使用者的视野VR的右端侧的区域或从视野VR偏离的区域。因此，进入了拍摄区域CR的手Yh，几乎不会进入占据视野VR的外景SC中，外景SC不大会被手Yh遮挡，所以使用者能够不受手Yh的干扰地眺望欣赏外景SC。此外，既可以在端部EL具备相机61a，也可以将相机61a的朝向设为向下以将其拍摄区域CR设为使用者的视野VR的下方侧。这样的实施方式的头戴式显示器100，如下这样使使用者认识到使用者的手Yh已进入相机61a的拍摄区域CR。图18是示出相机61a的拍摄区域CR偏离使用者的视野VR的情况下的手的检测手法的概要的说明图。
如图所示，在该实施方式中，若处于相机61a的拍摄区域CR之外的手Yh进入该拍摄区域CR，则通过参照图6说明了的手识别处理，识别到使用者的手Yh(步骤S112)。于是，AR处理部142，如在图18的下段所图示的那样，生成用于显示表示手Yh进入拍摄区域CR并被识别到了这一情况的虚像VI的图像数据，通过该图像数据在视野VR的右上显示虚像VI。由此，使用者能够认识到处于相机61a的拍摄区域CR之外的手Yh已进入了该拍摄区域CR这一情况，所以能够将此后的手的举动作为某些指令动作。例如，在如在图18的下段所示的那样显示了虚像VI后，如果使用者使手Yh移动，则控制部10对该移动进行检测，从而能够包括指示物P以及矩形框VIf地显示图11所示的虚像VI，能够执行指示物P所示的指令。图18所示的虚像VI可以与图11所示的矩形形状的虚像VI一同显示，或包含于矩形形状的虚像VI而显示。
B.变形例：
在上述实施方式中，也可以将通过硬件所实现的构成的一部分置换成软件，相反地，也可以将通过软件所实现的构成的一部分置换成硬件。此外，也能够采用下面这样的变形。
·变形例1：
在上述实施方式中，就头戴式显示器的构成进行了例示。但是，头戴式显示器的构成，能够在不脱离本发明主旨的范围内任意确定，例如，能够进行各构成部分的追加、删除、变换等。
上述实施方式中的、对控制部和图像显示部的构成要素的分配只是一例，能够采用各种方式。例如，也可以设为下面这样的方式。(i)在控制部搭载CPU和/或存储器等的处理功能、在图像显示部仅搭载显示功能的方式；(ii)在控制部和图像显示部这两方搭载CPU和/或存储器等的处理功能的方式；(iii)控制部与图像显示部一体化了的方式(例如，图像显示部包括控制部并作为眼镜型的可佩戴计算机而起作用的方式)；(iv)代替控制部而使用智能电话机和/或便携型游戏机的方式；(v)通过使控制部与图像显示部为无线通信且可以无线馈电的构成而废弃连接部(软线)的方式。
在所述实施方式中，为了说明的方便，控制部具备发送部，图像显示部具备接收部。可是，所述实施方式的发送部及接收部都能够具备可以进行双向通信的功能，作为发送接收部而起作用。并且，例如，示于图2的控制部通过有线的信号传送路与图像显示部相连接。但是，控制部与图像显示部也可以通过介由无线LAN和/或红外线通信和/或Bluetooth(注册商标)等的无线的信号传送路的连接而连接。
例如，示于图2的控制部、图像显示部的构成能够任意地进行变更。具体地，例如也可以构成为：从控制部省略触摸垫，仅以十字键进行操作。并且，也可以在控制部具备操作用杆等的其他的操作用接口。并且，作为可以在控制部连接键盘和/或鼠标等的器件的构成，也可以从键盘和/或鼠标接受输入。并且，例如，除了通过触摸垫和/或十字键进行的操作输入之外，也可以通过脚踏开关(通过用户的脚进行操作的开关)取得操作输入。并且，如果通过脚踏开关和/或视线可以取得操作输入，则即使在用户难以撒手的作业中，输入信息取得部也能够取得来自用户的操作输入。
例如，头戴式显示器虽然为双眼型的透射型头戴式显示器，但是也可以为单眼型的头戴式显示器。并且，也可以构成为：在用户配戴有头戴式显示器的状态下遮挡外景的透射的非透射型头戴式显示器。
图19是示出变形例中的头戴式显示器的外观构成的说明图。在图19(A)的例子的情况下，与图1所示的头戴式显示器100的不同点是：图像显示部20a取代右光学像显示部26而具备右光学像显示部26a这一点和取代左光学像显示部28而具备左光学像显示部28a这一点。右光学像显示部26a形成得比图1所示的光学部件小，配置在头戴式显示器佩戴时的使用者的右眼的斜上方。同样地，左光学像显示部28a形成得比图1所示的光学部件小，配置在头戴式显示器佩戴时的使用者的左眼的斜上方。在图19(B)的例子的情况下，与图1所示的头戴式显示器100的不同点是：图像显示部20b取代右光学像显示部26而具备右光学像显示部26b这一点和取代左光学像显示部28而具备左光学像显示部28b这一点。右光学像显示部26b形成得比图1所示的光学部件小，配置在头戴式显示器佩戴时的使用者的右眼的斜下方。左光学像显示部28b形成得比图1所示的光学部件小，配置在头戴式显示器佩戴时的使用者的左眼的斜下方。这样，光学像显示部只要配置在使用者眼睛附近足矣。另外，形成光学像显示部的光学部件的大小也是任意的，也能够作为光学像显示部仅覆盖使用者眼睛的一部分的方式、换言之为光学像显示部不完全覆盖使用者眼睛的方式的头戴式显示器而实现。
例如，图像处理部、显示控制部、AR处理部和声音处理部等功能部被记载为：通过CPU将存储于ROM和/或硬盘的计算机程序在RAM展开并执行所实现的功能部。但是，这些功能部也可以利用为实现相应功能而设计的ASIC(Application Specific Integrated Circuit：面向特定用途集成电路)来构成。
例如，虽然在所述实施方式中，图像显示部为如眼镜似地佩戴的头戴式显示器，但是图像显示部也可以为通常的平面型显示装置(液晶显示装置、等离子体显示装置、有机EL显示装置等)。在该情况下，控制部与图像显示部之间的连接既可以是通过有线的信号传送路的连接，也可以是通过无线的信号传送路的连接。如此一来，也能够将控制部用作通常的平面型显示装置的遥控器。
并且，作为图像显示部，也可以代替如眼镜似地佩戴的图像显示部，而采用例如如帽子似地佩戴的图像显示部那样的其他的形状的图像显示部。并且，耳机既可以采用耳挂型和/或头戴型，也可以省略。并且，例如，也可以构成为搭载于汽车和/或飞机等的车辆的平视显示器(HUD，Head-Up Display)。并且，例如，也可以构成为内置于头盔等的身体防护具的头戴式显示器。
例如，虽然在所述实施方式中，作为电源采用二次电池，但是作为电源并不限于二次电池，能够使用各种电池。例如，也可以使用一次电池和/或燃料电池、太阳能电池、热电池等。
例如，在所述实施方式中，利用背光源、背光源控制部、LCD和LCD控制部而构成图像光生成部。但是，所述的方式只是例示。图像光生成部也可以除了这些构成部之外或代替这些构成部，具备用于实现其他的方式的构成部。例如，图像光生成部也可以构成为，具备有机EL(有机电致发光，Organic Electro-Luminescence)的显示器和有机EL控制部。并且，例如，图像生成部也能够采用数字微镜器件等而代替LCD。并且，例如，对于激光视网膜投影型的头部佩戴型显示装置也可以应用本发明。
·其他变形例：
在上述实施方式中，如参照图14说明了的那样，在已进入拍摄区域CR的手Yh到达了外周缘区域CRf之后，越接近拍摄区域CR的最外周缘则发出越高频域的警报声，但是不限于此。例如，在手Yh到达了外周缘区域CRf之后，也可以越接近拍摄区域CR的最外周缘则发出越高音量的警报声。另外，在声音为脉冲状地发出警报声的基础上，在手Yh到达了外周缘区域CRf以后，也可以越接近拍摄区域CR的最外周缘则按越短周期的脉冲发出警报声。也可以进行“手要离开识别范围了”等的声音通知。此外，也可以取代通过声音进行的报告，而通过发光或对中耳传导振动而使人感知到声音的骨传导来进行报告。在通过发光所进行的报告中，随着手Yh接近拍摄区域CR的最外周缘可以发出不同颜色的光进行报告、在手Yh到达外周缘区域CRf以后越接近拍摄区域CR的最外周缘则按越短周期的脉冲发光。在通过骨传导所进行的报告中，也可以为：手Yh越接近拍摄区域CR的最外周缘则传递越高频的声音和/或越高音量的声音。另外，也可以通过AR处理部142等显示表示水准仪(level gauge)的虚像VI，随着手Yh接近拍摄区域CR的最外周缘，其水平位置提高。也可以随着手Yh接近拍摄区域CR的最外周缘，而使虚像VI中的指示物P闪烁、改变指示物P的颜色和/或形状。此外，也可以对与头戴式显示器100分体设置的使用者的操作设备例如控制部10(参照图1)和/或未图示的便携终端等所具备的振动感应部，输出控制信号以在控制部10和/或便携终端等感应振动，通过该振动进行报告。在该情况下，也可以为：在手Yh到达拍摄区域CR之后，越接近拍摄区域CR的最外周缘则在便携终端等感应越短周期的振动。也可以在佩戴于头部的图像显示部20自身感应振动。
在上述的实施方式的头戴式显示器100中，若在预定期间的范围中未进行图6所示的使用者的手Yh的识别，则也可以利用AR处理部142等使使用者观看仅有图11所示的矩形框VIf的虚像VI或包括矩形框VIf的虚像VI。如果这样，能使使用者可靠地认识到使用者的手Yh未进入拍摄区域CR这一情况，能够促使使用者将自己的手Yh伸入比外周缘区域CRf靠内侧的拍摄区域CR，所以使用者的手Yh的检测准确度提高。此外，也可以以某些操作例如使用者对触摸垫14的触摸操为触发，而显示仅有图11所示的矩形框VIf的虚像VI或包括矩形框VIf的虚像VI。
此外，AR处理部也可以使通过相机取得的用户的视场方向的外景图像通过像素视差角而图形匹配，来实现扩展现实处理。具体地，图像显示部构成为，具备右眼用相机和左眼用相机。右眼用相机配置于图像显示部的对应于用户的右眼的位置，为可以对图像显示部的表侧方向的外景进行拍摄的相机。左眼用相机配置于图像显示部的对应于用户的左眼的位置，为可以对图像显示部的表侧方向的外景进行拍摄的相机。AR处理部也可以求得：包括于通过右眼用相机拍摄的图像的对象物体(成为使附加提示用的信息显示于附近的对象的物体)和包括于通过左眼用相机拍摄的图像的对象物体之间的偏离量，利用该偏离量和像素视差角，确定作为扩展现实处理中的虚像VI的显示处所的“目标距离”。
AR处理部也可以仅限于满足预定的条件的情况而执行所述的扩展现实处理。例如，在具备可以检测用户相对于图像显示部的视线的方向的构成的基础上，AR处理部也可以仅限于检测到的视线的方向满足以下的条件之中的至少任1个的情况，来执行所述的扩展现实处理。
·在水平约200°、垂直约125°(例如，向下方向75°、向上方向50°)的视野角的范围内时。
·信息受容能力优异的有效视野，即，水平约30°、垂直约20°的范围内时。
·注视点可迅速稳定看到的稳定注视视野，即，水平60°～90°、垂直45°～70°的范围内时。
·从开始引起被图像诱发的自我运动感觉(vection，相对运动错觉)的诱发的水平约20°，到自我运动感觉饱和的约110°的范围内时。
另外，在上述的实施方式中，在使用者的手Yh的识别方面使用了具备拍摄元件的相机61，但是也可以为：在佩戴于头部的图像显示部20上设置超声波传感器和/或红外线传感器、光传感器等，根据这些传感器的输出对使用者的手进行识别，若该识别到的手将要离开相机61的拍摄区域CR，则如上所述那样进行报告。
并且，在所述的实施方式的头戴式显示器100中，对进入拍摄区域CR的用户的手Yh进行识别时，虽然进行了按相机61所具备的每个像素接受输入的相邻像素之间的像素值的差值计算(步骤S102)，但是也可以：关于包括进入拍摄区域CR以至于被拍摄到的某些轮廓捕捉对象物的拍摄图像的附近区域，进行相邻像素之间的像素值的差值计算、进行关于从占据该附近区域的像素得到的颜色的数据的差值计算。如果为关于占据所述的附近区域的像素的差值计算，则关于如示于图8地映入的云和/或山脉、树木等的静止物，能够从经由差值运算的轮廓形状的捕捉对象除外，所以能够相应地减轻运算负担。
本发明并不限于所述的实施方式和/或实施例、变形例，在不脱离其主旨的范围能够以各种构成而实现。例如，对应于记载于发明内容栏的各方式中的技术特征的实施方式、实施例、变形例中的技术特征用于解决所述的问题的一部分或全部，或者用于达到所述的效果的一部分或全部，可以适当地进行替换和/或组合。并且，只要该技术特征在本说明书中并未说明为必须，则可以适当地删除。
Claims (6)
1.一种头部佩戴型显示装置，其特征在于，
能使得使用者将虚像重叠于外景而观看，
该头部佩戴型显示装置具备：
扩展现实处理部，其生成用于显示所述虚像的图像数据，利用该生成的所述图像数据，以使得在使用者的视野中显示所述虚像的方式使所述虚像被观看；
检测部，其对进入对使用者的手进行检测的预定的检测区域的所述使用者的手进行检测，对所述检测区域中的所述使用者的手的举动进行检测；和
报告部，其基于该检测部检测到的所述使用者的手的举动，若所述使用者的手到达形成所述检测区域的外周缘的外周缘区域，则向所述使用者报告。
2.根据权利要求1所述的头部佩戴型显示装置，其特征在于，
所述扩展现实处理部，使所述虚像在与所述检测区域相对应的显示区域被观看，并且，若所述检测部检测到已进入所述检测区域的所述使用者的手，则生成用于显示加入有手部位对应图像的所述虚像的所述图像数据，该手部位对应图像与该检测到的所述使用者的手的至少一部分部位相对应，将所述手部位对应图像在所述虚像的显示区域中所占的位置，相应于所述一部分部位在所述检测区域中所占的位置而更新。
3.根据权利要求1或2所述的头部佩戴型显示装置，其特征在于，
所述扩展现实处理部，生成用于显示包括框形状的所述虚像的所述图像数据，该框形状与形成所述检测区域的外周缘的所述外周缘区域相对应，使使用者观看所述虚像。
4.根据权利要求1到3中任一项所述的头部佩戴型显示装置，其特征在于，
所述扩展现实处理部，若所述检测部检测到已进入所述检测区域的所述使用者的手，则生成用于将表示所述使用者的手检测完毕这一情况的检测结束图像显示为所述虚像的所述图像数据、或生成用于显示加入有所述检测结束图像的所述虚像的所述图像数据，使使用者观看所述虚像。
5.根据权利要求1到4中任一项所述的头部佩戴型显示装置，其特征在于，
所述报告部构成为，能改变向所述使用者进行报告的方式，随着已进入所述检测区域的所述使用者的手接近所述外周缘区域的外缘，一边改变报告的方式一边向所述使用者报告。
6.根据权利要求5所述的头部佩戴型显示装置，其特征在于，
所述报告部，在已进入所述检测区域的所述使用者的手越接近所述外周缘区域的外缘时发出越高频率的声音，或在越接近所述外缘时发出越高音量的声音，而向所述使用者报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910003691.3A CN110068926B (zh) | 2013-08-29 | 2014-08-28 | 显示装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013-177866 | 2013-08-29 | ||
| JP2013177866A JP6237000B2 (ja) | 2013-08-29 | 2013-08-29 | 頭部装着型表示装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910003691.3A Division CN110068926B (zh) | 2013-08-29 | 2014-08-28 | 显示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104423045A true CN104423045A (zh) | 2015-03-18 |
| CN104423045B CN104423045B (zh) | 2019-01-15 |
Family
ID=52582487
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410432731.3A Active CN104423045B (zh) | 2013-08-29 | 2014-08-28 | 头部佩戴型显示装置 |
| CN201910003691.3A Active CN110068926B (zh) | 2013-08-29 | 2014-08-28 | 显示装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910003691.3A Active CN110068926B (zh) | 2013-08-29 | 2014-08-28 | 显示装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US9690371B2 (zh) |
| JP (1) | JP6237000B2 (zh) |
| CN (2) | CN104423045B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105093533A (zh) * | 2015-08-20 | 2015-11-25 | 余剑锋 | 一种虚拟现实头盔装置 |
| CN107430479A (zh) * | 2015-03-31 | 2017-12-01 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN109417598A (zh) * | 2016-06-20 | 2019-03-01 | 麦克赛尔株式会社 | 摄像装置、显示装置和摄像显示系统 |
| CN109491496A (zh) * | 2017-09-12 | 2019-03-19 | 精工爱普生株式会社 | 头部佩戴型显示装置和头部佩戴型显示装置的控制方法 |
| WO2019161576A1 (en) * | 2018-02-23 | 2019-08-29 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method for performing real object detection and control using a virtual reality head mounted display system |
| CN112105322A (zh) * | 2019-04-18 | 2020-12-18 | 体育网络公司 | 护目镜 |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015105347A1 (en) * | 2014-01-09 | 2015-07-16 | Samsung Electronics Co., Ltd. | Wearable display apparatus |
| US11205305B2 (en) | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
| US10750153B2 (en) | 2014-09-22 | 2020-08-18 | Samsung Electronics Company, Ltd. | Camera system for three-dimensional video |
| US20160092726A1 (en) * | 2014-09-30 | 2016-03-31 | Xerox Corporation | Using gestures to train hand detection in ego-centric video |
| JP6609920B2 (ja) * | 2014-12-25 | 2019-11-27 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| JP6478713B2 (ja) * | 2015-03-04 | 2019-03-06 | キヤノン株式会社 | 計測装置および計測方法 |
| JP6464889B2 (ja) * | 2015-03-31 | 2019-02-06 | 富士通株式会社 | 画像処理装置、画像処理プログラム、及び画像処理方法 |
| JP6467039B2 (ja) * | 2015-05-21 | 2019-02-06 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
| US10409443B2 (en) * | 2015-06-24 | 2019-09-10 | Microsoft Technology Licensing, Llc | Contextual cursor display based on hand tracking |
| JP6786792B2 (ja) | 2015-12-03 | 2020-11-18 | セイコーエプソン株式会社 | 情報処理装置、表示装置、情報処理方法、及び、プログラム |
| JP6363587B2 (ja) | 2015-12-14 | 2018-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および警告提示方法 |
| US10019844B1 (en) * | 2015-12-15 | 2018-07-10 | Oculus Vr, Llc | Display non-uniformity calibration for a virtual reality headset |
| US10302482B2 (en) | 2016-10-07 | 2019-05-28 | Microsoft Technology Licensing, Llc | Dynamic sensor performance adjustment |
| US20180255285A1 (en) | 2017-03-06 | 2018-09-06 | Universal City Studios Llc | Systems and methods for layered virtual features in an amusement park environment |
| EP3593226B1 (en) * | 2017-03-10 | 2022-08-03 | Brainlab AG | Medical augmented reality navigation |
| CN107067408B (zh) * | 2017-04-11 | 2020-01-31 | 广西科技大学 | 模拟人眼微动的图像轮廓检测方法 |
| JP6929114B2 (ja) * | 2017-04-24 | 2021-09-01 | キヤノン株式会社 | 光電変換装置及び撮像システム |
| US20190066385A1 (en) * | 2017-08-31 | 2019-02-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
| DE102018201661A1 (de) | 2018-02-05 | 2019-08-08 | Audi Ag | Verfahren zum Überlagern eines virtuellen graphischen Objekts über eine reale Umgebung mittels einer AR-Anzeigeeinrichtung für Augmented-Reality sowie Kraftfahrzeug |
| CN110149458A (zh) * | 2018-02-13 | 2019-08-20 | 中兴通讯股份有限公司 | 增强现实视觉元素显示的方法和装置 |
| JP7239132B2 (ja) * | 2018-03-30 | 2023-03-14 | Ｎｅｃソリューションイノベータ株式会社 | モーション判定装置、モーション判定方法、及びプログラム |
| US10721510B2 (en) | 2018-05-17 | 2020-07-21 | At&T Intellectual Property I, L.P. | Directing user focus in 360 video consumption |
| US10482653B1 (en) | 2018-05-22 | 2019-11-19 | At&T Intellectual Property I, L.P. | System for active-focus prediction in 360 video |
| US10827225B2 (en) | 2018-06-01 | 2020-11-03 | AT&T Intellectual Propety I, L.P. | Navigation for 360-degree video streaming |
| JP6634654B2 (ja) * | 2018-06-28 | 2020-01-22 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および警告提示方法 |
| KR20200080047A (ko) | 2018-12-26 | 2020-07-06 | 삼성전자주식회사 | 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기 |
| US11200656B2 (en) | 2019-01-11 | 2021-12-14 | Universal City Studios Llc | Drop detection systems and methods |
| FR3093578A1 (fr) * | 2019-03-05 | 2020-09-11 | Orange | Procédé et dispositif de traitement de données d'un environnement de réalité virtuelle. |
| JP6867464B2 (ja) * | 2019-11-28 | 2021-04-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および警告提示方法 |
| CN112817445A (zh) * | 2021-01-25 | 2021-05-18 | 暗物智能科技(广州)有限公司 | 一种信息采集方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011134054A (ja) * | 2009-12-24 | 2011-07-07 | Brother Industries Ltd | ヘッドマウントディスプレイ |
| CN102736782A (zh) * | 2011-03-17 | 2012-10-17 | 索尼公司 | 信息处理设备、信息处理方法和计算机可读存储介质 |
| US8300025B2 (en) * | 2008-12-19 | 2012-10-30 | Brother Kogyo Kabushiki Kaisha | Head mount display |
| JP2013003961A (ja) * | 2011-06-20 | 2013-01-07 | Konica Minolta Business Technologies Inc | 空間手書きシステム及び電子ペン |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03177918A (ja) * | 1989-12-07 | 1991-08-01 | Mitsubishi Electric Corp | カーソル制御方式 |
| JP3819096B2 (ja) * | 1997-01-22 | 2006-09-06 | 株式会社東芝 | ユーザインタフェース装置及び操作範囲呈示方法 |
| JP2006154900A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 手書き画像表示システム及び空間手書き用携帯情報端末 |
| JP5262681B2 (ja) | 2008-12-22 | 2013-08-14 | ブラザー工業株式会社 | ヘッドマウントディスプレイ及びそのプログラム |
| US20130342572A1 (en) * | 2012-06-26 | 2013-12-26 | Adam G. Poulos | Control of displayed content in virtual environments |
| US20140152558A1 (en) * | 2012-11-30 | 2014-06-05 | Tom Salter | Direct hologram manipulation using imu |
| US10025486B2 (en) * | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
| JP6217244B2 (ja) * | 2013-08-29 | 2017-10-25 | セイコーエプソン株式会社 | 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム |
-
2013
- 2013-08-29 JP JP2013177866A patent/JP6237000B2/ja active Active
-
2014
- 2014-08-22 US US14/466,179 patent/US9690371B2/en active Active
- 2014-08-28 CN CN201410432731.3A patent/CN104423045B/zh active Active
- 2014-08-28 CN CN201910003691.3A patent/CN110068926B/zh active Active
-
2017
- 2017-05-26 US US15/606,844 patent/US10133344B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8300025B2 (en) * | 2008-12-19 | 2012-10-30 | Brother Kogyo Kabushiki Kaisha | Head mount display |
| JP2011134054A (ja) * | 2009-12-24 | 2011-07-07 | Brother Industries Ltd | ヘッドマウントディスプレイ |
| CN102736782A (zh) * | 2011-03-17 | 2012-10-17 | 索尼公司 | 信息处理设备、信息处理方法和计算机可读存储介质 |
| JP2013003961A (ja) * | 2011-06-20 | 2013-01-07 | Konica Minolta Business Technologies Inc | 空間手書きシステム及び電子ペン |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107430479A (zh) * | 2015-03-31 | 2017-12-01 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN105093533A (zh) * | 2015-08-20 | 2015-11-25 | 余剑锋 | 一种虚拟现实头盔装置 |
| CN109417598A (zh) * | 2016-06-20 | 2019-03-01 | 麦克赛尔株式会社 | 摄像装置、显示装置和摄像显示系统 |
| CN109491496A (zh) * | 2017-09-12 | 2019-03-19 | 精工爱普生株式会社 | 头部佩戴型显示装置和头部佩戴型显示装置的控制方法 |
| WO2019161576A1 (en) * | 2018-02-23 | 2019-08-29 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method for performing real object detection and control using a virtual reality head mounted display system |
| CN112105322A (zh) * | 2019-04-18 | 2020-12-18 | 体育网络公司 | 护目镜 |
| CN112105322B (zh) * | 2019-04-18 | 2022-07-15 | 体育网络公司 | 护目镜 |
| US11679057B2 (en) | 2019-04-18 | 2023-06-20 | Sports-Net Co., Ltd. | Goggle |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110068926B (zh) | 2022-01-18 |
| US9690371B2 (en) | 2017-06-27 |
| CN110068926A (zh) | 2019-07-30 |
| JP6237000B2 (ja) | 2017-11-29 |
| CN104423045B (zh) | 2019-01-15 |
| US20150062000A1 (en) | 2015-03-05 |
| US10133344B2 (en) | 2018-11-20 |
| US20170262047A1 (en) | 2017-09-14 |
| JP2015045805A (ja) | 2015-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104423045A (zh) | 头部佩戴型显示装置 | |
| US11054650B2 (en) | Head-mounted display device, control method of head-mounted display device, and display system | |
| US10643400B2 (en) | Head-mounted display device, method of controlling head-mounted display device, and computer program | |
| US10175484B2 (en) | Head-mounted display device, control method for head-mounted display device, and computer program | |
| CN104423046A (zh) | 图像处理装置及具有其的头部安装型显示装置 | |
| US10725300B2 (en) | Display device, control method for display device, and program | |
| US9411160B2 (en) | Head mounted display, control method for head mounted display, and image display system | |
| RU2632257C2 (ru) | Закрепляемое на голове устройство отображения и способ управления закрепляемым на голове устройством отображения | |
| US9448625B2 (en) | Head-mounted display device, control method for head-mounted display device, and image display system | |
| CN106199963B (zh) | 显示装置及其控制方法以及计算机程序 | |
| US9792710B2 (en) | Display device, and method of controlling display device | |
| CN104714302A (zh) | 头部佩戴型显示装置 | |
| CN105319714A (zh) | 显示装置、显示装置的控制方法及程序 | |
| US20160225190A1 (en) | Head-mounted display device, method of controlling the same, and computer program | |
| CN105319716A (zh) | 显示装置、显示装置的控制方法及程序 | |
| CN105549203A (zh) | 显示装置以及显示装置的控制方法 | |
| TW201617826A (zh) | 顯示裝置、顯示裝置之控制方法及程式 | |
| JP2017003856A (ja) | 表示装置、及び、表示装置の制御方法 | |
| JP2016033763A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
| JP2018085595A (ja) | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 | |
| JP2016031373A (ja) | 表示装置、表示方法、表示システム、及び、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |