CN112130329B - 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 - Google Patents

Abstract

头部佩戴型显示装置以及头部佩戴型显示装置的控制方法。头部佩戴型显示装置具备：图像显示部，其显示图像；视线方向确定部，其确定使用者的视线方向；以及图像变更部，其根据视线方向来变更图像显示部所显示的显示图像，在视线方向为第1方向时，图像变更部在以第1方向为中心的第1视野范围内使第1显示图像显示于图像显示部，在视线方向为与第1方向不同的第2方向、且第1显示图像比以第2方向为中心的第1视野范围靠外侧时，图像变更部使图像显示部停止第1显示图像的显示，在第2视野范围内将与第1显示图像不同的第2显示图像显示于图像显示部，其中，该第2视野范围比第1视野范围大、且不包含第1视野范围。

Description

头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

本申请是申请日为2016年3月15日、申请号为201610146097.6、发明名称为“头部佩戴型显示装置以及头部佩戴型显示装置的控制方法”的发明专利申请的分案申请。

技术领域

本发明涉及头部佩戴型显示装置的技术。

背景技术

已知有作为佩戴于头部的显示装置的头部佩戴型显示装置(头戴式显示器(HeadMounted Display)，HMD)。头部佩戴型显示装置例如通过利用液晶显示器以及光源生成表示图像的图像光，并利用投影光学系统、导光板将所生成的图像光导入使用者的眼睛，来使使用者视觉确认虚像。头部佩戴型显示装置具有使用者除了虚像以外还能够视觉确认外景的透射式、以及使用者不能够视觉确认外景的非透射式这两种类型。透射式的头部佩戴型显示装置具有光学透射式以及影像透射式。

专利文献1中记载有将使用者的视野分割为2个以上的区域，在分割而成的每个区域显示对应的虚拟图像的头部佩戴型显示装置。另外，在专利文献2中记载有在检测出的使用者的视线位置的附近显示表示用于辅助输入的引导信息的图像的多模式界面(multimodal interface)。另外，在专利文献3中记载有在与根据使用者的步行等移动状态发生变化的到使用者的注视点的距离相同的位置，显示使用者视觉确认的图像的头部佩戴型显示装置。

专利文献1：日本特表2014-526157号公报

专利文献2：日本特开平11-54778号公报

专利文献3：日本特开2014-225727号公报

但是，在专利文献1所记载的技术中，在分割而成的区域显示的虚拟图像较多的情况下，用于显示虚拟图像的处理的负担较大，有虚拟图像的显示产生延迟的可能。另外，在专利文献2、3所记载的技术中，在所显示的图像的容量较大的情况下，也有用于显示图像的处理的负担较大的情况。此外，在以往的头部佩戴型显示装置的技术中，期望其小型化、低成本化、制造的容易化、使用的便利性的提高等。

发明内容

本发明是为了解决上述课题的至少一部分而完成的，能够作为以下的方式来实现。

(1)根据本发明的一个方式，提供一种头部佩戴型显示装置。该头部佩戴型显示装置具备：图像显示部，其能够将图像显示于显示区域；视线方向确定部，其确定使用者的视线方向；以及图像变更部，其根据确定出的上述视线方向来变更上述显示区域所显示的显示图像。根据该方式的头部佩戴型显示装置，根据使用者视觉确认的位置，来变更图像的显示方式，从而能够不降低使用者针对显示图像的可视性地减少用于显示图像的处理的负担。

(2)在上述方式的头部佩戴型显示装置中，上述图像变更部也可以与根据确定出的上述视线方向发生变化的使用者的视觉特性对应地变更上述显示图像。根据该方式的头部佩戴型显示装置，能够不损伤视觉确认的图像的使用者的识别等的视觉特性地提高显示图像的处理的速度。

(3)在上述方式的头部佩戴型显示装置中，上述视觉特性是与扫视相关的特性；上述图像变更部也可以作为使用者的视野范围，设定还添加了基于扫视的视角的范围。根据该方式的头部佩戴型显示装置，由于考虑扫视来设定显示图像的显示方式，所以能够将也考虑了使用者不希望的眼球运动的范围的图像预先显示于显示区域。

(4)在上述方式的头部佩戴型显示装置中，上述图像变更部在上述显示区域的一部分显示上述显示图像的情况下，也可以根据上述显示图像的位置和上述视线方向，来变更上述显示图像。根据该方式的头部佩戴型显示装置，能够不降低视觉确认图像的使用者的识别的容易性地、提高显示图像的处理的速度。

(5)在上述方式的头部佩戴型显示装置中，上述图像显示部能够透过外景；上述头部佩戴型显示装置还具备拍摄上述外景的外景拍摄部，上述图像变更部也可以从拍摄到的上述外景的图像中检测特定对象物，并与检测出的特定对象物的位置建立对应关系地设定上述显示图像的位置。根据该方式的头部佩戴型显示装置，能够更容易理解并使使用者视觉确认特定对象物与显示的图像的对应关系，提高使用者的使用的便利性。

(6)在上述方式的头部佩戴型显示装置中，上述视线方向确定部具有显示部方向检测部，该显示部方向检测部检测上述图像显示部的朝向，也可以基于检测出的上述图像显示部的朝向来确定上述视线方向。根据该方式的头部佩戴型显示装置，例如，能够不使用拍摄使用者的眼睛的装置，简便且廉价地确定使用者的视线方向。

(7)在上述方式的头部佩戴型显示装置中，上述视线方向确定部具有眼睛拍摄部，该显示部方向检测部拍摄使用者的眼睛，也可以基于拍摄到的使用者的眼睛的图像，来确定上述视线方向。根据该方式的头部佩戴型显示装置，能够高精度地确定使用者的视线方向。

(8)在上述方式的头部佩戴型显示装置中，上述视线方向确定部还确定到使用者视觉确认的视觉确认对象的距离，上述图像变更部也可以基于上述视觉确认对象、和基于上述视觉确认对象以外的范围，并且相对于上述视觉确认对象移动的移动背景的运动特性，来设定与上述特定对象物建立有对应关系的上述显示图像的显示方式。根据该方式的头部佩戴型显示装置，由于通过与使用者视觉确认的视觉确认对象的移动速度的比较，来设定图像的显示方式，所以能够调整给予使用者的身临其境的感觉。

(9)在上述方式的头部佩戴型显示装置中，上述图像变更部还可以在上述特定对象物是上述移动背景的情况下与上述特定对象物未相对于上述视觉确认对象移动的情况相比较，将与上述特定对象物建立有对应关系的上述显示图像的显示方式设定为简便的实施方式。根据该方式的头部佩戴型显示装置，减少用于显示与视觉确认对象不同的移动速度的对象建立有对应关系的图像的处理，从而能够不降低使用者的图像的可视性地减轻处理的负担。

(10)在上述方式的头部佩戴型显示装置中，上述图像显示部能够透过外景；上述头部佩戴型显示装置还具备：外景拍摄部，其拍摄上述外景；以及图像数据获取部，其按照上述图像数据的每个种类来识别并获取作为与上述特定对象物建立有对应关系的上述显示图像源的图像数据，上述图像变更部还可以在上述外景拍摄部拍摄了上述特定对象物的情况下，基于上述图像数据获取部获取到的上述图像数据的种类、以及针对上述显示区域的拍摄到的上述特定对象物的位置，来决定与上述特定对象物建立有对应关系的上述显示图像的显示方式。根据该方式的头部佩戴型显示装置，能够根据图像数据的种类使使用者视觉确认的图像的显示方式不同，使使用者视觉确认与需要相应的图像。

(11)在上述方式的头部佩戴型显示装置中，还具备：移动物体确定部，其确定在外景中移动的移动物体，上述图像变更部也可以基于上述移动物体接近上述图像显示部的速度，来设定与上述特定对象物建立有对应关系的上述显示图像的显示方式。根据该方式的头部佩戴型显示装置，能够将接近使用者的汽车等危险报告给使用者。

(12)在上述方式的头部佩戴型显示装置中，上述图像变更部也可以在以上述视线方向为中心的规定的区域以外的上述移动物体以预先设定的速度以上接近上述图像显示部的情况下，即使上述移动物体未被预先设定为上述特定对象物也判定为上述特定对象物，将预先设定的上述显示图像设定为判定出的上述特定对象物。根据该方式的头部佩戴型显示装置，能够仅在需要时，使使用者视觉确认需要的图像，提高针对使用者的头部佩戴型显示装置的使用的便利性。

(13)在上述方式的头部佩戴型显示装置中，上述图像变更部也可以在上述显示图像包含文字图像的情况下，在包含确定出的上述视线方向的第一视野范围内使上述文字图像作为上述显示图像显示于上述显示区域，在比上述第一视野范围大的范围，并且不包含上述第一视野范围的第二视野范围内不使上述文字图像作为上述显示图像显示于上述显示区域。根据该方式的头部佩戴型显示装置，由于在使用者难以识别文字的视野范围内将不包含文字图像的图像显示于显示区域，所以能够不进一步降低视觉确认图像的使用者的识别的容易性地提高显示图像的处理的速度。

(14)在上述方式的头部佩戴型显示装置中，上述图像变更部也可以在上述显示图像是被使用者视觉确认为三维图像的图像的情况下，在包含确定出的上述视线方向的第三视野范围内使上述显示图像作为三维图像显示于上述显示区域，在比上述第三视野范围大的范围并且不包含上述第三视野范围的第四视野范围内显示时，将上述显示图像以被使用者视觉确认为二维图像的方式显示于上述显示区域。根据该方式的头部佩戴型显示装置，由于在使用者难以识别到显示图像的距离的视野范围内使二维图像显示于显示区域，所以能够不降低视觉确认对应图像的使用者的识别的容易性地进一步提高显示图像的处理的速度。

(15)在上述方式的头部佩戴型显示装置中，上述图像变更部也可以在上述显示图像是包含多个颜色的信息的图像的情况下，在包含确定出的上述视线方向的第五视野范围内使上述显示图像作为包含多个颜色的信息的图像显示于上述显示区域，在比上述第五视野范围大的范围并且不包含上述第五视野范围的第六视野范围内使用单色的色调将上述显示图像显示于上述显示区域。根据该方式的头部佩戴型显示装置，能够不降低视觉确认图像的使用者的识别的容易性地、进一步提高显示图像的处理的速度。

(16)在上述方式的头部佩戴型显示装置中，上述图像变更部也可以在上述第六视野范围中，仅使上述显示图像的轮廓显示于上述显示区域。根据该方式的头部佩戴型显示装置，由于在使用者难以识别颜色信息的范围内显示图像的外框，所以能够不降低视觉确认对应图像的使用者的识别的容易性地进一步提高显示图像的处理的速度。

(17)在上述方式的头部佩戴型显示装置中，上述图像变更部也可以比包含确定出的上述视线方向的第七视野范围大的范围并且不包含上述第七视野范围的第八视野范围内，将上述显示图像作为比上述第七视野范围显示的图像简化的简易图像显示于上述显示区域。根据该方式的头部佩戴型显示装置，由于在使用者不能够识别显示图像的详细的内容的视野范围内，将表示仅具有图像的简化的图像显示于显示区域，所以能够不降低视觉确认对应图像的使用者的识别的容易性地进一步提高显示对应图像的处理的速度。

上述的本发明的各方式所具有的多个构成要素并不是全部都是必须的，为了解决上述课题的一部分或者全部、或为了实现本说明书所记载的有效一部分或者全部，能够适当地对上述多个构成要素的一部分的结构要素，进行变更、删除、与新的其它构成要素的替换、删除限定内容的一部分。另外，为了解决上述课题的一部分或者全部、或为了实现本说明书所记载的有效一部分或者全部，将上述的本发明的一个方式所包含的技术特征的一部分或者全部与上述的本发明的其它方式所包含的技术特征的一部分或者全部组合，也能够作为本发明的独立的一个方式。

例如，本发明的一个方式能够作为具备图像显示部、视线方向确定部、以及图像变更部这3个要素内的一部分或者全部的要素的装置来实现。即、该装置也可以具有图像显示部，也可以不具有。另外，装置也可以具有视线方向确定部，也可以不具有。另外，装置也可以具有图像变更部，也可以不具有。图像显示部例如也能够将图像显示于显示区域。视线方向确定部例如也可以确定使用者的视线方向。图像变更部例如也可以根据确定出的上述视线方向，变更显示于上述显示区域的显示图像。这样的装置例如能够作为头部佩戴型显示装置来实现，但也能够作为头部佩戴型显示装置以外的其它装置来实现。根据这样的方式，能够解决装置的操作性的提高以及简化、装置的一体化、使用装置的使用者的便利性的提高等各种课题的至少一个。上述的头部佩戴型显示装置的各方式的技术特征的一部分或者全部均能够应用于该装置。

本发明也能够通过头部佩戴型显示装置以外的各种方式来实现。例如，能够通过显示装置、头部佩戴型显示装置以及显示装置的控制方法、控制系统、头部佩戴型显示系统、显示装置、用于实现控制系统以及头部佩戴型显示系统的功能的计算机程序、记录有该计算机程序的记录介质、包含该计算机程序并在载波内具体化的数据信号等方式来实现。

附图说明

图1是表示第一实施方式的头部佩戴型显示装置(HMD)的外观结构的说明图。

图2是功能性地表示本实施方式的HMD的结构的框图。

图3是注视点与使用者的视线方向的关系的说明图。

图4是以注视点为中心的水平视野以及铅垂视野的示意图。

图5是表示水平视野中的每个视野的范围的人的识别的程度的说明图。

图6是表示铅垂视野中的每个视野的范围的人的识别的程度的说明图。

图7是表示通过图像光生成部射出图像光的情况的说明图。

图8是表示图像显示处理的流程的流程图。

图9是表示与对应图像的图像显示位置与被区别的视野范围的关系的说明图。

图10是表示显示对应图像的情况下的使用者的视野的一个例子的说明图。

图11是表示显示照相机的拍摄范围变化后的对应图像的情况下使用者的视野的一个例子的说明图。

图12是表示显示使用者的视线方向变化后的对应图像的情况下使用者视觉确认的视野的一个例子的说明图。

图13是用于第一实施方式的视野范围与第二实施方式的视野范围的比较的说明图。

图14是在第三实施方式中驾驶汽车的使用者视觉确认的视野的说明图。

图15是在第三实施方式中驾驶汽车的使用者视觉确认的视野的说明图。

图16是在第四实施方式中作为行人的使用者视觉确认的视野的说明图。

图17是表示变形例的使用者视觉确认的视野的一个例子的说明图。

图18是表示变形例的使用者视觉确认的视野的一个例子的说明图。

图19是表示对应图像属于视野范围的情况下使用者视觉确认的视野的一个例子的说明图。

图20是变形例中的使用者的视野中的对应图像的显示位置的说明图。

图21是表示变形例中的HMD的外观结构的说明图。

具体实施方式

A.第一实施方式：

A-1.头部佩戴型显示装置的结构：

图1是表示本实施方式的头部佩戴型显示装置100(HMD 100)的外观结构的说明图。HMD100是佩戴于头部的显示装置，也被称为头戴式显示器(Head Mounted Display，HMD)。本实施方式的HMD100是在使用者视觉确认虚像的同时，也能够直接视觉确认外景得光学透射式的头部佩戴型显示装置。此外，在本说明书中，将使用者通过HMD100视觉确认的虚像简称为“显示图像”。

HMD100具备在佩戴于使用者的头部的状态下使使用者视觉确认虚像的图像显示部20、以及控制图像显示部20的控制部10(控制器10)。

图像显示部20是佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、第一照相机61、第二照相机62、右眼拍摄照相机37、以及左眼拍摄照相机38。右光学像显示部26以及左光学像显示部28分别以使用者佩戴了图像显示部20时位于使用者的右眼以及左眼前的方式配置。右光学像显示部26的一端和左光学像显示部28的一端在与使用者佩戴了图像显示部20时的使用者的眉间对应的位置相互连接。

右保持部21是以从作为右光学像显示部26的另一端的端部ER延伸到使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置的方式设置的部件。同样地，左保持部23是以从作为左光学像显示部28的另一端的端部EL延伸到使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置延伸的方式设置的部件。右保持部21以及左保持部23像眼镜的眼镜脚(挂耳部分)那样，将图像显示部20保持在使用者的头部。

右显示驱动部22和左显示驱动部24配置在使用者佩戴了图像显示部20时的与使用者的头部对置的一侧。此外，在以下，对右保持部21以及左保持部23进行统称仅称为“保持部”，对右显示驱动部22以及左显示驱动部24进行统称仅称为“显示驱动部”，对右光学像显示部26以及左光学像显示部28进行统称仅称为“光学像显示部”。

显示驱动部22、24包含液晶显示器241、242(Liquid Crystal Display，以下也称为“LCD241、242”)、投影光学系统251、252等(参照图2)。显示驱动部22、24的结构的详细内容后述。作为光学部件的光学像显示部26、28包含导光板261、262(参照图2)和调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部22、24输出的图像光导入使用者的眼睛。调光板是薄板状的光学元件，以覆盖与使用者的眼睛的一侧相反的一侧即图像显示部20的正面的方式配置。调光板保护导光板261、262，抑制导光板261、262的损伤、受到污染的附着等。另外，通过调整调光板的透光率，来调整进入使用者的眼睛的户外光量而能够调整虚像的视觉确认的容易性。此外，能够省略调光板。

第一照相机61以及第二照相机62拍摄外景。第一照相机61和第二照相机62分别配置于图像显示部20的不同位置。第一照相机61在作为右光学像显示部26的另一端的端部ER，配置于将图像显示部20佩戴于使用者的情况下的使用者的头部方向。另外，以相同的方式，第二照相机62在作为左光学像显示部28的另一端的端部EL，配置于将图像显示部20佩戴于使用者的情况下的使用者的头部方向。在本实施方式中，第一照相机61和第二照相机62分别以相对于通过连接作为图像显示部20的中心的右光学像显示部26的一端和左光学像显示部28的一端的位置的中心线配置成线对称。此外，在以下，对第一照相机61和第二照相机62进行合并，仅称为照相机61、62。在本实施方式中，由于将第一照相机61配置于图像显示部20的位置和将第二照相机62配置于图像显示部20的位置不同，所以能够使用三角法计算到被第一照相机61的拍摄范围和第二照相机62的拍摄范围双方拍摄的对象的距离。此外，照相机61、62相当于技术方案中的外景拍摄部。

右眼拍摄照相机37是拍摄佩戴了图像显示部20的使用者的右眼的照相机。同样地，左眼拍摄照相机38是拍摄佩戴了图像显示部20的使用者的左眼的照相机。通过右眼拍摄照相机37拍摄到的使用者的右眼的图像以及通过左眼拍摄照相机38拍摄到的使用者的左眼的图像用于后述的方向确定部166确定使用者的视线方向的处理。此外，右眼拍摄照相机37以及左眼拍摄照相机38是单眼照相机，但也可以是立体照相机。在以下，对右眼拍摄照相机37以及左眼拍摄照相机38进行合并，也称为眼拍摄照相机37、38。眼拍摄照相机37、38和后述的方向确定部166相当于技术方案中的视线方向确定部。另外，眼拍摄照相机37、38相当于技术方案中的眼睛拍摄部。

图像显示部20还具有用于将图像显示部20连接在控制部10的连接部40。连接部40包含与控制部10连接的主体软线(cord)48、右软线42、左软线44、以及连结部件46。右软线42和左软线44是主体软线48分支出2根的软线。右软线42从右保持部21的延伸方向的前端部AP插入右保持部21的筐体内，与右显示驱动部22连接。同样地，左软线44从左保持部23的延伸方向的前端部AP插入左保持部23的筐体内，与左显示驱动部24连接。连结部件46设置于主体软线48与右软线42以及左软线44的分支点，具有用于连接耳机插头30的插孔。从耳机插头30延伸有右耳机32以及左耳机34。

图像显示部20和控制部10经由连接部40进行各种信号的传送。在主体软线48的与连结部件46相反的一侧的端部、和控制部10分别设置有相互嵌合的连接器(未图示的)。通过主体软线48的连接器与控制部10的连接器的嵌合/嵌合解除，连接或断开控制部10与图像显示部20。右软线42、左软线44以及主体软线48例如能够采用金属电缆、光纤。

控制部10是用于控制HMD100的装置。控制部10包含确定键11、点亮部12、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17、以及电源开关18。确定键11检测按下操作，通过控制部10输出决定操作出的内容的信号。点亮部12通过其发光状态来通知HMD100的动作状态。作为HMD100的动作状态，例如有电源的开启/关闭等。作为点亮部12例如使用LED。显示切换键13检测按下操作，例如，输出将内容视频的显示模式切换为3D和2D的信号。触控板14检测触控板14的操作面上的使用者的手指的操作，输出检测内容对应的信号。作为触控板14能够采用静电式、压力检测式、光学式这样的各种触控板。亮度切换键15检测按下操作，输出增减图像显示部20的亮度的信号。方向键16检测针对与上下左右方向对应的键的按下操作，输出与检测内容相应的信号。电源开关18检测开关的滑动操作，从而切换HMD100的电源接通状态。

图2是功能性地表示本实施方式的HMD100的结构的框图。如图2所示，控制部10具有存储部120、电源130、无线通信部132、操作部135、CPU140、接口180、发送部51(Tx51)以及发送部52(Tx52)。操作部135受理使用者的操作，由确定键11、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17、电源开关18构成。电源130对HMD100的各部供给电力。作为电源130，例如能够使用二次电池。无线通信部132依据无线LAN、蓝牙这样的规定的无线通信标准，例如，在与内容服务器、电视、个人计算机这样的其它设备之间进行无线通信。

存储部120具有储存有计算机程序的ROM、在CPU140执行各种计算机程序的写入以及读取时使用的RAM。

CPU140读出存储部120的ROM中储存的计算机程序，对存储部120的RAM执行写入以及读取，由此作为操作系统150(OS150)、显示控制部190、声音处理部170、图像处理部160、图像设定部165、距离测定部168、以及方向确定部166发挥作用。

显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言，显示控制部190通过控制信号，分别独立地控制右LCD控制部211的右LCD241的驱动开启/关闭、右背光灯控制部201的右背光灯221的驱动开启/关闭、左LCD控制部212的左LCD242的驱动开启/关闭、左背光灯控制部202的左背光灯222的驱动开启/关闭等。由此，显示控制部190控制右显示驱动部22以及左显示驱动部24的每一个的图像光的生成以及射出。例如，显示控制部190使右显示驱动部22以及左显示驱动部24双方生成图像光，或仅使一方生成图像光，或使两方均不生成图像光。此外，将生成图像光也称为“显示图像”。

显示控制部190分别经由发送部51以及52发送针对右LCD控制部211和左LCD控制部212的控制信号。另外，显示控制部190分别发送针对右背光灯控制部201和左背光灯控制部202的控制信号。

图像处理部160获取内容所包含的图像信号。图像处理部160从获取到的图像信号中，分离垂直同步信号VSync、水平同步信号HSync等同步信号。另外，图像处理部160根据分离出的垂直同步信号VSync、水平同步信号HSync的周期，利用PLL(Phase Locked Loop：锁相环)电路等(未图示的)生成时钟信号PCLK。图像处理部160将分离出同步信号的模拟图像信号使用A/D转换电路等(未图示的)转换为数字图像信号。之后，图像处理部160将转换后的数字图像信号作为对象图像的图像数据(RGB数据)，按照每1帧储存至存储部120内的DRAM。此外，图像处理部160也可以根据需要，对图像数据，执行分辨率转换处理、亮度、彩度的调整这样的各种色调修正处理、梯形修正处理等图像处理。

图像处理部160经由发送部51、52发送所生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、存储部120内的DRAM所储存的图像数据的每一个。此外，将经由发送部51发送的图像数据也称为“右眼用图像数据”，将经由发送部52发送的图像数据也称为“左眼用图像数据”。发送部51、52作为用于控制部10与图像显示部20之间的串行传送的收发器发挥作用。

声音处理部170获取内容所包含的声音信号，并对获取到的声音信号进行放大，对与连结部件46连接的右耳机32内的扬声器(未图示的)以及左耳机34内的扬声器(未图示的)供给声音信号。此外，例如，在采用了Dolby(注册商标：杜比)系统的情况下，进行针对声音信号的处理，分别从右耳机32以及左耳机34输出例如频率等改变的不同声音。

方向确定部166通过对由眼拍摄照相机37、38拍摄到的使用者的右眼RE的图像以及左眼LE的图像进行解析，来确定使用者的视线方向。作为基于拍摄到的使用者的右眼RE的图像以及左眼LE的图像的使用者的视线方向的确定方法，能够使用各种已知技术。例如，方向确定部166以存储部120中预先存储的与使用者的视线方向对应的图像的数据库为基准，对拍摄到的眼睛的图像使用模式匹配、统计的识别法，能够确定使用者的视线方向。

距离测定部168对第一照相机61的拍摄图像所包含的对象物、以及第二照相机62的拍摄图像所包含的对象物使用三角法，从而测定到照相机61、62的拍摄图像所包含的对象物的图像的距离。此外，在本实施方式中，通过配置的位置不同的作为立体照相机的第一照相机61和第二照相机62，测定出了到对象物的距离，但在其它实施方式中，也可以通过TOF(Time Of Flight：飞行时间)传感器等不同的测定单元，来测定到对象物的距离。

图像设定部165进行图像显示部20所显示的图像(显示图像)的各种设定。例如，图像设定部165设定显示图像的显示位置、显示图像的大小、显示图像的亮度等，或将显示图像作为三维图像，为了使使用者视觉确认立体(3D)以形成两眼视差(也仅称为“视差”)的方式设定右眼用图像数据和左眼用图像数据。另外，图像设定部165对拍摄图像使用模式匹配等，从而从拍摄图像中检测预先设定的检测对象的图像。

在本实施方式中，即使是基于相同的图像数据的图像，图像设定部165也根据确定出的使用者的视线方向、显示图像的图像区域的位置的关系，将不同的图像显示于图像显示部20。例如，图像设定部165基于具有RGB(Red Green Blue)的颜色信息的三维图像数据，在以使用者的注视点为中心的规定的视野的范围内将具有RGB的颜色信息，并作为使用了测定出的距离信息的三维图像显示于图像显示部20。另一方面，图像设定部165基于三维图像数据，在该规定的视野的范围外作为具有白色和黑色信息的二维图像显示于图像显示部20。图像设定部165经由ROM读取决定如何应对即使是关于视线方向与图像区域的位置的关系相同的图像数据也显示不同的图像的查找表，从而决定显示于图像显示部20的图像。

图3是注视点POR与使用者的视线方向ED关系的说明图。图3中示有使用者的右眼RE和左眼LE观看注视点POR的情况下的视线方向ED。在本实施方式中，将从右眼RE与左眼LE的中间点即左右眼球中心MP到注视点POR的方向定义为视线方向ED。此外，使用者的视线方向ED的定义能够进行各种变形，例如，也可以将从优势眼到注视点POR的方向定义为视线方向ED。

人能够视觉确认存在于以注视点POR为中心的一定的范围即视野的对象。一般地，越是存在于与到注视点POR的距离相同的距离，且存在于注视点POR的附近的位置的对象，人越能够更加明确地视觉确认。人根据是存在于视野的哪个范围的对象而人的可视性变化的视觉特性存在各种方式。例如，存在虽然直到某个视野的范围都能够明确地视觉确认对象的轮廓，但在其以外的视野的范围，虽然能够识别存在对象，但不能够把握对象的轮廓这样的视觉特性。此外，对于代替对象的显示图像也可以说同样如此。换言之，人越远离注视点POR，识别视野所包含的对象物的能力越降低。因此，在本实施方式中，图像设定部165对于显示在远离使用者的视线方向ED的位置的图像，即使是基于相同的图像数据的图像，例如也以通过降低图像的分辨率等方法，来减少用于将该图像显示于图像显示部20的处理的方式使图像显示部20显示该图像。此外，图像设定部165相当于技术方案中的图像变更部。

以注视点POR为中心的约5度以内的区域被称为视力等视功能优异的辨别视野。另外，以注视点POR为中心水平方向约30度以内，并且以视点为中心垂直方向约20度以内的区域被称为只有眼球运动能够瞬时识别对象的有效视野。另外，以注视点POR为中心水平方向约60～90度，并且以视点为中心垂直方向约45～70度以内的区域被称为使用者进行活动眼球的眼球运动、头部运动从而能够容易地识别对象的稳定注视视野。

图4是以注视点POR为中心的水平视野VRw以及铅垂视野VRh的示意图。图4中示有水平方向以及铅垂方向上的辨别视野、有效视野以及稳定注视视野的关系。图4中示有在使用者观看注视点POR的情况下，以注视点POR为中心能够视觉确认的视野VR、用于将视野VR分为水平方向成分来进行说明的水平视野VRw、以及用于将视野VR分为铅垂方向成分来进行说明的铅垂视野VRh。在图4中，辨别视野、有效视野以及稳定注视视野表示为下述的关系(1)。此外，关系(1)中的括号内写的角度是以注视点POR为中心的情况下的单侧的角度。

辨别视野：W0、H0(～约5度)

有效视野：W1(～约30度)、H1(～约20度)……(1)

稳定注视视野：W2(～约60(90)度)、H2(～约45(70)度)

如图4所示，在视野VR的铅垂方向上，与上侧相比下侧的稳定注视视野等是较宽的范围。这对人来说，表示沿着铅垂方向与上侧相比容易视觉确认下侧。

图5是表示水平视野VRw中的每个视野的范围的人的识别的程度的说明图。图5中示有以使用者US的视线方向ED为中心划分为6个的视野范围VR1至视野范围VR6，下述的关系(2)成立。此外，关系(2)的括号中写的角度是以注视点POR为中心的情况下的单侧的角度。

VR1：视为注视点POR的范围(～约1度)

VR2：能够识别文字的范围(～约10度)

VR3：能够容易地进行眼球运动的范围(～约15度)……(2)

VR4：能够识别形状的范围(～约30度)

VR5：能够识别颜色信息的范围(～约60度)

VR6：视野的极限(～约94度)

以上，如图5所示，根据视野使用者US能够识别的信息不同。

图6是表示铅垂视野VRh中的每个视野的范围的人的识别的程度的说明图。图6中示有有关作为图5的水平视野VRw的替代的铅垂视野VRh的被划分出的使用者US的视野。因此，省略划分出的视野范围是什么样的视野范围的说明。

图2所示的接口180是用于将成为内容的供给源的各种外部设备OA与控制部10连接的接口。作为外部设备OA，例如有个人计算机(PC)、移动电话终端、游戏终端等。作为接口180，例如能够使用USB接口、微型USB接口、存储卡用接口等。

图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、第一照相机61、以及第二照相机62。

右显示驱动部22包含接收部53(Rx53)、作为光源发挥作用的右背光灯控制部201(右BL控制部201)及右背光灯221(右BL221)、作为显示元件发挥作用的右LCD控制部211及右LCD241、以及右投影光学系统251。右背光灯控制部201和右背光灯221作为光源发挥作用。右LCD控制部211和右LCD241作为显示元件发挥作用。此外，对右背光灯控制部201、右LCD控制部211、右背光灯221以及右LCD241进行统称，称为“图像光生成部”。

接收部53作为用于控制部10与图像显示部20之间的串行传送的用于接收器发挥作用。右背光灯控制部201基于输入的控制信号，来驱动右背光灯221。右背光灯221例如是LED、电致发光(EL)等发光体。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及右眼用图像数据，来驱动右LCD241。右LCD241是将多个像素配置成矩阵状的透射式液晶面板。

右投影光学系统251由使从右LCD241射出的图像光成为并行状态的光束的准直透镜构成。作为右光学像显示部26的右导光板261使从右投影光学系统251输出的图像光沿着规定的光路反射并导入使用者的右眼RE。此外，对右投影光学系统251和右导光板261进行统称，称为“导光部”。

左显示驱动部24具有与右显示驱动部22相同的结构。左显示驱动部24包含接收部54(Rx54)、作为光源发挥作用的左背光灯控制部202(左BL控制部202)及左背光灯222(左BL222)、作为显示元件发挥作用的左LCD控制部212及左LCD242、以及左投影光学系统252。左背光灯控制部202和左背光灯222作为光源发挥作用。左LCD控制部212和左LCD242作为显示元件发挥作用。此外，对左背光灯控制部202、左LCD控制部212、左背光灯222以及左LCD242进行统称，称为“图像光生成部”。另外，左投影光学系统252由使从左LCD242射出的图像光成为并行状态的光束的准直透镜构成。作为左光学像显示部28的左导光板262使从左投影光学系统252输出的图像光沿着规定的光路反射并导入使用者的左眼LE。此外，对左投影光学系统252和左导光板262进行统称，称为“导光部”。

图7是表示通过图像光生成部射出图像光的情况的说明图。右LCD241通过驱动配置成矩阵状的各像素位置的液晶，使透过右LCD241的光的透过率变化，从而将从右背光灯221照射的照明光IL调制为表示图像的有效的图像光PL。对于左侧也同样。此外，如图2所示，在本实施方式中采用了背光灯方式，但也可以为使用前灯方式、反射方式来射出图像光的结构。

A-2.图像显示处理：

图8是表示图像显示处理的流程的流程图。在图像显示处理中，是CPU140在使与从照相机61、62的拍摄图像中检测出的检测对象建立有对应关系的对应图像显示于图像显示部20时，基于以使用者的视线方向ED为中心划分出的视野范围和图像的显示位置，来变更显示图像并显示于图像显示部20的处理。

在图像显示处理中，首先，图像设定部165使用照相机61、62拍摄外景(步骤S11)。图像设定部165从拍摄到的照相机61、62的拍摄图像中通过模式匹配等检测与图像显示部20所显示的对应图像建立有对应关系的检测对象(步骤S13)。图像设定部165在从拍摄图像中未检测出检测对象的情况下(步骤S13：否)，继续待机从拍摄图像中检测出检测对象(步骤S13)。

在步骤S13的处理中，图像设定部165在从拍摄图像中检测出检测对象的情况下(步骤S13：是)，决定使与检测对象预先建立有对应关系的对应图像显示于图像显示部20的图像显示位置(步骤S15)。有关对应图像的图像显示位置，能够进行各种决定，例如，有不管拍摄图像中的检测对象的位置如何都显示于图像显示部20能够显示图像的图像显示最大区域PN中的固定的位置、或显示于对检测对象设定的特征点的位置的附近的情况等。此外，图像显示最大区域PN相当于技术方案中的显示区域。

若决定对应图像的图像显示位置(步骤S15)，则CPU140使用眼拍摄照相机37、38的拍摄图像来确定将图像显示部20佩戴于头部的使用者的注视点POR以及视线方向ED(步骤S17)。CPU140确定到距离测定部168使用照相机61、62的拍摄图像测定出的检测对象的距离、以及方向确定部166使用眼拍摄照相机37、38的拍摄图像确定出的使用者的视线方向ED。

图像设定部165确定对应图像的图像显示最大区域PN中的图像显示位置是否属于基于确定出的视线方向ED设定的多个视野范围内的任意一个视野范围(步骤S19)。图像设定部165例如如图5所示，对以确定出的视线方向ED为中心的多个视野范围进行划分，并确定图像显示位置是否属于划分出的某个视野范围。

图9是表示对应图像IM1的图像显示位置与划分出的视野范围的关系的说明图。图9中示有使用者视觉确认的视野VR的一个例子。如图9所示，使用者能够视觉确认透过了光学像显示部26、28的外景SC。外景SC中包含有作为检测对象TW的地标之一的“天空树”。图9中示有由CPU140确定出的使用者的注视点POR、以及以注视点POR为中心在规定的范围内设定的视野范围VR2、VR3、VR4、VR5。此外，所谓的视野范围VR3是指包含于视野范围VR3，并且不包含于视野范围VR2的范围。同样地，所谓的视野范围VR4是指包含于视野范围VR4，并且不包含于视野范围VR2、VR3的范围，所谓的视野范围VR5是指包含于视野范围VR5，并且不包含于视野范围VR2、VR3、VR4的任意一个的范围。在图9中，为了说明简单地示有表示图像显示最大区域PN的虚线、表示注视点POR的星号以及表示各视野范围的单点划线，但这些并不能被使用者视觉确认。在本实施方式中，由于根据照相机61、62的拍摄图像，来创建与使用者视觉确认的视野相当的拍摄图像，所以创建的拍摄图像和使用者的视野VR一致。在其它实施方式中，拍摄图像和使用者的视野VR也可以不同。

图像设定部165若进行图8的步骤S19的处理，则基于与检测对象TW建立有对应关系的对应图像的图像数据来设定图像显示最大区域PN所显示的对应图像的显示方式(步骤S21)。在本实施方式中，图像设定部165与在图像显示最大区域PN中显示对应图像的位置对应地、即使是基于相同的图像数据的显示图像，也变更显示图像的实施方式的设定。图像设定部165若设定对应图像IM1的显示方式，则将设定了显示方式的对应图像IM1显示于图像显示最大区域PN(步骤S23)。

图10是表示显示有对应图像IM1的情况下的使用者的视野VR的一个例子的说明图。如图10所示，使用者的视野VR中包含有透过光学像显示部26、28使用者能够视觉确认的外景SC、以及在图像显示最大区域PN内显示的对应图像IM1。对应图像IM1是与从拍摄图像中检测出的检测对象TW建立对应关系地显示于图像显示最大区域PN的图像。对应图像IM1被预先设定为以在检测对象TW的附近不与检测对象TW重复的方式显示。特别是，在确定出的使用者的注视点POR与检测对象TW重复的情况下，对应图像IM1根据确定出的注视点POR的位置来显示。此外，检测对象TW相当于技术方案中的特定对象物。

图像设定部165确定显示与确定出的注视点POR的位置建立有对应关系的对应图像IM1的图像显示位置与各视野范围的位置关系。图像设定部165若确定对应图像IM1的至少一部分包含于最接近注视点POR的视野范围VR2，则作为基于对应图像IM1的图像数据显示的图像的显示方式，设定为将对应图像IM1的图像数据表示到最详细的显示方式。图像设定部165作为设定的显示方式的对应图像IM1，使俱备下述的内容(A)～(C)的全部的图像显示于图像显示最大区域PN。

文字图像

三维图像(包含距离信息)

包含RGB的颜色信息的图像

所设定的显示方式的对应图像IM1包含有文字图像，作为被视觉确认为与到检测对象TW的距离相同的距离的三维图像显示于图像显示最大区域PN。另外，为了表示通过使另外显示于图像显示最大区域PN的光标等移动到对应图像IM1所包含的文字图像内的画有下划线的“这里”，而能够选择“这里”，用与其它文字图像不同的颜色(例如，蓝(BLUE))来显示。若通过操作部135受理的规定的操作，选择对应图像IM1所包含的“这里”，则CPU140经由无线通信部132，连接到检测对象TW的主页(HP)。此外，在本实施方式中，在对应图像IM1的图像显示位置包含于多个视野范围的情况下，图像设定部165在显示为在最内侧的视野范围包含了对应图像IM1的整体的情况的方式下，使对应图像IM1显示于图像显示最大区域PN。此外，在其它实施方式中，关于对应图像IM1的显示位置包含于哪一个视野范围的确定能够进行各种变形，例如，也可以将图像内包含的显示区域最多的视野范围确定为用于设定显示方式的视野范围。视野范围VR2相当于技术方案中的第一视野范围，视野范围VR2以外的视野范围相当于技术方案中的第二视野范围。

在图8的步骤S23中，若将对应图像IM1显示于图像显示最大区域PN，则CPU140监视照相机61、62的拍摄范围的变化(步骤S25)。CPU140在检测出照相机61、62的拍摄范围的变化的情况下(步骤S25：是)，反复步骤S13以后的处理。此外，CPU140对于照相机61、62的拍摄范围的变化使用规定的阈值，若是规定的阈值以下的变化，则也可以作为拍摄范围没有变化来处理。

图11是表示在显示照相机61、62的拍摄范围发生了变化后的对应图像IM2的情况下使用者的视野VR的一个例子的说明图。图11中与图10相比较，示有使用者存在于远离检测对象TW的位置，使用者的注视点POR是外景SC所包含的月亮MN的情况下的视野VR。即、在图11中，与图10相比较，使用者的注视点POR也发生变化。在图11所示的例子中，从照相机61、62的拍摄图像中检测出的检测对象TW包含于比视野范围VR5进一步靠外侧的范围。在这种情况下，图像设定部165作为基于与对应图像IM1相同的对应图像IM2的图像数据显示于图像显示最大区域PN的图像的显示方式，设定不具有仅将检测对象TW的位置简化的距离信息的显示方式。如图11所示，图像设定部165作为基于对应图像IM2的图像数据的简化的对应图像IM2，将作为与检测对象TW的位置重复的圆形的图像的对应图像IM2显示于距离图像显示最大区域PN无限远的位置。在本实施方式中，图像设定部165作为视野范围VR5所包含的检测对象TW的对应图像，使仅表示检测对象TW的位置的图像显示于图像显示最大区域PN。此外，比视野范围VR5靠外侧的范围相当于技术方案中的第八视野范围，比包含视野范围VR5的视野范围VR5靠内侧的视野范围相当于技术方案中的第七视野范围。

在图8的步骤S23中，若显示对应图像IM2，则CPU140监视照相机61、62的拍摄范围的变化(步骤S25)。CPU140在判定为照相机61、62的拍摄范围没有变化的情况下(步骤S25：否)，监视使用者的视线方向ED的变化(步骤S27)。CPU140在判定为使用者的视线方向ED发生了变化的情况下(步骤S27：是)，反复步骤S17以后的处理。

图12是表示在显示使用者的视线方向ED发生了变化后的对应图像IM3的情况下使用者视觉确认的视野VR的一个例子的说明图。图12中与图11相比较，示有使用者的注视点POR发生了变化的情况下的视野VR。在图12所示的例子中，使用者的注视点POR是外景SC所包含的建筑物BD1，照相机61、62的拍摄图像中的检测对象TW的位置包含于视野范围VR4以及视野范围VR5。因此，图像设定部165判定为检测对象TW属于视野范围VR4，并设定基于同与检测对象TW建立有对应关系的对应图像IM1相同的图像数据的对应图像IM3的图像数据来显示于图像显示最大区域PN的图像的显示方式。图像设定部165基于所设定的显示方式，与主页(HP)链接，将作为能够选择的按钮的对应图像IM3，作为在与图10的对应图像IM1的“这里”相同的颜色的无限远视觉确认的图像，显示于图像显示最大区域PN。换言之，图像设定部165相对于图10所示的对应图像IM1，作为不包含(A)文字图像的内容、(B)包含距离信息的三维图像的内容，而包含(C)RGB的颜色信息的图像，在图像显示最大区域PN显示对应图像IM3。此外，视野范围VR4相当于技术方案中的第四视野范围，比视野范围VR4靠内侧的视野范围相当于技术方案中的第三视野范围。

若在图8的步骤S23的处理中，将对应图像IM3显示于图像显示最大区域PN，则CPU140监视照相机61、62的拍摄范围的变化(步骤S25)。CPU140在判定为照相机61、62的拍摄范围没有变化的情况下(步骤S25：否)，监视使用者的视线方向ED的变化(步骤S27)。CPU140在判定为使用者US的视线方向ED没有变化的情况下(步骤S27：否)，监视针对操作部135的结束图像显示处理的规定的操作的受理(步骤S29)。在未受理结束图像显示处理的规定的操作的情况下(步骤S29：否)，CPU140反复步骤S25以后的处理。在步骤S29的处理中，受理了结束图像显示处理的规定的操作的情况下(步骤S29：是)，CPU140结束图像显示处理。

另外，在本实施方式的HMD100中，图像设定部165基于确定出的使用者的视线方向ED与对应图像的显示位置的关系，即使是相同的对应图像的图像数据，也作为不同的图像显示于图像显示部20的图像显示最大区域PN。因此，在本实施方式的HMD100中，能够不降低视觉确认对应图像的使用者的识别的容易性地、提高显示对应图像的处理的速度。

另外，在本实施方式的HMD100中，图像设定部165与从照相机61、62的拍摄图像中检测出的检测对象TW的位置建立对应关系并设定对应图像的图像显示位置。因此，在本实施方式的HMD100中，能够更容易理解地使使用者视觉确认检测对象TW与对应图像的对应关系，提高使用者的使用的便利性。

另外，在本实施方式的HMD100中，由于根据眼拍摄照相机37、38的拍摄图像来确定使用者的视线方向ED，所以能够高精度地确定使用者的视线方向ED以及注视点POR。

另外，在本实施方式的HMD100中，图像设定部165基于对应图像IM1的图像数据，使在视野范围VR2中包含文字图像的对应图像IM1显示于图像显示部20的图像显示最大区域PN。另一方面，图像设定部165基于对应图像IM1的图像数据，使在比视野范围VR2靠外侧的视野范围中不包含文字图像的对应图像(例如，对应图像IM2)显示于图像显示部20的图像显示最大区域PN。因此，在本实施方式的HMD100中，由于将在使用者难以识别文字的视野范围不包含文字图像的对应图像显示于图像显示部20，所以能够不进一步降低视觉确认对应图像的使用者的识别的容易性地、提高显示对应图像的处理的速度。

另外，在本实施方式的HMD100中，图像设定部165基于对应图像IM1的图像数据，在视野范围VR5中，使简化的圆形的图像的对应图像IM2显示于图像显示部20的图像显示最大区域PN。因此，在本实施方式的HMD100中，由于在使用者不能够识别到显示图像的详细的内容的视野范围只将仅表示有图像的简化的图像显示于图像显示部20，所以能够不降低视觉确认对应图像的使用者的识别的容易性地、进一步提高显示对应图像的处理的速度。

另外，在本实施方式的HMD100中，图像设定部165基于对应图像IM1的图像数据，在视野范围VR4中，不管到使用者的注视点POR的距离如何，都将作为不包含距离信息的二维图像的对应图像IM3显示于图像显示部20的图像显示最大区域PN。因此，在本实施方式的HMD100中，由于在使用者难以识别到显示图像的距离的视野范围内使二维图像显示于图像显示部20，所以能够不降低视觉确认对应图像的使用者的识别的容易性地、进一步提高显示对应图像的处理的速度。

B.第二实施方式：

在第二实施方式的HMD100a中，与第一实施方式的HMD100相比较，为了图像设定部165a设定对应图像的显示方式所使用的视野范围VR2不同，其它结构与第一实施方式的HMD100相同。

在第二实施方式中，考虑人的眼球运动来决定视野范围VR2。已知作为人的眼球运动作分为非自愿眼球运动、追踪运动、以及扫视这3种。即使在人注视特定的对象物的情况下，实际的人的视线也移动，将这样的不自主运动称为非自愿眼球运动。所谓的追踪运动是在人观看移动的对象物的情况下，跟踪该对象物的移动的运动。追踪运动的速度最大是30degree/s(dps)左右。所谓的扫视是眼球小幅度地、高速地移动的运动。例如，在读书的情况下等，在读到横写的文字的右端后，使视线高速地移动到换行的文字的开头即左端的运动相当于扫视。扫视的眼球的速度是300～600dps左右，扫视的初始运动需要160～170毫秒(ms)左右。若用视角表示扫视的距离，虽然因人而异，但为2～6度(degree)左右。在第二实施方式中，图像设定部165a将在第一实施方式的视野范围VR2上还加上扫视的视角的视野范围VR2S设定为与第一实施方式的VR2的显示方式相同。

图13是用于对第一实施方式的视野范围VR2和第二实施方式的视野范围VR2S进行比较的说明图。此外，图13中未图示第一实施方式的图10所图示的视野范围VR3、VR4、VR5，而是新图示有视野范围VR2S。另外，在图13中，为了与第一实施方式进行比较，为了方便，用虚线示有第一实施方式的视野范围VR2。

第二实施方式的图像设定部165a即使是第一实施方式的视野范围VR2的外侧，只要是视野范围VR2S的内侧，就作为与检测对象TW建立有对应关系的图像，使对应图像IM1显示于图像显示最大区域PN。换言之，在第二实施方式中，在检测出检测对象TW的情况下，显示为对应图像IM1的视野区域从视野范围VR2扩大到视野范围VR2S。

如以上说明的那样，在第二实施方式的HMD100a中，图像设定部165a使用作为人的眼球运动即视觉特性的扫视，使对应图像的显示方式变化。因此，在第二实施方式的HMD100a中，以与第一实施方式相同的方式，减轻用于在比视野范围VR2S靠外侧的区域中，使与检测对象TW建立有对应关系的对应图像显示于图像显示最大区域PN所需要的处理。并且，由于在视野范围VR2S的区域中，使对应图像IM1显示于图像显示最大区域PN，所以即使注视点POR因扫视变化到第一实施方式的视野范围VR2的外侧，只要是视野范围VR2S的内侧，就不会在对应图像的显示上产生延迟地完成。由此，对于使用者而言提高HMD100a的使用的便利性。

C.第三实施方式：

在第三实施方式的HMD100b中，图像设定部165b在对显示于图像显示最大区域PN的对应图像进行设定的情况下，除了在上述实施方式中考虑的视线方向ED以及检测对象以外，也考虑使用者注视的视觉确认对象和视觉确认对象以外的范围的运动特性，来设定对应图像的显示方式。作为考虑的运动特性，例如举出在视觉确认对象静止，视觉确认对象的背景相对于视觉确认对象移动的情况下等，使用者感受到的感觉。具体而言，乘坐电车的使用者将贴于电车的车窗的广告视觉确认为视觉确认对象时，使用者感知好像行驶的电车外的景色移动的情况等。将像这样，人感知相对于自身移动称为受到运动刺激。另一方面，将人感知相对于自身静止称为受到静止刺激。一般而言，已知若人作为视觉确认对象受到静止刺激，作为视觉确认对象的周围的背景受到运动刺激，则感知为自身运动。另外，若人从视觉确认对象的附近(特别是在以进深为基准的前后)受到运动刺激，则感知为自身运动。另一方面，若作为视觉确认对象受到运动刺激，作为背景受到静止刺激，则感知为自身未运动。在第三实施方式的HMD100b中，产生或消除使用者感觉到运动的自己运动感觉，从而使使用者具有身临其境的感觉，或抑制使用者的身临其境的感觉。在本说明书中，HMD100b的使用者将相对于识别为停止的视觉确认对象识别为移动的背景等，称为移动背景。

图14是在第三实施方式中驾驶汽车的使用者视觉确认的视野VR的说明图。如图14所示，在第三实施方式中，使用者作为外景SC视觉确认森林中的道路、显示于图像显示最大区域PN的对应图像IM7以及对应图像IM8。使用者用右手RH和左手LH操作汽车的方向盘HD，并观看注视点POR。对应图像IM7是与搭载于作为检测对象TWa的汽车的汽车导航(以下，仅称为“导航”)建立有对应关系的图像。IM7是导航作为到目的地的路径提醒使用者前进的图像。对应图像IM7作为删除了文字等信息的只有箭头的图像(标记)显示于图像显示最大区域PN。对应图像IM8是与作为包含于外景SC的检测对象TWb的道路建立有对应关系的图像。对应图像IM8是提醒使用者注意有可能从道路的一侧跳出的野生的动物的“注意动物”的文字图像。

在第三实施方式中，方向确定部166使用右眼拍摄照相机37拍摄到的右眼RE的拍摄图像和左眼拍摄照相机38拍摄到的左眼LE的拍摄图像，从而除了使用者的视线方向ED以外，也能够确定到视觉确认对象OJ1的距离。在图14所示的例子中，到通过方向确定部166确定出的视觉确认对象OJ1的距离是10米(m)。即、使用者作为视觉确认对象OJ1注视汽车的外景SC所包含的道路。在该情况下，若汽车行驶，则使用者从识别为对于自身而言移动的道路收到运动刺激。另外，使用者通过感知为视觉确认对象OJ1的道路的附近的背景也移动，从视觉确认对象OJ1的附近的背景受到运动刺激。因此，使用者感知为自身运动。

第三实施方式的距离测定部168b使用通过照相机61、62在多个时刻(例如，视频)拍摄到的外景的拍摄图像，能够判定拍摄图像中的特定的对象是否相对于照相机61、62移动。图像设定部165b基于通过距离测定部168b判定出的对象在拍摄到各画面中有无移动，来设定对应图像IM7的显示方式以及对应图像IM8的显示方式。

由于使用者从视觉确认对象OJ1受到运动刺激，所以图像设定部165b以相同的方式使与给使用者带来运动刺激的检测对象TWb建立有对应关系的对应图像IM8作为也包含文字等信息的图像显示于图像显示最大区域PN。另一方面，图像设定部165b因配置于使用者乘坐的汽车的内部的检测对象TWa以与使用者相同的速度移动，所以给使用者带来静止刺激。图像设定部165b使与给使用者带来与视觉确认对象OJ1给使用者带来的运动刺激不同的静止刺激的检测对象TWa建立有对应关系的对应图像IM7，作为仅表示标记的图像显示于图像显示最大区域PN。若简单而言，在第三实施方式的HMD100b中，图像设定部165b基于到作为使用者的视线方向ED的视觉确认对象OJ1的距离与相对于视觉确认对象OJ1的速度的关系，来设定对应图像IM7、IM8的显示方式。

图15是在第三实施方式中驾驶汽车的使用者视觉确认的视野VR的说明图。如图15所示，使用者视觉确认外景SC、对应图像IM8以及对应图像IM9。在图15所示的例子中，使用者注视与图14所示的使用者的视线方向ED相同的方向。在该情况下，在图14所示的例子和图15所示的例子中，在能够显示图像的图像显示最大区域PN中，使用者视觉确认相同的区域。即、以使用者的视线方向为基准，图15中的检测对象TWa的位置以及检测对象TWb的位置与图14中的检测对象TWa的位置以及检测对象TWb的位置相同。

在图15中，使用者注视的视觉确认对象OJ2是距离使用者50厘米(cm)的汽车的挡风玻璃。换言之，使用者注视可视为与自身一同移动而静止的视觉确认对象OJ2。在图15所示的例子中，使用者从视觉确认对象OJ2受到静止刺激，从检测对象TWa受到静止刺激，从检测对象TWb受到运动刺激。因此，图像设定部165b作为与给使用者带来与视觉确认对象OJ2相同的静止刺激的检测对象TWa建立有对应关系的对应图像IM9的显示方式，设定也包含文字信息的图像。对应图像IM9是导航提醒用于将使用者引导到目的地的前进“保持原样前进”的文字图像。另一方面，图像设定部165b作为与给使用者带来与视觉确认对象OJ2的静止刺激不同的运动刺激的检测对象TWb建立有对应关系的对应图像IM10的显示方式，删除文字信息，仅设定提醒注意的感叹号即“！”。所谓的技术方案中的简便的显示方式，举出在对显示于图像显示最大区域PN的两个显示图像进行了比较时，显示图像所包含的形状并没有更为复杂(例如，是单纯的“○”、“×”的形状)、显示图像所使用的颜色更少、显示图像的区域更小(例如，通过更少的文字的显示)等。

如以上说明的那样，在第三实施方式的HMD100b中，方向确定部166b确定到视觉确认对象OJ1、OJ2的距离，图像设定部165b基于使用者从视觉确认对象OJ1、OJ2受到的静止刺激、运动刺激这样的运动特性，来设定与检测对象TWa、TWb建立有对应关系的对应图像IM7、IM8、IM9、IM10的显示方式。因此，在第三实施方式的HMD100b中，由于将也考虑了使用者的运动特性的对应图像显示于图像显示最大区域PN，所以能够使用对应图像，来调整使用者感受到的身临其境的感觉。另外，在将通过使用者容易视觉确认的图像和难以视觉确认的对应图像显示于图像显示最大区域PN的情况下，减少难以视觉确认的对应图像的信息，从而能够减轻HMD100b执行的处理的负担。

另外，在第三实施方式的HMD100b中，通过图14所示的例子和图15所示的例子比较可知，图像设定部165b即使是相对于视线方向ED，位于外景的相同的区域的检测对象TWa、TWb，也根据视觉确认对象的运动特性，来变更对应图像的显示方式。因此，在第三实施方式的HMD100b中，使用对应图像，能够进一步调整使用者感受到的身临其境的感觉。

D.第四实施方式：

在第四实施方式的HMD100c中，确定拍摄到的对象的移动速度，图像设定部165c基于相对于佩戴了图像显示部20c的使用者的确定出的对象的移动速度和使用者的视线方向ED，来设定对应图像的显示方式。另外，在HMD100c中，无线通信部132c进行无线通信，从而从其它服务器获取检测对象的数据、以及成为与该检测对象建立有对应关系的对应图像的基础的图像数据。由无线通信部132c获取的图像数据被分类为多个类别，无线通信部132c也与图像数据相关地获取上述类别。作为类别例如举出指示用者到目的地的道路等的“引导”、由于自然灾害等突发的现象提醒使用者注意的“警告”等。此外，无线通信部132c相当于技术方案中的图像数据获取部。

图16是在第四实施方式中作为行人的使用者视觉确认的视野VR的说明图。如图16所示，使用者视觉确认包含建筑物BD4等的外景SC、和显示于图像显示最大区域PN的对应图像IM11以及对应图像IM12。在图16所示的例子中，使用者作为注视点POR视觉确认建筑物BD4的入口EN。此外，图16以注视点POR为中心，示有在第一实施方式中说明的视野范围VR2。对应图像IM11是与作为检测对象的移动物体CA1建立对应关系地显示的图像。移动物体CA1是以相对于使用者横穿(左右)的方式在建筑物BD4的前方的道路上通行的环行公共汽车。对应图像IM11是表示移动物体CA1是在〇〇市内循环的公共汽车的文字图像“〇〇市内环行公共汽车”。

对应图像IM12是与作为检测对象的移动物体CA2建立对应关系地显示的图像。移动物体CA2是朝向使用者的方向行驶的汽车。图像设定部165c基于经由无线通信部132c获取的图像数据，来决定对应图像IM12的显示方式，并使对应图像IM12显示于图像显示最大区域PN。在第四实施方式中，方向确定部166c以图像显示部20c为基准，测定由照相机61、62拍摄到的拍摄图像所包含的对象的移动速度。对应图像IM12的与成为基础的图像数据建立有关联的类别是“警告”。在该情况下，图像设定部165c在判定为移动物体CA2以预先设定的速度以上接近使用者(图像显示部20c)的情况下，不管与注视点POR以及视野范围VR2的位置关系，使对应图像IM12比对应图像IM11等其它对应图像大地显示于图像显示最大区域PN。因此，如图16所示，将提示朝向使用者的移动物体CA2的接近的文字图像“接近中！”的对应图像IM12的字体比对应图像IM11的字体大地显示于图像显示最大区域PN。此外，方向确定部166c相当于技术方案中的移动物体确定部。

如以上说明的那样，在第四实施方式的HMD100c中，图像设定部165c除了视线方向ED以外，还基于作为检测对象的移动物体CA2接近佩戴了图像显示部20c的使用者的速度，来设定与移动物体CA2建立有对应关系的对应图像IM12的显示方式。因此，在第四实施方式的HMD100c中，在存在接近使用者的速度较快的移动物体的情况下，能够对使用者报告危险，提高使用者的便利性。

E.变形例：

此外，本发明并不限于上述实施方式，能够在不脱离其主旨的范围内在各种方式下实施，例如，也能够进行如下的变形。

E-1.变形例1：

图17是表示变形例中的使用者视觉确认的视野VR的一个例子的说明图。在图17中，与第一实施方式的图12相比较，示有使用者的注视点POR从建筑物BD1变化到建筑物BD2后的视野VR。在图17所示的例子中，由于使用者的注视点POR是建筑物BD2，所以图像设定部165判定为照相机61、62的拍摄图像中的检测对象TW的位置属于视野范围VR3，并使作为显示图像的对应图像IM4显示于图像显示最大区域PN。对应图像IM4相对于图12所示的对应图像IM3，还是显示为(B)包含距离信息的三维图像的图像。换言之，对应图像IM4是包含(B)包含距离信息的三维图像的内容、(C)RGB的色信息的图像。此外，视野范围VR4相当于技术方案中的第四视野范围，比视野范围VR4靠内侧的视野范围相当于技术方案中的第三视野范围。

像这样，在该变形例的HMD100中，图像设定部165基于对应图像IM1的图像数据，在视野范围VR3中，使作为包含距离信息的三维图像的对应图像IM4显示于图像显示部20的图像显示最大区域PN。因此，在该变形例的HMD100中，基于相同的图像数据，在使用者能够识别为三维图像的范围内显示三维图像，在使用者难以识别三维图像的范围内显示二维图像。由此，能够不降低视觉确认对应图像的使用者的识别的容易性地。进一步提高显示对应图像的处理的速度。

图18是表示变形例中的使用者视觉确认的视野VR的一个例子的说明图。在图18中，与第一实施方式的图12相比较，示有使用者的注视点POR从建筑物BD1变化到建筑物BD3后的视野VR。在图18所示的例子中，由于使用者US的注视点POR是建筑物BD3，所以图像设定部165判定为照相机61、62的拍摄图像中的检测对象TW的位置属于视野范围VR5，使作为显示图像的对应图像IM5显示于图像显示最大区域PN。对应图像IM5通过白色和黑色的色调来表示，是基于与对应图像IM1相同的图像数据创建的图像。对应图像IM5为了在不包含RGB的颜色信息的基础上提高使用者的可视性，是将色调较深的颜色的长方形的图像作为背景，表示了色调较淡的颜色的“HP”的文字的图像。换言之，对应图像IM5是相对于对应图像IM3，不包含(C)RGB的颜色信息的图像。此外，视野范围VR5相当于技术方案中的第六视野范围，比视野范围VR5靠内侧的视野范围相当于技术方案中的第五视野范围。

像这样，在该变形例的HMD100中，图像设定部165基于对应图像IM1的图像数据，在视野范围VR5中，使不包含RGB的颜色信息的对应图像IM5显示于图像显示部20的图像显示最大区域PN。因此，在该变形例的HMD100中，基于相同的图像数据，在使用者能够识别包含RGB的各种颜色信息的范围内显示使用了RGB的颜色信息的对应图像，在使用者难以识别颜色信息的范围内显示只有白色和黑色的颜色信息的对应图像。由此，能够不降低视觉确认对应图像的使用者的识别的容易性地、进一步提高显示对应图像的处理的速度。

E-2.变形例2：

图19是表示在对应图像IM5属于视野范围VR5的情况下使用者视觉确认的视野VR的一个例子的说明图。图19中示有在被拍摄到的人的被拍摄体OB的头部的位置，重叠地显示帽子的图像即对应图像IM6的情况下的视野VR。被拍摄体OB是上半身以及下半身穿有滑雪服的人，实际上头部未戴有帽子。如图19所示，HMD100的使用者的注视点POR是远离被拍摄体OB的位置，在这种情况下，将对应图像IM6显示在图像显示最大区域PN的区域属于视野范围VR5。成为对应图像IM6的基础的图像数据也包含有显示为对应图像IM6的帽子的花纹等颜色信息。但是，由于对应图像IM6的显示位置属于视野范围VR5，所以图像设定部165将对应图像IM6作为不包含花纹、RGB等颜色信息，而用黑色较深的色调仅显示帽子的外框的图像显示于图像显示最大区域PN。换言之，图像设定部165为了使使用者识别对应图像IM6的轮廓，仅将帽子的图像的外框的图像显示于图像显示最大区域PN。

像这样，在该变形例的HMD100中，图像设定部165基于图像数据，在视野范围VR5中，将只有显示图像的轮廓的对应图像IM6显示于图像显示部20的图像显示最大区域PN。因此，在该变形例的HMD100中，由于在使用者难以识别颜色信息的范围中只显示图像的外框，所以能够不降低视觉确认对应图像的使用者的识别的容易性地、进一步提高显示对应图像的处理的速度。

E-3.变形例3：

在上述实施方式中，将显示图像显示于图像显示最大区域PN的一部分，但显示图像也可以是显示于图像显示最大区域PN的整体的图像，也可以是同与从照相机61、62的拍摄图像中检测的检测对象建立有对应关系的对应图像不同的图像。例如，显示图像也可以是与检测对象没关系，根据内容等播放的电影等视频。另外，作为显示图像的视频也可以显示于图像显示最大区域PN的整体。在图像是显示于图像显示最大区域PN的整体的视频的情况下，图像设定部165在判定为使用者的视线方向ED不在图像显示最大区域PN上时，也可以将视频设为非显示。像这样，图像设定部165基于图像显示最大区域PN所显示的图像和确定出的使用者的视线方向ED，对显示图像的显示方式进行各种变形并设定。

在上述实施方式中，使用者的视线方向ED是基于眼拍摄照相机37、38的拍摄图像来确定的，但也可以通过其它的方法来确定。例如，也可以根据图像显示部20的方向来确定使用者的视线方向ED。具体而言，也可以确定将图像显示部20佩戴于头部的使用者的视线方向ED是图像显示部20的正面方向，且一直将图像显示最大区域PN的中心设定为使用者的注视点POR。根据该变形例的HMD100，能够不使用像眼拍摄照相机37、38那样的装置，而简便且廉价地确定使用者的视线方向ED。另外，也可以在图像显示部20搭载陀螺仪传感器，基于由陀螺仪传感器检测出的角速度，来确定图像显示部20的方向。另外，也可以根据配置于与使用者的太阳穴、鼻子接触的部分的电极所检测的肌电位来确定使用者的视线方向。

另外，在上述实施方式中，根据人的视野和与视野相关的人视觉确认的程度，对视野范围VR2等相对于使用者的注视点POR的范围进行了设定，但这些范围能够进行各种变形。也可以根据外景SC的亮度等光亮度、HMD100的使用者的视力、所显示的图像的分辨率等来设定视野范围VR2等。

在上述实施方式中，基于照相机61、62的拍摄图像，测定了到拍摄图像所包含的对象物的距离，但对于到对象物的距离的测定的方法、测定的有无能够进行各种变形。另外，没必要必须测定到对象物的距离。

在上述实施方式中，佩戴了图像显示部20的使用者能够视觉确认透过的外景SC，但也可以是使用者不能够视觉确认外景SC的所谓的封闭式的HMD。

另外，在上述实施方式中，作为拍摄外景SC的拍摄部，使用了由第一照相机61和第二照相机62构成的立体照相机，但也可以使用一个照相机，也可以使用3个以上的照相机。另外，配置照相机的位置没不要必须包含于图像显示部20，照相机也可以与图像显示部20独立地构成。

另外，由于在使用者的视觉特性上存在个人差异，所以操作部135也可以受理规定的操作，从而对视野范围和图像显示部20所显示的图像的对应关系进行变更。

在上述实施方式中，为了使使用者识别为三维图像，使用了形成两眼视差的方法，但对于使使用者识别为三维图像的方法能够进行各种变形。例如，作为使使用者识别为三维图像的方法，可以使进行辐合运动的图像显示于图像显示部20、或对图像标注阴影、或变更图像的大小从而表现出进深感。另外，对于二维图像，例如也可以是作为不包含距离信息的无限远显示于图像显示部20的图像，能够进行各种变形。

如图18所示，在视野范围VR5中，将不包含RGB的颜色信息的对应图像IM5显示于图像显示最大区域PN，但作为不包含颜色信息的例子并不局限于此，能够进行各种变形。例如，也可以将对红(RED)等单色赋予了色调的图像显示于图像显示最大区域PN。作为减少了颜色信息的图像，也可以只是通过特定的颜色的灰度等来显示的图像。

在上述实施方式中，如图11所示，作为简化的图像将作为圆形的图像的对应图像IM2显示于图像显示最大区域PN，但对于简化的图像能够进行各种变形。例如，也可以是圆形以外的三角形、四边形的图像，也可以是与图像数据建立有对应关系的容易联想到该图像数据的任意的象征性标记的形状。所谓的简化的图像是与基于图像数据所显示的图像(例如，对应图像IM1)进行比较不复杂，且使使用者识别在此处存在简化的图像的程度的图像即可。

在上述实施方式中，基于使用者的视线方向和使用者的视野范围的关系，图像显示最大区域PN所显示的图像的方式发生了变化，但也可以不是方式变化，而是显示图像的位置变化。例如，也可以在包含于视野范围VR2的情况下，在图像显示最大区域PN的整体显示图像，在是比视野范围VR5靠外侧的范围的情况下，在图像显示最大区域PN的一部分显示简化的图像。

E-4.变形例4：

在上述第四实施方式中，将移动物体CA2预先设定为检测对象，但也可以在判断为未被预先设定为检测对象的对象以上述的速度以上接近使用者的情况下，重新设定为检测对象。另外，在图16的对应图像IM12包含于注视点POR附近的视野范围VR2的情况下，也可以以与对应图像IM11相同的字体显示于图像显示最大区域PN。这是因为在图像显示最大区域PN中的注视点POR的附近，显示提醒使用者注意的对应图像IM12的情况下，判定为使用者注视对应图像IM12。另外，作为其它实施方式，无线通信部132c不从其它服务器获取成为对应图像的基础的图像数据，HMD100c也可以作为数据库具有存储上述图像数据的存储部。另外，HMD100c的图像设定部165c也可以从经由接口180连接的数据库获取图像数据等。

如以上说明的那样，在变形例的MD100c中，图像设定部165c在即使是未预先作为检测对象TW存储的对象以一定速度以上接近佩戴有图像显示部20c的使用者的情况下，将该对象判定为检测对象TW，使预先设定的警告等对应图像IM12显示于图像显示最大区域PN。因此，在第四实施方式的HMD100c中，能够更加适当地对使用者报告危险，提高使用者的便利性。

E-5.变形例5：

在该变形例中，与上述第四实施方式的HMD100c的图像设定部165c进行比较，在变形例的图像设定部165d根据与图像数据相关的类别来变更对应图像的显示位置这一点不同。图像设定部165d进行根据类别显示的优先度的加权，使基于与优先度较高的类别相关的图像数据的显示图像显示于注视点POR的附近。此外，与图像数据相关的类别相当于技术方案中的图像数据的种类。

图20是变形例中的使用者的视野VR中的对应图像IM13、IM14的显示位置的说明图。如图20所示，将图像显示部20d佩戴于头部的使用者视觉确认作为外景SC的商业街、对应图像IM14、以及对应图像IM15。使用者的注视点POR观看处于商业街的店“〇〇药房”的广告牌。在图20所示的例子中，照相机61、62拍摄作为检测对象TWd1的“〇〇药房”的广告牌、以及作为检测对象TWd2的汽车。对应图像IM13是与检测对象TWd1建立对应关系，显示于图像显示最大区域PN的图像。对应图像IM13显示在图像显示最大区域PN的中央上部。与对应图像IM13的图像数据相关的类别是“广告”。对应图像IM14是与检测对象TWd1建立对应关系，显示于图像显示最大区域PN的图像。对应图像IM14显示于图像显示最大区域PN的中央部。与对应图像IM14的图像数据相关的类别是“警告”。

变形例的图像设定部165d在使用者的视线方向ED上，在距离不同的位置重复多个检测对象的情况下，基于与对应图像的图像数据相关的类别，以多个对应图像的显示区域不重复的方式，设定包含对应图像的显示位置的显示方式。在图20中，检测对象TWd1的广告牌和检测对象TWd2的汽车在相同的注视点POR附近重复。在这样的情况下，图像设定部165d使类别是“警告”的对应图像IM14，以比类别是“广告”的对应图像IM13显眼的方式，显示于图像显示最大区域PN的中央部。另外，图像设定部165d以比对应图像IM13大的方式显示对应图像IM14。

如以上说明的那样，在变形例的HMD100d中，图像设定部165d根据与对应图像的图像数据相关的类别，来设定与检测对象建立有对应关系的对应图像的图像显示最大区域PN的显示方式。因此，在变形例的HMD100d中，使更想要使使用者视觉确认的图像优先地显示于图像显示最大区域PN，提高使用者的使用的便利性。

E-6.变形例6：

在上述实施方式中，在控制部10形成了操作部135，但对于操作部135的实施方式能够进行各种变形。例如，也可以是与控制部10独立地具有作为操作部135的用户接口的方式。在这种情况下，由于操作部135与形成有电源130等的控制部10独立，所以能够小型化，提高使用者的操作性。另外，将照相机61、62配置于图像显示部20，但照相机61也可以与图像显示部20独立地构成，而能够拍摄外景SC。另外，也可以是构成控制部10的CPU140、电源130全部搭载于图像显示部20的HMD100。在该HMD100中，由于没有与图像显示部20独立地构成的控制器，所以能够进一步小型化。另外，分别在控制部10和图像显示部20搭载CPU140，从而也可以将控制部10作为控制器单体来使用，将图像显示部20作为显示装置单体来使用。

例如，图像光生成部也可以为具备有机EL(有机电致发光，Organic Electro-Luminescence)的显示器、以及有机EL控制部的结构。另外，例如，图像光生成部也能够代替LCD，使用LCOS(Liquid crystal on silicon：硅基液晶，LCoS是注册商标)、数字微镜器件等。另外，例如，也能够对激光网膜投影型的HMD100应用本发明。另外，图像显示最大区域PN也可以由开关形成于各像素的MEMS快门的MEMS快门方式的显示器构成。

另外，也可以是作为图像光生成部，采用使用了MEMS反射镜的扫描光学系统，并利用了MEMS显示器技术的HMD100。作为具体的结构，HMD100也可以作为光射出部具备信号光形成部、具有对信号光形成部射出的光进行扫描的MEMS反射镜的扫描光学系统、以及通过被扫描光学系统扫描的光形成虚像的光学部件。若HMD100具备该结构，则由信号光形成部射出的光被MEMS反射镜反射，入射至光学部件，并在光学部件中传导，到达虚像形成面(例如，反射面)。通过MEMS反射镜扫描光，在虚像形成面形成虚像，使用者视觉确认所形成的虚像，从而使用者识别图像。

另外，例如，HMD100也可以为光学像显示部覆盖使用者的眼睛的一部分的方式，换言之，光学像显示部不完全覆盖使用者的眼睛的方式的头戴式显示器。另外，HMD100也可以为所谓的单眼类型的头戴式显示器。另外，也可以代替HMD100，不是佩戴于使用者的头部的装置，而是作为图像显示装置使用像双筒望远镜那样使用者用手固定位置的手持显示器。另外，HMD100为两眼类型的光学透射式，但本发明也同样能够应用于例如影像透射式的其它形式的头部佩戴型显示装置。

另外，HMD100也可以用作仅用于显示基于从其它装置接收到的图像信号的图像的显示装置。具体而言，也可以用作相当于台式的PC的监视器的显示装置，例如，从台式的PC接收图像信号，从而在图像显示部20的图像显示最大区域PN显示图像。

另外，HMD100也可以以作为系统的一部分发挥作用的方式使用。例如，作为用于执行包含飞机的系统的一部分的功能的装置也可以使用HMD100，作为使用HMD100的系统并不局限于包含飞机的系统，也可以是包含汽车、自行车等的系统。

另外，耳机也可以采用耳挂型、头戴型，也可以省略。另外，例如，也可以构成为搭载于汽车、飞行机等车辆的头部佩戴型显示装置。另外，例如，也可以构成为内置于头盔等身体防护具的头部佩戴型显示装置。

E-7.变形例7：

上述实施方式中的HMD100的结构只是一个例子，能够进行各种变形。例如，也可以省略设置于控制部10的方向键16、或除了方向键16、触控板14以外还设置操作用棒等其它操作用接口。另外，控制部10是能够连接键盘、鼠标等输入设备的结构，也可以为从键盘、鼠标受理输入的结构。

另外，作为图像显示部，代替像眼镜那样佩戴的图像显示部20，例如也可以采用像帽子那样佩戴的图像显示部的其它方式的图像显示部。另外，耳机32、34适当地能够省略。另外，在上述实施方式中，作为生成图像光的结构，利用LCD和光源，但代替这些，也可以采用有机EL显示器这样的其它显示元件。

图21是表示变形例的HMD的外观结构的说明图。在图21(A)的例子的情况下，与图1所示的HMD100的差异在于图像显示部20x代替右光学像显示部26具备右光学像显示部26x的点、以及代替左光学像显示部28具备左光学像显示部28x的点。右光学像显示部26x以比上述实施方式的光学部件小的方式形成，配置于佩戴HMD100x时的使用者的右眼的斜上方。同样地，左光学像显示部28x以比上述实施方式的光学部件小的方式形成，配置于佩戴HMD100x时的使用者的左眼的斜上方。在图21(B)的例子的情况下，与图1所示的HMD100的差异在于图像显示部20y代替右光学像显示部26具备右光学像显示部26y的点、以及代替左光学像显示部28具备左光学像显示部28y的点。右光学像显示部26y以比上述实施方式的光学部件小的方式形成，配置于佩戴头戴式显示器时的使用者的右眼的斜下方。左光学像显示部28y以比上述实施方式的光学部件小的方式形成，配置于佩戴头戴式显示器时的使用者的左眼的斜下方。像这样，只要将光学像显示部配置于使用者的眼睛的附近即可。另外，形成光学像显示部的光学部件的大小也是任意的，能够作为光学像显示部只覆盖使用者的眼睛的一部分的方式，换言之，光学像显示部不完全覆盖使用者的眼睛的方式的HMD100来实现。

另外，在上述实施方式中，HMD100可以对使用者的左右眼导入表示相同的图像的图像光来使使用者视觉确认二维图像，也可以对使用者的左右眼导入表示不同的图像的图像光来使使用者视觉确认三维图像。

另外，在上述实施方式中，也可以将通过硬件实现的结构的一部置换为软件，相反，也可以将通过软件实现的结构的一部分置换为硬件。例如，在上述实施方式中，图像处理部160、声音处理部170通过CPU140读出并执行计算机程序来实现，但上述功能部也可以通过硬件电路来实现。

另外，在本发明的功能的一部分或者全部通过软件来实现的情况下，能够以将该软件(计算机程序)储存于计算机可读取的记录介质的形式来提供。在本发明中，所谓的“计算机可读取的记录介质”并不局限于软盘、CD-ROM那样的便携式的记录介质，也包含各种RAM、ROM等计算机内的内部存储装置、硬盘等固定于计算机的外部存储装置。

另外，在上述实施方式中，如图1以及图2所示，控制部10和图像显示部20形成为分立的结构，但控制部10和图像显示部20的结构并不局限于此，能够进行各种变形。例如，也可以在图像显示部20的内部，形成形成于控制部10的结构的全部，也可以形成一部分。另外，上述实施方式的电源130也可以是单独形成，而能够更换的结构，形成于控制部10的结构也可以重复地形成于图像显示部20。例如，也可以为图2所示的CPU140也可以形成于控制部10和图像显示部20双方，形成于控制部10的CPU140和形成于图像显示部20的CPU所进行的功能被单独划分的结构。

本发明并不限于上述实施方式、变形例，能够在不脱离其宗旨的范围内以各种结构来实现。例如，与发明的概要一栏所记载的各方式中的技术特征对应的实施方式、变形例中的技术特征为了解决上述课题的一部分或者全部、或为了实现上述有效一部分或者全部，能够适当地进行替换、组合。另外，若该技术特征在本说明书中不是作为必需部件来说明的，则能够适当地删除。

符号说明

10…控制部；11…确定键；12…点亮部；13…显示切换键；14…触控板；15…亮度切换键；16…方向键；17…菜单键；18…电源开关；20…图像显示部(图像显示部)；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学像显示部；28…左光学像显示部；30…耳机插头；32…右耳机；34…左耳机；37…右眼拍摄照相机(眼睛拍摄部、视线方向确定部)；38…左眼拍摄照相机(眼睛拍摄部、视线方向确定部)；40…连接部；42…右软线；44…左软线；46…连结部件；48…主体软线；51、52…发送部；53、54…接收部；61…第一照相机(外景拍摄部)；62…第二照相机(外景拍摄部)；100…HMD(头部佩戴型显示装置)；120…存储部；130…电源；132…无线通信部；135…操作部；140…CPU；150…操作系统；160…图像处理部；165…图像设定部(图像变更部)；166…方向确定部(视线方向确定部)；168…距离测定部；170…声音处理部；180…接口；190…显示控制部；201…右BL控制部；202…左BL控制部；211…右LCD控制部；212…左LCD控制部；221…右背光灯；222…左背光灯；241…右LCD；242…左LCD；251…右投影光学系统；252…左投影光学系统；261…右导光板；262…左导光板；AP…前端部；BD1、BD2、BD3、BD4…建筑物；ED…使用者的视线方向；EL…左光学像显示部的端部；ER…右光学像显示的端部；HSync…水平同步信号；VSync…垂直同步信号；PCLK…时钟信号；IL…照明光；IM1、IM2、IM3、IM4、IM5、IM6、IM7、IM8、IM9、IM10、IM11、IM12、IM13、IM14…对应图像；LE…左眼；RE…右眼；MN…月亮；MP…左右眼球中心；OA…外部设备；OB…被拍摄体；PL…图像光；PN…图像显示最大区域(显示区域)；POR…注视点；SC…外景；TW、TWa、TWb、TWd1、TWd2…检测对象(特定对象物)；US…使用者；VR…视野；VR1、VR2、VR3、VR4、VR5、VR6、VR2S…视野范围；VRh…铅垂视野；VRw…水平视野；OJ1、OJ2…视觉确认对象；RH…右手；LH…左手；HD…方向盘；CA1、CA2…移动物体；EN…入口。

Claims (20)

1.一种头部佩戴型显示装置，其具备：

图像显示部，其能够将图像显示于显示区域；

视线方向确定部，其确定使用者的视线方向；以及

图像变更部，其根据所述视线方向来变更所述图像显示部所显示的显示图像，

在所述视线方向为第1方向时，所述图像变更部在以所述第1方向为中心的第1视野范围内使第1显示图像显示于所述图像显示部，

在所述视线方向为与所述第1方向不同的第2方向、且所述第1显示图像比以所述第2方向为中心的所述第1视野范围靠外侧时，所述图像变更部使所述图像显示部停止所述第1显示图像的显示，在第2视野范围内将与所述第1显示图像不同的第2显示图像显示于所述图像显示部，其中，该第2视野范围比所述第1视野范围大、且不包含所述第1视野范围，

在所述显示图像包含文字图像的情况下，所述图像变更部在所述第1视野范围内将所述文字图像作为所述显示图像显示于所述图像显示部，在所述第2视野范围内不将所述文字图像作为所述显示图像显示于所述图像显示部。

2.根据权利要求1所述的头部佩戴型显示装置，其中，

所述图像变更部与根据确定出的所述视线方向变化的使用者的视觉特性对应地变更所述显示图像。

3.根据权利要求2所述的头部佩戴型显示装置，其中，

所述视觉特性是与扫视相关的特性，

所述图像变更部将还添加了扫视的视角后的范围设定为使用者的视野范围。

4.根据权利要求1所述的头部佩戴型显示装置，其中，

所述视线方向确定部具有显示部方向检测部，该显示部方向检测部检测所述图像显示部的朝向，所述视线方向确定部基于检测出的所述图像显示部的朝向来确定所述视线方向。

5.根据权利要求1所述的头部佩戴型显示装置，其中，

所述视线方向确定部具有眼睛拍摄部，该眼睛拍摄部拍摄使用者的眼睛，所述视线方向确定部基于拍摄到的使用者的眼睛的图像来确定所述视线方向。

6.根据权利要求1所述的头部佩戴型显示装置，其中，

所述图像变更部在所述显示图像是被使用者视觉确认为三维图像的图像的情况下，在第3视野范围内将所述显示图像作为三维图像显示于所述图像显示部，在第4视野范围内显示时，将所述显示图像以被使用者视觉确认为二维图像的方式显示于所述图像显示部，其中，所述第4视野范围比所述第3视野范围大、且不包含所述第3视野范围。

7.根据权利要求6所述的头部佩戴型显示装置，其中，

所述图像变更部在所述显示图像是包含多个颜色的信息的图像的情况下，在第5视野范围内，将所述显示图像作为包含多个颜色的信息的图像显示于所述图像显示部，在第6视野范围内，使用单色的色调将所述显示图像显示于所述图像显示部，其中，所述第6视野范围比所述第5视野范围大、且不包含所述第5视野范围。

8.根据权利要求7所述的头部佩戴型显示装置，其中，

所述图像变更部在所述第6视野范围内，仅将所述显示图像的轮廓显示于所述图像显示部。

9.根据权利要求7所述的头部佩戴型显示装置，其中，

所述图像变更部在第8视野范围内，将所述显示图像作为比显示于第7视野范围的图像简化的简易图像显示于所述图像显示部，其中，所述第8视野范围比所述第7视野范围大、且不包含所述第7视野范围。

10.一种头部佩戴型显示装置，其具备：

图像显示部，其能够将图像显示于显示区域；

视线方向确定部，其确定使用者的视线方向；

外景拍摄部，其拍摄外景；以及

图像变更部，其根据所述外景的拍摄图像检测特定对象物，根据所述视线方向来变更所述图像显示部所显示的显示图像；

在所述特定对象物位于以所述视线方向为中心的第1视野范围时，所述图像变更部将与所述特定对象物对应的第1显示图像显示于所述图像显示部，

在所述特定对象物位于第2视野范围时，所述图像变更部使所述图像显示部停止所述第1显示图像的显示，将与所述第1显示图像不同且与所述特定对象物对应的第2显示图像显示于所述图像显示部，其中，该第2视野范围比所述第1视野范围大、且不包含所述第1视野范围，

在所述显示图像包含文字图像的情况下，所述图像变更部在所述第1视野范围内将所述文字图像作为所述显示图像显示于所述图像显示部，在所述第2视野范围内不将所述文字图像作为所述显示图像显示于所述图像显示部。

11.根据权利要求10所述的头部佩戴型显示装置，其中，

所述图像变更部与根据确定出的所述视线方向变化的使用者的视觉特性对应地变更所述显示图像。

12.根据权利要求11所述的头部佩戴型显示装置，其中，

所述视觉特性是与扫视相关的特性，

所述图像变更部将还添加了扫视的视角后的范围设定为使用者的视野范围。

13.根据权利要求10所述的头部佩戴型显示装置，其中，

所述视线方向确定部具有显示部方向检测部，该显示部方向检测部检测所述图像显示部的朝向，所述视线方向确定部基于检测出的所述图像显示部的朝向来确定所述视线方向。

14.根据权利要求10所述的头部佩戴型显示装置，其中，

所述视线方向确定部具有眼睛拍摄部，该眼睛拍摄部拍摄使用者的眼睛，所述视线方向确定部基于拍摄到的使用者的眼睛的图像来确定所述视线方向。

15.根据权利要求10所述的头部佩戴型显示装置，其中，

所述图像变更部在所述显示图像是被使用者视觉确认为三维图像的图像的情况下，在第3视野范围内将所述显示图像作为三维图像显示于所述图像显示部，在第4视野范围内显示时，将所述显示图像以被使用者视觉确认为二维图像的方式显示于所述图像显示部，其中，所述第4视野范围比所述第3视野范围大、且不包含所述第3视野范围。

16.根据权利要求15所述的头部佩戴型显示装置，其中，

所述图像变更部在所述显示图像是包含多个颜色的信息的图像的情况下，在第5视野范围内，将所述显示图像作为包含多个颜色的信息的图像显示于所述图像显示部，在第6视野范围内，使用单色的色调将所述显示图像显示于所述图像显示部，其中，所述第6视野范围比所述第5视野范围大、且不包含所述第5视野范围。

17.根据权利要求16所述的头部佩戴型显示装置，其中，

所述图像变更部在所述第6视野范围内，仅将所述显示图像的轮廓显示于所述图像显示部。

18.根据权利要求17所述的头部佩戴型显示装置，其中，

所述图像变更部在第8视野范围内，将所述显示图像作为比显示于第7视野范围的图像简化的简易图像显示于所述图像显示部，其中，所述第8视野范围比所述第7视野范围大、且不包含所述第7视野范围。

19.一种头部佩戴型显示装置的控制方法，该头部佩戴型显示装置具备图像显示部，该图像显示部能够将图像显示于显示区域，该控制方法包括以下工序：

确定使用者的视线方向；

在所述视线方向为第1方向时，在以所述第1方向为中心的第1视野范围内使第1显示图像显示于所述图像显示部；以及

在所述视线方向为与所述第1方向不同的第2方向、且所述第1显示图像比以所述第2方向为中心的所述第1视野范围靠外侧时，

使所述图像显示部停止所述第1显示图像的显示，

在比所述第1视野范围大、且不包含所述第1视野范围的第2视野范围内将与所述第1显示图像不同的第2显示图像显示于所述图像显示部，

在显示图像包含文字图像的情况下，在所述第1视野范围内将所述文字图像作为所述显示图像显示于所述图像显示部，在所述第2视野范围内不将所述文字图像作为所述显示图像显示于所述图像显示部。

20.一种头部佩戴型显示装置的控制方法，该头部佩戴型显示装置具备：图像显示部，其能够将图像显示于显示区域；以及外景拍摄部，其拍摄外景，该控制方法包括以下工序：

确定使用者的视线方向；

根据所述外景的拍摄图像检测特定对象物；

在所述特定对象物位于以所述视线方向为中心的第1视野范围时将与所述特定对象物对应的第1显示图像显示于所述图像显示部；以及

在显示所述第1显示图像后，在所述特定对象物位于比所述第1视野范围大、且不包含所述第1视野范围的第2视野范围时，

停止所述第1显示图像的显示，

将与所述第1显示图像不同且与所述特定对象物对应的第2显示图像显示于所述图像显示部，

在显示图像包含文字图像的情况下，在所述第1视野范围内将所述文字图像作为所述显示图像显示于所述图像显示部，在所述第2视野范围内不将所述文字图像作为所述显示图像显示于所述图像显示部。

Images