CN105319714A - 显示装置、显示装置的控制方法及程序 - Google Patents

Abstract

本发明提供能够有效地组合使用者能够看到的外界与显示内容的显示装置、显示装置的控制方法及程序。头部佩戴型显示装置(100)被佩戴于使用者的身体而使用，具备：透射外景并显示图像使得能够与外景一并观看该图像的图像显示部(20)和；对使用者的视线方向进行拍摄的相机(61)。头部佩戴型显示装置(100)的控制部(140)具备：根据相机(61)的拍摄图像生成显示用图像的图像生成部(177)；和使图像生成部(177)生成的显示用图像显示于图像显示部(20)的图像显示控制部(176)。

Description

显示装置、显示装置的控制方法及程序

技术领域

本发明涉及显示装置、显示装置的控制方法及程序。

背景技术

以往，在可佩戴式显示装置中，已知与外界视野相重叠而进行显示的显示装置(例如，参照专利文献1)。专利文献1记载的装置具有重叠显示外界视野与文字的结构，关于显示的一部分文字或单词，改变字体尺寸和/或文字的颜色等显示属性从而容易识别例如文章的一部分文字。

现有技术文献

专利文献

专利文献1：日本特开2014-56217号公报

发明内容

在专利文献1中，关于使用可佩戴式显示装置的使用者观看显示装置显示的文字或外界视野的任一的情况下的显示方法作了记载。相对于此，关于考虑到使用者一并观看外界的显示方法的提案一直就没有。

本发明是鉴于上述状况而作出的，目的在于提供能够有效地组合使用者可见的外界与显示内容的显示装置、显示装置的控制方法及程序。

为了达到上述目的，本发明的显示装置，被佩戴于使用者的身体而使用，其特征在于，具备：显示部，其透射外景，并显示图像使得能够一并观看所述外景和该图像；拍摄部，其对所述使用者的视线方向进行拍摄；图像生成部，其根据所述拍摄部的拍摄图像生成显示用图像；和图像显示控制部，其使所述图像生成部生成的显示用图像显示于所述显示部。

根据本发明，能够显示图像，使得基于对使用者的视线方向进行拍摄后的拍摄图像的显示用图像重叠于作为外景可见的对象物。因此，能够通过有效地组合显示装置外部的外景与显示内容以提供由显示装置进行的显示的新的有效活用方法，例如基于对该外景进行拍摄后的拍摄图像来补充使用者观看的外景的观看方法、并且/或者提出别的观看方法等。

并且，本发明的特征为：在上述显示装置中，具备检测所述显示装置的使用状态的检测部；所述图像显示控制部与所述检测部检测出的所述显示装置的使用状态相对应而调整所述显示用图像的所述显示部中的显示状态。

根据本发明，能够与显示装置的使用环境和/或使用者的使用方法相对应而调整显示于显示部的图像的显示尺寸和/或显示位置等状态。因此，能够配合使用者观看外景的观看方法而进行显示。

并且，本发明的特征为：在上述显示装置中，所述检测部进行与所述显示装置的位置相关的检测，所述图像显示控制部与所述检测部检测出的所述显示装置的位置相对应而调整所述显示用图像的显示状态。

根据本发明，能够基于显示装置的位置，配合使用者观看外景的观看方法而进行显示。

并且，本发明的特征为：在上述显示装置中，所述图像显示控制部与所述检测部检测出的所述显示装置的位置相对应而调整所述显示用图像的显示位置或显示尺寸的至少任一，使得所述显示用图像避开所述使用者的视线方向的中心。

根据本发明，能够显示用拍摄部拍摄到的图像使得其不会妨碍使用者观看外景。

并且，本发明的特征为：在上述显示装置中，具备动作检测部，所述动作检测部基于所述拍摄部的拍摄图像来检测所述使用者的动作；所述图像显示控制部与所述动作检测部检测出的所述使用者的动作相对应而调整所述显示用图像的显示状态。

根据本发明，使用者作出动作使得拍摄部能够进行拍摄作，从而能够调整显示用图像的显示状态。

并且，本发明的特征为：在上述显示装置中，具备检测声音的声音检测部；所述图像显示控制部与所述声音检测部的声音检测结果相对应而调整所述显示用图像的显示状态。

根据本发明，使用者发出的声音，从而能够调整显示用图像的显示状态。

并且，本发明的特征为：在上述显示装置中，所述图像生成部通过提取所述拍摄部的拍摄图像的一部分并予以处理，从而生成所述显示用图像。

根据本发明，因为利用对使用者的视线方向进行拍摄后的拍摄图像进行显示，所以能够让使用者一并观看外景和对外景的一部分进行处理后的图像。

并且，本发明的特征为：在上述显示装置中，具备动作检测部，所述动作检测部基于所述拍摄部的拍摄图像来检测所述使用者的动作；所述图像生成部从所述拍摄部的拍摄图像中提取基于所述动作检测部检测出的所述使用者的动作而确定的区域并予以处理，并生成所述显示用图像。

根据本发明，使用者作出动作使得拍摄部能够进行拍摄，从而能够确定要从拍摄图像中提取的范围。

并且，本发明的特征为：在上述显示装置中，所述图像生成部通过将所述拍摄部的拍摄图像的一部分取出并将其放大，从而生成所述显示用图像。

根据本发明，因为放大显示对使用者的视线方向进行拍摄后的拍摄图像的一部分，所以使用者能够一边观看外景一边放大地观看视线方向。

并且，本发明的特征为：在上述显示装置中，所述图像生成部通过从所述拍摄部的拍摄图像中取出符合预先设定的条件的区域，从而生成所述显示用图像。

根据本发明，能够显示符合预先设定的条件的拍摄图像。因此，在拍摄到了例如符合使用者的嗜好和/或兴趣的拍摄图像的情况下，能够由显示部显示该拍摄图像而让使用者观看到该拍摄图像。

并且，本发明的特征为：在上述显示装置中，具备对象检测部，所述对象检测部确定与所述使用者的视线方向相当的方向，并从所述拍摄部的拍摄图像中检测位于所述使用者的视线方向的对象物；所述图像生成部从所述拍摄部的拍摄图像中提取包括所述对象检测部检测出的所述对象物的图像的区域并予以处理，并生成所述显示用图像。

根据本发明，在对象物存在于使用者的视线方向的情况下，能够让使用者观看到该对象物的图像。

并且，本发明的特征为：在上述显示装置中，所述对象检测部检测所述使用者的视线方向，并检测位于检测出的所述使用者的视线方向的所述对象物。

根据本发明，能够将拍摄图像中与使用者的视线方向相对应的部分设为显示用图像。

并且，本发明的特征为：在上述显示装置中，所述对象检测部检测所述使用者的双眼之中的与惯用眼相当的眼睛的视线方向。

根据本发明，能够将拍摄图像中与使用者的惯用眼的视线方向相对应的部分设为显示用图象。

并且，本发明的特征为：在上述显示装置中，所述对象检测部，在由所述动作检测部检测出了所述使用者的预定动作的情况下，基于该预定动作来确定与所述使用者的视线方向相当的方向。

根据本发明，通过使用者的动作，能够指定从拍摄图像中作为显示用图像提取的部分。

并且，本发明的特征为：在上述显示装置中，所述对象检测部，在所述动作检测部检测出了由所述使用者的四肢的至少任一进行的动作的情况下，基于检测出的动作来确定与所述使用者的视线方向相当的方向。

根据本发明，使用者进行移动四肢的动作，从而能够指定从拍摄图象中作为显示用图象提取的部分。

并且，本发明的特征为：在上述显示装置中，具备存储所述对象物的图像的特征量的存储部；所述对象检测部通过从所述拍摄部的拍摄图像中检测适合所述存储部存储的特征量的图像，从而检测所述对象物。

根据本发明，能够基于拍摄图像容易地检测对象物。

并且，本发明的特征为：在上述显示装置中，所述存储部中存储的所述特征量包括特定的所述对象物的图像的特征量及与类似的多种类型的对象物相对应的通用的特征量的任一。

根据本发明，能够基于存储的特征量，来执行检测特定对象物的处理或者检测类似的多个对象物的任一的处理。

并且，本发明的特征为：在上述显示装置中，具备距离检测部，所述距离检测部检测由所述对象检测部检测出的所述对象物与所述使用者的距离；所述图像显示控制部按与所述距离检测部检测出的距离相应的放大率对所述拍摄部的拍摄图像的一部分进行放大，并生成所述显示用图像。

根据本发明，能够按与使用者与视线方向的对象物的距离相配合的放大率，让使用者观看对象物的图像。

并且，本发明的特征为：在上述显示装置中所述图像生成部获取有所述拍摄部在不同时刻拍摄到的多个拍摄图像，在这些多个拍摄图像中确定符合预先设定的条件的区域，由此生成所述显示用图像。

根据本发明，能够针对多个拍摄图像设定更加复杂的条件，以符合该条件的拍摄图像为基础让使用者观看图像。

并且，本发明的特征为：在上述显示装置中，所述图像生成部获取由所述拍摄部在不同时刻拍摄到的多个拍摄图像，在这些多个拍摄图像的图像之间的差别符合预先设定的条件的情况下，将获取到的拍摄图像取出而生成所述显示用图像。

根据本发明，因为能够以多个拍摄图像的差别为基础而生成显示用图像并予以显示，所以对于例如包括连续的多个图像的动态图像，能够基于图像的变化而生成显示用图像并予以显示。

并且，为了达到上述目的，本发明为一种显示装置的控制方法，是具备透射外景并显示图像使得能够一并观看所述外景和该图像的显示部且被佩戴于使用者的身体而使用的显示装置的控制方法，其特征在于：对所述使用者的视线方向进行拍摄；通过将拍摄图像的一部分取出并对其进行放大，由此生成显示用图像；使生成的显示用图像显示于所述显示部。

根据本发明，能够显示图像使得基于对使用者的视线方向进行拍摄后的拍摄图像的显示用图像重叠于作为外景可见的对象物。因此，能够通过有效地组合显示装置外部的外景与显示内容以提供由显示装置进行的显示的新的有效活用方法，例如基于对该外景进行拍摄后的拍摄图像来补充使用者观看的外景的观看方法、并且/或者提出别的观看方法等。

并且，为了达到上述目的，本发明为一种程序，是计算机可执行的对显示装置进行控制的程序，所述显示装置具备透射外景并显示图像使得能够一并观看所述外景和该图像的显示部，被佩戴安装于使用者的身体而使用，其特征在于，使所述计算机作为图像生成部和图像显示控制部发挥作用；所述图像生成部，通过将对所述使用者的视线方向进行了拍摄的拍摄图像的一部分取出并对其进行放大，由此生成显示用图像；和所述图像显示控制部，使所述图像生成部生成的显示用图像显示于所述显示部。

根据本发明，能够显示图像使得基于对使用者的视线方向进行拍摄后的拍摄图像的显示用图像重叠于作为外景可见的对象物。因此，能够通过有效地组合显示装置外部的外景与显示内容以提供由显示装置进行的显示的新的有效活用方法，例如基于对该外景进行拍摄后的拍摄图像来补充使用者观看的外景的观看方法、并且/或者提出别的观看方法等。

附图说明

图1是表示第1实施方式的头部佩戴型显示装置的外观结构的说明图。

图2是按功能表示头部佩戴型显示装置的结构的框图。

图3是表示存储于存储部的数据的例子的说明图。

图4是表示头部佩戴型显示装置的工作的流程图。

图5是表示头部佩戴型显示装置的典型的应用例的说明图，(A)表示使用者的视野的例子，(B)及(C)表示从拍摄图像分离出来的图像的例子，(D)表示显示了显示用图像的情况下使用者的视野的例子。

图6是表示头部佩戴型显示装置的工作的流程图。

图7是表示头部佩戴型显示装置的工作的例子的图，(A)表示头部佩戴型显示装置的使用环境的例子，(B)及(C)表示显示例。

图8是表示第2实施方式的头部佩戴型显示装置的功能性结构的框图。

图9是表示图像显示部的要部结构的图，(A)是从使用者的头部侧看图像显示部的要部立体图，(B)是视线方向的说明图。

图10是表示头部佩戴型显示装置的工作的流程图。

图11是表示头部佩戴型显示装置的显示例的图。

图12是表示头部佩戴型显示装置的显示例的图。

符号说明

10…控制装置，20、20B…图像显示部(显示部)，21…右保持部，22…右显示驱动部，23…左保持部，24…左显示驱动部，26…右光学像显示部，28…左光学像显示部，61…相机(拍摄部)，63…麦克风，64…距离传感器，68…视线传感器，100、100B…头部佩戴型显示装置(显示装置)，117…通信部，120…存储部，140…控制部，150…操作系统，160…图像处理部，170…声音处理部，171…对象检测部，173…距离检测部，176…图像显示控制部，177…图像生成部，180…接口，190…显示控制部，201…右背光源控制部，202…左背光源控制部，211…右LCD控制部，212…左LCD控制部，221…右背光源，222…左背光源，241…右LCD，242…左LCD，251…右投影光学系统，252…左投影光学系统，261…右导光板，262…左导光板，DA…数据获取部。

具体实施方式

(第1实施方式)

以下，关于应用了本发明的实施方式进行说明。

图1是表示第1实施方式涉及的头部佩戴型显示装置100的外观结构的说明图。头部佩戴型显示装置100为佩戴在头部的显示装置，也被称为头戴式显示器(HeadMountedDisplay，HMD)。本实施方式的头部佩戴型显示装置100为使用者在观看虚像的同时也能够直接观看外景的光学透射型的头部佩戴型显示装置。还有，在本说明书中，为了方便，也将使用者通过头部佩戴型显示器100所观看的的虚像称为“显示图像”。并且，将出射基于图像数据而生成的图像光的动作也称为“对图像进行显示”。

头部佩戴型显示器100具备：图像显示部20，其在被佩戴于使用者头部的状态下使使用者观看虚像；和对图像显示部20进行控制的控制装置10。控制装置10也作为使用者用于对头部佩戴型显示装置100进行操作的控制器发挥作用。图像显示部20也简单地称为“显示部”。

图像显示部20为佩戴在使用者头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20具备右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、相机61(拍摄部)和麦克风63。右光学像显示部26及左光学像显示部28分别配置为，在使用者佩戴了图像显示部20时位于使用者的右眼及左眼之前，右光学像显示部26的一端与左光学像显示部28的一端在与使用者佩戴了图像显示部20时的使用者的眉间相对应的位置相互连接。

右保持部21为从右光学像显示部26的另一端即端部ER延伸设置到与使用者佩戴了图像显示部20时的使用者的侧面头部相对应的位置的部件。同样地，左保持部23为从左光学像显示部28的另一端即端部EL延伸设置到与使用者佩戴了图像显示部20时的用者的侧面头部相对应的位置的部件。右保持部21及左保持部23如眼镜的镜腿(脚丝)那样将图像显示部20保持在使用者的头部。

右显示驱动部22与左显示驱动部24配置于在使用者佩戴图像显示部20时与使用者的头部相对的一侧。还有，下面，还将右保持部21及左保持部23总地简称为“保持部”，将右显示驱动部22及左显示驱动部24笼统简称为“显示驱动部”，将右光学像显示部26及左光学像显示部28笼统简称为“光学像显示部”。

显示驱动部22、24包括液晶显示器241、242(LiquidCrystalDisplay，以下也称为“LCD241、242”)和/或投影光学系统251、252等(参照图2)。后述显示驱动部22、24的详细结构。作为光学部件的光学像显示部26、28具备导光板261、262(参照图2)和调光板20A。导光板261、262由光透射性的树脂等形成，将从显示驱动部22、24输出的图像光导向使用者的眼睛。调光板20A为薄板状的光学元件，配置为覆盖与使用者的眼睛侧相反的一侧即图像显示部20的表侧。调光板20A可以采用光透射性基本为零、近乎透明、使光量衰减而使光透射、使特定波长的光衰减或对其进行反射等各种调光板。通过适宜地选择调光板20A的光学特性(光透射率等)，从而能够对从外部入射于右光学像显示部26及左光学像显示部28的外光量进行调整，对虚像的观看难易度进行调整。在本实施方式中，对采用具有佩戴了头部佩戴型显示装置100的使用者至少能够观看外部景色的程度的光透射性的调光板20A的情况进行说明。调光板20A对右导光板261、左导光板262进行保护，并对右导光板261、左导光板262的损伤和/或污渍的附着等进行抑制。

调光板20A既可以能够相对于右光学像显示部26及左光学像显示部28装卸，也可以互换安装多种类型的调光板20A，而且还可以省略。

相机61配置于右光学像显示部26的另一端即端部ER。相机61对与使用者的眼睛侧相反侧方向的外部景色即外景进行拍摄，而获取外景图像。图1所示的本实施方式的相机61虽然为单眼相机，但也可以为立体相机。

相机61的拍摄方向即视场角为头部佩戴型显示装置100的表侧方向，若换言之，则为对佩戴了头部佩戴型显示装置100的状态下的使用者的视场方向的至少一部分外景进行拍摄的方向。并且，相机61的视场角的广度虽然可以适宜地设定，但是优选：相机61的拍摄范围为包括使用者通过右光学像显示部26、左光学像显示部28所观看的外界(外景)的范围。而且，更加优选：设定相机61的拍摄范围，使得能够对经过调光板20A的使用者的整体视场进行拍摄。

图像显示部20进一步具有用于将图像显示部20连接于控制装置10的连接部40。控制部40具备连接于控制装置10的主体软线48、右软线42、左软线44和连结部件46。右软线42与左软线44为主体软线48分支而成的2条软线。右软线42从右保持部21的延伸方向的前端部AP插入于右保持部21的壳体内，并连接于右显示驱动部22。同样地，左软线44从左保持部23的延伸方向的前端部AP插入于左保持部23的壳体内，并连接于左显示驱动部24。

连结部件46设置于主体软线48和右软线42及左软线44的分支点，并具有用于连接耳机插塞30的塞孔。从耳机插塞30延伸出右耳机32及左耳机34。在耳机插塞30的附近设置有麦克风63。从耳机插塞30到麦克风63为止汇集为一条软线，软线从麦克风63起分支而与右耳机32与左耳机34分别相连。

麦克风63的具体规格为任意规格，既可以是具有指向性的麦克风，也可以是无指向性的麦克风。作为具有指向性的麦克风，例如可以举出单一指向性(Cardioid)、窄指向性(Supercardioid)、锐指向性(Hypercardioid)、超指向性(UltraCardioid)等。在麦克风63具有指向性的情况下，可以构成为：特别良好地收集来自佩戴了头部佩戴型显示装置100的使用者的视线方向的声音并进行检测。该情况下，为了确保麦克风63的指向性，也可以使麦克风63或收置麦克风63的部件具有结构性的特征。例如在图1的例中，也可以：设计麦克风63及连结部件46，使得在使用者佩戴了右耳机32及左耳机34的状态下，麦克风63的集音部朝向使用者的视线方向。或者，也可以将麦克风63埋入设置于右保持部21或左保持部23。该情况下，如果在右保持部21或左保持部23的前面侧即与右光学像显示部26、左光学像显示部28并排的面穿设集音用的孔，则能够使之具有对应于使用者的视线方向的指向性。所谓使用者的视线方向能够换言为例如右光学像显示部26及左光学像显示部28面向的方向、朝向使用者穿过光学像显示部26及左光学像显示部28看到的视野的中心的方向、相机61的拍摄方向等。还有，也可以使麦克风63的指向性的方向可变。该情况下，也可以构成为：检测使用者的视线方向，并调整麦克风63的指向性的方向使得其朝向该使用者的事先方向。

还有，也可以将右软线42与左软线44汇集为一条软线。具体而言，也可以将右软线42的内部导线经过图像显示部20的主体内部而引入左保持部23侧，并与左软线44内部的导线一起用树脂覆盖而汇集为一条软线。

图像显示部20与控制装置10经由连接部40进行各种信号的传输。在主体软线48中的与连结部件46相反侧的端部和控制装置10，分别设置有相互嵌合的连接器(省略图示)。通过主体软线48的连接器与控制装置10的连接器的嵌合/嵌合解除，控制装置10与图像显示部20或连接或分离。右软线42、左软线44和主体软线48能够采用例如金属电缆和/或光纤。

控制装置10为用于控制头部佩戴型显示器100的装置。控制装置10具备确定键11、点亮部12、显示切换键13、辉度切换键15、方向键16、菜单键17及包括电源开关18的开关类。并且，控制装置10具备使用者通过手指进行触摸操作的跟踪垫14。

确定键11检测按下操作而输出确定在控制装置10所操作的内容的信号。点亮部12通过其发光状态来通知头部佩戴型显示器100的工作状态。作为头部佩戴型显示装置100的工作状态，例如有电源的接通/关断等。作为点亮部12，能够使用例如LED(LightEmittingDiode，发光二极管)。显示切换键13对按下操作进行检测，而输出例如将内容动态图像的显示模式切换为3D与2D的信号。

跟踪垫14检测在跟踪垫14的操作面上的使用者的手指的操作，而输出与检测内容相应的信号。作为跟踪垫14，能够采用静电式和/或压力检测式、光学式之类的各种跟踪垫。辉度切换键15检测按下操作，而输出使图像显示部20的辉度增减的信号。方向键16检测对与上下左右方向相对应的键的按下操作而输出与检测内容相应的信号。电源开关18通过检测开关的滑动操作而切换头部佩戴型显示器100的电源接通状态。

图2是按功能表示实施方式涉及的显示系统1的各部分的功能框图。

如图2所示，显示系统1具备外部设备OA和头部佩戴型显示器100。作为外部设备OA，有例如个人计算机(PC)和/或便携电话终端、游戏终端等。外部设备OA可用作对头部佩戴型显示装置100供给图像的图像供给装置。

头部佩戴型显示装置100的控制装置10具有控制部140、操作部135、输入信息获取部110、存储部120、电源130、接口180、发送部(Tx)51及发送部(Tx)52。

操作部135检测由使用者所进行的操作。操作部135具备图1所示的确定键11、显示切换键13、跟踪垫14、辉度切换键15、方向键16、菜单键17、电源开关18的各部分。

输入信息获取部110获取与使用者所进行的操作输入相应的信号。作为与操作输入相应的信号，有例如针对跟踪垫14、方向键16、电源开关18的操作输入。

电源130对头部佩戴型显示装置100的各部分供给电力。作为电源130能够使用例如二次电池。

存储部120存储各种计算机程序。存储部120包括ROM和/或RAM等。存储部120也可以存储显示于头部佩戴型显示装置100的图像显示部20的图像数据。

存储部120存储后述的对象检测部171所参照的检测特征数据124及图像显示控制部176所处理的显示设定数据125。

接口180为用于针对控制装置10连接成为内容的供给源的各种外部设备OA的接口。作为接口180能够使用例如USB接口、微型USB接口、存储卡用接口等的与有线连接相应的接口。

控制部140通过读出存储部120中存储的计算机程序而执行，而实现各部分的功能。即，控制部140作为操作系统(OS)150、图像处理部160、声音处理部170、对象检测部171、位置检测部172、图像显示控制部176、图像生成部177及显示控制部190发挥作用。

在控制部140连接有3轴传感器113、GPS115及通信部117。3轴传感器113为3轴的加速度传感器，控制部140能够获取3轴传感器113的检测值。GPS115具备天线(省略图示)，并接收GPS(GlobalPositioningSystem，全球定位系统)信号而求得控制装置10的当前位置。GPS115将基于GPS信号求出的当前位置和/或当前时刻输出到控制部140。并且，GPS115也可以具备获取基于GPS信号所含的信息获取当前时刻并使控制装置10的控制部140所计时的时刻修正的功能。

通信部117执行依照无线LAN(WiFi(注册商标))、Miracast(注册商标)、Bluetooth(注册商标)等的标准的无线数据通信。

在外部设备OA无线连接于通信部117的情况下，控制部140进行用于通过通信部117获取内容数据而在图像显示部20显示图像的控制。另一方面，在外部设备OA有线连接于接口180的情况下，控制部140进行用于通过接口180获取内容数据而在图像显示部20显示图像的控制。因而，以下笼统地将通信部117及接口180称为数据获取部DA。

数据获取部DA从外部设备OA获取将由头部佩戴型显示装置100显示的内容数据。内容数据包括后述的图像数据。

图像处理部160获取内容所含的图像信号。图像处理部160从获取的图像信号中分离出垂直同步信号VSync和/或水平同步信号HSync等同步信号。并且，图像处理部160与分离出的垂直同步信号VSync和/或水平同步信号HSync的周期相应地，利用PLL(PhaseLockedLoop，锁相环)电路等(省略图示)而生成时钟信号PCLK。图像处理部160利用A/D转换电路等(省略图示)将分离出了同步信号后的模拟图像信号转换为数字图像信号。此后，图像处理部160将转换后的数字图像信号作为对象图像的图像数据(附图中，Data)按每一帧存储于存储部120内的DRAM。该图像数据为例如RGB数据。

还有，图像处理部160也可以根据需要，对图像数据Data执行分辨率转换处理、辉度、彩度的调整之类的各种色调校正处理、梯形失真校正处理等图像处理。

图像处理部160经由发送部51、52分别发送：生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和存储于存储部120内的DRAM的图像数据Data。还有，也将经由发送部51发送的图像数据Data称为“右眼用图像数据”，也将经由发送部52发送的图像数据Data称为“左眼用图像数据”。发送部51、52作为用于控制装置10与图像显示部20之间的串行传输的收发器发挥作用。

显示控制部190生成对右显示驱动部22及左显示驱动部24进行控制的控制信号。具体而言，显示控制部190通过控制信号独立地控制由右LCD控制部211实现的右LCD241的驱动ON/OFF、由右背光源控制部201实现的右背光源221的驱动ON/OFF、由左LCD控制部212实现的左LCD242的驱动ON/OFF、由左背光源控制部202实现的左背光源222的驱动ON/OFF等。由此，显示控制部90对由右显示驱动部22及左显示驱动部24分别进行的图像光的生成及出射进行控制。例如，显示控制部190使右显示驱动部22及左显示驱动部24这两方生成图像光或仅使一方生成图像光或使两方都不生成图像光。

显示控制部190经由发送部51及52分别发送针对右LCD控制部211和左LCD控制部212的控制信号。并且，显示控制部190分别发送针对右背光源控制部201和左背光源控制部202的控制信号。

图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、相机61、振动传感器65和9轴传感器66。

振动传感器65包括加速度传感器，如图1所示配置于图像显示部20的内部。在图1的例子中，在右保持部21中被内置于右光学像显示部26的端部ER附近。在使用者进行敲击端部ER的操作(敲击操作)的情况下，振动传感器65检测由该操作产生的振动而将检测结果输出到控制部140。根据该振动传感器65的检测结果，控制部140检测由使用者实现的敲击操作。

9轴传感器66为对加速度(3轴)、角速度(3轴)、地磁场(3轴)进行检测的移动传感器(motionsensor)。9轴传感器66设置于图像显示部20，所以在图像显示部20被佩戴于使用者20的头部时，检测使用者的头部的移动。根据检测到的使用者的头部的移动，可知图像显示部20的朝向，所以控制部140能够推定使用者的视线方向。

右显示驱动部22具备接收部(Rx)53、作为光源发挥作用的右背光源(BL)控制部201及右背光源(BL)221、作为显示元件发挥作用的右LCD控制部211及右LCD241、和右投影光学系统251。右背光源控制部201与右背光源221作为光源发挥作用。右LCD控制部211与右LCD241作为显示元件发挥作用。还有，也将右背光源控制部201、右LCD控制部211、右背光源221和右LCD241笼统地称为“图像光生成部”。

接收部53作为用于控制装置10与图像显示部20之间的串行传送的收发器发挥作用。右背光源控制部201基于所输入的控制信号来驱动右背光源221。右背光源221为例如LED和/或电致发光(EL)等的发光体。右LCD控制部211基于经由接收部53所输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和右眼用图像数据Data1，来驱动右LCD241。右LCD241为多个像素配置为矩阵状的透射型液晶面板。

右投影光学系统251包括使从右LCD241出射的图像光成为平行状态的光束的准直透镜而构成。作为右光学像显示部26的右导光板261一边使从右投影光学系统251输出的图像光沿预定光路反射一边将其导向使用者的右眼RE。还有，也将右投影光学系统251与右导光板261笼统地称为“导光部”。

左显示驱动部24具有与右显示驱动部22同样的结构。左显示驱动部24具备接收部(Rx)54、作为光源发挥作用的左背光源(BL)控制部202及左背光源(BL)222、作为显示元件发挥作用的左LCD控制部212及左LCD242、和左投影光学系统252。左背光源控制部202与左背光源222作为光源发挥作用。左LCD控制部212与左LCD242作为显示元件发挥作用。还有，也将左背光源控制部202、左LCD控制部212、左背光源222和左LCD242笼统地称为“图像光生成部”。并且，左投影光学系统252包括使从左LCD242出射的图像光成为平行状态的光束的准直透镜而构成。作为左光学像显示部28的左导光板262一边使从左投影光学系统252输出的图像光沿预定光路反射一边将其导向使用者的左眼LE。还有，也将左投影光学系统252与左导光板262笼统地称为“导光部”。

在使用者透过右光学像显示部26及左光学像显示部28观看外景的情况下，头部佩戴型显示器100以重叠于该外景的方式显示基于图像数据的图像。

对象检测部171进行使相机61执行拍摄的控制，并获取拍摄图像。虽然该拍摄图像作为彩色图像数据或黑白图像数据从相机61被输出，但是相机61也可以输出图像信号，对象检测部171根据图像信号而生成符合预定文件格式的图像数据。

对象检测部171对获取的拍摄图像数据进行解析，并检测拍摄图像数据所反映的对象物。所谓对象物为存在于相机61的拍摄方向即使用者的视线方向的物体或人。

对象检测部171在拍摄图像中检索符合检测特征数据124的图像，并将符合的图像检测为对象物的图像。

图3是表示存储部120中存储的检测特征数据124及显示设定数据125的构成例的图。

检测特征数据124是要从拍摄图像中检测的图像的特征量的数据。在本实施方式中，检测特征数据124包括单一图像用特征数据124a及动态图像用特征数据124b。单一图像用特征数据24a为适合于1个拍摄图像的特征量的数据。对象检测部171在使用单一图像用特征数据24a的情况下，关于1个拍摄图像进行检测适合单一图像用特征数据24a的部分的匹配处理。

动态图像用特征数据124b为适合于多个拍摄图像的特征量的数据。对象检测部171在使用动态图像用特征数据124b的情况下，多次得到相机61的拍摄图像并求出得到的多个拍摄图像的差别。相机61可以按预定的时间间隔进行拍摄，在每次拍摄时输出拍摄图像数据。即，相机61作为以与上述时间间隔相对应的帧速率进行拍摄的动态图像相机发挥作用。该情况下，对象检测部171通过求求出相机61以不同定时拍摄到的多个拍摄图像的差别，能够求出动态图像的变化。动态图像用特征数据124b能够称为适用于动态图像的变化的特征量的数据。对象检测部171进行在拍摄图像的差别中检测适合动态图像用特征数据124b的部分的匹配处理。

在本实施方式中，事先设定象检测部171所使用的检测特征数据124是单一图像用特征数据24a还是动态图像用特征数据124b。在设定为使用对象检测部171的情况下，单一图像用特征数据24a获取相机61的1个拍摄图像而进行匹配处理。相对于此，在设定为使用动态图像用特征数据124b的情况下，对象检测部171每次获取相机61的拍摄图像都将其暂时存储于存储部120。而且，对象检测部170获取存储部120中存储的多个拍摄图像以求出其差别，对于该差别进行基于动态图像用特征数据124b的匹配处理。

对象检测部171通过匹配处理，确定相机61拍摄到的拍摄图像所反映的对象物。即，对象检测部171在拍摄图像中检测到符合单一图像用特征数据24a的区域、或在拍摄图像的差别中检测到符合动态图像用特征数据124b的区域的情况下，以检测到的区域所反映的被照体为对象物。

距离检测部173求出直至对象检测部171检测到的对象物为止的距离。例如，距离检测部173基于对象检测部171在相机61的拍摄图像中检测到的对象物的图像的尺寸，求出直至对象物为止的距离。

并且，头部佩戴型显示装置100也可以具备利用激光或超声波来检测直至对象物为止的距离的测距仪。该测距仪具备例如激光光源和接受该光源所发出的激光的反射光的受光部，基于激光的受光状态来检测直至对象物为止的距离。并且，测距仪也可以为例如超声波式的测距仪。即，也可以采用具备发出超声波的声源和检测对象物反射了的超声波的检测部、并基于反射的超声波来检测直至对象物为止的距离的测距仪。而且，该测距仪也可以设为合并利用激光的测距仪与采用超声波的测距仪而成的结构。这样的测距仪，优选设置于图像显示部20的右保持部21或右显示驱动部22，例如，若在与调光板20A并排的面上朝向前方而设置即可。该测距仪测定距离的方向与相机61的拍摄方向同样地，优选为使用者的视线方向。

距离检测部173虽然检测从相机61或测距仪直至对象物为止的距离，但是该距离可以看做从头部佩戴型显示装置100的使用者直至对象物为止的距离。

并且，在对象检测部171所检测出的对象物并不是特定物体的情况下，距离检测部173以例如拍摄图像的中央为假想的对象物，检测直至该对象物为止的距离。

图像生成部177通过提取相机61的拍摄图像的一部分而对其进行处理，从而生成显示用图像。在本实施方式中，图像生成部177从拍摄图像中分出对象检测部177检测出的包括特征物的预定尺寸的区域而生成显示用图像。在对象检测部171使用动态图像用特征数据124b从多个拍摄图像中检测到了对象物的情况下，图像生成部177在最新的拍摄图像中分出对象检测部171检测出的包括对象物的区域。

图像生成部177所生成的显示用图像，通过图像显示控制部176的控制而显示于图像显示部20的能够显示区域。对显示用图像进行显示的尺寸预先设定，例如为不成为使用者观看外景时的障碍的程度。因此，图像生成部177以一致于显示用图像的显示尺寸的尺寸来分出拍摄图像。

图像生成部177生成显示用图像，使得对象检测部171检测出的包括特征物的拍摄图像的一部分更加容易观看地显示。从而，如上所述，图像生成部177所执行的处理，并不限定于扩大从拍摄图像提取的区域的处理。例如，也可以在从拍摄图像提取的区域之中以圆和/或矩形等的框包围对象物的周围，也可以作为显示用图像。并且，例如，也可以，对对象物付与字幕和/或箭头等装饰而生成容易识别对象物的显示用图像。该情况下的装饰为预先为点缀之用而存储的图像，可以称为辅助图像、强调用图像。并且，既可以使包括对象物的区域的辉度和/或色调变化，也可以例如将对象物及其周围设为高辉度的图像。

并且，在对要基于单一图像用特征数据124a和/或动态图像用特征数据124b进行检测的对象物付与装饰的情况下，也可以使于该装饰相关的数据包含于单一图像用特征数据124a、动态图像用特征数据124b。

并且，图像生成部177也可以在分出包括对象检测部171要检测的对象物的图像时，将对象物及其周围分出来。该情况下，因为明显地知道是对拍摄图像的一部分进行了放大的图像，所以使用者能够放大地看到例如远方的难以看清的部分。并且，图像生成部177也可以沿对象物的图像的缩略进行取出，该情况下，可以将要取出的图像与其他背景图像合成而进行显示和/或进行将取出的图像作为3D(立体图像)显示于图像显示部20的处理。

而且，图像生成部177基于距离检测部173检测到的距离来确定放大率。图像生成部177在通过图像显示控制部176的控制而显示从拍摄图像中取出的一部分图像时，将该图像放大对于使用者而言能够看到。因此，图像生成部177基于在图像显示部20的能够显示区域中对显示用图像进行显示的尺寸(分辨率或者图像点数)和放大率，来确定要从拍摄图像中取出的图像的尺寸。而且，图像生成部177执行对取出的图像的尺寸进行转换使之与要显示的尺寸一致的放大处理(或者分辨率转换处理)。由此，因为从拍摄图像取出的图像变为放大了的状态，所以使用者能够看见放大图像。

图像生成部177放大后的显示用图像由使用者观看的尺寸受图像显示部20的规格影响。为了恰当地管理、调整图像生成部177对从拍摄图像中取出的图像进行放大的放大率，例如，只要预先设定将从拍摄图像取出的图像设为与使用者的视野中的外景相同的尺寸的情况(即，放大率为1倍)下的图像的尺寸即可。也就是说，预先设定使用者以既不放大也不缩小的尺寸观看显示用图像的情况下的、图像生成部177要取出的图像的尺寸。以该尺寸为基准，图像生成部177配合目标放大率取出图像并将其放大。

图像生成部177对图像进行放大的处理中的放大率，例如只要与距离检测部173检测出的距离相应而确定即可。

在图3中示出存储部120中存储的显示设定数据126包含放大率设定数据126a的例子，该放大率设定数据126a使距离检测部173检测出的直至对象物为止的距离与放大率相对应。放大率设定数据126a为确定距离检测部173检测出的距离与放大率的数据，包括例如阶梯性地求放大率的表、或者根据距离计算放大率的运算公式和/或参数。图像生成部177能够利用该放大率设定数据126a并根据距离检测部177检测出的距离来求出放大率。并且，在放大率设定数据126a，既可以对图像生成部177不进行放大的情形进行设定，也可以对图像生成部177不生成显示用图像的情形进行设定。例如，能够进行设定，使得在距离检测部173检测出的直至对象物为止的距离比设定的距离近的情况下，不进行显示用图像的生成及显示。在图像生成部不生成及输出显示用图像数据的情况下，图像显示控制部176不进行显示用图像的显示。

除放大率设定数据126a之外，显示设定数据126也可以包括与图像显示部20中的缺省的显示尺寸相关的设定值的数据、与显示色的调整相关的设定值的数据等与图像的显示相关而预先设定的数据。

图像显示控制部176控制显示控制部190，基于图像生成部177生成的显示用图像的数据通过图像显示部20来显示图像。

声音处理部170获取内容所含的声音信号，并对获取的声音信号进行放大而将其供给到连接于连接部件46的右耳机32内的扬声器(省略图示)及左耳机34内的扬声器(省略图示)。还有，在采用例如Dolby(注册商标)系统的情况下，进行针对声音信号的处理，并从右耳机32及左耳机34分别输出例如频率等改变了的不同的声音。

并且，声音处理部170获取通过麦克风63所收集的声音而将其转换为数字声音数据，并进行涉及声音的处理。例如，声音处理部170也可以通过从获取的声音中提取特征而使其模型化，从而分别识别多个人的声音而进行按每种声音来确定说话人的说话人识别。

在控制部140连接有3轴传感器113、GPS115及通信部117。3轴传感器113为3轴的加速度传感器，控制部140能够获取3轴传感器113的检测值以检测控制装置10是否运动以及运动的方向。

GPS115具备天线(省略图示)，接收GPS(GlobalPositioningSystem，全球定位系统)信号，并求出控制装置10的当前位置。GPS115将基于GPS信号求出的当前位置和/或当前时刻输出到控制部140。并且，GPS115也可以具备基于GPS信号所含的信息获取当前时刻并使控制装置10的控制部140所计时的时刻修正的功能。

通信部117执行依照无线LAN(WiFi(注册商标))和/或Bluetooth(注册商标)标准的无线数据通信。

接口180为用于对控制装置10连接成为内容的供给源的各种图像供给装置OA的接口。图像供给装置OA所供给的内容包括静止图像或动态图像，也可以包括声音。作为图像供给装置OA，有例如个人计算机(PC)和/或便携电话终端、游戏终端等。作为接口180能够使用例如USB接口、微USB接口、存储器卡用接口等。

在此，也可以通过无线通信线路将图像供给装置OA连接于控制装置10。该情况下，图像供给装置OA与通信部117执行无线通信，通过Miracast(注册商标)等无线通信技术发送内容的数据。

图4是表示头部佩戴型显示装置100的工作的流程图。在该工作中，在使用者透过右光学像显示部26及左光学像显示部28观看外景时，通过图像显示部20显示对该外景进行拍摄所得的拍摄图像的一部分。

并且，图5是表示头部佩戴型显示装置100通过于图4所示的工作对图像进行显示的状况的说明图。图5(A)表示使用者的视野VR的例子，图5(B)及(C)表示要从拍摄图像取出的图像的例子，图5(D)表示对显示用图像进行显示的情况下的使用者的视野VR的例子。

在头部佩戴型显示装置100的控制部140中，对象检测部171使相机61执行拍摄(步骤S11)，获取拍摄图像(步骤S12)。对象检测部171从存储部120中获取单一图像用特征数据124a或动态图像用特征数据124b(步骤S13)，判定获取的检测特征数据的对象是单一的拍摄图像还是多个拍摄图像(步骤S14)。该判定能够基于作为要使用的检测特征数据是指定了单一图像用特征数据124a还是指定了动态图像用特征数据124b来进行。

在对单一的拍摄图像进行处理的情况下(步骤S14；是)，对象检测部171使用单一图像用特征数据124a对在步骤S12中获取的拍摄图像进行匹配(步骤S15)，转移到步骤S18。

并且，在对多个拍摄图像进行处理的情况下(步骤S14；否)，对象检测部171求出在步骤S12中获取的拍摄图像与过去获取而暂时存储于存储部120的拍摄图像的差别(步骤S16)。对象检测部171对求出的差别执行基于动态图像用特征数据124b的匹配处理(步骤S17)，并转移到步骤S18。

在步骤S18中，对象检测部171确定从拍摄图像中进行取出的区域。虽然在此确定的区域是包括对象检测部171检测出的对象物的区域，但是图像生成部177在后述的步骤S21中确定详细的取出范围。因此，在步骤S18中确定的区域为临时的区域，只要设为例如要切出的区域的中心的位置或者对象物的缩略等即可。

图5(A)所示的例表示使用者从观众席观看足球比赛的例子。在该例子中，能够看到足球的赛场F及在赛场F上踢球的多个运动员FP。能够看到一位运动员FP带球B的状况。因为在该例中使用者处于远离赛场F的位置，所以视野VR中的运动员FP及球B看起来很小。

相机61的拍摄范围(视场角)为例如与视野VR相同的范围，在拍摄图像中拍照到赛场F、运动员FP及球B。

对象检测部171基于单一图像用特征数据124a对拍摄图像进行匹配处理，作为对象物对球B的图像进行检测。该情况下，对象检测部171在步骤S15中对球B进行检测，并在步骤S18中将包括球B的区域确定为取出区域。

接下来，距离检测部173检测直至包括于在步骤S18中对象检测部171所确定的区域的对象物为止的距离(步骤S19)。

而且，图像生成部177基于由距离检测部173检测出的距离和存储部120中存储的放大率设定数据126a来确定放大率(步骤S20)。图像生成部177基于确定的放大率，确定要从拍摄图像中取出图像的尺寸及位置而执行图像的取出，并将取出的图像作为显示用图像输出(步骤S21)。在步骤S21中，图像生成部177也可以执行上述尺寸变化或者分辨率转换处理等。并且，在与距离检测部173检测出的距离相对应的放大率设定数据126a的设定为不进行显示的设定的情况下，图像生成部177不输出显示用图像。

在图5(B)及(C)表示图像生成部177要输出的显示用图像的例子。图像生成部177按照与图像的取出相关而预先设定的内容，从拍摄图像中取出包括球B的图像的区域。所谓与图像的取出相关而预先设定的内容，是指要取出的图像的纵横比和/或放大率为1倍的情况下的尺寸。在图5(B)的例子中，取出拍照有球B及持球B的运动员FP的全身的区域，并将其作为显示用图像输出。并且，在图5(C)的例子中，取出球B及包括球B的预定尺寸的区域，并将其作为显示用图像而输出。在图5(C)的例子中，仅包括带球B的运动员FP的身体一部分。在单一图像用特征数据124a为用于检测球B的特征量的数据的情况下，图像生成部177要取出的图像是包括运动员FP的全身还是包括其身体的一部分，根据放大率等的设定来确定。

图像显示控制部176将图像生成部177输出的显示用图像存储于存储部120(步骤S22)。在存储部120按照时间序列存储显示用图像。从而，若反复执行图4的步骤S11～S24所示的处理，则在存储部120按时间序列依次存储多个显示用图像。该多个显示用图像通过连续地显示从而能够再现为动态图像。例如，按照对于操作部135的指示操作，控制部140能够对存储部120中存储的显示用图像进行再现显示。

图像显示控制部176将图像生成部177在步骤S21中输出的显示用图像输出到显示控制部190，并由图像显示部20进行显示(步骤S23)。

此后，控制部140对显示是否结束进行判定(步骤S24)。在持续进行显示的情况下(步骤S24；否)，控制部140返回到步骤S11。并且，在按照操作部135检测出的操作等而结束了显示的情况下(步骤S24；是)，控制部140使由显示控制部190实现的显示停止而结束本处理。

在图5(D)表示显示用图像由图像显示部20显示的状态。在视野VR中，虽然与图5(A)同样地作为外景能够看到场地F，但是以重叠于视野VR的一部分的方式显示图像IV。该图像IV为图像显示部20显示的显示用图像。因为图像IV成为对外景的一部分进行了放大的图像，所以使用者能够同时观看透过图像显示部20所间的外景和该外景的一部分。

还有，对象检测部171也可以在反复执行图4的步骤S11～S17的处理的情况下，进行追踪一旦检测出的对象物的处理。即，对象检测部171在基于单一图像用特征数据124a或动态图像用特征数据124b检测出对象物之后，监视相机61的拍摄图像的变化，并追踪已检测出的对象物的移动。由此，对象检测部171即使不进行步骤S15、S17的匹配处理，也能够从检测对象的拍摄图像中检测到对象物。这样的方法，例如在由相机61按预定帧速率(例如，30帧/秒)对动态图像进行拍摄、对象检测部171针对各帧检测对象物的情况下，能够减轻负荷，很是有效。

并且，单一图像用特征数据124a及动态图像用特征数据124b不限定于用于检测特定的对象物的特征量。例如，单一图像用特征数据124a能够设为检测包括特定的特征的拍摄图像的特征量；动态图像用特征数据124b能够设为检测进行特定变化的动态图像的特征量。该情况下，对象检测部171在拍摄图像中检测出了符合单一图像用特征数据124a或动态图像用特征数据124b的特征的情况下，将具有该特征的部分设为对象物。该情况下，对象物不是特定的物体而是拍摄图像的一部分。图像生成部177只要取出对象检测部171作为对象物所检测出的拍摄图像的一部分而将其作为显示用图像即可。

并且，单一图像用特征数据124a及动态图像用特征数据124b，既可以包括检测特定的1个或少量对象物的特定对象物用的特征量的数据，也可以包括能够检测类似的多种类型对象物的通用的特征量的数据。

例如，在图5(B)、(C)的例子中，对象检测部171基于单一图像用特征数据124a来检测球。该单一图像用特征数据124a，既可以是检测特定图案(包括颜色及花纹的形状)的球的特定对象物用的特征量的数据，也可以是检测球体的通用的特征量的数据。在为通用的特征量的数据的情况下，既可以设为例如仅对形状进行特定的特征量、对形状和颜色进行特定的特征量，也可以是特定其为多种颜色中哪一种的特征量。并且，单一图像用特征数据124a也可以一并包括特征量的数据和确定与所容许的特征量的差异的范围的数据。对于动态图像用特征数据124b也是同样的。

具体而言，如果设为容许特定人的容貌、发型、衣服(制服、鞋、帽、号码布(bibs)等)的差异的通用的特征量的数据，则不仅能够检测多个对象物，而且还能够与日照和/或照明的状态、环境的明亮度、由日光引起的拍摄图像中的颜色变化相对应。并且，对象检测部171也可以在检测到对象物之后，在后续拍摄的拍摄图像数据中追踪对象物。该情况下，在追踪对象物期间拍摄图像数据中的对象物的图像变得不适合特征量时，也可以对特征量进行校准。由此，在利用特定对象用的特征量的数据的情况下以及使用通用的特征量的数据的情况下，即使由于日照等原因导致拍摄图像中的对象物的颜色和/或形状不适合特征量，也能够检测对象物并持续检测对象物。

图6是表示头部佩戴型显示装置100的工作的流程图，表示与佩戴了头部佩戴型显示装置100的使用者的位置相对应而对显示进行调整的工作。并且，图7是与图6相同的工作的说明图，图7(A)表示头部佩戴型显示装置的使用环境的例子，图7(B)及图7(C)表示显示例。

图6的工作为与使用者的位置相对应而调整图像显示部20显示图像IV的位置和/或尺寸的处理。如上所述，头部佩戴型显示装置100为使用者能够一边观看外景一边通过图像显示部20观看相机61的拍摄图像的装置。使用者隔着图像显示部20观看的外景的方向严重地受使用者与使用者观看的对象物的相对位置影响。

例如，如图7(A)所示，考虑使用者在具有多层(在图7(A)中4层)观众席S的运动场ST中佩戴使用头部佩戴型显示装置100的情况。在使用者位于4层或3层等的上层的情况下，为了观看场地F而往下看。因此，使用者想看的方向位于右导光板261、左导光板262的显示区域的下方。该情况下，如果图像显示控制部176将对显示用图像进行显示的位置避开使用者欲要观看的方向、例如调整到显示区域的上部，则不会妨碍使用者。图7(B)所示的例子为使用者从上层观看场地F上的运动员FP的例子，图像显示控制部176将图像IV显示于显示区域的上部。该情况下，在使用者的视野VR中，能够不受图像IV干扰地观看运动员FP。并且，图7(C)的例子为使用者从低层观看场地F上的运动员FP的例子，图像显示控制部176将图像IV显示于显示区域的下部。该情况下，因为使用者的视线接近正面，所以图像显示控制部176在避开正面的位置较小地显示图像IV。因此，在使用者的视野VR中，能够不受图像IV干扰地观看运动员FP。

图6的工作，能够在图4的步骤S23中开始显示处理之后、预先设定的条件成立的情况下、和/或通过使用者对于控制装置10的操作，在任意定时执行。

图像显示控制部176对使用者观看的外景所含的对象物与头部佩戴型装置100的相对位置进行判定(步骤S31)。头部佩戴型显示装置100的位置也可以根据例如GPS115检测的位置来进行判定。并且，也可以基于距离检测部173从相机61的拍摄图像数据中检测出的与对象物的距离来进行判定。而且，在头部佩戴型显示装置100的使用环境中利用WiFi(注册商标)的位置特定系统开启的状态下，也可以通过通信部117进行WiFi通信来确定位置。或者，在通过对于操作部135的输入操作而指定了头部佩戴型显示装置100的位置的情况下，也可以获取所指定的位置。

图像显示控制部176参照存储部120中存储的显示设定数据126，并获取与在步骤S31中判定出的位置相对应的显示所涉及的设定(步骤S32)。该设定为图像IV的显示位置、显示尺寸的规定值或最大值等。图像显示控制部176按照在步骤S32中获取的设定，对图像IV的显示尺寸及显示位置进行调整(步骤S33)，并判定显示是否已结束(步骤S34)。

控制部140在显示工作未结束期间(步骤S34；否)，反复执行步骤S31～S33的处理，若显示结束了(步骤S34；是)则结束本处理。

如以上说明的那样，应用了本发明的第1实施方式涉及的头部佩戴型显示装置100为佩戴于使用者的身体而使用的显示装置，具备对图像进行显示使得能够透射外景并与外景一起观看该图像的图像显示部20和对使用者的视线方向进行拍摄的相机61。头部佩戴型显示装置100的控制部140具备：根据相机61的拍摄图像生成显示用图像的图像生成部177；和使图像生成部177生成的显示用图像显示于图像显示部20的图像显示控制部176。由此，能够对图像进行显示，使得基于对使用者的视线方向进行拍摄所得的拍摄图像的显示用图像重叠于作为外景可见的对象物。因此，能够有效地组合显示装置外部的外景和显示内容以提供由显示装置进行的显示的新的活用方法，例如基于对该外景进行拍摄后的拍摄图像来补充使用者观看的外景的观看方法、并且/或者提出别的观看方法等。

并且，头部佩戴型显示装置100具备检测头部佩戴型显示装置100的使用状态的距离检测部173等检测部。图像显示控制部176与头部佩戴型显示装置100的使用状态相应地调整图像显示部20中的显示用图像的显示状态。因此，能够与头部佩戴型显示装置100的使用环境和/或使用者的使用方法相对应地，调整显示于图像显示部20的图像的显示尺寸和/或显示位置等状态。因此，能够配合使用者观看外景的观看方法而进行显示。

并且，图像显示控制部176通过距离检测部173等进行与头部佩戴型显示装置100的位置相关的检测，与检测出的头部佩戴型显示装置100的位置相对用地调整显示用图像的显示状态。因此，能够基于头部佩戴型显示装置100的位置，并配合使用者观看外景的观看方法而进行显示。具体而言，图像显示控制部176调整显示用图像的显示位置或显示尺寸的至少任一方，使得显示用图像避开使用者的视线方向的中心。视线方向的中心是指例如使用者透过图像显示部20观看外景的情况下的视线的中心轴与在图像显示部20显示图像的显示区域的交点及其附近。该情况下，不在使用者的视线的正对面显示显示用图像，使用者在避开视线的正对面(中心)的位置观看显示用图像。因此，根据本发明，能够显示用相机61拍摄到的图像，使得其不会成为使用者观看外景的障碍。例如，能够显示显示用图像，使得不会遮住使用者所关注的对象物。

并且，因为图像生成部177通过取出相机61的拍摄图像的一部分并将其放大，从而生成显示用图像，所以能够放大地显示拍摄使用者的视线方向所得的拍摄图像。因此，使用者能够一边观看外景一边放大地观看视线方向。

并且，因为图像生成部177通过从相机61的拍摄图像中取出符合预先设定的条件的区域，从而生成显示用图像，所以能够显示符合预先设定的条件的拍摄图像。例如，在拍摄了符合使用者的嗜好和/或兴趣的拍摄图像的情况下，能够由图像显示部20显示该拍摄图像而让使用者观看到该拍摄图像。

并且，头部佩戴型显示装置100具备从相机61的拍摄图像中检测使用者的视线方向的对象物的对象检测部171。图像生成部177通过从相机61的拍摄图像中取出包括对象检测部171检测出的对象物的图像的区域，从而生成显示用图像。由此，在使用者的视线方向上存在对象物的情况下，能够让使用者观看到该对象物的图像。

并且，头部佩戴型显示装置100具备检测由对象检测部171检测出的对象物与使用者的距离的距离检测部173。图像生成部177按与距离检测部173检测出的距离相应的放大率对相机61的拍摄图像的一部分进行放大，并生成显示用图像。由此，能够按配合使用者与视线方向的对象物的距离的放大率，让使用者观看到对象物的图像。

并且，图像生成部177通过获取由相机61在不同时间拍摄到的多个拍摄图像，并在该多个拍摄图像中确定符合预先设定的条件的区域，从而生成显示用图像。由此，对于多个拍摄图像，能够设定更加复杂的条件，并以符合该条件的拍摄图像为基础而让使用者观看到图像。

并且，图像生成部177获取由相机61在不同时间拍摄到的多个拍摄图像，并在该多个拍摄图像的像素间的差别符合预先设定的条件的情况下，将获取的拍摄图像取出而生成显示用图像。由此，因为能够以多个拍摄图像的差别为基础而生成显示用图像并显示，所以对于例如包括连续的多个图像的动态图像，能够基于图像的变化而生成显示用图像并显示。

并且，图像显示控制部176将由图像生成部177生成的显示用图像按照时间序列存储于存储部120，并在由操作部135检测出指示进行再现的操作的情况下，再现显示存储部120中存储的显示用图像。在此，图像显示控制部176能够通过按预定的帧速率依次再现按照时间序列存储的多个显示，从而显示动态图像。该情况下，使用者能够观看录像在视线方向上放大了的图像所得的动态图像。在此，图像显示控制部176在再现显示存储部120中存储的显示用图像的情况下，也可以能够变更该显示用图像的放大率。例如，在由操作部135检测出指定放大率的操作的情况下，也可以按照该操作而变更放大率。而且，虽然在图5(D)中显示了显示用图像使得其重叠于视野VR的一部分，但是在再现显示存储部120中存储的显示用图像的情况下，也可以在图像显示部20的能够显示区域整体显示显示用图像。

并且，图像生成部177也可以调整图像IV的透明度。虽然在图5(D)的例子中，透明度为零，在重叠于图像IV的部分外景不可见，但是图像生成部177也可以基于重叠于图像IV的外景的明亮度、图像IV的辉度等，来调整透明度。

在上述实施方式中，就对象检测部171使用存储部120所存储的单一图像用特征数据124a及动态图像用特征数据124b来识别对象物的情况进行了说明。单一图像用特征数据124a也可以构成为，不仅预先由存储部120存储，而且在头部佩戴型显示装置100的使用期间能够通过使用者的操作而生成或者变更。例如，可以考虑下述构成：在头部佩戴型显示装置100用图像显示部20显示相机61的拍摄图像的显示期间，通过跟踪垫14的操作能够进行选择显示图像的一部分的操作。在该构成中也可以：使用者选择显示图像的一部分，从而对象检测部171从所选择的部分中检测人和/物的图像，并根据检测出的图像来生成单一图像用特征数据124a和/或动态图像用特征数据124b。或者，头部佩戴型显示装置100也可以构成为，能够通过声音指令进行操作。该情况下，控制部140用麦克风63来检测使用者的声音，并用声音处理部170对检测出的声音进行解析，并识别声音指令。在头部佩戴型显示装置100用图像显示部20显示相机61的拍摄图像的显示期间，在使用者用声音指令进行指示以选择了显示图像的一部分的情况下，对象检测部171也可以从所选择的部分中检测人和/物的图像，并根据检测出的图像生成单一图像用特征数据124a和/或动态图像用特征数据124b。具体而言，在如图5(A)所示那样拍摄足球比赛并显示的情况下，在使用者用声音指令指示“对背部号码11号进行追踪”的情况下，对象检测部171也可以从相机61的拍摄图像中检测数字“11”，并提取包括检测出的数字的部分而求出特征量，并生成单一图像用特征数据124a和/或动态图像用特征数据124b。

(第2实施方式)

图8是按功能表示第2实施方式涉及的头部佩戴型显示装置100B的结构的框图。头部佩戴型显示装置100B构成为：在以第1实施方式进行了说明的头部佩戴型显示装置100中，代替图像显示部20而具备图像显示部20B。在本第2实施方式中，对于与第1实施方式同样的结构的各部分标注相同的符号而省略说明。并且，图9是表示图像显示部20B的要部结构的图，(A)是从使用者的头部侧看图像显示部20B所见的要部立体部，(B)是视线方向的说明图。

除图像显示部20(图2)的结构之外，图像显示部20B还具备距离传感器64及视线传感器68。关于其他点，头部佩戴型显示装置100与头部佩戴型显示装置100B相同，头部佩戴型显示装置100B能够执行上述第1实施方式中的头部佩戴型显示装置100的工作。

图9(A)所示261A、262A分别为在右导光板261及左导光板262形成的半透半反镜，与能够透射外景而显示图像的显示区域相应。半透半反镜261A、262A在上述第1实施方式的图像显示部20中也同样存在。

如图9(A)所示，距离传感器64配置于右光学像显示部26与左光学像显示部28的交接部分。在使用者佩戴了图像显示部20B的状态下，距离传感器64的位置在水平方向上为使用者的双眼的大致中间，在铅垂方向上比使用者的双眼靠上。距离传感器64检测直至位于预先设定的测定方向的测定对象物为止的距离。

例如，如图9(B)所示，距离传感器64检测直至位于使用者的右眼RE的视线RD与左眼LE的视线LD的前头的对象物OB为止的距离。该情况下，距离传感器64进行检测的方向64A为图像显示部20B的正面。

距离传感器64具有例如LED和/或激光二极管等的光源和受光部，该受光部接受光源发出的光在测定对象物反射的反射光。该情况下，距离传感器64按照距离检测部173的控制，执行三角测距处理和/或基于时间差的测距处理。并且，距离传感器64也可以构成为，具备发出超声波的声源和接收在测定对象物反射的超声波的检测部。该情况下，距离传感器64按照后述的位置检测部162的控制，基于直至超声波的反射为止的时间差来执行测距处理。还有，距离传感器64也可以具备光源和/或受光部、或者声源和检测部，距离检测部173进行测距处理。

本实施方式的距离传感器64的测定方向为头部佩戴型显示装置100B的表侧方向，与相机61的拍摄方向重复。

并且，如图9(A)所示，视线传感器68配置于图像显示部20B的使用者侧的面。视线传感器68在右光学像显示部26与左光学像显示部28的中央位置设置一对，使得分别与使用者的右眼RE(图9(B))及左眼LE(图9(B))相对应。视线传感器68由例如分别对使用者的右眼RE与左眼LE进行拍摄的一对相机构成。视线传感器68按照控制部140(图8)的控制进行拍摄，控制部140从拍摄图像中检测右眼RE及左眼LE的眼球表面中的反射光和/或瞳孔的图像，并确定视线方向。并且，视线传感器68分别对使用者的左右眼进行拍摄，所以在使用者闭眼的情况下，能够通过视线传感器68检测到眼睛已闭上。

如图8的框图所示，距离传感器64及视线传感器68通过连接部40连接于控制部140。距离检测部173能够控制距离传感器64以检测直至对象物为止的距离。还有，距离检测部173也可以如上述第1实施方式中说明了地那样构成为，基于相机61的拍摄图像来检测直至对象物为止的距离。

第2实施方式涉及的头部佩戴型显示装置100B能够用相机61对使用者的手、脚、眼等的动作进行拍摄，进行由该使用者的动作实现的操作。使用者的手能够用相机61来拍摄，眼睛能够用视线传感器68进行拍摄或者检测眼睛的动作。并且，相机61为广角相机、或者设置朝向图像显示部20B的下方而设置的脚用相机(省略图示)，由此能够对使用者的脚进行拍摄。

图像显示控制部176基于相机61的拍摄图像数据和/或脚用相机的拍摄图像数据、或者视线传感器68的检测结果，来检测使用者的动作。而且，图像显示控制部176在检测出的使用者的动作属于预先设定的动作的情况下，将该动作检测为操作。

该情况下，图像显示控制部176作为动作检测部、图像显示控制部及声音检测部而发挥作用。

图像显示控制部176检测为操作的使用者的动作包括存储部120中存储的检测特征数据124。检测特征数据124包括：用于从相机61的拍摄图像中提取使用者的手和/或脚的图像的特征量的数据；以及提取出的使用者的手和/或脚的图像的运动的特征量的数据等。

并且，图像显示控制部176也可以构成为，能够检测使用者发出声音的动作。该情况下，麦克风63收集到的声音，由声音处理部170转换为数字声音数据，图像显示控制部176对该数字声音数据进行处理。即，图像显示控制部176根据预定时间长度的数字声音数据生成声音的特征量，并以该特征量是否属于检测特征数据124所含的声音识别用的特征量为基础，而检测由声音实现的操作。在此，图像显示控制部176也可以进行对于数字声音数据的声音识别而生产说话内容的文本数据，并在该文本数据包括预先设定的文字列的情况下，对操作进行检测。该情况下，检测特征数据124也可以包括声音识别用的词典数据和与检测为操作的文字列相关的数据。

关于与使用者的动作相对应的图像显示控制部176的工作，参照图10及图11进行说明。图10是表示头部佩戴型显示装置100B的工作的流程图，图11表示图像显示部20B中的显示例。

图10的工作，能够在图4的步骤S23中开始显示处理之后、在预先设定的条件成立的情况下、和/或通过使用者对控制装置的操作，而在任意定时执行。

控制部140转变到基于使用者的动作来工作的工作模式即“用户操作模式”，并开始对使用者的动作的检测(步骤S51)。对动作的检测，如上所述，基于相机61的拍摄图像数据、视线传感器68的检测结果的数据或者声音处理部170生成的数字声音数据来进行。

图像显示控制部176对检测出的使用者的动作是否属于预先设定为“第1动作”的动作进行判定(步骤S52)。第1动作为例如使用者闭上单眼(闭目)的动作、并拢双脚的动作、以声音说出“开始变焦”的动作。并且，第1动作也可以为使用者以拇指和食指或中指结环的动作。并且，也可以为让使用者的双手相对而出现在相机61的拍摄范围内的动作。

在未检测到符合第1动作的动作期间(步骤S52；否)，图像显示控制部176等待操作。在检测出了符合第1动作的动作的情况下(步骤S52；是)，图像显示控制部176开始变焦调整(步骤S53)。在变焦调整中，首先，通过图像显示控制部176的功能而在图像显示部20B显示指示符(indicator)(步骤S54)。指示符包括对于使用者表明能够进行变焦操作的文字和/或图像，并显示为使用者能够与外景重叠地观看。在该指示符也可以包括引导或者说明使用者为了指示变焦调整所进行的操作的文字和/或图像。

图像显示控制部176确定成为变焦调整的中心的标记位置，并在确定出的位置显示标记(步骤S55)。标记为将变焦调整的中心呈现给使用者的图像和/或记号，由图像显示部20B显示。

确定标记位置的方法，有例如下述方法：在使用者按第1动作闭上了单眼的情况下，对未闭侧的眼睛的视线进行检测，并以该视线方向为标记位置。在此，虽然在使用者闭上双眼的情况下，因为视线方向未必一致所以有可能无法将标记位置确定为1处，但是如果预先通过对控制装置10的设定操作设定了使用者的右眼或左眼作为惯用眼，则只要使所设定的惯用眼的视线方向成为标记位置即可。该情况下，也可以自动地判定惯用眼。

并且，在进行了第1动作中的使用者以拇指和食指或中指结环的动作的情况下，能够以圆圈的中心为标记位置。并且，在进行了第1动作中的让使用者双手相对而出现在相机61的拍摄范围内的动作的情况下，也可以将该双手的中央作为标记位置。

并且，图像显示控制部176，在从相机61的拍摄图像中检测出使用者的视线方向的多个对象物、且能够分别对检测出的对象物的特征进行检测的情况下，也可以通过使用者发出指定对象物的声音从而确定标记位置。即，也可以：使用者说出反映在相机61的拍摄图像中的对象物即人和/物的特征，图像显示控制部176基于该1种声音而选择一个对象物，并将该对象物确定为标记位置。该情况下，例如，通过使用者说出“球”、“球门”、“10号”等用于确定物体、场所、人等的话语，从而能够指定标记位置。

在图11(A)示出识别出了标记的状态下的显示例。在图11(A)中，由图像显示部20B显示指示符IND，与使用者以手指结环的动作相对应地，圆圈的中心被确定为标记位置，并显示标记M。在使用者的视野中，观看到指示符IND与标记M，能够作为外景而看到使用者的手H。

图像显示控制部176开始追踪确定出的标记位置的对象物而使图像移动、并将标记位置保持于显示用图像的中央的工作(步骤S56)。

在此，图像显示控制部176检测指定变焦倍率或指定变焦倍率的变化的第2动作(步骤S57)。第2动作能够设为例如使用者以拇指与食指或中指结环且为了维持该圆圈而使手旋转的动作。该情况下，在旋转方向为顺时针的情况下图像显示控制部176增大变焦倍率，在为逆时针的情况下减小变焦倍率。该变焦倍率的变化能够为预先设定的单位量。该情况下，通过反复进行第2动作，由此使用者能够将变焦倍率调整为预期的变焦倍率。

在图11(A)的例中，使用者将右手伸到相机61的拍摄范围内而后以手指结环。在该状态下，在移动右手使得以右手所结的环顺时针旋转(附图中，CW)的情况下，如图11(B)所示，在以标记M为中心的图像IV中，变焦倍率变大。即，以标记M为中心，显示放大地更大的图像IV。并且，在图11(A)的状态下，在使用者移动右手使得右手的环逆时针旋转(附图中，CCW)的情况下，如图11(C)所示，变焦倍率变小。在图11(C)中，图像IV以标记M为中心缩小而被观看。

并且，不管结环与否，在使用者将单手伸到了相机61的拍摄范围内的情况下，能够将该手接近相机61的动作设为与变焦倍率的增大相应的第2动作。并且，能够将手远离相机61的动作设为与变焦倍率的减小相应的第2动作。

并且，例如，如图11(D)所示，在使用者作为第1动作而进行了使双手相向的动作的情况下，也可以将双手的中心设为标记M。该情况下，能够将使用者如图11(D)中箭头所示那样使双手的间隔或变宽或变窄的动作设为第2动作。该情况下，图像显示控制部176进行若使用者使双手的间隔变宽则使变焦倍率变大、若使用者使双手的间隔变窄则使变焦倍率变小的处理。

如图11(A)～(D)所例示那样，对象检测部171从相机61的拍摄图像中检测与使用者的四肢的任一相当的对象物，并基于检测出的对象物的移动和/或位置而确定标记M的位置。所检测的对象物并不限于使用者的手、腕、脚，也可以是手指和/或手掌等四肢的一部分。

具体而言，能够构成为：使拇指与食指出现在相机61的拍摄范围内，在该拇指与食指之间显示标记M。并且，也可以将使拇指与食指的间隔变窄的动作分配于变焦倍率的缩小的指示，将使拇指与食指的间隔扩宽的动作分配于变焦倍率的增大的指示。既可以将其他的手指分配于上述操作，也可以检测3根以上的手指及这些手指的移动。例如，也可以同时检测3根以上的手指，并将各根手指的移动和/或多根手指的相对位置的变化等检测为移动。与手指的移动相对应的处理，并不限定于标记M的特定及变焦倍率的变化，也可以为输出的声音的音量调整、显示的图像的调光调整。

并且，第2动作也可以是由使用者的脚进行的动作。能够将使用者将右脚比左脚前伸的动作设为与变焦倍率的增大相应的第2动作，也可以与右脚比左脚前伸的时间相应地使变焦倍率增大。该情况下，能够将使用者使右脚比左脚靠后的动作设为与变焦倍率的减小相应的第2动作，也可以与右脚处于比左脚靠后的位置的时间相应地使变焦倍率减小。并且，既可以与右脚比左脚前伸或后伸的量相应地使变焦倍率变化，在该情况下，也可以在指示符显示刻度，该刻度表示变焦倍率的变化和/或变焦倍率与伸脚的量的对应关系。

并且，第2动作也可以是使用者的声音的说话，图像显示控制部176也可以根据使用者说出以数值等指定变焦扩大、缩小或者变焦倍率的话语的情况，来调整变焦倍率。

在未检测出符合第2动作的动作的期间(步骤S57；否)，图像显示控制部176等待操作。在检测出了符合第2动作的动作的情况下(步骤S57；是)，图像显示控制部176变更变焦倍率(步骤S58)。其后，图像显示控制部176检测第3动作。

第3动作与指示开始录像的操作相应。第3动作能够设为例如使用者将单手伸到相机61的拍摄范围内并将手倾斜的动作、使用者使左脚比右脚前伸的动作、使用者闭上双眼的动作。并且，也可以是使用者说出指示录音开始的话语的动作。在检测出了第3动作的情况下(步骤S59；是)，图像显示控制部176开始录像，并开始记录相机61的拍摄图像及声音处理部170所生成的麦克风63的声音的数字声音数据(步骤S60)。

其后，图像显示控制部176检测第4动作(步骤S61)。第4动作与指示结束录像的操作相应。例如，在使用者进行了第3动作中的将单手伸到相机61的拍摄范围内并将手倾斜的动作的情况下，能够将使该手的倾斜回归动作设为第4动作。并且，在使用者进行了第3动作中的使左脚比右脚前伸的动作的情况下，能够将把左脚后撤的动作设为第4动作。并且，也可以将使用者闭上双眼的动作设为第4动作。并且，也可以是使用者说出指示录音结束的话语的动作。在检测出了第4动作的情况下(步骤S61；是)，图像显示控制部176结束录像(步骤S62)。

其后，图像显示控制部176判定变焦调整的操作是否结束了(步骤S63)。在步骤S59中在预定时间内未检测到第3工作的情况下(步骤S59；否)，图像显示控制部176也进行步骤S63的判定。

在通过使用者向操作部135的操作或者与第1动作～第4动作同样地手、脚、眼(眼睑)、声音等，指示了变焦操作的结束的情况下(步骤S63；是)，图像显示控制部176结束用户操作模式而停止指示符的显示，并转变到通常显示(步骤S64)，结束本处理。并且，在判定为未结束变焦操作的情况下(步骤S63；否)，图像显示控制部176返回到步骤S57。

这样，在头部佩戴型显示装置100B中，能够通过使用者的手、脚、眼(眼睑)、发出声音等动作，来进行操作。从而，不用直接操作控制装置10就能够进行各种的指示操作，例如在控制装置10及图像显示部20B已佩戴于身体和/或服装而使双手自由的状态下，能够以所谓的不占手(handfree)的方式进行操作。并且，因为也能够由眼睛、声音或者声音进行操作，所以即使在双手用于工作而不能用手进行操作的情况下，也能够对头部佩戴型显示装置100B进行操作。

并且，在步骤S59及S61中作为第3动作及第4动作、手和/或脚被伸到了相机61的拍摄范围内的情况下，图像显示控制部176也可以进行处理，使得录像图像中不包含手和/或脚。即，图像显示控制部176，在作为第3动作及第4动作而检测出了手和/或脚的动作情况下，也可以进行从录像的图像中去除作为第3动作及第4动作而检测出的手和/或脚的图像的处理。例如，能够通过对相机61的拍摄图像的帧进行修剪的处理而去除手和/或脚的图像。

并且，控制部140也可以先于图10的工作，进行使视线传感器68检测的视线方向与相机61的拍摄范围相对应的校准。该校准的结果也可以包括于例如检测特征数据124而存储到存储部120中。

而且，虽然在图10的工作中示出了在步骤S53～S58进行变焦倍率的调整、其后在步骤S59～S62进行录像的例子，但是也可以仅进行录像。并且，在步骤S52中对第1动作进行检测时，在作为第3动作检测出了预先设定的动作的情况下，也可以执行步骤S60的工作。

进一步，除手和/或脚的动作之外，作为第1动作～第4动作还可以检测由手和/或脚以外的指示体所进行的动作。该情况下，指示体只要是外观上具有图像显示控制部176能够从相机61的拍摄图像中提取的特征的指示体即可，也可以具有特定的形状、颜色、图案。并且，如果相机61能够接受并检测光红外线和/或紫外线等可见范围外的光，则能够将发出这些光的器件作为指示体。能够将把这些指示体在相机61的拍摄范围中移动以描绘出预定的轨迹、或单纯伸到相机61的拍摄范围内的操作设为第1动作～第4动作。如果指示体为如手表似地能够佩戴于使用者的身体和/或服装的可佩戴式器件，则能够谋求进一步提高操作性。

而且，如上所述作为第1动作～第4动作或者用于确定标记位置的动作而举出的动作，不仅能够应用于变焦倍率的调整和/或录像的指示，而且也能够应用于例如录下的图像的再现时的操作。

图12表示对录下的动态图像的再现进行指示的情况下的显示例。图12的例子，在通过例如控制装置10的操作而指示再现的情况下被显示。在图12中，在视野VR中显示表示录下的动态图像的整体的时间轴(timeline)TL。针对时间轴TL上的特定时刻的帧，图像显示控制部176生成缩略图像P1～P3并予以显示。生成缩略图像并予以显示的时刻，既可以在录像期间如第1动作～第4动作那样地通过使用者的特定的动作来指示，也可以由图像显示控制部176与录下的图像的时长相应地自动选择。并且，图像显示控制部176也可以基于图像的变化而自动选择时刻。在进行图12的显示的状态下，能够根据例如视线方向而进行从缩略图像P1～P3之中选择开始再现的时刻的操作。

这样，根据应用了本发明的第2实施方式，图像显示控制部176基于相机61的拍摄图像检测使用者的动作，与检测出的使用者的动作相对应地调整显示用图像的显示状态。例如进行变焦倍率的调整。因此，使用者作动作使得相机61能够拍摄，从而能够调整显示用图像的显示状态。并且，图像显示控制部176也可以检测麦克风63收集到的声音，并与声音的检测结果相对应地调整显示用图像的显示状态。

图像显示控制部176基于相机61的拍摄图像来检测使用者的动作。而且，图像显示控制部176能够提取基于使用者的动作而确定的区域例如以标记M为中心的区域并对其进行处理，由图像生成部177生成显示用图像。

并且，图像显示控制部176确定于使用者的视线方向相应的方向，并在相机61的拍摄图像中检测使用者的视线方向的对象物。而且，也可以由图像生成部177提取出包括该对象物的图像的区域并对其进行处理，生成显示用图像。并且，在确定了与使用者的视线方向相应的方向的情况下，也可以在与该特定方向相对应的位置显示标记M。

而且，也可以通过检测使用者的惯用眼的视线，来求出与使用者的视线方向相应的方向。并且，也可以根据相机61的拍摄图像来检测使用者的手和/脚的移动，并基于该移动来确定标记M的位置。

还有，该发明并不限于上述各实施方式的结构，可以在不脱离其主旨的范围内按各种方式实施。

在上述第1实施方式中，作为图像生成部177从相机61的拍摄图像中取出符合预先设定的条件的区域的一例，对将对象检测部171进行匹配处理而检测出了对象物的区域取出的例子进行了说明。本发明并非限定于此，也可以，例如图像生成部177在拍摄图像中检测符合预先设定的条件的区域从而将其取出，并生成显示用图像。例如，对于图像生成部177而言，作为从拍摄图像取出的区域条件，在设定了区域的位置及尺寸的情况下，图像生成部177不管对象检测部171的检测结果怎样，都从拍摄图像中取出设定的位置及尺寸的区域。并且，要取出的区域的条件也可以是用于确定拍摄图像中的颜色和/或辉度的条件，而不是必须要由对象检测部171进行的处理。

并且，图像生成部177在根据拍摄图像而生成显示用图像的情况下所进行的处理，并非限定于将拍摄图像的一部分取出并予以放大的处理。例如，也可以将拍摄图像的全部原封不动地或者进行分辨率转换后作为显示用图像。并且，例如，图像生成部177也可以从拍摄图像中取出多个区域以生成多个显示用图像，并在视野VR同时显示多个图像IV。并且，针对显示显示用图像的位置，图像生成部177或图像显示控制部176也可以适宜地变更或者调整。

并且，在上述第1实施方式、第2实施方式中，也可以构成为，相机61的拍摄方向相对于图像显示部、20B可动。例如，相机61也可以经由够转动的臂和/或连杆或者柔性臂而安装于图像显示部20、20B的框架，图像显示部20、20B不动就能够变更相机61的朝向。该情况下，也可以构成为，能够检测相机61的光轴或拍摄方向相对于图像显示部20、20B的角度。具体而言，既可以在支撑相机61的连杆和/或臂的转动部设置旋转传感器，也可以在相机61自身设置陀螺传感器和/或加速度传感器。该情况下，也可以基于相机61的光轴的朝向来求出使用者的视线方向。在相机61的光轴移动的情况下，因为使用者将相机61的光轴朝向想要观看的方向，所以能够将相机61的光轴的朝向看作使用者所注视的方向或者相关联的方向。因此，能够基于相机61的光轴的朝向，例如在图6的步骤S31中对头部佩戴型显示装置100的位置进行判定。并且，能够基于相机61的光轴的朝向，在图10的步骤S55中确定标记的位置。

而且，图像显示控制部176也可以控制图像显示部20所显示的图像的移动。例如，图像显示控制部176也可以基于能够根据9轴传感器66和/或GPS115的检测值来检测的图像显示部20的移动，来控制在图像显示部20显示的图像。图像显示控制部176，在显示根据相机61的拍摄图像而生成的图像期间，在图像显示部20的移动的加速度或速度为阈值以上的情况下，也可以抑制在图像显示部20上显示的图像的移动、或者使显示的图像向与图像显示部20的移动相反的方向移动。该情况下，图像显示控制部176既可以使图像生成部177生成的显示用图像变化，也可以显示显示用图像的一部分。根据该结构，在佩戴了头部佩戴型显示装置100的使用者的头部的移动加速、显示用图像的变化变得剧烈的情况下，能够抑制图像显示部20所显示的图像的移动以减轻使用者的不适感。将该功能称为稳定功能，可以构成为，通过针对操作部135的操作来切换稳定功能的开/关。并且，也可以构成为：如参照例如图10～图11说明过那样，通过使用者的手、脚、眼的移动或者声音来切换稳定功能的开/关。

上述稳定功能也能够应用于对象检测部171要检测的对象物在拍摄图像中的移动速度快的情况。例如，在如图5(A)～(C)所例示的那样将球作为对象物进行检测的情况下，根据拍摄图像中的球的位置的变化而求出其移动速度，在其加速度或速度为阈值以上的情况下，也可以抑制显示图像的变化或者图像显示部20的能够显示位置的球的移动。或者，在根据拍摄图像中的球的位置的变化而求出的移动速度或加速度为阈值以上的情况下，图像生成部177也可以暂时停止提取对象物的图像而生成显示用图像的处理。并且，图像生成部177也可以或降低提取出的图像的放大率、或改变相机61的拍摄的视场角、或在相机61具有变焦机构和/或数字变焦功能的情况下降低变焦倍率。这样，通过减小图像显示部20所显示的对象物的图像的显示尺寸，从而即使在对象物的移动速度快的情况下也能够期待对象物容易观看这一效果。

并且，例如，在上述实施方式中，说明了图像生成部177确定放大率、图像生成部177通过图像处理将拍摄图像取出并按照该放大率对其进行放大的例子。本发明并非限定于此，也可以构成为，例如相机61具有变焦功能而图像生成部177控制相机61的变焦倍率。该情况下，图像生成部177也可以获取按图像生成部177所指定的变焦倍率拍摄到的拍摄图像，取出图像作为显示用图像。

并且，作为图像显示部，也可以代替图像显示部20而采用例如如帽子似地佩戴的图像显示部等其他方式的图像显示部，只要具备与使用者的左眼相对应而显示图像的显示部和与使用者的右眼相对应而显示图像的显示部即可。并且，本发明的显示装置也可以构成为搭载于例如汽车和/或飞机等车辆的头戴式显示器。并且，例如，既可以构成为内置于头盔等身体防护用具的头戴式显示器，也可以为用在汽车的挡风玻璃上的平视显示器(Head-upDisplay；HUD)。进一步，也可以将佩戴在使用者的双眼的眼球(例如角膜上)而使用的、所谓接触透镜型显示器和/或埋入眼球内的植入型显示器等在使用者的眼球上在视网膜上成像的显示器，作为图像显示部20。

并且，只要是佩戴于使用者的身体上的装置即可，不管是否需要通过其他方法予以支持都能够应用本申请的发明。例如，也可以采用使用者双手手持而使用的双眼镜型的手持显示器(HandHeldDisplay)作为本申请的图像显示部20。关于这种显示器，为了保持被佩戴于使用者的状态而需要使用者加以手持，但是因为在使用者观看显示器的显示的情况下该显示器离不开使用者的头部或面部，所以其包含在本发明的显示装置中。而且，即使是通过支持腿等被固定于地面和/或壁面的显示装置，只要是在使用者观看显示器的显示的情况下离不开使用者的头部或面部的显示，也包含在本发明的显示装置中。

而且，也可以，将图像显示部20或仅将图像显示部20中的包括涉及到图像显示的结构的显示部佩戴于使用者的身体，将该显示部以外的控制装置10或者包括控制装置10与控制部140的控制系统在物理意义上分体构成。例如，也可以在图像显示部20或包括图像显示部20的一部分的显示部无线连接具备其他控制系统的装置，与头部佩戴型显示装置100同样地将其作为显示装置。作为具备该控制装置的装置，可以使用智能电话机、便携型电话机、平板型计算机、其他形状的个人计算机等以往就有的电子设备。不用说，当然也能够将本申请应用于这种显示装置。

而且，在上述实施方式中，虽然举图像显示部20、20B与控制装置10相分离且经由连接部40而连接的结构为例进行了说明，但是也可以一体地构成控制装置10与图像显示部20，使得其成为被佩戴在使用者头部的结构。

并且，控制装置10与图像显示部20、20B也可以通过更长的电缆或无线通信线路而连接，作为控制装置10也可以使用笔记本型计算机、平板型计算机或台式计算机、包括游戏机和/或便携型电话机和/或智能电话机和/或便携型媒体播放器的便携型电子设备、及其他专用设备等。

并且，例如，作为在图像显示部20中生成图像光的构成，既可以设为具备有机EL(有机电致发光，OrganicElectro-Luminescence)的显示器和有机EL控制部的结构，也可以使用LCOS(Liquidcrystalonsilicon，液晶覆硅，LCoS为注册商标)和/或数字微镜器件等。并且，例如，也可以对激光视网膜投影型的头戴式显示器应用本发明。即，也可以采用下述结构：图像生成部具备激光光源和将激光光导向使用者的眼睛的光学系统，使激光入射于使用者的眼睛而在视网膜上进行扫描并在视网膜上成像，由此，让使用者观看到图像。在采用激光视网膜投影型的头戴式显示器的情况下，所谓“图像光生成部中的图像光的能够出射区域”可以定义为由使用者的眼睛识别出的图像区域。

作为将图像光导向使用者的眼睛的光学系统能够采用下述结构：具备供从外部朝向装置入射的外光透射的光学部件，使该外光与图像光一起入射使用者的眼睛。并且，也可以使用位于使用者的眼睛的前方而重叠于使用者的视场的一部分或全部的光学部件。而且，也可以采用使激光等进行扫描而使之成为图像光的扫描方式的光学系统。并且，并不限于使图像光在光学部件的内部导光，也可以仅具有使图像光朝向使用者的眼睛折射和/或反射而导光的功能。

并且，也可以将本发明应用于采用使用了MEMS镜的扫描光学系统且利用了MEMS显示技术的显示装置。即，作为图像显示元件，也可以具备：信号光形成部；具有对信号光形成部出射的光进行扫描的MEMS镜的扫描光学系统；和利用将被扫描光学系统扫描的光形成虚像的光学部件。在该结构中，信号光形成部出射的光由MEMS镜反射并入射于光学部件，在光学部件中被导光并到达虚像形成面。MEMS镜对光进行扫描，从而在虚像形成面形成虚像，使用者用眼睛捕捉到该虚像，从而识别到虚像。该情况下的光学部件，如上述实施方式的右导光板261及左导光板262那样，既可以是经由多次反射而导光的部件，也可以利用半透半反镜。

并且，本发明的显示装置并非限定于头部佩戴型的显示装置，能够应用于平板显示器和/或投影机等各种显示装置。本发明的显示装置只要是与外光一起通过图像光使图像被观看的即可，例如，可以举出通过使外光透射的光学部件使有图像光产生的图像被观看的结构。具体而言，在上述的头戴式显示器中除具备供外光透射的光学部件的结构外，也能够应用于将图像光投影于在离开使用者的位置固定或可动地设置的透光性的平面和/或曲面(玻璃和/或透明的塑料等)的的显示装置。作为一例，可以举出下述结构的显示装置：将图像光投影于车辆的车窗玻璃，使乘车的使用者和/或位于车辆之外的使用者一并看到由图像光产生的图像和车辆内外的景色。并且，例如，可以举出下述结构的显示装置：将图像光投影于在建筑物的窗户玻璃等固定地设置的透明或半透明、或者有色透明的显示面，使位于显示面的周围的使用者观看由图像光产生的图像并且透过显示面观看景色。

并且，图2、图8所示的各功能块之中的至少一部分，既可以由硬件来实现，也可以为通过硬件与软件的协作而实现的结构，并非限定于图2所示那样配置独立的硬件资源的结构。

也可以使上述第1实施方式及第2实施方式中说明过的控制部140的工作作为程序来实现。即，控制部140为具备CPU、ROM、RAM的结构，该CPU执行程序，由此，也可以实现例如对象检测部171、距离检测部173、图像显示控制部176及图像生成部177的功能。并且，控制部140的CPU通过执行程序，由此，也可以执行操作系统150、图像处理部160、声音处理部170及显示控制部190的功能。这些程序的一部分或全部也可以作为硬件来实现。例如，控制部140所具备的上述各处理部，既可以构成为使用ASIC(ApplicationSpecificIntegratedCircuit：面向特定用途集成电路)，也可以构成为对FPGA(Field-ProgrammableGateArray，现场可编程门阵列)等PLD(ProgrammableLogicDevice，可编程逻辑器件)进行编程。也可以作为包括多个半导体器件来实现。并且，在硬件执行程序而实现上述功能的情况下，该程序也可以存储于控制部140的ROM或者存储部120或控制装置10内的别的存储装置。或者，也可以构成为，控制部140经由通信部117或接口180获取在外部装置中存储的程序并予以执行。

并且，在控制装置10形成的结构中，既可以仅操作部135形成为单独的使用者界面(UI)，也可以单独形成上述实施方式中的电源130且为能够更换的结构。并且，在控制装置10形成的结构也可以重复地形成于图像显示部20。例如，如图2的控制部140既可以形成于控制装置10与图像显示部20这两方，也可以为构成为在控制装置10形成的控制部140与在图像显示部20形成的CPU所进行的功能分别分开。

Claims (22)

1.一种显示装置，被佩戴于使用者的身体而使用，其特征在于，具备：

显示部，其透射外景，并显示图像使得能够一并观看所述外景和该图像；

拍摄部，其对所述使用者的视线方向进行拍摄；

图像生成部，其根据所述拍摄部的拍摄图像生成显示用图像；和

图像显示控制部，其使所述图像生成部生成的显示用图像显示于所述显示部。

2.根据权利要求1所述的显示装置，其特征在于：

具备检测所述显示装置的使用状态的检测部；

所述图像显示控制部与所述检测部检测出的所述显示装置的使用状态相对应而调整所述显示用图像的所述显示部中的显示状态。

3.根据权利要求2所述的显示装置，其特征在于：

所述检测部进行与所述显示装置的位置相关的检测，所述图像显示控制部与所述检测部检测出的所述显示装置的位置相对应而调整所述显示用图像的显示状态。

4.根据权利要求3所述的显示装置，其特征在于：

所述图像显示控制部与所述检测部检测出的所述显示装置的位置相对应而调整所述显示用图像的显示位置或显示尺寸的至少任一，使得所述显示用图像避开所述使用者的视线方向的中心。

5.根据权利要求2～4中任一项所述的显示装置，其特征在于：

具备动作检测部，所述动作检测部基于所述拍摄部的拍摄图像来检测所述使用者的动作；

所述图像显示控制部与所述动作检测部检测出的所述使用者的动作相对应而调整所述显示用图像的显示状态。

6.根据权利要求1所述的显示装置，其特征在于：

具备检测声音的声音检测部；

所述图像显示控制部与所述声音检测部的声音检测结果相对应而调整所述显示用图像的显示状态。

7.根据权利要求1～6中任一项所述的显示装置，其特征在于：

所述图像生成部通过提取所述拍摄部的拍摄图像的一部分并予以处理，从而生成所述显示用图像。

8.根据权利要求7所述的显示装置，其特征在于：

具备动作检测部，所述动作检测部基于所述拍摄部的拍摄图像来检测所述使用者的动作；

所述图像生成部从所述拍摄部的拍摄图像中提取基于所述动作检测部检测出的所述使用者的动作而确定的区域并予以处理，并生成所述显示用图像。

9.根据权利要求7或8所述的显示装置，其特征在于：

所述图像生成部通过取出所述拍摄部的拍摄图像的一部分并将其放大，从而生成所述显示用图像。

10.根据权利要求7～9中任一项所述的显示装置，其特征在于：

所述图像生成部通过在所述拍摄部的拍摄图像中取出符合预先设定的条件的区域，从而生成所述显示用图像。

11.根据权利要求1～10中任一项所述的显示装置，其特征在于：

具备对象检测部，所述对象检测部确定与所述使用者的视线方向相当的方向，并从所述拍摄部的拍摄图像中检测位于所述使用者的视线方向的对象物；

所述图像生成部从所述拍摄部的拍摄图像中提取包括所述对象检测部检测出的所述对象物的图像的区域并予以处理，并生成所述显示用图像。

12.根据权利要求11所述的显示装置，其特征在于：

所述对象检测部检测所述使用者的视线方向，并检测位于检测出的所述使用者的视线方向的所述对象物。

13.根据权利要求12所述的显示装置，其特征在于：

所述对象检测部检测所述使用者的双眼之中的与惯用眼相当的眼睛的视线方向。

14.根据权利要求11所述的显示装置，其特征在于：

所述对象检测部，在由所述动作检测部检测出了所述使用者的预定动作的情况下，基于该预定动作来确定与所述使用者的视线方向相当的方向。

15.根据权利要求14所述的显示装置，其特征在于：

所述对象检测部，在所述动作检测部检测出了由所述使用者的四肢的至少任一进行的动作的情况下，基于检测出的动作来确定与所述使用者的视线方向相当的方向。

16.根据权利要求11～15中任一项所述的显示装置，其特征在于：

具备存储所述对象物的图像的特征量的存储部；

所述对象检测部通过从所述拍摄部的拍摄图像中检测适合所述存储部存储的特征量的图像，从而检测所述对象物。

17.根据权利要求16所述的显示装置，其特征在于：

所述存储部存储的所述特征量包括特定的所述对象物的图像的特征量及与类似的多种类型的对象物相对应的通用的特征量的任一。

18.根据权利要求11～17中任一项所述的显示装置，其特征在于：

具备距离检测部，所述距离检测部检测由所述对象检测部检测出的所述对象物与所述使用者的距离；

所述图像显示控制部按与所述距离检测部检测出的距离相应的放大率对所述拍摄部的拍摄图像的一部分进行放大，并生成所述显示用图像。

19.根据权利要求1～18中任一项所述的显示装置，其特征在于：

所述图像生成部获取有所述拍摄部在不同时刻拍摄到的多个拍摄图像，在这些多个拍摄图像中确定符合预先设定的条件的区域，由此生成所述显示用图像。

20.根据权利要求19所述的显示装置，其特征在于：

所述图像生成部获取由所述拍摄部在不同时刻拍摄到的多个拍摄图像，在这些多个拍摄图像的图像之间的差别符合预先设定的条件的情况下，将获取到的拍摄图像取出而生成所述显示用图像。

21.一种显示装置的控制方法，是具备透射外景并显示图像使得能够一并观看所述外景和该图像的显示部且被佩戴于使用者的身体而使用的显示装置的控制方法，其特征在于：

对所述使用者的视线方向进行拍摄；

通过将拍摄图像的一部分取出并对其进行放大，由此生成显示用图像；

使生成的显示用图像显示于所述显示部。

22.一种程序，是计算机可执行的对显示装置进行控制的程序，所述显示装置具备透射外景并显示图像使得能够一并观看所述外景和该图像的显示部，被佩戴安装于使用者的身体而使用，其特征在于，

使所述计算机作为图像生成部和图像显示控制部发挥作用；

所述图像生成部，通过将对所述使用者的视线方向进行了拍摄的拍摄图像的一部分取出并对其进行放大，由此生成显示用图像；和

所述图像显示控制部，使所述图像生成部生成的显示用图像显示于所述显示部。