CN105607253B - 头部佩戴型显示装置以及控制方法、显示系统 - Google Patents

Abstract

本发明涉及头部佩戴型显示装置以及控制方法、显示系统，用于检测外景所包含的特定的对象物，并显示与检测出的特定的对象物建立了对应关系的动态图像。上述头部佩戴型显示装置是透射型的头部佩戴型显示装置，具备：检测部，从外景中检测第一对象；图像显示部，能够透过外景，并能够显示图像；以及显示图像设定部，使与检测出的第一对象建立了对应关系的动态图像即第一动态图像显示于图像显示部。

Description

头部佩戴型显示装置以及控制方法、显示系统

技术领域

本发明涉及头部佩戴型显示装置的技术。

背景技术

已知有一种佩戴于头部的显示装置即头部佩戴型显示装置(头戴式显示器(HeadMounted Display)，HMD)。头部佩戴型显示装置例如通过利用液晶显示器以及光源来生成图像光，并利用投影光学系统、导光板将所生成的图像光导入使用者的眼睛，由此使使用者视觉确认虚像。头部佩戴型显示装置具有使用者除了虚像也能够视觉确认外景的透射型、以及使用者不能视觉确认外景的非透射型这2个类型。透射型的头部佩戴型显示装置具有光学透射型和视频透射型。

在专利文献1中公开了一种对静止在规定的范围内的静止物体照射超声波，从而取得从照射了超声波的超声波传感器到静止物体的距离信息，并基于距离信息来取得静止物体的立体像的物体的自动识别方法。另外，在专利文献2中公开了一种在高尔夫球杆的头搭载取得惯性传感器的数据的传感器单元，若使用者摆动该高尔夫球杆，则通过无线通信与该高尔夫球杆连接的解析处理装置对由惯性传感器取得的数据进行解析的高尔夫球杆的解析系统。

专利文献1：日本特开平8－75418号公报

专利文献2：日本特开2011－60462号公报

但是，在专利文献1所记载的技术中，只能够识别一个静止的物体的立体像，存在想要识别运动中的物体、多个物体的立体像的课题。另外，在专利文献2所记载的技术中，虽然能够取得搭载有传感器单元的高尔夫球杆的惯性的数据，但是不能取得与未搭载有传感器的物体有关的活动等数据，存在想要取得这些数据的课题。此外，在以往的头部佩戴型显示装置中，希望使用的便利性提高等。

发明内容

本发明是为了解决上述的课题而完成的，能够作为以下的方式来实现。

(1)根据本发明的一个方式，提供透射型的头部佩戴型显示装置。该头部佩戴型显示装置具备：检测部，从外景中检测第一对象；图像显示部，能够透过上述外景，并能够显示图像；以及显示图像设定部，使与检测出的上述第一对象建立了对应关系的动态图像即第一动态图像显示于上述图像显示部。根据该方式的头部佩戴型显示装置，由于使用者能够一边视觉确认按照透过而能够视觉确认的实物而显示的动态图像，一边进行作业等，所以能够提高使用者的作业的效率性等。

(2)在上述方式的头部佩戴型显示装置中，上述显示图像设定部可以将上述第一动态图像与检测出的上述第一对象的位置建立对应关系地进行显示。根据该方式的头部佩戴型显示装置，由于使用者能够一边视觉确认按照实物的位置而显示的动态图像，一边进行作业等，所以能够进一步提高使用者的作业的效率性等。

(3)在上述方式的头部佩戴型显示装置中，上述检测部可以拍摄上述外景，从拍摄到的拍摄图像中检测上述第一对象。根据该方式的头部佩戴型显示装置，由于将第一对象检测为图像，所以能够提高第一对象的检测的精度。

(4)在上述方式的头部佩戴型显示装置中，上述第一动态图像可以是与对检测出的上述第一对象进行的作业相关联的动态图像。根据该方式的头部佩戴型显示装置，使用者更容易识别作业的推荐动作，使用者的作业的效率性等进一步提高。

(5)在上述方式的头部佩戴型显示装置中，上述检测部从上述外景中检测与上述第一对象不同的第二对象；若在使上述图像显示部显示上述第一动态图像时检测出上述第二对象，则上述显示图像设定部可以取代上述第一动态图像而使与上述第二对象建立了对应关系的和上述第一动态图像不同的动态图像即第二动态图像显示于上述图像显示部。根据该方式的头部佩戴型显示装置，由于能够使使用者恰当地视觉确认适合于状况的图像，所以能够进一步提高使用者的使用的便利性。

(6)在上述方式的头部佩戴型显示装置中，上述第二动态图像可以是与根据上述第一动态图像对使用者推荐的作业的下一个被推荐的作业相关联的动态图像。根据该方式的头部佩戴型显示装置，在想要使使用者进行按照多个顺序的作业的情况下，通过按照检测出的不同的对象使使用者视觉确认动态图像，来提高使用者针对作业的理解度，使用者的便利性提高。

(7)在上述方式的头部佩戴型显示装置中，上述第二动态图像可以是对检测出的上述第二对象不是根据上述第一动态图像向使用者推荐的作业所应该使用的对象进行表示的动态图像。根据本方式的头部佩戴型显示装置，通过使使用者视觉确认不是被推荐的作业所应该使用的对象，能够识别被推荐的作业，提高使用者的便利性。

(8)在上述方式的头部佩戴型显示装置中，还具备声音取得部，该声音取得部取得外部的声音，上述显示图像设定部可以基于检测出的上述第一对象和取得的上述声音的组合，使上述第一动态图像显示于上述图像显示部。根据本方式的头部佩戴型显示装置，由于除了检测出的第一对象以外，使用者还能够操作第一动态图像，所以进一步提高使用者的使用的便利性。

(9)在上述方式的头部佩戴型显示装置中，可以还具备声音输出部，该声音输出部在上述第一动态图像被显示于上述图像显示部时，输出与上述第一动态图像建立了对应关系的声音。根据本方式的头部佩戴型显示装置，能够使使用者除了第一动态图像以外，还根据声音来识别信息，使用者能够通过视觉以及听觉来识别更多的信息，从而提高使用者的便利性。

(10)在上述方式的头部佩戴型显示装置中，还具备生物体信息取得部，该生物体信息取得部取得使用者的生物体信息，上述显示图像设定部可以基于检测出的上述第一对象和取得的使用者的上述生物体信息，使上述第一动态图像显示于上述图像显示部。根据本方式的头部佩戴型显示装置，能够使使用者视觉确认对检测出的第一对象还添加了所取得的使用者的生物体信息的动态图像，使用者的便利性进一步提高。

(11)在上述方式的头部佩戴型显示装置中，上述第一对象与上述第一动态图像的对应可以是检测出的上述第一对象的种类、上述第一对象的活动、上述外景中的上述第一对象的位置以及上述第一对象的朝向的至少一个与上述第一动态图像的组合。根据本方式的头部佩戴型显示装置，由于根据多个要素选择各种动态图像，所以使用者能够从各种动态图像中简单地选择所希望的动态图像。

上述本发明的各方式所具有的多个构成要素并非全部都是必须的，为了解决上述课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，能够适当地对于上述多个构成要素的一部分的构成要素，进行其变更、删除、与新的其他构成要素替换、删除限定内容的一部分。另外，为了解决上述课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，也能够将上述本发明的一个方式所包含的技术特征的一部分或者全部与上述本发明的其他方式所包含的技术特征的一部分或者全部组合，作为本发明的独立的一个方式。

例如，本发明的一个方式能够作为具备检测部、图像显示部以及显示图像设定部这三个要素内的一个或者二个以上的装置来实现。即，该装置可以具有检测部，也可以不具有。另外，装置可以具有图像显示部，也可以不具有。另外，装置可以具有显示图像设定部，也可以不具有。检测部例如也可以从外景中检测第一对象。图像显示部例如能够透过上述外景，并能够显示图像。显示图像设定部例如可以使与检测到的上述第一对象建立了对应关系的动态图像即第一动态图像显示于上述图像显示部。这样的装置例如能够作为头部佩戴型显示装置来实现，但也能够作为头部佩戴型显示装置以外的其他装置来实现。根据这样的方式，能够解决装置的操作性的提高以及简化、装置的一体化、使用装置的使用者的便利性的提高等各种课题的至少一个。上述的头部佩戴型显示装置的各方式的技术特征的一部分或者全部均能够应用于本装置。

本发明也能够以头部佩戴型显示装置以外的各种方式来实现。例如，能够以显示系统、头部佩戴型显示装置的控制方法、具有头部佩戴型显示装置的信息系统、用于实现头部佩戴型显示装置的控制方法以及信息系统的计算机程序、记录有该计算机程序的记录介质、以及包含该计算机程序并在载波内具体化的数据信号等方式来实现。

附图说明

图1是表示头部佩戴型显示装置(HMD)的外观结构的说明图。

图2是功能性地表示HMD的结构的框图。

图3是表示通过图像光生成部射出图像光的情况的说明图。

图4是AR场景执行处理的流程图。

图5是表示在从多个AR场景中选择所执行的第一场景时使用者视觉确认的视场的说明图。

图6是表示在将AR场景所包含的AR图像被显示于光学像显示部时使用者视觉确认的视场的说明图。

图7是表示在从拍摄图像中检测出第二对象并执行了第二场景时使用者视觉确认的视场的说明图。

图8是表示在从拍摄图像中检测出第三对象并执行了第三场景时使用者视觉确认的视场的说明图。

图9是表示当执行了在第三场景结束后执行的第四场景时使用者视觉确认的视场的说明图。

图10是表示在选择了图9的文本图像内的选项后使用者视觉确认的视场的图像。

图11是功能性地表示第二实施方式的HMD的结构的框图。

图12是表示在检测出第一对象并执行了轮胎更换场景时使用者视觉确认的视场的说明图。

图13是表示在正执行轮胎更换场景时检测出第二对象的情况下使用者视觉确认的视场的说明图。

图14是表示在执行了检测出第一对象的轮胎更换场景时使用者视觉确认的视场的说明图。

图15是功能性地表示第三实施方式的HMD的结构的框图。

图16是第三实施方式中的AR场景检索处理的流程图。

图17是表示在从多个AR场景中选择所执行的一个AR场景时显示的图像的一个例子的说明图。

图18是表示在选择了一个AR场景后显示的选择后图像的一个例子的说明图。

图19是第三实施方式中的AR场景执行处理的流程图。

图20是表示向使用者显示了位置调整的图像时使用者视觉确认的视场的说明图。

图21是表示在第三实施方式中检测出作为第一对象的水龙头时使用者视觉确认的视场的说明图。

图22是表示在第三实施方式中检测出作为第一对象的水龙头时使用者视觉确认的视场的说明图。

图23是表示在第三实施方式中检测出作为第一对象的水龙头的根部时使用者视觉确认的视场的说明图。

图24是表示在第三实施方式中检测出作为第一对象的水龙头的根部时使用者视觉确认的视场的说明图。

图25是表示在第三实施方式中检测出作为第一对象的被更换了O型环后的水龙头的根部时使用者视觉确认的视场的说明图。

图26是表示变形例中的HMD的外观结构的说明图。

具体实施方式

A.第一实施方式：

A－1.头部佩戴型显示装置(HMD)的结构：

图1是表示头部佩戴型显示装置100(HMD100)的外观结构的说明图。HMD100是佩戴于头部的显示装置，也被称为头戴式显示器(Head Mounted Display，HMD)。本实施方式的HMD100是在使用者视觉确认虚像的同时也能够直接视觉确认外景的光学透射型的头部佩戴型显示装置。其中，在本说明书中，将使用者通过HMD100视觉确认的虚像也简便地称为“显示图像”。

HMD100具备在被佩戴于使用者的头部的状态下使使用者视觉确认虚像的图像显示部20、以及控制图像显示部20的控制部10(控制器10)。

图像显示部20是被佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、照相机61、以及话筒63。右光学像显示部26以及左光学像显示部28分别被配置成在使用者佩戴了图像显示部20时位于使用者的右眼前以及左眼前。右光学像显示部26的一端和左光学像显示部28的一端在使用者佩戴了图像显示部20时的与使用者的眉间对应的位置相互连接。

右保持部21是从作为右光学像显示部26的另一端的端部ER延伸设置到使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置的部件。同样，左保持部23是从作为左光学像显示部28的另一端的端部EL延伸设置到使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置的部件。右保持部21以及左保持部23像眼镜的眼睛腿(挂耳部分)那样，将图像显示部20保持在使用者的头部。

右显示驱动部22和左显示驱动部24被配置在使用者佩戴了图像显示部20时的与使用者的头部对置的一侧。其中，以下将右保持部21以及左保持部23也统称为“保持部”，将右显示驱动部22以及左显示驱动部24也统称为“显示驱动部”，将右光学像显示部26以及左光学像显示部28也统称为“光学像显示部”。

显示驱动部22、24包含液晶显示器241、242(Liquid Crystal Display，以下也称为“LCD241、242”)、投影光学系统251、252等(参照图2)。显示驱动部22、24的结构的详细内容将后述。作为光学部件的光学像显示部26、28包含导光板261、262(参照图2)和调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部22、24输出的图像光导入使用者的眼睛。调光板是薄板状的光学元件，被配置成覆盖作为与使用者的眼睛的一侧相反侧的图像显示部20的正面(表面侧)。调光板保护导光板261、262，抑制导光板261、262的损伤、附着污垢等。另外，通过调整调光板的透光率，能够调整进入使用者的眼睛的外部光量来调整虚像的视觉确认的难以。此外，能够省略调光板。

照相机61被配置在使用者佩戴了图像显示部20时的与使用者的眉间对应的位置。因此，照相机61在使用者将图像显示部20佩戴于头部的状态下，拍摄使用者的视线方向的外部的景色即外景，取得作为拍摄到的图像的拍摄图像。照相机61是单眼相机，但也可以是立体相机。

话筒63取得外部的声音。话筒63被配置在使用者佩戴了图像显示部20时的右显示驱动部22中的与使用者对置一侧的相反侧(外侧)。其中，话筒63相当于技术方案中的声音取得部。

图像显示部20还具有用于将图像显示部20与控制部10连接的连接部40。连接部40包含与控制部10连接的主体软线(cord)48、右软线42、左软线44、以及连结部件46。右软线42和左软线44是由主体软线48分出2根而成的软线。右软线42从右保持部21的延伸方向的前端部AP插入到右保持部21的壳体内，与右显示驱动部22连接。同样，左软线44从左保持部23的延伸方向的前端部AP插入到左保持部23的壳体内，与左显示驱动部24连接。连结部件46被设置在主体软线48与右软线42以及左软线44的分支点，具有用于连接耳机插头30的插孔。从耳机插头30延伸出右耳机32以及左耳机34。

图像显示部20和控制部10经由连接部40进行各种信号的传送。在主体软线48的与连结部件46的相反侧的端部和控制部10分别设置有相互嵌合的连接器(未图示)。通过主体软线48的连接器与控制部10的连接器的嵌合/嵌合解除，来进行控制部10和图像显示部20连接或分离。对于右软线42、左软线44以及主体软线48而言，例如能够采用金属线缆、光纤。

控制部10是用于控制HMD100的装置。控制部10包含决定键11、点亮部12、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17以及电源开关18。决定键11检测按下操作，输出对由控制部10操作的内容进行决定的信号。点亮部12根据其发光状态来通知HMD100的动作状态。作为HMD100的动作状态，例如有电源的接通/断开等。作为点亮部12，例如可使用LED。显示切换键13检测按下操作，例如输出将内容动态图像的显示模式切换为3D和2D的信号。触控板14检测使用者的手指在控板14的操作面上的的操作，并输出与检测内容相应的信号。作为触控板14，能够采用静电式、压力检测式、光学式等各种触控板。亮度切换键15检测按下操作，并输出对图像显示部20的亮度进行增减的信号。方向键16检测针对与上下左右方向对应的键的按下操作，并输出与检测内容相应的信号。电源开关18通过检测开关的滑动操作，来切换HMD100的电源接通状态。

图2是功能性地表示HMD100的结构的框图。如图2所示，控制部10具有存储部120、电源130、操作部135、无线通信部132、场景数据库138(场景DB138)、CPU140、接口180、发送部51(Tx51)以及发送部52(Tx52)。操作部135受理使用者的操作，由决定键11、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17、电源开关18构成。

电源130向HMD100的各部供给电力。作为电源130，例如能够使用二次电池。无线通信部132遵照无线LAN、蓝牙等规定的无线通信规格，与例如内容服务器、电视机、个人计算机等其他设备间进行无线通信。

存储部120由ROM、RAM等构成。存储部120的ROM中储存有各种计算机程序。后述的CPU140从存储部120的ROM中读取各种计算机程序，并储存至存储部120的RAM，从而执行各种计算机程序。

场景DB138存储有作为包含AR(Augmented Reality)图像的多个动态图像的AR场景。本实施方式中的AR场景是包含若从照相机61的拍摄图像中检测出预先设定的特定的对象物，则被显示于图像显示部20的AR图像、经由耳机32、34的输出的声音的动态图像。在其他的实施方式中，也能够仅将包含一些动态图像的数据视为AR场景，作为AR场景所包含的动态图像，也可以是文本图像的弹出等。场景DB138将多个AR场景分类为几个类别来存储。作为分类的类别，例如有料理、家电的操作、时间表管理等。其中，HMD100不仅能够执行场景DB138所存储的AR场景，也能够执行经由无线通信部132从其他装置接收的AR场景。

CPU140通过读出并执行储存于存储部120的ROM的计算机程序，来作为操作系统150(OS150)、显示控制部190、声音处理部170、图像处理部160、显示图像设定部165、以及物体识别部168发挥功能。

显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言，显示控制部190通过控制信号，分别独立地控制右LCD控制部211的右LCD241的驱动ON/OFF、右背光灯控制部201的右背光灯221的驱动ON/OFF、左LCD控制部212的左LCD242的驱动ON/OFF、左背光灯控制部202的左背光灯222的驱动ON/OFF等。由此，显示控制部190控制由右显示驱动部22以及左显示驱动部24的每一个驱动部进行的图像光的生成以及射出。例如，显示控制部190使右显示驱动部22以及左显示驱动部24双方生成图像光，或仅使一方生成图像光，或使两方都不生成图像光。其中，也将生成图像光称为“显示图像”。

显示控制部190经由发送部51以及52分别发送针对右LCD控制部211和左LCD控制部212的控制信号。另外，显示控制部190分别发送针对右背光灯控制部201和左背光灯控制部202的控制信号。

图像处理部160取得内容所包含的图像信号，并经由发送部51、52将取得的图像信号发送至图像显示部20的接收部53、54。此外，图像处理部160也可以根据需要对图像数据执行分辨率转换处理、亮度、饱和度的调整这等各种色调修正处理、梯形失真修正处理等图像处理。

声音处理部170取得内容所包含的声音信号，并对取得的声音信号进行放大，供给至与连结部件46连接的右耳机32内的扬声器(未图示)以及左耳机34内的扬声器(未图示)。其中，例如在采用了Dolby(注册商标：杜比)系统的情况下，进行针对声音信号的处理，从右耳机32以及左耳机34的每一个耳机输出例如改变了频率等的不同的声音。另外，声音处理部170将通过话筒63取得的声音作为控制信号发送至显示图像设定部165。

物体识别部168通过图案匹配、统计识别法，从照相机61的拍摄图像中检测作为与存储于场景DB138的多个AR场景建立有对应关系的特定的对象的图像的第一对象的图像。在本实施方式中，在选择出对存储于场景DB138的多个AR场景进行了分类的类别后，物体识别部168检测与选择出的类别所包含的AR场景建立有对应关系的第一对象的图像。以下，将从拍摄图像中检测特定的对象的图像的动作也简称为检测特定的对象。其中，物体识别部168根据正执行的AR场景的状况等，从拍摄图像中也检测作为与第一对象不同的特定的对象的第二对象、第三对象等。若物体识别部168从拍摄图像中检测出第一对象，则将检测出的第一对象、和与检测出的第一对象建立有对应关系的AR场景的信息发送至显示图像设定部165。其中，照相机61以及物体识别部168相当于技术方案中的检测部。另外，与第一对象建立有对应关系的AR场景相当于技术方案中的第一动态图像。在其他的实施方式中，物体识别部168也可以从拍摄图像中检测与通过无线通信部132从其他的装置接收到的AR场景建立有对应关系的第一对象，还可以检测与存储于经由接口180而连接的USB存储器等的AR场景建立有对应关系的第一对象。其中，无线通信部132相当于技术方案中的接收部。另外，通过无线通信部132进行通信的其他装置相当于技术方案中的存储装置。

另外，物体识别部168也能够在HMD100执行某些AR场景时，从照相机61的拍摄图像中检测作为与第一对象不同的特定的对象的第二对象。第二对象和与第一对象建立有对应关系的AR场景不同的AR场景建立有对应关系。物体识别部168若从拍摄图像中检测出第二对象，则将检测出的第二对象和与第二对象建立有对应关系的AR场景的信息发送至显示图像设定部165。

CPU140基于从物体识别部168发送来的信息，执行与从拍摄图像中检测出的特定的对象物建立有对应关系的AR场景。若执行AR场景，则显示图像设定部165使所执行的AR场景所包含的图像等显示于光学像显示部26、28。显示图像设定部165使AR场景所包含的至少一个AR图像与从拍摄图像中检测出的特定的对象物的位置、方向建立关联并显示于图像显示部20。在AR场景中对被检测的特定的对象物设定有优先级，显示图像设定部165使检测出的特定的对象物中与所设定的优先级较高的特定的对象物建立有对应关系的图像优先显示于光学像显示部26、28。

CPU140在执行某些AR场景时，若物体识别部168检测出第二对象，则执行与正在执行的AR场景不同的和第二对象建立有对应关系的其它的AR场景。若从拍摄图像中检测出第二对象，则显示图像设定部165取代已执行的AR场景所包含的图像而使其它的AR场景所包含的图像显示于光学像显示部26、28。其中，与第二对象建立有对应关系的AR场景相当于技术方案中的第二动态图像。

声音处理部170经由耳机32、34，输出基于其它的AR场景所包含的声音信号的声音。另外，声音处理部170经由耳机32、34，输出基于AR场景所包含的声音信号的声音。声音处理部170基于从话筒63取得的声音，进行各种处理。例如，在AR场景包含选项的情况下，声音处理部170可以基于取得的声音，从选项中选择一个选项。

接口180是用于将成为内容的供给源的各种外部设备OA与控制部10连接的接口。作为外部设备OA，例如有存储有AR场景的存储装置、个人计算机(PC)、移动电话终端、游戏终端等。作为接口180，例如能够使用USB接口、微型USB接口，存储卡用接口等。

图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、照相机61、以及话筒63。

右显示驱动部22包含接收部53(Rx53)、作为光源发挥作用的右背光灯控制部201(右BL控制部201)及右背光灯221(右BL221)、作为显示元件发挥作用的右LCD控制部211及右LCD241、以及右投影光学系统251。右背光灯控制部201和右背光灯221作为光源发挥作用。右LCD控制部211和右LCD241作为显示元件发挥作用。其中，将右背光灯控制部201、右LCD控制部211、右背光灯221以及右LCD241也统称为“图像光生成部”。

接收部53作为用于进行控制部10与图像显示部20之间的串行传送的接收器而发挥作用。右背光灯控制部201基于被输入的控制信号，来驱动右背光灯221。右背光灯221例如是LED、电致发光(EL)等发光体。右LCD控制部211基于从图像处理部160以及显示控制部190发送来的控制信号，来驱动右LCD241。右LCD241是将多个像素配置成矩阵状的透射型液晶面板。

右投影光学系统251由使从右LCD241射出的图像光成为并行状态的光束的准直透镜构成。作为右光学像显示部26的右导光板261使从右投影光学系统251输出的图像光沿规定的光路反射并导入使用者的右眼RE。其中，将右投影光学系统251和右导光板261也统称为“导光部”。

左显示驱动部24具有与右显示驱动部22相同的结构。左显示驱动部24包含接收部54(Rx54)、作为光源发挥作用的左背光灯控制部202(左BL控制部202)及左背光灯222(左BL222)、作为显示元件发挥作用的左LCD控制部212及左LCD242、以及左投影光学系统252。左背光灯控制部202和左背光灯222作为光源发挥作用。左LCD控制部212和左LCD242作为显示元件发挥作用。其中，将左背光灯控制部202、左LCD控制部212、左背光灯222以及左LCD242也统称为“图像光生成部”。另外，左投影光学系统252由使从左LCD242射出的图像光成为并行状态的光束的准直透镜构成。作为左光学像显示部28的左导光板262使从左投影光学系统252输出的图像光沿规定的光路反射并导入使用者的左眼LE。其中，将左投影光学系统252和左导光板262也统称为“导光部”。

图3是表示通过图像光生成部射出图像光的情况的说明图。右LCD241通过驱动被配置成矩阵状的各像素位置的液晶，来使透过右LCD241的光的透过率变化，从而将从右背光灯221照射的照明光IL调制为表现图像的有效的图像光PL。对于左侧而言也相同。此外，如图3所示，在本实施方式中采用了背光灯方式，但也可以是使用前灯方式、反射方式来射出图像光的结构。

A－2.AR场景执行处理：

图4是AR场景执行处理的流程图。AR场景执行处理是CPU140执行与从拍摄图像中检测出的对象相应的AR场景的处理。在AR场景执行处理中，首先，CPU140判定操作部135是否受理了执行AR场景的规定的操作(步骤S11)。在本实施方式中，CPU140将用于使使用者选择存储于场景DB138并被分类的AR场景的类别的图像显示于光学像显示部26、28。作为用于执行AR场景的规定的操作，CPU140判定是否受理了显示于光学像显示部26、28的AR场景的类别的选择。在判定为未受理规定的操作的情况下(步骤S11：“否”)，CPU140结束AR场景执行处理。其中，在本实施方式中，作为AR场景的类别，对选择了“料理”的情况进行说明。

在步骤S11的处理中，CPU140在判定为受理了执行AR场景的规定的操作的情况下(步骤S11：“是”)，经由照相机61，拍摄外景(步骤S13)。接下来，物体识别部168从照相机61拍摄到的外景的拍摄图像中，检测作为与存储于场景DB138的AR场景建立有对应关系的特定的对象的第一对象的图像(以下，也简称为“第一对象”)(步骤S15)。物体识别部168在从拍摄图像中未检测出第一对象的情况下(步骤S15：“否”)，继续待机从拍摄图像中检测出第一对象(步骤S15)。在从拍摄图像中检测出第一对象的情况下(步骤S15：“是”)，CPU140判定是否存在与第一对象建立有对应关系的多个AR场景(步骤S17)。在判定为存在与第一对象建立有对应关系的多个AR场景的情况下(步骤S17：“是”)，显示图像设定部165使用于从多个AR场景中选择一个AR场景的选择图像显示于光学像显示部26、28，使使用者选择一个AR场景(步骤S19)。CPU140在判定为由使用者选择出所执行的一个AR场景的情况下(步骤S19)，执行选择出的AR场景(步骤S21)。另外，CPU140在步骤S17的处理中判定为没有多个AR场景的情况下(步骤S17：否)，自动地执行一个AR场景(步骤S21)。其中，以下将所执行的一个该AR场景称为第一场景。

图5是表示在从多个AR场景中选择所执行的第一场景时使用者视觉确认的视场VR的说明图。在图5中示有透过光学像显示部26、28被使用者视觉确认的外景SC、显示于光学像显示部26、28的选择图像IMG1以及箭头图像CS3。选择图像IMG1以及箭头图像CS3在光学像显示部26、28中被显示于作为能够显示图像的最大的区域的图像显示最大区域PN内。外景SC中包括砧板BC以及放置在板BC上的鱼FS。在从鱼FS的头部到尾的身体的表面，附着有多个鱼鳞FSC。其中，在本实施方式中，鱼FS的种类是鲷鱼。显示图像设定部165基于检测出的鱼FS和选择出的“料理”的AR场景的类别，使与鱼FS建立有对应关系的多个AR场景的候补作为选择图像IMG1显示于图像显示最大区域PN。如图5的选择图像IMG1所示，与鱼FS建立有对应关系的AR场景的候补是“1.切成三块”、“2.盐烤”以及“3.清水整煮鱼”。显示图像设定部165不管检测出的鱼FS的位置如何，都在图像显示最大区域PN中的固定的位置显示选择图像IMG1。操作部135受理使用者的操作，从而箭头图像CS3在图像显示最大区域PN内移动。若在箭头图像CS3与选择图像IMG1的任意一个选项重叠的状态下操作部135受理决定操作，则CPU140选择所执行的一个AR场景。此外，在其他的实施方式中，也可以通过话筒63受理声音输入，来选择选择图像IMG1的任意一个选项。在本实施方式中，作为第一场景，对选择了“1.切成三块”的情况进行说明。此外，在图5以及以下的图中，为了方便，示有图像显示最大区域PN，但用虚线表示的图像显示最大区域PN的外框不被使用者视觉确认。

若执行AR场景，则显示图像设定部165使AR场景所包含的AR图像与由物体识别部168确定出的第一对象的位置、方向建立对应地显示于图像显示最大区域PN(步骤S23)。物体识别部168对拍摄图像中的鱼FS进行图案匹配，从而确定拍摄图像中的鱼FS所占据的区域、坐标的位置。物体识别部168基于确定出的区域、坐标的位置，来确定鱼FS的头的位置和尾的位置，从而确定拍摄图像中的鱼FS的朝向。显示图像设定部165以与确定出的拍摄图像中的鱼FS的预先决定的一个坐标建立对应的方式，使图像显示于显示最大区域PN内。其中，本实施方式的AR场景主要是对HMD100的使用者的动作进行辅助的动态图像。因此，存储于场景DB138的AR场景所包含的动态图像多数情况是想要对使用者进行提示的推荐动作。在显示图像设定部165通过拍摄图像判断为使用者进行了与图像显示部20所显示的动态图像等同的动作的情况下，CPU140结束正执行的第一场景，或者执行其它的AR场景。

图6是表示在AR场景所包含的AR图像被显示于图像显示最大区域PN时使用者视觉确认的视场VR的说明图。在图6中，当从场景DB138中选择了“料理”的AR场景的类别时，显示了与作为第一对象的鱼FS建立有对应关系的“鱼鳞刨”的AR图像即图像AR1时的视场VR。如图6所示，由于在图像显示最大区域PN显示图像AR1，所以使用者在视觉确认包含透过光学像显示部26、28的板BC以及鱼FS的外景SC的同时，视觉确认显示于图像显示最大区域PN的图像AR1。显示图像设定部165使由物体识别部168确定出的鱼FS的头部和尾往复的图像AR1的动态图像显示在图像显示最大区域PN内。图像AR1是对使用者通过鱼鳞刨刮鱼FS的鱼鳞的动作进行辅助的动态图像。图6所示的箭头图像CS1表示图像AR1的头和尾往复的影像，箭头图像CS1并不显示在图像显示最大区域PN内。其中，在本实施方式中，设定为照相机61的视场角和使用者视觉确认的视场VR相同。

在图4的步骤S23中，若与鱼FS的位置、方向建立对应关系地将图像AR1显示于图像显示最大区域PN，则物体识别部168判定使用者是否进行了包含图像AR1的正执行的“刮鱼鳞”的AR场景推荐的动作(步骤S25)。物体识别部168基于从拍摄图像中对实物的鱼鳞刨的检测和实物的鱼鳞刨的活动来进行使用者是否进行了“刮鱼鳞”的动作的判定。具体的判定方法是通过从拍摄图像中检测与图像AR1相当的实物的鱼鳞刨，并检测已检测出的实物的鱼鳞刨是否从鱼FS的头部到尾往返了预先设定的次数来判定。

在步骤S25的处理中，当物体识别部168判定为使用者未进行正被执行的第一场景所推荐的动作时(步骤S25：“否”)，物体识别部168从拍摄图像中检测与作为和第一场景不同的AR场景的第二场景建立有对应关系的第二对象的图像(以下，简称为“第二对象”)(步骤S27)。在从拍摄图像中检测出第二对象的情况下(步骤S27：“是”)，CPU140执行与第二对象建立有对应关系的第二场景(步骤S29)。若执行第二场景，则显示图像设定部165使第二场景所包含的AR图像与被检测出的第二对象的位置、方向建立对应关系地显示在图像显示最大区域PN内(步骤S23)。

图7是表示从拍摄图像中检测第二对象并执行了第二场景时使用者视觉确认的视场VR的说明图。在图7中，在AR场景提示的“刮鱼鳞”的推荐动作未结束的状态下，当从拍摄图像中检测出作为第二对象的菜刀KN时，表示了使用者的视场VR。在视场VR中，除了透过光学像显示部26、28的外景SC以外，还包含作为第二场景所包含的AR图像的鱼鳞刨的图像AR2以及文本图像TX1。作为第二场景所包含的AR图像，显示图像设定部165不使菜刀KN显示于图像显示最大区域PN，而使以提示通过鱼鳞刨来刮鱼FS的鱼鳞的动作的文字来表示的文本图像TX1和鱼鳞刨的图像AR2显示于图像显示最大区域PN。显示图像设定部165使文本图像TX1以及图像AR1在图像显示最大区域PN中的显示位置与作为被检测出的第二对象的菜刀KN的位置、方向建立对应关系地显示。因此，在第一场景中与鱼FS的位置建立对应关系地显示的鱼鳞刨的图像AR1和在第二场景中与菜刀KN的位置建立对应关系地显示的鱼鳞刨的图像AR2在图像显示最大区域PN中被显示在不同的位置。此外，声音处理部170也可以按照显示图像设定部165对文本图像TX1的显示而经由耳机32、34输出与文本图像TX1的文字相同的声音。

在图4的步骤S23的处理中，若与菜刀KN的位置建立对应关系地将文本图像TX1以及图像AR2显示于图像显示最大区域PN，则物体识别部168判定是否进行了第二场景向使用者推荐的动作(步骤S25)。物体识别部168在根据图7的文本图像TX1检测为使用者不是拿着菜刀KN，而是拿着图像AR2所示的鱼鳞刨的情况下，判定为进行了第二场景的推荐动作。在判定为进行了推荐动作的情况下(步骤S25：“是”)，物体识别部168判定是否检测出与从拍摄图像中选择出的类别的AR场景建立有对应关系的特定的对象的图像(步骤S31)。由于在拍摄图像中检测出作为第一对象的鱼FS(步骤S31：“是”)，所以在进行了步骤S17、19的处理后，物体识别部168执行与第一对象建立有对应关系的第一场景(步骤S21)。显示图像设定部165使第一场景所包含的鱼鳞刨的图像AR1与鱼FS的位置建立对应关系地显示于图像显示最大区域PN(步骤S23)，物体识别部168判定作为第一场景的推荐动作的鱼FS的刮鱼鳞是否结束(步骤S25)。当检测出的鱼鳞刨在鱼FS的头部和尾之间往复了规定的次数(例如，20次)以上时，物体识别部168判定为使用者进行了作为第一场景的推荐动作的刮鱼鳞。此外，是否进行了刮鱼鳞的推荐动作的判定能够进行各种变形，例如，也可以通过对鱼FS的表面的鱼鳞进行图像识别来判定。

在判定为作为推荐动作的对鱼FS的刮鱼鳞结束了的情况下(步骤S25：“是”)，物体识别部168从拍摄图像中检测与其他的AR场景建立有对应关系的特定的对象(步骤S31)。在未从拍摄图像中检测出其他的对象的情况下(步骤S31：“否”)，CPU140判定是否执行其他的场景(步骤S33)。CPU140根据操作部135受理的操作、话筒63取得的声音等，来受理存储于场景DB138的AR场景以外的AR场景(例如，经由无线通信部132取得的AR场景)的执行等。

在步骤S33的处理中，当CPU140经由无线通信部132接收其他的AR场景，并判定为根据操作部135受理的操作而执行接收到的AR场景时(步骤S33：“是”)，物体识别部168从拍摄图像中检测作为与所执行的AR场景建立有对应关系的特定的对象的第三对象(步骤S15)。其中，这里所说的第三对象与第一对象相同。若检测出第三对象(步骤S15：“是”)，则CPU140进行步骤S17以后的处理。其中，第三对象相当于技术方案中的第一对象。

在本实施方式中，检测出刮鱼鳞结束后的鱼FS作为第三对象，并执行以将鱼FS切成三块的动作作为使用者的动作推荐的与第三对象建立有对应关系的AR场景。其中，以下将与第三对象建立有对应关系的AR场景简称为第三场景。

图8是表示从拍摄图像中检测出第三对象并执行了第三场景时使用者视觉确认的视场VR的说明图。在图8中，作为第三对象，示有包含刮鱼鳞结束后的鱼FS的外景SC。另外，如图8所示，使用者的右手RH拿着菜刀KN，使用者的左手LH按住鱼FS的头部。若物体识别部168检测出第三对象，则显示图像设定部165使所执行的第三场景所包含的菜刀的AR图像即图像AR3、和表示推荐动作的文本图像TX2显示于图像显示最大区域PN。图像AR3以及文本图像TX2与作为第三对象的鱼FS建立对应关系地显示于图像显示最大区域PN。因此，文本图像TX2被显示的位置和图7中的与菜刀KN建立有对应关系的文本图像TX1的位置不同。文本图像TX2是在提示将鱼FS切成3块的推荐动作的第三场景中，提示使用者首先取出鱼FS的内脏的文字图像。基于由物体识别部168检测出的第三对象、其他对象，显示图像设定部165将所执行的第三场景所包含的图像显示于图像显示最大区域PN。另外，同样地声音处理部170经由耳机32、34输出被执行的第三场景所包含的声音。

图9是表示当执行了在第三场景结束之后被执行的第四场景时使用者视觉确认的视场VR的说明图。在图9中，表示了在由使用者结束了将鱼FS切成三块的第三场景的动作推荐之后，从拍摄图像中检测出被切成三块的鱼FS的每一块作为第四对象，并执行了作为与第四对象建立有对应关系的AR场景的第四场景时使用者视觉确认的视场VR。若执行第四场景，则物体识别部168使第四场景所包含的AR图像的箭头图像CS2和用于使使用者选择针对被切成三块的鱼FS的处理的文本图像TX3显示于图像显示最大区域PN。若检测出被切成三块的鱼FS的每一块的鱼片CB1、CB2以及脊骨MB，则文本图像TX3以及箭头图像CS2被显示于图像显示最大区域PN。物体识别部168使文本图像TX3以及箭头图像CS2被显示的位置与鱼片CB1、CB2以及脊骨MB的位置、方向无关联地显示于图像显示最大区域PN中的固定的位置。文本图像TX3是作为针对鱼片CB1、鱼片CB2以及脊骨MB的处理而用于使使用者选择保存、生鱼片以及海带包裹的图像。若操作部135受理使用者的操作而选择了文本图像TX3的某一个选项(例如，1.鱼片CB1)，则CPU140输出与所选择的选项建立有对应关系的图像以及声音。另外，也可以通过话筒63受理声音输入，来选择文本图像TX3的任意一个的选项。

图10是表示在选择了图9的文本图像TX3内的选项后使用者视觉确认的视场VR的图像。在图10中示有在图9的文本图像TX3中，作为被处理的对象而选择了“1.鱼片CB1”，作为鱼片CB1的处理而选择了“3.海带包裹”的情况下，显示于图像显示最大区域PN的作为AR图像的图像AR4和文本图像TX4。显示图像设定部165使表示正执行的AR场景的具体的处理的文本图像TX4显示在图像显示最大区域PN中的固定的位置。另外，显示图像设定部165与由使用者选择并且通过物体识别部168从拍摄图像中检测出的鱼片CB1的位置和方向建立对应关系地使海带包裹所使用的海带的AR图像作为图像AR4显示在图像显示最大区域PN内。由此，HMD100能够使使用者将对鱼片CB1包裹海带所需要的处理识别为推荐动作。

在图4的步骤S25中，若作为推荐动作而对鱼片CB1进行第四场景的海带包裹的处理(步骤S25：“是”)，则物体识别部168从拍摄图像中检测其他对象(步骤S31)。在未检测出其他对象的情况下(步骤S31：“否”)，CPU140在判定为也不执行其他AR场景的情况下(步骤S33：“否”)，结束AR执行处理。

如以上说明那样，在第一实施方式的HMD100中，当物体识别部168从照相机61的拍摄图像中检测第一对象，且显示图像设定部165执行与第一对象建立有对应关系的鱼FS的刮鱼鳞的推荐动作的第一场景时，与被检测出的FS鱼的位置建立对应关系地使鱼鳞刨的图像AR1显示于图像显示最大区域PN。因此，在第一实施方式的HMD100中，从外景SC所包含的多个物体内检测一个物体，并显示与检测出的物体的位置建立有对应关系的图像。由此，由于使用者能够一边视觉确认按照实物的位置被显示的图像，一边进行作业等，所以能够辅助使用者进行的作业，可提高使用者的作业的效率性等。

另外，在第一实施方式的HMD100中，由于作为图像，物体识别部168检测作为第一对象的鱼FS，所以能够提高检测鱼FS的精度。

另外，在第一实施方式的HMD100中，由于与作为第一对象的鱼FS建立有对应关系的鱼鳞刨的图像AR1是与对鱼FS进行的刮鱼鳞的推荐动作相关联的动态图像，所以使用者更容易识别推荐动作，使用者的作业的效率性等进一步提高。

另外，在第一实施方式的HMD100中，当物体识别部168从拍摄图像中检测出作为第二对象的菜刀KN时，显示图像设定部165使被执行的第二场景所包含的文本图像TX1以及鱼鳞刨的图像AR2显示于图像显示最大区域PN。因此，在第一实施方式的HMD100中，对被检测的物体设定有优先级，即使检测出与多个AR场景建立有对应关系的多个特定的对象物，也能够基于对检测出的特定的对象物设定的优先级，来变更显示于图像显示最大区域PN的图像。由此，由于能够使使用者视觉确认状况最佳的图像，所以使用者的使用的便利性进一步提高。

另外，在第一实施方式的HMD100中，显示图像设定部165基于话筒63取得的声音，与针对被切成三块的鱼FS的鱼片CB1受理的处理建立对应关系地使文本图像TX4以及图像AR4显示于图像显示最大区域PN。因此，在第一实施方式的HMD100中，由于除了被检测出的特定的对象物以外，使用者也能够通过声音来操作显示于图像显示最大区域PN的图像，所以使用者的使用的便利性进一步提高。

另外，在第一实施方式的HMD100中，若在执行第一场景的情况下，检测出作为第二对象的菜刀KN，则声音处理部170输出与显示于图像显示最大区域PN的文本图像TX1的文字相同的声音。因此，在第一实施方式的HMD100中，能够使使用者除了显示于图像显示最大区域PN的图像以外，还通过声音来识别信息，使用者能够通过视觉以及听觉来识别更多的信息，使用者的便利性提高。

B.第二实施方式：

B－1.HMD的结构：

图11是功能性地表示第二实施方式的HMD100a的结构的框图。在第二实施方式的HMD100a中，与第一实施方式的HMD100相比不同之处在于，具备生物体信息取得传感器90和CPU140a的生物体信息处理部169，其他的结构相同。生物体信息取得传感器90是与控制部10以及图像显示部20独立地形成的传感器。生物体信息取得传感器90取得使用者的生物体信息。在本实施方式中，生物体信息取得传感器90是手表型的传感器，在被佩戴于使用者的手腕的状态下，通过应变计的变形检测，来测定当前时刻下的使用者的肌肉力量。生物体信息取得传感器90将取得的使用者的肌肉力量的测定数据发送至控制部10a的CPU140a。对取得的生物体信息进行处理。生物体信息处理部169基于取得的使用者的肌肉力量的测定数据，来执行所执行的AR场景所包含的各种处理。

B－2.AR场景执行处理：

在第二实施方式中，针对将汽车的轮胎的更换作为推荐动作的AR场景(以下，简称为“轮胎更换场景”)，来对AR场景执行处理进行说明。在第二实施方式中，对作为第一实施方式的AR场景执行处理(图4)中的处理内的、不同的处理的步骤S21以后的处理进行说明。

图12是表示检测出第一对象并执行了轮胎更换场景时使用者视觉确认的视场VR的说明图。在图12中，表示了当从拍摄图像中检测出作为第一对象的轮胎TR的图像时，由CPU140a执行作为AR场景的轮胎更换场景，显示图像设定部165将作为AR图像的图像AR5显示于图像显示最大区域PN时的视场VR。外景SC所包含的轮胎TR被4个位置的螺栓BT固定于汽车的主体。图像AR5由表示作为工具的六角扳手的工具图像ARR、拿着工具图像ARR的胳膊图像ARH、以及佩戴于胳膊图像ARH的手腕的肌肉力量传感器图像ARS构成。即，图像AR5是对使用者将利用佩戴有肌肉力量传感器的胳膊并通过六角扳手卸下轮胎TR的螺栓BT的动作作为推荐动作的图像。显示图像设定部165与检测出的轮胎TR的螺栓BT的位置建立对应关系地将图像AR5内的工具图像ARR显示于图像显示最大区域PN。另外，显示图像设定部165使图像AR5内的胳膊图像ARH以及肌肉力量传感器图像ARS与工具图像ARR建立对应关系地显示于图像显示最大区域PN。在胳膊图像ARH的显示部显示为了旋转工具而被作为推荐的肌肉力量的数值。所显示的数值(80)是百分比(％)的单位，且是在预先设定了HMD100的使用者的肌肉力量与应变计的关系后推荐的数值。

若执行轮胎更换场景(图4的步骤S23)，并将与轮胎更换场景建立有对应关系的图像AR5显示于图像显示最大区域PN(图4的步骤S23)，则物体识别部168判定轮胎更换场景的推荐动作是否结束(步骤S25)。

图13是表示在执行轮胎更换场景时检测出第二对象的情况下使用者视觉确认的视场VR的说明图。在图13中示有在正执行轮胎更换场景的情况下检测出第二对象时，显示于图像显示最大区域PN的文本图像TX5和图像AR5、AR6。第二实施方式中的第二对象是作为实物的六角扳手的工具RN与脚LG被检测为规定的位置关系的状态。在图13中，图像AR5内的工具图像ARR与实物的工具RN重合。在物体识别部168检测出使用者的脚LG与实物的工具RN接触的位置关系的情况下，显示图像设定部165除了图像AR5以外，还将文本图像TX5以及图像AR6显示于图像显示最大区域PN。文本图像TX5是提示禁止用脚LG使工具RN旋转的文字图像。另外，图像AR6是表示用于对文本图像TX5的内容进行强调的“×”的AR图像。显示图像设定部165使图像AR6与检测出的工具RN和脚LG的接触位置对应地显示在图像显示最大区域PN内。

若在轮胎更换场景的推荐动作未结束的情况下(图4的步骤S25“否”)，检测出作为第二对象的工具RN以及脚LG(步骤S27：“是”)，则CPU140a执行不用脚而使用胳膊来进行轮胎更换的推荐动作的作为AR场景的第二场景(步骤S29)。若执行第二场景，则如图13所示，显示图像设定部165在图像显示最大区域PN内除了图像AR5以外，还显示图像AR6以及文本图像TX5(步骤S23)。由于在根据第二场景的推荐动作未检测出脚LG的情况下(步骤S25：“是”)，检测出轮胎TR(步骤S31：“是”)，所以CPU140a执行轮胎更换场景(步骤S21)。之后，显示图像设定部165使图像AR5显示于图像显示最大区域PN(步骤S23)。

图14是表示在执行了检测出第一对象的轮胎更换场景时使用者视觉确认的视场VR的说明图。在图14中，在图像显示最大区域PN显示与图12相同的图像AR5，并且，示有包含实物的使用者的胳膊HD、佩戴于胳膊HD的手腕的肌肉力量传感器SS、以及胳膊HD拿着的工具RN和文本图像TX6的视场VR。如图14所示，图像AR5内的工具图像ARR与实物的工具RN的位置关系和胳膊图像ARH与胳膊HD的位置关系不同。换言之，使用者的胳膊HD以及工具RN分别不与作为推荐动作而显示的图像AR5重叠，物体识别部168判定为使用者未进行轮胎更换场景的推荐动作。物体识别部168根据拍摄图像中的多个螺栓BT的位置和大小，来确定轮胎TR的位置、朝向。因此，物体识别部168能够针对确定出的轮胎TR的螺栓BT，判定是否将实物的工具RN插入正确的位置。若判定为检测出的工具RN未被插入正确的位置，则显示图像设定部165使提示将工具RN相对于螺栓BT插入正确的位置的动作的文本图像TX6显示于图像显示最大区域PN。其中，在图14中，由于工具RN未被插入正确的位置，所以使用者不能使工具RN旋转，肌肉力量传感器SS的数值被显示为0(％)。

若使用者根据文本图像TX6将工具RN相对于螺栓BT插入正确的位置，则显示图像设定部165将图像AR5设为非显示，生物体信息处理部169检测作为生物体信息取得传感器90的肌肉力量传感器SS的肌肉力量的数值。生物体信息处理部169判定工具RN是否在由肌肉力量传感器SS取得的值以80％为中心的75％至85％之间的数值以外被转动。在判定为工具RN在该数值之间被转动的情况下，显示图像设定部165使提示用80％的肌肉力量使工具RN旋转的文本图像显示于图像显示最大区域PN。若生物体信息处理部169判定为以80％的肌肉力量使工具RN旋转，则显示图像设定部165将文本图像设为非显示，显示图像设定部165使卸下其它的螺栓BT的AR图像显示于图像显示最大区域PN。若反复进行如以上那样的动作，则CPU140a结束轮胎更换场景。

如以上说明那样，在第二实施方式的HMD100a中，基于由生物体信息取得传感器90检测出的使用者的肌肉力量，显示图像设定部165在图像显示最大区域PN显示图像。因此，在第二实施方式的HMD100a中，能够使使用者视觉确认对在拍摄图像中检测出的特定的对象物还附加了所取得的使用者的生物体信息的图像，使用者的便利性进一步提高。

C.第三实施方式：

图15是功能性地表示第三实施方式的HMD100c的结构的框图。图16是第三实施方式中的AR场景检索处理的流程图。在第三实施方式中，当HMD100b的使用者开始一些作业时，HMD100b经由网络来检索成为该作业的辅助动态图像的AR场景，并执行检索出的AR场景。因此，在第三实施方式中，与上述实施方式相比较，主要是检索AR场景的AR场景检索处理不同。其中，对于与上述实施方式相同的处理，使说明简化。对于详细内容将后述，但在第三实施方式中，作为所执行的AR场景的一个例子，将在自来水的管道的水龙头发行了漏水时用于修复漏水的作业的辅助动态图像作为例子来进行说明。

如图16所示，第三实施方式的HMD100c的CPU140b与第一实施方式的HMD100相比较，不同之处在于具有检索部161和选择部162，其他的结构与第一实施方式的HMD100相同。检索部161经由无线通信部132从存储有多个AR场景的服务器中检测基于操作部135受理的操作等的AR场景。检索部161例如对通过操作而被输入的检索用的关键字、和存储于服务器的AR场景所关联的关键字进行比较，从而检测基于操作的AR场景。选择部162在由检索部161检索出的AR场景有多个的情况下，基于操作部135受理的操作等，从多个AR场景中选择一个AR场景。选择部162例如在图像显示最大区域PN显示表示多个AR场景的文字图像、以及基于操作部135的触控板14所受理的操作而在图像显示最大区域PN上移动的箭头的图像。选择部162在图像显示最大区域PN内，通过在箭头的图像与表示一个AR场景的文字图像重叠的状态下，受理决定键11的按下的输入，来选择箭头的图像重叠的文字图像所表示的AR场景。此外，在其他的实施方式中，也可以取代操作部135受理的操作而受理基于声音的操作。另外，选择部162选择一个AR场景的方法也包含基于声音的选择，能够进行各种变形。

如图16所示，在第三实施方式的AR场景检索处理中，首先，基于操作部135受理规定的操作，检索部161经由无线通信部132从服务器中检索使用者想要执行的AR场景(步骤S41)。检索部161判定是否存在与检索出的AR场景相应的AR场景(步骤S43)。检索部161在判定为有相应的AR场景的情况下(步骤S43：“是”)，判定相应的AR场景是否是多个(步骤S45)。在判定为相应的AR场景不是多个的情况下(步骤S45：“否”)，CPU140b进行后述的步骤S48的处理(步骤S50)。在步骤S45的处理中判定为相应的AR场景是多个的情况下(步骤S45：“是”)，选择部162选择一个AR场景作为执行的AR场景(步骤S47)。

图17是表示从多个AR场景选择所执行的一个AR场景时被显示的图像的一个例子的说明图。图17所示的图像是在“漏水”和“水龙头”被作为关键词而进行了检索的情况下，与相应的AR场景建立有对应关系的水龙头BB的图像的一个例子。如图17所示，水龙头BB的图像表示了从4个漏水位置WL1、WL2、WL3、WL4的每一个滴落水滴TD的映像。在第三实施方式中，选择部162在图像显示最大区域PN除了显示水龙头BB的图像以外，还显示通过对操作部135进行操作而在图像显示最大区域PN内移动的箭头的图像。选择部162与操作部135的触控板14受理的操作对应地变更显示于图像显示最大区域PN的箭头的图像的位置。在图像显示最大区域PN内，若在箭头的图像与表示4个内的任意一个漏水位置的图像重叠的状态下按下决定键11，则选择部162将与重叠的图像所表示的漏水位置建立有对应关系的AR场景选择为所执行的一个AR场景。

若在图16的步骤S47的处理中，选择部162选择了一个AR场景，则以包含于选择出的AR场景、并且在选择之后显示于图像显示最大区域PN的方式使预先设定的选择后图像显示于图像显示最大区域PN(步骤S48)。此外，在选择后图像与由选择部162选择出的AR场景不建立有对应关系的情况下，不进行步骤S48的处理，而进行后述的步骤S50的AR场景执行处理。

图18是表示在选择了一个AR场景后显示的选择后图像的一个例子的说明图。在图18中，示有表示作为漏水位置而被选择的漏水位置WL2的水龙头BB的图像、将作为用于修复漏水位置WL2所需要的更换部件的O型环放大表示的部件图像IMPT、指示将更换部件更换到水龙头BB的哪个部分的箭头图像CS。这样，显示图像设定部165使对在被执行的AR场景内应由使用者进行的作业所使用的更换部件的信息进行表示的图像显示于图像显示最大区域PN。

若进行图16的步骤S48的处理，则CPU140b进行AR场景执行处理，该AR场景执行处理执行被选择出的AR场景。图19是第三实施方式中的AR场景执行处理的流程图。在第三实施方式的AR场景执行处理中，首先，CPU140b经由照相机61b来拍摄外景(步骤S51)。接下来，物体识别部168从拍摄到的外景的拍摄图像中检测与正执行的AR场景预先建立有对应关系的第一对象(步骤S53)。第三实施方式中被执行的AR场景中的第一对象是作为对漏水进行修理的对象的外景所包含的水龙头BB。在从拍摄图像中检测出作为第一对象的水龙头BB的情况下(步骤S53：“是”)，物体识别部168判定在正执行的AR场景中是否有关于惯用手的设定(步骤S55)。在进行了惯用手的设定的AR场景中正执行该AR场景的情况下，根据惯用手来设定显示于图像显示最大区域PN的图像的位置、朝向。在第三实施方式中正执行的对水龙头BB的漏水进行修理的AR场景中，由于使用工具，所以在AR场景中预先进行了关于惯用手的设定。

在步骤S55的处理中，当物体识别部168判定为在正执行的AR场景中未预先进行关于惯用手的设定时(步骤S55：“否”)，进行后述的步骤S59的处理。在步骤S55的处理中，物体识别部168在判定为预先进行了关于惯用手的设定的情况下(步骤S55：“是”)，决定HMD100b的使用者的惯用手(步骤S57)。在第三实施方式中，物体识别部168经由操作部135，使用于选择使用者的惯用手是右手还是左手的图像显示于图像显示最大区域PN，并通过受理来自使用者的规定的操作，来决定使用者的惯用手。此外，在其他的实施方式中，也可以预先登录HMD100b的使用者的信息，从而自动地决定使用者的惯用手，也可以通过声音输入来决定使用者的惯用手。另外，也可以对于使用者的惯用手不进行设定的处理，而在将惯用手暂时决定为右手的基础上，进行正执行的AR场景所包含的处理。

若确定了使用者的惯用手(步骤S57)，则物体识别部168判定拍摄到的使用者的当前时刻的位置作为正执行的AR场景提示的作业的位置是否适当(步骤S59)。第三实施方式的照相机61b是由2个照相机构成的立体相机。因此，物体识别部168能够使用照相机61b的拍摄图像中的水龙头BB的图像AR1、和照相机61b的每一个的位置坐标并通过三角法，来测定使用者与外景SC所包含的水龙头BB的距离。物体识别部168在测定出的使用者与水龙头BB的距离是预先设定的规定的距离以内的情况下，判定为使用者的作业的位置是适当的。

在步骤S59的处理中，当物体识别部168判定为使用者的作业的位置不适当时(步骤S59：“否”)，使提示使用者变更位置的位置调整的图像显示于图像显示最大区域PN(步骤S61)。图20是表示在对使用者显示有位置调整的图像时使用者视觉确认的视场VR的说明图。在图20中示有包含水龙头BB的外景SC、和显示于图像显示最大区域PN的作为位置调整的图像的文本图像TX7。文本图像TX7是提示使用者进一步接近水龙头BB的文字图像。在第三实施方式中，文本图像TX7被显示在图像显示最大区域PN中的左上。此外，也能够对文本图像TX7在图像显示最大区域PN中显示的位置进行各种变形，例如，显示在图像显示最大区域PN的中央。

若进行图19的步骤S61的处理，则物体识别部168再次进行步骤S59的处理。在步骤S59的处理中，当判定为使用者的当前的位置适合作为应由使用者进行的作业的位置时(步骤S59：“是”)，显示图像设定部165使与第一对象建立有对应关系的AR图像与第一对象的位置建立对应关系地显示于图像显示最大区域PN(步骤S63)。

图21以及图22是表示在第三实施方式中当检测出作为第一对象的水龙头BB时使用者视觉确认的视场VR的说明图。在图21以及图22中示有将外景SC所包含的实物的水龙头BB作为第一对象，与检测出的水龙头BB的位置建立对应关系地显示于图像显示最大区域PN的作为工具的扳手的图像即工具图像IMS1、IMS2。图21以及图22所示的图像分别是相同的扳手的图像从工具图像IMS1变化为工具图像IMS2的动态图像的一个情景。作为具体的动态图像，是显示图像设定部165在图像显示最大区域PN中使工具图像IMS1缓缓地接近水龙头BB的螺母部NT，在作为工具图像IMS1的扳手的前端把持螺母部NT，并向将螺母部NT松动的方向(逆时针)旋转的动态图像。这样，图21以及图22所示的工具图像IMS1、IMS2表示了使用者利用扳手将水龙头BB的螺母部NT从根部BS卸下的作业作为应由使用者进行的作业。

在图19的步骤S63中，在图像显示最大区域PN显示了图21以及图22所示的动态图像之后，物体识别部168根据动态图像来判定使用者是否进行了应由使用者进行的推荐动作(步骤S65)。物体识别部168根据根部BS与螺母部NT的位置关系是否是规定的距离以内来判定是否进行了作为推荐动作的将螺母部NT从水龙头BB的根部BS卸下的动作。在物体识别部168判定为螺母部NT距离根部BS比规定的距离远的情况下，判定为螺母部NT被从根部BS卸下。例如，物体识别部168在照相机61b的拍摄范围中包含根部BS并且不包含螺母部NT的情况下，判定为进行了将螺母部NT从根部BS卸下的推荐动作。

在物体识别部168判定为未进行推荐动作的情况下，继续等待进行推荐动作(步骤S65：“否”)。在物体识别部168判定为进行了推荐动作的情况下(步骤S65：“是”)，判定在正执行的AR场景中，是否具有与在所进行的推荐动作后应由使用者进行的动作建立有对应关系的检测对象(步骤S67)。

在第三实施方式中正执行的AR场景中，作为与从水龙头BB卸下了螺母部NT的动作的下一个推荐动作建立有对应关系的检测对象，设定有水龙头BB的根部BS的单体。因此，在步骤S67中，物体识别部168判定为在正执行的AR场景中具有其他的检测对象(步骤S67：“是”)，判定是否检测出作为新的第一对象的螺母部NT被卸下后的根部BS(步骤S53)。若检测出根部BS(步骤S53：“是”)，则由于已经进行了惯用手的设定(步骤S55：“是”，步骤S57)，所以物体识别部168判定使用者的作业位置是否适当(步骤S59)。在判定为使用者的作业位置适当的情况下(步骤S59：“是”)，显示图像设定部165使与检测出的根部BS建立有对应关系的AR图像显示于图像显示最大区域PN(步骤S63)。

图23以及图24是表示在第三实施方式中检测出作为第一对象的水龙头BB的根部BS时使用者视觉确认的视场VR的说明图。在图23以及图24中，示有将卸下螺母部NT的根部BS作为第一对象，与根部BS的位置建立有对应关系的被显示于图像显示最大区域PN的动态图像的一个情景的图像。作为显示图像，有作为更换部件的O型环的部件图像IMPT、对作为用于把持O型环的工具的镊子进行表示的工具图像IMS3、以及对把持工具或者O型环的手的活动进行表示的右手图像IMRH。显示图像设定部165使对用于更换O型环的部件图像IMPT的活动进行表示的动态图像显示于图像显示最大区域PN。作为具体的动态图像，是表示从在图像显示最大区域PN显示图23所示的图像开始，到在通过右手把持的工具卸下O型环后用右手把持新的O型环，来使新的O型环移动到根部BS的前端的图24所示的图像为止的变化的动态图像。其中，从图23所示的图像变化到图24所示的图像的图像相当于技术方案中的第二动态图像。

若进行图19的步骤S63的处理，则物体识别部168判定使用者是否结束了推荐动作(步骤S65)。物体识别部168在判定为进行了推荐动作并结束的情况下(步骤S65：“是”)，判定在正执行的AR场景中是否具有与下一个进行的动作建立有对应关系的检测对象(步骤S67)。

在第三实施方式中正执行的AR场景中，作为与紧接着提示更换O型环的作业的动作使用者应进行的动作建立有对应关系的检测对象，设定有被插入了O型环的水龙头BB的根部BS。插入有O型环的根部BS的检测的判定通过位于根部BS的前端的内部的O型环的检测的有无来进行。即，为了成为照相机61b能够拍摄根部BS的内部的角度，能够在使用者的头部的位置发生了变化的基础上，进行安装有作为检测对象的O型环的根部BS的检测的判定。

在步骤S67的处理中，物体识别部168判定为在正执行的AR场景中具有其他的检测对象(步骤S67：“是”)，CPU140b进行步骤S53以后的处理。图25是表示在第三实施方式中检测出作为第一对象的更换了O型环后的水龙头BB的根部BS时使用者视觉确认的视场VR的说明图。在图25中示有在检测出第一对象后被显示于图像显示最大区域PN的螺母部NT的螺母图像IMNT、表示正把持螺母部NT的右手的右手图像IMRH、以及表示与实物的根部BS连接的排水管道的管道图像IMPI。显示图像设定部165将从图25所示的图像开始，到使螺母图像IMNT旋转而沿管道图像IMPI移动至上方，并将部件图像IMPT固定于根部BS为止的动态图像显示于图像显示最大区域PN。

若在进行了图19的步骤S63的处理后，使用者进行将排水管道安装于根部BS的推荐动作(步骤S65：“是”)，则物体识别部168判定在正执行的AR场景中是否具有与下一个应由使用者进行的动作建立有对应关系的检测对象(步骤S67)。在第三实施方式中正执行的AR场景中，作为新的检测对象，设定有排水管道通过螺母部NT被安装于根部BS的状态的水龙头BB。检测状态所表示的状态的水龙头BB换言之是进行O型环的更换之前的状态的水龙头BB。

在正执行的AR场景中，由于在步骤S67的处理中具有其他的检测对象(步骤S67：“是”)，所以CPU140b反复进行步骤S53以后的处理。若检测出排水管道和螺母部NT被安装于根部BS的状态的水龙头BB，则显示图像设定部165使询问作业是否结束了的文字图像显示于图像显示最大区域PN(步骤S63)。通过受理声音输入或者针对操作部135的规定的操作，CPU140b受理针对作为推荐动作的作业结束的响应(步骤S65：“是”)，物体识别部168判定在正执行的AR场景中是否具有与紧接着已进行的推荐动作应由使用者进行的动作建立有对应关系的检测对象(步骤S67)。由于在第三实施方式中正执行的AR场景中，没有设定在更换作业结束之后的应由使用者进行的动作、即没有所设定的检测对象(步骤S67：“否”)，所以CPU140b结束AR场景执行处理。在图16的AR场景检索处理中，CPU140在进行了步骤S50的AR场景执行处理后，结束AR场景检索处理。

在步骤S43的处理中，检索部161在判定为服务器中未存储有与检索出的AR场景相应的AR场景的情况下(步骤S43：“否”)，经由照相机61b来拍摄外景(步骤S49)。在第三实施方式中，CPU140b在服务器中没有与检索出的AR场景相应的AR场景的情况下，通过从此由使用者拍摄被预定执行的作业，来进行检索出的AR场景的创建、或者保存为了创建检索出的AR场景所需要的拍摄数据。CPU140b与通过步骤S41而检索出的关键字建立对应关系地对要保存的AR场景或者拍摄数据进行保存。由此，与在第三实施方式中执行AR场景的使用者不同的使用者在检索出该AR场景时，能够看到通过步骤S49的处理而保存的AR场景或者拍摄数据。

如以上说明那样，在第三实施方式中，HMD100b的使用者能够从经由无线通信部132连接的服务器等取得所希望的AR场景并执行。另外，在不存在所希望的AR场景的情况下，HMD100b的照相机61b拍摄外景，从而能够创建其他的使用者可能希望的AR场景或者拍摄数据。

另外，在第三实施方式的HMD100b中，当在正执行的AR场景中将表示应进行的推荐动作的动态图像显示于图像显示最大区域PN的时，物体识别部168判定是否具有作为其下一个应由使用者进行的动作而设定的推荐动作。在判定为在正执行的AR场景中具有下一个应由使用者进行的推荐动作的情况下，显示图像设定部165使表示下一个应由使用者进行的推荐动作的动态图像作为第二动态图像显示于图像显示最大区域PN。因此，在第三实施方式的HMD100b中，通过使使用者视觉确认使沿多个顺序的作业与不同的对象的检测相应的不同的动态图像，来提高使用者的便利性。

D.变形例：

此外，本发明并不限于上述实施方式，能够在不脱离其主旨的范围内以各种方式实施，例如，也能够进行如下的变形。

D－1.变形例1：

在上述实施方式中，从拍摄图像中检测的第一对象是一个物体，但是并不局限于此，也可以是多个物体等。例如，物体识别部168也可以从拍摄图像中检索还包含多个物体的位置的组合作为第一对象。另外，即使是相同的特定的对象，物体识别部168也可以仅在特定的对象进行特定的活动的情况下，检测为第一对象。另外，物体识别部168也可以检测多个特定的对象，通过使用者从多个特定的对象内选择一个特定的对象，来将选择出的特定的对象检测为第一对象。

在上述第一实施方式中，在检测出作为第二对象的菜刀KN的情况下，作为所执行的AR场景而变更为第二场景，但对于从第一场景向其他场景的变更而言能够进行各种变形。例如，在正执行“刮鱼鳞”的第一场景时，即使检测出实物的鱼鳞刨，在实物的鱼鳞刨的位置、活动与箭头图像CS1大不相同的情况下，CPU140也可以视为检测出第二对象而执行其它的AR场景。

在上述实施方式中，通过图案匹配等图像识别，从拍摄图像中检测出第一对象，但对于检测第一对象的方法而言并不局限于此，能够进行各种变形。例如，物体识别部168也可以不通过针对拍摄图像的图像识别而使用深度传感器等，通过TOF(Time-of-Flight：飞行时间)方法等，测定从深度传感器到第一对象的距离，从而检测第一对象。

从拍摄图像中检测的特定的对象物的图像并不限于上述实施方式的例子，能够进行各种变形。例如，若特定的对象物是从拍摄图像中检测出的实物，则能够与AR场景建立对应关系。如上述实施方式那样，特定的对象物也可以是因人搬运而能够移动的鱼FS，还可以是不能移动的建造物等。另外，特定的对象物也可以是随着时间的经过而进行规则的移动的太阳等。另外，技术方案中的第一对象与第一动态图像建立对应关系包括：通过从外景SC中检测某些对象物作为特定的对象物，来执行被检测出的特定的对象物的AR场景。第一对象与第一动态图像建立对应关系例如包括：从拍摄图像中检测特定的对象物的图像、通过深度传感器等从外景SC检测特定的形状、通过深度传感器从图像显示部20在特定的距离检测某些对象来执行AR场景。

在上述实施方式中，在选择了场景DB138的类别后，从拍摄图像中检测出所选择的类别中包含的AR场景的第一对象，但对于成为第一对象的AR场景的设定而言能够进行各种变形。例如，物体识别部168也可以不将AR场景分类为类别，而从拍摄图像中检测与全部的AR场景建立有对应关系的第一对象。

与第一对象建立对应关系地执行AR场景的方法并不限于上述实施方式的例子，能够进行各种变形。例如，场景DB138也可以不仅将多个AR场景分类为几个类别来存储，还存储有拍摄图像中的第一对象的位置、第一对象的活动、被检测出的特定的对象的顺序、拍摄图像中的第一对象的朝向这些与所取得的外部的声音的组合的表。例如，也可以在检测出从拍摄图像中检测出的一个特定的对象物、并且检测出被检测出的特定的对象物在规定的时间内预先设定的动作的情况下，CPU140执行以与场景DB138建立对应关系的方式存储的AR场景。另外，在检测出一个完整的蛋糕作为第一对象，并且，取得了作为外部声音的“8等分”、“6等分”时，可执行切蛋糕的小刀、以及对检测出的蛋糕切入的位置被显示为AR图像的AR场景。在本变形例中，由于根据多个要素来选择各种AR场景，所以使用者能够从各种AR场景中简单地选择所希望的AR场景。

在上述实施方式中，在检测出特定的对象的情况下，执行一个AR场景，但所执行的AR场景未必限于一个，也可以是多个。例如，也可以在CPU140执行了全部与第一对象建立有对应关系的AR场景的基础上，基于与之后检测出的第一对象不同的特定的对象，从执行了的多个AR场景中，将要执行的AR场景限定为几个。

在上述实施方式中，在具有与第一对象建立有对应关系的多个AR场景的情况下，基于操作部135受理的操作，选择了一个AR场景，但对于从多个AR场景选择一个AR场景的方法而言，能够进行各种变形。例如，CPU140也可以在具有与第一对象建立有对应关系的多个AR场景的情况下，将最近执行了的AR场景选择为要执行的第一场景。

技术方案中的动态图像还包含作为静态图像的组合的翻转书等，也包含即使是相同的图像也以尺寸不同的方式变化的动态图像。动态图像是指随着时间的经过完全没有变化的静态图像以外的广泛概念，也包含多个静态图像的组合发生变化的图像。

另外，作为AR场景所包含的图像，能够进行各种变形，也可以使RGB数据变化，来生成为半透明的AR图像、二维的图像。例如，在图6所示的例子中，也可以相对于“鱼鳞刨”的图像AR1，将拿着鱼鳞刨的半透明的人手的图像与鱼鳞刨的图像AR1同时显示于图像显示最大区域PN。在该变形例中，在正执行AR场景的使用者不知道鱼鳞刨的把持方法等的情况下，通过与鱼鳞刨的图像AR1建立对应关系地使半透明的人手的图像显示于图像显示最大区域PN，会提高使用者的便利性。

在上述实施方式中，照相机61的视场角和使用者透过光学像显示部26、28视觉确认的视场以对应的方式被预先设定，但未必需要以对应的方式进行设定，对于它们的设定能够进行各种变形。例如，也可以通过操作部135受理操作，来变更照相机61的视场角。另外，CPU140也可以在图像显示最大区域PN显示校准用的图像，并向使用者提示规定的操作，来对照相机61的视场角进行调整。

在上述第二实施方式中，作为生物体信息取得传感器90，以肌肉力量传感器SS为例进行了说明，但能够进行各种变形。例如，生物体信息取得传感器90也可以是取得使用者的脉搏、发汗状态等的传感器。生物体信息取得传感器90通过对胳膊发出红外线，并检测反射光，由此对血液的流动也能够取得波形。

在上述第二实施方式中，肌肉力量传感器SS所显示的推荐的肌肉力量的数值是80％，但对于这些值，能够进行各种变形。例如，也可以不采用肌肉力量传感器SS，而通过使转矩扳手与肌肉力量相关联，基于肌肉力量传感器SS取得的变形来显示对工具RN施加多少转矩。

在上述第二实施方式中，对于作为生物体信息取得传感器90的肌肉力量传感器SS的使用，举出一个例子来进行了说明，但对于生物体信息取得传感器90的设定，能够进行各种变形。例如，也可以在使用者的握力、转动胳膊等的动作、握着扭力扳手、高尔夫球杆时的状态下，预先进行多次测量，设定根据这些测量得到的最大值、平均值和与肌肉力量传感器SS等建立有关联的AR场景的关系。更具体而言，当决定了在特定的AR场景下使用的生物体信息取得传感器90以及工具时，预先进行使用了该工具的情况下的测量，并反映给AR场景，从而CPU140能够使执行AR场景的使用者识别包含“要领”等的作业辅助的图像等。

D－2.变形例2：

在上述实施方式中，AR场景的推荐动作的结束的判定是根据从拍摄图像中检测出的人的活动等来进行的，但能够进行各种变形。例如，也可以不通过物体识别部168检测规定的动作来判定推荐动作的结束，而根据话筒63取得的声音(例如“结束了”)来判定。

在上述实施方式中，是若在执行第一场景时检测出第二对象，则执行第二场景的方式，但对于第一场景与第二场景的关系并不限于这样的关系，能够进行各种变形。例如，也可以使第一场景和第二场景合并，作为一个复合的AR场景来处理。该情况下，也能够换言之CPU140在正执行一个AR场景时检测出上述实施方式中的第二对象的情况下，在正执行的AR场景中分支了。

在上述实施方式中，在检测出第二对象的情况下执行了第二场景，但未必需要执行第二场景。例如，CPU140也可以在检测出第一对象并执行第一场景时，不检测与第一场景未建立有对应关系的特定的对象物。

在上述实施方式中，显示图像设定部165与作为被检测出的第一对象的鱼FS的位置等建立对应关系地使AR图像显示于图像显示最大区域PN，但对于显示图像的位置，能够进行各种变形。例如，显示图像设定部165也可以在检测出特定的对象物的情况下，不管特定的对象物的位置如何，都在与图像显示最大区域PN的关系下，设定显示AR图像的位置。

在上述实施方式中，作为对使用者的作业进行辅助的AR场景，以鱼FS的烹调方法、轮胎TR的更换为例进行了说明，但并不限于这些，能够进行各种变形。例如，也可以是对工厂的特定的作业进行辅助的AR场景，也可以是演讲高尔夫球等运动中的运动用具的使用方法的AR场景。

在上述实施方式中，话筒63、耳机32、34、声音处理部170包含于HMD100的结构，但未必是必须的，也可以没有话筒63等。

在上述第三实施方式中，在判定为使用者的作业的位置不适当的情况下(图19的步骤S59：“否”)，显示图像设定部165使图20所示的位置调整的图像显示于图像显示最大区域PN。另一方面，在使用者的作业的位置等不适当的情况下，对于显示图像设定部165在图像显示最大区域PN显示的图像、动态图像能够进行各种变形。例如，在第三实施方式中，显示图像设定部165也可以在通过从图21的图像变化到图22的图像来向使用者提示工具扳手的使用时，当从外景SC的图像中检测出扳手以外的工具(例如起子)时，使提示工具的变更的动态图像显示于图像显示最大区域PN。在本变形例中，能够使使用者视觉确认应进行的作业中使用的工具不同，提高使用者的便利性。此外，在变形例中，提示工具的变更的动态图像相当于技术方案中的第2动态图像。

D－3.变形例3：

在上述实施方式中，在控制部10形成有操作部135，但对于操作部135的方式能够进行各种变形。例如，也可以是与控制部10独立地具有作为操作部135的用户接口的方式。在这种情况下，由于操作部135与形成有电源130等的控制部10独立，所以能够小型化，提高使用者的操作性。另外，照相机61被配置于图像显示部20，但照相机61也可以与图像显示部20独立地构成而能够拍摄外景SC。另外，也可以是构成控制部10的CPU140、电源130全部被搭载于图像显示部20的HMD100。在本HMD100中，由于没有与图像显示部20独立构成的控制器，所以能够进一步小型化。另外，也可以对控制部10和图像显示部20的每一个搭载CPU140，从而将控制部10作为控制器单体来使用，图像显示部20作为显示装置单体来使用。

例如，图像光生成部也可以是具备有机EL(有机电致发光，Organic Electro-Luminescence)的显示器、以及有机EL控制部的结构。另外，例如图像光生成部也能够取代LCD而使用LCOS(Liquid crystal on silicon：硅基液晶,LCoS是注册商标)、数字微镜器件。另外，例如也能够对激光网膜投影型的HMD100应用本发明。另外，图像显示最大区域PN也可以由使形成于各像素的MEMS快门开闭的MEMS快门方式的显示器构成。

另外，例如HMD100也可以是光学像显示部仅覆盖使用者的眼睛的一部分的方式，换言之，光学像显示部不完全覆盖使用者的眼睛的方式的头戴式显示器。另外，HMD100也可以是所谓的单眼类型的头戴式显示器。另外，也可以取代HMD100，使用不佩戴于使用者的头部而像双筒望远镜那样使用者用手固定位置的手持式显示器作为图像显示装置。另外，HMD100为两眼类型的光学透射型，但本发明例如同样能够应用于视频透射型等其他形式的头部佩戴型显示装置。

另外，HMD100也可以被用作只用于基于从其他的装置接收到的图像信号来显示图像的显示装置。具体而言，作为与台式PC的显示器相当的显示装置来使用，例如，也可以从台式PC接收图像信号，从而在图像显示部20的图像显示最大区域PN显示图像。

另外，HMD100也可以以作为系统的一部分发挥作用的方式来使用。例如，也可以作为用于执行包含航空器的系统的一部分的功能的装置来使用HMD100，作为使用HMD100的系统，并不限于包含航空器的系统，也可以是包含汽车、自行车等的系统。

另外，耳机也可以采用入耳式、头戴式，也可以省略。另外，例如也可以构成为搭载于汽车、飞机等车辆的头部佩戴型显示装置。另外，例如也可以构成为内置于头盔等身体护具的头部佩戴型显示装置。

D－4.变形例4：

上述实施方式中的HMD100的结构只是一个例子，能够进行各种变形。例如，也可以省略设置于控制部10的方向键16，或除了方向键16、触控板14以外，还设置操作用杆等其他操作用接口。另外，控制部10也可以是能够连接键盘、鼠标等输入设备的结构，从键盘、鼠标受理输入。

另外，作为图像显示部，也可以取代像眼镜那样佩戴的图像显示部20，例如采用像帽子那样佩戴的图像显示部等其他方式的图像显示部。另外，能够适当地省略耳机32、34。另外，在上述实施方式中，作为生成图像光的结构，利用了LCD和光源，但也可以取代这些而采用有机EL显示器等其他显示元件。

图26是表示变形例中的HMD的外观结构的说明图。在图26(A)的例子的情况下，与图1所示的HMD100的不同之处在于，图像显示部20x取代右光学像显示部26而具备右光学像显示部26x的点、和取代左光学像显示部28而具备左光学像显示部28x的点。右光学像显示部26x形成得比上述实施方式的光学部件小，被配置在佩戴HMD100x时的使用者的右眼的斜上方。同样，左光学像显示部28x形成得比上述实施方式的光学部件小，被配置在佩戴HMD100x时的使用者的左眼的斜上方。在图26(B)的例子的情况下，与图1所示的HMD100的不同之处在于，图像显示部20y取代右光学像显示部26而具备右光学像显示部26y的点、和取代左光学像显示部28而具备左光学像显示部28y的点。右光学像显示部26y形成得比上述实施方式的光学部件小，被配置在佩戴头戴式显示器时的使用者的右眼的斜下方。左光学像显示部28y形成得比上述实施方式的光学部件小，被配置在佩戴头戴式显示器时的使用者的左眼的斜下方。这样，光学像显示部只要配置在使用者的眼睛的附近即可。另外，形成光学像显示部的光学部件的大小也是任意的，能够作为光学像显示部仅覆盖使用者的眼睛的一部分的方式，换言之，光学像显示部不完全覆盖使用者的眼睛的方式的HMD100来实现。

另外，在上述实施方式中，HMD100也可以向使用者的左右眼导入表示相同图像的图像光来使使用者视觉确认二维图像，也可以向使用者的左右眼导入表示不同图像的图像光来使使用者视觉确认三维图像。

另外，在上述实施方式中，也可以将通过硬件实现的结构的一部置换为软件，相反，也可以将通过软件实现的结构的一部分置换为硬件。例如，在上述实施方式中，图像处理部160、声音处理部170通过CPU140读出并执行计算机程序来实现，但这些功能部也可以通过硬件电路来实现。

另外，在本发明的功能的一部分或者全部由软件来实现的情况下，该软件(计算机程序)能够以被储存至计算机可读取的记录介质的形式来提供。在本发明中，“计算机可读取的记录介质”并不限于像软盘、CD－ROM那样的便携式记录介质，还包含各种RAM、ROM等计算机内的内部存储装置、硬盘等被固定于计算机的外部存储装置。

另外，在上述实施方式中，如图1以及图2所示，控制部10和图像显示部20被形成为独立的结构，但控制部10和图像显示部20的结构并不局限于此，能够进行各种变形。例如，也可以在图像显示部20的内部形成形成于控制部10的全部结构，也可以形成一部分。另外，上述实施方式中的电源130也可以单独地形成，为能够更换的结构，形成于控制部10的结构也可以重复形成于图像显示部20。例如，图2所示的CPU140也可以形成于控制部10和图像显示部20双方，也可以是形成于控制部10的CPU140和形成于图像显示部20的CPU所进行的功能被分别划分为的结构。

本发明并不限于上述实施方式、变形例，能够在不脱离其主旨的范围内以各种构成来实现。例如，与发明的概要栏所记载的各形式中的技术特征对应的实施方式、变形例中的技术特征能够为了解决上述课题的一部分或者全部，或者为了实现上述效果的一部分或者全部而适当地进行替换、组合。另外，如果该技术特征在本说明书中不是作为必须的结构来说明的，则能够适当地删除。

符号说明

10…控制部；11…决定键；12…点亮部；13…显示切换键；14…触控板；15…亮度切换键；16…方向键；17…菜单键；18…电源开关；20…图像显示部；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学像显示部；28…左光学像显示部；30…耳机插头；32…右耳机(声音输出部)；34…左耳机(声音输出部)；40…连接部；42…右软线；44…左软线；46…连结部件；48…主体软线；51、52…发送部；53、54…接收部；61…照相机(检测部)；63…话筒(声音取得部)；90…生物体信息取得传感器(生物体信息取得部)；100…HMD；120…存储部；130…电源；132…无线通信部(接收部)；135…操作部；138…场景DB；140…CPU；150…操作系统；160…图像处理部；165…显示图像设定部；168…物体识别部(检测部)；169…生物体信息处理部(生物体信息取得部)；170…声音处理部(声音取得部、声音输出部)；180…接口；190…显示控制部；201…右背光灯控制部；202…左背光灯控制部；211…右LCD控制部；212…左LCD控制部；221…右背光灯；222…左背光灯；241…右LCD；242…左LCD；251…右投影光学系统；252…左投影光学系统；261…右导光板；262…左导光板；IMG1…选择图像；OA…外部设备；SC…外景；BC…砧板；HD…胳膊；LE…左眼；RE…右眼；LG…脚(第二对象)；RH…右手；LH…左手；IL…照明光；PL…图像光；EL…端部；PN…图像显示最大区域；KN…菜刀(第二对象)；RN…工具(第二对象)；AP…前端部；VR…视场；TR…轮胎(第一对象)；ER…端部；SS…肌肉力量传感器(生物体信息取得部)；FS…鱼(第一对象)；BT…螺栓(第一对象)；CB1、CB2…鱼片；MB…脊骨；AR1、AR2、AR3、AR4、AR5、AR6…图像；CS1、CS2、CS3…箭头图像；TX1、TX2、TX3、TX4、TX5、TX6、TX7…文本图像；ARH…胳膊图像；ARR…工具图像；ARS…肌肉力量传感器图像；BB…水龙头(第一对象)；WL1、WL2、WL3、WL4…漏水位置；TD…水滴；CS…箭头图像；IMPT…部件图像；IMS1、IMS2、IMS3…工具图像；NT…螺母部；BS…水龙头的根部；IMRH…右手图像；IMNT…螺母图像；IMPI…管道图像。

Claims (13)

1.一种头部佩戴型显示装置，其特征在于，

是透射型的头部佩戴型显示装置，具备：

检测部，从外景中检测第一对象；

图像显示部，能够使所述外景透过，并能够显示图像；以及

显示图像设定部，使与检测出的所述第一对象建立了对应关系的动态图像即第一动态图像显示于所述图像显示部，

所述检测部从所述外景中检测与所述第一对象不同的第二对象，

若在使所述第一动态图像显示于所述图像显示部时检测出所述第二对象，则所述显示图像设定部取代所述第一动态图像，而使作为与所述第二对象建立了对应关系的和所述第一动态图像不同的动态图像的第二动态图像显示于所述图像显示部。

2.根据权利要求1所述的头部佩戴型显示装置，其特征在于，

所述显示图像设定部将所述第一动态图像与检测出的所述第一对象的位置建立对应关系地进行显示。

3.根据权利要求1或者2所述的头部佩戴型显示装置，其特征在于，

所述检测部拍摄所述外景，从拍摄到的拍摄图像中检测所述第一对象。

4.根据权利要求1或者2所述的头部佩戴型显示装置，其特征在于，

所述第一动态图像是与对检测出的所述第一对象进行的作业相关联的动态图像。

5.根据权利要求1所述的头部佩戴型显示装置，其特征在于，

所述第二动态图像是与通过所述第一动态图像向使用者推荐的作业的下一个被推荐的作业相关联的动态图像。

6.根据权利要求1所述的头部佩戴型显示装置，其特征在于，

所述第二动态图像表示被检测出的所述第二对象不用于通过所述第一动态图像向使用者推荐的作业。

7.根据权利要求1或者2所述的头部佩戴型显示装置，其特征在于，

还具备取得外部的声音的声音取得部，

所述显示图像设定部基于检测出的所述第一对象和所取得的所述声音的组合，使所述第一动态图像显示于所述图像显示部。

8.根据权利要求1或者2所述的头部佩戴型显示装置，其特征在于，

还具备声音输出部，该声音输出部在所述第一动态图像被显示于所述图像显示部时，输出与所述第一动态图像建立了对应关系的声音。

9.根据权利要求1或者2所述的头部佩戴型显示装置，其特征在于，

还具备取得使用者的生物体信息的生物体信息取得部，

所述显示图像设定部基于检测出的所述第一对象和所取得的使用者的所述生物体信息，来使所述第一动态图像显示于所述图像显示部。

10.根据权利要求1或者2所述的头部佩戴型显示装置，其特征在于，

所述第一对象与所述第一动态图像的对应是被检测出的所述第一对象的种类、所述第一对象的活动、所述外景中的所述第一对象的位置以及所述第一对象的朝向的至少一个与所述第一动态图像的组合。

11.一种显示系统，其特征在于，

是具有存储装置和透射型的头部佩戴型显示装置的显示系统，

所述存储装置具备：

存储部，存储动态图像；以及

发送部，将被存储的所述动态图像发送至所述头部佩戴型显示装置，

所述头部佩戴型显示装置具备：

检测部，从外景中检测第一对象；

图像显示部，能够使所述外景透过，并能够显示图像；

接收部，接收与检测出的所述第一对象建立对应关系地被存储于所述存储装置的所述动态图像即第一动态图像；以及

显示图像设定部，使所述第一动态图像显示于所述图像显示部，

所述检测部从所述外景中检测与所述第一对象不同的第二对象，

若在使所述第一动态图像显示于所述图像显示部时检测出所述第二对象，则所述显示图像设定部取代所述第一动态图像，而使作为与所述第二对象建立了对应关系的和所述第一动态图像不同的动态图像的第二动态图像显示于所述图像显示部。

12.一种控制方法，其特征在于，

是具有能够透过外景并能够显示图像的图像显示部的透射型的头部佩戴型显示装置的控制方法，该控制方法具备：

从外景中检测第一对象的检测工序；以及

使与检测出的所述第一对象建立了对应关系的动态图像即第一动态图像显示于所述图像显示部的显示图像设定工序，

所述检测工序从所述外景中检测与所述第一对象不同的第二对象，

若在使所述第一动态图像显示于所述图像显示部时检测出所述第二对象，则所述显示图像设定工序取代所述第一动态图像，而使作为与所述第二对象建立了对应关系的和所述第一动态图像不同的动态图像的第二动态图像显示于所述图像显示部。

13.一种计算机可读存储介质，其特征在于，

存储有具有能够透过外景并能够显示图像的图像显示部的透射型的头部佩戴型显示装置用的计算机程序，上述计算机程序使计算机实现：

从外景中检测第一对象的检测功能；以及

使与检测出的所述第一对象建立了对应关系的动态图像即第一动态图像显示于所述图像显示部的显示图像设定功能，

所述检测功能包括从所述外景中检测与所述第一对象不同的第二对象的功能，

所述显示图像设定功能包括若在使所述第一动态图像显示于所述图像显示部时检测出所述第二对象，则取代所述第一动态图像，而使作为与所述第二对象建立了对应关系的和所述第一动态图像不同的动态图像的第二动态图像显示于所述图像显示部的功能。

Images