CN110389447A - 透射型头部佩戴型显示装置、辅助系统、显示控制方法和介质 - Google Patents

Abstract

透射型头部佩戴型显示装置、辅助系统、显示控制方法和介质。在透射型的头部佩戴型显示装置中，提高多个作业者的协作度。透射型头部佩戴型显示装置具有：图像显示部，其使外景透过，以能够与该外景一起被目视到的方式显示作为显示对象的图像；摄像部；对象确定部，其根据由摄像部拍摄到的摄像图像，确定作为透射型头部佩戴型显示装置的使用者应该执行的任务而预先设定的任务的对象；任务产生确定部，其根据摄像图像中的对象的状态，确定是否产生了任务；以及显示控制部，其在确定为产生了任务的情况下，使图像显示部显示与任务相关联的关联信息。

Description

透射型头部佩戴型显示装置、辅助系统、显示控制方法和介质

技术领域

本发明涉及利用透射型头部佩戴型显示装置的作业辅助。

背景技术

作为佩戴于头部而在使用者的视野区域内显示图像等的头部佩戴型显示装置(头戴显示器(Head Mounted Display、HMD))，公知有在佩戴时能够与显示图像一起透射目视外界风景的透射型头部佩戴型显示装置。以往，提出了各种利用透射型头部佩戴型显示装置的作业辅助技术。例如，在专利文献1中提出了如下技术：进行商品的分类作业的作业者和该作业者的管理者分别佩戴HMD，在作业者佩戴的HMD的显示部中显示商品名等商品信息，在管理者佩戴的HMD的显示部中显示对作业者的视场空间进行摄像而得到图像，由此实现双方的作业的高效化。此外，例如，在专利文献2中公开了如下技术：管理者对位于远处的作业者佩戴的HMD的照相机的朝向和变焦镜头的位置进行控制，能够确认该照相机拍摄到的图像，同时对作业者进行作业指示。

专利文献1：日本特开2010-139589号公报

专利文献2：日本特开2008-113317号公报

发明内容

发明要解决的课题

但是，以往，在透射型的头部佩戴显示装置中，实际情况是，针对多个作业者彼此相互协作进行作业的情况下的作业辅助，没有进行充分研究。例如，专利文献1和2所记载的技术完全没有考虑存在多名作业者的情况。

用于解决课题的手段

根据本发明的一个实施方式，提供透射型头部佩戴型显示装置。该透射型头部佩戴型显示装置具有：图像显示部，其使外景透过，以能够与该外景一起被目视到的方式显示作为显示对象的图像；摄像部；对象确定部，其根据由所述摄像部拍摄到的摄像图像，确定作为所述透射型头部佩戴型显示装置的使用者应该执行的任务而预先设定的任务的对象；任务产生确定部，其根据所述摄像图像中的所述对象的状态，确定是否产生了所述任务；以及显示控制部，其在确定为产生了所述任务的情况下，使所述图像显示部显示与所述任务相关联的关联信息。

附图说明

图1是示意地示出执行作为本发明的第1实施方式的作业辅助系统的状况的说明图。

图2是示出作业辅助系统和透射型头部佩戴型显示装置的概略结构的说明图。

图3是示出第1图像显示部所具有的光学系统的结构的主要部分俯视图。

图4是示出从第1使用者观察的第1图像显示部的主要部分结构的图。

图5是用于说明照相机的视场角的图。

图6是功能性地示出HMD的结构的框图。

图7是功能性地示出第1控制装置的结构的框图。

图8是功能性地示出第2控制装置的结构的框图。

图9是功能性地示出第3控制装置的结构的框图。

图10是示出增强现实显示的一例的说明图。

图11是示出第1HMD中的作业辅助处理的处理步骤的流程图。

图12是示出第1HMD中的作业辅助处理的处理步骤的流程图。

图13是示意地示出执行步骤S125后的第1使用者的视场的说明图。

图14是示出第2HMD和第3HMD中的作业辅助处理的处理步骤的流程图。

图15是示意地示出执行步骤S225后的第3使用者的视场的说明图。

图16是示意地示出执行第2实施方式中的作业辅助处理的状况的说明图。

图17是示意地示出执行第3实施方式中的作业辅助处理的状况的说明图。

图18是示意地示出执行步骤S125后的第1使用者的视场的说明图。

图19是示出任务数据的一例的说明图。

图20是示意地示出其他实施方式17中的执行步骤S125后的第1使用者的视场的说明图。

标号说明

1：作业辅助系统；10：第1控制装置；12：点亮部；14：触控板；16：方向键；17：决定键；18：电源开关；19：振动器；20：第1图像显示部；21：右保持部；22：右显示单元；23：左保持部；24：左显示单元；26：右导光板；27：前部框架；28：左导光板；30：耳机；32：右耳机；34：左耳机；40：连接缆线；46：连接器；61：照相机；63：麦克风；65：照度传感器；67：LED指示器；100：第1透射型头部佩戴型显示装置；110：操作部；111：6轴传感器；113：磁传感器；115：GNSS接收机；117：无线通信部；118：存储器；120：控制器基板；121：非易失性存储部；122：存储功能部；123：设定数据存储部；124：内容数据存储部；125：任务数据存储部；130：电源部；132：电池；134：电源控制电路；140：主处理器；145：图像处理部；147：第1显示控制部；149：摄像控制部；150：第1控制功能部；151：输入输出控制部；153：对象确定部；155：第1任务产生确定部；157：第1任务完成确定部；159：关联信息提供部；161：视线检测部；163：对象位置确定部；165：第1动作检测部；167：第2任务产生确定部；169：第2任务完成确定部；171：位置取得部；173：负荷状况取得部；175：执行者决定部；180：声音编解码器；182：声音接口；184：外部连接器；186：外部存储器接口；188：USB连接器；192：传感器集线器；196：接口；200：第2透射型头部佩戴型显示装置；209：显示单元基板；210：第2控制装置；211：接口；213：接收部；215：EEPROM；217：温度传感器；220：第2图像显示部；221：OLED单元；223：OLED面板；225：OLED驱动电路；230：显示单元基板；231：接口；233：接收部；235：6轴传感器；237：磁传感器；239：温度传感器；241：OLED单元；243：OLED面板；245：OLED驱动电路；251：右光学系统；252：左光学系统；261：半反射镜；281：半反射镜；300：第3透射型头部佩戴型显示装置；310：第3控制装置；320：第3图像显示部；450：第2控制功能部；455：第2显示控制部；457：关联信息取得部；459：位置提供部；461：负荷状况提供部；550：第3控制功能部；555：第3显示控制部；557：关联信息取得部；559：位置提供部；561：负荷状况提供部；563：第2动作检测部；565：第2任务完成确定部；AI：对象图像；BS：租赁视频店；CI：摄像图像；EL：端部；ER：端部；KI1：关联信息图像；KI2：关联信息图像；KI3：关联信息图像；KI4：关联信息图像；KI5：关联信息图像；KI6：关联信息图像；KI7：关联信息图像；KI8：关联信息图像；KI9：关联信息图像；KI10：关联信息图像；KI11：关联信息图像；L：图像光；LE：左眼；Mp：店内地图图像；OB：对象物；OL：外光；PN：显示区域；PN1：显示区域；PN2：显示区域；PN3：显示区域；PN4：显示区域；RD：视线；RE：右眼；Rst：餐饮店；SC：外景；Sh：餐具架；TL：任务数据；Tg1：客人；US1：第1使用者；US2：第2使用者；US3：第3使用者；VT：视场；VT1：视场；VT2：视场；VT3：视场；VT4：视场；d1：盘子；d2：盘子；d3：盘子。

具体实施方式

A.第1实施方式：

A1.作业辅助系统的结构：

图1是示意地示出执行作为本发明的第1实施方式的作业辅助系统的状况的说明图。作业辅助系统在西餐厅等餐饮店中，多名餐厅服务员分别佩戴后述透射型头部佩戴型显示装置进行服务员作业，并且，根据相互的作业状况，餐厅服务员彼此对相互的作业进行辅助。例如，如图1所示，在餐饮店Rst内，第1餐厅服务员US1佩戴透射型头部佩戴型显示装置100，正在收拾餐具。第2餐厅服务员US2佩戴透射型头部佩戴型显示装置200，正在提供饭食。第3餐厅服务员US3佩戴透射型头部佩戴型显示装置300，正在拿着菜单本走路。

此外，在餐饮店Rst内，多个客人正在就餐或谈话等。多个客人中的客人Tg1将视线朝向第1餐厅服务员US1，要呼唤第1餐厅服务员US1。但是，第1餐厅服务员US1可能没有注意到客人Tg1正在看着第1餐厅服务员US1的状态，对客人Tg1的接待可能延迟。

因此，在本实施方式的作业辅助系统中，在各透射型头部佩戴型显示装置100、200和300中分别执行后述作业辅助处理，由此，在餐厅服务员US1、US2和US3彼此之间共享产生了接待客人Tg1这样的作业等的信息，并且，根据各餐厅服务员US1、US2和US3的作业的负荷状况决定作业的执行者，使所决定的执行者执行作业。作业辅助处理的详细说明在后面叙述，首先，对透射型头部佩戴型显示装置100、200和300的结构进行说明。另外，在以后的说明中，有时将各餐厅服务员US1、US2和US3分别称为使用者US1、US2和US3。

A2.透射型头部佩戴型显示装置的结构：

图2是示出作业辅助系统和透射型头部佩戴型显示装置的概略结构的说明图。在本实施方式中，作业辅助系统1具有3台透射型头部佩戴型显示装置100、200和300。透射型头部佩戴型显示装置100、200和300是佩戴于使用者的头部的显示装置，也被称为头戴显示器(Head Mounted Display、HMD)。HMD100、200和300是在通过镜片而目视的外界中浮现图像的透视型(透射型)的头部佩戴型显示装置。

第1HMD100具有使第1使用者US1目视图像的第1图像显示部20、以及对第1图像显示部20进行控制的第1控制装置(控制器)10。第2HMD200和第3HMD300是与第1HMD100相同的结构。因此，在图2中，未对第2HMD200和第3HMD300的一部分结构标注标号。此外，3台HMD100、200以及300分别经由后述的无线通信部117进行无线连接。

第1图像显示部20是佩戴于第1使用者US1的头部的佩戴体，在本实施方式中，具有眼镜形状。第1图像显示部20在具有右保持部21、左保持部23、前部框架27的支承体上具有右显示单元22、左显示单元24、右导光板26、左导光板28。

右保持部21和左保持部23分别从前部框架27的两端部向后方延伸，如眼镜的镜腿(腿)那样在使用者的头部保持第1图像显示部20。这里，设前部框架27的两端部中的、第1图像显示部20的佩戴状态下位于使用者的右侧的端部为端部ER，设位于使用者的左侧的端部为端部EL。右保持部21设置成从前部框架27的端部ER延伸到第1图像显示部20的佩戴状态下的与使用者的右侧头部对应的位置。左保持部23设置成从前部框架27的端部EL延伸到第1图像显示部20的佩戴状态下的与第1使用者US1的左侧头部对应的位置。

右导光板26和左导光板28设置在前部框架27上。右导光板26位于第1图像显示部20的佩戴状态下的第1使用者US1的右眼的眼前，使右眼目视图像。左导光板28位于第1图像显示部20的佩戴状态下的第1使用者US1的左眼的眼前，使左眼目视图像。

前部框架27具有相互连结右导光板26的一端和左导光板28的一端的形状。该连结位置对应于第1图像显示部20的佩戴状态下的第1使用者US1的眉间的位置。在前部框架27中，也可以在右导光板26与左导光板28的连结位置处设置有在第1图像显示部20的佩戴状态下与第1使用者US1的鼻子抵接的鼻接触部。该情况下，能够通过鼻接触部、右保持部21和左保持部23在第1使用者US1的头部保持第1图像显示部20。此外，也可以将带连结于右保持部21和左保持部23，该带在第1图像显示部20的佩戴状态下与第1使用者US1的后头部接触。该情况下，能够通过带而在第1使用者US1的头部牢固地保持第1图像显示部20。

右显示单元22进行基于右导光板26的图像的显示。右显示单元22设置在右保持部21上，位于第1图像显示部20的佩戴状态下的第1使用者US1的右侧头部的附近。左显示单元24进行基于左导光板28的图像的显示。左显示单元24设置于左保持部23，位于第1图像显示部20的佩戴状态下的第1使用者US1的左侧头部的附近。

本实施方式的右导光板26和左导光板28是由光透射性的树脂等形成的光学部(例如棱镜)，将右显示单元22和左显示单元24输出的图像光引导至第1使用者US1的眼睛。另外，也可以在右导光板26和左导光板28的表面设置有调光板。调光板是透射率根据光的波段而不同的薄板状的光学元件，作为所谓的波长过滤器发挥功能。调光板例如配置成覆盖前部框架27的表面(与第1使用者US1的眼睛相对的面的相反侧的面)。通过适当选择调光板的光学特性，能够对可见光、红外光和紫外光等任意波段的光的透射率进行调整，能够对从外部入射到右导光板26和左导光板28且透射过右导光板26和左导光板28的外光的光量进行调整。

第1图像显示部20将右显示单元22和左显示单元24分别生成的图像光引导至右导光板26和左导光板28，通过该图像光，与透射过自身而目视的外界的风景一起，使第1使用者US1目视图像(增强现实(Augmented Reality、AR)图像)(也将其称为“显示图像”)。在外光从第1使用者US1的前方透射过右导光板26和左导光板28而入射到第1使用者US1的眼睛的情况下，构成图像的图像光和外光入射到第1使用者US1的眼睛。因此，第1使用者US1中的图像的可视性受到外光的强度的影响。

因此，例如在前部框架27装配调光板，适当选择或调整调光板的光学特性，由此，能够对图像的目视的容易度进行调整。在典型例子中，能够选择具有佩戴了第1HMD100的第1使用者US1至少能够目视外部景色的程度的光透射性的调光板。此外，能够抑制太阳光，提高图像的可视性。此外，当使用调光板时，能够期待保护右导光板26和左导光板28且抑制右导光板26和左导光板28的损伤或污物的附着等的效果。调光板可以能够相对于前部框架27、或右导光板26以及左导光板28分别进行拆装。此外，也可以更换多种调光板并进行拆装，还可以省略调光板。

照相机61配置在第1图像显示部20的前部框架27。照相机61在前部框架27的前表面中设置在不会遮挡透射过右导光板26和左导光板28的外光的位置。在图2的例子中，照相机61配置在前部框架27的端部ER侧。照相机61也可以配置在前部框架27的端部EL侧，还可以配置在右导光板26与左导光板28的连结部。

照相机61是具有CCD或CMOS等摄像元件和摄像镜头等的数字照相机。本实施方式的照相机61是单镜头照相机，但是，也可以采用立体照相机。照相机61对第1HMD100的表侧方向、换言之第1图像显示部20的佩戴状态下的第1使用者US1目视的视场方向的至少一部分的外界(实际空间)进行摄像。换言之，照相机61对与第1使用者US1的视场重叠的范围或方向进行摄像，对第1使用者US1目视的方向进行摄像。照相机61的视场角的宽度能够适当设定。在本实施方式中，照相机61的视场角的宽度设定为，能够对第1使用者US1可透过右导光板26和左导光板28目视的第1使用者US1的视场的整体进行摄像。照相机61按照第1控制功能部150(图7)的控制执行摄像，将所得到的摄像数据输出到第1控制功能部150。

第1HMD100也可以具有测距传感器，该测距传感器检测与位于预先设定的测定方向上的测定对象物之间的距离。测距传感器例如能够配置在前部框架27的右导光板26与左导光板28的连结部分。测距传感器的测定方向能够设为第1HMD100的表侧方向(与照相机61的摄像方向重复的方向)。测距传感器例如能够由LED或激光二极管等发光部、以及接收光源发出的光在测定对象物上反射的反射光的受光部构成。该情况下，通过三角测距处理或基于时间差的测距处理求出距离。测距传感器例如也可以由发出超声波的发射部、以及接收在测定对象物上反射的超声波的接收部构成。该情况下，通过基于时间差的测距处理求出距离。测距传感器与照相机61同样，按照第1控制功能部150的指示进行测距，将检测结果输出到第1控制功能部150。

图3是示出第1图像显示部20具有的光学系统的结构的主要部分俯视图。为了便于说明，图3示出了第1使用者US1的右眼RE和左眼LE。如图3所示，右显示单元22和左显示单元24左右对称地构成。

作为使右眼RE目视图像(AR图像)的结构，右显示单元22具有OLED(Organic LightEmitting Diode)单元221和右光学系统251。OLED单元221发出图像光。右光学系统251具有透镜组等，将OLED单元221发出的图像光L引导至右导光板26。

OLED单元221具有OLED面板223以及对OLED面板223进行驱动的OLED驱动电路225。OLED面板223是由通过有机电致发光进行发光且分别发出R(红)、G(绿)、B(蓝)色光的发光元件构成的自发光型的显示面板。OLED面板223矩阵状地配置有多个像素，该多个像素以各包含1个R、G、B元件的单位为1个像素。

OLED驱动电路225按照后述第1控制功能部150(图7)的控制，执行OLED面板223具有的发光元件的选择和通电，使发光元件发光。OLED驱动电路225通过键合等固定在OLED面板223的背面即发光面的里侧。OLED驱动电路225例如也可以由对OLED面板223进行驱动的半导体器件构成，安装在固定于OLED面板223的背面的基板上。在该基板上安装有后述温度传感器217(图6)。另外，OLED面板223也可以采用矩阵状地配置发出白色光的发光元件且重叠配置与R、G、B的各颜色对应的滤色器的结构。此外，也可以采用在分别发射R、G、B的颜色光的发光元件的基础上具有发射W(白)光的发光元件的WRGB结构的OLED面板223。

右光学系统251具有使从OLED面板223射出的图像光L成为平行状态的光束的准直透镜。通过准直透镜而成为平行状态的光束的图像光L入射到右导光板26。在右导光板26的内部引导光的光路中形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而引导至右眼RE侧。在右导光板26形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L在半反射镜261反射后，从右导光板26向右眼RE射出，该图像光L在右眼RE的视网膜上成像，由此，使第1使用者US1目视图像。

作为使左眼LE目视图像(AR图像)的结构，左显示单元24具有OLED单元241和左光学系统252。OLED单元241发出图像光。左光学系统252具有透镜组等，将OLED单元241发出的图像光L引导至左导光板28。OLED单元241具有OLED面板243以及对OLED面板243进行驱动的OLED驱动电路245。各部的详细情况与OLED单元221、OLED面板223、OLED驱动电路225相同。在固定于OLED面板243的背面的基板上安装有温度传感器239(图6)。此外，左光学系统252的详细情况与上述右光学系统251相同。

根据以上说明的结构，第1HMD100能够作为透视型的显示装置发挥功能。即，在半反射镜261反射的图像光L和透射过右导光板26的外光OL入射到第1使用者US1的右眼RE。在半反射镜281上反射的图像光L和透射过左导光板28的外光OL入射到第1使用者US1的左眼LE。这样，第1HMD100使在内部处理后的图像的图像光L和外光OL重叠地入射到第1使用者US1的眼睛。其结果，第1使用者US1透过右导光板26和左导光板28看到外界的风景(实际世界)，并且，与该外界重叠地目视基于图像光L的虚像(虚像图像、AR图像)。

另外，将右光学系统251和右导光板26统称为“右导光部”，将左光学系统252和左导光板28统称为“左导光部”。右导光部和左导光部的结构不限于上述例子，只要使用图像光在第1使用者US1的眼前形成图像，能够使用任意方式。例如，在右导光部和左导光部中，可以使用衍射光栅，也可以使用半透射反射膜。

在图2中，第1控制装置10和第1图像显示部20通过连接缆线40连接。连接缆线40以能够拆装的方式与设置在第1控制装置10的下部的连接器连接，从左保持部23的前端与第1图像显示部20内部的各种电路连接。在连接缆线40中具有传输数字数据的金属缆线或光纤缆线。在连接缆线40中还可以包含传输模拟数据的金属缆线。在连接缆线40的中途设置有连接器46。

连接器46是连接立体声迷你插头的插座，连接器46和第1控制装置10例如通过传输模拟声音信号的线连接。在图2所示的本实施方式的例子中，连接器46连接有构成立体声耳机的右耳机32和左耳机34、以及具有麦克风63的耳机30。

例如，如图2所示，麦克风63配置成麦克风63的拾音部朝向第1使用者US1的视线方向。麦克风63拾取声音，将声音信号输出到声音接口182(图6)。麦克风63可以是单声道麦克风，也可以是立体声麦克风，可以是具有定向性的麦克风，也可以是无定向性的麦克风。

第1控制装置10是用于对第1HMD100进行控制的装置。第1控制装置10包含点亮部12、触控板14、方向键16、决定键17、电源开关18。点亮部12通过其发光形式来通知第1HMD100的动作状态(例如电源的ON/OFF等)。作为点亮部12，例如能够使用LED(LightEmitting Diode)。

触控板14检测触控板14的操作面上的接触操作，输出与检测内容对应的信号。作为触控板14，能够采用静电式、压力检测式、光学式这样的各种触控板。方向键16检测针对与上下左右方向对应的键的按下操作，输出与检测内容对应的信号。决定键17检测按下操作，输出用于决定第1控制装置10中操作的内容的信号。电源开关18检测开关的滑动操作，由此切换第1HMD100的电源的状态。

图4是示出从第1使用者US1观察的第1图像显示部20的主要部分结构的图。在图4中省略连接缆线40、右耳机32、左耳机34的图示。在图4的状态下，能够目视右导光板26和左导光板28的里侧，并且，能够目视用于对右眼RE照射图像光的半反射镜261和用于对左眼LE照射图像光的半反射镜281作为大致四边形的区域。第1使用者US1透射过包含这些半反射镜261、281的右导光板26、左导光板28的整体来目视外界的风景，并且，在半反射镜261、281的位置目视矩形的显示图像。

图5是用于说明照相机61的视场角的图。在图5中，在俯视图中示意地示出照相机61以及第1使用者US1的右眼RE和左眼LE，并且利用θ示出照相机61的视场角(摄像范围)。另外，关于照相机61的视场角θ，除了如图所示在水平方向上扩展以外，与一般的数字照相机同样，还在铅垂方向上扩展。

如上所述，照相机61在第1图像显示部20中配置在右侧的端部，对第1使用者US1的视线的方向(即使用者的前方)进行摄像。因此，照相机61的光轴设为包含右眼RE和左眼LE的视线方向的方向。第1使用者US1佩戴了第1HMD100的状态下能够目视的外界的风景不限于无限远。例如，当第1使用者US1用双眼注视对象物OB时，如图中的标号RD、LD所示，第1使用者US1的视线朝向对象物OB。该情况下，从第1使用者US1到对象物OB的距离多数为30cm～10m左右，更多数为1m～4m。因此，也可以针对第1HMD100确定通常使用时的从第1使用者US1到对象物OB的距离的上限和下限的标准。该标准可以预先求出并预先设置在第1HMD100中，也可以由第1使用者US1进行设定。优选照相机61的光轴和视场角设定为，在这种通常使用时的与对象物OB之间的距离相当于所设定的上限和下限的标准的情况下，对象物OB包含在视场角中。

另外，一般而言，人的视野角在水平方向上为大致200度，在垂直方向上为大致125度。其中，信息接受能力优良的有效视野在水平方向上为30度，在垂直方向上为20度左右。迅速且稳定地看到人注视的注视点的稳定注视视野在水平方向上为60～90度，在垂直方向上为45～70度左右。该情况下，在注视点为对象物OB(图5)时，以视线RD、LD为中心，水平方向30度、垂直方向20度左右是有效视野。此外，水平方向60～90度、垂直方向45～70度左右是稳定注视视野。将第1使用者US1透射过第1图像显示部20且透射过右导光板26和左导光板28目视的实际的视野称为实际视野(FOV：Field Of View)。实际视野比视野角和稳定注视视野窄，但是比有效视野宽。

本实施方式的照相机61的视场角θ被设定为能够拍摄比第1使用者US1的视野宽的范围。照相机61的视场角θ优选被设定为至少能够拍摄比第1使用者US1的有效视野宽的范围，更优选被设定为能够拍摄比真实视野宽的范围。照相机61的视场角θ进一步优选被设定为能够拍摄比第1使用者US1的稳定注视视野宽的范围，最优选被设定为能够拍摄比第1使用者US1的双眼的视野角宽的范围。因此，照相机61可以采用如下结构：具有所谓的广角镜头作为摄像镜头从而能够拍摄较宽的视场角。广角镜头可以包含被称为超广角镜头以及准广角镜头的镜头。此外，照相机61可以包含单焦点镜头，也可以包含变焦镜头，还可以包含由多个镜头组成的镜头组。

图6是功能性地示出第1HMD 100的结构的框图。第1控制装置10具有：主处理器140，其执行程序而控制第1HMD 100；存储部；输入输出部；传感器类；接口；以及电源部130。主处理器140分别与这些存储部、输入输出部、传感器类、接口以及电源部130连接。主处理器140安装于第1控制装置10内置的控制器基板120上。

存储部包含存储器118和非易失性存储部121。存储器118构成暂时存储由主处理器140执行的计算机程序和所处理的数据的工作区。非易失性存储部121由闪存或eMMC(embedded Multi Media Card)构成。非易失性存储部121存储主处理器140执行的计算机程序、由主处理器140处理的各种数据。在本实施方式中，这些存储部安装在控制器基板120上。

输入输出部包含触控板14和操作部110。操作部110包含第1控制装置10所具有的方向键16、决定键17、电源开关18。主处理器140对这些各输入输出部进行控制，并且取得从各输入输出部输出的信号。

传感器类包含6轴传感器111、磁传感器113、GNSS(Global Navigation SatelliteSystem)接收机115。6轴传感器111是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器111也可以采用对这些传感器进行了模块化的IMU(Inertial Measurement Unit)。磁传感器113例如是3轴的地磁传感器。GNSS接收机115根据从构成GNSS的人造卫星接收到的导航信号，对第1控制装置10的当前位置(经度/纬度)进行测位。这些传感器类(6轴传感器111、磁传感器113、GNSS接收机115)按照预先指定的采样频率，将检测值输出到主处理器140。各传感器输出检测值的时刻也可以基于来自主处理器140的指示。

接口包含无线通信部117、声音编解码器180、外部连接器184、外部存储器接口186、USB(Universal Serial Bus)连接器188、传感器集线器192、FPGA194、接口196。它们作为与外部之间的接口发挥功能。

无线通信部117执行第1HMD100与外部设备之间的无线通信。无线通信部117构成为具有未图示的天线、RF电路、基带电路、通信控制电路等，或者构成为对它们进行统合而得到的器件。无线通信部117例如进行基于包含Bluetooth(注册商标)、Wi-Fi(注册商标)的无线LAN等标准的无线通信。在本实施方式中，无线通信部117在HMD100与HMD200以及HMD300之间进行基于Wi-Fi(注册商标)的无线通信。

声音编解码器180与声音接口182连接，进行经由声音接口182输入输出的声音信号的编码和解码。声音接口182是对声音信号进行输入输出的接口。声音编解码器180也可以具有进行从模拟声音信号到数字声音数据的转换的A/D转换器、以及进行相反的转换的D/A转换器。本实施方式的第1HMD100从右耳机32和左耳机34输出声音，通过麦克风63进行拾音。声音编解码器180将主处理器140输出的数字声音数据转换为模拟声音信号，经由声音接口182进行输出。此外，声音编解码器180将输入到声音接口182的模拟声音信号转换为数字声音数据，将其输出到主处理器140。

外部连接器184是用于将与主处理器140进行通信的外部装置(例如个人计算机、智能手机、游戏设备等)连接至主处理器140的连接器。与外部连接器184连接的外部装置除了能够成为内容的供给源以外，还能够用于主处理器140执行的计算机程序的调试、第1HMD100的动作日志的收集。外部连接器184能够采用各种形式。作为外部连接器184，例如能够采用USB接口、micro USB接口、存储卡用接口等支持有线连接的接口、无线LAN接口、Bluetooth接口等支持无线连接的接口。

外部存储器接口186是能够连接移动型存储器器件的接口。外部存储器接口186例如包含装配卡型记录介质而进行数据读写的存储卡插槽和接口电路。卡型记录介质的尺寸、形状、标准等能够适当选择。USB连接器188是能够连接基于USB标准的存储器器件、智能手机、个人计算机等的接口。USB连接器188例如包含基于USB标准的连接器和接口电路。USB连接器188的尺寸、形状、USB标准的版本等能够适当选择。

此外，第1HMD100具有振动器19。振动器19具有未图示的马达和偏芯的转子等，按照主处理器140的控制而产生振动。例如，在检测到针对操作部110的操作的情况下、接通断开第1HMD100的电源的情况下，第1HMD100以规定的振动模式使振动器19产生振动。也可以代替设置在第1控制装置10中的结构，而构成为将振动器19设置在第1图像显示部20侧、例如第1图像显示部20的右保持部21(镜腿的右侧部分)上。

传感器集线器192和FPGA194经由接口(I/F)196而与第1图像显示部20连接。传感器集线器192取得第1图像显示部20具有的各种传感器的检测值，将其输出到主处理器140。FPGA194执行在主处理器140与第1图像显示部20的各部之间收发的数据的处理以及经由接口196的传输。接口196与第1图像显示部20的右显示单元22、以及左显示单元24分别连接。在本实施方式的例子中，左保持部23连接有连接缆线40，与该连接缆线40连接的布线设在第1图像显示部20内，右显示单元22和左显示单元24分别与第1控制装置10的接口196连接。

电源部130包含电池132和电源控制电路134。电源部130供给用于供第1控制装置10进行动作的电力。电池132是能够充电的电池。电源控制电路134进行电池132的剩余容量的检测以及针对OS143(图7)的充电的控制。电源控制电路134与主处理器140连接，将电池132的剩余容量的检测值和电池132的电压的检测值输出到主处理器140。另外，也可以根据电源部130供给的电力，从第1控制装置10向第1图像显示部20供给电力。也可以构成为能够通过主处理器140控制从电源部130朝向第1控制装置10的各部和第1图像显示部20的电力供给状态。

右显示单元22具有显示单元基板209、OLED单元221、照相机61、照度传感器65、LED指示器67、温度传感器217。在显示单元基板209上安装有与接口196连接的接口(I/F)211、接收部(Rx)213、EEPROM(Electrically Erasable Programmable Read-Only Memory)215。接收部213接收经由接口211从第1控制装置10输入的数据。接收部213在接收到由OLED单元221显示的图像的图像数据的情况下，将接收到的图像数据输出到OLED驱动电路225(图3)。

EEPROM215以主处理器140可读取的形式存储各种数据。EEPROM215例如存储与第1图像显示部20的OLED单元221、241的发光特性、显示特性有关的数据、与右显示单元22或左显示单元24的传感器特性有关的数据等。具体而言，例如存储对OLED单元221、241的伽马校正的参数、后述温度传感器217、239的检测值进行补偿的数据等。这些数据通过第1 HMD100的工厂出厂时的检查而生成，写入EEPROM215中。在出厂后，主处理器140读入EEPROM215的数据而用于各种处理。

照相机61按照经由接口211输入的信号执行摄像，将摄像图像数据或表示摄像结果的信号输出到第1控制装置10。如图2所示，照度传感器65设置在前部框架27的端部ER，配置成接收来自佩戴第1图像显示部20的第1使用者US1的前方的外光。照度传感器65输出与受光量(受光强度)对应的检测值。如图2所示，LED指示器67在前部框架27的端部ER配置在照相机61的附近。LED指示器67在执行基于照相机61的摄像的过程中点亮，报知处于摄像中。

温度传感器217检测温度，输出与检测到的温度对应的电压值或电阻值。温度传感器217安装在OLED面板223(图3)的背面侧。温度传感器217例如也可以与OLED驱动电路225安装在同一基板上。根据该结构，温度传感器217主要检测OLED面板223的温度。另外，温度传感器217也可以内置于OLED面板223或OLED驱动电路225(图3)中。例如，在OLED面板223作为Si-OLED而与OLED驱动电路225一起作为集成半导体芯片上的集成电路进行安装的情况下，也可以在该半导体芯片上安装温度传感器217。

左显示单元24具有显示单元基板230、OLED单元241、温度传感器239。在显示单元基板230上安装有与接口196连接的接口(I/F)231、接收部(Rx)233、6轴传感器235、磁传感器237。接收部233接收经由接口231从第1控制装置10输入的数据。接收部233在接收到由OLED单元241显示的图像的图像数据的情况下，将接收到的图像数据输出到OLED驱动电路245(图3)。

6轴传感器235是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器235也可以采用对上述传感器进行了模块化的IMU。磁传感器237例如是3轴的地磁传感器。6轴传感器235和磁传感器237设置在第1图像显示部20上，因此，在第1图像显示部20佩戴于第1使用者US1的头部时，检测第1使用者US1的头部的运动。根据检测到的头部的运动确定第1图像显示部20的朝向即第1使用者US1的视场。

温度传感器239检测温度，输出与检测到的温度对应的电压值或电阻值。温度传感器239安装在OLED面板243(图3)的背面侧。温度传感器239例如也可以与OLED驱动电路245安装在同一基板上。根据该结构，温度传感器239主要检测OLED面板243的温度。温度传感器239也可以内置于OLED面板243或OLED驱动电路245(图3)中。详细情况与温度传感器217相同。

右显示单元22的照相机61、照度传感器65、温度传感器217和左显示单元24的6轴传感器235、磁传感器237、温度传感器239与第1控制装置10的传感器集线器192连接。传感器集线器192按照主处理器140的控制进行各传感器的采样周期的设定和初始化。传感器集线器192与各传感器的采样周期对应地执行针对各传感器的通电、控制数据的发送、检测值的取得等。传感器集线器192在预先设定的时刻将右显示单元22和左显示单元24具有的各传感器的检测值输出到主处理器140。传感器集线器192也可以具有暂时保持各传感器的检测值的缓存功能。传感器集线器192也可以具有各传感器的检测值的信号形式和数据形式的转换功能(例如转换为统一形式的转换功能)。传感器集线器192按照主处理器140的控制，开始或停止针对LED指示器67的通电，由此，点亮或熄灭LED指示器67。

图7是功能性地示出第1控制装置10的结构的框图。第1控制装置10在功能上具有存储功能部122和第1控制功能部150。存储功能部122是由非易失性存储部121(图6)构成的逻辑性存储部。存储功能部122也可以代替仅使用存储功能部122的结构，而构成为与非易失性存储部121组合来使用EEPROM215或存储器118。主处理器140执行计算机程序，即硬件和软件协作，由此构成第1控制功能部150。

在存储功能部122中存储有第1控制功能部150中的处理用的各种数据。具体而言，本实施方式的存储功能部122具有设定数据存储部123、内容数据存储部124、任务数据存储部125。在设定数据存储部123中存储有第1HMD100的动作的各种设定值。例如，在设定数据存储部123中存储有第1控制功能部150对第1HMD100进行控制时的参数、矩阵式、运算式、LUT(Look Up Table)等。

在内容数据存储部124中存储有包含通过第1控制功能部150的控制而由第1图像显示部20显示的图像和影像的内容的数据(图像数据、影像数据、声音数据等)。另外，也可以在内容数据存储部124中存储有双向型的内容的数据。双向型的内容意味着如下类型的内容：通过操作部110取得使用者的操作，第1控制功能部150执行与所取得的操作内容对应的处理，在第1图像显示部20中显示与处理内容对应的内容。该情况下，在内容的数据中，能够包含用于取得使用者的操作的菜单画面的图像数据、确定与菜单画面中包含的项目对应的处理的数据等。

在任务数据存储部125中存储有与作业辅助系统1中各使用者US1、US2和US3应该执行的任务有关的各种数据。在本实施方式中，“任务”意味着作为执行作业辅助系统1的餐饮店Rst中的餐厅服务员的作业而预先设定的作业。例如，“取得订单”、“运送饭菜”、“撤下餐具”等作业相当于任务。在任务数据存储部125中，与任务对应地存储有任务的执行场所、任务的对象、任务的动作、对象的状态、任务的负荷、任务的熟练度和关联信息等各数据。这些各数据在后述作业辅助处理中加以利用。如后所述，任务和使用者对应起来。即，确定第1任务作为第1使用者US1执行的任务，确定第2任务作为第1使用者US1以外的使用者执行的任务。

在本实施方式中，“任务的执行场所”意味着执行作业辅助系统1的场所。例如，除了本实施方式的餐饮店Rst以外，还可以是百货商店、足球场等多个作业者协作地作业的场所。此外，“任务的对象”意味着执行任务时的执行对象(对方)，根据任务的执行场所和任务而预先确定。例如，在上述“取得订单”任务的情况下，任务的对象是“客人”，在“运送饭菜”任务或“撤下餐具”任务的情况下，任务的对象是“餐具”。此外，“任务的动作”意味着执行任务时进行的身体的运动，根据任务而预先确定。例如，在上述“取得订单”任务的情况下，任务的动作是移动到桌子、看着客人的面部、听着订单、输入到手持终端、撤下菜单本等一系列动作。在本实施方式中，预先通过实验计算实际进行了任务动作的各种动作的情况下的6轴传感器111的检测结果，作为“任务的动作”存储在任务数据存储部125中。

“对象的状态”意味着由照相机61拍摄到的摄像图像中的任务的对象的状态和状况。例如，“对象的状态”是作为任务对象的“客人”正在看着餐厅服务员的状态、作为任务对象的“餐具”中盛放了饭菜的状态、作为任务对象的“餐具”不足的状态等。

在本实施方式中，“对象的状态”是作为第1任务的开始条件而根据第1任务预先确定的。“第1任务”意味着第1使用者US1应该执行的任务。例如，在第1任务是上述“取得订单”任务的情况下，第1任务的开始条件确定为作为任务对象的“客人”在规定时间内看着第1使用者US1即餐厅服务员的状态。此外，例如，在第1任务是上述“运送饭菜”任务的情况下，第1任务的开始条件确定为在作为任务对象的“餐具”中盛放了饭菜后经过了规定时间的状态。此外，例如，在第1任务是上述“撤下餐具”任务的情况下，第1任务的开始条件确定为作为任务对象的“盘子”低于规定个数的状态。另外，在本实施方式中，上述规定时间意味着3秒。另外，规定时间也可以代替3秒而设定其他任意时间。此外，上述规定个数意味着3个。另外，规定个数也可以代替3个而设定其他任意个数。

“任务的负荷”意味着执行任务所需要的处理负荷和难易度，根据任务的复杂度、必要的熟练度，以规定的权重预先进行分数化。例如，“取得订单”任务、“运送饭菜”任务比“撤下餐具”任务复杂，因此，设定为分数较高。“任务的熟练度”意味着餐厅服务员的任务的熟练度，按照每个任务和餐厅服务员以规定的权重预先进行分数化。例如，经验年数较多的餐厅服务员的熟练度与经验年数较少的餐厅服务员的熟练度相比，设定为分数较高。在本实施方式中，设定为分数按照第1使用者US1、第2使用者US2、第3使用者US3的顺序降低。

“关联信息”意味着与任务相关联的信息，是表示产生了任务的信息、表示任务对象的位置的信息、表示任务执行步骤的信息等，根据任务而预先确定。例如，在上述“取得订单”任务的情况下，是餐饮店Rst内的任务对象的位置、取得订单的步骤、取得订单时对任务的对象讲出的语言等信息。此外，例如，在上述“运送饭菜”任务的情况下，是运送饭菜的桌子的位置、饭菜名等信息。此外，例如，在上述“撤下餐具”任务的情况下，是餐具的不足个数、使用不足餐具的菜单等信息。

第1控制功能部150利用存储功能部122存储的数据执行各种处理，由此执行作为OS(Operating System)143、图像处理部145、第1显示控制部147、摄像控制部149、输入输出控制部151、对象确定部153、第1任务产生确定部155、第1任务完成确定部157、关联信息提供部159、视线检测部161、对象位置确定部163、第1动作检测部165、第2任务产生确定部167、第2任务完成确定部169、位置取得部171、负荷状况取得部173、执行者决定部175的功能。在本实施方式中，OS143以外的各功能部构成为在OS143上执行的计算机程序。

图像处理部145根据由第1图像显示部20显示的图像/影像的图像数据，生成向右显示单元22和左显示单元24发送的信号。图像处理部145生成的信号可以是垂直同步信号、水平同步信号、时钟信号、模拟图像信号等。图像处理部145除了主处理器140执行计算机程序而实现的结构以外，还可以由与主处理器140不同的硬件(例如DSP(Digital SignalProcessor)构成。

另外，图像处理部145也可以根据需要执行分辨率转换处理、图像调整处理、2D/3D转换处理等。分辨率转换处理是将图像数据的分辨率转换为适合于右显示单元22和左显示单元24的分辨率的处理。图像调整处理是对图像数据的亮度和彩度进行调整的处理。2D/3D转换处理是根据三维图像数据生成二维图像数据、或者根据二维图像数据生成三维图像数据的处理。图像处理部145在执行了这些处理的情况下，根据处理后的图像数据，生成用于显示图像的信号，经由连接缆线40发送到第1图像显示部20。

第1显示控制部147生成对右显示单元22和左显示单元24进行控制的控制信号，根据该控制信号对分别基于右显示单元22和左显示单元24的图像光的生成和射出进行控制。具体而言，第1显示控制部147对OLED驱动电路225、245进行控制，执行基于OLED面板223、243的图像的显示。第1显示控制部147根据图像处理部145输出的信号，进行OLED驱动电路225、245在OLED面板223、243中进行描绘的定时的控制、以及OLED面板223、243的亮度的控制等。此外，第1显示控制部147在后述的作业辅助处理中使第1图像显示部20显示关联信息。

摄像控制部149对照相机61进行控制而执行摄像，生成摄像图像数据，暂时存储在存储功能部122中。此外，在照相机61构成为包含生成摄像图像数据的电路的照相机单元的情况下，摄像控制部149从照相机61取得摄像图像数据，暂时存储在存储功能部122中。此外，摄像控制部149在后述作业辅助处理中对透过第1图像显示部20而目视的外景进行反复摄像，取得摄像图像。在确定任务的对象和对象的状态时利用所取得的摄像图像。

输入输出控制部151对触控板14(图2)、方向键16、决定键17进行适当控制，从这些部件受理输入指令。所受理的输入指令被输出到OS143、或被输出到OS143以及在OS143上动作的计算机程序。

对象确定部153对由照相机61拍摄到的摄像图像进行分析，确定任务的对象。对象确定部153利用面部识别和图案匹配等公知技术，检测可能成为摄像图像中的任务的对象的人物和物体。

第1任务产生确定部155根据摄像图像中的对象的状态，确定是否产生了第1任务。第1任务产生确定部155在由后述视线检测部161确定的任务的对象的状态和任务数据存储部125中存储的“对象的状态”一致的情况下，确定为产生了第1任务。

第1任务完成确定部157确定第1任务是否完成。具体而言，在由对象位置确定部163确定的第1任务的对象的位置处第1使用者US1进行了跟与第1任务对应地存储在任务数据存储部125中的第1任务的动作相同的动作的情况下，第1任务完成确定部157确定为第1任务完成。

关联信息提供部159经由无线通信部117向第2HMD200和第3HMD300提供关联信息。

视线检测部161检测摄像图像中的任务对象的视线。通过该视线的检测，确定任务的对象的状态、即客人看着使用者(餐厅服务员)、希望向餐厅服务员进行点餐的状态。

对象位置确定部163确定任务对象的位置。对象位置确定部163利用照相机61的视场角、摄像图像中的任务的对象的映出方式和3D目标映射等，计算从照相机61到任务的对象的距离，由此确定任务的对象的位置。第1动作检测部165利用6轴传感器111的检测结果，检测第1使用者US1的身体的运动。

第2任务产生确定部167确定是否产生了第2任务。“第2任务”意味着作业辅助系统1内的HMD的使用者中的除了第1使用者US1以外的使用者应该执行的任务。在本实施方式中，意味着第2使用者US2或第3使用者US3应该执行的任务。另外，在后述作业辅助处理中，根据使用者US2和US3的位置和负荷状况决定第2任务的执行者。第2任务产生确定部167通过确定第1任务是否已经完成，来确定是否产生了第2任务。

第2任务完成确定部169经由无线通信部117从第2任务的执行者的HMD取得第2任务已经完成的意思的通知(以下称为“第2任务完成通知”)，由此，确定第2任务是否已经完成。

位置取得部171经由无线通信部117从第2HMD200和第3HMD300取得各使用者US2和US3的当前的位置。在决定第2任务的执行者时利用所取得的各位置。

负荷状况取得部173参照任务数据存储部125，取得各使用者US1、US2和US3的负荷状况。在决定第2任务的执行者时利用所取得的各负荷状况。

执行者决定部175根据所取得的各使用者的当前的位置和负荷状况，决定第2任务的执行者。

如图2所示，第2HMD200具有第2图像显示部220和第2控制装置210。除了第2控制装置210的控制功能部以外，第2HMD200中的结构要素与上述第1HMD100的结构相同，因此，省略其详细说明。

图8是功能性地示出第2控制装置210的结构的框图。第2控制装置210与图7所示的第1控制装置10的不同之处在于，代替第1控制功能部150而具有第2控制功能部450。第2控制装置210中的其他结构与第1控制装置10相同，因此，对相同结构要素标注相同标号并省略其详细说明。

第2显示控制部455是与第1显示控制部147相同的结构，对图像光的生成和射出进行控制，使第2图像显示部220显示作为显示对象的图像。此外，第2显示控制部455使第2图像显示部220显示由后述关联信息取得部457取得的关联信息。

关联信息取得部457通过基于无线通信部117的通信而从第1HMD100取得第1关联信息。在本实施方式中，“第1关联信息”是与第1任务有关的关联信息。位置提供部459利用Wi-Fi(注册商标)的电波强度确定第2HMD200的位置，经由无线通信部117向第1HMD100提供所确定的位置。负荷状况提供部461参照任务数据存储部125确定第2使用者US2正在执行的任务的负荷，经由无线通信部117向第1HMD100提供所确定的负荷状况。

如图2所示，第3HMD300具有第3图像显示部320和第3控制装置310。除了第3控制装置310的控制功能部以外，第3HMD300中的结构要素与上述第1HMD100的结构相同，因此，省略其详细说明。

图9是功能性地示出第3控制装置310的结构的框图。第3控制装置310与图7所示的第1控制装置10的不同之处在于，代替第1控制功能部150而具有第3控制功能部550。第3控制装置310中的其他结构与第1控制装置10相同，因此，对相同结构要素标注相同标号并省略其详细说明。

第3显示控制部555是与第1显示控制部147相同的结构，对图像光的生成和射出进行控制，使第3图像显示部320显示作为显示对象的图像。此外，第3显示控制部555与第2HMD200的第2显示控制部455同样，使第3图像显示部320显示由后述关联信息取得部557取得的关联信息。

关联信息取得部557与第2HMD200的关联信息取得部457同样，通过基于无线通信部117的通信而从第1HMD100取得第1关联信息，还取得第2关联信息。在本实施方式中，“第2关联信息”是与第2任务相关的关联信息。位置提供部559是与第2HMD200的位置提供部459相同的结构，利用Wi-Fi(注册商标)的电波强度确定第3HMD300的位置，经由无线通信部117向第1HMD100提供所确定的位置。负荷状况提供部561是与第2HMD200的负荷状况提供部461相同的结构，参照任务数据存储部125确定第3使用者US3正在执行的任务的负荷，经由无线通信部117向第1HMD100提供所确定的负荷状况。

第2动作检测部563利用6轴传感器111的检测结果，检测第3使用者US3的身体的运动。第2任务完成确定部565确定第2任务是否已经完成。具体而言，第2任务完成确定部565在与第1HMD100的第1任务完成确定部157相同的步骤、即在第2任务的对象的位置处第3使用者US3进行了跟与第2任务对应地存储在任务数据存储部125中的第2任务的动作相同的动作的情况下，确定为第2任务完成。

在本实施方式中，照相机61相当于其他形式中的摄像部的下位概念。无线通信部117相当于其他形式中的通信部的下位概念。第1动作检测部165相当于其他形式中的动作检测部的下位概念。关联信息取得部457和关联信息取得部557相当于其他形式中的第1关联信息取得部和第2关联信息取得部的下位概念。

A3.增强现实显示：

图10是示出增强现实显示的一例的说明图。在图10中例示了第1使用者US1的视场VT。如上所述，引导至第1使用者US1的双眼的图像光在使用者的视网膜上成像，由此，第1使用者US1在显示区域PN内目视显示对象的对象图像AI作为增强现实感(AR)。在图10所示的例子中，对象图像AI是第1HMD100的OS的菜单画面。在菜单画面中，例如包含用于启动“模拟钟表”、“消息”、“音乐”、“作业辅助”、“照相机”、“浏览器”、“日历”、“电话”的各应用程序的图标图像。此外，右导光板26、左导光板28透过来自外界的光，由此，第1使用者US1目视外景SC。这样，第1使用者US1针对视场VT中的显示对象图像AI的部分，能够以与外景SC重叠的方式看到对象图像AI。此外，针对视场VT中的未显示对象图像AI的部分，能够仅看到外景SC。

A4.作业辅助处理：

图11和图12是示出第1HMD100中的作业辅助处理的处理步骤的流程图。当执行图10所示的“作业辅助”菜单而启动“作业辅助”应用后，开始进行第1HMD100中的作业辅助处理。摄像控制部149使照相机61对第1使用者US1的视场方向进行摄像，取得摄像图像(步骤S100)。此时，摄像控制部149使照相机61在规定的时间内反复摄像，取得多个摄像图像。另外，在以后的说明中，在步骤S100中，设取得了图1所示的客人Tg1以规定时间(3秒钟)注视第1使用者US1的摄像图像而进行说明。

如图11所示，对象确定部153根据摄像图像确定任务的对象(步骤S105)。具体而言，对象确定部153通过图案匹配等对摄像图像中出现的人物以及物体与任务数据存储部125中存储的“任务的对象”进行分析、核对，由此确定任务的对象。如上所述，在本实施方式中，任务的对象是“客人”(人物)或“餐具”(物体)，因此，对象确定部153检测摄像图像中出现的人物和餐具。在图1所示的例子中，在通过第1使用者US1佩戴的第1HMD100的照相机61拍摄了包含客人Tg1的图像的情况下，确定客人Tg1作为任务的对象。

如图11所示，视线检测部161确定任务的对象的状态(步骤S110)。具体而言，视线检测部161根据由照相机61反复摄像而得到的多个摄像图像，确定任务的对象看着的方向，由此，检测任务的对象的视线。此时，视线检测部161还一并对检测到的视线的随时间变化进行检测，例如，检测在几秒钟内视线朝向何方。在图1所示的例子中，作为任务对象的客人Tg1使视线朝向第1使用者US1而进行注视，因此，在步骤S110中，确定任务的对象在规定时间内看着第1使用者US1的状态作为任务的对象的状态。这样，在作业辅助系统1中，第1使用者US1进行餐厅服务员作业，并且自动确定是否产生了第1任务。即，为了确定是否产生了第1任务，第1使用者US1不需要进行特别的作业。

如图11所示，第1任务产生确定部155确定是否产生了第1任务(步骤S115)。具体而言，第1任务产生确定部155确定上述步骤S110中确定的对象的状态和任务数据存储部125中存储的“对象的状态”是否一致，由此确定是否产生了第1任务。具体而言，在所确定的对象的状态和任务数据存储部125的“对象的状态”不一致的情况下，第1任务产生确定部155确定为未产生第1任务(步骤S115：否)，如图11和图12所示，执行上述步骤S100。另一方面，在所确定的对象的状态和任务数据存储部125的“对象的状态”一致的情况下，第1任务产生确定部155确定为产生了第1任务(步骤S115：是)，执行后述的步骤S120。

在图1所示的例子中，上述步骤S110中确定的对象的状态是任务的对象在规定时间内看着第1使用者US1的状态。此外，如上所述，任务数据存储部125的“对象的状态”是作为任务对象的“客人”在规定时间内看着餐厅服务员的状态，该状态是“取得订单”任务的对象的状态。因此，第1任务产生确定部155确定为产生了“取得订单”任务(以下称为“第1任务”)。

如图11所示，对象位置确定部163确定第1任务的对象的位置(步骤S120)。具体而言，对象位置确定部163利用3D目标映射等公知技术，计算从照相机61到第1任务的对象的距离，由此，确定对象的位置。第1显示控制部147显示第1关联信息(步骤S125)。具体而言，第1显示控制部147参照任务数据存储部125中存储的“关联信息”，使第1图像显示部20显示表示第1关联信息的显示图像(以下称为“关联信息图像”)。

图13是示意地示出执行步骤S125后的第1使用者US1的视场VT1的说明图。在图13中示出第1HMD100的第1图像显示部20。在图13中省略视场VT1中的外景SC的图示。如图13所示，在显示区域PN1中显示餐饮店Rst的店内地图图像Mp以及关联信息图像KI1、KI2和KI3。店内地图图像Mp是从天花板侧观察图1所示的餐饮店Rst的地图的图像，预先存储在内容数据存储部124中。

关联信息图像KI1是利用箭头表示作为第1任务的对象的客人Tg1的位置的图像。关联信息图像KI2是利用圆形表示作为第1任务的执行者的第1使用者US1的位置的图像。关联信息图像KI3是表示第1任务的内容的图像。在图13所示的例子中，关联信息图像KI3是表示模仿第1任务(“取得订单”任务)而拿着菜单本走到客人跟前的状况的图像。这样，使第1使用者US1的第1图像显示部20显示关联信息图像KI1、KI2和KI3，由此，能够使第1使用者US1得知产生了第1任务。

如图11所示，关联信息提供部159经由无线通信部117向第2HMD200和第3HMD300提供第1关联信息(步骤S130)。另外，向第2HMD200和第3HMD300提供的第1关联信息与上述步骤S125中第1图像显示部20所显示的第1关联信息相同，但是，例如，也可以仅是表示第1任务的内容的信息，也可以是表示第1任务的内容的信息和表示第1任务的对象的位置的信息，关联信息提供部159还可以追加提供上述以外的其他关联信息。

第1动作检测部165利用第1HMD100的6轴传感器111的检测结果取得第1使用者US1的动作(步骤S135)。此外，此时，第1动作检测部165利用Wi-Fi(注册商标)的电波强度确定第1HMD100的位置即第1使用者US1的位置。在第1使用者US1的位置的确定过程中利用Wi-Fi(注册商标)的电波强度是因为，在餐饮店Rst这样的室内，GNSS接收机115有时无法接收电波。

第1任务完成确定部157确定在规定时间内第1任务是否已经完成(步骤S140)。具体而言，第1任务完成确定部157确定对象的位置和第1使用者的位置是否一致。此外，第1任务完成确定部157确定第1使用者US1的动作是否与任务数据存储部125的“任务的动作”中存储的第1任务的动作相同。然后，在对象的位置和第1使用者的位置一致、且第1使用者US1的动作与第1任务的动作相同的情况下，第1任务完成确定部157确定为第1任务已经完成(步骤S140：是)，如图11和图12所示，执行上述步骤S100。

另一方面，在上述步骤S140中，在对象的位置和第1使用者US1的位置不一致、或者第1使用者US1的动作与第1任务的动作不同的情况下，第1任务完成确定部157确定为第1任务未完成(步骤S140：否)，执行后述的步骤S145。在第1任务未完成的情况下，第1使用者US1以外的使用者需要执行第1任务。因此，在本实施方式中，该情况下，设为产生了第1使用者US1以外的使用者应该执行的任务(第2任务)而进行处理。因此，步骤S140能够理解为第2任务产生确定部167进行的是否产生了第2任务的确定处理。即，在确定为第1任务完成的情况下(步骤S140：是)，确定为未产生第2任务，在确定为第1任务未完成的情况下(步骤S140：否)，确定为产生了第2任务。另外，第2任务的对象和动作等与第1任务相同。

位置取得部171经由无线通信部117取得第2使用者和第3使用者的位置，负荷状况取得部173经由无线通信部117取得第2使用者和第3使用者的负荷状况(步骤S145)。

执行者决定部175利用各使用者的位置和负荷状况，决定第2任务的执行者(步骤S150)。具体而言，执行者决定部175利用规定的权重，对位置和负荷进行分数化，决定分数最低的使用者作为第2任务的执行者。例如，作为位置的权重，设定为使用者的位置越接近对象的位置，则分数越高。此外，例如，设定为使用者的负荷越低，则分数越高。在图1所示的例子中，第2使用者US2的位置与第3使用者US3的位置相比，更接近作为第2任务的对象的客人Tg1的位置。此外，第2使用者US2正在执行“运送饭菜”的任务，第3使用者US3未执行任务。因此，在步骤S150中，决定第3使用者US3作为第2任务的执行者。

如图12所示，关联信息提供部159向第2任务的执行者提供第2关联信息(步骤S155)。步骤S155是与上述步骤S130相同的处理内容。第2任务完成确定部169经由无线通信部117从第2任务的执行者取得第2任务完成通知(步骤S160)。第2任务完成确定部169确定第2任务是否完成(步骤S165)。具体而言，第2任务完成确定部169在未取得第2任务完成通知的情况下，确定为第2任务未完成(步骤S165：否)，执行上述步骤S160。另一方面，第2任务完成确定部169在取得了第2任务完成通知情况下，确定为第2任务完成(步骤S165：是)，如图11和图12所示，执行上述步骤S100。

图14是示出第2HMD200和第3HMD300中的作业辅助处理的处理步骤的流程图。在执行图10所示的“作业辅助”菜单而启动“作业辅助”应用后，开始进行第2HMD200和第3HMD300中的作业辅助处理。在第2HMD200中，关联信息取得部457经由无线通信部117从第1HMD100取得第1关联信息(步骤S200)。同样，在第3HMD300中，关联信息取得部557经由无线通信部117从第1HMD100取得第1关联信息(步骤S200)。

在第2HMD200中，第2显示控制部455显示第1关联信息(步骤S205)。同样，在第3HMD300中，第3显示控制部555显示第1关联信息(步骤S205)。另外，步骤S205是与上述步骤S105相同的处理内容。

在第2HMD200中，位置提供部459和负荷状况提供部461分别取得第2使用者US2的位置和负荷状况，经由无线通信部117提供给第1HMD100(步骤S210)。同样，在第3HMD300中，位置提供部559和负荷状况提供部561分别取得第3使用者US3的位置和负荷状况，经由无线通信部117提供给第1HMD100(步骤S210)。

在第2HMD200中，关联信息取得部457判定是否从第1HMD100取得了第2关联信息(步骤S215)。在第1HMD100中产生了第2任务的情况下，在第1HMD100中决定第2任务的执行者(图11所示的上述步骤S150)，对所决定的执行者提供第2关联信息(图12所示的上述步骤S155)。因此，关联信息取得部457通过判定是否取得了第2关联信息，判定第2HMD200的第2使用者US2是否是第2任务的执行者。同样，在第3HMD300中，关联信息取得部557判定是否从第1HMD100取得了第2关联信息(步骤S215)。

在本实施方式中，如上所述，第2任务的执行者决定为第3使用者US3。因此，不向第2HMD200提供第2关联信息，而向第3HMD300提供第2关联信息。因此，在第2HMD200中，在上述步骤S215中判定为未取得第2关联信息(步骤S215：否)，执行上述步骤S200。另一方面，在第3HMD300中，判定为取得了第2关联信息(步骤S215：是)，执行后述的步骤S220。另外，在第2任务的执行者决定为第2使用者US2的情况下，在第2HMD200中也执行后述的步骤S220以后的处理。

第3显示控制部555显示第2关联信息(步骤S220)。步骤S220是与上述步骤S200相同的处理内容。

图15是示意地示出执行步骤S225后的第3使用者US3的视场VT2的说明图。在图15中示出第3HMD300的第3图像显示部320。在图15中省略视场VT2中的外景SC的图示。如图15所示，在显示区域PN2中，除了图13所示的第1HMD100的显示区域PN1中显示的餐饮店Rst的店内地图图像Mp和关联信息图像KI1以外，还显示关联信息图像KI4、KI5和KI6。

如图15所示，关联信息图像KI4是利用圆形表示作为第2任务的执行者的第3使用者US3的位置的图像。关联信息图像KI5是表示第2任务的内容的文本图像。关联信息图像KI5与图13所示的关联信息图像KI3不同，利用文字表示第2任务的内容和第3使用者US3实际应该进行的行动，显示为“客人呼唤。请立即应对。”。关联信息图像KI6表示在实际进行第2任务(“取得订单”任务)的情况下对作为任务对象的客人Tg1讲出的语言，显示为“久等了。决定订单了吗。”。

如上所述，第3使用者US3的熟练度低于第1使用者US1的熟练度。因此，根据执行任务的人的熟练度而使关联信息的显示形式不同，由此，熟练度比较低的使用者能够容易地执行任务，此外，能够抑制熟练度比较高的使用者被不必要的信息遮挡视场。

如图14所示，第2动作检测部563取得作为第2任务的执行者的第3使用者US3的动作(步骤S225)。具体而言，与上述步骤S135同样，第2动作检测部563利用第3HMD300的6轴传感器111的检测结果取得第3使用者US3的动作。此外，第2动作检测部563利用Wi-Fi(注册商标)的电波强度取得第3HMD300的位置即第3使用者US3的位置。

第2任务完成确定部565确定第2任务是否完成(步骤S230)。具体而言，与上述步骤S140同样，第2任务完成确定部565确定第2任务的对象的位置即第1任务的对象的位置处的第3使用者US3的动作是否是与任务数据存储部125中存储的第2任务的动作相同的动作。在第1任务的对象的位置处的第3使用者US3的动作与第2任务的动作不同的情况下，第2任务完成确定部565确定为第2任务未完成(步骤S230：否)，执行上述步骤S225。另一方面，在第1任务的对象的位置处的第3使用者US3的动作与第2任务的动作相同的情况下，第2任务完成确定部565确定为第2任务完成(步骤S230：是)，第2任务完成确定部565经由无线通信部117向第1HMD100通知第2任务完成通知(步骤S235)。

根据以上说明的本实施方式的第1HMD100，在第1HMD100中，在确定为产生了第1任务的情况下，显示关联信息图像KI1、KI2和KI3。此外，向第2HMD200和第3HMD300提供关联信息，在第2HMD200和第3HMD300中，显示所取得的关联信息。因此，第1HMD100的使用者US1、第2HMD200的使用者US2和第3HMD300的使用者US3能够容易地识别产生了第1任务。

此外，在所确定的作为第1任务的对象的客人Tg1的位置处的第1使用者US1的动作是与预先设定的动作相同的动作的情况下，确定为第1任务完成，因此，能够容易地确定第1任务是否完成。而且，在确定为第1任务未完成的情况下，确定为产生了第2任务，因此，能够容易地确定是否产生了第2任务，此外，能够高精度地确定。此外，根据第2使用者US2和第3使用者US3的位置以及第2使用者US2和第3使用者US3的负荷状况，决定第2任务的执行者，因此，在作业辅助系统1内能够决定适当的使用者作为执行者。而且，使作为第2任务的执行者的第3使用者US3佩戴的第3HMD300的第3图像显示部320显示关联信息图像KI1、KI4、KI5和KI6，因此，能够使第2任务的执行者得知第2任务的信息。

B.第2实施方式：

第2实施方式中的作业辅助系统1和透射型头部佩戴型显示装置100、200和300与第1实施方式中的作业辅助系统1以及透射型头部佩戴型显示装置100、200和300相同，因此，省略其详细说明。第2实施方式中的作业辅助处理与第1实施方式中的作业辅助处理的处理步骤相同。

图16是示意地示出执行第2实施方式中的作业辅助处理的状况的说明图。在第2实施方式中，在租赁视频店BS中执行作业辅助系统1。如图16所示，3名店员A、B和C在收银台1、2和3进行算账作业。在第2实施方式中，店员A相当于第1实施方式中的第3使用者US3，店员B相当于第1实施方式中的第1使用者US1，店员C相当于第1实施方式中的第2使用者US2。另外，在图16中省略图示，但是，各店员A、B和C佩戴着HMD，店员A佩戴着第3HMD300，店员B佩戴着第1HMD100，店员C佩戴着第2HMD200。

如图16所示，店员A使收银台1处于收银台停止中，执行“票据整理”的任务。店员B在收银台2执行客人A的“算账”任务。店员C在收银台3执行客人C的“算账”任务。另外，在第2实施方式中，在“算账”任务和“票据整理”任务中，设定为“算账”任务的负荷较高。如图16所示，客人B排在客人A的后方。如实线箭头所示，客人B将视线朝向店员A，如虚线箭头所示，在店员B的视场方向上示出客人B看着店员A的状态。

这里，在第2实施方式中，“算账”任务作为“对象的状态”而预先设定了作为任务对象的客人在规定时间内看着店员的状态。因此，在店员B佩戴的第1HMD100中，当执行图11和图12所示的作业辅助处理时，在上述步骤S100～步骤S115中，根据由第1HMD100的照相机61取得的摄像图像，确定客人B在规定时间内看着店员A的状态，确定为产生了“算账”任务(第1任务)。然后，执行上述步骤S125，在第1HMD100的第1图像显示部20中显示第1关联信息。如上所述，店员B正在执行客人A的“算账”任务，无法执行第1任务。因此，在上述步骤S140中确定为第1任务未完成(步骤S140：否)，并且产生第2任务(“算账”任务)。

然后，执行上述步骤S150，根据店员A和店员C的位置、负荷状况决定第2任务的执行者。具体而言，如图16所示，店员A的位置与店员C的位置相比，更接近作为任务对象的客人B的位置。此外，店员C正在执行客人C的“算账”任务，负荷高于店员A。因此，将第2任务的执行者决定为店员A。

如图14所示，在店员A佩戴的第3HMD300中，执行上述步骤S215和步骤S220，在第3HMD300的第3图像显示部320中显示第2关联信息。然后，店员A能够利用所显示的第2关联信息执行客人B的“算账”任务。

根据以上说明的第2实施方式的HMD100，发挥与第1实施方式相同的效果。

C.第3实施方式：

第3实施方式中的作业辅助系统1、透射型头部佩戴型显示装置100、200以及300与第1实施方式中的作业辅助系统1、透射型头部佩戴型显示装置100、200以及300相同，因此，省略其详细说明。第3实施方式中的作业辅助处理与第1实施方式中的作业辅助处理的处理步骤相同。

图17是示意地示出执行第3实施方式中的作业辅助处理的状况的说明图。在第3实施方式中，与第1实施方式同样，在餐饮店Rst内执行作业辅助系统1。在图17中示意地示出上述步骤S100中由第1使用者US1佩戴的第1HMD100取得的摄像图像CI。如图17所示，在摄像图像CI中显示出餐具架Sh中存储的3种盘子d1、d2和d3。盘子d3的剩余数量为1个。

在第3实施方式中，当检测到盘子的个数为规定的个数以下的状态时，确定为产生了“盘子的回收”任务。“规定的个数”例如为3个。另外，规定的个数也可以代替3个而设定其他任意的个数。另外，在第3实施方式中，按照每个菜单将要使用的盘子的种类、盘子的总数、上述规定个数预先存储在任务数据存储部125中。

如图11所示，在第1HMD100中执行上述步骤S105～步骤S115，在确定为产生了“盘子的回收”任务后，在第1HMD100的第1图像显示部20中显示第1关联信息(上述步骤S125)。

图18是示意地示出执行步骤S125后的第1使用者US1的视场VT3的说明图。在图18中示出第1HMD100的第1图像显示部20。在图18中省略视场VT3中的外景SC的图示。如图18所示，在显示区域PN3中显示餐饮店Rst的店内地图图像Mp以及关联信息图像KI7、KI8、KI9和KI0。关联信息图像KI7是利用箭头表示点餐了与不足的盘子对应的菜单的客人的位置的图像。关联信息图像KI8是利用圆形表示第1使用者US1的位置的图像。另外，关联信息图像KI8与图13所示的关联信息图像KI2相同。关联信息图像KI9是表示盘子的不足个数的图像。关联信息图像KI10是表示“盘子的回收”任务的图像，显示为“盘子不足。请撤下空盘子。”。

如图11所示，在第1HMD100中执行上述步骤S135和步骤S140，确定第1使用者US1是否执行了“盘子的回收”任务。此时，例如，确定第1HMD100的照相机61的摄像图像中是否检测到应该回收的盘子、以及是否检测到第1使用者US1将应该回收的盘子拿到清洗场所的动作，由此能够确定第1使用者US1是否执行了“盘子的回收”任务。

在确定为第1使用者US1未完成“盘子的回收”任务时(上述步骤S140：否)，执行上述步骤S145和步骤S150，从第2使用者US2和第3使用者US3中决定“盘子的回收”任务的执行者。然后，在执行者佩戴的HMD的图像显示部中显示第2关联信息，执行者能够利用所显示的第2关联信息执行“盘子的回收”任务。

根据以上说明的第3实施方式的HMD100，发挥与第1实施方式相同的效果。

D.其他实施方式：

D1.其他实施方式1：

在上述各实施方式中，任务、任务的执行场所、任务的对象、对象的状态和关联信息不限于上述例子。也可以根据任务的执行场所和任务的对象采用各种对象的状态、关联信息。

图19是示出任务数据的一例的说明图。任务数据TL表示预先存储在任务数据存储部125中的各数据中的任务的执行场所、任务的对象、对象的状态和关联信息。如图19的第1栏所示，在任务的执行场所为“足球场(入场时)”的情况下，任务的对象是“观众”，对象的状态是“寻找什么”状态，关联信息是“预约座位的引导”。如图19的上方起的第2栏所示，在任务的执行场所为“足球场(中场休息时)”的情况下，任务的对象是“观众”，对象的状态是“寻找什么”状态，关联信息是“卫生间场所的引导”。如上述2个例子那样，即使任务的执行场所相同，在执行场所的使用方式根据时段而变化的情况下，也可以使关联信息不同。由此，能够向使用者提供更适当的关联信息。

如图19的上方起的第3栏所示，在任务的执行场所是“食堂”的情况下，任务的对象是“位于接待场所的利用者”，对象的状态是“收拾盘子”状态，关联信息是“盘子的配餐场所引导”。如图19的上方起的第4栏所示，在任务的执行场所是“食堂”的情况下，任务的对象是“位于接待场所的利用者”，对象的状态是“收拾盘子”状态，关联信息是“盘子的清洗方式”或“盘子的收纳场所引导”。如图19的上方起的第5栏所示，在任务的执行场所是“餐饮店”的情况下，任务的对象是“进店时的客人”，对象的状态是“客人的数量”，关联信息是“空桌引导”。

如图19的上方起的第6栏所示，在任务的执行场所是“电器店”的情况下，任务的对象是“空调卖场的客人”，对象的状态是“看着商品”状态，关联信息是“对象商品的卖点引导”。如图19的上方起的第7栏所示，在任务的执行场所是“电器店”的情况下，任务的对象是“空调卖场的客人”，对象的状态是“看着商品”状态，关联信息是价格、多大面积用、电费等“针对客人的询问点”。

如图19的上方起的第8栏所示，在任务的执行场所是“课堂”的情况下，任务的对象是“学生”，对象的状态是“手停留在笔记本上”状态，关联信息是解法等“针对指导学生的提示”。如图19的上方起的第9栏所示，在任务的执行场所是“棒球场”的情况下，任务的对象是“观众”，对象的状态是“单手拿着啤酒张望”状态，关联信息是推荐爆米花等“零食引导”。

如图19的上方起的第10栏所示，在任务的执行场所是“百货商店”的情况下，任务的对象是“服装卖场的客人”，对象的状态是“手里拿着商品和钱包寻找什么”状态，关联信息是“算账场所引导”。另外，在对象的状态是“手里仅拿着商品寻找什么”状态的情况下，关联信息也可以是“试衣间引导”。如图19的上方起的第11栏所示，在任务的执行场所是“松本城”的情况下，任务的对象是“位于大门的游客”，对象的状态是“看着地图”状态或“游客的移动方向”，关联信息是“售票处引导”。

如上述例子那样，针对预想在任务的执行场所中执行的各种任务，可以任意确定任务的对象、对象的状态、关联信息的内容等。此外，除了上述例子以外，例如，也可以根据各使用者的熟练度而使任务的对象的状态不同。具体而言，在上述第1实施方式中，第1使用者US1是熟练度比较高的有经验者，在根据摄像图像检测到客人Tg1在规定时间内看着第1使用者US1的状态的情况下，也可以不确定为产生了第1任务。在该结构中，也可以根据各使用者US1、US2和US3的技能学习度，对任务数据存储部125中存储的熟练度进行变更。在这种结构中，也发挥与上述各实施方式相同的效果。

D2.其他实施方式2：

在上述第1实施方式中，第2关联信息仅显示在作为第2任务的执行者的第3使用者US3的第3图像显示部320中，但是，在此基础上，也可以显示在第1使用者US1的第1图像显示部20和第2使用者US2的第2图像显示部220中。在这种结构中，也发挥与上述第1实施方式相同的效果。

D3.其他实施方式3：

在上述各实施方式中，照相机61配置在第1图像显示部20的前部框架27上，对第1使用者US1目视的视场方向中的至少一部分的外界(实际空间)进行摄像，但是，本发明不限于此。例如，照相机61也可以配置在第1HMD100的端部EL和ER，对第1使用者US1目视的方向的相反方向进行摄像。在该结构中，在第1使用者US1未目视的方向产生了任务的情况下，也能够检测出产生了任务。此外，例如，照相机61也可以代替单镜头照相机而是360度照相机。在该结构中，与照相机61是单镜头照相机的结构相比，在一次摄像中能够得到更多的信息。此外，照相机61也可以是检测明亮度、距离和温度的摄像装置。在这种结构中，也发挥与上述各实施方式相同的效果。

D4.其他实施方式4：

在上述第1实施方式中，根据第2使用者US2和第3使用者US3的位置和负荷状况决定第2任务的执行者，但是本发明不限于此。例如，也可以根据各使用者US2和US3的第2任务的熟练度决定第2任务的执行者。具体而言，在各使用者US2、US3的位置和负荷的权重(分数)相同的情况下，也可以将第2任务的执行者决定为第2任务的熟练度较高的使用者。此外，例如，也可以根据任务的对象的性别、年龄等决定第2任务的执行者。具体而言，在任务的对象是女性和孩子的情况下，也可以将第2任务的执行者决定为女性的使用者。在这种结构中，也发挥与上述第1实施方式相同的效果。

D5.其他实施方式5：

在上述各实施方式中，第1任务产生确定部155也可以是第1任务的对象从第1使用者US1分开预先设定的距离以上的状态的情况下，确定为未产生第1任务。例如，在上述第1实施方式中，在第1使用者US1与客人Tg1之间的距离分开预先设定的距离以上的情况下，可以确定为未产生第1任务，也可以确定为产生了第1任务。上述“预先设定的距离”例如是3米。另外，预先设定的距离也可以代替3米而是其他任意的距离。在这种结构中，也发挥与上述各实施方式相同的效果。

D6.其他实施方式6：

在上述各实施方式中，利用Wi-Fi(注册商标)的电波强度确定各使用者US1、US2和US3的位置，但是本发明不限于此。例如，在第1实施方式中，也可以利用设置在餐饮店Rst内的监视照相机的摄像图像，确定各使用者US1、US2和US3的位置。此外，例如，在能够接收GNSS接收机115的电波的场所的情况下，也可以利用从GNSS接收机115取得的纬度和经度来确定各使用者US1、US2和US3。在这种结构中，也发挥与上述各实施方式相同的效果。

D7.其他实施方式7：

在上述各实施方式中，也可以使与HMD100、200、300不同的显示装置显示第1关联信息和第2关联信息。例如，在第1实施方式中，在餐饮店Rst中的餐厅服务员的管理者利用平板终端对各餐厅服务员的任务的执行状况进行管理的情况下，也可以在该平板终端的显示画面中显示第1关联信息和第2关联信息。在该结构中，管理者能够容易地确认各任务的执行状况、各餐厅服务员的任务的熟练度。在这种结构中，也发挥与上述各实施方式相同的效果。

D8.其他实施方式8：

在上述各实施方式中，作业辅助系统1具有3台HMD100、200和300，但是，作业辅助系统1所具有的HMD的数量也可以代替3台而是其他任意的数量。即，一般而言，只要构成为作业辅助系统1具有包含佩戴于第1使用者的第1透射型头部佩戴型显示装置和佩戴于与第1使用者不同的1个以上的第2使用者的1个以上的第2透射型头部佩戴型显示装置在内的多个透射型头部佩戴型显示装置，则发挥与上述各实施方式相同的效果。

D9.其他实施方式9：

在上述第2实施方式中，关于作为任务的对象的客人C的“算账”任务是否完成的确定，也可以与POS系统联动进行确定。具体而言，构成为各HMD100、200、300的各控制装置10、210、310与POS系统能够进行无线通信，构成为各控制功能部150、450和550能够受理针对POS系统的输入，核对针对POS系统的输入是否是客人C的算账输入，由此，能够确定“算账”任务是否完成。在这种结构中，也发挥与上述第2实施方式相同的效果。

D10.其他实施方式10：

在上述各实施方式中，也可以设第1HMD100和第2HMD200为相同结构。具体而言，第1HMD100的第1控制功能部150也可以具有第2显示控制部455、关联信息取得部457、位置提供部459和负荷状况提供部461。第2HMD200的第2控制功能部450也可以具有第1显示控制部147、对象确定部153、第1任务产生确定部155、第1任务完成确定部157、关联信息提供部159、视线检测部161、对象位置确定部163、第1动作检测部165、第2任务产生确定部167、第2任务完成确定部169、位置取得部171、负荷状况取得部173和执行者决定部175。

此外，例如，也可以设第1HMD100和第3HMD300为相同结构。具体而言，第1HMD100的第1控制功能部150也可以具有第3显示控制部555、关联信息取得部557、位置提供部559、负荷状况提供部561、第2动作检测部563和第2任务完成确定部565。第3HMD300的第3控制功能部550也可以具有第1显示控制部147、对象确定部153、第1任务产生确定部155、第1任务完成确定部157、关联信息提供部159、视线检测部161、对象位置确定部163、第1动作检测部165、第2任务产生确定部167、第2任务完成确定部169、位置取得部171、负荷状况取得部173和执行者决定部175。

除此之外，例如，也可以设第2HMD200和第3HMD300为相同结构，也可以设第1HMD100、第2HMD200和第3HMD300全部为相同结构。在这种结构中，也发挥与上述各实施方式相同的效果。

D11.其他实施方式11：

在上述各实施方式中，第2任务的任务的执行者与第1任务不同，但是，取而代之，或者在此基础上，第2任务的任务的内容也可以与第1任务不同。例如，在第1任务是“取得订单”任务的情况下，第2任务也可以是“按照预先设定的步骤取得订单”任务。即，一般而言，如果第2任务是与第1任务不同的任务，则发挥与上述各实施方式相同的效果。

D12.其他实施方式12：

在上述各实施方式中，执行者决定部175也可以利用预先设定的任务的优先级决定第2任务的执行者。能够根据第2任务的产生频度确定“优先级”，例如，也可以设定为在第2任务的产生频度比较低的情况下，优先级较低，在第2任务的产生频度比较高的情况下，优先级较高。该优先级预先存储在任务数据存储部125中。例如，在上述步骤S150中，执行者决定部175在第2任务的优先级较低的情况下，也可以不决定第2任务的执行者，而使第1使用者US1执行第2任务。此外，例如，执行者决定部175也可以利用第2任务的优先级和各使用者的负荷状况双方来决定执行者。在这种结构中，也发挥与上述各实施方式相同的效果。

D13.其他实施方式13：

在上述各实施方式中，第1关联信息和第2关联信息的显示形式不限于图13、图15和图18所示的例子。例如，关联信息也可以进行3D(立体)显示。此外，例如，关联信息也可以进行存在运动的显示、动画的flash显示，还可以闪烁进行显示。在这种结构中，也发挥与上述各实施方式相同的效果。

D14.其他实施方式14：

在上述各实施方式中，HMD100、200和300是透射型的头部佩戴型显示装置，但是，取而代之，也可以是视频透视型的HMD。在这种结构中，也发挥与上述各实施方式相同的效果。

D15.其他实施方式15：

在上述各实施方式中，OLED单元221、241具有OLED面板223、243以及对OLED面板223、243进行驱动的OLED驱动电路225、245，OLED面板223、243是通过有机电致发光进行发光、且分别由进行发光的发光元件构成的自发光型显示面板，但是本发明不限于此。此外，OLED面板223、243矩阵状地配置有多个像素，该多个像素将各包含1个R、G、B的元件的单位设为1个像素，但是本发明不限于此。例如，右显示单元22和左显示单元24也可以分别构成为影像元件，该影像元件具有作为光源部的OLED面板、以及对光源部发出的光进行调制而输出包含多个颜色光的图像光的调制元件。另外，对OLED面板发出的光进行调制的调制装置不限于采用透射型液晶面板的结构。例如，也可以代替透射型液晶面板而使用反射型液晶面板，还可以使用数字微镜器件，还可以设为激光扫描方式的激光视网膜投影型的HMD。在这种结构中，也发挥与上述各实施方式相同的效果。

D16.其他实施方式16：

在上述各实施方式中，在确定为产生了第1任务的情况下，对第2HMD200和第3HMD300提供第1关联信息，但是，也可以不对第2HMD200和第3HMD300提供第1关联信息。在这种结构中，也发挥与上述各实施方式相同的效果。

D17.其他实施方式17：

图20是示意地示出其他实施方式17中的执行步骤S125后的第1使用者US1的视场VT4的说明图。在图20所示的例子中，示出产生了“取得订单”任务作为第1任务的情况下的视场VT4。在图20中，与图13同样示出第1HMD100的第1图像显示部20。如图20所示，在视场VT4中的外景SC中映出餐饮店Rst的状况，在显示区域PN4中显示关联信息图像KI11。关联信息图像KI11是利用箭头表示第1任务的产生场所的图像。另外，通过利用Bluetooth(注册商标)信标、AR标记和Wi-Fi(注册商标)的电波强度等公知技术，能够确定第1任务的产生场所。在现实空间中重叠显示关联信息图像KI11是因为如下理由：针对第1使用者US1，能够以更加容易理解的方式提示第1任务的产生场所和任务的对象。另外，也可以在关联信息图像KI11的基础上，以不遮挡第1使用者US1的视场的程度显示表示任务的对象、对象的状态、任务的负荷、任务的熟练度等的关联信息图像。在这种结构中，也发挥与上述各实施方式相同的效果。

D18.其他实施方式18：

在上述各实施方式中，辅助系统应用于餐饮店、租赁视频店中的作业辅助，但是本发明不限于此。例如，辅助系统也可以应用于智能交互作业的会议、交互的学习、课题解决用的交互作业和电子竞技的练习等。在电子竞技的练习中，例如，将任务的对象预先设定为使用者的队伍的选手，确定该选手的视线作为对象的状态，由此可以练习传球的时机，将任务的对象预先设定为对战对方的队伍的选手，确定该选手的运动(位置的变化)作为对象的状态，由此，可以练习使用者的最佳运动。在这种结构中，也发挥与上述各实施方式相同的效果。

D19.其他实施方式19：

在上述第1实施方式和第2实施方式中，检测摄像图像中的任务的对象的视线，由此确定对象的状态，但是本发明不限于此。例如，也可以代替视线的检测，或者在视线的检测的基础上，对摄像图像进行图案匹配，由此确定对象的状态。该情况下，确定规定时间内的对象的变化，由此确定对象的状态。此外，例如，也可以从动画数据中切出每规定时间的静态图像，对该静态图像中的对象进行图案匹配，由此确定对象的状态。在这种结构中，也发挥与上述各实施方式相同的效果。

D20.其他实施方式20：

在上述各实施方式中，与任务有关的各种数据(以下称为“任务数据”)存储在任务数据存储部125中，但是本发明不限于此。例如，也可以经由无线通信部117取得任务数据。具体而言，也可以从HMD100的使用者的智能手机和服务器装置等取得。在该结构中，也可以利用经由无线通信部117取得的任务数据确定任务的对象、对象的状态和任务的产生等。此外，也可以利用任务数据存储部125中存储的任务数据和经由无线通信部117取得的任务数据双方的数据来确定任务的对象、对象的状态和任务的产生等。在这种结构中，也发挥与上述各实施方式相同的效果。

D21.其他实施方式21：

在上述各实施方式中，第1任务产生确定部也可以代替摄像图像中的对象的状态，或者在摄像图像中的对象的状态的基础上，利用取得外部信息的传感器的检测结果确定第1任务的产生。“取得外部信息的传感器”意味着能够借助HMD100的使用者的视觉、嗅觉、听觉等五感中的至少任意一方检测对象的状态的传感器。例如，可以使用麦克风63作为取得外部信息的传感器。该情况下，作为输入到麦克风63的声音，在检测到作为任务对象的客人呼唤“劳驾”的声音、作为任务对象的餐厅服务员主管呼唤“帮一下这里”的声音的情况下，可以确定为产生了第1任务。此外，例如，也可以构成为HMD100具有热像仪，使用该热像仪作为取得外部信息的传感器。具体而言，可以利用热像仪检测饭菜或饮料的温度，在低于规定温度的情况下，确定为产生了第1任务。由此，这是因为如下理由：能够在饭菜变冷之前执行“提供饭菜”的任务。在这种结构中，也发挥与上述各实施方式相同的效果。

本发明不限于上述实施方式，能够在不脱离其主旨的范围内以各种结构实现。例如，与发明内容的栏所记载的各方式中的技术特征对应的实施方式中的技术特征能够适当进行替换和组合，以解决上述课题的一部分或全部，或者实现上述效果的一部分或全部。此外，如果该技术特征不是作为本说明书中必须的结构进行说明的，则能够适当删除。

E.其他方式：

(1)根据本发明的一个实施方式，提供透射型头部佩戴型显示装置。该透射型头部佩戴型显示装置具有：图像显示部，其使外景透过，以能够与该外景一起被目视到的方式显示作为显示对象的图像；摄像部；对象确定部，其根据由所述摄像部拍摄到的摄像图像，确定作为所述透射型头部佩戴型显示装置的使用者应该执行的任务而预先设定的任务的对象；任务产生确定部，其根据所述摄像图像中的所述对象的状态，确定是否产生了所述任务；以及显示控制部，其在确定为产生了所述任务的情况下，使所述图像显示部显示与所述任务相关联的关联信息。

根据该方式的透射型头部佩戴型显示装置，根据摄像图像确定使用者应该执行的任务的对象，根据摄像图像中的对象的状态确定是否产生了任务，在确定为产生了任务的情况下显示关联信息，因此，使用者能够容易地意识到产生了任务。

(2)在上述方式的透射型头部佩戴型显示装置中，也可以是，所述透射型头部佩戴型显示装置还具有：通信部；以及关联信息提供部，其在确定为产生了所述任务的情况下，经由所述通信部提供所述关联信息。根据该方式的透射型头部佩戴型显示装置，在确定为产生了任务的情况下，经由通信部提供关联信息，因此，与透射型头部佩戴型显示装置不同的装置的使用者能够容易地取得关联信息。

(3)在上述方式的透射型头部佩戴型显示装置中，也可以是，所述透射型头部佩戴型显示装置还具有视线检测部，该视线检测部检测所述摄像图像中的所述对象的视线，在处于所述对象看着所述使用者的状态的情况下，所述任务产生确定部确定为产生了所述任务。根据该方式的透射型头部佩戴型显示装置，检测摄像图像中的对象的视线，在处于对象看着使用者的状态的情况下确定为产生了任务，因此，能够容易地确定是否产生了任务。

(4)在上述方式的透射型头部佩戴型显示装置中，也可以是，所述透射型头部佩戴型显示装置还具有：对象位置确定部，其确定所述对象的位置；以及使用者位置确定部，其确定所述使用者的位置，在处于所述对象从所述使用者分开预先设定的距离以上的状态的情况下，所述任务产生确定部确定为未产生所述任务。根据该方式的透射型头部佩戴型显示装置，在对象从使用者分开预先设定的距离以上的状态的情况下确定为未产生任务，因此，能够高精度地确定是否产生了任务。

(5)在上述方式的透射型头部佩戴型显示装置中，也可以是，所述透射型头部佩戴型显示装置还具有对象位置确定部，该对象位置确定部确定所述对象的位置，所述关联信息包含表示所述对象的位置的信息。根据该方式的透射型头部佩戴型显示装置，关联信息包含表示对象位置的信息，因此，能够减少使用者寻找对象的麻烦。

(6)根据本发明的其他实施方式，提供辅助系统。该辅助系统具有多个透射型头部佩戴型显示装置，该多个透射型头部佩戴型显示装置包含佩戴于第1使用者的第1透射型头部佩戴型显示装置、以及佩戴于与所述第1使用者不同的1个以上的第2使用者的1个以上的第2透射型头部佩戴型显示装置，所述第1透射型头部佩戴型显示装置具有：第1图像显示部，其使外景透过，以能够与该外景一起被目视到的方式显示作为显示对象的图像；第1通信部；摄像部；对象确定部，其根据由所述摄像部拍摄到的摄像图像，确定作为所述第1使用者应该执行的任务而预先设定的第1任务的对象；第1任务产生确定部，其根据所述摄像图像中的所述对象的状态，确定是否产生了所述第1任务；第1显示控制部，其在确定为产生了所述第1任务的情况下，使所述第1图像显示部显示与所述第1任务相关联的第1关联信息；以及关联信息提供部，其在确定为产生了所述第1任务的情况下，经由所述第1通信部提供所述第1关联信息，所述第2透射型头部佩戴型显示装置具有：第2图像显示部，其透射所述外景，以能够与所述外景一起目视的方式显示作为显示对象的图像；第2通信部；第1关联信息取得部，其通过基于所述第2通信部的通信而取得所述第1关联信息；以及第2显示控制部，其使所述第2图像显示部显示所取得的所述第1关联信息。

根据该方式的辅助系统，在第1透射型头部佩戴型显示装置中，在确定为产生了第1任务的情况下，显示第1关联信息，提供第1关联信息，在第2透射型头部佩戴型显示装置中，显示所取得的第1关联信息，因此，第1透射型头部佩戴型显示装置的使用者和第2透射型头部佩戴型显示装置的使用者能够容易地意识到产生了任务。

(7)在上述方式的辅助系统中，也可以是，所述第1透射型头部佩戴型显示装置具有：对象位置确定部，其确定所述对象的位置；动作检测部，其检测所述第1使用者的动作；以及第1任务完成确定部，其确定所述第1任务是否完成，所述第1任务完成确定部在所确定的所述对象的位置处的所述第1使用者的动作是与预先设定的动作相同的动作的情况下，确定为所述第1任务完成。

根据该方式的辅助系统，在所确定的对象的位置处的第1使用者的动作是与预先设定的动作相同的动作的情况下，确定为第1任务完成，因此，能够容易地确定第1任务是否完成。

(8)在上述方式的辅助系统中，也可以是，所述第1透射型头部佩戴型显示装置还具有第2任务产生确定部，该第2任务产生确定部确定是否产生了所述第2使用者应该执行的、与所述第1任务不同的第2任务，所述第2任务产生确定部在确定为所述第1任务未完成的情况下，确定为产生了所述第2任务。

根据该方式的辅助系统，在确定为第1任务未完成的情况下，确定为产生了第2任务，因此，能够容易地且高精度地确定是否产生了第2任务。

(9)在上述方式的辅助系统中，也可以是，所述辅助系统具有佩戴于多个所述第2使用者的多个所述第2透射型头部佩戴型显示装置，所述第1透射型头部佩戴型显示装置还具有：位置取得部，其通过基于所述第1通信部的通信而取得各所述第2使用者的位置；负荷状况取得部，其通过基于所述第1通信部的通信而取得各所述第2使用者的负荷状况；以及执行者决定部，其决定多个所述第2使用者中的任意一个所述第2使用者应该执行的、与所述第1任务不同的第2任务的执行者，所述执行者决定部根据所取得的各所述第2使用者的位置和所取得的各所述第2使用者的负荷状况决定所述执行者。

根据该方式的辅助系统，根据所取得的各第2使用者的位置和所取得的各第2使用者的负荷状况决定执行者，因此，在辅助系统内能够决定适当的使用者作为执行者。

(10)在上述方式的辅助系统中，也可以是，所述执行者决定部利用预先设定的所述第2任务的优先级和各所述第2使用者的预先设定的熟练度决定所述执行者。根据该方式的辅助系统，利用预先设定的第2任务的优先级和各第2使用者的预先设定的熟练度决定执行者，因此，能够根据执行任务的场所和使用者的熟练度决定适当的使用者作为执行者。

(11)在上述方式的辅助系统中，也可以是，所述第2透射型头部佩戴型显示装置还具有第2关联信息取得部，该第2关联信息取得部通过基于所述第2通信部的通信而取得与所述第2任务相关联的第2关联信息，所述第2显示控制部使所述第2图像显示部显示所取得的所述第2关联信息。根据该方式的辅助系统，使第2图像显示部显示第2关联信息，因此，能够使第2任务的执行者得知第2关联信息。

(12)在上述方式的辅助系统中，也可以是，所述第2显示控制部根据所述执行者的所述第2任务的熟练度而不同地显示所述第2关联信息。根据该方式的辅助系统，根据执行者的第2任务的熟练度而不同地显示第2关联信息，因此，能够针对第2任务的熟练度较低的执行者显示更多的第2关联信息，此外，能够针对第2任务的熟练度较高的执行者显示更少的第2关联信息，能够针对第2任务的执行者显示适当的信息。

本发明还能够通过各种方式实现。例如，能够通过透射型头部佩戴型显示装置中的显示控制方法、辅助系统、用于实现这些方法和系统的功能的计算机程序、记录了该计算机程序的记录介质等方式实现。

Claims (14)

1.一种透射型头部佩戴型显示装置，其具有：

图像显示部，其使外景透过，以能够与该外景一起被目视到的方式显示作为显示对象的图像；

摄像部；

对象确定部，其根据由所述摄像部拍摄到的摄像图像，确定作为所述透射型头部佩戴型显示装置的使用者应该执行的任务而预先设定的任务的对象；

任务产生确定部，其根据所述摄像图像中的所述对象的状态，确定是否产生了所述任务；以及

显示控制部，其在确定为产生了所述任务的情况下，使所述图像显示部显示与所述任务相关联的关联信息。

2.根据权利要求1所述的透射型头部佩戴型显示装置，其中，

所述透射型头部佩戴型显示装置还具有：

通信部；以及

关联信息提供部，其在确定为产生了所述任务的情况下，经由所述通信部提供所述关联信息。

3.根据权利要求1或2所述的透射型头部佩戴型显示装置，其中，

所述透射型头部佩戴型显示装置还具有视线检测部，该视线检测部检测所述摄像图像中的所述对象的视线，

在处于所述对象看着所述使用者的状态的情况下，所述任务产生确定部确定为产生了所述任务。

4.根据权利要求1所述的透射型头部佩戴型显示装置，其中，

所述透射型头部佩戴型显示装置还具有：

对象位置确定部，其确定所述对象的位置；以及

使用者位置确定部，其确定所述使用者的位置，

在处于所述对象从所述使用者分开预先设定的距离以上的状态的情况下，所述任务产生确定部确定为未产生所述任务。

5.根据权利要求1所述的透射型头部佩戴型显示装置，其中，

所述透射型头部佩戴型显示装置还具有对象位置确定部，该对象位置确定部确定所述对象的位置，

所述关联信息包含表示所述对象的位置的信息。

6.一种辅助系统，其中，

所述辅助系统具有多个透射型头部佩戴型显示装置，该多个透射型头部佩戴型显示装置包含佩戴于第1使用者的第1透射型头部佩戴型显示装置、以及佩戴于与所述第1使用者不同的1个以上的第2使用者的1个以上的第2透射型头部佩戴型显示装置，

所述第1透射型头部佩戴型显示装置具有：

第1图像显示部，其使外景透过，以能够与该外景一起被目视到的方式显示作为显示对象的图像；

第1通信部；

摄像部；

对象确定部，其根据由所述摄像部拍摄到的摄像图像，确定作为所述第1使用者应该执行的任务而预先设定的第1任务的对象；

第1任务产生确定部，其根据所述摄像图像中的所述对象的状态，确定是否产生了所述第1任务；

第1显示控制部，其在确定为产生了所述第1任务的情况下，使所述第1图像显示部显示与所述第1任务相关联的第1关联信息；以及

关联信息提供部，其在确定为产生了所述第1任务的情况下，经由所述第1通信部提供所述第1关联信息，

所述第2透射型头部佩戴型显示装置具有：

第2图像显示部，其透射所述外景，以能够与所述外景一起目视的方式显示作为显示对象的图像；

第2通信部；

第1关联信息取得部，其通过基于所述第2通信部的通信而取得所述第1关联信息；以及

第2显示控制部，其使所述第2图像显示部显示所取得的所述第1关联信息。

7.根据权利要求6所述的辅助系统，其中，

所述第1透射型头部佩戴型显示装置具有：

对象位置确定部，其确定所述对象的位置；

动作检测部，其检测所述第1使用者的动作；以及

第1任务完成确定部，其确定所述第1任务是否完成，

所述第1任务完成确定部在所确定的所述对象的位置处的所述第1使用者的动作是与预先设定的动作相同的动作的情况下，确定为所述第1任务完成。

8.根据权利要求6或7所述的辅助系统，其中，

所述第1透射型头部佩戴型显示装置还具有第2任务产生确定部，该第2任务产生确定部确定是否产生了所述第2使用者应该执行的、与所述第1任务不同的第2任务，

所述第2任务产生确定部在确定为所述第1任务未完成的情况下，确定为产生了所述第2任务。

9.根据权利要求6所述的辅助系统，其中，

所述辅助系统具有佩戴于多个所述第2使用者的多个所述第2透射型头部佩戴型显示装置，

所述第1透射型头部佩戴型显示装置还具有：

位置取得部，其通过基于所述第1通信部的通信而取得各所述第2使用者的位置；

负荷状况取得部，其通过基于所述第1通信部的通信而取得各所述第2使用者的负荷状况；以及

执行者决定部，其决定多个所述第2使用者中的任意一个所述第2使用者应该执行的、与所述第1任务不同的第2任务的执行者，

所述执行者决定部根据所取得的各所述第2使用者的位置和所取得的各所述第2使用者的负荷状况决定所述执行者。

10.根据权利要求9所述的辅助系统，其中，

所述执行者决定部利用预先设定的所述第2任务的优先级和各所述第2使用者的预先设定的熟练度决定所述执行者。

11.根据权利要求9或10所述的辅助系统，其中，

所述第2透射型头部佩戴型显示装置还具有第2关联信息取得部，该第2关联信息取得部通过基于所述第2通信部的通信而取得与所述第2任务相关联的第2关联信息，

所述第2显示控制部使所述第2图像显示部显示所取得的所述第2关联信息。

12.根据权利要求11所述的辅助系统，其中，

所述第2显示控制部根据所述执行者的所述第2任务的熟练度而不同地显示所述第2关联信息。

13.一种显示控制方法，其是透射型头部佩戴型显示装置中的显示控制方法，该透射型头部佩戴型显示装置具有图像显示部和摄像部，该图像显示部使外景透过，以能够与该外景一起被目视到的方式显示作为显示对象的图像，所述显示控制方法具有以下步骤：

根据由所述摄像部拍摄到的摄像图像，确定作为所述透射型头部佩戴型显示装置的使用者应该执行的任务而预先设定的任务的对象；

根据所述摄像图像中的所述对象的状态，确定是否产生了所述任务；以及

在确定为产生了所述任务的情况下，使所述图像显示部显示与所述任务相关联的关联信息。

14.一种记录介质，其记录了计算机程序，该计算机程序用于实现透射型头部佩戴型显示装置中的显示控制，该透射型头部佩戴型显示装置具有图像显示部和摄像部，该图像显示部使外景透过，以能够与该外景一起被目视到的方式显示作为显示对象的图像，所述计算机程序用于使计算机执行以下功能：

根据由所述摄像部拍摄到的摄像图像，确定作为所述透射型头部佩戴型显示装置的使用者应该执行的任务而预先设定的任务的对象；

根据所述摄像图像中的所述对象的状态，确定是否产生了所述任务；以及

在确定为产生了所述任务的情况下，使所述图像显示部显示与所述任务相关联的关联信息。