CN103813044A

CN103813044A - 引导信息显示装置

Info

Publication number: CN103813044A
Application number: CN201310535194.0A
Authority: CN
Inventors: 杉本泰明
Original assignee: Konica Minolta Opto Inc
Current assignee: Konica Minolta Inc; Konica Minolta Opto Inc
Priority date: 2012-11-06
Filing date: 2013-11-01
Publication date: 2014-05-21
Anticipated expiration: 2033-11-01
Also published as: JP5787099B2; US20140126018A1; EP2728846A1; JP2014093036A; CN103813044B; EP2728846B1; US9760168B2

Abstract

引导信息显示装置具有：显示部；照相机部；行动检测部，检测用户的特定行动；以及控制部，在通过所述行动检测部检测出所述特定行动，且由所述照相机部拍摄到特定的操作对象设备时，使与所述检测出的特定行动和所述拍摄到的操作对象设备的组合对应的引导信息在所述显示部中显示。

Description

引导信息显示装置

技术领域

本发明涉及对使用设备的用户显示引导信息的引导信息显示装置。

背景技术

提出各种显示装置，在头戴式显示器中搭载照相机，从该照相机拍摄的图像确定用户注视的对象物，将与该对象物关联的信息实时地进行显示器显示。

例如，在下述专利文献1中，公开了：即使利用者的头部的姿势变化，根据头部的姿势以及视线方向的检测结果和视野调谐照相机的图像信息，确定注视对象物并显示关联信息，以使能够精度高地确定利用者注视的对象物的眼镜型显示装置。

此外，在下述专利文献2中，公开了：在支援装置的装配作业的作业支援系统中，根据手册确定下一个作业所涉及的部件，在头戴式显示器中显示该部件的图像，然后，作业者检测用手取得的部件，在该部件不适当的情况下进行警告显示。

在下述专利文献3中，公开了：具备检测用户的位置的GPS接收机（位置检测部件）、和识别用户的视线上的物体的视线检测传感器（识别部件），将与由GPS接收机（位置检测部件）检测的位置和通过视线检测传感器（识别部件）识别的物体关联的附加信息传递至用户的眼镜型显示装置。

现有技术文献

专利文献

专利文献1：特开2012-008290号公报

专利文献2：特开2010-211623号公报

专利文献3：特开2005-37181号公报

以往的眼镜型显示装置的关联信息的显示确定用户注视的对象物，并显示与该确定的对象物关联的信息。

但是，在该对象物为由某些设备或装置使用的物体的情况下，若仅注视了对象物就显示关联信息，则存在不能显示适当的信息的情况。

例如，由于在该设备中实际使用该对象物时需要在规定的设备中使用用户注视的对象物时的引导信息等，即使在用户注视该对象物的阶段中显示信息，也存在时期不适当而无效的情况。

此外，在存在多种可利用用户注视的对象物的设备的情况下，仅确定了对象物的话不能确定应向用户提供的信息。此外，即使对于相同设备，也存在根据该设备的状态应向用户提供的适当的信息变化。

另外，不限于基于用户注视的对象物显示信息的情况，检测可估计用户的意图的某些行动，在提供与其关联的信息那样的情况下，也产生同样的问题。

发明内容

本发明是为了解决上述的问题而完成的发明，其目的在于，提供引导信息显示装置，该引导信息显示装置能够以适当的定时显示对于使用设备的用户有用的信息。

作为用于达成该目的的本发明的主旨之处在于以下各项发明。

[1]一种引导信息显示装置，其特征在于，具有：显示部；照相机部；行动检测部，检测用户的特定行动；以及控制部，在通过所述行动检测部检测所述特定行动，且通过所述照相机部拍摄特定的操作对象设备时，使与所述检测出的特定行动和所述拍摄到的操作对象设备的组合对应的引导信息在所述显示部中显示。

在上述发明中，在检测特定行动，且通过照相机部拍摄特定的操作对象设备时，显示与被检测的特定行动和被拍摄的操作对象设备的组合对应的引导信息于显示部。

[2]如[1]所述的引导信息显示装置，其特征在于，所述控制部使与所述检测出的特定行动和所述拍摄到的操作对象设备的组合对应的引导信息、即与所述操作对象设备的状态或者被拍摄的部分对应的引导信息在所述显示部中显示。

在上述发明中，提供与被检测的特定行动、和被拍摄的操作对象设备的状态或被拍摄的部分对应的引导信息。由此，即使被检测的特定行动相同，也根据被拍摄的操作对象设备的状态或被拍摄的部分显示不同的引导信息。

[3]如[1]所述的引导信息显示装置，其特征在于，所述行动检测部根据通过所述照相机部拍摄的图像检测所述特定行动。

[4]如[1]所述的引导信息显示装置，其特征在于，所述特定行动是对所述操作对象设备的操作部的特定的输入操作。

在上述发明中，对于操作对象设备的操作部的特定的键输入例如分析并检测通过照相机部拍摄的图像，或与操作对象设备进行通信并取得键输入的内容。

[5]如[3]所述的引导信息显示装置，其特征在于，所述特定行动是所述用户的特定的姿势。

在上述发明中，将用户在手中持有某些对象物的行动或持有该对象物进行某种动作的姿势作为特定行动而检测。

[6]如[1]所述的引导信息显示装置，其特征在于，所述行动检测部具备声音检测功能，通过所述声音检测功能检测特定的声音信息作为所述特定行动。

在上述发明中，引导信息显示装置根据用户发出的声音信息，识别用户的意图。

[7]如[2]所述的引导信息显示装置，其特征在于，具备通信部，所述控制部使用所述通信部取得与所述操作对象设备的状态相关的信息。

[8]如[2]所述的引导信息显示装置，其特征在于，所述控制部根据通过所述照相机部拍摄的所述操作对象设备的图像识别所述操作对象设备的状态。

[9]如[7]所述的引导信息显示装置，其特征在于，所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视外部存储器的行动和具备外部存储器的连接I/F部的操作对象设备的组合的情况下，使用所述通信部取得与所述操作对象设备的所述连接I/F部相关的信息，使与该取得的信息对应的引导信息在所述显示部中显示。

在上述发明中，引导信息显示装置在检测用户持有或者注视（一直看）外部存储器的特定行动，通过照相机部拍摄具备外部存储器的连接I/F部的操作对象设备的情况下，与该被拍摄的操作对象设备通信，取得与外部存储器的连接I/F部相关的信息、例如表示连接I/F部的位置或使用状况的信息，提供与该取得的信息对应的引导信息。

[10]如[9]所述的引导信息显示装置，其特征在于，所述控制部使用所述通信部取得表示所述连接I/F部的状况的信息，使与连接用户持有或者注视的所述外部存储器、可使用的连接I/F部相关的信息作为所述引导信息在所述显示部中显示。

在上述发明中，例如在存在多个连接I/F部的情况下，引导显示空的连接I/F部的位置等。

[11]如[3]所述的引导信息显示装置，其特征在于，所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视白纸的用纸的行动和具备在用纸上印刷图像的功能的图像形成装置的组合的情况下，使与所述白纸的用纸的尺寸对应的供纸托盘的位置作为所述引导信息在所述显示部中显示。

在上述发明中，在检测用户持有或者注视白纸的用纸的特定行动，通过照相机部拍摄图像形成装置的情况下，将适合于白纸的用纸的尺寸的供纸托盘的位置作为引导信息而显示。

[12]如[3]所述的引导信息显示装置，其特征在于，所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视双面原稿的行动和具备光学地读取双面原稿的功能的读取装置的组合的情况下，使与双面读取的设定相关的引导信息在所述显示部中显示。

在上述发明中，在将用户持有或者注视双面原稿的行动作为特定行动而检测，拍摄具备光学地读取双面原稿的功能的读取装置的情况下，显示与双面读取的设定相关的引导信息。

[13]如[3]所述的引导信息显示装置，其特征在于，所述控制部仅在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视原稿的行动和具备光学地读取双面原稿的功能的读取装置的组合的情况，并且是针对单面/双面，所述原稿的印刷状况与在所述读取装置中的原稿的读取设定不一致的情况下，使与所述读取设定的切换相关的引导信息在所述显示部中显示。

在上述发明中，仅在针对单面/双面，用户持有或者注视的原稿与在读取装置中的原稿的读取设定不一致的情况下，显示与读取设定的切换相关的引导信息。

[14]如[3]所述的引导信息显示装置，其特征在于，所述控制部使与所述检测出的特定行动和所述拍摄到的操作对象设备的组合对应的引导信息，并且是与被拍摄的部分对应的引导信息在所述显示部中显示，进而，所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视信头用纸的行动和具备在用纸上印刷图像的功能的图像形成装置的组合，且被拍摄的部分为所述图像形成装置的供纸托盘的情况下，使与至该供纸托盘的所述信头用纸的正确的设置的方法相关的引导信息在所述显示部中显示。

在上述发明中，在将用户持有或者注视信头用纸的行动作为特定行动而检测，拍摄具备在用纸上印刷图像的功能的图像形成装置的供纸托盘的情况下，引导显示至该供纸托盘的该信头用纸的正确的设置的方法。

[15]如[3]所述的引导信息显示装置，其特征在于，所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是在具备光学地读取原稿的功能的读取装置的稿台玻璃上按顺序并置2张原稿的行动和所述读取装置的组合的情况下，根据在所述特定行动的检测时通过所述照相机部拍摄的第1张原稿的朝向，将用于使该第1张原稿和第2张原稿的上下一致的所述第2张原稿的设置的方法作为所述引导信息在所述显示部中显示。

在上述发明中，引导信息显示装置在检测在稿台玻璃上按顺序并置2张原稿的特定行动的情况下，在该检测中根据通过照相机部拍摄的图像确定在稿台玻璃上设置的第1张原稿的朝向，并引导显示用于使该第1张原稿与第2张的原稿的上下一致的第2张的原稿的设置的方法。

[16]如[3]所述的引导信息显示装置，其特征在于，所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视订书机或者别针的行动和具备在用纸上印刷图像的功能的图像形成装置的组合的情况下，判断是否能在所述图像形成装置中装订用纸，在判断为能的情况下，使与所述图像形成装置的装订的功能相关的引导信息在所述显示部中显示。

在上述发明中，引导信息显示装置在将用户持有或者注视订书机或者别针的行动作为特定行动而检测，拍摄在用纸上印刷图像的功能的图像形成装置的情况下，判断是否能在该图像形成装置中装订用纸，在判断为能的情况下，显示与该图像形成装置的装订的功能相关的引导信息。

[17]如[3]所述的引导信息显示装置，其特征在于，所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视开孔用的打孔机的行动和具备在用纸上印刷图像的功能的图像形成装置的组合的情况下，判断在所述图像形成装置中是否在用纸上能够开孔，在判断为能的情况下，使与所述图像形成装置的开孔功能相关的引导信息在所述显示部中显示。

在上述发明中，引导信息显示装置在将用户持有或者注视开孔用的打孔机的行动作为特定行动而检测，拍摄具备在用纸上印刷图像的功能的图像形成装置的情况下，判断在该图像形成装置中是否能够开孔，在判断为能的情况下，显示与该图像形成装置的开孔功能相关的引导信息。

[18]如[1]所述的引导信息显示装置，其特征在于，所述显示部是通过半透明反射镜使图像与外界的情形重合的方式的头戴式显示器，所述照相机部在所述头戴式显示器中被设置。

[19]如[1]至[18]的任一项所述的引导信息显示装置，其特征在于，所述控制部使所述引导信息与所述操作对象设备的实图像重合而显示于所述显示部中。

在上述发明中，与操作对象设备的实图像（通过照相机部拍摄并在显示部中显示的操作对象设备的图像或通过半透明反射镜可见的实物的操作对象设备）重合而显示引导信息。优选的是，对操作对象设备的位置或朝向进行对位而显示引导信息。

根据本发明所涉及的引导信息显示装置，能够以适当的定时显示对使用设备的用户有用的信息。

附图说明

图1是表示本发明的实施方式所涉及的使用引导信息显示装置的信息系统的结构的图。

图2是表示作为操作对象设备的一个的图像处理装置的概略结构的模块图。

图3是表示本发明的实施方式所涉及的作为引导信息显示装置的头戴式显示器装置的概略结构（外观）的图。

图4是表示头戴式显示器装置的结构的模块图。

图5是表示本发明的实施方式所涉及的作为引导信息显示装置的便携式终端的概略结构的模块图。

图6（a）～（c）是表示在头戴式显示器装置的佩戴者在手中持有USB存储器并对其注视后看见图像处理装置的情况下的引导信息的显示例的图。

图7（a）～（b）是表示在头戴式显示器装置的佩戴者在手中持有白纸的用纸束并对其注视后看见图像处理装置的情况下的引导信息的显示例的图。

图8（a）～（c）是表示在头戴式显示器装置的佩戴者在手中持有A4尺寸的白纸的用纸束并对其注视后看见图像处理装置的情况，并且是A4尺寸的用纸被设置于手动进纸盘的情况的引导信息的显示例的图。

图9（a）～（b）是表示在头戴式显示器装置的佩戴者在手中持有被印字的原稿束并对其注视后看到图像处理装置的操作面板的情况下的引导信息的显示例的图。

图10是表示在头戴式显示器装置的佩戴者在手中持有被印字的原稿束并对其注视后看见图像处理装置的操作面板的情况下的引导信息的显示例的图。

图11（a）～（b）是表示在头戴式显示器装置的佩戴者持有信头用纸并对其注视后看见图像处理装置的供纸托盘的情况下的引导信息的显示例的图。

图12是表示头戴式显示器装置进行的处理的整体的流程图。

图13是表示拍摄图像对应处理（图12的步骤S103）的细节的流程图。

图14是表示图13的继续的流程图。

图15是表示图13的继续的流程图。

图16是表示键输入对应处理（图12的步骤S104）的细节的流程图。

图17是表示图16的继续的流程图。

图18是表示声音输入对应处理（图12的步骤S105）的细节的流程图。

具体实施方式

以下，基于附图说明本发明的实施方式。

图1表示使用本发明的第1实施方式所涉及的引导信息显示装置的信息系统3的结构。信息系统3将图像处理装置10、图像读取装置4、PC（个人计算机）6等的操作对象设备、和作为将这些利用或操作所涉及的引导信息提供给用户的引导信息显示装置的头戴式显示器（HMD）装置30、和相同作为引导信息显示装置的便携式终端60，与LAN（Local Area Network，局域网）等的网络2连接而构成。LAN可以是有线也可以是无线。操作对象设备的种类或数目、引导信息显示装置的种类或数目不限定于在图1中所例示者。引导信息显示装置可以是头戴式显示器装置30和便携式终端60的任一方。

图像处理装置10具备：复制功能，光学地读取原稿并将该复制图像印刷至记录纸；扫描功能，将读取的原稿的图像数据以文件的方式保存或通过网络2发送至外部终端；打印机功能，将从PC6等通过网络2接收到的印刷数据所涉及的图像形成于记录纸上并进行印刷输出；以及传真机功能，按照传真机步骤对图像数据进行发送接收等，是所谓的复合机（MFP）。图像处理装置10具有作为具备在用纸上印刷图像的功能的图像形成装置的功能。

图像读取装置4是光学地读取原稿并输出对应的图像数据的装置（所谓，扫描仪）。PC6是基于各种应用程序而动作的个人计算机。图像处理装置10、图像读取装置4、PC6任一个都具备USB（Universal Serial Bus，通用串行总线）存储器等的外部存储器的连接I/F（Interface，接口）部。

头戴式显示器装置30以及便携式终端60通过无线与网络2连接。头戴式显示器装置30以及便携式终端60具备显示部、照相机部、检测用户的特定行动的行动检测部，在表示用户的意图的特定行动通过行动检测部被检测，且通过照相机部特定的操作对象设备被拍摄时，头戴式显示器装置30以及便携式终端60各自的CPU（控制部）使与该被检测的特定行动和被拍摄的操作对象设备的组合对应的引导信息在显示部中显示。

头戴式显示器装置30的照相机部拍摄有用户的视线的方向。通过便携式终端60用户想要操作对象设备的引导信息时假设用户通过便携式终端60的照相机部66拍摄该操作对象设备。被检测的特定行动是用户在手中持有原稿束或白纸的用纸、用户注视（一直看）原稿束或白纸的用纸、用户在手中持有USB存储器等可装卸的外部存储器、用户注视USB存储器等可装卸的外部存储器等预定的用户的行动（特定的姿势）。例如，注视USB存储器的行动取自用户使用USB存储器要进行某些作业，但用户的双手占用的情况（例如，持有其他物品的情况、或操作其他装置（例如PDA等）的情况）。

例如，在头戴式显示器装置30中，行动检测部54从照相机部的图像检测用户将原稿取至手中的行动，接着，在通过照相机部拍摄图像读取装置4时，CPU41判断为该用户通过图像读取装置4读取该原稿，CPU41进行使通过图像读取装置4用于读取原稿的引导信息在该头戴式显示器装置30的显示部中显示的动作。

图2是表示图像处理装置10的概略结构的模块图。图像处理装置10具有统括地控制该图像处理装置10的动作的CPU（Central Processing Unit，中央处理单元）11。通过总线，ROM（Read Only Memory，只读存储器）12、RAM（Random Access Memory，随机存取存储器）13、非易失存储器14、硬盘装置15、自动原稿传输部（ADF：Auto Document Feeder）16、认证部17、以及多个连接I/F部18、操作部20、显示部21、网络通信部22、无线通信部23、图像读取部24、图像处理部25、打印机部26、传真机通信部27等被连接至CPU11。

CPU11将OS（Operating System，操作系统）程序作为基础，在此之上，执行中间件或应用程序等。在ROM12中存储各种程序，按照这些程序CPU11执行各种处理，从而实现图像处理装置10的各功能。

RAM13在CPU11基于程序执行处理时，作为暂时地存储各种数据的工作存储器或存储图像数据的图像存储器等而使用。

非易失存储器14是即使断开电源，存储内容也不损坏的存储器（闪存存储器），用于各种设定信息的保存等。硬盘装置15是大容量非易失的存储装置，存储印刷数据、图像数据等的其它各种程序或数据。

图像读取部24实现光学地读取原稿并取得图像数据的功能。图像读取部24构成为，具备：例如，光源，向原稿照射光；线图像传感器，接受其反射光在宽度方向上以1线为单位读取原稿；移动单元，使线单位的读取位置向原稿的长度方向依次移动；光学路径，由使来自原稿的反射光引导至线图像传感器并成像的透镜或镜等构成；以及变换部，将线图像传感器输出的模拟图像信号变换为数字的图像数据，等。

自动原稿传输部16将设置于原稿台的原稿按照从最上的原稿起1张张逐个的顺序抽出并传输，实现使其通过图像读取部24的读取位置并排纸至规定的排纸位置的功能。此外，具有使原稿的正反自动地反转的功能，由此可自动读取原稿的双面。

图像读取部24具备读取在稿台玻璃上放置的原稿的功能、和依次读取通过自动原稿传输部1传输的原稿的功能。最大可读取A3尺寸（297mm×420mm）的原稿，在稿台玻璃上放置原稿并读取的情况下，并置2张A4（210mm×297mm）原稿并读取一次的情况也可能。

认证部17认证使用图像处理装置10的用户。认证方法可以是密码、指纹、静脉等任意形式。

连接I/F部18是可装卸地连接外部存储器的连接口，设置多个。在被连接的外部存储器的种类中，存在USB存储器、CF（Compact Flash（注册商标））、SD（Secure Digital）存储器卡等。

操作部20和显示部21构成从用户接受作业提交等的操作的操作面板。显示部21由液晶显示器（LCD…Liquid Crystal Display）等构成，实现显示各种操作画面、设定画面等的功能。操作部20具备开始按钮等的各种操作开关、和设置于显示部21的物理画面上的触摸面板。触摸面板检测以触摸笔或手指等对显示部21的物理画面进行接触操作的坐标位置。

网络通信部22实现通过LAN等的网络2与PC6或其他服务器等外部装置通信的功能。网络通信部22还具有无线LAN的功能。

无线通信部23实现与头戴式显示器装置30或便携式终端60无线通信的功能。无线通信部23的可通信距离为数m左右即可，通信方式可采用各种近距离无线通信方式。与头戴式显示器装置30或便携式终端60的无线通信也可以通过使用网络通信部22的无线LAN而进行。

图像处理部25除了进行图像的扩大缩小、旋转等处理之外，还进行将印刷数据变换为图像数据的光栅处理、图像数据的压缩、扩展处理等。

打印机部26实现将与图像数据对应的图像在记录纸上进行图像形成的功能。在此，具有记录纸的传输装置、感光体鼓、带电装置、激光单元、显影装置、转印分离装置、清洁装置、定影装置，通过电子照片过程进行图像形成，所谓作为激光打印机而构成。图像形成也可以是其他方式。打印机部26具有多个供纸托盘以及手动进纸盘，从被选择的供纸托盘或者手动进纸盘抽出用纸并印刷。打印机部26具备双面印刷功能。

传真机通信部27实现通过具备传真机功能的外部装置和电话线路对图像数据进行发送接收的功能。

图3表示头戴式显示器装置30的概略结构。头戴式显示器装置30成类似于眼镜的形状，安装于人头而使用。本例的头戴式显示器装置30采用通过半透明反射镜使图像与外面的情形重合的方式（所谓，光透过型）。

头戴式显示器装置30具备：显示部31，在安装时分别配置于佩戴者的左右眼前；桥32，在之间维系左右的显示部31；以及弦33，从通过桥32连结的左右的显示部31的两旁向相同方向延长并挂在佩戴者的耳上，等。

此外，在显示部31的两旁，设置包含控制电路、投影部46、照相机部47等的基干部34。此外，半透明反射镜35被从左右的基干部34延长的支撑臂支撑，以使位于各显示部31的前方。

半透明反射镜35以45度的角度倾斜设置从前方向显示部31入射的光L1，基干部34的投影部46将图像（设为扩展现实感信息的图像光L2）向半透明反射镜35投影。半透明反射镜35构成为，在透明基板（玻璃基板）上表面涂层反射膜（金属膜和电介质膜）。半透明反射镜35，例如，透过与反射的光量比变为1：1。

在头戴式显示器装置30的佩戴者的眼中，外光L1和图像光L2以1：1的比例合成的光通过显示部31入射。即，头戴式显示器装置30的佩戴者看见外面的情形与投影部46投影的图像以一半的透过率重合的情形。

图4是表示头戴式显示器装置30的结构的模块图。头戴式显示器装置30构成为，经由总线将ROM42、RAM43、非易失存储器44、方位传感器部45、投影部46、照相机部47、无线通信部48、操作部49、显示部31、网络通信部51、图像处理部52、声音检测部53、以及行动检测部54等连接至作为控制部的CPU41。

CPU41按照在ROM42中存储的程序控制头戴式显示器装置30的动作。在ROM42中存储程序或固定数据。RAM43在CPU41执行程序时作为暂时地存储各种数据的工作存储器等而使用。在非易失存储器44中存储各种设定信息。

方位传感器部45检测头戴式显示器装置30的朝向或姿势以及其变化。方位传感器部45构成为，组合多个地磁传感器和多个加速度传感器。方位传感器部45检测安装头戴式显示器装置30的操作者的姿势或操作者朝向的方向或角度（这与照相机部47拍摄的方向或朝向一致），或检测倾斜头戴式显示器装置30的情况的动作的朝向或速度，将该检测结果通知至CPU41。CPU41基于来自方位传感器部45的通知，识别安装头戴式显示器装置30的操作者的姿势、角度、被倾斜的动作的朝向或速度。

投影部46如所述那样，将投影对象的图像（设为扩展现实感信息的图像光L2）向半透明反射镜35投影。

照相机部47拍摄头戴式显示器装置30的前方。更详细地说，拍摄与佩戴者看前方时的视野大致相同的范围。照相机部47可以分别设置在左右的基干部34，也可以仅设置在任一方。照相机部47拍摄动画，例如获取每秒30帧的图像。

操作部49是设置于基干部34等的开关等，用于投影图像的明亮度等的调整。

网络通信部51实现通过包含无线LAN的网络2在图像处理装置10等的操作对象设备或其他外部装置之间对数据进行通信的功能。无线通信部48实现与附近的操作对象设备（图像处理装置10等）进行近距离无线通信的功能。

图像处理部52进行从投影部46经由半透明反射镜35投影至显示部31的图像的扩大/缩小、变形等。

声音检测部53检测操作者的声音等。行动检测部54根据照相机部47拍摄的图像或声音检测部53检测的声音等判断是否用户进行（安装头戴式显示器装置30的操作者）了预先决定的特定的行动，检测特定行动。也可以CPU41实现行动检测部54的功能。

图5表示便携式终端60的概略结构。便携式终端60构成为，经由总线将ROM62、RAM63、非易失存储器64、方位传感器部65、照相机部66、声音检测部67、操作部68、显示部69、网络通信部70、图像处理部71、无线通信部72、以及行动检测部73等连接至CPU61。

CPU61按照在ROM62中存储的程序控制便携式终端60的动作。在ROM62中存储程序或固定数据。RAM63在CPU61执行程序时作为暂时地存储各种数据的工作存储器等而使用。在非易失存储器64中存储各种设定信息。

方位传感器部65检测便携式终端60的朝向或姿势、以及其变化。方位传感器部65是与头戴式显示器装置30的方位传感器部45相同的结构。照相机部66设置于便携式终端60的反面侧而拍摄便携式终端60的反面面临的方向。照相机部66能够拍摄动画，例如获取每秒30帧的图像。

显示部69由液晶显示器等构成。操作部68由设置于显示部69的物理画面上的触摸面板等构成。

网络通信部70实现通过包含无线LAN的网络2在图像处理装置10等的操作对象设备或其他外部装置之间对数据进行通信的功能。无线通信部72实现与附近的操作对象设备（图像处理装置10等）进行近距离无线通信的功能。

图像处理部71对图像数据实施旋转、扩大缩小、变形等各种处理。

声音检测部67检测持有该便携式终端60的用户的声音等。行动检测部73根据照相机部66拍摄的图像或声音检测部67检测的声音等判断是否用户进行了特定行动，检测特定行动。也可以CPU61实现行动检测部73的功能。

接着，说明作为引导信息显示装置的一个的头戴式显示器装置30中的各种引导信息的显示例。

图6表示在头戴式显示器装置30的佩戴者在手中持有USB存储器并对其注视后，看到图像处理装置10的情况（通过照相机部47拍摄图像处理装置10的情况）中的引导信息的显示例。另外，图6至图11表示在左侧的显示部31中看到的现实像，表示在右侧的显示部31中从投影部46投影的图像（引导信息）通过半透明反射镜35与现实像重合的合成像。

在用户注视USB存储器时（同图（a）），头戴式显示器装置30的行动检测部54分析照相机部47拍摄的图像，检测“在手中持有并注视USB存储器”的用户的特定行动。然后，作为控制部的CPU41使在显示部31中“检测到USB存储器”的引导信息与现实像（实图像）重合而显示。在该阶段中，识别要使用USB存储器的用户的意图。

接下来如同图（b）所示，在用户注视作为操作对象设备的图像处理装置10时，头戴式显示器装置30从照相机部47拍摄的图像检测用户看图像处理装置10的事实。然后，CPU41根据“在手中持有并注视USB存储器”的特定行动、和之后被拍摄的图像处理装置10的组合，该用户使用USB存储器识别在该被拍摄的图像处理装置10中进行某些作业的意图，使与该组合对应的引导信息显示于显示部31中。

在此，CPU41使用作为通信部的无线通信部48或者网络通信部51，与图像处理装置10通信并取得表示与USB存储器的连接关联的图像处理装置10的状态的信息，使该信息或与用户看到的图像处理装置10的部分/位置对应的引导信息在显示部31中显示。具体而言，CPU41与图像处理装置10通信，取得设置连接I/F部18的位置的信息、与USB存储器对应的连接I/F部18的部分或空状况（使用/未使用）所涉及的信息。

如同图（b）所示，在用户看到的部分（通过照相机部47拍摄的部分）为图像处理装置10的正面的情况下，由于能够估计接着用户要寻找连接I/F部18的场所，因此在头戴式显示器装置30中，CPU41使表示在图像处理装置10的主体的右侧面存在连接I/F部18的情况的引导信息与现实像重合而显示于显示部31中。详细地说，CPU41分析图像，确定显示部31的现实像中的图像处理装置10的位置或朝向，调整引导信息的显示位置或显示尺寸，以使引导信息对于现实像在适当的位置重合，使引导信息和现实像合成显示于显示部31中。

然后，如同图（c）所示，在用户向图像处理装置10的右侧旋转而看到右侧面时（通过照相机部47拍摄图像处理装置10的右侧面时），能够估计接着调查用户应将USB存储器插入至哪个连接I/F部18。因此，头戴式显示器装置30中，CPU41使表示在被多个设置的连接I/F部18之中的哪个连接口（连接I/F部18）上安装USB存储器并可使用的引导信息与现实像重合而显示于显示部31中。在同图（c）所示的例中，显示部31使表示可连接的USB端口存在1个的消息、和表示是否与各连接口的现实像重合，能够将USB存储器连接至各自的连接口的消息显示。

图7表示头戴式显示器装置30的佩戴者在手中持有白纸的用纸束并对其注视后，看到图像处理装置10的情况下的引导信息的显示例。

在用户注视白纸的用纸束时（同图（a）），头戴式显示器装置30的行动检测部54分析照相机部47拍摄的图像，检测用户持有白纸的用纸束的特定行动，同时检测该用纸尺寸。然后，作为控制部的CPU41使“检测到白纸的用纸束（A4尺寸）”的引导信息与现实像重合而显示于显示部31中。在该阶段中，识别要如何使用白纸的用纸束的用户的意图。

接下来如同图（b）所示，在用户注视作为操作对象设备的图像处理装置10时，头戴式显示器装置30根据照相机部47拍摄的图像检测用户注视图像处理装置10的事实。然后根据“注视白纸的用纸束”的特定行动、和之后被拍摄的图像处理装置10（具有在用纸上印刷图像的功能的装置）的组合，头戴式显示器装置30的CPU41识别该用户要将白纸的用纸束设置于图像处理装置10的供纸托盘的意图，使与该组合对应的引导信息显示于显示部31中。

在此，CPU41使用作为通信部的无线通信部48或者网络通信部51与图像处理装置10通信，取得供纸托盘的位置的信息、在各供纸托盘中应收纳的用纸尺寸、各供纸托盘的用纸残量等的信息。然后头戴式显示器装置30的CPU41使表示与用户在手中持有的白纸束的用纸尺寸（A4）对应的供纸托盘的位置或该供纸托盘的用纸残量等的引导信息与现实像重合而显示于显示部31中。

图8表示在头戴式显示器装置30的佩戴者在手中持有A4尺寸的白纸的用纸束并对其注视后看到图像处理装置10的情况，并且是A4尺寸的用纸被设置于手动进纸盘的情况下的引导信息的显示例。

用户注视白纸的用纸束时（同图（a）），头戴式显示器装置30的行动检测部54分析照相机部47拍摄的图像，检测用户持有白纸的用纸束的特定行动，同时检测该用纸尺寸。然后，作为控制部的CPU41使“检测到白纸的用纸束（A4尺寸）”的引导信息与现实像重合而显示于显示部31中。在该阶段中，识别要如何使用白纸的用纸束的用户的意图。

接下来同如图（b）所示，在用户注视作为操作对象设备的图像处理装置10时，头戴式显示器装置30根据照相机部47拍摄的图像检测用户注视图像处理装置10的事实。然后根据“注视白纸的用纸束”的特定行动、和之后被拍摄的图像处理装置10的组合，头戴式显示器装置30的CPU41识别该用户要将白纸的用纸束设置于图像处理装置10的供纸托盘的意图，使与该组合对应的引导信息显示于显示部31中。

在此，CPU41使用作为通信部的无线通信部48或者网络通信部51与图像处理装置10通信，取得供纸托盘或手动进纸盘的位置的信息、在各供纸托盘中应收纳的用纸尺寸、各供纸托盘的用纸残量等的信息。然后，CPU41从图像处理装置10取得在各供纸托盘中设置A4尺寸以外的用纸的信息。此时，头戴式显示器装置30的CPU41判断为用户应将在手中持有的A4尺寸的白纸的束设置于手动进纸盘。但是，如同图（b）所示，由于用户看到的部分（照相机部47拍摄的部分）为图像处理装置10的正面，因此CPU41判断为应将用户引导至手动进纸盘的场所。然后，CPU41使应将A4尺寸的白纸的用纸设置于手动进纸盘的情况以及表示手动进纸盘的位置的引导信息与现实像重合而显示于显示部31中。

然后，如同图（c）所示，用户向图像处理装置10的右侧旋转而看到图像处理装置10的右侧面时（通过照相机部47拍摄图像处理装置10的右侧面时），头戴式显示器装置30的CPU41使进行催促以使打开手动进纸盘的消息、和指示该现实像（图像处理装置10的右侧面）中的手动进纸盘的位置的引导信息与现实像重合而显示于显示部31中。

图9、图10表示在头戴式显示器装置30的佩戴者在手中持有被印字的原稿束并对其注视后，看到图像处理装置10的操作面板的情况下的引导信息的显示例。在用户注视原稿束时（同图（a）），头戴式显示器装置30的行动检测部54分析照相机部47拍摄的图像，检测“在手中持有被印字的原稿束并注视”的用户的特定行动，同时检测该原稿的尺寸。然后，作为控制部的CPU41使“检测到被印字的原稿束”的引导信息与现实像重合而显示于显示部31中。

接下来如同图（b）所示，CPU41在根据照相机部47拍摄的图像，能够确认用户在手中持有的原稿束的用纸的反面也被印刷的情况时，使“被印字的原稿束双面被印字”的引导信息与现实像重合而显示于显示部31中。

然后，在用户注视作为操作对象设备的图像处理装置10的操作面板时，头戴式显示器装置30根据照相机部47拍摄的图像检测用户注视图像处理装置10的操作面板中复制的设定画面的事实。然后，作为与“在手中持有双面原稿”的特定行动、和之后被拍摄的图像处理装置10以及其拍摄部分（操作面板的复制设定画面）的组合对应的引导信息，如图10所示，CPU41使推荐将复制模式的印刷设定切换为双面印刷的情况的引导信息与现实像重合而显示于显示部31中。在此，用于切换为双面印刷的操作按钮的部分也引导显示。

另外，在复制的设定中，由于存在与原稿相关的单面/双面的设定、和与至用纸的印刷相关的单面/双面的设定，因此引导信息可以推荐关于这两者切换为双面设定的情况，也可以推荐至少仅与原稿相关切换为双面设定的情况。此外，拍摄部分显示于操作面板，在扫描模式（例如，Scan to HDD（Scan toBox））等的设定画面的情况下，显示将原稿的读取设定切换为双面设定的情况的引导信息，或，将原稿的读取设定自动地设定为双面。

图11表示在头戴式显示器装置30的佩戴者持有信头用纸并对其注视后，看到图像处理装置10的供纸托盘的情况下的引导信息的显示例。在用户在手中持有信头用纸并注视时（同图（a）），头戴式显示器装置30的行动检测部54分析照相机部47拍摄的图像，检测用户“持有信头用纸并注视”的特定行动，同时检测该用纸尺寸。然后，作为控制部的CPU41使“检测到信头用纸（A4尺寸）”的引导信息与现实像重合而显示于显示部31中。

接下来如同图（b）所示，在用户抽出作为操作对象设备的图像处理装置10的供纸托盘时，头戴式显示器装置30根据照相机部47拍摄的图像检测用户抽出图像处理装置10的供纸托盘的事实。然后根据“持有信头用纸”的特定行动、和之后被拍摄的图像处理装置10以及其部分（供纸托盘）的组合，头戴式显示器装置30的CPU41识别该用户要将信头用纸设置于该供纸托盘的意图，使与该组合对应的引导信息显示于显示部31中。

在此，CPU41判断用纸上的信头的被印字的位置以及应设置信头用纸为从朝向至该供纸托盘的哪个朝向，使表示该正确的朝向（设置的方法）的引导信息与现实像重合而显示于显示部31中。在此，使正确的朝向的信头用纸的图像与现实像的供纸盒重合而显示。另外，信头是指作为标志（Logo）等的印字信息的图像或字符，信头用纸是指信头的被印字的用纸。

此外，还进行以下那样的动作。

例如，行动检测部54在安装外部存储器后检测到用户在手中持有被印字的用纸（原稿）并注视的特定行动的情况，或者在外部存储器的安装后检测到用户将原稿设置于图像读取部24（ADF或稿台玻璃上）的情况下，CPU41使与扫描至外部存储器功能相关的引导信息显示于显示部31中。

此外，在检测到用户未在手中持有原稿（用纸）的情况，检测到在图像读取部24（ADF或稿台玻璃上）中原稿（用纸）未设置的事实的情况下，在当前的处理模式（印刷模式/发送模式/Box模式等）中，CPU41也可以使与利用外部存储器的功能（印刷模式：直接打印）相关的引导信息显示于显示部31中。

在被检测的特定行动是在具备光学地读取原稿的功能的读取装置（图像处理装置10或者图像读取装置4）的稿台玻璃上按顺序并置2张原稿的行动，通过照相机部47被拍摄的操作对象设备是原稿的读取装置的情况下，CPU41在显示部31中，根据在上述特定行动的检测时通过照相机部47被拍摄的第1张原稿的朝向，将用于使该第1张原稿和第2张原稿的上下一致的第2张原稿的设置的方法作为引导信息显示。

例如，CPU41根据照相机部47的拍摄图像，判定用户在手中持有第1张原稿时的原稿的上下（根据原稿内容判定），将该原稿在稿台玻璃上翻过来放置时的上下方向存储至RAM43等。接着，在打开稿台盖板的状态用户在手中持有第2张原稿时，CPU41判定该第2张原稿的上下。然后，在该第2张原稿在稿台玻璃上翻过来放置时，CPU41判断该原稿的上下方向与第1张原稿的上下方向是否一致，在不一致的情况下，使表示上下方向相反、应反转上下而重新放置的原稿的引导信息与现实像重合而显示于显示部31中。

此外，被检测的特定行动和通过照相机部47被拍摄的操作对象设备的组合是，用户持有（或者注视）订书机或者别针的特定行动和具备在用纸上印刷图像的功能的图像处理装置10的组合的情况下，CPU41使用作为通信部的无线通信部48或者网络通信部51，与该图像处理装置10通信，取得与装订功能相关的信息，判断是否能在该图像处理装置10中装订用纸。然后，CPU41在判断为在图像处理装置10中能装订用纸的情况下，使与图像处理装置10的装订的功能相关的引导信息显示于显示部31中。

例如，在用户持有订书机后，看到图像处理装置10的正面的阶段中，CPU41使表示在该图像处理装置10中存在将用纸用订书机装订的装订功能的引导信息显示在显示部31中，然后，用户看到图像处理装置10的操作面板时，CPU41使用于设定装订功能的操作引导显示于显示部31中。

此外，在被检测的特定行动和通过照相机部47被拍摄的操作对象设备的组合是，用户持有（或者注视）开孔用的打孔机的特定行动、和具备在用纸上印刷图像的功能的图像处理装置10的组合的情况下，CPU41使用作为通信部的无线通信部48或者网络通信部51，与该图像处理装置10通信，取得与打孔功能相关的信息，判断在该图像处理装置10中在用纸上是否能开孔。然后，CPU41在判断为能的情况下，使与图像处理装置10的打孔功能相关的引导信息在显示部31中显示。

例如，在用户持有开孔用的打孔机后，看到图像处理装置10的正面的阶段中，CPU41使表示在该图像处理装置10中存在打孔功能的引导信息显示于显示部31中。然后，在用户看到图像处理装置10的操作面板时，CPU41使用于设定打孔功能的操作引导显示于显示部31。

特定行动的检测可以是至操作对象设备的某些键输入。或也可以是通过声音检测部53被检测的用户的特定的声音信息（消息）的发声。

作为将键输入设为特定行动的情况的例，例如，代替用户持有USB存储器的特定行动，将用户从操作面板输入使用USB存储器等的外部存储器的功能的选择操作作为特定行动检测。然后，CPU41在根据照相机部47的拍摄图像识别操作对象设备为图像处理装置10时，从图像处理装置10取得外部存储器的连接I/F部18的位置或与各自的连接I/F部18的使用/未使用相关的信息，使图6（b）、（c）那样的引导信息在显示部31中显示。

在使用外部存储器的功能中，存在例如将读取到的原稿的图像数据文件保存至外部存储器的“扫描至外部存储器功能”、印刷保存至外部存储器的文件的“直接打印功能”等。

此外，行动检测部54将利用电话线路的功能，例如用户从操作面板输入的G3传真机发送功能的选择操作作为特定行动而检测，且CPU41在根据照相机部47的拍摄图像识别操作对象设备为具备传真机发送功能的图像处理装置10等时，CPU41从图像处理装置10取得与电话线的连接状况或当前的电话线路的使用状态等相关的信息，使与当前的图像处理装置10的状况对应的传真机发送相关的引导信息在显示部31中显示。例如，在电话线未与电话线路的连接I/F部18连接的情况下显示此情况的警告。

一方，行动检测部54在将用户从操作面板输入利用网络通信的功能，例如互联网传真机的发送功能的选择操作作为特定行动而检测，且CPU41根据照相机部47的拍摄图像识别操作对象设备为具备互联网传真机功能的图像处理装置10等时，CPU41从图像处理装置10取得网络线路与连接I/F部18是否连接等的信息，使与当前的图像处理装置10的状况对应的互联网传真机发送相关的引导信息在显示部31中显示。例如，在互联网线路未与连接I/F部18连接的情况下显示此情况的警告。

也可以是，通过特定的声音信息的检测，识别与上述的键输入操作相同的用户的意图并显示引导信息。例如，也可以将“选择G3传真机发送”的声音信息的输入与之前的功能按钮的选择相同地处理而动作。

在头戴式显示器装置30中将引导信息与现实像重合而显示，但在引导信息显示装置为便携式终端60的情况下，在照相机部66拍摄的图像中重合而显示引导信息。例如，作为控制部的CPU61，对位或尺寸调整引导信息，使其在显示部69中与通过照相机部66被拍摄并在显示部69中显示的操作对象设备的图像（实图像）重合而显示。

接着，基于流程图说明作为引导信息显示装置的头戴式显示器装置30的动作。另外，关于作为引导信息显示装置的便携式终端60也成为同样的动作。

图12是表示头戴式显示器装置30进行的处理的整体的流程图。头戴式显示器装置30的CPU41监视是否检测了行动检测部54预先决定的特定行动（步骤S101；否），若检测到特定行动（步骤S101；是），则行动检测部54判别该特定行动的检测类型（步骤S102）。在被检测到的特定行动为根据照相机图像而确定的特定行动的情况（步骤S102；照相机图像）下，CPU4根据拍摄图像分析用户的意图并执行显示引导信息的拍摄图像对应处理（步骤S103）。将用于特定行动的检测的图像设为第1图像。

在被检测的特定行动为根据键输入而确定的特定行动的情况（步骤S102；键输入）下，CPU41根据键输入分析用户的意图并执行显示引导信息的键输入对应处理（步骤S104）。在被检测的特定行动为根据声音信息而确定的特定行动的情况（步骤S102；声音输入）下，CPU41根据被输入的声音信息分析用户的意图并执行显示引导信息的声音输入对应处理（步骤S105）。

图13、图14、图15是表示拍摄图像对应处理（图12的步骤S103）的细节的流程图。头戴式显示器装置30的CPU41分析通过照相机部47被拍摄的第1图像（步骤S111），确定拍摄对象物（注视对象物）（步骤S112），识别那是什么（步骤S113）。例如，CPU41将USB存储器、白纸的用纸等用户注视的物品作为拍摄对象物而识别。然后，CPU41使该拍摄对象物所涉及的信息（运动图像、静止图像、名称等）在RAM43等中存储（步骤S114）。

接着，若操作对象设备通过照相机部47被拍摄（步骤S115；是），则CPU41识别之前的拍摄对象物的种类（步骤S116）。若拍摄对象物（用户在手中取得并注视的物品或用户未在手中持有而将面部靠近等一直看的物品）为外部存储器（步骤S117），则CPU41使与外部存储器和在S115中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。即，CPU41确定在S115中被拍摄的操作对象设备，与该操作对象设备通信，取得与在该操作对象设备中的连接I/F部的位置或使用/未使用相关的信息（步骤S118），使与外部存储器的连接I/F部的位置或空状况相关的引导信息在显示部31中显示（步骤S119），结束本处理。

若拍摄对象物（用户在手中取得并注视的物品或用户未在手中持有而将面部靠近等一直看的物品）为白纸的用纸（步骤S120），则CPU41使与白纸的用纸和在S115中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。

即，CPU41确定在S115中被拍摄的操作对象设备，与该操作对象设备通信，从该操作对象设备取得与各供纸托盘的位置、应收纳的用纸尺寸相关的信息（步骤S121）。然后，CPU41确认与白纸的用纸的尺寸一致的供纸托盘的有无以及场所（步骤S122）。若应收纳的用纸尺寸为与白纸的用纸尺寸一致的供纸托盘（步骤S123；是），则CPU41使表示该一致的供纸托盘的引导信息与拍摄的操作对象设备的现实像重合而显示于显示部31（步骤S124），结束本处理。

若应收纳的用纸尺寸不是与白纸的用纸尺寸一致的供纸托盘（步骤S123；否），则CPU41使应将用纸设置于手动进纸盘的情况、或与手动进纸盘的位置相关的引导信息，与被拍摄的操作对象设备的现实像重合等而显示于显示部31（步骤S125），结束本处理。

若拍摄对象物（用户在手中取得并注视的物品或用户未在手中持有而将面部靠近等一直看的物品）为被印字的用纸（步骤S126），则CPU41使与被印字的用纸和在S115中被拍摄的操作对象设备的组合对应的引导信息在显示部31显示。详细地说，CPU41判断被拍摄的部分是否为供纸托盘（图14，步骤S127），若为供纸托盘（步骤S127；是），则CPU41判断为被印字的用纸是信头用纸（步骤S128）。然后，CPU41使与对于被拍摄的供纸托盘的该信头用纸的正确的设置方向相关的引导信息，与被拍摄的供纸托盘的现实像重合而显示于显示部31（步骤S129），结束本处理。

若被拍摄的部分为操作对象设备的图像读取部（步骤S130；是），则CPU41在与该操作对象设备通信，或拍摄该操作对象设备的操作面板的情况下分析图像，取得与当前的该操作对象设备中的原稿的读取设定（当前的单面/双面读取设定）相关的信息（步骤S131）。接着，CPU41根据第1图像或之后被拍摄的图像，判断被印字的用纸是否是双面原稿（步骤S132）。若为双面原稿（步骤S132；是），则CPU41调查被印字的用纸的印刷状况（双面原稿）、与操作对象设备中的原稿的读取设定（当前的单面/双面读取设定）是否一致（步骤S133）。在不一致的情况（步骤S133；否）下，CPU41使至双面读取（或双面印刷）设定的切换操作在显示部31中引导显示（步骤S134），并转移至步骤S137。在一致的情况（步骤S133；是）下，不进行引导显示，转移至步骤S137。

若为单面原稿（步骤S132；否），则CPU41调查被印字的用纸的印刷状况（单面原稿）与操作对象设备中的原稿的读取设定（当前的单面/双面读取设定）是否一致（步骤S135）。在不一致的情况（步骤S135；否）下，CPU41使至单面读取（或单面印刷）设定的切换操作在显示部31中引导显示（步骤S136），转移至步骤S137。在一致的情况下（步骤S135；是），不进行引导显示，转移至步骤S137。

在步骤S137中，CPU41根据之后被拍摄的图像判断在图像读取部中下一个原稿是否被设置，若下一个原稿被设置（步骤S137；是），则返回步骤S130继续处理。

在下一个原稿未被设置的情况（步骤S137；否）下，CPU41根据拍摄图像判断在稿台玻璃上是否多张原稿被设置（步骤S138），若未被设置（步骤S138；否），则结束本处理。

在稿台玻璃上多张原稿被设置的情况（步骤S138；是）下，CPU41判断被设置的多张原稿的上下是否一致（步骤S139），若一致（步骤S139；是），则结束本处理。若非一致（步骤S139；否），则CPU41使原稿的设置方向在显示部31中引导显示，以使上下一致（步骤S140），结束本处理。

若拍摄对象物（用户在手中取得并注视的物品或用户未在手中持有而将面部接近等一直看）为订书机（图13，步骤S142），则CPU41使与订书机和在S115中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。

即，CPU41确定在S115中被拍摄的操作对象设备，与该操作对象设备通信，从该操作对象设备取得与装订功能相关的信息（图15，步骤S143）。若在该操作对象设备中无装订功能（步骤S144；否），则结束本处理。另一方面，在该操作对象设备具有装订功能的情况（步骤S144；是）下，CPU41使在该操作对象设备中用于使用装订功能的操作的引导信息在显示部31中显示（步骤S145），结束本处理。

若拍摄对象物（用户在手中取得并注视的物品或用户未在手中持有而将面部接近等一直看）为打孔机（图13，步骤S150），则CPU41使与打孔机和在S115中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。

即，CPU41确定在S115中被拍摄的操作对象设备，与该操作对象设备通信，从该操作对象设备取得与打孔功能相关的信息（图15，步骤S151）。若在该操作对象设备中无打孔功能（步骤S152；否），则结束本处理。另一方面，在该操作对象设备具有打孔功能的情况（步骤S152；是）下，CPU41使在该操作对象设备中用于使用打孔功能的操作的引导信息在显示部31中显示（步骤S153），结束本处理。

图16、图17是表示键输入对应处理（图12的步骤S104）的细节的流程图。CPU41根据通过照相机部47被拍摄的第1图像分析键输入的内容（步骤S201），识别该键输入的内容，例如选择设备的功能的功能按钮被操作的情况下的该功能按钮的内容，并存储至RAM43等（步骤S202）。键输入的内容也可以从操作对象设备通过通信取得。

接着，若操作对象设备通过照相机部47被拍摄（步骤S203；是），则CPU41识别之前的键输入的种类（步骤S204）。若键输入的内容为利用外部存储器的功能按钮（步骤S205），则CPU41使与该功能按钮和在S203中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。

即，CPU41确定在S203中被拍摄的操作对象设备，与该操作对象设备通信，取得与该操作对象设备中的外部存储器的连接I/F部的位置或使用/未使用相关的信息（步骤S206），使与外部存储器的连接I/F部的位置或空状况相关的引导信息在显示部31中显示（步骤S207），结束本处理。作为利用外部存储器的功能按钮，存在例如扫描to外部存储器功能或直接打印功能的功能按钮。

若键输入的内容为利用电话线路的功能按钮，例如选择G3传真机发送的功能按钮（步骤S208），则CPU41使与该功能按钮和在S203中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。即，CPU41确定在S203中被拍摄的操作对象设备，与该操作对象设备通信，从该操作对象设备取得电话线路的连接状况、电话线路的连接I/F部的信息等（步骤S209）。

然后以该信息为基础，CPU41判断例如电话线是否连接至电话线路的连接I/F部（步骤S210）。若连接（步骤S210；是），则CPU41使可使用利用电话线路的功能的情况与被拍摄的操作对象设备的现实像重合而显示于显示部31（步骤S211），结束本处理。在电话线未被连接至电话线路的连接I/F部的情况（步骤S210；否）下，CPU41使电话线未被连接至电话线路的连接I/F部的情况以及电话线路的连接I/F部的位置等的引导信息在显示部31中显示（步骤S212），结束本处理。

若键输入的内容为利用网络线路的功能按钮，例如选择互联网传真机的发送的功能按钮（步骤S213）。则CPU41使与该功能按钮和在S203中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。

即，CPU41确定在S203中被拍摄的操作对象设备，与该操作对象设备通信，从该操作对象设备取得网络线路的连接状况、网络线路的连接I/F部的信息等（图17，步骤S214）。然后以该信息为基础，CPU41判断例如网络线路是否被连接至连接I/F部（步骤S215）。若被连接（步骤S215；是），则CPU41使可使用利用网络线路的功能的情况与被拍摄的操作对象设备的现实像重合而显示于显示部31（步骤S216），结束本处理。

在网络线路未连接至连接I/F部的情况（步骤S215；否）下，CPU41使网络线路未连接至连接I/F部的情况，以及与网络线路的连接I/F部的位置等相关的引导信息在显示部31中显示（步骤S217），结束本处理。

若键输入的内容为其他功能按钮（图16，步骤S218），则未进行引导显示而结束处理。

图18是表示声音输入对应处理（图12的步骤S105）的细节的流程图。CPU41分析通过声音检测部53被检测的声音信息（步骤S301），识别该分析结果（声音信息的内容），例如在输入选择功能按钮的声音指示的情况下的该指示内容，并存储至RAM43等（步骤S302）。

接着，若操作对象设备通过照相机部47被拍摄（步骤S303；是），则CPU41识别之前的声音信息的内容的种类（步骤S304）。若声音信息的内容为选择利用外部存储器的功能按钮的指示（步骤S305），则CPU41使与该功能按钮和在S303中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。

即，CPU41确定在S303中被拍摄的操作对象设备，与该操作对象设备通信，取得与该操作对象设备中的外部存储器的连接I/F部的位置或使用/未使用相关的信息（步骤S306），使与外部存储器的连接I/F部的位置或空状况相关的引导信息在显示部31中显示（步骤S307），结束本处理。

若声音信息的内容为选择利用电话线路的功能按钮（例如，G3传真机发送的功能按钮）的指示（步骤S308），则CPU41使与该功能按钮和在S303中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。

即，CPU41确定在S303中被拍摄的操作对象设备，与该操作对象设备通信，从该操作对象设备取得电话线路的连接状况、电话线路的连接I/F部的信息等（步骤S309）。然后以该信息为基础，CPU41判断例如电话线是否连接至电话线路的连接I/F部（步骤S310）。

若被连接（步骤S310；是），则CPU41使可使用利用电话线路的功能的情况与被拍摄的操作对象设备的现实像重合而显示于显示部31（步骤S311），结束本处理。在电话线未被连接至电话线路的连接I/F部的情况（步骤S310；否）下，CPU41使电话线未被连接至电话线路的连接I/F部的情况以及电话线路的连接I/F部的位置等的引导信息在显示部31中显示（步骤S312），结束本处理。

若声音信息的内容为选择利用网络线路的功能按钮（例如，互联网传真机发送的功能按钮）的指示（图18，步骤S313），则CPU41使与该功能按钮和在S303中被拍摄的操作对象设备的组合对应的引导信息在显示部31中显示。

即，CPU41确定在S303中被拍摄的操作对象设备，与该操作对象设备通信，从该操作对象设备取得网络线路的连接状况、网络线路的连接l/F部的信息等（图17，步骤S214）。然后以该信息为基础，CPU41判断例如网络线路是否连接至连接I/F部（步骤S215）。

若被连接（步骤S215；是），则CPU41将可使用利用网络线路的功能的情况与被拍摄的操作对象设备的现实像重合而显示于显示部31中（步骤S216），结束本处理。在网络线路未被连接至连接I/F部的情况（步骤S215；否）下，CPU41使网络线路未连接至连接I/F部的情况，以及与网络线路的连接I/F部的位置等相关的引导信息在显示部31中显示（步骤S217），结束本处理。

若声音信息的内容为其他功能按钮（图18，步骤S314）的选择指示等，则不进行引导显示而结束处理。

这样，本发明所涉及的引导信息显示装置（头戴式显示器装置30或便携式终端60）中，在检测用户的特定行动并识别用户的意图，且通过照相机部操作对象设备被拍摄时，由于将与该被检测的特定行动和被拍摄的操作对象设备的组合对应的引导信息提供至用户，因此能够将适当的引导信息以适当的定时提供至用户。

此外，引导信息显示装置由于与被拍摄的操作对象设备通信并取得与被检测的特定行动关联的信息，基于该取得的信息显示引导信息，因此能够应用与当前的操作对象设备的状态一致的引导信息。

此外，引导信息显示装置由于显示与被检测的特定行动、和被拍摄的操作对象设备的部分（部位）的组合对应的引导信息，因此能够更细致地确定用户的意图，提供与该意图对应的适当的引导信息。

以上，通过附图说明了本发明的实施方式，但具体的结构不限于实施方式所示的结构，即使有不脱离本发明的主旨的范围内的变更或追加，也包含于本发明。

在实施方式中，以图像处理装置10作为操作对象设备而被拍摄的情况的动作为例进行说明，但在其他操作对象设备被拍摄的情况下，显示与该操作对象设备和被检测的特定行动的组合对应的引导信息。即，即使被检测的特定行动相同，也根据被拍摄的操作对象设备切换被显示的引导信息。例如，在检测到在手中持有外部存储器并注视的特定行动后被拍摄的操作对象设备为PC6的情况下，显示与PC6中的外部存储器的连接I/F部相关的引导信息。

此外，也可以是，在检测到在手中持有双面原稿并注视的特定行动后，无自动双面读取功能的图像读取装置4作为操作对象设备而被拍摄的情况下，显示用于将原稿翻过来而手动读取双面原稿的操作的引导信息、或推荐在具有双面原稿的自动读取功能的其他设备（例如，图像处理装置10）中进行作业的引导信息，等。

在实施方式中，以作为操作对象设备的图像处理装置10、图像读取装置4，PC6为例进行说明，但操作对象设备也可以是其他设备。另外，操作对象设备不限定于特定的一个设备。例如，显示引导信息的对象设备也可以仅限定于图像处理装置10。此时，由于在检测到特定行动后以图像处理装置10被拍摄的定时显示与该特定行动建立关联的引导信息，因此能够以适当的定时提供引导信息。此外，此时，根据图像处理装置10被拍摄的部分或图像处理装置10的状况切换显示的引导信息，从而能够向用户提供更有效的信息。

在实施方式中，采用通过半透明反射镜35使图像与外面的情形重合的方式的头戴式显示器装置30，但若安装则不能看到外面的情形，仅能看到被映出的图像，也可以是VR（Virtual Reality）型的头戴式显示器。此时也可以与便携式终端60相同在照相机图像中显示合成引导信息的图像。

Claims

1.一种引导信息显示装置，其特征在于，具有：

显示部；

照相机部；

行动检测部，检测用户的特定行动；以及

控制部，在通过所述行动检测部检测出所述特定行动，且通过所述照相机部拍摄到特定的操作对象设备时，使与所述检测出的特定行动和所述拍摄到的操作对象设备的组合对应的引导信息在所述显示部中显示。

2.如权利要求1所述的引导信息显示装置，其特征在于，

所述控制部使与所述检测出的特定行动和所述拍摄到的操作对象设备的组合对应的引导信息、即与所述操作对象设备的状态或者被拍摄的部分对应的引导信息在所述显示部中显示。

3.如权利要求1所述的引导信息显示装置，其特征在于，

所述行动检测部根据通过所述照相机部拍摄的图像检测所述特定行动。

4.如权利要求1所述的引导信息显示装置，其特征在于，

所述特定行动是对所述操作对象设备的操作部的特定的输入操作。

5.如权利要求3所述的引导信息显示装置，其特征在于，

所述特定行动是所述用户的特定的姿势。

6.如权利要求1所述的引导信息显示装置，其特征在于，

所述行动检测部具备声音检测功能，通过所述声音检测功能检测特定的声音信息作为所述特定行动。

7.如权利要求2所述的引导信息显示装置，其特征在于，

具备通信部，

所述控制部使用所述通信部取得与所述操作对象设备的状态相关的信息。

8.如权利要求2所述的引导信息显示装置，其特征在于，

所述控制部根据通过所述照相机部拍摄的所述操作对象设备的图像识别所述操作对象设备的状态。

9.如权利要求7所述的引导信息显示装置，其特征在于，

所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视外部存储器的行动和具备外部存储器的连接I/F部的操作对象设备的组合的情况下，使用所述通信部取得与所述操作对象设备的所述连接I/F部相关的信息，使与该取得的信息对应的引导信息在所述显示部中显示。

10.如权利要求9所述的引导信息显示装置，其特征在于，

所述控制部使用所述通信部取得表示所述连接I/F部的状况的信息，使与可连接并使用用户持有或者注视的所述外部存储器的连接I/F部相关的信息作为所述引导信息在所述显示部中显示。

11.如权利要求3所述的引导信息显示装置，其特征在于，

所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视白纸的用纸的行动和具备在用纸上印刷图像的功能的图像形成装置的组合的情况下，使与所述白纸的用纸的尺寸对应的供纸托盘的位置作为所述引导信息在所述显示部中显示。

12.如权利要求3所述的引导信息显示装置，其特征在于，

所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视双面原稿的行动和具备光学地读取双面原稿的功能的读取装置的组合的情况下，使与双面读取的设定相关的引导信息在所述显示部中显示。

13.如权利要求3所述的引导信息显示装置，其特征在于，

所述控制部仅在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视原稿的行动和具备光学地读取双面原稿的功能的读取装置的组合的情况，并且是针对单面/双面，所述原稿的印刷状况与在所述读取装置中的原稿的读取设定不一致的情况下，使与所述读取设定的切换相关的引导信息在所述显示部中显示。

14.如权利要求3所述的引导信息显示装置，其特征在于，

所述控制部使与所述检测出的特定行动和所述拍摄到的操作对象设备的组合对应的引导信息，并且是与被拍摄的部分对应的引导信息在所述显示部中显示，

进而，所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视信头用纸的行动和具备在用纸上印刷图像的功能的图像形成装置的组合，且被拍摄的部分为所述图像形成装置的供纸托盘的情况下，使与至该供纸托盘的所述信头用纸的正确的设置的方法相关的引导信息在所述显示部中显示。

15.如权利要求3所述的引导信息显示装置，其特征在于，

所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是在具备光学地读取原稿的功能的读取装置的稿台玻璃上按顺序并置2张原稿的行动和所述读取装置的组合的情况下，根据在所述特定行动的检测时通过所述照相机部拍摄的第1张原稿的朝向，将用于使该第1张原稿和第2张原稿的上下一致的所述第2张原稿的设置的方法作为所述引导信息在所述显示部中显示。

16.如权利要求3所述的引导信息显示装置，其特征在于，

所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视订书机或者别针的行动和具备在用纸上印刷图像的功能的图像形成装置的组合的情况下，判断是否能在所述图像形成装置中装订用纸，在判断为能的情况下，使与所述图像形成装置的装订的功能相关的引导信息在所述显示部中显示。

17.如权利要求3所述的引导信息显示装置，其特征在于，

所述控制部在所述检测出的特定行动和所述拍摄到的操作对象设备的组合是用户持有或者注视开孔用的打孔机的行动和具备在用纸上印刷图像的功能的图像形成装置的组合的情况下，判断在所述图像形成装置中是否在用纸上能够开孔，在判断为能的情况下，使与所述图像形成装置的开孔功能相关的引导信息在所述显示部中显示。

18.如权利要求1所述的引导信息显示装置，其特征在于，

所述显示部是通过半透明反射镜使图像与外界的情形重合的方式的头戴式显示器，

所述照相机部在所述头戴式显示器中被设置。

19.如权利要求1至18的任一项所述的引导信息显示装置，其特征在于，

所述控制部使所述引导信息与所述操作对象设备的实图像重合而显示于所述显示部中。