CN105759422B - 显示系统和显示装置的控制方法 - Google Patents

Abstract

本发明提供能够通过更直观的输入操作控制佩戴于使用者的头部的显示装置的显示系统、显示装置的控制方法、以及程序。显示系统1具备具有佩戴于使用者的头部的显示部的头戴式显示装置100、和与显示部独立地构成的操作设备3。头戴式显示装置100与操作设备3对应地，通过图像显示部20进行与透过图像显示部20的外景相关的AR显示。

Description

显示系统和显示装置的控制方法

技术领域

本发明涉及具备显示装置的显示系统和显示装置的控制方法。

背景技术

以往，作为针对使用者佩戴于头部进行使用的头戴显示器(Head MountedDisplay：HMD)等显示装置的输入操作的方法，提出了在手指佩戴装置，并通过该装置检测手指的移动的方法(例如，参照专利文献1、2)。专利文献1公开了利用佩戴于手指的装置进行文本输入的构成。另外，专利文献2公开了使用HMD和佩戴于手指的发光体，进行与鼠标同等的操作的构成。

专利文献1：日本特开2000－284886号公报

专利文献2：日本特开2000－29619号公报

在HMD中进行文本输入、与鼠标同等的输入操作的情况下，若存在误输入，则导致违反使用者的意图的结果。因此，使用者注视输入的文字，或者表示指示位置的光标，准确且没有错误地进行操作。因此，使用者被要求注视显示装置的显示慎重地进行操作，而期望能够以更直观的操作控制HMD的方法。

发明内容

本发明是鉴于上述情况而完成的，目的在于提供能够通过更直观的输入操作控制佩戴于使用者的头部的显示装置的显示系统、显示装置的控制方法、以及程序。

为了实现上述目的，本发明的显示系统的特征在于，具备：显示装置，其具有佩戴于使用者的头部，且透过外景并使上述使用者视觉确认的透射型显示部；以及操作对象物，其与上述显示部独立地构成，上述显示装置具备与上述操作对象物对应地，通过上述显示部进行与透过上述显示部的上述外景相关的AR显示的控制部。

根据本发明，佩戴于使用者的头部的显示装置与和显示装置独立的操作设备的操作对应地，进行与外景相关的AR显示，所以能够通过直观的输入操作控制AR显示。

本发明的特征在于，在上述显示系统中，上述显示装置通过上述显示部与上述操作对象物相关联地对与上述操作对象物相对应的控制对象对应图像进行AR显示。

根据本发明，能够以容易直观地把握的方式显示与操作对象物的操作有关的信息。

另外，本发明的特征在于，在上述显示系统中，上述操作对象物是具备了接受上述使用者的操作的操作部、和将表示上述操作部接受的操作的数据发送给上述显示装置的通信部的操作设备，上述显示装置的上述控制部基于上述操作设备的操作，通过上述显示部进行AR显示。

根据本发明，佩戴于使用者的头部的显示装置能够迅速地检测与显示装置独立的操作设备的操作，并进行与该操作对应的AR显示。

本发明的特征在于，在上述显示系统中，上述显示装置的上述控制部基于上述操作设备的操作，以与上述操作部相对应的方式，通过上述显示部进行与透过上述显示部的上述外景相关的AR显示。

根据本发明，能够在显示装置中可靠地检测操作设备上的操作。另外，能够减少操作的检测所涉及的显示装置的负担。

本发明的特征在于，在上述显示系统中，上述控制部基于从上述操作设备发送的数据检测上述操作部的操作，并与检测出的操作对应地，变更在上述显示部显示中的上述AR显示。

根据本发明，在进行AR显示的期间，能够通过对操作设备进行操作，使AR显示变更。

对于本发明来说，也可以在上述显示系统中，上述控制部能够设定相对于上述操作部的上述AR显示的分配。

在这种情况下，也可以上述控制部能够执行更新相对于上述操作部的上述AR显示的分配的处理。

本发明的特征在于，在上述显示系统中，上述显示装置的上述控制部求解上述操作设备与上述显示装置的相对位置，并基于求出的相对位置在上述显示部进行AR显示。

根据本发明，能够与操作设备和显示装置的相对位置对应地控制显示。

本发明的特征在于，在上述显示系统中，上述操作部具备检测接触操作的触摸操作部，上述触摸操作部具有多个操作区域，上述控制部通过上述显示部显示分配给在上述触摸操作部被操作的操作区域的上述AR显示。

根据本发明，通过在操作设备进行触摸操作，能够进行针对AR显示的各种操作。

本发明的特征在于，在上述显示系统中，上述操作设备具有的上述操作部检测上述操作设备的移动作为操作。

根据本发明，能够通过移动操作设备来进行针对显示装置的操作。

本发明的特征在于，在上述显示系统中，上述操作设备具备拍摄部，并通过上述通信部将包含上述拍摄部的拍摄图像的数据发送给上述显示装置。

根据本发明，能够利用与显示装置独立的操作设备进行拍摄，并在显示装置显示拍摄图像。

为了实现上述目的，本发明的显示系统的特征在于，具备：显示装置，其具有佩戴于使用者的头部，且透过外景并使上述使用者视觉确认的透射型显示部；以及操作对象物，其与上述显示部独立地构成，上述显示装置具备基于对上述操作对象物的操作，进行包含使由上述显示部显示的画面迁移的处理的显示控制的控制部。

根据本发明，对于佩戴于使用者的头部的显示装置，根据与显示装置独立的操作设备的操作使画面迁移，所以能够通过更直观的输入操作控制显示装置。

本发明的特征在于，在上述显示系统中，上述操作对象物是具备接受上述使用者的操作的操作部的操作设备。

根据本发明，能够检测针对与显示装置独立的操作设备的操作。

本发明的特征在于，在上述显示系统中，上述操作设备具备将表示上述操作部接受的操作的数据发送给上述显示装置的通信部，上述显示装置的上述控制部基于从上述操作设备发送的数据，检测上述操作设备的操作。

根据本发明，能够在显示装置中可靠地检测操作设备上的操作。另外，能够减少操作的检测所涉及的显示装置的负担。

本发明的特征在于，在上述显示系统中，上述操作设备具有的上述操作部检测伴随旋转的操作，上述显示装置的上述控制部在从上述操作设备发送了表示伴随旋转的操作的数据的情况下，与上述操作的旋转方向对应地，使由上述显示部显示的画面迁移。

根据本发明，通过伴随旋转的操作，显示的画面与旋转方向对应地迁移，所以能够实现更直观的操作。另外，由于操作的方向与画面的迁移的方向对应，所以例如能够进行摸索的操作。

本发明的特征在于，在上述显示系统中，上述显示装置的上述控制部基于从上述操作设备发送的数据，进行包括由上述显示部显示的图像的放大、缩小或者旋转的任意一个的显示控制。

根据本发明，能够通过直观的操作进行显示装置显示的图像的显示控制。

本发明的特征在于，在上述显示系统中，上述显示装置向上述操作设备发送输出用的数据，上述操作设备利用上述通信部接收上述显示装置发送的输出用的数据，并输出接收到的输出用的数据。

根据本发明，能够将操作设备作为输出数据的装置利用。

本发明的特征在于，在上述显示系统中，上述操作设备具备拍摄部，并通过上述通信部将包含上述拍摄部的拍摄图像的数据发送给上述显示装置。

根据本发明，能够利用与显示装置独立的操作设备进行拍摄，并在显示装置显示拍摄图像。

本发明的特征在于，在上述显示系统中，上述显示装置的上述控制部从上述操作设备接收包含拍摄图像的数据，并基于接收到的数据，求出上述操作设备与上述显示装置的相对位置。

根据本发明，能够迅速地求出操作设备与显示装置的相对位置。

本发明的特征在于，在上述显示系统中，上述操作设备具有的上述操作部检测上述操作设备的移动作为操作。

根据本发明，能够通过移动操作设备来进行针对显示装置的操作。

本发明的特征在于，在上述显示系统中，上述显示装置的上述控制部求解上述操作设备与上述显示装置的相对位置，并基于求出的相对位置控制上述显示部的显示。

根据本发明，能够与操作设备和显示装置的相对位置对应地控制显示。

本发明的特征在于，在上述显示系统中，上述显示装置具备拍摄部，上述控制部基于上述拍摄部的拍摄图像，求出上述操作设备与上述显示装置的相对位置。

根据本发明，能够迅速地求出操作设备与显示装置的相对位置。

本发明的特征在于，在上述显示系统中，上述显示部是透过外景并使上述使用者视觉确认的透射型显示部。

根据本发明，使用者能够在观察外景的同时对操作设备进行操作，来控制显示装置的显示。由于能够不仅仅注视显示装置，而直观地进行操作，所以在观察外景的同时使用显示装置的情况下优选。

本发明的特征在于，在上述显示系统中，上述操作设备具有佩戴于上述使用者的身体的佩戴部。

根据本发明，能够使用佩戴于使用者的身体的操作设备，进行更直观的输入操作，来控制显示装置。

本发明的特征在于，在上述显示系统中，上述显示装置具备的上述控制部在检测到上述操作对象物的情况下，与上述操作对象物对应地在上述显示部显示与上述操作对象物相对应的控制对象对应图像。

根据本发明，能够容易理解地向使用者提供与和显示装置独立的操作对象物有关的信息。

本发明的特征在于，在上述显示系统中，上述显示装置具备的上述控制部在检测到针对显示了上述控制对象对应图像的上述操作对象物的操作的情况下，执行与操作内容和上述控制对象对应图像对应的处理。

根据本发明，显示装置与针对操作对象物的操作对应地执行处理，所以能够使用操作对象物实现直观的操作。

本发明的特征在于，在上述显示系统中，上述显示装置具备检测针对上述操作对象物的操作的检测部。

根据本发明，显示装置能够迅速地检测针对操作对象物的操作。另外，即使操作对象物不具有通信功能，显示装置也能够与操作对象物的操作对应地执行处理。

本发明的特征在于，在上述显示系统中，上述显示装置具备拍摄部，上述控制部基于上述拍摄部的拍摄图像检测上述操作对象物，并检测针对上述操作对象物的操作。

根据本发明，即使操作对象物不执行通信，显示装置也能够检测操作对象物，并检测针对操作对象物的操作。

本发明的特征在于，在上述显示系统中，上述显示装置具备：数据存储部，其存储用于对与上述操作对象物具有的操作部对应的操作用的图像进行AR显示的AR显示用的数据，上述控制部能够变更上述数据存储部存储的上述AR显示用的数据。

根据本发明，对于与操作对象物对应地进行AR显示的功能，由于能够变更数据，所以能够以与新的操作对象物、未知的操作对象物对应的方式变更数据。由此，能够减少与成为AR显示的对象的操作对象物有关的制约，能够实现便利性的提高。

本发明的特征在于，在上述显示系统中，上述数据存储部存储的上述AR显示用的数据包括将上述操作用的图像与上述操作对象物具有的上述操作部建立对应关系的数据，上述控制部能够变更上述数据存储部存储的上述AR显示用的数据中，上述操作用的图像与上述操作对象物具有的上述操作部的对应。

根据本发明，能够变更操作对象物与AR显示的对应。

另外，为了实现上述目的，本发明的特征在于，是控制具有佩戴于使用者的头部，且透过外景并使上述使用者视觉确认的透射型显示部的显示装置的控制部能够执行的程序，通过上述控制部，检测与上述显示部独立地构成的操作对象物，检测上述操作对象物具备的操作部，在与检测出的上述操作对象物的操作部对应的位置显示操作用的图像，检测与上述操作用的图像有关的操作，并执行与检测到操作的上述操作用的图像对应的处理。

根据本发明，佩戴于使用者的头部的显示装置显示与和显示装置独立的操作对象物对应的操作用的图像，并根据与该操作用的图像有关的操作执行处理。因此，能够利用操作对象物使显示装置执行处理，能够进行针对显示装置的直观的操作。

另外，为了实现上述目的，本发明的特征在于，是控制具有佩戴于使用者的头部的显示部的显示装置的计算机能够执行的程序，在与上述显示部独立地构成的操作对象物接受了上述使用者的操作的情况下，基于上述操作对象物的操作，通过上述显示部进行与透过上述显示部的外景相关的AR显示。

根据本发明，具有佩戴于使用者的头部的显示部的显示装置在进行与外景相关的AR显示时，反映与显示装置独立的操作对象物的操作。因此，能够通过直观的输入操作控制AR显示。

另外，为了实现上述目的，本发明的显示装置的控制方法的特征在于，在使用与显示部独立地构成的操作对象物控制具有佩戴于使用者的头部的上述显示部的显示装置的控制方法中，通过上述操作对象物的操作部接受上述使用者的操作，并通过上述显示装置，基于上述操作对象物的操作，进行与透过上述显示部的外景相关的AR显示。

根据本发明，在具有佩戴于使用者的头部的显示部的显示装置进行与外景相关的AR显示时，反映与显示装置独立的操作对象物的操作。因此，能够通过直观的输入操作控制AR显示。

另外，为了实现上述目的，本发明的特征在于，是控制具有佩戴于使用者的头部的显示部的显示装置的计算机能够执行的程序，在与上述显示部独立地构成的操作对象物接受了上述使用者的操作的情况下，基于上述操作对象物的操作，进行包含使由上述显示部显示的画面迁移的处理的显示控制。

根据本发明，对于具有佩戴于使用者的头部的显示部的显示装置，操作与显示装置独立的操作对象物，来使画面迁移，所以能够通过更直观的输入操作控制显示装置。

另外，为了实现上述目的，本发明的服务器装置的特征在于，与通信线路连接，并通过上述通信线路发送上述的程序。

根据本发明，对于具有佩戴于使用者的头部的显示部的显示装置，操作与显示装置独立的操作对象物，来使画面迁移，所以能够通过更直观的输入操作控制显示装置。

另外，为了实现上述目的，本发明的显示装置的控制方法的特征在于，在使用与显示部独立地构成的操作对象物控制具有佩戴于使用者的头部的上述显示部的显示装置的控制方法中，通过上述操作对象物接受上述使用者的操作，将表示接受到的操作的数据发送给上述显示部，病通过上述显示装置，基于从上述操作对象物发送的数据，进行包括使由上述显示部显示的画面迁移至其他的画面的处理的显示控制。

根据本发明，对于具有佩戴于使用者的头部的显示部的显示装置，操作与显示装置独立的操作对象物，来使画面迁移，所以能够通过更直观的输入操作控制显示装置。

本发明也能够以头戴式显示装置以外的各种方式实现。例如，能够以头戴式显示装置的控制方法、具有头戴式显示装置的信息系统、用于实现头戴式显示装置的控制方法以及上述信息系统的计算机程序、记录了该计算机程序的记录介质、以及在用于传送计算机程序的服务器装置、包含该计算机程序的载波内具体化的数据信号等方式实现。

附图说明

图1是表示实施方式所涉及的显示系统的概略结构的说明图。

图2是表示操作设备的构成的说明图。

图3是操作设备的功能框图。

图4是头戴式显示装置的功能框图。

图5是表示操作设备的动作的流程图。

图6是表示头戴式显示装置的动作的流程图。

图7是表示设定用的AR显示的例子的说明图。

图8是表示根据操作设备的操作执行的处理的例子的图。

图9是表示头戴式显示装置的动作的流程图。

图10是表示头戴式显示装置的动作的其它的例子的流程图。

图11是表示根据操作设备的操作执行的处理的例子的图。

图12是表示根据操作设备的操作执行的处理的其它的例子的图。

图13是表示操作对象物的构成例的说明图。

图14是表示操作对象物的其它的构成例的说明图。

图15是表示头戴式显示装置的动作的流程图。

图16是表示与操作对象物对应的AR显示的例子的说明图。

图17是表示与操作对象物对应的AR显示的其它的例子的说明图。

图18是表示存储部存储的数据的构成例的图。

图19是表示编辑AR内容数据的处理的流程图。

图20是表示下载AR内容数据的处理的流程图。

图21是表示下载AR内容数据的处理的流程图。

具体实施方式

系统构成

图1是表示应用了本发明的实施方式所涉及的显示系统1的概略结构的图。

显示系统1具备佩戴于使用者的身体的头戴式显示装置100以及操作设备3。

如图1所示，头戴式显示装置100具有佩戴于使用者的头部的图像显示部20。头戴式显示装置100具备在佩戴于使用者的头部的状态下使使用者视觉确认虚像的图像显示部20(显示部)、和控制图像显示部20的控制装置10。图像显示部20是佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状的外壳2(主体)。另外，控制装置10也作为使用者操作头戴式显示装置100的控制器发挥作用。控制装置10收纳在使用者的衣服的口袋内，或者，佩戴于使用者的腰带。

另外，操作设备3是能够在使用者的身体佩戴的、所谓的可穿戴设备，在本实施方式中为佩戴于使用者的手腕的手表状的形状。

操作设备的构成

图2是表示操作设备3的构成的说明图，图2(A)是操作设备3的主要部分主视图，(B)以及(C)是表示LCD303的显示例的图。另外，图3是操作设备3的功能框图。参照这些图1～图3对操作设备3的构成进行说明。

操作设备3具有与手表的表带相同的形状的表带部300。表带部300具有未图示的带扣等固定部，例如能够缠在使用者的前臂部并固定。在操作设备3的表带部300，在相当于钟表的表盘的位置，形成有大致圆盘状的平面部300A。在平面部300A设有表圈301，、LCD303、按钮305、表把型操作件307、多个按钮309、以及光学部310。

表圈301是环状的操作件，配置在平面部300A的周边部。表圈301以能够相对于表带部300向圆周方向旋转的方式设置。如后述那样，操作设备3具备检测表圈301的旋转方向、以及旋转量的机构。另外，以能够旋转的方式将表圈301支承在表带部300的机构也可以具备根据旋转而产生标志音的机构。

LCD303是显示文字、图像的LCD(Liquid Crystal Display：液晶显示器)。在LCD303的钟表面重叠配置有图3所示的触摸面板304(触摸操作部)。

按钮305是配置在表圈301的外侧的按钮式开关。按钮305例如如图1、图2(A)所示，在佩戴安装状态下，从使用者观察位于表圈301的下方。按钮305与后述的表把型操作件307、按钮309相比大型，即使摸索也能够进行操作。

表把型操作件307是模仿了手表的钟表把的形状的操作件，能够使其如图中箭头所示那样旋转。操作设备3具备在使用者使表把型操作件307旋转的情况下，检测表把型操作件307的旋转方向、以及旋转量的机构。另外，以能够旋转的方式将表把型操作件307支承在表带部300的机构也可以具备根据旋转而产生标志音的机构。

按钮309是设在平面部300A的外周部的按钮式的开关。按钮309的数目并不特别限制，在本实施方式中示出了设置了四个按钮309的例子。

能够在按钮309分配不同的功能，能够在LCD303显示分配给各个按钮309的功能。

图2(B)示出在LCD303显示按钮309的功能的例子。在该例子中，在LCD303显示分别表示分配给四个按钮309的功能的功能显示331、332、333、334。功能显示331、332、333、334的显示位置与功能显示的对象的按钮309的位置对应。例如显示在LCD303的右上部的功能显示331表示分配给位于平面部300A的右上的按钮309的功能。

并且，在LCD303能够显示通过使表圈301旋转能够选择的功能。图2(C)示出在LCD303显示分配给表圈301的操作的功能的例子。在该例子中，在LCD303显示分别表示通过使表圈301旋转能够选择的四个功能的功能显示341、342、343、344。功能显示341、342、343、344的显示位置与表圈301的旋转位置对应。即，若使表圈301旋转，则依次切换功能显示341、342、343、以及344并选择。例如，若使表圈301顺时针(CW)旋转，则依次切换功能显示341、342、343、以及344并选择。

另外，功能显示345表示分配给按钮305的功能，在图2(C)的例子中为“决定”功能。若在通过表圈301的旋转，选择了功能显示341、342、343、以及344的任意一个的状态下，操作按钮305，则决定功能显示341、342、343、以及344的选择。然后，执行利用表圈301的旋转所选择的功能。

分配给按钮309的功能、以及通过表圈301的旋转选择的功能并不被粗略地限定，而能够切换并分配更多的功能。该情况下，在操作设备3中，能够构成为能够切换功能。该情况下，也可以构成为随着功能的切换，切换LCD303的功能显示331、332、333、334，或者功能显示341、342、343、344。

光学部310具备两个照相机311(拍摄部)、以及LED313。照相机311是具备CCD、CMOS等拍摄元件以及拍摄透镜等的数码照相机。操作设备3具有的两个照相机311的拍摄范围可以是彼此不同的范围，也可以是相同的范围。在本实施方式中，利用两个照相机311，能够拍摄佩戴了操作设备3的利用者的两眼，并基于拍摄图像检测使用者的视线。因此，是两个照相机311的一个能够拍摄前视平面部300A的使用者的右眼，另一个能够拍摄左眼的构成。

LED(Light Emitting Diode：发光二极管)313是产生红外光的红外LED。LED313作为利用照相机311进行拍摄的情况下的照明器件利用。另外，操作设备3能够通过使LED313点亮或者闪烁，来发送光信号。

图3示出了操作设备3的控制系统的构成。

操作设备3具备控制操作设备3的各部的控制部350。控制部350具备未图示的CPU、ROM、RAM等，并通过执行存储于ROM的程序，实现操作设备3的功能。

在控制部350，作为通信用的功能部，具备无线通信部361(通信部)以及NFC(NearField Communication：近场通信)部362。无线通信部361执行按照无线LAN(WiFi(注册商标))、Miracast(注册商标)、Bluetooth(注册商标)等标准的无线数据通信。NFC部362执行按照NFC标准的近距离无线通信。

在控制部350连接有LCD303、触摸面板304、两个照相机311、以及LED313。控制部350控制LCD303使图像、文字显示。另外，触摸面板304与LCD303的钟表面重叠地配置，并检测LCD303的钟表面上的接触操作。触摸面板304例如，能够使用静电电容式或者感压式的传感器。控制部350通过触摸面板304检测接触操作，确定操作位置。触摸面板304可以检测一点的接触操作，也可以与能够同时检测多个点的操作的、所谓的多点触摸操作对应。

控制部350分别控制两个照相机311，使其执行拍摄生成拍摄图像数据。另外，控制部350接通/断开在LED313流通的电流，使LED313在任意的时刻点亮，或者闪烁。

在控制部350连接有话筒365、按钮操作部366、旋转检测部367、九轴传感器368、振动器369、以及扬声器370。话筒365例如既可以是单声道话筒也可以是立体声话筒，既可以是具有指向性的话筒，也可以是无指向性的话筒。话筒365具有指向性的情况下，话筒365例如在平面部300A(图2)或者其附近收集平面部300A的正面方向的声音。另外，话筒365也可以是与使用者的身体接触的骨导式话筒。控制部350获取话筒365收集的声音的模拟声音信号并生成数字声音数据。

按钮操作部366检测按钮305、以及按钮309的操作，并向控制部350输出与操作的按钮对应的操作信号。旋转检测部367检测表圈301的旋转、以及表把型操作件307的旋转。旋转检测部367向控制部350输出表示表圈301的旋转方向和旋转量的信号，对于表把型操作件307也同样地向控制部350输出表示旋转方向和旋转量的信号。这里，也可以旋转检测部367每当表圈301旋转规定量，则输出表示旋转方向的信号。该情况下，通过控制部350对旋转检测部367的输出信号进行计数，控制部350能够获取旋转量，而旋转检测部367不需要累计旋转量。对于表把型操作件307的旋转操作也同样，也可以每当表把型操作件307旋转规定量，则旋转检测部367输出表示旋转方向的信号。

九轴传感器368是具备了惯性传感器的单元，在本实施方式中，具备三轴的加速度传感器、三轴的角速度传感器、以及三轴的磁传感器。九轴传感器368进行检测的轴例如，能够沿包含平面部300A的平面内的上下方向、左右方向、以及与包含平面部300A的平面正交的方向设定。

振动器369具备根据控制部350的控制旋转的马达(图示省略)。在该马达的旋转轴以偏心的方式安装有重锤，随着马达的旋转使操作设备3振动。扬声器370基于控制部350输出的声音信号输出声音。

在包含控制部350的操作设备3的各部从具有一次电池或者二次电池的电源部360供给电源。电源部360也可以与二次电池一起，具备控制对二次电池的充电的电路。

控制部350通过执行程序，实现操作检测部351、输出控制部352、拍摄控制部353、通信控制部354、以及声音处理部355各部的功能。

操作检测部351基于从按钮操作部366以及旋转检测部367输入的信号，检测操作设备3具备的操作件的操作，确定操作内容。具体而言，操作检测部351检测按钮305、表把型操作件307、以及按钮309的操作。另外，操作检测部351基于从九轴传感器368输入的信号，检测使操作设备3振动、移动等的操作。并且，操作检测部351基于从触摸面板304输入的信号，检测针对LCD303的接触操作，确定操作位置。这里，操作检测部351也能够通过确定操作位置上LCD303显示的图像，来确定分配给操作位置的功能。

输出控制部352与通信控制部354通过无线通信部361、NFC部362接收的数据，或者，操作检测部351检测出的操作对应地，执行输出。输出控制部352在LCD303显示文字、图像。另外，输出控制部352使振动器369的马达动作来使操作设备3振动。

拍摄控制部353控制照相机311使其执行拍摄，并获取拍摄图像数据。

通信控制部354通过无线通信部361或者NFC部362，与外部的设备进行数据收发。通信控制部354能够通过无线通信部361与头戴式显示装置100执行数据通信。另外，通信控制部354在通过NFC部362，检测到能够进行邻近通信的设备的情况下，与该设备进行数据收发。另外，通信控制部354能够使LED313闪烁，并通过光信号发送数据。该情况下，通信控制部354也可以构成为通过照相机311检测并接收光信号。

声音处理部355生成话筒365收集的声音的数字声音数据，并根据需要进行解析。例如，声音处理部355也可以解析话筒365收集的使用者的声音，并在检测到指示操作的声音的情况下，对操作检测部351输出操作的指示。该情况下，使用者能够通过声音操作操作设备3。另外，声音处理部355向扬声器370输出声音信号使声音输出。

控制部350作为操作设备3的动作模式，执行包括钟表模式、UI模式的多个动作模式。钟表模式是通过控制部350对当前时刻进行计时，并在LCD303显示当前时刻的动作模式。钟表模式使操作设备3作为钟表动作，所以有消耗电力较小这样的优点。UI模式是使操作设备3作为操作头戴式显示装置100的用户接口(UI)发挥作用的动作模式。在UI模式中，基于针对操作设备3的操作，操作设备3向头戴式显示装置100发送数据，头戴式显示装置100根据该数据动作。如后述那样，通过控制部350的控制进行从钟表模式向UI模式的切换、以及从UI模式向钟表模式的切换。

头戴式显示装置的构成

在头戴式显示装置100中，图像显示部20的外壳2具有右保持部21以及左保持部23。右保持部21是从作为右光学图像显示部26的另一端的端部ER延伸至使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置进行设置的部件。同样地，左保持部23是从作为左光学图像显示部28的另一端的端部EL延伸至使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置进行设置的部件。右保持部21在使用者的头部与右耳或者其附近抵接，左保持部23与使用者的左耳或者其附近抵接，从而在使用者的头部保持图像显示部20。

在外壳2设有右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学图像显示部26、左光学图像显示部28、照相机61(拍摄部)、以及话筒63。

右光学图像显示部26以及左光学图像显示部28分别以在使用者佩戴了图像显示部20时位于使用者的右以及左眼前的方式配置。右光学图像显示部26的一端与左光学图像显示部28的一端在使用者佩戴了图像显示部20时的与使用者的眉间对应的位置相互连结。

右保持部21是从作为右光学图像显示部26的另一端的端部ER延伸至使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置进行设置的部件。同样地，左保持部23是从作为左光学图像显示部28的另一端的端部EL延伸至使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置进行设置的部件。右保持部21以及左保持部23如眼镜的脚丝(镜腿)那样，将图像显示部20保持在使用者的头部。

右显示驱动部22和左显示驱动部24配置在使用者佩戴了图像显示部20时的与使用者的头部对置的一侧。此外，也将右显示驱动部22以及左显示驱动部24仅总称为“显示驱动部”，也将右光学图像显示部26以及左光学图像显示部28仅总称为“光学图像显示部”。

显示驱动部22、24包括液晶显示器241、242(Liquid Crystal Display，以下称为“LCD241、242”)、投射光学系统251、252等。

右光学图像显示部26以及左光学图像显示部28具备导光板261、262(图4)、和调光板20A。导光板261、262由透光性的树脂等形成，将显示驱动部22、24输出的图像光导向使用者的眼睛。调光板20A是薄板状的光学元件，并以覆盖与使用者的眼睛侧相反的侧亦即图像显示部20的表侧的方式配置。调光板20A能够使用几乎没有透光性的材料、接近透明的材料、使光量衰减地透过光的材料、以及使特定的波长的光衰减或者反射的材料等各种的材料。通过适当地选择调光板20A的光学特性(透光率等)，能够调整从外部射入右光学图像显示部26以及左光学图像显示部28的外光量，调整虚像的视觉确认的容易度。在本实施方式中，对使用至少具有佩戴了头戴式显示装置100的使用者能够视觉确认外面的景色的程度的透光性的调光板20A的情况进行说明。调光板20A保护右导光板261以及左导光板262，抑制右导光板261以及左导光板262的损伤、污垢的附着等。

调光板20A可以能够针对右光学图像显示部26以及左光学图像显示部28拆装，也可以能够交换安装多个种类的调光板20A，也可以省略。

而且，头戴式显示装置100使在内部处理的图像的图像光与外光重叠并射入使用者的眼睛，作为使用者来说，能够透过调光板20A看到外景，并与该外景重叠地视觉确认基于图像光的图像。这样，头戴式显示装置100作为透视型的显示装置发挥作用。

照相机61配置在右光学图像显示部26和左光学图像显示部28的分界线部分。在使用者佩戴了图像显示部20的状态下，照相机61的位置在水平方向上为使用者的两眼的大致中间，在垂直方向上在使用者的两眼以上。照相机61是具备CCD、CMOS等拍摄元件以及拍摄透镜等的数码照相机，既可以是单眼照相机也可以是立体照相机。

照相机61拍摄头戴式显示装置100的表侧方向，换句话说，佩戴了头戴式显示装置100的状态下的使用者的视野方向的至少一部分的外景。照相机61的视角的宽度能够适当地设定，但优选照相机61的拍摄范围是包括使用者通过右光学图像显示部26、左光学图像显示部28视觉确认的外界的范围。并且，更优选以能够拍摄通过了调光板20A的使用者的视野的整体的方式设定照相机61的拍摄范围。

照相机61根据控制部140(图4)的控制执行拍摄，并向控制部140输出拍摄图像数据。

图像显示部20经由连接部40与控制装置10连接。连接部40具备与控制装置10连接的主体软线48、右软线42、左软线44、以及连结部件46。右软线42以及左软线44是主体软线48分支为两根后的软线。右软线42从右保持部21的延伸方向的前端部AP插入右保持部21的壳体内，并与右显示驱动部22连接。同样地，左软线44从左保持部23的延伸方向的前端部AP插入左保持部23的壳体内，并与左显示驱动部24连接。

连结部件46具有设在主体软线48、右软线42以及左软线44的分支点，并用于连接耳机插头30的插孔。右耳机32以及左耳机34从耳机插头30延伸。在耳机插头30的附近设有话筒63。从耳机插头30到话筒63集中为一根软线，软线从话筒63分支，并分别与右耳机32和左耳机34连接。

话筒63例如如图1所示，以话筒63的集音部朝向使用者的视线方向的方式配置，收集声音，并向声音处理部187(图3)输出声音信号。话筒63例如既可以是单声道话筒也可以是立体声话筒，既可以是具有指向性的话筒，也可以是无指向性的话筒。

右软线42、左软线44、以及主体软线48只要是能够传输数字数据的软线即可，例如能够由金属电缆、光纤构成。另外，也可以是将右软线42和左软线44集中为一根软线的构成。

图像显示部20和控制装置10经由连接部40传输各种信号。在主体软线48的与连结部件46相反的一侧的端部、以及控制装置10设有相互嵌合的连接器(图示省略)。通过嵌合主体软线48的连接器与控制装置10的连接器，或者，解除该嵌合，能够连接分离控制装置10与图像显示部20。

控制装置10控制头戴式显示装置100。控制装置10具备包括决定键11、点亮部12、显示切换键13、亮度切换键15、方向键16、菜单键17、以及电源开关18的开关类。另外，控制装置10具备使用者以手指操作的触控板14。

决定键11检测按下操作，并输出决定在控制装置10操作的内容的信号。点亮部12具备LED等光源，并通过光源的点亮状态，通知头戴式显示装置100的动作状态(例如，电源的接通/断开)。显示切换键13与按下操作对应地，例如，输出指示图像的显示模式的切换的信号。

触控板14具有检测接触操作的操作面，并根据针对操作面的操作输出操作信号。操作面的检测方式并不限定，能够采用静电式、压力检测式、光学式等。亮度切换键15与按下操作对应地输出指示图像显示部20的亮度的增减的信号。方向键16根据对与上下左右方向对应的键的按下操作输出操作信号。电源开关18是切换头戴式显示装置100的电源接通/断开的开关。

图4是构成头戴式显示装置100的各部的功能框图。

头戴式显示装置100具备连接成为内容的供给源的各种外部设备OA的接口125。接口125例如，能够使用USB接口、微USB接口、存储卡用接口等与有线连接对应的接口，也可以利用无线通信接口构成。外部设备OA是向头戴式显示装置100供给图像的图像供给装置，使用个人计算机(PC)、移动电话终端、便携式游戏机等。

控制装置10具有控制部140、输入信息获取部110、存储部120、发送部(Tx)51以及发送部(Tx)52。

输入信息获取部110与操作部111连接。操作部111与控制装置10的各操作件连接，检测这些各操作件的操作，并向输入信息获取部110输出与检测到的操作件对应的操作信号。输入信息获取部110基于从操作部111输入的信号，获取通过控制装置10的操作输入的输入内容。

存储部120是非易失性的存储装置，存储各种计算机程序、以及这些程序的数据。另外，存储部120也可以存储在图像显示部20显示的静止图像、动态图像的数据。

控制装置10具备具有一次电池、二次电池的电源部130，并从电源部130向控制装置10以及图像显示部20的各部供给电源。

在控制部140连接有三轴传感器113、声音识别部114、GPS115、以及通信部117。三轴传感器113是三轴的加速度传感器，控制部140获取三轴传感器113的检测值。GPS115具备天线(图示省略)，接收GPS(Global Positioning System：全球定位系统)信号，并计算控制装置10的当前位置。GPS115向控制部140输出基于GPS信号求出的当前位置、当前时刻。另外，GPS115也可以具备基于GPS信号所包含的信息获取当前时刻，而控制部140使计时的时刻修正的功能。

通信部117执行按照无线LAN(WiFi(注册商标))、Miracast(注册商标)、Bluetooth(注册商标)等标准的无线数据通信。

在外部设备OA与通信部117无线连接的情况下，控制部140从通信部117获取内容数据，并使图像显示于图像显示部20。另一方面，在外部设备OA与接口125有线连接的情况下，控制部140从接口125获取内容数据，并使图像显示于图像显示部20。通信部117以及接口125作为从外部设备OA获取内容数据的数据获取部DA发挥作用。

控制部140具有执行程序的CPU(图示省略)、暂时储存CPU执行的程序、数据的RAM(图示省略)、以及非易失性地存储CPU执行的基本控制程序、数据的ROM(图示省略)。控制部140通过CPU执行控制程序，从而控制头戴式显示装置100的各部。另外，控制部140相当于读出存储部120存储的计算机程序并执行，来实现控制部140的各种功能的计算机。控制部140作为操作系统(OS)150、图像处理部160、显示控制部170、拍摄处理部181、设备控制部183、AR显示控制部185、以及声音处理部187发挥作用。

图像处理部160获取内容所包含的图像信号。图像处理部160根据获取的图像信号，分离垂直同步信号VSync、水平同步信号HSync等同步信号。另外，图像处理部160根据分离的垂直同步信号VSync、水平同步信号HSync的周期，利用PLL(Phase Locked Loop：锁相环)电路等(图示省略)生成时钟信号PCLK。图像处理部160使用A/D转换电路等(图示省略)将分离了同步信号的模拟图像信号转换为数字图像信号。图像处理部160将转换后的数字图像信号作为对象图像的图像数据(图中，Data)，按照每一帧，储存在控制部140的RAM。该图像数据例如是RGB数据。

此外，图像处理部160也可以根据需要，进行将图像数据的分辨率转换为适合右显示驱动部22以及左显示驱动部24的分辨率的分辨率转换处理。另外，图像处理部160也可以执行调整图像数据的亮度、彩度的图像调整处理、根据3D图像数据生成2D图像数据，或者根据2D图像数据生成3D图像数据的2D/3D转换处理等。

图像处理部160经由发送部51、52分别发送时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及储存于RAM的图像数据Data。发送部51、52作为收发器发挥作用，执行控制装置10与图像显示部20之间的串行传输。此外，将经由发送部51发送的图像数据Data称为“右眼用图像数据”，将经由发送部52发送的图像数据Data称为“左眼用图像数据”。

显示控制部170生成控制右显示驱动部22以及左显示驱动部24的控制信号，通过该控制信号，控制右显示驱动部22以及左显示驱动部24各自的图像光的生成以及射出。具体而言，控制通过右LCD控制部211的右LCD241的驱动启动/停止、通过右背光灯控制部201的右背光灯221的驱动启动/停止。另外，显示控制部170控制通过左LCD控制部212的左LCD242的驱动启动/停止、通过左背光灯控制部202的左背光灯222的驱动启动/停止。

声音处理部187获取内容所包含的声音信号，并放大获取的声音信号，输出给右耳机32以及左耳机34。另外，声音处理部187获取由话筒63收集的声音并转换为数字声音数据。声音处理部187也可以对数字声音数据进行预先设定的处理。

图像显示部20具备接口25、右显示驱动部22、左显示驱动部24、作为右光学图像显示部26的右导光板261、作为左光学图像显示部28的左导光板262、照相机61、振动传感器65、以及九轴传感器66。

振动传感器65利用加速度传感器构成，例如如图1所示，在右保持部21中内置在右光学图像显示部26的端部ER的附近。振动传感器65在使用者进行了叩击端部ER的操作(敲击操作)的情况下，检测该操作所引起的振动，并将检测结果输出给控制部140。通过该振动传感器65的检测结果，控制部140检测使用者的敲击操作。

九轴传感器66是检测加速度(三轴)、角速度(三轴)、以及地磁(三轴)的动作传感器。控制部140在图像显示部20佩戴于使用者的头部时，能够基于九轴传感器66的检测值检测使用者的头部的动作。例如，控制部140能够基于九轴传感器66的检测值，估计图像显示部20的倾斜的大小和倾斜的方向。

九轴传感器66内置的加速度传感器以及角速度传感器的检测轴例如，能够为图1所示的X、Y、Z三轴。在该例子中，相对于佩戴图像显示部20的使用者的头部将左右方向设为X轴，将前后方向设为Y轴，将上下方向设为Z轴。更详细地说，在头戴式显示装置100的佩戴状态下，图像显示部20相对于左右眼，处在使用者感觉的水平的位置。构成为在头戴式显示装置100的标准的佩戴位置，九轴传感器66的检测轴(X轴、Y轴、Z轴)与使用者感觉的左右、前后、以及上下一致。九轴传感器66的加速度传感器检测X轴方向、Y轴方向、以及Z轴方向的加速度。另外，九轴传感器66具备的角速度传感器检测绕X轴的旋转(俯仰)、绕Y轴的旋转(偏摆)、以及绕Z轴的旋转(摇摆)。

接口25具备连接右软线42和左软线44的连接器。接口25将从发送部51发送的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及图像数据Data输出给对应的接收部(Rx)53、54。另外，接口25将从显示控制部170发送的控制信号输出给对应的接收部53、54、右背光灯控制部201或者左背光灯控制部202。

另外，接口25是连接照相机61、振动传感器65以及九轴传感器66的接口。振动传感器65的振动的检测结果、九轴传感器66的加速度(三轴)、角速度(三轴)、地磁(三轴)的检测结果经由接口25送至控制部140。

右显示驱动部22具备上述的右背光灯221、右LCD241、以及右投射光学系统251。另外，右显示驱动部22具备接收部53、控制右背光灯(BL)221的右背光灯(BL)控制部201、以及驱动右LCD241的右LCD控制部211。

接收部53作为与发送部51对应的接收机动作，执行控制装置10与图像显示部20之间的串行传输。右背光灯控制部201基于输入的控制信号，驱动右背光灯221。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及右眼用图像数据Data，驱动右LCD241。

左显示驱动部24具有与右显示驱动部22相同的构成。左显示驱动部24具备上述的左背光灯222、左LCD242、以及左投射光学系统252。另外，左显示驱动部24具备接收部54、驱动左背光灯222的左背光灯控制部202、以及驱动左LCD242的左LCD控制部212。

接收部54作为与发送部52对应的接收机动作，执行控制装置10与图像显示部20之间的串行传输。左背光灯控制部202基于输入的控制信号，驱动左背光灯222。左LCD控制部212基于经由接收部54输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及左眼用图像数据Data，驱动左LCD242。此外，也将右背光灯控制部201、右LCD控制部211、右背光灯221、以及右LCD241总称为右“图像光生成部”。同样地，也将左背光灯控制部202、左LCD控制部212、左背光灯222、以及左LCD242总称为左“图像光生成部”。

拍摄处理部181控制照相机61使其执行拍摄，并获取拍摄图像数据。

设备控制部183控制通信部117在与操作设备3之间进行数据通信，并解析从操作设备3接收的数据。另外，设备控制部183基于照相机61的拍摄图像数据，在操作设备3具备的LED313的闪烁模式符合特定的模式的情况下，将该模式解密，并接收数据。

AR显示控制部185基于AR内容的数据，控制图像处理部160以及显示控制部170，使AR显示用的图像由图像显示部20显示。例如存储部120存储AR内容的数据。另外，AR显示控制部185在AR内容数据123包括声音数据的情况下，控制声音处理部187，使内容的声音从右耳机32、左耳机34输出。

AR显示控制部185在使用者越过图像显示部20观察对象物的状态下显示AR内容。AR显示控制部185通过进行在与对象物对应的位置显示图像、文字等的AR显示，提供与对象物有关的信息，或者，改变能够越过图像显示部20观察的对象物的形象的外观。AR内容包括在与对象物对应的位置显示的图像、文字的数据。另外，也可以在AR内容包含确定对象物的数据、以及与图像、文字的显示位置有关的数据等。AR内容的显示位置既可以是与对象物重叠的位置也可以是对象物的周围。对象物只要是物体即可，既可以是建筑物等不动产，也可以是汽车、电车等移动体，也可以是人、动物等生物。AR显示控制部185根据拍摄处理部181获取的拍摄图像数据，检测位于使用者的视野内的对象物。然后，AR显示控制部185决定与检测出的对象物对应的AR内容的显示位置，并显示AR内容。

期望AR内容以与使用者视觉确认对象物的位置重叠的方式，或者，与视觉确认对象物的位置配合地，进行显示。因此，AR显示控制部185根据拍摄处理部181的拍摄图像数据检测对象物的图像，并基于检测出的对象物的图像与拍摄图像整体的位置关系，确定照相机61的拍摄范围中的对象物的位置。AR显示控制部185基于照相机61的拍摄范围与图像显示部20的显示区域的位置关系，决定与对象物的位置对应的AR内容的显示位置。

声音处理部187获取内容所包含的声音信号，并放大获取的声音信号，输出给右耳机32以及左耳机34。另外，声音处理部187获取由话筒63收集到的声音并转换为数字声音数据。声音处理部187也可以对数字声音数据进行预先设定的处理。

显示系统的动作

图5是表示显示系统1的动作的流程图，特别是，示出操作设备3的动作。

操作设备3在不进行显示系统1的操作的期间，以钟表模式进行动作(步骤S11)。若在钟表模式中，进行了指示移至UI模式的操作(步骤S12)，则操作设备3的控制部350通过照相机311、311执行拍摄来检测使用者的视线(步骤S13)。控制部350进行拍摄以及拍摄图像的解析直至检测出视线(步骤S13：否)。

控制部350在检测出视线的情况下(步骤S13：是)，判定头戴式显示装置100是否启动(步骤S14)。在步骤S14中，例如，通过由无线通信部361与头戴式显示装置100的通信部117进行通信，来检测头戴式显示装置100的动作状态，来进行判定。另外，例如，也可以通过拍摄控制部353的控制利用照相机311执行拍摄，并基于拍摄图像判定头戴式显示装置100的动作状态。例如，也可以在图像显示部20显示的图像透过调光板20A被拍到拍摄图像上的情况下，判定为头戴式显示装置100启动。另外，也可以在图像显示部20设置与动作状态对应地发光的发光部，并根据拍摄图像确定发光部的发光状态，来判定动作状态。

在判定为头戴式显示装置100未启动的情况下(步骤S14：否)，控制部350通过无线通信部361执行通信，对头戴式显示装置100发送指示启动的数据(步骤S15)。控制部350从头戴式显示装置100接收表示已启动的控制数据，并移至步骤S17。另外，在判定为头戴式显示装置100启动的情况下(步骤S14：是)，控制部350移至步骤S17。

在步骤S17，控制部350判定头戴式显示装置100的认证是否完成。控制部350在与头戴式显示装置100组合使用的情况下，进行头戴式显示装置100的认证，并作为认证成功的头戴式显示装置100的用户接口动作。在判定为认证未完成的情况下(步骤S17：否)，控制部350与在步骤S14判定了是否启动的头戴式显示装置100进行认证用的数据收发来进行认证(步骤S18)。在发送接收了认证所需要的数据的情况下，控制部350与头戴式显示装置100进行配对，即建立作为用户接口动作的一对一的对应关系(步骤S19)，并移至步骤S20。该对应关系也可以是一对多。另外，在头戴式显示装置100的认证完成的情况下(步骤S17：是)，控制部350移至步骤S20。

在步骤S20，控制部350在LCD303显示操作用的画面，并对操作进行待机。操作用的画面例如，是图2(B)、图2(C)所例示的画面。

控制部350对操作进行待机，若通过操作检测部351检测到操作(步骤S21)，则向头戴式显示装置100发送表示检测到的操作的操作数据(步骤S22)。

其后，控制部350判定结束条件是否成立(步骤S23)。在结束条件成立的情况下(步骤S23：是)，控制部350移至钟表模式(步骤S24)，并结束本处理。另外，在结束条件未成立的情况下(步骤S23：否)，返回到步骤S21。

结束条件例如，是通过触摸面板304、按钮305、表把型操作件307、或者按钮309进行了指示UI模式的结束的操作、从头戴式显示装置100接收了指示结束的控制数据等。

在显示系统1中，头戴式显示装置100能够显示与操作设备3的操作对应的AR图像。

图6是表示头戴式显示装置100的动作的流程图，特别是，示出进行与操作设备3对应的AR显示的动作。

控制部140通过设备控制部183，利用通信部117接收操作设备3发送的操作数据并解析(步骤S31)，确定操作的种类(步骤S32)。在步骤S31接收的数据是操作设备3与操作对应地发送的操作数据(图5的步骤S22)。设备控制部183判定与操作数据所表示的操作对应的指示是否是与操作设备3的操作的设定有关的指示(步骤S33)。在是操作的设定以外的指示的情况下(步骤S33：否)，设备控制部183执行与在步骤S32确定的操作对应的处理(步骤S34)，并结束本处理。在步骤S34中，例如，根据指示拍摄开始的操作数据开始照相机61的拍摄的处理，或者根据指示AR显示的开始或者结束的操作数据，利用AR显示控制部185开始/结束AR显示。

另一方面，在与操作数据所表示的操作对应的指示是与操作的设定有关的指示的情况下(步骤S33：是)，AR显示控制部185进行操作设定用的AR显示(步骤S35)。这里，若操作设备3与AR显示中的操作设备3上的操作对应地发送操作数据，则设备控制部183接收该操作数据，并基于接收到的操作数据，进行设定、以及设定的更新。

图7示出操作设定用的AR显示的例子，图7(A)示出用于进行表圈301的操作设定的AR显示的例子，图7(B)示出用于进行按钮309的操作设定的AR显示的例子。

在图7(A)的例子中，在使用者的视场VR视觉确认实物的操作设备3，并在与该操作设备3对应的位置，通过图像显示部20显示AR内容。AR内容是分配候补显示A1、A2、A3、A4以及设定候补A11、A12、A13、A14。分配候补显示A1、A2、A3、A4是表示分配给表圈301的旋转的功能的候补的图像，在该例子中，包括表示利用使表圈301旋转的操作能够选择的功能的组合的文本。分配候补显示A1包括“主界面”、“返回”、“菜单”、“应用程序结束”四个文字列(文本)。分配候补显示A2包括“前进”、“返回”、“拍摄”、“拍摄结束”四个文字列。在操作设备3中，若进行旋转表圈301的操作，则能够依次选择分配候补显示A1～A4的任意一个。

在图7(A)的例子中选择分配候补显示A2。因此，以与在视场VR的中央观察到的操作设备3重叠的方式，配置“前进”、“返回”、“拍摄”、“拍摄结束”四个文字列。这些文字列是分配的功能的候补，即、设定候补A11、A12、A13、A14。若通过表圈301的操作，从分配候补显示A2切换到其他的分配候补显示，则变更设定候补A11、A12、A13、A14的文字列。因此，使用者能够从分配候补显示A1、A2、A3、A4中选择分配给表圈301的旋转操作的功能并设定。若在操作设备3，操作了按钮305，则确定利用表圈301的操作选择的分配候补显示，并更新设定。

在图7(B)的例子中，在与实物的操作设备3对应的位置，作为AR内容，显示分配候补显示A21、A22、A23、A24以及设定候补A31、A32、A33、A34。分配候补显示A21、A22、A23、A24是表示分配给四个按钮309的功能的候补的图像，在该例子中，包含表示在操作了四个按钮309的各个时执行的功能的文本。分配候补显示A21包括“主界面”、“返回”、“菜单”、“应用程序结束”四个文字列(文本)。分配候补显示A22包括“前进”、“返回”、“拍摄”、“拍摄结束”四个文字列。若在操作设备3中，进行了旋转表圈301的操作，则能够依次选择分配候补显示A21～A24的任意一个。

在图7(B)的例子中选择了分配候补显示A22。因此，以与在视场VR的中央观察到的操作设备3重叠的方式，配置“前进”、“返回”、“拍摄”、“拍摄结束”四个文字列。这些文字列是分配的功能的候补，即、设定候补A31、A32、A33、A34，并显示在与分配功能的按钮309对应的位置。若通过表圈301的操作，从分配候补显示A22切换为其他的分配候补显示，则变更设定候补A31、A32、A33、A34的文字列。因此，使用者能够从分配候补显示A21、A22、A23、A24中选择分配给表圈301的旋转操作的功能并设定。若在操作设备3，操作了按钮305，则确定利用表圈301的操作选择的分配候补显示，并更新设定。

图7(A)、图7(B)的例子示出了与操作设备3发送的操作数据对应地设定头戴式显示装置100执行的功能的动作。由于能够设定功能的分配并进行更新，所以通过操作设备3能够对头戴式显示装置100的各种功能进行操作。另外，通过利用AR显示，能够容易地进行设定。

图8是表示与操作设备3的操作对应地由头戴式显示装置100执行的动作的例子的说明图。图8示出了根据操作设备3的操作使通过AR显示控制部185的控制而由图像显示部20显示的AR显示的显示方式变化的例子。图8(A)示出图像显示部20的AR显示的例子，图8(B)示出使AR显示的显示方式变化后的例子。

在图8(A)的例子中，在视场VR，作为实际的外景，能够看到舞台、演出者、以及观众席。在该例子中，以与实际的外景重叠的方式，显示与在舞台上上演的演出节目相关的文字列A51。文字列A51例如是表示表演的台词的文本，并AR显示在与舞台重叠的位置。

头戴式显示装置100根据操作设备3的操作，变更文字列A51的显示尺寸，例如如图8(B)所示，进行缩小显示。对于该动作来说，若设备控制部183解析操作设备3发送的操作数据，而设备控制部183检测到进行了相当于AR显示的缩小的操作，则AR显示控制部185变更显示尺寸。

在头戴式显示装置100中，如参照图6以及图7所说明的那样，能够将头戴式显示装置100执行的动作与操作设备3上的操作建立对应关系。该对应关系并不限定于按钮309的操作、以及表圈301的旋转操作。例如，也可以是按钮305的按压操作、以及使表把型操作件307旋转的操作。另外，例如，也可以包括以手指接触触摸面板304的操作。

具体而言，也可以与向右转动表圈301的操作对应地放大显示图像，与向左转动表圈301的操作对应地缩小显示图像。另外，也可以在检测到针对触摸面板304的中央部的手指的接触的情况下放大显示图像，在检测到对触摸面板304的周边部(例如，左下框附近)的手指的接触的情况下缩小显示图像。另外，也可以在与触摸面板304接触的手指在保持接触的状态下进行了右转、左转等旋转运动的情况下，与该旋转配合地使显示图像旋转。

另外，并不限定于与这些操作对应地，头戴式显示装置100进行在图像显示部20显示的图像(包括文字)的放大、缩小，也可以进行旋转、复印、跳页等。

并且，操作设备3也能够向头戴式显示装置100发送九轴传感器368的检测值。另外，操作设备3也可以是具备了GPS检测部的构成，并向头戴式显示装置100发送在GPS检测部检测到的当前位置。该情况下，控制部140能够基于从操作设备3接收的检测值和三轴传感器113的检测值，检测操作设备3与头戴式显示装置100的相对位置。

而且，控制部140也可以与操作设备3的移动，或者，操作设备3与头戴式显示装置100的相对位置的变化对应地，进行显示图像的放大、缩小、旋转等显示的变更，也可以进行图像的渐现显示，渐隐显示。该情况下，能够通过使操作设备3接近、远离头戴式显示装置100的操作，来变更显示。

显示系统1的动作并不限定于上述的例子，例如，能够执行以下那样的动作。

能够通过在操作设备3上使表圈301旋转的操作，来实现依次切换并选择多个候补的操作。根据该操作，例如，在选择文件、文件夹的情况下、在假想键盘上选择假想键的情况下，只要使表圈301旋转即可。由于表圈301能够直观的操作，且位于操作设备3的平面部300A的外周部，所以能够通过摸索进行操作。因此，使用者能够在注目于由图像显示部20显示的AR显示的同时操作表圈301。并且，由于能够通过设在远离平面部300A的位置，且与其他的开关式的操作件相比大型的按钮305来确定选择，所以能够更容易地进行操作。由于对于按钮305来说，位置以及尺寸与按钮309、表把型操作件307不同，所以与表圈301相同，容易通过摸索进行操作。因此，能够在观察图像显示部20显示的图像的同时，直观地进行可靠的操作。

另外，也可以与使表圈301旋转的操作对应地，控制部140进行使图像显示部20显示的画面迁移的动作。考虑头戴式显示装置100的操作系统150构成为如iOS(注册商标)、Android(注册商标)那样，使多个画面切换、迁移。该情况下，通过与使表圈301旋转的操作对应地，使画面迁移，能够更高效地使用表圈301的操作。

也可以构成为在从多个候补选择一个候补的操作中，代替表圈301的操作，而能够通过声音进行选择。该情况下，也可以若以声音指定附加给候补的固有的名称、编号、符号等，则操作设备3利用话筒365检测该声音，并向头戴式显示装置100发送检测出的声音的数据，而由控制部140进行设定。

另外，头戴式显示装置100也能够向操作设备3发送控制数据，使操作设备3动作。例如，也可以控制部140的设备控制部183发送指示触摸面板304、以及九轴传感器368的检测开始、移至不检测状态的控制数据。该情况下，能够由头戴式显示装置100控制操作设备3上的传感检测的执行/不执行，能够防止误操作，防止电源部360的消耗。另外，设备控制部183也可以发送指示照相机311的拍摄开始以及拍摄停止的控制数据。另外，设备控制部183也可以发送控制LCD303的点亮、熄灭、闪烁的控制数据。

另外，操作设备3也能够进行基于头戴式显示装置100发送的数据的输出。例如，也可以设备控制部183通过通信部117发送文本数据、图像数据，而操作设备3在LCD303显示从头戴式显示装置100接收的文本数据、图像数据。该情况下，使头戴式显示装置100的动作状态(状态)显示于LCD303，使用者能够容易地把握头戴式显示装置100的动作状态。例如，在未佩戴头戴式显示装置100的状态下，使用者想要知晓头戴式显示装置100的动作状态的情况下有用。另外，操作设备3既可以根据从头戴式显示装置100接收的数据从扬声器370输出声音，也可以使振动器369动作来产生振动。

并且，也能够设备控制部183对操作设备3发送指示拍摄执行和拍摄图像数据的发送的控制数据，而操作设备3进行拍摄，在图像显示部20显示拍摄图像数据。该情况下，能够从头戴式显示装置100具备的照相机61不能够拍摄到的角度进行拍摄，并将拍摄图像显示于图像显示部20。另外，也可以控制部140解析该拍摄图像数据。

另外，在显示系统1中，也可以通过操作设备3的NFC部362，读取记录于非接触型IC卡、RFID标签的数据，并从无线通信部361向通信部117发送读取的数据。该情况下，能够通过图像显示部20显示IC卡型电子货币的余额等。

这样，在显示系统1中，组合透视方式的头戴式显示装置100与钟表型的操作设备3，并通过操作设备3的操作使头戴式显示装置100动作。由此，能够在操作时以外实现免提，在操作时也能够以自然的动作进行操作。另外，操作设备3能够通过以钟表模式动作来作为手表使用。通过将该操作设备3作为操作用的用户接口使用，能够在操作时以外实现免提，在操作时也能够以自然的动作进行操作。另外，通过图像显示部20的显示，也能够观察与操作设备3有关的信息，而不需要直视LCD303，所以也有不需要为了观察LCD303的显示而使用手这样的优点。

另外，在触摸面板304与所谓的多点触摸操作对应的情况下，也可以与使针对触摸面板304的多个操作点的间隔放大、或者缩小的操作等对应地，进行使头戴式显示装置100的显示图像放大、缩小、或者旋转的动作。

另外，在显示系统1中，头戴式显示装置100能够检测与操作设备3的相对位置。虽然该位置检测能够使用各种方法，但在本实施方式中，对头戴式显示装置100拍摄包括操作设备3的范围，并基于拍摄图像数据确定相对位置的例子进行说明。

图9是表示头戴式显示装置100的动作的流程图，特别是，示出检测头戴式显示装置100与操作设备3的相对位置的位置检测处理。

控制部140通过拍摄处理部181控制照相机61来执行拍摄(步骤S51)。控制部140获取照相机61的拍摄图像数据，并解析获取到的拍摄图像数据，来检测操作设备3的图像(步骤S52)。由此，能够在照相机61的拍摄图像中，检测拍到操作设备3的位置、操作设备3的图像的形状。

接着，控制部140基于拍摄图像中的操作设备3的图像的位置以及尺寸，计算操作设备3与照相机61的相对位置(步骤S53)。即，控制部140根据操作设备3的图像的位置计算相对于照相机61的视角的中心轴，例如相对于照相机61的拍摄透镜的光轴的操作设备3的位置。另外，控制部140根据拍摄图像中的操作设备3的图像的尺寸，求出操作设备3与照相机61的拍摄面的距离。这里，控制部140也可以使用照相机61的拍摄条件(变焦倍率等)进行计算。

在步骤S53，也可以控制部140在求出照相机61与操作设备3的相对位置之后，将求出的相对位置转换为头戴式显示装置100与操作设备3的相对位置。

头戴式显示装置100以及操作设备3与拍摄图像上的坐标相比较大，所以设定基准点较现实。即，头戴式显示装置100与操作设备3的相对位置作为在头戴式显示装置100中设定的基准点与在操作设备3中设定的基准点的相对位置求出。在头戴式显示装置100上的基准点是在照相机61的拍摄面上与光轴重合的点的情况下，在步骤S53求出的相对位置直接成为操作设备3与头戴式显示装置100的相对位置。在头戴式显示装置100的基准点处于与照相机61的拍摄面不同的位置的情况下，控制部140进行上述的转换即可。另外，操作设备3上的基准点例如，设为表圈301的中心即可。

控制部140基于拍摄图像上的操作设备3的图像的形状，确定操作设备3的LCD303的方向(步骤S54)。在步骤S54，控制部140能够基于拍摄图像上的操作设备3的表圈301的形状、包括表带部300的操作设备3的整体形状、或者LCD303的形状计算方向。另外，例如如图2(A)所示，在操作设备3在LCD303显示箭头等图形的情况下，或者在LCD303显示时刻的情况下，也可以基于这些LCD303的显示图像求出方向。

其后，控制部140生成表示在步骤S53计算出的操作设备3与头戴式显示装置100的相对位置的数据、以及表示在步骤S54确定的相对于头戴式显示装置100的操作设备3的方向的数据。控制部140将包含生成的数据的相对位置数据存储于存储部120(步骤S55)。

例如，在图6的步骤S35所示的动作中，AR显示控制部185在头戴式显示装置100的使用者越过图像显示部20观察操作设备3的状态下，以能够与操作设备3重叠地观察的方式，显示AR内容。这里，AR显示控制部185基于在图9所示的动作中检测出的操作设备3与头戴式显示装置100的相对位置、以及相对于头戴式显示装置100的操作设备3的方向，来决定AR内容的显示位置。在该处理中，AR显示控制部185基于照相机61的拍摄范围与图像显示部20的显示区域的位置关系，决定与对象物的位置对应的AR内容的显示位置。该位置关系能够根据存储于存储部120的相对位置数据求出。

AR显示控制部185也可以与操作设备3和头戴式显示装置100之间的距离对应地，调整AR内容的显示尺寸。另外，AR显示控制部185也可以与相对于头戴式显示装置100的操作设备3的LCD303的方向对应地，调整AR内容的显示位置，也可以对AR内容所包含的图像进行变形。

头戴式显示装置100检测与操作设备3的相对位置的方法并不限定于图9所示的方法，例如，也可以操作设备3与头戴式显示装置100进行数据通信，并利用彼此的检测结果。该动作例如图10所示。

图10是表示显示系统1的动作的流程图，图10(A)示出操作设备3的动作，图10(B)示出头戴式显示装置100的动作。

图10的动作例如，在操作设备3为UI模式的情况下执行。

操作设备3的控制部350通过照相机311、311执行拍摄来检测使用者的视线(步骤S61)。控制部350进行拍摄以及拍摄图像的解析直至检测到视线(步骤S61：否)。

控制部350在检测到视线的情况下(步骤S61：是)，执行照相机311、311的拍摄(步骤S62)，获取拍摄图像数据(步骤S63)。控制部350通过无线通信部361发送拍摄图像数据(步骤S64)。在步骤S62中，既可以仅使用照相机311、311的任意一方进行拍摄，也可以利用两个照相机311、311双方进行拍摄，获取并发送双方的拍摄图像数据。

控制部140通过通信部117从操作设备3接收拍摄图像数据(步骤S71)，并解析接收到的拍摄图像数据，检测头戴式显示装置100的图像(步骤S72)。由此，能够在拍摄图像中，检测拍到头戴式显示装置100的位置、头戴式显示装置100的图像的形状。

接着，控制部140基于拍摄图像上的头戴式显示装置100的图像的位置以及尺寸，计算操作设备3与头戴式显示装置100的相对位置(步骤S73)。例如，控制部140根据头戴式显示装置100的图像的位置，计算相对于照相机311、311的视角的中心轴的头戴式显示装置100的位置。另外，控制部140根据拍摄图像上的头戴式显示装置100的图像的尺寸，求出头戴式显示装置100与操作设备3的距离。这里，控制部140也可以使用照相机311、311的拍摄条件(变焦倍率等)进行计算。

在步骤S73中，控制部140也可以使用多个照相机311、311的拍摄图像，进行更高精度的检测。例如，也可以计算这些多个拍摄图像的视差，并根据该视差，求出操作设备3与头戴式显示装置100之间的距离。

其后，控制部140生成表示在步骤S73计算出的操作设备3与头戴式显示装置100的相对位置的数据(步骤S74)。控制部140将包含生成的数据的相对位置数据存储于存储部120。

这样，也可以操作设备3与头戴式显示装置100联动地，进行求出操作设备3与头戴式显示装置100的相对位置的处理。在该图10的动作中，也可以由控制部350执行步骤S72～S73的处理，控制部350生成表示相对位置的数据，并发送给头戴式显示装置100。

如参照图9以及图10所说明的那样，头戴式显示装置100能够检测相对于头戴式显示装置100的操作设备3的位置。而且，头戴式显示装置100能够与操作设备3的位置对应地进行AR内容的显示。并且，通过反复执行上述相对位置的检测，能够以操作设备3为基准，求出头戴式显示装置100的移动。另外，也可以与操作设备3的位置、方向对应地，例如，使在图像显示部20显示的画面迁移。该情况下，使操作设备3与头戴式显示装置100的相对位置变化相当于针对头戴式显示装置100的操作。

例如，在图6的步骤S35中，AR显示控制部185在头戴式显示装置100的使用者越过图像显示部20观察操作设备3的状态下，以能够与操作设备3重叠地观察的方式，显示AR内容。这里，AR显示控制部185例如基于操作设备3与头戴式显示装置100的相对位置、以及相对于头戴式显示装置100的操作设备3的方向，决定AR内容的显示位置。在该处理中，AR显示控制部185基于照相机61的拍摄范围与图像显示部20的显示区域的位置关系，决定与对象物的位置对应的AR内容的显示位置。该位置关系例如能够根据存储于存储部120的相对位置数据求出。

AR显示控制部185也可以与操作设备3和头戴式显示装置100之间的距离对应地，调整AR内容的显示尺寸。另外，AR显示控制部185也可以与相对于头戴式显示装置100的操作设备3的LCD303的方向对应地，调整AR内容的显示位置，也可以对AR内容所包含的图像进行变形。

另外，控制部140也可以基于在图9或者图10的动作确定的与操作设备3的相对位置以及方向，将九轴传感器66的检测轴(图1的X、Y、Z轴)与LCD303的方向(倾斜)建立对应关系。由此，能够与头戴式显示装置100的倾斜和LCD303的倾斜双方联动地，使图像显示部20的显示图像、LCD303上的显示图像变化。

除此之外，作为操作设备3与头戴式显示装置100联动地进行动作的例子，例如，能够列举通过控制部350的控制，在LCD303显示标识，并由头戴式显示装置100识别该标识的方式。控制部140根据照相机61的拍摄图像检测标识。LCD303显示的标识是条形码、二维码等能够包含信息的标识的情况下，控制部140能够根据读取结果获取信息。控制部140能够基于获取的信息，通过通信部117进行建立与操作设备3之间的通信的动作等。另外，在存在多个操作设备3的情况下，也能够识别这些操作设备3。该情况下，能够进行检测特定的操作设备3与头戴式显示装置100的相对位置的动作、与特定的操作设备3建立通信这样的动作。

操作设备的其它的构成例

这里，对作为操作对象物的其它的构成例，使用操作对象物4、5的情况进行说明。

在上述实施方式的显示系统1的说明中，例示了使用者使用能够与头戴式显示装置100执行通信的操作设备3的情况。

并不限定于操作设备3，例如在使用者操作不具有通信功能那样的操作对象物的情况下，头戴式显示装置100也能够执行与操作对象物的操作对应的处理。

图13是作为操作对象物的构成例，示出操作对象物4的构成的外观图。

操作对象物4虽然与操作设备3相同是手表型的设备，但由于操作设备3那样的通信功能并不必需，所以这里称为操作对象物。操作对象物4例如，是一般使用的手表。

图13所例示的操作对象物4是在手表的主体壳体具备表把401、表圈402、表盘403、长针404、短针405、指数406、以及日期窗407的模拟式手表。表把401能够在正常位置使其旋转，通过向图中右方向拔出表把401并使其旋转，能够使长针404以及短针405旋转，推送日期窗407的日期显示，进行时间的调整。

此外，也可以是在表盘403的位置具备液晶显示面板，并在该液晶显示面板显示长针404、短针405、以及指数406的图像的手表。另外，指数406既可以是数字，也可以是符号，另外，只要是成为长针404以及短针405的位置的记号的形状则可以是任何形状。另外，日期窗407并不必需，也可以是不具备日期窗407的构成。另外，操作对象物4具备能够进行推压操作的按钮408。虽然在图13的例子中具备四个按钮408，但按钮408的数目、位置能够任意地变更。另外，虽然表圈402也并不必需，但在图13的例子中表圈402如图中箭头所示那样，能够通过使用者的操作以手动使其向左右旋转。

操作对象物4作为一般的手表的一个例子示出，例如，也可以构成为头戴式显示装置100作为操作对象物识别代替表盘403而具备了对数字进行7段显示的液晶显示面板的数字式手表。另外，表盘403以及壳体的形状并不限定于圆形，也可以是三角形、四角形。

图14是表示操作对象物的其他的例子的图。图14所示的操作对象物5与操作对象物4(图13)相同，在手表的主体壳体具备表把501、表圈502、以及按钮508。另外，操作对象物5在与操作对象物4的表盘403相同的位置，具备显示面503。显示面503是由液晶显示面板、有机EL面板、或者电子纸构成的显示画面。

表把501既可以是能够以手动使其旋转的构成，也可以是推压按钮。表圈502既可以是能够以手动使其旋转的构成，也可以是固定的装饰。按钮508也可以是推压式的按钮。

操作对象物5在显示面503显示标识510。标识510包括多个标记511。标记511的位置是预先决定的位置，多个标记511的显示颜色、图案等也可以不同。操作对象物5在正常时在显示面503显示日期、时、分、秒、星期等，并根据按钮508等的操作，显示标识510。另外，也可以代替操作对象物5的显示面503，而具备表盘403(图13)，也可以利用粘着性的贴纸(标签)构成标识510，并将该贴纸粘贴在表盘403、显示面503。另外，也可以操作对象物5具备拍摄部(图示省略)，并在通过拍摄部(图示省略)的拍摄图像识别到图像显示部20的情况下，通过操作对象物5的控制在显示面503显示标识510。

虽然图13的操作对象物4具备四个按钮408，但按钮408的数目、位置能够任意地变更。对于操作对象物5具备的按钮508也相同。另外，按钮408、508也可以是触摸传感器式的操作部，表圈402、502并不必需，操作对象物4、5的表带等的形状也任意。

图15是表示头戴式显示装置100的动作的流程图，示出使用者使用操作对象物4、5的情况下的动作。

控制部140通过拍摄处理部181控制照相机61使拍摄执行(步骤S101)，并获取拍摄图像数据。控制部140通过AR显示控制部185，根据拍摄图像检测操作对象物4或者操作对象物5的图像(步骤S102)。AR显示控制部185检测操作对象物4、5的图像的处理例如，能够通过使用预先存储于存储部120的表示操作对象物4、5的图像的特征量的数据来实现。

控制部140将在步骤S102检测出的操作对象物决定为操作所使用的操作对象物(步骤S103)。在利用照相机61的拍摄图像检测到多个操作对象物4、5的情况下，例如也可以通过使用者的针对控制装置10的操作，选择并决定操作所使用的操作对象物。

控制部140通过AR显示控制部185，显示与在步骤S103决定的操作对象物对应的操作用图像(控制对象对应图像)(步骤S104)。操作用图像是与操作对象物的形状等对应的图像，按照每个操作对象物预先准备并存储于存储部120。

图16是表示显示了操作用图像的状态的例子的图，示出显示了与操作对象物4对应的操作用图像的状态。

在使用者的视场VR透过图像显示部20视觉确认有现实空间的操作对象物4。AR显示控制部185以能够在与操作对象物4对应的位置观察的方式，显示包括操作显示B11～B19的操作用图像。操作显示B11～B19的各个与操作对象物4的部分(控制对象)对应。如图16所示，操作显示B11～B19的各个也可以包含表示对应的部分的箭头。另外，操作显示B11～B19的各个通过文本、图像传达通过针对操作对象物4的部分的操作执行的处理内容。

在图16的例子中，操作显示B11表示通过长针404的操作放大显示倍率。操作显示B12表示通过短针405的操作缩小显示倍率。长针404以及短针405的位置根据时刻变化。因此，AR显示控制部185也可以根据照相机61的拍摄图像确定长针404以及短针405的位置，并与长针404以及/或者短针405的位置配合地变更或者调整操作显示B11、B12的显示位置。操作显示B13表示通过使表把401旋转的操作而头戴式显示装置100显示菜单画面，并例如如参照图11(A)、(B)所说明的那样使画面显示迁移。操作显示B14表示通过日期窗407的操作指示确定，操作显示B15表示通过六点位置的指数406的操作显示履历。操作显示B16表示通过十二点位置的指数406的操作而照相机61进行拍摄。操作显示B17表示通过针对表圈402的六点位置的操作锁定针对操作对象物4的操作。另外，操作显示B18、B19表示通过使表圈402旋转的操作，使显示向右旋转或者向左旋转。

图17是表示显示了操作用图像的状态的其它的例子的图，示出显示了与操作对象物5对应的操作用图像的状态。

在使用者的视场VR透过图像显示部20视觉确认有现实空间的操作对象物5。AR显示控制部185以能够在与操作对象物5对应的位置观察的方式，显示包含操作显示B31～B39的操作用图像。操作显示B31～B39的各个与标识510的标记511(控制对象)对应。如图17所示，操作显示B31～B39的各个也可以包含表示对应的标记511的箭头。另外，操作显示B31～B39的各个通过文本、图像传达通过针对标记511的操作执行的处理内容。

在图17的例子中，操作显示B31表示通过标记511的操作而照相机61进行拍摄。操作显示B32表示通过标记511的操作锁定针对操作对象物4的操作。操作显示B33表示通过标记511的操作指示确定。操作显示B34、B35表示通过标记511的操作，使显示向右旋转或者向左旋转。操作显示B36表示通过标记511的操作缩小显示倍率。操作显示B37表示通过标记511的操作放大显示倍率。操作显示B38表示通过标记511的操作显示主界面画面。操作显示B39表示通过标记511的操作而头戴式显示装置100显示菜单画面，并例如如参照图11(A)、(B)所说明的那样使画面显示迁移。

图17所示的操作用图像虽然也能够称为与操作对象物5对应的操作用图像，但也能够称为与标识510对应的操作用图像。换句话说，控制部140也可以是在根据照相机61的拍摄图像检测到标识510的情况下，显示图17的操作用图像的构成。该情况下，操作对象物5具备的按钮508等的构成并不特别限制，例如，能够在使用者的手臂粘贴标识510的贴纸，并将该标识510(或者标识510附着的手臂)作为操作对象物。因此，只要与图像显示部20独立，且以能够通过照相机61拍摄的状态具有标识510，则能够将任何物体作为操作对象物。

在显示了包含图16的操作显示B11～B19的操作用图像的状态下，针对操作对象物4的操作例如，通过将使用者的手指与操作对象物4的部分重叠来进行。该情况下，控制部140通过设备控制部183，根据照相机61的拍摄图像检测使用者的手指的图像，并确定接近指尖的位置的操作对象物4的部分。由此，视为操作了确定出的部分，而控制部140执行操作显示B11～B19所示的处理。

在显示了包含图17的操作显示B31～B39的操作用图像的状态下，针对操作对象物5的操作例如，通过将使用者的手指与标记511重叠来进行。该情况下，控制部140通过设备控制部183，根据照相机61的拍摄图像检测使用者的手指的图像，并确定接近指尖的位置的标记511，确定该标记511的标识510上的位置。由此，视为操作了确定出的标记511，而控制部140执行操作显示B31～B39所示的处理。

在图15的步骤S104，显示图16、图17所例示的操作用图像之后，控制部140开始操作的检测(步骤S105)。控制部140通过设备控制部183判定操作的有无(步骤S106)，在进行了操作的情况下(步骤S106：是)，与操作的位置、部分对应地执行操作用图像示出的处理(步骤S107)。该处理的执行后，控制部140移至步骤S108。另外，在未检测到与操作用图像对应的操作的情况下(步骤S106：否)，控制部140移至步骤S108。

在步骤S108，控制部140判定是否结束使用了操作用图像的操作。这里，在通过使用者的操作指示了操作的结束的情况下，或者检测到成为在使用者的视场VR未视觉确认到操作对象物的状态的情况下(步骤S108：是)，控制部140结束本处理。另外，在不结束操作的情况下(步骤S108：否)，控制部140返回到步骤S106。

在本实施方式中，在头戴式显示装置100基于照相机61的拍摄图像等识别到操作设备3、或者操作对象物4、5的情况下，AR显示控制部185从存储部120读出AR内容的数据并显示。

图7(A)所示的操作设定用的AR显示、图16以及图17所示的操作用图像是AR内容的一个例子。

图18示出存储于存储部120的数据中AR内容所涉及的数据的构成例。此外，存储部120虽然并不限定于图18所示的AR内容数据123以及对象设备数据127，而也存储其他的数据，但省略图示。存储这些AR内容数据123以及对象设备数据127的存储部120相当于数据存储部。

AR内容所涉及的数据由AR内容数据123、以及对象设备数据127构成。AR内容数据123包括AR要素显示数据123a、位置属性数据123b、以及对应处理数据123c。

AR内容数据123是用于显示AR内容的数据，相当于显示图7(A)的操作设定用的AR显示、图16以及图17的操作用图像的数据。AR要素显示数据123a是用于显示操作用的AR内容的要素(操作用的图像)的数据。所谓的AR内容的要素是与操作设备或者操作对象物的操作部相对应地显示的文字、图像，也可以带箭头等附属的图像。在图7(A)的例子中分配候补显示A1、A2、A3、A4以及设定候补A11、A12、A13、A14相当于要素。在图7(B)的例子中分配候补显示A21、A22、A23、A24以及设定候补A31、A32、A33、A34相当于要素。另外，在图16的例子中操作显示B11～B19相当于要素，在图17的例子中操作显示B31～B39相当于要素。AR要素显示数据123a例如，包括用于显示上述要素的图像数据、文本数据、以及指定图像、文本的显示属性(颜色、尺寸、字体、背景等)的数据等。

位置属性数据123b是用于指定要素的显示位置的数据。要素的显示位置针对AR要素显示数据123a包含的各个要素设定。位置属性数据123b可以是以右显示驱动部22以及左显示驱动部24中的固定的位置指定要素的显示位置的数据。另外，位置属性数据123b也可以是作为相对于操作设备3或者操作对象物4、5的相对的位置，指定要素的显示位置的数据。另外，位置属性数据123b也可以是作为相对于操作设备3或者操作对象物4、5的操作部的相对的位置，指定要素的显示位置的数据。例如，位置属性数据123b能够是作为相对于操作设备3的表圈301的相对位置指定图7(A)、(B)的设定候补A11～A14、A31～A34的显示位置的数据。例如，也可以是作为相对于操作对象物4的表把401、表圈402、表盘403、长针404、短针405、指数406、日期窗407、以及按钮408等的相对位置指定图16的操作显示B11～B19的显示位置的数据。例如，也可以是作为相对于操作对象物5的标识510以及标记511等的相对位置指定图17的操作显示B31～B39的显示位置的数据。

对应处理数据123c是在通过使用者的操作，选择或者指定了AR要素显示数据123a所包含的要素的情况下，决定控制部140执行的处理的数据。在图7(A)的例子中，与操作设备3的操作部(例如，表圈301)的操作对应地，控制部140执行依次切换多个候补的处理、使图像显示部20显示的画面迁移的动作等。另外，也可以与操作设备3的操作对应地，设备控制部183执行触摸面板304、以及九轴传感器368的检测开始、发送指示移至不检测状态的控制数据的处理。

在图16的例子中，控制部140与针对长针404的操作对应地放大显示倍率，与针对短针405的操作对应地缩小显示倍率。另外，与使表把401旋转的操作对应地显示菜单画面，使画面显示迁移。另外，与日期窗407的操作对应地进行接受确定的指示的处理，与针对六点位置的指数406的操作对应地显示履历。另外，根据针对十二点位置的指数406的操作利用照相机61进行拍摄，与针对表圈402的六点位置的操作对应地锁定针对操作对象物4的操作。另外，与使表圈402旋转的操作对应地，使显示向右旋转或者向左旋转。

在图17的例子中，控制部140与标记511的操作对应地，进行照相机61的拍摄、针对操作对象物4的操作的锁定，确定的指示的接受、显示的旋转、显示倍率的放大/缩小、主界面画面的显示、菜单画面的显示、画面显示的迁移等处理。

对应处理数据123c包含指定这些处理的数据。

对象设备数据127是表示与AR内容数据123对应的操作设备或者操作对象物的数据，例如，包括用于根据照相机61的拍摄图像检测操作设备或者操作对象物的图像特征量的数据等。

对象设备数据127在控制部140例如在步骤S52(图9)检测操作设备3的情况下，在步骤S102(图15)检测操作对象物4、5的情况下参照。控制部140能够基于对象设备数据127，检测或者识别操作设备或者操作对象物，确定对应的AR内容，并基于AR内容数据123显示AR内容。

这里，能够在存储部120存储多个AR内容数据123。另外，也可以将与多个AR内容有关的数据包含在一个AR内容数据123。对象设备数据127是按照每个AR内容，指定对应的操作设备或者操作对象物的数据，数据的对应关系的具体的方式任意。例如，可以在存储部120存储与AR内容数据123数目相同的对象设备数据127。另外，也可以对象设备数据127包含针对多个AR内容数据123的各个，指定对应的操作设备或者操作对象物的数据。另外，也可以在对象设备数据127包含表示与AR内容数据123包含的多个AR内容对应的操作设备或者操作对象物的数据。

另外，也可以将对象设备数据127包含在AR内容数据123。该情况下，AR内容数据123成为按照每个AR内容，将AR要素显示数据123a、位置属性数据123b、对应处理数据123c、以及对象设备数据127建立对应关系并包含的方式。

对于AR内容中的要素的种类、位置、数目等，能够根据使用者的操作变更，且能够反映该变更而编辑AR内容数据123。

图19是表示编辑AR内容数据123的处理的流程图。

控制部140根据使用者的操作，开始AR内容数据123的编辑(步骤S121)。在以下的说明中，使用者的操作可以是在操作部111接受的操作、以及利用照相机61检测出的使用者的手等指示体的手势操作的任意一个。

控制部140例如与在步骤S51～S52执行的处理相同，检测操作设备或者操作对象物(步骤S122)。控制部140基于AR内容数据123显示与检测出的操作设备或者操作对象物对应的AR内容(步骤S123)。这里，在以未知的操作设备或者操作对象物为对象的情况下，与该操作设备或者操作对象物对应的AR内容数据123未存储于存储部120。该情况下，控制部140既可以检测是未知的操作设备或者操作对象物，也可以通过使用者的操作指示是未知的操作设备或者操作对象物。控制部140使用预先存储于存储部120的通用的AR内容数据123，或者，通过使用者的操作或者预先的设定指定的AR内容数据123，显示AR内容。

若对于在步骤S123显示的AR内容的要素，通过使用者的操作输入了AR内容的位置的变更(移动)、追加、删除的指示，则控制部140根据输入进行AR内容的位置变更、追加、删除(步骤S124)。

另外，若针对显示中的AR内容的要素，通过使用者的操作，与AR内容的要素对应地指定控制部140执行的处理，则控制部140根据输入进行控制部140执行的处理的指定或者变更(步骤S125)。

此外，步骤S124、S125的处理的执行顺序能够变更，也可以并列地执行步骤S124、S125的处理。

控制部140判定AR内容数据123的编辑是否结束(步骤S126)。在编辑未结束的情况下(步骤S126：否)，控制部140返回到步骤S124。在编辑结束的情况下(步骤S126：是)，控制部140生成将在步骤S122检测出的操作设备或者操作对象物设定为对象设备的对象设备数据127(步骤S127)。控制部140将反映了步骤S124、S125的编辑内容的AR内容数据123与在步骤S127生成的对象设备数据127建立对应关系，存储于存储部120(步骤S128)，并结束本处理。

这样，通过使用者的操作，能够指定、变更与操作设备3、操作对象物4、5等对应地显示的AR内容的显示方式、要素的种类、位置、数目、以及与要素对应地执行的处理。因此，能够显示适合使用者的用途、喜好的AR内容，能够实现进一步的便利性的提高。

另外，头戴式显示装置100也可以通过通信部117与外部的设备进行通信，从而下载AR内容数据123、以及对象设备数据127。该情况下，头戴式显示装置100也可以与智能手机、路由器等转接其他的通信网络与头戴式显示装置100的通信的外部的设备进行通信，并经由该通信网络从服务器装置(图示省略)下载。另外，头戴式显示装置100也可以从通过通信部117连接的外部的设备(例如，个人计算机、智能手机)，下载AR内容数据123以及对象设备数据127。

图20是表示头戴式显示装置100下载AR内容数据的处理的流程图。

控制部140与使用者的操作或者来自外部的设备的访问对应地开始下载(步骤S141)。控制部140下载并获取AR内容数据123(步骤S142)。控制部140对于获取的AR内容数据123的AR要素显示数据123a、位置属性数据123b、以及对应处理数据123c存储于存储部120(步骤S143)。若需要，则控制部140也可以在步骤S143中，进行能够使用存储的数据的设定。

控制部140判定在下载的数据是否包含对象设备数据127，或者，指定对应的操作设备或者操作对象物的数据(步骤S144)。在包含相应的数据的情况下(步骤S144：是)，控制部140将对象设备数据127与AR内容数据123相对应地存储于存储部120(步骤S145)，并结束本处理。

另外，在不包含对象设备数据127，或者，指定对应的操作设备或者操作对象物的数据的情况下(步骤S144：否)，控制部140开始生成对象设备数据127的处理。即，控制部140执行照相机61的拍摄获取拍摄图像数据(步骤S146)，并基于拍摄图像数据，生成对象设备数据127(步骤S147)。由此，处于照相机61的拍摄范围的操作设备或者操作对象物被设定为与下载的AR内容数据123对应的操作设备或者操作对象物。

控制部140判定是否进行与AR内容数据123和对象设备数据127的对应有关的调整(步骤S148)。该调整是为了将AR内容数据123与在步骤S146拍摄到的操作设备或者操作对象物建立对应关系所需要的调整。具体而言，控制部140在步骤S147，根据拍摄图像数据提取操作设备或者操作对象物的图像，检测操作部，并计算操作部的位置关系，来生成对象设备数据127。将AR内容数据123的哪个要素与检测出的各操作部建立对应关系影响操作部的检测状态。因此，例如控制部140基于使用者的指示判定是否调整操作部与AR内容的要素的对应关系。这里，也可以对使用者进行要求指示的消息的显示等。

在进行调整的情况下(步骤S148：是)，控制部140进行编辑AR内容数据的处理(步骤S149)。在步骤S149中，例如，能够执行在图19说明的处理(步骤S121～S128)。其后，控制部140将编辑的AR内容数据123与在步骤S147生成并在步骤S149编辑的对象设备数据127建立对应关系，存储于存储部120(步骤S150)，并结束本处理。另外，在不进行调整的情况下(步骤S148：否)，控制部140不执行步骤S149而移至步骤S150，将在步骤S147生成的对象设备数据127与下载的AR内容数据123建立对应关系并存储于存储部120。

操作设备3基于预先存储的数据，控制部350在LCD303显示图像。操作对象物5基于预先存储的数据通过控制部(图示省略)的功能显示标识510。这些显示用的数据并不限定于固定的数据，例如也可以构成为能够从头戴式显示装置100或者其他的外部的设备下载并追加。

例如，操作对象物5也可以构成为能够编辑或者追加标识510。如参照图14以及图17所说明的那样，操作对象物5在由LCD或者电子纸型显示器构成的显示面503显示标识510。该标识510只要是头戴式显示装置100能够识别的方式则能够变更。

头戴式显示装置100检测操作对象物5显示的标识510上的标记511作为操作部，在与标记511对应的位置，显示作为AR内容的操作显示B31～B39。操作显示B31～B39例如，与标记511的颜色相对应。控制部140根据标记511的颜色，识别标记511，并将操作显示B31～B39显示在与预先建立对应关系的颜色的标记511对应的位置。该情况下，与标识510上的标记511的位置无关地，显示操作显示B31～B39。

在该例子中，在位置属性数据123b包含有指定标记511的颜色的数据。详细地说，包含以将AR要素显示数据123a的图像显示在与特定的颜色的标记511对应的位置的方式进行指定的数据。

因此，能够相对于头戴式显示装置100使标记511的颜色相同，标记511的位置不同的多个标识510执行相同的功能。该情况下，使用者能够不变更使头戴式显示装置100执行的处理，而分开使用标记511的位置不同颜色相同的多个标识510。

该情况下，例如也可以是通过操作对象物5具备的按钮508的操作，能够切换显示标识510的构成。另外，操作对象物5也可以与头戴式显示装置100的通信部117执行近距离无线通信，并基于头戴式显示装置100发送的控制数据切换标识510。

这只是一个例子，也能够是头戴式显示装置100基于标记511的图案(结构)识别标记511的构成，根据标记511的形状识别标记511的构成。该情况下，在标记511的图案、形状不变化的范围内，能够不影响头戴式显示装置100的功能地分开使用标记511的位置不同的标识510。

该情况下，能够以按照使用操作对象物5的使用者的喜好来进行更换的方式，切换显示面503上的显示。操作对象物5在获取标识510的数据的情况下，也可以通过无线通信或者通信用的电缆，与头戴式显示装置100，或者外部的设备连接。

并且，也可以构成为在影响头戴式显示装置100执行的功能的范围内，变更标识510。该情况下，头戴式显示装置100执行的功能变更，所以优选在头戴式显示装置100中，也变更AR内容数据123以及对象设备数据127。例如，能够列举头戴式显示装置100从外部的设备(图示省略)下载AR内容数据123以及对象设备数据127，操作对象物5从头戴式显示装置100获取与该AR内容数据123以及对象设备数据127对应的标识510的构成。参照图21对该例进行说明。

图21是表示头戴式显示装置100以及操作对象物5下载AR内容数据123以及相关的数据的动作的流程图。在图21中，图21(A)表示头戴式显示装置100的动作，图21(B)表示操作对象物5的动作。进行图21所示的动作的操作对象物5具有具备与头戴式显示装置100进行通信的通信部(图示省略)的构成。例如，具备与通信部117执行无线通信的无线通信部(图示省略)，或者，包含与通信部117、接口125有线连接的连接器的通信接口(图示省略)。

控制部140与使用者的操作或者来自外部的设备的访问对应地开始下载(步骤S161)。控制部140下载并获取AR内容数据123(步骤S162)。控制部140对于获取的AR内容数据123的AR要素显示数据123a、位置属性数据123b、以及对应处理数据123c存储于存储部120(步骤S163)。若需要，则控制部140也可以在步骤S163，进行能够使用存储的数据的设定。

控制部140将与下载的数据相对应的对象设备数据127与AR内容数据123建立对应关系并存储于存储部120(步骤S164)。该对象设备数据127例如，在步骤S162中与AR内容数据123一起从外部的设备获取。

控制部140移至能够与操作对象物5连接进行数据通信的状态(步骤S165)。在操作对象物5中，也移至能够与头戴式显示装置100连接进行数据通信的状态(步骤S171)。

控制部140对在步骤S165连接的设备(操作对象物5)是符合在步骤S164存储的对象设备数据127的设备进行认证(步骤S166)。这里，操作对象物5根据头戴式显示装置100的要求，发送产品名、产品的型号等认证用的数据，与头戴式显示装置100一起进行认证(步骤S172)。

在认证成功之后，控制部140对操作对象物5发送用于显示标识510的数据(步骤S167)。该数据例如，在步骤S162中，与对象设备数据127一起从外部的设备获取。操作对象物5接收并存储头戴式显示装置100发送的标识510显示用的数据(步骤S173)。

通过该图21的处理，操作对象物5能够获取并存储用于显示新的标识510的数据，并基于该数据显示新的标识510。另外，头戴式显示装置100与操作对象物5显示的标识510对应地，显示AR内容。该AR内容如图17所例示的操作显示B31～B39那样包含操作显示，所以在操作对象物5显示了标识510的状态下，能够通过以照相机61拍摄操作对象物5，在与标识510对应的位置显示AR内容。头戴式显示装置100能够检测新的标识510包含的标记511，并显示包含与该标记511对应的操作显示的AR内容。另外，能够在检测到新的标识510包含的标记511的操作的情况下，执行与该标记511对应地显示的操作显示所指定的处理。

该情况下，能够增加能够在操作对象物5中显示的标识510的种类。新的标识510由于没有使标记511与以前能够显示的标识510共用化等的制约，所以有能够显示各种设计的标识510这样的优点。并且，在戴式显示装置100中，能够变更或者追加能够检测操作的标记511的种类。并且，能够追加与针对标记511的操作对应地执行的功能。例如，能够变更在操作对象物5与头戴式显示装置100之间执行的通信协议、显示与操作对象物5的外观配合的新的设计的操作显示、执行新的功能。由此，因此，能够针对头戴式显示装置100追加使用的操作对象物5，随着操作对象物5的变更能够变更头戴式显示装置100执行的功能、用途。

这里，AR内容数据123以及对象设备数据127并不限定于设定头戴式显示装置100具有的功能的数据。例如，也可以除了AR内容数据123、和对象设备数据127之外，还包含与控制部140基于AR内容数据123执行的功能对应的程序。另外，也能够将AR内容数据123和对象设备数据127作为包含程序的一个应用程序。该情况下，能够追加或者变更控制部140执行的功能本身。例如，假定操作系统150为Android(注册商标)OS、iOS(注册商标)、Windows(注册商标)等移动设备(智能手机、平板计算机)用的OS的情况。该情况下，通过作为包含AR内容数据123和对象设备数据127的应用程序，能够容易地将AR内容数据123和对象设备数据127作为一体下载并设定。在使用者购买新的操作对象物5的情况下，或者，使用新的标识510的情况下，能够容易地进行与该新的操作对象物5、标识510对应的头戴式显示装置100的设定。

如以上说明的那样，应用了本发明的实施方式的显示系统1具备头戴式显示装置100、和与图像显示部20独立地构成的操作设备3。头戴式显示装置100佩戴于使用者的头部，且具有透过外景使使用者视觉确认的透射型图像显示部20。操作设备3具备表圈301、触摸面板304、按钮305、表把型操作件307、以及按钮309，作为接受使用者的操作的操作部。可以在操作部包含九轴传感器368，也可以将具有九轴传感器368的表带部300作为操作部。头戴式显示装置100具备控制图像显示部20的显示的控制部140。控制部140基于针对操作设备3的操作，通过图像显示部20进行与透过图像显示部20的外景相关的AR显示。根据该构成，在头戴式显示装置100进行与外景相关的AR显示时，反映与头戴式显示装置100独立的操作设备3的操作，所以能够通过直观的输入操作控制AR显示。

例如，在操作设备3中，通过图7(A)所示的设定对表带部300的操作部分配了功能之后，也可以头戴式显示装置100检测与操作部接触、移动手指等针对操作设备3的操作。具体而言，也可以控制部140基于照相机61的拍摄图像数据，检测针对操作设备3的操作。

另外，操作设备3也可以具备向头戴式显示装置100发送表示操作部接受的操作的数据的无线通信部361。该情况下，控制部140基于从操作设备3发送的数据，以与操作部相对应的方式，通过图像显示部20进行与透过图像显示部20的外景相关的AR显示。

另外，控制部140基于从操作设备3发送的数据检测操作部的操作，并与检测出的操作对应地，在图像显示部20变更显示中的AR显示。因此，能够在进行AR显示的期间，通过操作操作设备3，使AR显示变更。

也可以控制部140能够设定针对操作部的AR显示的分配。

在这种情况下，也可以控制部140能够执行更新针对操作部的AR显示的分配的处理。

另外，操作部具备检测接触操作的触摸面板304。触摸面板304具有多个操作区域，控制部140通过图像显示部20显示分配给在触摸面板304操作的操作区域的AR显示。因此，通过在操作设备3进行触摸操作，能够进行对AR显示的各种操作。

另外，也可以操作设备3具有的控制部350检测操作设备3的移动作为操作。

通过移动操作设备3能够进行对头戴式显示装置100的操作。

另外，也可以操作设备3具备照相机311，并通过无线通信部361向头戴式显示装置100发送包含照相机311的拍摄图像的数据。该情况下，能够在头戴式显示装置100显示与头戴式显示装置100独立的操作设备3所拍摄到的拍摄图像。另外，在显示系统1中，能够在操作设备3，进行头戴式显示装置100的认证。

图11以及图12是表示与操作设备3的操作对应地由头戴式显示装置100执行的功能的例子的图。

图11(A)示出在使用者的视场VR显示选择文件以及文件夹的选择用画面A41的例子。若在像这样并排显示多个选择候补(在该例子中为文件夹)的状态下，进行使表圈301旋转的操作，则依次选择候补。

另外，图11(B)示出通过操作设备3或者控制装置10的操作显示的虚拟键盘A43。在虚拟键盘A43配置有多个与文字以及符号对应的虚拟键。若在虚拟键盘A43的显示中进行使表圈301旋转的操作，则在虚拟键盘A43中依次选择虚拟键。

如图11(A)、图11(B)所示，在从显示在使用者的视场VR的多个候补选择一个候补的操作中，优选使表圈301旋转的操作。该情况下，也可以配合表圈301的旋转方向，变更依次切换并选择候补的方向。另外，确定选择的操作例如，能够利用操作设备3具备的按钮305进行。表圈301能够直观地操作，且位于操作设备3的平面部300A的外周部，所以能够通过摸索进行操作。因此，使用者能够在注目于通过图像显示部20显示的AR显示的同时操作表圈301。并且，能够通过设在远离平面部300A的位置，且与其他的开关式的操作件相比大型的按钮305，确定选择，所以能够更容易地进行操作。按钮305的位置以及尺寸与按钮309、表把型操作件307不同，所以与表圈301相同，容易通过摸索进行操作。因此，能够在观察图像显示部20显示的图像的同时，直观地进行可靠的操作。

此外，如图11(A)、图11(B)所示，也可以在从显示在使用者的视场VR的多个候补选择一个候补的操作，构成为能够通过声音进行选择。该情况下，也可以若以声音指定附加给候补的固有的名称、号码、符号等，则操作设备3利用话筒365检测该声音，并将检测出的声音的数据发送给头戴式显示装置100，由控制部140进行设定。

图12针对根据表圈301的操作使画面迁移的例子，示意地示出迁移的画面的构成。

在头戴式显示装置100的操作系统150如iOS(注册商标)、Android(注册商标)那样，是使多个画面切换、迁移的构成的情况下，能够更有效地使用表圈301的操作。在图12的例子中，通过使表圈301旋转的操作，能够依次切换并显示画面1～4四个画面。另外，也可以依次选择画面1～4的情况下的推送方向与表圈301的操作方向对应地，成为正方向和反方向。

在头戴式显示装置100中，在画面1～4中显示了画面2的状态下，通过按钮305的操作确定了显示画面之后，能够进一步通过表圈301的操作使画面2、2－1、2－2、2－3四个画面迁移。在该情况下，也可以依次选择四个画面的情况下的推送方向与表圈301的操作方向对应地，成为正方向和反方向。

在图12所示的例子中通过不经过按钮305的确定操作而使表圈301旋转，能够迅速地使显示画面迁移。

显示系统1的动作并不限定于上述的例子，例如，能够执行以下那样的动作。

也可以头戴式显示装置100与操作设备3的操作对应地，进行在图像显示部20显示的图像(包括文字)的放大、缩小、旋转、复印、以及跳页等。该情况下，操作设备3上的操作不仅是表圈301的旋转、按钮309的按压操作、按钮305的按压操作、以及使表把型操作件307旋转的操作，例如，也可以包括以手指对触摸面板304进行接触的操作。例如，也可以与向右转动表圈301的操作对应地放大显示图像，与向左转动表圈301的操作对应地缩小显示图像。另外，也可以在检测到对触摸面板304的中央部的手指的接触的情况下放大显示图像，在检测到对触摸面板304的周边部(例如，左下框附近)的手指的接触的情况下缩小显示图像。另外，也可以在接触触摸面板304的手指在保持接触的状态下进行了右转、左转等旋转运动的情况下，与该旋转配合地使显示图像旋转。

另外，在触摸面板304与所谓的多点触摸操作对应的情况下，也可以与使针对触摸面板304的多个操作点的间隔放大、或者缩小的操作等对应地，进行使头戴式显示装置100的显示图像放大、缩小、或者旋转的动作。

操作设备3也能够向头戴式显示装置100发送九轴传感器368的检测值。另外，操作设备3也可以是具备了GPS检测部的构成，并向头戴式显示装置100发送利用GPS检测部检测到的当前位置。该情况下，头戴式显示装置100的控制部140能够基于从操作设备3接收的检测值和三轴传感器113的检测值，检测操作设备3与头戴式显示装置100的相对位置。而且，与检测到的相对位置的变化对应地，既可以进行显示图像的放大、缩小、旋转等显示的变更，也可以进行图像的渐现显示、渐隐显示。该情况下，能够通过使操作设备3接近、远离头戴式显示装置100的操作，变更显示。并且，操作设备3向头戴式显示装置100发送九轴传感器368的检测值的数据，从而头戴式显示装置100能够检测移动操作设备3的操作。

这样，显示系统1具备具有佩戴于使用者的头部的显示部的头戴式显示装置100、和与显示部独立地构成的操作设备3。操作设备3具备表圈301、触摸面板304、按钮305、表把型操作件307、以及按钮309，作为接受使用者的操作的操作部。可以在操作部包含九轴传感器368，也可以将具有九轴传感器368的表带部300作为操作部。头戴式显示装置100具备控制图像显示部20的显示的控制部140，控制部140基于操作设备3的操作，进行包括使在图像显示部20显示的画面迁移的处理的显示控制。因此，由于操作与头戴式显示装置100独立的操作设备3，来使画面迁移，所以能够通过更直观的输入操作控制头戴式显示装置100。

另外，操作设备3具备将表示操作部接受的操作的数据发送给头戴式显示装置100的无线通信部361。头戴式显示装置100的控制部140基于从操作设备3发送的数据，检测操作设备3的操作。因此，能够在头戴式显示装置100中可靠地检测操作设备3上的操作。另外，能够减少操作的检测所涉及的头戴式显示装置100的负担。

另外，操作设备3具有作为佩戴于使用者的身体的佩戴部的表带部300，而能够使用佩戴于使用者的身体的操作设备3，进行更直观的输入操作，来控制头戴式显示装置100。

另外，通过操作设备3具有的操作部例如表圈301以及旋转检测部367，检测伴随旋转的操作。头戴式显示装置100的控制部140在从操作设备3发送了表示伴随旋转的操作的数据的情况下，与操作的旋转方向对应地，使在图像显示部20显示的画面例如如图10所示那样迁移。因此，能够通过伴随旋转的操作使画面迁移，能够实现更直观的操作。另外，由于操作的方向与画面的迁移的方向对应，所以例如能够进行摸索的操作。

另外，也可以头戴式显示装置100的控制部140基于从操作设备3发送的数据，进行包括在图像显示部20显示的图像的放大、缩小或者旋转的任意一个的显示控制。

另外，也可以操作设备3具有的控制部350检测操作设备3的移动作为操作。

另外，也可以图像显示部20是透过外景并使使用者视觉确认的透射型显示部。该情况下，使用者能够在观察外景的同时操作操作设备3，来控制头戴式显示装置100的显示。由于能够不仅仅注视头戴式显示装置100，而直观地进行操作，所以在观察外景的同时使用头戴式显示装置100的情况下优选。

另外，头戴式显示装置100能够向操作设备3发送输出用的数据，操作设备3能够利用通信部接收头戴式显示装置100发送的输出用的数据，并输出接收的输出用的数据。

另外，控制部140在根据照相机61的拍摄图像检测到操作对象物4、5的情况下，与操作对象物4、5对应地在图像显示部20显示与操作对象物4、5建立对应关系的操作用图像。由此，能够容易理解地向使用者提供与和头戴式显示装置100独立的操作对象物4、5有关的信息。

另外，控制部140在检测到针对显示了操作用图像的操作对象物4、5的操作的情况下，执行与操作内容和操作用图像对应的处理。由此，头戴式显示装置100与针对操作对象物4、5的操作对应地执行处理，所以能够使用操作对象物4、5实现直观的操作。

另外，控制部140作为检测针对操作对象物4、5的操作的检测部发挥作用，所以能够迅速地检测针对操作对象物4、5的操作。另外，即使操作对象物4、5不具有通信功能，头戴式显示装置100也能够与操作对象物4、5的操作对应地执行处理。控制部140基于照相机61的拍摄图像，检测操作对象物4、5，并检测针对操作对象物4、5的操作。由此，即使操作对象物4、5不执行通信，头戴式显示装置100也能够检测操作对象物4、5，并检测针对操作对象物4、5的操作。

头戴式显示装置100具备存储用于对与操作对象物具有的操作部对应的操作用的图像进行AR显示的AR内容数据123的存储部120。控制部140能够变更存储部120存储的AR显示用的数据。由此，对于与操作对象物对应地进行AR显示的功能，能够变更数据，所以能够以与新的操作对象物、未知的操作对象物对应的方式变更数据。因此，能够减少与作为AR显示的对象的操作对象物有关的制约，能够实现便利性的提高。

另外，存储部120存储的AR内容数据123包括将作为操作用的图像的要素与操作对象物具有的操作部建立对应关系的位置属性数据123b。控制部140能够变更AR内容数据123中的操作用的图像与操作对象物具有的操作部的对应。

另外，本发明能够作为能够由控制佩戴于使用者的头部，且具有透过外景并使使用者视觉确认的透射型图像显示部20的头戴式显示装置100的控制部140执行的程序实现。通过由控制部140的CPU执行该程序，能够检测与图像显示部20独立地构成的操作设备3、操作对象物4、5。另外，控制部140检测操作设备3、操作对象物4、5具备的操作部，并在与检测到的操作部对应的位置对操作用的图像进行AR显示。另外，控制部140检测与操作用的图像有关的操作，并执行与检测到操作的操作用的图像对应的处理。由此，头戴式显示装置100显示与头戴式显示装置100独立的操作设备3、操作对象物4、5所对应的操作用的图像，并与和该操作用的图像有关的操作对应地执行处理。因此，能够利用操作设备3、操作对象物4、5使头戴式显示装置100执行处理，能够进行针对头戴式显示装置100的直观的操作。

此外，该发明并不限定于上述实施方式的构成，在不脱离其主旨的范围能够在各种方式下实施。

在本实施方式中，对作为头戴式显示装置100的用户接口使用的操作设备3具有手表的形状的例子进行了说明。本发明并不限定于此，只要是适合佩戴于使用头戴式显示装置100的使用者的身体的形状即可。例如，能够是戒指型、胸针型、吊坠或者项链型、或者笔形的设备。另外，也可以是佩戴于使用者的头部、耳朵的头戴受话器型、耳机型、头戴式听筒型的设备。该情况下，也可以在输出声音的头戴受话器、耳机安装作为本发明的操作设备的功能。也可以在具备了输出声音的扬声器、和收集使用者发出的声音的话筒的头戴式听筒安装作为本发明的操作设备的功能。在该构成中头戴受话器、耳机、扬声器也可以是骨传导扬声器，话筒也可以是骨传导话筒。该情况下，期望设备是至少具备检测接触操作或者按压操作的操作件，且具备了无线通信部361、LED313、照相机311、以及九轴传感器368的构成。在这些构成中，除了显示所涉及的动作之外，能够得到与上述实施方式相同的效果。

另外，上述实施方式的操作设备3是通过表带部300固定并保持在使用者的身体的构成，但本发明的操作设备的构成并不限定于此。即，操作设备并不必须通过表带部300等固定，而只要能够佩戴于使用者的身体即可。因此，既可以是如上述那样模拟了吊坠或者项链型，或者其他的配饰的形状等，也可以是帽子、头盔的形状，也能够是其他的衣服的方式。

并且，本发明的操作设备并不限定于直接佩戴或者固定于使用者的身体的方式。例如，也可以在佩戴或者固定于使用者的身体的手表、配饰、衣服、提包、帽子、头盔固定相当于操作设备的设备。该情况下的操作设备例如，能够为从操作设备3除下了表带部300的构成。

另外，显示系统1也可以是具备了多个操作设备的构成。例如也可以包括如操作设备3那样手表型的操作设备、和笔形的操作设备等不同形状的操作设备。该情况下，也可以基于多个操作设备上的操作，使头戴式显示装置100上的显示画面迁移。头戴式显示装置100检测多个操作设备上的操作的方法能够列举从多个操作设备发送表示操作的数据的方法等。

并且，也可以操作设备3向头戴式显示装置100发送表示作为惯性传感器的九轴传感器368的检测值的数据，从而显示系统1将操作设备3的移动作为操作进行动作。

例如，也可以控制部140使用九轴传感器368的检测值、和头戴式显示装置100具备的九轴传感器66的检测值，将透过图像显示部20被视觉确认的外景与图像显示部20的显示区域建立对应关系。该情况下，通过使用多个装置具备的传感器的检测值，能够更高精度地建立对应关系。该对应关系能够在图像显示部20中显示AR内容的情况下等利用。

另外，操作设备3也可以具备测量使用者的心率的传感器。具体而言，能够使用向使用者的手臂照射光来检测搏动的传感器等。该情况下，也可以操作设备3将与测量出的心率有关的数据发送给头戴式显示装置100，并在头戴式显示装置100中显示心率所涉及的数据。例如，也可以进行统计地处理心率的结果的显示、心率的实时显示、处理心率和九轴传感器368的检测值，并显示与使用者的活动量、身体状况管理有关的数据。另外，也可以基于心率估计使用者的兴奋度、疲劳度，并以给使用者带来舒适性的方式变更图像显示部20上的显示颜色、显示的图像的内容。

另外，在上述实施方式中，列举操作设备3是通过电源部360进行动作的电子设备的构成为例进行了说明，但本发明并不限定于此。例如，也可以在操作设备3的表圈301、以及/或者在平面部300A与表圈301邻接的位置，设置用于确定表圈301的旋转方向上的位置的标识。该情况下，设备控制部183能够基于利用照相机61拍摄的拍摄图像数据，求出表圈301的旋转方向和旋转量。另外，也可以构成为即使在操作设备3具备电源部360的情况下，头戴式显示装置100也通过上述的动作，求出表圈301的旋转方向和旋转量。该动作例如，能够作为抑制电源部360的消耗的省电力动作模式的动作实现。能够构成为在电源部360的剩余容量较少的情况下，在操作设备3或者头戴式显示装置100的控制下，显示系统1移至省电力动作模式。

另外，操作对象物4、5只要与头戴式显示装置100具有的图像显示部20独立地构成，且具有作为显示操作用图像的对象的表把401、表圈402等各部或者标识510即可。因此，例如，包含书写工具的文具、工具、家具、计算机外围设备、电话机等各种电子设备等只要与图像显示部20独立则可以是任何设备，并不限定于使用者佩戴于身体的设备，也不限制其本来的功能。

另外，也可以代替上述实施方式的图像显示部20，例如，采用如帽子那样佩戴的图像显示部等其他的方式的图像显示部，只要具备与使用者的左眼对应地显示图像的显示部、和与使用者的右眼对应地显示图像的显示部即可。另外，本发明的显示装置例如，也可以构成为安装于汽车、飞机等车辆的头戴显示器。另外，例如，也可以构成为内置在头盔等身体防护具的头戴显示器。该情况下，能够将定位相对于使用者的身体的位置的部分、以及定位在该部分的部分作为安装部。

并且，在上述实施方式中，列举图像显示部20与控制装置10分离，并经由连接部40连接的构成为例进行了说明。本发明并不限定于此，也能够构成为控制装置10与图像显示部20一体地构成，并佩戴于使用者的头部。

另外，作为控制装置10，也可以使用笔记本电脑、平板电脑或者台式电脑。另外，作为控制装置10，也可以使用包含游戏机、便携式电话机、智能手机、便携式媒体播放器的便携式电子设备、其他的专用设备等。另外，也可以构成为控制装置10与图像显示部20分离地构成，并通过无线通信在控制装置10与图像显示部20之间发送接收各种信号。

另外，例如，作为在图像显示部20中生成图像光的构成，也可以构成为具备有机EL(有机场致发光，Organic Electro-Luminescence)的显示器、和有机EL控制部。另外，作为生成图像光的构成，也能够使用LCOS(Liquid crystal on silicon：液晶附硅,LCoS为注册商标)、数字微镜设备等。

另外，作为将图像光导向使用者的眼睛的光学系统，能够采用具备透过从外部朝向装置射入的外光的光学部件，并使外光与图像光一起射入到使用者的眼睛的构成。另外，也可以使用位于使用者的眼睛的前方并与使用者的视野的一部分或者全部重合的光学部件。并且，也可以采用使激光等扫描并作为图像光的扫描方式的光学系统。另外，并不限定于在光学部件的内部使图像光导光，也可以仅具有使图像光折射以及/或者反射并导向使用者的眼睛的功能。

例如，也能够在激光视网膜投影型的头戴显示器应用本发明。即，也可以采用光射出部具备激光光源、和将激光光源导向使用者的眼睛的光学系统，并通过使激光射入到使用者的眼睛在视网膜上扫描，并使其在视网膜成像，来使使用者视觉确认图像的构成。

另外，也能够将本发明应用于采用使用了MEMS镜的扫描光学系统，并利用了MEMS显示器技术的显示装置。即，也可以具备信号光形成部、具有使信号光形成部射出的光扫描的MEMS镜的扫描光学系统、以及通过被扫描光学系统扫描的光形成虚像的光学部件作为光射出部。在该构成中，信号光形成部射出的光被MEMS镜反射，并射入至光学部件，在光学部件中被引导，并到达虚像形成面。通过MEMS镜扫描光，在虚像形成面形成虚像，使用者通过以眼睛捕捉该虚像，识别图像。该情况下的光学部件例如既可以如上述实施方式的右导光板261以及左导光板262那样，经由多次的反射来引导光，也可以利用半透半反镜面。

另外，图3以及图4所示的各功能模块中至少一部分构成为既可以由硬件实现，也可以通过硬件和软件的配合实现。另外，控制部140执行程序构成为既可以存储于存储部120或者控制装置10内的存储装置，也可以经由通信部117或者接口125获取存储于外部的装置的程序并执行。

另外，也可以形成于控制装置10的构成中，仅操作部111作为单独的使用者接口(UI)形成。另外，形成于控制装置10的构成也可以重复地形成在图像显示部20。例如，也可以在控制装置10和图像显示部20双方形成相当于控制部140的控制部。另外，也可以构成为形成于控制装置10的控制部140和形成于图像显示部20的CPU进行的功能彼此分开。

另外，本发明也能够以头戴式显示装置100以外的各种方式实现。例如，能够以头戴式显示装置100的控制方法、具有头戴式显示装置100的信息系统、用于实现头戴式显示装置100的控制方法以及上述信息系统的计算机程序、记录了该计算机程序的记录介质、以及在用于传送计算机程序的与因特网等通信线路连接的服务器装置、包含该计算机程序的载波内具体化的数据信号等方式实现。

符号说明

1…显示系统，2…外壳，3…操作设备，4、5…操作对象物，10…控制装置，20…图像显示部(显示部)，21…右保持部，22…右显示驱动部，23…左保持部，24…左显示驱动部，26…右光学图像显示部，28…左光学图像显示部，61…照相机，66…九轴传感器，100…头戴式显示装置(显示装置)，117…通信部，120…存储部，140…控制部，150…操作系统，160…图像处理部，170…显示控制部，181…拍摄处理部，183…设备控制部，185…AR显示控制部，187…声音处理部，300…表带部，300A…平面部，301…表圈，303…LCD，304…触摸面板(触摸操作部)，305…按钮，307…表把型操作件，309…按钮，310…光学部，311…照相机(拍摄部)，313…LED，331～334、341～345…功能显示，350…控制部，351…操作检测部，352…输出控制部，353…拍摄控制部，354…通信控制部，355…声音处理部，360…电源部，361…无线通信部，362…NFC部，365…话筒，366…按钮操作部，367…旋转检测部，368…九轴传感器，369…振动器，370…扬声器。

Claims (12)

1.一种显示系统，其特征在于，

具备：显示装置，其具有佩戴于使用者的头部，且透过外景地使上述使用者视觉确认的透射型显示部；以及操作设备，其与上述显示部独立地构成，

上述操作设备具备：

操作部，该操作部具有操作件，受理上述使用者对上述操作件的操作；

通信部，向上述显示部发送表示上述操作部受理的操作的数据，

上述显示装置具备根据上述操作设备的操作，通过上述显示部进行与透过上述显示部的上述外景相关的AR显示的控制部，

上述控制部能够执行与上述操作件的操作对应地分配上述显示装置执行的功能的设定处理、以及根据上述操作设备通过上述通信部发送来的数据来执行对上述操作件的操作分配的功能的处理，

上述设定处理中，在透过上述显示部的上述使用者的视野中的与上述操作设备对应的位置进行与对上述操作件的操作分配的功能相关的AR显示。

2.根据权利要求1所述的显示系统，其特征在于，

上述显示装置的上述控制部基于上述操作设备的操作，以与上述操作部相对应的方式，通过上述显示部进行与透过上述显示部的上述外景相关的AR显示。

3.根据权利要求1或者2所述的显示系统，其特征在于，

上述控制部基于从上述操作设备发送的数据检测上述操作部的操作，并与检测出的操作对应地变更在上述显示部显示中的上述AR显示。

4.根据权利要求1或者2所述的显示系统，其特征在于，

上述操作设备具备能够沿圆周方向旋转的上述操作件，并通过上述通信部发送包括上述操作件的旋转方向的操作数据，

上述显示装置的上述控制部使在上述设定处理中分配给上述操作件的功能的候选进行AR显示，按照从上述操作设备发送的操作数据表示的上述操作件的旋转来选择上述功能的候选。

5.根据权利要求4所述的显示系统，其特征在于，

上述显示装置的上述控制部按照从上述操作设备发送的操作数据表示的上述操作件的旋转来执行对上述显示部的显示进行放大、缩小、旋转、复制以及跳页的功能的至少任意一个，作为执行对上述操作件的操作分配的功能的处理。

6.根据权利要求1或者2所述的显示系统，其特征在于，

上述控制部能够设定针对上述操作部的上述AR显示的分配。

7.根据权利要求6所述的显示系统，其特征在于，

上述控制部能够执行更新针对上述操作部的上述AR显示的分配的处理。

8.根据权利要求1或者2所述的显示系统，其特征在于，

上述显示装置的上述控制部求解上述操作设备与上述显示装置的相对位置，并基于求出的相对位置在上述显示部进行AR显示。

9.根据权利要求1或者2所述的显示系统，其特征在于，

上述操作部具备检测接触操作的触摸操作部，

上述触摸操作部具有多个操作区域，

上述控制部通过上述显示部显示被分配给在上述触摸操作部被操作了的操作区域的上述AR显示。

10.根据权利要求1或者2所述的显示系统，其特征在于，

上述操作设备具备安装部，上述安装部固定于上述使用者的身体。

11.根据权利要求1或者2所述的显示系统，其特征在于，

上述操作设备具备拍摄部，并通过上述通信部将包含上述拍摄部的拍摄图像的数据发送给上述显示装置。

12.一种显示装置的控制方法，其特征在于，

使用操作设备来控制具有佩戴于使用者的头部的显示部的显示装置，该操作设备与上述显示部独立地构成，并具有操作件和通信部，该通信部向上述显示部发送表示上述操作件的操作的数据，在该显示装置的控制方法中，

通过上述操作设备的操作部来受理上述使用者对上述操作件的操作，并通过上述显示装置根据上述操作设备的操作，进行与透过上述显示部的外景相关的AR显示，

执行与上述操作件的操作对应地分配上述显示装置执行的功能的设定处理、以及根据上述操作设备通过上述通信部发送来的数据来执行对上述操作件的操作分配的功能的处理，

上述设定处理中，在透过上述显示部的上述使用者的视野中的与上述操作设备对应的位置进行与对上述操作件的操作分配的功能相关的AR显示。

Images