CN104714300A - 头戴型显示装置及其控制方法 - Google Patents

Abstract

本发明提供对多个检测部的检测结果分别进行不同控制的头戴型显示装置及其控制方法。该头戴型显示装置具备：操作部，其接受操作；第一检测部，其检测操作部的位置和朝向中的至少一个即操作部状态；图像显示部，其在被佩戴于使用者头部的状态下基于图像数据来形成图像光，并使使用者作为虚像观看图像光；第二检测部，其检测图像显示部的位置和朝向中的至少一个即显示部状态；和控制部，其针对头戴型显示装置基于检测到的操作部状态进行第一控制，并基于检测到的显示部状态进行与第一控制不同的第二控制。

Description

头戴型显示装置及其控制方法

技术领域

本发明涉及头戴型显示装置。

背景技术

已知在头部佩戴的显示装置即头戴型显示装置(头戴式显示器(HeadMounted Display)、HMD)。头戴型显示装置例如使用液晶显示器及光源来生成表现图像的图像光，并利用投影光学系统和/或导光板来将生成的图像光导向使用者的眼睛，从而令使用者观看虚像。作为用于控制头戴型显示装置的方法，已知通过按键和/或触摸垫所完成的操作以及由各传感器检测的使用者的头部的移动等。

在专利文献1中，公开了在操作部即遥控器中内置有陀螺传感器以根据陀螺传感器检测出的角速度来操作的头戴型显示装置。此外，在专利文献2中，公开了由多个游戏者体验同一游戏且使头戴型显示装置相对于游戏机的主体可装拆，从而易于进行头戴型显示装置的消毒的游戏机。

现有技术文献

专利文献

专利文献1：日本特开2011－82781号公报

专利文献2：日本特开5－305181号公报

发明内容

发明所要解决的问题

然而，在专利文献1所记载的头戴型显示装置中存在以下问题：虽然由内置于操作部的陀螺传感器能进行头戴型显示装置的操作，然而，不能搭载与内置于操作部的陀螺传感器不同的传感器、无法根据不同传感器的检测结果来进行与根据陀螺传感器检测到的角速度所进行的操作不同的操作。此外，存在以下问题：根据操作系统(以下也简称为“OS”)，不能对多个传感器的检测结果进行与各检测结果相对应的多个控制，若不改变OS自身则不能进行这些多个控制。

用于解决问题的技术方案

本发明是为解决上述问题的至少一部分而研制的，并能作为以下的形式来实现。

(1)根据本发明的一个方式，提供头戴型显示装置。该头戴型显示装置，具备：操作部，其接受操作；第一检测部，其检测所述操作部的位置和朝向中的至少一个即操作部状态；图像显示部，其在被佩戴于使用者头部的状态下基于图像数据形成图像光，使使用者作为虚像观看所述图像光；第二检测部，其检测所述图像显示部的位置和朝向中的至少一个即显示部状态；和控制部，其针对所述头戴型显示装置，基于检测到的所述操作部状态进行第一控制，并基于检测到的所述显示部状态进行与所述第一控制不同的第二控制。根据该方式的头戴型显示装置，能对多个检测部的检测结果进行与各检测结果相对应的多个控制。

(2)在上述方式的头戴型显示装置中，也可以：所述第一检测部配置于所述操作部，所述第二检测部配置于所述图像显示部。根据该方式的头戴型显示装置，能进行与由配置于操作部的第一检测部和配置于与操作部分体的图像显示部的第二检测部检测到的多个检测结果相对应的操作，因此对使用者而言操作并不复杂，使用者能凭感觉进行操作，使用者的方便性提高。

(3)在上述方式的头戴型显示装置中，也可以：所述第一检测部检测所述操作部的位置变化来作为所述操作部状态，所述第二检测部检测所述图像显示部的朝向变化来作为所述显示部状态。根据该方式的头戴型显示装置，能根据操作部的变化和使用者的视线方向的变化和/或头部的变化来进行多个操作，因此使用者能凭感觉进行操作，使用者的方便性提高。

(4)在上述方式的头戴型显示装置中，也可以：所述控制部排他性地进行所述第一控制和所述第二控制。根据该方式的头戴型显示装置，在由多个检测部分别处理多个检测结果的情况下，由控制部进行基于一个检测结果的控制，因此不需要改变不进行与多个检测结果相对应的控制的基本软件即操作系统(OS)的软件自身，能缩短头戴型显示装置的开发时间。

(5)在上述方式的头戴型显示装置中，也可以：所述控制部在检测到所述操作部的位置变化并且检测到所述显示部的朝向变化的情况下，进行所述第一控制和所述第二控制之一。根据该方式的头戴型显示装置，在由多个检测部分别处理多个检测结果的情况下，优先进行基于一个检测结果的控制，从而能降低头戴型显示装置的误工作。

(6)在上述方式的头戴型显示装置中，也可以：所述控制部分时地进行所述第一控制和所述第二控制。根据该方式的头戴型显示装置，尽管控制部针对多个检测部的检测结果、在特定的时刻仅进行与一个检测结果相对应的处理，但是关于处理的结果，仍连续地进行多个处理，从而能抑制特定时刻的控制部的处理的负担，能进行连续的输出处理。

(7)在上述方式的头戴型显示装置中，也可以：还具备拍摄外景的拍摄部，所述第二控制是基于所述图像显示部的朝向变化来改变所述拍摄部进行拍摄的方向的处理。根据该方式的头戴型显示装置，由图像显示部的朝向所确定的使用者的视线方向和拍摄部的拍摄方向相对应，因此能与使用者像要观看的方向相应地自然地改变拍摄方向，使用者的方便性提高。

(8)在上述方式的头戴型显示装置中，也可以：所述第一控制和所述第二控制中的至少一个是控制所述图像光的处理。根据该方式的头戴型显示装置，使用者观看的图像光与使用者的操作和/或状态变化相对应地变化，因此使用者的方便性提高。

上述的本发明的各方式所具有的多个构成要素并不是全部是必需的，为了解决上述问题的一部分或全部，或者为了达成本说明书所记载的效果的一部分或全部，能够适当地就所述多个构成要素的一部分构成要素进行变更、删除、与新构成要素的替换、删除限定内容的一部。另外，为了解决上述问题的一部分或全部，或者为了达成本说明书所记载的效果的一部分或全部，也可以将上述的本发明的一个方式所含的技术特征的一部分或全部与上述的本发明的其他方式所含的技术特征的一部分或全部组合，以作为本发明的独立的一个方式。

例如，本发明的一个方式也可以作为具备操作部、第一检测部、图像显示部、第二检测部和控制部这五个要素中的一个以上或全部要素的装置而实现。即、该装置既可以具有操作部，也可以不具有操作部。此外，装置既可以具有第一检测部，也可以不具有第一检测部。此外，装置既可以具有图像显示部，也可以不具有图像显示部。另外，装置既可以具有第二检测部，也可以不具有第二检测部。另外，装置既可以具有控制部，也可以不具有控制部。操作部例如也可以接受操作。第一检测部例如也可以检测操作部的位置和朝向中的至少一个即操作部状态。图像显示部例如也可以在被佩戴于使用者头部的状态下基于图像数据来形成图像光，并使使用者作为虚像观看图像光。第二检测部例如也可以检测图像显示部的位置和朝向中的至少一个即显示部状态。控制部例如也可以对头戴型显示装置、基于检测到的操作部状态进行第一控制并基于检测到的显示部状态进行与第一控制不同的第二控制。该装置例如能作为头戴型显示装置而实现，但是，也可以作为头戴型显示装置以外的其他装置而实现。根据该方式，能解决装置的操作性的提高及简易化、装置的一体化和/或使用装置的使用者的方便性的提高、等等各种问题的至少一个。上述头戴型显示装置的各方式的技术特征的一部分或全部皆能应用于任一个该装置。

本发明能以头戴型显示装置以外的各种方式而实现。例如，能以头戴型显示装置的控制方法、头戴型显示系统、用于实现头戴型显示系统的计算机程序、存储该计算机程序的记录介质、包括该计算机程序且在载波内具体化的数据信号等形式而实现。

附图说明

图1是表示使用本发明的实施方式的头戴型显示装置100的遥控操作系统500的概要构成的说明图。

图2是表示头戴型显示装置100的外观构成的说明图。

图3是按功能表示头戴型显示装置100的构成的框图。

图4是表示由图像光生成部出射图像光的状况的说明图。

图5是表示遥控车300的外观构成的说明图。

图6是表示遥控操作处理的流程的说明图。

图7是表示在遥控操作处理中使用者US观看到的视野VR的一例的说明图。

图8是表示因使用者US的操作而变化的控制部10的角速度的一例的说明图。

图9是表示在遥控操作处理中使用者US观看到的视野VR的一例的说明图。

图10是表示分时进行的处理中的时间和处理的关系的说明图。

图11是表示变形例的头戴型显示装置的外观构成的说明图。

附图标记说明：

9 陀螺传感器(第一检测部)        10 控制部    11 确定键

12 点亮部      13 显示切换键    14 触摸垫

15 辉度切换键   16 方向键       17 菜单键    18 电源开关

20 图像显示部(图像显示部)       21 右保持部  22 右显示驱动部

23 左保持部   24 左显示驱动部   26 右光学像显示部

28 左光学像显示部   30 耳机插塞   32 右耳机

34 左耳机   40 连接部  42 右软线   44 左软线

46 连结部件    48 主体软线  51、52 发送部   53、54 接收部

66 10轴传感器(第二检测部)    100 头戴型显示装置

120 存储部   130 电源    132 通信部   135 操作部

140 CPU    150 OS(控制部)    160 图像处理部(控制部)

165 API(控制部)   167 10轴传感器(第二检测部)

168 输入处理部(第一检测部)    170 声音处理部

180 接口    190 显示控制部     201 右背光源控制部

202 左背光源控制部    211 右LCD控制部    212 左LCD控制部

221 右背光源   222 左背光源    241 右LCD    242 左LCD

251 右投影光学系统    252 左投影光学系统

261 右导光板   262 左导光板   300 遥控车

305 通信部   310 主体部   340 连接件   360 相机(拍摄部)

500 遥控操作系统    VSync 垂直同步信号

HSync 水平同步信号    PCLK 时钟信号    USB接口…微型

201 右BL控制部     221 右BL    202 左BL控制部

222 左BL     t0、t1、t2、t3 时间    TC、TT 期间

VR 视野     US 使用者    RD、RC1、RC2、RN1、RN2 轨道

VI1、VI2 拍摄图像     HD 右手    RE 右眼    LE 左眼

IL 照明光    PL 图像光    OL 轴

EL、ER 端部    AP 前端部

具体实施方式

接着，基于实施方式以下面的顺序说明本发明的实施方式。

A.实施方式：

A-1.遥控操作系统的构成：

A-2.头戴型显示装置的构成：

A-3.遥控车的构成：

A-4.遥控操作处理：

B.变形例：

A.实施方式：

A-1.遥控操作系统的构成：

图1是表示使用本发明的实施方式的头戴型显示装置100的遥控操作系统500的概要构成的说明图。在图1所示的遥控操作系统中，头戴型显示装置100的使用者US通过操作头戴型显示装置100，而能遥控操作遥控车(radio control car)300。对于头戴型显示装置100及遥控车300的构成的详情在后面叙述，但是，通过在头戴型显示装置100内置的通信部和在遥控车300内置的通信部，而在头戴型显示装置100和遥控车300之间发送接收控制信号，从而使用者能遥控操作遥控车300。再有，在本实施方式中，遥控车300采用与头戴型显示装置100不同的装置，但是，也可以遥控操作头戴型显示装置100的装置的一部分来代替遥控车300。

A-2.头戴型显示装置的构成：

图2是表示头戴型显示装置100的外观构成的说明图。头戴型显示装置100是在头部佩戴的显示装置，也被称为头戴式显示器(Head MountedDisplay、HMD)。本实施方式的头戴型显示装置100是使用者US在观看虚像的同时也能直接观看外景的光学透射型的头戴型显示装置。再有，在本说明书中，也将使用者US通过头戴型显示装置100观看的虚像简称为“显示图像”。此外，也将出射基于图像数据而生成的图像光称为“显示图像”。

头戴型显示装置100具备：在被佩戴于使用者US头部的状态下令使用者US观看虚像的图像显示部20；和控制图像显示部20的控制部10(控制器10)。

图像显示部20是在使用者US的头部佩戴的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包括右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28和作为姿势传感器的10轴传感器66。右光学像显示部26及左光学像显示部28分别配置成，在使用者US佩戴图像显示部20时位于使用者US的右眼前及左眼前。右光学像显示部26的一端和左光学像显示部28的一端在与使用者US佩戴了图像显示部20时的使用者US的眉间相对应的位置相互连接。

右保持部21是设置成从右光学像显示部26的另一端即端部ER延伸设置到与使用者US佩戴了图像显示部20时的使用者US的侧头部相对应的位置的部件。同样地，左保持部23是设置成从左光学像显示部28的另一端即端部EL延伸设置到与使用者US佩戴了图像显示部20时的使用者US的侧头部相对应的位置的部件。右保持部21及左保持部23像眼镜的镜腿(眼镜脚)那样将图像显示部20保持于使用者US的头部。

右显示驱动部22和左显示驱动部24配置于与使用者US佩戴了图像显示部20时的使用者US的头部相对的一侧。再有，下面，也将右保持部21及左保持部23笼统地简称为“保持部”，将右显示驱动部22及左显示驱动部24笼统地简称为“显示驱动部”，将右光学像显示部26及左光学像显示部28笼统地简称为“光学像显示部”。

显示驱动部22、24包括液晶显示器241、242(Liquid Crystal Display，以下也称为“LCD241、242”)和投影光学系统251、252等(参照图3)。显示驱动部22、24的构成的详情在后面叙述。作为光学部件的光学像显示部26、28包括导光板261、262(参照图3)和调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部22、24输出的图像光导向使用者US的眼睛。调光板是薄板状的光学元件，配置成覆盖图像显示部20的表侧即与使用者US的眼睛侧相反的一侧。调光板保护导光板261、262，抑制导光板261、262损伤和/或污物附着等。此外，通过调整调光板的透光率，能调整进入使用者US的眼睛的外光量以调整虚像的观看的容易度。再有，调光板可以省略。

作为姿势传感器的10轴传感器66检测加速度(3轴)、角速度(3轴)、地磁场(3轴)及气压(1轴)的传感器。10轴传感器66内置在图像显示部20的显示驱动部22附近，在图像显示部20被佩戴于使用者US的头部时，检测使用者US的头部的移动和/或位置(以下也简称为“图像显示部20的状态”)。10轴传感器66能检测例如使用者US脖子纵向运动那样的沿轨道RN1的移动和使用者脖子横向运动那样的沿轨道RN2的移动。

图像显示部20还具有用于将图像显示部20连接于控制部10的连接部40。连接部40包括连接于控制部10的主体软线48、右软线42、左软线44和连结部件46。右软线42和左软线44是主体软线48分支成两根而成的线。右软线42从右保持部21的延伸方向的前端部AP插入右保持部21的壳体内，并连接于右显示驱动部22。同样地，左软线44从左保持部23的延伸方向的前端部AP插入左保持部23的壳体内，并连接于左显示驱动部24。连结部件46设置于主体软线48和右软线42及左软线44的分支点，并具有用于连接耳机插塞30的塞孔。从耳机插塞30延伸出右耳机32及左耳机34。

图像显示部20与控制部10经由控制部40进行各种信号的传输。在主体软线48中的与连结部件46相反侧的端部与控制部10，分别设有相互嵌合的连接器(未图示)。通过主体软线48的连接器与控制部10的连接器的嵌合/嵌合解除，控制部10与图像显示部20或连接或分离。右软线42、左软线44和主体软线48能够采用例如金属电缆和/或光纤。

控制部10是用于控制头戴型显示装置100的装置。控制部10包括确定键11、点亮部12、显示切换键13、触摸垫14、辉度切换键15、方向键16、菜单键17、电源开关18以及陀螺传感器9，该陀螺传感器9作为检测控制部10的位置和/或位置变化的传感器。确定键11检测按下操作以输出确定由控制部10操作的内容的信号。点亮部12通过其发光状态来通知头戴型显示装置100的工作状态。作为头戴型显示装置100的工作状态，例如有电源的ON/OFF等。作为点亮部12例如使用LED(发光二极管)。显示切换键13检测按下操作而输出例如将内容动画的显示模式切换为3D和2D的信号。触摸垫14检测使用者的手指在触摸垫14的操作面上的操作而输出与检测内容相应的信号。作为触摸垫14能够采用静电式和/或压力检测式、光学式之类的各种触摸垫。辉度切换键15检测按下操作而输出使图像显示部20的辉度增减的信号。方向键16检测对与上下左右方向相对应的键的按下操作以输出与检测内容相应的信号。电源开关18通过检测开关的滑动操作来切换头戴型显示装置100的电源接通状态。陀螺传感器9检测控制部10的角度及角速度。即、陀螺传感器9检测控制部10的位置变化。因此，陀螺传感器9检测控制部10的朝向变化和/或使控制部10移动的情况下的控制部10的位置变化。再有，由陀螺传感器9检测到的控制部10的角度及角速度与技术方案中的操作部相应。

图3是按功能表示头戴型显示装置100的构成的框图。如图3所示，控制部10具有通信部132、存储部120、电源130、操作部135、CPU140、接口180、发送部51(Tx51)及发送部52(Tx52)。操作部135接受使用者US所进行的操作，其构成包括确定键11、显示切换键13、触摸垫14、辉度切换键15、方向键16、菜单键17、电源开关18以及陀螺传感器9。

通信部132通过无线通信向遥控车300的通信部发送信号，并且接收来自遥控车300的信号。在本实施方式中，通信部132使用无线电波与遥控车300进行无线通信，但是，在其他实施方式中，也可以通过红外线和/或激光等光或者超声波等声音来进行无线通信。此外，也可以根据无线LAN和/或蓝牙之类的预定的无线通信基准来进行无线通信。

电源130向头戴型显示装置100的各部分供给电力。作为电源130能够使用例如二次电池。存储部120存储有各种计算机程序。存储部120包括ROM和RAM等。CPU140通过读出存储部120中存储的计算机程序并执行而作为操作系统150(OS150)、显示控制部190、声音控制部170、10轴传感器处理部167、输入处理部168、应用接口165(API165)及图像处理部160发挥作用。

在本实施方式中使用的OS150是安卓(Android(注册商标))。在安卓系统中，不能与从多个传感器检测到各检测结果分别相对应地进行多个控制。再有，在本实施方式中，作为OS150使用安卓系统，但是，在其他实施方式中也可以使用其他的OS。

显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体地，显示控制部190通过控制信号独立地控制由右LCD控制部211实现的右LCD241的驱动ON/OFF、由右背光源控制部201实现的右背光源221的驱动ON/OFF、由左LCD控制部212实现的左LCD242的驱动ON/OFF、由左背光源控制部202实现的左背光源222的驱动ON/OFF等。由此，显示控制部190控制由右显示驱动部22及左显示驱动部24分别形成的图像光的生成及出射。例如，显示控制部190使右显示驱动部22及左显示驱动部24这两方都生成图像光，或者仅使一方生成图像光，或使两方都不生成图像光。显示控制部190经由发送部51及52分别发送针对右LCD控制部211和左LCD控制部212的控制信号。此外，显示控制部190分别发送针对右背光源控制部201和左背光源控制部202的控制信号。

声音处理部170获取内容所含的声音信号，并对获取到的声音信号进行放大，并对连接于连结部件46的右耳机32内的扬声器(未图示)及左耳机34内的扬声器(未图示)供给。再有，例如，在采用Dolby(注册商标)系统的情况下，进行针对声音信号的处理，从右耳机32及左耳机34分别输出例如频率等改变后的不同声音。

10轴传感器处理部167基于由10轴传感器66检测到的图像显示部20的朝向来确定使用者US的视线方向。10轴传感器处理部167经由通信部132向遥控车300发送基于特定的视线方向改变形成于遥控车300的相机的角度的信号。再有，对于遥控车300的相机的详情在后面叙述。10轴传感器处理部167及10轴传感器66与技术方案中的第二检测部相应，检测到的图像显示部20的朝向与技术方案中的显示部状态相应。

输入处理部168获取操作部125接受的操作和由陀螺传感器9检测到的控制部10的角度及角速度，并进行各种处理，然后，向API165发送基于处理的信号。作为操作部125所接受的操作，有针对触摸垫14、方向键16、电源开关18的输入操作。输入处理部168向API165发送与由针对操作部135的输入操作和控制部10的角速度所确定的遥控车300的行进及行进方向的操作(以下也简称为“行进操作”)相关的信号。再有，对于基于输入处理部168的处理的遥控车300的行进操作的详情在后面叙述。还有，陀螺传感器9及输入处理部168与技术方案中的第一检测部相应。

API165接收从10轴传感器处理部167发送的改变遥控车300的相机的角度的信号和从输入处理部168发送的与遥控车300的行进操作相关的信号。在本实施方式中，API165在接收改变遥控车300的相机的角度的信号并且接收与遥控车300的行进操作相关的信号的情况下，优先进行基于与遥控车300的行进操作相关的信号的处理，并且不进行基于改变相机的角度的信号的处理。即、在本实施方式的头戴型显示装置100中，排他性地进行基于陀螺传感器9的检测结果的处理和基于10轴传感器处理部167的检测结果的处理。再有，作为排他性地进行指不同时进行。此外，API165接收基于遥控车300的相机拍摄的外景图像的图像信号而向OS150发送图像信号。再有，OS150、API165及图像处理部160与技术方案中的控制部相应。

图像处理部160获取内容所含的图像信号。图像处理部160从获取到的图像信号中分离出垂直同步信号VSync和/或水平同步信号HSync等同步信号。此外，图像处理部160与分离出的垂直同步信号VSync和/或水平同步信号HSync的周期相应地利用PLL(Phase Locked Loop，锁相环)电路等(未图示)生成时钟信号PCLK。图像处理部160使用A/D转换电路(未图示)将分离了同步信号的逻辑图像信号转换为数字图像信号。然后，图像处理部160将转换后的数字图像信号作为对象图像的图像数据(RGB数据)按每1帧存储于存储部120内的DRAM。再有，图像处理部160也可以根据需要对图像数据执行分辨率转换处理、灰度、彩度的调整之类的各种色调校正处理、梯形失真校正处理等图像处理。

图像处理部160经由发送部51、52分别发送：生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、存储于存储部120内的DRAM的图像数据。再有，也将经由发送部51发送的图像数据称为“右眼用图像数据”，也将经由发送部52发送的图像数据称为“左眼用图像数据”。发送部51、52作为用于控制部10与图像显示部20之间的串行传输的收发器发挥作用。

此外，图像处理部160经由OS150接收从遥控车300发送的图像信号，并基于图像信号使图像显示部20显示遥控车300的相机拍摄到的外景图像。

接口180是用于对控制部10连接成为内容的供给源的各种外部设备OA的接口。作为外部设备OA例如有个人计算机(PC)和/或便携式电话机终端、游戏终端等。作为接口180能够使用例如USB接口、微型USB接口、存储卡用接口等。

图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262和10轴传感器66。

右显示驱动部22包括接收部53(Rx53)、作为光源发挥作用的右背光源控制部201(右BL控制部201)及右背光源221(右BL221)、作为显示元件发挥作用的右LCD控制部211及右LCD241、和右投影光学系统251。右背光源控制部201及右背光源221作为光源发挥作用。右LCD控制部211及右LCD241作为显示元件发挥作用。再有，也将右背光源控制部201、右背光源221、右LCD控制部211及右LCD241笼统地称为“图像光生成部”。

接收部53作为用于控制部10与图像显示部20之间的串行传输的接收器发挥作用。右背光源控制部201基于所输入的控制信号来驱动右背光源221。右背光源221是例如LED和/或电致发光(EL)等发光体。右LCD控制部211基于经由接收部53所输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync和右眼用图像数据，来驱动右LCD241。右LCD241是多个像素配置成矩阵状的透射型液晶面板。

右投影光学系统251包括使从右LCD241出射的图像光成为并行状态的光束的准直透镜。作为右光学像显示部26的右导光板261一边使从右投影光学系统251输出的图像光沿预定光路反射一边将其导向使用者US的右眼RE。再有，也将右投影光学系统251和右导光板261统称为“导光部”。

左显示驱动部24具有与右显示驱动部22相同的构成。左显示驱动部24包括接收部54(Rx54)、作为光源发挥作用的左背光源控制部202(左BL控制部202)及左背光源222(左BL222)、作为显示元件发挥作用的左LCD控制部212及左LCD242、和左投影光学系统252。左背光源控制部202与左背光源222作为光源发挥作用。左LCD控制部212与左LCD242作为显示元件发挥作用。再有，也将左背光源控制部202、左LCD控制部212、左背光源222及左LCD242统称为“图像光生成部”。此外，左投影光学系统252包括使从左LCD242出射的图像光成为并行状态的光束的准直透镜。作为左光学像显示部28的左导光板262一边使从左投影光学系统252输出的图像光沿预定光路反射一边将其导向使用者US的左眼LE。再有，也将左投影光学系统252与左导光板262统称为“导光部”。

图4是表示由图像光生成部出射图像光的状况的说明图。右LCD241通过驱动配置成矩阵状的各像素位置的液晶而使透射右LCD241的光的透射率变化，从而将从右LCD241照射的照明光IL向表现图像的有效图像光PL调制。对于左侧也使一样。再有，如图4所示，在本实施方式中采用背光源方式，但是，也也可以构成为使用前光源方式和/或反射方式来出射图像光。

A-3.遥控车的构成：

图5是表示遥控车300的外观构成的说明图。如图5所示，遥控车300具有主体部310、相机360、将主体部310与相机360连接的连接件340、和与头戴型显示装置100的通信部132进行无线通信的通信部305。主体部310具备电池，并基于通信部305接收的信号而行驶。此外，如图5所示，主体部310具备轮胎，通过操作部135接受到的行进操作来使遥控车300行进。再有，本实施方式中的行进包括前进及后退，指遥控车300为停止状态以外的状态。主体部310与陀螺传感器9检测到的控制部10的角速度相应地改变前轮的朝向，从而改变遥控车300的行进方向。相机360拍摄遥控车300的正面方向的外景并获取外景图像。在本实施方式中，相机360是单眼相机，但是，在其他实施方式中，也可以是立体相机。此外，对于相机360拍摄的方向(以下也称为“拍摄方向”)，不限于行进方向，也可以进行各种变形。相机360与技术方案中的拍摄部对应。

连接件340将主体部310与相机360连接，并能够在一定范围内改变主体部310与相机360的相对角度。即、相机360能拍摄遥控车300的正面方向以外的外景。连接件340与经由通信部305接收的使用者US的视线方向相对应地使相机360的拍摄方向沿轨道RC1及轨道RC2改变。通信部305接收从头戴型显示装置100的通信部132发送的控制相机360的拍摄方向和遥控车300的行进操作的信号。此外，通信部305将相机360拍摄到的外景图像作为图像信号向头戴型显示装置100的通信部132发送。

A-4.遥控操作处理：

图6是表示遥控操作处理的流程的说明图。遥控操作处理是基于操作部135接受的行进操作和由10轴传感器66及10轴传感器处理部167所确定的使用者US的视线方向来遥控操作遥控车300、且遥控车300的相机360拍摄外景图像的处理。图6中，表示了在遥控操作处理中在头戴型显示装置100以及遥控车300的启动后所进行的处理的流程。

在遥控操作处理中，首先，陀螺传感器9及输入处理部168获取控制部10的位置作为初始值，10轴传感器66及10轴传感器处理部167获取图像显示部20的方向作为初始值(步骤S11)。输入处理部168及10轴传感器处理部167基于相对于获取到的初始值的变化来进行各种处理。若获取到初始值，则遥控车300的相机360开始外景的拍摄，图像处理部160使拍摄到的外景图像在图像显示部20显示(步骤S12)。在拍摄开始时，相机360的朝向朝着行进方向也朝着水平方向。

图7是表示在遥控操作处理中使用者US观看的视野VR的一例的说明图。如图7所示，在本实施方式中，在使用者US的视线的中心部分观看由相机360拍摄到的拍摄图像VI1。使用者US在拍摄图像VI1的部分以外透过光学像显示部26、28观看作为实像的外景。

在图6的步骤S12的处理后，输入处理部168监视操作部136接受的行进操作(步骤S13)。在本实施方式中，在遥控操作遥控车300的模式中，在操作部135的确定键11被按下的情况下，遥控车300前进，在操作部135的辉度切换键15被按下的情况下，遥控车300后退。在确定键11和辉度切换键15中任一个都没有被按下的情况下，遥控车300为停止的状态。若操作部135以及输入处理部168检测到按下确定键11或辉度切换键15的按键操作(步骤S13：是)，则API165使遥控车300前进或后退(步骤S14)。

在步骤S14的处理后、或者在步骤S13的处理中没有检测到行进操作的情况下(步骤S13：否)，陀螺传感器9及输入处理部168监视控制部10的角速度的检测(步骤S15)。若检测到控制部10的角速度(步骤S15：是)，则API165改变遥控车300的前轮的朝向(步骤S16)。

图8是表示因使用者US的操作而变化的控制部10的角速度的一例的说明图。在图8中，表示了用使用者US的右手HD保持控制部10且确定键11和辉度切换键15中任一个都没有被按下的状态。陀螺传感器9检测沿以与控制部10的操作面垂直的轴OL为中心的圆周方向的轨道RD的角速度。例如，在检测到沿轨道RD的顺时针方向的控制部10的角速度的情况下，API165使陀螺传感器300的前轮相对于行进方向右方倾斜。在该情况下，遥控车300多的行进方向向右方改变。输入处理部168与由陀螺传感器9检测到的角速度的大小相应地确定改变前轮的倾斜的量，将确定了的改变的量的信号向API165发送。如上所述，根据检测到的沿轨道RD的控制部10的角速度来改变遥控车300的朝向，因此使用者US能够通过像操作汽车的方向盘那样操作控制部10来确定遥控车300的行进方向。

在图6的步骤S15的处理中没有检测到控制部10的角速度的情况下(步骤S15：否)，10轴传感器66及10轴传感器处理部167检测使用者US的视线方向的变化(步骤S17)。在检测到视线方向有变化的情况下(步骤S17：是)，API165与使用者US的视线方向的变化相应地改变遥控车300的相机360的拍摄方向(步骤S18)。API165使相机360的拍摄方向沿轨道RC1及轨道RC2(图5)改变以分别与沿轨道RN1及轨道RN2(图2)的使用者US的头部移动相对应。若遥控车300的位置和/或相机360的拍摄方向变化，则显示于图像显示部20的显示图像也变化。

图9是表示在遥控操作处理中使用者US观看的视野VR的一例的说明图。在图9中，表示了通过相对于使用者US的视线方向为初始值的状态、使用者US的脖子沿轨道RN1移动而令使用者US的视线方向变为向上的情况下、使用者US观看的视野VR。如图9所示，使用者US观看由相机360拍摄的拍摄方向改变后的外景图像作为显示图像VI2。显示图像VI2是比拍摄图像VI1相对于水平方向靠上侧的外景图像，作为显示图像的大小与拍摄图像VI1相同。此外，使用者US在显示图像VI2以外的部分观看透过光学像显示部26、28的外景、作为实像。再有，与图7所示的视野VR相比，使用者US的视线方向朝向上侧，因此在图9所示的视野VR中由使用者US透视所观看的外景是与图7所示的外景相比相对于水平方向靠上侧的外景。

在图6的步骤S16或步骤S18后、或者在步骤S17的处理中没有检测到视线方向有变化的情况下(步骤S17：否)，操作部135监视结束遥控操作处理的预定操作的接受(步骤S19)。在没有接受到结束遥控操作处理的操作的情况下(步骤S19：否)，控制部10反复进行步骤S13以后的处理。在接受到了结束遥控操作处理的操作的情况下(步骤S19：是)，控制部10结束遥控操作处理。如以上的遥控操作处理所示，若由陀螺传感器9检测到控制部10的角速度，则无论是否由10轴传感器66检测到使用者US的视线方向的变化，API165都改变遥控车300的前轮的朝向。再有，基于陀螺传感器9的检测结果的处理与技术方案中的第一控制相应，基于10轴传感器处理部167的检测结果的处理与技术方案中的第二控制相应。

如上所述，在使用本实施方式的头戴型显示装置100的遥控操作系统500中，陀螺传感器9及输入处理部168检测操作部135所形成的控制部10的状态即角速度。此外，10轴传感器66及10轴传感器处理部167确定图像显示部20的状态即朝向，API165、OS150及图像处理部160与确定了的图像显示部20的朝向相对应地改变遥控车300的相机360的方向，使由相机360拍摄到的外景图像显示于图像显示部20。因此，在本实施方式的遥控操作系统500中，能对多个传感器的检测结果进行与各检测结果相对应的多个控制。

此外，在本实施方式的遥控操作系统500中，内置于图像显示部20的10轴传感器66及10轴传感器处理部167检测图像显示部20的朝向变化，形成于控制部10的陀螺传感器9及输入处理部168检测控制部10的位置变化即角速度。因此，在本实施方式的遥控操作系统500中，进行与通过使用者US的视线方向和控制部10的移动所检测到的多个检测结果相对应的操作，因此对于使用者US而言操作并不复杂，使用者US能够凭感觉进行操作，使用者的方便性提高。

此外，在本实施方式的遥控操作系统500中，API165在同时接收到基于陀螺传感器9的检测结果的信号和基于10轴传感器66的检测结果的信号的情况下，排他性地进行基于信号的两个处理。因此，在本实施方式的遥控操作系统500中，在由多个传感器分别处理多个检测结果的情况下，两个处理不同时进行，而由OS150进行基于一个检测结果的处理，因此不需要改变OS150的软件自身，能缩短头戴型显示装置100及遥控操作系统500的开发时间。

此外，在本实施方式的遥控操作系统500中，API165在同时接收到基于陀螺传感器9的检测结果的信号和基于10轴传感器66的检测结果的信号的情况下，优先进行基于与遥控车300的行进操作相关的信号的处理，而不进行基于改变相机的角度的信号的处理。因此，在本实施方式的遥控操作系统500中，通过优先进行基于一个检测结果的处理，能降低头戴型显示装置100和/或遥控车300的误工作。

在本实施方式的遥控操作系统500中，遥控车300的相机360拍摄外景，拍摄方向与图像显示部20的朝向相应地改变。因此，在本实施方式的遥控操作系统500中，使用者US的视线方向与相机360的拍摄方向相对应，因此能与使用者US想要观看的方向相应地自然地改变拍摄方向，使用者US的方便性提高。

此外，在本实施方式的遥控操作系统500中，与使用者US的视线方向的变化相应地，如图7及图9所示，在图像显示部20显示的拍摄图像VI1及显示图像VI2是不同的外景图像。因此，在本实施方式的遥控操作系统500中，与使用者US的操作和/或状态变化相对应地使显示图像变化，因此使用者的方便性提高。

B.变形例：

再有，本发明不限于上述实施方式，在不脱离其主旨的范围内能以各种方式来实施，例如，也可以进行以下那样的变形。

B1.变形例1：

在上述实施方式中，在检测到使用者US的视线方向的变化并且检测到控制部10的角速度的情况下，API165优先进行基于控制部10的角速度的处理，但是，对于由API165进行的处理，不限于此，也可以进行各种变形。例如，既可以由API165优先进行基于视线方向的变化的处理，也可以根据操作部135接受的操作由使用者US来决定哪个处理优先。

此外，基于视线方向的变化的处理和基于控制部10的角速度的处理也可以分时进行。图10是表示分时进行的处理中的时间与处理的关系的说明图。如图10所示，API165将处理时间分割为期间TT，并交替进行基于从输入处理部168发送的与行进操作相关的信号(以下也称为“输入处理”)和从10轴传感器处理部67发送的与图像显示部20的朝向相关的信号(以下也称为“10轴传感器处理”)的处理。例如，如图10所示，在从时间t0到时间t1的期间TT进行输入处理，在从时间t1到时间t2的期间TT进行10轴传感器处理，在从时间t2到时间t3的期间TT再次进行输入处理。API165在期间TT中向遥控车300发送在期间TT的2倍长的期间TC所进行的处理的信号。具体而言，在从时间t0到时间t1的期间TT中，发送在从时间t0到时间t2的期间TC与遥控车300进行的行进操作相关的处理的信号，在从时间t1到时间t2的期间TT，发送与遥控车300的相机360进行的拍摄方向的改变相关的处理的信号。因此，关于遥控车300，行进操作和拍摄方向的改变的处理与API165的处理不同，是连续进行的。在使用该变形例的头戴型显示装置100的遥控操作系统500中，尽管API165针对多个传感器的检测结果、在特定时刻仅进行与一个检测结果对应的处理，但是对于处理的结果，仍连续地进行多个处理，因此，能抑制特定时刻的API165的处理的负担，而且能进行遥控车300中的连续处理。

在图10的例子中，输入处理和10轴传感器处理在期间TT交替进行，但是，既可以不一定是在相同期间TT，也可以不是交替的，对于进行输入处理和10轴传感器处理的定时也可以进行各种变形。例如，在一个处理中，也可以采用比期间TT长的期间。此外，输入处理和10轴传感器处理也可以不交替进行，而在3个期间TT内的一个内进行输入处理、在剩余的两个内进行10轴传感器处理。此外，对于期间TT和/或期间TC的设定，既可以因处理的种类而不同，也可以通过使用者US的操作而自由设定。此外，对于期间TT与期间TC的关系，能进行各种变形。例如，期间TT与期间TC既可以是相同长度的期间，期间TC也可以是比期间TT的2倍还长的期间。期间TC和期间TT既可以因处理的种类不同而不同，也可以通过使用者US的操作来自由设定。

B2.变形例2：

在上述实施方式中，内置于图像显示部20的作为姿势传感器的10轴传感器66检测图像显示部20的状态，控制部10所含的作为检测控制部10的位置和/或位置变化的传感器的陀螺传感器9获取作用于控制部10的加速度，但是，对于各传感器的方式也可以进行各种变形。例如，也可以通过设置在不同于控制部10和图像显示部20的部分的相机，检测控制部10的朝向及图像显示部20的位置变化，并基于该检测结果来控制图像显示部20的显示图像。此外，作为姿势传感器和/或、检测控制部10的位置和/或位置变化的传感器，也可以使用陀螺传感器、加速度传感器、地磁场传感器及气压传感器等。

此外，也可以在控制部10中与陀螺传感器9不同地内置10轴传感器以代替内置于图像显示部20的10轴传感器66。例如，也可以将向触摸垫14的输入由陀螺传感器9及输入处理部168转换并输出，并根据内置于控制部10的10轴传感器检测到的加速度的变化，使遥控车300的行进操作和/或相机360的拍摄方向改变。

此外，在上述实施方式中，根据控制部10的角速度和/或使用者US的视线方向，进行了遥控车300的行进操作和相机360的拍摄方向的改变，但是，对于根据各种传感器的检测结果所控制的内容，也可以进行各种变形。例如，也可以与各种传感器的检测结果相应地，改变显示于图像显示部20的显示图像的显示位置、大小及显示图像的种类等。此外，作为根据检测结果所控制的内容，既可以由声音处理部170及耳机32、34输出声音，又可以由控制部10使图像显示部20振动。此外，也可以根据传感器的检测结果，设定附属于个人计算机的鼠标的移动灵敏度和/或鼠标上的键的分配等。此外，也可以根据传感器的检测结果，设定用于操作显示于图像显示部20的动画内容和/或游戏那样的应用的各种指令的分配。

此外，各种传感器的检测结果的组合也可以根据预定的操作和/或10轴传感器66的检测结果来设定。此外，作为遥控车300的操作，例如也可以：在控制部10内置加速度传感器，基于控制部10沿重力方向的加速度来设定遥控车300的行进速度，基于控制部10沿与重力方向垂直的水平方向的角速度来改变遥控车300的前轮的朝向。此外，例如，在10轴传感器66检测到阈值以上的角速度的情况下，判断为使用者US不是想观看拍摄图像而是想观看透射的外景，既可以使显示拍摄图像的区域变小，也可以使拍摄图像变为非显示。此外，也可以根据各种传感器的检测结果的组合来确定要控制的内容。例如，也可以根据陀螺传感器9检测到的角速度而将遥控车300的行进速度和/或行进方向调整得较大，并与10轴传感器66检测到的角速度相应地进行微调整。

B3.变形例3：

在上述实施方式中，在控制部10形成有操作部135，但是关于操作部135的形态也可以进行各种变形。例如，也可以是与控制部10分体且具有作为操作部135的用户接口的方式。在该情况下，操作部135与形成有电源130等的控制部10分体，因此能小型化并提高使用者US的操作性。

例如，图像光生成部也可以构成为具备有机EL(有机电致发光、Organic Electro-Luminescence)的显示器和有机EL控制部。此外，例如，图像生成部也可以使用LCOS(Liquid Crystal on Silicon，液晶附硅，LCoS是注册商标)和/或数字微镜器件等。此外，例如，也能对激光网膜投影型的头戴型显示装置100应用本发明。

此外，例如，头戴型显示装置100也可以是光学像显示部仅覆盖使用者US眼睛的一部分的方式、换言之就是光学像显示部不完全覆盖使用者US的眼睛的方式的头戴式显示器。另外，头戴型显示装置100也可以是所谓的单眼型头戴式显示器。此外，头戴型显示装置100为双眼型的光学透射型，但是，本发明也能够同样地应用于例如拍摄透射型之类的其他形式的头戴型显示装置。

此外，耳机既可以采用耳挂型和/或头戴型，也可以省略。此外，例如，也可以构成为搭载于汽车和/或飞机等的车辆的头戴型显示装置。另外，例如，也可以构成为内置于头盔等的身体防护具的头戴型显示装置。

B4.变形例4：

上述实施方式的头戴型显示装置100的构成仅仅是一例，可以进行各种变形。例如，也可以省略在控制部10设置的方向键16和触摸垫14之一，或者，取代方向键16和触摸垫14而设置操作杆等其他的操作用接口或者一并设置操作杆等其他的操作用接口。另外，控制部10是能够连接键盘和/或鼠标等输入器件的构成，也可以采用从键盘和/或鼠标接受输入的构成。

此外，作为图像显示部，也可以采用例如如帽子那样佩戴的图像显示部之类的其他方式的图像显示部以代替如眼镜那样佩戴的图像显示部。另外，耳机32、34也可以适当省略。此外，在上述实施方式中，作为生成图像光的构成使用LCD和光源，但是，也可以采用有机EL显示器之类的其他显示元件来代替这些部件。此外，在上述实施方式中，使用10轴传感器66来作为检测使用者US的头的移动的传感器，但是，也可以使用包括加速度传感器、角速度传感器、地磁场传感器及气压传感器中的一个以上的传感器。

图11是表示变形例的头戴型显示装置的外观构成的说明图。图11(A)的例子的情况下，与图2所示的头戴型显示装置100的不同点是：图像显示部20a具备右光学像显示部26a来代替右光学像显示部26这一点以及具备左光学像显示部28a来代替左光学像显示部28这一点。右光学像显示部26a形成得比上述实施方式的光学部件小，并配置于头戴型显示装置100a的佩戴时的使用者US的右眼的斜上方。同样地，左光学像显示部28b形成得比上述实施方式的光学部件小，并配置于头戴型显示装置100a的佩戴时的使用者US的左眼的斜上方。图11(B)的例子的情况下，与图2所示的头戴型显示装置100的不同点是：图像显示部20b具备右光学像显示部26b来代替右光学像显示部26这一点以及具备左光学像显示部28b来代替左光学像显示部28这一点。右光学像显示部26b形成得比上述实施方式的光学部件小，并配置于头戴型显示装置的佩戴时的使用者US的右眼的斜下方。同样地，左光学像显示部28b形成得比上述实施方式的光学部件小，并配置于头戴型显示装置的佩戴时的使用者US的左眼的斜下方。这样，光学像显示部只要配置于使用者US的眼睛的附近足矣。此外，形成光学像显示部的光学部件的大小也是任意的，也能作为光学像显示部仅覆盖使用者US的眼睛的一部分的方式，换言之为光学像显示部不完全覆盖使用者US的眼睛的方式的头戴式显示器100而实现。

此外，在上述实施方式中，头戴型显示装置100既可以将表现相同图像的图像光导向使用者US的左眼和右眼以使使用者US观看二维图像，也可以将表现不同图像的图像光导向使用者US的左眼和右以使使用者US观看三维图像。

此外，在上述实施方式中，既可以将由硬件实现的构成的一部分替换为软件，反之，也可以将由软件实现的构成的一部分替换为硬件。例如，在上述实施方式中，图像处理部160和/或声音处理部170通过CPU140读出计算机程序并执行来实现，但是，这些功能部也可以通过硬件电路来实现。

另外，在本发明的部分功能或全部功能由软件实现的情况下，该软件(计算机程序)以存储于计算机可读的记录介质的形式来提供。在本发明中，所谓“计算机可读的记录介质”，不限于软盘和/或CD-ROM那样的便携型记录介质，也包括各种RAM和/或ROM等计算机内的内部存储装置、和/或硬盘等固定于计算机的外部存储装置。

此外，在上述实施方式中，如图2及图3所示，控制部10和图像显示部20作为不同的构成而形成，但是，对于控制部10和图像显示部20的构成，不限于此，能进行各种变形。例如，既可以在图像显示部20的内部形成在控制部10所形成的全部构成，也可以形成一部分。此外，上述实施方式的电源130也可以是单独形成且能更换的构成，形成于控制部10的构成也可以重复地形成于图像显示部20。例如，图3所示的CPU140也可以在控制部10和图像显示部20的两者形成，或者，也可以构成为形成于控制部10的CPU140和形成于图像显示部20的CPU所进行的功能分开。

此外，既可以是控制部10内置于PC而使用图像显示部20代替PC的监视器的方式，也可以是控制部10和图像显示部20一体化而安装到使用者US的衣服上的可穿戴计算机的方式。

本发明不限于上述实施方式和/或变形例，在不脱离其主旨的范围内能以各种构成而实现。例如，与发明内容栏所记载的各形式中的技术特征相对应的实施方式、变形例中的技术特征用于解决上述问题的一部分或全部，或者用于达成上述效果的一部分或全部，可以适当进行替换和/或组合。并且，只要该技术特征在本说明书中并未说明为必须，则可以适当地删除。

Claims (9)

1.一种头戴型显示装置，其特征在于，具备：

操作部，其接受操作；

第一检测部，其检测所述操作部的位置和朝向中的至少一个即操作部状态；

图像显示部，其在被佩戴于使用者头部的状态下基于图像数据形成图像光，使使用者作为虚像观看所述图像光；

第二检测部，其检测所述图像显示部的位置和朝向中的至少一个即显示部状态；和

控制部，其针对所述头戴型显示装置，基于检测到的所述操作部状态进行第一控制，并基于检测到的所述显示部状态进行与所述第一控制不同的第二控制。

2.根据权利要求1所述的头戴型显示装置，其特征在于，

所述第一检测部配置于所述操作部，

所述第二检测部配置于所述图像显示部。

3.根据权利要求2所述的头戴型显示装置，其特征在于，

所述第一检测部检测所述操作部的位置变化来作为所述操作部状态，

所述第二检测部检测所述图像显示部的朝向变化来作为所述显示部状态。

4.根据权利要求1至3中任一项所述的头戴型显示装置，其特征在于，

所述控制部排他性地进行所述第一控制和所述第二控制。

5.根据权利要求4所述的头戴型显示装置，其特征在于，

所述控制部在检测到所述操作部的位置变化并且检测到所述显示部的朝向变化的情况下，进行所述第一控制和所述第二控制之一。

6.根据权利要求4所述的头戴型显示装置，其特征在于，

所述控制部分时地进行所述第一控制和所述第二控制。

7.根据权利要求2至6中任一项所述的头戴型显示装置，其特征在于，

还具备拍摄外景的拍摄部，

所述第二控制是基于所述图像显示部的朝向变化来改变所述拍摄部进行拍摄的方向的处理。

8.根据权利要求1至7中任一项所述的头戴型显示装置，其特征在于，

所述第一控制和所述第二控制中的至少一个是控制所述图像光的处理。

9.一种头戴型显示装置的控制方法，其特征在于，

所述头戴型显示装置具备：

操作部，其接受操作；

第一检测部，其检测所述操作部的位置和朝向中的至少一个即操作部状态；

图像显示部，其在被佩戴于使用者头部的状态下基于图像数据形成图像光，使使用者作为虚像观看所述图像光；和

第二检测部，其检测所述图像显示部的位置和朝向中的至少一个即显示部状态，

所述头戴型显示装置的控制方法具备：

基于检测到的所述操作部状态对所述头戴型显示装置进行第一控制的步骤；和

基于检测到的所述显示部状态对所述头戴型显示装置进行与所述第一控制不同的第二控制的步骤。