CN103309034B

CN103309034B - 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Info

Publication number: CN103309034B
Application number: CN201310069041.1A
Authority: CN
Inventors: 藤卷由贵
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2012-03-07
Filing date: 2013-03-05
Publication date: 2017-09-26
Anticipated expiration: 2033-03-05
Also published as: US9557566B2; US20130234914A1; CN103309034A; JP5970872B2; JP2013186641A

Abstract

本发明涉及头部佩戴型显示装置以及头部佩戴型显示装置的控制方法。在光学透射型的头部佩戴型显示装置中，减少在实现增强现实时产生的不协调感。使用者能够同时视觉确认虚像和外景的头部佩戴型显示装置具备：拍摄部，其拍摄外景来获取外景图像；增强现实处理部，其解析获取的外景图像，并且根据解析的结果来生成增强现实用的附加图像数据；显示元件，其使用生成的附加图像数据来生成图像光；以及导光部，其使用生成的图像光在使用者的眼前形成虚像。增强现实处理部获取外景图像中的、虚像的显示区域和拍摄部的拍摄区域重复的重复区域，并使用重复区域来生成附加图像数据。

Description

头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

技术领域

本发明涉及头部佩戴型显示装置以及头部佩戴型显示装置的控制方法。

背景技术

公知有在现实环境中使用计算机附加提示信息的被称作增强现实（AR，AugmentedReality）的技术。增强现实搭载于智能手机、头戴式显示器（以下，称为“头部佩戴型显示装置”。）等。图1是用于对增强现实进行说明的说明图。图1（A）表示利用非透射型的头部佩戴型显示装置实现增强现实的情况。头部佩戴型显示装置利用照相机拍摄外景，对通过拍摄而得到的图像CP进行图像识别，生成用于附加提示的信息（图示例子中的目标OB）。头部佩戴型显示装置将使拍摄的图像CP和生成的目标OB重叠的图像显示在液晶画面上。由此，头部佩戴型显示装置的使用者能够体验增强现实。此外，在这里，对使用非透射型的头部佩戴型显示装置实现增强现实的例子进行了说明，但利用智能手机等也能够实现。例如，在引用文献1中，公开有搭载了增强现实的技术的非透射型的头部佩戴型显示装置。

专利文献1：日本特开2011－203823号公报

专利文献2：日本特开2010－146481号公报

图1（B）是表示利用光学透射型的头部佩戴型显示装置实现增强现实的情况。即使在光学透射型的头部佩戴型显示装置中，也与非透射型相同，对通过拍摄而得到的图像CP进行图像识别，生成用于附加提示的信息（目标OB）。其后，在光学透射型的头部佩戴型显示装置中，在液晶画面上只显示生成的目标OB。使用者能够通过视觉确认在液晶画面上显示、作为虚像VI显示的目标OB、和透过眼前的透镜看见的外景SC双方，体验增强现实。此外，将从图1（B）的左边第1张所示的通过拍摄得到的区域称为“拍摄视场”，从图1（B）的左边第2张所示的作为虚像VI显示的区域称为“影像视场”，将从图1（B）的左边第3张所示的作为外景SC可视觉确认的区域称为“现实视场”。

这里，存在在使用者的眼前投射虚像VI的区域（现实视场和影像视场重合的部分）的大小、与利用照相机可拍摄的区域（拍摄视场）的大小不一致的情况。在两者的大小不一致的情况下，存在在光学透射型的头部佩戴型显示装置中，作为虚像VI显示的目标OB与透过眼前的透镜看见的外景SC之间产生偏差，给予使用者不协调感这样的问题。具体而言，例如，在利用照相机可拍摄的区域（影像视场）很宽广的情况下，在现有的光学透射型的头部佩戴型显示装置中，生成与该宽广的范围对应的目标OB，作为虚像VI显示在使用者的眼前。这样的情况下，使用者因在自己眼前投射虚像VI的区域（现实视场和影像视场重合的部分）内的外景SC和目标OB之间产生的差异，记住不协调感。

发明内容

本发明的目的在于，在光学透射型的头部佩戴型显示装置中，减少实现增强现实时所产生的不协调感。

本发明是为了解决上述的课题的至少一部分而完成的，能够作为以下的方式或者应用例实现。

应用例1

该头部佩戴型显示装置是使用者能够同时视觉确认虚像和外景的头部佩戴型显示装置，

具备：

拍摄部，其拍摄外景来获取外景图像；

增强现实处理部，其解析获取的上述外景图像，并且根据解析的结果来生成增强现实用的附加图像数据；

显示元件，其使用生成的上述附加图像数据来生成图像光；以及

导光部，其使用生成的上述图像光在使用者的眼前形成虚像；

其中，上述增强现实处理部获取上述外景图像中的、上述虚像的显示区域和上述拍摄部的拍摄区域重复的重复区域，并使用上述重复区域来生成上述附加图像数据。

根据这样的构成，增强现实处理部获取虚像的显示区域和拍摄部的拍摄区域重复的重复区域，并使用重复区域来生成附加图像数据，所以能够减少在增强现实处理部实现增强现实时产生的不协调感。

应用例2

该头部佩戴型显示装置是应用例1所述的头部佩戴型显示装置，

还具备：存储部，其存储用于对上述使用者显示上述虚像的显示区域的向导图像数据，

上述增强现实处理部使采用了上述向导图像数据的图像光得以生成，并且以在上述虚像的显示区域上示出规定的标记的方式引导上述使用者，并使上述外景图像得以获取，取得通过解析获取的外景图像而得到的标记的位置，并将所得到的所述标记的所述位置作为重复区域和其他的区域之间的边界。

根据这样的构成，增强现实处理部生成使用了向导图像数据的图像光，并且以在虚像的显示区域上示出规定的标记的方式引导使用者，使外景图像得以获取，取得通过解析获取的外景图像而得到的标记的位置，并将所得到的所述标记的所述位置作为重复区域和其他的区域之间的边界。其结果，增强现实处理部能够获取虚像的显示区域和拍摄部的拍摄区域重复的重复区域。

应用例3

该头部佩戴型显示装置是应用例2所述的头部佩戴型显示装置，

上述向导图像数据是具有与上述显示元件相同的纵横比的矩形形状，包含配置在其四个角中的至少2角处的引导标志，

上述增强现实处理部对上述使用者以通过用手指指示上述引导标志而表示上述标记的方式进行引导。

根据这样的构成，增强现实处理部对使用者以用手指指示引导标志而示出标记的方式进行引导，所以无需特别的装置，并且，能够利用使用者容易明白的简单的操作，在虚像的显示区域标注规定的标记。

应用例4

上述向导图像数据是具有与上述显示元件相同的纵横比的矩形形状，包含配置在其四个角中的至少2角处的框状的引导标志，

上述增强现实处理部对上述使用者以对准于上述引导标志的框内配置具有矩形形状的侧面的物体而示出上述标记的方式进行引导。

根据这样的构成，增强现实处理部对使用者以对准于引导标志的框内配置具有矩形形状的侧面的物体而示出标记的方式进行引导，所以能够通过一次操作在虚像的显示区域标注标记。

应用例5

该头部佩戴型显示装置是应用例1～4中的任意一项所述的头部佩戴型显示装置，

还具备：

第2拍摄部，其配置在佩戴上述头部佩戴型显示装置时与使用者的右侧的眼睛或者太阳穴或者它们周边对应的位置，拍摄外景来获取第2外景图像；以及

第3拍摄部，其配置在佩戴上述头部佩戴型显示装置时与使用者的左侧的眼睛或者太阳穴或者它们周边对应的位置，拍摄外景来获取第3外景图像，

上述增强现实处理部进一步求出上述第2外景图像所包含的特定的物体和上述第3的外景图像所包含的上述特定的物体之间的偏差量，根据求出的上述偏差量来获取与外界的上述物体的景深相关的信息。

根据这样的构成，增强现实处理部能够进一步求出由配置在佩戴头部佩戴型显示装置时与使用者的右侧的眼睛或者太阳穴或者它们周边对应的位置的第2拍摄部拍摄的第2外景图像所包含的特定的物体、和由配置在佩戴头部佩戴型显示装置时与使用者的左侧的眼睛或者太阳穴或者它们周边对应的位置的第3拍摄部拍摄的第3外景图像所包含的特定的物体之间的偏差量，并根据求出的偏差量获取与外界的物体的景深相关的信息。

此外，本发明能够以各种方式实现，例如，能够以头部佩戴型显示装置以及头部佩戴型显示装置的控制方法、图像显示系统、用于实现这些方法、装置或者系统的功能的计算机程序、和记录该计算机程序的记录介质等方式实现。

附图说明

图1是用于对增强现实进行说明的说明图。

图2是表示本发明的一实施例中的头部佩戴型显示装置的外观的构成的说明图。

图3是功能性表示头戴式显示器的构成的框图。

图4是表示通过图像光生成部射出图像光的情况的说明图。

图5是表示被使用者识别的虚像的一个例子的说明图。

图6是表示区域决定处理的顺序的流程图。

图7是用于对区域决定处理进行说明的说明图。

图8是表示由照相机拍摄的外景图像的一个例子的说明图。

图9是表示第2实施例中的区域决定处理的顺序的流程图。

图10是用于对第2实施例中的区域决定处理进行说明的说明图。

图11是表示第3实施例中的头部佩戴型显示装置的外观的构成的说明图。

图12是用于对利用景深获取处理获取的景深信息进行说明的说明图。

图13是用于对景深获取处理进行说明的说明图。

具体实施方式

接下来，基于实施例对本发明的实施方式进行说明。

A．第1实施例：

（A－1）头部佩戴型显示装置的构成：

图2是表示本发明的一实施例中的头部佩戴型显示装置的外观的构成的说明图。头部佩戴型显示装置HM是佩戴于头部的头部佩戴型显示装置，也称为头戴式显示器（HeadMounted Display，HMD）。本实施例的头戴式显示器HM是在使用者视觉确认虚像的同时也能够直接视觉确认外景的光学透射型的头部佩戴型显示装置。

头戴式显示器HM具备：图像显示部20，其在佩戴于使用者的头部的状态下使使用者视觉确认虚像；和控制部（控制器）10，其控制图像显示部20。

图像显示部20是佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、和照相机61。右光学像显示部26以及左光学像显示部28配置在佩戴头戴式显示器HM时与使用者的右眼以及左眼前对应的位置。右光学像显示部26的一端、和左光学像显示部28的一端分别在佩戴头戴式显示器HM时与使用者的眉间对应的位置上连接。从作为右光学像显示部26的另一端的端部ER延伸有右保持部21。同样，从作为左光学像显示部28的另一端的端部EL延伸有左保持部23。

右保持部21是从右光学像显示部26的端部ER到佩戴头戴式显示器HM时与使用者的侧头部对应的位置，以与右光学像显示部26几乎成直角的方式延伸设置的部件。同样，左保持部23是从左光学像显示部28的端部EL到佩戴头戴式显示器HM时与使用者的侧头部对应的位置，以与左光学像显示部28几乎成直角的方式延伸设置的部件。右保持部21和左保持部23像眼镜腿（挂耳部分）那样，将头戴式显示器HM保持在使用者的头部。

右显示驱动部22配置在右保持部21的内侧，换句话说，配置在佩戴头戴式显示器HM时与使用者的头部对置的一侧，即右光学像显示部26的端部ER侧。另外，左显示驱动部24配置在左保持部23的内侧，即配置在左光学像显示部28的端部EL侧。此外，以下，将右保持部21以及左保持部23统称为“保持部”，将右显示驱动部22以及左显示驱动部24统称为“显示驱动部”，将右光学像显示部26以及左光学像显示部28统称为“光学像显示部”。

显示驱动部包含未图示的LCD（Liquid Crystal Display：液晶显示器）、投射光学系统等。详细内容后述。作为光学部件的光学像显示部包含未图示的导光板、和调光板。导光板由透光性的树脂材料等形成，使从显示驱动部获取的图像光朝向使用者的眼睛射出。调光板是薄板状的光学元件，以覆盖头戴式显示器HM的表面侧（与使用者的眼睛侧相反的一侧）的方式配置。调光板保护导光板，抑制导光板的损伤、附着污垢等，并且通过调整调光板的透光率，能够调节进入使用者的眼睛的户外光量，调整虚像的视觉确认的难易。此外，也可以省略调光板。

照相机61配置在佩戴头戴式显示器HM时与使用者的眉间对应的位置。照相机61拍摄头戴式显示器HM的表面侧方向，换句话说，与使用者的眼睛侧相反的一侧方向的外景（外部的景色），获取外景图像。在本实施例中，照相机61相当于“拍摄部”。本实施例中的照相机61例示单眼照相机，但也可以采用立体照相机。

图像显示部20还具有用于将图像显示部20连接在控制部10的连接部40。连接部40包括与控制部10连接的主体电线48、主体电线48分成2根的右电线42以及左电线44、和设在分支点的连结部件46。右电线42从右保持部21的延伸方向的前端部AP插入右保持部21的壳体内，并与右显示驱动部22连接。同样，左电线44从左保持部23的延伸方向的前端部AP插入左保持部23的壳体内，并与左显示驱动部24连接。

图像显示部20和控制部10经由连接部40进行各种信号的传送。在主体电线48中的与连结部件46相反侧的端部、和控制部10上分别设置有相互嵌合的连接器（图示省略），通过主体电线48的连接器与控制部10的连接器的嵌合/嵌合解除，能够进行控制部10和图像显示部20的连接/分离。右电线42、左电线44、和主体电线48能够采用例如，金属电缆、光纤。

控制部10是用于操作头戴式显示器HM的装置。控制部10包括点亮部12、触摸板14、十字键16、和电源开关18。点亮部12通过其发光状态通知头戴式显示器HM的动作状态（例如，电源的ON／OFF等）。作为点亮部12，例如能够使用LED（Light Emitting Diode：发光二级管）。触摸板14检测在触摸板14的操作面上的使用者的手指的操作，输出与检测内容对应的信号。十字键16检测对与上下左右方向对应的键的按下操作，输出与检测内容对应的信号。电源开关18通过检测开关的滑动操作，切换头戴式显示器HM的电源接通状态。

图3是功能性表示头戴式显示器HM的构成的框图。控制部10具备输入信息获取部110、存储部120、电源130、CPU140、接口180、发送部（Tx）51以及52，各部件通过未图示的总线相互连接。

输入信息获取部110例如具有获取与针对触摸板14或十字键16、电源开关18的操作输入等的由使用者进行的操作输入对应的信号的功能。存储部120是包含未图示的ROM、RAM、DRAM、硬盘等的存储部。另外，在存储部120中包含坐标信息存储部122。坐标信息存储部122是用于储存由AR处理部142执行的区域决定处理中所求出的坐标的存储区域。电源130向头戴式显示器HM的各部供给电力。作为电源130例如能够使用二次电池。

CPU140通过执行预先安装的程序，来提供作为操作系统（ОS）150的功能。而且，CPU140通过将储存在ROM和硬盘中的固件、计算机程序展开到RAM并执行，从而也作为AR处理部142、图像处理部160、声音处理部170、显示控制部190发挥作用。

AR处理部142将来自OS150、特定的游戏应用程序的处理开始请求作为触发来执行用于实现增强现实的处理（以下，称为“AR处理”。）。在AR处理中，AR处理部142解析通过照相机61获取的外景图像，并根据解析的结果来生成用于增强现实的附加图像数据。对于外景图像的解析方法以及附加图像数据的生成方法是公知的，所以省略说明。另外，AR处理部142在AR处理之前执行区域决定处理。区域决定处理是用于决定在AR处理内“解析外景图像”时的解析范围的处理。详细内容后述。此外，将AR处理部142称作“增强现实处理部”。

图像处理部160基于在AR处理中生成的附加图像数据、经由接口180输入的内容等，生成时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、图像数据Data，并经由连接部40将这些信号供给给图像显示部20。

在进行基于指定的附加图像数据的供给的情况下，图像处理部160获取作为默认值预先决定并储存在存储部120内的显示设定（VSync、HSync等）。图像处理部160根据获取的显示设定，利用未图示的PLL（Phase Locked Loop：锁相环）电路等生成时钟信号PCLK。其后，图像处理部160将附加图像数据Data（RGB数据）储存到存储部120内的DRAM中。

另一方面，在进行基于内容的供给的情况下，图像处理部160获取内容所包含的图像信号。获取的图像信号例如为动态图像的情况下，一般是由每1秒30张帧图像构成的模拟信号。图像处理部160从获取的图像信号中分离垂直同步信号VSync、水平同步信号HSync等同步信号。另外，图像处理部160根据分离出的垂直同步信号VSync、水平同步信号HSync的周期，利用未图示的PLL电路等生成时钟信号PCLK。图像处理部160将分离了同步信号的模拟图像信号，使用未图示的A／D转换电路等转换为数字图像信号。之后，图像处理部160将转换后的数字图像信号作为对象图像数据Data（RGB数据），按照每1帧储存在存储部120内的DRAM中。

此外，在以数字形式给予附加图像数据、内容的情况下，与图像信号同步输出时钟信号PCLK，所以无需垂直同步信号VSync以及水平同步信号HSync、模拟图像信号的A／D转换。另外，以下，将附加图像数据Data以及对象图像数据Data统称为“图像数据Data”。图像处理部160可以根据需要对储存在存储部120中的图像数据Data执行分辨率转换处理、亮度或彩度的调整这样的各种色调修正处理、梯形修正处理等图像处理。

图像处理部160将如上述那样生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、和储存在存储部120内的DRAM的图像数据Data分别经由发送部51以及52发送。其中，将经由发送部51发送的图像数据Data称作“右眼用图像数据Data1”，将经由发送部52发送的图像数据Data称作“左眼用图像数据Data2”。发送部51、52作为用于在控制部10和图像显示部20之间的串行传送的收发器发挥作用。

显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言，显示控制部190通过控制信号对右LCD控制部211进行的右LCD241的驱动ON/OFF、右背光源控制部201进行的右背光源221的驱动ON/OFF、和左LCD控制部212进行的左LCD242的驱动ON/OFF、左背光源控制部202进行的左背光源222的驱动ON/OFF等单独地进行控制，从而控制分别由右显示驱动部22以及左显示驱动部24进行的图像光的生成以及射出。例如，显示控制部190使右显示驱动部22以及左显示驱动部24双方生成图像光，或者仅使一方生成图像光，或者使双方都不生成图像光。

显示控制部190经由发送部51以及52分别发送针对右LCD控制部211和左LCD控制部212的控制信号。而且，显示控制部190分别发送针对右背光源控制部201和左背光源控制部202的控制信号。

声音处理部170获取内容所包含的声音信号，并放大获取的声音信号，经由连接部40供给给图像显示部20的右耳机32内的未图示的扬声器以及左耳机34内的未图示的扬声器。此外，例如，在采用Dolby（注册商标）系统的情况下，进行针对声音信号的处理，从右耳机32以及左耳机34分别输出例如改变频率等的不同的声音。

接口180是用于将成为内容的供给源的各种外部设备OA与控制部10连接的接口。作为外部设备OA，例如存在个人计算机PC、移动电话终端、游戏终端等。作为接口180，例如能够具备USB接口、micro USB接口、记忆卡用接口、无线LAN接口等。

图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、照相机61、右耳机32、和左耳机34。

右显示驱动部22包含接收部（Rx）53、作为光源发挥作用的右背光源（BL）控制部201以及右背光源（BL）221、作为显示元件发挥作用的右LCD控制部211以及右LCD241、和右投射光学系统251。其中，将右背光源控制部201、右LCD控制部211、右背光源221、和右LCD241也统称为“图像光生成部”。

接收部53作为用于在控制部10和图像显示部20之间的串行传送的接收器发挥作用。右背光源控制部201具有基于输入的控制信号来驱动右背光源221的功能。右背光源221例如是LED、电致发光（EL）等发光体。右LCD控制部211具有基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、和右眼用图像数据Data1来驱动右LCD241的功能。右LCD241是将多个像素配置成矩阵状的透射型液晶面板。

图4是表示通过图像光生成部射出图像光的情况的说明图。右LCD241具有如下的功能，即、通过驱动与呈矩阵状配置的各像素位置对应的液晶、使透过右LCD241的光的透过率变化，从而将从右背光源221照射出的照明光IL调制为显示图像的有效的图像光PL。另外，如图4所示，在本实施例中采用背光源方式，但也可以构成为使用前照灯方式、反射方式射出图像光。

图3的右投射光学系统251由将从右LCD241射出的图像光变为并行状态的光束的准直透镜构成。作为右光学像显示部26的右导光板261使从右投射光学系统251输出的图像光沿着规定的光路反射并导入使用者的右眼RE。此外，对右投射光学系统251和右导光板261进行统称，称为“导光部”。此外，导光部只要使用图像光在使用者的眼前形成虚像，则能够使用任意的方式，例如可以使用衍射光栅，也可以使用半透射反射膜。

左显示驱动部24包含接收部（Rx）54、作为光源发挥作用的左背光源（BL）控制部202以及左背光源（BL）222、作为显示元件发挥作用的左LCD控制部212以及左LCD242、和左投射光学系统252。此外，将左背光源控制部202、左LCD控制部212、左背光源222、和左LCD242统称为“图像光生成部”，将左投射光学系统252、左导光板262统称为“导光部”。右显示驱动部22和左显示驱动部24成对，左显示驱动部24的各部具有与在右显示驱动部22中说明的各部相同的构成以及动作，所以省略详细的说明。

图5是表示被使用者识别的虚像的一个例子的说明图。如上述那样，导入头戴式显示器HM的使用者的双眼的图像光在使用者的视网膜上成像，从而使用者能够视觉确认虚像。如图5所示，在头戴式显示器HM的使用者的视野VR内显示虚像VI。另外，对于使用者的视野VR中的、显示虚像VI的部分而言，使用者经由光学像显示部的虚像VI能够看见外景SC。并且，对于使用者的视野VR中的、显示虚像VI的部分以外而言，使用者透过光学像显示部能够直接看见外景SC。

此外，将显示虚像VI的区域称为“影像视场”。另外，将使用者能够视觉确认外景SC的区域，换句话说，视野VR内的区域称为“现实视场”。此时，在使用者的眼前投射虚像VI的区域可以说是现实视场和影像视场重叠的部分。

（A－2）区域决定处理：

图6是表示区域决定处理的顺序的流程图。图7是用于对区域决定处理进行说明的说明图。区域决定处理是在AR处理之前由AR处理部142执行的处理，是用于决定在AR处理内进行“解析外景图像”时的解析范围的处理。此外，区域决定处理也可以作为AR处理的子流程动作。

首先，AR处理部142将在区域决定处理内使用的变量n置为“1”，从而进行变量的初始化（步骤S100）。接下来，AR处理部142使向导图像虚像显示（步骤S102）。图7（a）是表示向导图像CG的一个例子的说明图。向导图像CG是用于对头戴式显示器HM的使用者显示虚像的显示区域的端部的图像。本实施例中的向导图像CG是具有与右LCD241以及左LCD242（显示元件）相同的纵横比的矩形形状，是具有白色一种颜色的背景的图像，在其四个角、和位于对角线的交点的部分上具有圆形的引导标志P1～P5。向导图像CG的图像数据（以下，称为“向导图像数据”。）预先储存在存储部120。

在步骤S102中AR处理部142读出储存在存储部120中的向导图像数据，并将向导图像数据发送至图像处理部160。在接收了向导图像数据的图像处理部160中执行在图3中说明的处理。其结果，在头戴式显示器HM的使用者的视野VR中作为虚像VI显示图7（a）的向导图像CG。

在步骤S104中AR处理部142引导使用者使其用手指作为虚像VI显示的向导图像CG中的第n个引导标志。这里，“第n个点”根据在步骤S100中初始化的变量n的值发生变动。另外，AR处理部142作为引导使用者的方法，也可以显示使用了对话框等消息，也可以进行声音的引导。声音的引导能够不遮挡显示中的向导图像CG而进行引导，所以优选。

图7（b）表示使用者用手指在自身的视野VR中作为虚像VI显示的向导图像CG的第1个引导标志P1的情况。此外，在图7（b）中，为了图示的方便，对于透过光学像显示部的外景SC省略图示。对使用者引导后，在图6的步骤S106中AR处理部142使照相机61拍摄外景图像。图8是表示由照相机61拍摄的外景图像CP的一个例子的说明图。

在步骤S108中AR处理部142对拍摄的外景图像CP进行图像识别，确定出人的指尖的位置。AR处理部142获取指尖位置的坐标，保存到坐标信息存储部122（步骤S110）。具体而言，AR处理部142获取在步骤S108中确定出的指尖的位置的坐标。该坐标例如能够定义为以外景图像CP的最左上部分的像素为（0，0）的情况下的X方向、Y方向的移动量。AR处理部142对获取的坐标、和变量n的值建立关联，并储存到坐标信息存储部122。

AR处理部142判定变量n的值是否是配置在向导图像CG的引导标志的个数以上（步骤S112）。在变量n的值小于引导标志的个数的情况（步骤S112：“否”）下，AR处理部142将变量n自加1，并将处理移至步骤S104。而且，AR处理部142对于下一个引导标志反复外景图像CP的获取、指尖位置的坐标获取、坐标的保存的一系列的处理。另一方面，在变量n的值是引导标志的个数以上的情况（步骤S112：“是”）下，AR处理部142将结束向导图像的显示的主旨的请求发送至图像处理部160以及显示控制部190（步骤S116），结束处理。

像这样，AR处理部142在使向导图像在整个右LCD241以及左LCD242（显示元件）的可显示区域显示的状态下，在使用者的视野中显示向导图像的虚像VI，获取表示位于向导图像的四个角的引导标志P1～P4相当于由照相机61拍摄的外景图像CP的哪个位置的坐标。换句话说，在区域决定处理中，AR处理部142预先获取照相机61（拍摄部）的拍摄区域和虚像VI的显示区域重复的区域，即、图8的区域EA。此外，将照相机61的拍摄区域和虚像VI的显示区域重复的区域也称为“重复区域”。

如以上根据所述第1实施例，AR处理部142（增强现实处理部）在AR处理之前获取重复区域EA。在之后的AR处理中AR处理部142使用获取的重复区域EA，具体而言，将由照相机61拍摄的外景图像CP中的重复区域EA内的图像作为解析对象，从而生成用于增强现实的附加图像数据。由此，能够疑似地使利用照相机61能够拍摄的区域（影像视场）的大小、和在使用者的眼前作为虚像VI投射的区域（现实视场和影像视场重合的部分）的大小一致（校准）。其结果，能够抑制在AR处理中显示的附加提示用的信息（目标OB）、和使用者透过眼前的光学像显示部看到的外景SC之间产生偏差，在光学透射型的头戴式显示器HM（头部佩戴型显示装置）中，能够减少在AR处理部142实现增强现实时产生的不协调感。

此外，在上述实施例中，作为在AR处理部142生成附加图像数据时的重复区域EA的使用方法示出“限定解析对象”方法。但是，上述只是例示，重复区域EA可以是各种的利用方法。例如，AR处理部142也可以解析由照相机61拍摄的外景图像CP的全部，生成改变了重复区域EA内的附加提示用的信息、和重复区域EA外的附加提示用的信息的显示方法的附加图像数据。具体而言，重复区域EA内的附加提示用的信息以可识别内容的方式显示，重复区域EA外的附加提示用的信息以利用箭头等的图标仅表示存在的方式显示。

另外，AR处理部142（增强现实处理部）使生成使用了向导图像数据的图像光，并且引导使用者使其在虚像VI的显示区域示出规定的标记，使获取外景图像CP，将解析获取的外景图像CP而得到的标记的位置作为重复区域EA和其他的区域的边界来获取。其结果，AR处理部142能够获取虚像VI的显示区域和照相机61的拍摄区域重复的重复区域EA。

并且，AR处理部142（增强现实处理部）引导使用者使其通过用手指指示引导标志P1～P5而示出标记，所以无需特别的装置，并且，利用使用者容易明白的简单的操作，能够在虚像VI的显示区域标注规定的标记。

B．第2实施例：

在本发明的第2实施例中，对区域决定处理中的重复区域的获取方法不同的构成进行说明。以下，仅对具有与第1实施例不同的构成以及动作的部分进行说明。此外，对于在图中与第1实施例相同的构成部分标注与之前说明的第1实施例相同的符号，省略其详细的说明。

（B－1）头部佩戴型显示装置的构成：

在第2实施例中的头戴式显示器HMa的构成与在图1～图5中说明的第1实施例几乎相同。

但是，第2实施例中的头戴式显示器HMa代替AR处理部142而具备AR处理部142a与第1实施例不同。并且，第2实施例中的头戴式显示器HMa中，预先储存在存储部120内的向导图像数据的内容以及区域决定处理的内容与第1实施例不同。

（B－2）区域决定处理：

图9是表示第2实施例中的区域决定处理的顺序的流程图。图10是用于对第2实施例中的区域决定处理进行说明的说明图。第2实施例的区域决定处理也与第1实施例相同，是在AR处理之前由AR处理部142a执行的处理，是用于在AR处理内进行“解析外景图像”时决定解析范围的处理。

首先，AR处理部142a使向导图像显示（步骤S200）。图10（a）是表示向导图像CGa的一个例子的说明图。向导图像CGa是用于对头戴式显示器HM的使用者显示虚像的显示区域的端部的图像。本实施例中的向导图像CGa是具有与右LCD241以及左LCD242（显示元件）相同的纵横比的矩形形状，是具有白色一种颜色的背景的图像，在四个角具有框状的引导标志P1～P4。向导图像CGa的图像数据预先储存在存储部120。

在步骤S200中AR处理部142a读出储存在存储部120中的向导图像数据，并将向导图像数据发送至图像处理部160。在接收了向导图像数据的图像处理部160中，执行在图3中说明的处理，在头戴式显示器HMa的视野VR中作为虚像VI显示图10（a）的向导图像CGa。

在步骤S202中AR处理部142a引导使用者以将纸对准到作为虚像VI显示的向导图像CGa的框内。引导方法可以是使用了对话框等的消息，也可以是声音的引导。

图10（b）表示使用者将在自身的视野VR中作为虚像VI显示的向导图像CGa的引导标志P1～P4内对准纸PP的情况。其中，在图10（b）中，为了图示的方便，对于透过光学像显示部的外景SC省略图示。在对使用者的引导后，在图9的步骤S204中AR处理部142a使照相机61拍摄外景图像。

在步骤S206中AR处理部142a对拍摄的外景图像进行图像识别，确定出纸和外景的边界。AR处理部142a获取确定的边界中的矩形的顶点的位置的坐标，并保存至坐标信息存储部122（步骤S208）。之后，AR处理部142a将结束向导图像的显示的主旨的请求发送至图像处理部160以及显示控制部190（步骤S210），结束处理。

如以上，在第2实施例的区域决定处理中，AR处理部142a（增强现实处理部）能够获取照相机61（拍摄部）的拍摄区域和虚像VI的显示区域重复的重复区域。因此，即使在第2实施例的构成中，也能够得到与第1实施例相同的效果。

并且，AR处理部142a（增强现实处理部）引导使用者使其在引导标志P1～P4的框内对准地配置具有矩形形状的侧面的物体（例如纸）而示出标记，所以能够通过一次操作对虚像VI的显示区域付与标记。

C．第3实施例：

在本发明的第3实施例中，对除了区域决定处理之外，还能够执行景深获取处理的构成进行说明。景深获取处理是获取外界环境的“景深信息”的处理，由AR处理部142b执行。AR处理部142b通过在AR处理内的附加图像数据生成时使用获取的景深信息，从而能够实现考虑了外界环境的景深的增强现实。以下，仅对具有与第1实施例不同的构成以及动作的部分进行说明。此外，在图中与第1实施例相同的构成部分标注与之前说明的第1实施例相同的符号，并省略其详细的说明。

（C－1）头部佩戴型显示装置的构成：

图11是表示第3实施例中的头部佩戴型显示装置的外观的构成的说明图。与在图1～图5（特别是图2）中所示的第1实施例的差异是代替控制部10而具备控制部10b的点、和代替图像显示部20而具备图像显示部20b的点。控制部10b代替AR处理部142而具备AR处理部142b。AR处理部142b除了在第1实施例中说明的区域决定处理之外，执行景深获取处理。另外，图像显示部20b还包含照相机62、和照相机63。

照相机62配置在佩戴头戴式显示器HMb时与使用者的右侧的眼睛或者太阳穴或者它们的周边对应的位置。照相机63配置在佩戴头戴式显示器HMb时与使用者的左侧的眼睛或者太阳穴或者它们的周边对应的位置。照相机62以及照相机63与照相机61相同，拍摄与使用者的眼睛一侧相反的一侧方向的外景，获取外景图像。照相机62以及照相机63拍摄的外景图像在后述的景深获取处理中使用。此外，在本实施例中，照相机62相当于“第2拍摄部”，照相机63相当于“第3拍摄部”。

（C－2）区域决定处理：

第3实施例中的区域决定处理的顺序与在图9、图10中说明的第1实施例相同。

（C－3）景深获取处理：

图12是用于对在景深获取处理中获取的景深信息进行说明的说明图。景深信息是与存在于佩戴了头戴式显示器HMb的使用者的外界的环境的物体的景深相关的信息。例如，如图12所示，在头戴式显示器HMb的使用者看见了存在于前方的苹果的情况下，在使用者的右眼RE和左眼LE中，在看见的像上产生差异。以下，将该差异称为“双眼视差”，表示为苹果和使用者的右眼RE以及左眼LE所成的辐合角θ1。因产生双眼视差，使用者能够觉察苹果的景深。

另一方面，在头戴式显示器HMb的使用者看见存在于比苹果更远处的花的情况下，花和使用者的右眼RE以及左眼LE所成的辐合角θ2与辐合角θ1相比变小。即、在图12中，将使用者的双眼和苹果之间的距离设为景深距离L1，将使用者的双眼和花之间的距离设为景深距离L2时，双眼视差θ1、θ2，和景深距离L1、L2满足θ1＞θ2并且L1＜L2的关系。换句话说，双眼视差θ的大小与使用者的双眼和物体之间的景深距离L成反比例。因此，在景深获取处理中，作为“景深信息”，获取双眼视差θ或景深距离L中的至少一方。

图13是用于对景深获取处理进行说明的说明图。在景深决定处理中，首先AR处理部142b分别使照相机62和照相机63拍摄外景图像。图13的上段表示设置于与使用者的右眼对应的位置的照相机62拍摄的外景图像CP62。图13的下段表示设置于与使用者的左眼对应的位置的照相机63拍摄的外景图像CP63。AR处理部142b分别对拍摄的外景图像CP62和外景图像CP63进行图像识别，分别确定出两图像内所包含的特定的物体的基准点。所谓基准点是用于设置为了确定出物体的位置的基准的点，能够任意设定。基准点例如能够设为物体的中心点。

AR处理部142b求出外景图像CP62内的基准点和外景图像CP63内的基准点之间的偏差量。之后，AR处理部142b使用规定偏差量和双眼视差θ（或景深距离L）的对应关系的表等，根据求出的偏差量来计算双眼视差θ或景深距离L。此外，偏差量越大双眼视差θ越大，景深距离L变小。

例如，在图12的例子中，AR处理部142b确定外景图像CP62内所包含的苹果的中心点O1、外景图像CP63内所包含的苹果的中心点O2，求出中心点O1和中心点O2之间的偏差量DE1。而且，AR处理部142b使用上述的表等，根据偏差量DE1来计算双眼视差θ（或景深距离L）。

如以上，根据第3实施例，AR处理部142b（增强现实处理部）能够求出利用配置在佩戴头戴式显示器HMb（头部佩戴型显示装置）时与使用者的右侧的眼睛或者太阳穴或者它们的周边对应的位置的照相机62（第2拍摄部）来拍摄的外景图像CP62（第2外景图像）所包含的特定的物体，和利用配置在佩戴头戴式显示器HMb时与使用者的左侧的眼睛或者太阳穴或者它们的周边对应的位置的照相机63（第3拍摄部）来拍摄的外景图像CP63（第3外景图像）所包含的特定的物体之的间的偏差量，并根据求出的偏差量获取与外界的物体的景深相关的信息。其结果，在AR处理中，AR处理部142b能够提供使用了与物体的景深相关的信息的虚拟现实。

D．变形例：

此外，该发明并不限于上述的实施例、实施方式，在不脱离其主旨的范围内能够采取各种构成。例如，通过软件实现的功能也可以通过硬件来实现。在此之外，能够是如下的变形。

D1.变形例1：

在上述实施例中，例示了头戴式显示器的构成。但是，头戴式显示器的构成能够在不脱离本发明的主旨的范围内任意设定，例如，能够进行各构成部的追加、削除、转换等。

在上述实施例中，为了说明的方便，采用控制部具备发送部，图像显示部具备接收部的构成。但是，上述实施例的发送部以及接收部可以都具备能够双方向通信的功能，作为信号收发部发挥作用。

例如，省略连接部，也可以为控制部和图像显示部能够无线通信的构成。具体而言，为控制部还具备第1无线通信部，并且图像显示部还具备第2无线通信部和电源的构成。该情况下，第1无线通信部作为上述实施例中的发送部发挥作用，第2无线通信部作为上述实施例中的接收部发挥作用。

例如，图2所示的控制部、图像显示部的构成能够任意变更。具体而言，例如，也可以为从控制部省略触摸板，仅利用十字键操作的构成。另外，也可以在控制部具备操作用操作杆等其他的操作用接口。另外，也可以为能够在控制部上连接键盘、鼠标等设备，受理从键盘、鼠标输入的构成。另外，也可以在控制部设置使用了Wi－Fi（wireless fidelity：无线高保真技术）等的通信部。

例如，图2所示的控制部为经由有线的信号传送线路与图像显示部连接的部件。但是，控制部和图像显示部也可以通过经由无线LAN、红外线通信、Bluetooth（注册商标：蓝牙）等无线信号传送线路的连接进行连接。

例如，头戴式显示器为双眼类型的透射型头戴式显示器，但也可以为单眼类型的头戴式显示器。另外，也可以构成为在使用者佩戴了头戴式显示器的状态下遮挡外景的透射的非透射型头戴式显示器。此外，在非透射型头戴式显示器的情况下，AR处理部生成外景图像和附加图像重叠的新的附加图像数据，图像处理部显示新的附加图像数据。

例如，图像处理部、显示控制部、AR处理部、声音处理部等功能部记载为CPU通过将储存在ROM、硬盘的计算机程序展开到RAM中执行而实现。但是，这些功能部也可以使用为了实现相应的功能而设计的ASIC（Application Specific Integrated Circuit：专用集成电路）而构成。

例如，在上述实施例中，构成为将图像显示部像眼镜那样佩戴的头戴式显示器，但图像显示部也可以为通常的平面型显示器装置（液晶显示器装置、等离子显示器装置、有机EL显示器装置等）。在这种情况下，控制部和图像显示部之间的连接也可以是经由有线信号传送线路的连接，也可以是经由无线信号传送线路的连接。据此，能够将控制部作为通常的平面型显示器装置的遥控器利用。

另外，作为图像显示部，代替像眼镜那样佩戴的图像显示部，例如也可以采用像帽子那样佩戴的图像显示部的其他形状的图像显示部。另外，耳机也可以采用耳挂型、头带型，也可以省略。

例如，在上述实施例中，作为电源使用二次电池，但作为电源并不限于二次电池，能够使用各种电池。例如，也可以使用一次电池、燃料电池、太阳能电池、热电池等。

D2．变形例2：

在上述实施例中，列举说明了向导图像的一个例子。但是，作为向导图像并不限于上述实施例的例示，能够进行各种变形。

例如，在上述第1实施例（图7）中，作为向导图像的一个例子，表示在矩形中，在位于四个角以及对角线的交点的部分具有圆形的引导标志的图像。但是，例如，也可以为在矩形中仅在四个角中的2角处（例如，对角线上的2点）上具有引导标志的图像。并且，例如，引导标志的形状也可以不是圆形，也可以采用多边形、字符等的图画文字、图标等。

例如，在上述第2实施例（图10）中，作为向导图像的一个例子，示出在矩形中，在四个角具有框状的引导标志的图像。但是，例如，也可以为在矩形中，仅在四个角中的2位置（例如，对角线上的2点）上具有框状的引导标志的图像。另外，例如，也可以为具有包围矩形的四边全部的框状的引导标志的图像。并且，例如，引导标志的形状也可以不是框状。

D3．变形例3：

在上述实施例中，表示区域决定处理的一个例子。但是，图6、图9所示的处理的顺序只是一个例子，能够进行各种变形。例如，可以省略一部分的步骤，也可以进一步追加其他的步骤。另外，也可以变更执行的步骤的顺序。

例如，在图6所示的区域决定处理中，作为“规定的标记”使用使用者的指尖。但是，标记能够采用任意的形式。例如，能够使用笔尖、指示器等的尖细形状的东西。

例如，在图6所示的区域决定处理中，AR处理部将以用手指引导标志的方式进行引导，获取外景图像，获取指尖位置的坐标，保存坐标这样一系列的处理，反复进行与引导标志的个数对应的次数。但是，也可以为以用手指引导标志的方式依次引导，对全部的引导标志暂且获取外景图像后，从获取的多个外景图像中分别获取指尖位置的坐标，保存坐标这样的处理流程。

例如，在图9所示的区域决定处理中，作为“规定的标记”使用纸。但是，作为标记，只要具有矩形形状的侧面能够采用任意的形式。例如，也可以使用垫板、笔记本、箱、书等。

D4．变形例4：

在上述实施例中，表示景深获取处理的一个例子。但是，图12、图13所示的处理的顺序只是一个例子，能够进行各种变形。

D5．变形例5：

在上述实施例中，图像光生成部构成为使用背光源、背光源控制部、LCD、和LCD控制部。但是，上述的方式只是例示。图像光生成部也可以与这些构成部一起，或者代替这些构成部，具备用于实现其他方式的构成部。

例如，图像光生成部也可以是具备有机EL（有机电致发光，Organic Electro-Luminescence）的显示器、有机EL控制部的构成。另外，例如，也能够对激光视网膜投影型的头部佩戴型显示装置应用本发明。

D6．变形例6：

在上述实施例以及各变形例中的构成要素中的、与权利要求书中独立权利要求记载的构成对应的要素以外的要素是附加的要素，能够省略。

附图标记的说明

10、10b…控制部（控制器）；12…点亮部；14…触摸板；16…十字键；18…电源开关；20…图像显示部；21…耳挂部；22…右显示驱动部；24…左显示驱动部；26…右光学像显示部；28…左光学像显示部；32…右耳机；34…左耳机；40…连接部；42…右电线；44…左电线；46…连结部件；48…主体电线；51…发送部；52…发送部；53…接收部；54…接收部；61…照相机（拍摄部）；62…照相机（第2拍摄部）；63…照相机（第3拍摄部）；110…输入信息获取部；120…存储部；122…坐标信息存储部；130…电源；140…CPU；142、142a、142b…AR处理部；160…图像处理部；170…声音处理部；180…接口；190…显示控制部；201…右背光源控制部（图像光生成部）；202…左背光源控制部（图像光生成部）；211…右LCD控制部（显示元件、图像光生成部）；212…左LCD控制部（显示元件、图像光生成部）；221…右背光源（图像光生成部）；222…左背光源（图像光生成部）；241…右LCD（显示元件、图像光生成部）；242…左LCD（显示元件、图像光生成部）；251…右投射光学系统（导光部）；252…左投射光学系统（导光部）；261…右导光板（导光部）；262…左导光板（导光部）；280…电源；PCLK…时钟信号；VSync…垂直同步信号；HSync…水平同步信号；Data…图像数据；Data1…右眼用图像数据；Data2…左眼用图像数据；OA…外部设备；SC…外景；VI…虚像；IL…照明光；PL…图像光；VR…视野；n…变量；CP62…外景图像（第2外景图像）；CP63…外景图像（第3外景图像）；O1、O2…中心点；P1～P51…引导标志；EA…重复区域；OB…目标；RE…右眼；LE…左眼；CG、CGa…向导图像；EL、ER…端部；HM、HMa、HMb…头部佩戴型显示装置（头戴式显示器）；AP…前端部；PP…纸；CP…外景图像。

Claims

1.一种头部佩戴型显示装置，其特征在于，

是使用者能够同时视觉确认虚像和外景的头部佩戴型显示装置，

具备：

拍摄部，其拍摄外景来获取外景图像；

增强现实处理部，其解析获取的所述外景图像，并且根据解析的结果来生成增强现实用的附加图像数据；

显示元件，其使用生成的所述附加图像数据来生成图像光；以及

导光部，其使用生成的所述图像光在使用者的眼前形成虚像，

其中，所述增强现实处理部获取所述虚像的显示区域和所述拍摄部的拍摄区域重复的重复区域，并解析所述外景图像，生成改变了重复区域内的附加提示用的信息和重复区域外的附加提示用信息的显示的附加图像数据，其中，重复区域内的附加提示用的信息以可识别内容的方式显示，重复区域外的附加提示用的信息以利用箭头的图标仅表示存在的方式显示。

2.根据权利要求1所述的头部佩戴型显示装置，其特征在于，

还具备存储部，其存储用于对所述使用者显示所述虚像的显示区域的向导图像数据，

所述增强现实处理部使采用了所述向导图像数据的图像光得以生成，并且以在所述虚像的显示区域上表示出规定的标记的方式引导所述使用者，且使所述外景图像得以获取，取得通过解析所获取的所述外景图像而得到的所述标记的位置，并将所得到的所述标记的所述位置作为所述重复区域和其他区域之间的边界。

3.根据权利要求2所述的头部佩戴型显示装置，其特征在于，

所述向导图像数据是具有与所述显示元件相同的纵横比的矩形形状，包含配置在矩形形状的四个角中的至少2个角处的引导标志，

所述增强现实处理部以通过用手指指示所述引导标志而表示出所述标记的方式引导所述使用者。

4.根据权利要求2所述的头部佩戴型显示装置，其特征在于，

所述向导图像数据是具有与所述显示元件相同的纵横比的矩形形状，包含配置在矩形形状的四个角中的至少2个角处的框状的引导标志，

所述增强现实处理部以对准于所述引导标志的框内配置具有矩形形状的侧面的物体而表示出所述标记的方式引导所述使用者。

5.根据权利要求1～4中的任意一项所述的头部佩戴型显示装置，其特征在于，

还具备：

第2拍摄部，其配置在佩戴所述头部佩戴型显示装置时与使用者的右侧的眼睛或者太阳穴或者它们的周边对应的位置，并拍摄外景来获取第2外景图像；以及

第3拍摄部，其配置在佩戴所述头部佩戴型显示装置时与使用者的左侧的眼睛或者太阳穴或者它们的周边对应的位置，并拍摄外景来获取第3外景图像，

所述增强现实处理部进一步求出所述第2外景图像所包含的特定的物体、和所述第3外景图像所包含的所述特定的物体之间的偏差量，并根据求出的所述偏差量来获取与外界的所述物体的景深相关的信息。

6.一种头部佩戴型显示装置的控制方法，其特征在于，

是使用者能够同时视觉确认虚像和外景的头部佩戴型显示装置的控制方法，

具备：

(a)拍摄外景来获取外景图像的工序；

(b)解析获取的所述外景图像，并且根据解析的结果来生成增强现实用的附加图像数据的工序；

(c)使用生成的所述附加图像数据来生成图像光的工序；以及

(d)使用生成的所述图像光在使用者的眼前形成虚像的工序，

其中，在所述工序(b)中，获取所述虚像的显示区域和所述工序(a)的拍摄区域重复的重复区域，并解析所述外景图像，生成改变了重复区域内的附加提示用的信息和重复区域外的附加提示用信息的显示的附加图像数据，其中，重复区域内的附加提示用的信息以可识别内容的方式显示，重复区域外的附加提示用的信息以利用箭头的图标仅表示存在的方式显示。