CN104509108A - 图像显示设备和图像显示方法 - Google Patents

Abstract

本发明的一个目的是在物理世界的图像上以重叠的方式适当地显示图像。光学组件在物理世界的图像上叠置在显示元件中显示的显示图像，并将该显示图像引导至观察者的眼睛。显示控制单元控制在该显示元件上的显示图像的显示尺寸和显示位置，使得该显示图像显示在从物理世界的图像检测的显示重叠区域(平坦区域)。例如，显示控制单元根据物理世界的图像的图像重叠区域的状况来控制显示图像的显示状态。另外，例如，显示控制单元根据观察者的视线选择性地显示视线区域中或视线区域之外的显示图像。

Description

图像显示设备和图像显示方法

技术领域

本技术涉及图像显示设备和图像显示方法，更具体地，涉及诸如被设计成将显示装置上显示的图像叠加在外部图像上并且将该图像引导至观察者的眼睛的光透射头戴式显示器等的图像显示设备。

背景技术

近年来，已知有安装在用户头部上的头戴式显示器(HMD，headmount display)。头戴式显示器原则上被设计成利用放大光学系统将在小尺寸显示装置上显示的图像进行放大并且将该图像引导至观察者的眼睛。即，头戴式显示器被设计成将在显示装置上显示的图像进行光学放大并且允许用户观察作为放大的虚像的图像。

被设计成使观察者不仅能够观察上述虚像，而且能够观察外部图像的光透射头戴式显示器作为这种类型的头戴式显示器是已知的。此光透射头戴式显示器被设计成利用光学系统将在显示装置上显示的图像叠加在外部图像上并且将该图像引导至观察者的眼睛。

由该光透射头戴式显示器再现的虚像的可视性取决于对虚像进行显示的环境。例如，此虚像的显示状态与真实世界的状态之间的不一致妨碍舒适的观察，或者根据虚像的显示位置，虚像的可视性降低。

例如，专利文献1公开了通过考虑观察者关注哪个对象来调节整个图像的深度。例如，专利文献2公开了通过使用视线跟踪技术根据眼睛的会聚来调节虚像的视差。

引用列表

专利文献

专利文献1：JP 05-328408A

专利文献2：JP 10-188034A

发明内容

本发明要解决的问题

通过专利文献1和专利文献2所公开的技术，并未考虑对虚像进行显示的位置和虚像的尺寸。此外，专利文献1和专利文献2中所公开的技术未教导将立体(3D)图像显示为虚像。

本技术目的在于以优选方式在外部图像上叠加并显示显示图像。

问题的解决方案

本技术的思想在于图像显示设备，其包括：

光学系统，该光学系统将在显示装置上显示的显示图像叠加在外部图像上，并且将显示图像引导至观察者的眼睛；以及

显示控制单元，该显示控制单元控制在显示装置上的显示图像的显示尺寸和显示位置，使得显示图像显示在从外部图像检测的图像叠加区域。

在本技术中，在显示装置上显示的图像叠加在外部图像上并且由光学系统被引导至观察者的眼睛。在光学系统是放大光学系统的情况下，在显示装置上显示的图像被光学放大，并且作为放大的虚像被观察者观察到。

显示控制单元控制要在外部图像上叠加并且显示的显示图像的显示尺寸和显示位置。在这种情况下，控制在显示装置上的显示图像的显示尺寸和显示位置，使得显示图像显示在从外部图像检测的图像叠加区域。

例如，基于通过形成外部图像而获得的所拍摄图像数据来检测图像叠加区域。在这种情况下，例如，外部图像中所包括的平坦区域被检测为图像叠加区域。例如，可以在云中执行对图像叠加区域的检测。

例如，显示控制单元可以通过基于与图像叠加区域相关的信息处理(几何变换)用于在显示设备上显示该显示图像的图像数据来控制该显示图像的显示尺寸和显示位置。在这种情况下，以电子方式控制显示图像的显示尺寸和显示位置，并且这种控制更容易。

在上述本技术中，执行显示控制，使得显示图像显示在图像叠加区域，例如从外部图像检测的平坦区域中。因此，观察者更容易视觉识别在外部图像上叠加并且显示的显示图像。

在本技术中，例如，显示控制单元可以根据外部图像中的图像叠加区域的状态来控制显示图像的显示状态。例如，显示控制单元可以根据图像叠加区域的状态来校正用于显示该显示图像的图像数据，使得从观察者要观察的显示图像去除外部图像的成分。在这种情况下，无论外部图像的状态如何，都能够提高显示图像的可视性。

在本技术中，例如，当从外部图像未检测到图像叠加区域时，显示控制单元可以改变该显示图像的显示方式。例如，停止显示。替代地，例如，使用户选择叠加位置，并且显示图像以叠加方式显示在那个位置。替代地，例如，显示图像以叠加方式显示在预设叠加位置。替代地，例如，显示图像显示在之前显示该显示图像的叠加位置。替代地，例如，根据非检测时间的持续时间来改变显示位置或者接通和关断显示。

在本技术中，显示控制单元可通过对显示装置上的显示尺寸和显示位置执行时间平滑来获得用于控制的显示尺寸和显示位置，通过周期性检测的图像叠加区域来确定显示尺寸和显示位置。在这种情况下，例如，即使对于每一帧在周期性检测的图像叠加区域的尺寸和位置上存在大变化，仍能够在外部图像上稳定地叠加并且显示显示图像。

在本技术中，例如，当检测到在外部图像中的变化时，显示控制单元还可以改变显示图像的显示方式。例如，停止显示。替代地，例如，使用户选择叠加位置，并且显示图像以叠加方式显示在那个位置。替代地，例如，显示图像以叠加方式显示在预设叠加位置。替代地，例如，显示图像显示在之前显示该显示图像的叠加位置。替代地，例如，根据改变检测的持续时间来改变显示位置或者接通和关断显示。

在本技术中，例如，光学系统可以包括第一光学系统和第二光学系统，该第一光学系统将在第一显示装置上显示的左眼图像叠加在外部图像上，并且将左眼图像引导至观察者的左眼，该第二光学系统将在第二显示装置上显示的右眼图像叠加在外部图像上，并且将右眼图像引导至观察者的右眼。例如，显示控制单元可以控制左眼图像和右眼图像的视差，使得观察者通过左眼图像和右眼图像感知的立体图像的深度位置定位成比要在外部图像中叠加所述立体图像的区域的深度位置更接近前侧。在这种情况下，能够在外部图像上叠加并且显示显示图像(立体图像)，而不会造成深度上的任何不一致。

本技术的另一思想在于图像显示设备，其包括：

光学系统，该光学系统将在显示装置上显示的显示图像叠加在外部图像上，并且将显示图像引导至观察者；以及

显示控制单元，该显示控制单元具有第一控制模式和第二控制模式，该第一控制模式用于执行控制，使得该显示图像显示于在外部图像中观察者的视线所集中的区域中，该第二控制模式用于执行控制，使得该显示图像显示于在外部图像中所述观察者的视线所集中的区域之外的区域中。

在本技术中，在显示装置上显示的图像叠加在外部图像上，并且通过光学系统引导至观察者的眼睛。在光学系统是放大光学系统的情况下，在显示装置上显示的图像被光学放大，并且作为放大的虚像被观察者观察。

显示控制单元以第一控制模式或第二控制模式来控制要在外部图像上叠加并且显示的显示图像的显示。在第一控制模式中，执行控制，使得显示图像显示于在外部图像中观察者的视线所集中的区域中。在第二控制模式中，执行控制，使得显示图像显示于在外部图像中观察者的视线所集中的区域之外的区域中。

如上所述，在本技术中，能够以第一控制模式或第二控制模式来控制要在外部图像上叠加并且显示的显示图像的显示。即，显示图像能够显示于在外部图像中观察者的视线所集中的区域中，并且显示图像能够显示于在外部图像中观察者的视线所集中的区域之外的区域中，使得显示图像的显示不会妨碍任何活动。

在本技术中，例如，显示控制单元可以在观察者未移动时以第一控制模式执行控制，并且在观察者移动时以第二控制模式执行控制。在这种情况下，当观察者未移动时，控制自动切换至第一控制模式，并且显示图像显示于在外部图像中观察者的视线所集中的区域中。即，在这种情况下，观察者不需要为了集中于显示图像而切换模式，因此，实现了更高的用户友好性。

在本技术中，例如，显示控制单元可以根据在外部图像中要叠加显示图像的区域的状态来改变该图像的显示方式。例如，显示控制单元可以根据该区域的状态来校正用于显示该显示图像的图像数据，使得从观察者要观察的显示图像去除外部图像的成分。在这种情况下，无论外部图像的状态如何，都能够提高显示图像的可视性。

在本技术中，例如，光学系统可以包括第一光学系统和第二光学系统，该第一光学系统将在第一显示装置上显示的左眼图像叠加在外部图像上，并且将左眼图像引导至观察者的左眼，该第二光学系统将在第二显示装置上显示的右眼图像叠加在外部图像上，并且将右眼图像引导至观察者的右眼。例如，显示控制单元可以控制(调节)左眼图像和右眼图像的视差，使得观察者通过左眼图像和右眼图像感知的立体图像的深度位置定位成比将在外部图像中叠加立体图像的区域的深度位置更接近前侧。在这种情况下，能够在外部图像上叠加并且显示显示图像(立体图像)，而不会造成深度上的任何不一致。

本技术的再一思想在于图像显示设备，其包括：

光学系统，该光学系统将在显示装置上显示的显示图像叠加在外部图像上，并且将显示图像引导至观察者的眼睛；以及

显示控制单元，该显示控制单元根据在外部图像中要叠加该显示图像的区域的状态来改变该显示图像的显示状态。

在本技术中，在显示设备上显示的图像叠加在外部图像上，并且通过光学系统引导至观察者的眼睛。在光学系统是放大光学系统的情况下，在显示设备上显示的图像被光学放大，并且作为放大的虚像被观察者观察。

显示控制单元根据在外部图像中要叠加此显示图像的区域的状态来改变该显示图像的显示状态。例如，基于通过形成外部图像而获得的所拍摄图像数据来获取在所述外部图像中的该区域的状态。例如，可在云中获取在外部图像中的该区域的状态。例如，显示控制单元可根据该区域的状态来校正用于显示该显示图像的图像数据，使得从用户要观察的显示图像去除外部图像的成分。

如上所述，在本技术中，根据在外部图像中要叠加此显示图像的区域的状态来改变该显示图像的显示状态。因此，能够从观察者要观察的显示图像去除该外部图像的成分，并且无论外部图像的状态如何，都能够提高显示图像的可视性。

本技术的又一思想在于一种图像显示设备，其包括：

第一光学系统，该第一光学系统将在第一显示装置上显示的左眼图像叠加在外部图像上，并且将左眼图像引导至观察者的左眼，

第二光学系统，该第二光学系统将在第二显示装置上显示的右眼图像叠加在外部图像上，并且将右眼图像引导至观察者的右眼，以及

显示控制单元，该显示控制单元控制左眼图像和右眼图像的视差，使得观察者通过左眼图像和右眼图像感知的立体图像的深度位置定位成比将在外部图像中叠加立体图像的区域的深度位置更接近前侧。

在本技术中，在第一显示设备上显示的左眼图像叠加在外部图像上，并且通过第一光学系统引导至观察者的左眼。同样，在第二显示设备上显示的右眼图像叠加在外部图像上，并且通过第二光学系统引导至观察者的右眼。在光学系统是放大光学系统的情况下，左眼图像和右眼图像被光学放大，并且作为放大的虚像被观察者观察。

显示控制单元控制左眼图像和右眼图像的视差。在这种情况下，控制(调节)左眼图像和右眼图像的视差，使得观察者通过左眼图像和右眼图像感知的立体图像的深度位置定位成比将在外部图像中叠加立体图像的区域的深度位置更接近前侧。

如上所述，在本技术中，基于外部图像中要叠加显示图像(立体图像)的区域的深度位置来控制左眼图像和右眼图像的视差，使得显示图像(立体图像)的深度位置变得比该区域的深度位置更接近前侧。因此，能够在外部图像上叠加并且显示显示图像(立体图像)，而不会造成深度上的任何不一致。

发明的效果

根据本技术，能够以优选方式在外部图像上叠加并显示显示图像。

附图说明

图1是示出作为实施例的光透射(双眼)头戴式显示器的示意性示例结构的示图。

图2(a)至图2(f)是用于解释表示在外部图像中的各个像素的深度位置的视差图和表示在显示图像(立体图像)中的各个像素的深度位置的视差图的示图。

图3是用于解释用于显示尺寸和显示位置的时间平滑处理的示图，用于对显示图像的显示控制。

图4是用于解释关于显示图像(立体图像)的深度位置在深度感上存在不一致的情况的示图。

图5是用于解释关于显示图像(立体图像)的深度位置在深度感上不存在不一致的情况的示图。

图6(a)至图6(e)是用于解释对显示图像(立体图像)的深度位置进行调节使得不会造成深度感上的不一致的要执行的示例处理的示图。

图7(a)至图7(c)是用于解释对显示图像(立体图像)的深度位置进行调节使得不会造成深度感上的不一致的要执行的示例处理的示图。

图8是用于解释显示图像(立体图像)显示于在外部图像中观察者的视线所集中区域之外的区域中的情况的示图。

图9是示出在外部图像中的蓝天部分上的显示图像(立体图像)上叠加的显示的示例的示图。

图10(a)至图10(d)是用于解释将显示图像显示在图像叠加区域例如从外部图像检查的平坦区域中的情况的示图。

图11是示出用于在显示控制单元执行显示控制的过程的示例的流程图。

图12(a)至图12(d)是示意性地示出光透过头戴式显示器的部件的示例布局的示图。

图13是示出光透射头戴式显示器的另一示例结构的示图。

图14是示出光透射头戴式显示器的再一示例结构的示图。

图15是示出光透射头戴式显示器的又一示例结构的示图。

具体实施方式

下面是用于执行本发明的模式(下文中称为“实施例”)。将按照下列顺序进行解释。

1.实施例

2.变形例

<1.实施例>

[光透射头戴式显示器的示例结构]

图1示意性地示出了作为实施例的光透射型的头戴式显示器(HMD)100的示例结构。此示例结构是双眼HMD。此HMD 100包括左玻璃透镜单元101L和右玻璃透镜单元101R。玻璃透镜单元101L和玻璃透镜单元101R通过连接部件102连接成一体。

玻璃透镜单元101L和101R中的每一个均通过将玻璃透镜与全息光学元件(HOE，holographic optical element)片集成来形成。HOE片具有将外部光与显示光结合的类似半反射镜的功能和将显示图像放大的凹面或可调节面的功能。

红外传感器103L和103R分别附接至玻璃透镜单元101L和101R。例如，红外传感器103L设置在玻璃透镜单元101L的在水平方向上的中心位置(左眼光学系统在水平方向上的中心位置)。例如，红外传感器103R也设置在玻璃透镜单元101R的在水平方向上的中心位置(右眼光学系统在水平方向上的中心位置)。

红外传感器103L和103R的传感器输出用于通过巩膜反射法估计眼睛位置。巩膜反射法是利用眼角膜(眼睛黑色部分)与巩膜(眼睛白色部分)之间在反射上的差异的方法。在这种情况下，红外传感器水平地扫描发射至观察者的眼睛上的弱红外光，并且检测反射光。由于在从眼角膜(眼睛黑色部分)反射的光的强度与从巩膜(眼睛白色部分)反射的光的强度之间存在较大差异，所以能够根据传感器输出估计观察者的眼睛的位置。

陀螺传感器104也附接至玻璃透镜单元101L。陀螺传感器104的传感器输出用于确定外部的图像中是否存在变化以及观察者(用户)是否在移动。陀螺传感器104的传感器输出还用于确定观察者通过玻璃透镜单元101L和101R观察的外部的图像中是否存在变化。

摄像机105L也设置在玻璃透镜单元101L在水平方向上的中心位置(左眼光学系统在水平方向上的中心位置)。摄像机105L拍摄用观察者的左眼通过玻璃透镜单元101L观察的外部的图像(左眼影像)并且输出所拍摄的图像数据。类似地，摄像机105R也设置在玻璃透镜单元101R在水平方向上的中心位置(右眼光学系统在水平方向上的中心位置)。摄像机105R拍摄用观察者的右眼通过玻璃透镜单元101R观察的外部的图像(右眼影像)并且输出所拍摄的图像数据。

摄像机105L和105R的输出用于获得与要在其上叠加并且显示立体图像的外部图像的深度位置有关的信息。摄像机105L和105R的输出还用于确定观察者通过玻璃透镜单元101L和101R观察的外部的图像中是否存在变化。摄像机105L和105R的输出用于获得表示要在其上叠加并且显示立体图像的外部图像的状态的信息(例如，亮度信息和色彩信息)。摄像机105L和105R的输出还用于从外部图像检测图像叠加区域或在此实施例中的平坦区域。

HMD 100还包括显示驱动器111L和111R以及显示器112L和112R。例如，显示器112L和112R中的每个均形成有液晶显示器(LCD)。显示器112L由显示驱动器111L基于左眼图像数据进行驱动，并且显示使观察者感知立体图像的左眼图像。显示器112R由显示驱动器111R基于右眼图像数据进行驱动，并且显示使观察者感知立体图像的右眼图像。

HMD 100还包括眼睛位置估计单元121、视线估计单元122、深度/结构估计单元123、显示控制单元124以及待显示图像产生单元125。眼睛位置估计单元121基于来自红外传感器103L和103R的传感器输出来估计观察者的左眼和右眼的位置。视线估计单元122基于由眼睛位置估计单元121执行的左眼位置估计和右眼位置估计的结果来估计观察者的视线。

深度/结构估计单元123基于来自摄像机105L和105R所拍摄的图像数据来计算表示外部图像中的每个像素的深度位置的视差图。图2(a)示出了外部图像的左眼影像和右眼影像的示例，而图2(b)示出了与左眼影像和右眼影像对应的视差图的示例。此示例是通过将各个像素的视差作为像素数据来显示而形成的图像，并且在更接近前侧的深度位置示出更亮的部分。图2(c)示出了整个屏幕的视差直方图的示例。

深度/结构估计单元123还基于用作显示图像数据的左眼图像数据和右眼图像数据来计算表示显示图像(立体图像)中的各个像素的深度位置的视差图。图2(d)示出了左眼图像和右眼图像的示例，而图2(e)示出了与左眼图像和右眼图像对应的视差图的示例。此示例也是通过将各个像素的视差作为像素数据来显示而形成的图像，并且在更接近前侧的深度位置示出更亮的部分。图2(f)示出了整个屏幕的视差直方图的示例。

深度/结构估计单元123还基于来自摄像机105L和105R所拍摄图像数据从外部图像检测图像叠加区域。例如，深度/结构估计单元123检测在水平方向和竖直方向上仅包含低频成分的区域(平坦区域)作为图像叠加区域。图像叠加区域当然是要以叠加方式显示该显示图像的区域，因此，在水平方面和竖直方向上具有足够的尺寸。在这种情况下，不仅可以从外部图像检测一个图像叠加区域，而且可以检测多于一个的图像叠加区域。

深度/结构估计单元123还基于所检测的图像叠加区域确定显示图像的显示尺寸和显示位置。循环地或针对每一帧执行上述图像叠加区域检测，例如，深度/结构估计单元123还确定每一帧的显示图像的显示尺寸和显示位置。

为了使显示图像的显示尺寸和显示位置稳定，深度/结构估计单元123对针对各个帧确定的显示尺寸和显示位置执行时间平滑，并且确定用于显示控制的显示尺寸和显示位置。图3示出了用于显示位置的时间平滑处理的示例。执行坐标过滤(例如，平均，IIR，多数决定运算等)，以实现时间稳定化。例如，在为了平均而过滤的情况中，实际使用的显示区域的坐标(x，y)基于下面示出的数学公式(1)来确定。

[数学公式1]

$(x,y)=(\frac{1}{N}\mathrm{\&Sigma;}{x}_i,\frac{1}{N}\mathrm{\&Sigma;}{y}_i)i=0,...,N-1...\left(1\right)$

深度/结构估计单元123还基于以上述方式确定的用于显示控制的显示尺寸和显示位置来确定显示图像(立体图像)的深度位置。在这种情况下，深度/结构估计单元123确定显示图像的深度位置，使得显示图像的深度位置被定位成比要以叠加方式显示的显示图像在外部图像中的区域的深度位置更接近前侧。

如上所述确定深度位置，从而避免当显示图像(立体图像)被叠加并且显示在外部的图像(其是真实世界)上时深度感上的任何不一致。图4示意性地示出了造成了不一致的情况。如果在外部图像中的对象A的深度位置更接近前侧而在显示图像中的对象B的深度位置更接近于后侧的情况下执行叠加显示，则对象A被对象B分开，给了观察者不自然的深度感。例如，这种深度感上的不一致使观察者感到疲劳。

图5示意性地示出了通过将显示图像(立体图像)放置在比显示图像要以叠加方式显示在外部图像中的区域更接近于前侧的深度位置来避免深度感上的不一致。当在外部图像中的对象A的深度位置更接近前侧而在显示图像中的对象B的深度位置更接近于后侧的情况下，使对象B的深度位置比对象A的深度位置更接近于前侧时，即使对象A被对象B分开，观察者仍能够有自然的深度感。在以这种方式调节深度感时，观察者能够舒适地观察对象，而不会感到疲劳。

具体地，深度/结构估计单元123确定要提供给左眼图像和右眼图像的视差。深度/结构估计单元123确定Ha，Ha是具有如上所述确定的显示尺寸和显示位置的显示图像以叠加方式显示在外部图像中的区域中视差的平均。深度/结构估计单元123还确定Hb，Hb是具有如上所述确定的显示尺寸的整个显示图像中的视差的平均。应注意的是，通过在借助于n(n是显示尺寸的放大率)的上述尺寸调节之前计算显示图像中的视差的平均(参见图2(f))，能够获得Hb。

例如，现在描述显示图像叠加在外部图像上并且如图6(a)中所示进行显示的情况。在这种情况下，如图6(b)中所示，使用其中显示图像的左眼图像和右眼图像在外部图像的左眼影像和右眼影像的视差图中以叠加方式显示的区域(通过矩形框表示)中的视差，如图6(c)中所示，视差的平均是Ha。

在图6(b)中，每个矩形框用两条线描绘，内部线与如上所述确定的显示尺寸和显示位置匹配，外部线通过对内部线加边来确定。外部矩形框用作用于获得Ha的区域。这是因为，在使显示图像(立体图像)的深度位置比外部图像的深度位置更接近前侧时，视差调节可以通过如后面描述的改变左眼图像和右眼图像的相对位置来执行。

图6(d)示出了在尺寸调节之前整个显示图像的视差直方图(与图2(f)相同)。图6(e)示出了在显示尺寸除以n之后整个显示图像的视差直方图，并且视差的平均Hb是在尺寸调节之前整个显示屏幕中的视差的n倍。

深度/结构估计单元123将以上述方式确定的关于外部图像的视差平均Ha与关于显示图像的视差平均Hb相比较。然后，深度/结构估计单元123确定显示图像(立体图像)的深度位置是否定位成比外部图像中的相应区域的深度位置更接近前侧特定距离或更多，或者视差平均Hb相对于视差平均Ha的视差平均差异是否是H0或更大，这满足上面的条件。

当视差平均差异小于H0时，深度/结构估计单元123调节在水平方向上的左眼图像和右眼图像的显示位置中的一个或两个，从而使视差平均Hb具有等于或大于H0的视差平均差异。图7(a)示出了显示位置调节之前视差平均Ha和Hb的示例，并且示出了视差平均差异小于H0的情况。在这种情况下，如图7(b)中所示，调节在水平方向上的左眼图像和右眼图像的显示位置中的一个或两个，使得视差平均差异等于或大于H0。

在上面的描述中，调节在水平方向上的左眼图像和右眼图像的显示位置中的一个或两个，使得视差平均Hb相对于视差平均Ha的视差平均差异变得等于或大于H0。替代地，例如，如图7(c)中所示，可以调节在水平方向上的左眼图像和右眼图像的显示位置中的一个或两个，使得在外部图像的视差直方图中的视差的90％与显示图像的视差直方图中的视差的10％之间的差异变得等于或大于预定阈值。

显示控制单元124基于由视线估计单元122执行的视线估计的结果、陀螺传感器104的传感器输出、与由深度/结构估计单元123确定的显示图像的显示尺寸和显示位置相关的信息等来控制显示图像的显示。尽管在图中未示出，但用户操作信号也提供至显示控制单元124。

在通过用户操作发出显示显示图像的指令的情况下，显示控制单元124主要控制显示图像的显示，使得显示图像以由深度/结构估计单元123确定的显示尺寸和显示位置显示。

当深度/结构估计单元123未检测到作为图像叠加区域的任何平坦区域时，或者当未从深度/结构估计单元123提供关于显示尺寸和显示位置的任何信息时，显示控制单元124改变显示条件。

例如，显示控制单元124执行控制，使得显示图像的显示停止。替代地，例如，显示条件控制单元124执行控制，以使用户选择叠加位置，从而使得显示图像显示在那个位置。替代地，例如，显示条件控制单元124执行控制，使得显示图像显示在预设叠加位置。替代地，例如，显示条件控制单元124执行控制，使得显示图像显示在之前显示的叠加位置。

显示控制单元124还根据非检测时间的持续时间来控制显示图像的显示位置或者对显示图像的显示的接通和关断。在这种情况下，执行控制，使得显示图像在之前的显示位置显示，直到持续时间达到第一时间点；执行控制，使得在达到过了第一时间点之后，显示图像显示在预设位置，直到持续时间达到第二时间点；以及执行控制，使得当持续时间过了第二时间点时，停止显示。

当进行检查以确定外部图像中是否存在变化和是否基于陀螺传感器104检测到变化时，显示控制单元124也改变显示条件。例如，显示条件控制单元124执行控制，使得显示图像的显示停止。替代地，例如，显示条件控制单元124执行控制，以使用户选择叠加位置，从而使得显示图像显示在那个位置。替代地，例如，显示条件控制单元124执行控制，使得显示图像显示在预设叠加位置。替代地，例如，显示条件控制单元124执行控制，使得显示图像显示在之前显示的叠加位置。

显示控制单元124还根据变化的持续时间来控制显示图像的显示位置或者对显示图像的显示的接通和关断。在这种情况下，执行控制，使得在之前的显示位置显示显示图像，直到持续时间达到第一时间点；执行控制，使得在达到过了第一时间点之后，显示图像显示在预设位置，直到持续时间达到第二时间点；以及执行控制，使得当持续时间过了第二时间点时，停止显示。

显示控制单元124还基于来自视线估计单元122的视线估计结果来改变显示条件。根据用户(观察者)设定的模式，显示条件控制单元124以下述方式执行控制。用户能够设置“自动控制模式”、“第一控制模式”或“第二控制模式”。

在设置“第一控制模式”的情况下，显示控制单元124执行控制，使得显示图像显示在视线所集中的区域中或者与视线匹配的区域中。在设置“第二控制模式”的情况下，显示控制单元124执行控制，使得显示图像显示在视线所集中区域之外的区域中或者与视线匹配的区域之外的区域中。

在设置了“自动控制模式”的情况下，显示控制单元124根据用户(观察者)是否移动，以下述方式执行控制。具体地，当用户未移动时，显示控制单元124执行控制，使得显示图像显示在视线所集中的区域中，与设置了“第一控制模式”的情况中一样。当用户移动时，显示控制单元124执行控制，使得显示图像显示在视线所集中的区域之外的区域中，与设置了“第二控制模式”的情况一样。显示控制单元124基于陀螺传感器104的传感器输出来确定观察者是否移动。

在显示控制单元124的控制下，待显示图像产生单元125产生用于显示的左眼图像数据和右眼图像数据，使得在显示图像的显示时间，显示图像以由深度/结构估计单元123确定的显示尺寸和显示位置显示。在这种情况下，对从外部提供的左眼图像数据和右眼图像数据执行还原处理和移动处理(几何变换处理)，以获得用于显示的左眼图像数据和右眼图像数据。在显示控制单元124的控制下，待显示图像产生单元125还校正用于显示的左眼图像数据和右眼图像数据，使得显示图像的显示状态根据外部图像中要显示该显示图像的区域的状态而变换。在这种情况下，执行校正，使得从观察者要观察的显示图像去除外部图像的元素(成分)。

现在描述待显示图像产生单元125要执行的图像数据校正的示例。外部图像由Ireal表示，显示图像由Idisp表示。Ireal和Idisp中的每个均划分成块，每个块包括(N×N)个像素。在外部图像Ireal中在坐标(i，j)处的像素由Ireal(i，j)来表示，在显示图像Idisp中在坐标(i，j)处的像素由Idisp(i，j)来表示。

关于在坐标(s，t)的块中的每个像素的数据，待显示图像产生单元125如在下面示出的数学公式(2)中所表示的来执行校正。这里，α表示校正系数，并且用户(观察者)能够根据需要调节校正系数的值。另外，clip(x)表示对x执行饱和度计算成为特定值范围(例如，0-255)的函数。尽管没有详细地描述，但对红、绿以及蓝各个颜色的数据执行此像素数据校正。

[数学公式2]

${I^{\&prime;}}_{\mathrm{disp}}(i,j)=\mathrm{clip}(I_{\mathrm{disp}}(i,j)-\mathrm{\&alpha;}\frac{1}{N^2}\underset{(i,j)\&Element;\mathrm{block}(s,t)}{\mathrm{\&Sigma;}}{I}_{\mathrm{real}}(i,j))...\left(2\right)$

关于括号中的第二项，如下面所示的数学公式(3)中所表示的那样，可以使用通过对周围块的校正值进行平滑所获得的值。

[数学公式3]

$\frac{1}{{9N}^2}\underset{-1\&le;v\&le;1}{\underset{-1\&le;u\&le;1}{\mathrm{\&Sigma;}}}\underset{(i,j)\&Element;\mathrm{block}(s+u,t+v)}{\mathrm{\&Sigma;}}{I}_{\mathrm{real}}(i,j)...\left(3\right)$

现在描述图1中所示的HMD 100的操作。由待显示图像产生单元125产生的左眼图像数据被提供至显示驱动器111L。显示器112L由此显示驱动器111L驱动，并且左眼图像显示在此显示器112L上。同时，由待显示图像产生单元125产生的右眼图像数据被提供至显示驱动器111R。显示器112R由此显示驱动器111R驱动，并且右眼图像显示在此显示器112R上。

来自显示在显示器112L上的左眼图像的光在玻璃透镜单元101L处叠加在外部图像上，并且到达观察者的左眼。结果，用观察者的左眼观察到叠加在外部图像上的左眼图像(左眼影像)。类似地，来自显示在显示器112R上的右眼图像的光在玻璃透镜单元101R处叠加在外部图像上，并且到达观察者的右眼。结果，用观察者的右眼观察到叠加在外部图像上的右眼图像(右眼影像)。由于分别用观察者的左眼和右眼来观察叠加在外部图像上的左眼图像和右眼图像，所以观察者将在外部图像上叠加并且显示的显示图像感知为立体(3D)图像。

在玻璃透镜单元101L在水平方向上的中心位置(左眼光学系统在水平方向上的中心位置)设置的红外传感器103L的传感器输出被提供至眼睛位置估计单元121。类似地，在玻璃透镜单元101R在水平方向上的中心位置(右眼光学系统在水平方向上的中心位置)设置的红外传感器103R的传感器输出被提供至眼睛位置估计单元121。

眼睛位置估计单元121基于来自红外传感器103L和103R的传感器输出来估计观察者的左眼位置和右眼位置。然后，视线估计单元122基于由眼睛位置估计单元121执行的左眼位置估计和右眼位置估计的结果来估计观察者的视线。此视线估计的结果被提供至显示控制单元124。

附接至玻璃透镜单元101L的陀螺传感器104的传感器输出被提供至显示控制单元124。在玻璃透镜单元101L在水平方向上的中心位置(左眼光学系统在水平方向上的中心位置)设置的摄像机105L的输出(所拍摄的左眼图像数据)被提供至深度/结构估计单元123。

类似地，在玻璃透镜单元101R在水平方向上的中心位置(右眼光学系统在水平方向上的中心位置)设置的摄像机105R的输出(所拍摄的右眼图像数据)被提供至深度/结构估计单元123。作为显示图像数据的左眼图像数据和右眼图像数据还被提供至深度/结构估计单元123。

深度/结构估计单元123基于来自摄像机105L和105R的所拍摄图像数据从外部图像检测平坦区域作为图像叠加区域。然后，深度/结构估计单元123基于检测到的平坦区域确定显示图像的显示尺寸和显示位置。在这种情况下，对针对各个帧确定的显示尺寸和显示位置执行时间平滑，并且使显示图像的显示尺寸和显示位置稳定。

深度/结构估计单元123还基于来自摄像机105L和105R的所拍摄图像数据来计算表示在外部图像中的各个像素的深度位置的视差图，并且基于作为显示图像数据的左眼图像数据和右眼图像数据来计算表示显示图像(立体图像)中的各个像素的深度位置的视差图。然后，深度/结构估计单元123基于以上述方式确定的用于显示控制的显示尺寸和显示位置以及以上述方式计算的视差图，确定显示图像(立体图像)的深度位置。在这种情况下，确定显示图像的深度位置，使得显示图像定位成比显示图像将以叠加方式显示在外部图像中的区域的深度位置更接近前侧。

深度/结构估计单元123确定显示图像(立体图像)的深度位置是否满足显示图像定位在与对应于外部图像的区域的深度位置相距特定距离或更远的前侧的条件。如果该条件不满足，则深度/结构估计单元123执行视差调节，以调节在水平方向上的左眼图像和右眼图像的显示位置中的一个或两个，使得条件满足。与由深度/结构估计单元123以此方式确定的用于显示控制的显示尺寸和显示位置相关信息被提供至显示控制单元124。

显示控制单元124基于视线估计单元122所执行的视线估计的结果、陀螺传感器104的传感器输出以及与深度/结构估计单元123所确定的显示尺寸和显示位置相关的信息来控制显示图像的显示。在这种情况下，显示控制单元124主要是执行控制，使得显示图像在显示图像的显示时间以由深度/结构估计单元123确定的显示尺寸和显示位置显示。

当深度/结构估计单元123未检测到作为图像叠加区域的平坦区域时，显示控制单元124改变显示的方式。当基于陀螺传感器104检测到外部图像中的变化时，显示控制单元124也改变显示的方式。

显示控制单元124还基于来自视线估计单元122的视线估计结果改变显示的方式。此控制根据用户(观察者)设定的模式来执行。例如，用户能够设置“自动控制模式”、“第一控制模式”或“第二控制模式”。

在设置“第一控制模式”的情况下，执行控制，使得显示图像显示在视线所集中的区域。在设置“第二控制模式”的情况下，执行控制，使得显示图像显示在视线所集中区域之外的区域。在设置“自动模式”的情况下，当观察者移动时，执行控制，使得显示图像显示在视线所集中的区域之外；并且当观察者未移动时，执行控制，使得显示图像显示在视线所集中的区域。

如上所述，在设置“第二控制模式”的情况下，显示图像(立体图像)能够显示在外部图像中观察者的视线所集中的区域之外的区域，并且显示图像能够以不妨碍任何活动的这种方式进行显示。在这种情况下，观察者在做其他一些事情的同时观看显示图像。图8示出这种显示器的示例。在显示器的此示例中，观察者的视线集中在厨房的炉子上，因此，显示图像显示在远离炉子部分的墙壁部分。

作为显示图像数据的左眼图像数据和右眼图像数据被提供至待显示图像产生单元125。来自摄像机105L和105R的所拍摄图像数据还提供至此待显示图像产生单元125。在显示控制单元124的控制下，待显示图像产生单元125产生用于显示显示图像的左眼图像数据和右眼图像数据，使得显示图像以所确定的显示尺寸和所确定的显示位置显示。

在这种情况下，对从外部提供的左眼图像数据和右眼图像数据执行还原处理和移动处理，以获得用于显示的左眼图像数据和右眼图像数据。在这种情况下，以电子方式改变显示尺寸和显示位置。当显示图像的显示停止时，停止产生左眼图像数据和右眼图像数据。

待显示图像产生单元125还校正左眼图像数据和右眼图像数据，使得显示图像的显示状态根据显示图像将在外部图像中显示的区域的状态而改变(参见数学公式(2))。当以这种方式校正图像数据，无论外部图像的状态如何都能够增加显示图像的可视性。

图9示出在外部图像中的蓝天部分上叠加地显示显示图像(立体图像)的示例。如果在这种情况下还未对图像数据进行校正，则由于蓝天的影响，显示图像对于观察者表现为带有蓝色。然而，当在此实施例中校正了图像数据，则减小了蓝天的影响，并且观察者能够观看处于较佳状态中的显示图像。

待显示图像产生单元125所产生的用于显示的左眼图像数据被提供至显示驱动器111L，并且对应于该左眼图像数据的左眼图像显示在显示器112L上。待显示图像产生单元125所产生的用于显示的右眼图像数据被提供至显示驱动器111R，并且对应于该右眼图像数据的右眼图像显示在显示器112R上。

结果，叠加在外部图像上的左眼图像和右眼图像分别由观察者的左眼和右眼来观察，并且在外部图像上以适当位置和适当尺寸叠加并且显示的显示图像(立体图像)被观察者以外部图像的前面的深度位置感知。

在这种情况下，显示图像主要显示在图像叠加区域，例如从外部图像检测的平坦区域，因此，对于观察者来说更容易在视觉上识别在外部图像上叠加并且显示的显示图像。现在将描述外部图像是图10(a)中所示的外部图像并且显示图像是图10(b)中所示的显示图像的示例情况。

在这种情况下，在图10(a)中的中上侧上示出的墙壁部分中的平坦区域被检测为图像叠加区域。图10(b)中示出的显示图像的显示尺寸和显示位置如图10(c)中所示进行调节，使得显示图像显示在此平坦区域中。然后，如图10(d)中所示，在外部图像上叠加并且显示显示图像。

图11中的流程图示出了用于在图1中示出的HMD 100的显示控制单元124处执行显示控制的过程的示例。在步骤ST1，例如，当用户执行接通电源操作时，显示控制单元124开始操作。在步骤ST2，例如，显示控制单元124将显示图像的显示位置初始化成预设值。针对以此方式初始化的显示位置唯一地确定显示尺寸。

在步骤ST3，显示控制单元124确定是否要执行图像显示。例如，如果由用户执行图像显示设定操作，则显示控制单元124确定出要执行图像显示。当要执行图像显示时，在步骤ST4中，显示控制单元124确定用户所设定的模式的值。

当设定模式的值表示“第二控制模式”时，在步骤ST5中，显示控制单元124在外部图像中选择视线外的区域作为要显示的对象。当设定模式的值表示“第一控制模式”时，在步骤ST6中，显示控制单元124在外部图像中选择与视线匹配的区域作为要显示的对象。

当设定模式的值表示“自动模式”时，在步骤ST7中，显示控制单元124确定用户是否正在移动。如果用户正在移动，则在步骤ST5中显示控制单元124在外部图像中选择视线之外的区域作为要显示的对象。如果用户没有移动，则在步骤ST6，显示控制单元124在外部图像中选择与视线匹配的区域作为要显示的对象。

在执行了步骤ST5或ST6的过程之后，显示控制单元124继续进行至步骤ST8的过程。在步骤ST8，显示控制单元124在要显示的对象中选择平坦区域作为显示位置。当要显示的对象中存在一个以上的平坦区域时，选择面积最大的区域作为显示位置。以这种方式，确定显示图像的显示尺寸和显示位置。

在步骤ST9中，显示控制单元124确定外部图像中是否存在变化。如果在外部图像中存在变化，则在步骤ST10中确定变化的持续时间。如果持续时间短于“th1”，则在步骤ST11，显示控制单元124不会改变显示位置。如果持续时间等于或长于“th1”但是短于“th2”，则在步骤ST12，显示控制单元124将显示位置改成预设位置。如果持续时间等于或长于“th2”，则在步骤ST13，显示控制单元124停止对显示图像的显示。

在执行了步骤ST13的过程之后，显示控制单元124返回至步骤ST2的过程，并且重复与上述过程相同的过程。在执行了步骤ST11或ST12的过程之后，显示控制单元124继续进行至步骤ST14的过程。在步骤ST14中，显示控制单元124对显示位置(显示尺寸)执行时间平滑。以这种方式，甚至是显示位置(显示尺寸)的快速变换也能够变成平滑变化。

在步骤ST15中，显示控制单元124根据外部图像的深度位置调节显示图像(立体图像)的深度位置。如上所述，当显示图像要显示在外部图像的平坦区域中时，通过根据从深度/结构估计单元123提供的显示尺寸和显示位置产生用于显示的左眼图像数据和右眼图像数据来调节显示图像的深度位置。在显示图像要显示在预设位置的情况下，根据在预设位置的外部图像的深度位置，在水平方向上移动和调节左眼显示图像和右眼显示图像的显示位置。

在步骤ST16中，显示控制单元124根据外部图像中显示区域的状态来校正用于显示的左眼图像数据和右眼图像数据。在步骤ST17中，显示控制单元124执行图像显示，具体地，从待显示图像产生单元125将用于显示的左眼图像数据和右眼图像数据分别提供至显示驱动器111L和显示驱动器111R，并且左眼图像和右眼图像显示在显示器112L和112R上。

在步骤ST18中，显示控制单元124确定成像是否结束。例如，如果用户执行了图像显示取消操作，则显示控制单元124确定成像已结束。如果成像已结束，则在步骤ST19，显示控制单元124结束显示控制处理。如果成像还未结束，则显示控制单元124返回步骤ST3，并且重复与上述那些过程相同的过程

为了易于解释，图11中的流程图中所示的过程的上述示例是基于在要显示的对象中一直存在平坦区域的假设。然而，可能存在这样的情况：在步骤ST5或ST6中被选择为要显示的对象的区域中不存在任何平坦区域。在这种情况下，例如，显示控制单元124根据如上所述的平坦区域非检测时间的持续时间来控制显示图像的显示位置，或者控制对显示的接通和关断。

在HMD主体中不需要包括图1中所示的HMD 100的所有部件。而是，部件中的一些可以放置在以有线或无线方式连接至HMD的控制盒中，或者部件中的一些可以放置在经由网络连接至HMD的云中。

图12(a)至图12(d)示意性地示出了HMD 100的各个部件的示例布局。图12(a)示出了HMD 100的所有部件放置在HMD主体中的情况。图12(b)示出了HMD 100的一些部件放置在控制盒中的情况。在这种情况下，例如，眼睛位置估计单元121、视线估计单元122、深度/结构估计单元123、显示控制单元124以及待显示图像产生单元125放置在控制盒中，其余部件放置在HMD主体中。

图12(c)示出了HMD 100的一些部件放置在云中的情况。在这种情况下，例如，眼睛位置估计单元121、视线估计单元122、深度/结构估计单元123、显示控制单元124以及待显示图像产生单元125放置在云中，其余部件放置在HMD主体中。

图12(d)示出了HMD 100的一些部件放置在控制盒和云中的情况。在这种情况下，例如，眼睛位置估计单元121、视线估计单元122以及待显示图像产生单元125放置在控制盒中，深度/结构估计单元123和显示控制单元124放置在云中，并且其余部件放置在HMD主体中。

如上所述，在图1中所示的HMD 100中，执行显示控制，使得显示图像显示在图像叠加区域，例如从外部图像检测的平坦区域，因此，对于观察者(用户)而言更容易在视觉上识别在外部图像上叠加并且显示的显示图像。

另外，在图1中所示的HMD 100中，能够以“第一控制模式”或“第二控制模式”控制要在外部图像上叠加并且显示的显示图像的显示。具体地，显示图像能够显示于在外部图像中观察者(用户)的视线所集中的区域中，或者显示图像能够显示于在外部图像中观察者的视线所集中的区域之外的区域中，使得显示图像的显示不会妨碍任何活动。

另外，在图1中示出的HMD 100中，设定“自动模式”，使得当观察者(用户)没有移动时，以“第一控制模式”执行控制，并且当观察者(用户)移动时，以“第二控制模式”执行控制。因此，当观察者没有移动时，控制自动切换至“第一控制模式”，并且显示图像显示于在外部图像中观察者的视线所集中的区域中。即，在这种情况下，观察者不需要为了集中于显示图像而切换模式，因此，实现了更高的用户友好性。

另外，在图1中所示的HMD 100中，根据显示图像要叠加在外部图像上的区域的状态来改变显示图像的显示状态。因此，观察者(用户)能够从将被观察的显示图像中去除外部图像的成分，并且无论外部图像的状态如何，都能够提高显示图像的可视性。

另外，在图1中示出的HMD 100中，基于在外部图像中要叠加显示图像(立体图像)的区域的深度位置来控制左眼图像和右眼图像的视差，使得显示图像(立体图像)的深度位置变得比该区域的深度位置更接近于前侧。因此，显示图像(立体图像)能够叠加并且显示在外部图像上，而不会造成深度上的任何不一致。

<2.变形例>

在上述实施例中，深度/结构估计单元123基于来自摄像机105L和105R的所拍摄图像数据来计算表示在外部图像中的每个像素的深度位置的视差图。然而，如图13中所示，可以形成这样的HMD 100A，其中，距离测量传感器106设置在连接部件102处，并且深度/结构估计单元123基于距离测量传感器106的传感器输出来计算表示在外部图像中的各个像素的深度位置的视差图。

另外，在上述实施例中，用于显示的左眼图像数据和右眼图像数据不同于由摄像机105L和105R所获得的外部图像的所拍摄左眼图像数据和右眼图像数据。然而，如图14中所示，可形成使用所拍摄左眼图像数据和右眼图像数据作为用于显示的左眼图像数据和右眼图像数据的HMD100B。

尽管在上面的实施例中已描述了双眼HMD的示例，但本技术还能够应用于单眼HMD。图15示出了单眼HMD 100C的示例结构。在图15中，与图1中所示的那些部件相同的部件通过与图1中所使用的附图标记相同的附图标记来表示，并且本文不再重复对这些部件的解释。

此HMD 100C作为单眼HMD具有一个玻璃透镜单元101，而图1中所示的HMD 100具有两个玻璃透镜单元101L和101R。以与图1中示出的HMD 100中的红外传感器103L和103R相同的方式起作用的红外传感器103设置在玻璃透镜单元101在水平方向上的中心位置(光学系统在水平方向上的中心位置)。此红外传感器103的传感器输出被发送至眼睛位置估计单元114。

也将陀螺传感器104附接至玻璃透镜单元101。陀螺传感器104的传感器输出用于确定在外部的图像中是否存在变化以及观察者(用户)是否移动。此陀螺传感器104的传感器输出被发送至显示控制单元124。

摄像机105也设置在玻璃透镜单元101在水平方向上的中心位置(光学系统在水平方向上的中心位置)。摄像机105以与图1中示出的HMD100中的摄像机105L和105R相同的方式起作用，拍摄用观察者的左右或右眼通过玻璃透镜单元101观察的外部图像，并且输出所拍摄的图像数据。所拍摄的图像数据被发送至结构估计单元123C。

眼睛位置估计单元121基于来自红外传感器103的传感器输出来估计观察者的眼睛(左眼或右眼)的位置。视线估计单元122基于由眼睛位置估计单元121执行的眼睛位置估计的结果来估计观察者的视线。此视线估计的结果提供至显示控制单元124。

结构估计单元123C基于来自摄像机105的所拍摄的图像数据从外部图像检测平坦区域作为图像叠加区域。然后，结构估计单元123基于所检查的平坦区域来确定显示图像的显示尺寸和显示位置。在这种情况下，对针对各个帧所确定的显示尺寸和显示位置执行时间平滑，并且使显示图像的显示尺寸和显示位置稳定。与由结构估计单元123C以此方式确定的用于显示控制的显示尺寸和显示位置相关的信息被提供至显示控制单元124。

显示控制单元124基于视线估计单元122所执行的视线估计的结果、陀螺传感器104的传感器输出以及与由结构估计单元123C确定的显示尺寸和显示位置相关的信息来控制显示图像的显示。在这种情况下，显示控制单元124主要执行控制，使得在显示图像显示时，该显示图像以由结构估计单元123C确定的显示尺寸和显示位置显示。

当结构估计单元123C未检测到作为图像叠加区域的平坦区域时，显示控制单元124改变显示的方式。当基于陀螺传感器104检测到外部图像中的变化时，显示控制单元124也改变显示的方式。

显示控制单元124还基于从视线估计单元122得到的视线估计结果来改变显示的方式。该控制根据用户(观察者)设定的模式来执行。例如，用户能够设定“自动控制模式”、“第一控制模式”或“第二控制模式”。

在设置“第一控制模式”的情况下，执行控制，使得显示图像显示在视线所集中的区域。在设置“第二控制模式”的情况下，执行控制，使得显示图像显示在视线所集中区域之外的区域。在设置“自动模式”的情况下，执行控制，使得当观察者在移动时，显示图像显示在视线所集中的区域之外；并且执行控制，使得当观察者未移动时，显示图像显示在视线所集中的区域。

将图像数据提供至待显示图像产生单元125。来自摄像机105的所拍摄图像数据也提供至此待显示图像产生单元125。在显示控制单元124的控制下，待显示图像产生单元125产生用于显示显示图像的图像数据，使得显示图像以所确定的显示尺寸和所确定的显示位置显示。

在这种情况下，对从外部提供的图像数据执行还原处理和移动处理，以产生用于显示的图像数据。当显示图像的显示停止时，图像数据的产生停止。待显示图像产生单元125还校正用于显示的图像数据，使得显示图像的显示状态根据该显示图像要在外部图像中显示的区域的状态而变化(参见数学公式(2))。

尽管本文中没有描述图15中的HMD 100C的其他方面，但HMD100C具有与图1中所示的HMD 100相同的设计，以与HMD 100相同的方式操作，并且能够实现与HMD 100的那些效果相同的效果。

在上述实施例中，通过使用红外传感器的传感器输出来估计眼睛位置和视线。然而，用于估计观察者(用户)的视线的结构不限于该结构。例如，还可以使用EOG(眼电图，Electro-Oculogram)方法、面部识别技术等。

在上述实施例中，本技术应用于光透射头戴式显示器。然而，本技术不限于应用于光透射头戴式显示器，而还能够应用于其他透射显示设备。在这种情况下，不必一定显示虚像。

本技术还可以以下述结构来体现。

(1)一种图像显示设备，包括：

光学系统，所述光学系统配置成将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛；以及

显示控制单元，所述显示控制单元配置成控制所述显示装置上的所述显示图像的显示尺寸和显示位置，使得所述显示图像显示在从所述外部图像检测的图像叠加区域中。

(2)根据(1)的图像显示设备，其中，基于通过拍摄所述外部图像而获得的所拍摄图像数据来检测所述图像叠加区域。

(3)根据(1)或(2)的图像显示设备，其中，所述显示控制单元通过基于与所述图像叠加区域相关的信息处理用于在所述显示装置上显示所述显示图像的图像数据来控制所述显示图像的显示尺寸和显示位置。

(4)根据(1)至(3)中任意一项的图像显示设备，其中，所述显示控制单元根据所述外部图像中的所述图像叠加区域的状态来改变所述显示图像的显示状态。

(5)根据(4)的图像显示设备，其中，所述显示控制单元根据所述图像叠加区域的状态来校正用于显示所述显示图像的图像数据，使得从将由所述观察者观察的所述显示图像中去除所述外部图像的成分。

(6)根据(1)至(5)中任意一项的图像显示设备，其中，当从所述外部图像未检测到所述图像叠加区域时，所述显示控制单元改变所述显示图像的显示方式。

(7)根据(1)至(6)中任意一项的图像显示设备，其中，所述显示控制单元通过对所述显示装置上的显示尺寸和显示位置执行时间平滑来获得与所述控制有关的显示尺寸和显示位置，所述显示尺寸和显示位置通过周期性检测的图像叠加区域来确定。

(8)根据(1)至(7)中任意一项的图像显示设备，其中，当检测到在所述外部图像中的变化时，所述显示控制单元改变所述显示图像的显示方式。

(9)根据(1)至(8)中任意一项的图像显示设备，其中，

所述光学系统包括：第一光学系统和第二光学系统，所述第一光学系统配置成将在第一显示装置上显示的左眼图像叠加在外部图像上，并且将所述左眼图像引导至所述观察者的左眼，所述第二光学系统配置成将在第二显示装置上显示的右眼图像叠加在外部图像上，并且将所述右眼图像引导至所述观察者的右眼，以及

所述显示控制单元控制所述左眼图像和所述右眼图像的视差，使得将由所述观察者通过所述左眼图像和所述右眼图像感知的立体图像的深度位置定位成比所述外部图像中以叠加方式显示所述立体图像的区域的深度位置更接近前侧。

(10)一种图像显示方法，包括如下步骤：

将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛，通过光学系统来执行对所述显示图像的叠加和引导；以及

控制在所述显示装置上的所述显示图像的显示尺寸和显示位置，使得所述显示图像显示在从所述外部图像检测的图像叠加区域。

(11)一种图像显示设备，包括：

光学系统，所述光学系统配置成将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者；以及

显示控制单元，所述显示控制单元具有第一控制模式和第二控制模式，所述第一控制模式用于执行控制，使得所述显示图像显示于在所述外部图像中所述观察者的视线所集中的区域中，所述第二控制模式用于执行控制，使得所述显示图像显示于在所述外部图像中所述观察者的视线所集中的区域之外的区域中。

(12)根据(11)的图像显示设备，其中，所述显示控制单元在所述观察者未移动时以所述第一控制模式执行控制，并且在所述观察者移动时以所述第二控制模式执行控制。

(13)根据(11)或(12)的图像显示设备，其中，所述显示控制单元根据将在所述外部图像中叠加所述显示图像的区域的状态来改变所述图像的显示状态。

(14)根据(11)至(13)中任意一项的图像显示设备，其中，

所述光学系统包括：第一光学系统和第二光学系统，所述第一光学系统配置成将在第一显示装置上显示的左眼图像叠加在外部图像上并且将所述左眼图像引导至所述观察者的左眼，所述第二光学系统配置成将在第二显示装置上显示的右眼图像叠加在外部图像上并且将所述右眼图像引导至所述观察者的右眼，以及

所述显示控制单元控制所述左眼图像和所述右眼图像的视差，使得将由所述观察者通过所述左眼图像和所述右眼图像感知的立体图像的深度位置定位成比所述外部图像中以叠加方式显示所述立体图像的区域的深度位置更接近前侧。

(15)一种图像显示方法，包括如下步骤：

将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛，由光学系统来执行对所述显示图像的叠加和引导；以及

选择性地执行将所述显示图像显示于在所述外部图像中所述观察者的视线所集中的区域中的控制，以及将所述显示图像显示于在所述外部图像中所述观察者的视线所集中的区域之外的区域中的控制。

(16)一种图像显示设备，包括：

光学系统，所述光学系统配置成将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛；以及

显示控制单元，所述显示控制单元配置成根据在所述外部图像中叠加所述显示图像的区域的状态来改变所述显示图像的显示状态。

(17)根据(16)的图像显示设备，其中，所述显示控制单元基于通过拍摄所述外部图像而获得的所拍摄图像数据来获取在所述外部图像中的所述区域的状态。

(18)一种图像显示方法，包括以下步骤:

将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛，由光学系统来执行对所述显示图像的叠加和引导；以及

根据在所述外部图像中叠加所述显示图像的区域的状态来改变所述显示图像的显示状态。

(19)一种图像显示设备，包括：

第一光学系统，所述第一光学系统配置成将在第一显示装置上显示的左眼图像叠加在外部图像上，并且将所述左眼图像引导至所述观察者的左眼，

第二光学系统，所述第二光学系统配置成将在第二显示装置上显示的右眼图像叠加在所述外部图像上，并且将所述右眼图像引导至所述观察者的右眼，以及

显示控制单元，所述显示控制单元配置成控制所述左眼图像和所述右眼图像的视差，使得将由所述观察者通过所述左眼图像和所述右眼图像感知的立体图像的深度位置定位成比在所述外部图像中以叠加方式显示所述立体图像的区域的深度位置更接近前侧。

(20)一种图像显示方法，包括如下步骤：

将在第一显示装置上显示的左眼图像叠加在外部图像上，并且将所述左眼图像引导至观察者的左眼，由第一光学系统来执行对所述左眼图像的叠加和引导；

将在第二显示装置上显示的右眼图像叠加在所述外部图像上，并且将所述右眼图像引导至所述观察者的右眼，由第二光学系统来执行对所述右眼图像的叠加和引导；以及

控制所述左眼图像和所述右眼图像的视差，使得将由所述观察者通过所述左眼图像和所述右眼图像感知的立体图像的深度位置定位成比在所述外部图像中以叠加方式显示所述立体图像的区域的深度位置更接近前侧。

附图标记列表

100、100A-100C：  头戴式显示器

101、101L、101R：  玻璃透镜单元

102  连接部件

103、103L、103R  红外传感器

104  陀螺传感器

105、105L、104R  摄像机

106  距离测量传感器

111、111L、111R  显示驱动器

112、112L、112R  显示器

121  眼睛位置估计单元

122  视线估计单元

123  深度/结构估计单元

123C  结构估计单元

124  显示控制单元

125  待显示图像产生单元

Claims (20)

1.一种图像显示设备，包括：

光学系统，所述光学系统配置成将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛；以及

显示控制单元，所述显示控制单元配置成控制所述显示装置上的所述显示图像的显示尺寸和显示位置，使得所述显示图像显示在从所述外部图像检测的图像叠加区域中。

2.根据权利要求1所述的图像显示设备，其中，基于通过拍摄所述外部图像而获得的所拍摄图像数据来检测所述图像叠加区域。

3.根据权利要求1所述的图像显示设备，其中，所述显示控制单元通过基于与所述图像叠加区域相关的信息处理用于在所述显示装置上显示所述显示图像的图像数据来控制所述显示图像的显示尺寸和显示位置。

4.根据权利要求1所述的图像显示设备，其中，所述显示控制单元根据所述外部图像中的所述图像叠加区域的状态来改变所述显示图像的显示状态。

5.根据权利要求4所述的图像显示设备，其中，所述显示控制单元根据所述图像叠加区域的状态来校正用于显示所述显示图像的图像数据，使得从将由所述观察者观察的所述显示图像中去除所述外部图像的成分。

6.根据权利要求1所述的图像显示设备，其中，当从所述外部图像未检测到所述图像叠加区域时，所述显示控制单元改变所述显示图像的显示方式。

7.根据权利要求1所述的图像显示设备，其中，所述显示控制单元通过对所述显示装置上的显示尺寸和显示位置执行时间平滑来获得与所述控制有关的显示尺寸和显示位置，所述显示尺寸和显示位置通过周期性检测的图像叠加区域来确定。

8.根据权利要求1所述的图像显示设备，其中，当检测到在所述外部图像中的变化时，所述显示控制单元改变所述显示图像的显示方式。

9.根据权利要求1所述的图像显示设备，其中，

所述光学系统包括：第一光学系统和第二光学系统，所述第一光学系统配置成将在第一显示装置上显示的左眼图像叠加在外部图像上，并且将所述左眼图像引导至所述观察者的左眼，所述第二光学系统配置成将在第二显示装置上显示的右眼图像叠加在外部图像上，并且将所述右眼图像引导至所述观察者的右眼，以及

所述显示控制单元控制所述左眼图像和所述右眼图像的视差，使得将由所述观察者通过所述左眼图像和所述右眼图像感知的立体图像的深度位置定位成比所述外部图像中以叠加方式显示所述立体图像的区域的深度位置更接近前侧。

10.一种图像显示方法，包括如下步骤：

将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛，通过光学系统来执行对所述显示图像的叠加和引导；以及

控制在所述显示装置上的所述显示图像的显示尺寸和显示位置，使得所述显示图像显示在从所述外部图像检测的图像叠加区域。

11.一种图像显示设备，包括：

光学系统，所述光学系统配置成将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者；以及

显示控制单元，所述显示控制单元具有第一控制模式和第二控制模式，所述第一控制模式用于执行控制，使得所述显示图像显示于在所述外部图像中所述观察者的视线所集中的区域中，所述第二控制模式用于执行控制，使得所述显示图像显示于在所述外部图像中所述观察者的视线所集中的区域之外的区域中。

12.根据权利要求11所述的图像显示设备，其中，所述显示控制单元在所述观察者未移动时以所述第一控制模式执行控制，并且在所述观察者移动时以所述第二控制模式执行控制。

13.根据权利要求11所述的图像显示设备，其中，所述显示控制单元根据将在所述外部图像中叠加所述显示图像的区域的状态来改变所述图像的显示状态。

14.根据权利要求11所述的图像显示设备，其中，

所述光学系统包括：第一光学系统和第二光学系统，所述第一光学系统配置成将在第一显示装置上显示的左眼图像叠加在外部图像上并且将所述左眼图像引导至所述观察者的左眼，所述第二光学系统配置成将在第二显示装置上显示的右眼图像叠加在外部图像上并且将所述右眼图像引导至所述观察者的右眼，以及

所述显示控制单元控制所述左眼图像和所述右眼图像的视差，使得将由所述观察者通过所述左眼图像和所述右眼图像感知的立体图像的深度位置定位成比所述外部图像中以叠加方式显示所述立体图像的区域的深度位置更接近前侧。

15.一种图像显示方法，包括如下步骤：

将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛，由光学系统来执行对所述显示图像的叠加和引导；以及

选择性地执行将所述显示图像显示于在所述外部图像中所述观察者的视线所集中的区域中的控制，以及将所述显示图像显示于在所述外部图像中所述观察者的视线所集中的区域之外的区域中的控制。

16.一种图像显示设备，包括：

光学系统，所述光学系统配置成将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛；以及

显示控制单元，所述显示控制单元配置成根据在所述外部图像中叠加所述显示图像的区域的状态来改变所述显示图像的显示状态。

17.根据权利要求16所述的图像显示设备，其中，所述显示控制单元基于通过拍摄所述外部图像而获得的所拍摄图像数据来获取在所述外部图像中的所述区域的状态。

18.一种图像显示方法，包括以下步骤:

将在显示装置上显示的显示图像叠加在外部图像上，并且将所述显示图像引导至观察者的眼睛，由光学系统来执行对所述显示图像的叠加和引导；以及

根据在所述外部图像中叠加所述显示图像的区域的状态来改变所述显示图像的显示状态。

19.一种图像显示设备，包括：

第一光学系统，所述第一光学系统配置成将在第一显示装置上显示的左眼图像叠加在外部图像上，并且将所述左眼图像引导至所述观察者的左眼，

第二光学系统，所述第二光学系统配置成将在第二显示装置上显示的右眼图像叠加在所述外部图像上，并且将所述右眼图像引导至所述观察者的右眼，以及

显示控制单元，所述显示控制单元配置成控制所述左眼图像和所述右眼图像的视差，使得将由所述观察者通过所述左眼图像和所述右眼图像感知的立体图像的深度位置定位成比在所述外部图像中以叠加方式显示所述立体图像的区域的深度位置更接近前侧。

20.一种图像显示方法，包括如下步骤：

将在第一显示装置上显示的左眼图像叠加在外部图像上，并且将所述左眼图像引导至观察者的左眼，由第一光学系统来执行对所述左眼图像的叠加和引导；

将在第二显示装置上显示的右眼图像叠加在所述外部图像上，并且将所述右眼图像引导至所述观察者的右眼，由第二光学系统来执行对所述右眼图像的叠加和引导；以及

控制所述左眼图像和所述右眼图像的视差，使得将由所述观察者通过所述左眼图像和所述右眼图像感知的立体图像的深度位置定位成比在所述外部图像中以叠加方式显示所述立体图像的区域的深度位置更接近前侧。