CN117452637A - 头戴式显示器和图像显示方法 - Google Patents

Abstract

公开了一种实现立体视觉的头戴式显示器，包括叠加图像控制部，根据视场中的三维空间的状态确定要显示的叠加图像的虚拟距离；显示图像生成部，生成在叠加图像被放置在三维空间中的虚拟距离处的状态下的包括叠加图像的显示图像的数据；以及输出控制部，将显示图像的数据输出到显示面板。

Description

头戴式显示器和图像显示方法

相关申请的交叉引用

本申请要求于2022年7月25日提交的第JP2022-118226号日本优先权专利申请的权益，其全部内容通过引用并入本文。

技术领域

本公开涉及一种头戴式显示器和一种用于在视场中显示叠加图像的图像显示方法。

背景技术

允许从自由视点理解目标空间的图像显示系统是广泛的。例如，已经开发了一种系统，其中全景屏幕图像在头戴式显示器上显示，并且根据佩戴头戴式显示器的用户的视线方向的图像被显示。通过利用头戴式显示器，可以增强屏幕图像中的沉浸感或改善诸如游戏的应用的可操作性。

此外，通过在头戴式显示器上提供用于捕获实际空间的图像的摄像机并将计算机图形图像与由摄像机捕获的图像组合来实现增强现实(AR)或混合现实(MR)的这种技术已经投入实际使用。此外，如果捕获的图像被立即显示，则即使利用封闭型的头戴式显示器，用户也能够容易地确认用户周围的情况。此外，透光型的头戴式显示器使得用户可以在观看实际世界的同时确认信息。

发明内容

在如上所述的这种技术中，有时希望在立体地观看作为主图像的实际空间或虚拟空间的情况的同时，以叠加在主图像上的方式显示各种信息，诸如对话框、帮助屏幕图像、控制面板或指示器。根据这种叠加图像的显示内容的特性，通常，使窗口形式的简单二维结构的图像出现在前面，而与任何其他显示图像无关。然而，在立体地观看主图像的情况下，可能出现这样的叠加图像看起来不自然或难以聚焦的问题。在一些情况下，存在用户可能落入不良身体状况(诸如视觉诱发的晕动病)的概率。

鉴于前述内容做出了本公开，并且期望提供一种技术，该技术使得实现立体视觉的显示器(诸如头戴式显示器)能够以容易且自然地视觉识别的方式显示叠加图像。

根据本公开的一种模式，提供了一种实现立体视觉的头戴式显示器，包括：叠加图像控制部，根据视场中的三维空间的状态确定要显示的叠加图像的虚拟距离；显示图像生成部，生成在叠加图像被放置在三维空间中的虚拟距离处的状态下的包括叠加图像的显示图像的数据；以及输出控制部，将显示图像的数据输出到显示面板。

根据本公开的另一模式，提供了一种由实现立体视觉的头戴式显示器执行的图像显示方法，所述图像显示方法包括：响应于视场中的三维空间的状态确定要显示的叠加图像的虚拟距离，生成在叠加图像被放置在三维空间中的虚拟距离中的状态下的包括叠加图像的显示图像的数据，以及将显示图像的数据输出到显示面板。

应注意，在方法、装置、系统、计算机程序、数据结构、记录介质等之间转换的上述构成组件和本公开的表达的任何组合也作为本公开的模式是有效的。

根据本公开的实施例，实现立体视觉的显示器(诸如头戴式显示器)可以以容易且自然地视觉识别的方式显示叠加图像。

附图说明

图1是描绘本公开的实施例的头戴式显示器的外观的示例的视图；

图2是描绘本实施例的图像显示系统的配置的示例的视图；

图3是示意性地描绘本实施例的图像显示系统中的数据路径的视图；

图4是示意性地描绘由本实施例中的头戴式显示器显示的透视模式的图像以及叠加图像与透视模式的图像组合的图像的视图；

图5是描绘当在本实施例中考虑三维空间的深度方向上的轴时叠加图像和左眼和右眼的图像的位置的示例的视图；

图6是描绘本实施例中的头戴式显示器的内部电路的配置的框图；

图7是描绘本实施例中的头戴式显示器的功能块的配置的框图；

图8是示出本实施例中的由物理对象分布获取部从捕获图像获取的距离的分布信息的视图；

图9是描绘本实施例中的用于由叠加图像控制部导出叠加图像的虚拟距离的过程的流程图；

图10是示出本实施例中通过转动视场来改变叠加图像的示意图；以及

图11是描绘本实施例中的头戴式显示器显示叠加图像的处理过程的流程图。

具体实施方式

本公开的实施例涉及一种装置，该装置在三维空间的图片被立体地观看的状态下显示以叠加在三维空间中的图片上的方式单独准备的图像。三维空间可以是实际空间或虚拟空间。表示实际空间的图片可以是由相机捕获的图像，或者可以是已经通过光学系统的图片。换句话说，本实施例的装置可以仅显示叠加图像，或者可以在显示三维空间的图像的同时组合叠加图像。以下描述主要给出了在包括捕获图像的图像被显示在头戴式显示器上的同时组合叠加图像的模式。

图1描绘了头戴式显示器100的外观的示例。在本示例中，头戴式显示器100包括输出机构部102和安装机构部104。安装机构部104包括安装带106，当用户佩戴头戴式显示器100时，安装带106围绕用户的头部以实现装置的固定。输出机构部102包括壳体108，壳体108被成形为使得其在用户佩戴头戴式显示器100的状态下覆盖左眼和右眼两者。输出机构部102包括设置在其中的显示面板122，以便在头戴式显示器100被佩戴时与眼睛相对。

外壳108在其内部还包括目镜，目镜在头戴式显示器100被佩戴时位于显示面板122与用户的眼睛之间并放大要观看的图像。头戴式显示器100还可以包括在头戴式显示器100被佩戴时位于与用户的耳朵相对应的位置处的扬声器和耳机。此外，头戴式显示器100具有内置在其中的运动传感器，使得其检测佩戴头戴式显示器100的用户的头部的平移移动和旋转移动，并且另外每次检测用户的头部的位置和姿势。

头戴式显示器100还包括在壳体108的正面上的立体相机110。本实施例提供了一种模式，其中在较少的延迟之后显示正由立体相机110捕获的运动图像，使得在用户朝向的方向上的实际空间的情况可以看起来像它。以下将上述这种模式称为“透视模式”。例如，头戴式显示器100将其间内容的图像不被显示的时间段自动设置为透视模式。

因此，在内容开始之前、结束之后、中断等时，用户能够在不移除头戴式显示器100的情况下确认周围环境的情况。另外，可以开始或结束透视模式，将其作为用户明确地执行操作的机会。因此，即使在欣赏内容期间，显示器也能够在期望的定时被临时切换到实际空间的图像，并且用户能够执行必要的工作，诸如应对实际世界中的突然事件。应该注意，尽管在所描绘的示例中，立体相机110放置在壳体108的正面的下部，但是立体相机110的放置不受具体限制。此外，可以提供除了立体相机110之外的相机。

由立体相机110捕获的图像也能够用作内容的图像。例如，能够通过根据与存在于每个相机的视场中的实际物理对象的位置、姿势和移动一致的位置、姿势和移动来组合和显示虚拟对象与捕获的图像以实现AR或MR。此外，可以分析捕获的图像而不管捕获的图像是否要被包括在显示器中，并且使用分析的结果来确定要绘制的对象的位置、姿势和移动。

例如，可以对捕获的图像执行立体匹配，以提取对象的图片的对应点并通过三角测量原理获取对象的距离。可替代地，诸如视觉SLAM(同时定位和映射)的已知技术可以获取头戴式显示器100以及附加地用户的头部相对于周围空间的位置和姿势。所描述的过程使得可以绘制和显示具有与用户的视点的位置和视线的方向相对应的视场的虚拟世界。

图2描绘了本实施例中的图像显示系统的配置的示例。在图像显示系统10中，头戴式显示器100通过无线通信或连接外围设备的接口(如通用串行总线(USB)Type-C)连接到内容处理装置200。内容处理装置200可以通过网络进一步连接到服务器。在这种情况下，服务器可以向内容处理装置200提供多个用户能够通过网络参与的在线应用，诸如游戏。

内容处理装置200基本上是处理内容以生成显示图像并将显示图像发送到头戴式显示器100以便在头戴式显示器100上显示的信息处理装置。通常，内容处理装置200基于佩戴头戴式显示器100的用户的头部的位置和姿势来指定用户的视点的位置和视线的方向，并且生成具有与指定的多条信息相对应的视场的显示图像。例如，内容处理装置200在进行电子游戏的同时生成表示虚拟世界的图像，该虚拟世界是实现虚拟现实(VR)的游戏的阶段。

在本实施例中，要由内容处理装置200处理的内容不特别限于任何类型，并且AR或MR可以被实现为如上所述的内容，或者内容可以包括预先产生的显示图像，诸如电影。在以下说明中，将以透视模式显示的实际空间中的实时图像以外的图像称为“内容图像”。

图3示意性地描绘了本实施例的图像显示系统10中的数据路径。如上所述，头戴式显示器100包括立体相机110和显示面板122。显示面板122是具有液晶显示器、有机电致发光(EL)显示器等的一般显示机构的面板。在本实施例中，显示面板122分别在其与用户的左眼和右眼相对的左右区域中显示构成运动图像的帧的左眼和右眼的图像。

通过从左眼图像和右眼图像形成具有与眼睛之间的距离相对应的视差的一对立体图像，可以使得立体地观看显示目标。显示面板122可以包括两个面板，包括并排放置的左眼的面板和右眼的面板，或者可以包括显示包括彼此横向连接的左眼的图像和右眼的图像的图像的单个面板。

头戴式显示器100还包括图像处理集成电路120。图像处理集成电路120例如是其上安装有包括中央处理单元(CPU)的各种功能模块的片上系统。应该注意，如上所述，头戴式显示器100还可以包括诸如陀螺仪传感器、加速度传感器和角速度传感器的运动传感器、诸如动态随机存取存储器(DRAM)的主存储器、用于生成用户听到的声音的音频电路、用于连接外围设备的外围设备接口电路等。然而，在图3中省略了它们的图示。

在由立体相机110捕获的图像要被包括在显示器中的情况下的两个数据路径由该图中的箭头标记指示。在要实现AR或MR的情况下，通常，将由立体相机110捕获的图像提取到处理内容的主体中，并且由主体将捕获的图像与虚拟对象组合以生成显示图像。由于在图3所描绘的图像显示系统10中，处理内容的主体是内容处理装置200，所以由立体相机110捕获的图像经由图像处理集成电路120一次性发送到内容处理装置200，如箭头标记B所示。

然后，例如，将虚拟对象与捕获的图像组合以生成显示图像，并且将生成的显示图像返回到头戴式显示器100，然后显示在显示面板122上。另一方面，在透视模式的情况下，由立体相机110捕获的图像能够被校正为适于由图像处理集成电路120显示的显示图像，然后显示在显示面板122上，如箭头标记A所示。通过箭头标记A的路径的数据传输路径比箭头标记B的路径短得多，因此，能够减少从捕获图像到显示图像的时间长度，并且能够减少传输所需的功耗。

应该注意，这并不旨在将本实施例中的透视模式下的数据路径限制为箭头标记A的数据路径。换句话说，可以采用箭头标记B的路径，使得由立体相机110拍摄的图像一次性发送到内容处理装置200。然后，在捕获图像被内容处理装置200校正以获得显示图像之后，显示图像可以返回到头戴式显示器100以便在其上显示。

在任何情况下，在本实施例中，由立体相机110捕获的图像优选地以小于一帧的单位(诸如行的单位)顺序地流水线处理，以最小化显示之前花费的时间长度。这降低了屏幕图像可能相对于头部的移动延迟地显示并且用户可能遭受不适或视觉诱发的晕动病的概率。

图4示意性地描绘了由头戴式显示器100显示的透视模式下的图像以及通过将图像与叠加图像组合而获得的图像。图像250是透视模式下的图像(以下称为透视图像)的一帧，并且对应于当立体相机110捕获头戴式显示器100前方的房间中的情况的图像时获得的图像。实际上，生成左眼和右眼的一对图像，并且将其分别显示在显示面板122的左右区域中，其中，在所述一对图像中，相同事物的图片在水平方向上移位与视差相对应的量。此外，当从捕获的图像生成显示图像时，适当地校正视角。

自然地，如果用户改变面部的朝向，则透视图像250的视场也改变。在这种状态下，头戴式显示器100显示图像252，其中根据来自用户的请求、系统的必要性等叠加图像254被与透视图像250组合。在所描绘的示例中，显示允许用户输入用于登录的地址和密码的对话框。当用户向对话框输入必要的信息时，头戴式显示器100隐藏叠加图像254的显示，从而恢复透视图像250的原始显示。

如图4所示，为了使叠加图像254出现在实现立体视觉的显示图像的一部分处，需要考虑显示目标的三维空间的设置。特别地，需要确定包括深度方向上的轴的叠加图像254的对象的位置，并生成具有与对象的位置相对应的视差的一对左图像和右图像。应该注意，在以下描述中，放置在三维空间中的叠加图像中的对象有时也被称为“叠加图像”。

图5描绘了当考虑三维空间的深度方向上的轴时叠加图像和左眼和右眼的图像的位置的示例。图5中的上部描绘了在生成显示图像时形成的虚拟三维空间处于鸟瞰视图中的状态。相机260a和260b是用于生成显示图像的虚拟渲染相机，并且图5中的向上方向表示深度方向(距相机260a和260b的距离)。在不显示叠加图像的正常状态下，头戴式显示器100将透视图像264放置在虚拟空间中的预定距离Di中。

应该注意，透视图像264可以是使用由立体相机110捕获的立体图像生成的左眼和右眼的图像。如果有必要显示叠加图像267，则头戴式显示器100将叠加图像266放置在例如虚拟空间中的距离Ds处。在将仅显示透视图像264的情况和另外放置叠加图像266的情况下，通过绘制从相机260a和260b观看的图像来生成左眼和右眼的显示图像。

在图5的下部中，示意性地描绘了左眼的显示图像268a和右眼的显示图像268b。应该注意，省略了透视图像，并且在两个图像中仅描绘了叠加图像267。由于相机260a和260b具有视差，因此叠加图像267显示在左显示图像268a和右显示图像268b的平面上在水平方向上彼此移位的位置处。位移量取决于叠加图像266在三维空间中的距离Ds而变化。因此，用户感知到与叠加图像267的距离感。

尽管在图5中，透视图像264被指示为位于相同距离处的平面，但是在实现立体视觉的情况下，取决于物理对象的实际位置，以各种位移量在左眼和右眼的图像中显示物理对象的图片。因此，在识别用户时，图片的位置在深度方向上具有分布。取决于用户所处的位置和用户朝向的方向，分布能够改变很大量。例如，如果正在看没有放置任何东西的远处墙壁的用户改变视线到附近的桌子，则图片的距离的分布自然地变化很大量。

如果叠加图像266的距离Ds相对于所描述的这种不规则改变是固定的，则存在于三维空间的表示中可能出现一些矛盾的概率。例如，显示这样的不自然图像，使得尽管与叠加图像266部分重叠的真实物理对象在距离感方面位于叠加图像266的前面，但是它被叠加图像266隐藏。这样的图像可能导致眼睛聚焦困难或视觉诱发的晕动病。

还能够假设通常将叠加图像266放置在相机260a和260b的近距离范围内，使得不发生空间矛盾。然而，在这种情况下，在物理对象仅存在于远处位置的这种视场的情况下，也难以聚焦眼睛，因为在深度方向上距叠加图像266的距离过大，并且这可能导致观看困难或眼睛疲劳。这样的缺陷不仅可能类似地发生在透视图像中的真实物理对象与叠加图像的位置关系中，而且可能类似地发生在透光型可穿戴显示器上能够看到的真实物理对象、虚拟空间中的对象等与叠加图像的位置关系中。

因此，在本实施例中，取决于视场中的三维空间的状态来确定要给予叠加图像的虚拟距离。例如，头戴式显示器100获取到存在于视场中的三维空间中的物理对象的距离的分布，并参考该分布确定叠加图像的虚拟距离。这使得可以从主图像世界无缝地转换到叠加图像的显示状态，从而允许用户在没有任何压力的情况下在视觉上识别各种信息。

图6描绘了头戴式显示器100的内部电路的配置。头戴式显示器100包括CPU 136、图形处理单元(GPU)138、主存储器140和显示部142。这些组件通过总线152彼此连接。声音输出部144、通信部146、运动传感器148、立体相机110和存储部150进一步连接到总线152。应该注意，总线152的配置不限于任何特定种类，并且总线152可以具有例如多个总线通过接口彼此连接的配置。

CPU 136通过执行存储在存储部150中的操作系统来控制整个头戴式显示器100。此外，CPU 136执行从存储部150读出并加载到主存储器140中或通过通信部146下载的各种类型的程序。GPU 138根据来自CPU 136的绘制命令执行图像的绘制和校正。主存储器140包括随机存取存储器(RAM)并存储处理所必需的程序和数据。

显示部142包括图3中描绘的显示面板122，并且在佩戴头戴式显示器100的用户的眼睛前方显示图像。声音输出部144包括在头戴式显示器100被佩戴时设置在与用户的耳朵相对应的位置处的扬声器或耳机，并且输出要由用户听到的声音。

通信部146是用于向内容处理装置200传送数据和从内容处理装置200传送数据的接口，并且通过诸如蓝牙(注册商标)的已知无线通信技术或有线通信技术来实现通信。运动传感器148包括陀螺仪传感器、加速度传感器、角速度传感器等，并且获取头戴式显示器100的倾斜度、加速度、角速度等。如图1所示，立体相机110是从左视点和右视点捕获周围实际空间的图像的一对视频相机。存储部150包括诸如只读存储器(ROM)的存储器。

图7描绘了本实施例中的头戴式显示器100的功能块的配置。所描绘的功能块能够通过图6中描绘的电路配置实现为硬件，并且通过从存储部150加载到主存储器140中并执行各种功能(诸如数据输入功能、数据保持功能、图像处理功能和通信功能)的程序实现为软件。因此，本领域技术人员能够认识到，这些功能块能够仅由硬件、仅由软件或由硬件和软件的组合来实现，并且不限于它们中的任何一个。

此外，头戴式显示器100可以具有除了图7中描绘的功能之外的功能。此外，可以在内容处理装置200中以其他方式提供所描绘的一些功能块。在头戴式显示器100中，图像处理部50能够由图3的图像处理集成电路120实现。

在头戴式显示器100中，图像处理部50包括获取捕获图像的数据的捕获图像获取部52、获取视场内存在的物理对象的距离的分布的物理对象分布获取部54、控制叠加图像的状态的叠加图像控制部60、生成显示图像的数据的显示图像生成部66、以及输出显示图像的数据的输出控制部70。头戴式显示器100还包括获取与头戴式显示器100的移动有关的信息的移动信息获取部68，以及存储表示物理对象在周围三维空间中的放置的环境图的环境图存储部72。

捕获图像获取部52以预定帧速率从立体相机110的图像传感器获取每个捕获图像的数据。物理对象分布获取部54分析捕获图像的每个帧以获取到存在于视场中的三维空间中的物理对象的距离的分布。例如，物理对象分布获取部54通过已知技术从构成捕获图像的立体图像中提取对应点。对应点是成对的特征点，其表示能够从立体图像中提取的特征点之中的同一图片上的点。

物理对象分布获取部54基于提取的对应点，通过三角测量原理导出到该点的距离。通常，从一帧的每个立体图像中提取大量对应点。在意图控制叠加图像的虚拟距离的情况下，物理对象分布获取部54可以从捕获图像中要组合叠加图像的区域内或仅在距相关区域预定范围内的区域内提取对应点，以计算距离的分布。

无论图像在深度方向上的距离如何，在图像平面上远离叠加图像间隔开的位置处的图片对要看到的困难的影响较小。因此，如果仅从靠近叠加图像的区域获得物理对象的距离的分布，并且根据距离的分布调整虚拟距离，则能够高效率地获得显著效果。各种技术可用于分析捕获图像以导出到对象或特征点的距离，并且物理对象分布获取部54可以采用任何这样的技术。

物理对象分布获取部54获取针对每个对应点获得的距离值的直方图作为物理对象的距离的分布。定性地，如果叠加图像的虚拟距离被设置为比三维空间中的距离的分布中包括的范围更靠近佩戴头戴式显示器100(例如，图5中的相机260a和260b)的用户的位置，则物理对象的图片与叠加图像之间不发生矛盾。物理对象分布获取部54导出表示在距离的分布中包括的范围内更靠近佩戴头戴式显示器100的用户的一侧的距离的指数，并以预定速率向叠加图像控制部60通知该指数。

该指数在下文中被称为“最短距离指数”。物理对象分布获取部54将直方图中包括的距离范围内的距离值的25％点确定为最短距离指数。通过确定不包括直方图的25％的最短距离的指数，能够减小包括在从对应点导出的距离值中的误差的影响。然而，百分比点的数值不受限制。

在头戴式显示器100具有上述视觉SLAM功能的情况下，物理对象分布获取部54可以是视觉SLAM功能的一部分。视觉SLAM是一种用于从自立体图像获得的对应点获取物理对象上的特征点的三维位置坐标并跟踪时间顺序的帧上的特征点以并行获取立体相机110和环境图的位置和姿势的技术。环境图是表示三维空间中的物理对象的特征点的分布的数据。在这种情况下，物理对象分布获取部54可以基于通过视觉SLAM获得的物理对象的三维位置坐标来获取距离的分布，以导出最短距离指数。

环境图存储部72存储通过视觉SLAM等生成的环境图。移动信息获取部68包括运动传感器148，并且以预定速率获取与头戴式显示器100(和立体相机110)的位置和姿势相关的信息。移动信息获取部68获取的关于每个立体相机110的位置和姿势的信息能够用于创建环境图。

此外，如果环境图一旦被创建，则能够根据头戴式显示器100在每个时间步长处的位置和姿势从环境图获取视场中的物理对象的距离的分布。因此，物理对象分布获取部54可以例如从移动信息获取部68以预定速率获取关于头戴式显示器100的位置姿势信息，并且从存储在环境图存储部72中的环境图获取存在于对应视场中的物理对象的距离的分布。

在要从捕获的图像计算物理对象的距离的分布的情况下，物理对象分布获取部54可以仅获取安置在三维空间中的静止物理对象(诸如家具和设施)的距离的分布。例如，如果考虑到可能出现在非常近的范围内的移动对象(如用户的手)的距离，则叠加图像所允许的距离受到限制或波动。此外，由于在许多情况下，这种移动对象存在于视场中的情况是暂时的，因此考虑的必要性很低。因此，物理对象分布获取部54可以基于移动信息获取部68的测量结果来设置头戴式显示器100根本不移动从而不反映在最短距离指数上的时间段内的距离的分布的变化。

应该注意，在主显示目标是虚拟空间的情况下，物理对象分布获取部54响应于关于规定虚拟空间的配置的程序(诸如游戏)的设置来获取环境图的数据，并预先将数据存储到环境图存储部72中。因此，类似于上文所述，可以根据关于头戴式显示器100的位置和姿势的信息来获取存在于视场中的虚拟物理对象的距离的分布。此外，在透光型显示器的情况下，如果在其中并入立体相机，则能够通过与迄今为止描述的头戴式显示器100的过程类似的过程来获取距离的分布。

叠加图像控制部60参考在需要显示叠加图像的时间段期间的物理对象的距离的分布和最短距离指数来确定叠加图像的虚拟距离。如上所述，叠加图像控制部60基本上将叠加图像的距离设置在比物理对象的距离的分布中包括的范围更靠近用户的位置处。叠加图像控制部60还根据虚拟距离确定三维空间中的叠加图像的尺寸。特别地，叠加图像控制部60随着虚拟距离增加而增加叠加图像的尺寸。

因此，以字符等的可见性不改变的方式，使叠加图像的表观尺寸(显示图像上的尺寸)相等，而不管虚拟距离如何。叠加图像控制部60包括存储绘制叠加图像所必需的模型数据的叠加图像数据存储部62。叠加图像数据存储部62存储例如与关于叠加图像的识别信息相关联的数据，诸如表示叠加图像的字符数据、字符和图形的放置、背景的形状、显示图像上的尺寸和颜色。

即使用户面向基本相同的方向，最短距离指数也能够通过视场的显著小的移动而微小地波动。如果虚拟距离响应于该移动而改变，则叠加图像波动超过必要的程度并且因此变得难以看到是值得考虑的。因此，叠加图像控制部60继续收集最短距离指数并聚合每个最短距离指数所属的距离类别。然后，叠加图像控制部60获取预先设置为最短距离指数以预定比率或更大比率集中的距离类别的最佳虚拟距离的距离值。通过以这种方式掌握比帧时间段长的时间段内的距离的分布并通过概率理论导出最佳虚拟距离，能够增强叠加图像的放置精度，并且消除了高频重置的必要性。

当视场改变很大量并且因此距离的分布信息改变很大量时，叠加图像控制部60可以请求显示图像生成部66改变叠加图像的虚拟距离。叠加图像控制部60可以根据最短距离指数的改变继续正常地导出最佳虚拟距离，或者可以根据需要间歇地导出最佳虚拟距离。

此外，叠加图像控制部60可以基于移动信息获取部68的测量结果，根据头戴式显示器100的移动来预测停止之后的视场，以确定停止之前的虚拟距离。如果显示图像中的叠加图像根据该确定而改变，则在停止头戴式显示器100时，可以适当地使叠加图像出现在新的距离处。在这种情况下，物理对象分布获取部54使用环境图获取存在于预测视场中的物理对象的距离的分布，以导出最短距离指数。

叠加图像控制部60将要显示的叠加图像的模型数据和关于最佳虚拟距离的信息提供给显示图像生成部66。此后，当从最短距离指数导出的虚拟距离发生阈值或更大的改变时，或者根据需要，叠加图像控制部60将关于该时间点的最佳虚拟距离的信息提供给显示图像生成部66。

在透视模式下，显示图像生成部66生成包括透视图像的显示图像的数据。然而，要由显示图像生成部66生成的主图像不限于如上所述的透视图像。此外，在需要显示叠加图像的时间段期间，显示图像生成部66生成包括放置在确定的虚拟距离处的叠加图像的显示图像。特别地，显示图像生成部66以与虚拟距离相对应的位移量(视差)在左眼和右眼的每个显示图像上表示叠加图像。

显示图像生成部66包括在需要显示叠加图像的时间段期间起作用的叠加图像绘制部64。叠加图像绘制部64在原始显示图像上绘制叠加图像，使得其具有与虚拟距离相对应的视差。在虚拟距离的改变要反映在显示器上的情况下，叠加图像绘制部64在保持显示图像平面上的叠加图像的尺寸的同时改变视差。

叠加图像绘制部64还控制叠加图像的绘制的开始或停止的定时。例如，叠加图像绘制部64在显示叠加图像的必要性出现之后的预定时间段之后开始绘制叠加图像，并将叠加图像表示为显示图像。预定时间段是例如大约一秒，因此，可归因于在预定时间段期间能够收集的物理对象的距离的分布的叠加图像的距离的设置精度和低显示延迟是平衡的。

此外，在基于来自叠加图像控制部60的信息检测到适当的虚拟距离在叠加图像的显示期间已经改变的情况下，叠加图像绘制部64临时将叠加图像置于非显示状态，然后在改变之后以虚拟距离重新绘制叠加图像。此时，叠加图像绘制部64可以使改变之前的叠加图像淡出，并且使改变之后的叠加图像淡入，使得距离的改变变得不太明显。

作为替代方案，叠加图像绘制部64可以基于移动信息获取部68的测量结果仅在头戴式显示器100被认为移动的时间段期间改变显示的叠加图像上的虚拟距离。由于在头部移动并且视场改变很大量的时间段期间，对显示图像的关注程度低，因此在该时间段期间改变虚拟距离允许用户不太可能感知到该改变。作为另一替代方案，叠加图像绘制部64可以逐渐改变显示图像中的叠加图像的虚拟距离，使得虚拟距离达到目标虚拟距离。在这种情况下，对于用户而言，叠加图像看起来像在改变其尺寸的同时在深度方向上移动。

输出控制部70从显示图像生成部66获取显示图像的数据，对数据执行预定处理，并将得到的数据输出到显示面板122。显示图像包括左眼和右眼的一对图像，并且取决于情况，将叠加图像与每个图像组合。输出控制部70可以在消除失真像差或色差的方向上校正显示图像，使得当通过目镜观看时，能够在视觉上识别没有失真的图像。输出控制部70可以另外执行与显示面板122相对应的各种类型的数据转换。

图8是示出要由物理对象分布获取部54从拍摄图像获取的距离的分布信息的视图。物理对象分布获取部54首先从拍摄图像的帧270中提取对应点(例如，对应点272)。尽管在图8中描绘了一帧，但是在实际实施方式中，从由立体相机110捕获的立体图像中提取对应的特征点。

然后，物理对象分布获取部54基于对应点的视差计算到由对应点表示的物理对象上的点的距离，并生成表示对应点相对于距离的频率的直方图274。然后，物理对象分布获取部54计算例如由箭头标记指示的这样的预定百分比点(例如，25％点)的距离值，并将该距离值确定为最短距离指数。物理对象分布获取部54例如以15Hz或30Hz的速率聚合该时间段期间帧中的对应点的距离，以导出最短距离指数。

图9是描绘由叠加图像控制部60导出叠加图像的虚拟距离的过程的流程图。首先，叠加图像控制部60从物理对象分布获取部54获取最短距离指数d(S10)，并将最短距离指数d分类到预先设置的距离类别中的关注距离类别(S12)。距离类别是距渲染相机的距离被粗略分类的距离的范围，并且也是用于确定叠加图像的虚拟距离的单位。

在距离类别的数量是两个的情况下，例如，0<d≤1.2mm的范围被准备为用于短距离的类别，并且1.5m<d的范围被准备为长距离。如果最短距离指数d处于中间并且不属于任何距离类别，则叠加图像控制部60可以不对相关的最短距离指数d进行分类。应该注意，在本实施例中，距离类别和边界值的数量不限于任何数量。此外，可以直接从最短距离指数d确定虚拟距离，而不提供这样的距离类别。然而，在这种情况下，采取这样的对策以限制显示改变的机会使得虚拟距离的微小波动可能不会反映在显示器上变得更加重要。

然后，叠加图像控制部60检查是否存在其中对其分类的最短距离指数的数量达到预定比率的距离类别，并且当不存在这样的距离类别时(S14中的N)重复S10和S12中的处理。以这种方式增加最短距离指数的分类数量，并且如果特定距离类别中的分类数量达到预定比率(S14中的Y)，则叠加图像控制部60获取预先与关注距离类别相关联的虚拟距离作为最佳虚拟距离(S16)。这里，预定比率是能够认为该距离类别中的概率充分高于其他距离类别中的概率的比率，并且例如是80％等。

在上述示例中，例如，0.5m与短距离中的类别0<d≤1.2m相关联，预先作为虚拟距离。例如，1.5m与长距离中的类别1.5m<d相关联，预先作为虚拟距离。更具体地，在当前情况下，根据S14中的Y的判端结果，选择0.5m和1.5m之一作为虚拟距离。随着要与每个距离类别相关联的虚拟距离接近距离类别在更靠近用户的一侧上的边界，更容易防止叠加图像与物理对象之间的空间矛盾。

即使最短距离指数d波动，如果最短距离指数d属于每个距离类别的概率存在显著差异，则能够通过图9所示的处理过程采用较高概率的距离类别来确定虚拟距离，并且能够降低叠加图像的显示可能变得不适当的概率。如果最短距离指数d不具有大波动，则分类数量自然地集中在特定距离类别上，使得能够在短时间段中确定叠加图像的虚拟距离。

图10是示出通过视场的转动来改变叠加图像的视图。图10示意性地描绘了在鸟瞰视图中从用户的视点280及其周围的物理对象(例如，物理对象284)延伸的透视图像的视场282a和282b之间的位置关系。当透视图像的视场是视场282a时，视场中的物理对象相对靠近用户分布。在透视模式中，物理对象的图片被投影并显示在视屏286a上。

在叠加图像288a要被表示为在视屏286a上以黑色指示的情况下，叠加图像控制部60确定叠加图像的对象290a在三维空间中的虚拟距离D1。此时，叠加图像控制部60确定虚拟距离D1，使得叠加图像的对象290a位于比物理对象分布的范围更靠近用户的位置。为了确定虚拟距离D1，如果考虑在由虚线指示的并且与叠加图像288a的显示区域相对应的视角中或在从上述视角起的预定范围内的视角内的物理对象的分布就足够了。

这里，假设用户在向右方向上转动头部，并且透视图像的视场改变为视场282b。在视场282b中，物理对象相对远离用户分布。在这种状态下要在视屏286b上表示叠加图像288b的情况下，叠加图像控制部60新确定叠加图像的对象290b的虚拟距离D2。

由于与视场282a相比，在视场282b中，物理对象远离地分布在与叠加图像288b的显示区域相对应的视角内，因此适当的虚拟距离D2变得大于虚拟距离D1。响应于刚刚描述的这种变化，叠加图像控制部60以与虚拟距离的改变相同的比率在垂直和水平方向上增加叠加图像的对象290b的尺寸。因此，视屏286b上的叠加图像288b的尺寸保持与视屏286a上的叠加图像288a的尺寸相同，并且保持字符等的可见性，而不管虚拟距离如何。

尽管图10代表性地描绘了视场282a和视场282b，但是在实际实施方式中，这样的状态可能发生为在其中视场从视场282a到视场282b极大地改变的转变时间段中的状态，或者其中视场具有小的改变但它与视场282a或视场282b基本相同的状态。在前一种情况下，有必要在某个阶段将虚拟距离从虚拟距离D1切换到虚拟距离D2。如果这种切换立即反映在显示器上，则用户到目前为止已经观看到的叠加图像突然移动，并且能够认为用户可能感觉难以看到或者可能具有不适。

因此，显示图像生成部66的叠加图像绘制部64使已经在虚拟距离D1处显示的叠加图像288a随着视场开始转动而同时淡出，并将叠加图像288a置于非显示状态，并且当虚拟距离D2被确定时，使叠加图像288b在虚拟距离D2处淡入。此外，叠加图像绘制部64可以在从视场282a到视场282b的转变时间段中，在用户头部的移动量等于或大于预定值的时间段内完成到虚拟距离D2的移动。在一些情况下，叠加图像绘制部64可以在从视场282a到视场282b的转变时间段中将叠加图像从虚拟距离D1逐渐移动到虚拟距离D2。

现在，描述能够通过上述配置实现的头戴式显示器的动作。图11是描绘头戴式显示器100用于显示叠加图像的处理过程的流程图。当在用户佩戴头戴式显示器100并观看透视图像的状态下出现显示叠加图像的必要性时，开始该流程图。

首先，物理对象分布获取部54基于由立体相机110捕获的每个图像的每个帧开始收集关于存在于视场中的物理对象的距离的分布信息(S20)。然后，叠加图像控制部60通过图9中描绘的处理过程开始导出最佳虚拟距离(S22)。S20和S22中的处理在叠加图像被显示的时间段期间或者在发现视场已经转动很大量之后的预定时间段期间连续执行。

显示图像生成部66的叠加图像绘制部64监测在显示叠加图像的必要性出现之后经过的时间段，并等待直到经过诸如一秒的预定时间段(S24中的N)。如果经过了预定时间段(S24中的是)，则叠加图像绘制部64根据到目前为止获得的虚拟距离的最佳值将叠加图像与具有视差的显示图像组合，并使显示面板122通过输出控制部70显示组合图像(S26)。

在用于改变虚拟距离的预定条件不满足的时间段期间(S28中的N)，除非有必要停止叠加图像的显示，否则叠加图像绘制部64继续在相对于随后的透视图像的相同位置处绘制叠加图像(S32中的N)。用于改变虚拟距离的预定条件是例如由物理对象分布获取部54获取的最短距离指数或由叠加图像控制部60导出的虚拟距离改变等于或大于阈值的量。可替代地，预定条件可以是由移动信息获取部68获取的头戴式显示器100的移动量或移动速度变为等于或高于阈值的值等。可以将它们中的任何一个或它们的组合确定为条件。

在上述条件满足之后(S28中的是)，显示图像生成部66的叠加图像绘制部64执行用于在显示器上移位叠加图像的处理(S30)。特别地，叠加图像绘制部64可以将到目前为止已经显示的叠加图像一次性置于非显示状态，然后在改变之后的虚拟距离处重新显示叠加图像，或者可以将叠加图像从改变之前的虚拟距离逐渐移动到改变之后的虚拟距离。此外，叠加图像绘制部64可以在头戴式显示器100以等于或高于预定速度的速度移动的时间段内执行位移处理。

此后，叠加图像绘制部64继续在相对于随后的透视图像改变之后的位置处绘制叠加图像(S32中的N和S28中的N)，并且根据需要移位叠加图像(S28和S30中的Y)，直到有必要停止显示叠加图像为止。如果有必要停止叠加图像的显示，则叠加图像绘制部64停止与叠加图像相关的所有处理(S32中的是)。每当有必要显示叠加图像时，头戴式显示器100重复类似的过程。

根据上述本实施例，实现立体视觉的头戴式显示器根据视场内的三维空间中的物理对象的距离的分布来调整叠加图像的虚拟距离。因此，对于就特性而言掩蔽是不优选的叠加图像，可以使得叠加图像在三维空间中也在物理对象的前面的方式看起来自然。此外，由于叠加图像被放置在与物理对象的距离基本相同的距离处，因此用户可能聚焦在叠加图像上。结果，用户能够在没有任何压力的情况下在视觉上识别叠加图像，具有与叠加图像被显示之前的感觉类似的感觉。

此外，即使三维空间中的距离被改变，也能够通过用于保持叠加的表观尺寸不变的控制来保持叠加图像的内容的可见性。此外，连续收集关于视场中的物理对象的分布信息，并且通过统计过程导出可能的最佳虚拟距离。因此，能够抑制由头部的移动引起的关于物理对象的分布信息的波动的影响，并且不太可能发生叠加图像重复移位或在显示叠加图像之前需要过多时间段的这种情况。

此外，在切换虚拟距离时，切换之前的叠加图像淡出一次，然后切换之后的叠加图像淡入。此外，在头部的移动速度高的时间段内，开始切换之后的叠加图像的显示。这些过程使得能够抑制可归因于叠加图像的突然位移的不适，从而允许平滑地实现到最佳状态的转变。

已经结合实施例描述了本公开。实施例是示例性的，并且本领域技术人员能够认识到，能够对实施例的组件和过程进行各种修改，并且这些修改也落入本公开的范围内。

Claims (14)

1.一种实现立体视觉的头戴式显示器，包括：

叠加图像控制部，根据视场中的三维空间的状态确定要显示的叠加图像的虚拟距离；

显示图像生成部，生成在所述叠加图像被放置在所述三维空间中的所述虚拟距离处的状态下的包括所述叠加图像的显示图像的数据；以及

输出控制部，将所述显示图像的所述数据输出到显示面板。

2.根据权利要求1所述的头戴式显示器，还包括：

物理对象分布获取部，获取到所述视场中的所述三维空间中存在的物理对象的距离的分布，其中

所述叠加图像控制部参考所述距离的分布来确定所述叠加图像的虚拟距离。

3.根据权利要求2所述的头戴式显示器，其中

所述物理对象分布获取部获取物理对象的距离的分布，其中，所述物理对象的图片出现在所述叠加图像要在所述显示图像的平面上显示的区域中或出现在距相关区域预定范围的区域中。

4.根据权利要求2所述的头戴式显示器，还包括：

捕获图像获取部，获取在用户的视线方向上的真实空间的捕获图像，其中

所述物理对象分布获取部基于所述捕获图像获取真实物理对象的距离的分布，并且

所述显示图像生成部生成其中所述叠加图像在所述捕获图像上显示的所述显示图像的数据。

5.根据权利要求2所述的头戴式显示器，还包括：

移动信息获取部，以预定速率获取所述头戴式显示器的位置和姿势；以及

环境图存储部，存储表示所述三维空间中的所述物理对象的特征点分布的环境图，其中

所述物理对象分布获取部从所述环境图获取到物理对象的距离的分布，所述物理对象存在于与所述头戴式显示器的所述位置和所述姿势相对应的视场中。

6.根据权利要求2所述的头戴式显示器，其中

所述物理对象分布获取部获取到所述物理对象的所述特征点的距离的直方图，并获取所述直方图中的预定百分比点的值，以及

所述叠加图像控制部根据所述百分比点以预定比率或更大的比率集中的距离类别来确定所述叠加图像的虚拟距离。

7.根据权利要求1所述的头戴式显示器，其中

所述显示图像生成部在从确定所述叠加图像的显示开始起的预定时间段之后，根据在所述预定时间段中确定的所述虚拟距离在所述显示图像上显示所述叠加图像。

8.根据权利要求1所述的头戴式显示器，其中

所述叠加图像控制部随着所述虚拟距离的增加而增加所述叠加图像在所述三维空间中的尺寸。

9.根据权利要求1所述的头戴式显示器，其中

所述显示图像生成部改变所述叠加图像的所述虚拟距离，以便对应于由于所述视场的改变而引起的所述状态的改变。

10.根据权利要求9所述的头戴式显示器，还包括：

移动信息获取部，获取所述头戴式显示器的移动，其中

所述显示图像生成部在一时间段内完成所述虚拟距离的改变，在所述时间段内，所述头戴式显示器以等于或高于预定速度的速度移动。

11.根据权利要求9所述的头戴式显示器，其中

所述显示图像生成部在所述虚拟距离的所述改变中使所述改变之前的所述叠加图像淡出并且使所述改变之后的所述叠加图像淡入。

12.根据权利要求9所述的头戴式显示器，其中

所述显示图像生成部使所述叠加图像在所述三维空间中的位置逐渐达到预期的虚拟距离。

13.一种由实现立体视觉的头戴式显示器执行的图像显示方法，所述图像显示方法包括：

根据视场中的三维空间的状态确定要显示的叠加图像的虚拟距离；

生成在所述叠加图像被放置在所述三维空间中的所述虚拟距离处的状态下的包括所述叠加图像的显示图像的数据；以及

将所述显示图像的所述数据输出到显示面板。

14.一种用于计算机的计算机程序，包括：

在实现立体视觉的头戴式显示器中：

由叠加图像控制部根据视场中的三维空间的状态确定要显示的叠加图像的虚拟距离；

由显示图像生成部生成在所述叠加图像被放置在所述三维空间中的所述虚拟距离处的状态下的包括所述叠加图像的显示图像的数据；以及

由输出控制部将所述显示图像的所述数据输出到显示面板。