CN111247473B - 使用提供视觉线索的装置的显示设备及显示方法 - Google Patents

Abstract

公开了一种显示设备和借助该显示设备的显示方法。该显示设备包括：用于渲染图像的至少一个图像渲染器；出射光学元件，当用户头戴显示设备时，经渲染的图像的投影通过该出射光学元件从显示设备射出并入射到用户的眼睛上；提供视觉线索的装置，该提供视觉线索的装置在基本围绕出射光学元件的视口的外围区域中提供视觉线索；以及与所述至少一个图像渲染器和提供视觉线索的装置相联接的处理器，其中，该处理器至少部分地基于经渲染的图像的在出射光学元件的视口中不可见的区域来产生驱动信号，并通过该驱动信号控制提供视觉线索的装置。

Description

使用提供视觉线索的装置的显示设备及显示方法

技术领域

本公开总体上涉及虚拟和增强现实；更具体地，涉及包括图像渲染器、出射光学元件、提供视觉线索的装置以及处理器的显示设备。此外，本公开还涉及借助前述显示设备的显示方法。

背景技术

近年来，向用户呈现模拟环境的诸如虚拟现实、增强现实等之类的技术的开发和使用已经迅速发展。具体地，这样的技术通过采用诸如立体视法之类的当代技术为用户提供了在模拟环境中完全参与的感觉。因此，这样的模拟环境增强了用户对于他/她周围的现实的感知。此外，这样的模拟环境涉及完全虚拟的环境(即，虚拟现实环境)以及包括覆盖在其上的虚拟对象的现实世界环境(即，增强现实环境)。

典型地，为了体验这样的模拟环境，用户可以使用例如诸如虚拟现实设备、增强现实设备等之类的设备。通常，虚拟现实设备和增强现实设备是具有专用于用户的每只眼睛的显示光学部件的双目设备。虚拟现实设备的示例包括头戴式虚拟现实设备、虚拟现实眼镜等。此外，增强现实设备的示例包括增强现实头戴式耳机、增强现实眼镜等。

然而，传统的虚拟现实设备和增强现实设备具有与其相关的某些限制。首先，虚拟现实设备和/或增强现实设备的图像渲染设备的视觉宽度通常比用户眼睛的视野小。因此，由图像渲染设备显示的图像在图像渲染设备的边缘附近显现为不连续的。因此，用户可以看到由于采用这种不连续图像而产生的在模拟环境的视觉场景周围的边界(即黑色边缘)。此外，这种边界由于沉浸感欠佳而严重降低了用户对模拟环境的体验质量。其次，用户通常感知不到延伸超出虚拟现实设备和/或增强现实设备的图像渲染设备的视觉宽度(即，超出其视口)之外的模拟环境的视觉场景。这严重限制了用户对这种延伸超出这种图像渲染设备的视觉宽度之外的视觉场景的反应。

因此，考虑到前述讨论，需要克服前述与传统的虚拟现实设备和增强现实设备相关的缺陷。

发明内容

本公开旨在提供一种显示设备。本公开还旨在提供一种借助该显示设备的显示方法。本公开旨在提供一种解决方案，以解决虚拟和增强现实设备所显示的图像的边缘附近不连续从而导致用户对模拟环境的沉浸式体验欠佳的现有问题。本公开的目的是提供一种解决方案，该解决方案至少部分地克服了现有技术中遇到的问题，并且提供了一种鲁棒的、可靠的及有效的显示设备，该显示设备消除了现有显示设备中的上述问题。

在一个方面，本公开的实施例提供了一种显示设备，包括：

-至少一个用于渲染图像的图像渲染器；

-出射光学元件，当用户头戴所述显示设备时，经渲染的图像的投影通过所述出射光学元件从所述显示设备射出并入射到用户的眼睛上；

-提供视觉线索的装置，所述视觉线索设置在外围区域中，所述外围区域基本围绕所述出射光学元件的视口，同时位于用户的视野之内；以及

-与所述至少一个图像渲染器和所述提供视觉线索的装置相联接的处理器，其中，所述处理器被配置成：至少部分地基于经渲染的图像的在所述出射光学元件的视口中不可见的区域来产生驱动信号，并且通过所述驱动信号来控制所述提供视觉线索的装置。

在另一个方面，本公开的实施例提供了一种借助包括至少一个图像渲染器、出射光学元件以及提供视觉线索的装置的显示设备的显示方法，该方法包括：

-在至少一个图像渲染器中渲染图像，其中，当用户头戴所述显示设备时，经渲染的图像的投影经过所述出射光学元件从所述显示设备射出并入射到用户的眼睛上；

-至少部分地基于所述经渲染的图像的在所述出射光学元件的视口中不可见的区域来产生驱动信号；以及

-通过所述驱动信号控制所述提供视觉线索的装置以在外围区域中提供视觉线索，所述外围区域基本围绕所述出射光学元件的视口并同时位于用户的视野之内。

本公开的实施例基本上消除或至少部分解决了现有技术中的上述问题，并且有利于图像边缘附近的连续性和视觉线索的创建，以向用户指示位于外围区域中同时位于用户视野内的视觉场景。

根据本公开的附图和说明性实施例的具体实施方式，本公开的其他方面、优势、特征和目的将变得明显。

应当理解，可以在不脱离所附权利要求所限定的本公开的范围的情况下，将本公开的特征容易地以各种组合进行组合。

附图说明

当结合附图阅读时，可以更好地理解上述发明内容以及下述说明性实施例的具体描述。为了描述本公开，附图中示出了本公开的示例性构造。然而，本公开不限于本文所公开的特定方法和手段。此外，本领域技术人员应当理解，附图未按比例绘制。只要有可能，相似的元件都用相同的数字进行指示。

现在将参考以下附图并仅通过示例的方式来描述本公开的实施例，其中：

图1是根据本公开实施例的显示设备的架构框图；

图2A是根据本公开的实施例的当用户头戴显示设备时，用户的眼睛的视野的示例性表示；

图2B是根据本公开的实施例的被布置于基本围绕出射光学元件的视口的图2A的外围区域中的提供视觉线索的装置的示例性表示；

图3至图4是根据本公开的不同实施例的显示设备的示例性实施方式；以及

图5示出了根据本公开的实施例的借助显示设备的显示方法的步骤。

在附图中，带下划线的数字用于表示该带下划线的数字被置于其上的项目或与该带下划线的数字相邻的项目。未带下划线的数字涉及由连接该未带下划线的数字与项目的线所标识的该项目。当数字未带下划线并带有相关联的箭头时，该未带下划线的数字用于标识箭头所指向的整体项目。

具体实施方式

以下具体实施方式描述了本公开的实施例以及可以实现它们的方式。尽管已经公开了执行本公开的一些方式，但是本领域技术人员应当认识到，用于执行或实践本公开的其他实施例也是可能的。

在一个方面，本公开的实施例提供了一种显示设备，包括：

-至少一个用于渲染图像的图像渲染器；

-出射光学元件，当用户头戴显示设备时，经渲染的图像的投影通过所述出射光学元件从所述显示设备射出并入射到用户的眼睛上；

-提供视觉线索的装置，该视觉线索设置在外围区域中，该外围区域基本围绕出射光学元件的视口并同时位于用户的视野之内；以及

-与至少一个图像渲染器和提供视觉线索的装置相联接的处理器，其中，处理器被配置成：至少部分地基于经渲染的图像的在出射光学元件的视口中不可见的区域来产生驱动信号，并且通过驱动信号控制提供视觉线索的装置。

在另一个方面，本公开的实施例提供了一种借助包括至少一个图像渲染器、出射光学元件以及提供视觉线索的装置的显示设备的显示方法，该方法包括：

-在至少一个图像渲染器中渲染图像，其中，当用户头戴显示设备时，经渲染的图像的投影通过出射光学元件从显示设备射出并入射到用户的眼睛上；

-至少部分地基于经渲染的图像的在出射光学元件的视口中不可见的区域来产生驱动信号；以及

-通过驱动信号控制提供视觉线索的装置以在外围区域中提供视觉线索，该外围区域基本围绕出射光学元件的视口并同时位于用户的视野之内。

本公开提供了前述显示设备以及通过这种显示设备进行显示的前述方法。本文描述的显示设备使得能够消除由显示设备显示的图像的边缘附近的不连续性。此外，该显示设备使用户能够看到图像的改善的对比度和颜色。因此，该显示设备有利于增强显示设备的用户对于模拟环境的沉浸体验。此外，本文描述的显示设备使得用户能够感知到延伸(即，发生)超出显示设备的出射光学元件的视觉宽度之外的视觉场景。

在整个本公开中，本文中使用的术语“显示设备”涉及被配置成向显示设备的用户显示(即，呈现)图像的专用设备。在这种情况下，显示设备可被操作为用于向用户显示图像的设备(例如，诸如虚拟现实头戴式耳机、增强现实头戴式耳机、一副虚拟现实眼镜、一副增强现实眼镜等之类)。

如前所述，至少一个图像渲染器渲染图像。具体地，当用户头戴显示设备时，经渲染的图像被投影到用户的眼睛上。根据一个实施例，本文中使用的术语“图像”涉及待通过显示设备显示的模拟环境(例如，诸如虚拟现实环境之类)的虚拟场景的呈现。

根据另一个实施例，本文中使用的术语“图像”涉及至少一个虚拟对象的图像。至少一个虚拟对象的示例包括但不限于虚拟导航工具、虚拟小工具、虚拟消息、虚拟实体和虚拟媒介。此外，在这种实施例中，图像可以覆盖在现实世界图像的投影上以构造出由此得到的模拟环境(例如，诸如增强现实环境之类)的视觉场景。在整个本公开中，本文使用的术语“真实世界图像”涉及描绘用户所处的他/她的实际周围环境的图像。可选地，显示设备包括至少一个捕获真实世界图像的摄像机。又可选地，显示设备还包括至少一个光学设备，以实现上述覆盖操作并将所得的模拟环境投影到显示设备(例如，诸如增强现实头戴式耳机、一副增强现实眼镜等之类的)的用户眼睛上。

根据又一个实施例，本文中使用的术语“图像”涉及对象的图形表示(即，视觉感知)。对象的示例包括但不限于物体、人、地图、绘画、风景、图形图和文本。可选地，图像是对象的二维表示。

在整个本公开中，本文使用的术语“至少一个图像渲染器”涉及被配置成有利于图像渲染的设备。可选地，至少一个图像渲染器包括至少一个用于渲染背景图像的背景图像渲染器和至少一个用于渲染焦点图像的焦点图像渲染器，其中，经渲染的背景图像的投影和经渲染的焦点图像的投影一起形成经渲染的图像的投影。在这种情况下，图像包括背景图像和焦点图像。因此，对背景图像和焦点图像进行渲染以在至少一个图像渲染器中共同构成经渲染的图像。应当理解，背景图像涉及待通过至少一个背景图像渲染器进行渲染和投影的虚拟场景、至少一个虚拟物体或对象的宽幅图像。另外，焦点图像可涉及对待通过至少一个焦点图像渲染器进行渲染和投影的虚拟场景的部分(即，一部分)、至少一个虚拟物体或对象进行描绘的另一个图像。此外，焦点图像在尺寸上小于背景图像。

可选地，经渲染的背景图像的投影的角度宽度的范围在40度至220度，而经渲染的焦点图像的投影的角度宽度的范围在5度至60度。这种情况下，经渲染的背景图像的投影的角度宽度可以例如是从40度、50度、60度、70度、80度、90度、100度、110度、120度、130度、140度、150度、160度或170度至70度、80度、90度、100度、110度、120度、130度、140度、150度、160度、170度、180度、190度、200度、210度或220度，而经渲染的焦点图像的投影的角度宽度可以例如是从5度、10度、15度、20度、25度、30度、35度、40度、45度或50度至15度、20度、25度、30度、35度、40度、45度、50度、55度或60度。

在整个本公开中，术语“角度宽度”是指当用户佩戴显示设备时，从用户的眼睛看到的给定投影的角度宽度。应当理解，可选地，经渲染的背景图像的投影的角度宽度大于经渲染的焦点图像的投影的角度宽度，这是因为经渲染的焦点图像通常投影在用户眼睛的中央凹上或其周围，而经渲染的背景图像则投影在用户眼睛的视网膜上。

在整个本公开中，本文使用的术语“背景图像渲染器”涉及被配置成有利于渲染背景图像的设备。类似地，本文中使用的术语“焦点图像渲染器”涉及被配置成有利于渲染焦点图像的设备。

在一个实施例中，至少一个图像渲染器通过至少一个投影仪和与其相关联的投影屏幕来实现。可选地，可以在用于实现至少一个图像渲染器的至少一个投影仪之间共享单个投影屏幕。在另一个实施例中，至少一个图像渲染器通过被配置成从其发射经渲染的图像的投影的至少一个显示器来实现。

如前所述，可选地，至少一个图像渲染器包括用于渲染背景图像的背景图像渲染器和用于渲染焦点图像的焦点图像渲染器。因此，在一个实施例中，背景图像渲染器和/或焦点图像渲染器通过前述的至少一个投影仪和与该投影仪相关联的前述投影屏幕来实现。可选地，可以在用于实现背景图像渲染器和焦点图像渲染器的至少一个投影仪之间共享上述单个投影屏幕。在另一个实施例中，背景图像渲染器通过被配置成从其发射经渲染的背景图像的投影的至少一个背景显示器来实现，焦点图像渲染器通过被配置成从其发射经渲染的焦点图像的投影的至少一个焦点显示器来实现。

此外，可选地，显示设备包括用于将经渲染的背景图像的投影与经渲染的焦点图像的投影进行合成以创建图像的至少一个光学合成器。

在一个实施例中，处理器被配置成控制至少一个用于渲染图像的图像渲染器。在另一个实施例中，外部处理器(即，显示设备外部的处理器)被配置成控制至少一个用于渲染图像的图像渲染器。作为示例，外部处理器可以是便携式电子设备的处理器，其中，便携式电子设备可通信地联接到该显示设备。

如前所述，当用户头戴显示设备时，经渲染的图像的投影通过出射光学元件从显示设备射出并入射到用户的眼睛上。在整个本公开中，术语“出射光学元件”涉及被配置成当用户头戴显示设备时，将经渲染的图像的投影引导至用户眼睛的光学设备。可选地，出射光学元件被配置成当用户头戴显示设备时，该出射光学元件将经渲染的背景图像的投影和经渲染的焦点图像的投影引导至用户的眼睛。

可选地，出射光学元件放大经渲染的图像的投影的尺寸(或角度尺寸)。在这种情况下，使用放大光学元件使得能够在显示设备内使用小尺寸的组件(即，小尺寸的至少一个图像渲染器)。此外，可选地，出射光学元件通过以下至少之一来实现：凸透镜、平凸透镜、液晶(LC)透镜、液态透镜、菲涅耳透镜、非球面透镜、消色差透镜。

可选地，出射光学元件具有面向用户眼睛的曲面。在这种情况下，该曲面可以是凸形的(即朝着用户的眼睛凸起)或凹形的(即，远离用户的眼睛向内凸起)。

如前所述，提供视觉线索的装置在外围区域中提供视觉线索。外围区域基本上围绕出射光学元件的视口并同时位于用户的视野之内。在整个本公开中，术语“外围区域”涉及用户视野之内的区域，当用户头戴显示设备时，该区域基本位于用户视野的边界和出射光学元件的视口之间。应当理解，当用户头戴显示设备时，该外围区域通过从用户眼睛的视野中减去出射光学元件的视口区域来获得。

此外，在整个本公开中，术语“视觉线索”涉及要通过显示设备提供给用户眼睛的视觉指示(即，以光的形式的指示)。应当理解，由于视觉线索增强了用户在经渲染的图像中的沉浸感(即，视觉感知)。有利地，作为示例，视觉线索使显示设备的用户能够感知在显示设备的出射光学元件的视口(即，视觉宽度)中不可见的视觉场景。此外，有利地，作为另一个示例，视觉线索使得能够提供关于在经渲染的图像之后待由至少一个图像渲染器渲染的至少一个后续图像的指示。此外，如前所述，视觉线索将在出射光学元件的视口的周围环境中(即，在外围区域中)提供，使得视觉线索位于用户的视野之内。

在整个本公开中，术语“提供视觉线索的装置”涉及被配置成向用户提供视觉线索的设备。可选地，提供视觉线索的装置以光的形式向显示设备的用户提供指示。

如前所述，处理器与至少一个图像渲染器以及提供视觉线索的装置相联接。该处理器被配置成至少部分地基于经渲染的图像的在出射光学元件的视口中不可见的区域来产生驱动信号。应当理解，该驱动信号至少部分地基于经渲染的图像的在出射光学元件的视口中不可见的区域，以使用户即使不直接看到也能够感知该区域。

在一个实施例中，处理器通过适合于控制显示设备的操作的硬件、软件、固件或它们的组合来实现。

在整个本公开中，本文使用的术语“驱动信号”涉及控制提供视觉线索的装置的操作的操作信号。如前所述，该驱动信号至少部分地基于经渲染的图像的在出射光学元件的视口中不可见的区域。可选地，驱动信号至少部分地基于以下至少之一：在出射光学元件的视口中可见的经渲染的图像的特性、在经渲染的图像之后待由至少一个图像渲染器渲染的至少一个后续图像的特性、用户的偏好、用户周围实际环境的环境光。经渲染的图像和/或至少一个后续图像的特性的示例包括但不限于经渲染的图像和/或至少一个后续图像中的亮度、对比度、颜色、环境光和阴影。

处理器被配置成通过驱动信号控制提供视觉线索的装置。应当理解，对提供视觉线索的装置的这种控制使处理器例如能够控制要提供的视觉线索的数量、提供视觉线索的持续时间、提供视觉线索的区域、视觉线索的视觉属性等。视觉线索的视觉属性的示例包括但不限于视觉线索的颜色、视觉线索的亮度、视觉线索的清晰度和视觉线索的尺寸。

作为一个示例，经渲染的图像I描绘了房屋和与房屋毗邻的公园的虚拟场景。在这种示例中，图像I的描绘房屋的区域R1可以在出射光学元件的视口中可见，而图像I的描绘公园的另一区域R2可以在出射光学元件的视口中不可见。在这种情况下，与图像I的区域R1相比，经渲染的图像I的区域R2可以具有不同的特性(例如，描绘公园的区域R2可以更亮)。在这种情况下，处理器可以至少部分地基于区域R2来产生驱动信号D1，以使得即使公园在出射光学元件的视口中不可见，也能够提供对公园的指示。因此，处理器可以通过所产生的驱动信号D1来控制提供视觉线索的装置，以用白光照亮外围区域(即，以指示公园中存在自然环境光)。

作为另一个示例，可以通过显示设备来呈现恐怖游戏的模拟环境。在这种情况下，经渲染的图像A可以描绘毁坏的城堡环境的视觉场景。应当理解，经渲染的图像的描绘毁坏的城堡内的房间的区域RR可以在出射光学元件的视口中可见，而经渲染的图像A的描绘毁坏的城堡内的图书馆的区域RL可以在出射光学元件的视口中不可见。在这种情况下，显示设备的用户可能更喜欢在外围区域中提供的视觉线索颜色较暗并且亮度较低。因此，处理器可以基于经渲染的图像A的在出射光学元件的视口中不可见的区域RL和用户的偏好来产生驱动信号。

可选地，处理器被配置成基于在经渲染的图像之后待由至少一个图像渲染器渲染的至少一个后续图像来产生驱动信号。在这种情况下，处理器可以接收待由显示设备渲染的至少一个后续图像，并且可以确定至该少一个后续图像的特性。此后，处理器可以基于至少一个后续图像的特性来产生驱动信号。例如，如果经渲染的图像X1描绘了具有低亮度的视觉场景并且后续图像X2(在经渲染的图像X1之后待由至少一个图像渲染器渲染)具有高亮度，则处理器可以基于后续图像X2(即，基于后续图像X2的特性)产生驱动信号。

可选地，提供视觉线索的装置包括布置在外围区域中的多个发光元件，并且其中，处理器被配置成控制由多个发光元件发射的光的颜色和/或强度。在这种情况下，当用户佩戴显示设备时，多个发光元件用于发射照亮外围区域的光。此外，多个发光元件被布置在基本围绕出射光学元件的视口的外围区域中。因此，多个发光元件位于用户的视野之内，并且从该多个发光元件发射的光对于用户可见。应当理解，多个发光元件是可操作的以照亮用户的一只眼睛或两只眼睛。

在整个本公开中，本文使用的术语“多个发光元件”涉及被配置成向用户的眼睛发射光以向用户提供视觉线索的至少一个光源。可选地，就这点而言，多个发光元件被配置成发射可见波长的光。由多个发光元件发射的光提供基本围绕出射光学元件的视口的环境照明效果，从而当经渲染的图像和这种光入射到用户的眼睛上时提高沉浸感。可选地，多个发光元件通过显示器、优选地通过低分辨率LCD显示器的方式来实现。可选地，多个发光元件通过以下至少之一来实现：发光二极管、光激光器、投光器等。在另一个实施例中，多个发光元件通过组合显示器和诸如发光二极管之类的其他发光元件来实现。

如前所述，可选地，由多个发光元件发射的光的颜色和/或强度是可调节的。在这种情况下，可选地，可以通过调节驱动信号来调节发射的光的颜色和/或强度。应当理解，对发射的光的颜色和/或强度的前述调节使得能够控制视觉线索的视觉属性。作为示例，低幅度驱动信号可以控制多个发光元件以发射具有低强度的光，而高幅度驱动信号可以控制多个发光元件以发射具有高强度的光。可选地，处理器还被配置成控制由多个发光元件发射的光的其他特性(例如，诸如波长、光路等之类)。

在一个实施例中，处理器被配置成通过驱动信号来控制由多个发光元件发射的光的颜色。在另一个实施例中，处理器被配置成通过驱动信号来控制由多个发光元件发射的光的强度。在又一个实施例中，处理器被配置成通过驱动信号来控制由多个发光元件发射的光的颜色和强度。在另一个实施例中，处理器被配置成将图像渲染至发光元件。

仅仅出于说明的目的，现在将考虑示例，其中，显示设备渲染图像Y。经渲染的图像Y可以描绘房屋内部环境的视觉场景。在这样的示例中，图像Y的描绘房屋内光线暗淡的储藏室的区域Y1可以在出射光学元件的视口中可见，而图像Y的描绘房屋的毗邻储藏室的被阳光照亮的客厅的另一个区域Y2可以在出射光学元件的视口中不可见。在这种情况下，与图像Y的区域Y1相比，经渲染的图像Y的区域Y2可以具有不同的特性(例如，描绘客厅的区域Y2被明亮地照亮)。在这种情况下，处理器可以至少部分地基于区域Y2来产生驱动信号S，以使得即使客厅在出射光学元件的视口中不可见，也能够提供照亮客厅的明亮的阳光的指示。因此，处理器可以通过所产生的驱动信号S来控制由多个发光元件发射的光的颜色，以用黄光照亮外围区域(即，指示存在照亮客厅的日光)。此外，处理器还可以通过所产生的驱动信号S来控制由多个发光元件发射的黄光的强度。在这种情况下，多个发光元件在外围区域中提供高强度的光。

可选地，当用户头戴显示设备时，多个发光元件与用户的眼睛之间的距离与出射光学元件与用户的眼睛之间的距离基本相同。在这种情况下，多个发光元件可选地以使得多个发光元件的形状/物理结构保持在用户眼睛的焦点之外的方式来布置。因此，用户看不到多个发光元件，但是可以看到从该发光元件发射的光。有利地，在这种情况下，由于外围区域相对于用户的眼睛来说空间分辨率较低，即使当多个发光元件在空间上被彼此分离地定位时，由多个发光元件发射的光也会显得均匀。在发光元件是在其上渲染图像的显示器的情况下，经渲染的图像在用户眼睛的焦点之外，因此低分辨率显示器是足够的。

此外，可选地，提供视觉线索的装置还包括用于漫射由多个发光元件发射的光的多个漫射器。该多个漫射器以散射或扩散由多个发光元件发射的光的方式与多个发光元件相联接，以提供柔光效果。在操作中，多个漫射器位于由多个发光元件发射的光的光路中。多个漫射器在外围区域内逐渐地(即，精细地)散布这种发射的光。

在整个本公开中，术语“多个漫射器”涉及用于均匀地或不均匀地散布由多个发光元件发射的光以消除明显的亮点和/或暗点的光学组件。可选地，多个漫射器通过以下中的至少两项来实现：毛玻璃漫射器、聚四氟乙烯漫射器、全息漫射器、乳白玻璃漫射器以及灰色玻璃漫射器。

另外，可选地，多个发光元件包括至少第一组发光元件和第二组发光元件，其中，由第一组发光元件发射的光的颜色和/或强度与第二组发光元件发射的光的颜色和/或强度不同。在这种情况下，可选地，处理器产生单独的驱动信号以控制第一组发光元件和第二组发光元件。此外，可选地，第一组发光元件和第二组发光元件以第一组和第二组发光元件在空间上彼此隔开的方式被布置在外围区域内。可替换地，可选地，第一组发光元件和第二组发光元件散布在整个外围区域中。在这种情况下，第一组发光元件和第二组发光元件可以均匀或不均匀地散布在外围区域内。

在一个示例中，当用户头戴显示设备时，第一组发光元件在外围区域中可以布置在出射光学元件的视口的左侧，而第二组发光元件在外围区域中可以布置在出射光学元件的视口的右侧。在另一示例中，第一组发光元件在外围区域中可以布置在视口的顶侧，而第二组发光元件在外围区域中可以布置在出射光学元件的视口的底侧。在又一个示例中，第一组发光元件和第二组发光元件可以任意地散布在外围区域内。

如前所述，可选地，第一组发光元件和第二组发光元件被配置成发射具有不同颜色和/或强度的光。仅仅出于说明的目的，现在将考虑一个示例，其中，显示设备可以在至少一个图像渲染器中渲染视觉场景的图像Z，其中，图像Z描绘两个对象OB1和OB2。此外，在这种情况下，图像Z的描绘对象OB1的区域Z1可以在出射光学元件的视口中可见，而图像Z的描绘对象OB2的区域Z2可以在出射光学元件的视口中不可见。例如，图像Z可以包括基本与区域Z1相对应的左侧部分和基本与区域Z2相对应的右侧部分，以使得如果观看区域Z1的用户向右旋转他/她的头部，则区域Z2可以在出射光学元件的视口中变得可见。因此，在这种情况下，区域Z2从出射光学元件的视口的右侧进入显示在视觉场景中。此外，在这种示例中，第一组发光元件可以布置在前述视口的左侧，而第二组发光元件可以布置在前述视口的右侧。因此，可选地，基于对象OB1和OB2的属性，处理器可以以下述方式来产生针对第一组发光元件和第二组发光元件的不同驱动信号：使得由第一组发光元件发射的光的颜色与对象OB1的颜色基本相同，而由第二组发光元件发射的光的颜色与对象OB2的颜色基本相同。应当理解，即使当对象OB2在出射光学元件的视口中不可见时，这种实施方式也能够提供与对象OB2有关的视觉指示。

可选地，显示设备还包括运动检测器。该运动检测器被配置成当用户头戴显示设备时检测用户的头部的运动。更可选地，运动检测器是加速度计、陀螺仪运动传感器等中的至少一种。可选地，就此而言，处理器与运动检测器以及提供视觉线索的装置可通信地联接，其中，处理器被配置成从运动检测器接收检测到的用户头部的运动，并根据所检测到的用户头部运动通过驱动信号来控制提供视觉线索的装置。

作为一个示例，显示设备可以在至少一个图像渲染器中渲染视觉场景的图像M，其中，图像M描绘两个对象O1和O2。在这种示例中，第一组发光元件可以布置在出射光学元件的视口的左侧，而第二组发光元件可以布置在视口的右侧。此外，在这种情况中，图像M的描绘对象O1的区域M1可以在出射光学元件的视口中可见，而图像M的描绘对象O2的区域M2可以在出射光学元件的视口中不可见。但是，如果观看区域M1的用户向右旋转他/她的头部，则对象O2可以出射光学元件的视口中变得可见。在这种示例中，如果出现在区域M2中的对象O2描绘烟花，则处理器可以基于出现在区域M2中的对象O2的属性来通过驱动信号控制第二组发光元件。例如，处理器可以通过驱动信号控制由第二组发光元件发射的光的颜色以发射黄光(即，指示存在烟花)。可选地，处理器可以控制第二组发光元件以使其周期性地闪烁，从而向用户提供视觉线索以使他/她向右转动头部。此外，显示设备的运动检测器可以检测到用户头部的这种向右运动，并且可以将指示检测到的用户头部运动的信号发送给处理器。如果用户头部的运动使得区域M2中的对象O2现在在出射光学元件的视口中可见，则处理器可以通过驱动信号DS1来控制提供视觉线索的装置停止或改变由第二组发光元件发射的光。可选地，如果用户的头部远离期望的方向(即，向左、向上或向下)运动，则处理器可以继续发送驱动信号DS2以使得能够从第二组发光元件发射光。

此外，可选地，提供视觉线索的装置包括至少一个光学元件，该光学元件将从至少一个图像渲染器的渲染边界的至少一部分发射的光朝向外围区域引导，从而照亮外围区域。可选地，就这点而言，该至少一个光学元件沿着至少一个图像渲染器的渲染边界被布置。

在整个本公开中，术语“至少一个图像渲染器的渲染边界”涉及至少一个图像渲染器的位于基本沿着经渲染的图像的边缘的区域。在一个实施例中，术语“至少一个图像渲染器的渲染边界”涉及用于实现至少一个图像渲染器的投影屏幕的位于基本沿着在这种投影屏幕上渲染的图像的边缘的区域。在另一个实施例中，术语“至少一个图像渲染器的渲染边界”涉及至少一个背景显示器的位于基本沿着在这种至少一个背景显示器中渲染的背景图像的边缘的区域。

在整个本公开中，本文中的术语“至少一个光学元件”涉及可操作以将由至少一个图像渲染器发射的光朝向外围区域引导(即，导引)的一种光学设备。应当理解，由至少一个图像渲染器发射的光基本与经渲染的图像的投影相对应。因此，使用至少一个光学元件能够提供与经渲染的图像有关的视觉线索。有利地，这些视觉线索可以显示为与经渲染的图像无缝融合，从而增加用户对经渲染的图像的沉浸感。

可选地，至少一个光学元件通过以下至少之一来实现：透镜、光纤元件。在一个实施例中，至少光学元件通过透镜(例如，诸如凸透镜之类)来实现。在另一个实施例中，至少光学元件通过光纤元件来实现。在又一个实施例中，光纤元件和透镜被用作至少一个光学元件。

作为一个示例，至少一个图像渲染器可以以200×100像素的矩形显示器来实现。在这种示例中，显示器可以在水平方向(即，纵向)具有200个像素，在竖直方向(即，横向)具有100个像素。在这种情况下，提供视觉线索的装置例如包括用于将从矩形显示器的渲染边界的至少一部分发射的光朝向外围区域引导的至少一个光学元件。因此，这种矩形显示器的渲染边界可以包括600个像素(即显示器的顶侧边界和底侧边界各自具有200个像素，显示器的左侧边界和右侧边界各自具有100个像素)。在这种情况下，一个光学元件可以将从渲染边界的20个像素发射的光朝向用户的眼睛引导。因此，可以使用20个光学元件来引导从显示器的顶侧边界和底侧边界发射的光，可以使用10个光学元件来引导从显示器的左侧边界和右侧边界发射的光。在另一个示例中，这种显示器位于靠近目镜的外围区域中，但是位于目镜的用户侧。

在一个实施例中，多个漫射器以散射或扩散由至少一个光学元件发射的光的方式与至少一个光学元件相联接，以提供柔光效果。在操作中，多个漫射器位于从其发射光的至少一个光学元件的一部分处，以照亮外围区域。多个漫射器在外围区域内逐渐地(即，精细地)散布这种发射的光。

此外，可选地，显示设备包括与处理器通信地联接的检测视线方向的装置，其中，显示设备的处理器被配置成：

(a)从检测视线方向的装置接收检测到的用户视线方向；

(b)接收要显示给显示设备的用户的图像，并使用检测到的用户的视线方向来确定图像的视觉精度区域；

(c)处理图像以产生背景图像和焦点图像，背景图像具有第一分辨率，焦点图像具有第二分辨率，其中：

-背景图像的与输入图像的视觉精度区域基本对应的区域被遮盖，

-焦点图像基本对应于输入图像的视觉精度区域，以及

-第二分辨率高于第一分辨率；以及

(d)基本同时在背景图像渲染器中渲染背景图像以及在焦点图像渲染器中渲染焦点图像，同时控制至少一个光学合成器，以将经渲染的焦点图像的投影与经渲染的背景图像的投影以下述方式合成：使得经渲染的焦点图像的投影与经渲染的背景图像的被遮盖区域的投影基本重叠。

可选地，从与显示设备可通信地联接的成像设备和/或存储单元来接收要显示给显示设备的用户的图像。此外，应当理解，本文中使用的术语“视觉精度区域”涉及当显示设备的用户观看图像时，检测到的用户的视线方向所指向(即，聚焦)的图像区域。因此，视觉精度区域是图像内的注视区域。

此外，可选地，(焦点图像的)第二分辨率高于(背景图像的)第一分辨率，这是因为渲染的焦点图像通常由显示设备投影到用户眼睛的中央凹上或其周围，而渲染的背景由显示设备投影到用户眼睛的视网膜上。当显示设备的用户观看图像时，焦点图像和背景图像的这种分辨率使得能够模拟人类视觉系统的视觉特征。

此外，可选地，图像的视觉精度区域在低分辨率的经渲染的背景图像和高分辨率的经渲染的焦点图像中都进行呈现。此外，与具有低分辨率的经渲染的背景图像相比，具有高分辨率的经渲染的焦点图像可以包括更多与图像的视觉精度区域有关的信息。因此，应当理解，当合成焦点图像的投影与经渲染的背景图像的投影时，处理器可选地遮盖背景图像的与图像的视觉精度区域基本对应的区域，以避免图像的视觉精度区域的光学畸变。

因此，可选地，使用显示设备内的检测视线方向的装置使得能够在显示设备内实现主动中央凹(即，视线应变)。因此，这种显示设备密切地模仿人类视觉系统的视觉特征。

本公开还涉及如上所述的方法。以上公开的各种实施例和变体在做出必要改变的情况下适用于该方法。

附图详细描述

参照图1，示出了根据本公开的实施例的显示设备100的架构框图。如图所示，显示设备100包括：描绘为用于渲染图像的图像渲染器102的至少一个图像渲染器；出射光学元件(如图2A和图2B所示)，当用户头戴显示设备100时，经渲染的图像的投影通过该出射光学元件从显示设备100射出并入射在用户的眼睛上；在外围区域中提供视觉线索(如图2A和图2B所示)的提供视觉线索的装置104，该外围区域基本围绕出射光学元件的视口，同时位于用户的视野之内；处理器106与至少一个图像渲染器102及提供视觉线索的装置104相联接。处理器106，该处理器被配置成至少部分地基于经渲染的图像的在出射光学元件的视口中不可见的区域来产生驱动信号，并通过该驱动信号来控制提供视觉线索的装置104。可选地，处理器106被配置成基于在经渲染的图像之后待由至少一个图像渲染器102渲染的至少一个后续图像来产生驱动信号。

参照图2A，示出了根据本公开的实施例的当用户头戴显示设备(例如，诸如图1中的显示设备100之类)时，用户的眼睛的视野200的示例性表示。如图所示，用户眼睛的视野200包括出射光学元件204的视口202及外围区域206。外围区域206基本围绕出射光学元件204的视口202，同时位于用户的视野200之内。

参照图2B，示出了根据本公开的实施例的提供视觉线索的装置208的示例性表示，该提供视觉线索的装置被布置在图2A中的基本围绕出射光学元件204的视口202的外围区域206中。如图所示，提供视觉线索的装置208可选地包括多个发光元件，该多个发光元件被描绘为被布置在外围区域206中的发光元件208a、208b、208c、208d、208e和208f。

参照图3和图4，示出了根据本公开的不同实施例的在显示设备(未示出)中使用的显示设备100(如图1所示)的示例性实施方式。本领域技术人员可以理解，为了清楚起见，图3和图4包括用于实现该显示设备100的简化布置，这不应限制权利要求的范围。本领域技术人员将认识到本公开的实施例的许多变化、替换和修改。

参照图3，示出了根据本公开的实施例的显示设备300(例如，诸如图1的显示设备100)的示例性实施方式。如图所示，显示设备300包括：被描绘为用于渲染图像的图像渲染器302的至少一个图像渲染器；出射光学元件304，当用户头戴显示设备300时，经渲染的图像的投影通过该出射光学元件304从显示设备300射出并入射到用户的眼睛306上。显示设备300还包括在外围区域中提供视觉线索的提供视觉线索的装置308，该外围区域基本围绕出射光学元件304的视口并同时位于用户的视野之内。显示设备300还包括与至少一个图像渲染器302和提供视觉线索的装置308相联接的处理器(例如图1的处理器106)。该处理器被配置成至少部分地基于经渲染的图像的在出射光学元件304的视口中不可见的区域来产生驱动信号，以及通过该驱动信号来控制提供视觉线索的装置308。

可选地，如图3所示，提供视觉线索的装置308包括多个发光元件，该多个发光元件被描绘为被布置在外围区域中的发光元件308a、308b、308c、308d、308e及308f，并且其中，处理器被配置成控制由多个发光元件308a-f发射的光的颜色和/或强度。更可选地，当用户头戴显示设备300时，多个发光元件308a-308f与用户的眼睛306之间的距离与出射光学元件304与用户的眼睛306之间的距离基本相同。此外，可选地，多个发光元件308a-308f包括至少第一组发光元件及第二组发光元件，其中，由第一组发光元件发射的光的颜色和/或强度与由第二组发光元件发射的光的颜色和/或强度不同。例如，第一组发光元件可以包括发光元件308a、308b及308c，而第二组发光元件可以包括发光元件308d、308e及308f。另外，可选地，提供视觉线索的装置308还包括用于漫射由多个发光元件308a-308f发射的光的多个漫射器(未示出)。

参照图4，示出了根据本公开的另一个实施方式的显示设备400(例如，诸如图1的显示设备100)的示例性实施方式。显示设备400包括：被描绘为用于渲染图像的图像渲染器402的至少一个图像渲染器；出射光学元件404，当用户头戴显示设备400时，经渲染的图像的投影通过该出射光学元件404从显示设备400射出并入射到用户的眼睛406上。显示设备400还包括在外围区域中提供视觉线索的提供视觉线索的装置408，该外围区域基本围绕出射光学元件404的视口并同时位于用户的视野之内。显示设备还包括与至少一个图像渲染器402和提供视觉线索的装置408相联接的处理器(例如图1的处理器106)。该处理器被配置成至少部分地基于经渲染的图像的在出射光学元件404的视口中不可见的区域来产生驱动信号，并通过该驱动信号来控制提供视觉线索的装置408。

可选地，提供视觉线索的装置包括被描绘为光学元件410的至少一个光学元件410，该至少一个光学元件用于将从至少一个图像渲染器402的渲染边界的至少一部分发射的光朝向外围区域的一部分412引导，从而照亮该外围区域。更可选地，至少一个光学元件410通过以下至少之一来实现：透镜、光纤元件。

参照图5，示出了根据本公开实施例的借助显示设备(例如，诸如图1的显示设备100)的显示方法500的步骤。在步骤502处，在至少一个图像渲染器中渲染图像，其中，当用户头戴显示设备时，经渲染的图像的投影通过出射光学元件从显示设备射出并入射到用户的眼睛上。在步骤504处，至少部分地基于经渲染的图像的在出射光学元件的视口中不可见的区域来产生驱动信号。在步骤506处，通过驱动信号控制提供视觉线索的装置以在外围区域中提供视觉线索。该外围区域基本围绕出射光学元件的视口并同时位于用户的视野之内。

步骤502至步骤506仅仅是示例性的，并且在不脱离本发明权利要求的范围的情况下，还可以提供其他替换方案，其中可以添加一个或多个步骤、移除一个或多个步骤或以不同的顺序提供一个或多个步骤。例如，方法500还包括基于在经渲染的图像之后待由至少一个图像渲染器渲染的至少一个后续图像来产生驱动信号。可选地，在方法500中，提供视觉线索的装置包括布置在外围区域中的多个发光元件，并且其中，该方法还包括控制由多个发光元件发射的光的颜色和/或强度。更可选地，在方法500中，提供视觉线索的装置还包括用于漫射由多个发光元件发射的光的多个漫射器。此外，可选地，在方法500中，多个发光元件包括至少第一组发光元件和第二组发光元件，其中，控制光的颜色和/或强度的步骤包括以使得由第一组发光元件发射的光的颜色和/或强度与由第二组发光元件发射的光的颜色和/或强度不同的方式来控制第一组发光元件和第二组发光元件。可选地，在方法500中，提供视觉线索的装置包括至少一个光学元件，该光学元件将从至少一个图像渲染器的渲染边界的至少一部分发射的光朝向外围区域引导，从而照亮该外围区域。更可选地，在方法500中，至少一个光学元件通过以下至少之一实现：透镜、光纤元件。

在不脱离由所附权利要求限定的本公开的范围的情况下，可以对上述的本公开的实施例进行修改。用于描述和要求保护本公开的诸如“包括”、“包含”、“合并”、“具有”、“是”之类的表述旨在以非排他性的方式来解释，即允许未明确描述的项目、组件或元件。提及的单数也应被解释为涉及复数。

Claims (10)

1.一种显示设备，包括：

-用于渲染图像的至少一个图像渲染器；

-出射光学元件，当用户头戴所述显示设备时，经渲染的图像的投影通过所述出射光学元件从所述显示设备射出并入射到用户的眼睛上；

-提供视觉线索的装置，在外围区域中提供所述视觉线索，所述外围区域基本围绕所述出射光学元件的视口并同时位于用户的视野之内；

-与所述至少一个图像渲染器和所述提供视觉线索的装置相联接的处理器，其中，所述处理器被配置成基于所述经渲染的图像的在所述出射光学元件的视口中不可见的区域来产生驱动信号，并通过所述驱动信号来控制所述提供视觉线索的装置；

-其中，所述提供视觉线索的装置包括布置在所述外围区域中的多个发光元件，并且其中，所述处理器被配置成控制由所述多个发光元件发射的光的颜色和/或强度，其中，当用户头戴所述显示设备时，所述多个发光元件与用户的眼睛之间的距离与所述出射光学元件与用户的眼睛之间的距离基本相同；以及

-其中，所述提供视觉线索的装置还包括用于漫射由所述多个发光元件发射的光的多个漫射器。

2.根据权利要求1所述的显示设备，其中，所述处理器被配置成基于在所述经渲染的图像之后待由所述至少一个图像渲染器渲染的至少一个后续图像来产生所述驱动信号。

3.根据权利要求1或2所述的显示设备，其中，所述多个发光元件包括至少第一组发光元件及第二组发光元件，其中，由所述第一组发光元件发射的光的颜色和/或强度与由所述第二组发光元件发射的光的颜色和/或强度不同。

4.根据权利要求1或2所述的显示设备，其中，所述提供视觉线索的装置包括至少一个光学元件，所述至少一个光学元件用于将从所述至少一个图像渲染器的渲染边界的至少一部分发射的光朝向所述外围区域引导，从而照亮所述外围区域。

5.根据权利要求4所述的显示设备，其中，所述至少一个光学元件通过以下至少之一实现：透镜、光纤元件。

6.一种借助显示设备的显示方法，所述显示设备包括至少一个图像渲染器、出射光学元件以及提供视觉线索的装置，所述方法包括：

-在所述至少一个图像渲染器中渲染图像，其中，当用户头戴所述显示设备时，经渲染的图像的投影通过所述出射光学元件从所述显示设备射出并入射到用户的眼睛上；

-基于所述经渲染的图像的在所述出射光学元件的视口中不可见的区域来产生驱动信号；

-通过所述驱动信号来控制所述提供视觉线索的装置以在外围区域中提供视觉线索，所述外围区域基本围绕所述出射光学元件的视口并同时位于用户的视野之内；

-其中，所述提供视觉线索的装置包括布置在所述外围区域中的多个发光元件，并且其中，所述方法还包括控制由所述多个发光元件发射的光的颜色和/或强度，其中，当用户头戴所述显示设备时，所述多个发光元件与用户的眼睛之间的距离与所述出射光学元件与用户的眼睛之间的距离基本相同；以及

-其中，所述提供视觉线索的装置还包括用于漫射由所述多个发光元件发射的光的多个漫射器。

7.根据权利要求6所述的方法，其中，基于在所述经渲染的图像之后待由所述至少一个图像渲染器渲染的至少一个后续图像来执行所述产生驱动信号的步骤。

8.根据权利要求6或7所述的方法，其中，所述多个发光元件包括至少第一组发光元件及第二组发光元件，其中，控制光的颜色和/或强度的步骤包括：以使由所述第一组发光元件发射的光的颜色和/或强度与由所述第二组发光元件发射的光的颜色和/或强度不同的方式来控制所述第一组发光元件和所述第二组发光元件。

9.根据权利要求6或7所述的方法，其中，所述提供视觉线索的装置包括至少一个光学元件，所述至少一个光学元件用于将从所述至少一个图像渲染器的渲染边界的至少一部分发射的光朝向所述外围区域引导，从而照亮所述外围区域。

10.根据权利要求9所述的方法，其中，所述至少一个光学元件通过以下至少之一来实现：透镜、光纤元件。

Images