CN117908256A - 近眼显示系统、头戴式显示设备和近眼显示方法 - Google Patents

Abstract

本公开涉及近眼显示系统、头戴式显示设备和近眼显示方法。该近眼显示系统包括：物镜，具有根据期望的视场角确定的畸变率，以采集具有该视场角的桶形畸变图形；图像传感器，配置成感测桶形畸变图形并将其转换为图像数据；处理单元，配置成从图像传感器获取图像数据并将其传送至显示单元；显示单元，配置成根据图像数据显示桶形畸变图形；以及近眼光学单元，配置成对所显示的桶形畸变图形进行光学矫正，以获得供人眼观察的角分辨率从中心向四周逐渐递减的无畸变图形。通过该系统、设备和方法，能够在获得较大的视场角的同时仍使人眼能够观察到高清晰度的图像。

Description

近眼显示系统、头戴式显示设备和近眼显示方法

技术领域

本公开涉及显示技术领域，具体地，涉及近眼显示系统、包括该近眼显示系统的头戴式显示设备、以及近眼显示方法。

背景技术

随着显示技术的不断发展，近眼显示受到了越来越多的关注。近眼显示技术是在人眼的视觉区域内提供图像以创造沉浸式视觉体验的技术。该技术目前主要应用于虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备、混合现实(MixedReality，MR)设备等头戴式显示设备。

通常，为了实现更好的沉浸式视觉体验，需要提供较大的视场角和较高的角分辨率。然而，在目前技术背景下，图像传感器的图像探测分辨率和显示屏的显示分辨率不够高，无法在获得较大视场角的同时仍实现较高的角分辨率，或者，即便存在满足高分辨率要求的图像传感器和显示屏，其成本也会过高，导致难以在工程上得到广泛应用。

发明内容

本部分提供本公开的总体概要，而不是对本公开的全部范围或所有特征的全面公开。

本公开的目的在于提供一种能够在获得较大的视场角的同时仍使人眼能够观察到高清晰度的图像的近眼显示系统、头戴式显示设备和近眼显示方法。

为了实现上述目的，根据本公开的一方面，提供了一种近眼显示系统，其包括：

物镜，具有根据期望的视场角确定的畸变率，以采集具有该视场角的桶形畸变图形；

图像传感器，配置成感测桶形畸变图形并将其转换为图像数据；

处理单元，配置成从图像传感器获取图像数据并将其传送至显示单元；

显示单元，配置成根据图像数据显示桶形畸变图形；以及

近眼光学单元，配置成对所显示的桶形畸变图形进行光学矫正，以获得供人眼观察的角分辨率从中心向四周逐渐递减的无畸变图形。

在一些实施方式中，畸变率可以为-30％至-100％。

在一些实施方式中，物镜可以为鱼眼镜头。

在一些实施方式中，处理单元还可以配置成对由物镜和近眼光学单元的光学加工公差和/或装配误差引入的畸变进行矫正。

在一些实施方式中，近眼光学单元可以为非球面透镜。

在一些实施方式中，经近眼光学单元矫正后的无畸变图形的视场角可以与由物镜采集的桶形畸变图形的视场角相等。

在一些实施方式中，无畸变图形的中心的角分辨率可以在光学矫正的前后无变化且达到人眼视网膜级别角分辨率。

在一些实施方式中，无畸变图形的上述中心的视场角可以为15°至20°。

根据本公开的另一方面，还提供了一种头戴式显示设备，其包括根据上述段落中的任一个所述的近眼显示系统。

根据本公开的又一方面，还提供了一种近眼显示方法，其包括：

通过具有根据期望的视场角确定的畸变率的物镜采集具有该视场角的桶形畸变图形；以及

对桶形畸变图形进行光学矫正，以获得供人眼观察的角分辨率从中心向四周逐渐递减的无畸变图形。

根据上述技术方案，通过使用大畸变的物镜来获得中心与边缘的几何形状差异被放大的桶形畸变图像，相比于相同焦距和相同霸面尺寸的无畸变物镜所采集的无畸变图像，能够获得更大的视场角。此外，通过对该桶形畸变图形进行光学矫正，以获得与人眼的角分辨率特性相符的角分辨率从中心向四周逐渐递减的无畸变图形，能够使人眼观察到高清晰度的图像。由此，能够在目前有限的像素水平的图像传感器和显示屏的情况下，在获得较大的视场角的同时仍使人眼能够观察到高清晰度的图像。

附图说明

通过以下参照附图的描述，本公开的实施方式的特征和优点将变得更加容易理解。附图并非按比例绘制，可放大或缩小一些特征以显示特定部件的细节。

在附图中：

图1为根据本公开的实施方式的近眼显示系统的示意性结构图。

图2为无畸变物镜采集的无畸变图形与大畸变物镜采集的桶形畸变图形的示意性对比图。

图3为根据本公开的实施方式的近眼显示系统的物镜采集桶形畸变图形的示意性光路图。

图4为根据本公开的实施方式的近眼显示系统的近眼光学单元矫正桶形畸变图形的示意性光路图。

图5为大畸变物镜采集的桶形畸变图形与通过近眼光学单元矫正后的无畸变图形的示意性对比图。

图6为物镜畸变率和近眼光学单元畸变率随视场角变化的曲线图。

图7示意性地示出了物镜探测的视场角和近眼光学单元探测的视场角。

图8为根据本公开的实施方式的头戴式显示设备的示意性结构图。

图9为根据本公开的实施方式的近眼显示方法的流程图。

在附图中，相同的或对应的技术特征或部件采用相同或对应的附图标记来表示。

具体实施方式

下面参照附图、借助于示例性实施方式对本公开进行详细描述。要注意的是，对本公开的以下详细描述仅仅是出于说明目的，而绝不是对本公开的限制。

需要说明的是，为了清楚起见，在说明书和附图中并未描述和示出特定实施方式的所有特征，并且，为了避免不必要的细节模糊了本公开关注的技术方案，在说明书和附图中仅描述和示出了与本公开的技术方案密切相关的装置结构，而省略了与本公开的技术内容关系不大的且本领域技术人员已知的其他细节。

对于VR设备、AR设备等提供近眼显示的头戴式显示设备，在其成像过程中，通常，通过物镜将自然景物的反射光线汇聚至图像传感器以在显示屏上显示出所采集的图像，并通过目镜放大所显示的图像以供人眼观察。常规地，要求物镜的畸变率要尽可能小，例如小于5％，以便获得畸变尽可能小的图像，从而基本不会影响观看者对该图像所反映的真实场景的识别。另一方面，在相关技术中，对于图像中的这种较小的畸变，还可以通过光学元器件和算法进行矫正，以获得分辨率非常均匀的图像。

在近眼显示中，为了实现更好的沉浸式视觉体验，需要提供较大的视场角和较高的图像清晰程度。

具体而言，视场角指的是观看者能够观察到的视野范围，以最大视野范围的两条边缘构成的夹角表示。视场角包括水平方向上的视场角和竖直方向上的视场角。通常，人眼在水平方向上的观测范围大约为160°，而在竖直方向上的观测范围大约为135°。因此，如果要增强近眼显示的沉浸式视觉体验，则须使头戴式显示设备的近眼显示的视场角是较大的，例如，接近或覆盖人眼的观测范围。

而头戴式显示设备所显示的图像的清晰程度通常使用角分辨率(Pixels PerDegree，PPD)来表示。PPD指的是视场角中的平均每1°夹角内填充的像素点的数量。也就是说，PPD通过用视野直径填充的像素点的数量除以视场角而获得。每1°夹角内填充的像素点的数量越大，则PPD值越高，所显示的图像就越清晰。

然而，在视野直径填充的像素点的数量一定的情况下，例如，在头戴式显示设备使用固定像素的图像传感器和显示屏的情况下，视场角越大，PPD会越低，导致所显示的图像的清晰度越低。因此，为了在获得较大的视场角的同时仍实现较高的PPD，通常会采用增大视野直径填充的像素点的数量的方式。例如，在要获得100°的水平视场角的情况下，当使用分辨率为1080P(对应水平像素为1920)的显示屏时，PPD仅为19.2；而当使用分辨率为4K(对应水平像素为3840)的显示屏时，PPD增高为38.4。

现已知晓，人眼正常视力下的分辨能力存在极限，以PPD衡量，约为60(即，视网膜级别PPD)。也就是说，头戴式显示设备所显示的图像的PPD越接近60，图像的清晰度就越接近人眼的分辨极限，观看者就会觉得所看到的图像越清晰，而一旦PPD超过60，人眼便无法分辨。因此，为了实现更好的沉浸式视觉体验，需要使所显示的图像的PPD接近、甚至达到视网膜级别PPD。

根据上文提到的方式，当需要PPD达到60时，例如，在水平视场角为100°的情况下，必须使用水平像素为6000的高分辨率的图像传感器和显示屏进行图像探测和显示，在期望获得的视场角更大的情况下，对图像传感器和显示屏的分辨率的要求会更高。然而，在目前技术背景下，很难获得更高分辨率的图像传感器和显示屏，即便存在使得能够在大视场角的情况下仍获得视网膜级别PPD的特别高分辨率的图像传感器和显示屏，其价格也会是非常昂贵的，导致难以在工程上得到广泛应用。此外，更高分辨率的图像传感器和显示屏也会带来更高的功耗，影响设备运行的稳定性。

为了解决上述问题，本公开的实施方式提供了一种近眼显示系统。该近眼显示系统提出了一种逆常规的解决方案，其中，特意使用大畸变的物镜来获得中心与边缘的几何形状差异被放大的桶形畸变图像，从而相比于相同焦距和相同霸面尺寸的无畸变物镜所采集的无畸变图像，获得更大的视场角，并且对该桶形畸变图形进行光学矫正，以获得与人眼的角分辨率特性相符的角分辨率从中心向四周逐渐递减的无畸变图形，从而使人眼能够观察到高清晰度的图像。

下面，参照图1至图7，对根据本公开的实施方式的近眼显示系统1进行说明。

近眼显示系统1包括物镜10、图像传感器20、处理单元30、显示单元40和近眼光学单元50。

物镜10具有根据期望的视场角确定的畸变率，以采集具有该视场角的桶形畸变图形，并且图像传感器20配置成感测该桶形畸变图形并将其转换为图像数据。

图2示意性地示出了相同焦距和相同霸面尺寸的情况下无畸变物镜采集的无畸变图形M1与大畸变物镜采集的桶形畸变图形M2。桶形畸变是图像的边缘向外弯曲而使得成像画面呈桶形膨胀状态的畸变。在桶形畸变图形M2中，位于中心的区域M2’基本未发生畸变并且与无畸变图形M1所覆盖的区域是一致的。可以清楚地观察到，除了区域M2’之外，桶形畸变图形M2还包括位于区域M2’四周的额外的区域，在这些区域中，图像呈现弯曲状态并由此采集到更多的信息。因此，在相同焦距和相同霸面尺寸的情况下，桶形畸变图形M2能够显示出更大的视场。换句话说，相较于无畸变物镜，畸变率较大的物镜可以感知更大视场的信息，由此获得更大视场角的图形。

基于此，在本公开的实施方式中，根据期望的视场角确定所需的畸变率以及因此对应的物镜，由此采集具有该视场角的桶形畸变图形。参照图3，物体的物面A(对应的物体形状以A’在图1和图3中示出)反射的光线S通过光圈B进入物镜10，并通过物镜10偏折汇聚至图像传感器20的像面C。由于物镜10的中心部分与边缘部分对光线的折射率不同，因此形成径向畸变。为了获得所需的桶形畸变，对于物镜10，使得沿物镜10的半径方向，光线越靠近主光轴D，畸变越小，越远离主光轴D，畸变越大。由此，图像传感器20能够在像面C上感测到桶形畸变图形A”(参见图1和图3)并将其转换为图像数据。

重新参照图1，处理单元30配置成从图像传感器20获取该图像数据并将其传送至显示单元40，并且显示单元40配置成根据图像数据显示桶形畸变图形A”。在该过程中，被特意引入的桶形畸变可以在不进行任何矫正的情况下被传送至显示单元40。

近眼光学单元50配置成对所显示的桶形畸变图形A”进行光学矫正，以获得供人眼G观察的角分辨率从中心向四周逐渐递减的无畸变图形A”’。

参照图4至图6，显示单元40在其像面E上显示桶形畸变图形A”，近眼光学单元50设置在显示单元40的在光路方向上的后方(即，图4中像面E的右侧)，以对所显示的桶形畸变图形A”进行光学矫正。矫正后的无畸变图形A”’呈现在位于显示单元40的与近眼光学单元50侧相反的一侧(即，图4中像面E的左侧)的虚物面F上。通过使物镜10产生的畸变与近眼光学单元50进行的畸变矫正对应，即，使物镜10的畸变率曲线(物镜畸变曲线)与近眼光学单元50的畸变率曲线(近眼光学畸变曲线)一致，如图6中所示，可以使光学矫正得到的图形为无畸变图形。在图6中，对于相同的视场角，物镜10的畸变率与近眼光学单元50的畸变率对应。例如，对于30°的水平视场角，物镜10的畸变率为-70％，而近眼光学单元50的畸变率为70％。

图5示意性地示出了大畸变物镜采集的桶形畸变图形M2与通过光学矫正后的无畸变图形M3。桶形畸变图形M2中的位于中心的区域M2’基本未发生畸变，并且与光学矫正后的无畸变图形M3中的位于中心的区域M3’一致，即，所覆盖的视场角相等。可以清楚地观察到，桶形畸变图形M2的位于区域M2’四周的畸变区域被光学矫正，相应的图像从弯曲状态被矫正成与物体的真实状态相符的状态，因此在仍保留桶形畸变图形M2的原有信息的情况下获得了具有更大视场角的无畸变图形M3。

而且，通过近眼光学单元50，桶形畸变图形A”被光学矫正成角分辨率从中心向四周逐渐递减的无畸变图形A”’。通过光学矫正，桶形畸变图形M2的四周区域的失真的弯曲图像变成与物体的真实状态相符的图像，在像素点的数量没有损失的情况下，由于矫正后的四周区域的视场变大，相应的PPD变低，而且根据畸变程度的变化趋势，经矫正的无畸变图形A”’的PPD在图形的中心最高并且沿着图形的径向方向向外逐渐变低，即，图像中心最清晰并且沿着图像的径向方向向外清晰度逐渐减小。

这种无畸变图形A”’的PPD特性与人眼的视觉特性或者更具体地人眼的PPD特性相符，从而使得能够观察到高清晰度的图像。具体而言，人眼的视网膜中央(即，黄斑区)是视觉细胞最集中的部位，具有最高的PPD，能够进行精细观察，而从视网膜的中央向四周，视觉细胞的分布越来越少，PPD不断降低，对细节的感知变得模糊。无畸变图形A”’的PPD的特性刚好与此匹配。无畸变图形A”’的PPD最高的中心区域对应人眼视网膜的PPD最高的中央，而无畸变图形A”’的PPD逐渐降低的四周区域对应人眼视网膜的PPD逐渐降低的四周，由此，人眼可以清晰看到中心区域的细节。由于中心无畸变区域对应的视场角较小，在使用目前有限的像素水平的图像传感器和显示屏(即显示单元)的情况下，例如，使用分辨率为1080P的显示屏，就可以在中心区域获得符合要求的高PPD值，从而使人眼能够观察到高清晰度的图像。

以此方式，能够在目前有限的像素水平的图像传感器和显示屏的情况下，在获得较大的视场角的同时仍使人眼能够观察到高清晰度的图像。而且，由于该成像过程仅采用光学矫正，未进行算法矫正，因此没有增加数字处理的负担，从而使成像过程更加简单和稳定。此外，由于本公开的解决方案特意增大畸变程度并利用简单的光学进行畸变矫正，因此可以有效降低物镜镜头的轴向尺寸并因此降低其重量，并且可以降低整个系统的设计难度和制造成本。

在一些实施方式中，物镜10的畸变率可以为-30％至-100％。

该范围的畸变率远大于在常规的获取大视场图像的方式中所采用的物镜的畸变率。在上述常规方式中，物镜的畸变率被控制成是尽可能小的，例如5％。即便对于用于获取较大视场的广角镜头，其畸变率也远未到达上述范围。

通过具有上述范围的这种大畸变率的物镜，可以获取期望的更大的视场角，例如，160°的水平视场角和135°的竖直视场角，以覆盖人眼的观测范围，从而获得更好的沉浸式视觉体验。

可以设想的是，物镜10可以为鱼眼镜头。

鱼眼镜头是一种特殊类型的超广角镜头，其可以通过提供显著的桶形畸变效果来捕捉特别广阔的视场，例如，180°的视场角。由于能够提供显著的畸变效果，鱼眼镜头通常被用于创意摄影等领域，而不会被用于最终需要显示无畸变图形的近眼显示系统。在常规的近眼显示系统中，通常难以通过算法在不损失信号的情况下对过大的图像畸变进行矫正，因此会避免采用这种大畸变的鱼眼镜头。而在本公开的解决方案中，这种能够带来大畸变的鱼眼镜头正是获取大视场所需要的。

可以设想的是，物镜10还可以是其他类型的镜头或镜头组，只要能够通过其获得具有期望的视场角的桶形畸变图形即可。

在一些实施方式中，处理单元30还配置成对由物镜10和近眼光学单元50的光学加工公差和/或装配误差引入的畸变进行矫正。

在无上述公差和误差的光学系统中，处理单元30仅用作图像数据的透传。如之前提到的，处理单元30可以驱动图像传感器20并从其获取图像数据，并且可以驱动显示单元40以将该图像数据传送至显示单元40以进行桶形畸变图形的显示。通过使处理单元30能够对由上述公差和/或误差引入的畸变进行矫正，在存在上述公差和/或误差的情况下，由其引入的畸变能够被矫正，使得无畸变图形A”’能够与物镜10所采集的桶形畸变图形A’实现更准确的对应，从而获得更好的近眼显示效果。

在一些实施方式中，近眼光学单元50可以为非球面透镜。

通过使用非球面透镜，可以更精确地控制光线的聚焦方式，并且可以通过调整透镜的曲面分布来使所矫正的无畸变图形的中心区域具有更高的PPD，而边缘区域的PPD逐渐降低。

具体地，非球面透镜组的曲面分布可以满足下述径向畸变数学模型：

x₀＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y₀＝y(1+k₁r²+k₂r⁴+k₃r⁶)

其中，x₀、y₀为显示单元40所显示的桶形畸变图形的图像点的坐标位置，x、y为经过光学矫正后的无畸变图形的对应的图像点的坐标位置，k₁、k₂、k₃为调节系数，其数值可以通过对矫正前后的多个坐标点的数据进行测量来确定，并且r²＝x²+y²。

在一些实施方式中，如图7中所示，经近眼光学单元50矫正后的无畸变图形的视场角β可以与由物镜10采集的桶形畸变图形的视场角α相等。也就是说，近眼显示的视场角可以与物镜探测的视场角相等。

以此方式，通过近眼显示系统观察到的场景(即，矫正后的无畸变图像)的范围与物镜捕捉到的场景的范围完全相同。这意味着，在这两种场景观看方式下观察到的图像的边缘是相同的，由此提供了无缝且自然的视觉体验，进一步增强了观看者的沉浸感。

在一些实施方式中，无畸变图形A”’的中心的PPD在光学矫正的前后无变化且达到人眼视网膜级别PPD。

如之前提到的，图像的PPD越接近人眼视网膜级别PPD，观看者就会觉得所看到的图像越清晰。基于此，对于无畸变图形A”’的在光学矫正过程中不用进行畸变矫正的中心，即区域M3’，可以使其PPD达到人眼视网膜级别PPD，即，达到人眼能够分辨的极限。由此，能够使人眼观察到清晰度最佳的图像，从而能够进一步提高视觉体验。

在一些实施方式中，无畸变图形A”’的上述中心的视场角可以为15°至20°。

人眼黄斑区的张角大约为6°至7°，由于黄斑区会来回抖动，因此，在人眼观察过程中，该张角的范围大约在15°至20°。通过使无畸变图形A”’的上述中心的视场角处于15°至20°的范围，可以使人眼黄斑区的张角的范围与无畸变图形A”’的上述中心的视场角匹配，由此能够使人眼观察到最大范围的最佳清晰度图像，从而能够进一步提高视觉体验。

根据本公开的另一方面，如图8中所示，还提供了一种头戴式显示设备2，其包括近眼显示系统1。头戴式显示设备2例如为AR眼镜之类的AR设备、VR眼镜之类的VR设备、以及MR眼镜之类的MR设备。近眼显示系统1可以通过安装在头戴式显示设备2的外壳内等方式集成到头戴式显示设备2中。

根据本公开的又一方面，如图9中所示，还提供了一种近眼显示方法，其包括：

通过具有根据期望的视场角确定的畸变率的物镜采集具有该视场角的桶形畸变图形；以及

对该桶形畸变图形进行光学矫正，以获得供人眼观察的角分辨率从中心向四周逐渐递减的无畸变图形。

在上述近眼显示方法中，还可以使畸变率为-30％至-100％，或者可以使近眼显示的视场角与物镜探测的视场角相等，或者可以使无畸变图形的中心的PPD在光学矫正的前后无变化且达到人眼视网膜级别PPD，或者可以使无畸变图形的上述中心的视场角为15°至20°。

在本公开内容中，虽然已经参照示例性实施方式对本公开进行了描述，但是应当理解，本公开并不局限于文中详细描述和示出的具体实施方式。在不偏离本公开的权利要求书所限定的范围的情况下，本领域技术人员可以对示例性实施方式做出各种改变。

在以上对本公开的示例性实施方式的描述中所提及和/或示出的特征可以以相同或类似的方式结合到一个或更多个其他实施方式中，与其他实施方式中的特征相组合或替代其他实施方式中的相应特征。这些经组合或替代所获得的技术方案也应当被视为包括在本公开的保护范围内。

Claims (10)

1.一种近眼显示系统，其特征在于，包括：

物镜，具有根据期望的视场角确定的畸变率，以采集具有所述视场角的桶形畸变图形；

图像传感器，配置成感测所述桶形畸变图形并将其转换为图像数据；

处理单元，配置成从所述图像传感器获取所述图像数据并将其传送至显示单元；

所述显示单元，配置成根据所述图像数据显示所述桶形畸变图形；以及

近眼光学单元，配置成对所显示的所述桶形畸变图形进行光学矫正，以获得供人眼观察的角分辨率从中心向四周逐渐递减的无畸变图形。

2.根据权利要求1所述的近眼显示系统，其特征在于，所述畸变率为-30％至-100％。

3.根据权利要求1所述的近眼显示系统，其特征在于，所述物镜为鱼眼镜头。

4.根据权利要求1所述的近眼显示系统，其特征在于，所述处理单元还配置成对由所述物镜和所述近眼光学单元的光学加工公差和/或装配误差引入的畸变进行矫正。

5.根据权利要求1所述的近眼显示系统，其特征在于，所述近眼光学单元为非球面透镜。

6.根据权利要求1所述的近眼显示系统，其特征在于，经所述近眼光学单元矫正后的所述无畸变图形的视场角与由所述物镜采集的所述桶形畸变图形的视场角相等。

7.根据权利要求1所述的近眼显示系统，其特征在于，所述无畸变图形的中心的角分辨率在所述光学矫正的前后无变化且达到人眼视网膜级别角分辨率。

8.根据权利要求7所述的近眼显示系统，其特征在于，所述无畸变图形的所述中心的视场角为15°至20°。

9.一种头戴式显示设备，其特征在于，包括根据权利要求1至8中的任一项所述的近眼显示系统。

10.一种近眼显示方法，其特征在于，包括：

通过具有根据期望的视场角确定的畸变率的物镜采集具有所述视场角的桶形畸变图形；以及

对所述桶形畸变图形进行光学矫正，以获得供人眼观察的角分辨率从中心向四周逐渐递减的无畸变图形。