CN109933268A - 一种基于人眼视觉特征的近眼显示装置 - Google Patents

Abstract

本发明公开了一种基于人眼视觉特征的近眼显示装置，包括近眼显示屏、分区单元、计算单元、创建单元、传输单元、重建单元、显示控制单元。分区单元用于根据人眼凝视点将近眼显示器屏划分为n个显示子区域，包括中心的人眼凝视子区域；计算单元用于计算n个显示子区域分别对应的临界空间频率；创建单元用于根据n个显示子区域分别对应的临界空间频率，从输入的视频图像中为n个显示子区域分别创建和渲染对应的n个图层的视频图像数据；传输单元用于将n个图层的视频图像数据传输至近眼显示屏幕；重建单元用于对n个图层的视频图像数据进行重建和拼接，生成符合人眼凝视效果的图像；显示控制单元，用于将符合人眼凝视效果的图像显示在近眼显示屏上。

Description

一种基于人眼视觉特征的近眼显示装置

技术领域

本发明涉及显示器领域，具体而言，涉及一种基于人眼视觉特征的近眼显示装置。

背景技术

近眼显示器是一种通过光学系统形成大视场的新型显示器，通常位于人眼附近，可用于穿戴式近眼显示场景，例如虚拟/增强现实的头盔或眼镜。随着虚拟/增强现实应用对显示器分辨率和刷新率的指标要求不断提高，显示系统所需要的显示数据量急剧提升，当前技术的传输带宽无法很好满足虚拟/增强现实应用对显示数据的传输要求。

考虑到近眼显示器系统所传输的视频图像信息源存在很大的视觉感知冗余，传输并显示人眼视觉系统不能觉察到的冗余信息相对于有限的网络带宽和终端设备来说是一种浪费，因此若能去除这些冗余信息，就可以使传输的图像数据极大地减少，从而改善视频图像数据传输量巨大带来的技术问题。

由于常规平板显示器在面板各区域采用了相同的物理像素点距和相同的驱动方法，因此传统图像数据压缩方法更多考虑人眼视觉特性关于色彩方面的参变量来减少冗余信息，而较少考虑人眼在空间上的分布特性。

发明内容

有鉴于此，本发明的目的在于提供一种基于人眼视觉特性的近眼显示装置，从而减小数据传输带宽。对于空间而言，人眼视力在视中心方向上的分辨率最高，随着视角增大而分辨能力变得越来越小，因此本发明构思了一种近眼显示器的控制方法，使在图像中心提供高的显示质量，在图像边缘提供低的显示质量，并使显示质量随着空间分布从中心向四周递减，从而减小传输数据量。

为了实现上述目的，本发明提供了一种基于人眼视觉特征的近眼显示装置，所述装置包括：

近眼显示屏幕，用于显示图像；

分区单元，用于根据人眼凝视点将近眼显示器屏幕划分为符合人眼凝视效果的n个显示子区域，其中包括位于中心的人眼凝视子区域；

计算单元，用于计算所述n个显示子区域分别对应的临界空间频率；

创建单元，用于根据所述n个显示子区域分别对应的临界空间频率，从输入的视频图像中为所述n个显示子区域分别创建和渲染对应的n个图层的视频图像数据；

传输单元，用于将所述n个图层的视频图像数据传输至所述近眼显示屏幕；

重建单元，用于对所述n个图层的视频图像数据进行重建和拼接，生成符合人眼凝视效果的图像；

显示控制单元，用于将所述符合人眼凝视效果的图像显示在所述近眼显示屏幕上。

进一步地，所述人眼凝视效果包括：

在所述人眼凝视子区域采用了相对高的图像信息量的显示效果，

在边缘子区域采用了相对低的图像信息量的显示效果，

在介于所述人眼凝视子区域和所述边缘子区域的中间子区域采用了介于最高的图像信息量和最低的图像信息量之间的显示效果；

且所述图像信息量通过图像的像素空间分辨率和像素点灰度值位数来描述。

进一步地、所述分区单元的功能还包括：

依据人眼到近眼显示屏幕的视网膜偏心率，量化或连续地将所述近眼显示屏幕划分为n个显示子区域；

使所述n个显示子区域包括了中心的人眼凝视子区域向边缘扩张的环状子区域和/或无显示内容的边角子区域；

使所述n个显示子区域构成的分辨率和细节符合人类视觉特征的中心凹图像，且每一个显示子区域对应的临界空间频率随着视网膜偏心率的增加而减少。

进一步地，所述计算单元包括：

临界空间频率计算子单元，用于根据经验公式或人眼模型公式计算所述临界空间频率，所述经验公式的参数包括视网膜偏心率、半分辨率偏心率常数、人眼对比度敏感度阈值和空间频率衰减系数，所述人眼模型公式的参数包括视网膜偏心率、像素点到凝视点的距离和可配置的滤波系数；

临界空间频率设置子单元，用于将所述n个显示子区域对应的临界空间频率设置为该显示子区域中所有物理像素点位置对应的临界空间频率的最大值或接近最大值的某一固定值。

进一步地，所述创建单元还包括：

数据选择子单元，用于依据所述n个显示子区域所处近眼显示器屏幕的物理位置，从输入视频图像中获取这n个显示子区域相应位置的视频图像数据；

图层生成子单元，对所述n个显示子区域相应位置的视频图像数据分别进行不同比例的下采样滤波，生成n个图层的视频图像数据，且每个图层的视频图像数据经过所述下采样滤波后的图像空间频率等于或接近于该显示子区域对应的临界空间频率。

像素平滑子单元，用于将所述图层中的像素低位数据累加到周围像素上。

进一步地，所述图层生成子单元生成的n个图层可由图像金字塔描述，所述图像金字塔为高斯金字塔、拉普拉斯金字塔、差分金字塔或mipmap金字塔，所述n个图层在所述图像金字塔的映射平面上组合拼接后形成了在所述近眼显示屏幕上呈现的中心凹图像。

进一步地，所述传输单元将所述n个图层的视频图像数据基于无线或有线的通信方式，在不同的信道或者在同一信道但在不同时间依次传输至所述近眼显示器中，所述信道为物理信道或者逻辑信道。

进一步地，所述重建单元还包括：

图层重建子单元，用于对所述创建单元创建和渲染对应的n个图层的视频图像数据分别进行重建，使图像分辨率和灰度值还原至所述近眼显示器屏幕对应的分辨率和灰度值；

位置分析子单元，用于在相邻显示区域间预留和判断重叠区的图像数据；

图像拼接子单元，用于将所述重叠区的图像按不同权重进行相互融合并形成完整画面。

进一步地，所述图层重建子单元包括了图像插值、图像重采样、图像增强和像素位扩展的计算，所述图像拼接子单元包括了双边滤波计算。

进一步地，所述近眼显示屏幕是一种像素密度高于1000PPI的半导体单晶硅基底的微型显示器，并通过光学系统被人眼观察，所述微型显示器包括了硅基液晶显示器、硅基有机发光显示器、硅基发光二极管显示器、激光显示器或数字微镜显示器。

进一步地，所述分区单元、计算单元和创建单元位于视频图像源发生端，所述视频图像源发生端远离或靠近人的眼睛，所述重建单元、显示控制单元和近眼显示屏幕靠近人的眼睛。

进一步地，所述分区单元、计算单元和创建单元通过软件或硬件实现，所述传输单元、重建单元、显示控制单元通过硬件实现，且所述重建单元位于独立的硬件模块中或与所述显示控制单元和近眼显示屏幕位于相同的模组中，所述独立的硬件模块通过高速信号接口与所述显示控制单元相连。

进一步地，还包含了眼球追踪模块，所述眼球追踪模块用于实时获取单目或双目的凝视点，并将所述凝视点的信息实时传送至所述分区单元、计算单元、创建单元、传输单元、重建单元和/或显示控制单元，并以实时的单目或双目的凝视点划分显示子区域。

进一步地，所述眼球追踪模块包括了根据眼球和眼球周边的特征变化进行跟踪的子模块，或根据虹膜角度变化进行跟踪的子模块，或主动投射红外线光束到虹膜后提取特征来进行跟踪的子模块。

进一步地，所述近眼显示屏幕包括了显示两个分别用于人的左眼和右眼的独立图像，或包括了两个独立屏幕分别用于显示人的左眼和右眼，所述独立图像和独立屏幕都可分别划分为包括人眼凝视子区域的若干显示子区域。

本发明与现有技术相比较，具有如下显而易见的实质性特点和显著进步：

(1)本发明提供的近眼显示装置，可大幅减小图像源传输到近眼显示器的数据量，从而降低传输带宽，支持更高的显示分辨率和刷新率，降低系统功耗。

(2)本发明提供的近眼显示装置包含的数据压缩方法和还原方法符合人眼的空间分布特性，压缩效率高，数据计算量小，图像还原效果好，同时还可减缓晕眩现象。

(3)本发明提供了有线和无线的多种信道传输方式，使传输更加灵活。

(4)本发明提供了眼球追踪方案来实时控制凝视点，更具实用性。

(5)本发明提供了单目和双目近眼显示器的方案，更具实用性。

附图说明

图1为本发明第一实施例的组成结构图；

图2为一种近眼显示器屏幕分区示意图；

图3为另一种近眼显示器屏幕分区示意图；

图4为本发明另一种实施例的组成结构图；

图5为本发明再一种实施例的组成结构图；

图6为本发明又一种实施例的组成结构图；

图7为本发明又一种实施例的组成结构图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

参照图1，示出了本发明第一种实施的组成结构图。所述近眼显示装置100包括：分区单元110、计算单元120、创建单元130、传输单元135、重建单元140、显示控制单元150、近眼显示屏幕160，其中，

分区单元110，用于根据人眼凝视点将近眼显示器屏幕划分为符合人眼凝视效果的n个显示子区域，其中包括中心的人眼凝视子区域；

计算单元120，用于计算所述n个显示子区域分别对应的临界空间频率；

创建单元130，用于根据所述n个显示子区域分别对应的临界空间频率，从输入的视频图像中为所述n个显示子区域分别创建和渲染对应的n个图层的视频图像数据；

传输单元135，用于将所述n个图层的视频图像数据传输至所述近眼显示屏幕；

重建单元140，用于对所述n个图层的视频图像数据进行重建和拼接，生成符合人眼凝视效果的图像；

显示控制单元150，用于将所述符合人眼凝视效果的图像显示在所述近眼显示屏幕上。

近眼显示屏幕160，用于显示图像。

进一步地，以上所述的人眼凝视效果具体地指：在所述人眼凝视子区域采用了高(或最高)的图像信息量的显示效果，在远离所述人眼凝视子区域的边缘子区域采用了低(或最低)的图像信息量的显示效果，以及在介于所述人眼凝视子区域和所述边缘子区域的中间子区域采用了介于高(或最高)的图像信息量和低(或最低)的图像信息量之间的显示效果。特别地，图像信息量通过图像的像素点数量和像素点灰度值位数来表征，例如，对中心的人眼凝视子区域采用24-30位彩色数据或8-10位单色数据，在远离人眼凝视子区域的边缘子区域采用10-18位彩色数据或3-6位单色数据来表征图像的灰度，越远离人眼凝视子区域，采用越少的数据位数。

本实施例所述的技术方案利用了临界空间频率，在人眼凝视区域保持高分辨率的逼真度显示，而在视线边缘区域采用低分辨率的图像显示，模拟人眼凝视效果，在减少传输数量保证了用户体验。

为了更清楚的说明本实施例的技术方案及有益效果，下面更进一步说明：

参照图2，示出了分区单元110将近眼显示器屏幕160划分为n个显示子区域，其中n为大于1的整数。不同显示子区域对应的视频图像数据的分辨率不同。所述分区单元依据人眼到近眼显示屏幕的视网膜偏心率，量化或连续地将所述近眼显示屏幕划分为n个显示子区域，这n个显示子区域包含了中心人眼凝视区和中心向边缘扩张的正方形或长方形环状区域，正方形或长方形环状区域宽度不必相等，但每个正方形或长方形环状区域宽度至少包含一个像素；所述显示子区域的数量和大小根据用户需求配置；量化划分表明了对于显示器160的划分是一种量化过程，采用了有限的划分区域，简化了划分过程和运算过程；而另一种方式采用连续划分，可达到与人眼的最佳匹配程度。这n个显示子区域构成了分辨率和细节符合人类视觉特征的中心凹图像，且每一个显示子区域对应的临界空间频率随着视网膜偏心率的增加而减少。

显然，所描述的分区方法仅仅是本发明一部分的分区方法，而不是全部的分区方法。

参照图3，示出了本实施例另一种技术方案，与上述第一种分区方法基本相同，特别之处在于，分区单元110将近眼显示器屏幕160划分为n个显示子区域，这n个显示子区域包含了圆形或椭圆形的中心人眼凝视区和中心向边缘扩张的圆形或椭圆形的环状区域，圆形或椭圆形的环状区域宽度不必相等，但每个圆形或椭圆形的环状区域宽度至少包含一个像素；所述显示子区域的数量和大小根据用户需求配置。特别地，当采用圆形的目镜对准所述近眼显示器时，在显示器屏幕的四角161处，不必传输视频图像数据，从而进一步减少数量传输量。

实施例二：

本实施例在实施一的基础上，更进一步详细说明了计算单元120、创建单元130和重建单元140工作方式。

参照图4，示出了本发明的近眼显示装置更详细的组成结构图，该近眼显示装置100包括：分区单元110、计算单元120、创建单元130、传输单元135、重建单元140、显示控制单元150、近眼显示屏幕160，其中，

分区单元110，用于根据人眼凝视点将近眼显示器屏幕划分为符合人眼凝视效果的n个显示子区域，其中包括中心的人眼凝视子区域；

计算单元120，用于计算所述n个显示子区域分别对应的临界空间频率；

创建单元130，用于根据所述n个显示子区域分别对应的临界空间频率，从输入的视频图像中为所述n个显示子区域分别创建和渲染对应的n个图层的视频图像数据；

传输单元135，用于将所述n个图层的视频图像数据传输至所述近眼显示屏幕；

重建单元140，用于对所述n个图层的视频图像数据进行重建和拼接，生成符合人眼凝视效果的图像；

显示控制单元150，用于将所述符合人眼凝视效果的图像显示在所述近眼显示屏幕上。

近眼显示屏幕160，用于显示图像。

进一步地，计算单元120还包括了临界空间频率计算子单元121、临界空间频率设置子单元122。

进一步地，创建单元130还包括了数据选择子单元131、图层生成子单元132、像素平滑子单元。

进一步地，重建单元140还包括了图层重建子单元141，位置分析子单元142，图像拼接子单元143。

以下对每一个子模拟进一步说明：

临界空间频率计算子单元121用于根据经验公式或人眼模型公式计算所述临界空间频率，所述经验公式的参数包括视网膜偏心率、半分辨率偏心率常数、人眼对比度敏感度阈值和空间频率衰减系数，所述人眼模型公式的参数包括视网膜偏心率、像素点到凝视点的距离和可配置的滤波系数。

临界空间频率设置子单元122用于将所述n个显示子区域对应的临界空间频率设置为该显示子区域中所有物理像素点位置对应的临界空间频率的最大值或接近最大值的某一固定值。

数据选择子单元131用于依据所述n个显示子区域所处近眼显示器屏幕的物理位置，从输入视频图像中获取这n个显示子区域相应位置的视频图像数据。

所述图层生成子单元132对所述n个显示子区域相应位置的视频图像数据分别进行不同比例的下采样滤波，生成n个图层的视频图像数据，且每个图层的视频图像数据经过所述下采样滤波后的图像空间频率等于或接近于该显示子区域对应的临界空间频率。特别地，所述图层生成子单元生成的n个图层可由图像金字塔描述，所述图像金字塔为高斯金字塔、拉普拉斯金字塔、差分金字塔或mipmap金字塔，所述n个图层在所述图像金字塔的映射平面上组合拼接后形成了在所述近眼显示屏幕上呈现的中心凹图像。

像素平滑子单元133用于将所述图层中的像素低位数据累加到周围像素上。以下通过一个例子说明：对于坐标位置为(x,y)的s位像素，将其低q位数据累加到坐标位置为(x+1,y)或(x,y+1)的像素上，从而以s-q位来表示这个像素，而坐标位置为(x+1,y)或(x,y+1)的像素采用坐标位置为(x,y)的低q位数加上自己原来的值形成新的像素值。以此类推，直到完成当前显示子区域内所有像素的计算。对于该显示子区域，采用s-q位来表示。在其他的例子中，对于周围像素的位置可以有所变动，但是累加的方法不变。

图层重建子单元141用于对所述创建单元创建和渲染对应的n个图层的视频图像数据分别进行重建，使图像分辨率和灰度值还原至所述近眼显示器屏幕对应的分辨率和灰度值；具体而言，图层重建子单元141包括了图像插值、图像重采样、图像增强和像素位扩展的计算。

位置分析子单元142用于在相邻显示区域间预留和判断重叠区的图像数据。

图像拼接子单元143用于将所述重叠区的图像按不同权重进行相互融合并形成完整画面；进一步地，图像拼接子单元143还包括双边滤波计算。

与实施例一相比，本实施例提供了近眼显示装置更为详细的组成。

实施例三：

本实施例与实施例二基本相同，特别之处在于：

计算单元120中包括的临界空间频率计算子单元121、临界空间频率设置子单元122可以并行工作，或者串行工作，两者串行顺序任意。

创建单元130中包括的数据选择子单元131、图层生成子单元132、像素平滑子单元可以并行工作，或者串行工作，三者串行顺序任意。。

重建单元140中包括的图层重建子单元141，位置分析子单元142，图像拼接子单元143可以并行工作，或者串行工作，三者串行顺序任意。

实施例四：

本实施例与本发明实施例一和实施例二基本相同，特别之处如下：

参考图5，示出了本实施例的一种近眼显示装置组成结构图，近眼显示装置100中的传输单元135包括了无线发送单元136和无线接收单元137，采用无线传输协议进行n个显示子区域分别创建对应的n个图层的视频图像数据的传输。无线发送单元136用于将创建单元130所创建的各显示子区域的视频图像数据和各显示子区域对应的n个图层的下采样比例系数通过无线方式传输出去，无线接收单元137用于接收无线发送单元160发送的各显示子区域的视频图像数据和这n个图层的下采样比例系数，并传给所述重建单元140。所述无线协议包括IEEE 802.15.4、802.11a/b/g/n、Bluetooth、UWB(Ultra Wide Band)等方式，本发明并不指定具体的无线传输协议。

在另一种技术方案中，传输单元135将所述n个图层的视频图像数据基于有线的通信方式，从创建单元130传输至重建单元140中。

以上所述的无线或有线的传输方式，使所述n个图层在不同的信道或者在同一信道但在不同时间依次传输至所述近眼显示器中，所述信道为物理信道或者逻辑信道。

以上实施例所述技术方案在保证用户人眼凝视效果的前提下，降低数据传输的带宽。利用人眼临界频率，在人眼凝视区域保持高分辨率的逼真度显示，而在视线边缘区域采用低分辨率的图像显示。所述技术方案低带宽的特性使其适用于数字视频图像无线或有线的传输领域。

实施例五：

参考图6，本实施例中所述的近眼显示装置100还包括视频图像源170，所述视频图像源170由计算机、数据服务器、手机、视频播放器或其他嵌入式系统等设备中的CPU/GPU或其他图像产生装置提供，视频图像源170的视频图像数据经分区单元110、计算单元120、创建单元130、重建单元140、显示控制单元150传输到近眼显示屏幕160。

分区单元110根据人眼凝视点将近眼显示器屏幕划分为符合人眼凝视效果的n个显示子区域，计算单元120根据经验公式或人眼模型公式计算所述临界空间频率，所述经验公式的参数包括视网膜偏心率、半分辨率偏心率常数、人眼对比度敏感度阈值和空间频率衰减系数，所述人眼模型公式的参数包括视网膜偏心率、像素点到凝视点的距离和可配置的滤波系数；计算单元120将所述n个显示子区域对应的临界空间频率设置为该显示子区域中所有物理像素点位置对应的临界空间频率的最大值或接近最大值的某一固定值。创建单元130依据所述n个显示子区域所处近眼显示器屏幕的物理位置，从输入视频图像中获取这n个显示子区域相应位置的视频图像数据；并对所述n个显示子区域相应位置的视频图像数据分别进行不同比例的下采样滤波，生成n个图层的视频图像数据，且每个图层的视频图像数据经过所述下采样滤波后的图像空间频率等于或接近于该显示子区域对应的临界空间频率。特别地，所述图层生成子单元生成的n个图层可由图像金字塔描述，所述图像金字塔为高斯金字塔、拉普拉斯金字塔、差分金字塔或mipmap金字塔，所述n个图层在所述图像金字塔的映射平面上组合拼接后形成了在所述近眼显示屏幕上呈现的中心凹图像；创建单元130还将所述图层中的像素低位数据累加到周围像素上。

创建单元130产生的所述n个图层的视频图像数据基于无线或有线的方式，通过在不同的信道或者在同一信道但在不同时间依次传输至重建单元140中。

重建单元140对创建和渲染对应的n个图层的视频图像数据分别进行重建，使图像分辨率和灰度值还原至所述近眼显示器屏幕对应的分辨率和灰度值；具体而言，图层重建子单元141包括了图像插值、图像重采样、图像增强和像素位扩展的计算；在相邻显示区域间预留和判断重叠区的图像数据；将所述重叠区的图像按不同权重进行相互融合并形成完整画面；进一步地，图像拼接子单元143还包括双边滤波计算。

特别地，图6(a)中示意了分区单元110、计算单元120、创建单元130为独立硬件模块，视频图像源170由软件实现，所述独立硬件模块和视频图像源170间通过外部信号线相连；重建单元140、显示控制单元150和近眼显示屏幕160靠近人的眼睛，重建单元140为独立硬件模块，显示控制单元150和近眼显示屏幕160集成于近眼显示器中。图6(b)中示意了分区单元110、计算单元120、创建单元130位于视频图像源170一端，且分区单元110、计算单元120、创建单元130和视频图像源170皆由软件实现；重建单元140、显示控制单元150和近眼显示屏幕160靠近人的眼睛，重建单元140为一独立硬件模块，显示控制单元150和近眼显示屏幕160位于近眼显示器中。图6(c)中示意了分区单元110、计算单元120、创建单元130位于视频图像源170一端，且分区单元110、计算单元120、创建单元130和视频图像源170皆由软件实现；重建单元140、显示控制单元150和近眼显示屏幕160靠近人的眼睛，重建单元140、显示控制单元150和近眼显示屏幕160都集成于近眼显示器中。上述实例中，创建单元130和重建模块140通过传输单元135相连。所述传输单元135为有线或无线的传输方式。

实施例六：

本实施例与实施一至五基本相同，特别的，所述近眼显示屏幕160是一种像素密度高于1000PPI的半导体单晶硅基底的微型显示器，并通过光学系统被人眼观察，所述微型显示器包括了硅基液晶显示器、硅基有机发光显示器、硅基发光二极管显示器、激光显示器或数字微镜显示器。

实施例七：

参考图7，本实施例在实施例一至六的基础上，在所述近眼显示装置100中增加了眼球追踪模块180，所述眼球追踪模块180用于实时获取单目或双目的凝视点，并将所述凝视点的信息实时传送至所述分区单元、计算单元、创建单元、传输单元、重建单元和/或显示控制单元，并以实时的单目或双目的凝视点划分显示子区域。

进一步地，眼球追踪模块180位于近眼显示屏幕一侧，以便更加准确地捕捉人眼的位置。特别地，眼球追踪模块180的工作独立于分区单元110、计算单元120、创建单元130、传输单元135、重建单元140、显示控制单元150、近眼显示屏幕160。

进一步地，从人眼凝视点的获取到近眼显示器显示图像的时间延迟不被人查觉。

进一步地，所述眼球追踪模块包括了根据眼球和眼球周边的特征变化进行跟踪的子模块，或根据虹膜角度变化进行跟踪的子模块，或主动投射红外线光束到虹膜后提取特征来进行跟踪的子模块。

实施例八：

本实施例进一步阐述了近眼显示屏幕160包括了显示两个分别用于人的左眼和右眼的独立图像，所述独立图像可分别划分为包括人眼凝视子区域的若干显示子区域。

在另一种技术方案中，近眼显示屏幕160包括了两个独立屏幕分别用于显示人的左眼和右眼，所述独立屏幕可分别划分为包括人眼凝视子区域的若干显示子区域。在该种技术方案中，两个独立的屏幕可以共用分区单元110、计算单元120、创建单元130、传输单元135、重建单元140和/或显示控制单元150，也可以使用独立的分区单元110、计算单元120、创建单元130、传输单元135、重建单元140和/或显示控制单元150。

在以上两种技术方案中，都可以与眼球追踪模块180组合，提供更为实用的近眼显示装置。

以上，本发明实施例所述技术方案利用人眼临界频率，在人眼凝视区域采用更小的下采样系数进行滤波以保持更高细节和分辨率的图像逼真度显示，而在视线边缘区域采用更大的下采样系数进行滤波以保持更低细节和分辨率的图像逼真度显示，模拟人眼凝视效果，在保证用户体验的情况下，减小了数据传输带宽，适用于数字视频图像有线和无线传输。

Claims (15)

1.一种基于人眼视觉特征的近眼显示装置，其特征在于，包括：

近眼显示屏幕，用于显示图像；

分区单元，用于根据人眼凝视点将近眼显示器屏幕划分为符合人眼凝视效果的n个显示子区域，其中包括位于中心的人眼凝视子区域；

计算单元，用于计算所述n个显示子区域分别对应的临界空间频率；

创建单元，用于根据所述n个显示子区域分别对应的临界空间频率，从输入的视频图像中为所述n个显示子区域分别创建和渲染对应的n个图层的视频图像数据；

传输单元，用于将所述n个图层的视频图像数据传输至所述近眼显示屏幕；

重建单元，用于对所述n个图层的视频图像数据进行重建和拼接，生成符合人眼凝视效果的图像；

显示控制单元，用于将所述符合人眼凝视效果的图像显示在所述近眼显示屏幕上。

2.根据权利要求1所述的近眼显示装置，其特征在于，所述人眼凝视效果至少包括：在所述人眼凝视子区域采用相对高的图像信息量的显示效果，

在边缘子区域采用相对低的图像信息量的显示效果，

在介于所述人眼凝视子区域和所述边缘子区域的中间子区域采用介于最高的图像信息量和最低的图像信息量之间的显示效果；

且所述图像信息量通过图像的像素空间分辨率和像素点灰度值位数来描述。

3.根据权利要求1所述的近眼显示装置，其特征在于，所述分区单元的功能还包括：

依据人眼到近眼显示屏幕的视网膜偏心率，量化或连续地将所述近眼显示屏幕划分为n个显示子区域；

使所述n个显示子区域包括中心的人眼凝视子区域向边缘扩张的环状子区域和/或无显示内容的边角子区域；

使所述n个显示子区域构成的分辨率和细节符合人类视觉特征的中心凹图像，且每一个显示子区域对应的临界空间频率随着视网膜偏心率的增加而减少。

4.根据权利要求1所述的近眼显示装置，其特征在于，所述计算单元包括：

临界空间频率计算子单元，用于根据经验公式或人眼模型公式计算所述临界空间频率，所述经验公式的参数包括视网膜偏心率、半分辨率偏心率常数、人眼对比度敏感度阈值和空间频率衰减系数，所述人眼模型公式的参数包括视网膜偏心率、像素点到凝视点的距离和可配置的滤波系数；

临界空间频率设置子单元，用于将所述n个显示子区域对应的临界空间频率设置为该显示子区域中所有物理像素点位置对应的临界空间频率的最大值或接近最大值的某一固定值。

5.根据权利要求1所述的近眼显示装置，其特征在于，所述创建单元还包括：

数据选择子单元，用于依据所述n个显示子区域所处近眼显示器屏幕的物理位置，从输入视频图像中获取这n个显示子区域相应位置的视频图像数据；

图层生成子单元，对所述n个显示子区域相应位置的视频图像数据分别进行不同比例的下采样滤波，生成n个图层的视频图像数据，且每个图层的视频图像数据经过所述下采样滤波后的图像空间频率等于或接近于该显示子区域对应的临界空间频率。

像素平滑子单元，用于将所述图层中的像素低位数据累加到周围像素上。

6.根据权利要求5所述的近眼显示装置，其特征在于，所述图层生成子单元生成的n个图层可由图像金字塔描述，所述图像金字塔为高斯金字塔、拉普拉斯金字塔、差分金字塔或mipmap金字塔，所述n个图层在所述图像金字塔的映射平面上组合拼接后形成在所述近眼显示屏幕上呈现的中心凹图像。

7.根据权利要求1所述的近眼显示装置，其特征在于，所述传输单元将所述n个图层的视频图像数据基于无线或有线的通信方式，在不同的信道或者在同一信道但在不同时间依次传输至所述近眼显示器中，所述信道为物理信道或者逻辑信道。

8.根据权利要求1所述的近眼显示装置，其特征在于，所述重建单元还包括：

图层重建子单元，用于对所述创建单元创建和渲染对应的n个图层的视频图像数据分别进行重建，使图像分辨率和灰度值还原至所述近眼显示器屏幕对应的分辨率和灰度值；

位置分析子单元，用于在相邻显示区域间预留和判断重叠区的图像数据；

图像拼接子单元，用于将所述重叠区的图像按不同权重进行相互融合并形成完整画面。

9.根据权利要求8所述的近眼显示装置，其特征在于，所述图层重建子单元包括图像插值、图像重采样、图像增强和像素位扩展的计算，所述图像拼接子单元包括双边滤波计算。

10.根据权利要求1所述的近眼显示装置，其特征在于，所述近眼显示屏幕是一种像素密度高于1000PPI的半导体单晶硅基底的微型显示器，并通过光学系统被人眼观察，所述微型显示器包括硅基液晶显示器、硅基有机发光显示器、硅基发光二极管显示器、激光显示器或数字微镜显示器。

11.根据权利要求1所述的近眼显示装置，其特征在于，所述分区单元、计算单元和创建单元位于视频图像源发生端，所述视频图像源发生端远离或靠近人的眼睛，所述重建单元、显示控制单元和近眼显示屏幕靠近人的眼睛。

12.根据权利要求1所述的近眼显示装置，其特征在于，所述分区单元、计算单元和创建单元通过软件或硬件实现，所述传输单元、重建单元、显示控制单元通过硬件实现，且所述重建单元位于独立的硬件模块中或与所述显示控制单元和近眼显示屏幕位于相同的模组中，所述独立的硬件模块通过高速信号接口与所述显示控制单元相连。

13.根据权利要求1所述的近眼显示装置，其特征在于，还包含了眼球追踪模块，所述眼球追踪模块用于实时获取单目或双目的凝视点，并将所述凝视点的信息实时传送至所述分区单元、计算单元、创建单元、传输单元、重建单元和/或显示控制单元，并以实时的单目或双目的凝视点划分显示子区域。

14.根据权利要求13所述的近眼显示装置，其特征在于，所述眼球追踪模块包括了根据眼球和眼球周边的特征变化进行跟踪的子模块，或根据虹膜角度变化进行跟踪的子模块，或主动投射红外线光束到虹膜后提取特征来进行跟踪的子模块。

15.根据权利要求1所述的近眼显示装置，其特征在于，所述近眼显示屏幕包括了显示两个分别用于人的左眼和右眼的独立图像，或包括了两个独立屏幕分别用于显示人的左眼和右眼，所述独立图像和独立屏幕都可分别划分为包括人眼凝视子区域的若干显示子区域。