CN113703169B - 具有屈光矫正功能的集成成像光场显示方法及显示系统 - Google Patents

Abstract

本发明公开了一种具有屈光矫正功能的集成成像光场显示方法及显示系统，该方法包括：测量屈光不正用户的眼部数据；在发光面板上随机选择满足预设条件的部分目标像素，预设条件为部分目标像素可以重建单个体像素；根据眼部数据，对部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置；将部分目标像素的位置与优化像素位置进行比较，并构建数学关系；将数学关系扩展应用于整个发光面板，得到优化后的元素图像阵列并输出。本发明可以实现在无需增加额外硬件的前提下优化屈光不正用户的三维显示体验，优化算法简洁、低成本，优化性能优良，扩大了应用范围，为下一代实时人机交互系统提供了保障。

Description

具有屈光矫正功能的集成成像光场显示方法及显示系统

技术领域

本发明涉及三维显示技术领域，尤其涉及一种具有屈光矫正功能的集成成像光场显示方法及显示系统。

背景技术

随着人类科学的进步，具有三维显示(后简称3D显示)功能的虚拟现实(VirtualReality，VR)技术和增强现实(Augmented Reality，AR)技术逐渐熟为人知，并广泛应用于军事、医疗、教育、娱乐等领域。虚拟现实是通过电脑模拟产生一个虚拟的三维世界，让用户如同身临其境一样；而增强现实则是将现实世界和虚拟世界通过电脑进行无缝集成，将虚拟的信息叠加到现实世界中，使真实世界充满虚拟信息。

传统的实现3D显示的方法利用的是双目视差的原理，通过双目辐辏作用产生三维效果，但由于屏幕发出的光线缺乏可调控的深度信息，眼睛的焦点与纵深感不匹配，从而引发了辐辏调节冲突(Vergence-Accommodation Conflict，VAC)，不仅容易使用户产生视觉疲劳，而且长期观看后还将导致出现眩晕等不适感。那么，为了实现没有VAC的真3D显示，人们相继发明了多种实现方法，按照成像原理可大致分为集成成像光场显示、全息显示、体3D显示、自适应变焦等。其中，集成成像光场显示由于具有硬件简单易实现、轻薄、深度连续可调等优势而成为了下一代3D显示技术的热点。

目前，该技术的主要瓶颈之一在于适用人群有限，即传统的基于集成成像光场显示的头戴式显示器均仅面向视力正常的用户提供3D显示服务，而不适用于屈光不正的用户。后来，有学者提出一些解决方案，试图为屈光不正用户提供更好的VR、AR体验，其中最具代表的是医学诊疗、硬件重构和算法设计这三类解决方案，其中，医学诊疗指的是在屈光不正用户的眼内角膜前植入人工晶体或镜片，可直接解决由于角膜表面和巩膜外壳形变所带来的屈光不正；硬件重构则指的是在头戴式显示器中，为每位屈光不正用户个性化设计出自由曲面镜片或微光学元件，解决由于晶状体、玻璃体等不规则所带来的近远视、散光、白内障等问题；算法设计则指的是在不增加或不改进头戴式显示器中光学器件的基础上，通过设计软件算法解决屈光不正问题，比如美国加州大学伯克利分校Huang等人提出的基于多层面板和滤波技术，结合深度卷积神经网络，使系统自动学习正常人眼和视障用户人眼由于眼部结构不同造成的不同成像，然后在学习了大量图像关系后，当输入期望人眼正常看到的图像时，系统自动根据屈光不正用户人眼生成对应的可以清晰成像的图片；结合大面积光路扫描和瞳孔检测，捕获视网膜和发光区对应的位置关系，定向设计输入图片的位置。除此之外，国内外还有一些其它解决方案，如利用空间光调制器(Space Light Module，SLM)调制光路、发光面板像素位置矩阵等。然而遗憾的是，现有的这些解决屈光不正问题的各项技术均存在以下一种或多种问题：

(1)自适应或自由曲面光学设计困难，难以制造，体积较大，且需要为每一位屈光不正用户定制不同的硬件，应用场景有限；

(2)头戴或眼植入设备沉重，不适宜长时间交互，沉浸感不强；

(3)软件算法(如滤波及卷积神经网络)技术繁琐，需要大量数据支撑，计算时间较长，计算成本较高，且图像处理补偿光学像差的能力有限；

(4)仅能解决部分屈光不正问题，不能解决混合像差问题。

因此，如何对现有的这些技术进行改进，或者是研究出一种新的技术，以解决屈光不正用户的使用问题，实现屈光不正用户与虚拟环境、真实环境之间的实时互动，是本领域亟待攻克的课题之一。

以上信息作为背景信息给出只是为了辅助理解本公开，并没有确定或者承认任意上述内容是否可用作相对于本公开的现有技术。

发明内容

本发明提供一种具有屈光矫正功能的集成成像光场显示方法及显示系统，以解决现有技术的不足。

为实现上述目的，本发明提供以下的技术方案：

第一方面，本发明实施例提供一种具有屈光矫正功能的集成成像光场显示方法，所述方法包括：

测量屈光不正用户的眼部数据；

在发光面板上随机选择满足预设条件的部分目标像素，所述预设条件为所述部分目标像素可以重建单个体像素；

根据所述眼部数据，对所述部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置；

将所述部分目标像素的位置与所述优化像素位置进行比较，并构建数学关系；

将所述数学关系扩展应用于整个所述发光面板，得到优化后的元素图像阵列并输出。

进一步地，所述具有屈光矫正功能的集成成像光场显示方法中，所述根据所述眼部数据，对所述部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置的步骤包括：

对所述眼部数据进行分析，确定所述屈光不正用户的像差类型，所述像差类型包括低阶像差、高阶像差和混合像差；

若所述屈光不正用户的像差类型为低阶像差，则根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置；

若所述屈光不正用户的像差类型为高阶像差或混合像差，则根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型，然后分别在预设的正常人眼模型和所述高阶像差人眼模型或混合像差人眼模型中，追迹所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并结合优化算法计算出出射光可以在视网膜上汇聚的优化像素位置。

进一步地，所述具有屈光矫正功能的集成成像光场显示方法中，所述方法还包括：

测量正常用户的眼部数据；

根据所述正常用户的眼部数据构建正常用户人眼模型，并存储为预设的正常人眼模型。

进一步地，所述具有屈光矫正功能的集成成像光场显示方法中，所述根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型的步骤包括：

根据所述眼部数据和基于光线追迹的光学仿真软件，构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型。

进一步地，所述具有屈光矫正功能的集成成像光场显示方法中，所述根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置的步骤包括：

根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型；

通过光学公式分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置。

第二方面，本发明实施例提供一种具有屈光矫正功能的集成成像光场显示系统，所述系统包括：

数据测量模块，用于测量屈光不正用户的眼部数据；

像素选择模块，用于在发光面板上随机选择满足预设条件的部分目标像素，所述预设条件为所述部分目标像素可以重建单个体像素；

位置优化模块，用于根据所述眼部数据，对所述部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置；

关系构建模块，用于将所述部分目标像素的位置与所述优化像素位置进行比较，并构建数学关系；

关系扩展模块，用于将所述数学关系扩展应用于整个所述发光面板，得到优化后的元素图像阵列并输出。

进一步地，所述具有屈光矫正功能的集成成像光场显示系统中，所述位置优化模块具体用于：

对所述眼部数据进行分析，确定所述屈光不正用户的像差类型，所述像差类型包括低阶像差、高阶像差和混合像差；

若所述屈光不正用户的像差类型为低阶像差，则根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置；

若所述屈光不正用户的像差类型为高阶像差或混合像差，则根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型，然后分别在预设的正常人眼模型和所述高阶像差人眼模型或混合像差人眼模型中，追迹所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并结合优化算法计算出出射光可以在视网膜上汇聚的优化像素位置。

进一步地，所述具有屈光矫正功能的集成成像光场显示系统中，所述系统还包括模型构建模块，用于：

测量正常用户的眼部数据；

根据所述正常用户的眼部数据构建正常用户人眼模型，并存储为预设的正常人眼模型。

进一步地，所述具有屈光矫正功能的集成成像光场显示系统中，所述位置优化模块中的根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型的步骤包括：

根据所述眼部数据和基于光线追迹的光学仿真软件，构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型。

进一步地，所述具有屈光矫正功能的集成成像光场显示系统中，所述位置优化模块中的根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置的步骤包括：

根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型；

通过光学公式分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例提供的一种具有屈光矫正功能的集成成像光场显示方法及显示系统，通过预优化有限个目标像素的位置，使其出射光可以重新在视网膜上汇聚，然后再对比该些目标像素的原始位置和优化后的位置，建构二者之间的数学关系，并将该数学关系扩展应用于整个发光面板上，从而得到优化后的元素图像阵列并输出，可以实现在无需增加额外硬件的前提下优化屈光不正用户的三维显示体验，优化算法简洁、低成本，优化性能优良，扩大了应用范围，为下一代实时人机交互系统提供了保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例一提供的一种具有屈光矫正功能的集成成像光场显示方法的流程示意图；

图2是本发明实施例二提供的一种具有屈光矫正功能的集成成像光场显示方法的流程示意图；

图3是本发明实施例二中遗传算法的流程示意图；

图4是本发明实施例二中屈光不正人眼优化前后结果对比图；

图5是本发明实施例三提供的一种具有屈光矫正功能的集成成像光场显示系统的功能模块示意图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。当一个组件被认为是“设置在”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中设置的组件。

此外，术语“长”“短”“内”“外”等指示方位或位置关系为基于附图所展示的方位或者位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或原件必须具有此特定的方位、以特定的方位构造进行操作，以此不能理解为本发明的限制。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

实施例一

请参阅图1，图1是本发明实施例公开的一种具有屈光矫正功能的集成成像光场显示方法的流程示意图，该方法适用于屈光不正用户使用头戴式显示器体验三维显示技术的场景，该方法由具有屈光矫正功能的集成成像光场显示系统来执行，该系统可以由软件和/或硬件实现，集成于头戴式显示器的内部。如图1所示，该具有屈光矫正功能的集成成像光场显示方法可以包括以下步骤：

S101、测量屈光不正用户的眼部数据。

需要说明的是，眼部数据的测量可通过市面上的自动验光仪或波前像差仪等眼科测量设备进行。

眼部数据包括但不限于屈光度、波前像差图，当然也还可以是其它的数据，只要是能完整的描述眼部结构即可。

S102、在发光面板上随机选择满足预设条件的部分目标像素，所述预设条件为所述部分目标像素可以重建单个体像素。

需要说明的是，本实施例基于的集成成像光场显示系统包括一块高分辨率的微显示器(也即发光面板)和一个微透镜阵列。在发光面板上显示的二维图像称为元素图像阵列，元素图像阵列的不同部分通过微透镜阵列在三维空间中被折射到不同方向上，进而形成三维图像。

在本实施例中，部分目标像素与体像素的关系为：重建的单个体像素是由一簇光线汇聚而成，而该簇光线由一系列发光像素决定。本步骤就是需要选择一部分发光像素，使之发出的光束可以汇聚成一个体相素，那么该部分发光像素就是目标像素。当然，对于目标像素的选择也可以是像素组，即某一个区域内的所有像素。

S103、根据所述眼部数据，对所述部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置。

需要说明的是，由于当用户罹患屈光不正时，角膜和晶状体可能因表面不平整、曲率半径和厚度的改变而无法达到使从发光面板上每个像素发出的光线汇聚到视网膜的要求，使得视网膜上接收到的光线呈散射状，因此需要对选择的部分目标像素的原始位置进行优化。

S104、将所述部分目标像素的位置与所述优化像素位置进行比较，并构建数学关系。

需要说明的是，所述数学关系包括但不限于转移矩阵、多变量函数等。具体的，所述数学关系是随优化内容而调整的，表述形式可以采用矩阵、数学函数或其他形式。

S105、将所述数学关系扩展应用于整个所述发光面板，得到优化后的元素图像阵列并输出。

需要说明的是，本实施例通过预优化有限个目标像素的原始位置，使其出射光可以重新在视网膜上汇聚，然后再对比该些目标像素的原始位置和优化后的位置，建构二者之间的数学关系，并将该数学关系扩展应用于整个发光面板上，从而得到优化后的元素图像阵列并输出。本实施例的创新在于只针对有限个目标像素进行预优化，而不是整个发光面板的所有像素，使得需要计算的量大大减少，所采用的优化算法也比较简洁。

本发明实施例提供的一种具有屈光矫正功能的集成成像光场显示方法，通过预优化有限个目标像素的位置，使其出射光可以重新在视网膜上汇聚，然后再对比该些目标像素的原始位置和优化后的位置，建构二者之间的数学关系，并将该数学关系扩展应用于整个发光面板上，从而得到优化后的元素图像阵列并输出，可以实现在无需增加额外硬件的前提下优化屈光不正用户的三维显示体验，优化算法简洁、低成本，优化性能优良，扩大了应用范围，为下一代实时人机交互系统提供了保障。

实施例二

请参阅图2，图2是本发明实施例公开的一种具有屈光矫正功能的集成成像光场显示方法的流程示意图。本实施例在实施例一提供的技术方案的基础上，对步骤S103“根据所述眼部数据，对所述部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置”做了进一步优化。与上述各实施例相同或相应的术语的解释在此不再赘述，即：

对所述眼部数据进行分析，确定所述屈光不正用户的像差类型，所述像差类型包括低阶像差、高阶像差和混合像差；

若所述屈光不正用户的像差类型为低阶像差，则根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置；

若所述屈光不正用户的像差类型为高阶像差或混合像差，则根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型，然后分别在预设的正常人眼模型和所述高阶像差人眼模型或混合像差人眼模型中，追迹所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并结合优化算法计算出出射光可以在视网膜上汇聚的优化像素位置。

基于上述优化，如图2所示，本实施例提供的一种具有屈光矫正功能的集成成像光场显示方法，具体可以包括如下步骤：

S201、测量屈光不正用户的眼部数据。

S202、在发光面板上随机选择满足预设条件的部分目标像素，所述预设条件为所述部分目标像素可以重建单个体像素。

S203、对所述眼部数据进行分析，确定所述屈光不正用户的像差类型，所述像差类型包括低阶像差、高阶像差和混合像差。

需要说明的是，不同屈光原因分析不同数据，比如如果是低阶像差(近、远视)，则分析屈光度即可；如果是复杂的像差(如像散等)，则需要分析波前像差图。

由于本实施例针对像差类型不同的屈光不正用户所采用的优化方案有所不同，因此本步骤需要确认每位屈光不正用户的像差类型。

S204、若所述屈光不正用户的像差类型为低阶像差，则根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置。

需要说明的是，在本步骤中，构建出低阶像差人眼模型是一个简单的示意模型，然后通过光学公式分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置。建模的目的主要是方便手动计算，当然选择不建模也是可以的。

在本实施例中，所述光学公式比如可以是光学传递函数(Optical TransferFunction,OTF)、高斯公式等。

S205、若所述屈光不正用户的像差类型为高阶像差或混合像差，则根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型，然后分别在预设的正常人眼模型和所述高阶像差人眼模型或混合像差人眼模型中，追迹所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并结合优化算法计算出出射光可以在视网膜上汇聚的优化像素位置。

需要说明的是，在本步骤中，构建高阶像差人眼模型或混合像差人眼模型时需要通过软件构建，该软件优选为基于光线追迹的光学仿真软件。

在本实施例中，所述优化算法为任何可以实现单目标优化的算法，包括但不限于遗传算法、蚁群算法、模拟退火算法、粒子群算法、神经网络、深度学习。

优选的，由于步骤S204和S205中都涉及预设的正常人眼模型，因此本实施例也还包括正常人眼模型的预设步骤，即：

测量正常用户的眼部数据；

根据所述正常用户的眼部数据构建正常用户人眼模型，并存储为预设的正常人眼模型。

需要说明的是，当然正常用户的眼部数据也是通过查阅文献获得，文献中包括正常人眼结构的物理参数。

S206、将所述部分目标像素的位置与所述优化像素位置进行比较，并构建数学关系。

S207、将所述数学关系扩展应用于整个所述发光面板，得到优化后的元素图像阵列并输出。

需要说明的是，本实施例将优化方案依照成因分类，通过随机选择部分目标像素，选择不同优化方法，建构优化用的数学关系，然后将该数学关系扩展到整个发光面板，得到优化后重新排列的像素位置。当输入新图像时，只需将该矩阵重新排列并填充发光面板对应位置的像素，即可得到元素图像阵列并输出。

为了更加清晰的展现本发明实施例的方案实施过程，下面以两具体实例进行详细介绍。

实例一(近视，高斯公式，函数描述)

本实例结合集成成像光场进行说明，该集成成像光场由一个微显示器、一个微透镜阵列及一个摄像机组成。

光学器件参数如下：微显示器为矩形，对角线长度为0.71英尺。像素数为1920*1080(长边像素数*宽边像素数)。微透镜阵列尺寸需不小于微显示器，任何满足此条件的均可以应用于本实例，本实例中所用尺寸为160mm*80mm，单个微透镜的直径为1mm，焦距为4mm。

光场参数如下：微透镜阵列到微显示器的距离r1＝3mm。利用眼动仪测得患者的屈光度，发现其仅患有近视问题。通过查阅文献，得到正常人眼结构的物理参数。

以发光面板的中心为坐标原点，建立坐标系：光线传播方向为Z轴正方向，发光面板内水平方向为X方向，竖直向上为Y轴正方向，X轴正方向由右手定则确定。

假定发光面板正中心像素为坐标原点，将面板上所有像素的中心坐标存储为PC(Panel Coordinate)，水平方向坐标存储为PCX，竖直方向坐标存储为PCY。选择六个像素单元重构某个体像素，该六个像素的位置为随机选取六个透镜中心正对应发光面板位置上的像素。将被选择的部分像素的中心坐标存储为IN(Init)，水平方向的坐标存储为INX1，竖直方向的坐标存储为INY1。根据高斯公式，分别计算出在正常人眼模型和低阶像差人眼模型下，每个被选取像素出射光在视网膜上的成像位置。将依据正常人眼模型，利用光学计算公式(如高斯公式)，每个像素通过人眼折射后散点的中心坐标存储为正常追迹矩阵NR(Normal Raytracing)，将水平方向的坐标存储为NRX1，竖直方向的坐标存储为NRY1。将IN中每个元素与NR中每个元素映射的计算过程转化为公式M(u)，其中，u为IN矩阵中某个元素的值，M(u)为对应矩阵位置处NR矩阵的值。

将依据低阶像差人眼模型，每个像素通过人眼折射后散点的中心坐标存储为实际追迹矩阵RR(Real Raytracing)，将水平方向的坐标存储为RRX，将竖直方向的坐标存储为RRY。将IN中每个元素与RR中每个元素映射的计算过程转化为公式N(v)，其中，v为IN矩阵中某个元素的值，N(v)为对应矩阵位置处RR矩阵的值。

通过高斯公式计算出可以实现像素出光可以在视网膜上汇聚的像素位置，即使RR矩阵中的每个元素值与NR矩阵中的每个元素值对应相等，或方差最小，并将该像素组的坐标存储为实际追迹矩阵OC(Optimum Coordinate)，在水平方向的位置存储为OCX，竖直方向的坐标存储为OCY。

将OC矩阵中的各元素作为因变量，某个元素记为x；IN矩阵中的矩阵作为自变量，与x位置相同处的值记为f(x)，假定二者之间存在多项式函数关系，关系表达式如下：

f(x)＝a0+a1x+a2x²+a3x3+a4x⁴+a5x⁵+a6x6+a7x7+a8x8

利用数值计算软件拟合出九个未知参量，使之误差达到最小。将该关系用于PC矩阵，生成优化后的元素图像阵列。

实例二(像散，遗传算法，矩阵描述)

本实例结合集成成像光场进行说明。该集成成像光场由一个微显示器、一个微透镜阵列及一个摄像机组成。

光学器件参数如下：微显示器为矩形，对角线长度为0.71英尺。像素数为1920*1080(长边像素数*宽边像素数)。微透镜阵列尺寸需不小于微显示器，任何满足此条件的均可以应用于本例，本例中所用尺寸为160mm*80mm，单个微透镜的直径为1mm，焦距为4mm。

光场参数如下：微透镜阵列到微显示器的距离r1＝3mm。首先通过眼动仪及其他眼部医学仪器测定某屈光不正人眼的波前像差图，或以下物理参数：角膜前表面、后表面及晶状体前表面、后表面表面形貌，即数学表达式，结合相关软件拟合出Zernike系数。测定角膜与晶状体厚度，二者之间的距离及玻璃体的眼轴长度，同时测量出玻璃体后表面的表面形貌，同样拟合出Zernike系数。而后将该数据作为眼球模型的参数，建议光线追迹仿真模型。另外，以正常人眼的上述测量对应的数据，一并进行光线追迹建模。

以发光面板的中心为坐标原点，建立坐标系：光线传播方向为Z轴正方向，发光面板内水平方向为X方向，竖直向上为Y轴正方向，X轴正方向由右手定则确定。假定发光面板正中心像素为坐标原点，将面板上所有像素的中心坐标存储为PC(Panel Coordinate)，水平方向坐标存储为PCX，竖直方向坐标存储为PCY。选择六个像素单元重构某个体像素，该六个像素的位置为随机选取六个透镜中心正对应发光面板位置上的像素。将被选择的部分像素的中心坐标存储为IN(Init)，水平方向的坐标存储为INX1，竖直方向的坐标存储为INY1。将依据正常人眼模型，每个像素通过人眼折射后散点的中心坐标存储为正常追迹矩阵NR(Normal Raytracing)，将水平方向的坐标存储为NRX1，竖直方向的坐标存储为NRY1。将依据实际人眼模型，每个像素通过人眼折射后散点的中心坐标存储为实际追迹矩阵RR(RealRaytracing)，将水平方向的坐标存储为RRX，将竖直方向的坐标存储为RRY。

结合单目标优化算法(目标为使优化像素的出光可以在视网膜上汇聚，而不是一块散斑。具体而言，每一条光线的传播位置的x与y坐标尽可能相等，即，使所有的x和y的方均根误差最小)，设定目标为RRX与RRY两个矩阵所有元素之间的方差最小，备选集为每个发光面板上被选定像素及紧邻像素，即除发光面板边缘的像素，备选集含九个像素；发光面板的四个顶点处备选集有四个像素；发光面板四条边除四个顶点的各像素备选集含六个像素。利用遗传算法计算优化后的发光像素位置，流程图如图3所示：

首先初始化种群，为避免陷入局部极小值，我们设定种群个数为16*9*10，问题的求解区间为每个像素及其周围一圈的像素，即每个像素均有九种可能性。本实例利用二进制编码，(也可用格雷码等其他编码方式)，编码长度为22，即有222种可能性。为使各种组合有足够的可能性迭代而不陷入局部极小值，我们取最大迭代次数为10000、杂交率为0.7、选择率为0.5、变异率为0.001.

适应度函数为RR矩阵所有元素的方差RMS，在X方向即为RRX中所有元素方差RMSX，在Y方向即为RRY中所有元素方差RMSY。目标函数即使RMSX与RMSY取得最小值。由于X与Y方向互相垂直，故二者在优化时互不影响。停止规则为RMSX与RMSY均小于0.1，或达到最大迭代次数。分别绘制RMSX和RMSY随迭代次数的变化数据图，若RMSX与RMSY在最后的几百次迭代中均几乎维持不变，但仍未小于0.1，可视为已经是最优化的结果，不必再次优化；若最后几百次仍然不断减小，且幅度较大，则将最大迭代次数上升至30000，并重新优化。

通过优化迭代找到满足条件的更新像素组，并将该像素组的坐标存储为实际追迹矩阵OC(Optimum Coordinate)，在水平方向的位置存储为OCX，竖直方向的坐标存储为OCY。

建立优化关系矩阵OR(optimum relationship)，满足：

IN*OR＝OC；

具体地，在水平和竖直两个方向上，有如下关系：

INX*ORX＝OCX；

INT*ORY＝OCY；

其中，ORX与ORY分别为在水平和竖直方向上的优化关系矩阵。两个矩阵的行数分别与INi(i＝x,y)的列数相等，列数分别与OCi(i＝x,y)的行数相等。

建立优化位置矩阵OL(Optimum Location)，满足：

OL＝PC*I1*OR*I2；

具体地，OL的行和列数由发光面板上两个方向的像素数决定，与PC矩阵的行列数相同；I1与I2均为单位矩阵，I1的行数与PC的列数相同，列数与OR的行数相同；I2的行数与OR的列数相同，列数与OL的行数相同。

具体地，在水平和竖直两个方向上，有如下关系：

OLX＝PCX*I1*ORX*I2；

OLY＝PCY*I1*ORY*I2；

其中，OLX与OLY分别为在水平和竖直方向上的优化位置矩阵。

根据发光面板像素大小和优化位置矩阵计算出优化像素矩阵OP(Optimum Pixel)其中，在水平方向的矩阵记为OPX，在竖直方向的矩阵记为OPY。其中的每个元素应记录着优化后该元素所对应的像素应发出优化前某个像素的光。

输入图像(图片或视频)，将图像像素依据OP矩阵进行重新排列，得到元素图像阵列。

请参考图4，图4为屈光不正人眼优化前后结果对比图，反应了优化前后光线在视网膜上传播的位置。图4中每一行从左到右都依次是各个像素出光在视网膜上传播的位置示意、一个物点在视网膜上的视场图以及一个符号(比如十字)在视网膜上的视场图。具体的，图4中的最上面一行表征的是正常人眼，中间一行表征的是屈光不正人眼，比如是散光人眼，最下面一行表征的是屈光不正优化人眼。可以看到，散光人眼的光线是无法在垂直方向上很好地汇聚的，从而导致了图像在视网膜上高度分散，而经屈光不正优化后，人眼的视网膜成像虽然仍与正常人眼有差距，但光线已经基本能够在垂直方向上汇聚，也即说明本实施例对屈光不正人眼的优化是切实有效的。

本发明实施例提供的一种具有屈光矫正功能的集成成像光场显示方法，通过预优化有限个目标像素的位置，使其出射光可以重新在视网膜上汇聚，然后再对比该些目标像素的原始位置和优化后的位置，建构二者之间的数学关系，并将该数学关系扩展应用于整个发光面板上，从而得到优化后的元素图像阵列并输出，可以实现在无需增加额外硬件的前提下优化屈光不正用户的三维显示体验，优化算法简洁、低成本，优化性能优良，扩大了应用范围，为下一代实时人机交互系统提供了保障。

实施例三

请参阅附图5，为本发明实施例三提供的一种具有屈光矫正功能的集成成像光场显示系统的功能模块示意图，该系统适用于执行本发明实施例提供的具有屈光矫正功能的集成成像光场显示方法。该系统具体包含如下模块：

数据测量模块301，用于测量屈光不正用户的眼部数据；

像素选择模块302，用于在发光面板上随机选择满足预设条件的部分目标像素，所述预设条件为所述部分目标像素可以重建单个体像素；

位置优化模块303，用于根据所述眼部数据，对所述部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置；

关系构建模块304，用于将所述部分目标像素的位置与所述优化像素位置进行比较，并构建数学关系；

关系扩展模块305，用于将所述数学关系扩展应用于整个所述发光面板，得到优化后的元素图像阵列并输出。

需要说明的是，本实施例无需增加任何额外硬件，本实施例出现的功能模块并不是真正的硬件，只是一种功能描述，是目前头戴式显示器里常规的硬件能实现的。

优选的，所述位置优化模块303具体用于：

对所述眼部数据进行分析，确定所述屈光不正用户的像差类型，所述像差类型包括低阶像差、高阶像差和混合像差；

若所述屈光不正用户的像差类型为低阶像差，则根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置；

若所述屈光不正用户的像差类型为高阶像差或混合像差，则根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型，然后分别在预设的正常人眼模型和所述高阶像差人眼模型或混合像差人眼模型中，追迹所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并结合优化算法计算出出射光可以在视网膜上汇聚的优化像素位置。

优选的，所述系统还包括模型构建模块，用于：

测量正常用户的眼部数据；

根据所述正常用户的眼部数据构建正常用户人眼模型，并存储为预设的正常人眼模型。

优选的，所述位置优化模块303中的根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型的步骤包括：

根据所述眼部数据和基于光线追迹的光学仿真软件，构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型。

优选的，所述位置优化模块303中的根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置的步骤包括：

根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型；

通过光学公式分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置。

本发明实施例提供的一种具有屈光矫正功能的集成成像光场显示系统，通过预优化有限个目标像素的位置，使其出射光可以重新在视网膜上汇聚，然后再对比该些目标像素的原始位置和优化后的位置，建构二者之间的数学关系，并将该数学关系扩展应用于整个发光面板上，从而得到优化后的元素图像阵列并输出，可以实现在无需增加额外硬件的前提下优化屈光不正用户的三维显示体验，优化算法简洁、低成本，优化性能优良，扩大了应用范围，为下一代实时人机交互系统提供了保障。

上述系统可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

至此，以说明和描述的目的提供上述实施例的描述。不意指穷举或者限制本公开。特定的实施例的单独元件或者特征通常不受到特定的实施例的限制，但是在适用时，即使没有具体地示出或者描述，其可以互换和用于选定的实施例。在许多方面，相同的元件或者特征也可以改变。这种变化不被认为是偏离本公开，并且所有的这种修改意指为包括在本公开的范围内。

提供示例实施例，从而本公开将变得透彻，并且将会完全地将该范围传达至本领域内技术人员。为了透彻理解本公开的实施例，阐明了众多细节，诸如特定零件、装置和方法的示例。显然，对于本领域内技术人员，不需要使用特定的细节，示例实施例可以以许多不同的形式实施，而且两者都不应当解释为限制本公开的范围。在某些示例实施例中，不对公知的工序、公知的装置结构和公知的技术进行详细地描述。

在此，仅为了描述特定的示例实施例的目的使用专业词汇，并且不是意指为限制的目的。除非上下文清楚地作出相反的表示，在此使用的单数形式“一个”和“该”可以意指为也包括复数形式。术语“包括”和“具有”是包括在内的意思，并且因此指定存在所声明的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或额外地具有一个或以上的其他特征、整体、步骤、操作、元件、组件和/或其组合。除非明确地指示了执行的次序，在此描述的该方法步骤、处理和操作不解释为一定需要按照所论述和示出的特定的次序执行。还应当理解的是，可以采用附加的或者可选择的步骤。

当元件或者层称为是“在……上”、“与……接合”、“连接到”或者“联接到”另一个元件或层，其可以是直接在另一个元件或者层上、与另一个元件或层接合、连接到或者联接到另一个元件或层，也可以存在介于其间的元件或者层。与此相反，当元件或层称为是“直接在……上”、“与……直接接合”、“直接连接到”或者“直接联接到”另一个元件或层，则可能不存在介于其间的元件或者层。其他用于描述元件关系的词应当以类似的方式解释(例如，“在……之间”和“直接在……之间”、“相邻”和“直接相邻”等)。在此使用的术语“和/或”包括该相关联的所罗列的项目的一个或以上的任一和所有的组合。虽然此处可能使用了术语第一、第二、第三等以描述各种的元件、组件、区域、层和/或部分，这些元件、组件、区域、层和/或部分不受到这些术语的限制。这些术语可以只用于将一个元件、组件、区域或部分与另一个元件、组件、区域或部分区分。除非由上下文清楚地表示，在此使用诸如术语“第一”、“第二”及其他数值的术语不意味序列或者次序。因此，在下方论述的第一元件、组件、区域、层或者部分可以采用第二元件、组件、区域、层或者部分的术语而不脱离该示例实施例的教导。

空间的相对术语，诸如“内”、“外”、“在下面”、“在……的下方”、“下部”、“上方”、“上部”等，在此可出于便于描述的目的使用，以描述如图中所示的一个元件或者特征和另外一个或多个元件或者特征之间的关系。空间的相对术语可以意指包含除该图描绘的取向之外该装置的不同的取向。例如如果翻转该图中的装置，则描述为“在其他元件或者特征的下方”或者“在元件或者特征的下面”的元件将取向为“在其他元件或者特征的上方”。因此，示例术语“在……的下方”可以包含朝上和朝下的两种取向。该装置可以以其他方式取向(旋转90度或者其他取向)并且以此处的空间的相对描述解释。

Claims (8)

1.一种具有屈光矫正功能的集成成像光场显示方法，其特征在于，所述方法包括：

测量屈光不正用户的眼部数据；

在发光面板上随机选择满足预设条件的部分目标像素，所述预设条件为所述部分目标像素可以重建单个体像素；

根据所述眼部数据，对所述部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置；

将所述部分目标像素的位置与所述优化像素位置进行比较，并构建数学关系；

将所述数学关系扩展应用于整个所述发光面板，得到优化后的元素图像阵列并输出；

所述根据所述眼部数据，对所述部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置的步骤包括：

对所述眼部数据进行分析，确定所述屈光不正用户的像差类型，所述像差类型包括低阶像差、高阶像差和混合像差；

若所述屈光不正用户的像差类型为低阶像差，则根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置；

若所述屈光不正用户的像差类型为高阶像差或混合像差，则根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型，然后分别在预设的正常人眼模型和所述高阶像差人眼模型或混合像差人眼模型中，追迹所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并结合优化算法计算出出射光可以在视网膜上汇聚的优化像素位置。

2.根据权利要求1所述的具有屈光矫正功能的集成成像光场显示方法，其特征在于，所述方法还包括：

测量正常用户的眼部数据；

根据所述正常用户的眼部数据构建正常用户人眼模型，并存储为预设的正常人眼模型。

3.根据权利要求1所述的具有屈光矫正功能的集成成像光场显示方法，其特征在于，所述根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型的步骤包括：

根据所述眼部数据和基于光线追迹的光学仿真软件，构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型。

4.根据权利要求1所述的具有屈光矫正功能的集成成像光场显示方法，其特征在于，所述根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置的步骤包括：

根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型；

通过光学公式分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置。

5.一种具有屈光矫正功能的集成成像光场显示系统，其特征在于，所述系统包括：

数据测量模块，用于测量屈光不正用户的眼部数据；

像素选择模块，用于在发光面板上随机选择满足预设条件的部分目标像素，所述预设条件为所述部分目标像素可以重建单个体像素；

位置优化模块，用于根据所述眼部数据，对所述部分目标像素的位置进行优化，得到出射光可以在视网膜上汇聚的优化像素位置；

关系构建模块，用于将所述部分目标像素的位置与所述优化像素位置进行比较，并构建数学关系；

关系扩展模块，用于将所述数学关系扩展应用于整个所述发光面板，得到优化后的元素图像阵列并输出；

所述位置优化模块具体用于：

对所述眼部数据进行分析，确定所述屈光不正用户的像差类型，所述像差类型包括低阶像差、高阶像差和混合像差；

若所述屈光不正用户的像差类型为低阶像差，则根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置；

若所述屈光不正用户的像差类型为高阶像差或混合像差，则根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型，然后分别在预设的正常人眼模型和所述高阶像差人眼模型或混合像差人眼模型中，追迹所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并结合优化算法计算出出射光可以在视网膜上汇聚的优化像素位置。

6.根据权利要求5所述的具有屈光矫正功能的集成成像光场显示系统，其特征在于，所述系统还包括模型构建模块，用于：

测量正常用户的眼部数据；

根据所述正常用户的眼部数据构建正常用户人眼模型，并存储为预设的正常人眼模型。

7.根据权利要求5所述的具有屈光矫正功能的集成成像光场显示系统，其特征在于，所述位置优化模块中的根据所述眼部数据构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型的步骤包括：

根据所述眼部数据和基于光线追迹的光学仿真软件，构建所述屈光不正用户的高阶像差人眼模型或混合像差人眼模型。

8.根据权利要求5所述的具有屈光矫正功能的集成成像光场显示系统，其特征在于，所述位置优化模块中的根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型，然后分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置的步骤包括：

根据所述眼部数据构建所述屈光不正用户的低阶像差人眼模型；

通过光学公式分别计算在所述低阶像差人眼模型和预设的正常人眼模型下，所述部分目标像素中每个像素的出射光在视网膜上的成像位置，并计算出出射光可以在视网膜上汇聚的优化像素位置。

Images