CN117998071A - 眼动追踪光场3d显示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及增强现实技术领域，特别涉及一种眼动追踪光场3D显示方法、装置、电子设备及存储介质，其中，方法包括：获取真实3D场景图像，并根据真实3D场景图像生成虚拟图像序列；检测人眼聚焦的深度位置，并基于人眼聚焦的深度位置确定目标焦距，且基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像；耦合目标虚拟图像和真实3D场景图像得到待显示图像，并基于目标焦距将待显示图像调焦至人眼聚焦的深度位置进行显示。由此，解决了相关技术对于器件刷新率要求高以及难以同步控制等问题，大大减轻了对于高刷新率显示器件的需求，从而节约了成本，并且操作简单，易于实现。

Description

眼动追踪光场3D显示方法、装置、电子设备及存储介质

技术领域

本发明涉及增强现实技术领域，特别涉及一种眼动追踪光场3D显示方法、装置、电子设备及存储介质。

背景技术

增强现实技术是一种新兴的显示技术，被认为是有望取代目前手机等便携显示设备的下一代显示技术。增强现实技术可以将虚拟的场景叠加到真实场景上，带来超越现实的观感体验。近年来，增强现实技术不断发展，市面上已经出现了一些增强现实产品，增强现实技术得到了一定程度的应用。耦合器是增强现实的一个关键器件，作用是将虚拟场景与真实场景叠加后传输给人眼。典型的耦合器如半反半透镜，一种反射和透射效率各占50%的镜片，可以将虚拟场景反射进入人眼的同时，真实场景透射进入人眼。

目前增强现实技术有两个应用场景，分别是近眼显示(Near Eye Display，NED)和抬头显示（Head up Display，HUD）。所谓近眼显示，指的是显示设备或者说耦合器直接位于人眼前，所以大多数近眼显示设备是眼镜或者头盔的形态。用户将设备戴在头上，通过头戴设备将虚拟场景与真实场景相融合。近年来抬头显示在乘用车领域得到极大的发展，抬头显示可以使驾驶员在观察前方道路的同时通过前挡风玻璃看到时速、导航等一些有用信息。本发明既可应用于增强现实近眼显示领域，也可应用于增强现实抬头显示领域。增强现实设备目前存在的一个缺陷是辐辏调节矛盾（Vergence Accommodation Conflict，VAC）。

相关技术中，采用层析光场的方案将三维场景分层，并分别投射到指定的空间深度位置处，以解决辐辏调节矛盾。当人眼注视某一深度时，该深度层图像清晰，而其他深度层图像模糊。由于每个深度层都被投射到指定深度位置，人眼在注视某一深度层图像时，辐辏和调节位置重合，从而解决了辐辏调节矛盾。

然而，上述技术由于需要在极短时间内投射全部深度层图像，调焦装置和显示装置均需要在每一帧时间内需要遍历全部深度位置的焦距，因此，对于显示装置和调焦装置要求高，例如将深度层数设置为80层，三维动画帧率为60帧每秒，则显示设备的刷新率至少需要为4800帧每秒，对于器件刷新率和信号的精确控制提出了很高的要求，此外，上述技术中的高刷新率器件还存在难以同步控制的缺陷，亟待改进。

发明内容

本发明提供一种眼动追踪光场3D显示方法、装置、电子设备及存储介质，以解决相关技术对于器件刷新率要求高以及难以同步控制等问题。

本发明第一方面实施例提供一种眼动追踪光场3D显示方法，包括以下步骤：

获取真实3D场景图像，并根据所述真实3D场景图像生成虚拟图像序列；

检测人眼聚焦的深度位置，并基于所述人眼聚焦的深度位置确定目标焦距，且基于所述人眼聚焦的深度位置从所述虚拟图像序列中确定目标虚拟图像；以及

耦合所述目标虚拟图像和所述真实3D场景图像得到待显示图像，并基于所述目标焦距将所述待显示图像调焦至所述人眼聚焦的深度位置进行显示。

根据本发明的一个实施例，在基于所述目标焦距将所述待显示图像调焦至所述深度位置进行显示之后，还包括：

获取所述待显示图像的当前显示时长；

若所述当前显示时长大于预设眼动追踪时长，则重新执行所述检测人眼聚焦的深度位置的步骤。

根据本发明的一个实施例，所述根据所述真实3D场景图像生成虚拟图像序列，包括：

确定多个目标深度位置；

基于所述多个目标深度位置，确定每个目标深度位置的对应的虚拟图像；

根据所述每个目标深度位置的对应的虚拟图像生成所述虚拟图像序列。

根据本发明的一个实施例，所述基于所述人眼聚焦的深度位置从所述虚拟图像序列中确定目标虚拟图像，包括：

基于所述人眼聚焦的深度位置，从所述虚拟图像序列中匹配得到最佳深度位置；

将所述最佳深度位置对应的虚拟图像作为所述目标虚拟图像。

根据本发明的一个实施例，所述耦合所述目标虚拟图像和所述真实3D场景图像得到待显示图像，包括：

利用预设的光波导对所述目标虚拟图像进行传输，得到耦出后的目标虚拟图像；

叠加所述耦出后的目标虚拟图像和所述真实3D场景图像得到所述待显示图像。

根据本发明实施例的眼动追踪光场3D显示方法，根据真实3D场景图像生成虚拟图像序列，并基于人眼聚焦的深度位置确定目标焦距，且基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像；耦合目标虚拟图像和真实3D场景图像得到待显示图像，并基于目标焦距将待显示图像调焦至人眼聚焦的深度位置进行显示。由此，解决了相关技术对于器件刷新率要求高以及难以同步控制等问题，大大减轻了对于高刷新率显示器件的需求，从而节约了成本，并且操作简单，易于实现。

本发明第二方面实施例提供一种眼动追踪光场3D显示装置，包括：

获取与生成模块，用于获取真实3D场景图像，并根据所述真实3D场景图像生成虚拟图像序列；

处理模块，用于检测人眼聚焦的深度位置，并基于所述人眼聚焦的深度位置确定目标焦距，且基于所述人眼聚焦的深度位置从所述虚拟图像序列中确定目标虚拟图像；以及

显示模块，用于耦合所述目标虚拟图像和所述真实3D场景图像得到待显示图像，并基于所述目标焦距将所述待显示图像调焦至所述人眼聚焦的深度位置进行显示。

根据本发明的一个实施例，在基于所述目标焦距将所述待显示图像调焦至所述深度位置进行显示之后，所述显示模块，还用于：

获取所述待显示图像的当前显示时长；

若所述当前显示时长大于预设眼动追踪时长，则重新执行所述检测人眼聚焦的深度位置的步骤。

根据本发明的一个实施例，所述获取与生成模块，用于：

确定多个目标深度位置；

基于所述多个目标深度位置，确定每个目标深度位置的对应的虚拟图像；

根据所述每个目标深度位置的对应的虚拟图像生成所述虚拟图像序列。

根据本发明的一个实施例，所述处理模块，用于：

基于所述人眼聚焦的深度位置，从所述虚拟图像序列中匹配得到最佳深度位置；

将所述最佳深度位置对应的虚拟图像作为所述目标虚拟图像。

根据本发明的一个实施例，所述显示模块，用于：

利用预设的光波导对所述目标虚拟图像进行传输，得到耦出后的目标虚拟图像；

叠加所述耦出后的目标虚拟图像和所述真实3D场景图像得到所述待显示图像。

根据本发明实施例的眼动追踪光场3D显示装置，根据真实3D场景图像生成虚拟图像序列，并基于人眼聚焦的深度位置确定目标焦距，且基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像；耦合目标虚拟图像和真实3D场景图像得到待显示图像，并基于目标焦距将待显示图像调焦至人眼聚焦的深度位置进行显示。由此，解决了相关技术对于器件刷新率要求高以及难以同步控制等问题，大大减轻了对于高刷新率显示器件的需求，从而节约了成本，并且操作简单，易于实现。

本发明第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的眼动追踪光场3D显示方法。

本发明第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的眼动追踪光场3D显示方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为基于波导的增强现实系统的结构示意图；

图2为背景技术中辐辏调节矛盾的示意图；

图3为根据本发明实施例提供的一种眼动追踪光场3D显示方法；

图4为根据本发明一个实施例的眼动追踪光场3D显示系统的结构示意图；

图5为根据本发明一个实施例的眼动追踪光场3D显示系统的工作流程图；

图6为根据本发明一个实施例的模拟图立方体的示意图；

图7为根据本发明一个实施例的离焦模糊地示意图；

图8为根据本发明一个实施例的卷积模拟离焦效果生成离焦图立方体的示意图；

图9为根据本发明一个实施例的累积缓冲器渲染法的示意图；

图10为根据本发明一个实施例的基于波导的增强现实系统结构示意图；

图11为根据本发明一个实施例的应用于传统birdbath方案解决VAC问题的装置示意图；

图12为根据本发明一个实施例的应用于车载抬头显示（HUD）的示意图；

图13为根据本发明实施例的眼动追踪光场3D显示装置的方框示意图；

图14为根据本发明实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例的眼动追踪光场3D显示方法、装置、电子设备及存储介质，针对上述背景技术中提到的对于器件刷新率要求高以及难以同步控制等问题，本发明提供了一种眼动追踪光场3D显示方法，在该方法中，根据真实3D场景图像生成虚拟图像序列，并基于人眼聚焦的深度位置确定目标焦距，且基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像；耦合目标虚拟图像和真实3D场景图像得到待显示图像，并基于目标焦距将待显示图像调焦至人眼聚焦的深度位置进行显示。由此，解决了相关技术对于器件刷新率要求高以及难以同步控制等问题，大大减轻了对于高刷新率显示器件的需求，从而节约了成本，并且操作简单，易于实现。

在介绍本发明实施例的眼动追踪光场3D显示方法之前，先介绍一下基于波导的增强现实系统和辐辏调节矛盾。

首先介绍基于波导的增强现实系统，波导是一种增强现实设备的耦合器，其外观类似平板玻璃，是最接近常规眼镜外观的耦合器，在轻薄性方面有着独特的优势。如图1所示，虚拟场景的光线通过耦入光栅偏折一定角度进入波导达到全反射条件，虚拟场景的光线在波导中进行全反射传输到耦出光栅的位置，耦出光栅将光线偏转同样的焦度使其不满足全反射条件从波导中出射。波导可以方便地进行扩瞳来满足不同瞳距用户的需求。可以控制耦出光栅不同区域的衍射效率，使光分批次均匀地耦出，实现扩瞳效果。然而由于光需要在波导内多次全反射并多次耦出，为了使出射光稳定只能容许平面波传输，因此波导传输地虚拟场景位于无穷远处。由于输出图像位于单一深度，当人眼观看近处虚拟物体时，会产生辐辏调节矛盾，产生眩晕感。

其次介绍背景技术中的辐辏调节矛盾，如图2所示，辐辏指的是人眼注视物体时，双眼的视轴会会聚到该物体上，视轴的夹角发生改变；调节指的是人眼晶状体通过肌肉收缩或放松调整人眼焦距使物体刚好成像在视网膜上。当人眼观察真实场景时，辐辏和调节位于同一深度。然而当人眼透过增强现实设备观看虚拟场景时，由于双目视差建立的三维感，人眼需要辐辏到虚拟场景的位置；同时为了看清屏幕上的图像，人眼需要聚焦到屏幕上。这种辐辏和调节不在同一深度的问题被称为辐辏调节矛盾，是长时间使用增强现实设备产生眩晕感的主要原因。

基于上述的辐辏调节矛盾问题，本发明提出了一种眼动追踪光场3D显示方法、装置、电子设备及存储介质，以解决增强现实系统辐辏调节矛盾问题，并降低了器件刷新率的需求，且易于实现。

可以理解的是，人眼通过肌肉收缩和放松将对焦位置从最远调整到最近所需时间约为0.3秒，一些调焦装置在30毫秒内即可将光焦度在最大和最小之间切换。人眼在同一时刻只能对焦同一深度，检测人眼对焦位置并调整显示图像可以达到类似效果。具体来说，在每一帧实时检测人眼的对焦位置，采用计算机将虚拟图像进行分区模糊处理，使人眼聚焦位置的像素清晰，其他位置像素模拟自然离焦效果。将得到的图像进行显示并使用调焦装置将其投射到人眼聚焦的深度位置。如此可以大大节约图像刷新率，提高设备稳定性。

因此本发明的实现需要满足如下条件：

(1)

其中，为眼动追踪一次人眼时间周期，/>为调焦装置相应时间，/>为人眼调焦时间。满足如上条件时，人眼辐辏到某一深度后，在人眼调节人眼焦距到该深度之前，装置即可切换成该深度的模拟图。

本发明模拟图指的是模拟人眼聚焦三维场景某一深度时，该深度上的物体清晰，其他深度物体模糊的景深效果。

具体而言，图3为本发明实施例提供的一种眼动追踪光场3D显示方法的流程示意图。

如图3所示，该眼动追踪光场3D显示方法包括以下步骤：

在步骤S301中，获取真实3D场景图像，并根据真实3D场景图像生成虚拟图像序列。

其中，真实3D场景图像指的是通过3D摄像技术或者其他方式捕捉到的真实世界中的三维场景图像，这些图像可以包括现实生活中的人、物体、环境等。

具体地，本发明实施例可以通过3D相机获取真实3D场景图像，需要说明的是，上述通过3D相机获取真实3D场景图像的方式仅为示例性的，本领域技术人员可以根据实际情况采取其他方式获取真实3D场景图像，为避免冗余，在此不做详细赘述。

进一步地，在一些实施例中，根据真实3D场景图像生成虚拟图像序列，包括：确定多个目标深度位置；基于多个目标深度位置，确定每个目标深度位置的对应的虚拟图像；根据每个目标深度位置的对应的虚拟图像生成虚拟图像序列。

其中，深度位置可以理解为深度层，虚拟图像序列可以理解为模拟图矩阵。

具体而言，有多少个深度位置就需要在每一帧生成多少个对应的虚拟图像，例如，将虚拟3D场景离散成40个深度位置，则需要生成四十张深度位置的虚拟图像，每一张虚拟图像该深度位置的部分是清晰的，其他位置模拟出自然离焦的效果，进而根据每个目标深度位置的对应的虚拟图像生成虚拟图像序列。

在步骤S302中，检测人眼聚焦的深度位置，并基于人眼聚焦的深度位置确定目标焦距，且基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像。

其中，人眼聚焦的深度位置是指人眼对特定距离的物体或者场景进行聚焦时的距离，目标焦距指的是将人眼聚焦深度位置的虚拟图像投射到人眼聚焦的深度位置时所使用的焦距，目标虚拟图像指的是基于人眼聚焦深度位置的虚拟图像。

具体地，人眼聚焦的深度位置会随着观察的物体或者场景的距离变化而调整，通过眼动追踪系统检测人眼聚焦的深度位置，可以获取到人眼在特定时刻所关注的深度位置信息，进而根据深度位置信息可以确定目标焦距，并基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像。

进一步地，在一些实施例中，基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像，包括：基于人眼聚焦的深度位置，从虚拟图像序列中匹配得到最佳深度位置；将最佳深度位置对应的虚拟图像作为目标虚拟图像。

其中，最佳深度位置指的是人眼聚焦的深度位置。

具体地，在眼动追踪系统检测到人眼聚焦的深度位置后，数据处理和显示系统根据检测结果从虚拟图像序列中匹配得到与人眼聚焦的深度位置对应的最佳深度位置，并将最佳深度位置对应的虚拟图像作为目标虚拟图像。

在步骤S303中，耦合目标虚拟图像和真实3D场景图像得到待显示图像，并基于目标焦距将待显示图像调焦至人眼聚焦的深度位置进行显示。

具体地，通过耦合目标虚拟图像和真实3D场景图像，可以将虚拟图像与真实场景进行融合，从而产生更加逼真的显示效果，为用户提供丰富的增强现实体验。进而调焦系统根据目标焦点进行调焦，将待显示图像调整至人眼聚焦的深度位置进行显示。

进一步地，在一些实施例中，耦合目标虚拟图像和真实3D场景图像得到待显示图像，包括：利用预设的光波导对目标虚拟图像进行传输，得到耦出后的目标虚拟图像；叠加耦出后的目标虚拟图像和真实3D场景图像得到待显示图像。

其中，光波导指的是一种将光信号传输到目标位置的技术，通过光的全内反射和折射原理，在光波导中将图像信号传递到目标位置。

具体地，通过使用预设的光波导技术，可以将目标虚拟图像传输到特定的位置，在光波导传输的过程中，光信号会耦合到光波导表面，然后通过反射或折射等方式，达到特定位置的输出端。在输出端处，可以得到经过光波导传输后的目标虚拟图像，即耦出后的目标虚拟图像，进而通过图像叠加的技术将耦出后的目标虚拟图像叠加到真实的3D场景图像上，从而得到待显示图像。

进一步地，在一些实施例中，在基于目标焦距将待显示图像调焦至深度位置进行显示之后，还包括：获取待显示图像的当前显示时长；若当前显示时长大于预设眼动追踪时长，则重新执行检测人眼聚焦的深度位置的步骤。

其中，预设眼动追踪时长可以是本领域技术人员预先设定的眼动追踪时长，可以是通过有限次实验获得的眼动追踪时长，也可以是通过计算机仿真得到的眼动追踪时长，在此不做具体限定。

可选地，获取待显示图像的当前显示时长可以有很多种，本发明实施例可以通过计时器获取待显示图像的当前显示时长，在此不做具体限定。

具体地，在获取待显示图像的当前显示时长之后，判断当前显示时长是否大于预设眼动追踪时长，若待显示图像的当前显示时长超过了预设的眼动追踪时长，则会重新进行人眼聚焦深度位置的检测，通过重新检测人眼聚焦深度的位置，可以相应地调整待显示图像的焦点位置，以实现更加准确地模拟人眼聚焦深度的显示效果。

进一步地，简单介绍下本发明实施例的眼动追踪光场3D显示方法涉及的眼动追踪光场3D显示系统。

具体地，该眼动追踪光场3D显示系统由四个子系统组成，分别是数据处理和显示系统、耦合器系统、调焦系统和眼动追踪系统。其中，眼动追踪系统实时检测人眼聚焦的深度位置，并将得出的监测数据传输给数据处理和显示系统。数据处理和显示系统根据眼动追踪系统的数据计算出人眼注视的深度位置，并根据得出的深度位置调整显示的图像、同时控制调焦系统调整焦距；耦合器系统将数据处理和显示系统显示的图像传输到人眼前，使之与真实场景耦合并传输到人眼；调焦系统根据数据处理和显示系统的指令，将虚拟图像调焦到人眼聚焦的深度位置。

进一步地，该眼动追踪光场3D显示系统的原理如图4所示，装置11、12为数据处理和显示系统，装置21、22为耦合器系统，装置31、32为眼动追踪系统，装置41、42为调焦系统。需要说明的是，图4中的装置位置仅为示例性的，各个系统的实际位置不固定，是可以一定程度上更改的，系统的具体结构在实施例中详细描述。从硬件角度，装置31、32检测人眼聚焦位置，将检测结果传输给装置11、12，装置11、12选择合适的图像进行显示，图像经过装置21、22被传输到人眼前，装置41、42将图像投影到人眼的聚焦深度，由于装置21、22为半反半透装置，可以实现增强现实的效果。

下面对眼动追踪光场3D显示系统中的各系统间配合方式进行说明。在每次循环中眼动追踪系统检测一次人眼聚焦位置，数据处理和显示系统调整一次显示的图像，调焦系统调整一次焦距。因此，眼动追踪系统每秒人眼追踪次数（Eye-Tracking Times PerSecond，ETTPS）、数据处理显示系统每秒显示帧数（Images Per Second，IPS）、调焦系统每秒焦距调节次数（Focus Adjustment Times Per Second，FATPS）和人眼最终感受到的图像帧率（Frames Per Second，FPS）之间满足如下关系：

(2)

由于人眼的视觉暂留现象，在观看快速运动的物体时，在物体消失后人眼仍能够保留1/24秒左右的图像，因此电影的帧率一般为24FPS。对于需要用户频繁交互的显示设备，如手机等，120FPS的显示器会使用户感到更加舒适。游戏场景对于帧率的要求更高，目前144Hz的显示器已得到广泛应用。就近眼显示系统所需的微显示器来说，主流的器件刷新率在30Hz-120Hz之间，刷新率的提高意味着成本的大大提高。一些二值器件如DLP、DMD等，刷新率可以达到上千Hz，但成本较高。如果要求人眼最终感受到的图像帧率为120FPS，本发明只需要选择120Hz的成熟显示器件即可达到要求，极大节约了器件刷新率，易于器件同步并减少了成本。

下面结合图5详细说明眼动追踪光场3D显示系统的工作流程。

如图5所示，该动追踪光场3D显示系统的工作流程包括以下步骤：

S501，开始。

S502，数据处理和显示系统生成虚拟图像序列。

S503，眼动追踪系统检测人眼聚焦位置。

S504，数据处理和显示系统显示该聚焦位置的模拟图。

S505，调焦系统将虚拟图像投射到人眼聚焦的深度位置。

S506，判断是否结束，如果是，则执行S507，否则，执行S503。

S507，结束。

为了便于本领域技术人员更清晰直观地了解本发明实施例的眼动追踪光场3D显示方法，下面结合具体实施例进行详细说明。

作为本发明的第一个实施例，如图6所示，图6展示了本实施例所需的模拟图立方体，对于一帧3D虚拟场景，将深度离散成N个区间，对N张图模拟人眼景深进行离焦模糊处理，最终生成N张离焦模糊图，组成一个模拟图立方体。

例如，一个3D虚拟场景中有九个物体，分别是1-9的数字，分别对应从前到后深度1到深度9的9个深度位置上。为了模拟离焦模糊的效果，按照不同物体距目标深度的距离远近设置模糊程度，离焦越远越模糊，离焦越近越清晰。对9个深度位置分别进行图像处理，得到9张离焦图。9张离焦图组成一帧模拟图立方体。

本实施例中的模拟图是指模拟人眼在观看真实场景聚焦在某一深度时，聚焦深度的物体清晰，其他深度的物体模糊的效果。如图7所示，物体A、B是两个位于不同深度的点物，当人眼聚焦在点物A时，A的像A’恰好位于视网膜上。而点物B则成像于视网膜前，在视网膜上形成一个弥散圆。对于人眼模型，晶状体到视网膜的距离是恒定的，即A的像距v恒定。根据高斯公式，点物A的物距、像距/>、人眼焦距/>之间满足以下关系：

(3)

点物B的物距、像距/>、人眼焦距/>之间满足以下关系：

(4)

因此，点物B的弥散圆直径，人眼光圈直径/>间有如下关系：

(5)

对于确定的聚焦深度，即确定时，可以通过上述公式求得各深度位置点物的弥散圆直径，由此生成模拟图。

进一步地，生成模拟图的方法有很多，在此不做具体限定。示例性地，可以采用以下方式生成模拟图立方体：

方法1：采用卷积模拟离焦效果生成离焦图立方体。

具体地，如图8所示，首先通过计算机渲染输出一个3D场景的强度图和深度图，然后通过深度图生成各个深度区间的深度掩膜，得到N个深度区间的深度掩膜。用强度图分别点乘N个深度掩膜分离出N个深度的像素。然后分别卷积点扩散函数等模糊函数得到离焦效果。最后将各深度的离焦效果求和得到离焦图。对不同的N个聚焦深度，重复上述过程N次得到这一帧3D场景的模拟图立方体。

方法2：采用累积缓冲器渲染法，通过摄相机阵列获得重聚焦图像。

具体地，如图9所示，首先通过虚拟相机的移动多次拍摄某一聚焦位置，然后将所有视角得到的图像取平均值得到离焦模拟图。对于N个聚焦深度，重复上述过程N次得到N张离焦模拟图像，组成一帧模拟图立方体。

方法3：光场相机渲染法生成模拟图立方体。

具体地，可以通过光场相机的原理对光场信息进行采集，并通过重聚焦算法得到各个深度的离焦模拟图组成模拟图立方体。

作为本发明的第二个实施例，如图10所示，图10展示了一种本发明的眼动追踪光场3D显示方法基于波导的增强现实近眼显示系统的实施例。整个系统呈对称分布，左右结构相同，下面仅对左眼系统进行说明。数据处理和显示系统111，包含总控制器1111、光源1112、显示面板1113和中继光学系统1114。装置211为波导。

真实场景光线的补偿装置411和虚拟图像的调焦装置412共同组成调焦系统。光源1112、显示面板1113、显示面板311、真实场景光线的补偿装置411、虚拟图像的调焦装置412与总控制器1111相连，共同由总控制器1111发出的信号控制。

真实场景光线的补偿装置411和虚拟图像的调焦装置412是两个调焦器件，虚拟场景的光线从波导耦出后只经过虚拟图像的调焦装置412，虚拟图像的调焦装置412通过变焦将虚拟图像投射到指定的空间深度位置。真实场景的光线经过真实场景光线的补偿装置411和虚拟图像的调焦装置412，为了抵消虚拟图像的调焦装置412对真实场景光线的调焦作用，在波导的另一侧放置真实场景光线的补偿装置411进行光焦度补偿。真实场景光线的补偿装置411光焦度为正值，虚拟图像的调焦装置412的光焦度为负值。

根据几何光学，虚拟图像的调焦装置412的焦距，真实场景光线的补偿装置411的焦距/>，真实场景光线的补偿装置411与虚拟图像的调焦装置412间的光程/>应满足如下关系：

(6)

用表示光焦度，/>，则：

(7)

(8)

真实场景光线的补偿装置411和虚拟图像的调焦装置412为调焦装置，包括但不限于液体透镜、液晶透镜等器件。目前液体透镜响应时间已达到30ms左右。如EL-16-40-TC液体透镜产品，在-10D（光焦度）~+10D间切换仅需5ms响应时间+25ms调制时间，总计30ms。远超人眼的光焦度变化范围和调节速度（0D~-4D调制需要300ms），满足公式（1）要求。也可选用液晶透镜对光焦度进行调制。

作为本发明的第三个实施例，如图11所示，图11展示了一种本发明的眼动追踪光场3D显示方法应用于传统birdbath方案解决VAC问题的装置，以此表明本发明可以方便地集成于一般的增强现实系统。

具体地，数据处理和显示系统113，包含总控制器1131，图像显示器件1132。首先提前生成如本发明的第一个实施例所述模拟图立方体，然后眼动追踪系统313检测人眼聚焦位置传输给总控制器1131，总控制器1131根据检测结果控制图像显示器件1132选择聚焦深度的模拟图显示，同时控制调焦系统413将图像调制到聚焦深度处。

作为本发明的第四个实施例，如图12所示，图12展示了一种本发明应用于车载抬头显示（HUD）的实例。

具体地，如图12所示，本方案可以提供解决VAC矛盾缓解视疲劳的增强现实效果。数据处理与图像显示系统112，包含显示模组1121、变焦模组1122和中继光学系统1123。装置212为半反半透装置，可以继承在前挡风玻璃上，亦可独放置于驾驶员视线前方。装置312为眼动追踪系统。图中真实场景用实线表示，虚拟图像用虚线表示。

与上述方法类似地，本发明应用于HUD系统可以解决VAC，不会产生视疲劳。首先提前生成第一个实施例所述模拟图立方体。进入循环后，眼动追踪系统312检测人眼的聚焦深度，传输给数据处理与图像显示系统112，数据处理与图像显示系统112根据人眼聚焦位置选择离焦模拟图使显示模组1121显示，并控制变焦模组1122调整光焦度投影到指定深度处，然后进入下一帧循环。

由此，本发明实施例的眼动追踪光场3D显示方法能够在解决增强现实的VAC问题的同时，方便地集成于现有增强现实近眼显示系统和车载或机载增强现实抬头显示系统。

根据本发明实施例的眼动追踪光场3D显示方法，根据真实3D场景图像生成虚拟图像序列，并基于人眼聚焦的深度位置确定目标焦距，且基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像；耦合目标虚拟图像和真实3D场景图像得到待显示图像，并基于目标焦距将待显示图像调焦至人眼聚焦的深度位置进行显示。由此，解决了相关技术对于器件刷新率要求高以及难以同步控制等问题，大大减轻了对于高刷新率显示器件的需求，从而节约了成本，并且操作简单，易于实现。

其次参照附图描述根据本发明实施例提出的眼动追踪光场3D显示装置。

图13是本发明实施例的眼动追踪光场3D显示装置的方框示意图。

如图13所示，该眼动追踪光场3D显示装置10包括： 获取与生成模块100、处理模块200和显示模块300。

其中，获取与生成模块100用于获取真实3D场景图像，并根据真实3D场景图像生成虚拟图像序列；处理模块200用于检测人眼聚焦的深度位置，并基于人眼聚焦的深度位置确定目标焦距，且基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像；显示模块300用于耦合目标虚拟图像和真实3D场景图像得到待显示图像，并基于目标焦距将待显示图像调焦至人眼聚焦的深度位置进行显示。

进一步地，在一些实施例中，在基于目标焦距将待显示图像调焦至深度位置进行显示之后，显示模块300，还用于：获取待显示图像的当前显示时长；若当前显示时长大于预设眼动追踪时长，则重新执行检测人眼聚焦的深度位置的步骤。

进一步地，在一些实施例中，获取与生成模块100，用于：确定多个目标深度位置；基于多个目标深度位置，确定每个目标深度位置的对应的虚拟图像；根据每个目标深度位置的对应的虚拟图像生成虚拟图像序列。

进一步地，在一些实施例中，处理模块200，用于：基于人眼聚焦的深度位置，从虚拟图像序列中匹配得到最佳深度位置；将最佳深度位置对应的虚拟图像作为目标虚拟图像。

进一步地，在一些实施例中，显示模块300，用于：利用预设的光波导对目标虚拟图像进行传输，得到耦出后的目标虚拟图像；叠加耦出后的目标虚拟图像和真实3D场景图像得到待显示图像。

需要说明的是，前述对眼动追踪光场3D显示方法实施例的解释说明也适用于该实施例的眼动追踪光场3D显示装置，此处不再赘述。

根据本发明实施例的眼动追踪光场3D显示装置，根据真实3D场景图像生成虚拟图像序列，并基于人眼聚焦的深度位置确定目标焦距，且基于人眼聚焦的深度位置从虚拟图像序列中确定目标虚拟图像；耦合目标虚拟图像和真实3D场景图像得到待显示图像，并基于目标焦距将待显示图像调焦至人眼聚焦的深度位置进行显示。由此，解决了相关技术对于器件刷新率要求高以及难以同步控制等问题，大大减轻了对于高刷新率显示器件的需求，从而节约了成本，并且操作简单，易于实现。

图14为本发明实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器1401、处理器1402及存储在存储器1401上并可在处理器1402上运行的计算机程序。

处理器1402执行程序时实现上述实施例中提供的眼动追踪光场3D显示方法。

进一步地，电子设备还包括：

通信接口1403，用于存储器1401和处理器1402之间的通信。

存储器1401，用于存放可在处理器1402上运行的计算机程序。

存储器1401可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

如果存储器1401、处理器1402和通信接口1403独立实现，则通信接口1403、存储器1401和处理器1402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponent，简称为PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器1401、处理器1402及通信接口1403，集成在一块芯片上实现，则存储器1401、处理器1402及通信接口1403可以通过内部接口完成相互间的通信。

处理器1402可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的眼动追踪光场3D显示方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种眼动追踪光场3D显示方法，其特征在于，包括以下步骤：

获取真实3D场景图像，并根据所述真实3D场景图像生成虚拟图像序列；

检测人眼聚焦的深度位置，并基于所述人眼聚焦的深度位置确定目标焦距，且基于所述人眼聚焦的深度位置从所述虚拟图像序列中确定目标虚拟图像；以及

耦合所述目标虚拟图像和所述真实3D场景图像得到待显示图像，并基于所述目标焦距将所述待显示图像调焦至所述人眼聚焦的深度位置进行显示。

2.根据权利要求1所述的眼动追踪光场3D显示方法，其特征在于，在基于所述目标焦距将所述待显示图像调焦至所述深度位置进行显示之后，还包括：

获取所述待显示图像的当前显示时长；

若所述当前显示时长大于预设眼动追踪时长，则重新执行所述检测人眼聚焦的深度位置的步骤。

3.根据权利要求1所述的眼动追踪光场3D显示方法，其特征在于，所述根据所述真实3D场景图像生成虚拟图像序列，包括：

确定多个目标深度位置；

基于所述多个目标深度位置，确定每个目标深度位置的对应的虚拟图像；

根据所述每个目标深度位置的对应的虚拟图像生成所述虚拟图像序列。

4.根据权利要求3所述的眼动追踪光场3D显示方法，其特征在于，所述基于所述人眼聚焦的深度位置从所述虚拟图像序列中确定目标虚拟图像，包括：

基于所述人眼聚焦的深度位置，从所述虚拟图像序列中匹配得到最佳深度位置；

将所述最佳深度位置对应的虚拟图像作为所述目标虚拟图像。

5.根据权利要求1所述的眼动追踪光场3D显示方法，其特征在于，所述耦合所述目标虚拟图像和所述真实3D场景图像得到待显示图像，包括：

利用预设的光波导对所述目标虚拟图像进行传输，得到耦出后的目标虚拟图像；

叠加所述耦出后的目标虚拟图像和所述真实3D场景图像得到所述待显示图像。

6.一种眼动追踪光场3D显示装置，其特征在于，包括：

获取与生成模块，用于获取真实3D场景图像，并根据所述真实3D场景图像生成虚拟图像序列；

处理模块，用于检测人眼聚焦的深度位置，并基于所述人眼聚焦的深度位置确定目标焦距，且基于所述人眼聚焦的深度位置从所述虚拟图像序列中确定目标虚拟图像；以及

显示模块，用于耦合所述目标虚拟图像和所述真实3D场景图像得到待显示图像，并基于所述目标焦距将所述待显示图像调焦至所述人眼聚焦的深度位置进行显示。

7.根据权利要求6所述的眼动追踪光场3D显示装置，其特征在于，在基于所述目标焦距将所述待显示图像调焦至所述深度位置进行显示之后，所述显示模块，还用于：

获取所述待显示图像的当前显示时长；

若所述当前显示时长大于预设眼动追踪时长，则重新执行所述检测人眼聚焦的深度位置的步骤。

8.根据权利要求6所述的眼动追踪光场3D显示装置，其特征在于，所述获取与生成模块，用于：

确定多个目标深度位置；

基于所述多个目标深度位置，确定每个目标深度位置的对应的虚拟图像；

根据所述每个目标深度位置的对应的虚拟图像生成所述虚拟图像序列。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的眼动追踪光场3D显示方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的眼动追踪光场3D显示方法。