CN106773090A - 一种新型三维悬浮显示系统及实时光场渲染方法 - Google Patents

Abstract

本发明提供本申请提出一种新型三维悬浮显示系统及实时光场渲染方法，与传统的光场成像技术相比，实现了远距离的悬浮显示，其成像中心在整个显示器外部，而且像与观察者之间没有任何遮挡物。另外，该方案通过多个三维图像投影源来提高其显示图像的光场密度，提出对应的渲染算法实现实时性的渲染。

Description

一种新型三维悬浮显示系统及实时光场渲染方法

技术领域

本发明涉及三维显示技术领域，更具体地，涉及一种新型三维悬浮显示系统及实时光场渲染方法。

背景技术

目前，传统的裸眼三维显示技术能够提供可以直接观察、具有立体视察、能够多人观看的显示方案。但是这种显示方法将图像局限在显示器内部(对体积显示)或显示器附近(对集成成像、全息显示及光场显示)。由于受到显示器硬件的显示，对于目前的裸眼显示技术，无法显示离显示器过远的三维图像。这种三维图像对显示器硬件的依赖性导致三维交互能力的局限性。特别是在AR/VR领域，基于裸眼显示的方案中观察者难以直接在图像显示的位置接触或操作虚拟图像。该问题限制了裸眼三维显示技术在AR/VR领域的应用。

空间悬浮显示技术，指的是不依赖于投影屏幕或介质而将图像悬浮在空中的技术，并且在观察者和显示图像之间没有其他介质。为克服裸眼三维显示中图像被显示器局限的问题，研究者们针对目前的裸眼显示技术提出多种实现空间悬浮显示的方式。目前已经公开报道的主要有4种：利用两个对称的反射面具有光线汇聚能力的反射镜实现悬浮显示；日本研究者利用圆锥形的定向反射膜与多个激光投影仪实现悬浮显示；浙江大学利用旋转机构、定向散射屏和高速投影仪实现悬浮显示；韩国研究者利用集成成像和凸透镜实现空间上的悬浮显示。这些显示方式各有优缺点，如两个反射面具有光线汇聚能力的反射镜的悬浮距离有限，日本和浙江大学研究者实现的三维显示器显示精度有限并且无法在空间中精确成像，韩国研究者的显示器图像质量并不理想且存在空间聚焦的问题。

由上可知，传统的裸眼三维显示并不能够提供合适的AR/VR交互方案。新型悬浮显示技术则可能在未来满足该技术要求，但是目前尚无一种高质量、具有准确空间成像能力的裸眼三维悬浮显示方案能够满足AR/VR的交互需求。

发明内容

本发明为克服上述问题或者至少部分地解决上述问题，提供一种新型三维悬浮显示系统及实时光场渲染方法。

根据本发明的一个方面，提供一种新型三维悬浮显示系统，包括：三维图像投影源、反射面具有光线汇聚能力的半透半反镜和反射面具有光线汇聚能力的反射镜；

所述三维图像投影源为至少一个，位于所述反射面具有光线汇聚能力的半透半反镜侧面，用于产生待显示三维影像的光线并将所述光线发射到所述反射面具有光线汇聚能力的半透半反镜的侧面上；

所述反射面具有光线汇聚能力的半透半反镜顶点朝所述反射面具有光线汇聚能力的反射镜的凹面放置，用于利用其侧面将所述三维图像投影源发射来的光线反射到所述反射面具有光线汇聚能力的反射镜上，利用其侧面接收所述反射面具有光线汇聚能力的反射镜反射来的光线，将所述光线投射在其底面上方，从而形成所述待显示三维影像；

所述反射面具有光线汇聚能力的反射镜位于所述反射面具有光线汇聚能力的半透半反镜顶点朝向的一侧，用于接收所述反射面具有光线汇聚能力的半透半反镜侧面反射来的光线，将所述光线反射给所述反射面具有光线汇聚能力的半透半反镜的侧面；

所述反射面具有光线汇聚能力的半透半反镜和反射面具有光线汇聚能力的反射镜为有中轴线的旋转体。

根据本发明的一个方面，提供一种实时光场渲染方法，包括：步骤1，利用光线追迹法确定三维图像投影源发射的光线经反射面具有光线汇聚能力的半透半反镜和反射面具有光线汇聚能力的反射镜两次反射后的出射光场；

步骤2，基于所述出射光场对待显示三维影像进行实时渲染。

本申请提出一种新型三维悬浮显示方法及系统，其中系统包括三维图像投影源、反射面具有光线汇聚能力的半透半反镜和反射面具有光线汇聚能力的反射镜；所述三维图像投影源为至少一个，位于所述反射面具有光线汇聚能力的半透半反镜侧面，用于产生待显示三维影像的光线并将所述光线发射到所述反射面具有光线汇聚能力的半透半反镜的侧面上；所述反射面具有光线汇聚能力的半透半反镜顶点朝所述反射面具有光线汇聚能力的反射镜的凹面放置，用于利用其侧面将所述三维图像投影源发射来的光线反射到所述反射面具有光线汇聚能力的反射镜上，利用其侧面接收所述反射面具有光线汇聚能力的反射镜反射来的光线，将所述光线投射在其底面上方，从而形成所述待显示三维影像；所述反射面具有光线汇聚能力的反射镜位于所述反射面具有光线汇聚能力的半透半反镜顶点朝向的一侧，用于接收所述反射面具有光线汇聚能力的半透半反镜侧面反射来的光线，将所述光线反射给所述反射面具有光线汇聚能力的半透半反镜的侧面。本发明技术方案实现了远距离的悬浮显示，其成像中心在整个显示器外部，而且像与观察者之间没有任何遮挡物。另外，该方案通过多个三维图像投影源来提高其显示图像的光场密度，提出对应的渲染算法实现实时性的渲染。

附图说明

图1为根据本发明实施例一种新型三维悬浮显示系统的整体框架示意图；

图2为根据本发明实施例一种新型三维悬浮显示系统的框架示意图；

图3为根据本发明实施例一种新型三维悬浮显示系统的框架示意图；

图4为根据本发明实施例一种新型三维悬浮显示系统中光学隔板的结构示意图；

图5为根据本发明实施例一种新型三维悬浮显示系统中，当多个三维图像投影源在本显示系统中整合的示意图；

图6为根据本发明实施例一种新型三维悬浮显示系统中，利用环形三维投影源在本显示系统中整合的示意图；

图7为根据本发明实施例一种实时光场渲染方法的整体流程示意图；

图8为根据本发明实施例一种实时光场渲染方法中光场变换方法的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的目的在于提出一种具有高成像质量、准确空间定位能力、实时渲染、不需要借助于投影介质可以直接悬浮在空中的裸眼三维影像。

如图1，在本发明一个具体实施例中，示出一种新型三维悬浮显示系统整体框架示意图。总体上，包括三维图像投影源A1、反射面具有光线汇聚能力的半透半反镜A2和反射面具有光线汇聚能力的反射镜A3；所述三维图像投影源A1为至少一个，位于所述反射面具有光线汇聚能力的半透半反镜A2侧面，用于产生待显示三维影像的光线并将所述光线发射到所述反射面具有光线汇聚能力的半透半反镜A2的侧面上；所述反射面具有光线汇聚能力的半透半反镜A2顶点朝所述反射面具有光线汇聚能力的反射镜A3的凹面放置，用于利用其侧面将所述三维图像投影源A1发射来的光线反射到所述反射面具有光线汇聚能力的反射镜A3上，利用其侧面接收所述反射面具有光线汇聚能力的反射镜A3反射来的光线，将所述光线投射在其底面上方，从而形成所述待显示三维影像；所述反射面具有光线汇聚能力的反射镜A3位于所述反射面具有光线汇聚能力的半透半反镜A2顶点朝向的一侧，用于接收所述反射面具有光线汇聚能力的半透半反镜A2侧面反射来的光线，将所述光线反射给所述反射面具有光线汇聚能力的半透半反镜A2的侧面；

所述反射面具有光线汇聚能力的半透半反镜和反射面具有光线汇聚能力的反射镜为有中轴线的旋转体。

在本具体实施例中，如图1所示，所述反射面具有光线汇聚能力的半透半反镜采用圆锥体半透半反镜来实现；本发明具体实施例中反射面具有光线汇聚能力的反射镜采用半圆形反射镜来实现。

本发明具体实施例中的反射面具有光线汇聚能力的半透半反镜A2还能够如图2所示替换成为A21所示凹面半透半反镜；本发明具体实施例中的反射面具有光线汇聚能力的反射镜A3还能够如图3所示替换为A31所示圆锥体反射镜。

在本发明另一个具体实施例中，一种新型三维悬浮显示系统，所述三维图像投影源能够为：光场显示器、集成成像显示器和/或柱状光栅显示器。

在本发明另一个具体实施例中，一种新型三维悬浮显示系统，能够通过增加所述三维图像投影源的数量来提高所述待显示三维影像的光场密度。

在本发明另一个具体实施例中，一种新型三维悬浮显示系统，所述反射面具有光线汇聚能力的半透半反镜面允许光线从外侧反射和透射，从圆锥体内侧射出的光线会被反射或吸收。

在本发明另一个具体实施例中，一种新型三维悬浮显示系统，所述反射面具有光线汇聚能力的半透半反镜面入射率和反射率为1：1。

在本发明另一个具体实施例中，一种新型三维悬浮显示系统，所述圆锥半透半反镜的底面直径小于所述反射面具有光线汇聚能力的反射镜外径；所述圆锥半透半反镜顶点到其底面的垂直距离小于所述反射面具有光线汇聚能力的反射镜焦距；所述圆锥半透半反镜顶点到其底面的垂线中点位置在距离反射面具有光线汇聚能力的反射镜中心高度一倍焦距以上；所述圆锥半透半反镜截面底角大于45°。

在本发明另一个具体实施例中，一种新型三维悬浮显示系统，所述三维图像投影源高度小于所述圆锥半透半反镜的高度，宽度所述圆锥半透半反镜的底面直径。

在本发明另一个具体实施例中，一种新型三维悬浮显示系统，当所述三维图像投影源为集成成像显示器时，所述系统还包括光学隔板：所述光学隔板的纵向方向保持均匀间隔，横向方向按照光场汇聚重新排布间隔，横向方向在圆锥中心与显示器平行位置设置汇聚线，按照汇聚线向各个微透镜阵列中心的连线确定隔板排布。

在本发明另一个具体实施例中，一种新型三维悬浮显示系统，所述汇聚线的宽度为：

其中，L_covergence为汇聚线宽度，P_lens为所述集成成像显示器中微透镜间隔，Gap为所述集成成像显示器中微透镜阵列和显示器的间隔，D_cone为所述圆锥半透半反镜顶点到其底面的垂线中点位置与显示器的距离。

在本发明又一个具体实施例中，一种新型三维悬浮显示系统，具体包括以下结构：三维图像投影源、反射面具有光线汇聚能力的反射镜、反射面具有光线汇聚能力的半透半反镜。其中，三维图像投影源位于整个装置的一侧，反射面具有光线汇聚能力的反射镜位于整个装置的底部，圆锥形半透半反镜位于反射面具有光线汇聚能力的反射镜的上方，显示的悬浮图像位于圆锥形半透半反镜的上方。

能够使用光场显示器、集成成像显示器和柱状光栅显示器作为三维图像投影源。当使用光场显示器和集成成像显示器作为三维图像投影源时，可以在空间中投影出具有准确空间位置的悬浮三维图像。当使用柱状光栅显示器作为三维图像投影源时，投影出的三维悬浮图像具有更高的空间分辨率，但是所处的空间位置随着观察者的移动而改变。

反射面具有光线汇聚能力的半透半反镜最佳入射率和反射率比是1：1，并且需要在表面镀上一层特殊的光学涂层，当光线从外侧入射时，可以实现镜面反射，当光线从圆锥体内侧入射时，被吸收或被漫反射。

在最优光学设计下，圆锥半透半反镜的底面直径应小于反射面具有光线汇聚能力的反射镜外径，圆锥高度不应该超过反射面具有光线汇聚能力的反射镜焦距，圆锥中心位置应当在距离反射面具有光线汇聚能力的反射镜中心高度一倍焦距以上，圆锥截面底角应当大于45°。三维图像投影源不应当超过圆锥体的高度，宽度不应该超过圆锥底面直径。

当利用集成成像显示装置作为三维图像投影源时，需要设计适配的光学隔板，将光场汇聚于圆锥附近。隔板的设计如图4所示。具体方法是隔板的纵向方向保持均匀间隔，横向方向按照光场汇聚重新排布间隔。横向方向在圆锥中心与显示器平行位置设置汇聚线，其宽度可以通过公式计算：

其中，L_covergence表示汇聚线宽度，P_lens表示微透镜间隔，Gap表示微透镜阵列和显示器的间隔，D_cone圆锥中心与显示器的距离。按照汇聚线向各个微透镜阵列中心的连线确定隔板排布。

利用该光学结构可以实现多个三维图像投影源的整合。如图5所示，将所有屏幕置于统一高度，面向圆锥中心，按照一定角度均匀排布。每个显示屏提供一部分光场，通过多个显示屏同步显示的方式可以实现光场数据的增加。光场数据增加的倍数与屏幕个数相同。或者如图6所示，采用图中最外圈环形三维显示屏。

如图7，本发明一个具体实施例中，示出一种实时光场渲染方法整体流程示意图。总体来说，包括：步骤1，利用光线追迹法确定三维图像投影源发射的光线经反射面具有光线汇聚能力的半透半反镜和反射面具有光线汇聚能力的反射镜两次反射后的出射光场；步骤2，基于所述出射光场对待显示三维影像进行实时渲染。

在本发明又一个具体实施例中，提出一种与本发明系统相适应的实时光场渲染方法。其基本思想是利用光线追迹法确定从显示器出射的原光场经过圆锥体和反射面具有光线汇聚能力的反射镜两次反射后的出射光场，该光场为我们渲染用的光场。在预计的悬浮图像渲染位置设置两个光场成像面，在光场成像面上建立坐标系记录出射光场。由于硬件参数已知，我们可以在渲染前先计算出射光场，得到出射光场和显示器像素之间的一一对应关系。然后根据已知三维图像与在整个显示系统中的位置并将出射光场作为已知光场对三维显示数据进行实时计算。由已知光场对三维数据进行实时渲染为本领域已知的方法，这里不再赘述。

如图8所示，以圆锥中心为原点构造右手坐标系，x轴水平向右，假设显示器中心点正好穿过x轴。记原光场的单位向量表示v，第一次反射的光场向量表示v_r1，第二次反射光场向量v_r2，该向量即出射光场。

当硬件参数确定时，通过建立原光场方程和圆锥方程计算交汇点。由交汇点计算圆锥面与光线的交汇点法线单位向量n₁，原光场在圆锥半透半反镜上第一次反射的计算可以表示为：v_r1＝v-2(v·n₁)n₁。

由第一次反射光线可以计算光线和反射面具有光线汇聚能力的反射镜的交汇点。由交汇点确定反射面具有光线汇聚能力的反射镜与光线的交汇点法线单位向量n₂，原光场在反射面具有光线汇聚能力的反射镜上第二次反射的计算可以表示为：v_r2＝v_r1-2(v_r1·n₂)n₂。

由此我们可以获得最终的出射光场，由出射光场可以直接对给定的三维数据进行实时渲染。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种新型三维悬浮显示系统，其特征在于，包括：三维图像投影源、反射面具有光线汇聚能力的半透半反镜和反射面具有光线汇聚能力的反射镜；

所述三维图像投影源为至少一个，位于所述反射面具有光线汇聚能力的半透半反镜侧面，用于产生待显示三维影像的光线并将所述光线发射到所述反射面具有光线汇聚能力的半透半反镜的侧面上；

所述反射面具有光线汇聚能力的半透半反镜顶点朝所述反射面具有光线汇聚能力的反射镜的凹面放置，用于利用其侧面将所述三维图像投影源发射来的光线反射到所述反射面具有光线汇聚能力的反射镜上，利用其侧面接收所述反射面具有光线汇聚能力的反射镜反射来的光线，将所述光线投射在其底面上方，从而形成所述待显示三维影像；

所述反射面具有光线汇聚能力的反射镜位于所述反射面具有光线汇聚能力的半透半反镜顶点朝向的一侧，用于接收所述反射面具有光线汇聚能力的半透半反镜侧面反射来的光线，将所述光线反射给所述反射面具有光线汇聚能力的半透半反镜的侧面；

所述反射面具有光线汇聚能力的半透半反镜和反射面具有光线汇聚能力的反射镜为有中轴线的旋转体。

2.如权利要求1所述的系统，其特征在于，所述三维图像投影源能够为：光场显示器、集成成像显示器和/或柱状光栅显示器。

3.如权利要求1所述的系统，其特征在于，能够通过增加所述三维图像投影源的数量来提高所述待显示三维影像的光场密度。

4.如权利要求1所述的系统，其特征在于，所述反射面具有光线汇聚能力的半透半反镜面允许光线从外侧反射和透射，从圆锥体内侧射出的光线会被反射或吸收。

5.如权利要求1所述的系统，其特征在于，所述反射面具有光线汇聚能力的半透半反镜面入射率和反射率为1：1。

6.如权利要求1所述的系统，其特征在于，所述圆锥半透半反镜的底面直径小于所述反射面具有光线汇聚能力的反射镜外径；所述圆锥半透半反镜顶点到其底面的垂直距离小于所述反射面具有光线汇聚能力的反射镜焦距；所述圆锥半透半反镜顶点到其底面的垂线中点位置在距离反射面具有光线汇聚能力的反射镜中心高度一倍焦距以上；所述圆锥半透半反镜截面底角大于45°。

7.如权利要求1所述的系统，其特征在于，所述三维图像投影源高度小于所述圆锥半透半反镜的高度，宽度所述圆锥半透半反镜的底面直径。

8.如权利要求2所述的系统，其特征在于，当所述三维图像投影源为集成成像显示器时，所述系统还包括光学隔板：所述光学隔板的纵向方向保持均匀间隔，横向方向按照光场汇聚重新排布间隔，横向方向在圆锥中心与显示器平行位置设置汇聚线，按照汇聚线向各个微透镜阵列中心的连线确定隔板排布。

9.如权利要求8所述的系统，其特征在于，所述汇聚线的宽度为：

$L_{\mathrm{cov}ergence}=\frac{P_{lens}}{Gap}{D}_{cone},$

其中，L_covergence为汇聚线宽度，P_lens为所述集成成像显示器中微透镜间隔，Gap为所述集成成像显示器中微透镜阵列和显示器的间隔，D_cone为所述圆锥半透半反镜顶点到其底面的垂线中点位置与显示器的距离。

10.一种实时光场渲染方法，其特征在于，包括以下步骤：

步骤1，利用光线追迹法确定三维图像投影源发射的光线经反射面具有光线汇聚能力的半透半反镜和反射面具有光线汇聚能力的反射镜两次反射后的出射光场；

步骤2，基于所述出射光场对待显示三维影像进行实时渲染。