CN112866676B - 一种基于单像素多视点重建的裸眼三维显示算法 - Google Patents

Abstract

本发明公开一种基于单像素多视点重建的裸眼三维显示方法，首先获取一系列包含物体信息的视点图，并将获取到的视点图按照像素组合成单像素对应的子图像。在显示端使用多层屏幕平行排列的方式，将多层屏幕上的多个相邻像素组合在一起，形成单像素，这些多层屏幕像素的亮度和色彩在多个角度上相互重叠，使得其在不同角度上重建出的亮度和色彩信息与子图像对应角度方向的图像信息相一致。

Description

一种基于单像素多视点重建的裸眼三维显示算法

技术领域

本发明涉及裸眼三维显示方法，特别涉及基于单像素重建的裸眼三维显示算法。

背景技术

目前的三维显示技术主要都是通过运用双目视差与视觉暂留效应使人眼获得三维图像。然而这些显示技术将物体显示在二维平面上单眼调节所感知到的物体的位置在显示屏上，而通过双目会聚聚焦的物体的位置则在空间中的三维物体，这样就会造成聚焦辐辏调节冲突。

多层显示就是利用多个显示平面来重建所要显示的三维物体。多层显示的景深超过传统的多视点立体显示,观看者会明显感受到物体悬浮于显示板之外.近眼观看时,立体图像的分辨率高,显示亮度接近集成成像.另外,通过增加显示层数,可以显著降低聚焦辐辏调节冲突。

但是，之前类如Gordon Wetzstein等人提出的多层光场显示还存在着各种问题，制约着其进一步发展和应用。主要有如下表现:

1.光场数据量大。由于光场包含了空间中任意一点所有方向的光线信息，所有不管是在维度上还是数量上都是非常巨大的。而目前的计算机硬件不能满足重建出所有方向上的光场信息的要求。

2.显示层数与显示效果的冲突。在过往的光场三维显示中，如果想更好的显示三维立体效果，就需要更多的显示平面来增加景深。而如果增加层数之后，不可避免地显示亮度与对比度会有比较明显的下降。

3.重建视场角小。在过往的光场显示中由于重建的方法只针对一个视点进行优化，能够提供的可做比较的原始正确视角信息少，且传统多层显示可承受负载有限，所以会导致视场角小、串扰大等问题。

发明内容

技术问题：本发明旨在提出一种基于单像素多视点重建的裸眼三维显示算法，利用算法实现由多层显示屏组成的显示端重建单像素的多视点图像，以此实现裸眼三维显示的目的。使用多像素组合去重建单像素多视点图像，可以提升多层裸眼三维显示的视角局限性问题，重建更正确的自然三维影像，最终可实现实时重建大角度、准确的裸眼三维显示。

技术方案：本发明的一种基于单像素多视点重建的裸眼三维显示方法包括以下步骤：

步骤1：首先获取一系列包含物体信息的视点图，并将获取到的视点图按照像素组合成单像素对应的子图像；

步骤2：在显示端使用多层屏幕平行排列的方式，将多层屏幕上的多个相邻像素组合在一起，形成单像素，这些多层屏幕像素的亮度和色彩在多个角度上相互重叠，使得其在不同角度上重建出的亮度和色彩信息与子图像对应角度方向的图像信息相一致。

其中，

步骤1所述的获取视点图的方法是采用光场相机直接拍摄，或是使用现成的计算机软件仿真，或是2d+depth算法。

步骤2所述多个相邻像素的像素数量是固定值，或是根据所处位置的depth信息变化，当像素所处的depth位置位于屏幕上时，采用单个像素来显示，从不同角度观看到相同的信息，当depth位置逐步远离屏幕时，相应的增加相邻像素的个数，满足从不同角度观看到不同的视场信息。

步骤2所述使用多层显示屏幕的具体方法是：在3d显示模式时，通过将2d图像信息显示在某一层屏幕上，其他层屏幕设置成透明，来切换成2d显示模式；在2d显示模式时，通过将计算得到的多层图像数据全部加载到多层显示屏幕产生裸眼三维显示效果，从而切换成3d显示模式。

步骤2所述的相邻像素的亮度和色彩信息非负张量分解算法，或是机器学习算法获取。

步骤2所述的在显示端使用多层屏幕平行排列的方式，其中的多层显示屏是LCD，OLED，microLED多种显示方法。

步骤2所述的在显示端使用多层屏幕平行排列的方式，具体方法为：

在显示端以相同的间隔d平行排列n层屏幕，并同时建立x-z坐标系，将最后一层屏幕作为z轴的起始点，将最后一层屏幕的左像素起始点作为x轴的起始点；当从背光层发出的光线经过前n-1层屏幕，由于经过角度不同，导致进入左右眼的图像不同，遂可以产生裸眼三维显示效果。

有益效果：

1.获得大视场角的多层裸眼三维显示效果。在传统的多层裸眼三维显示中，有限的视场角一直是限制其进一步发展的主要因素，而在本发明中，采用三层屏上的多个像素去重建单像素的多视点图像，可以在较大的视场角下仍产生正确的重建图像。

2.可以轻松实现2d/3d显示。本发明在显示方式上，由于采用多层显示结构，可以在3d显示模式时，通过将2d图像信息显示在某一层屏幕上，其他层屏幕设置成透明，来切换成2d显示模式；在2d显示模式时，可以通过将计算得到的图像数据全部加载到多层显示屏幕产生裸眼三维显示效果，从而切换成3d显示模式。

3.获得较好的重建质量。本发明在输入数据端采用单像素的多视点图像，一般可达到20个角度左右。这个数据在重建图像时，会显著减少重建图像中伪影、串扰及其他错误信息，大大提升图像的重建质量。

4.可以实现实时显示。本发明在使用神经网络算法进行输入端和输出端的数据处理时，在训练完成后再应用到其他数据时，可以在极短时间内重建单像素的多视点图，从而实现裸眼三维实时重建及显示。

附图说明

图1是本发明的步骤2的单像素多视点重建示意图；

图2是本发明的步骤2中在重建单像素中间视点图的示意图；

图3是本发明的步骤2中在重建单像素第一个视点图的示意图。

具体实施方式

下面结合具体实施例，进一步阐明发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同变换均落于本申请所附权利要求所限定的范围。

本发明的单像素多视点裸眼三维重建方法，包含以下步骤：

步骤1：首先通过2D+depth算法获取一系列包含物体信息的视点图，并将获取到的视点图按照像素组合成单像素对应的子图像。

步骤2：在显示端使用多层屏幕平行排列的方式，将多层屏幕上的多个相邻像素组合在一起，形成单像素，这些多层屏幕像素的亮度和色彩在多个角度上相互重叠，使得其在不同角度上重建出的亮度和色彩信息与子图像对应角度方向的图像信息相一致，重建的示意图如图1所示。

以垂直于n层屏幕的方向为z轴，以背光层位置从左到右为x轴，建立坐标系。现在在n层结构上每层以y个像素去重建单像素的k个视场角图像。设当重建第i个视角时，通过背光层、中间层、前层的光线与各层的交点的屏幕透过率表示为

那么从背光层出射的平行光线中的第n条穿过中间层和前层之后可以表示为

经过平均处理函数，该函数可以是简单平均函数，如

也可以是高斯函数

如果单像素对应于第i个视角的视角图为Tⁱ，所以重建图和原始图之间的关系就可以写成

argmin∑_i||Tⁱ-Gⁱ||² (4)所以只需要对公式4进行求解，使用传统非负张量分解算法或者机器学习算法得到满足条件的最小值，即可实现三维光场的重建与显示。

实施例：通过2d+depth的算法产生一个具有19个视点、视差为1.5的物体的单像素进行重建，该物体原图分辨率为2500*1600，经并将获取到的视点图按照像素组合成单像素对应的子图像，得到数据图的大小为19*(2500*1600)；在屏幕方面，使用三层屏幕平行排列，并进行对齐，对于每个单像素，在每一层屏幕上选定10个像素来实现对其多视角信息进行重建。在图像处理方法上，采用机器学习的方式进行图像数据的处理。

按照图1的方式设定坐标系，在重建中间即第十个视点时，重建的示意图如图2所示，通过背光层、中间层、前层的光线与各层的交点的屏幕透过率表示为

那么从背光层出射的平行光线中的第n条光线穿过中间层和前层之后的强度可以表示为

经过平均处理之后，可以表示为

如图2所示

在重建第一个视角时，通过背光层、中间层、前层的光线与各层的交点的屏幕透过率表示为

那么从背光层出射的平行光线中的第n条光线可以如图3所示分成两种情况：一种是区域1中的情况，光线经过的像素都在这三层的三十个像素之中，则光强可以表示为：

另一种是区域2中的情况，光线经过的区域已不再是这三层的三十个像素之中的，则这部分光强可以直接表示为：

L^1,n(X,z)＝0 (8)经过平均处理之后，可以表示为：

如图3所示

同理而言，对于其他视点图重建过程中出现的类似问题，可以采取相同的方法进行处理。

重建对应的单像素对应于第i个视角的视角图为Tⁱ，所以重建图像和原始图像的关系就可以写成

argminΣ_i||Tⁱ-Gⁱ||² (10)所以只需要对公式10进行求解，即可实现三维光场的重建与显示。

当使用非负张量分解的算法进行求解时，非负张量分解算法可以将原始高维光场信息数据Tⁱ降维成非负的、具有实际物理意义的二维信息，反映在屏幕端即是多层屏幕各像素的亮度和色彩信息，而各像素亮度和色彩信息在不同角度的叠加即为Gⁱ，通过多次的迭代更新，即可实现基于单像素多视点的三维光场重建和显示。

当使用机器学习的方式进行求解时，公式10可作为神经网络的损失函数，其中神经网络的架构可以是encode-decode。通过40或更多个epoch的训练，随着loss函数的值基本稳定不变，神经网络可看作已收敛，即实现基于单像素多视点的三维光场重建和显示。

Claims (7)

1.一种基于单像素多视点重建的裸眼三维显示方法，其特征在于，该裸眼三维显示方法包括以下步骤：

步骤1：首先获取一系列包含物体信息的视点图，并将获取到的视点图按照像素组合成单像素对应的子图像；

步骤2：在显示端使用多层屏幕平行排列的方式，将多层屏幕上的多个相邻像素组合在一起，形成单像素，这些多层屏幕像素的亮度和色彩在多个角度上相互重叠，使得其在不同角度上重建出的亮度和色彩信息与子图像对应角度方向的图像信息相一致。

2.根据权利要求1所述的基于单像素重建的裸眼三维显示方法，其特征在于，步骤1所述的获取视点图的方法是采用光场相机直接拍摄，或是使用现成的计算机软件仿真，或是2d+depth算法。

3.根据权利要求1所述的基于单像素重建的裸眼三维显示方法，其特征在于，步骤2所述多个相邻像素的像素数量是固定值，或是根据所处位置的depth信息变化，当像素所处的depth位置位于屏幕上时，采用单个像素来显示，从不同角度观看到相同的信息，当depth位置逐步远离屏幕时，相应的增加相邻像素的个数，满足从不同角度观看到不同的视场信息。

4.根据权利要求1所述的基于单像素重建的裸眼三维显示方法，其特征在于，步骤2使用多层显示屏幕的具体方法是：在3d显示模式时，通过将2d图像信息显示在某一层屏幕上，其他层屏幕设置成透明，来切换成2d显示模式；在2d显示模式时，通过将计算得到的多层图像数据全部加载到多层显示屏幕产生裸眼三维显示效果，从而切换成3d显示模式。

5.根据权利要求1所述的基于单像素重建的裸眼三维显示方法，其特征在于，步骤2所述的相邻像素的亮度和色彩信息非负张量分解算法，或是机器学习算法获取。

6.根据权利要求1所述的基于单像素重建的裸眼三维显示方法，其特征在于，步骤2所述的在显示端使用多层屏幕平行排列的方式，其中的多层显示屏是LCD，OLED，microLED多种显示方法。

7.根据权利要求6所述的基于单像素重建的裸眼三维显示方法，其特征在于，步骤2所述的在显示端使用多层屏幕平行排列的方式，具体方法为：

在显示端以相同的间隔d平行排列n层屏幕，并同时建立x-z坐标系，将最后一层屏幕作为z轴的起始点，将最后一层屏幕的左像素起始点作为x轴的起始点；当从背光层发出的光线经过前n-1层屏幕，由于经过角度不同，导致进入左右眼的图像不同，遂可以产生裸眼三维显示效果。

Images