CN111565308A - 一种基于多层透明液晶屏的裸眼3d显示方法及装置 - Google Patents

Abstract

一种基于多层透明液晶屏的裸眼3D显示方法及装置，装置包括多层透明液晶屏，方法包括单目图像深度图估计，以及深度向层次转换两个部分，单目图像深度图估计通过对部分视频帧的深度信息计算，关联计算得到一段具有深度信息的视频帧，深度向层次转换依据深度信息结合考虑多层液晶屏间距离和屏幕间的光线衰减，把图像中不同深度的物体内容对应分配到多层透明液晶屏的各个液晶屏上进行显示，实现裸眼3D显示。本发明基于经典的SFS算法原理，对其计算过程进行了优化，提高了其计算速度，依据液晶多层屏的特点，裁剪了计算出来的深度信息，达到了基本能够实时计算图像内容的深度计算，满足了工程化应用的要求。

Description

一种基于多层透明液晶屏的裸眼3D显示方法及装置

技术领域

本发明属于液晶屏技术领域，涉及裸眼3D显示，为一种基于多层透明液晶屏的裸眼3D显示方法及装置。

背景技术

目前，主流的裸眼3D技术手段有：狭缝式液晶光栅、柱状透镜、指向光源、主动式背光。

[1] 狭缝式液晶光栅。这种技术原理是在屏幕前加了一个狭缝式光栅之后，应该由左眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡右眼;同理，应该由右眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡左眼，通过将左眼和右眼的可视画面分开，使观者看到3D影像。

[2] 柱状透镜，这种技术原理是通过透镜的折射原理，将左右眼对应的像素点分别投射在左右眼中，实现图像分离。对比狭缝光栅技术最大的优点是透镜不会遮挡光线，所以亮度有了很大改善。

[3] 指向光源，简单说来就是精确控制两组屏幕分别向左右眼投射图像。

[4] 主动式背光，采用光学微结构构成背光模组，背光发出的光束可以在电子器件的控制下调整方向。

上述这些都是基于光学的方法构成的裸眼3D技术。现如今，透明屏技术不断成熟，成本越来越低。如果有显示设备由多层透明屏和一层底层普通液晶屏组成，能够在不同层次上体现场景中不同距离的内容，则可以直接从原理上实现正常的裸眼3D显示。

现有技术中，《基于液晶多层屏的3D显示系统和算法设计》（陈晓西, 李光勇, 王继岷, 江山, 黄张英, 刘晨曦. 《液晶与显示》, 2017, 32(4): 302-307.）提出了该液晶多层屏的概念，但是在显示算法设计上，仅研究和提供了光线在经过多层传输后的衰减问题，如何在多层液晶屏上显示所需内容的距离和分层并未提起。发明专利《一种虚拟现实设备及对应显示方法》（CN201611264973.1）也提出了液晶多层屏的概念，但是在算法设计上，也未提及所需显示的图像是如何获得深度信息，并映射到每个分层上的。而在学术界，虽然有不少基于单幅图像进行深度获取的研究方案，例如1970年Horn提出的SFS（从阴影恢复结构）的方案，该方法利用不同光照条件下图像的明暗程度与阴影来计算物体表面深度信息，是计算机视觉中获取三维数据的重要手段之一，这类算法相对比较成熟其内容已经可以获得比较精确地深度信息，但是其计算量比较大，很难匹配正常液晶屏自带的计算能力，且存在一定的噪声。随着机器学习技术的发展，近来也有新处理方案，例如基于深度学习进行图像深度获取，但这类方案计算量对正常液晶屏的计算能力而言，更是不可想象的。所以，如果想要在多层透明液晶屏上达到应用的效果，就必须在传统方法基础上进行工程化改进，减少其计算量，达到能够匹配液晶屏自带计算能力的要求。

发明内容

本发明要解决的技术问题是：液晶多层屏可用于通过景深实现裸眼3D显示，但现有技术对于在液晶屏自带的计算能力下如何实时划分图像深度，使得液晶多层屏显示出3D图像，没有合适的解决方案。

本发明的技术方案为：一种基于多层透明液晶屏的裸眼3D显示方法，包括单目图像深度图估计，以及深度向层次转换两个部分，

单目图像深度图估计，在连续的视频帧Img1中间隔抽取若干帧图片，通过水平集方法，把抽取的图像区分成若干区域，得到每个区域的深度信息，把这些带有区域深度信息的图片作为稳定帧Img3，对于视频帧Img1中的其他视频帧Img1’，同样通过水平集方法进行区域划分，根据时空关联性将Img1’的区域与Img3的区域对应，并采用Img3的区域深度信息赋值给对对应的Img1’的区域，得到带有深度信息的图片集Img2，将带有深度信息的Img3和赋值后的Img2按视频帧顺序组合，得到具有深度信息的连续视频帧DImg1作为输出；

深度向层次转换，依据具有深度信息的DImg1，结合考虑多层液晶屏间距离和屏幕间的光线衰减，把图像中不同深度的物体内容对应分配到各个液晶屏上进行显示。

本发明还提出一种基于多层透明液晶屏的裸眼3D显示装置，包括1层底层液晶屏、至少1层透明液晶屏、分层计算模块和液晶驱动，底层液晶屏用于显示视频中每帧图片的背景部分，不透明，透明液晶屏用于显示视频中每帧图片中不同前景层次的内容，底层液晶屏和透明液晶屏均由液晶驱动提供要显示的内容，分层计算模块与液晶驱动双向数据连接，用于提供计算资源，分层计算模块中配置有计算机程序，所述计算机程序被执行时实现上述的裸眼3D显示方法，获取视频数据后，输出分层内容的分配方案给液晶驱动，驱动对应的普通液晶屏和透明液晶屏进行显示。

本发明基于经典的SFS算法原理，对其计算过程进行了优化，提高了其计算速度，依据液晶多层屏的特点，裁剪了计算出来的深度信息，达到了基本能够实时计算图像内容的深度计算，满足了工程化应用的要求。

附图说明

图1为本发明实施例的视频单目图像深度图估计流程图。

图2为本发明实施例的深度向层次转换的流程图。

图3为本发明实施例的视频、帧、物体内容关系的示意图。

图4为本发明实施例的硬件结构示意图。

具体实施方式

本发明基于现有的人工智能、电子技术，提出了一款能够从原理上实现裸眼3D的显示方法及其设备。它由多层透明屏和一层底层普通液晶屏组成，能够在不同层次上体现场景中不同距离的内容；能够自动计算视频每帧图片中各种目标的景深，分配到不同透明液晶屏和底层液晶屏进行显示，从原理上实现正常的裸眼3D显示。

本发明方案的基于液晶多层屏实现，显示方法说明如下。

本发明显示方法包括单目图像深度图估计，以及深度向层次转换两个部分。

1、单目图像深度图估计

单目图像深度图估计算法是利用二维图像来进行场景中内容的深度估计，是计算机视觉领域的经典问题之一，也是实现三维重建、场景感知的重要环节。本发明的目标是基于现有的透明液晶屏的计算能力，能够实现实时的计算深度信息的效果，达到满足工程化的需求，因此主要手段是对现有的传统方法中的明暗恢复形状SFS的裁剪。

由于经典SFS对视频的每一帧、每一个像素均采用SFS的利用不同光照条件下图像的明暗程度与阴影来计算物体表面深度信息，这样的计算量极大，其结果虽然精细，但是对于液晶多层屏的硬件基础而言，这样的精细计算超过了硬件能够达到的精度范围，因此本发明通过放弃经典SFS的达到的精度，来达到减少计算量，从而实时计算的工程化目标。

本发明在视频帧中间隔抽取一些图片，通过水平集方法，把图像区分成若干区域，经过裁剪过的SFS算法计算，得到每个区域的深度信息，把这些带有区域深度信息的图片，作为相对精确的帧，即稳定帧。对于其他视频帧图片，在与稳定帧时间间隔不大、中心位置区域的空间距离间隔不大的区域，直接采用稳定帧的深度信息赋予的方式，得到带有赋值深度信息的图片集，结合稳定帧和赋值后的其他视频帧，以少数计算量得到一组各帧均具有深度信息的视频帧图片集作为输出。

其过程如图1，其中SFS算法计算过程为经典算法，在其中不再赘述。

步骤1-1. 把视频帧图像按照时间进行编号，Img1（i）表示第i帧视频帧图片。

步骤1-2. 根据设定的间隔在Img1（i）中抽取若干帧图片Img3(j)，j∈i，优选以15帧视频帧为一组进行单目图像深度图估计，间隔5帧抽取视频帧进行深度信息计算。对抽取的每张图片，先采用水平集方法，把整体图像进行区域化划分，把每个像素划分到多个不同区域Ori（j,f）内，Ori（j,f）表示视频帧Img3(j)中的第f个区域，中心位置区域为Cen-Ori（j）=（wpx,hpy），wpx、hpy表示中心位置区域的宽和高的两个位置参数，在采用水平集划分时，每个区域占全部图像面积的比例不低于设定值T1%，本实施例中，T1为5。

步骤1-3. 对每个区域Ori（j,f）中的像素均匀采样，得到区域内的N个采样点的集合Pc(j,f)=｛P(j,f,p)｝，其中p表示采样点P的编号，p=1~N，Pc是这些采样点的集合，采用明暗恢复形状SFS的方法，计算出这些采样点的深度信息Depth1(j,f,p)。

步骤1-4. 平均采样点的Depth1(j,f,p)信息，得到一个平均值Depth2（j,f），平均具有滤波、去除噪声的效果，把Depth2（j,f）作为视频帧Img3(j)中的第f个区域的深度值，并依次把所有的区域的深度值计算出来，得到带有整体图像的深度信息Img3(j)。

步骤1-5. 对抽取后剩下的视频帧Img1’(k)同样通过水平集方法进行区域化划分，k∈i，k≠j，j∪k=i，Img1’(k)的区域表示为Ori（k,g），即视频帧Img1’(k)中的第g个区域，然后基于时空间关联性将Img1’的区域与Img3的区域对应，通过赋值的方式减少Img1’深度信息的计算量；所述时空间关联性指：Img1’与Img3的时间间隔不超过设定值T2,区域中心区域的空间距离不超过设定值T3，具体为：对于与Img3(j)的时间间隔Ng<T2的视频帧Img1’(k)，如果划分区域的中心位置区域Cen-Ori(k)=(wpx_k,hpy_k)与Img3(j)的中心位置区域Cen-Ori（j）=（wpx,hpy）的位置偏差和 |wpx- wpx_k |+|hpy- hpy_k |小于T3，则该Img1’(k)与Img3(j)关联，对于连续的视频帧，在两帧时空关联的情况下，区域划分可视为相同，把关联的Img3(j)的区域深度信息赋值给Img1’(k)，得到带有赋值深度信息的视频帧Img2(k)。

本实施例中，优选T2为5，即5帧之内；T3为30个像素。如果某帧待赋值的视频帧与前后两帧稳定帧的时间距离及空间距离都在设定值范围内，可以任选一帧进行赋值，在实际编程中，优选采用前面的稳定帧进行赋值。

步骤1-6. 将视频帧Img3(j)和视频帧Img2(k)按照视频帧顺序排列，得到连续视频帧DImg1输出。

举例说明如下：

输入：对于一组15帧原始视频帧图片，帧号i为{1、2、3、4、5、6、7、8、9、10、11、12、13、14、15}，它们不包含深度信息。逢5间隔取图，帧号j为{1、6、11}；对帧号{1、6、11}的视频帧计算分割区域和对应深度信息，得到稳定帧Img3；然后利用连续视频帧之间的时空相互关系，拟合出剩下的帧k的深度信息，得到全部带有深度信息的视频帧序列：DImg1={1（深度计算）、2（深度赋值）、3（深度赋值）、4（深度赋值）、5（深度赋值）、6（深度计算）、7（深度赋值）、8（深度赋值）、9（深度赋值）、10（深度赋值）、11（深度计算）、12（深度赋值）、13（深度赋值）、14（深度赋值）、15（深度赋值）}，相比较而言，视频帧{1、6、11}具有更高的深度信息精度，其他通过赋值而得到深度信息的视频帧，具有相对低一些的深度信息精度。

跟经典SFS算法相比，本发明方法进行了大量的计算量删减工作，主要体现在对于每帧图片而言，并非是每个像素均进行SFS的计算；对于连续帧图片而言，也并非每个区域进行SFS的计算。假设一张图片是1024*768的大小，以每张图片保留10个区域，每个区域采样5个点计算SFS，Ng=5帧的话，可以只保留原有大约10（区域）*5（点）/(1024*768*10)=1.2*10^-5的SFS上的计算需求，从而极大的减少了硬件的负担。

如图3所示，视频1为输入液晶多层屏的视频数据Img1，在该视频中提取一帧图像，得到视频帧2，即Img3，视频帧2中黑色为背景，三角形和椭圆形具有不同的深度信息，得到深度信息划分图3，图像背景、三角形、椭圆形被分成背景4、三角形层5、椭圆形层6这3个层。

深度向层次转换是在获得视频中每帧图像内容的深度信息的基础上，依据深度，考虑到多层间距离和后面光线通过前面屏幕的衰减，把每个物体内容对应到各个液晶屏上的方法，如图2所示，具体为：

设液晶多层屏具有1层底层普通液晶屏和至少1层透明液晶屏，总数为X块屏。

步骤2-1.如果X=2，即只有1层底层普通液晶屏和1层透明液晶屏。那么直接以视频帧图像中各个区域的深度信息的中间值分类，大于中间值的为背景，小于等于中间值的为前景。底层普通液晶屏就显示视频帧中的背景，透明液晶屏就显示前景。

步骤2-2.如果X>2，那么就依据深度反向log计算，设置每块透明液晶屏的显示内容，即把单目图像深度图估计中的各视频帧图像的区域，依据其深度信息分配在透明液晶屏上进行显示，设置log的原因是考虑到后面液晶屏的光通过前面液晶屏时的透射和漫射，以此使得深度分层更加自然。

步骤2-2-1.设DImg1（i），即第i帧带有深度信息的视频帧中，第f个区域的深度为Depth2（i,f），全部f个区域中，与观察点最近的距离即深度值最小为DepthF（i）。

步骤2-2-2 .由于人眼对距离变换的感受原因，以及液晶屏的光通过液晶屏时的透射和漫射，把每个物体内容的深度Depth2（i,f），全部对数DepthF（i）一下，得到新的深度表达Depth3(i,f)，即

这样得到每个物体的新的深度信息Depth3(i,f)。

步骤2-2-3.使用编号1代表最前方的透明液晶屏，以此编号各层液晶屏，背景信息为编号X的液晶屏，即最底层的背景液晶屏，把Depth3(i,f) 平均分为X段，计算出每个Ori（i,f）的Depth3(i,f)值属于哪一段。然后把该Ori（i,f）物体内容分配到对应的透明液晶屏上。

步骤2-2-4.非底层液晶屏的填充，通过步骤2-3可以得到每个液晶屏每帧需要显示的物体内容，对于每帧图像中其他剩下的非物体内容，在非底层液晶屏的显示中填充为最小亮度的白色。

可以通过建立深度分段表，建立查表法，将Depth2（i,f）与对应的X分段对应，从而减少计算资源的需求。既保持了log的功能，即后面液晶屏的光通过前面液晶屏时的透射和漫射的前提下，而同时几乎没有增加log的计算量。

这样就得到分配到X个液晶屏上显示的具有深度的新视频帧，这些新视频通过各个液晶屏的显示，形成了裸眼3D的效果，在垂直于设备的中心点处效果最佳。

在上述显示方法的基础上，本发明提供一种裸眼3D显示装置，如图4所示，包括1层底层液晶屏7、至少1层透明液晶屏8、分层计算模块9和液晶驱动10。底层液晶屏用于显示视频中每帧图片的背景部分，不透明，透明液晶屏用于显示视频中每帧图片中不同前景层次的内容，底层液晶屏和透明液晶屏均由液晶驱动提供要显示的内容，分层计算模块与液晶驱动双向数据连接，用于提供计算资源，分层计算模块中配置有计算机程序，所述计算机程序被执行时实现上述裸眼3D显示方法，获取视频数据后，输出分层内容的分配方案给液晶驱动，驱动对应的普通液晶屏和透明液晶屏进行显示。

作为优选，裸眼3D显示装置的底层液晶屏和透明液晶屏之间的距离为前后等距离100mm。

通过一个具体实施例比对本发明方法与现有技术的有益效果。本实施例中，以分层计算机为戴尔T7920带GPU的图形工作站为例，现有技术的分层算法计算周期十分漫长，一台普通带有GPU的电脑处理一帧图片需要5秒钟，对于一个1024*768分辨率，每秒30帧的视频而言，那么就需要1080000秒。而本发明方法计算资源只需要它的大约1.2*10^-5倍，这样就只有13秒，而随着计算芯片的发展，甚至可以直接由普通液晶屏自带的计算资源提供足够的计算能力。进一步的，本发明方法分为两部分，可以进行划分，结合现有技术的云端技术，通过用云端高性能计算机提供单目图像深度图估计计算资源后，把结果传输给本地性能一般的分层计算处理模块，只需根据深度信息进行分层计算，然后驱动显示，即可得到3D的效果，这样的方案也可以降低成本。

Claims (8)

1.一种基于多层透明液晶屏的裸眼3D显示方法，其特征是包括单目图像深度图估计，以及深度向层次转换两个部分，

单目图像深度图估计，在连续的视频帧Img1中间隔抽取若干帧图片，通过水平集方法，把抽取的图像区分成若干区域，得到每个区域的深度信息，把这些带有区域深度信息的图片作为稳定帧Img3，对于视频帧Img1中的其他视频帧Img1’，同样通过水平集方法进行区域划分，根据时空关联性将Img1’的区域与Img3的区域对应，并采用Img3的区域深度信息赋值给对对应的Img1’的区域，得到带有深度信息的图片集Img2，将带有深度信息的Img3和赋值后的Img2按视频帧顺序组合，得到具有深度信息的连续视频帧DImg1作为输出；

深度向层次转换，依据具有深度信息的DImg1，结合考虑多层液晶屏间距离和屏幕间的光线衰减，把图像中不同深度的物体内容对应分配到各个液晶屏上进行显示。

2.根据权利要求1所述的一种基于多层透明液晶屏的裸眼3D显示方法，其特征是单目图像深度图估计具体为：

步骤1-1. 把视频帧图像按照时间进行编号，Img1（i）表示第i帧视频帧图片；

步骤1-2. 根据设定的间隔在Img1（i）中抽取若干帧图片Img3(j)，j∈i，对抽取的每张图片，先采用水平集方法，把整体图像进行区域化划分，把每个像素划分到多个不同区域Ori（j,f）内，Ori（j,f）表示视频帧Img3(j)中的第f个区域，中心位置区域为Cen-Ori（j）=（wpx,hpy），wpx、hpy表示中心位置区域的宽和高的两个位置参数，在采用水平集划分时，每个区域占全部图像面积的比例不低于设定值T1%；

步骤1-3. 对每个区域Ori（j,f）中的像素均匀采样，得到区域内的N个采样点的集合Pc(j,f)=｛P(j,f,p)｝，其中p表示采样点P的编号，p=1~N，Pc是这些采样点的集合，采用明暗恢复形状SFS的方法，计算出这些采样点的深度信息Depth1(j,f,p)；

步骤1-4. 平均采样点的Depth1(j,f,p)信息，得到一个平均值Depth2（j,f），把Depth2（j,f）作为视频帧Img3(j)中的第f个区域的深度值，并依次把所有的区域的深度值计算出来，得到带有整体图像的深度信息Img3(j)；

步骤1-5. 对抽取后剩下的视频帧Img1’(k)同样通过水平集方法进行区域化划分，k∈i，k≠j，区域表示为Ori（k,g），即视频帧Img1’(k)中的第g个区域，然后基于时空间关联性将Img1’的区域与Img3的区域对应，通过赋值的方式减少Img1’深度信息的计算量；所述时空间关联性指：Img1’与Img3的时间间隔不超过设定值T2,区域中心区域的空间距离不超过设定值T3，具体为：对于与Img3(j)的时间间隔Ng<T2的视频帧Img1’(k)，如果划分区域的中心位置区域Cen-Ori(k)=(wpx_k,hpy_k)与Img3(j)的中心位置区域Cen-Ori（j）=（wpx,hpy）的位置偏差和 |wpx- wpx_k |+|hpy- hpy_k |小于T3，则该Img1’(k)与Img3(j)关联，把关联的Img3(j)的区域深度信息赋值给Img1’(k)，得到带有赋值深度信息的视频帧Img2(k)；

步骤1-6. 将视频帧Img3(j)和视频帧Img2(k)按照视频帧顺序排列，得到连续视频帧DImg1输出。

3.根据权利要求2所述的一种基于多层透明液晶屏的裸眼3D显示方法，其特征是以15帧视频帧为一组进行单目图像深度图估计，间隔5帧抽取视频帧进行深度信息计算。

4.根据权利要求1或2所述的一种基于多层透明液晶屏的裸眼3D显示方法，其特征是深度向层次转换具体为：设液晶多层屏具有1层底层普通液晶屏和至少1层透明液晶屏，总数为X块屏；

步骤2-1.如果X=2，即只有1层底层普通液晶屏和1层透明液晶屏，那么直接以视频帧图像中各个区域的深度信息的中间值分类，大于中间值的为背景，小于等于中间值的为前景，底层普通液晶屏显示视频帧中的背景，透明液晶屏显示前景；

步骤2-2.如果X>2，依据深度反向log计算，设置每块透明液晶屏的显示内容，即把单目图像深度图估计中的各视频帧图像的区域，依据其深度信息分配在透明液晶屏上进行显示，具体为：

步骤2-2-1.设DImg1（i），即第i帧带有深度信息的视频帧中，各区域的深度为Depth2（i,f），得到全部区域深度最小值DepthF（i）；

步骤2-2-2 把图像中每个物体内容的深度Depth2（i,f）进行对数处理，得到新的深度表达Depth3(i,f)，即：

得到每个物体的新的深度信息Depth3(i,f)；

步骤2-2-3.把Depth3(i,f)平均分为X段，计算出每个区域Ori（i,f）的Depth3(i,f)值属于哪一段，然后把该Ori（i,f）物体内容分配到对应层的透明液晶屏上；

步骤2-2-4.非底层液晶屏的填充，得到每个液晶屏每帧需要显示的物体内容，对于每帧图像中其他剩下的非物体内容，在非底层液晶屏的显示中填充为最小亮度的白色。

5.根据权利要求1所述的一种基于多层透明液晶屏的裸眼3D显示方法，其特征是对单目图像深度图估计以及深度向层次转换两个部分的计算资源进行划分，结合云端技术，通过云端计算机提供单目图像深度图估计的计算资源，单目图像深度图估计的计算结果再传输给本地液晶屏自带的分层计算处理模块，分层计算处理模块只需根据接收的深度信息进行分层计算，然后驱动液晶屏显示，即可得到裸眼3D的显示效果。

6.一种基于多层透明液晶屏的裸眼3D显示装置，其特征是包括1层底层液晶屏、至少1层透明液晶屏、分层计算模块和液晶驱动，底层液晶屏用于显示视频中每帧图片的背景部分，不透明，透明液晶屏用于显示视频中每帧图片中不同前景层次的内容，底层液晶屏和透明液晶屏均由液晶驱动提供要显示的内容，分层计算模块与液晶驱动双向数据连接，用于提供计算资源，分层计算模块中配置有计算机程序，所述计算机程序被执行时实现权利要求1~5任一项所述的裸眼3D显示方法，获取视频数据后，输出分层内容的分配方案给液晶驱动，驱动对应的普通液晶屏和透明液晶屏进行显示。

7.根据权利要求6所述的一种基于多层透明液晶屏的裸眼3D显示装置，其特征是裸眼3D显示装置的底层液晶屏和透明液晶屏之间的距离为前后等距离100mm。

8.根据权利要求6所述的一种基于多层透明液晶屏的裸眼3D显示装置，其特征是所述显示装置连接云端服务器，云端服务器提供单目图像深度图估计的计算资源，单目图像深度图估计的计算结果传输给显示装置的分层计算模块，分层计算模块根据接收的计算结果输出分层内容的分配方案给液晶驱动，驱动对应的普通液晶屏和透明液晶屏进行显示。

Images