CN102801999A - 基于裸眼3d显示技术的合成算法 - Google Patents

Abstract

本发明涉及裸眼3D自由立体显示技术。为满足以下需求合成对应的立体图像，1、光栅贴装方向与铅垂方向夹角为任意值；2、适合视差栅栏方式和透镜柱面方式；同时还可以应用于矫正光栅贴装所产生的角度误差，本发明采取的技术方案是，基于裸眼3D显示技术的合成算法，包括如下步骤：设显示器点距为δ，分辨率为W×H，光栅栅距为d，倾斜角度为α，视点个数为N，则：

确定了每行的子像素排列的起始位置，与子采样的起始位置一致：delta[h]＝[3h·tanα]≡N(2)以行为单位循环H次，最终生成一幅立体合成图像。本发明主要应用于自由立体显示。

Description

基于裸眼3D显示技术的合成算法

技术领域

本发明涉及裸眼3D自由立体显示技术，尤其涉及基于裸眼3D显示技术的合成算法。

背景技术

人类获取信息最有效的渠道是通过视觉。由于人的双眼看到的是自然界中真实的三维景物，因此能够在屏幕上再现真实的三维景物一直是人类追求的目标。随着二维图像压缩、传输、显示技术的日益提高，人类追求再现真实自然景物的下一个目标就是再现景物的立体信息。立体信息再现技术一定会成为继语音、数据、平面图像业务之后信息技术发展的下一个热点。立体成像技术就是基于这样的需求逐步发展起来的，它可以记录、传输和显示立体彩色图像，使观众能够产生身临其境的感觉，应用前景非常广泛，可以用于科研、军事、教育、工业、医疗等诸多领域。例如，在医学领域，体视探测能够提供更多、更有用的信息；在工业领域，立体显示可用于机器人在危险环境下对物体进行处理和检查；在科学勘探和显像领域，立体成像技术能使观看者通过二维屏幕体会到逼真的三维环境。

根据复用方式，立体显示技术包括：空间复用方式和时间复用方式。空间复用方式中，立体图像对同时显示在屏幕上，通过一些特殊的手段，使两眼分别同时观看到不同的画面，从而获得立体感。时间复用方式中，立体图像对轮流显示在屏幕上，通过一些特殊的手段，使两眼分别先后观看到不同的画面，从而获得立体感。

根据在观看时是否需要使用辅助设备，立体显示技术可分为戴眼镜立体显示和不戴眼镜立体显示两种方式。其中，戴眼镜立体显示方式包括立体眼镜和头盔显示器两类；不戴眼镜立体显示方式包括双视点立体显示方式(仅供单人观看)和多视点立体显示方式(供多人同时观看)。根据产生立体感的原理不同，多视点立体显示方式又分为平板显示方式和容积显示。下面，就据此分类对立体显示技术进行详细说明。

从光学原理上讲，不戴眼镜立体显示方式利用各种光学面，无需眼镜即可观看立体图像，因此被称为自由立体(auto-stereoscopic)显示方式。如图1所示，常用的光学面包括：透镜柱板(Lenticular Plate)、视差栅栏(Parallax Barrier)、菲涅尔透镜(Fresnel Lens)、光栅阵列(IP LensArray)、可变形屏幕(Anamorphic Screen)、全息屏幕(Holographic Screen)等。

根据所能提供视点的数目，自由立体显示方式分为双视点和多视点两类。

一般情况下，双视点自由立体显示方式，通过在CRT显示器或者平板显示器前加入透镜柱面或者视差栅栏，控制各像素光线的射出方向，使左视点的图像仅射入左眼，右视点的图像仅射入右眼，利用双目视差，产生立体视觉。

1、透镜柱面方式

如图2所示，透镜柱面由一排垂直排列的半圆形柱面透镜组成，利用每个柱面镜头对光的折射作用，把两幅不同的平面图像导向双眼分别对应的视域，使左眼图像聚焦于观看者左眼，右眼图像聚焦于观看者右眼，由此产生立体视觉。其特点是产生的图像丰富真实，适合大屏幕显示，运用精密的成形手段，使每个透镜的截面达到微米级，从而支持更高的分辨率。同时，借助先进的数字处理技术，使色度亮度干扰大为减少，有效提高立体图像的质量。这些技术手段，使制造出基于多透镜技术的高清晰立体电视机成为可能。

基于棱柱镜的LCD自由立体显示器将透明的柱镜光栅置于液晶显示器的前面，棱柱镜是由众多平行排列的半圆柱形条纹组成的片板状光学元件，其由很多完全相同的柱镜组成，一面是平面，另一面是周期起伏变化的圆柱曲面。如图3所示。

棱柱镜板焦平面上需要放置载有各视点图像信息的图像材料，即衬底(Substrates)。这些信息可以印刷在各种印刷品上，也可以显示在各种类型的显示器上，棱柱镜板作为一种覆层可以覆盖在这些呈现各视点图像信息的衬底材料上。随着当前平板显示技术的发展，尤其是LCD彩色液晶显示技术日趋成熟，其可以达到很高的分辨率和亮度。对于具有棱柱镜板覆层的LCD自由立体显示设备，LCD像素阵列处于棱柱镜板的焦平面上。因此，棱柱镜像素阵列折射光线，并且根据观看者眼睛所处的不同位置观测到不同的图像。由于左眼和右眼观看到的图像不同，所以观看者可以感知到立体信息。如图4所示，处于焦平面的LCD屏幕只显示左右双视点的图像信息，这两个视点的信息分别经过棱柱镜的折射进入观察者的眼睛，从而使观察者感受到立体观感。

2、视差栅栏方式

如图5所示，视差栅栏是安装在显示前方的垂直平板，对每只眼，它都阻挡了屏幕的一部分，使左视点所有像素的光线均射入左眼视域，右视点所有像素的光线均射入右眼视域。视差档板的作用类似透镜柱面，差别在于它是用档板挡住部分显示，而不是通过折射改变方向。但是，因为档板的遮光作用，显示的图像较暗。

透镜柱面和视差栅栏这两种方式都属于空间复用自由立体显示技术，由于要将立体图像对的两幅图像同时显示在屏幕上，因此，屏幕的水平分辨率降低为原来的一半。由于只有两个视点，观看的方向和位置都是固定的，一旦人的头部发生移动，改变了观看的位置和方向，就不再具有立体视觉。因此，通常采用头部运动跟踪的方法来解决这个问题，显示器仅显示一个立体图像对的两个视点，利用头部跟踪装置调整显示方向，使得观看者的头部位置在一定范围内发生变化时，人眼始终接收到相应视点的正确图像，这就是头部运动跟踪的立体显示方式。

视差栅栏方式又分为狭缝前置式和狭缝后置式两种形式，如图6所示。两者都是利用视差的基本原理获得立体图像的，区别在于狭缝光栅和液晶屏的相对位置。

图6(a)为狭缝前置式LCD自由立体显示器结构示意图，将狭缝光栅置于液晶屏前适当位置，狭缝会遮挡人眼的部分视线。人眼透过狭缝光栅观看液晶屏，如图7(a)所示，由于狭缝光栅的遮挡，人的单眼透过一条狭缝只能观看到一列像素。例如右眼只能看到R_n列像素，左眼只能看到L_n列像素。如果R_n列像素与L_n列像素分别显示右眼和左眼的图像，那么，人眼观看此图像会在大脑中形成立体图像。

图6(b)为狭缝后置式LCD自由立体显示器结构示意图，除显示器中背光灯的发光形式外，与二维液晶显示器完全一样。在二维液晶显示器中，背光灯发出均匀的光线照射液晶屏的有效显示面；而在狭缝后置式LCD自由立体显示器中，背光灯发出平行的狭缝光，狭缝方向与液晶屏的列像素方向平行。如图7(b)所示，在一列狭缝光源的照明下，人的单眼只能观看到一列像素，即右眼只能看到R_n列像素，左眼只能看到L_n列像素。如果R_n列像素与L_n列像素分别显示右眼和左眼的图像，那么，人眼观看此图像会在大脑中形成立体图像。

表1从结构和材料、优、缺点三个方面对基于狭缝的LCD自由立体显示器和基于棱柱镜的LCD自由立体显示器进行了比较。二者各有特点，总的来说，基于狭缝的LCD自由立体显示器更容易制作，基于棱柱镜的LCD自由立体显示器显示效果更好。

图8(a)、(b)分别以基于狭缝光栅和棱柱镜光栅的多视点LCD自由立体显示设备为例说明了显示结构的水平横截面示意图。简言之，对于N视点的LCD自由立体显示设备(N＞＝2)，需要准备N个不同视点的图像，然后将N个视点的图像信息合成为一幅多视点立体图像。并将所生成的图像分配给LCD像素阵列进行显示。从两种情况可以看出，在横截面方向上代表各视点图像信息的单元均为LCD屏幕内的R、G、B子像素。当然，也可以用横截面方向上一组RGB来显示一个视点的像素信息，这样则观察者观测到的每个视点图像在实际横截面方向上的分辨率(即，水平分辨率)与视点个数N成反比。如果仅通过牺牲水平分辨率来获得多个视点，那么所观测到的图像的水平和垂直分辨率失衡，会给观察者带来不舒适的立体观感。

表1基于光栅LCD自由立体显示器比较

因此，为了平衡x和y方向上的分辨率，通常采用倾斜结构的光栅，这样就可以在水平方向(图8横截面方向)上用LCD的R、G、B子像素分别表示各视点信息，同时在倾斜方向上使用相邻连续的RGB来代表各个视点一个像素的信息。以图8(b)所示的棱柱镜光栅为例，如果棱柱镜覆层中的每个棱柱镜都是完全垂直地覆盖在LCD屏幕上，则除了会有水平、垂直像素失衡问题，还有两个缺点：第一个缺点是在LCD中像素列之间的黑色掩蔽会使图像上出现垂直条带，称为“picket-fense”效应；第二个缺点是当观察者在屏前的两个观察区域之间移动时，会明显感觉到视点之间存在有间断性的闪烁。通过将光栅层(狭缝覆层或棱柱镜覆层)相对于LCD倾斜某个角度，就能很大程度上地减轻以上缺陷，从而获得比较理想的立体观感。当前已有多型类似技术的LCD自由立体显示设备产品。

发明内容

本发明旨在克服现有技术的不足，满足以下需求合成对应的立体图像，1、光栅贴装方向与铅垂方向夹角为任意值；2、适合视差栅栏方式和透镜柱面方式；同时还可以应用于矫正光栅贴装所产生的角度误差，为达到上述目的，本发明采取的技术方案是，基于裸眼3D显示技术的合成算法，包括如下步骤：设显示器点距为δ，分辨率为W×H，光栅栅距为d，倾斜角度为α，视点个数为N，那么，理论上，这些参数应该满足如下关系：

$N=\frac{d}{\cos \mathrm{\α}}\·\frac{3}{\mathrm{\δ}}---\left(1\right)$

即在水平方向上的每一个光栅单元下能放置N个子像素；根据子像素判断准则以及子采样规律，确定每行，共H行，离图像最左边缘的平移距离delta[h]，每行即第h行的平移距离以子像素为单位取值，其确定了每行的子像素排列的起始位置，与子采样的起始位置一致：

delta[h]＝[3h·tanα]≡N    (2)

然后从每行的起始位置开始，以每N个子像素为一个基本的排列单元，将每个视点中有用的子像素依照排列规律填入同一个合成图像中；填充的过程中，以行为单位循环H次，最终生成一幅立体合成图像。

显示器为液晶显示屏，在液晶显示屏表面贴光栅，所贴光栅的倾斜角度满足tanα＝0.222222，所贴光栅角度恰和合成图像中子像素分布保持一致。

所贴光栅的倾斜角度有误差时，采取如下步骤补正：假设最小重复单元为i行，最小重复单元的定义为该单元内的子像素按照倾角tanθ＝1/3排列，即行与列均不重复，且第i+1行必须向左平移一个子像素；根据最小单元的定义可以计算出最小单元的实际倾角

当已知所要合成的倾角α′时，将α′代入上式，求出i即求出了最小重复单元的行数；求出的i为非整数值，则需要使用

和

这两种重复单元来逼近所需要的倾角，

表示进行下取整运算，

表示上取整运算；具体方式如下：首先按照多视点立体图像合成法放置

行子像素；然后，由于

行的排列方式的倾角小于i行的排列方式，所以，第

行先向左平移一个子像素，再按照多视点立体图像合成法放置

行子像素；依次向下排列，以需要的倾角为标准，若此时实际倾角小于需要的倾角，则使用的重复单元，若此时实际倾角大于需要的倾角，则使用

的重复单元；这样可以使得实际倾角在需要的倾角值附近摆动，并且随着行数增加无限的逼近所需倾角。

本发明的技术特点及效果：

1、光栅贴装方向与铅垂方向夹角为任意值

2、适合视差栅栏方式和透镜柱面方式

3、同时本方法还可以应用于矫正光栅贴装所产生的角度误差。

附图说明

图1各种立体显示所用的光学平面，图中a、视差栅栏，b、透镜柱板，c、菲涅耳透镜，d、光栅阵列，e、可变形屏幕，f、全息屏幕。

图2透镜柱板示意图。

图3基于棱柱镜光栅的LCD自由立体显示器结构示意图。

图4具有棱柱镜覆层的LCD自由立体显示器原理示意图。

图5视差栅栏立体显示。

图6基于狭缝光栅的自由立体显示器结构示意图：(a)狭缝前置式，(b)狭缝后置式。

图7基于狭缝光栅的自由立体显示原理示意图：(a)狭缝前置式；(b)狭缝后置式。

图8N视点的LCD自由立体显示设备水平横截面示意图：

(a)N＝8的倾斜狭缝前置式光栅；

(b)N＝9的倾斜棱柱镜光栅

图9多视点立体合成图像示意图。

图10子像素排列方式1

图11子像素排列方式2

图12基于棱透镜裸眼3D显示器原理图。

图13基于本算法的合成示意图。

具体实施方式

例一、正常情况下合成多视点图像的算法

基于棱柱透镜3D显示设备：液晶显示屏为65英寸，彩色TFT-LCD模式，型号为P650HVN01.0。分辨率为1920×1080像素，对角线尺寸为64.5英寸。光栅的倾斜角度满足tanα＝0.222222时，且对应在这个显示屏的栅距为d＝1.554mm。经过对视点视图的子采样后，如何将子采样后的各视点图像合成为一幅自由立体显示图像是图像合成算法的关键问题。自由立体显示图像合成的规律就是多视点子像素排列的规律，而这个多视点子像素排列应理解为子采样的逆过程。子采样是从不同视点的图像中取出所需的子像素，而合成过程是把所取出的各视点子像素重新放置到同一幅立体图像中。具体如图9所示(该图示出逆时针倾角的情况，顺时针倾角情况与之类似)，设显示器点距为δ，分辨率为W×H，光栅栅距为d，倾斜角度为α，视点个数为N，那么，理论上，这些参数应该满足如下关系：

$N=\frac{d}{\cos \mathrm{\α}}\·\frac{3}{\mathrm{\δ}}---\left(1\right)$

即在水平方向上的每一个光栅单元下能放置N个子像素。根据子像素判断准则以及子采样规律，确定每行(共H行)离图像最左边缘的平移距离delta[h]，每行(第h行)的平移距离以子像素为单位取值，其确定了每行的子像素排列的起始位置(这也与子采样的起始位置一致)：

delta[h]＝[3h·tanα]≡N    (2)

然后从每行的起始位置开始，以每N个子像素为一个基本的排列单元，将每个视点中有用的子像素依照排列规律填入同一个合成图像中。填充的过程中，以行为单位循环H次，最终生成一幅立体合成图像。

基于视差栅栏的立体显示设备与基于棱透镜的立体显示设备在合成图像时可采用相同的方法。

上面是对合成算法的一种通用描述，说明了光栅自由立体显示器立体图像合成的一般性规律。实际上，出于显示器和光栅工艺的具体装配原因，会导致倾角θ并不等于理论值，这就要求对输入显示器的图片进行校正后再显示，即合成特定角度的立体图像，将在例2中加以论述。

显示柱透镜光栅与呈现各视点图像信息的原理与光路图如图12所示。

柱透镜光栅3D显示器结构如图4所示，2D显示屏位于柱透镜光栅的焦平面上，在柱透镜单元的排列方向上，每个柱透镜单元将置于其焦平面上不同位置的各幅视差图像光折射到不同方向。同样，以两视点3D显示为例，显示屏的奇偶列像素分别显示左右眼两幅视差图像，柱透镜光栅的折射作用使左右视差图像的光线向不同方向传播，观看者位于合适的观看位置就可观看到立体图像。因此我们可以这样理解：通过柱透镜的作用，对于2D显示屏背景的某一图像，由于柱透镜的作用造成两眼接收到的视差，经过融合，形成了合成图像。

以此类推，对于8视点图像合成会有相同的情况，由于一个光栅周期中包含了8个视点的子像素，因此从不同位置，双眼各自会观看到不同视点的图像，但是其形成的原理与两视点图像的形成是相同的，因此在一定的位置，均可以获得立体图像。

类似地，狭缝光栅的立体图像生成原理已经在前文中介绍，8视点的情形仍旧能够应用到这个情景中。

经过这种算法的合成，可生成下面这幅图像，如图13所示。再经过光栅显示作用，使观看者能够观看到立体图像。

例二、存在贴装误差的情况

仍然以本液晶屏为例：

本液晶显示屏是65英寸，彩色TFT-LCD模式，型号为P650HVN01.0。此液晶显示屏为1920×1080像素，对角线尺寸为64.5英寸。从理论角度考虑：光栅的倾斜角度满足tanα＝0.222222时，所贴光栅角度恰和合成图像中子像素分布保持一致，此时能够正确显示。

但是一般情况下，贴装光栅的实际角度会与正确显示立体信息所要求的角度(tanα＝0.222222)会产生一定的差别，然而正是这微小的差别会在观众进行裸眼观看时严重影响立体显示的效果。

经实验测试，倾斜角度tanα＝0.231722，每个棱透镜单元覆盖的子像素数为8.028913，视点数为8.000，栅距为1.549mm，由于光栅贴好后，其角度固定，不易再次更改，因此我们可以通过改变合成图像中子像素的排列方式来适应光栅的角度。

在程序中对多幅合成图像的排列方式按以下方式进行处理，通过调节每行子采样单元的实际放置位置，达到子像素实际的倾斜角度与光栅实际倾斜角度相逼近的目的，从而能够正常使用光栅进行立体显示，以满足观看者的观看需求。调节子像素的位置实际可以看做调整子像素在每一行开始的位置。

假设最小重复单元为i行，最小重复单元的定义为该单元内的子像素按照倾角

排列，即行与列均不重复，且第i+1行必须向左平移一个子像素。根据最小单元的定义可以计算出最小单元的实际倾角

当已知所要合成的倾角α′时，将α′代入上式，求出i即求出了最小重复单元的行数。通常求出的i为非整数值，则需要使用和

这两种重复单元来逼近所需要的倾角(表示进行下取整运算，

表示上取整运算)。具体方式如下：首先按照多视点立体图像合成法放置

行子像素；然后，由于行的排列方式的倾角小于i行的排列方式，所以，第

行先向左平移一个子像素，再按照多视点立体图像合成法放置

行子像素。依次向下排列，以需要的倾角为标准，若此时实际倾角小于需要的倾角，则使用

的重复单元，若此时实际倾角大于需要的倾角，则使用

的重复单元。这样可以使得实际倾角在需要的倾角值附近摆动，并且随着行数增加无限的逼近所需倾角。

假设贴装角度为tanα＝0.231722，即需要合成倾角为tanα＝0.231722的立体图像。首先做出如下规定，称使用一次方式一的排列为3，如图10；称使用一次方式二的排列为4，如图11，则可以根据角度计算公式

列出表2，其中n代表排列方式出现的次数，i代表总的行数：

表2

由

可以求出，当tanα＝0.231722时，令n＝1，则i＝3.280473963，

所以由3和4两种排列方式可以无限逼近tanα＝0.231722。若此时的实际倾角小于tanα＝0.231722，则下一次放置4；若此时的实际倾角大于tanα＝0.231722，则下一次放置3。

由上表可以得出结论：如果我们以3和4两种模式为基底，无限逼近0.231722的贴装角度的排列方式可以写成这两种模式的线性组合，所以只需合理安排这两种方式的排列就可以对图像进行校正，即合成了倾角为tanα＝0.231722的立体图像，这在程序中通过逐行判断倾角再进行下一次循环的选择的方法能够实现，可以满足不同位置观看者的观看需要，达到了角度修正的目的。

Claims (3)

1.一种基于裸眼3D显示技术的合成算法，其特征是，包括如下步骤：设显示器点距为δ，分辨率为W×H，光栅栅距为d，倾斜角度为α，视点个数为N，那么，理论上，这些参数应该满足如下关系：

$N=\frac{d}{\cos \mathrm{\α}}\·\frac{3}{\mathrm{\δ}}---\left(1\right)$

即在水平方向上的每一个光栅单元下能放置N个子像素；根据子像素判断准则以及子采样规律，确定每行，共H行，离图像最左边缘的平移距离delta[h]，每行即第h行的平移距离以子像素为单位取值，其确定了每行的子像素排列的起始位置，与子采样的起始位置一致：

delta[h]＝[3h·tanα]≡N    (2)

然后从每行的起始位置开始，以每N个子像素为一个基本的排列单元，将每个视点中有用的子像素依照排列规律填入同一个合成图像中；填充的过程中，以行为单位循环H次，最终生成一幅立体合成图像。

2.如权利要求1所述的基于裸眼3D显示技术的合成算法，其特征是，显示器为液晶显示屏，在液晶显示屏表面贴光栅，所贴光栅的倾斜角度满足tanα＝0.222222，所贴光栅角度恰和合成图像中子像素分布保持一致。

3.如权利要求1所述的基于裸眼3D显示技术的合成算法，其特征是，所贴光栅的倾斜角度有误差时，采取如下步骤补正：假设最小重复单元为i行，最小重复单元的定义为该单元内的子像素按照倾角tanθ＝1/3排列，即行与列均不重复，且第i+1行必须向左平移一个子像素；根据最小单元的定义可以计算出最小单元的实际倾角

当已知所要合成的倾角α′时，将α′代入上式，求出i即求出了最小重复单元的行数；求出的i为非整数值，则需要使用和

这两种重复单元来逼近所需要的倾角，表示进行下取整运算，表示上取整运算；具体方式如下：首先按照多视点立体图像合成法放置

行子像素；然后，由于行的排列方式的倾角小于i行的排列方式，所以，第

行先向左平移一个子像素，再按照多视点立体图像合成法放置

行子像素；依次向下排列，以需要的倾角为标准，若此时实际倾角小于需要的倾角，则使用

的重复单元，若此时实际倾角大于需要的倾角，则使用

的重复单元；这样可以使得实际倾角在需要的倾角值附近摆动，并且随着行数增加无限的逼近所需倾角。

Images