CN103561255B - 一种裸眼立体显示方法 - Google Patents

Abstract

本申请提供一种裸眼立体显示方法，首先获取左眼图像和右眼图像；对左眼图像或者右眼图像进行编码，而后生成显示图像，所述显示图像通过提取左眼图像和右眼图像中的相应像素的颜色分量来构建；若生成显示图像前，左眼图像与显示图像的分辨率不一致，则进行相应的插值处理；并通过透镜阵列输出所述显示图像，通过将透镜轴方向与显示像素的列方向设置成一定角度的夹角。利用本发明的技术方案，可以高效地进行数据压缩，并能提高立体显示的客观性，以及解决色彩失真、锯齿效应严重、摩尔纹的产生等等现象，以及在一定程度上消除裸眼3D的盲区现象。

Description

一种裸眼立体显示方法

技术领域

本发明涉及一种裸眼立体显示方法，特别地，涉及一种透镜式裸眼显示方法，属于裸眼3D技术领域。

背景技术

裸眼式立体显示技术是一种观看者不利用辅助工具而实现观看立体显示的方法。裸眼式立体显示技术最大的优点和特点就是观看者不再利用眼镜等工具来辅助实现立体显示，而是通过在显示终端的特殊处理，使得观看者可以直接观看到立体图像视频，极大地减轻了观看者的负担。

裸眼立体图像显示的技术中常用的包括光壁障式、柱镜式。如图1所示，在柱镜式显示方式中，通过在液晶显示屏所显示的图像的前面加上一层柱状透镜，使液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的像素被分成几个子像素，这样透镜就能以不同的方向投影每个子像素。于是双眼从不同的角度观看显示屏，就看到不同的子像素，以此来产生立体的显示效果。

中国专利申请CN99809619.9描述了一种自动立体显示方法，该方法可以显示多个视角图像，每一个视角图像包含多个像素，这些像素通过具有RGB(红绿蓝)色点的屏幕显示像素显示出来。该方法为裸眼立体显示提供了一种新的思路，然而，该方法的局限在于：

首先，没有立体图像的传输所需要的带宽，以及存储时所耗费的空间的问题。大量的左眼图像和右眼图像序列数据对传输、存储提出了技术挑战，当前网络带宽仍然是很稀缺的资源，尤其在无线传输环境中无线终端的功率有限，高效的数据压缩、存储非常必要。因此，考虑到3D视频系统有效性和可靠性，如何实现对数据的高效压缩编码是需要解决的问题。

其次，考虑视角图像中的各像素的分辨率与显示像素的分辨率之间的差异。CN99809619.9的技术方案要求输入图像的分辨率与屏幕显示像素分辨率严格匹配，这严重局限了立体显示的应用。虽然现有技术中存在图像插值算法，能够将不同分辨率的图像上采样或下采样成特定分辨率的图像，但是，并不存在对于多个视角图像的插值的有效方法，能够兼顾客观世界中的同一目标在不同视角图像中而插值出符合显示要求的图像的方法。

再次，CN99809619.9及其衍生的技术方案没有考虑由左眼图像和右眼图像生成显示图像时的失真问题，这些问题在裸眼3D显示中尤为明显，例如色彩失真、锯齿效应严重、摩尔纹的产生等等，严重影响了用户体验。

第四、其没有考虑透镜的设置和显示图像的位置关系，用户在屏幕前的盲区现象严重，可视角度过窄。

发明内容

为了解决上述问题，本发明的目的在于提供一套完整的裸眼立体显示方法，包括以下步骤：步骤100：获取左眼图像和右眼图像；步骤200：对左眼图像或者右眼图像按照MPEG4标准进行编码，对不按照MPEG4的一路图像进行差分补偿编码，以获取经编码压缩的立体图像；步骤300：获取步骤200中的立体图像并解码，生成显示图像，所述显示图像通过提取左眼图像和右眼图像中的相应像素的颜色分量来构建。

优选地，所述构建方式为：

Img_d_x(R)＝α_r ^＊pr_s(R)+β_r ^＊pl_t(R)；

Img_d_x(G)＝α_g ^＊pr_s(G)+β_g ^＊pl_t(G)；

Img_d_x(B)＝α_b ^＊pr_s(B)+β_b ^＊pl_t(B)；

上式中，Img_d_x为显示图像中的第x个像素，pr_s为右眼图像中的第s个像素，pl_t为左眼图像中第t个像素，α_r、α_g、α_b为pr_s的R、G、B对应的加权值，β_r、β_g、β_b为pl_t的R、G、B对应的加权值。

以及，还包括步骤400：通过透镜阵列输出所述显示图像。

更为优选地，所述Img_d_x、pr_s、pl_t的位置关系通过一位置矩阵来确定，所述位置矩阵在生成或者获取左眼图像和右眼图像时根据摄像机之间的位置关系而确定，该位置矩阵记录了拍摄目标左眼图像中的一个像素和该拍摄目标在右眼图像中的相对应的像素的位置关系。

可选地，所述透镜的宽度为显示像素宽度的2倍，或者，透镜轴方向与显示像素的列方向成角度为a的夹角，a的取值范围为7-12，单位为角度，最为优选地，a取9.5，单位为角度。

在一个非限制性的实施方式中，若所述步骤300中，左眼图像与显示图像的分辨率不一致，则在生成显示图像之前，还包括：

步骤310：计算显示图像的分辨率r(d)与左眼图像r(l)的比例关系；

步骤320：若r(d)>r(l)，则计算需要对左眼图像所要插值的行数或列数；

步骤330：对左眼图像进行行插值处理，插值方式为：

pl_x＝α_x-1pl_x-1+α_x+1pl_x+1+β_k ^＊pr_k；

上式中，pl_x为左眼图像中插值后的图像中的第x个像素，pl_x-1、pl_x+1为pl_x行相邻的两个像素，α_x-1和α_x+1为pl_x-1、pl_x+1对应的加权值；pr_k为右眼图像中的第k个像素，β_k为其对应的加权值。

在另一个非限制性的实施方式中，若所述步骤300中，右眼图像与显示图像的分辨率不一致，则在生成显示图像之前，还包括：

步骤310：计算显示图像的分辨率r(d)与右眼图像r(r)的比例关系；

步骤320：若r(d)>r(r)，则计算需要对右眼图像所要插值的行数或列数；

步骤330：对右眼图像进行行插值处理，插值方式为：

pr_y＝α_y-1pr_y-1+α_y+1pr_y+1+β_z ^＊pl_z；

上式中，pr_y为右眼图像中插值后的图像中的第y个像素，pr_y-1、pr_y+1为pr_y行相邻的两个像素，α_y-1和α_y+1为pr_y-1、pr_y+1对应的加权值；pl_z为左眼图像中的第z个像素，β_z为其对应的加权值。

本发明能够起到以下有益效果：利用本发明的技术方案，可以高效地进行数据压缩，节约传输带宽和存储空间；同时考虑了视角图像中的各像素的分辨率与显示像素的分辨率之间的差异，利用多个视角图像对原始图像进行插值，使得在改变分辨率之后，图像仍然能够忠于原目标，提高其显示的客观性；另一方面，本技术方案能够很好地解决色彩失真、锯齿效应严重、摩尔纹的产生等等现象；以及，本发明通过改变透镜的设置和显示图像的位置关系，能够在一定程度上消除裸眼3D的盲区现象。

附图说明

图1是专利申请CN99809619.9所描述的技术方案；

图2是本发明第一实施方式描述的裸眼立体显示原理示意图；

图3是本发明中通过左眼图像和右眼图像来构建显示图像的示意图；

图4是通过左眼图像的第一像素和右眼图像第二像素构建显示图像的第三像素的示意图。

具体实施方式

下面结合附图和具体实施例对本发明提供的一种裸眼立体显示方法进行详细描述。

如图1所示，图1为专利申请CN99809619.9所描述的技术方案，其示意性地描述了一幅图像在行方向上由3个像素组成的象素组构成的图像的显示，其能够显示4个不同视点的图像，即PV1～PV4，每一个视点的图像的像素被以3为模进行分组，例如T1～T3为一个像素组。不同视点中像素位置相同的像素均被分类到相同编号的像素组中，例如PV1的前三个像素组成的像素组为T1～T3，PV2的前三个像素组成的像素组也为T1～T3，PV3、PV4也有类似的处理。每个屏幕像素，例如P1、P2、P3等等，都有三个色点(即红、绿、蓝)组成。屏幕像素之上覆盖一透镜层，透镜层包括L1、L2、L3等等多个透镜。每个透镜的节距为色点的4倍，而像素宽度为色点的3倍。在显示时，不是讲标准图像的第一个像素的RGB三种成分分别分配到像素P1、P2、P3相应的颜色成分的色点上，而是分别为RGB三种颜色保留第一视点PV1的像素T1～T3种的第一个像素的色点中的一个色点来实现显示分配，以构成显示三元组TR1。

需要说明的是，在有一些情况下，视角也被描述成视点、场景之类的词，但本领域的技术人员应当理解，不管其采用何种描述，本发明所述的视角所描述的是观察者、摄像机以及其他图像采集设备在客观世界中所处的某一个位置和方向。

本发明的第一实施方式对上述技术方案进行了改进，提出了一种裸眼立体显示方法。该方法中，首先获取各不同视点的图像，优选地，所述视点为两个，可以通过摄像机获取，拍摄影像时，用两台摄影机模拟左右两眼视差，分别拍摄两路图像，然后将这两路图像进行编码、压缩、存储或者传输。

更进一步，优选地，在编码压缩时，第一种处理方式为：两路图像均采用MPEG4标准进行编码。第二种处理方式为：对左眼图像或者右眼图像按照MPEG4标准进行编码，对不按照MPEG4的一路图像(例如右眼图像)进行差分补偿编码，即，因为左眼图像和右眼图像存在信息冗余，那么，先对两路图像中帧号相同的左眼图像和右眼图像进行视差估计，基于左眼图像生成右眼图像的视差图像和运动矢量，对视差图像和运动矢量进行编码，在解码时，先解码出左眼图像，而后根据时差图像和运动矢量重构出右眼图像，如此可以提高编码效率、减少传输带宽以及存储空间。

此外，本发明的更为优选的实施方式中，可以在上述第二种实施方式的基础上进一步提高编码效率，最优的情况下，可以左眼图像和右眼图像合并为一路，在这种实施方式下，将视差图像和运动矢量编码为数字水印，将该水印信息嵌入到左路图像中来实现这个目的，当然，也可以仅针将运动矢量作为水印嵌入到视差图像中。解码时，通过从左眼图像编码数据中提取数字水印并解码出视差图像和运动矢量并重构右眼图像图像，因此，可进一步提高图像的压缩率。

参见图2，图2进一步描述了本发明第一实施方式中针对获取不同视点的图像之后，所进行的显示图像生成方法。显示图像通过提取不同视点的图像中的相应像素的颜色分量来构建，图2示出了左眼图像和右眼图像这两个视点图像的情形。

在一个常规的实施方式中，左眼图像来自图像序列L、右眼图像来自图像序列R，虽然图中未示出，但应当清楚，所述图像序列L和R由至少一帧组成，所述帧按照时间排列而得到图像序列，也就是说L＝{L₁,L₂,L₃,...,L_n}，R＝{R₁,R₂,R₃,...,R_n}，因此在图2中的L和R只描绘出某一时刻帧号相同的左眼图像和右眼图像，例如左眼图像和右眼图像分别为L₁和R₁、或者L₅和R₅等等，但该图并不是用于限定本发明只能针对某一时刻的场景而实现。本发明中，为了方便起见，将所述左眼图像和右眼图像称为源图像。

每一个左眼图像中都包含至少一个像素，虽然图2中只描述了pl₁和pl₂，但本领域的技术人员应当清楚，左眼图像为一个图像阵列，不仅包含pl₁、pl₂，同样也可包括pl₃、pl₄、pl₅......等等。同样，每一个右眼图像中也包括至少一个像素，例如R₁、R₂、R₃等等。

每一个像素都包含至少一种颜色分量，图2中示出了每一个像素都包含R、G、B三种颜色分量的情形。

图2中，Img_d表示显示图像，该显示图像为最终显示在屏幕上的图像，Img_d是源图像的函数，即存在关系f:(L,R)→Img_d。

以下重点描述关系f:(L,R)→Img_d，即从源图像生成显示图像的方法。在从源图像生成显示图像的第一实施方式中，左眼图像L的第一像素pl₁映射到显示图像Img_d的第二像素，右眼图像R的第一像素pr₁映射到显示图像Img_d的第一像素，上述映射过程中颜色通道保持一致，如图2所示。更为优选地，上述映射过程为直接将各像素的颜色通道进行拷贝。

在本发明提出的从源图像生成显示图像的第二实施方式中，考虑了更为真实地再现立体图像的情景。这种实施方式中，从源图像生成显示图像不再采用单一的简单映射和颜色通道拷贝。示意性的描述如图3所示，在构建显示图像的第三像素(记为Img_d₃)时，采用左眼图像的第一像素pl₁和右眼图像第二像素pr₂加权的方式，这种情况下，充分考虑了在再现同一立体场景时，左眼图像和右眼图像的部分信息存在极高的相关性，因为左眼图像和右眼在很大程度上都是针对同一对象的描述。优选地，以pr₂(R)、pr₂(G)、pr₂(B)分别表示，计算Img_d₃的红色分量Img_d₃(R)的加权方式为：

Img_d₃(R)＝α₁ ^＊pr₂(R)+β₁ ^＊pl₁(R)；

上式中,α1和β1为加权因子，在较为优选的实施方式中，α1和β1分别取值0.78和0.22。

对于Img_d₃的绿色分量Img_d₃(G)和Img_d₃的蓝色分量Img_d₃(B)，其相应的加权方式为：

Img_d₃(G)＝α₂ ^＊pr₂(G)+β₂ ^＊pl₁(G)；

Img_d₃(B)＝α₃ ^＊pr₂(B)+β₃ ^＊pl₁(B)；

上式中,α₂、α₃、β₂、β₃也为加权因子，在较为优选的实施方式中，α₂、α₃取值0.78，β₂、β₃取值0.22。

更为一般的情况，上述加权方式可以表述为：

Img_d_x(R)＝α_r ^＊pr_s(R)+β_r ^＊pl_t(R)；

Img_d_x(G)＝α_g ^＊pr_s(G)+β_g ^＊pl_t(G)；

Img_d_x(B)＝α_b ^＊pr_s(B)+β_b ^＊pl_t(B)；

上式中，Img_d_x为显示图像中的第x个像素，pr_s为右眼图像中的第s个像素，pl_t为左眼图像中第t个像素，α_r、α_g、α_b为pr_s的R、G、B对应的加权值，β_r、β_g、β_b为pl_t的R、G、B对应的加权值。Img_d_x、pr_s、pl_t的位置关系可以通过一位置矩阵来确定，所述位置矩阵可以在生成或者获取左眼图像和右眼图像时根据摄像机之间的位置关系而确定，该位置矩阵记录了拍摄目标左眼图像中的一个像素和该拍摄目标在右眼图像中的相对应的像素的位置关系，典型地，可以通过双目视觉的标定技术来实现。显然，通过这种方式生成显示图像能够减少信息失真。

在本发明更为优选的实施方式中，对施加在显示图像上的透镜的设置进行改进。

在此基础上，第一种设置方式如图2所示，透镜的宽度为显示像素宽度的2倍，即每一显示像素包括三个颜色分量，其宽度为颜色分量的3倍，则透镜宽度为颜色分量的宽度的6倍。在这种情况下，透镜轴与显示像素的列方向(一般为屏幕的垂直方向)平行设置。

第二种设置方式如图4所示，透镜轴方向与显示像素的列方向成角度为a的夹角，a的取值范围为7-12，单位为角度，最为优选地，a取9.5，单位为角度，显示像素的个颜色通道经过透镜阵列折射后，输出所述显示图像。在这种情况下，可以有效地消除站在屏幕前的观众的盲区。实验表明，尽管作用有限，但该方法还是能在一定程度上可解决色彩失真、锯齿效应严重、摩尔纹的产生等等现象。

在另一实施方式中，将解决视角图像中的各像素的分辨率与显示像素的分辨率之间不一致时的正常显示问题。在该实施方式中，设显示图像Img_d的分辨率为r(d)，而左眼图像和右眼图像的分辨率分别为r(l)和r(r)，一般情况下，r(l)＝r(r)。

首先，计算r(d)与r(l)的比例关系，若r(d)>r(l)，则进行以下处理：计算行和/或列的r(d)/r(l)，获得需要对左眼图像所要插值的行数或列数，例如r(d)＝1024*768，r(l)＝512*768,则r(d)/r(l)＝2，则意味着需要对左眼图像进行行插值处理，处理方式为：

pl_x＝α_x-1pl_x-1+α_x+1pl_x+1+β_k ^＊pr_k；

上式中，pl_x为左眼图像中插值后的图像中的第x个像素，pl_x-1、pl_x+1为pl_x行相邻的两个像素，α_x-1和α_x+1为pl_x-1、pl_x+1对应的加权值。

pr_k为右眼图像中的第k个像素，β_k为其对应的加权值，pl_x和pr_k的位置关系可以前述位置矩阵来确定。这种插值方式既考虑了左眼图像本身的信息又参考了右眼图像中的信息，使得插值后的图像更加接近目标的原来面貌，增强插值后的图像的客观性。

对于右眼图像，也进行类似的插值处理。即：

pr_y＝α_y-1pr_y-1+α_y+1pr_y+1+β_z ^＊pl_z；

上式中，pr_y为右眼图像中插值后的图像中的第y个像素，pr_y-1、pr_y+1为pr_y行相邻的两个像素，α_y-1和α_y+1为pr_y-1、pr_y+1对应的加权值。pl_z为左眼图像中的第z个像素，β_z为其对应的加权值。

利用本发明的技术方案，可以高效地进行数据压缩，节约传输带宽和存储空间；同时考虑了视角图像中的各像素的分辨率与显示像素的分辨率之间的差异，利用多个视角图像对原始图像进行插值，使得在改变分辨率之后，图像仍然能够忠于原目标，提高其显示的客观性；另一方面，本技术方案能够很好地解决色彩失真、锯齿效应严重、摩尔纹的产生等等现象；以及，本发明通过改变透镜的设置和显示图像的位置关系，能够在一定程度上消除裸眼3D的盲区现象。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其他的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (5)

1.一种裸眼立体显示方法，包括以下步骤：

步骤100：获取左眼图像和右眼图像；

步骤200：对左眼图像或者右眼图像按照MPEG4标准进行编码，对不按照MPEG4的一路图像进行差分补偿编码，以获取经编码压缩的立体图像；

步骤300：获取步骤200中的立体图像并解码，生成显示图像，所述显示图像通过提取左眼图像和右眼图像中的相应像素的颜色分量来构建；所述构建方式为：

Img_d_x(R)＝α_r*pr_s(R)+β_r*pl_t(R)；

Img_d_x(G)＝α_g*pr_s(G)+β_g*pl_t(G)；

Img_d_x(B)＝α_b*pr_s(B)+β_b*pl_t(B)；

上式中，Img_d_x为显示图像中的第x个像素，pr_s为右眼图像中的第s个像素，pl_t为左眼图像中第t个像素，α_r、α_g、α_b为pr_s的R、G、B对应的加权值，β_r、β_g、β_b为pl_t的R、G、B对应的加权值；其中：所述Img_d_x、pr_s、pl_t的位置关系通过一位置矩阵来确定，所述位置矩阵在生成或者获取左眼图像和右眼图像时根据摄像机之间的位置关系而确定，该位置矩阵记录了拍摄目标左眼图像中的一个像素和该拍摄目标在右眼图像中的相对应的像素的位置关系；

步骤400：通过透镜阵列输出所述显示图像。

2.如权利要求1所述的裸眼立体显示方法，其特征在于：透镜的宽度为显示像素宽度的2倍。

3.如权利要求1所述的裸眼立体显示方法，其特征在于：透镜轴方向与显示像素的列方向成角度为a的夹角，a的取值范围为7-12，单位为角度。

4.如权利要求3所述的裸眼立体显示方法，其特征在于：若所述步骤300中，左眼图像与显示图像的分辨率不一致，则在生成显示图像之前，还包括：

步骤310：计算显示图像的分辨率r(d)与左眼图像r(l)的比例关系；

步骤320：若r(d)>r(l)，则计算需要对左眼图像所要插值的行数或列数；

步骤330：对左眼图像进行行插值处理，插值方式为：

pl_x＝α_x-1*pl_x-1+α_x+1*pl_x+1+β_k*pr_k；

上式中，pl_x为左眼图像中插值后的图像中的第x个像素，pl_x-1、pl_x+1为pl_x行相邻的两个像素，α_x-1和α_x+1为pl_x-1、pl_x+1对应的加权值；pr_k为右眼图像中的第k个像素，β_k为其对应的加权值。

5.如权利要求3所述的裸眼立体显示方法，其特征在于：若所述步骤300中，右眼图像与显示图像的分辨率不一致，则在生成显示图像之前，还包括：

步骤310：计算显示图像的分辨率r(d)与右眼图像r(r)的比例关系；

步骤320：若r(d)>r(r)，则计算需要对右眼图像所要插值的行数或列数；

步骤330：对右眼图像进行行插值处理，插值方式为：

pr_y＝α_y-1*pr_y-1+α_y+1*pr_y+1+β_z*pl_z；

上式中，pr_y为右眼图像中插值后的图像中的第y个像素，pr_y-1、pr_y+1为pr_y行相邻的两个像素，α_y-1和α_y+1为pr_y-1、pr_y+1对应的加权值；pl_z为左眼图像中的第z个像素，β_z为其对应的加权值。