CN101001391B - 一种立体图像编码方法 - Google Patents

Abstract

本发明涉及一种立体图像编码方法，其特征是首先由摄像系统拍摄或由计算机软件直接生成八幅视差图，然后分别从这八幅视差图像的右上角开始从右至左在每行上按每次取三个子像素，共取三行九子像素的方式，并通过软件编程依次分别将它们排列成从右上方向左下方的阶梯状斜线，形成八个九子像素的列，再将这八个九子像素列在合成图上按从右向左以视差为顺序进行周期性排列，再重复以上操作，直到合成图的左边缘，其次，子像素在编码合成图时需根据矩阵显示器的红绿蓝三基色的排列特点进行位置的交换。根据上述的操作再重复下一九行子像素的排布，直到合成图的下边缘，从而完成整幅合成图的编码。本发明具有方法简单，易于计算机编程实现的特点。

Description

一种立体图像编码方法

一、技术领域

本发明涉及裸眼三维(3D)立体显示技术领域，特别是涉及一种裸眼三维立体显示领域中的立体图像的编码方法。

二、背景技术

裸眼三维(3D)立体显示器由于不像传统的立体图像显示器那样需要观看者佩带偏振眼镜、互补色眼镜或者液晶开关眼镜之类等辅助工具，就可使用户获得十分逼真的三维立体效果，从而让用户在观看立体显示器的时候眼睛不受限制，是完全自由的，用户能在同时进行除了观看显示器以外的其他工作，并且一台显示器可以实现三维与二维显示功能的相互兼容，这使它在虚拟现实技术、3D游戏、3D广告、航空航天、核技术、生物分子等领域有十分诱人的应用前景。裸眼三维(3D)立体显示器与普通的图像显示器一样作为信息传递中人类接受外部信息的重要设备，它具有信息量更大、能将实际场景的三维信息全部再现出来的特点，使观看者可以从显示器上直接看出图像中各物体的远近、纵深，因此观看者能获得更加全面而直观的信息。

目前，基于双目视差而开发出的裸眼三维(3D)自由立体显示器主要是光栅式3D自由立体显示器。它由2D平面矩阵显示器上加装光栅而成，分为光栅前置式和光栅后置式，即光栅可位于背光源与矩阵显示板之间或矩阵显示板面向观众的那面。光栅可为柱面光栅或狭缝光栅，柱面光栅又称为柱面透镜光栅或柱镜透镜，狭缝光栅又称为视障档板或狭缝档板。光栅可以是电动控制的也可以是非电动的。2D平面矩阵显示器包括常规液晶显示器LCD、等离子显示器PDP、场发射显示器FED、有机电致发光显示器OLED等像素按矩阵排列的平面显示器。无论是光栅前置式和光栅后置式裸眼三维(3D)自由立体显示器，它均采用的是狭缝光栅分光或柱面光栅分光的原理，如图1和图2所示。即将形成立体图像的左右眼视图同时显示在矩阵显示器上，通过狭缝光栅或柱面光栅的分光使观看者在一定距离范围内其左右眼能观看到不同的视图，从而获得立体感。除了上述的狭缝光栅或柱面光栅的分光作用对基于双目视差而开发出的裸眼三维(3D)自由立体显示器十分重要外，左右眼视图在矩阵显示器上的编码方式对最后的立体图像观看也有十分重要的影响。如影响图像的对比度，图像的色彩还原，不恰当的立体图像编码还有可能会使图像产生畸变，甚至在程序编制上变得十分复杂、甚至难以实现等。

三、发明内容

为此，本发明提出了一种新的立体图像编码方法。它根据矩阵显示器的像素显示单元从左向右具有按R(红)、G(绿)、B(蓝)三基色周期性排列的结构性质，如对角线为19英寸的液晶显示器(一种矩阵显示器)，若其物理分辨率为1280×1024，表示该显示器的像素有1024行，1280列，它包含的子像素数目就为3×1280×1024个，其左上角第一个像素就包含R、G、B三个子像素，该三个子像素按从左到右(或相反)的方式依次排列，该行最后一个像素即最右上角的像素其排列方式仍为R、G、B(或相反)，依次类推，如图3所示(这里只画出了前8个像素及其子像素排列的情况)。以及本发明一种立体图像编码方法还结合反立体图像形成区域需尽可能少的需要，特别是提出了一种针对八幅视差图编码成一幅立体图像的图像编码方法，它具有使合成图像的畸变小、编程易于实现等优点。

一种立体图像编码方法是采用下述技术方案实现的。首先由摄像系统拍摄或由计算机软件直接生成八幅彩色视差图，这些视差图是按一定位置摆放的八台摄像或照相系统对同一场景进行拍摄而得到的该场景不同侧面的图像。然后，分别从这八幅视差图像的右上角开始从右至左在每行上按每次取三个子像素，共取三行九子像素的方式，并通过软件编程依次将它们排列成从右上方向左下方的阶梯状斜线，形成八个九子像素的列。再将这八个呈阶梯状斜线排列的九子像素列在合成图上按从右向左以视差为顺序进行周期性排列，再重复以上操作，直到合成图的左边缘。其次，八幅视差图在编码合成图时，需根据矩阵显示器的红绿蓝三基色的排列特点进行子像素位置的交换，以保证编码后的合成图与原视差图在色彩上的一致性。在完成上述九行子像素的排布之后，根据上述的操作再从上至下进行下一九行子像素的排布，直到合成图的下边缘，从而完成整幅合成图的编码。

例如第8幅视差图最右上角像素的蓝色子像素将在合成图上的位置保持不变，而其绿色子像素将放置在合成图上第二行右起的第二(绿色)子像素的位置，其红色子像素将放置在合成图上第三行右起的第三(红色)子像素的位置。第八幅视差图第二行右起第一像素的蓝色子像素则通过程序将其置于在合成图中第四行右起的第四(蓝色)子像素的位置，该像素的绿色子像素则通过程序将其置于在合成图中第五行右起的第五(绿色)子像素的位置，该像素的红色子像素则通过程序将其置于在合成图中第六行右起的第六(红色)子像素的位置。第八幅视差图右上角第三行上右起第二到第四个子像素(依次为绿、红、蓝)则分别通过程序将绿色置于合成图中第八行右起的第八(绿色)子像素的位置，红色置于合成图中第九行右起的第九(红色)子像素的位置，蓝色置于合成图中第七行右起的第七(色)子像素的位置。最后，将这一循环中第八幅视差图的第三行上右起第一个子像素(蓝色)置于合成图中第九行右起第一个子像素(蓝色)的位置。其余的第7到第1幅视差图均按与此类似的方法进行子像素的操作，经过不断的从右至左再从上至下的循环，最终编码形成一副完整的合成图。

四、附图说明

图1为狭缝光栅前置式裸眼自由立体显示器原理示意图。

图2为柱面光栅前置式裸眼自由立体显示器原理示意图。

图3的a、b、c、d、e、f、g、h分别表示8幅视差图及从它们中取像素的方式的示意图。

图4为由8幅视差图编码成一幅合成图的方法的示意图。

其中，1表示背光源，2表示矩阵显示器的图像层，3表示狭缝光栅，4表示柱面透镜光栅，5表示第八幅视差图中的一个红色子像素，6表示矩阵显示器合成图中的一个绿色子像素。

五、具体实施方式

下面采用八副彩色视差图并结合附图通过实施例对本发明作进一步的说明。

首先，根据合成编码图分辨率的大小决定单幅视差图的分辨率。设合成编码图的分辨率为W×H，其中W表示合成图的列数，H表示合成图的行数，则单幅视差图的分辨率为int(W/8×3)×int(H/3)，其中函数int表示取整。图3的a、b、c、d、e、f、g、h表示了单幅视差图的部分像素结构。

其次，依次将第八幅视差图即a中的1B8、1G8、1R8(被加方框的数字)分别通过程序将其置于图4中的1B8、2G8、3R8的位置(被加方框的数字)，再依次将第八幅视差图即a中的2B8、2G8、2R8(被加方框的数字)分别通过程序将其置于图4中的4B7、5G7、6R7的位置(被加方框的数字)，然后依次将第八幅视差图即a中的3B7、3G8、3R8(被加方框的数字)分别通过程序将其置于图4中的7B6、8G6、9R6的位置(被加方框的数字)，最后将a中的3B8通过程序将其置于图4中9B8的位置。

同理，依次将第七幅视差图即b中的1B8、1G8、1R8(被加方框的数字)分别通过程序将其置于图4中的3B7、1G8、2R8的位置(被加方框的数字)，再依次将第七幅视差图即b中的2B8、2G8、2R8(被加方框的数字)分别通过程序将其置于图4中的6B6、4G7、5R7的位置(被加方框的数字)，然后依次将第七幅视差图即b中的3B7、3G7、3R8(被加方框的数字)分别通过程序将其置于图4中的9B5、7G6、8R6的位置(被加方框的数字)，最后将b中的3B8、3G8通过程序将其置于图4中8B8、9G8的位置。

同理，依次将第六幅视差图即c中的1B8、1G8、1R8(被加方框的数字)分别通过程序将其置于图4中的2B7、3G7、1R8的位置(被加方框的数字)，再依次将第六幅视差图即c中的2B8、2G8、2R8(被加方框的数字)分别通过程序将其置于图4中的5B6、6G6、4R7的位置(被加方框的数字)，然后依次将第六幅视差图即c中的3B7、3G7、3R7(被加方框的数字)分别通过程序将其置于图4中的8B5、9G5、7R6的位置(被加方框的数字)，最后将c中的3B8、3G8、3R8通过程序将其置于图4中7B8、8G8、9R8的位置。

同理，依次将第五幅视差图即d中的1B8、1G8、1R8(被加方框的数字)分别通过程序将其置于图4中的1B7、2G7、3R7的位置(被加方框的数字)，再依次将第五幅视差图即d中的2B7、2G8、2R8(被加方框的数字)分别通过程序将其置于图4中的4B6、5G6、6R6的位置(被加方框的数字)，然后依次将第五幅视差图即d中的3B7、3G7、3R7(被加方框的数字)分别通过程序将其置于图4中的7B5、8G5、9R5的位置(被加方框的数字)，最后将d中的2B8、3B8、3G8、3R8通过程序将其置于图4中6B8、9B7、7G8、8R8的位置。

同理，依次将第四幅视差图即e中的1B8、1G8、1R8(被加方框的数字)分别通过程序将其置于图4中的3B6、1G7、2R7的位置(被加方框的数字)，再依次将第四幅视差图即e中的2B7、2G7、2R8(被加方框的数字)分别通过程序将其置于图4中的6B5、4G6、5R6的位置(被加方框的数字)，然后依次将第四幅视差图即e中的3B7、3G7、3R7(被加方框的数字)分别通过程序将其置于图4中的9B4、7G5、8R5的位置(被加方框的数字)，最后将e中的2B8、2G8、3B8、3G8、3R8通过程序将其置于图4中5B8、6G8、8B7、9G7、7R8的位置。

同理，依次将第三幅视差图即f中的1B8、1G8、1R8(被加方框的数字)分别通过程序将其置于图4中的2B6、3G6、1R7的位置(被加方框的数字)，再依次将第三幅视差图即f中的2B7、2G7、2R7(被加方框的数字)分别通过程序将其置于图4中的5B5、6G5、4R6的位置(被加方框的数字)，然后依次将第三幅视差图即f中的3B7、3G7、3R7(被加方框的数字)分别通过程序将其置于图4中的8B4、9G4、7R5的位置(被加方框的数字)，最后将f中的2B8、2G8、2R8、3B8、3G8、3R8通过程序将其置于图4中4B8、5G8、6R8、7B7、8G7、9R7的位置。

同理，依次将第二幅视差图即f中的1B7、1G8、1R8(被加方框的数字)分别通过程序将其置于图4中的1B6、2G6、3R6的位置(被加方框的数字)，再依次将第二幅视差图即f中的2B7、2G7、2R7(被加方框的数字)分别通过程序将其置于图4中的4B5、5G5、6R5的位置(被加方框的数字)，然后依次将第二幅视差图即f中的3B7、3G7、3R7(被加方框的数字)分别通过程序将其置于图4中的7B4、8G4、9R4的位置(被加方框的数字)，最后将f中的1B8、2B8、2G8、2R8、3B8、3G8、3R8通过程序将其置于图4中3B8、6B7、4G8、5R8、9B6、7G7、8R7的位置。

同理，依次将第一幅视差图即h中的1B7、1G7、1R8(被加方框的数字)分别通过程序将其置于图4中的3B5、1G6、2R6的位置(被加方框的数字)，再依次将第一幅视差图即h中的2B7、2G7、2R7(被加方框的数字)分别通过程序将其置于图4中的6B4、4G5、5R5的位置(被加方框的数字)，然后依次将第一幅视差图即f中的3B7、3G7、3R7(被加方框的数字)分别通过程序将其置于图4中的9B3、7G4、8R4的位置(被加方框的数字)，最后将h中的1B8、1G8、2B8、2G8、2R8、3B8、3G8、3R8通过程序将其置于图4中2B8、3G8、5B7、6G7、4R8、8B6、9G6、7R7的位置。

通过上述从8幅视差图取像素并编码形成合成图的这一特定的编码方式，将取遍了8幅视差中每一副视差图中被方框示出的子像素部分及8幅视差中每一副视差图中右下角未被方框示出的子像素部分，并且它们被有规律的放入合成图即图4中的被方框示出的子像素部分以及图4中从第1到第9行的右下角未被方框示出的子像素部分。

若将图3的a、b、c、d、e、f、g、h中的方框整体向左平移3个子像素，该方框将选中下一周期用于编码成合成图的像素，将这些像素通过程序读取出并照上述原理继续向左编码依次填入图4的1B3～1R6行，9R1～9G3列中，之后，将是这一过程的重复，从而得到图4中从第1到第9行所示的编码结果。即横向经过24个子像素后将周期性地出现图4中第1到第9行所示的编码结果，纵向经过81个子像素后也将周期性地出现图4中第1到第9行所示的编码结果，因此，在程序的编制上是很容易实现这一过程的。

从上述8幅视差图取像素并编码形成合成图的这一特定的编码方式上看，最后编码形成的合成图没有损失原8幅视差图的任何图像信息，即8幅视差图中的每一个子像素均被编码进了合成编码图中，保证了原图像信息的真实性。

为了说明问题的方便，以上实施例仅举出的视差图的分辨率仅为3×3，而合成图分辨率为8×9的情况，其实它可实用于任何分辨率的八幅视差图像的合成，因此，任何其它分辨率的8幅视差图按本发明提出的立体图像编码方法而合成的合成图均在本发明的保护范围以内。

此外，本发明一种立体图像编码方法提到的合成图4中第八幅视差图所在的位置可以是另外的视差图被编码后的位置，则合成图4中其它视图的位置也将相应发生变动，因此，任何其它合成图中仅多幅视差图的编号发生变化，而编码本身是按本发明提出的立体图像编码方法而得到合成图的方法均在本发明的保护范围之内。

此外，本发明一种立体图像编码方法是以红绿蓝三基色R、G、B子像素按从左到右排列结构的矩阵显示器为实施例来介绍的，但针对红绿蓝三基色R、G、B子像素是按从右到左的排列结构的矩阵显示器，本发明提出的立体图像编码方法依然是可行的，同样在本发明的保护范围之内。

Claims (9)

1.一种立体图像编码方法，其特征在于首先由摄像系统拍摄或由计算机软件直接生成八幅彩色视差图，然后，分别从这八幅视差图像的右上角开始从右至左在每行上按每次取三个子像素，共取三行九子像素的方式，并依次将它们排列成从右上方向左下方的阶梯状斜线，形成八个九子像素的列，再将这八个呈阶梯状斜线排列的九子像素列在合成图上按从右向左以视差为顺序进行周期性排列，再重复以上操作，直到合成图的左边缘，其次，八幅视差图在编码合成图时，需根据矩阵显示器的红绿蓝三基色的排列特点进行子像素位置的交换，在完成上述九行子像素的排布之后，根据上述的操作再从上至下进行下一九行子像素的排布，直到合成图的下边缘，从而完成整幅合成图的编码。

2.根据权利要求1所述的方法，其特征是从这八幅视差图像的右上角顶端开始从右至左在每行上按每次取三个子像素R、G、B，共取三行9个子像素的方式，完成第一轮图像的读取。

3.根据权利要求2所述的方法，其特征是在第一轮图像的读取中，从其中之一幅视差图像的每一行右端取子像素的起始点，由该幅视差图像在编码合成图中从右端开始并以8列乘9行为单元的子像素阵列中该幅视差图像所处的位置而决定，而该幅视差图像所处的位置则由拍摄图像时的视差顺序决定。

4.根据权利要求1所述的方法，其特征是将从其中之一幅视差图像中取出的9个子像素按矩阵显示器R、G、B三基色的排列结构，在合成图中按从右上方开始向左下方的斜线重新排列成阶梯状，并依次错开一个子像素的宽度，保持读取自同一视差图第一行的子像素仍排列在最上端，读取自同一视差图第二行的子像素仍排列在中间，读取自同一视差图第三行的子像素仍排列在下端。

5.根据权利要求1或4所述的方法，其特征是以从每一副视差图像中取出的9个子像素排列成阶梯状后形成的一个子像素列为单位从右向左以视差为顺序依次排列，排完八个九子像素列。

6.根据权利要求1或3所述的方法，其特征是第一轮图像读取后每一副视差图剩余的子像素依然按矩阵显示器R、G、B三基色的排列结构在合成图中按从右上方开始向左下方的斜线重新排列成阶梯状，并依次错开一个子像素的宽度，形成八个从一个子像素到八个子像素的列，将它们排布在合成图中第一个8列乘9行的子像素阵列中的右下方。

7.根据权利要求1所述的方法，其特征是完成从这八幅视差图中的第一轮子像素读取之后，再进行第二轮的在这八幅视差图中从右向左的在每行上按每次取三个子像素R、G、B，共取三行9个子像素的读取，再重复权利要求4、5所述的方法，排完第二轮八个九子像素列，依此重复，直到合成图的左边缘。

8.根据权利要求1或4所述的方法，其特征是从每一副视差图像中取出的9个子像素在按从右上方开始向左下方的重新排列成阶梯状时，需进行子像素位置的交换以保持与矩阵显示器红绿蓝三基色所在位置一致。

9.根据权利要求1所述的方法，其特征是当从右至左以3个8列乘9行为单元的周期性排列到图像的左边缘之后，再重复权利要求2到8的操作，进行下一个九行排列，直到合成图像的下边缘。

Images