CN102496138A

CN102496138A - 一种二维图像转换为三维图像的方法

Info

Publication number: CN102496138A
Application number: CN2011103611291A
Authority: CN
Inventors: 王蔚生; 那柏林; 刘红; 吴莹莹; 方谨孜; 胡威
Original assignee: East China Normal University
Current assignee: Medium energy laser display technology (Shanghai) Co., Ltd.
Priority date: 2011-11-15
Filing date: 2011-11-15
Publication date: 2012-06-13
Anticipated expiration: 2031-11-15
Also published as: CN102496138B

Abstract

本发明公开了一种二维图像转换为三维图像的方法，包括以下步骤：接收由红绿蓝表示的二维图像；将二维图像转换到YUV色彩空间，并提取出亮度信号空间图像；将亮度信号空间图像分成多个子图像，分别对每个子图像进行小波分析，得到各子图像的小波系数与平均高频系数；获得种子节点，进行区域生长，获得物体的位置和轮廓；根据获得的轮廓的大小，对子图像中物体的周围进行处理；对亮度信号空间图像进行平滑滤波，生成深度图像；利用基于深度图像绘制原理，结合深度图像与二维图像以产生三维图像。利用本发明方法不需要其他信息，不需要额外图像撷取设备，便能够实现将二维图像转换为三维图像。

Description

一种二维图像转换为三维图像的方法

技术领域

本发明涉及图像处理的方法，特别是一种二维图像转换为三维图像的方法。

背景技术

光屏障式3D技术也被称为视差屏障或视差栅栏技术，其原理和偏振式3D较为类似。光屏障式3D技术的实现方法是使用一个开关液晶屏，偏振模和高分子液晶层，利用液晶层和偏振模制造出一系列方向为90度的垂直条纹。这些条纹宽几十微米，通过它们的光就形成了垂直的细条栅模式，称之为“视差障壁”。而该技术正是利用了安置在背光模块及LCD面板间的视差障壁，在立体显示模式下，应该由左眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡右眼；同理，应该由右眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡左眼，通过将左眼和右眼的可视画面分开，使观者看到3D图像。

本发明克服了现有技术中需要采用额外图像撷取设备的不足，提出了一种二维图像转换为三维图像的方法。本发明不需要其他信息，不需要额外图像撷取设备，就可以将二维图像转换为三维图像。

发明内容

本发明提出一种二维图像转换为三维图像的方法，其特征在于，包括以下步骤：

步骤一：接收由红绿蓝表示的二维图像；

步骤二：将所述二维图像转换到YUV色彩空间，并提取出亮度信号空间图像；

步骤三：将所述亮度信号空间图像分成多个子图像，分别对每个子图像进行小波分析，得到各子图像的小波系数与平均高频系数；

步骤四：获得种子节点，进行区域生长，获得物体的位置和轮廓；

步骤五：根据获得的所述轮廓的大小，对所述子图像中物体的周围进行处理；

步骤六：对所述亮度信号空间图像进行平滑滤波，生成深度图像；

步骤七：利用基于深度图像绘制原理，结合深度图像与所述二维图像产生三维图像。

其中，所述步骤二中由红绿蓝表示的二维图像转换到YUV色彩空间的转换方法为：

。

其中，所述步骤三中，对所述二维分块边界数据进行内嵌延拓提升算法，得到高频系数与各子图像的小波系数。

其中，所述内嵌延拓提升算法包括起始阶段、正常运行阶段与结束阶段；

所述起始阶段处理原始图像边界数据的左端数据，奇数列序号的内嵌延拓提升算法为：

所述起始阶段处理原始图像边界数据的左端数据，偶数列序号的内嵌延拓提升算法为：

所述正常运行阶段处理原始图像数据的中间数据，奇数列序号的内嵌延拓提升算法为：

所述正常运行阶段处理原始图像数据的中间数据，偶数列序号的内嵌延拓提升算法为：

所述结束阶段处理原始图像边界数据的右端数据，奇数列序号的内嵌延拓提升算法为：

所述结束阶段处理原始图像边界数据的右端数据，偶数列序号的内嵌延拓提升算法为：

其中，x代表原始图像像素点；x（n）代表该像素点在YUV空间的Y值；y（n）代表通过预测和更新两个步骤得到的小波系数。

其中，所述步骤四中，当所述小波系数的波峰处子图像数量大于阈值T，判定为存在所述物体，获得所述种子节点；所述区域生长的方法为：将所述小波系数大小符合生长准则的子图像标记为1，不符合生长准则的子图像标记为0，根据小波系数做统计时有效波峰的数量，决定生长的种子节点。

其中，所述步骤五中进一步包括：

步骤1：统计红图和黄图的面积、红图与黄图的小波系数；

步骤2：根据红图与黄图之间的位置关系，判断物体相互重叠或者独立；

步骤3：分别计算出红图、黄图与蓝色背景之间相对应的小波系数；

步骤4：在红图、黄图与蓝色背景的边界进行渐变。

其中，所述步骤六中平滑滤波的方法可以采用二维高斯滤波器进行平滑滤波。

其中，通过所述基于深度图像绘制原理生成的三维图像存在空洞，所述空洞可以采用周围像素插值方法进行填充。

本发明采用的技术特征与有益效果：

本发明可以直接由二维图像经过分析得到深度图，结合二维图像与所获得的深度图即可生成三维图像。藉此，本发明不需要其他信息，不需要额外图像撷取设备，就可以将二维图像转换为三维图像。

附图说明

图1为本发明二维图像转换为三维图像的方法的流程图。

图2为本发明二维图像转换为三维图像的方法中小波分析原理图。

图3为本发明二维图像转换为三维图像的方法中内嵌延拓提升算法的框图。

图4为本发明二维图像转换为三维图像的方法中奇数序列的周期延拓示意图。

图5为本发明二维图像转换为三维图像的方法中偶数序列的周期延拓示意图。

图6为本发明二维图像转换为三维图像的方法中种子生长示意图。

图7为本实施例中高斯系数分布及阈值T示意图。

图8为本实施例中子图像中物体间的位置情况示意图。

图9为本实施例由FPGA构架实现本发明功能的电路图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明，本发明的保护内容不局限于以下实施例。以下实施例并不是对本发明的限制。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中。

如图1所示，本发明包括以下步骤：

步骤一：接收由红绿蓝表示的二维图像；

步骤二：将二维图像转换到YUV色彩空间，并提取出亮度信号Y空间图像；

步骤三：将亮度信号Y空间图像分成多个子图像，分别对每个子图像进行小波分析，得到各子图像的小波系数与平均高频系数；

步骤五：根据获得的轮廓的大小，对子图像中物体的周围进行处理；

步骤六：对亮度信号Y空间图像进行平滑滤波，生成深度图像；

步骤七：利用基于深度图像绘制原理，结合深度图像与二维图像产生三维图像。

其中，步骤二中由红绿蓝表示的二维图像转换到YUV色彩空间的转换方法为：

其中，步骤三小波变换中，必须对原始图像分块边界数据进行内嵌延拓提升算法，得到高频系数

与各子图像的小波系数。

其中，内嵌延拓提升算法包括起始阶段、正常运行阶段与结束阶段；

起始阶段处理原始图像边界数据的左端数据，奇偶数列序号的内嵌延拓提升算法分别如式（II）、（III）所示：

正常运行阶段处理原始图像数据的中间数据，奇偶数列序号的内嵌延拓提升算法分别如式（IV）、（V）所示：

结束阶段处理原始图像边界数据的右端数据，奇偶数列序号的内嵌延拓提升算法分别如式（VI）、（ VII）所示：

其中，步骤四通过判断波峰处子图像数量大于阈值T，即判定为一个存在的物体，作为种子节点；区域生长的方法为：将小波系数大小符合生长准则的子图像标记为1，不符合生长准则的子图像标记为0，生长的种子点取决于对小波系数做统计时有效波峰的数量。

其中，步骤五中对物体的周围进行处理包括如下步骤：

步骤1：统计红图和黄图的面积、红图与黄图的小波系数；

步骤4：在红图、黄图与蓝色背景的边界进行渐变。

其中，步骤六中平滑滤波的方法可以采用二维高斯滤波器进行平滑滤波。

其中，通过基于深度图像绘制原理生成的三维图像只存在细小的空洞，空洞可以采用周围像素插值方法进行填充。

本实施例中，首先接收一件二维图像;将该红绿蓝表示的二维图像转换到YUV色彩空间，转换方法如式（I）所示,并提取出亮度信号Y空间图像。

对亮度信号Y空间图像分成若干个子图像，如图2所示，分别对每个子图像进行小波分析。子图像进行二维小波分析时，先对原始图像进行行变换，再对行变换后的图像进行列变换，会分别产生4组小波系数。低频系数：LL，高频系数：LH，HL，HH。其中，小波系数y（n）代表高频还是低频系数，由n决定，当n为奇数时，y（n）代表高频系数，当n为偶数时，y（n）代表低频系数。对小波系数进行运算得到该子图像的平均高频系数。本发明所用的高频系数是LH，HL，HH三者的叠加之和。对子图像进行小波分析的步骤包含对图像边界的拓展和提升5/3小波变换。

小波变换中，必须对原始图像分块边界数据进行对称周期性延拓。但如果将对原始图像边界数据的对称周期延拓作为单独的模块独立于小波变换模块之外，将增加存储器的数量和读写操作，增大硬件的面积。因此本发明提出了一种将对称周期延拓与小波变换模块完全结合在一起的针对5/3小波变换的算法，本实施例中延拓过程如下。

如图3-图5所示，奇数数列为以奇数序号信号起始、偶数序号信号结束；偶数数列为以偶数序号信号起始、奇数序号信号结束。奇偶数列序号的内嵌延拓提升算法采用分段函数表示，用以将边界延拓过程嵌入小波变换中，分为3个阶段：起始阶段、正常运行阶段、结束阶段。

正常运行阶段处理原始图像数据的中间数据，只是少了取整过程，奇偶数列序号的内嵌延拓提升算法分别如式（IV）、（V）所示：

将上个步骤所有得到的高频系数，进行统计。如果，图像当中存在n个可以分别并且清晰度不同的物体，那么高频系数将会集中在n+1个位置。其中n个位置为n个物体的清晰度，另外一个是背景的清晰度（通常情况下视为0）。那么可以分别以n个位置的中心点为种子，进行区域生长，对图像进行大体上的图像分割。

经过小波分析后如图7中所示，横轴代表的小波系数，每个子图像经历过小波变换后都有自己相对应的小波系数。纵轴代表的拥有同小波系数的子图像数量。波峰处子图像数量大于阈值T，才可以判定是图像中单独存在的一个物体，而不是随机的噪声变量，才将其波峰值所对应的小波系数作为生长节点，进行种子生长，以进行区域分割。生长的种子点判断是根据在波峰左右，例如波峰处高频小波系数为A的数量是n，那么如果高频小波系数在0.8A-1.2A之间的数量总和为N，大于阈值T的话，那么可以断定存在高频小波系数为A的单独个体。阈值T的选择是经过大量研究实验统计出来的数组数据。在不同分辨率的图像当中，阈值T有着不同的值，并且

。

如图6所示，在其生长的过程当中，其周围小波系数大小符合生长准则的子图像暂时标记为1，不符合生长准则的子图像暂时标记为0。生长的种子点取决于对小波系数做统计时，有效波峰的数量。

当初步种子生长完成时，大多可以分为两种情况。如图8所示，左图为两个物体重合，前景部分挡住后景。右图为两个物体独立，没有任何交集部分。对此两图有不同的处理方式：

（1）首先统计红图（红色物体）和黄图（黄色物体）的面积（即包含子图像的个数），和红图与黄图的小波系数（与蓝色背景的相对小波系数）。（相对小波系数因为不同物体周围可能存在不同的相对背景）

（2）判断红图（红色物体）与黄图（黄色物体）之间的位置关系，可以分成上图两种，相重叠或者相独立

（3）分别计算出红图（红色物体），黄图（黄色物体）与蓝色背景之间相对应的小波系数

（4）在红图（红色物体），黄图（蓝色物体）与蓝色背景的边界进行渐变（此渐变大小，渐变速度快慢与相对小波系数和图面积有直接关系）。

其中，上述步骤（2）中，如果两个物体图像重合，那么可以将重合的两个物体当做一个物体来进行处理，对其周围的背景深度进行渐进处理，渐进处理程度根据新物体的深度有关。如果两个物体不重合，那么两个物体都是相对独立的，对其周围的背景进行渐进处理根据的是每个物体单独的深度。

空洞问题是用基于深度图像绘制技术合成虚拟视点最主要，也是最难解决的问题。它的表现特征是在虚拟视点图像上，会出现大范围的空白区域。由于空洞产生的根本原因是由于三维场景中物体的深度是不连续的，特别是在物体与物体的交界处，深度出现突变。一种解决空洞问题的思路是：消除或者缓解物体边界处的深度不连续性，也即对相应的深度图进行平滑处理。

对深度进行预处理最典型的方法是采用一个二维高斯滤波器对深度图进行，从而减弱深度的不连续性。经过高斯滤波器处理之后，深度图中每个像素的值都是周围像素的加权平均，并且离目标像素距离越小，相对的权重系数越大；反之，离目标像素距离越大，其权重系数越小。经过高斯滤波器之后，不仅可以平滑深度的不连续性，而且也可以最大程度的保留物体的边缘。

高斯滤波器是一个线性的滤波器，一维连续高斯分布可以表示为：

二维连续高斯分布可以表示为：

经过处理后，物体边缘的深度图不连续性已经大大减弱，利用平滑后的深度图，通过基于深度图像绘制技术绘制虚拟视点，其生成的虚拟视点图像效果只存在细小的空洞，这类空洞一般采用周围像素插值方法可以进行填充。

图9显示的是由FPGA构架实现本发明功能的电路图。其中，模块1用来生成地址，生成的地址访问模块2中的原始RAM1图像数据，将其送给模块3进行小波分析，得到小波分析后的高频分量重新写回RAM2中的数据。模块1,2,3共同完成对原始图像的小波分析，并且将高频图像重新写回RAM1。模块4用来生成地址，访问已经小波分析过的图像，其访问得到的数据将通过模块5完成统计，并且完成滤波和生成深度图像，然后模块5将输出原始图像每个点的地址和其相对应的景深图像。然后后续工作即生成3D图像。

Claims

1.一种二维图像转换为三维图像的方法，其特征在于，包括以下步骤：

步骤一：接收由红绿蓝表示的二维图像；

2.如权利要求1所述二维图像转换为三维图像的方法，其特征在于，所述步骤二中由红绿蓝表示的二维图像转换到YUV色彩空间的转换方法为：

。

3.如权利要求1所述二维图像转换为三维图像的方法，其特征在于，所述步骤三中，对所述二维分块边界数据进行内嵌延拓提升算法，得到高频系数与各子图像的小波系数。

4.如权利要求3所述二维图像转换为三维图像的方法，其特征在于，所述内嵌延拓提升算法包括起始阶段、正常运行阶段与结束阶段；

5.如权利要求1所述二维图像转换为三维图像的方法，其特征在于，所述步骤四中，当所述小波系数的波峰处子图像数量大于阈值T，判定为存在所述物体，获得所述种子节点；所述区域生长的方法为：将所述小波系数大小符合生长准则的子图像标记为1，不符合生长准则的子图像标记为0，根据小波系数做统计时有效波峰的数量，决定生长的种子节点。

6.如权利要求1所述二维图像转换为三维图像的方法，其特征在于，所述步骤五中进一步包括：

步骤1：统计红图和黄图的面积、红图与黄图的小波系数；

步骤4：在红图、黄图与蓝色背景的边界进行渐变。

7.如权利要求1所述二维图像转换为三维图像的方法，其特征在于，所述步骤六中平滑滤波的方法可以采用二维高斯滤波器进行平滑滤波。

8.如权利要求1所述二维图像转换为三维图像的方法，其特征在于，通过所述基于深度图像绘制原理生成的三维图像存在空洞，所述空洞可以采用周围像素插值方法进行填充。