CN102469322B - 一种平面转立体的图像处理方法 - Google Patents

Abstract

本发明提供一种平面转立体的图像处理方法，包括以下步骤：A.确定连续场景的起始帧和结束帧；B.获取起始帧的深度图；C.对其它帧进行灰度化预处理；D.对灰度化后的帧进行处理获取连续轮廓曲线集合；E.提取轮廓某一方向的坐标信息；F.通过帧差方式计算出轮廓在该方向上的运动值集合；G.通过位移法和相邻像素填补方式获取每帧所对应的深度图；H.根据起始帧至结束帧的深度图进行平面转立体处理。通过上述方法，在进行影片的2D转3D处理时，只需要手工制作影片中若干连续场景起始帧的深度图，即可由相应的图像处理设备自动获得该场景后续所有帧的深度图，从而完成影片的2D转3D处理，有效降低了人工成本，提高了3D转换效率。

Description

一种平面转立体的图像处理方法

技术领域

本发明涉及图像处理技术，尤其涉及一种平面转立体的图像处理方法。

背景技术

图像处理(image processing)技术，即用计算机对图像进行分析，以达到所需结果的技术，又称影像处理技术，2D(平面)图像转为3D(立体)图像的也属于该技术范畴。

由于人眼立体视觉是基于视差而来，因此3D立体显示的基础，就是要以人工方式来重现视差，简单说就是想办法让左右两眼分别看到不同的影像，藉以模拟出立体视觉。在这个基础之下发展出各式各样的3D立体显示技术，主要分为眼镜与裸眼两大类型。

2D转3D技术是指，将没有视差的2D图像，通过2D图像之间的参考关系，获取3D左右眼的视差图像，即各幅图像序列之间，获取存在水平视差的图像进行参考，获取参考信息，参考信息产生深度参考图像，然后该深度参考图像和原始2D图像，通过左右水平视差位移的方式，获取3D左右眼的视差图像。

在2D转3D的过程中，计算机是无法具体识别2D画面内的深度信息，所以导致完全依赖于计算机算法转换出的3D图像，始终无法获得较好的3D立体场景，为了获取较好的3D立体场景，往往需要用人工方式去识别出画面场景的深度信息，这种通过人工方式识别获取的深度图，和具体2D图像生成的3D图像才是较符合真实场景的，但是这种通过每帧人工方式获取深度图的方法，需要耗费巨大的人力成本和增加时间周期，导致这种技术转换3D影片的成本较高，但是许多情况下影片是处于连续的场景中，深度图也是按照有规律的渐变模式进行变化，在这样场景中如果每帧都按照人工方式处理，明显费时费力。

发明内容

本发明方法提供一种平面转立体的图像处理方法，能够自动获取连续场景中所有帧的灰度图，减少人工参与。

本发明的技术方案如下：

一种平面转立体的图像处理方法，包括以下步骤：

A.确定连续场景的起始帧和结束帧；

B.获取起始帧的深度图；

C.对其它帧进行灰度化预处理；

D.对灰度化后的帧进行处理获取连续轮廓曲线集合；

E.提取轮廓某一方向的坐标信息；

F.通过帧差方式计算出轮廓在该方向上的运动值集合；

G.通过位移法和相邻像素填补方式获取每帧所对应的深度图；

H.根据起始帧至结束帧的深度图进行平面转立体处理。

所述的图像轮廓运动检测方法，其中，所述步骤D进一步包括步骤：

D1.对灰度化后的帧采用三点均方差法获取轮廓点集；

D2.通过最小均方差法进行曲线拟合，获取连续轮廓曲线集合。

所述的图像轮廓运动检测方法，其中，在所述步骤E中提取的是水平方向的坐标信息。

所述的图像轮廓运动检测方法，其中，在所述步骤F中，计算出的是在水平方向上的运动值集合。

所述的图像轮廓运动检测方法，其中，在所述步骤F中，所述运动值集合中的正值表示该帧的轮廓点相对前一帧水平向右变化，负值则表示向左变化。

所述的图像轮廓运动检测方法，其中，所述步骤G进一步包括步骤：

G1.根据每帧在指定方向的坐标变化值移动对应的像素点；

G2.移动像素点后按照反向拷贝相邻像素填补留下的空白像素位。

本发明提供的方法在获取连续场景中起始帧的深度图后，自动对后续每帧进行灰度化预处理，然后获取每帧的轮廓点集从而进行曲线拟合，再通过帧差方式获取位移信息，最后通过位移法和相邻像素补填方式自动生成每帧的深度图，在图像进行平面转立体时提高工作效率。

附图说明

图1为本发明平面转立体的图像处理方法较佳实施方式的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了解决现有高质量人工方式2D转3D影片费时费力的情况，本发明提供了一种基于位移法的2D转3D影片深度图生成方法，能够在通过连续场景的第一帧深度图，结合场景序列变化的信息，运用位移算法的方式对深度图进行修改，获取连续场景的深度图，从而使图像处理设备可以根据深度图自动进行图像的3D转换，提高2D转换3D影片的效率。

参考图1，本发明平面转立体的图像处理方法较佳实施方式包括以下步骤：

S1、在对影片进行处理时首先确定影片连续场景的起始帧和结束帧。

S2、获取影片连续场景的第一帧(起始帧)深度图，在实际应用中是在影片连续场景开始时可以通过人工方式，按照实际场景情况，绘制出第一帧的参考深度图Depth Im age_0。

S3、对影片中该连续场景的所有帧进行灰度化处理，在此对连续场景的帧每帧进行最大值法灰度化预处理，获取预处理灰度化图像，表达式为：

f(x，y)＝Max(R(x，y)，G(x，y)，B(x，y))

其中x、y为像素点的坐标位置。

S4、基于影片帧灰度化后的图像，采用三点均方差法获取轮廓点集，并通过最小均方差(MSE)法进行曲线拟合，获取连续轮廓曲线集合，具体步骤包括：对预处理后的灰度化图像使用三点均方差方式获取轮廓点，三点均方差方式是获取位于X坐标上相邻三个亮度点A₀、A₁和A₂，A_MSE为三点的均方平均值，满足公式：J为点A₁和A_MSE的绝对差值，满足公式：J＝|A₁-A_MSE|，S为点A₀和A₀的绝对差值，满足公式：S＝|A₀-A₂|，当J小于轮廓相似阈值C_s，s大于轮廓相差阈值C_d时，可以将A₁作为轮廓边缘点，表达式为：k(D)＝F(A₁，f(J，C_s，S，C_d))

这样通过上述计算即可获取轮廓点集合k(D)，但是这些轮廓点是处于离散状态的，所以需要按照最小均方差方法(MSE)进行曲线拟合，得到深度图处理的连续轮廓曲线集合LK(D)，其中LK(D)＝MSE(k(D))。

S5、获取连续轮廓曲线集合后，提取图像轮廓的X坐标信息。具体步骤包括：获取轮廓曲线集合后，将连续场景的起始帧序号设定为0，连续场景的结束帧序号设定为n，三点均方差方式获取1、2、3、4......n轮廓曲线集合LK(D)₁、LK(D)₂、LK(D)₃，LK(D)₄.........LK(D)_n，由于轮廓点包含的信息有X、Y坐标信息即水平和垂直方向的坐标信息，我们需要提取轮廓集合的水平方向位移信息，所以要先获取连续轮廓曲线集合的X坐标信息：

X(D)₁＝f(LK(D)₁)、X(D)₂＝f(LK(D)₂)、X(D)₃＝f(LK(D)₃)、X(D)₄＝f(LK(D)4).........X(D)_n＝f(LK(D)_n)

S6、通过帧差方式，计算出轮廓的水平运动值集合，在获取连续轮廓曲线集合的X坐标信息后，计算出连续场景0～n帧中前后帧轮廓曲线的X坐标变化集合X_move(D)作为位移参数，用于位移对应的深度图，对应的计算为：

X_move(D)₁＝X(D)₂-X(D)₁，

X_move(D)₂＝X(D)₃-X(D)₂，

X_move(D)₃＝X(D)₄-X(D)₃，

X_move(D)₄＝X(D)₅-X(D)₄，

X_move(D)_n-1＝X(D)_n-X(D)_n-1，

在X坐标变化集合X_move(D)中获取的值是有正负之分的，正值代表轮廓点水平向右变化，反之则向左变化，如果为零表示没有变化。

S7、采用轮廓的水平运动值集合为参数，通过位移法和相邻像素填补方式，获取新的深度图，具体步骤包括：在计算出X坐标变化集合X_move(D)₁、X_move(D)₂、X_move(D)₃、X_move(D)₄.........X_move(D)_n-1后，使用这些变化值对连续场景深度图进行处理，由于第一帧的参考深度图Depth Im age_0已经绘制出来，此时按照X坐标变化集合X_move(D)、轮廓曲线集合LK(D)像素点的X、Y位置，在参考深度图Depth Im age_0上，按照X坐标变化值的距离、方向水平移动对应像素点，即位移法，移动像素点之后，在运动方向的后面会留下空白的像素位，按照反向拷贝相邻像素进行填补，填补完成之后，就能够获取一帧新的深度图，具体表达式为：

Depth Im age_1＝f(X_move(D)₁，LK(D)₁，Dep th Im age_0)，

Depth Im age_2＝f(X_move(D)₂，LK(D)₂，Depth Im age_1)，

Depth Im age_3＝f(X_move(D)₃，LK(D)₃，Depth Im age_2)，

Depth Im age_4＝f(X_move(D)₄，LK(D)₄，Depth Im age_3)，

Depth Im age_n-1=f(X_move(D)_n-1，LK(D)_n-1，Depth Im age_n-2)

其中按照X坐标变化值的距离、方向水平移动对应像素点的描述的具体含义是指，需要移动像素点位置pos(x，y)且pos(x，y)∈LK(D)(该pos(x，y)像素点属于轮廓曲线集合LK(D)，pos(x，y)是轮廓曲线集合其中的像素点)，移动后的像素点位置为pos(x+Δx，y)，Δx为水平移动距离且Δx∈X_move(D)(水平移动距离Δx属于X坐标变化集合X_move(D)，Δx是X坐标变化集合中的一个水平移动值)；其中按照反向拷贝相邻像素进行填补的具体含义是指，当需要移动像素点位置pos(x，y)向左移动时，那么拷贝它相邻右边的像素点进行填充，反之，当需要移动像素点位置pos(x，y)向右移动时，那么拷贝它相邻左边的像素点进行填充。

S8、生成左右视差3D图像，在进行完上述步骤S1～S7后即可获得连续场景的所有帧的深度图{Depth Im age_0，Depth Im age_1，......，Depth Im age_n-1}，此后对原始的2D图像就可以参考对应的深度图，生成左右视差的3D图像，如何根据深度图进行3D转换是本领域的公知技术，在此不再赘述。

通过上述方法，在进行影片的2D转3D处理时，只需要手工制作每一连续场景的起始帧的深度图，即可由相应的图像处理设备如计算机自动获得该场景后续所有帧的深度图，从而可以通过计算机对影片进行2D转3D处理，有效降低了人工成本，提高了3D转换效率。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种平面转立体的图像处理方法，包括以下步骤：

A.确定连续场景的起始帧和结束帧；

B.获取起始帧的深度图；

C.对所有帧进行灰度化预处理；

D.对灰度化后的帧采用三点均方差法获取轮廓点集，通过最小均方差法进行曲线拟合，获取连续轮廓曲线集合；

E.提取连续轮廓曲线集合水平方向上的坐标信息；

F.通过帧差方式计算出连续轮廓曲线集合在水平方向上的运动值集合；

G.以连续轮廓曲线集合的水平运动值集合为参数，通过位移法和相邻像素填补方式获取每帧所对应的深度图；

H.根据起始帧至结束帧的深度图进行平面转立体处理；

所述采用三点均方差法获取轮廓点集，具体包括：获取位于X坐标上相邻三个亮度点A₀、A₁和A₂，A_MSE为三点的均方平均值，满足公式：J为点A₁和A_MSE的绝对差值，满足公式：J＝|A₁-A_MSE|，S为点A₀和A₂的绝对差值，满足公式：S＝|A₀-A₂|，当J小于轮廓相似阈值C_s，S大于轮廓相差阈值C_d时，将A₁作为轮廓边缘点，按照该轮廓边缘点的获取方法得到其余剩下的所有轮廓边缘点，从而得到轮廓点集；

所述以连续轮廓曲线集合的水平运动值集合为参数，通过位移法和相邻像素填补方式获取每帧所对应的深度图，具体包括：在计算连续轮廓曲线集合X坐标变化集合X_move(D)₁、X_move(D)₂、X_move(D)₃、X_move(D)₄………X_move(D)_n-1后，使用所述X坐标变化集合对连续场景深度图进行处理，按照X坐标变化集合X_move(D)、轮廓曲线集合LK(D)像素点的X、Y位置，在第一帧的参考深度图DepthImage_0上，按照X坐标变化值的距离、方向水平移动对应像素点，移动像素点之后，在运动方向的后面会留下空白的像素位，按照反向拷贝相邻像素进行填补，填补完成之后，获取一帧新的深度图。

2.根据权利要求1所述的平面转立体的图像处理方法，其特征在于：在所述步骤F中，所述运动值集合中的正值表示该帧的轮廓点相对前一帧水平向右变化，负值则表示向左变化。