CN102088616A - 将2d影像形成3d影像的影像处理方法 - Google Patents

Abstract

将2D影像形成3D影像的影像处理方法，包含将原始2D影像放大并将其深度图锐化，再根据放大的2D影像及锐化的深度图，进行2D影像的移动、补偿破洞、缩小、合成等步骤，以产生一3D影像。于补偿破洞步骤中，本发明的影像处理方法根据破洞同侧的复数个像素的灰阶的平均值或中值来产生为该破洞的灰阶。如此，可改善3D立体影像中影像或文字模糊或破碎的情况。

Description

将2D影像形成3D影像的影像处理方法

技术领域

本发明是有关于一种影像处理方法，更明确地说，是有关于一种将2D

(2-dimensional)影像形成3D(3-dimensional)影像的影像处理方法。

背景技术

3D立体显示技术为近年来逐渐普及的技术，尤其为娱乐产业相当热门的话题。人类之所以能够看到立体的景物，是因为人类的双眼所看到的景物为各自独立；左眼只能看到左眼范围内的景物，而右眼只能看到右眼范围内的景物。由于人类的双眼是横向并排，且双眼之间存在一间隔距离，因此左眼所看到的影像与右眼所看到的影像会有些微的差异，而此差异即为「视差（Parallax）」。大脑会解读双眼的视差并藉以判断物体远近，以产生立体视觉。因此3D影像的原理，就是要以人工方式来重现视差，亦即让左右两眼分别看到不同的影像，藉以仿真出立体影像。

目前主要3D编码技术之一为2D+景深(2D plus Depth、2D+Z)。2D+Z技术提供一张平面影像再加上其深度图，其中该深度图将平面影像中各位置的深度信息对应为0-255灰阶；举例来说，深度图中灰阶越高，越接近白色的位置代表越前面。显示装置接收2D+Z编码的影像信号后，根据深度图的信息产生出不同视角的影像，以作为3D立体影像。

然而，利用2D+Z所产生的3D立体影像可能会有部分模糊不清或破碎的情况，尤其针对文字部分，文字模糊、甚至破洞的情况更是明显。

发明内容

本发明公开一种将一2D影像形成一3D影像的影像处理方法。该影像处理方法包含将该2D影像以及对应该2D影像的一深度图放大一倍数，以产生一放大2D影像以及一放大深度图；锐化该放大深度图以产生一锐化深度图；根据该锐化深度图，对应移动该放大2D影像；根据移动该放大2D影像所产生的破洞的边缘灰阶来补偿该破洞；缩小补偿破洞后的放大2D影像，以产生一补偿2D影像；以及根据该2D影像及该补偿2D影像，产生该3D影像。如此，本发明可改善3D影像中影像或文字模糊或破碎的情况。

附图说明

图1为说明本发明将2D影像形成3D影像的影像处理方法的流程图。

图2为说明将原始2D影像及其对应深度图放大的一实施例的示意图。

图3为本发明的影像处理方法根据移动放大2D影像所产生的破洞同侧的复数个像素的灰阶来补偿破洞的示意图。

图4为说明本发明的影像处理方法补偿根据移动放大2D影像所产生的复数个破洞的示意图。

具体实施方式

本发明的精神在于根据原始2D影像及所对应的深度图为基础以产生3D影像，并对处理过程中产生的破洞进行补偿，以改善文字或影像因影像处理过程而造成的破碎情形。请参考图1。图1为说明本发明将2D影像X形成3D影像Y的影像处理方法100的流程图。步骤说明如下：

步骤101：开始；

步骤102：接收原始2D影像X及对应原始2D影像X的深度图Z做为输入信息；

步骤104：将原始2D影像X及深度图Z放大4倍，以产生放大2D影像Xm以及放大深度图Zm；

步骤105：锐化放大深度图Zm以产生一锐化深度图Zs；

步骤106：根据锐化深度图Zs，对应移动放大2D影像Xm；

步骤108：根据移动放大2D影像Xm所产生的破洞的边缘灰阶来补偿破洞；

步骤110：缩小补偿破洞后的放大2D影像Xm，以产生一补偿2D影像Xc；

步骤112：根据原始2D影像X及补偿2D影像Xc，产生3D影像Y。

于步骤104中，将原始2D影像X及深度图Z放大4倍是分别将原始2D影像X及深度图Z的宽度及高度各放大为原始尺寸的2倍，以产生放大2D影像Xm及放大深度图Zm。请参考图2。图2为说明将原始2D影像X及深度图Z放大的一实施例的示意图。将原始2D影像X及深度图Z放大的方式是将原始2D影像X及深度图Z的每一原始像素复制为一组复制像素，而每一组复制像素包含一倍数(例如4倍)的复数个原始像素。以原始2D影像X或深度图Z中一像素P为例，如图2所示，其放大方式为将像素P的灰阶拷贝至4个像素，以产生一组复制像素P’。于本实施例中，将像素P的灰阶拷贝至4个像素是将像素P的灰阶拷贝至相邻的4个像素。如此，该组复制像素P’的宽度及高度各为像素P的两倍，亦即该组复制像素P’为像素P的4倍大。

原始2D影像X及深度图Z经过步骤104的放大后，会对应放大之后在步骤106的移动步骤所产生的破洞，使其较为清楚明显，有利于步骤108的补偿破洞的动作。在图2中，将像素P放大为一组复制像素P’的放大方式仅为一实施例，并非限定本发明的范畴，且本发明中将像素P放大的倍数也不限定为4倍。接着，对放大深度图Zm于步骤105中进行锐化以产生一锐化深度图Zs。锐化放大深度图Zm以产生一锐化深度图Zs的锐化工作原理为业界所公知的技术，于此不赘述。由于步骤106中是根据锐化深度图Zs来对应移动放大2D影像Xm，因此步骤105的锐化步骤可强化放大深度图Zm的局部反差，以增加步骤106中根据锐化深度图Zs来对应移动放大2D影像Xm时的准确度。

于步骤106中，根据锐化深度图Zs对应移动放大2D影像Xm是根据锐化深度图Zs的每一像素的灰阶，来移动放大2D影像Xm的对应像素，以和原始2D影像X产生视差。举例来说，移动放大2D影像Xm的对应像素的移动量可根据公式(1)计算：

像素移动量：S(i, j) = D(i, j) / a * G       …(1)

其中变量i、j可为整数，代表像素对应索引值；变量D为锐化深度图Zs中的灰阶值(例如灰阶0-255)；变量G为一整数，其代表一增益值，随着不同的视角而改变；a为一常数(例如介于0-255间的一常数)。

放大2D影像Xm的对应像素完成移动处理后，被移动像素的原始位置会有破洞产生，举例来说，于一实施例中，影像处理方法100将步骤104所产生的放大2D影像Xm的每一像素提高一灰阶，以使放大2D影像Xm不存在有灰阶「0」的像素。如此，放大2D影像Xm的对应像素完成移动处理后，具有灰阶「0」的像素即视为破洞。于步骤108中，本发明的影像处理方法100根据移动放大2D影像Xm所产生的破洞的边缘灰阶来补偿破洞。举例来说，本发明的影像处理方法100，是根据破洞同侧的复数个像素的灰阶的平均值或中值来产生为该破洞的灰阶，其中破洞同侧的该复数个像素并不存在有另一破洞。

于步骤110中，缩小补偿破洞后的放大2D影像Xm是根据补偿破洞后的放大2D影像Xm的复数个像素的灰阶的中值，来产生补偿2D影像Xc的一像素的灰阶。于本实施例中，缩小补偿破洞后的放大2D影像Xm的倍数对应于步骤104中，将原始2D影像X及深度图Z放大的倍数，但不限于此。由于步骤104将原始2D影像X及深度图Z放大4倍，因此在步骤110中，本发明的影像处理方法100将补偿破洞后的放大2D影像Xm缩小4倍。以图2的该组复制像素P’为例，本发明的影像处理方法100于步骤110中根据该组复制像素P’的灰阶的中值，以产生补偿2D影像Xc的一像素的灰阶。于本发明的另一实施例中，影像处理方法100亦可根据补偿破洞后的放大2D影像Xm的复数个像素的灰阶的平均值，来产生补偿2D影像Xc的一像素的灰阶。若在步骤108中有未补偿完毕的破洞，经过步骤110的缩小步骤可使未补偿完毕的破洞看起来不那么明显。已补偿完毕的破洞经过步骤110的缩小步骤后和周围的像素灰阶在视觉上的差异亦对应降低。

将补偿破洞后的放大2D影像Xm缩小为补偿2D影像Xc后，影像处理方法100根据原始2D影像X及补偿2D影像Xc，于步骤112中产生3D影像Y。更明确地说，步骤112是根据不同3D显示器，对应地处理原始2D影像X及补偿2D影像Xc，以合成3D影像Y。举例来说，若3D显示器为电子快门眼镜(shutter glass)，原始2D影像X可作为电子快门眼镜切换至左眼显示时的左眼影像，而补偿2D影像Xc则作为电子快门眼镜切换至右眼显示时的右眼影像。不同3D显示器处理数据的方式原理为业界所公知的技术，于此不赘述。

请参考图3。图3为本发明的影像处理方法根据移动放大2D影像Xm所产生的破洞H同侧的复数个像素的灰阶来补偿破洞的示意图。于本实施例中，影像处理方法100是根据破洞H左侧的6个像素P1-P6的灰阶的平均值或中值来产生破洞H的灰阶。若根据像素P1-P6的灰阶的平均值来产生破洞H的灰阶，则破洞H的灰阶 = (像素P1-P6的灰阶总和) / 6。若根据像素P1-P6的灰阶的中值来产生破洞H的灰阶，则破洞H的灰阶 = 中值(像素P1-P6的灰阶)。由于像素P1-P6的像素数目为偶数，因此像素P1-P6的灰阶的中值为像素P1-P6的灰阶依高低排序后，中间二灰阶的平均值。

在图3中，以破洞H左侧的6个像素P1-P6的灰阶的平均值或中值来产生破洞H的灰阶仅为一实施例，并非限定本发明的范畴。破洞H的同侧的复数个像素可为破洞H的左侧、右侧、上侧、下侧、左上侧、左下侧、右上侧或右下侧等。于另一实施例中，影像处理方法100亦可根据环绕破洞H的像素的灰阶的平均值或中值来产生破洞H的灰阶。然而，若另一破洞存在于环绕破洞H的像素位置，将使影像处理方法100产生破洞H的灰阶的计算结果偏移。因此，影像处理方法100若根据环绕破洞H的像素的灰阶的平均值或中值来产生破洞H的灰阶，需确认环绕破洞H的像素位置并不存在有另一破洞。

另外，本发明的影像处理方法100不限定破洞H同侧的复数个像素需为破洞H的左侧的6个像素。影像处理方法100亦可根据破洞H同侧的不同于6个像素的预设像素数目的灰阶的平均值或中值，来产生破洞H的灰阶。举例来说，影像处理方法100可根据破洞H同侧的9个像素的灰阶的平均值或中值来产生破洞H的灰阶。须注意的是，若影像处理方法100根据破洞H同侧的复数个像素的灰阶来补偿破洞H的像素数目过多或过少，可能导致破洞H于补偿后的灰阶和其周遭像素的灰阶在视觉上的不协调。

于另一实施例中，放大2D影像Xm的对应像素于步骤106完成移动处理后，可能产生复数个相邻的破洞。请参考图4。图4为说明本发明的影像处理方法100补偿根据移动放大2D影像Xm所产生的复数个破洞H1-H3的示意图。于本实施例中，影像处理方法100优先从位于复数个破洞的边缘的破洞开始补偿。如图4所示，破洞H1-H3中破洞H1位于破洞H1-H3的边缘，且破洞H1左侧具有足够(例如6个像素)的非破洞的像素。因此影像处理方法100优先从破洞H1开始补偿。影像处理方法100根据破洞H1左侧的6个像素P1-P6的灰阶的平均值或中值来产生破洞H1的灰阶。影像处理方法100根据破洞H1左侧的6个像素P1-P6的灰阶的平均值或中值来产生破洞H1的灰阶的相关原理相同于图3，于此不赘述。影像处理方法100产生破洞H1的灰阶后，再根据破洞H2左侧的5个像素P2、P3、P7、P5、P6及补偿后破洞H1的灰阶的平均值或中值来产生破洞H2的灰阶，并根据破洞H3左侧的5个像素P5、P6、P8、P9、P10以及补偿后破洞H1的灰阶的平均值或中值来产生破洞H3的灰阶。

综上所述，藉由本发明的影像处理方法，以原始2D影像及其对应的深度图为基础，先将原始2D影像放大并将其深度图锐化，之后再根据放大的2D影像及锐化后的深度图，进行2D影像的移动、补偿破洞、缩小、合成等步骤，以产生一3D影像。于补偿破洞步骤中，本发明的影像处理方法根据破洞同侧的复数个像素的灰阶的平均值或中值来产生为该破洞的灰阶。如此，可改善3D立体影像中影像或文字模糊或破碎的情况。

    以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种将一2D影像形成一3D影像的影像处理方法，其特征在于，包含：

将该2D影像以及对应该2D影像的一深度图放大一倍数，以产生一放大2D影像以及一放大深度图；

锐化该放大深度图以产生一锐化深度图；

根据该锐化深度图，对应移动该放大2D影像；

根据移动该放大2D影像所产生的破洞的边缘灰阶来补偿该破洞；

缩小补偿破洞后的放大2D影像，以产生一补偿2D影像；以及

根据该2D影像及该补偿2D影像，产生该3D影像。

2.如权利要求1所述的影像处理方法，其特征在于，根据移动该放大2D影像所产生的破洞的边缘灰阶来补偿该破洞，是根据该破洞同侧的复数个像素的灰阶产生为该破洞的灰阶。

3.如权利要求2所述的影像处理方法，其特征在于，根据该破洞同侧的复数个像素的灰阶产生为该破洞的灰阶，是根据该破洞同侧的复数个像素的灰阶的平均值产生为该破洞的灰阶。

4.如权利要求2所述的影像处理方法，其特征在于，根据该破洞同侧的复数个像素的灰阶产生为该破洞的灰阶，是根据该破洞同侧的复数个像素的灰阶的中值产生为该破洞的灰阶。

5.如权利要求2所述的影像处理方法，其特征在于，根据该破洞同侧的复数个像素的灰阶产生为该破洞的灰阶，是根据该破洞的左侧、右侧、上侧、下侧、左上侧、左下侧、右上侧或右下侧的复数个像素的灰阶产生为该破洞的灰阶。

6.如权利要求1所述的影像处理方法，其特征在于，将该2D影像以及对应该2D影像的该深度图放大该倍数是将该2D影像及该深度图的一原始像素复制为一组复制像素，该组复制像素包含该倍数的复数个原始像素。

7.如权利要求1所述的影像处理方法，其特征在于，根据该锐化深度图，对应移动该放大2D影像是根据该锐化深度图的每一像素的灰阶值，来移动该放大2D影像的对应像素。

8.如权利要求1所述的影像处理方法，其特征在于，缩小补偿破洞后的放大2D影像以产生该补偿2D影像是根据补偿破洞后的放大2D影像的复数个像素的灰阶值的中值产生该补偿2D影像的一像素的灰阶值。

9.如权利要求1所述的影像处理方法，其特征在于，缩小补偿破洞后的放大2D影像以产生该补偿2D影像是根据补偿破洞后的放大2D影像的复数个像素的灰阶值的平均值产生该补偿2D影像的一像素的灰阶值。

Images