CN103888752A - 二维影像至三维影像的影像转换方法及影像转换装置 - Google Patents

Abstract

本发明公开了一种二维影像至三维影像的影像转换方法及影像转换装置。此一影像转换方法先取得零像差处的深度值，并判断所要转换的影像像素是否位于影像的边缘区域内。若影像像素位于边缘区域内，则先取得原始的影像深度值，并以影像像素与影像边缘间的距离来决定第一与第二比重值，之后再以零像差处的深度值、原始的影像深度值、第一比重值与第二比重值来决定在三维显示时的影像像素的深度值。

Description

二维影像至三维影像的影像转换方法及影像转换装置

技术领域

本发明是有关于一种影像转换方法及装置，尤其是有关于一种二维影像至三维影像的影像转换方法及影像转换装置。

背景技术

随着拟真影像的需求日益增加，三维影像的数据建置需求也日益增加。若要将新的数据建置成三维影像，可以直接使用新颖的拍摄技巧来进行数据建置的处理。但若要将旧有的数据建置成三维影像，就必须重新设计、安排数据之后再进行三维影像拍摄，而旧有的数据也就没有继续存在的价值了。这种翻新数据的方式，不仅使得制作成本高涨，同时也浪费了当初建置旧有数据时所花费的人力与物力。

为了降低成本并减少人力、物力的浪费，市场上已经积极的开发将二维影像数据转换为三维影像数据的技术，并且有了一定程度的进展。

在现有技术将二维至三维影像转换过程中，不可避免的会有“破洞”(hole)的产生。当破洞产生时，一般的做法都是直接切除这一块边缘区域的影像，再藉由视觉暂留等视觉上的物理特性来补偿被切除的影像所造成的影响。

然而，直接切除部分影像并藉由视觉上的物理特性进行补偿的这类做法，可能导致其他的问题产生。例如，转换后的三维影像的画面将小于原来二维影像的画面；又例如，使用者在观赏三维影像的时候，由于其中一眼能看到完整的影像而另一眼只能看到被切除后的影像，所以边缘区域影像亮度会产生衰减的现象，这种现象明显降低了显示的品质；再例如，在多视角(multi-view)的应用环境中，用来替代被切除的部分影像的黑色区域将会特别明显，这也会严重影响显示的结果。

发明内容

有鉴于在使用现有技术时所造成的上述困扰，本发明希望藉由新颖的方式处理边缘区域的破洞，达到改善旧有技术因为影像转换时出现的破洞所造成的影像品质下滑现象的目的。

本发明所提供的二维影像至三维影像的影像转换方法包括：取得零像差处的深度值以做为零像差深度值，另判断所要转换的影像像素是否位于二维影像的边缘区域内。假若所要转换的影像像素位于边缘区域内，则取得此影像像素的所对应深度值以做为原始影像深度值，并取得影像像素与影像的边缘间的距离以做为边缘距离值。在取得边缘距离值之后，就利用边缘距离值来决定第一比重值与第二比重值的数值大小。接下来则以先前取得的零像差深度值与第一比重值的乘积，加上由原始影像深度值与第二比重值相乘而得的乘积，得到一个转换后深度值，并以所得到的转换后深度值做为在三维显示时的这一个影像像素的深度值。

本发明还提出一种二维影像至三维影像的影像转换装置，包括：深度影像处理单元以及三维影像产生单元。其中，深度影像处理单元用以接收与二维影像相对应的多个原始影像深度值，而每一个原始影像深度值对应至二维影像中的一个影像像素；三维影像产生单元则接收二维影像以及由边缘深度值计算元件所输出的转换后深度值，以藉此产生对应的三维影像。更详细地说，深度影像处理单元包括边缘区域设定元件以及边缘深度值计算元件。边缘区域设定元件用以接收上述的原始影像深度值，并根据预定范围长度值以确定对应至二维影像的边缘区域内的影像像素。边缘深度值计算元件用以对每一个原始影像深度值提供相应的一个转换后深度值。其中，与位于二维影像的边缘区域以外的影像像素所相对应的任一个原始影像深度值，被直接提供做为相对应的转换后深度值；而与位于二维影像的边缘区域以内的任一个影像像素的原始影像深度值所对应的转换后深度值，则是以零像差处所对应的零像差深度值乘上第一比重值所得的乘积进一步与原始影像深度值乘上第二比重值后的乘积相加而得。所述的第一比重值与第二比重值系根据此原始影像深度值所对应的影像像素与二维影像的边缘间的边缘距离值进行调整。

本发明因在边缘区域采用与其他区域不同的二维至三维影像转换处理方式，因此可以有效的填补在边缘区域所产生的破洞现象，进而改善原有技术因边缘破洞所造成的影像品质下降的缺陷。

附图说明

图1为根据本发明一实施例的二维影像至三维影像的影像转换装置的电路方块图；

图2为根据本发明一实施例的影像区域划分示意图；

图3为根据本发明另一实施例的深度影像处理单元的内部电路方块图；

图4A为根据本发明一实施例的第一比重值与第二比重值的变化曲线图；

图4B为根据本发明另一实施例的第一比重值与第二比重值的变化曲线图；

图5为根据本发明一实施例的二维影像至三维影像的影像转换方法的流程图；

图6为根据本发明一实施例的用于判断影像像素是否位于边缘区域内的流程图。

其中，附图标记：

10：二维影像至三维影像的影像转换装置

100：深度影像处理单元

102：边缘区域设定元件

104：边缘深度值计算元件

106：输入接口

108：零像差深度值设定元件

120：储存元件

150：三维影像产生单元

IN：输入端

OUT：输出端

d₁～d₄、d_x：预定范围长度值

e₁～e₄：边界

f₁(d_x)、f₂(d_x)：函式

P₁、P₂：影像像素(像素)

w₁：第一比重值

w₂：第二比重值

S500～S530：本发明一实施例的二维影像至三维影像的影像转换方法的步骤

S602、S604：本发明一实施例的用于判断影像像素是否位于边缘区域内的步骤

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

请参照图1，其为根据本发明一实施例的二维影像至三维影像的影像转换装置的电路方块图。如图1所示，二维影像至三维影像的影像转换装置10包括了一个深度影像处理单元100以及一个三维影像产生单元150。深度影像处理单元100进一步包括了一个边缘区域设定元件102以及一个边缘深度值计算元件104，且深度影像处理单元100从输入端IN接收即将要进行转换的二维影像的影像数据，而三维影像产生单元150则由输出端OUT输出要于显示面板显示的三维影像的影像数据。其中，显示面板包含自发光显示面板(例如:有机电激发光显示面板或其它合适的显示面板)、非自发光显示面板(例如:液晶显示面板或其它合适的显示面板)或其它合适的显示面板。

深度影像处理单元100从输入端IN所接收的二维影像包括了许多的影像像素，而二维影像的影像数据则包括了与这些影像像素相对应的原始影像深度值。由于一般的二维影像数据或许不会包含有预备运用于三维影像显示的原始影像深度值，因此在深度影像处理单元100所要处理的对象是影像深度值的前提下，可以预先采用深度图像产生器(Depth Map Generator)对二维影像进行图像分析，并藉此产生深度影像处理单元100所需的原始影像深度值。或者，从另一个角度来看，深度图像产生器也可以被内含在深度影像处理单元100之中，进一步使深度影像处理单元100可以直接适用在处理一般的二维影像数据的应用上。

在获得原始影像深度值之后，深度影像处理单元100会将这些原始影像深度值传送给边缘区域设定元件102。边缘区域设定元件102接收这些原始影像深度值，并根据设定好的预定范围长度值来确定有哪一部份的影像像素位于原本二维影像的边缘区域内。请一并参照图2，其为根据本发明一实施例的影像区域划分示意图。如图2所示，依照需要，可以在一个影像的一个方向上或多个方向上划设边缘区域。例如，以与影像左侧边缘相距d₁的边界e₁为划分线，在边界e₁以左的那一块区域就是上述的二维影像的边缘区域，而d₁就相当于上述的预定范围长度值。以此来看，像素P₁就落于二维影像的边缘区域之内，而像素P₂就落于二维影像的边缘区域之外，或者换个说法，像素P₂就落于二维影像的中央区域之内。

对于要将影像往右平移(shift)以制造立体效果的影像处理需求来说，左侧的边缘区域设定就可以满足对于左侧的破洞现象所进行的填补操作的需求。类似的，若要将影像往左平移以制造立体效果，那么以与影像右侧边缘相距d₂的边界e₂为划分线、在边界e₂以右的那一块区域就是符合需求的边缘区域，而此时的d₂就相当于上述的预定范围长度值；若要将影像往下平移以制造立体效果，那么以与影像上侧边缘相距d₃的边界e₃为划分线、在边界e₃以上的那一块区域就是符合需求的边缘区域，而此时的d₃就相当于上述的预定范围长度值；若要将影像往上平移以制造立体效果，那么以与影像下侧边缘相距d₄的边界e₄为划分线、在边界e₄以下的那一块区域就是符合需求的边缘区域，而此时的d₄就相当于上述的预定范围长度值。

以向右平移影像以制造立体效果的例子来看，边缘区域设定元件102可以采用任何可能的方式先取得预定范围长度值d₁。举例来说，预定范围长度值d₁可能是一个在产品出厂之初就已经被设定好的一个固定数值，而边缘区域设定元件102只要到储存预定范围长度值d₁的元件中取得数据即可；或者，请一并参照图3，在边缘区域设定元件102中可以加入一个输入接口106，以让使用者在需要决定预定范围长度值的时候能够有即时输入的使用接口。

请参照图1与图2，在获得预定范围长度值d₁之后，边缘区域设定元件102就可以进行判断影像像素是否位于原本二维影像的边缘区域内的操作。举例来说，由于影像像素P₁位于二维影像的左侧边缘区域内，因此当边缘区域设定元件102处理到影像像素P₁的时候，就会将影像像素P₁归类为位于边缘区域内的影像像素；相对的，由于影像像素P₂不在二维影像的左侧边缘区域内，因此当边缘区域设定元件102处理到影像像素P₂的时候，就会将影像像素P₂归类为位于边缘区域之外的影像像素。

边缘区域设定元件102的分类结果会被传送到边缘深度计算元件104，随之一并被传送到边缘深度计算元件104的还可以包括与这些影像像素相对应的原始影像深度值。当然，各原始影像深度值可以储存在特定的元件中，并在需要的时候进行存取，如图3所示者即是。请合并参照图3，从输入端IN所接收的各原始影像深度值可以同时被传送到边缘区域设定元件102并储存在储存元件120之中；或者，原始影像深度值仅被储存在储存元件120之中，并在边缘深度值计算元件104需要取得或更改原始影像深度值的时候由边缘深度值计算元件104对储存元件120进行存取操作。

无论是采用图1或图3的方式来存取原始影像深度值，边缘深度值计算元件104都会对每一个原始影像深度值提供一个在显示三维影像时所使用的、相对应的转换后深度值。当所处理的影像像素处于边缘区域以外的时候，例如影像像素P₂，边缘深度值计算元件104就会将影像像素P₂原本对应的原始影像深度值直接输出为影像像素P₂的转换后深度值。这个转换后深度值可以如图1所示般直接被边缘深度值计算元件104提供给三维影像产生单元150；或者，在如图3所示的电路架构中，转换后深度值会先被储存在储存元件120之中，再于三维影像产生单元150需要数据的时候由三维影像产生单元150到储存元件120中取得。在另一个实施例中，边缘深度值计算元件104在图3所示的电路架构下也可以将转换后深度值直接提供给三维影像产生单元150。

而当所处理的影像像素处于边缘区域之内的时候，例如影像像素P₁，则边缘深度值计算元件104就依照下式(1)来计算影像像素P₁的转换后深度值：

Z_output＝(w₁{f₁(d_x)}×Z_ZD)+(w_z{f₂(d_x)}×Z_original)      (1)

其中，标号Z_ZD是零像差深度值，标号Z_original是上述各影像像素所对应的原始影像深度值，标号Z_output则是上述的转换后深度值。此外，w₁{f₁(d_x)}是以函式f₁(d_x)为变数的函式，而f₁(d_x)则是以边缘距离值(也就是预定范围长度值)d_x为变数的函式，函式w₁{f₁(d_x)}的值，也就是图4A与4B中所示的w₁，后续被称为第一比重值；类似的，w₂{f₂(d_x)}是以函式f₂(d_x)为变数的函式，而f₂(d_x)同样是以边缘距离值d_x为变数的函式，函式w₂{f₂(d_x)}的值，也就是图4A与4B中所示的w₂，后续被称为第二比重值。函式f₁(d_x)与f₂(d_x)可以是线性或非线性的函式，分别如图4A与图4B所示。

更清楚地说，当边缘深度值计算元件104处理到类似影像像素P₁这一类位于边缘区域以内的影像像素的时候，边缘深度值计算元件104就会先取得零像差深度值Z_ZD、影像像素P₁所对应的原始影像深度值Z_original以及影像像素P₁所处位置的第一比重值与第二比重值。在得到这些相关数据之后，边缘深度值计算元件104就会以上述式(1)来计算影像像素P₁在三维显示时的转换后深度值。而从图4A与图4B来看，在这两个实施例中，第一比重值会随着边缘距离值d_x的增加而下降，第二比重值随着边缘距离值d_x的增加而上升，而且当边缘距离值d_x为0的时候，计算所得的转换后深度值Z_output会与零像差深度值Z_ZD相同。必须理解的是，实际设计时所采用的函式w₁{f₁(d_x)}与w₂{f₂(d_x)}不需要受限于图4A与图4B所揭露的内容。例如，函式f₁(d_x)与f₂(d_x)可以是非连续的函式。

在上述式(1)中，大部分的参数都已经有对应的数据来源，唯有零像差深度值Z_ZD尚未设定。每个影像像素其相对应的零像差深度值Z_ZD实质上为相同，因此Z_ZD为一定值。以目前的规格来看，所谓的零像差处意指具有此零像差深度值的影像像素在三维显示时，会让使用者的左右视角感受此影像像素位在显示面板所在的同一位置上，换句话说，若改动零像差深度值，则会使三维影像的位置产生变化。因此，在本发明的一个实施例中，若为了影像的稳定，零像差深度值Z_ZD可以是在制造生产影像转换装置10、深度影像处理单元100或者边缘深度计算元件104的时候就预先设定好的；而在另一个实施例中，请参照图3，为了使影像的位置具有弹性，在深度影像处理单元100之中还另外包括一个零像差深度值设定元件108以设定零像差深度值Z_ZD，如此，则整个二维至三维影像的转换结果将能视需求而随时调整。

为了使此领域的一般技术人员能轻易理解本案的技术精神，以上的内容是将各功能配合实体元件进行解说。然，实际上设计时并不一定需要将功能绑定在上述的各实体元件内。因此，从另一个角度来看，本发明提供了以下的二维影像至三维影像的影像转换方法，并将参照图5与图6来进行说明。

请参照图5，其为根据本发明一实施例的二维影像至三维影像的影像转换方法的流程图。在本实施例中，首先会取得零像差深度值(步骤S500)，并且要取得即将进行转换的影像像素的数据(步骤S502)。在取得影像像素的数据之后，就必须判断所要转换的影像像素是否位于二维影像的边缘区域内(步骤S504)，并以此来决定后续如何进行影像数据的转换。

一旦在步骤S504中判断出所要转换的影像像素的确位于边缘区域之内，则流程进入步骤S506以取得此影像像素的原始影像深度值以及上述的边缘距离值等数据，并在取得边缘距离值之后根据边缘距离值来决定上述的第一与第二比重值(步骤S508)。在决定了第一与第二比重值之后，流程进入步骤S510以利用上述式(1)来计算与目前进行转换的影像像素相对应的转换后深度值Z_output。相对的，假如在步骤S504中判断出所要转换的影像像素的确位于边缘区域之外，则流程会进入步骤S520以取得此影像像素的原始影像深度值，并在接下来的步骤S522之中直接以所取得的原始影像深度值做为转换后深度值。

藉由步骤S510或S522所获得的转换后深度值会被输出以便后续显示三维影像时所用(步骤S512)。至此，二维影像中的一个影像像素的二维至三维的转换大致告一段落，因此接下来在步骤S530中会进一步判断是否已经完成整个二维影像转换成三维影像的操作。若步骤S530的判断为是，则流程结束；相对的，若步骤S530的判断为否，则流程回到步骤S502以继续下一个影像像素的转换操作。

除此之外，上述的步骤先后顺序及详细操作内容并非不可变动的，此领域的一般技术人员在不变动最后结果的状况下可以依据实际需求而进行变动设计。举例来说，步骤S506与S520中关于取得原始影像深度值的部分，可以提前到步骤S500或步骤S502之前执行；此外，步骤S500和步骤S502顺序可以调换；又如步骤S512输出转换后深度值的时候，可以以如图1所示的方式将转换后深度值直接输出至三维影像产生单元150，也可以以如图3所示的方式将其输出至储存元件120。再举例来说，请同时参照图5与图6，在图5的步骤S504中判断所要转换的影像像素是否位于影像的边缘区域内的时候，可以利用图6所示的流程图来进行。如图6所示，在步骤S502取得所将转换的影像像素而要利用步骤S504来判断此影像像素是否位于影像的边缘区域内的时候，具体可以先以步骤S602来取得图2中所示的预定范围长度值，之后再于步骤S604中根据影像像素与特定边缘之间的距离是否小于预设范围长度值来判断影像像素是否位于影像的边缘区域内。若步骤S604的判断为是，则表示影像像素位于影像的边缘区域内，因此流程将进入步骤S506；相对的，若步骤S604的判断为否，则表示影像像素位于影像的边缘区域外，因此流程将进入步骤S520。

此外，虽然上述技术是以零像差处的深度值为计算转换后深度值的参数，但由于零像差深度值可以由使用者自行决定，因此实际上也可以不限定是以零像差的深度值来进行计算，而可以改用任意像差的深度值来做为计算参数。

藉由上述的技术，由于在影像转换时，在影像边界处的影像像素会被强制转换为事先决定好的深度值(例如，在之前的实施例中就是零像差深度值)，而在邻近影像边界处的边缘区域内的像素则会依照与边界的距离而进行规律性的变化，因此在二维影像至三维影像的转换过程中于边缘区域所产生的破洞现象将能从上述方式进行规律的补偿，进而让使用者得到更好的影像观赏品质。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种二维影像至三维影像的影像转换方法，其特征在于，包括：

取得一零像差深度值；

判断一影像像素是否位于一影像的一边缘区域内；以及

当该影像像素位于该边缘区域内，则：

取得该影像像素所对应的深度值以做为一原始影像深度值；

取得该影像像素与该影像的边缘间的距离以做为一边缘距离值；

根据该边缘距离值决定一第一比重值与一第二比重值；

以该零像差深度值与该第一比重值的乘积，加上该原始影像深度值与该第二比重值的乘积而得一转换后深度值；以及

以该转换后深度值为在三维显示时的该影像像素的深度值。

2.根据权利要求1所述的影像转换方法，其特征在于，随着该边缘距离值的增加，该第一比重值下降而该第二比重值上升。

3.根据权利要求2所述的影像转换方法，其特征在于，该第一比重值与该第二比重值的调整方式为线性。

4.根据权利要求2所述的影像转换方法，其特征在于，该第一比重值与该第二比重值的调整方式为非线性。

5.根据权利要求1至4任一所述的影像转换方法，其特征在于，判断所要转换的该影像像素是否位于该影像的该边缘区域内，包括：

取得所设定的一预定范围长度值；以及

当该影像像素与该影像的一侧边缘的距离不大于该预定范围长度值的时候，判断该影像像素位于该影像的该边缘区域内。

6.根据权利要求1至4任一所述的影像转换方法，其特征在于，当该边缘距离值为0时，该转换后深度值等同于该零像差深度值。

7.一种二维影像至三维影像的影像转换装置，其特征在于，包括：

一深度影像处理单元，用以接收与一二维影像相对应的多个原始影像深度值，每一该些原始影像深度值对应至该二维影像中的一影像像素，该深度影像处理单元包括：

一边缘区域设定元件，用以接收该些原始影像深度值，并根据一预定范围长度值以确定对应至该二维影像的边缘区域内的该些影像像素；以及

一边缘深度值计算元件，用以对应每一该些原始影像深度值提供一转换后深度值，其中，与该二维影像的边缘区域以外的影像像素相对应的该些原始影像深度值中的任一者被直接提供做为相对应的该转换后深度值，而与该二维影像的边缘区域以内的影像像素相对应的该些原始影像深度值中的任一者所对应的该转换后深度值，则是以零像差处所对应的一零像差深度值乘上一第一比重值所得的值与该原始影像深度值乘上一第二比重值所得的值相加而得，该第一比重值与该第二比重值系根据该原始影像深度值所对应的影像像素与该二维影像的边缘间的一边缘距离值而调整；以及

一三维影像产生单元，接收该二维影像以及该边缘深度值计算元件所输出的该些转换后深度值，并藉此产生对应的三维影像。

8.根据权利要求7所述的影像转换装置，其特征在于，该深度影像处理单元还包括一零像差深度值设定元件，该零像差深度值设定元件用以设定零像差处所对应的该零像差深度值，且该边缘区域设定元件具有输入接口以供输入该预定范围长度值。

9.根据权利要求7或8所述的影像转换装置，其特征在于，该边缘深度值计算元件在根据该边缘距离值而调整该第一比重值与该第二比重值时，是随着该边缘距离值的增加而使该第一比重值下降，并使该第二比重值上升。

10.根据权利要求7或8所述的影像转换装置，其特征在于，该边缘深度值计算元件在该边缘距离值为0时，使所输出的该转换后深度值等同于该零像差深度值。

Images