CN103037226A - 深度融合方法及其装置 - Google Patents

Abstract

一种深度融合方法及其装置。该深度融合方法，适于二维转三维的影像处理装置。该深度融合方法包括如下步骤。取得一影像画面中多个区块各自的动态深度值。取得各区块的原始静态深度值。将各区块的原始静态深度值进行转换，以取得各区块的转换静态深度值。以区块为基础，混合各区块的动态深度值及转换静态深度值，以取得各区块的融合深度值。另外，一种深度融合装置亦被提出。

Description

深度融合方法及其装置

技术领域

本发明涉及一种影像处理及其装置，特别是涉及一种二维转三维的影像处理装置中的深度融合(depth fusion)方法及其装置。

背景技术

随着显示技术的进步，可提供3D影像画面的显示器如雨后春笋般地涌现。此种立体显示器所需的影像信息包括2D影像画面及其深度信息。藉由2D影像画面及其深度信息，立体显示器可重建对应的3D影像画面。因此，如何取得2D影像画面的深度信息便成为一个重要的课题。

一般而言，取得影像画面的深度信息的方法可利用计算影像画面中移动物体的变化来取得。在现有技术中，有利用移动(motion)及画面(pictorial)深度值线索(cues)来取得融合深度值，其是根据镜头移动(camera motion)的分析全面地(globally)来改变每一深度产生时的权重。根据上述概念，现有技术提出多种深度融合方法，但其可能产生诸多如下问题。

现有技术中有利用基于影像深度(image-based depth)及基于感知深度(consciousness-based depth)的方法来取得的融合深度值。但此一方式在镜头移动现象发生时，其所得的融合深度值并非正确。另一方面，针对画面中的移动物体，现有技术中有利用基于移动分割(motion based segmentation)的方法来分析移动物体，其利用一组一致的动作和位置参数来定义一个可分割出的区域，以分析该移动物体。虽然基于上述移动分割方法分析得到的物体区域较为完整，但是如果基于影像深度或者基于感知深度的深度融合方法，其分割区域的方式与基于移动分割方法不同时，将使得该移动物体的区域内的深度值错误地被分割为多个部份。

发明内容

本发明提供一种深度融合方法，可有效产生影像画面各区块的融合深度值。

本发明提供一种深度融合装置，利用所述深度融合方法，可有效产生影像画面各区块的融合深度值。

本发明提供一种深度融合(depth fusion)方法，适于二维转三维(2D-to-3D)的影像处理装置。深度融合方法包括如下步骤。取得一影像画面中多个区块各自的动态深度值。取得各区块的原始静态深度值。将各区块的原始静态深度值进行转换，以取得各区块的转换静态深度值。以区块为基础，混合各区块的动态深度值及转换静态深度值，以取得各区块的融合深度值。

在本发明的一实施例中，上述将各该区块的原始静态深度值进行转换，以取得各该区块的转换静态深度值的步骤，是依据各该区块的一狭域移动向量与该影像画面的一全域移动向量间的差异来进行。

在本发明的一实施例中，上述的取得区块的动态深度值的步骤包括如下步骤。取得各区块的狭域移动向量(local motion vector)。根据各区块的狭域移动向量，计算影像画面的全域移动向量(global motion vector)。计算各区块的狭域移动向量与全域移动向量的移动差值，以产生多个相对移动向量。根据相对移动向量，取得各区块的动态深度值。

在本发明的一实施例中，上述的将各区块的原始静态深度值进行转换以获得各区块的转换静态深度值的步骤包括如下步骤。根据各区块的相对移动向量来决定各区块的一转换参数值。使用各区块的转换参数值以将区块的原始静态深度值转换为转换静态深度值。

在本发明的一实施例中，上述的使用各区块的转换参数值以将区块的该原始静态深度值转换为转换动态深度值的步骤如下步骤。将转换参数值大于一临界值的各区块的原始静态深度值当中取出一最大者作为一最大静态深度值。根据各区块的转换参数值、各区块的原始静态深度值以及影像画面的最大静态深度值，计算各区块的转换静态深度值。

在本发明的一实施例中，上述的深度融合方法利用下列公式计算转换静态深度值。Di’＝alpha_blk*k*Dimax+(1-alpha_blk)*Di。其中，Di为原始静态深度值，Di’为转换静态深度值，alpha_blk为转换参数值，以及k为一调整参数，0＜k≤1。

在本发明的一实施例中，上述的取得各区块的原始静态深度值的步骤包括根据各区块的基于影像的深度线索信息(image-based depth cuesinformation)及影像画面的基于感知的深度线索信息(consciousness-baseddepth cues information)来决定各区块的原始静态深度值。

本发明提供一种深度融合装置，适于二维转三维的影像处理装置。深度融合装置包括一动态深度撷取单元、一静态深度撷取单元以及一深度混合单元。动态深度撷取单元取得一影像画面中多个区块各自的动态深度值。静态深度撷取单元取得各区块的原始静态深度值，并将各区块的原始静态深度值进行转换，以取得各区块的转换静态深度值。深度混合单元以区块为基础，混合各区块的动态深度值及转换静态深度值，以取得各区块的融合深度值。

在本发明的一实施例中，上述的静态深度撷取单元是依据各该区块的一狭域移动向量与该影像画面的一全域移动向量间的差异，来将各该区块的该原始静态深度值进行转换，以取得各该区块的该转换静态深度值。

在本发明的一实施例中，上述的动态深度撷取单元包括一动态估计单元以及一动态深度产生单元。动态估计单元取得各区块的狭域移动向量，并根据各区块的狭域移动向量，计算影像画面的全域移动向量。动态估计单元计算各区块的狭域移动向量与全域移动向量的移动差值，以产生多个相对移动向量。动态深度产生单元根据相对移动向量，取得各区块的动态深度值。

在本发明的一实施例中，上述的静态深度撷取单元，包括一静态深度转换单元。静态深度转换单元根据各区块的相对移动向量来决定各区块的一转换参数值。静态深度转换单元使用各区块的转换参数值以将区块的原始静态深度值转换为转换静态深度值。

在本发明的一实施例中，上述的静态深度转换单元将转换参数值大于一临界值的各区块的原始静态深度值当中取出一最大者作为一最大静态深度值。静态深度转换单元根据各区块的转换参数值、各区块的原始静态深度值以及影像画面的最大静态深度值，计算各区块的转换静态深度值。

在本发明的一实施例中，上述的静态深度转换单元根据下列公式计算转换静态深度值：Di’＝alpha_blk*k*Dimax+(1-alpha_blk)*Di。其中Di为原始静态深度值，Di’为转换静态深度值，alpha_blk为转换参数值，以及k为一调整参数，0＜k≤1。

在本发明的一实施例中，上述的静态深度撷取单元包括一静态深度取得单元。静态深度取得单元根据各区块的基于影像的深度线索信息及影像画面的基于感知的深度线索信息来决定各区块的原始静态深度值。

基于上述，在本发明的范例实施例中，在融合深度之前，所述方法会先转换原始静态深度值，并以区块为基础，混合各区块的动态深度值及转换后的静态深度值，因此可有效产生影像画面各区块的融合深度值。

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并结合附图详细说明如下。

附图说明

图1绘示本发明一实施例的深度融合装置的方块示意图。

图2绘示本发明一实施例的深度融合方法的步骤流程图。

图3绘示本发明一实施例的动态深度值Dm的取得方法的步骤流程图。

图4绘示本发明一实施例的转换静态深度值Di’的取得方法的步骤流程图。

图5绘示本发明一实施例的转换参数值alpha_blk与相对移动向量||MV-MV_cam||的曲线映射关系。

附图符号说明

100：深度融合装置

110：动态深度撷取单元

112：动态估计单元

114：动态深度产生单元

120：静态深度撷取单元

122：静态深度取得单元

124：静态深度转换单元

130：深度混合单元

||MV-MV_cam||：相对移动向量

alpha_blk：转换参数值

Di：原始静态深度值

Dm：动态深度值

Di’：转换静态深度值

Df：融合深度值

S200、S202、S204、S206：深度融合方法的步骤

S300、S302、S304、S306：动态深度值Dm的取得方法的步骤

S400、S402、S404：转换静态深度值Di’的取得方法的步骤

具体实施方式

图1绘示本发明一实施例的深度融合装置的方块示意图。请参考图1，本实施例的深度融合装置100适于二维转三维的影像处理装置(未绘示)，至少用以利用本发明所提出的深度融合方法来产生影像画面中各区块的融合深度值Df。因此，该二维转三维的影像处理装置可根据2D影像画面及其融合后的深度信息来重建对应的3D影像画面。

在本实施例中，深度融合装置100包括一动态深度(Motion-based depth，或称depth from motion)撷取单元110、一静态深度撷取单元120以及一深度混合单元130。在此，动态深度撷取单元110包括一动态估计单元112以及一动态深度产生单元114；类似地，静态深度(image-based depth，或称depthfrom image)撷取单元120包括一静态深度取得单元122以及一静态深度转换单元124。

详细而言，图2绘示本发明一实施例的深度融合方法的步骤流程图。请参考图1及图2，本实施例的深度融合方法至少适于以图1的深度融合装置100来执行，但本发明并不限于此。

在步骤S200中，动态深度撷取单元110取得一影像画面中多个动态深度值Dm，可利用动态估计等方式，来取得该影像画面中多个区块各自的动态深度值Dm。较佳地，各区块的动态深度值Dm的取得方法，是根据各区块的狭域移动向量(local motion vector)MV与影像画面的全域移动向量(global motion vector)MV_cam两者间的相对移动向量||MV-MV_cam||来产生，此点将于稍后进一步仔细说明。

接着，在步骤S202中，静态深度撷取单元120的静态深度取得单元122决定各区块的原始静态深度值Di，譬如可根据各区块的基于影像的深度线索信息(image-based depth cues)及影像画面的基于感知的深度线索信息(consciousness-based cues)来决定。应注意的是，在本实施例中，步骤S200的动态深度值Dm的取得与步骤S202的原始静态深度值Di的取得，两者间并无先后次序的限制。

之后，在步骤S204中，静态深度撷取单元120的静态深度转换单元124将各区块的原始静态深度值Di进行转换，以取得各区块的转换静态深度值Di’。在本实施例中，在将各区块的原始静态深度值Di转换成转换静态深度值Di’的过程中，可使用一转换参数值alpha_blk，而此转换参数值alpha_blk可根据各区块的相对移动向量||MV-MV_cam||来产生，此点将于稍后进一步作说明。

继之，在步骤S206中，深度混合单元130以区块为基础(block by block)，混合各区块的动态深度值Dm及转换静态深度值Di’，以取得各区块的融合深度值Df。在本实施例中，深度混合单元130例如根据底下的公式1来混合各区块的动态深度值Dm及转换静态深度值Di’以获得融合深度值Df：

Df＝alpha_m*Dm+alpha_i*Di’              公式1

于公式1中，alpha_m与alpha_i分别代表动态深度值Dm及转换静态深度值Di’的混合参数值。在本实施例中较佳地，公式1的混合参数值alpha_m与alpha_i可以画面为基础(frame by frame)，根据画面移动量(frame motion)的不同来设定的。举例而言，若依序输入的影像画面具有较大的移动量时，对画面的整体(whole frame)而言，可设定混合参数值alpha_m为较大值；而混合参数值alpha_i为较小值。相对地，若依序输入的影像画面趋近于静止(static)时(即具有的移动量较小)，对画面的整体而言，可设定混合参数值alpha_m为较小值；而混合参数值alpha_i为较大值。至于上述影像画面移动量的判断则譬如可根据该画面中各区块的相对移动向量||MV-MV_cam||的总和大小来决定代表。

综合上述，本实施例的深度融合方法，在融合深度之前，会先转换原始静态深度值Di为转换后的静态深度值Di’，并且在此转换的过程中所使用的转换参数值alpha_blk会考虑到各区块的相对移动向量||MV-MV_cam||。之后再以区块为基础，混合各区块的动态深度值Dm及转换静态深度值Di’。结果，此深度融合方法所产生的影像画面各区块的融合深度值Df，能够保持特定的移动物体内融合深度值Df的完整性。

底下说明各区块的动态深度值Dm的取得方法。

图3绘示本发明一实施例的动态深度值Dm的取得方法的步骤流程图。请参考图1及图3，在本实施例中，各区块的动态深度值Dm的取得方法是根据各区块的狭域移动向量MV与影像画面的全域移动向量MV_cam两者间的相对移动向量||MV-MV_cam||来产生。

详细而言，在步骤S300中，动态估计单元112利用动态估计等方式取得各区块的狭域移动向量MV。在步骤S302中，动态估计单元112可根据多个狭域移动向量MV，计算影像画面的一个全域移动向量MV_cam。在一较佳实施例中，一画面区分为涵盖画面中心的一中心显示区域，包围该中心显示区域的一周围显示区域，以及包围该周围显示区域的一黑边区域的情况下，动态估计单元112较佳是仅根据周围显示区域的狭域移动向量来计算全域移动向量MV_cam，而排除掉中心显示区域与黑边区域。更仔细而言，周围显示区域可更区分为互相重迭或不重迭的多个子区域。动态估计单元112则可根据影像画面中周围显示区域的各子区域的狭域移动向量，来计算各子区域的区域内全域移动可靠度(intra-region global motion belief)及区域间全域移动可靠度(inter-region global motion belief)，并据此来决定影像画面的全域移动向量MV_cam。更多关于全域移动向量MV_cam的计算，譬如可参见申请号为201110274347.1的中国发明专利申请。

接着，在步骤S304中，动态估计单元112计算各区块的狭域移动向量MV与全域移动向量MV_cam的移动差值，以产生多个相对移动向量||MV-MV_cam||。

之后，在步骤S306中，动态深度产生单元114根据相对移动向量||MV-MV_cam||，取得各区块的动态深度值Dm。在此步骤中，动态深度产生单元114例如是利用一查询表或一曲线映射关系来产生对应各区块的动态深度值Dm，但本发明并不限于此。在本实施例中，动态深度撷取单元110利用相对移动向量||MV-MV_cam||来产生动态深度值Dm，可避免镜头移动对动态深度值Dm的影响。更多关于动态深度值Dm的计算，同样譬如可参见申请号为201110274347.1的中国发明专利申请。

底下说明各区块的转换静态深度值Di’的取得方法。

图4绘示本发明一实施例的转换静态深度值Di’的取得方法的步骤流程图。请参考图1及图4，在本实施例中，在将各区块的原始静态深度值Di转换成转换静态深度值Di’的过程中，是使用到一转换参数值alpha_blk，而此转换参数值alpha_blk可根据各区块的相对移动向量||MV-MV_cam||来产生。

详细而言，在步骤S400中，静态深度转换单元124首先根据各区块的相对移动向量||MV-MV_cam||来决定各区块的一转换参数值alpha_blk。图5绘示本发明一实施例的转换参数值alpha_blk与相对移动向量||MV-MV_cam||的曲线映射关系。本实施例的静态深度转换单元124例如是根据图5所绘示的曲线映射关系来决定各区块的转换参数值alpha_blk，但本发明并不限于此。在其他实施例中，静态深度转换单元124也可以是利用一查询表来决定各区块的转换参数值alpha_blk。

接着，在步骤S402中，静态深度转换单元124将转换参数值alpha_blk大于一临界值alpha_th的各区块的原始静态深度值Di当中取出一最大者作为一最大静态深度值Dimax。其中，临界值alpha_th为一固定值，其可依设计需求进行设定、调整。

之后，在步骤S404中，静态深度转换单元124可根据各该区块的原始静态深度值Di，步骤S400所获得的各区块的转换参数值alpha_blk，以及步骤S402所获得的影像画面的最大静态深度值Dimax，来计算各区块的转换静态深度值Di’。于一较佳实施例中，步骤S404的静态深度转换单元可根据下列公式2来计算转换静态深度值：

Di’＝alpha_blk*k*Dimax+(1-alpha_blk)*Di          公式2

其中k为一调整参数，且可设定为0＜k≤1。

值得注意的是，在此实施例的静态深度值转换过程中，是利用相对移动向量||MV-MV_cam||来决定转换参数值alpha_blk，并还选取出最大静态深度值Dimax，因此所取得的转换静态深度值Di’能够与动态深度值彼此相容，亦即能够搭配动态深度值的特性，进而彼此融合后能获得更高精确度的融合深度值Df。

综上所述，在本发明的范例实施例中，深度融合方法以区块为基础，将各区块的原始静态深度值进行转换后，与各区块的动态深度值混合，以取得各区块的融合深度值。此外，在进行动态深度值Dm的过程中，是利用到狭域移动向量与全域移动向量间的差异，亦即相对移动向量||MV-MV_cam||来进行计算，且在进行全域移动向量的计算时，还可以排除中心显示区域的计算，因此可避免镜头移动对动态深度值Dm的影响。此外，在进行原始静态深度值的转换过程中，是利用相对移动向量||MV-MV_cam||来决定转换参数值alpha_blk，并还选取出最大静态深度值Dimax，因此所取得的静态深度值能够与动态深度值彼此相容。结果，所取得各区块的融合深度值的混合能够随着移动物体作适应性的调整，特定移动物体的区域内的深度值在融合之后仍可保持其完整性，不因进行深度融合而使其深度值被割裂，造成影像画面的谬误。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，本领域技术人员，在不脱离本发明的精神和范围的前提下，可作若干的更动与润饰，故本发明的保护范围是以本发明的权利要求为准。

Claims (14)

1.一种深度融合方法，适于二维转三维的影像处理装置，该深度融合方法包括：

取得一影像画面中多个区块各自的动态深度值；

取得各该区块的原始静态深度值；

将各该区块的原始静态深度值进行转换，以取得各该区块的转换静态深度值；以及

以区块为基础，混合各该区块的动态深度值及转换静态深度值，以取得各该区块的融合深度值。

2.如权利要求1所述的深度融合方法，其中将各该区块的原始静态深度值进行转换，以取得各该区块的转换静态深度值的步骤是依据各该区块的一狭域移动向量与该影像画面的一全域移动向量间的差异来进行。

3.如权利要求1所述的深度融合方法，其中取得这些区块的动态深度值的步骤包括：

取得各该区块的狭域移动向量；

根据各该区块的狭域移动向量，计算该影像画面的全域移动向量；

计算各该区块的狭域移动向量与该全域移动向量的移动差值，以产生多个相对移动向量；以及

根据这些相对移动向量，取得各该区块的动态深度值。

4.如权利要求3所述的深度融合方法，其中将各该区块的该原始静态深度值进行转换以获得各该区块的转换静态深度值的步骤包括：

根据各该区块的该相对移动向量来决定各该区块的一转换参数值；以及

使用各该区块的该转换参数值以将该区块的该原始静态深度值转换为该转换静态深度值。

5.如权利要求4所述的深度融合方法，其中使用各该区块的该转换参数值以将该区块的该原始静态深度值转换为该转换动态深度值的步骤：

将转换参数值大于一临界值的各该区块的原始静态深度值当中取出一最大者作为一最大静态深度值；以及

根据各该区块的该转换参数值、各该区块的该原始静态深度值以及该影像画面的该最大静态深度值，计算各该区块的该转换静态深度值。

6.如权利要求5所述的深度融合方法，其中Di’＝alpha_blk*k*Dimax+(1-alpha_blk)*Di，

其中Di为该原始静态深度值，Di’为该转换静态深度值，alpha_blk为该转换参数值，以及k为一调整参数，0＜k≤1。

7.如权利要求1所述的深度融合方法，其中取得各该区块的该原始静态深度值的步骤包括：

根据各该区块的基于影像的深度线索信息及该影像画面的基于感知的深度线索信息来决定各该区块的该原始静态深度值。

8.一种深度融合装置，适于二维转三维的影像处理装置，该深度融合装置包括：

一动态深度撷取单元，取得一影像画面中多个区块各自的动态深度值；

一静态深度撷取单元，取得各该区块的原始静态深度值，并将各该区块的原始静态深度值进行转换，以取得各该区块的转换静态深度值；以及

一深度混合单元，以区块为基础，混合各该区块的动态深度值及转换静态深度值，以取得各该区块的融合深度值。

9.如权利要求8所述的深度融合装置，其中该静态深度撷取单元是依据各该区块的一狭域移动向量与该影像画面的一全域移动向量间的差异，来将各该区块的该原始静态深度值进行转换，以取得各该区块的该转换静态深度值。

10.如权利要求8所述的深度融合装置，其中该动态深度撷取单元包括：

一动态估计单元，取得各该区块的狭域移动向量，根据各该区块的狭域移动向量，计算该影像画面的全域移动向量，以及计算各该区块的狭域移动向量与该全域移动向量的移动差值，以产生多个相对移动向量；以及

一动态深度产生单元，根据这些相对移动向量，取得各该区块的动态深度值。

11.如权利要求9所述的深度融合装置，其中该静态深度撷取单元，包括：

一静态深度转换单元，根据各该区块的该相对移动向量来决定各该区块的一转换参数值，以及使用各该区块的该转换参数值以将该区块的该原始静态深度值转换为该转换静态深度值。

12.如权利要求11所述的深度融合装置，其中该静态深度转换单元将转换参数值大于一临界值的各该区块的原始静态深度值当中取出一最大者作为一最大静态深度值，以及根据各该区块的该转换参数值、各该区块的该原始静态深度值以及该影像画面的该最大静态深度值，计算各该区块的该转换静态深度值。

13.如权利要求12所述的深度融合装置，其中该静态深度转换单元根据下列公式计算该转换静态深度值：

Di’＝alpha_blk*k*Dimax+(1-alpha_blk)*Di，

其中Di为该原始静态深度值，Di’为该转换静态深度值，alpha_blk为该转换参数值，以及k为一调整参数，0＜k≤1。

14.如权利要求8所述的深度融合装置，其中该静态深度撷取单元包括：

一静态深度取得单元，根据各该区块的基于影像的深度线索信息及该影像画面的基于感知的深度线索信息来决定各该区块的该原始静态深度值。

Images