CN102957923A - 立体影像深度图的校正系统及方法 - Google Patents

Abstract

本发明是有关于一种立体影像深度图的校正系统及方法，空间频谱转换单元根据输入影像以萃取物体边界像素，其中该空间频谱转换单元使用希尔伯特黄转换(HHT)。校正单元根据物体边界像素，用以校正相应于输入影像的输入深度图，因而产生输出深度图。

Description

立体影像深度图的校正系统及方法

技术领域

本发明涉及一种立体影像处理，特别是涉及一种使用希尔伯特黄(Hilbert-Huang)转换以校正立体影像深度图的方法。

背景技术

立体(或三维)显示装置可将立体深度感知(percept ion)传递给观者。由于立体显示装置的逐渐普及，使得立体影像处理成为重要的课题。其中，深度图(depth map)在立体影像处理中更是占有重要地位。深度资讯的产生并没有一个标准作法，目前有许多方法可用以产生深度图，大致上可分为两类：使用单眼深度提示(monocular depth cue)的单眼影像方法，以及使用双眼像差(binocular disparity)的立体影像方法。

关于单眼影像方法，一般使用对比或/且模糊资讯以产生深度资讯。然而，位于物体边界的像素，所估算的深度图通常并不可靠。至于立体影像方法，一般使用阐述立体匹配(stereo matching)问题的信任传递(beliefpropagation)以产生深度资讯。然而，位于物体边界的像素，深度图的品质通常会降低。

因此，如何创设一种新颖的机制，用以改善深度图，因而提供优于传统方法的深度品质，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。

发明内容

本发明的目的在于，提供一种立体影像深度图的校正系统及方法，用以强化空间频谱(spatial spectrum)的深度品质。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种立体影像深度图的校正系统，其包含：一空间频谱转换单元，其根据一输入影像以萃取物体边界像素，其中该空间频谱转换单元使用希尔伯特黄转换(HHT)；及一校正单元，其根据该物体边界像素，用以校正相应于该输入影像的一输入深度图，因而产生一输出深度图。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的立体影像深度图的校正系统，其中所述的希尔伯特黄转换(HHT)使用经验模态分解(EMD)将该输入影像分解为多个本质模态函数(IMF)，且频率低于一预设临界值的本质模态函数(IMF)的转变点定义为该物体边界像素。

前述的立体影像深度图的校正系统，其中所述的空间频谱转换单元分解该输入影像的列信号或该输入影像的行信号。

前述的立体影像深度图的校正系统，其中所述的校正单元根据该输入深度图及该物体边界像素，用以建构一最小生成树(minimal spanningtree)。

前述的立体影像深度图的校正系统，其中所述的最小生成树的建构包含以下步骤：分割该输入影像为多个巨集区块(MB)；分别映射该多个巨集区块至一生成树的顶点，其中该巨集区块以边缘(edge)连接，且该边缘的权重定义为相邻二巨集区块之间的平均色彩差异值；以相邻二巨集区块之间的物体边界像素，切割该生成树为多个独立片段；及对于每一该片段，平均该片段相应的输入深度图的信息，因而得到一平均值，用以分派作为该输出深度图的新深度信息。

前述的立体影像深度图的校正系统，其还包含一改善单元，其根据该输入影像以改善该输出深度图。

前述的立体影像深度图的校正系统，其中所述的改善单元使用一交叉双测(cross-bilateral)滤波器以改善该输出深度图。

本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的一种立体影像深度图的校正方法，其包含以下步骤：根据一输入影像，使用一空间频谱转换以萃取物体边界像素，其中该空间频谱转换使用希尔伯特黄转换(HHT)；及根据该物体边界像素，以校正相应于该输入影像的一输入深度图，因而产生一输出深度图。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的立体影像深度图的校正方法，其中所述的希尔伯特黄转换(HHT)使用经验模态分解(EMD)将该输入影像分解为多个本质模态函数(IMF)，且频率低于一预设临界值的本质模态函数(IMF)的转变点定义为该物体边界像素。

前述的立体影像深度图的校正方法，其中所述的空间频谱转换分解该输入影像的列信号或该输入影像的行信号。

前述的立体影像深度图的校正方法，其中所述的校正步骤根据该输入深度图及该物体边界像素，用以建构一最小生成树(minimal spanningtree)。

前述的立体影像深度图的校正方法，其中所述的最小生成树的建构包含以下步骤：分割该输入影像为多个巨集区块(MB)；分别映射该多个巨集区块至一生成树的顶点，其中该巨集区块以边缘(edge)连接，且该边缘的权重定义为相邻二巨集区块之间的平均色彩差异值；以相邻二巨集区块之间的物体边界像素，切割该生成树为多个独立片段；及对于每一该片段，平均该片段相应的输入深度图的信息，因而得到一平均值，用以分派作为该输出深度图的新深度信息。

前述的立体影像深度图的校正方法，其还更包含一改善步骤，其根据该输入影像以改善该输出深度图。

前述的立体影像深度图的校正方法，其中所述的改善步骤使用一交叉双测(cross-bilateral)滤波器以改善该输出深度图。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明立体影像深度图的校正系统及方法至少具有下列优点及有益效果：本发明可用以强化空间频谱(spatial spectrum)的深度品质。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1显示本发明实施例的立体影像深度图的校正系统及方法的方块图。

图2A至图2C显示图1的校正单元的最小生成树图的建构示意图。

10：空间频谱转换单元    12：校正单元

14：改善单元            Din：输入深度图

Dout：输出深度图        I：输入影像

Q：像素集               MB：巨集区块

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的立体影像深度图的校正系统及方法其具体实施方式、结构、特征及其功效，详细说明如后。

图1显示本发明实施例的立体(三维)影像深度图的校正系统及方法的方块图。

首先，使用空间频谱转换单元10处理二维输入影像I，用以得到(或萃取)像素集Q，其由物体边界所组成。在本实施例中，空间频谱转换单元10使用希尔伯特黄(Hilbert-Huang)转换(HHT)。希尔伯特黄转换(HHT)提供一种方法以分解信号，特别是非稳态(nonstationary)及非线性信号，使其分解为本质模态函数(intrinsic mode function，IMF)，因而获得瞬时频率(instantaneous frequency)信息。在希尔伯特黄转换(HHT)中，通常使用经验模态分解(empirical mode decomposition，EMD)将信号分解为多个元件或本质模态函数(IMF)。关于希尔伯特黄转换(HHT)及经验模态分解(EMD)的细节可参考黄(N.E.Huang)等人于Proc.of The RoyalSociety，vol.454，no.1971，pp.903-995，8Mar.1998所提出的“Theempirical mode decomposition and the Hilbert spectrum for nonlinearand nonstationary time series analysis”。

相较于其他的转换，例如傅力叶(Fourier)转换，希尔伯特黄转换(HHT)具可调适性且具较佳局部性(locality)。因此，得以提供适当资讯并藉由本质模态函数(IMF)以估算不同频率元件的转变点。藉此，较低频率的本质模态函数(IMF)的转变点可定义出物体边界，而较高频率的本质模态函数(IMF)则用以得到纹理。在本说明书中，较低频率的本质模态函数(IMF)是指频率低于预设临界值的本质模态函数(IMF)。

在本实施例中，并非对输入影像I直接进行二维分解，而是对输入影像I的列信号Hor或/且行信号Ver进行一维分解。列信号Hor及行信号Ver可定义如下：

Hor_I.k(x)＝I(x，k)，

Ver_I，m(y)＝I(m，y)。

藉由分解可得到所有非负整数j的IMF(j，Hor_I，k(x))及IMF(j，Ver_I，m(y))。在本实施例中，像素集Q可定义如下：

Q＝{(x，y)|grad(x，y)＞threhsold}，

$\mathrm{grad}(x,y)\text{=max}\left(\right|\▿\underset{j=p}{\overset{\∞}{\mathrm{\Σ}}}\mathrm{IMF}(j,{\mathrm{Hor}}_{I,y}\left(x\right))|,|\▿\underset{j=p}{\overset{\∞}{\mathrm{\Σ}}}\mathrm{IMF}(j,{\mathrm{Ver}}_{I,x}\left(y\right))\left|\right)$

其中，p为定义低频本质模态函数(IMF)的预设临界值。

接下来，校正单元12根据像素集Q的物体边界，对相应于输入影像I的输入深度图Din进行自动校正，因而产生输出深度图Dout。在本实施例中，在校正单元12内建构最小生成树(minimal spanning tree)的图(graph)。详而言的，如图2A所例示，将输入影像I切割为多个巨集区块(macro block，MB)，如图式中的4x4巨集区块。如图2B所示，该些巨集区块被分别映射至生成树的顶点。这些巨集区块藉由边缘(edge)予以连接，且边缘的权重则由相邻巨集区块之间的平均色彩差异值(mean colordifference)来定义。接着，使用相邻巨集区块之间的物体边界像素用以将生成树切割为多个互为独立的片段(segment)，如第二C图所例示的三个独立片段。对于每一片段，相应的输入深度图Din的信息则予以平均，因而得到一平均值，用以分派作为输出深度图Dout的新深度信息。

再者，根据输入影像I，选择性使用改善单元14以处理输出深度图Dout。在本实施例中，改善单元14使用交叉双侧(cross-bilateral)滤波器。使用交叉双侧滤波器以进行信息改善的细节可参考Elmar Eisemann等人于ACM Transactions on Graphics，vol.23，no.3，pp.673-678，July2004所提出的“Fla sh photography enhancement via intrinsicrelighting”。

上述实施例提供一种强化空间频谱深度品质的自动深度校正方法。根据萃取的物体边界，本实施例的深度校正提供较传统方法(例如暗通道优先(dark channel prior)或立体匹配)更佳的改良效果。再者，本实施例还可适用于遮蔽(occlus ion)的处理。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (14)

1.一种立体影像深度图的校正系统，其特征在于其包含：

一空间频谱转换单元，其根据一输入影像以萃取物体边界像素，其中该空间频谱转换单元使用希尔伯特黄转换；及

一校正单元，其根据该物体边界像素，用以校正相应于该输入影像的一输入深度图，因而产生一输出深度图。

2.根据权利要求1所述的所述立体影像深度图的校正系统，其特征在于其中所述的希尔伯特黄转换使用经验模态分解将该输入影像分解为多个本质模态函数，且频率低于一预设临界值的本质模态函数的转变点定义为该物体边界像素。

3.根据权利要求1所述的所述立体影像深度图的校正系统，其特征在于其中所述的空间频谱转换单元分解该输入影像的列信号或该输入影像的行信号。

4.根据权利要求1所述的所述立体影像深度图的校正系统，其特征在于其中所述的校正单元根据该输入深度图及该物体边界像素，用以建构一最小生成树。

5.根据权利要求1所述的所述立体影像深度图的校正系统，其特征在于其中所述的最小生成树的建构包含以下步骤：

分割该输入影像为多个巨集区块；

分别映射该多个巨集区块至一生成树的顶点，其中该巨集区块以边缘连接，且该边缘的权重定义为相邻二巨集区块之间的平均色彩差异值；

以相邻二巨集区块之间的物体边界像素，切割该生成树为多个独立片段；及

对于每一该片段，平均该片段相应的输入深度图的信息，因而得到一平均值，用以分派作为该输出深度图的新深度信息。

6.根据权利要求1所述的所述立体影像深度图的校正系统，其特征在于其还包含一改善单元，其根据该输入影像以改善该输出深度图。

7.根据权利要求6所述的所述立体影像深度图的校正系统，其特征在于其中所述的改善单元使用一交叉双测滤波器以改善该输出深度图。

8.一种立体影像深度图的校正方法，其特征在于其包含以下步骤：

根据一输入影像，使用一空间频谱转换以萃取物体边界像素，其中该空间频谱转换使用希尔伯特黄转换；及

根据该物体边界像素，以校正相应于该输入影像的一输入深度图，因而产生一输出深度图。

9.根据权利要求8所述的立体影像深度图的校正方法，其特征在于其中所述的希尔伯特黄转换使用经验模态分解将该输入影像分解为多个本质模态函数，且频率低于一预设临界值的本质模态函数的转变点定义为该物体边界像素。

10.根据权利要求8所述的立体影像深度图的校正方法，其特征在于其中所述的空间频谱转换分解该输入影像的列信号或该输入影像的行信号。

11.根据权利要求8所述的立体影像深度图的校正方法，其特征在于其中所述的校正步骤根据该输入深度图及该物体边界像素，用以建构一最小生成树。

12.根据权利要求11所述的立体影像深度图的校正方法，其特征在于其中所述的最小生成树的建构包含以下步骤：

分割该输入影像为多个巨集区块；

分别映射该多个巨集区块至一生成树的顶点，其中该巨集区块以边缘连接，且该边缘的权重定义为相邻二巨集区块之间的平均色彩差异值；

以相邻二巨集区块之间的物体边界像素，切割该生成树为多个独立片段；及

对于每一该片段，平均该片段相应的输入深度图的信息，因而得到一平均值，用以分派作为该输出深度图的新深度信息。

13.根据权利要求8所述的立体影像深度图的校正方法，其特征在于其还更包含一改善步骤，其根据该输入影像以改善该输出深度图。

14.根据权利要求13所述的立体影像深度图的校正方法，其特征在于其中所述的改善步骤使用一交叉双测滤波器以改善该输出深度图。

Images