CN102957937A - 处理三维立体影像的系统与方法 - Google Patents

Abstract

一种立体影像处理系统，包括一接收单元及一影像处理单元，该接收单元可接收一对立体影像，该影像处理单元可根据该立体影像对计算出一第一深度图，于该第一深度图中选取一窗口并从该窗口判断多个极端深度值，根据该多个极端深度值定义出一过滤图，以及通过结合该过滤图及该第一深度图计算出一第二深度图。

Description

处理三维立体影像的系统与方法

技术领域

本发明是关于一种影像处理系统，特别是关于一种三维(3D)立体影像处理系统。

背景技术

为了增加影像的真实感，三维(3D)立体影像技术越来越多地应用在各种领域，例如广播、游戏、动画及虚拟实境等。人类所看见的立体视觉是由横向间隔的左右两眼产生的像差所造成。由于两眼的像差，左眼及右眼可分别接收同一景象在两个不同角度下的影像。然后大脑可结合所述的两个影像，以产生3D立体视觉的深度感。

若欲在影像呈现中产生立体感，通常需通过撷取或产生两组影像，以仿真左眼视野或右眼视野。当所述的两个影像显示在二维的屏幕上时，可利用一种特殊观看装置(例如眼镜)分离两个影像，使得两眼中的每一眼仅可看到其相应的影像。然后大脑再将所述的两个不同的影像结合，以产生深度感。

为了呈现立体影像，可使用两台摄影机撷取在稍微不同角度下的两个影像。然后使用一种立体影像匹配技术来找出两个影像间的像差，并建构出与两个影像的像素相关的深度值。深度值通常用来代表摄影机的视角及影像中的多个点之间的距离信息，且可与左视图及右视图搭配使用，以合成3D立体影像。依据计算机算法的不同，像差图及深度图可能储存不准确的像差值及深度值。例如，当某一特征仅见于一影像并在另一个影像无法找到相应的匹配时，将产生遮蔽区域，其相应的像差值及深度值通常难以估计。虽然已知技术可使用一些更复杂的算法解决遮蔽的问题，但其提高计算的成本。

有鉴于此，目前的需求为一种更有效处理立体影像，并可改善至少上述缺失的系统。

发明内容

本发明提供一种处理立体影像的系统及方法。

依据本发明一实施例，该立体影像处理系统包括：一接收单元，用以接收一对立体影像；以及一影像处理单元，其中该影像处理单元配置以执行以下步骤：根据该立体影像对计算出一第一深度图；于该第一深度图中选取一窗口并从该窗口判断多个极端深度值；根据该等极端深度值定义出一过滤图；以及通过结合该过滤图及该第一深度图计算出一第二深度图。

依据本发明一实施例，该过滤图由一个二次函数定义，该二次函数为αx²+βx+γ，α、β及γ皆为常数。

依据本发明一实施例，该等极端深度值包括一最小深度值及一最大深度值，该最小深度值分配的常数为α及γ，该最大深度值分配的常数为β。

依据本发明一实施例，该第二深度图通过以一第一权重系数加重的该第一深度图、及以一第二权重系数加重的该过滤图相加后取得。

依据本发明一实施例，该第一权重系数与该第二权重系数的总和等于1。

依据本发明一实施例，该窗口的中心对应该第一深度图的一中央区域。

依据本发明一实施例，该影像处理单元还可利用一双向立体影像匹配方法计算出该立体影像对的一像差图，并根据该像差图取得该第一深度图。

依据本发明一实施例，该影像处理单元可将该像差图中的一遮蔽空洞由其邻近像素区域的深度值填满。

依据本发明一实施例，该影像处理单元可将该像差图中的一边界空洞由其邻近像素区域的深度值填满。

依据本发明另一实施例，提供一种处理立体影像的方法，包括：根据一对立体影像计算出一第一深度图；产生一对应该第一深度图的过滤图；以及结合该第一深度图及该过滤图，以得到一第二深度图。

依据本发明一实施例，产生该过滤图的步骤包括：

从该第一深度图中选取一窗口；从该窗口中判断多个极端深度值；以及根据该等极端深度值产生该过滤图。

依据本发明一实施例，该过滤图由一过滤函数所定义，该过滤函数F(x)＝αx²+βx+γ，α、β及γ皆为与该极端深度值有关的常数。

依据本发明一实施例，该极端深度值包括一最小深度值及一最大深度值，该最小深度值分配的常数为α及γ，该最大深度值分配的常数为β。

依据本发明一实施例，该窗口的中心对应于该第一深度图的中央。

依据本发明一实施例，结合该第一深度图及该过滤图的步骤包括：以一第一权重系数加重该第一深度图；以一第二权重系数加重该过滤图；以及将加重后的该第一深度图与该过滤图相加。

依据本发明一实施例，该第一权重系数与该第二权重系数的总和等于1。

依据本发明一实施例，根据该立体影像对计算出该第一深度图的步骤包括：利用一双向立体影像匹配方法计算出该立体影像对的一像差图；以及根据该像差图取得该第一深度图。

依据本发明一实施例，利用该双向立体影像匹配方法计算出该立体影像对的该像差图的步骤还包括：将该像差图中的一遮蔽空洞由其邻近像素区域的深度值填满。

依据本发明一实施例，利用该双向立体影像匹配方法计算该立体影像对的该像差图的步骤包括：将该像差图中的一边界空洞由其邻近像素区域的深度值填满。

附图说明

图1为绘示依据本发明一实施例所提供的立体影像处理系统的简化方块图。

图2为绘示依据本发明一实施例在立体影像系统中所提供的深度图撷取单元的方块图。

图3绘示依据本发明一实施例为产生像差图dMAP所执行的估计像差值的方法的示意图。

图4绘示依据本发明一实施例在像差图中处理边界及遮蔽等空洞的方法的示意图。

图5绘示依据本发明一实施例如何产生过滤图fMAP的示意图。

图6绘示依据本发明一实施例计算深度图ZMAP的流程图。

[主要元件标号说明]

100    3D立体影像处理系统    102    接收单元

104    影像处理单元          106    显示装置

110    深度图撷取单元        112    3D立体呈现引擎

122    估计器                124    深度图产生器

125    深度图过滤单元        126    过滤产生器

128    组合模块              L      左视角影像

R     右视角影像                dMAP    像差图

fMAP  过滤图                    zMAP    深度图

ZMAP  修正深度图                w₁、w₂  权重系数

BK1、BK2、BK1′、BK2′像素块    Δx、Δx′位移量

LB    左侧边边界区域            RB      右侧边边界区域

OB1、OB2    特征                202A、204A  遮蔽空洞

202B、204B  像素区域            206A     左侧边边界空洞

206B        像素区域            208A     右侧边边界空洞

208B        像素区域            dMAP(L)  左像差图

dMAP(R)     右像差图            W        窗口

Z_max        最大深度值          Z_min     最小深度值

具体实施方式

图1为绘示依据本发明一实施例所提供的立体影像处理系统100的简化方块图。立体影像处理系统100可包括一接收单元102、一影像处理单元104及一显示装置106。当输入影像数据时，接收单元102可接收影像数据，并将影像数据转换为适当的格式后，再将影像数据传送至影像处理单元104。举例来说，输入至接收单元102的影像数据可包括一左视角影像L(left-viewimage)以及一右视角影像R(right-view image)，左视角影像L及右视角影像R分别代表从两个摄影机从两个不同观点(perspective)(即左眼及右眼观点)撷取同一景象的二维(2D)影像。接收单元102可调整左视角影像L及右视角影像R为适当的格式，然后传送左视角影像L及右视角影像R所组成的立体影像对(stereoscopic pair)至影像处理单元104。

影像处理单元104可包括一深度图撷取单元110及一3D立体呈现引擎112，其中深度图撷取单元110用以计算与左视角影像L及右视角影像R相关的一深度图ZMAP，而3D立体呈现引擎112则用以根据深度图ZMAP处理左视角影像L及右视角影像R，以产生显示于显示装置106上的3D立体影像框(3D stereoscopic image frame)。

图2为绘示依据本发明一实施例在立体影像系统100中所提供的深度图撷取单元110的方块图。深度图撷取单元110可包括一像差估计器122、一深度图产生器124及一深度图过滤单元125，其中深度图过滤单元125可包括一过滤产生器126及一组合模块128。像差估计器122可通过估计左视角影像L及右视角影像R中相对应的像素或像素群组之间的位移量(amount ofdisplacement)，来针对左视角影像L/右视角影像R中的每个像素计算出一像差值d(disparity value)，且像差估计器122可针对左视角影像L及右视角影像R产生一相对应的像差图dMAP，像差图dMAP包含所有的像差值d。

根据像差图dMAP中的像差值d，深度图产生器124可推得一深度图zMAP，深度图zMAP包含与左视角影像L/右视角影像R中的像素或像素群组有关的深度值z。其中深度值z为景象点及摄影机之间的距离，其反比于像差值d，并可根据下列方程式(1)推导得到：

$z=\frac{C}{d}---\left(1\right)$

其中C是一个与两个摄影机之间的距离以及摄影机的焦距有关的参数函数。

深度图过滤单元125可接收来自深度图产生器124的某些参数，并可通过过滤产生器126产生一过滤图fMAP，过滤图fMAP所包含的深度值可根据一过滤函数来定义，其中该过滤函数为根据深度图产生器124所提供的深度图zMAP的某些特征决定。过滤图fMAP包含的深度值可用来修正可能出现在深度图zMAP中的非正确深度值，例如不正确的边界深度值。

组合模块128可接收来自深度图产生器124输出的深度图zMAP，以及来自过滤产生器126输出的过滤图fMAP，并将深度图zMAP与过滤图fMAP结合，以推得修正后的深度图ZMAP。

图3绘示依据本发明一实施例为产生像差图dMAP所执行的估计像差值的方法的示意图。为计算来自左视角影像L及右视角影像R的像差数据，可利用一种双向立体影像匹配的方法(bidirectional stereo matching approach)测量左视角影像L及右视角影像R中相对应的像素或像素群组之间的位移量。双向立体影像匹配的方法可包括正向及反向的匹配步骤。正向匹配的步骤中，左视角影像L的像素块BK1中的像素值可视为参考值，可用来与右视角影像R的像素块BK2中的像素值比较，而且像素块BK2是从像素块BK1的位置向右位移一位移量Δx。根据一实施例，可对于匹配的像素块BK1与像素块BK2计算其像素值间的综合差别(aggregate of differences)，例如通过传统的绝对值差的和(sum of absolute difference,SAD)，以便判断是否匹配成功。如此，可针对左视角影像L的每一个像素或像素块BK1估计其像差值，而这些像差值可以灰阶值被记录于像差图dMAP中。

反向匹配的步骤中，右视角影像R的像素块BK1′可视为参考值，可用来与左视角影像L的像素块BK2'比较，而像素块BK2′是从像素块BK1′的位置向左位移一位移量Δx′。当像素块BK1′与像素块BK2′的匹配成功时，可针对右视角影像R的每一个像素或像素块BK1′估计其像差值。通过执行前述的双向立体影像匹配的方法，可得到两个像差图，以便精确地检测对应于像差图中的「空洞(hole)」的边界(boundary)及遮蔽(occlusion)。

图4为绘示依据本发明一实施例在像差图中处理边界及遮蔽等空洞的方法的示意图。一个遮蔽的存在通常系指在被撷取的景象中，一特征OB1(例如遮物)至少遮蔽部分另一个特征OB2(例如开口)，使左视角影像L(或右视角影像R)中的部分特征OB2在进行立体影像匹配时，于右视角影像R(或左视角影像L)中找不到任何匹配。藉此，相对应的遮蔽空洞202A及204A可分别出现在对应左视角影像L及右视角影像R的左像差图dMAP(L)及右像差图dMAP(R)(及深度图)，其中左像差图dMAP(L)可通过执行一正向立体影像匹配步骤而取得，而右像差图dMAP(R)则可通过执行一反向立体影像匹配步骤而取得。另外，侧边边界区域，例如左视角影像L中的左侧边边界LB，以及右视角影像R中的右侧边边界RB，亦可为没有匹配的区域，使左像差图dMAP(L)及右像差图dMAP(R)中分别产生相对应的侧边边界空洞206A及208A。

根据一实施例，像差图dMAP(L)及dMAP(R)中的遮蔽空洞202A及204A可由其邻近像素的像差数据加以填满。举例来说，如图4所示，左像差图dMAP(L)中的遮蔽空洞202A可由其左侧边的邻近像素区域202B的像差值填满，此像素区域202B可对应于显示在左视角影像L中的部分特征OB2的左侧边附近的像素区域。

在右像差图dMAP(R)中，遮蔽空洞204A可类似地由其右侧边的邻近像素区域204B的像差值填满，此像素区域204B可对应于显示在右视角影像R中的部分特征OB2的右侧边附近的像素区域。

相同地，左像差图dMAP(L)中的左侧边边界空洞206A可由其右侧边的邻近像素区域206B的像差值填满。右像差图dMAP(R)中的右侧边边界空洞208A可由其左侧边的邻近像素区域208B的像差值填满。当左像差图dMAP(L)中有一个右侧边边界空洞，或右像差图dMAP(R)中有一个左侧边边界空洞时，可类似地使用其邻近像素区域的像素值(例如对于左像差图dMAP(L)中的右侧边边界空洞208A为其邻近左侧边像素区域的像素值，对于右像差图dMAP(R)中的左侧边边界空洞206A则是其邻近右侧边像素区域的像素值)填满这些边界空洞。

利用邻近像素区域的像差值填满对应于遮蔽及侧边边界的空洞时，便可节省计算成本及时间。然而，根据另一个实施例，亦可视需求而运用其它方式(例如内差法)来填满空洞。

请再次参考图2，深度图产生器124可从像差估计器122建立的像差图dMAP计算出一个或多个深度图zMAP。实际实施时，产生深度图的分析可反映出某些深度图zMAP中在邻近于侧边边界的不连续区域可能含有错误的最大深度值，这些错误的深度值可能导致不正确的立体呈现。为了修正这些异常，过滤产生器126可建立一过滤图fMAP，并以该过滤图fMAP修正深度图zMAP。

图5绘示依据本发明一实施例如何产生过滤图fMAP的示意图。假设需呈现为具有深度及立体感的主要物像位于影像的中央区域，则可于深度图zMAP中选取一窗口W，其中窗口W的中心对应深度图zMAP的中央区域，且在窗口W内估计出最大深度值Z_max及最小深度值Z_min。然后利用最大深度值Z_max及最小深度值Z_min定义出过滤图fMAP的一过滤函数。根据一实施例，过滤函数可定义为一碗状或抛物线状的二次函数，如下列方程式(2)所示：

F(x)=αx²+βx+γ..........................(2)

其中α、β及γ可为常数。

过滤图fMAP可具有与深度图zMAP相同的像素尺寸。此外，过滤图fMAP中所定义的深度值较佳地介于最大深度值Z_max及最小深度值Z_min之间。根据一实施例，指定参数α及γ为最小深度值Z_min(即α=γ=Z_min)，且指定参数β为最大深度值Z_max(即β=Z_max)。

产生过滤函数后，可通过组合模块128将过滤图fMAP与深度图zMAP组合，以产生修正深度图ZMAP。根据一实施例，可根据下列方程式(3)计算出修正深度图ZMAP:

ZMAP=w₁×zMAP+w₂×fMAP            (3)

其中w₁及w₂为权重系数，两者的总和等于1(即w₁+w₂=1)。

权重系数w₁及w₂可以是深度图zMAP中根据像素位置的函数，例如权重系数w₁在接近深度图zMAP的中央处为较大，在接近深度图zMAP的边界处则为较小，而权重系数w₂在接近深度图zMAP的中央处为较小，在接近深度图zMAP的边界处则为较大。根据一较简单的实施例，权重系数w₁及w₂亦可以是固定的常数系数，以减少计算成本，例如重系数w₁可以约等于0.3，权重系数w₂可以约等于0.7。

图6绘示依据本发明一实施例计算深度图ZMAP的流程图。于起始步骤602中，由接收单元102接收一对立体影像，该立体影像对可包括左视角影像L及右视角影像R，左视角影像L及右视角影像R分别代表左眼及右眼的视觉观点。在步骤604中，深度图产生器124可根据左视角影像L及右视角影像R计算出第一深度图zMAP。如上所述，第一深度图zMAP可从像差估计器122产生的像差图dMAP计算出来。特别的是，可运用一双向立体影像匹配方法来估计像差图dMAP，且像差图dMAP中因遮蔽而产生的空洞可由其邻近像素区域的像差值填满，如先前图4所述。

在步骤606中，可从第一深度图zMAP选择一个窗口W。根据一实施例，窗口W的中心可对应第一深度图zMAP的中央区域。在步骤608中，包括最大深度值Z_max及最小深度值Z_min的极端深度值可从窗口W撷取出来。在步骤610中，可将这些极端深度值从深度图产生器124传送至过滤产生器126，以建立过滤图fMAP。如上所述，过滤图fMAP可由具有碗形或抛物线形的二次方程式定义。在步骤612中，组合模块128可以权重系数w₁加重深度图zMAP，并以权重系数w₂加重过滤图fMAP后，再将两者相加，如先前方程式(3)所示，从而运用过滤图fMAP于深度图zMAP。因此，从组合模块128输出的修正深度图ZMAP(第二深度图)实质上已经移除了异常。

所述的立体影像处理系统具有至少一优点在于，可修正深度图中的异常深度数据及遮蔽空洞，具有成本的效益。因此，可更流畅地显示3D立体影像。

可以理解的是，本发明所述的元件可以不同形式的硬件、软件或两者的组合来实现，可通过专用硬件以及可执行软件的硬件来提供元件的功能。举例来说，可利用单一的专用处理器、共享处理器或多个独立的处理器来执行功能。

以上叙述依据本发明多个不同实施例，其中各项特征可以单一或不同结合方式实施。因此，本发明实施方式的揭露为阐明本发明原则的具体实施例，应不拘限本发明于所揭示的实施例。进一步言之，先前叙述及其附图仅为本发明示范之用，并不受其限囿。其它元件的变化或组合皆可能，且不悖于本发明的精神与范围。

Claims (19)

1.一种处理立体影像的系统，包括：

一接收单元，用以接收一对立体影像；以及

一影像处理单元，其中该影像处理单元配置以执行以下步骤：

根据该立体影像对计算出一第一深度图；

于该第一深度图中选取一窗口并从该窗口判断多个极端深度值；

根据该多个极端深度值定义出一过滤图；以及

通过结合该过滤图及该第一深度图计算出一第二深度图。

2.根据权利要求1所述的立体影像处理系统，其中该过滤图由一个二次函数定义，该二次函数为αx²+βx+γ，α、β及γ皆为常数。

3.根据权利要求2所述的立体影像处理系统，其中该多个极端深度值包括一最小深度值及一最大深度值，该最小深度值分配的常数为α及γ，该最大深度值分配的常数为β。

4.根据权利要求1所述的立体影像处理系统，其中该第二深度图通过以一第一权重系数加重的该第一深度图、及以一第二权重系数加重的该过滤图相加后取得。

5.根据权利要求4所述的立体影像处理系统，其中该第一权重系数与该第二权重系数的总和等于1。

6.根据权利要求1所述的立体影像处理系统，其中该窗口的中心对应该第一深度图的一中央区域。

7.根据权利要求1所述的立体影像处理系统，其中该影像处理单元还可利用一双向立体影像匹配方法计算出该立体影像对的一像差图，并根据该像差图取得该第一深度图。

8.根据权利要求7所述的立体影像处理系统，其中该影像处理单元可将该像差图中的一遮蔽空洞由其邻近像素区域的深度值填满。

9.根据权利要求7所述的立体影像处理系统，其中该影像处理单元可将该像差图中的一边界空洞由其邻近像素区域的深度值填满。

10.一种处理立体影像的方法，包括：

根据一对立体影像计算出一第一深度图；

产生一对应该第一深度图的过滤图；以及

结合该第一深度图及该过滤图，以得到一第二深度图。

11.根据权利要求10所述的处理立体影像的方法，其中产生该过滤图的步骤包括：

从该第一深度图中选取一窗口；

从该窗口中判断多个极端深度值；以及

根据该多个极端深度值产生该过滤图。

12.根据权利要求11所述的处理立体影像的方法，其中该过滤图由一过滤函数所定义，该过滤函数F(x)=αx²+βx+γ，α、β及γ皆为与该极端深度值有关的常数。

13.根据权利要求12所述的处理立体影像的方法，其中该极端深度值包括一最小深度值及一最大深度值，该最小深度值分配的常数为α及γ，该最大深度值分配的常数为β。

14.根据权利要求11所述的处理立体影像的方法，其中该窗口的中心对应于该第一深度图的中央。

15.根据权利要求10所述的处理立体影像的方法，其中结合该第一深度图及该过滤图的步骤包括：

以一第一权重系数加重该第一深度图；

以一第二权重系数加重该过滤图；以及

将加重后的该第一深度图与该过滤图相加。

16.根据权利要求15所述的处理立体影像的方法，其中该第一权重系数与该第二权重系数的总和等于1。

17.根据权利要求10所述的处理立体影像的方法，其中根据该立体影像对计算出该第一深度图的步骤包括：

利用一双向立体影像匹配方法计算出该立体影像对的一像差图；以及

根据该像差图取得该第一深度图。

18.根据权利要求17所述的处理立体影像的方法，其中利用该双向立体影像匹配方法计算出该立体影像对的该像差图的步骤还包括：

将该像差图中的一遮蔽空洞由其邻近像素区域的深度值填满。

19.根据权利要求17所述的处理立体影像的方法，其中利用该双向立体影像匹配方法计算该立体影像对的该像差图的步骤包括：

将该像差图中的一边界空洞由其邻近像素区域的深度值填满。

Images