CN101751664B - 立体深度资讯的产生系统及产生方法 - Google Patents

Abstract

本发明是有关一种立体深度资讯的产生系统及产生方法。该系统包括，一独立于颜色及物体的区域模糊程度估算单元，用以分析二维影像的每一像素的模糊程度；以及一深度分派单元，其根据该模糊程度以分派深度资讯给该二维影像。该方法包括以下步骤，分析二维影像的每一像素的模糊程度；以及根据该模糊程度以分派深度资讯给该二维影像。本发明的立体深度资讯的产生系统及产生方法，较能忠实地且简易地重现或近似出立体表现。

Description

立体深度资讯的产生系统及产生方法

技术领域

本发明涉及一种立体深度(3D depth)资讯的产生，特别是涉及一种估算区域模糊程度(local blurriness)以产生立体深度资讯的立体深度资讯的产生系统及产生方法。

背景技术

当三维物体藉由照相机或摄影机而投影映射至二维影像平面时，由于此种投射是为非唯一的多对一转换，因此会失去立体深度资讯。换句话说，无法藉由投射后的影像点来决定其深度。为了得到一个完整重现或近似的立体表现，必须恢复或产生这些立体深度资讯，用以进行影像强化(enhancement)、影像复原(restoration)、影像合成或影像的显示。

照相机藉由透镜而将平行入射光线聚合于光轴的焦点上。从透镜到焦点的距离称为焦距。如果来自物体的光线聚合良好，则称此物体的二维影像为焦点对准的；如果来自物体的光线未聚合良好，则称此物体的二维影像为失焦。影像中的失焦物体会呈现模糊现象，且模糊程度和距离或深度成正比。因此，藉由测量模糊程度可用以产生立体深度资讯。

传统立体深度资讯的产生方法之一为针对多张同一场景不同对焦(/距离)的同一区域的模糊程度进行分析。根据这些不同模糊程度及距离，因而可以得知影像中的立体深度资讯。

另一种传统立体深度资讯的产生方法为针对单张影像的个别区域进行二维频域转换或高通滤波，所得到的高频强度即代表个别的模糊程度。根据模糊程度而可以得知整个影像的立体深度资讯。此方法的缺点为，当影像中物体的颜色不同，或亮度相近，或物体的材质特征不明显时，则很难区别各物体之间的模糊程度。

鉴于上述传统方法未能忠实地或简易地产生立体深度资讯，因此亟需提出一种立体深度资讯的产生系统及产生方法，以忠实地且简易地重现或近似出立体表现。

发明内容

本发明的目的在于，克服现有的立体深度资讯的产生方法存在的缺陷，而提供一种新的立体深度资讯的产生系统及产生方法，所要解决的技术问题是使其以忠实地且简易地重现或近似出立体表现。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种立体深度资讯的产生系统，其包含：一独立于颜色及物体的区域模糊程度估算单元，用以分析二维影像的每一像素的模糊程度；以及一深度分派单元，其根据该模糊程度以分派深度资讯给该二维影像。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的立体深度资讯的产生系统，其中所述的独立于颜色及物体的区域模糊程度估算单元包含一滤波器： ${\hat{m}}_C^{\left(4\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{(I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y))}^4$ 其中，n是该滤波器的阶层数；I_color是像素的红色、绿色或蓝色的亮度；η(x，y)是相邻于像素(x，y)的像素集合；Nη是集合内的像素总数量；

是红色、绿色或蓝色平均值，也可表示为 ${\hat{m}}_C(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{I}_{\mathrm{color}}(s,t).$

前述的立体深度资讯的产生系统，其中所述的滤波器所产生的结果为n-阶统计值。

前述的立体深度资讯的产生系统，其中所述的滤波器被使用三次来分别分析红色、绿色、蓝色像素，以获得相对应的统计值，其中，三个颜色当中的最大统计值则作为深度分派时的引导指标(leading performer)。

前述的立体深度资讯的产生系统，其还包含一绝对统计值，表示为： ${\stackrel{\‾}{\hat{m}}}_C^{\left(4\right)}(x,y)=\frac{{\hat{m}}_C^{\left(4\right)}(x,y)}{{\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)};$ 其中， ${\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}|I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y)|.$

前述的立体深度资讯的产生系统，其还包含：一分割单元，用以将该二维影像分割为多个区域。

前述的立体深度资讯的产生系统，其中所述的深度分派单元分派较小深度资讯给较小模糊程度的像素，而分派较大深度资讯给较大模糊程度的像素。

本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的一种立体深度资讯的产生方法，其包括以下步骤：分析二维影像的每一像素的模糊程度；以及根据该模糊程度以分派深度资讯给该二维影像。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的立体深度资讯的产生系统及产生方法，其中所述的模糊程度的分析步骤是由下列滤波器执行： ${\hat{m}}_C^{\left(4\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{(I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y))}^4$ 其中，n是该滤波器的阶层数；I_color是像素的红色、绿色或蓝色的亮度；η(x，y)是相邻于像素(x，y)的像素集合；Nη是集合内的像素总数量；

是红色、绿色或蓝色平均值，也表示为 ${\hat{m}}_C(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{I}_{\mathrm{color}}(s,t).$

前述的立体深度资讯的产生系统及产生方法，其中所述的滤波器所产生的结果为n一阶统计值。

前述的立体深度资讯的产生系统及产生方法，其中所述的滤波器被使用三次来分别分析红色、绿色、蓝色像素，以获得相对应的统计值，其中，三个颜色当中的最大统计值则作为深度分派时的引导指标(leadingperformer)。

前述的立体深度资讯的产生系统及产生方法，还包含一绝对统计值，表示为： ${\stackrel{\‾}{\hat{m}}}_C^{\left(4\right)}(x,y)=\frac{{\hat{m}}_C^{\left(4\right)}(x,y)}{{\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)}$ 其中， ${\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}|I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y)|.$

前述的立体深度资讯的产生系统及产生方法，其还包含一步骤用以将该二维影像分割为多个区域。

前述的立体深度资讯的产生系统及产生方法，其中所述的在上述深度资讯的分派步骤中，分派较小深度资讯给较小模糊程度的像素，而分派较大深度资讯给较大模糊程度的像素。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明立体深度资讯的产生系统及产生方法至少具有下列优点及有益效果：本发明的立体深度资讯的产生系统及产生方法，较能忠实地且简易地重现或近似出立体表现。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明立体深度资讯产生系统较佳实施例的的方框示意图。

图2是本发明立体深度资讯产生方法实施例的流程步骤图。

100：立体深度资讯产生系统    10：输入装置

11：影像分割单元             12：区域模糊程度估算单元

13：深度分派单元             14：输出装置

20-24：实施例的流程步骤

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的立体深度资讯的产生系统及产生方法其具体实施方式、结构、步骤、特征及其功效，详细说明如后。

请参阅图1、图2所示，图1是本发明立体(3D)深度资讯的产生系统100较佳实施例的的方框示意图；图2是本发明立体深度资讯产生方法实施例的流程步骤图。本发明较佳实施例的立体(3D)深度资讯的产生系统100，包括一输入装置10、一影像分割单元11、一独立于颜色及物体的区域模糊程度估算单元12以及输出装置14。本发明立体深度资讯的产生方法，包括以下步骤，提供二维影像步骤20；影像分割步骤21；区域模糊程度估算步骤22；以及分派深度资讯给每一个区域步骤23；以及输出深度资讯步骤24。上述的输入装置10提供或接收一或多张二维(平面)输入影像(步骤20)，用以进行本实施例的影像/视讯处理之用。输入装置10可以是一种光电装置，用以将三维物体投影映射至二维影像平面。在本实施例中，输入装置10可以是照相机，用以取像得到二维影像；或者可以是摄影机，用以取得多幅影像。在另一实施例中，输入装置10可以是前置处理装置，用以进行一或多个影像处理工作，例如影像强化、影像复原、影像分析、影像压缩或影像合成。再者，输入装置10可更包含一储存装置(例如半导体存储器或硬盘)，用以储存经前置处理装置所处理的影像。如前所述，当三维物体投影映射至二维影像平面时，会失去立体深度资讯，因此，以下将详述本发明实施例的立体深度资讯产生系统100的其他方块是如何用来处理输入装置10所提供的二维影像。

二维影像可经由一影像分割单元11而将将整个影像分割为多个区域(或像素集)(步骤21)。在本说明书中，“单元”一词可用以表示一电路、一程序或其组合。分割的目的在使得后续的处理可以更简单且正确。在本实施例中，影像分割单元11是使用传统影像处理技术以侦测或辨别物体的分界线。

接下来，使用一独立于颜色及物体的区域模糊程度估算单元12以分析每一像素的模糊程度(步骤22)。本实施例所使用的滤波器是不受颜色及物体的影响，因此，可据以辨别各物体的模糊程度。底下的演算法显示一较佳滤波器：

${\hat{m}}_C^{\left(4\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{(I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y))}^4$

其中，I_color代表像素的红色亮度(Ired)、绿色亮度(I-green)或蓝色亮度(Iblue)；

η(x，y)代表相邻于像素(x，y)的像素集合；

Nη代表集合内的像素总数量；

代表红色的平均值(

)、绿色平均值()或蓝色平均值(

)，也可表示为

${\hat{m}}_C(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{I}_{\mathrm{color}}(s,t)$

在本实施例中，获得一高阶统计值(high order statistics，HOS)或高阶中央动差(central moment)用以估算模糊程度。在本说明书中，“高阶”一词是指大于二阶者。虽然本实施例使用高阶(特别是四阶)统计值，但是，在其他实施例中，也可以使用二阶。上述得到的HOS可用以估算模糊程度。换句话说，较大的HOS表示相对应区域较近于观看者；相反的，较小的HOS表示相对应区域较远于观看者。

在本实施例中，使用三次上述滤波器来分别分析红色、绿色、蓝色像素，以获得相对应的HOS。红色、绿色、蓝色的最大HOS则作为深度分派时的引导指标(leading performer)。例如，假如红色通道的HOS为最大者，则接下来的深度分排将完全针对红色通道来进行。

在另一实施例中，针对统计值的绝对值来获得绝对HOS，其通常较标准(normal)HOS来得准确，可表示如下：

${\stackrel{\‾}{\hat{m}}}_C^{\left(4\right)}(x,y)=\frac{{\hat{m}}_C^{\left(4\right)}(x,y)}{{\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)}$

其中， ${\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}|I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y)|$

自影像分割单元11所得到的分割资讯以及自区域模糊程度估算单元12所估算的模糊程度被馈至深度分派单元13，用以分派深度资讯每一区域(或分割片段)(步骤23)。一般来说，每一区域的深度资讯的分派方式彼此不同，不过，二或多个区域也可以采用相同的分派方式。另外，深度分派单元13也可根据事前知识(prior knowledge)及模糊程度估算来分派深度资讯给一区域中的像素。一般而言，具较小模糊程度的像素被分派以较小深度资讯(亦即，靠近观看者)，而具较大模糊程度的像素被分派以较大深度资讯(亦即，远离观看者)。

上述的输出装置14从深度分派单元13接收立体深度资讯，并产生输出影像(步骤24)。在一实施例中，输出装置14可以为显示装置，用以显示或供观看所接收的深度资讯。在另一实施例中，输出装置14可以为储存装置，例如半导体存储器(或称半导体记忆体)或硬盘，用以储存所接收的深度资讯。再者，输出装置14也可更包含一后置处理装置，用以进行一或多种影像处理，例如影像强化、影像复原、影像分析、影像压缩或影像合成。

根据上述的本发明实施例，与先前技术所述的传统立体深度资讯产生方法比较起来，本发明实施例较能忠实地且简易地重现或近似出立体表现。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (12)

1.一种立体深度资讯的产生系统，其特征在于包含：

一独立于颜色及物体的区域模糊程度估算单元，用以分析二维影像的每一像素的模糊程度；以及

一深度分派单元，其根据该模糊程度以分派深度资讯给该二维影像；

其中所述的独立于颜色及物体的区域模糊程度估算单元包含一滤波器：

${\hat{m}}_C^{\left(4\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{(I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y))}^4$

其中，I_color是像素的红色、绿色或蓝色的亮度；

η(x，y)是相邻于像素(x，y)的像素集合；

Nη是集合内的像素总数量；

是红色、绿色或蓝色平均值，表示为

${\hat{m}}_C(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{I}_{\mathrm{color}}(s,t).$

2.根据权利要求1所述的立体深度资讯的产生系统，其特征在于其中所述的滤波器所产生的结果为统计值。

3.根据权利要求2所述的立体深度资讯的产生系统，其特征在于其中所述的滤波器被使用三次来分别分析红色、绿色、蓝色像素，以获得相对应的统计值，其中，三个颜色当中的最大统计值则作为深度分派时的引导指标。

4.一种立体深度资讯的产生系统，其特征在于包含：

一独立于颜色及物体的区域模糊程度估算单元，用以分析二维影像的每一像素的模糊程度；以及

一深度分派单元，其根据该模糊程度以分派深度资讯给该二维影像；

其中所述的独立于颜色及物体的区域模糊程度估算单元包含一滤波器：

${\stackrel{\‾}{\hat{m}}}_C^{\left(4\right)}(x,y)=\frac{{\hat{m}}_C^{\left(4\right)}(x,y)}{{\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)}$

其中， ${\hat{m}}_C^{\left(4\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{(I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y))}^4$

I_color是像素的红色、绿色或蓝色的亮度；

η(x，y)是相邻于像素(x，y)的像素集合；

Nη是集合内的像素总数量；

是红色、绿色或蓝色平均值，表示为：

${\hat{m}}_C(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{I}_{\mathrm{color}}(s,t);$

${\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}|I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y)|.$

5.根据权利要求1或4中任一权利要求所述的立体深度资讯的产生系统，其特征在于其还包含：一分割单元，用以将该二维影像分割为多个区域。

6.根据权利要求1或4中任一权利要求所述的立体深度资讯的产生系统，其特征在于其中所述的深度分派单元分派较小深度资讯给较小模糊程度的像素，而分派较大深度资讯给较大模糊程度的像素。

7.一种立体深度资讯的产生方法，其特征在于其包括以下步骤：

分析二维影像的每一像素的模糊程度；以及

根据该模糊程度以分派深度资讯给该二维影像；

其中所述的模糊程度的分析步骤是由下列滤波器执行：

${\hat{m}}_C^{\left(4\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{(I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y))}^4$

其中，I_color是像素的红色、绿色或蓝色的亮度；

η(x，y)是相邻于像素(x，y)的像素集合；

Nη是集合内的像素总数量；

是红色、绿色或蓝色平均值，表示为

${\hat{m}}_C(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{I}_{\mathrm{color}}(s,t).$

8.根据权利要求7所述的立体深度资讯的产生方法，其特征在于其中所述的滤波器所产生的结果为统计值。

9.根据权利要求8所述的立体深度资讯的产生方法，其特征在于其中所述的滤波器被使用三次来分别分析红色、绿色、蓝色像素，以获得相对应的统计值，其中，三个颜色当中的最大统计值则作为深度分派时的引导指标。

10.一种立体深度资讯的产生方法，其特征在于其包括以下步骤：

分析二维影像的每一像素的模糊程度；以及

根据该模糊程度以分派深度资讯给该二维影像；

其中所述的模糊程度的分析步骤是由下列滤波器执行：

${\stackrel{\‾}{\hat{m}}}_C^{\left(4\right)}(x,y)=\frac{{\hat{m}}_C^{\left(4\right)}(x,y)}{{\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)}$

其中， ${\hat{m}}_C^{\left(4\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{(I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y))}^4;$

I_color是像素的红色、绿色或蓝色的亮度；

η(x，y)是相邻于像素(x，y)的像素集合；

Nη是集合内的像素总数量；

是红色、绿色或蓝色平均值，表示为：

${\hat{m}}_C(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}{I}_{\mathrm{color}}(s,t);$

${\hat{m}}_C^{\left(\mathrm{abs}\right)}(x,y)=\frac{1}{N_{\mathrm{\η}}}\underset{(s,t)\∈\mathrm{\η}(x,y)}{\mathrm{\Σ}}|I_{\mathrm{color}}(s,t)-{\hat{m}}_C(x,y)|.$

11.根据权利要求10所述的立体深度资讯的产生方法，其特征在于其还包含一步骤用以将该二维影像分割为多个区域。

12.根据权利要求10所述的立体深度资讯的产生方法，其特征在于其中在所述的分派深度资讯的步骤中，分派较小深度资讯给较小模糊程度的像素，而分派较大深度资讯给较大模糊程度的像素。

Images