CN101751661A - 深度相关的影像加强系统及方法 - Google Patents

Abstract

本发明是有关于一种深度相关的影像加强系统及方法，该深度相关的影像加强系统，包含：一深度估算单元，用以从二维影像产生立体深度资讯；以及一影像加强单元，其根据该立体深度资讯以加强该二维影像。该深度相关的影像加强方法，包含以下步骤：从二维影像产生立体深度资讯；以及根据该立体深度资讯以加强该二维影像。

Description

深度相关的影像加强系统及方法

技术领域

本发明涉及一种影像强化(enhancement)，特别是涉及一种深度相关(depth-based)的影像或视讯强化的深度相关的影像加强系统及方法。

背景技术

当三维物体藉由照相机或摄影机而投影映射至二维影像平面时，由于此种投射为非唯一的多对一转换，因此会失去立体深度资讯。换句话说，无法藉由投射后的影像点来决定其深度。为了得到一个完整重现或近似的立体表现，必须恢复或产生这些立体深度资讯，用以进行影像强化(enhancement)、影像复原(restoration)、影像合成或影像的显示。

影像强化是数字(即数位，本文均称为数字)影像或视讯处理当中很重要的一种。广义来看，几乎所有的数字影像处理工作都会应用到影像强化。一方面来看，影像强化用以改进影像的品质(例如对比及亮度)；另一方面来看，影像强化用以作为后续影像处理的准备或前置处理。

影像边界(edge)的强化或侦测为一种重要的影像强化操作。影像边界强化会加强影像的边界或显示出边界的细节(例如影像中物体的轮廓)，而保持或甚至压制影像的其他部分。

传统的边界加强通常对二维影像进行二维频率转换。频率转换是将影像自空间域的亮度表示转换为频域的频率成分表示。经频率转换的高频成分或边界资讯，其强度会增加或加强，因而产生边界加强的影像。然而，传统方法对于不同深度的边界并没有作区别，因此，单调地分派相同的深度值给不同的边界。

鉴于上述传统方法未能忠实地进行影像的加强，因此亟需提出一种深度相关的影像/视讯加强系统及方法，除了加强影像外，也考量了个别的立体深度资讯。

由此可见，上述现有的影像加强系统及方法在产品结构、方法与使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般产品及方法又没有适切的结构及方法能够解决上述问题，此显然是相关业者急欲解决的问题。因此如何能创设一种新的深度相关的影像加强系统及方法，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。

发明内容

本发明的目的在于，克服现有的影像加强系统及方法存在的缺陷，而提供一种新的深度相关的影像/视讯加强系统及方法，所要解决的技术问题是使其使用立体深度资讯以忠实地改良影像品质，非常适于实用。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种深度相关的影像加强系统，包含：一深度估算单元，用以从二维影像产生立体深度资讯；以及一影像加强单元，其根据该立体深度资讯以加强该二维影像。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的深度相关的影像加强系统，其中上述的影像加强单元对于该二维影像中具有较小深度值的物体使用较大加强权重，而对于具有较大深度值的物体则使用较小加强权重。

前述的深度相关的影像加强系统，其中上述的影像加强单元对于下列的一或多个特征进行加强：边界、对比及饱和度。

前述的深度相关的影像加强系统，其中上述的影像加强单元包含下列的一或多个元件：一深度相关边界加强单元，用以强调(emphasize)该二维影像的边界细节；一颜色空间转换器，用以转换该二维影像的颜色空间(color space)，以得到亮度(luma)成分及色度(chroma)成分；一深度相关对比调整单元，用以加强该亮度成分的对比特征；一深度相关饱和度调整单元，用以加强该色度成分的饱和度特征；及一颜色空间反转换器，用以将该亮度成分及色度成分转换回原始二维影像的颜色空间。

前述的深度相关的影像加强系统，其中上述的深度相关边界加强单元包含：一空间域折遮罩(convolution mak)，其针对该二维影像的一中心像素周围的像素群进行处理。

前述的深度相关的影像加强系统，其中上述的深度相关对比调整单元包含：一亮度分布图伸展(histogram stretching)装置，用以将灰阶值大于临界值的像素值予以增加，而将灰阶值小于临界值的像素值予以降低。

前述的深度相关的影像加强系统，其中上述的颜色空间转换器将该二维影像从红/绿/蓝(RGB)颜色空间转换至色调/饱和度/亮度(hue/saturation/intensity，HSI)颜色空间。

前述的深度相关的影像加强系统，其中上述的颜色空间反转换器将经加强的二维影像从红/绿/蓝颜色空间转换回色调/饱和度/亮度颜色空间。

本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的一种深度相关的影像加强方法，其包含以下步骤：从二维影像产生立体深度资讯；以及根据该立体深度资讯以加强该二维影像。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的深度相关的影像加强方法，其中在上述的加强步骤中，对于该二维影像中具有较小深度值的物体使用较大加强权重，而对于具有较大深度值的物体则使用较小加强权重。

前述的深度相关的影像加强方法，其中上述的加强步骤对于下列的一或多个特征进行加强：边界、对比及饱和度。

前述的深度相关的影像加强方法，其中上述的加强步骤包含下列的一或多个次步骤：根据该立体深度资讯，加强该二维影像的边界细节；转换该二维影像的颜色空间(color space)，以得到亮度(luma)成分及色度(chroma)成分；根据该立体深度资讯，加强该亮度成分的对比特征；根据该立体深度资讯，加强该色度成分的饱和度特征；及将该亮度成分及色度成分转换回原始二维影像的颜色空间。

前述的深度相关的影像加强方法，其中上述的边界细节加强次步骤包含：使用一空间域折遮罩(convolution mask)于该二维影像的一中心像素周围的像素群。

前述的深度相关的影像加强方法，其中上述的对比特征加强次步骤包含：将灰阶值大于临界值的像素值予以增加，而将灰阶值小于临界值的像素值予以降低。

前述的深度相关的影像加强方法，其中上述的颜色空间转换次步骤将该二维影像从红/绿/蓝(RGB)颜色空间转换至色调/饱和度/亮度(hue/saturation/intensity，HSI)颜色空间。

前述的深度相关的影像加强方法，其中上述的颜色空间反转换次步骤将经加强的二维影像从色调/饱和度/亮度颜色空间转换回红/绿/蓝颜色空间。

本发明与现有技术相比具有明显的优点和有益效果。由以上技术方案可知，本发明的主要技术内容如下：

为达到上述目的，本发明提供了一种深度相关的影像加强系统及方法，深度估算单元从二维影像产生立体深度资讯。接着，影像加强单元根据立体深度资讯以加强二维影像。在本实施例的影像加强单元中，深度相关边界加强单元强调(emphasize)二维影像的边界细节。深度相关对比调整单元加强亮度(luma)成分的对比特征，而深度相关饱和度调整单元则加强色度(chroma)成分的饱和度特征。

借由上述技术方案，本发明深度相关的影像加强系统及方法至少具有下列优点及有益效果：本发明可忠实地改良影像品质，例如边界、对比或饱和度，或者为其他特征(例如材质(texture)特征、空间特征、杂讯或模糊程度(blurriness))。

综上所述，本发明一种深度相关的影像加强系统及方法。深度估算单元从二维影像产生立体深度资讯。接着，影像加强单元根据立体深度资讯以加强二维影像。

本发明在技术上有显著的进步，并具有明显的积极效果，诚为一新颖、进步、实用的新设计。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1A显示本发明实施例的深度相关影像/视讯加强系统流程图。

图1B显示本发明实施例的深度相关影像/视讯加强方法的流程步骤图。

图2A显示本发明实施例的影像加强单元的详细方块图。

图2B显示本发明实施例的影像加强步骤的详细流程步骤图。

100：深度相关影像/视讯加强系统    10：输入装置

11：立体深度估算单元              12：影像加强单元

13：输出装置                      20-23：实施例的流程步骤

120：边界加强单元                 122：转换器

124：对比调整单元                 126：饱和度调整单元

128：颜色空间反转换

220-228影像加强步骤的详细流程步骤

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的深度相关的影像加强系统及方法其具体实施方式、结构、方法、步骤、特征及其功效，详细说明如后。

有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效得一更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。

图1A显示本发明实施例的深度相关(depth-based)影像/视讯加强(enhancement)系统100。为了便于了解本发明，包含有原始影像、处理中影像、结果影像的例示影像也同时附属显示于图式中。图1B显示本发明实施例的深度相关影像/视讯加强方法的流程步骤图。

输入装置10提供或接收一或多张二维(平面)输入影像(步骤20)，用以进行本实施例的影像/视讯处理之用。输入装置10可以是一种光电装置，用以将三维物体投影映射至二维影像平面。在本实施例中，输入装置10可以是照相机，用以取像得到二维影像；或者可以是摄影机，用以取得多幅影像。在另一实施例中，输入装置10可以是前置处理装置，用以进行一或多个影像处理工作，例如影像强化、影像复原、影像分析、影像压缩或影像合成。再者，输入装置10可更包含一储存装置(例如半导体存储器(即记忆体，本文均称为存储器)或硬碟)，用以储存经前置处理装置所处理的影像。如前所述，当三维物体投影映射至二维影像平面时，会失去立体深度资讯，因此，以下将详述本发明实施例的深度相关影像/视讯加强系统100的其他方块是如何用来处理输入装置10所提供的二维影像。

接下来，输入装置10所提供的二维影像经由立体深度估算单元11处理，以产生或重现影像中物体的立体深度资讯(步骤21)。在本说明书中，“单元”一词可用以表示一电路、一程序或其组合。立体深度估算单元11可以是传统的电路或演算法，用以自二维影像产生立体深度资讯。或者，立体深度估算单元11也可以是新颖的电路或演算法，其揭露于本案申请人的下列专利申请案中：“侦测消失线以产生立体深度资讯”(发明人为陈良基等人)、“区块相关的材质密度分析以产生立体深度资讯”(发明人为陈良基等人)、“估算区域模糊程度以产生立体深度资讯”(发明人为陈良基等人)。

立体深度估算单元11所产生的立体深度资讯和输入装置10所提供的原始二维影像共同馈至影像加强(或调整(adjustment))单元12(步骤22)。在本实施例中，影像加强单元12改进原始二维影像的边界、对比及饱和度(saturation)。再者，本发明实施例的影像加强单元12根据立体深度资讯来进行此影像处理，使得影像中的边界细节(例如个别区域的物体的轮廓)根据个别不同深度而施予不同程度的强调(emphasize)或加强。例如，具有较小深度值(亦即，较靠近观看者)的物体轮廓施予较大程度的加强或使用较大加强权重，而具有较大深度值(亦即，较远离观看者)的物体轮廓则施予较小程度的加强或使用较小加强权重。影像加强的执行可以使用传统或未来的影像技术，其可以属于空间域加强处理或频域加强处理。

请参阅图2A、图2B所示，分别显示本发明实施例的影像加强单元12的详细方块图及显示本发明实施例的影像加强步骤22的详细流程步骤图。

首先，二维影像藉由边界加强单元120以强调显示出影像中的边界细节。特别的是，此边界加强的执行是根据深度资讯的。例如，具有较小深度值(亦即，较靠近观看者)的物体使用较大加强权重，而具有较大深度值(亦即，较远离观看者)的物体则使用较小加强权重。权重值可以根据个别应用需求而从实验得到。在本实施例中，边界加强的进行是藉由高通滤波技术，首先使用一空间域折遮罩(convolution mask)，接着以此遮罩针对一中心像素周围的像素群进行处理。

边界加强单元120所得到的边界加强影像可藉由一转换器122将其自红/绿/蓝(RGB)颜色空间转换至色调/饱和度/亮度(hue/saturation/intensity，HSI)颜色空间(步骤222)。然而，如果经转换的颜色资料可以事先提供的话，则上述的转换即可省略。再者，虽然本实施例使用HSI颜色空间，然而也可以使用其他的颜色空间，例如HSL(hue/saturation/lightness)或HSV(hue/saturation/value)。经转换的影像资料基本上包含亮度(luma)成分及色度(chroma)成分。

在本实施例中，使用对比调整单元124对亮度成分进行对比调整或加强(步骤224)，以加强其对比特性。特别的是，此对比调整的执行是根据深度资讯的。例如，具有较小深度值(亦即，较靠近观看者)的物体使用较大加强权重，而具有较大深度值(亦即，较远离观看者)的物体则使用较小加强权重。权重值可以根据个别应用需求而从实验得到。在本实施例中，对比调整的进行是使用亮度分布图伸展(histogram stretching)技术，其将分布图中灰阶值大于临界值的像素值予以增加，而将分布图中灰阶值小于临界值的像素值予以降低。

此外，使用饱和度调整单元126对色度成分进行饱和度调整或加强(步骤226)，以加强其饱和度特性或颜色/色调的纯度。特别的是，此饱和度调整的执行是根据深度资讯的。例如，具有较小深度值(亦即，较靠近观看者)的物体使用较大加强权重，而具有较大深度值(亦即，较远离观看者)的物体则使用较小加强权重。权重值可以根据个别应用需求而从实验得到。

接下来，将对比调整单元124所得到的对比调整亮度成分和饱和度调整单元126所得到的饱和度调整色度成分从HSI颜色空间转换回到RGB颜色空间(方块128，步骤228)。上述的颜色空间反转换可以省略，或者暂时保持不动。再者，在本实施例中，虽然边界的调整120先于对比/饱和度的调整124/126，然而，其顺序也可以予以颠倒。另外，可以根据个别应用需求而将边界调整120、对比调整124、饱和度调整126其中的一或多个予以省略。

输出装置13从影像加强单元12接收加强影像，并产生输出影像(步骤23)。在一实施例中，输出装置13可以为显示装置，用以显示或供观看所接收的加强影像。在另一实施例中，输出装置13可以为储存装置，例如半导体存储器或硬碟，用以储存所接收的加强影像。再者，输出装置13也可更包含一后置处理装置，用以进行一或多种影像处理，例如影像复原、影像分析、影像压缩或影像合成。

根据上述，本发明实施例可忠实地改良影像品质，例如边界、对比或饱和度，或者为其他特征(例如材质(texture)特征、空间特征、杂讯或模糊程度(blurriness))。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (16)

1.一种深度相关的影像加强系统，其特征在于其包含：

一深度估算单元，用以从二维影像产生立体深度资讯；以及

一影像加强单元，其根据该立体深度资讯以加强该二维影像。

2.根据权利要求1所述的深度相关的影像加强系统，其特征在于其中上述的影像加强单元对于该二维影像中具有较小深度值的物体使用较大加强权重，而对于具有较大深度值的物体则使用较小加强权重。

3.根据权利要求1所述的深度相关的影像加强系统，其特征在于其中上述的影像加强单元对于下列的一或多个特征进行加强：边界、对比及饱和度。

4.根据权利要求1所述的深度相关的影像加强系统，其特征在于其中上述的影像加强单元包含下列的一或多个元件：

一深度相关边界加强单元，用以强调该二维影像的边界细节；

一颜色空间转换器，用以转换该二维影像的颜色空间，以得到亮度成分及色度成分；

一深度相关对比调整单元，用以加强该亮度成分的对比特征；

一深度相关饱和度调整单元，用以加强该色度成分的饱和度特征；及

一颜色空间反转换器，用以将该亮度成分及色度成分转换回原始二维影像的颜色空间。

5.根据权利要求4所述的深度相关的影像加强系统，其特征在于其中上述的深度相关边界加强单元包含：

一空间域折遮罩，其针对该二维影像的一中心像素周围的像素群进行处理。

6.根据权利要求4所述的深度相关的影像加强系统，其特征在于其中上述的深度相关对比调整单元包含：

一亮度分布图伸展装置，用以将灰阶值大于临界值的像素值予以增加，而将灰阶值小于临界值的像素值予以降低。

7.根据权利要求4所述的深度相关的影像加强系统，其特征在于其中上述的颜色空间转换器将该二维影像从红/绿/蓝颜色空间转换至色调/饱和度/亮度颜色空间。

8.根据权利要求7所述的深度相关的影像加强系统，其特征在于其中上述的颜色空间反转换器将经加强的二维影像从红/绿/蓝颜色空间转换回色调/饱和度/亮度颜色空间。

9.一种深度相关的影像加强方法，其特征在于其包含以下步骤：

从二维影像产生立体深度资讯；以及

根据该立体深度资讯以加强该二维影像。

10.根据权利要求9所述的深度相关的影像加强方法，其特征在于其中在上述的加强步骤中，对于该二维影像中具有较小深度值的物体使用较大加强权重，而对于具有较大深度值的物体则使用较小加强权重。

11.根据权利要求9所述的深度相关的影像加强方法，其特征在于其中上述的加强步骤对于下列的一或多个特征进行加强：边界、对比及饱和度。

12.根据权利要求9所述的深度相关的影像加强方法，其特征在于其中上述的加强步骤包含下列的一或多个次步骤：

根据该立体深度资讯，加强该二维影像的边界细节；

转换该二维影像的颜色空间，以得到亮度成分及色度成分；

根据该立体深度资讯，加强该亮度成分的对比特征；

根据该立体深度资讯，加强该色度成分的饱和度特征；及

将该亮度成分及色度成分转换回原始二维影像的颜色空间。

13.根据权利要求12所述的深度相关的影像加强方法，其特征在于其中上述的边界细节加强次步骤包含：

使用一空间域折遮罩于该二维影像的一中心像素周围的像素群。

14.根据权利要求12所述的深度相关的影像加强系统方法，其特征在于其中上述的对比特征加强次步骤包含：

将灰阶值大于临界值的像素值予以增加，而将灰阶值小于临界值的像素值予以降低。

15.根据权利要求12所述的深度相关的影像加强方法，其特征在于其中上述的颜色空间转换次步骤将该二维影像从红/绿/蓝颜色空间转换至色调/饱和度/亮度颜色空间。

16.根据权利要求15所述的深度相关的影像加强方法，其特征在于其中上述的颜色空间反转换次步骤将经加强的二维影像从色调/饱和度/亮度颜色空间转换回红/绿/蓝颜色空间。

Images