CN103220540A

CN103220540A - 图像处理装置与方法

Info

Publication number: CN103220540A
Application number: CN2012100201105A
Authority: CN
Inventors: 余家伟; 林恢弘; 童旭荣
Original assignee: Realtek Semiconductor Corp
Current assignee: Realtek Semiconductor Corp
Priority date: 2012-01-21
Filing date: 2012-01-21
Publication date: 2013-07-24
Anticipated expiration: 2032-01-21
Also published as: CN103220540B

Abstract

本发明提供了一种图像处理装置与方法。图像处理装置包含有一焦点深度决定电路与一图像处理电路。焦点深度决定电路依据一输入图像与该输入图像的深度信息，以产生输入图像的焦点深度分布。图像处理电路接收输入图像，依据焦点深度分布与深度信息进行一预设图像处理，以产生一输出图像。

Description

图像处理装置与方法

技术领域

本发明涉及一种图像处理装置与方法，特别涉及一种参考深度信息进行图像处理的装置与方法。

背景技术

目前3D(3Dimension)的显示器(Displayer)越来越多，很多图像信号仍是2D(2-Dimension)图像。因此，会有将2D(2Dimension)图像信号转成3D图像信号的需求。

一般2D图像信号转3D图像信号，大都先由2D图像信号中估算出图像的深度(depth)信息，以产生具有左眼图像(Left Video)Lv与右眼图像(Right Video)的3D图像信号。然而，并没有利用深度(depth)信息对图像信号进行任何信号处理。再者，已知的2D图像信号并不具有深度信息，当然，便不可能会参考深度信息来对2D图像信号进行任何信号处理。

发明内容

本发明的目的之一，在于提供一种图像处理装置与方法，利用图像的深度信息调整图像部分或全部区域的显示效果。

本发明的目的之一，在于提供一种图像处理装置与方法，参考图像的深度信息对重点图像区域进行图像处理，以改变图像的显示效果。

本发明的一实施例提供了一种图像处理装置，包含有一焦点深度决定电路与一图像处理电路。焦点深度决定电路接收一输入图像与相应于输入图像的一深度信息，以产生输入图像的一焦点深度分布。图像处理电路接收输入图像，依据焦点深度分布对输入图像进行一预设图像处理，以产生一输出图像。

本发明的另一实施例提供了一种图像处理装置，包含有一深度估计电路、一焦点深度决定电路以及一图像处理电路。深度估计电路接收一输入图像，分析输入图像以产生一相应于输入图像的深度信息。焦点深度决定电路接收输入图像与相应于输入图像的深度信息，分析该输入图像，以产生输入图像的焦点深度分布。而图像处理电路接收输入图像，依据焦点深度分布对输入图像进行一预设图像处理，以产生一输出图像。

本发明的另一实施例提供了一种图像处理方法，包含有下列步骤：首先，接收一输入图像与相应于输入图像的深度信息。分析输入图像与深度信息，产生输入图像的焦点深度分布。依据焦点深度分布对输入图像进行一图像特性的图像处理，以产生一输出图像。

本发明实施例的图像处理装置与方法，利用图像的深度与特性分析出图像的焦点深度，对焦点深度的邻近区域强化图像的至少一特性，而达成提升图像显示质量的功效。

附图说明

图1示出了本发明一实施例的图像处理装置的示意图。

图2A示出了图1的图像处理装置的画面处理的一示意图。

图2B示出了图1图像处理装置的画面处理的另一示意图。

图3A示出了本发明另一实施例的图像处理装置的示意图。

图3B示出了图3A图像处理装置的深度设定的示意图。

图4示出了本发明另一实施例的图像处理装置的示意图。

图5示出了本发明另一实施例的图像处理装置的示意图。

图6示出了本发明另一实施例的图像处理装置的示意图。

图7示出了本发明另一实施例的图像处理装置的示意图。

图8示出了本发明一实施例的图像处理方法的流程图。

主要元件符号说明

10、30、40、50、60、70 图像处理装置

11、61、71 深度决定电路

12、62、72 图像处理电路

31 统计分析电路

32 增益调整电路

41 深度相关信息寻找电路

42、52 色彩处理电路

51 人脸辨识电路

63、73 深度估计电路

具体实施方式

图1示出了本发明一实施例的图像处理装置10的示意图。该图像处理装置10包含有一焦点深度决定电路11与一图像处理电路12。焦点深度决定电路11接收一输入图像A与对应于该输入图像A的一深度信息Dph。焦点深度决定电路11分析输入图像A，以找出该输入图像A中欲求出的重点图像区域的深度分布，或称为焦点深度分布DOI(Depth OfInterest)。须注意，如何定义重点图像区域，可依据图像本身的特性所决定、或由设计者自行决定定义。例如：重点图像区域可以是人脸、画面特定位置(例如：位于画面中间的位置、位于画面下半部的位置...等)、本体与背景的颜色差异较大的位置。例如：当该焦点深度决定电路11接收并分析该输入图像A，判断出该输入图像A具有人脸的特征时，则该输入图像A的重点图像区域即为所判断出为人脸的区域；又例如：当该焦点深度决定电路11接收并分析该输入图像A，判断出该输入图像A主要有二个颜色色系(例如是在白色沙滩上有数个其它颜色的遮阳伞-白色沙滩与阳伞颜色两个色系)时，则该焦点深度决定电路11可判断出该遮阳伞为该输入图像A的重点图像；又例如：拍摄时，主要的物体应在画面中间位置，该焦点深度决定电路11直接将位于画面中间位置的物体视为该输入图像A的重点图像区域。

接着，图像处理电路12接收图像A，依据焦点深度分布DOI进行一预设图像处理，以产生一输出图像数据O。

焦点深度决定电路11依据图像像素的一图像特性的分布状态来决定出该重点图像，并依据该重点图像以及该图像的深度信息Dph，输出焦点深度分布DOI。如图2A所示，焦点深度决定电路11接收图面左上方的一图像A与图面左下方的图像深度信息Dph，接着，分析图像A，找出图像A中的焦点深度分布DOI。在此范例中，图像A为具有一座山的图像，该焦点深度决定电路11决定出该重点图像区域后，便找出相对应该此座山的深度信息分布，换言之，即是深度为30或是深度为介于30～60的信息分布。

请同时参考图2A、图2B，假设针对图像的锐利度(Sharpness)来分析处理：图像处理电路12将图像A进行高频滤波(High Pass filtering，HF)后，会产生如图2A图面右上方的图像锐利度分布图Shp。接着，焦点深度决定电路11统计分析图像A中深度(depth)对应锐利度(sharpness)的关系，以产生如图2B所示的深度/锐利度柱形统计图后，该图像处理电路12依据该深度信息分布对该图像A进行锐利度(sharpness)处理。其详细说明如下：

在图2A中深度图Dph中第一水平线的第一像素的深度0对应的锐利度Shp为10、深度30对应的锐利度Shp为127、深度0对应的锐利度为5、深度0对应的锐利度为10、接着下一行的深度0对应的锐利度为10、深度30对应60...接着依此类推，则可产生图2B的统计结果。观察图2B可知，图像A中深度30对应的锐利度累计的数值最多，则焦点深度定义焦点深度决定电路11可视此区域为图像的焦点(重点)(即为「重点图像区域」)，而其它深度位置则为「非重点图像区域」，因此，依据此累计数值最多的区域所得到焦点深度分布DOI。接着，图像处理电路12接收该图像A，依据焦点深度分布DOI对该图像A进行一图像特性(例如锐利度)的图像处理-即将图像A中属于「重点图像区域」的像素的锐利度进行提高；且将不属于「重点图像区域」的像素的锐利度进行调降。当然此调整数据可依据使用者的设定而改变。依此调整，在此实施例中，该图像处理装置可让该重点图像区域更为锐利，强化该图像A的重点图像区域，达成较佳的图像输出质量，提高显示效果。

当然，上述图像特性-锐利度的调整仅为一示例，在求出图像A的焦点深度分布DOI时，可依据焦点深度分布，对焦点像素作其它图像特性的图像处理，例如对锐利度(Sharpness)、色调(Hue)、饱和度(Saturation)、亮度(Intensity)、深度信息...等其中之一或其组合...等作处理。当然，上述特性仅为示例，本发明不限于此，图像处理的种类可为目前现有或未来发展出各种型态。

图3A示出了本发明一实施例的图像处理装置的示意图。图像处理装置30包含有一统计分析电路31与一增益调整电路32。举例而言，若针对图像的锐利度处理，则统计分析电路31可为一锐利度统计电路，且增益调整单元可为一锐利度调整单元。依此方式，可对深度相对应的图像特性调整增益范围，此范围可依需求任意设定。

一实施例，参考图3B，在统计分析电路31产生焦点深度分布DOI后，增益调整电路32可在焦点深度分布DOI的邻近深度任意选择欲强化锐利度的区域。假设想强化深度d0～d1，DOI为dx时，且g为增益值。当目标深度dph0的深度小于dx且位于dx～d0之间，将目标深度dph0与第一临界深度值d0之差乘上第一正增益值c0。

g＝(dph0-d0)*c0，d0＜dph0＜dx...(1)

当目标深度dph1的深度大于或等于dx且位于dx～d1间，将第二临界深度值d1与目标深度dph1之差乘上正增益值c1。

g＝(d1-dph1)*c1，d1＞dph1＞＝dx...(2)

依此方式，d0～d1间的可得到正数的增益值，可达呈强化锐利度的功效，且在深度为dx时具有最大锐利度。另外，在d0～d1区域之外，将增益值g设为负值，则可将d0～d1区域之外的像素设为较不锐利的显示效果，如此可强化焦点深度分布DOI邻近位置的深度对应像素的显示效果。

另一实施例，参考图3B，本发明图像处理装置可对图像特性的深度分布的每一区域指定增益值。例如：

g＝g1，g1＜0，当深度值＜d0 (3)

g＝g2，g2＜0，当深度值＞d1...(4)

g＝g0，g0＞0，其它区域。...(5)

其中，g为增益值。

如上式所述，可对深度d0～d1的区域进行锐化处理，而对d0～d1区域之外进行去锐化(柔化)处理。如此，亦可强化焦点深度分布DOI邻近位置的深度对应像素的显示效果。

上述实施例仅为举例，可单独使用、混合使用，但不限于此，可采用其它目前现有或未来发展的方式进行。

图4示出了本发明另一实施例的图像处理装置40的示意图。图像处理装置40包含有一深度相关信息寻找电路41与一色彩处理电路4。深度相关信息寻找电路41利用深度相关信息，例如深度图(Depth Map)中的最大值、最小值、平均值、重点区域数值...等，依据深度相关信息输出该焦点深度分布DOI。深度图(Depth Map)为本领域技术者所熟知的，故省略其说明。其详细说明可轻易获得，例如是自网络上搜寻可得。之后，再将焦点深度分布DOI提供给色彩处理电路42。色彩处理电路42依据焦点深度分布DOI对图像A的像素的色彩进行调整，例如调整色调、彩度、饱和度...等，当然本发明不限于此。

举例而言，以取深度图中的最大值来说明。深度相关信息寻找电路41在图像A的深度图中取出最大深度值作为深度相关信息，以产生焦点深度分布DOI。须注意，深度图中的深度值代表着距离的远近，在其它设计中相反的方式亦可实施。当然，深度相关信息寻找电路41也可能找不找深度图中的最大深度值，此时可直接指定系统的预设最大值作为深度相关信息。例如，若深度为8位表示时，则以FF(八位数值的最大值)作为焦点深度分布DOI。接着，色彩处理电路42依据焦点深度分布DOI对图像A的焦点深度分布DOI的区域对像素的饱和度进行强化调整；而在焦点深度分布DOI的区域外深度的像素则其饱和度会降低。

图5示出了本发明另一实施例的图像处理装置50的示意图。图像处理装置50包含有一人脸辨识电路51与一色彩处理电路52。本实施例中，脸部辨识电路51寻找画面中人脸位置的深度，并利用此脸部深度产生焦点深度分布DOI。须注意，脸部辨识电路51可以改为将其它预设对象，如设计这设定的对象作为焦点深度分布DOI产生的来源。接着，色彩处理电路52可依据焦点深度分布DOI进行至少一种图像处理。例如，进行两种图像处理，如同时对图像锐利度与饱和度进行焦点图像深度分布DOI区域范围内的强化。

须注意，本发明实施例图像处理装置的图像来源可为二维图像或三维图像。

当图像源为一具有左右眼图像的三维图像I(L+R)时，如图6所示，本发明实施例的图像处理装置60接收该三维图像I(L+R)，利用深度估计电路63产生图像的深度图，再由深度决定电路61产生焦点深度分布DOI，并由图像处理电路62处理后，而强化焦点深度分布DOI区域的图像特性。而当图像来源为二维图像时，如图7所示，本发明实施例的图像处理装置70利用一深度估计电路73产生将二维图像I(2D)估计该二维图像I(2D)的深度以产生深度图Dph(3D)。接着，由深度决定电路71产生焦点深度分布DOI，并由图像处理电路72处理后，而强化焦点深度分布DOI区域的图像特性。

图8示出了本发明图像处理方法的一实施例的示意图。该方法包含下列步骤：

步骤S802：开始。

步骤S804：接收一输入图像与相应于该输入图像的一深度数据。

步骤S806：依据该输入图像与该深度数据产生该输入图像的一焦点深度分布。

步骤S808：依据该焦点深度分布对该输入图像进行一预设图像处理，以产生一输出图像。

步骤S810：结束。

本发明的实施例图像处理装置与方法，可适当地强化图像的显示效果，而可达成提升图像显示质量的功效。

以上虽以实施例说明本发明，但并不因此限定本发明的范围，只要不脱离本发明的要旨，本领域技术人员可进行各种变形或变更。

Claims

1.一种图像处理装置，包含有：

一焦点深度决定电路，接收一输入图像与相应于所述输入图像的一深度信息，以产生所述输入图像的一焦点深度分布；以及

一图像处理电路，接收所述输入图像，依据所述焦点深度分布对所述输入图像进行一预设图像处理，以产生一输出图像。

2.根据权利要求1所述的装置，其中，所述焦点深度决定电路依据所述输入图像的一图像特性的分布状态与相应于所述输入图像的所述深度信息，产生所述输入图像的一调整后特性分布状态数据，且依据所述调整后特性分布状态数据产生所述焦点深度分布。

3.根据权利要求1所述的装置，其中，所述预设图像处理依据所述焦点深度分布调整所述输入图像的像素的一图像特性的数值。

4.根据权利要求3所述的装置，其中，所述预设图像处理调整的所述图像特性为锐利度、色彩、饱和度、亮度处理其中之一或其组合。

5.根据权利要求1所述的装置，其中，所述焦点深度决定电路为一统计分析电路，用以统计所述输入图像的一图像特性对应所述深度信息的状态分布。

6.根据权利要求1所述的装置，其中，所述焦点深度决定电路为一为一深度相关信息寻找电路，分析所述深度信息，以产生最大深度值、最小深度值、平均深度值、或重点区域深度值其中之一或其组合。

7.根据权利要求1所述的装置，其中，所述焦点深度决定电路为一为预设对象辨识电路，用以辨识所述输入图像的一预设对象的深度值，以产生所述焦点深度分布。

8.根据权利要求7所述的装置，其中，所述预设对象为所述输入图像中的人脸。

9.根据权利要求1所述的装置，其中，所述图像处理电路为一增益调整电路，在所述焦点深度分布的邻近位置选择欲强化的图像特性的至少一区域，对所述区域进行所述图像特性的调整。

10.根据权利要求1所述的装置，其中，所述图像处理电路为一色彩处理电路，依据所述焦点深度分布对所述输入图像的色彩进行调整。

11.根据权利要求10所述的装置，其中，所述色彩包含色调、彩度、饱和度其中之一或其组合。

12.一种图像处理装置，包含有：

一深度估计电路，接收一输入图像，分析所述输入图像以产生一相应于所述输入图像的深度信息；

一焦点深度决定电路，接收所述输入图像与相应于所述输入图像的所述深度信息，分析所述输入图像，以产生所述输入图像的焦点深度分布；以及

13.根据权利要求12所述的装置，其中，所述输入图像为二维图像或三维图像。

14.根据权利要求12所述的装置，其中，所述焦点深度决定电路依据所述输入图像的一图像特性的分布状态与相应于所述输入图像的深度信息，产生所述输入图像的一调整后特性分布状态数据，且依据所述调整后特性分布状态数据产生所述焦点深度分布。

15.根据权利要求14所述的装置，其中，所述图像特性为锐利度、色彩、饱和度、亮度其中之一或其组合。

16.一种图像处理方法，包含有：

接收一输入图像与相应于所述输入图像的深度信息；

分析所述输入图像与所述深度信息，产生所述输入图像的焦点深度分布；以及

依据所述焦点深度分布对所述输入图像进行一图像特性的图像处理，以产生一输出图像。

17.根据权利要求16所述的方法，其中，所述图像特性为锐利度、色彩、饱和度、亮度其中之一或其组合。

18.根据权利要求16所述的方法，其中，所述输入图像为二维图像或三维图像。

19.根据权利要求18所述的方法，其中，当所述输入图像为二维图像时，分析所述二维图像以产生所述深度信息。