CN101677408A

CN101677408A - 图像处理设备、图像处理方法及程序

Info

Publication number: CN101677408A
Application number: CN200910173871A
Authority: CN
Inventors: 五味信一郎; 畠泽泰成; 绪形昌美
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-09-19
Filing date: 2009-09-18
Publication date: 2010-03-24
Anticipated expiration: 2029-09-18
Also published as: US20100074521A1; US8265418B2; JP5024632B2; CN101677408B; JP2010072983A

Abstract

本发明涉及一种图像处理设备、图像处理方法和程序。该图像处理设备包括：用于针对图像的每个像素从相邻像素的亮度信号中提取高频成分作为焦点信息的提取装置；用于针对每个像素综合相邻像素的焦点信息的综合装置；用于将每个像素的焦点信息的值替代为使用相邻像素的焦点信息的比该像素的焦点信息的值大的值而获得的值的装置；用于将每个像素的亮度信号与相邻像素的亮度信号综合以提取照明成分的装置；用于使用基于照明成分的系数来计算每个像素的深度值的装置；用于归一化每个像素的深度值的装置；用于依照色调曲线来控制归一化深度值的装置；用于检测每个像素的饱和度的装置；以及用于控制使用该饱和度所控制的深度值的装置。

Description

图像处理设备、图像处理方法及程序

技术领域

本发明涉及图像处理设备、图像处理方法及程序，并且尤其涉及能够准确计算图像中对象的深度值以基于所获得的深度值处理图像的图像处理设备、图像处理方法及程序。

背景技术

提出了用于设定图像中每个对象的深度值以依照所设定的深度值进行图像处理的技术(日本特开第2002-197486号公报)。也提出了用于提取图像中对象的深度值以进行上面的与所提取的深度值相符的图像处理的过程。

发明内容

但是，在以经常仅基于亮度信息的、图像的轮廓成分或高频成分为基础检测深度值的情况下，深度值不能被准确地计算，并因此图像不能被适当地处理，因为在图像的平坦区域中轮廓成分和高频成分极少。在图像的轮廓成分和高频成分少的暗区中，深度值也不能被准确地计算，并且因此图像不能被适当地处理。

因此，需要在图像的平坦区域如暗区中设定准确的深度值。

根据本发明的实施例，提供了一种图像处理设备，其包括：焦点信息提取装置，其用于针对输入图像的每个像素从相邻像素的亮度信号中提取高频成分作为焦点信息；区域综合装置，其用于针对每个像素综合相邻像素的焦点信息以生成综合焦点信息；暗区处理装置，其用于将每个像素的焦点信息的值替代为基于相邻像素的焦点信息的比该像素的焦点信息的值大的值而获得的值，以生成该输入图像的暗区焦点信息；照明成分提取装置，其用于将每个像素的亮度信号与相邻像素的亮度信号综合，以提取照明成分；亮区/暗区综合装置，其用于使用基于照明成分的系数通过综合焦点信息和暗区焦点信息的乘积和运算来计算每个像素的深度值；归一化装置，其用于归一化每个像素的深度值；色调曲线控制装置，其用于依照色调曲线来控制由该归一化装置所归一化的深度值；饱和度检测装置，其用于检测每个像素的饱和度；以及饱和度控制装置，其用于以该饱和度为基础来控制已由该色调曲线控制装置依照色调曲线所控制的深度值。

图像处理设备还可以包括透视控制装置，其用于针对输入图像的每个像素，以基于已由色调曲线控制装置依照色调曲线所控制的深度值的系数为基础来控制亮度和色差信号。

图像处理设备还可以包括：锐度控制装置，其用于控制亮度的锐度；对比度控制装置，其用于控制亮度的对比度；以及色差控制装置，其用于控制每个像素的色差信号，并且透视控制装置可以使用每个像素的亮度、由锐度控制装置所控制的亮度和由对比度控制装置所控制的亮度，以系数为基础来控制亮度，并使用色差信号和由色差控制装置所控制的色差信号以基于深度值的系数为基础来控制色差信号。

根据本发明的另一实施例，提供了一种图像处理方法，其包括以下步骤：针对输入图像的每个像素从相邻像素的亮度信号中提取高频成分作为焦点信息；针对每个像素将相邻像素的焦点信息综合，以生成综合焦点信息；将每个像素的焦点信息的值替代为以相邻像素的焦点信息的比该像素的焦点信息的值大的值为基础所获得的值，以生成输入图像的暗区焦点信息；将每个像素的亮度信号与相邻像素的亮度信号综合，以提取照明成分；通过使用基于该照明成分的系数对综合焦点信息与暗区焦点信息进行乘积和运算来计算每个像素的深度值；归一化每个像素的深度值；依照色调曲线来控制在归一化步骤中所归一化的深度值；检测每个像素的饱和度；以及以该饱和度为基础来控制已在色调曲线控制步骤中依照该色调曲线所控制的深度值。

根据本发明的又一实施例，提供了一种使计算机执行包括以下步骤的过程的程序：针对输入图像的每个像素从相邻像素的亮度信号中提取高频成分作为焦点信息；针对每个像素将相邻像素的焦点信息综合，以生成综合焦点信息；将每个像素的焦点信息值替代为以相邻像素的焦点信息的比该像素的焦点信息的值大的值为基础所获得的值，以生成输入图像的暗区焦点信息；将每个像素的亮度信号与相邻像素的亮度信号综合以提取照明成分；通过使用基于该照明成分的系数对综合焦点信息与暗区焦点信息进行乘积和运算来计算每个像素的深度值；归一化每个像素的深度值；依照色调曲线来控制在归一化步骤中所归一化的深度值；检测每个像素的饱和度；以及以该饱和度为基础来控制已在色调曲线控制步骤中依照该色调曲线所控制的深度值。

根据本发明的实施例，针对输入图像的每个像素从相邻像素的亮度信号中提取高频成分作为焦点信息；针对每个像素将相邻像素的焦点信息综合以生成综合焦点信息；将每个像素的焦点信息值替代为以相邻像素的焦点信息的比该像素的焦点信息的值大的值为基础所获得的值，以生成输入图像的暗区焦点信息；每个像素的亮度信号与相邻像素的亮度信号综合以提取照明成分；通过使用基于照明成分的系数对对综合焦点信息和暗区焦点信息进行乘积和运算来计算每个像素的深度值；归一化每个像素的深度值；依照色调曲线来控制所归一化的深度值；检测每个像素的饱和度；以及以该饱和度为基础来控制已依照色调曲线所控制的深度值。

根据本发明的图像处理设备可以是独立的设备或者可以是进行图像处理的功能块。

根据本发明的实施例，可能准确计算图像中对象的深度值。

附图说明

图1是示出根据本发明的实施例的图像处理设备的示例性构造的框图；

图2是示出图1的深度检测部的示例性构造的框图；

图3是示出图2的焦点信息提取部的示例性构造的框图；

图4A是示出水平HPF的示例性构造的图；

图4B是示出水平HPF和垂直HPF的示例性构造的图；

图5是示出图2的深度生成部的示例性构造的框图；

图6是阐明由图1的图像处理设备进行的图像处理的流程图；

图7是阐明深度检测过程的流程图；

图8是阐明焦点信息提取过程的流程图；

图9阐明暗区处理部的操作；

图10是阐明深度生成过程的流程图；

图11阐明深度生成过程；

图12阐明色调曲线；

图13阐明饱和度S和系数B之间的关系；

图14A阐明深度值d和系数α之间的关系；

图14B阐明深度值d和系数β之间的关系；

图14C阐明深度值d和系数γ之间的关系；

图15阐明深度值d和系数β、γ之间的其他关系；

图16是示出个人计算机的示例性构造的框图。

具体实施方式

[图像处理设备的示例性构造]

图1示出了根据本发明的实施例的图像处理设备的示例性构造。

如图1所示，图像处理设备1包括YUV分离部11、综合部12、锐度控制部13、对比度控制部14、饱和度控制部15和深度检测部16。图像处理设备1从输入图像获得在该图像中所捕获景物的扩展(expanse)，即，每个像素的深度值，并依照所获得的深度值来处理输入图像，以提高图像质量。

YUV分离部11将例如RGB信号形式的输入图像逐像素地转换为YUV信号，并将YUV信号分离为亮度信号Y和色差信号U、V。YUV分离部将亮度信号Y提供给综合部12、锐度控制部13、对比度控制部14和深度检测部16。YUV分离部11还将色差信号U、V提供给饱和度控制部15和深度检测部16。如果输入图像已经是YUV信号形式，则YUV分离部11简单地将输入图像分离为亮度信号Y和色差信号U、V。

锐度控制部13逐像素地增强输入亮度信号Y的高频成分，以生成锐度受控的亮度信号Ys，并将锐度增强的亮度信号Ys提供给综合部12。

对比度控制部14逐像素地增强输入亮度信号Y的对比度，以生成对比度增强的亮度信号Yc，并将对比度增强的亮度信号Yc提供给综合部12。

饱和度控制部15逐像素地将色差信号U、V的值乘以预定系数，以生成饱和度增强的色差信号Uc、Vc，并将饱和度增强的色差信号Uc、Vc提供给综合部12。

深度检测部16以亮度信号Y和色差信号U、V为基础获得每个像素的深度值d，并将深度值d提供给综合部12。后面将参照图2详细讨论深度检测部16的示例性构造。

综合部12基于深度值d以增强图像的透视的方式将亮度信号Y、Yc、Ys和色差信号Uc、Vc综合，并输出所得到的综合信号作为输出图像P’。

[深度检测部的示例性构造]

接下来参照图2描述了深度检测部16的示例性构造。

深度检测部16包括焦点信息提取部31、区域综合部32、暗区处理部33、深度生成部34、照明成分提取部35和饱和度检测部36。深度检测部16以亮度信号Y和色差信号U、V为基础获得每个像素的深度值d，并将深度值d提供给综合部12。

焦点信息提取部31通过将水平HPF(高通滤波器)和垂直HPF应用到亮度信号Y而从亮度信号Y中提取高频成分，并将所提取的高频成分作为焦点信息F提供给区域综合部32和暗区处理部33。后面将参照图3详细讨论焦点信息提取部31的示例性构造。

区域综合部32可以包括LPF(低通滤波器)。区域综合部32使焦点信息F平滑以综合焦点信息F，使得每个像素的焦点信息F的值接近相邻像素的焦点信息F的值，以便生成焦点信息FL，并将该焦点信息FL提供给深度生成部34。区域综合部32可以具有能够实现使像素的焦点信息F的值接近相邻像素的焦点信息F的值的综合过程的任何构造。因此，区域综合部32除包括LPF之外可以包括FIR(有限冲激响应滤波器)、IIR(无限冲激响应滤波器)、ε滤波器、中值滤波器等。

暗区处理部33将每个像素的焦点信息F的值与相邻像素的焦点信息F的值比较，以获得相邻像素的焦点信息F的、比该像素的焦点信息F的值大的值的平均值。随后，暗区处理部33将目标像素的焦点信息F的值替代为所获得的平均值，以使图像的暗区更亮，以便生成焦点信息FD，并将焦点信息FD提供给深度生成部34。

照明成分提取部35可以包括LPF。照明成分提取部35使亮度信号Y平滑，以使像素的亮度信号Y的值接近相邻像素的亮度信号Y的值，以便提取照明成分LF，并将照明成分LF提供给深度生成部34。

饱和度检测部36以色差信号U、V为基础来检测饱和度S，并将所检测到的饱和度S提供给深度生成部34。

深度生成部34以照明成分LF、饱和度S和焦点信息FL、FD为基础生成深度值d，并输出深度值d。后面将参照图5详细讨论深度生成部34的示例性构造。

[焦点信息提取部的示例性构造]

接下来参照图3描述焦点信息提取部31的示例性构造。

焦点信息提取部31包括水平HPF 51、绝对值处理部52、最大值提取部53、垂直HPF 54和绝对值处理部55。焦点信息提取部31提取亮度信号Y的高频成分，并将所提取的高频成分作为焦点信息F输出。

例如图4A中所示，水平HPF 51可以是提取水平高频成分的HPF。水平HPF 51提取输入亮度信号Y的水平高频成分YH，并将高频成分YH提供给绝对值处理部52。

绝对值处理部52获得作为水平高频成分提取的高频成分YH的绝对值，并将所获得的绝对值提供给最大值提取部53。

例如图4B中所示，垂直HPF 54可以是提取垂直高频成分的HPF。垂直HPF 54提取输入亮度信号Y的垂直高频成分YV，并将高频成分YV提供给绝对值处理部55。

绝对值处理部55获得作为垂直高频成分提取的高频成分YV的绝对值，并将所获得的绝对值提供给最大值提取部53。

最大值提取部53提取高频成分YH、YV的最大值，并将所提取的最大值作为焦点信息F输出。

[深度生成部的示例性构造]

接下来参照图5来描述深度生成部34的示例性构造。

深度生成部34包括亮区/暗区综合部71、归一化部72、色调曲线控制部73以及饱和度控制部74。深度生成部34以照明成分LF、饱和度S和焦点信息FL、FD为基础生成深度值d，并输出深度值d。

亮区/暗区综合部71以基于由照明成分提取部35所提供的照明成分LF的比率将来自区域综合部32的亮度信号YL和来自暗区处理部33的亮度信号YD合成，以综合亮度信号的亮区和暗区，并将得到的合成信号g提供给归一化部72。

归一化部72将由亮区/暗区综合部71所提供的合成信号g归一化，并将得到的归一化合成信号g’提供给色调曲线控制部73。

色调曲线控制部73依照预设的色调曲线来控制归一化合成信号g’，以生成深度值dg，并将深度值dg提供给饱和度控制部74。

饱和度控制部74将由色调曲线控制部73所提供的深度值dg乘以基于由饱和度检测部36所提供的饱和度S而设定的系数，以生成深度值d，并将深度值d提供给综合部12。

[由图像处理设备所进行的图像处理]

接下来参照图6的流程图来描述由图1的图像处理设备1所进行的图像处理。

在步骤S11中，YUV分离部11确定新图像是否已提供。YUV分离部11重复相同的过程直到新图像被提供。例如，如果在步骤S11中新图像被输入，则过程进行至步骤S12。

在步骤S12中，YUV分离部11将输入图像逐像素地转换为YUV信号，将YUV信号分离成亮度信号Y和色差信号U、V，并将亮度信号Y提供给综合部12、锐度控制部13、对比度控制部14和深度检测部16，而将色差信号U、V提供给饱和度控制部15和深度检测部16。

在步骤S13中，锐度控制部13通过轮廓增强处理等来增强输入图像的每个像素的亮度信号Y的锐度，以生成亮度信号Ys，并将亮度信号Ys提供给综合部12。

在步骤S14中，对比度控制部14通过由如下式子(1)所表示的计算过程来增强输入图像的每个像素的亮度信号Y的对比度，以生成亮度信号Yc，并将亮度信号Yc提供给综合部12。

Yc＝(Y-Ymin)/(Ymax-Ymin)...(1)

在式子(1)中，Y表示输入图像的每个像素的亮度信号的值，Ymin表示输入图像中亮度信号Y的最小值，Ymax表示输入图像中亮度信号Y的最大值，并且Yc表示对比度受控的亮度信号的值。

即，通过步骤S14的过程，对比度控制部14将亮度信号Y的值转换为在亮度信号Y的值与最小值Ymin之差同最大值Ymax与最小值Ymin之差的比率，以增强对比度。

在步骤S15中，饱和度控制部15将每个色差信号U、V的值乘以预定系数κ，以增强饱和度，并将色差信号Uc(＝κU)、Vc(＝κV)提供给综合部12。预定系数κ可以设定为任何需要的值。

在步骤S16中，深度检测部16以亮度信号Y和色差信号U、V为基础来执行深度检测过程，以获得每个像素的深度值d，并向综合部12提供深度值d。

[深度检测过程]

现在参照图7的流程图来描述深度检测过程。

在步骤S31中，饱和度检测部36以所提供的色差信号U、V为基础通过由以下式子(2)所表示的计算来获得饱和度S，并将饱和度S提供给深度生成部34。

S＝√(U²+V²)...(2)

在该式子中，U、V表示色差信号的值。即，饱和度S作为色差信号U、V的值之平方和的平方根而获得。

在步骤S32中，照明成分提取部35使亮度信号Y平滑，以使每个像素的亮度信号Y的值接近相邻像素的亮度信号Y的值，以提取照明成分LF，并将照明成分LF提供给深度生成部34。即，提取与相邻像素的亮度信号Y的值接近的值作为照明成分LF，因为亮区高频成分小，即使亮区在焦点上。

在步骤S33中，焦点信息提取部31对于每个像素执行焦点信息提取过程，以从亮度信号Y中获得焦点信息F，并将焦点信息F提供给区域综合部32和暗区处理部33。

[焦点信息提取过程]

现在参照图8的流程图来描述焦点信息提取过程。

在步骤S51中，水平HPF 51将例如图4的左边部分中所示的水平滤波过程施加到输入亮度信号Y，以提取高频成分YH，并将高频成分YH提供给绝对值处理部52。

在步骤S52中，绝对值处理部52获得作为水平高频成分提取的高频成分YH的绝对值，并将所获得的绝对值提供给最大值提取部53。

在步骤S53中，垂直HPF 54将例如图4的右边部分中所示的垂直滤波过程施加到输入亮度信号Y，以提取高频成分YV，并将高频成分YV提供给绝对值处理部55。

在步骤S54中，绝对值处理部55获得作为垂直高频成分提取的高频成分YV的绝对值，并将所获得的绝对值提供给最大值提取部53。

在步骤S55中，最大值提取部53提取高频成分YH、YV中较大的一个，并将所提取的高频成分YH、YV之一作为焦点信息F输出到区域综合部32和暗区处理部33。

通过上面的过程，将亮度信号Y的水平高频成分和垂直高频成分中较大的一个作为输入图像P的每个像素的焦点信息F输出。

现在继续图7的流程图的说明。

在步骤S34中，区域综合部32平滑焦点信息F，以使像素的焦点信息F的值接近相邻像素的焦点信息F的值，以便生成焦点信息FL，并将焦点信息FL提供给深度生成部34。即，通过该过程，区域综合部32使焦点信息F平滑使得整个图像看起来由高频成分组成，以便生成焦点信息FL，并将焦点信息FL提供给深度生成部34。

在步骤S35中，暗区处理部33将每个像素的焦点信息F的值与相邻像素的焦点信息F的值比较，以获得相邻像素的焦点信息F的比要被处理的像素的焦点信息F的值大的值的平均值。即，例如如图9中所示，暗区处理部33获得在以要被处理的像素为中心的一维(或水平的或垂直的)范围W中像素的焦点信息F的比目标像素的焦点信息F的值(由图9中黑点所示)大的值(由粗线所示)的平均值FA(由图9中白点所示)。暗区处理部33随后将要被处理的像素的焦点信息F的值替代为所获得的平均值FA，以生成焦点信息FD。通过该过程，借助于将每个像素的焦点信息F的值替代为比该像素更亮的相邻像素的焦点信息F的值的平均值FA，以便生成焦点信息FD，处理该图像以变得更亮。即，例如，图像的暗区中的像素被处理以变得更亮。在由暗区处理部33所进行的过程中，可以使用在要被处理的像素周围的任何预定范围内的像素的焦点信息F的值的平均值。例如，可以将要被处理的像素的焦点信息F的值替代为在以要被处理的像素为中心的二维范围内的像素的焦点信息F的比要被处理的像素的焦点信息F的值大的值的平均值。

在步骤S36中，深度生成部34以照明成分LF、饱和度S和焦点信息FL、FD为基础来执行深度生成过程，以生成深度值d，并将深度值d输出到综合部12。

[深度生成过程]

现在参照图10的流程图来描述深度生成过程。

在步骤S71中，亮区/暗区综合部71以基于照明成分LF的比率通过由以下式子(3)所表示的计算来将亮度信号YL和亮度信号YD合成，以生成合成信号g，并将合成信号g提供给归一化部72。

g＝A×FD+(1-A)×FL...(3)

在该式子中，g表示合成信号的值，FD表示暗区的亮度信号的值，FL表示亮区的亮度信号的值，并且A表示如图11中所示的以照明成分为基础所确定的系数。即，系数A的值从0到1.0，并且当照明成分LF取值从0到预定值时，系数A取1.0的值，随照明成分LF增加而线性减小，而当照明成分LF取值超过预定值时，系数A取值为0。

这样，对于照明成分LF大、总体上明亮的图像，亮区/暗区综合部71以增加的亮区的亮度信号YL的比率将亮区的亮度信号YL和暗区的亮度信号YD合成。相对地，对于照明成分LF小、总体上暗淡的图像，亮区/暗区综合部71以增加的暗区的亮度信号YD的比率将亮区的亮度信号YL和暗区的亮度信号YD合成。

结果，在输入图像P总体上明亮的情况下，依照高频成分大的亮度信号YL来调节焦点信息F。相反地，在输入图像P总体上暗淡的情况下，依照已受到暗区处理的亮度信号YD来调节焦点信息F。

在步骤S72中，归一化部72执行例如由以下式子(4)所表示的计算，以归一化合成信号g，并将归一化合成信号g’提供给色调曲线控制部73。

g’＝(g-gmin)/(gmax-gmin)...(4)

在该式子中，g’表示归一化合成信号的值，g表示归一化之前的合成信号的值，gmax表示输入图像的每个像素的合成信号g的最大值，并且gmin表示输入图像的每个像素的合成信号g的最小值。

在步骤S73中，色调曲线控制部73依照例如图12中所示的色调曲线来控制归一化合成信号g’，以生成深度值dg，并将深度值dg提供给饱和度控制部74。在图12中所示的预设的色调曲线中，深度值dg在归一化合成信号g’取值在0附近或在1附近时缓和增加，在归一化合成信号g’取值在0.4附近时急剧增加。因此，在归一化合成信号g’的值小的情况下，深度值dg设定得小，在归一化合成信号g’的值大的情况下，深度值dg设定得大。根据归一化合成信号g’的值的幅度，深度值dg取值接近于0或1.0，以允许清楚地区分对象在深度上是否位于更近或更远处。

在步骤S74中，饱和度控制部74将由色调曲线控制部73提供的深度值dg乘以如图13中所示的基于由饱和度检测部36提供的饱和度S而设置的系数B，以生成以饱和度S为基础被控制的深度值d。更具体地，饱和度控制部74执行由以下式子(5)所表示的计算，以获得深度值d，并将所获得的深度值d提供给综合部12。

d＝B×dg...(5)

在该式子中，d表示以饱和度S为基础被控制的深度值，B表示如图13中所示的基于饱和度S而设定的系数，并且dg表示在以饱和度S为基础被控制之前的深度值。

如图13中所示，系数B在从最小值Bmin到最大值Bmax的预设范围内取值，并随着输入图像中在从最小值Smin到最大值Smax的范围内的饱和度S而线性变化。即，被控制之前的深度值dg由于饱和度S更大而赋予深度值d更大的值，而被控制之前的深度值dg由于饱和度S更小而赋予深度值d更小的值。因此，饱和度S越大，则深度值d越大，使得清楚地识别深度更为容易，而饱和度S越小，则深度值d越小，使得清楚地识别深度更为困难。

通过上面的过程，基于依照输入图像中每个像素的亮度/暗度而设定的合成信号g来设定深度值d，使得能够适当地计算深度值d。

现在继续图6的流程图的说明。

当在图7的流程图中步骤S36中的深度生成过程结束时，在图6的流程图中步骤S16中的深度检测过程结束，并且过程进行至步骤S17。

在步骤S17中，综合部12以深度值d为基础来综合输入图像的亮度信号Y、锐度增强的亮度信号Ys、对比度增强的亮度信号Yc和饱和度增强的色差信号Uc、Vc，并输出得到的综合信号。更具体地，综合部12执行由以下式子(6)至式子(8)所表示的计算而以对应于深度值d的新亮度信号Y’和新色差信号U’、V’为基础来生成输出图像P’，并输出该输出图像P’。

Y’＝(1-α)×Y+α×(β×Ys+γ×Yc)...(6)

U’＝(1-α)×U+α×Uc ...(7)

V’＝(1-α)×V+α×Vc ...(8)

在该式子中，α表示如图14A中所示的对应于深度值d而设定的系数，β表示如图14B中所示的对应于深度值d而设定的系数，并且γ表示如图14C中所示的对应于深度值d而设定的系数。

系数α取值从0到1.0，并且随着输入图像中在从最小值dmin到最大值dmax的范围内的深度值d而线性变化。系数β取值从最小值βmin到最大值βmax，并且随着输入图像中在从最小值dmin到最大值dmax的范围内的深度值d而线性变化。系数γ取值从最小值γmin到最大值γmax，并且随着输入图像中在从最小值dmin到最大值dmax的范围内的深度值d而线性变化。

每个像素的深度值d越大，则所有系数α、β、γ越大。因此，亮度信号Y’受锐度增强的亮度信号Ys和对比度增强的亮度信号Yc影响更为显著。色差信号U’、V’都更为显著地受色差信号Uc、Vc影响。这样，图像处理设备1处理输入图像P，以输出清晰的输出图像P’，在该输出图像中对比度和锐度被增强并且赋予更强深度感。

另一方面，每个像素的深度值d越小，则所有系数α、β、γ越小。因此，亮度信号Y’受输入图像P中亮度信号Y影响更为显著。色差信号U’、V’也都更为显著地受输入图像P中色差信号U、V影响。这样，图像处理设备1以更低的程度处理输入图像P，以输出几乎与输入图像P相同的输出图像P’。

因此，可能依照深度值d为输入图像赋予适当的深度感。

系数β、γ的最小值βmin、γmin和最大值βmax、γmax可以分别设定为如图15中所示的不同的值，以便调节锐度增强的亮度信号Ys和对比度增强的亮度信号Yc影响亮度信号Y’的程度。在图15中所示的例子中，最小值βmin、γmin分别是0.2和0.1，并且最大值βmax、γmax分别是0.6和0.4。

例如，系数β、γ可以由式子γ＝1-β定义。该设定使得可能限制锐度增强的亮度信号Ys和对比度增强的亮度信号Yc影响亮度信号Y’的程度。

根据本发明可能的是，以亮区和暗区的亮度信号和基于色差信号的饱和度为基础来适当地设定图像中每个像素的深度值。例如，这使得适当地设定甚至图像中暗区或平坦区中的像素的深度值，并依照该深度值逐像素地处理图像是可能的。

上面所讨论的过程序列可以借助软件来执行，也可以借助硬件来执行。在借助软件来执行过程序列的情况下，从存储媒介中将组成该软件的程序安装到含有专用硬件的计算机上，或者例如安装到通用个人计算机上，该通用个人计算机能够在安装各种程序时执行各种功能。

图16示出通用个人计算机的示例性构造。该个人计算机包括内置的CPU(中央处理单元)1001。输入/输出接口1005通过总线1004连接到CPU 1001。ROM(只读存储器)1002和RAM(随机读取存储器)1003连接到总线1004。

输入部1006、输出部1007、存储部1008和通信部1009连接到输入/输出接口1005，其中输入部1006包括输入装置譬如键盘、鼠标等以允许用户输入操作命令，输出部1007用于将过程操作屏幕和得到的被处理的图像输出到显示装置，存储部1008包括硬盘驱动器等以存储程序和各种数据，通信部1009包括LAN(区域网)适配器等，用以通过网络(典型为因特网)执行通信过程。驱动器1010也连接到输入/输出接口1005，其中驱动器1010用于从可移除媒介1011读取数据或向可移除媒介1011写入数据，可移除媒介譬如是磁盘(包括软盘)、光盘(包括CD-ROM(光盘只读存储器)和DVD(数码多用途光盘))、磁光盘(包括MD(迷你磁光盘))或半导体存储器。

CPU 1001依照在ROM 1002中所存储的程序，或从可移除媒介1011(譬如磁盘、光盘、磁光盘或半导体存储器)所读取的、安装到存储部1008上的并从存储部1008载入RAM 1003的程序，执行各种过程。RAM1003也视情况存储对于CPU 1001执行各种过程所需的数据。

定义在存储媒介中所存储的程序的步骤可以依照此处所述的顺序按时间顺序进行，或者可以不必需按时间顺序，而是并行地或分别地执行。

本申请包含与在2008年9月19日提交日本专利局的日本在先专利申请JP 2008-240335中所公开的相关的主题内容，其全部内容通过引用结合与此。

本领域技术人员应当理解的是，根据设计需要以及其它因素，可以出现各种修改、组合、子组合以及替换方案，只要它们在所附权利要求或其等同的范围之内。

Claims

1.一种图像处理设备，其包括：

焦点信息提取装置，其用于针对输入图像的每个像素从相邻像素的亮度信号中提取高频成分作为焦点信息；

区域综合装置，其用于针对每个像素综合相邻像素的焦点信息以生成综合焦点信息；

暗区处理装置，其用于将每个像素的焦点信息的值替代为基于相邻像素的焦点信息的比该像素的焦点信息的值大的值而获得的值，以生成该输入图像的暗区焦点信息；

照明成分提取装置，其用于将每个像素的亮度信号与相邻像素的亮度信号综合，以提取照明成分；

亮区/暗区综合装置，其用于通过使用基于照明成分的系数对综合焦点信息和暗区焦点信息进行乘积和运算来计算每个像素的深度值；

归一化装置，其用于归一化每个像素的深度值；

色调曲线控制装置，其用于依照色调曲线来控制由该归一化装置所归一化的深度值；

饱和度检测装置，其用于检测每个像素的饱和度；以及

饱和度控制装置，其用于以饱和度为基础来控制已由该色调曲线控制装置依照色调曲线所控制的深度值。

2.根据权利要求1所述的图像处理设备，其还包括：

透视控制装置，其用于针对输入图像的每个像素，以基于已由色调曲线控制装置依照色调曲线所控制的深度值的系数为基础来控制亮度和色差信号。

3.根据权利要求2所述的图像处理设备，其还包括：

锐度控制装置，其用于控制亮度的锐度；

对比度控制装置，其用于控制亮度的对比度；以及

色差控制装置，其用于控制每个像素的色差信号，

其中，透视控制装置以系数为基础，使用每个像素的亮度、由锐度控制装置所控制的亮度和由对比度控制装置所控制的亮度来控制亮度，并以基于所述深度值的系数为基础使用色差信号和由色差控制装置所控制的色差信号来控制色差信号。

4.一种图像处理方法，其包括以下步骤：

针对输入图像的每个像素从相邻像素的亮度信号中提取高频成分作为焦点信息；

针对每个像素将相邻像素的焦点信息综合，以生成综合焦点信息；

将每个像素的焦点信息的值替代为基于相邻像素的焦点信息的比该像素的焦点信息的值大的值所获得的值，以生成输入图像的暗区焦点信息；

将每个像素的亮度信号与相邻像素的亮度信号综合，以提取照明成分；

通过使用基于该照明成分的系数对综合焦点信息与暗区焦点信息进行乘积和运算来计算每个像素的深度值；

归一化每个像素的深度值；

依照色调曲线来控制在归一化步骤中所归一化的深度值；

检测每个像素的饱和度；以及

以饱和度为基础来控制已在色调曲线控制步骤中依照该色调曲线所控制的深度值。

5.一种使计算机执行包括以下步骤的过程的程序：

将每个像素的亮度信号与相邻像素的亮度信号综合以提取照明成分；

归一化每个像素的深度值；

依照色调曲线来控制在归一化步骤中所归一化的深度值；

检测每个像素的饱和度；以及

6.一种图像处理设备，其包括：

焦点信息提取部，其用于针对输入图像的每个像素从相邻像素的亮度信号中提取高频成分作为焦点信息；

区域综合部，其用于针对每个像素来综合相邻像素的焦点信息，以生成综合焦点信息；

暗区处理部，其用于将每个像素的焦点信息的值替代为以相邻像素的焦点信息的比该像素的焦点信息的值大的值为基础所获得的值，以生成输入图像的暗区焦点信息；

照明成分提取部，其用于将每个像素的亮度信号与相邻像素的亮度信号综合，以提取照明成分；

亮区/暗区综合部，其用于通过使用基于该照明成分的系数对综合焦点信息与暗区焦点信息进行乘积和运算来计算每个像素的深度值；

归一化部，其用于归一化每个像素的深度值；

色调曲线控制部，其用于依照色调曲线来控制由归一化部所归一化的深度值；

饱和度检测部，其用于检测每个像素的饱和度；以及

饱和度控制部，其用于以饱和度为基础来控制已由该色调曲线控制部依照该色调曲线所控制的深度值。