CN102348070A

CN102348070A - 图像处理装置和图像处理方法

Info

Publication number: CN102348070A
Application number: CN2011102020044A
Authority: CN
Inventors: 真锅佳嗣
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2010-07-21
Filing date: 2011-07-19
Publication date: 2012-02-08
Anticipated expiration: 2031-07-19
Also published as: CN102348070B; JP2012044639A; HK1164593A1; KR20120010182A; KR101267404B1; US20120020556A1; US8472713B2; JP5136665B2

Abstract

本发明提供一种图像处理装置和图像处理方法，对比度强调处理部(31)在合成亮度成分图像的数据中设定关注像素，进行强调对比度的处理。此外，彩度强调处理部(31)对合成色差成分图像的数据进行整体彩度强调处理，进而按照与对比度强调处理中使用的强调量相同的强调量对关注像素进行部分强调处理。并且，组合这些强调处理之后的合成亮度成分图像和合成色差成分图像，将其作为强调处理后的图像数据，并且将强调处理后图像的数据提供给噪声降低部(13)实施降低噪声的处理。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及例如对动态范围被扩大的图像等进行图像处理的技术。

背景技术

近年来，以提高鉴赏时的演出效果为目的，对拍摄的图像实施各种图像处理。

作为这种图像处理，已知JP特开2006-345509号公报中介绍的如下处理：在适当位置上合成曝光条件有差异的图像，生成没有发白和发黑的图像(以下将这种图像称为HDR(高动态范围)图像)。

然而，上述的合成处理是以提高摄像视角的再现性为目的的。

因此，在过度调整颜色空间的各参数、并且打算得到不丢失真实感的图像的情况下，必需以该摄像图像为基础从零开始重新进行描绘处理。

发明内容

本发明是鉴于这种状况进行的，其目的在于利用摄像图像生成调整了颜色空间的各参数的、并且不丢失真实感的图像。

为了实现上述目的，本发明第一方面的图像处理装置对由规定的颜色空间中所规定的亮度成分和其他成分构成的图像的数据进行处理，其具备：

第1强调处理装置，对所述图像数据中的由亮度成分形成的第1图像的数据进行处理，以使用规定的第1强调量强调其对比度；

第2强调处理装置，对所述图像数据中的由其他成分形成的第2图像的数据进行处理，以使用由所述第1强调处理装置所使用的第1强调量来强调其彩度；和

图像数据取得装置，组合由所述第1强调处理装置强调其对比度之后的第1图像数据和由所述第2强调处理部强调其彩度之后的第2图像数据，并且取得新的图像数据。

为了实现上述目的，本发明第二方面的图像处理方法对由规定的颜色空间中所规定的亮度成分和其他成分构成的图像数据进行处理，所述图像处理方法包括以下步骤：

第1强调处理步骤，对所述图像数据中的由亮度成分形成的第1图像的数据进行处理，以使用规定的第1强调量强调其对比度；

第2强调处理步骤，对所述图像数据中的由其他成分形成的第2图像的数据进行处理，以使用在所述第1强调处理步骤中所使用的第1强调量来强调其彩度；和

图像数据取得步骤，组合通过所述第1强调处理步骤强调其对比度之后的第1图像数据和通过所述第2强调处理部强调其彩度之后的第2图像数据，并且取得新的图像数据。

为了实现上述目的，本发明第三方面的程序产品存储了通过计算机对由规定的颜色空间中所规定的亮度成分和其他成分构成的图像数据进行处理的程序，使该计算机作为以下装置发挥功能，这些装置分别是：

第2强调处理装置，对所述图像数据中的由其他成分形成的第2图像的数据进行处理，以使用所述第1强调处理装置所使用的第1强调量来强调其彩度；和

附图说明

图1是本发明的一个实施方式所涉及的摄像装置的电路结构图。

图2是表示与执行本发明的图像加工处理的功能相关的功能结构的功能框图。

图3是表示图2的图像处理装置执行的图像加工处理的流程的一例的流程图。

图4A～图4E是表示图2的图像处理装置的合成部的具体处理结果的图。

图5是表示图2的图像处理装置的强调图像生成部执行的亮度强调处理的流程的一例的流程图。

图6是表示图2的图像处理装置的强调图像生成部执行的色差强调处理的流程的一例的流程图。

图7A～图7D是表示成为图3的图像加工处理的对象的图像的数据的一例的图。

图8是表示使用图7A～图7D的各数据执行图3的图像加工处理得到的被强调处理之后的图像的数据的一例的图。

图9是表示本发明的图像处理装置的一个实施方式所涉及的图像处理装置的硬件结构的框图。

具体实施方式

以下，基于附图对本发明的一实施方式进行说明。

图1是具备本发明的一个实施方式所涉及的图像处理装置的摄像装置的电路结构图。

该摄像装置具备：摄像部1、驱动控制部2、CDS/ADC 3、按键输入部4、显示部5、图像记录部6、程序存储器7、RAM8、控制部9、图像处理部10。

按键输入部4具备用于检测摄影者的记录指示的快门键41。图像处理部10具备与本发明的特征结构相对应的合成部11。此外，其具有后述的图像生成部12和噪声降低部13的功能。

此外，上述各结构经由总线连接。

在该图中，摄像部1内置了CMOS等图像传感器、设置在该图像传感器上的RGB滤色器、通过来自驱动控制部2的控制将光强度作为电荷的蓄积保持一定时间并作为模拟的摄像信号向CDS/ADC 3输出这些信号的驱动器。

再有，摄像部1通过检测经由快门键41、控制部9、驱动控制部2的摄影者的摄影指示，改变曝光条件(快门速度或光圈值)，同时取得包含曝光不足图像、适度曝光图像、曝光过度图像的多个图像(彩色图像)。

CDS/ADC 3是输入与从摄像部1输出的被摄体的光学像相应的模拟摄像信号的电路。CDS/ADC 3构成为包括：CDS，保持所输入的摄像信号；增益调整放大器(AGC)，对该摄像信号进行放大；以及A/D变换器(ADC)，将放大之后的摄像信号变换为数字摄像信号。

此外，对于与增益调整放大器的调整相关的控制，也根据来自驱动控制部2的指示执行。因此，即便使曝光条件相同而取得多张图像，也能够生成由于依次改变RGB的增益调整放大器和图像的色彩而得到的多个条件不同的图像。

按键输入部4除了上述快门键41以外，还具备用于检测向本发明所涉及的以图像取得或记录为目的的摄影模式的切换、显示的切换等的各种按键。

显示部5具有显示合成处理后的图像的功能。

图像记录部6在执行本发明所涉及的合成处理之后，存储记录以JPEG方式编码的图像数据(图像文件)。

程序存储器7存储由控制部9、图像处理部10执行的程序，由控制部9根据需要读出该程序。

RAM8具有暂时保存通过各种处理产生的处理中的数据的功能。

控制部9控制摄像装置整体的处理动作。

图像处理部10除了进行图像数据的编码/解码处理以外，还具备用于执行本发明所涉及的合成处理的合成部11。

接下来，利用图2的功能框图对执行图像加工处理的功能进行说明。

本实施方式详细叙述的所谓图像加工处理是对成为处理对象的图像对进行像素相加合成，进而在合成后使对比度或鲜艳度(彩度)得到强调的处理。

此外，在上述合成处理中，对于经由摄像部1、CDS/ADC 3一边改变曝光条件(快门速度、光圈值、或增益调整值)一边连拍得到的多个图像，将这些图像的数据的每一个分离成表示YUV颜色空间中规定的Y成分的亮度信号、表示此外的UV成分的蓝色的色差信号和红色的色差信号的三要素成分之中的亮度成分和各色差成分，针对该分离后的多个亮度成分进行像素相加合成，此外对于分离后的多个色差成分也单独进行像素相加合成。

此外，对通过上述合成处理生成的HDR合成图像的数据的亮度信号、色差信号(U)、色差信号(V)的三要素成分之中的亮度信号单独执行强调对比度的处理，而对其中的各色差信号单独进行强调彩度(鲜艳度)的处理。

特别在上述处理中，并不是图像整体一律单纯地对对比度或彩度进行强调，而使用以像素为单位适应性地设定的强调值，按照像素单位进行强调。

图2中，图像处理装置具备合成部11、图像生成部12、噪声降低部13。

在本实施方式中，如图2所示，作为曝光条件各不相同的多个图像的数据，将适当曝光值的图像(以下称为“适当曝光值图像”)、超过适当曝光值的曝光值图像(以下，称为“曝光值过度图像”)以及未达到适当曝光值的曝光值图像(以下，称为“曝光值不足图像”)的各数据输入至合成部11。

在此，所谓适当曝光值并不一定意味着作为摄像时的条件较为适当的曝光值，而是指分别拍摄曝光值过度图像和曝光值不足图像时使用的2个曝光值之间的中间曝光值。

合成部11对适当曝光值图像、曝光值过度图像、以及曝光值不足图像的各数据进行像素相加合成，生成HDR合成图像的数据。

此外，合成部11执行的合成处理的种类没有特别限定，与现有的用于生成HDR合成图像的数据的合成处理相比，可以采用加强动态范围扩大效果的合成处理。

此外，加强该效果的方法也没有特别限定，例如可以采用增大摄影时曝光值不足和曝光值过度的差(振幅)、增加合成张数、改变其他色彩等增益参数等方法。

在本实施方式中，合成部11作为合成处理执行以下的一系列处理。

也就是说，在本实施方式中，将从适当曝光值图像的数据分离出的适当曝光值的亮度成分图像的数据以及适当曝光值的色差成分图像的数据独立地输入至合成部11，尽管对此图中并未图示。

同样，将从曝光值过度图像的数据分离出的曝光值过度的亮度成分图像的数据以及曝光值过度的色差成分图像的数据独立地输入至合成部11。

同样，将从曝光值不足图像的数据分离出的曝光值不足的亮度成分图像的数据以及曝光值不足的色差成分图像的数据独立地输入至合成部11。

合成部11通过对适当曝光值的亮度成分图像的数据、曝光值过度的亮度成分图像的数据、和曝光值不足的亮度成分图像的数据进行像素相加合成，从而生成合成图像的数据。

另一方面，合成部11通过对适当曝光值的色差成分图像的数据、曝光值过度的色差成分图像的数据、和曝光值不足的色差成分图像的数据进行像素相加合成，从而生成合成图像数据。

在本实施方式中，在亮度成分的合成处理中，将适当曝光值的亮度成分图像的数据、曝光值过度的亮度成分图像的数据、和曝光值不足的亮度成分图像的数据按照规定合成比例进行像素相加合成。

所谓规定合成比例是指在2个以上的图像数据进行像素相加合成的情况下、各个图像数据的混合比例。

例如，在适当曝光值的亮度成分图像的数据、曝光值过度的亮度成分图像的数据、和曝光值不足的亮度成分图像的数据的合成比例分别是70％、30％、0％的情况下，按照适当曝光值的亮度成分图像的数据为70％、曝光值过度的亮度成分图像的数据为30％、曝光值不足的亮度成分图像的数据为0％的比例混合之后所得到的数据成为合成亮度成分图像的数据。

另一方面，在色差成分合成处理中，将适当曝光值的色差成分图像的数据、曝光值过度的色差成分图像的数据、和曝光值不足的色差成分图像的数据也按照规定合成比例进行像素相加合成。

这里，色差成分合成处理中使用的合成比例可直接采用亮度成分合成处理中使用的合成比例。

这样，从合成部11输出由亮度成分合成处理生成的合成亮度成分图像的数据、和由色差成分合成处理生成的合成色差成分图像的数据的组。

图像生成部12针对从合成部11输出的合成亮度成分图像的数据实施对比度强调处理，而针对合成色差图像的数据实施彩度强调处理。

在此，以下将对合成亮度成分图像的数据实施的对比度强调处理称为对比度强调处理。另一方面，以下将对合成色差成分图像的数据实施的彩度强调处理称为彩度强调处理。

图像生成部12中设置有执行对比度强调处理的对比度强调处理部31、执行彩度强调处理的彩度强调处理部32。

对比度强调处理部31作为对比度强调处理，对合成亮度成分图像数据在2种频带(例如低频和中频)分别实施非锐化掩膜(unsharp mask)处理，局部地强调对比度。

当在2种频带(例如低频和中频)分别实施非锐化掩膜处理时，执行合成亮度成分图像的数据的平滑化。

为了这种平滑化而使用的滤波器没有特别限定，可以采用通常的LPF(低通滤波器)，但优选地，也可以适当采用边沿保持型的ε滤波器或双边滤波器等非线性滤波器。

对比度强调处理部31具备：合成亮度成分图像取得部41、ε滤波器部42A、42B、对比度成分制作部43A、43B、对比度合成部44、对比度强调部45。

对于这些对比度强调处理部31的各要素的功能等，后述的参照了图3的流程图的对比度强调处理的流程的说明时对此进行适当说明。

彩度强调处理部31针对合成色差成分的图像的数据将规定增益(以下称为“UV增益”)用作强调量，执行强调彩度的处理。

这种情况下的强调彩度的处理大致分为整体强调处理和部分强调处理2种。

所谓整体强调处理是强调彩度使得图像整体的印象变得鲜艳的处理。

所谓部分强调处理是使用与用于对比度强调处理的合成对比度成分的强调量联动的强调量来强调彩度的处理。

此外，以下将对比度强调处理用的强调量称为“对比度成分强调量”。另一方面，将彩度成分强调处理用的强调量称为“彩度成分强调量”。

另外，彩度成分强调量大致分为整体强调处理中使用的强调量和部分强调处理中使用的强调量，以下将前者称为“整体彩度成分强调量”，将后者称为“部分彩度成分强调量”。

此外，以下将由彩度强调处理部32进行的一系列处理称为“彩度强调处理”。

彩度强调处理部32要执行彩度强调处理，其具备合成色差成分图像取得部51、整体彩度强调部52、对比度成分强调量取得部53、部分彩度强调部54。

此外，图像生成部12中设置有强调处理后图像取得部33。

强调处理后图像取得部33取得将由对比度强调处理部31实施了对比度强调处理后的合成亮度成分图像的数据、和由彩度强调处理部32实施了彩度强调处理之后的合成色差成分图像的数据组合而成的强调处理后图像的数据。

将由强调处理后图像取得部33所取得的强调处理后图像的数据提供给噪声降低部13。

噪声降低部13对强调处理后图像的数据实施降低噪声的处理。

接下来，参照图3的流程图，对具有这种功能结构的图2的图像处理装置执行的图像加工处理进行说明。

图3是表示图像加工处理的流程的一例的流程图。

在步骤S1中，合成部11取得通过连续摄影等得到的曝光值分别不同的多个图像的数据。

在步骤S2中，合成部11通过对曝光值分别不同的多个图像的数据进行像素相加合成，从而生成高动态范围的合成图像的数据。

具体而言，在本实施方式中，适当曝光值图像、曝光值过度图像和曝光值不足图像的各数据在步骤S1的处理中被取得，在步骤S2的处理中对其进行像素相加合成，从而生成高动态范围的合成图像的数据。

图4A～图4E表示由合成部11进行的步骤S1和S2的具体处理结果。

图4A表示在步骤S1的处理中取得的曝光值不足的亮度成分的图像的数据的一例。

图4B表示在步骤S1的处理中取得的适当曝光值的亮度成分的图像的数据的一例。

图4C表示在步骤S1的处理中取得的曝光值过度的亮度成分图像的数据的一例。

图4D表示在步骤S2的处理中对图4A至图4B的各数据进行了像素相加合成之后得到的合成图像的数据的一例。

图4E表示与图4D相比加强了合成效果的情况下的例子。

如上述，通过加强合成效果，即便颜色空间的各参数被过度调整，获得不丢失真实感的高动态范围的合成图像的这种效果会变得显著。

因此，在本实施方式中，将图4D和图4E的合成图像的数据之中的图4E的合成图像的数据作为处理对象提供给图像生成部12，执行图3步骤S3以后的处理。

在步骤S3中，图像生成部12的对比度强调处理部31对步骤S2的处理所生成的合成图像数据之中的合成亮度成分图像的数据实施对比度强调处理。

在步骤S4中，图像生成部12的彩度强调处理部31对在步骤S2的处理所生成的合成图像数据之中的合成色差成分的图像的数据实施彩度强调处理。

此外，对于步骤S3的对比度强调处理的详细内容将参照图5的流程图在后面叙述，此外，对于步骤S4的彩度强调处理的详细内容将参照图6的流程图在后面叙述。

在步骤S5中，强调处理后图像取得部33将实施了步骤S3的对比度强调处理之后的合成亮度成分的图像的数据和实施了步骤S4的彩度强调处理之后的合成色差成分的图像的数据组合之后的数据作为强调处理后的图像的数据来取得。

在步骤S6中，噪声降低部13对步骤S5的处理中取得的强调处理后的图像数据实施噪声降低处理。

当被实施了噪声降低处理的强调处理后的图像的数据从噪声降低部13输出至外部时，该图像加工处理结束。

接下来，按照顺序单独对这种图像加工处理之中的步骤S3的对比度强调处理、步骤S4的彩度强调处理各自的详细内容进行说明。

首先，参照图5的流程图，对步骤S3的对比度强调处理的详细内容进行说明。

图5是表示对比度强调处理的流程的一例的流程图。

在步骤S21中，图2的对比度强调处理部31的合成亮度成分图像取得部41取得从合成部11输出的合成图像数据之中的合成亮度成分图像数据。

在步骤S22中，对比度强调处理部31将构成合成亮度成分图像的每一个的像素之中的配置于规定位置(坐标)的像素作为处理对象，设定为应该关注的像素(以下，称为“关注像素”)。

当将合成亮度成分图像的关注像素的数据(像素值)分别提供给ε滤波器部42A、43A和对比度制作部43A、43B之后，处理进入步骤S23。

在步骤S23中，ε滤波器42A、43A和对比度成分制作部43A、43B基于合成亮度成分图像的关注像素的数据(像素值)，分别利用2种频率(中频和低频)的ε滤波器制作关注像素的2种对比度成分。

在本实施方式中，对于作为成分制作对象的2种对比度之中的一种，利用滤波器尺寸较小的中频强调的ε滤波器生成其成分。

因此，以下将这种的对比度称为“中频用对比度”。

另一方面，对于2种对比度之中的另一种，利用滤波器尺寸较大的低频强调的ε滤波器生成其成分。

因此，以下将这种的对比度称为“低频用对比度”。

在本实施方式中，中频用对比度由ε滤波器部42A和对比度成分制作部43A通过执行以下一系列处理来生成。

也就是说，ε滤波器部42A对合成亮度成分图像的关注像素的数据进行中频强调的ε滤波，将所得到的数据(以下，称为“滤波处理后数据”)提供给对比度制作部43A。

对比度成分制作部43A通过取得合成亮度成分图像的关注像素的数据与关注像素的滤波处理后数据的差分，来制作关注像素的中频用对比度成分。

详细来说，通过以下式(1)的运算，来制作关注像素的中频用对比度。

Y_contrast_1＝Y_HDR-Y_ε_1 ...(1)

在式(1)中，Y_contrast_1表示关注像素的中频用对比度。Y_HDR表示HDR合成Y图像的关注像素的数据(像素值)。Y_ε_1表示利用中频用ε滤波器生成的关注像素的滤波处理后数据。

另一方面，在本实施方式中，低频用对比度由ε滤波器部42B和对比度成分制作部43B通过执行以下一系列处理来生成。

也就是说，ε滤波器部42B对合成亮度成分图像的关注像素的数据进行低频强调的ε滤波，将所得到的滤波处理后数据提供给对比度成分制作部43B。

对比度成分制作部43B通过取得合成亮度成分图像的关注像素的数据与关注像素的滤波处理后数据的差分，来制作关注像素的低频用对比度成分。也就是说，通过以下式(2)的运算，来制作关注像素的低频用对比度成分。

Y_contrast_2＝Y_HDR-Y_ε_2 ...(2)

在式(2)中，Y_contrast_2表示关注像素的低频用对比度成分。Y_HDR表示合成亮度成分图像的关注像素的数据(像素值)。Y_ε_2表示利用低频用ε滤波器生成的关注像素的滤波处理后数据。

将这样生成的关注像素的2种对比度，也就是由对比度制作部43A生成的关注像素的中频用对比度成分和由对比度制作部43B生成的关注像素的低频用对比度成分，提供给对比度合成部44。由此，处理进入图5的步骤S24。

在步骤S24中，对比度合成部44对关注像素的2种对比度成分即关注像素的中频用对比度成分和低频用对比度成分进行像素相加合成，从而制作关注像素的合成对比度成分。

也就是说，通过以下式(3)的运算，来制作关注像素的合成对比度。

Y_contrast＝Y_contrast_1+Y_contrast_2 ...(3)

在式(3)中，Y_contrast表示关注像素的合成对比度成分。Y_contrast_1表示通过上述式(1)运算得到的关注像素的中频用对比度成分。Y_contrast_2表示通过上述式(2)运算得到的关注像素的低频用对比度成分。

这样，将由对比度合成部44生成的关注像素的合成对比度成分提供给对比度强调部45。由此，处理进入图5的步骤S25。

在步骤S25中，对比度强调部45对关注像素的合成对比度成分实施调节和限制。

具体而言，在本实施方式中，按照以下的式(4)对关注像素的合成对比度成分进行调节。

Y_contrast＝Y_contrast×(Y_gain_lev/100)×(Y_adj_lev/100) ...(4)

在式(4)中，左边的Y_contrast表示调节后的关注像素的合成对比度成分。

另一方面，右边的Y_contrast表示调节前的关注像素的合成对比度成分。

此外，在式(4)中，Y_gain_lev表示对合成亮度成分图像的数据整体同样地设定的增益(以下，称为“亮度成分增益”)的水平(％)。

另一方面，Y_adj_lev表示对合成亮度成分图像的关注像素的数据单独设定的调整量(以下，称为“亮度成分调整量”)的水平(％)。

此外，亮度成分调整量Y_adj_lev按照合成亮度成分图像的各像素，根据其数据(像素值)Y_HDR单独设定。

因此，对于被设定为关注像素的每个像素，其亮度成分调整量Y_adj_lev随着其数据(像素值)Y_HDR而适应性地变化，结果，合成对比度成分Y_contrast也按照每个像素被适应性地调节。

由此，能够减少由于对比度强调所造成的像素值饱和引起的不良影响，例如发黑、发白、颜色饱和等不良影响。

此外，在本实施方式中，对关注像素的合成对比度成分的限制，在关注像素的合成对比度成分不足0时(if(Y_contrast＞0))时，按照下面的式(5)进行，在此外的情况下(Else)按照下面的式(6)进行。

Y_contrast＝fMin(Y_contrast，Y_contrast_max_lev) ...(5)

Y_contrast＝fMax(Y_contrast，|Y_contrast_max_lev|) ...(6)

在式(5)和式(6)中，左边的Y_contrast表示限制后的关注像素的合成对比度成分。另一方面，右边的Y_contrast表示限制前的关注像素的合成对比度成分。

在式(5)和式(6)中，Y_contrast_max_lev表示作为合成对比度成分预先设定的上限水平。

式(5)中的fMin(α，β)表示输出α与β之中的最小值的函数。

另一方面，式(6)中的fMax(α，β)表示输出α与β之中的最大值的函数。

接下来，在图5的步骤S26中，对比度强调部45对合成亮度成分图像的关注像素的数据加上在步骤S25的处理中实施了调节和限制之后的关注像素的合成对比度。

由此，针对合成亮度成分图像的关注像素的数据，按照步骤S25的处理中实施了调节和限制之后的关注像素的合成对比度成分，来强调对比度。

具体而言，通过下面式(7)的运算，对合成亮度成分图像的关注像素的数据来强调对比度。

Y_result＝Y_HDR+Y_contrast ...(7)

在式(7)中，Y_result表示对比度强调处理后的关注像素的数据(对比度强调处理后的关注像素的像素值)。另一方面，Y_HDR表示对比度强调处理前的关注像素的数据(对比度强调处理前的关注像素的像素值)。

此外，Y_contrast表示实施了基于式(4)的调整和基于式(5)或式(6)的限制之后的关注像素的合成对比度成分，并表示对比度成分强调量。

在步骤S27中，对比度强调处理部31判定是否将所有像素设定为关注像素。

在构成合成亮度成分图像的像素之中存在未被设定为关注像素的情况下，在步骤S27中判定为否，处理返回至步骤S22，反复进行在此以后的处理。

也就是说，每次构成合成亮度成分图像的像素依次被设定为关注像素时，反复执行步骤S22至S27的循环处理，被设定为关注像素的像素数据按照强调对比度的方式被更新。

其中，该对比度的强调程度如上述那样可根据被设定为关注像素的像素更新前的数据Y_HDR的值适应性地变化。

然后，当最后的像素在步骤S22的处理中被设定为关注像素从而实施步骤S23至S26的处理时，由于构成合成亮度成分图像的所有像素已被更新(所有像素的像素值被更新为上述式(7)的值Y_result)，因此在接下来的步骤S27中判定为是，对比度强调处理结束。

由此，图3的图像加工处理之中的步骤S3的对比度强调处理结束，并且执行步骤S4的彩度强调处理。

为此，以下参照图6的流程图，对步骤S4的彩度强调处理的详细内容进行说明。

图6是表示彩度强调处理的流程的一例的流程图。

在步骤S41中，图2的彩度成分强调处理部31的合成色差成分图像取得部51取得从合成部11输出的合成图像数据之中的合成色差成分的图像的数据。

在步骤S42中，彩度强调处理部31将构成合成色差成分图像的每一个的像素之中的配置在规定位置(坐标)的像素设定为关注像素。

在此，在本实施方式中，彩度强调处理部31与强调部32不同步地执行，但通过使合成色差成分图像的关注像素和合成亮度成分图像的关注像素成为同一位置(坐标)分别对应的像素来进行以下说明。

在步骤S43中，整体彩度强调部52对合成色差成分图像的关注图像的数据利用整体彩度成分强调量来实施整体彩度强调处理。

具体而言，在本实施方式中，通过以下的式(8)和式(9)的运算，对合成色差成分图像的关注图像的数据实施整体彩度强调处理。

U_HDR’＝U_HDR×UV_gain_lev_al/100 ...(8)

V_HDR’＝V_HDR×UV_gain_lev_al/100 ...(9)

在式(8)中，U_HDR’表示实施了整体彩度强调处理之后的合成色差成分图像的关注图像的色差成分至(U成分值)。

另一方面，U_HDR表示实施整体彩度强调处理之前的合成色差图像的关注图像的色差成分值(U成分值)。

在式(9)中，V_HDR’表示实施了整体彩度强调处理之后的合成色差图像的关注图像的色差成分值(V成分值)。

另一方面，V_HDR表示实施整体彩度强调处理之前的合成色差图像的关注图像的色差成分值(V成分值)。

在式(8)和式(9)中，UV_gain_lev_al表示对合成色差图像的整体同样地设定的作为整体彩度成分强调量的整体增益(％)。

在步骤S44中，对比度成分强调量取得部53取得在之前的对比度强调处理中对合成亮度成分图像的关注像素使用的对比度成分的强调量。

具体而言，通过以下的式(10)的运算，取得对比度成分强调量。

Y_emphasis_Lev＝|Y_contrast| ...(10)

在式(10)中，左边的Y_emphasis_Lev表示所取得的对比度成分强调量。

右边的Y_contrast是实施了基于上述式(4)的调整以及基于式(5)或式(6)的限制之后的关注像素的合成对比度成分，在上述式(7)中是对对比度成分强调之前的关注像素的数据(像素值Y_HDR)施加的修正量。

在步骤S44中，部分彩度强调部54对在步骤S42的处理中实施了整体彩度强调处理的合成色差成分图像的关注图像的数据，利用与步骤S43的处理中所取得的对比度成分强调量联动的部分彩度成分强调量实施部分彩度强调处理。

具体而言，在本实施方式中，通过下面的式(11)的运算，对实施了整体彩度强调处理的合成色差成分图像的关注图像的U成分值进一步实施部分彩度强调处理。

U_result＝U_HDR’

+U_HDR×(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100

×UV_adj_lev/100 ...(11)

在式(11)中，左边的U_result表示实施了整体彩度强调处理和部分彩度强调处理的合成色差成分图像的关注图像的U成分值。

右边的U_HDR’表示通过上述式(8)实施了整体彩度强调处理之后的合成色差成分图像的关注图像的U成分值。UV_gain_lev_part表示部分增益(％)。

Y_emphasis_lev表示通过上述式(10)取得的对比度成分强调量。

Y_contrast_max_lev表示作为合成对比度成分预先设定的上限水平。

(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100表示与对比度强调量联动的部分彩度强调量(％)。

UV_adj_lev表示对合成色差成分图像的关注像素的数据单独设定的调整量(以下，称为“色差调整量”)的水平(％)。

合成色差成分图像的数据UV_HDR如公式12所示那样采用U成分值U_HDR和V成分值V_HDR之中各自的绝对值较大的一方。

UV_HDR＝fmax(|U_HDR|，|V_HDR|) ...(12)

在式(12)中，fmax(α，β)表示输出α与β之中的最大值的函数。

色差调整量UV_adj_lev是按照合成色差成分图像的各个像素根据其数据(像素值)UV_HDR单独设定的。

因此，对于被设定为关注像素的每个像素，其色差调整量UV_adj_lev随着其数据(像素值)UV_HDR适应性地变化。

于是，其结果是，针对关注图像的U成分U_HDR的部分彩度强调的程度也按照每个像素适应性地被调节。由此，能够减少由于彩度强调造成的像素值饱和引起的不良影响，例如发黑、发白、色彩饱和等不良影响。

此外，在本实施方式中，通过以下的式(13)的运算，对实施了整体彩度强调处理的合成色差成分图像的关注图像的V成分值实施部分彩度强调处理。

V_result＝V_HDR’

+V_HDR×(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100

×UV_adj_lev/100 ...(13)

在式(13)中，左边的V_result表示实施了整体强调处理和部分强调处理之后的合成色差成分图像的关注图像的V成分值。

右边的V_HDR’表示通过上述式(9)实施了整体彩度强调处理之后的合成色差成分图像的关注图像的V成分值。

此外，在式(13)中也与式(11)同样，(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100用作与对比度成分强调量联动的部分彩度强调量(％)。

此外，在式(13)中也与式(11)同样，使用色差调整量UV_adj_lev。

在图6的步骤S46中，彩度强调处理部31判定是否已将所有的像素设定为关注像素。

在构成合成色差成分图像的像素之中存在未被设定为关注像素的像素的情况下，在步骤S46中判定为否，处理返回至步骤S42，并反复进行其后的处理。

也就是说，每次构成合成色差图像的像素依次被设定为关注像素时，反复执行步骤S42至S46的循环处理，被设定为关注像素的像素数据按照强调彩度的方式被更新。

其中，其彩度的强调程度如上述那样与对比度的强调程度联动，并且根据被设定为关注像素的像素更新前的数据U_HDR和V_HDR的值适应性地变化。

于是，当最后的像素在步骤S42的处理中被设定为关注像素执行了步骤S43至S46的处理时，由于构成合成色差成分图像的所有像素已被更新(由于所有像素的像素值被更新为上述式(11)的值U_result和式(13)的值V_result)，因此在接下来的步骤S46中判定为是，彩度强调处理结束。

由此，图3的图像加工处理之中的步骤S4的彩度强调处理结束，并且处理进入步骤S5。也就是说，将实施了步骤S3的对比度强调处理的合成亮度成分的图像的数据和实施了步骤S4的彩度强调处理的合成色差成分的图像的数据的组合作为强调处理后的图像数据，由强调处理后图像取得部33取得。

如上述说明，在合成图像的数据被分离为由亮度成分形成的合成亮度成分图像的数据和由色差成分形成的合成色差成分图像的数据的情况下，图2的对比度强调处理部31使用规定对比度成分强调量进行处理，以强调合成亮度成分图像的数据的对比度。

另一方面，彩度强调处理部31使用与对比度强调处理部31的对比度成分强调量联动变化的彩度强调量来进行处理，以强调合成色差成分图像的数据的彩度。

由此，能实现即便过度调整颜色空间的各参数也可获得不丢失真实感的高动态范围的合成图像的数据这种的效果。

特别是，对比度强调处理部31对于合成亮度成分图像内的规定位置(坐标)的像素的数据，使用每个位置不同的对比度成分强调量对对比度进行强调处理，然后，彩度强调处理部31使用与该位置(坐标)相同的合成亮度成分图像内的位置用的对比度成分强调量可联动变化的彩度成分强调量，对合成色差成分图像内的规定位置(坐标)的像素的数据进行彩度强调处理，从而上述效果变得较为显著。

这种效果可通过参照图7A～图7D、图8得到明确。

图7A～图7D是成为图3的图像加工处理对象的图像数据的一例，表示与图4E的例子相同的数据。

图7A表示步骤S2的处理之后得到的合成图像的数据的一例。

图7B表示在步骤S3的对比度强调处理中对图7A的合成图像数据的整体施加中频用对比度成分强调用的ε滤波(33×33(像素)的大小)之后得到的图像整体的滤波处理后数据的一例(参照图5的步骤S23)。

图7C表示在步骤S3的对比度强调处理中对图7A的合成图像数据的整体施加低频用对比度成分强调用的ε滤波(129×129大小)之后得到的图像整体的滤波处理后数据的一例(参照图5的步骤S23)。

图7D表示在步骤S3的对比度强调处理中使用图7A～图7C的各数据生成的图像整体的对比度成分的一例(参照图5的步骤S24和S25)。

图8表示使用图7A～图7E各数据执行图3的图像加工处理之后得到的强调处理后图像的数据的一例，该强调处理后的图像成为即便过度调整颜色空间的各参数也不丢失真实感的合成图像。

此外，本发明并不限定于上述实施方式，在能够实现本发明目的的范围内的变形、改良等也包含在本发明中。

例如，在上述实施方式中，在由对比度强调处理部31进行的对比度强调处理中，ε滤波器被用作进行平滑的滤波器。

然而，如上述并不特别限定于ε滤波器，例如在想要生成有意出现局部对对比度成分强调时发生的下冲和过冲的图像的情况下，也可以采用通常的LPF。

此外，例如在上述实施方式中，在用于强调对比度的对比度强调处理中，采用了2种频率(低频和中频)，但并不限定于此，也可以是3种以上。例如除了低频和中频之外，也可以采用高频，通过强调高频来提高锐度。

此外，在上述实施方式中，没有考虑在部分彩度强调处理中成为处理对象的图像中存在脸部图像区域的情况，但也可以采用公知的脸部图像区域检测技术来检测脸部图像区域，考虑该检测出的脸部图像来进行强调量较少的部分彩度强调处理。这样一来，能够消除由于本处理中的过度强调从而脸部肤色成分的色彩和质感等消失的问题。

更为具体而言，在检测出脸部图像区域的情况下，预先设定适合于该检测出的脸部图像区域的亮度成分图像的对比度强调量和适合于色差成分图像的彩度成分强调量。

此外，这些的强调量比到目前为止说明的对比度成分强调量和彩度成分强调量少，详细而言可以抑制在百分之八十左右。

于是，当检测到脸部图像区域时，生成上述的步骤S3～步骤S4中按照对比度强调量和彩度成分强调量进行部分强调处理之后的图像、和按照适合于检测出脸部图像区域情况的对比度成分强调量和彩度成分强调量进行部分强调处理之后的图像。

再有，可按照像素单位对这些图像对进行α混合(通过调节透过度进行混合的处理)从而获得合成图像。

对于这种情况下检测到的脸部图像区域及其周边区域，按照以适合于检测出脸部图像区域时的对比度成分强调量和彩度成分强调量进行部分强调处理的图像的比例较高的方式进行合成，对于此外的区域，按照上述步骤S3～步骤S4中以对比度强调量和彩度成分强调量进行部分强调处理的图像的比例较高的方式进行合成。

此外，例如在上述实施方式中，作为曝光值各不相同的多个图像的数据，对三个图像的数据进行像素相加合成，但合成对象的图像数据数目没有特别限定。也就是说，本发明也广泛适用于对2个以上的任意数目的图像的数据进行像素相加合成的情况。

此外，成为图像加工处理对象的各种图像数据并不限定于上述各图所示的具体例。例如拍摄成为合成对象的多个图像的数据时的曝光值的设定并不限定于上述各图所示的具体例，只要曝光值各自不同，其可以是任意的。

此外，尽管上述实施方式中没有特别说到，但是当考虑对曝光值各不相同的多个图像的数据进行像素相加合成时，优选地预先修正位置偏移。

此外，例如在上述实施方式中，应用本发明的图像处理装置以构成为数字照相机的例子进行了说明。

然而，本发明并不特别限定于此，其能够一般性地适用于具备图像处理功能的电子设备，例如本发明可广泛适用于数字相框、个人计算机、便携式导航装置、便携式游戏机等。

换言之，上述一系列的处理既能够通过硬件实现，也能够通过软件实现。

图9表示通过软件实行上述一系列处理的情况下的应用本发明的图像处理装置的硬件结构框图。

在图9的例子中，图像处理装置具备：CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203、总线204、输入输出接口205、输入部206、输出部207、存储部208、通信部209、驱动器210。

CPU 201按照ROM 202中记录的程序执行各种处理。或者，CPU 201按照从存储部208载入RAM 203中的程序执行各种处理。

RAM 203中还适当存储在CPU 201执行各种处理时所需的数据等。

例如在上述实施方式中，实现合成部11至噪声降低部13的功能的程序存储在ROM 202或存储部208中。因此，CPU 201通过执行基于这些程序的处理，从而能够实现合成部11至噪声降低部13的功能。

CPU 201、ROM 202和RAM 203经由总线204彼此相连。该总线204连接有输入输出接口205。输入部206、输出部207、存储部208、和通信部209与输入输出接口205连接。

输入部206由各种按键等的操作部构成，除了受理用户的指示操作之外，输入各种信息。

输出部207输出各种信息。例如，输出部207设有未图示的显示部，可显示由合成部11的输出数据表示的合成图像。

存储部208由硬盘或DRAM(动态随机存取存储器)等构成，存储各种数据。

通信部209控制经由包含互联网的网络与其他装置(未图示)之间进行的通信。

还根据需要将驱动器210与输入输出接口205连接，并且在输入输出接口205上适当安装由磁盘、光盘、光磁盘、或半导体存储器等组成的可拆卸介质211。将由驱动器210从可拆卸介质211读出的程序根据需要安装到存储部208。此外，可拆卸介质211也能够与同样地存储存储部208中所存储的图像数据等各种数据。

在通过软件执行一系列处理的情况下，将构成该软件的程序从网络或记录介质安装到计算机等。计算机可以是组装于专用硬件的计算机。此外，计算机也可以是通过安装各种程序能执行各种功能的计算机，例如通用的个人计算机。

包含这种程序的记录介质不仅可由为了向用户提供程序与装置主体分离配置的可拆卸介质211构成，也可由在预先组合于装置主体的状态下向用户提供程序的记录介质等构成。可拆卸介质211例如由磁盘(包含软盘)、光盘、或者光磁盘等构成。光盘例如由CD-ROM(紧致只读存储器)、DVD(数字通用盘)等构成。光磁盘由MD(迷你盘)等构成。此外，在预先组合于装置主体的状态下向用户提供的记录介质例如由记录程序的ROM22或存储部208中包含的硬盘等构成。

此外，在本说明书中，描述记录介质中记录的程序的步骤当然包含按照其顺序沿时间序列进行的处理，也包含不按照时间序列处理而并行或单独执行的处理。

Claims

1.一种图像处理装置，对由规定的颜色空间中所规定的亮度成分和其他成分构成的图像数据进行处理，所述图像处理装置具备：

第1强调处理装置，对所述图像数据中的由亮度成分形成的第1图像数据进行处理，以使用规定的第1强调量强调其对比度；

第2强调处理装置，对所述图像数据中的由其他成分形成的第2图像数据进行处理，以使用由所述第1强调处理装置所使用的第1强调量来强调其彩度；和

图像数据取得装置，组合由所述第1强调处理装置强调其对比度之后的第1图像数据和由所述第2强调处理装置强调其彩度之后的第2图像数据，取得新的图像数据。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述第1强调处理装置对所述第1图像内的规定位置的像素的数据进行处理，以针对每个位置使用不同的所述第1强调量强调其对比度，

所述第2强调处理装置对所述第2图像内的规定位置的像素的数据进行处理，以使用所述第2强调量强调其彩度，所述第2强调量与和该位置相同的所述第1图像内的位置用的所述第1强调量联动变化。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述第2强调处理装置包括：

整体彩度强调处理装置，使用应用于整个所述第2图像的第3强调量，对所述第2图像内的所述规定位置的像素的数据进行其彩度的强调处理；和

取得装置，取得与和所述规定位置相同的所述第1图像内的位置用的所述第1强调量联动变化的所述第2强调量，

其中，通过由所述整体彩度强调处理装置进行的整体彩度的强调处理、和使用了由所述取得装置取得的第2强调量的所述第2图像内的规定位置的像素的数据的彩度的强调处理，来进行处理以对由所述其他成分形成的第2图像数据的彩度进行强调。

4.根据权利要求1所述的图像处理装置，还具备：图像区域检测装置，从成为处理对象的图像数据中检测脸部图像区域，

其中，当由所述图像区域检测装置检测出脸部图像区域时，所述第1强调装置使用比所述规定的第1强调量少的第4强调量来强调所述第1图像数据的对比度，

所述第2强调装置使用与所述第1强调装置的所述第4强调量联动变化的第5强调量来强调所述第2图像数据的彩度。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述第1强调装置强调所述第1图像数据中的所述脸部图像区域周边部分的对比度。

6.根据权利要求4所述的图像处理装置，其特征在于，

所述第2强调装置强调所述第2图像数据中的所述脸部图像区域周边部分的彩度。

7.根据权利要求1所述的图像处理装置，其特征在于，

由所述规定的颜色空间中所规定的亮度成分和其他成分构成的图像数据是通过对使得曝光条件不同而拍摄的多个图像进行合成而生成的使动态范围得到扩大的图像数据。

8.一种图像处理方法，对由规定的颜色空间中所规定的亮度成分和其他成分构成的图像数据进行处理，所述图像处理方法包括以下步骤：

第1强调处理步骤，对所述图像数据中的由亮度成分形成的第1图像数据进行处理，以使用规定的第1强调量强调其对比度；

第2强调处理步骤，对所述图像数据中的由其他成分形成的第2图像数据进行处理，以使用在所述第1强调处理步骤中所使用的第1强调量来强调其彩度；和

图像数据取得步骤，组合通过所述第1强调处理步骤强调其对比度之后的第1图像数据和通过所述第2强调处理步骤强调其彩度之后的第2图像数据，取得新的图像数据。