CN1578475A - 校正图像亮度分布的图像处理方法及装置 - Google Patents

Abstract

本发明涉及根据所处理的数字图像的图像质量进行最佳亮度分布的改善的校正图像亮度分布的图像处理方法及装置。在备有从图像数据中提取亮度成分的亮度提取装置、求出在上述亮度成分的较大尺度下的分布的尺度变换装置、用上述亮度成分和上述尺度变换装置的输出改善上述图像数据的亮度成分的分布的亮度改善装置、以及将上述亮度改善装置的输出作为新的图像的亮度分布再现图像数据的图像再现装置的图像处理装置中，上述亮度改善装置具有通过参数调整改善程度的参数调整装置。

Description

校正图像亮度分布的图像处理方法及装置

技术领域

本发明涉及通过图像处理对图像亮度分布进行校正的校正图像亮度分布的图像处理方法及装置。

背景技术

以往，作为拍摄亮度适当的照片的拍摄方法，公知的有测定进行拍的摄场景的平均亮度，对照相机的快门速度和光圈数值等进行控制的方式；此外，还有将场景分割为规定的区域、对各区域中所测定的亮度加权并求出平均亮度从而获得合适的曝光的所谓的评价测光方式的曝光控制方式。

然而，所拍摄的被拍摄主体的亮度比背景亮度明显低的所谓逆光摄影的场景中，被拍摄主体部分在拍摄后的图像中无论如何都会变暗。为了在这种逆光拍摄的场景中拍摄出亮度合适的照片，拍摄时要以比平均的照片亮度高的亮度进行摄影的方式预先设定照相机的曝光。但是，进行这种曝光校正操作不仅麻烦，而且要求有熟练的技巧以便对照相机进行正确的设定。此外，即使对被拍摄主体进行了合适的曝光校正，反过来会导致背景部分过度明亮。

在模拟拍摄技术中，通过在暗室内进行所谓的渐淡处理，可获得亮度合适的洗印效果。为了易于实现与该模拟拍摄技术同样的渐淡处理(dodging process)，最好用数字图像处理来实现。

作为用数字图像处理实现渐淡处理的方法，例如有Jobson等所作的报告，该报告题目为·IEEE TRANSACTIONS ON IMAGEPROCESSING，VOL.6，NO.7，JULY 1997 に”A Multiscale Retinex forBridging the Gap Be tween Color Images and the Human Observationof Scenes”(作为现有技术1)。该现有技术是通过对已进行了数字图像的对数变换的成分和其对数变换成分的低频成分进行差分处理、对数字图像的低频区域中的明亮成分进行暗化处理、对低频区域中的暗成分进行亮化处理而实现改善图像。

此外，在以·acm Transactions on Graphics，July 2002，Vol.21，No.3 に”Photog raphic Tone Reproduction for Digital Images”为题目的Reinhard等的报告中(作为现有技术2)提出了另一种方案，即：通过利用数字图像的亮度成分及其低频成分，在数字图像处理中得到渐淡效果的方法。

然而，在上述现有例中，在所处理的数字图像的噪声特性差的场合，通过改善处理而强调图像的噪声且使其显著，而在灰阶数小的场合，通过改善处理使图像的灰阶跳跃格外明显，此外，在对比度和色彩度高的场合，通过改善处理而过分强调图像的对比度和色彩度，有时会产生无法获得良好图像的问题。

发明内容

本发明的目的在于提供一种图像处理系统，该图像处理系统可根据所处理的数字图像的图像质量进行最佳亮度分布改善，以解决上述各问题。

为了达到上述目的，本发明将具有的下述构成作为其特征。

技术方案1所述的发明，其特征在于，从图像的图像数据中提取低频亮度成分，检测出上述图像中的亮度成分的特征值，根据上述特征值设定参数，用上述低频亮度成分和上述参数，校正上述图像数据的亮度成分。

技术方案8所述的发明，其特征在于，从图像的图像数据中提取低频亮度成分，再根据上述图像的摄影数据设定参数，用上述低频亮度成分和上述参数校正上述图像数据的亮度成分。

本发明的其它目的和特征可以参照附图进行的以下的实施方式的说明中得知。

附图说明

图1是表示本发明的图像处理系统中的实施方式的构成的图。

图2是表示本发明的图像处理系统中的应用程序的算法的图。

具体实施方式

在图1中表示本实施方式的图像处理系统中的实施方式的构成。

图中，1为图像输入装置，将数字图像数据(以下称为图像数据)和拍摄图像时的摄影数据输入至图像处理系统中。例如：由数码照相机构成。

2为亮度提取装置，从由图像输入装置1输入的数据中提取亮度成分和颜色成分。

3为尺度变换装置，求出从亮度提取装置2输出的图像数据的亮度成分的较大尺度范围中的分布。

4为亮度改善装置，用从亮度提取装置2输出的图像数据的亮度成分和从尺度变换装置3输出的较大尺度中的亮度成分的分布，改善图像数据的亮度成分的分布。

5为图像再现装置，对从亮度改善装置4输出的已改善的亮度成分、和从亮度提取装置2输出的颜色成分进行合成，重新构成图像数据。

6为参数调整装置，它是以根据图像数据使根据从亮度提取装置2输出的图像数据的亮度成分用亮度改善装置4处理的改善程度最佳化的方式进行参数的调整。

上述那种构成的图像处理系统可通过通用计算机上的应用程序来执行。以下，在本申请中，主要就在应用程序中被执行的图像处理系统进行说明，对图1中的图像处理系统中的构成进行补充说明。

图2表示用通用计算机执行本实施方式的图像处理系统的动作的应用程序的算法。

首先，当启动应用程序时，用户输入图像数据的文件名，再将图像数据和摄影数据读入计算机的存储部中。(S101)

在此，被读入的图像数据为由例如8位的像素构成的M×N的2维阵列(其中，M为水平像素数，N为垂直像素数)，由R、G、B3个面构成。将该图像数据设为R、G、B，它们分别为R(x，y)、G(x，y)、B(x，y)(其中，(x，y)是表示像素位置的整数、1≤x≤M，1≤y≤N)。此时，在以J PEG等的方式压缩图像数据的场合下，按规定的解压缩方式对图像数据解压缩，从而做成为由RGB各像素构成的图像数据。

此外，摄影数据是在摄影、记录时作为附加信息记录在图像数据中的数据，例如：拍摄日期及时间、摄影时镜头的焦距和光圈值等。在本实施方式中，所利用过的作为摄影数据的感光度、曝光时间、拍摄场景的类型、压缩率、位数、色空间、彩度强调、以及对比度强调等的情况在后边进行描述。此处，感光度为摄影数据中作为ISO速率和增益控制被附加的信息，与数码照相机的图像传感器在获取图像时设定的增益相当，较高地设定感光度，在摄影场合下，图像数据噪声特性会变差。此外，曝光时间为作为摄影数据中的曝光时间和快门速度被附加的信息，与数码照相机的图像传感器由曝光积蓄电信号的时间相当，当曝光时间长时，则噪声积累，图像数据的噪声特性变差。此外，为了对数码照相机的每个场景进行最佳控制，拍摄场景的类型应是由用户对每个场景设定的模式，在拍摄场景类型为夜景的场合下，由以进行长时间的曝光的方式进行控制，因此，图像数据的噪声特性变差。此外，压缩率为作为摄影数据中的图像压缩模式被附加的信息，用来在将数码照相机获得的图像数据记录在记录媒体中的数据的前阶段决定压缩图像数据的处理的数据容量。也可根据摄影数据的图像的长宽尺寸和图像数据量来预测压缩率。例如：在JPEG方式的压缩中，会产生由压缩引起的噪声，图像的压缩率设定得越高，图像数据的噪声特性就变得越差。

位数为数码照相机所获得的图像数据记录在记录媒体中时所构成的像素的位数，其相当于所能表现的灰阶数。因此，位数越大，图像数据的灰阶再现性越好。

颜色空间表示由数码照相机所获得的图像数据记录在记录媒体中时所能表现的颜色的范围，颜色空间越宽广，就越能用图像数据的RGB各像素的值将宽范围的颜色区别并加以再现。但是，若颜色空间较宽，由于识别颜色的量化的步长会变大，灰阶再现性变差。

彩度强调为强调由数码照相机所获得的图像数据的彩度来进行处理时的强调程度，当较强地设定强调程度时，则记录在记录媒体中的图像数据的彩度变高。

对比度强调为强调由数码照相机所获得的图像数据的对比度来进行处理的场合时的强调程度，若较强地设定强调程度，则记录在记录媒体中的图像数据的对比度变高。

以下，以构成图像数据的RGB各像素为基础，提取出亮度成分。(S102)

关于亮度成分的提取，例如：RGB的像素成分推定为IEC61966-2-1中所记载的sRGB颜色空间中的数据，按照IEC 61966-2-1中所记载的方法，经过伽玛变换和3行3列的矩阵运算而变换成CIE1931XYZ。于是，当将变换后的XYZ的数据分别设为X(x，y)、Y(x，y)、Z(x，y)时，Y(x，y)为提取的亮度成分。在用硬件构成该亮度提取的场合，例如可由检查表的表参照电路(伽玛变换部分)、和矩阵运算电路构成。

再者，作为提取亮度成分的方法，也可简化上述处理，仅用矩阵运算提取。此外，也可采用从RGB向YCbCr的变换、或从RGB向L*a*b*的变换、以及从RGB向HSV的变换。

以下，从已提取的亮度成分中求出较大尺度中的亮度成分的分布。(S103)

为了求出较大尺度中的亮度成分的分布(低频亮度成分的分布)，例如：要对已提取的亮度成分和高斯函数进行积和运算(convolutionoperation)并将其输出。于是，为了提高已改善的图像数据的图像质量，最好对进行与标准偏差不同的多个高斯函数的积和运算，并求出多个尺度下的亮度成分的分布。再者，以下，将求出上述说明的那种大尺度的亮度成分的分布的处理称之为尺度变换。在用硬件构成该尺度变换的场合，例如：能由积和运算电路构成。

以下，对根据摄影数据和已提取的亮度成分决定应改善的亮度分布的程度的参数进行调整。(S104)，此外，参数调整是与改善亮度分布的处理相关连的，所以该详细内容将在后面叙述。

以下，用图像数据的亮度成分和已进行了尺度变换的亮度成分的分布，对图像数据的亮度成分的分布加以改善。(S105)

作为处理之一例，若根据基于现有技术1的方法，要对亮度成分和已进行了尺度变换的亮度成分的分布分别进行对数变换，并将其差分输出。并且，将不同尺度下的差分输出的平均加权作为改善的亮度成分。但是，在该方法中，由于不能根据图像调整改善的程度，因此，使对已经进行过尺度变换的亮度成分的对数变换输出乘以系数。该系数为调整改善的程度的参数。基于上述说明的处理的改善的亮度成分的输出可用下式(式1)表示。

$Y\text{'}(x,y)=\underset{n}{\mathrm{\Σ}}{W}_n\{\log Y(x,y)-\mathrm{\γ}\·\log [F_n(x,y)*Y(x,y)\left]\right\}$

(式1)

但是，Y’(x，y)、F_n(x,y)、W_n、n、γ分别表示为改善了的亮度成分的输出、高斯函数、尺度间的加权、表示尺度的参数以及改善的程度的参数。此外，*表示积和运算。

再者，通过调整尺度的标准偏差，可省略尺度间的加权(单纯的被平均地置换)，此外很明显的是，与输出如(式1)那样地被对数变换的值相比，采用由逆变换(exp运算)返回到原亮度单位作为改善了的图像数据的图像质量更为理想。因而，最好将下式(式2)所表示的输出作为改善了的亮度成分。

Y’(x，y)＝exp＜{logY(x，y)-γ·Avg{log[F_n(x，y)*Y(x，y]}}

(式2)

其中，Avg表示平均值运算。也可用以下所示的(式3)代替(式2)。

$Y\text{'}(x,y)=\frac{Y(x,y)}{{\left[\mathrm{Avg}\right\{F_n(x,y)*Y(x,y\left\}\right]}^v}$ (式3)

再者，可用S103的尺度变换处理进行在多个尺度下的尺度变换输出的平均值运算，也可将多尺度下的尺度变换输出的平均值作为已经尺度变换过的亮度成分的分布。

在用硬件构成该灰阶变换的场合，例如：其可由平均值运算电路、制作检查表的电路、表存储部、表参照电路(伽玛变换部分)、以及除法运算电路构成。再者，平均值运算电路也可设置于尺度变换装置。

以下，对已改善的亮度成分和以S102变换过的颜色成分X(x，y)、Z(x，y)进行合成，再构成图像数据。(S106)

于是，首先根据亮度成分的变更对颜色成分进行修正，以便尽可能地使再构成后的图像数据的色彩不变化。例如：在色成分X(x，y)、Z(x，y)上分别乘以亮度成分的前后的变更之比Y’(x，y)/Y(x，y)。此外，从X、Y、Z的数据求出RGB的数据。此处的处理为S102中的处理的逆变换。因此，要进行3行3列的矩阵运算和逆伽玛变换的处理，并做成RGB各8位的输出。在用硬件构成该图像数据的再构成的场合，例如：可由乘法或除法运算电路、矩阵运算电路、检查表的表参照电路(逆伽玛变换部分)构成。

此外，作为在S102中提取亮度成分的方法，在采用从RGB变换成YCbCr等的其他方式的场合下，不言而喻，应进行在本处理中对应的逆变换处理。

以下，对用S105中的(式3)对S104中的参数调整方法之一例进行亮度变换的场合进行说明。

首先，在将图像数据的亮度成分分为规定的亮度值范围来制作亮度立方图。然后，求出相对于以从暗方积分(integrate)的矩形图的频率的全采样的比例成为规定比例的亮度值(将该亮度值设为Y_n)。此时，将使所求出的亮度值Y_n的成为规定的亮度值(将该亮度值设为Y₁。但是Y₀≤Y₁)的γ取为表示改善程度的参数。再者，假设(式3)分母的[ ]内与Y(x，y)基本相等，则该γ可用以下所示的(式4)求出。

$\mathrm{\γ}=1-\frac{{\log Y}_1}{{\log Y}_0}$ (式4)

此外，将所求的γ与和摄影数据对应的规定的阈值比较，在大于阈值的场合，参数γ采用阈值。

例如，在采用感光度作为摄影数据的场合，用数码照相机拍摄图像数据的感光度，将ISO100以下的阈值设为γ0，将ISO200以下的阈值设为γ1，将其以上感光度的场合的阈值设为γ2，(但是，0＜γ2＜γ1＜γ0＜1)。经过该处理，相对于噪声特性差的原图像，通过抑制亮度分布改善程度，因而可抑制噪声强调。再有，即使所用拍摄图像数据的数码照相机有相同的感光度，由于噪声特性不同，最好也要在数码照相机的机型名称和感光度的组合中，分别将阈值作为摄影数据进行设定。

此外，在采用曝光时间作为摄影数据的场合，当用数码照相机拍摄过的图像数据的曝光时间是大于或等于规定值的场合，设定小的阈值。经过该处理，对于噪声特性差的原图像，通过抑制亮度分布改善程度，而可抑制噪声被强调。同样在拍摄场景类型为夜景的场合下，由于预期为与长时间曝光相对应，所以设定小的阈值。此外，在逆光场景的校正中，由于多是人物为逆光的场合所需要的，对于拍摄场景类型为自动和人物以外的场合，可判断为不必作亮度改善，也可使阈值为0，即：可使之不进行用尺度变换装置的输出的亮度改善处理。此外，在采用压缩率作为摄影数据的场合，对于用数码照相机拍摄图像数据并将其记录在记录媒体中时的压缩率更高的情况，设定小的阈值。与感光度的情况相同，对于噪声特性不佳的原图像，通过抑制亮度分布改善程度来抑制噪声被强调。此外，在采用位数作为摄影数据的场合，对于图像数据的位数较多的情况，设定大的阈值。对于灰阶再现性差的原图像，通过抑制亮度分布改善程度来抑制灰阶跳跃的发生。此外，在采用颜色空间作为摄影数据的场合，对于图像数据的颜色空间更宽的情况，设定小的阈值。与位数的情况相同，对于灰阶再现性差的原图像，通过抑制亮度分布改善的程度，因而可抑制灰阶跳跃的发生。此外，在采用彩度强调作为摄影数据的场合，对于图像数据的彩色度强调更强的情况，设定小的阈值。对于强调过彩度的原图像，通过抑制亮度分布改善程度，更加强调彩色度，从而抑制了图像质量的劣化。此外，在采用对比度强调作为摄影数据的场合，对于对比度强调更强的情况，设定较小的阈值。对于强调过对比度的原图像，通过抑制亮度分布改善程度，因此，可更加强调对比度，从而抑制图像质量的劣化。

在上述的参数调整中，如果采用多重组合调整图像数据，不言而喻可更加有效。

此外，以在参数调整中采用摄影数据为例，根据各摄影数据的值设定参数γ的阈值，但在亮度分布改善中，若是抑制噪声强调等的副作用的发生的方式的话，也可用其他方式。例如：在采用感光度作为摄影数据的场合，用下式(式5)代替(式4)作为求出参数γ的方式。

$\mathrm{\γ}=k\·[1-\frac{{\log Y}_1}{{\log Y}_0}]$ (式5)

其中：k为因感光度数值而改变的常数，感光度越高越选用小的值。

再者，在本实施方式中，以摄影数据和图像数据的亮度成分为基础自动调整参数，但是也能以摄影数据和图像数据的RGB的像素值为基础自动调整参数。

在上述例中，对根据以现有技术1为基础进行处理的图像数据进行最佳亮度分布的改善的方法进行了说明，在以下例中，对根据以现有技术2为基础进行处理的图像数据进行最佳亮度分布的改善的方法进行说明。另外，由于与上述实施方式的差别主要是改善S105中的图像数据的亮度成分分布的处理，故仅以此为中心予以说明。

根据现有技术2，采用不同尺度的亮度成分评价亮度变换后的光晕发生的程度，为了不出现由光晕的发生而产生图像质量问题来决定最佳尺度而进行亮度变换。以下是(式6)表示适用本条件的场合的例子。

$Y^{\′}(x,y)=\frac{a\·Y(x,y)}{1+e\·V(x,y)}$ (式6)

其中：V(x，y)为从多个尺度变换后的亮度成分中选择的亮度成分，α为调整亮度成分的强度的参数，e为表示亮度成分的改善程度的参数。再者，当然，伴随亮度成分改善程度处理中的调整方法的变更，也应变更S104中的改善参数的调整方法。

此外，在根据现有技术2说明的例子中，在调整亮度成分改善程度的同时亦对图像亮度成分本身进行调整，不言而喻的是，也可将本发明和调整图像亮度成分本身的处理组合起来。

此外，在S105的处理中，作为(式3)的分母的[ ]内的值，对于亮度成分也可适用以acm Transactions on Graphics，July 2002，Vol.21，No.3中的”Fast Bilateral Filtering for the Display ofHigh-Dynamic-Range Images”为题目Durand等的报告中的Bilateral Filtering。在该场合，用S103的尺度变换处理，预先对亮度成分进行Bilateral Filtering处理。

在上述实施方式中，对XYZ信号进行了处理，但也可以对Luv等的其他彩色信号进行处理。在该场合，作为处理对象的信号可用L信号取代亮度成分Y。总之，在上述实施方式中，不仅对亮度信号，而且也可使用于表示亮度的信号。

为实现上述实施方式的功能和使各种元器件工作，要向与该各种元器件连接的的装置或系统内的计算机提供用来实现上述实施方式的功能的软件的程序代码、并通过使该系统或装置的计算机(CPU或MPU)按照被装入的程序使上述各种元器件实施的方案也包含在本发明的范畴中。

在此场合，上述软件的程序代码本身成为实现上述实施方式的功能，该程序代码本身、以及用来将该程序代码提供给计算机的装置，如存储了这些程序代码的存储媒体等都构成本发明的部分。

作为存储这样的程序代码的存储媒体，例如可采用软盘、硬盘、光盘、光磁盘、CD-ROM、磁带、非易失性存储卡、以及ROM等。

此外，不言而喻的是，通过执行提供给计算机的程序代码，不仅实现上述实施方式的功能，而且使该程序代码与在计算机中运行的OS(操作系统)、或其他应用软件等一起实现上述实施方式的功能的场合，这些程序代码均包含在本发明的实施方式中。

此外，不言而喻的是，在将所提供的程序代码存储在与计算机的功能扩充板或与计算机连接的功能扩充单元中配备的存储器中后，根据其程序代码的指示，配置在该功能扩充板或功能扩充单元内的CPU将进行实际处理的一部分或全部，由该处理实现上述实施方式的功能的情况也包含在本发明的实施方式中。

Claims (20)

1.一种图像处理方法，其特征在于，从图像的图像数据中提取出低频亮度成分，检测出上述图像中的亮度成分的特征量，根据上述特征量设定参数，用上述低频亮度成分和上述参数校正上述图像数据的亮度成分。

2.如权利要求1所述的图像处理方法，其特征在于，上述校正使图像的低频区域中的区域变暗、使暗区域变亮。

3.如权利要求2中所述的图像处理方法，其特征在于，根据上述校正过的亮度成分，对上述图像数据的颜色成分进行校正。

4.如权利要求1或2中所述的图像处理方法，其特征在于，上述特征值为在上述低频亮度成分的上述图像中的统计值。

5.如权利要求1至4中任一项所述的图像处理方法，其特征在于，上述参数是根据上述特征值及上述图像的摄影数据设定的。

6.如权利要求1至5中任一项所述的图像处理方法，其特征在于，在将上述图像数据的亮度成分设为A、将上述低频亮度成分设为B、将参数设为C时，上述校正为进行基于 的特性的校正。

7.如权利要求1至6中任一项所述的图像处理方法，其特征在于，在将上述图像数据的亮度成分设为A，将上述低频亮度成分设为B，将参数设为C时，上述校正为进行基于

的特性的校正。

8.一种图像处理方法，其特征在于，从图像的图像数据中提取出低频亮度成分，根据上述图像的摄影数据设定参数，用上述低频亮度成分和上述参数，校正上述图像数据的亮度成分。

9.如权利要求8中所述的图像处理方法，其特征在于，上述摄影数据是拍摄图像时的感光度，当上述感光度高时以使上述渐淡处理程度变小的方式设定上述参数。

10.如权利要求8中所述的图像处理方法，其特征在于，上述摄影数据是压缩率，当上述压缩率高时以使上述渐淡处理程度变小的方式设定上述参数。

11.如权利要求8中所述的图像处理方法，其特征在于，上述摄影数据为位数，当上述位数多时以上述渐淡处理程度变大的方式设定上述参数。

12.如权利要求8中所述的图像处理方法，其特征在于，上述摄影数据是颜色空间，当上述颜彩空间的范围大时以使上述渐淡处理程度变小的方式设定上述参数。

13.如权利要求8中所述的图像处理方法，其特征在于，上述摄影数据是彩度强调，当上述彩度强调程度强时以使上述渐淡处理变小的方式设定上述参数。

14.如权利要求8中所述的图像处理方法，其特征在于，上述摄影数据是对比度，当上述对比度程度强时以使上述渐淡处理的程度变小的方式设定上述参数。

15.如权利要求8中所述的图像处理方法，其特征在于，上述摄影数据为曝光时间，当上述曝光时间长时以使上述渐淡处理的程度变小来设定上述参数。

16.如权利要求8中所述的图像处理方法，其特征在于，上述摄影数据为拍摄场景类型，上述亮度成分的校正根据上述拍摄场景类型来设定上述参数。

17.一种程序，该程序用来使计算机执行权利要求1中所述的图像处理方法。

18.一种程序，该程序用来使计算机中执行权利要求8中所述的图像处理方法。

19.一种图像处理装置，其特征在于，该图像处理装置包括有：从图像的图像数据中提取出低频亮度成分的提取装置；检测上述图像中的亮度成分的特征量的检测装置；根据上述特征量设定参数的设定；用上述低频亮度成分和上述参数校正上述图像数据的亮度成分的校正装置。

20.一种图像处理装置，其特征在于，该图像处理装置包括有：从图像的图像数据中提取出低频亮度成分的提取装置；根据上述图像的摄影数据设定参数的设定装置；用上述低频亮度成分和上述参数校正上述图像数据的亮度成分的校正装置。

Images