CN101902550B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置及图像处理方法。该图像处理装置包括：被配置为根据输入图像计算多个特征量的单元；被配置为基于所述特征量计算第一多维查找表的单元；被配置为根据所述输入图像计算特定对象的属性信息的单元；被配置为基于所述属性信息计算第二多维查找表的单元；被配置为根据所述输入图像生成控制参数的单元；插值单元，其被配置为将所述第一多维查找表和所述第二多维查找表应用到所述输入图像；以及控制单元，其被配置为使用所述控制参数控制所述第二多维查找表的插值强度。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及一种校正输入图像的光亮度(brightness)的图像处理装置及图像处理方法。

背景技术

传统上，讨论了对数字照相机拍摄的照片图像数据执行各种校正，以显示并打印合适的照片图像的各种方法。可以将这类图像校正方法大致划分为两种方法。一种是对整个图像执行统一校正的统一校正，另一种是校正量根据图像的局部性质而改变的局部校正。

前一种统一校正的示例包括日本特开2000-013616号公报论述的色彩平衡校正。在日本特开2000-013616号公报中，计算图像的亮度(luminance)直方图，并根据累积频率计算图像中的高亮/阴影点。如果高亮/阴影点的色差分量为0，则确定图像数据的色彩平衡适当。另一方面，如果高亮/阴影点的色差分量不为0，则确定失去色彩平衡，并将在亮度/色差空间中使高亮/阴影点的色差为0的旋转矩阵统一应用到图像中。

另一方面，关于后一种局部校正，示例包括以遮光(dodging)处理为代表的类型的图像处理，其中，校正量根据图像的空间位置而改变。遮光处理是：例如在诸如人物的被摄体暗、而背景亮的情况下，通过大幅增加暗的人物区域的亮度而不怎么改变亮的背景区域的亮度，以在抑制背景的过度曝光的同时适当地校正人物区域的光亮度。日本特开2001-298619号公报以及日本特许第3233114号公报论述了这种遮光处理。二者都通过对输入图像执行滤波生成低频图像(即模糊图像)、并使用模糊图像作为空间光亮度控制因素，来实现数字处理中的遮光处理。

近年来的打印机具有各种功能，除了打印之外，还配备有复印功能以及从存储卡中直接打印照片数据的功能作为标准功能。此外，近年来，打印速度的提高也很显著，并在未来需要继续提高。另一方面，近年来，打印机中安装的硬件资源还不像个人计算机中安装的硬件资源那样丰富。中央处理单元(CPU)速度、随机存取存储器(RAM)容量以及RAM的存取速度通常具有有限的能力。此外，打印机主体的成本降低的需求是苛刻的，因此，期望图像处理能够使用尽量少的资源。换句话说，打印机主体的硬件性能面对一个相互矛盾的状况，即期望打印机速度等的性能提高，但同时维持或降低其能力。

在这种情况下，提出了使用三维查找表(下文中称为“3DLUT”)的图像处理作为以高速执行图像处理的有效单元。下面描述使用3DLUT系统的图像处理的有效性。例如，考虑如下情况，即对输入图像同时执行如日本特开2000-013616号公报中论述的色彩平衡校正、亮度灰度级(gradation)校正以及饱和度校正。比较当对整个图像的所有像素中的各个执行以上处理时的计算量和当通过构造校正后的红绿蓝(RGB)3DLUT而由插值计算来校正整个图像的像素时的计算量。

首先，考虑前一种对整个图像的各像素执行处理的情况。如果以RGB表达输入图像的各像素值，则将像素值转换为例如作为亮度色差空间的YCbCr值。该处理需要9次乘法运算。将日本特开2000-013616号公报中论述的用于校正的三维旋转矩阵应用到YCbCr值，以获得色彩平衡校正后的Y′Cb′Cr′值。该处理需要9次乘法运算。接下来，对Y′值执行预定的灰度级校正，以获得Y″值。此外，将Cb′Cr′值乘以饱和度增强系数，以获得Cb″Cr″值。该处理需要2次乘法运算。最后，使用公知的公式将校正后的Y″Cb″Cr″值转换为R″G″B″值。该处理需要9次乘法运算。因此，该处理序列总共需要29次乘法运算。如果对各像素重复执行该处理，则例如3000×2000像素的图像需要17400万次乘法运算。

另一方面，描述使用3DLUT的情况。众所周知，根据使用3DLUT的系统，将3DLUT划分为其中具有预定间隔的网格图案，并针对各网格点计算校正后的RGB值，并存储该RGB值。假设例如网格间隔为32且存在9^3＝729个网格点。如果对各网格点处的RGB值执行以上处理，则需要29×729次乘法运算。通过公知的插值计算将以此方式生成的3DLUT应用到各像素。如果例如使用四面体插值(tetrahedralinterpolation)，则可以通过每个像素5次乘法运算获得校正后的RGB值。更具体地说，通过以下公式表达针对整个图像的3DLUT的乘法运算次数：乘法运算次数＝29×729+(3000×4000)×5＝约6002万次。

以上二者的总乘法运算次数的比较显示出后者的计算次数大约是前者的计算次数的1/3，从而证明3DLUT系统是非常有效的。

另一方面，在由非专业摄影师的普通业余摄影师拍摄的照片图像中，存在许多包括多个失败因素的图像(例如，具有彩色底雾(color fog)的背光照片)。对于这些图像，通过色彩平衡校正去除彩色底雾，然后，需要非常复杂的校正处理，例如仅对暗的被摄体区域增加亮度分量、同时按原样保留背景。

考虑到同时执行以遮光处理校正为代表的局部校正和诸如色彩平衡校正的遍及图像的统一校正，存在如下问题，即仅使用例如上述3DLUT的3DLUT很难进行控制。

如上所述通过插值计算应用3DLUT，并由此可以设想例如从插值后的像素值中仅提取光亮度分量，以对该分量进行局部控制，但是，由此使得处理更加复杂，这增大了实现时所需的计算规模及电路规模。

发明内容

本发明的目的在于，在不包括高性能硬件资源(例如，CPU和RAM)的系统中，通过低计算量的低存储器实现遍及图像的统一校正(例如，色彩平衡校正)和局部校正(例如，遮光处理)。

根据本发明的一个方面，提供了一种图像处理装置，该图像处理装置包括：被配置为根据输入图像计算多个特征量的单元；被配置为基于所述特征量计算第一多维查找表的单元；被配置为根据所述输入图像计算特定对象的属性信息的单元；被配置为基于所述属性信息计算第二多维查找表的单元；被配置为根据所述输入图像生成控制参数的单元；以及插值单元，其被配置为将所述第一多维查找表和所述第二多维查找表应用到所述输入图像，所述图像处理装置包括：控制单元，其被配置为使用所述控制参数控制所述第二多维查找表的插值强度。

根据本发明的另一方面，提供了一种图像处理方法，该图像处理方法包括如下步骤：根据输入图像计算多个特征量；基于所述特征量计算第一多维查找表；根据所述输入图像计算特定对象的属性信息；基于所述属性信息计算第二多维查找表；根据所述输入图像生成控制参数；以及通过将所述第一多维查找表和所述第二多维查找表应用到所述输入图像来进行插值，所述图像处理方法包括：使用所述控制参数控制所述第二多维查找表的插值强度。

根据本发明，串联连接多个插值单元，通过一个插值单元对整个图像执行统一校正处理，并通过其他插值单元使用控制参数控制这些插值单元的插值强度。因此，可以通过很简单的结构实现同时执行统一校正和局部校正的处理的传统难题。

通过以下参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得清楚。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的示例性实施例、特征和方面，并且与文字说明一起用来解释本发明的原理。

图1例示了本发明的第一示例性实施例的框图。

图2例示了可以通过本发明实现的硬件配置示例。

图3例示了根据本发明的图像分析单元执行的处理的流程图。

图4例示了亮度直方图。

图5是例示曝光适当性(appropriateness)确定处理的示例的流程图。

图6是例示第一3DLUT生成处理的流程图。

图7是例示被摄体属性信息更新处理的流程图。

图8是例示控制参数生成处理的流程图。

图9是例示第二3DLUT生成处理的流程图。

图10例示了用于适当调整被摄体的色调(tone)曲线。

图11是例示第二3DLUT生成处理的流程图。

图12是例示强度调整插值单元执行的处理的流程图。

图13例示了本发明的效果。

图14例示了本发明的第二示例性实施例中的处理的框图。

图15是例示第二示例性实施例中的色调曲线校正处理的流程图。

图16例示了校正后的色调曲线。

图17例示了第三示例性实施例中的处理的框图。

具体实施方式

下面参照附图详细描述本发明的各种示例性实施例、特征和方面。

下面将描述本发明的第一示例性实施例。以下描述假设存在打印机主体内部的图像处理单元。然而，仅将示例性实施例作为示例示出，本发明不限于以下描述的示例性实施例。

图2例示了能够执行本示例性实施例中的图像处理方法的硬件200的配置示例。硬件200包括CPU 201、RAM 202、存储有各种控制程序/表的只读存储器(ROM)203、以及二级存储装置204(例如，硬盘)。硬件200包括用户接口205(例如，按钮或显示装置)以及外部接口206(例如，通用串行总线(USB)(商标)或存储卡读取器)。经由接口206(下文中，表示为“IF 206”)从存储卡209读取图像数据或者连接个人计算机210。硬件200还包括原稿读取装置207(例如，扫描器)和打印机引擎208。

图1例示了本示例性实施例中的处理的框图。图1是硬件200的框图。如图1所示，在本示例性实施例中，通过串联连接两个插值单元107和108的配置来校正输入图像。下面描述详情，可以通过控制参数来控制后者插值单元108的插值强度。

当例如用户经由IF 206将执行打印处理的指令输入打印机时，首先，图像读取单元101从连接到IF 206的存储卡或图像读取装置207中读取待处理的图像数据。接下来，图像分析单元102对图像执行分析处理，以根据图像数据计算特征量。根据本示例性实施例的图像分析单元使用公知的面部检测技术检测人物的面部区域，并计算面部区域的属性值(例如平均亮度和色差分量)，以确定面部区域是否曝光不足。此外，图像分析单元计算整个图像的直方图，并分析计算结果，以确定图像的色彩平衡的适当程度。分析结果被输入到第一多维LUT生成单元104(第一多维查找表生成单元)，以生成第一3DLUT(第一多维查找表，这里为三维查找表)来校正整个图像的色彩平衡。

接下来，被摄体属性更新单元105使用由图像分析单元102分析的被摄体(特定对象)的属性信息(例如，被摄体面部的平均亮度值)以及第一3DLUT，来更新被摄体属性信息。更具体地说，通过公知的插值方法将第一3DLUT应用到被摄体属性信息，以计算第一3DLUT校正的属性信息。

将更新后的属性信息输入到第二多维LUT生成单元106(第二多维查找表生成单元)。第二多维LUT生成单元106生成专门用于调整被摄体的第二3DLUT(第二查找表，这里为三维查找表)。基于输入到第二多维LUT生成单元106的更新后的被摄体属性信息生成第二3DLUT。

作为校正处理之前的准备的最后步骤，控制参数生成单元103(控制参数生成单元)生成强度调整插值单元108控制插值强度的参数。更具体地说，控制参数生成单元103通过对输入图像进行滤波来生成模糊图像，并将生成的模糊图像作为控制参数113输入强度调整插值单元108。

从而，完成两个3DLUT和控制参数的生成。

下面描述校正处理的流程。将图像读取单元101读取的图像数据逐像素地输入到插值单元107中，其中，通过公知的插值方法应用第一3DLUT。将应用第一3DLUT后的像素值输入到强度调整插值单元108中，其中，通过公知的插值方法应用第二3DLUT。此时，针对图像的各局部区域、根据控制参数控制第二3DLUT的插值强度。通过颜色转换单元109将使用上述处理完成校正的图像数据转换为CMYK墨颜色。通过伪灰度级处理单元110对图像数据执行诸如误差扩散和抖动的伪灰度级处理。然后，通过打印机引擎111将图像数据作为图像形成在打印介质上。

以上描述了本示例性实施例中的处理的框图。

下面参照流程图描述各块中的详细处理。

图像读取单元101读取待处理的图像数据。可以通过读取经由IF 206连接的存储卡中包含的图像数据、或通过使用读取装置207读取光学扫描原稿而获得的数据来实现读取。将读取的图像数据与用于识别该图像数据的颜色空间是例如sRGB空间还是Adobe RGB(美国Adobe系统(USAdobe Systems)的注册商标)空间、或者是其他颜色空间的标志信息一起发送到后续处理。

图3例示了图像分析单元102执行的处理的流程图。在执行过程中，将执行处理的程序从二级存储装置204加载到RAM 202中，并在CPU 201的控制下执行该程序。

在步骤S301中，调整输入图像的大小。在输入图像包括例如4000×3000个像素的情况下，如果对所有像素执行直方图计算或面部检测处理，则执行这些处理所需的吞吐量(throughput)是巨大的。面部检测处理或直方图计算处理可以通过降低显示图像的特征所需的分辨率并对低分辨率图像执行处理，来降低总体吞吐量。尽管没有定义较低的分辨率，但是，例如可以将分辨率降低到视频图形阵列(VGA)的大小(对应于640×480像素)。

接下来，对低分辨率图像执行颜色转换处理。这是因为通过在公共颜色空间中执行处理，使得在下面的分析处理中的曝光适当性确定单元等中的参数设计更加容易。在本示例性实施例中选择sRGB颜色空间。在步骤S302中，如果输入了任何其他颜色空间，则使用公知的转换单元将颜色空间转换为sRGB颜色空间。

接下来，在步骤S303中，计算整个图像的直方图。可以使用任何方法用于直方图计算。这里，将各像素的sRGB值转换为亮度色差空间(例如，YCbCr空间)，以针对各分量计算直方图。如果输入图像是在总体曝光不足状态下拍摄的，则亮度分量直方图(8位精度)具有如图4所示的倾向暗侧的不平衡分布。

接下来，在步骤S304中，从图像中检测期望的被摄体。在本示例性实施例中，不特殊限定被摄体，并以人物的面部为例。关于人物面部的检测已经论述了各种方法，在本示例性实施例中可以使用任何这类方法。

接下来，在步骤S305中，使用上述直方图信息和面部检测信息来确定在拍摄图像时曝光的适当性。

图5例示了本示例性实施例中的简易适当性确定的示例。在步骤S501中，确定是否检测到面部。如果检测到面部(S501：是)，则在步骤S502中，计算面部区域中的亮度色差分量的平均值(ObjY，ObjCb，ObjCr)，并且将这些平均值中的平均亮度ObjY与用来确定曝光的适当程度的预定阈值相比较。如果作为比较的结果，面部区域的平均亮度值超过阈值(S502：否)，则确定曝光适当。另一方面，如果平均亮度值小于阈值(S502：是)，则确定曝光不足。如果没有检测到面部(S501：否)，则在步骤S503中，将根据直方图计算的整个图像的平均亮度值与预定阈值相比较。如果平均亮度值超过阈值(S503：否)，则确定曝光适当。如果平均亮度值小于阈值(S503：是)，则确定曝光不足。在后续处理中，使用此处计算的面部区域内部的平均值(ObjY，ObjCb，ObjCr)、检测到的面部区域在图像中的坐标位置等作为被摄体区域的属性信息。

返回图3，在步骤S306中，确定色彩平衡的适当性。关于色彩平衡的适当性确定已经论述了各种方法，在本示例性实施例中可以使用任何这类方法。这里，描述如下示例，即通过日本特开2000-013616号公报论述的方法确定色彩平衡的适当程度、并生成用于色彩平衡校正的旋转矩阵。

根据日本特开2000-013616号公报，可以通过图像中的高亮/阴影点的色差分量，来确定色彩平衡的适当程度。高亮/阴影点定义如下：通过从低亮度侧累积图4所示的直方图的频率，来计算累积频率分布，并将累积频率为99％的点定义为高亮点，将累积频率为1％的点定义为阴影点。仅根据与被确定为高亮/阴影点的亮度值相对应的像素，来计算色差的平均值。如果色差接近0，则确定色彩平衡适当，并且随着与0之间的距离的逐渐增加，确定色彩平衡越发不适当。当确定色彩平衡不适当时，可以通过如下方法校正色彩平衡，即生成3×3旋转矩阵，以使高亮/阴影点的色差在亮度色差空间中接近于0，并将目标像素值的亮度色差分量与旋转矩阵相乘。在日本特开2000-013616号公报中论述了关于生成旋转矩阵的详细说明，因此，省略其详细描述。上面描述了本示例性实施例中的图像分析单元102。

图6例示了第一多维LUT生成单元104执行的处理的流程图。在执行过程中，将执行处理的程序从二级存储装置204加载到RAM 202中，并在CPU 201的控制下执行该程序。在本示例性实施例中，生成各RGB分量为8位精度的3DLUT，并且网格间隔为32。在这种情况下，网格点的总数为9×9×9＝729个点。对所有这些网格点执行图6所示的处理。

首先，在步骤S601，生成用于色彩平衡校正的旋转矩阵MTX[3][3]。在日本特开2000-013616号公报中论述了上述旋转矩阵的生成方法，因此，省略其详细描述。当步骤S306中的色彩平衡适当性确定的结果为适当时，要生成的MTX[3][3]是如下所示的单位矩阵：

[数字表达式1]

$\mathrm{MTX}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$

接下来，在步骤S602中，通过公知的转换公式将目标网格点的RGB值转换为YCbCr分量。在步骤S603中，使用以下公式将MTX应用到YCbCr值，以计算色彩平衡校正后的Y′Cb′Cr′值。在下面的公式中，m00至m22显示了在步骤S601中生成的旋转矩阵的各元素值。

[数字表达式2]

$\left[\begin{array}{c}{Y}^{\′}\\ {\mathrm{Cb}}^{\′}\\ {\mathrm{Cr}}^{\′}\end{array}\right]=\left[\begin{array}{ccc}{m}_{00}& m_{01}& m_{02}\\ m_{10}& m_{11}& m_{12}\\ m_{20}& m_{21}& m_{22}\end{array}\right]\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]$

在步骤S604中，通过公知的转换公式将计算的Y′Cb′Cr′值转换为R′G′B′值。将R′G′B′值作为校正后的网格点存储在3DLUT中，并将其存储在RAM 202中。

通过对所有的729个网格点执行上述步骤S602至S604的处理，可以生成第一3DLUT(第一生成)(S605和S606)。

作为生成后述第二3DLUT的准备，被摄体属性更新单元105更新图像分析单元102确定的被摄体属性信息112。根据图7所示的流程执行属性信息的更新处理。在步骤S701中，通过公知的转换公式将输入到被摄体属性更新单元105的被摄体属性信息112(例如，面部区域内部的平均亮度和平均色差)(ObjY，ObjCb，ObjCr)转换为RGB值。在步骤S702中，使用公知的插值方法(例如，四面体插值方法)将第一3DLUT应用到RGB值，结果，获得应用了第一3DLUT之后的R′G′B′值。在步骤S703中，通过公知的转换公式将R′G′B′值转换为ObjY′、ObjCb′以及ObjCr′值(第一校正)。将ObjY′、ObjCb′以及ObjCr′值被更新后的属性信息输入到第二多维LUT生成单元106中，这是后续处理。

接下来，描述控制参数生成单元103执行的处理的流程图。在执行过程中，将执行处理的程序从二级存储装置204加载到RAM 202中，并在CPU 201的控制下执行该程序。控制参数如上所述是用来控制强度调整插值单元108的插值强度的参数。由于假设在本示例性实施例中使用遮光处理，因此生成输入图像的低频图像(即模糊图像)作为控制参数。

图8是控制参数生成单元103执行的处理的流程图。在本示例性实施例中，不特殊限定低频图像生成方法。这里，将如下处理描述为示例，即一次缩小输入图像、对缩小的图像执行滤波、然后将图像恢复到其原始分辨率。滤波通常需要很大的计算量，可以通过对缩小的图像执行滤波来降低其计算成本。

在步骤S801中，调整输入图像(即，RGB图像)的大小以使其成为低分辨率图像。不特殊限定调整大小的方法，在处理速度优先的情况下，最近邻像素的稀疏化处理是有效的。

在步骤S802中，通过公知的转换公式将调整大小后的RGB图像数据转换为亮度图像。亮度图像是仅包含关于各像素的亮度信息、并成为单色图像的图像。

然后，在步骤S803中，对亮度图像执行公知的滤波(平滑滤波)，以生成低频图像。不特殊限定滤波方法，最简单的示例是对缩小的图像中的各像素应用下面公式示出的平滑滤波。

[数字表达式3]

$f=\frac{1}{25}\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\\ 1& 1& 1& 1& 1\end{array}\right]$

在步骤S804中，将获得的低频图像放大到其原始分辨率。此时，如果使用最近邻插值执行放大处理，则在调整大小后的图像中生成高频分量，因此，优选通过线性插值执行放大处理。

传统上论述的遮光方法仅参照生成包含颜色分量的低频图像的示例。然而，在本示例性实施例中，如上所述，低频图像仅存储亮度分量，从而具有存储所需的存储量很小的优点。

图9和图11例示了第二多维LUT生成单元106执行的处理的流程图。

首先，在步骤S901中，根据曝光适当性确定的结果生成用于亮度校正的色调曲线Tc[256]。色调曲线Tc[256]指示8位精度的数组，并且是存储有针对校正前的亮度值的校正后的亮度值的一维查找表。

图10例示了在本示例性实施例中确定被摄体区域曝光不足的情况下的色调曲线的生成示例。在图10中，水平轴表示校正前的亮度，垂直轴表示校正后的亮度。在图10中，值ObjY′表示被摄体属性更新单元105更新后的面部区域中的平均亮度，并且值ObjY′是预置了TarY的面部区域的目标亮度值。色调曲线Tc[256]作为穿过点(ObjY′，TarY)的曲线而形成。在本示例性实施例中，不特殊限定曲线形成方法。例如，该曲线并不一定如图10所示连接原点(0，0)和白点(255，255)，该曲线也并不一定是曲线。在一些情况下，可以通过几条直线来形成类似的色调曲线。如果确定被摄体区域没有曝光不足，则色调曲线可以是直线，使得校正前的亮度值与校正后的亮度值相匹配。

在生成用于被摄体校正的色调曲线之后，接下来，在步骤S902中，生成用于被摄体校正的第二3DLUT。图11例示了步骤S902的详细流程。

在图11中，首先在步骤S1101中，通过公知的转换公式将3DLUT的目标网格点的RGB值转换为YCbCr值。接下来，在步骤S1102中，将步骤S901中计算的色调曲线Tc应用到下面所示的亮度值Y，以计算Y′值。

Y′＝Tc[Y]

在步骤S1103中，根据亮度的增加量执行饱和度校正。通常，如果在亮度色差空间中仅增加了亮度，则由此产生的图像变成饱和度降低的难看图像。在本示例性实施例中，计算通过以下公式表达的饱和度增强系数E，来解决该问题。

E＝(y′/y)×α+β

其中，E恒大于等于1.0。

在上面的公式中，α和β是可选系数，并被设置为例如α＝0.4，β＝0.6。在亮度增加率(y′/Y)为1.0的情况下，上面的公式得到E＝1.0，在亮度增加率(y′/Y)为2.0的情况下，上面的公式得到E＝1.4。假设E恒大于等于1.0，从而不发生饱和度降低。

在步骤S1103中，根据以下公式执行目标网格点的饱和度校正：

Cb′＝Cb×E

Cr′＝Cr×E

在步骤S1104中，通过公知的转换公式将以上处理计算的校正后的Y′Cb′Cr′值转换为R′G′B′值，并存储在第二3DLUT中。

通过对所有网格点执行上述步骤S1101至S1104的处理，可以生成第二3DLUT(第二生成)(S1105和S1106)。

将输入图像输入到通过公知的插值方法应用第一3DLUT的插值单元107中。在插值单元107中，校正输入图像的色度(tint)(第二校正)。在本发明中，不特殊限定插值方法，可以使用诸如四面体插值、三角柱插值(triangular prism interpolation)以及三次插值的插值方法。在许多公知的文献中论述了各插值方法，因此省略其详细描述。

使用以上插值处理，在后续步骤中，将应用了第一3DLUT的图像数据(R′，G′，B′)输入到强度调整插值单元108中。

在强度调整插值单元108中，在参照控制参数113的同时将第二3DLUT应用到图像数据(R′，G′，B′)。在强度调整插值单元108中，不特殊限定强度调整方法，可以使用任何公知的插值方法。

下面，描述强度调整插值单元108使用的强度调整方法。图12例示了强度调整插值单元108执行的处理的流程。

首先，在步骤S1201中，将第二3DLUT应用到存储在输入图像中的目标像素位置(x，y)中的像素值(R′，G′，B′)，以获得应用第二3DLUT后的值(TempR，TempG，TempB)。

接下来，在步骤S1202中，参照输入到强度调整插值单元108中的控制参数1206，即低频亮度图像，来获取(提取)与目标像素位置(x，y)相对应的控制参数值，即亮度值BY(x，y)。

在步骤S1203中，通过下面的公式获得插值强度控制之后的像素值(R″，G″，B″)(第三校正)：

R″＝(TempR-R′)×(1.0-BY(x，y)/255)+R′

G″＝(TempG-G′)×(1.0-BY(x，y)/255)+G′

B″＝(TempB-B′)×(1.0-BY(x，y)/255)+B′

在上面的公式中，假设BY(x，y)具有0至255的值，从而BY(x，y)/255具有0.0至1.0的值。通过参照上面的公式可以理解，如果目标像素包含在暗区域，则BY(x，y)具有接近0的值。在这种情况下，满足等式R″＝TempR，从而最大强度地应用第二3DLUT。另一方面，如果目标像素包含在亮区域，则BY(x，y)具有接近255的值。在这种情况下，满足等式R″＝R′，从而很难应用第二3DLUT。接下来，在步骤S1204中，确定目标像素是否是最后的像素。在目标像素是最后的像素的情况下，处理结束，而在目标像素不是最后的像素的情况下，在S1205中更新目标像素的位置。

通过使用上述配置，可以通过控制参数113来控制第二3DLUT的应用强度，从而可以实现图像中的局部校正量控制。

在颜色转换单元109中，将校正后的图像数据(R″，G″，B″)转换为作为墨颜色的CMYK分量，并且在对图像数据(R″，G″，B″)执行诸如误差扩散和抖动的伪灰度级处理之后，通过打印机引擎111将图像数据(R″，G″，B″)作为图像形成在打印介质上。

根据本发明的第一示例性实施例，如上所述，串联连接多个插值单元。通过插值单元中的一个(插值单元107)对整个图像执行统一插值处理，通过控制参数113控制其他插值单元(强度调整插值单元108)的插值强度。因此，能够使用非常简单的结构实现同时执行统一校正和局部校正的处理，该处理是传统技术的难题。

此外，根据本示例性实施例，通过使用多个3DLUT来执行各种类型的校正处理，因此可以最大限度地利用在说明书“背景技术”部分描述的3DLUT系统的优点。

此外，根据本示例性实施例，生成专门用于统一校正整个图像的第一3DLUT，以使用第一3DLUT更新被摄体的属性信息(例如，面部的亮度值)。然后，基于更新后的被摄体信息生成专门用于适当调整被摄体的第二3DLUT。通过采用上述配置，两个3DLUT的独立程度均得以提高，并且本示例性实施例具有如下优点，即能够非常简单地设置两个3DLUT的校正参数。

在本示例性实施例中，如上所述，控制参数(即，低频图像)不用来存储颜色分量，因此，当与还存储颜色分量的传统示例相比较时，本示例性实施例具有如下优点，即存储控制参数所需的存储器小。

在本示例性实施例中，专门采用针对整个图像的色彩平衡校正来描述第一3DLUT，但是，本示例性实施例不限于色彩平衡校正。例如，当整个图像曝光不足时，可以将水平校正处理并入第一3DLUT。在校正色彩平衡并增加整个图像的光亮度之后，可以生成进一步调整被摄体的光亮度的第二3DLUT。

因此，在整个图像曝光不足、且被摄体的面部也暗的情况下，同传统方式一样，可能产生仅使用一个3DLUT来试图调整被摄体的光亮度的任务。换句话说，如图13所示，可能产生如下情况，即亮度校正色调曲线在暗侧的倾斜过于陡峭从而导致诸如色调跳跃的图像缺陷。此外，如果试图将色调曲线半色调的对比度的倾斜维持在某一值或更大值，则存在如下问题，即如区域1302所指示的过度曝光区域增加。在这方面，如果本示例性实施例中所示的多个3DLUT在它们之间共享并执行亮度校正，则具有如下特殊优点，即不会产生上述过度曝光区域的增加。

以上描述了第一示例性实施例，但是，本发明不限于以上示例性实施例。例如，3DLUT的网格点的数量不限于729，可以多于或少于729。

为了简便起见，选定三维LUT来描述LUT，但是，可以对例如四个CMYK分量执行类似的处理，在这种情况下，生成四维LUT。为了简便起见，通过将亮度色差空间限定为YCbCr空间描述了本示例性实施例，但是，亮度色差空间可以是其他颜色空间，例如CIE Lab。为了简便起见，通过将插值单元的数量限定为两个描述了本示例性实施例，但是，必要时还可以串联连接多个插值单元。此外，在本示例性实施例中，假设插值单元使用安装在硬件200上的CPU来执行软件处理。然而，如果必要时将插值单元单独配置为硬件电路，则也可以实现本发明。在本示例性实施例中，将输入到插值单元、以及从插值单元输出的图像数据假设为一个图像的帧。然而，输入到插值单元、以及从插值单元输出的单位可以是例如像素或包括预定行数的带。

在第一示例性实施例中，通过使用这种使用应用了第一3DLUT的被摄体属性信息(ObjY′，ObjCb′，ObjCr′)将面部的平均亮度值ObjY′校正为目标亮度值TarY的色调曲线，来生成第二3DLUT。

然而，存在如下问题，即如果通过第一示例性实施例描述的强度调整插值单元108使用3DLUT来执行校正，则面部的平均亮度值不会正确地变成目标亮度值TarY。

假设例如ObjY′＝60，TarY＝140。如果在强度调整插值单元108中最大强度地应用第二3DLUT，则面部区域被正确地转换为目标亮度值TarY＝140。然而，如第一示例性实施例所述，强度调整插值单元108实际上通过控制参数113，即低频亮度图像(低分辨率图像)来控制其应用强度。因此，例如如果控制参数113指示的低频亮度图像(模糊图像)中的面部区域的平均亮度值为50，则根据强度调整插值单元108的控制公式，第二3DLUT的应用强度变为1.0-(50/255)＝0.8。也就是说，应用强度大约为80％。

换句话说，亮度值为60的ObjY′被校正到124。

在第二示例性实施例中，鉴于该问题，描述在通过控制参数控制第二3DLUT的应用强度的情况下、能够适当地将被摄体的光亮度控制为目标光亮度的图像处理装置。

图14例示了本示例性实施例中的处理的框图。与第一示例性实施例的不同之处在于控制参数生成单元1408生成的控制参数1413被输入到第二多维LUT生成单元1405中。图14中的图像读取单元101、图像分析单元102、第一多维LUT生成单元104、被摄体属性更新单元105、插值单元107、强度调整插值单元108、颜色转换单元109、伪灰度级处理单元110、打印机引擎111以及被摄体属性信息112与图1中类似。

图15例示了本示例性实施例中的第二多维LUT生成单元1405执行的处理的流程图。

在步骤S1501中，与第一示例性实施例类似，生成用于被摄体校正的色调曲线。

接下来，在步骤S1502中，计算控制参数1506，即输入到第二多维LUT生成单元1405中的低频亮度图像，上的被摄体区域的平均亮度FBY。可以基于包含在被摄体属性信息1505中的图像中的被摄体区域的坐标位置计算平均亮度。

接下来，在步骤S1503中，使用FBY值校正色调曲线。下面，使用图16描述校正步骤。

在图16中，色调曲线Tc[256]用于第一示例性实施例描述的被摄体校正。色调曲线本身可以将作为更新后的被摄体亮度值的ObjY′值校正为目标亮度值TarY。然而，如上所述，更有可能的是，由于与控制参数的关系，最终没有达到目标亮度值TarY。

在本示例性实施例中，根据以下公式计算TarY′值，并通过使用穿过TarY′值的色调曲线Tc′[256]生成第二3DLUT。

[数字表达式4]

(TarY′-ObjY′)×(1.0-FBY/255.0)+ObjY′＝TarY

基于以上公式，获得以下公式：

[数字表达式5]

$\mathrm{Tar}{Y}^{\′}=\frac{(\mathrm{TarY}-\mathrm{Obj}{Y}^{\′})}{(1.0-\frac{\mathrm{FBY}}{255})}+\mathrm{Obj}{Y}^{\′}$

基于以上公式，获得以下公式：

Tc′[k]＝Tc[k]×(TarY′/TarY)(k＝0至255)

以上公式表示：如果FBY＝0，则TarY′＝TarY；如果FBY＝128，则TarY′＝2×TarY-ObjY′。通过将Tc[k]乘以放大倍率(TarY′/TarY)，Tc′[k]能够生成图16所示的色调曲线1601。

下面，将更加具体地描述以上示例。假设ObjY′＝60，TarY＝140，FYB＝51。

在这种情况下，以上公式得到TarY′＝160。如果FYB＝51，则第二3DLUT的有效率为80％，因此，最终面部平均值变成(160-60)×0.8+60＝140，从而可以达到初始目标亮度值。

图15中的步骤S1504中的处理与第一示例性实施例中的处理类似。因此，不再重复详细处理。

根据本示例性实施例，如上所述，可以使用控制参数的被摄体区域的平均值来校正曾经生成的用于被摄体校正的色调曲线，从而可以使最终输出成为被假设为目标图像质量的结果。

在本示例性实施例中，与第一示例性实施例类似地，描述了计算用于被摄体校正的色调曲线Tc[256]、之后校正该色调曲线的方法，但是，本发明不限于该配置。例如，当计算色调曲线Tc时，可以预先计算值TarY′，并可以生成穿过点(ObjY′，TarY′)的色调曲线，作为色调曲线Tc。

在第一示例性实施例中，为了简便起见，假设输入到两个插值单元的两个3DLUT具有相同的729个网格点，且这两个3DLUT的各RGB分量具有8位精度，但是，本发明不限于该配置。

例如，存在如下情况，即如果各3DLUT的网格点的数量和位精度根据各3DLUT要执行的校正的类型或性质而不同，则系统作为总体运行更加有效。在第三示例性实施例中描述这种情况。

图17例示了本示例性实施例中的处理的框图。与第一示例性实施例的不同之处在于：由第一729点8位多维LUT生成单元1701生成的3DLUT包括8位分量和729个网格点，而由第二4096点10位多维LUT生成单元1702生成的3DLUT包括10位分量和4096个网格点。下面描述其原因。图17中的图像读取单元101、图像分析单元102、控制参数生成单元103、被摄体属性更新单元105、插值单元107、强度调整插值单元108、颜色转换单元109、伪灰度级处理单元110、打印机引擎111、被摄体属性信息112以及控制参数113与图1中相同。

第一3DLUT如上所述具有专门用于调整整个图像的性质，并因此通常不会引起RGB颜色空间中的非线性行为。例如，使用第一示例性实施例中描述的旋转矩阵的彩色底雾校正是线性变换，水平校正和饱和度增强不具有很大的非线性。用于这些转换的3DLUT的校正后的像素值能够维持相对于目标值的足够的精度，即使网格点的数量或位精度很低。

另一方面，第二3DLUT具有专门用于调整被摄体而非整个图像的性质，可以认为发生了例如如下图像缺陷，即诸如由于用于灰度级校正的陡峭色调曲线而导致的在暗侧的色调跳跃等的图像缺陷。因此，可以通过将各RGB分量存储为例如10位数据、而非8位数据来增强灰度级性质，从而可以抑制图像缺陷的发生。在被摄体是人物的情况下，可能需要诸如仅将例如肤色区域校正为期望的饱和度的非线性处理。在这种情况下，针对这种非线性处理，可以如本示例性实施例，通过提供第二3DLUT的多于729个网格点的4096个网格点以使网格点之间的距离更短，来执行高精度的校正处理。

其他处理类似于第一示例性实施例中的处理，因此不再重复其详细描述。

根据本示例性实施例，如上所述，在存储多个多维LUT的图像处理装置中，对于各多维LUT，网格点的数量或位精度根据各LUT要执行的处理的内容而不同。因此，能够减少例如用于存储LUT的总RAM容量。如果例如存储各RGB分量包括16位数据、网格点的数量为4096的两个LUT，则需要48KB的RAM。另一方面，如果采用各RGB分量包括8位数据、网格点的数量为729的一个LUT，则存储LUT的RAM容量为26KB，与上述情况相比，容量大约降低了46％。

当插值单元107和强度调整插值单元108作为硬件电路来实现时，通过对一个单元采用8位精度的插值处理、来替代对两个单元均采用16位精度的插值处理，可以得到如下效果，即缩小整个插值电路的规模并获得同等的输出结果。

为了简便起见，通过将插值单元的数量限定为2、并限定两个插值单元的网格点的数量和位精度，描述了本示例性实施例，但是本发明不限于该配置。任何能够实现本发明的效果的插值单元的数量、网格点的数量以及位数的组合均包含在本发明的范围内。

以上描述了第三示例性实施例。

为了简便起见，以包含RGB分量的3DLUT为例描述了以上示例性实施例，但是，本发明不限于该配置。例如，能够使用包含作为亮度色差分量的YCbCr值的3DLUT，来构造根据本发明的示例性实施例。此外，同样可以采用包含作为墨分量的CMYK值的四维LUT。此外，采用更高维LUT的情况，也包含在本发明的范围内。

为了简便起见，以四面体插值作为插值方法的示例描述了以上示例性实施例，但是，本发明不限于该方法。无论使用什么插值方法，例如公知的三次插值或三角柱插值，这些示例性实施例都包含在本发明的范围内。

为了简便起见，在以上示例性实施例中，假设被摄体是人物的面部区域、且其数量为1，但是本发明不限于该假设。例如，被摄体可以是除人物的面部以外的其他对象(例如动物或建筑)，且其数量可以不为1。如果存在多个这种被摄体，则可以通过限制为典型的一个或平均化所有被摄体的属性信息来执行处理。

为了简便起见，以遮光处理作为局部图像校正的典型示例描述了以上示例性实施例，但是，本发明不限于该配置。如果例如检测到蓝天区域、并将仅在色调和饱和度的期望方向上校正该区域的处理作为局部校正来考虑，则可以通过本发明的构成元素非常高效地实现该校正处理。

本发明的各方面还可以通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (10)

1.一种图像处理装置，该图像处理装置包括：

第一生成单元，其被配置为基于输入图像的特征量来生成用于校正所述输入图像的色彩平衡的第一多维查找表；

更新单元，其被配置为利用所述第一多维查找表来更新所述输入图像中的特定对象的属性信息；

第二生成单元，其被配置为基于由所述更新单元更新的所述属性信息来生成用于校正所述特定对象的亮度的第二多维查找表；

插值单元，其被配置为将所生成的第一多维查找表应用到所述输入图像；以及

强度调整插值单元，其被配置为将所生成的第二多维查找表应用到应用了所述第一多维查找表的所述输入图像，

所述图像处理装置还包括：

控制单元，其被配置为使用从所述输入图像生成的所述输入图像的低频图像，来控制所述强度调整插值单元对所述第二多维查找表的应用强度。

2.根据权利要求1所述的图像处理装置，其中，通过对低分辨率图像执行平滑滤波来生成所述输入图像的所述低频图像，其中，通过降低分辨率而将所述输入图像改变为所述低分辨率图像。

3.根据权利要求1所述的图像处理装置，其中，所述第一多维查找表和所述第二多维查找表在网格点的数量和表的位精度上不同。

4.根据权利要求1所述的图像处理装置，其中，所述特定对象是人物的面部。

5.根据权利要求1所述的图像处理装置，其中，所述第一多维查找表和所述第二多维查找表是具有RGB分量的三维查找表。

6.一种图像处理方法，该图像处理方法包括以下步骤：

第一生成步骤，基于输入图像的特征量来生成用于校正所述输入图像的色彩平衡的第一多维查找表；

更新步骤，利用所述第一多维查找表来更新所述输入图像中的特定对象的属性信息；

第二生成步骤，基于由所述更新步骤更新的所述属性信息来生成用于校正所述特定对象的亮度的第二多维查找表；

插值步骤，将所生成的第一多维查找表应用到所述输入图像；以及

强度调整插值步骤，将所生成的第二多维查找表应用到应用了所述第一多维查找表的所述输入图像，

所述图像处理方法还包括：

控制步骤，使用从所述输入图像生成的所述输入图像的低频图像，来控制所述强度调整插值步骤对所述第二多维查找表的应用强度。

7.根据权利要求6所述的图像处理方法，其中，通过对低分辨率图像执行平滑滤波来生成所述输入图像的所述低频图像，其中，通过降低分辨率而将所述输入图像改变为所述低分辨率图像。

8.根据权利要求6所述的图像处理方法，其中，所述第一多维查找表和所述第二多维查找表在网格点的数量和表的位精度上不同。

9.根据权利要求6所述的图像处理方法，其中，所述特定对象是人物的面部。

10.根据权利要求6所述的图像处理方法，其中，所述第一多维查找表和所述第二多维查找表是具有RGB分量的三维查找表。

Images