CN101646020A

CN101646020A - 图像处理装置

Info

Publication number: CN101646020A
Application number: CN200910173324A
Authority: CN
Inventors: 米山佳孝
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-08-01
Filing date: 2009-07-20
Publication date: 2010-02-10
Also published as: US20100026851A1; JP2010041174A; JP5132470B2; US8390693B2

Abstract

本发明提供一种图像处理装置。标准偏差计算电路(54、58)参照输入图像的平均亮度，计算形成输入图像的各像素的亮度的偏差σ1和σ2。补偿系数计算电路(56)，基于标准偏差计算电路(54)所计算出的偏差σ1，调整补偿系数K1。补偿系数计算电路(60)，基于标准偏差计算电路(58)所计算出的偏差σ2，调整补偿系数K2。Y补偿电路(72)参照如此调整后的补偿系数K1和K2，补偿形成输入图像的各像素的亮度。CPU通过判断输入图像的属性中是否含有人物的面部图像，来变更补偿系数K1和K2的调整特性。因此，可以实现考虑了输入图像的属性的适当的画质控制。

Description

图像处理装置

技术领域

[0001]

本发明涉及图像处理装置，尤其涉及通过判断输入图像的属性中是否含有给定的特征图像来补偿形成输入图像的多个像素的每一个的亮度的图像处理装置。

背景技术

[0002]

对比文件1中公开了这种装置的一个实例。根据该背景技术，基于摄像元件的输出的视频信号被向外部输出，并且被提供给被摄体提取电路。被摄体提取电路从视频信号中提取表示特定被摄体的特定被摄体信号。此外，控制电路基于所提取出的特定被摄体信号，对信号处理电路的设定、即图像信号的增益、黑电平、频率特性、色调等等的设定进行调整。据此，就可以对特定被摄体的部分和其它部分分别进行处理，从而实现对特定被摄体进行适当的画质控制。

[对比文件1]日本特开平5-110936号公报

[0003]

但是，在背景技术中，在对信号处理电路的设定进行调整的时候，并没有考虑视频信号的亮度，在适当的画质控制动作中存在着局限。

发明内容

[0004]

本发明的主要目的是要提供一种能够实现比考虑被摄景的属性更合适的画质控制的图像处理装置。

[0005]

本发明的图像处理装置(10：实施例中相应的附图标记。以下相同)包括：偏离度计算单元(54，58)，其参照输入图像的平均亮度(AVEblk，AVEfrm)，计算形成输入图像的多个像素的各个像素的亮度的偏离度(σ1，σ2)；亮度补偿单元(52，56，60，68，70，72)，其根据偏离度计算单元所计算出的偏离度，对形成输入图像的多个像素的各个像素的亮度进行补偿；以及第一变更单元(S35，S41，S49，S55，S37，S43，S51，S57)，其通过判断输入图像的属性中是否含有给定的特征图像，来变更亮度补偿单元的补偿特性。

[0006]

偏离度计算单元，参照输入图像的平均亮度来计算形成输入图像的多个像素的各个像素的亮度的偏离度。亮度补偿单元，基于偏离度计算单元所计算出的偏离度，对形成输入图像的多个像素的各个像素的亮度进行补偿。第一变更单元，通过判断输入图像的属性中是否含有给定的特征图像，来变更亮度补偿单元的补偿特性。

[0007]

也就是说，亮度补偿单元，基于形成输入图像的各像素的亮度的偏离度来补偿各像素的亮度。其中，亮度补偿单元的补偿特性是通过判断输入图像的属性中是否含有给定的特征图像来变更的。

[0008]

因此，当亮度的偏离是由与给定的特征图像不同的图像的轮廓所引起的时候，根据某种补偿特性来补偿亮度。与此相对，当亮度的偏离是由给定的特征图像的轮廓所引起的时候，根据其他的补偿特性来补偿亮度。于是，能够实现考虑了输入图像的属性的适当的画质控制。

[0009]

理想的是，第一变更单元为了进行判断处理而关注的属性中进一步包括输入图像的平均亮度。

[0010]

理想的是，该图像处理装置进一步包括：第一平均亮度计算单元(62，64)，其计算每个第一块的相当于输入图像的平均亮度的第一平均亮度(AVEblk)，该第一块具有第一尺寸；以及第二平均亮度计算单元(62，66)，其计算每个第二块的相当于输入图像的平均亮度的第二平均亮度(AVEfrm)，该第二块具有比第一尺寸更大的第二尺寸。偏离度计算单元还包括：第一偏离度计算单元(54)，其计算与相对于第一平均亮度的偏离度相当的第一偏离度(σ1)，以及第二偏离度计算单元(58)，其计算与相对于第二平均亮度的偏离度相当的第二偏离度(σ2)。

[0011]

更理想的是，亮度补偿单元包含：基于第一偏离度来调整第一补偿系数(K1)的第一系数调整单元(56)；基于第二偏离度来调整第二补偿系数(K2)的第二系数调整单元(60)；以及对第一平均亮度和第二平均亮度实施参照了第一补偿系数和第二补偿系数的运算处理的运算单元(68)，而该第一变更单元包括变更第一系数调整单元和第二系数调整单元的调整特性的调整特性变更单元(S35，S41，S49，S55)。

[0012]

更理想的是，运算单元包括：块偏离度计算单元(80)，其计算与第一平均亮度相对于第二平均亮度的偏离度相当的块偏离度(ΔAVE)；以及加权单元(78)，其参照第一补偿系数对块偏离度进行加权。

[0013]

在某种情形下，运算单元还可以进一步包括从给定值中减去加权单元的加权结果的减法运算单元(86)，调整特性变更单元包含：当输入图像具有给定的特征图像时，以增加加权单元的加权量的方式来变更第一系数调整单元的调整特性的第一调整特性变更单元(S41，S55)。

[0014]

理想的是，亮度补偿单元包含对偏移量进行加法运算的加法运算单元(90)，第一变更单元包含变更偏移量的大小的偏移量变更单元(S37，S43，S51，S57)。

[0015]

理想的是，亮度补偿单元包含：γ补偿量输出单元(52)，其输出与形成输入图像的多个像素的各个像素对应的γ补偿量；以及修正单元(70)，其参照运算单元的运算结果，修正由γ补偿量输出单元输出的γ补偿量。

[0016]

理想的是，该图像处理装置可以进一步包括：参照亮度补偿单元所补偿的亮度，对形成输入图像的多个像素的各个像素的颜色进行补偿的颜色补偿单元(76)；以及与第一变更单元的变更处理相关联，变更颜色补偿单元的补偿特性的第二变更单元(S39，S45，S53，S59)。

[0017]

本发明的图像处理方法，是由图像处理装置(10)执行的图像处理方法，包括：偏离度计算步骤(54，58)，参照输入图像的平均亮度(AVEblk，AVEfrm)，计算形成输入图像的多个像素的各个像素的亮度的偏离度(σ1，σ2)；亮度补偿步骤(52，56，60，68，70，72)，基于由偏离度计算步骤所计算出的偏离度，补偿形成输入图像的多个像素的各个像素的亮度；以及变更步骤(S35，S41，S49，S55，S37，S43，S51，S57)，通过判断输入图像的属性中是否含有给定的特征图像，来变更亮度补偿步骤的补偿特性。

[0018]

根据本发明，当亮度的偏差是由与给定的特征图像不同的图像的轮廓所引起的时候，根据某种补偿特性来补偿亮度。与此相对，当亮度的偏差是由给定的特征图像的轮廓所引起的时候，根据其他的补偿特性来补偿亮度。于是，能够实现考虑了输入图像的属性的适当的画质控制。

[0019]

本发明的上述目的、其他目的、特征和优点，通过参照附图所进行的对下列实施例的详细描述中，变得更加清晰。

附图说明

[图1]是表示本发明的一个实施例的构成的框图。

[图2]是表示摄像面上的评价区域的分配状态的一例的示意图。

[图3](A)是表示具有大尺寸的面部检测框的一例的示意图，(B)是表示具有中尺寸的面部检测框的一例的示意图，(C)是表示具有小尺寸的面部检测框的一例的示意图。

[图4]是表示适用于图1实施例的面部框信息表的一例的示意图。

[图5]是表示面部检测动作的一部分的示意图。

[图6](A)是表示通过摄像装置捕捉到的被摄景的一例的示意图，(B)是表示通过摄像装置捕捉到的被摄景的另一例的示意图。

[图7]是表示适用于图1实施例的对比度补偿电路的构成的一例的框图。

[图8]是表示适用于图7实施例的块亮度计算电路的动作的一部分的示意图。

[图9]是表示适用于图7实施例的线性内插电路的动作的一部分的示意图。

[图10]是表示与亮度的标准偏差相应的补偿系数的变化的一例的图表。

[图11]是表示与补偿Y数据相应的UV增益的变化的一例的图表。

[图12](A)是表示Y数据的补偿特性的一例的图表，(B)是表示UV数据的补偿特性的一例的图表。

[图13]是表示适用于图7实施例的修正增益计算电路的构成的一例的框图。

[图14]是表示适用于图1实施例的CPU的动作的一部分的流程图。

[图15]是表示适用于图1实施例的CPU的动作的另一部分的流程图。

[图16]是表示适用于图1实施例的CPU的动作的其他部分的流程图。

[图17]是表示适用于图1实施例的CPU的动作的又一部分的流程图。

[图18]是表示适用于图1实施例的CPU的动作的再一部分的流程图。

[图19]是表示适用于图1实施例的CPU的动作的另一部分的流程图。

图中：10...数码照相机，16...摄像装置，20...照相机处理电路，22...对比度补偿电路，26...SDRAM，32...AE/AWB评价电路，34...AF评价电路，36...CPU。

具体实施方式

[0020]

参照图1，本实施例的数码照相机10包括：由驱动器18a和18b分别驱动的聚焦透镜12和光圈单元14。经过这些部件的被摄景的光学图像，被照射到摄像装置16的摄像面，然后对其实施光电转换。由此，生成表示被摄景图像的电荷。

[0021]

此外，摄像面由未图示的原色滤光片覆盖，在配置于摄像面上的多个像素的每一个上形成的电荷，具有R(红)、G(绿)和B(蓝)中的任意一种的颜色信息。

[0022]

在接入电源的时候，CPU 36为了在摄像任务下执行直通图像处理，命令驱动器18c重复执行曝光动作和间隔读出动作。驱动器18c响应于图中未表示的SG(信号发生器)周期性产生的垂直同步信号Vsync，曝光摄像面，且以光栅扫描的形态读出在摄像面上生成的电荷的一部分。从摄像装置16中周期性地输出基于所读出的电荷的原始图像数据。

[0023]

照相机处理电路20对从摄像装置16输出的原始图像数据实施白平衡调整、颜色分离、YUV转换等等的处理，生成YUV形式的图像数据。所生成的图像数据的对比度由对比度补偿电路22进行补偿，具有经补偿的对比度的图像数据通过存储器控制电路24而被写入到SDRAM 26中。LCD驱动器28通过存储器控制电路24，重复读出存储在SDRAM 26中的图像数据，基于所读出的图像数据驱动LCD显示器30。结果，在显示器画面中显示被摄景的实时运动图像(直通图像)。

[0024]

参照图2，在摄像面的中央配置有评价区域EVA。评价区域EVA在水平方向和垂直方向的各个方向上被分割为16份，形成具有256个分割区域的评价区域EVA。

[0025]

AE/AWB评价电路32在每次产生垂直同步信号Vsync时，对从照相机处理电路20输出的Y数据中属于评价区域EVA的Y数据进行积分。这样，响应于垂直同步信号Vsync，从AE/AWB评价电路32输出256个积分值、也就是256个AE/AWB评价值。此外，AF评价电路34在每次产生垂直同步信号Vsync时，对属于同一评价区域EVA的Y数据的高频成分进行积分。这样，响应于垂直同步信号Vsync，从AF评价电路34中输出256个积分值、也就是256个AF评价值。稍后描述基于这种AE/AWB评价值以及AF评价值的处理动作。

[0026]

CPU 36在并行于摄像任务的面部检测任务下，从SDRAM 26中存储的各帧图像数据中检测人物的面部图像。为了实现这种面部检测任务，准备如图3(A)-3(C)所示的不同尺寸的3个面部检测框，首先，图3(A)所示的“大尺寸”的面部检测框被设定在图2所示的评价区域EVA的左上、也就是面部检测开始位置处。另外，用于识别是否检测面部图像的面部检测标记FLG被设定为“0”。

[0027]

当产生垂直同步信号Vsync时，对在SDRAM 26中存储的当前帧的图像数据中、与面部检测框相对应的部分图像数据，实施用于面部识别的对照处理。具体的，参照在闪存44中准备的人物的“眼睛”、“鼻子”、“嘴巴”等等的字典数据，判断面部检测框内的部分图像是否与人物的面部图像相应。如果判断为所关注的部分图像与面部图像相应，则将面部检测标记FLG设定为“1”，且将当前时刻的面部检测框的位置以及尺寸所描述的面部框信息记录在图4所示的面部框信息的面部框信息表TBL中。

[0028]

此外，面部检测标记FLG在每次产生垂直同步信号Vsync时返回到“0”，面部框信息表TBL也在每次产生垂直同步信号Vsync时被清空。

[0029]

面部检测框，以图5所示的要领沿光栅方向以给定量一步步移动，在评价区域EVA上的多个位置，执行上述的对照处理。而且，每当成功完成了面部识别，与所识别的面部相对应的面部框信息就被记录在面部框信息表TBL中。

[0030]

“大尺寸”的面部检测框到达评价区域EVA的右下、也就是面部检测结束位置时，面部检测框的尺寸被更新为“中尺寸”，并在面部检测开始位置重新配置具有更新后的尺寸的面部检测框。与前述的相同，面部检测框在评价区域EVA上沿光栅方向移动，与对照处理所识别的面部相对应的面部框信息被记录在面部框信息表TBL中。若“中尺寸”的面部检测框到达面部检测结束位置，则接着在面部检测开始位置配置“小尺寸”的面部检测框，执行与前述相同的移动处理和对照处理。如此所得的面部框信息也被记录在面部框信息表TBL中。

[0031]

在拍摄图6(A)所示的被摄景的情况下，面部框信息不会被记录在面部框信息表TBL中，面部检测标记FLG保持“0”。另一方面，在摄像图6(B)所示的被摄景的情况下，粗线所示的框的位置以及尺寸被记录在面部框信息表TBL中，面部检测标记FLG被更新为“1”。

[0032]

与这种面部检测任务并行，CPU 36在摄像任务之后执行基于AE/AWB评价电路32的输出的直通图像用的AE/AWB处理。在这里，如果在面部框信息表TBL中至少设定了1个面部框，则覆盖该面部框的一部分的分割区域将被定义为提取区域。对此，如果在面部框信息表TBL中一个面部框都没有设定，那么评价区域EVA全体都被定义为提取区域。

[0033]

直通图像用AE/AWB处理，是基于属于所定义的提取区域的AE/AWB评价值来执行的，由此可以计算出合适的EV值以及合适的白平衡调整增益。在驱动器18b和18c中分别设定所计算出的合适的EV值进行定义的光圈量和曝光时间。此外，在照相机处理电路20中设定所计算出的合适的白平衡调整增益。结果，可以适当地调整显示在LCD显示器30上的直通图像的明亮度和白平衡。

[0034]

若键输入装置38中设置的快门按钮38s被按下一半，则CPU 36停止面部检测任务，在摄像任务下，执行基于AW/AWB评价电路32的输出的记录用AE/AWB处理以及基于AF评价电路34的输出的AF处理。

[0035]

记录用AE/AWB处理，还可以基于属于所定义的提取区域的AE/AWB评价值来执行，由此可以计算出最佳EV值以及最佳白平衡调整增益。与前述的相同，在驱动器18b和18c中分别设定对所计算出的最佳EV值进行定义的光圈量和曝光时间，在照相机处理电路20中设定所计算出的最佳白平衡调整增益。结果，可以在LCD显示器30中显示具有最佳明亮度和白平衡的直通图像。

[0036]

AF处理也一样，基于属于所定义的提取区域的AF评价值来执行。聚焦透镜12通过驱动器18a沿光轴方向移动，通过所谓的梯度处理而被配置到焦点上。

[0037]

AF处理一旦完成，CPU 36就在摄像任务下实施对比度调整处理。虽然在下面的段落中会详细的说明，但对比度调整的方式，根据被摄景图像中是否存在人物的面部图像(面部检测标记FLG是否为“1”)，以及被摄景图像的平均亮度是否超过基准值REF1，是不相同的。结果，从LCD显示器30中输出具有与被摄景的属性相应的对比度的直通图像。

[0038]

当完全按下快门按钮38s时，在摄像任务下执行记录处理。CPU 40命令驱动器18c一次一次地执行正式曝光动作以及全部像素的读出。驱动器18c响应于垂直同步信号Vsync的产生，对摄像面实施正式曝光，以光栅扫描状态读出在电荷读出区域上生成的全部电荷。结果，表示被摄景的高分辨率的原始图像数据从摄像装置16中输出。

[0039]

对输出的原始图像数据实施与前述的相同的处理，结果，YUV形式的高分辨率的图像数据被保存在SDRAM 26中。这样，I/F 40通过存储器控制电路24，读出存储在SDRAM 26中的高分辨率的图像数据，以文件的形式将读出的图像数据记录在记录媒体42中。另外，在高分辨率的图像数据被存储在SDRAM 26中的时刻，重新开始直通图像处理以及面部检测任务。

[0040]

对比度补偿电路22按照图7所示来构成。形成从照相机处理电路20输出的图像数据的Y数据被提供给Y补偿电路72、γ补偿量计算电路52、标准偏差计算电路54和58以及块亮度计算电路62。此外，形成从照相机处理电路20输出的图像数据的U数据和V数据被提供给UV补偿电路76。

[0041]

块亮度计算电路62，以图8所示的要领，将摄像面分割为64个亮度检测块，按照每个分割出的亮度检测块计算Y数据的平均值。线性内插电路64以当前时刻输入的像素、也就是当前像素TPX为中心，假设一个具有与亮度检测块同样尺寸的块TBK，并对周围的亮度检测块计算出的平均值实施线性内插(参照图9)。结果，假设块TBK的亮度的平均值作为块平均亮度AVEblk被输出。此外，整体亮度计算电路66对块亮度计算电路62所计算出的64个平均值再次进行平均，并将如此所得的平均值作为AVEfrm输出。

[0042]

线性内插电路64所计算出的块平均亮度AVEblk被提供给标准偏差计算电路54和修正增益计算电路68。此外，整体平均亮度计算电路66所计算出的整体平均亮度AVEfrm被提供给标准偏差计算电路54和修正增益计算电路68。

[0043]

标准偏差计算电路54，将与当前像素TPX的亮度的块平均亮度AVEblk相关的偏离度，作为标准偏差σ1来计算。补偿系数计算电路56，基于标准偏差计算电路54所提供的标准偏差σ1，计算或调整补偿系数K1。此外，标准偏差计算电路56，将与当前像素TPX的亮度的整体平均亮度AVEfrm相关的偏离度，作为标准偏差σ2来计算。补偿系数计算电路60，基于标准偏差计算电路58所提供的标准偏差σ2，计算或调整补偿系数K2。

[0044]

在这里，补偿系数计算电路56的补偿系数K1的计算特性(调整特性)，以及补偿系数计算电路60的补偿系数K2的计算特性(调整特性)，通过考虑被摄景图像中是否存在人物的面部图像以及被摄景图像的平均亮度是否超过基准值REF1，由CPU36在设定A-D之间进行变更。

[0045]

当被摄景中不存在人物的面部且整体平均亮度AVEfrm超过基准值REF1的时候，CPU 36选择设定A；当被摄景中存在人物的面部且整体平均亮度AVEfrm超过基准值REF1的时候，CPU 36选择设定B。另外，当被摄景中存在人物的面部且整体平均亮度AVEfrm在基准值REF1以下的时候，CPU 36选择设定C；当被摄景中不存在人物的面部且整体平均亮度AVEfrm在基准值REF1以下的时候，CPU 36选择设定D。

[0046]

参照图10，补偿系数K1的计算特性，与设定A相对应时表示沿着直线K1_A的特性，与设定B相对应时表示沿着直线K1_B的特性，与设定C相对应时表示沿着直线K1_C的特性，与设定D相对应时表示沿着直线K1_D的特性。此外，补偿系数K2的计算特性，与设定A相对应时表示沿着直线K2_A的特性，与设定B相对应时表示沿着直线K2_B的特性，与设定C相对应时表示沿着直线K2_C的特性，与设定D相对应时表示沿着直线K2_D的特性。

[0047]

修正增益计算电路68参照这样计算出的补偿系数K1和K2，对块平均亮度AVEblk和整体平均亮度AVEfrm实施按照算式1的运算。

[算式1]

PIX_G＝2.0-ΔAVE*K1-((AVEfrm*K2)，PIX_UDR，PIX_OVR)+GAIN_OFST

PIX_G：修正增益

2.0：给定值

ΔAVE：AVEblk-AVEfrm

GAIN_OFST：偏移量

PIX_UDR：常数

PIX_OVR：超过PIX_UDR的常数

[0048]

根据算式1，从给定值2.0中减去块平均亮度AVEblk和整体平均亮度AVEfrm之差乘以(加权)补偿系数K1所得的乘积与整体平均亮度AVEfrm乘以(加权)补偿系数K2所得的乘积(其中，PIX_UDR作为下限值，PIX_OVR作为上限值)，再将减法所得的值与偏移量GAIN_OFST相加。

[0049]

此外，还考虑被摄景图像中是否存在人物的面部图像以及被摄景图像的平均亮度是否超过基准值REF1，由CPU 36在设定A-D之间变更偏移量GAIN_OFST的值。偏移量GAIN_OFST在对应于设定A时表示为“-0.125”，在对应于设定B时表示为“-0.0625”，在对应于设定C时表示为“0”，以及在对应于设定D时表示为“+0.0625”。

[0050]

将这样计算出的修正增益PIX_G提供给γ补偿量计算电路70。另一方面，γ补偿量计算电路52参照给定的γ补偿曲线计算与当前像素TPX的Y数据值相对应的γ补偿量，并将计算出的γ补偿量提供给γ补偿量修正电路70。γ补偿量修正电路70将修正增益计算电路68所提供的修正增益PIX_G与γ补偿量计算电路52所提供的γ补偿量相乘，并将如此所得的修正γ补偿量提供给Y补偿电路72。Y补偿电路72参照所提供的修正γ补偿量对当前像素TPX的Y数据进行补偿，然后将补偿Y数据向存储器控制电路24(参照图1)输出，同时提供给UV补偿量计算电路74。

[0051]

UV补偿量计算电路74基于所提供的补偿Y数据，计算UV补偿量。UV补偿电路76参照计算出的UV补偿量，补偿当前像素TPX的UV数据，并向存储器控制电路24(参照图1)输出补偿UV数据。

[0052]

同样，考虑被摄景图像中是否存在人物的面部图像以及被摄景图像的平均亮度是否超过基准值REF1，由CPU 36在设定A-D之间变更UV补偿量的计算特性。参照图11，UV补偿量的计算特性，与设定A相对应表示沿着直线UV_A的特性，与设定B相对应时表示沿着直线UV_B的特性，与设定C相对应时表示沿着直线UV_C的特性，与设定D相对应时表示沿着直线UV_D的特性。

[0053]

结果，Y补偿电路72的输入输出特性如图12(A)所示地被定义，UV补偿电路76的输入输出特性如图12(B)所示地被定义。也就是说，Y数据，在对应于设定A时以曲线L_A1所示的要领来补偿，在对应于设定B时以曲线L_B1所示的要领来补偿，在对应于设定C时按曲线L_C1所示的要领来补偿，以及对应于设定D时按曲线L_D1所示的要领来补偿。此外，UV数据，在对应于设定A时按曲线L_A2所示的要领来补偿，在对应于设定B时按曲线L_B2所示的要领来补偿，在对应于设定C时按曲线L_C2所示的要领来补偿，以及对应于设定D时按曲线L_D2所示的要领来补偿。

[0054]

在拍摄如图6(A)所示的那样的风景画的时候，选择设定A或D。沿着如图10所示的直线K1_A和K1_D来调整补偿系数K1，同样沿着如图10所示的直线K2_A和K2_D来调整补偿系数K2。因此，建筑物BLD1和桥BRG1的轮廓部分，也就是说与天空的边界部分的亮度受到抑制，而建筑物BLD1和桥BRG1的中央部分的亮度增加。此外，沿着如图11所示的直线UV_A以及UV_D来调整UV补偿量。这样，低亮度部分的色度被限制得较低，而高亮度部分的色度增加。由此，较好地补偿了风景画的对比度。

[0055]

与此相对，在拍摄如图6(B)所示的那样的人物画的时候，选择设定B或C。沿着如图10所示的直线K1_B和K1_C来调整补偿系数K1，同样沿着如图10所示的直线K2_B和K2_C来调整补偿系数K2。因此，更大地抑制了人物H1的面部的轮廓部分的亮度，而人物H1的面部的中央部分的亮度增加。此外，沿着如图11所示的直线UV_B以及UV_C来调整UV补偿量。这样，中等亮度部分的色度增加，高亮度部分以及低亮度部分的色度被抑制。由此，较好地补偿了人物画的对比度。

[0056]

修正增益计算电路68如图13所示那样来构成。补偿系数K1和K2分别提供给乘法器73的一个输入端以及乘法器82的一个输入端。加法器80从块平均亮度AVEblk中减去整体平均亮度AVEfrm，将如此所得的减法值ΔAVE提供给乘法器78的另一个输入端。整体平均亮度AVEfrm还被提供给乘法器82的另一输入端。

[0057]

乘法器78将差值ΔAVE与补偿系数K1相乘，并将乘积提供给加法器86的一个输入端。乘法器82将整体平均亮度AVEfrm与补偿系数K2相乘，并将乘积输入到限幅器84中。限幅器84在所输入的乘积处于常数PIX_UDR以上且位于PIX_OVR以下的时候，将该乘积提供到加法器88的一个输入端。限幅器84还在所输入的乘积低于常数PIX_UDR的时候，将常数PIX_UDR提供给加法器88的一个输入端，而在所输入的乘积高于常数PIX_OVR的时候，将常数PIX_OVR提供给加法器88的一个输入端。

[0058]

将给定值“2.0”提供给加法器86的另一输入端。加法器86从给定值“2.0”中减去乘法器78的输出，并将减法值提供给加法器88的另一输入端。加法器88从该减法值中减去限幅器84的输出，并将所得的减法值提供给加法器90的一个输入端。加法器90将提供给其一个输入端的减法值与提供给其另一输入端的偏移量GAIN_OFST相加，其加法值作为修正增益PIX_G输出。

[0059]

CPU 36并行地执行多个任务，这些任务包括如图14-17所示的摄像任务以及如图18-19所示的面部检测任务。此外，与这些任务相对应的控制程序存储在闪存44中。

[0060]

参照图14，在步骤S1执行初始化处理。结果，将系数K1和K2、偏移量GAIN_OFST和UV补偿量的计算特性被调整为适合于设定A。在步骤S3执行直通图像处理，接着在步骤S5启动面部检测任务。通过步骤S3的处理，表示被摄景的直通图像从LCD显示器38输出。而且，通过步骤S5的处理，开始图18-19所示的面部检测任务的处理。

[0061]

在步骤S7，判断快门按钮38s是否被按下一半，如果判断结果是“否”，那么重复步骤S9的直通图像用AE/AWB处理。结果，适度地调整直通图像的明亮度和白平衡。当快门按钮38s被按下一半时，在步骤S11停止面部检测任务，在步骤S13执行记录用AE/AWB处理，在步骤S15执行AF处理，然后在步骤S17执行对比度调整处理。

[0062]

通过步骤S11的处理，停止了面部检测任务的处理，通过步骤S13的处理，直通图像的明亮度被调整到最合适的值。此外，通过步骤S15的处理，聚焦透镜12被配置到焦点上，通过步骤S17的处理，直通图像的对比度被调整到适合于被摄景的属性的状态。

[0063]

在步骤S19，判断快门按钮38s是否被完全按下，在步骤S21判断快门按钮38s的动作是否已被解除。如果步骤S19的判断结果为“是”，那么经过步骤S23的记录处理之后前进到步骤S25，如果步骤S21的判断结果为“是”，那么前进到步骤S25。在步骤S25执行与步骤S3相同的处理，在步骤S27执行与步骤S5相同的处理。步骤S27的处理完成之后，返回到步骤S5。

[0064]

图14所示的步骤S17的对比度调整处理依据图16-17所示的子程序。

[0065]首先，在步骤S31判断平均值AVEfrm是否超过基准值REF1，在步骤S33以及S47的每一个中判断标记FLG是否为“0”。此外，通过面部检测任务，当从被摄景图像中检测到人物的面部图像时，就将标记FLG从“0”更新为“1”。

[0066]

当在步骤S31和S33中分别判断为“是”时，执行步骤S35-S39的处理。当在步骤S31判断为“是”，而在步骤S33判断为“否”时，执行步骤S41-S45的处理。当在步骤S31判断为“否”，而在步骤S47判断为“是”时，执行步骤S49-S53的处理。当在步骤S31和S47中分别判断为“否”时，执行步骤S55-S59的处理。当完成步骤S39、S45、S53以及S59的处理后，返回到上一层的子程序。

[0067]

在步骤S35，以适用于设定A的方式调整系数K1和K2的计算特性，在步骤S37，以适用于设定A的方式调整偏移量GAIN_OFST，然后在步骤S39，以适用于设定A的方式调整UV补偿量的计算特性。在步骤S41，以适用于设定B的方式调整系数K1和K2的计算特征，在步骤S43，以适用于设定B的方式调整偏移量GAIN_OFST，然后在步骤S45，以适用于设定B的方式调整UV补偿量的计算特性。

[0068]

在步骤S49，以适用于设定D的方式调整系数K1和K2的计算特性，在步骤S51，以适用于设定D的方式调整偏移量GAIN_OFST，然后在步骤S53，以适用于设定D的方式调整UV补偿量的计算特性。在步骤S55，以适用于设定C的方式调整系数K1和K2的计算特性，在步骤S57，以适用于设定C的方式调整偏移量GAIN_OFST，然后在步骤S59，以适用于设定C的方式调整UV补偿量的计算特性。

[0069]

参照图18-19，在步骤S61将标记FLG设定为“0”，接着在步骤S63，在评价区域EVA的左上的面部检测开始位置上配置“大尺寸”的面部检测区域。

[0070]在步骤S65，判断是否产生了垂直同步信号Vsync，如果为“是”，则在步骤S67清空面部框信息表TBL。在步骤S69执行用于面部识别的对照处理，在步骤S71判断是否发现了人物的面部。当通过对照处理而判断出属于面部检测框内的图像与人物的面部图像相对应时，就在步骤S71判断为“是”，经过步骤S73-S75的处理前进到步骤S77。与此相对，当通过对照处理，判断出属于面部检测框内的图像与人物的面部图像不相同时，就在步骤S71判断为“否”，并前进到步骤S77。

[0071]

在步骤S73，制作描述了当前时刻的面部检测框的位置以及尺寸的面部框信息，将制作出的面部框信息写入面部框信息表TBL中。在步骤S75，为了表示发现了面部图像这一事实，将标记FLG设定为“1”。

[0072]

在步骤S77，判断面部检测框是否到达了评价区域EVA的右下的面部检测结束位置。此外，在步骤S79，判断面部检测框的尺寸是否为小尺寸。如果步骤S77为“否”、则前进到步骤S81，使面部检测框沿光栅方向仅移动给定量。完成了移动处理之后，返回到步骤S69。

[0073]

如果在步骤S77为“是”，而在步骤S79为“否”，则在步骤S83中更新面部检测框的尺寸。如果面部检测尺寸的当前时刻的尺寸是大尺寸，那么更新后的尺寸就变成中尺寸，如果面部检测尺寸的当前时刻的尺寸是中尺寸，那么更新后的尺寸就变成小尺寸。在步骤S85在面部检测开始位置配置面部检测框，完成配置处理之后，返回到步骤S69。而且，如果步骤S77和S79的每一个都为“是”的话，就可以认为当前帧上的面部检测处理已经结束，返回到步骤S61，以用于下一帧的面部检测处理。

[0074]

从以上的说明中可以知晓，标准偏差计算电路54和58，参照输入图像的平均亮度，计算形成输入图像的多个像素的每一个的亮度的偏差σ1和σ2(偏离度)。补偿系数计算电路56，基于标准偏差计算电路54计算出的偏差σ1，调整补偿系数K1。补偿系数计算电路60，基于标准偏差计算电路58计算出的偏差σ2，调整补偿系数K2。

[0075]

Y补偿电路72，参照如此调整的补偿系数K1和K2，补偿形成输入图像的多个像素的每一个的亮度。CPU 36，通过判断输入图像的属性中是否含有人物的面部图像(给定的特征图像)，来变更补偿系数K1和K2的调整特性(S35，S41，S49，S55)。

[0076]

也就是说，Y补偿电路72的补偿处理所参考的补偿系数K1和K2，是基于形成输入图像的各像素的亮度的偏离度来进行调整的。但是，补偿系数K1和K2的调整特性，是通过判断输入图像的属性中是否含有人物的面部图像来变更的。

[0077]

因此，当亮度的偏差是由与人物的面部图像不同的图像的轮廓所引起时，通过某个调整特性来调整补偿系数K1。与此相对，当亮度的偏差是由人物的面部图像的轮廓所引起时，通过其他的调整特性来调整补偿系数K1和K2。这样，就可以实现考虑了输入图像的属性的适当的画质控制。

[0078]

进一步，在该实施例中，虽然假设了拍摄静止图像的静像照相机，但本发明也能够适用于摄像机。

[0079]

进一步，在该实施例中，虽然假设了将人物的面部图像作为给定的特征图像，但给定的特征图像并不限制与此。

Claims

1、一种图像处理装置，其中包括：

偏离度计算单元，其参照输入图像的平均亮度，计算形成所述输入图像的多个像素的每一个的亮度的偏离度；

亮度补偿单元，其基于所述偏离度计算单元所计算出的偏离度，补偿形成所述输入图像的多个像素的每一个的亮度；以及

第一变更单元，其通过判断上述输入图像的属性中是否含有给定的特征图像，来变更所述亮度补偿单元的补偿特性。

2、如权利要求1所述的图像处理装置，其中，

所述第一变更单元为了进行判断处理而关注的属性中进一步包括所述输入图像的平均亮度。

3、如权利要求1或2所述的图像处理装置，其中，该装置还包括：

第一平均亮度计算单元，其计算每个第一块的相当于所述输入图像的平均亮度的第一平均亮度，该第一块具有第一尺寸；以及

第二平均亮度计算单元，其计算每个第二块的相当于所述输入图像的平均亮度的第二平均亮度，该第二块具有比所述第一尺寸更大的第二尺寸，

所述偏离度计算单元包括：第一偏离度计算单元，其计算与相对于所述第一平均亮度的偏离度相当的第一偏离度；以及第二偏离度计算单元，其计算与相对于所述第二平均亮度的偏离度相当的第二偏离度。

4、如权利要求3所述的图像处理装置，其中，

所述亮度补偿单元包括：基于所述第一偏离度来调整第一补偿系数的第一系数调整单元；基于所述第二偏离度来调整第二补偿系数的第二系数调整单元；以及对所述第一平均亮度和所述第二平均亮度实施参照了所述第一补偿系数和所述第二补偿系数的运算处理的运算单元，

上述第一变更单元包括变更所述第一系数调整单元和所述第二系数调整单元的调整特性的调整特性变更单元。

5、如权利要求4所述的图像处理装置，其中，所述运算单元包括：

块偏离度计算单元，其计算与所述第一平均亮度相对于所述第二平均亮度的偏离度相当的块偏离度；以及

加权单元，其参照所述第一补偿系数，对所述块偏离度进行加权。

6、如权利要求5所述的图像处理装置，其中，

所述运算单元进一步包括：从给定值中减去所述加权单元的加权结果的减法运算单元，

所述调整特性变更单元包括：当所述输入图像具有所述给定的特征图像时，以增加所述加权单元的加权量的方式来变更所述第一系数调整单元的调整特性的第一调整特性变更单元。

7、如权利要求4-6中任一项所述的图像处理装置，其中，

所述亮度补偿单元包括对偏移量进行加法运算的加法运算单元，

所述第一变更单元包括变更所述偏移量的大小的偏移量变更单元。

8、如权利要求4-7中任一项所述的图像处理装置，其中，所述亮度补偿单元进一步包括：

γ补偿量输出单元，其输出与形成所述输入图像的多个像素的每一个对应的γ补偿量；以及

修正单元，其参照所述运算单元的运算结果，修正由所述γ补偿量输出单元输出的γ补偿量。

9、如权利要求1-8中任一项所述的图像处理装置，其中，该装置还包括：

颜色补偿单元，其参照所述亮度补偿单元补偿后的亮度，对形成所述输入图像的多个像素的每种颜色进行补偿；以及

第二变更单元，与所述第一变更单元的变更处理相关联，变更所述颜色补偿单元的补偿特性。

10、一种图像处理方法，是由图像处理装置来执行的图像处理方法，其中，该图像处理方法包括：

偏离度计算步骤，参照输入图像的平均亮度，计算形成所述输入图像的多个像素的每一个的亮度的偏离度；

亮度补偿步骤，基于由所述偏离度计算步骤计算出的偏离度，补偿形成所述输入图像的多个像素的每一个的亮度；以及

变更步骤，通过判断所述输入图像的属性中是否含有给定的特征图像，来变更所述亮度补偿步骤的补偿特性。