CN102104724A - 图像处理设备和图像处理方法 - Google Patents

Abstract

提供一种使得能够进行适当的对比度调整的图像处理设备和图像处理方法。该图像处理设备包括：区域检测部件，用于在作为要拍摄的对象的人面部中检测预定的第一亮度水平检测区域和第二亮度水平检测区域；亮度量计算部件，用于计算第一亮度水平检测区域的亮度水平和特定基准亮度水平之间的差的绝对值作为高亮度量，并且计算第二亮度水平检测区域的亮度水平和基准亮度水平之间的差的绝对值作为低亮度量；以及判断部件，用于判断高亮度量和低亮度量之间的差或比是否落在特定范围内。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种适用于拍摄人面部图像的图像处理设备和图像处理方法等。

背景技术

具有自动曝光(AE)控制功能的摄像设备已被广泛使用。在拍摄被摄体时，具有这类AE控制功能的摄像设备可以基于被摄体亮度自动设置适当的光圈、快门速度和感光度。在自动曝光控制中，该摄像设备不仅可以使用通过均匀地测量整个图像帧的亮度所获得的亮度信息，而且还可以使用通过将图像帧分成多个区域并测量每一区域的亮度所获得的区域明暗对比度信息。例如，当拍摄者拍摄背对太阳站着的人时，即处于逆光场景时，该摄像设备可能产生人曝光不足的图像。在这种情况下，基于与整个图像帧中各区域有关的亮度信息，该摄像设备可以判断拍摄是否包含这类逆光场景，并且设置适当曝光水平以使作为主被摄体的人变亮。

然而，如果摄像设备调节基于光圈、快门速度和感光度的曝光设置以将人的亮度增加至适当水平，则背景可能过曝光。为了防止这种情况，摄像设备通过调节基于光圈、快门速度和感光度的曝光设置获得适当的背景亮度水平，并且通过自动使闪光灯发光将曝光不足的人的亮度增加至适当水平。因此，摄像设备可以同时拍摄适当亮度的背景和主被摄体。已知在拍摄具有明显对比度的场景中这样使用闪光灯发光是有效的。此外，当在低亮度场景下降低快门速度时，可能引起照相机抖动或被摄体移动。众所周知，作为防止这种情况的有效措施，摄像设备根据快门速度自动使闪光灯发光。

需要自动闪光灯发光的另一状况是在人面部部分包括暗阴影时。例如，在摄像设备白天在户外拍摄人时，日光从正上方或斜方向上照射面部的前额或鼻梁，这可能导致在眼、下脸颊和口等周围形成阴影。另外，当摄像设备在室内在射灯或聚光灯等光分布具有一定程度的方向性的光源下拍摄人时，人的面部可能包括阴影。

在自动曝光控制中，即使摄像设备调节基于光圈、快门和感光度的曝光设置以对人面部设置适当的亮度水平，如果场景包括这类明显的对比度，摄像设备也难以生成适当的图像。此外，如果摄像设备对人面部的亮度进行平均并计算亮度以自动判断是否使闪光灯发光，则亮区域和暗区域抵消。在这种情况下，由于摄像设备识别到面部已具有适当亮度水平，因而摄像设备可能不会自动使闪光灯发光。

考虑到上述几点，日本特开2009-63674说明了一种技术，当摄像设备检测到包括低亮度区域的人面部时，摄像设备将该区域识别为阴影，并自动使闪光灯发光。

然而，尽管日本特开2009-63674所述的该传统技术实现了其预设目标，但是，在判断被识别为阴影的低亮度区域实际上是否是由外部光所形成的阴影上，该摄像设备还不够精确。因此，摄像设备常常执行不必要的闪光灯发光。例如，该摄像设备可能将太阳镜、眼镜或帽子等穿戴物或者人的胡子、头发或深色皮肤错误地判断为阴影。结果，摄像设备可能不能执行适当的对比度调整。

这不仅仅是使闪光灯发光的摄像设备存在的问题。图像处理设备具有类似问题。例如，当图像处理设备获取图像并判断为图像中的被摄体包括阴影区域时，图像处理设备增加图像中阴影区域的亮度水平以将图像中的被摄体的对比度设置成适当水平。如果图像处理设备将太阳镜、眼镜或帽子等穿戴物、胡子或头发错误地判断为阴影，则图像处理设备不能适当地调整被摄体的对比度。

发明内容

本发明涉及一种可以适当调整对比度的图像处理设备和图像处理方法等。

根据本发明的一方面，一种图像处理设备，包括：区域检测部件，用于在作为要拍摄的对象的人面部中检测预定的第一亮度水平检测区域和第二亮度水平检测区域；亮度量计算部件，用于计算所述第一亮度水平检测区域的亮度水平和特定基准亮度水平之间的差的绝对值作为高亮度量，并且计算所述第二亮度水平检测区域的亮度水平和所述特定基准亮度水平之间的差的绝对值作为低亮度量；以及判断部件，用于判断在所述高亮度量和所述低亮度量之间是否存在对称性。

根据本发明的另一方面，一种图像处理方法，包括：在作为要拍摄的对象的人面部中检测预定的第一亮度水平检测区域和第二亮度水平检测区域；计算所述第一亮度水平检测区域的亮度水平和特定基准亮度水平之间的差的绝对值作为高亮度量，并且计算所述第二亮度水平检测区域的亮度水平和所述特定基准亮度水平之间的差的绝对值作为低亮度量；以及判断在所述高亮度量和所述低亮度量之间是否存在对称性。

根据本发明的另一方面，一种计算机可读非易失性存储介质存储使计算机执行图像处理的程序。该程序包括：在作为要拍摄的对象的人面部中检测预定的第一亮度水平检测区域和第二亮度水平检测区域；计算所述第一亮度水平检测区域的亮度水平和特定基准亮度水平之间的差的绝对值作为高亮度量，并且计算所述第二亮度水平检测区域的亮度水平和所述特定基准亮度水平之间的差的绝对值作为低亮度量；以及判断在所述高亮度量和所述低亮度量之间是否存在对称性。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。

附图说明

包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明典型实施例的图像处理设备的结构的框图。

图2A示出没有对比度的人面部，其中该人面部的各部分被外部光均匀照射；并且图2B示出存在高对比度的人面部，其中该人面部的各部分被外部光不均匀地照射。

图3A示出额发下垂并覆盖前额区域的人面部；图3B示出具有胡子的人面部；图3C示出微笑露出白色牙齿的人面部；图3D示出具有深色皮肤的人面部。

图4A示出戴有帽子的人面部；图4B示出戴有太阳镜的人面部。

图5示出面部信息。

图6示出直方图获取区域。

图7A示出前额区域和鼻脸颊区域；并且图7B示出鼻脸颊口区域。

图8A示出没有任何倾斜的人面部；图8B示出倾斜的人面部；图8C示出更大倾斜的人面部；图8D示出倾斜90度的人面部。

图9示出导致错误判断的定时控制。

图10示出根据本发明典型实施例的定时控制。

图11A～11D分别是前额区域直方图、鼻脸颊区域直方图、鼻脸颊口区域直方图和整个面部区域直方图。

图12示出伽玛表的例子。

图13示出相互叠加两个不同直方图的直方图。

图14是示出面部对比度检测处理的流程图。

图15是示出照相机的操作的流程图。

具体实施方式

下面参考附图详细说明本发明的各种典型实施例、特征和方面。

图1是示出根据本发明典型实施例的图像处理设备(照相机)的结构的框图。

根据本典型实施例的照相机100包括控制电路1、图像识别电路2、图像处理电路3、图像传感器4和定时生成器(TG)5。图像识别电路2识别通过图像传感器4拍摄的图像中的特定部分(例如，人面部)。图像识别电路2包括面部检测块。图像处理电路3对通过图像传感器4拍摄的图像执行各种类型的图像处理。TG 5向图像传感器4输出垂直同步信号VD等驱动信号。

控制电路1控制图像识别电路2、图像处理电路3和TG 5。另外，控制电路1控制快门、光圈和闪光灯等(未示出)。照相机100可以包括内置闪光灯。可选地，照相机100可以安装闪光灯外部装置。只读存储器(ROM)6是非易失性存储介质，并且控制电路1、图像识别电路2和图像处理电路3读取存储在ROM 6中的程序，并且基于所读取的程序执行处理。

接着说明图像识别电路2和图像处理电路3。

图2A和2B示出通过外部光相互不同地照射的两个人面部。更具体地，图2A示出没有任何对比度的人面部，其中该人面部的各部分被外部光均匀照射。在这种情况下，照相机100可以平均地测量人面部301的整体亮度，基于测光操作的结果确定光圈、快门速度和感光度，并且在不使用闪光灯发光的情况下拍摄适当图像。

另一方面，图2B示出存在高对比度的人面部，其中该人面部的各部分被外部光不均匀照射。例如，当照相机拍摄白天站在户外阳光下的人或室内站在照明灯正下方的人时，可能出现这一状况。在这种情况下，尽管外部光强烈照射人的前额区域311，然而，由于外部光未充分照射眼周围的凹陷区域313和口下巴区域315，因而在这些区域313和315形成阴影。另外，尽管外部光强烈照射脸颊区域321和鼻梁区域331，但是在下脸颊区域323和鼻下方的区域333容易形成阴影。

由于具有这类高对比度的人面部不能获得良好印象的肖像，因而希望降低这类高对比度。用于获得对比度降低的图像的一种方法是允许包括在照相机中的闪光灯单元发光照射阴影区域。这样，照相机可以拍摄阴影减轻的图像。另一方法是允许图像处理电路3执行图像处理以增加人面部的阴影区域的亮度水平。当人面部包括阴影时，前额、脸颊和鼻梁等凸起部分趋于具有高亮度水平。因此，为了获得对比度降低的图像，图像处理电路3可以执行图像处理以降低这些高亮度区域的亮度水平。

如上所述，希望照相机拍摄图像以使得图像的人面部具有降低了的对比度。为此，重要的是照相机可以精确地检测通过外部光自然形成的人面部的对比度。当外部光照射人面部时，根据凸起部分和凹陷部分的面部不规则性形成亮区域和暗区域。凸起部分的例子包括前额、脸颊和鼻子，并且凹陷部分的例子包括眼区域、下脸颊区域、鼻下方区域和口区域。通过测量凸起部分的高亮度水平和凹陷区域的低亮度水平，照相机可以检测到人面部的对比度。然而，如下所述，面部特征和/或面部或头上的穿戴物可能妨碍对亮度水平的精确检测。

图3A～3D示出作为妨碍检测人面部的对比度的因素的面部特征。如图3A所示，图像可能包括额发351下垂并覆盖前额区域的人。在这种情况下，难以从前额区域提取高亮度水平。如图3B所示，图像可能包括具有胡子353的人。在这种情况下，照相机容易将胡子353错误地判断为阴影。如图3C所示，图像可能包括微笑露出白色牙齿355的人。在这种情况下，由于白色牙齿355趋于具有高亮度，因而照相机常常错误地将口区域判断为高亮度水平检测区域。如图3D所示，图像可能包括具有深肤色皮肤357的人。在这种情况下，不管面部的凹陷部分如何，整个面部的亮度低，因此照相机可能容易错误地检测阴影。

图4A和4B示出具有作为妨碍检测人面部的对比度的因素的穿戴物的人面部。如图4A所示，图像可能包括戴有帽子371的人。在这种情况下，难以从前额区域提取高亮度水平。如图4B所示，图像可能包括戴有太阳镜373的人。在这种情况下，照相机容易将暗的太阳镜错误地判断为阴影。如果图像包括戴有高反射率的太阳镜或者戴有具有白框的太阳镜或眼镜的人，则照相机可能错误地判断为：外部光强烈照射面部，并且眼区域具有高亮度。

因此，面部特征和/或面部或头上的穿戴物可能妨碍对亮度水平的精确检测。根据本典型实施例，图像识别电路2的面部检测块创建面部信息以执行面部检测。通过使用面部检测的结果，图像处理电路3获取亮度分布。

如图5所示，面部信息包括表示面部中心的坐标401的信息、表示面部大小403和405的信息以及分别表示右眼和左眼的坐标407和409的信息。此外，如图6所示，对于面部检测，面部检测块在人面部中设置10个直方图获取区域。这10个直方图获取区域包括属于前额区域的三个直方图获取区域413、415和417以及属于鼻脸颊区域的三个直方图获取区域423、425和427。另外，这10个直方图获取区域包括属于口区域的三个直方图获取区域433、435和437以及与整个面部相对应的直方图获取区域441。

前额区域位于在向头顶的方向上与人眼的位置相距特定距离的位置。鼻脸颊区域位于在向下巴的方向上与眼的位置相距特定距离的位置。口区域位于在向下巴的方向上与眼的位置相距特定距离的位置。可以通过使用面部大小403和405之间的特定比来设置该特定距离。这样，该特定距离与人的面部大小相协调。通过这样设置前额区域、鼻脸颊区域和口区域，即使仅已知眼的位置，也可以识别面部的其它区域。

如果面部信息包括可以识别鼻、口和脸颊等的多个信息，则可以使用该信息。在任一情况下，在设置直方图获取区域时，设置相互不重叠的六个直方图获取区域，即鼻脸颊区域中的直方图获取区域423、425和427和口区域中的直方图获取区域433、435和437。

为了获取亮度分布，图像处理电路3组合上述10个直方图获取区域中的多个区域，并且获取亮度直方图。例如，如图7A所示，作为区域检测单元，图像处理电路3组合前额区域中的三个直方图获取区域413、415和417以形成前额区域411(第一亮度水平检测区域)，并获取与前额区域411有关的直方图信息。类似地，作为区域检测单元，图像处理电路3组合鼻脸颊区域中的三个直方图获取区域423、425和427以形成鼻脸颊区域421(第一亮度水平检测区域)，并获取与鼻脸颊区域421有关的直方图信息。

类似地，如图7B所示，作为区域检测单元，图像处理电路3组合鼻脸颊区域中的三个直方图获取区域423、425和427以及口区域中的三个直方图获取区域433、435和437以形成鼻脸颊口区域431(第二亮度水平检测区域)。图像处理电路3获取与鼻脸颊口区域431有关的直方图信息。

这样，使用面部检测块以通过组合多个亮度分布信息获取直方图信息。通过预先将人面部分成小的直方图获取区域来设置面部检测块，并且图像处理电路3通过组合多个区域获取亮度分布。因此，即使在面部具有复杂形状时，图像处理电路3也可以获取与面部有关的亮度分布信息。使用前额区域411和鼻脸颊区域421的直方图检测面部中的高亮度区域，并且使用鼻脸颊口区域431的直方图检测面部中的低亮度区域，下面将对此进行详细说明。

优选从获取用以检测高亮度区域的直方图的区域(第一亮度水平检测区域)中排除口区域和位于相对于眼的位置的特定范围内的区域。另外，优选从获取用以检测低亮度区域的直方图的区域(第二亮度水平检测区域)中排除前额区域和位于相对于眼的位置的特定范围内的区域。

由于如上所述将人面部分成小的直方图获取区域，因而图像处理电路3可以处理具有复杂形状的人面部。即使在图像包括如图8B～8D所示的水平倾斜或斜方向倾斜的人面部时，这类分割仍然有效。例如，在作为被摄体的人倾斜头时，或者在拍摄者改变他/她的照相机保持位置时，引起这类倾斜。

图8A示出没有倾斜的人面部，图8B示出倾斜的人面部，图8C示出更加倾斜的人面部，并且图8D示出倾斜90度的人面部。在图8A～8D所示的这些情况中的任一情况下，可以设置9个直方图获取区域413、415、417、423、425、427、433、435和437，并且可以识别人面部的前额、鼻、脸颊和口。

为了适应人面部的角度的变化，图像处理电路3可以相应地改变直方图获取区域的位置和形状。可选地，图像处理电路3可以转动图像本身，从而使得面部倾斜角度始终约0度。如果图像处理电路3可以转换图像以使得通过转动图像使面部始终处于正立位置，则图像处理电路3不必根据人面部的角度的变化来改变直方图获取区域。另外，直方图获取区域中的每一个均可具有例如菱形形状或曲线形状。

在获取亮度直方图时，图像处理电路3分析亮度直方图并且检测面部对比度。如上所述，戴在面部的穿戴物和面部特征等(参见图3和4)可能导致面部对比度的检测中的错误判断。另外，面部对比度的检测中的定时控制也可能导致错误判断。接着说明导致错误判断的定时控制。图9示出导致错误判断的定时控制。

当TG 5从控制电路1接收到控制信号时，TG 5以特定周期向图像传感器4输出作为驱动信号的垂直同步信号VD。在处理531中，图像传感器4基于垂直同步信号VD等进行被摄体的曝光。曝光数据在垂直同步信号VD的下一周期变成可读的，因此，在处理533中，图像处理电路3读取曝光数据并生成图像，即执行显影处理。在垂直同步信号VD的下一周期，即在处理537中，图像识别电路2的面部检测块对原始曝光数据(图像(1))执行面部检测处理。

面部检测处理的处理时间可能变化，并且超过垂直同步信号VD的单个周期。因此，在处理539中，如果图像处理电路3试图在紧接着生成图像(1)之后获取图像(1)的亮度直方图，则可能出现下面的情况：在处理537中，面部检测块在该时点没有完成使用图像(1)的面部检测。

在这种情况下，在处理539中，图像处理电路3没有获取图像(1)的亮度直方图，而是获取在图像(1)之前所获取的图像pre(1)的亮度直方图。如果被摄体和拍摄者的移动小，则所得到的图像不会受到太大的不利影响。然而，被摄体和拍摄者的移动越大，则图像(1)和Pre(1)之间的差异越大。因此，图像处理电路3更加容易错误地判断面部的对比度。因此，为了防止这类定时控制中由数据不一致引起的错误判断，希望获取亮度直方图的图像与执行面部检测的图像相同。

在本典型实施例中，照相机100执行下面的定时控制。图10示出根据本发明的本典型实施例的时序控制。

如上所述，在处理501中，图像传感器4基于垂直同步信号VD等对被摄体进行曝光。由于曝光数据在垂直同步信号VD的下一周期变成可读的，因而在处理503中，图像处理电路3读取曝光数据并生成图像。在垂直同步信号VD的下一周期，即在处理505中，图像识别电路2的面部检测块对原始曝光数据(图像(1))执行面部检测处理。

接着在处理507中，图像处理电路3在面部检测块完成面部检测之后，而不是在紧接着图像处理电路3生成图像(1)之后获取亮度直方图。因此，获取亮度直方图的图像与执行面部检测的图像(在该例子中为图像(1))相同。接着，在获取亮度直方图时，在处理509中，图像处理电路3分析亮度直方图并检测面部对比度。下面详细说明面部对比度检测。

假定面部对比度检测不需要对被摄体和环境的变化敏感，则图像处理电路3每垂直同步信号VD的八个周期，执行各分析处理509、511和513，如图10所示。可以考虑垂直同步信号VD的频率和装配的产品所需的响应速度等来任意改变分析定时。

为了降低对面部对比度检测的错误判断，图像处理电路3可以在多个周期性获得的面部检测结果连续一致时判断面部对比度。例如，图像处理电路3可以使用垂直同步信号VD的24个周期，以针对每个分析处理，在八个周期中获取三个一致的分析结果，并且确定面部对比度。

因此，通过在人面部中设置多个直方图获取区域并执行适当定时控制，图像处理电路3可以获取人面部的前额、鼻脸颊、鼻脸颊口和整个面部区域的直方图。

图11A～11D示出每一个区域的亮度直方图的例子。在各亮度直方图中，水平轴表示亮度值(8位)，并且垂直轴表示像素数量。图11A中的前额区域直方图是基于图7A中的前额区域411所获取的亮度直方图。图11B中的鼻脸颊区域直方图是基于图7A中的鼻脸颊区域421所获取的亮度直方图。图11C中的鼻脸颊口区域直方图是基于图7B中的鼻脸颊口区域431所获取的亮度直方图。图11D中的整个面部区域直方图是基于与图6中的整个面部相对应的直方图获取区域441所获取的亮度直方图。

在本典型实施例中，图像处理电路3分析这些亮度直方图以检测面部对比度。

图7A所示的人面部没有额发或者未戴遮挡前额的帽子。因此，在基于这类面部所获取的任一亮度直方图中，在高亮度侧趋于可见较高的像素分布。例如，如果黑色额发下垂在前额上，则图11A中的前额区域直方图可能不会示出高亮度侧的高像素分布。此外，如果外部光微弱照射面部，则图11A和11B中的直方图都不会示出高亮度侧的高像素分布。为了确定高亮度侧的亮度分布，图像处理电路3计算作为与总分布像素的特定百分比相对应的亮度值的亮度值LiY。

如图11A中的前额区域直方图所示，图像处理电路3计算分别与高亮度侧的四个特定百分比，即总分布像素的70％、85％、90％和95％相对应的亮度值LiY(n)617、615、613和611。更具体地，为了计算亮度值LiY(4)617，图像处理电路3从低亮度侧开始对像素进行计数。当像素数量达到总分布像素的70％时，图像处理电路3将与该像素数量相对应的亮度值确定为亮度值LiY(4)617。

类似地，为了计算亮度值LiY(3)615，图像处理电路3从低亮度侧开始对像素进行计数。当像素数量达到总分布像素的85％时，图像处理电路3将与该像素数量相对应的亮度值确定为亮度值LiY(3)615。类似地，为了计算亮度值LiY(2)613，图像处理电路3从低亮度侧开始对像素进行计数。当像素数量达到总分布像素的90％时，图像处理电路3将与该像素数量相对应的亮度值确定为亮度值LiY(2)613。类似地，为了计算亮度值LiY(1)611，图像处理电路3从低亮度侧开始对像素进行计数。当像素数量达到总分布像素的95％时，图像处理电路3将与该像素数量相对应的亮度值确定为亮度值LiY(1)611。

类似地，如图11B中的鼻脸颊区域直方图所示，图像处理电路3计算分别与高亮度侧的四个特定百分比，即总分布像素的70％、85％、90％和95％相对应的亮度值LiY(n)627、625、623和621。亮度值LiY(4)627、LiY(3)625、LiY(2)623和LiY(1)621分别对应于总分布像素的70％、85％、90％和95％。

如果如图3A所示，额发下垂并覆盖前额，则前额具有低亮度值LiY。因此，例如，图像处理电路3将基于前额区域所计算出的亮度值LiY(n)与基于鼻脸颊区域所计算出的亮度值LiY(n)进行比较，并且使用较高亮度值LiY(n)作为人面部的高亮度值。可选地，图像处理电路3可以将基于前额区域所计算出的亮度值LiY(1)～LiY(4)的平均值与基于鼻脸颊区域所计算出的亮度值LiY(1)～LiY(4)的平均值进行比较，并且使用较高亮度值LiY(1)～LiY(4)作为人面部的高亮度值。

尽管图11C中的鼻脸颊口区域直方图包括低亮度侧的高像素分布，但是该直方图还包括高亮度侧的一定程度的高像素分布。低亮度侧的这类高像素分布可归因于鼻梁和脸颊的阴影。高亮度侧的像素分布归因于脸颊区域所包括的直方图获取区域423、425和427。

由于假定面部检测块不能检测到脸颊凸起部分的顶端这一状况，因而使用脸颊区域所包括的直方图获取区域423、425和427。由于使用鼻脸颊口区域直方图来检测人面部所包括的低亮度阴影，因而，即使在高亮度侧可见一定程度的高分布，图像处理电路3也可以毫无问题地检测到低亮度阴影。另外，在本典型实施例中，图像处理电路3使用鼻脸颊口区域直方图计算低亮度侧的亮度值ShY，其中，该亮度值ShY是与总分布像素的特定百分比相对应的亮度值。

例如，图像处理电路3计算分别与低亮度侧的四个特定百分比，即总分布像素的5％、10％、15％和30％相对应的亮度值ShY(n)631、633、635和637。更具体地，为了计算亮度值ShY(1)631，图像处理电路3从低亮度侧开始对像素进行计数。当像素数量达到总分布像素的5％时，图像处理电路3将与该像素数量相对应的亮度值确定为亮度值ShY(1)631。类似地，为了计算亮度值ShY(2)633，图像处理电路3从低亮度侧开始对像素进行计数。当像素数量达到总分布像素的10％时，图像处理电路3将与该像素数量相对应的亮度值确定为亮度值ShY(2)633。类似地，为了计算亮度值ShY(3)635，图像处理电路3从低亮度侧开始对像素进行计数。当像素数量达到总分布像素的15％时，图像处理电路3将与该像素数量相对应的亮度值确定为亮度值ShY(3)635。类似地，为了计算亮度值ShY(4)637，图像处理电路3从低亮度侧开始对像素进行计数。当像素数量达到总分布像素的30％时，图像处理电路3将与该像素数量相对应的亮度值确定为亮度值ShY(4)637。

图11D中的整个面部区域直方图反映前额、眼、脸颊、鼻和口等主要面部部分的亮度值。图像处理电路3使用整个面部区域直方图计算平均面部亮度FaY。例如，图像处理电路3计算与总分布像素的50％相对应的平均面部亮度值FaY 641。

这样，图像处理电路3分析亮度直方图以计算与总分布像素的特定百分比相对应的亮度值，即高亮度值LiY(n)、低亮度值ShY(n)和平均面部亮度值FaY。然后，图像处理电路3使用例如图12所示的伽玛表并执行去伽玛处理。

在本典型实施例中，当执行图像生成的显影处理时，图像处理电路3使用图12中的伽玛表并执行伽玛处理，这意味着通过亮度直方图所获取的亮度值经过了伽玛处理。因此，作为用以帮助后面要执行的面部对比度确定的预处理，图像处理电路3执行去伽玛处理以获得具有线性特征的Y值。在图12中，基于8位范围绘制去伽玛处理之前的Y值(GammaY)，并且基于10位范围绘制去伽玛处理之后的Y值(deGammaY)。如果图像处理电路3在执行显影处理时不执行伽玛处理，则不需要去伽玛处理。

然后，图像处理电路3计算去伽玛处理之后的各高亮度值LiY(n)与其各自的AE目标亮度水平之间的差值，该差值表示与AE目标亮度水平的偏差。另外，图像处理电路3计算去伽玛处理之后的各低亮度值ShY(n)与其各自的AE目标亮度水平之间的差值，该差值表示与AE目标亮度水平的偏差。例如，作为亮度量计算单元，图像处理电路3使用下面的公式1和2计算高亮度量ΔLi(n)和低亮度量ΔSh(n)作为该差值。在去伽玛处理所使用的10位范围内表示公式1和2中所包括的基准亮度水平ReY，并且作为人面部的目标亮度水平，可以任意设置该基准亮度水平ReY。

ΔLi(n)＝log₂(LiY(n)/ReY)        (公式1)

ΔSh(n)＝log₂(ShY(n)/ReY)        (公式2)

另外，图像处理电路3计算高亮度值LiY(n)和低亮度值ShY(n)之间的差值。例如，图像处理电路3使用下面的公式3计算亮度量差ΔLiSh(n)作为该差值。

ΔLiSh(n)＝log₂(LiY(n)/ShY(n))   (公式3)

接着，图像处理电路3使用这些高亮度量ΔLi(n)、低亮度量ΔSh(n)和亮度量差ΔLiSh(n)来判断面部是否包括对比度。更具体地，如下所述，首先，图像处理电路3判断多个种类的高亮度量ΔLi(n)中的每一个是否都超过了特定值。这样，图像处理电路3可以判断外部光是否强烈照射人面部的前额、鼻和脸颊。

ΔLi(1)＞ChLiLv1

ΔLi(2)＞ChLiLv2

ΔLi(3)＞ChLiLv3

ΔLi(4)＞ChLiLv4

ChLiLv1是最高值，并且值以ChLiLv2、ChLiLv3和ChLiLv4的顺序减小。在本典型实施例中，图像处理电路3判断高亮度量ΔLi(1)～ΔLi(4)中的每一个是否都满足上述其各自的公式。然而，可选地，图像处理电路3可以仅判断高亮度量ΔLi(1)～ΔLi(4)中的一些是否满足上述其各自的公式。

另外，如下所述，图像处理电路3判断多个种类的低亮度量ΔSh(n)中的每一个是否都在特定值以下。这样，图像处理电路3可以判断人面部是否包括下脸颊和口周围的阴影。

ΔSh(1)＜ChShLv1

ΔSh(2)＜ChShLv2

ΔSh(3)＜ChShLv3

ΔSh(4)＜ChShLv4

ChShLv1是最低值，并且值以ChShLv2、ChShLv3和ChShLv4的顺序增大。在本典型实施例中，图像处理电路3判断低亮度量ΔSh(1)～ΔSh(4)中的每一个是否都满足上述其各自的公式。然而，可选地，图像处理电路3可以仅判断低亮度量ΔSh(1)～ΔSh(4)中的一些是否满足上述其各自的公式。

另外，如下所述，图像处理电路3判断多个种类的亮度量差ΔLiSh(n)中的每一个是否都超过了特定值。这样，图像处理电路3可以判断人面部是否包括强对比度。

ΔLiSh(1)＞ChLiShLv1

ΔLiSh(2)＞ChLiShLv2

ΔLiSh(3)＞ChLiShLv3

ΔLiSh(4)＞ChLiShLv4

根据最高亮度量ΔLi(1)的值与最低亮度量ΔSh(1)的值之间的比获取亮度量差ΔLiSh(1)。在与任一其它高亮度量ΔLi(n)的值和任一其它低亮度量ΔSh(n)的值之间的差相比时，最高亮度量ΔLi(1)的值和最低亮度量ΔSh(1)的值之间的差最大。以亮度量差ΔLiSh(2)～ΔLiSh(4)的顺序，高亮度量ΔLi(n)的值和低亮度量ΔSh(n)的值之间的差变小，并且ChLiShLv1～ChLiShLv4的值因而减小。在本典型实施例中，图像处理电路3判断亮度量差ΔLiSh(1)～ΔLiSh(4)中的每一个是否都满足上述其各自的公式。然而，可选地，图像处理电路3可以仅判断亮度量差ΔLiSh(1)～ΔLiSh(4)中的一些是否满足上述其各自的公式。

基于上述处理，图像处理电路3可以判断是否存在面部对比度。然而，还存在这些处理单独不能精确判断面部对比度是否是由外部光自然形成的情况。例如，如图3B所示，由于胡子353引起如阴影所导致的一样的低亮度水平，因而图像处理电路3可能不能执行面部对比度的精确判断。

在本典型实施例中，图像处理电路3判断高亮度量ΔLi(n)和低亮度量ΔSh(n)之间的亮度水平差是否存在对称性。图13是在相同轴上叠加图11A中的前额区域直方图和图11C中的鼻脸颊口区域直方图的直方图。如上所述，在前额区域直方图中，在高亮度侧可见高分布，并且在鼻脸颊口区域直方图中，在低亮度侧可见高分布。图13的直方图还包括图11A中的高亮度值LiY(2)613、图11C中的低亮度值ShY(2)633和图11D中的平均面部亮度值FaY 641。

此外，在图13的例子中，如果使用平均面部亮度值FaY 641作为基准，则高亮度量ΔLi 661的绝对值和低亮度量ΔSh 663的绝对值约相互相等。换句话说，在高亮度量ΔLi 661和低亮度量ΔSh 663之间存在一定程度的对称性。由外部光自然形成的面部对比度表现出这一特征。另一方面，由图3B中的胡子353所形成的面部对比度不会表现出这一特征。当将基于局部黑色胡子353计算出的低亮度量与基于正常光计算出的高亮度量比较时，低亮度量ΔSh的绝对值明显高于高亮度量ΔLi的绝对值。也就是说，不能找到对称性。

基于这一特征，在本典型实施例中，图像处理电路3计算平均面部亮度和目标面部亮度之间的亮度水平差ΔFa。通过使用亮度水平差ΔFa作为基准，图像处理电路3计算高亮度量和低亮度量之间的差ΔSy(n)。例如，图像处理电路3基于公式4计算亮度水平差ΔFa，并基于公式5计算亮度量差ΔSy(n)。

ΔFa＝log₂(FaY/ReY)              (公式4)

ΔSy(n)＝ΔLi(n)+ΔSh(n)-ΔFa    (公式5)

如下所述，作为判断单元，图像处理电路3判断计算出的亮度量差ΔSy(n)中的每一个是否都落在特定范围内。这样，图像处理电路3可以判断在高亮度量和低亮度量之间是否存在对称性。图像处理电路3使用对数相加来计算亮度量差ΔSy(n)。因此，实际上，图像处理电路3使用平均面部亮度作为基准来判断高亮度量和低亮度量之间的比是否落在特定范围内。

ChSy1Low＜ΔSy(1)＜ChSy1Hi

ChSy2Low＜ΔSy(2)＜ChSy2Hi

ChSy3Low＜ΔSy(3)＜ChSy3Hi

ChSy4Low＜ΔSy(4)＜ChSy4Hi

对于最高亮度量ΔLi(1)和最低亮度量ΔSh(1)使用亮度量差ΔSy(1)。在与任一其它高亮度量ΔLi(n)的值和任一其它低亮度量ΔSh(n)的值之间的差比较时，最高亮度量ΔLi(1)的值和最低亮度量ΔSh(1)的值之间的差最大。以亮度量差ΔSy(2)～ΔSy(4)的顺序，高亮度量ΔLi(n)的值和低亮度量ΔSh(n)的值之间的差变小。在本典型实施例中，图像处理电路3判断亮度量差ΔSy(1)～ΔSy(4)中的每一个是否都满足上述其各自的公式。然而，可选地，图像处理电路3可以仅判断亮度量差ΔSy(1)～ΔSy(4)中的一些是否满足上述其各自的公式。

上述判断方法基于计算出了平均面部亮度值FaY作为精确的基准这一前提。然而，实际上，黑色眼和黑色眉毛等影响平均面部亮度值FaY。因此，存在使用平均面部亮度值FaY作为基准不合适的情况。在这种情况下，优选图像处理电路3判断亮度量差ΔSy(n)中两个之间的差是否落在特定范围内，如下所述。

ChSy12Low＜(ΔSy(1)-ΔSy(2))＜ChSy12Hi

ChSy23Low＜(ΔSy(2)-ΔSy(3))＜ChSy23Hi

ChSy34Low＜(ΔSy(3)-ΔSy(4))＜ChSy34Hi

ChSy41Low＜(ΔSy(4)-ΔSy(1))＜ChSy41Hi

这样，可以降低作为基准所使用的亮度水平差ΔFa的变化。当对称性被破坏时，图像处理电路3判断为值在上述条件中的任何一个的特定范围的外部。

在计算高亮度量ΔLi(n)和低亮度量ΔSh(n)时，图像处理电路3可以使用平均面部亮度值FaY作为基准亮度水平，而不使用作为人面部的目标亮度水平的基准亮度水平ReY。在这种情况下，不需要亮度水平差ΔFa来计算亮度量差ΔSy(n)。

另外，在本典型实施例中，图像处理电路3使用对数来判断高亮度量ΔLiY(n)和低亮度量ΔShY(n)之间的每一个差ΔSy(n)是否都落在特定范围内。然而，用于评价这类对称的方法不局限于该方法。例如，图像处理电路3可以计算平均面部亮度值FaY和高亮度值LiY(n)之间的差、平均面部亮度值FaY和低亮度值ShY(n)之间的差、以及这些差之间的比。这样，通过判断该比是否落在特定范围内，图像处理电路3可以判断在高亮度值LiY(n)和低亮度值ShY(n)之间是否存在对称性。

图14示出这类面部对比度检测的处理。图14是示出图像处理电路3所执行的面部对比度检测处理的流程图。

在步骤S211，图像处理电路3从通过对被摄体的曝光所生成的图像获取面部检测结果。接着，在步骤S213，图像处理电路3判断该图像是否包括面部。如果图像包括面部(步骤S213为“是”)，则处理进入步骤S215。在步骤S215，图像处理电路3使用该面部检测结果来从通过对被摄体的相同曝光所生成的图像获取直方图。如果图像没有包括面部(步骤S213为“否”)，则在步骤S263，图像处理电路3判断为不存在面部对比度。

在获取亮度直方图之后，通过使用各个亮度直方图，在亮度直方图的至少一个点处，在步骤S221，图像处理电路3计算高亮度量ΔLi(n)，在步骤S223，图像处理电路3计算低亮度量ΔSh(n)，并且在步骤S225，图像处理电路3计算亮度量差ΔLiSh(n)。这些处理包括获取上述高亮度值LiY(n)、低亮度值ShY(n)和平均面部亮度值FaY以及去伽玛处理。

接着，在步骤S231，图像处理电路3判断高亮度量ΔLi(n)是大于特定值还是在该特定值以下。在步骤S233，图像处理电路3判断低亮度量ΔSh(n)是在特定值以上还是小于该特定值。在步骤S235，图像处理电路3判断亮度量差ΔLiSh(n)是大于特定值还是在该特定值以下。换句话说，图像处理电路3判断要处理的人面部是否包括对比度。

如果图像处理电路3判断为高亮度条件、低亮度条件和高低亮度差条件中的任一条件未满足(步骤S231、S233或S235为“否”)，则处理进入步骤S263。在步骤S263，图像处理电路3判断为不存在面部对比度。更具体地，如果图像处理电路3没有检测到高亮度区域或低亮度区域或者没有检测到这些区域之间的特定亮度差，则在步骤S263，图像处理电路3判断为图像没有包括面部对比度。

另一方面，如果图像处理电路3检测到高亮度区域和低亮度区域这两者并且检测到这些区域之间的特定亮度差(步骤S235为“是”)，则在步骤S241，图像处理电路3计算亮度量差ΔSy(n)。

接着，在步骤S251，通过使用亮度量差ΔSy(n)，图像处理电路3判断在高亮度量和低亮度量之间是否存在对称性。如果图像处理电路3没有判断为存在特定对称性(步骤S251为“否”)，则在步骤S263，图像处理电路3判断为图像不包括面部对比度。例如，这对应于由于胡子等面部特征或太阳镜等穿戴物引起存在对比度的情况。另一方面，如果图像处理电路3判断为存在特定对称性(步骤S251为“是”)，则在步骤S261，图像处理电路3判断为图像包括面部对比度。这样，图像处理电路3执行面部对比度检测处理。

例如，包括图像识别电路2和图像处理电路3等的照相机100如下操作。图15是示出照相机100的操作的流程图。

当启动照相机100时，在步骤S101，控制电路1启动包括电源、中央处理单元(CPU)和存储器等的系统。接着，在步骤S103，控制电路1启动变焦电动机、调焦电动机、光圈和快门等装置，以将照相机100中所包括的透镜移动至拍摄位置。

在步骤S105，控制电路1启动自动曝光(AE)控制、自动调焦(AF)控制和自动白平衡(AWB)控制，以将具有适当的亮度、焦点和颜色色调的被摄体图像显示在液晶显示器(LCD)等显示画面上。

在完成包括用于显示被摄体的图像的上述控制处理的必要准备之后，在步骤S107，控制电路1开始向显示单元输出实时图像。拍摄者因此可以在观看显示单元上所显示的实时图像的同时对被摄体进行取景。

在步骤S113、S115和S117，控制电路1在显示实时图像时，分别周期性继续上述AE、AWB和AF控制处理。这样，即使在拍摄者的操作或被摄体的移动上发生变化，控制电路1也可以在适当状态下保持被摄体图像的亮度、焦点和颜色色调。

同时，控制电路1使图像识别电路2和图像处理电路3执行上述面部对比度检测处理等。更具体地，在步骤S111，控制电路1连续判断被摄体图像是否包括特定面部对比度。在本典型实施例中，控制电路1周期性执行面部对比度的检测。因此，显示单元可以连续显示面部对比度检测结果，并且图像处理电路3可以判断周期性获得的多个面部对比度检测结果是否相同。

在步骤S121，控制电路1连续监视拍摄者是否按下了指示照相机100开始预备处理的开关SW1。如果拍摄者按下了开关SW1(步骤S121为“是”)，则控制电路1启动用于拍摄图像的各种预备处理。首先，在步骤S123，控制电路1根据被摄体的亮度执行AE处理，以设置拍摄图像所使用的适当水平的光圈、快门和感光度。接着，在步骤S125，控制电路1执行AF处理以使照相机100聚焦于被摄体。除焦点调节以外，在步骤S125，例如，控制电路1还计算照相机100和被摄体之间的距离。

然后，在步骤S127，控制电路1判断是否使闪光灯发光。在本典型实施例中，控制电路1参考步骤S111(步骤S261或S263)的结果来判断是否使闪光灯发光。如果图像中存在面部对比度，并且如果照相机100和被摄体之间的距离、快门速度以及主被摄体和背景之间的亮度差等满足特定条件，则控制电路1判断为照相机100需要使闪光灯发光。控制电路1可以基于其它条件判断是否需要闪光灯发光。

接着，在步骤S131，控制电路1连续监视拍摄者是否按下了指示拍摄图像的开关SW2。如果拍摄者按下了开关SW2(步骤S131为“是”)，则控制电路1参考步骤S127的判断结果，并且处理进入步骤S135。如果需要闪光灯发光(步骤S135为“是”)，则在步骤S137，控制电路1确定拍摄图像所需的闪光灯发光量。更具体地，作为光调节处理，控制电路1基于单独通过外部光照射的被摄体的亮度和通过特定闪光灯发光量的预备闪光灯发光照射的被摄体的亮度，计算被摄体的反射率和大小，以计算实际拍摄图像所需的闪光灯发光量。

接着，在步骤S141，控制电路1控制快门等以实际拍摄图像。因此，控制电路1对图像传感器4进行适当曝光量的曝光，并且执行显影处理以获得具有适当亮度、焦点和颜色的图像。在显影处理中，可以将图像中的低亮度区域校正得较高。例如，即使在步骤S111，控制单元1检测到了面部对比度，如果照相机100和被摄体之间的距离小，则在步骤S127，控制电路1可以判断为不需要闪光灯发光。在这种情况下，由于照相机100拍摄具有高对比度的面部的图像，因而控制电路1可以在显影处理中校正面部对比度。

在上述例子中，控制电路1执行步骤S111中的面部对比度检测处理。然而，控制电路1可以在拍摄者按下开关SW1之后仅执行一次面部对比度检测处理。可以根据所需检测精度和装配的功能在任意时刻检测面部对比度。

根据本典型实施例，照相机100可以在防止由人面部的各种特征和人面部戴的穿戴物引起的错误判断的同时，检测由外部光自然形成的面部对比度。因此，由于照相机100可以基于检测结果确定想要的拍摄条件，因而拍摄者可以获得适当的图像。

基于使闪光灯发光以校正面部对比度的照相机说明了根据本发明的典型实施例。然而，本发明还可以应用于执行图像处理以增加低亮度水平区域的亮度值而不使闪光灯发光的照相机。如果对所读取的图像执行这类图像处理，则除照相机以外，本发明还可应用于个人计算机等图像处理设备。

可以通过使个人计算机等处理单元(CPU或处理器等)执行经由网络或各种类型的记录介质所获取的软件(程序)，来实现根据本发明的典型实施例的各步骤。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

Claims (11)

1.一种图像处理设备，包括：

区域检测部件，用于在作为要拍摄的对象的人面部中检测预定的第一亮度水平检测区域和第二亮度水平检测区域；

亮度量计算部件，用于计算所述第一亮度水平检测区域的亮度水平和特定基准亮度水平之间的差的绝对值作为高亮度量，并且计算所述第二亮度水平检测区域的亮度水平和所述特定基准亮度水平之间的差的绝对值作为低亮度量；以及

判断部件，用于判断在所述高亮度量和所述低亮度量之间是否存在对称性。

2.根据权利要求1所述的图像处理设备，其特征在于，所述判断部件通过判断所述高亮度量和所述低亮度量之间的差或比是否落在特定范围内，来判断在所述高亮度量和所述低亮度量之间是否存在对称性。

3.根据权利要求1所述的图像处理设备，其特征在于，还包括：

控制部件，用于基于所述判断部件的判断结果，判断在拍摄所述人面部的情况下是否使闪光灯发光。

4.根据权利要求1所述的图像处理设备，其特征在于，还包括：

控制部件，用于基于所述判断部件的判断结果，判断在对通过拍摄所述人面部所获得的图像执行显影处理时是否执行用于使所述第二亮度水平检测区域变亮的图像校正处理。

5.根据权利要求1所述的图像处理设备，其特征在于，

所述区域检测部件检测前额区域和鼻脸颊区域中的至少之一作为所述第一亮度水平检测区域，其中，所述前额区域位于在向头顶的方向上与所述人面部的眼的位置相距特定距离的位置，所述鼻脸颊区域位于在向下巴的方向上与所述眼的位置相距特定距离的位置。

6.根据权利要求5所述的图像处理设备，其特征在于，

如果检测到所述第一亮度水平检测区域，则所述区域检测部件从所述第一亮度水平检测区域排除口区域以及位于相对于所述眼的位置的特定范围内的区域，其中，所述口区域位于在向所述下巴的方向上与所述眼的位置相距特定距离的位置。

7.根据权利要求1所述的图像处理设备，其特征在于，

所述区域检测部件检测脸颊区域和口区域中的至少之一作为所述第二亮度水平检测区域，其中，所述脸颊区域位于在向下巴的方向上与所述人面部的眼的位置相距特定距离的位置，所述口区域位于在向所述下巴的方向上与所述眼的位置相距特定距离的位置。

8.根据权利要求7所述的图像处理设备，其特征在于，

如果检测到所述第二亮度水平检测区域，则所述区域检测部件从所述第二亮度水平检测区域排除前额区域以及位于相对于所述眼的位置的特定范围内的区域，其中，所述前额区域位于在向头顶的方向上与所述眼的位置相距特定距离的位置。

9.根据权利要求2所述的图像处理设备，其特征在于，

所述亮度量计算部件计算所述第一亮度水平检测区域的多种亮度水平中的每一种与所述特定基准亮度水平之间的差的绝对值作为多种高亮度量，并且计算所述第二亮度水平检测区域的多种亮度水平中的每一种与所述特定基准亮度水平之间的差的绝对值作为多种低亮度量，以及

所述判断部件通过组合所述多种高亮度量和所述多种低亮度量来计算多种差，并且判断所述多种差中的至少一种是否落在所述特定范围内。

10.根据权利要求1所述的图像处理设备，其特征在于，

所述区域检测部件使用特定方向作为基准，并且根据所述人面部相对于所述基准的倾斜角度，改变所述第一亮度水平检测区域和所述第二亮度水平检测区域的形状。

11.一种图像处理方法，包括：

在作为要拍摄的对象的人面部中检测预定的第一亮度水平检测区域和第二亮度水平检测区域；

计算所述第一亮度水平检测区域的亮度水平和特定基准亮度水平之间的差的绝对值作为高亮度量，并且计算所述第二亮度水平检测区域的亮度水平和所述特定基准亮度水平之间的差的绝对值作为低亮度量；以及

判断在所述高亮度量和所述低亮度量之间是否存在对称性。

Images