CN100553295C - 照相机、照相机的图像处理方法 - Google Patents

Abstract

本发明提供一种照相机、照相机的图像处理方法，该照相机在根据每个区域的亮度对所取得的图像信号进行校正以使其亮度提高时，使对用作摄像图像的图像信号的校正量比对用作监视图像的图像信号的校正量小。本发明的照相机的结构的一例可表现如下。该照相机具有：视认性提高部，其为了提高被摄体的视认性，根据被摄体被分割的每个区域的亮度对从摄像元件中取得的被摄体的图像信号进行校正，以使其亮度提高；和显示部，其显示基于从上述摄像元件中取得的被摄体的图像信号的图像，其中，上述视认性提高部使对实际摄影的图像的上述亮度的校正量比对显示于上述显示部上的监视用图像的校正量小。

Description

照相机、照相机的图像处理方法

本申请基于2006年7月7日提交的在先日本专利申请Nos.2006-187289和2007年5月11日提交的在先日本专利申请Nos.2007-126754，并要求其优先权。

技术领域

本发明涉及可以应对逆光场景等亮度差大的场景的摄影的照相机。

背景技术

逆光场景是难于进行摄影的场景。与银盐胶片相比，摄像元件的动态范围狭窄，所以在使用摄像元件的数字照相机中，摄影变得更困难。特别是，当人物为主被摄体的情况下，在逆光下拍摄到脸变得很暗的失败照片的情况较多。因此，像这样人物存在于被摄体的逆光场景中的情况下，通常通过闪光灯摄影使人物适当地曝光来进行摄影。而且，摄影者通过选择闪光灯模式的操作或将照相机的场景模式选择为逆光场景等操作来执行该闪光灯摄影。

关于该逆光场景的摄影，以往提出了各种提案。例如，提出了如下的技术：为了在能够应对的明亮度的动态范围进行动作，在画面内的每个区域中将来自摄像元件的输出控制为适当的对比度，通过图像处理修正为暗的位置和明亮的位置都容易看到的图像(日本特表2004-530368号公报)。

另一方面，由于最近脸检测技术成熟起来(例如，日本特开平07-073298号公报)，所以通过该脸检测技术的应用，还能够判断被摄体是否为人物，所以也期待该脸检测技术的利用。

为了更精确地进行上述脸检测，充分鲜明地表现出作为对象的被摄体的轮廓成为前提。在逆光的状况下，被摄体的像被损坏，所以无法期待通过脸检测技术简单地进行人物判定。

并且，在以上述那样的逆光的场景为代表的、明亮的部分和暗的部分混合存在的状况下的摄影中，通常通过照射闪光灯光，使暗的被摄体变明亮而对该表情等进行摄影。在摄影时，使用闪光灯虽然有效，但使用闪光灯时无法进行连续照明，所以在一边观察监视图像一边确定视场角的情况下，使用该闪光灯来使监视图像的视认性提高的方法是不实用的。并且，由于闪光灯照射耗电也大，所以，除了摄影以外，在多次使用闪光灯照射时，还存在电池寿命大幅降低的问题。

即使在这样的逆光场景那样的明亮度变化大的场景中，也要求能够准确地确认出被摄体且在摄影时也考虑摄像元件的特性而亮丽地描绘出该场景的照相机。

发明内容

本发明就是鉴于上述情况而产生的，其目的在于提供一种即使在逆光场景那样的明亮度变化大的场景中也能够确认出被摄体且能够进行失败少的摄影的照相机、以及这种照相机的图像处理方法。

当本发明的照相机根据每个区域的亮度对所取得的图像信号进行校正以使其亮度提高时，对作为摄像图像使用的图像信号的校正量比对作为监视图像使用的图像信号的校正量小。

本发明的照相机的结构的一例可以如下述那样表现。该照相机具有：视认性提高部，其为了提高被摄体的视认性，根据被摄体被分割的每个区域的亮度，对从摄像元件取得的被摄体的图像信号进行校正，以使其亮度提高；以及显示部，其显示基于从上述摄像元件取得的被摄体的图像信号的图像，其中，上述视认性提高部使对实际摄影的图像的上述亮度的校正量比对显示于上述显示部上的监视用图像的校正量小。

本发明也可以理解为照相机的控制方法的发明。

根据本发明，能够提供即使在逆光场景那样的明亮度变化大的场景中也能够确认出被摄体且能够进行失败少的摄影的照相机、以及照相机的图像处理方法。

附图说明

根据以下说明书、所附权利要求及附图，本发明的设备和方法的这些和其他特征、方面和优点将变得更清楚。在附图中：

图1是在第1实施方式中，本发明应用的照相机10的整体方框图。

图2A-2C是在第1实施方式中，示出逆光摄影场景的一般的例子的图。

图3是在第1实施方式中，在与图2相同的摄影场景中示出亮度分布的位置的图。

图4A、4B是在第1实施方式中，示出由最佳化处理部进行校正的室外和室内的明亮度和对比度的曲线图。

图5是在第1实施方式中，示出摄影时的快门和闪光灯发光的时刻的时序图。

图6是在第1实施方式中，示出没有人物的风景的图。

图7A、7B是在第1实施方式中，示出通过脸检测判定在画面中是否存在人物的例子的图。

图8是在第1实施方式中，用于说明图4的控制处理的步骤的流程图。

图9是在第1实施方式中，示出同时显示主画面31和辅助画面32的画面的图。

图10A-10C是在第1实施方式中，示出监视用图像显示时和实际的摄影时基于最佳化处理部的校正量的差异的图像的例子的图。

图11是在第2实施方式中，用于说明控制处理的步骤的流程图。

图12A、12B是在第3实施方式中，示出由最佳化处理部校正的室外和室内的明亮度和对比度的曲线图。

图13是在第3实施方式中，用于说明控制处理的步骤的流程图。

具体实施方式

下面将参照附图描述本发明的优选实施方式。

(第1实施方式)

图1是本发明应用的照相机10的整体方框图。在照相机10中，设置有镜头部2、快门2a、摄像元件3、模拟前端(以下，简称为AFE)部4、图像处理部5、显示部8、显示控制部8a、记录再现控制部9a以及记录介质9。

镜头部2在摄像元件3上成像所入射的被摄体20的像。快门2a对通过了镜头部2的光入射到摄像元件3上进行选择性地遮蔽，调节曝光量。摄像元件3例如是CMOS或CCD，将由镜头部2成像的被摄体像转换为图像信号。

AFE部4将从摄像元件3输出的模拟图像信号转换为数字图像数据而输出。在AFE部4中设置有切取部4a。切取部4a根据指示，选择取舍摄像元件3输出的信号，从整个受光面仅提取出限定的像素信号，或者从摄像元件3间除地提取像素。

由于在显示部8上能够显示的图像尺寸受到限制，所以当显示监视用图像时，切取部4a削减像素数，AFE部4输出削减后的图像数据。由此，可进行高速的显示控制，特别是即使没有设置光学取景器等，也可以对进入到摄像元件的信号进行处理以大致实时地进行显示，所以用户可以一边观察该实时显示一边进行摄影。并且，在实际的摄影时，AFE部4输出全部像素或与所设定的画质模式对应的像素的图像数据来作为摄影图像。

图像处理部5对从AFE部4输出的图像数据进行伽马(灰度校正)、颜色、灰度、以及清晰度(sharpness)等的校正处理。并且，图像处理部5具有图像处理部内的JPEG(Joint Photographic Coding Experts Group)核心部(未图示)等静止图像用的压缩解压部，在摄影时使用该压缩解压部对图像数据进行压缩，当再现时对图像数据进行解压。

在图像处理部5中设置有最佳化处理部5b。最佳化处理部5b对图像信号进行亮度的校正和对比度强调等处理。最佳化处理部5b对于从摄像元件取得的被摄体的像信号，以适当的尺寸将画面分割为多个区域，在其中检测明亮的区域和暗的区域。然后，根据该亮度值，在各区域中适当地进行放大和对比度强调等校正。另外，以下将亮度的放大校正和对比度强调校正简称为校正。最佳化处理部5b提高存在于各区域的被摄体的视认性，所以以下也称为视认性提高部。

记录再现控制部9a在摄影时将由图像处理部5压缩处理的图像数据记录到作为记录媒体的记录介质9中。记录介质9是保存记录图像的记录媒体。并且，记录再现控制部9a在再现时从记录介质9中读出图像数据。

显示部8例如由液晶或有机EL等构成，在摄影时显示监视用图像，在再现时显示经过解压处理的记录图像。在该显示部8中具备背景灯，在显示控制部8a中，具备变更该背景灯的明亮度的明亮度调节部8b。该明亮度调节部8b自动或通过用户的操作，能够变更背景灯的明亮度。

在摄影时，用户一边观察在显示部8上显示的图像，一边确定构图和时刻来进行摄影操作。在图像处理部5中高速处理由AFE部4限制为显示用尺寸的图像数据，并经由显示控制部8a在显示部8上进行显示，以便大致实时地显示来自摄像元件3的图像信号。

并且，如上所述，最佳化处理部5b在每个区域对图像进行亮度放大、对比度强调等的校正处理，以便当显示监视用图像时提高被摄体的视认性。而且，在再现时，通过记录再现控制部9a读出记录在记录介质9中的压缩数据，通过图像处理部5进行解压，并显示在显示部8上。

并且，在照相机10中，设置有MPU 1、ROM 19、以及操作部1a～1c。MPU(微处理器)1是根据程序进行摄影和再现等照相机10的整体控制的控制部。ROM 19由非易失性且可记录的存储器例如闪存ROM构成，存储有进行照相机10的控制处理的控制用的程序。

操作部1a～1c向MPU 1通知摄影者的指示。作为操作部的代表例，图示出开关1a、1b、1c，其中开关1a是释放开关，1b例如是摄影/再现模式切换或者摄影模式和显示模式的切换等的开关。并且，开关1c也作为视认性进一步提高指示用的指示部，是为了在明亮的场景中更加容易观察显示部面板8，指示背景灯(BL)变亮，并且指示最佳化处理部5b增加亮度校正量的指示开关。MPU 1检测与摄影和显示等对应的用户的开关1a、1b、1c操作。

进而，在照相机10中，设置有AF控制部2c、快门控制部2b、闪光灯部6、曝光控制部12a、场景判定部12b以及脸检测部11。AF控制部2c根据MPU 1的指示控制镜头部2的焦点位置。图像处理部5检测从摄像元件3输出的图像数据的对比度而输出到MPU 1，由此MPU 1向AF控制部2c输出控制信号，从而执行焦点位置的控制。MPU 1向AF控制部2c输出控制信号，以使图像数据的对比度信号为最大。

快门控制部2b控制快门2a的开闭。快门控制部2b进行如下控制：当明亮时以短时间关闭快门2a，当暗时以长时间关闭快门2a，进行将朝向摄像元件3的入射光量保持为规定量的曝光控制。

闪光灯部(照明部)6是辅助曝光的辅助光照射部。闪光灯部6是Xe放电发光管那样的光源，能够使用所流过的电流量控制光量。在被摄体为相对或绝对暗的情况下，将投射出强光的闪光灯部6用作辅助光。作为辅助光照射部，不限定于闪光灯，也可以使用白色LED来代替。

曝光控制部12a是由MPU 1执行的控制功能的一个。曝光控制部12a根据从AFE部4输出的图像数据，控制快门2a的开放时间的切换和摄像元件3的数据读出(电子快门)。并且，曝光控制部12a控制ND滤光片(未图示)、光圈(未图示)、以及闪光灯部6，与图像处理部5的伽马校正功能一起使图像的明亮度变得合适。

进而，曝光控制部12a单独或与最佳化处理部5b协作，使图像的明亮度变得合适。而且，曝光控制部12a与最佳化处理部5b协作的视认性提高用的曝光控制，在摄影时和监视用图像显示时改变其条件来执行，使得分别为最佳。CCD等摄像元件3和显示部8与以往的胶片和照片不同，难于进行动态范围窄且明暗细的记录和显示，所以曝光控制部12a和最佳化处理部5b进一步利用显示部8的背景灯(BL)控制，控制为在各种场景中能够进行被摄体的视认和识别。

场景判定部12b是由MPU 1执行的处理功能的一个。场景判定部12b解析从AFE部4输出的图像数据(监视用图像)而判断整个画面的明亮度，判定是暗场景还是逆光场景的场景名。场景判定部12b在判定时，利用画面的宽范围的图像数据。并且，场景判定部12b在场景判定时，还利用由脸检测部11进行的脸检测的结果。而且，曝光控制部12a还根据场景判定结果，控制快门控制部2b和光圈(未图示)，以切换入射到摄像元件3的光量。

脸检测部11利用图像数据，检测在被摄体中是否存在人的脸。脸检测部11根据从图像处理部5中输出的图像数据(监视用图像)，通过从对焦时的信息和预先说明的监视用图像中提取出特征点来对脸进行检测。而且，脸检测部11在检测到脸时向MPU 1输出该画面内的脸的大小和位置。但是，在主被摄体位于逆光场景那样的画面内的暗的部分的情况下，图像变黑而无法得知细的明暗的差异，脸检测部11无法直接进行检测。当这样的逆光场景时，最佳化处理部5b和曝光控制部12a进行为了脸检测而使暗的部分变明亮那样的处理和控制。其详细情况在后面叙述。

图2A-2C是用于说明第1实施方式的课题的图。图2A-2C是示出逆光摄影场景的一般的画面的例子的图，在画面中存在明亮的室外的风景30a和暗的室内的人物30b这双方。图2A是示出希望在该画面中摄影的场景的图。即，是希望同时亮丽地描绘出明亮的室外的风景30a和暗的室内的人物30b的摄影。但是，以往由于摄像元件3的动态范围的界限，所摄影的图像仅能够获得重视了明亮的部分(风景30a)的图像(参照图2B)或重视了暗的部分(人物30b)的图像(参照图2C)中的任意一个。

同样，即使对于在摄影时显示在显示部8上的监视用图像，以往由于摄像元件3以及显示部8的动态范围的界限，仅能够显示重视了明亮的部分(风景30a)的图像(参照图2B)或重视了暗的部分(人物30b)的图像(参照图2C)中的任意一个。即，成为如下的图像：在图2B的图像中，人物30b变黑，在图2C的图像中，风景30a变白。本实施方式的照相机10改善了该课题，同时亮丽地描绘出明亮的室外的风景30a和暗的室内的人物30b。

图3是与图2相同的摄影场景，使用线30c来示出在图4A、4B中示出的画面的亮度分布的提取位置。图4A、4B是线30c上的画面的亮度分布的曲线图。

图4A、4B是说明由视认性提高部即最佳化处理部5b进行的、摄影时的控制处理的曲线图。由最佳化处理部5b进行图像的视认性提高的处理在监视用图像的显示时以及实际的摄影时这两个时间进行。图4A、4B都是将沿图3的线30c的亮度分布曲线化的图，横轴表示画面的水平方向的位置，纵轴表示明亮度(亮度值)。明亮度中上方向为明亮的方向。L(细单点划线)表示摄像元件3的噪声电平。即，L以下是噪声区域，并且是图像的鉴别困难的区域。

图4A是说明由最佳化处理部5b进行的第1处理的图。虚线(E0、F0)是处理之前的亮度曲线，E0是与风景30a对应的亮度曲线、F0是与人物30b对应的亮度曲线。并且，ΔE0、ΔF0分别表示亮度差(对比度)。处理之前的明亮度曲线是将风景30a曝光控制成适当亮度的电平而获得的图像的曲线。而且，在该场面中，作为人物30b的部分的F0仅获得与噪声电平L同等的明亮度而变黑(参照图2B)。

因此，首先，最佳化处理部5b以规定的校正量即增益1对风景30a的部分进行放大校正，将风景30a的亮度从E0提高到E1。进而，最佳化处理部5b对风景30a还进行对比度强调处理，使对比度从ΔE0提高到ΔE1。

另一方面，对于人物30b的F0，即使通过增益1从F0上升到F1，该F1比噪声电平充分高的可能性也小。即，在该电平下，无法充分地确保视认性的可能性高。其原因为，由于增益1的量是与风景30a对应的校正量，所以增益1无法取那样大的值。其原因为，由于风景30a确保某种程度的明亮度，所以增益1只能取风景30a不饱和程度的比较小的增益。

因此，最佳化处理部5b以比增益1大的校正值即增益2对人物30b进行校正处理，将亮度曲线从F0提高到F2。同时，最佳化处理部5b还进行比风景30a大的对比度强调处理，使对比度从ΔF0提高到ΔF2。由此，室内的视认性充分提高。由此，概括来讲，能够获得与以人眼看到的感觉相近的图像(图2A)。

这样，在第1处理中，最佳化处理部5b(视认性提高部)在明亮的部位和暗的部位中，使亮度校正量和对比度强调的校正量不同来进行处理。因此，不仅在画面的一部分，而且在整个画面中提高了视认性。特别对亮度差大的画面有效。另外，该处理可以应用在监视用图像和摄影时的图像这双方，或者也可以仅应用在监视用图像。另外，如后所述，在应用于监视用图像和摄影时的图像这双方的情况下，使针对监视用图像的校正量比针对摄影时的图像的校正量大。关于对比度强调量也相同。

接下来，说明在闪光灯摄影时并用最佳化处理部5b的第2处理。第2处理是主要对摄影时的图像数据进行的处理。图4B是说明闪光灯摄影时的由最佳化处理部5b进行的处理的图。在上述图4A的第1处理的例子中，仅在由最佳化处理部5b进行的图像处理中提高了亮度，所以校正量变大时有可能使该图像变得不自然。并且，在暗的部分(室内)的亮度为与噪声电平同等或其以下的情况下，也对噪声进行了放大，所以由于放大(校正)引起的噪声增加，还有可能反而使模糊的图像变得显著。该现象在实际的摄影时成为严重的问题。因此，在第2处理中，将闪光灯照明与最佳化处理组合起来解决该问题。

与图4A相同，图4B的单点划线(E0、F0)的曲线是处理之前的亮度曲线。首先，最佳化处理部5b对风景部分以及人物部分以与第1处理相同的增益1进行亮度校正。由此，室外部分(风景)的亮度从E0提高到E1，室内部分(人物)的亮度也从F0提高到F1。并且，最佳化处理部5b对室外部分以及室内部分进行对比度强调校正处理。由此，室外部分的对比度从ΔE0提高到ΔE1，室内部分的对比度从ΔF0提高到ΔF1。

而且，仅在所述那样的情况下，室内部分的视认性不充分的可能性高，所以在本例中，增加闪光灯发光。通过闪光灯发光，人物部分的亮度从F1提高到Fst。并且，对比度也从ΔF1提高到ΔFst。另一方面，室外部分由于距离的关系闪光灯光无法到达，所以室外部分的亮度保持E1不变化，对比度也保持ΔE1不变化。另外，在上述的说明中，说明为在亮度校正和对比度强调校正之后进行闪光灯发光处理，但其顺序是为了便于说明，在实际的摄影步骤中是相反的。

即，在第2处理中对低亮度的被摄体(处于闪光灯光到达的范围)的校正量比第1处理中的校正量小。而且，通过闪光灯光的照射来校正该校正量之差。

这样，在第2处理中，进一步提高了室外的风景以及室内的人物双方的视认性。并且，补充闪光灯的光使低亮度的部分增加了亮度，所以通过电校正还能够防止实际的摄影图像变得模糊。即，能够获得非常自然的图2A那样的图像。另外，该处理不仅可以在摄影时应用还可以在监视用图像显示时应用。但是，利用闪光灯发光时监视图像成为间断的图像，所以更优选LED照明那样的可连续发送的照明单元。

图5是示出在图4B中说明的摄影时的快门和闪光灯发光的时刻的时序图。在快门的时序图中，LOW表示开放。由于闪光灯光的发光时间为短时间，所以与闪光灯发光对应，上述的快门时间也变短。即，上述摄影中，优选快门也控制在成为高速的方向上。这是因为如果使快门开放时间(LOW)变短，则闪光灯光对曝光的贡献率可相对地变高。

图6是示出即使为逆光也仅存在风景而不存在人物的场景的图。在这样的场景中，最佳化处理部5b不进行最佳化处理。最佳化处理部5b如图3所示，在逆光的部分且检测到人物的场景中进行最佳化处理，进行上述曝光控制。这是因为在仅存在风景且逆光下不存在人物的场景、即浮现风景的照片中，通常无需进行上述那样的曝光控制。这是因为在这样的场景中，通过不辅助多余的光，可以产生使暗的部分显著的效果，不使闪光灯发光还能节约能量。

图7A、7B是简单说明由脸检测部11进行的脸检测的例子的图。通过该脸检测判定在画面中是否存在人物。判定人物的存在的手段有多种，但此处，说明在画面内检测是否存在脸的图案来判定人物的有无的方法。图7A是成为基准的脸类似图案的一例。(A-1)、(A-2)、(A-3)是脸尺寸不同的脸类似图案，这样的脸类似图案(A-1)、(A-2)、(A-3)预先存储在ROM 19中。

图7B的场景为与图2相同的场景。脸检测部11在图7B的场景的画面内，扫描成为基准的脸类似图案(A-1)、(A-2)、(A-3)，如果存在与其匹配的部分，则判定为在摄影画面中存在人物。此处是应用了A-1的脸类似图案的情况。

图8是说明将上述最佳化处理作为中心的摄影时的控制处理的步骤的流程图。该控制处理主要由基于程序的MPU 1、图像处理部5、最佳化处理部5b、曝光控制部12a、场景判定部12b以及脸检测部11等来执行。

首先，将照相机10的模式设定为监视图像模式(步骤S1)。监视图像模式是在摄影时将摄像元件的输出作为监视用图像显示在显示部8上的模式。在该模式下，驱动控制摄像元件3和其他的系统，以便在图像显示中不产生延迟。此处，根据所得到的图像数据，还进行镜头部2的焦点控制和基于曝光控制部12a的曝光的控制(步骤S2)。

接下来，等待释放操作(步骤S3)，但在摄影之前(步骤S3否)，进行脸检测以及逆光判定(步骤S10)。脸检测由脸检测部11进行，逆光判定由场景判定部12b进行。然后，由脸检测部11判断是否能检测到脸(步骤S11)。当能检测到脸时在显示部8上显示该含义(步骤S12)。然后，将脸检测用的类似图案从如图7A所示的默认的脸类似图案切换到本次所检测到的脸类似图案(接近于本次所检测到的脸的形状)(步骤S13)。由此，第2次及以后的检测速度能够变得较快。即，从作为基准所具有的图案(基准脸类似图案)切换到新的脸类似图案而进行检测，所以在脸不动的场景中，能够快速地进行脸的判定。并且，即使脸的位置和角度产生变化时，通过重点对画面内的上次检测位置附近进行检测，能够获得跟踪脸部的效果。

然后，当检测到脸时(步骤S11是)，如图4A所示，最佳化处理部5b对脸的部分和人物进行其明亮度校正和强调对比度的最佳化处理(步骤S17)。经过最佳化处理而强调了脸的部分的明亮度和对比度的图像显示在显示部8上。在该释放之前的监视显示时，由于图像一直被切换，所以由于些许的噪声引起的紊乱不再重要，而能否看到脸的表情变得重要。因此，进行提高视认性的最佳化处理，在显示部8上使被摄体的人物清晰可见。这是因为在室外的摄影时，由于太阳光在显示部8的表面面板上发生反射等，所以微细的噪声电平多数情况下变得不再重要。

在监视显示时，有时希望更加强化上述最佳化处理。使用传感器(未图示)自动地判断该状况、或通过用户希望更清楚地进行观察时使用的操作按钮(开关1c)的操作来判断该状况(步骤S18)。检测到该操作(步骤S18是)，显示控制部8a的明亮度控制部8b控制显示部8的背景灯(BL)，使其变得更加明亮(步骤S19)。并且，与此同时，最佳化处理部5b进行使暗的部分的校正量进一步提高或使对比度值更加强调的处理(步骤S20)。将该处理称为强化的最佳化处理。

当这样检测到脸时，在显示部上进行使脸非常容易看到的显示，返回到步骤S2。在步骤S2中，可以利用所检测出的脸信息，进行重视脸的部分的焦点控制和曝光控制。然后，一边循环该循环步骤，一边等待释放操作(步骤S3)。

另一方面，当在步骤S11中没有检测到脸时(步骤S11否)，进行用于检测脸的处理。例如，对图2B那样的脸过于暗而无法检测到脸的图像，切换图像的曝光和处理，如图2C那样使背景变白，从而成为重视暗的位置而能够检测到脸那样的图像。

首先，由曝光控制部12a使脸检测用的曝光时间变长，或使曝光量增加(步骤S14)。进而，最佳化处理部5b进行脸检测用的强调校正处理(放大校正和对比度强调等)(步骤S15)。具体而言，最佳化处理部5b进行图4A中说明的那样的、对暗的部分的像信号进行放大校正和强调校正。并且，根据情况，还可以如在图4B中说明的那样，如果具有闪光灯照射或LED光源，则连续进行照射，以补充曝光，从而进行使脸检测变得容易的控制。另外，上述长时间曝光、放大校正/对比度强调校正、照明的各处理的组合或取舍，是根据场面进行选择的事项。

以上，获得背景变白而重视了暗的位置的图像即图2C那样的图像或与此相近的图像，由此，即使对于在暗的部分存在脸，也能够获得像在图2B那样的图像中无法取得的清晰的脸部的像，脸检测变得容易。另外，由于该图像为监视用图像，所以即使背景部分饱和，也不会对摄影产生直接影响。在检测到脸的情况下，使步骤S16分支为“是”，进入到步骤S12及以后。另一方面，当没有检测到脸时(步骤S16否)，返回到步骤S2。

另外，当由此检测到脸时，也可以将上述脸检测用的强调校正处理后的图像作为辅助图像32显示在显示部8上。图9是示出通常显示的图像即主图像31和辅助图像32同时显示的画面的图。此处，作为辅助图像，有步骤S17的脸显示用中进行了最佳化处理的图像、步骤S20的进行了强化的最佳化处理的图像、或步骤S15的在脸检测用中进行了强调处理的图像这三种。作为辅助图像，当显示步骤S17的脸显示用中进行了最佳化处理的图像、或步骤S20的进行了强化的最佳化处理的图像时，相对于从摄像元件3取得的图像，同时显示进行了最佳化处理的图像和没有进行处理的图像即可。

另一方面，将步骤S15的在脸检测用中进行了强调处理的图像作为辅助图像进行显示时，两个图像的快门速度不同，只通过后面的图像处理无法进行应对，所以按照主图像31和辅助图像32用的两个快门速度交替地获得从摄像元件得到的图像。然后，分别进行所对应的处理，显示进行了该处理的两个图像。但是，两个图像的读出次数的比例不一定为1比1。另外，由曝光控制部12a控制与读出图像对应的快门速度的切换。通过这样的做法，用户也可以一边同时确认背景和人物的表情，一边进行摄影。

另一方面，当选择了图9那样的不同时显示辅助图像的模式时，在需要步骤S15的脸检测用中进行了强调处理的图像的情况下，曝光控制部12a进行切换快门速度的控制，使得图2C所示的以脸为主要部分的图像不是每次从摄像元件3中读出的图像，而是若干次中获取一次(例如10次中1次)。这是因为如果频繁地通过脸检测用的快门速度获取图像，则被摄体的动作变得不自然，对显示图像产生影响。

返回到图8的流程图。当存在来自用户的摄影指示时(步骤S3是)，进行摄影。此处，根据是否“暗”或“逆光”或“存在脸”的各条件(步骤S4、步骤S21、步骤S22)，改变曝光控制。另外，是否“逆光”、“存在脸”的判断利用上述步骤S10、步骤S11中的脸检测逆光判定的结果。

首先，场景判定部12b判定整个被摄体是否为暗(步骤S4)。当场景判定部12b判定为整体为暗时(步骤S4是)，通过伴随闪光灯发光的曝光控制来进行摄影(步骤S5)。此时，如果是非常近的被摄体，也可以并用ND滤光片和光圈控制。另一方面，当不暗且不是逆光时(步骤S4否，步骤S21否)，不使用闪光灯而通过通常的曝光控制来进行摄影(步骤S25)。并且，当不暗且为逆光，而且不存在脸时(步骤S4否、步骤S21是、步骤S22否)，也通过通常的曝光控制来进行摄影(步骤S25)。这是因为，在图6那样的场景的情况下，只要清楚地对风景进行摄影即可。

然后，当图2A-2C的场景那样的、整体不暗、逆光且存在脸时(步骤S4否、步骤S21是、步骤S22是)，尽量排除ND滤光片和光圈的影响，利用闪光灯6通过图4B中说明的闪光灯发光以及曝光控制来进行摄影(步骤S23)。当实际摄影时，AFE部4输出基于所有像素或指定的像素数的图像数据。然后，图像处理部5进行包括最佳化处理的图像处理、压缩(步骤S24)。作为最佳化处理，如图4B中所示，最佳化处理部5b进行使整个画面显现对比度那样的处理和放大暗的部分的亮度的处理。

在步骤S24中，最佳化处理部5b使该亮度/对比度强调的值(校正量)比上述监视显示的情况(步骤S17、步骤S20)小。即，不是仅通过图像处理来确保亮度，而是利用步骤S23的闪光灯发光来补充光，不使图像强调的量过度，从而获得没有破绽的图像。是如图4B中说明的那样。然后，进行向记录介质9的记录(步骤S7)。并且，在步骤S5和步骤S25的摄影(曝光控制)之后，读出所有摄像元件的像素数据，由图像处理部5对所得到的图像进行图像处理和压缩(步骤S6)，进行向记录介质9的记录(步骤S7)。

图10A-10C是说明由最佳化处理部5b进行的、监视显示时和摄影时的校正的大小的图。图10A示出校正之前的人物图像，图10B示出进行监视显示时的校正的人物图像，图10C示出进行摄影时的校正的人物图像。即，对于图10A那样的非常暗的场景，在监视显示中，为了清楚地认出被摄体且能够识别出脸，最佳化处理部5b使亮度/对比度等的校正量变大。另一方面，在摄影时，最佳化处理部5b使该校正量比监视显示时小。而且，在摄影时如果需要，则使用闪光灯照明来覆盖亮度的不足。

在摄影时，改变监视显示时和图像强调处理的条件的理由为，实际上所摄影的图像、和只为了提高脸的视认性而仅对脸的部分重点地进行对比度强调或明亮化的监视用图像，其性质有很大的不同。即，这是因为，在监视显示时，在托着照相机的方向上由于太阳光的反射而使视认性恶化，所以为了改善该现象，还需要进行强化的校正，但在摄影时，无需这样的改善，反而需要表现与背景的平衡、脸的阴影的自然的灰度。在摄影时仅通过图像强调来进行改善时，横过脸而显现影子这样的逆光场景等也成为不自然的图像，但通过闪光灯照射便可获得自然描绘的图像。

如以上所述，通过上述第1实施方式，即使在亮度变化激烈的场景、例如强太阳光下的摄影中，通过有效地分开使用图像处理和闪光灯，能够适当的确认出人物的表情和脸的颜色，还能够实现清晰的摄影。即，即使在存在大的亮度差的场景中，也能够确保监视图像的视认性且实现表现力丰富的图像的摄影。

并且，即使在难于进行人物的判定的逆光下，通过监视用图像显示中的细致的曝光控制和图像强调校正量的切换的操作来检测被摄体的脸，能够适合地判定出被摄体的状况。而且，如果人物被判定为主被摄体，则能够准确地再现其表情和肤色，并且，虽然没有气氛丰富地描绘出背景，但也能够实现不使照片变白的摄影。

(第2实施方式)

使用图11来说明第2实施方式。第2实施方式根据实施最佳化处理时的放大量(亮度校正量)和/或对比度强调的校正量，控制此后的摄影的闪光灯发光量。简单地说，在摄影之前的成帧状态(监视图像显示状态)下，根据作为本发明的一个特征的场景判定，进行校正了存在脸的暗的位置的明亮度的显示、和强调了对比度的显示。而且，在此后的摄影中，根据显示时的放大和强调量来控制闪光灯发光量，能够实现更自然的摄影。

图11是说明第2实施方式的摄影控制处理的步骤的流程图。该摄影控制处理主要由基于程序的MPU 1、图像处理部5、最佳化处理部5b、曝光控制部12a、场景判定部12b以及脸检测部11来执行。另外，由于本实施方式应用的照相机的方框图与图1相同，所以此处省略。

将照相机10设定为监视图像模式，在显示部8上显示从摄像元件输出的监视用图像(步骤S31)。用户一边观察该图像一边确定摄影时刻和构图。此时，场景判定部12b判定场景，脸检测部11检测脸的有无(步骤S32)。然后，判断脸部分是否为逆光(步骤S33)。如果被摄体的脸部为逆光(步骤S33是)，则最佳化处理部5b对显示用图像进行最佳化处理(对暗的部分进行亮度校正和对比度强调校正的图像处理)，以便容易看到其表情，并且在显示部8上显示最佳化处理后的图像(步骤S34)。然后，等待摄影指示(步骤S35)。

另一方面，如果不为逆光(步骤S33否)，则最佳化处理部5b不进行亮度校正和对比度强调校正，进行通常的显示(步骤S41)。然后，等待摄影指示(步骤S42)，如果检测到摄影指示(步骤S42是)，则以通常的曝光控制进行摄影(步骤S43)。

在步骤S35中，如果检测到摄影指示(步骤S35是)，则进入到步骤S36。以后，根据在步骤S34中进行亮度校正或强调校正的量，切换在摄影时发光的闪光灯的光量。在摄影时，在步骤S34中，闪光灯的照明补充由最佳化处理部5b进行的亮度校正/对比度强调校正的所有或一部分。

判断步骤S34中的亮度校正量/对比度强调校正量的大小(步骤S36)。当监视用图像中的亮度校正量/对比度强调校正量大时(步骤S36是)，在摄影时以大的闪光灯光量进行曝光控制，进行摄影(步骤S37)。此时，由于脸部分的亮度还存在大量的不足，所以使用闪光灯发光来补充该全部或大部分。相反，当监视用图像中的亮度校正量/对比度强调校正量小时(步骤S36否)，以小的闪光灯光量进行曝光控制，进行摄影(步骤S38)。此时，由于脸部分的亮度存在少量的不足，所以使用少量的闪光灯发光和由最佳化处理部5b进行的亮度校正/对比度强调校正来进行补充。并且，由于存在少量的不足，所以也可以停止闪光灯发光，而仅使用由最佳化处理部5b进行的亮度校正/对比度强调校正来进行补充。然后，在步骤S37、S38、S43之后，实施规定的图像处理，并进行记录(步骤S44)。

这样，通过根据由最佳化处理部5b进行的监视用图像中的亮度校正量/对比度强调校正量来对闪光灯光量进行增减，在追求节能效果的同时，还通过闪光灯发光，防止图像成为不自然。例如，即使在逆光下，只要脸和背景的亮度差在3EV以下，就能够实现尽管闪光灯的光量少但通过图像处理取得了双方的视度的平衡的调整。当所强调的量小时，通过使闪光灯光量减少，能够防止图像成为不自然，同时还能发挥节能效果。

另一方面，在监视用图像中，对于亮度校正量和对比度强调校正量大的图像，只要是监视用图像，则噪声等不会成为大的问题。但是，对于亮度校正量和对比度强调校正量大的图像，由于噪声使得颜色变得可笑、画面也变得粗糙，所以不适于摄影图像。因此，在监视用图像中，对校正量大的图像，在摄影时使闪光灯发光的光量变大，使容易被噪声淹没的部分的信号增加。由此，能够防止通过图像强调得到的摄影图像变得不自然。

(第3实施方式)

使用图12A、12B、以及图13来说明第3实施方式。第3实施方式与通过最佳化处理和曝光控制的新组合而使监视图像显示的视认性提高的控制处理相关。另外，本实施方式应用的照相机的方框图与图1相同，所以此处省略。

图12是说明由最佳化处理部5b进行的亮度分布的变化的图。作为对象的场景是图2A那样的场景。并且，曲线的看法与图4相同，所以省略相同部分的说明。图12A是首先由曝光控制部12a使曝光量增加来改善视认性的处理。图12B是之后由最佳化处理部5b进行放大校正等进一步改善视认性的处理。

从图12A进行说明。E0是最佳化处理之前的室外部分(风景)的亮度分布(虚线)，F0是室内部分(包括人物)的亮度分布(虚线)。在图11那样的在明亮的位置和暗的位置存在大的亮度差的场景中，有时暗的部分(F0)几乎成为噪声电平的图像。在这样的情况下，暗的位置(室内)的对比度ΔF0与明亮的位置(室外)的对比度ΔE0相比变得非常小。

因此，首先，控制曝光控制部12a，以使曝光时间变长或使光圈打开，从而使曝光量增加，使信号积蓄，直到室外部分E0几乎成为饱和电平。所增加的曝光量设定为室外部分E1几乎成为饱和电平的程度。由此，室外部分E0提高到E1(实线)，室内部分F0提高到F1(实线)。室外部分的对比度也从ΔE0增加到ΔE1，室内部分的对比度也从ΔF0增加到ΔF1。室内部分(暗的位置)的对比度ΔF1也能够尽可能比噪声电平大。

接下来，对于在图12A中通过曝光增加改善的明亮度曲线，如图12B所示，通过最佳化处理，得到更加优选的明亮度。由最佳化处理部5b对室内部分F1以增益3进行放大，从F1变为F2(单点划线)。相反，对室外部分以增益4(负)进行衰减，从E1降低到E2(单点划线)。由此，在使暗的位置(室内部分)明亮的同时，能够防止明亮的位置(室外部分)饱和的危险。还能够减少室内部分的噪声，室内外都能视认性良好地显示。

图13是用于说明在图12A和图12B中说明的第3实施方式的摄影控制处理的流程图。该摄影控制处理主要由基于程序的MPU 1、图像处理部5、最佳化处理部5b、曝光控制部12a、场景判定部12b以及脸检测部11来执行。

首先，从摄像元件3取入图像信号(步骤S51)。由场景判定部12b根据所取入的图像信号判定摄影场景(步骤S52)。其结果，通过判断画面中央是否为暗、或判断画面的下半部分是否为暗、或判断暗的部分是否多，从而判断是否好像存在脸(步骤S53)。当判断为好像存在脸时(步骤S53是)，接下来判断脸部分是逆光还是顺光(步骤S54、步骤S61)。

当判断为脸为逆光时(步骤S54是)，通过步骤S55以下的流程，进行图12A和图12B中说明的处理。曝光控制部12a控制为使曝光量变大(步骤S55、图12A)。然后，最佳化处理部5b增加脸部(暗的位置)信号的亮度，使对比度强调变大(步骤S56、图12B)。然后，对于明亮的部分的信号，使亮度降低，并且也不进行对比度强调(步骤S57、图12B)。然后，在显示部8上显示进行了以上的处理的图像(步骤S58)。

并且，场景判定的结果是如果判断为所得到的图像是好像没有脸的场景(步骤S53否)或该脸为顺光(步骤S61是)，则不对该图像进行最佳化处理而进行显示(步骤S58)。

另一方面，好像存在脸(步骤S53是)，但没有判定出脸时(步骤S61否)，执行步骤S62以后的流程。首先，为了使暗的部分的图像浮现，曝光控制部12a进行控制，以使曝光量更多(步骤S62)。然后，由脸检测部11判定脸的有无(步骤S63)。由此，如果检测到脸的位置(步骤S63是)，则反映出该结果，再次开始从步骤S51起的流程。如果脸检测部11没有检测出脸，则最佳化处理部5b进行进一步对暗的部分的图像进行亮度校正/对比度强调的处理(步骤S64)。然后，脸检测部11判定脸的有无(步骤S65)。由此，如果检测到脸的位置(步骤S65是)，则反映该结果，再次开始从步骤S51起的流程。

但是，当图像为侧脸和后背等时，有时脸检测部11无法检测到脸的位置。此时，利用AF动作的结果。一边改变摄影镜头的焦点位置(所谓的多AF动作)，一边在画面内的各位置中检测对比度的变化(步骤S66)。推测为当镜头位置处于最靠前时，在使对比度变高的画面的位置上，存在最接近的被摄体。假设在该位置存在脸(步骤S67)。然后，返回到步骤S51而再次开始流程。能够清晰地看到被摄体的脸的表情和模样。

以上，在显示(步骤S58)之后，等待摄影指示(步骤S59)，如果进行摄影操作(步骤S59是)，则进行摄影步骤。当然，在摄影时，也可以进行上述曝光和亮度校正。不单单是监视时的显示，如果进行与这样获得的脸的位置和亮度对应的摄影，则能够进行清晰的照片摄影。

通过以上所述，即使在亮度差大的场景中，也可以不增加噪声地使暗的位置明亮，也能够使明亮的位置不饱和地进行显示。室内外都能视认性良好地表示。

(其他的例子)

另外，在上述各实施方式中，关于在上述实施方式中说明的MPU 1处理和曝光控制部12a、场景判定部12b，其一部分或全部可以由硬件来构成。相反，也可以由软件构成最佳化处理部5b和脸检测部11等的硬件。具体的结构为设计事项。

而且，通过向MPU 1供给存储在ROM 19中的软件程序，并根据所提供的程序进行上述动作，从而实现由MPU 1进行的各控制处理。因此，上述软件的程序本身实现MPU 1的功能，该程序本身构成本发明。

并且，存储该程序的存储介质也构成本发明。作为记录介质，除了闪存以外，还可以使用CD-ROM、DVD等光学记录介质、MD等磁记录介质、磁带介质、以及IC卡等半导体存储器等。并且，在各实施方式中，说明了将本申请的发明应用于数字照相机中的例子，但不限于此，例如也可以应用在便携电话的照相机部中。

尽管已示出并描述了本发明的优选实施例，但当然应理解的是，在不脱离本发明的精神的情况下，可以容易地进行形式上或细节上的各种修改和改变。因此本发明不仅限于所描述和所例示的确切形式，而被构造成涵盖可以落入所附权利要求的范围内的所有变形例。

Claims (14)

1.一种照相机，该照相机具有：

视认性提高部，其为了提高被摄体的视认性，根据被摄体被分割的每个区域的亮度，对从摄像元件中取得的被摄体的图像信号进行校正，以使其亮度提高；以及显示部，其显示基于从上述摄像元件中取得的被摄体的图像信号的图像，

其特征在于，

上述视认性提高部使对实际摄影的图像的上述亮度的校正量比对显示于上述显示部上的监视用图像的校正量小。

2.根据权利要求1所述的照相机，该照相机还具有指示部，该指示部进行指示，使得被摄体的视认性进一步提高，

其中，

上述视认性提高部根据上述指示，使对上述监视用图像的校正量进一步变大。

3.根据权利要求2所述的照相机，该照相机还具有显示控制部，该显示控制部根据上述指示控制上述显示部，使得进一步提高上述显示部的明亮度。

4.根据权利要求1所述的照相机，该照相机还具有：

场景判定部，其判定逆光场景；以及

控制部，其控制上述视认性提高部，

其中，

当由上述场景判定部判定为被摄体是逆光场景时，上述控制部使上述视认性提高部动作。

5.根据权利要求1所述的照相机，该照相机还具有：

场景判定部，其判定逆光场景；

控制部，其控制上述视认性提高部；以及

脸检测部，该脸检测部检测被摄体的脸，

其中，

即使在上述逆光场景下由上述脸检测部检测出脸时，上述控制部也禁止上述视认性提高部的动作。

6.根据权利要求4所述的照相机，该照相机还具有：

照明部，其在摄影时照射被摄体；以及

曝光控制部，其控制上述照明部以控制对被摄体的曝光，

其中，

当判定为被摄体是逆光场景时的摄影时，上述曝光控制部进行控制，使得通过上述照明部的照明，补充与上述监视显示用图像相比上述视认性提高部进行的校正量少的部分。

7.根据权利要求1所述的照相机，该照相机还具有脸检测部，该脸检测部根据从摄像元件中取得的被摄体的图像信号，检测被摄体的脸，

其中，

上述视认性提高部使针对上述图像信号的校正量增加，使得可通过上述脸检测部检测出脸。

8.根据权利要求1所述的照相机，该照相机还具有脸检测部，该脸检测部检测被摄体的脸，

其中，

上述视认性提高部对暗且存在脸的区域进行校正，以使其亮度提高。

9.根据权利要求1所述的照相机，其中，

上述视认性提高部在进行上述亮度的校正的同时，按照每个区域校正图像的对比度值，关于该对比度值的校正，也使对实际摄影的摄影图像的校正量比对显示于显示部上的监视用图像的校正量小。

10.根据权利要求1所述的照相机，该照相机还具有：

照明部，其在摄影时照射被摄体；以及

曝光控制部，其控制上述照明部以控制对被摄体的曝光，

其中，

上述曝光控制部在摄影时控制照明部，使得由上述视认性提高部进行了亮度校正的监视用图像和实际摄影的图像的亮度大致相同。

11.根据权利要求1所述的照相机，该照相机还具有：

照明部，其在摄影时照射被摄体；以及

曝光控制部，其控制上述照明部以控制对被摄体的曝光，

其中，

上述曝光控制部根据由上述视认性提高部进行的对监视用图像的校正量来控制照明部，使得摄影时发光的照射量变化。

12.根据权利要求11所述的照相机，其中，

当由上述视认性提高部进行的对监视用图像的校正量大时，上述曝光控制部控制照明部，使得补充亮度的不足的照射量也变大。

13.根据权利要求1所述的照相机，该照相机还具有显示控制部，该显示控制部将由上述视认性提高部进行了校正的监视用图像和没有进行校正的监视用图像同时显示在上述显示部上。

14.一种照相机的图像处理方法，该照相机具备：图像处理部，其对从摄像元件中取得的被摄体的图像信号进行亮度校正；以及显示部，其显示基于被摄体的图像信号的监视用图像，其中，该图像处理方法具有如下步骤：

关于上述监视用图像，根据被摄体被分割的每个区域的亮度，对该图像信号的亮度进行校正，以使被摄体的视认性提高；以及

关于实际摄影的图像，以比对上述监视用图像的亮度的校正量小的校正量，对该图像信号的亮度进行校正。

Images