CN101753814A - 摄像装置、照明处理装置以及照明处理方法 - Google Patents

Abstract

本发明涉及摄像装置、照明处理装置以及照明处理方法。摄像装置或照明装置具有照明处理部，该照明处理部以从外部对摄影图像的被摄体像施加虚拟照明的方式，针对摄影图像进行基于预定图像处理的模拟照明处理。该照明处理部具有参数确定部、参数图像生成部和照明加工部。参数确定部确定表示照明处理的条件的照明处理参数。参数图像生成部生成与照明处理后的摄影图像重叠地显示在显示部上的参数图像，作为表示照明处理参数的信息。照明加工部根据所确定的照明处理参数来对摄影图像进行照明处理。

Description

摄像装置、照明处理装置以及照明处理方法

技术领域

本发明涉及摄像装置、照明(lighting)处理装置以及照明处理方法。

背景技术

当分解与照相机相关的一系列动作时，由设定摄影条件→摄影→设定再现条件→再现的四个左右的动作构成。因此，照相机通常被设定为分为这些动作模式来进行操作。

以往，人们提出了如下技术：使用由照相机拍摄人物的脸部而得到的人脸图像来进行统计性图像处理，从而去除例如包括在人脸图像中的阴影的图案(例如，参照日本特开2002-24811号公报)。但是，通过变更针对被摄体的照明图案来消除阴影，因此，会发生根据距离或视场角范围不能产生效果的情况。

此外，人们还提出了如下技术：调整图像上的阴影的图案，以能够变更摄影图像中的照明的图案(例如，参照日本特开2007-66227号公报)。但是，在不能确定或通过学习判断构造物(例如人脸)的三维形状时，存在不能取得构造物中的阴影的图案并调整阴影的图案的问题。例如，在逆光状态那样的阴影遍布整个构造物的情况下，即使识别出构造物形状也不能将阴影识别为图案。

作为用于排除或减少这种被摄体的无用阴影的摄影工具，公知有反光板(reflector)。在正式的摄影中使用反光板。通过使用反光板向产生阴影的人脸赋予反射光来消除不需要的阴影，能够拍摄更符合期望的图像。由此，即使照相机从以往的银盐照相机变化到数码照相机，也依然使用反光板。

但是，实际上为了使用反光板，需要拿着反光板进行朝向被摄体的操作的摄影助手。如果没有操作反光板的摄影助手也能够像使用了反光板那样简单地进行赋予了辅助光的摄影，则即使不是专业的摄影师，也能够进行像使用了反光板那样的高级摄影。

发明内容

本发明的一个形式涉及的摄像装置具有：摄像部，其输出被摄体像作为摄影图像；照明处理部，其以从外部对摄影图像的被摄体像施加虚拟照明的方式，针对所述摄影图像进行基于预定图像处理的模拟照明处理；显示图像生成部，其根据所述照明处理后的摄影图像生成显示用图像；显示部，其显示所述显示用图像；以及记录部，其记录所述照明处理后的摄影图像，所述照明处理部具有：参数确定单元，其确定表示所述照明处理的条件的照明处理参数；参数图像生成单元，其生成与所述照明处理后的摄影图像重叠地显示在所述显示部上的参数图像，作为表示所述照明处理参数的信息；以及照明加工单元，其根据所确定的所述照明处理参数来对所述摄影图像进行照明处理。

此外，本发明的一个形式涉及的照明处理装置具有：参数确定单元，其确定照明处理参数，所述照明处理参数表示以从外部对摄影图像的被摄体像施加虚拟照明的方式，针对所述摄影图像通过预定的图像处理模拟进行的照明处理的条件；参数图像生成单元，其生成与所述照明处理后的摄影图像重叠地进行显示的参数图像，作为表示所确定的所述照明处理参数的信息；以及照明加工单元，其根据所确定的所述照明处理参数来对所述摄影图像进行照明处理。

此外，本发明的一个形式涉及的照明处理方法具有：参数确定步骤，确定照明处理参数，所述照明处理参数表示以从外部对摄影图像的被摄体像施加虚拟照明的方式，针对所述摄影图像通过预定的图像处理模拟进行的照明处理的条件；参数图像生成步骤，生成与所述照明处理后的摄影图像重叠地进行显示的参数图像，作为表示所确定的所述照明处理参数的信息；以及照明加工步骤，根据所确定的所述照明处理参数来对所述摄影图像进行照明处理。

此外，本发明的一个形式涉及的照明处理装置具有：人脸检测部，其在摄影图像中检测人脸部分；照明处理部，其以从外部对所述检测到的人脸部分施加虚拟照明的方式，针对所述检测到的人脸部分进行基于预定图像处理的模拟照明处理；阴影修正处理部，其检测在所述检测到的人脸部分上产生的阴影，并修正检测到的阴影；以及修补处理部，其按照所述检测到的人脸部分的各器官来进行特定的图像处理。

此外，本发明的一个形式涉及的照明处理方法具有：人脸检测步骤，在摄影图像中检测人脸部分；照明处理步骤，以从外部对所述检测到的人脸部分施加虚拟照明的方式，针对所述检测到的人脸部分进行基于预定图像处理的模拟照明处理；阴影修正步骤，检测在所述检测到的人脸部分上产生的阴影，并修正检测到的阴影；以及修补处理步骤，按照所述检测到的人脸部分的各器官来进行特定的图像处理。

对于以上所述的内容和本发明的其他目的、特征、优点以及技术上的产业上的意义，如果对照附图阅读以下的本发明的详细说明，则能够进一步理解。

附图说明

图1是简略示出本发明的实施方式的数字照相机的结构的主视图。

图2是简略示出图1的数字照相机的结构的后视图。

图3是示出数字照相机的系统结构例的框图。

图4是用于说明基于数字反光板功能的照明处理的概念的示意图。

图5是示出摄影光线(catch light)映入前后的人脸图像例的说明图。

图6是示出基于数字反光板模式的摄影处理控制例的概略流程图。

图7是示出步骤S6的人脸检测处理的子程序。

图8是示出从人脸检测向照明处理的转移过程的说明图。

图9是示出步骤S31的阴影修正处理的子程序。

图10是示出针对阴影区域的阴影修正前后的图像例的说明图。

图11是示出步骤S10的数字反光板处理的前半部分的子程序。

图12是示出步骤S10的数字反光板处理的后半部分的子程序。

图13是示出与用户操作对应的数字反光板显示例的说明图。

图14是示出与用户操作对应的数字反光板显示例的说明图。

图15是示出与用户操作对应的数字反光板显示例的说明图。

图16是示出与用户操作对应的数字反光板显示例的说明图。

图17是示出与用户操作对应的数字反光板显示例的说明图。

具体实施方式

以下，参照附图对用于实施本发明的最佳方式进行说明。图1是简略示出本实施方式的摄像装置即数字照相机的结构的主视图，图2是其后视图。

本实施方式的数字照相机1在照相机主体的前表面侧具有摄影镜头等摄像光学系统2，构成为能够在照相机主体内置的摄像元件上对被摄体像进行成像。此外，数字照相机1具有占据照相机主体的后表面的大半个区域的显示部3。该显示部3除了即时取景图像和摄影图像(包括再现图像)之外，还用于显示后述的显示用图像和参数图像，通过LCD或ELD等薄型显示装置实现。

此外，数字照相机1在例如照相机主体的上表面上具有释放按钮(release button)4a、WB(白平衡)按钮4b、参数设定按钮4c，在前表面上具有前拨盘4d，在后表面上具有后拨盘4e、功能按钮4f、方向操作按钮4g、OK按钮4h和再现按钮4i。这些各种操作按钮构成操作部4。

释放按钮4a用于在摄影模式中指示摄影定时，在拍摄时具有1st(半按)状态和2nd(全按)状态。WB按钮4b是在想进行白平衡调整时操作的按钮。参数设定按钮4c是用于在后述的基于手动操作的照明处理时，进行成为操作对象的照明处理参数的选择切换的按钮。在本实施方式中，构成为根据参数设定按钮4c的操作次数在预定次数(例如，4次)内循环地选择成为操作对象的照明处理参数。与根据操作次数选择的参数之间的对应关系将在后面描述。

此外，前拨盘4d、后拨盘4e是用于进行与通过WB按钮4b和参数设定按钮4c的操作而选择出的几种照明处理参数相关的参数值的变更的拨盘。方向操作按钮4g是用于进行与通过参数设定按钮4c的操作而选择出的几种照明处理参数相关的参数值的变更的按钮。这些操作按钮与变更的参数之间的对应关系将在后面描述。

此外，功能按钮4f是用于在摄影模式中设定伴随数字反光板处理的摄影模式的按钮，设为通过再次按压而解除的开关(toggle)结构。OK按钮4h是用于进行针对例如数字反光板处理的处理结果的确定的按钮。再现按钮4i是用于将数字照相机1的模式从摄影模式设定为再现模式的按钮，设为通过再次按压而解除再现模式的开关结构。

图3是示出数字照相机1的系统结构例的框图。本实施方式的数字照相机1具有控制部11。控制部11进行针对构成数字照相机1的各部的指示和数据转送等，由用于集中控制数字照相机1的动作的CPU构成。此外，数字照相机1除了前述的显示部3、操作部4以外，还具有程序数据存储部13、摄像部14、SDRAM 15、显示图像生成部16、图像处理部18、压缩解压缩部19、记录/再现部20、记录部21以及数字反光板功能部22。摄像部14、SDRAM 15、显示图像生成部16、图像处理部18、压缩解压缩部19、记录/再现部20以及数字反光板功能部22通过总线30与控制部11连接。

程序数据存储部13是例如闪存等的可以电改写的非易失性存储器。该程序数据存储部13预先存储用于使数字照相机1动作从而实现该数字照相机1具有的各种功能的CPU用的程序、在该程序的执行中使用的各种数据。

摄像部14用于由数字照相机1拍摄被摄体像并作为摄影图像输出，由照相机部和摄像处理部构成。照相机部由摄影镜头、摄像元件、光圈、快门、AF(autofocus：自动聚焦)机构、AF驱动电路、变焦机构以及变焦驱动机构等构成。此处，摄像元件由例如CCD或CMOS传感器等二维固体摄像元件构成，对通过包括摄影镜头的摄影光学系统2入射的被摄体像进行光电转换，并作为模拟电信号输出。摄像处理部除了包括摄像元件驱动电路以外，还在针对从摄像元件输出的模拟电信号实施了AGC(automatic gain control：自动增益控制)、CDS(correlated doublesampling：相关双取样)等模拟信号处理后，在A/D转换器中转换为数字电信号并进行输出。

SDRAM 15是用作临时存储存储器和工作区域的存储器，在利用显示图像生成部16生成显示用图像时也要使用。此外，显示图像生成部16用于生成显示在显示部3上的显示用图像。即，显示图像生成部16除了在摄影模式中生成即时取景图像，在再现模式中生成再现图像以外，还在数字反光板模式中根据后述的通过数字反光板功能部22进行照明处理后的摄影图像生成显示用图像。该显示图像生成部16具有编码器和D/A转换器等，包括用于使显示部3显示各种信息的驱动器，在数字反光板模式时使通过数字反光板功能部22生成的参数图像与显示用图像重叠地显示在显示部3上。

图像处理部18针对从摄像部14输出的摄影图像的数据实施像素插值处理、颜色校正处理、γ处理等各种图像处理，并且进行转换为适于记录用、显示用等的图像数据的处理。即，图像处理部18在记录时(摄影时)，针对记录图像实施记录用的图像处理，针对显示用的即时取景图像实施显示用的简单的图像处理。此外，在数字反光板模式时，将实施了预定的图像处理的摄影图像数据作为原始图像数据，临时存储在SDRAM15内并提供给数字反光板功能部22进行的照明处理等数字反光板处理。

压缩解压缩部19在将通常的摄影图像和通过数字反光板模式进行照明处理后的摄影图像的数据记录到记录部21中时，或显示记录在记录部21中的摄影图像的数据时等，进行基于公知的JPEG方式等的图像数据的压缩处理和解压缩处理。

记录/再现部20用于向记录部21写入摄影图像的数据或从记录部21读取摄影图像的数据，使用与记录部21的种类对应的类型。尤其是在本实施方式中，记录部21在针对后述的照明处理后的摄影图像通过OK按钮4h的操作指示保存时，保存记录照明处理后的摄影图像。此处，记录部21是例如xD-Picture Card(注册商标)或CompactFlash(注册商标)卡等的在照相机主体上装卸自如的记录介质或HDD。

数字反光板功能部22在本实施方式中构成照明处理装置。该数字反光板功能部22用于以对通过摄像部14拍摄到的摄影图像中的被摄体像如使用了反光板那样从外部施加基于虚拟辅助光的照明的方式，针对由数字数据构成的摄像图像进行基于预定数字图像处理的模拟照明处理，由此不会有不协调感觉地排除或减少被摄体的无用阴影。在本实施方式中，不通过以往那样的将反光板对着被摄体那样的直接的处理，而通过针对包括在拍摄到的摄影图像中的被摄体像的数字图像处理，与使用了反光板的摄像时具有相同的效果，因此称作“数字反光板功能”。此外特别是，将如从外部施加了虚拟照明那样的图像处理称作“模拟照明处理”。

图4(a)是用于说明本实施方式的基于数字反光板功能的照明处理的概念的示意图。图4(a)示出了通过照明处理变更了摄影图像是灰色图像的画面上的一部分的亮度的例子。即，在图4(a)中，将用圆表示的部分设为照明区域，针对该照明区域通过从成为正面近前侧的外部施加了虚拟照明那样的数字处理，局部地对亮度进行了修正处理。此处，虚拟照明如图4(a)中的照明强度分布所示，处理成随着高斯分布中心部变亮而周边部变暗，并且边界部不显眼。

此外，在图4(b)中如箭头所示，通过改变虚拟照明方向即照明方向，使高斯分布偏向一方，由此还能够变更针对用照明区域表示的范围的图像的照明处理图案。

本实施方式的数字反光板功能部22具有人脸检测部23、照明处理部24、阴影修正处理部25以及修补(make up)处理部26。人脸检测部23用于使用图案匹配等公知的技术，从由数字数据构成的摄影图像中检测人脸部分。数字反光板功能主要是在拍摄人物图像作为人像的情况下要求的功能，因此，在数字反光板模式中在摄影图像中包括人脸部分的情况下为了自动进行照明处理而设置了人脸检测部23。

照明处理部24构成数字反光板功能部22的主要部分，用于针对临时存储在SDRAM 15中的摄影图像进行模拟的照明处理。该照明处理部24具有参数确定部24a、参数图像生成部24b、照明加工部24c和数据保持部24d。

参数确定部24a用于确定表示照明处理的条件的照明处理参数。即，参数确定部24a确定照明区域、照明方向、照明强度、照明颜色等作为照明处理参数。“照明区域”是表示照明处理的摄影图像中的被摄体像的范围的参数。“照明方向”是表示照明处理中的虚拟照明方向的参数。“照明强度”是表示照明处理的强度的参数。“照明颜色”是用于通过改变白平衡从而局部地实施彩度变更处理来作为照明处理的参数。通常，反光板是无色的，但是考虑了还有使用附上了色彩的反光板的情况。

此处，参数确定部24a自动地或按照用户操作来确定照明处理参数。即，参数确定部24a在通过人脸检测部23检测到人脸部分的情况下，作为第一阶段的自动处理，根据检测到的人脸部分的大小确定“照明区域”，将“照明方向”确定为相对于检测到的人脸部分的实际环境光方向的相反方向，根据被摄体像的亮度的最大值，具体而言，根据检测到的人脸部分的最大亮度或人脸的阴影部分的亮度的至少任意一个来确定“照明强度”。这是因为只要实施用于降低摄影图像中的人脸附近的较明部分和较暗部分的对比度的照明处理即可，没有必要对摄影图像中的背景部分实施照明处理。此外，参数确定部24a按照与用户的喜好对应的用户操作确定照明处理参数来作为第二阶段的处理。

此外，参数图像生成部24b用于生成与照明处理后的摄影图像重叠地作为“数字反光板显示”显示在显示部3上的参数图像，作为表示照明处理参数的信息。即，参数图像生成部24b首先生成作为照明处理参数包括通过参数确定部24a的第一阶段的处理而自动确定的“照明区域”、“照明方向”和“照明强度”在内的参数图像。此外，参数图像生成部24b由于通过用户操作确定照明处理参数来作为参数确定部24a的第二阶段的处理，因此，生成作为照明处理参数包括“照明区域”、“照明方向”和“照明强度”的默认值在内的参数图像、和根据用户操作变更了参数值的参数图像。此外，参数图像生成部24b生成包括表示被摄体像的亮度的最大值的部位的显示的参数图像。如后所述，各参数等在数字反光板显示中标记化成预定形状来容易明白地进行显示。

照明加工部24c不论是自动还是用户操作，均用于通过与所确定的照明处理参数对应的加工条件对摄影图像实施预定的数字图像处理来实际执行模拟的照明处理。预定的数字图像处理是例如局部γ转换等的局部的亮度修正处理。通过照明加工部24c照明处理后的摄影图像的数据也临时存储在SDRAM 15中。

数据保持部24d临时存储各照明处理参数的默认数据和确定值，还预先存储了各参数的显示用标记形状的数据。

此外，阴影修正处理部25是数字反光板功能部22具有的附加的功能部，用于在通过人脸检测部23从摄影图像中检测到人脸部分的情况下，检测在检测到的人脸部分上产生的阴影，并修正检测到的阴影。该阴影修正处理部25具有阴影区域检测部25a、阴影区域亮度提升部25b、阴影区域平滑(smoothing)部25c以及阴影区域颜色噪声抑制部25d。

阴影区域检测部25a使用人脸检测部23的人脸部分的检测结果，根据人脸器官周围的亮度分布检测阴影区域。阴影区域亮度提升部25b、阴影区域平滑部25c以及阴影区域颜色噪声抑制部25d用于针对通过阴影区域检测部25a检测到的阴影区域分别实施亮度提升处理、平滑处理以及噪声抑制处理。

此外，修补处理部26是数字反光板功能部22具有的附加的功能部，用于在通过人脸检测部23从摄影图像中检测到人脸部分的情况下，按照检测到的人脸部分的各器官来进行特定的图像处理。即，本实施方式的基于数字反光板功能的图像处理在某种意义上，也是修补处理的一种，因此，除了上述基本的照明处理以外，还一并使用已有的修补处理技术，由此使人像等的被摄体像的完成作品变得更加美丽。该修补处理部26具有摄影光线加工部26a和皮肤平滑加工部26b来作为其代表例。

摄影光线加工部26a是进行以下处理的部分：在检测到人脸部分的情况下，进一步检测眼睛部分作为人脸器官，通过使摄影光线数据作为光点映入其瞳孔中来使瞳孔闪耀。图5(a)、图5(b)是示出摄影光线(catch light)映入前后的人脸图像例的说明图。摄影光线加工部26a还保存有映入的摄影光线数据。皮肤平滑加工部26b用于针对皮肤部分实施使皮肤光滑的均匀处理，以使人脸部分的皮肤变成光滑的感觉。除此以外，修补处理部26还可以包括使眼睛的白眼珠部分更白的处理、通过使光点映入嘴唇的最大亮度部分来使嘴唇出现光泽和立体感的处理、使沿着鼻子的左右的明暗边界变成直线状并且通过提升亮部侧的亮度来使鼻梁齐整的处理、以及在嘴中使牙齿的部分更白的处理等已有的各种修补处理。

在这种结构中，以下参照图6以后的附图对通过控制部11、显示图像生成部16、数字反光板功能部22等执行的数字反光板摄影进行说明。图6是示出数字反光板模式的摄影处理控制例的概略流程图。

此处，针对在摄影模式中，半按释放按钮4a从而处于1st状态的情况进行说明。在该状态下，在按下从而打开用“Fn”表示的功能按钮4f(步骤S1：是)，并且全按释放按钮4a从而处于2nd打开状态时(步骤S2：是)，进行数字反光板模式的摄影。结果，在释放按钮4a处于全按状态时，也进行没有记录在记录部21中的预备摄影(以下称作测试摄影)(步骤S3)。因此，通过摄像部14测试摄影到的摄影图像的数据作为原始图像的数据临时存储在SDRAM 15中。此外，在SDRAM 15内，设置有直接存储没有实施数字反光板处理的原始的摄影图像数据的原始图像数据存储区域、和存储对原始图像数据实施了数字反光板处理后的处理后的摄影图像数据的处理后图像数据存储区域。此外，在测试摄影后，在显示部3上显示摄影确认图像(重放图像)(步骤S4)。此时的摄影确认图像是通过显示图像生成部16生成的显示用图像，每当实施数字反光板处理时，将处理后的照明处理后的摄影图像作为显示用图像进行显示。

接着，关于测试摄影到的摄影图像，检查是否已通过人脸检测部23检测到人脸部分(人脸检测打开)(步骤S5)。在检测到人脸部分的情况下(步骤S5：是)，针对检测到的人脸部分执行自动进行第一阶段的数字反光板处理的人脸检测处理(步骤S6)。在没有检测到人脸部分的情况下(步骤S5：否)，跳过步骤S6的处理。步骤S6的人脸检测处理将在后面描述。

之后，判定用Fn表示的功能按钮4f是否从关闭以跳动方式切换为打开(步骤S7)，进一步判定当前数字反光板显示是否关闭(步骤S8)。如果功能按钮4f从关闭切换为打开(步骤S7：是)，且当前数字反光板显示没有关闭(步骤S8：否)，则关闭数字反光板显示(步骤S11)，并转移到步骤S12。此外，在按下了OK按钮4h的情况下(步骤S12：是)，设为保存指示，执行将进行了包括照明处理的数字反光板处理后的摄影图像记录到记录部21中的记录处理(步骤S13)。即，将通过步骤S6的人脸检测处理自动进行了数字反光板处理后的摄影图像记录到记录部21中。在没有按下OK按钮4h的情况下(步骤S12：否)，返回步骤S7的处理。

另一方面，如果功能按钮4f从关闭切换为打开(步骤S7：是)，但当前数字反光板显示为关闭(步骤S8：是)，则打开数字反光板显示(步骤S9)，执行基于用户操作的数字反光板处理(步骤S10)。此外，在功能按钮4f没有从关闭切换为打开的情况下(步骤S7：否)，执行步骤S10的基于用户操作的数字反光板处理。步骤S9的数字反光板显示、步骤S10的数字反光板处理将在后面描述，处理后将显示用图像作为摄影确认图像显示在显示部3上，供用户确认。此外，在按下了OK按钮4h的情况下(步骤S12：是)，设为保存指示，执行将进行了包括照明处理的数字反光板处理后的摄影图像记录到记录部21中的记录处理(步骤S13)。即，将根据用户操作通过步骤S12的数字反光板处理进行了数字反光板处理后的摄影图像记录到记录部21中。在没有按下OK按钮4h的情况下(步骤S12：否)，返回步骤S7的处理。

接着，参照图7和图8对步骤S6的人脸检测处理进行说明。图7是示出步骤S6的人脸检测处理的子程序，图8是示出从人脸检测向照明处理的转移过程的说明图。首先，在从摄影图像中检测到人脸部分来作为被摄体像的情况下，人脸检测部23进一步依次检测该人脸位置、人脸器官、阴影位置和太阳等的环境光的方向(步骤S21～S24)。例如，在图8(a)所示的包括人物的人脸部分的摄影图像中，通过利用其数字数据具有的信息，在线框的形状内识别人脸部分的位置和大小，并且检测眼睛、鼻子、嘴等人脸器官，通过这些人脸器官附近的人脸图像的亮度分布检测阴影(实际的环境光的照射方向)。在图示例的情况下，示出了从被摄体侧观察时，在从人脸的右侧稍下方照射环境光的状态下拍摄到的图像例。

在这样通过人脸检测部23检测到必要的人脸信息的情况下(步骤S25：是)，照明处理部24中的参数确定部24a根据检测到的人脸部分的位置和大小来确定照明处理的被摄体像的范围即照明区域(步骤S26)。虽然照明区域的形状没有特别限制，但是在本实施方式中，用例如照明圆圈形成的圆形区域进行规定。此外，参数确定部24a以与相对于检测到的被摄体像(人脸部分)的实际环境光的照射方向成为相反方向的方式，确定照明处理中的虚拟照明方向即照明方向(步骤S27)。此外，参数确定部24a根据检测到的人脸部分中的最大亮度和阴影亮度的比率，确定照明处理的强度即照明强度(步骤S28)。此外，此时的照明处理成为基于人脸检测的自动处理，因此不进行与白平衡处理对应的照明颜色的确定。此外，参数确定部24a根据人脸部分中的最大亮度和阴影亮度的比率来确定照明强度，但是也可以仅通过人脸部分中的最大亮度或阴影亮度来简单地确定照明强度。

将这样确定的照明区域、照明方向和照明强度的确定值的数据作为该数字照相机1的存储值保持在数据保持部24d中(步骤S29)。

接着，照明加工部24c使用这样确定的照明区域、照明方向和照明强度的数据，针对摄影图像中的人脸部分实施照明处理(步骤S30)。在图8(a)所示的摄影图像中的人脸图像的情况下，成为以下那样的模拟处理：将照明方向确定成从被摄体侧观察时，从人脸的左侧稍上方向右，通过局部γ转换处理对整个人脸部分施加与该照明方向对应的照明强度分布的虚拟照明。此外，通过阴影修正处理部25进行阴影修正处理(步骤S31)，并且通过修补处理部26进行修补处理(步骤S32)。

此外，进行了这些一系列处理后的摄影图像通过显示图像生成部16生成为显示用图像并再次显示在显示部3上(步骤S33)，供用户确认。此处，照明处理部24中的参数图像生成部24b将根据人脸部分通过参数确定部24a分别确定的照明区域、照明方向和照明强度作为照明处理参数来生成参数图像，以供再次显示。

图8(b)是示出由参数图像生成部24b生成的参数图像与基于照明处理后的摄影图像的显示用图像进行重叠显示的情况的说明图。在本实施方式中，构成为生成例如照明区域为圆圈形状的标记M1、照明方向为以标记M1的中心为始点的箭头形状的标记M2的参数图像，照明强度用箭头形状的标记M2的长度显示。此外，图8(b)中示出的照明强度分布的特性用于表示局部γ转换的参考，在显示部3上不进行显示。

接着，参照图9和图10对步骤S31的阴影修正处理进行说明。图9是示出步骤S31的阴影修正处理的子程序，图10是示出针对阴影区域的阴影修正前后的图像例的说明图。首先，在阴影区域修正之前，使用人脸检测部23，从摄影图像中检测人脸位置和人脸区域、以及眼睛、鼻子和嘴等的人脸器官(步骤S41、S42)。这是因为在鼻子等的附近产生阴影。此时的检测处理与前述的人脸检测处理的情况相同即可。此外，阴影区域检测部25a根据这些检测结果，检测阴影区域(步骤S43)。在该检测处理中，首先在检测到的人脸区域中提取亮度比人脸区域整体的平均亮度要低的区域来作为阴影区域。不过，例如以连接眼睛和眼睛的线为基准，从所提取的阴影区域排除人脸的上部，以不在阴影区域中包括头发。此外，颈围容易成为阴影，但是因为不包括在人脸区域中，所以将在嘴下面的区域中与人脸相同色调的区域增加到检测到的阴影区域，从而在阴影区域中还包括从颈部到下巴的周围来设为修正对象。图10(a)示出了如下情况：例如在从被摄体侧观察时，从人脸的右侧照射环境光，在从被摄体侧观察时，提取出在人脸的右侧和鼻子的右侧用黑色涂抹表示的阴影区域。还一并示出了在阴影区域中增加了颈围的情况。

接着，阴影区域亮度提升部25b进行仅提升所提取的阴影区域的亮度的阴影区域亮度提升处理(步骤S44)。例如，图10(b)示出了针对如图10(a)所示提取出阴影部分(轮廓)的人脸图像进行了阴影修正处理后的图像。即，是模糊轮廓并且提升了阴影区域的亮度。由此，颈部和人脸的阴影部分的亮度提升，成为与周围融合的图像。此时，以相对于所提取的阴影区域认识人脸以局部地增强噪声滤波器的方式进行处理。此外，阴影区域平滑部25c仅针对所提取的阴影区域进行平滑处理(步骤S45)。用于修正与提升阴影区域的亮度相伴的明暗的凹凸。

此外，阴影区域颜色噪声抑制部25d进行将检测到的人脸区域的色相/彩度明显偏离的阴影区域的像素修正为与人脸区域的色相/彩度接近的颜色的阴影区域颜色噪声抑制处理(步骤S46)。即，在摄影时使用的反光板的情况下，实际上对人脸部分等照射反光板的反射光来进行拍摄，因此摄影图像的数据中不包括噪声。但是，如本实施方式的数字反光板功能那样，在伴随基于数字数据的图像数据上的乘法等运算处理的情况下，包括噪声分量不可避免，产生与人脸的基本色远离的颜色即红、蓝、绿等颜色噪声。尤其是，容易变成阴影的下巴部分等仅是变亮将会浮现斑点图案。因此，例如通过阴影区域颜色噪声抑制部25d使彩度降低，由此抑制颜色噪声。

接着，参照图11～图17对图6中示出的步骤S9的数字反光板显示和步骤S10的数字反光板处理进行说明。数字反光板处理是在数字反光板模式中，与是否通过人脸检测处理针对人脸部分进行了自动的数字反光板处理无关地，根据针对显示在显示部3上的包括照明处理的数字反光板处理后的摄影图像(显示用图像)的用户操作进行的选择性处理。图11和图12是示出步骤S10的数字反光板处理的子程序，图13～图17是示出与用户操作对应的参数图像的显示(数字反光板显示)例的说明图。

此处，在数字反光板处理之前，针对数字反光板显示进行说明。图13是示出数字反光板显示的一个例子的说明图。数字反光板显示是将通过参数图像生成部24b生成的参数图像与通过显示图像生成部16生成的显示用图像(照明处理后的摄影图像)重叠显示在显示部3上的显示，供通过用户操作来确定照明处理参数。

参数图像生成部24b生成作为照明处理参数包括表示照明处理的被摄体像的范围的照明区域、表示照明处理中的虚拟照明方向的照明方向以及表示照明处理的强度的照明强度在内的参数图像。此外，参数图像生成部24b生成包括在默认状态下表示被摄体像的亮度的最大值的部位的显示在内的参数图像。

此时，在本实施方式中，例如如图13所示那样，设定为生成照明区域为表示大小的圆圈形状的标记M11以及位于标记M11外周的上下左右来表示移动方向的三角形状的标记M12，照明方向为以标记M11的中点为始点的箭头形状的标记M2的参数图像，照明强度用箭头形状的标记M2的长度显示。此外，在默认状态下表示被摄体像的亮度的最大值的部位的显示设定为，用对例如吸取并利用该部位的亮度信息进行图像化而得到的吸液管形状的标记M3显示。

此外，作为这种重叠在显示用图像上的参数图像的初始设定，将标记M11设定在显示部3的画面中心位置上，将其大小设定为画面的大约1/4。此外，将标记M2设定在显示部3的画面中心位置上，将箭头的方向设定为从画面中的较暗一方朝向较亮一方。此外，将标记M3设定为显示在默认状态下被摄体像的亮度为最大值的部位。

此外，针对这些照明处理参数的选择和该参数值的变更操作的对应关系进行说明。例如，在参数设定按钮4c的操作次数设为A时，作为能够变更操作的照明处理参数，在A＝0时选择用标记M12表示的照明区域的位置，在A＝1时选择用标记M2的长度、朝向表示的照明强度和方向，在A＝2时选择用标记M11的大小表示的照明范围，在A＝3时选择用吸液管形状的标记M3表示的亮度信息提取位置。这些参数和操作部4的关系例如是，与标记M2的长度相当的照明强度能够通过操作前拨盘4d来变更参数值，标记M2的强度方向和标记M11的大小的照明范围能够通过操作后拨盘4e来变更参数值，标记M12、M3的照明区域的位置和亮度信息提取的位置能够通过操作方向操作按钮4g来变更参数值。此外，照明颜色能够通过操作WB按钮4b和前拨盘4d或后拨盘4e来变更参数值。

在这种设定下，在数字反光板处理中，监视参数设定按钮4c是否从关闭变化到打开(步骤S101)。在已变化的情况下(步骤S101：是)，增加与参数设定按钮4c的操作次数相关的变量A(步骤S102)。此外，在变量A比3大的情况下或比0小的情况下(步骤S103：是)，将变量A的值返回到0以使变量A在0～3之间循环变化(步骤S104)。此外，在参数设定按钮4c没有变化的情况下(步骤S101：否)，跳过步骤S102的处理，在变量A在0以上3以下的情况下(步骤S103：否)，跳过步骤S104的处理。

接着，判定变量A的值。首先，在A＝0的情况下(步骤S105：是)，例如在图13中用黑色涂抹区别所示，激活标记M12(步骤S106)。即，设为能够进行照明区域的位置变更操作。此外，在A＝1的情况下(步骤S107：是)，例如在图14(a)中用黑色涂抹区别所示，激活标记M2(步骤S108)。即，设为能够进行照明强度或方向的变更操作。此外，在A＝2的情况下(步骤S109：是)，例如在图15(a)中用黑色涂抹区别所示，激活标记M11(步骤S110)。即，设为能够进行照明区域的大小的变更操作。此外，在A＝3的情况下(步骤S111：是)，例如在图16中用黑色涂抹区别所示，激活标记M3(步骤S112)。即，设为能够进行亮度信息提取位置的变更操作。此时，在标记M3的外周上附加有表示上下左右的移动方向的三角形状的标记M32。

接着，判定是否操作了方向操作按钮4g(步骤S113)。在操作了方向操作按钮4g的情况下(步骤S113：是)，如果变量A＝0(步骤S114：是)，则标记M12处于激活状态，按照方向操作按钮4g的操作在上下左右的任意一个方向上移动用标记M11所示的照明区域的位置(步骤S115)。

如果不是A＝0(步骤S114：否)，而是变量A＝3(步骤S116：是)，则标记M3、M32处于激活状态，按照方向操作按钮4g的操作在上下左右的任意一个方向上移动用标记M3所示的亮度信息提取位置(步骤S117)。接着，参数确定部24a从移动后的亮度信息提取位置的图像数据中提取亮度信息(步骤S118)，并使用所提取的亮度信息计算照明强度(步骤S119)。

在没有操作方向操作按钮4g的情况下(步骤S113：否)，跳过步骤S114～S119的处理，判定是否操作了前拨盘4d(步骤S120)。在操作了前拨盘4d的情况下(步骤S120：是)，如果变量A＝1(步骤S121：是)，则标记M2处于激活状态，按照前拨盘4d的操作变更用标记M2的长度表示的照明强度(步骤S122)。图14(b)示出了按照前拨盘4d的操作变更标记M2的长度(照明强度)的情况。

此外，判定是否操作了后拨盘4e(步骤S123)。在操作了后拨盘4e的情况下(步骤S123：是)，如果变量A＝1(步骤S124：是)，则标记M2处于激活状态，按照后拨盘4e的操作旋转移动标记M2从而变更照明方向(步骤S125)。图14(c)示出了按照后拨盘4e的操作变更标记M2的方向(照明方向)的情况。

另一方面，在操作了后拨盘4e的情况下，如果变量A＝2(步骤S126：是)，则标记M11处于激活状态，按照后拨盘4e的操作使标记M11在半径方向上移动，由此变更照明范围(步骤S127)。图15(b)示出了按照后拨盘4e的操作变更标记M11的大小(照明范围)的情况。

此外，在没有操作前拨盘4d和后拨盘4e的情况下(步骤S120：否、步骤S123：否)，或虽然进行了操作但不是变量A＝1或A＝2的情况下(步骤S121：否、步骤S124：否、步骤S126：否)，跳过步骤S122、步骤S125和步骤S127的处理。

此外，在按下WB按钮4b且操作了前拨盘4d或后拨盘4e的情况下(步骤S128：是)，按照拨盘操作变更照明颜色(步骤S129)。图17如用阴影区别示出标记M11部分那样，示出了按照拨盘操作变更标记M11的颜色的情况。即，随着变更的照明颜色的色温，变更标记M11部分的显示颜色。

接着，照明加工部24c使用这样通过用户操作确定的照明区域、照明方向、照明强度以及照明颜色的数据，针对摄影图像中的人脸等的照明区域内的被摄体像实施照明处理(步骤S130)。此外，在摄影图像中包括人脸部分的情况下，通过阴影修正处理部25进行阴影修正处理(步骤S131)，并且通过修补处理部26进行修补处理(步骤S132)。这些处理与步骤S30～S32的情况相同。

此外，进行了这些照明处理等的一系列处理后的摄影图像通过显示图像生成部16生成为显示用图像并再次显示在显示部3上(步骤S133)，在按下OK按钮4h之前，供用户再次确认。

此外，虽然没有特别图示，但是即使在通过按下再现按钮4i而设定为再现模式的情况下，通过按下功能按钮4f来设定为数字反光板模式，将再现图像作为显示用图像来进行与步骤S9的情况相同的数字反光板显示，并进行与步骤S10的情况相同的数字反光板处理，由此也能够进行包括将再现图像(摄影完毕的摄影图像)设为对象的照明处理的数字反光板处理。

由此，根据本实施方式，具有以从外部向摄影图像的被摄体像施加虚拟照明的方式，针对摄像图像进行基于预定图像处理的模拟照明处理的照明处理部24，由此通过以从外部向被摄体像施加虚拟照明的方式进行预定的图像处理，能够不会有不协调感觉地减少被摄体的阴影，能够得到如使用了反光板那样的高级的摄影图像，而不用使用反光板。

此时，照明处理部24具有确定表示照明处理的条件的照明处理参数的参数确定部24a，和作为表示照明处理参数的信息生成与照明处理后的摄影图像重叠地显示在显示部3上的参数图像的参数图像生成部24b，因此，能够一边观察照明处理后的摄影图像，一边通过参照重叠后的参数图像来用简单的操作容易地进行基于用户操作的照明处理参数的确定。

此外，参数确定部24a确定包括照明处理的被摄体像的范围、照明处理中的虚拟照明方向、照明处理的强度以及照明处理中的白平衡在内的参数来作为照明处理参数，因此能够进行适当的照明处理。尤其是关于照明处理的强度，基本上根据被摄体像的亮度的最大值来确定，因此能够进行适当的强度修正。此时，参数图像生成部24b使参数图像包括表示被摄体像的亮度的最大值的部位的显示，因此用户容易明白。

此外，参数图像生成部24b生成作为照明处理参数包括表示照明处理的被摄体像的范围的照明区域、表示照明处理中的虚拟照明方向的照明方向以及表示照明处理的强度的照明强度在内的参数图像，因此，在通过用户操作确定照明处理参数时，成为确定对象的照明处理参数容易明白，从而提高操作性。

此外，根据本实施方式，照明处理部24针对存储在SDRAM15中的摄影图像实施照明处理，在指示保存照明处理后的摄影图像的情况下，将照明处理后的摄影图像保存记录到记录部21中，因此，能够如期望地适当地保存记录照明处理后的摄影图像。

此外，根据本实施方式，还包括在摄影图像中检测人脸部分的人脸检测部23，因此在人像摄影那样的情况下，能够针对检测到的人脸部分自动实施使用了根据人脸部分具有的图像信息自动确定的照明处理参数的照明处理，并且还能够适当地实施使用了通过用户操作确定的照明处理参数的用户期望的照明处理。

此外，根据本实施方式的数字反光板功能部22，除了照明处理部24以外，还具有阴影修正处理部25和修补处理部26，因此能够在人像摄影那样的情况下，针对摄影图像中的被摄体像实施更有效的修正处理。尤其是，阴影修正处理部25具有对检测到的人脸部分的阴影区域进行检测的阴影区域检测部25a、提升阴影区域的亮度的阴影区域亮度提升部25b、针对阴影区域进行平滑处理的平滑处理部25c以及修正阴影区域的颜色的阴影区域颜色噪声抑制部25d，因此，能够适当地修正相对于人脸部分的阴影区域。

此外，在此前的说明中，针对测试摄影到的图像进行数字反光板处理的情况进行了说明，但是数字反光板处理的定时不限于此。只要能够高速进行数字反光板处理，则也可以在即时取景图像的显示中执行数字反光板处理，将数字反光板处理后的图像作为即时取景图像进行显示。由此，能够在即时取景图像中确认数字反光板的效果来进行摄影，或者还能够简单地适当设定数字反光板的各条件。

本发明不限于上述实施方式，在不脱离本发明的主旨的范围内，能够进行各种变形。例如，针对本实施方式中的图6～图7、图9、图11～图12所示的各处理功能，在图3所示的框图中，以通过数字反光板功能部22等的硬件、控制部11的软件来进行处理的方式进行了说明，但是构成的具体例不限于此。设计事项是通过硬件处理和软件处理的任意一个或适当组合它们而进行的。例如，也可以通过软件处理来实现数字反光板功能部22的所有处理。

此外，在实施方式的全部或一部分用软件处理来执行处理的情况下，控制部11读取存储在程序数据存储部13中的照明处理用程序(数字反光板处理用程序)并执行即可，这种与软件处理相关的照明处理用程序也成为本发明。此外，记录有这种照明处理用程序的记录介质也成为本发明。此外，作为存储程序的记录介质，不限于闪存，还可以是CD-ROM、DVD-ROM等光学记录介质、MD等磁记录介质、磁带介质和IC卡等半导体存储器。此外，作为照明处理用程序，当然还包括经由网络从外部的记录介质取得的程序，例如从主页下载的程序。在这种情况下，用户用来下载的WWW服务器和ftp服务器等也包括在本发明的范围内。

此外，在本实施方式中，以在数字照相机1中安装了该数字反光板功能部22的例子进行了说明，但当然不限于此。上述实施方式的数字反光板功能部22也可以作为照明处理装置适用于便携电话或图像显示装置(图像浏览器)。此外，作为摄像装置不限于数字照相机1，也可以适用于例如个人计算机的照相机部或便携电话的照相机部等。

进一步的效果和变形例能够由本领域技术人员容易地推导出。由此，本发明的更宽泛的形式不限于以上那样表达且记述的特定的详细的且有代表性的实施方式。由此，只要不脱离通过附件的权利要求和其对等物定义的总括的发明的概念精神或范围，则能够进行各种变更。

Claims (15)

1.一种摄像装置，其特征在于，该摄像装置具有：

摄像部，其输出被摄体像作为摄影图像；

照明处理部，其以从外部对摄影图像的被摄体像施加虚拟照明的方式，针对所述摄影图像进行基于预定图像处理的模拟照明处理；

显示图像生成部，其根据所述照明处理后的摄影图像生成显示用图像；

显示部，其显示所述显示用图像；以及

记录部，其记录所述照明处理后的摄影图像，

所述照明处理部具有：

参数确定单元，其确定表示所述照明处理的条件的照明处理参数；

参数图像生成单元，其生成与所述照明处理后的摄影图像重叠地显示在所述显示部上的参数图像，作为表示所述照明处理参数的信息；以及

照明加工单元，其根据所确定的所述照明处理参数来对所述摄影图像进行照明处理。

2.根据权利要求1所述的摄像装置，其特征在于，所述参数确定单元确定包括所述照明处理的被摄体像的范围、所述照明处理中的虚拟照明方向、所述照明处理的强度以及所述照明处理中的白平衡在内的参数，作为所述照明处理参数。

3.根据权利要求1所述的摄像装置，其特征在于，所述参数确定单元根据被摄体像的亮度的最大值来确定所述照明处理的强度。

4.根据权利要求1所述的摄像装置，其特征在于，所述参数图像生成单元使所述参数图像包括表示被摄体像的亮度的最大值的部位的显示。

5.根据权利要求1所述的摄像装置，其特征在于，所述参数图像生成单元生成参数图像，所述参数图像作为所述照明处理参数包括表示所述照明处理的被摄体像的范围的照明区域、表示所述照明处理中的虚拟照明方向的照明方向以及表示所述照明处理的强度的照明强度。

6.根据权利要求1所述的摄像装置，其特征在于，所述照明处理部针对存储在临时存储部中的所述摄影图像实施照明处理，

所述记录部在被指示保存所述照明处理后的摄影图像的情况下，保存记录该照明处理后的摄影图像。

7.根据权利要求1所述的摄像装置，其特征在于，

该摄像装置还具有人脸检测部，所述人脸检测部在摄影图像中检测人脸部分，

在所述参数确定单元中，

根据检测到的人脸部分的大小，确定所述照明处理的被摄体像的范围即照明区域，

将所述照明处理中的虚拟照明方向即照明方向确定为相对于检测到的人脸部分的实际环境光方向的相反方向，

根据检测到的人脸部分的最大亮度或人脸部分的阴影亮度的至少任意一个，确定所述照明处理的强度即照明强度。

8.根据权利要求7所述的摄像装置，其特征在于，所述参数图像生成单元将由所述参数确定单元分别确定的照明区域、照明方向以及照明强度作为所述照明处理参数，生成参数图像。

9.一种照明处理装置，其特征在于，该照明处理装置具有：

参数确定单元，其确定照明处理参数，所述照明处理参数表示以从外部对摄影图像的被摄体像施加虚拟照明的方式，针对所述摄影图像通过预定的图像处理模拟进行的照明处理的条件；

参数图像生成单元，其生成与所述照明处理后的摄影图像重叠地进行显示的参数图像，作为表示所确定的所述照明处理参数的信息；以及

照明加工单元，其根据所确定的所述照明处理参数来对所述摄影图像进行照明处理。

10.根据权利要求9所述的照明处理装置，其特征在于，

该照明处理装置还具有人脸检测部，所述人脸检测部在摄影图像中检测人脸部分，

在所述参数确定单元中，

根据人脸部分的大小，确定所述照明处理的被摄体像的范围即照明区域，

将所述照明处理中的虚拟照明方向即照明方向确定为相对于检测到的人脸部分的实际环境光方向的相反方向，

根据人脸部分的最大亮度或人脸部分的阴影亮度的至少任意一个，确定所述照明处理的强度即照明强度。

11.一种照明处理方法，其特征在于，该照明处理方法具有：

参数确定步骤，确定照明处理参数，所述照明处理参数表示以从外部对摄影图像的被摄体像施加虚拟照明的方式，针对所述摄影图像通过预定的图像处理模拟进行的照明处理的条件；

参数图像生成步骤，生成与所述照明处理后的摄影图像重叠地进行显示的参数图像，作为表示所确定的所述照明处理参数的信息；以及

照明加工步骤，根据所确定的所述照明处理参数来对所述摄影图像进行照明处理。

12.一种照明处理装置，其特征在于，该照明处理装置具有：

人脸检测部，其在摄影图像中检测人脸部分；

照明处理部，其以从外部对所述检测到的人脸部分施加虚拟照明的方式，针对所述检测到的人脸部分进行基于预定图像处理的模拟照明处理；

阴影修正处理部，其检测在所述检测到的人脸部分上产生的阴影，并修正检测到的阴影；以及

修补处理部，其按照所述检测到的人脸部分的各器官来进行特定的图像处理。

13.根据权利要求12所述的照明处理装置，其特征在于，

所述阴影修正处理部具有：

阴影区域检测部，其检测所述检测到的人脸部分的阴影区域；

阴影区域亮度提升部，其提升所述检测到的阴影区域的亮度；

平滑处理部，其针对所述检测到的阴影区域进行平滑处理；以及

阴影区域颜色噪声抑制部，其修正所述检测到的阴影区域的颜色。

14.根据权利要求12所述的照明处理装置，其特征在于，所述修补处理部对所述检测到的人脸的眼睛部分施加摄影光线图像，作为所述特定的图像处理。

15.一种照明处理方法，其特征在于，该照明处理方法具有：

人脸检测步骤，在摄影图像中检测人脸部分；

照明处理步骤，以从外部对所述检测到的人脸部分施加虚拟照明的方式，针对所述检测到的人脸部分进行基于预定图像处理的模拟照明处理；

阴影修正步骤，检测在所述检测到的人脸部分上产生的阴影，并修正检测到的阴影；以及

修补处理步骤，按照所述检测到的人脸部分的各器官来进行特定的图像处理。

Images