CN106664366A - 图像处理装置、摄像装置、图像处理方法以及程序 - Google Patents

Abstract

本发明的目的是提供一种图像处理装置、摄像装置、图像处理方法以及程序，能够使用如下图像准确地进行主要被摄体区域和背景区域的判定，所述图像通过包括实际拍摄在内的两次拍摄而获得，并且是抑制了噪声的影响、由于被摄体的移动产生的抖动以及手抖的影响的图像。本发明的优选方式所涉及的图像处理装置(31)具备：图像获取部(41)，其获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，第1闪光发射图像通过发射闪光进行实际拍摄而得，第2闪光发射图像通过以与第1闪光发射图像的曝光时间不同的曝光时间对与第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；比例计算部(43)，其计算各区域中的第1摄像信号与第2摄像信号的信号比例；以及判定部(45)，其根据阈值判定为主要被摄体区域和背景区域。

Description

图像处理装置、摄像装置、图像处理方法以及程序

技术领域

本发明涉及一种图像处理装置、摄像装置、图像处理方法以及程序，尤其涉及在图像数据中分离主要被摄体区域和背景区域的技术。

背景技术

在发射闪光进行拍摄的情况下，在被摄体距离近的主要被摄体和被摄体距离远的背景中，主要是受影响的光源不同。即，被摄体距离近且闪光容易到达的主要被摄体主要受到来自闪光的影响而被拍摄，被摄体距离远且闪光难以到达的背景主要受来自环境光的影响而被拍摄。

在主要被摄体和背景中受影响的光源不同的情况下，要求对主要被摄体映现出的图像的区域(以下，称作“主要被摄体区域”)和背景映现出的图像的区域(以下，称作“背景区域”)进行适于各区域的图像处理。

具体而言，在通过白平衡处理(以下，称作“WB处理”)使主要被摄体区域的色相(色彩平衡)良好的情况下，要求将消除闪光的影响的白平衡增益(以下，称作“WB增益”)应用于主要被摄体区域。另一方面，在通过WB处理使背景区域的色相(色彩平衡)良好的情况下，要求将消除环境光的影响的WB增益应用于背景区域。因此，有时很难通过对构成图像的整个区域应用共同的WB增益来兼顾主要被摄体区域的色相(色彩平衡)和背景区域的色相(色彩平衡)。

因此，已知有通过多区域白平衡处理(以下，称作“多区域WB处理”)在主要被摄体区域和背景区域应用不同的白平衡增益(以下，称作“WB增益”)的方法。根据多区域WB处理，即使是来自多个光源的光线按照每一个区域不同的比率照射于被摄体的图像，也能够适当地校正各区域的色相(色彩平衡)。

但是，在进行多区域WB处理的情况下，需要准确地判定主要被摄体区域和背景区域，如果主要被摄体区域和背景区域的判定不准确，反而会成为不自然的图像。因此，关于主要被摄体区域和背景区域的判定，一直以来考虑了各种方法。

例如，在专利文献1中，作为分离主要被摄体区域和背景区域的技术，公开有获取对同一场景发射闪光而拍摄的图像和不发射闪光而拍摄的图像，并根据所获取的两张图像的差分分离主要被摄体区域和背景区域的方法。

在专利文献2中，公开有对同一场景加强闪光的发射强度而拍摄的图像和减弱闪光的发射强度而拍摄的图像，并根据该获取的两张图像的差分分离主要被摄体区域和背景区域的方法。

现有技术文献

专利文献

专利文献1：日本特开2000-308068号公报

专利文献2：日本特开2009-200924号公报

发明内容

发明所要解决的问题

然而，专利文献1所记载的技术在不发射闪光而对黑暗场景进行拍摄的情况下，需要放慢快门速度获得足够的光量，以防止产生过黑。在放慢快门速度拍摄的图像中，产生因主要被摄体移动导致的图像的抖动或因手抖导致的图像的抖动的可能性变高。有抖动的图像的主要被摄体区域和背景区域的边界变得不清晰，无法准确地进行主要被摄体区域和背景区域的分离。

若对这种未准确地进行主要被摄体区域和背景区域的分离的图像进行多区域WB处理，则反而成为不自然的图像。

另一方面，即使在不发射闪光的情况下也为了抑制抖动的产生而高速维持快门速度时，光量(例如用亮度值表示)不足的区域无法判别图像的摄像信号和噪声。另外，若将快门速度从1/4秒加快到1/64秒，则基于环境光的亮度变成1/16。具体而言，就以8比特(bit)计为70的亮度而言，若亮度成为1/16，则下降到4.375，亮度下降到4.375的区域难以与噪声进行区分。

而且，专利文献1所记载的技术存在无法准确地判定接近室内灯的主要被摄体区域的情况。即，在多个人物为主要被摄体的情况下，接近室内灯且闪光也照射到的人物的明度由于动态范围的上限而无法准确地被呈现，即使是主要被摄体区域，闪光的发射图像与非发射图像的差分也成为阈值以下，有时无法准确地判定主要被摄体区域和背景区域。

并且，在专利文献2所记载的技术中，通过实际拍摄(适当曝光的拍摄)获取的图像无法使用于分离主要被摄体区域和背景区域。即，专利文献2所记载的技术需要获取实际拍摄而得的图像、闪光的发射强度强的图像以及闪光的发射强度弱的图像，导致需要对同一场景进行至少3次拍摄。

本发明是鉴于这种情况而完成的，其目的在于提供一种能够使用通过包括实际拍摄在内的两次拍摄而获得的图像、并且是抑制了噪声的影响、由于被摄体的移动产生的抖动以及手抖的影响的图像，准确地进行主要被摄体区域和背景区域的判定的图像处理装置、摄像装置、图像处理方法以及程序。

用于解决问题的手段

作为本发明的一方式的图像处理装置，其具备：图像获取部，其获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，第1闪光发射图像通过发射闪光进行实际拍摄而得，第2闪光发射图像通过以与第1闪光发射图像的曝光时间不同的曝光时间对与第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；比例计算部，其计算与第1摄像信号的各区域对应的第2摄像信号的各区域中的第1摄像信号与第2摄像信号的信号比例；以及判定部，其在第1闪光发射图像中根据信号比例和阈值判定主要被摄体区域和背景区域。

根据本方式，由于根据对同一场景发射闪光而获得的两张闪光发射图像的信号比例判定主要被摄体区域和背景区域，因此可以在图像中抑制噪声的影响、被摄体的抖动的影响以及手抖的影响，从而能够准确地进行主要被摄体区域和背景区域的判定。尤其根据本方式，可以在主要被摄体区域和背景区域的边界进行适当的判定。并且，根据本方式，由于通过实际拍摄而获得的图像也用于主要被摄体区域和背景区域的判定，因此能够利用通过包括实际拍摄在内的至少两次拍摄而获得的图像进行判定。

优选比例计算部获取与第1摄像信号的各区域对应的第2摄像信号的各区域中的第1摄像信号和第2摄像信号的信号变化量，并计算信号变化量与基于各区域的第1摄像信号或第2摄像信号的值的比例即信号比例，判定部在第1闪光发射图像中，将信号比例为阈值以下的区域判定为主要被摄体区域，将信号比例大于阈值的区域判定为背景区域。

根据本方式，计算第1闪光发射图像和第2闪光发射图像的信号变化量，根据基于信号变化量的信号比例进行主要被摄体区域和背景区域的判定。由此，本方式能够根据第1闪光发射图像与第2闪光发射图像的差分准确地进行主要被摄体区域和背景区域的判定。

优选判定部在第1闪光发射图像中，将信号比例为阈值以上的区域判定为主要被摄体区域，将信号比例小于阈值的区域判定为背景区域。

根据本方式，由于根据阈值进行主要被摄体区域和背景区域的判定，因此能够进行更加准确的判定。

优选第1闪光发射图像的曝光时间比闪光的发射时间长。

根据本方式，由于通过实际拍摄而获得的第1闪光发射图像的曝光时间比闪光的发射时间长，因此能够使用确保了通过实际拍摄而获得的足够的明度的图像进行判定。

优选第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短。

根据本方式，由于通过参照拍摄而拍摄的第2闪光发射图像的曝光时间比通过实际拍摄而拍摄的第1闪光发射图像的曝光时间短，因此既能在实际拍摄中确保足够的曝光时间，又能在短时间内获取第1闪光发射图像以及第2闪光发射图像的获取。

优选第1闪光发射图像的曝光时间根据第1闪光发射图像的适当曝光确定。

根据本方式，由于通过适当曝光而拍摄第1闪光发射图像，因此能够利用具有优质的画质的第1闪光发射图像进行判定。

优选图像处理装置具备信号处理部，信号处理部对由判定部判定的主要被摄体区域和背景区域进行不同的信号处理。

根据本方式，由于对所判定的主要被摄体区域和背景区域进行不同的信号处理，因此能够根据主要被摄体区域以及背景区域进行适当的图像处理。

优选信号处理部对主要被摄体区域和背景区域进行不同的白平衡处理。

根据本方式，由于对主要被摄体区域进行的白平衡处理与对背景区域进行的白平衡处理不同，因此能够进行适于主要被摄体区域以及背景区域的光源的白平衡处理。

优选图像处理装置具备：亮度信息获取部，其获取第1闪光发射图像的亮度信息和第2闪光发射图像的亮度信息；以及亮度信息比较部，其对第1闪光发射图像的亮度信息与第2闪光发射图像的亮度信息进行比较，信号处理部根据亮度信息比较部的比较结果不进行信号处理。

根据本方式，根据第1闪光发射图像的亮度信息与第2闪光发射图像的亮度信息的比较结果，在主要被摄体区域和背景区域不进行不同的信号处理。因此，本方式中，在被摄体在第1闪光发射图像与第2闪光发射图像之间移动的情况等无法适当地进行判定的情况下，能够防止因信号处理而导致的画质劣化。

优选亮度信息比较部通过计算第1闪光发射图像的亮度信息与第2闪光发射图像的亮度信息的重叠来进行比较。

根据本方式，由于通过第1闪光发射图像的亮度信息与第2闪光发射图像的亮度信息的重叠而进行比较，因此能够掌握主要被摄体在第1闪光发射图像与第2闪光发射图像之间移动的有无。

优选在拍摄第1闪光发射图像以及第2闪光发射图像的快门速度比闪光的发射时间短的情况下，信号处理部不进行信号处理。

根据本方式，在第1闪光发射图像和第2闪光发射图像的快门速度比闪光的发射时间短的情况下，信号处理部对主要被摄体区域和背景区域不进行不同的信号处理。例如，在以高速的快门速度使用焦平面快门的情况下，由于第1张幕帘开始下降之后，第2张幕帘马上开始下降，闪光无法均匀地照射整个摄像面，因此在闪光发射图像上产生亮度不均。由此，本方式中，对主要被摄体区域和背景区域不进行不同的信号处理，因此能够抑制因信号处理而导致的画质劣化。

优选在拍摄第1闪光发射图像，接着拍摄第2闪光发射图像的情况下，在后帘同步的闪光发射时刻拍摄第1闪光发射图像，在前帘同步的闪光发射时刻拍摄第2闪光发射图像。

根据本方式，由于在拍摄第1闪光发射图像，接着拍摄第2闪光发射图像的情况下，用后帘同步拍摄第1闪光发射图像，用前帘同步拍摄第2闪光发射图像，因此可以抑制主要被摄体或场景的变动，从而能够准确地进行主要被摄体区域和背景区域的判定。

优选在拍摄第2闪光发射图像，接着拍摄第1闪光发射图像的情况下，在前帘同步的闪光发射时刻拍摄第1闪光发射图像，在后帘同步的闪光发射时刻拍摄第2闪光发射图像。

根据本方式，由于在拍摄第2闪光发射图像，接着拍摄第1闪光发射图像的情况下，用后帘同步拍摄第2闪光发射图像，用前帘同步拍摄第1闪光发射图像，因此可以抑制主要被摄体或场景的变动，从而能够准确地进行主要被摄体区域和背景区域的判定。

优选在拍摄第2闪光发射图像，接着拍摄第1闪光发射图像，且在前帘同步的闪光发射时刻拍摄第1闪光发射图像的情况下，第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短。

根据本方式，在拍摄第2闪光发射图像，接着通过前帘同步拍摄第1闪光发射图像的情况下，第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短。由此，本方式中，直至作为实际拍摄的第1闪光发射图像为止的时间变得更短，因此能够获取用户所希望的实际拍摄图像。

优选在后帘同步的闪光发射时刻拍摄第2闪光发射图像。

根据本方式，在通过后帘同步拍摄第2闪光发射图像，接着用前帘同步拍摄第1闪光发射图像的情况下，第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短。由此，本方式可以抑制主要被摄体或场景的变动，从而能够准确地进行主要被摄体区域和背景区域的判定。

优选在拍摄第1闪光发射图像，接着拍摄第2闪光发射图像，且在后帘同步的闪光发射时刻拍摄第1闪光发射图像的情况下，第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短。

根据本方式，在拍摄第1闪光发射图像，接着通过后帘同步拍摄第2闪光发射图像的情况下，第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短。由此，本方式中，在拍摄作为实际拍摄的第1闪光发射图像之后，更早地结束参照拍摄，因此用户的便利性提高。

优选在前帘同步的闪光发射时刻拍摄第2闪光发射图像。

根据本方式，在通过后帘同步拍摄第1闪光发射图像之后通过前帘同步拍摄第2闪光发射图像的情况下，第2闪光发射图像的曝光时间比第1曝光时间短。由此，本方式中，能够利用抑制了主要被摄体以及场景的变动的图像进行判定，因此能够进行主要被摄体区域和背景区域的准确的判定。

优选第1闪光发射图像以及第2闪光发射图像中闪光的发光量的设定相同。

根据本方式，由于第1闪光发射图像和第2闪光发射图像中闪光的发光量的设定相同，因此能够准确地判定主要被摄体区域和背景区域。

优选第1摄像信号以及第2摄像信号的区域为1个像素。

根据本方式，由于按照每一个像素进行主要被摄体区域以及背景区域的判定，因此能够进行更精确的判定。

作为本发明的另一方式的摄像装置具备上述图像处理装置。

优选上述摄像装置具备手抖传感器，手抖传感器检测手抖，在拍摄第1闪光发射图像以及第2闪光发射图像中的至少一个时，在手抖传感器检测到手抖的情况下，判定部不进行主要被摄体区域和背景区域的判定。

根据本方式，在手抖传感器检测到手抖的情况下，判定部不进行判定。由此，本方式能够确保判定部进行的判定的精度。

作为本发明的另一方式的图像处理方法，其包括如下步骤：图像获取步骤，获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，第1闪光发射图像通过发射闪光进行实际拍摄而得，第2闪光发射图像通过以与第1闪光发射图像的曝光时间不同的曝光时间对与第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；比例计算步骤，计算与第1摄像信号的各区域对应的第2摄像信号的各区域中的第1摄像信号与第2摄像信号的信号比例；以及判定步骤，在第1闪光发射图像中根据信号比例和阈值判定主要被摄体区域和背景区域。

作为本发明的另一方式的程序，其使计算机执行如下步骤：图像获取步骤，获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，第1闪光发射图像通过发射闪光进行实际拍摄而得，第2闪光发射图像通过以与第1闪光发射图像的曝光时间不同的曝光时间对与第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；比例计算步骤，计算与第1摄像信号的各区域对应的第2摄像信号的各区域中的第1摄像信号与第2摄像信号的信号比例；以及判定步骤，在第1闪光发射图像中根据信号比例和阈值判定主要被摄体区域和背景区域。

发明效果

根据本发明，由于利用包括同一场景的实际拍摄在内的至少两张闪光发射图像判定主要被摄体区域和背景区域，因此可以抑制图像中的噪声的影响、被摄体的抖动的影响以及手抖的影响，从而能够准确地进行主要被摄体区域和背景区域的判定。

附图说明

图1是数码相机的正面立体图。

图2是数码相机的背面立体图。

图3是表示数码相机的控制处理系统的框图。

图4是第1实施方式的图像处理部的框图。

图5是关于信号比例的计算进行说明的图。

图6是关于信号比例的计算进行说明的图。

图7是表示第1闪光发射图像与第2闪光发射图像的明度比的图。

图8是表示第1闪光发射图像与第2闪光发射图像的明度比的图。

图9是表示第1闪光发射图像与第2闪光发射图像的明度比的图。

图10是表示第1闪光发射图像与第2闪光发射图像的明度比的图。

图11是表示第1闪光发射图像与第2闪光发射图像的明度比的图。

图12是表示第1闪光发射图像与第2闪光发射图像的明度比的图。

图13是关于阈值和快门速度的倍率进行说明的图。

图14是关于闪光的发射强度和发射时间进行说明的概念图。

图15是曝光时间和闪光的发射时间的时序图。

图16是第1实施方式的图像处理部的流程图。

图17是第2实施方式的图像处理部的框图。

图18是第3实施方式的图像处理部的框图。

图19是表示亮度信息的一例的概念图。

图20是表示智能手机的外观的图。

图21是表示图20所示的智能手机的结构的框图。

具体实施方式

参照附图对本发明的实施方式进行说明。在以下实施方式中，对将本发明应用于数码相机(摄像装置)的例子进行说明。其中，在数码相机以外的图像处理装置、摄像装置、图像处理方法以及程序中也能够应用本发明。

图1是数码相机2的正面立体图。图2是数码相机2的背面立体图。

数码相机2具备相机主体3以及安装于相机主体3的前面的透镜镜筒4。透镜镜筒4以及相机主体3可以一体地设置，也可以作为镜头更换式相机拆装自如地设置。

在相机主体3的前面除了设置有透镜镜筒4之外，还设置有闪光发射部5，在相机主体3的上面设置有快门按钮6以及电源开关7。快门按钮6是接收来自用户的摄影指示的摄影指示部，电源开关7是从用户接收数码相机2的电源的接通以及断开的切换指示的电源切换部。

在相机主体3的背面设置有：由液晶面板等构成的显示部8；以及直接由用户操作的操作部9。显示部8在摄影待机状态下显示即时预览图像(实时取景图像)而作为电子取景器发挥功能，在重放摄影图像或存储器存储图像时，作为重放图像显示部发挥功能。

操作部9由模式切换开关、十字键、执行键等任意的操作设备构成。例如，模式切换开关在切换数码相机2的动作模式时，通过用户操作。作为数码相机2的动作模式，有用于拍摄被摄体获得摄影图像的摄影模式、重放显示图像的重放模式等。并且，作为其他摄影模式，有进行自动聚焦的AF(Auto Focus)模式以及进行手动聚焦操作的MF(Manual Focus)模式。另一方面，十字键以及执行键在将菜单画面或设定画面显示于显示部8、或者使显示于菜单画面或设定画面内的光标移动、或者确定数码相机2的各种设定的情况下，通过用户操作。

在相机主体3的底部(省略图示)设置有：装载有主存储器10的存储器插槽；以及开闭该存储器插槽的开口的装载盖。主存储器10拆装自如地设置于相机主体3，若安装于相机主体3，则与设置于相机主体3的存储控制部33电连接。主存储器10一般能够由卡型闪存等半导体存储器构成，但是并无特别限定，能够将磁介质等任意存储方式的存储介质用作主存储器10。

图3是表示数码相机2的控制处理系统的框图。

被摄体光透过设置于透镜镜筒4的透镜部12和设置于相机主体3的机械快门20，被成像元件21受光。透镜部12由包含摄影透镜(透镜组)以及光圈的摄影光学系统构成。成像元件21是接收被摄体像并生成摄像信号的元件，具有RGB(红绿蓝)等的滤色器以及将光学图像转换为电信号的CCD(Charge Coupled Device)或CMOS(Complementary Metal OxideSemiconductor)等图像传感器。从成像元件21输出的摄像信号在进程处理部22通过AGC(Automatic Gain Control)电路等实施进程处理之后，通过AD转换部23将模拟形式的摄像信号转换为数字形式的摄像信号。数字化的摄像信号保存于缓冲存储器24。

缓冲存储器24是暂时存储摄像信号的区域，由DRAM(Dynamic Random AccessMemory)等构成。从AD转换部23输送来且蓄存于缓冲存储器24中的摄像信号通过由系统控制部25控制的图像处理部(图像处理装置)31读出。图像处理部31将成像元件21所生成的摄像信号用作输入摄像信号，进行伽马校正处理以及去马赛克处理等各种图像处理，将图像处理后的摄像信号再次保存于缓冲存储器24中。

在图像处理部31实施图像处理并保存于缓冲存储器24中的摄像信号通过显示控制部35以及压缩扩展部32读出。显示控制部35对显示部8进行控制，使从缓冲存储器24读出的摄像信号显示于显示部8。如此，从成像元件21输出并在图像处理部31接受图像处理的摄像信号作为摄影确认图像(后预览图像)显示于显示部8。

另一方面，压缩扩展部32进行从缓冲存储器24读出的摄像信号的压缩处理，创建JPEG(Joint Photographic Experts Group)或TIFF(Tagged Image File Format)等任意压缩形式的摄像信号。压缩处理后的摄像信号通过存储控制部33存储于主存储器10，存储控制部33控制向主存储器10存储摄像信号的处理以及从主存储器10读出摄像信号的处理。另外，在将摄像信号等数据类存储于主存储器10的情况下，存储控制部33根据从系统控制部25获取的摄影条件将摄影条件的信息附加于摄像信号。该摄影条件的信息以任意格式附加于摄像信号，例如能够采用Exif(Exchangeable image file format)形式。

在重放主存储器10中保存的摄像信号的重放模式中，主存储器10中保存的摄像信号通过由系统控制部25控制的存储控制部33读出，通过压缩扩展部32实施扩展处理之后，保存于缓冲存储器24中。然后，以与摄影图像的确认显示相同的步骤，通过显示控制部35从缓冲存储器24读出摄像信号，在显示部8重放显示摄像信号。

如上所述，系统控制部25对缓冲存储器24、图像处理部31以及存储控制部33进行控制，但也控制数码相机2中的其他各部。例如，系统控制部25控制透镜驱动部27来控制驱动透镜部12，控制快门驱动部26来控制驱动机械快门20，控制成像元件21来控制输出摄像信号。并且，系统控制部25控制闪光发射部5来控制发射以及不发射闪光，控制电源控制部28来检测电源29中的电池安装的有无、电池的种类、电池剩余量等。另外，虽未图示，但是通过电池剩余量传感器进行电源控制部28进行的电池剩余量的检测。并且，系统控制部25获取在时钟设备34中计数的日期时间信息并用于各种处理。而且，系统控制部25对构成图像处理部31的各种处理部进行控制，控制手抖传感器70并根据手抖传感器70的检测结果控制各部。

另外，系统控制部25获取来自包含快门按钮6、电源开关7以及操作部9的用户接口36的操作信号，进行与操作信号相应的各种处理以及设备控制。例如，系统控制部25按照从快门按钮6接收的释放信号控制快门驱动部26，从而对机械快门20的开闭进行控制。并且，系统控制部25按照从电源开关7接收的电源接通断开信号控制电源控制部28，从而对电源29的接通以及断开进行控制。

在系统控制部25中进行的各种处理以及设备控制所需的程序或数据类存储在控制存储器30中。系统控制部25能够根据需要读出在控制存储器30中存储的程序或数据类，并且能够将新的程序或数据类保存在控制存储器30中。例如，系统控制部25能够将被设定的白平衡模式(以下，称作“WB模式”)的种类或白平衡增益(以下，称作“WB增益”)等条件数据写入控制存储器30中。并且，系统控制部25能够控制显示控制部35，使从各部获取的各种信息显示于显示部8。另外，系统控制部25能够按照用户经由用户接口36输入的操作信号改变显示于显示部8的各种信息。

(第1实施方式)

接着，关于第1实施方式的图像处理部31进行说明。本实施方式的图像处理部31利用对同一场景发射闪光来拍摄的两张图像判定主要被摄体区域和背景区域。

图4是第1实施方式的图像处理部31的框图。图像处理部31具备图像获取部41、比例计算部43以及判定部45。

图像获取部41从缓冲存储器24获取第1摄像信号和第2摄像信号。在此，第1摄像信号是表示随着来自闪光发射部5的闪光进行实际拍摄的第1闪光发射图像的信号。另外，实际拍摄是指希望作为摄影图像记录于主存储器10的图像的摄影，是通过适当的摄影条件进行的摄影。并且，第2摄像信号是表示随着来自闪光发射部5的闪光以与第1摄像信号不同的曝光时间进行参照拍摄的第2闪光发射图像的信号。另外，参照拍摄是指非实际拍摄的摄影，不必一定在适当的摄影条件下进行。并且，曝光时间是指根据在成像元件21中受光的光蓄积电荷的时间，与快门速度对应。

如上所述，图像获取部41所获取的第1摄像信号以及第2摄像信号以Exif形式等被赋予摄影条件等信息。在此，摄影条件是指在拍摄图像时考虑的各种条件，一般包含以已知的Exif形式等赋予至摄像信号的信息。例如，作为摄影条件，有光圈值(F值)、ISO灵敏度、快门速度、闪光的有无、闪光的发射强度的设定、闪光的发射时刻以及闪光的发光量的设定等。

比例计算部43计算各区域中的第1摄像信号与第2摄像信号的信号比例。关于比例计算部43进行的具体信号比例的计算在后面进行说明。

判定部45根据由比例计算部43计算出的信号比例和阈值判定第1闪光发射图像中的主要被摄体区域和背景区域。例如，判定部45将区域的信号比例为阈值以上的区域判定为主要被摄体区域，将区域的信号比例小于阈值的区域判定为背景区域。并且，判定部45也可以根据信号比例的计算方法将区域的信号比例为阈值以下的区域判定为主要被摄体区域，将区域的信号比例大于阈值的区域判定为背景。另外，关于阈值的具体确定方法在后面进行说明。

＜信号比例＞

接着，说明比例计算部43进行的信号比例的计算。首先，根据图5以及图6关于第1闪光发射图像与第2闪光发射图像之间的光量的变化的关系进行说明。

图5是表示第1闪光发射图像以及第2闪光发射图像的概念图。图5(A)所示的第1闪光发射图像拍摄了位于被摄体距离近的地点的人的脸部的主要被摄体47、位于被摄体距离比较远的地点的建筑物的中间被摄体49以及位于被摄体距离非常远的地点的山的背景51。图5(A)所示的第1闪光发射图像由于被实际拍摄，因此以足够的曝光时间被拍摄。即，以足够的光量拍摄了第1闪光发射图像，以使在闪光不会到达的仅有环境光的区域(例如，山的背景51映现出的区域)也不会过黑。例如，以可以获得适当曝光的曝光时间拍摄了第1闪光发射图像。在此，适当曝光是指不会过度或不足的曝光。但是，在利用手动曝光拍摄第1闪光发射图像的情况下，第1闪光发射图像的曝光也可以是不足或过度的。并且，中间被摄体49是指例如根据用户的目的或场景被当作主要被摄体或背景的被摄体。

在图5(B)中示出了以比第1闪光发射图像的曝光时间短的曝光时间拍摄的第2闪光发射图像。由于第2闪光发射图像的曝光时间短，因此成为光量比第1闪光发射图像的光量少的图像。尤其在环境光的影响大的背景51中，所获得的光量根据曝光时间的长度而减少。另外，本发明根据第1闪光发射图像和第2闪光发射图像中的光量的不同判定主要被摄体区域53和背景区域57，因此需要使第1闪光发射图像的曝光时间与第2闪光发射图像的曝光时间不同。但是，只要第1闪光发射图像的曝光时间与第2闪光发射图像的曝光时间不同即可，各自的曝光时间并无特别限定。例如，也可以使第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短。关于作为实际拍摄的第1闪光发射图像能够确保足够的曝光时间，作为参照拍摄的第2闪光发射图像的拍摄能够在短时间内结束。

图6是表示图5所示的第1闪光发射图像和第2闪光发射图像的每一个区域的光量的概念图。图6(A)示出了图5(A)所示的第1闪光发射图像中的每一个区域的光量，图6(B)示出了图5(B)所示的第2闪光发射图像中的每一个区域的光量。并且，图6(A)以及图6(B)中具有：人的脸部的主要被摄体47映现出的区域即主要被摄体区域53；建筑物的中间被摄体49映现出的中间被摄体区域55；以及山的背景51映现出的背景区域57。

如图6(A)以及图6(B)所示，第1闪光发射图像以及第2闪光发射图像被分割为A1～A5、B1～B5、C1～C5、D1～D5以及E1～E5这5×5区域，按照每一个该5×5区域计算信号比例。在各区域中，来自闪光的光量用F表示，来自环境光的光量用L表示，例如，区域A1具有来自闪光的光量“1”(在图6(A)中表示为F(1))、来自环境光的光量“9”(在图6(A)中表示为L(9))以及总光量“10”(在图6(A)中表示为A1(10))。另外，通过各种数值表示光量，例如用区域中的平均亮度值表示光量。

另外，在图5以及图6的说明中，将图像分割为5×5的部分设为区域，但是并不限定于此。例如，区域可以是将图像分割为m×n(m以及n为1以上的整数)的部分，也可以由多个像素或1个像素构成各区域。

构成背景区域57的A1～A5以及B1～B5的各区域的来自闪光的光量为“1”，来自环境光的光量为“9”，总光量为“10”。构成背景区域57的各区域由于山的背景51的被摄体距离远，因此闪光不会到达太多，受到来自闪光的影响较小。构成中间被摄体区域55的C1～C2、D1～D2以及E1～E2的各区域的来自闪光的光量为“25”，来自环境光的光量为“25”，总光量为“50”。构成中间被摄体区域55的各区域由于建筑物的中间被摄体49的被摄体距离比较远，因此来自闪光的光量为“25”。构成主要被摄体区域53的C3～C5、D3～D5以及E3～E5的各区域的来自闪光的光量为“90”，来自环境光的光量为“10”，总光量为“100”。构成主要被摄体区域53的各区域由于主要被摄体47的被摄体距离近，因此来自闪光的光量为“90”。

在图6(B)中示出了以快门速度为第1闪光发射图像的16倍的速度拍摄的第2闪光发射图像的光量。由于第2闪光发射图像的快门速度是拍摄第1闪光发射图像时的快门速度的16倍的速度，因此基于环境光的光量是第1闪光发射图像(图6(A))的1/16。具体而言，在背景区域57中来自环境光的光量为“9”至“0.56”，在中间被摄体区域55中来自环境光的光量为“25”至“1.56”，在主要被摄体区域53中来自环境光的光量为“10”至“0.63”。另一方面，由于第1闪光发射图像以及第2闪光发射图像的快门速度比闪光的发射时间长，因此来自闪光的光量在第1闪光发射图像与第2闪光发射图像之间不发生变化。因此，在第2闪光发射图像的各区域中，光量的减少量与环境光的减少量相应，环境光的减少与快门速度变短的量相应。即，在背景区域57的各区域中，第1闪光发射图像中的总光量为“10”，而第2闪光发射图像中的总光量为“1.56”，在中间被摄体区域55的各区域中，第1闪光发射图像中的总光量为“25”，而第2闪光发射图像中的总光量为“26.56”，在主要被摄体区域53的各区域中，第1闪光发射图像中的总光量为“100”，而第2闪光发射图像中的总光量为“96.3”。

如以上说明，来自环境光的光量在第1闪光发射图像与第2闪光发射图像之间根据快门速度的倍率或曝光时间的差异发生变化。本发明利用该光量的变化判定主要被摄体区域53和背景区域57。另外，在图5以及图6中，为了方便说明，将主要被摄体区域53设为主要被摄体47映现出的区域，但是判定部45所判定的主要被摄体区域并不限定于此。即，判定部45能够根据阈值将中间被摄体区域55判定为主要被摄体区域。同样，判定部45能够根据阈值将中间被摄体区域55判定为背景区域57。

接着，说明比例计算部43进行的第1闪光发射图像与第2闪光发射图像之间的信号比例的计算。在此，信号比例是指第1闪光发射图像以及第2闪光发射图像之间的摄像信号的比例。例如，信号比例能够设为与光量相关的信号的变化比例。

比例计算部43计算与图6(A)所示的第1摄像信号以及图6(B)所示的第2摄像信号之间的光量相关的信号的比例(信号比例)。比例计算部43能够用各种方法计算第1闪光发射图像与第2闪光发射图像之间的信号比例。例如，比例计算部43能够利用以下(算式1)计算第1闪光发射图像的光量与第2闪光发射图像的光量的信号比例。

信号比例＝(第2闪光发射图像的光量/第1闪光发射图像的光量)×100……(算式1)

当利用(算式1)计算信号比例时，背景区域57的信号比例为15.6(＝1.56/10×100)％，中间被摄体区域55的信号比例为53.12(＝26.56/50×100)％，主要被摄体区域53的信号比例为96.3(＝96.3/100×100)％。

并且，比例计算部43也可以获取区域中的第1摄像信号和第2摄像信号的信号变化量，并计算信号变化量与基于各区域的第1摄像信号或第2摄像信号的值的比例即信号比例。在该情况下，能够根据第1闪光发射图像与第2闪光发射图像的差分准确地判定主要被摄体区域和背景区域。

例如，在图6所示的情况下，比例计算部43计算背景区域57的信号变化量为8.44(10-1.56)，计算中间被摄体区域55的信号变化量为23.44(50-26.56)，计算主要被摄体区域53的信号变化量为3.7(100-96.3)。而且，比例计算部43例如利用以下所示的(算式2)计算信号变化量与第1闪光发射图像的各区域的总光量的比例作为信号比例。

信号比例＝(信号变化量/第1闪光发射图像的光量)×100……(算式2)

当利用(算式2)计算信号比例时，背景区域57的信号比例为84.44(8.44/10×100)％，中间被摄体区域55的信号比例为46.88(23.44/50×100)％，主要被摄体区域53的信号比例为3.7(3.7/100×100)％。

如上所述求出的信号比例从比例计算部43发送至判定部45，判定部45根据信号比例和阈值进行主要被摄体区域53和背景区域57的判定。另外，通过判定部45判定的主要被摄体区域53例如是指用户希望进行主要被摄体用的图像处理的区域，通过判定部45判定的背景区域57例如是指用户希望进行背景用的图像处理的区域。用户能够通过阈值的设定使判定部45判定所希望的区域。

＜关于阈值＞

接着，关于判定部45在判定是主要被摄体区域53还是背景区域57时使用的阈值进行说明。阈值的确定方法并无特别限定，在能够进行用户所希望的主要被摄体区域53和背景区域57的范围内，能够采用各种方法。另外，阈值可以预先存储在数码相机2的控制存储器30等中，也可以由用户直接输入。

例如，阈值在以下条件下计算：闪光的影响在第1闪光发射图像与第2闪光发射图像之间恒定；来自环境光的光量根据第1闪光发射图像的曝光时间与第2闪光发射图像的曝光时间的比例改变；以及任意设定的来自闪光的光量的比例。

使用表示图7～图12所示的表示第1闪光发射图像与第2闪光发射图像的明度比的图说明具体例。图7～图12的纵轴表示明度，横轴表示快门速度的倍率(图中标记为“SS倍率”)。另外，明度用公知的各种指标表示，例如利用亮度值表示明度。并且，图中所示的明度比是指第2闪光发射图像的区域的明度与第1闪光发射图像的区域的明度的比。

图7是对将来自闪光的光量的比例为40％以上的区域判定为主要被摄体区域53时的阈值的确定方法进行说明的图。图7对将第2闪光发射图像的快门速度设为第1闪光发射图像的快门速度的1/16倍的情况进行说明。在此，快门速度为1/16倍是指，以1/4秒的快门速度拍摄第1闪光发射图像、以1/64秒的快门速度拍摄第2闪光发射图像的情况。

在以第1闪光发射图像的1/16的快门速度拍摄的第2闪光发射图像中，由于来自闪光的光量不受曝光时间的影响，不发生改变，因此可以维持第1闪光发射图像的40％的光量。另一方面，由于来自环境光的光量受到曝光时间的影响，因此为第1闪光发射图像的3.75％(第1闪光发射图像的60％的1/16)。因此，在第1闪光发射图像中闪光的光量和环境光的光量为40％和60％的区域在第2闪光发射图像的对应的区域中具有第1闪光发射图像的光量的43.75％(明度比43.75％)的光量。

因此，若将阈值设为43.75％，则判定部45能够将第1闪光发射图像中闪光的光量的明度比为40％以上的区域判定为主要被摄体区域53。

图8以与图7相同的方法对将来自闪光的光量的比例为80％以上的区域判定为主要被摄体时的阈值的确定方法进行说明。在图8中，也以第1闪光发射图像的1/16的快门速度拍摄第2闪光发射图像。在第2闪光发射图像中，由于来自闪光的光量不受曝光时间的影响，因此维持第1闪光发射图像的80％的光量。另一方面，在第2闪光发射图像中，由于来自环境光的光量受到曝光时间的影响，因此为第1闪光发射图像的1.25％(第1闪光发射图像的20％的1/16)。因此，在第1闪光发射图像中闪光的光量和环境光的光量为80％和20％的区域在第2闪光发射图像中具有第1闪光发射图像的光量的81.25％(明度比81.25％)的光量。而且，若将阈值设为81.25％，则判定部45能够将第1闪光发射图像中闪光的光量的明度比为80％以上的区域判定为主要被摄体区域53。

图9以与图7以及图8相同的方法对将来自闪光的光量的比例为20％以上的区域判定为主要被摄体区域53时的阈值的确定方法进行说明。在第2闪光发射图像中，由于来自环境光的光量受到曝光时间的影响，因此为第1闪光发射图像的5％(第1闪光发射图像的80％的1/16)。因此，若将阈值设为25％，则判定部45能够将第1闪光发射图像中闪光的光量的明度比为20％以上的区域判定为主要被摄体区域53。

图10表示在图7中说明的判定来自闪光的光量为40％以上的区域的阈值(明度比43.75％)、第1闪光发射图像中来自闪光的光量为80％的区域在第2发射图像中的明度比(81.25％)(参照图8)以及第1闪光发射图像中来自闪光的光量为20％的区域在第2发射图像中的明度比(25％)(参照图9)。

在判定部45将具有阈值以上的明度比的区域判定为主要被摄体区域53，且将具有小于阈值的明度比的区域判定为背景区域57的情况下，由于第1闪光发射图像中来自闪光的光量为80％的区域具有81.25％的明度比，因此被判定为主要被摄体区域53。另一方面，由于第1闪光发射图像中来自闪光的光量为20％的区域具有25％的明度比，因此被判定为背景区域57。

图11表示在图10的情况下将阈值设为明度比90.625％的情况。在第2闪光发射图像的快门速度为1/16的情况下，该阈值能够判定第1闪光发射图像中来自闪光的光量为90％以上的区域。若判定部45利用该阈值进行判定，则来自闪光的光量为80％的区域(在第2闪光发射图像中为81.25％)以及来自闪光的光量为20％的区域(在第2闪光发射图像中为25％)被判定为背景区域57。

图12表示在图10的情况下将阈值设为明度比15.625％的情况。在第2闪光发射图像的快门速度为1/16的情况下，该阈值能够判定第1闪光发射图像中来自闪光的光量为10％以上的区域。若判定部45利用该阈值进行判定，则来自闪光的光量为80％的区域(在第2闪光发射图像中为81.25％)以及来自闪光的光量为20％的区域(在第2闪光发射图像中为25％)被判定为主要被摄体区域53。

如在图10至图12中说明，用户选择第1闪光发射图像中的来自闪光的光量的任意比率，根据该比率计算阈值，由判定部45使用阈值进行主要被摄体区域53和背景区域57的判定。由此，用户能够例如按照来自闪光的光量选择区域，并在各区域进行不同的图像处理。

图13是按照拍摄第2闪光发射图像的快门速度表示将第1闪光发射图像中来自闪光的光量为40％的区域判定为主要被摄体区域53时的阈值的图。随着第1闪光发射图像与第2闪光发射图像的快门速度的倍率变化为1/2、1/4、1/8、1/16、1/32、1/64以及1/128，阈值(明度比)成为70％、55％、47.5％、43.75％、41.85％、40.9375％以及40.46875％。这是因为，相比来自闪光的光量不受曝光时间的影响而以第1闪光发射图像的40％恒定，来自环境光的光量随着曝光时间发生变化。

接着，使用图14以及图15关于闪光的发光量、闪光的发射时间、曝光时间进行说明。

图14是关于闪光的发射强度和发射时间进行说明的概念图。在图14中，纵轴表示闪光的发射强度，横轴表示时间。图14所示的图表示氙气灯的一般的发射强度与时间的关系。一般来说，只要有1/1000秒的曝光时间，就能够充分地接收来自闪光的光量。另外，图14是与氙气灯有关的图，但只要发射闪光的装置，则并不特别限定于氙气灯。例如，还能够使用利用了LED(Light Emitting Diode)的闪光装置。

图15是曝光时间与闪光的发射时间的时序图。以曝光时间T1以及闪光的发射时间TF1拍摄第1闪光发射图像，以曝光时间T2以及闪光的发射时间TF2拍摄第2闪光发射图像。

在曝光时间T2比曝光时间T1短的情况下，能够在第1闪光发射图像(实际拍摄图像)中确保足够的曝光时间。并且，由于曝光时间T1被设定为比闪光的发射时间TF1长，曝光时间T2被设定为比闪光的发射时间TF2长，因此能够充分地获取来自闪光的光量，并且也能够更多地获取来自环境光的光量。而且，曝光时间T1并无特比限定，若考虑第1闪光发射图像是实际拍摄的图像这一点，则优选为可以获得适当曝光的曝光时间。

在图15所示的情况下，在拍摄第1闪光发射图像时，在后帘同步的发射时刻(闪光发射时刻)发射闪光，在拍摄第2闪光发射图像时，在前帘同步的发射时刻发射闪光。若以这种闪光的发射时刻拍摄第1闪光发射图像以及第2闪光发射图像，则第1次发射闪光与第2次发射闪光的间隔短，可以更加抑制主要被摄体或场景的变动。因此，通过使用在图15所示的闪光发射时刻拍摄的第1闪光发射图像和第2闪光发射图像，能够更加准确地判定主要被摄体区域53和背景区域57。

另外，第1闪光发射图像的闪光发射时刻并不限定于后帘同步，也可以是前帘同步(前帘同步设定)。并且，第2闪光发射图像的闪光发射时刻并不限定于前帘同步，也可以是后帘同步(后帘同步设定)。例如，在拍摄第2闪光发射图像，接着拍摄第1闪光发射图像的情况下，也可以在前帘同步的闪光发射时刻拍摄第1闪光发射图像，在后帘同步的闪光发射时刻拍摄第2闪光发射图像。而且，优选第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短，且比闪光的发射时间长。由此，直至作为实际拍摄的第1闪光发射图像为止的时间更短，因此能够获取用户所希望的实际拍摄图像。而且，在后帘同步的闪光发射时刻拍摄第1闪光发射图像，且拍摄第1闪光发射图像，接着拍摄第2闪光发射图像的情况下，优选第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短，且比闪光的发射时间长。由此，在拍摄作为实际拍摄的第1闪光发射图像之后，更早地结束参照拍摄，因此用户的便利性提高。

并且，例如在前帘同步的闪光发射时刻拍摄第1闪光发射图像以及第2闪光发射图像的情况下，先拍摄作为参照拍摄的第2闪光发射图像，后拍摄作为实际拍摄的第1闪光发射图像。而且，若使第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短，则第1次发射闪光与第2次发射闪光的间隔短，能够抑制主要被摄体或场景的变动。并且，例如在后帘同步的闪光发射时刻拍摄第1闪光发射图像以及第2闪光发射图像的情况下，先拍摄作为实际拍摄的第1闪光发射图像，后拍摄作为参照拍摄的第2闪光发射图像。而且，若使第2闪光发射图像的曝光时间比第1闪光发射图像的曝光时间短，则第1次发射闪光与第2次发射闪光的间隔短，能够抑制主要被摄体或场景的变动。

并且，在使用利用了LED的闪光装置的情况下，若用后帘同步设定第1闪光发射图像的闪光发射时刻，用前帘同步设定第2闪光发射图像的闪光发射时刻，则也可以从发射时间TF1的开始到闪光的发射时间TF2的结束为止持续发射闪光。

而且，优选将发射时间TF1以及发射时间TF2设定为相等。在发射时间TF1以及发射时间TF2相等的情况下，若使用相同的闪光(装置)，则第1闪光发射图像和第2闪光发射图像的来自闪光的发光量相等。由此，在第1闪光发射图像和第2闪光发射图像的快门速度足够比闪光的发射时间长，且第1快门速度比第2快门速度慢的情况下，虽然主要被摄体的明度相同，但是背景的明度有差异，因此可以进行主要被摄体区域53和背景区域57的更加准确的判定。另外，并不限定于第1闪光发射图像和第2闪光发射图像的来自闪光的发光量相等的情况。例如，在噪声较少的成像元件21或以可以抑制噪声的影响的ISO灵敏度拍摄的情况下，也可以将第2闪光发射图像的来自闪光的发光量设定为第1闪光发射图像的来自闪光的发光量的一半，将ISO灵敏度从第1闪光发射图像提升1个级别来拍摄。由此，即使不以相同的来自闪光的发光量拍摄第1闪光发射图像以及第2闪光发射图像，也能够进行主要被摄体区域53和背景区域57的准确的判定。而且，在这种方式中，可以抑制电池的消耗，还能够缩短电容器的充电时间。

并且，在图15中，曝光时间T1与曝光时间T2在时间上存在间隔，但是在滚动快门方式的CMOS传感器的情况下，优选通过使用能够进行全局快门的传感器等来使该间隔无限接近于0。例如，若在开始拍摄时，开启机械快门，利用传感器的全局快门进行第1张的曝光结束，通过第2张的曝光结束关闭机械快门，则第1张与第2张的曝光时间的时间间隔大致为0。

图16是第1实施方式的图像处理装置的流程图。首先，图像获取部41获取曝光时间相互不同的第1闪光发射图像和第2闪光发射图像(步骤S1：图像获取步骤)。然后，比例计算部43根据第1闪光发射图像的各区域中的光量以及第2闪光发射图像的各区域中的总光量(来自闪光的光量以及来自环境光的光量)计算信号比例(步骤S2：比例计算步骤)。例如，信号比例可以是第2闪光发射图像的各区域中的明度与第1闪光发射图像的各区域中的明度的比，即明度比。然后，由用户确定来自闪光的光量的任意比例，根据第1闪光发射图像与第2闪光发射图像的快门速度的倍率确定阈值(步骤S3)。之后，判定部45使用阈值将第1闪光发射图像的各区域判定为主要被摄体区域53或背景区域57(步骤S4：判定步骤)。

如以上说明，本发明的图像处理装置根据对同一场景发射闪光而获得的两张闪光发射图像的变化比例判定主要被摄体区域53和背景区域57。因此，可以抑制噪声的影响、被摄体的抖动的影响以及手抖的影响，从而能够适当地进行主要被摄体区域53和背景区域57的判定。并且，根据主体方式，由于通过实际拍摄而获得的图像也用于主要被摄体区域和背景区域的区域判定，因此能够通过包括实际拍摄在内的两次拍摄进行区域判定。

(第2实施方式)

关于本发明的第2实施方式进行说明。本发明的第2实施方式对由判定部45判定的主要被摄体区域53和背景区域57进行不同的信号处理。

图17是第2实施方式的图像处理部31的框图。第2实施方式的图像处理部31具备图像获取部41、比例计算部43、判定部45以及信号处理部61。另外，对已在图4中说明的框体标注相同的符号，省略说明。

信号处理部61对由判定部45判定的主要被摄体区域53和背景区域57进行个别的信号处理。由于主要被摄体区域53和背景区域57存在图像的特性不同的情况，因此通过在主要被摄体区域53和背景区域57进行不同的信号处理，能够进行更加适当的信号处理。

信号处理部61例如在主要被摄体区域53和背景区域57进行不同的WB处理。即，信号处理部61对第1闪光发射图像进行多区域WB处理，对主要被摄体区域53和背景区域57进行适用不同的WB增益的WB处理。通过对主要被摄体区域53和背景区域57进行不同的WB增益的WB处理，能够在主要被摄体区域53消除闪光的影响，能够在背景区域57消除环境光的影响。

如上所述，第2实施方式中，由于信号处理部61根据判定部45的主要被摄体区域53和背景区域57的判定结果改变信号处理，因此能够进行与图像的特性相应的信号处理。

(第3实施方式)

关于本发明的第3实施方式进行说明。在本发明的第3实施方式中，根据条件不进行在第2实施方式中说明的信号处理部61的信号处理，或者根据条件不进行使用第1闪光发射图像以及第2闪光发射图像的主要被摄体区域53和背景区域57的判定。

例如，在主要被摄体的移动较快而无法进行准确的判定的情况下，或者在能够以足够的高速维持快门速度且无需进行本发明的判定的情况下，信号处理部61不在主要被摄体区域53和背景区域57进行不同的信号处理。并且，例如在发生手抖而无法进行准确的判定的情况下，或者在电池剩余量少的情况下，判定部45不进行判定。另外，在判定部45不进行上述判定的情况下，也可以通过公知的方法进行主要被摄体区域53和背景区域57的判定。判定主要被摄体区域53和背景区域57的公知的方法是指例如作为本申请的现有技术说明的方法。

通过信号处理部61或系统控制部25(参照图3)进行信号处理部61是否在主要被摄体区域53和背景区域57进行不同的信号处理的决定。并且，通过判定部45或系统控制部25(参照图3)进行判定部45是否根据第1闪光发射图像以及第2闪光发射图像进行主要被摄体区域53和背景区域57的判定的决定。

＜主要被摄体的移动较快的情况＞

在主要被摄体的移动较快的情况下，主要被摄体在第1闪光发射图像以及第2闪光发射图像中的位置有时发生偏离，有时无法准确地计算第1闪光发射图像的光量与第2闪光发射图像的光量的变化比例。因此，在主要被摄体的移动较快的情况下，信号处理部61不对主要被摄体区域53和背景区域57进行不同的信号处理。

能够通过各种方法检测主要被摄体的速度(移动速度)。例如，也可以通过比较第1闪光发射图像和第2闪光发射图像的亮度信息来检测主要被摄体的移动速度。

图18表示在图17中说明的图像处理部31还具有亮度信息获取部62和亮度信息比较部63的情况。另外，对与图4以及图17相同的框体标注相同的符号，省略说明。

亮度信息获取部62获取由图像获取部41获取的第1闪光发射图像和第2闪光发射图像的亮度信息。亮度信息获取部62能够通过各种方法从第1闪光发射图像以及第2闪光发射图像中获取亮度信息。在此，亮度信息是指与亮度相关的各种信息，例如亮度信息是亮度值或直方图。

图19是表示亮度信息获取部62获取的亮度信息的一例的图。图19(A)所示的亮度信息是与第1闪光发射图像相关的亮度信息65。图19(B)所示的亮度信息是与第2闪光发射图像相关的亮度信息67。通过图19(A)的亮度信息65提取具有某一值(阈值)以上的亮度值的区域69，通过图19(B)的亮度信息67提取具有与图19(A)的情况相同的值以上的亮度值的区域73。在发射闪光进行拍摄的情况下，由于主要被摄体主要反射闪光，因此具有某一值以上的亮度值的区域69以及区域73能够考虑为主要被摄体映现出的图像区域。因此，通过检查第1闪光发射图像的具有某一值以上的亮度值的区域69与第2闪光发射图像的具有某一值以上的亮度值的区域73的重叠，能够知晓主要被摄体有无移动。另外，利用提取主要被摄体的亮度信息的观点确定某一值(阈值)。并且，在此，重叠是指某一值以上的区域彼此的位置重叠。

亮度信息比较部63进行由亮度信息获取部62获取的亮度信息的比较，将比较结果发送至判定部45。具体而言，对图19(A)的区域69的位置与图19(B)的区域73的位置进行比较，计算重叠的比例。在图19所示的情况下，区域69与区域73的重叠为0％。

区域69与区域73的比较结果是，重叠0％，亮度信息比较部63将该比较结果发送至信号处理部61。信号处理部61根据由亮度信息比较部63获取的比较结果确定是否进行信号处理。例如，在重叠部分为0％以上至50％以下的情况下，由于主要被摄体的移动速度快，因此信号处理部61不进行使用第1闪光发射图像以及第2闪光发射图像的主要被摄体区域53和背景区域57的判定。

＜能够以高速维持快门速度的情况＞

在摄影环境足够亮，且即使加快快门速度也能够获取具有足够光量的图像的情况下，在不发射闪光也拍摄到的两张图像中，不易产生抖动。因此，信号处理部61也可以不对从两张闪光发射图像(第1闪光发射图像以及第2闪光发射图像)中获得的主要被摄体区域53以及背景区域57进行不同的信号处理。并且，在发射闪光并利用焦平面快门以较快的快门速度拍摄的情况下，在获取第1张图像时，幕帘开始下降之后，第2张马上开始下降，因此闪光无法均匀地照射整个摄像面，因此在发射闪光时产生亮度不均。由此，在即使加快快门速度也能够获取具有足够光量的图像的情况下，信号处理部61不对主要被摄体区域53和背景区域57进行不同的信号处理。

＜相机手抖的情况＞

在第1闪光发射图像以及第2闪光发射图像上发生因手抖引起的抖动的情况下，导致比例计算部43计算的变化比例不准确。因此，判定部45根据数码相机2的手抖传感器70(参照图3)检测手抖的结果不进行上述主要被摄体区域53和背景区域57的判定。由此，本方式能够防止计算出不准确的变化比例。

＜电池剩余量不足的情况＞

在数码相机2的电池剩余量不足的情况下，判定部45不进行上述主要被摄体区域53和背景区域57的判定。数码相机2能够通过不进行基于判定部45的判定来抑制电池消耗，从而能够使电池耐用。由此，数码相机2的用户的便利性提高。

如上所述，在第3实施方式中存在信号处理部61不对主要被摄体区域53和背景区域57进行不同的信号处理的情况或判定部45不进行主要被摄体区域53和背景区域57的判定的情况。由此，可以提高信号处理部61进行的信号处理的质量，从而能够提高判定部45进行判定时的判定的准确性。

上述的各功能结构能够通过任意的硬件、软件或两者的组合来实现。例如，还能够将本发明应用于使计算机执行上述各装置以及处理部(图像处理部31等)中的图像处理方法(图像处理步骤)的程序、存储有该程序的计算机可读取的存储介质(非暂时性存储介质)或能够安装该程序的计算机。

并且，能够应用本发明的方式并不限定于数码相机2，除了能够应用于以摄像为主要功能的相机类以外，还能够将本发明应用于除了具有摄像功能之外还具有摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够应用本发明的其他方式，例如可以举出具有相机功能的移动电话或智能手机、PDA(Personal DigitalAssistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。

＜智能手机的结构＞

图20是表示智能手机101的外观的图。图20所示的智能手机101具有平板状的框体102，且在框体102的一个面具备由作为显示部的显示面板121、作为输入部的操作面板122一体构成的显示输入部120。并且，所述框体102具备扬声器131、麦克风132、操作部140以及相机部141。另外，框体102的结构并不限定于此，例如可以采用显示部和输入部独立的结构，也可以采用折叠结构或具有滑动机构的结构。

图21是表示图20所示的智能手机101的结构的框图。如图21所示，作为智能手机的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部180、电源部190以及主控制部100。并且，作为智能手机101的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部110按照主控制部100的指示对容纳于移动通信网NW的基站装置BS进行无线通信。使用所述无线通信进行语音数据、图像数据等的各种文件数据、电子邮件数据等的收发以及Web数据或流数据等的接收。

显示输入部120是所谓的触控面板，其通过主控制部100的控制来显示图像(静止图像以及动态图像)或文字信息等，并以视觉形式向用户传递信息，并且检测用户对所显示的信息进行的操作，具备显示面板121和操作面板122。

显示面板121将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板122是将显示于显示面板121的显示面上的图像以能够辨认的方式载置且检测由用户的手指或尖笔操作的坐标的设备。若通过用户的手指或尖笔操作所述设备，则将由操作而产生的检测信号输出至主控制部100。接着，主控制部100根据所接收的检测信号检测显示面板121上的操作位置(坐标)。

如图20所示，作为本发明的摄像装置的一实施方式例示的智能手机101的显示面板121和操作面板122一体地构成了显示输入部120，成为如操作面板122完全覆盖显示面板121的配置。在采用了所述配置的情况下，操作面板122对显示面板121以外的区域也可以具备检测用户操作的功能。换言之，操作面板122也可以具备如下检测区域：关于与显示面板121重叠的重叠部分的检测区域(以下，称作“显示区域”)；以及关于除此以外的与显示面板121不重叠的外缘部分的检测区域(以下，称作“非显示区域”)。

另外，虽然可以使显示区域的大小和显示面板121的大小完全一致，但是不必一定使两者一致。并且，操作面板122也可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体102的大小等适当地设计。另外，作为在操作面板122中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用任一方式。

通话部130具备扬声器131和麦克风132，其将通过麦克风132输入的用户的语音转换成可由主控制部100处理的语音数据并输出至主控制部100，将通过无线通信部110或外部输入输出部160接收的语音数据进行解码并从扬声器131输出。并且，如图20所示，例如能够将扬声器131搭载于与设置有显示输入部120的面相同的面，将麦克风132搭载于框体102的侧面。

操作部140为使用按键开关等的硬键，其接收来自用户的指示。例如，如图20所示，操作部140是如下按键式开关：搭载于智能手机101的框体102的侧面，当用手指等按下时开启，当拿开手指时，通过弹簧等的复原力成为关闭状态。

存储部150存储主控制部100的控制程序或控制数据、应用软件、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据或下载的内容数据，并且暂时存储流数据等。并且，存储部150由智能手机内置的内部存储部151和具有拆装自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151和外部存储部152利用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read OnlyMemory)等储存介质来实现。

外部输入输出部160发挥与连结于智能手机101的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机101连结的外部设备，例如有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的耳机等。外部输入输出部也可以将从这种外部设备输送来的数据传递给智能手机101的内部的各构成要件，或者将智能手机101的内部的数据输送至外部设备。

GPS接收部170按照主控制部100的指示接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由智能手机101的纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息的情况下，还能够利用该位置信息检测位置。

动作传感器部180例如具备三轴加速度传感器等，按照主控制部100的指示检测智能手机101的物理移动。通过检测智能手机101的物理移动，可以检测智能手机101的移动方向或加速度。所述检测结果被输出至主控制部100。

电源部190按照主控制部100的指示向智能手机101的各部供给蓄存于电池(未图示)的电力。

主控制部100具备微处理器，按照存储部150所存储的控制程序或控制数据动作，集中控制智能手机101的各部。并且，主控制部100为了通过无线通信部110进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能和应用处理功能。

应用处理功能通过由主控制部100按照存储部150所存储的应用软件动作来实现。作为应用处理功能，例如有控制外部输入输出部160而与对象设备进行数据通信的红外线通信功能或进行电子邮件的收发的电子邮件功能、阅览Web页的Web浏览功能等。

并且，主控制部100具备根据接收数据或所下载的流数据等图像数据(静止图像或动态图像的数据)将影像显示于显示输入部120等的图像处理功能。图像处理功能是指主控制部100对上述图像数据进行解码并对所述解码结果实施图像处理从而将图像显示于显示输入部120的功能。

而且，主控制部100执行对显示面板121的显示控制以及检测用户通过操作部140、操作面板122进行的操作的操作检测控制。

通过显示控制的执行，主控制部100显示用于启动应用软件的图标或滚动条等软键，或者显示用于创建电子邮件的窗口。另外，滚动条是指针对无法完全收纳于显示面板121的显示区域的大图像等，用于接收使图像的显示部分移动的指示的软键。

并且，通过操作检测控制的执行，主控制部100检测用户通过操作部140进行的操作，或者通过操作面板122接收对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接收通过滚动条发出的显示图像的滚动要求。

而且，通过操作检测控制的执行，主控制部100具备如下触控面板控制功能：判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的与显示面板121不重叠的外缘部分(非显示区域)，从而对操作面板122的感应区域或软键的显示位置进行控制。

并且，主控制部100还能够检测对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并不是指以往单纯的触摸操作，而是指通过手指等描绘轨迹或同时指定多个位置，或者组合这些动作而从多个位置对至少一个描绘出轨迹的操作。

相机部141为使用CMOS等成像元件进行电子拍摄的数码相机。并且，相机部141能够通过主控制部100的控制将通过拍摄获得的图像数据例如转换为JPEG等压缩的图像数据，并存储于存储部150，通过外部输入输出部160或无线通信部110输出。如图20所示，在智能手机101中，相机部141搭载于与显示输入部120相同的面，但是相机部141的搭载位置并不限于此，可以搭载于显示输入部120的背面，或者也可以搭载多个相机部141。另外，在搭载多个相机部141的情况下，可以替换供摄影的相机部141而单独进行拍摄，或者也可以同时使用多个相机部141进行拍摄。

并且，相机部141能够用于智能手机101的各种功能。例如，能够在显示面板121显示由相机部141获取的图像，或者将相机部141的图像用作操作面板122的操作输入的一种。并且，在GPS接收部170检测位置时，还能够参照来自相机部141的图像检测位置。而且，还能够参照来自相机部141的图像，不使用三轴加速度传感器，或者并用三轴加速度传感器，来判断智能手机101的相机部141的光轴方向或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。

此外，还能够将通过GPS接收部170获取的位置信息、通过麦克风132获取的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部180获取的姿势信息等等附加给静止画或动画的图像数据并存储在存储部150中，并通过外部输入输出部160或无线通信部110输出。

上述图像处理部31(参照图4、图17以及图18)例如能够通过主控制部100实现。

符号说明

2-数码相机，3-相机主体，4-透镜镜筒，5-闪光发射部，6-快门按钮，7-电源开关，8-显示部，9-操作部，10-主存储器，12-透镜部，20-机械快门，21-成像元件，22-进程处理部，23-AD转换部，24-缓冲存储器，25-系统控制部，26-快门驱动部，27-透镜驱动部，28-电源控制部，29-电源，30-控制存储器，31-图像处理部，32-压缩扩展部，33-存储控制部，34-时钟设备，35-显示控制部，36-用户接口，41-图像获取部，43-比例计算部，45-判定部，61-信号处理部，62-亮度信息获取部，63-亮度信息比较部，100-主控制部，101-智能手机，102-框体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-接收部，170-GPS接收部，180-动作传感器部，190-电源部。

Claims (24)

1.一种图像处理装置，其具备：

图像获取部，获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，所述第1闪光发射图像通过发射闪光进行实际拍摄而得，所述第2闪光发射图像通过以与所述第1闪光发射图像的曝光时间不同的曝光时间对与所述第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；

比例计算部，计算出与所述第1摄像信号的各区域对应的所述第2摄像信号的各区域中的、所述第1摄像信号与所述第2摄像信号的信号比例；以及

判定部，在所述第1闪光发射图像中，根据所述信号比例和阈值判定主要被摄体区域和背景区域。

2.根据权利要求1所述的图像处理装置，其中，

所述比例计算部获取与所述第1摄像信号的各区域对应的所述第2摄像信号的各区域中的、所述第1摄像信号和所述第2摄像信号的信号变化量，并计算出所述信号变化量与基于各区域的所述第1摄像信号或所述第2摄像信号的值的比例即所述信号比例，

所述判定部在所述第1闪光发射图像中，将所述信号比例为阈值以下的区域判定为主要被摄体区域，将所述信号比例大于所述阈值的区域判定为背景区域。

3.根据权利要求1所述的图像处理装置，其中，

所述判定部在所述第1闪光发射图像中，将所述信号比例为阈值以上的区域判定为主要被摄体区域，将所述信号比例小于所述阈值的区域判定为背景区域。

4.根据权利要求1～3中任一项所述的图像处理装置，其中，

所述第1闪光发射图像的所述曝光时间比闪光的发射时间长。

5.根据权利要求1～4中任一项所述的图像处理装置，其中，

所述第2闪光发射图像的所述曝光时间比所述第1闪光发射图像的所述曝光时间短。

6.根据权利要求1～5中任一项所述的图像处理装置，其中，

所述第1闪光发射图像的所述曝光时间根据所述第1闪光发射图像的适当曝光确定。

7.根据权利要求1～6中任一项所述的图像处理装置，其中，

上述图像处理装置具备信号处理部，所述信号处理部对由所述判定部判定的所述主要被摄体区域和所述背景区域进行不同的信号处理。

8.根据权利要求7所述的图像处理装置，其中，

所述信号处理部对所述主要被摄体区域和所述背景区域进行不同的白平衡处理。

9.根据权利要求7或8所述的图像处理装置，其中，

上述图像处理装置具备：

亮度信息获取部，获取所述第1闪光发射图像的亮度信息和所述第2闪光发射图像的亮度信息；以及

亮度信息比较部，对所述第1闪光发射图像的所述亮度信息与所述第2闪光发射图像的所述亮度信息进行比较，

所述信号处理部根据所述亮度信息比较部的比较结果不进行所述信号处理。

10.根据权利要求9所述的图像处理装置，其中，

所述亮度信息比较部通过计算所述第1闪光发射图像的所述亮度信息与所述第2闪光发射图像的所述亮度信息的重叠来进行比较。

11.根据权利要求7或8所述的图像处理装置，其中，

在拍摄所述第1闪光发射图像以及所述第2闪光发射图像的快门速度比闪光的发射时间短的情况下，所述信号处理部不进行所述信号处理。

12.根据权利要求1～11中任一项所述的图像处理装置，其中，

在拍摄所述第1闪光发射图像，接着拍摄所述第2闪光发射图像的情况下，

在后帘同步的闪光发射时刻拍摄所述第1闪光发射图像，在前帘同步的闪光发射时刻拍摄所述第2闪光发射图像。

13.根据权利要求1～11中任一项所述的图像处理装置，其中，

在拍摄所述第2闪光发射图像，接着拍摄所述第1闪光发射图像的情况下，

在前帘同步的闪光发射时刻拍摄所述第1闪光发射图像，在后帘同步的闪光发射时刻拍摄所述第2闪光发射图像。

14.根据权利要求1～11中任一项所述的图像处理装置，其中，

在拍摄所述第2闪光发射图像，接着拍摄所述第1闪光发射图像，且在前帘同步的闪光发射时刻拍摄所述第1闪光发射图像的情况下，

所述第2闪光发射图像的所述曝光时间比所述第1闪光发射图像的所述曝光时间短。

15.根据权利要求14所述的图像处理装置，其中，

在后帘同步的闪光发射时刻拍摄所述第2闪光发射图像。

16.根据权利要求1～11中任一项所述的图像处理装置，其中，

在拍摄所述第1闪光发射图像，接着拍摄所述第2闪光发射图像，且在后帘同步的闪光发射时刻拍摄所述第1闪光发射图像的情况下，

所述第2闪光发射图像的所述曝光时间比所述第1闪光发射图像的所述曝光时间短。

17.根据权利要求16所述的图像处理装置，其中，

在前帘同步的闪光发射时刻拍摄所述第2闪光发射图像。

18.根据权利要求1～17中任一项所述的图像处理装置，其中，

所述第1闪光发射图像以及所述第2闪光发射图像中闪光的发光量的设定相同。

19.根据权利要求1～18中任一项所述的图像处理装置，其中，

所述第1摄像信号以及所述第2摄像信号的所述区域为1个像素。

20.一种摄像装置，具备权利要求1～19中任一项所述的图像处理装置。

21.根据权利要求20所述的摄像装置，其中，

上述摄像装置具备检测手抖的手抖传感器，

在拍摄所述第1闪光发射图像以及所述第2闪光发射图像中的至少一个时，

在所述手抖传感器检测到手抖的情况下，所述判定部不进行所述主要被摄体区域以及所述背景区域的判定。

22.一种图像处理方法，包括：

图像获取步骤，获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，所述第1闪光发射图像通过发射闪光进行实际拍摄而得，所述第2闪光发射图像通过以与所述第1闪光发射图像的曝光时间不同的曝光时间对与所述第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；

比例计算步骤，计算出与所述第1摄像信号的各区域对应的所述第2摄像信号的各区域中的、所述第1摄像信号与所述第2摄像信号的信号比例；以及

判定步骤，在所述第1闪光发射图像中，根据所述信号比例和阈值判定主要被摄体区域和背景区域。

23.一种程序，其使计算机执行如下步骤：

图像获取步骤，获取表示第1闪光发射图像的第1摄像信号和表示第2闪光发射图像的第2摄像信号，所述第1闪光发射图像通过发射闪光进行实际拍摄而得，所述第2闪光发射图像通过以与所述第1闪光发射图像的曝光时间不同的曝光时间对与所述第1闪光发射图像相同的场景发射闪光进行参照拍摄而得；

比例计算步骤，计算出与所述第1摄像信号的各区域对应的所述第2摄像信号的各区域中的所述第1摄像信号与所述第2摄像信号的信号比例；以及

判定步骤，在所述第1闪光发射图像中，根据所述信号比例和阈值判定主要被摄体区域和背景区域。

24.一种计算机可读取的非暂时性记录介质，记录有权利要求23所述的程序。