CN101399925B

CN101399925B - 电子相机

Info

Publication number: CN101399925B
Application number: CN2008101610610A
Authority: CN
Inventors: 今藤和晴; 松田敏治; 植松君夫
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-09-26
Filing date: 2008-09-26
Publication date: 2012-08-22
Anticipated expiration: 2028-09-26
Also published as: DE602008003280D1; US8130280B2; EP2043361A1; CN101399925A; JP2009081693A; JP5163031B2; EP2043361B1; US20090096896A1

Abstract

本发明提供一种电子相机，包括：摄像元件，拍摄被拍摄体图像，并输出图像信号；图像合成装置，利用在上述摄像元件中以不同的摄像条件取得的多组图像信号，生成一个图像，进行图像合成；和控制装置，根据预定的判断条件，判断是否在上述图像合成装置中进行上述图像合成，在判断为进行上述图像合成时，控制上述图像合成装置以进行上述图像合成。

Description

电子相机

技术领域

本发明涉及一种电子相机。

背景技术

在JP特开平7-131718号公报中公开了一种合成多个图像的相机。

在现有技术中，使相机自身判断是否需要图像合成比较困难，从而存在在不需要合成的情况下也进行徒劳的处理的问题。

发明内容

本发明的第1方式的电子相机，其中，包括：摄像元件，拍摄被拍摄体图像，并输出图像信号；图像合成装置，利用在上述摄像元件中以不同的摄像条件取得的多组图像信号，生成一个图像，进行图像合成；和控制装置，根据预定的判断条件，判断是否在上述图像合成装置中进行上述图像合成，在判断为进行上述图像合成时，控制上述图像合成装置以进行上述图像合成。

本发明的第2方式，优选在第1方式的电子相机中，还包括利用上述图像信号进行测光运算的测光装置，上述控制装置，根据通过上述测光装置的上述测光运算获得的图像的明亮度分布，判断是否在上述图像合成装置中进行上述图像合成。

本发明的第3方式，优选在第2方式的电子相机中，上述控制装置，利用通过上述测光运算获得的最大亮度值和最小亮度值的差，判断是否在上述图像合成装置中进行上述图像合成

本发明的第4方式，优选在第3方式的电子相机中，上述控制装置，在判断为在上述图像合成装置中进行上述图像合成时，利用上述最大亮度值和上述最小亮度值的差，决定在上述图像合成中使用的上述多组图像信号的数量。

本发明的第5方式，优选在第1方式的电子相机中，上述图像合成装置为了进行上述图像合成而使用的上述多组图像信号，分别由摄像元件根据摄影指示以数十帧以上每秒的帧频取得。

本发明的第6方式，优选在第1方式的电子相机中，还包括利用上述图像信号进行测光运算的测光装置，在基于通过上述测光装置的上述测光运算获得的图像的平均明亮度的摄像条件下，上述摄像元件按照摄影指示进行拍摄，上述控制装置根据上述摄像元件所拍摄的图像信号的最大值或最小值，判断是否在上述图像合成装置中进行上述图像合成。

本发明的第7方式，优选在第6方式的电子相机中，上述控制装置，根据在按照上述摄影指示拍摄的上述图像信号中超过第一预定值的图像信号的数量，判断是否在上述图像合成装置中进行上述图像合成。

本发明的第8方式，优选在第6方式的电子相机中，上述控制装置，根据在按照上述摄影指示拍摄的上述图像信号中不足第二预定值的图像信号的数量，判断是否在上述图像合成装置中进行上述图像合成。

本发明的第9方式，优选在第1方式的电子相机中，上述控制装置，根据在上述电子相机中设定的摄影模式，判断是否在上述图像合成装置中进行上述图像合成。

本发明的第10方式，优选在第1方式的电子相机中，上述图像合成装置生成一个图像，该生成的一个图像的信号值的范围大于上述图像合成所使用的多组图像信号的各个信号值的范围。

本发明的第11方式，优选在第2方式的电子相机中，上述控制装置，根据通过上述测光运算在摄影指示前获得的实时预览图像的明亮度分布，判断是否在上述图像合成装置中进行上述图像合成。

本发明的第12方式，优选在第11方式的电子相机中，上述控制装置，在判断为在上述图像合成装置中进行上述图像合成时，利用构成多个实时预览图像的图像信号的最大亮度值和最小亮度值的差，决定上述图像合成所使用的上述多组图像信号的数量、以及取得上述多组图像信号时的摄像条件，所述多个实时预览图像是通过上述摄像元件在不同的摄像条件取得的。

本发明的第13方式，优选在第12方式的电子相机中，将取得用于上述图像合成的上述多组图像信号所需要的时间，作为快门速度在上述摄影指示前显示在显示装置上。

本发明的第14方式，优选在第6方式的电子相机中，上述控制装置，在判断为在上述图像合成装置中进行上述图像合成时，控制上述摄像元件以在不同的摄像条件下取得图像信号，在该取得的图像信号中存在预定数以上的超过第一预定值的图像信号时、或存在预定数以上的低于第二预定值的图像信号时，进一步控制上述摄像元件以在不同的摄像条件下取得图像信号，所述第二预定值小于上述第一预定值。

附图说明

图1是表示本发明的第一实施方式的电子相机的构成的框图。

图2是说明CPU所执行的释放待机处理的流程的流程图。

图3是示例根据预览图像信号获得的直方图。

图4是说明合成时释放处理的流程的流程图。

图5是示例与取得的多个图像相对的Ev值的大小的图。

图6是说明合成后的图像的图。

图7是说明通常时释放处理的流程的流程图。

图8是说明第二实施方式的释放待机处理的流程的流程图。

图9是示例与取得的多个图像相对的Ev值的大小的图。

具体实施方式

以下参照附图说明用于实施本发明的最佳实施方式。

(第一实施方式)

图1是示例本发明的第一实施方式的电子相机的构成的框图。在图1中，电子相机包括：摄像光学系统11、摄像元件12、模拟前端(AFE)电路13、图像处理部14、缓冲存储器15、记录接口(I/F)16、监视器17、操作部件18、半按开关19a、全按开关19b、存储器20、CPU21、变焦透镜驱动装置25、防振透镜驱动装置26、和振动传感器50。

CPU21、存储器20、记录接口16、图像处理部14、缓冲存储器15及监视器17，分别经由总线22连接。

摄像光学系统11由包含变焦透镜、聚焦透镜、防振透镜的多个透镜组构成，使被拍摄体图像在摄像元件12的受光面上成像。另外，为了简化图1而将摄像光学系统11作为单透镜进行图示。

摄像元件12由在受光面上二维排列有受光元件的CMOS图像传感器等构成。摄像元件12对由经过了摄像光学系统11的光束产生的被拍摄体图像进行光电转换，生成模拟图像信号。由摄像元件12生成的模拟图像信号被输入到AFE电路13。

AFE电路13进行对模拟图像信号的增益调整(与指示的ISO灵敏度对应的信号放大等)。具体地说，根据来自CPU21的灵敏度设定指示，在预定范围(例如ISO50相当～ISO3200相当)内变更摄像灵敏度(曝光灵敏度)。摄像灵敏度通过相当的ISO值表示，因此被称为ISO灵敏度。AFE电路13进一步通过内置的A/D转换电路将模拟处理后的图像信号转换为数字数据。通过AFE电路13生成的数字图像数据被输入到图像处理部14。

图像处理部14对数字图像数据除了进行各种图像处理(颜色插补处理、灰度变换处理、轮廓增强处理、白平衡调整处理等)之外，还进行后述的图像合成处理。

缓冲存储器15暂时存储由图像处理部14进行图像处理的前工序、后工序中的图像数据。记录接口16具有连接器(未图示)，在该连接器上连接记录介质23。记录接口16进行对连接的记录介质23的数据的写入、来自记录介质23的数据的读入。记录介质23由内置有半导体存储器的存储卡、或硬盘驱动器等构成。

监视器17是设置在电子相机的背面的显示装置，由液晶面板构成，根据来自CPU21的指示而显示图像、操作菜单等。操作部件18包括由用户操作的模式转盘、十字键、确定按钮等。操作部件18向CPU21发出与模式切换操作、菜单选择操作等各操作对应的操作信号。

半按开关19a及全按开关19b与释放按钮(未图示)的按下操作连动，分别将接通信号输出到CPU21。在释放按钮被按下操作到通常冲程的一半程度时输出来自开关19a的接通信号(半按操作信号)，通过半程的按下操作解除按钮解除输出。释放按钮被按下操作到通常冲程时输出来自开关19b的接通信号(全按操作信号)，解除通常冲程的按下操作后，解除输出。半按操作信号对CPU21指示开始摄影准备。全按操作信号对CPU21指示开始取得记录用图像。

CPU21通过执行ROM(未图示)中存储的程序来统一控制电子相机进行的动作。CPU21进行AF(自动聚焦)动作控制、自动曝光(AE)运算、及自动白平衡运算等。AF动作例如使用对比检测方式，根据实时预览图像的对比信息求出聚焦透镜(未图示)的对焦位置。实时预览图像(也称为取景(スル—)图像)是在摄影指示前由摄像元件12连续取得的图像。通常，监视用图像是以预定的间隔抽取率间隔抽取的图像。另外，在CPU21中也可以构成为不是对比检测方式，而是通过相位差检测方式进行自动聚焦调节。

CPU21也作为脸部检测部24发挥作用。脸部检测部24对实时预览图像中包含的被拍摄体的脸部区域进行检测。脸部检测处理，通过公知的特征点提取处理来提取被拍摄体的眉、目、鼻、唇的各端点等特征点，根据提取的特征点判断是否为脸部区域。另外，也可以以如下方式构成脸部检测部24：求出实时预览图像和预先准备的参照数据(脸部图像等)的相关函数，当该函数超过了预定的判断阈值时，判断为脸部区域。

振动传感器50分别检测电子相机的左右偏转方向和俯仰转动方向的振动，并将各检测信号发送到CPU21。

防振透镜驱动装置26根据来自CPU21的指示，使构成摄影光学系统11的防振透镜(未图示)在与光轴垂直的方向上进退移动。CPU21根据来自振动传感器50的检测信号，向防振驱动装置26发送防振透镜驱动指示以消除检测出的振动的影响。从而，抑制了因电子相机的摇动引起的摄像元件12上的被拍摄体图像的相对摇动。

变焦透镜驱动装置25根据来自CPU21的指示，使构成摄影光学系统11的变焦透镜(未图示)在光轴方向上进退移动。CPU21根据来自操作部件18的变焦操作信号，向变焦透镜驱动装置25发送变焦透镜驱动指示。

本实施方式的电子相机具有对合成了多个图像后的图像进行记录的摄影模式。被设定为许可图像合成的“自动合成”模式的电子相机，在摄影时判断是否需要合成。判断为需要合成时，电子相机取得多个图像并合成，记录合成图像。多个图像(通过释放按钮的一次全按操作取得的本图像)的取得，例如以数十帧每秒的帧频(例如80fps)进行。另一方面，判断为不需要合成时，电子相机与通常摄影同样地取得并记录1个图像。“自动合成”模式通过模式转盘操作在电子相机中进行设定。

参照图2的流程图说明电子相机被设定为“自动合成”模式时进行的处理的流程。CPU21在被设定为“自动合成”模式时启动进行图2的释放待机处理的程序。

(释放待机处理)

在释放待机处理中，CPU21以数十～百数十帧每秒的帧频(例如60fps～120fps)反复取得实时预览图像，进行后述的曝光运算、聚焦调节，并且将实时预览图像连续地显示到监视器17上，同时等待释放操作。另外，电子相机使用构成实时预览图像的信号值进行测光运算，因此根据在前一帧中取得的信号值适当变更实时预览图像取得时的摄像灵敏度。但是，选择以与图像的平均明亮度对应的摄像灵敏度取得的帧的图像，并显示到监视器17上，从而防止在监视器17上显示的图像的明亮度不自然地变动。

在图2的步骤S10中，CPU21进行半按操作判断。CPU21从半按开关19a接收到半按操作信号时，对步骤S10进行肯定判断并进入步骤S20。CPU21没有接收到半按操作信号时，对步骤S10进行否定判断，反复进行该判断处理。

在步骤S20中，CPU21根据构成实时预览图像的图像信号值进行自动曝光运算(AE)，并进入步骤S30。在该自动曝光运算中，例如根据图像的平均明亮度来决定摄像条件(即，摄像灵敏度、累积时间、及光圈值)。在本实施方式中，通过所谓电子快门来控制摄像时的信号累积时间。在步骤S30中，CPU21根据从实时预览图像获得的对比信息，进行自动聚焦调节，并进入步骤S40。

在步骤S40中，CPU21判断是否需要图像合成。图3示例了在步骤S20中取得的、根据后述三个实时预览图像信号(即，互相改变了摄像条件的3次实时预览摄影动作中获得的图像)获得的直方图。横轴表示明亮度(信号电平)，纵轴表述数据数。CPU21对与各像素位置对应的信号，按照明暗的顺序排列，获得图3的直方图。

使用摄像元件12这种累积型的传感器时，动态范围取决于A/D转换的精度(即比特长度)。例如以8比特长度进行A/D转换时的动态范围，在Ev值下为6级左右。此时，很难通过1次摄像(测光)对例如Ev1～Ev20的范围的整个区域获得适当的值的图像信号，因此根据被拍摄体的明亮度而变更摄像范围(摄像时的动态范围)。摄像范围的变更通过改变在步骤S20中决定的摄像灵敏度及累积时间的至少一方来进行。在本实施方式中将光圈值固定为在上述步骤S20中决定的值，使摄像灵敏度、累积时间变化以改变摄像范围的同时，进行合成释放处理(在步骤S80中后述)。以下说明与该合成释放处理同样地在改变相互的摄像条件的同时进行多次实时预览图像的取得动作的方法。

CPU21对于在根据图像的平均明亮度决定的摄像条件下拍摄的实时预览图像(称为第一实时预览图像)，判断是否存在信号电平饱和的像素信号。信号电平例如在8比特长度的情况下信号值超过255时，判断为饱和。CPU21将第一预览图像的像素信号中信号电平饱和的像素位置的信号置换为其他的实时预览图像(称为第二实时预览图像)的对应的像素位置的信号。在此，第二实时预览图像与第一实时预览图像相比，是降低摄像灵敏度、或缩短累积时间使之不饱和而拍摄的图像。此时，在参考了实时预览图像间的灵敏度差(累积时间差)的基础上进行置换。从而，实时预览图像的最亮区域的信号以没有所谓死白的状态获得。另外，死白表示，例如如图3中Bx所示，在某个明亮度中没有收敛数据数(没有成为不足预定数)的状态下直方图切断的情况。

相反地，在根据图像的平均明亮度决定的摄像条件下拍摄的实时预览图像(第一实时预览图像)的像素信号中信号电平为预定值以下的信号，置换为其他的实时预览图像(称为第三实时预览图像)的对应的像素位置的信号。在此，第三实时预览图像是提高拍摄灵敏度、或增加累积时间、使信号电平为预定值以上而拍摄的图像。此时，在参考了预览图像间的灵敏度差(累积时间差)的基础上进行置换。从而实时预览图像中最暗的区域的信号以没有所谓晦黑的状态获得。另外，晦黑表示，例如如图3中By所示，在某个黑暗度中没有收敛数据数(没有成为不足预定数)的状态下直方图切断的情况。根据这样获得的上述三个实时预览图像获得图3所示的直方图。该直方图在后述步骤S50中使用。

进行步骤S40的判断的CPU21，在以根据图像的平均明亮度决定的摄像条件下拍摄的实时预览图像(第一实时预览图像)的像素信号中没有产生死白及晦黑的情况下，对步骤S40进行否定判断并进入步骤S90。进入步骤S90的情况是判断不需要合成的情况。

CPU21在以根据图像的平均明亮度决定的摄像条件拍摄的实时预览图像(第一实时预览图像)的像素信号中产生了上述死白及晦黑的至少一方的情况下，对步骤S40进行肯定判断并进入步骤S50。进入步骤S50的情况是判断需要合成的情况。

在步骤S50中，CPU21决定合成条件。合成条件包括为了合成而取得的图像的数量、和取得各图像时的摄像条件。CPU21例如在如上获得的直方图(图3)的最高亮度数据Bh和最低亮度数据B1的差有8级时，通过最大Ev值、比最大Ev值低8级的Ev值、和在其间插补的Ev值分别取得图像。具体地说，决定(1)最大Ev值、(2)比最大Ev值低2级的Ev值、(3)比最大Ev值低4级的Ev值、(4)比最大Ev值低8级的Ev值。此时，为了合成而取得的图像的数量为(Bh和B1的差)/(插补步骤)＝8/2＝4。

如下决定最大Ev值。CPU21根据最高亮度值Bh加上预定的余量ΔB而得到的亮度B(B＝Bh+ΔB)来决定快门速度Tv及/或摄像灵敏度Sv，以使动态范围中包含最高亮度值Bh。在此，光圈Av如上所述为预定值。本实施方式的情况下，快门速度Tv的高速侧上限例如为1/80秒。这样决定的(Tv+Av)对应于最大Ev值。在最大Ev值中，例如太阳等高亮度的区域的像素信号虽然不饱和(没有所谓死白)，但其他区域的像素信号比图像的平均明亮度暗。

然后CPU21使Ev值从最大Ev值下降2级。具体地说，改变快门速度Tv和/或摄像灵敏度Sv。另外，光圈固定为上述值。使Ev值下降2级后，虽然太阳等高亮度区域的像素信号饱和，但图像的平均明亮度的区域的像素信号的信号值提高。

同样地，CPU21使Ev值从最大Ev值下降4级。改变快门速度Tv和/或摄像灵敏度Sv(光圈固定为上述值)，而使Ev值下降4级后，图像的平均明亮度的区域的像素信号的信号值进一步提高。

CPU21进一步使Ev值从最大Ev值下降8级。改变快门速度Tv和/或摄像灵敏度Sv(光圈固定为上述值)，而使Ev值下降8级后，虽然图像的平均明亮度的区域的像素信号的信号值很高，但图像的黑暗区域的像素信号获得预定值以上的值(没有所谓晦黑)。

CPU21如上决定了合成条件后进入步骤S60。在步骤S60中，CPU21判断半按操作是否被解除。CPU21在没有输入来自半按开关19a的半按操作信号的情况下，对步骤S60进行肯定判断，并返回到步骤S10，反复进行上述处理。CPU21在输入了来自半按开关19a的半按操作信号的情况下，对步骤S60进行否定判断，并进入步骤S70。

在步骤S70中，CPU21进行全按操作判断。CPU21在从全按开关19b接收到全按操作信号时，对步骤S70进行肯定判断，并进入步骤S80。CPU21在没有接收到全按操作信号时，对步骤S70进行否定判断，并返回步骤S60。

在步骤S80中，CPU21进行合成时释放处理，并返回步骤S10。在下文详细说明合成时释放处理。

在对上述步骤S40进行否定判断后进入的步骤S90中，CPU21判断半按操作是否被解除。CPU21在没有输入来自半按开关19a的半按操作信号的情况下，对步骤S90进行肯定判断，并返回到步骤S10，反复进行上述处理。CPU21在输入了来自半按开关19a的半按操作信号的情况下，对步骤S90进行否定判断，并进入步骤S100。

在步骤S100中，CPU21进行全按操作判断。CPU21从全按开关19b接收到全按操作信号时，对步骤S100进行肯定判断，并进入步骤S110。CPU21在没有接收到全按操作信号时，对步骤S100进行否定判断，并返回步骤S90。

在步骤S110中，CPU21进行通常时释放处理，并返回到步骤S10。在下文详细说明通常时释放处理。

(合成时释放处理)

参照图4的流程图说明步骤S80中的合成时释放处理的流程。在图4的步骤S81中CPU21设定摄像条件，并进入步骤S82。具体地说，通过在步骤S50(图2)中决定的内容，设定摄像元件12的累积时间和AFE电路13的增益(摄像灵敏度)。在步骤S82中CPU21使摄像元件12摄像，并进入步骤S83。从而，在设定的摄像条件下进行摄像(本图像的取得动作)，将累积信号经由AFE电路13传送到图像处理部14。

在步骤S83中，CPU21判断是否结束了预定次数的摄像。CPU21在结束了与为了合成而取得的图像数对应的次数(在本例中为4次)的摄像时，对步骤S83进行肯定判断，并进入步骤S84。CPU21在不足上述摄像次数时，对步骤S83进行否定判断，并返回到步骤S81，直到达到预定次数为止反复摄像。从而，根据1个摄影指示(全按操作信号输入)，将Ev值改变4次并且取得图像1～图像4这4个图像。图5是示例与取得的图像1～图像4相对的Ev值的大小的图。在图5中，图像2是以比图像1低2级的Ev值取得的图像。图像3是以比图像1低4级的Ev值取得的图像。图像4是以比图像1低8级的Ev值取得的图像。另外，图5示出了在每次输出摄影指示时(每次进行全按操作时)进行上述一系列摄影(改变Ev值并且进行4次摄像)。

在步骤S84中，CPU21向图像处理部14发出指示，使取得的图像合成。图像处理部14根据图3的直方图将明亮度分为四个范围，如下进行合成处理。另外，在与四个范围的边界周边的像素位置对应的区域上进行边界处理，以使边界接缝不明显。另外，利用实施颜色插补处理并在各像素位置具有各色(例如RGB)的数据的图像进行合成。

(a)由图像1的数据表示与最明亮的范围中含有的像素位置对应的区域。

(b)由图像2的数据表示与第二明亮的范围中含有的像素位置对应的区域。

(c)由图像3的数据表示与第三明亮的范围中含有的像素位置对应的区域。

(d)由图像4的数据表示与第四明亮(最暗)的范围中含有的像素位置对应的区域。

图6是说明合成后的图像的图。图中“图像1”的区域表示由图像1的数据表示。“图像2”的区域表示由图像2的数据表示。此外，“图像3”的区域表示由图像3的数据表示。进而，“图像4”的区域表示由图像4的数据表示。

图像处理部14如上进行了合成处理后，对图6所示的合成图像数据进行灰度变换处理、轮廓增强处理、白平衡调整处理。CPU21在图像处理结束后进入步骤S85。在步骤S85中，CPU21开始将处理后的图像数据(合成图像数据)保存到记录介质23中的处理，并进入步骤S86。在步骤S86中，CPU21开始使处理后的合成图像数据显示到监视器17上的处理，并结束图4的处理。

(通常时释放处理)

参照图7的流程图说明步骤S110的通常时释放处理的流程。在通常时释放处理中，根据通过步骤S20的曝光运算获得的控制曝光值取得1个图像。在图7的步骤S111中CPU21设定摄像条件，并进入步骤S112。具体地说，按照在步骤S20中取得的控制曝光，设定摄像元件12的累积时间及AFE电路13的增益、光圈(未图示)的光圈值。在通常时释放处理中，除了以如光圈优先自动曝光模式那样设定在电子相机中的光圈值控制曝光以外，光圈也包含在控制对象中进行控制。

在步骤S112中CPU21使摄像元件12摄像，并进入步骤S113。从而在设定的摄像条件下进行摄像，累积信号经由AFE电路13传送到图像处理部14。图像处理部14对传送数据进行颜色插补处理、灰度变换处理、轮廓增强处理、白平衡调整处理等。

在步骤S113中CPU21开始将处理后的图像数据保存到记录介质23中的处理，并进入步骤S114。在步骤S114中，CPU21开始使处理后的图像数据显示到监视器17上的处理，并结束图7的处理。

CPU21进行“合成时释放处理”时，作为摄影条件显示在监视器17中的快门速度的值如下显示。例如，为了合成而取得的图像数为4、图像1～图像4的快门速度Tv均为1/80秒时(摄像元件12的图像取得帧频为80fps时)，CPU21作为快门速度显示(1/80+1/80+1/80+1/80)＝1/20秒。

根据以上说明的第一实施方式，获得以下作用效果。

(1)电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”，因此与手动切换的情况不同，用户可以专心于摄影操作。

(2)在“合成时释放处理”中，根据1个摄影指示(全按操作信号输入)而以高的帧频(数十～数百帧每秒)取得多个图像，因此与需要用支架长时间摄影的所谓支架摄影的情况不同，用户能以与1个镜头摄影同样的感觉进行摄影操作。

(3)根据直方图(图3)在改变Ev值的同时取得多个图像，因此可以与超过1次摄像(测光)的动态范围的大范围(例如Ev1～Ev20)的摄影对应。即，明亮的被拍摄体区域及黑暗的被拍摄体区域，均可以在多个图像的某一个中作为适当的信号值取得，因此获得没有死白和晦黑的图像。

(4)利用构成由摄像元件12取得的实时预览图像的信号值进行测光运算，因此和与摄像元件12分别地设置测光传感器的情况相比，可以获得成本降低、安装空间缩小的效果。

(5)根据直方图(图3)将拍摄视野的明亮度分为多个(例如4个)范围，用图像1的数据表示与最明亮的范围中包含的像素位置对应的区域，用图像2的数据表示与第二明亮的范围中包含的像素位置对应的区域，用图像3的数据表示与第三明亮的范围中包含的像素位置对应的区域，用图像4的数据表示与第四明亮(最暗)的范围中包含的像素位置对应的区域，从而从上述多个图像生成一个图像。进而，在与4个范围的边界周边的像素位置对应的区域进行边界处理，由此进行合成处理。从而，在大的动态范围内获得高质量的图像。

(6)根据摄影指示前(步骤S20)取得的直方图(图3)的最高亮度数据Bh和最低亮度数据B1的差，决定为了合成处理而取得的图像数，因此可以在释放全按操作前求出图像取得的预料时间，并显示在监视器17上。

(变形例1)

在上述第一实施方式中，以具有电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”的“自动合成”模式为例进行了说明，但也可以构成为通过手动操作切换是进行“合成时释放处理”还是进行“通常时释放处理”。例如，可以在可以切换的模式转盘上设置“合成模式”，通过用户对该模式转盘的切换操作来选择“合成时释放处理”。

(变形例2)

在上述第一实施方式中，电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”时(步骤S40)，说明了根据在基于图像的平均明亮度的实时预览图像的像素信号中是否产生死白、晦黑来进行的例子。但也可以取代上述方式，而根据直方图(图3)的最高亮度数据Bh和最低亮度数据B1的差是否超过预定的级数来进行上述自动决定。此时例如，CPU21进行控制，以在最高亮度数据Bh和最低亮度数据B1的差超过了预定值(表示摄像元件自身所具有的动态范围的值，本实施例的情况下为6级)时，决定“需要合成”，进行“合成时释放处理”。

(变形例3)

此外，电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”时(步骤S40)，也可以根据自动曝光运算(步骤S20)的结果进行上述自动决定。变形例3的CPU21进行控制，以在根据图像的平均明亮度决定的累积时间与所谓手抖动界限时间相比为低速侧时，决定“需要合成”，进行“合成时释放处理”。从而，即使在被拍摄体很暗而可能产生晦黑的情况下，通过进行限制了累积时间的“合成时释放处理”，可以获得不产生手抖动的图像，并且在大的动态范围内获得高质量的图像。

(变形例4)

在“自动合成”模式中，电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”时，也可以判断是否存在主要被拍摄体的移动，根据该判断结果来进行上述自动决定。

变形例4的CPU21，判断实时预览图像的镜头间的被拍摄体图像的变化量是否为预定的判断阈值以上。例如，当根据前一镜头的预览图像和当前镜头的预览图像的数据计算出的镜头间(帧间)的移动矢量的大小为预定值以上时，CPU21判断存在被拍摄体的移动。CPU21进行控制，以在存在被拍摄体的移动时决定“不需要合成”，不进行“合成时释放处理”，而进行“通常时释放处理”。拍摄移动的被拍摄体时，通过进行“通常时释放处理”，可以消除合成引起的图像抖动的可能性。

(变形例5)

电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”时，也可以根据设定的摄影模式来进行上述自动决定。变形例5的CPU21判断摄影模式是否为“运动情景”模式。例如，CPU21进行控制，以在拍摄“运动情景”的模式时，决定“不需要合成”，不进行“合成时释放处理”，而进行“通常时释放处理”。拍摄存在移动的被拍摄体时，通过进行“通常时释放处理”，可以排除因合成引起的图像抖动的可能性。

(变形例6)

变形例6的CPU21判断摄影模式是否为“远景(风景)”模式。例如进行控制，以在拍摄“远景”模式时决定“需要合成”，进行“合成时释放处理”。在风景摄影等想要适当地表现明暗的情况下，通过进行“合成时释放处理”，可以在大的动态范围获得高质量的图像。此外，由于风景中作为被拍摄体进行动体的几率很低，因此因合成产生的图像抖动的影响在合成图像中产生的可能性很低。

(变形例7)

变形例7的CPU21判断摄影模式是否为“肖像”模式。例如，拍摄“肖像”的模式的情况下与上述远景模式同样地可以预料到作为被拍摄体进入动体的可能性很低，因此控制为决定“需要合成”，进行“合成时释放处理”。

(变形例8)

在“自动合成”模式中，电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”时，也可以判断电池剩余量，根据该判断结果来进行上述自动决定。

变形例8的CPU21根据未图示的电池电压检测电路的检测结果，判断电池剩余量是否为预定值以下。CPU21进行控制，以在电池剩余量为预定值以下时决定“不需要合成”，不进行“合成时释放处理”，而进行“通常时释放处理”。通过在电池剩余量较少时减少拍摄的次数或不进行合成处理，可以抑制耗电。

(变形例9)

在“自动合成”模式中，电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”时，也可以利用摄影位置信息及摄影日期信息来进行上述自动决定。

变形例9的CPU21，根据利用未图示的GPS装置取得的位置信息、以及由CPU21内置的计时电路取得的日期信息来判断是否需要合成。例如，CPU21进行控制，在预料到是夏季的海边、或冬季的山脉这种动态范围大的被拍摄体时，决定“需要合成”，进行“合成时释放处理”。通过在想要适当地表现明暗时进行“合成时释放处理”，可以在大的动态范围内获得高质量的图像。

(变形例10)

在“自动合成”模式中，电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”时，也可以根据是否对电子相机指示了曝光校正来进行上述自动决定。变形例10的CPU21进行控制，例如在指示了曝光校正时决定“不需要合成”，不进行“合成时释放处理”，而进行“通常时释放处理”。通过不进行大的动态范围化的处理，可以获得用户想要的曝光校正效果。

(变形例11)

在“自动合成”模式中，电子相机自动决定是进行“合成时释放处理”还是进行“通常时释放处理”时，也可以根据来自振动传感器50的检测信号来进行上述自动决定。变形例11的CPU21在振动传感器50的检测值超过防振控制范围、也就是说即使驱动防振透镜也很难消除振动的影响时，决定“需要合成”。并且，CPU21进行“合成时释放处理”，以从通过一个摄影指示而获得的多个图像中提取没有手抖动的图像进行合成。

(变形例12)

在以上的说明中，在进行“合成时释放处理”时是对图像的全部区域进行合成，但也可以将图像的一部分作为合成处理的对象。例如，将以图像的中央为中心的预定范围、或作为聚焦调节的对象的预定范围，作为合成处理的对象。与合成图像全部区域的情况相比，可以减轻合成处理时的负担。

(变形例13)

在上述说明中，说明了利用接收到全按操作信号后取得的多个图像来合成图像的例子。但是，也可以在接收到半按操作信号后，连续地、或每隔预定间隔反复地开始的图像取得，从半按操作到全按操作为止所取得的图像组也包含在图像合成的对象中。在此，半按操作信号接收后取得的多个图像示出与通过全按操作获得的本图像同样的图像，与上述实时预览图像不同。这样构成时，特别是在合成所使用的图像较多的情况下，在表观上缩小释放时间延迟方面有效。

(第二实施方式)

在第二实施方式中，基于构成按照摄影指示取得的图像(本图像)的图像信号值，决定用于合成的图像的摄像条件。图8是说明第二实施方式的释放待机处理的流程的流程图。CPU21取代图2的处理而启动进行图8的处理的程序。

(释放待机处理)

图8的步骤S10～步骤S70的各处理，与图2中相同步骤编号的处理相同，因此省略说明。在图8的步骤S201中CPU21设定摄像条件，并进入步骤S202。具体地说，按照在步骤S20中取得的控制曝光，设定摄像元件12的累积时间及AFE电路13的增益、光圈(未图示)的光圈值。

在步骤S202中CPU21使摄像元件12摄像，并进入步骤S203。从而在设定的摄像条件下进行摄像，累积信号经由AFE电路13传送到图像处理部14。

在步骤S203中，CPU21判断是否需要图像合成。CPU21，在取得图像(步骤S202中获得的本图像)的数据中存在预定数以上的饱和成分(例如8比特长度时信号值超过255)时、或者取得图像的数据中存在预定数以上(某取得图像数据中的预定比例以上)的信号值不足预定值的成分时，对步骤S203进行肯定判断。对步骤S203进行肯定判断而判断需要合成时，进入步骤S204。

CPU21在取得图像的数据中不存在预定数以上的饱和成分、且不存在预定数以上的信号值不足预定值的成分时，对步骤S203进行否定判断。对步骤S203进行否定判断而判断不需要合成时，进入步骤S208。

在步骤S204中CPU21再次设定摄像条件，并进入步骤S205。具体地说，取得图像的数据中存在饱和成分时，以从上次的Ev值例如增加2级的方式改变快门速度Tv和摄像灵敏度Sv。取得图像的数据中存在不足预定值的成分时，以从上次的Ev值例如降低2级的方式改变快门速度Tv和摄像灵敏度Sv。在步骤S205中CPU21使摄像元件12摄像，并进入步骤S206。从而在再次设定的摄像条件下进行摄像，累积信号经由AFE电路13传送到图像处理部14。

在步骤S206中，CPU21判断是否结束为了合成的图像取得。CPU21在步骤205中取得的取得图像的数据中依然存在预定数以上的饱和成分(例如8比特长度时信号值超过255)时、或者取得图像的数据中存在预定数以上的信号值不足预定值的成分时，对步骤S206进行否定判断。对步骤S206进行否定判断时返回到步骤S204，反复上述处理。

CPU21在步骤S202及步骤S205中取得图像的数据中不存在预定数以上的饱和成分、且不存在预定数以上的信号值不足预定值的成分时，对步骤S206进行肯定判断，并进入步骤S207。进入步骤S207的情况是判断图像取得结束的情况。图9是示例与取得的图像1～图像4相对的Ev值的大小的图。在图9中，图像1是以基于图像的平均明亮度的摄像条件(摄像灵敏度、累积时间及光圈值)取得的(步骤S202)图像。图像2是以比图像1高2级的Ev值取得的图像。图像3是以比图像1高4级的Ev值取得的图像。图像4是以比图像1低2级的Ev值取得的图像。

在图8的步骤S207中，CPU21向图像处理部14发出指示，使取得的图像合成。图像处理部14根据图3的直方图将明亮度分为四个范围，如下进行合成处理。在此以利用图9所示的图像1～图像4进行合成处理的情况为例进行说明。利用颜色插补处理后的图像进行合成、以及在与四个范围的边界周边的像素位置对应的区域上进行边界处理的方面，与第一实施方式相同。

(a)由图像3的数据表示与最明亮的范围中含有的像素位置对应的区域。

(c)由图像1的数据表示与第三明亮的范围中含有的像素位置对应的区域。

从而，与第一实施方式同样地，获得图6示例的合成后的图像。另外，用于合成的取得图像数少于4时减少合成的图像数，用于合成的取得图像数多于4时增加合成的图像数。图像处理部14如上进行了合成处理后，进行灰度变换处理、轮廓增强处理、白平衡调整处理。CPU21在图像处理结束后进入步骤S208。

在步骤S208中，CPU21开始将颜色插补处理、灰度变换处理、轮廓增强处理、白平衡调整处理后的图像数据保存到记录介质23中的处理，并进入步骤S209。在步骤S209中，CPU21开始使处理后的合成图像数据显示到监视器17上的处理，并结束图8的处理。

根据以上说明的第二实施方式，获得以下作用效果。

(1)CPU21基于构成根据摄影指示取得的图像的图像信号值，决定下一个取得的用于合成的图像的摄像条件，因此与根据实时预览图像的信号值决定的情况相比，可以正确地判断是否需要下一个图像取得。

(2)只要不是在取得图像中实际包含饱和成分的情况、或取得图像中实际包含不足预定值的信号值的情况，就不进行下一个图像取得，因此与在存在包含的可能的情况下就进行下一个图像取得的情况相比，可以将用于合成而取得的图像数抑制得较少。

(变形例14)

步骤S204中进行的摄像条件的再次设定中，CPU21也可以根据取得图像所含的饱和成分构成的图像的面积来决定Ev值的增加级数。此外，CPU21也可以根据由取得图像所含有的不足预定值的数据构成的图像的面积来决定Ev值的减少级数。

(变形例15)

在步骤S206值，CPU21也可以根据增减的Ev值的级数来判断用于合成的图像取得是否结束。例如，进行判断以不设定相对于最初取得(步骤S202)时的Ev值超过预定级数(例如+6级)的摄像条件。或者进行判断以不设定相对于最初取得(步骤S202)时的Ev值低于预定级数(例如-4级)的摄像条件。

(变形例16)

在以上说明的第一实施方式及第二实施方式中，是进行“合成时释放处理”或“通常时释放处理”，但也可以进行双方。此时的CPU21将合成处理后的图像数据、及通常摄影的图像数据分别存储到缓冲存储器15中，等待来自操作部件18的操作信号。

CPU21根据来自操作部件18的操作信号而在监视器17上同时或依次显示合成处理后的图像数据的确认用图像、和通常摄影的图像数据的确认用图像。并且，CPU21从操作部件18接收到指示保存一方的图像的操作信号后，向记录介质23中保存与该保存指示的图像对应的图像数据。从而用户可以比较两个图像来保存喜欢的图像。另外，不限于任意一方，也可以构成为能够保存双方的图像。

(变形例17)

在以上说明的第一实施方式及第二实施方式中，进行“合成时释放处理”时，也可以使上述图像1～图像4不是仅1组，而是反复2组以上进行摄像。此时的CPU21从多组图像中选择适当的组的合成图像并保存到记录介质23中。例如拍摄人物时，不将包含红眼图像、被拍摄体抖动图像的组作为保存对象，而将不含红眼图像、被拍摄体抖动图像的组作为保存对象。此外，也可以将包含因荧光灯的闪烁导致颜色状态不同的图像的组的合成图像从保存对象中除去。

(变形例18)

在以上说明的图像合成中，以通过合成图像来扩大图像的动态范围为例进行说明，但也可以以加深视野深度的方式合成图像。在变形例18中，在“合成时释放处理”中取得多个图像时，使各图像的摄像条件抑制，并且以使各图像间的焦点状态不同的方式错开聚焦透镜的位置，同时取得多个图像。在此，各图像的摄像条件例如按照步骤S20中取得的控制曝光来设定累积时间、摄像灵敏度、光圈值。

变形例18的CPU21根据来自操作部件18的操作信号，使合成处理前的各图像数据的确认用图像显示到监视器17上，从操作部件18接收到指示合成的操作信号后，将指示的两个图像数据合成。合成处理中，从焦点最为一致的图像中提取主要被拍摄体以外的背景区域，置换为其他的图像的对应的像素位置的数据。合成处理后的图像数据保存在记录介质23中。

如果在肖像摄影时进行变形例18的图像合成，则获得在作为主要被拍摄体的人物的脸部对焦、背景区域焦点错开(所谓背景虚化)的图像。构成为能够通过用户操作来选择合成所使用的两个图像，从而可以获得用户喜欢的背景虚化。另外，设定为肖像摄影模式时，也可以构成为自动地进行变形例18的处理。

(变形例19)

也可以以表现被拍摄体的移动的方式合成图像。在变形例19中，在“合成时释放处理”中取得多个图像时，以使各图像间累积时间不同的方式将累积时间错开，同时取得多个图像。另外，优选以使多个图像间明亮度状态一致的方式设定摄像灵敏度。

变形例19的CPU21根据来自操作部件18的操作信号，使合成处理前的各图像数据的确认用图像显示在监视器17上，从操作部件18接收到指示合成的操作信号后，将指示的多个图像数据合成。合成处理将多个图像对应的像素位置数据之间相加。合成处理后的图像数据保存在记录介质23中。

如果在例如飞散的水滴等的摄影时进行变形例19的图像合成，则获得包含图像抖动了的(可以看作在空间移动而流动)的水滴图像、停止的水滴图像的图像。通过构成为能通过用户操作来选择合成所使用的多个图像，可以获得用户喜欢的表现。另外，也可以构成为相加时的加权也能通过用户操作来选择。

根据以上说明的第一及第二实施方式及各变形例，可以获得适当地进行图像合成的电子相机。

以上说明只不过是示例，不限于上述实施方式的构成。各实施方式及变形例也可以适当组合。

Claims

1.一种电子相机，其中，包括：

摄像元件，拍摄被拍摄体图像，并输出图像信号；

图像合成装置，利用在上述摄像元件中以不同的摄像条件取得的多组上述图像信号，为了生成一个图像而进行图像合成；

控制装置，根据预定的判断条件，判断是否在上述图像合成装置中进行上述图像合成，在判断为进行上述图像合成时，控制上述图像合成装置以进行上述图像合成；和

测光装置，利用上述图像信号进行测光运算，

上述控制装置，利用通过上述测光运算获得的最大亮度值和最小亮度值的差，决定在上述图像合成中使用的上述多组上述图像信号的数量。

2.根据权利要求1所述的电子相机，其中，

上述控制装置，根据通过上述测光装置的上述测光运算获得的图像的明亮度分布，判断是否在上述图像合成装置中进行上述图像合成。

3.根据权利要求2所述的电子相机，其中，

上述控制装置，利用通过上述测光运算获得的最大亮度值和最小亮度值的差，判断是否在上述图像合成装置中进行上述图像合成。

4.根据权利要求1～3的任一项所述的电子相机，其中，

上述图像合成装置为了进行上述图像合成而使用的上述多组图像信号，分别由摄像元件根据摄影指示以数十帧以上每秒的帧频取得。

5.根据权利要求1所述的电子相机，其中，

在基于通过上述测光装置的上述测光运算获得的图像的平均明亮度的摄像条件下，上述摄像元件按照摄影指示进行拍摄，上述控制装置根据上述摄像元件所拍摄的图像信号的最大值或最小值，判断是否在上述图像合成装置中进行上述图像合成。

6.根据权利要求5所述的电子相机，其中，

上述控制装置，根据在按照上述摄影指示拍摄的上述图像信号中超过第一预定值的图像信号的数量，判断是否在上述图像合成装置中进行上述图像合成。

7.根据权利要求5或6所述的电子相机，其中，

上述控制装置，根据在按照上述摄影指示拍摄的上述图像信号中不足第二预定值的图像信号的数量，判断是否在上述图像合成装置中进行上述图像合成。

8.根据权利要求1所述的电子相机，其中，

上述控制装置，根据在上述电子相机中设定的摄影模式，判断是否在上述图像合成装置中进行上述图像合成。

9.根据权利要求1～3、5、6中的任一项所述的电子相机，其中，

上述图像合成装置生成一个图像，该生成的一个图像的信号值的范围大于上述图像合成所使用的多组图像信号的各个信号值的范围。

10.根据权利要求2所述的电子相机，其中，

上述控制装置，根据通过上述测光运算在摄影指示前获得的实时预览图像的明亮度分布，判断是否在上述图像合成装置中进行上述图像合成。

11.根据权利要求10所述的电子相机，其中，

上述控制装置，在判断为在上述图像合成装置中进行上述图像合成时，利用构成多个实时预览图像的图像信号的最大亮度值和最小亮度值的差，决定上述图像合成所使用的上述多组图像信号的数量、以及取得上述多组图像信号时的摄像条件，所述多个实时预览图像是通过上述摄像元件在不同的摄像条件取得的。

12.根据权利要求11所述的电子相机，其中，

将取得用于上述图像合成的上述多组图像信号所需要的时间，作为快门速度在上述摄影指示前显示在显示装置上。

13.根据权利要求5所述的电子相机，其中，

上述控制装置，在判断为在上述图像合成装置中进行上述图像合成时，控制上述摄像元件以在不同的摄像条件下取得图像信号，在该取得的图像信号中存在预定数以上的超过第一预定值的图像信号时、或存在预定数以上的低于第二预定值的图像信号时，进一步控制上述摄像元件以在不同的摄像条件下取得图像信号，所述第二预定值小于上述第一预定值。