CN105323474A

CN105323474A - 摄像设备及其控制方法

Info

Publication number: CN105323474A
Application number: CN201510463584.0A
Authority: CN
Inventors: 梨泽洋明
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-07-31
Filing date: 2015-07-31
Publication date: 2016-02-10
Anticipated expiration: 2035-07-31
Also published as: US9712757B2; CN105323474B; JP2016034109A; US20160037046A1; JP6343200B2

Abstract

本发明涉及一种摄像设备及其控制方法。所述摄像设备包括：摄像单元；摄像控制单元，用于控制所述摄像单元以对曝光不同的帧图像进行重复摄像；显像单元，用于对所拍摄到的帧图像各自应用显像处理；以及合成单元，用于通过合成所述显像单元显像后的在时间上连续的图像来生成合成图像，其中，所述显像单元根据所拍摄到的帧图像其中之一来生成与不同的显像参数相关联的第一图像和第二图像，以及所述合成单元合成根据在时间上连续的所拍摄到的帧图像所生成的图像中的、使用同一显像参数所生成的图像。

Description

摄像设备及其控制方法

技术领域

本发明涉及一种摄像设备及其控制方法，尤其涉及用以生成高动态范围图像的技术。

背景技术

已知有被称为高动态范围(HDR)合成的技术，其中在该技术中，通过合成在不同的曝光(曝光不足和过度曝光)下所拍摄到的多个图像来增大图像的动态范围。利用该技术，合成各种图像的适当曝光部分，以抑制高光溢出和暗部缺失并且获得从暗区域到亮区域呈现良好色调的图像。

HDR合成技术不仅适用于拍摄静止图像，而且还适用于拍摄视频。存在用于在拍摄视频(HDR视频拍摄)时进行HDR合成的结构，其中一个已知示例是在以交替方式对视频的帧应用不同的曝光(曝光不足和过度曝光)的情况下拍摄视频的结构。

日本特开2012-049600公开了用以对视频帧应用白平衡控制、并且使用应用了白平衡控制的图像来进行HDR合成的技术。另一方面，日本特开2009-278524公开了用以在改变曝光的情况下连续进行摄像、并且使用在时间上相邻的多个图像来进行HDR合成的技术。在与HDR合成有关的处理中，针对在时间上相邻的图像的处理重叠；这样，在下一HDR合成中重复使用最初进行处理后的图像的处理结果，因而高效地执行了该处理。

利用日本特开2012-049600所公开的技术，使HDR合成处理延迟，直至针对所有帧完成了诸如颜色信息的提取、光源信息的估计和白平衡增益的设置等的白平衡控制所需的处理为止。因此，在使用曝光不同的两个帧的图像来进行HDR合成的情况下，帧频减半。另一方面，利用日本特开2009-278524所公开的技术，由于重复使用针对在时间上相邻的图像其中之一的处理，因而实际上可以维持帧频。然而，由于在HDR合成中重复使用一个图像的图像处理结果，因此在颜色和亮度随时间的经过而发生改变的场景中，因无法应用适当的图像处理而导致预期会以例如色调跳跃(tonejump)的形式发生与颜色和亮度相关联的图像质量的劣化。

发明内容

本发明是考虑到上述问题而作出的，并且实现用以即使在HDR视频拍摄期间颜色和亮度发生改变的场景中也能减轻所生成图像的图像质量的劣化的技术。

为了解决上述问题，本发明提供一种摄像设备，包括：摄像单元；摄像控制单元，用于控制所述摄像单元以对曝光不同的帧图像进行重复摄像；显像单元，用于对所拍摄到的帧图像各自应用显像处理；以及合成单元，用于通过合成所述显像单元显像后的在时间上连续的图像来生成合成图像，其中，所述显像单元根据所拍摄到的帧图像其中之一来生成与不同的显像参数相关联的第一图像和第二图像，以及所述合成单元合成根据在时间上连续的所拍摄到的帧图像所生成的图像中的、使用同一显像参数所生成的图像。

为了解决上述问题，本发明提供一种摄像设备的控制方法，所述控制方法包括以下步骤：摄像步骤，其中在所述摄像步骤中，摄像单元进行摄像；摄像控制步骤，用于控制所述摄像单元以对曝光不同的帧图像进行重复摄像；显像步骤，用于对所拍摄到的帧图像各自应用显像处理；以及合成步骤，用于通过合成所述显像步骤中显像后的在时间上连续的图像来生成合成图像，其中，所述显像步骤根据所拍摄到的帧图像其中之一来生成与不同的显像参数相关联的第一图像和第二图像，以及所述合成步骤合成根据在时间上连续的所拍摄到的帧图像所生成的图像中的、使用同一显像参数所生成的图像。

根据本发明，即使在HDR视频拍摄期间颜色和亮度发生改变的场景中，也可以减轻所生成图像的图像质量的劣化

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并和说明书一起用来解释本发明的原理。

图1A是用作根据本发明实施例的摄像设备的示例的数字照相机100的截面图。

图1B是示出用作根据本发明实施例的摄像设备的示例的数字照相机100的示例功能结构的框图。

图2是示出根据第一实施例的HDR视频拍摄处理的一系列操作的流程图。

图3示出根据第一实施例的所获得的测光所用的信号和区域的分割。

图4是用于确定根据第一实施例的HDR视频拍摄处理中的曝光条件的程序图。

图5是用于说明摄像帧频减半的HDR视频的图。

图6是用于说明维持了摄像帧频的HDR视频的图。

图7是用于说明显像结果作为下一HDR合成中所使用的帧的重复使用的图。

图8是示出根据第一实施例的显像处理和合成处理所用的示例功能结构的框图。

图9是用于说明根据第一实施例的使用模式改变的白平衡系数的在显像之后的HDR合成的图。

图10示出HDR合成处理中的两个图像的合成比例的示例。

图11是示出根据第二实施例的HDR视频拍摄处理的一系列操作的流程图。

图12A和12B是示出根据第二实施例的显像处理和合成处理所用的示例功能结构的框图。

图13A和13B示出根据第二实施例的用于生成色调校正中所使用的查找表的方法。

图14示出根据第二实施例的使用颜色/亮度调整所用的查找表的在显像之后的HDR合成。

图15是示出根据第三实施例的HDR视频拍摄处理的一系列操作的流程图。

图16示出根据第三实施例的通过对移动物体进行多重渲染(render)的HDR合成的示例。

图17是示出根据第三实施例的移动物体应对处理所用的示例功能结构的框图。

图18A和18B示出根据第三实施例的合成比率和基准亮度之间的关系。

图19示出根据第三实施例的噪声降低处理的强度根据合成比率的变化的示例。

图20是示出根据第三实施例的显像处理和合成处理所用的示例功能结构的框图。

图21是示出根据第三实施例的噪声降低处理所用的示例功能结构的框图。

图22示出根据第三实施例的噪声降低处理之后的图像比例与合成比率之间的关系。

具体实施方式

第一实施例

以下参考附图来详细说明本发明的典型实施例。应当注意，以下说明关于将本发明应用于作为摄像设备的示例的具有可以在改变曝光的情况下获得视频的摄像功能的数字照相机的示例。然而，本发明所涉及的摄像设备不限于数字照相机，并且可以是具有这种摄像功能的任何电子装置。这种电子装置的示例例如可以包括移动电话装置、游戏机、平板终端、个人计算机以及腕表型或眼镜型信息终端。

1.数字照相机的结构

图1A是示出用作根据实施例的摄像设备的示例的数字照相机100的主要是光学构件和传感器等的配置的截面图。数字照相机100是使用可更换镜头的所谓的数字单镜头反光照相机，并且包括照相机本体1和可更换镜头2。

照相机本体1的图像传感器10例如是CMOS图像传感器或CCD图像传感器，并且内部排列有多个像素(储存型光电转换元件)。除配置在光接收部中的像素外，例如在图像传感器10中还形成有针对像素信号的放大电路和信号处理所用的周边电路。通过调整针对像素的电荷的累积时间段和电荷的读取，图像传感器10实现了使得能够利用图像传感器来进行曝光控制的电子快门功能。在各像素中，对可更换镜头2中所包括的摄像光学系统所形成的被摄体的光学图像应用光电转换；结果，以像素为单位输出图像信号。

在图像传感器10的前方附近设置机械快门11，并且该机械快门11调节图像传感器10的曝光时刻和曝光时间段。在摄像时，半透过性的主镜3和配置于主镜3的背面的第一反射镜7上翻。第二反射镜8进一步反射第一反射镜7所反射的光束，由此使该光束入射到AF传感器9上。AF传感器9例如可以是像素数比图像传感器10的像素数小的图像传感器。第一反射镜7、第二反射镜8和AF传感器9是用于在摄像画面内的任意位置处使用相位差检测方法来进行焦点检测的构成元件。应当注意，在实时取景显示和视频记录时，主镜3始终处于上翻状态，因而使用摄像面的图像信息来进行曝光控制和焦点调节控制。

AE传感器6是测光传感器，并且通过接收五棱镜4和第三反射镜5所反射的来自被摄体的光束来进行测光。AE传感器6可以将光接收部分割成多个区域并且以区域为单位输出被摄体的亮度信息。

五棱镜4构成取景器光学系统。可以经由未示出的目镜来观察五棱镜4所反射的被摄体的光学图像。此外，在五棱镜4所反射的光束中，主镜3所反射的并且因聚焦屏12而发生扩散的光线的一部分从光轴偏转并且入射到AE传感器6上。

可更换镜头2是可移除镜头，并且根据需要经由照相机本体1中所安装的镜头卡口的接点来与照相机本体1进行通信。

图1B是示出图1A所示的数字照相机100的照相机本体1和相应的可更换镜头2的功能结构的示例的框图。应当注意，图1B所示的功能块中的一个或多个可以利用诸如ASIC和可编程逻辑阵列(PLA)等的硬件来实现、或者可以通过诸如CPU和MPU等的可编程处理器执行软件来实现。此外，这些功能块中的一个或多个可以利用软件和硬件的组合来实现。因此，在以下说明中，尽管不同的功能块可以用作操作的执行主体，但这些功能块也可以由用作执行主体的相同硬件来实现。

控制单元21例如是设置有诸如算术和逻辑单元(ALU)33、ROM34、RAM35、A/D转换器31、计时器32和串行通信端口(SPI)36等的内置构成元件的单片微计算机。控制单元21通过例如执行ROM34中所存储的程序来控制照相机本体1和可更换镜头2的操作。例如，控制单元21控制照相机本体1的构成元件以执行后面所述的与HDR视频拍摄有关的处理。将来自AF传感器9和AE传感器6的输出信号输入至控制单元21的A/D转换器31。

信号处理单元25根据来自控制单元21的指示来控制图像传感器10，并且通过向从图像传感器10输出的信号应用A/D转换和信号处理来获得图像信号。为了记录所获得的图像信号，信号处理单元25以预设的格式对图像信号进行压缩并且将压缩后的图像信号输出至存储单元26。信号处理单元25还执行后面所述的HDR视频拍摄所需的显像处理和合成处理。

存储器28是包括DRAM等的存储设备。存储器28在信号处理单元25执行各种类型的信号处理的情况下用作工作存储器，并且还在后面所述的显示单元27上显示图像的情况下用作VRAM。

显示单元27包括液晶显示面板等，并且显示所拍摄图像以及诸如照相机设置值、消息和菜单画面等的信息。响应于来自控制单元21的指示来控制显示单元27。存储单元26例如是诸如闪速存储器等的非易失性存储器，并且从信号处理单元25接收所拍摄的图像信号作为输入。

在控制单元21的控制下，马达22使主镜3和第一反射镜7上下翻转，并且对机械快门11进行充电。

操作单元23是例如包括用户进行照相机操作所使用的开关的输入装置组。操作单元23例如包括用于发出用于开始摄像准备操作并开始摄像的指示的释放开关、用于选择摄像模式的摄像模式选择开关、方向键和确定键。

接点单元29是用于与可更换镜头2进行通信的接点，并且连接至控制单元21的串行通信端口的输入/输出信号。快门驱动单元24连接至控制单元21的输出端子并且驱动机械快门11。

可更换镜头2包括与接点单元29配对的接点单元50。接点单元50连接至与控制单元21相同的作为单片微计算机的镜头控制单元51，并且可以与控制单元21进行通信。镜头控制单元51通过例如执行ROM中所存储的程序基于来自控制单元21的指示来控制可更换镜头2的操作。镜头控制单元51还将例如表示可更换镜头2的状态的信息通知至控制单元21。

调焦透镜驱动单元52基于来自镜头控制单元51的指示来驱动调焦透镜，并且变焦驱动单元53基于来自镜头控制单元51的指示来改变可更换镜头的视角。

光圈驱动单元54通过基于来自镜头控制单元51的指示调整光圈的开口来调整入射到图像传感器10上的光量。

一旦可更换镜头2安装至照相机本体1，经由接点单元29和50能够进行镜头控制单元51和控制单元21之间的数据通信。镜头控制单元51例如通过数据通信将控制单元21进行焦点检测和曝光计算所需的镜头特有的光学信息以及与基于距离编码器的被摄体距离有关的信息输出至控制单元21。此外，一旦控制单元21将通过焦点检测和曝光计算所获得的与焦点和光圈有关的控制信息发送至镜头，镜头控制单元51根据所接收到的控制信息来控制光圈等。此外，接点单元29经由镜头侧的接点单元50向可更换镜头2中所配备的未示出的马达和致动器供给电力。

2.与HDR视频拍摄有关的一系列操作

现在参考图2来说明与HDR视频拍摄有关的一系列操作顺序。应当注意，通过控制单元21将ROM34中所存储的程序展开至RAM35的工作区域并执行展开后的程序来实现本处理。

在步骤S11中，一旦例如通过接通操作单元23中所包括的电源开关能够进行操作，控制单元21通过与可更换镜头2的镜头控制单元51进行通信来执行初始化处理、例如获得焦点检测和测光所需的各种类型的透镜的信息。

在步骤S12中，在检测到操作单元23中所包括的视频模式转换开关的接通状态时，控制单元21切换为与例如存储器28的配置所用的处理有关的视频模式，并且开始摄像。

在步骤S13中，在检测到经由操作单元23中所包括的开关切换为HDR视频拍摄时，控制单元21将摄像模式改变为HDR视频拍摄模式。在步骤S14中，控制单元21执行初始化处理。后面将参考步骤S17～S21的处理来说明初始化处理的具体内容。

在步骤S15中，控制单元21设置适当的曝光条件。在HDR视频拍摄模式中，进行摄像控制，以使得在预设的曝光设置(例如，相对于适当曝光的+1EV的过度曝光设置和-1EV的曝光不足设置)之间交替改变的情况下重复进行摄像。在本实施例中，计算出适当曝光以设置各种曝光。即使在进行了控制以实现所计算出的适当曝光之后，在摄像期间也周期性地进行适当曝光计算以例如符合场景的变化。此后，进行针对具有过度曝光设置的摄像(过度曝光摄像)的曝光控制和针对具有曝光不足设置的摄像(曝光不足摄像)的曝光控制。

以下是针对本步骤中的用于计算适当曝光的处理的更详细说明。在步骤S12中所开始的视频模式中，控制单元21进行利用用作电子取景器的显示单元27来拍摄所谓的实时取景图像(或通过镜头图像)的视频拍摄。该摄像是通过经由所谓的电子快门连续进行摄像来进行的。在该状态中，由于镜上升状态而导致AE传感器6无法进行测光。

控制单元21在实时取景摄像期间通过从图像传感器10周期性地获得测光所用的信号来进行测光。例如，获得实时取景图像的一帧作为测光所用的图像信号就足够了。控制单元21从图像传感器10读取图像信号，对该图像信号应用A/D转换，并且将由此得到的图像信号存储在RAM中。控制单元21如图3所示将所获得的像素信号的像素区域分割成例如9×7个块，并且针对各块使用该块中所包括的像素信号来计算亮度信息。各块的亮度信息例如是通过对该块中的所有像素的亮度进行平均来计算的。应当注意，例如通过换算成根据照相曝光相加系统(APEX)所表现的Bv值(适当曝光下的被摄体的亮度)来计算亮度。基于这种亮度信息来计算投影数据Y1～Y7和X1～X9。通常，将用于将诸如m行×n列等的二维阵列的数据转换成通过在行方向或列方向上进行相加或平均所获得的一维阵列的数据的方法称为从二维向一维的投影。此外，将作为在列方向或行方向上进行相加的结果所获得的一维阵列的数据称为投影图像或者投影数据。在本实施例中，如下所述计算投影数据Y1～Y7和X1～X9。

数学式1

X1＝Σ(x1)÷7，其中：x＝1～7

X2＝Σ(x2)÷7，其中：x＝1～7

X3＝Σ(x3)÷7，其中：x＝1～7

X4＝Σ(x4)÷7，其中：x＝1～7

X5＝Σ(x5)÷7，其中：x＝1～7

X6＝Σ(x6)÷7，其中：x＝1～7

X7＝Σ(x7)÷7，其中：x＝1～7

X8＝Σ(x8)÷7，其中：x＝1～7

X9＝Σ(x9)÷7，其中：x＝1～7

Y1＝Σ(1y)÷9，其中：y＝1～9

Y2＝Σ(2y)÷9，其中：y＝1～9

Y3＝Σ(3y)÷9，其中：y＝1～9

Y4＝Σ(4y)÷9，其中：y＝1～9

Y5＝Σ(5y)÷9，其中：y＝1～9

Y6＝Σ(6y)÷9，其中：y＝1～9

Y7＝Σ(7y)÷9，其中：y＝1～9

控制单元21获得所计算出的投影数据Y1～Y7和X1～X9中的最大值E_max，并且基于所获得的最大值E_max来计算曝光补偿值γ。具体地，在值E_max超过Bv值即10的情况下，使用以下的表达式来计算曝光补偿值γ。

γ＝(E_max–10)×0.25

这里，基于在所拍摄图像中经常优选Bv值大于10的高亮度被摄体呈明亮的实验规则，使用曝光补偿值γ来进行曝光补偿。系数0.25仅是示例，并且根据所拍摄图像中的高亮度被摄体的期望亮度来确定该系数的最优值就足够了。使用以下的表达式来计算图像信号整体的平均Bv(AVEBv)。

数学式2

AVEBv＝Σ(Xx+Yy)÷(7×9)

其中：x＝1～7，y＝1～9

因此，根据以下的数学式3来获得与Bv值相对应的控制值：

数学式3

适当曝光：AVEBv+γ

控制单元21参考基于该与Bv值相对应的控制值所预设的程序图来确定曝光条件。图4示出了本HDR视频拍摄中所使用的程序图的示例。实线、虚线和双点划线分别表示适当曝光、过度曝光和曝光不足。右侧纵轴表示f值Av，左侧纵轴和上部横轴表示Bv值。在下部横轴表示Tv(快门速度)的情况下，在图4的曲线图中，利用ISO速度来表示1/30秒以上的快门速度。这是由于在视频拍摄中，根据帧频而对Tv值存在限制。例如，在图4中，在适当曝光为30FPS的情况下，过度曝光的最大设置为1/30秒，因而可以通过提高ISO速度来实现更高的曝光。基于以上所述的与Bv值相对应的控制值，控制单元21参考与程序图相对应的数据表来确定曝光条件(ISO速度、光圈和以秒为单位的时间)，并且在这些曝光条件下进行曝光控制。随后，确定过度曝光和曝光不足的曝光条件；这里，在如下所述改变与Bv值相对应的控制值之后参考程序图就足够了。

数学式4

过度曝光：AVEBv+γ+α，其中：α是相对于适当曝光的曝光差

数学式5

曝光不足：AVEBv+γ-β，其中：β是相对于适当曝光的曝光差

控制单元21控制过度曝光和曝光不足以实现使用数学式4和数学式5所确定的曝光条件。在步骤S16中，控制单元21执行焦点检测处理并且将透镜驱动至所获得的焦点位置。控制单元21使图像传感器10累积焦点检测所用的信号。应当注意，由于在镜上升状态连续进行摄像以记录视频，因此不进行使用AF传感器9的焦点检测。因此，根据对比度检测方法使用图像传感器10所获得的图像信号来进行焦点检测。在累积完成时，在读取所累积的信号的同时应用A/D转换，并且将由此得到的信号作为焦点检测所用的图像信号存储在RAM35中。此外，通过根据步骤S11中所获得的透镜信息和焦点检测所用的图像信号计算摄像画面的各部分的焦点状态，来确定要实现聚焦的焦点检测区域。应当注意，可以使用其它方法来确定焦点检测区域的位置；例如，可以使用用户经由操作单元23所预先指定的焦点检测区域，并且可以使用诸如面部检测等的图像识别技术来在人物的面部上设置焦点检测区域。控制单元21根据所确定的焦点检测区域中的焦点状态以及透镜信息来计算用于聚焦于所确定的焦点检测区域的透镜移动量，并且经由镜头控制单元51来控制调焦透镜驱动单元52。这样使得可更换镜头2聚焦于焦点检测区域内的被摄体。由于距离编码器的信息随着调焦透镜的驱动而改变，因此控制单元21还更新可更换镜头2内的各种类型的透镜信息。

在以下所述的步骤S17～S27的处理中，以交替方式重复过度曝光摄像和曝光不足摄像，并且使用在时间上相邻的两个帧来顺次生成HDR合成图像。现在参考图5～7来说明使用在时间上连续的两个帧生成HDR合成图像的优点。在以下说明中，将通过过度曝光摄像所获得的图像信号称为过度曝光图像，而将通过曝光不足摄像所获得的图像信号称为曝光不足图像。

通常，如图5所示，如下所述使用一组所拍摄到的帧来生成一个HDR合成图像。

数学式6

利用该方法，仅在一个HDR合成图像的生成时使用作为组所拍摄到的图像，因此HDR合成图像的帧频是摄像所使用的帧频的一半。

另一方面，如图6所示，可以如下所述重复使用HDR合成中所使用的帧其中之一。在本实施例中，如图6所示，使用重复使用帧其中之一的方法来进行HDR视频合成。

数学式7

该方法提供了防止HDR合成之后的帧频相比摄像期间的帧频下降的优点。另一方面，如果除帧的重复使用外还重复使用包括显像处理的图像处理的结果，则预期例如在颜色和亮度随时间的经过而改变的场景中将发生与颜色和亮度相关联的图像质量的劣化(例如，色调跳跃)。

现在将参考图7来说明该问题的详请。在图7中，时间从上方向下方经过，并且重复过度曝光摄像和曝光不足摄像。在图7的示例中，帧1～4示出随时间的经过而改变的场景，并且伴随着场景的该变化，白平衡系数(WB系数)从WB系数1改变为WB系数4，即存在四个不同模式的白平衡系数。使用WB系数1来向通过针对帧1进行过度曝光摄像所获得的过度曝光图像应用白平衡处理，并且其显像结果是显像图像的帧1。同样，使用WB系数2来向与帧2相对应的曝光不足图像应用白平衡处理，并且其显像结果是显像图像的帧2。以相同的方式使用WB系数3和WB系数4。接着，使用显像图像的帧1和帧2来生成HDR合成图像的帧1。同样，基于显像图像的帧2和帧3来生成HDR合成图像的帧2。通过相同的过程来生成HDR合成图像的帧3。

作为后面将说明的HDR合成处理的结果，HDR合成图像包括已使用不同的WB系数应用了白平衡处理的过度曝光图像和曝光不足图像二者。例如，假定示出显像图像的帧3的画面的下部左侧和下部右侧分别是低亮度部和高亮度部。在HDR合成处理中，针对低亮度部积极地使用过度曝光图像，而针对高亮度部积极地使用曝光不足图像。因此，画面的下部左侧和下部右侧示出不同的色感，因而预期在使用了过度曝光图像的部分和使用了曝光不足图像的部分之间的边界将发生色调跳跃。假定在图7中，基准帧表示HDR合成中所使用的两个帧中的时间最早的帧，并且非基准帧表示这两个帧中的另一帧；该概念同样适用于以下说明。

返回参考图2，现在说明从步骤S17起的处理。应当注意，在步骤S14中，控制单元21执行以下的初始化处理。具体地，将帧编号i初始化为帧1，并且将后面将说明的用于周期性地更新白平衡的目标值的计数器k初始化为0。在该时刻，还确定HDR合成中所使用的图像中的哪个图像用作基准帧。

在步骤S17中，控制单元21判断要处理的帧是否是最初的帧、即帧1。控制单元21在帧编号i等于1的情况下进入步骤S18以对基准帧进行摄像，否则进入步骤S19。

在步骤S18中，图像传感器10根据来自控制单元21的指示来对基准帧进行摄像。图像传感器10将所拍摄图像存储在RAM35中。

在步骤S19中，控制单元21判断要处理的帧是否是α帧周期的开头。控制单元21在要处理的帧是α帧周期的开头的情况下进入步骤S20，并且在要处理的帧不是α帧周期的开头的情况下进入步骤S22。

在步骤S20中，控制单元21计算用作白平衡处理所用的参数的白平衡系数(WB系数)。在本实施例中，为了减轻处理负荷的目的，控制单元21例如针对每α个帧计算WB系数，即针对前α个帧整体计算一个WB系数。

在本实施例中，为了减少上述色调跳跃的发生，代替如图6所示在第二次HDR合成中重复使用一个显像图像，如图9所示，在改变显像参数的情况下对一个所拍摄图像进行多次显像。

现在将说明根据本实施例的显像处理的概述。假定帧1与用于计算WB系数的时刻相对应，即帧1是图2的流程图所示的α帧周期中的第一个帧。以下是使用后面所述的白平衡系数计算方法所计算出的前α个帧的目标白平衡系数。

数学式8

{WB}_{R α} = \frac{G_{α}}{R_{α}}, {WB}_{B α} = \frac{G_{α}}{B_{α}}

假定当前帧的白平衡系数如下所述。

数学式9

{WB}_{R 1} = \frac{G_{1}}{R_{1}}, {WB}_{B 1} = \frac{G_{1}}{B_{1}}

在这种情况下，如果白平衡系数在α个帧内线性地发生改变，则任意帧i的白平衡系数如下所述。

数学式10

{WB}_{R i} = (\frac{G_{α}}{R_{α}} - \frac{G_{1}}{R_{1}}) \times \frac{i}{α - 1} + \frac{G_{1}}{R_{1}}, {WB}_{B i} = (\frac{G_{α}}{B_{α}} - \frac{G_{1}}{B_{1}}) \times \frac{i}{α - 1} + \frac{G_{1}}{B_{1}}

使用上述方法，控制单元21计算图9中所示的帧1～帧6的六个模式的WB系数(WB系数1～WB系数6)。如图9所示，将所计算出的WB系数应用于相应的所拍摄图像，然后生成HDR合成图像。为了将相同的白平衡系数应用于HDR合成图像所使用的过度曝光图像和曝光不足图像，在改变WB系数的情况下对一个所拍摄图像进行两次显像。始终使用基准帧的白平衡系数作为要改变的白平衡的基础。例如，使用WB系数1来对HDR合成图像的帧1所使用的显像图像的帧1-2进行显像，并且使用基准帧的WB系数1来对作为非基准帧的显像图像的帧2-1进行显像。将显像图像2-1所使用的所拍摄图像的帧2重复用于HDR合成图像的帧2，并且使用WB系数2来对作为基准帧的显像图像2-2进行显像。

一旦控制单元21计算出WB系数，控制单元21将所计算出的WB系数存储在存储器28中，进入图2的步骤S22，并且使计数器k增加1。

现在参考图8来说明步骤S22和S23中所执行的显像参数的生成和显像处理。将各功能块的处理应用于包括过度曝光帧和曝光不足帧的所拍摄图像中的每一个。

利用成像光学系统(透镜)在图像传感器10上形成被摄体图像，并且对所形成的被摄体图像应用光电转换。图像传感器10例如是配备有一般的原色滤波器的单片彩色图像传感器。原色滤波器包括分别具有650nm、550nm和450nm附近的透射主波长频带的三种类型的颜色滤波器，并且拍摄与R(红)频带、G(绿)频带和B(蓝)频带相对应的颜色层。在单片彩色图像传感器中，这些颜色滤波器是以与像素一一相关联的方式在空间上排列的，并且各像素仅可以获得相应的单个颜色层上的光的强度。因此，该图像传感器输出彩色马赛克图像(801和807)。白平衡单元802对白色执行白平衡处理。具体地，将构成所拍摄图像的像素的RGB数据标绘在诸如x-y颜色空间等的预定颜色空间中，并且对在该颜色空间中表示光源的颜色的可能性高的黑体辐射轨迹附近所标绘的数据的G、R和B进行积分。然后，根据所获得的积分值来计算R和B成分的WB系数G/R和G/B。应当注意，WB系数不限于使用上述方法来进行计算，并且可以使用任何已知方法、更为复杂的方法等来进行计算。

在步骤S22中，信号处理单元25根据来自控制单元21的指示生成基准帧i所用的显像参数，并且读取存储器28中所存储的白平衡系数8021。

在步骤S23中，信号处理单元25对基准帧应用显像处理。颜色插值单元803对彩色马赛克图像应用插值，由此生成每个像素均具有完整的RGB颜色信息的彩色图像。经由矩阵转换单元804和伽玛转换单元805将所生成的彩色图像转换成基本彩色图像。

在高动态范围合成之前，需要使在不同的曝光下所拍摄到的过度曝光帧和曝光不足帧的亮度水平进行均衡。由于需要防止高光溢出和暗部缺失，因此伽玛转换单元805所应用的增益不均一，但符合伽玛曲线。例如，这些伽玛曲线被设计成如下：通过应用与2EV的曝光差相对应的增益、即在曝光不足的情况下应用2倍增益并且在过度曝光的情况下应用1/2增益，来实现这些伽玛曲线所表示的特性。这样，可以在根据亮度范围在多个图像之间进行切换的情况下实现平滑的边界。颜色/亮度调整单元806根据场景来对彩色图像应用用于改善其外观的处理，例如用于通过背光校正和夜景检测来增强饱和度的图像校正。在颜色/亮度调整单元806所进行的处理结束的情况下，显像处理完成。在针对基准帧i的显像处理结束的情况下，控制单元21进入步骤S24以随后对非基准帧i+1应用处理。

与上述针对基准帧的处理相同，控制单元21在步骤S24中拍摄非基准帧i+1(曝光不足帧)，在步骤S25中生成显像参数，并且在步骤S26中执行显像处理。

在步骤S27中，信号处理单元25根据来自控制单元21的指示使HDR合成单元813执行HDR合成处理。在静止图像的HDR合成的情况下，作为针对由于手移动等而在图像中出现的移动的对策，一般基于这些图像其中之一来在合成之前进行空间对准。另一方面，在HDR视频合成的情况下，过度曝光帧和曝光不足帧之间的摄像间隔相比静止图像拍摄的摄像间隔短得多，并且例如由于对准之后所渲染的图像带来图像的帧频已降低的印象、以及由于处理中的计算量，因此一般不执行对准处理。在针对过度曝光显像的处理完成时，信号处理单元25进入步骤S28。

现在参考图10来说明HDR合成处理。横轴表示基准亮度，并且纵轴表示通过相加来合成图像的合成比率。针对相比合成时的基准亮度的阈值Y1更暗的区域，仅使用过度曝光显像图像，而针对相比基准亮度的阈值Y2更明亮的区域，仅使用曝光不足显像图像。在利用基准亮度的阈值Y1和Y2所表示的边界附近之间的中间区域中，可以通过逐渐改变合成比率来使图像之间的切换平滑。假定在本实施例中使用曝光不足帧作为基准亮度的基础。通过上述处理，信号处理单元生成HDR图像并将所生成的HDR图像存储在存储器28中。

在步骤S28中，控制单元21判断是否通过经由操作单元23按下REC按钮等发出了用于结束摄像的指示。如果判断为没有发出用于结束摄像的指示，则控制单元21返回至步骤S14并且重复步骤S15～S27的处理。另一方面，如果判断为发出了用于结束摄像的指示，则控制单元21进入步骤S29以对所生成的HDR视频进行压缩。

信号处理单元25在步骤S29中根据来自控制单元21的指示以预定格式对存储器中所存储的HDR视频进行压缩，在步骤S30中将压缩后的HDR视频记录到可以是存储器的存储单元26中，然后结束这一系列操作。

尽管上述本实施例给出了使用过度曝光帧和曝光不足帧这两个显像图像来执行HDR合成处理的示例，但本实施例还可适用于重复获得三个以上的帧的情况。例如，在三个帧的HDR合成的情况下，根据各帧生成三个显像图像并且对应用了同一WB系数的三个帧进行HDR合成就足够了。

上述本实施例采用了如下结构：重复对曝光不同的两个帧进行摄像，在改变WB系数的情况下对一个所拍摄图像进行多次显像处理，并且没有再次使用在针对前一帧的HDR合成中曾使用过的显像图像。此外，将同一WB系数应用于HDR合成中所使用的显像图像。这样，即使在HDR视频拍摄期间颜色和亮度发生改变的场景中，也可以减轻所生成图像的图像质量的劣化。也就是说，通过合成应用了同一WB系数的显像图像，即使在颜色和亮度发生改变的场景中也可以抑制色调跳跃的发生并且可以减轻图像质量的劣化。此外，在本实施例中，在针对要处理的帧的HDR合成处理和针对下一帧的HDR合成处理这二者中使用一个所拍摄图像。这样，所生成的HDR合成图像的数量与获得所拍摄的图像的帧频相对应，并且可以在不会使帧频下降的情况下进行HDR视频拍摄。

第二实施例

现在将说明第二实施例。在第一实施例中，使用具有两个不同值的两个白平衡系数(WB系数)来根据一个所拍摄图像生成两个显像图像，并且使用应用了同一白平衡系数的显像图像来进行HDR合成。作为对比，在本实施例中，在改变用于调整颜色或亮度的查找表的情况下根据一个所拍摄图像生成两个显像图像。根据本实施例的数字照相机100具有与根据第一实施例的数字照相机100的结构相同的结构就足够了。因此，向相同的构成元件赋予相同的附图标记，并且省略了重复说明，也就是说以下说明关注于不同之处。

现在参考图11～13来说明用于调整颜色或亮度的具体方法。图12A所示的颜色/亮度调整单元1202包括图12B所示的功能块。如后面将详细说明的，颜色/亮度调整单元1202包括直方图检测单元9062、校正量计算单元9063、LUT读取单元9064和色调校正单元9065。

首先，将详细说明图11的步骤S110中的用于生成颜色/亮度调整LUT的处理。应当注意，如果控制单元21在步骤S19中判断为要处理的帧与颜色/亮度调整LUT的更新相对应，则执行本处理。

颜色/亮度调整单元1202的直方图检测单元9062检测来自伽玛转换单元805的输出图像的亮度直方图。尽管期望根据图像中的所有像素检测亮度直方图，但为了节约处理时间段和存储器容量的目的，可以在通过间隔剔除处理和低通滤波器处理等缩小图像之后检测亮度直方图。应当注意，一般而言，图像的边缘部分通常不重要，并且根据摄像镜头而受到周边光量的减少的影响；由于该原因，可以根据除周边部分的像素以外的像素来生成直方图。之后，直方图检测单元9062检测直方图的特征量。直方图特征量例如可以是在直方图中从暗部侧起累积频数为10％的像素的级别(SD)。

校正量计算单元9063基于从直方图检测单元9062输出的直方图特征量来计算与输入亮度相对应的校正量。校正量计算单元9063针对直方图的各个代表亮度值获得与若干输入亮度值相对应的目标亮度，并且通过样条插值等根据目标亮度和图像亮度的最小值和最大值计算与输入亮度相对应的目标输出亮度。输入亮度和目标输出亮度之间的差是目标校正量，并且与各种亮度相对应的目标输出亮度所形成的色调曲线表示色调校正特性。色调校正特性可以由示出输入亮度和输出亮度之间的对应关系的查询表(LUT)来表示。

现在将参考图13A和13B来进一步说明校正量计算单元9063的示例操作。图13A示出直方图的代表亮度值和与三个输入亮度值(64LSB、128LSB、224LSB)相对应的目标亮度之间的关系的示例。应当注意，LSB表示分辨率，并且在本实施例中假定利用8位分辨率(0LSB～225LSB)来表示亮度值的满量程(最小值～最大值)。在图13A中，与“64LSB的点”相对应的横向线表示输入亮度为64LSB的像素的目标输出亮度和直方图的代表亮度值之间的关系。例如，如果根据所拍摄图像所检测到的直方图的代表亮度值在255LSB～140LSB的范围内，则所拍摄图像中的亮度为64LSB的像素的目标输出亮度为64LSB(也就是说，不存在变化)。在直方图的代表亮度值在70LSB～0LSB的范围内的图像的情况下，则亮度为64LSB的像素的目标输出亮度为110LSB。如果直方图的代表亮度值在140～70的范围内，则亮度为64LSB的像素的目标输出亮度在64LSB和110LSB之间线性地改变。

如图13A所示，如果直方图的代表亮度值为110LSB，则亮度为64LSB、128LSB和224LSB的像素的目标输出亮度分别为82LSB、135LSB和226LSB(分别指派有附图标记1301～1303)。因此，在面部的代表亮度值为110LSB的图像的情况下，通过对表示上述三点的输入/输出关系的三个点并且对与最小亮度值(0LSB)和最大亮度值(255LSB)相对应的点应用样条插值来获得图13B所示的色调校正特性。这样，针对图像直方图的分析使得能够例如对SD级别的像素(有些曝光不足的场景)进行校正。

尽管在上述说明中直方图检测单元9062和校正量计算单元9063包括在颜色/亮度调整单元1202中，但这两者也可以设置在颜色/亮度调整单元1202的外部、例如这两者也可以包括在控制单元21中。此外，尽管已经通过示例的方式使用输入图像的直方图给出了以上针对本实施例的说明，但代替直方图例如也可以使用面部检测来计算面部的代表亮度，并且可以生成用于基于该代表亮度来使暗的面部变明亮的校正表。

返回参考图11，如果控制单元21在步骤S19中判断要处理的帧不与颜色/亮度调整LUT的更新相对应，则控制单元21进入步骤S22。

在步骤S22中，LUT读取单元9064获得存储器28中所存储的LUT信息，并且在步骤S23中，色调校正单元9065对来自伽玛转换单元805的输出图像应用色调校正。

更具体地，与第一实施例相同，在改变显像参数的情况下对所拍摄图像进行两次显像处理。在本实施例中，改变显像参数意味着改变颜色/亮度调整LUT。现在参考图14来说明用于使用颜色/亮度调整LUT来应用两次显像处理的处理的概述。

假定图14所示的帧1与用于计算颜色/亮度调整LUT的时刻相对应，即帧1是图2所示的α帧周期中的第一个帧。还假定使用颜色/亮度调整LUT计算方法所计算出的针对前α个帧的目标颜色/亮度调整LUT是LUTα。与第一实施例相同，获得针对各帧的颜色/亮度调整LUT作为LUT1～LUT6，以使得颜色/亮度调整LUT针对α个帧线性地改变，并且在相应的显像图像的生成时应用各LUT。

在第一实施例中，在针对单个所拍摄图像的显像处理中应用预先已获得的一个WB系数。然而，可以使用预先已获得的多个显像参数的组合来执行显像处理。例如，本实施例的说明给出将针对基准帧和非基准帧的颜色/亮度调整LUT组合的示例。具体地，为了生成表示彼此相邻的LUT1和LUT2的组合的LUT1+2，如以下所示对各LUT进行加权相加就足够了。

数学式11

这里，a和b表示LUT元素，并且假定8位的表精度。可以通过简单地利用0.5替换表示各LUT的加权加算比例的β来进行平均。在以秒为单位表示过度曝光和曝光不足之间的曝光差的情况下，可以对β进行设置以使得针对长秒曝光下的过度曝光图像的权重根据以秒为单位表示的曝光差而增大。利用图14所示的用于生成HDR合成图像的方法，使用通过将针对所拍摄图像的过度曝光帧和曝光不足帧的LUT进行组合所获得的LUT来生成显像图像。例如，通过合成各自应用了通过将与曝光不足图像相对应的LUT2和与过度曝光图像相对应的LUT3进行组合所获得的显像参数的基准帧和非基准帧来生成HDR合成图像的帧2。

上述本实施例采用了以下结构：重复对曝光不同的两个帧进行摄像，在改变颜色/亮度调整LUT的情况下对一个所拍摄图像应用两次显像处理，并且没有再次使用在针对前一帧的HDR合成中曾使用过的显像图像。此外，在生成HDR合成中所使用的显像图像(即，与过度曝光图像和曝光不足图像相对应的显像图像)时应用同一颜色/亮度调整LUT。为此，使用通过将针对过度曝光帧和曝光不足帧的颜色/亮度调整LUT进行组合所获得的LUT，以使得针对过度曝光摄像和曝光不足摄像使用相同的显像参数。这样，即使在HDR视频拍摄期间颜色和亮度发生改变的场景中，也可以减轻所生成图像的图像质量的劣化。也就是说，通过合成应用了同一LUT的显像图像，即使在颜色和亮度发生改变的场景中，也可以抑制色调跳跃的发生并且可以减轻图像质量的劣化。

第三实施例

现在将说明第三实施例。在本实施例中，执行没有随时间的经过而改变的噪声降低(NR)处理，并且针对用于渲染移动物体的方法以及与该方法相对应的噪声降低处理设置参数。根据本实施例的数字照相机100具有与根据第一实施例的数字照相机100的结构相同的结构就足够了。因此，向相同的构成元件赋予相同的附图标记，并且省略了重复说明，也就是说以下说明关注于不同之处。

现在参考图15来说明根据本实施例的HDR视频拍摄的一系列操作。如上所述，在无需使用如第一实施例和第二实施例那样的随时间的经过而改变的参数的情况下执行噪声降低处理；因此，不执行图2所示的步骤S17～S21的处理。另一方面，在步骤S27的HDR合成处理之后，在步骤S31中执行后面将说明的移动物体应对处理。

首先，将说明移动物体应对处理的概述。存在用于在用于合成多个图像的HDR合成中渲染移动物体的几个可能方法。例如，在一个方法中，针对每帧按100％显示基准帧中的移动物体。然而，考虑到HDR视频拍摄的特性，预期过度曝光图像包括许多饱和部分。在移动物体部分发生饱和的情况下，担心作为具有饱和部分的过度曝光图像和不具有饱和部分的曝光不足图像的交替出现的结果而发生诸如闪烁等的闪烁现象。在另一方法中，无论是基准帧还是非基准帧，始终按100％显示曝光不足图像。然而，由于仅使用曝光不足图像来生成合成图像中的移动物体部分，因此该移动物体部分的帧频减半。

有鉴于此，在本实施例中，对HDR合成图像中的移动物体部分进行多重渲染，即所渲染的移动物体部分是基准帧与非基准帧的一部分的组合。这样使得即使移动物体部分发生饱和也可以减少闪烁现象。

现在参考图15～17来说明移动物体的渲染、即移动物体应对处理。参考图17，亮度合成比率计算单元1901和基础合成单元1903执行图15所示的步骤S27的处理，并且移动物体应对单元1905执行图15所示的步骤S31的处理。HDR合成中所使用的两个输入图像是显像图像的帧t和帧t+1。

首先，亮度合成比率计算单元1901基于显像图像的帧t的基准亮度来计算图10所示的合成比例，并且基础合成单元1903根据所计算出的合成比例来生成基础合成图像。该基础合成图像是输入至移动物体应对单元1905的图像。由于帧t随时间的经过而在过度曝光帧和曝光不足帧之间交替改变，因此要参考的基准亮度也交替改变。这样，可以维持基准亮度的帧频。

接着，移动物体检测单元1902提取移动物体部分。存在用于提取移动物体部分的几个方法：例如，在本实施例中，使用与帧t相对应的图像和与帧t+1相对应的图像之间的差的绝对值。也就是说，可以将无差异的区域识别为没有移动的部分，而将存在差异的区域识别为存在移动的部分，即移动物体部分。

替换用多重合成单元1904对与帧t相对应的图像和与帧t+1相对应的图像进行多重合成。假定本处理的多重合成中所使用的合成比率(多重合成比例)是不依赖于基准亮度的预设的固定比率，例如针对基准帧为80％并且针对非基准帧为20％。后面将说明的图16示出以固定比率对基准帧和非基准帧进行合成。应当注意，如图18A和18B所示，多重合成比例可能根据基准亮度而自适应地波动。这样，在即使包括移动物体也不容易发生饱和的中亮度区域和低亮度区域中，按100％显示基准帧，而在容易发生饱和的高亮度区域中，可以对多重合成比例进行设置以使曝光不足图像占主导。

最后，移动物体应对单元1905执行用于利用从替换用多重合成单元1904输出的替换用多重图像来替换从基础合成单元1903输出的基础合成图像中的移动物体部分的处理。

如果使用上述方法来对移动物体部分进行多重渲染，则例如，如图16所示，存在移动物体部分基于曝光不足图像以80％占主导的基准帧的情况，并且还存在移动物体部分基于曝光不足图像以20％不占主导的非基准帧的情况。如上所述，通过经由伽玛转换应用针对过度曝光帧的增益降低处理或应用针对曝光不足帧的增益提高处理来执行用于使显像之后的曝光均衡的处理。由于使用数字增益的增益提高还放大了噪声成分，因此预期曝光不足帧包括更多噪声。因此，预期由于交替使用包括少量噪声的帧和包括大量噪声的帧而发生闪烁现象。

有鉴于此，在本实施例中，在曝光不足帧的多重合成比例高的情况下，进一步执行用于增强噪声降低处理的强度的处理。后面将说明噪声降低处理的详情，并且现在参考图20和21来说明根据本实施例的显像处理和HDR合成处理所用的功能块。根据本实施例的显像处理和HDR合成处理所用的功能块在颜色插值单元803之后附加包括噪声降低单元2002，并且作为这些功能块的最后级的HDR合成单元2003包括移动物体应对单元1905。

现在将参考图21来说明噪声降低单元2002的详情。使图像信号变模糊是用以去除诸如光相关散粒噪声和暗电流噪声等的噪声的有效方式。然而，简单地使图像信号变模糊还使被摄体的边缘变模糊，这样得到整体锐度下降的暗淡图像。有鉴于此，作为用于在不会破坏图像信号的纹理的情况下仅降低噪声成分的方式，使用作为非线性滤波器的双边滤波器。双边滤波器在维持边缘部分的强度的同时通过平滑化来去除噪声方面是有效的。应当注意，可以使用已知技术来应用双边滤波器，因此省略了针对该双边滤波器的详细说明。双边滤波器单元231对输入图像230应用双边滤波器，然后加权平均单元232根据针对对象帧的多重合成比例2001来对输入图像230和应用了双边滤波器的输出图像进行加权平均，并且将输出图像234输出。可以通过如此根据预定比例将原始图像和经由双边滤波器降低了噪声的图像进行组合来控制噪声。

现在参考图19来说明使用来自噪声降低单元2002的输出图像所生成的HDR合成图像的示例。在使用图19所示的曝光不足图像作为基准帧的情况下(HDR合成图像的帧2和帧4)，曝光不足图像以多重合成比例为80％占主导；因此，来自双边滤波器的输出图像的比例相比输入图像的比例增加以提高噪声降低效果。对多重合成比例和噪声降低的强度之间的关系进行设置，以使得如图22中所示，随着多重合成比例的增加，噪声降低效果提高。尽管在本实施例中在噪声降低处理中使用双边滤波器，但还可以使用诸如中值滤波器和Sigma滤波器等的任何其它方式。多重合成比例不限于上述示例，并且可以具有任何数值，只要基准帧的多重合成比例高于非基准帧的多重合成比例即可。

无需说明，在本实施例中，可以将根据本实施例的噪声降低处理进一步应用于应用了第一实施例和第二实施例所述的显像参数的图像。例如，在生成图19所示的HDR合成图像的帧2时，可以将WB系数2应用于相应的基准帧和非基准帧各自。这样，即使在颜色和亮度发生改变的场景中，也可以在减轻图像质量的劣化的情况下执行移动物体应对处理。

上述本实施例采用了以下结构：重复对曝光不同的两个帧进行摄像，在改变显像参数的情况下对一个所拍摄图像进行两次显像处理，并且没有再次使用在针对前一帧的HDR合成中曾使用过的显像图像。此外，根据两个显像图像的多重合成比例来调整显像时的噪声降低处理的强度。这样，即使在HDR视频拍摄中颜色和亮度发生改变的场景中，也可以减轻所生成图像的图像质量的劣化，并且特别是可以降低所生成的HDR合成图像的帧之间的噪声。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims

1.一种摄像设备，包括：

摄像单元；

摄像控制单元，用于控制所述摄像单元以对曝光不同的帧图像进行重复摄像；

显像单元，用于对所拍摄到的帧图像各自应用显像处理；以及

合成单元，用于通过合成所述显像单元显像后的在时间上连续的图像来生成合成图像，

其中，所述显像单元根据所拍摄到的帧图像其中之一来生成与不同的显像参数相关联的第一图像和第二图像，以及

所述合成单元合成根据在时间上连续的所拍摄到的帧图像所生成的图像中的、使用同一显像参数所生成的图像。

2.根据权利要求1所述的摄像设备，其中，

所述显像单元使用模式随时间的经过而改变的显像参数来对在时间上连续的所拍摄到的帧图像应用所述显像处理。

3.根据权利要求1所述的摄像设备，其中，

所述显像参数是对所拍摄到的帧图像的白平衡进行控制所使用的白平衡系数。

4.根据权利要求1所述的摄像设备，其中，

所述显像参数是用于对所拍摄到的帧图像的颜色或亮度的色调进行校正的色调校正特性。

5.根据权利要求4所述的摄像设备，其中，

所述显像单元使用通过对针对在时间上连续的所拍摄到的帧图像的色调校正特性进行加权相加所获得的合成色调校正特性，作为所述显像参数。

6.根据权利要求4所述的摄像设备，其中，

所述色调校正特性是通过基于所拍摄到的帧图像的预设数量的颜色或亮度信息进行插值所生成的。

7.根据权利要求1所述的摄像设备，其中，

在所拍摄到的帧图像相对于适当曝光处于曝光不足的情况下，所述显像单元生成进行了噪声平滑的所述第一图像和相比所述第一图像在更大程度上进行了噪声平滑的所述第二图像。

8.根据权利要求6所述的摄像设备，其中，还包括：

检测单元，用于在显像后的在时间上连续的图像中检测移动物体的区域，

其中，所述合成单元通过按预设的合成比率合成显像后的在时间上连续的图像，来生成所检测到的所述移动物体的区域的图像。

9.根据权利要求1所述的摄像设备，其中，

所述合成单元所生成的所述合成图像的帧频与所述摄像单元所拍摄到的图像的帧频相同。

10.一种摄像设备的控制方法，所述控制方法包括以下步骤：

摄像步骤，其中在所述摄像步骤中，摄像单元进行摄像；

摄像控制步骤，用于控制所述摄像单元以对曝光不同的帧图像进行重复摄像；

显像步骤，用于对所拍摄到的帧图像各自应用显像处理；以及

合成步骤，用于通过合成所述显像步骤中显像后的在时间上连续的图像来生成合成图像，

其中，所述显像步骤根据所拍摄到的帧图像其中之一来生成与不同的显像参数相关联的第一图像和第二图像，以及

所述合成步骤合成根据在时间上连续的所拍摄到的帧图像所生成的图像中的、使用同一显像参数所生成的图像。