CN103475809A - 摄像装置、合成图像生成方法 - Google Patents

Abstract

本发明提供一种摄像装置、合成图像生成方法。摄像控制部(51)对摄像部(17)进行控制以连续地获取摄像图像的数据。阴影校正部(61)对连续地摄像到的摄像图像的数据实施阴影校正。运动物体检测精度控制部(101)对被阴影校正后的摄像图像的各个数据中的运动物体的检测精度进行控制。合成部(66)根据通过运动物体检测精度控制部(101)控制后的精度下的运动物体的检测结果来设定合成比率，并根据该合成比率对通过摄像控制部(51)连续地摄像到的摄像图像的各数据进行合成，从而生成合成图像的数据。

Description

摄像装置、合成图像生成方法

技术领域

本发明涉及摄像装置、和合成图像生成方法。

背景技术

一直以来，对通过快速连拍得到的多个图像，在各自定位之后，通过进行像素相加平均，从而生成一张图像的方法、即所谓的多平面(multi-plane)相加方法通过日本特开2006-148550号公报而被公知。

在这样的多平面相加方法中，在进行定位时，一般考虑被摄体的位置、因手抖动等导致的视角的变化，进行像素相加使得模糊成为最少。

另一方面，近年来，宣传小型且高倍率的相机用的镜头系统也已登场。

在这样的镜头系统中采用了如下方法：在变焦镜头向广角侧移动了的状态下被拍摄的图像中，由于会产生周边减光(以下还称作“阴影(shading)”)，因此通过在后段的处理中进行光敏校正(以下，称作“阴影校正(shading correction)”)，从而抵消该阴影。

然而，若在被拍摄的图像的周边部进行阴影校正，则会生成在校正后的地方噪声突出的图像。

因此，在通过快速连拍得到的多个图像中进行了阴影校正的情况下，若应用上述的多平面相加方法，则通过阴影校正而产生的噪声被误认为运动物体模糊的可能性高。其结果，在后段的像素相加处理中有些情况下会产生麻烦。

发明内容

本发明正是鉴于上述这样的状况而完成的，其目的在于即使产生周边减光(阴影)也能够恰当地实现像素相加处理。

为了实现上述目的，本发明的一种形式的摄像装置，其特征在于，具备：摄像部；摄像控制部，其对上述摄像部进行控制以连续地获取图像；校正部，其对通过上述摄像控制部连续地摄像到的图像实施阴影校正；运动物体检测控制部，其对通过上述校正部被阴影校正后的各个图像中的运动物体的检测精度进行控制；和合成图像生成部，其基于通过上述运动物体检测控制部控制后的运动物体的检测精度，生成对上述连续地摄像到的多个图像进行合成后的合成图像。

为了实现上述目的，本发明的一种形式的摄像装置，其特征在于，具备：摄像部；摄像控制部，其对上述摄像部进行控制以连续地获取图像；校正部，其对通过上述摄像控制部连续地摄像到的图像实施阴影校正；判定部，其判定通过上述校正部被阴影校正后的图像中的运动物体的检测结果的精度；和合成图像生成部，其基于上述判定部的结果，生成对上述连续地摄像到的多个图像进行合成后的合成图像。

为了实现上述目的，本发明的一种形式的合成图像生成方法，其特征在于，包括：校正步骤，对连续地摄像到的图像实施阴影校正；运动物体检测控制步骤，对通过上述校正步骤被阴影校正后的各个图像中的运动物体的检测精度进行控制；和合成图像生成步骤，基于通过上述运动物体检测控制步骤控制后的运动物体的检测精度，生成对上述连续地摄像到的多个图像进行合成后的合成图像。

为了实现上述目的，本发明的一种形式的合成图像生成方法，其特征在于，包括：校正步骤，对连续地摄像到的图像实施阴影校正；判定步骤，对通过上述校正步骤被阴影校正后的图像中的运动物体的检测结果的精度进行判定；和合成图像生成步骤，基于上述判定步骤中的结果，生成对上述连续地摄像到的多个图像进行合成后的合成图像。

附图说明

图1是表示本发明的摄像装置的一个实施方式的硬件构成的框图。

图2是表示图1的摄像装置的功能性构成当中的、用于执行多平面拍摄处理的功能性构成的功能框图。

图3A是表示阴影校正量的关系的图。图3B是表示成为阴影校正的对象的摄像图像的例子的图。

图4是说明合成图像生成中的α映射图像的数据的生成方法的一例的图。

图5是说明具有图2的功能性构成的图1的摄像装置所执行的多平面拍摄处理的流程的流程图。

具体实施方式

以下，针对本发明的实施方式，参照附图进行说明。

图1是表示作为本发明的一个实施方式的摄像装置1的硬件构成的框图。

摄像装置1例如构成为数码相机。

摄像装置1具备：CPU(Central Processing Unit：中央处理器)11、ROM(Read Only Memory：只读存储器)12、RAM(Random Access Memory：随机存取存储器)13、图像处理部14、总线15、输入输出接口16、摄像部17、输入部18、输出部19、存储部20、通信部21、以及驱动器22。

CPU11根据在ROM12中记录的程序、或者根据从存储部20载入RAM13中的程序来执行各种处理。

在RAM13中还适当存储在CPU11执行各种处理的基础上所需要的数据等。

图像处理部14由DSP(Digital Signal Processor：数字信号处理器)、VRAM(Video Random Access Memory：视频随机存取存储器)等构成，且与CPU11协作以对图像数据实施各种图像处理。

CPU11、ROM12、RAM13及图像处理部14经由总线15而相互连接。在该总线15中另外还连接输入输出接口16。在输入输出接口16连接了摄像部17、输入部18、输出部19、存储部20、通信部21及驱动器22。

摄像部17具备：光学镜头部和图像传感器。

光学镜头部为了拍摄被摄体而由聚焦镜头、变焦镜头等各种镜头构成。

聚焦镜头是使被摄体像在图像传感器的光接收面成像的镜头。变焦镜头是使焦点距离在一定范围内自由变化的镜头。

另外，作为本实施方式的光学镜头部，采用了上述的相机用镜头系统。因此，关于详细情况将在后面进行描述，但本实施方式中也进行阴影校正。

在光学镜头部，还根据需要设置对焦点、曝光、白平衡等设定参数进行调整的外围电路。

图像传感器由光电转换元件、AFE(Analog Front End：模拟前端)等构成。

光电转换元件例如由CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)型光电转换元件等构成。从光学镜头部向光电转换元件入射被摄体像。因而，光电转换元件对被摄体像进行光电转换(摄像)后对图像信号进行固定时间的积蓄，并将所积蓄的图像信号作为模拟信号依次提供给AFE。

AFE对该模拟的图像信号执行A/D(Analog/Digital：模/数)转换处理等各种信号处理。通过各种信号处理来生成数字信号，并作为摄像部17的输出信号而输出。

在本说明书中，将这样的摄像部17的输出信号称作“摄像图像的数据”。摄像图像的数据，被适当提供给CPU11、图像处理部14等，并根据需要存储在存储部20中。

输入部18由电源按钮、释放按钮等各种按钮构成，根据用户的指示操作来输入各种信息。

输出部19由显示器、扬声器等构成，对图像、声音进行输出。

存储部20由DRAM(Dynamic Random Access Memory：动态随机存取存储器)等构成，对各种图像的数据进行存储。

通信部21对经由包含因特网在内的网络而在与其他装置(未图示)之间所进行的通信进行控制。

在驱动器22适当安装由磁盘、光盘、磁光盘、或者半导体存储器等构成的可移动介质31。通过驱动器22从可移动介质31中读出的程序，根据需要被安装在存储部20中。另外，可移动介质31与存储部20同样地也能够对在存储部20中存储的图像的数据等各种数据进行存储。

图2是表示这样的摄像装置1的功能性构成当中的、用于执行多平面拍摄处理的功能性构成的功能框图。

此处提到的“多平面拍摄处理”，是指通过所谓的快速连拍反复连续拍摄多个摄像图像，在对该多个摄像图像的数据实施了阴影校正之后，进一步实施依据多平面相加方式的图像处理，直至对该结果所得到的合成图像的数据进行记录为止的一连串的处理。

在多平面拍摄处理被执行的情况下，在CPU11中，摄像控制部51、差分校正值运算部52、运动物体检测值算出部53、合成与否判断部54、α值设定部55、和存储控制部56发挥作用。

另外，摄像控制部51至存储控制部56通过CPU11发挥作用只是例示。即，还可以将摄像控制部51至存储控制部56的功能的至少一部分转移到CPU11以外的其他构成要素(图像处理部14等)。

另外，在多平面拍摄处理被执行的情况下，在图像处理部14中，阴影校正部61、基准图像选择部62、差分获取部63、切换部64、像素相加图像生成部65、和合成部66发挥作用。

另外，阴影校正部61至合成部66通过图像处理部14发挥作用只是例示。即，还可以将阴影校正部61至合成部66的功能的至少一部分转移到图像处理部14以外的其他构成要素(CPU11等)。

另外，在多平面拍摄处理被执行的情况下，作为存储部20的一个区域，设置了摄像图像存储部71。另外，摄像图像存储部71被设置为存储部20的一个区域是一个例示，此外摄像图像存储部71也可以被设置为可移动介质31的一个区域。

摄像控制部51根据用户对输入部18(图1)的各种操作等来设定各种摄像条件，根据这些各种摄像条件来对摄像部17的摄像动作进行控制。

作为这些摄像条件中的一个，例如在本实施方式中采用了摄像灵敏度、更具体而言采用了ISO(International Organization for Standardization：国际标准化组织)灵敏度，并将设定该摄像灵敏度的摄像灵敏度设定部511设置在摄像控制部51中。另外，拍摄灵敏度设定部511进行的拍摄灵敏度设定未必是根据用户的各种操作等而设定的，也可以对被摄像的图像的状态(明亮度)等进行判断，并自动进行设定。

另外，例如若输入部18的未图示的释放按钮被按下并完成了摄像图像的记录指示，则摄像部17在摄像控制部51的控制下进行所谓的连拍动作，并连续对多个摄像图像进行摄像，将该多个摄像图像的数据输出并使之临时存储在摄像图像存储部71中。

阴影校正部61对在摄像图像存储部71中存储的多个摄像图像的数据的每一个实施阴影校正。

图3A是表示阴影校正量的关系的图。图3B是表示成为阴影校正的对象的摄像图像的例子的图。

在本实施方式中，如图3B所示，在摄像图像内设定阴影中心C。该阴影中心C的位置并没有被特别限定，但在本实施方式中，将其设为摄像图像的两个对角线的交点。

如图3A所示，完成阴影校正以使与该阴影中心C相距的距离d越长则阴影校正量越增加。具体而言，通过对构成摄像图像的各像素当中的、作为处理对象应受到关注的像素(以下称作“关注像素”)的像素值，乘以规定的阴影校正量作为增益，从而关注像素的像素值被校正。

在该情况下，如果关注像素的位置是阴影中心C，则阴影校正量成为“1”，关注像素的像素值不发生变化(被校正为1倍)。

然而，由于从阴影中心C到关注像素的距离d越长、即关注像素的位置越到摄像图像的周边，则阴影校正量越增加，因此完成阴影校正以使关注像素的像素值也相应地增加。

返回图2，基准图像选择部62从在摄像图像存储部71中存储的多个摄像图像的数据、即通过连拍而被连续摄像的多个摄像图像的数据之中选择基准图像的数据。基准图像的选择方法没有被特别限定，但在本实施方式中，在将多个摄像图像按拍摄顺序排列的情况下，位于中央附近的一张图像被选择为基准图像。

差分获取部63针对在摄像图像存储部71中存储的多个摄像图像的数据当中的、基准图像和基准图像之外的摄像图像的每一个图像，按对应的每个像素获取像素值的差分。

在此，在理想情况下，在不存在运动物体的区域，像素值的差分成为0，在存在运动物体的区域，像素值的差分变大。这样，像素值的差分成为运动物体检测的指标。因此，在现有的多平面拍摄处理中，像素值的差分被直接采用为表示该像素中的运动物体检测的有无的指标值(以下称作“运动物体检测值”)。

然而，若在现有的多平面拍摄处理中进行阴影校正(图3A、图3B)，则在摄像图像的周边区域(从阴影中心C到关注像素的距离d长的区域)，被校正成为像素值增加。因此，在摄像图像的周边区域，噪声被放大，变成因该噪声导致像素值的差分变大的倾向。

如此一来，如果像素值的差分被直接采用为运动物体检测值，则在摄像图像的周边区域，即使在不存在运动物体的情况下，由于噪声的影响，像素值的差分也会变大，存在经常发生运动物体的误检测的顾虑。

在采用多平面方式的情况下，关于运动物体被检测出的区域，后述的像素相加图像未被合成(或者在透射率高的状态下被合成)，采用的是单张基准图像(或者在基准图像的透射率低的状态下被合成)。其结果，在摄像图像的周边区域，若完成了运动物体的误检测，则包含强烈噪声的单张基准图像照样保留，最终得到的合成图像的画质会劣化。

因而，在本实施方式中，为了防止运动物体的误检测以防止画质的劣化，差分校正值运算部52和运动物体检测值算出部53在CPU11中发挥功能。

差分校正值运算部52运算与阴影校正相应的值，作为对通过差分获取部63而获取的各像素值的差分进行校正的值(以下，称作“差分校正值”)。

运动物体检测值算出部53采用差分校正值对通过差分获取部63而获取的各像素值的差分进行校正，将校正后的各值作为运动物体检测值分别进行输出。

接着，对具体的运动物体检测值的算出方法进行说明。

在现有技术中，如果将基准图像中的位于坐标(x，y)的像素的像素值设为Base(x，y)，将成为该基准图像的合成对象的对象图像中的位于坐标(x，y)的像素的像素值设为Nst(x，y)，然后将该坐标下的像素值的差分(运动物体检测值)设为Diff(x，y)，则其关系成为以下的式(1)。

Diff(x，y)＝Base(x，y)-Nst(x，y)

if(Diff(x，y)＜th)Sabun(x，y)＝0…(1)

其中，在差分值小于阈值th的情况下，Diff(x，y)成为0。

但是，若因阴影校正导致朝向图像的周边方向产生许多噪声，则基准图像和对象图像中的朝向该周边方向的像素值的差分大于实际值。

因此，考虑该情形，准备差分校正值Hosei(x，y)，根据上述式(1)来重新准备下述式(2)。

Diff(x，y)＝Base(x，y)-Nst(x，y)/Corr(x，y)

if(Diff(x，y)＜th)Diff(x，y)＝0…(2)

其中，在差分值小于阈值th的情况下，Diff(x，y)成为0。

在此，本实施方式的差分校正值Corr(x，y)，采用的是根据阴影校正量而变大的值、即采用的是与阴影中心C相距的距离d越长则越变大的值。然后，在图像的周边部，由于将因噪声的影响而变大的像素值的差分(＝Base(x，y)-Nst(x，y))除以成为较大的值的差分校正值Corr(x，y)，因此结果，比由式(1)而算出的值更小的值被算出为运动物体检测值Diff(x，y)。运动物体检测值Diff(x，y)变小，便意味着因通过阴影校正而产生的噪声所引起的运动物体的误检测被相应地抑制。

返回图2，合成与否判断部54通过对由运动物体检测值算出部53算出的运动物体检测值与规定的阈值(不同于阈值th的值)进行比较，从而判断多平面方式的合成与否、即后述的像素相加图像与基准图像之间的合成与否。

具体而言，在存在运动物体检测值比该规定的阈值更大的对象图像的情况下，由于运动物体的动作过大而无法进行恰当合成的可能性高，因此合成与否判断部54判断为不进行合成。与此相对地，在所有的对象图像中运动物体检测值为该规定的阈值以下的情况下，合成与否判断部54判断为进行合成。

合成与否判断部54的判断结果被通知给α值设定部55、切换部64、以及像素相加图像生成部65的每一个。

在通过合成与否判断部54判断出不进行合成的情况下，切换部64将输出端切换至存储控制部56侧。另外，α值设定部55及像素相加图像生成部65禁止其处理的执行。

这样，通过基准图像选择部62而选择出的基准图像的数据，未与后述的像素相加图像的数据进行合成，而单个地经由切换部64被提供给存储控制部56。

存储控制部56使基准图像的数据作为用于记录的数据使之存储在可移动介质31中。

与此相对地，在通过合成与否判断部54判断出进行合成的情况下，切换部64将输出端切换至合成部66侧。另外，α值设定部55及像素相加图像生成部65设置为可以执行其处理的状态。

α值设定部55基于在摄像图像存储部71中存储的多个摄像图像的数据当中的、基准图像以外的摄像图像(各对象图像)的数据所相应的、像素单位的运动物体检测值，以像素为单位设定α值。

α值是在基准图像与后述的像素相加图像之间的合成时被采用的表示透射率的值。采用这样的α值的合成还被称作“α混合”。

在此，将表示这样的α值的二维分布状态的映射、即具有各α值作为各像素值的、与摄像图像相同分辨率的图像称作“α映射图像”。在本实施方式中，α值设定部55生成作为α值的设定结果的α映射图像的数据，并提供给合成部66。

图4是说明α映射图像的数据的生成方法的一例的图。

在图4的例子中，完成6张连拍，选择第3张摄像图像作为基准图像。

在该情况下，如上所述，第n张(n为除3之外的1至6的整数值)的对象图像与基准图像之间的差分Diff除以差分校正值Corr后的值，被运算为第n张运动物体检测值(以下称作“第n运动物体检测值”)。

因此，α值设定部55按每个像素对这些第1运动物体检测值至第6运动物体检测值的平均值进行运算，生成将每个像素的平均值作为各α值的α映射图像的数据，并提供给合成部66。

返回图2，像素相加图像生成部65针对在摄像图像存储部71中存储的多个摄像图像的数据当中的、基准图像以外的各摄像图像(各对象图像)的数据，通过对各像素值进行相加平均，从而生成具有该相加平均值作为像素值的图像(以下，称作“像素相加图像”)的数据。

合成部66通过采用由α值设定部55生成的α映射图像的数据，对通过像素相加图像生成部65而生成的像素相加图像的数据、和被基准图像选择部62选择出并经由切换部64而供给的基准图像的数据进行合成(α混合)，从而生成合成图像的数据。

具体而言，合成部66通过以像素为单位执行如下的式(3)所示的α混合，从而生成合成图像的数据。

合成图像＝(1-α)×像素相加图像+α×基准图像…(3)

在此，α值，如上所述采用的是在摄像图像存储部71中存储的多个摄像图像的数据当中的、基准图像以外的摄像图像(各对象图像)的数据的各自的运动物体检测值的平均值。

运动物体检测值不是对象图像与基准图像之间的简单的差分，而是将该差分除以差分校正值所得的值。并且，差分校正值被设定为根据阴影校正量而变大。

因此，由于在阴影校正量变大的摄像图像的周边部，被设定成α值变小，因此按照式(3)进行合成使得基准图像的影响(在其周边部产生的噪声的影响)变小。其结果，得到周边部中的噪声的影响变小的、高画质的合成图像的数据。

换言之，在现有技术中，成为α值的设定指标的运动物体检测值，不管是阴影中心C，还是与阴影中心C相距距离d的周边部，都一律采用对象图像与基准图像之间的简单的差分。

在该情况下，若对对象图像与基准图像施加阴影校正，则相对于阴影中心C而言，周边部的像素值被放大，因此等效于其差分也被放大。将这样的被放大后的差分值用于运动物体检测值，意味着将运动物体的检测精度提高至必要的精度以上(使之反应过于敏感)，其结果因噪声成分而引起的差分也被放大，会被误检测为运动物体。

相反，若想要抑制周边部的运动物体的误检测，而将摄像图像整体的运动物体的检测精度单纯降低，则还存在下次无法检测出在阴影中心C实际存在的运动物体的情况。

因而，在本实施方式中，摄像装置1采用将对象图像与基准图像之间的差分除以与阴影校正量相应的差分校正值所得的值作为运动物体检测值。由此，控制成既将周边部中的运动物体的检测精度降低至适当的大小为止，又维持阴影中心C处的运动物体的检测精度。

即，在本实施方式中，能够掌握到差分校正值运算部52、差分获取部63及运动物体检测值算出部53，作为对被阴影校正后的摄像图像中的运动物体检测的精度进行控制的运动物体检测精度控制部101发挥功能。

在按照这样掌握了本实施方式的情况下，在通过运动物体检测精度控制部101适当地控制了关于完成阴影校正后的对象图像与基准图像的运动物体检测的精度的状态下，将像素相加图像与基准图像之间的各数据合成。其结果，周边部中的噪声的影响变小，同时在阴影中心进行适当的合成，从而得到高画质的合成图像的数据。

存储控制部56使按照这样通过合成部66而生成的合成图像的数据，作为记录用的数据而存储在可移动介质31中。

接着，参照图5，对上述的图2的功能性构成的摄像装置1所执行的多平面拍摄处理进行说明。

图5是对具有图2的功能性构成的图1的摄像装置1所执行的多平面拍摄处理的流程进行说明的流程图。

在由用户完成了输入部18的规定的操作之后，以用户进行的输入部18的释放按钮的按下操作为契机，开始多平面拍摄处理，并执行接下来这样的处理。

在步骤S1中，摄像部17在摄像控制部51的控制下通过连拍获取多张摄像图像的数据，并使之存储在摄像图像存储部71中。

这时，在摄像控制部51中，假设变焦倍率、摄像灵敏度等各种摄像条件被设定。另外，关于摄像灵敏度，通过摄像灵敏度设定部511而设定。

在步骤S2中，阴影校正部61针对通过步骤S1的处理而获取的多个摄像图像的各数据实施阴影校正。

在步骤S3中，摄像控制部51判定变焦倍率是否为规定值以下、即判定是否靠近广角。

在变焦倍率超过了规定值的情况下、即未靠近广角的情况下，在步骤S3中判定为“否”，处理进入步骤S9。其中，关于步骤S9以后的处理，将在后面描述。

相对于此，在变焦倍率为规定值以下的情况下、即靠近广角的情况下，在步骤S3中判定为“是”，处理进入步骤S4。

在步骤S4中，差分校正值运算部52对与步骤S2的阴影校正相应的差分校正值进行设定。

在步骤S5中，基准图像选择部62从由步骤S1的处理而获取的多个摄像图像的数据中选择一个作为基准图像的数据。

在步骤S6中，摄像灵敏度设定部511判定在步骤S1的处理时刻所设定的摄像灵敏度是否在与ISO3200相当的灵敏度以上。

在小于与ISO3200相当的灵敏度的情况下，在步骤S6中判定为“否”，处理进入步骤S10。其中，关于步骤S10以后的处理，将在后面描述。

相对于此，在变焦倍率为规定值以下、且摄像灵敏度为与ISO3200相当的灵敏度以上的情况下，设想通过阴影校正导致摄像图像的周边部的噪声的影响变大，若如现有技术那样采用单纯的像素值的差分作为运动物体检测值，则产生因噪声而引起的运动物体的误检测的可能性高。因而，在这样的情况下，在步骤S6中判定为“是”，通过执行接下来的步骤S7以后的处理，从而被阴影校正后的摄像图像中的运动物体检测的精度被适当控制。

即，在步骤S7中，差分获取部63针对由步骤S1的处理而获取的多个摄像图像的数据当中的、由步骤S5的处理而获取的基准图像与基准图像以外的摄像图像(对象图像)的各个图像，按对应的每个像素，求出像素值的差分，进而运动物体检测值算出部53算出将该差分除以差分校正值所得的值作为运动物体检测值。

在步骤S8中，合成与否判断部54判定是否存在运动物体检测值为阈值以上的对象图像的数据。

在存在运动物体检测值为阈值以上的对象图像的数据的情况下，假设不需要进行合成，在步骤S8中判定为“是”，处理进入步骤S11。

在处理进入步骤S11的过程中，切换部64将输出端切换至存储控制部56侧。此外，α值设定部55及像素相加图像生成部65禁止其处理的执行。由此，通过步骤S5的处理而选择出的基准图像的数据，未与像素相加图像的数据进行合成，而是单个地经由切换部64提供给存储控制部56。

在步骤S11中，存储控制部56仅选择基准图像作为记录对象。在步骤S15中，存储控制部56将基准图像的数据作为记录用而进行文件化，并使之保存在可移动介质31中。

由此，多平面拍摄处理便结束。

与此相对，在不存在运动物体检测值为阈值以上的对象图像的数据的情况下，设为不需要进行合成，在步骤S8中判定为“否”，处理进入步骤S12，执行接下来的一连串的处理。

即，在步骤S12中，α值设定部55以像素为单位设定由步骤S1的处理而获取的多个摄像图像的数据当中的、基准图像以外的摄像图像(各对象图像)的数据所相关的、与像素单位的运动物体检测值相应的α值。即，生成α映射图像的数据。

在步骤S13中，像素相加图像生成部65对基准图像以外的各摄像图像(各对象图像)的数据彼此之间进行像素相加，以生成像素相加图像的数据。

在步骤S14中，合成部66采用α映射图像的数据，对像素相加图像和基准图像的各数据进行α混合，从而生成合成图像的数据。

在步骤S15中，存储控制部56将合成图像的数据作为记录用而进行文件化，使之保存在可移动介质31中。

由此，多平面拍摄处理便结束。

以上，针对变焦倍率为规定值以下(靠近广角)、且摄像灵敏度为与ISO3200相当的灵敏度以上的情况下的多平面拍摄处理的流程进行说明。

接着，针对除此以外的情况下的多平面拍摄处理的流程进行说明。

首先，在变焦倍率超过了规定值的情况下、即不靠近广角的情况下，由于难以产生周边减光(阴影)，因此即使与现有技术同样地采用像素值的差分作为运动物体检测值，也不会特别产生问题。

因此，在这样的情况下，在步骤S3中判定为“否”，处理进入步骤S9，执行接下来的一连串的处理。

即，在步骤S9中，基准图像选择部62从由步骤S1的处理而获取的多个摄像图像的数据中选择一个作为基准图像的数据。

在步骤S10中，差分获取部63针对由步骤S1的处理而获取的多个摄像图像的数据当中的、由步骤S9的处理而选择出的基准图像与基准图像之外的摄像图像(对象图像)的每一个，按对应的每个像素，求出像素值的差分，运动物体检测值算出部53算出该差分并直接作为运动物体检测值。

在步骤S8中，合成与否判断部54判定是否存在运动物体检测值为阈值以上的对象图像的数据。

在存在运动物体检测值为阈值以上的对象图像的数据的情况下，设为不需要进行合成，在步骤S8中判定为“是”，在步骤S11中仅选择基准图像作为记录对象，在步骤S15中将基准图像的数据作为记录用而进行文件化，并保存在可移动介质31中。

由此，多平面拍摄处理便结束。

与此相对，在不存在运动物体检测值为阈值以上的对象图像的数据的情况下，设为不需要合成，在步骤S8中判定为“否”，处理进入步骤S12。

在步骤S12中，通过以像素为单位设定α值，从而生成α映射图像的数据。然后，在步骤S13中，生成像素相加图像的数据，在步骤S14中，通过采用α映射图像的数据对像素相加图像和基准图像的各数据进行α混合，从而生成合成图像的数据。

然后，在步骤S15中，将合成图像的数据作为记录用而进行文件化，并保存在可移动介质31中。

由此，多平面拍摄处理便结束。

接着，针对变焦倍率为规定值以下(靠近广角)，但摄像灵敏度为小于与ISO3200相当的灵敏度的情况下的多平面拍摄处理进行说明。

在摄像灵敏度为小于与ISO3200相当的灵敏度的较低值的情况下，换言之，在明亮的拍摄环境的情况下，由于能够判断出阴影校正后的摄像图像周边的噪声的影响低，因此即使与现有技术同样地采用像素值的差分作为运动物体检测值，也不会特别产生问题。

因此，在这样的情况下，在步骤S6中判定为“否”，处理进入步骤S10，执行与变焦倍率超过规定值的情况下的上述处理同样的处理。

另外，作为与步骤S6中的摄像灵敏度相比较的阈值，采用与ISO3200相当的值，这只是例示。即，设计者等既可以根据考虑阴影校正后的摄像图像周边的噪声的影响到了何种程度，而自由地设定与摄像灵敏度相比较的阈值，也可以不设置用于比较的阈值，而动态地设定与ISO灵敏度相应的校正量。

另外，本发明不限于上述的实施方式，在能够实现本发明的目的的范围内的变形、改进等都包含在本发明中。

例如，通过运动物体检测精度控制部101控制了精度的运动物体的检测结果，在上述的实施方式中，用于依据多平面相加方式的图像处理中，但该用途未被特别限定于此。例如，可以在动态图像中的被摄体的跟踪处理等各种各样的图像处理中，采用通过运动物体检测精度控制部101控制了精度的运动物体的检测结果。

另外，作为应用本发明的摄像装置，在本实施方式中应用于数字静态相机，但未被特别限定于此，还能普遍应用于具有对摄像图像进行摄像的摄像功能、和通过通信接收摄像图像的接收功能当中的至少一种功能的电子设备。具体而言，例如本发明可应用于智能手机、笔记本型的个人计算机、电视机、录像机、便携式导航装置、移动电话机、便携式游戏机等。

上述一连串的处理，既可以通过硬件来使之执行，也可以通过软件来使之执行。

换言之，图2的功能性构成只不过是例示，并没有特别限定。即，摄像装置1中只要具备整体上能够执行上述的一连串处理的功能即可，为了实现该功能而采用哪个功能模块，并未特别限定于图2的例子。

另外，一个功能模块，既可以由单个硬件构成，也可以由单个软件构成，还可以由它们的组合来构成。

在使一连串的处理通过软件来执行的情况下，构成该软件的程序从网络、记录介质被安装到计算机等中。

计算机可以是组合到专用硬件中的计算机。此外，计算机可以是通过安装各种程序而能执行各种功能的计算机、例如通用的个人计算机。

包含这种程序的记录介质不仅由为了向用户提供程序而与装置主体单独地分配的图1的可移动介质31构成，也可由以预先组合到装置主体的状态而提供给用户的记录介质等构成。可移动介质31例如由磁盘(包括软盘)、光盘、或者磁光盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)等构成。磁光盘由MD(Mini-Disk)等构成。此外，以预先组合到装置主体的状态而提供给用户的记录介质，例如由记录了程序的图1的ROM12、或图1的存储部20中包含的硬盘等构成。

另外，在本说明书中，描述记录到记录介质的程序的步骤，包括沿着其顺序按时间序列被进行的处理，当然也包括未必一定按时间序列进行处理而是并行或单独地执行的处理

此外，在本说明书中，系统的术语意味着由多个装置或多个单元构成的整体性装置。

以上，对本发明的几个实施方式进行了说明，但是这些实施方式只不过是例示，并非限定本发明的技术范围。本发明可以采取其他的各种实施方式，而且在不脱离本发明的主旨的范围内能够进行省略或置换等各种变更。这些实施方式及其变形包含于本说明书等所记载的发明范围、主旨内，并且包含于权利要求书所记载的发明及其等同范围中。

Claims (13)

1.一种摄像装置，其特征在于，具备：

摄像部；

摄像控制部，其对上述摄像部进行控制以连续地获取图像；

校正部，其对通过上述摄像控制部连续地摄像到的图像实施阴影校正；

运动物体检测控制部，其对通过上述校正部被阴影校正后的各个图像中的运动物体的检测精度进行控制；和

合成图像生成部，其基于通过上述运动物体检测控制部控制后的运动物体的检测精度，生成对上述连续地摄像到的多个图像进行合成后的合成图像。

2.根据权利要求1所述的摄像装置，其特征在于，

上述摄像装置还具备：

选择部，其从通过上述摄像控制部连续地摄像到的图像之中选择第1图像；和

差分获取部，其获取通过上述选择部选择出的第1图像和该第1图像以外的多个图像之间的差分，

上述运动物体检测精度部基于通过上述差分获取部获取到的差分、和上述校正部所进行的阴影校正的校正量，控制通过上述校正部被阴影校正后的各个图像中的运动物体的检测精度，

上述合成图像生成部生成对通过上述选择部选择出的第1图像和上述第1图像以外的多个图像进行合成后的合成图像。

3.根据权利要求2所述的摄像装置，其特征在于，

上述摄像装置还具备：算出部，其基于通过上述差分获取部获取到的差分、和上述校正部所进行的阴影校正的校正量，算出成为图像中包含的运动物体的检测指标的运动物体检测值，

上述运动物体检测精度部将通过上述算出部算出的运动物体检测值作为上述运动物体的检测精度，并基于该检测精度控制通过上述校正部被阴影校正后的各个图像中的运动物体的检测精度。

4.根据权利要求3所述的摄像装置，其特征在于，

上述合成图像生成部包括：

像素相加部，其对上述第1图像以外的多个图像进行像素相加以得到像素相加图像；

设定部，其对通过上述像素相加部得到的像素相加图像，设定与通过上述算出部算出的运动物体检测值相应的透射率；和

混合部，其基于通过上述设定部设定出的透射率，对上述像素相加图像和上述第1图像进行混合。

5.根据权利要求4所述的摄像装置，其特征在于，

上述设定部对通过上述算出部算出的运动物体检测值进行平均化以设定透射率。

6.根据权利要求3所述的摄像装置，其特征在于，

上述摄像装置还具备：摄像灵敏度设定部，其设定基于上述摄像控制部的控制进行摄像时的摄像灵敏度，

上述算出部根据与通过上述摄像灵敏度设定部设定出的摄像灵敏度相应的校正量、和上述校正部所进行的阴影校正的校正量，对通过上述差分获取部获取到的差分进行校正，从而算出上述运动物体检测值。

7.根据权利要求3所述的摄像装置，其特征在于，

在通过上述算出部算出的运动物体检测值在规定范围内的情况下，上述合成图像生成部对上述像素相加图像和上述第1图像进行合成。

8.根据权利要求3所述的摄像装置，其特征在于，

上述摄像装置还具备：

判断部，其判断通过上述算出部算出的运动物体检测值是否在规定范围内；和

记录控制部，其进行控制以使：在通过上述判断部判断为上述运动物体检测值在规定范围内时，对通过上述合成图像生成部生成的合成图像进行记录；另外，在通过上述判断部判断为上述运动物体检测值不在规定范围内时，对上述第1图像进行记录。

9.一种摄像装置，其特征在于，具备：

摄像部；

摄像控制部，其对上述摄像部进行控制以连续地获取图像；

校正部，其对通过上述摄像控制部连续地摄像到的图像实施阴影校正；

判定部，其判定通过上述校正部被阴影校正后的图像中的运动物体的检测结果的精度；和

合成图像生成部，其基于上述判定部的结果，生成对上述连续地摄像到的多个图像进行合成后的合成图像。

10.根据权利要求9所述的摄像装置，其特征在于，

上述摄像装置还具备：变焦倍率设定部，其设定通过上述摄像部摄像的图像的变焦倍率，

上述判定部基于上述变焦倍率设定部的设定结果，判定上述被阴影校正后的图像中的运动物体的检测结果的精度。

11.根据权利要求9所述的摄像装置，其特征在于，

上述摄像装置还具备：拍摄灵敏度设定部，其设定通过上述摄像部摄像的图像的拍摄灵敏度，

上述判定部基于上述拍摄灵敏度设定部的设定结果，判定上述被阴影校正后的图像中的运动物体的检测结果的精度。

12.一种合成图像生成方法，其特征在于，包括：

校正步骤，对连续地摄像到的图像实施阴影校正；

运动物体检测控制步骤，对通过上述校正步骤被阴影校正后的各个图像中的运动物体的检测精度进行控制；和

合成图像生成步骤，基于通过上述运动物体检测控制步骤控制后的运动物体的检测精度，生成对上述连续地摄像到的多个图像进行合成后的合成图像。

13.一种合成图像生成方法，其特征在于，包括：

校正步骤，对连续地摄像到的图像实施阴影校正；

判定步骤，对通过上述校正步骤被阴影校正后的图像中的运动物体的检测结果的精度进行判定；和

合成图像生成步骤，基于上述判定步骤中的结果，生成对上述连续地摄像到的多个图像进行合成后的合成图像。

Images