CN101489035A - 摄像装置及抖动校正方法 - Google Patents

Abstract

本发明提供一种摄像装置，其特征在于，具备：通过拍摄取得图像的摄像部；对通过拍摄取得的第一图像的抖动，根据上述第一图像和以比上述第一图像拍摄时的曝光时间更短的曝光时间拍摄的第二图像，进行校正的抖动校正处理部；控制可否实行基于上述抖动校正处理部的校正的控制部。

Description

摄像装置及抖动校正方法

技术领域

本发明涉及一种具备了对图像抖动进行校正功能的数码相机等的摄像装置。另外，本发明涉及一种实现该功能的抖动校正方法。

背景技术

手抖动校正技术是减轻拍摄时手抖动的技术，作为在数码相机等的摄像装置上的差异化技术而受到重视。

在校正手抖动的方式中，有建议采用短曝光时间拍摄参照图像的方式。在这种方式中，一方面通过适当的曝光时间拍摄校正对象图像，另一方面通过比适当曝光时间还短的曝光时间拍摄参照图像，用参照图像对校正对象图像的抖动进行校正。

由于在短曝光时间内拍摄的参照图像的抖动比较小，所以可利用参照图像对校正对象图像的抖动状态进行推断等。如果可推断校正对象图像的抖动状态，就可以通过图像还原处理等降低校正对象图像的抖动。

另外，有建议采用傅立叶(Fourier)反复法进行图像还原处理。图37是表示实现傅立叶反复法的构成的框图。在傅立叶反复法中，一边通过复原图像和点扩展函数(Point Spread Function)的修正，一边通过反复进行傅立叶变换和逆傅立叶变换，从恶化图像推断出最终的复原图像。为了进行傅立叶反复法，需要给出初期的复原图像(复原图像的初始值)，作为初期的复原图像，一般采用作为随机图像或手抖动图像的恶化图像。

通过采用参照图像进行图像处理来校正手抖动的方法，由于不需要角速度传感器等手抖动检测传感器，所以非常有助于降低摄像装置的成本。

然而，考虑到实际拍摄装置的使用情况等，必须对采用参照图像的方式进行深入研究。

发明内容

本发明的第一摄像装置，其特征在于，具备：通过拍摄取得图像的摄像部；对通过拍摄取得的第一图像的抖动，根据上述第一图像和以比上述第一图像拍摄时的曝光时间更短的曝光时间拍摄了的第二图像，进行校正的抖动校正处理部；控制可否实行基于上述抖动校正处理部的校正的控制部。

具体如，上述控制部具备推断上述第二图像抖动程度的抖动推断部，并根据其推断结果，控制可否由上述抖动校正处理部实行校正。

更具体如，上述抖动推断部，根据上述第一图像的边缘强度与上述第二图像的边缘强度相比较的结果，推断上述第二图像的抖动程度。

又如，在上述第一图像拍摄时与在上述第二图像拍摄时，用于调节拍摄图像亮度的灵敏度不同，上述抖动推断部通过抑制因上述第一图像拍摄时的灵敏度与上述第二图像拍摄时的灵敏度的不同而引起的上述第一及第二图像的边缘强度之间的差异的处理来实行上述比较。

或如，上述抖动推断部，根据上述第一图像和上述第二图像之间位置的偏差量推断上述第二图像的抖动程度。

进而或如，上述抖动推断部，根据用上述第一图像及上述第二图像求得的上述第一图像的推断图像恶化函数，推断上述第二图像的抖动程度。

又如，上述抖动推断部，参照矩阵表现了上述推断图像恶化函数时的上述推断图像恶化函数的各元素值，在参照了的数值内，提取偏离了规定的数值范围的数值，并根据提取了的数值的合计值，推断上述第二图像的抖动程度。

本发明的第二摄像装置，其特征在于，具备：摄像部，通过拍摄取得图像；抖动校正处理部，对通过拍摄所得的第一图像的抖动，根据上述第一图像和以比上述第一图像拍摄时的曝光时间更短的曝光时间拍摄了的1张以上的第二图像实行校正；控制部，根据上述第一图像的拍摄参数，控制可否实行基于上述抖动校正处理部的校正或控制用于该校正的上述第二图像的张数。

具体如，上述控制部，具备：第二图像拍摄控制部，根据上述第一图像的拍摄参数判定可否拍摄上述第二图像并控制上述摄像部；校正控制部，根据可否拍摄上述第二图像的判断结果，控制可否实行基于上述抖动校正处理部的校正。。

或如，上述控制部，具备第二图像拍摄控制部，根据上述第一图像的拍摄参数决定在上述抖动校正处理部中的校正所用的上述第二图像的张数，并控制上述摄像部，按所决定出的张数拍摄上述第二图像，上述第二图像拍摄控制部，决定上述第二图像的张数是1张或多张，上述抖动校正处理部，当上述第二图像的张数为多张时，通过对上述多张的第二图像进行相加合成生成1张合成图像，并根据上述第一图像和上述合成图像校正上述第一图像的抖动。

另外具体如，上述第一图像的拍摄参数，包括在上述第一图像拍摄时的焦距、曝光时间及为了调节图像亮度的灵敏度。

另外具体如，上述第二图像拍摄控制部，根据上述第一图像的拍摄参数，设定上述第二图像的拍摄参数。

另外具体如，在第一或第二摄像装置中，上述抖动校正处理部，对基于上述第一图像的图像和基于上述第二图像的图像分别作为恶化图像和初期的复原图像进行处理，用傅立叶反复法校正第一图像的抖动。

另外具体如，在第一或第二摄像装置中，上述抖动校正处理部，具有图像恶化函数导出部，求出表示上述第一图像整体抖动的图像恶化函数，并根据上述图像恶化函数校正上述第一图像的抖动，上述图像恶化函数导出部，从将基于上述第一图像的图像转换到频域上所得的第一函数和将基于上述第二图像的图像转换到频域上所得的第二函数，临时求出在频域上的上述图像恶化函数，并通过采用规定的限制条件对所求得的在频域上的上述图像恶化函数转换到空间区域上而得到的函数进行修正处理，最终求出上述图像恶化函数。

或如，在第一或第二摄像装置中，上述抖动校正处理部，通过对上述第一图像、上述第二图像、以及由降低上述第二图像的噪声而得出的第三图像进行合成，生成校正了上述第一图像抖动的抖动校正图像。

更具体如，上述抖动校正处理部，在生成了作为上述第一图像以及上述第三图像的合成图像的第四图像之后，通过合成上述第二图像和上述第四图像生成上述抖动校正图像。

又具体如，根据上述第一图像与上述第三图像的差，设定合成上述第一图像和上述第三图像时的合成比率，根据上述第三图像中含有的边缘，设定合成上述第二图像和上述第四图像时的合成比率。

本发明的第一抖动校正方法，其特征在于，具备：抖动校正处理步骤，对由拍摄所得的第一图像的抖动，根据上述第一图像和以比上述第一图像拍摄时的曝光时间更短的曝光时间拍摄了的1张以上的第二图像，进行校正；控制步骤，控制可否实行基于上述抖动校正处理步骤的校正。

又如，上述控制步骤，包含推断上述第二图像抖动程度的抖动推断步骤，并根据其推断结果控制可否实行基于上述抖动校正处理步骤的校正。

另外，本发明的第二抖动校正方法，其特征在于，具备：抖动校正处理步骤，对由拍摄所得的第一图像的抖动，根据上述第一图像和以比上述第一图像拍摄时的曝光时间更短的曝光时间拍摄了的1张以上的第二图像，进行校正；控制步骤，根据上述第一图像的拍摄参数，控制可否实行基于上述抖动校正处理步骤的校正或控制用于该校正的上述第二图像的张数。

本发明的意义乃至效果，通过以下所示的实施方式进行说明就会更加明了。但以下的实施方式终归只是本发明的一个实施方式，本发明乃至各构成主要部件的术语的意义，并不受以下实施方式的记述所限。

附图说明

图1是本发明的实施方式的摄像装置的整体框图。

图2是图1摄像部的内部框图。

图3是图1主控制部的内部框图。

图4是本发明的实施方式1的摄像装置的拍摄及校正的操作流程图。

图5是本发明的实施方式1的判断可否短曝光图像的拍摄及拍摄参数设置的操作流程图。

图6是表示焦距与手抖动界限曝光时间关系的曲线图。

图7是本发明的实施方式2的摄像装置的拍摄及校正的操作流程图。

图8是本发明的实施方式3的摄像装置的拍摄及校正的操作流程图。

图9是本发明的实施方式3的推断短曝光图像的抖动程度的操作流程图。

图10是本发明的实施方式3的从通常曝光图像或短曝光图像提取的评价图像的象素排列的示意图。

图11是表示在图10的评价图像内的亮度值排列图。

图12是本发明的实施方式3的可用于计算边缘强度值的水平方向二次微分滤波器的示意图。

图13是本发明的实施方式3的可用于计算边缘强度值的垂直方向二次微分滤波器的示意图。

图14(a)是本发明的实施方式3的无噪声影响的图像及有噪声影响的图像的亮度值分布的示意图，图14(b)是本发明的实施方式3的没有噪声影响的图像及有噪声影响的图像的边缘强度值分布的示意图。

图15的(a)、(b)、(c)分别是本发明的实施方式3在水平方向有抖动的通常曝光图像、在水平及垂直方向无抖动的短曝光图像、以及在垂直方向有抖动的短曝光图像的示意图。

图16(a)和(b)是本发明的实施方式3的分别在通常曝光图像和短曝光图像之间的位置偏差量小时的手抖动量情况的示意图，与在通常曝光图像和短曝光图像之间的位置偏差量大时的手抖动量情况的示意图。

图17是本发明的实施方式3的通常曝光图像及短曝光图像的象素值分布与通常曝光图像的推断图像恶化函数(h₁′)之间关系的说明图。

图18是本发明的实施方式4中表示以第一校正方法进行抖动校正处理操作流程的流程图。

图19是本发明的实施方式4的实施第一校正方法的抖动校正处理的傅立叶反复法的详细流程图。

图20是实现图19的傅立叶反复法的构成的框图。

图21是本发明的实施方式4的表示第二校正方法的抖动校正处理的操作流程的流程图。

图22是对应图21的抖动校正处理的概念图。

图23是本发明的实施方式4的表示第三校正方法的抖动校正处理的操作流程的流程图。

图24是对应图23的抖动校正处理的概念图。

图25是本发明的实施方式4中的表示一维的高斯分布的图。

图26是对应图23的抖动校正处理效果的说明图。

图27的(a)和(b)是本发明的实施方式4的分别在第四校正方法的说明中采用的参照图像和校正对象图像的例子的示意图。

图28是空间区域的二维坐标和二维图像的示意图。

图29是在本发明的实施方式4的第四校正方法中所利用的图像合成部的内部框图。

图30是通过降低图27(a)的参照图像的噪声所得的第二中间生成图像的示意图。

图31是对位后的校正对象图像(第一中间生成图像)与噪声降低处理后的参照图像(第二中间生成图像)之间的差分图像的示意图。

图32是在图29的差分值计算部所得的差分值与第一及第二中间生成图像的象素信号的混合率关系的示意图。

图33是通过把对位后的校正对象图像(第一中间生成图像)与噪声降低处理后的参照图像(第二中间生成图像)合成所得的第三中间生成图像的示意图。

图34是对噪声降低处理后的参照图像(第二中间生成图像)实施边缘提取处理所得到的边缘图像的示意图。

图35是在图29的边缘强度值计算部所得的边缘强度值，与参照图像及第三中间生成图像的象素信号的混合率关系的示意图。

图36是通过参照图像与第三中间生成图像合成所得的抖动校正图像的示意图。

图37是以往实现傅立叶反复法的构成的框图。

具体实施方式

下面参照附图对本发明的实施方式进行具体说明。在参照的各图中，同一部分给出相同的标记，原则上省略对同一部分的重复说明。后面对实施方式1～实施方式4进行说明，但首先对各实施方式的共通事项或各实施方式所参照的事项进行说明。

图1是本发明实施方式的摄像装置1的整体框图。摄像装置1是可拍摄及记录静止图像的数码相机，或可拍摄及记录静止图像及动态图像的数码摄像机。

摄像装置1具备：摄像部11、AFE(Analog Front End)12、主控制部13、内部存储器14、显示部15、记录介质16、操作部17。在操作部17上具备快门按钮17a。

图2是表示摄像部11的内部构成图。摄像部11具有：光学系统35；光圈32；CCD(Charge Coupled Device)或由CMOS(ComplementaryMetal Oxide Semiconductor)图像传感器等组成的摄像单元33；用于驱动控制光学系统35或光圈32的驱动器34。光学系统35，由包括变焦镜头30及聚焦镜头31的多个镜头形成。变焦镜头30及聚焦镜头31可向光轴方向移动。驱动器34，根据来自主控制部13的控制信号，通过驱动控制变焦镜头30及聚焦镜头31的各个位置和光圈32的孔径，控制摄像部11的焦距(视角)及焦点位置以及对摄像单元33的入射光量。

摄像单元33，把表示通过光学系统35及光圈32入射的被照物的光学图像进行光电变换，并将通过该光电变换所得的电信号输出给AFE12。更具体地，摄像单元33，具备以矩阵状二维排列的多个光敏象素，在各拍摄中，各光敏象素积蓄对应曝光时间电荷量的信号电荷。来自具有积蓄了与信号电荷的电荷量成正比大小的各光敏象素的模拟信号，按照摄像装置1内生成的驱动脉冲依次输出给AFE12。以下说明中的“曝光”，意思解释为摄像单元33的曝光。另外，曝光时间的长度，由主控制部13控制。

AFE12，对从摄像部11(摄像单元33)输出的模拟信号进行放大，并将放大了的模拟信号转换为数字信号。AFE12，将这个数字信号依次输出给主控制部13。AFE12的信号放大的放大程度由主控制部13控制。

主控制部13具备：CPU(Central Processing Unit)；ROM(Read OnlyMemory)；和RAM(Random Access Memory)等，发挥作为影像信号处理部的功能。主控制部13，根据AFE12的输出信号，通过摄像部11生成表示被拍摄的图像(以下称为“拍摄图像”)的影像信号。另外，主控制部13，还具备作为控制显示部15显示内容的显示控制部的功能，对显示部15进行显示所必要的控制。

内部存储器14，由SDRAM(Synchronous Dynamic Random AccessMemory)等形成，将摄像装置1内生成的各种数据进行暂时存储。显示部15是由液晶显示板等组成的显示装置，在主控制部13的控制下，显示被拍摄的图像和被记录介质16记录的图像等。记录介质16是SD(Secure Digital)存储卡等非易失性存储器，在主控制部13的控制下，存储拍摄图像等。

操作部17，接受来自外部的操作。向主控制部13传达操作部17的操作内容。快门按钮17a是为了指示静止图像的拍摄及记录的按钮。通过押下快门按钮17a指示静止图像的拍摄及记录。

另外，快门按钮17a，可进行2个阶段的押下操作，拍摄者轻轻地按下快门按钮17a，快门按钮17a就成为半按下状态，从该状态进一步按下快门按钮17a，快门按钮17a就成为全按下状态。

作为拍摄图像的静止图像，可能含有因手抖动所引起的抖动。主控制部13，具备把这样静止图像的抖动通过图像处理进行校正的功能。图3表示仅对抖动校正进行特别干预的部位的、主控制部13的内部框图。如图3所示，主控制部13具备：拍摄控制部51；校正控制部52及抖动校正处理部53。

抖动校正处理部53，根据由通常曝光拍摄所得的通常曝光图像和通过短曝光拍摄所得的短曝光图像来校正通常曝光图像的抖动。通常的曝光拍摄，意思是以适当的曝光时间进行的拍摄，短曝光拍摄，意思是以比通常曝光拍摄的曝光时间短的曝光时间进行的拍摄。通常曝光图像是通过通常曝光拍摄所得的拍摄图像(静止图像)，短曝光图像是通过短曝光拍摄所得的拍摄图像(静止图像)。另外，通过抖动校正处理部53实行的、为了校正抖动的处理称为抖动校正处理。拍摄控制部51，具备对短曝光拍摄进行拍摄控制的短曝光拍摄控制部54。短曝光拍摄的拍摄控制，包含对短曝光拍摄时的焦距、曝光时间及ISO灵敏度的控制。另外，图3所示标记(f₁等)的意义在后述的说明中明确。

虽然期待以短曝光时间拍摄的短曝光图像的抖动小，但实际上由于拍摄者的拍摄技术等，在短曝光图像内含有的抖动达到不可忽视的程度。为了取得充分的抖动校正效果，就需要采用没有抖动或抖动小的短曝光图像，但在实际拍摄中，有时又不能拍摄那样的短曝光图像。另外，由于曝光时间短的原因，必然造成短曝光图像的信噪比较低。为了取得充分的抖动校正效果，就需要在一定程度上提高短曝光图像的信噪比，但在实际的拍摄中，有时又不能拍摄那样的短曝光图像。采用抖动大的短曝光图像或信噪比大的短曝光图像进行抖动校正处理难以取得令人满意的抖动校正效果，甚至反而会得到更差的图像。所以避免实行几乎得不到校正效果的抖动校正处理或生成反而更差图像的抖动校正处理是不言自明的。在摄像装置1中，就进行考虑到了这些情况的操作。

作为说明包含图3所示各部位的详细操作的摄像装置1的操作的实施方式，以下说明实施方式1～实施方式4。在摄像装置1中，虽然对可否实行抖动校正处理进行控制，但其控制，大致区分为基于通常曝光图像的拍摄参数的情况和基于短曝光图像的抖动程度的情况。基于通常曝光图像的拍摄参数的情况在实施方式1及实施方式2进行说明，基于短曝光图像的抖动程度的情况在实施方式3进行说明。另外，图3所示的对校正控制部52进行通常曝光图像及短曝光图像的输入，在实施方式3中有效地发挥作用。

另外，在本说明书中，表示图像的数据称图像数据，在对某图像的图像数据进行任何处理(记录、保存、读出等)的说明文章中，为了记述简略，有时省略图像数据的记述。例如，表示静止图像的图像数据记录与表示静止图像的记录同义。另外，为了简略说明，在以下的说明中，光圈32的光圈值(光圈32的孔径)为固定。

实施方式1

说明实施方式1。与通常曝光图像相比短曝光图像的抖动通常要小，如果把短曝光图像的边缘状态做为目标校正通常曝光图像，就会降低通常曝光图像的抖动。但为了得到充分的抖动校正效果，需要在一定程度上预先提高短曝光图像的信噪比(以下称为SN比)。然而，在实际拍摄中，有时不能拍摄到可得到充分抖动校正效果的短曝光图像。在这种情况下，即使勉强进行短曝光拍摄从而进行抖动校正处理也难以取得满意的抖动校正效果(甚至还会得到更差图像)。考虑到此，在实施方式1中，当判断为不能取得充分抖动校正效果的短曝光图像的情况下，就不实行短曝光图像的拍摄及抖动校正处理。

参照图4，说明涉及实施方式1的摄像装置1的拍摄及校正操作。图4是表示其操作流程的流程图。在摄像装置1内实行步骤S1～S10的各项处理。

首先，在步骤S1中，图1的主控制部13确认快门按钮17a是否处于半按下的状态。在确认为半按下状态的情况下，就从步骤S1移动到步骤S2。

在步骤S2中，拍摄控制部51取得通常曝光图像的拍摄参数。在通常曝光图像的拍摄参数中，包含通常曝光图像拍摄时的焦距f₁、曝光时间t₁及ISO灵敏度is₁。

焦距f₁，根据通常曝光图像拍摄时的光学系统35内镜头的位置以及已知信息等来确定。另外，在包含焦距f₁的以下说明中的焦距，是35mm胶片换算时的焦距。在拍摄控制部51中，设有测定被照物亮度(换言之，就是向摄像部11的入射光量)的测光部(无图示)，其根据具备在摄像装置1上的测光传感器(无图示)的输出信号或摄像单元33的输出信号进行测定。拍摄控制部51，根据其测量结果，决定曝光时间t₁及ISO灵敏度is₁，使其取得有适当亮度的通常曝光图像。

ISO灵敏度，意思是由ISO(International Organization forStandardization)规定的灵敏度，可通过调节ISO的灵敏度来调节拍摄图像的亮度(亮度水平)。实际上是按照ISO灵敏度决定AFE12信号放大的放大程度。其放大程度与ISO灵敏度成正比。如果ISO灵敏度是2倍，其放大程度也变成2倍，由此拍摄图像的各个图像的亮度值也变成2倍(但忽略饱和)。

另外，不用说在其他条件相同时，拍摄图像的各图像的亮度值与曝光时间成正比，如果曝光时间为2倍，拍摄图像的各图像的亮度值也变成2倍(但，忽略饱和)。亮度值的意思是形成拍摄图像的象素亮度信号的值。关于某象素，如果增加亮度值就增加该象素的亮度。

步骤S2之后，在步骤S3中，主控制部13确认快门按钮17a是否成为全按下状态。在成为全按下状态的情况下就移动到步骤S4，在不是全按下状态的情况下就回到步骤S1。

在步骤S4中，摄像装置1(摄像部11)，进行通常曝光拍摄取得通常曝光图像。在进行通常曝光图像的拍摄时，拍摄控制部51就控制摄像部11及AFE12，使焦距、曝光时间及ISO灵敏度成为焦距f₁、曝光时间t₁及ISO灵敏度is₁。

在紧接着的步骤S5中，短曝光拍摄控制部54，根据通常曝光图像的拍摄参数，判定可否进行短曝光图像的拍摄，与此同时设定短曝光图像的拍摄参数。关于这个判断方法及设置方法后面叙述，这里首先说明接着步骤S5之后的步骤S6以后的处理。

在步骤S6中，根据可否进行短曝光图像拍摄的判断结果进行分支判断，短曝光拍摄控制部54，按照其判断结果控制摄像部11的拍摄。具体地，在步骤S5中当判断为可进行短曝光图像拍摄时，就从步骤S6移动到步骤S7。在步骤S7中，短曝光拍摄控制部54，控制摄像部11使其进行短曝光拍摄。由此取得该短曝光图像。应使通常曝光图像和短曝光图像在拍摄之间的拍摄环境的变化(包含被照物运动等)控制在最小限度，使短曝光图像紧接着通常曝光图像拍摄之后进行拍摄。另一方面，在步骤S5中在判断为不可以进行短曝光图像拍摄的情况下，就不进行短曝光图像的拍摄(即，短曝光拍摄控制部54，对摄像部11不进行短曝光图像拍摄的控制)。

把可否进行短曝光图像拍摄的判断结果传达给图3的校正控制部52，校正控制部52按照其判断结果控制可否由抖动校正处理部53实行抖动校正处理。即，当判断为可进行短曝光图像拍摄时，就可实行该抖动校正处理，当判断为不可以进行短曝光图像拍摄时，就不可实行其抖动校正处理。

在短曝光图像拍摄后移动的步骤S8中，抖动校正处理部53，在步骤S4中取得的通常曝光图像及在步骤S7中取得的短曝光图像分别作为校正对象图像及参照图像处理之后，接收校正对象图像及参照图像的图像数据。此后，在步骤S9中，抖动校正处理部53，根据校正对象图像及参照图像实行用于降低校正对象图像抖动的抖动校正处理。通过该抖动校正处理而生成的、降低了抖动的校正对象图像称为抖动校正图像。把生成的抖动校正图像的图像数据，在接着步骤S9的步骤S10中记录在介质16上。

参照图5，说明可否进行短曝光图像拍摄的判断方法和短曝光图像的拍摄参数的设置方法。图5相当于图4的步骤S5的详细流程图，短曝光拍摄控制部54通过实行图5的步骤S21～S26的处理实现步骤S5的处理。

按顺序说明步骤S21～S26的各项处理。首先，实行步骤S21的处理。在步骤S21中，短曝光拍摄控制部54，根据通常曝光图像的拍摄参数，暂时设定短曝光图像的拍摄参数。这时，暂时设定拍摄参数，使短曝光图像的抖动小到可以被忽视的程度，且使短曝光图像亮度与通常曝光图像相同的程度。在短曝光图像的拍摄参数中，包含短曝光图像拍摄时的焦距f₂、曝光时间t₂及ISO灵敏度is₂。

一般，进行35mm胶片换算时的光学系统焦距的倒数被称为手抖动界限曝光时间，在以手抖动界限曝光时间以下的曝光时间进行静止图像的拍摄的情况下，其静止图像的抖动就可以小到可以忽视的程度。例如，在进行35mm胶片换算时焦距为100[mm]的情况下，1/100[秒]为手抖动界限曝光时间。另外一般来说，当曝光时间为适当曝光时间的1/a时，为了得到适当亮度的图像就需要把ISO灵敏度设为a倍(在这里，a是正值)。另外，在步骤S21中，将短曝光拍摄的焦距设定为与通常曝光拍摄的焦距相同。

因此，在步骤S21中，暂时设定短曝光图像的拍摄参数，使得“f₂＝f₁、t₂＝1/f₁且is₂＝is₁×(t₁/t₂)”。

在步骤S21暂时设定之后，在步骤S22中，根据通常曝光图像的曝光时间t₁及ISO灵敏度is₁和短曝光图像的界限ISO灵敏度is_2TH，按照公式“t_2TH＝t₁×(is₁/is_2TH)”计算出短曝光图像的界限曝光时间t_2TH。

界限ISO灵敏度is_2TH，是关于短曝光图像的S/N比好坏界限的ISO灵敏度，它是按照摄像部11及AFE12的特性等而预先设定的。在以比界限ISO灵敏度is_2TH大的ISO灵敏度取得短曝光图像的情况下，其S/N比就恶化到很难得到充分的抖动校正效果的程度。从界限ISO灵敏度is_2TH导出的界限曝光时间t_2TH是关于短曝光图像的S/N比好坏界限的曝光时间。

此后，在步骤S23中，通过比较在步骤S21中暂时设定的短曝光图像的曝光时间t₂和在步骤S22中算出的界限曝光时间t_2TH，分以下3种情况进行区别。具体地，在第一不等式“t₂≥t_2TH”、第二不等式“t_2TH>t₂≥t_2TH×k_t”和第三不等式“t_2TH×k_t>t₂”之内，判定哪个不等式成立，并对应其判断结果进行以下的分支处理。在这里，k_t是预先设定的界限曝光时间系数，是0<k_t<1。

在第一不等式成立的情况下，即使将短曝光图像的曝光时间设定为手抖动界限曝光时间(1/f₁)，也可以进行有充分SN比的短曝光图像的拍摄。所谓充分的SN比是满足带来充分抖动校正效果的SN比的意思。

因此，在第一不等式成立的情况下，就从步骤S23直接移动到步骤S25，将拍摄/校正可否标志FG替换成1，直接采用在步骤S21中暂时设定的拍摄参数进行步骤S7的短曝光拍摄。即，在第一不等式成立的情况下，短曝光拍摄控制部54就控制摄像部11及AFE12，使图4的步骤S7的短曝光图像的拍摄时的焦距、曝光时间及ISO灵敏度成为步骤S21算出的焦距f₂(＝f₁)、曝光时间t₂(＝1/f₁)和ISO灵敏度is₂(＝is₁×(t₁/t₂))。

拍摄/校正可否标志FG，是表示可否实行短曝光图像的拍摄和可否实行抖动校正处理的判断结果的标志，主控制部13内的各部位，按照其标志FG的数值进行操作。有1的数值的标志FG，表示可进行短曝光图像的拍摄且可实行抖动校正处理，有0的数值的标志FG，表示不可进行短曝光图像的拍摄且不可实行抖动校正处理。

另一方面，在第二不等式成立的情况下，如果将短曝光图像的曝光时间设定为手抖动界限曝光时间(1/f₁)，就不能进行有充分SN比的短曝光图像拍摄。但是在这种情况下，即使将短曝光图像的曝光时间设定为界限曝光时间t_2TH，手的抖动估计也比较小。因此，第二不等式的成立表示如果将短曝光图像的曝光时间设定为估计手抖动比较小的时间(t_2TH)，就能以有充分SN比的短曝光图像进行拍摄。

因此，在第二不等式成立的情况下，从步骤S23移动到步骤S24使短曝光图像的拍摄参数再设定成为“f₂＝f₁、t₂＝t_2TH且is₂＝is_2TH”，并在步骤S25中将标志FG替换成1。由此，用再设定的拍摄参数实行图4步骤S7的短曝光拍摄。即，在第二不等式成立的情况下，短曝光拍摄控制部54控制摄像部11及AFE12，使图4的步骤S7的短曝光图像拍摄时的焦距、曝光时间及ISO灵敏度，成为步骤S24中再设定的焦距f₂(＝f₁)、曝光时间t₂(＝t_2TH)及ISO灵敏度is₂(＝is_2TH)。

另外，在第三不等式成立的情况下，如果将短曝光图像的曝光时间设定为手抖动界限曝光时间(1/f₁)，就不能进行有充分SN比的短曝光图像拍摄。而且，即使将短曝光图像的曝光时间设定为估计手抖动比较小的时间(t_2TH)，也不能进行有充分SN比的短曝光图像拍摄。

因此，在第三不等式成立的情况下，从步骤S23向步骤S26移动，如果判定不可进行短曝光图像拍摄，就将标志FG替换成0。由此，不进行短曝光图像的拍摄。

在第一不等式或第二不等式成立的情况下，因为将标志FG替换成1，所以抖动校正处理部53实行抖动校正处理，但在第三不等式成立的情况下，因为将标志FG替换成0，所以抖动校正处理部53就不实行抖动校正处理。

举个具体的数值例子。在通常曝光图像的拍摄参数为“f₁＝100[mm]，t₁＝1/10[秒]且is₁＝100”的情况下，在步骤S21中，短曝光图像的拍摄参数，被暂时设定为“f₂＝100[mm]，t₂＝1/100[秒]且is₂＝1000”。在这里，当短曝光图像的界限ISO灵敏度设定为is_2TH＝800时，短曝光图像的界限曝光时间t_2TH就变成1/80[秒](步骤S22)。这样，由于“t_2TH＝1/80>1/100”不能满足第一不等式，所以用暂时设定的拍摄参数进行短曝光拍摄就不能取得有充分SN比的短曝光图像。

但例如，在界限曝光时间系数k_t为0.5的情况下，因为“1/100≥t_2TH×k_t”，所以满足第二不等式。在这种情况下，通过将短曝光图像的曝光时间t₂及ISO灵敏度is₂再设定为界限曝光时间t_2TH和界限ISO灵敏度is_2TH，就能进行有充分SN比的短曝光图像拍摄，用该短曝光图像进行抖动校正处理就能得到充分的抖动校正效果。

图6表示焦距与手抖动界限曝光时间之间的关系的曲线200。将对应上述数值例的点201～204画在图6的曲线图上。点201对应通常曝光图像的拍摄参数，曲线200上的点202对应暂时设定的短曝光图像的拍摄参数，点203对应焦距及曝光时间为100[mm]及t_2TH(＝1/80[秒])的状态，点204对应焦距及曝光时间为100[mm]及t_2TH×k_t(＝1/160[秒])的状态。

如上述那样，为了使短曝光图像的抖动小到可忽视的程度，一般要使短曝光图像的曝光时间为手抖动界限曝光时间以下。可是，即使前者比后者大一些，实用上取得抖动少的短曝光图像也没有问题。具体地，即使短曝光图像的界限曝光时间t_2TH(在上述数值例中，为1/80[秒])比手抖动界限曝光时间(在上述的数值例中，为1/100[秒])大，如果短曝光图像的界限曝光时间t_2TH的k_t倍(在上述数值例中，为t_2TH×k_t＝1/160[秒])是手抖动界限曝光时间以下，通过用该界限曝光时间t_2TH进行短曝光拍摄，实用上取得抖动少的短曝光图像也没有问题(反过来说，界限曝光时间系数k_t的值通过实验等被预先设定成满足那样的关系)。考虑到此，即使在第一不等式不成立的情况下，如果第二不等式成立，实行步骤S24的再设置就可进行短曝光图像的拍摄。

如上所述，在实施方式1中，根据反映了实际拍摄的环境条件(摄像装置1的周围亮度等)的通常曝光图像的拍摄参数，判定是否可以进行有足够SN比来实现充分的抖动校正效果的短曝光图像拍摄，并按照其判断结果控制是否实行短曝光图像的拍摄及是否实行抖动校正处理。由此，可得到稳定的抖动校正效果，从而避免勉强进行抖动校正处理生成几乎没有抖动校正效果的图像(或更差图像)的事态发生。

实施方式2

对实施方式2进行说明。实施方式1所述操作的一部分也用在实施方式2中。参照图7，对实施方式2的摄像装置1的拍摄及校正操作进行说明。图7是表示其操作流程的流程图。在实施方式2中，首先也进行步骤S1～S4的处理。该步骤S1～S4的处理，与实施方式1所叙述的相同。

即，在快门按钮17a半按下的状态时，拍摄控制部51取得通常曝光图像的拍摄参数(焦距f₁、曝光时间t₁及ISO灵敏度is₁)，此后，在快门按钮17a全按下的状态时，在步骤S4中，用该拍摄参数进行通常曝光拍摄取得通常曝光图像。实施方式2中，在通常曝光图像的拍摄后，移动到步骤S31。

在步骤S31中，短曝光拍摄控制部54，根据通常曝光图像的拍摄参数，判定短曝光图像的拍摄张数应该是1张还是多张。

具体地，首先短曝光拍摄控制部54，实行与图5的步骤S21及S22相同的处理。即，在步骤S21中，用通常曝光图像的拍摄参数中包含的焦距f₁、曝光时间t₁及ISO灵敏度is₁，暂时设定短曝光图像的拍摄参数为“f₂＝f₁、t₂＝1/f₁且is₂＝is₁×(t₁/t₂)”，在步骤S22中，按照公式“t_2TH＝t₁×(is₁/is_2TH)”求短曝光图像的界限曝光时间t_2TH。

其后，通过对步骤S21中暂时设定的短曝光图像的曝光时间t₂与步骤S22中算出的界限曝光时间t_2TH进行比较，在第一不等式“t₂≥t_2TH”、第二不等式“t_2TH>t₂≥t_2TH×k_t”和第三不等式“t_2TH×k_t>t₂”内，判定哪个不等式成立。另外，k_t与实施方式1所叙述的相同。

然后，在第一或第二不等式成立的情况下，判定应该拍摄的短曝光图像的张数是1张，从步骤S31移动到步骤S32，依次实行步骤S32、S33、S9及S10处理。应该拍摄的短曝光图像的张数是1张的判断结果传达给校正控制部52，在这种情况下，校正控制部52，控制抖动校正处理部53，对步骤S4所得的通常曝光图像及步骤S32所得的短曝光图像分别作为校正对象图像及参照图像处理。

即，在步骤S32中，短曝光拍摄控制部54控制拍摄，使短曝光拍摄只进行一次。通过这个短曝光拍摄取得1张短曝光图像。这个短曝光图像，在紧接着通常曝光图像的拍摄之后拍摄。在紧接着的步骤S33中，抖动校正处理部53，对步骤S4所得的通常曝光图像及步骤S32所得的短曝光图像分别作为校正对象图像及参照图像处理之后，接收校正对象图像及参照图像的图像数据。此后，在步骤S9中，抖动校正处理部53，根据校正对象图像及参照图像实行降低校正对象图像抖动的抖动校正处理，生成抖动校正图像。把生成的抖动校正图像的图像数据，在步骤S9后续的步骤S10中记录在记录介质16上。

另外，与实施方式1相同，在第一不等式成立的情况下，在步骤S21中就直接采用暂时设定的拍摄参数进行步骤S32的短曝光拍摄。即，在第一不等式成立的情况下，短曝光拍摄控制部54就控制摄像部11及AFE12，使步骤S32短曝光图像拍摄时的焦距、曝光时间及ISO灵敏度成为步骤S21算出的焦距f₂(＝f₁)、曝光时间t₂(＝1/f₁)及ISO灵敏度is₂(＝is₁×(t₁/t₂))。另外，在第二不等式成立的情况下，就实行图5的步骤S24的处理，再次设定短曝光图像的拍摄参数，用该再次设定的拍摄参数进行步骤S32的短曝光拍摄。即，在第二不等式成立的情况下，短曝光拍摄控制部54就控制摄像部11及AFE12，使步骤S32的短曝光图像拍摄时的焦距、曝光时间及ISO灵敏度成为在步骤S24被再次设定的焦距f₂(＝f₁)、曝光时间t₂(＝t_2TH)及ISO灵敏度is₂(＝is_2TH)。

另一方面，在步骤S31中第三不等式“t_2TH×k_t>t₂”成立的情况下，就判定应该拍摄的短曝光图像的张数是多张，并从步骤S31移动到步骤S34，实行步骤S34～S36的处理之后实行S9及S10的处理。应该拍摄的短曝光图像的张数是多张的判断结果传达给校正控制部52，在这种情况下，校正控制部52控制抖动校正处理部53使步骤S4所得的通常曝光图像和步骤S35所得的合成图像分别作为校正对象图像及参照图像处理。详情后述，但合成图像通过将多张短曝光图像相加合成而生成。

按顺序说明步骤S34～S36的处理。步骤S34中，紧接着通常曝光图像的拍摄之后连续拍摄n_S张短曝光图像，但首先，短曝光拍摄控制部54，决定应该拍摄短曝光图像的张数(即，n_S的值)和拍摄参数。在这里，n_S是2以上的整数。在步骤S34中将取得的各短曝光图像拍摄时的焦距、曝光时间及ISO灵敏度，分别表示为f₃、t₃及is₃，并说明n_S、f₃、t₃及is₃的决定方法。另外，在这个说明中，在图5的步骤S21中也参照暂时设定的拍摄参数(f₂、t₂及is₂)。

把n_S、f₃、t₃及is₃设定为全部满足以下的第一～第三条件。

第一条件是“曝光时间t₃的k_t倍为手抖动界限曝光时间以下”。第一条件的设置是为了把各短曝光图像的抖动抑制到小到实用上没有问题的程度。为了满足第一条件，需要满足不等式“t₂≥t₃×k_t”。

第二条件是“通常曝光图像与步骤S35应得的合成图像的亮度相同(或者同等程度)”。为了满足第二条件，需要满足等式“t₃×is₃×n_S＝t₁×is₁”。

第三条件是“步骤S35应得的合成图像的ISO灵敏度为短曝光图像的界限ISO灵敏度以下”。第三条件的设置是为了得到有充分的SN比的合成图像。为了满足第三条件，需要满足不等式“is₃×√n_S≤is_2TH”。

一般，把ISO灵敏度is₃的n_S张图像相加合成所得图像的ISO灵敏度用is₃×√n_S表示。另外，√n_S表示n_S的正的平方根。

举个具体的数值例。现在，考虑通常曝光图像的拍摄参数为“f₁＝200[mm]、t₁＝1/10[秒]且is₁＝100”的情况。另外，短曝光图像的界限ISO灵敏度is_2TH是800且界限曝光时间系数k_t是0.5。这样，在图5的步骤S21中短曝光图像的拍摄参数的暂时设定，就成为“f₂＝200[mm]、t₂＝1/200[秒]且is₂＝2000”。另外，短曝光图像的界限曝光时间t_2TH，由于t_2TH＝t₁×(is₁/is_2TH)＝1/80就变成为1/80[秒]。这样，因为是“t_2TH×k_t>t₂”，所以就会从图7的步骤S31移动到步骤S34。

在这种情况下，为了满足第一条件，需要满足下列公式(A-1)。

1/100≥t₃   …(A-1)

暂时将t₃试着替换成1/100，需要从对应第二条件的等式满足下列公式(A-2)。另外，还需要满足对应第三条件的下列公式(A-3)。因为由公式(A-2)及(A-3)变成为“n_S≥1.5625”，所以可知最好把n_S设定为2以上。

is₃×n_S＝1000   …(A-2)

is₃×√n_S≤800  …(A-3)

将n_S暂时替换成2，对应第二条件的等式成为下列公式(A-4)且对应第三条件的不等式成为下列公式(A-5)。

t₃×is₃＝5      …(A-4)

从公式(A-4)及(A-5)引导出“t₃≥0.0088”。把公式(A-1)也一起考虑，通过即使在n_S＝2的情况下也可设定t₃使其满足“1/100≥t₃≥0.0088”地，就可以生成所希望的有充分抖动校正效果的合成图像。如果确定了n_S和t₃，is₃也自动确定了。另外，使f₃与f₁相同。在上述例子中，以将n_S替换成2的状态可设定成全部满足第一～第三条件的t₃，但假设不能那样设定，只要直到能够设定为止依次增加n_S的数值就可以了。

在步骤S34中，按照上述方法求n_S、f₃、t₃及is₃，并按照其方法实行n_S次的短曝光拍摄。将步骤S34取得的n_S张短曝光图像的图像数据发送到抖动校正处理部53。抖动校正处理部53，通过把这些n_S张的短曝光图像相加合成而生成合成图像。下面说明相加合成的方法。

抖动校正处理部53，将n_S张短曝光图像对位之后合成。为了具体说明，将n_S设为3，在通常曝光图像拍摄后，考虑依次拍摄第一、第二及第三张短曝光图像。在这种情况下，例如，把第一张短曝光图像作为标准图像，且将第二及第三张短曝光图像分别作为非标准图像掌握之后，把非标准图像向标准图像对位合成。另外，“对位”和后述的“位置偏差校正”的意义相同。

下面说明1张标准图像与1张非标准图像对位合成的处理。例如，用哈里斯(Harris)的拐角(corner)检测器从标准图像提取有特征的小区域(例如，32×32象素的小区域)。有特征的小区域是指提取原图像中边缘成分比较多(换句话说就是对比度比较强)的矩形区域，例如，包含有特征图案的区域。所谓有特征的图案，意思是说例如在物体角部2个方向以上有亮度变化，根据其亮度变化通过图像处理就可以很容易地检测出该图案位置(图像上的位置)的图案。然后，把从标准图像提取的该小区域内的图像作为模板(template)，采用模板匹配法，从非标准图像内寻找与该模板的类似度最高的小区域。然后，计算找到的的小区域位置(非标准图像上的位置)与从标准图像提取的小区域的位置(标准图像上的位置)的偏差作为位置偏差量Δd。位置偏差量Δd是包含水平成分及垂直成分的二维量，用所谓动态矢量表现。非标准图像，可以看成是以标准图像为基准产生的相当于位置偏差量Δd的位置偏差图像。在这里，为了消除这个位置偏差量Δd，通过对非标准图像实施坐标变换(仿射(affine)变换等)，对非标准图像进行位置偏差校正。例如，求出用于进行这个坐标变换的几何变换参数，通过在标准图像定义的坐标上对非标准图像进行坐标变换来进行位置偏差校正。把位于位置偏差校正前的非标准图像内的坐标(x+Δdx，y+Δdy)的象素，通过位置偏差校正转换成位于坐标(x，y)的象素。Δdx及Δdy，分别是Δd的水平成分及垂直成分。然后，使互相对应的象素信号合并，从而把标准图像和校正了位置偏差后的非标准图像合成。位于合成所得图像内的坐标(x，y)的象素的象素信号，相当于把位于坐标(x，y)的标准图像内的象素的象素信号，和与位于坐标(x，y)的位置偏差校正后的非标准图像内的象素的象素信号相加所算出的信号。

对各非标准图像实行上述那样的对位及合成处理。由此取得把第一张短曝光图像和第二及第三张的位置偏差校正后的短曝光图像合成后的合成图像。这个合成图像是应在图7的步骤S35中生成的合成图像。另外，也可以从标准图像提取多个有特征的小区域，用模板匹配法从非标准图像寻找与该多个小区域对应的多个小区域，从标准图像内提取的多个小区域的位置与在非标准图像内找到的多个小区域的位置求出上述几何变换参数，并进行上述的位置偏差校正。

在步骤S35中生成合成图像之后，在步骤S36中，抖动校正处理部53，把步骤S4所得的通常曝光图像作为校正对象图像来处理，接收校正对象图像的图像数据。另一方面，把步骤S35生成的合成图像作为参照图像来处理。此后，实行步骤S9及S10的处理。即，根据作为校正对象图像和合成图像的参照图像，实行降低校正对象图像抖动的抖动校正处理，生成抖动校正图像。把生成的抖动校正图像的图像数据，在紧接着步骤S9的步骤S10中记录在记录介质16上。

如上所述，在实施方式2中，根据反映了实际拍摄环境条件(摄像装置1周围的照明度等)的通常曝光图像的拍摄参数，判定用于取得充分抖动校正效果所必需的短曝光图像的张数，并按照其判断结果用所得的1张或多张短曝光图像实行抖动校正处理。由此，可得到稳定的抖动校正效果。

实施方式3

下面，说明实施方式3。如果能够取得抖动小到可忽视程度的短曝光图像，并把该短曝光图像的边缘状态做为目标，通过校正通常曝光图像就可得到充分的抖动校正效果。然而，即使将短曝光图像的曝光时间设定为取得那样的短曝光图像一样，实际上由于拍摄者的拍摄技术等，短曝光图像有时也包含不能忽视的抖动。在这种情况下，即使进行基于短曝光图像的抖动校正处理也难以取得满意的抖动校正效果(有时甚至得到更差的图像)。

考虑到此，在实施方式3中的图3的校正控制部52，根据通常曝光图像及短曝光图像推断短曝光图像包含的抖动程度，仅在推断抖动程度比较小的情况下，判断可实行基于短曝光图像的抖动校正处理。

参照图8，说明实施方式3的摄像装置1的拍摄及校正的操作。图8是表示该操作的流程的流程图。在实施方式3中，首先也实行步骤S1～S4的处理。这个步骤S1～S4的处理，与实施方式1所叙述的内容相同。

即，如果快门按钮17a成为半按下的状态时，拍摄控制部51就取得通常曝光图像的拍摄参数(焦距f₁，曝光时间t₁及ISO灵敏度is₁)，此后，如果快门按钮17a成为全按下状态时，在步骤S4中，就实行采用那个拍摄参数的通常曝光拍摄从而取得通常曝光图像。在实施方式3中，在进行通常曝光图像拍摄后就移动到步骤S41。

在步骤S41中，短曝光拍摄控制部54，根据通常曝光图像的拍摄参数设定短曝光图像的拍摄参数。具体地，就是设定短曝光图像的拍摄参数，使包含通常曝光图像的拍摄参数的焦距f₁、曝光时间t₁及ISO灵敏度is₁成为“f₂＝f₁，t₂＝t₁×k_Q且is₂＝is₁×(t₁/t₂)”。在这里，系数k_Q是满足不等式“0<k_Q<1”的预先设定的数值的系数，例如，具有0.1～0.5左右的数值。

在紧接着的步骤S42中，短曝光拍摄控制部54，按照步骤S41设定的短曝光图像的拍摄参数，象短曝光拍摄那样进行拍摄控制。通过这个短曝光拍摄取得1张短曝光图像。这个短曝光图像，在紧接着通常曝光图像的拍摄之后拍摄。具体地，就是短曝光拍摄控制部54控制摄像部11及AFE12，使短曝光图像拍摄时的焦距、曝光时间及ISO灵敏度成为步骤S41设定的焦距f₂(＝f₁)、曝光时间t₂(＝t₁×k_Q)和ISO灵敏度is₂(＝is₁×(t₁/t₂))。

在紧接着的步骤S43中，校正控制部52，根据步骤S4及S42所得的通常曝光图像及短曝光图像的图像数据推断短曝光图像的抖动程度(短曝光图像所包含的抖动程度)。这个推断方法后述。

通过校正控制部52，在判断短曝光图像的抖动程度比较小的情况下，就从步骤S43移动到步骤S44，实行步骤S44、S9及S10的各项处理。即，在判断抖动程度比较小的情况下，校正控制部52，就判断可实行抖动校正处理，控制抖动校正处理部53实行抖动校正处理。在这种控制之下，抖动校正处理部53，分别将步骤S4所得的通常曝光图像和步骤S42所得的短曝光图像作为校正对象图像及参照图像处理之后，接收校正对象图像及参照图像的图像数据。此后，在步骤S9中，抖动校正处理部53，根据校正对象图像及参照图像实行降低校正对象图像抖动的抖动校正处理，并生成抖动校正图像。把生成的抖动校正图像的图像数据，在紧接着步骤S9的步骤S10中记录在记录介质16上。

另一方面，通过校正控制部52，在判断短曝光图像的抖动程度比较大的情况下，校正控制部52，就判断不可实行抖动校正处理，控制抖动校正处理部53不实行抖动校正处理。

这样，在实施方式3中，推断短曝光图像的抖动程度，仅在判断其抖动程度比较小的情况下才实行抖动校正处理。由此，可得到稳定的抖动校正效果，从而可以避免因勉强进行抖动校正处理而生成几乎没有抖动校正效果的图像(或更差图像)的事态发生。

另外，在实施方式1所示的方法中也可以设定短曝光图像的拍摄参数。即，在步骤S41中也可以通过实行由图5的步骤S21～S26形成的处理，来设定短曝光图像的拍摄参数。在这种情况下，在步骤S42的短曝光图像拍摄时，控制摄像部11及AFE12，使其成为“f₂＝f₁，t₂＝1/f₁且is₂＝is₁×(t₁/t₂)”，或“f₂＝f₁，t₂＝t_2TH且is₂＝is_2TH”。另外，在图5的步骤S21中对暂时设定的曝光时间t₂，在不等式“t_2TH×k_t>t₂”成立的情况下，也可以不进行步骤S42的短曝光图像的拍摄本身。

说明关于短曝光图像的抖动程度的推断方法。作为这个推断方法对可采用的第一～第三的推断方法进行个别举例说明。所谓第一～第三的推断方法的说明文中的通常曝光图像及短曝光图像，分别指在图8的步骤S4及S42中所得的通常曝光图像及短曝光图像。

第一推断方法

首先说明第一推断方法。在第一推断方法中，通过比较通常曝光图像和短曝光图像的边缘强度，推断短曝光图像的抖动程度。下面进行更具体的说明。

图9是表示在采用第一推断方法时，图3的校正控制部52实行处理的流程图。在采用第一推断方法时，通过校正控制部52，依次实行步骤S51～S51的各项处理。

首先，在步骤S51中，校正控制部52，通过采用哈里斯的拐角检测器等，从通常曝光图像提取有特征的小区域，并将该小区域内的图像作为第一评价图像处理。有特征的小区域的意思如实施方式2的说明文所叙述的那样。

接着从短曝光图像提取与通常曝光图像提取的小区域对应的小区域，并把从短曝光图像提取的小区域内的图像作为第二评价图像处理。第一及第二评价图像的尺寸(水平方向及垂直方向的象素)相等。在可忽视通常曝光图像与短曝光图像之间的位置偏差的情况下，进行小区域的提取，使通常曝光图像提取的小区域的中心坐标(通常曝光图像内的中心坐标)，与短曝光图像提取的小区域的中心坐标(短曝光图像内的中心坐标)相等。在其位置偏差不能忽视的情况下，也可以利用模板匹配法等进行对应小区域的寻找。即例如，把从通常曝光图像提取的小区域内的图像作为模板，用公知的模板匹配法，从短曝光图像内寻找与该模板类似度最高的小区域，并把找到的小区域内的图像作为第二评价图像。

另外，不通过提取有特征的小区域生成第一及第二评价图像，也可以单纯地将位于通常曝光图像中央的小区域作为第一评价图像且把位于短曝光图像中央的小区域作为第二评价图像进行提取。或者，也可以把通常曝光图像的整体图像作为第一评价图像且把短曝光图像的整体图像作为第二评价图像处理。

在第一及第二评价图像设定之后，在步骤S52中，计算出第一评价图像水平方向及垂直方向的边缘强度，与此同时计算出第二评价图像水平方向及垂直方向的边缘强度。下面不区别第一评价图像及第二评价图像，有时仅把两者总称或者其一方称为评价图像。

说明在步骤S52中边缘强度的计算方法。图10表示1张评价图像的象素排列。评价图像的水平方向及垂直方向的象素数分别为M及N。M及N是2以上的整数。把评价图像，以评价图像的原点O为标准作为M×N矩阵掌握，把形成评价图像的各象素用P[i，j]表示。i取1～M之间的各整数，表示关注的象素评价图像上的水平坐标值。j取1～N之间的各整数，表示关注的象素评价图像上的垂直坐标值。另外，象素P[i，j]上的亮度值用Y[i，j]表示。图11表示亮度值的矩阵表现。随着Y[i，j]的增加，对应象素P[i，j]的亮度也增加。

校正控制部52，按各个象素计算出第一评价图像的水平方向及垂直方向的边缘强度，与此同时按各个象素计算出第二评价图像的水平方向及垂直方向的边缘强度。表示计算出的边缘强度的数值称为边缘强度值。边缘强度值，为零或正值。即，边缘强度值表示对应的边缘强度的大小(绝对值)。对第一评价图像的象素P[i，j]计算出的水平方向和垂直方向的边缘强度值分别用E_H1[i，j]及E_V1[i，j]表示，对第二评价图像的图像P[i，j]计算出的水平方向及垂直方向的边缘强度值分别用E_H2[i，j]和E_V2[i，j]表示。

边缘强度值的计算采用一次微分滤波器、二次微分滤波器、索贝尔(Sobel)滤波器等边缘提取滤波器进行。例如，计算出水平方向及垂直方向的边缘强度值时，在分别采用图12及图13所示的二次微分滤波器的情况下，对第一评价图像的边缘强度值E_H1[i，j]和E_V1[i，j]，通过E_H1[i，j]＝|-Y[i-1，j]+2·Y[i，j]-Y[i+1，j]|及E_V1[i，j]＝|-Y[i，j-1]+2·Y[i，j]-Y[i，j+1]|算出。另外，对位于第一评价图像的上下左右端的象素(例如，象素P[1，2])计算边缘强度值时，也可以采用配置在第一评价图像外侧的、通常曝光图像内的象素(例如，象素P[1，2]左侧相邻的象素)的亮度值。对第二评价图像的边缘强度值E_H2[i，j]及E_V2[i，j]也采用相同的方法算出。

计算出各个象素的边缘强度值后，在步骤S53中，校正控制部52通过从各边缘强度值减去预先设定的偏移值来校正各边缘强度值。具体地，按照以下公式(B-1)～(B-4)，计算出校正的边缘强度值E_H1′[i，j]，E_V1′[i，j]，E_H2′[i，j]及E_V2′[i，j]。但通过从某边缘强度值减去偏移值OF₁或OF₂，而那个边缘强度值变为负值的情况下，其边缘强度值就设为零。例如，在“E_H1[1，1]-OF₁<0”的情况下，E_H1′[1，1]就为零。

E_H1′[i，j]＝E_H1[i，j]-OF₁  …(B-1)

E_V1′[i，j]＝E_V1[i，j]-OF₁  …(B-2)

E_H2′[i，j]＝E_H2[i，j]-OF₂   …(B-3)

E_V2′[i，j]＝E_V2[i，j]-OF₂   …(B-4)

在紧接着的步骤S54中，校正控制部52，按照下列公式(B-5)～(B-8)通过把校正的边缘强度值进行累计，计算出边缘强度值D_H1、D_V1、D_H2及D_V2。边缘强度累计值D_H1，分别是(M×N)个的校正的边缘强度值E_H1′[i，j]的累计值(即，在1≤i≤M且1≤j≤N的范围内所有边缘强度值E_H1′[i，j]的累计值)。关于边缘强度累计值D_V1、D_H2及D_V2也相同。

$D_{H1}=\underset{i,j}{\mathrm{\&Sigma;}}{E}_{H1}\&prime;[i,j]\&CenterDot;\&CenterDot;\&CenterDot;(B-5)$

$D_{V1}=\underset{i,j}{\mathrm{\&Sigma;}}{E}_{V1}\&prime;[i,j]\&CenterDot;\&CenterDot;\&CenterDot;(B-6)$

$D_{H2}=\underset{i,j}{\mathrm{\&Sigma;}}{E}_{H2}\&prime;[i,j]\&CenterDot;\&CenterDot;\&CenterDot;(B-7)$

$D_{V2}=\underset{i,j}{\mathrm{\&Sigma;}}{E}_{V2}\&prime;[i,j]\&CenterDot;\&CenterDot;\&CenterDot;(B-8)$

然后，在步骤S55中，校正控制部52，对第一评价图像计算出的边缘强度累计值与对第二评价图像计算出的边缘强度累计值进行比较，并根据其比较结果推断短曝光图像的抖动程度。如果抖动大则边缘强度累计值就变小。因此，在对第二评价图像算出的水平及垂直方向的边缘强度累计值内，在至少一方比对第一评价图像的值小的情况下，就判断短曝光图像的抖动程度比较大。

具体地，评价下列不等式(B-9)及(B-10)成立/不成立，在不等式(B-9)及(B-10)内至少一方成立的情况下，就判断短曝光图像的抖动程度比较大。在这种情况下，就判断不可实行抖动校正处理。另一方面，当不等式(B-9)及(B-10)双方都不成立的情况下，就判断短曝光图像的抖动程度比较小。在这种情况下，就判断可以实行抖动校正处理。

D_H1>D_H2   …(B-9)

D_V1>D_V2  …(B-10)

如从边缘强度累计值的计算方法所理解的那样，边缘强度累计值D_H1及D_V1，分别取对应第一评价图像的水平方向及垂直方向抖动大小的值，边缘强度累计值D_H2及D_V2，分别取第二评价图像的水平方向及垂直方向抖动大小的值。校正控制部52，在水平方向及垂直方向的两个方向中，只有当第二评价图像的抖动大小比第一评价图像小的情况下，才判断短曝光图像的抖动程度比较小，并可实行抖动校正处理。

采用对边缘强度值的偏移值的校正，作用于因通常曝光图像拍摄时的ISO灵敏度与短曝光图像拍摄时的ISO灵敏度的不同所引起的、对第一及第二评价图像之间边缘强度的不同进行抑制的方向。换句话说，该校正作用于对抖动程度推定的、对前者的不同(ISO灵敏度的不同)的影响进行抑制的方向。采用图14(a)及(b)对这个理由进行说明。

图14(a)及(b)中，实线211及的221分别表示无噪声影响的图像的亮度值分布及边缘强度值分布，虚线212及的222分别表示有噪声影响的图像的亮度值分布及边缘强度值分布。在图14(a)及(b)中，仅关注一维方向，图14(a)及(b)的各曲线图中的横轴表示象素位置。在没有噪声影响的情况下，在亮度平坦部的边缘强度值为零，但在有噪声影响的情况下，就会产生亮度的平坦部不是零的边缘强度值。图14(b)中的点划线(alternate long and short dash line)223，表示偏移值OF₁或OF₂。

由于通常曝光图像的ISO灵敏度比较低，所以对通常曝光图像的噪声影响比较小，另一方面，由于短曝光图像的ISO灵敏度比较高，所以对短曝光图像的噪声影响比较大。因此，通常曝光图像大致对应实线211及221，短曝光图像大致对应虚线212及222。假如不采用偏移值的相减校正来求边缘强度累计值，就变成短曝光图像相对应的边缘强度累计值只增加因噪声引起的边缘强度的部分，ISO灵敏度不同的影响就会呈现在边缘强度累计值上。考虑于此，进行采用上述的偏移值的减法校正。通过这个减法校正，具有噪声引起的比较小值的边缘强度成分被排除，从而可以抑制抖动程度推断方面ISO灵敏度的不同的影响。其结果提高了抖动程度推断的精度。

另外，可在摄像装置1的制造阶段或设计阶段预先设定偏移值OF₁及OF₂。例如，在光线完全或几乎不入射到摄像单元33的状态下，进行通常曝光拍摄及短曝光拍摄取得2张黑图像，根据这2张黑图像的边缘强度累计值可决定偏移值OF₁及OF₂。另外，偏移值OF₁和OF₂，也可以是相同的数值，也可以是互不相同的数值。

图15(a)表示通常曝光图像的例子。图15(a)的通常曝光图像在水平方向有比较大的抖动。图15(b)及(c)表示短曝光图像的第一例子及第二例子。图15(b)的短曝光图像，在水平方向及垂直方向几乎没有抖动。因此，如果对图15(a)的通常曝光图像及图15(b)的短曝光图像进行上述抖动程度推断，上述不等式(B-9)及(B-10)双方都不成立，因此判断短曝光图像的抖动程度比较小。另一方面，图15(c)的短曝光图像，在垂直方向有比较大的抖动。因此，如果对图15(a)的通常曝光图像及图15(c)的短曝光图像进行上述的抖动程度推断，上述不等式(B-10)成立，因此判断短曝光图像的抖动程度比较大。

第二推断方法

下面说明第二推断方法。在第二推断方法中，根据通常曝光图像和短曝光图像之间的位置偏差量推断短曝光图像的抖动程度。下面进行更具体地说明。

如公知的那样，当不同时刻拍摄2张图像时，有可能在两图像之间产生因手抖动等引起的位置偏差。在采用第二推断方法的情况下，校正控制部52，根据通常曝光图像和短曝光图像的图像数据计算出两图像之间的位置偏差量，并对该位置偏差量的大小与预先设定的位置偏差的阈值进行比较。然后，在前者比后者大的情况下，推断短曝光图像的抖动程度比较大。在这种情况下，不可实行抖动校正处理。另一方面，在前者比后者小的情况下，推断短曝光图像的抖动程度比较小。在这种情况下，可以实行抖动校正处理。

位置偏差量是包含水平成分及垂直成分的二维量，用所谓动态矢量来表现。与位置偏差的阈值相比较的位置偏差量的大小(换句话说就是动态矢量的大小)，当然是一维量。位置偏差量，可用代表点匹配法或块匹配法等计算出来。

关注作用于摄像装置1的手抖动量，补充说明第二推断方法的意义。图16(a)表示当通常曝光图像和短曝光图像之间的位置偏差量比较小的情况下手抖动量的情况。作用于通常曝光图像的曝光期间中的瞬间手抖动量的累计值为对通常曝光图像整体的手抖动量，作用于短曝光图像的曝光期间中的瞬间手抖动量的累计值为对短曝光图像整体的手抖动量。如果对短曝光图像整体的手抖动量增大，短曝光图像上的抖动程度也就增大。

由于直到两张图像的拍摄完成为止的时间很短(例如，0.1秒左右)，因此从两张图像开始拍摄时刻到拍摄完成时刻为止作用的手抖动量可大致假定为固定。这样做的话，通常曝光图像和短曝光图像之间的位置偏差量，就近似为作用于通常曝光图像的曝光期间的中间时刻和短曝光图像的曝光期间的中间时刻之间的瞬间手抖动量的累计值。因此，如图16(b)所示，在所求得的位置偏差量大的情况下，可以推测作用于短曝光图像的曝光期间中的瞬间手抖动量的累计值也大(即，对短曝光图像整体的手抖动量也大)，如图16(a)所示，在所求得的位置偏差量小的情况下，可以推测作用于短曝光图像的曝光期间中的瞬间手抖动量的累计值也小(即，对短曝光图像整体的手抖动量也小)。

第三推断方法

下面说明第三推断方法。在第三推断方法中，用通常曝光图像和短曝光图像的图像数据进行推断，根据通常曝光图像的图像恶化函数，推断短曝光图像的抖动程度。

说明第三推断方法的原理。通常曝光图像和短曝光图像的观测模式，可由下列公式(C-1)及(C-2)表现。

g₁＝h₁*f₁+n₁   …(C-1)

g₂＝h₂*f₁+n₂   …(C-2)

在这里，g₁及g₂分别表示通过实际拍摄所得的通常曝光图像及短曝光图像，h₁及h₂分别表示通过实际拍摄所得的通常曝光图像及短曝光图像的图像恶化函数，n₁及n₂分别表示通过实际拍摄所得的、包含在通常曝光图像和短曝光图像内的观测噪声成分。f_I表示既没有抖动引起的恶化也没有噪声影响的理想图像。假设通常曝光图像及短曝光图像没有抖动且没有噪声的影响，g₁及g₂与f_I等价。所谓图像恶化函数，具体如点扩展函数(Point Spread Function)。另外，在公式(C-1)等的*标记，表示卷积积分。例如，h₁*f_I表示h₁和f_I的卷积积分。

为了把图像以二维的矩阵表现，要把图像恶化函数也以二维矩阵表现。图像恶化函数的特性，原则上矩阵表现图像恶化函数时的各元素全部取0以上1以下的值且所有元素的合计值为1。

在假定没有基于短曝光图像抖动的恶化的情况下，就可以把下列公式(C-3)表达的评价数值J最小化的h₁′作为通常曝光图像的图像恶化函数进行推断。称h₁′为推断图像恶化函数。评价值J是(g₁-h₁′*g₂)的范数(norm)的平方。

J＝‖g₁-h₁′*g₂‖²   …(C-3)

这时，在短曝光图像内真的没有包含抖动的情况下，因观测噪声的影响在推断图像恶化函数h₁′里有负值的元素存在，但该负值的合计值的大小很小。在图17中，在曲线图241上表示通常曝光图像的象素值分布，在短曝光图像不包含抖动的情况下，在曲线图242上表示短曝光图像的象素值分布。然后，在曲线图243上表示从对应曲线图241及242的两张图像求得的推断图像恶化函数h₁′的元素值的分布。在曲线图241～243及后述的曲线图244及245中，横轴对应空间方向。另外，考虑曲线图241～245时，为了方便起见，考虑各图像是一维图像。从曲线图243也可知，推断图像恶化函数h₁′的负值的合计值的大小很小。

另一方面，在短曝光图像内包含抖动的情况下，推断图像恶化函数h₁′受到短曝光图像的图像恶化函数的影响，如以下公式(C-4)所示，接近通常曝光图像的真正图像恶化函数h₁与短曝光图像的图像恶化函数的逆函数h₂ ^-1的卷积积分。在短曝光图像包含抖动的情况下，由于在逆函数h₂ ^-1里有负值的元素存在，与短曝光图像不包含抖动的情况相比，在推断图像恶化函数h₁′里有比较大量的负值的元素存在，另外，该数值的绝对值变得比较大。这样，推断图像恶化函数h₁′的负值的合计值的大小，与短曝光图像不包含抖动的情况相比，短曝光图像包含抖动的情况也会变大。

h₁′←h₁*h₂ ^-1  …(C-4)

图17中的曲线图244，表示在短曝光图像内包含抖动的情况下短曝光图像的象素值分布，曲线图245表示对应曲线图241及244从通常曝光图像及短曝光图像求得的推断图像恶化函数h₁′的元素值的分布。

根据上述原理，实际按以下进行处理。首先，校正控制部52，根据通常曝光图像及短曝光图像的图像数据，导出使评价值J最小化的推断图像恶化函数h₁′。作为该导出方法可以用公知的任意方法。实际上采用第一推断方法的说明文中叙述的手法，从通常曝光图像及短曝光图像提取第一及第二评价图像(参照图9的步骤S51)，将提取的第一评价图像及第二评价图像分别作为g₁及g₂掌握之后，导出用于使上述公式(C-3)的评价数值J最小化的推断图像恶化函数h₁′。如上所述，推断图像恶化函数h₁′以二维矩阵表现。

校正控制部52，参照矩阵表现时的推断图像恶化函数h₁′的各元素的值(所有元素的值)，在参照值内，提取偏离规定的数值范围的数值。在这种情况下，这个数值范围的上限数值是比1大得多的值，下限值为0。即，在参照值内，只提取有负值的值。校正控制部52，对这里提取的负值全部合计求合计值，把该合计值的绝对值与预先设定的阈值R_TH进行比较。然后，在前者比后者(R_TH)大的情况下，就判断为短曝光图像的抖动程度比较大。在这种情况下，不可实行抖动校正处理。另一方面，在前者比后者(R_TH)小的情况下，就判断为短曝光图像的抖动程度比较小。在这种情况下，可以实行抖动校正处理。另外，考虑到噪声的影响，可以把阈值R_TH设定为例如0.1左右。

实施方式4

下面说明实施方式4。在实施方式4中对可应用于实施方式1～实施方式3的、基于校正对象图像和参照图像的抖动校正处理方法进行说明。即，可将这个方法，如图4、图7及图8所示用于步骤S9的抖动校正处理。校正对象图像和参照图像的图像尺寸相同。在实施方式4中，分别导入Lw、Rw及Qw，作为表示校正对象图像的整体图像、参照图像的整体图像及抖动校正图像的整体图像的标记。

作为抖动校正处理的方法，下面举例说明第一～第四校正方法。第一、第二、第三校正方法，分别是基于图像还原处理、图像合成处理、图像鲜明化处理的校正方法。第四校正方法也是利用图像合成处理的校正方法，但其内容与第二校正方法有差异(详细内容可从后述的说明理解)。在以下的记述中，在单说“存储器”的情况下，意思是内部存储器14(参照图1)。

第一校正方法

参照图18说明第一校正方法。图18是表示基于第一校正方法的抖动校正处理流程的流程图。

首先，在步骤S71中，从校正对象图像Lw中提取有特征的小区域，并把所提取的小区域内的图像作为小图像Ls存储在存储器上。例如，用哈里斯(Harris)的拐角检测器对128×128象素的小区域作为有特征的小区域进行提取。有特征的小区域的意思如实施方式2所述。

接着，在步骤S72中，从参照图像Rw提取从校正对象图像Lw提取的小区域相对应的小区域，并把从参照图像Rw提取的小区域内的图像作为小图像Rs存储在存储器上。小图像Ls和小图像Rs的图像尺寸相等。在可忽视校正对象图像Lw与参照图像Rw之间的位置偏差的情况下，进行小区域的提取，使从校正对象图像Lw提取的小图像Ls的中心坐标(校正对象图像Lw内的中心坐标)与从参照图像Rw提取的小图像Rs的中心坐标(参照图像Rw内的中心坐标)相等。在不能忽视该位置偏差的情况下，也可以利用模板匹配法等进行对应小区域的寻找。即，例如把小图像Ls作为模板，用公知的模板匹配法，从参照图像Rw内寻找与该模板的类似度最高的小区域，并把找到的小区域内的图像作为小图像Rs。

因参照图像Rw的曝光时间比较短而ISO灵敏度比较高，因此小图像Rs的SN比较低。所以，在步骤S73中，对小图像Rs用中值滤波等进行消除噪声处理。把消除噪声处理后的小图像Rs作为小图像Rs′存储在存储器上。另外，也可以省略这个消除噪声处理。

通过把上述所得的小图像Ls作为恶化图像且把小图像Rs′作为初期复原图像进行处理之后(步骤S74)，在步骤S75中实施傅立叶反复法，来求出表示基于小图像Ls抖动的恶化状态的图像恶化函数。

在实施傅立叶反复法时，需要赋予初期的复原图像(复原图像的初始值)，将该初期的复原图像称为初期复原图像。

作为图像恶化函数，求点扩展函数(Point Spread Function；以下称为PSF)。由于手抖动对图像整体带来相同的恶化，因此对小图像Ls求得的PSF，可以作为对校正对象图像Lw整体的PSF加以利用。

傅立叶反复法是从含恶化的恶化图像中，取得消除或降低了恶化的复原图像的手法(参照G.R.Ayers and J.C.Dainty，＂Iterative blinddeconvolution method and its applications＂，OPTICS LETTERS，1988年，Vol.13，No.7，p.547-549)。对这个傅立叶反复法，参照图19及图20进行详细说明。图19，是图18的步骤S75处理的详细流程图。图20是存在于图3的抖动校正处理部53内的实施傅立叶反复法部位的框图。

首先，在步骤S101中，把复原图像设为f′，对这个复原图像f′设定初期复原图像。即，作为初期的复原图像f′使用小图像Rs′。接着，在步骤S102中，把恶化图像(即，小图像Ls)设为g。然后，把做了傅立叶变换的恶化图像g作为G存储在存储器上(步骤S103)。例如，在初期复原图像及恶化图像的图像尺寸为128×128象素的情况下，f′及g可作为有128×128的矩阵尺寸的矩阵进行表现。

接着，在步骤S110中，求把复原图像f′进行了傅立叶变换的F′，而且在步骤S111中，由下列公式(D-1)计算出H。H相当于对PSF进行了傅立叶变换的值。在公式(D-1)中，F′^*是F′的共轭复数矩阵，α是常数。

$H=\frac{G\&CenterDot;{F\&prime;}^{*}}{{|F\&prime;|}^2+\mathrm{\&alpha;}}\&CenterDot;\&CenterDot;\&CenterDot;(D-1)$

接着，在步骤S112中，通过对H进行逆傅立叶变换，得到PSF。把这里所得的PSF作为h。接着，在步骤S113中，对PSF h以下列公式(D-2a)的限制条件进行修正后，再以公式(D-2b)的限制条件进行修正。

$h(x,y)=\left\{\begin{array}{cc}1& :h(x,y)>1\\ h(x,y)& :0\&le;h(x,y)\&le;1\\ 0& :h(x,y)<0\end{array}\right.\&CenterDot;\&CenterDot;\&CenterDot;(D-2a)$

∑h(x，y)＝1           …(D-2b)

由于PSF h作为2维的矩阵表现，所以这个矩阵的各元素以h(x，y)表示。PSF的各元素，本来应该取0以上且1以下的值。因此，在步骤S113中，判断PSF的各元素是否是0以上且1以下，如果是0以上且1以下的元素的值就保持不动，在有比1大的元素的情况下就把该元素的值修改为1，且，在有比0小的元素的情况下就把该元素的值修改为0。这是通过公式(D-2a)的限制条件进行的修正。然后，正规化PSF，使这个修正后的PSF的各元素的总和为1。该正规化是通过公式(D-2b)的限制条件进行的修正。

把通过公式(D-2a)及(D-2b)的限制条件修正的PSF作为h′。

接着，在步骤S114中，求把PSF h′进行了傅立叶变换的H′，而且在步骤S115中，由下列公式(D-3)计算出F。F相当于对复原图像f进行傅立叶变换的值。在公式(D-3)中，H′^*是H′的共轭复数矩阵，β是常数。

$F=\frac{G\&CenterDot;{H\&prime;}^{*}}{{|H\&prime;|}^2+\mathrm{\&beta;}}\&CenterDot;\&CenterDot;\&CenterDot;(D-3)$

接着在步骤S116中，通过对F进行逆傅立叶变换，取得复原图像。把在这里所得到的复原图像作为f。接着在步骤S117中，把复原图像f用下列公式(D-4)的限制条件进行修正，并把修正后的复原图像作为f′。

$f(x,y)=\left\{\begin{array}{cc}255& :f(x,y)>255\\ f(x,y)& :0\&le;f(x,y)\&le;255\\ 0& :f(x,y)<0\end{array}\right.\&CenterDot;\&CenterDot;\&CenterDot;(D-4)$

由于复原图像f作为2维的矩阵表现，所以这个矩阵的各元素用f(x，y)表示。现在，把恶化图像及复原图像的各图像的象素值，用从0到255的数字值表示。这样，表示复原图像f的矩阵的各元素(即，各象素值)，本来就应该取0以上且255以下的数值。因此，在步骤S117中，判断表示复原图像f的矩阵的各元素是否是0以上且255以下，如果是0以上且255以下的元素的数值就保持不变，另一方面在有比255大的元素的情况下就把该元素的值修正为255，且，在有比0小的元素的情况下就把该元素的数值修正为0。这样，通过公式(D-4)的限制条件进行修正。

接着在步骤S118中，通过判断是否满足收敛条件，进行反复处理的收敛判断。

例如，把最新的F′和1个以前所得的F′的差分的绝对数值作为收敛判断的指标使用。当这个指标是规定阈值以下的情况下，就判断为满足收敛条件，另一方面在不是这样的情况下，就判断为不满足收敛条件。

在满足收敛条件的情况下，把进行了逆傅立叶变换的最新的H′作为最终的PSF。即，进行了逆傅立叶变换的该最新的H′，就成为图18的步骤S75应该求得的PSF。在不能满足收敛条件的情况下，就回到步骤S110，重复步骤S110～S118的各项处理。在重复步骤S110～S118的各项处理中，依次更新最新的f′、F′、H，h，h′、H′、F及f(参照图20)。

作为收敛判断的指标，也可以采用其他的指标。例如，把最新的H′和1个以前所得的H′的差分的绝对值作为收敛判断的指标，也可以判断上述的收敛条件成立/不成立。又例如，把采用上述公式(D-2a)及(D-2b)的步骤S113的修正量，或采用公式(D-4)的步骤S117的修正量作为收敛判断的指标使用，也可以判断上述收敛条件的成立/不成立。这是因为只要趋向收敛地进行反复处理，那些修正量就会变小。

另外，在由步骤S110～S118形成的循环处理的重复次数达到规定次数的情况下，也可以判断为不可收敛，不用计算出最终的PSF而结束处理。在这种情况下，就不进行校正对象图像Lw的校正。

回到图18的各步骤的说明。在步骤S75中，计算出PSF之后，移动到步骤S76。在步骤S76中，把步骤S75中求得的PSF的逆矩阵的各元素作为图像还原滤波器的各滤波系数。这个图像还原滤波器，是为了从恶化图像中获得复原图像的滤波器。实际上，由于相当于上述公式(D-3)右边的一部分的由下列公式(D-5)所表示的矩阵的各元素，相当于图像还原滤波器的各滤波系数，所以可直接利用步骤S75中傅立叶反复法的计算过程中的结果。但在公式(D-5)中的H′^*及H′是在步骤S118的收敛条件刚刚成立之前所得的H′^*及H′(即，最终所得的H′^*及H′)。

$\frac{{H\&prime;}^{*}}{{|H\&prime;|}^2+\mathrm{\&beta;}}\&CenterDot;\&CenterDot;\&CenterDot;(D-5)$

在步骤S76中求得图像还原滤波器的各滤波系数之后，移动到步骤S77，用这个图像还原滤波器对校正对象图像Lw的整体进行滤波(空间滤波)。即，使拥有求得了各滤波系数的图像还原滤波器应用于对象图像Lw的各象素，并对校正对象图像Lw进行滤波。由此，生成降低了校正对象图像Lw中含有的抖动的滤波图像。图像还原滤波器的尺寸比校正对象图像Lw的图像尺寸小，但由于考虑到手抖动对图像整体同样会带来恶化，因此通过使这个图像还原滤波器应用于校正对象图像Lw的整体，从而降低矫对象图像Lw整体的抖动。

在滤波图像中，含有伴随滤波的冲击激励(ringing)。因此，在步骤S78中，通过对滤波图像实施为了把其清除的冲击激励清除处理而生成最终的抖动校正图像Qw。由于清除冲击激励的手法是公知的，所以省略了详细说明。作为其手法，也可以采用例如特开2006-129236号公报所记载的手法。

抖动校正图像Qw，为降低了校正对象图像Lw中所含有的抖动且降低了伴随滤波的冲击激励的图像。但，因为滤波图像也是降低了抖动的图像，所以也可把滤波图像作为抖动校正图像Qw进行掌握。

由于参照图像Rw中含有的抖动量少，所以其边缘成分，接近没有手抖动的理想图像的边缘成分。因此，如上所述，把从这个参照图像Rw所得的图像作为傅立叶反复法的初期复原图像。

通过重复进行傅立叶反复法的循环处理，复原图像(f)慢慢接近尽量去除了手抖动的图像，但因为初期复原图像本身已经接近没有手抖动的图像，与以往那样把杂乱图像或恶化图像作为初期复原图像相比收敛加快(最短是1个循环处理就进行收敛)。其结果，缩短了抖动校正处理必要的PSF和图像还原滤波器的各滤波系数计算用的处理时间。另外，如果与初期复原图像应收敛的图像相差太远，在局部(与真正应收敛的图像不同的图像)收敛的概率变高了，但通过如上述那样设定初期复原图像，在局部收敛的概率就会降低(即，在手抖动校正中失败的概率降低)。

另外，由于考虑到手抖动同样对图像整体带来恶化，所以从各图像提取小区域并从各个小区域的图像数据计算PSF及图像还原滤波器的滤波系数，使其应用于图像整体。由此，降低了必要的运算量，缩短了PSF及图像还原滤波器的各滤波系数计算用的处理时间及抖动校正用的处理时间。当然，还有望取得缩小必要的电路规模和与之相伴的降低成本的效果。

这时，如上所述使其自动提取大量包含边缘成分的有特征的小区域。由于PSF的计算出的原图像中的边缘成分增大，意味着对噪声成分的信号成分的比例增大，因此通过提取有特征的小区域使杂音的影响变小，从而就能更正确地检测出PSF。

另外，在图19的处理中，通过由对在空间区域上的恶化图像g及复原图像f′进行傅立叶变换来转换到频域上，从而求得表示频域上的恶化图像g的函数G及表示频域上的复原图像f′的函数F′(另外，所谓频域当然是二维的频域)。从求得的函数G及F′求出表示频域上的PSF的函数H，并把这个函数H通过逆傅立叶变换转换成空间区域上的函数，即PSF h。把这个PSF h，用规定的限制条件进行修正，求得修正后的PSF h′。修正该PSF的处理，以下称为“第一修正处理”。

把PSF h′通过傅立叶变换再次转换到频域上，求函数H′，从函数H′和函数G求表示频域上的表示复原图像的函数F。把这个函数F通过逆傅立叶变换取得空间区域上的复原图像f，并把这个复原图像f用规定的限制条件进行修正，求修正后的复原图像f′。修正该复原图像的处理，以下称为“第二修正处理”。

在上述例子中，叙述了此后直到图19的步骤S118中满足收敛条件为止，用修正后的复原图像f′反复进行上述处理。另外，还叙述了考虑到反复处理越趋向收敛修正量就会越小的特性，这个收敛条件的成立/不成立，也可以根据对应第一修正处理的步骤S113中的修正量，或对应第二修正处理的步骤S117中的修正量进行判断。在这个判断是根据修正量进行的情况下，就预先设定标准修正量，将步骤S113中的修正量或步骤S117的修正量与标准修正量进行比较，在前者比后者小的情况下就判断为收敛条件成立，但如果把标准修正量设定得充分大，就不反复实行步骤S110～S117的处理。总之，在这种情况下，只进行1次第一修正处理所得的PSF h′，就成为图18的步骤S75中应导出的最终的PSF。这样，即使采用了图19的处理，也未必反复实行第一及第二修正处理。

第一及第二修正处理反复实行次数的增大，有助于提高最终所求的PSF的精度，但因为本例的初期复原图像本身已经接近没有手抖动图像，所以只进行1次第一修正处理所得的PSF h′的精度实用上也高到没有问题的程度。考虑到此也可以省略步骤S118的判断处理本身。在这种情况下，通过只实行1次步骤S113的处理，所求的PSF h′就成为图18的步骤S75应导出的最终的PSF，从由只实行1次步骤S114的处理所求的函数H′，求出图18的步骤S76应导出的图像还原滤波器的各滤波系数。因此，在省略步骤S118处理的情况下，也要舍弃步骤S115～S117的处理。

第二校正方法

下面参照图21及图22，说明第二校正方法。图21是表示基于第二校正方法的抖动校正处理的流程的流程图。图22是表示这个抖动校正处理的流程的概念图。

通过摄像部11拍摄所得的图像，为包含亮度相关信息和颜色相关信息的彩色图像。因此，形成校正对象图像Lw的各象素的象素信号，由表示象素亮度的亮度信号与表示象素颜色的颜色信号形成。现在，以YUV形式表现各象素的象素信号。在这种情况下，颜色信号由2个色差信号U及V形成。然后，形成校正对象图像Lw的各象素的象素信号，由表示象素亮度的亮度信号Y与表示象素颜色的2个色差信号U及V形成。

这样，校正对象图像Lw，如图22所示，可以分解为：作为象素信号只含有亮度信号Y的图像Lw_Y、作为象素信号只含有色差信号U的图像Lw_U、作为象素信号只含有色差信号V的图像Lw_V。同样，参照图像Rw也可以分解为：作为象素信号只含有亮度信号Y的图像Rw_Y、作为象素信号只含有信号色差信号U的图像Rw_U、作为象素信号只含有色差信号V的图像Rw_V(图22中，仅图示图像Rw_Y)。

在图21的步骤S201中，首先，通过提取校正对象图像Lw的亮度信号及色差信号，生成图像Lw_Y、Lw_U及Lw_V。在紧接着的步骤S202中，通过提取参照图像Rw的亮度信号，生成图像Rw_Y。

因参照图像Rw的曝光时间比较短，ISO灵敏度比较高，因此图像Rw_Y的SN比较低。所以，在步骤S203中，采用中值滤波等对图像Rw_Y实施消除噪声处理。消除噪声处理后的图像Rw_Y作为图像Rw_Y′存储在存储器上。另外，也可以省略这个消除噪声处理。

此后，在步骤S204中，通过比较图像Lw_Y的象素信号和图像Rw_Y′的象素信号，计算出图像Lw_Y与图像Rw_Y′之间的位置偏差量ΔD。位置偏差量ΔD是包含水平成分及垂直成分的二维量，作为所谓动态矢量表现。位置偏差量ΔD的计算，可以采用公知的代表点匹配法和模板匹配法进行。例如，把从图像Lw_Y提取的小区域内的图像作为模板，用模板匹配法，从图像Rw_Y′内寻找与该模板的类似度最高的小区域。然后，作为位置偏差量ΔD算出所找出的小区域的位置(图像Rw_Y′上的位置)与从图像Lw_Y提取的小区域的位置(图像Lw_Y上的位置)的偏差量。另外，最好把应从图像Lw_Y提取的小区域，作为如上所述的有特征的小区域。

把图像Lw_Y作为标准考虑，位置偏差量ΔD是相对图像Lw_Y的图像Rw_Y′的位置偏差量。图像Rw_Y′，可以看作是以图像Lw_Y为标准仅产生相当于位置偏差量ΔD的位置偏差图像。所以，在步骤S205中，为了消除这个位置偏差量ΔD而对图像Rw_Y′实施坐标变换(仿射变换等)，来校正图像Rw_Y′的位置偏差。位于位置偏差校正前的图像Rw_Y′内的坐标(x+ΔDx，y+ΔDy)的象素，通过位置偏差校正转换为位于坐标(x，y)的象素。ΔDx及ΔDy分别是ΔD的水平成分及垂直成分。

在步骤S205中，进一步把图像Lw_U及Lw_V与校正位置偏差后的图像Rw_Y′合成，把通过这个合成所得的图像作为抖动校正图像Qw输出。位于抖动校正图像Qw内的坐标(x，y)的象素的象素信号，由位于坐标(x，y)的图像Lw_U内的象素的象素信号、位于坐标(x，y)的图像Lw_V内的象素的象素信号以及位于坐标(x，y)的位置偏差校正后的图像Rw_Y′内的象素的象素信号形成。

在彩色图像中，看上去的抖动主要由亮度的抖动引起，如果亮度的边缘成分接近没有抖动的理想图像，观察者就会感到抖动少。因此，在本校正方法中，通过把抖动量较少的参照图像Rw的亮度信号与校正对象图像Lw的颜色信号合成而得到模拟的手抖动校正效果。根据这种方法，边缘附近会产生颜色偏差，但能以很低的计算成本生成看上去抖动少的图像。

第三校正方法

下面参照图23及图24，对第三校正方法进行说明。图23是表示基于第三校正方法的抖动校正处理的流程的流程图。图24是表示抖动校正处理流程的概念图。

首先，在步骤S221中，通过从校正对象图像Lw提取有特征的小区域而生成小图像Ls，在步骤S222中，通过从参照图像Rw提取对应小图像Ls的小区域而生成小图像Rs。这个步骤S221及S222的处理，与图18的步骤S71及S72的处理相同。在接下来的步骤S223中，对小图像Rs用中值滤波等实施消除噪声处理。消除噪声处理的小图像Rs作为小图像Rs′存储在存储器上。另外，也可以省略这个消除噪声处理。

接着，在步骤S224中，通过用互不相同的8种平滑滤波器，对小图像Rs′进行滤波，生成平滑程度不同的8个平滑小图像Rs_G1，Rs_G2，…，Rs_G8。现在，作为8个平滑滤波器采用8个互不相同的高斯滤波器，由各个高斯滤波器表现的高斯分布的分散用σ²表示。

如一般所知，关注一维图像，在该一维图像上的象素位置用x表示的情况下，平均为0且分散为σ²的高斯分布由下列公式(E-1)表示(参照图25)。如果这个高斯分布应用于高斯滤波器，高斯滤波器的各滤波系数就用h_g(x)表示。总之，当高斯滤波器应用于位置0的象素时，位置x的滤波系数就用h_g(x)表示。换句话说，由高斯滤波器滤波后的位置0的象素值相对应的、滤波前的位置x的象素值的贡献率用h_g(x)表示。

$h_g\left(x\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}\exp (-\frac{x^2}{{2\mathrm{\&sigma;}}^2})\&CenterDot;\&CenterDot;\&CenterDot;(E-1)$

把这个想法扩展到二维，在以(x，y)表示二维图像的象素位置的情况下，二维高斯分布由下列公式(E-2)表示。另外，x及y，分别表示水平方向的位置及垂直方向的位置。如果这个二维高斯分布应用于高斯滤波器，高斯滤波器的各滤波系数就用h_g(x，y)表示，当高斯滤波器应用于位置(0，0)的象素时，在位置(x，y)的滤波系数就用h_g(x，y)表示。总之，由高斯滤波器滤波后的位置(0，0)的象素值相对应的、滤波前的位置(x，y)的象素值的贡献率用h_g(x，y)表示。

$h_g(x,y)=\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}\exp (-\frac{x^2+y^2}{{2\mathrm{\&sigma;}}^2})\&CenterDot;\&CenterDot;\&CenterDot;(E-2)$

在步骤S224中，作为8个高斯滤波器，采用σ＝1，3，5，7，9，11，13，15的高斯滤波器。在紧接着的步骤S225中，在小图像Ls与各个平滑小图像Rs_G1～Rs_G8之间进行图像匹配，在平滑小图像Rs_G1～Rs_G8内，确定匹配误差最小的平滑小图像(即，与小图像Ls的相关性最高的平滑小图像)。

关注平滑小图像Rs_G1，简单说明当小图像Ls与平滑小图像Rs_G1进行对比时的匹配误差(匹配剩余)的计算方法。小图像Ls与平滑小图像Rs_G1的图像尺寸相同，把其水平方向的象素数及垂直方向的象素数分别设为M_N及N_N(M_N及N_N，是2以上的整数)。在小图像Ls内的位置(x，y)的象素的象素值用V_Ls(x，y)表示，在平滑小图像Rs_G1内的位置(x，y)的象素的象素值用V_Rs(x，y)表示。(但，x及y，是满足0≤x≤M_N-1且0≤y≤N_N-1的整数)。这样，表示对比图像间的SAD(Sum of Abso1uteDifference)的R_SAD按照下列公式(E-3)算出，表示对比图像间的SSD(Sumof Square Difference)的R_SSD按照下列公式(E-4)算出。

$R_{\mathrm{SAD}}=\underset{y=0}{\overset{N_N-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{M_N-1}{\mathrm{\&Sigma;}}}|V_{\mathrm{Ls}}(x,y)-V_{\mathrm{Rs}}(x,y)|\&CenterDot;\&CenterDot;\&CenterDot;(E-3)$

$R_{\mathrm{SSD}}=\underset{y=0}{\overset{N_N-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{M_N-1}{\mathrm{\&Sigma;}}}{\{V_{\mathrm{Ls}}(x,y)-V_{\mathrm{Rs}}(x,y)\}}^2\&CenterDot;\&CenterDot;\&CenterDot;(E-4)$

把这个R_SAD或R_SSD，作为小图像Ls与平滑小图像Rs_G1之间的匹配误差。同样也求出小图像Ls与各个平滑小图像Rs_G2～Rs_G8之间的匹配误差，并确定匹配误差最小的平滑小图像。现在，确定了作为对应σ＝5的平滑小图像Rs_G3。在步骤S225中，把与平滑小图像Rs_G3对应的。设为σ′。即，σ′的值为5。

在接下来的步骤S226中，把用这个σ′表示的高斯模糊作为表示校正对象图像Lw的恶化状态的图像恶化函数进行处理，力求消除校正对象图像Lw的恶化。

具体地，在步骤S226中，通过根据σ′使校正对象图像Lw的整体应用非锐度屏蔽(Unsharp Mask)滤波器，去除校正对象图像Lw的抖动。把应用非锐度屏蔽滤波器前的图像设为输入图像I_INPUT，把应用非锐度屏蔽滤波器后的图像设为输出图像I_OUTPUT，来说明非锐度屏蔽滤波器的处理内容。首先，作为非锐度屏蔽滤波器采用σ′的高斯滤波器(即，σ＝5的高斯滤波器)，通过用这个σ′的高斯滤波器对输入图像I_INPUT进行滤波，生成模糊图像I_BLUR。接着，通过从输入图像I_INPUT的各象素值减去模糊图像I_BLUR的各象素值，生成输入图像I_INPUT与模糊图像I_BLUR之间的差分图像I_DELTA。最后，把通过对输入图像I_INPUT的各象素值加上差分图像I_DELTA的各象素值所得的图像，作为输出图像I_OUTPUT。输入图像I_INPUT和输出图像I_OUTPUT的关系式表示为公式(E-5)。在公式(E-5)中，(I_INPUT·Gauss)表示用σ′的高斯滤波器对输入图像I_INPUT进行滤波的结果。

I_OUTPUT＝I_INPUT+I_DELTA

      ＝I_INPUT+(I_INPUT-I_BLUR)

      ＝I_INPUT+(I_INPUT-(I_INPUT·Gauss))    …(E-5)

在步骤S226中，通过把校正对象图像Lw作为输入图像I_INPUT处理，得到作为输出图像I_OUTPUT的滤波图像。然后，在步骤S227中，除去这个滤波图像的冲击激励并生成抖动校正图像Qw(步骤S227的处理，与图18的步骤S78的处理相同)。

通过采用非锐度屏蔽滤波器，强调输入图像(I_INPUT)的边缘，从而可得到图像鲜明的效果。但，如果模糊图像(I_BLUR)生成时的模糊程度与输入图像中含有的实际模糊量差异太大，就不能得到恰当的模糊校正效果。例如，如果在模糊图像生成时的模糊程度比实际的模糊量大，输出图像(I_OUTPUT)，就会被极鲜明化，变成不自然的图像。另一方面，如果模糊图像生成时的模糊程度比实际的模糊量小，则鲜明效果就会太弱。在本校正方法中，作为非锐度屏蔽滤波器采用在σ上规定模糊程度的高斯滤波器，作为该高斯滤波器的。采用对应图像恶化函数的σ′。因此，可得到最合适的鲜明化效果，并取得良好地去除模糊的抖动校正图像。即，可以生成在外观上抖动少的低计算成本的图像。

图26表示：与作为输入图像I_INPUT的手抖动图像300一起，采用最合适的σ的高斯滤波器的情况下所得的图像(即，本来的抖动校正图像)302；采用很小的。的高斯滤波器时所得的图像301；采用很大的σ的高斯滤波器时所得的图像303。由此明白。太小则鲜明化效果弱，σ太大就会生成极其鲜明化的不自然的图像。

第四校正方法

下面对第四校正方法进行说明。图27(a)及(b)表示在第四校正方法的说明中采用的参照图像Rw和校正对象图像Lw的例子。图27(a)及(b)中的图像310及311，分别是参照图像Rw和校正对象图像Lw的例子。参照图像310及校正对象图像311，是以作为被关注的被照物的人物SUB站立在背景被照物的山的前面的状态而拍摄所得的图像。

由于参照图像是基于短曝光图像的图像，所以含有比较多的噪声。因此，与校正对象图像311相比，在参照图像310中，边缘混入了被鲜明地描绘的比较大的噪声(对应图27(a)的黑色斑点)。另一方面，与参照图像310相比，校正对象图像311中含有的噪声虽然少，但校正对象图像311上的人物SUB的抖动很大。在图27(a)及(b)中，设想在参照图像310及校正对象图像311的拍摄中人物SUB在移动，由此与参照图像310上的人物SUB的位置进行比较，校正对象图像311上的人物SUB位置偏右，与此同时校正对象图像311上的人物SUB产生被照物抖动。

另外，如图28所示，定义配置任意的二维图像320的空间区域(spatial domain)的二维坐标系XY。图像320，例如，是校正对象图像、参照图像、抖动校正图像或后述的第一～第三中间生成图像。X轴及Y轴是沿二维图像320的水平方向及垂直方向的轴。二维图像320分别在水平方向及垂直方向由多个象素按矩阵状排列而形成，作为二维图像320上的任何一个象素的象素321的位置用(x，y)表示。(x，y)上的x及y，分别是图像321的X轴及Y轴方向的坐标值。在二维坐标系XY中，如果某象素的位置向右侧偏移了1个象素则该象素在X轴方向的坐标值就增大1，如果某象素的位置向上偏移1个象素则该象素在Y轴方向的坐标值就增大1。因此，在象素321的位置为(x，y)的情况下，象素321的右侧、左侧、上侧及下侧下相邻的象素位置，分别表示为(x+1，y)、(x-1，y)、(x，y+1)及(x，y-1)。

图29是在采用第四校正方法的情况下，图3的抖动校正处理部53具有的图像合成部150的内部框图。参照图像Rw及校正对象图像Lw的图像数据，输入给图像合成部150。图像数据表示图像的颜色及亮度。

图像合成部150，具备：检测出参照图像和校正对象图像之间的位置偏差，并对两张图像之间进行对位的对位部151；降低参照图像所包含的噪声的噪声降低部152；取对位后的校正对象图像与噪声降低后的参照图像之间的差分，并算出各图像位置的差分值的差分值计算部153；以基于该差分值的合成比率，把对位后的校正对象图像与噪声降低后的参照图像进行合成的第一合成部154；从噪声降低后的参照图像提取边缘，并计算出边缘强度值的边缘强度值计算部155；通过以基于边缘强度值的合成比率，把基于参照图像与第一合成部154的合成图像进行合成，来生成抖动校正图像的第二合成部156。

对于图像合成部150内各部位的操作进行详细说明。另外，单独说参照图像时，是指未实施基于噪声降低部152的噪声降低处理的参照图像Rw。图27(a)举例说明了的参照图像310，就是未实施基于噪声降低部152的噪声降低的参照图像Rw。

对位部151，根据参照图像及校正对象图像的图像数据检测出参照图像与校正对象图像之间的位置偏差，进行参照图像及校正对象图像之间的对位，消除参照图像及校正对象图像之间的位置偏差。基于对位部151的位置偏差检测方法及对位方法，可以采用代表点匹配法、块匹配法或倾斜法等实现。典型的例如，可以利用实施方式2叙述的对位方法。这时，把参照图像作为标准图像且把校正对象图像作为非标准图像处理而进行对位。所以，对校正对象图像实施处理，该处理是对从参照图像看到的校正对象图像的位置偏差进行校正。这个校正位置偏差后的校正对象图像(换句话说就是对位后的校正对象图像)称为第一中间生成图像。

噪声降低部152，通过对参照图像实施噪声降低处理，降低参照图像所包含的噪声。噪声降低部152的噪声降低处理，能通过适当噪声降低的任意的空间滤波器来实现。在噪声降低部152的空间滤波器中，最好利用只保存成为边缘的空间滤波器，例如，采用使用了中值滤波的空间滤波器。

另外，噪声降低部152的噪声降低处理，也可以通过适当噪声降低的任意的频率滤波器来实现。在噪声降低部152中利用频率滤波器的情况下，可以在参照图像中含有的空间频率成分内，使规定的截止频率以下的空间频率成分通过且采用使该截止频率以上的空间频率成分降低的低通滤波器。另外，即使通过采用了中值滤波等的空间滤波器，在参照图像中含有的空间频率成分内的较低频率的空间频率成分仍然几乎原封不动地被残存下来，另一方面较高频率的空间频率成分被降低。所以，也可以认为使用中值滤波等的空间滤波器是基于低通滤波器的滤波的一种。

基于噪声降低部152的噪声降低处理后的参照图像，称为第二中间生成图像(第三图像)。图30表示通过对图27(a)的参照图像310实施噪声降低处理所得的第二中间生成图像312。把图27(a)与图30进行比较可知，在第二中间生成图像312中，参照图像310中所含的噪声被降低了，同时与参照图像310相比，边缘变得稍微不鲜明。

差分值计算部153，计算出第一中间生成图像和第二中间生成图像之间的各象素位置的差分值。象素位置(x，y)的差分值用DIF(x，y)表示。差分值DIF(x，y)是表示在第一中间生成图像的象素位置(x，y)上的象素与在第二中间生成图像的象素位置(x，y)上的象素之间的亮度及/或颜色差的值。

差分值计算部153，例如根据下列公式(F-1)计算出差分值DIF(x，y)。在这里，P1_Y(x，y)是在第一中间生成图像的象素位置(x，y)上的象素的亮度值，P2_Y(x，y)是在第二中间生成图像的象素位置(x，y)上的象素的亮度值。

DIF(x，y)＝|P1_Y(x，y)-P2_Y(x，y)|   …(F-1)

也可以不用公式(F-1)，而是利用RGB形式的信号值，根据下列公式(F-2)或公式(F-3)算出差分值DIF(x，y)。在这里，P1_R(x，y)、P1_G(x，y)及P1_B(x，y)，分别是在第一中间生成图像的象素位置(x，y)上的象素的R、G及B信号值，P2_R(x，y)、P2_G(x，y)及P2_B(x，y)，分别是在第二中间生成图像的象素位置(x，y)上的象素的R、G及B信号值。某象素的R、G及B信号，是表示该象素的红、绿及蓝的强度的颜色信号。

DIF(x，y)＝|P1_R(x，y)-P2_R(x，y)|+|P1_G(x，y)-P2_G(x，y)|        ...(F-2)

           +|P1_B(x，y)-P2_B(x，y)|

DIF(x，y)＝[{P1_R(x，y)-P2_R(x，y)}²+{P1_G(x，y)-P2_G(x，y)}²     ...(F-3)

           +{P1_B(x，y)-P2_B(x，y)}²]^1/2

基于上述公式(F-1)、公式(F-2)或公式(F-3)计算差分值DIF(x，y)的方法只不过是个举例说明，也可以通过其他方法求得差分值DIF(x，y)。例如，利用YUV形式的信号值，采用与RGB形式的信号值相同的方法也可以算出差分值DIF(x，y)。在这种情况下，只要考虑把公式(F-2)及(F-3)中的R、G及B分别置换为Y、U及V就可以了。YUV形式的信号，由Y表示的亮度信号和由U及V表示的色差信号构成。

图31表示具有在各图像位置上的把差分值DIF(x，y)作为象素信号值的差分图像的例子。图31的差分图像313是基于图27(a)及(b)的参照图像310及校正对象图像311的差分图像。在差分图像313中，差分值DIF(x，y)比较大的部分用白色表示，差分值DIF(x，y)比较小的部分用黑色表示。由于参照图像310和校正对象图像311在拍摄中的人物SUB的移动，在差分图像313上的人物SUB移动区域的差分值DIF(x，y)变得比较大。另外，由于因手抖动引起的校正对象图像311上的抖动，也使边缘附近(人物或山的轮廓部分)的差分值DIF(x，y)变大。

第一合成部154，进行第一中间生成图像和第二中间生成图像的合成，对所得的合成图像作为第三中间生成图像(第四图像)进行输出。该合成，通过将第一及第二中间生成图像的对应象素的象素信号合计相加而实现。通过合计相加使对应象素的象素信号混合，但其混合率(换句话说是合成比率)可根据差分值DIF(x，y)决定。在第一合成部154决定的对象素位置(x，y)的混合率用α(x，y)表示。

差分值DIF(x，y)与混合率α(x，y)的关系例如图32所示。在采用图32的关系例的情况下，当“DIF(x，y)<Th1_L”成立时为“α(x，y)＝1”，当“Th1_L≤DIF(x，y)<Th1_H”成立时为“α(x，y)＝1-(DIF(x，y)-Th1_L)/(Th1_H-Th1_L)”，当“Th1_H≤DIF(x，y)”成立时为“α(x，y)＝0”。

在这里，Th1_L及Th1_H是满足“0<Th1_L<Th1_H”的规定的阈值。在采用图32的关系例的情况下，随着差分值DIF(x，y)从阈值Th1_L向阈值Th1_H增大，所对应的混合率α(x，y)就从1向0线性减少，但混合率α(x，y)也可以是非线性减少。

第一合成部154，从各图像位置上的差分值DIF(x，y)决定各图像位置上的混合率α(x，y)之后，通过按照下列公式(F-4)混合第一及第二中间生成图像的对应象素的象素信号，生成第三中间生成图像的象素信号。

P3(x，y)＝α(x，y)×P1(x，y)+{1-α(x，y)}×P2(x，y)    …(F-4)

P1(x，y)、P2(x，y)及P3(x，y)是分别表示在第一、第二及第三中间生成图像的象素位置(x，y)上的象素的亮度及颜色的象素信号，例如以RGB形式或YUV形式表现。例如，在象素信号P1(x，y)等由R、G及B信号形成的情况下，就可以通过把每个R、G及B信号分别与象素信号P1(x，y)及P2(x，y)混合取得象素信号P3(x，y)。在象素信号P1(x，y)等由Y、U及V信号组成的情况下也相同。

图33是表示在第一合成部154取得的第三中间生成图像的例子。图32所示的第三中间生成图像314是基于图27(a)及(b)的参照图像310以及校正对象图像311的第三中间生成图像。

如上所述，由于在人物SUB运动的区域中差分值D(x，y)变得比较大，所以对第三中间生成图像314的第二中间生成图像312(参照图30)的贡献度(1-α(x，y))也就比较大。结果，在第三中间生成图像314中的被照物的抖动，与在校正对象图像311(参照图27(b))的情况相比受到大幅度的抑制。另外，由于在边缘附近差分值D(x，y)也变大，所以上述贡献度(1-α(x，y))也随之变大。结果，在第三中间生成图像314中的边缘鲜明度，与在校正对象图像311的相比有所改善。但，在第二中间生成图像312中的边缘，与参照图像310的相比有一些不鲜明，所以在第三中间生成图像314中的边缘与参照图像310的相比也有一些不鲜明。

另一方面，把差分值D(x，y)比较小的区域推测为边缘成分少的平坦区域。因此，对差分值D(x，y)比较小的区域，如上述，要使噪声含量少的第一中间生成图像的贡献度α(x，y)变得比较大。由此，可抑制降低第三中间生成图像的噪声。另外，由于第二中间生成图像是经噪声降低处理而生成的，所以对第三中间生成图像的第二中间生成图像的贡献度(1-α(x，y))即使处于比较大的区域中，其噪声也几乎不明显。

如上所述，在第三中间生成图像中的边缘与参照图像的边缘相比有一些不鲜明，但这个不鲜明度，通过边缘强度值计算部155及第二合成部156而得到改善。

边缘强度值计算部155，对第二中间生成图像进行边缘提取处理，计算出在各图像位置上的边缘强度值。在象素位置(x，y)上的边缘强度值用E(x，y)表示。边缘强度值E(x，y)是表示以第二中间生成图像的象素位置(x，y)为中心的小块内的象素信号变化量的指标，其变化量越大边缘强度值E(x，y)越大。

例如，按照下列公式(F-5)，求边缘强度值E(x，y)。如上所述，P2_Y(x，y)表示第二中间生成图像的象素位置(x，y)的象素的亮度值。Fx(i，j)及Fy(i，j)分别表示用于提取水平方向及垂直方向的边缘的边缘提取滤波器的滤波系数。作为边缘提取滤波器，可以采用适用于边缘提取的任意的空间滤波器，例如，普鲁伊特滤波器(Prewitt filter)、索贝尔滤波器(Sobel filter)、微分滤波器、拉普拉斯滤波器(Laplacian filter)。

$E(x,y)=|\underset{i=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{j=-1}{\overset{1}{\mathrm{\&Sigma;}}}\mathrm{Fx}(i,j)\&CenterDot;{P2}_Y(x+i,y+j)|+|\underset{i=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{j=-1}{\overset{1}{\mathrm{\&Sigma;}}}\mathrm{Fy}(i,j)\&CenterDot;{P2}_Y(x+i,y+j)|$

                                            …(F-5)

例如，在采用普鲁伊特滤波器的情况下，既可以向公式(F-5)的Fx(i，j)代入“Fx(-1，-1)＝Fx(-1，0)＝Fx(-1，1)＝-1”、“Fx(0，-1)＝Fx(0，0)＝Fx(0，1)＝0”及“Fx(1，-1)＝Fx(1，0)＝Fx(1，1)＝1”，也可以向公式(F-5)的Fy(i，j)代入“Fy(-1，-1)＝Fy(0，-1)＝Fy(1，-1)＝-1”、“Fy(-1，0)＝Fy(0，0)＝Fy(1，0)＝0”及“Fy(-1，1)＝Fy(0，1)＝Fy(1，1)＝1”。当然，这样的滤波系数只是一个例子，边缘强度值E(x，y)的计算用的边缘提取滤波器可以进行各种变形。另外，在公式(F-5)中采用有3×3的滤波器尺寸的边缘提取滤波器，但边缘提取滤波器的滤波器尺寸也可以是3×3以外的尺寸。

图34表示具有将各象素位置中的边缘强度值E(x，y)作为象素信号值的边缘图像的例子。图34的边缘图像315是基于图27(a)及(b)的参照图像310及校正对象图像311的边缘图像。在边缘图像315中，边缘强度值E(x，y)比较大的部分用白色表示，边缘强度值E(x，y)比较小的部分用黑色表示。边缘强度值E(x，y)，是通过提取由抑制边缘鲜明的参照图像310的噪声所得的第二中间生成图像312的边缘而得的。由此把噪声和边缘分离，通过边缘强度值E(x，y)，把噪声和被照物的边缘明确区分后确定边缘的位置。

第二合成部156，进行第三中间生成图像和参照图像的合成，并把所得的合成图像作为抖动校正图像(Qw)输出。这个合成是通过把第三中间生成图像和参照图像的对应象素的象素信号合计相加而实现的。通过合计相加把对应象素的象素信号混合，但其混合率(换句话说就是合成比率)可根据边缘强度值E(x，y)决定。用β(x，y)表示第二合成部156决定的对象素位置(x，y)的混合率。

图35表示边缘强度值E(x，y)与混合率β(x，y)的关系例子。在采用图35的关系例子的情况下，当“E(x，y)<Th2_L”成立时，为“β(x，y)＝0”，当“Th2_L≤E(x，y)<Th2_H”成立时为“β(x，y)＝(E(x，y)-Th2_L)/(Th2_H-Th2_L)”，当“Th2_H≤E(x，y)”成立时为“β(x，y)＝1”。

在这里，Th2_L及Th2_H是满足“0<Th2_L<Th2_H”的规定的阈值。在采用图35的关系例子的情况下，随着边缘强度值E(x，y)从阈值Th2_L向阈值Th2_H增大，对应的混合率β(x，y)就从0向1线性增加，但也可以使其混合率β(x，y)非线性地增加。

第二合成部156，由各象素位置的边缘强度值E(x，y)决定在各象素位置的混合率β(x，y)之后，通过按照下列公式(F-6)混合第三中间生成图像和参照图像的对应象素的象素信号，生成抖动校正图像的象素信号。

P_OUT(x，y)＝β(x，y)×P_{IN_SH}(x，y)+{1-β(x，y)}×P3(x，y)   …(F-6)

P_OUT(x，y)，P_{IN_SH}(x，y)及P3(x，y)分别表示抖动校正图像、参照图像及在第三中间生成图像的象素位置(x，y)的象素的亮度及颜色的象素信号，例如以RGB形式或YUV形式表现。例如，在象素信号P3(x，y)等由R、G及B信号形成的情况下，每个R、G及B信号可以分别通过对象素信号P_{IN_SH}(x，y)及P3(x，y)进行混合而取得象素信号P_OUT(x，y)。在象素信号P3(x，y)等由Y、U及V信号形成的情况下也相同。

图36表示以在第二合成部156中所得的抖动校正图像Qw为例的抖动校正图像316。抖动校正图像316是基于图27(a)及(b)的参照图像310及校正对象图像311的抖动校正图像。在边缘部分中，由于对抖动校正图像316的参照图像310的贡献度β(x，y)变大，所以在抖动校正图像316中，在第三中间生成图像314(参照图33)上的边缘的少许不鲜明度得到了改善，边缘得到了鲜明的描绘。另一方面，在边缘以外的部分，由于对抖动校正图像316的第三中间生成图像314的贡献度(1-β(x，y))变大，所以对于抖动校正图像316，反映参照图像310中所含的噪声受到了抑制。由于噪声在边缘以外的部分(平坦部分)在视觉上特别突出，所以基于上述混合率β(x，y)的合成比率的调整很有效。

这样，依据第四校正方法，通过把校正对象图像(更详细地说是对位后的校正对象图像(即第一中间生成图像))与噪声降低后的参照图像(即第二中间生成图像)，用所获得的差分值合成，可生成抑制了校正对象图像抖动和参照图像的噪声的第三中间生成图像。此后，用从噪声降低后的参照图像(即第二中间生成图像)取得的边缘强度值，通过合成第三中间生成图像和参照图像，可在抖动校正图像上使参照图像的鲜明边缘得到反映，另一方面还抑制了参照图像的噪声在抖动校正图像上的反映。结果抖动校正图像就成为抖动及噪声很少的图像。

为了明确地分离检测出边缘和噪声，并很好地避免参照图像的噪声混入抖动校正图像，如上述最好把边缘强度值从噪声降低后的参照图像(即第二中间生成图像)导出，但也可以从噪声降低前的参照图像(即图27(a)的参照图像310等)导出边缘强度值。在这种情况下，可以把噪声降低前的参照图像上的象素位置(x，y)的象素的亮度值代入公式(F-5)的P2_Y(x，y)，并按照公式(F-5)计算出边缘强度值E(x，y)。

变形等

上述说明文中所示的具体数值只是单纯的举例说明，当然可以对那些数值进行各种各样的变更。作为上述实施方式的变形例或注释事项，下面记述注释1及注释2。各注释中所记述的内容，只要不矛盾，可以进行任意组合。

[注释1]

图1的摄像装置1，可以通过硬件、或者硬件与软件的组合而实现。特别是图3及图29所示的各部位的功能的全部或一部分，可通过硬件、软件、或硬件与软件的组合而实现。在采用软件构成摄像装置1的情况下，有关在软件上实现的部位的框图，就成为表现该部位的功能框图。

另外，将图3及图29所示的在各部位实行的运算处理的全部或一部分，作为程序记述，也可通过在程序运行装置(例如电脑)上运行该程序来实现该运算处理的全部或一部分。

[注释2]

例如，可按如下所述考虑。在实施方式1或实施方式2中，包含图3的拍摄控制部51及校正控制部52的部位，作为控制抖动校正处理的可否运行或短曝光图像的拍摄张数的控制部而起作用。在实施方式3中，控制抖动校正处理的可否运行的控制部，包含校正控制部52，而且还可包含拍摄控制部51。在实施方式3中的校正控制部52，具有推断短曝光图像的抖动程度的抖动推断部。另外，在把实施方式4所示的第一校正方法作为抖动校正处理的方法加以利用的情况下，图3的抖动校正处理部53，就具有求出校正对象图像的图像恶化函数(具体地就是PSF)的图像恶化函数导出部。

Claims (25)

1.一种摄像装置，其特征在于，具备：

摄像部，通过拍摄取得图像；

抖动校正处理部，对通过拍摄取得了的第一图像的抖动，根据上述第一图像和以比上述第一图像拍摄时的曝光时间更短的曝光时间拍摄了的第二图像，进行校正；

控制部，控制是否实行基于上述抖动校正处理部的校正。

2.根据权利要求1所述的摄像装置，其特征在于，

上述控制部具备推断上述第二图像的抖动程度的抖动推断部，并根据其推断结果，控制可否由上述抖动校正处理部实行校正。

3.根据权利要求2所述的摄像装置，其特征在于，

上述抖动推断部，根据上述第一图像的边缘强度与上述第二图像的边缘强度相比较的结果，推断上述第二图像的抖动程度。

4.根据权利要求3所述的摄像装置，其特征在于，

在上述第一图像拍摄时与在上述第二图像拍摄时，用于调节拍摄的图像的亮度的灵敏度不同，

上述抖动推断部，通过抑制因上述第一图像拍摄时的灵敏度与上述第二图像拍摄时的灵敏度的不同而引起的上述第一及第二图像的边缘强度间的差异的处理，来实行上述比较。

5.根据权利要求2所述的摄像装置，其特征在于，

上述抖动推断部，根据上述第一图像和上述第二图像之间的位置偏差量来推断上述第二图像的抖动程度。

6.根据权利要求2所述的摄像装置，其特征在于，

上述抖动推断部，根据用上述第一图像及上述第二图像求得的上述第一图像的推断图像恶化函数，来推断上述第二图像的抖动程度。

7.根据权利要求6所述的摄像装置，其特征在于，

上述抖动推断部，参照矩阵表现了上述推断图像恶化函数时的上述推断图像恶化函数的各元素值，在参照了的数值内，提取偏离了规定的数值范围的数值，并根据提取出的数值的合计值，推断上述第二图像的抖动程度。

8.一种摄像装置，其特征在于，具备：

摄像部，通过拍摄取得图像；

抖动校正处理部，对通过拍摄所得的第一图像的抖动，根据上述第一图像和以比上述第一图像拍摄时的曝光时间更短的曝光时间拍摄了的1张以上的第二图像，实行校正；

控制部，根据上述第一图像的拍摄参数，控制可否实行基于上述抖动校正处理部的校正或控制用于该校正的上述第二图像的张数。

9.根据权利要求8所述的摄像装置，其特征在于，

上述控制部，具备：

第二图像拍摄控制部，根据上述第一图像的拍摄参数，判定可否拍摄上述第二图像并控制上述摄像部；

校正控制部，根据可否拍摄上述第二图像的判断结果，控制可否实行基于上述抖动校正处理部的校正。

10.根据权利要求8所述的摄像装置，其特征在于，

上述控制部，具备第二图像拍摄控制部，根据上述第一图像的拍摄参数决定在上述抖动校正处理部中的校正所用的上述第二图像的张数，并控制上述摄像部，按所决定出的张数拍摄上述第二图像，

上述第二图像拍摄控制部，决定上述第二图像的张数是1张或多张，

上述抖动校正处理部，当上述第二图像的张数为多张时，通过对上述多张的第二图像进行相加合成生成1张合成图像，并根据上述第一图像和上述合成图像校正上述第一图像的抖动。

11.根据权利要求8所述的摄像装置，其特征在于，

上述第一图像的拍摄参数，包括在上述第一图像拍摄时的焦距、曝光时间及为了调节图像亮度的灵敏度。

12.根据权利要求9所述的摄像装置，其特征在于，

上述第二图像拍摄控制部，根据上述第一图像的拍摄参数，设定上述第二图像的拍摄参数。

13.根据权利要求1所述的摄像装置，其特征在于，

上述抖动校正处理部，对基于上述第一图像的图像和基于上述第二图像的图像分别作为恶化图像和初期的复原图像进行处理，用傅立叶反复法校正第一图像的抖动。

14.根据权利要求1所述的摄像装置，其特征在于，

上述抖动校正处理部，具有图像恶化函数导出部，求出表示上述第一图像整体抖动的图像恶化函数，并根据上述图像恶化函数校正上述第一图像的抖动，

上述图像恶化函数导出部，从将基于上述第一图像的图像转换到频域上所得的第一函数和将基于上述第二图像的图像转换到频域上所得的第二函数，临时求出在频域上的上述图像恶化函数，并通过采用规定的限制条件对所求得的在频域上的上述图像恶化函数转换到空间区域上而得到的函数进行修正处理，最终求出上述图像恶化函数。

15.根据权利要求1所述的摄像装置，其特征在于，

上述抖动校正处理部，通过对上述第一图像、上述第二图像、以及由降低上述第二图像的噪声而得出的第三图像进行合成，生成校正了上述第一图像抖动的抖动校正图像。

16.根据权利要求15所述的摄像装置，其特征在于，

上述抖动校正处理部，在生成了作为上述第一图像以及上述第三图像的合成图像的第四图像之后，通过合成上述第二图像和上述第四图像来生成上述抖动校正图像。

17.根据权利要求16所述的摄像装置，其特征在于，

根据上述第一图像与上述第三图像的差，设定合成上述第一图像和上述第三图像时的合成比率，

根据上述第三图像中含有的边缘，设定合成上述第二图像和上述第四图像时的合成比率。

18.根据权利要求8所述的摄像装置，其特征在于，

上述抖动校正处理部，对基于上述第一图像的图像和基于上述第二图像的图像分别作为恶化图像和初期的复原图像进行处理，用傅立叶反复法校正第一图像的抖动。

19.根据权利要求8所述的摄像装置，其特征在于，

上述抖动校正处理部，具有图像恶化函数导出部，求出表示上述第一图像整体抖动的图像恶化函数，并根据上述图像恶化函数校正上述第一图像的抖动，

上述图像恶化函数导出部，从将基于上述第一图像的图像转换到频域上所得的第一函数和将基于上述第二图像的图像转换到频域上所得的第二函数，临时求出在频域上的上述图像恶化函数，并通过采用规定的限制条件对所求得的在频域上的上述图像恶化函数转换到空间区域上而得到的函数进行修正处理，最终求出上述图像恶化函数。

20.根据权利要求8所述的摄像装置，其特征在于，

上述抖动校正处理部，通过对上述第一图像、上述第二图像、以及由降低上述第二图像的噪声而得出的第三图像进行合成，生成校正了上述第一图像抖动的抖动校正图像。

21.根据权利要求20所述的摄像装置，其特征在于，

上述抖动校正处理部，在生成了作为上述第一图像以及上述第三图像的合成图像的第四图像之后，通过合成上述第二图像和上述第四图像来生成上述抖动校正图像。

22.根据权利要求21所述的摄像装置，其特征在于，

根据上述第一图像与上述第三图像的差，设定合成上述第一图像和上述第三图像时的合成比率，

根据上述第三图像中含有的边缘，设定合成上述第二图像和上述第四图像时的合成比率。

23.一种抖动校正方法，其特征在于，具备：

抖动校正处理步骤，对由拍摄所得的第一图像的抖动，根据上述第一图像和以比上述第一图像拍摄时的曝光时间更短的曝光时间拍摄了的1张以上的第二图像，进行校正；

控制步骤，控制可否实行基于上述抖动校正处理步骤的校正。

24.根据权利要求23所述的抖动校正方法，其特征在于，

上述控制步骤，包含推断上述第二图像抖动程度的抖动推断步骤，并根据其推断结果控制可否实行基于上述抖动校正处理步骤的校正。

25.一种抖动校正方法，其特征在于，具备：

抖动校正处理步骤，对由拍摄所得的第一图像的抖动，根据上述第一图像和以比上述第一图像拍摄时的曝光时间更短的曝光时间拍摄了的1张以上的第二图像，进行校正；

控制步骤，根据上述第一图像的拍摄参数，控制可否实行基于上述抖动校正处理步骤的校正或控制用于该校正的上述第二图像的张数。

Images