CN104065876A - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置以及图像处理方法。在摄像部（11)进行间隔摄影的情况下，CPU(21)从加速度传感器(17)的检测结果取得摄影定时的抖动状态，对拍摄的图像进行与该抖动状态相应的预处理(手抖处理：裁剪抖动的裁剪处理)。另外，CPU(21)在上述抖动大于给定的情况下，对拍摄的图像进行基于上述抖动状态的(更具体地比上述摄影定时时的预处理轻的)后期处理(手抖处理：裁剪抖动的裁剪处理)，并进一步对在其前后的摄影定时拍摄的图像进行上述后期处理。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置以及图像处理方法。

背景技术

在数码相机、摄像机、带运动图像摄影功能的便携相机等摄影装置中，具有电子式的手抖补正功能，将运动图像摄影时从图像传感器取得的图像的一部分裁出，并对应于检测到的手抖的方向和量来调整该裁出的图像的位置，由此来补正手抖。

该电子式的手抖补正功能需要在图像传感器的有效像素区域的周围设置能进行补正的与手抖量相应的尺寸的空白区域(裕度)，但由于希望记录图像的区域较大，因此能进行补正的区域受到限制。

为此，不能对装置主体自身较大摇晃而产生的较大抖动进行补正。

另外，若在摄影者进行摄影时使装置不稳定地进行较大移动，则不能用摄影时的手抖补正功能补正完，在记录图像的再现时会取得感到不舒服的影像。

另外，如特开2007-300581号公报记载那样，在这种现有技术中，在产生以预先设定的裁出尺寸不能补正图像的抖动这样大的抖动的情况下，通过动态地缩小裁出尺寸也能补正大的抖动。

但是，在上述现有技术中，在拍摄的运动图像中出现大的变化(抖动)而使裁出尺寸较小的情况下，虽然为了使该状态下裁出的图像的尺寸配合其它帧的图像的尺寸而进行放大处理，但由于对应于裁出尺寸的变化而放大率的变化变得急剧，因此有可能会损害运动图像的连续性。

发明内容

本发明目的在于在拍摄的运动图像中产生大的抖动的情况下也能补正抖动，且得到有连续性的运动图像。

本申请发明的图像处理装置特征在于，具备：取得单元，其取得被拍摄的运动图像在拍摄时的抖动；第1设定单元，其对所述被拍摄的运动图像中的由所述取得单元取得抖动的给定期间的运动图像设定基于该抖动的第1补正范围；和第2设定单元，其对所述被拍摄的运动图像中的由所述取得单元取得抖动的给定期间之前或之后的至少一方的给定期间的运动图像设定基于由所述取得单元取得抖动的给定期间中的抖动的第2补正范围。

另外，本申请发明的图像处理装置特征在于，具备：存储单元，其将每隔一定间隔被连续摄影的多个连拍图像存储为组；取得单元，其取得连续摄影时的抖动；第1设定单元，其对存储于所述存储单元的连拍图像的组中的由所述取得单元取得抖动的连续摄影期间的连拍图像的组设定基于该抖动的第1补正范围；和第2设定单元，其对存储于所述存储单元的连拍图像的组中的由所述取得单元取得抖动的连续摄影期间之前或之后至少一方期间的连拍图像的组设定基于所述抖动的第2补正范围。

另外，本申请发明的图像处理方法特征在于，包括：取得步骤，取得被拍摄的运动图像在拍摄时的抖动；第1设定步骤，对所述被拍摄的运动图像中的在所述取得步骤取得抖动的给定期间的运动图像设定基于该抖动的第1补正范围；和第2设定步骤，其对所述被拍摄的运动图像中的在所述取得步骤取得抖动的给定期间之前或之后至少一方的给定期间的运动图像设定基于在所述取得步骤取得抖动的给定期间中的抖动的第2补正范围。

另外，本申请发明的图像处理方法的特征在于，包括：存储步骤，其将每隔一定间隔被连续摄影的多个连拍图像存储为组；取得步骤，取得连续摄影时的抖动；第1设定步骤，对存储于存储部的多个连拍图像的组中的由所述取得步骤取得抖动的连续摄影期间的连拍图像的组设定基于该抖动的第1补正范围；和第2设定步骤，对所述多个连拍图像的组中的由所述取得步骤取得抖动的连续摄影期间之前或之后至少一方的期间的连拍图像的组设定基于所述抖动的第2补正范围。

附图说明

图1是表示本发明第1实施方式的摄像装置1的构成的框图。

图2是用于说明第1实施方式中的摄像装置1的动作的流程图。

图3是用于说明第1实施方式中的摄像装置1的动作的流程图。

图4是用于说明第1实施方式中的摄像装置1的动作的顺序图。

图5是用于说明第1实施方式中的摄像装置1的动作的顺序图。

图6是用于说明第1实施方式中的摄像装置1的动作的顺序图。

图7是用于说明第1实施方式中的摄像装置1的动作的顺序图。

图8是用于说明第1实施方式中的摄像装置1的动作的顺序图。

图9是用于说明第1实施方式中的摄像装置1的动作的顺序图。

图10是表示本发明第2实施方式中的摄像装置100的构成的框图。

图11是表示第2实施方式中的摄像装置100的控制部的构成的框图。

图12是表示第2实施方式中的摄像装置100的抖动补正处理的概念图。

图13是表示第2实施方式中的摄像装置100的运动图像再现时的抖动补正处理的流程图。

图14是表示第3实施方式中的摄像装置100的运动图像摄影时的抖动补正处理的流程图。

具体实施方式

下面参考附图来说明本发明实施方式。

第1实施方式

A.实施方式的构成

图1是表示本发明实施方式的摄像装置1的构成的框图。在图1中，摄像装置1是身体装备型的摄像装置，具备：通信控制部10、摄像部11、图像处理部14、加速度传感器17、外部存储器18、闪速存储器19、SDRAM20、CPU21、键操作部22、声音控制部23、扬声器24、麦克风25、电源(蓄电池)26、以及电源控制部27。

通信控制部10介由因特网上的服务器或因特网将拍摄的图像数据传输给个人的个人计算机等信息处理装置。另外，还能用对等网络传输给摄影者所携带的信息设备。摄像部11具备由光学透镜群构成的透镜块12、CCD或CMOS等摄像元件13。摄像元件13将从透镜块12进入的图像变换成数字信号。图像处理电路14对图像数据执行图像处理(像素内插处理、γ补正、亮度色差信号的生成、白平衡处理、曝光补正处理等)、图像数据的压缩、解压(例如JPEG格式、Motion-JPEG格式或MPEG格式的压缩、解压)。

加速度传感器17检测身体装备型的摄像装置1的运动(仰俯角方向：以水平轴为旋转轴时的上下方向)。外部存储器18是能拆装的记录介质，保存有摄像部11拍摄的图像数据等。闪速存储器19是预先保存由摄像部11拍摄的图像数据等的记录介质。SDRAM20作为在由摄像部11进行拍摄后暂时存储送到CPU21的图像数据的缓冲存储器而使用，并作为CPU21的工作内存使用。

CPU21使摄像部11进行静止图像摄影、运动图像的录像开始／停止、静止图像摄影和运动图像摄影的切换等。特别在本实施方式中，在由摄像部11进行间隔摄影的情况下，CPU21遵循对应于前次的抖动状态而设定的补正范围对拍摄的图像(间隔电影)进行与该抖动状态相应的预处理(手抖处理：裁剪抖动的裁剪处理)。另外，在每当摄影定时下的摄影结束时、从加速度传感器17的检测结果得到的摄影定时下的抖动状态大于给定的情况下，CPU21针对拍摄的图像，进一步对在其前后的摄影定时拍摄的图像以基于上述抖动状态的补正范围(更具体为比上述摄影定时时的预处理小的范围)进行后期处理(手抖处理：考虑抖动的裁剪处理)。

其结果，在间隔摄影中，能提高抖动大的情况下的抖动补正效果，并能维持抖动小的情况下的分辨率。另外，由于能对相邻的电影实施扩展了补正范围的平滑化处理，因此能减轻因裁出视角不同而产生的不协调感。

声音控制部23遵循CPU13的控制将摄像运动图像再现时的声音(报知声等)变换成模拟信号，并从扬声器24输出，另一方面，在运动图像摄像时将由麦克风25聚音的环境声数字化来取入。键操作部22对应于用户的触摸操作来输入动作模式、摄影开始、暂时停止、停止等的动作指示等。电源(蓄电池)26是充电式的二次电池。电源控制部27使电源(蓄电池)26的输出电压稳定化，对各部分提供驱动用电力。

B.实施方式的动作

接下来说明上述的实施方式的动作。

图2以及图3是用于说明本实施方式的摄像装置1的动作的流程图。另外，作为假设的摄影环境，有登山、骑车兜风等，摄像装置1的设置场所相同，摄影场景也相同，但摄影地点不同。另外，作为假设的间隔摄影，假设电影摄影，摄影间隔为5分钟以上，1次的摄影为5秒钟程度。

首先，将默认值设定在手抖补正范围内(步骤S10)，开始间隔模式(步骤S12)。判断是否是摄影开始定时(步骤S14)，在不是摄影开始定时的情况下(步骤S14“否”)，成为待机状态。然后，在是摄影开始定时的情况下(步骤S14“是”)，判断补正范围是否是默认值(步骤S16)。在此，在补正范围不是默认值的情况下(步骤S16“否”)，设定默认值以外的值(步骤S18)。另一方面，在补正范围是默认值的情况下(步骤S16“是”)，将默认值设定在手抖补正范围内。初次设定为默认值。

接下来，执行步骤S22～S26的预处理(摄影中补正处理)。首先，开始间隔电影的摄影(步骤S22)，在摄影结束(5秒程度)后进行保存(步骤S24)。在该间隔电影的摄影时，从拍摄的间隔电影裁出视角来进行手抖补正。接下来，作为后期处理所需要的数据，从加速度传感器17的检测结果取得摄影定时的运动信息(抖动)，与拍摄的图像建立对应来保存(步骤S26)。

接下来，判断上述运动信息(抖动)是否超过补正范围(步骤S26)。然后，在运动信息(抖动)未超过补正范围的情况下(步骤S28“否”)，不执行后述的后期处理地将手抖补正范围缩小，或设定为默认值(步骤S30)。接下来，判断间隔模式是否结束，在未结束的情况下(步骤S42“否”)，返回步骤S14，反复上述的处理。

另一方面，在上述运动信息(抖动)超过补正范围的情况下(步骤S28“是”)，执行步骤S32～S40的后期处理(摄影后补正处理)。首先，判断是否将手抖补正的补正范围扩展到最大值(步骤S32)。然后，在未将补正范围放大到最大值的情况下(步骤S32“否”)，扩展手抖补正的补正范围(步骤S34)。之后，前进到步骤S36。另一方面，在将补正范围扩展到最大值的情况下(步骤S32“是”)，直接前进到步骤S36。

接下来，在扩展的补正范围内对预处理后的间隔电影执行后期处理(电子手抖补正)(步骤S36)，在处理结束后予以保存(步骤S38)。具体地，从预处理后的间隔电影裁出视角来进行手抖补正。接下来，对前1个间隔电影和再前一个间隔电影也以基于该扩展的补正范围的值执行后期处理(电子手抖补正)(步骤S49)。此时，成为

“对前1个间隔电影的补正范围>再前一个间隔电影的补正范围”。

如此，在前1个间隔电影和再前一个间隔电影中改变补正范围是为了减轻因扩展补正范围而引起的视角变动的不协调感。追溯到何种程度地进行后期处理根据补正范围的扩展程度、和后期处理是否完毕来决定。另外，在该时间点，对于前1个间隔电影，由于在接下来的间隔摄影有再度进行补正的可能性，因此也可以不进行保存，而是暂时保持。接下来，判断间隔模式是否结束(步骤S42“否”)，返回步骤S14，反复上述的处理。

图4到图9是用于说明本实施方式的摄像装置1的动作的顺序图。首先，在图4示出进行间隔摄影、拍摄间隔电影MOV1、MOV2、MOV3的状态。对间隔电影MOV1、MOV2、MOV3都以例如补正范围5％(即将全摄像范围的5％确保为补正裕度)来执行预处理(摄影中补正处理)。这利情况下，由于根据加速度传感器17的检测结果抖动没有变大，因此不进行后期处理。

图5是表示紧接图4的间隔摄影新拍摄间隔电影MOV4的状态的图。在该情况下，也对间隔电影MOV4临时以补正范围5％执行预处理(摄影中补正处理)。

但是，假定在间隔电影MOV4的摄影时的加速度传感器17的检测结果中抖动大，补正范围以默认的补正范围5％是不足够的。

在该情况下，以宽于补正范围5％的范围的补正范围10％来对抖动大的间隔电影MOV4进行后期处理(电子式手抖补正)，得到间隔电影MOV4A。另外，与此相伴，以补正范围8％对前1个间隔电影MOV3进行后期处理(电子式手抖补正)来得到间隔电影MOV3A，进而以补正范围6％对再前一个间隔电影MOV2进行后期处理(电子式手抖补正)来得到间隔电影MOV2A。另外，将下次(间隔电影MOV5)的摄影时的补正范围设定为8％。

接下来，图6是表示紧接图5的间隔摄影新拍摄间隔电影MOV5的状态的图。这种情况下，也对间隔电影MOV5暂时以前次设定的补正范围8％执行预处理(摄影中补正处理)。但是，假定在间隔电影MOV5的摄影时的加速度传感器17的检测结果中抖动小，能以补正范围8％满足。因此在该情况下不进行后期处理。进而，将下次(间隔电影MOV6)摄影时的补正范围设定为6％。

接下来，图7是表示紧接图6的间隔摄影新拍摄间隔电影MOV6的状态的图。在该情况下，也对间隔电影MOV6以前次设定的补正范围6％执行预处理(摄影中补正处理)。但是，假定在间隔电影MOV6的摄影时的加速度传感器17的检测结果中抖动小，能以补正范围6％满足。因此在该情况下不进行后期处理。进而，将下次(间隔电影MOV6)摄影时的补正范围设定为默认的5％。

接下来，图8是表示紧接图7的间隔摄影新拍摄间隔电影MOV7的状态的图。这种情况下，也对间隔电影MOV7临时以前次设定的补正范围5％执行预处理(摄影中补正处理)。但是，假定在间隔电影MOV7的摄影时的加速度传感器17的检测结果中抖动小，能以补正范围5％满足。因此在该情况下不进行后期处理。

接下来，图9是表示紧接图8的间隔摄影新拍摄间隔电影MOV8的状态的图。如图9所示，可知根据本实施方式，由于以抖动最大的间隔电影MOV4(补正范围10％)为中心，前后的间隔电影MOV3、MOV5(补正范围8％)、和进一步前后的间隔电影MOV2、MOV6(补正范围6％)的补正范围阶段地变化，因此能减轻视角变动的不协调感。

根据上述的实施方式，在间隔摄影中，遵循对应于前次的抖动状态而设定的补正范围对间隔电影进行预处理(手抖补正：考虑了抖动的裁剪处理)，并在摄影定时下的抖动状态大于给定的情况下，以阶段性的补正范围对拍摄的间隔电影进行后期处理(手抖补正：考虑了抖动的裁剪处理)，并进一步以阶段性的补正范围对其时间序列上的前后的间隔电影进行后期处理(手抖补正：考虑了抖动的裁剪处理)，由此，在进行移动的定期的摄影中也能记录适当的间隔图像。

另外，根据上述实施方式，由于以最大的补正范围对抖动大的间隔电影进行预处理(手抖补正)，并以阶段性变小的补正范围对其时间序列上的前后的间隔电影进行后期处理(手抖补正)，因此能减轻视角变动的不协调感。

另外，根据上述实施方式，由于在补正范围中包含变更有效摄像范围的补正裕度(进行裁剪时的裕度)的内容，因此能减轻视角变动的不协调感。

另外，根据上述实施方式，由于在预处理(手抖补正)中的补正范围小于给定的值的情况下不进行后期处理(手抖补正)，因此能减轻视角变动的不协调感。

另外，根据上述实施方式，由于在预处理(手抖补正)中的补正范围中包含有效摄像范围，因此能减轻视角变动的不协调感。

另外，根据上述实施方式，由于在预处理(手抖补正)以及后期处理(手抖补正)中通过对间隔电影阶段性地减小分辨率来实现手抖补正，因此能减轻视角变动的不协调感。

另外，根据上述实施方式，由于进行控制以使摄像部11以一定的时间间隔进行摄像，用加速度传感器17检测摄像时的抖动，因此能用所谓的数码相机在进行移动的定期的摄影中记录适当的间隔图像。

另外，在本实施方式中，作为间隔电影说明了进行5秒摄影的情况，但并不限于此，也可以以给定的帧速率对多个静止图像进行连续摄影，将其作为以集合(组)为单位的连拍图像来存储，也可以以能任意变更的帧速率对给定张数的静止图像进行连续摄影，将其作为以集合(组)为单位的连拍图像来存储。

该情况下的本实施方式进行依次显示连续拍摄的多张静止图像时的补正处理。

第2实施方式

(第2实施方式的构成)

图10是表示本发明1个实施方式的摄像装置100的构成的框图。在图10中，图像取得部110由透镜111、快门112、LPF113构成。透镜111是通常的光学透镜，由重叠非球面透镜的透镜群构成。快门112是在被操作快门按钮时就由控制部120所驱动的驱动器114进行动作的所谓机械快门。另外，在因数码相机不同也有不具备机械快门的情况，在搭载可伸缩式的镜头构造、机械变焦的机种的情况下，也由驱动器114进行它们的驱动控制。LPF113是水晶低通滤波器，为了防止产生干涉条纹而搭载。

接下来，模拟信号处理部115由摄像传感器(CCD、CMOS)116、采样／信号放大处理部117、A／D转换器118构成。摄像传感器116使被摄体图像(映像，image)成像，将RGB各色的光的强度变换为电流值。采样／信号放大处理部117进行用于抑制噪声和颜色不均的相关双采样处理和信号放大处理。A／D转换器118也被称作模拟前端，将采样、放大的模拟信号变换成数字信号(对RGB、CMYG各色变换为12bit数据后输出到总线线路)。

接下来，控制部(CPU)120遵循在后述的程序存储器中容纳的程序来控制摄像装置100整体。在本实施方式中，如图11所示，控制部120具有抖动量检测部1210和抖动补正部1220。抖动量检测部1210例如在将存储于后述的图像存储器131的摄影完毕运动图像数据进行再现前的阶段，检测包含在该运动图像数据中的各帧的抖动量。抖动补正部1220从包含在由摄像单元拍摄的运动图像数据中的各帧的图像内裁取给定尺寸的部分图像，并对应于由抖动量检测部1210检测到的抖动量来调整该裁取的各部分图像的位置，由此来补正运动图像数据的抖动。控制部120执行对应于由抖动量检测部1210检测到的抖动量来使给定尺寸变化的控制。另外，抖动补正部1220对应于基于补正部120的控制所引起的给定尺寸的变化来放大或缩小以给定尺寸裁取的各部分图像，以便匹配以给定尺寸裁取的多个部分图像的尺寸。

控制部120对由抖动量检测部1210检测到第1阈值以上的抖动量的第1帧区间执行第1控制，该第1控制按照与相同的第1帧区间内的帧对应地由抖动量检测部1210检测到的抖动量来决定给定尺寸。另外，控制部120对与该第1帧区间相邻的第2帧区间执行与第1控制不同的第2控制，该第2控制按照不是与相同的第2帧区间而是与所述第1帧区间内的帧对应地由抖动量检测部1210检测到的抖动量来决定给定尺寸。进而，控制部120对检测到不足第1阈值的抖动量的第3帧区间执行与第1控制以及第2控制都不同的第3控制，该第3控制按照不是将与由抖动量检测部1210检测到抖动量相应的尺寸，而是将预先决定的固定尺寸决定为给定尺寸。

预览引擎122为了在录像模式(也称作记录模式、摄影模式)下使显示部125显示介由图像取得部110、模拟信号处理部115输入的数字数据、或在刚进行快门操作检测后容纳在影像缓存126的数字数据、以及容纳在图像存储器131中的数字数据，而进行间除处理。D／A转换器123通过预览引擎122对进行过间除处理的数字数据进行变换，输出给后级的驱动器124。

驱动器124具备暂时存储显示在后级的显示部125的数字数据的缓存区域，基于介由键操作部127、控制部120而输入的控制信号来驱动显示部125。显示部125由彩色TFT液晶、STN液晶等构成，显示预览图像、摄影后的图像数据、设定菜单等。

影像缓存126容纳介由模拟信号处理部115或数字信号处理部128被输入，暂时存储刚摄影后的数字数据直到交给数字信号处理部128为止。键操作部127由快门按钮、记录／再现模式选择滑动开关、菜单按钮、十字键(按中央为决定)等构成。

数字信号处理部128对介由模拟信号处理部115输入的数字数据进行白平衡处理、颜色处理、灰度处理、轮廓强调、从RGB格式向YUV格式的变换、从YUV格式向JPEG格式的变换。图像压缩／解压处理部129将介由数字信号处理部128输入的数字数据压缩编码成JPEG格式，或者生成运动JPEG格式的运动图像文件，或者将运动JPEG格式的运动图像文件变换成MPEG格式的运动图像文件，或者在再现模式下解压JPEG格式、运动JPEG格式、或MPEG格式的运动图像文件。

程序存储器130容纳载入到控制部120的各种程序、最佳拍摄(bestshot)功能中的EV值、色补正信息等。图像存储器131容纳暂时保持在影像缓存126中的图像数据、变换为各种文件格式的数字数据、运动图像数据等。卡I／F132控制外部记录介质133与数码相机主体间的数据交换。

外部记录介质133是由CompactFlash(注册商标)、记忆棒、SD卡等构成的能拆装的记录介质。外部连接用I／F134由USB连接器用插槽等构成，与个人计算机等连接，用在拍摄的图像数据的传输等中。RAM135存储控制部(CPU)120的控制所需要的各种参数、夜景摄影时的各种参数(增益(ISO灵敏度)、光圈、快门速度、用于图像合成的阈值、权重等)等。

(第2实施方式的动作)

下面，参考图12、图13来详细说明图1所示的本实施方式的摄像装置100的动作。首先，参考图12所示的概念图来说明本实施方式的运动图像抖动补正的概略。(A)是表示包含在成为补正对象的运动图像数据中的各帧的抖动量的时序图。另外，该补正对象的运动图像数据的抖动量例如由后述的抖动量检测部1210(参考图11)检测。即，抖动量检测部1210将该运动图像数据的某帧区间的主要的被摄体的移动量、处于背景的建筑物或山等的移动量等综合地相加来进行检测。(B)表示(A)所示的运动图像数据的抖动补正时的裁出空白尺寸W3的时序图。在(A)中，例示了在上述时序图拉出引出线，在该引出线的起点的定时下进行裁出前的帧图像G1～G7。另外，(C)表示(A)所示的运动图像数据的抖动补正时的数字变焦倍率的时序图。在（C)中，例示了在上述时序图拉出引出线，在该引出线的起点的定时裁出的图像G21～G27。

在(A)中，将补正对象的运动图像数据(例如存储于图像存储器131的运动图像数据)与作为阈值而预先设定的抖动量的第1阈值TH1、以及第2阈值TH2进行比较。在此，第1阈值TH1例如是相当于能确定出从如帧图像G1那样被摄体(在该示例中为棒球击球手)处于中央部的状态成为如帧图像G4那样被摄体向帧的右端移动的状态的“抖动”的抖动量的值(其中小于后述的第2阈值TH2)。另外，第2阈值TH2例如是相当于能确定出从帧图像G1的摄像状态成为如帧图像G6那样被摄体偏出到帧外那样的“抖动”的抖动量的值。

在设定上述的第1阈值TH1以及第2阈值TH2时，若确定出补正对象的运动图像数据中的检测到小于第1阈值TH1的“抖动”的帧区间(例如时间t0前的帧区间)，则不管该帧区间(方便地称作第3帧区间)的抖动量如何，都从各帧以固定尺寸W1裁出被摄体周边的图像，直接以该尺寸进行位置调整，由此来进行抖动补正。作为一例，在图12中，在时间t0前的帧区间中，例如未产生“抖动”的帧图像G1、稍微向右抖动一点的帧图像G2都作为相同尺寸的图像G21、G22而裁出，经过位置调整来进行抖动补正。另外，该抖动补正处理是一般进行的处理。

另外，若确定出补正对象的运动图像数据(参考图12的(A))中的检测到第1阈值TH1以上且小于第2阈值TH2的“抖动”的帧(时间t1与t2间的帧)，则为了进行该帧区间(简称作第1帧区间)的抖动补正，例如以与该第1帧区间(时间t1与t2的区间)的抖动量对应的尺寸较小地裁出帧图像G4中向右端抖动的被摄体附近的图像(参考图12的(B))，在将该裁出的图像放大为裁出的尺寸的3倍的尺寸后(参考图12的(C))进行位置调整，由此来进行抖动补正。

另外，在本实施方式中，若控制部120确定出检测到第1阈值TH1以上且小于第2阈值TH2的抖动量的第1帧区间时，则对应于该第1帧区间的抖动量来进行变更该第1帧区间的前后的帧区间(时间t0与t1间、以及时间t2与t3间)的长度的处理。

然后，控制部120在变更该长度的前后的帧区间(简称作第2帧区间)的两者中执行使给定尺寸变化的控制作为第2控制，以使例如越靠近第1帧区间越使从此时的帧裁出的图像的尺寸(最大为第1帧区间的尺寸)逐渐变大(换言之，越远离第1帧区间尺寸(最小为第3帧区间的尺寸)越逐渐变小)。

通过该处理，在从时间t0到时间t1的第2帧区间，使从各帧裁出的图像从1倍逐渐变大到3倍地调整尺寸(在该示例中，将从帧图像G3裁出的图像调整为2倍的尺寸的图像G23)，接下来，控制部120在时间t1到时间t2的第1帧区间中，将从各帧裁出的图像维持在3倍的尺寸，进而在时间t2到时间t2为止的第2帧区间，使从各帧裁出的图像从3倍逐渐变小到2倍地调整尺寸。

其结果，从时间t0到时间t3，裁出图像的尺寸W2缓慢地变化，确保了连续性。

另外，若确定出检测到第2阈值TH2以上的抖动量的帧区间(时间t4与t5区间)，则在该帧区间(简称作第4帧区间)中，例如由于如帧图像G6那样被摄体偏离到了处于帧外的程度，因此，不能进行裁出被摄体的区域来进行尺寸调整所实现的抖动补正。

这种情况下，控制部120取代进行抖动补正部1220所进行的抖动补正，废弃该第4帧区间内的各帧，并从前面的帧区间的帧图像G5、或后面的帧区间的帧图像G7裁出图像，进行帧内插处理，将该裁出图像G26保持等倍(1倍)的倍率不变地作为上述裁出帧区间的图像而嵌入来进行内插。

根据该帧内插处理，不进行不存在被摄体的无谓的图像的再现，能避免不自然的再现。

以基于图12的抖动补正的概略说明为基础，在下面详细说明本实施方式的抖动补正处理动作。图13是表示本第2实施方式的运动图像再现时的补正处理动作的流程图。

若用户在摄像装置100(参考图10)的键操作部127设定运动图像再现模式，选择再现对象的运动图像来进行再现开始的操作，则控制部120从图像存储器131读出该选择的运动图像数据，临时存储在影像缓存126中。

之后，控制部120在直到在图13的步骤S112再现运动图像数据为止的期间，通过抖动量检测部1210和抖动补正部1220对存储于上述影像缓存126的再现图像数据执行抖动补正处理。另外，每当进行该抖动补正处理都预先设定用于判定抖动量的大小的第1阈值TH1和第2阈值TH2。在此，第1阈值TH1、第2阈值TH2如图12所例示那样。

另外，第1阈值TH1是与从各帧裁取固定尺寸W1的图像、用仅调整该裁取的图像的位置的通常的抖动补正处理(参考步骤S103)不能补正完的抖动量对应的值。

另外，第2阈值TH2大于第1阈值TH1，例如与摄影者找不到被摄体、为了寻找而一瞬使图像较大混乱时的“抖动”、或不留神摄影者的指碰到而突然拍摄了与一系列的图像无关的图像的情况下的“抖动”相当的值。

在开始抖动补正处理时，抖动量检测部1210从影像缓存126读出再现对象的运动图像数据，一边依次读出为了抖动量检测而关注的关注帧，一边通过进行该关注帧与前后的多帧的图像比较来算出各关注帧的抖动量(步骤S101)。

抖动补正部1220监视由抖动量检测部1210算出(检测到)的抖动量，检查是否有检测到小于预先设定的第1阈值TH1的抖动量的帧期间(步骤S102)。在此，控制部120在没有检测到小于第1阈值TH1的抖动量的帧期间的情况下(步骤S102“否”)，前进到步骤S104。

与此相对，在由检测到小于第1阈值TH1的抖动量的帧期间的情况下(步骤S102“是”)，对该帧期间内的各帧以预先固定地决定的裁取空白尺寸W3来裁取图像，并配合其它帧来调整位置(步骤S103)。

该抖动补正处理是通常对“抖动”小的运动图像适用的处理。

接下来，抖动补正部1220检查是否有由抖动量检测部1210检测到(算出)的抖动量为第1阈值TH1以上且小于第2阈值TH2的帧期间(步骤S104)。在此，在没有检测到第1阈值TH1以上且小于第2阈值TH2的抖动量的帧期间的情况下(步骤S104“否”)，前进到后述的步骤S110的处理。

与此相对，控制部120在有检测到第1阈值TH1以上且小于第2阈值TH2的抖动量的帧期间的情况下(步骤S104“是”)，基于该帧期间内的各帧的抖动量来决定裁取空白尺寸W3(步骤S105)。

接下来，控制部120对该帧期间内的各帧，以在上述步骤S105中检测到抖动量为第1阈值TH1以上且小于第2阈值TH2，对应于帧期间的抖动量而决定的裁取空白尺寸W3来裁取图像，并且使该图像的位置和尺寸配合其它帧(取其它帧的图像的位置与尺寸的平衡)来进行调整(步骤S106)。

进而，控制部120检测该帧期间内的最大抖动量，基于该检测出的最大抖动量来设定设于该帧期间的前后的给定期间的长度(步骤S107)。控制部120按照使在该设定的给定期间内裁取空白尺寸W3逐渐变化的方式进行设定(步骤S108)。

在此基础上，控制部120对在步骤S108设定的给定期间内的各帧以逐渐变化的裁取空白尺寸W3来裁取各图像，并与其它帧配合来调整位置和尺寸(步骤S109)。

如以上那样，在进行了检测到第1阈值TH1以上且小于第2阈值TH2的抖动量的帧期间的抖动补正(步骤S105～S109)后，检查是否有上述步骤S101中检测到的抖动量为第2阈值TH2以上的帧期间(步骤S110)。

在此，控制部120在判定为有检测到第2阈值TH2以上的抖动量的帧期间时(步骤S110“是”)，废弃该抖动量为第2阈值TH2以上的帧期间内的各帧，进行基于前后的帧的图像来内插废弃的帧的图像的处理(步骤S111)。

如以上那样，将分别补正了不足第1阈值TH1的抖动量、第1阈值TH1以上且小于第2阈值TH2的抖动量、第2阈值TH2以上的抖动量的“抖动”的(步骤S103、S105～S109、S111)的影像缓存126内的抖动补正图像数据被送往驱动器124。

驱动器124将送来的数据暂时存储在缓存区域中，从该缓存区域读出抖动补正后的运动图像数据，在显示部125作为再现运动图像进行显示(步骤S112)。另外，使通过直到上述步骤S111为止的抖动补正处理补正了“抖动”的图像数据返回(存储到)图像存储器131，之后，从图像存储器131直接读出该抖动补正完毕的运动图像数据，并进行再现。

(第2实施方式的效果)

如以上说明那样，根据本第2实施方式的运动图像摄影装置(摄像装置100)，进行第1抖动补正处理，控制单元(抖动补正部1220)如图13所示那样(参考步骤S104～S109)，确定由检测单元(抖动量检测部1210)检测到第1阈值TH1以上且小于第2阈值TH2的抖动量的第1帧区间，以第1帧区间和该第1帧区间的前后的第2帧区间作为对象，从第1和第2帧区间的帧将图像裁取为与由检测单元对所述第1帧区间检测到的抖动量对应的尺寸，并使该裁取的图像的位置以及尺寸配合其它帧来进行调整。如此，通过不仅对检测到大的“抖动”的帧，还对其前后的帧进行抖动补正，从而在将检测到大的“抖动”的帧较小地裁出后，能避免在通过以大的倍率进行放大来补正“抖动”的现有技术中显著的且在补正了大的“抖动”的帧区间的与裁取尺寸W2的变化相应的放大率的急剧变化引起的损害运动图像的连续性这样的问题。

根据本发明能进一步得到以下所列举的效果。

(1)通过对如被摄体瞬间从帧中消失之后又捕捉到被摄体那样大的“抖动”，采用从存在被摄体的相邻的帧裁出的图像来内插该帧，从而能看到自然的再现图像。

(2)对应于第1帧区间的抖动量来变更第2帧区间的长度，能视听尺寸缓慢变化的自然的再现图像。

(3)在摄影完毕的运动图像的再现时、或在运动图像的摄影时的任意的情况下都能适用本第2实施方式的抖动补正。通过在摄影时进行抖动补正并积蓄在图像存储器中，从而再现时不需要抖动补正的处理。

(4)还能补正在图像慢慢向一方移动后、图像再度变大、慢慢地向反向移动那样的、不能在通常摄影时实时地进行抖动补正的“抖动”。

(第2实施方式的变形例1)

另外，在第2实施方式中，举出在第1帧区间基于由抖动量检测部1210检测到的该第1帧区间的抖动量以裁取空白尺寸W3裁取图像的示例，但也可以构成为在运动图像再现时能由用户任意设定上述裁取空白尺寸(缩小级别：抖动补正级别)W3。

对于该构成，例如能在设定运动图像生成模式后再现开始操作前(移转到步骤S101前)在显示部125显示设定画面，使用该设定画面来接受上述设定的指示，由此实现。

根据相关的构成，在进行抖动量大的区间的抖动补正时能由用户任意设定尺寸的变动。

(第2实施方式的变形例2)

另外，也可以能在第2实施方式的变形例1所示的上述设定画面中设定是否进行以大的“抖动”(相当于上述第1阈值TH1的“抖动”)的运动图像为对象的抖动补正、是否进行以无效图像(具有与上述第2阈值TH2对应的“抖动”的图像)为对象的抖动补正。

另外，构成为能在运动图像的摄影时实施对是否执行这些补正进行设定的处理。根据相关的构成，能由用户任意设定补正对象的“抖动”的类别。

(第3实施方式)

(第3实施方式的构成)

在上述第2实施方式中，公开了在运动图像的再现时进行抖动补正处理的示例，但在第3实施方式中，在运动图像的摄影时进行抖动补正处理。

在运动图像的摄影时进行抖动补正的情况下，仅将补正对象从上述实施方式所述的摄影完毕运动图像数据改变为摄影中的运动图像数据，控制部120的构成能通过图11所示的构成与该运动图像数据的抖动补正处理对应。

本实施方式的摄像装置100的其它构成都与图10相同。

(第3实施方式的动作)

图14是表示本实施方式的运动图像摄影时的抖动补正处理动作的流程图。下面参考图14来说明本实施方式的抖动补正处理。

为了拍摄运动图像，在设为运动图像摄影模式后进行摄影开始的操作。在进行了摄影开始的操作时，由摄像传感器116拍摄的运动图像的光电变换输出被采样／信号放大处理部117进行采样、放大处理，进一步被A／D转换器118进行数字变换后输出给总线线路。在本第3实施方式中，控制部120在将从A／D转换器118输出的数字信号(运动图像数据)容纳在图像存储器131前暂时蓄积在影像缓存126中，对该积蓄的运动图像数据进行图14所示的抖动补正处理。另外，每当进行该补正处理，就与上述第2实施方式相同地预先设定第1阈值TH1、第2阈值TH2。

在本第3实施方式中，在开始抖动补正处理时，抖动量检测部1210从影像缓存126读出经过数字信号处理部128等交给图像存储器131前的运动图像数据(摄影中的运动图像数据)，为了抖动量检测而一边依次读出所关注的关注帧，一边进行该关注帧与前后的多帧的图像比较来算出各关注帧的抖动量(步骤S201)。

之后，抖动补正部1220监视由抖动量检测部1210算出(检测到)的抖动量，分别确定检测到小于预先设定的第1阈值TH1的抖动量的帧期间、检测到第1阈值TH1以上且小于第2阈值TH2的抖动量的帧期间、检测到第2阈值TH2以上的抖动量的帧期间，以这些各区间的帧为对象来实施步骤S202～S211的抖动补正处理。

在此，步骤S202～S211的处理与第2实施方式(参考图13)中的步骤S102～S111的处理相同，因此省略其详细说明。

在图14的步骤S211中实施对检测到第2阈值TH2以上的抖动量的帧期间的图像的内插处理后，基于该抖动补正(尺寸、位置等的调整)后的运动图像数据，经由数字信号处理部128的数字信号处理等而生成抖动补正完毕的运动图像数据，将该抖动补正完毕运动图像数据存储到图像存储器131中(步骤S212)。

(第3实施方式的效果)

如以上说明那样，根据第3实施方式的运动图像摄影装置(摄像装置100)，在将运动图像的摄影时拍摄的运动图像数据存储到图像存储器131前将其缓存来进行抖动补正。即使在摄影时拍摄有大的“抖动”的动态图，也能将补正了该“抖动”的运动图像存储在图像存储器中，在该运动图像数据的再现时再现未进行抖动补正处理且没有大的“抖动”的图像。

(第4实施方式)

(第4实施方式的构成)

在上述的第2实施方式、第3实施方式中，在运动图像的再现时、或摄影时从抖动补正对象的运动图像数据中来检测各帧的抖动量，但第4实施方式中，具备：检测装置主体部的抖动量(振动)的加速度／陀螺仪传感器等检测器；和将由检测器检测到的抖动量与由摄像单元拍摄的运动图像数据内的各帧建立关联来存储的建立关联单元。然后，在再现与抖动量建立关联的运动图像数据时，控制部120的抖动量检测部1210分别读出与该运动图像数据建立关联的各帧的抖动量并分别检测该图像数据的各帧的抖动量。然后，抖动补正部1220基于读出的抖动量，分别确定例如检测到小于第1阈值TH1的抖动量的帧期间、检测到第1阈值TH1以上且小于第2阈值TH2的抖动量的帧期间、检测到第2阈值TH2以上的抖动量的帧期间来进行抖动补正处理。

(第4实施方式的效果)

如此，在第4实施方式中，其特征在于，将由对装置(摄像装置100)主体部的抖动量进行检测的检测器所检测到的抖动量与由摄像单元(摄像传感器116)拍摄的运动图像数据建立关联来存储，检测单元(抖动量检测部1210)基于与运动图像数据建立关联(装置主体的)抖动量来检测补正对象的运动图像数据的抖动量。

根据本实施方式的构成，能进行使用陀螺仪传感器等抖动探测传感器来补正了大的“抖动”的图像的再现。

另外，本实施方式的运动图像抖动补正方法例如适用于图10所示的摄像装置100。并且，该运动图像抖动补正方法具有：第1步骤(图13的步骤S101)，例如在图13中检测由摄像装置100的摄像单元(摄像传感器116)所拍摄的运动图像数据的抖动量；和第2步骤(图13的步骤S104～S109)，进行抖动补正处理，该抖动补正处理确定通过第1步骤检测到给定的第1阈值TH1以上且小于给定的2阈值TH2的抖动量的第1帧区间，以第1帧区间和该第1帧区间的前后的第2帧区间为对象，并从第1以及第2帧区间的帧将图像裁取为与通过第1步骤对第1帧区间检测到的抖动量对应的尺寸，并与其它帧配合来调整该裁取的图像的位置以及尺寸。

如此，不仅对检测到大的“抖动”的帧，还对其前后的帧也进行抖动补正。为此，能提供一种运动图像摄影方法，在拍摄的运动图像中产生大的“抖动”的情况下，为了补正而裁出的图像的放大率也不会剧变，能视听有连续性的运动图像。

另外，本实施方式的运动图像抖动补正程序是安装在摄像装置100的例如程序存储器130中并由计算机(例如图10的控制部120)执行的程序。并且该程序使计算机执行：检测由摄像装置100的摄像单元(摄像传感器116)拍摄的运动图像数据的抖动量的处理(图13的步骤S101)；和抖动补正处理，确定通过检测处理检测到给定的第1阈值TH1以上且小于给定的第2阈值TH2的抖动量的第1帧区间，以第1帧区间和该第1帧区间的前后的第2帧区间为对象，从所述第1和第2帧区间的帧将图像裁取为与通过检测处理对第1帧区间检测到的抖动量对应的尺寸，并与其它帧配合来调整该裁取图像的位置以及尺寸(图13的步骤S104～S109)。

在摄像装置100中，控制部120(抖动量检测1210以及抖动补正部1220)读出上述程序，来执行抖动补正处理，以检测到第1阈值TH1以上且小于第2阈值TH2的抖动量的第1帧区间和前后的第2帧区间为对象，从各帧将图像裁取为与对第1帧区间检测到的抖动量对应的尺寸，并配合其他帧来调整该裁取的图像的位置以及尺寸。

由此，能提供即使在拍摄的运动图像中产生大的“抖动”的情况下，为了补正而裁出的图像的放大率也不会剧变，能视听有连续性的运动图像的运动图像摄影程序。

以上详述了本发明优选的实施方式，但毫无疑问本发明技术范围并不限定于上述实施方式记载的范围。本领域技术人员明确知道能在上述实施方式加入多样的变更或改良。另外，这样的加入变更或改良的形态也能包含在本发明技术范围中，这一点从权利要求的范围的记载得到明确。

Claims (20)

1.一种图像处理装置，其特征在于，具备：

取得单元，其取得被拍摄的运动图像在拍摄时的抖动；

第1设定单元，其对所述被拍摄的运动图像中的由所述取得单元取得抖动的给定期间的运动图像设定基于该抖动的第1补正范围；和

第2设定单元，其对所述被拍摄的运动图像中的由所述取得单元取得抖动的给定期间之前或之后的至少一方的给定期间的运动图像设定基于由所述取得单元取得抖动的给定期间中的抖动的第2补正范围。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述第2补正范围小于所述第1补正范围。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述第1补正范围以及所述第2补正范围包括变更有效拍摄范围的补正裕度的内容。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述第2设定单元在由所述第1设定单元设定的第1补正范围大于给定的范围的情况下设定第2补正范围。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述第1补正范围包括有效拍摄范围。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述第1补正范围以及所述第2补正范围包括对所述运动图像阶段性地减小分辨率这样的条件。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

拍摄单元；和

拍摄控制单元，其对所述拍摄单元按照每隔一定的时间间隔进行拍摄的方式来控制，

所述取得单元检测并取得所述拍摄控制单元进行拍摄时的抖动。

8.根据权利要求1～7中任一项所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

补正单元，其按照所述第1补正范围以及所述第2补正范围来补正所述给定期间的运动图像的抖动。

9.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

抖动量取得单元，其取得由所述取得单元取得的抖动的抖动量，

所述第1设定单元对所述被拍摄的运动图像中的由所述取得单元取得抖动的给定期间的运动图像，在由抖动量取得单元取得的抖动量为预先设定的第1阈值以上时，设定基于该抖动量的第1补正范围，

所述第2设定单元对由所述取得单元取得抖动的给定期间之前或之后至少一方的给定期间的运动图像，设定基于由所述抖动量取得单元取得的抖动量的第2补正范围。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

第3设定单元，其对所述被拍摄的运动图像中的由所述取得单元取得抖动、且该抖动量小于所述第1阈值的给定期间的运动图像设定预先决定的第3补正范围。

11.根据权利要求9所述的图像处理装置，其特征在于，

所述图像处理单元还具备：

生成单元，其对所述被拍摄的运动图像中的由所述取得单元取得抖动的给定期间的运动图像，在存在由所述抖动量取得单元取得的抖动量为处于所述第1阈值以上的第2阈值以上的运动图像的给定期间，废弃运动图像，采用该废弃的期间之前或之后的至少一方的给定期间的运动图像中的各帧进行内插，由此生成与所述第2给定期间对应的运动图像。

12.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

变更单元，其对存在所述被拍摄的运动图像中的由所述取得单元取得抖动的运动图像的给定期间，对应于所述抖动量取得单元所取得的抖动量，变更所述给定期间之前或之后的至少一方的存在运动图像的给定期间的长度。

13.根据权利要求1所述的图像处理装置，其特征在于，

所述第2设定单元对所述给定期间之前或之后的至少一方给定期间的运动图像，按照越靠近所述给定期间越逐渐变大、越远离所述给定期间越逐渐变小的方式来设定补正范围。

14.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

存储单元，其存储每隔一定间隔被给定期间拍摄的多个运动图像，

所述第1设定单元对存储于所述存储单元的运动图像中的由所述取得单元取得抖动的给定期间的运动图像设定基于该抖动的第1补正范围。

15.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

存储单元，其存储每隔一定间隔被给定期间拍摄的多个运动图像，

所述第2设定单元对存储于所述存储单元的运动图像中的由所述取得单元取得抖动的给定期间之前或之后至少一方的给定期间的运动图像设定基于所述抖动的第2补正范围。

16.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

存储单元，其存储每隔一定间隔被给定期间拍摄的多个运动图像，

所述第1设定单元以及所述第2设定单元在再现所述运动图像数据整体时对补正对象的运动图像进行设定。

17.根据权利要求16所述的图像处理装置，其特征在于，

所述图像处理装置还具备：

暂时存储单元，其暂时存储每隔一定间隔被给定期间拍摄的多个运动图像，

所述第1设定单元以及第2设定单元在将所述运动图像数据整体存储到所述存储单元时对存储在所述暂时存储单元中的补正对象的运动图像进行设定。

18.一种图像处理装置，其特征在于，具备：

存储单元，其将每隔一定间隔被连续摄影的多个连拍图像存储为组；

取得单元，其取得连续摄影时的抖动；

第1设定单元，其对存储于所述存储单元的连拍图像的组中的由所述取得单元取得抖动的连续摄影期间的连拍图像的组设定基于该抖动的第1补正范围；和

第2设定单元，其对存储于所述存储单元的连拍图像的组中的由所述取得单元取得抖动的连续摄影期间之前或之后至少一方期间的连拍图像的组设定基于所述抖动的第2补正范围。

19.一种图像处理方法，其特征在于，包括：

取得步骤，取得被拍摄的运动图像在拍摄时的抖动；

第1设定步骤，对所述被拍摄的运动图像中的在所述取得步骤取得抖动的给定期间的运动图像设定基于该抖动的第1补正范围；和

第2设定步骤，其对所述被拍摄的运动图像中的在所述取得步骤取得抖动的给定期间之前或之后至少一方的给定期间的运动图像设定基于在所述取得步骤取得抖动的给定期间中的抖动的第2补正范围。

20.一种图像处理方法，其特征在于，包括：

存储步骤，其将每隔一定间隔被连续摄影的多个连拍图像存储为组；

取得步骤，取得连续摄影时的抖动；

第1设定步骤，对存储于存储部的多个连拍图像的组中的由所述取得步骤取得抖动的连续摄影期间的连拍图像的组设定基于该抖动的第1补正范围；和

第2设定步骤，对所述多个连拍图像的组中的由所述取得步骤取得抖动的连续摄影期间之前或之后至少一方的期间的连拍图像的组设定基于所述抖动的第2补正范围。