CN114205517A - 图像模糊校正设备及其控制方法、摄像设备和存储介质 - Google Patents

Abstract

本发明涉及图像模糊校正设备及其控制方法、摄像设备和存储介质。图像模糊校正设备包括：用于获得抖动信息的获得部件；多个图像模糊校正量计算部件，包括用于计算分别与多个连续图像中所包括的部分图像相对应的图像模糊校正量的第一图像模糊校正量计算部件、以及用于使用与第一校正量计算部件所使用的方法不同的方法来计算分别与多个连续图像中所包括的部分图像相对应的图像模糊校正量的第二图像模糊校正量计算部件；以及控制部件，用于控制多个图像模糊校正量计算部件。

Description

图像模糊校正设备及其控制方法、摄像设备和存储介质

技术领域

本发明涉及安装在多个设备上的图像模糊校正部件经由通信彼此协作地进行图像模糊校正的技术。

背景技术

近年来，视频行业使用通过以高速帧频进行拍摄并使用等于或低于拍摄帧频的再现速度来获得更流畅的慢视频的方法。然而，该方法以高速帧频进行拍摄，并且因此增加了照相机的处理负荷。结果，在安装在多个设备上的图像模糊校正部件经由通信彼此协作地进行图像模糊校正控制的情况下，发生通信错误和通信延迟。考虑到这一点，提出了如下方法：即使在已发生通信错误和通信延迟的情况下，也抑制图像模糊校正效果的降低。

日本特开2017-219635公开了如下的方法：通过在已经经由通信获得抖动信息的情况下选择根据该抖动信息而获得的模糊校正量，以及通过在尚未经由通信获得抖动信息的情况下选择预测部件所预测的模糊校正量，来校正图像模糊。

然而，日本特开2017-219635存在以下问题。根据日本专利特开2017-219635，由于使用根据前次的校正量来进行预测的方法(诸如卡尔曼滤波和最小二乘法等)来计算模糊校正量，因此在已计算出错误的校正量的情况下，图像模糊校正效果显著降低。

此外，虽然通过设置低速通信周期而改善了通信错误和通信延迟，但是设置低速通信周期也将降低获得用于进行图像模糊校正的信号的周期的速度，从而降低图像模糊校正效果。

发明内容

本发明是已考虑到上述问题而做出的，并且在多个设备之间进行通信的同时进行图像模糊校正控制的情况下，抑制在设置了低速通信周期时的图像模糊校正效果的降低。

根据本发明的第一方面，提供一种图像模糊校正设备，包括：获得部件，用于获得来自用于检测抖动的多个抖动检测部件的抖动信息；多个图像模糊校正量计算部件，包括：第一图像模糊校正量计算部件，用于基于所述获得部件所获得的来自第一抖动检测部件的抖动信息，计算分别与多个连续图像中所包括的部分图像相对应的图像模糊校正量，以及第二图像模糊校正量计算部件，用于基于所述获得部件所获得的来自第二抖动检测部件的抖动信息，使用与所述第一图像模糊校正量计算部件所使用的方法不同的方法，来计算分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量；以及控制部件，用于控制所述多个图像模糊校正量计算部件，使得所述多个图像模糊校正量计算部件其中至少之一分别与多个连续拍摄图像相对应地获得图像模糊校正量，并且使得周期地产生由所述多个图像模糊校正量计算部件中的所述第一图像模糊校正量计算部件计算图像模糊校正量的图像、以及由所述多个图像模糊校正量计算部件中的所述第二图像模糊校正量计算部件计算图像模糊校正量的图像。

根据本发明的第二方面，提供一种摄像设备，包括：摄像部件，用于拍摄多个连续图像；根据上述的图像模糊校正设备；第二抖动检测部件；以及图像模糊校正部件，用于基于所述多个图像模糊校正量计算部件所获得的图像模糊校正量来针对所述多个连续图像进行图像模糊校正，其中，所述获得部件通过按比拍摄所述多个连续图像的第一周期长的第二周期的通信来获得所安装的镜头设备中所包括的所述第一抖动检测部件的检测结果。

根据本发明的第三方面，提供一种摄像设备，包括：摄像传感器，用于按第一周期拍摄多个连续图像；抖动检测部件，用于基于所述多个连续图像来检测抖动；多个图像模糊校正量获得部件，包括：第一图像模糊校正量获得部件，用于基于通过通信从所安装的镜头设备获得的抖动信息，获得分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量，以及第二图像模糊校正量获得部件，用于基于所述抖动检测部件的检测结果以及通过通信获得的抖动信息，使用与所述第一图像模糊校正量获得部件所使用的方法不同的方法，来获得分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量；以及图像模糊校正部件，用于基于所述多个图像模糊校正量获得部件所获得的图像模糊校正量，针对所述多个连续图像进行图像模糊校正，其中，所述多个图像模糊校正量获得部件其中至少之一分别与所述多个连续图像相对应地获得图像模糊校正量。

根据本发明的第四方面，提供一种图像模糊校正设备的控制方法，所述控制方法包括：获得来自用于检测抖动的多个抖动检测部件的抖动信息；基于所获得的来自所述多个抖动检测部件的抖动信息来计算拍摄图像的图像模糊校正量；以及控制所述获得，使得与多个连续拍摄图像中的各个拍摄图像相对应地获得来自所述多个抖动检测部件其中至少之一的抖动信息，并且使得周期地产生不能获得来自所述多个抖动检测部件中的第一抖动检测部件的相应抖动信息的图像、以及不能获得来自所述多个抖动检测部件中的第二抖动检测部件的相应抖动信息的图像。

根据本发明的第五方面，提供一种摄像设备的控制方法，所述摄像设备具有用于按第一周期拍摄多个连续图像的摄像传感器，所述控制方法包括：基于所述多个连续图像来检测抖动；获得多个图像模糊校正量，包括：第一获得，用于基于通过通信从所安装的镜头设备获得的抖动信息，获得分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量，以及第二获得，用于基于抖动检测结果和通过通信获得的抖动信息，使用与所述第一获得所使用的方法不同的方法，来获得分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量；以及基于通过所述获得而获得的图像模糊校正量，针对所述多个连续图像进行图像模糊校正，其中，在所述多个图像模糊校正量的获得中的至少之一中，分别与所述多个连续图像相对应地获得图像模糊校正量。

根据本发明的第六方面，提供一种存储有程序的计算机可读存储介质，所述程序用于使得计算机执行根据上述的控制方法的各个步骤。

通过以下参考附图对示例性实施例的描述，本发明的进一步特征将变得清楚。

附图说明

图1是示意性地示出作为本发明的图像模糊校正设备的实施例的可更换镜头数字照相机系统的配置的框图。

图2是用于描述第一实施例中的图像模糊校正控制的框图。

图3是用于描述第一实施例中的图像模糊校正量计算单元的框图。

图4A和4B是用于描述第一实施例中的校正量分割单元的框图。

图5A和5B是用于描述与摄像周期相比设置低速处理周期的协作通信的时序图。

图6A和6B是用于描述与摄像周期相比设置低速检测周期的运动矢量检测的时序图。

图7A和7B是用于描述与摄像周期相比针对协作通信设置低速并且针对运动矢量检测设置低速周期的情况下的问题的时序图。

图8是用于描述第一实施例中的电子校正量转换的操作的时序图。

图9是用于描述第一实施例中的电子校正量转换的操作的流程图。

图10是用于描述第二实施例中的电子校正量转换的操作的时序图。

图11是用于描述第二实施例中的电子校正量转换的操作的流程图。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，以下实施例并不旨在限制所要求保护的发明的范围。在实施例中描述多个特征，但是不限制发明必须需要所有这些特征，并且可以适当地组合多个这样的特征。此外，在附图中，对相同或类似的配置给出相同的附图标记，并且省略对其的冗余描述。

(第一实施例)

下面，将参考附图详细描述本发明的第一实施例；首先，将描述各个实施例共有的事项。

图1是示意性地示出作为本发明的图像模糊校正设备的实施例的用于拍摄静止图像和运动图像的可更换镜头数字照相机系统的配置的框图。注意，本发明的应用范围不限于数字照相机，并且本发明适用于各种类型的摄像设备。

注意，在以下实施例的描述中，将摄像设备的振动表达为“抖动”，并且将摄像设备的抖动对拍摄图像的影响表达为“图像模糊”。

在图1中，数字照相机系统100由可更换镜头150和照相机主体180构成，并且可更换镜头150在附接到照相机主体180时使用。

可更换镜头150的变焦单元101包括改变倍率的变焦透镜。变焦驱动控制单元102控制对变焦单元101的驱动。光圈单元103具有光圈的功能。光圈驱动控制单元104控制对光圈单元103的驱动。图像模糊校正单元105包括诸如移位透镜等的图像模糊校正透镜(在下文中也称为校正透镜或OIS)。图像模糊校正单元105是第一图像模糊校正部件，并且对其的驱动由光学图像模糊校正控制单元106控制。调焦单元107包括通过进行焦点调整来形成被摄体图像的调焦透镜。调焦驱动控制单元108控制对调焦单元107的驱动。

镜头操作单元109是用户在操作可更换镜头时使用的操作单元。镜头抖动检测单元110检测可更换镜头150的抖动量，并将检测到的信号输出到镜头系统控制单元111。用于控制整个可更换镜头150的镜头系统控制单元(在下文中称为镜头控制单元)111包括CPU(中央计算处理设备)，并且整体地控制用于可更换镜头的各个驱动控制单元和校正控制单元。镜头控制单元111经由镜头通信控制单元112与照相机主体180的照相机系统控制单元124通信。

接下来，将描述照相机主体180。照相机主体180包括快门单元113。快门驱动控制单元114控制对快门单元113的驱动。摄像单元115包括图像传感器，并且通过对在穿过透镜组之后形成的光学图像进行光电转换来输出电信号。摄像信号处理单元116进行用于将从摄像单元115输出的电信号转换为视频信号的处理。视频信号处理单元117根据期望用途来处理从摄像信号处理单元116输出的视频信号。例如，视频信号处理单元117根据电子图像模糊校正控制单元123的校正量来改变视频信号的剪切位置。电子图像模糊校正控制单元123是第二图像模糊校正部件，并且通过剪切图像来控制图像模糊校正。

显示单元118基于从视频信号处理单元117输出的信号来根据需要显示图像。存储单元119存储诸如视频信息等的各种类型的数据。电源单元120根据期望用途向整个系统提供电源。照相机操作单元121是用户在操作照相机系统时使用的操作单元，并且向照相机系统控制单元124输出操作信号。照相机抖动检测单元122检测照相机的抖动量，并且将检测到的信号输出到照相机系统控制单元124。照相机系统控制单元(在下文中称为照相机控制单元)124包括CPU，并且整体地控制整个照相机系统。照相机控制单元124经由照相机通信控制单元125与可更换镜头150的镜头通信控制单元112通信。也就是说，在可更换镜头150附接到并电连接到照相机主体180的状态下，经由镜头通信控制单元112和照相机通信控制单元125进行相互通信。

接下来，描述以上述方式配置的数字照相机系统100的一般操作。镜头操作单元109和照相机操作单元121包括图像模糊校正开关，经由该图像模糊校正开关可选择图像模糊校正的开启/关闭。一旦用户通过操作图像模糊校正开关针对图像模糊校正选择了开启，则镜头控制单元111或照相机控制单元124指示光学图像模糊校正控制单元106或电子图像模糊校正控制单元123进行图像模糊校正操作。各个图像模糊控制单元控制图像模糊校正，直到发出用于关闭图像模糊校正的指令为止。

结合图像模糊校正，照相机操作单元121还包括图像模糊校正模式开关，经由该图像模糊校正模式开关可选择第一模式和第二模式。第一模式是通过使用光学图像模糊校正(第一图像模糊校正)和电子图像模糊校正(第二图像模糊校正)这两者来进行图像模糊校正的模式。在选择了第一模式的情况下，通过光学(基于光学的)图像模糊校正和电子(基于电子的)图像模糊校正之间的协作来进行校正，可以实现更宽的校正角度。此外，可以通过减小视频信号的剪切范围、并且根据视频信号处理单元117中的图像模糊校正量改变剪切位置，来解决更大的抖动。

照相机操作单元121包括释放按钮，其以使得第一开关(SW1)和第二开关(SW2)根据按压量按顺序接通的方式来配置。在用户按下了释放按钮约一半的情况下，第一开关SW1接通，以及在用户已经将释放按钮按到最后的情况下，第二开关SW2接通。一旦第一开关SW1已经接通，调焦驱动控制单元108通过驱动调焦单元107来进行调焦，并且光圈驱动控制单元104通过驱动光圈单元103来设置适当的曝光量。一旦第二开关SW2已经接通，从已经由摄像单元115曝光的光学图像获得的图像数据被存储到存储单元119中。

照相机操作单元121还包括运动图像记录开关。在按下运动图像记录开关之后，照相机开始拍摄运动图像，并且当用户在记录期间再次按下运动图像记录开关时结束记录。当用户在拍摄运动图像期间通过操作释放按钮来接通第一开关SW1和第二开关SW2时，执行用于在记录运动图像期间获得和记录静止图像的处理。照相机操作单元121还包括再现模式选择开关，经由该再现模式选择开关可选择再现模式。在通过操作再现模式选择开关选择了再现模式的情况下，照相机停止图像模糊校正操作。

照相机操作单元121还包括用于改变照相机的摄像帧频的部件。照相机可以根据用户操作来改变摄像帧频以及选择低速和高速帧频。

接下来，描述由镜头控制单元111和照相机控制单元124执行的图像模糊校正控制。

图2是用于描述通过基于数字照相机系统100的抖动信息而驱动光学图像模糊校正单元(第一图像模糊校正单元211)和电子图像模糊校正单元(第二图像模糊校正单元214)来进行图像模糊校正的控制的框图。在本实施例中，通过使用设置在可更换镜头中作为抖动检测部件的角速度传感器(第一抖动检测部件)计算用于图像模糊校正的校正量，来驱动第一图像模糊校正单元211。同时，通过经由通信将用于在第二图像模糊校正单元214中进行图像模糊校正的校正量从可更换镜头150发送到照相机主体180来驱动第二图像模糊校正单元214。也就是说，可更换镜头150和照相机主体180分别作为主装置和从装置而工作，从而形成图像模糊校正系统。注意，第一图像模糊校正单元211包括图1的图像模糊校正单元105和光学图像模糊校正控制单元106。此外，第二图像模糊校正单元214包括图1中的视频信号处理单元117和电子图像模糊校正控制单元123。

图2的角速度传感器201被包括在图1的镜头抖动检测单元110中，检测数字照相机系统100的抖动的角速度，并输出与该角速度相对应的电压。从角速度传感器输出的电压由A/D转换器202转换为数字角速度数据，并提供给图像模糊校正量计算单元203。

图像模糊校正量计算单元203计算用于校正由数字照相机系统100的抖动引起的图像模糊的校正量。数字照相机系统100包括两个图像模糊校正单元：第一图像模糊校正单元211和第二图像模糊校正单元214。然而，不计算这两个图像模糊校正单元各自的校正量，而是计算整个数字照相机系统100的图像模糊校正量作为图像模糊校正量计算单元203所计算出的图像模糊校正量。

图3是用于描述图像模糊校正量计算单元203的详细配置的框图。高通滤波器(在下文中称为HPF)301用于去除角速度传感器201所检测到的角速度数据的DC分量或低频分量。通过在积分器303中进行一阶积分，将已通过HPF301的角速度数据转换为角位移数据。应用不完全积分作为这里所进行的积分计算以防止饱和，并且使用公知的初级低通滤波器(在下文中称为初级LPF)来进行该积分计算。

积分器303所计算出的角位移数据被提供给取景控制单元305和限制器304。限制器304限制角位移数据，使得第一图像模糊校正单元211和第二图像模糊校正单元214不会到达可移动范围的边缘。限制器304所限制的角位移数据被输出为来自图像模糊校正量计算单元203的输出，也就是说，拍摄图像的图像模糊校正量。注意，图像模糊校正量计算单元203所计算出的图像模糊校正量(角位移数据)是第一图像模糊校正单元211和第二图像模糊校正单元214的校正量之和的值。因此，通过将第一图像模糊校正单元211的控制范围和第二图像模糊校正单元214的控制范围相加而获得的位移量被设置为限制器304的限制值。

取景控制单元305判断是否进行了诸如平摇和俯仰等的用户意图的操作，并且进行控制以将角位移数据返回到中央。换句话说，从角速度传感器201所检测到的角速度数据或角位移数据中去除由用户意图的照相机取景引起的抖动分量，并且在执行该意图的取景时进行控制，以校正由照相机抖动引起的图像模糊。

具体地，在限制器304中设置的角位移数据的控制边缘内设置预定阈值，并且在从积分器303输出的角位移数据超过了这些阈值的情况下，判断为已进行平摇。在判断为已进行平摇的情况下，通过增加HPF 301的截止频率而去除更多低频分量来限制角速度数据。可选地，从输入到积分器303的角速度数据中减去偏离，以将来自积分器303的输出返回到中央。可选地，进行控制，以通过增加在积分器303中进行的LPF计算的截止频率来将来自积分器303的输出返回到中央。通过以前述的方式进行控制，即使在已经发生了诸如平摇和俯仰等的用户意图的抖动的情况下，也可以控制图像模糊校正操作，以使其落在第一图像模糊校正单元211和第二图像模糊校正单元214的可移动范围内。

图2的校正量分割单元204将图像模糊校正量计算单元203所计算出的整个系统的图像模糊校正量分割为意图用于第一图像模糊校正单元211中的校正的第一校正量和意图用于第二图像模糊校正单元214中的校正的第二校正量。

图4A和4B是示出校正量分割单元204的示例性配置的图。在图4A中，乘法器401通过将在图像模糊校正量计算单元203中计算出的图像模糊校正量乘以预定比例因子K1来输出第一校正量。这里，将满足下式的比例因子设置为K1。

0≤K1≤1...(表达式1)

在乘法器401中乘以预定比例因子K1之后，图像模糊校正量用作在第一图像模糊校正单元211中进行图像模糊校正时使用的校正量。此外，减法器402从在图像模糊校正量计算单元203中计算出的图像模糊校正量中减去第一校正量，由此计算在第二图像模糊校正单元214中进行图像模糊校正时使用的第二校正量。作为进行上述计算的结果，可以以将第一校正量和第二校正量相加而产生整个系统的图像模糊校正量这样的方式来分割校正量。

注意，尽管图4A示出以预定百分比分割图像模糊校正量的示例，但是可以以频带分割图像模糊校正量。图4B示出用于以频带分割图像模糊校正量的情况的校正量分割单元204的示例性配置。高通滤波器(在下文中称为HPF)403仅允许在图像模糊校正量计算单元203中计算出的图像模糊校正量的高频带通过，并且输出该高频带作为第一校正量。通过从在图像模糊校正量计算单元203中计算出的图像模糊校正量中减去第一校正量(高频带)而提取低频带来获得第二校正量。

返回图2，驱动量转换单元207将第一校正量转换为用于在第一图像模糊校正单元211中适当地进行图像模糊校正的移动量，并将该移动量输出为驱动目标位置。位置传感器212检测第一图像模糊校正单元211的位置信息，并且减法器208通过从驱动目标位置减去第一图像模糊校正单元211的位置信息来获得偏差。该偏差被输入到控制滤波器209，经过诸如增益放大和相位补偿等的各种类型的信号处理，并且被提供给OIS驱动单元210。第一图像模糊校正单元211由OIS驱动单元210驱动；结果，校正光学系统在垂直于光轴的方向上移动。这导致形成反馈回路，由此位置传感器212再次检测移动后的第一图像模糊校正单元211的位置信息，并计算下一偏差数据，并且进行控制以减小驱动目标位置和位置信息之间的差。结果，驱动校正光学系统以跟随驱动目标位置。

在校正分割单元204中计算出的第二校正量经由镜头通信控制单元112和照相机通信控制单元125被发送到照相机主体180。电子校正量转换单元213将从运动矢量转换单元216获得的运动矢量校正量添加到从照相机通信控制单元125接收到的校正量，并将相加的结果输出为剪切目标位置。基于来自摄像信号处理单元116的视频信号中所包括的图像，运动矢量检测单元(第二抖动检测部件)215检测两个方向(即，在垂直于光轴的平面上彼此垂直的水平方向和垂直方向)上的运动矢量。

具体地，运动矢量检测方法的示例包括相关法和块匹配法。这里，假设运动矢量检测单元215采用块匹配法作为其一个示例。在该块匹配法中，首先，将输入图像信号分割为适当大小(例如，16×16像素)的多个块，并且基于每个块计算与先前的场或帧中特定范围内的像素的差。然后，该方法在先前的场或帧中搜索具有这些差的绝对值的最小和的块，并检测该块的相对偏移作为该块的运动矢量(差分抖动检测方法)。结果，基于每个像素获得垂直方向和水平方向上的移动量(即，运动矢量)。这些运动矢量指示每单位时间连续拍摄到的图像的移动量，即，摄像设备的移动量。此外，在无法很好地检测到运动矢量的情况下，判断为发生了运动矢量错误。判断运动矢量错误的方法的一个可能示例使用诸如低亮度信号和作为峰值的检测值等的条件。

运动矢量转换单元216设置垂直方向上的旋转轴Y(横摆(Yaw)轴)和水平方向上的旋转轴X(俯仰(Pitch)轴)，使得这两个轴表示在垂直于光轴的平面上彼此垂直的轴。然后，使用从运动矢量检测单元215输出的运动矢量、以及焦距，来转换作为绕相应的轴的旋转角度的横摆角和俯仰角。注意，运动矢量转换单元216将从运动矢量检测单元215获得的运动矢量与前次的电子校正量之间的差相加在一起，并将相加的结果输出到电子校正量转换单元213。第二图像模糊校正单元214根据电子校正量转换单元213所指定的剪切位置，在垂直于光轴的方向上剪切图像。

以上述方式，第一图像模糊校正单元211和第二图像模糊校正单元214彼此协作操作，以分担整个系统的抖动校正；因此，可以扩大图像模糊校正的校正范围。

现在描述作为本发明要解决的问题的处理负荷的增加等对可更换镜头150和照相机主体180之间的通信的影响。

上述处理负荷的增加的发生是由例如以高速帧频执行摄像和显像处理而引起的。在以高速帧频摄像的情况下，可更换镜头150和照相机主体180之间的通信频次增加。示例包括自动调焦控制、光圈控制和变焦控制等，并且在上述图像模糊校正中的协作操作时的通信(在下文中称为协作通信)也不例外。

可更换镜头150和照相机主体180的CPU的处理能力存在限制，并且存在需要减小协作通信的周期以满足例如以高速帧频进行的摄像和显像处理的情况。在该情况下，无法获得连续的校正量，这导致图像模糊校正效果的降低。图5A示出摄像定时和协作通信定时之间的关系，并且图5B示出在协作通信具有低速周期的情况下摄像定时和协作通信定时之间的关系。如图5B所示，如果存在如在帧1和帧3之间拍摄到的帧(帧2)那样的无法周期地获得抖动量的帧，则无法计算连续的校正量。

此外，除了上述的通过降低协作通信的周期的速度来降低处理负荷之外，还存在需要针对运动矢量设置低速检测周期以满足例如以高速帧频进行的摄像和显像处理的情况。在该情况下，同样地，无法计算连续的校正量，这同样地导致图像模糊校正效果的降低。图6A示出摄像定时和运动矢量检测定时之间的关系，并且图6B示出在运动矢量检测具有低速周期的情况下摄像定时和运动矢量检测定时之间的关系。如图6B所示，存在如在帧1和帧3之间拍摄到的帧(帧2)那样的无法获得抖动量的帧，并且无法计算连续的校正量。

此外，通过在图5B中进行的协作通信而获得的抖动信息检测区间(时间段)与在图6B中进行的运动矢量检测的周期速度降低的情况下获得的抖动信息检测区间(时间段)之间存在差，并且在图6B中获得的运动矢量表示与两个帧相对应的抖动信息。也就是说，与帧3相对应的抖动量(运动矢量)是帧1和帧3之间的差。

作为使用上述两个抖动信息进行图像模糊校正的方法，图7A示出在理想情况下的摄像、协作通信和运动矢量检测之间的关系，以及图7B示出在图像模糊校正效果降低的情况下的摄像、协作通信和运动矢量检测之间的关系。在可更换镜头150和照相机主体180的CPU上的处理负荷大的情况下，如图7B所示进行控制，并且无法计算连续的图像模糊校正量。

考虑到这点，在本实施例中，通过上述低速协作通信的情况和上述运动矢量的低速检测周期的情况的适当组合来生成连续的校正量，从而防止图像模糊校正效果的降低。

图8是示出在电子校正量转换单元213中抑制图像模糊校正效果的降低的同时进行图像模糊校正的情况下，摄像定时、通过具有低速周期的协作通信的图像模糊校正量的获得、以及基于具有低速检测周期的运动矢量的图像模糊校正量的获得之间的关系的图。在图8中，在图7B中无法获得的帧的抖动可以通过对通过协作通信所获得的抖动和使用运动矢量所检测到的抖动重叠的时间段进行偏移来计算。通过协作通信获得抖动的定时和获得使用运动矢量所检测到的抖动的定时之间的偏移是恒定的。也就是说，对于前一帧，根据通过协作通信所获得的抖动量来计算图像模糊校正量，并且对于下一帧，通过从与两个检测到的帧相对应的运动矢量中减去针对该前一帧所计算出的图像模糊校正量来计算图像模糊校正量。以这种方式，可以计算连续的校正量。也就是说，对于一帧，使用通过协作通信所获得的来自角速度传感器201的输出进行图像模糊校正，并且对于下一帧(即，通过协作通信获得抖动信息的下一图像或其之后的图像)，使用基于运动矢量所计算出的图像模糊校正量来进行图像模糊校正。这些操作以每帧为单位交替进行。换句话说，当交替产生未从角速度传感器获得抖动信息的帧(帧2、4)以及未根据运动矢量获得抖动信息的帧(帧1、3、5)时，控制定时使得可以针对每一帧获得这些类型的抖动信息其中之一。

下面参考图8以及图9的流程图描述图像模糊校正量计算方法的一个示例。注意，图9中所示的处理按诸如摄像周期等的任意预定周期重复执行；在本实施例中，假设使用摄像周期。

首先，在步骤S101中，照相机控制单元124判断是否降低协作通信的周期的速度。在本实施例中，判断是否根据以每帧为单位根据处理负荷来进行协作通信。在判断为不要进行协作通信的帧的情况下，处理进行到步骤S102；在判断为要进行协作通信的帧的情况下，处理进行到步骤S104。注意，在本实施例中，假设交替地布置进行协作通信的帧和不进行协作通信的帧。

现在描述在步骤S101中判断为不要进行协作通信的情况。在步骤S102中，获得运动矢量，并且处理进行到步骤S103。这里，由于前次执行的步骤S102比当前步骤提前两帧，因此可以获得与两帧相对应的运动矢量B1。在步骤S103中，如表达式2所示，通过计算在一帧之前在步骤S109中计算出的校正量A1和前次图像模糊校正量C1_old之间的差与在步骤S102中获得的运动矢量B1之间的差，并且通过对计算出的差进行积分来计算图像模糊校正量C1。

C1＝∫(B1-(A1-C1_old))...(表达式2)

限制所计算出的图像模糊校正量C1，以落在能够由第二图像模糊校正单元214校正的范围内，并且计算已经应用了平摇处理等的校正量；然后，处理进行到步骤S110。

接下来，描述在步骤S101中判断为要进行协作通信的情况。在步骤S104中，照相机控制单元124将诸如可以在第二图像模糊校正单元214中应用图像模糊校正的限制器信息、快门速度和曝光时间段等的摄像信息从照相机主体180发送到可更换镜头150，并且处理进行到步骤S105。在步骤S105中，镜头控制单元111接收从照相机主体180发送的数据，并且处理进行到步骤S106。

在步骤S106中，镜头控制单元111使用图2中的角速度传感器201检测照相机相对于横摆轴和俯仰轴的抖动。注意，由于来自角速度传感器201的抖动信息是角速度，因此对其应用HPF以去除低频分量，在积分器中将角速度转换为角位移数据，并且处理进行到步骤S107。

在步骤S107中，镜头控制单元111生成在第一图像模糊校正单元211和第二图像模糊校正单元214中所使用的图像模糊校正量，并分割图像模糊校正量。在本实施例中，作为图像模糊校正量计算方法，在表示第一图像模糊校正单元211和第二图像模糊校正单元214可以进行校正的范围之和的范围内计算校正量；此外，作为分割方法的一个示例，根据各个校正范围的百分比来分割校正量。在使用在第一图像模糊校正单元211中所使用的计算出的经分割的校正量来进行图像模糊校正的情况下，处理进行到步骤S108。此外，在使用在第二图像模糊校正单元214中所使用的计算出的经分割的校正量来进行图像模糊校正的情况下，将校正量从可更换镜头150发送到照相机主体180，并且处理进行到步骤S109。

在步骤S108中，镜头控制单元111通过使用在步骤S107中计算出的校正量控制第一图像模糊校正单元211，来进行图像模糊校正。

在步骤S109中，照相机控制单元124接收已从可更换镜头150发送到照相机主体180的数据，并且处理进行到步骤S110。在步骤S110中，照相机控制单元111通过使用在步骤S103或步骤S109中计算并获得的校正量控制第二图像模糊校正单元214，来进行图像模糊校正。

注意，已经针对使用第一图像模糊校正单元211和第二图像模糊校正单元214这两者进行图像模糊校正的情况提供实施例的上述描述。然而，只要照相机主体180能够在图9的步骤S107和步骤S109中接收到在可更换镜头150侧检测到的抖动量，就可以不通过可更换镜头150上的第一图像模糊校正单元211进行图像模糊校正，并且可以仅通过第二图像模糊校正单元210进行图像模糊校正。

如上所述，根据本实施例，即使在出于减少处理负荷的目的而减少了协作通信和抖动信息(诸如运动矢量等)的检测周期的情况下，也可以计算连续的图像模糊校正量。以这种方式，可以抑制图像模糊校正效果的降低，并且可以进行适当的图像模糊校正。也就是说，即使在使用例如高速帧频的高负荷处理时，也可以通过照相机和镜头之间的协作来实现适当的图像模糊校正控制。

(第二实施例)

图10是示出与第一实施例不同的电子校正量转换单元213的处理的图；该图是示出摄像定时、通过通信周期降低的协作通信的图像模糊校正量的获得、以及通过检测周期降低的运动矢量检测的图像模糊校正量的获得之间的关系的图。

在第一实施例中，以两帧(即，前一帧和下一帧)为单位进行处理；也就是说，每两帧进行一次用于协作通信和运动矢量检测的处理。在本实施例中，以三帧为单位进行处理；也就是说，协作通信的频次为每三帧两次，并且运动矢量检测的频次为每三帧一次。在这种情况下，通过协作通信的抖动的检测周期变得比帧的摄像周期长(通过协作通信的抖动的检测频次变得比帧图像的摄像频次低)。以这种方式，可以在减少与协作通信相关联的处理负荷的同时，与第一实施例相比减少与运动矢量检测相关联的处理负荷。

下面参考图10以及图11的流程图描述图像模糊校正量计算方法的一个示例。注意，与图9中的成分相同的成分也被给予相同的附图标记，并且省略其描述。按诸如摄像周期等的任意预定周期重复执行图11所示的处理；在本实施例中，假设使用摄像周期。

首先，在步骤S201中，照相机控制单元124判断是否已经连续两帧执行协作通信。在判断为已经连续两帧以下执行协作通信的情况下，处理进行到步骤S104；在判断为已经连续两帧以上执行协作通信的情况下，处理进行到步骤S202。

在步骤S202中，照相机控制单元214获得运动矢量，并且处理进行到步骤S203。这里，由于前次执行的步骤S202比当前步骤提前三帧，因此可以获得与三帧相对应的运动矢量C2。在步骤S203中，如表达式3所示，通过计算在一帧之前和两帧之前在步骤S109中计算出的校正量A2和B2之间的差、与前次图像模糊校正量D2_old的差、以及与在步骤S202中获得的运动矢量C2的差，并通过进行积分，来计算图像模糊校正量D2。

D2＝∫(C2-((B2-A2)+(A2-D2_old)))...(表达式3)

限制计算出的图像模糊校正量D2，以落在可以由第二图像模糊校正单元214校正的范围内，并且计算已经应用了平摇处理等的校正量；然后，处理进行到步骤S110。

如上所述，根据本实施例，即使在出于减少处理负荷的目的而不均匀地减少了协作通信和抖动信息(诸如运动向量等)的检测周期的情况下，也可以计算连续的图像模糊校正量。以这种方式，可以在抑制图像模糊校正效果的降低的同时进行适当的图像模糊校正。也就是说，即使在使用例如高速帧频的高负荷处理时，也可以通过照相机和镜头之间的协作来实现适当的图像模糊校正控制。

在第一实施例中，照相机控制单元214以交替产生通过协作通信获得抖动信息的帧、以及基于运动矢量获得抖动信息的帧的方式，控制抖动信息的获得。此外，在本实施例中，以如下方式控制抖动信息的获得：在连续两次产生通过协作通信获得抖动信息的帧之后，产生基于运动矢量获得抖动信息的帧一次。两个定时的偏移方法不限于上述方法，只要以如下的方式进行控制即可：通过协作通信获得抖动信息的定时和基于运动矢量获得抖动信息的定时之间的偏移是恒定的，使得可以获得连续的校正量。为了使两个定时之间的偏移恒定，使基于协作通信的抖动信息的获得周期与基于运动矢量的抖动信息的获得周期一致就足够了。注意，抖动信息的获得周期表示涉及获得抖动信息的帧和未获得抖动信息的帧的周期。例如，在如本实施例中的那样在连续两次产生通过协作通信获得抖动信息的帧之后、产生未通过协作通信获得抖动信息的帧一次，并且重复多次的情况下，基于协作通信的抖动信息的获得周期为三帧。同样地，在连续两次产生未获得基于运动矢量的抖动信息的帧之后、产生获得基于运动矢量的抖动信息的帧一次，并且重复多次的情况下，基于运动矢量的抖动信息的获取周期为三帧。此外，尽管在第一实施例和本实施例中，仅与各个帧相对应地获得基于协作通信的抖动信息和基于运动矢量的抖动信息其中之一，但是可以存在获得这两种类型的抖动信息的帧。就处理负荷而言，获得这两种类型的抖动信息的帧的模式更为不利；然而，例如，由于可能存在基于协作通信的抖动信息以及基于运动矢量的抖动信息在除抖动校正之外的操作中变得必要的定时，因此可能存在获得这两种类型的抖动信息的定时。

注意，尽管已经针对角速度传感器用作抖动检测部件的一个示例的情况提供了各个实施例的上述描述，但是也可以使用其它抖动检测部件。例如，可以使用加速度传感器根据加速度来计算抖动量，并且可以通过使用多个传感器的组合检测抖动来计算照相机系统的抖动量。

此外，以上描述了使构成可更换镜头的一些透镜在垂直于光轴的方向上移动的透镜移位方法、以及使拍摄图像在垂直于光轴的方向上移动的图像剪切，作为图像模糊校正部件的示例。然而，允许使用通过使用例如使图像传感器在垂直于光轴的方向上移动的图像传感器移位来校正图像模糊的方法。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应给予最广泛的解释，以涵盖所有这样的修改以及等效的结构与功能。

Claims (20)

1.一种图像模糊校正设备，包括：

获得部件，用于获得来自用于检测抖动的多个抖动检测部件的抖动信息；

多个图像模糊校正量计算部件，包括：

第一图像模糊校正量计算部件，用于基于所述获得部件所获得的来自第一抖动检测部件的抖动信息，计算分别与多个连续图像中所包括的部分图像相对应的图像模糊校正量，以及

第二图像模糊校正量计算部件，用于基于所述获得部件所获得的来自第二抖动检测部件的抖动信息，使用与所述第一图像模糊校正量计算部件所使用的方法不同的方法，来计算分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量；以及

控制部件，用于控制所述多个图像模糊校正量计算部件，使得所述多个图像模糊校正量计算部件其中至少之一分别与多个连续拍摄图像相对应地获得图像模糊校正量，并且使得周期地产生由所述多个图像模糊校正量计算部件中的所述第一图像模糊校正量计算部件计算图像模糊校正量的图像、以及由所述多个图像模糊校正量计算部件中的所述第二图像模糊校正量计算部件计算图像模糊校正量的图像。

2.根据权利要求1所述的图像模糊校正设备，其中，

所述获得部件通过通信获得来自所述第一抖动检测部件的抖动信息。

3.根据权利要求1所述的图像模糊校正设备，还包括：

图像模糊校正控制部件，用于基于所述多个图像模糊校正量计算部件所计算出的图像模糊校正量来控制拍摄图像的图像模糊校正。

4.根据权利要求3所述的图像模糊校正设备，其中，

所述图像模糊校正控制部件控制用于电子地校正所述多个连续拍摄图像的图像模糊的电子图像模糊校正。

5.根据权利要求4所述的图像模糊校正设备，其中，

所述图像模糊校正控制部件还控制用于光学地校正所述拍摄图像的图像模糊的校正部件。

6.根据权利要求1所述的图像模糊校正设备，其中，

所述第二抖动检测部件是用于根据所述多个连续拍摄图像之间的差来检测抖动的差分抖动检测部件。

7.根据权利要求6所述的图像模糊校正设备，其中，

所述第二抖动检测部件基于不能通过至少所述第一图像模糊校正量计算部件获得相应的图像模糊校正量的图像来获得所述差。

8.根据权利要求1所述的图像模糊校正设备，其中，

所述获得部件按比拍摄所述多个连续图像的第一周期长的第二周期获得来自所述第一抖动检测部件的抖动信息。

9.根据权利要求1所述的图像模糊校正设备，其中，

所述获得部件按比拍摄所述多个连续图像的第一周期长的第三周期获得来自所述第二抖动检测部件的抖动信息。

10.根据权利要求1所述的图像模糊校正设备，其中，

所述控制部件控制所述多个图像模糊校正量计算部件，使得如下的两个周期相一致，即，涉及所述第一图像模糊校正量计算部件计算相应的图像模糊校正量的图像和所述第一图像模糊校正量计算部件未计算相应的图像模糊校正量的图像的周期、以及涉及所述第二图像模糊校正量计算部件计算相应的图像模糊校正量的图像和所述第二图像模糊校正量计算部件未计算相应的图像模糊校正量的图像的周期。

11.根据权利要求10所述的图像模糊校正设备，其中，

所述多个图像模糊校正量计算部件包括由所述第一图像模糊校正量计算部件和所述第二图像模糊校正量计算部件表示的两个图像模糊校正量计算部件，以及

所述控制部件控制所述多个图像模糊校正量计算部件，使得交替产生由所述第一图像模糊校正量计算部件计算图像模糊校正量的图像、以及由所述第二图像模糊校正量计算部件计算图像模糊校正量的图像。

12.根据权利要求1所述的图像模糊校正设备，其中，

所述第二抖动检测部件是用于根据所述多个连续拍摄图像之间的差来检测抖动的差分抖动检测部件，以及

所述第二图像模糊校正量计算部件根据来自所述第二抖动检测部件的基于第一图像和第二图像之间的差的抖动信息、以及来自所述第一抖动检测部件的与在所述第一图像和所述第二图像之间拍摄的第三图像相对应的抖动信息，来计算与所述第一图像相对应的图像模糊校正量，其中对于所述第一图像，不能获得来自所述第一抖动检测部件的相应抖动信息。

13.根据权利要求12所述的图像模糊校正设备，其中，

所述第三图像是在所述第一图像之前拍摄的图像。

14.根据权利要求1所述的图像模糊校正设备，其中，

在拍摄所述多个连续图像的第一周期短于预定值的情况下，所述控制部件控制所述多个图像模糊校正量计算部件，使得所述多个图像模糊校正量计算部件其中至少之一分别与所述多个连续拍摄图像相对应地计算图像模糊校正量。

15.一种摄像设备，包括：

摄像部件，用于拍摄多个连续图像；

根据权利要求1所述的图像模糊校正设备；

第二抖动检测部件；以及

图像模糊校正部件，用于基于所述多个图像模糊校正量计算部件所获得的图像模糊校正量来针对所述多个连续图像进行图像模糊校正，

其中，所述获得部件通过按比拍摄所述多个连续图像的第一周期长的第二周期的通信来获得所安装的镜头设备中所包括的所述第一抖动检测部件的检测结果。

16.根据权利要求15所述的摄像设备，其中，

所述第一图像模糊校正量计算部件按所述第二周期计算图像模糊校正量。

17.一种摄像设备，包括：

摄像传感器，用于按第一周期拍摄多个连续图像；

抖动检测部件，用于基于所述多个连续图像来检测抖动；

多个图像模糊校正量获得部件，包括：

第一图像模糊校正量获得部件，用于基于通过通信从所安装的镜头设备获得的抖动信息，获得分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量，以及

第二图像模糊校正量获得部件，用于基于所述抖动检测部件的检测结果以及通过通信获得的抖动信息，使用与所述第一图像模糊校正量获得部件所使用的方法不同的方法，来获得分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量；以及

图像模糊校正部件，用于基于所述多个图像模糊校正量获得部件所获得的图像模糊校正量，针对所述多个连续图像进行图像模糊校正，

其中，所述多个图像模糊校正量获得部件其中至少之一分别与所述多个连续图像相对应地获得图像模糊校正量。

18.一种图像模糊校正设备的控制方法，所述控制方法包括：

获得来自用于检测抖动的多个抖动检测部件的抖动信息；

基于所获得的来自所述多个抖动检测部件的抖动信息来计算拍摄图像的图像模糊校正量；以及

控制所述获得，使得与多个连续拍摄图像中的各个拍摄图像相对应地获得来自所述多个抖动检测部件其中至少之一的抖动信息，并且使得周期地产生不能获得来自所述多个抖动检测部件中的第一抖动检测部件的相应抖动信息的图像、以及不能获得来自所述多个抖动检测部件中的第二抖动检测部件的相应抖动信息的图像。

19.一种摄像设备的控制方法，所述摄像设备具有用于按第一周期拍摄多个连续图像的摄像传感器，所述控制方法包括：

基于所述多个连续图像来检测抖动；

获得多个图像模糊校正量，包括：

第一获得，用于基于通过通信从所安装的镜头设备获得的抖动信息，获得分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量，以及

第二获得，用于基于抖动检测结果和通过通信获得的抖动信息，使用与所述第一获得所使用的方法不同的方法，来获得分别与所述多个连续图像中所包括的部分图像相对应的图像模糊校正量；以及

基于通过所述获得而获得的图像模糊校正量，针对所述多个连续图像进行图像模糊校正，

其中，在所述多个图像模糊校正量的获得中的至少之一中，分别与所述多个连续图像相对应地获得图像模糊校正量。

20.一种存储有程序的计算机可读存储介质，所述程序用于使得计算机执行根据权利要求18或19所述的控制方法的各个步骤。

Images