CN108668074B - 图像模糊校正装置及其控制方法、摄像设备和存储介质 - Google Patents

Abstract

本发明提供图像模糊校正装置及其控制方法、摄像设备和存储介质。根据本发明的方面，该图像模糊校正装置包括：存储器；以及至少一个处理器，其根据所述存储器中所存储的程序来进行工作。所述至少一个处理器包括：检测单元，用于基于所拍摄的图像来检测图像的运动量；计算单元，用于基于检测单元所检测到的图像的运动量以及抖动检测单元所检测到的抖动的检测信号来计算被摄体的运动量；控制单元，用于基于计算单元所计算出的所述被摄体的运动量来控制所述图像模糊校正单元。

Description

图像模糊校正装置及其控制方法、摄像设备和存储介质

技术领域

本发明涉及图像模糊校正装置、摄像设备、摄像设备的控制方法和非暂时性存储介质。

背景技术

作为照相机的一种摄像方法，存在摇摄。摇摄是用于将快门速度设置成缓慢并且在使照相机追踪例如沿水平方向移动的被摄体的运动的同时拍摄图像、以获得被摄体的活动感的方法。在摇摄中，在被摄体的运动和照相机的运动之间发生抖动的情况下，产生被摄体模糊。随着快门速度越慢，背景中的摇摄量增加。因而，可以获得被摄体的活动感。然而，容易产生图像模糊或被摄体模糊。

因此，考虑两种摄像辅助功能来简单实现摇摄。第一种辅助功能是用于检测被摄体的运动和照相机的运动之间的抖动并且利用光学校正系统来校正与该抖动相对应的被摄体模糊的功能(以下称为第一辅助功能)。第二种辅助是用于自动设置照相机中的快门速度的功能(以下称为第二辅助功能)。将具有这两种辅助功能的摄像模式称为“摇摄辅助模式”(以下称为摇摄辅助)。

日本特开2006-317848公开了如下的摄像设备，其中该摄像设备针对第一辅助功能、检测被摄体的速度和照相机的抖动速度之间的差并使用图像模糊校正功能校正与该差相当的图像模糊。

日本特开2006-317848中所公开的摄像设备使用运动矢量和角速度来检测利用运动矢量所检测到的矢量中的与被摄体相当的矢量(以下称为被摄体矢量)，并且检测被摄体的速度和照相机的抖动速度之间的差。被摄体的速度和照相机的抖动速度之间的差与所检测到的被摄体的运动和照相机的运动之间的抖动相对应。用于检测运动矢量的方法的已知示例是基于相关运算操作的相关法和块匹配法。在块匹配法中，将所输入的图像信号划分成具有适当大小的多个块区域，并且针对各块检测运动矢量。首先，将图像信号划分成多个块区域，以块为单位计算与前一帧的差，并且检索所计算出的差的绝对值之和最小的前一帧的块。然后，当前帧的特定块与所检索出的差的绝对值之和最小的前一帧的块的画面之间的相对偏差表示该块的运动矢量。

然而，例如，在诸如纯白墙壁等的不具有特征点的图案的矢量检测中，在一些情况下误检测出运动矢量。在误检测出运动矢量的情况下，无法正确地计算光学校正系统的驱动量。因此，存在被摄体模糊校正被过度控制的担忧。

发明内容

本发明提供用于在校正被摄体的图像模糊的图像模糊校正中高精度地检测画面内的被摄体的运动量的技术。

根据本发明的一方面，一种图像模糊校正装置，其通过使用图像模糊校正单元来校正被摄体图像的模糊，所述被摄体图像是摄像单元经由摄像光学系统所拍摄得到的，所述图像模糊校正装置包括：存储器；以及至少一个处理器，其根据所述存储器中所存储的程序来进行操作，其中，所述至少一个处理器包括：检测单元，用于基于所拍摄的图像来检测图像的运动量；计算单元，用于基于所述检测单元所检测到的图像的运动量以及抖动检测传感器所检测到的抖动的检测信号来计算被摄体的运动量；控制单元，用于基于所述计算单元所计算出的所述被摄体的运动量来控制所述图像模糊校正单元，其中，所述检测单元基于多个设置来检测图像的运动量，判断基于所述多个设置所检测到的图像的运动量之间的相关性，并基于所述相关性来确定要用于检测图像的运动量的设置。

根据本发明的一方面，一种摄像设备，包括：上述图像模糊校正装置；摄像单元；以及图像模糊校正单元，其中，所述图像模糊校正单元包括校正透镜，所述校正透镜用于通过改变来自所述被摄体的光的成像位置来校正所述被摄体图像的模糊。

根据本发明的一方面，一种图像模糊校正装置的控制方法，所述图像模糊校正装置通过使用图像模糊校正单元来校正被摄体图像的模糊，所述被摄体图像是摄像单元经由摄像光学系统所拍摄得到的，所述控制方法包括：检测步骤，用于基于所拍摄的图像来检测图像的运动量；计算步骤，用于基于所述检测步骤所检测到的图像的运动量以及抖动检测传感器所检测到的抖动的检测信号来计算被摄体的运动量；基于所述计算步骤所计算出的所述被摄体的运动量来控制所述图像模糊校正单元，其中，所述检测步骤包括：基于设置来检测图像的运动量，判断基于所述设置所检测到的图像的运动量之间的相关性，以及基于所述相关性来确定要用于检测图像的运动量的设置。

根据本发明的一方面，一种非暂时性存储介质，其存储用于使计算机执行上述控制方法的计算机程序。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出摄像设备的结构的图。

图2是示出光学校正系统的控制框图。

图3是示出摇摄摄像时矢量检测的说明图。

图4A和4B是示出被摄体矢量检测的说明图。

图5是示出摇摄摄像时被摄体的角速度的说明图。

图6是示出运动矢量检测单元中难以应对的场景的说明图。

图7A和7B是示出运动矢量检测单元的检测设置的说明图。

图8A和8B是示出运动矢量检测单元的检测设置中的相关性的说明图。

图9是示出摇摄辅助整体的流程图。

图10是示出摇摄辅助的第一辅助功能的流程图。

图11是示出摇摄辅助的第二辅助功能的流程图。

具体实施方式

图1是示出根据实施例的摄像设备1的结构的图。将说明具有支持摇摄的摇摄辅助功能的数字照相机作为能够在照相机主体131上安装可更换镜头100上的摄像系统的示例。将设置摇摄辅助的控制模式称为“摇摄辅助模式”。

可更换镜头100包括摄像透镜单元101。摄像透镜单元101包括主摄像光学系统102、能够改变焦距的变焦透镜组103、以及用于图像模糊校正的移位透镜组104。移位透镜组(以下还简称为移位透镜)104具有用于通过改变来自被摄体的光形成为图像的位置来校正图像模糊的校正透镜的作用。通过沿与摄像透镜单元101的光轴垂直的方向移动移位透镜104，可以光学地校正由于摄像设备1的抖动而导致的相对于光轴的图像的模糊。

可更换镜头100还包括变焦编码器(编码器)106、位置检测传感器105和角速度传感器111。变焦编码器106检测变焦透镜组103的位置。位置检测传感器105检测移位透镜组104的位置。角速度传感器111是作为用于检测摄像设备1的抖动的抖动检测单元的示例的陀螺仪传感器等，并且输出抖动的检测信号。

可更换镜头100还包括镜头控制单元112、驱动器113和放大器(AMP)114。镜头控制单元112包括用于镜头系统控制的微计算机。镜头控制单元112经由驱动器113对移位透镜组104进行驱动控制。放大器114放大移位透镜组104的位置检测传感器105的输出，并且将位置检测信号输出至镜头控制单元112。

可更换镜头100还包括安装触点单元115，并且连接至照相机主体131的安装触点单元144。镜头控制单元112包括第一控制单元和第二控制单元。第一控制单元是进行图像模糊校正控制的图像模糊校正控制单元121。第二控制单元是进行摇摄辅助的控制的摇摄控制单元122。镜头控制单元112还通过移动调焦透镜来进行焦点调节控制或光圈控制等，为了简化附图而将其省略。在图像模糊校正控制单元121所进行的图像模糊校正中，例如针对例如水平方向和垂直方向两个正交轴，检测模糊并校正该模糊。由于关于这两个轴结构相同，因此将仅说明一个轴。这样，根据本实施例的摄像设备1包括用于通过沿与光轴垂直的方向移动光学元件(移位透镜)来校正图像模糊的图像模糊校正装置。图像模糊校正方法可以是用于沿与光轴垂直的方向移动以下将说明为校正元件的图像传感器133的方法，而不是用于沿与光轴垂直的方向移动用作校正元件的移位透镜104的方法。这同样适用于第一辅助功能。

照相机主体131包括用于控制曝光时间的快门132、图像传感器133、模拟信号处理电路(AFE)134和照相机信号处理电路135。图像传感器133例如是互补金属氧化物半导体(CMOS)型图像传感器，并且接收经由摄像光学系统而被形成为图像的来自被摄体的光，并经由光电转换输出电气信号。模拟信号处理电路(AFE)134处理图像传感器133所输出的信号，并且将处理后的信号供给至照相机信号处理电路135。

照相机信号处理电路135包括运动矢量检测单元151。运动矢量检测单元151基于图像传感器133所输出的信号来检测被摄体的运动。照相机信号处理电路135处理图像传感器133所输出的信号，将记录用信号输出至存储卡140，并且将显示用信号输出至显示单元141。

存储卡140是用于记录所拍摄的视频的信号的记录介质，并且能够可拆卸地安装至照相机主体131。显示单元141包括诸如液晶面板(LCD)等的显示装置。显示单元141进行用户利用照相机期望拍摄的图像的监视显示，并且将所拍摄的图像显示在画面上。显示单元141可以包括在照相机主体131内，或者可以是用于显示来自照相机信号处理电路135的输出的外部装置。

照相机主体131还包括时序发生器(TG)136和操作单元142。TG 136设置图像传感器133或模拟信号处理电路134的操作定时。操作单元142包括电源开关、释放开关和选择器开关。用户可以操作选择器开关，以使得能够设置摇摄辅助模式。

照相机主体131还包括照相机控制单元143、驱动器138、快门驱动马达139和快门132。照相机控制单元143包括用于照相机系统控制的微计算机，并控制摄像系统的各构成单元。照相机控制单元143还包括快门控制单元161、被摄体角速度计算单元162和快门速度计算单元163。快门控制单元161经由驱动器138来控制快门驱动马达139，以控制快门132的操作。被摄体角速度计算单元162计算主被摄体的角速度。快门速度计算单元163计算设置摇摄辅助模式时的快门速度。

照相机主体131还包括与可更换镜头100的安装触点单元144和角速度传感器171。镜头控制单元112和照相机控制单元143在预定定时经由安装触点单元115和144来进行串行通信。角速度传感器171检测照相机主体131的抖动，并且将抖动的检测信号输出至照相机控制单元143。

在图1的摄像系统中，在用户操作操作单元142的电源开关以接通照相机的电源时，照相机控制单元143检测到状态改变。照相机控制单元143对照相机主体131的各电路进行电力供给和初始设置。向可更换镜头100供给电力，并且镜头控制单元112进行可更换镜头100内的初始设置。在照相机控制单元143和镜头控制单元112进入可通信状态之后，在预定定时开始照相机控制单元143和镜头控制单元112之间的通信。在从照相机控制单元143向镜头控制单元112的通信中，发送照相机状态和摄像设置信息等。在从镜头控制单元112向照相机控制单元143的通信中，发送可更换镜头100的焦距信息和角速度信息等。

用户可以通过操作操作单元142的选择器开关来改变正常模式和摇摄辅助模式。正常模式是指没有设置摇摄辅助模式的模式。在选择了正常模式的情况下，可更换镜头100内的角速度传感器111检测由于手抖动等而施加至照相机的抖动。图像模糊校正控制单元121使用角速度传感器111所检测到的信号来进行移位透镜组104的驱动控制。因而，进行图像模糊校正操作以降低所拍摄的图像的图像模糊。

将参考图2来说明图像模糊校正功能。图2是示出与图像模糊校正和摇摄辅助操作有关的结构的图。与图1共通的结构将赋予已经使用的附图标记，并且将省略其详细说明。

图像模糊校正控制单元121包括偏移去除单元201、增益相位计算单元202、积分器203、图像模糊校正控制判断单元204、减法器205、A/D转换器206、控制器207和脉冲宽度调制单元208。偏移去除单元201去除角速度传感器111的角速度检测信号中所包括的偏移。偏移去除单元201利用包括例如高通滤波器(HPF)的滤波运算操作单元来去除来自角速度传感器111的输出中所包括的直流成分。

增益相位计算单元202获取来自偏移去除单元201的输出，并且进行放大和相位补偿。增益相位计算单元202包括相位补偿滤波器和用于以预定增益对去除了偏移成分的角速度信号进行放大的放大器。积分器203对来自增益相位计算单元202的输出进行积分。积分器203具有能够利用任意频带改变特性的功能，并且计算移位透镜组104的驱动量。

图像模糊校正控制单元121进行摄像设备1的摇摄(或者俯仰)的判断处理。例如，在由角速度传感器111的检测信号表示的角速度具有等于或大于预定阈值的大小并且经过了预定时间(判断用的阈值时间)的情况下，判断为正进行摇摄操作。在这种情况下，进行用于在高频侧逐渐改变偏移去除单元201内的HPF的截止频率的处理。进行以下控制：使得通过将截止频率向高频侧逐渐改变并逐渐降低图像模糊校正控制的目标信号，来使移位透镜返回至光学中心位置。在不进行该控制的情况下，利用判断出摇摄操作的大程度的抖动的角速度检测信号来进行相位模糊校正。结果，存在移位透镜到达校正限制点(控制范围的限制位置)时拍摄者在画面上看到不自然的视角变化的可能性。通过进行在高频侧逐渐改变HPF的截止频率的处理，可以防止这种现象发生。

图像模糊校正控制判断单元(以下还称为控制判断单元)204获取积分器203和后述的积分器255的输出，并且根据来自照相机信息获取单元226的输出来切换用于驱动移位透镜的信号。在摄像模式被设置成摇摄辅助模式的情况下，控制判断单元204选择摇摄控制单元122所计算出的来自积分器225的输出。在摄像模式被设置成摇摄辅助模式以外的模式的情况下，控制判断单元204选择图像模糊校正控制单元121所计算出的来自积分器203的输出。稍后将说明积分器225和照相机信息获取单元226。

位置检测传感器105检测移位透镜组104的位置，并且放大器114放大检测信号。模拟/数字(A/D)转换器206对放大器114所放大的检测信号进行数字化，并且将数字化后的信号输出至减法器205。减法器205将来自控制判断单元204的输出设置为正输入，减去作为负输入的来自A/D转换器206的输出，并且将作为减法结果的偏差数据输出至控制器207。

控制器207包括相位补偿滤波器和用于以预定增益放大从减法器205输出的偏差数据的放大器。在控制器207中的相位补偿滤波器和放大器对偏差数据进行了信号处理之后，将处理后的偏差数据输出至脉冲宽度调制单元208。脉冲宽度调制单元208获取来自控制器207的输出数据，将该数据调制成脉冲波的占空比发生改变的波形(即，PWM波形)，并且将该数据输出至驱动器113以进行移位透镜驱动。在移位透镜组104的驱动中使用音圈型马达，并且驱动器113根据来自脉冲宽度调制单元208的输出沿与摄像光学系统的光轴垂直的方向移动移位透镜组104。

接着，将说明与摇摄辅助有关的第一摇摄功能。第一摇摄功能是用于检测被摄体的运动和照相机的运动的抖动并利用光学校正系统来校正与该抖动相对应的被摄体模糊的功能。

在用户使用操作单元142来进行用于将摄像模式设置成摇摄辅助模式的操作的情况下，照相机控制单元143将该控制切换成摇摄辅助的控制。将表示该切换的信息从照相机控制单元143发送至镜头控制单元112，并且镜头控制单元112将控制切换成摇摄辅助模式的控制。将参考图1和2来说明摇摄控制单元122。摇摄控制单元122包括通信控制单元211、角速度输出单元222、被摄体角速度获取单元223、减法器224、积分器225和照相机信息获取单元226。

照相机信息获取单元226(参见图2)经由通信控制单元211获取从照相机控制单元143发送来的各种类型的照相机信息。该照相机信息是摇摄辅助模式的解除信息或者设置信息。照相机信息获取单元226将预定处理所需的信息输出至控制判断单元204。角速度输出单元222获取来自偏移去除单元201的输出，即去除了偏移成分的角速度传感器111的角速度检测信号。角速度输出单元222将角速度检测信号经由通信控制单元211和安装触点单元115发送至照相机控制单元143。

被摄体角速度获取单元223经由安装触点单元144和通信控制单元211获取照相机主体131中的被摄体角速度计算单元162所计算出的被摄体的角速度的数据。减法器224将来自偏移去除单元201的输出设置为正输入，并减去作为负输入的来自被摄体角速度获取单元223的输出。通过从被摄体角速度获取单元223的被摄体的角速度减去由去除了偏移成分的偏差信号所表示的角速度来计算偏差。减法器224将该偏差输出至积分器225。积分器225对偏差进行积分，并将积分运算操作的结果输出至控制判断单元204。

在被摄体角速度计算单元162的用于计算被摄体的角速度的处理中，进行利用矢量来检测图像的运动量并从所检测到的全部矢量中正确地检测与被摄体相对应的矢量(被摄体矢量)的处理。然后，进行用于将所检测到的被摄体矢量转换成角速度(被摄体角速度)的处理。

这里，将说明用于正确地检测被摄体矢量的方法。

在照相机主体131中，照相机信号处理电路135中的运动矢量检测单元151检测摇摄辅助期间的运动矢量。即，从通过模拟信号处理电路134进行了信号处理的多个类型的视频信息中检测图像的运动矢量。

将参考图3来说明运动矢量检测的具体示例。图3示出作为移动被摄体的被摄体301的摄像场景的示例。将摄像画面的水平方向定义为X方向，以及将摄像画面的垂直方向定义为Y方向。在这种情况下，运动矢量检测单元151所检测到的两种类型的矢量是与被摄体301的部分相对应的矢量以及与背景部分相对应的矢量。与多个检测块相当的矩形框是用于检测运动矢量的检测框302。在图3的设置中，针对光学校正系统设置密集型配置，以仅校正被摄体在摇摄中的偏差。即，通过设置密集型配置，可以提高与检测框302相对应的各检测块的检测精度。聚焦于被摄体的聚焦框(焦点检测框)303由矩形框表示。

图4A和4B例示计算运动矢量检测单元151所检测到的矢量的直方图(频率分布)的结果。横轴表示模糊量(单位：像素)，并且与运动矢量相当。纵轴表示运动矢量的频率。

图4A示出图3的X方向(画面的水平方向)的直方图。图4B示出图3的Y方向(画面的垂直方向)的直方图。

首先，将参考图4A来说明X方向上的操作。在图3的被摄体301的摄像中，在照相机适当追踪被摄体301的运动的情况下，被摄体的运动和照相机的运动之间的抖动量小。在这种情况下，与被摄体301的部分相当的矢量组401位于0pix(像素)附近。相反，在照相机没有适当追踪被摄体301的运动的情况下，被摄体的运动和照相机的运动之间的抖动量增大。结果，与被摄体301的部分相当的矢量组401变得远离0pix的位置。

运动矢量检测单元151无法判断所检测到的矢量是与主被摄体相对应的矢量(以下称为主被摄体矢量)、还是与背景相对应的矢量(以下称为背景矢量)。即，在该阶段，无法将与背景相对应的矢量组402和与被摄体301相对应的矢量组401区分。因此，使用背景矢量的大小等于摄像面上的模糊量(像面移动量)这一事实来进行用于判断被摄体矢量和背景矢量的处理。具体地，根据可更换镜头100内的角速度传感器111的角速度来计算像面移动量403。然后，使用像面移动量403作为基准，将预先确定的范围(以下称为背景判断阈值)404内的矢量判断为背景矢量。在频率轴上设置用于被摄体判断的阈值405。将以下矢量判断为被摄体矢量：该矢量是背景判断阈值404的范围外的矢量并且是超过阈值405的矢量。

作为用于最终控制的矢量的主被摄体矢量是利用在被判断为被摄体矢量的矢量组401中、使用最接近照相机的聚焦框303(图3)的矢量的位置作为起点、以同心圆状对该最接近矢量的位置周围的矢量进行累计而获得的值来计算的。在该累计中，以同心圆状对给定数量(例如，4)的矢量进行累计。使用最接近聚焦框303的被摄体矢量作为起点，这是因为拍摄者使聚焦框303与作为拍摄对象的主被摄体一致。

将参考图5来说明仅对矢量组401的一部分进行累计而不对矢量组401的全部进行累计的原因。图5是示出在摇摄摄像时被摄体的角速度的说明图。角度差502表示将面向摄像设备1的位置(前面)与摄像设备1连接的直线和将摄像设备1与被摄体301连接的直线所形成的角度。

以在摄像设备1的前面的摄像距离501拍摄被摄体301的情况下，被摄体301和摄像设备1之间的角度差502是0度。此时，摄像设备1所拍摄的被摄体的构图是构图508。在构图508中，被摄体301和摄像设备1之间不存在角度差502，并且从正侧面示出被摄体。因此，被摄体301的前面位置504和后面位置505处的角速度彼此相等。另一方面，在以摄像距离503拍摄被摄体301的情况下，被摄体301和摄像设备1的角度差502是θ度。此时，摄像设备1所拍摄的被摄体301构图是构图509。在构图509中，被摄体301的前面位置506和后面位置507处的角速度根据被摄体301和摄像设备1之间的角速度502而彼此不同。即，在被摄体301和摄像设备1之间存在角度差502的情况下，尽管被摄体301正以恒定速度移动，但是角速度根据被摄体301的位置而改变。由于这个原因，以具有角度差502的构图509拍摄被摄体301并对所检测到的矢量组401的全部进行累计的情况下，可以计算出在后面位置507(而不是在摇摄中期望停止即期望变成主被摄体的前面位置506)附近停止的主被摄体矢量。

现在，说明将返回参考图4A和4B。通过累计所计算出的被摄体矢量等于主被摄体的像面移动量。通过将主被摄体的像面移动量转换成角速度来获得主被摄体的角速度(要校正的被摄体偏差量)。针对在计算像面移动量时所使用的角速度，代替角速度传感器111，可以使用照相机主体131内的角速度传感器171来检测角速度。

接着，将参考图4B来说明Y方向上的照相机的操作。在图3的摄像场景中，假定拍摄者进行在X方向上移动照相机的操作。在这种情况下，在Y方向上的角速度是微小的值(例如，1deg/sec(度/秒)以下)。即，由于Y方向上的像面移动量403位于0pix附近，因此Y方向上的微小被摄体矢量包括在背景判断阈值404的范围内。由于这个原因，存在与被摄体相对应的矢量组401被误检测为背景矢量的候选的可能性。因此，通过根据角速度改变背景判断阈值404并且将该改变设置成小于X方向上的背景判断量阈值404来正确地检测Y方向上的被摄体矢量。

图6是示出运动矢量检测单元151中难以应对的场景的说明图。运动矢量检测单元151在一些情况(例如，纯白墙壁等的图像中不存在特征点)下不能正确地检测矢量。图6示出在被摄体301和摄像设备1之间的角度差502例如是+30度的构图中拍摄者试图使被摄体301的前方停止的情况。运动矢量检测单元151配置用于检测矢量的检测框302，以使得检测框302包围用于聚焦于被摄体的聚焦框303。由于配置检测框302的被摄体301的前方位置是不具有图案的纯白的并且在检测矢量时不存在被确定为特征的部分，因此存在运动矢量检测单元151误检测矢量的担忧。因此，在实施例中，运动矢量检测单元151在动态改变矢量的检测框302的设置的同时检测图像的运动矢量。然后，通过判断与运动矢量检测单元151的检测设置的相关性并且确定以哪一种检测设置来检测最终要采用的用于控制的矢量来计算期望位置处的运动矢量。

图7A和7B是示出利用运动矢量检测单元151的矢量的检测框302的设置的说明图。图7A示出各检测模式的设置，以及图7B示出检测模式的组合设置。运动矢量检测单元151具有三种类型的矢量检测、即检测模式A～C。

如图7A所示，在全部检测模式中，检测模式A中的检测框的大小被设置成最小。检测模式A的检测框的最大检测范围与其它检测模式相比更窄，但是检测分辨率更细。在检测模式B中，在检测框的大小、最大检测范围和检测分辨率中设置“正常”。具体地，检测模式B中的检测框的大小被设置成大于检测模式A中的检测框的大小，而小于检测模式C的检测框的大小。因此，检测模式B中的最大检测范围比检测模式A中的最大检测范围宽，而比检测模式C中的最大检测范围窄。检测模式B中的检测分辨率比检测模式A中的检测分辨率粗，而比检测模式C中的检测分辨率细。检测模式C中的检测框的大小被设置成大于检测模式B中的检测框的大小。检测模式C中的最大检测范围比检测模式B中的最大检测范围宽，并且检测分辨率比检测模式B中的检测分辨率粗。

如图7B所示，运动矢量检测单元151具有两种类型的矢量检测的设置、即设置α和设置β。设置α是组合检测模式A和B的设置。设置β是组合检测模式B和C的设置。运动矢量检测单元151的检测模式不限于这三种类型的检测模式，并且可以使用与检测框设置不同的其它多个检测模式。运动矢量检测单元151的矢量检测的设置不限于两种类型的设置。例如，只要设置与检测模式的组合(诸如组合检测模式A和C的设置等)相对应，则可以包括该设置。

在正常摇摄的辅助模式中，利用组合检测模式A和B的设置α来进行矢量检测。将参考图8A和8B来说明检测模式A和B之间的相关性。图8A和8B是示出检测设置中的相关性的说明图。横轴表示模糊量(单位：像素)，并且与运动矢量相当。纵轴表示运动矢量的频率。

图8A示出在检测模式A和B所检测到的矢量的直方图中、检测模式A和B的检测存在相关性的情况。在相关性的判断中，将在检测模式A中被判断为被摄体的矢量中的具有直方图上的频率峰的矢量与在检测模式B中被判断为被摄体的矢量中的具有直方图上的频率峰的矢量之间的偏差量的差与阈值进行比较。在该差等于或小于相关性判断阈值的情况下，判断为存在相关性。例如，在检测模式A和B的组合中可以将相关性判断阈值设置为2pix，并且可以根据检测模式的组合模式来改变相关性判断阈值。

在图8A中，由于在模式A中被判断为被摄体的矢量801和在模式B中被判断为被摄体的矢量802之间的差803等于或小于相关性判断阈值，则判断为存在相关性。在判断为存在相关性的情况下，采用检测模式中的检测框设置小的检测模式作为要用于控制的检测模式。因此，在图8A中，使用在检测模式A中所检测到的运动矢量的检测值来进行控制。

相反，图8B示出检测模式A和B中所检测到的矢量的直方图中、检测模式A和B的检测不存在相关性的情况。在图8B中，由于在检测模式A中被判断为被摄体的矢量804和在检测模式B中被判断为被摄体的矢量805之间的偏差量的差806大于相关性判断阈值，因此判断为不存在相关性。在判断为不存在相关性的情况下，使用矢量检测可靠性高的检测模式来进行控制。运动矢量检测单元151所检测到的矢量检测可靠性是与矢量检测值同时输出的值。例如，在图像信息中不存在特征点或者在低亮度的状态下图像信息的对比度低的情况下，假定检测可靠性具有低的值。即，判断为在运动矢量检测单元151难以检测图像信息作为对象的情况下所获取到的矢量的检测可靠性低。针对控制，采用如下的检测模式：在各检测块中输出检测可靠性，根据各检测块的可靠性来计算检测框302整体的可靠性，并且整体可靠性等于或大于可靠性判断阈值(例如，80％)。

在图8B中，在检测模式A中的设置的可靠性小于可靠性判断阈值并且检测模式B中的设置的可靠性等于或大于可靠性判断阈值的情况下，采用检测模式B。在检测模式A和B这两者中可靠性均小于可靠性判断阈值的情况下，可以使用组合检测模式B和C的设置β。在检测模式A和B这两者中可靠性都等于或大于可靠性判断阈值的情况下，可以采用可靠性最高的检测模式，或者可以采用具有检测框小的设置的检测模式A。

存在改变检测模式的组合设置的帧中所检测到的矢量被误检测的可能性。在使用误检测到的矢量来进行控制的情况下，对被摄体模糊校正的过度校正趋势被控制。因此，假定被摄体角速度为0deg/sec。通过将被摄体角速度设置为0deg/sec，进行摇摄的方向上的光学校正系统维持在光学中心位置。因此，可以防止被摄体模糊校正的错误。

在确定了被摄体矢量之后，进行用于计算被摄体角速度的处理。可以通过以下处理的逆计算处理、根据像面移动量[pix]来计算角速度[deg/sec]，所述处理使用焦距、帧频和图像传感器的像素间距、根据角速度[deg/sec]计算像面移动量[pix]。照相机控制单元143向镜头控制单元112发送通过将可更换镜头100内的角速度输出单元222的角速度数据与被摄体角速度计算单元162所计算出的被摄体的角速度相加所获得的值。可更换镜头100内的镜头控制单元112经由安装触点单元144和115来接收照相机控制单元143所发送的信息。

接着，将说明摇摄辅助的第二辅助功能。第二辅助功能是自动设置照相机中的快门速度的功能。

照相机主体131内的快门速度计算单元163计算用于摇摄辅助的快门速度。具体地，根据表达式(1)，使用以下信息来计算快门速度。

TV＝α/f/(ωc-ωs)...(1)

在上述表达式中，定义了如下：

TV：快门速度；

α：拍摄者使用操作单元142所设置的背景的流动效果的设置值；

f：经由安装触点单元115和144所获得的可更换镜头100的焦距；

ωc：照相机主体131内的角速度传感器171所检测到的角速度；以及

ωs：被摄体角速度计算单元162所计算出的被摄体角速度。

背景的流动效果的设置值α是预先设置的值，以使得背景图像的模糊量使用图像上的移动量例如变成800μm(微米)。对于背景的流动效果，可以逐步设置诸如小、中和大等的多个效果。一旦拍摄者设置了摇摄辅助模式并且将背景的流动效果设置成期望设置，则照相机主体131自动设置并控制快门速度。因此，即使没有经验的拍摄者，也可以在摇摄中简单设置快门速度。可以将背景的流动效果设置成诸如1～10等的数值，而不是小、中和大的设置。

将参考图9～11的流程图来说明摇摄辅助的控制。图9是示出与摇摄辅助的控制有关的整体处理的流程的流程图。在照相机控制单元143和镜头控制单元112的各CPU解释并执行预定控制程序的情况下实现以下处理。

在S901中，照相机控制单元143判断拍摄者是否使用操作单元142进行了摇摄辅助模式的设置的操作。在设置了摇摄辅助模式的情况下，处理进入S902。在设置了摇摄辅助模式以外的模式的情况下，处理在没有进行摇摄辅助的控制的情况下结束。

在S902中，照相机控制单元143判断安装在照相机主体131上的可更换镜头100是否是与摇摄辅助相对应的可更换镜头。在判断为可更换镜头100是与摇摄辅助相对应的可更换镜头的情况下，处理进入S903。相反，在判断为可更换镜头100不是与摇摄辅助相对应的可更换镜头的情况下，处理进入S908。基于从镜头控制单元112向照相机控制单元143发送的镜头信息的信号来进行用于判断可更换镜头100是否与摇摄辅助相对应的处理。

在S903中，运动矢量检测单元151基于矢量检测的设置来设置矢量的检测框302，并且处理进入S904。

在S904中，运动矢量检测单元151利用运动矢量来检测多个检测框中的画面内运动，并且处理进入S905。

在实施例中，例如，在设置了设置α的情况下，在S903中，运动矢量检测单元151设置与检测模式A相对应的检测框和与检测模式B相对应的设置框。然后，在S904中，运动矢量检测单元151基于与检测模式A相对应的检测框和与检测模式B相对应的设置框各自来检测画面内运动矢量。

在S905中，角速度传感器111所检测到的角速度检测信号从镜头控制单元112发送至照相机控制单元143。照相机控制单元143获取抖动的角速度检测信号，并且处理随后进入S906。

在S906中，照相机控制单元143进行用于将S905中所获取到的角速度转换成像面移动量的运算操作。使用可更换镜头100内的角速度传感器111所检测到的各角速度、摄像光学系统的焦距和帧频来计算像面上的移动量(像面移动量)。随后，处理进入S907。

在S907中，被摄体角速度计算单元162通过根据S904中所检测到的矢量所确定出的主被摄体矢量来计算主被摄体的角速度。稍后将参考图10来说明计算处理的详情。随后，处理进入S908。

在S908中，快门速度计算单元163计算用于摇摄辅助的快门速度。稍后将参考图11来说明计算处理的详情。随后，处理进入S909。

在S909中，镜头控制单元112从照相机控制单元143接收S907中所计算出的被摄体角速度和S908中所计算出的用于摇摄辅助的快门速度的各数据，并且确定曝光时间段期间的用于驱动移位透镜组104的控制量。驱动器113根据所确定出的控制量来驱动移位透镜组104。作为通过光学图像模糊校正系统来降低照相机的摇摄操作的角速度和主被摄体的角速度之间的差的结果，可以提高摇摄的成功概率。之后，结束图9的处理。

将参考图10的流程图来说明图9的S907中所示的用于计算被摄体角速度的处理以及用于计算图像模糊校正量的处理。

在S1001中，照相机控制单元143利用图9的S904中所检测到的矢量来进行直方图运算操作。在生成了直方图(参见图8A和8B)之后，处理随后进入S1002。

在S1002中，照相机控制单元143基于运动矢量检测单元151的检测结果来判断在各检测模式下是否检测到被摄体矢量。在判断为检测到被摄体矢量的情况下，处理进入S1003。相反，在判断为没有检测到被摄体矢量的情况下，处理进入S1012，并且控制被切换至图像模糊校正控制、而不是被摄体模糊校正控制。

在S1003中，运动矢量检测单元151基于S1001中所生成的直方图来判断S903中所设置的检测模式的运动量之间的相关性。在判断为运动量之间存在相关性的情况下，处理进入S1004。相反，在判断为运动量之间不存在相关性的情况下，处理进入S1008。

在S1004中，运动矢量检测单元151确定针对摇摄控制所要使用的检测模式。在实施例中，采用检测框设置小的检测模式。处理随后进入S1005。

在S1005中，照相机控制单元143和照相机信号处理电路135进行被摄体矢量计算处理。具体地，进行使用最接近图3所例示的聚焦框303的位置的检测块作为起点、以同心圆状检索检测块的处理，并且进行对恒定数量的被摄体矢量进行累计的处理。在该计算处理中，根据S1004或S1009中所确定出的检测模式的检测框，基于矢量检测来计算被摄体矢量。处理随后进入S1006。

在S1006中，被摄体角速度计算单元162计算主被摄体的角速度。即，根据图9的S906中的用于根据角速度计算像面移动量的方法的逆方法来进行用于根据主被摄体的像面移动量来计算被摄体角速度的处理。处理随后进入S1007。

在S1007中，照相机控制单元143将从角速度输出单元222向照相机控制单元143发送的角速度的值与S1006中所计算出的被摄体角速度相加，并且将该值发送至镜头控制单元112。被摄体角速度获取单元223获取从照相机控制单元143向镜头控制单元112发送的被摄体角速度，并且将该被摄体角速度输出至减法器224。减法器224计算被摄体角速度和可更换镜头100内的角速度传感器111的角速度之间的差。积分器225对所计算出的差进行积分，并且将积分后的值作为被摄体的模糊校正控制的目标控制值(被摄体模糊校正量)输出至控制判断单元204。处理随后进入返回处理。

在S1008中，运动矢量检测单元151计算各检测模式中的整体检测可靠性，并且判断整体检测可靠性的值是否等于或大于可靠性判断阈值(例如，80％)。整体检测可靠性是各检测块的具有高检测可靠性的矢量与全部检测数量的比率。在判断为整体检测可靠性等于或大于可靠性判断阈值的情况下，处理进入S1009。相反，在判断为整体检测可靠性不是等于或大于可靠性判断阈值的情况下，处理进入S1010。

在S1009中，运动矢量检测单元151确定要用于摇摄控制的检测模式。在实施例中，采用在S1008中所计算出的检测可靠性高的检测模式，并且使用在该检测设置模式中所检测出的矢量来计算随后的S1005中的被摄体矢量。

在S1010中，运动矢量检测单元151改变检测设置。例如，将初始设置α改变成设置β。处理随后进入S1011。

在S1011中，由于在根据当前设置组合的检测模式所检测到的矢量中运动量之间的相关性和检测可靠性低，因此被摄体角速度计算单元162将被摄体角速度设置为0deg/sec。这是因为，可以防止在使用误检测到的矢量来计算被摄体角速度的情况下被摄体模糊趋于被过度校正。处理随后进入S1006。

在S1002中判断为被摄体矢量是不可检测的情况下，将光学校正系统的控制切换成图像模糊校正控制，并且图像模糊校正控制单元121进行该控制。在S1012中，镜头控制单元112的图像模糊校正控制单元121获取可更换镜头100内的角速度传感器111所检测到的角速度，并且处理随后进入S1013。

在S1013中，图像模糊校正控制单元121的偏移去除单元201去除S1012中所获取到的角速度中叠加的偏移成分。例如，存在使用具有能够在任意频带改变特性的功能的高通滤波器(HPF)的方法。在该方法中，可以通过利用高通滤波器使角速度中所包括的低频成分截止、然后输出高频带的信号来去除角速度中叠加的偏移成分。

在S1014中，图像模糊校正控制单元121的增益相位计算单元202计算对S1013中去除了偏移成分的角速度施加滤波处理时的增益和相位。在包括相位补偿滤波器和以预定增益进行放大的放大器的滤波电路对角速度检测信号进行信号处理之后，处理随后进入S1015。

在S1015中，图像模糊校正控制单元121的积分器203对S1014中通过滤波电路进行了信号处理的角速度进行累计。将通过累计所获得的角度值作为图像模糊校正控制的目标控制值(图像模糊校正量)输出至控制判断单元204。之后，进行返回处理。

接着，将参考图11来说明图9的S908中所示的用于摇摄的快门速度的计算。

在S1101中，照相机控制单元143获取拍摄者使用操作单元142所操作的背景流动效果的设置值(α)，并且处理随后进入S1102。

在S1102中，照相机控制单元143获取从镜头控制单元112经由安装触点单元115和144发送的与焦距有关的信息，并且处理随后进入S1103。

在S1103中，照相机控制单元143获取照相机主体131内的角速度传感器171所检测到的角速度(ωc)，然后处理随后进入S1104。

在S1104中，照相机控制单元143获取图10的S1006中所计算出的被摄体角速度(ωs)，并且处理随后进入S1105。

在S1105中，快门速度计算单元163使用S1101～S1104中所获取到的各数据，基于表达式(1)来计算用于摇摄的快门速度(TV)。在图9的S902中判断为与摇摄辅助不对应的镜头安装在照相机主体131上的情况下，不能获取到角速度传感器111所检测到的角速度。在这种情况下，利用从图10的S1001的直方图所计算出的背景矢量来计算背景的角速度，并且计算用于摇摄的快门速度。可选地，可以根据快门速度计算单元163预先编程的值(例如，1/60秒)来设置快门速度。可选地，针对第二辅助功能中的快门速度的设置，能够通过用户使用操作单元142选择自动设置和手动设置。即，熟练摇摄的拍摄者可以手动设置任意快门速度。不熟练摇摄的拍摄者可以在摇摄中选择自动设置。

如上所述，在实施例中，可以通过设置多个矢量的检测框来高精度地进行被摄体矢量的检测。可以通过与摇摄辅助有关的第一辅助功能和第二辅助功能而轻松拍摄到背景图像流动且主被摄体的图像模糊有所降低的清晰摇摄照片。

尽管使用摄像设备1(在图1的结构的情况下为所谓的无反射镜照相机)说明了本发明的优选实施例，但是本发明还广泛适用于单镜头反光照相机或紧凑型数字照相机。在上述实施例中，说明了运动矢量检测单元151具有三种类型的矢量检测的检测模式(即，检测模式A～C)的示例。然而，可以包括用于进行与不同模式相对应的处理的多个矢量检测单元。运动矢量检测单元151可以在不同检测模式下对同一视频信息进行矢量检测。然而，针对被视为大致相同时间段所拍摄的视频信息，可以在不同检测模式中对多个视频信息进行矢量检测。被视为大致相同时间段所拍摄的视频信息例如是通过多个图像传感器在大致相同时间段所拍摄的视频信息、使用同一图像传感器内的不同区域在大致相同时间段拍摄并且单独输出的视频信息、或者由同一图像传感器连续拍摄的视频信息。

其它实施例

本发明还可以通过用于经由网络或存储介质将用于实现上述实施例的一个或多个功能的程序供给至系统或设备、并且使该系统或设备的计算机中的一个或多个处理器读取并执行该程序的处理来实现。本发明还可以通过实现一个或多个功能的电路(例如，ASIC)来实现。

以上说明了本发明的优选实施例，但是本发明不限于这些实施例，并且可以在本发明的主旨的范围内进行各种修改和改变。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2017年3月28日提交的日本专利申请2017-063597的优先权，这里通过引用将其全部内容包含于此。

Claims (13)

1.一种图像模糊校正装置，其通过使用图像模糊校正单元来校正被摄体图像的模糊，所述被摄体图像是摄像单元经由摄像光学系统所拍摄得到的，所述图像模糊校正装置包括：

存储器；以及

至少一个处理器，其根据所述存储器中所存储的程序来进行操作，

其中，所述至少一个处理器包括：

检测单元，用于基于所拍摄的图像来检测图像的运动量；

计算单元，用于基于所述检测单元所检测到的图像的运动量以及抖动检测传感器所检测到的抖动的检测信号来计算被摄体的运动量；

控制单元，用于基于所述计算单元所计算出的所述被摄体的运动量来控制所述图像模糊校正单元，

其中，所述检测单元基于具有不同的用于检测图像的运动量的分辨率的多个设置来检测运动量，判断基于所述多个设置所检测到的图像的运动量之间的相关性，并基于所述相关性来确定要用于检测图像的运动量的设置。

2.根据权利要求1所述的图像模糊校正装置，其中，

所述检测单元生成基于所述多个设置所检测到的图像的运动量的至少一个直方图，基于所述至少一个直方图来计算通过所述多个设置所检测到的图像的运动量之间的差，并在该差等于或小于第一阈值的情况下判断为存在所述相关性。

3.根据权利要求2所述的图像模糊校正装置，其中，

在所述检测单元判断为存在所述相关性的情况下，所述检测单元将所述多个设置中的用于检测图像的运动量的分辨率较细的设置确定为要用于检测图像的运动量的设置。

4.根据权利要求1所述的图像模糊校正装置，其中，

所述检测单元还输出图像的运动量和检测的可靠性作为检测值，以及

在所述检测单元判断为不存在所述相关性的情况下，所述检测单元基于所述可靠性来确定要用于检测图像的运动量的设置。

5.根据权利要求4所述的图像模糊校正装置，其中，

所述检测单元判断具有高可靠性的运动量的数量是否等于或大于第二阈值，

在所述数量等于或大于所述第二阈值的情况下，所述检测单元将所述多个设置中的与所述高可靠性有关的设置确定为要用于检测图像的运动量的设置，以及

在所述数量小于所述第二阈值的情况下，所述检测单元将与同所述高可靠性有关的设置不同的设置确定为要用于检测图像的运动量的设置。

6.根据权利要求5所述的图像模糊校正装置，其中，

在所述数量小于所述第二阈值的情况下，所述控制单元通过使用为0的所述被摄体的角速度来控制所述图像模糊校正单元。

7.根据权利要求1所述的图像模糊校正装置，其中，

所述多个设置是基于用于检测图像的运动量的检测框，其中所述检测框的大小彼此不同。

8.根据权利要求1所述的图像模糊校正装置，其中，

所述计算单元通过设置所述检测单元所检测到的图像的运动量中的最接近焦点检测框的位置作为起点、并通过对固定数量的图像的运动量进行累计，来计算所述被摄体的运动量。

9.根据权利要求1所述的图像模糊校正装置，其中，还包括：

设置单元，用于设置支持摇摄的模式，

其中，在设置了所述模式的情况下，所述控制单元计算所述被摄体相对于所述图像模糊校正装置的角速度数据，计算用于校正所述被摄体图像的模糊的校正量，并控制所述图像模糊校正单元，以及

在没有设置所述模式的情况下，所述控制单元通过根据所述检测信号所计算出的图像模糊的校正量来控制所述图像模糊校正单元。

10.一种摄像设备，包括：

根据权利要求1所述的图像模糊校正装置；

摄像单元；以及

图像模糊校正单元，

其中，所述图像模糊校正单元包括校正透镜，所述校正透镜用于通过改变来自所述被摄体的光的成像位置来校正所述被摄体图像的模糊。

11.根据权利要求10所述的摄像设备，其中，还包括：

抖动检测单元，用于检测所述摄像设备的抖动；

设置单元，用于设置支持摇摄的模式；以及

控制单元，用于在设置了所述模式的情况下，根据所述抖动检测单元的检测信号和被摄体的角速度来计算用于摇摄的快门速度，并进行快门控制。

12.一种图像模糊校正装置的控制方法，所述图像模糊校正装置通过使用图像模糊校正单元来校正被摄体图像的模糊，所述被摄体图像是摄像单元经由摄像光学系统所拍摄得到的，所述控制方法包括：

检测步骤，用于基于所拍摄的图像来检测图像的运动量；

计算步骤，用于基于所述检测步骤所检测到的图像的运动量以及抖动检测传感器所检测到的抖动的检测信号来计算被摄体的运动量；

基于所述计算步骤所计算出的所述被摄体的运动量来控制所述图像模糊校正单元，

其中，所述检测步骤包括：

基于具有不同的用于检测图像的运动量的分辨率的多个设置来检测运动量，

判断基于所述设置所检测到的图像的运动量之间的相关性，以及

基于所述相关性来确定要用于检测图像的运动量的设置。

13.一种非暂时性存储介质，其存储用于使计算机执行根据权利要求12所述的控制方法的计算机程序。

Images