CN107018313A

CN107018313A - 图像稳定设备和图像稳定方法

Info

Publication number: CN107018313A
Application number: CN201610974876.5A
Authority: CN
Inventors: 宫原晋平
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-11-05
Filing date: 2016-11-07
Publication date: 2017-08-04
Anticipated expiration: 2036-11-07
Also published as: US9912869B2; JP2017090580A; CN107018313B; JP6600232B2; US20170134659A1

Abstract

本发明提供一种图像稳定设备和图像稳定方法。该图像稳定设备包括：转换单元，用于基于照相机抖动检测单元的输出变化来校正照相机抖动检测单元所检测到的角速度信号，并且将该角速度信号转换为照相机抖动量；分离单元，用于将图像的各帧分割为多个区域，并使用照相机抖动量将各自根据图像的帧之间在各区域的差所计算出的运动矢量分离为被摄体矢量和背景矢量；识别单元，用于基于校正之前的角速度信号、背景矢量和校正单元的位置信号来识别输出变化；以及改变单元，用于将被摄体矢量改变为校正单元的驱动量。转换单元基于所识别出的输出变化来校正角速度信号。

Description

图像稳定设备和图像稳定方法

技术领域

本发明涉及一种图像稳定设备和图像稳定方法。

背景技术

已知有一种包括如下图像稳定设备的摄像设备和可更换镜头，其中该图像稳定设备用于检测照相机抖动并且使得被配置为能够移动以校正由于所检测到的照相机抖动而引起的图像抖动的透镜或图像传感器进行移动。这种方法的图像稳定功能被已知为光学图像稳定。此外，近年来，存在用于针对运动图像通过提取如下的帧图像来进行输出的图像稳定功能，并且这在小型化/轻量化摄像设备以及具有摄像设备的移动电话中使用，其中该帧图像的位置在用于抵消照相机抖动的方向上发生偏移。这种方法的图像稳定被已知为电子图像稳定。

作为用于检测抖动的方法，角速度传感器(陀螺仪传感器)是代表性的，并且通过基于所检测到的角速度使透镜或图像传感器在用于抵消抖动的方向上移动来校正该抖动。在日本特开2005-43780中，公开了如下内容：通过将根据运动矢量所计算出的角速度传感器的偏移实时反馈回至图像稳定驱动量以修改角速度传感器偏移，来进行预测。

此外，近年来，根据摄像设备帧频的高速化和图像处理的改进，已知有用于通过分析帧之间的图像的抖动以获得运动矢量来检测抖动的技术。

另一方面，作为先进的摄像方法，存在摇摄，并且存在被摄体处于近距离的微距摄像。微距摄像是在被摄体处于近距离时所进行的摄像，并且在这些情况下，由于无法忽视除正常角度抖动以外的摄像设备的平移抖动成分，因此图像稳定的需求因照相机抖动大于普通摄像时的照相机抖动而有所增加。结果，存在如下技术：通过使用加速度传感器检测平移抖动、并根据角度抖动单独计算平移抖动成分，来提高照相机抖动校正量的精度。此外，存在如下技术：在没有包括加速度传感器的情况下，通过根据图像稳定设备的驱动量和位置信号预测摄像设备的加速度成分、并根据预测得到的加速度计算平移抖动成分，来改善微距摄像时的图像稳定效果。

摇摄是在根据移动的被摄体而使摄像设备倾斜或平摇的情况下所进行的摄像。在这种摄像方法中，通过在不使正移动的被摄体抖动而特意使移动的被摄体的背景流过而进行摄像，使该被摄体突出并且使该被摄体具有运动。这种摄像方法要求复杂的技术，因此存在用于通过驱动图像稳定设备校正图像模糊来进行辅助的技术。

在日本特开2014-211531中，在用于辅助摇摄的方法中，公开了如下内容：根据角速度传感器的角速度检测信号和运动矢量来计算平摇量，并且使用角速度检测信号和平摇量之间的差来执行图像稳定。据此，降低了由于摇摄辅助功能中的图像稳定而引起的不利影响。

此外，日本特开2008-192060公开了如下技术：在利用运动矢量的抖动检测中，将图像分割成小块，针对各块计算局部运动矢量，然后根据多个局部运动矢量来计算全体的全局运动矢量。据此，可以去除因由于图像噪声所引起的运动矢量的错误计算或者由于被摄体的移动所引起的模糊而造成的照相机抖动以外的元素。

然而，在使用角速度传感器的图像稳定设备中，由于以下两个原因，因而无法充分地提高图像稳定的性能。

第一个原因是角速度传感器中的偏移计算误差。由于角速度传感器包含传感器特有的偏移噪声和因温度变动所引起的低频带噪声，因此在计算图像稳定值时的积分处理中无法施加完全积分。在针对积分处理以低通滤波器(LPF)进行伪积分(pseudo integral)时，需要牺牲超低频成分的性能。

第二个原因是角速度传感器灵敏度变化。在出厂时对摄像设备进行各种调整以降低灵敏度变化，但由于必然残留调整误差成分，因而必然无法实现100％的图像稳定效果。

此外，在通过使用加速度传感器改善了微距摄像时的图像稳定效果的情况下，由于包含了加速度传感器而使成本有所增加。另一方面，在根据图像稳定设备的驱动量和位置信号来预测摄像设备的加速度的情况下，存在如下问题：如果抖动是微小抖动，则估计精度差。

此外，在日本特开2005-43780中，由于通过反馈控制实时更新角速度传感器的偏移，因此存在防抖动性能在预测中途(等待静止图像期间)劣化的情况。尽管这依赖于反馈控制的反馈增益的设计，但在使反馈增益变大的情况下，即使预测的收敛较快，仍存在防抖动性能劣化的问题。此外，在使反馈增益变小的情况下，尽管预测期间的防抖动性能的劣化程度变小，但收敛速度变慢。

此外，在日本特开2014-211531中，在根据角速度传感器的输出和运动矢量差来进行平摇量的计算和平摇判断的情况下，没有考虑到灵敏度变化以及作为角速度传感器特有的噪声的偏移成分。由于该原因，存在如下情况：计算结果残留有误差，并且无法实现充分的摇摄判断精度和辅助精度。

发明内容

本发明是考虑到上述情形而做出的，并且在进行摇摄期间提高了使用角速度传感器的图像稳定处理中的校正效果。

根据本发明，提供了一种图像稳定设备，包括：转换单元，用于基于照相机抖动检测单元的输出变化来校正所述照相机抖动检测单元所检测到的角速度信号，并且将校正后的角速度信号转换为照相机抖动量；分离单元，用于将从图像传感器所输出的图像的各帧分割为多个区域，并且使用转换得到的照相机抖动量将各自根据图像的帧之间在各区域的差所计算出的运动矢量分离为与被摄体相对应的被摄体矢量和与背景相对应的背景矢量；识别单元，用于基于所述转换单元校正之前的角速度信号、所述背景矢量和表示用以光学地校正抖动的校正单元的位置的位置信号，来识别所述照相机抖动检测单元的输出变化；以及改变单元，用于将所述被摄体矢量改变为所述校正单元的驱动量，其中，所述转换单元基于所述识别单元所识别出的输出变化来校正所述角速度信号。

此外，根据本发明，提供了一种图像稳定方法，包括以下步骤：基于照相机抖动检测单元的输出变化来校正所述照相机抖动检测单元所检测到的角速度信号；将校正后的角速度信号转换为照相机抖动量；将从图像传感器所输出的图像的各帧分割为多个区域；使用转换得到的照相机抖动量将根据图像的帧之间在各区域的差所计算出的运动矢量分离为与被摄体相对应的被摄体矢量和与背景相对应的背景矢量；基于校正之前的角速度信号、所述背景矢量和表示用以光学地校正抖动的校正单元的位置的位置信号，来识别所述照相机抖动检测单元的输出变化；以及将所述被摄体矢量改变为所述校正单元的驱动量，其中，基于所识别出的输出变化来校正所述角速度信号。

根据以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

包含并构成说明书一部分的附图示出了本发明的实施例，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明实施例的摄像设备的功能结构的框图；

图2是示出根据第一实施例的图像稳定控制单元的结构的框图；

图3是说明用于根据角速度信号、位置信号和运动矢量来识别角速度传感器的偏移和灵敏度的方法的图；

图4是示出根据第一实施例的抖动信号系统识别单元的结构的框图；

图5是根据第一实施例的抖动信号系统识别处理的流程图；

图6是示出一般的一阶IIR滤波器的结构的框图；

图7是根据第一实施例的变形例的抖动信号系统识别处理的流程图；

图8是示出根据第二实施例的图像稳定控制单元的结构的框图；

图9是根据第二实施例的图像稳定单元的说明图；

图10A和10B是示出根据第三实施例的被摄体以及用于检测运动矢量的块配置的示例的图；

图11是示出根据第三实施例的运动矢量的直方图的图；

图12是示出根据第三实施例的摇摄辅助控制单元的结构的框图；以及

图13是示出根据第三实施例的抖动信号修改单元和被摄体/背景矢量计算单元的详细结构的框图。

具体实施方式

以下将根据附图来详细说明本发明的各典型实施例。

第一实施例

图1是示出根据本发明第一实施例的包括图像稳定设备的摄像设备(这里为用于拍摄静止图像和运动图像的数字照相机)的功能结构的框图。

在图1中，光学系统被配置为包括：变焦单元101，其包括放大/缩小用的变焦透镜；光圈/快门单元103；图像稳定单元105；以及调焦单元107，其包括用于调节焦点的透镜。对于变焦单元101，通过变焦驱动控制单元102来进行驱动控制，并且对于光圈/快门单元103，通过光圈/快门驱动控制单元104来进行驱动控制。此外，对于图像稳定单元105，通过图像稳定控制单元106来进行驱动控制，并且对于调焦单元107，通过调焦驱动控制单元108来进行驱动控制。

摄像单元109进行穿过上述光学系统的光学图像向电信号的光电转换。将从摄像单元109输出的电信号通过图像信号处理单元110转换成视频信号，并且根据期望用途通过视频信号处理单元111进一步进行处理。显示单元112基于从视频信号处理单元111输出的信号，根据需要来进行图像显示。

电源单元113根据期望用途向摄像设备整体供电。外部输入输出端子单元114相对于外部设备(未示出)进行通信信号和视频信号的输入/输出。

操作单元115用于对系统进行操作，并且包括图像稳定ON/OFF(开启/关闭)开关、快门释放按钮、运动图像记录开关、重放模式选择开关和放大/缩小开关。

图像稳定ON/OFF开关使得能够针对图像稳定选择ON/OFF，并且在通过图像稳定ON/OFF开关针对图像稳定选择了ON的情况下，照相机系统控制单元118指示图像稳定控制单元106进行图像稳定操作。接收到该指示的图像稳定控制单元106进行图像稳定操作，直到进行了图像稳定OFF指示为止。

快门释放按钮被配置为使得能够进行两级操作，以根据该按钮的按压量来顺次接通第一开关(SW1)和第二开关(SW2)。构造如下：在近似半按下快门释放按钮(第一级)的情况下，接通第一开关SW1，并且在完全按下快门释放按钮(第二级)的情况下，接通第二开关SW2。在第一开关SW1接通的情况下，调焦驱动控制单元108驱动包括调焦透镜的调焦单元107以进行焦点调节，并且光圈/快门驱动控制单元104驱动光圈/快门单元103以设置适当的曝光量。在第二开关SW2接通的情况下，将从摄像单元109上曝光的光学图像所获得的图像数据存储在存储单元116中。

在按下运动图像记录开关的情况下，开始运动图像拍摄，并且在记录期间再次按下运动图像记录开关的情况下，记录结束。还可以通过在运动图像拍摄期间按下第一开关SW1和第二开关SW2，来应对运动图像记录期间的静止图像拍摄。

在按下重放模式选择开关的情况下，选择重放模式。注意，在处于重放模式时，停止图像稳定操作。

放大/缩小开关是用于进行变焦放大/缩小的指示的开关。在通过放大/缩小开关进行了变焦放大/缩小指示的情况下，变焦驱动控制单元102在经由照相机系统控制单元118接收到该指示之后，驱动变焦单元101以使变焦单元101移动到所指示的变焦位置。与此同时，调焦驱动控制单元108基于从摄像单元109发送来的并且在图像信号处理单元110和视频信号处理单元111中处理后的图像信息来驱动调焦单元107以进行焦点调节。

存储单元116存储诸如视频信息等的各种数据。照相机抖动检测单元117是角速度传感器，其中该角速度传感器使用诸如陀螺仪传感器等的传感器来检测照相机抖动量作为角速度，并且输出要转换成电压的抖动信号(角速度信号)。照相机系统控制单元118控制摄像设备整体。运动矢量检测单元119对从图像信号处理单元110所输出的视频信号的帧图像之间的抖动进行分析以检测运动矢量。

图2是示出根据第一实施例的图像稳定控制单元106的结构的框图。注意，由于针对俯仰方向和横摆方向而言结构均相同，因此将仅针对一个图像稳定轴给出说明。

在图2中，AD转换单元201将照相机抖动检测单元117所输出的模拟角速度信号转换成数字角速度信号。

高通滤波器(HPF)202从AD转换单元201转换得到的角速度信号中去除照相机抖动检测单元117的偏移成分和温度漂移成分。积分单元203主要通过使用低通滤波器(LPF)的伪积分进行积分，来将从HPF 202输出的角速度信号转换为角度数据。乘法单元204将通过积分单元203所获得的角度数据转换为图像稳定单元105中所包括的校正透镜的驱动量。使乘法单元204的灵敏度成为针对各焦距而有所不同的值，并且无论何时焦距改变时，灵敏度也改变。此外，还反映与照相机抖动检测单元117的角速度传感器的灵敏度调整相对应的校正量，并且吸收灵敏度变化。以下，该信号输出将被称为第一照相机抖动校正量。

另一方面，积分单元206主要通过使用低通滤波器的伪积分，来对去除了稍后将说明的抖动信号系统识别单元214所识别出的偏移值的角速度信号进行积分，以将该角速度信号转换为角度数据。乘法单元207具有与乘法单元204相同的结构，并且将从积分单元206所获得的角度数据转换为校正透镜的驱动量。以下，该信号输出将被称为第二照相机抖动校正量。由于该第二照相机抖动校正量与第一照相机抖动校正量相比并没有通过HPF，因此可以补偿包括比第一照相机抖动校正量低的频带的抖动的抖动。

信号选择单元208选择第一照相机抖动校正量或第二照相机抖动校正量。例如，为了在具有诸如静止图像拍摄前或平摇操作等的重要照相机操作的运动图像拍摄期间改善视频的表现，选择了频带较窄的第一照相机抖动校正量。另一方面，为了在静止图像曝光期间或者在除平摇操作外的运动图像拍摄期间增加图像稳定效果，选择了作为宽频带信号的第二照相机抖动校正量。

位置检测单元212检测校正透镜的位置并将该位置作为电压输出，并且AD转换单元213将作为校正透镜的位置的模拟电压(位置信号)转换为数字位置信号。

限制器单元209将信号选择单元208所选择的第一照相机抖动校正量或第二照相机抖动校正量钳位到包括校正透镜的图像稳定单元105能够移动的范围。PID控制单元210输入了取值为表示从AD转换单元213输出的校正透镜的位置的位置信号与限制器单元209钳位后的照相机抖动校正量的差的信号，并且基于所输入的差信号来输出用于控制校正透镜的位置的控制信号。驱动器单元211将该控制信号转换为电压，并且提供用于驱动图像稳定单元105的电流。

将如下的三种信号输入至抖动信号系统识别单元214：从AD转换单元201输出的角速度信号、表示从AD转换单元213输出的校正透镜位置的位置信号、以及从运动矢量检测单元119输出的运动矢量。抖动信号系统识别单元214根据这三种输入数据来进行角速度传感器偏移和灵敏度及其各自的误差扩散值的总计四个计算。然后，根据这些计算的结果，改变从角速度信号减去的偏移值、积分单元206中的积分滤波器特性、以及乘法单元207中的转换为校正透镜的偏移量的增益。

接着，使用图3来说明用于根据角速度信号、位置信号和运动矢量来同时识别角速度传感器偏移和灵敏度的原理。

在施加了摄像设备中的角速度W的情况下，在摄像设备内所包含的角速度传感器中，在将角速度W转换为角速度信号的情况下，与灵敏度变动A相乘并将作为角速度传感器的个体变化成分的偏移噪声B与相乘得到的角速度信号相加。此外，通过LPF 402从输出中截除高频，由此检测到观测值(角速度信号)G。这里，将LPF 402的特性表示为L(s)，其中s是拉普拉斯变换中所使用的复数。注意，在图3中，LPF 402示出在角速度传感器的内部，但即使LPF 402处于角速度传感器的外部也同样如此。

通过图像稳定控制单元106来将角速度信号G转换为校正透镜的驱动量。这里，将图像稳定控制单元106的转换特性表示为I(s)。该驱动量将被观测为位置检测单元212所检测到的位置信号H。

另一方面，尽管摄像设备的角速度W利用单纯积分(404)成为摄像设备整体的真实抖动角度，但无法观测到该信号。在从摄像设备整体的抖动角度减去位置信号H的情况下，变为剩余抖动角度，并且获得该剩余抖动角度的帧之间的差(405)作为利用运动矢量检测单元119的运动矢量V。

可以通过以下的等式(1)来表示图3的从角速度W到运动矢量V的传递特性。

V＝W-sH ...(1)

此外，可以通过以下的等式(2)来表示图3的从角速度W到角速度信号G的传递特性。

G＝L(s)(AW+B) ...(2)

等式(3)对应于如下情况：从上述等式(1)和(2)中去除无法观测到的实际角速度W。

G＝AL(s)(sH+V)+L(s)B ...(3)

此外，由于照相机抖动的频带通常为20Hz以下并且角速度传感器的LPF402的截止频率主流为数百Hz，因此这里可以近似为L(s)≈1。在这种情况下，等式(3)变为以下等式(4)。

G＝A(sH+V)+B ...(4)

到此为止已经说明了连续系统，接着将说明离散系统。

进行如下设定：角速度信号G(k)是y(k)(等式(4)左侧的G)，ΔH(k)+V(k)是x(k)(等式(4)右侧的sH+V)，并且识别参数为θ(k)^T＝(A(k),B(k))。A(k)是角速度传感器的灵敏度，B(k)是角速度传感器的偏移，并且k是离散时间。

y(k)＝G(k)

x(k)＝ΔH(k)+V(k)

此外，按照如下来定义新变量z(k)。

根据等式(4)、(5)和(6)，可以得到以下的状态方程。

θ(k+1)＝θ(k)+ε

y(k)＝θ(k)^Tz(k)+ω ...(7)

其中，ε是表示识别参数的变动成分的系统噪声参数，并且ω是观测噪声参数。

如从等式(7)可以看出，可以从作为观测量的角速度信号G(k)、位置信号H(k)和运动矢量V(k)这三种数据，来识别作为可被表示为状态变量的识别参数的角速度传感器的偏移和灵敏度。此外，通过设计作为系统噪声参数的ε，适当地，可以进行包括角速度传感器灵敏度和角速度传感器偏移的温度变动成分的识别。

此外，用于使用卡尔曼滤波器来识别等式(7)的θ的滤波步骤如下所述。

(步骤1)卡尔曼增益计算

(步骤2)识别参数计算

θ(k)＝θ(k-1)+K(k){y(k)-z^T(k)·θ(k-1)} ...(9)

(步骤3)识别误差扩散计算

其中，k是离散时间(滤波步骤数)，K是卡尔曼增益(1行×2列)，P是识别误差协方差矩阵(2行×2列)，并且σ_ω是角速度信号的观测噪声扩散参数(标量)。此外，R_ε是考虑了识别参数的温度变动的系统参数(2行×2列)。对于识别误差扩散矩阵P的初始值，赋予适当的大值作为设计值。然而，如果设置了非常大的值，则识别结果将会发散，因此对于该参数而言需要根据观测噪声进行调整。

此外，对于σ_ω，可以使用角速度信号的实际观测噪声值，但如从等式(8)和(10)可以看出，该参数越大，识别收敛越慢，并且该参数越小，收敛越快。另一方面，较大的值将使滤波器稳定，而该值越小，越存在识别结果将发散的风险。由于该原因，还可以将该值视为用于确定滤波器的收敛速度的调整参数。

另一方面，在卡尔曼滤波器的步骤(3)(等式(10))中，还同时计算识别误差扩散。该识别误差扩散是作为表示给定时刻j的识别结果θ(j)从k＝0到k＝j改变了多少的指标的值，并且可以被视为与时刻j的识别参数θ的可靠性相对应的值。

如上所述，识别参数θ时时刻刻收敛并且可靠性增大，但即使在使用递归最小二乘法而非卡尔曼滤波器的情况下也同样如此。然而，利用递归最小二乘法，没有考虑观测噪声和系统噪声(识别参数变动成分)，因此滤波鲁棒性较低，并且同样无法适用于参数温度变动，因此识别值将收敛于恒定值。由于该原因，在实际设计中使用卡尔曼滤波器是有利的。

上述是用于识别角速度传感器的灵敏度变动A和角速度传感器的偏移B的方法的详细说明，但简要说明如下所述。

利用等式(4)，在作为观测值的角速度信号G是y、并且作为图像稳定角速度和运动矢量的总和的sH+V是x的情况下，等式(4)变为简单的线性模型y＝Ax+B，并且可以根据观测值来确定直线y＝Ax+B的斜率A和y截距B。该斜率是角速度传感器的灵敏度，并且y截距是角速度传感器的偏移。

注意，通过上述方法所获得的角速度传感器的灵敏度在被摄体距离对应于无限远的情况下是纯角速度传感器灵敏度，但在被摄体距离是近距离的情况下并非如此。存在摄像设备的两种类型的抖动：角度抖动和平移抖动。等式(11)表示摄像面上的抖动量。

δ＝(1+β)fθ(t)+βy(t) ...(11)

其中，δ是摄像面上的抖动量[mm]，β是摄像倍率，f是焦距[mm]，θ(t)是抖动角度[度]，并且y(t)是驱动量[mm]。等式(11)右侧的(1+β)fθ(t)是角度抖动成分，并且右侧的βy(t)是平移抖动成分。

如从等式(11)可以看出，在被摄体距离短的情况下，即在微距摄像的情况下，摄像倍率β大，因此无法忽视平移抖动成分。在这种情况下，在许多先前示例中，通过加速度传感器来感测作为平移抖动成分的元素的驱动量y(t)，单独计算平移抖动校正量，并且通过将平移抖动校正量与利用角速度信号所获得的角度抖动成分进行合成来校正这两种抖动成分。然而，在本发明的识别方法中，在被摄体距离近的情况下将剩余平移抖动检测作为运动矢量，因此识别出包括平移抖动成分的校正灵敏度。也就是说，通过使用上述识别方法，可以在无需使用加速度传感器的情况下识别角度抖动和平移抖动这两种抖动成分的总增益，并且可以消除抖动。

然而，在计算出考虑了平移抖动成分的灵敏度变动的情况下，需要适当地设计作为系统变动成分参数的R_ε。此外，在被摄体距离发生预定值以上的变动的情况下，为了增加之后的识别参数的收敛速度，需要将识别误差扩散复位为初始值或者使作为系统噪声的R_ε变大。

接着，将使用图4来说明抖动信号系统识别单元214的结构。以观测数据采样中最慢的运动矢量采样所用的30Hz或60Hz来进行抖动信号系统识别处理的采样。在AD转换单元201和213中以数kHz的速率来对角速度信号和位置信号进行采样，并且使用摄像曝光重心定时信号来与运动矢量进行同步。据此，在平均值计算单元501中计算角速度信号的曝光重心间的帧之间的平均值，并且在差计算单元502中根据位置信号的曝光重心之间的差来计算帧之间的图像稳定角速度。此外，在转换单元503中，运动矢量被转换为角速度单位的运动矢量，并且与帧之间的图像稳定角速度相加。将各个信号输入至LPF 504和505，以降低混叠(aliasing)。然后，通过将LPF 504和505的输出输入至卡尔曼滤波器506，来识别角速度传感器的偏移和灵敏度。还同时输出表示识别结果的可靠性的识别误差扩散。

接着，使用图5的流程图来说明抖动信号系统识别处理。

首先，在步骤S101中，获得运动矢量、角速度信号和图像稳定角速度这三种观测数据，注意，角速度信号是曝光重心之间的平均值，并且图像稳定角速度是位置信号曝光重心之间的图像稳定角度的微分值。此外，在该阶段，对这三种观测数据的单位系进行匹配。在步骤S102中，进行用于利用LPF 504和505进行抗混叠的低通滤波处理。

接着，在步骤S103中，判断摄像设备的运动。在抖动小的情况下(即，在摄像设备安装于三脚架的情况下，在摄像设备放置在不存在抖动的基座上且处于静止状态的情况下，等等)，这三种观测数据大致是恒定值。在这些情况下，在执行上述的卡尔曼滤波步骤时，由于观测基准点是固定的，因此无法进行正确的识别。相反，由于受到观测数据噪声的影响，因而识别结果精度较低。这是因为S/N比差。在相反地抖动大的情况下(即，在快速平摇摄像设备的情况下，在把持摄像设备的同时行走或跑动的情况下，等等)，运动矢量的精度较低。通常，运动矢量检测范围比利用角速度传感器的范围窄，并且无法检测到大的角速度。此外，存在如下情况：针对大的抖动，摄像时所拍摄的图像自身模糊，并且无法检测到正确的运动矢量。

附加地，针对大的抖动，存在如下可能性：运动矢量将会由于以下两种原因而变形。第一个原因是如下情况：将作为抖动成分其中之一的摄像设备的侧倾方向的抖动作为噪声叠加在俯仰方向和横摆方向的运动矢量上，并且俯仰/横摆方向的运动矢量检测结果发生变形。这在行走的同时进行摄像或者在跑动的同时进行摄像的情况下特别显著。关于第二个原因，在摄像设备使用卷帘快门的情况下，存在俯仰/横摆方向的运动矢量上所叠加的相应失真成分。这在超过光学图像稳定设备的校正界限的足够大的抖动的情况下特别显著。

仅在步骤S103中所观测到的抖动量由于这些原因而大于预先确定的预定值δ1并小于预先确定的预定值δ2(处于预先确定的范围内)的情况下，处理进入步骤S104，否则处理返回至步骤S101。注意，抖动量可以是角速度信号自身，或者可以是运动矢量和位置信号的总和(模型角速度)。步骤S104、步骤S105和步骤S106是与卡尔曼滤波器相对应的滤波步骤，并且在这些步骤中分别进行与上述的等式(8)、等式(9)和等式(10)相对应的处理。

从步骤S107起，判断作为卡尔曼滤波器计算结果的参数识别值的收敛程度。在步骤S107中，判断识别误差扩散P(k)是否处于预定值T1和T2之间，并且如果识别误差扩散P(k)处于预定值T1和T2之间，则将识别参数反映在图像稳定控制单元106中(步骤S108)。此外，在积分单元206的LPF滤波器特性在该特性良好的方向上改变(步骤S109)之后，处理返回至步骤S101。

在步骤S107中，如果识别误差扩散P(k)未处于预定值T1和T2之间，则在步骤S110中判断识别误差扩散P(k)是否小于或等于预定值T2。如果识别误差扩散P(k)小于或等于预定值T2，则将识别参数反映在图像稳定控制单元106中(步骤S111)，并且积分单元206的LPF滤波器特性在该特性比步骤S109更良好的方向(截止频率较低的方向)上进一步改变(步骤S112)。注意，在图5所示的处理中，由于纸张的空间，因而仅记载了用于判断识别结果的可靠性的两种模式，但还可以准备更多模式。在这些情况下，在识别误差扩散P(k)低于预定值的情况下，滤波器特性在该特性较为良好的方向(截止频率较低的方向)上改变。

利用如上所述的第一实施例，可以高精度地识别角速度传感器的灵敏度和偏移，并且由于可以将所识别出的灵敏度和偏移反映到照相机抖动校正量中，因而可以改善图像稳定效果。

注意，在步骤S109和步骤S112中改变滤波器特性的情况下，如果利用IIR型滤波器来设计用于进行伪积分的LPF，则根据从摄像设备启动起直到滤波器特性改变定时为止的时间来同时改变作为中间变量的Z是有利的。通常，在通过CPU来进行逐次运算滤波器处理的情况下，可以认为，由于处理负荷而将会通常使用IIR型滤波器。

接着，将使用图6来说明中间变量Z。图6是一般的一阶IIR滤波器(LPF)的框图。在图6中，将输入IN从信号输入单元301输入，并且将滤波器处理后的输出OUT从信号输出单元306输出。通过系数乘法单元302的系数K1来确定作为LPF的频带的LPF的截止频率。此外，系数乘法单元303和304的系数K2和K3是用于确定LPF输出的增益的系数，并且在LPF的情况下，K2＝K3。在伪积分中，作为输出增益的积分增益是固定的，并且即使在特性改变的情况下，该积分增益也不改变。通过在改变特性的情况下使系数K1变大，改善了积分特性的低频成分特性。对此，可以利用以下的等式(12)来表示滤波器中间变量Z(305)。注意，n是等式(12)中的步骤数。

Z_(n+1)＝K1×Z_n+IN ...(12)

由于中间变量Z极大地依赖于系数K1并且利用该值来确定来自信号输出单元306的输出，因此极大地影响了图像稳定的性能。

由于中间变量Z也依赖于步骤数n，因此需要进行如下操作：测量从摄像设备启动起直到滤波器特性改变为止的时间，并且据此来高精度地计算中间变量Z以进行该改变。然而，如果步骤数n充分大，则中间变量Z近似地独立于步骤数n，由此并非上述情况。

然而，可能存在如下情况：根据CPU处理性能，无法在预期时间内高精度地获得中间变量Z。由于在精度不够良好的情况下在改变中将发生信号的不连续并且摄像设备的视角将急剧地移动，因此在通过图2的信号选择单元208选择了第二照相机抖动校正量(乘法单元207的输出)的情况下，中间变量Z不改变。滤波器特性变化的收敛需要时间，但不会产生急剧的视角变动。这是如下情况：主要在运动图像拍摄期间进行瞄准时，在无需平摇等的情况下增加了运动图像稳定性能。

另一方面，在信号选择单元208选择第一照相机抖动校正量(乘法单元204的输出)的情况下，即使精度不够良好，中间变量Z也同时改变，并且瞬间切换积分单元206的滤波器特性。由于利用第一照相机抖动校正量的图像稳定处于执行中，因此第二照相机抖动校正量的不连续性在图像中不明显。存在使得在静止图像拍摄前成为本发明的目的的情形。

变形例

在上述的第一实施例中，给出了通常可以检测到运动矢量的情况的说明，但考虑到实际环境和照相机使用状况，可以认为将会存在如下情况：无法检测到运动矢量，或者尽管可以检测到运动矢量，但可靠性低。无法检测到运动矢量的情况是在例如照相机用于重放模式以及正浏览过去拍摄的图像时图像传感器没有启动的情况。此外，运动矢量的可靠性低的情况是例如照相机所拍摄的被摄体是低对比度或者是重复图案等的情况。如果无法检测到运动矢量，则必然无法执行识别处理。另一方面，如果运动矢量的可靠性低，则存在识别精度将会由于运动矢量的值而下降的可能性，因此不执行识别处理是有利的。

然而，如果没有执行识别处理的时间持续了固定间隔以上，则该时间段内所识别出的角速度信号的输出变化自身将发生变动。在按照原样反映发生变动的输出变化的状态下执行图像稳定的情况下，图像稳定的性能将变差。因此，如果发生上述情形，则积分单元206的滤波器特性返回至原本的滤波器特性(使频带变窄)，并且将识别误差扩散值复位为初始值。由此，可以避免图像稳定性能的劣化。此外，在可以检测到运动矢量并且返回至高可靠性状态的情况下，识别误差扩散的值大，因此可以快速地再次识别发生变动的角速度信号的输出变化部分。

使用图7的流程图来说明上述处理。注意，对于与图5相同的处理，赋予相同的步骤编号并且省略对其的说明。与图5的差别在于：首先，在步骤S203中，与抖动量一起，进一步判断运动矢量的可靠性。如果在该判断中进行了不执行识别处理的判断，则转变至步骤S214。在步骤S214中，对不执行识别处理的时间段进行计数。在步骤S215中，判断计数值是否大于预定值R。如果计数值小于或等于预定值R，则处理返回至步骤S101。另一方面，如果计数值大于预定值R，则判断为不执行识别处理的时间段持续了预定持续时间，并且在步骤S216中将此时的识别误差扩散复位为初始值P0。此外，在步骤S217中，积分单元206的滤波器特性返回至初始值(频带与步骤S109或步骤S112中所设置的滤波器特性相比变窄)。之后，处理返回至步骤S101。注意，在识别处理即使执行一次的情况下，也在步骤S213中复位步骤S214中计数得到的值。

接着，假定了包括能够改变焦距的变焦透镜的摄像设备。由于在焦距较短的情况下视角较宽，因此与一个像素相对应的角度较大并且运动矢量检测分辨率能力较低。相反，由于在焦距较长的情况下视角较窄，因此与一个像素相对应的角度较小并且运动矢量检测分辨率能力较大。也就是说，检测到的运动矢量的变化根据焦距而发生变动。因此，在使得识别处理中的卡尔曼滤波器的参数固定的情况下，根据焦距，在识别精度中发生变化。

有鉴于此，通过改变作为等式(8)中的参数的观测噪声扩散参数σ_ω，识别收敛速度发生改变，但防止了识别精度变差。更具体地，通过在焦距较短的情况下使σ_ω变大，收敛速度变慢，并且避免了识别精度变差。相反，通过在焦距较长的情况下使σ_ω变小，可以使收敛速度保持较快，并且识别精度高。

此外，考虑了干扰的影响。摄像设备大幅抖动时的干扰的原因是如先前所述那样，并且记载了在存在大幅抖动时不进入识别处理序列。相反，可以认为干扰原因将会极少的情形是用户拍摄被摄体并且正保持SW1的情况，因此在这种情况下，将不存在大幅抖动的可能性高。此外，在伴随自动调焦而变为对焦之后，在诸如低对比度等的情况下检测到可靠性低的运动矢量的可能性低。在这种情况下，可以认为通过相对地提高识别收敛速度将会增大识别精度。

更具体地，在保持SW1期间聚焦之后，通过使等式(8)的观测噪声扩散参数σ_ω变得相对较小，来使卡尔曼增益变大，由此提高了识别收敛速度。此外，通过单纯提高图像传感器的帧频来提高识别收敛速度。据此，可以在干扰原因减少的高速识别处理中进一步提高识别精度。

第二实施例

接着，说明本发明的第二实施例。在上述的第一实施例中，说明了可以通过位置检测单元212来检测图像稳定单元105的校正透镜的位置的情况，但在第二实施例中，将说明不存在位置检测单元212并且利用开放式控制来进行图像稳定的情况。注意，第二实施例中的摄像设备的结构与第一实施例中参考图1所述的结构相同，并且将省略对其的说明。

图8是示出在根据第二实施例的开放式控制的情况下的图像稳定控制单元106的结构的框图。注意，对于与第一实施例中参考图2所述的结构相同的结构，赋予了相同的附图标记，并且适当省略对其的说明。

由于在通过开放式控制单元810所执行的开放式控制中不存在位置信号，因而在第二实施例中根据角速度信号来预测位置信号。图像稳定单元建模单元813定义图像稳定控制单元106的机械模型，并且进行用于预测与所进行的输入(输入[N])相关的输出(位置[m])的处理。通过使用图像稳定单元建模单元813所预测出的位置信号，如第一实施例那样，与角速度信号和运动矢量一起，在抖动信号系统识别单元214中识别角速度信号的输出变化。

接着，针对图像稳定单元建模单元813给出说明。图9是用于以二阶弹簧质量阻尼模型简单地表示图像稳定单元建模单元813的图。进行如下设定：作为图像稳定单元105的可移动单元的校正透镜的重量是M[kg]，弹簧常数为k[N/m]，阻尼系数为D[N·s/m]，透镜驱动位移量为x(t)[m]，并且施加于透镜的力是u(t)[N]。在这种情况下，根据运动方程，以下的等式(13)成立。

在对上述等式进行拉普拉斯变换并且利用传递函数来表示控制对象的情况下，以下的等式(14)成立。H(s)是作为控制对象的图像稳定单元105的数学模型的传递函数。

据此，图像稳定透镜近似为二阶控制对象，并且表现了传递特性。

这里施加于透镜的力u(t)是从驱动器单元211所输出的透镜驱动命令信号r(t)[N]和与加速度干扰相对应的力d[N]的合成，并且以下等式(15)成立。

u(t)＝r(t)+d(t) …(15)

可以使用加速度传感器来补偿干扰d[N]。

利用以上所述，预测出位置信号，并且与第一实施例相同，通过将预测出的位置信号、角速度信号和运动矢量输入至抖动信号系统识别单元214，可以识别角速度传感器的灵敏度和偏移。

第三实施例

接着，说明本发明的第三实施例。在第三实施例中，将说明用于在跟踪运动被摄体的同时进行拍摄的摇摄辅助功能。

通常，摇摄中使背景流过的快门速度Tv的设置被设置得较慢，但该快门速度变得越慢，则实际被摄体的移动和摄像设备的平摇速度之间的偏移将作为被摄体的模糊而残留越多。因此，用于通过以作为被摄体的实际移动速度和摄像设备的速度之间的差的速度对图像稳定单元进行驱动来抵消被摄体的模糊的功能是摇摄辅助功能。

对此，需要使用运动矢量来检测被摄体的速度。对于运动矢量，针对画面内的各小块来生成局部运动矢量，并且对于各个局部运动矢量，包括了除被摄体矢量以外的由于平摇所引起的背景矢量。这样，由于存在两种类型的运动矢量，因此变得需要进行用于使被摄体矢量和背景矢量分离的处理。

图10A是示出存在相对于画面1101进行移动的被摄体1102的情况的图。此外，图10B是配置有用于检测局部运动矢量的区域(块)的图，并且作为示例，示出了纵向5个块×横向5个块。此外，假定被摄体沿向右方向移动，并且还假定平摇方向是向右方向以使得能够跟踪被摄体。

在这种情况下，从存在运动被摄体的块(阴影块1104)中检测到程度较小的抖动量作为运动矢量。另一方面，从剩余的背景块(非阴影块1103)，检测与平摇匹配的大运动矢量。后者的平摇速度与根据表示角速度传感器所检测到的抖动量的角速度信号转换得到的图像的抖动像素量一致，因此抖动像素量附近的运动矢量是背景矢量，并且将其它运动矢量分离为被摄体矢量。

图11是如下的直方图：对于针对5×5个区域中的各区域所获得的局部运动矢量，在横轴上表示运动矢量的大小并且在纵轴上表示频率。虚线是角速度传感器的输出被转换为图像的抖动像素时的值。如上所述，角速度传感器的输出与背景矢量应当一致，并且对于被摄体矢量，理想地，存在分离的峰作为抖动像素。

然而，实际上，存在由于温度和角速度传感器特有的偏移噪声所引起的变动，并且由于存在因灵敏度变化和温度所引起的灵敏度变动，因此图11的虚线受到该噪声的影响而变动。由于该原因，噪声越大，越难以将背景矢量和被摄体矢量分离，因此也影响到摇摄辅助精度。

因此，在第三实施例中，使用角速度传感器的输出以及运动矢量来识别角速度传感器的输出变化，并且通过将识别结果反映在角速度传感器的输出中的信号与运动矢量进行比较来进行被摄体矢量和背景矢量的分离。

图12是示出第三实施例的摇摄辅助控制单元1200的结构的框图。代替图像稳定控制单元106而是配置摇摄辅助控制单元1200，但结构可以使用图像稳定控制单元106的部分结构。注意，除了摇摄辅助控制单元1200以外，第三实施例的摄像设备的结构与第一实施例中参考图1所述的结构相同，因此将省略说明。此外，对于图12中的具有与第一实施例中参考图2所述的功能相同的功能的结构，赋予相同的附图标记并且省略对其的说明。

附图标记1301是抖动信号修改单元，其中将背景矢量、来自照相机抖动检测单元117的角速度信号和来自AD转换单元213的位置信号这三个观测值作为输入而输入至该抖动信号修改单元。附图标记1302是被摄体/背景矢量计算单元，其中该被摄体/背景矢量计算单元用于使用多个运动矢量以及抖动信号修改单元1301修改后的抖动信号来计算被摄体矢量和背景矢量。

图13是示出图12所示的抖动信号修改单元1301和被摄体/背景矢量计算单元1302的详细结构的框图。将来自AD转换单元213的位置信号、来自照相机抖动检测单元117的被AD转换单元1401进行AD转换得到的角速度信号、以及背景矢量输入至抖动信号系统识别单元1402。利用输入的这三个信号，与第一实施例同样地，识别角速度传感器的灵敏度和偏移。在偏移减法单元1404中从角速度信号中减去所识别出的偏移，并且在增益乘法单元1405中以相乘来反映所识别出的灵敏度。

另一方面，在直方图处理单元1406中基于运动矢量检测单元119在各区域中检测到的运动矢量来生成直方图。另一方面，抖动信号修改单元1301修改了输出变化的角速度信号被输入至被摄体/背景矢量分离单元1407，与运动矢量进行比较，并且如上所述，进行被摄体矢量和背景矢量分离处理。被摄体矢量生成单元1408通过对被判断为被摄体矢量的运动矢量组进行平均处理来生成一个被摄体矢量。背景矢量生成单元1411通过对被判断为背景矢量的运动矢量组进行平均处理来生成一个背景矢量。

此外，从图1所示的变焦驱动控制单元102，输入当前焦距信息。被摄体矢量角速度转换单元1410使用该焦距信息来将被摄体矢量从图像的像素转换值转换成角速度转换值。背景矢量角速度转换单元1412使用该焦距信息来将背景矢量从图像的像素转换值转换成角速度转换值。

通过针对每一帧进行该处理序列，识别精度增大，并且所分离出的被摄体矢量的精度增大。此外，通过执行以下操作校正了曝光期间移动的被摄体的模糊，该操作为：使用通过反映紧挨在静止图像曝光之前的精度高的识别偏移和识别增益所分离出的高精度被摄体矢量而在静止图像曝光期间进行图像稳定控制。

这样，利用第三实施例，由于可以以良好的精度进行背景矢量和被摄体矢量的分离，因此可以改善摇摄辅助精度。

注意，在上述实施例中，说明了通过驱动图像稳定单元105中所包括的校正透镜来光学地进行图像稳定的情况，但本发明不限于此。例如，可以采用驱动摄像单元109的结构，或者可以采用一起驱动校正透镜和摄像单元109的结构。

尽管已经参考典型实施例描述了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽泛的解释，以包含所有这类修改、等同结构和功能。

Claims

1.一种图像稳定设备，包括：

转换单元，用于基于照相机抖动检测单元的输出变化来校正所述照相机抖动检测单元所检测到的角速度信号，并且将校正后的角速度信号转换为照相机抖动量；

分离单元，用于将从图像传感器所输出的图像的各帧分割为多个区域，并且使用转换得到的照相机抖动量将各自根据图像的帧之间在各区域的差所计算出的运动矢量分离为与被摄体相对应的被摄体矢量和与背景相对应的背景矢量；

识别单元，用于基于所述转换单元校正之前的角速度信号、所述背景矢量和表示用以光学地校正抖动的校正单元的位置的位置信号，来识别所述照相机抖动检测单元的输出变化；以及

改变单元，用于将所述被摄体矢量改变为所述校正单元的驱动量，

其中，所述转换单元基于所述识别单元所识别出的输出变化来校正所述角速度信号。

2.根据权利要求1所述的图像稳定设备，其中，所述转换单元基于所述输出变化来改变转换中所使用的系数。

3.根据权利要求1所述的图像稳定设备，其中，所述输出变化包括所述照相机抖动检测单元的灵敏度和偏移的变化。

4.根据权利要求1所述的图像稳定设备，其中，

所述识别单元使用卡尔曼滤波器或递归最小二乘法来进行识别，以及

所述识别单元包括用于计算识别结果的误差扩散的计算单元。

5.根据权利要求4所述的图像稳定设备，其中，与所述误差扩散处于预定范围内的情况相比，在所述误差扩散小于或等于所述预定范围的下限值的情况下，所述转换单元使得要处理的频带变宽。

6.根据权利要求1所述的图像稳定设备，其中，还包括判断单元，所述判断单元用于判断所述运动矢量的可靠性，

其中，在所述运动矢量的可靠性小于预定可靠性的情况下，所述识别单元不进行识别。

7.根据权利要求1所述的图像稳定设备，其中，在所述角速度信号没有处于预定范围内的情况下，所述识别单元不进行识别。

8.根据权利要求1所述的图像稳定设备，其中，在从所述运动矢量所获得的图像稳定角速度与所述位置信号的总和没有处于预定范围内的情况下，所述识别单元不进行识别。

9.根据权利要求7或8所述的图像稳定设备，其中，

所述转换单元包括IIR滤波器，以及

在所述识别单元不进行识别的时间段持续了预先确定的预定持续时间的情况下，所述转换单元缩小所述IIR滤波器的频带。

10.根据权利要求4或5所述的图像稳定设备，其中，还包括用于检测到被摄体的距离的单元，

其中，在到所述被摄体的距离变动了预定值以上的情况下，所述计算单元将所述误差扩散改变为更大的值。

11.根据权利要求4或5所述的图像稳定设备，其中，还包括用于驱动用以改变焦距的变焦透镜的单元，

其中，在所述焦距是预定第一焦距的情况下，所述识别单元对识别所使用的系数进行设置，以使得识别的收敛速度变得慢于比所述第一焦距长的第二焦距的情况下的识别的收敛速度。

12.根据权利要求4所述的图像稳定设备，其中，还包括能够根据按压量进行两级操作的快门释放单元，

其中，在进行所述快门释放单元的第一级操作的时间，所述识别单元对识别所使用的系数进行设置，以使得识别的收敛速度快于其它时间的识别的收敛速度。

13.根据权利要求4所述的图像稳定设备，其中，还包括能够根据按压量进行两级操作的快门释放单元，

其中，进行所述快门释放单元的第一级操作的时间的帧频高于其它时间的帧频。

14.根据权利要求12所述的图像稳定设备，其中，还包括驱动单元，所述驱动单元用于驱动调焦透镜，

其中，进行所述快门释放单元的第一级操作的时间是从利用所述驱动单元聚焦之后的时刻起直到静止图像拍摄之前的时刻为止的时间段。

15.一种图像稳定方法，包括以下步骤：

基于照相机抖动检测单元的输出变化来校正所述照相机抖动检测单元所检测到的角速度信号；

将校正后的角速度信号转换为照相机抖动量；

将从图像传感器所输出的图像的各帧分割为多个区域；

使用转换得到的照相机抖动量将根据图像的帧之间在各区域的差所计算出的运动矢量分离为与被摄体相对应的被摄体矢量和与背景相对应的背景矢量；

基于校正之前的角速度信号、所述背景矢量和表示用以光学地校正抖动的校正单元的位置的位置信号，来识别所述照相机抖动检测单元的输出变化；以及

将所述被摄体矢量改变为所述校正单元的驱动量，

其中，基于所识别出的输出变化来校正所述角速度信号。