CN101742098B - 摄像装置及其控制方法 - Google Patents

Abstract

本发明涉及一种摄像装置及其控制方法。在基于包括抖动传感器和运动向量获得方法的两种抖动检测方法执行图像稳定化的摄像装置中，由于运动向量获得方法能够检测抖动传感器难以检测的抖动分量，因此运动向量获得方法能够执行精确的模糊校正。然而，在使用低的帧速率进行摄影时，由于可检测频带在高频中变窄，因此运动向量不能校正由于诸如车载抖动的高频振动引起的图像模糊。因此，需要根据取决于帧速率的改变的、运动向量可检测的频带来优化来自角速度传感器和来自运动向量的模糊信息的合成。根据随帧速率而必定改变的、运动向量可检测的频率，来确定基于来自角速度传感器或加速度传感器的模糊信息的模糊校正与基于运动向量的模糊校正的合成比率。

Description

摄像装置及其控制方法

技术领域

本发明涉及具有图像稳定化功能的摄像装置(例如照相机)及其控制方法。

背景技术

摄像装置在各个方面都已经自动化和多功能化了，尤其是以自动曝光(AE)和自动聚焦(AF)为代表，从而使得任何人都能够容易地实现良好的摄影。近年来，随着摄像装置的小型化以及光学系统的高倍率化的发展趋势，摄像装置的抖动成为摄影图像的清晰度变差的主要原因。该问题得到了关注，并且已经存在配设了用于补偿摄像装置的抖动的图像稳定化功能的各种摄像装置。

存在两种用于检测抖动的方法。一种方法使用角速度传感器或加速度传感器来检测摄像装置本身的抖动。在另一种方法中，从在摄影图像中所检测的图像运动中减去被摄体的运动，并将基于相减结果的信号检测为摄像装置的抖动。

日本特开平10-322584号公报提出了一种技术，通过该技术将根据上述两种方法检测到的模糊信号合成以实现图像稳定化。日本特开2007-19571号公报提出了在基于上述两种方法实现模糊稳定化时，根据摄影模式(例如运动图像摄影模式和静止图像摄影模式)改变对来自传感器的模糊信息和来自移动向量的模糊信息进行合成时的权重。

通常用作抖动检测传感器的角速度传感器能够检测装置本身的旋转抖动。但是，如果角速度传感器的安装位置从旋转中心移位，则不能精确地检测装置的抖动。此外，尽管装置具有横向和竖向的偏移抖动，但是角速度传感器在本质上不能检测这种抖动分量。在用于检测抖动时，加速度传感器能够检测偏移抖动，然而需要安装多个传感器来检测旋转抖动。此外，由加速度计算抖动量需要两段积分处理。这容易引起由于计算误差导致的偏差，从而使得难以精确地检测抖动。

此外，从摄像元件的高速读出以及更高速的图像处理使得能够以高速帧速率进行摄影。这使得可以用于通过运动向量检测抖动的频带足够宽来检测手抖动或车载抖动。在检测运动向量时，角速度传感器能够检测难以检测的抖动分量，由此能够进一步进行精确的模糊校正。但是，在以低的帧速率进行摄影的情况下，可以用于通过运动向量检测抖动的频带在以低的帧速率的摄影中不便于变窄，使得不能校正诸如车载抖动的高频抖动。此外，运动向量需要用于确定运动是否是被摄体的运动的处理。图像模糊和被摄体的运动之间的错误区分非期望地导致非想要的图像稳定化。

因此，在帧速率改变时，必须根据可以用于检测运动向量的频带来优化从角速度传感器所接收的抖动信息与基于运动向量的抖动信息的合成。

发明内容

本发明提供一种不考虑帧速率而能够在较宽的频带上实现合适的抖动校正的摄像装置。

根据本发明的一个方面，提供一种摄像装置，该摄像装置包括：改变单元，其被配置为选择摄影的帧速率；检测单元，其被配置为检测所述摄像装置的抖动；获得单元，其被配置为获得关于由所述摄像装置拍摄的多个帧之间的图像的运动的信息；信号处理单元，其被配置为输出用于校正由所述摄像装置的抖动引起的图像模糊的模糊校正信号；以及校正单元，其被配置为基于所述模糊校正信号来校正由所述摄像装置拍摄的图像的模糊，其中，所述信号处理单元将从所述检测单元获得的第一模糊信号与从所述获得单元获得的第二模糊信号进行合成，由此输出所述模糊校正信号，并且其中，基于所述摄像装置的所述帧速率来确定在所述模糊校正信号中所述第二模糊信号与所述第一模糊信号的合成比率。

根据本发明，根据能够用于检测运动向量且难以随着帧速率改变的频带，来优化基于角速度传感器或加速度传感器获得的抖动信息的模糊校正与基于运动向量信息的模糊校正的合成比率。通过该配置，能够提供不考虑帧速率而能够在较宽的频带内适当地校正模糊的摄像装置。

从以下对示例性实施例的描述中，本发明的其他特征将变得明显。

附图说明

图1是例示第一实施例的摄像装置的框图。

图2是例示运动向量获得单元的框图。

图3是例示基于运动向量信息的抖动校正量与检测频率之间的关系的图。

图4是例示第一实施例的操作过程的流程图。

图5是例示帧速率与抖动校正量合成比率之间的关系的图。

图6是例示第二实施例的摄像装置的框图。

图7是例示第二实施例的操作过程的流程图。

图8是例示帧速率与抖动校正量合成比率之间的关系的图。

图9是例示第三实施例的摄像装置的框图。

图10是例示第三实施例的照相机系统的操作过程的流程图。

图11是例示第三实施例的镜头系统的操作过程的流程图。

具体实施方式

以下将参照附图说明作为本发明的实施例的具有图像稳定化功能的摄像装置。

[第一实施例]

图1例示了能够应用于本发明的摄像装置的框图的示例。参照图1，摄像装置具有固定的前镜头单元100、在光轴方向上移动来改变放大率的缩放镜头单元101、在相对于光轴的俯仰方向(纵向)与偏转方向(横向)上被驱动以进行模糊校正的移位镜头单元103、沿光轴方向移动以进行聚焦调整的聚焦镜头单元104以及调整光量的光圈单元(stop unit)102。该摄像装置还具有CPU 125，CPU 125包括视频信号处理单元106、运动向量获得单元122、模糊校正信号处理单元121、减法器124、相位及增益补偿器113、可变高通滤波器(HPF)118、积分处理单元120以及摇摄(panning)处理单元119。

来自被摄体(未示出)的光束通过镜头单元100、101、103和104以及光圈单元102，在诸如CCD传感器或CMOS传感器的摄像元件(光电变换器)105的光接收表面上形成图像。经过光电转换的电荷蓄积在摄像元件105中，并且由视频信号处理单元106在预定的定时读出电荷。视频信号处理单元106还具有用于将来自摄像元件105的模拟信号转换为数字信号的A/D转换功能。视频信号处理单元106对来自摄像元件105的输出信号执行诸如预定放大和伽玛校正等的各种处理，以生成视频信号。视频信号被输出到诸如液晶显示屏的显示设备108或者使用磁带或光盘的记录设备107。视频信号还被输出到运动向量获得单元122。稍后将描述运动向量获得单元122的检测操作。运动向量获得单元122使用软件信号处理以检测摄影图像之间的图像运动作为运动向量，由此来检测由装置本身的抖动引起的图像模糊。

角速度传感器114物理地检测摄像装置的振动。在本实施例中，描述将角速度传感器用作抖动检测单元的情况。DC截止滤波器115截止来自角速度传感器114的输出信号中的DC分量，由此只允许振动分量从中通过。放大器116将从DC截止滤波器115输出的角速度信号放大到所需的水平。A/D转换器117将由放大器116放大了的角速度信号从模拟信号转换为数字信号，然后提供给可变高通滤波器118。可变高通滤波器118是能够调整截止频率或增益以获得期望的信号分量的滤波器。积分处理单元120将角速度信号转换为表示用于校正模糊的命令值的角变位信号。角变位信号等价于角变位抖动校正量。摇摄处理单元119基于从积分处理单元120输出的角变位抖动校正量确定是否正在进行摇摄或倾斜，并在摇摄中通过改变可变高通滤波器的特性来控制摇摄/倾斜期间的抖动校正。这是用于减少摇摄中的回拉现象或摄影者的晕船现象的处理。在用于物理地检测摄像装置的振动的方法中，可以使用加速度传感器来替代角速度传感器。

模糊校正信号处理单元(校正信号处理单元)121将来自积分处理单元120的输出与来自运动向量获得单元122的输出进行合成，以生成用于校正摄影图像的图像模糊的模糊校正信号。模糊校正信号处理单元121根据来自帧速率改变单元123(用于改变帧速率的单元)的帧速率值来改变模糊校正量的合成比率。帧速率改变单元123在摄影者手动地改变帧速率设置时改变帧速率，或者帧速率改变单元123根据摄影场景自动地改变帧速率。例如，在交替摄影(interlace shooting)的情况下，帧速率是60i或50i或更快的帧速率。为了对具有低亮度的被摄体进行摄影，降低帧速率(慢门摄影)以延长摄像元件的蓄积时间。

位置检测器111检测可移动偏移镜头单元103的位置。A/D转换器112将关于所检测的位置的信息从模拟信号转换为数字信号。减法器124计算作为模糊校正信号处理单元的输出的目标模糊校正信号与已经转换为数字信号的位置信号之间的差，以计算差信号。由减法器124所计算出的差信号通过相位及增益补偿器113，被转换为用于校正模糊的模糊校正控制信号。模糊校正控制信号通过驱动电路110，被转换为驱动传动器109的驱动信号。传动器109连接至偏移镜头单元103。根据驱动信号在用于校正俯仰及偏转方向上的抖动的方向上驱动偏移镜头单元103。位置检测器111检测所驱动的偏移镜头单元103的位置。由此，构建了伺服控制系统。

图1的框图例示了仅在一个方向上驱动的结构，即，俯仰方向或偏转方向中的任一方向。为了实现俯仰和偏转两个方向上的驱动，实际的摄像装置需要两个从109到121以及124的各控制块。

运动向量获得单元122使用相关性方法或者块匹配方法获得运动向量。根据块匹配方法，将输入视频信号的域(field)(或者下文中应用的帧)分割为每一个具有适当大小(例如8×8行)的多个块，并搜索相对于当前域中的特定块的相关性值最小的之前域中的块。此处，相关性值由例如特定块与搜索到的之前域的块的像素值(亮度值)之间的差的绝对值的和来表示。然后，用特定块的运动向量来表示相关性值最小的之前域中的块与当前域中的特定块之间的相对偏移量和方向。如上所述所检测或所计算的运动向量表示垂直方向和水平方向上的各个像素的运动量。运动向量表示连续摄影图像(域图像或帧图像)的每单位时间的运动量，由此获得与连续摄影图像的运动量成比例的值。随着帧速率增大，缩短检测连续图像的运动量的周期，从而使得能够检测高频运动。

图2例示了使用上述块匹配方法的运动向量获得单元的结构示例。逐个域地将要检测运动向量的视频信号分别提供给第一存储器单元210和空间频率滤波器212。第一存储器单元210由临时存储一个域的图像信号的存储器构成。滤波器212提取对于从图像信号检测运动向量有用的空间频率分量。滤波器212被设置为从图像信号中去除高的空间频率分量。

二值化单元213使用预定水平作为界限对通过滤波器212的图像信号进行二值化。经过二值化的图像信号被提供给相关性计算单元214和用作一个域周期延迟单元的第二存储器单元216。相关性计算单元214还从第二存储器单元216接收之前域的图像信号。相关性计算单元214根据上述块匹配方法逐块地对当前域和之前域执行相关性计算，并将计算结果提供给下一阶段的运动向量计算单元218。

运动向量计算单元218根据给定的相关性值计算各个块的运动向量。各个块的运动向量被提供给运动向量确定单元224。运动向量确定单元224根据各块的运动向量确定整体运动向量。例如，将块的运动向量的中心值或平均值确定为整体运动向量。

图3例示了在使用角速度传感器时所观察到的可检测频率范围与模糊校正检测增益之间的关系以及在使用运动向量时所观察到的可检测频率范围与模糊校正检测增益之间的关系的示例。使用角速度传感器时的可检测频率范围是大约1Hz到大约30Hz。使用运动向量时的可检测频率范围在低帧速率(如慢门摄影或24p摄影)下是大约0.1Hz到大约1Hz。在超过120p的高帧速率下，可检测频率范围是大约0.1Hz到大约20Hz。但是，运动向量的可检测频率范围取决于视频处理电路的工作速度，因此如果视频处理电路的工作速度增大，则可以在更高的频率范围内检测运动向量。在本实施例中，在考虑到运动向量的可检测频率范围由于帧速率的改变而变化的情况下，优化与角速度传感器进行的模糊检测的合成。

更具体地说，最终的模糊校正量中的运动向量模糊校正量的合成比率包括对应于第一帧速率的第一合成比率以及对应于第二帧速率的第二合成比率，其中，所述第二帧速率高于所述第一帧速率，所述第二合成比率高于所述第一合成比率。

以上对构成本实施例的摄像装置的各个单元的功能及其处理流程进行了说明。

现在参照图4的流程图，对模糊校正信号处理单元121实施的操作过程进行说明。

(步骤301)

该过程获得关于手动或自动设置的摄影图像的帧速率的信息。可选择地，可以将此处的帧速率称为结合图2所述的获得运动向量的周期。

(步骤302)

该过程确定根据角速度传感器所检测的角速度信号计算的抖动校正量(角变位抖动校正量，即第一抖动量)与根据运动向量计算的抖动校正量(运动向量抖动校正量，即第二抖动量)的合成比率。图5中例示了合成比率的示例。如果帧速率低，则可由运动向量检测抖动的频率范围不够宽，导致了向低频侧偏移。鉴于此，增大角变位抖动校正量的比率。如果帧速率高，则运动向量可以在足够高的频率范围内检测抖动。因此，增大运动向量抖动校正量的比率，而降低角变位抖动校正量的比率。以表数据或计算公式的形式将与各个帧速率对应的合成比率存储到摄像装置中。

本实施例的特征在于，运动向量的合成比率具有朝右的向上倾斜，向上倾斜是指随着帧速率的增大而增大。必要时，根据聚焦是朝向广角端还是远距摄影端或者根据各种传感器的精度，来对低帧速率下的合成比率的值或者高帧速率下的合成比率的值(图5的平坦线的值)进行期望的改变。

即使装置被构造成使得合成比率随着帧速率的增大离散地增大，而非连续地增大(如图5所示)，也不会削弱本实施例的优点。

(步骤303)

根据步骤302中确定的比率和积分处理单元的输出结果计算角变位抖动校正量。

(步骤304)

根据步骤302中确定的比率和所检测的运动向量来计算运动向量抖动校正量。

(步骤305)

将分别在步骤303和步骤304中确定的抖动校正量合成，以获得合成的抖动校正量。

将在步骤305中确定的合成的抖动校正量转变为目标抖动校正信号，并且通过伺服控制来驱动偏移镜头单元103以实现抖动校正。

在图1所示的实施例中，如图5所示，角变位抖动校正量的比率在高的帧速率下减小了。这使得能够检测甚至运动向量不能检测的更高的频率模糊信号，而且还将由在检测运动向量时错误地将被摄体的运动确定为模糊信号所引起的进行错误抖动校正的机会降低到最小。

[第二实施例]

图6是本实施例中的摄像装置的框图。

已经描述了从块100到块125，因此将省略对其描述。第二实施例与第一实施例的不同之处在于，第二实施例设置有供电单元126，用于向角速度传感器114供给电力。供电单元从DC-DC转换器或调节器的电源电路向角速度传感器供给电力。

将参照图7的流程图描述由图6的框图中所示的本实施例中的模糊校正信号处理单元实施的操作过程。

(步骤401)

该过程检测摄影者手动设置或者摄像装置自动设置的摄影图像的帧速率。

(步骤402)

该过程确定根据角速度传感器所检测的角速度信号计算的抖动校正量与根据运动向量计算的抖动校正量的合成比率。图8中例示了合成比率的示例。如果帧速率低，则可由运动向量检测的抖动的频率范围不够宽，导致了朝向低频侧的偏移。鉴于此，增大基于角速度传感器的抖动校正量的比率。如果帧速率高，则运动向量可以检测足够高的频率范围内的抖动。因此，增大根据运动向量计算的抖动校正量的比率。此外，如果仅仅能由运动向量检测足够高的频率范围的抖动(如果帧速率为Th或者更大)，则将根据角速度传感器计算的抖动校正量的比率设置为零。

(步骤403)

该过程确定帧速率是否是预定值或者更大的值(Th或者更大)。预定值Th指的是如图8所示的使角变位抖动校正量的合成比率为零的帧速率的阈值。如果确定帧速率是Th或者更大，则过程进入到步骤405以关闭对角速度传感器的电力供给。如果帧速率低于Th，则过程进入到步骤404。

(步骤404)

该过程确定是否正在向角速度传感器供给电力。如果正在供给电力，则过程进入到步骤407。如果关闭了电力供给，则过程进入到步骤406以开启电力供给。

(步骤405)

基于角速度传感器的抖动校正量达到零，使得停止向角速度传感器的电力供给。这使得能够降低电力消耗。

(步骤406)

向角速度传感器供给电力以从角速度传感器获得模糊信号。

(步骤407)

根据步骤402中确定的比率和从积分处理单元输出的结果来计算基于角速度传感器的抖动校正量(角变位抖动校正量)。

(步骤408)

根据步骤402中确定的比率，计算基于运动向量的模糊校正量。

(步骤409)

将分别在步骤407和步骤408中确定的抖动校正量相加以获得合成的抖动校正量。然而，如果帧速率为Th或者更大，则基于角速度传感器所确定的角变位抖动校正量为零，使得此处获得的抖动校正量仅是运动向量抖动校正量。

因此，基于步骤409中获得的合成的抖动校正量来获得模糊校正信号，并且通过伺服控制来驱动偏移镜头单元，由此实现抖动校正。当以高的帧速率摄影时，能够节省角速度传感器所消耗的电力。

[第三实施例]

下面将参照图9的框图描述具有可互换镜头的摄像装置的本实施例。

由于已经描述了块100至125，因此省略对其描述。虚线右边的块表示照相机功能，而虚线左边的块表示镜头功能。由照相机通信单元127和镜头通信单元128通过通信触点129a和129b来实现照相机系统和镜头系统之间的各种信息的传输。在本实施例中，照相机系统的照相机CPU 130包括视频信号处理单元106、运动向量获得单元122以及照相机通信单元127。镜头系统的镜头CPU 131包括镜头通信单元128、模糊校正信号处理单元121、减法器124、相位及增益补偿器113、可变高通滤波器(HPF)118、积分处理单元120以及摇摄处理单元119。

照相机通信单元将运动向量获得单元所获得的信息和帧速率信息转换为通信数据，并将通信数据发送给镜头通信单元。镜头通信单元基于所接收到的数据将通信数据转换为抖动校正信息或帧速率信息。该通信可以是同步串行通信、异步通信或无线通信。

下面将参照图10和图11描述由根据本发明的具有可互换镜头的摄像装置进行的抖动校正操作。图10是例示由照相机系统进行的操作的流程图。

(步骤501)

获得关于摄影图像的帧速率的信息。

(步骤502)

照相机通信单元将在步骤501中获得的关于帧速率的信息通过通信触电129a和129b发送给镜头通信单元127。关于帧速率的信息可以是实际的帧速率数(例如24p、50i和60i)，或者是基于由照相机系统和镜头系统预先确定的数据表的数值(例如，24p＝1、50i＝2和60i＝3)。

(步骤503)

将运动向量获得单元122针对各个帧获得的运动向量信息通过通信触点发送给镜头通信单元128。

图11是例示镜头系统的操作过程的流程图。

(步骤601)

该过程确定是否接收到了照相机系统所选择的帧速率信息。如果尚未接收到该信息，则重复该步骤直到接收到该信息。如果接收到了该信息，则该过程进入到步骤602。

(步骤602)

该过程确定是否接收到了照相机系统所检测的运动向量信息。如果尚未接收到该信息，则重复该步骤直到接收到该信息。如果接收到了该信息，则该过程进入到步骤603。

(步骤603)

基于步骤601中接收到的帧速率，来确定根据角速度传感器所检测的角速度信号计算的抖动校正量与运动向量抖动校正量的合成比率。该合成比率为例如如上所述的图5中所示的比率。

(步骤604)

根据步骤603中所确定的比率以及从积分处理单元120输出的结果，计算基于角速度传感器的抖动校正量(第一抖动校正量)。

(步骤605)

根据步骤603中所确定的比率和镜头通信单元所接收到的运动向量信息来计算运动向量抖动校正量。

(步骤606)

将分别在步骤604和步骤605中确定的抖动校正量进行合成，以获得合成的抖动校正量。将该步骤606中确定的合成的抖动校正量用作模糊校正信号，并且通过伺服控制来驱动偏移镜头单元103，由此来实现抖动校正。

因此，同样地在具有可互换镜头的摄像装置中，根据难以随帧速率改变的运动向量可检测频率，来改变基于从角速度传感器或加速度传感器所接收到的抖动信息的抖动校正与基于运动向量信息的抖动校正的合成比率。该配置能够提供具有图像稳定化功能的摄像装置，该摄像装置能够在不考虑帧速率的情况下实现在更宽的频率范围内对包括手抖动和车载抖动的抖动进行进一步的适当校正。

虽然参照示例性实施例对本发明进行了描述，但是应当指出，本发明不限于所公开的示例性实施例。所附权利要求的范围应当符合最宽泛的解释，以涵盖所有这种变型、等同结构及功能。

Claims (6)

1.一种摄像装置，该摄像装置包括：

改变单元，其被配置为选择摄影的帧速率；

检测单元，其被配置为检测所述摄像装置的抖动；

获得单元，其被配置为获得关于由所述摄像装置拍摄的多个帧之间的图像的运动的信息；

信号处理单元，其被配置为输出用于校正由所述摄像装置的抖动引起的图像模糊的模糊校正信号；以及

校正单元，其被配置为基于所述模糊校正信号来校正由所述摄像装置拍摄的图像的模糊，

其中，所述信号处理单元被配置为将第一信号和第二信号进行合成，由此获得所述模糊校正信号，其中，所述第一信号通过将第一抖动校正比率与从所述检测单元获得的第一模糊信号相乘而获得，所述第二信号通过将第二抖动校正比率与从所述获得单元获得的第二模糊信号相乘而获得，

其中，所述第一抖动校正比率与所述第二抖动校正比率之和等于1，

其中，所述信号处理单元被配置为随着摄影的帧速率增大而降低所述第一抖动校正比率并增大所述第二抖动校正比率。

2.根据权利要求1所述的摄像装置，该摄像装置还包括电力供给单元，该电力供给单元被配置为向所述检测单元供给电力，

其中，所述信号处理单元在所述帧速率为预定值或更大的情况下，停止由所述电力供给单元向所述检测单元的电力供给。

3.根据权利要求1所述的摄像装置，其中，所述检测单元检测所述摄像装置的角速度。

4.根据权利要求1所述的摄像装置，其中，所述检测单元检测所述摄像装置的加速度。

5.一种信号处理单元，其输出由校正单元用来校正图像模糊的模糊校正信号，所述校正单元驱动用于校正由摄像装置的抖动引起的所述图像模糊的光学校正系统，

其中，所述信号处理单元被配置为将第一信号和第二信号进行合成，并获得所述模糊校正信号，其中，所述第一信号通过将第一抖动校正比率与从检测单元获得的第一模糊信号相乘而获得，所述第二信号通过将第二抖动校正比率与从获得单元获得的第二模糊信号相乘而获得，所述检测单元被配置为检测所述摄像装置的抖动，所述获得单元被配置为获得关于由所述摄像装置拍摄的多个帧之间的图像的运动的信息，

其中，所述第一抖动校正比率与所述第二抖动校正比率之和等于1，

其中，所述信号处理单元被配置为随着摄影的帧速率增大而降低所述第一抖动校正比率并增大所述第二抖动校正比率。

6.一种摄像装置的控制方法，该控制方法包括：

帧速率检测步骤，用于检测摄影的帧速率；

抖动检测步骤，用于检测所述摄像装置的抖动；

获得步骤，用于获得关于由所述摄像装置拍摄的多个帧之间的图像的运动的信息；以及

合成步骤，用于将第一信号和第二信号进行合成，由此获得模糊校正信号，其中，所述第一信号通过将第一抖动校正比率与从所述抖动检测步骤的结果获得的第一模糊信号相乘而获得，所述第二信号通过将第二抖动校正比率与从所述获得步骤的结果获得的第二模糊信号相乘而获得，

其中，所述第一抖动校正比率与所述第二抖动校正比率之和等于1，

其中，随着摄影的帧速率增大而降低所述第一抖动校正比率并增大所述第二抖动校正比率。

Images