CN110062131B - 图像模糊校正装置及其控制方法和摄像装置 - Google Patents

图像模糊校正装置及其控制方法和摄像装置 Download PDF

Info

Publication number
CN110062131B
CN110062131B CN201910044086.0A CN201910044086A CN110062131B CN 110062131 B CN110062131 B CN 110062131B CN 201910044086 A CN201910044086 A CN 201910044086A CN 110062131 B CN110062131 B CN 110062131B
Authority
CN
China
Prior art keywords
shake
unit
blur correction
image
image blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910044086.0A
Other languages
English (en)
Other versions
CN110062131A (zh
Inventor
竹内谦司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN202210179010.0A priority Critical patent/CN114584676B/zh
Publication of CN110062131A publication Critical patent/CN110062131A/zh
Application granted granted Critical
Publication of CN110062131B publication Critical patent/CN110062131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明涉及一种图像模糊校正装置及其控制方法和摄像装置。图像模糊校正装置使用抖动检测单元来检测手抖动等，并且基于抖动检测信号来校正图像模糊。偏移估计单元估计抖动检测单元的输出的偏移分量。噪声项计算单元使用滤波器将抖动检测单元所检测到的抖动量分离成频带以计算高频抖动量和低频抖动量。噪声项计算单元进行以下控制：随着高频抖动量变大而改变偏移估计单元的特性以延迟偏移估计值的更新，并且随着低频抖动量变大而改变偏移估计单元的特性以提前偏移估计值的更新。

Description

图像模糊校正装置及其控制方法和摄像装置
技术领域
本发明涉及用于拍摄图像的图像模糊校正处理。
背景技术
针对随着摄像装置的小型化或者光学系统的倍率增大、手抖动等对图像 的影响变大这一事件，设置了图像模糊校正功能。在使用角速度传感器来检 测摄像装置的抖动的情况下，根据角速度检测信号来进行抖动校正透镜(以 下简称为校正透镜)或图像传感器等的移动控制。诸如由于个体差异引起的 基准电压的变化等的直流分量(偏移分量)包括在角速度传感器的输出信号 中，并且由于温度的变化而发生漂移。因此，通常进行以下操作：使用高通 滤波器(以下也称为HPF)来从角速度传感器的输出信号中去除低频分量，并且抑制由于低频误差分量引起的图像模糊校正精度的下降。
另一方面，在使摄像装置的摄像方向改变为一个方向的操作(例如，用 户所进行的平摇或俯仰(以下称为平摇等))的情况下，在角速度传感器的输出 中包括大量的低频分量。在与抖动检测信号相对应的图像模糊校正中，在超 过可以驱动校正透镜等的行程范围时，图像模糊校正性能有可能下降。因此， 进行基于角速度传感器的输出来判断平摇等的处理。在判断平摇等时，HPF 的截止频率改变到更高频率侧，因此进行用于抑制针对低频率的图像模糊校 正的控制。日本特开平5-323436公开了平摇状态等中的图像模糊校正控制，其中在抑制低频率的响应的同时进行高频率处的图像模糊的校正。
在日本特开平5-323436所公开的使用HPF来去除偏移分量的方法中，有 可能发生以下现象。需要将HPF的截止频率设置得尽可能低，以在去除角速 度传感器的输出的偏移分量的同时对诸如拍摄者的身体摇摆等的低频抖动 进行良好的图像模糊校正。在HPF的截止频率降低时，由于滤波器的时间常 数的影响而导致完全去除偏移分量需要很长时间。如果在没有去除偏移分量 的情况下、通过进行用于将角速度信号转换成角度信号的积分处理而在该角 度信号中发生了积分误差(漂移误差)，则图像模糊校正性能有可能在长时间内下降。另外，存在以下担忧：在平摇时发生大的摆动之后、由于HPF的影 响而导致发生生成与平摇方向相反的方向上的信号的回摆现象的情况下，紧 接在平摇之后的图像模糊校正性能可能下降。
发明内容
本发明提供即使在发生大的抖动的情况下也在宽的频带中进行稳定的 图像模糊校正的图像模糊校正装置。
本发明的方面的一种图像模糊校正装置，包括：估计单元，其被配置为 估计抖动检测单元的输出的偏移分量，所述抖动检测单元被配置为检测摄像 装置的抖动；改变单元，其被配置为基于所述抖动检测单元的输出来计算作 为频带中的多个分量的第一抖动量和第二抖动量，并且根据所述第一抖动量 和所述第二抖动量来改变所述估计单元的特性；以及控制单元，其被配置为 使用通过从所述抖动检测单元的输出中减去所述估计单元所估计的偏移分 量而获得的输出，来进行图像模糊校正，其中，所述改变单元随着所述第一 抖动量变大而将所述估计单元的特性改变为用于延迟所述估计单元的偏移 分量的估计值的更新的特性，或者随着作为比所述第一抖动量低的频率分量 的所述第二抖动量变大而将所述估计单元的特性改变为用于提前所述估计 单元的偏移分量的估计值的更新的特性。
本发明的方面的一种摄像装置，包括上述的图像模糊校正装置。
本发明的方面的一种图像模糊校正装置的控制方法，所述控制方法包 括：估计抖动检测单元的输出的偏移分量，所述抖动检测单元被配置为检测 摄像装置的抖动；基于所述抖动检测单元的输出来计算作为频带中的多个分 量的第一抖动量和第二抖动量，并且根据所述第一抖动量和所述第二抖动量 来改变估计特性；以及使用通过从所述抖动检测单元的输出中减去所估计出 的偏移分量而获得的输出，来进行图像模糊校正，其中，改变所述估计特性 包括：随着所述第一抖动量变大而将所述估计特性改变为用于延迟所述偏移 分量的估计值的更新的特性，或者随着处于比所述第一抖动量低的频率的所 述第二抖动量变大而将所述估计特性改变为用于提前所述偏移分量的估计 值的更新的特性。
根据本发明的图像模糊校正装置，即使在发生大的抖动的情况下，也可 以在宽的频带中进行稳定的图像模糊校正。
通过以下(参考附图)对示例的说明，本发明的更多特征将显而易见。
附图说明
图1A是本发明的摄像装置的中央截面图，并且图1B是示出摄像装置的 电气结构的框图。
图2是示出根据第一实施例的图像模糊校正控制单元的结构的框图。
图3是示出手抖动角度的频谱的示例的图。
图4是说明根据第一实施例的目标值计算的流程图。
图5是说明图4之后的处理的流程图。
图6是用于说明图4之后的并行处理的流程图。
图7A～7D是示出偏移估计所使用的评价值和各噪声之间的关系的图。
图8A和8B是示出三角架检测状态下的角速度输出和偏移估计值之间的 关系的图。
图9A和9B是示出手持状态下的角速度输出和偏移估计值之间的关系的 图。
图10A和10B是示出平摇操作时的角速度输出和偏移估计值之间的关系 的图。
图11是示出根据第二实施例的图像模糊校正控制单元的结构的框图。
图12是说明根据第二实施例的目标值计算的流程图。
图13A～13B是示出运动矢量的可靠性、系统噪声和观测噪声之间的关系 的图。
图14是示出三角架检测状态下的角速度输出和偏移估计值之间的关系 的图。
图15是示出手持状态下的角速度输出和偏移估计值之间的关系的图。
图16是示出平摇操作时的角速度输出和偏移估计值之间的关系的图。
具体实施例
以下将参考附图来详细说明本发明的实施例。本发明可应用于摄像机、 数字静态照相机、诸如照相机的可更换镜头等的光学仪器以及包括摄像单元 的电子装置。
第一实施例
将参考图1A和1B来说明本发明的第一实施例。图1A是示出根据第一实 施例的包括图像模糊校正装置的摄像装置的结构的概述的中央截面图。图1B 是示出摄像装置的电气结构的框图。在第一实施例中，将说明可更换镜头型 照相机的示例。将说明各个单元之间的位置关系，其中将被摄体侧定义为前 侧。
图1A所示的摄像装置1可以在镜头单元2安装至摄像装置1的本体(以下 称为装置本体单元)的状态下进行摄像。镜头单元2包括由多个透镜配置成的 摄像光学系统3，并且光轴4表示摄像光学系统3的光轴。镜头单元2中的校正 透镜单元19包括用于校正由于用户的手抖动等引起的拍摄图像的图像模糊 的校正透镜。装置本体单元在内部包括图像传感器6并且在后部包括背面显 示装置10a。电气触点14电气连接装置本体单元和镜头单元2。
在图1B中，装置主体单元包括照相机系统控制单元(以下称为照相机控 制单元)5，并且镜头单元2包括镜头系统控制单元(以下称为镜头控制单元) 15。照相机控制单元5和镜头控制单元15可以经由电气触点14彼此进行通信。
首先，将说明镜头单元2内的结构。镜头侧操纵单元16包括用户所操作 的操纵构件，并且向镜头控制单元15通知用户的操纵指示。镜头侧抖动检测 单元(以下称为抖动检测单元)17包括角速度传感器，检测镜头单元2的抖动 量，并且将抖动检测信号输出至镜头控制单元15。例如，可以使用陀螺仪传 感器来检测相对于摄像光学系统3的光轴4的俯仰方向、横摆方向和侧倾方向 上的转动。
图像模糊校正单元18根据来自镜头控制单元15的控制命令来进行校正 透镜单元19的驱动控制以校正图像模糊。校正透镜单元19包括在与光轴4垂 直的平面内被移位驱动或倾斜驱动的校正透镜、以及该校正透镜的驱动机 构。透镜位置检测单元20进行校正透镜单元19的位置检测，并且将位置检测 信号输出至镜头控制单元15。焦距改变单元22根据来自镜头控制单元15的控 制命令来进行变焦透镜的驱动控制，并且改变摄像光学系统3的焦距。
接着，将说明摄像装置1的装置主体单元内的结构。构成摄像单元的图 像传感器6对经由摄像光学系统3形成的被摄体的光学图像进行光电转换并 且输出电气信号。使被摄体的物体光经由摄像光学系统3在图像传感器6的摄 像面上成像，并且在图像传感器6中获得焦点调节所用的评价量或适当的曝 光量。通过调整摄像光学系统3，可以将图像传感器6曝光于适当光量的物体 光，并且在图像传感器6的附近形成被摄体图像。
图像处理单元7获取图像传感器6的输出信号，进行图像处理，并且将图 像数据存储在存储单元8中。图像处理单元7在内部例如包括A(模拟)/D(数字) 转换器、白平衡调整电路、伽玛校正电路和插值运算电路，并且生成记录所 用的图像数据。图像处理单元7包括颜色插值处理单元，并且根据拜耳阵列 的信号进行颜色插值(去马赛克)的处理以生成彩色图像数据。此外，图像处 理单元7使用预定压缩方案对图像、运动图像和声音等进行数据压缩。图像 处理单元7比较图像传感器6所获取到的多个图像，并且进行运动矢量检测以获取图像的运动量。也就是说，图像处理单元7包括用于基于拍摄图像来计 算作为运动量的运动矢量的运动矢量计算单元7a。
照相机控制单元5进行包括装置本体单元和镜头单元2的照相机系统的 整体控制。照相机控制单元5控制图像处理单元7和存储单元8。照相机侧操 纵单元9包括操纵构件，并且向照相机控制单元5通知用户的操纵指示。显示 单元10例如包括背面显示装置10a、设置在装置本体单元的上表面上的用于 显示摄像信息的小显示面板(未示出)、以及电子取景器(EVF)。显示单元10 根据来自照相机控制单元5的控制命令来进行图像显示以向用户呈现图像信 息等。在照相机控制单元5的控制下，使用图像处理单元7和存储单元8来执 行用于记录和再现图像数据的处理。例如，将所拍摄到的图像数据记录在记 录介质上、或者经由外部接口发送至外部装置。
照相机系统的各组件的控制由照相机控制单元5和镜头控制单元15进 行，并且可以根据用户操纵来进行静止图像摄像和运动图像摄像。照相机控 制单元5和镜头控制单元15各自包括中央处理单元(CPU)，并且通过执行预定 程序来进行各组件的操作控制或处理。例如，镜头控制单元15与照相机控制 单元5进行通信，并且进行校正透镜单元19的驱动控制、根据调焦透镜(未示 出)的驱动的焦点调节控制、光圈控制和变焦控制等。
照相机控制单元5在摄像时生成定时信号等，将该定时信号等输出至各 构成单元，并且响应于用户操纵而执行摄像处理、图像处理以及记录和再现 处理。例如，在用户操纵了照相机侧操纵单元9中所包括的快门释放按钮的 情况下，照相机控制单元5检测到开关信号并且控制图像传感器6和图像处理 单元7等。此外，照相机控制单元5控制显示单元10中所包括的信息显示装置。 另外，背面显示装置10a在显示屏幕部中包括触摸面板，检测用户操纵，并 且向照相机控制单元5通知该用户操纵。在这种情况下，背面显示装置10a包括操纵功能和显示功能这两者。
接着，将说明摄像光学系统3的调整操作。图像处理单元7获取图像传感 器6的输出信号，并且基于拍摄者针对照相机侧操纵单元9的操纵来获得摄像 光学系统3的适当的焦点位置和光圈位置。照相机控制单元5将控制命令经由 电气触点14发送至镜头控制单元15。镜头控制单元15根据来自照相机控制单 元5的控制命令来适当地控制焦距改变单元22和光圈驱动单元(未示出)。
在设置了图像模糊校正模式的情况下，镜头控制单元15在从照相机控制 单元5接收到用于转变为图像模糊校正模式的命令时，开始图像模糊校正的 控制。镜头控制单元15从抖动检测单元17获取抖动检测信号，从透镜位置检 测单元20获取位置检测信号，并且进行图像模糊校正单元18的控制。图像模 糊校正单元18例如使用利用磁体和扁平线圈的致动器来驱动校正透镜单元 19。透镜位置检测单元20例如包括磁体和霍尔元件。作为具体的控制方法， 首先，镜头控制单元15从抖动检测单元17获取抖动检测信号，并且计算用于 进行图像模糊校正的校正透镜单元19的驱动量。镜头控制单元15将所计算出 的驱动量输出为针对图像模糊校正单元18的命令值以驱动校正透镜单元19。 进行反馈控制，使得透镜位置检测单元20的检测位置遵循该命令值。
图2是示出与镜头控制单元15中的图像模糊校正控制有关的结构示例的 框图。应当注意，由于针对作为图像模糊校正轴的俯仰方向、横摆方向和侧 倾方向上的各轴采用相同的结构，因此将说明仅一个轴。此外，假定加法器 301、305、307、311和316所进行的计算包括负值的相加(相减)。
在图2中，抖动检测单元17将抖动检测信号输出至加法器301、带限滤波 器303和噪声项计算单元300。将频带已被带限滤波器303限制的抖动信号输 出至偏移估计单元304和加法器305。将表示偏移估计单元304的估计结果的 信号输出至加法器301和加法器305。加法器301的输出由积分滤波器302进行 积分，并且计算校正透镜的驱动目标值。以下将详细说明用于计算镜头控制 单元15中的驱动目标值的处理、噪声项计算单元300和偏移估计单元304。
镜头控制单元15从抖动检测单元17获取抖动检测信号，并且生成频带已 被带限滤波器303限制的抖动信号。以下将参考图3来说明带限滤波器303的 效果。
偏移估计单元304获取频带已被带限滤波器303限制的抖动信号，并且估 计抖动检测单元17的角速度传感器的输出的偏移分量。加法器301从抖动检 测单元17的抖动检测信号中减去偏移估计值。积分滤波器302对通过减去作 为加法器301的输出的偏移估计值所获得的抖动的角速度信号进行积分，以 生成抖动角度信号。使用该信号作为驱动目标值，图像模糊校正单元18驱动 校正透镜单元19，使得进行图像模糊校正操作。
另一方面，加法器305从频带已被带限滤波器303限制的抖动信号中减去 偏移估计单元304的偏移估计值。噪声项计算单元300中的积分滤波器306对 加法器305的输出信号进行积分以生成噪声计算所用的抖动角度信号。
在第一实施例中，基于噪声计算所用的抖动角度信号来进行用于改变偏 移估计单元304的滤波器特性的处理。偏移估计单元304包括频率特性可变的 滤波器，并且进行用于根据带限滤波器303的输出信号来估计偏移分量的处 理。因此，在偏移估计单元304可以正确地估计偏移分量的情况下，加法器 305所计算出的值是无偏移分量的抖动信号。在这种情况下，积分滤波器306 所计算出的噪声计算所用的抖动角度信号具有作为基准值的以零为中心的 值。另一方面，在偏移估计单元304不能正确地估计偏移分量的情况下，由 于抖动检测信号中的偏移误差的影响而导致积分滤波器306所计算出的噪声 计算所用的抖动角度信号的值变为缓慢漂移的值。
低频截止滤波器313从积分滤波器306获取噪声计算所用的抖动角度信 号，并且通过去除低频分量来提取高频分量。设置低频截止滤波器313的截 止频率，以截除包括抖动检测单元17的输出中所包含的偏移分量、低频波动 和漂移分量的频带。通过这样，可以从来自抖动检测单元17的抖动检测信号 中分离出作为估计对象的低频偏移分量和由于实际抖动而产生的高频抖动 分量。
加法器307从噪声计算所用的抖动角度信号(积分滤波器306的输出)中减 去从低频截止滤波器313输出的高频分量。因此，提取抖动角度信号的低频 分量。也就是说，可以将噪声计算所用的抖动角度信号分离成低频分量和高 频分量。求幂计算单元309获取加法器307的输出，并且通过对噪声计算所用 的抖动角度信号的低频分量求平方来计算绝对值。增益单元310将求幂计算 单元309的输出乘以预定增益。因此，可以主要计算表示低频抖动检测信号 的偏移分量和漂移分量的大小和影响程度的低频抖动角度的评价值。以下将 该评价值称为系统噪声项。
另一方面，求幂计算单元314获取低频截止滤波器313的输出，并且通过 对噪声计算所用的抖动角度信号的高频分量求平方来计算绝对值。增益单元 315将求幂计算单元314的输出乘以预定增益。因此，可以计算表示高频抖动 检测信号的大小的高频抖动角度的评价值。以下将该评价值被称为观测噪声 项。
在偏移估计单元304的偏移估计值不正确的情况下，积分之后的噪声计 算所用的抖动角度信号的低频分量发生偏移并且增加，因此系统噪声项增 大。
三脚架状态检测单元317检测摄像装置1的抖动小的状态。例如，三脚架 状态检测单元317使用抖动检测单元17的检测信号或者图像处理单元7的运 动矢量计算单元7a所计算出的运动矢量来检测摄像装置1的抖动量。在抖动 量小于预定阈值的状态持续了预定阈值时间以上的情况下，判断为摄像装置 处于静止状态。静止状态是摄像装置安装至三脚架等并且基本上不存在抖动 的状态。在三脚架状态检测单元317判断为摄像装置处于静止状态的情况下， 三脚架状态检测单元317将该判断信号输出至照相机状态噪声计算单元318。
照相机状态噪声计算单元318将预设的预定值作为三脚架检测状态噪声 输出至加法器311。加法器311将作为增益单元310的输出的系统噪声项与三 脚架检测状态噪声相加。
P/T检测部319检测到拍摄者正在进行平摇等。例如，P/T检测单元319使 用抖动检测单元17的检测信号或者图像处理单元7的运动矢量计算单元7a所 计算出的运动矢量来检测摄像装置1的抖动量。在抖动量大于预定阈值的状 态持续了预定阈值时间以上的情况下，判断为拍摄者通过平摇或俯仰进行了 构图改变等。在P/T检测单元319判断为摄像装置处于平摇状态等的情况下， P/T检测单元319将该判断信号输出至照相机状态噪声计算单元318。
照相机状态噪声计算单元318将预设的预定值作为平摇/俯仰(P/T)检测 状态噪声输出至加法器316。加法器316将作为增益单元315的输出的观测噪 声项与P/T检测状态噪声相加。噪声项计算单元300将加法器311和316所计算 出的噪声项的信号输出至偏移估计单元304。以下将说明偏移估计单元304所 进行的估计处理的详情。
在第一实施例中，在三脚架状态检测和摇摄等的检测中一起使用抖动检 测单元17的检测信号以及运动矢量。由于可以通过像素级的匹配比较来计算 仅使用抖动检测单元17难以检测的诸如平摇等的慢动作的变化，因此可以更 正确地检测摄像装置的抖动。
接着，将参考图3来说明带限滤波器303的效果。图3是在横轴示出频率 [Hz]的轴并且在纵轴示出抖动角度的振幅[度]的轴的图。实线所表示的图形 G1表示通过对抖动检测单元17所检测到的抖动角速度信息进行积分而获得 的抖动角的频谱信息(相对于频率的振幅信息)的示例。
通常，已知：拍摄者的手抖动的频率分布在1Hz～10Hz的范围内，低频 率处的抖动的角度大，并且随着频率变高、抖动角度变小。在特定频带中是 否存在大的抖动分量根据拍摄者和摄像状态(乘车或乘船中的摄像或者步行 期间的摄像等)而不同，但在相同的摄像状况下，与拍摄者无关地，经常在 一定程度上相同的频率范围内存在大的抖动分量。在第一实施例中，偏移估 计单元304针对抖动检测单元17所检测到的抖动信息正确地估计偏移分量。 难以根据大幅波动的抖动信号来正确地估计偏移分量。为了正确地估计偏移 分量，优选尽可能地从抖动信号中去除除偏移分量以外的大的抖动频率分 量。因此，进行如下的处理：基于图3的实线G1所示的抖动频谱分布信息， 使用带限滤波器(更具体地为使用陷波滤波器等)来减少频谱振幅大的频率分 量。因此，可以提高偏移分量的估计精度。
还存在使用低通滤波器来使除偏移分量以外的所有高频成分衰减的方 法。然而，在该方法中，由于低通滤波器的处理中的相位滞后，因而发生用 于改变偏移估计单元304的滤波器特性的噪声计算所用的抖动角度信号的相 移。因此，优选使用其它频带中的相移的影响尽可能小的陷波滤波器。此外， 可以根据摄像状况而改变陷波滤波器的目标频率和衰减因子。图3的虚线所 示的图形G2表示在通过陷波滤波器减少0.1Hz～1Hz的频带中的手抖动的频 率分量时手抖动的频率的分布特性。
将参考图4～6的流程图来说明镜头控制单元15中的计算驱动目标值的处 理。按恒定周期重复地执行S2及其后续处理。在S1中，镜头控制单元15判断 按预定周期的操作的开始。在判断出该操作的开始时，处理进入S2。在步骤 S2中，抖动检测单元17检测抖动。抖动检测单元17包括角速度传感器等，并 且输出用于图像模糊校正的抖动检测信号。
在S3中，镜头控制单元15判断当前时间点是否是与图像处理单元7中的 运动矢量计算单元7a所计算出的运动矢量的获取周期相对应的时间点。在判 断为当前时间点对应于获取周期的情况下，处理进入S4，并且在判断为当前 时间点不是获取周期的情况下，处理进入S5。在步骤S4中，获取运动矢量。 运动矢量计算单元7a分析所输出的视频信号的帧图像之间的模糊以检测运 动矢量。因此，S3中的运动矢量的获取周期变为与帧频(例如，30Hz或60Hz) 相对应的周期。另一方面，在当前时间点不是与图像处理单元7针对各帧频所执行的运动矢量的获取周期相对应的时间点的情况下，处理进入S5并且保 持在与先前周期相对应的时间点处获取到的运动矢量。
在S6中，镜头控制单元15判断当前时间点是否是与偏移估计处理的执行 周期相对应的时间点。偏移估计处理的执行周期可以与S2中的抖动检测信号 的获取周期匹配，或者可以与S3中的运动矢量的获取周期匹配。可选地，尽 管可以按其它周期执行偏移估计处理，但按长周期执行偏移估计处理以遵循 估计极低频率的偏移分量的目的，使得可以减少估计处理的计算负荷。在S6 中，在判断为当前时间点是与偏移估计处理的执行周期相对应的时间点的情 况下，处理进入S7。另一方面，在判断为当前时间点不是与偏移估计处理的执行周期相对应的时间点的情况下，处理进入图5的S33。在S33中，保持在 与偏移估计处理的先前执行周期相对应的时间点处估计的偏移估计值，然后 处理进入S34。
在S7中，镜头控制单元15设置带限滤波器303的频率特性以去除特定频 率的抖动分量或使该抖动分量衰减。基于根据摄像状态和摄像条件的抖动的 频谱数据来进行该设置。在S8中，在S7中设置了频率特性的带限滤波器303 从来自抖动检测单元17的抖动检测信号中去除特定频带的抖动分量。将带限 滤波器303的输出输入至加法器305。
在步骤S9中，加法器305从去除了特定频率分量的抖动信号中减去偏移 估计单元304在先前执行估计处理时估计的并在S33中存储的偏移估计值(存 储值)。
然后，在S10中，积分滤波器306对加法器305所计算出的抖动信号进行 积分以计算抖动角度信号。积分滤波器306的处理是简单的数值积分处理， 但也可以是使用低通滤波器的伪积分处理。伪积分处理是不对低于特定截止 频率的低频分量进行积分的积分处理。在加法器305从抖动信号中减去的偏 移估计值大大偏离真的偏移值的情况下，积分之后的抖动角度信号大幅漂 移。因此，系统噪声项或观测噪声项的计算值在计算中有可能溢出。因此， 优选进行伪积分处理以减少漂移量。此外，如以下将说明的，估计偏移估计 单元304的偏移估计值以随时间的经过而接近真的偏移值。因此，进行用于 随着偏移估计值的估计的进展而将伪积分的截止频率向低频侧改变的处理。
在S11中，低频截止滤波器(高通滤波器)313从抖动角度信号中去除低频 分量并且提取高频分量。在S12中，求幂计算单元314对抖动角度信号的高频 分量求平方。在步骤S13中，增益单元315将通过使求幂计算单元314的输出 乘以预定增益所获得的信号设置为评价值，并且在步骤S14中将该评价值保 持为观测噪声项。
在图5的S15中，加法器307从积分滤波器306所计算出的角度抖动信号中 减去低频截止滤波器313所计算出的抖动角度信号的高频分量，以计算抖动 角度信号的低频分量。在步骤S16中，求幂计算单元309对抖动角度信号的低 频分量求平方。在S17中，增益单元310将通过在求幂计算单元309的输出中 乘以预定增益所获得的信号设置为评价值，并且在S18中将该评价值保持为 系统噪声项。
图6中的S19～S29的处理与图4中的S4至图5中的S18的处理并行地执行。 在S19中，镜头控制单元15判断当前时间点是否是与执行照相机状态噪声计 算处理的周期相对应的时间点。照相机状态噪声计算的周期可以是与偏移估 计周期相同的周期，或者可以是与偏移估计周期不同的周期。在S19中判断 为当前时间点不是与照相机状态噪声计算周期相对应的时间点的情况下，处 理进入S28，并且在判断为当前时间点是与照相机状态噪声计算周期相对应 的时间点的情况下，处理进入S20。
在S20中，三角架状态检测单元317基于S2中所获取到的抖动的角速度和 S4中所获取到的运动矢量来判断摄像装置1的抖动小的状态是否持续了阈值 时间以上，以检测三脚架状态。在S21中，在照相机状态噪声计算单元318 判断为检测到诸如摄像装置安装至三脚架的三脚架检测状态等的静止状态 的情况下，照相机状态噪声计算单元318进入S22的处理，并且在照相机状态 噪声计算单元318判断为没有检测到静止状态的情况下，照相机状态噪声计 算单元318进入S23。
在S22中，照相机状态噪声计算单元318对三角架检测状态噪声设置预定 值。此外，在S23中，照相机状态噪声计算单元318将直到先前计算周期为止 所设置的三脚架检测状态噪声的值清零。在S24中，P/T检测单元319基于S2 中所获取到的抖动的角速度和S4中所获取到的运动矢量来检测平摇操作或 俯仰操作。在S25中，在判断为检测到平摇状态等的情况下，照相机状态噪 声计算单元318进入S26的处理，并且在判断为没有检测到平摇状态等的情况 下，照相机状态噪声计算单元318进入S27的处理。
在S26中，照相机状态噪声计算单元318在平摇等的检测状态噪声中设置 预定值。在S27中，照相机状态噪声计算单元318将直到先前计算周期为止所 示设置的平摇等的检测状态噪声的值清零。
在S28中，镜头控制单元15存储在先前的照相机状态噪声计算周期中计 算出的三脚架检测状态噪声的值。在S29中，镜头控制单元15存储在先前的 照相机状态噪声计算周期中计算出的P/T检测状态噪声的值，然后进入图5的 S30。在S30中，加法器316将观测噪声项和平摇等的检测状态噪声相加。在 S31中，加法器311将系统噪声项和三脚架检测状态噪声相加。在S32中，偏 移估计单元304基于S30和S31中所计算出的信息来进行偏移估计计算。
在S33中，镜头控制单元15保持在S32中偏移估计单元304所计算出的偏 移估计值。在S34中，加法器301从抖动的角速度中减去偏移估计值。在S35 中，积分滤波器302进行积分处理以生成抖动角度信号，由此生成图像模糊 校正控制的目标值。与积分滤波器306相同，积分滤波器302所进行的滤波处 理可以是随着偏移估计值的估计的进展而将伪积分的截止频率向低频侧改 变的伪积分处理。在S36中，镜头控制单元15结束按当前计算周期计算目标 值的处理。
接着，将使用等式来说明在S32中偏移估计单元304所进行的用于估计抖 动检测单元17的输出的偏移的处理。如果偏移估计单元304由线性卡尔曼滤 波器配置成，则可以通过以下的等式(1)～(7)来表示线性卡尔曼滤波器。
xt＝Axt-1+But+∈t …(1)
zt＝Cxt+δt …(2)
等式(1)表示状态空间表示法中的操作模型，并且等式(2)表示观测模型。 各个符号的含义如下。
A：操作模型中的系统矩阵
B：输入矩阵
C：观测模型中的输出矩阵
εt：过程噪声
δt：观测噪声
t：离散时间。
Figure RE-BDA0001948573520000151
Figure RE-BDA0001948573520000152
等式(3)表示预测步骤中的先验估计值，并且等式(4)表示先验误差协方 差。此外，Σx表示操作模型的噪声的方差。
Figure RE-BDA0001948573520000161
Figure RE-BDA0001948573520000162
Figure RE-BDA0001948573520000163
等式(5)表示滤波步骤中的卡尔曼增益的计算式，并且上标T表示矩阵转 置。此外，等式(6)表示卡尔曼滤波器的后验估计值，并且等式(7)表示后验 误差协方差。此外，Σz表示观测模型的噪声的方差。
在第一实施例中，将偏移值设置为xt并且将所观测到的抖动量设置为zt， 以估计抖动检测单元17的偏移分量。可以通过以下的一阶线性模型等式来表 示偏移分量的模型，其中在等式(1)中不存在输入项ut并且在等式(1)和(2)中A ＝C＝1。
xt＝xt-1+∈t …(8)
zt＝xt+δt …(9)
等式(4)中的操作模型的噪声的方差Σx由系统噪声σx和三脚架检测状态 噪声σt的总和表示。此外，等式(5)中的观测模型的噪声的方差Σz由观测噪声 σz和P/T(平摇/俯仰)检测状态噪声σp的总和表示。
此外，先验偏移估计值由
Figure RE-BDA0001948573520000164
表示，并且时刻t处的误差协方差估 计值由
Figure RE-BDA0001948573520000165
表示。
将时刻t处的卡尔曼增益表示为kt。将观测噪声表示为σz，将P/T检测状 态噪声表示为σp，将抖动检测单元17所观测到的抖动量表示为zt，并且可以 通过以下等式来配置卡尔曼滤波器。
Figure RE-BDA0001948573520000171
Figure RE-BDA0001948573520000172
Figure RE-BDA0001948573520000173
Figure RE-BDA0001948573520000174
Figure RE-BDA0001948573520000175
使用包括等式(10)～(14)的计算式来配置偏移估计单元304。
Figure RE-BDA0001948573520000176
是估计计算的更新周期的时刻t-1处的偏移估计值。根据该偏移估 计值来获得时刻t处的先验偏移估计值
Figure RE-BDA0001948573520000177
使用加法器311所输出的系统噪声σx、三脚架检测状态噪声σt和时刻t-1 处的误差协方差估计值
Figure RE-BDA0001948573520000178
计算时刻t处的先验误差协方差估计值
Figure RE-BDA0001948573520000179
基于先验误差协方差估计值、观测噪声σz和P/T检测状态噪声σp来计算卡 尔曼增益kt。使用等式(13)，利用通过将所观测到的抖动量zt和先验偏移估计 值
Figure RE-BDA00019485735200001710
之间的误差乘以卡尔曼增益kt所获得的值来校正先验偏移估计值，并且 计算出偏移估计值
Figure RE-BDA00019485735200001711
此外，使用等式(14)来校正先验误差协方差估计值
Figure RE-BDA00019485735200001712
并且计算出误差 协方差估计值
Figure RE-BDA00019485735200001713
使用这些计算来按各操作周期重复先验估计更新和校正， 由此计算偏移估计值。
将使用等式(11)、(12)和(13)以及图7A～7D来说明如上所述配置成的卡尔 曼滤波器中的、由于各噪声的大小的变化引起的偏移估计操作的变化。各个 噪声是系统噪声σx、观测噪声σz、三脚架检测状态噪声σt和P/T检测状态噪声 σp。图7A～7D是示出抖动的大小和根据摄像状态的各噪声的大小之间的关系 的图。
图7A是示出横轴上的抖动角度信号的低频分量和纵轴上的系统噪声之 间的关系的图。随着在积分滤波器306所计算出的抖动角度信号中低频分量 增加，系统噪声σx增大。这意味着在抖动检测单元17的输出中存在偏移误差， 并且加法器305所减去的偏移估计值不是真的偏移值。也就是说，这表示由 于仍存在相对于真的偏移值的误差、因此积分滤波器306的积分之后的噪声 计算所用的抖动角度信号的低频分量的漂移大。这表示偏移估计单元304处 于偏移估计单元304不能正确地估计偏移的状态。
图7C是示出横轴上的三脚架检测时的抖动的振幅和纵轴上的三脚架检 测状态噪声之间的关系的图。随着三脚架状态检测单元317中的三脚架检测 时的抖动变小，三脚架检测状态噪声增大。这表示摄像装置1处于摄像装置1 放置在三脚架上的静止状态。
在等式(11)中，由于系统噪声和三脚架检测状态噪声，先验误差协方差 估计值
Figure RE-BDA0001948573520000181
的值变大。考虑到观测噪声和平摇等的检测状态噪声不改变时的 状态，使用等式(12)所计算出的卡尔曼增益kt随着该计算式的分子与分母的 值的比变大而接近1。相反，使用等式(12)所计算出的卡尔曼增益kt随着系统 噪声和三脚架检测状态噪声变小而接近零。
通过以上，使用等式(13)所计算出的偏移估计值
Figure RE-BDA0001948573520000182
被校正为随着卡尔曼 增益kt接近1而接近所观测到的抖动量zt，并且被更新为随着卡尔曼增益kt接 近0而维持先验偏移估计值
Figure RE-BDA0001948573520000183
通过这样的操作，在抖动检测单元17的输出的偏移误差大的情况下或者 在偏移估计值相对于真的偏移值存在误差的情况下，在S32的偏移估计计算 中卡尔曼增益接近1。这用于更新偏移估计值，使得使用等式(13)来校正所观 测到的抖动量和估计值之间的误差。随着低频振动量(系统噪声σx)变大，偏 移估计单元304的特性改变，使得偏移估计的更新速度变高。
此外，随着三脚架检测状态下的抖动的振幅变小，等式(11)中的操作模 型的噪声方差进一步变大并且卡尔曼增益接近1。这使得偏移估计值接近所 观测到的抖动量。这是因为，在三脚架检测状态下抖动小的情况下，由于拍 摄者的实际抖动引起的抖动的频率分量未包括在所观测到的抖动量中，因此 所观测到的抖动量的低频分量主要包括偏移分量并且偏移估计的精度高。因 此，积极地进行更新处理，使得偏移的估计值接近所观测到的抖动量。
图7B是示出横轴上的抖动角度信号的高频分量和纵轴上的观测噪声之 间的关系的图。随着积分滤波器306所计算出的抖动角度信号中的高频分量 变大，观测噪声σz增大。这表示抖动检测单元17所检测到的抖动量中的包含 手抖动的频带的高频分量大。也就是说，这表示在诸如步行期间的摄像等的 存在大抖动的摄像条件下保持摄像装置1。
图7D是示出横轴上的平摇等的检测时的抖动的振幅和纵轴上的P/T检测 状态噪声之间的关系的图。随着P/T检测单元319中的平摇检测时的抖动的振 幅变大，P/T检测状态噪声增大。这表示拍摄者进行平摇操作或俯仰操作以 有意地改变构图并且摄像装置1的抖动大。由于抖动大，因此关于平摇操作 等的判断可以被关于观测噪声的判断替代。然而，针对诸如平摇操作等的特 定方向上的预定时间的运动，与仅简单地检测抖动的大小的情况相比，第一 实施例具有运动变化的检测精度高的优点。
在系统噪声和三脚架检测状态噪声不改变的状态下，等式(11)中的先验 估计误差协方差值
Figure RE-BDA0001948573520000191
不改变。在观测噪声和P/T检测状态噪声增大时，使用 等式(12)所计算出的卡尔曼增益kt由于该计算式的分母值与分子的比变高因 而接近0。相反，随着观测噪声和P/T检测状态噪声变小，使用等式(12)所计 算出的卡尔曼增益kt接近1。通过以上，使用等式(13)所计算出的偏移估计值
Figure RE-BDA0001948573520000192
被校正为随着卡尔曼增益kt接近1而接近所观测到的抖动量zt。随着卡尔曼 增益kt接近0，更新了先验偏移估计值以维持
Figure RE-BDA0001948573520000193
通过这样的操作，随着抖动检测单元17所检测到的抖动量变大，由于S23 中的偏移估计计算而使得卡尔曼增益接近0。这用于延迟偏移估计值的更新 (或者不更新偏移估计值)，使得不使用等式(13)校正所观测到的抖动量和估 计值之间的误差。随着高频抖动量(观测噪声σz)变大，偏移估计单元304的特 性改变，使得偏移估计的更新速度变低。
同样，在检测平摇操作等的情况下，等式(12)中的观测模型的噪声的方 差进一步变大并且卡尔曼增益接近0，这用于延迟偏移估计的更新。
偏移估计单元304如上所述地操作，由此即使在由于拍摄者的运动而导 致在抖动检测单元17所检测到的抖动量中包含大的抖动的摄像条件下、也避 免误提取出由于拍摄者的运动所引起的抖动分量作为偏移分量。也就是说， 无论摄像条件或摄像状态如何，都可以正确地进行偏移估计。另外，进行在 如三脚架检测状态那样的摄像装置的静止状态下提前偏移估计值的更新的 处理。进行如下的处理：在例如紧接在向摄像装置1供给电力之后、偏移估 计值和真的偏移值之间的误差大的状态下，提前偏移估计的更新。可以通过 在提高直到偏移估计完成为止的速度的同时避免不正确的估计，来提高图像 模糊校正性能。
将参考图8A～图10B示出各摄像状况下的偏移估计值的时间序列变化的 示例。图8A和8B示出摄像装置1的三脚架检测状态(即，静止状态)下的抖动 角速度、偏移去除之后的角速度和偏移估计值的时间变化。横轴是时间轴， 并且以毫秒(msec)为单位表示。纵轴表示来自抖动检测单元17的抖动的角速 度信号、偏移估计值和减去偏移估计值之后的抖动的角速度信号。
图8A示出抖动检测单元17的偏移分量被具有固定截止频率的低通滤波 器提取并被去除的波形示例作为比较例。图8B示出第一实施例中的波形的示 例。在比较例中，使用具有极低的截止频率(例如，0.01Hz)的低通滤波器来 估计偏移分量，以提高图像模糊校正的低频性能。因此，如图8A所示，需要 约220msec的时间来去除偏移分量，并且图像模糊校正性能有可能下降，直 到可以正确地去除偏移分量为止。另一方面，在第一实施例中，根据通过三 脚架状态检测而判断为摄像装置处于静止状态的判断结果、或者根据判断为 偏移估计值和真值之间的误差大的判断结果，来提前偏移估计值的更新。可 以看出，如图8B所示正确地去除偏移分量所需的时间约为50msec，并且与比 较例中相比变短。
图9A和9B示出在诸如步行期间的摄像等的存在大抖动的摄像条件下的 波形的示例。以与图8A和8B相同的方式设置横轴和纵轴。图9A示出比较例 中的波形示例。为了防止在抖动大的状态下撞击抖动校正构件(校正透镜等) 的控制端(以下称为端接触)，将去除低频分量的低通滤波器的截止频率设置 得高于静止状态下的截止频率。因此，由于低通滤波器引起的偏移估计值变 为在时间序列中在振幅方向上大幅波动的偏移估计值，该偏移估计值不仅包 括要去除的具有恒定值的偏移分量，而且还包括由于摄像时的抖动引起的频 率分量。结果，由于从抖动检测值中去除了除作为本质上要经过图像模糊校 正的抖动分量的偏移分量以外的频率分量，因此图像模糊校正性能下降。
图9B示出第一实施例中的波形的示例。在判断抖动的高频分量的大小并 且检测到大振动的发生时，进行用于延迟偏移估计的更新的处理。偏移估计 单元304可以仅估计偏移分量的频率。结果，偏移去除之后的角速度可以在 不会使摄像时发生的抖动频率分量衰减的情况下仅去除偏移分量，因此图像 模糊校正性能不会下降。
图10A和10B示出拍摄者通过平摇操作改变构图时的波形的示例。以与 图8A和8B相同的方式设置横轴和纵轴。图10A示出比较例中的波形示例。所 假定的拍摄者的平摇操作是如下的操作：摄像装置在该图的时间轴上在 70msec附近沿预定方向移动并且在120msec附近停止。尽管在比较例中可以 在静止状态下良好地进行图像模糊校正，但与平摇操作的开始同时误提取了 平摇期间的角速度的变化作为偏移分量。在平摇操作停止之后恢复为正确的 偏移分量需要时间。因此，计算出偏移去除之后的角速度值作为在平摇操作 停止之后在与平摇方向相反的方向上的抖动角速度的变化。该反向抖动在拍 摄图像中作为所谓的回摆运动而出现。
图10B示出第一实施例中的波形的示例。可以通过用于与平摇操作的开 始同时对由于平摇操作引起的偏移估计的更新进行延迟的处理，来防止平摇 操作期间的偏移分量的误估计。在平摇操作期间，进行用于停止抖动校正、 使抖动校正构件返回到基准位置(中央位置等)、并且紧接在平摇操作结束之 后重新开始抖动校正的处理，以防止抖动校正构件(校正透镜等)的端接触。 在第一实施例中，在平摇操作期间停止偏移估计值的更新，并且从平摇操作 的结束时间点起重新开始偏移更新。因此，由于紧接在平摇操作结束之后的偏移去除之后的角速度信号中没有发生反向抖动，因此可以防止由于反向抖 动引起的回摆。
在第一实施例中，将摄像装置的抖动信号分离成不同频带中的多个抖动 量的分量，判断多个频率分量的大小，并且基于与判断摄像状况的结果有关 的信息来控制偏移估计的更新速度。进行控制，以随着高频抖动量的分量变 大而将特性改变为用于延迟偏移估计值的更新的特性，或者随着低频抖动量 的分量变大而将特性改变为用于提前偏移估计值的更新的特性。因此，无论 摄像状态如何，都可以正确地估计偏移分量。根据第一实施例，即使在由于 平摇等而发生大的抖动的情况下，也可以在宽的频带中实现稳定的图像模糊 校正。
第二实施例
接着，将说明第二实施例。在第二实施例中，将仅说明与第一实施例的 结构和处理单元有所不同的结构和处理单元，并且将省略对重复部分的说 明。图11是示出根据第二实施例的与镜头控制单元15的图像模糊校正控制有 关的结构的框图。在第一实施例中，说明了通过使用带限滤波器303从来自 抖动检测单元17的抖动量中去除由于手抖动而产生的主要频率分量来提高 偏移估计的精度的方法。第二实施例与第一实施例的不同之处在于以下几 点。
·不存在带限滤波器303。
·从输入至偏移估计单元的抖动量中减去运动矢量信息和校正透镜单元 19的检测位置的微分值。
·设置有运动矢量可靠性判断单元404。
透镜位置检测单元20所检测到的位置信息由微分器403进行微分，并且 将透镜速度信息输出至加法器402。此外，将运动矢量计算单元7a所计算出 的运动矢量信息输入至加法器402。加法器402将透镜速度信息和运动矢量信 息的相加结果输出至加法器401。加法器401从抖动检测单元17的抖动检测信 号中减去与加法器402所输出的透镜速度信息和运动矢量信息相对应的信 号，并且将相减的结果输出至偏移估计单元304和加法器305。
运动矢量可靠性判断单元(以下简称为可靠性判断单元)404判断运动矢 量的可靠性。该判断基于所计算出的运动矢量、以下要说明的图像处理信息、 以及照相机侧操纵单元9和镜头侧操纵单元16所设置的摄像用的设置信息来 进行。可靠性判断单元404根据与所判断出的可靠性有关的信息来将增益单 元310和增益单元315的各个增益值设置为预定值。也就是说，增益单元310 和增益单元315这两者都是可变增益单元，并且分别确定偏移估计单元304中 的偏移估计所使用的系统噪声和观测噪声的大小。
将参考图12的流程图来说明摄像装置中的目标值计算处理。将仅说明与 图4的部分有所不同的部分，并且将省略对图5和图6的处理的说明。在S4之 后的S37中，透镜位置检测单元20获取校正透镜单元19的检测位置。由于透 镜速度信息被添加到运动矢量信息并被使用，因此镜头控制单元15将获取周 期设置成等于或大于在S3中判断出的运动矢量的获取周期。在S38中，可靠 性判断单元404基于所计算出的运动矢量、图像处理信息以及照相机侧操纵 单元9和镜头侧操纵单元16所设置的摄像所用的设置信息来判断运动矢量的可靠性。在S39中，可靠性判断单元404根据运动矢量的可靠性信息来将增益 单元310和增益单元315的增益值设置为预定值。
在S6中，镜头控制单元15判断当前时间点是否是与偏移估计处理的执行 周期相对应的时间点。如果镜头控制单元15判断为当前时间点是与偏移估计 处理的执行周期相对应的时间点，则镜头控制单元15进入S40。在S40中，微 分器403计算透镜位置检测单元20所获取到的校正透镜单元19的检测位置的 微分值。按预先设置的预定离散定时执行偏移估计处理。因此，在S40中的 微分计算中，计算在一个周期之前的时间点处获取到的校正透镜位置与在当 前周期的时间点处获取到的校正透镜位置之间的差。计算校正透镜单元19的 位置之间的差的结果表示通过图像模糊校正所驱动的校正透镜单元19的驱 动速度(校正透镜速度)。
如果图像模糊校正单元18正在进行图像模糊校正操作，则在S41中，加 法器402将所计算出的运动矢量和作为校正透镜单元19的位置微分值的校正 透镜速度相加。在该处理中，通过对通过图像模糊校正进行校正后的抖动速 度和通过运动矢量所检测到的剩余抖动速度进行求和来计算摄像装置1的抖 动速度。此外，在不进行图像模糊校正的情况下，校正透镜速度变为零，因 此，即使在不必加上校正透镜速度的情况下，运动矢量信息也直接表示摄像 装置1的抖动的检测结果。
这里，由于运动矢量是通过检测摄像面上的图像的移动量所获得的信 息，因此严格来说，运动矢量除包括摄像装置1的角度抖动外，还包括移位 抖动等的影响。然而，在移位抖动的影响小的摄像条件下，在摄像面上所观 察到的移动量中，角度抖动的影响占主导。在这种条件下，对通过图像模糊 校正进行校正后的抖动速度和通过运动矢量所检测到的剩余抖动速度进行 求和并用作摄像装置1的抖动速度。通过使用利用运动矢量所计算出的摄像 装置1的抖动速度，可以以比抖动检测单元17小的偏移误差正确地检测摄像 装置1的抖动本身。在S42中，加法器401从抖动检测单元17的抖动检测信号 中减去摄像装置1的抖动速度(加法器402的输出信号)。因此，可以正确地分 离出抖动检测单元17的偏移分量。
在第一实施例中，采用了通过针对摄像装置1的抖动使用陷波滤波器使 特定频率分量衰减来降低影响的方法。在第二实施例中，通过使用运动矢量 正确地分离出抖动检测单元17的偏移分量，可以进一步提高偏移分量的估计 精度。然而，在运动矢量的计算中，由于将所获取到的图像的一帧或多帧之 前的图像与在当前时间点所获取到的图像进行比较以计算图像移位，因此在 不能获取图像信息的情况下，不能计算运动矢量。根据摄像条件，拍摄图像 中的模糊量可能大，并且所计算出的运动矢量可能不正确。在这种情况下， 使用第一实施例的方法。应当注意，对于用于计算可靠性的方法，已知有各 种方法，并且在第二实施例中可以采用任何方法。
在根据摄像条件不能获得运动矢量信息的情况、或者如以下所述的根据 摄像条件不能正确地获取到运动矢量信息的情况下，可靠性判断单元404判 断运动矢量信息的可靠性。根据可靠性的判断结果，进行用于改变偏移估计 所使用的系统噪声和观测噪声的大小的处理。将参考图13A和13B来说明运 动矢量的可靠性与偏移估计所使用的系统噪声和观测噪声的大小之间的关 系。
图13A是示出横轴上的增益单元310所计算出的噪声计算所用的抖动角 度信号的低频分量的大小与纵轴上的系统噪声之间的关系的图。图13B是示 出横轴上的增益单元315所计算出的噪声计算所用的抖动角度信号的高频分 量的大小与纵轴上的观测噪声之间的关系的图。实线所示的图形表示第一实 施例中的系统噪声和观测噪声的大小。虚线所示的图形表示在判断为运动矢 量的可靠性高的情况下的系统噪声和观测噪声的大小。点划线所示的图形表 示在判断为运动矢量的可靠性低的情况下的系统噪声和观测噪声的大小。
在运动矢量的可靠性高的情况下，与可靠性低的情况相比，针对相同的 噪声计算所用的抖动角度信号值，系统噪声被设置得较大并且观测噪声被设 置得较小。在可靠性高的情况下，可以正确地检测加法器401所计算出的摄 像装置1的抖动。通过从抖动检测单元17所检测到的包含摄像操作时的抖动 的抖动量中减去使用运动矢量所计算出的摄像装置1的抖动，可以正确地分 离出抖动检测单元17的偏移分量。因此，可以针对在等式(13)中输入至卡尔 曼滤波器的所观测到的抖动量zt来提取抖动检测单元17的偏移分量的频率分量。因此，通过增大系统噪声或减小观测噪声，进行校正，使得卡尔曼增益 接近1并且偏移估计值接近所观测到的的抖动量。
另一方面，在运动矢量的可靠性低的情况下，与可靠性高的情况相比， 针对相同的噪声计算所用的抖动角度信号值，系统噪声被设置得较小并且观 测噪声被设置得较大。在可靠性低的情况下，在加法器401所计算出的摄像 装置1的抖动中误差大，并且不能进行正确的检测。因此，在从抖动检测单 元17所检测到的包含摄像操作时的抖动的抖动量中减去使用运动矢量所计 算出的摄像装置1的抖动的情况下，获得了叠加有除抖动检测单元17的偏移 分量以外的运动矢量检测误差的抖动信号。执行以下的处理：在等式(13)中， 减小系统噪声或增大观测噪声，以使卡尔曼增益接近零并且延迟偏移估计值 的更新。可选地，可以通过不进行更新的限制来提高偏移估计值的更新速度 和精度。
接着，将说明可靠性判定单元404中的运动矢量的可靠性判定所用条件。
·与移动被摄体相对应的移动物体区域相对于整个拍摄图像占据预定值 以上的情况
第二实施例的目的是使用运动矢量来检测摄像装置1的抖动。然而，在 移动物体区域占据整个拍摄图像的情况下，将移动被摄体的移动速度检测为 运动矢量。因此，随着移动物体区域相对于整个拍摄图像的占据比例变高， 可靠性判断单元404将可靠性设置得更低。
·拍摄者使用照相机侧操纵单元9所设置的ISO感光度设置值高于预定值 的情况
在ISO感光度设置值高的情况下，在摄像单元的电气信号被放大时，噪 声分量也被放大。因此，随着ISO感光度变高，在从图像检测到的运动矢量 中混入了噪声，并且运动矢量的可靠性下降。因此，随着摄像单元的摄像感 光度的设置值变高，可靠性判断单元404将可靠性设置得低。
·被摄体的对比度值低于预定值的情况
在计算运动矢量时在块匹配处理中被摄体的对比度值小的情况下，则难 以判断图像的相似点，并且在匹配结果中发生错误。因此，随着被摄体的对 比度值变小，可靠性判断单元404将可靠性设置得更低。
·具有重复图案的被摄体区域相对于整个拍摄图像占据预定值以上的情 况
在周期性图案(诸如条纹图案等的重复图案)存在于拍摄图像中并且占据 摄像面上的整个图像的情况下，可以通过块匹配处理来检测错误的运动矢 量。因此，随着周期性图案在拍摄图像的整个区域中的占据比例变高，可靠 性判断单元404将可靠性设置得更低。
·从摄像装置起直到第一被摄体为止的距离和从摄像装置起直到在不同 于第一被摄体的距离处的第二被摄体为止的距离之间的差等于或大于预定 值、并且这两个被摄体的被摄体区域相对于整个拍摄图像占据预定值以上的 情况
摄像面上的图像的运动量和被摄体的实际移动速度之间的关系根据从 摄像装置起直到被摄体为止的距离而不同。因此，在离摄像装置的距离大的 被摄体和离摄像装置的距离小的被摄体这两者都存在于运动矢量的检测所 使用的图像中、并且被摄体区域相对于整个拍摄图像占据预定值以上的情况 下，在运动矢量之间可能发生误差。因此，在从摄像装置起直到第一被摄体 为止的距离和从摄像装置起直到第二被摄体为止的距离之间的差等于或大 于预定值的情况下，随着被摄体区域在整个拍摄图像中的占据比例变高，可靠性判断单元404将可靠性设置得更低。
·卷帘快门失真的量大于预定值的情况
在摄像单元包括互补金属氧化物半导体(CMOS)图像传感器的情况下， 如果对高速移动的被摄体进行摄像，则由于拍摄时间差而在图像之间产生差 异，并且在将高速移动的被摄体摄像为运动图像时，发生失真。在使用失真 图像检测到了运动矢量的情况下，在运动矢量的检测中可能发生误差。因此， 随着拍摄图像的卷帘快门失真的量变大，可靠性判断单元404将可靠性设置 得更低。
·被摄体的纹理的相关值的最大值低的情况
在检测运动矢量时匹配的基准区域和搜索区域之间的相关值的最大值 低的情况下，基准区域和搜索区域之间的相似度被视为低并且可靠性被判断 为低。随着被摄体的纹理的相关值的最大值变小，可靠性判断单元404将可 靠性设置为更低。
·被摄体的纹理的相关值的最大值和最小值之间的差与该相关值的最大 值和平均值之间的差的比率小的情况
相关值的最大值和最小值之间的差与最大值和平均值之间的差的比率 表示相关值的峰的陡度。在该比率小的情况下，则基准区域和搜索区域之间 的相似度被视为低并且可靠性被判断为低。随着被摄体的纹理的相关值的最 大值和最小值之间的差与该相关值的最大值和平均值之间的差的比率变小， 可靠性判断单元404将可靠性设置得低。应当注意，计算相关值的方法包括 使用绝对差值和(sum of absolute difference)的方法，但可以使用任何计算方 法。
图14、15和16示出抖动的角速度和偏移估计单元304的偏移估计值的时 间序列变化的示例。所假定的各波形的摄像状况分别对应于图8A和8B、图 9A和9B以及图10A和10B。在图14中，在运动矢量可靠性高的情况下，如图 14的下部所示，预先从偏移估计所使用的抖动角速度的值中去除由于摄像引 起的抖动频率分量。在第二实施例中，与第一实施例相比，由于系统噪声可 被设置得大并且观测噪声可被设置得小，因此可以提前偏移估计值的更新。 在图15中也可以获得相同的效果。
在图16中，使用运动矢量来检测平摇操作期间的角速度的变化，并且将 该角速度的变化从偏移估计所使用的抖动角速度中去除。因此，与第一实施 例相比，可以进一步提高偏移估计的精度。
在第二实施例中，可以使用运动矢量来更正确地分离出摄像装置的抖动 分量和抖动检测单元的输出的偏移分量，并且可以提高偏移估计的更新速度 和估计精度。
在本实施例中，说明了通过摄像光学系统的校正透镜的移动控制来进行 图像模糊校正的装置。本发明不限于此，并且可以应用于通过图像传感器的 移动控制来进行图像模糊校正的装置、或者结合校正透镜的移动控制和图像 传感器的移动控制来进行图像模糊校正的装置。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于 所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有 这类修改、等同结构和功能。
本申请要求2018年1月18日提交的日本专利申请2018-6640的优先权，在 此通过引用包含其全部内容。

Claims (20)

1.一种图像模糊校正装置，包括：
估计单元，其被配置为估计抖动检测单元的输出的偏移分量，所述抖动检测单元被配置为检测摄像装置的抖动；
改变单元，其被配置为基于所述抖动检测单元的输出来计算作为频带中的多个分量的第一抖动量和第二抖动量，并且根据所述第一抖动量和所述第二抖动量来改变所述估计单元的特性；以及
控制单元，其被配置为使用通过从所述抖动检测单元的输出中减去所述估计单元所估计的偏移分量而获得的输出，来进行图像模糊校正，
其中，所述估计单元包括滤波器，并且所述估计单元的特性与该滤波器的滤波器特性有关，
其中，在所述估计单元的偏移估计的更新周期或执行周期对所估计出的偏移分量进行更新，
其中，所述改变单元改变所述估计单元的特性，以使得所述偏移估计的更新速度随着所述第一抖动量变大而变低，或者改变所述估计单元的特性，以使得所述偏移估计的更新速度随着作为比所述第一抖动量低的频率分量的所述第二抖动量变大而变高。
2.根据权利要求1所述的图像模糊校正装置，其中，所述改变单元将通过减去所估计出的偏移分量而获得的输出分离成不同频带中的分量以计算所述第一抖动量和所述第二抖动量。
3.根据权利要求1所述的图像模糊校正装置，还包括：
滤波器，用于对所述抖动检测单元的输出进行预定频带的带限，
其中，所述改变单元获取通过从所述滤波器进行了带限的所述抖动检测单元的输出中减去所估计出的偏移分量而获得的输出。
4.根据权利要求1所述的图像模糊校正装置，其中，在检测到所述摄像装置的静止状态的情况下，所述改变单元改变所述估计单元的特性，以使得所述偏移估计的更新速度随着所述摄像装置的抖动变小而变高。
5.根据权利要求1所述的图像模糊校正装置，其中，在检测到所述摄像装置的平摇或俯仰的情况下，所述改变单元改变所述估计单元的特性，以使得所述偏移估计的更新速度随着所述摄像装置的抖动变大而变低。
6.根据权利要求4所述的图像模糊校正装置，还包括：
第一检测单元，其被配置为从多个拍摄图像中检测运动矢量；以及
第二检测单元，其被配置为使用所述抖动检测单元的输出和所述运动矢量来检测所述摄像装置的静止状态。
7.根据权利要求5所述的图像模糊校正装置，还包括：
第一检测单元，其被配置为从多个拍摄图像中检测运动矢量；以及
第二检测单元，其被配置为使用所述抖动检测单元的输出和所述运动矢量来检测所述摄像装置的平摇或俯仰状态。
8.根据权利要求1所述的图像模糊校正装置，还包括：
检测单元，其被配置为从多个拍摄图像中检测运动矢量，
其中，所述估计单元使用通过从所述抖动检测单元的输出中减去所述运动矢量而获得的输出来估计所述偏移分量。
9.根据权利要求8所述的图像模糊校正装置，其中，所述改变单元判断所述运动矢量的可靠性，并且改变所述估计单元的偏移分量的估计值的更新速度。
10.根据权利要求9所述的图像模糊校正装置，其中，随着在拍摄图像中与移动被摄体相对应的运动物体区域在整个拍摄图像中的占据比例变大，所述改变单元将所述可靠性设置得更低。
11.根据权利要求9所述的图像模糊校正装置，其中，随着摄像感光度的设置值变高，所述改变单元将所述可靠性设置得更低。
12.根据权利要求9所述的图像模糊校正装置，其中，随着被摄体的对比度值变小，所述改变单元将所述可靠性设置得更低。
13.根据权利要求9所述的图像模糊校正装置，其中，在拍摄图像中存在具有周期性图案的区域，并且随着该区域在整个拍摄图像中的占据比例变大，所述改变单元将所述可靠性设置得更低。
14.根据权利要求9所述的图像模糊校正装置，其中，在从所述摄像装置至第一被摄体的距离和从所述摄像装置至第二被摄体的距离之间的差等于或大于预定值的情况下，随着所述第一被摄体和所述第二被摄体的区域在整个拍摄图像中的占据比例变大，所述改变单元将所述可靠性设置得更低。
15.根据权利要求9所述的图像模糊校正装置，其中，随着拍摄图像的卷帘快门失真量变大，所述改变单元将所述可靠性设置得低。
16.根据权利要求9所述的图像模糊校正装置，其中，随着被摄体的纹理的相关值的最大值变小，所述改变单元将所述可靠性设置得更低。
17.根据权利要求9所述的图像模糊校正装置，其中，随着被摄体的纹理的相关值的最大值和最小值之间的差与所述相关值的最大值和平均值之间的差的比率变小，所述改变单元将所述可靠性设置得更低。
18.根据权利要求9所述的图像模糊校正装置，其中，与所述运动矢量的可靠性高的情况相比，在所述运动矢量的可靠性低的情况下，所述改变单元进行用于延迟所述估计值的更新的处理或者用于限制所述更新的处理。
19.一种摄像装置，包括根据权利要求1所述的图像模糊校正装置。
20.一种图像模糊校正装置的控制方法，所述控制方法包括：
估计抖动检测单元的输出的偏移分量，所述抖动检测单元被配置为检测摄像装置的抖动；
基于所述抖动检测单元的输出来计算作为频带中的多个分量的第一抖动量和第二抖动量，并且根据所述第一抖动量和所述第二抖动量来改变估计特性；以及
使用通过从所述抖动检测单元的输出中减去所估计出的偏移分量而获得的输出，来进行图像模糊校正，
其中，所述估计特性与偏移估计中所使用的滤波器的滤波器特性有关，
其中，在所述偏移估计的更新周期或执行周期对所估计出的偏移分量进行更新，
其中，改变所述估计特性包括：改变所述估计特性，以使得所述偏移估计的更新速度随着所述第一抖动量变大而变低，或者改变所述估计特性，以使得所述偏移估计的更新速度随着处于比所述第一抖动量低的频率的所述第二抖动量变大而变高。
CN201910044086.0A 2018-01-18 2019-01-17 图像模糊校正装置及其控制方法和摄像装置 Active CN110062131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210179010.0A CN114584676B (zh) 2018-01-18 2019-01-17 图像模糊校正装置及其控制方法和摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-006640 2018-01-18
JP2018006640A JP6961500B2 (ja) 2018-01-18 2018-01-18 像振れ補正装置およびその制御方法、撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210179010.0A Division CN114584676B (zh) 2018-01-18 2019-01-17 图像模糊校正装置及其控制方法和摄像装置

Publications (2)

Publication Number Publication Date
CN110062131A CN110062131A (zh) 2019-07-26
CN110062131B true CN110062131B (zh) 2022-03-04

Family

ID=65019286

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910044086.0A Active CN110062131B (zh) 2018-01-18 2019-01-17 图像模糊校正装置及其控制方法和摄像装置
CN202210179010.0A Active CN114584676B (zh) 2018-01-18 2019-01-17 图像模糊校正装置及其控制方法和摄像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210179010.0A Active CN114584676B (zh) 2018-01-18 2019-01-17 图像模糊校正装置及其控制方法和摄像装置

Country Status (4)

Country Link
US (1) US10638044B2 (zh)
EP (1) EP3528491B1 (zh)
JP (1) JP6961500B2 (zh)
CN (2) CN110062131B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10681277B1 (en) 2019-03-07 2020-06-09 Qualcomm Incorporated Translation compensation in optical image stabilization (OIS)
JP2021026180A (ja) * 2019-08-08 2021-02-22 キヤノン株式会社 像振れ補正装置及び撮像装置
JP7506500B2 (ja) 2020-03-18 2024-06-26 キヤノン株式会社 像振れ補正装置及び方法、及び、撮像装置
JP7495800B2 (ja) * 2020-03-23 2024-06-05 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05232436A (ja) 1992-02-25 1993-09-10 Victor Co Of Japan Ltd プリンター
JP3186219B2 (ja) 1992-05-22 2001-07-11 キヤノン株式会社 像振れ防止装置
JP2002016836A (ja) * 2000-06-29 2002-01-18 Toshiba Corp 撮像装置の揺れ補正装置及び方法
JP4419466B2 (ja) * 2003-07-25 2010-02-24 株式会社ニコン 撮影レンズ、およびカメラシステム
JP5328307B2 (ja) * 2008-11-14 2013-10-30 キヤノン株式会社 振れ補正機能を有する撮影装置及びその制御方法
JP5233631B2 (ja) * 2008-12-11 2013-07-10 ソニー株式会社 振れ補正装置と振れ補正方法および撮像装置
JP5513029B2 (ja) * 2009-07-15 2014-06-04 キヤノン株式会社 撮像装置およびその制御方法
JP5520071B2 (ja) * 2010-02-05 2014-06-11 キヤノン株式会社 像振れ補正装置および像振れ補正装置を備えた光学機器、撮像装置、像振れ補正装置の制御方法
JP5501119B2 (ja) * 2010-06-29 2014-05-21 キヤノン株式会社 撮像装置およびその制御方法
JP2012018328A (ja) * 2010-07-08 2012-01-26 Canon Inc 光学機器、撮像装置、及び光学機器の制御方法
JP2012090216A (ja) * 2010-10-22 2012-05-10 Canon Inc 撮像装置及び撮像装置の制御方法
JP5868060B2 (ja) * 2011-08-02 2016-02-24 キヤノン株式会社 像ぶれ補正装置および方法、並びに光学機器、撮像装置
JP2013054264A (ja) * 2011-09-06 2013-03-21 Nikon Corp レンズ鏡筒および撮像装置
JP6097522B2 (ja) * 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP6257207B2 (ja) * 2013-08-01 2018-01-10 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、並びに撮像装置
JP6150655B2 (ja) * 2013-08-01 2017-06-21 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置
JP2015034879A (ja) * 2013-08-08 2015-02-19 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置
JP6351247B2 (ja) * 2013-12-12 2018-07-04 キヤノン株式会社 像振れ補正装置及びその制御方法、光学機器、撮像装置
JP6417659B2 (ja) * 2013-12-12 2018-11-07 セイコーエプソン株式会社 信号処理装置、検出装置、センサー、電子機器及び移動体
JP6598549B2 (ja) * 2015-07-23 2019-10-30 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置およびその制御方法
JP6592335B2 (ja) * 2015-11-05 2019-10-16 キヤノン株式会社 像ブレ補正装置及び方法

Also Published As

Publication number Publication date
JP6961500B2 (ja) 2021-11-05
CN110062131A (zh) 2019-07-26
CN114584676B (zh) 2024-04-19
CN114584676A (zh) 2022-06-03
US20190222760A1 (en) 2019-07-18
EP3528491A1 (en) 2019-08-21
US10638044B2 (en) 2020-04-28
JP2019124871A (ja) 2019-07-25
EP3528491B1 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
CN110062131B (zh) 图像模糊校正装置及其控制方法和摄像装置
US10313593B2 (en) Image stabilization apparatus and image stabilization method
GB2567043B (en) Image pick-up apparatus and control method
US9912869B2 (en) Image stabilization apparatus and image stabilization method
US10321058B2 (en) Image pickup apparatus and motion vector detection method
US10791270B2 (en) Image stabilization apparatus capable of accurately estimating an offset component of an angular velocity sensor, optical apparatus, and image stabilization method
US11290650B2 (en) Image blur information acquisition apparatus and method, and storage medium
CN106998425B (zh) 振动检测设备、振动检测方法和摄像设备
CN109391755B (zh) 摄像设备及其中执行的方法
US10873701B2 (en) Image pickup apparatus and control method thereof
JP7204855B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP7308672B2 (ja) 像ブレ補正装置及びその制御方法、撮像システム、プログラム
JP7506500B2 (ja) 像振れ補正装置及び方法、及び、撮像装置
CN112424681B (zh) 摄像装置、摄像方法及记录介质
JP7558702B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP2021044653A (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP2022120685A (ja) 防振制御装置及び方法、及び撮像装置
JP2019159172A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant