CN1744668A - 手抖动校正装置以及摄像机器 - Google Patents

手抖动校正装置以及摄像机器 Download PDF

Info

Publication number
CN1744668A
CN1744668A CNA2005100990267A CN200510099026A CN1744668A CN 1744668 A CN1744668 A CN 1744668A CN A2005100990267 A CNA2005100990267 A CN A2005100990267A CN 200510099026 A CN200510099026 A CN 200510099026A CN 1744668 A CN1744668 A CN 1744668A
Authority
CN
China
Prior art keywords
correcting value
correction
center
state
decay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100990267A
Other languages
English (en)
Other versions
CN100568921C (zh
Inventor
畑中晴雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyun Hyun Lee
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1744668A publication Critical patent/CN1744668A/zh
Application granted granted Critical
Publication of CN100568921C publication Critical patent/CN100568921C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Abstract

本发明提供一种手抖动校正装置，具备：晃动检测机构，其对图像的晃动进行检测；以及校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使校正位置向校正前的初始位置移动的向心速度的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性、和使校正位置向校正前的初始位置移动的向心速度可变，其中，校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。

Description

手抖动校正装置以及摄像机器
技术领域
本发明涉及一种例如安装在摄像机或数码相机中的手抖动校正装置以及摄像机与数码相机等摄像机器。
背景技术
作为检测出摄像装置的晃动成分的方法的一例，1989年第20届图像光学会议中，由松下电器产业(公司)所发表。该方法，使用通过在昭和61年(1986)年9月6日所公开的特开昭61-201581号[H04N7/137]公报中所记载的代表点匹配法所获得的运动矢量，从图像信息中检测出摄像装置的晃动成分。该发表中，在根据从图像现象所得到的运动矢量来校正手抖动的方法中，导入衰减系数。另外，在画面中设置4个检测区域，对每一个检测区域计算出部分运动矢量。
这里，对根据所得到的部分运动矢量进行手抖动校正的方法进行说明。帧之间的全体运动矢量，如前所述，使用4个部分运动矢量的平均值等。设全体运动矢量为Vn，则积分矢量Sn通过下面的式(1)表示。
Sn＝K·Sn-1+Vn                                      ...(1)
上述式(1)中，Sn为当前帧的积分矢量，Sn-1为前帧的积分矢量，Vn为全体运动矢量，K为积分矢量的衰减系数。积分矢量的衰减系数K是小于1的小数。
使用这样所得到的积分矢量Sn，通过移动图像的剪切位置，来校正基于手抖动的图像的抖动。积分矢量Sn，如图7所示，表示从图像存储器(帧存储器15)的中心O到显示区域(剪切框)100的中心Ot之间的距离与方向。
通过控制衰减系数K，能够改变相对于晃动的频率的校正残留率(校正的晃动频率特性)，以及为了确保校正范围而让图像剪切位置向图像存储器的中心回归的速度(向心(centering)速度)。校正残留率，定义为校正后的晃动的振幅相对校正前的晃动的振幅的比率[％]。
图19表示基于衰减系数K的晃动频率[Hz]与校正残留率[％]之间的关系。
例如，在K＝1.0的情况下，表示完全校正了所检测出的运动。在K＝0.90的情况下，对2[Hz]晃动的校正约为50％，对5[Hz]晃动的校正约为70％。也即，衰减系数K越小，对低频带的晃动的校正程度就越弱。
但是，由于衰减系数K兼具要控制校正的晃动频率特性与向心速度的作用，因此无法设定各自独立的特性。例如，如果缩小衰减系数K从而不进行低频带的晃动的校正，则向心速度从属地增大，从而出现了即使摄像机的运动停止，图像也延迟动作的现象(延迟晃动)变得显著这一问题。
另外，反之，如果为了完全校正低频带的晃动，而将衰减系数K设为1，则会不进行向心运动，从而存在无法确保校正范围这一问题。特开平7-23276号公报中提出了该问题的对应例。该公报中，注意到平移·俯仰摄影之后的延迟晃动非常显著这一点，在平移·俯仰摄影中，让图像的剪切位置向图像存储器的中心侧只移动运动矢量的给定比率程度。但是，由于平移(pan)·俯仰摄影中经常发生运动矢量的误检测，因此，存在平移·俯仰摄影中的操作性显著降低这一问题。
发明内容
本发明的目的在于提供一种能够将要校正的晃动频率特性与图像剪切位置的向心特性，独立进行所期望的设定，从而能够进行更好的手抖动校正的手抖动校正装置以及摄影机器。
本发明的第1手抖动校正装置的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；以及校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及晃动量的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性和晃动量的衰减中心可变。
本发明的第2手抖动校正装置的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；以及校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使校正位置向校正前的初始位置移动的向心速度的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性、和使校正位置向校正前的初始位置移动的向心速度可变。校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
本发明的第3手抖动校正装置的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使校正位置向校正前的初始位置移动的向心速度的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性、和使校正位置向校正前的初始位置移动的向心速度可变；第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于计算校正位置的校正量，作为1帧前的校正量；以及在由状态判断机构检测出从拍摄者有意的照相机运动所引起的晃动状态变化为手抖动状态时，将衰减中心设定为对应于此时的校正量的校正位置的机构，第1校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
本发明的第4手抖动校正装置的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；以及校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使图像剪切位置向摄像图像的中心移动的向心速度的衰减中心，生成校正量，其为用于计算出图像剪切位置的校正量，并且对晃动频率的校正残留率特性、和使图像剪切位置向摄影图像的中心移动的向心速度可变，校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
本发明的第5手抖动校正装置的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使图像剪切位置向摄像图像的中心移动的向心速度的衰减中心，生成校正量，其为用于计算出图像剪切位置的校正量，并且对晃动频率的校正残留率特性、和使图像剪切位置向摄影图像的中心移动的向心速度可变；第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于计算图像剪切位置的校正量，作为1帧前的校正量；以及在由状态判断机构检测出从拍摄者有意的照相机运动所引起的晃动状态变化为手抖动状态时，将衰减中心设定为对应于此时的校正量的图像剪切位置的机构，第1校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
本发明的第1摄像机器的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；以及校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及晃动量的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性和晃动量的衰减中心可变。
本发明的第2摄像机器的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；以及校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使校正位置向校正前的初始位置移动的向心速度的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性、和使校正位置向校正前的初始位置移动的向心速度可变，校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
本发明的第3摄像机器的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使校正位置向校正前的初始位置移动的向心速度的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性、和使校正位置向校正前的初始位置移动的向心速度可变；第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于计算校正位置的校正量，作为1帧前的校正量；以及在由状态判断机构检测出从拍摄者有意的照相机运动所引起的晃动状态变化为手抖动状态时，将衰减中心设定为对应于此时的校正量的校正位置的机构，第1校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
本发明的第4摄像机器的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使图像剪切位置向摄像图像的中心移动的向心速度的衰减中心，生成校正量，其为用于计算出图像剪切位置的校正量，并且对晃动频率的校正残留率特性、和使图像剪切位置向摄影图像的中心移动的向心速度可变，校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
本发明的第5摄像机器的特征在于，具备：晃动检测机构，其对图像的晃动进行检测；状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使图像剪切位置向摄像图像的中心移动的向心速度的衰减中心，生成校正量，其为用于计算出图像剪切位置的校正量，并且对晃动频率的校正残留率特性、和使图像剪切位置向摄影图像的中心移动的向心速度可变；第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于计算图像剪切位置的校正量，作为1帧前的校正量；以及在由状态判断机构检测出从拍摄者有意的照相机运动所引起的晃动状态变化为手抖动状态时，将衰减中心设定为对应于此时的校正量的图像剪切位置的机构；第1校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
附图说明
图1为表示摄像机的电气构成的框图。
图2为表示运动检测电路的电气构成的框图。
图3为表示成像区域内所设定的多个运动矢量检测区域的模式图。
图4为表示在图3的各个运动矢量检测区域内的小区域内所设定的多个采样点，与一个代表点的模式图。
图5为表示帧存储器与剪切框之间的关系的模式图。
图6为摄像机向右移动时的帧存储器与剪切框之间的关系的模式图。
图7为表示积分矢量与剪切框之间的关系的模式图。
图8为用来说明手抖动校正范围的模式图。
图9为用来说明超出了手抖动校正范围的情况下的处理的模式图。
图10为表示对每一帧所进行的摄像机10的动作的流程图。
图11为表示图10的步骤S11的第1状态判断处理的顺序的流程图。
图12为表示图10的步骤S13的第2状态判断处理的顺序的流程图。
图13a、图13b、图13c为表示以往方法中，在从“平移或俯仰状态”向“手抖动状态”转移之后经过了两帧之后的积分矢量S0～S2的变化的模式图。
图14a、图14b、图14c为表示本发明的方法中，在从“平移或俯仰状态”向“手抖动状态”转移之后经过了3帧之后的积分矢量S0～S3的变化的模式图。
图15为摄像机向左平移之后，固定摄像机时的剪切框与构图的变化的模式图。
图16为表示在使用以往方法的情况下的、从图15的“平移或俯仰状态”向“手抖动状态”的转移时刻开始的经过时间(帧数)与剪切框(构图)的位置之间的关系的曲线图。
图17为表示在使用本发明的方法的情况下的、从图15的“平移或俯仰状态”向“手抖动状态”的转移时刻开始的经过时间(帧数)与剪切框(构图)的位置之间的关系的曲线图。
图18a、图18b、图18c以及图18d，为表示摄像机10的实际状态，从手抖动状态-＞平移状态-＞固定状态进行变化的情况下的帧数与摄像机10的显示图像(构图)的移动量之间的关系的曲线图。
图19为基于衰减系数K的晃动频率与校正残留率之间的关系的曲线图。
具体实施方式
下面对照附图对本发明的实施例进行说明。
图1表示摄像机的构成。
摄像机10中，包含有将来自镜头11所输入的被摄体(图中未显示)的光信号变换成电气信号的CCD那样的固体摄像元件12。来自固体摄像元件12的电气信号输入给照相机电路13。照相机电路13，公知包含有采样保持电路，对来自固体摄像元件12的电气信号进行采样保持。通过AGC来调整被采样保持的电气信号的电平，同时由同步信号添加电路来添加同步信号。这样，照相机电路13将来自固体摄像器件12的图像信号变换成模拟视频信号。
照相机电路13所输出的模拟视频信号，进一步通过A/D转换器14转换成数字视频信号。A/D转换器14所输出的数字视频信号提供给运动检测电路(晃动检测机构)18，同时，由存储器控制电路21写入到帧存储器15。
图2表示运动检测电路18的构成。
运动检测电路18，使用例如公知的代表点匹配法，检测出运动矢量。下面对代表点匹配法的概要进行说明。如图3所示，在各个帧的成像区域内，设置多个运动矢量检测区域E1～E4。各个运动矢量检测区域矢量E1～E4的大小相同。另外，各个运动矢量检测区域E1～E4进一步被分割成多个小区域e。本例中，各个运动矢量检测区域E1～E4被分隔成30个小区域e。各个小区域e例如由32像素×16行构成。之后，如图4所示，在各个小区域e中分别设定多个采样点S与1个代表点R。
当前帧中的小区域e内的各个采样点S的成像信号等级(level)(亮度等级)，与前帧中的对应的小区域e的代表点R的视频信号等级(亮度等级)之间的差(各个采样点中的相关值)，对每一个运动矢量检测区域E1～E4分别求出。之后，将各个运动矢量检测区域E1～E4中，运动矢量检测区域内的所有小区域e之间，相对代表点R的偏位相同的采样点S之间的相关值累积相加。因此，对每一个运动矢量检测区域E1～E4，求出与1个小区域e内的采样点S的数对应的数的相关累积值。
之后，在各个运动矢量检测区域E1～E4内，将相关累积值最小的点相对代表点R的偏位，也即相关性最高的点的偏位，作为该运动矢量检测区域E1～E4的运动矢量抽出。
运动检测电路18，包含有接收来自A/D转换器14的数字视频信号的输入端31，从该输入端31所输入的视频信号，通过滤波器32提供给代表点存储器33与减法电路34。滤波器32是一种数字低通滤波器，用来改善S/N比，通过较少的代表点来确保充足的检测精度。代表点存储器33，将图3中所示的各个运动矢量检测区域E1～E4的小区域e中的、代表点R的位置数据与亮度数据保存起来。
减法电路34，将各个运动矢量检测区域E1～E4的每一个小区域e中的、从代表点存储器33提供的前帧的代表点的亮度数据，与输入端31所提供的当前帧的采样点S的亮度数据相减，计算出其绝对值(各个采样点中的相关值)。将所求出的各个采样点中的相关值，提供给累积相加电路35。
累积相加电路35，将各个运动矢量检测区域E1～E4中的、运动矢量检测区域内的所有小区域中，相对代表点R的偏位相同的采样点之间的相关值累积相加。将相关累积值提供给运算电路36。
运算电路36，求出各个运动矢量检测区域E1～E4的相关累积值的平均值，同时，求出相关累积值最小的像素的位置数据。这样，每一个运动矢量检测区域E1～E4所得到的相关累积值的平均值，以及相关累积值的最小值与相关累积值最小的像素的位置数据，从输出端37提供给微型计算机20(参照图1)。
微型计算机20，根据运算电路36所输入的数据，计算出图像全体的运动矢量(以下简称为“全体运动矢量”)。首先，根据每一个运动矢量检测区域E1～E4的相关累积值最小的像素的位置数据，求出相关累积值最小的像素相对代表点的偏位，将该偏位作为该运动矢量检测区域E1～E4的运动矢量(部分运动矢量)。另外，为了提高部分运动矢量的检测精度，可以使用相关累积值最小的像素的周围4个像素的相关累积值，进行内插，通过这样来计算出相关累积值最小的像素的位置数据。
微型计算机20，对每一个运动矢量检测区域E1～E4，判断相关累积值的平均值除以相关累积值的最小值所得到的值是否大于一定的阈值，以及相关累积值的平均值是否为给定值以上，并判断出各个运动矢量检测区域E1～E4中所求出的部分运动矢量是否可信，也即判断各个运动矢量检测区域E1～E4是有效区域还是无效区域。某个运动矢量检测区域中，如果相关累积值的平均值除以相关累积值的最小值所得到的值大于一定的阈值，且相关累积值的平均值为给定值以上，则该运动矢量检测区域是有效区域。
具体地说，如下那样进行运动矢量检测区域是否为有效区域的判断。首先，在画面的对比度低时，由于亮度差小，因此相关累积值变小。例如在画面全体为白色时，相关累积值变小。这样的情况下，由于没有可靠性，因此在相关累积值的平均值≥给定值时有效。另外，给定值通过实验被决定。
另外，在运动矢量检测区域内有运动物体时，运动物体所占部分与未占部分的相关累积值不同，并且运动物体所占部分取各种相关累积值，其相关累积值一般为较大的值(相关度较低)。因此，在运动矢量检测区域内存在运动物体时，相关累积值的最小值变大的可靠性较高，有可能会误检测出相对运动矢量检测区域的运动矢量(部分运动矢量)。
如果误检测出部分运动矢量，则会误检测出全体运动矢量。但是，在相关累积值的平均值较大时，即使在相关累积值的最小值为某个程度的大小时也可信赖。另外，在相关累积值的平均值较小时，如果相关累积值的最小值不是非常小，就无法信赖。因此，具体地说，将满足(相关累积值的平均值)/(相关累积值的最小值)＞5的条件的运动矢量检测区域判断为有效区域，通过不使用不满足该条件的运动矢量检测区域的部分运动矢量，来防止误检测的弊端。
通过这两个条件，来判断各个运动矢量检测区域是否为有效区域。之后，求出判断为有效区域的运动矢量检测区域的部分运动矢量的平均值，将其作为帧之间的运动量也即全体运动矢量Vn。全体运动矢量Vn表示帧之间的运动量及其方向。微型计算机20，使用全体运动矢量Vn来求出积分矢量Sn。关于积分矢量Sn的求法将在后面说明。积分矢量Sn表示帧存储器15的中心到显示区域(剪切框)的中心之间的距离与方向。
手抖动校正中，通过改变帧存储器15内的显示区域的位置(图像剪切位置)来进行校正。图5表示帧存储器15与剪切框100之间的关系。将被帧存储器15内的剪切框100所包围的区域表示为摄像图像。剪切框100的初始位置，被设定在使其中心与帧存储器15的中心相一致的位置上。之后，对应于所检测出的运动矢量，使其位置移动。例如，在向右移动摄像机时的帧存储器15与剪切框100之间的关系如图6所示。如果向右移动摄像机，则被摄体向帧存储器内的左侧移动。这里，通过让剪切框100向着与摄像机的运动方向相反的方向，移动相当于摄像机的运动量，来消除所显示的图像(构图)的变化，抵消手抖动。
图7表示积分矢量Sn与剪切框100之间的关系。剪切框100的位置，在以帧存储器15的中心O为原点的XY坐标系中，通过剪切框100的中心的坐标Ot来获得。如果设当前帧的积分矢量为S，则从帧存储器15的中心O，向通过积分矢量S所表示的方向，移动通过积分矢量S所表示的距离的点，为剪切框100的中心Ot。
这里，手抖动校正的范围，如图8所示，为剪切框100位于帧存储器15的端部之间的范围。也即，积分矢量S的水平成分Sh、垂直成分Sv的范围分别为图8的Sh-min～Sh-max，Sv-min～Sv-max。
如图9所示，在摄像机大幅度运动，积分矢量S的水平成分Sh超出了校正范围的界限值的情况下，如果水平成分Sh小于Sh-min，则将水平成分Sh作为Sh-min(界限值)，如果水平成分Sh大于Sh-max，则将水平成分Sh作为Sh-max(界限值)。在积分矢量S的垂直成分Sv超出了校正范围的界限值的情况下也一样，如果垂直成分Sv小于Sv-min，则将垂直成分Sv作为Sv-min(界限值)，如果垂直成分Sv大于Sv-max，则将垂直成分Sv作为Sv-max(界限值)。
积分矢量Sn的计算方法，因“手抖动状态”或“平移或俯仰状态“而不同。这些状态由微型计算机20来进行判断。将表示是“手抖动状态”，还是“平移或俯仰状态”的数据，保存到微型计算机20的存储器(图中未示出)中。
在“手抖动状态”下，微型计算机20使用从焦距检测电路19所取得的35mm胶片(film)换算的透镜焦距F、预先设定的焦距的最小值Fmin与最大值Fmax、以及预先设定的积分矢量的衰减系数的最小值Kmin与最大值Kmax，按照下面的式(2)，来求出积分矢量衰减系数K。
K = K min + F - F min F max - F min ( K max - K min ) . . . ( 2 )
之后，根据下面的式(3)，计算出当前帧的积分矢量Sn。
Sn＝K·(Sn-1-C)+Vn+C                            ...(3)
上述式(3)中，K为根据上述式(2)所计算出的积分矢量的衰减系数。Vn为前帧与当前帧之间的全体运动矢量Vn。Sn-1为前帧的积分矢量。C为衰减中心。衰减中心C的初始值为0，每一次通过上述式(3)计算出积分矢量Sn时，便根据下面的式(4)进行更新。
C＝Kc·C                                        ...(4)
上述式(4)中，Kc为预先设定的衰减中心的衰减系数。
“平移或俯仰状态”中，如下式(5)所示，微型计算机20，将微型计算机20的存储器上所存储的1个前帧的积分矢量Sn-1作为当前帧的积分矢量Sn。也即，意味着不进行手抖动校正。
Sn＝Sn-1                                        ...(5)
从“手抖动状态”向“平移或俯仰状态”的转移，在满足以下任一个转移条件(a)、(b)、(c)的情况下进行。
(a)从“手抖动状态”向“平移或俯仰状态”的第1转移条件：全体运动矢量Vn的方向为同一个方向的帧连续，且该连续次数(连续帧数)为30以上。
具体地说，全体运动矢量Vn的垂直成分的方向(上或下)为同一个方向的帧连续，且该连续次数为30以上，或全体运动矢量Vn的水平成分的方向(左或右)为同一个方向的帧连续，且该连续次数为30以上。
(b)从“手抖动状态”向“平移或俯仰状态”的第2转移条件：积分矢量Sn为校正范围的界限值以上的帧连续，其连续次数(连续帧数)为10以上。
具体地说，积分矢量Sn的垂直成分为校正范围的界限值以上的帧连续，且其连续次数为10以上，或积分矢量Sn的水平成分为校正范围的界限值以上的帧连续，且其连续次数为阈值10以上。
另外，如上所述，在积分向量Sn的垂直成分Sv超过了校正范围的界限值的情况下，如果垂直成分Sv小于Sv-min，则将垂直成分Sv作为Sv-min(界限值)，如果垂直成分Sv大于Sv-max，则将垂直成分Sv作为Sv-max(界限值)。另外，在积分向量Sn的水平成分Sh超过了校正范围的界限值的情况下，如果水平成分Sh小于Sh-min，则将水平成分Sh作为Sh-min(界限值)，如果水平成分Sh大于Sh-max，则将水平成分Sh作为Sh-max(界限值)。
(c)从“手抖动状态”向“平移或俯仰状态”的第3转移条件：全体运动矢量Vn的方向为同一个方向的帧连续，且该在同一方向连续的所有运动矢量Vn的积分值，为画角(剪切框的图像尺寸)的20％以上。
具体地说，全体运动矢量Vn的垂直成分的方向(上或下)为同一个方向的帧连续，且该在同一方向连续的所有运动矢量Vn的垂直成分的积分值，为剪切框的上下宽度的20％以上，或者，全体运动矢量Vn的水平成分的方向(左或右)为同一个方向的帧连续，且该在同一方向连续的所有运动矢量Vn的水平成分的积分值，为剪切框的左右宽度的20％以上。
从“平移或俯仰状态”向“手抖动状态”的转移，在满足以下任一个转移条件(a)、(b)的情况下进行。
(a)从“平移或俯仰状态”向“手抖动状态”的第1转移条件：全体运动矢量Vn为0.5像素以下的帧连续，且该连续次数(连续帧数)为10以上。
具体地说，全体运动矢量Vn的垂直成分为0.5像素以下的帧连续，且该连续次数为10以上，或全体运动矢量Vn的水平成分为0.5像素以下的帧连续，且该连续次数为10以上。
(b)从“平移或俯仰状态”向“手抖动状态”的第2转移条件：全体运动矢量Vn的方向，为与从“手抖动状态”向“平移或俯仰状态”转移时的全体运动矢量Vn的方向相反的方向的帧连续，且该连续次数为10以上。
具体地说，全体运动矢量Vn的垂直成分的方向，为与从“手抖动状态”向“平移或俯仰状态”转移时的全体运动矢量Vn的垂直成分的方向相反的方向的帧连续，且该连续次数为10以上，或全体运动矢量Vn的水平成分的方向，为与从“手抖动状态”向“平移或俯仰状态”转移时的全体运动矢量Vn的水平成分的方向相反的方向的帧连续，且该连续次数为10以上。
在从“平移或俯仰状态”向“手抖动状态”转移时，微型计算机20将此时的积分矢量Sn设定为衰减中心C。也即，将微型计算机20的存储器上的衰减中心C，更新为与此时的积分矢量Sn相同的数据。
本实施例中，对焦距38～280mm，积分矢量的衰减系数K为0.9～0.95。另外，衰减中心的衰减系数Kc设定为0.98。通过控制积分矢量的衰减系数K，能够使所校正的手抖动的频率特性变化。另外，以往在向心速度较快且构图的变化较大的平移或俯仰操作之后，将衰减中心C设定为平移或俯仰操作刚刚结束后的积分矢量Sn，因此，不会因积分矢量的衰减系数K引起急剧的向心运动。与此相对，由于衰减中心的衰减系数Kc(＝0.98)，因此进行平缓的向心运动，不会被摄影者发现，而能够确保校正范围。
这样所求出的积分矢量Sn输入给存储器控制电路21。存储器控制电路21中，根据所提供的积分矢量Sn，决定帧存储器15的读出开始地址，从该地址读出存储于帧存储器15中的数字视频信号。也即，存储器控制电路21，根据微型计算机20所计算出的积分矢量Sn，移动帧存储器15内的剪切框100。
由存储器控制电路21从帧存储器15中所读出的数字视频信号，发送给电子缩放电路16。电子缩放电路16，为了得到相当于帧存储器15的大小的视频信号，根据从帧存储器15所读出的数字视频信号，使用内插法来放大图像。从电子缩放电路16所输出的数字视频信号，发送给输出端17。
图10表示对每一个帧所进行的摄像机10的动作。
Flag用作存储是“手抖动状态”还是“平移或俯仰状态”的标志位。在复位Flag(Flag＝0)的情况下，状态表示为“手抖动状态”，在置位Flag(Flag＝1)的情况下，状态表示为“平移或俯仰状态”。
首先复位Flag(Flag＝0)(步骤S1)。也即，作为初始状态，设定为“手抖动状态”。
每一个运动矢量检测区域E1～E4中，根据相关累积值最小的像素的位置数据，求出部分运动矢量(步骤S2)。
接下来，根据各个运动矢量检测区域E1～E4的相关累积值的平均值以及相关累积值的最小值，判断各个运动矢量检测区域E1～E4是有效区域还是无效区域(步骤S3)。之后，判断是否存在有效区域(步骤S4)。
在判断存在有效区域的情况下，将有效区域的部分运动矢量的平均值，作为全体运动矢量Vn(步骤S5)。之后进入步骤S7。在不存在有效区域的情况下，将全体运动矢量Vn设为0(步骤S6)。之后进行步骤S7。步骤S7中判断是否为Flag＝0。也即，判断是“手抖动状态”还是“平移或俯仰状态”。
在Flag＝0的情况下。也即现在的状态为“手抖动状态”的情况下，从焦距检测电路19取得35mm胶片换算的焦距，根据上述式(2)，计算出衰减系数K(步骤S8)。使用所计算出的K，根据上述式(3)，计算出积分矢量Sn(步骤S9)。之后，根据上述式(4)更新衰减中心C(步骤S10)。之后，进行了第1状态判断处理之后(步骤S11)，进入步骤S14。关于第1状态判断处理，将在后面说明。
上述步骤S7中，在Flag＝1的情况下。也即现在的状态为“平移或俯仰状态”的情况下，根据上述式(5)，计算出积分矢量Sn(步骤S12)。之后，进行了第2状态判断处理之后(步骤S13)，进入步骤S14。关于第2状态判断处理，将在后面说明。
步骤S14中，根据通过上述步骤S9或S12所计算出的积分矢量Sn，计算出剪切框的位置。之后结束本次的处理。
图11表示图10的步骤S11的第1状态判断处理的顺序。
首先，判断是否满足从“手抖动状态”向“平移或俯仰状态”的第1转移条件(步骤S21)。也即，判断是否满足全体运动矢量Vn的方向为同一个方向的帧连续，且该连续次数(连续帧数)为30以上这一条件。在满足上述第1转移条件的情况下，判断为“平移或俯仰状态”，也即判断从“手抖动状态”转移到“平移或俯仰状态”，置位Flag(Flag＝1)(步骤S25)。之后，进入图10的步骤S14。
在不满足上述第1转移条件的情况下，判断是否满足从“手抖动状态”向“平移或俯仰状态”的第2转移条件(步骤S22)。也即，判断是否满足积分矢量Sn为校正范围的界限值以上的帧连续，其连续次数(连续帧数)为10以上这一条件。在满足上述第2转移条件的情况下，判断为“平移或俯仰状态”，也即判断从“手抖动状态”转移到“平移或俯仰状态”，置位Flag(Flag＝1)(步骤S25)。之后，进入图10的步骤S14。
在不满足上述第2转移条件的情况下，判断是否满足从“手抖动状态”向“平移或俯仰状态”的第3转移条件(步骤S23)。也即，判断是否满足全体运动矢量Vn的方向为同一个方向的帧连续，且该在同一方向连续的所有运动矢量Vn的积分值，为画角(剪切框的图像尺寸)的20％以上这一条件。在满足上述第3转移条件的情况下，判断为“平移或俯仰状态”，也即判断从“手抖动状态”转移到“平移或俯仰状态”，置位Flag(Flag＝1)(步骤S25)。之后，进入图10的步骤S14。
在不满足上述第3转移条件的情况下，判断为“手抖动状态”，复位Flag(Flag＝0)(步骤S24)。之后，进入图10的步骤S14。
图12表示图10的步骤S12的第2状态判断处理的顺序。
首先，判断是否满足从“平移或俯仰状态”向“手抖动状态”的第1转移条件(步骤S31)。也即，判断是否满足全体运动矢量Vn为0.5像素以下的帧连续，且该连续次数(连续帧数)为10以上这一条件。在满足上述第1条件的情况下，判断为“手抖动状态”，也即判断从“平移或俯仰状态”转移到“手抖动状态”，将衰减中心C设定为当前帧的积分矢量Sn之后(步骤S34)，复位Flag(Flag＝0)(步骤S35)。之后，进入图10的步骤S14。
在不满足上述第1转移条件的情况下，判断是否满足从“平移或俯仰状态”向“手抖动状态”的第2转移条件(步骤S32)。也即，判断是否满足全体运动矢量Vn的方向，与从“手抖动状态”向“平移或俯仰状态”转移时的全体运动矢量Vn的方向相反的方向的帧连续，且该连续次数为10以上这一条件。在满足上述第2转移条件的情况下，判断为“手抖动状态”，也即判断从“平移或俯仰状态”转移到“手抖动状态”，将衰减中心C设定为当前帧的积分矢量Sn之后(步骤S34)，复位Flag(Flag＝0)(步骤S35)。之后，进入图10的步骤S14。
在不满足上述第2转移条件的情况下，判断为“平移或俯仰状态”，置位Flag(Flag＝1)(步骤S33)。之后，进入图10的步骤S14。
像这样进行动作的摄像机10中，以往在平移或俯仰操作时，粘滞(stick)感显著的光学广角侧(缩放倍率小)，积分矢量的衰减系数K变小。因此，光学广角侧中，由于低频带的晃动的校正程度较弱，因此，即使例如在平移·俯仰状态的检测失败的情况下，在平移·俯仰操作开始时的摄像机的运动的若干部分没有被校正而残留，因此减轻了粘滞感。
所以，与以往相比，能够提高光学广角侧的操作性(减轻一顿一顿的动作)，得到在全缩放区域内都具有良好的操作性的手抖动校正。
另外，在从“平移或俯仰状态”转移到“手抖动状态”时，衰减中心C移动到现在的图像剪切位置，之后，在“手抖动状态”下，衰减中心C徐徐向帧存储器15的中心靠近。因此，能够消除像以往那样的、在平移或俯仰结束之后，图像剪切位置急剧向心，从而看不到图像这一问题。另外，“平移或俯仰状态”中，没有进行手抖动校正，因此，没有对平移或俯仰时的操作性的不良影响。
下面对这一点进行详细说明。图13a～图13c，表示在根据上述式(1)计算出积分矢量Sn的以往的方法中，从“平移或俯仰状态”向“手抖动状态”转移之后经过了两帧的积分矢量S0～S2的变化。
如图13a所示，设从“平移或俯仰状态”转移到“手抖动状态”时的积分矢量为S0，下一帧的运动矢量为V1，再下一帧的运动矢量为V2，则1帧之后的积分矢量S1如图13b所示，为S1＝K·S0+V1。同样，两帧后的积分矢量S2，如图13c所示，为S2＝K·S1+V2。
图14a～图14d，表示本发明的方法中，从“平移或俯仰状态”向“手抖动状态”转移之后经过了3帧的积分矢量S0～S3的变化。
如图14a所示，设从“平移或俯仰状态”转移到“手抖动状态”时的积分矢量为S0，衰减中心C为C0，下一帧的运动矢量为V1，再下一帧的运动矢量为V2，接着下一帧的运动矢量为V3，则1帧之后的积分矢量S1如图14b所示，由于C0＝S0，因此S1＝K·(S0-S0)+V1+S0＝V1+S0。
接下来，两帧后的积分矢量S2如图14c所示，为S2＝K·(S1-C1)+V2+C1。其中，C1为通过C1＝Kc·C0求得的新的衰减中心。同样，3帧后的积分矢量S3如图14d所示，为S3＝K·(S2-C2)+V3+C2。其中，C2为通过C2＝Kc·C1求得的新衰减中心。
以往的方法中，如图13a～图13c所示，以点O为中心的积分矢量Sn通过衰减系数K进行衰减。另外，本发明的方法中，如图14a～图14d所示，以点Cn为中心的从点Cn开始的积分矢量(Sn-Cn)通过衰减系数K进行衰减。这意味着，以往的方法中，以开始帧为基准，通过衰减系数K来进行手抖动校正，与此相对，本发明的方法中，以平移或俯仰状态结束时的帧为基准，通过衰减系数K进行手抖动校正。
因此，以往的方法中，积分矢量的衰减系数K越小，Sn被直接衰减，其变化量ΔSn越大，构图的变化较明显，而本发明的方法中，即使积分矢量的衰减系数K较小，由于只加快了Sn-Cn的衰减速度、也即Sn靠近Cn的速度，Sn的变化速度ΔSn基本上依赖于Cn的变化量、也即Sn的变化速度ΔSn在很大程度上依赖于衰减中心的衰减系数Kc，而几乎不依赖于积分矢量的衰减系数K。因此，本发明的方法中，能够与手抖动的晃动频率特性独立，将Sn的变化速度，也即剪切框(图像剪切位置)的向心速度调节为所期望的值。
图15中表示向左平移摄像机之后，固定摄像机时的剪切框与构图的变化。
以往的方法中，在平移操作初期，由于判断为“手抖动状态”，因此，如图15(a)～(b)所示，对应于照相机的移动来移动剪切框100。此时，由于手抖动校正根据Sn＝K·Sn-1+Vn进行，因此构图几乎没有变化。
之后，如图15(b)所示，如果剪切框100到达帧存储器端部，则如图15(c)所示，之后的帧中将剪切框100固定在帧存储器的端部。如果将剪切框100固定在帧存储器的端部，则由于实际上没有进行手抖动校正，因此构图变化了照相机的移动量。如果该状态连续10次则判断从“手抖动状态”转移到“平移或俯仰状态”，变为固定剪切框100的状态(Sn＝Sn-1)。这种情况下，如图15(d)所示，构图只变化照相机的移动量。
之后，如果照相机固定，则构图不发生变化，判断从“平移或俯仰状态”转移到“手抖动状态”。由于Vn＝0，因此，如图15(e)～(f)所示，通过Sn＝K·Sn-1来移动剪切框100。设积分矢量的衰减系数K为0.9，如果从“平移或俯仰状态”向“手抖动状态”的转移时的Sn为64像素，则其移动速度ΔSn为6.4像素/帧。
从上述“平移或俯仰状态”向“手抖动状态”的转移时刻开始的经过时间(帧数)与剪切框(构图)的位置之间的关系如图16所示。例如，从“平移或俯仰状态”转移到“手抖动状态”之后，1秒(30帧)的构图变化量为58像素，虽然照相机停止了但构图仍大幅变化，因此成像非常不自然。
另外，本发明的方法中，在平移操作的初期，由于判断为“手抖动状态”，因此，如图15(a)～(b)所示，对应于照相机的移动来移动剪切框100。此时，由于衰减中心的初始值为0，因此手抖动校正和以往一样，根据Sn＝K·Sn-1+Vn进行，因此构图几乎没有变化。
之后，如图15(b)所示，如果剪切框100到达帧存储器端部，则如图15(c)所示，之后的帧中将切割框100固定在帧存储器的端部。如果将剪切框100固定在帧存储器的端部，则由于实际上没有进行手抖动校正，因此构图变化了照相机的移动量。如果该状态连续10次则判断从“手抖动状态”转移到“平移或俯仰状态”，变为固定剪切框100的状态(Sn＝Sn-1)。这种情况下，如图15(d)所示，构图只变化照相机的移动量。
之后，如果照相机固定，则构图不发生变化，判断从“平移或俯仰状态”转移到“手抖动状态”。由于Vn＝0，因此，如图15(e’)～(f’)所示，根据Sn＝K·(Sn-1-C)+C(其中，通过C＝Kc·C来更新)，来移动剪切框100。设积分矢量的衰减系数K为0.9，衰减中心的衰减系数Kc为0.98，如果从“平移或俯仰状态”向“手抖动状态”转移时的Sn(＝C)为64像素，则其移动速度ΔSn＝ΔC＝1.28像素/帧。
从上述“平移或俯仰状态”向“手抖动状态”的转移时刻开始的经过时间(帧数)与剪切框(构图)的位置之间的关系如图17所示。例如，从“平移或俯仰状态”转移到“手抖动状态”之后，1秒期间(30帧)的构图变化量为20像素，由于照相机固定之后，构图缓缓变化，因此与以往方法相比，没有成像的不协调感。
图18a～图18d表示摄像机10的实际的状态从手抖动状态-＞平移状态-＞固体状态变化的情况下的、帧数与摄像机10的显示图像(构图)的移动量之间的关系。
图18a表示没有进行手抖动校正的情况下的构图的移动量，图18b为在根据上述式(1)所计算出的积分矢量Sn的现有技术中，设衰减系数K为0.9来进行手抖动校正的情况(称作第1现有技术)的构图的移动量，图18c为在根据上述式(1)所计算出的积分矢量Sn的现有技术中，设衰减系数K为0.98来进行手抖动校正的情况(称作第2现有技术)的构图的移动量，图18d为通过本实施例进行手抖动校正的情况(为了方便起见而将积分矢量的衰减系数K设为0.9，将衰减中心的衰减系数Kc设为0.98的情况)的构图的移动量。
如期间T1所示，在实际的状态为手抖动状态的情况下，在摄像机10中也判断为“手抖动状态”，在现有技术(图18b、图18c)以及本实施例中都进行手抖动校正。
之后，如期间T2所示，如果实际的状态从手抖动状态向平移状态变化，则变化后起初也判断为“手抖动状态”，因此进行手抖动校正。之后，满足从“手抖动状态”向“平移或俯仰状态”的第1转移条件、第2转移条件或第3转移条件中的任一个条件，摄像机10的判断结果从“手抖动状态”向“平移或俯仰状态”转移。其结果是，不进行手抖动校正，校正后的构图的运动，与不进行手抖动校正的情况相同。
在实际的状态从手抖动状态变化为平移状态之后，在摄像机10的判断结果从“手抖动状态”向“平移或俯仰状态”转移的期间内，第2现有技术(图18c)中衰减系数K较大，由于强有力校正了甚至低频成分的晃动，因此，画面不向希望的方向移动的现象(粘滞现象)变得显著。另外，在第1现有技术(图18b)以及本实施例(图18d)中衰减系数K较小，对低频成分的晃动的校正的程度较弱，因此减轻了粘滞现象。
之后，如期间T3所示，如果实际的状态从平移状态变化为固定状态，则满足从“平移或俯仰状态”向“手抖动状态”的第1转移条件或第2转移条件中的任一个条件，摄像机10的判断结果从“平移或俯仰状态”向“手抖动状态”转移。
如果从“平移或俯仰状态”向“手抖动状态”转移，在现有技术中则通过积分矢量的衰减系数K让图像剪切位置向心移动，而本实施例中，主要通过衰减中心C的衰减系数Kc来让图像剪切位置向心移动。第1现有技术(图18b)中，由于积分矢量的衰减系数K较小，因此图像剪切位置的向心速度较快，构图急剧变化。另外，第2现有技术(图18c)中，积分矢量的衰减系数K较大，本实施例(图18d)中，衰减中心C的衰减系数Kc较大，因此图像剪切位置向心移动速度较慢，构图缓慢变化。
也即，现有技术中，由于1个衰减系数K兼具要校正的晃动频率特性与向心速度，因此无法同时降低平移开始时的粘滞感与平移结束时的向心移动的显著性，而本实施例的摄像机10，能够通过让要校正的晃动频率特性与向心速度独立的衰减系数来进行调整，因此，能够同时降低在平移开始时的粘滞感与平移结束后的向心移动的显著性。
另外，运动矢量除了用代表点匹配法求出之外，例如也可以使用角速度传感器来求出。另外，手抖动校正除了控制图像存储器的剪切位置以外，例如还能够控制镜头角度、镜头位置或受光元件的位置。
另外，上述实施例中，积分矢量的衰减系数K对应于缩放倍率(焦距F)进行变化，但也可以固定积分矢量的衰减系数K。
另外，上述实施例中，在图10的步骤S9中根据上述式(3)计算出积分矢量Sn之后，在图10的步骤S10中根据上述式(4)来更新衰减中心C，但也可以不更新衰减中心C。也即，可以省略图10的步骤S10。这种情况下，衰减中心C的初始值为0，但如图12的步骤S34所示，在从“平移或俯仰状态”向“手抖动状态”转移时，设定为C＝Sn。在省略图10的步骤S10的情况下，图像剪切位置向衰减中心C收敛。

Claims (10)

1.一种手抖动校正装置，其特征在于，具备：
晃动检测机构，其对图像的晃动进行检测；以及
校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及晃动量的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性和晃动量的衰减中心可变。
2.一种手抖动校正装置，其特征在于，
具备：晃动检测机构，其对图像的晃动进行检测；以及
校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使校正位置向校正前的初始位置移动的向心速度的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性、和使校正位置向校正前的初始位置移动的向心速度可变，
校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
3.一种手抖动校正装置，其特征在于，
具备：晃动检测机构，其对图像的晃动进行检测；
状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；
第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使校正位置向校正前的初始位置移动的向心速度的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性、和使校正位置向校正前的初始位置移动的向心速度可变；
第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于计算校正位置的校正量，作为1帧前的校正量；以及
在由状态判断机构检测出从拍摄者有意的照相机运动所引起的晃动状态变化为手抖动状态时，将衰减中心设定为对应于此时的校正量的校正位置的机构，
第1校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
4.一种手抖动校正装置，其特征在于，
具备：晃动检测机构，其对图像的晃动进行检测；以及
校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使图像剪切位置向摄像图像的中心移动的向心速度的衰减中心，生成校正量，其为用于计算出图像剪切位置的校正量，并且对晃动频率的校正残留率特性、和使图像剪切位置向摄影图像的中心移动的向心速度可变，
校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
5.一种手抖动校正装置，其特征在于，
具备：晃动检测机构，其对图像的晃动进行检测；
状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；
第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使图像剪切位置向摄像图像的中心移动的向心速度的衰减中心，生成校正量，其为用于计算出图像剪切位置的校正量，并且对晃动频率的校正残留率特性、和使图像剪切位置向摄影图像的中心移动的向心速度可变；
第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于计算图像剪切位置的校正量，作为1帧前的校正量；以及
在由状态判断机构检测出从拍摄者有意的照相机运动所引起的晃动状态变化为手抖动状态时，将衰减中心设定为对应于此时的校正量的图像剪切位置的机构，
第1校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
6.一种摄像机器，其特征在于，具备：
晃动检测机构，其对图像的晃动进行检测；以及
校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及晃动量的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性和晃动量的衰减中心可变。
7.一种摄像机器，其特征在于，
具备：晃动检测机构，其对图像的晃动进行检测；以及
校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使校正位置向校正前的初始位置移动的向心速度的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性、和使校正位置向校正前的初始位置移动的向心速度可变，
校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
8.一种摄像机器，其特征在于，
具备：晃动检测机构，其对图像的晃动进行检测；
状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；
第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使校正位置向校正前的初始位置移动的向心速度的衰减中心，生成校正量，其为用于计算出校正位置的校正量，并且对晃动频率的校正残留率特性、和使校正位置向校正前的初始位置移动的向心速度可变；
第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于计算校正位置的校正量，作为1帧前的校正量；以及
在由状态判断机构检测出从拍摄者有意的照相机运动所引起的晃动状态变化为手抖动状态时，将衰减中心设定为对应于此时的校正量的校正位置的机构，
第1校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
9.一种摄像机器，其特征在于，
具备：晃动检测机构，其对图像的晃动进行检测；
校正量生成机构，其根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使图像剪切位置向摄像图像的中心移动的向心速度的衰减中心，生成校正量，其为用于计算出图像剪切位置的校正量，并且对晃动频率的校正残留率特性、和使图像剪切位置向摄影图像的中心移动的向心速度可变，
校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
10.一种摄像机器，其特征在于，
具备：晃动检测机构，其对图像的晃动进行检测；
状态判断机构，其对拍摄者有意的照相机运动所引起的晃动状态和手抖动状态进行判断；
第1校正量生成机构，其在由状态判断机构判断为手抖动状态时，根据由晃动检测机构所检测出的晃动量、用于控制对晃动频率的校正残留率特性的晃动量的衰减系数、以及用于控制使图像剪切位置向摄像图像的中心移动的向心速度的衰减中心，生成校正量，其为用于计算出图像剪切位置的校正量，并且对晃动频率的校正残留率特性、和使图像剪切位置向摄影图像的中心移动的向心速度可变；
第2校正量生成机构，其在由状态判断机构判断为拍摄者有意的照相机运动所引起的晃动状态时，将用于计算图像剪切位置的校正量，作为1帧前的校正量；以及
在由状态判断机构检测出从拍摄者有意的照相机运动所引起的晃动状态变化为手抖动状态时，将衰减中心设定为对应于此时的校正量的图像剪切位置的机构，
第1校正量生成机构，具备根据预先设定的衰减中心的衰减系数，来更新衰减中心的机构。
CNB2005100990267A 2004-08-31 2005-08-31 手抖动校正装置以及摄像机器 Expired - Fee Related CN100568921C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004253417 2004-08-31
JP2004253417 2004-08-31
JP2005227770A JP4404822B2 (ja) 2004-08-31 2005-08-05 手ぶれ補正装置および撮像機器
JP2005227770 2005-08-05

Publications (2)

Publication Number Publication Date
CN1744668A true CN1744668A (zh) 2006-03-08
CN100568921C CN100568921C (zh) 2009-12-09

Family

ID=35431341

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100990267A Expired - Fee Related CN100568921C (zh) 2004-08-31 2005-08-31 手抖动校正装置以及摄像机器

Country Status (6)

Country Link
US (2) US7623153B2 (zh)
EP (1) EP1631062A3 (zh)
JP (1) JP4404822B2 (zh)
KR (1) KR100655846B1 (zh)
CN (1) CN100568921C (zh)
TW (1) TWI279131B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101317445B (zh) * 2006-02-20 2011-02-09 松下电器产业株式会社 摄像装置和摄像装置本体
CN102209233A (zh) * 2010-03-30 2011-10-05 索尼公司 运动对象检测设备、运动对象检测方法和程序
CN101753845B (zh) * 2008-12-19 2012-07-25 佳能株式会社 摄像设备
WO2018205902A1 (zh) * 2017-05-09 2018-11-15 杭州海康威视数字技术股份有限公司 防抖控制方法和装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
TWI271998B (en) * 2005-09-21 2007-01-21 Inventec Appliances Corp Image processing method and apparatus thereof
JP4952891B2 (ja) * 2006-05-08 2012-06-13 カシオ計算機株式会社 動画撮影装置および動画撮影プログラム
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
JP4201809B2 (ja) 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
US7773118B2 (en) * 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
TWI367026B (en) * 2007-03-28 2012-06-21 Quanta Comp Inc Method and apparatus for image stabilization
JP2008270983A (ja) * 2007-04-17 2008-11-06 Sanyo Electric Co Ltd 手ぶれ補正装置及び手ぶれ補正方法
KR101392732B1 (ko) * 2007-08-20 2014-05-08 삼성전자주식회사 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
JP2009069618A (ja) * 2007-09-14 2009-04-02 Canon Inc 撮像装置、制御プログラムおよび記録媒体
US7800652B2 (en) * 2007-12-12 2010-09-21 Cyberlink Corp. Reducing video shaking
KR100958369B1 (ko) * 2008-02-01 2010-05-17 유창산업기계(주) 손떨림 보정 기능이 구비된 영상촬영장치
JP4513871B2 (ja) * 2008-02-15 2010-07-28 ソニー株式会社 画像処理方法、画像処理プログラムおよび画像処理装置
JP5213493B2 (ja) * 2008-03-26 2013-06-19 三洋電機株式会社 動き検出装置
JP5268433B2 (ja) * 2008-06-02 2013-08-21 キヤノン株式会社 撮像装置、及び撮像装置の制御方法
JP5448800B2 (ja) 2009-12-25 2014-03-19 キヤノン株式会社 撮像装置及びその制御手段
JP5501119B2 (ja) * 2010-06-29 2014-05-21 キヤノン株式会社 撮像装置およびその制御方法
US8797414B2 (en) * 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
JP5699806B2 (ja) * 2011-05-27 2015-04-15 株式会社ニコン 撮像装置
US8890962B2 (en) * 2011-12-06 2014-11-18 Cisco Technology, Inc. Systems and methods for performing gyroscopic image stabilization
KR101657525B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
US10142598B2 (en) * 2014-05-30 2018-11-27 Sony Corporation Wearable terminal device, photographing system, and photographing method
US9392174B2 (en) * 2014-12-11 2016-07-12 Facebook, Inc. Systems and methods for time-lapse selection subsequent to capturing media content
US20170085740A1 (en) * 2015-05-21 2017-03-23 InvenSense, Incorporated Systems and methods for storing images and sensor data
JP6564284B2 (ja) * 2015-09-04 2019-08-21 キヤノン株式会社 画像処理装置および画像処理方法
KR101891262B1 (ko) * 2016-11-29 2018-08-24 박병섭 휴대용 개인건강 관리장치
US20190297265A1 (en) * 2018-03-21 2019-09-26 Sawah Innovations Inc. User-feedback video stabilization device and method
US10587807B2 (en) 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10432864B1 (en) 2018-09-19 2019-10-01 Gopro, Inc. Systems and methods for stabilizing videos
DE102022112743B4 (de) 2022-05-20 2024-02-01 Audi Aktiengesellschaft Verfahren zur Verbesserung der Qualität einer Audio- und/oder Videoaufzeichnung sowie Steuervorrichtung für ein mobiles Endgerät

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61201581A (ja) 1985-03-04 1986-09-06 Toshiba Corp 動きベクトル検出装置
JP2563567B2 (ja) * 1989-03-20 1996-12-11 松下電器産業株式会社 揺れ補正装置
JPH04207481A (ja) * 1990-11-30 1992-07-29 Canon Inc 動き検出装置
JP2792768B2 (ja) 1991-09-25 1998-09-03 シャープ株式会社 撮像装置
JPH05103253A (ja) 1991-10-11 1993-04-23 Matsushita Electric Ind Co Ltd ビデオカメラ
US5371539A (en) * 1991-10-18 1994-12-06 Sanyo Electric Co., Ltd. Video camera with electronic picture stabilizer
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
JP2957851B2 (ja) 1993-06-29 1999-10-06 三洋電機株式会社 手振れ補正方法
KR100319034B1 (ko) * 1993-06-29 2002-03-21 다카노 야스아키 손흔들림보정장치를가진비디오카메라
JPH07123317A (ja) * 1993-10-21 1995-05-12 Canon Inc 防振機能付き撮影装置
JP3208264B2 (ja) 1994-11-24 2001-09-10 三洋電機株式会社 手振れ補正装置およびそれを用いたビデオカメラ
JP2902966B2 (ja) * 1994-12-16 1999-06-07 三洋電機株式会社 手振れ補正装置およびそれを用いたビデオカメラ
US5959666A (en) * 1995-05-30 1999-09-28 Sony Corporation Hand deviation correction apparatus and video camera
JP3538965B2 (ja) 1995-05-30 2004-06-14 ソニー株式会社 手振れ補正装置及び方法並びに手振れ補正処理装置及び方法
JPH09261530A (ja) * 1996-03-19 1997-10-03 Toshiba Corp 映像記録装置
JP2002296633A (ja) 2001-03-30 2002-10-09 Ricoh Co Ltd 撮像装置およびその手ぶれ補正方法
JP3829773B2 (ja) 2002-07-22 2006-10-04 コニカミノルタフォトイメージング株式会社 撮像装置およびセンタリング情報取得方法
DE10348567A1 (de) * 2002-10-22 2004-05-13 Fuji Photo Optical Co. Ltd. Bildunschärfekorrektureinrichtung
JP2004241922A (ja) 2003-02-04 2004-08-26 Minolta Co Ltd 撮像装置
JP4187704B2 (ja) 2004-08-31 2008-11-26 三洋電機株式会社 手ぶれ補正装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101317445B (zh) * 2006-02-20 2011-02-09 松下电器产业株式会社 摄像装置和摄像装置本体
CN101753845B (zh) * 2008-12-19 2012-07-25 佳能株式会社 摄像设备
CN102209233A (zh) * 2010-03-30 2011-10-05 索尼公司 运动对象检测设备、运动对象检测方法和程序
WO2018205902A1 (zh) * 2017-05-09 2018-11-15 杭州海康威视数字技术股份有限公司 防抖控制方法和装置
CN108881703A (zh) * 2017-05-09 2018-11-23 杭州海康威视数字技术股份有限公司 防抖控制方法和装置
CN108881703B (zh) * 2017-05-09 2020-07-21 杭州海康威视数字技术股份有限公司 防抖控制方法和装置

Also Published As

Publication number Publication date
CN100568921C (zh) 2009-12-09
KR20060050795A (ko) 2006-05-19
KR100655846B1 (ko) 2006-12-11
EP1631062A3 (en) 2009-10-21
JP2006101485A (ja) 2006-04-13
US20060044404A1 (en) 2006-03-02
US20090251547A1 (en) 2009-10-08
EP1631062A2 (en) 2006-03-01
TW200618619A (en) 2006-06-01
US7633525B2 (en) 2009-12-15
US7623153B2 (en) 2009-11-24
JP4404822B2 (ja) 2010-01-27
TWI279131B (en) 2007-04-11

Similar Documents

Publication Publication Date Title
CN1744668A (zh) 手抖动校正装置以及摄像机器
CN1744671A (zh) 手抖动校正装置
US8587671B2 (en) Digital image processing apparatus, an image processing method, and a recording medium storing the image processing method for obtaining an out-of-focus image by using a plurality of images
KR101322291B1 (ko) 촬상장치 및 그 제어 방법
CN1601368A (zh) 图像处理系统、投影机以及图像处理方法
US10694109B2 (en) Imaging apparatus
CN1725811A (zh) 摄像装置和图像恢复方法
CN1577048A (zh) 图像处理系统、投影机及图像处理方法
CN1725808A (zh) 摄像装置和图像恢复方法
CN1815350A (zh) 投影机和曝光调整方法
CN101031033A (zh) 摄像装置以及摄像方法
CN101031032A (zh) 图像拾取设备、曝光控制方法、及计算机程序
CN1825194A (zh) 投影仪和处理行决定方法
CN1800962A (zh) 投影控制系统、投影机及投影控制方法
CN1838737A (zh) 帧速率变换装置、摇摄·倾斜判断装置及视频装置
US8860874B2 (en) Imaging sensing device, image sensing processing device, and image processing method
CN1612032A (zh) 图像投影装置
CN1848920A (zh) 自动焦点调节装置和焦点调节方法
JP6028928B2 (ja) 撮像装置及び撮像方法
JP2017003830A (ja) 撮像装置、撮像方法およびプログラム
CN1292582C (zh) 数码照像机
CN1598681A (zh) 具有像抖动补偿功能的光学仪器
CN100337465C (zh) 图像拾取装置和成像方法
JP2007173966A (ja) 撮像装置及びその画像データ処理方法
CN1727987A (zh) 投影机和投影机的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: XACTI CO., LTD.

Free format text: FORMER OWNER: SANYO ELECTRIC CO., LTD.

Effective date: 20140822

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140822

Address after: Japan Osaka

Patentee after: Hyun Hyun Lee

Address before: Japan Osaka

Patentee before: Sanyo Electric Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091209

Termination date: 20140831

EXPY Termination of patent right or utility model