CN106998425B - 振动检测设备、振动检测方法和摄像设备 - Google Patents

振动检测设备、振动检测方法和摄像设备 Download PDF

Info

Publication number
CN106998425B
CN106998425B CN201710060746.5A CN201710060746A CN106998425B CN 106998425 B CN106998425 B CN 106998425B CN 201710060746 A CN201710060746 A CN 201710060746A CN 106998425 B CN106998425 B CN 106998425B
Authority
CN
China
Prior art keywords
angular velocity
vector
vibration detection
image
main object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710060746.5A
Other languages
English (en)
Other versions
CN106998425A (zh
Inventor
宫泽仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN106998425A publication Critical patent/CN106998425A/zh
Application granted granted Critical
Publication of CN106998425B publication Critical patent/CN106998425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明涉及振动检测设备、振动检测方法和摄像设备。该振动检测设备包括:提取单元,用于从多个运动矢量中提取存在于基于振动的角速度所确定出的范围以外的运动矢量作为被摄体矢量,并且输出所提取到的被摄体矢量的平均值,其中,所述多个运动矢量是针对图像中所设置的预定区域的、从图像传感器所输出的图像的帧之间的差而获得的;以及获取单元,用于在摇摄中,在所述提取单元提取了被摄体矢量的情况下,基于平均值和角速度获得校正单元的校正量。在角速度小于预定阈值的情况下,提取单元将范围设置得比在角速度大于或等于阈值的情况下更窄。

Description

振动检测设备、振动检测方法和摄像设备
技术领域
本发明涉及振动检测设备、振动检测方法和摄像设备。
背景技术
摇摄是一种照相机拍摄方法。摇摄是通过使照相机跟随移动被摄体来进行拍摄的方法,通常,以慢快门速度来进行拍摄以产生被摄体的动态感觉。
然而,在平摇照相机以适当地跟随被摄体(例如,以60km/h移动的火车)的情况下以慢快门速度(例如,1/30s)拍摄该被摄体,这是需要经验的。特别地,初学者难以在采用慢快门速度的曝光期间,将照相机的平摇速度调整为被摄体的速度,因此,摇摄是有难度的拍摄方法。
在日本特开2006-317848中,公开了如下方法:检测被摄体速度和照相机的平摇速度之间的差,并且使用图像稳定功能来校正与该差相对应的移位量,以易于实现摇摄。在该方法中,照相机中的角速度传感器紧挨在拍摄之前针对跟随被摄体的照相机的平摇(或俯仰)检测角速度。同时检测主被摄体图像在摄像面上的移动量。根据所检测到的平摇速度和被摄体图像在摄像面上的移动量来计算被摄体的角速度。然后,根据主被摄体的角速度和照相机中的角速度传感器的输出之间的所计算出的差量,在曝光期间进行图像稳定操作。因此,可以校正主被摄体速度和照相机的平摇速度之间的差(被摄体振动量)以及照相机抖动量,并且可以由此限制作为摇摄的对象的主被摄体的图像模糊。
此外,为用于检测画面中的移动的技术,已知使用运动矢量来检测图像的运动的方法,并且作为运动矢量的检测方法,已知基于相关操作的相关方法和块匹配方法等。在块匹配方法中,所输入的图像信号被分割成各自具有适当大小的多个块,并且针对各块计算相对于先前帧的特定范围内的像素的差。然后,搜索先前帧中的该差的绝对值的总和最小的块。各块和搜索到的相应块的帧之间的相对移位表示该块的运动矢量。
此外,在日本特开2015-161730中,公开了一种用于提高被摄体矢量的检测精度的方法,该方法使用从运动矢量中检测出的帧中的矢量和检测施加至照相机的振动的角速度传感器等这两者。在该方法中,将帧中的矢量与从角速度转换而来的摄像面上的摄像面移动量进行比较,将摄像面移动量附近的矢量确定为背景矢量,并且将与摄像面移动量分离大于或等于特定量的量的矢量确定为被摄体矢量。
然而,在诸如对缓慢移动被摄体进行摇摄等的拍摄场景中,由于跟踪被摄体时的平摇速度低,因此角速度的输出变小,并且被摄体矢量和背景矢量之间的差减小。结果,几乎所有矢量均被错误地检测为被摄体矢量,并且无法进行被摄体矢量的精确检测。
发明内容
本发明是考虑到以上状况而作出的,更精确地检测帧中的主被摄体的运动矢量,并且提高了图像稳定的精度。
根据本发明,提供一种振动检测设备,其特征在于,包括:提取单元,用于从第一振动检测单元所检测到的多个运动矢量中,提取存在于基于第二振动检测单元所检测到的角速度而确定的范围以外的运动矢量作为表示被摄体的移动的被摄体矢量,并且输出所提取出的被摄体矢量的平均值,其中,所述第一振动检测单元用于根据图像传感器所输出的图像的帧之间的差、分别针对所述图像中所设置的多个预定区域来获得并输出运动矢量,以及所述第二振动检测单元用于检测振动的角速度;以及获取单元,用于在摇摄中,在所述提取单元提取出所述被摄体矢量的情况下,基于所述平均值和所述角速度来获得用于光学地校正振动的校正单元的校正量,其中,与所述角速度大于或等于第一阈值的情况相比,在所述角速度小于所述第一阈值的情况下,所述提取单元将所述范围设置得较窄。
此外,根据本发明,提供一种摄像设备,其特征在于,包括:振动检测设备,其包括:提取单元,用于从第一振动检测单元所检测到的多个运动矢量中,提取存在于基于第二振动检测单元所检测到的角速度而确定的范围以外的运动矢量作为表示被摄体的移动的被摄体矢量,并且输出所提取出的被摄体矢量的平均值,其中,所述第一振动检测单元用于根据图像传感器所输出的图像的帧之间的差、分别针对所述图像中所设置的多个预定区域来获得并输出运动矢量,以及所述第二振动检测单元用于检测振动的角速度,以及获取单元,用于在摇摄中,在所述提取单元提取出所述被摄体矢量的情况下,基于所述平均值和所述角速度来获得用于光学地校正振动的校正单元的校正量,其中,与所述角速度大于或等于第一阈值的情况相比,在所述角速度小于所述第一阈值的情况下,所述提取单元将所述范围设置得较窄;以及所述图像传感器,其中,所述摄像设备能够相对于包括所述校正单元的摄像光学系统进行安装或拆卸。
此外,根据本发明,提供一种摄像设备,其特征在于,包括:振动检测设备,其包括:提取单元,用于从第一振动检测单元所检测到的多个运动矢量中,提取存在于基于第二振动检测单元所检测到的角速度而确定的范围以外的运动矢量作为表示被摄体的移动的被摄体矢量,并且输出所提取出的被摄体矢量的平均值,其中,所述第一振动检测单元用于根据图像传感器所输出的图像的帧之间的差、分别针对所述图像中所设置的多个预定区域来获得并输出运动矢量,以及所述第二振动检测单元用于检测振动的角速度,以及获取单元,用于在摇摄中,在所述提取单元提取出所述被摄体矢量的情况下,基于所述平均值和所述角速度来获得用于光学地校正振动的校正单元的校正量,其中,与所述角速度大于或等于第一阈值的情况相比,在所述角速度小于所述第一阈值的情况下,所述提取单元将所述范围设置得较窄;所述图像传感器;以及所述校正单元,用于基于校正量来光学地校正振动。
此外,根据本发明,提供一种振动检测方法,其特征在于,包括以下步骤:提取步骤,用于从第一振动检测单元所检测到的多个运动矢量中,提取存在于基于第二振动检测单元所检测到的角速度而确定的范围以外的运动矢量作为表示被摄体的移动的被摄体矢量,并且输出所提取出的被摄体矢量的平均值,其中,所述第一振动检测单元用于根据图像传感器所输出的图像的帧之间的差、分别针对所述图像中所设置的多个预定区域来获得并输出运动矢量,以及所述第二振动检测单元用于检测振动的角速度;以及在摇摄中,在所述提取步骤中提取出所述被摄体矢量的情况下,基于所述平均值和所述角速度来获得用于光学地校正振动的校正单元的校正量,其中,在所述提取步骤中,与所述角速度大于或等于第一阈值的情况相比,在所述角速度小于所述第一阈值的情况下,将所述范围设置得较窄。
通过以下(参考附图)对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
并入并构成本说明书的一部分的附图连同实施方式部分一起示出本发明的实施例,用于说明本发明的原理。
图1是示出根据本发明的实施例的图像稳定设备的功能结构的框图;
图2是示出根据实施例的运动矢量的检测块的示例性配置的图;
图3A~3C是用于说明根据实施例的运动矢量的直方图的图;
图4A和4B是用于说明根据实施例的用例的图;
图5是示出根据实施例的图像稳定处理的流程图;
图6是示出根据实施例的角速度和背景区域的阈值之间的关系的图。
具体实施方式
将根据附图详细说明本发明的典型实施例。注意,在以下说明中,将说明图像的横摆方向和俯仰方向其中一个方向上的图像稳定控制,并且另一方向上的图像稳定控制相同,因此将省略说明。
图1是示出用作本发明的图像稳定设备的示例的数字照相机中所安装的图像稳定设备100的结构的框图。此后,将具体说明图1中的图像稳定设备100中的构成单元及其示例性操作。
角速度检测单元102使用诸如陀螺仪传感器等的传感器来检测施加至照相机的作为角速度的照相机抖动量,将该角速度转换成电压,并且将该电压作为振动信号(角速度数据)而输出。从角速度校测单元102输出的角速度数据供给至μCOM 101中的高通滤波器(HPF)103。HPF 103具有改变任意频带中的滤波特性、使角速度数据中所包括的低频成分截止并输出高频成分信号的功能。注意,可以采用以下结构:取代HPF 103,从角速度检测单元102的输出中减去通过使角速度检测单元102的输出经过用于使高频成分信号截止的低通滤波器(LPF)而产生的信号。
增益/相位特性计算单元104包括放大器和相位补偿滤波器,其中,该放大器以预定增益对作为输入数据的HPF 103的输出进行放大。
焦距计算单元105根据示出数字照相机的未示出的摄像光学系统中所包括的变焦透镜的状态的变焦信息102来计算该摄像光学系统的焦距,并校正增益/相位特性计算单元104的输出以使得该输出具有用于驱动图像稳定单元112的适当的值。注意,摄像光学系统可以并入数字照相机中,或者可以可拆卸地安装于数字照相机。
另一方面,运动矢量检测单元116基于照相机中所包括的未示出的信号处理单元所产生的当前视频信号中所包括的亮度信号以及先前帧的视频信号中所包括的亮度信号,来检测图像的运动矢量。运动矢量检测单元116所检测到的运动矢量供给至被摄体矢量检测单元117。
此外,被摄体矢量检测单元117接收摄像面上的摄像面移动量,其中,该摄像面移动量是通过对偏移消除单元115从角速度检测单元102的输出中消除了偏移成分的角速度进行转换而得到的。被摄体矢量检测单元117使用所接收到的摄像面移动量将帧中的运动矢量分离成被摄体矢量和背景矢量。注意,偏移消除单元115可以使用照相机处于静止状态下的角速度检测单元102的平均值、或者通过将被摄体矢量检测单元117所检测到的先前帧的背景矢量转换成角速度而产生的值,作为偏移成分。
被摄体角速度计算单元118使用诸如变焦信息120中所包括的焦距和帧频等的信息,将作为被摄体矢量检测单元117的输出的被摄体矢量转换成被摄体角速度。减法器119从被摄体角速度计算单元118所计算出的被摄体角速度中减去作为偏移消除单元115的输出的图像稳定设备的角速度,即,计算被摄体和照相机之间的差角速度。
用于选择图像稳定单元112的目标信号的切换器106根据用于指定被摄体稳定校正或图像稳定的模式信息121在焦距计算单元105的输出和减法器119的输出之间切换。在模式信息121指定摇摄模式的情况下,切换器106将减法器119的输出信号供给至积分器107,并且进行后面将描述的校正被摄体的图像模糊的被摄体稳定。在模式信息121没有指定摇摄模式的情况下,切换器106将焦距计算单元105的输出供给至积分器107,并且进行校正整个图像的图像模糊的图像稳定。
这里,模式信息121在以下情况下指定摇摄模式。在用户选择了照相机中所设置的未示出的操作单元中所包括的拨盘的模式设置中所设置的摇摄模式的情况下,模式信息121指定摇摄模式。此外,可以通过将角速度检测单元102在横摆方向和俯仰方向上的输出进行比较来确定摇摄模式。在这种情况下,如果角速度检测单元102在一个轴上的输出大于角速度检测单元102在另一轴上的输出(例如,大10dps以上),则判断为处于平摇(或俯仰)状态,并且模式信息121指定摇摄模式。注意,对切换器106进行控制,以使得在即使处于摇摄模式也无法检测到后述的被摄体矢量的情况下,选择焦距计算单元105的输出。
积分器107具有改变任意频带中的特性的功能,其对切换器106的输出进行积分并且计算图像稳定单元112的驱动量。
减法器108从积分器107的输出中减去如下数据,并将减去得到的结果供给至控制器109,其中该数据是通过A/D转换器114进行转换、并且由此从表示从图像稳定系统位置检测单元113输出的图像稳定单元112的位置的信号进行数字化而得到的。
控制器109包括以预定增益放大输入数据的放大器以及相位补偿滤波器。控制器109中的放大器和相位补偿滤波器对从减法器108供给来的偏差数据进行信号处理,并将所得到的信号输出至脉冲宽度调制单元110。
脉冲宽度调制单元110将经由控制器109供给来的数据调制成脉冲波的占空比发生改变的波形(即,PWM波形),并且将该波形供给至图像稳定系统驱动单元111。
图像稳定系统驱动单元111是用于驱动图像稳定单元112的音圈型马达,并且作为由图像稳定系统驱动单元111进行驱动的结果,图像稳定单元112在与光轴正交的方向上移动。图像稳定系统位置检测单元113包括磁铁和设置在与该磁铁相对的位置的霍尔(Hall)传感器,检测图像稳定单元112在与光轴正交的方向上的移动量,并且将检测结果经由A/D转换器114供给至前述的减法器108。图像稳定单元112例如是移位透镜,并且是光轴作为在与光轴正交的方向上移动而发生移位的校正系统,并且可以光学地校正振动。可选地,数字照相机中所设置的未示出的图像传感器可以在与光轴正交的方向上移动。结果,由于设备的振动等而产生的被摄体在摄像面上的移动已经被校正的图像形成在图像传感器中。
这里,将说明被摄体矢量检测单元117中所进行的处理。图2示出摇摄中的拍摄场景的示例,并且在帧中配置纵向6个且横向10个(多个)运动矢量检测块201。在这种情况下,运动矢量检测单元116针对各帧输出60个矢量数据。
在图3A中示出60个矢量数据的直方图的示例。图3A中的横轴示出矢量的移动量,并且图3A中的纵轴示出频数。在画面中仅存在一个被摄体的情况下,如图2所示,直方图示出粗略分割的第一矢量组301和第二矢量组302这两个矢量组。在从直方图中判断出被摄体矢量的情况下,可以判断为移动量在0像素附近的第一矢量组301属于被摄体,并且移动量与0像素分离大于或等于特定值的量的第二矢量组302属于背景。然而,仅在用户适当地跟随被摄体的情况下矢量组存在于移动量的0像素附近。在用户不习惯摇摄的情况下,被摄体的移动的角速度和跟随被摄体的照相机的角速度之间的差增大。因此,由于第一矢量组301与0像素分离,因此变得难以判断第一矢量组301和第二矢量组301中的哪一个是被摄体矢量组、哪一个是背景矢量组。
因此,如图3B所示,将以摄像面移动量303为中心的背景区域的阈值304以内的范围内所存在的矢量确定为背景矢量候选,并且将以摄像面移动量303为中心的背景区域的阈值304以内的范围外所存在的矢量确定为被摄体矢量候选,其中,摄像面移动量303是通过对作为角速度检测单元102的输出的角速度进行转换而产生的。这里,使用以摄像面移动量303为中心的背景区域的阈值304的原因是,作为角速度检测单元102的输出的角速度是针对每帧的一个数据,而从运动矢量检测单元116输出的矢量数据的数量是每帧60个(例如,纵向6个且横向10个)。也就是说,是因为多数矢量被确定为被摄体矢量。优选背景区域的阈值304根据角速度检测单元102的输出而改变。将参考图4A和4B来说明原因。
图4A示出火车(移动速度快的被摄体)的摇摄的拍摄场景。此时,焦距例如是50mm,并且平摇角速度例如是40dps。在该拍摄场景中所获得的矢量数据的直方图如图3B所示。如果用户适当地跟随被摄体,则被摄体部分的第一矢量组301(被摄体矢量组)存在于0像素附近。背景部分的第二矢量组302(背景矢量组)存在于以从角速度检测单元102的输出获得的摄像面移动量303为中心的背景区域的阈值304(例如,±10像素)以内的区域中。
另一方面,图4B示出小孩(移动速度慢的被摄体)的摇摄的拍摄场景。此时,焦距例如是50mm,并且平摇角速度例如是5dps。在该拍摄场景中所获得的矢量数据的直方图如图3C所示。在背景区域的阈值304的值为恒定值的情况下,在用户适当地跟随被摄体并且平摇角速度低时,被摄体矢量组301和背景矢量组302存在于背景区域的阈值304以内的范围内。在这种情况下,错误地检测到被摄体矢量不存在,而事实上被摄体矢量存在。
因此,在本实施例中,通过根据角速度检测单元102的输出来改变摄像面移动量303为中心的背景区域的阈值304可取的值,即使在诸如如图4B所示的拍摄场景中,也可以更精确地检测被摄体矢量。
接着,将参考图5中的流程图来说明本实施例中的图像稳定处理。
首先,在步骤S501中判断是否启用了图像稳定功能。如果是,则处理进入步骤S502。如果禁用了图像稳定功能,则图像稳定单元112继续位于光学中心位置并且不进行图像稳定控制。在步骤S502中,基于如上所述的模式信息的判断值来判断模式是否是摇摄模式。如果模式是摇摄模式,则处理进入步骤S503,并且如果模式不是摇摄模式,则处理进入步骤S515。
在步骤S503中,运动矢量检测单元116检测一个帧的运动矢量。接着,在步骤S504中,从作为角速度检测单元102的输出的角速度中获取两个帧各自的曝光期间的重心之间的角速度的平均值。这里,获得曝光期间的重心之间的角速度的平均值的原因是,运动矢量检测单元116检测拍摄时间可以由曝光期间的重心来表示的帧之间的差矢量。因此,在后述步骤S507中根据运动矢量检测单元116的输出以及角速度检测单元102的输出产生摄像面上的摄像面移动量的直方图的情况下,两个单元可以同步。
在步骤S505中,从步骤S504中获得的曝光期间的重心之间的角速度的平均值中消除偏移成分。消除偏移成分的原因是,防止由于从角速度转换而来的偏移了与角速度的平均值的偏移相对应的量的摄像面移动量而在后述的被摄体矢量计算中错误地检测到被摄体矢量。在步骤S506中,使用帧频和焦距信息将在步骤S505中消除了偏移成分的曝光期间的重心之间的角速度的平均值转换成摄像面上的摄像面移动量。这里,将角速度信息转换成摄像面移动量的原因是,在后述的被摄体矢量的判断中要使用从角速度获得的摄像面移动量。
接着,在步骤S507中,根据步骤S503中所检测到的运动矢量产生直方图。如果运动矢量检测单元116所使用的检测块的数量的设置例如是纵向6个且横向10个,则产生由总共60个运动矢量构成的直方图。此外,使用S506中所计算出的摄像面上的摄像面移动量来产生直方图。这里,由于每一个帧所获得的角速度的数据的数量是1个,因此与摄像面上的摄像面移动量偏离±α被设置为背景区域的阈值。
在步骤S508中,判断角速度是否大于或等于预先设置的阈值β(例如,15dps),从而根据角速度的输出改变前述背景区域α的范围。如果角速度大于或等于阈值β,则处理进入步骤S509,并且如果角速度小于阈值β,则处理进入步骤S510。
在步骤S508中,如果判断为已经以大于或等于阈值β的角速度进行了平摇(或俯仰),则可知形成了如下的直方图:诸如图3B所示,形成了彼此分离特定量以上的第一矢量组301和第二矢量组302。因此,在步骤S509中,如图6所示,背景区域的阈值304的值被设置为值α1(例如,±10像素)。
另一方面,在步骤S508中,如果判断为已经以小于阈值β的角速度进行了平摇(或俯仰),则可知形成了如下的直方图:如图3C所示,形成了彼此靠近的第一矢量组301和第二矢量组302。因此,在步骤S510中,如图6所示,背景区域的阈值304的值被设置为值α2(例如,±3像素)。
注意,角速度的阈值β的数量在本实施例中设置为1,但该数量不限于此1,并且可以是2以上。此外,背景区域α的阈值的数量在本实施例中设置为2,但该数量不限于2,并且根据角速度的阈值β可以是3以上。
接着,在步骤S511中,判断是否可以提取被摄体矢量。如果可以提取被摄体矢量,则处理进入步骤S512,并且如果不能提取被摄体矢量,则处理进入步骤S516。注意,按以下方式进行关于是否可以提取被摄体矢量的判断。首先,在步骤S507中所产生的直方图中,判断为在步骤S509或步骤S510中所设置的背景区域的阈值304以内的矢量是背景矢量组的候选,并且背景区域的阈值304以外的矢量是被摄体矢量组的候选。然后,如果形成各矢量组的峰的矢量的频数大于或等于阈值(例如,5),则判断为已经正确地检测到矢量。在这种情况下,最终可以提取被摄体矢量和背景矢量。
如果在步骤S511中判断为可以提取被摄体矢量,则在步骤S512以后的处理中,计算针对图像稳定的校正信号。首先,提取被摄体矢量组,并且计算这些矢量的平均值。此后,将这些矢量的平均值称为“被摄体矢量”。接着,在步骤S513中,被摄体角速度计算单元118使用焦距和帧频将所计算出的被摄体矢量转换成角速度,并且减法器119从该角速度中减去作为偏移消除单元115的输出的图像稳定设备的角速度。在步骤S514中,对步骤S513中所计算出的被摄体角速度进行积分,并且获得针对被摄体稳定的校正信号(校正量)。
另一方面,在步骤S515中,由于没有处于摇摄模式,或者即使在摇摄模式中也无法检测到被摄体矢量,则从角速度检测单元102获取角速度以进行正常的图像稳定。注意,在步骤S515中,尽管在步骤S504中获取到曝光期间的重心之间的角速度的平均值,但代替曝光期间的重心之间的角速度的平均值,以固定的间断时间段(例如,以4kHz采样)获取角速度。
在步骤S516中,由于角速度检测单元102的输出包括直流成分,因此将输出输入至HPF 103,并且消除直流成分。接着,在步骤S517中,包括以预定增益放大的放大器和相位补偿滤波器的增益/相位特性计算单元104对HPF103的输出进行处理,使得消除了直流成分的角速度检测单元102的输出具有期望的频率特性。
在步骤S518中,焦距计算单元105计算摄像光学系统的焦距,并且校正增益/相位特性计算单元104的输出以使得该输出具有对于驱动图像稳定单元112而言最佳的值。在步骤S519中,对步骤S518中所获得的值进行积分,以计算针对图像稳定的校正信号。
在步骤S520中,步骤S514中所计算出的针对被摄体稳定的校正信号或者步骤S519中所计算出的针对图像稳定的校正信号供给至减法器108,并且偏差数据经由控制器109和脉冲宽度调制单元110供给至图像稳定系统驱动单元111。图像稳定系统驱动单元111基于这样获得的校正信号来驱动图像稳定单元112。
如上所述,即使在平摇角速度低的情况下,作为根据角速度改变从角速度获得的摄像面移动量的范围的结果,可以提高被摄体矢量的检测精度。
注意,在上述实施例中描述了诸如数字单镜头反光照相机或数字紧凑型照相机等的数字照相机中所安装的图像稳定设备100,但本发明不限于此。例如,图像稳定设备100可以安装在诸如监视照相机、Web照相机或移动电话等的摄像设备中。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考实施例说明了本发明,但是应该理解,本发明不限于所公开的实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (9)

1.一种振动检测设备,其特征在于,包括:
提取单元,用于从第一振动检测单元所检测到的多个运动矢量中,提取存在于基于第二振动检测单元所检测到的角速度而确定的范围以外的运动矢量作为表示主被摄体的移动的主被摄体矢量,其中,所述第一振动检测单元用于根据安装在摄像设备上的图像传感器所输出的图像的帧之间的差、分别针对所述图像中所设置的多个预定区域来获得并输出运动矢量,以及所述第二振动检测单元用于检测所述摄像设备的振动的角速度;以及
获取单元,用于在摇摄中,基于所述提取单元所提取出的所述主被摄体矢量来获得用于光学地校正振动的校正单元的校正量,
其中,与所述角速度大于或等于第一阈值的情况相比,在所述角速度小于所述第一阈值的情况下,所述提取单元将所述范围设置得较窄,以及
其中,所述提取单元生成所述运动矢量的直方图,并且在所形成的各个矢量组中形成峰的矢量的频数大于或等于第二阈值的情况下提取所述主被摄体矢量。
2.根据权利要求1所述的振动检测设备,其中,所述提取单元将所述范围设置为以从所述角速度向所述图像的移动量进行转换而得到的值作为所述范围的中心。
3.根据权利要求1所述的振动检测设备,其中,在不进行摇摄的情况下,或者在所述提取单元不能提取所述主被摄体矢量的情况下,所述获取单元基于所述角速度来获得所述校正单元的校正量。
4.根据权利要求1所述的振动检测设备,其中,所述获取单元在摇摄中、在所述提取单元提取出所述主被摄体矢量的情况下,基于所提取出的主被摄体矢量的平均值和所述角速度来获得所述校正单元的校正量。
5.根据权利要求1所述的振动检测设备,其中,所述提取单元提取存在于基于所述第二振动检测单元所检测到的所述角速度而确定的所述范围以内的运动矢量作为背景矢量。
6.根据权利要求1~5中任一项所述的振动检测设备,其中,设置了彼此不同的多个阈值作为所述第一阈值,并且针对所述多个阈值中的各个阈值,与所述角速度大于或等于该阈值的情况相比,在所述角速度小于该阈值的情况下,将所述范围减小为较小。
7.一种摄像设备,其特征在于,包括:
振动检测设备,其包括:
提取单元,用于从第一振动检测单元所检测到的多个运动矢量中,提取存在于基于第二振动检测单元所检测到的角速度而确定的范围以外的运动矢量作为表示主被摄体的移动的主被摄体矢量,其中,所述第一振动检测单元用于根据安装在所述摄像设备上的图像传感器所输出的图像的帧之间的差、分别针对所述图像中所设置的多个预定区域来获得并输出运动矢量,以及所述第二振动检测单元用于检测所述摄像设备的振动的角速度,以及
获取单元,用于在摇摄中,基于所述提取单元所提取出的所述主被摄体矢量来获得用于光学地校正振动的校正单元的校正量,
其中,与所述角速度大于或等于第一阈值的情况相比,在所述角速度小于所述第一阈值的情况下,所述提取单元将所述范围设置得较窄;以及
其中,所述提取单元生成所述运动矢量的直方图,并且在所形成的各个矢量组中形成峰的矢量的频数大于或等于第二阈值的情况下提取所述主被摄体矢量;以及
所述图像传感器,其中,所述摄像设备能够相对于包括所述校正单元的摄像光学系统进行安装或拆卸。
8.一种摄像设备,其特征在于,包括:
振动检测设备,其包括:
提取单元,用于从第一振动检测单元所检测到的多个运动矢量中,提取存在于基于第二振动检测单元所检测到的角速度而确定的范围以外的运动矢量作为表示主被摄体的移动的主被摄体矢量,其中,所述第一振动检测单元用于根据安装在所述摄像设备上的图像传感器所输出的图像的帧之间的差、分别针对所述图像中所设置的多个预定区域来获得并输出运动矢量,以及所述第二振动检测单元用于检测所述摄像设备的振动的角速度,以及
获取单元,用于在摇摄中,基于所述提取单元所提取出的所述主被摄体矢量来获得用于光学地校正振动的校正单元的校正量,
其中,与所述角速度大于或等于第一阈值的情况相比,在所述角速度小于所述第一阈值的情况下,所述提取单元将所述范围设置得较窄,以及
其中,所述提取单元生成所述运动矢量的直方图,并且在所形成的各个矢量组中形成峰的矢量的频数大于或等于第二阈值的情况下提取所述主被摄体矢量;所述图像传感器;以及
所述校正单元,用于基于校正量来光学地校正振动。
9.一种振动检测方法,其特征在于,包括以下步骤:
提取步骤,用于从第一振动检测单元所检测到的多个运动矢量中,提取存在于基于第二振动检测单元所检测到的角速度而确定的范围以外的运动矢量作为表示主被摄体的移动的主被摄体矢量,其中,所述第一振动检测单元用于根据安装在摄像设备上的图像传感器所输出的图像的帧之间的差、分别针对所述图像中所设置的多个预定区域来获得并输出运动矢量,以及所述第二振动检测单元用于检测所述摄像设备的振动的角速度;以及
在摇摄中,基于所述提取步骤中所提取出的所述主被摄体矢量来获得用于光学地校正振动的校正单元的校正量,
其中,在所述提取步骤中,与所述角速度大于或等于第一阈值的情况相比,在所述角速度小于所述第一阈值的情况下,将所述范围设置得较窄,以及
其中,在所述提取步骤中生成所述运动矢量的直方图,并且在所形成的各个矢量组中形成峰的矢量的频数大于或等于第二阈值的情况下提取所述主被摄体矢量。
CN201710060746.5A 2016-01-26 2017-01-25 振动检测设备、振动检测方法和摄像设备 Active CN106998425B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016012790A JP6674264B2 (ja) 2016-01-26 2016-01-26 像振れ検出装置及び方法、及び撮像装置
JP2016-012790 2016-01-26

Publications (2)

Publication Number Publication Date
CN106998425A CN106998425A (zh) 2017-08-01
CN106998425B true CN106998425B (zh) 2020-07-24

Family

ID=59359258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710060746.5A Active CN106998425B (zh) 2016-01-26 2017-01-25 振动检测设备、振动检测方法和摄像设备

Country Status (3)

Country Link
US (1) US10158803B2 (zh)
JP (1) JP6674264B2 (zh)
CN (1) CN106998425B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171739B2 (en) * 2016-03-02 2019-01-01 Panasonic Intellectual Property Management Co., Ltd. Image pickup device
JP6932531B2 (ja) * 2017-03-28 2021-09-08 キヤノン株式会社 像ブレ補正装置、撮像装置および撮像装置の制御方法
JP7098332B2 (ja) * 2018-01-15 2022-07-11 キヤノン株式会社 撮像装置およびその制御方法
JP6550560B1 (ja) * 2018-05-10 2019-07-31 有限会社エイベスト ネイル用エフェクト顔料エアゾールスプレー、および、それを用いたジェルネイルの塗布方法、並びにマニキュアの塗布方法
JP2020118789A (ja) * 2019-01-22 2020-08-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、およびプログラム
JP7197785B2 (ja) * 2019-01-28 2022-12-28 日本電信電話株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
JP2020148999A (ja) * 2019-03-15 2020-09-17 キヤノン株式会社 制御装置、撮像装置、レンズ装置、制御方法、および、プログラム
JP7346076B2 (ja) * 2019-05-14 2023-09-19 キヤノン株式会社 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356800A (zh) * 2006-03-23 2009-01-28 松下电器产业株式会社 内容拍摄装置
CN102316268A (zh) * 2010-06-29 2012-01-11 佳能株式会社 摄像设备及其控制方法
CN102790847A (zh) * 2011-05-18 2012-11-21 宾得理光映像有限公司 图像稳定系统及数码相机
CN104853084A (zh) * 2014-02-19 2015-08-19 佳能株式会社 图像处理设备及其控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317848A (ja) * 2005-05-16 2006-11-24 Canon Inc 静止画撮像装置
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
JP4438099B2 (ja) * 2007-11-22 2010-03-24 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4876065B2 (ja) * 2007-12-14 2012-02-15 キヤノン株式会社 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP6157242B2 (ja) * 2013-06-28 2017-07-05 キヤノン株式会社 画像処理装置及び画像処理方法
JP6341691B2 (ja) 2014-02-26 2018-06-13 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP6355454B2 (ja) * 2014-06-27 2018-07-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6486087B2 (ja) * 2014-12-03 2019-03-20 キヤノン株式会社 像ブレ補正装置、撮像装置および制御方法
JP6539091B2 (ja) * 2015-04-09 2019-07-03 キヤノン株式会社 撮像装置およびその制御方法
JP6725979B2 (ja) * 2015-11-27 2020-07-22 キヤノン株式会社 像ブレ補正装置及びその制御方法、記憶媒体
US10205885B2 (en) * 2016-01-26 2019-02-12 Canon Kabushiki Kaisha Image capturing apparatus for controlling shutter speed during panning shooting and method for controlling the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356800A (zh) * 2006-03-23 2009-01-28 松下电器产业株式会社 内容拍摄装置
CN102316268A (zh) * 2010-06-29 2012-01-11 佳能株式会社 摄像设备及其控制方法
CN102790847A (zh) * 2011-05-18 2012-11-21 宾得理光映像有限公司 图像稳定系统及数码相机
CN104853084A (zh) * 2014-02-19 2015-08-19 佳能株式会社 图像处理设备及其控制方法

Also Published As

Publication number Publication date
US20170214855A1 (en) 2017-07-27
US10158803B2 (en) 2018-12-18
JP6674264B2 (ja) 2020-04-01
JP2017134177A (ja) 2017-08-03
CN106998425A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
CN106998425B (zh) 振动检测设备、振动检测方法和摄像设备
CN107800957B (zh) 摄像设备和运动矢量检测方法
US10250808B2 (en) Imaging apparatus and control method therefor
US9865064B2 (en) Image processing apparatus, image processing method, and storage medium
CN109698912B (zh) 摄像设备及其控制方法
CN108712601B (zh) 图像模糊校正设备、控制方法、摄像设备和镜头设备
JP2018185357A (ja) 像ブレ補正装置およびその制御方法、撮像装置
JP4869579B2 (ja) ブレ補正装置、およびカメラシステム
CN107920200B (zh) 图像模糊校正装置及其控制方法和摄像装置
CN111385471A (zh) 信息处理设备和方法、摄像设备及其控制方法、存储介质
US10212364B2 (en) Zoom control apparatus, image capturing apparatus and zoom control method
US10873701B2 (en) Image pickup apparatus and control method thereof
US11477384B2 (en) Information processing apparatus, imaging apparatus, information processing method, control method for imaging apparatus, and storage medium for notifying of a subject blur occuring in a captured image
CN111953891B (zh) 控制设备、镜头设备、摄像设备、控制方法和存储介质
JP6935269B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
CN109660713B (zh) 摄像设备及其控制方法
JP7204855B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP4400322B2 (ja) ブレ補正装置、およびカメラシステム
JP2022124464A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2021012259A (ja) 像ブレ補正装置及びその制御方法、撮像システム、プログラム
JP2008098891A (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant