CN105989581B - 图像稳定设备及方法 - Google Patents

图像稳定设备及方法 Download PDF

Info

Publication number
CN105989581B
CN105989581B CN201511019761.2A CN201511019761A CN105989581B CN 105989581 B CN105989581 B CN 105989581B CN 201511019761 A CN201511019761 A CN 201511019761A CN 105989581 B CN105989581 B CN 105989581B
Authority
CN
China
Prior art keywords
image
feature point
input image
corresponding feature
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511019761.2A
Other languages
English (en)
Other versions
CN105989581A (zh
Inventor
柳然杰
朴相志
李活石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Techwin Co Ltd filed Critical Hanwha Techwin Co Ltd
Publication of CN105989581A publication Critical patent/CN105989581A/zh
Application granted granted Critical
Publication of CN105989581B publication Critical patent/CN105989581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种图像稳定设备及方法。所述图像稳定设备通过使用图像传感器和运动传感器二者执行图像稳定。图像失真和图像运动通过使用由图像传感器和图像处理提取的特征点的位置和由运动传感器预测的特征点的移动位置二者被稳定地校正。

Description

图像稳定设备及方法
本申请要求于2015年3月23日提交到韩国知识产权局的第10-2015-0040206号韩国专利申请的优先权，所述韩国专利申请的公开通过引用完整地包含于此。
技术领域
与示例性实施例相一致的设备和方法涉及通过使用传感器融合方案稳定由一个或更多个相机捕捉的图像。
背景技术
通常，校正由于各种原因而发生的图像抖动的图像稳定方案使用一种在两个图像中匹配或追踪对应点的方法。
然而，这种图像稳定方案非常易受外部冲击、图像质量退化等的影响。此外，当捕捉的图像中存在运动对象时，针对该运动对象的图像校正可能不会被适当地执行。
特别地，在基于图像处理校正运动的方法的情况下，当从追踪区域或追踪窗口的尺寸偏离的运动发生时，运动很难被校正。
发明内容
本发明构思的示例性实施例提供这样的设备及方法，其中，通过使用传感器融合方案，即使在图像质量退化、在图像捕捉设备上发生外部冲击、以及在捕捉到的图像中存在运动对象的情况下，也输出不含图像运动(诸如抖动)的稳定图像。
本发明构思的各种方面将会部分地在以下描述中阐明，并将会部分地从描述中清楚或者可以通过本示例性实施例的实践而领会。
根据一个或更多个示例性实施例，提供了一种图像稳定设备，所述图像稳定设备可包括：特征点提取器，被配置为在由图像捕捉设备捕捉的第一输入图像中提取特征点；移动量检测器，被配置为响应于图像捕捉设备的运动检测图像捕捉设备的移动量；移动位置预测器，被配置为在由图像捕捉设备捕捉的第二输入图像中预测提取的特征点被预期通过图像捕捉设备的运动而移动到的移动位置；对应位置检测器，被配置为确定在图像捕捉设备的运动之后在第二输入图像中对应特征点的位置，所述对应特征点与第一输入图像中的提取的特征点相对应；比较器，被配置为将预测的移动位置与对应特征点的位置进行比较；图像稳定器，被配置为基于比较的结果，校正由于图像捕捉设备的运动造成的第二输入图像中的图像失真。
如果预测的移动位置和对应特征点的位置之间的距离在预定的范围内，则所述比较器可确定对应特征点的位置是准确的，并且如果所述距离在预定的范围内，则图像稳定器可基于对应特征点的位置校正图像失真。但是，如果所述距离超出预定的范围，则对应特征点的位置不被用作用于校正图像失真的有效数据。
根据一个或更多个示例性实施例，提供了一种在图像捕捉设备中执行图像稳定的方法。所述方法可包括：通过特征点提取器，在由图像捕捉设备捕捉的第一输入图像中提取特征点；通过移动量检测器，响应于图像捕捉设备的运动检测图像捕捉设备的物理移动量；通过移动位置预测器，在由图像捕捉设备捕捉的第二输入图像中预测提取的特征点被预期通过图像捕捉设备的运动而移动到的移动位置；通过对应位置检测器，确定在图像捕捉设备的运动之后在第二输入图像中对应特征点的位置，所述对应特征点与第一输入图像中的提取的特征点相对应；通过比较器，将预测的移动位置与对应特征点的位置进行比较；通过图像稳定器，基于比较的结果，校正由于图像捕捉设备的运动造成的第二输入图像中的图像失真。
所述方法还可包括：如果预测的移动位置和对应特征点的位置之间的距离在预定的范围内，则确定对应特征点的位置是准确的；如果所述距离在预定的范围内，则可基于对应特征点的位置执行校正图像失真。但是，如果所述距离超出预定的范围，则对应特征点的位置不被用作用于校正图像失真的有效数据。
附图说明
这些和/或其它方面将通过以下结合附图的示例性实施例的描述变得清楚和更容易理解，在附图中：
图1示出用于解释根据示例性实施例的图像捕捉设备的运动的发生的示图；
图2示出根据示例性实施例的图像稳定设备的内部配置；
图3示出根据示例性实施例的在图像稳定设备中通过使用图像传感器和运动传感器二者执行图像稳定的主要概念；
图4示出在图像稳定设备中使用的运动传感器的示例；
图5示出根据示例性实施例的在其中实施图像稳定设备的图像处理设备的内部配置；
图6示出根据示例性实施例的用于在图像稳定设备中校正图像抖动的扫描线的特性；
图7是示出根据示例性实施例的在图像捕捉设备中执行图像稳定的方法的流程图；
图8是示出根据示例性实施例的作为图像捕捉设备的示例的数码相机的配置的框图。
具体实施方式
现在将对示例性实施例作详细参考，这些示例性实施例被示出在附图中，其中相同的标号始终表示相同的元件。在这点上，本实施例可具有不同的形式并且不应解释为限于这里阐明的描述。因此，以下仅通过参考附图描述示例性实施例，以解释发明构思的各种方面。如在这里使用的，术语“和/或”包括一个或更多个相关的所列项目的任意组合和所有组合。
图1示出用于解释根据示例性实施例的图像捕捉设备的运动的发生的示图。
参照图1，当图像捕捉设备运动或由于外部冲击等被移动时，可发生旋转或平移(R/T)运动S120。图1示出图像捕捉设备针对对象100在时间t1从初始位置S100有意地或无意地移动到在时间t2的位置S110的情况。
当图像捕捉设备如图1所示移动时，在图像捕捉设备的移动发生之前的时间t1捕捉到的图像与在图像捕捉设备的移动发生之后的时间t2捕捉到的图像之间可能发生失真。作为示例，对象100的特征点P可在图像捕捉设备的移动发生之前的时间t1在相机的输入图像S101中的P1点S102被检测到。然而，对象100的特征点P可在图像捕捉设备的移动发生之后的时间t2在相机的输入图像S111中的P2点S112被检测到。
根据示例性实施例，图像稳定设备可通过使用传感器融合方案稳定图像。图像稳定设备可通过使用图像传感器和运动传感器二者去除由图像捕捉设备的各种运动(诸如摇晃或抖动)造成的失真来稳定图像。图像稳定设备可在图像捕捉设备(诸如机器人、车辆、军事装备、相机、移动电话、智能电话、膝上型计算机、平板电脑、手持设备，但不限制于此)中被实施。根据示例性实施例，图像捕捉设备可通过使用诸如互补金属氧化物半导体(CMOS)的图像传感器捕捉图像，图像传感器并不限制于此。
以下将相机作为图像稳定设备的示例进行描述。图3示出在图像稳定设备中通过使用图像传感器和运动传感器二者执行图像稳定的主要概念。
参照图3，相机在相机运动前捕捉的先前图像中检测特征点P1310。
此外，当相机由于风吹、外部冲击或用户的手部晃动而移动时，相机通过使用运动传感器检测相机的物理移动量。在这里，物理移动可以指相机的有意地或无意地倾斜、平移、旋转、和/或任意其它移动。接下来，相机基于检测到的物理移动量预测在运动发生后捕捉的当前图像中的特征点P1310被预期移动或将会移动到的移动位置P2320。
此后，相机在由相机在运动发生后捕捉的当前图像中检测与在先前图像中检测到的特征点P1310相对应的对应特征点P3330。
当预测的移动位置P2320与对应特征点P3330的位置之间的距离在预定范围内时，相机确定对应特征点P3330的位置是准确的，并使用对应特征点P3330的位置作为校正失真的有效数据。
然而，当预测的移动位置P2320与对应特征点P3330的位置之间的距离超过预定范围时，相机确定对应特征点P3330的位置是不准确的或对应特征点P3330是运动对象的特征点，并且不使用对应特征点P3330的数据。
图2示出根据示例性实施例的图像稳定设备200的内部配置。
参照图2，图像稳定设备200可包括特征点提取器210、移动量检测器220、对应位置检测器230、移动位置预测器240、比较器250和图像稳定器260。
特征点提取器210从输入到图像捕捉设备的图像信号提取特征点。根据示例性实施例，可通过使用一般的特征点提取方案在输入图像中提取特征点。
当图像捕捉设备有意地或无意地运动时，移动量检测器220通过使用安装在图像捕捉设备中的运动传感器检测图像捕捉设备的物理移动量。例如，运动传感器可以是陀螺仪传感器。陀螺仪传感器可以是三维(3D)陀螺仪传感器。此外，如在图4中所示，惯性测量单元(IMU)传感器410(见图4)可被用来测量移动量、运动等。
移动位置预测器240通过使用由移动量检测器220检测的物理移动量确定局部运动矢量S311(见图3)。此外，移动位置预测器240通过使用确定的局部运动矢量S311预测特征点P1310(见图3)通过图像捕捉设备的运动被预期移动到的移动位置P2320(见图3)。
对应位置检测器230确定与特征点P1310(见图3)相对应的对应特征点P3330(见图3)的位置，对应特征点P3330通过使用在图像捕捉设备移动后由图像捕捉设备捕捉的输入图像而在输入图像中被提取。
在这种情况下，对应位置检测器230通过使用由特征点提取器210提取的包括特征点的特征点组和包括对应特征点的对应特征点组计算全局运动矢量S130(见图1)。
根据另一示例性实施例，对应位置检测器230可包括低通滤波器(LPF)和高通滤波器(HPF)中的至少一个，用于确定输入图像的失真是由相机的用户造成的还是由外部环境造成的。
根据示例性实施例，因为诸如用户的手部晃动的运动可能分布于低频域，所以诸如用户的手部晃动的运动可由LPF提取。此外，因为诸如风吹的由外部环境造成的运动可能分布于高频域，所以由外部环境造成的运动可由HPF提取。
比较器250将由移动位置预测器240通过使用运动传感器预测的移动位置P2320(见图3)与由对应位置检测器230确定的对应特征点P3330(见图3)的位置进行比较。当对应特征点P3330的位置在预定范围内时，比较器250确定对应特征点P3330的位置是准确的，并且当对应特征点P3330的位置超过预定范围时，比较器250确定对应特征点P3330的位置是不准确的。
根据另一示例性实施例，比较器250可将局部运动矢量S311与全局运动矢量S130进行比较，以确定这两个矢量之间的差异是否在给定的范围内。当差异在给定范围内时，比较器250可确定对应特征点P3330的位置是准确的，并且当差异超过给定范围时，比较器250可确定对应特征点P3330的位置是不准确的。
图像稳定器260基于由比较器250执行的比较的结果通过使用关于对应特征点P3330(见图3)的位置信息校正图像失真。根据示例性实施例，图像稳定器260通过使用CMOS传感器的滚动快门效应和扫描线的特性执行失真校正。这将稍后参照图6进行详细描述。
图4示出根据示例性实施例的在实施图像稳定设备的相机中使用IMU传感器410作为运动传感器的示例的示例。
图5示出根据示例性实施例的实施图像稳定设备的图像处理设备500的内部配置。
参照图5，图像处理设备500接收图像信号(S500)并随后提取特征点(510)。此后，图像处理设备500通过使用IMU传感器510预测提取的特征点被预期通过图像处理设备500的诸如抖动的运动而移动到的移动点(511)。通过这种处理，图像处理设备500通过使用预测的移动点(511)和在先前图像中提取的特征点(510)计算局部运动矢量。
此外，图像处理设备500将在先前图像中提取的特征点(510)和与在当前图像中提取的特征点对应的部分进行匹配(513)。
为确定计算的局部运动矢量(S510)是否是准确的，确定基于由运动传感器测量的图像处理设备500的物理移动量预测的运动点的位置(511)与由图像传感器在当前图像中提取的对应特征点的位置(513)之间的距离是否在预定的范围内(520和530)。
如果所述距离在预定的范围内，则图像处理设备500通过使用关于由图像传感器提取的对应特征点的信息(513)校正图像失真，然后输出稳定后的图像(S520)。
另一方面，如果所述距离超过预定的范围，则图像处理设备500确定关于在当前图像中提取的对应特征点的信息(513)是不正确的或者特征点是在运动对象中提取的特征点，并且不使用该信息(S531)。
图6示出根据示例性实施例的用于在图像稳定设备中校正图像变形的扫描线的特性。
参照图6，扫描线具有如下特性：与参考图像中的扫描线Iref610对应的线Iwobbled620存在于摇晃的输入图像中。此外，扫描线具有如下特性：与参考图像中的扫描线Iref10中的点PR 611对应的点PW 621存在于摇晃的输入图像中的线Iwobbled 620中。
图7是示出根据示例性实施例的在图像捕捉设备中执行图像稳定的方法的流程图。
参照图7，图像捕捉设备在图像捕捉设备移动之前的时间t1的先前图像中提取特征点(S710)。当图像捕捉设备由于用户操作、手部晃动、风吹或外部冲击而移动时，图像捕捉设备通过使用诸如IMU传感器或陀螺仪传感器的运动传感器(见图2的220)检测图像捕捉设备的物理移动量(S720)。
图像捕捉设备的移动位置预测器(见图2的240)使用检测的物理移动量来计算表示图像捕捉设备的移动量的局部运动矢量(S730)。此后，图像捕捉设备使用局部运动矢量来预测提取的特征点被预期通过图像捕捉设备的运动而移动到的移动位置(S740)。
此外，根据示例性实施例，当图像捕捉设备移动时，图像捕捉设备通过在对应位置检测器(见图2的230)中的图像处理提取在时间t2的当前图像中的特征点(S750)。对应位置检测器(见图2的230)在从当前图像中提取的特征点中检测与在先前图像中提取的特征点相对应的对应特征点(S760)。在这个过程中，对应位置检测器(见图2的230)可通过使用在先前图像中提取的一组特征点和在当前图像中提取的一组对应特征点来计算全局运动矢量。
图像捕捉设备的比较器通过确定对应特征点的位置与预测的移动位置之间的距离是否在预定的范围内来确定对应特征点是否是有效数据(S770)。此后，图像捕捉设备通过使用关于在预定的范围内的对应特征点的位置信息校正图像失真(S780)。
图8是示出根据示例性实施例的作为图像捕捉设备的示例的数码相机的配置的框图。
参照图8，数码相机可包括：光学模块11，用于输入来自对象的光信号；图像传感器12，用于将通过光学模块输入的光信号转换为电信号；输入信号处理器13，用于对由图像传感器12提供的电信号执行诸如降噪和模数(A/D)转换的信号处理操作；电动机14，用于驱动光学单元11；驱动器15，用于控制电动机14的操作。
此外，数码相机还可包括：用户输入(UI)模块20，用于输入用户的操作信号；同步动态随机存取存储器(SDRAM)30，暂时存储输入图像数据、用于处理操作的数据和处理结果；闪存40，用于存储数码相机的操作所需的算法；安全数字(SD)/紧凑式闪存(CF)/智能媒体(SM)卡50，作为用于存储图像文件的记录介质。
此外，数码相机可配有液晶显示器(LCD)60作为显示器。此外，数码相机还可包括：音频信号处理器71，用于将声音转换为数字信号或将来自声源的数字信号转换为模拟信号，并产生音频文件；扬声器(SPK)72，用于输出声音；麦克风(MIC)73，用于输入声音。此外，数码相机还可包括用于控制数码相机的操作的数字信号处理器(DSP)80。
现在将对每个组件的配置和功能作更详细的描述。
电动机14可以由驱动器15进行控制。驱动器15可响应于从DSP 80接收的控制信号控制电动机14的操作。
图像传感器12可从光学模块11接收光信号并形成对象的图像。图像传感器12可包括CMOS传感器或电荷耦合器件(CCD)传感器。
输入信号处理器13可包括用于将由图像传感器12(诸如CMOS或CCD传感器)作为模拟信号提供的电信号转换为数字信号的A/D转换器。此外，输入信号处理器13还可包括用于针对由图像传感器12提供的电信号执行诸如增益控制或波形整形的信号处理的电路。
DSP 80可对输入图像数据执行图像信号处理操作。图像信号处理操作可包括伽玛校正、滤色器阵列插值、颜色矩阵、颜色校正、颜色增强、晃动参数的估计、以及基于估计的晃动参数的图像恢复。此外，DSP 80可将通过图像信号处理获取的图像数据压缩为图像文件或从图像文件恢复原始图像数据。可通过使用可逆算法或不可逆算法压缩图像。
DSP 80可执行上述的图像信号处理并根据处理结果或响应于通过UI模块20输入的用户控制信号控制每个组件。
如上所述，根据以上示例性实施例，图像稳定设备可补偿由外部冲击和诸如三轴旋转和平移的相机运动造成的图像运动(如图像的移、平面内旋转、抖动)。
此外，根据以上示例性实施例，图像稳定设备及其方法可在用于主要的国家设施(诸如军事机场、港口、道路和桥梁)、地铁、公交、建筑屋顶、体育场、停车场、汽车、移动装置、以及机器人中的各种智能图像监控系统中提供稳定的图像信号。
根据示例性实施例，以上参考附图描述的方法可被实现为能被计算机执行的程序代码，所述程序代码可被存储在各种非暂时性计算机可读介质中并被提供给每个装置以被处理器执行。例如，可提供非暂时性计算机可读介质，在所述非暂时性计算机可读介质中，用于向透明显示器与第一主体重叠的第一区域和作为透明显示器的其余部分的第二区域提供不同的用户交互功能的程序响应于第二主体从第一主体滑动以开启第一主体而被存储。非暂时性计算机可读介质指的是可半永久地存储数据而非短时间存储数据的介质(诸如寄存器、高速缓存、存储器)，并且可由设备读取。具体地，上述的各种应用或程序可在非暂时性可记录介质(诸如光盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等)中被存储和提供。
根据示例性实施例，由图2所示的方框所表示的组件、元件或单元中的至少一个可被实施为分别执行上述功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件或单元中的至少一个可使用可通过一个或更多个微处理器或其它控制设备的控制来执行各自的功能的直接电路结构(诸如存储器、处理设备、逻辑单元、查找表等)。此外，这些组件、元件或单元中的至少一个可通过包含用于执行特定逻辑功能的一个或更多个可执行指令的模块、程序、或者部分代码被具体实施，并通过一个或更多个微处理器或其它控制设备被执行。此外，这些组件、元件或单元中的至少一个还可包括执行各自功能的诸如中央处理单元(CPU)的处理器、微处理器等。这些组件、元件或单元中的两个或更多个可被合并成一个单独的组件、元件或单元，所述一个单独的组件、元件或单元执行所合并的两个或更多个组件、元件或单元的所有操作或功能。此外，这些组件、元件或单元中的至少一个的至少部分功能可以由这些组件、元件或单元中的另一个执行。此外，尽管在以上框图中未示出总线，但是组件、元件或单元之间的通信可通过总线来执行。以上示例性实施例的功能方面可在一个或更多个处理器上执行的算法中被实施。此外，由方框或处理步骤表示的组件、元件或单元可采用任何数量的相关领域技术进行电子学配置、信号处理和/或控制、数据处理等。
这里使用的专业术语只为描述示例性实施例的目的，而不意图限制其含义或由权利要求限定的本发明构思的范围。虽然一个或更多个示例性实施例已经参考附图被描述，但是本领域普通技术人员应该理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在形式和细节上进行各种改变。
应该理解，这里描述的示例性实施例应被看作仅有描述意义，而不是为了限制的目的。每个示例性实施例中的特征或方面的描述通常应被看作可用于在其它示例性实施例中的其它类似的特征或方面。

Claims (16)

1.一种图像稳定设备，包括：
特征点提取器，被配置为在由图像捕捉设备捕捉的第一输入图像中提取特征点；
移动量检测器，被配置为响应于图像捕捉设备的抖动通过使用运动传感器检测图像捕捉设备的物理移动量；
移动位置预测器，被配置为在由图像捕捉设备捕捉的第二输入图像中使用通过检测的物理移动量计算的局部运动矢量预测提取的特征点被预期由于图像捕捉设备的抖动而移动到的移动位置；
对应位置检测器，被配置为确定在图像捕捉设备的抖动之后在第二输入图像中对应特征点的位置，所述对应特征点与第一输入图像中的提取的特征点相对应；
比较器，被配置为将预测的移动位置与对应特征点的位置进行比较；
图像稳定器，被配置为基于比较的结果校正由图像捕捉设备的抖动造成的第二输入图像中的图像失真。
2.如权利要求1所述的图像稳定设备，其中，第一输入图像在图像捕捉设备的抖动前的一刻被捕捉，第二输入图像在图像捕捉设备的抖动后的一刻被捕捉。
3.如权利要求1所述的图像稳定设备，其中，比较器被配置为：如果预测的移动位置与对应特征点的位置之间的距离在预定的范围内，则确定对应特征点的位置是准确的。
4.如权利要求1所述的图像稳定设备，其中，图像稳定器被配置为：如果预测的移动位置与对应特征点的位置之间的距离在预定的范围内，则基于对应特征点的位置校正图像失真。
5.如权利要求1所述的图像稳定设备，其中，比较器被配置为：如果预测的移动位置与对应特征点的位置之间的距离超过预定的范围，则确定对应特征点是在第二输入图像中出现的运动对象的特征点。
6.如权利要求1所述的图像稳定设备，其中，对应位置检测器包括：低通滤波器(LPF)和高通滤波器(HPF)，被配置为确定第二输入图像中的失真是由图像捕捉设备的用户造成的还是由施加到图像捕捉设备的外部冲击造成的。
7.如权利要求1所述的图像稳定设备，其中，对应位置检测器包括：低通滤波器(LPF)，被配置为确定第二输入图像中的失真是否是由图像捕捉设备的用户造成的。
8.如权利要求1所述的图像稳定设备，其中，对应位置检测器包括：高通滤波器(HPF)，被配置为确定第二输入图像中的失真是否是由施加到图像捕捉设备的外部冲击造成的。
9.如权利要求1所述的图像稳定设备，其中，对应位置检测器被配置为通过使用第一输入图像中的提取的特征点和第二输入图像中的对应特征点计算全局运动矢量。
10.如权利要求9所述的图像稳定设备，其中，对应位置检测器被配置为通过使用包括提取的特征点的特征点组和包括对应特征点的对应特征点组计算全局运动矢量。
11.如权利要求10所述的图像稳定设备，其中，图像稳定器被配置为：如果全局运动矢量和局部运动矢量之间的差异在给定的范围内，则通过使用全局运动矢量校正第二输入图像中的图像失真。
12.如权利要求10所述的图像稳定设备，其中，图像稳定器被配置为：如果全局运动矢量和局部运动矢量之间的差异在给定的范围内，则确定对应特征点的位置是准确的。
13.如权利要求10所述的图像稳定设备，其中，如果全局运动矢量和局部运动矢量之间的差异超出给定的范围，则图像稳定器确定对应特征点是在第二输入图像中出现的运动对象的特征点。
14.如权利要求1所述的图像稳定设备，其中，运动传感器是陀螺仪传感器。
15.一种在图像捕捉设备中执行图像稳定的方法，所述方法包括：
通过特征点提取器，在由图像捕捉设备捕捉的第一输入图像中提取特征点；
通过移动量检测器，响应于图像捕捉设备的抖动通过使用运动传感器检测图像捕捉设备的物理移动量；
通过移动位置预测器，在由图像捕捉设备捕捉的第二输入图像中使用通过检测的物理移动量计算的局部运动矢量预测提取的特征点被预期由于图像捕捉设备的抖动移动到的移动位置；
通过对应位置检测器，确定在图像捕捉设备的抖动之后在第二输入图像中对应特征点的位置，所述对应特征点与第一输入图像中的提取的特征点相对应；
通过比较器，将预测的移动位置与对应特征点的位置进行比较；
通过图像稳定器，基于比较的结果校正由于图像捕捉设备的抖动造成的第二输入图像中的图像失真。
16.如权利要求15所述的方法，其中，所述校正的步骤包括：如果预测的移动位置与对应特征点的位置之间的距离在预定的范围内，则基于对应特征点的位置校正图像失真。
CN201511019761.2A 2015-03-23 2015-12-30 图像稳定设备及方法 Active CN105989581B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150040206A KR102282458B1 (ko) 2015-03-23 2015-03-23 영상안정화장치 및 방법
KR10-2015-0040206 2015-03-23

Publications (2)

Publication Number Publication Date
CN105989581A CN105989581A (zh) 2016-10-05
CN105989581B true CN105989581B (zh) 2021-04-13

Family

ID=56974455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511019761.2A Active CN105989581B (zh) 2015-03-23 2015-12-30 图像稳定设备及方法

Country Status (3)

Country Link
US (2) US9578241B2 (zh)
KR (1) KR102282458B1 (zh)
CN (1) CN105989581B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282458B1 (ko) * 2015-03-23 2021-07-27 한화테크윈 주식회사 영상안정화장치 및 방법
US9906726B2 (en) * 2015-04-22 2018-02-27 Canon Kabushiki Kaisha Image stabilization control apparatus, optical apparatus and storage medium storing image stabilizing control program
WO2017024305A1 (en) * 2015-08-06 2017-02-09 Invensense, Inc. Systems and methods for stabilizing images
KR102457617B1 (ko) * 2015-09-16 2022-10-21 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
CN106534692A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种视频稳像方法及装置
KR102280169B1 (ko) 2017-03-06 2021-07-21 삼성전자주식회사 영상을 처리하는 방법 및 장치
EP3451288A1 (en) * 2017-09-04 2019-03-06 Universität Zürich Visual-inertial odometry with an event camera
KR102429337B1 (ko) * 2018-01-16 2022-08-03 한화테크윈 주식회사 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
WO2019205129A1 (en) 2018-04-28 2019-10-31 SZ DJI Technology Co., Ltd. Motion estimation
CN208297905U (zh) * 2018-05-31 2018-12-28 深圳市大疆创新科技有限公司 相机结构、云台和无人机
CN109194878B (zh) * 2018-11-08 2021-02-19 深圳市闻耀电子科技有限公司 视频图像防抖方法、装置、设备和存储介质
CN109618103B (zh) * 2019-01-28 2020-09-25 深圳慧源创新科技有限公司 无人机图传视频的防抖方法及无人机
CN110049246A (zh) * 2019-04-22 2019-07-23 联想(北京)有限公司 电子设备的视频防抖方法、装置和电子设备
US11443452B2 (en) * 2019-06-07 2022-09-13 Pictometry International Corp. Using spatial filter to reduce bundle adjustment block size
CN110708465B (zh) * 2019-10-21 2020-12-25 厦门美图之家科技有限公司 视频抖动校正方法、装置、可读存储介质及电子设备
KR102313795B1 (ko) * 2020-04-10 2021-10-18 (주)인펙비전 정확성 및 신뢰도를 높인 surf 특징점 추적 기반 영상 안정화 방법
CN111526285B (zh) * 2020-04-15 2021-07-13 浙江大华技术股份有限公司 一种图像防抖方法及电子设备、计算机可读存储介质
KR20210155284A (ko) 2020-06-15 2021-12-22 한화테크윈 주식회사 영상처리장치
EP4009623B1 (en) * 2020-12-07 2023-01-25 Axis AB Electronic image stabilization of a video stream captured by a pannable and/or tiltable video camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599447A (zh) * 2004-07-26 2005-03-23 西安交通大学 数字电视后处理去隔行技术的方向相关运动补偿方法
CN103891286A (zh) * 2011-11-02 2014-06-25 索尼公司 图像处理装置和方法
CN104284059A (zh) * 2013-07-12 2015-01-14 三星泰科威株式会社 用于稳定图像的设备和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2941815B2 (ja) 1988-09-09 1999-08-30 キヤノン株式会社 撮像装置及びぶれ補正装置
EP0358196B1 (en) 1988-09-09 1997-07-30 Canon Kabushiki Kaisha Automatic image stabilization device
KR100498042B1 (ko) 2003-03-19 2005-07-01 삼성전자주식회사 안정된 영상을 획득할 수 있는 영상획득시스템 및 그안정화 방법
JP5087264B2 (ja) * 2005-12-08 2012-12-05 株式会社トプコン 画像処理装置及びその方法
KR100968974B1 (ko) 2008-08-26 2010-07-14 삼성전기주식회사 손떨림 보정 장치
GB2474886A (en) * 2009-10-30 2011-05-04 St Microelectronics Image stabilisation using motion vectors and a gyroscope
JP2011114407A (ja) * 2009-11-24 2011-06-09 Sony Corp 画像処理装置、画像処理方法、プログラム及び記録媒体
WO2011129036A1 (ja) * 2010-04-16 2011-10-20 パナソニック株式会社 撮像装置および集積回路
WO2012064106A2 (en) * 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
JP5234132B2 (ja) * 2011-03-30 2013-07-10 株式会社Ｊｖｃケンウッド 撮影装置
KR101288945B1 (ko) 2011-10-20 2013-07-23 주식회사 동운아나텍 카메라의 손떨림 보정 장치
US8737687B2 (en) * 2011-12-30 2014-05-27 Honeywell International Inc. System and method for tracking a subject using raw images and tracking errors
US8773542B2 (en) * 2012-05-17 2014-07-08 Samsung Electronics Co., Ltd. Apparatus and method for adaptive camera control method based on predicted trajectory
JP2014143530A (ja) * 2013-01-23 2014-08-07 Sony Corp 情報処理装置と情報処理方法および撮像装置
KR102282458B1 (ko) * 2015-03-23 2021-07-27 한화테크윈 주식회사 영상안정화장치 및 방법
KR102072014B1 (ko) * 2013-09-16 2020-01-31 에스케이 텔레콤주식회사 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599447A (zh) * 2004-07-26 2005-03-23 西安交通大学 数字电视后处理去隔行技术的方向相关运动补偿方法
CN103891286A (zh) * 2011-11-02 2014-06-25 索尼公司 图像处理装置和方法
CN104284059A (zh) * 2013-07-12 2015-01-14 三星泰科威株式会社 用于稳定图像的设备和方法

Also Published As

Publication number Publication date
CN105989581A (zh) 2016-10-05
US20160286130A1 (en) 2016-09-29
US9854171B2 (en) 2017-12-26
KR102282458B1 (ko) 2021-07-27
US9578241B2 (en) 2017-02-21
KR20160113887A (ko) 2016-10-04
US20170163895A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
CN105989581B (zh) 图像稳定设备及方法
US10848672B2 (en) Image stabilizing method and apparatus
KR102527811B1 (ko) 타임랩스 영상을 생성하는 장치 및 방법
KR102029896B1 (ko) 비전 보조 관성 카메라 포즈 추정과 비전 기반 한정 카메라 포즈 추정 사이의 적응형 스위칭
US20130107066A1 (en) Sensor aided video stabilization
US20190208125A1 (en) Depth Map Calculation in a Stereo Camera System
KR101624210B1 (ko) 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
JP6230751B1 (ja) 物体検出装置および物体検出方法
US20160182866A1 (en) Selective high frame rate video capturing in imaging sensor subarea
WO2013188310A1 (en) Adaptive estimation of frame time stamp latency
US9924097B2 (en) Apparatus, method and recording medium for image stabilization
US20170150054A1 (en) Image pickup apparatus for detecting moving amount of main subject or background, method for controlling image pickup apparatus, and storage medium
US20130107064A1 (en) Sensor aided image stabilization
JP6332212B2 (ja) 姿勢推定装置、姿勢推定方法及びプログラム
EP3120537B1 (en) Control of shake blur and motion blur for pixel multiplexing cameras
JP4985569B2 (ja) 撮像装置および撮像方法
JP6245968B2 (ja) 画像処理装置、撮像装置および制御方法
JP2018147241A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2018097776A (ja) 障害物検出装置および障害物検出方法
KR20210155284A (ko) 영상처리장치
US20230417575A1 (en) Orientation calculation apparatus, orientation calculation method, imaging apparatus including orientation calculation apparatus, and method for controlling same
JP2017004040A (ja) 認識装置、認識方法及びプログラム
JP2020141170A (ja) 記録再生制御装置、再生制御装置、記録再生制御方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190226

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.