CN106550187B - 用于图像稳定的设备和方法 - Google Patents

用于图像稳定的设备和方法 Download PDF

Info

Publication number
CN106550187B
CN106550187B CN201610726578.4A CN201610726578A CN106550187B CN 106550187 B CN106550187 B CN 106550187B CN 201610726578 A CN201610726578 A CN 201610726578A CN 106550187 B CN106550187 B CN 106550187B
Authority
CN
China
Prior art keywords
motion
image
predicted
kalman filter
image stabilization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610726578.4A
Other languages
English (en)
Other versions
CN106550187A (zh
Inventor
柳然杰
朴相志
车俊昊
卢承仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Techwin Co Ltd filed Critical Hanwha Techwin Co Ltd
Publication of CN106550187A publication Critical patent/CN106550187A/zh
Application granted granted Critical
Publication of CN106550187B publication Critical patent/CN106550187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供一种用于图像稳定的设备和方法。图像稳定方法包括：接收由相机捕获的图像；检测图像的运动；使用卡尔曼滤波器预测图像的运动；比较检测的运动与预测的运动；基于比较的结果更新卡尔曼滤波器的参数。

Description

用于图像稳定的设备和方法
本申请要求于2015年9月16日提交到韩国知识产权局的第10-2015-0131057号韩国专利申请的优先权，所述韩国专利申请的全部公开通过引用被包含于此。
技术领域
与示例性实施例一致的设备和方法涉及一种用于图像稳定的方法、设备和记录介质。
背景技术
随着越来越多的人使用多媒体设备，对于用于各种环境中捕获的数字图像的图像增强技术的需求也在增加。图像增强技术包括模糊去除、噪声去除和图像稳定等，并被广泛地应用在数字相机、智能电话、家庭用相机和便携式摄录像机、工业用监控摄像机、广播摄像机和图像捕获装置(诸如军事用图像捕获装置)。最初开发的图像捕捉装置通过对模拟图像进行数字化来产生图像。然而，最近的图像捕获装置基于各种预处理和后处理技术，产生比模拟图像更加清楚地描绘对象的高清晰度数字图像。
在数字图像校正技术中，图像稳定技术是最普遍使用的。当用户在握持图像捕获装置或者用户移动到另一个地方的同时捕获图像时，图像捕获装置可能会抖动。在相机以以运输模式(诸如车辆、固定翼飞机和直升机)安装的情况下，由于受到很多环境因素(诸如机械振动和与地面之间的摩擦)的影响，相机可能会意外地抖动。此外，随着变焦镜头的放大倍率增加，即使轻微移动图像捕获装置，屏幕也会严重地抖动。使用图像稳定技术，以便即使图像捕获装置在捕获图像时抖动也能获得清楚和锐利的图像；并被应用，以去除在捕获的图像中发现的由于抖动引起的不利影响。
最近，使用数字图像稳定技术，以通过经由基于输入图像信号的帧之间的运动预测检测不需要的抖动影响以及从帧存储器或电荷耦合器件(CCD)中读取运动被校正的图像数据，来校正抖动影响。因为数字图像稳定技术可以是低成本的，可具有比机械稳定方法高的精度，并且还补偿各种不能通过机械稳定方法补偿的运动分量，所以对数字图像稳定技术的研究正在积极地开展中。
卡尔曼滤波器是一种跟踪包括噪声的信号的状态的递归滤波器，是由鲁道夫·卡尔曼提出的。卡尔曼滤波器被用在各种领域(诸如，计算机视觉、机器人学、雷达等)，并在大多数情况下有效地运行。
卡尔曼滤波器递归地运行。使用卡尔曼滤波器，以基于在当前值之前立即估计的并排除估计值和测量值的值，而不是在当前值之前立即估计的值，估计当前值。
可将使用卡尔曼滤波器的算法分为两个过程：预测过程和更新(校正)过程。首先，执行用于计算先前预测的状态之后的状态的预测过程。然后，执行用于基于计算的预测状态和实际测量的状态之间的误差递归地校对计算的预测状态和帮助更精确地预测下一状态的更新(校正)过程。
发明内容
示例性实施例可解决至少上面的问题和/或缺点以及上面未描述的其他缺点。此外，不要求示例性实施例克服上述的缺点，并可不克服上述问题中的任何一个。
一个或多个示例性实施例提供一种使用自适应卡尔曼滤波器的用于图像稳定的方法、设备和记录介质。
根据示例性实施例的一个方面，提供一种图像稳定方法，所述方法由图像稳定设备执行，所述方法包括：接收由相机捕获的图像；检测图像的运动；使用卡尔曼滤波器预测图像的运动；比较检测的运动与预测的运动；基于比较结果更新卡尔曼滤波器的参数。
所述方法还可包括：基于检测的运动与预测的运动之间的差，确定图像的无意运动；补偿无意运动。
更新参数可包括：响应于预测的运动具有幅度大于或等于阈值的波动区间，增大卡尔曼滤波器的测量噪声方差。
更新参数可包括：响应于检测的运动与预测的运动之间的差大于或等于阈值，减小卡尔曼滤波器的测量噪声方差。
所述方法还可包括：基于预测的运动和检测的运动，校正预测的运动。
图像可以是当前帧；所述方法还可包括：基于当前帧的校正的预测的运动，预测位于当前帧之后的帧的运动。
可基于如下公式对运动进行预测：
Figure BDA0001091471320000031
其中，
Figure BDA0001091471320000032
可以是从当前帧预测的运动，
Figure BDA0001091471320000033
可以是校正从前一帧预测的运动的值，A是状态转变矩阵，Pt -可以是关于预测的运动
Figure BDA0001091471320000034
的误差方差，Pt-1可以是关于值
Figure BDA0001091471320000035
的误差方差，Sw可以是过程噪声方差。
可基于如下公式对预测的运动进行校正：
Figure BDA0001091471320000036
其中，Kt可以是卡尔曼滤波器的增益，C可以是观察模型矩阵，Sz可以是卡尔曼滤波器的测量噪声方差，
Figure BDA0001091471320000037
可以是校正从当前帧预测的运动
Figure BDA0001091471320000038
的值，yt可以是从当前帧检测的运动，Pt可以是值
Figure BDA0001091471320000039
的误差方差。
更新参数的步骤可包括更新测量噪声方差SZ。
一种非易失性计算机可读记录介质，所述记录介质可存储使计算机执行所述方法的程序。
根据示例性实施例的一方面，提供一种图像稳定设备，所述设备包括：图像接收器，被配置为接收由相机捕获的图像。所述图像稳定设备还包括至少一个处理器，以实现：图像校正器，被配置为检测图像的运动并使用卡尔曼滤波器预测图像的运动；参数更新器，被配置为比较检测的运动与预测的运动，并基于比较的结果更新卡尔曼滤波器的参数。
图像校正器还可被配置为：基于检测的运动和预测的运动之间的差值，确定图像的无意运动；补偿无意运动。
参数更新器还可被配置为：响应于具有幅度大于或等于阈值的波动区间的图像的预测的运动，增大卡尔曼滤波器的测量噪声方差。
参数更新器还可被配置为：响应于检测的运动与预测的运动之间的差大于或等于阈值，减小卡尔曼滤波器的测量噪声方差。
图像校正器还可被配置为：基于预测的运动和检测的运动来校正预测的运动。
图像可以是当前帧，图像校正器还可被配置为：基于当前帧的校正的预测运动，预测位于当前帧之后的帧的运动。
可基于如下公式对运动进行预测：
Figure BDA0001091471320000041
其中，
Figure BDA0001091471320000042
可以是从当前帧预测的运动，
Figure BDA0001091471320000043
可以是校正从前一帧预测的运动的值，A可以是状态转变矩阵，Pt -可以是预测的运动
Figure BDA0001091471320000044
的误差方差，Pt-1可以是值
Figure BDA0001091471320000045
的误差方差，Sw可以是过程噪声方差。
可基于如下的公式对预测的运动进行校正：
Figure BDA0001091471320000046
其中，Kt可以是卡尔曼滤波器的增益，C可以是观察模型矩阵，Sz可以是卡尔曼滤波器的测量噪声方差，
Figure BDA0001091471320000047
可以是校正从当前帧预测的运动
Figure BDA0001091471320000048
的值，yt可以是从当前帧检测的运动，Pt可以是值
Figure BDA0001091471320000049
的误差方差。
参数更新器还可被配置为更新测量噪声方差SZ。
附图说明
通过参照附图对示例性实施例进行描述，上述和/或其他方面将会变得更加清楚，附图中：
图1是根据示例性实施例的图像系统的示图。
图2是根据示例性实施例的根据卡尔曼滤波器的参数的设置的卡尔曼滤波器的输出值的曲线图。
图3和4是根据示例性实施例的卡尔曼滤波器的输出值的曲线图。
图5是根据示例性实施例的根据卡尔曼滤波器的输出值的状态的设置参数的曲线图。
图6是根据示例性实施例的在调节卡尔曼滤波器的参数时的卡尔曼滤波器的输出值的曲线图。
图7是根据示例性实施例的图像稳定方法的流程图。
具体实施方式
下面参照附图对示例性实施例进行更加详细地描述。
在以下描述中，即使在不同的附图中，相同的附图标记被用于相同的元件。提供在实施方式中限定的事物(诸如具体的结构和元件)，以协助全面理解示例性实施例。然而，应当清楚的是，能在没有这些具体地限定的事物的情况下实施示例性实施例。此外，不会对公知的功能或构造进行详细的描述，因为它们会因不必要的细节而使实施方式变得模糊。
将理解，尽管在这里可使用术语“第一”、“第二”等描述各种组件，但是这些组件可不由这些术语限制。这些术语仅仅是用于区分一个组件与另一个组件。
如这里所使用，单数形式“一个”和“这个”意图在于同样包括复数形式，除非上下文另外清楚地指出。
还将理解，这里所使用的术语“包括”和/或“包含”指定所述特征或组件的存在，而不是排除一个或多个其他特征或组件的存在或增加。
为了解释的方便，可能夸大在附图中的组件的尺寸。换言之，由于为了解释的方便起见，在附图中随意地示出组件的尺寸和厚度，所以以下的示例性实施例不限于此。
当以不同的方式实施示例性实施例时，可以与描述的顺序不同地执行处理顺序。例如，可基本同时地执行或以与描述的顺序相反的顺序执行两个连续描述的处理。
此外，在说明书中描述的术语(诸如“单元”，“…者(…器)”和“模块”)指的是用于执行至少一个功能或操作的元件，而且可以以硬件、软件或硬件和软件的组合的形式来执行。
图1是根据示例性实施例的图像系统的示图。
参照图1，图像系统包括：相机10；图像稳定设备100，所述图像稳定设备100用于稳定由相机10捕获的图像。
相机10捕获对象并输出图像。例如，相机10可以是用于通过使用互补金属氧化物半导体CMOS或电荷耦合器件(CCD)捕获图像的相机。通过镜头将对象的像提供给CMOS或CCD，CMOS或CCD将穿过镜头的对象的光信号转换为电信号(捕获信号)并输出电信号。
然而，示例性实施例不限于此。相机10可以是热相机(thermo camera)，所述热相机用于基于从物体发出的辐射能量检测物体与物体周围的背景的温度差，将检测的温度差转换为电信号并将电信号处理为图像。
可通过控制者或管理员的控制来操作(例如，移动、旋转和变焦等)相机10，因此，由相机10捕获的区域可被有意地改变。由于外部因素(诸如抖动)，可产生不想要的无意运动。当相机10捕获包括连续帧的运动图像时，无意运动可呈现为图像中的抖动影响或模糊。
图像稳定设备100从相机10接收图像并校正图像，以从图像中去除抖动影响和模糊，因而输出稳定的图像。图像稳定设备100更新用于实时地校正图像的参数并执行自适应图像稳定。
图1的图像稳定设备100只包括关于示例性实施例的组件，以防止混淆有关示例性实施例的特征。因此，图1的图像稳定设备100还可包括除了在图1中示出的组件之外的其它通用组件。
图像稳定设备100可以是至少一个处理器，或可包括至少一个处理器。因此，图像稳定设备100可被包括在其它硬件装置(诸如微型处理器或通用计算机系统)中。
图像稳定设备100可以是被包括在相机10中的处理器中，或可被包括在用于通过无线/有线网络接收图像的单独装置中。
参照图1，图像稳定设备100包括图像接收器110、图像校正器120和参数更新器130。
图像接收器110接收由相机10捕获的图像。图像可以是包括连续帧的运动图像。
图像校正器120检测图像的运动，通过使用卡尔曼滤波器校正检测的运动，并基于校正的运动校正图像。例如，图像校正器120检测图像的当前帧的运动，通过使用卡尔曼滤波器校正检测的运动，并基于校正的运动校正图像的当前帧。
从图像中检测的图像运动可包括：有意运动(例如，选择、移动和变焦等)，所述有意运动发生在相机10的操作期间；无意运动(诸如相机10的抖动和图像中的模糊等)，所述无意运动是由外部因素引起的。
图像校正器120除了直接从图像中检测运动之外，还通过使用卡尔曼滤波器预测图像的运动。详细地，通过使用卡尔曼滤波器基于在上一帧预测的图像运动来在图像的当前帧预测图像运动。通过使用卡尔曼滤波器的图像的运动预测可使用上一帧的预测值，因而可使用初始值(即，图像的第一帧的预测值)。可基于预测函数和从图像的第一帧检测的运动设置初始值。假定通过使用卡尔曼滤波器预测的图像的运动只包括有意运动。
基于直接从图像中检测的运动和通过使用卡尔曼滤波器预测的图像的运动，图像校正器120检测存在于图像中的无意运动。详细地，基于从图像的当前帧中检测的运动和通过使用卡尔曼滤波器在当前帧预测的运动，图像校正器120从图像的当前帧中检测无意运动。
基于从图像中检测的图像运动和通过使用卡尔曼滤波器预测的图像运动之间的差值，图像校正器120检测存在于图像中的无意运动。详细地，图像校正器120执行从图像中检测的图像运动减去通过使用卡尔曼滤波器预测的图像运动的操作。根据减法，直接从图像中检测的图像运动包括有意运动和无意运动。然而，如果直接从图像中检测的图像运动减去通过使用卡尔曼滤波器(假定，通过使用卡尔曼滤波器预测的图像的运动只包括有意运动)预测的图像运动，则可检测无意运动。
图像校正器120通过使用通过减法检测的无意运动，来校正图像。例如，图像校正器120通过对图像施加无意运动的逆矩阵或逆向量，补偿存在于图像中的无意运动。
图像校正器120还可校正图像，并可最终输出稳定的图像。
通过使用卡尔曼滤波器预测图像运动的操作包括预测过程和校正过程，所述操作是由图像校正器120执行。预测过程是首先通过使用在上一帧预测的图像运动的值来预测当前帧的图像运动；校正过程是校正首先预测的图像运动，以获得可被二次预测的图像运动。二次预测图像运动的目的是为了提高下一帧的图像运动预测的性能，二次预测的图像运动被用于预测下一帧的图像运动。
基于如下的公式1，图像校正器120首先预测图像的当前帧的图像运动。
[公式1]
Figure BDA0001091471320000071
在公式1中，
Figure BDA0001091471320000072
是首先预测的图像当前帧的运动，
Figure BDA0001091471320000073
是二次预测的图像上一帧的图像运动，A是状态转移矩阵，Pt -是
Figure BDA0001091471320000074
的误差方差，Pt-1是
Figure BDA0001091471320000075
的误差方差，Sw是过程噪声方差。
然后，基于公式2，图像校正器120通过校正基于公式1首先预测的
Figure BDA0001091471320000081
和Pt -，二次预测当前帧的图像运动。
[公式2]
Figure BDA0001091471320000082
在公式2中，Kt是卡尔曼滤波器的增益，C是观察模型矩阵，Sz是测量噪声方差，
Figure BDA0001091471320000083
是通过校正首先在当前帧中预测的图像运动
Figure BDA0001091471320000084
来二次预测的图像运动，yt是从当前帧实际检测的图像运动，Pt是
Figure BDA0001091471320000085
的误差方差，I2是2×2单位矩阵。
从如下的公式3中，可获得卡尔曼滤波器的初始值。
[公式3]
Figure BDA0001091471320000086
在公式3中，
Figure BDA0001091471320000087
是图像第一帧的预测值，X0是第一帧的有意图像运动的实际初始值，P0是
Figure BDA0001091471320000088
的误差方差，E()是预测函数。
在公式2中的参数SZ是由用户设置的常数。当参数SZ减小时，卡尔曼滤波器的输出信号(当前帧的图像运动预测值)接近于卡尔曼滤波器的输入信号(上一帧的图像运动预测值的校正值)，但输出信号可包括噪声。反之，当参数SZ较大时，输出可以是平滑的，但可发生过平滑(over-smoothing)。
换言之，用户可通过考虑抖动环境来设置参数SZ，但如果用户使用固定的参数SZ，那么当出现在相机10中的抖动是可变化的时候，用户可能采取不了任何动作。
图2是根据示例性实施例的根据卡尔曼滤波器的参数SZ的设置的卡尔曼滤波器的输出值的曲线图20。
图2的曲线图21指示实际测量的图像运动值，曲线图22指示当参数SZ是2时的卡尔曼滤波器的输出值，曲线图23指示当参数SZ是20时的卡尔曼滤波器的输出值。曲线图24指示当参数SZ是50时的卡尔曼滤波器的输出值。
参照图2的曲线图20，当参数SZ的值较小时，卡尔曼滤波器的输出值接近于实际测量值；而当参数SZ的值较大时，输出值几乎不变，因此，输出值比实际测量值平滑。
返回参照图1，基于比较由图像校正器120检测的图像运动和通过使用卡尔曼滤波器预测的图像运动的结果，参数更新器130更新卡尔曼滤波器的参数。
例如，基于比较由图像校正器120检测的图像运动和通过使用卡尔曼滤波器预测的图像运动的结果，参数更新器130更新在公式2中的参数SZ。
例如，当通过使用卡尔曼滤波器预测的图像运动包括具有大于或等于阈值的幅度的波动部分时，参数更新器130增大卡尔曼滤波器的参数Sz，即测量噪声方差。
作为另一个例子，当实际测量的图像运动和通过使用卡尔曼滤波器预测的图像运动之间的差值大于或等于阈值时，参数更新器130减小卡尔曼滤波器的参数Sz，即测量噪声方差。
图3和图4是根据示例性实施例的卡尔曼滤波器的输出值的曲线图。图3是根据示例性实施例的卡尔曼滤波器的输出值的曲线图30。
图3的曲线31指示实际测量的图像的y轴运动，曲线32指示卡尔曼滤波器的输出值，即，通过使用卡尔曼滤波器预测的图像的y轴运动。
曲线31包括有意运动和无意运动两者。考虑到图像不稳定地抖动的无意运动存在于曲线31的波动部分33，所述波动发生在极其短暂的时间间隔期间。在卡尔曼滤波器的输出值包括有意运动的假定下，图像是稳定的，因此，如果卡尔曼滤波器的输出值具有波动部分，那么可认为未恰当执行使用卡尔曼滤波器的图像运动预测。
参照图3的波动部分33，指示实际测量的图像运动的曲线31和指示卡尔曼滤波器的输出值的曲线32包括被预测为无意运动的波动。
为了将卡尔曼滤波器的输出值调节为比图3的卡尔曼滤波器的输出值更加平滑，以去除仍然存在于卡尔曼滤波器的输出值中的无意运动，图1的参数更新器130可增大公式2中的参数Sz。例如，参数更新器130可通过将参数Sz乘以大于1的常数的方式来增大参数Sz。
参数更新器130可区分具有大于或等于阈值的幅度的波动部分与卡尔曼滤波器的输出值。参数更新器130可将输出值以大于等于阈值的频率波动的条件添加到波动部分的条件。
参数更新器130可通过使用卡尔曼滤波器的输出值的斜率来区分波动部分。例如，参数更新器130可确定当卡尔曼滤波器的输出值的斜率反复地具有正值和负值以及绝对值大于阈值时，存在波动。当通过使用卡尔曼滤波器预测的图像运动包括波动部分时，参数更新器130可增大公式2中的参数SZ。例如，图1的参数更新器130可通过将参数SZ乘以大于1的常数的方式来增大参数SZ。
图4是根据另一个示例性实施例的卡尔曼滤波器的输出值的曲线图40。
图4的曲线41指示实际测量的图像的y轴运动，曲线42指示卡尔曼滤波器的输出值，即，通过使用卡尔曼滤波器预测的图像的y轴运动。
参照图4，指示卡尔曼滤波器的输出值的曲线42可不包括被认为是在指示被实际测量的图像运动的曲线41中的无意运动的成分，但可包括与对应于在曲线41中的有意运动的组件略相同的成分。然后，认为卡尔曼滤波器的性能较好。
如果卡尔曼滤波器执行过平滑滤波，则如在区域43中所示发生过平滑，因此，曲线42可能未适当地指示实际测量的图像运动的值的巨大变化。如果曲线42的值与曲线41的值极其不同，则认为未恰当地执行使用卡尔曼滤波器的图像运动预测。
因此，图1的参数更新器130可以以卡尔曼滤波器的输出值接近于实际测量的图像运动的这种方式，减小公式2中的参数SZ。例如，参数更新器130可通过将小于1的常数乘以参数SZ的方式来减小参数SZ。
当实际测量的图像运动与通过使用卡尔曼滤波器预测的图像运动之间的差值大于或等于阈值时，参数更新器130可减小参数SZ。
图5是根据示例性实施例的根据卡尔曼滤波器的输出值的状态的设置参数的曲线图50。
图5的纵轴指示曲线51的状态值，所述曲线51的状态值指示卡尔曼滤波器的输出值的状态。曲线51的值是1的帧是指过平滑出现的帧，曲线51的值是2的帧是指波动出现的帧。
曲线52根据卡尔曼滤波器的输出值的状态指示公式2中由参数更新器130调节的参数SZ的值的示例。
参照曲线图50，当过平滑在一帧中发生时，下一帧的参数SZ减小，当波动在一帧中发生时，下一帧的参数SZ增大。
图6是根据示例性实施例的当公式2中的卡尔曼滤波器的参数SZ是由参数更新器130可变地调节时，卡尔曼滤波器的输出值的曲线图60。
图6的曲线61指示实际测量的图像的y轴运动，曲线62指示卡尔曼滤波器的输出值，即，通过使用卡尔曼滤波器预测的图像的y轴运动。在这种情况下，由参数更新器130根据卡尔曼滤波器的输出值的状态调节卡尔曼滤波器的参数SZ。
当调节参数SZ时，从存在波动的区间63中去除曲线62的波动，并且从过平滑出现的区间64去除过平滑。
在由图1的图像稳定设备100执行的计算期间，可使用二维(2D)模型。然而，当由相机10捕获的图像是3D图像时，图像稳定设备100可使用3D模型。此外，可针对图像的每一帧执行由图像稳定设备100执行的计算。
图7是根据示例性实施例的图像稳定方法的流程图。
图7的流程图包括由图1的图像稳定设备100执行的处理。因此，参照图1至6提供的关于图1的组件的描述可被应用到图7的流程图。
参照图7，在操作71中，图1的图像接收器110接收由相机捕获的图像。
在操作72中，图1的图像校正器120检测在操作71中接收的图像的运动。图像校正器120检测图像当前帧的运动。
在操作73中，图像校正器120通过使用卡尔曼滤波器来预测图像的运动。图像校正器120预测图像当前帧的运动。在在操作73中执行的预测期间，使用通过使用卡尔曼滤波器预测的图像上一帧的运动的值。具体地，通过校正上一帧的运动的值(该值是通过使用卡尔曼滤波器基于上一帧的检测的运动的值来预测的)产生的值用于在操作73中执行的预测。
在操作74中，图1的参数更新器130基于比较在操作72中检测的图像运动与在操作73中预测的图像运动的结果来更新卡尔曼滤波器的参数。
图1的图像校正器可通过使用在操作72中检测的图像运动来校正在操作73中预测的图像运动，并可使用校正的图像运动来预测下一帧的图像运动。校正在操作73之后执行，并可在操作74之前或之后执行。
根据一个或多个示例性实施例的用于图像稳定的方法、设备和非易失性计算机可读记录介质可通过自适应地应用用于稳定图像的卡尔曼滤波器的参数，来在各种变化的环境中提供良好的图像稳定性能。
此外，示例性实施例还可通过介质(例如，计算机可读介质)上的计算机可读代码和/或指令实现，以控制至少一个处理元件去实现任何上述的示例性实施例。介质可对应于可充当存储器和/或执行计算机可读代码的传输的介质或媒介。
可在介质上以多种方式记录和/或传输计算机可读代码，介质的示例包括：记录介质，诸如磁性存储介质(例如，ROM、软盘和硬盘等)和光记录介质(例如，光盘只读存储器(CD-ROMS)或数字通用盘(DVDs))；传输介质，诸如互联网传输介质。因此，介质可具有适于存储或运输信号或信息的结构，诸如根据示例性实施例的运输比特流的装置。介质也可以是在分布式网络上，使得计算机可读代码在介质上被存储和/或传输，并以分布式方式执行。此外，处理单元可包括处理器或计算机处理器，而且处理单元可分布或被包括在单个装置中。
根据示例性实施例，如在图1中示出的用方框表示的组件、元件、模块或单元(例如，图像接收器110、图像校正器120和参数更新器130等)中的至少一个可被实现为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件、模块或单元中的至少一个可使用直接的电路结构(诸如存储器、处理器、逻辑电路和查找表等)，所述电路结构可通过一个或多个微型处理器或其它控制设备的控制，执行代表性的功能。此外，这些组件、元件、模块或单元中的至少一个可通过模块、程序或代码的部分实现，并由一个或多个微型处理器或其它控制设备执行，所述模块、程序或代码的部分包括一个或多个可执行的用于执行特定的逻辑功能指令。此外，这些组件、元件、模块或单元中的至少一个还可包括处理器或通过处理器实现，所述处理器可以是诸如执行代表性的功能的中央处理单元(CPU)和微型处理器等处理器。这些组件、元件、模块或单元中的两个或多个可被结合到单个组件、元件、模块或单元，所述单个组件、元件、模块或单元执行结合的两个或多个组件、元件、模块或单元的所有的操作或功能。此外，这些组件、元件、模块或单元中的至少一个的功能的至少一部分可由这些组件、元件、模块或单元中的另一个执行。此外，组件、元件、模块或单元之间的通信可通过总线执行。上面的示例性实施例的功能性的方面可以在一个或多个处理器上执行的算法实现。此外，用方框或处理步骤表示的组件、元件、模块或单元可为电子配置、信号处理和/或控制、数据处理等采用任意数量的现有技术。
前面的示例性实施例仅仅是示例性的，不应被解释为限制。本教导可容易地应用于其它类型的设备中。此外，对示例性实施例的描述意图在于说明，而不是为了限制权利要求的范围，而且很多备选方案、修正和变形对本领域技术人员来说将是清楚的。

Claims (17)

1.一种图像稳定方法，所述图像稳定方法由图像稳定设备执行，所述图像稳定方法包括：
接收由相机捕获的图像；
检测图像的运动；
使用卡尔曼滤波器预测图像的运动；
比较检测的运动与预测的运动；
基于比较结果更新卡尔曼滤波器的参数，
其中，更新参数的步骤包括：响应于预测的运动具有幅度大于或等于第一阈值的波动区间并且预测的运动以大于或等于第二阈值的频率波动，增大卡尔曼滤波器的测量噪声方差。
2.如权利要求1所述的图像稳定方法，还包括：
基于检测的运动与预测的运动之间的差，确定图像的无意运动；
补偿无意运动。
3.如权利要求1所述的图像稳定方法，其中，更新参数的步骤还包括：响应于检测的运动和预测的运动之间的差大于或等于第三阈值，减小卡尔曼滤波器的测量噪声方差。
4.如权利要求1所述的图像稳定方法，还包括：基于预测的运动和检测的运动，校正预测的运动。
5.如权利要求4所述的图像稳定方法，其中，图像是当前帧；
所述方法还包括：基于当前帧的校正的预测的运动，预测位于当前帧之后的帧的运动。
6.一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质存储程序，以使计算机执行权利要求1所述的图像稳定方法。
7.一种图像稳定方法，所述图像稳定方法由图像稳定设备执行，所述图像稳定方法包括：
接收由相机捕获的图像；
检测图像的运动；
使用卡尔曼滤波器预测图像的运动；
比较检测的运动与预测的运动；
基于比较结果更新卡尔曼滤波器的参数；
基于预测的运动和检测的运动，校正预测的运动，
其中，基于如下公式对运动进行预测：
Figure FDA0002438785560000021
其中，
Figure FDA0002438785560000022
是从当前帧预测的运动，
Figure FDA0002438785560000023
是校正从前一帧预测的运动的值，A是状态转变矩阵，Pt -是关于预测的运动
Figure FDA0002438785560000024
的误差方差，Pt-1是关于值
Figure FDA0002438785560000025
的误差方差，Sw是过程噪声方差。
8.一种图像稳定方法，所述图像稳定方法由图像稳定设备执行，所述图像稳定方法包括：
接收由相机捕获的图像；
检测图像的运动；
使用卡尔曼滤波器预测图像的运动；
比较检测的运动与预测的运动；
基于比较结果更新卡尔曼滤波器的参数；
基于预测的运动和检测的运动，校正预测的运动，
其中，基于如下公式对预测的运动进行校正：
Figure FDA0002438785560000026
其中，Kt是卡尔曼滤波器的增益，C是观察模型矩阵，Sz是卡尔曼滤波器的测量噪声方差，
Figure FDA0002438785560000027
是校正从当前帧预测的运动
Figure FDA0002438785560000028
的值，yt是从当前帧检测的运动，Pt -是关于预测的运动
Figure FDA0002438785560000029
的误差方差，Pt是值
Figure FDA00024387855600000210
的误差方差，I2是2×2单位矩阵。
9.如权利要求8所述的方法，其中，更新参数的步骤包括更新测量噪声方差Sz。
10.一种图像稳定设备，所述图像稳定设备包括：
图像接收器，被配置为接收由相机捕获的图像；
至少一个处理器，包括：图像校正器，被配置为检测图像的运动并使用卡尔曼滤波器预测图像的运动；参数更新器，被配置为比较检测的运动与预测的运动，并基于比较的结果更新卡尔曼滤波器的参数，
其中，参数更新器还被配置为：响应于预测的运动具有幅度大于或等于第一阈值的波动区间并且预测的运动以大于或等于第二阈值的频率波动，增大卡尔曼滤波器的测量噪声方差。
11.如权利要求10所述的图像稳定设备，其中，图像校正器还被配置为：
基于检测的运动和预测的运动之间的差值，确定图像的无意运动；
补偿无意运动。
12.如权利要求10所述的图像稳定设备，其中，参数更新器还被配置为：响应于检测的运动与预测的运动之间的差大于或等于第三阈值，减小卡尔曼滤波器的测量噪声方差。
13.如权利要求10所述的图像稳定设备，其中，图像校正器还被配置为：基于预测的运动和检测的运动来校正预测的运动。
14.如权利要求13所述的图像稳定设备，其中，所述图像是当前帧，
图像校正器还被配置为：基于当前帧的校正的预测的运动，预测位于当前帧之后的帧的运动。
15.一种图像稳定设备，所述图像稳定设备包括：
图像接收器，被配置为接收由相机捕获的图像；
至少一个处理器，包括：图像校正器，被配置为检测图像的运动并使用卡尔曼滤波器预测图像的运动；
参数更新器，被配置为比较检测的运动与预测的运动，并基于比较的结果更新卡尔曼滤波器的参数，
其中，图像校正器还被配置为：基于预测的运动和检测的运动来校正预测的运动，
其中，基于如下公式对运动进行预测：
Figure FDA0002438785560000031
其中，
Figure FDA0002438785560000032
是从当前帧预测的运动，
Figure FDA0002438785560000033
是校正从前一帧预测的运动的值，A是状态转变矩阵，Pt -是预测的运动
Figure FDA0002438785560000034
的误差方差，Pt-1是值
Figure FDA0002438785560000035
的误差方差，Sw是过程噪声方差。
16.一种图像稳定设备，所述图像稳定设备包括：
图像接收器，被配置为接收由相机捕获的图像；
至少一个处理器，包括：
图像校正器，被配置为检测图像的运动并使用卡尔曼滤波器预测图像的运动；
参数更新器，被配置为比较检测的运动与预测的运动，并基于比较的结果更新卡尔曼滤波器的参数，
其中，图像校正器还被配置为：基于预测的运动和检测的运动来校正预测的运动，
基于如下的公式对预测的运动进行校正：
Figure FDA0002438785560000041
其中，Kt是卡尔曼滤波器的增益，C是观察模型矩阵，Sz是卡尔曼滤波器的测量噪声方差，
Figure FDA0002438785560000042
是校正从当前帧预测的运动
Figure FDA0002438785560000043
的值，yt是从当前帧检测的运动，Pt -是预测的运动
Figure FDA0002438785560000044
的误差方差，Pt是值
Figure FDA0002438785560000045
的误差方差，I2是2×2单位矩阵。
17.如权利要求16所述的图像稳定设备，其中，参数更新器还被配置为更新测量噪声方差Sz。
CN201610726578.4A 2015-09-16 2016-08-25 用于图像稳定的设备和方法 Active CN106550187B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0131057 2015-09-16
KR1020150131057A KR102331538B1 (ko) 2015-09-16 2015-09-16 영상 안정화 방법, 장치 및 컴퓨터 기록매체

Publications (2)

Publication Number Publication Date
CN106550187A CN106550187A (zh) 2017-03-29
CN106550187B true CN106550187B (zh) 2020-10-23

Family

ID=58237511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610726578.4A Active CN106550187B (zh) 2015-09-16 2016-08-25 用于图像稳定的设备和方法

Country Status (3)

Country Link
US (1) US9924097B2 (zh)
KR (1) KR102331538B1 (zh)
CN (1) CN106550187B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102457617B1 (ko) * 2015-09-16 2022-10-21 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
JP6806467B2 (ja) * 2016-06-06 2021-01-06 キヤノン株式会社 画像処理装置及び方法、撮像装置、及び撮像システム
US9961261B2 (en) * 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
US10255507B2 (en) * 2016-12-19 2019-04-09 Canon Kabushiki Kaisha Detection of an object in a distorted image
US11432737B2 (en) 2017-03-17 2022-09-06 The Regents Of The University Of California Systems and methods for real-time motion prediction in dynamic imaging
CN109040575B (zh) * 2017-06-09 2020-12-08 株式会社理光 全景视频的处理方法、装置、设备、计算机可读存储介质
US11131776B2 (en) * 2019-08-19 2021-09-28 Gm Global Technology Operations, Llc Method and apparatus for Kalman filter parameter selection using map data
CN113709324A (zh) * 2020-05-21 2021-11-26 武汉Tcl集团工业研究院有限公司 一种视频降噪方法、视频降噪装置及视频降噪终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144283A (zh) * 2014-08-10 2014-11-12 大连理工大学 一种基于改进的卡尔曼滤波的实时数字视频稳像方法
CN104853064A (zh) * 2015-04-10 2015-08-19 海视英科光电（苏州）有限公司 基于红外热像仪的电子稳像方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264106A (ja) 2000-03-21 2001-09-26 Toshiba Corp 慣性航法装置、慣性航法装置の初期化方法及び記録媒体
US7558405B2 (en) * 2005-06-30 2009-07-07 Nokia Corporation Motion filtering for video stabilization
JP4958610B2 (ja) * 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
US9593952B2 (en) 2007-10-04 2017-03-14 Trusted Positioning, Inc. System and method for intelligent tuning of Kalman filters for INS/GPS navigation applications
KR100985805B1 (ko) 2009-03-26 2010-11-09 중앙대학교 산학협력단 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
FR2976355B1 (fr) 2011-06-09 2013-06-21 Jean Luc Desbordes Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant.
US20130188069A1 (en) * 2012-01-20 2013-07-25 Samsung Electronics Co., Ltd. Methods and apparatuses for rectifying rolling shutter effect
US9854168B2 (en) * 2014-03-07 2017-12-26 Futurewei Technologies, Inc. One-pass video stabilization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144283A (zh) * 2014-08-10 2014-11-12 大连理工大学 一种基于改进的卡尔曼滤波的实时数字视频稳像方法
CN104853064A (zh) * 2015-04-10 2015-08-19 海视英科光电（苏州）有限公司 基于红外热像仪的电子稳像方法

Also Published As

Publication number Publication date
US20170078575A1 (en) 2017-03-16
KR102331538B1 (ko) 2021-11-26
US9924097B2 (en) 2018-03-20
KR20170033127A (ko) 2017-03-24
CN106550187A (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN106550187B (zh) 用于图像稳定的设备和方法
US10404917B2 (en) One-pass video stabilization
JP4500875B2 (ja) モーションブラー効果を除去する方法および装置
US9716832B2 (en) Apparatus and method for stabilizing image
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
US9191589B2 (en) Image processing device
KR101652658B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체
US8390697B2 (en) Image processing apparatus, image processing method, imaging apparatus, and program
WO2017064700A1 (en) A method and system for stabilizing video frames
US20110122265A1 (en) Image processing apparatus, image processing method, program, and recording medium
JP2006197455A (ja) ノイズリダクション装置
JP2011188332A (ja) 画像揺れ補正装置
EP2898665B1 (en) Preventing motion artifacts by intelligently disabling video stabilization
WO2010007777A1 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
US10812719B2 (en) Image processing apparatus, imaging apparatus, and image processing method for reducing noise and corrects shaking of image data
JP6245968B2 (ja) 画像処理装置、撮像装置および制御方法
WO2008072024A1 (en) Video stabilization system with motion estimation error correction
JP7118818B2 (ja) 画像処理方法、画像処理装置、撮像装置、およびプログラム
CN109891877B (zh) 图像处理装置、图像显示装置以及程序
JP2008117119A (ja) 動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置
CN116347232A (zh) 一种实时视频稳像方法及装置
CN113329170A (zh) 图像抖动校正方法、装置、计算机设备和可读存储介质
KR20090035205A (ko) 카메라 패닝 상황에서 안정적인 손떨림 보정 방법 및 장치
JP2021044653A (ja) 動きベクトル検出装置及び動きベクトル検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20190225

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

CP01 Change in the name or title of a patent holder