CN106357958A - 一种基于区域匹配的快速电子稳像方法 - Google Patents

一种基于区域匹配的快速电子稳像方法 Download PDF

Info

Publication number
CN106357958A
CN106357958A CN201610885140.0A CN201610885140A CN106357958A CN 106357958 A CN106357958 A CN 106357958A CN 201610885140 A CN201610885140 A CN 201610885140A CN 106357958 A CN106357958 A CN 106357958A
Authority
CN
China
Prior art keywords
image
frame
region
fraction
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610885140.0A
Other languages
English (en)
Other versions
CN106357958B (zh
Inventor
杨明强
郑庆河
张庆锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201610885140.0A priority Critical patent/CN106357958B/zh
Publication of CN106357958A publication Critical patent/CN106357958A/zh
Application granted granted Critical
Publication of CN106357958B publication Critical patent/CN106357958B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于区域匹配的快速电子稳像方法,具体步骤包括:(1)读出视频图像帧,选取第一帧图像作为参考帧;(2)采用MSER最大极值稳定区域算法,将当前帧依次与参考帧进行区域匹配,得到匹配分数,进行小波变换;将得到的匹配分数从大到小排序,选取前n位的匹配分数对应的区域;(3)对选取的前n位的匹配分数对应的区域进行区域标定,并在标定后的区域进行FAST特征点检测,提取出特征点;(4)进行特征点匹配,估计运动参数;(5)对图像进行反向运动补偿。本发明利用稳像算法实现了图像序列的稳定,因此具有快速、高精度、低功耗等优点。

Description

一种基于区域匹配的快速电子稳像方法
技术领域
本发明涉及一种基于区域匹配的快速电子稳像方法,属于数字图像处理技术领域。
背景技术
近年来随着计算机及其相关技术的大力发展,技术实时更新,很多原本需要相关机械设备和机械技术才能实现的方法可以直接采用低成本高效率的电子软硬件来替代。稳像技术的发展,经历了从机械到光学,再到目前的电子稳像三个阶段,电子稳像技术就是通过数字图像处理技术对视频中的一系列图像进行运动估计,然后进行反向运动补偿来去除图像中的诸如抖动、旋转等非正常偏移的一种技术。
产生于20世纪80年代的电子稳像技术采用电子元件直接对图像进行处理,来得到图像间的偏移量。如今,电子稳像技术广泛用于军事行动以及民用测绘仪器,以及医学图像检验。近几十年来,电子稳像技术在武器系统上得到了广泛的应用,从大型的导弹制导、坦克火控系统到小型的自寻的牵引头,都广泛采用了电子稳像技术。电子稳像技术的应用,消除了运动载体对像面的影响,诸如地面不平带来的抖动,使得这些武器系统的运动攻击性能和其他作战指标得以显著提高。在《电子稳像技术及其发展》、《电子稳像技术发展评述》、《电子稳像技术概述》等文章中都有对电子稳像技术的详细介绍。
电子稳像技术首先通过处理视频中帧间图像,获得图像的全局运动参数,包括水平位移,竖直运动以及旋转,然后对图像进行反向的运动补偿,从而消除抖动,根据获取图像运动矢量方法的不同,电子稳像的基本方法有两种:
方法一,首先利用传感器得到摄像机本身的运动矢量,然后将其转化为图像的运动矢量。即在摄像机上添加两个角速率传感器用以检测上下方向和左右方向上的角速率,通过放大、滤波去除对图像质量影响不大的高频成份,再通过数模转换存入计算机中作为控制依据。最后采用像移补偿技术反向补偿图像运动,以此达到实现图像稳定的目的。此方法虽然易于实现,但其检测精度要依赖于具有高精度的速率陀螺来精确敏感地捕捉摄像机的振动,往往造价昂贵,不易普及,无法在民用中推广。
方法二,利用稳定算法实现电子稳像。图像拍摄后,根据算法的需求提取场图像或帧图像,当物体处于静止状态或匀速运动时,帧处理优于场处理,这是因为奇场和偶场运动状态相同,可以共同使用一个运动矢量,帧处理时只需传送一个运动矢量,但当物体处于非匀速运动状态时,场处理则优于帧处理。选取图像后与参考图像利用稳像算法获取图像运动矢量,参考图像可以是存储器中的固定的图像,也可能是图像缓存中的相邻帧图像。此稳像方法的关键是利用稳像算法计算图像运动量,此方法已用在加拿大DREV研制的监视车10m桅杆上电视摄像系统中。这种方法的缺陷在于很难将全局运动与抖动有效地分离,目前存在的技术包括卡尔曼滤波、均值滤波,最小二乘曲线拟合法以及阻尼系数法等等,在《Full-frame video stabilization with motion inpainting》、《Afeature matchingbased algorithm for real-time electronic image stabilization》文章中有详细介绍。与此同时由于需要对每张图片进行特征点检测,算法往往还需要耗费大量的时间。传统的特征点检测包括Sift、Surf、Harris、Fast角点等等,性能优良的角点算法如SIFT需要耗费非常久的时间用来提取特征点(《SIFT Features Tracking for Video Stabilization》文章介绍了此种算法),而Fast角点提取虽然速度较快,但性能会有所下降,在进行特征匹配时往往会出现误匹配情况导致许多野点的产生。
电子稳像技术本身是一个非常广阔的领域,虽然现阶段电子稳像的基本算法已经相对完善,但是目前它所处理的主要还是视频帧与帧之间有明确的匹配特征的图像序列。这些序列图像背景丰富,帧与帧间的运动较小,往往不存在或者只存在很少的局部运动。然而在实际环境中,背景是斑驳复杂且多变的,这些情况就使得算法存在很大程度的局限性,实际应用中我们会遇到如下等问题:
一是背景信息单一,可以用于匹配的特征不明显,而局部运动又比较大,参考坐标系的选择会变得非常困难,局部运动信息的获得几乎不可能,这时电子稳像的一般流程就失去作用了;
二是如何利用图像信息区分图像采集设备的晃动量(抖动)和摄像机的正常扫描运动(全局运动)以及如何稳定图像多轴的旋转问题。这其中所涉及的问题不仅仅包括图像处理方面的知识,还需要一些基于先验知识的理解和预测,更加深入的研究还会用到AI领域的方法和策略;
三是由于在检测摄像机的运动矢量的时候,会存在背景噪声,像前景中小物件的移动或运动,背景中树枝叶的摇动,以及目标自身的运动、异物进入视场等都会对图像采集设备运动矢量的提取带来不利的影响。
这些问题的特点主要在于设备运动轨迹的复杂,局部抖动和全局运动难以区分,随机因素较多。所以仅仅使用一些基础的图像处理算法来实现是很困难的,因此我们对电子稳像技术有更高一层的要求。
在传统算法中,尤其前景的移动会导致电子稳像输出的图像越来越小,使得视频形状最后发生畸变,无法正常输出。传统算法无法保证实时性和性能的统一。
为了解决上面提到的问题,我们可以先根据具体情况建立正确的运动模型;充分利用运动信息如均匀性、周期性;还可以结合图像理解的诸多方法来进行运动估计;有时我们从整体的角度出发,可以更好的解决问题,而非上来求解局部运动。文章《图像抖动条件下跟踪数据的处理技术》中提供了一种十分有价值的思路,但更灵活的方法需要进一步的研究,如神经网络方法,思考如何充分利用神经网络的优良性能;使用运动估值与矢量量化相结合的方法来提高帧间预测的精度。另外,一个优良的实验结果不仅取决于电子稳像算法本身,对于高精度的硬件设备也有要求,采用高速、大存储量的硬件设备更能保证图像的稳定。
发明内容
针对现有技术的不足,本发明提供了一种基于区域匹配的快速电子稳像方法。
本发明的技术方案为:
一种基于区域匹配的快速电子稳像方法,具体步骤包括:
(1)读出视频图像帧,选取第一副图像帧作为参考帧,其余作为待处理的图像帧;
(2)采用MSER最大极值稳定区域算法,提取当前图像帧的MSER特征区域,将提取出的所有MSER特征区域按照面积从大到小排序,选取出前n位的MSER特征区域,将当前帧与参考帧进行区域匹配,得到当前帧匹配分数,对应的MSER特征区域作为特征点提取区域,n的取值范围为2-4;按照此方法,统计视频中所有帧的匹配分数,绘制出曲线,曲线的横坐标为当前图像帧的帧数,纵坐标代表每一帧与参考帧特征区域的匹配分数;
(3)对步骤(2)得到的所有帧的匹配分数进行小波变换,滤出高频信息,保留低频信息;相当于保留全局运动而去除抖动。
(4)对步骤(2)得到的特征点提取区域进行区域标定,并在标定后的区域进行FAST特征点检测,提取出特征点;取代了传统算法中对整幅图像进行特征点检测的方法,使得提取出来的特征点更加稳定,性能优越;并且,传统的特征点提取还要进行特征点筛去,筛去野点,防止误匹配,而FAST角点提取速度非常快,这样做大大节省了时间,增强了匹配的可靠性,减小了特征点之间的误匹配概率。
(5)进行特征点匹配,估计全局运动参数;
(6)对图像进行反向运动补偿,补偿的量度由滤波前后的匹配分数之比决定。
相比与传统算法直接对运动参数进行完全反向补偿,本算法的部分补偿避免了前景运动所导致的局部运动和全局运动的混淆,在一定程度上优化了视频输出图像的畸变。
根据本发明优选的,所述步骤(2),匹配分数的计算公式如式(Ⅰ)所示:
D ( i ) = Σ m = 1 M Σ n = 1 N [ S i ( m , n ) * T ( m , n ) ] - - - ( I )
式(Ⅰ)中,D(i)为第i副图像帧与参考帧的匹配分数,Si(m,n)为参考帧坐标(m,n)处的灰度值,T(m,n)为当前帧坐标(m,n)处灰度值,坐标(m,n)所处的坐标系为图像坐标系,图像左上角起点为原点,x轴为图像的水平轴,y轴为图像的竖直轴,M是指图像的横坐标最大索引值,也就是图像的宽度,N是指图像的纵坐标的最大索引值,也就是图像的长度。
匹配准则采用重复性准则,即参考帧与当前帧是如何对应的,通过统计特征区域特征点灰度的相关值做为匹配分数,对区域之间的重叠程度进行量化,效果越好,该分数越高。
根据本发明优选的,所述步骤(2),设定阈值a,a的取值范围为20-40帧;设定阈值b,b的取值范围为10-20帧,具体包括:
A、采用MSER最大极值稳定区域算法,将当前帧图像与参考帧进行区域匹配,得到匹配分数,如果得到的匹配分数小于a,则匹配失败,丢弃当前帧,进入步骤B;否则,对匹配分数进行小波变换,滤出高频信息,保留低频信息;
B、对接下来的b帧图像执行步骤A,如果接下来的b帧图像均匹配失败,则选择当前帧作为参考帧。
针对认为大幅度运动的情形,传统算法会匹配失败,导致后续无法进一步处理。我们的算法通过增加一个阈值b使得机器自动判断大幅度运动为抖动还是全局运动,从而做出相应的处理,能够应对更加复杂的运动情况,更加智能化。
根据本发明优选的,所述步骤(3),对匹配分数进行小波变换,滤出高频信息,保留低频信息,具体包括:
C、对匹配分数进行一维离散小波变换,去除高频分量;
D、小波重构,所述小波包括:haar小波、bior小波、coif小波。
对匹配分数进行一维离散小波变换(DWT),滤除高频信息,再进行一维离散小波重构(idwt),算法中采用haar小波进行小波变换。保留了低频信息,相当于保留了全局运动而在一定程度上去除抖动。相比于传统算法对水平运动、竖直运动、角度变换三者进行滤波,从而估算全局运动向量,本算法仅需要对区域匹配分数一项目标值进行滤波,这使得算法在保证性能的基础上大大节省了时间,提高了效率,满足了实时性的要求。
根据本发明优选的,采用RANSAC随机抽样一致算法对FAST角点进行特征点匹配,求解运动状态方程式(Ⅱ)、式(Ⅲ),估计全局运动参数,全局运动参数包括:水平位移,竖直位移,旋转角度,图像缩放尺度;式(Ⅱ)、式(Ⅲ)如下所示:
xf=xiλcosθ-yiλsinθ+Tx (Ⅱ)
yf=xiλsinθ+yiλcosθ+Ty (Ⅲ)
式(Ⅱ)、式(Ⅲ)中,(xi,yi)为参考帧特征点坐标,(xf,yf)为当前帧对应特征点坐标,λ为缩放尺度,θ为旋转角度,Tx为水平位移,Ty为竖直位移。
根据本发明优选的,所述步骤(5),具体包括:步骤(2)得到的匹配分数,对匹配分数由小变大的图像帧进行反向运动补偿,由对匹配分数由大变小的图像帧忽略不计,不进行运动补偿。通过这种策略判断出人为造成的“过平稳现象”,即在全局运动过程中手持设备的突然静止,从而不会对视频图像帧进行“过补偿”。
根据本发明优选的,所述步骤(5),通过以下公式进行反向运动补偿,
Δx ′ = G b G a · Δ x - - - ( I V )
Δy ′ = G b G a · Δ y - - - ( V )
Δλ ′ = G b G a · Δ λ - - - ( V I I )
Gb为滤波前两帧图像的匹配分数,Ga为滤波后两帧图像的匹配分数。水平位移、竖直位移、旋转角度以及图像缩放因子均与滤波前后匹配分数之比相乘,以此来达到部分补偿的效果,防止人为造成的“过平稳”现象。Δx为滤波前得到的水平位移,Δx'为滤波后得到的水平位移,Δy为滤波前得到的竖直位移,Δy'为滤波后得到的竖直位移,Δθ为滤波前得到的旋转角度,Δθ'为滤波后得到的旋转角度,Δλ为滤波前得到的图像缩放尺度因子,Δλ'为滤波后图像缩放尺度因子。
本发明的有益效果为:
1、本发明利用稳像算法实现了图像序列的稳定,因此具有快速、高精度、低功耗等优点。我们的电子稳像基本算法相对完善,对于有平移运动、简单的旋转运动(单轴小角度旋转)以及图像上有小目标运动物体的图像序列可以做到快速、准确的稳定,同时在一定程度上缓解了图像输出后的放缩性形变。
2、针对录像,本发明有效去除摄像机的抖动,匹配分数滤波方法又使结果序列跟随扫描场景,能够实时准确的稳定图像序列。这种算法由于利用的是初始参考帧和当年帧的对比,两者之间图像变化较大,所以对摄像机小的旋转依旧非常敏感,同时该算法不是通过行列投影相关求出运动参数,所以并不要求所摄图像灰度变化明显,具有较强的鲁棒性。另外部分运动补偿技术以及双阈值参考帧设定方法使得对于图像序列存在大旋转运动和变焦运动时,依旧能够保证视频输出的稳定性。
附图说明
图1为MSER最大极值稳定区域算法区域检测效果图;
图2为MSER最大极值稳定区域算法区域标定效果图;
图3为视频图像匹配分数滤波对比效果图;
图4为传统算法特征点提取效果图;
图5为MSER稳定区域特征点提取效果图;
图6为原始输入视频图像帧均值效果图;
图7为传统算法视频图像均值效果图;
图8为本发明所述方法得到的视频图像均值效果图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定,但不限于此。
实施例1
一种基于区域匹配的快速电子稳像方法,本实施例选取针对一段10s/298帧的视频,具体步骤包括:
(1)读出视频图像帧,选取第一副图像帧作为参考帧,其余作为待处理的图像帧;
(2)采用MSER最大极值稳定区域算法,提取当前图像帧的MSER特征区域,将提取出的所有MSER特征区域按照面积从大到小排序,选取出前3位的MSER特征区域,将当前帧与参考帧进行区域匹配,得到当前帧匹配分数,对应的MSER特征区域作为特征点提取区域,按照此方法,统计视频中所有帧的匹配分数,绘制出曲线,曲线的横坐标为当前图像帧的帧数,纵坐标代表每一帧与参考帧特征区域的匹配分数;MSER最大极值稳定区域算法区域检测效果图如图1所示。
(3)对步骤(2)得到的所有帧的匹配分数进行小波变换,滤出高频信息,保留低频信息;相当于保留全局运动而去除抖动。视频图像匹配分数滤波对比效果图如图3所示。
(4)对步骤(2)得到的特征点提取区域进行区域标定,MSER最大极值稳定区域算法区域标定效果图如图2所示。并在标定后的区域进行FAST特征点检测,提取出特征点,MSER稳定区域特征点提取效果图如图5所示;传统算法特征点提取效果图如图4所示。MSER稳定区域特征点提取(改良算法)与传统算法的时间及性能对比如表1所示:
传统算法 改良算法
单张特征点检测 0.003s 0.00056s
MSER检测 0s(无) 0.052s
特征匹配及运动补偿 0.12s 0.1s
总时间 36s 29.8s
单张图片PSNR 26.83 30.37
传统算法特征点提提取要进行特征点筛去,筛去野点,防止误匹配,MSER稳定区域特征点提取取代了传统算法中对整幅图像进行特征点检测的方法,使得提取出来的特征点更加稳定,性能优越;并且,而FAST角点提取速度非常快,10s的视频我们的算法时间优化达到6.2s,针对一段20分钟的视频,我们的算法可以优化12.4分钟,效率明显提高,大大节省了时间,增强了匹配的可靠性,减小了特征点之间的误匹配概率。
(5)进行特征点匹配,估计全局运动参数;
(6)对图像进行反向运动补偿,补偿的量度由滤波前后的匹配分数之比决定。
本实施例在视频的图像序列中选取10帧,进行均值化处理,然后对比改良算法与传统算法的性能。图6为原始输入视频图像帧均值效果图;图7为传统算法视频图像均值效果图;图8为本发明所述方法得到的视频图像均值效果图。
实施例2
根据实施例1所述的一种基于区域匹配的快速电子稳像方法,其区别在于,
所述步骤(2),匹配分数的计算公式如式(Ⅰ)所示:
D ( i ) = Σ m = 1 M Σ n = 1 N [ S i ( m , n ) * T ( m , n ) ] - - - ( I )
式(Ⅰ)中,D(i)为第i副图像帧与参考帧的匹配分数,Si(m,n)为参考帧坐标(m,n)处的灰度值,T(m,n)为当前帧坐标(m,n)处灰度值,坐标(m,n)所处的坐标系为图像坐标系,图像左上角起点为原点,x轴为图像的水平轴,y轴为图像的竖直轴,M是指图像的横坐标最大索引值,也就是图像的宽度,N是指图像的纵坐标的最大索引值,也就是图像的长度。
匹配准则采用重复性准则,即参考帧与当前帧是如何对应的,通过统计特征区域特征点灰度的相关值做为匹配分数,对区域之间的重叠程度进行量化,效果越好,该分数越高。
所述步骤(2),设定阈值a,a的取值范围为20-40帧;设定阈值b,b的取值范围为10-20帧,具体包括:
A、采用MSER最大极值稳定区域算法,将当前帧图像与参考帧进行区域匹配,得到匹配分数,如果得到的匹配分数小于a,则匹配失败,丢弃当前帧,进入步骤B;否则,对匹配分数进行小波变换,滤出高频信息,保留低频信息;
B、对接下来的b帧图像执行步骤A,如果接下来的b帧图像均匹配失败,则选择当前帧作为参考帧。
针对认为大幅度运动的情形,传统算法会匹配失败,导致后续无法进一步处理。我们的算法通过增加一个阈值b使得机器自动判断大幅度运动为抖动还是全局运动,从而做出相应的处理,能够应对更加复杂的运动情况,更加智能化。
所述步骤(3),对匹配分数进行小波变换,滤出高频信息,保留低频信息,具体包括:
C、对匹配分数进行一维离散小波变换,去除高频分量;
D、小波重构,所述小波包括:haar小波、bior小波、coif小波。
对匹配分数进行一维离散小波变换(DWT),滤除高频信息,再进行一维离散小波重构(idwt),算法中采用haar小波进行小波变换。保留了低频信息,相当于保留了全局运动而在一定程度上去除抖动。相比于传统算法对水平运动、竖直运动、角度变换三者进行滤波,从而估算全局运动向量,本算法仅需要对区域匹配分数一项目标值进行滤波,这使得算法在保证性能的基础上大大节省了时间,提高了效率,满足了实时性的要求。
采用RANSAC随机抽样一致算法对FAST角点进行特征点匹配,求解运动状态方程式(Ⅱ)、式(Ⅲ),估计全局运动参数,全局运动参数包括:水平位移,竖直位移,旋转角度,图像缩放尺度;式(Ⅱ)、式(Ⅲ)如下所示:
xf=xiλcosθ-yiλsinθ+Tx (Ⅱ)
yf=xiλsinθ+yiλcosθ+Ty (Ⅲ)
式(Ⅱ)、式(Ⅲ)中,(xi,yi)为参考帧特征点坐标,(xf,yf)为当前帧对应特征点坐标,λ为缩放尺度,θ为旋转角度,Tx为水平位移,Ty为竖直位移。
所述步骤(5),具体包括:步骤(2)得到的小波变换后的匹配分数,对匹配分数由小变大的图像帧进行反向运动补偿,由对匹配分数由大变小的图像帧忽略不计,不进行运动补偿。通过这种策略判断出人为造成的“过平稳现象”,即在全局运动过程中手持设备的突然静止,从而不会对视频图像帧进行“过补偿”。
所述步骤(5),通过以下公式进行反向运动补偿,
Δx ′ = G b G a · Δ x - - - ( I V )
Δy ′ = G b G a · Δ y - - - ( V )
Δλ ′ = G b G a · Δ λ - - - ( V I I )
Gb为滤波前两帧图像的匹配分数,Ga为滤波后两帧图像的匹配分数。水平位移、竖直位移、旋转角度以及图像缩放因子均与滤波前后匹配分数之比相乘,以此来达到部分补偿的效果,防止人为造成的“过平稳”现象。Δx为滤波前得到的水平位移,Δx'为滤波后得到的水平位移,Δy为滤波前得到的竖直位移,Δy'为滤波后得到的竖直位移,Δθ为滤波前得到的旋转角度,Δθ'为滤波后得到的旋转角度,Δλ为滤波前得到的图像缩放尺度因子,Δλ'为滤波后图像缩放尺度因子。

Claims (7)

1.一种基于区域匹配的快速电子稳像方法,其特征在于,具体步骤包括:
(1)读出视频图像帧,选取第一副图像帧作为参考帧,其余作为待处理的图像帧;
(2)采用MSER最大极值稳定区域算法,提取当前图像帧的MSER特征区域,将提取出的所有MSER特征区域按照面积从大到小排序,选取出前n位的MSER特征区域,将当前帧与参考帧进行区域匹配,得到当前帧匹配分数,对应的MSER特征区域作为特征点提取区域,n的取值范围为2-4;按照此方法,统计视频中所有帧的匹配分数,绘制出曲线,曲线的横坐标为当前图像帧的帧数,纵坐标代表每一帧与参考帧特征区域的匹配分数;
(3)对步骤(2)得到的所有帧的匹配分数进行小波变换,滤出高频信息,保留低频信息;
(4)对步骤(2)得到的特征点提取区域进行区域标定,并在标定后的区域进行FAST特征点检测,提取出特征点;
(5)进行特征点匹配,估计全局运动参数;
(6)对图像进行反向运动补偿,补偿的量度由滤波前后的匹配分数之比决定。
2.根据权利要求1所述的一种基于区域匹配的快速电子稳像方法,其特征在于,所述步骤(2),匹配分数的计算公式如式(Ⅰ)所示:
D ( i ) = Σ m = 1 M Σ n = 1 N [ S i ( m , n ) * T ( m , n ) ] - - - ( I )
式(Ⅰ)中,D(i)为第i副图像帧与参考帧的匹配分数,Si(m,n)为参考帧坐标(m,n)处的灰度值,T(m,n)为当前帧坐标(m,n)处灰度值,坐标(m,n)所处的坐标系为图像坐标系,图像左上角起点为原点,x轴为图像的水平轴,y轴为图像的竖直轴,M是指图像的横坐标最大索引值,也就是图像的宽度,N是指图像的纵坐标的最大索引值,也就是图像的长度。
3.根据权利要求1所述的一种基于区域匹配的快速电子稳像方法,其特征在于,所述步骤(2),设定阈值a,a的取值范围为20-40帧;设定阈值b,b的取值范围为10-20帧,具体包括:
A、采用MSER最大极值稳定区域算法,将当前帧图像与参考帧进行区域匹配,得到匹配分数,如果得到的匹配分数小于a,则匹配失败,丢弃当前帧,进入步骤B;否则,对匹配分数进行小波变换,滤出高频信息,保留低频信息;
B、对接下来的b帧图像执行步骤A,如果接下来的b帧图像均匹配失败,则选择当前帧作为参考帧。
4.根据权利要求1所述的一种基于区域匹配的快速电子稳像方法,其特征在于,所述步骤(3),对匹配分数进行小波变换,滤出高频信息,保留低频信息,具体包括:
C、对匹配分数进行一维离散小波变换,去除高频分量;
D、小波重构,所述小波包括:haar小波、bior小波、coif小波。
5.根据权利要求1所述的一种基于区域匹配的快速电子稳像方法,其特征在于,采用RANSAC随机抽样一致算法对FAST角点进行特征点匹配,求解运动状态方程式(Ⅱ)、式(Ⅲ),估计全局运动参数,全局运动参数包括:水平位移,竖直位移,旋转角度,图像缩放尺度;式(Ⅱ)、式(Ⅲ)如下所示:
xf=xiλcosθ-yiλsinθ+Tx (Ⅱ)
yf=xiλsinθ+yiλcosθ+Ty (Ⅲ)
式(Ⅱ)、式(Ⅲ)中,(xi,yi)为参考帧特征点坐标,(xf,yf)为当前帧对应特征点坐标,λ为缩放尺度,θ为旋转角度,Tx为水平位移,Ty为竖直位移。
6.根据权利要求1所述的一种基于区域匹配的快速电子稳像方法,其特征在于,所述步骤(5),具体包括:步骤(2)得到的匹配分数,对匹配分数由小变大的图像帧进行反向运动补偿,由对匹配分数由大变小的图像帧忽略不计,不进行运动补偿。
7.根据权利要求1所述的一种基于区域匹配的快速电子稳像方法,其特征在于,所述步骤(5),通过以下公式进行反向运动补偿,
Δx ′ = G b G a · Δ x - - - ( I V )
Δy ′ = G b G a · Δ y - - - ( V )
Δθ ′ = G b G a · Δ θ - - - ( V I )
Δλ ′ = G b G a · Δ λ - - - ( V I I )
Gb为滤波前两帧图像的匹配分数,Ga为滤波后两帧图像的匹配分数;Δx为滤波前得到的水平位移,Δx'为滤波后得到的水平位移,Δy为滤波前得到的竖直位移,Δy'为滤波后得到的竖直位移,Δθ为滤波前得到的旋转角度,Δθ'为滤波后得到的旋转角度,Δλ为滤波前得到的图像缩放尺度因子,Δλ'为滤波后图像缩放尺度因子。
CN201610885140.0A 2016-10-10 2016-10-10 一种基于区域匹配的快速电子稳像方法 Expired - Fee Related CN106357958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610885140.0A CN106357958B (zh) 2016-10-10 2016-10-10 一种基于区域匹配的快速电子稳像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610885140.0A CN106357958B (zh) 2016-10-10 2016-10-10 一种基于区域匹配的快速电子稳像方法

Publications (2)

Publication Number Publication Date
CN106357958A true CN106357958A (zh) 2017-01-25
CN106357958B CN106357958B (zh) 2019-04-16

Family

ID=57865917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610885140.0A Expired - Fee Related CN106357958B (zh) 2016-10-10 2016-10-10 一种基于区域匹配的快速电子稳像方法

Country Status (1)

Country Link
CN (1) CN106357958B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220935A (zh) * 2017-05-25 2017-09-29 长光卫星技术有限公司 一种视频卫星在轨视频稳像方法
CN110555805A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 图像处理的方法、装置、设备及存储介质
CN112288655A (zh) * 2020-11-09 2021-01-29 南京理工大学 一种基于mser区域匹配和低秩矩阵分解的海面图像稳像方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100239123A1 (en) * 2007-10-12 2010-09-23 Ryuji Funayama Methods and systems for processing of video data
CN102148934A (zh) * 2011-04-02 2011-08-10 北京理工大学 一种多模式实时电子稳像系统
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
CN102724387A (zh) * 2012-05-26 2012-10-10 安科智慧城市技术(中国)有限公司 一种电子稳像的方法及装置
CN103186899A (zh) * 2013-03-21 2013-07-03 清华大学深圳研究生院 一种仿射尺度不变的特征点提取方法
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN103813099A (zh) * 2013-12-13 2014-05-21 中山大学深圳研究院 一种基于特征点匹配的视频防抖方法
CN105611116A (zh) * 2015-12-23 2016-05-25 苏州科达科技股份有限公司 一种全局运动矢量估计方法及监控视频稳像方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100239123A1 (en) * 2007-10-12 2010-09-23 Ryuji Funayama Methods and systems for processing of video data
CN102148934A (zh) * 2011-04-02 2011-08-10 北京理工大学 一种多模式实时电子稳像系统
CN102231792A (zh) * 2011-06-29 2011-11-02 南京大学 基于特征匹配的电子稳像方法
CN102724387A (zh) * 2012-05-26 2012-10-10 安科智慧城市技术(中国)有限公司 一种电子稳像的方法及装置
CN103186899A (zh) * 2013-03-21 2013-07-03 清华大学深圳研究生院 一种仿射尺度不变的特征点提取方法
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN103813099A (zh) * 2013-12-13 2014-05-21 中山大学深圳研究院 一种基于特征点匹配的视频防抖方法
CN105611116A (zh) * 2015-12-23 2016-05-25 苏州科达科技股份有限公司 一种全局运动矢量估计方法及监控视频稳像方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐乐 等: "基于MSER与SURF的图形匹配新方法", 《微型电脑应用》 *
王晓华 等: "集成MSER和SIFT特征的遥感影像自动配准算法", 《光电工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220935A (zh) * 2017-05-25 2017-09-29 长光卫星技术有限公司 一种视频卫星在轨视频稳像方法
CN107220935B (zh) * 2017-05-25 2020-07-31 长光卫星技术有限公司 一种视频卫星在轨视频稳像方法
CN110555805A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 图像处理的方法、装置、设备及存储介质
CN110555805B (zh) * 2018-05-31 2022-05-31 杭州海康威视数字技术股份有限公司 图像处理的方法、装置、设备及存储介质
CN112288655A (zh) * 2020-11-09 2021-01-29 南京理工大学 一种基于mser区域匹配和低秩矩阵分解的海面图像稳像方法
CN112288655B (zh) * 2020-11-09 2022-11-01 南京理工大学 一种基于mser区域匹配和低秩矩阵分解的海面图像稳像方法

Also Published As

Publication number Publication date
CN106357958B (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN106534616B (zh) 一种基于特征匹配与运动补偿的视频稳像方法及系统
CN106780620B (zh) 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN102098440B (zh) 针对摄像机抖动下运动目标检测的电子稳像方法及系统
CN104978715B (zh) 一种基于滤波窗口及参数自适应的非局部均值图像去噪方法
CN103455797B (zh) 航拍视频中运动小目标的检测与跟踪方法
CN104144282B (zh) 一种适用于空间机器人视觉系统的快速数字稳像方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN103079037B (zh) 基于远近景切换的自适应电子稳像方法
CN107590234B (zh) 一种基于ransac的室内视觉定位数据库冗余信息减少的方法
CN106372598A (zh) 一种基于图像特征检测的消除视频旋转和抖动的稳像方法
CN106357958A (zh) 一种基于区域匹配的快速电子稳像方法
CN114979489A (zh) 基于陀螺仪的重型装备生产场景视频监控稳像方法及系统
CN105100546A (zh) 运动估计方法及装置
CN111210394A (zh) 一种基于深度分解合成网络的图像增强技术
CN105469428B (zh) 一种基于形态学滤波和svd的弱小目标检测方法
CN107360377B (zh) 一种车载视频稳像方法
CN105049678B (zh) 一种基于绕环自适应相机路径优化的视频防抖方法
CN110827355B (zh) 一种基于视频图像坐标的移动目标快速定位方法及系统
CN109919832A (zh) 一种用于无人驾驶的交通图像拼接方法
CN103514587B (zh) 基于海天分界线检测的舰载稳像方法
CN113205494B (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统
CN113673515A (zh) 一种计算机视觉目标检测算法
CN109858483A (zh) 基于共生滤波形态学和局部熵的小目标检测方法
CN103489201A (zh) 基于运动模糊信息的目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190416

Termination date: 20201010

CF01 Termination of patent right due to non-payment of annual fee