CN106529591A - 一种基于改进的mser图像匹配算法 - Google Patents

一种基于改进的mser图像匹配算法 Download PDF

Info

Publication number
CN106529591A
CN106529591A CN201610972381.9A CN201610972381A CN106529591A CN 106529591 A CN106529591 A CN 106529591A CN 201610972381 A CN201610972381 A CN 201610972381A CN 106529591 A CN106529591 A CN 106529591A
Authority
CN
China
Prior art keywords
point
mser
image
region
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610972381.9A
Other languages
English (en)
Inventor
颜微
付东奇
马昊辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Yuan Xin Electro-Optical Technology Inc (us) 62 Martin Road Concord Massachusetts 017
Original Assignee
Hunan Yuan Xin Electro-Optical Technology Inc (us) 62 Martin Road Concord Massachusetts 017
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Yuan Xin Electro-Optical Technology Inc (us) 62 Martin Road Concord Massachusetts 017 filed Critical Hunan Yuan Xin Electro-Optical Technology Inc (us) 62 Martin Road Concord Massachusetts 017
Priority to CN201610972381.9A priority Critical patent/CN106529591A/zh
Publication of CN106529591A publication Critical patent/CN106529591A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉领域,特指一种基于改进的MSER图像匹配算法。将尺度不变特征子(SURF)和最大稳定极值区域特征子(MSER)相结合来进行图像特征提取和匹配的方法,以产生特征矢量,然后利用欧式距离进行图像的粗匹配,以初步校正图像的空间几何变形。再应用H‑L特征具有的尺度不变,包含大量图像结构信息的特征点都能够被检测到。该算法可以充分利用二者在图像多种变换情况下提取特征的互补性,来达到在时间条件可接受范围内,复杂环境中图像间匹配的稳健性。

Description

一种基于改进的MSER图像匹配算法
技术领域
本发明涉及计算机视觉领域,特指一种基于改进的MSER图像匹配算法。
背景技术
图像匹配不仅是图像处理的一项关键技术之一,而且在医学影像、计算机视觉及模式识别等领域中也是一个核心问题。
关于图像特征提取与匹配,国内外提出了很多有效的算法。现今的特征提取算法主要有角点特征检测、斑状特征检测和区域特征检测3大类。其中Lowe等提出的SIFT(Scale-invariant feature transform)算法,提取的特征点针对图像的平移、旋转、尺度及一定的视点变化都具有较好的稳定性,得到了广泛的应用。但是SIFT算法的明显缺点是计算数据量大,时间复杂度太高,导致对SIFT图像特征的提取和匹配所消耗时间过长。SURF(Speeded Up Robust Features)算法是对SIFT算法的一种改进,在大大降低时间复杂度的基础上对特征点的提取质量也有所保证。但SURF特征对放射变换的鲁棒性不够好。在众多仿射不变特征区域中,J.Matas等人提出的MSER(Maximally Stable External Region)检测子在多数情况下具有最佳性能。
发明内容
本发明要解决的技术问题在于:针对图像匹配这个特定问题,提出一种可以提高图像匹配的实时性和准确度的基于改进的MSER图像匹配算法。
本发明的技术方案具体如下,包括如下步骤:
1)分别提取两幅图像的MSER(Maximally Stable External Region)特征;
2)分别提取两幅图像的SURF(Speeded Up Robust Features)特征;
3)分别将两幅图像所提取的MSER特征和SURF特征融合在一起;
4)分别用SURF特征描述子对融合的特征进行统一描述;
5)对统一的SURF特征描述子进行特征粗匹配;
6)对特征描述子进行H-L(Harris-Laplace)特征精匹配。
作为本发明技术方案的进一步改进,所述步骤1)包括MSER值区域提取,提取步骤如下:
(1)像素点排序:采用箱排序的方法将图像像素点按照灰度值大小进行排序,产生出一个序列,该序列中每个单元存放了具有相同灰度值的像素点及其坐标。
(2)极值区域的提取:当像素点全部置入序列中的单元后,就获得了该图像所对应的全部极值区域,并根据最大稳定判定条件来获取MSER区域。
作为本发明技术方案的进一步改进,所述步骤1)中MSER最大稳定判定条件的确定:
对于每一个连通域Ri,通过分析区域树可以得到最大稳定判定条件:
取得局部极小值时对应的区域即为最大稳定极值区域,其中||为集合的势,为灰度阈值t所对应的某一极值区域i,Δ为稳定范围阈值差;
最大稳定极值区域确定之后,消除其中面积过大或者过小和面积变化率过大或过小的极值区域。
作为本发明技术方案的进一步改进,所述步骤2)中,分别提取两幅图像的SURF特征步骤如下:
2.1)建立Hessian矩阵,SURF的兴趣点使用Hessian矩阵行列式的局部最大值来定位,SURF通过改变滤波器的大小构造金字塔图层以提高计算速度;
2.2)在SURF建立的图像尺度空间中,每4个模板为一组,第一组中,相邻的模板尺度相差6个像素,第2组中相差12个像素,第3组中相差24个像素,以此类推,每一阶的第一个模板尺寸为上一阶的第二个模板的尺寸;
2.3)关键点定位,在计算各个尺度上Hessian矩阵的行列式极大值时,需要在3维(x,y,σ)尺度空间中,在每个3×3×3的局部区域里,进行非最大值抑制,将自身比周围26个点的响应值都大的点选为兴趣点,并利用3维2次函数拟合方法对兴趣点精确定位;
且设定一个阈值HessianThreshold,将在确定的兴趣点Hessian矩阵的行列式大于阈值HessianThreshold的点选取为关键点。
2.4)确定关键点主方向,其步骤如下:
2.4.1)以某个关键点为圆心,6σ为半径的圆形邻域里,用尺寸为4σ的Haar小波模板求X轴和Y轴两个方向的Haar小波响应,其中σ为尺度;
2.4.2)以关键点为中心进行σ为关键点所处尺度两倍的高斯加权;
2.4.3)在以上基础上用一个圆心角为π/3扇形窗口,以关键点为中心扫描一周,计算该扇形窗口每个π/3角度包括的图像点的Haar小波响应总和;
2.4.4)取上述计算得到的Haar小波响应中最大响应为关键点的主方向。
作为本发明技术方案的进一步改进,所述步骤3)具体包括:
首先将MSER区域调整为椭圆形区域,然后将该椭圆形区域转换为SURF描述子可使用的关键点,采用区域仿射不变椭圆拟合的方法计算MSER的椭圆度量区域,并将其归一化到单位圆;
调整为椭圆形区域的协方差矩阵形式:
其中,D(x)、D(y)、COV(x,y)分别为该区域内所有点的横坐标方差、纵坐标方差和横、纵坐标的协方差。
作为本发明技术方案的进一步改进,所述步骤4)包括构造一个中心点在关键点附近,带所述关键点主方向的方框,方框的边长设为20σ,其中σ为尺度;
所述构造方法包括:关键点主方向作为关键点邻域的Y轴方向,把方框区域分成16个子域,对每个子域计算25个空间归一化的采样点的Haar小波响应,即分别计算4个量∑dx、∑|dx|、∑dy、∑|dy|,并用一个矢量v=(Σdx、Σ|dx|、∑dy、∑|dy|)来表示每一个子区域,将方框区域内的64个子区域组合起来就得到了一个对于该方框区域的描述矢量。
作为本发明技术方案的进一步改进,所述步骤5)中:对提取的MSER特征区域采用椭圆SURF描述子描述,形成特征向量,并采用欧式距离的最近邻距离与次近邻距离的比值用以确定初始匹配点对;
配准图像间的变换关系采用仿射变换模型式表示:
式中:(xr,yr)是匹配点对在待配准图像中的坐标,相应的在参考图像中的坐标是(xt,yt),(a11,a12,a21,a22)是由图像间旋转角度和缩放尺度决定的变换模型参数,(tx,ty)是图像间的平移参数。
作为本发明技术方案的进一步改进,所述步骤6)包括选用RANSAC剔除错误的匹配点对,其具体步骤是:
6.1)应用H-L特征的欧氏距离的最近邻与次近邻距离比值确定候选匹配点对,在候选匹配点对中任选3对匹配点对确定所述仿射变换模型式的参数;
6.2)在余下的匹配点对中,若任选第i对候选匹配点(xli,yli)和点(xri,yri),将点(xli,yli)通过仿射变换模型式变换得到在待匹配图像中坐标为(xi,yi),如果|xri-xi|<e,且|yri-yi|<e,则认为该点对在误差e范围内满足仿射变换模型式的变换参数,如果满足这个条件,则匹配点技术cP(control Point)就增加1,继续重复该步骤,当余下的点都被取完时即进行下步操作;
6.3)当cP>T时,T为阈值,则当前的变换参数即作为最终仿射变换参数,此时结束运算,否则返回步骤(1);
6.4)在计算所有任意3点对组合后,结束运算,取cP达到最大值时的变换参数作为所述仿射变换模型式的最终仿射变换参数,并把满足最终参数的变换点对作为正确匹配点对。
与现有技术相比,本发明具有以下有益效果:
1、本发明的基于改进的MSER图像匹配算法,利用将尺度不变特征子(SURF)和最大稳定极值区域特征子(MSER)相结合来进行图像特征提取和匹配的方法,以产生特征矢量,然后利用欧式距离进行图像的粗匹配,以初步校正图像的空间几何变形。再应用H-L特征具有的尺度不变,包含大量图像结构信息的特征点都能够被检测到。该算法可以充分利用二者在图像多种变换情况下提取特征的互补性,来达到在时间条件可接受范围内,复杂环境中图像间匹配的稳健性。节约了图像匹配过程的运行时间,使图像在仿射变化下具有了良好的鲁棒性,并满足图像匹配准确度的要求。
附图说明
图1是实施例所述改进的MSER图像匹配算法流程图。
图2是实施例所述的滤波器模板图。
图3是实施例所述的椭圆拟合图。
图4是实施例所述的描述子图。
图5是实施例所述匹配结果与各方法匹配结果的比较图。
具体实施方式
现结合说明书附图对本发明详细说明,本实施例为一种基于改进的MSER图像匹配算法,其包括以下步骤:
第一步,分别提取两幅图像的MSER特征;
最大稳定极值区域(Maximally Stable External Region),简称MSER,MSER检测子在众多仿射不变特征区域中,多数情况下具有最佳性能。MSER对于它的外界来说是具有密度极值的区域。其基本思想是:对于任意一幅灰度图片,从小到大选取中所有可能的阈值0-255。将图像中小于阈值的像素点设为0,大于阈值的像素点设为1,于是得到256幅二值图像,对于每一幅图像来说都会有许多连通区域,MSER就是这些区域中随阈值的变化其面积变化小于某个值的区域。
1.1、值区域提取
1、像素点排序:采用箱排序的方法将图像像素按照灰度值大小进行排序,从而产生出一个序列,序列中每个单元存放了具有相同灰度值的像素及其坐标。
2、极值区域的提取:某一阈值图像I,对于该图像I上的任意像素点P:
(1)若它的所有邻域像素都不属于某已知的节点,则建立一新节点,该新节点包含像素点P;
(2)若它有部分或所有邻域像素都属于某已知最上层节点,而其他不属于任何已知节点的邻域像素还没进行判定,且该像素点P灰度值等于已知最上层节点,则标定像素点P属于该已知节点。
(3)若它有部分或所有邻域像素都属于某已知最上层节点,而其他不属于任何已知节点的邻域像素还没进行判定,如果该像素点P灰度值不等于已知最上层节点,则建立一新节点并标记为已知节点的父节点,该新节点包含像素点P;
(4)若它的部分或所有邻接像素属于几个不同已知最上层节点,而其他不属于任何已知节点的邻域像素还没进行判定,则建立一个新节点并标记为这些已知节点的父节点,该新节点包含像素点P。
当像素点全部置入序列中的单元后,就获得了该图像I所对应的全部极值区域,最后可根据最大稳定判定条件来获取MSER区域。
1.2最大稳定判定条件
根据区域树的性质可知,从叶节点向其最好父节点的寻路过程是一个区域面积不断增加的过程。当某个极值区域沿着区域树中某一叶节点向根节点移动,且在2Δ的阈值范围之内改变时,该极值区域的面积在这一过程中几乎不改变,这样的极值区域就是MSER,所述Δ为稳定范围阈值差,本实施例Δ=5。因此,对于每一个连通域Ri通过分析区域树可以得到最大稳定判定条件:
取得局部极小值时对应的区域即为最大稳定极值区域。其中||为集合的势,为灰度阈值t所对应的某一极值区域i;Δ为稳定范围阈值差,本发明Δ=5。最大稳定极值区域确定之后,需要消除其中面积过大或者过小和面积变化率过大或过小的极值区域。
第二步:分别提取两幅图像的SURF特征;
2.1Hessian矩阵
SURF的兴趣点使用Hessian矩阵行列式的局部最大值来定位。由Hessian矩阵性质可知,当Hessian矩阵行列式局部最大时,检测出的是比周围区域更亮或更暗的斑状结构。对于一幅图像I,X为其上一点,那么在X点的σ尺度上的Hessian矩阵定义为:
其中x,y为在X处的横纵坐标,Lxx(X,σ)表示高斯二阶偏导在X处与图像I的卷积;Lxy(X,σ)表示高斯二阶偏导在X处与图像I的卷积,先对X点的横坐标x求一次偏导,再对纵坐标y求二次偏导;Lyy(X,σ)表示高斯二阶偏导在X处与图像I的卷积,对X点的纵坐标y求二次偏导。为了提高效率同时不影响效果的基础上,直接用框状滤波器去近似高斯的二阶偏导,如图2所示。
在上述近似模板中用Dxx,Dyy和Dxy来近似代替Hessian矩阵中的Lxx,Lyy,Lxy,于是Hessian矩阵行列式就可以近似表示为:
det(Happrox)=DxxDyy-(wDxy)2 (3)
其中w是权重系数,一般取0.9。用这个Hessian矩阵行列式对图像I中每一点求取响应并记录下来就得可以得到某一尺度上的响应图。
2.2建立尺度空间
为了提高计算速度,SURF通过改变滤波器的大小构造金字塔图层,而不是像SIFT中对图像构造金字塔图层,这样做是为了利用与积分图相关的快速计算。
在SURF建立的尺度空间中,每4个模板为一组,第一组中,相邻的模板尺度相差6个像素,第2组中相差12个像素,第3组中相差24个像素,以此类推,模板可以看成是特征点附近的区域。每一组的第一个模板尺寸是上一组的第二个模板的尺寸。
2.3关键点定位
在计算各个尺度上Hessian矩阵的行列式极大值时,需要在3维(x,y,σ)尺度空间中,在每个3×3×3的局部区域里,进行非最大值抑制,比周围26个点的响应值都大的点才被选为兴趣点;然后利用3维2次函数拟合方法对兴趣点精确定位。本实施例选择HessianThreshold=400,只有在确定的兴趣点Hessian矩阵的行列式大于HessianThreshold才被选取为关键点。
2.4关键点主方向确定
主方向用于保证SURF关键点的描述子具有旋转不变的性能,关键点主方向确定的步骤:
(1)以某个关键点为圆心,6σ(σ为尺度)为半径的圆形邻域里,用尺寸为4σ的Haar小波模板求X和Y两个方向的Haar小波响应。
(2)以关键点为中心进行σ为关键点所处尺度两倍的高斯加权。
(3)在以上基础上用一个圆心角为π/3扇形窗口,以关键点为中心扫描一周,计算每个π/3角度该扇形窗口内包括的图像点的Haar小波响应总和。
(4)取其中最大响应为该关键点的主方向。
第三步,分别将两幅图像MSER特征和SURF特征融合在一起;
首先要将MSER区域调整为椭圆形区域,然后将该椭圆区域转换为SURF描述子可使用的关键点。这里采用区域仿射不变椭圆拟合的方法计算MSER的椭圆度量区域,并将其归一化到单位圆。
调整为椭圆形区域的协方差矩阵形式为:
其中,D(x)、D(y)、COV(x,y)分别为该椭圆形区域内所有点的横坐标方差、纵坐标方差和横纵坐标的协方差。该协方差矩阵为对称矩阵,根据它的特征向量和特征根,可以得到调整后椭圆的长短轴方向和幅值,a1和a2即为长短轴幅值,θ代表长轴的方向,(E(x),E(y))为关键点中心坐标,如图3所示。
第四步,分别用SURF特征描述子对融合的特征进行统一描述;
下面将MSER和SURF关键点统一采用SURF描述子进行描述,构造一个中心点在关键点附近,带方向(该方向是前面计算的关键点的主方向)的方框,该方框的边长设为20σ(σ为尺度)。
具体方法:关键点主方向作为关键点邻域的Y轴方向,把该方框区域分成16(4*4)个子域,对每个子域计算25(5*5)个空间归一化的采样点的Haar小波响应,即分别计算4个量∑dx、∑|dx|、∑dy、∑|dy|,用矢量v=(∑dx、∑|dx|、∑dy、∑|dy|)来表示每一个子区域。将方框区域内的64个子区域组合起来就得到了一个对于该方框区域的描述矢量。某一区域描述子的图形化描述,如图4所示。
第五步,对统一的SURF特征描述子进行特征粗匹配。
粗匹配的目的是获得配准图像间的旋转角度及缩放尺度,初步校正待配准图像的空间几何变换。匹配过程是:首先对提取的MSER特征区域采用椭圆SURF描述子描述,形成特征向量;然后采用欧式距离的最近邻距离与次近邻距离的比值来确定初始匹配点对的匹配策略,这是因为正确匹配点对总是比错误匹配点对存在明显的最近邻距离,而且用欧式距离的最近邻距离与次近邻距离的比值来确定初始匹配点对的匹配策略以牺牲正确匹配点数,来提高匹配精度,因此运用该匹配策略可以获得稳定的初始匹配点对。
配准图像间的变换关系采用如式(5)所示的仿射变换模型表示:
式中:(xr,yr)是匹配点对在待配准图像中的坐标,相应的在参考图像中的坐标是(xt,yt),(a11,a12,a21,a22)是由图像间旋转角度和缩放尺度决定的变换模型参数,(tx,ty)是图像间的平移参数。这6个参数至少需要3对正确的匹配特征点确定。因为,在粗匹配点对中任选3对匹配点即可求取模型的变换参数。
第六步,最后对特征描述子进行H-L(Harris-Laplace)特征精匹配。
对经过粗匹配校正后的图像,为了能够实现图像间的高精度配准,在精匹配阶段运用H-L特征的欧氏距离进行匹配。但是受背景噪声和计算精度等影响,经欧氏距离匹配后,仍会存在大量的错误匹配,因此,本发明选用RANSAC剔除错误的匹配点对,以此达到图像的高精度配准,其具体步骤是:
(1)应用H-L特征的欧氏距离的最近邻与次近邻距离比值确定候选匹配点对,在候选匹配点对中任选3对匹配点对确定模型式(5)的参数。
(2)在余下的匹配点对中,若任选第i对候选匹配点(xli,yli)和点(xri,yri),将点(xli,yli)通过模型式(5)变换得到在待匹配图像中坐标为(xi,yi),如果|xri-xi|<e,且|yri-yi|<e,e为误差,则认为该点对在误差e范围内满足模型式(5)的变换参数,如果满足这个条件,则匹配点技术cP(control Point)就增加1,继续重复该步骤(2),当余下的点都被取完时即进行下步操作。
(3)当cP>T(阈值)时,则此时的变换参数即作为最终仿射变换参数,此时结束运算,否则返回步骤(1)。
(4)在计算所有任意3点对组合后,结束运算,取cP达到最大值时的变换参数作为模型式(5)的最终仿射变换参数,并把满足最终参数的变换点对作为正确匹配点对。
在发明中,取误差e=2,如候选匹配数为N,则阈值T可取N/4。由于错误匹配点对总是少于正确匹配点对,因此RANSAC收敛速度比较快,不需要计算所有候选匹配点的组合。
算法 匹配对数 处理时间(秒)
改进的MSER(5a) 160 14.7478
SIFT(5b) 183 119.524
SIFT+MSER(5c) 203 205.645
表1
上面表1为图5中三种不同算法的匹配数据,由表1明显可见,图(5b)、(5c)算法对比图(5a)虽然匹配对数更多,但在图5中可以明显看出存在很多误匹配,且消耗时间也是难以接受。因此,本发明算法不仅在匹配对数上对传统方法所有改进,且在时间消耗上也可以接受。
本发明中提出的方法实际上可嵌入FPGA实现,开发具有图像匹配的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用,本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此,仅对上述实施例中具体的公式及算法进行简单替换,但其实质内容仍与本发明所述方法相一致的技术方案,均应属于本发明的保护范围。

Claims (8)

1.一种基于改进的MSER图像匹配算法,其特征是,包括如下步骤:
1)分别提取两幅图像的MSER(Maximally Stable External Region)特征;
2)分别提取两幅图像的SURF(Speeded Up Robust Features)特征;
3)分别将两幅图像所提取的MSER特征和SURF特征融合在一起;
4)分别用SURF特征描述子对融合的特征进行统一描述;
5)对统一的SURF特征描述子进行特征粗匹配;
6)对特征描述子进行H-L(Harris-Laplace)特征精匹配。
2.根据权利要求1所述的一种基于改进的MSER图像匹配新算法,其特征在于,所述步骤1)包括MSER值区域提取,提取步骤如下:
(1)像素点排序:采用箱排序的方法将图像像素点按照灰度值大小进行排序,产生出一个序列,序列中每个单元存放了具有相同灰度值的像素点及其坐标。
(2)极值区域的提取:当像素点全部置入序列中的单元后,就获得了该图像所对应的全部极值区域,并根据最大稳定判定条件来获取MSER区域。
3.根据权利要求1或2所述的一种基于改进的MSER图像匹配新算法,其特征在于,所述步骤1)中MSER最大稳定判定条件的确定:
对于每一个连通域Ri,通过分析区域树可以得到最大稳定判定条件:
Ψ : Ψ ( R i t ) = ( | R i t + Δ | - | R i t - Δ | ) / | R i t |
取得局部极小值时对应的区域即为最大稳定极值区域,其中| |为集合的势,为灰度阈值t所对应的某一极值区域i,Δ为稳定范围阈值差;
最大稳定极值区域确定之后,消除其中面积过大或者过小和面积变化率过大或过小的极值区域。
4.根据权利要求1所述的一种基于改进的MSER图像匹配算法,其特征是,所述步骤2)中,分别提取两幅图像的SURF特征步骤如下:
2.1)建立Hessian矩阵,SURF的兴趣点使用Hessian矩阵行列式的局部最大值来定位,SURF通过改变滤波器的大小构造金字塔图层以提高计算速度;
2.2)在SURF建立的图像尺度空间中,每4个模板为一组,第一组中,相邻的模板尺度相差6个像素,第2组中相差12个像素,第3组中相差24个像素,以此类推,每一阶的第一个模板尺寸是上一阶的第二个模板的尺寸;
2.3)关键点定位,在计算各个尺度上Hessian矩阵的行列式极大值时,需要在3维(x,y,σ)尺度空间中,在每个3×3×3的局部区域里,进行非最大值抑制,将自身比周围26个点的响应值都大的点选为兴趣点,并利用3维2次函数拟合方法对兴趣点精确定位;
且设定一个阈值HessianThreshold,将在确定的兴趣点Hessian矩阵的行列式大于阈值HessianThreshold的点选取为关键点。
2.4)确定关键点主方向,其步骤如下:
2.4.1)以某个关键点为圆心,6σ为半径的圆形邻域里,用尺寸为4σ的Haar小波模板求X轴和Y轴两个方向的Haar小波响应,其中σ为尺度;
2.4.2)以关键点为中心进行σ为关键点所处尺度两倍的高斯加权;
2.4.3)在以上基础上用一个圆心角为π/3扇形窗口,以关键点为中心扫描一周,计算该扇形窗口每个π/3角度包括的图像点的Haar小波响应总和;
2.4.4)取其中最大响应为关键点的主方向。
5.根据权利要求1所述的一种基于改进的MSER图像匹配算法,其特征是,所述步骤3)具体包括:
首先将MSER区域调整为椭圆形区域,然后将该椭圆形区域转换为SURF描述子可使用的关键点,采用区域仿射不变椭圆拟合的方法计算MSER的椭圆度量区域,并将其归一化到单位圆;
调整为椭圆形区域的协方差矩阵形式:
U = D ( x ) C O V ( x , y ) C O V ( x , y ) D ( y )
其中,D(x)、D(y)、COV(x,y)分别为该区域内所有点的横坐标方差、纵坐标方差和横、纵坐标的协方差。
6.根据权利要求5所述的一种基于改进的MSER图像匹配算法,其特征是,所述步骤4)包括构造一个中心点在关键点附近,带所述关键点主方向的方框,方框的边长设为20σ,其中σ为尺度;
所述构造方法包括:关键点主方向作为关键点邻域的Y轴方向,把方框区域分成16个子域,对每个子域计算25个空间归一化的采样点的Haar小波响应,即分别计算4个量:∑dx、Σ|dx|、Σdy、∑|dy|,并用一个矢量
v=(∑dx、∑|dx|、∑dy、∑|dy|),来表示每一个子区域,将方框区域内的64个子区域组合起来就得到了一个对于该方框区域的描述矢量。
7.根据权利要求1所述的一种基于改进的MSER图像匹配算法,其特征是,所述步骤5)中:对提取的MSER特征区域采用椭圆SURF描述子描述,形成特征向量,并采用欧式距离的最近邻距离与次近邻距离的比值用以确定初始匹配点对;
配准图像间的变换关系采用仿射变换模型式表示:
x r y r = a 11 a 12 a 21 a 22 x t y t + t x t y
式中:(xr,yr)是匹配点对在待配准图像中的坐标,相应的在参考图像中的坐标是(xt,yt),(a11,a12,a21,a22)是由图像间旋转角度和缩放尺度决定的变换模型参数,(tx,ty)是图像间的平移参数。
8.根据权利要求7所述的一种基于改进的MSER图像匹配算法,其特征是,所述步骤6)包括选用RANSAC剔除错误的匹配点对,其具体步骤是:
6.1)应用H-L特征的欧氏距离的最近邻与次近邻距离比值确定候选匹配点对,在候选匹配点对中任选3对匹配点对确定所述仿射变换模型式的参数;
6.2)在余下的匹配点对中,若任选第i对候选匹配点(xli,yli)和点(xri,yri),将点(xli,yli)通过模型式(5)变换得到在待匹配图像中坐标为(xi,yi),如果|xri-xi|<e,且|yri-yi|<e,则认为该点对在误差e范围内满足模型式(5)的变换参数,如果满足这个条件,则匹配点技术cP(control Point)就增加1,继续重复该步骤,当余下的点都被取完时即进行下步操作;
6.3)当cP>T时,T为阈值,则当前的变换参数即作为最终仿射变换参数,此时结束运算,否则返回步骤(1);
6.4)在计算所有任意3点对组合后,结束运算,取cP达到最大值时的变换参数作为所述仿射变换模型式的最终仿射变换参数,并把满足最终参数的变换点对作为正确匹配点对。
CN201610972381.9A 2016-11-07 2016-11-07 一种基于改进的mser图像匹配算法 Pending CN106529591A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610972381.9A CN106529591A (zh) 2016-11-07 2016-11-07 一种基于改进的mser图像匹配算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610972381.9A CN106529591A (zh) 2016-11-07 2016-11-07 一种基于改进的mser图像匹配算法

Publications (1)

Publication Number Publication Date
CN106529591A true CN106529591A (zh) 2017-03-22

Family

ID=58349472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610972381.9A Pending CN106529591A (zh) 2016-11-07 2016-11-07 一种基于改进的mser图像匹配算法

Country Status (1)

Country Link
CN (1) CN106529591A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688824A (zh) * 2017-07-27 2018-02-13 平安科技(深圳)有限公司 图片匹配方法及终端设备
CN107944455A (zh) * 2017-11-15 2018-04-20 天津大学 一种基于surf的图像匹配方法
CN107967477A (zh) * 2017-12-12 2018-04-27 福州大学 一种改进的sift特征联合匹配方法
CN108344999A (zh) * 2018-01-09 2018-07-31 浙江大学 一种用于水下机器人导航的声呐地图构建与重定位方法
CN109101995A (zh) * 2018-07-06 2018-12-28 航天星图科技(北京)有限公司 一种基于融合局部特征的快速无人机图像匹配方法
CN109146963A (zh) * 2017-06-13 2019-01-04 南京鑫和汇通电子科技有限公司 一种基于快速特征匹配的图像位置偏移检测方法
CN109271995A (zh) * 2017-07-18 2019-01-25 深圳市凯立德科技股份有限公司 一种高精度的图像匹配方法及系统
CN110222749A (zh) * 2019-05-27 2019-09-10 成都信息工程大学 一种可见光图像与红外图像匹配方法
CN110379178A (zh) * 2019-07-25 2019-10-25 电子科技大学 基于毫米波雷达成像的无人驾驶汽车智能泊车方法
CN110837782A (zh) * 2019-10-16 2020-02-25 吉林大学 一种根据材料拉伸过程监控视频识别断裂信息的方法
CN110956186A (zh) * 2019-11-21 2020-04-03 山东浪潮通软信息科技有限公司 一种图像识别的方法、设备及介质
CN110969574A (zh) * 2018-09-29 2020-04-07 广州汽车集团股份有限公司 一种车载全景地图创建方法及装置
CN111126382A (zh) * 2019-12-04 2020-05-08 山东浪潮人工智能研究院有限公司 一种用于ocr识别的基于关键点定位的票据矫正方法
CN111915645A (zh) * 2020-07-14 2020-11-10 珠海大横琴科技发展有限公司 影像匹配方法、装置、计算机设备及计算机可读存储介质
CN112288655A (zh) * 2020-11-09 2021-01-29 南京理工大学 一种基于mser区域匹配和低秩矩阵分解的海面图像稳像方法
CN112435283A (zh) * 2020-11-04 2021-03-02 浙江大华技术股份有限公司 图像的配准方法、电子设备以及计算机可读存储介质
CN113657194A (zh) * 2021-07-27 2021-11-16 武汉理工大学 基于改进的surf算法的车辆摄像头图像特征提取匹配方法
CN117372893A (zh) * 2023-02-03 2024-01-09 河海大学 一种基于改进遥感图像特征匹配算法的洪涝灾害评估方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930525A (zh) * 2012-09-14 2013-02-13 武汉大学 基于仿射不变特征与单应矩阵的线匹配方法
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN104574384A (zh) * 2014-12-26 2015-04-29 北京航天控制仪器研究所 一种基于mser和surf特征点匹配的目标丢失再捕获方法
CN105354578A (zh) * 2015-10-27 2016-02-24 安徽大学 一种多目标物体图像匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN102930525A (zh) * 2012-09-14 2013-02-13 武汉大学 基于仿射不变特征与单应矩阵的线匹配方法
CN104574384A (zh) * 2014-12-26 2015-04-29 北京航天控制仪器研究所 一种基于mser和surf特征点匹配的目标丢失再捕获方法
CN105354578A (zh) * 2015-10-27 2016-02-24 安徽大学 一种多目标物体图像匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐乐,路林吉: "基于MSER与SURF的图形匹配新方法", 《微型电脑应用》 *
王晓华 等: "基于增强 MSER 和 Harris-Laplace互补不变特征的遥感图像配准", 《红外技术》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146963A (zh) * 2017-06-13 2019-01-04 南京鑫和汇通电子科技有限公司 一种基于快速特征匹配的图像位置偏移检测方法
CN109146963B (zh) * 2017-06-13 2020-07-07 南京鑫和汇通电子科技有限公司 一种基于快速特征匹配的图像位置偏移检测方法
CN109271995A (zh) * 2017-07-18 2019-01-25 深圳市凯立德科技股份有限公司 一种高精度的图像匹配方法及系统
WO2019019595A1 (zh) * 2017-07-27 2019-01-31 平安科技(深圳)有限公司 图片匹配方法及电子设备方法、装置、电子设备及介质
CN107688824A (zh) * 2017-07-27 2018-02-13 平安科技(深圳)有限公司 图片匹配方法及终端设备
CN107944455A (zh) * 2017-11-15 2018-04-20 天津大学 一种基于surf的图像匹配方法
CN107967477B (zh) * 2017-12-12 2021-06-01 福州大学 一种改进的sift特征联合匹配方法
CN107967477A (zh) * 2017-12-12 2018-04-27 福州大学 一种改进的sift特征联合匹配方法
CN108344999A (zh) * 2018-01-09 2018-07-31 浙江大学 一种用于水下机器人导航的声呐地图构建与重定位方法
CN109101995A (zh) * 2018-07-06 2018-12-28 航天星图科技(北京)有限公司 一种基于融合局部特征的快速无人机图像匹配方法
CN110969574A (zh) * 2018-09-29 2020-04-07 广州汽车集团股份有限公司 一种车载全景地图创建方法及装置
CN110222749A (zh) * 2019-05-27 2019-09-10 成都信息工程大学 一种可见光图像与红外图像匹配方法
CN110222749B (zh) * 2019-05-27 2022-06-07 成都信息工程大学 一种可见光图像与红外图像匹配方法
CN110379178A (zh) * 2019-07-25 2019-10-25 电子科技大学 基于毫米波雷达成像的无人驾驶汽车智能泊车方法
CN110379178B (zh) * 2019-07-25 2021-11-02 电子科技大学 基于毫米波雷达成像的无人驾驶汽车智能泊车方法
CN110837782A (zh) * 2019-10-16 2020-02-25 吉林大学 一种根据材料拉伸过程监控视频识别断裂信息的方法
CN110956186A (zh) * 2019-11-21 2020-04-03 山东浪潮通软信息科技有限公司 一种图像识别的方法、设备及介质
CN111126382A (zh) * 2019-12-04 2020-05-08 山东浪潮人工智能研究院有限公司 一种用于ocr识别的基于关键点定位的票据矫正方法
CN111126382B (zh) * 2019-12-04 2023-12-05 山东浪潮科学研究院有限公司 一种用于ocr识别的基于关键点定位的票据矫正方法
CN111915645A (zh) * 2020-07-14 2020-11-10 珠海大横琴科技发展有限公司 影像匹配方法、装置、计算机设备及计算机可读存储介质
CN111915645B (zh) * 2020-07-14 2021-08-27 珠海大横琴科技发展有限公司 影像匹配方法、装置、计算机设备及计算机可读存储介质
CN112435283A (zh) * 2020-11-04 2021-03-02 浙江大华技术股份有限公司 图像的配准方法、电子设备以及计算机可读存储介质
CN112288655A (zh) * 2020-11-09 2021-01-29 南京理工大学 一种基于mser区域匹配和低秩矩阵分解的海面图像稳像方法
CN112288655B (zh) * 2020-11-09 2022-11-01 南京理工大学 一种基于mser区域匹配和低秩矩阵分解的海面图像稳像方法
CN113657194A (zh) * 2021-07-27 2021-11-16 武汉理工大学 基于改进的surf算法的车辆摄像头图像特征提取匹配方法
CN113657194B (zh) * 2021-07-27 2023-09-22 武汉理工大学 基于改进的surf算法的车辆摄像头图像特征提取匹配方法
CN117372893A (zh) * 2023-02-03 2024-01-09 河海大学 一种基于改进遥感图像特征匹配算法的洪涝灾害评估方法
CN117372893B (zh) * 2023-02-03 2024-07-19 河海大学 一种基于改进遥感图像特征匹配算法的洪涝灾害评估方法

Similar Documents

Publication Publication Date Title
CN106529591A (zh) 一种基于改进的mser图像匹配算法
CN101980250B (zh) 基于降维局部特征描述子和隐条件随机场的目标识别方法
CN104318548B (zh) 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法
CN102800097B (zh) 多特征多级别的可见光与红外图像高精度配准方法
CN109285179A (zh) 一种基于多特征融合的运动目标跟踪方法
CN106960449B (zh) 基于多特征约束的异源配准方法
CN106203342A (zh) 基于多角度局部特征匹配的目标识别方法
CN110070567B (zh) 一种地面激光点云配准方法
CN105809693A (zh) 基于深度神经网络的sar图像配准方法
CN111145228A (zh) 基于局部轮廓点与形状特征融合的异源图像配准方法
CN104751465A (zh) 一种基于lk光流约束的orb图像特征配准方法
CN109858527B (zh) 一种图像融合方法
CN102800099B (zh) 多特征多级别的可见光与高光谱图像高精度配准方法
CN106558072A (zh) 一种基于改进sift特征在遥感图像上配准的方法
CN102254319A (zh) 一种多层次分割的遥感影像变化检测方法
CN104200461A (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN106408597A (zh) 基于邻域熵和一致性检测的sar图像配准方法
CN106981077A (zh) 基于dce和lss的红外图像和可见光图像配准方法
CN104778679A (zh) 一种基于高分一号卫星数据的控制点图元快速匹配方法
CN102819839A (zh) 多特征多级别的红外与高光谱图像的高精度配准方法
CN104021559A (zh) 基于互信息和Harris角点检测的图像配准方法
CN105631872B (zh) 基于多特征点的遥感图像配准方法
CN107862708A (zh) 一种sar与可见光图像配准方法
CN103136525A (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN105513094A (zh) 基于三维Delaunay三角剖分的立体视觉跟踪方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322