CN105654421A - 基于变换不变低秩纹理的投影变换图像匹配方法 - Google Patents

基于变换不变低秩纹理的投影变换图像匹配方法 Download PDF

Info

Publication number
CN105654421A
CN105654421A CN201510969075.5A CN201510969075A CN105654421A CN 105654421 A CN105654421 A CN 105654421A CN 201510969075 A CN201510969075 A CN 201510969075A CN 105654421 A CN105654421 A CN 105654421A
Authority
CN
China
Prior art keywords
image
reference picture
matched
descriptor
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510969075.5A
Other languages
English (en)
Other versions
CN105654421B (zh
Inventor
张强
李亚军
朱韵茹
相朋
王龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201510969075.5A priority Critical patent/CN105654421B/zh
Publication of CN105654421A publication Critical patent/CN105654421A/zh
Application granted granted Critical
Publication of CN105654421B publication Critical patent/CN105654421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于变换不变低秩纹理的投影变换图像匹配方法,主要解决现有技术无法完成投影变换图像匹配的缺陷。其方案为:1、输入含投影变换的两幅图像并分别进行低秩纹理区域的自动检测和提取;2、对检测得到的低秩纹理区域进行TILT变换得到各自的局部变换矩阵,并利用局部变换矩阵校正输入的两幅图像;3、对两幅校正得到的图像进行特征点检测,对特征点建立尺度不变特征描述符以及几何形状描述符;4、联合尺度不变特征描述符和几何形状描述符建立新的特征描述符,对新的描述符采用欧式距离进行相似性度量,完成图像匹配。本发明能提取出具有较高重复率和正确匹配率的特征点,提高了计算效率,可用于图像融合,图像拼接与三维重建。

Description

基于变换不变低秩纹理的投影变换图像匹配方法
技术领域
本发明属于图像处理技术领域,具体涉及一种投影变换图像匹配方法,可应用于目标识别与跟踪,图像拼接与三维重建领域。
背景技术
在目标识别,图像拼接与三维重建等领域,需要先对同一场景的多幅视图进行匹配处理。一般情况下,可以采用基于特征的图像匹配方法进行图像匹配,这主要是考虑到一些图像特征对于图像的尺度、旋转以及仿射变换具有不变性,并且只用特征信息寻找图像间的几何关系具有计算效率高的优点。但是,当两幅图像间存在较大程度的投影失真时,现有技术往往很难提取到具有投影不变性的特征,从而导致匹配精度不够甚至无法实现匹配的问题。
目前,基于特征的图像匹配方法中常用的特征信息有尺度不变特征SIFT,最大稳定极值区域MSER特征和完全仿射不变特征ASIFT,例如LoweD,“Distinctiveimagefeaturesfromscale-invariantkeypoints.”InternationalJournalofComputerVision,vol.60,no.2,pp.91—110.MatasJ,ChumO,etal.,“Robustwide-baselinestereofrommaximallystableextremalregions.”ImageandVisionComputing,vol.22,no.10,pp.761-767.及MorelJM,YuG,“ASIFT:Anewframeworkforfullyaffineinvariantimagecomparison.”SIAMJournalonImagingSciences,vol.2,no.2,pp.438-469.这三篇文献公开的技术均为特征提取及匹配方法。
基于尺度不变特征SIFT的图像匹配方法,能够匹配存在尺度变换的图像,并且获得较好的匹配效果。但是,当图像间存在较大的投影变换时,基于尺度不变特征SIFT的特征检测方法往往很少能够获得数目足够且正确率高的匹配点对,因此基于尺度不变特征SIFT的图像匹配方法不能匹配具有投影变换的图像。
基于最大稳定极值区域MSER的图像匹配方法,采用最大稳定极值区域MSER的质心作为特征点进行匹配,由于最大稳定极值区域MSER具有较高的仿射变换不变性,因此能够实现存在较大仿射变换的图像配准,但是对于存在投影失真的图像仍不能获得准确的匹配对,并且由于成像传感器及成像环境的不同,采用的质心往往不能精确反映特征的位置,从而导致配准精度不高。
完全仿射不变特征ASIFT算法,首先对原图像进行人为模拟的仿射空间采样,获得多幅视图;然后利用尺度不变特征SIFT方法对获得的多幅视图进行特征提取及特征匹配,这样能够获得比尺度不变特征SIFT方法更多的匹配点数,因此基于完全仿射不变特征ASIFT特征的图像配准方法可以配准存在较大仿射变换的图像。但该方法由于将投影变换的图像近似看作仿射变换并对图像在仿射空间上进行模拟,因此其仅适应于发生较小程度的投影失真图像匹配,对于存在较大程度投影失真的图像,仍然不能建立准确的匹配点对。
发明内容
本发明的目的在于针对上述已有技术无法完成投影变换图像匹配的缺点,提出一种基于变换不变低秩纹理的投影变换图像匹配方法,该方法通过TILT变换消除输入图像的投影失真,将投影变换图像的匹配问题转换为相似变换的图像匹配问题,以获得更加准确的匹配点对。
本发明的技术方案是:通过Canny边缘检测和Hough变换线检测实现对输入图像低秩纹理区域的自动选取;采用变换不变低秩纹理对低秩纹理区域进行校正并得到局部投影变换矩阵;使用局部投影变换矩阵对整幅输入图像进行投影变换,实现对整幅输入图像的校正,将投影变换图像匹配问题降级为相似变换图像匹配问题;利用基于特征的图像匹配方法完成对校正图像的匹配。
其实现步骤包括如下:
(1)分别输入存在投影变换的两幅图像A和B,其中A为参考图像,B为待匹配图像;
(2)分别对输入的两幅图像进行低秩纹理区域检测,得到参考图像A中的低秩纹理区域UA和待匹配图像B中的低秩纹理区域UB
(3)分别对上述低秩纹理区域UA和UB进行变换不变低秩纹理TILT变换,得到各参考图像A的局部变换矩阵HA和待匹配图像B的局部变换矩阵HB
(4)分别使用局部变换矩阵HA和HB对两幅输入图像A和B进行投影变换,得到校正后的参考图像A′和校正后的待匹配图像B′:
A′=HAA
B′=HBB;
(5)分别对上述两个校正后图像A′和图像B′进行高斯差分DoG极值点检测,得到校正后参考图像的特征点集ΩA′以及校正后待匹配图像的特征点集ΩB′;分别对ΩA′以及ΩB′中的每一个特征点建立20维的几何形状描述符GA′以及GB′
(6)分别对上述两个特征点集ΩA′及ΩB′中的每一个特征点进行基于尺度不变特征变换描述,得到128维的局部特征描述符LA′以及LB′
(7)利用步骤(6)中建立的128维局部特征描述符LA′、LB′以及步骤(5)中建立的20维的几何形状描述符GA′、GB′,分别建立校正后参考图像的特征点集ΩA′每一个特征点的特征描述符DA′和校正后待匹配图像的特征点集ΩB′每一个特征点的特征描述符DB′
其中0≤w≤1是局部特征与几何形状特征之间的权重因子。
(8)对上述得到的新型特征描述符DA′和DB′进行欧式距离度量,以最近邻比次近邻小于指定阈值的准则来建立参考图像与待匹配图像的匹配点对,完成存在投影变换的图像之间的匹配。
本发明与现有的技术相比具有以下优点:
第一,本发明由于对输入的参考图像和待匹配图像进行了基于变换不变低秩纹理的校正,并在获得的校正图像上进行基于特征的图像匹配,改善了现有技术对存在投影变换的图像进行匹配过程中,难以获得较高特征点重复率和正确匹配率的缺陷,使得本发明对存在投影变换的图像进行匹配时,具有更高的特征点重复率和正确匹配率。
第二,本发明由于采用了Canny边缘检测与Hough变换线检测,改善了现有技术在利用变换不变低秩纹理TILT对图像进行校准时需要手动选取低秩纹理区域的缺陷,使得本发明与现有技术相比具有更高的效率。
第三,本发明由于在特征点描述的过程中引入了几何形状描述符,改善了现有技术在利用局部特征描述符对包含大量重复性结构的图像进行匹配时容易产生误匹配点对的缺陷,使得本发明在上述情况下拥有更高的正确匹配率。
附图说明
图1为本发明的实现流程图;
图2为用本发明对图像的矩形低秩纹理区域进行检测的仿真效果图;
图3为用本发明对存在投影变换图像的匹配仿真效果图。
具体的实施方式
下面结合附图对本发明做进一步的描述。
参照附图1,本发明的实现步骤如下:
步骤1,输入参考图像和待匹配图像。
分别输入从两个不同视角拍摄的存在投影变换的两幅图像,一幅作为参考图像A,另一幅作为待匹配图像B。
步骤2,分别对两幅输入图像分别进行低秩纹理区域检测,得到参考图像A中的低秩纹理区域UA以及待匹配图像B中的低秩纹理区域UB
2a)分别对参考图像A和待匹配图像B旋转这三个不同的角度,得到三组不同旋转角度下的图像
2b)对旋转后的参考图像进行Canny边缘检测和Hough变换线检测,得到不同旋转角度下图像中的直线检测结果:nk表示图像中检测到的直线的数目;对旋转后的待匹配图像进行Canny边缘检测和Hough变换线检测,得到不同旋转角度下图像中的直线检测结果:n′k表示图像中检测到的直线的数目;
2c)将上述在旋转后的参考图像中检测得到的直线旋转θ′k角度,并将旋转得到的直线在参考图像A中进行显示,得到参考图像A中的直线群lA;将上述在旋转后的待匹配图像中检测得到的直线旋转θ′k角度,并将旋转得到的直线在待匹配图像B中进行显示,得到待匹配图像B中的直线群lB
2d)对上述步骤得到的参考图像A中的直线群lA的端点进行坐标表示,得到不同直线的端点坐标值{Pi1=(xi1,yi1)T,Pi2=(xi2,yi2)T},其中Pi1=(xi1,yi1)T表示直线的起点坐标,Pi2=(xi2,yi2)T表示直线的终点坐标;
2e)获得所有坐标值中横坐标的最小值x1以及纵坐标的最小值y1
其中,(xi,1,yi,1)以及(xi,2,yi,2)分别是图像中直线的两个端点坐标;
2f)获得所有坐标值中横坐标的最大值x2以及纵坐标的最大值y2
2g)将步骤2e)中得到的(x1,y1)以及步骤2f)中得到的(x2,y2)分别作为矩形的左上角顶点V1以及右下角顶点V2,利用矩形的两个顶点(V1、V2)确立拟合矩形区域,此矩形区域即为参考图像A中的低秩纹理区域UA
2h)对步骤2c)得到的待匹配图像B中的直线群lB按照与对参考图像A中的直线群lA相同的步骤(2d-2g),得到待匹配图像B中的低秩纹理区域UB
步骤3,使用变换不变低秩纹理TILT变换计算局部变换矩阵。
分别对上述低秩纹理区域UA和UB进行变换不变低秩纹理TILT变换,得到各参考图像A的局部变换矩阵HA和待匹配图像B的局部变换矩阵HB
所述变换不变低秩纹理TILT变换来自Zhang,Z.,Liang,X.,Ganesh,A.,&Ma,Y.(2011).TILT:transforminvariantlow-ranktextures.InComputerVision–ACCV2010(pp.314-328).SpringerBerlinHeidelberg,变换不变低秩纹理TILT变换主要步骤如下:
3a)对Iοτ进行归一化并计算雅可比矩阵:
其中,I是输入的低秩纹理区域,τ是初始变换矩阵,是关于I的雅可比矩阵,||·||F表示矩阵的F范数,“ο”是卷积运算符。
3b)利用步骤3a)得到的雅可比矩阵求解以下凸规划:
其中,I0是恢复得到的低秩纹理,E是输入的低秩纹理区域,I是稀疏干扰部分,Δτ是变换矩阵迭代差值,γ是权重因子,||·||*表示矩阵核范数,||·||1表示矩阵1范数;
3c)利用步骤3b)中得到的变换矩阵迭代差值Δτ对变换矩阵τ进行迭代计算,即令τ=τ+Δτ,将得到的τ返回给步骤3b)的凸规划,迭代循环直至核范数||I0||*不再变化为止,此时的τ即为本发明中的局部变换矩阵。
步骤4,对两幅输入图像进行投影变换校正。
分别使用局部变换矩阵HA和HB对两幅输入图像A和B进行投影变换,得到校正后的参考图像A′和校正后的待匹配图像B′:
A′=HAA
B′=HBB。
步骤5,对两幅校正后图像进行高斯差分DoG极值点检测。
分别对上述两幅校正后参考图像A′和校正后待匹配图像B′进行高斯差分DoG极值点检测,得到校正后参考图像的特征点集ΩA′以及校正后待匹配图像的特征点集ΩB′
步骤6,分别对上述两个特征点集ΩA′和ΩB′中每一特征点建立SIFT描述符和几何形状描述符。
6a)分别对上述检测到的校正后参考图像A′中的特征点集ΩA′,以及校正后待匹配图像B′中的特征点集ΩB′中的每一个特征点进行基于尺度不变特征变换SIFT的特征描述,得到128维的局部特征描述符LA′以及LB′
6b)分别对特征点集ΩA′以及ΩB′中的每一个特征点进行几何形状描述,建立20维的几何形状描述符GA′以及GB′
6b1)以检测得到的高斯差分DoG极值点为中心,在输入图像中构建5个不同尺寸的同心正方形区域{Sj|j=1,2...5},每个正方形区域的边长大小分别为:
其中ν是图像尺寸中长和宽的最大值,μj是对应的不同大小的正方形边长;
6b2)将上述得到的每个正方形区域等分为四个子块区域{Qj,i|j=1,2,...,5;i=1,2,3,4},分割后的四个子块区域仍为正方形,且边长均为
6b3)计算每一个子块区域Qj,i内所有像素点的最大曲率ξ(p):
ξ(p)=max(λ1(p),λ2(p)),
其中p表示像素点的位置,λ1(p)以及λ2(p)是Hessian矩阵He(p)的两个特征值,He(p)计算如下:
式中Ixx(p)表示图像I中的像素点p在x方向的二阶偏导,Iyy(p)表示图像I中的像素点p在y方向的二阶偏导,Ixy(p)表示相应的二阶混合偏导;
6b4)根据6b3)的结果计算每一个子块区域Qj,i内所有像素点的最大曲率之和:
6b5)根据6b4)的结果对检测得到的高斯差分DoG极值点建立20维的几何形状描述符G20
步骤7,构建特征点的新型描述符。
利用步骤(6)中建立的128维局部特征描述符LA′、LB′以及20维的几何形状描述符GA′、GB′,分别建立校正后参考图像的特征点集ΩA′中每一个特征点的特征描述符DA′和校正后待匹配图像的特征点集ΩB′中每一个特征点的特征描述符DB′
其中0≤w≤1是局部特征与几何形状特征之间的权重因子。
步骤8,特征点描述符的匹配。
对上述得到的两个新型特征描述符DA′和DB′进行欧式距离度量,以现有最近邻比次近邻小于指定阈值的准则来建立参考图像与待匹配图像的匹配点对,完成存在投影变换的图像之间的匹配:
8a)按照下式计算校正后参考图像的特征点集ΩA′和校正后待匹配图像的特征点集ΩB′中特征点描述符之间的欧式距离:
其中m表示描述符的维度,本发明中m=158;Ri=(ri1,ri2...rim)表示校正后参考图像A′中特征点的描述符,Ti=(ti1,ti2...tim)表示校正后待匹配图像B′中特征点的描述符;d(Ri,Ti)表示描述符Ri与描述符Ti之间的欧式距离;
8b)假设特征点Tm是校正后待匹配图像B′中离校正后参考图像A′中特征点Ri最近的特征点;假设特征点Tk是校正后待匹配图像B′中离校正后参考图像A′中的特征点Ri次近的特征点,如果满足下式,则认为Ri和Tm是一对正确的匹配点对:
d(Ri,Tm)/d(Ri,Tk)<th,
反之,Ri和Tm不是一对正确的匹配点对,其中th是判决阈值,th的取值范围在0.7~0.8之间。
本发明的效果可以通过以下仿真进一步说明:
1.仿真条件:所有仿真实验都是在WindowsXP操作系统下采用MatlabR2008a软件实现。
2.仿真内容:
仿真1
将本发明与现有基于尺度不变特征变换SIFT、基于最大稳定极值区域MSER以及基于完全仿射不变特征变换ASIF这三种方法对一组人工环境下模拟的投影变换图像的匹配试验结果进行比较,结果如图2。
其中:
图2(a)为输入的参考图像;
图2(b)-(h)分别为人工模拟的不同程度投影失真下的待匹配图像;
图2(i)为用本发明方法和所述的现有三种方法,对参考图像和在不同投影失真下的待匹配图像进行匹配的匹配正确率曲线图,其中横坐标表示投影失真程度,纵坐标表示正确匹配率;
图2(j)为用本发明方法和所述的现有三种方法,对参考图像和在不同投影失真下的待匹配图像进行匹配的特征点重复率曲线图,其中横坐标表示投影失真程度,纵坐标表示特征点重复率。
从图2可以看出,相对于现有基于尺度不变特征变换SIFT、基于最大稳定极值区域MSER以及基于完全仿射不变特征变换ASIFT,本发明方法能够获得更高的正确匹配率以及特征点重复率。
仿真2,用本发明与现有基于尺度不变特征变换SIFT、基于最大稳定极值区域MSER以及基于完全仿射不变特征变换ASIF这三种方法对真实场景下拍摄的投影变换图像的匹配试验结果进行比较,结果如图3。其中:
图3(a)为输入的参考图像;
图3(b)为输入的待匹配图像;
图3(c)为用现有基于尺度不变特征SIFT的图像匹配方法对两幅输入图像进行匹配的结果;
图3(d)为用现有基于最大稳定极值区域MSER的图像匹配方法对两幅输入图像进行匹配的结果;
图3(e)为用现有基于完全仿射不变特征变换ASIFT的图像匹配方法对两幅输入图像进行匹配的结果;
图3(f)为用本发明对两幅输入图像进行匹配的结果。
从图3可以看出,采用现有基于尺度不变特征SIFT,基于最大稳定极值区域MSER的图像匹配方法得到的匹配结果较差,采用现有基于完全仿射不变特征ASIFT的图像匹配方法得到的匹配结果以及采用本发明方法得到的匹配结果均具有较好效果。
为了进一步比较上述四种方法的性能,给出了对上述四种方法的四种统计客观评价指标:特征点总匹配点数、正确匹配点数、正确匹配率及特征点重复率,如表2所示。
表2基于SIFT、MSER、ASIFT方法及本发明对四种客观评价指标的结果对比
算法 总匹配点数 正确匹配点数 正确匹配率 特征点重复率
基于SIFT方法 56 48 0.86 0.1332
基于MSER方法 37 17 0.4595 0.0439
基于ASIFT方法 561 521 0.9287 0.0183
本发明方法 87 87 1 0.1548
从表2中数据可以看出,与现有基于尺度不变特征SIFT、基于最大极值区域MSER的方法以及基于完全仿射不变特征ASIFT的方法相比,本发明不仅具有更高的正确匹配率而且具有更高的特征点重复率。

Claims (4)

1.一种基于变换不变低秩纹理的投影变换图像匹配方法,包括:
(1)分别输入存在投影变换的两幅图像A和B,其中A为参考图像,B为待匹配图像;
(2)分别对输入的两幅图像进行低秩纹理区域检测,得到参考图像A中的低秩纹理区域UA和待匹配图像B中的低秩纹理区域UB
(3)分别对上述低秩纹理区域UA和UB进行变换不变低秩纹理TILT变换,得到各参考图像A的局部变换矩阵HA和待匹配图像B的局部变换矩阵HB
(4)分别使用局部变换矩阵HA和HB对上述两幅输入图像A和B进行投影变换,得到校正后的参考图像A′和校正后的待匹配图像B′:
A′=HAA
B′=HBB;
(5)分别对上述两个校正后图像A′和图像B′进行高斯差分DoG极值点检测,得到校正后参考图像的特征点集ΩA′以及校正后待匹配图像的特征点集ΩB′
(6)分别对上述两个特征点集ΩA′及ΩB′中的每一个特征点进行基于尺度不变特征变换描述,得到128维的局部特征描述符LA′以及LB′;分别对ΩA′以及ΩB′中的每一个特征点建立20维的几何形状描述符GA′以及GB′
(7)利用步骤(6)中建立的128维局部特征描述符LA′、LB′以及20维的几何形状描述符GA′、GB′,建立校正后参考图像的特征点集ΩA′中每一个特征点的特征描述符DA′,建立校正后待匹配图像的特征点集ΩB′中每一个特征点的特征描述符DB′
D A &prime; = wL A &prime; ( 1 - w ) G A &prime;
D B &prime; = wL B &prime; ( 1 - w ) G B &prime;
其中0≤w≤1是局部特征与几何形状特征之间的权重因子。
(8)对上述得到的新型特征描述符DA′和DB′进行欧式距离度量,以最近邻比次近邻小于指定阈值的准则来建立参考图像与待匹配图像的匹配点对,完成存在投影变换的图像之间的匹配。
2.根据权利要求1所述的基于变换不变低秩纹理的投影变换图像匹配方法,其中步骤(2)中分别对参考图像A和待匹配图像B进行低秩纹理区域自动检测,按如下步骤进行:
2a)分别对参考图像A和待匹配图像B旋转这三个不同的角度,得到三组不同旋转角度下的图像 &theta; k = - &pi; 6 , 0 , &pi; 6 ;
2b)对旋转后的参考图像进行Canny边缘检测和Hough变换线检测,得到不同旋转角度下图像中的直线检测结果:nk表示图像中检测到的直线的数目;对旋转后的待匹配图像进行Canny边缘检测和Hough变换线检测,得到不同旋转角度下图像中的直线检测结果: { l B &theta; k , j | j = 1 , 2 , ... , n k &prime; ; &theta; k = - &pi; 6 , 0 , &pi; 6 } , n′k表示图像中检测到的直线的数目;
2c)将上述在旋转后的参考图像中检测得到的直线旋转θ′k角度,并将旋转得到的直线在参考图像A中进行显示,得到参考图像A中的直线群lA;将上述在旋转后的待匹配图像中检测得到的直线旋转θ′k角度,并将旋转得到的直线在待匹配图像B中进行显示,得到待匹配图像B中的直线群lB
2d)对上述步骤得到的参考图像A中的直线群lA的端点进行坐标表示,得到不同直线的端点坐标值{Pi1=(xi1,yi1)T,Pi2=(xi2,yi2)T},其中Pi1=(xi1,yi1)T表示直线的起点坐标,Pi2=(xi2,yi2)T表示直线的终点坐标;
2e)获得所有坐标值中横坐标的最小值x1以及纵坐标的最小值y1
x 1 = min i ( min ( x i , 1 , x i , 2 ) ) y 1 = min i ( min ( y i , 1 , y i , 2 ) ) ,
其中,(xi,1,yi,1)以及(xi,2,yi,2)分别是图像中直线的两个端点坐标;
2f)获得所有坐标值中横坐标的最大值x2以及纵坐标的最大值y2
x 2 = max i ( max ( x i , 1 , x i , 2 ) ) y 2 = max i ( max ( y i , 1 , y i , 2 ) ) ;
2g)将步骤2e)中得到的(x1,y1)以及步骤2f)中得到的(x2,y2)分别作为矩形的左上角顶点V1以及右下角顶点V2,利用矩形的两个顶点(V1、V2)确立拟合矩形区域,此矩形区域即为参考图像A中的低秩纹理区域UA
2h)对步骤2c)得到的待匹配图像B中的直线群lB按照与对参考图像A中的直线群lA相同的步骤(2d-2g),得到待匹配图像B中的低秩纹理区域UB
3.根据权利要求1所述的基于变换不变低秩纹理的投影变换图像匹配方法,其中步骤(6)中对检测得到的高斯差分DoG空间极值点进行几何形状描述,得到20维的几何形状描述符,按如下步骤进行;
3a)以检测得到的高斯差分DoG极值点为中心,在输入图像中构建5个不同尺寸的同心正方形区域{Sj|j=1,2...5},每个正方形区域的边长大小分别为:
&mu; j = &nu; 2 j - 1 ,
其中ν是图像尺寸中长和宽的最大值,μj是对应的不同大小的正方形边长;
3b)将上述得到的每个正方形区域等分为四个子块区域{Qj,i|j=1,2,...,5;i=1,2,3,4},分割后的四个子块区域仍为正方形,且边长均为
3c)计算每一个子块区域Qj,i内所有像素点的最大曲率ξ(p):
ξ(p)=max(λ1(p),λ2(p)),
其中p表示像素点的位置,λ1(p)以及λ2(p)是Hessian矩阵He(p)的两个特征值,He(p)计算如下:
H e ( p ) = I x x ( p ) I x y ( p ) I x y ( p ) I y y ( p )
其中Ixx(p)表示图像I中的像素点p在x方向的二阶偏导,Iyy(p)表示图像I中的像素点p在y方向的二阶偏导,Ixy(p)表示相应的二阶混合偏导;
3d)计算每一个子块区域Qj,i内所有像素点的最大曲率之和:
&alpha; Q j , i = &Sigma; p &Element; Q j , i &xi; ( p ) ;
3e)对检测得到的高斯差分DoG极值点建立20维的几何形状描述符G20
G 20 = { &alpha; Q j , i | j = 1 , 2 , ... , 5 ; i = 1 , 2 , 3 , 4 } .
4.根据权利要求1所述的基于变换不变低秩纹理的投影变换图像匹配方法,其中步骤(8)中以最近邻比次近邻小于指定阈值的准则来建立参考图像与待匹配图像的匹配点对,按如下步骤进行:
4a)按照下式计算校正后参考图像的特征点集ΩA′和校正后待匹配图像的特征点集ΩB′中特征点描述符之间的欧式距离:
d ( R i , T i ) = &Sigma; j = 1 m ( r i j - t i j ) 2 ,
其中m表示描述符的维度,本发明中m=158;Ri=(ri1,ri2...rim)表示校正后参考图像A′中特征点的描述符,Ti=(ti1,ti2...tim)表示校正后待匹配图像B′中特征点的描述符;d(Ri,Ti)表示描述符Ri与描述符Ti之间的欧式距离;
4b)假设特征点Tm是校正后待匹配图像B′中,距离校正后参考图像A′中特征点Ri最近的特征点;假设特征点Tk是校正后待匹配图像B′中,距离校正后参考图像A′中的特征点Ri次近的特征点,如果满足下式,则认为Ri和Tm是一对正确的匹配点对:
d(Ri,Tm)/d(Ri,Tk)<th,
反之,Ri和Tm不是一对正确的匹配点对,其中th是判决阈值,th的取值范围在0.7~0.8之间。
CN201510969075.5A 2015-12-21 2015-12-21 基于变换不变低秩纹理的投影变换图像匹配方法 Active CN105654421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510969075.5A CN105654421B (zh) 2015-12-21 2015-12-21 基于变换不变低秩纹理的投影变换图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510969075.5A CN105654421B (zh) 2015-12-21 2015-12-21 基于变换不变低秩纹理的投影变换图像匹配方法

Publications (2)

Publication Number Publication Date
CN105654421A true CN105654421A (zh) 2016-06-08
CN105654421B CN105654421B (zh) 2019-03-26

Family

ID=56477617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510969075.5A Active CN105654421B (zh) 2015-12-21 2015-12-21 基于变换不变低秩纹理的投影变换图像匹配方法

Country Status (1)

Country Link
CN (1) CN105654421B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830781A (zh) * 2018-05-24 2018-11-16 桂林航天工业学院 一种透视变换模型下的宽基线影像直线匹配方法
CN108830281A (zh) * 2018-05-29 2018-11-16 南京邮电大学 一种基于局部变化检测和空间加权的重复图像匹配方法
CN109242009A (zh) * 2018-08-27 2019-01-18 温州大学激光与光电智能制造研究院 一种图像匹配系统
CN109272541A (zh) * 2018-08-27 2019-01-25 温州大学激光与光电智能制造研究院 一种图像匹配方法、设备
CN111583312A (zh) * 2019-12-26 2020-08-25 珠海大横琴科技发展有限公司 一种遥感图像精准匹配方法、装置、电子设备及存储介质
CN112633304A (zh) * 2019-09-23 2021-04-09 中国科学院沈阳自动化研究所 一种鲁棒的模糊图像匹配方法
CN112819509A (zh) * 2021-01-18 2021-05-18 上海携程商务有限公司 自动筛选广告图片的方法、系统、电子设备和存储介质
CN113033578A (zh) * 2021-03-30 2021-06-25 上海星定方信息科技有限公司 基于多尺度特征匹配的图像校准方法、系统、终端及介质
CN115625435A (zh) * 2022-11-14 2023-01-20 广东瑞洲科技有限公司 智能识别切割方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211556A (ja) * 2010-03-30 2011-10-20 Nippon Telegr & Teleph Corp <Ntt> 画像生成装置、画像生成方法、及びプログラム
CN103873859A (zh) * 2014-03-26 2014-06-18 西安电子科技大学 基于时空显著性检测的视频融合性能评价方法
CN104268866A (zh) * 2014-09-19 2015-01-07 西安电子科技大学 基于运动信息与背景信息相结合的视频序列配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211556A (ja) * 2010-03-30 2011-10-20 Nippon Telegr & Teleph Corp <Ntt> 画像生成装置、画像生成方法、及びプログラム
CN103873859A (zh) * 2014-03-26 2014-06-18 西安电子科技大学 基于时空显著性检测的视频融合性能评价方法
CN104268866A (zh) * 2014-09-19 2015-01-07 西安电子科技大学 基于运动信息与背景信息相结合的视频序列配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIN ZHANG .ETAL: "Transform invariant text extraction", 《ORIGINAL ARTICLE》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830781B (zh) * 2018-05-24 2022-05-24 桂林航天工业学院 一种透视变换模型下的宽基线影像直线匹配方法
CN108830781A (zh) * 2018-05-24 2018-11-16 桂林航天工业学院 一种透视变换模型下的宽基线影像直线匹配方法
CN108830281B (zh) * 2018-05-29 2021-09-28 南京邮电大学 一种基于局部变化检测和空间加权的重复图像匹配方法
CN108830281A (zh) * 2018-05-29 2018-11-16 南京邮电大学 一种基于局部变化检测和空间加权的重复图像匹配方法
CN109272541A (zh) * 2018-08-27 2019-01-25 温州大学激光与光电智能制造研究院 一种图像匹配方法、设备
CN109242009A (zh) * 2018-08-27 2019-01-18 温州大学激光与光电智能制造研究院 一种图像匹配系统
CN109242009B (zh) * 2018-08-27 2023-08-08 厦门风云科技股份有限公司 一种图像匹配系统
CN109272541B (zh) * 2018-08-27 2023-10-24 温州大学激光与光电智能制造研究院 一种图像匹配方法、设备
CN112633304A (zh) * 2019-09-23 2021-04-09 中国科学院沈阳自动化研究所 一种鲁棒的模糊图像匹配方法
CN112633304B (zh) * 2019-09-23 2023-07-25 中国科学院沈阳自动化研究所 一种鲁棒的模糊图像匹配方法
CN111583312A (zh) * 2019-12-26 2020-08-25 珠海大横琴科技发展有限公司 一种遥感图像精准匹配方法、装置、电子设备及存储介质
CN112819509A (zh) * 2021-01-18 2021-05-18 上海携程商务有限公司 自动筛选广告图片的方法、系统、电子设备和存储介质
CN112819509B (zh) * 2021-01-18 2024-03-26 上海携程商务有限公司 自动筛选广告图片的方法、系统、电子设备和存储介质
CN113033578A (zh) * 2021-03-30 2021-06-25 上海星定方信息科技有限公司 基于多尺度特征匹配的图像校准方法、系统、终端及介质
CN115625435A (zh) * 2022-11-14 2023-01-20 广东瑞洲科技有限公司 智能识别切割方法、装置及系统

Also Published As

Publication number Publication date
CN105654421B (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN105654421A (zh) 基于变换不变低秩纹理的投影变换图像匹配方法
CN101303768B (zh) 圆形标志点在摄像机透视投影变换时圆心偏差的修正方法
CN103426186A (zh) 一种改进的surf快速匹配方法
CN103971378A (zh) 一种混合视觉系统中全景图像的三维重建方法
CN102865859B (zh) 一种基于surf特征的航空序列图像位置估计方法
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
CN104574421A (zh) 一种大幅面小重合区域高精度多光谱图像配准方法及装置
CN105740899A (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN112396643A (zh) 一种尺度不变特征与几何特征融合的多模态高分影像配准方法
CN105550994B (zh) 一种基于卫星影像的无人机影像快速概略拼接方法
CN103679702A (zh) 一种基于图像边缘矢量的匹配方法
CN103400384A (zh) 结合区域匹配和点匹配的大视角图像匹配方法
Sedaghat et al. Very high resolution image matching based on local features and k‐means clustering
CN107895375A (zh) 基于视觉多特征的复杂道路线提取方法
CN103985136A (zh) 一种基于局部特征点特征流型的目标跟踪方法
CN110084743A (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN104616280A (zh) 基于最大稳定极值区域和相位一致性的图像配准方法
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法
CN105513094A (zh) 基于三维Delaunay三角剖分的立体视觉跟踪方法及系统
CN104050675A (zh) 基于三角形描述的特征点匹配方法
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
CN104992431A (zh) 多光谱图像配准的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant