CN111126484A - 基于nfsc的宽基线图像匹配特征筛选方法 - Google Patents

基于nfsc的宽基线图像匹配特征筛选方法 Download PDF

Info

Publication number
CN111126484A
CN111126484A CN201911343181.7A CN201911343181A CN111126484A CN 111126484 A CN111126484 A CN 111126484A CN 201911343181 A CN201911343181 A CN 201911343181A CN 111126484 A CN111126484 A CN 111126484A
Authority
CN
China
Prior art keywords
point
feature
characteristic
matching
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911343181.7A
Other languages
English (en)
Other versions
CN111126484B (zh
Inventor
冯大政
李欣岳
肖春宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201911343181.7A priority Critical patent/CN111126484B/zh
Publication of CN111126484A publication Critical patent/CN111126484A/zh
Application granted granted Critical
Publication of CN111126484B publication Critical patent/CN111126484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Abstract

本发明公开了一种基于临近特征空间一致性NFSC的宽基线图像匹配特征点对筛选方法，主要解决了现有技术中在进行宽基线图像匹配特征筛选时效率与匹配精度较低的问题。本发明实现的步骤是：(1)输入图像；(2)提取特征；(3)获取候选匹配点对集；(4)利用相邻特征空间对应一致性检测方法选获初始匹配点对集；(5)获取邻近特征面积集；(6)利用相邻特征空间结构一致性检测方法选获取最终匹配点对集。本发明与现有技术相比，提升了在宽基线图像匹配特征筛选时的时效性、精准性与鲁棒性。

Description

基于NFSC的宽基线图像匹配特征筛选方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像配准技术领域中的一种基于临近特征空间一致性NFSC(Near Feature Space Consistency)的宽基线图像匹配特征筛选方法。本发明可用于对宽基线图像进行匹配时筛选有效匹配特征点对。
背景技术
宽基线图像匹配是对同一场景所成的两幅图像在不同的光照条件、成像设备与三维视角条件下进行图像匹配。由于其不同图像之间的差异性较大，从而使特征匹配的难度大大地提升，造成匹配时存在大量外点的情况(在对图像进行特征点匹配时，将正确匹配的特征点称为内点，错误匹配的特征点称为外点)，因此对于宽基线图像匹配，如何高效正确地筛选特征点对，剔除外点，是其亟待解决的首要问题。
ZHANG K,LI X Z,ZHANG J X三人在其发表的论文“A Robust Point-MatchingAlgorithm for Remote Sensing Image Registration”(IEEE Geoscience&RemoteSensing Letters，2013,11(2)：469-473)中提出了一种k最近邻三角形面积表示方法kNN-TAR(Triangle Area Representation of k Nearest Neighbors)的方法。该方法首先通过对粗匹配的特征点对计算仿射不变描述子来提取候选外点对，之后对每个候选外点对通过k最近邻方法kNN(k Nearest Neighbors)计算三角形面积表示比值TARR(Triangle AreaRepresentation Ratio)，并通过设置阈值来验证是否为真正的外点，最后根据局部结构和全局信息逐一检测并移除外点，每剔除一次外点，迭代一次，直到无法检测到外点。该方法的不足之处在于，在通过迭代的方式逐一检测并移除外点的过程中计算量较大、效率较低，不适用于外点数量很大的情况。
西南交通大学在其申请的专利文献“一种局部几何结构约束的城区宽基线影像特征点匹配方法”(申请号：201811643298.2，申请公布号：CN 109671110 A)中提出了一种通过构建特征点支撑区域，获取特征区域与特征描述符的方法。该方法通过提取图像的点特征和直线特征获取每个特征点的局部几何结构信息，之后依次构建特征点支撑区域，特征区域与特征描述符，随后根据特征描述符，使用最邻近距离比值NNDR(Nearest NeighborDistance Ratio)方法，进行特征点初匹配，并结合随机抽样一致RANSAC(Random SampleConsensus)方法，获取初匹配集合和立体像对之间的基础矩阵，之后对于未匹配成功且具有至少两个几何结构方向的特征点，根据立体像对之间的基础矩阵估计核线几何关系，构建双重核线约束的结构自适应特征点匹配方法进行二次匹配，获取二次匹配集合，而后根据获得的初匹配集合和二次匹配集合，对仍未成功匹配的特征点进行特征点匹配扩展，获取扩展匹配集合，最终合并初匹配集合、二次匹配集合以及扩展匹配集合，并使用RANSAC方法剔除所有匹配集合的错误匹配，获取最终匹配集合。该方法存在的不足之处在于，在构建特征点支撑区域需要依赖对于直线特征的检测，由于直线特征检测的稳定性较低，故当直线特征检测的结果不理想时，会比较容易出现误检的情况，因此该方法的鲁棒性不佳。
因此，上述现有的研究现状都有一定的局限性和缺点，无法在宽基线图像匹配时高效准确地提供大量特征匹配点对，从而导致时效性较低或匹配精度较低的情况。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出一种基于临近特征空间一致性NFSC的宽基线图像匹配特征点对筛选方法，解决现有技术中在宽基线图像匹配特征筛选时，时效性、精准性与鲁棒性不佳的问题。
为了实现上述目的，本发明的思路是，先对输入图像进行初始匹配，之后利用点对的邻近特征点集合中的候选对应点对所占的比例得到邻近特征空间对应相似度，以及基于区域面积比构造了具有仿射不变性的邻近特征空间结构相似度，这两种相似度表示两组局部邻近特征点拓扑结构的相似性。依据这二种相似度对初始匹配结果实施邻近特征空间对应一致性检测和邻近特征空间结构一致性检测，从而实现对匹配特征点对的筛选。
实现本发明的具体步骤如下：
(1)输入图像：
输入同一场景下有明显差异的两幅宽基线图像，任选一幅作为参考图像，将另一幅作为待匹配图像；
(2)提取特征：
利用加速鲁棒性特征SURF算法，分别从参考图像与待匹配图像中提取特征点与每个特征点的描述子，组成初始参考特征与初始待匹配特征；
(3)获取候选匹配点对集：
(3a)利用欧氏距离公式，计算初始参考特征点集中每个特征点对应描述子与初始待匹配特征点集每个特征点对应描述子的欧式距离；
(3b)将所有欧氏距离中的最小值的两倍设为最小距离，将初始参考特征点集中每个特征点与该特征点在初始待匹配特征点集中欧氏距离最小的特征点配对，将所有欧氏距离大于最小距离的匹配点对组成候选匹配点对集；
(4)利用相邻特征空间对应一致性检测方法获取初始匹配点对集：
(4a)将候选匹配点对集中所有来自参考图像的特征点组成参考特征点集，将候选匹配点对集中所有来自待匹配图像的特征点组成待匹配特征点集；
(4b)利用两点距离公式，计算参考特征点集中每个特征点与其他特征点的点间距离，按点间距离从小到大顺序对所有特征点进行排列，将该特征点与前15个特征点组成该特征点的邻近特征点集；
(4c)利用两点距离公式，计算待匹配特征点集中每个特征点与其他特征点的点间距离，按点间距离从小到大顺序对所有特征点进行排列，将该特征点与前15个特征点组成该特征点的邻近特征点集；
(4d)利用下式的特征点临近空间对应一致性测度公式，计算候选匹配点对集中每个匹配点对的对应相似系数：
Figure BDA0002332647180000031
其中，
Figure BDA0002332647180000032
表示候选匹配点对集中第w个匹配点对的对应相似系数，|·|表示集合符号，Cw表示候选匹配点对集中第w个匹配点对中参考图像特征点的邻近特征点集，∩表示交集符号，Θ表示对应匹配点集符号，C′w表示候选匹配点对集中第w个匹配点对中待匹配图像特征点的邻近特征点集。
(4e)设置对应相似度阈值，将对应相似系数大于对应相似度阈值的匹配点对视为正确匹配特征点对，将所有检测出的正确匹配特征点对组成初始匹配点对集；
(5)获取邻近特征面积集：
(5a)将初始匹配点对集所有来自参考图像的特征点组成初始参考特征点集，将初始匹配点对集所有来自待匹配图像的特征点组成初始待匹配特征点集；
(5b)利用三角形面积公式，计算初始参考特征点集中每个特征点的邻近特征点集中每三个不共线的特征点所组成三角形的面积，组成该特征点的参考邻近特征面积集合；
(5c)利用三角形面积公式，计算初始待匹配特征点集中每个特征点的邻近特征点集中每三个不共线的特征点所组成三角形的面积，组成该特征点的待匹配邻近特征面积集；
(5d)将所有参考邻近特征面积集与待匹配邻近特征面积集中按所属特征点的匹配情况，对应组成该匹配点对的邻近特征面积匹配集；
(6)利用相邻特征空间结构一致性检测方法获取最终匹配点对集：
(6a)利用面积比公式，计算初始匹配点对集中每个匹配点对的邻近特征面积匹配集中每对匹配三角形两个面积的比，组成该匹配点对的点对面积比集合，从中任选一个比值作为该匹配点对的三角形面积比参照值；
(6b)利用相对面积比公式，计算初始匹配点对集中每个匹配点对的点对面积比集合中每对匹配三角形两个面积的比值与该匹配点对的三角形面积比参照值的相对面积比；
(6c)利用特征点临近空间结构一致性测度公式，计算初始匹配点对集中每个匹配点对的结构相似系数，设置结构相似度阈值，将结构相似系数大于结构相似度阈值的匹配点对视为正确匹配特征点对，将所有检测出的正确匹配特征点对组成最终匹配点对集。
本发明与现有技术相比具有以下优点：
第一，由于本发明利用特征点临近空间对应一致性检测方法与特征点临近空间结构一致性检测方法检测正确匹配的特征点对，克服了现有技术在筛选匹配点对的过程中计算量较大、效率低的不足，使得本发明提升了在宽基线图像匹配特征筛选时的时效性。
第二，由于本发明仅利用SURF算法提取图像特征点与其描述子，克服了现有技术中需要依赖检测图像中直线特征的不足，使得本发明提高了在宽基线图像匹配特征筛选时的精确度与鲁棒性。
附图说明
图1是本发明的流程图；
图2是本发明仿真实验输入图；
图3是本发明仿真实验的结果图。
具体实施方式
下面结合附图对本发明做进一步描述。
参照图1，对本发明的具体实施步骤做进一步描述。
步骤1，输入图像。
输入同一场景下有明显差异的两幅宽基线图像，任选一幅作为参考图像，将另一幅作为待匹配图像。
步骤2，提取特征。
利用加速鲁棒性特征SURF算法，分别从参考图像与待匹配图像中提取特征点与每个特征点的描述子，组成初始参考特征与初始待匹配特征。
述加速鲁棒性特征SURF算法的步骤如下：
第一步，通过对参考图像与待匹配图像分别进行不同尺寸大小的盒式滤波，各生成3组，每组4幅盒式滤波后图像，其中第一组分别用9×9，15×15，21×21，27×27尺寸的盒式滤波器进行滤波，第二组分别用15×15，27×27，39×39，51×51尺寸的盒式滤波器进行滤波，第三组分别用27×27，51×51，75×75，99×99尺寸的盒式滤波器进行滤波。
第二步，按照下式，计算每个盒式滤波后图像中每个像素对应的Hessian矩阵行列式。
Figure BDA0002332647180000051
其中，Det(·)表示对黑森Hessian矩阵求行列式，
Figure BDA0002332647180000052
表示第i幅盒式滤波后图像中第x行第y列像素对应的Hessian矩阵，Ii(x,y)表示第i幅盒式滤波后图像第x行y列像素的灰度值，Ii(x+1,y)表示第i幅盒式滤波后图像第x行y列像素右侧相邻像素的灰度值，Ii(x-1,y)表示第i幅盒式滤波后图像第x行y列像素左侧相邻像素的灰度值，Ii(x,y+1)表示第i幅盒式滤波后图像第x行y列像素下方相邻像素的灰度值，Ii(x,y-1)表示第i幅盒式滤波后图像第x行y列像素上方相邻像素的灰度值。
第三步，将每个盒式滤波后图像中每个像素对应的Hessian矩阵行列式组成每个盒式滤波后图像对应的Hessian行列式图像，将所有盒式滤波后图像对应的Hessian行列式图像按其所属盒式滤波后图像的在第一步中分组顺序组成参考图像与待匹配图像组成各自的尺度空间。
第四步，将参考图像与待匹配图像各自尺度空间中每层图像的每个像素点与其在所属尺度空间中3×3×3大小邻域内的26个相邻像素点的灰度值分别进行比较，将灰度值大于或小于全部相邻像素点灰度值的像素作为特征点，将所有特征点按其所属输入图像分别组成初始参考特征点集与初始待匹配特征点集。
第五步，按照下式，计算参考图像与待匹配图像中所有的特征点的尺度。
Figure BDA0002332647180000061
其中，Sj表示第j个特征点的尺度，dj表示第j个特征点所在尺度空间图层在第一步中滤波时所用盒式滤波器的尺寸。
第六步，对参考图像与待匹配图像中所有特征点生成以自身为圆心，半径为6倍该特征点尺度的圆形邻域，对所有圆形邻域中的每个像素点，取以自身为中心，边长为4倍特征点尺度的方形区域，通过计算方形区域内左半部分所有像素灰度值的和与右半部分所有像素灰度值的和的差值，得到该像素的水平哈尔harr小波特征值，通过计算方形区域内下半部分所有像素灰度值的和与上半部分所有像素灰度值的和的差值得到该像素的垂直harr小波特征值。
第七步，将所有圆形邻域每隔间π/3分为3个60度的扇形区域，统计每个扇形区域中所有像素水平、垂直harr小波特征值总和，找到同一圆形临域中水平、垂直harr小波特征值总和最大的扇形区域，以该扇形区域圆心到扇弧中心的指向作为该圆形临域对应特征点的主方向。
第八步，在参考图像与待匹配图像中每个特征点所在位置的周围取一个沿着特征点的主方向，边长为20倍特征点尺度的方形区域，将其分为4×4区域块，之后对每个子区域的每个像素计算其相对特征点的主方向的水平、垂直harr小波特征值，将的水平方向harr小波特征值之和、垂直方向harr小波特征值之和、水平方向harr小波特征值绝对值之和以及垂直方向harr小波特征值绝对值之和4个值作为该子区域的特征向量，将所有子区域的特征向量组成为64维向量作为所属特征点的描述子，将所有的特征点以及其对应的描述子按其所属输入图像组成初始参考特征与初始待匹配特征。
步骤3，获取候选匹配点对集。
第一步，利用欧氏距离公式，计算初始参考特征点集中每个特征点对应描述子与初始待匹配特征点集每个特征点对应描述子的欧式距离。
所述欧氏距离公式如下：
Figure BDA0002332647180000071
其中，dist(·)表示求欧氏距离，Xa表示初始参考特征点集中第a个特征点对应的描述子，Yb表示初始待匹配特征点集中第b个特征点对应的描述子，
Figure BDA0002332647180000074
表示初始参考特征点集中第a个特征点对应描述子向量中的第k个元素，
Figure BDA0002332647180000075
表示初始待匹配特征点集中第b个特征点对应描述子向量中的第k个元素。
第二步，将所有欧氏距离中的最小值的两倍设为最小距离，将初始参考特征点集中每个特征点与该特征点在初始待匹配特征点集中欧氏距离最小的特征点配对，将所有欧氏距离大于最小距离的匹配点对组成候选匹配点对集。
步骤4，采用相邻特征空间对应一致性检测方法选取初始匹配点对集。
第一步，将候选匹配点对集中所有来自参考图像的特征点组成参考特征点集，将候选匹配点对集中所有来自待匹配图像的特征点组成待匹配特征点集。
第二步，利用两点距离公式，计算参考特征点集中每个特征点与其他特征点的点间距离，按点间距离从小到大顺序对所有特征点进行排列，将该特征点与前15个特征点组成该特征点的邻近特征点集。
所述两点距离公式如下：
Figure BDA0002332647180000072
其中，df,g表示参考特征点集中第f个特征点与第g个特征点的点间距离，
Figure BDA0002332647180000073
表示平方根运算符，xf表示参考特征点集中第f个特征点的横坐标值，xg表示参考特征点集中第g个特征点的横坐标值，yf表示参考特征点集中第f个特征点的纵坐标值，yg表示参考特征点集中第g个特征点的纵坐标值。
第三步，利用两点距离公式，计算待匹配特征点集中每个特征点与其他特征点的点间距离，按点间距离从小到大顺序对所有特征点进行排列，将该特征点与前15个特征点组成该特征点的邻近特征点集。
所述两点距离公式如下：
Figure BDA0002332647180000081
其中，d′f,g表示待匹配特征点集中第f个特征点与第g个特征点的点间距离，
Figure BDA0002332647180000082
表示平方根运算符，x′f表示待匹配特征点集中第f个特征点的横坐标值，x′g表示待匹配特征点集中第g个特征点的横坐标值，y′f表示待匹配特征点集中第f个特征点的纵坐标值，y′g表示参考特征点集中第g个特征点的纵坐标值。
第四步，利用下式的特征点临近空间对应一致性测度公式，计算候选匹配点对集中每个匹配点对的对应相似系数：
Figure BDA0002332647180000083
其中，
Figure BDA0002332647180000084
表示候选匹配点对集中第w个匹配点对的对应相似系数，|·|表示集合符号，Cw表示候选匹配点对集中第w个匹配点对中参考图像特征点的邻近特征点集，∩表示交集符号，Θ表示对应匹配点集符号，C′w表示候选匹配点对集中第w个匹配点对中待匹配图像特征点的邻近特征点集。
第五步，设置对应相似度阈值Tc，将对应相似系数大于对应相似度阈值的匹配点对组成初始匹配点对集。
步骤5，获取邻近特征面积集。
第一步，将初始匹配点对集所有来自参考图像的特征点组成初始参考特征点集，将初始匹配点对集所有来自待匹配图像的特征点组成初始待匹配特征点集；
第二步，利用三角形面积公式，计算初始参考特征点集中每个特征点的邻近特征点集中每三个不共线的特征点所组成三角形的面积，组成该特征点的参考邻近特征面积集合。
所述三角形面积公式如下：
Figure BDA0002332647180000085
其中，An,m表示初始参考特征点集中第n个特征点的邻近特征点集中第m组三个不共线的特征点所组成三角形的面积，abs(·)表示绝对值操作，det表示行列式符号，
Figure BDA0002332647180000091
分别表示初始参考特征点集中第n个特征点的邻近特征点集中第m组三个不共线的特征点f1,f2,f3的齐次坐标。
第三步，利用三角形面积公式，计算初始待匹配特征点集中每个特征点的邻近特征点集中每三个不共线的特征点所组成三角形的面积，组成该特征点的待匹配邻近特征面积集。
所述三角形面积公式如下：
Figure BDA0002332647180000092
其中，A′n,m表示初始待匹配特征点集中第n个特征点的邻近特征点集中第m组三个不共线的特征点所组成三角形的面积，abs(·)表示绝对值操作，det表示行列式符号，
Figure BDA0002332647180000093
分别表示初始待匹配特征点集中第n个特征点的邻近特征点集中第m组三个不共线的特征点f1′,f′2,f′3的齐次坐标。
第四步，将所有参考邻近特征面积集与待匹配邻近特征面积集中按所属特征点的匹配情况，对应组成该匹配点对的邻近特征面积匹配集。
步骤6，采用相邻特征空间结构一致性检测方法选取最终匹配点对集。
第一步，利用面积比公式，计算初始匹配点对集中每个匹配点对的邻近特征面积匹配集中每对匹配三角形两个面积的比，组成该匹配点对的点对面积比集合，从中任选一个比值作为该匹配点对的三角形面积比参照值。
所述面积比公式如下：
Figure BDA0002332647180000094
其中，rn,m表示初始匹配点对集中第n个匹配点对的邻近特征面积匹配集中第m对匹配三角形两个面积的比值，an,m表示初始参考特征点集中第n个特征点的邻近特征面积集中第m个三角形的面积，a′n,m表示初始待匹配特征点集中第n个特征点的邻近特征面积集中第m个三角形的面积。
第二步，利用相对面积比公式，计算初始匹配点对集中每个匹配点对的点对面积比集合中每对匹配三角形两个面积的比值与该匹配点对的三角形面积比参照值的相对面积比。
所述相对面积比公式如下：
Figure BDA0002332647180000101
其中，Rn,m表示初始匹配点对集中第n个匹配点对的点对面积比集合中第m对匹配三角形两个面积的比值与该匹配点对的三角形面积比参照值的相对面积比，rn,m表示初始匹配点对集中第n个初始匹配点对的点对面积比集合中第m对匹配三角形两个面积的比值,
Figure BDA0002332647180000104
表示初始匹配点对的点对面积比集合中第n个匹配点对的三角形面积比参照值。
第三步，利用特征点临近空间结构一致性测度公式，计算初始匹配点对集中每个匹配点对的结构相似系数，设置结构相似度阈值Ts，将结构相似系数大于结构相似度阈值的匹配点对组成最终匹配点对集。
所述特征点临近空间结构一致性测度公式如下：
Figure BDA0002332647180000102
其中，
Figure BDA0002332647180000103
表示初始匹配点对集中第n个匹配点对的结构相似系数，Rn,m表示初始匹配点对集中第n个匹配点对的邻近特征面积匹配集中第m对匹配三角形两个面积的比值与该匹配点对的三角形面积比参照值的相对面积比。
下面结合仿真实验对本发明效果做进一步说明。
1.仿真条件：
本发明的仿真实验的硬件平台为：Pentium dual-core 2.7GHz CPU，内存4GB。
本发明的仿真实验的软件平台为：Windows 7操作系统与Matlab2011b。
2.仿真内容与结果分析：
本发明仿真实验是采用本发明和三个现有技术(最近邻三角形面积表示kNN-TAR方法、全局与局部变换一致性约束性GLTCC(Global and Local TransformationConsistency Constraints)方法与拓扑聚类TC(Topological Custering)方法)分别对输入的八组图像进行特征匹配筛选，获得筛选后的匹配结果。这四种方法的参数设置如下：kNN-TAR方法设置k＝7，σ＝1，α＝5；GLTCC方法设置τσ＝1，τθ＝0.5，τscore＝0.7，k＝7，λ＝0.65；TC方法设置c＝3，nt＝3；本发明方法设置Tc＝0.2，Ts＝0.3。
在仿真实验中，采用的三个现有技术是指：
现有技术最近邻三角形面积表示kNN-TAR方法是指，ZHANG K,LI X Z,ZHANG J X等人在其发表的论文“A Robust Point-Matching Algorithm for Remote Sensing ImageRegistration，IEEE Geoscience&Remote Sensing Letters，2013,11(2)：469-473”中提出的匹配特征点筛选方法，简称最近邻三角形面积表示kNN-TAR方法。
现有技术全局与局部变换一致性约束性GLTCC方法是指，ZHOU H B,ZHANG D Z,CHEN C等人在其发表的论文“Discarding wide baseline mismatches with global andlocal transformation consistency[J].Electronics Letters,2011,47(1):25-26”中提出的匹配特征点筛选方法，简称全局与局部变换一致性约束性GLTCC方法。
现有技术拓扑聚类TC方法是指，WHANGYT,HANG D Z,TIAN JW三人在其发表的论文“Discarding wide baseline mismatches via topological clustering[J].Electronics Letters,2008,44(11):670-671”中提出的匹配特征点筛选方法，简称拓扑聚类TC方法。
下面结合图2、图3的仿真图对本发明的效果做进一步的描述。
图2为本发明的仿真时输入的八组图像。图2(a)～2(h)依次为“教堂”，“废墟”，“博物馆”，“入口”，“喷泉”，“大门”，“船舶”，“停车场”，其中，图2(a)～2(c)来自Oxford数据集，图2(d)～2(f)来自Strecha数据集，图2(g)～2(h)来自INRIA数据集。每对输入图像存在较大的视角、尺度与旋转变化，并且包含有重复纹理。
图3是对输入的图2(a)“教堂”与图2(h)“停车场”分别通过上述四种方法进行特征匹配筛选后的匹配结果图，在图3(a)～3(h)每幅图中，白色线段连接正确匹配的特征点对，黑色线段连接错误匹配的特征点对。图3(a)～3(d)是对输入的图2(a)“教堂”分别在kNN-TAR方法、GLTCC方法、TC方法与本发明方法下进行特征匹配筛选后的匹配结果图；图3(f)～3(g)是对输入的图2(h)“停车场”分别在kNN-TAR方法、GLTCC方法、TC方法与本发明方法下进行特征匹配筛选后的匹配结果图。从上述“教堂”和“停车场”两组对比仿真实验的结果可以看出，在本发明方法下选取到正确匹配点对的数量明显高于使用其他三种现有技术选取到正确匹配点对的数量。
表1 每副输入图像在四中方法下得到匹配点对的准确率(％)
输入图像 kNN-TAR GLTCC TC 本发明方法
教堂 31.44 56.54 83.92 93.10
废墟 35.73 96.98 90.03 98.31
博物馆 44.18 95.13 55.18 94.94
入口 49.12 80.12 75.29 95.21
喷泉 43.74 62.23 56.26 88.24
大门 36.05 84.14 59.76 97.46
船舶 98.01 99.46 92.24 99.75
停车场 67.42 87.88 87.44 96.62
平均值 50.71 82.81 75.02 95.45
表2 每副输入图像在四中方法下得到匹配点对的召回率(％)
输入图像 kNN-TAR GLTCC TC 本发明方法
教堂 40.91 52.27 50.00 62.18
废墟 46.84 60.76 34.18 72.82
博物馆 49.66 36.91 35.57 51.21
入口 48.99 51.42 40.89 65.13
喷泉 43.18 32.95 23.86 35.29
大门 42.97 48.44 16.41 51.44
船舶 98.84 85.88 53.01 94.12
停车场 32.44 47.11 68.00 78.86
平均值 50.48 51.97 40.24 63.88
利用三个评价指标(平均准确率、平均召回率、平均用时)分别对上述四种方法的特征匹配筛选结果进行评价。利用下面公式，计算每副输入图像分别通过上述四种方法进行特征筛选后得到匹配特征点对的准确率、召回率，以及在上述四中方法下的用时，将所有准确率计算结果绘制成表1，将所有召回率计算结果绘制成表2，将所有用时计算结果绘制成表3：
Figure BDA0002332647180000131
Figure BDA0002332647180000132
方法用时＝计算结束时间-计算开始时间
表3 每副输入图像在四中方法下的用时(s)
输入图像 kNN-TAR GLTCC TC 本发明方法
教堂 2.5481 0.0692 0.1313 0.0317
废墟 4.9965 0.0550 0.5663 0.0497
博物馆 10.4796 0.1001 0.9464 0.1235
入口 109.6819 0.5671 12.3820 0.5384
喷泉 15.3641 0.0988 1.8265 0.1503
大门 21.4145 0.1382 3.2837 0.1982
船舶 44.0665 0.1917 1.7010 0.1738
停车场 36.0869 0.2184 0.9044 0.1584
平均值 30.5798 0.1798 2.7177 0.1780
结合表1、表2与表3可以看出，通过本发明方法对八组输入图像进行匹配特征筛选的平均准确率为0.9545，平均召回率为0.6388，平均用时为0.1780s，三项评价指标均优于其他三种方法，证明本方法在宽基线图像匹配特征筛选时可以更加高效准确地获取大量正确的匹配点对。
以上仿真实验表明：本发明方法利用邻近特征空间对应一致性检测和邻近特征空间结构一致性检测来实现匹配特征点筛选，相对现有技术，能够有效地提升宽基线图像匹配特征筛选时的时效性、准确性与鲁棒性。

Claims (8)

1.一种基于临近特征空间一致性NFSC的宽基线图像匹配特征筛选方法，其特征在于，通过相邻特征空间对应一致性检测以及相邻特征空间结构一致性检测，对宽基线图像匹配特征点对进行筛选，该方法的步骤包括如下：
(1)输入图像：
输入同一场景下有明显差异的两幅宽基线图像，任选一幅作为参考图像，将另一幅作为待匹配图像；
(2)提取特征：
利用加速鲁棒性特征SURF算法，分别从参考图像与待匹配图像中提取特征点与每个特征点的描述子，组成初始参考特征与初始待匹配特征；
(3)获取候选匹配点对集：
(3a)利用欧氏距离公式，计算初始参考特征点集中每个特征点对应描述子与初始待匹配特征点集每个特征点对应描述子的欧式距离；
(3b)将所有欧氏距离中的最小值的两倍设为最小距离，将初始参考特征点集中每个特征点与该特征点在初始待匹配特征点集中欧氏距离最小的特征点配对，将所有欧氏距离大于最小距离的匹配点对组成候选匹配点对集；
(4)利用相邻特征空间对应一致性检测方法获取初始匹配点对集：
(4a)将候选匹配点对集中所有来自参考图像的特征点组成参考特征点集，将候选匹配点对集中所有来自待匹配图像的特征点组成待匹配特征点集；
(4b)利用两点距离公式，计算参考特征点集中每个特征点与其他特征点的点间距离，按点间距离从小到大顺序对所有特征点进行排列，将该特征点与前15个特征点组成该特征点的邻近特征点集；
(4c)利用两点距离公式，计算待匹配特征点集中每个特征点与其他特征点的点间距离，按点间距离从小到大顺序对所有特征点进行排列，将该特征点与前15个特征点组成该特征点的邻近特征点集；
(4d)利用下述的特征点临近空间对应一致性测度公式，计算候选匹配点对集中每个匹配点对的对应相似系数：
Figure FDA0002332647170000021
其中，
Figure FDA0002332647170000022
表示候选匹配点对集中第w个匹配点对的对应相似系数，|·|表示集合符号，Cw表示候选匹配点对集中第w个匹配点对中参考图像特征点的邻近特征点集，∩表示交集符号，Θ表示对应匹配点集符号，C′w表示候选匹配点对集中第w个匹配点对中待匹配图像特征点的邻近特征点集。
(4e)设置对应相似度阈值，将对应相似系数大于对应相似度阈值的匹配点对组成初始匹配点对集；
(5)获取邻近特征面积集：
(5a)将初始匹配点对集所有来自参考图像的特征点组成初始参考特征点集，将初始匹配点对集所有来自待匹配图像的特征点组成初始待匹配特征点集；
(5b)利用三角形面积公式，计算初始参考特征点集中每个特征点的邻近特征点集中每三个不共线的特征点所组成三角形的面积，组成该特征点的参考邻近特征面积集合；
(5c)利用三角形面积公式，计算初始待匹配特征点集中每个特征点的邻近特征点集中每三个不共线的特征点所组成三角形的面积，组成该特征点的待匹配邻近特征面积集；
(5d)将所有参考邻近特征面积集与待匹配邻近特征面积集中按所属特征点的匹配情况，对应组成该匹配点对的邻近特征面积匹配集；
(6)利用相邻特征空间结构一致性检测方法获取最终匹配点对集：
(6a)利用面积比公式，计算初始匹配点对集中每个匹配点对的邻近特征面积匹配集中每对匹配三角形两个面积的比，组成该匹配点对的点对面积比集合，从中任选一个比值作为该匹配点对的三角形面积比参照值；
(6b)利用相对面积比公式，计算初始匹配点对集中每个匹配点对的点对面积比集合中每对匹配三角形两个面积的比值与该匹配点对的三角形面积比参照值的相对面积比；
(6c)利用特征点临近空间结构一致性测度公式，计算初始匹配点对集中每个匹配点对的结构相似系数，设置结构相似度阈值，将结构相似系数大于结构相似度阈值的匹配点对组成最终匹配点对集。
2.根据权利要求1所述的基于临近特征空间一致性NFSC的宽基线图像匹配特征筛选方法，其特征在于，步骤(2)中所述加速鲁棒性特征SURF算法的步骤如下：
第一步，通过对参考图像与待匹配图像分别进行不同尺寸大小的盒式滤波，各生成3组，每组4幅盒式滤波后图像，其中第一组分别用9×9，15×15，21×21，27×27尺寸的盒式滤波器进行滤波，第二组分别用15×15，27×27，39×39，51×51尺寸的盒式滤波器进行滤波，第三组分别用27×27，51×51，75×75，99×99尺寸的盒式滤波器进行滤波；
第二步，按照下式，计算每个盒式滤波后图像中每个像素对应的Hessian矩阵行列式：
Figure FDA0002332647170000031
其中，Det(·)表示对Hessian矩阵求行列式，
Figure FDA0002332647170000032
表示第i幅盒式滤波后图像中第x行第y列像素对应的Hessian矩阵，Ii(x,y)表示第i幅盒式滤波后图像第x行y列像素的灰度值，Ii(x+1,y)表示第i幅盒式滤波后图像第x行y列像素右侧相邻像素的灰度值，Ii(x-1,y)表示第i幅盒式滤波后图像第x行y列像素左侧相邻像素的灰度值，Ii(x,y+1)表示第i幅盒式滤波后图像第x行y列像素下方相邻像素的灰度值，Ii(x,y-1)表示第i幅盒式滤波后图像第x行y列像素上方相邻像素的灰度值；
第三步，将每个盒式滤波后图像中每个像素对应的Hessian矩阵行列式组成每个盒式滤波后图像对应的Hessian行列式图像，将所有盒式滤波后图像对应的Hessian行列式图像按其所属盒式滤波后图像的在第一步中分组顺序组成参考图像与待匹配图像组成各自的尺度空间；
第四步，将参考图像与待匹配图像各自尺度空间中每层图像的每个像素点与其在所属尺度空间中3×3×3大小邻域内的26个相邻像素点的灰度值分别进行比较，将灰度值大于或小于全部相邻像素点灰度值的像素作为特征点，将所有特征点按其所属输入图像分别组成初始参考特征点集与初始待匹配特征点集；
第五步，按照下式，计算参考图像与待匹配图像中所有的特征点的尺度：
Figure FDA0002332647170000041
其中，Sj表示第j个特征点的尺度，dj表示第j个特征点所在尺度空间图层在第一步中滤波时所用盒式滤波器的尺寸；
第六步，对参考图像与待匹配图像中所有特征点生成以自身为圆心，半径为6倍该特征点尺度的圆形邻域，对所有圆形邻域中的每个像素点，取以自身为中心，边长为4倍特征点尺度的方形区域，通过计算方形区域内左半部分所有像素灰度值的和与右半部分所有像素灰度值的和的差值，得到该像素的水平harr小波特征值，通过计算方形区域内下半部分所有像素灰度值的和与上半部分所有像素灰度值的和的差值得到该像素的垂直harr小波特征值；
第七步，将所有圆形邻域每隔间π/3分为3个60度的扇形区域，统计每个扇形区域中所有像素水平、垂直harr小波特征值总和，找到同一圆形临域中水平、垂直harr小波特征值总和最大的扇形区域，以该扇形区域圆心到扇弧中心的指向作为该圆形临域对应特征点的主方向；
第八步，在参考图像与待匹配图像中每个特征点所在位置的周围取一个沿着特征点的主方向，边长为20倍特征点尺度的方形区域，将其分为4×4区域块，之后对每个子区域的每个像素计算其相对特征点的主方向的水平、垂直harr小波特征值，将的水平方向harr小波特征值之和、垂直方向harr小波特征值之和、水平方向harr小波特征值绝对值之和以及垂直方向harr小波特征值绝对值之和4个值作为该子区域的特征向量，将所有子区域的特征向量组成为64维向量作为所属特征点的描述子，将所有的特征点以及其对应的描述子按其所属输入图像组成初始参考特征与初始待匹配特征。
3.根据权利要求1所述的基于临近特征空间一致性NFSC的宽基线图像匹配特征筛选方法，其特征在于，步骤(3a)中所述欧氏距离公式如下：
Figure FDA0002332647170000042
其中，dist(·)表示求欧氏距离，Xa表示初始参考特征点集中第a个特征点对应的描述子，Yb表示初始待匹配特征点集中第b个特征点对应的描述子，
Figure FDA0002332647170000043
表示初始参考特征点集中第a个特征点对应描述子向量中的第k个元素，
Figure FDA0002332647170000044
表示初始待匹配特征点集中第b个特征点对应描述子向量中的第k个元素。
4.根据权利要求1所述的基于临近特征空间一致性NFSC的宽基线图像匹配特征筛选方法，其特征在于，步骤(4b)、步骤(4c)中所述两点距离公式如下：
Figure FDA0002332647170000051
其中，df,g表示参考特征点集或匹配特征点集中第f个特征点与第g个特征点的点间距离，xf表示参考特征点集或匹配特征点集中第f个特征点的横坐标值，xg表示参考特征点集或匹配特征点集中第g个特征点的横坐标值，yf表示参考特征点集或匹配特征点集中第f个特征点的纵坐标值，yg表示参考特征点集或匹配特征点集中第g个特征点的纵坐标值。
5.根据权利要求1所述的基于临近特征空间一致性NFSC的宽基线图像匹配特征筛选方法，其特征在于，步骤(5b)、步骤(5c)中所述三角形面积公式如下：
Figure FDA0002332647170000052
其中，An,m表示初始参考特征点集或初始待匹配特征点集中第n个特征点的邻近特征点集中第m组三个不共线的特征点所组成三角形的面积，abs(·)表示绝对值操作，det表示行列式符号，
Figure FDA0002332647170000053
分别表示初始参考特征点集或初始待匹配特征点集中第n个特征点的邻近特征点集中第m组三个不共线的特征点f1,f2,f3的齐次坐标。
6.根据权利要求1所述的基于临近特征空间一致性NFSC的宽基线图像匹配特征筛选方法，其特征在于，步骤(6a)中所述面积比公式如下：
Figure FDA0002332647170000054
其中，rn,m表示初始匹配点对集中第n个匹配点对的邻近特征面积匹配集中第m对匹配三角形两个面积的比值，an,m表示初始参考特征点集中第n个特征点的邻近特征面积集中第m个三角形的面积，a′n,m表示初始待匹配特征点集中第n个特征点的邻近特征面积集中第m个三角形的面积。
7.根据权利要求6所述的基于临近特征空间一致性NFSC的宽基线图像匹配特征筛选方法，其特征在于，步骤(6b)中所述相对面积比公式如下：
Figure FDA0002332647170000061
其中，Rn,m表示初始匹配点对集中第n个匹配点对的点对面积比集合中第m对匹配三角形两个面积的比值与该匹配点对的三角形面积比参照值的相对面积比，rn,m表示初始匹配点对集中第n个初始匹配点对的点对面积比集合中第m对匹配三角形两个面积的比值,
Figure FDA0002332647170000062
表示初始匹配点对的点对面积比集合中第n个匹配点对的三角形面积比参照值。
8.根据权利要求7所述的基于临近特征空间一致性NFSC的宽基线图像匹配特征筛选方法，其特征在于，步骤(6c)中所述特征点临近空间结构一致性测度公式如下：
Figure FDA0002332647170000063
其中，
Figure FDA0002332647170000064
表示初始匹配点对集中第n个匹配点对的结构相似系数，Rn,m表示初始匹配点对集中第n个匹配点对的邻近特征面积匹配集中第m对匹配三角形两个面积的比值与该匹配点对的三角形面积比参照值的相对面积比。
CN201911343181.7A 2019-12-24 2019-12-24 基于nfsc的宽基线图像匹配特征筛选方法 Active CN111126484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911343181.7A CN111126484B (zh) 2019-12-24 2019-12-24 基于nfsc的宽基线图像匹配特征筛选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911343181.7A CN111126484B (zh) 2019-12-24 2019-12-24 基于nfsc的宽基线图像匹配特征筛选方法

Publications (2)

Publication Number Publication Date
CN111126484A true CN111126484A (zh) 2020-05-08
CN111126484B CN111126484B (zh) 2022-04-19

Family

ID=70501473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911343181.7A Active CN111126484B (zh) 2019-12-24 2019-12-24 基于nfsc的宽基线图像匹配特征筛选方法

Country Status (1)

Country Link
CN (1) CN111126484B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686302A (zh) * 2020-12-29 2021-04-20 科大讯飞股份有限公司 图像特征点匹配方法、计算机设备及存储装置
CN112784898A (zh) * 2021-01-21 2021-05-11 大连外国语大学 基于局部相对运动一致性聚类的特征点匹配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236675A (zh) * 2010-04-30 2011-11-09 华为技术有限公司 图像特征点匹配对处理、图像检索方法及设备
CN103516995A (zh) * 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
CN108510531A (zh) * 2018-03-26 2018-09-07 西安电子科技大学 基于pcncc和邻域信息的sar图像配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236675A (zh) * 2010-04-30 2011-11-09 华为技术有限公司 图像特征点匹配对处理、图像检索方法及设备
CN103516995A (zh) * 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
CN108510531A (zh) * 2018-03-26 2018-09-07 西安电子科技大学 基于pcncc和邻域信息的sar图像配准方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686302A (zh) * 2020-12-29 2021-04-20 科大讯飞股份有限公司 图像特征点匹配方法、计算机设备及存储装置
CN112686302B (zh) * 2020-12-29 2024-02-13 科大讯飞股份有限公司 图像特征点匹配方法、计算机设备及存储装置
CN112784898A (zh) * 2021-01-21 2021-05-11 大连外国语大学 基于局部相对运动一致性聚类的特征点匹配方法
CN112784898B (zh) * 2021-01-21 2024-01-30 大连外国语大学 基于局部相对运动一致性聚类的特征点匹配方法

Also Published As

Publication number Publication date
CN111126484B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
Ye et al. A local phase based invariant feature for remote sensing image matching
Ye et al. A robust multimodal remote sensing image registration method and system using steerable filters with first-and second-order gradients
CN104766084B (zh) 一种多目标匹配的近复制图像检测方法
Ye et al. A local descriptor based registration method for multispectral remote sensing images with non-linear intensity differences
CN105335973B (zh) 运用于带钢加工生产线的视觉处理方法
JP7130216B2 (ja) 車両画像の比較方法とそのシステム
CN112085772B (zh) 一种遥感图像配准方法及装置
CN110136160A (zh) 一种基于圆投影的快速图像匹配方法
Wang et al. Recognition and location of the internal corners of planar checkerboard calibration pattern image
Gesto-Diaz et al. Feature matching evaluation for multimodal correspondence
CN101794439A (zh) 基于边缘分类信息的图像拼接方法
CN111126484B (zh) 基于nfsc的宽基线图像匹配特征筛选方法
CN109858438B (zh) 一种基于模型拟合的车道线检测方法
CN111028292A (zh) 一种亚像素级图像匹配导航定位方法
Sharma et al. Classification based survey of image registration methods
CN103295014A (zh) 基于像素位置排列直方图的图像局部特征描述方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN111091111A (zh) 一种车底危险目标识别方法
CN114494378A (zh) 基于改进的sift算法的多时相遥感图像自动配准方法
CN105678720A (zh) 一种全景拼接判断图像匹配方法及装置
Wu et al. Adaptive image registration via hierarchical voronoi subdivision
CN113436218B (zh) 基于高斯滤波与均值滤波的sar图像边缘检测方法
CN115205558B (zh) 一种具有旋转和尺度不变性的多模态影像匹配方法及装置
CN110517300A (zh) 基于局部结构算子的弹性图像配准算法
Liu et al. A novel adaptive weights proximity matrix for image registration based on R-SIFT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant