CN109376744A - 一种surf和orb相结合的图像特征匹配方法及装置 - Google Patents

一种surf和orb相结合的图像特征匹配方法及装置 Download PDF

Info

Publication number
CN109376744A
CN109376744A CN201811209522.7A CN201811209522A CN109376744A CN 109376744 A CN109376744 A CN 109376744A CN 201811209522 A CN201811209522 A CN 201811209522A CN 109376744 A CN109376744 A CN 109376744A
Authority
CN
China
Prior art keywords
image
characteristic point
point
matching
orb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811209522.7A
Other languages
English (en)
Inventor
程德强
李腾腾
白春梦
赵广源
刘海
查伟
李化玉
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201811209522.7A priority Critical patent/CN109376744A/zh
Publication of CN109376744A publication Critical patent/CN109376744A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种SURF和ORB相结合的图像特征匹配方法及装置，该方法包括：输入第一图像和第二图像；通过SURF分别检测所述第一图像和第二图像中具有尺度不变性的特征点；通过ORB特征描述符分别对所述第一图像和第二图像中的所述特征点进行描述；将所述第一图像中的所述特征点的描述符和所述第二图像中的所述特征点的描述符，根据汉明距离和余弦相似度完成初始匹配；根据PROSAC算法消除所述初始匹配中的误匹配；生成所述第一图像与所述第二图像中特征点的匹配关系。可有效提高图像特征匹配的准确度和速度，同时降低错误匹配的速率。

Description

一种SURF和ORB相结合的图像特征匹配方法及装置
技术领域
本发明涉及图像检测技术领域，尤其涉及一种SURF和ORB相结合的图像特征匹配方法及装置。
背景技术
近年来，图像匹配已成为计算机视觉领域的一个热点。图像匹配技术是图像处理应用中的一个重要分支，在很多领域有着广泛的应用，如图像恢复、目标跟踪、图像拼接、图像融合、三维重建和模式识别等。因此，图像匹配研究具有重要的理论意义和实际应用价值。
计算机视觉的基本和关键问题是图像匹配的准确性和速度，图像匹配方法分为基于区域和基于特征的两种方法。后一种方法在噪声、旋转、缩放、光照变化和灰度变化方面比基于区域的方法具有更好的性能，因此它得到越来越广泛的应用。图像特征匹配的目的是准确可靠地在不同视角、不同时间或不同传感器的两幅或多幅图像之间找到相应的特征。图像特征匹配包括特征点提取、生成特征描述符和描述符配准三部分。
在现存的特征匹配算法中，Low提出的尺度不变特征变换(SIFT)算法被认为是特征匹配算法的主流。SIFT对光照变化、噪声和仿射变换具有很好的鲁棒性。但SIFT的缺点是计算量比较大，没有硬件加速或专用图像处理器就很难满足实时性要求。为此，Bay等于2006年提出快速鲁棒特征(SURF)算法，它不仅简化了SIFT算法，而且在重复性、唯一性和鲁棒性方面也超越或接近了SIFT算法，计算速度也大大提高。然而，SURF算法的运行时间仍然没有质性的改进。为了提高算法的实时性，Rosten和Drummond提出了一种加速段测试(FAST)算法，利用周围像素比较的信息就可以得到特征点。Calonder等人通过比较PCA、LDA和其他降维方法提出了BRIEF描述符，它通过计算和匹配二进制字符串来减少生成特征描述符所需的时间。随后，Rublee等人在2011年IEEE计算机会议上提出了ORB算法，ORB是基于改进的FAST角点检测和改进的BRIEF描述符的运算速度更快的算法。
在使用二元特征(如BRIEF，ORB)进行有效的局部特征匹配方面，已经有越来越多的研究。汉明距离已经被用来衡量二进制特征向量的相似性，这可以通过执行按位异或操作，然后对结果进行位计数来计算。现代计算机可以支持位操作。它比二元特征的其他相似算法(包括欧氏距离，马氏距离和信息熵)表现得更好。最重要的一点是可以有效地完成二元特征对之间的计算距离。在图像特征配准方面，Fischler在1981年提出RANSAC算法，这是一种广泛使用的参数估计算法，通过迭代的方式从包含内点和外点的一组观测值中估计模型拟合数据的参数，从而有效地消除异常值。Beis提出了一种NN算法，Lowe通过调整最近和最近邻矢量比值的阈值来减少一些错误的匹配，但也容易丢失一些原始的正确匹配点。
其中：ORB特征提取时，FAST检测到的特征点没有尺度不变性，导致特征点匹配的尺度不变性很小。同时对ORB的关注主要集中在计算速度上,而往往忽略了其在图像匹配过程中的准确度，影响了最终的匹配效果。
在一些特殊情况下，例如，源图像和目标具有许多相似区域，仅使用汉明距离来度量相似性是非常高的失配率。存在一些距离相等，点的位置不同的矢量。矢量距离可以被证明是相似的，但是很难描述空间信息的几何形状。
在消除误匹配时，RANSAC算法在计算没有上限的参数的迭代次数，增加了计算的复杂度；如果设置迭代次数的上限，结果可能不是最好的结果，甚至可能得到错误的结果，它需要设置与问题相关的阈值。而且基于二进制特征的原始图像匹配算法存在匹配约束有限的局限性，局部图像中具有多个相似区域，错误匹配率高，RANSAC难以有效去除错误点。
因此，针对上述问题如何提供一种效率高、计算量少且匹配精准度高的解决方法，是同行业人员亟待解决的问题。
发明内容
鉴于上述问题，本发明提供一种SURF和ORB相结合的图像特征匹配方法及装置，该方法可提高图像特征匹配的准确度和速度，同时降低错误匹配的速率，保留了更高质量的特征点。
第一方面，本发明提供一种SURF和ORB相结合的图像特征匹配方法，包括：
输入第一图像和第二图像；
通过SURF分别检测所述第一图像和第二图像中具有尺度不变性的特征点；
通过ORB特征描述符分别对所述第一图像和第二图像中的所述特征点进行描述；
将所述第一图像中的所述特征点的描述符和所述第二图像中的所述特征点的描述符，根据汉明距离和余弦相似度完成初始匹配；
根据PROSAC算法消除所述初始匹配中的误匹配；
生成所述第一图像与所述第二图像中特征点的匹配关系。
在一个实施例中，输入第一图像和第二图像后，所述方法还包括：对所述第一图像和第二图像进行预处理；所述预处理包括图像灰度化和滤波处理，再进行归一化处理。
在一个实施例中，通过SURF分别检测所述第一图像和第二图像中具有尺度不变性的特征点，包括：
SURF算法将高斯差分模板和图像卷积转换为块滤波器；
通过不同的帧滤波器对所述第一图像和第二图像分别进行滤波，形成图像金字塔；
通过Hessian矩阵计算得到每层金字塔的对应极值点；所述极值点为尺度不变性的特征点。
在一个实施例中，根据PROSAC算法消除所述初始匹配中的误匹配，包括：
1)设置初始迭代次数，内点的阈值数量为N，最大迭代次数M和误差范围T，初始值设置为0；
2)按质量降序对初始匹配的所述特征点进行排序，然后选择n个高质量数据；
3)从所选n个数据中随机选择m个数据，根据变换矩阵计算ORB特征点真实坐标和计算坐标的偏差，并计算模型参数得到的误差小于内点误差阈值的数据数量，作为内点数量；
4)当所述内点数量小于所述阈值N，则迭代次数增加1，并且过程返回到步骤2)；当所述内点数量大于所述阈值N，则返回内点，计算变换矩阵消除所述初始匹配中的误匹配。
第二方面，本发明还提供一种SURF和ORB相结合的图像特征匹配装置，包括：
输入模块，用于输入第一图像和第二图像；
检测模块，用于通过SURF分别检测所述第一图像和第二图像中具有尺度不变性的特征点；
描述模块，用于通过ORB特征描述符分别对所述第一图像和第二图像中的所述特征点进行描述；
匹配模块，用于将所述第一图像中的所述特征点的描述符和所述第二图像中的所述特征点的描述符，根据汉明距离和余弦相似度完成初始匹配；
消除模块，用于根据PROSAC算法消除所述初始匹配中的误匹配；
生成模块，用于生成所述第一图像与所述第二图像中特征点的匹配关系。
在一个实施例中，所述装置还包括：预处理模块，用于对所述第一图像和第二图像进行预处理；所述预处理包括图像灰度化和滤波处理，再进行归一化处理。
在一个实施例中，所述检测模块，包括：
转换子模块，用于SURF算法将高斯差分模板和图像卷积转换为块滤波器；
滤波子模块，用于通过不同的帧滤波器对所述第一图像和第二图像分别进行滤波，形成图像金字塔；
计算子模块，用于通过Hessian矩阵计算得到每层金字塔的对应极值点；所述极值点为尺度不变性的特征点。
在一个实施例中，所述消除模块具体用于：1)设置初始迭代次数，内点的阈值数量为N，最大迭代次数M和误差范围T，初始值设置为0；2)按质量降序对初始匹配的所述特征点进行排序，然后选择n个高质量数据；3)从所选n个数据中随机选择m个数据，根据变换矩阵计算ORB特征点真实坐标和计算坐标的偏差，并计算模型参数得到的误差小于内点误差阈值的数据数量，作为内点数量；4)当所述内点数量小于所述阈值N，则迭代次数增加1，并且过程返回到步骤2)；当所述内点数量大于所述阈值N，则返回内点，计算变换矩阵消除所述初始匹配中的误匹配。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明实施例提供的一种SURF和ORB相结合的图像特征匹配方法，可有效提高图像特征匹配的准确度和速度，同时降低错误匹配的速率，保留了更高质量的特征点，以便于后续图像拼接、图像融合、三维重建等。本方法包括的特征检测和描述、特征相似性度量和消除误匹配等三个步骤，从这三个方面对图像特征匹配算法进行改进，得到精确的特征匹配点的关系完成匹配。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明提供的SURF和ORB相结合的图像特征匹配方法的流程图；
图2为本发明提供SURF和ORB相结合的图像特征匹配原理图；
图3为本发明提供的PROSAC算法流程图；
图4为本发明提供的SURF和ORB相结合的图像特征匹配装置框图；
图5为本发明提供的检测模块42的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种SURF和ORB相结合的图像特征匹配方法，下面结合附图说明。
参照图1所示，该方法包括：步骤S101～S106；
S101、输入第一图像和第二图像；
S102、通过SURF分别检测所述第一图像和第二图像中具有尺度不变性的特征点；
S103、通过ORB特征描述符分别对所述第一图像和第二图像中的所述特征点进行描述；
S104、将所述第一图像中的所述特征点的描述符和所述第二图像中的所述特征点的描述符，根据汉明距离和余弦相似度完成初始匹配；
S105、根据PROSAC算法消除所述初始匹配中的误匹配；
S106、生成所述第一图像与所述第二图像中特征点的匹配关系。
具体地，上述步骤S102中对传统ORB算法进行改进，由于FAST检测算子检测到的特征点没有尺度不变性，因此使用SURF算法的多尺度空间来提取特征点，即：利用不同大小的盒形滤波器模板和积分图像生成多尺度空间，检测具有尺度不变性的稳定极值点，然后步骤S103使用ORB描述符来描述要获得rBRIEF描述符的特征点，利用具有快速优越性和旋转不变性的ORB描述符进行特征描述。
传统方法利用汉明距离来衡量二进制特征向量的相似性，尽管使用RANSAC来消除误匹配，但也存在一些距离相等，点的位置不同的矢量，汉明距离很难描述空间信息的几何形状。为了消除错误匹配和保证匹配精度，本发明实施例中采用汉明距离和余弦相似度组合的方法，分别从数值和方向特征分别反映向量之间的差异。
现有的RANSAC随机抽取样本而不考虑样本之间的差异，且在计算没有上限的参数的迭代次数，增加了计算的复杂度。本发明使用基于RANSAC改进的PROSAC方法，它在鲁棒性和计算效率方面均优于RANSAC算法。为了使匹配方法更稳健，步骤S105使用渐进式样本一致性(PROSAC)算法来改进RANSAC以去除异常值。
本实施例中，可有效提高图像特征匹配的准确度和速度，同时降低错误匹配的速率，保留了更高质量的特征点，以便于后续图像拼接、图像融合、三维重建等。本方法包括的特征检测和描述、特征相似性度量和消除误匹配等三个步骤，从这三个方面对图像特征匹配算法进行改进，得到精确的特征匹配点的关系完成匹配。
参照图2所示，为SURF和ORB相结合的图像特征匹配原理图：
1)输入源图像a,b，首先，利用不同大小的盒形滤波器模板和积分图像对源图像a,b分别生成多尺度空间，SURF检测具有尺度不变性的稳定极值点；其中源图像a,b为已预处理的源图像；
2)然后使用ORB描述符来描述要获得旋转二进制描述符的特征点，通过抑制极大值得到的特征点具有尺度不变性，此时的特征描述符不仅具有旋转不变性，而且具有尺度不变性；
3)同时使用汉明距离和余弦相似性来完成初始匹配，两种方法分别从数值和方向特征分别反映了向量之间的差异；
4)由于存在误匹配，PROSAC算法用于消除初始匹配点的不匹配，提高匹配精度；
5)最终得到图像特征的匹配关系，完成精确匹配。
为了进一步提高图像中特征点的匹配精准度，在输入第一图像和第二图像后，对所述第一图像和第二图像进行预处理；预处理包括图像灰度化和滤波处理，再进行归一化处理。
下面通过ORB算法的原理介绍，进一步说明本发明提供的基于SURF和ORB相结合的图像特征匹配方法。
1、ORB算法原理
尽管许多基于图像特征的改进后的方法在理论上可以提高计算效率，但ORB在复杂场景中始终表现更好。ORB是FAST特征检测和BRIEF描述符的组合。这两种算法都具有良好的性能，大大提高了算法的计算性能，提高了算法的实时性。
1.1特征检测
ORB的特征点检测基于FAST角点检测器。FAST算法具有平移和旋转不变性、噪声鲁棒性好、计算量小、可靠性高等优点。ORB算法采用性能最好的FAST-9算法(半径为9个像素)。
特征判别式相应函数定义为：
其中，G(p)和G(i)分别是点p和其邻域的灰度值，ξ是阈值。当比较16个相邻点时，如果邻域的圆形边界中有9个连续点，并且它们的灰度值大于ξ，则将其判断为特征点。然后，使用Harris提出的角点响应函数从所识别的特征点中进行选择。
FAST的缺点是对尺度变化敏感，无法获取特征描述所需的局部区域主方向分量。因此，ORB采用灰度质心方法来定位角点的方向。对于任何特征点，邻域像素的矩可以表示为：
用这些矩可以找到质心：
其中x,y是特征点的位置，I(x,y)为点(x,y)处的灰度值，特征点与质心之间的角度被设置为特征点的主方向，表示为
θ＝atan2(m01,m10)(4)
其中，atan2是象限相关的arctan函数。这些特征点提供方向不变性，但不是尺度不变的。
1.2特征描述
在检测特征点之后，使用改进的BRIEF描述符来描述这些特征。BRIEF特征描述符是对图像块二值字符串的描述，令(p(m),p(n))为点对p的灰度值，其中每个点对对应于二进制串测试τ定义为：
当选择n个测试点对时，特征描述符被定义为有n个二值的向量：
这些描述符基于像素值，很容易受到噪声的影响。因此，定义特征点的相邻子窗口，并且通过比较子窗口的灰度积分来替换像素值。ORB中的每个测试点是一个包含31×31像素块的5×5子窗口。为了确保描述符具有旋转不变性，在点(xi,yi)选择n对特征并形成矩阵S：
然后，通过在特征检测阶段获得的主方向θ和仿射变换矩阵Rθ，建立一个可转向的Sθ：
Sθ＝RθS(8)
则旋转不变特征点的ORB新的描述符变为：
gn(p,θ):＝fn(p)|(xi,yi)∈Sθ(9)
2、基于SURF改进的ORB算法
在分析ORB算法步骤后，可以发现FAST检测到的特征点没有尺度不变性，导致特征点匹配的尺度不变性很小。考虑SURF采用尺度空间理论来检测稳定的极值点，因此采用SURF的思想，通过尺度空间理论检测具有尺度不变性的特征点，然后利用ORB描述子的快速优越性和旋转不变性，从而使特征点匹配获得较好的尺度不变性。
对于原始灰度图像G，其积分图像为I∑(x,y)。两幅图像之间的关系可以表示为：
为了避免特征点的重复，SURF算法将高斯差分模板和图像卷积转换为块滤波器，然后通过不同的帧滤波器对要处理的图像进行滤波以形成图像金字塔。然后，通过Hessian矩阵得到每层金字塔的对应极值点。
σ表示尺度系数，一个点会有多个σ值下的Hessian矩阵,在σ的尺度上，图像I∑(x,y)的Hessian矩阵被定义为：
其中，Lxx(x,σ)是高斯函数的二阶偏导数和图像中点的灰度值的二维卷积，Lxx(x,σ)和Lyy(x,σ)具有相似的定义。
在获得相应空间的极值之后，在以最大点为中心的3×3×3的区域中抑制非极大值。如果一个点相对于其周围的极值和上下所有像素的比例尺都是最大值或最小值，则称为候选特征点。然后分别对图像和尺度空间进行插值和运算，找出需要的特征分布和尺度值。
在使用Hessian矩阵获得特征点之后，利用式(4)找到FAST拐角的主方向的方法来计算特征点的主方向。然后使用上述1.2特征描述中的ORB特征描述符计算特征描述符，通过抑制极大值得到的特征点具有尺度不变性，因此此时的特征描述符不仅具有旋转不变性，而且具有尺度不变性。
3、特征相似性度量
汉明距离是对描述符进行异或操作，进行关键点附近的匹配，然而，当图像之间存在相似的区域时，汉明距离的单一方法会导致错误匹配的高速率。本发明实施例采用汉明距离和余弦相似度组合方法，来说明错误匹配和保证匹配精度。
余弦相似度用余弦值来衡量向量空间中两个向量之间差异的大小。与距离测量相比，余弦相似性更注重两个向量在方向上的差异，而不是距离或长度。距离测量用于测量空间中存在的矢量距离，距离越远表示矢量之间的差异越大。汉明距离是最常见的距离度量，而余弦相似度是最常见的相似度函数之一，它们分别从数值和方向特征分别反映了向量之间的差异。余弦相似度具体的数学表达式是：
余弦值范围为[-1,1]。余弦值越大，两个向量之间的角度越小。余弦值越小，两个向量之间的角度越大。角度余弦可用于评估几何中两个向量之间的方向差异。本发明同时利用汉明距离和余弦相似性来测量特征向量之间的差异。
4、改进的去除误匹配方法
由ORB检测到的关键点对组不可避免地包含这些良好匹配之间的误匹配。为了使匹配方法更稳健，使用渐进式样本一致性(PROSAC)算法来改进RANSAC以去除异常值。RANSAC算法不能很好地处理不匹配对的数量与总匹配对的比例过大的情况，并且可能失败。PROSAC算法是RANSAC算法的改进，其鲁棒性和计算效率高于RANSAC。RANSAC算法从所有数据中随机提取样本，而不考虑样本之间的差异。PROSAC算法根据质量按降序对样本进行排序，使用匹配率较高的数据子集作为样本集来估计拟合。
参照图3所示为PROSAC算法流程图，PROSAC算法的具体步骤如下：
1)设置初始迭代次数，内点的阈值数量为N，最大迭代次数M和误差范围T，初始值设置为0。
2)按质量降序对样品数据进行排序，然后选择n个高质量数据。
3)从所选n个数据中随机选择m个数据，根据变换矩阵计算ORB特征点真实坐标和计算坐标的偏差，并计算模型参数之间的误差小于设定值的内点数。
4)如果内点数量少于设定的阈值N，则迭代次数增加1，并且过程返回到步骤2。大于则返回内点，计算变换矩阵。
在上述步骤之后，大部分明显的错误匹配点都可以被删除,最终得到图像特征的匹配关系，完成精确匹配。
基于同一发明构思，本发明实施例还提供了一种SURF和ORB相结合的图像特征匹配装置，由于该装置所解决问题的原理与前述SURF和ORB相结合的图像特征匹配方法相似，因此该装置的实施可以参见前述方法的实施，重复之处不再赘述。
本发明还提供一种SURF和ORB相结合的图像特征匹配装置，参照图4所示，包括：
输入模块41，用于输入第一图像和第二图像；
检测模块42，用于通过SURF分别检测所述第一图像和第二图像中具有尺度不变性的特征点；
描述模块43，用于通过ORB特征描述符分别对所述第一图像和第二图像中的所述特征点进行描述；
匹配模块44，用于将所述第一图像中的所述特征点的描述符和所述第二图像中的所述特征点的描述符，根据汉明距离和余弦相似度完成初始匹配；
消除模块45，用于根据PROSAC算法消除所述初始匹配中的误匹配；
生成模块46，用于生成所述第一图像与所述第二图像中特征点的匹配关系。
在一个实施例中，所述装置还包括：预处理模块47，用于对所述第一图像和第二图像进行预处理；所述预处理包括图像灰度化和滤波处理，再进行归一化处理。
在一个实施例中，所述检测模块42，参照图5所示，包括：
转换子模块421，用于SURF算法将高斯差分模板和图像卷积转换为块滤波器；
滤波子模块422，用于通过不同的帧滤波器对所述第一图像和第二图像分别进行滤波，形成图像金字塔；
计算子模块423，用于通过Hessian矩阵计算得到每层金字塔的对应极值点；所述极值点为尺度不变性的特征点。
在一个实施例中，所述消除模块45具体用于：1)设置初始迭代次数，内点的阈值数量为N，最大迭代次数M和误差范围T，初始值设置为0；2)按质量降序对初始匹配的所述特征点进行排序，然后选择n个高质量数据；3)从所选n个数据中随机选择m个数据，根据变换矩阵计算ORB特征点真实坐标和计算坐标的偏差，并计算模型参数得到的误差小于内点误差阈值的数据数量，作为内点数量；4)当所述内点数量小于所述阈值N，则迭代次数增加1，并且过程返回到步骤2)；当所述内点数量大于所述阈值N，则返回内点，计算变换矩阵消除所述初始匹配中的误匹配。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种SURF和ORB相结合的图像特征匹配方法，其特征在于，包括：
输入第一图像和第二图像；
通过SURF分别检测所述第一图像和第二图像中具有尺度不变性的特征点；
通过ORB特征描述符分别对所述第一图像和第二图像中的所述特征点进行描述；
将所述第一图像中的所述特征点的描述符和所述第二图像中的所述特征点的描述符，根据汉明距离和余弦相似度完成初始匹配；
根据PROSAC算法消除所述初始匹配中的误匹配；
生成所述第一图像与所述第二图像中特征点的匹配关系。
2.如权利要求1所述的方法，其特征在于，输入第一图像和第二图像后，所述方法还包括：对所述第一图像和第二图像进行预处理；所述预处理包括图像灰度化和滤波处理，再进行归一化处理。
3.如权利要求2所述的方法，其特征在于，通过SURF分别检测所述第一图像和第二图像中具有尺度不变性的特征点，包括：
SURF算法将高斯差分模板和图像卷积转换为块滤波器；
通过不同的帧滤波器对所述第一图像和第二图像分别进行滤波，形成图像金字塔；
通过Hessian矩阵计算得到每层金字塔的对应极值点；所述极值点为尺度不变性的特征点。
4.如权利要求1-3任一项所述的方法，其特征在于，根据PROSAC算法消除所述初始匹配中的误匹配，包括：
1)设置初始迭代次数，内点的阈值数量为N，最大迭代次数M和误差范围T，初始值设置为0；
2)按质量降序对初始匹配的所述特征点进行排序，然后选择n个高质量数据；
3)从所选n个数据中随机选择m个数据，根据变换矩阵计算ORB特征点真实坐标和计算坐标的偏差，并计算模型参数得到的误差小于内点误差阈值的数据数量，作为内点数量；
4)当所述内点数量小于所述阈值N，则迭代次数增加1，并且过程返回到步骤2)；当所述内点数量大于所述阈值N，则返回内点，计算变换矩阵消除所述初始匹配中的误匹配。
5.一种SURF和ORB相结合的图像特征匹配装置，其特征在于，包括：
输入模块，用于输入第一图像和第二图像；
检测模块，用于通过SURF分别检测所述第一图像和第二图像中具有尺度不变性的特征点；
描述模块，用于通过ORB特征描述符分别对所述第一图像和第二图像中的所述特征点进行描述；
匹配模块，用于将所述第一图像中的所述特征点的描述符和所述第二图像中的所述特征点的描述符，根据汉明距离和余弦相似度完成初始匹配；
消除模块，用于根据PROSAC算法消除所述初始匹配中的误匹配；
生成模块，用于生成所述第一图像与所述第二图像中特征点的匹配关系。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：预处理模块，用于对所述第一图像和第二图像进行预处理；所述预处理包括图像灰度化和滤波处理，再进行归一化处理。
7.如权利要求6所述的装置，其特征在于，所述检测模块，包括：
转换子模块，用于SURF算法将高斯差分模板和图像卷积转换为块滤波器；
滤波子模块，用于通过不同的帧滤波器对所述第一图像和第二图像分别进行滤波，形成图像金字塔；
计算子模块，用于通过Hessian矩阵计算得到每层金字塔的对应极值点；所述极值点为尺度不变性的特征点。
8.如权利要求5-7任一项所述的装置，其特征在于，所述消除模块具体用于：1)设置初始迭代次数，内点的阈值数量为N，最大迭代次数M和误差范围T，初始值设置为0；2)按质量降序对初始匹配的所述特征点进行排序，然后选择n个高质量数据；3)从所选n个数据中随机选择m个数据，根据变换矩阵计算ORB特征点真实坐标和计算坐标的偏差，并计算模型参数得到的误差小于内点误差阈值的数据数量，作为内点数量；4)当所述内点数量小于所述阈值N，则迭代次数增加1，并且过程返回到步骤2)；当所述内点数量大于所述阈值N，则返回内点，计算变换矩阵消除所述初始匹配中的误匹配。
CN201811209522.7A 2018-10-17 2018-10-17 一种surf和orb相结合的图像特征匹配方法及装置 Pending CN109376744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811209522.7A CN109376744A (zh) 2018-10-17 2018-10-17 一种surf和orb相结合的图像特征匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811209522.7A CN109376744A (zh) 2018-10-17 2018-10-17 一种surf和orb相结合的图像特征匹配方法及装置

Publications (1)

Publication Number Publication Date
CN109376744A true CN109376744A (zh) 2019-02-22

Family

ID=65400037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811209522.7A Pending CN109376744A (zh) 2018-10-17 2018-10-17 一种surf和orb相结合的图像特征匹配方法及装置

Country Status (1)

Country Link
CN (1) CN109376744A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096973A (zh) * 2019-04-16 2019-08-06 东南大学 一种基于orb算法和深度级可分离卷积网络的交警手势识别方法
CN110175011A (zh) * 2019-05-06 2019-08-27 长春理工大学 一种全景影像无缝拼接方法
CN110210511A (zh) * 2019-04-19 2019-09-06 哈尔滨工业大学 一种基于余弦测度的改进pca-sift图像配准方法
CN110222594A (zh) * 2019-05-20 2019-09-10 厦门能见易判信息科技有限公司 盗版视频识别方法及系统
CN111104922A (zh) * 2019-12-30 2020-05-05 深圳纹通科技有限公司 一种基于有序抽样的特征匹配算法
CN112016610A (zh) * 2020-08-25 2020-12-01 济南大学 一种图像特征匹配方法及系统
CN112381785A (zh) * 2020-11-12 2021-02-19 北京一起教育科技有限责任公司 一种图像检测方法、装置及电子设备
CN113570647A (zh) * 2021-07-21 2021-10-29 中国能源建设集团安徽省电力设计院有限公司 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
CN104599258A (zh) * 2014-12-23 2015-05-06 大连理工大学 一种基于各向异性特征描述符的图像拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
CN104599258A (zh) * 2014-12-23 2015-05-06 大连理工大学 一种基于各向异性特征描述符的图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴雪梅 等: "基于改进 ORB 的图像特征点匹配研究", 《电子测量与仪器学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096973A (zh) * 2019-04-16 2019-08-06 东南大学 一种基于orb算法和深度级可分离卷积网络的交警手势识别方法
CN110210511A (zh) * 2019-04-19 2019-09-06 哈尔滨工业大学 一种基于余弦测度的改进pca-sift图像配准方法
CN110175011A (zh) * 2019-05-06 2019-08-27 长春理工大学 一种全景影像无缝拼接方法
CN110175011B (zh) * 2019-05-06 2022-06-03 长春理工大学 一种全景影像无缝拼接方法
CN110222594A (zh) * 2019-05-20 2019-09-10 厦门能见易判信息科技有限公司 盗版视频识别方法及系统
CN110222594B (zh) * 2019-05-20 2021-11-16 厦门能见易判信息科技有限公司 盗版视频识别方法及系统
CN111104922A (zh) * 2019-12-30 2020-05-05 深圳纹通科技有限公司 一种基于有序抽样的特征匹配算法
CN111104922B (zh) * 2019-12-30 2022-03-08 深圳纹通科技有限公司 一种基于有序抽样的特征匹配算法
CN112016610A (zh) * 2020-08-25 2020-12-01 济南大学 一种图像特征匹配方法及系统
CN112016610B (zh) * 2020-08-25 2022-05-31 济南大学 一种图像特征匹配方法及系统
CN112381785A (zh) * 2020-11-12 2021-02-19 北京一起教育科技有限责任公司 一种图像检测方法、装置及电子设备
CN113570647A (zh) * 2021-07-21 2021-10-29 中国能源建设集团安徽省电力设计院有限公司 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法

Similar Documents

Publication Publication Date Title
CN109376744A (zh) 一种surf和orb相结合的图像特征匹配方法及装置
Haußecker et al. Motion
He et al. Sparse template-based 6-D pose estimation of metal parts using a monocular camera
Pantilie et al. SORT-SGM: Subpixel optimized real-time semiglobal matching for intelligent vehicles
Demisse et al. Deformation based curved shape representation
CN102661708B (zh) 一种基于surf的高密度封装元器件定位方法
Navarro et al. Robust and dense depth estimation for light field images
CN106340010B (zh) 一种基于二阶轮廓差分的角点检测方法
Wang et al. Robust edge-based 3D object tracking with direction-based pose validation
CN103679193A (zh) 一种基于freak的高速高密度封装元器件快速定位方法
CN111199558A (zh) 一种基于深度学习的图像匹配方法
Peña et al. Disparity estimation by simultaneous edge drawing
Nasri et al. A novel approach for dynamic hand gesture recognition using contour-based similarity images
Yang et al. A new approach to robust estimation of parametric structures
Abdellali et al. L2D2: Learnable line detector and descriptor
Yang et al. A method for wafer defect detection using spatial feature points guided affine iterative closest point algorithm
Li et al. Point pattern matching and applications-a review
CN110765993B (zh) 基于ai算法的sem图形量测方法
Bullinger Image-based 3D reconstruction of dynamic objects using instance-aware multibody structure from motion
Qiao et al. A theory of phase singularities for image representation and its applications to object tracking and image matching
CN104700401B (zh) 一种基于K‑Means聚类法的图像仿射变换控制点选取方法
Ke et al. A high precision image registration method for measurement based on the stereo camera system
Yang et al. A hybrid 3D registration method of augmented reality for intelligent manufacturing
Wang et al. Extracting hand articulations from monocular depth images using curvature scale space descriptors
Koutaki et al. Fast and high accuracy pattern matching using multi-stage refining eigen template

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222

RJ01 Rejection of invention patent application after publication