CN108447084B - 基于orb特征的立体匹配补偿方法 - Google Patents

基于orb特征的立体匹配补偿方法 Download PDF

Info

Publication number
CN108447084B
CN108447084B CN201810221378.2A CN201810221378A CN108447084B CN 108447084 B CN108447084 B CN 108447084B CN 201810221378 A CN201810221378 A CN 201810221378A CN 108447084 B CN108447084 B CN 108447084B
Authority
CN
China
Prior art keywords
point
matching
points
feature
sad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810221378.2A
Other languages
English (en)
Other versions
CN108447084A (zh
Inventor
冯金超
王飞
贾克斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201810221378.2A priority Critical patent/CN108447084B/zh
Publication of CN108447084A publication Critical patent/CN108447084A/zh
Application granted granted Critical
Publication of CN108447084B publication Critical patent/CN108447084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于ORB特征的立体匹配补偿方法，ORB使用oFAST进行特征检测之后使用rBRIEF进行描述，在特征点31×31邻域选择点对作为描述子，特征点31×31中的每个点均由5×5子窗口平均灰度代替单点灰度。RANSAC通过多次迭代的方式，从观测集中随机选取一定数量的样本来估计模型参数，并以此模型对测试数据集进行内外点划分，最终得到占据内点数最多的模型。此处用以估计两个平面的投影变化模型即单应性矩阵。本方法采用一种四分区的SAD进行立体匹配，通过对图像周围7×7区域使用SAD计算匹配代价，并对其进行四分块，分别进行代价融合，若满足任意两块的融合代价均小于设定阈值，则认为匹配成功。最终将两次匹配的集合作为立体匹配的内点。

Description

基于ORB特征的立体匹配补偿方法
技术领域
本发明属于立体视觉领域，涉及一种基于ORB特征的立体匹配补偿方法。
背景技术
立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维几何信息。立体视觉的研究具有重要的应用价值，其应用包括移动机器人的自主导航系统，航空及遥感测量，工业自动化系统等。
立体匹配是计算机视觉中的一个无法绕开的难点，其目标是寻找不同视图中图像匹配的对应点。最容易理解也是最简单的匹配算法是利用匹配点周围一个固定大小的窗口的灰度分布，在一个可能的视差范围内，通过寻找两个对应窗口图像向量的归一化相关值的最大值得到视差，这一类方法被称为区域匹配方法，如我们常用的BM(Block Matching)算法，其可以基于平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)等窗口进行相似度匹配。而由于区域匹配算法的准确率较低，越来越多人使用特征点来进行匹配，这种方法也被称为特征匹配(Feature Matching)方法，如Marr和Poggio提出了多尺度的匹配算法，利用不同的Laplacian过零点以及梯度进行匹配。由于基于特征的立体匹配方式在准确率方面的优势，其被广泛应用于定位，场景重建，SLAM等方面。
而在实际场景中，如室内定位，对实时性要求较高，在众多特征提取算法中SIFT(Scale Invariant Feature Transform)算法提取的特征鲁棒性最好，拥有良好的尺度和旋转特性，但算法在提取和描述特征时耗费大量的时间。SURF(Speeded Up RobustFeatures)算法在SIFT基础上进行了改进采用Hessian矩阵代替DoG(DifferenceofGuassian)，并在特征描述上采用64维描述子代替了SIFT中的128维描述子，大大降低了时耗，但是仍然很难达到实时效果。如何快速准确的获取更多的特征是立体匹配中研究的重点和难点。
为了能应用在实时场景中，必须在特征提取方面降低时耗可以采用ORB(OrientedFAST and Rotated BRIEF)特征提取算法。该算法是2012年Ethan Rublee等人在2012年的ICCV会议上提出，其特征提取是由FAST算法改进的，被称为oFAST(FAST KeypointOrientation)。其在FAST提取特征的基础上定义特征点方向，以此来实现特征点的旋转不变形。在特征点描述方面采用了rBRIEF(Rotated BRIEF)特征描述，rBRIEF是在BRIEF特征描述的基础上加入旋转因子改进的，并采用学习的方法得到256维的特征描述。该算法在时耗方面比SURF低一个量级，能很好的应用与实时系统中，然而在特征提取数量上也远低于另外两种算法，在经过RANSAC(Random Sample Consensus)筛选特征之后，其特征数量无法满足室内定位的需求。
对此，本发明提出一种基于ORB特征的立体匹配补偿方法，来补偿可使用的特征数量，保证其实室内定位中的应用。
发明内容
本发明采用的技术方案为基于ORB特征的立体匹配补偿方法，该方法的实现过程如下，ORB使用oFAST进行特征检测之后使用rBRIEF进行描述，在特征点31×31邻域选择点对作为描述子，特征点31×31中的每个点均由5×5子窗口平均灰度代替单点灰度，图像邻域P的测试函数τ为：
Figure BDA0001600084700000021
x、y分别代表邻域内被选择到的点对，p(x)是图像在P区域经过平滑处理后点x＝(u,v)，u、v分别代表图像点x在图像平面的横纵坐标的像素值。nd(x,y)是唯一对应的二值测试点对集合，最终描述子
Figure BDA0001600084700000023
的表达式为：
Figure BDA0001600084700000022
c表示二值测试点的序号数，而对于深度不连续区域和遮挡区域，这样的描述使得很多特征无法得到正确的匹配，使得原本在特征数量方面远不及SURF和SIFT两种算法的ORB，部分图像对经RANSAC筛选之后的特征数量太少，无法满足室内定位对特征数量的基本要求。
RANSAC通过多次迭代的方式，从观测集中随机选取一定数量的样本来估计模型参数，并以此模型对测试数据集进行内外点划分，最终得到占据内点数最多的模型。此处用以估计两个平面的投影变化模型即单应性矩阵。
对于三维空间中的任意点Q，任意点Q在相机图像上的投影q由下式变换得到：
q＝sMWQ， (3)
其中s为常数因子，M为相机内参，W为空间变换矩阵，Q＝(X,Y,Z,1)T表示空间点的齐次坐标，(X，Y，Z)为三维空间中的坐标，q＝(x,y,1)T表示图像点的齐次坐标。由于单应性矩阵为平面透视投影映射，所以可将空间三维点简化为二维，即令Z＝0，Q’＝(X,Y,1)T，同时将W除去对应列变为W’，令H＝sMW’则：
q＝HQ’ (4)
H为3×3矩阵，实现了两个平面的二维投影变换，称之为单应性矩阵。通常将末尾元素设置为1作为归一化矩阵，h1-h8为单应性矩阵的子元素，则H可设为：
Figure BDA0001600084700000031
根据式(4)得到下式：
Figure BDA0001600084700000032
由于h1-h8为八个待求解的参数，那么至少需要四对不共线的匹配点方得到该单应性矩阵，因此设置RANSAC最小样本数为4，RANSAC中的置信度设为0.97。
首先利用匹配特征对得到单应性矩阵H，之后将所有被划分为外点的左视图特征点重新整理为集合So，使用H估计So中所有点在右视图的范围，利用SAD匹配算法进行二次匹配，从而对特征数量进行补偿。SAD匹配算法的公式如下：
Figure BDA0001600084700000033
x',y'分别代表当前像素点的坐标。m，n为SAD窗口的大小。i的取值为(-m，m)表示，j的取值为(-n，n)；i、j分别为当前像素点的坐标偏移量。Il，Ir分别代表左、右视图的像素点的像素值。通过迭代得到SAD匹配算法的最小值，则其对应的(x,y)就是要查找的对应点，d为对应的视差。本方法采用一种四分区的SAD进行立体匹配，如图1所示，通过对图像周围7×7区域使用SAD计算匹配代价，并对其进行四分块，分别进行代价融合，若满足任意两块的融合代价均小于设定阈值，则认为匹配成功。最终将两次匹配的集合作为立体匹配的内点。
附图说明
图1为SAD四分块划分模式；
图2为特征补偿之前经RANSAC筛选后的匹配特征；
图3为通过特征补偿之后筛选之后的匹配特征；
图4为整体流程框图。
具体实施方式
下面根据具体实施示例与附图对本发明进行说明。
首先，通过VS2010+Opencv2.4.8读入左右视图，并利用ORB类进行特征提取，并计算描述子，之后利用BruteForce特征匹配方式进行匹配。得到特征匹配结果。由于特征匹配得到的匹配结果错误率较高，之后进行特征筛选，利用极线约束法首先进行特征的初步筛选，将不再同一极线上的匹配特征滤除。最后采用RANSAC寻找单应性矩阵，设置拒绝阈值为20，最后将所有内点作为第一次匹配得到的匹配特征。
使用特征补偿方法对未匹配特征进行二次匹配，首先利用上文得到的单应性矩阵进行匹配点粗定位，然后使用四分块的SAD窗口进行相似度测量，若符合任意两个分块在35阈值之内，责认为该点满足匹配要求，定为补偿特征。
本发明使用SAD匹配方式补偿基于ORB特征匹配的立体匹配，图2、3分别为特征补偿前后的匹配特征，可以看到通过特征补偿算法，特征数量明显增多，且只增加少量时耗，非常适用于室内定位。

Claims (2)

1.基于ORB特征的立体匹配补偿方法，其特征在于：该方法的实现过程如下，ORB使用oFAST进行特征检测之后使用rBRIEF进行描述，在特征点31×31邻域选择点对作为描述子，特征点31×31中的每个点均由5×5子窗口平均灰度代替单点灰度，图像邻域P的测试函数τ为：
Figure FDA0003533578580000011
x、y分别代表邻域内被选择到的点对，p(x)是图像在P区域经过平滑处理后点x＝(u,v)，u、v分别代表图像点x在图像平面的横纵坐标的像素值；nd(x,y)是唯一对应的二值测试点对集合，最终描述子
Figure FDA0003533578580000012
的表达式为：
Figure FDA0003533578580000013
c表示二值测试点的序号数；
RANSAC通过多次迭代的方式，从观测集中随机选取一定数量的样本来估计模型参数，并以此模型对测试数据集进行内外点划分，最终得到占据内点数最多的模型；此处用以估计两个平面的投影变化模型即单应性矩阵；
对于三维空间中的任意点Q，任意点Q在相机图像上的投影q由下式变换得到：
q＝sMWQ， (3)
其中s为常数因子，M为相机内参，W为空间变换矩阵，Q＝(X,Y,Z,1)T表示空间点的齐次坐标，(X，Y，Z)为三维空间中的坐标，q＝(x,y,1)T表示图像点的齐次坐标；由于单应性矩阵为平面透视投影映射，所以可将空间三维点简化为二维，即令Z＝0，Q’＝(X,Y,1)T，同时将W除去对应列变为W’，令H＝sMW’则：
q＝HQ’ (4)
H为3×3矩阵，实现了两个平面的二维投影变换，称之为单应性矩阵；将末尾元素设置为1作为归一化矩阵，h1-h8为单应性矩阵的子元素，则H可设为：
Figure FDA0003533578580000014
根据式(4)得到下式：
Figure FDA0003533578580000021
由于h1-h8为八个待求解的参数，那么至少需要四对不共线的匹配点方得到该单应性矩阵，因此设置RANSAC最小样本数为4，RANSAC中的置信度设为0.97；
首先利用匹配特征对得到单应性矩阵H，之后将所有被划分为外点的左视图特征点重新整理为集合So，使用H估计So中所有点在右视图的范围，利用SAD匹配算法进行二次匹配，从而对特征数量进行补偿；SAD匹配算法的公式如下：
Figure FDA0003533578580000022
x',y'分别代表当前像素点的坐标；m，n为SAD窗口的大小；i的取值为(-m，m)表示，j的取值为(-n，n)；i、j分别为当前像素点的坐标偏移量；Il，Ir分别代表左、右视图的像素点的像素值；通过迭代得到SAD匹配算法的最小值，则其对应的(x,y)就是要查找的对应点，d为对应的视差。
2.根据权利要求1所述的基于ORB特征的立体匹配补偿方法，其特征在于：采用一种四分区的SAD进行立体匹配，通过对图像周围7×7区域使用SAD计算匹配代价，并对其进行四分块，分别进行代价融合，若满足任意两块的融合代价均小于设定阈值，则认为匹配成功；最终将两次匹配的集合作为立体匹配的内点。
CN201810221378.2A 2018-03-17 2018-03-17 基于orb特征的立体匹配补偿方法 Active CN108447084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810221378.2A CN108447084B (zh) 2018-03-17 2018-03-17 基于orb特征的立体匹配补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810221378.2A CN108447084B (zh) 2018-03-17 2018-03-17 基于orb特征的立体匹配补偿方法

Publications (2)

Publication Number Publication Date
CN108447084A CN108447084A (zh) 2018-08-24
CN108447084B true CN108447084B (zh) 2022-04-15

Family

ID=63194874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810221378.2A Active CN108447084B (zh) 2018-03-17 2018-03-17 基于orb特征的立体匹配补偿方法

Country Status (1)

Country Link
CN (1) CN108447084B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961103B (zh) * 2019-04-02 2020-10-27 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN110189368B (zh) * 2019-05-31 2023-09-19 努比亚技术有限公司 图像配准方法、移动终端及计算机可读存储介质
CN114562957B (zh) * 2022-02-28 2024-05-17 南京理工大学 基于双棱镜单摄像机立体视觉工业内窥镜系统及三维测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102607535B (zh) * 2012-02-07 2014-01-22 湖州师范学院 一种利用视差空间集束调整的高精度实时立体视觉定位方法
CN103516995A (zh) * 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置

Also Published As

Publication number Publication date
CN108447084A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
Chen et al. Feature detection and description for image matching: from hand-crafted design to deep learning
Choi et al. Depth analogy: Data-driven approach for single image depth estimation using gradient samples
CN103700099B (zh) 一种旋转和尺度不变的宽基线立体匹配方法
CN116309757B (zh) 基于机器视觉的双目立体匹配方法
Jiang et al. Robust image matching via local graph structure consensus
CN111767960A (zh) 一种应用于图像三维重建的图像匹配方法及系统
CN111145232A (zh) 一种基于特征信息变化度的三维点云自动配准方法
CN108447084B (zh) 基于orb特征的立体匹配补偿方法
CN110243390B (zh) 位姿的确定方法、装置及里程计
CN112883850B (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
Son et al. A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments
Sharma et al. Classification based survey of image registration methods
Huang et al. Algebraic multi-grid based multi-focus image fusion using watershed algorithm
US11256949B2 (en) Guided sparse feature matching via coarsely defined dense matches
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN112767457A (zh) 一种基于主成分分析的平面点云匹配方法及装置
CN117078726A (zh) 一种基于边缘提取的异谱图像配准方法
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
Fahmy et al. Stereo vision based depth estimation algorithm in uncalibrated rectification
CN108416811B (zh) 一种摄影机自标定方法及装置
Kang et al. A robust image matching method based on optimized BaySAC
CN106651950B (zh) 一种基于二次曲线透视投影不变性的单相机位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant