CN110135496B - 一种基于特征的立体图像匹配算法 - Google Patents

一种基于特征的立体图像匹配算法 Download PDF

Info

Publication number
CN110135496B
CN110135496B CN201910405561.2A CN201910405561A CN110135496B CN 110135496 B CN110135496 B CN 110135496B CN 201910405561 A CN201910405561 A CN 201910405561A CN 110135496 B CN110135496 B CN 110135496B
Authority
CN
China
Prior art keywords
feature
point
chain
image
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910405561.2A
Other languages
English (en)
Other versions
CN110135496A (zh
Inventor
熊长炜
贺定修
李龙根
舒雨锋
范四立
刘捷
张峻华
罗立星
陈天宇
梁耀荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Polytechnic
Original Assignee
Dongguan Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Polytechnic filed Critical Dongguan Polytechnic
Priority to CN201910405561.2A priority Critical patent/CN110135496B/zh
Publication of CN110135496A publication Critical patent/CN110135496A/zh
Application granted granted Critical
Publication of CN110135496B publication Critical patent/CN110135496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/513Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于特征的立体图像匹配算法,获取第一、第二图像的特征点,分别形成特征链;第一图像尚未进行匹配的特征链中选择一个新特征点,在第二图像搜索范围内搜索与新特征点相似度高于阈值的对应点,并获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性,如果高于阈值则将两个特征链匹配;如果不高于阈值则获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性,如果高于阈值则将两个特征链匹配。本发明所提出的算法与现有算法效率相当,但比现有算法更可靠,特别是对于检测到垂直特征数量的图像。

Description

一种基于特征的立体图像匹配算法
技术领域
本发明涉及一种基于特征的立体图像匹配算法,属于计算机视觉技术领域。
背景技术
立体匹配的目的是找到立体图像对之间的对应关系。根据信函的要素将其分为两类:第一类是基于像素的方法。该方法估计两幅图像中指定区域内的所有像素,结果,获得密集的深度图。这种方法对于三维重建应用至关重要。然而,该方法主要的缺点是对密集深度图的估计是一个耗时且困难的过程,特别是当存在遮挡时(两个图像中的一个中缺少相应的点)或图像包含均匀区域时(该区域处的像素值几乎是均匀的;即,一个点可以对应于位于相同均匀区域中的点的数量)。第二类是基于特征的方法。与前一种方法相比,该方法仅估计两幅图像之间的特征点对应关系。这将全范围像素对应性估计减少为稀疏像素对应性估计集合。例如,基于特征的方法在视图变形中被应用,因为它比基于像素的方法更快且更可靠。它消除了统一区域内可能发生的匹配歧义,因为统一区域内没有特征点。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于特征的立体图像匹配算法,使用匹配特征链的概念,对垂直特征突出时的图像对应非常有效。
本发明目的通过如下技术方案予以实现:
提供一种基于特征的立体图像匹配算法,包括:
获取第一、第二图像的特征点,分别形成特征链;
第一图像尚未进行匹配的特征链中选择一个新特征点,在第二图像搜索范围内搜索与新特征点相似度高于阈值且相似度最高的的对应点,并获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性,如果高于阈值则将两个特征链匹配;如果不高于阈值则获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性,如果高于阈值则将两个特征链匹配;
对所有特征链进行匹配,完成立体图像匹配。
优选的,获取第一、第二图像的特征点的方法如下:
获取图像的垂直梯度特征点,从所有正梯度值的特征点中找出垂
直梯度大于正向阈值
Figure BSA0000183181910000021
的特征点;从所有负梯度值的特征点中找出垂直梯度小于负向阈值
Figure BSA0000183181910000022
的特征点。
优选的,正向阈值
Figure BSA0000183181910000023
计算公式如下:
Figure BSA0000183181910000024
其中eth是经验阈值,Meanp是正梯度值的平均值。
优选的,负向阈值
Figure BSA0000183181910000025
计算公式如下:
Figure BSA0000183181910000026
其中e-th是经验阈值,Meann是负梯度值的平均值。
优选的,将垂直梯度大于正向阈值
Figure BSA0000183181910000027
的特征点局部最大梯度值提取为稀疏特征点;将垂直梯度小于负向阈值
Figure BSA0000183181910000028
的特征点中局部梯度最小点的点提取为稀疏特征点。
优选的,形成特征链的方法如下:
选择任意未列入特征链的特征点作为起点;如果下一个特征位于设定区域内,则将其链接到当前特征链中;遍历所有未列入特征链的特征点。
优选的,所述设定区域为水平方向上的视差小于2并且竖直方向上的视差等于1。
优选的,特征链长度大于设定阈值。
优选的,所述搜索范围为:水平方向上在预定义的差异内搜索;垂直方向上在同一扫描线中搜索。
优选的,相似性使用NCC测试。
本发明与现有技术相比具有如下优点:
(1)立体匹配是许多计算机视觉应用中最重要和最困难的部分,包括三维重建和基于图像的渲染应用。根据对应的要素,这种技术被分为两类。一种是基于像素的立体匹配,另一种是基于特征的立体匹配。所提出的立体匹配算法属于基于特征的类别,其中强加特征链接过程以将一组可能的连接特征点链接到单个特征曲线中。因此,对应元素变成了一个特征链。如果两个特征链的前两个或三个特征点相互对应,则两个特征链对应。这使得所提出的算法高效可靠。特征点对应关系通过由2D归一化相关系数(NCC)计算的高相似度得分建立。
(2)所提出的算法与现有算法效率相当,但比现有算法更可靠,特别是对于检测到垂直特征数量的图像。在三维可视化中使用的中间图像的生成中,进一步证明了这些好处,该图像展示了如何通过提出的算法极大地消除重像现象。
附图说明
图1为本发明特征链匹配策略示意图;
图2为多链对应示意图;
图3为图像对比示意图,(a)、(b)为两幅原始立体图像;(c)、(d)为使用其它方法提取图像(a)、(b)的特征后示意图;(e)、(f)为利用本发明方法提取图像(a)、(b)的特征后示意图;(g)、(h)为图像(a)、(b)插值图像。
具体实施方式
现有的方法是基于快速特征的立体匹配算法。连续连通特征的搜索空间被视差方向导数的经验极限减小。这种方法的新颖之处在于从小范围内的预定差异中减少连续连接特征的搜索空间。因此,该算法可以运行得更快。然而,由于噪声,背景或亮度条件变化而遗漏了一些特征对应。
本发明的动机是解决上述问题,并确保其有效运作。本发明提出的方法受Schmid算法的启发。建立特征对应的不同性质的问题是由逐点搜索对应引起的。如果将连续的连接特征链接到特征链中并且链接搜索特征对应关系,则可以相对减少该问题。
为了使立体匹配算法有效地运行,每个链中仅有一些特征由成本函数进行测试。我们使用二维归一化互相关(2D NCC(Normalized cross correlation))测试了每个链中的前两个特征点。如果两个特征都具有较高的相关性分数,则将每个图像中测试的两条链定义为链对应。我们测试了大量室内立体图像对,实验结果表明平均92%的特征链长度小于或等于5。这表示评估了约40%的特征点对应关系。因此,不匹配的情况分别减少。对于只有两个特征中的一个匹配得很好的情况,测试来自每个链的第三个特征点。如果第三个特征匹配得很好,那么这两条链被定义为链对应。这个过程使建立的功能对应更加可靠。
图1说明了特征链匹配策略。这两条曲线代表来自左侧和右侧图像的两条特征链。左侧部分显示了两个特征链在前两个特征点来自每个链条的匹配时匹配的情况。右侧部分显示测试前三个特征点的情况。
在某些情况下,已建立的特征链可能不具有一一对应关系。这种情况如图2所示。在该图中,两条链的对应关系为I1-r1和I2-r2,其中,I1,I2来自不同的特征链。特征点r1,r2来自同一个特征链。因此,这是一个多对一的对应关系。对于短基线案例,其中一个被认为是错误的。因此消除了具有较低相关分数的链对应关系。
一、特征点提取
1.使用边缘检测器检测图像的垂直梯度特征点,设置阈值找出特征点,特征点的垂直梯度DNH为:
Figure BSA0000183181910000051
(a)从所有正梯度值的特征点中找出垂直梯度大于正向阈值
Figure BSA0000183181910000052
的特征点Pth,正向阈值
Figure BSA0000183181910000053
计算公式如下:
Figure BSA0000183181910000054
其中eth是经验阈值,例如可以选择为1.2,Meanp是正梯度值的平均值(mean(gradf(x,y)))。
(b)将垂直梯度大于正向阈值
Figure BSA0000183181910000055
的特征点局部最大梯度值提取为稀疏特征点
Figure BSA0000183181910000056
2.从所有负梯度值的特征点中找出垂直梯度小于负向阈值
Figure BSA0000183181910000057
的特征点Pth,负向阈值
Figure BSA0000183181910000058
计算公式如下:
Figure BSA0000183181910000061
e-th是经验阈值,例如可以选择为-1.2,Meann是负梯度值的平均值。
将垂直梯度小于负向阈值
Figure BSA0000183181910000062
的特征点中局部梯度最小点(绝对值最大)的点提取为稀疏特征点:
Figure BSA0000183181910000063
下一个过程是将连续可能的连接特征链接到特征链中,这使得对应估计过程更容易,更快速和更可靠。
二、特征点链接
1.选择任意特征点作为起点;
2.如果下一个特征位于合适的范围内(x方向上的视差小于2并且y方向上的视差等于1),则将其链接到当前特征链中;
3.重复步骤1和2,直到使用特征点遍历完毕;
4.拒绝小于阈值(根据需要设置)的特征链的长度。
在先前的准备之后,基于特征的对应估计被显著简化。
三、基于有效特征的对应估计
1.从图3(a)中不匹配的特征链中选择一个新特征点L(x1,y);
2.在图3(b)中搜索适当范围内的可能对应点。在水平方向:在预定义的差异内搜索。在垂直方向:在同一扫描线中搜索,因为图像校正是事先完成的。
3.使用NCC测试暂定功能对应关系。如果相似度得分高于阈值,则将最相似的两个要素设置为要素对应关系。
(a)选择下一个特征点L(x2,y+1),R(x2,y+1),并分别从fL和fR中的相同特征链中选择;
(b)测试NCC之间的L(x2,y+1)和R(x2,y+1)相似性。
如果相似性得分高于阈值,则将特征链fL和fR记录为特征链对应关系。注意,相应的特征链应该以相同的长度记录。否则,使用相同的方法测试第三个特征点L(x3,y+2)和R(x3,y+2)和特征链。
(c)如果L(x3,y+2)和R(x3,y+2)相似性得分高于阈值。将特征链fL和fR记录为特征链对应关系。
4.对(e)图中的所有要素链执行步骤1到3,完成所有特征链的匹配;进而实现图像匹配。
实施例
以图3(a)、(b)为两幅原始立体图像匹配为例,步骤如下:
(1)获取第一、第二图像的特征点,分别形成特征链;
(2)第一图像尚未进行匹配的特征链中选择一个新特征点,在第二图像设定范围内搜索与新特征点相似度高于阈值且相似度最高的对应点,如果存在,则进入步骤(3);
(3)获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性,如果高于阈值则将两个特征链匹配,进入步骤(5);如果不高于阈值进入步骤(4);
(4)获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性,如果高于阈值则将两个特征链匹配,否则两个特征链失配;
(5)若完成所有特征链的匹配则完成立体图像匹配;否则返回步骤(2)。
图3中(c)、(d)为使用其它方法提取图像(a)、(b)的特征后示意图;(e)、(f)为利用本发明方法提取图像(a)、(b)的特征后示意图;(g)、(h)为图像(a)、(b)插值图像。可以看出采用本发明的方法提取图像减少了遗漏特征。
实验结果表明,所提出的算法与现有算法效率相当,但比现有算法更可靠,特别是对于检测到垂直特征数量的图像。在三维可视化中使用的中间图像的生成中,进一步证明了这些好处,该图像展示了如何通过提出的算法极大地消除重像现象。
以上所述,仅为本发明最佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (6)

1.一种基于特征的立体图像匹配算法,其特征在于,包括:
获取第一、第二图像的特征点,分别形成特征链;
第一图像尚未进行匹配的特征链中选择一个新特征点,在第二图像搜索范围内搜索与新特征点相似度高于阈值的且相似度最高的对应点,并获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性,如果高于阈值则将两个特征链匹配;如果不高于阈值则获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性,如果高于阈值则将两个特征链匹配;
对所有特征链进行匹配,完成立体图像匹配;
获取第一、第二图像的特征点的方法如下:
获取图像的垂直梯度特征点,从所有正梯度值的特征点中找出垂直梯度大于正向阈值
Figure DEST_PATH_IMAGE001
的特征点;从所有负梯度值的特征点中找出垂直梯度小于负向阈值
Figure 846955DEST_PATH_IMAGE002
的特征点;
正向阈值
Figure DEST_PATH_IMAGE003
计算公式如下:
Figure 59762DEST_PATH_IMAGE004
其中
Figure 703233DEST_PATH_IMAGE005
是经验阈值,
Figure 38399DEST_PATH_IMAGE006
是正梯度值的平均值;
负向阈值
Figure 206469DEST_PATH_IMAGE002
计算公式如下:
Figure 285283DEST_PATH_IMAGE007
其中
Figure 720944DEST_PATH_IMAGE008
是经验阈值,
Figure 492591DEST_PATH_IMAGE009
是负梯度值的平均值;
将垂直梯度大于正向阈值
Figure 380912DEST_PATH_IMAGE003
的特征点局部最大梯度值提取为稀疏特征点;将垂直梯度小于负向阈值
Figure 263418DEST_PATH_IMAGE002
的特征点中局部梯度最小点的点提取为稀疏特征点。
2.根据权利要求1所述的基于特征的立体图像匹配算法,其特征在于,形成特征链的方法如下:
选择任意未列入特征链的特征点作为起点;如果下一个特征位于设定区域内,则将其链接到当前特征链中;遍历所有未列入特征链的特征点。
3.根据权利要求2所述的基于特征的立体图像匹配算法,其特征在于,所述设定区域为水平方向上的视差小于2并且竖直方向上的视差等于1。
4.根据权利要求2所述的基于特征的立体图像匹配算法,其特征在于,特征链长度大于设定阈值。
5.根据权利要求1或2所述的基于特征的立体图像匹配算法,其特征在于,所述搜索范围为:水平方向上在预定义的差异内搜索;垂直方向上在同一扫描线中搜索。
6.根据权利要求1或2所述的基于特征的立体图像匹配算法,其特征在于,相似性使用NCC测试。
CN201910405561.2A 2019-05-16 2019-05-16 一种基于特征的立体图像匹配算法 Active CN110135496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405561.2A CN110135496B (zh) 2019-05-16 2019-05-16 一种基于特征的立体图像匹配算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405561.2A CN110135496B (zh) 2019-05-16 2019-05-16 一种基于特征的立体图像匹配算法

Publications (2)

Publication Number Publication Date
CN110135496A CN110135496A (zh) 2019-08-16
CN110135496B true CN110135496B (zh) 2023-01-17

Family

ID=67574335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405561.2A Active CN110135496B (zh) 2019-05-16 2019-05-16 一种基于特征的立体图像匹配算法

Country Status (1)

Country Link
CN (1) CN110135496B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110864670B (zh) * 2019-11-27 2022-02-08 苏州智加科技有限公司 目标障碍物位置的获取方法和系统
CN113344988B (zh) * 2020-03-03 2023-03-31 海信集团有限公司 立体匹配方法、终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643543A (zh) * 2002-07-30 2005-07-20 三菱电机株式会社 将立体图像中的边缘链接成链的方法
CN106844381A (zh) * 2015-12-04 2017-06-13 富士通株式会社 图像处理装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7400744B2 (en) * 2002-09-05 2008-07-15 Cognex Technology And Investment Corporation Stereo door sensor
US8290248B2 (en) * 2009-12-31 2012-10-16 Mitsubishi Electric Research Laboratories, Inc. Determining disparity search range in stereo videos
KR20140102038A (ko) * 2013-02-13 2014-08-21 삼성전자주식회사 영상 정합 장치 및 영상 정합 방법
KR101690645B1 (ko) * 2015-09-21 2016-12-29 경북대학교 산학협력단 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643543A (zh) * 2002-07-30 2005-07-20 三菱电机株式会社 将立体图像中的边缘链接成链的方法
CN106844381A (zh) * 2015-12-04 2017-06-13 富士通株式会社 图像处理装置及方法

Also Published As

Publication number Publication date
CN110135496A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
Tombari et al. Segmentation-based adaptive support for accurate stereo correspondence
CN110135496B (zh) 一种基于特征的立体图像匹配算法
Mordohai et al. Stereo using monocular cues within the tensor voting framework
CN104167000B (zh) 一种仿射不变的宽基线图像密集匹配方法
CN113705796B (zh) 基于epi特征强化的光场深度获取卷积神经网络
Yaman et al. An iterative adaptive multi-modal stereo-vision method using mutual information
CN110136188B (zh) 一种基于特征的立体图像匹配算法
Argiles et al. Dense multi-planar scene estimation from a sparse set of images
Koskenkorva et al. Quasi-dense wide baseline matching for three views
Damjanović et al. Local Stereo Matching Using Adaptive Local Segmentation: ISRN Machine Vision
KR20140040407A (ko) 영상특성을 이용한 스테레오 매칭장치
Chan et al. Dense stereo correspondence based on recursive adaptive size multi-windowing
CN110533765B (zh) 一种多次单应诱导的多平面结构物体的三维重建方法
Xiong et al. Color rank and census transforms using perceptual color contrast
Vellanki et al. Enhanced stereo matching technique using image gradient for improved search time
CN105374040A (zh) 基于视觉测量的大型机械工件立体匹配方法
Yongfang et al. Study on an improved robust algorithm for feature point matching
Lin et al. Study of occlusions problem in stereo vision
Zhang et al. A window-based adaptive correspondence search algorithm using mean shift and disparity estimation
KR20050007504A (ko) 특징점 정합 및 기본 함수 추정 방법
Zhuang et al. Progressive matching based on segmentation for 3D reconstruction
Tang et al. Dense Stereo Matching Based On Propagation with Voronoi Diagram.
Pandey et al. Novel method for occlusion reduction and disparity refinement
Nanduri et al. Segmentation directed inpainting
Mordohai et al. Stereo using monocular cues within the tensor voting framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant