CN110135496A - 一种基于特征的立体图像匹配算法 - Google Patents

一种基于特征的立体图像匹配算法 Download PDF

Info

Publication number
CN110135496A
CN110135496A CN201910405561.2A CN201910405561A CN110135496A CN 110135496 A CN110135496 A CN 110135496A CN 201910405561 A CN201910405561 A CN 201910405561A CN 110135496 A CN110135496 A CN 110135496A
Authority
CN
China
Prior art keywords
feature
point
characteristic point
image
chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910405561.2A
Other languages
English (en)
Other versions
CN110135496B (zh
Inventor
熊长炜
贺定修
李龙根
舒雨锋
范四立
刘捷
张峻华
罗立星
陈天宇
梁耀荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Polytechnic
Original Assignee
Dongguan Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Polytechnic filed Critical Dongguan Polytechnic
Priority to CN201910405561.2A priority Critical patent/CN110135496B/zh
Publication of CN110135496A publication Critical patent/CN110135496A/zh
Application granted granted Critical
Publication of CN110135496B publication Critical patent/CN110135496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于特征的立体图像匹配算法，获取第一、第二图像的特征点，分别形成特征链；第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像搜索范围内搜索与新特征点相似度高于阈值的对应点，并获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性，如果高于阈值则将两个特征链匹配；如果不高于阈值则获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配。本发明所提出的算法与现有算法效率相当，但比现有算法更可靠，特别是对于检测到垂直特征数量的图像。

Description

一种基于特征的立体图像匹配算法
技术领域
本发明涉及一种基于特征的立体图像匹配算法，属于计算机视觉技术领域。
背景技术
立体匹配的目的是找到立体图像对之间的对应关系。根据信函的要素将其分为两类：第一类是基于像素的方法。该方法估计两幅图像中指定区域内的所有像素，结果，获得密集的深度图。这种方法对于三维重建应用至关重要。然而，该方法主要的缺点是对密集深度图的估计是一个耗时且困难的过程，特别是当存在遮挡时(两个图像中的一个中缺少相应的点)或图像包含均匀区域时(该区域处的像素值几乎是均匀的；即，一个点可以对应于位于相同均匀区域中的点的数量)。第二类是基于特征的方法。与前一种方法相比，该方法仅估计两幅图像之间的特征点对应关系。这将全范围像素对应性估计减少为稀疏像素对应性估计集合。例如，基于特征的方法在视图变形中被应用，因为它比基于像素的方法更快且更可靠。它消除了统一区域内可能发生的匹配歧义，因为统一区域内没有特征点。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于特征的立体图像匹配算法，使用匹配特征链的概念，对垂直特征突出时的图像对应非常有效。
本发明目的通过如下技术方案予以实现：
提供一种基于特征的立体图像匹配算法，包括：
获取第一、第二图像的特征点，分别形成特征链；
第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像搜索范围内搜索与新特征点相似度高于阈值且相似度最高的的对应点，并获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性，如果高于阈值则将两个特征链匹配；如果不高于阈值则获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配；
对所有特征链进行匹配，完成立体图像匹配。
优选的，获取第一、第二图像的特征点的方法如下：
获取图像的垂直梯度特征点，从所有正梯度值的特征点中找出垂
直梯度大于正向阈值的特征点；从所有负梯度值的特征点中找出垂直梯度小于负向阈值的特征点。
优选的，正向阈值计算公式如下：
其中eth是经验阈值，Meanp是正梯度值的平均值。
优选的，负向阈值计算公式如下：
其中e-th是经验阈值，Meann是负梯度值的平均值。
优选的，将垂直梯度大于正向阈值的特征点局部最大梯度值提取为稀疏特征点；将垂直梯度小于负向阈值的特征点中局部梯度最小点的点提取为稀疏特征点。
优选的，形成特征链的方法如下：
选择任意未列入特征链的特征点作为起点；如果下一个特征位于设定区域内，则将其链接到当前特征链中；遍历所有未列入特征链的特征点。
优选的，所述设定区域为水平方向上的视差小于2并且竖直方向上的视差等于1。
优选的，特征链长度大于设定阈值。
优选的，所述搜索范围为：水平方向上在预定义的差异内搜索；垂直方向上在同一扫描线中搜索。
优选的，相似性使用NCC测试。
本发明与现有技术相比具有如下优点：
(1)立体匹配是许多计算机视觉应用中最重要和最困难的部分，包括三维重建和基于图像的渲染应用。根据对应的要素，这种技术被分为两类。一种是基于像素的立体匹配，另一种是基于特征的立体匹配。所提出的立体匹配算法属于基于特征的类别，其中强加特征链接过程以将一组可能的连接特征点链接到单个特征曲线中。因此，对应元素变成了一个特征链。如果两个特征链的前两个或三个特征点相互对应，则两个特征链对应。这使得所提出的算法高效可靠。特征点对应关系通过由2D归一化相关系数(NCC)计算的高相似度得分建立。
(2)所提出的算法与现有算法效率相当，但比现有算法更可靠，特别是对于检测到垂直特征数量的图像。在三维可视化中使用的中间图像的生成中，进一步证明了这些好处，该图像展示了如何通过提出的算法极大地消除重像现象。
附图说明
图1为本发明特征链匹配策略示意图；
图2为多链对应示意图；
图3为图像对比示意图，(a)、(b)为两幅原始立体图像；(c)、(d)为使用其它方法提取图像(a)、(b)的特征后示意图；(e)、(f)为利用本发明方法提取图像(a)、(b)的特征后示意图；(g)、(h)为图像(a)、(b)插值图像。
具体实施方式
现有的方法是基于快速特征的立体匹配算法。连续连通特征的搜索空间被视差方向导数的经验极限减小。这种方法的新颖之处在于从小范围内的预定差异中减少连续连接特征的搜索空间。因此，该算法可以运行得更快。然而，由于噪声，背景或亮度条件变化而遗漏了一些特征对应。
本发明的动机是解决上述问题，并确保其有效运作。本发明提出的方法受Schmid算法的启发。建立特征对应的不同性质的问题是由逐点搜索对应引起的。如果将连续的连接特征链接到特征链中并且链接搜索特征对应关系，则可以相对减少该问题。
为了使立体匹配算法有效地运行，每个链中仅有一些特征由成本函数进行测试。我们使用二维归一化互相关(2D NCC(Normalized cross correlation))测试了每个链中的前两个特征点。如果两个特征都具有较高的相关性分数，则将每个图像中测试的两条链定义为链对应。我们测试了大量室内立体图像对，实验结果表明平均92％的特征链长度小于或等于5。这表示评估了约40％的特征点对应关系。因此，不匹配的情况分别减少。对于只有两个特征中的一个匹配得很好的情况，测试来自每个链的第三个特征点。如果第三个特征匹配得很好，那么这两条链被定义为链对应。这个过程使建立的功能对应更加可靠。
图1说明了特征链匹配策略。这两条曲线代表来自左侧和右侧图像的两条特征链。左侧部分显示了两个特征链在前两个特征点来自每个链条的匹配时匹配的情况。右侧部分显示测试前三个特征点的情况。
在某些情况下，已建立的特征链可能不具有一一对应关系。这种情况如图2所示。在该图中，两条链的对应关系为I1-r1和I2-r2，其中，I1，I2来自不同的特征链。特征点r1，r2来自同一个特征链。因此，这是一个多对一的对应关系。对于短基线案例，其中一个被认为是错误的。因此消除了具有较低相关分数的链对应关系。
一、特征点提取
1.使用边缘检测器检测图像的垂直梯度特征点，设置阈值找出特征点，特征点的垂直梯度DNH为：
(a)从所有正梯度值的特征点中找出垂直梯度大于正向阈值的特征点Pth，正向阈值计算公式如下：
其中eth是经验阈值，例如可以选择为1.2，Meanp是正梯度值的平均值(mean(gradf(x，y)))。
(b)将垂直梯度大于正向阈值的特征点局部最大梯度值提取为稀疏特征点
2.从所有负梯度值的特征点中找出垂直梯度小于负向阈值的特征点Pth，负向阈值计算公式如下：
e-th是经验阈值，例如可以选择为-1.2，Meann是负梯度值的平均值。
将垂直梯度小于负向阈值的特征点中局部梯度最小点(绝对值最大)的点提取为稀疏特征点：
下一个过程是将连续可能的连接特征链接到特征链中，这使得对应估计过程更容易，更快速和更可靠。
二、特征点链接
1.选择任意特征点作为起点；
2.如果下一个特征位于合适的范围内(x方向上的视差小于2并且y方向上的视差等于1)，则将其链接到当前特征链中；
3.重复步骤1和2，直到使用特征点遍历完毕；
4.拒绝小于阈值(根据需要设置)的特征链的长度。
在先前的准备之后，基于特征的对应估计被显著简化。
三、基于有效特征的对应估计
1.从图3(a)中不匹配的特征链中选择一个新特征点L(x1，y)；
2.在图3(b)中搜索适当范围内的可能对应点。在水平方向：在预定义的差异内搜索。在垂直方向：在同一扫描线中搜索，因为图像校正是事先完成的。
3.使用NCC测试暂定功能对应关系。如果相似度得分高于阈值，则将最相似的两个要素设置为要素对应关系。
(a)选择下一个特征点L(x2，y+1)，R(x2，y+1)，并分别从fL和fR中的相同特征链中选择；
(b)测试NCC之间的L(x2，y+1)和R(x2，y+1)相似性。
如果相似性得分高于阈值，则将特征链fL和fR记录为特征链对应关系。注意，相应的特征链应该以相同的长度记录。否则，使用相同的方法测试第三个特征点L(x3，y+2)和R(x3，y+2)和特征链。
(c)如果L(x3，y+2)和R(x3，y+2)相似性得分高于阈值。将特征链fL和fR记录为特征链对应关系。
4.对(e)图中的所有要素链执行步骤1到3，完成所有特征链的匹配；进而实现图像匹配。
实施例
以图3(a)、(b)为两幅原始立体图像匹配为例，步骤如下：
(1)获取第一、第二图像的特征点，分别形成特征链；
(2)第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像设定范围内搜索与新特征点相似度高于阈值且相似度最高的对应点，如果存在，则进入步骤(3)；
(3)获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性，如果高于阈值则将两个特征链匹配，进入步骤(5)；如果不高于阈值进入步骤(4)；
(4)获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配，否则两个特征链失配；
(5)若完成所有特征链的匹配则完成立体图像匹配；否则返回步骤(2)。
图3中(c)、(d)为使用其它方法提取图像(a)、(b)的特征后示意图；(e)、(f)为利用本发明方法提取图像(a)、(b)的特征后示意图；(g)、(h)为图像(a)、(b)插值图像。可以看出采用本发明的方法提取图像减少了遗漏特征。
实验结果表明，所提出的算法与现有算法效率相当，但比现有算法更可靠，特别是对于检测到垂直特征数量的图像。在三维可视化中使用的中间图像的生成中，进一步证明了这些好处，该图像展示了如何通过提出的算法极大地消除重像现象。
以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (10)

1.一种基于特征的立体图像匹配算法，其特征在于，包括：
获取第一、第二图像的特征点，分别形成特征链；
第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像搜索范围内搜索与新特征点相似度高于阈值的且相似度最高的对应点，并获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性，如果高于阈值则将两个特征链匹配；如果不高于阈值则获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配；
对所有特征链进行匹配，完成立体图像匹配。
2.根据权利要求1所述的基于特征的立体图像匹配算法，其特征在于，获取第一、第二图像的特征点的方法如下：
获取图像的垂直梯度特征点，从所有正梯度值的特征点中找出垂直梯度大于正向阈值的特征点；从所有负梯度值的特征点中找出垂直梯度小于负向阈值的特征点。
3.根据权利要求2所述的基于特征的立体图像匹配算法，其特征在于，正向阈值计算公式如下：
其中eth是经验阈值，Meanp是正梯度值的平均值。
4.根据权利要求3所述的基于特征的立体图像匹配算法，其特征在于，负向阈值计算公式如下：
其中e-th是经验阈值，Meann是负梯度值的平均值。
5.根据权利要求4所述的基于特征的立体图像匹配算法，其特征在于，将垂直梯度大于正向阈值的特征点局部最大梯度值提取为稀疏特征点；将垂直梯度小于负向阈值的特征点中局部梯度最小点的点提取为稀疏特征点。
6.根据权利要求1或2所述的基于特征的立体图像匹配算法，其特征在于，形成特征链的方法如下：
选择任意未列入特征链的特征点作为起点；如果下一个特征位于设定区域内，则将其链接到当前特征链中；遍历所有未列入特征链的特征点。
7.根据权利要求6所述的基于特征的立体图像匹配算法，其特征在于，所述设定区域为水平方向上的视差小于2并且竖直方向上的视差等于1。
8.根据权利要求6所述的基于特征的立体图像匹配算法，其特征在于，特征链长度大于设定阈值。
9.根据权利要求1或2所述的基于特征的立体图像匹配算法，其特征在于，所述搜索范围为：水平方向上在预定义的差异内搜索；垂直方向上在同一扫描线中搜索。
10.根据权利要求1或2所述的基于特征的立体图像匹配算法，其特征在于，相似性使用NCC测试。
CN201910405561.2A 2019-05-16 2019-05-16 一种基于特征的立体图像匹配算法 Active CN110135496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405561.2A CN110135496B (zh) 2019-05-16 2019-05-16 一种基于特征的立体图像匹配算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405561.2A CN110135496B (zh) 2019-05-16 2019-05-16 一种基于特征的立体图像匹配算法

Publications (2)

Publication Number Publication Date
CN110135496A true CN110135496A (zh) 2019-08-16
CN110135496B CN110135496B (zh) 2023-01-17

Family

ID=67574335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405561.2A Active CN110135496B (zh) 2019-05-16 2019-05-16 一种基于特征的立体图像匹配算法

Country Status (1)

Country Link
CN (1) CN110135496B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110864670A (zh) * 2019-11-27 2020-03-06 苏州智加科技有限公司 目标障碍物位置的获取方法和系统
CN113344988A (zh) * 2020-03-03 2021-09-03 海信集团有限公司 立体匹配方法、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040045339A1 (en) * 2002-09-05 2004-03-11 Sanjay Nichani Stereo door sensor
CN1643543A (zh) * 2002-07-30 2005-07-20 三菱电机株式会社 将立体图像中的边缘链接成链的方法
US20110158528A1 (en) * 2009-12-31 2011-06-30 Sehoon Yea Determining Disparity Search Range in Stereo Videos
US20140226906A1 (en) * 2013-02-13 2014-08-14 Samsung Electronics Co., Ltd. Image matching method and apparatus
US20170084014A1 (en) * 2015-09-21 2017-03-23 Kyungpook National University Industry-Academic Cooperation Foundation Method for estimating disparity search range to which multi-level disparity image division is applied, and stereo image matching device using the same
CN106844381A (zh) * 2015-12-04 2017-06-13 富士通株式会社 图像处理装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643543A (zh) * 2002-07-30 2005-07-20 三菱电机株式会社 将立体图像中的边缘链接成链的方法
US20040045339A1 (en) * 2002-09-05 2004-03-11 Sanjay Nichani Stereo door sensor
US20110158528A1 (en) * 2009-12-31 2011-06-30 Sehoon Yea Determining Disparity Search Range in Stereo Videos
US20140226906A1 (en) * 2013-02-13 2014-08-14 Samsung Electronics Co., Ltd. Image matching method and apparatus
US20170084014A1 (en) * 2015-09-21 2017-03-23 Kyungpook National University Industry-Academic Cooperation Foundation Method for estimating disparity search range to which multi-level disparity image division is applied, and stereo image matching device using the same
CN106844381A (zh) * 2015-12-04 2017-06-13 富士通株式会社 图像处理装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡叶容: "基于GA-BP神经网络的电容层析成像图像重建", 《电子技术与软件工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110864670A (zh) * 2019-11-27 2020-03-06 苏州智加科技有限公司 目标障碍物位置的获取方法和系统
CN113344988A (zh) * 2020-03-03 2021-09-03 海信集团有限公司 立体匹配方法、终端及存储介质
CN113344988B (zh) * 2020-03-03 2023-03-31 海信集团有限公司 立体匹配方法、终端及存储介质

Also Published As

Publication number Publication date
CN110135496B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN101588445B (zh) 一种基于深度的视频感兴趣区域提取方法
CN103996174B (zh) 一种对Kinect深度图像进行空洞修复的方法
CN103561258B (zh) 一种Kinect深度视频时空联合修复方法
CN104574366A (zh) 一种基于单目深度图的视觉显著性区域的提取方法
KR20120068470A (ko) 스테레오 영상 정합 장치 및 그 방법
CN105374039B (zh) 基于轮廓锐度的单目图像深度信息估计方法
CN104517317A (zh) 一种车载红外图像三维重建方法
CN104463870A (zh) 一种图像显著区域检测方法
CN104065947A (zh) 一种集成成像系统的深度图获取方法
CN110135496A (zh) 一种基于特征的立体图像匹配算法
CN102609950A (zh) 一种二维视频深度图的生成方法
CN104318576A (zh) 一种超像素级别的图像全局匹配方法
CN110853027A (zh) 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
CN104065946A (zh) 基于图像序列的空洞填充方法
CN103914819B (zh) 一种基于改进ransac的红外图像拼接方法
CN104637036A (zh) 一种中国古画增强方法
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
CN104661014B (zh) 时空结合的空洞填充方法
CN110136188A (zh) 一种基于特征的立体图像匹配算法
CN105828061B (zh) 一种基于视觉掩蔽效应的虚拟视点质量评价方法
CN107341822A (zh) 一种基于最小分支代价聚合的立体匹配方法
CN111199166B (zh) 基于频域和空域特征的视频拉条的检测和恢复方法
KR20140040407A (ko) 영상특성을 이용한 스테레오 매칭장치
CN105205161A (zh) 一种基于互联网图片的同时目标搜索与分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant