CN110136188B - 一种基于特征的立体图像匹配算法 - Google Patents

Abstract

本发明涉及一种基于特征的立体图像匹配算法，获取第一、第二图像的特征点，分别形成特征链；第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像搜索范围内搜索与新特征点相似度高于阈值的对应点，并获取该新特征点所在特征链的下一特征点与第二图像对应点所在特征链的下一特征点的相似性，如果高于阈值则将两个特征链匹配；如果不高于阈值则获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配。本发明所提出的算法与现有算法效率相当，但比现有算法更可靠，特别是对于检测到垂直特征数量的图像。

Description

一种基于特征的立体图像匹配算法

技术领域

本发明涉及一种基于特征的立体图像匹配算法，属于计算机视觉技术领域。

背景技术

立体匹配的目的是找到立体图像对之间的对应关系。根据信函的要素将其分为两类：第一类是基于像素的方法。该方法估计两幅图像中指定区域内的所有像素，结果，获得密集的深度图。这种方法对于三维重建应用至关重要。然而，该方法主要的缺点是对密集深度图的估计是一个耗时且困难的过程，特别是当存在遮挡时(两个图像中的一个中缺少相应的点)或图像包含均匀区域时(该区域处的像素值几乎是均匀的；即，一个点可以对应于位于相同均匀区域中的点的数量)。第二类是基于特征的方法。与前一种方法相比，该方法仅估计两幅图像之间的特征点对应关系。这将全范围像素对应性估计减少为稀疏像素对应性估计集合。例如，基于特征的方法在视图变形中被应用，因为它比基于像素的方法更快且更可靠。它消除了统一区域内可能发生的匹配歧义，因为统一区域内没有特征点。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于特征的立体图像匹配算法，使用匹配特征链的概念，对垂直特征突出时的图像对应非常有效。

本发明目的通过如下技术方案予以实现：

提供一种基于特征的立体图像匹配算法，步骤如下：

(1)获取第一、第二图像的特征点，提取稀疏特征点，分别形成特征链；特征链长度大于设定阈值；

(2)第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像设定范围内搜索与新特征点相似度高于阈值的所有对应点，如果存在，则进入步骤(3)；

(3)获取该新特征点所在特征链的下一特征点与第二图像每一对应点所在特征链的下一特征点的相似性，如果均高于阈值则将所在特征链与新特征点所在特征链匹配，进入步骤(5)；如果存在相似性不高于阈值，则进入步骤(4)；

(4)对于相似性不高于阈值的第二图像中对应点所在特征链，获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配，否则两个特征链失配；

(5)如果第二图像中存在不止一个特征链与新特征点所在特征链匹配，则保持新特征点所在特征链与第二图像中相似性最高的特征链匹配；若完成所有特征链的匹配则完成立体图像匹配，若未完成所有特征链的匹配则返回步骤(2)。

优选的，获取第一、第二图像的特征点的方法如下：

获取图像的垂直梯度特征点，从所有正梯度值的特征点中找出垂直梯度大于正向阈值

的特征点；从所有负梯度值的特征点中找出垂直梯度小于负向阈值

的特征点。

优选的，正向阈值

计算公式如下：

其中e_th是经验阈值，Mean_p是正梯度值的平均值。

优选的，负向阈值

计算公式如下：

其中e_-th是经验阈值，Mean_n是负梯度值的平均值。

优选的，将垂直梯度大于正向阈值

的特征点局部最大梯度值提取为稀疏特征点；将垂直梯度小于负向阈值

的特征点中局部梯度最小点的点提取为稀疏特征点。

优选的，稀疏特征点的方法为：

f(x，y)为像素点(x，y)的垂直梯度。

优选的，形成特征链的方法如下：

选择任意未列入特征链的特征点作为起点；如果下一个特征位于设定区域内，则将其链接到当前特征链中；遍历所有未列入特征链的特征点。

优选的，所述设定区域为水平方向上的视差小于2并且竖直方向上的视差等于1。

优选的，所述搜索范围为：水平方向上在预定义的差异内搜索；垂直方向上在同一扫描线中搜索。

优选的，相似性使用NCC测试。

本发明与现有技术相比具有如下优点：

(1)立体匹配是许多计算机视觉应用中最重要和最困难的部分，包括三维重建和基于图像的渲染应用。根据对应的要素，这种技术被分为两类。一种是基于像素的立体匹配，另一种是基于特征的立体匹配。所提出的立体匹配算法属于基于特征的类别，其中强加特征链接过程以将一组可能的连接特征点链接到单个特征曲线中。因此，对应元素变成了一个特征链。如果两个特征链的前两个或三个特征点相互对应，则两个特征链对应。这使得所提出的算法高效可靠。特征点对应关系通过由2D归一化相关系数(NCC)计算的高相似度得分建立。

(2)所提出的算法与现有算法效率相当，但比现有算法更可靠，特别是对于检测到垂直特征数量的图像。在三维可视化中使用的中间图像的生成中，进一步证明了这些好处，该图像展示了如何通过提出的算法极大地消除重像现象。

附图说明

图1为本发明特征链匹配策略示意图；

图2为多链对应示意图；

图3为图像对比示意图，(a)、(b)为两幅原始立体图像；(c)、(d)为使用其它方法提取图像(a)、(b)的特征后示意图；(e)、(f)为利用本发明方法提取图像(a)、(b)的特征后示意图；(g)、(h)为图像(a)、(b)插值图像。

具体实施方式

现有的方法是基于快速特征的立体匹配算法。连续连通特征的搜索空间被视差方向导数的经验极限减小。这种方法的新颖之处在于从小范围内的预定差异中减少连续连接特征的搜索空间。因此，该算法可以运行得更快。然而，由于噪声，背景或亮度条件变化而遗漏了一些特征对应。

本发明的动机是解决上述问题，并确保其有效运作。本发明提出的方法受Schmid算法的启发。建立特征对应的不同性质的问题是由逐点搜索对应引起的。如果将连续的连接特征链接到特征链中并且链接搜索特征对应关系，则可以相对减少该问题。

为了使立体匹配算法有效地运行，每个链中仅有一些特征由成本函数进行测试。我们使用二维归一化互相关(2D NCC(Normalized cross correlation))测试了每个链中的前两个特征点。如果两个特征都具有较高的相关性分数，则将每个图像中测试的两条链定义为链对应。我们测试了大量室内立体图像对，实验结果表明平均92％的特征链长度小于或等于5。这表示评估了约40％的特征点对应关系。因此，不匹配的情况分别减少。对于只有两个特征中的一个匹配得很好的情况，测试来自每个链的第三个特征点。如果第三个特征匹配得很好，那么这两条链被定义为链对应。这个过程使建立的功能对应更加可靠。

图1说明了特征链匹配策略。这两条曲线代表来自左侧和右侧图像的两条特征链。左侧部分显示了两个特征链在前两个特征点来自每个链条的匹配时匹配的情况。右侧部分显示测试前三个特征点的情况。

在某些情况下，已建立的特征链可能不具有一一对应关系。这种情况如图2所示。在该图中，两条链的对应关系为l1-r1和l2-r2，其中，l1，l2来自不同的特征链。特征点r1，r2来自同一个特征链。因此，这是一个多对一的对应关系。对于短基线案例，其中一个被认为是错误的。因此消除了具有较低相关分数的链对应关系。

一、特征点提取

1.使用边缘检测器检测图像的垂直梯度特征点，设置阈值找出特征点，特征点的垂直梯度DNH为：

(a)从所有正梯度值的特征点中找出垂直梯度大于正向阈值

的特征点P_th，正向阈值

计算公式如下：

其中e_th是经验阈值，例如可以选择为1.2，Mean_p是正梯度

值的平均值(mean(gradf(x，y)))。

(b)将垂直梯度大于正向阈值

的特征点局部最大梯度值提取

为稀疏特征点

2.从所有负梯度值的特征点中找出垂直梯度小于负向阈值

的特征点P_th，负向阈值

计算公式如下：

e_-th是经验阈值，例如可以选择为-1.2，Mean_n是负梯度值的平均值。

将垂直梯度小于负向阈值

的特征点中局部梯度最小点(绝对值最大)的点提取为稀疏特征点：

此处采用偏移x的方式提取稀疏特征点，采用偏移y的方式提取稀疏特征点同样可行。下一个过程是将连续可能的连接特征链接到特征链中，这使得对应估计过程更容易，更快速和更可靠。

二、特征点链接

1.选择任意特征点作为起点；

2.如果下一个特征位于合适的范围内(x方向上的视差小于2并且y方向上的视差等于1)，则将其链接到当前特征链中；

3.重复步骤1和2，直到使用特征点遍历完毕；

4.拒绝小于阈值(根据需要设置)的特征链的长度。

在先前的准备之后，基于特征的对应估计被显着简化。

三、基于有效特征的对应估计

1.从图3(a)中不匹配的特征链中选择一个新特征点L(x₁，y)；

2.在图3(b)中搜索适当范围内的可能对应点。在水平方向：在预定义的差异内搜索。在垂直方向：在同一扫描线中搜索，因为图像校正是事先完成的。

3.使用NCC测试暂定功能对应关系。如果相似度得分高于阈值，则将最相似的两个要素设置为要素对应关系。

(a)选择下一个特征点L(x₂，y+1)，R(x₂，y+1)，并分别从fL和fR中的相同特征链中选择；

(b)测试NCC之间的L(x₂，y+1)和R(x₂，y+1)似性。

如果相似性得分高于阈值，则将特征链fL和fR记录为特征链对应关系。注意，相应的特征链应该以相同的长度记录。否则，使用相同的方法测试第三个特征点L(x₃，y+2)和R(x₃，y+2)和特征链。

(c)如果L(x₃，y+2)和R(x₃，y+2)相似性得分高于阈值。将特征链fL和fR记录为特征链对应关系。

4.对(e)图中的所有要素链执行步骤1到3，完成所有特征链的匹配；

5.如果(e)图中的多个特征链对应于(f)图像中的相同特征链，则保持特征链与最高相似性分数对应。进而实现图像匹配。

实施例

以图3(a)、(b)为两幅原始立体图像匹配为例，步骤如下：

(1)获取第一、第二图像的特征点，提取稀疏特征点，分别形成特征链；特征链长度大于设定阈值；

(2)第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像设定范围内搜索与新特征点相似度高于阈值的所有对应点，如果存在，则进入步骤(3)；

(3)获取该新特征点所在特征链的下一特征点与第二图像每一对应点所在特征链的下一特征点的相似性，如果均高于阈值则将所在特征链与新特征点所在特征链匹配，进入步骤(5)；如果存在相似性不高于阈值，则进入步骤(4)；

(4)对于相似性不高于阈值的第二图像中对应点所在特征链，获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配，否则两个特征链失配；

(5)如果第二图像中存在不止一个特征链与新特征点所在特征链匹配，则保持新特征点所在特征链与第二图像中相似性最高的特征链匹配；若完成所有特征链的匹配则完成立体图像匹配，若未完成所有特征链的匹配则返回步骤(2)。图3中(c)、(d)为使用其它方法提取图像(a)、(b)的特征后示意图；(e)、(f)为利用本发明方法提取图像(a)、(b)的特征后示意图；(g)、(h)为图像(a)、(b)插值图像。可以看出采用本发明的方法提取图像减少了遗漏特征。实验结果表明，所提出的算法与现有算法效率相当，但比现有算法更可靠，特别是对于检测到垂直特征数量的图像。在三维可视化中使用的中间图像的生成中，进一步证明了这些好处，该图像展示了如何通过提出的算法极大地消除重像现象。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (5)

1.一种基于特征的立体图像匹配算法，其特征在于，步骤如下：

（1）获取第一、第二图像的特征点，提取稀疏特征点，分别形成特征链；特征链长度大于设定阈值；

（2）第一图像尚未进行匹配的特征链中选择一个新特征点，在第二图像设定范围内搜索与新特征点相似度高于阈值的所有对应点，如果存在，则进入步骤（3）；

（3）获取该新特征点所在特征链的下一特征点与第二图像每一对应点所在特征链的下一特征点的相似性，如果均高于阈值则将所在特征链与新特征点所在特征链匹配，进入步骤（5）；如果存在相似性不高于阈值，则进入步骤（4）；

（4）对于相似性不高于阈值的第二图像中对应点所在特征链，获取该新特征点所在特征链的后两个特征点与第二图像对应点所在特征链的两个特征点的相似性，如果高于阈值则将两个特征链匹配，否则两个特征链失配；

（5）如果第二图像中存在不止一个特征链与新特征点所在特征链匹配，则保持新特征点所在特征链与第二图像中相似性最高的特征链匹配；若完成所有特征链的匹配则完成立体图像匹配，若未完成所有特征链的匹配则返回步骤（2）；

获取第一、第二图像的特征点的方法如下：

获取图像的垂直梯度特征点，从所有正梯度值的特征点中找出垂直梯度大于正向阈值

的特征点；从所有负梯度值的特征点中找出垂直梯度小于负向阈值

的特征点；

正向阈值

计算公式如下：

其中

是经验阈值，

是正梯度值的平均值；

负向阈值

计算公式如下：

其中

是经验阈值，

是负梯度值的平均值；

将垂直梯度大于正向阈值

的特征点局部最大梯度值提取为稀疏特征点；将垂直梯度小于负向阈值

的特征点中局部梯度最小点的点提取为稀疏特征点；

提取稀疏特征点的方法为：

f（x，y）为像素点（x，y）的垂直梯度。

2.根据权利要求1所述的基于特征的立体图像匹配算法，其特征在于，形成特征链的方法如下：

选择任意未列入特征链的特征点作为起点；如果下一个特征位于设定区域内，则将其链接到当前特征链中；遍历所有未列入特征链的特征点。

3.根据权利要求2所述的基于特征的立体图像匹配算法，其特征在于，所述设定区域为水平方向上的视差小于2并且竖直方向上的视差等于1。

4.根据权利要求1或2所述的基于特征的立体图像匹配算法，其特征在于，所述搜索范围为：水平方向上在预定义的差异内搜索；垂直方向上在同一扫描线中搜索。

5.根据权利要求1或2所述的基于特征的立体图像匹配算法，其特征在于，相似性使用NCC测试。

Images