CN100511269C - 一种基于角点引导的图像快速边缘匹配方法 - Google Patents

Abstract

本发明属于计算机立体视觉技术，涉及一种新的立体景象特征快速匹配方法。本发明的匹配步骤如下：使用Harris角点探测器和Canny边缘探测器分别提取左右两幅图像的角点和边缘，并对角点进行匹配；根据角点与边缘上最近点的距离大小，把待匹配边缘分为两类，采用已匹配角点作为约束实现边缘的匹配；采用边缘约束方法实现点的匹配。本发明充分利用了已匹配角点的信息作为约束，使匹配速度能够得到快速性的保障；采用边缘约束实现每个点的匹配，避免了单纯利用极线约束可能带来的误匹配问题。

Description

一种基于角点引导的图像快速边缘匹配方法

技术领域

本发明属于计算机立体视觉技术，涉及一种新的立体景象特征快速匹配方法。

背景技术

立体景象匹配研究是立体视觉重要的构成部分，近年来成为计算机视觉领域研究的重点和热点，其实现的目标是给定一幅图像上的源匹配点后在另一幅图像上寻找与之对应的同名像点。常用的匹配方法主要有基于区域的匹配、基于特征的匹配以及基于解释的匹配。

基于区域的图像立体匹配方法在实时性等方面存在很多的不足，它多用于早期的图像匹配过程。近年来，研究人员更多采用基于特征的方法来实现图像匹配(参见高文、陈熙霖编著，《计算机视觉—算法与系统原理》，北京：清华大学出版社，1999.)。基于特征的匹配算法可以有选择地采用能表示场景自身结构的特征，这种结构特征很少随着外界环境的变化而变化。正是因为景物自身结构特征具有的不变性，所以，基于特征的匹配在视觉导航、运动分析、目标识别等领域受到重视。

研究人员常用的匹配特征主要有角点、边缘等特征。角点匹配具有很高的可靠性，但是数量太少而不太适合三维结构重建以及三维识别。边缘含有更丰富的信息，因此，场景的结构信息更多地用边缘来恢复。边缘匹配的过程主要有：一是提取图像对的边缘信息，二是寻找图像中边缘的对应点。后一个过程是立体视觉的经典难题，其存在的主要原因之一是很大的计算量，从而直接导致立体匹配的实时性变差。直线具有长度、方向等对匹配有利的几何特征可以利用，而一般的边缘匹配存在许多困难：边缘本身没有更多的几何特征可以利用，对边缘很难找到直观的空间约束信息可利用；左右图像中连接的边缘并未一致，有时甚至差别很大。这些困难导致了边缘匹配并没有得到很大程度上的突破。为了减少计算量以及减少误匹配率，在搜索匹配点时，人们利用了各种约束来减小搜索范围，主要有极线约束、惟一性约束和顺序约束等。

J.H.Han(参见J.H.Han and J.S.Park.Contour Matching usingEpipolar Geometry.IEEE Trans.Pattern Analysis and MachineIntelligence，Vol.22，No.4，pp.358-370，2000.)利用极线约束与灰度相关进行边缘匹配，并且利用了边缘的首末端点约束以及边缘的长度信息，因此，对噪声敏感，若从两幅图像中提取的两条边缘在首末端点、长度差别很大的情况下，该方法不能得到该对边缘的匹配。YUAN ML(参见YUANML，XIE M，YIN XM.Robust Cooperative Strategy for Contour Matchingusing Epipolar Geometry.Asian Conference on Computer Vision，2002。)利用极线约束和交互使用已匹配的点与边缘信息作为约束，对每对点的匹配都需要计算两个相似性函数，匹配过程烦琐、计算量大。

发明内容

本发明的目的是：提出一种充分利用匹配的角点信息引导边缘匹配的快速边缘匹配方法，在点的匹配过程中又提出利用边缘约束，在快速性得到保障的同时，又能得到很高的匹配正确率。

本发明的技术方案是：一种基于角点引导的图像边缘快速匹配方法，其特征在于，匹配步骤如下：

1、使用Harris角点探测器和Canny边缘探测器分别提取左右两幅图像的角点和边缘，并对角点进行匹配；

2、利用已匹配的角点作为约束实现边缘的匹配，根据角点与边缘上最近点的距离大小，把待匹配边缘分为以下两类：

角点附近的边缘，其距离小于等于4个像素；

离角点距离远的边缘，其距离大于4个像素；

2.1、匹配角点附近的边缘；在如此小的区域范围内不考虑反映在图像上的变形，设角点c1和c2分别是两幅图像上的对应点即匹配点对，采用下面的搜索方法进行边缘匹配，其具体步骤如下：

2.1.1、从角点c1和c2同时向8个方向即右、右上、上、左上、左、左下、下、右下搜索，搜索的第1层有8个像素，搜索的第2层有16个像素，第3层有24个像素，...，若搜索的第1层在某一个方向上同时遇到边缘上的点，则该两条边缘是匹配边缘，搜索结束，否则继续向外层搜索直到规定的搜索层数，搜索层数为4层，该步搜索得到角点c1和c2附近的可能存在的匹配边缘，若该步搜索结束后仍然没有结果，说明在该匹配角点附近没有匹配的边缘存在，继续进行步骤2.1.2；

2.1.2、按照步骤2.1.1所述的方法，在其他匹配角点对的附近进行搜索，直到所有的已匹配角点对都在其附近搜索一遍，得到角点附近的所有的可能匹配的边缘；

2.2、匹配离角点距离远的边缘；设角点c3和c4分别是左右图像的一对匹配点，从左图像上的角点c3开始逐层分别向8个方向扩展搜索，扩展范围是w/4、h/4两者的较小值，w、h分别是图像的像素宽度与高度，当遇到未匹配的边缘L2上的一点P1时，找到右图像上与P1位置对应的点P，搜索以P为中心的一个小区域，该区域大小为3×3～7×7个像素，搜索过程中利用极线约束、灰度相关约束的方法识别该区域内是否有点P1的匹配点，若找到P1的匹配点Pr，则Pr所在的边缘R2就是边缘L2的匹配边缘，然后，继续往外扩展直到规定的扩展范围，找到在上述扩展范围内所有可能的匹配边缘；对其他的匹配角点对也采用同样的方法进行搜索，得到离角点距离远的可能匹配的边缘；

3、采用边缘约束方法实现点的匹配；其具体约束方法如下：

3.1、考虑左右图像中一对匹配的边缘L和R，角点约束得到了边缘上的一对匹配点 $L\left[i\right]\↔R\left[j\right]$ ，称为参考匹配点对，利用该匹配点对并根据顺序性约束引导L、R上其他点的匹配，引导方法是：在参考匹配点对的上下邻域可能存在匹配点对 $L[i+1]\↔R[j+1]$ 与 $L[i-1]\↔R[j-1]$ ，考虑到图像之间可能存在的一定形变，因此，L[i+1]可能与R[j+1+k]匹配，L[i-1]可能与R[j-1-k]匹配，k表示匹配边缘上的一个小的偏移，k的取值为0和1，也就是说i+1的匹配点可能是j+1或j+2，i-1的匹配点可能是j-1或j-2，同理，对于参考匹配点对的下一个邻域可能存在匹配点对 $L[i+2]\↔R[j+2]$ 与 $L[i-2]\↔R[j-2]$ ，同样考虑到可能存在形变，因此，L[i+2]可能与R[j+2+p]匹配，L[i-2]可能与R[j-2-p]匹配，p表示匹配边缘上的一个小的偏移，p的取值为-1、0和1，也就是说i+2的匹配点可能是j+1、j+2或j+3，i-2的匹配点可能是j-1、j-2或j-3。处理完上述邻域的点的匹配后，继续进行步骤3.2；

3.2、若有参考匹配点对 $L\left[i\right]\↔R\left[j\right]$ ，那么相对于参考匹配点对在匹配边缘上向上偏移量为n的位置，n≥3，考虑图像之间可能存在形变，因此，可能有 $L[i+n]\↔R[j+n+d]$ ，d是点j+n附近的匹配边缘上的小的偏移范围，在该情况下，点i+n也可能对应到点j+n下面的几个点，所以，d可能为负值，取d为-2～+2之间的整数，把侯选匹配点限定在5个像素内，再利用极线约束得到点的匹配，同理，相对于参考匹配点对向下偏移量为m的位置，m≥3，可能存在 $L[i-m]\↔R[j-m+d]$ ，d是点j-m附近的匹配边缘上的小的偏移范围，也取d为-2～+2之间的整数，把侯选匹配点限定在5个像素内，再利用极线约束得到点的匹配，上述过程得到该对边缘上的所有匹配点，继续步骤3.3；

3.3、同理，对其他的匹配的边缘对，重复进行步骤3.1与3.2，直到所有的匹配的边缘处理完毕，得到所有的匹配点。

本发明的优点是：本发明所提出的基于角点引导的边缘匹配算法引入了两种新的约束，极大地限制了搜索范围，从而在速度和匹配正确率方面都得到保障，与其他算法相比其优点表现在：

1、采用已匹配角点作为约束来引导边缘的匹配，结合扩展搜索的方法，该种思路使边缘匹配速度能够得到快速性的保障，该步的完成只需要几十毫秒。

2、采用边缘约束实现每个点的匹配，使匹配搜索范围仅限定在几个像素内，再结合极线约束实现边缘点的快速匹配。提出的边缘约束避免了单纯利用极线约束可能带来的误匹配问题。

附图说明

图1是本发明中用到的角点附近的边缘匹配示意图。c1和c2分别是左右图像上匹配的角点，L1和R1分别是对应角点附近的边缘，本图的右上角给出了本发明中用到的8个搜索方向。

图2是本发明中角点离边缘远的边缘匹配示意图。c3和c4分别是左右图像上一对匹配的角点，点P1是左图像中离c3较远的边缘L2上的一点，点P是右图像中与P1位置对应的点，R2和R3是以点P为中心的小区域内存在的两条边缘，Pr是P1的真正匹配点。

图3是本发明中基于边缘约束的点的匹配示意图。(L[i]，R[j])是左右图像中两条边缘L和R的参考匹配点对，(L[i+n]，R[j+n])是参考匹配点对上方的第n个邻域，d是点j+n附近的小的偏移量。(L[i-m]，R[j-m])是参考匹配点对下方的第m个邻域，d是点j-m附近的小的偏移量。

图4是对美国五角大楼实现的立体边缘匹配结果图。

图5是对航空半实物仿真图像的立体边缘匹配结果图。

具体实施方式

下面对本发明做进一步详细说明。本发明的图像快速边缘匹配方法，其特征在于，匹配步骤如下：

1、使用Harris角点探测器(参见C.Harris and M.Stephens.ACombined Corner and Edge Detector.In 4^th Alvey Vision Conference，pp.147-151，1988.)和Canny边缘探测器(参见J.Canny.A ComputationalApproach to Edge Detection.IEEE Trans.Pattern Analysis andMachine Intelligence，Vol.8，No.6，pp.679-698，1986.)分别提取角点和边缘，并对角点进行匹配(参见Z.Zhang，R.Deriche，O.Faugeras，Q.T.Luong.A Robust Technique for Matching Two Uncalibrated Imagesthrough the Recovery of the Unknown Epipolar Geometry.ArtificialIntelligence Journal，Vol.78，pp.87-119，1995.)。

2、利用角点约束实现边缘的匹配。

由于角点探测与边缘提取的原理不相同，角点不可能正好落在边缘上，因此，如何有效地利用已匹配的角点引导边缘的匹配是本发明中需要解决的关键问题。根据探测角点和边缘的原理可知，角点和边缘都是梯度变化剧烈的位置，因此，角点一般大都落在边缘的附近。根据这一原理，本发明把边缘分成两类，第一类是角点附近的边缘；第二类是距离角点远的边缘。角点附近的边缘，其距离小于等于4个像素。其理论依据：高斯平滑后的特征在定位精度上存在2σ(σ为高斯空间系数)以内的偏移(参见李介谷编著.《计算机视觉的理论和实践》，上海：上海交通大学出版社，1991.)，因此，角点与边缘的偏移范围在2(σ₁ ⁺σ₂)之内，σ₁、σ₂分别表示提取角点与边缘时用到的高斯空间系数。离角点距离远的边缘，其距离大于4个像素。

本发明分两个阶段进行边缘匹配，第一阶段先匹配角点附近的边缘，第二阶段匹配离角点远的未匹配的边缘，具体匹配策略为：

2.1、角点附近的边缘匹配。角点距边缘点的最近距离很小，比如小于等于4个像素，如此小的范围内几乎可以不考虑反映在图像上的变形，因此，如下的边缘匹配策略可靠。图1中，c1和c2是左右图像中已匹配的一对角点，从c1和c2同时向8个搜索方向扩展，扩展的第1层有8个像素，搜索的第2层有16个像素，第3层有24个像素，...。若扩展的第1层在某一个方向上同时遇到边缘上的点，则该两条边缘为匹配边缘，否则继续扩展到第2层、...、直到第4层，该搜索得到角点c1和c2附近的可能存在的匹配边缘。如果该对匹配角点的附近没有对应的匹配边缘，说明在该匹配角点附近没有匹配的边缘存在，则继续在下一对匹配角点附近进行搜索，直到所有的匹配角点都在其附近搜索一遍，那么这一遍匹配搜索过程获得了已经匹配角点附近的可能匹配的边缘。如图1中，边缘点落在匹配角点扩展的第1层并且都在45°方向上，那么左右图像中的L1、R1这两条边缘得到匹配。

2.2、离角点远的边缘的匹配。在角点距离边缘远的情况下，反映在图像上可能存在一定的形变，因此本发明对未匹配的离角点远的边缘需要单独考虑匹配策略。如图2所示，角点c3和c4是左右图像的一对匹配角点，角点c3用与2.1中同样的搜索方式向外扩展，不过这次搜索的扩展范围要大，扩展范围是w/4、h/4两者的较小值，w、h分别是图像的像素宽度与高度，在该范围内得到所有的可能匹配的边缘。当遇到未匹配的边缘L2上的一点P1时，到右图像中寻找对应距离以及相同方向的对应点，如右图像中的点P。但是，由于距离远，图像可能存在一定的形变，点P未必在边缘上，也未必是点P1的真正匹配点。因此，以点P为中心，限定了一个小的搜索区域，该区域大小为3×3～7×7个像素，比如为5×5个像素，在该区域内判断每个像素是否是边缘点。如果是边缘点，又因为在限定的搜索区域内可能存在着多条边缘上的边缘点，例如图2所示的5×5区域中存在两条边缘R2、R3，因此，需要再利用极线约束和灰度相关约束判断该边缘点是否是P1对应的匹配点。如右图像中的Pr确定为匹配点后，那么Pr所在的边缘R2确定为左图像边缘L2的匹配边缘。对其他的匹配的角点采用同样的方式进行搜索，得到离角点距离远的所有可能匹配的边缘。

3、采用边缘约束方法实现每个点的匹配。

经过上述第2步得到匹配的边缘，但是要实现三维重建及三维识别，需要得到所有点的三维坐标即需要实现所有点的匹配。一般而言，当得到匹配的边缘后，可以只通过极线约束实现边缘上点的匹配，但是考虑到提取的边缘可能与极线平行的情况下，会带来很多的误匹配。为了避免这种情况，本发明提出了充分利用边缘约束来实现点与点的快速可靠的匹配。如图3所示，其具体约束方法如下：

3.1、考虑左右图像中一对匹配的边缘L和R，角点约束得到了边缘上的一对匹配点 $L\left[i\right]\↔R\left[j\right]$ 称为参考匹配点对，利用该匹配点对并且根据顺序性约束引导L、R上其他点的匹配，引导方法是：在参考匹配点对的上下邻域可能存在匹配点对 $L[i+1]\↔R[j+1]$ 与 $L[i-1]\↔R[j-1],$ 考虑到图像之间可能存在的一定形变，因此，L[i+1]可能与R[j+1+k]匹配，L[i-1]可能与R[j-1-k]匹配，k表示匹配边缘上的一个小的偏移，k的取值为0和1，也就是说i+1的匹配点可能是j+1或j+2，i-1的匹配点可能是j-1或j-2。同理，对于参考匹配点对的下一个邻域可能存在匹配点对 $L[i+2]\↔R[j+2]$ 与 $L[i-2]\↔R[j-2],$ 同样考虑到可能存在形变，因此，L[i+2]可能与R[j+2+p]匹配，L[i-2]可能与R[j-2-p]匹配，p表示匹配边缘上的一个小的偏移，p的取值为-1、0和1，也就是说i+2的匹配点可能是j+1、j+2或j+3，i-2的匹配点可能是j-1、j-2或j-3。处理完上述邻域的点的匹配后，继续进行步骤3.2。

3.2、若有参考匹配点对 $L\left[i\right]\↔R\left[j\right],$ 那么相对于参考匹配点对在匹配边缘上向上偏移量为n(n≥3)的位置，考虑图像之间可能存在形变，因此，可能有 $L[i+n]\↔R[j+n+d],$ d是点j+n附近的匹配边缘上的小的偏移范围，在该情况下，点i+n也可能对应到点j+n下面的几个点，所以，d可能为负值，取d为-2～+2之间的整数，把侯选匹配点限定在5个像素内，再利用极线约束得到点的匹配。同理，相对于参考匹配点对向下偏移量为m(m≥3)的位置，可能存在 $L[i-m]\↔R[j-m+d],$ d是点j-m附近的匹配边缘上的小的偏移范围，也取d为-2～+2之间的整数，把侯选匹配点限定在5个像素内，再利用极线约束得到点的匹配，上述过程得到该对边缘上的所有匹配点，继续步骤3.3。

3.3、同理，对其他的匹配的边缘对，重复进行步骤3.1与3.2，直到所有的匹配的边缘处理完毕，得到所有的匹配点。

在上述3.1和3.2约束下，左图像边缘上的一点对应在右图像上只有几个像素，对这几个像素再利用极线约束，如果图像中提取的边缘与极线接近平行，那么极线约束失效，此时需要再利用灰度相关约束(参见Z.Zhang，R.Deriche，0.Faugeras，Q.T.Luong.A Robust Techniquefor Matching Two Uncalibrated Images through the Recovery of theUnknown Epipolar Geometry.Artificial Intelligence Journal，Vol.78，pp.87-119，1995.)，最终实现点的匹配。

实施例

本发明程序的运行环境为：Windows XP，Visual C++6.0，PentiumIV，CPU 2.4GHz。

图4是美国五角大楼(Pentagon)的匹配结果图，图中的黑色数字表示匹配边缘的参考匹配对序号，白色部分表示由匹配点组成的边缘。使用本发明中算法的匹配结果为：匹配的边缘数212对，即得到212个参考匹配点对，其中标号为156、183、194、203、204的是误匹配，这5对条边缘上对应的误匹配点数共43对；据统计，由于极线与边缘接近平行造成的误匹配个数大约有200对，各阶段所需时间及总的匹配点数如表1所示。匹配统计结果表明，正确匹配率达到97％。

图5是通过某种半实物仿真系统得到的航空图像的匹配结果图，图中的黑色数字表示匹配边缘的参考匹配对序号，白色部分表示匹配点组成的边缘。使用本发明算法匹配的边缘数为399对，即获得399个参考匹配点对，其中标号为280、292、296、310、327、333、342的是误匹配，这7对边缘上共得到39对误匹配点；而由于极线约束失效造成的误匹配很少，大约100对，表1列出各阶段时间，结果表明，正确率高达98％。

表1 各阶段所需要时间(s)及匹配的边缘点数

 

景象	分辨率	角点提取	角点匹配	边缘提取	边缘点匹配	总时间	匹配的点数
								Pentagon	512×512	0.26	0.266	0.321	0.25	1.097	9524
半实物仿真航空图像	768×576	0.478	0.568	0.547	0.26	1.853	15655

Claims (1)

1、一种基于角点引导的图像边缘快速匹配方法，其特征在于，匹配步骤如下：

1.1、使用Harris角点探测器和Canny边缘探测器分别提取左右两幅图像的角点和边缘，并对角点进行匹配；

1.2、利用已匹配的角点作为约束实现边缘的匹配，根据角点与边缘上最近点的距离大小，把待匹配边缘分为以下两类：

角点附近的边缘，其距离小于等于4个像素；

离角点距离远的边缘，其距离大于4个像素；

1.2.1、匹配角点附近的边缘；在如此小的区域范围内不考虑反映在图像上的变形，设角点c1和c2分别是两幅图像上的对应点即匹配点对，采用下面的搜索方法进行边缘匹配，其具体步骤如下：

1.2.1.1、从角点c1和c2同时向8个方向即右、右上、上、左上、左、左下、下、右下搜索，搜索的第1层有8个像素，搜索的第2层有16个像素，第3层有24个像素，...，若搜索的第1层在某一个方向上同时遇到边缘上的点，则该两条边缘是匹配边缘，搜索结束，否则继续向外层搜索直到规定的搜索层数，搜索层数为4层，该步搜索得到角点c1和c2附近的可能存在的匹配边缘，若该步搜索结束后仍然没有结果，说明在该匹配角点附近没有匹配的边缘存在，继续进行步骤1.2.1.2；

1.2.1.2、按照步骤1.2.1.1所述的方法，在其他匹配角点对的附近进行搜索，直到所有的已匹配角点对都在其附近搜索一遍，得到角点附近的所有的可能匹配的边缘；

1.2.2、匹配离角点距离远的边缘；设角点c3和c4分别是左右图像的一对匹配点，从左图像上的角点c3开始逐层分别向8个方向扩展搜索，扩展范围是w/4、h/4两者的较小值，w、h分别是图像的像素宽度与高度，当遇到未匹配的边缘L2上的一点P1时，找到右图像上与P1位置对应的点P，搜索以P为中心的一个小区域，该区域大小为3×3～7×7个像素，搜索过程中利用极线约束、灰度相关约束的方法识别该区域内是否有点P1的匹配点，若找到P1的匹配点Pr，则Pr所在的边缘R2就是边缘L2的匹配边缘，然后，继续往外扩展直到规定的扩展范围，找到在上述扩展范围内所有可能的匹配边缘；对其他的匹配角点对也采用同样的方法进行搜索，得到离角点距离远的可能匹配的边缘；

1.3、采用边缘约束方法实现点的匹配；其具体约束方法如下：

1.3.1、考虑左右图像中一对匹配的边缘L和R，角点约束得到了边缘上的一对匹配点

，称为参考匹配点对，利用该匹配点对并根据顺序性约束引导L、R上其他点的匹配，引导方法是：在参考匹配点对的上下邻域可能存在匹配点对

与

考虑到图像之间可能存在的一定形变，因此，L[i+1]可能与R[j+1+k]匹配，L[i-1]可能与R[j-1-k]匹配，k表示匹配边缘上的一个小的偏移，k的取值为0和1，也就是说i+1的匹配点可能是j+1或j+2，i-1的匹配点可能是j-1或j-2，同理，对于参考匹配点对的下一个邻域可能存在匹配点对

与

同样考虑到可能存在形变，因此，L[i+2]可能与R[j+2+p]匹配，L[i-2]可能与R[j-2-p]匹配，p表示匹配边缘上的一个小的偏移，p的取值为-1、0和1，也就是说i+2的匹配点可能是j+1、j+2或j+3，i-2的匹配点可能是j-1、j-2或j-3，处理完上述邻域的点的匹配后，继续进行步骤1.3.2；

1.3.2、若有参考匹配点对

那么相对于参考匹配点对在匹配边缘上向上偏移量为n的位置，n≥3，考虑图像之间可能存在形变，因此，可能有d是点j+n附近的匹配边缘上的小的偏移范围，在该情况下，点i+n也可能对应到点j+n下面的几个点，所以，d可能为负值，取d为-2～+2之间的整数，把侯选匹配点限定在5个像素内，再利用极线约束得到点的匹配，同理，相对于参考匹配点对向下偏移量为m的位置，m≥3，可能存在

d是点j-m附近的匹配边缘上的小的偏移范围，取d为-2～+2之间的整数，把侯选匹配点限定在5个像素内，再利用极线约束得到点的匹配，上述过程得到该对边缘上的所有匹配点，继续步骤1.3.3；

1.3.3、同理，对其他的匹配的边缘对，重复进行步骤1.3.1与1.3.2，直到所有的匹配的边缘处理完毕，得到所有的匹配点。

Images