CN101924953B - 基于基准点的简便匹配方法 - Google Patents

Abstract

本发明公开了立体视觉系统中一种基于基准点的简便匹配方法。该方法在立体视觉系统中引入一种特征光源发射器，以特征光源产生的基准点为基点，对参考坐标系图像中的特征点按照特定的规律(纵向进行排列)进行描述，运用匹配约束法则，在偏移坐标系图像中找到和参考坐标系图像中相匹配的特征点，实现一种简便快速的立体视觉匹配。一种应用上述方法的立体视觉系统，包括计算机、在支架上设置的两台CCD摄像机、以及在两台CCD摄像机中间位置设置的光源发射器；两台摄像机是平行放置；所述计算机装有图像处理程序。本发明可以在不增加立体视觉系统成本的基础上，避免采用复杂的立体匹配算法，提高立体视觉系统的实时性和实用性。

Description

基于基准点的简便匹配方法

技术领域

本发明实施例涉及三维视觉处理技术，特别涉及立体视觉系统中一种基于基准点的简便匹配方法。

背景技术

双目立体视觉技术的基本原理是从两个或多个视点观察同一景物，以获取物体在不同视角下的图像，通过三角测量原理计算图像像素间的位置偏差(即视差)来获得三维信息。一个完整的立体视觉系统包括图像获取、摄像机标定、特征提取、立体匹配、三维信息恢复及后继处理等。其中，特征提取和立体匹配是立体视觉中的关键技术，也是难点，其结果的好坏严重影响后继三维信息恢复的精度。

立体匹配是寻找同一空间景物在不同视点下投影图像中像素间的一一对应关系。与普通的图像模板匹配不同，立体匹配是在两幅或多幅存在视点差异、几何和灰度畸变以及噪声干扰的图像对之间进行的，不存在任何标准模板。当空间三维场景被投影为二维图像时，受场景中诸多因素，如光照条件、景物几何形状和物理特性、噪声干扰和畸变及摄像机特性等的影响，同一景物在不同视点下的图像会有很大不同，要准确地对包含了如此多不利因素的图像进行无歧义的匹配，是颇为困难的。

根据匹配基元的不同，立体视觉匹配算法通常分为三大类：基于区域匹配，基于特征匹配和基于相位匹配。这三类算法因匹配基元的不同，判断对应点匹配的理论依据也有所不同，但他们之间还是存在有一些共有的约束条件。这些约束条件包括Marr提出的最基本的物理约束：唯一性约束、相容性约束和连续性约束，以及在三个基本约束的基础上引申出的一些特定的匹配控制约束。这些匹配约束的运用不仅可以提高匹配的准确性，而且还可以降低匹配的工作量，提高匹配速度，从而使得立体视觉测量系统符合实际应用。

在实际应用中，国内外研究者一般采用常规的约束条件，或者将三种匹配算法组合起来使用。以果蔬采摘机器人为例，南京农业大学张瑞合对自然环境下番茄的识别与定位进行了研究，在特征提取和立体匹配时采用面积匹配的算法，这对于自然环境中存在遮挡的情况，面积匹配不但匹配时间长而且误差大，遮挡严重的时候甚至无法进行匹配。江苏大学仲琴以番茄形心为匹配基元，通过模板匹配实现番茄图像轮廓信息的补全和修复，然后根据轮廓特征求得形心。但该算法对图像噪声很敏感，影响了精度。浙江大学的蒋焕煜在形心匹配的基础上结合区域匹配算法进一步确定番茄表面点的位置，能更加准确地获得目标对象的位置信息，提高算法的鲁棒性。上述的研究都集中在增加算法的复杂度来提高最终匹配的精度，是以牺牲处理时间为代价的，这使这些算法的实时性受到了严重的限制。

发明内容

为了解决现有技术中存在的上述问题，经过对立体视觉系统的研究，发现整个系统中最耗时的处理模块是立体匹配模块，如果采用人工加入一种特征光源的方法来增加约束条件，将特征光源成像点对作为初始匹配点，可以简化匹配问题，降低立体匹配的难度，提高立体匹配算法的实时性。

本发明第一目的是为立体视觉系统提供一种基于基准点的简便匹配方法。该方法不增加立体系统成本的基础上，避免了采用复杂的立体匹配算法，提高了算法的实时性。

本发明第二目的是提供一种加装特征光源发射器的立体视觉系统，该系统构建方便，可有效解决立体视觉中的立体匹配算法处理效率低的问题。

为实现上述第一目的，本发明提供了一种基于基准点的简便立体匹配方法，包括：

采集立体图像，并为左、右两幅图像建立坐标系，取左边图像的图像坐标系为参考图像坐标系，右边图像的图像坐标系为偏移图像坐标系。

寻找基准点和所有特征点。采用常规图像处理方法，根据特征光源成像点的位置、颜色和面积大小三种特征来判断成像点的有无，从而确定特征光源在左、右两幅图像中的成像点的坐标，作为初始匹配点。另外，通过二值化等一系列图像处理方法，得到所有目标在左、右两幅二维图像中的形心坐标，作为下一步匹配的特征点。

特征点是图像的重要局部特征，它集中了图像上很多重要的形状信息。特征点具有旋转不变性和不受光照条件影响的优点，且只占图像全部像素点的很少一部分，在没有丢失图像数据信息的条件下，基于特征点的图像匹配可以缩小匹配搜索空间的大小，减少匹配过程中的歧义性，从而大大缩减运算时间，达到实时性目的。

以特征光源产生的初始匹配点为基准点，对参考坐标系图像中的特征点根据其与基准点间的位置关系并按照特定的规律(纵向进行排列)进行描述，运用匹配约束法则(唯一性和平行约束)，在偏移坐标系图像中找到和参考坐标系图像中相匹配的特征点，直到匹配完所有的特征点为止。

对于两幅从不同角度获取的同一物体的图像来说，传统的特征点搜索方法是在一幅图像上选择一个特征点，然后在另一幅图像上搜索对应的特征点。这种匹配方法计算量大，运行速度慢。如果对应点满足一定的约束条件的，匹配时加入约束条件，则可加快对应点的匹配速度。这里主要使用两种约束条件：唯一性约束和平行约束。唯一性约束是指，一个目标只有一个质心特征，左图像上的目标的质心特征点在右图像上只有一个特征点与其匹配。平行约束是指，在同一世界坐标系下的目标，在两摄像机平行放置的情况下，则此目标在左右两幅图像上应该具有相同的纵坐标。按照平行约束的条件，如果在图像上有多个不同的目标，根据特征点之间的位置相对不变性，仍可以实现对应点匹配。各个目标在纵坐标上的排列顺序是一致的，也就是说，如果图像中存在多个目标，目标的质心在左右图像上的纵坐标的排列顺序是一致的。然而由于目标分割时，两个摄像头几何高度存在误差，即左右两幅图像中同一目标的纵坐标存在一定偏差。但该偏差和图像宽度相比比较小的，可以设定在搜索范围内，因此，对匹配的影响较小。

另外，加入特征光源作为基准匹配点，在匹配过程中成为一种新的约束条件。再根据上述两种基本约束，特征点可以按顺序快速对应，从而可大大提高匹配计算速度。

计算三维深度信息。有了匹配点对后，就可以根据深度计算公式，获得各个目标的深度信息。

为了实现上述第二目的，本发明实施例还提供了一种加装特征光源发射器的立体视觉系统，包括：

两个CCD摄像头平行放置，基线距离为B，组成立体视觉系统。摄像头与计算机相连接，编制的图像处理程序可显示左、右两个部分的图像。特征光源发射器放置在两个摄像头的中心位置，并且和两个摄像机固接在一起。系统结构如图2所示。当摄像机拍摄不同场景的时候，特征光源发射器也随之移动，在场景中产生一个亮点，亮点和场景一起成像在摄像机CCD传感器上，数字化的数据传输到计算机系统中，形成以矩阵形式的图像文件，最终显示在显示器上。

由上述技术方案可知，本发明为立体视觉系统提供一种基于基准点的简便匹配方法，通过在立体视觉系统中引入一种特征光源，以特征光源产生的初始匹配点为基准点，对参考坐标系图像中的特征点按照特定的规律(纵向进行排列)进行描述，运用匹配约束法则，在偏移坐标系图像中找到和参考坐标系图像中相匹配的特征点，实现一种简便快速的立体匹配。与现有的常规立体匹配方法相比，本发明实施所提供的基于基准点的匹配方法可以在不增加系统成本的基础上，避免采用复杂的立体匹配算法，提高了算法的实时性。

本发明所提供的一种加装特征光源发射器的立体视觉系统，与传统的立体视觉系统相比，在基本不增加系统总成本的基础上，可以为匹配增加一种基准点约束，从而解决了常规匹配方法复杂和耗时的问题，为最终快速恢复目标物体的深度信息提取了有效保障。

附图说明

图1为本发明实施例立体视觉系统的基于基准点的匹配方法流程图。

图2为寻找基准点和特征点坐标流程图。

图3为基于基准点的匹配流程图。

图4为本发明实施例的安装有特征光源发射器的立体视觉系统装置示意图。

图5是特征光源点成像的位置示意图。

图6是特征点匹配示意图。

具体实施方式

下面通过附图和实施例，对要发明实施例的技术方案做进一步的详细描述。

本发明实施例为立体视觉系统提供一种简便的基于基准点的立体匹配方法，主要是针对立体视觉系统中匹配效率低的问题，实现基于基准点的多目标立体匹配。

图1为本发明实施例立体视觉系统的基于基准点的匹配方法流程图。如图1所示，整个匹配方法分为以下几个步骤：

步骤11、采集立体图像，并建立左右两幅图像坐标系。

取左图像的图像坐标系为参考图像坐标系，右图像的图像坐标系为偏移图像坐标系。

步骤12、寻找基准点和特征点坐标，流程如图2所示。通过图像处理方法检测特征光源在左、右两幅图像中的成像点的坐标，参考坐标系中记作P₀(X₀，Y₀)，偏移坐标系中记作作为下一步匹配的基准匹配点。另外，通过二值化等一系列图像处理方法，得到目标的质心坐标在参考坐标系中记作(X_i，Y_j)，偏移坐标系中记作

作为下一步匹配的特征点。其中P₀(X₀，Y₀)和

是特征光源成像点的匹配数据对，作为初始匹配点，(X_i，Y_j)和

是目标区域形心坐标匹配数据对，需要下一步匹配。

步骤1201、基准点的寻找：

如果基准点坐标不精确，将影响后继匹配的精度。从图5中看出，本发明实施例中特征光源发射器和立体视觉系统是固接在一起的，根据几何关系，可以推出其成像点在立体图像中的坐标值，并且这个坐标值在左、右两幅图像中都是固定不变的。因此，可根据其位置信息在该固定坐标值附近来搜索基准点。特征光源在场景成像时往往不能完全集中在一点，容易产生光斑的离散分布。并且，当特征光源在场景成像时，会生成具有特定的颜色。因此，可以检测特征光源点形成的具有特定颜色的区域，以该区域的形心坐标值作为基准点的坐标值。基于特征光源点成像的位置、颜色和区域面积大小三种特征，可以判断基准点的有无，并准确方便地找到基准点坐标值，从而提高特征光源寻找的鲁棒性。

步骤1202、判断是否找到基准点：

在这里，加入一个条件判断，是为了克服当特征光源成像点在左、右图像之一中不明显，采取步骤1201的算法却找不到特征光源成像点时的情况。

步骤1203、特征点的寻找。

特征点取目标在图像成像的形心坐标，相对于特征光源成像点来说，目标成像区域面积一般较大。利用形心计算公式获得目标区域的形心坐标，为下一步匹配准备好特征点数据。

步骤13、基于基准点的匹配：流程如图3所示。

以特征光源产生的初始匹配点为基准点，对参考坐标系图像中的特征点依据其与基准点的位置关系并按照特定的规律(纵向进行排列)进行描述，然后运用匹配约束法则，在偏移坐标系图像中找到和参考坐标系图像中相匹配的特征点。

步骤1301、在参考坐标系图像中排列特征点和基准点。

当被测物在同一坐标系下的情况下，待匹配的特征点在纵向的相序是不变的，所以按照在纵向来实现算法如下：

在参考坐标系中，以(X₀，Y₀)为基准点向上下两个方向，进行搜索相邻的像素坐标，使得其满足：Y_i+1≥Y_i，(i＝±n)。其中n为两个方向特征点数目的最大值。得到在参考坐标系中的像素点坐标从上到下的排列：(X_an，Y_an)，(X_a(n-1)，Y_a(n-1))，…，(X_a1，Y_a1)，P₀(X₀，Y₀)，(X_b1，Y_b1)，…，(X_b(n-1)，Y_b(n-1))，(X_bn，Y_bn)。

步骤1302、在偏移坐标系图像中排列特征点和基准点。

同理，与参考坐标系步骤相同，按照纵向排列所有特征点和基准点。

步骤1303、根据匹配准则进行立体匹配。

根据唯一性约束和平行约束两个条件，在参考坐标系的特征点在偏移坐标系有且仅有一个特征点与之对应，且两个特征点具有相同的纵坐标值。存在一种特殊情况是在一个坐标系中的一个特征点在另一坐标系中无特征点与其对应，这种情况可以根据平行约束来判别。如图6所示，增加基准匹配点以后，根据对应关系和平行约束条件，可上下搜索迅速实现特征点的匹配。

步骤14、深度信息计算。有了匹配点对后，就可以根据以下深度计算公式，获得各个目标的深度信息。

$z_c=\frac{B*f}{X_{\mathrm{left}}-X_{\mathrm{right}}}$

图4为本发明实施例的安装有特征光源发射器的立体视觉系统装置图。如图4所示，特征光源发射器安装在两CCD摄像机中央位置。如图5所示，特征光源成像点在两CCD摄像机成像平面坐标系的坐标值是固定的。另外两个重要的参数是摄像机焦距f和表示两CCD摄像机的光轴间的距离的基线距离B。

最后，应该说明的是：以上实施例仅用以说明本发明实施例的技术方案而非对其限制，尽管参照较佳实施例对本发明实施便进行了详细了说明，本领域的普通技术人员应当理解：其依然可以对本发明实施例的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明实施例技术方案的精神和范围。

Claims (4)

1.立体视觉系统中一种基于基准点的简便匹配方法，其特征是包括以下步骤：

步骤1）采集立体图像，并建立左右两幅图像坐标系；取左图像的图像坐标系为参考图像坐标系，右图像的图像坐标系为偏移图像坐标系。

步骤2）寻找基准点和特征点坐标：

在立体视觉系统中引入特征光源发射器，由该特征光源产生基准点；

先对左右两幅图像进行处理，检测特征光源在左、右两幅图像中的成像点的坐标，在参考坐标系中记作P₀(X₀,Y₀)，在偏移坐标系中记作

作为下一步匹配的基准匹配点，即基准点；

再通过对图像处理得到目标的质心坐标，在参考坐标系中记作(X_i,Y_j)，在偏移坐标系中记作

作为下一步匹配的特征点；

其中P₀(X₀,Y₀)和是特征光源成像点的匹配数据对，作为初始匹配点，(X_i,Y_j)和

是目标区域质心坐标匹配数据对，需要下一步匹配；

步骤3）基于基准点的匹配：

先以所述初始匹配点为基准点，对参考坐标系图像中的特征点进行描述，该描述是根据特征点与基准点间的位置关系，按照特定的规律进行的；再运用匹配约束法则，在偏移坐标系图像中寻找和参考坐标系图像中的特征点相匹配的特征点，直到匹配完参考坐标系图像中所有的特征点，得到匹配点对；

步骤4）深度信息计算：

有了匹配点对后，就可以根据深度计算公式，获得各个目标的深度信息；

深度计算公式：

其中，B为基线距离；f为CCD摄像机焦距；X_left为特征点在参考图像坐标系中的横坐标；X_right为特征点在偏移图像坐标系中的横坐标；X_left-X_right即为特征点在图像坐标系中的X方向的视差；

所述步骤3）中，所述特定的规律是指纵向进行排列；步骤包括：

步骤301）在参考坐标系图像中按照纵向排列所有特征点和基准点，实现算法如下：

在参考坐标系中，以(X₀,Y₀)为基准点向上下两个方向进行搜索相邻的像素坐标，使得其满足：Y_i+1≥Y_i，(i＝±n)，其中n为上下两个方向特征点数目的最大值；则得到在参考坐标系中的像素点坐标从上到下的排列：(X_an，Y_an)，(X_a(n-1),Y_a(n-1))，…，(X_a1，Y_a1)，P₀(X₀,Y₀)，(X_b1，Y_b1)，…，(X_b(n-1),Y_b(n-1))，(X_bn，Y_bn)；

步骤302）在偏移坐标系图像中按照纵向排列所有特征点和基准点：实现算法与步骤301）的算法相同；

步骤303）根据匹配准则进行立体匹配：

根据唯一性约束和平行约束两个条件，参考坐标系的特征点在偏移坐标系有且仅有一个特征点与之对应，且两个特征点具有相同的纵坐标值；

如果一个坐标系中的一个特征点在另一坐标系中无特征点与其对应，则根据平行约束来判别。

2.根据权利要求1所述的基于基准点的简便匹配方法，其特征是所述步骤2）中，包括：

步骤201）基准点的寻找，基于以下两个依据：

推算特征光源发射器发射的特征光源点在立体图像的坐标值，在该坐标值附近寻找基准点；

检测特征光源点形成的具有特定颜色的区域，根据该区域的颜色和面积大小来确定基准点，并以该区域的质心坐标值作为基准点的坐标值；

步骤202）判断是否找到基准点，如果没有找到，则返回步骤201），反之继续进行步骤203）：

步骤203）特征点的寻找：

特征点取目标在图像成像的质心坐标，是利用质心计算公式获得目标区域的质心坐标，为下一步匹配准备好特征点数据。

3.根据权利要求1所述的基于基准点的简便匹配方法，其特征是所述步骤303）中，

唯一性约束是指，一个目标只有一个质心特征，左图像上的目标的质心特征点在右图像上只有一个特征点与其匹配。

平行约束是指，在同一世界坐标系下的目标，在两摄像机平行放置的情况下，则此目标在左右两幅图像上应该具有相同的纵坐标。

4.一种应用权利要求1所述方法的立体视觉系统，其特征是包括计算机、在支架上设置的两台CCD摄像机、以及在两台CCD摄像机中间位置设置的光源发射器；两台摄像机是平行放置；

所述特征光源发射器在场景中产生一个亮点，亮点和场景一起成像在摄像机的CCD传感器上，数据传输到计算机中，形成以矩阵形式的图像文件，最终进行图像处理。

Images