CN106530409B - 立体匹配中局部区域一致性对应方法 - Google Patents

Abstract

本发明公开了一种立体匹配中局部区域一致性对应方法：(1)对输入的立体匹配图像对进行区域分割；(2)提取每个分割区域中的匹配特征点并优化；(3)引入匹配特征点的门限值对待校正图像的分割区域进行自优化，(4)根据优化后的匹配特征点对立体匹配图像中分割区域进行区域对应；(5)根据匹配特征点的门限值对参考图像的分割区域进行自优化；(6)对区域对应后的待校正图像的分割区域进行合并；(7)获取区域一一对应关系，并记录一致性区域对应标签；该方法能够减小区域的对应误差，提升颜色校正的精度，可以应用于立体匹配图像局部颜色校正方面。

Description

立体匹配中局部区域一致性对应方法

技术领域

本发明涉及计算机立体视觉一种使用三维表面数据获取设备对物体进行三维建模时的立体匹配步骤，具体涉及立体匹配中局部区域一致性对应方法。

背景技术

立体匹配的目的是用来获得立体匹配图像的视差图，在很多领域都有所涉及，包括计算机视觉，机器技术，以及图像分析等。大多数的立体匹配方法都是通过计算一个匹配代价来衡量立体匹配图像的相似度的，通常情况下，这个匹配代价的前提假设为两幅图像的对应点有着相近的颜色。然而，在实际情况下，立体匹配图像对应点的颜色可能会受各种因素影响表现得非常不一样，这些因素包括相机设备型号的不同、光照条件的不同等等。尽管在实际的立体匹配研究中已经出现了鲁棒的匹配代价函数来解决这个问题，其中，Mutual Information方法和Census Transform方法已经考虑到了一个确定情况下的颜色差异，但是大多数的方法是不能够解决非常剧烈的颜色差异的，立体匹配的精度因此会大受影响。因此，为了提升立体匹配的精度，颜色校正方法可以被看作立体匹配前的一个预处理过程来消除图像对的颜色差异。

颜色校正方法旨在将参考图像的颜色迁移到待校正图像上，以达到使两幅图像颜色尽量接近的目的。现在使用较多的是通过局部区域校正的方法达到颜色校正的目的，可以比全局校正达到更好的效果。局部的方法旨在从两幅图像的对应区域着手去改变颜色，使得待校正图像的某区域的颜色接近于参考图像的对应区域颜色。对于这一类的方法，建立一个精确的区域对应是非常重要的问题。

高斯混合模型曾经被使用从而得到区域的一致性对应，然而高斯模型限制了分割的灵活性，小区域可能无法得到正确的分割。另外的方法根据对极几何的原理对区域进行投射，得到区域之间的对应，然而投射会产生大量没有被匹配的区域，误差率较高。

发明内容

本发明提供了一种立体匹配中局部区域一致性对应方法，该对应方法能够减小区域的对应误差，提升颜色校正的精度。

一种立体匹配中局部区域一致性对应方法，具体包括：

(1)对参考图像进行区域分割，得到第一分割区域对待校正图像进行区域分割，得到第二分割区域其中，n为第一分割子区域的个数，m为第二分割子区域的个数，且m小于n；

(2)提取参考图像的匹配特征点X^src和待校正图像的匹配特征点X^tgt，并对其优化得到鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′；

(3)根据待校正图像的鲁棒匹配对应点X^tgt′，对第二分割子区域进行区域合并操作，得到预处理第二分割区域；

(4)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以预处理第二分割子区域为基准，对第一分割子区域进行区域合并操作，得到预处理第一分割区域；

(5)根据参考图像的鲁棒匹配对应点X^src′，对预处理第一分割子区域进行区域合并操作，得到优化第一分割区域；

(6)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以优化第一分割子区域为基准，对预处理第二分割子区域进行区域合并操作，得到优化第二分割区域；

(7)根据鲁棒匹配对应点X^src′，鲁棒匹配对应点X^tgt′，获取优化第一分割子区域和优化第二分割子区域的一一对应关系，并记录一致性区域对应标签。

在步骤(1)中，利用均值漂移图像分割方法对输入的待校正图像与参考图像进行区域分割，使两幅图像依照颜色被分割成小区域；通过调整分割中的空间参数，参考图像按照正常粒度进行分割，得到第一分割区域待校正图像按照比参考图像更小粒度进行分割，得到第二分割区域

在步骤(1)中，第一分割区域由n个互不相同的第一分割子区域组成；第二分割区域由m个互不相同的第二分割子区域组成。

步骤(2)包括以下步骤：

(2-1)利用尺度不变特征变换方法提取参考图像的特征点与待校正图像的特征点，并对两图像的特征点进行匹配，得到参考图像的匹配特征点X^src和待校正图像的匹配特征点X^tgt；

(2-2)根据对极几何原理对匹配特征点X^src与匹配特征点X^tgt进行筛选，将不满足对极几何约束的匹配特征点X^src与匹配特征点X^tgt剔除，剩下的为鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，对极几何约束公式为：

(X^src)^TFX^tgt＝0

其中，F是根据RANSAC(Random Sample Consensus)方法估计的基础矩阵。

在步骤(2-2)中，根据对极几何的原理对匹配特征点进行正确性指导，删除错误的匹配特征点，保证了匹配特征点的正确性，即得到的鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′是可信度较高的匹配特征点。

在步骤(3)中，根据待校正图像的鲁棒匹配对应点X^tgt′，对第二分割子区域进行区域合并操作的具体步骤为：

(3-1)对所有的第二分割子区域进行筛选，并将鲁棒匹配对应点X^tgt′的个数小于门限值的第二分割子区域命名为第二无效子区域；

(3-2)找到第二无效子区域的第二二阶邻域区域集合；

(3-3)在第二二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^tgt′的个数大于门限值，且位置空间与颜色与该第二无效子区域都最为相近一个第二分割子区域，并将其命名为第二目标区域；

(3-4)将该第二无效子区域合并到寻找到的第二目标区域中，此时第二分割区域命名为预处理第二分割区域。

在步骤(3-1)中，所述的门限值为鲁棒匹配对应点的个数，根据实际应用自行设置大小。

通过步骤(3)操作，使得合并后的每个第二分割子区域都包含门限值以上个数的鲁棒匹配对应点X^tgt′，保证点对应转化成区域对应的可靠性。

在步骤(4)中，对第一分割子区域进行区域合并操作的方法为：

当某预处理第二分割子区域中的鲁棒匹配对应点X^tgt′在第一分割子区域中的对应点分布在多个第一分割子区域中时，将这多个第一分割子区域合并成一个，此时的第一分割区域命名为预处理第一分割区域；通过该合并操作，使得每个预处理第二分割子区域能在第一分割子区域中找到唯一确定的对应。

在步骤(5)中，根据参考图像的鲁棒匹配对应点X^src′，对第一分割子区域进行区域合并操作的具体步骤为：

(5-1)对所有预处理第一分割子区域进行筛选，并将鲁棒匹配对应点X^src′的个数小于门限值的预处理第一分割子区域命名为第一无效子区域；

(5-2)找到第一无效子区域的第一二阶邻域区域集合；

(5-3)在第一二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^src′的个数大于门限值，且位置空间与颜色与该第一无效子区域都最为相近一个预处理第一分割子区域，并将其命名为第一目标区域；

(5-4)将该第一无效子区域合并到寻找到的第一目标区域中，并将此时的预处理第一分割区域其被命名为优化第一分割区域。

通过步骤(5)的操作，使得每个优化第一分割子区域都包含门限值以上个数的特征点。

在步骤(6)中，以优化第一分割子区域为基准，对预处理第二分割子区域进行区域合并操作的具体方法为：

当某优化第一分割子区域中的鲁棒匹配对应点在预处理第二分割子区域中的对应点分布在多个预处理第二分割子区域中时，将这多个预处理第二分割子区域合并成一个，此时的预处理第二分割区域被命名为优化第二分割区域；通过该合并操作，使得每个优化第一分割子区域能在优化第二分割子区域中找到唯一确定的对应。

对每一个优化第一分割子区域，以A区域为例，记录其中的鲁棒匹配对应点在优化第二分割子区域中的对应点集，步骤(3)～步骤(6)已经保证这些对应点集属于同一个优化第二分割子区域，假设为B区域，则优化第一分割子区域中的A区域对应优化第二分割子区域中的B区域，记录一致性区域对应标签。

区域对应结束后，能够使得对应区域反映同一场景中同一目标区域。

本发明立体匹配中局部区域一致性对应方法可以用来进行立体匹配图像局部颜色校正，相比于现有的立体匹配中的区域对应方法，具有的优势为：

(1)在进行区域对应之前，根据对极几何原理对匹配特征点进行一个筛选，使得进行区域匹配的匹配特征点可信度更高、更正确。

(2)引进门限值对待校正图像的每个分割区域进行自优化，使每个优化后的待校正图像的分割区域中至少存在阈值以上个匹配特征点，这样能够提高区域对应的精度与速度。

(3)不需提前确定参考图像的分割区域的数量，区域对应过程中，参考图像的分割区域具有自适应性，能够根据门限值进行合并，保证分割区域对应唯一性，进而提高区域对应的精度与速度。

附图说明

图1为本发明对应方法的流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本实施例立体匹配中局部区域一致性对应方法的实施步骤如下：

(1)采用均值漂移分割方法，通过调整分割中的空间参数，对参考图像按照正常粒度进行区域分割，得到第一分割区域对待校正图像按照比参考图像更小粒度进行区域分割，得到第二分割区域其中，m和n为被分割区域的个数，m小于n。

(2)利用尺度不变特征变换方法提取参考图像的特征点与待校正图像的特征点，并对两图像的特征点进行匹配，得到参考图像的匹配特征点X^src和待校正图像的匹配特征点X^tgt。

(3)根据对极几何原理对匹配特征点X^src与匹配特征点X^tgt进行筛选，将不满足对极几何约束的匹配特征点X^src与匹配特征点X^tgt剔除，剩下的为鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，对极几何约束公式为：

(X^src)^TFX^tgt＝0

其中，F是根据RANSAC(Random Sample Consensus)方法估计的基础矩阵；

根据对极几何的原理对匹配特征点进行正确性指导，删除错误的匹配特征点，保证了匹配特征点的正确性。

(4)根据待校正图像的鲁棒匹配对应点X^tgt′，对第二分割子区域进行区域合并操作，得到预处理第二分割区域：

(4-1)对所有的第二分割子区域进行筛选，并将鲁棒匹配对应点X^tgt′的个数小于门限值的第二分割子区域命名为第二无效子区域；

(4-2)找到第二无效子区域的第二二阶邻域区域集合；

(4-3)在第二二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^tgt′的个数大于门限值，且位置空间与颜色与该第二无效子区域都最为相近一个第二分割子区域，并将其命名为第二目标区域；

(4-4)将该第二无效子区域合并到寻找到的第二目标区域中，此时第二分割区域命名为预处理第二分割区域。

通过步骤(4)操作，使得合并后的每个第二分割子区域都包含门限值以上个数的鲁棒匹配对应点X^tgt′，保证点对应转化成区域对应的可靠性。

(5)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以预处理第二分割子区域为基准，对第一分割子区域进行区域合并操作，得到预处理第一分割区域：

当某预处理第二分割子区域中的鲁棒匹配对应点X^tgt′在第一分割子区域中的对应点分布在多个第一分割子区域中时，将这多个第一分割子区域合并成一个，此时的第一分割区域命名为预处理第一分割区域；通过该合并操作，使得每个预处理第二分割子区域能在第一分割子区域中找到唯一确定的对应。

(6)根据参考图像的鲁棒匹配对应点X^src′，对预处理第一分割子区域进行区域合并操作，得到优化第一分割区域：

(6-1)对所有预处理第一分割子区域进行筛选，并将鲁棒匹配对应点X^src′的个数小于门限值的预处理第一分割子区域命名为第一无效子区域；

(6-2)找到第一无效子区域的第一二阶邻域区域集合；

(6-3)在第一二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^src′的个数大于门限值，且位置空间与颜色与该第一无效子区域都最为相近一个预处理第一分割子区域，并将其命名为第一目标区域；

(6-4)将该第一无效子区域合并到寻找到的第一目标区域中，并将此时的预处理第一分割区域其被命名为优化第一分割区域。

通过步骤(6)的操作，使得每个优化第一分割子区域都包含门限值以上个数的特征点。

(7)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以优化第一分割子区域为基准，对预处理第二分割子区域进行区域合并操作，得到优化第二分割区域：

当某优化第一分割子区域中的鲁棒匹配对应点在预处理第二分割子区域中的对应点分布在多个预处理第二分割子区域中时，将这多个预处理第二分割子区域合并成一个，此时的预处理第二分割区域被命名为优化第二分割区域；通过该合并操作，使得每个优化第一分割子区域能在优化第二分割子区域中找到唯一确定的对应。

(8)根据鲁棒匹配对应点X^src′，鲁棒匹配对应点X^tgt′，获取优化第一分割子区域和优化第二分割子区域的一一对应关系，并记录一致性区域对应标签。

对每一个优化第一分割子区域，以A区域为例，记录其中的鲁棒匹配对应点在优化第二分割子区域中的对应点集，步骤(3)～步骤(6)已经保证这些对应点集属于同一个优化第二分割子区域，假设为B区域，则优化第一分割子区域中的A区域对应优化第二分割子区域中的B区域，记录一致性区域对应标签。

区域对应结束后，能够使得对应区域反映同一场景中同一目标区域。

采用现有的图像匹配方法与本发明的对应方法，同时对立体匹配图像对进行区域对应，相比于现有的区域对应方法，本发明的区域对应方法能够减小区域对应误差，提升颜色校正的精度。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种立体匹配中局部区域一致性对应方法，具体包括：

(1)对参考图像进行区域分割，得到第一分割区域对待校正图像进行区域分割，得到第二分割区域其中，n为第一分割子区域的个数，m为第二分割子区域的个数，且m小于n；

(2)提取参考图像的匹配特征点X^src和待校正图像的匹配特征点X^tgt，并对其优化得到鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′；

(3)根据待校正图像的鲁棒匹配对应点X^tgt′，对第二分割子区域进行区域合并操作，得到预处理第二分割区域，具体包括：

(3-1)对所有的第二分割子区域进行筛选，并将鲁棒匹配对应点X^tgt′的个数小于门限值的第二分割子区域命名为第二无效子区域；

(3-2)找到第二无效子区域的第二二阶邻域区域集合；

(3-3)在第二二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^tgt′的个数大于门限值，且位置空间与颜色与该第二无效子区域都最为相近一个第二分割子区域，并将其命名为第二目标区域；

(3-4)将该第二无效子区域合并到寻找到的第二目标区域中，此时第二分割区域命名为预处理第二分割区域；

(4)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以预处理第二分割子区域为基准，对第一分割子区域进行区域合并操作，得到预处理第一分割区域，具体包括：

当某预处理第二分割子区域中的鲁棒匹配对应点X^tgt′在第一分割子区域中的对应点分布在多个第一分割子区域中时，将这多个第一分割子区域合并成一个，此时的第一分割区域命名为预处理第一分割区域；

(5)根据参考图像的鲁棒匹配对应点X^src′，对预处理第一分割子区域进行区域合并操作，得到优化第一分割区域，具体包括：

(5-1)对所有预处理第一分割子区域进行筛选，并将鲁棒匹配对应点X^src′的个数小于门限值的预处理第一分割子区域命名为第一无效子区域；

(5-2)找到第一无效子区域的第一二阶邻域区域集合；

(5-3)在第一二阶邻域区域集合中，找到一个满足鲁棒匹配对应点X^src′的个数大于门限值，且位置空间与颜色与该第一无效子区域都最为相近一个预处理第一分割子区域，并将其命名为第一目标区域；

(5-4)将该第一无效子区域合并到寻找到的第一目标区域中，并将此时的预处理第一分割区域其被命名为优化第一分割区域；

(6)根据鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，以优化第一分割子区域为基准，对预处理第二分割子区域进行区域合并操作，得到优化第二分割区域，具体包括：

当某优化第一分割子区域中的鲁棒匹配对应点在预处理第二分割子区域中的对应点分布在多个预处理第二分割子区域中时，将这多个预处理第二分割子区域合并成一个，此时的预处理第二分割区域被命名为优化第二分割区域；

(7)根据鲁棒匹配对应点X^src′，鲁棒匹配对应点X^tgt′，获取优化第一分割子区域和优化第二分割子区域的一一对应关系，并记录一致性区域对应标签。

2.根据权利要求1所述立体匹配中局部区域一致性对应方法，其特征在于：在步骤(1)中，所述的区域分割方法为均值漂移图像分割方法。

3.根据权利要求1所述立体匹配中局部区域一致性对应方法，其特征在于：步骤(2)包括以下步骤：

(2-1)利用尺度不变特征变换方法提取参考图像的特征点与待校正图像的特征点，并对两图像的特征点进行匹配，得到参考图像的匹配特征点X^src和待校正图像的匹配特征点X^tgt；

(2-2)根据对极几何原理对匹配特征点X^src与匹配特征点X^tgt进行筛选，将不满足对极几何约束的匹配特征点X^src与匹配特征点X^tgt剔除，剩下的为鲁棒匹配对应点X^src′和鲁棒匹配对应点X^tgt′，对极几何约束公式为：

(X^src)^TFX^tgt＝0

其中，F是根据RANSAC方法估计的基础矩阵。