CN108305280B - 一种双目图像基于最小生成树的立体匹配方法及系统 - Google Patents

Abstract

一种双目图像基于最小生成树的立体匹配方法、系统和计算机可读存储介质，引入了像素点的匹配代价矢量特征，在构造最小生成树的过程中，最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征的距离所定义，基于此，完成最终的最小生成树的构造；本发明可以有效解决立体匹配时发生误匹配的问题，提高了立体匹配的精确度。

Description

一种双目图像基于最小生成树的立体匹配方法及系统

技术领域

本发明涉及双目立体视觉领域，具体涉及一种双目图像基于最小生成树的立体匹配方法及系统。

背景技术

双目立体视觉系统是一个根据获取的平面图像恢复3D图像的系统。场景中的光线在人眼这个精密的成像系统中被采集，通过神经中枢被送入包含有数以亿计的神经元的大脑中被并行的处理，得到了实时的高清晰度的准确的深度感觉信息。这使得人类对环境的适应能力大大提高，很多复杂的动作能够得以完成：如行走、体育运动、驾驶车辆以及进行科学实验等。

计算机视觉是一门研究使用计算机来模拟人的视觉系统的学科。当前计算机立体视觉的水平与人类的双目视觉水平还相距甚远，因此对它的研究仍然是一个非常活跃的领域。以双目立体视觉为例，它是计算机视觉领域的重要分支，它通过模拟人的视觉系统来处理现实世界，对于立体视觉匹配的研究，能够大大的增强计算机或机器人对环境的感知能力，使得机器人能够更好的适应环境、更加智能，从而能够更好的为人们服务。双目立体视觉中最重要但又非常困难的问题就是立体视觉匹配问题，即从不同视点图像中找到匹配的对应点。

发明内容

针对上述问题，本申请提供一种双目图像基于最小生成树的立体匹配方法及系统。

根据第一方面，一种实施例中提供一种双目图像基于最小生成树的立体匹配方法，包括：

计算每个像素点(x,y)的匹配代价矢量特征，包括：计算该像素点(x,y)和另一幅图像中若干像素点的距离c(x,y,d)＝|I₁(x,y)-I₂(x-d,y)|；其中d∈S_d＝{d_min,...,d_max}，为所有可能的视差的集合，I₁(x,y)为像素点(x,y)的属性，I₂(x-d,y)为另一幅图像中像素点(x-d,y)的属性；根据计算得到的距离c(x,y,d)构造像素点(x,y)的匹配代价矢量特征feature_vector(x,y)；

构造最小生成树，其中最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征的距离所定义；

根据所构造的最小生成树，对每个像素点进行匹配代价聚合；

基于每个像素点的匹配代价聚合，计算该像素点的视差。

在一实施例中，像素点的属性包括颜色强度属性、灰度强度属性和/或梯度属性。

在一实施例中，根据距离c(x,y,d)构造的像素点(x,y)的匹配代价矢量特征：

feature_vector(x,y)＝[c(x,y,d_min),...,c(x,y,d_max)]。

在一实施例中，根据距离c(x,y,d)构造的像素点(x,y)的匹配代价矢量特征：

feature_vector(x,y)＝[e(x,y,d_min),...,e(x,y,d_max)]；

其中，

或者，

σ为预设的常数，

在一实施例中，所述最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征所定义，包括：最小生成树的边的权重由连接该边的两个像素点的匹配代价矢量特征的距离所定义。

在一实施例中，所述最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征所定义，包括：最小生成树的的边的权重由连接该边的两个像素点的匹配代价矢量特征的距离，以及颜色距离、灰度距离、几何距离、梯度差中一者或多者，所共同定义。

在一实施例中，所述立体匹配方法还包括基于所述最小生成树，对计算得到的视差进行优化

根据第二方面，一种实施例提供一种双目图像基于最小生成树的立体匹配系统，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现上述任一实施例所述的方法。

根据第三方面，一种实施例提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述任一实施例所述的方法。

依据上述实施例的双目图像基于最小生成树的立体匹配方法、系统和计算机可读存储介质，引入了像素点的匹配代价矢量特征，在构造最小生成树的过程中，最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征的距离所定义，基于此，完成最终的最小生成树的构造；本发明可以有效解决立体匹配时发生误匹配的问题，提高了立体匹配的精确度。

附图说明

图1为一种实施例的双目图像基于最小生成树的立体匹配方法的流程图；

图2为另一种实施例的双目图像基于最小生成树的立体匹配方法的流程图。

图3为一种实施例的双目图像基于最小生成树的立体匹配系统的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

在双目视觉的立体匹配中，一个关键问题是寻找在左右图像中的匹配点，以得到两幅图像中对应像素的水平位置差，也称之为视差，从而进一步可以计算出该像素点的深度。

不在同一深度的像素点，完全可能有相同的颜色、纹理和梯度等，所以这常常会导致立体匹配时发生错配，从而进一步导致视差计算出现较大的错误，大大影响了双目视觉在深度测量中的应用。为了克服这一点，在现有的双目图像的立体匹配方法中，一般会采用像素点周边区域的像素点来估计该像素点，例如用一个矩形区域，用自适应生长的区域，还有用最小生成树等等，但这些方法中，对像素的匹配代价的加权仍然只能采用上面的颜色、纹理和梯度等与视差没有直接关系的特征来计算，因此这些方法还有较大的不鲁棒性。

立体匹配大致可以分为局部匹配算法、半全局匹配算法和全局匹配算法。针对全局匹配算法，Q.Yang等人提出了一种非局部代价聚合(NLCA)算法，其依赖于执行基于树结构的滤波。NLCA算法基于树结构而非基于像局部匹配算法中的支持窗来进行代价聚合。在NLCA算法中，图像中的每一个像素点都和树的节点一一对应，树的边的权重由连接该边的两个像素点的颜色距离来定义。在NLCA算法，十分关键的一步在于构造最小生成树(MST，minimum spanning tree)。在最小生成树构造好后，就可以基于最小生成树对每个像素点进行代价聚合以及进一步的视差计算。

本发明对NLCA算法进行了改进，引入了像素点的匹配代价矢量特征的概念，在构造最小生成树的过程中，最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征的距离所定义，基于此，完成最终的最小生成树的构造，具体地，可以单独由连接该边的两个像素点的匹配代价矢量特征的距离来定义该边的权重，也可以由连接该边的两个像素点的匹配代价矢量特征的距离，联合颜色距离、灰度距离、几何距离、梯度差中一者或多者，来共同定义边的权重。本发明可以有效解决立体匹配时发生误匹配的问题，提高了立体匹配的精确度。下面具体说明。

请参照图1，本发明一实施例中提供一种双目图像基于最小生成树的立体匹配方法，包括步骤S4100～S4400。

步骤S4100：计算每个像素点(x,y)的匹配代价矢量特征，包括：计算该像素点(x,y)和另一幅图像中若干像素点的距离c(x,y,d)＝|I₁(x,y)-I₂(x-d,y)|；其中d∈S_d＝{d_min,...,d_max}，为所有可能的视差的集合，I₁(x,y)为像素点(x,y)的属性，I₂(x-d,y)为另一幅图像中像素点(x-d,y)的属性；根据计算得到的距离c(x,y,d)构造像素点(x,y)的匹配代价矢量特征feature_vector(x,y)。在一实施例中，像素点的属性包括颜色强度属性、灰度强度属性和/或梯度属性。当用于计算像素点的距离包括多个属性时，例如包括像素点的颜色强度和梯度时，则在计算两个点的距离时，可以计算这两个点的颜色差值以及梯度差值，再相加或加权平均得到距离。下面举一个例子，以只考虑颜色强度属性为例：

c(x,y,d)

＝|I₁(x,y)-I₂(x-d,y)|

＝|I_1R(x,y)-I_2R(x-d,y)|+|I_1G(x,y)-I_2G(x-d,y)|+|I_1B(x,y)-I_2B(x-d,y)|；

其中I_1R(x,y)、I_1G(x,y)、I_1B(x,y)分别表示在上述的一幅图像中像素点(x,y)在RGB颜色空间的R、G、B分量，I_2R(x-d,y)、I_2G(x-d,y)、I_2B(x-d,y)分别表示在上述的另一幅图像中像素点(x-d,y)在RGB颜色空间的R、G、B分量；当然当只考虑颜色属性时，类似地也可以用CIELab颜色空间来计算，在此不再赘述。

根据计算得到的差距c(x,y,d)构造像素点(x,y)的匹配代价矢量特征feature_vector(x,y)。本发明一实施例中将feature_vector(x,y)定义为像素点(x,y)的一个基本特征，经发明人研究发现，两个处于同一深度的像素点，通常它们的匹配代价矢量特征也比较相近，反过来，如果两个像素点在不同深度，那么它们的匹配代价矢量特征也会相差比较大，因此将feature_vector(x,y)定义为像素点(x,y)的匹配代价矢量特征是非常具有价值的，可以有效解决立体匹配时发生错配的问题，提高了立体匹配的精确度。在一实施例中，根据距离c(x,y,d)构造的像素点(x,y)的匹配代价矢量特征：feature_vector(x,y)＝[c(x,y,d_min),...,c(x,y,d_max)]。

由于像素点(x,y)的匹配代价矢量特征feature_vector(x,y)通常只在其使c(x,y,d)达到最小的d的取值的附近才会比较小，其他地方则存在较大的不确定性，因此在一实施例中，可以将差距c(x,y,d)进行了一个转换后再来构造匹配代价矢量特征feature_vector(x,y)，这样可以突出最小值附近特性。因此，在一实施例中，为了突出最小值附件的值的特性，并且让较大的匹配代价值迅速趋向于零，我们令

或者，

σ为预设的常数，用于控制预制较大误差走向于零的幅度，

因此根据差距c(x,y,d)构造的像素点(x,y)的匹配代价矢量特征：

feature_vector(x,y)＝[e(x,y,0),e(x,y,1),e(x,y,2),...,e(x,y,N)]。

步骤S4200：构造最小生成树，其中最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征的距离所定义。在一实施例中，最小生成树的边的权重由连接该边的两个像素点的匹配代价矢量特征的距离所定义。在一实施例中，最小生成树的的边的权重由连接该边的两个像素点的匹配代价矢量特征的距离，以及颜色距离、灰度距离、几何距离、梯度差中一者或多者，所共同定义。

例如，对于任意两个像素点(x,y)、(x′,y′)的匹配代价矢量特征的距离可以是它们的匹配代价矢量特征的差或差的平方，不妨以差为例：

Δf_{(x,y)(x′,y′)}＝|feature_vector(x,y)-feature_vector(x′,y′)|。

任意两个像素点(x,y)、(x′,y′)的权重则可以通过Δf_{(x,y)(x′,y′)}来定义，例如两者的权重w(x,y,x′,y′)＝Δf_{(x,y)(x′,y′)}；当然也可以稍微变换一下

其中σ1为一个用于调节的参数，为常量。

而两个像素点(x,y)、(x′,y′)的颜色距离可以通过现有的方式计算，例如可以通过下式计算：

Δc_{(x,y)(x′,y′)}＝|I_R(x,y)-I_R(x′,y′)|+|I_G(x,y)-I_G(x′,y′)|+|I_B(x,y)-I_B(x′,y′)|；

其中，对于任意一像素点(x,y)，I_R(x,y)、I_G(x,y)、I_B(x,y)分别表示该像素点(x,y)在RGB颜色空间上R分量、G分量、B分量。

两个像素点(x,y)、(x′,y′)的几何距离也可以通过现有的方式计算，例如可以通过下式计算：

而两个像素点(x,y)、(x′,y′)的梯度差也可以通过现有的方式计算，例如可以通过下式计算：

Δgr_{(x,y)(x′,y′)}＝|gr_x(x,y)-gr_x(x′,y′)|+|gr_y(x,y)-gr_y(x′,y′)|；

其中对于任意一像素点(x,y)，gr_x(x,y)、gr_y(x,y)分别表示其沿x轴方向的梯度和沿y轴方向的梯度。

当权重由多者共同定义时，可以由它们进行加权平均来计算。例如：

w(x,y,x′,y′)＝μ₁Δf_{(x,y)(x′,y′)}+μ₂Δc_{(x,y)(x′,y′)}+μ₃Δg_{(x,y)(x′,y′)}+μ₄Δgr_{(x,y)(x′,y′)}；

μ₁、μ₂、μ₃、μ₄为常量，可以预先设置，例如将它们都设置为1/4。

当然也可以根据需求稍微变换一下：

σ1、σ2、σ3、σ4为用于调节的参数，为常量。

在一实施例中，构造最小生树，可以是将输入图像中的每一个像素点当作一个节点利用Kruskal算法生成最小生成树。

步骤S4300：根据所构造的最小生成树，对每个像素点进行匹配代价聚合。基于最小生成树进行匹配代价聚合，可以采用现有的方法，在此不再赘述。

步骤S4400：基于每个像素点的匹配代价聚合，计算该像素点的视差。基于匹配代价聚合，计算视差，也可以采用现有的方法，在此不再赘述。

在一实施例中，例如图2，本发明还可以包括步骤S4500：基于上述最小生成树，对计算得到的视差进行优化。基于最小生成树对计算得到的视差进行优化，也可以采用现有的方法，在此不再赘述。

请参照图3，本发明还公开了一种双目图像基于最小生成树的立体匹配系统，其包括存储器4100和处理器4200，存储器4100用于存储程序，处理器4200用于通过执行存储器4100存储的程序以实现本发明任一实施例所公开的双目图像基于最小生成树的立体匹配。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (7)

1.一种双目图像基于最小生成树的立体匹配方法,其特征在于，包括：

计算每个像素点(x,y)的匹配代价矢量特征，包括：计算该像素点(x,y)和另一幅图像中若干像素点的距离c(x,y,d)＝|I₁(x,y)-I₂(x-d,y)|；其中d∈S_d＝{d_min,...,d_max}，为所有可能的视差的集合，I₁(x,y)为像素点(x,y)的属性，I₂(x-d,y)为另一幅图像中像素点(x-d,y)的属性；根据计算得到的距离c(x,y,d)构造像素点(x,y)的匹配代价矢量特征feature_vector(x,y)；其中，根据距离c(x,y,d)构造的像素点(x,y)的匹配代价矢量特征：feature_vector(x,y)＝[c(x,y,d_min),...,c(x,y,d_max)]，或者，feature_vector(x,y)＝[e(x,y,d_min),...,e(x,y,d_max)]；其中，

或者，

σ为预设的常数，

构造最小生成树，其中最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征的距离所定义；

根据所构造的最小生成树，对每个像素点进行匹配代价聚合；

基于每个像素点的匹配代价聚合，计算该像素点的视差。

2.如权利要求1所述的立体匹配方法，其特征在于，像素点的属性包括颜色强度属性、灰度强度属性和/或梯度属性。

3.如权利要求1所述的立体匹配方法，其特征在于，所述最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征所定义，包括：最小生成树的边的权重由连接该边的两个像素点的匹配代价矢量特征的距离所定义。

4.如权利要求1所述的立体匹配方法，其特征在于，所述最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征所定义，包括：最小生成树的的边的权重由连接该边的两个像素点的匹配代价矢量特征的距离，以及颜色距离、灰度距离、几何距离、梯度差中一者或多者，所共同定义。

5.如权利要求1所述的立体匹配方法，其特征在于，还包括基于所述最小生成树，对计算得到的视差进行优化。

6.一种双目图像基于最小生成树的立体匹配系统，其特征在于，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如权利要求1到5中任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1到5中任一项所述的方法。

Images