CN102385752A - 一种基于距离和色彩差异的立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于距离和色彩差异的立体匹配方法，其中计算一个视差值下当前匹配对的匹配代价的步骤具体为：1）构建支持窗口；2）分层步骤；3）分别确定左图中k层像素层的距离权重和右图中k层像素层的距离权重；4）分别确定左图中k层像素层的色彩权重和右图中k层像素层的色彩权重；5）确定当前视差值下（wsize²-1）个周围像素匹配对在RGB空间的差异值；6）根据距离权重、色彩权重和差异值计算得到当前匹配对p、q的匹配代价。本发明的基于距离和色彩差异的立体匹配方法，以层为单位计算相关权重的值，相对于每一个像素单独计算而言，计算量减小。且同时考虑了距离权重的影响和色彩差异的影响，从而使得最终得到的视差值结果较精确。

Description

一种基于距离和色彩差异的立体匹配方法

技术领域

本发明涉及计算机视觉领域中的立体匹配方法，特别是涉及一种基于距离和色彩差异的立体匹配方法。

背景技术

立体匹配技术，是指针对同一景物从不同视点拍摄的图片，找到图片像素点之间的对应关系。立体匹配是目前计算机视觉研究中的一个难点和热点，在许多计算机视觉领域中，如三维重构（3D reconstruction）、基于图像的绘制（Image Based Rendering），低空突防、机器人导航、虚拟现实等方面都有着广泛的应用。

立体匹配方法即是要计算待处理的左图像中每一像素点的视差值，根据计算的视差值在相应的右图像中确定左图像中每一像素点的匹配像素点。现有的立体匹配方法主要有两种，即全局立体匹配方法和区域立体匹配方法（A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms）。全局立体匹配方法有很高的准确性，但是计算量比较大。相对而言，区域立体匹配方法简单，计算量较低，但是准确性相对较低。

设定左图像中当前待匹配的像素点为p，坐标为（x，y），视差值为d，则右图像中对应的匹配像素点q，坐标为（x+d，y）。区域立体匹配方法中，一般是先设定一个视差值取值范围drange的大小，然后依次取视差值d为取值范围中的值0，1，2，……，drange，计算在各视差值下当前匹配对p、q的匹配代价，最后比较各视差值下的匹配代价，确定匹配代价最小时对应的视差值作为左图像中当前待匹配的像素点p的视差值，重复上述步骤从而计算出左图像中每一个像素点的视差。从上述步骤中可知，匹配方法中如果每一次确定匹配代价时需要的计算量小，精确度高，则匹配方法的计算量就小，最终得到的视差值也较精确。然而，现有的区域立体匹配方法中，计算匹配代价时，对支持窗口中每一个像素的影响因子均是单独计算，使得计算量非常大，甚至超过了一些全局立体匹配算法。同时考虑的影响因子均是单一的距离影响因子，或者色彩影响因子，计算匹配代价时考虑的信息较少，使得精确度也不高。

发明内容

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种基于距离和色彩差异的立体匹配方法，计算量较小，同时得到的视差值结果也较精确。

本发明的技术问题通过以下的技术方案予以解决：

一种基于距离和色彩差异的立体匹配方法，用于确定出左图中当前待匹配像素点p在右图中的对应匹配像素点q，构造当前匹配对p、q；包括以下步骤：计算取视差值取值范围内的各视差值时当前匹配对的匹配代价，比较各视差值下的匹配代价，确定匹配代价最小时对应的视差值作为当前匹配对中左图中当前待匹配的像素点p的视差值；其中，计算一个视差值下当前匹配对的匹配代价的步骤具体为：1）构建支持窗口：在左图中构建以当前待匹配的像素点p为中心，边长为wsize的正方形支持窗口；在右图中构建以对应匹配的像素点q为中心，边长为wsize的正方形支持窗口；其中，正方形支持窗口边长wsize的大小由用户根据待处理的左图的图像大小进行设定，为奇数；2）分层步骤：在所述左图支持窗口中，将像素点p周围的像素划分为k层由内至外包围中心像素点p的正方形的像素层；在所述右图支持窗口中，将像素点q周围的像素划分为k层由内至外包围中心像素点q的正方形的像素层；其中，分层得到的像素层数k=                                                

（wsize-1）；3）分别确定左图中k层像素层的距离权重W1_s1 、W1_s2、……、W1_sm、……、W1_sk和右图中k层像素层的距离权重W2_s1 、W2_s2、……、W2_sm、……、W2_sk；4）分别确定左图中k层像素层的色彩权重W1_c1 、W1_c2、……、W1_cm、……、W1_ck和右图中k层像素层的色彩权重W2_c1 、W2_c2、……、W2_cm、……、W2_ck；5）确定当前视差值下由左图支持窗口中的中心像素点p周围的（wsize²-1）个周围像素点p_i与对应的右图中的中心像素点q周围的（wsize²-1）个周围像素点q_i构成的（wsize²-1）个周围像素匹配对p_i、q_i在RGB空间的差异值e（p_i，q_i）；6）根据步骤3得到的距离权重、步骤4得到的色彩权重和步骤5得到的差异值计算得到当前匹配对p、q的匹配代价。

本发明与现有技术对比的有益效果是：

本发明的基于距离和色彩差异的立体匹配方法，计算匹配代价时将支持窗口中的周围像素分层划分，设定支持窗口中的每一层像素都有相同的权重值，从而以层为单位计算相关权重的值，相对于每一个像素单独计算而言，计算量减小。同时，本发明计算匹配代价时，同时考虑了距离权重的影响和色彩差异的影响，利用的左右图像中的信息较多，从而使得最终得到的视差值结果较精确。

附图说明

图1是本发明具体实施方式中的立体匹配方法中计算匹配代价的流程图；

图2是本发明具体实施方式中的左右图分层划分后的示意图。 

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

一种基于距离和色彩差异的立体匹配方法，用于确定出左图中当前待匹配像素点p在右图中的对应匹配像素点q，构造当前匹配对p、q。基本构思也是基于区域立体匹配方法，包括计算取视差值取值范围内的各视差值时当前匹配对的匹配代价，比较各视差值下的匹配代价，确定匹配代价最小时对应的视差值作为当前匹配对中左图中当前待匹配的像素点p的视差值。本具体实施方式的立体匹配方法中，每一次计算一个视差值下当前匹配对p、q的匹配代价的步骤流程图如图1所示，为：

U1）构建支持窗口：在左图中构建以当前待匹配的像素点p为中心，边长为wsize的正方形支持窗口；在右图中构建以对应匹配的像素点q为中心，边长为wsize的正方形支持窗口。其中，正方形支持窗口边长wsize的大小由用户根据待处理的左图的图像大小进行设定，为奇数。一般支持窗口边长wsize的取值较小，同时为便于后续分层，所以一般设为奇数，本具体实施方式中取wsize=7。

U2）分层步骤：在所述左图P的支持窗口中，将像素点p周围的像素划分为k层由内至外包围中心像素点p的正方形的像素层；在所述右图Q的支持窗口中，将像素点q周围的像素划分为k层由内至外包围中心像素点q的正方形的像素层，分层得到的像素层数k=

（wsize-1）。

本具体实施方式中，左右图分层后的示意图如图2所示，由于支持窗口边长wsize=7，因此分层后得到k=

（wsize-1）=

（7-1）=3层，即左图中最内层P1，中间层P2和最外层P3，右图中最内层Q1，中间层Q2和最外层Q3。设定中心像素点的左标为（x，y），则最内的第一层像素层P1，Q1有八个像素分别为：(x,y+1)，(x,y-1) ，(x-1,y+1) ，(x-1,y-1) ，(x+1,y+1) ，(x+1,y-1) ，(x+1,y) ，(x-1,y)。依次可知中间的第二层像素层P2，Q2有十六个像素，最外的第三层像素层P3，Q3有二十四个像素。

U3）分别确定左图中k层像素层的距离权重W1_s1 、W1_s2、……、W1_sm、……、W1_sk和右图中k层像素层的距离权重W2_s1 、W2_s2、……、W2_sm、……、W2_sk。

本具体实施方式中，依据公式1计算得到第m层像素层的距离权重W_sm。公式1为：

其中，R_m表示第m层像素层与相应的中心像素点的距离值，R_m=m×r；m表示像素层的序号，最内一层的像素层的m取1，最外一层的像素层的m取k；r为设定的两个相邻像素之间的水平距离或垂直距离，为简化计算，设置r=1；

为设定的常数值。

具体地，如图2所示的左图和右图分层划分后的示意图，当计算左图中最内层的像素层P1的距离权重W1_s1时，即是m=1，r=1，得到R_m=m×r=1，带入上述公式1即得到左图中第一层的像素层P1的距离权重W1_s1；计算左图中中间层的像素层P2的距离权重W1_s2时，即是m=2，r=1，R_m=m×r=2，带入上述公式1即得到左图中第二层的像素层P2的距离权重W1_s2。同理，可得到第三层的像素层P3的距离权重W1_s3。

同上，当计算右图中最内层的像素层Q1的距离权重W2_s1时，也是m=1，r=1，得到R_m=m×r=1，带入上述公式1即得到右图中第一层的像素层Q1的距离权重W2_s1，同理可得到右图中第二层的像素层Q2的距离权重W2_s2，右图中第三层的像素层Q3的距离权重W2_s3。

U4）分别确定左图中k层像素层的色彩权重W1_c1 、W1_c2、……、W1_cm、……、W1_ck和右图中k层像素层的色彩权重W2_c1 、W2_c2、……、W2_cm、……、W2_ck。

本具体实施方式中，依据公式2计算得到第m层像素层的色彩权重W_cm。公式2为：

其中，L_m，a_m，b_m分别为第m层像素层中所有像素在CIELab空间的L分量的平均值，a分量的平均值，b分量的平均值；L，a，b分别为相应的中心像素点在CIELab空间的L分量，a分量，b分量；为设定的常数值。按照公式2计算色彩权重，使用的是每一层像素在CIELab空间各分量的平均值，这在一定程度上也会减小干扰的影响，可以得到较为精确的结果。

具体地，仍然如图2所示的左图和右图分层划分后的示意图，当计算左图中最内层的像素层P1的色彩权重W1_c1时，像素层P1包括8个像素，此时公式2中的L₁即为这8个像素在CIELab空间的L分量的加和后除以8，a₁即为8个像素在CIELab空间的a分量的加和后除以8，b₁即为8个像素在CIELab空间的b分量的加和后除以8。同理，计算左图中像素层P2的色彩权重W1_c2时，以像素层P2包括的16个像素，各分量加和后除以16分别得到公式2中L分量的平均值L₂，a分量的平均值a₂，b分量的平均值b₂。计算左图中像素层P3的色彩权重W1_c3时，以像素层P3包括的24个像素，各分量加和后除以24分别得到公式2中L分量的平均值L₃，a分量的平均值a₃，b分量的平均值b₃。而此时相应的中心像素点为像素点p，则公式2中L，a，b分别为中心像素点p在CIELab空间的L分量，a分量，b分量。将上述相应参数带入公式2中即分别计算得到左图中最内层的像素层P1的色彩权重W1_c1，中间层的像素层P2的色彩权重W1_c2，最外层的像素层P3的色彩权重W1_c3。

同上，当计算右图中最内层的像素层Q1的色彩权重W2_c1，中间层的像素层Q2的色彩权重W2_c2，最外层的像素层Q3的色彩权重W2_c3时，分别以像素层Q1包含的8个像素各分量加和后除以8得到公式2中的L分量的平均值L₁，a分量的平均值a₁，b分量的平均值b₁，以像素层Q2包含的16个像素各分量加和后除以16得到公式2中的L分量的平均值L₂，a分量的平均值a₂，b分量的平均值b₂，以像素层Q3包含的24个像素各分量加和后除以24得到公式2中的L分量的平均值L₃，a分量的平均值a₃，b分量的平均值b₃。而此时相应的中心像素点为像素点q，则公式2中L，a，b分别为中心像素点q在CIELab空间的L分量，a分量，b分量。将上述相应参数带入公式2中即分别计算得到右图中最内层的像素层Q1的色彩权重W2_c1，中间层的像素层Q2的色彩权重W2_c2，最外层的像素层Q3的色彩权重W2_c3。

U5）确定当前视差值下由左图支持窗口中的中心像素点p周围的（wsize²-1）个周围像素点p_i与对应的右图中的中心像素点q周围的（wsize²-1）个周围像素点q_i构成的（wsize²-1）个周围像素匹配对p_i、q_i在RGB空间的差异值e（p_i，q_i）。

本具体实施方式中，依据公式3计算得到第i对周围像素匹配对p_i、q_i的差异值e（p_i，q_i），公式3为：

其中，Rp_i，Gp_i，Bp_i分别为周围像素点p_i的RGB空间的R分量，G分量和B分量；Rq_i，Gq_i，Bq_i分别为周围像素点q_i的RGB空间的R分量，G分量和B分量。i取1至（wsize²-1）的正整数，分别表示支持窗口中（wsize²-1）个周围像素点。

具体地，仍然如图2所示的左图和右图分层划分后的示意图，当计算周围像素匹配对p₁、q₁在RGB空间的差异值e（p₁，q₁）时，即将周围像素点p₁的RGB空间的R分量Rp₁，G分量Gp₁和B分量Bp₁，周围像素点q₁的RGB空间的Rq₁，G分量Gq₁和B分量Bq₁带入上式进行计算。同理，即可计算得到另外（wsize²-2）个周围像素匹配对p_i、q_i的差异值e（p_i，q_i）。

U6）根据上述步骤U3得到的k层像素层的距离权重、步骤U4得到的k层像素层的色彩权重和步骤U5得到的（wsize²-1）个周围像素匹配对的差异值计算得到当前匹配对p、q的匹配代价。

本具体实施方式中，依据公式4计算得到当前匹配对p、q的匹配代价，公式4为：

其中，W1_s（p_i，p）表示左图中周围像素点p_i所在像素层的距离权重，W1_c（p_i，p）表示左图中周围像素点p_i所在像素层的色彩权重，W2_s（q_i，q）表示右图中周围像素点q_i所在像素层的距离权重，W2_c（q_i，q）表示右图中周围像素点q_i所在像素层的色彩权重。

具体地，仍然如图2所示的左图和右图分层划分后的示意图，上式中当i=1时，图2中左图中周围像素点p₁所在像素层为第2层周围像素层P2，右图中周围像素点q₁所在像素层也为第2层周围像素层Q2，则W1_s（p₁，p）即为步骤3中得到的左图第2层像素层P2的距离权重W1_s2 ，W1_c（p₁，p）即为步骤4中得到的左图第2层像素层P2的色彩权重W1_c2，W2_s（q₁，q）即为步骤3中得到的右图第2层像素层Q2的距离权重W2_s2，W2_c（q₁，q）即为步骤4中得到的右图第2层像素层Q2的色彩权重W2_c2。e（p₁，q₁）即为步骤5中得到的周围像素匹配对p₁、q₁在RGB空间的差异值。如此，即将（wsize²-1）个周围像素点带入上式中，从而计算得到当前匹配对p、q的匹配代价。

本具体实施方式中的立体匹配方法，以当前待匹配的左图像素点p、在某一视差值下的右图像素点q为中心，构建支持窗口。在支持窗口中，用中心像素点（例如p）周围的像素（例如p₁、p₂、……、p_i……、p _wsize2-1）与对应中心像素点（例如q）周围的对应像素（例如q₁、q₂、……、q_i……、q _wsize2-1）之间差异值e来衡量当前匹配对的差异程度。而差异值e的权重因子则基于双边滤波思想，取左图中周围像素（例如p₁、p₂、……、p_i……、p _wsize2-1）和中心像素点（例如p）之间的距离差异W1_s，色彩差异W1_c以及右图中周围像素（例如q₁、q₂、……、q_i……、q _wsize2-1）和中心像素点（例如q）之间的距离差异W2_s，色彩差异W2_c来衡量，从而能计算得到当前匹配对p、q的匹配代价。

由于本具体实施方式中计算匹配代价时，将支持窗口中的周围像素分层划分，设定支持窗口中的每一层像素都有相同的权重值，从而以层为单位计算相关权重的值，计算一次则代表一部分，相对于每一个像素单独计算而言，计算量显著减小。同时，本发明计算匹配代价时，同时考虑了距离权重的影响和色彩差异的影响，且同时利用左右图像中的距离信息和色彩信息，利用的信息量多，从而使得最终得到的视差值结果较精确。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于距离和色彩差异的立体匹配方法，用于确定出左图中当前待匹配像素点p在右图中的对应匹配像素点q，构造当前匹配对p、q；包括以下步骤：计算取视差值取值范围内的各视差值时当前匹配对的匹配代价，比较各视差值下的匹配代价，确定匹配代价最小时对应的视差值作为当前匹配对中左图中当前待匹配的像素点p的视差值；其特征在于：计算一个视差值下当前匹配对的匹配代价的步骤具体为：

1）构建支持窗口：在左图中构建以当前待匹配的像素点p为中心，边长为wsize的正方形支持窗口；在右图中构建以对应匹配的像素点q为中心，边长为wsize的正方形支持窗口；其中，正方形支持窗口边长wsize的大小由用户根据待处理的左图的图像大小进行设定，为奇数；

2）分层步骤：在所述左图支持窗口中，将像素点p周围的像素划分为k层由内至外包围中心像素点p的正方形的像素层；在所述右图支持窗口中，将像素点q周围的像素划分为k层由内至外包围中心像素点q的正方形的像素层；其中，分层得到的像素层数k=                                               

（wsize-1）；

3）分别确定左图中k层像素层的距离权重W1_s1 、W1_s2、……、W1_sm、……、W1_sk和右图中k层像素层的距离权重W2_s1 、W2_s2、……、W2_sm、……、W2_sk；

4）分别确定左图中k层像素层的色彩权重W1_c1 、W1_c2、……、W1_cm、……、W1_ck和右图中k层像素层的色彩权重W2_c1 、W2_c2、……、W2_cm、……、W2_ck；

5）确定当前视差值下由左图支持窗口中的中心像素点p周围的（wsize²-1）个周围像素点p_i与对应的右图中的中心像素点q周围的（wsize²-1）个周围像素点q_i构成的（wsize²-1）个周围像素匹配对p_i、q_i在RGB空间的差异值e（p_i，q_i）；

6）根据步骤3得到的距离权重、步骤4得到的色彩权重和步骤5得到的差异值计算得到当前匹配对p、q的匹配代价。

2.根据权利要求1所述的基于距离和色彩差异的立体匹配方法，其特征在于：所述步骤3）中依据公式1计算得到第m层像素层的距离权重W_sm；

其中，公式1为：

；其中，R_m表示第m层像素层与相应的中心像素点的距离值，R_m=m×r；m表示像素层的序号，最内一层的像素层的m取1，最外一层的像素层的m取k；r为设定的两个相邻像素之间的水平距离或垂直距离；

为设定的常数值。

3.根据权利要求2所述的基于距离和色彩差异的立体匹配方法，其特征在于：所述步骤4）中依据公式2计算得到第m层像素层的色彩权重W_cm；

其中，公式2为：；L_m，a_m，b_m分别为第m层像素层中所有像素在CIELab空间的L分量的平均值，a分量的平均值，b分量的平均值；L，a，b分别为相应的中心像素点在CIELab空间的L分量，a分量，b分量；为设定的常数值。

4.根据权利要求3所述的基于距离和色彩差异的立体匹配方法，其特征在于：所述步骤5）中依据公式3计算得到第i对周围像素匹配对p_i、q_i在RGB空间的差异值e（p_i，q_i）；

其中，公式3为：

；Rp_i，Gp_i，Bp_i分别为周围像素点p_i的RGB空间的R分量，G分量和B分量；Rq_i，Gq_i，Bq_i分别为周围像素点q_i的RGB空间的R分量，G分量和B分量；i取1至（wsize²-1）的正整数，分别表示支持窗口中（wsize²-1）个周围像素点。

5.根据权利要求4所述的基于距离和色彩差异的立体匹配方法，其特征在于：所述步骤6）中依据公式4计算得到当前匹配对p、q的匹配代价；

其中，公式4为：

；W1_s（p_i，p）表示左图中周围像素点p_i所在像素层的距离权重，W1_c（p_i，p）表示左图中周围像素点p_i所在像素层的色彩权重，W2_s（q_i，q）表示右图中周围像素点q_i所在像素层的距离权重，W2_c（q_i，q）表示右图中周围像素点q_i所在像素层的色彩权重。

Images