CN105277169B - 基于图像分割的双目测距方法 - Google Patents

Abstract

一种基于图像分割的双目测距方法，首先根据物体将左图像和右图像分割成各个区域，再根据亮度﹑宽度﹑高度﹑像素数量﹑水平距离﹑垂直距离对左图像和右图像分割得到的区域进行匹配，找到同一物体在左右图像中对应的区域，最后根据匹配区域的边缘点的水平距离计算视差。本发明分割得到的区域的边缘含有丰富的纹理信息，可以根据边缘的位置计算得到该区域的视差，能够得到紧密的视差图，对于含有大面积低纹理区域的场景尤其有效。

Description

基于图像分割的双目测距方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于图像分割的双目测距方法。

背景技术

目前流行的距离测量方法有超声波测距﹑雷达测距﹑激光测距和摄像机测距等。其中超声波测距﹑雷达测距和激光测距属于主动式测距，需要主动发射超声波﹑毫米波﹑微波或者激光等，具有成本高昂﹑测量精度高的特点，而摄像机测距属于被动式测距，只需要光学成像系统，具有成本低廉﹑准确度高的特点。摄像机测距分为单目测距和双目测距，其中双目测距的准确度更高，应用也更为广泛，是目前计算机视觉领域的一个重要研究方向。

双目测距主要有两个步骤：1、立体标定和立体校正：该步骤的目的是消除摄像机的畸变并使得左右图像的对极线在同一水平线上以及达到行对准，立体标定和立体校正步骤通常只需要在双目摄像机安装完毕后执行一次，然后把立体校正的参数保存下来供后续步骤使用；2、立体匹配：该步骤的目的是要找到与左图中任意一点匹配的右图上的点，进而计算出相应的视差，最终得到距离，立体匹配步骤在每一次采集图像后都要重新进行。

双目测距的难点和重点是立体匹配，它对于测量距离的准确性有着至关重要的影响，目前主流的立体匹配方法有：块匹配法(Block Matching)、半全局块匹配法(Semi-Global Block Matching)、归一化互相关和匹配法(Sum of Normalized CrossCorrelation)、置信度传播匹配法(Belief Propagation)等，这些方法都是以固定大小的块作为匹配的基本单元，当图像中存在大面积的低纹理区域时，这些方法无法得到准确有效的视差信息，因此计算得到的视差图十分稀疏。

发明内容

本发明提供一种基于图像分割的双目测距方法，根据物体将图像分割成各个区域，这样分割得到的区域的边缘含有丰富的纹理信息，可以根据边缘的位置计算得到该区域的视差，能够得到紧密的视差图，对于含有大面积低纹理区域的场景尤其有效。

为了达到上述目的，本发明提供一种基于图像分割的双目测距方法，包含以下步骤：

图像分割：根据物体将左图像和右图像分割成各个区域，每个区域与某类物体对应，将分割得到的物体区域作为匹配的基本单元；

区域匹配：根据亮度﹑宽度﹑高度﹑像素数量﹑水平距离﹑垂直距离对左图像和右图像分割得到的区域进行匹配，找到同一物体在左右图像中对应的区域；

视差计算：根据匹配区域的边缘点的水平距离计算视差。

在双目摄像机安装完毕之后，进行第一次双目测距之前，需要对双目摄像机进行立体标定和立体校正，保存立体标定和立体校正得到的参数。

双目摄像机中的左摄像机和右摄像机分别采集图像后，根据立体校正得到的参数对左摄像机采集的左图像和右摄像机采集的右图像进行重映射，得到重映射左图像和重映射右图像，重映射左图像作为左图像进行图像分割，重映射右图像作为右图像进行图像分割。

假设R_1i是重映射左图像中的任意一个区域，R_2j是重映射右图像中的任意一个区域，则区域R_1i与区域R_2j匹配必须要同时满足下列所有条件：

1、|Y(R_1i)-Y(R_2j)|≤Y_th，其中，Y(R)是区域R的亮度，Y_th是亮度差的阈值；

2、W(R_1i)/W(R_2j)≤Wth，且W(R_2j)/W(R_1i)≤W_th，其中，W(R)是区域R的宽度，W_th是宽度比的阈值；

3、H(R_1i)/H(R_2j)≤H_th，且H(R_2j)/H(R_1i)≤H_th，其中，H(R)是区域R的高度，H_th是高度比的阈值；

4、N(R_1i)/N(R_2j)≤N_th，且N(R_2j)/N(R_1i)≤N_th，其中，N(R)是属于区域R的像素个数，N_th是像素数比的阈值；

5、LEFT(R_1i)-LEFT(R_2j)≥D_min，且LEFT(R_1i)-LEFT(R_2j)≤D_max，其中，LEFT(R)是区域R的最左边，D_min是允许的最小视差，D_max是允许的最大视差；

6、RIGHT(R_1i)-RIGHT(R_2j)≥D_min，且RIGHT(R_1i)-RIGHT(R_2j)≤D_max，其中，RIGHT(R)是区域R的最右边，D_min是允许的最小视差，D_max是允许的最大视差；

7、|LOW(R_1i)-LOW(R_2j)|≤V_th，其中，LOW(R)是区域R的最下边，V_th是允许的最大垂直偏移；

8、|HIGH(R_1i)-HIGH(R_2j)|≤V_th，其中，HIGH(R)是区域R的最上边，V_th是允许的最大垂直偏移。

假设像素P_ij属于区域R，即P_ij∈R，则第i行的左侧边缘点满足：且P_ij∈R，右侧边缘点满足：P_ij∈R且

如果重映射左图像第i行的第m个左侧边缘点记为LL_im，重映射左图像第i行的第m个右侧边缘点记为LR_im，重映射右图像第i行第n个的左侧边缘点记为RL_in，重映射右图像第i行的第n个右侧边缘点记为RR_in，所有可能的视差集合记为C，那么所述的视差计算过程包含以下步骤：

步骤S4.1、找到重映射左图像中匹配区域的所有行的左侧边缘点LL_i和右侧边缘点LR_i，以及重映射右图像中匹配区域的所有行的左侧边缘点RL_i和右侧边缘点RR_i；

步骤S4.2、令C＝Φ，其中Φ是空集合；

步骤S4.3、针对匹配的每一行i，计算视差集合C：

如果LL_im-RL_in≥D_min且LL_im-RL_in≤D_max，则C＝C+{LL_im-RL_in}；

如果LR_im-RR_in≥D_min且LR_im-RR_in≤D_max，则C＝C+{LR_im-RR_in}；

步骤S4.4、计算该匹配区域的视差d＝Median(C)，其中，Median是取中值运算。

所述的基于图像分割的双目测距方法还包含以下步骤：

在得到视差计算结果之后，根据视差计算距离，计算的公式为：Z＝f·T/d，其中，Z是物体的距离，f是摄像机的焦距，是立体校正得到的参数，单位是像素，T是立体标定使用的棋盘格的边长，单位是厘米，d是视差，单位是像素。

本发明根据物体将图像分割成各个区域，这样分割得到的区域的边缘含有丰富的纹理信息，可以根据边缘的位置计算得到该区域的视差，能够得到紧密的视差图，对于含有大面积低纹理区域的场景尤其有效。

附图说明

图1是本发明的流程图。

图2是待分割的图像；

图3是图像分割示意图。

图4是区域匹配示意图。

图5是视差计算示意图。

图6是视差图。

具体实施方式

以下根据图1～图6，具体说明本发明的较佳实施例。

如图1所示，本发明提供一种基于图像分割的双目测距方法，包含以下步骤：

步骤S0、对双目摄像机进行立体标定和立体校正；

所述的立体标定和立体校正通常只在双目摄像机安装完毕后执行一次，立体标定和立体校正是线下进行的，立体标定和立体校正得到的参数被保存下来供后续使用；

立体标定与立体校正的目的是消除双目摄像机的畸变，使得三维世界里的每一点在双目摄像机中的左右摄像机的图像里处于同一水平线上，也就是垂直视差为0；

OpenCV与Matlab均有成熟的立体标定与立体校正算法，可以很容易的得到双目摄像机的校正参数；

步骤S1、图像采集和图像重映射；

双目摄像机中的左摄像机和右摄像机分别采集图像后，根据立体校正得到的参数对左摄像机采集的左图像和右摄像机采集的右图像进行重映射，得到重映射左图像和重映射右图像；

步骤S2、图像分割；

根据物体将重映射左图像和重映射右图像分割成各个区域，每个区域与某类物体对应，将分割得到的物体区域作为匹配的基本单元；

利用现有的图像分割算法分割重映射左图像和重映射右图像；

步骤S3、区域匹配；

根据亮度﹑宽度﹑高度﹑像素数量﹑水平距离﹑垂直距离等信息对重映射左图像和重映射右图像分割得到的区域进行匹配，找到同一物体在左右图像中对应的区域；

假设R_1i是重映射左图像中的任意一个区域，R_2j是重映射右图像中的任意一个区域，则区域R_1i与区域R_2j匹配必须要同时满足下列所有条件：

1、|Y(R_1i)-Y(R_2j)|≤Y_th，其中，Y(R)是区域R的亮度，Y_th是亮度差的阈值；

2、W(R_1i)/W(R_2j)≤Wth，且W(R_2j)/W(R_1i)≤W_th，其中，W(R)是区域R的宽度，W_th是宽度比的阈值；

3、H(R_1i)/H(R_2j)≤H_th，且H(R_2j)/H(R_1i)≤H_th，其中，H(R)是区域R的高度，H_th是高度比的阈值；

4、N(R_1i)/N(R_2j)≤N_th，且N(R_2j)/N(R_1i)≤N_th，其中，N(R)是属于区域R的像素个数，N_th是像素数比的阈值；

5、LEFT(R_1i)-LEFT(R_2j)≥D_min，且LEFT(R_1i)-LEFT(R_2j)≤D_max，其中，LEFT(R)是区域R的最左边，D_min是允许的最小视差，D_max是允许的最大视差；

6、RIGHT(R_1i)-RIGHT(R_2j)≥D_min，且RIGHT(R_1i)-RIGHT(R_2j)≤D_max，其中，RIGHT(R)是区域R的最右边，D_min是允许的最小视差，D_max是允许的最大视差；

7、|LOW(R_1i)-LOW(R_2j)|≤V_th，其中，LOW(R)是区域R的最下边，V_th是允许的最大垂直偏移；

8、|HIGH(R_1i)-HIGH(R_2j)|≤V_th，其中，HIGH(R)是区域R的最上边，V_th是允许的最大垂直偏移；

其中，各阈值的默认值是Y_th＝32，W_th＝1.2，H_th＝1.2，N_th＝1.3，V_th＝8，实际应用中可以根据具体情况进行调节；

步骤S4、视差计算；

根据匹配区域的边缘点的水平距离计算视差；

假设像素P_ij属于区域R，即P_ij∈R，则第i行的左侧边缘点满足：且P_ij∈R，右侧边缘点满足：P_ij∈R且

如果重映射左图像第i行的第m个左侧边缘点记为LL_im，重映射左图像第i行的第m个右侧边缘点记为LR_im，重映射右图像第i行第n个的左侧边缘点记为RL_in，重映射右图像第i行的第n个右侧边缘点记为RR_in，所有可能的视差集合记为C，那么所述的视差计算过程包含以下步骤：

步骤S4.1、找到重映射左图像中匹配区域的所有行的左侧边缘点LL_i和右侧边缘点LR_i，以及重映射右图像中匹配区域的所有行的左侧边缘点RL_i和右侧边缘点RR_i；

步骤S4.2、令C＝Φ，其中Φ是空集合；

步骤S4.3、针对匹配的每一行i，计算视差集合C：

如果LL_im-RL_in≥D_min且LL_im-RL_in≤D_max，则C＝C+{LL_im-RL_in}；

如果LR_im-RR_in≥D_min且LR_im-RR_in≤D_max，则C＝C+{LR_im-RR_in}；

步骤S4.4、计算该匹配区域的视差d＝Median(C)，其中，Median是取中值运算。

步骤S5、根据视差计算距离，计算的公式为：Z＝f·T/d，其中，Z是物体的距离，f是摄像机的焦距，是立体校正得到的参数，单位是像素，T是立体标定使用的棋盘格的边长，单位是厘米，d是视差，单位是像素。

在本发明的一个具体实施例中，如图2所示，是待分割的图像；如图3所示，是分割后的图像；如图4所示，是区域匹配示例图，其中左图是重映射左图像，右图是重映射右图像；如图5所示，是视差计算示例图，其中左图是是重映射左图像，右图是重映射右图像；如图6所示，是视差图示例，其中左图是左图像，右图是视差图。

双目测距的重点和难点是区域匹配与视差计算，区域匹配与视差计算在每一次图像采集后都要重新进行，本发明把图像分割成各个区域，每个区域与某类物体对应，并且把分割得到的区域即物体作为匹配的基本单元，因为分割得到的区域的边缘含有丰富的纹理信息，可以根据边缘的位置计算得到该区域的视差，所以这种基于图像分割的区域匹配与视差计算方法能够得到紧密的视差图，对于含有大面积低纹理区域的场景尤其有效。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (5)

1.一种基于图像分割的双目测距方法，其特征在于，包含以下步骤：

图像分割：根据物体将左图像和右图像分割成各个区域，每个区域与某类物体对应，将分割得到的物体区域作为匹配的基本单元；

区域匹配：根据亮度﹑宽度﹑高度﹑像素数量﹑水平距离﹑垂直距离对左图像和右图像分割得到的区域进行匹配，找到同一物体在左右图像中对应的区域；

视差计算：根据匹配区域的边缘点的水平距离计算视差；

在得到视差计算结果之后，根据视差计算距离，计算的公式为：Z＝f·T/d，其中，Z是物体的距离，f是摄像机的焦距，是立体校正得到的参数，单位是像素，T是立体标定使用的棋盘格的边长，单位是厘米，d是视差，单位是像素。

2.如权利要求1所述的基于图像分割的双目测距方法，其特征在于，在双目摄像机安装完毕之后，进行第一次双目测距之前，需要对双目摄像机进行立体标定和立体校正，保存立体标定和立体校正得到的参数。

3.如权利要求2所述的基于图像分割的双目测距方法，其特征在于，双目摄像机中的左摄像机和右摄像机分别采集图像后，根据立体校正得到的参数对左摄像机采集的左图像和右摄像机采集的右图像进行重映射，得到重映射左图像和重映射右图像，重映射左图像作为左图像进行图像分割，重映射右图像作为右图像进行图像分割。

4.如权利要求3所述的基于图像分割的双目测距方法，其特征在于，假设R_1i是重映射左图像中的任意一个区域，R_2j是重映射右图像中的任意一个区域，则区域R_1i与区域R_2j匹配必须要同时满足下列所有条件：

1、|Y(R_1i)-Y(R_2j)|≤Y_th，其中，Y(R)是区域R的亮度，Y_th是亮度差的阈值；

2、W(R_1i)/W(R_2j)≤Wth，且W(R_2j)/W(R_1i)≤W_th，其中，W(R)是区域R的宽度，W_th是宽度比的阈值；

3、H(R_1i)/H(R_2j)≤H_th，且H(R_2j)/H(R_1i)≤H_th，其中，H(R)是区域R的高度，H_th是高度比的阈值；

4、N(R_1i)/N(R_2j)≤N_th，且N(R_2j)/N(R_1i)≤N_th，其中，N(R)是属于区域R的像素个数，N_th是像素数比的阈值；

5、LEFT(R_1i)-LEFT(R_2j)≥D_min，且LEFT(R_1i)-LEFT(R_2j)≤D_max，其中，LEFT(R)是区域R的最左边，D_min是允许的最小视差，D_max是允许的最大视差；

6、RIGHT(R_1i)-RIGHT(R_2j)≥D_min，且RIGHT(R_1i)-RIGHT(R_2j)≤D_max，其中，RIGHT(R)是区域R的最右边，D_min是允许的最小视差，D_max是允许的最大视差；

7、|LOW(R_1i)-LOW(R_2j)|≤V_th，其中，LOW(R)是区域R的最下边，V_th是允许的最大垂直偏移；

8、|HIGH(R_1i)-HIGH(R_2j)|≤V_th，其中，HIGH(R)是区域R的最上边，V_th是允许的最大垂直偏移。

5.如权利要求4所述的基于图像分割的双目测距方法，其特征在于，

假设像素P_ij属于区域R，即P_ij∈R，则第i行的左侧边缘点满足：且P_ij∈R，右侧边缘点满足：P_ij∈R且

如果重映射左图像第i行的第m个左侧边缘点记为LL_im，重映射左图像第i行的第m个右侧边缘点记为LR_im，重映射右图像第i行第n个的左侧边缘点记为RL_in，重映射右图像第i行的第n个右侧边缘点记为RR_in，所有可能的视差集合记为C，那么所述的视差计算过程包含以下步骤：

步骤S4.1、找到重映射左图像中匹配区域的所有行的左侧边缘点LL_i和右侧边缘点LR_i，以及重映射右图像中匹配区域的所有行的左侧边缘点RL_i和右侧边缘点RR_i；

步骤S4.2、令C＝Φ，其中，Φ是空集合；

步骤S4.3、针对匹配的每一行i，计算视差集合C：

如果LL_im-RL_in≥D_min且LL_im-RL_in≤D_max，则C＝C+{LL_im-RL_in}；

如果LR_im-RR_in≥D_min且LR_im-RR_in≤D_max，则C＝C+{LR_im-RR_in}；

步骤S4.4、计算该匹配区域的视差d＝Median(C)，其中，Median是取中值运算。