CN115290038B - 面向线状障碍物的双目测距方法 - Google Patents

Abstract

本发明提供了一种面向线状障碍物的双目测距方法，测距方法包括如下：第一步是利用标定好的双目相机内、外、畸变参数进行双目校正；第二步是利用目标检测网络对左目图像进行检测，得到障碍物在图像中的位置；第三步对障碍物区域内的图像先后进行高斯去噪、Sobel算子计算边缘梯度与方向、自适应阈值的Canny边缘检测，得到障碍物的边缘图；第四步通过深度优先搜索算法统计所有的边缘长度，通过设置的边缘属性阈值对边缘进行筛选；第五步计算边缘点描述子，并对边缘点校验、匹配得到视差，进而得到障碍物上某边缘点的深度值。最后，通过统计障碍物区域内的深度信息，得到障碍物距离值。

Description

面向线状障碍物的双目测距方法

技术领域

本发明涉及利用图像的障碍物测距领域，尤其涉及面向线状障碍物的双目测距方法。

背景技术

传统的双目障碍物测距方法大多通过结合双目相机生成的深度图和目标检测网络给出的障碍物区域来测距，并将障碍物区域内中心点的深度值作为距离值，这种测距方法对于人、车等一些面状障碍物是有效的。但是，现实中存在着大量的线状的障碍物，比如围网，其特征在于障碍物自身上的点仅存在于细细的网线上，并且图像的障碍物区域内的点大多数是背景区域的点。大量的背景点不仅在双目匹配时容易和真实物体上的点误匹配，而且使得障碍物区域内中心点的深度值大概率是背景点的深度值。这都使得对于线状物体的双目测距效果大大下降。

发明内容

发明目的：提出面向线状障碍物的双目测距方法，并进一步提出一种用于实现上述方法的系统，以解决现有技术存在的上述问题。

第一方面，提出面向线状障碍物的双目测距方法，该方法步骤如下：

步骤1、利用标定好的双目相机内参矩阵、畸变参数、相机外参，对采集到的左右两幅图像进行双目校正；

步骤2、利用目标检测网络对左目图像进行检测，得到障碍物在图像中的位置；

步骤3、对障碍物区域内的图像进行边缘检测，得到障碍物区域边缘图；

步骤4、通过深度优先搜索算法统计所有的边缘长度，通过设置的边缘属性阈值对边缘进行筛选；

步骤5、计算边缘点描述子，并对边缘点校验、匹配得到视差，进而得到障碍物上边缘点的深度值；

步骤6、通过统计障碍物区域内的深度信息，得到障碍物距离值。

在第一方面的一些可实现方式中，经过步骤1双目校正后的左目图像和右目图像中对应的点具有相同的像素行。

在第一方面的一些可实现方式中，步骤2中检测障碍物位置的过程进一步包括：

步骤2-1、将校正后的左目图像导入至坐标系中，将检测到的障碍物区域用S表示，之后所有的操作默认为仅在S区域内执行，忽略右目图像的目标检测；

步骤2-2、将S区域的左侧边界向左扩充90个像素点，右侧边界不变，以此作为右目图像中的障碍物区域。

在第一方面的一些可实现方式中，步骤3中对障碍物的边缘检测的过程进一步包括：

步骤3-1、分别对左目图像、右目图像的障碍物区域S去噪；

步骤3-2、对去噪后的所述障碍物区域S计算图像点的梯度信息和方向；

步骤3-3、利用得到的所述梯度信息检测降噪后的图像边缘。

在第一方面的一些可实现方式中，步骤4进一步包括：

步骤4-1、设置边缘长度最低阈值为Th_len，并过滤掉边缘长度小于Th_len的边缘；

步骤4-2、设置边缘线的最大数量为Th_max，当统计到的边缘数目超过Th_max时，过滤掉边缘长度排名靠后的边缘：

通过深度优先遍历的方法得到图像中所有边缘点的集合及其长度大小；

通过快速排序算法对边缘长度进行排序；

去除掉长度小于Th_len阈值的边缘；

根据设置的边缘数量上限Th_max阈值，过滤长度靠后的边缘。

在第一方面的一些可实现方式中，步骤5进一步包括：

步骤5-1、遍历左目图像上的所有边缘点，计算其BRIEF描述子；

步骤5-2、计算右目图像上对应匹配点的搜索范围；

步骤5-3、在计算得到的搜索范围之内初步匹配边缘点；

步骤5-4、选取最优匹配点，重复循环。

在第一方面的一些可实现方式中，步骤5进一步包括：

以左目相机、右目相机

作为底角，以被测障碍物中一点P作为顶角，构建三角形；

构建一条与相机基线平行的投影线；所述投影线与所述相机基线之间的距离为相机的焦距长度f；所述相机基线表示左目相机和右目相机

之间的连线；

被测障碍物中一点P在左目相机

上的投影横坐标为U_L；被测障碍物中一点P在右目相机

上的投影横坐标为U_R；

计算被测障碍物中一点P与所述相机基线之间的垂直距离z：

其中，b表示相机基线的长度；此时计算出的z的范围即为被测障碍物中一点P的深度值范围；

右目图像上对应匹配点的搜索范围为被测障碍物中一点P在右目相机

上的投影横坐标的范围值：

对边缘点初步筛选：首先对左目图像和右目图像进行边缘检测，分别得到左目图像和右目图像的边缘点；边缘点匹配时，遍历左目图像的边缘点，根据计算的搜索范围在右目图像上寻找匹配点，排除右目图像中这个搜索范围内非边缘的点；

然后判断两个边缘点的梯度方向差是否小于阈值，若满足要求，则会计算该点的BRIEF描述子，并与左目边缘点的描述子计算其汉明距离；

选取与左目图像边缘点BRIEF描述子之间的汉明距离最小的点作为最优匹配点，计算并保存其深度值；之后回到步骤5-1中重复循环，得到障碍物上多个符合要求的边缘点的深度值；

若最优匹配点与左目图像边缘点两者BRIEF描述子间的汉明距离大于预设阈值，则认为匹配失败，放弃计算该点的深度值。

在第一方面的一些可实现方式中，步骤6进一步包括：

统计步骤5中成功计算出深度的边缘点的数量，设该数量为N，若N小于测距所需的最小点数目阈值Min_num，则认为测距失败，不给出具体的距离值；否则，通过快速排序算法对有所的深度值从小到大排序；

在边缘点的深度排序中，障碍物自身上的点应处于排序的前50%中，背景区域的点应处于排序的后50%中，采用第0.25*N个点处的深度值作为障碍物的距离值。在不考虑遮挡的情况下，障碍物区域内的点就两种，一种是障碍物自身上的点，另一种就是背景区域内的点。那么，我们根据深度值从小到大将边缘点排序后，深度排序靠前的点理应是障碍物自身上的点（因为不考虑障碍物前方有东西遮挡），又因为一共有N个点参与深度排序。所以，将障碍物距离值选取了一个实际效果比较好的0.25*N个点处的深度值。

第二方面，提出一种线状障碍物双目测距系统，该系统包括双目相机和数据处理模块两部分。双目相机拍摄的到的图像数据导入至所述数据处理模块，由数据处理模块执行如第一方面所述的面向线状障碍物的双目测距方法。

数据处理模块至少由校正单元、目标检测单元、边缘检测单元、边缘线筛选单元、特征匹配单元、深度信息统计单元六个部分组成。

校正单元利用标定好的双目相机内参矩阵、畸变参数、相机外参，对采集到的左右两幅图像进行双目校正，使得左目图像和右目图像中对应的点具有相同的像素行。目标检测单元用于对左目图像进行检测，得到障碍物在图像中的位置。边缘检测单元用于对障碍物区域内的图像进行边缘检测，得到障碍物区域边缘图。边缘线筛选单元通过深度优先搜索算法统计所有的边缘长度，通过设置的边缘属性阈值对边缘进行筛选。特征匹配单元用于计算边缘点描述子，并对边缘点校验、匹配得到视差，进而得到障碍物上预定边缘点的深度值。深度信息统计单元通过统计障碍物区域内的深度信息，得到障碍物距离值。

有益效果：

①、根据相机标定得到的相机内参矩阵、畸变参数以及相机外参对左右图像进行校准，如此一来，一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，为其后的双目匹配缩小了搜索空间。

②、本方法使用直方图统计目标区域内的梯度信息，自适应的计算Canny边缘检测所需的双阈值，这样去噪处理比均衡降噪算法使得图像的边缘区域得到了更高的保留，使得边缘检测更加清晰锐利。

③、通过设定障碍物的有效测距量程范围可以进一步的缩小搜索范围，增加匹配精度。

综上，相比于传统双目测距方法，本方法对于线状物体的双目测距效果具有显著提升。

附图说明

图1是线状障碍物的示例图。

图2是面向线状障碍物的双目测距方法流程图。

图3是双目校正结果示意图。

图4是障碍物目标检测示意图。

图5是高斯分布函数示意图。

图6是双目测距原理图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

申请人研究发现，如图1中的围网，由于这些障碍物的线状特性，传统的双目测距方法很难对其进行精确的测距。对于围网等线状障碍物很难找到其中心点，其目标区域内的点大多为背景区域的点，不仅在双目匹配时容易和真实物体上的点误匹配，而且在统计目标区域内点的深度值时混杂了大量的背景点，这都使得对于线状物体的双目测距效果大大下降。

为此，申请人提出一种面向线状障碍物的双目测距方法。第一步是利用标定好的双目相机内、外、畸变参数进行双目校正；第二步是利用目标检测网络对左目图像进行检测，得到障碍物在图像中的位置；第三步对障碍物区域内的图像先后进行高斯去噪、Sobel算子计算边缘梯度与方向、自适应阈值的Canny边缘检测，得到障碍物的边缘图；第四步通过深度优先搜索算法统计所有的边缘长度，通过设置的边缘属性阈值对边缘进行筛选；第五步计算边缘点描述子，并对边缘点校验、匹配得到视差，进而得到障碍物上某边缘点的深度值。最后，通过统计障碍物区域内的深度信息，得到障碍物距离值。步骤流程如图2所示，下面详细介绍本方法：

第一步是双目图像校正，根据相机标定得到的相机内参矩阵、畸变参数以及相机外参对左右图像进行校准。如图3所示，经过校准后的双目左、右目图像中对应的点具有相同的像素行。这样，一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，为其后的双目匹配缩小了搜索空间。

第二步是障碍物检测，将校正后的左目图像送入到目标检测网络中，得到障碍物的类别和在图像中的位置。其中，障碍物的位置表示如图4所示，假设检测到的障碍物区域用S表示，之后所有的操作默认为仅在S区域内执行。同时，由于双目相机摆放的空间位置关系，空间中的点在左、右目相机成像时，其在右目相机成像点的x坐标应小于在左目相机成像点的x坐标。所以，为了节省计算量，我们并不对右目图像进行目标检测，直接将S区域的左侧边界向左扩充90个像素点，右侧边界不变，以此作为右目图像中的障碍物区域。

第三步是障碍物的边缘检测，由于传感器在采集图像时会有许多的噪声，这极大的影响着边缘检测的效果。所以，我们首先会使用高斯去噪算法对左、右目图像的障碍物区域去噪，然后对降噪后的区域使用Sobel算子计算图像点的梯度信息和方向，最后利用得到的梯度信息对降噪后的图像进行Canny边缘检测。不同于一般的固定阈值的Canny边缘检测，我们使用直方图统计目标区域内的梯度信息，自适应的计算Canny边缘检测所需的双阈值。具体包括：

1、使用高斯去噪算法对图像进行降噪处理：

高斯降噪的原理是利用高斯函数作为模板，与原始图像进行卷积达到降噪的目的，二维高斯函数的图像如图5所示，其公式可以表示为：

其中σ²为二维高斯分布的方差。

结合二维高斯函数的公式及其图像可以发现，以高斯函数为基础对图像进行降噪时，每个像素的值都是周围相邻像素值的加权平均，距离原点越近的点的权重越大，越远的点的权重越小，这样去噪处理比均衡降噪算法使得图像的边缘区域得到了更高的保留。

2、使用Sobel算子计算图像的梯度与边缘的方向：

我们使用Sobel图像卷积算子对降噪后的图像进行卷积操作，得到x和y方向的梯度信息，具体如下式所示：

其中S代表经过去噪处理后的图像区域，G_x和G_y代表着经过横向、纵向卷积操作后的图像梯度值，其中的3*3矩阵便是Sobel卷积算子。得到图像的横向以及纵向的梯度G_x和G_y后，通过下式可以求得梯度相加的模，得到某点处最终的梯度G。

以及通过下式得到梯度方向：

3、自适应计算Canny边缘检测算法的双阈值，具体包括：

3.1遍历得到S区域内图像梯度的最大值，设该值为maxGd。

3.2计算图像梯度直方图，统计得到S区域内各梯度值的数目；

其中，直方图的横轴范围为(0,maxGd)，表示S区域内各点的梯度值范围，各横轴对应的纵轴为S区域各梯度值点的数目。在具体计算时，会将各梯度值换算为整数类型，便于直方图梯度的统计。

3.3统计直方图信息，计算Canny边缘检测算法的双阈值；

假设S区域内一共有St个点，我们会根据直方图信息，从横轴0坐标开始累加各梯度点的数目，直到点的数目超过0.9*St，得到当前直方图的横坐标为i，并设置i为Canny边缘检测算法的高阈值Th_high，相应的低阈值设置为0.4*Th_high。

这样做的目的是可以根据不同的图像统计梯度直方图，动态的设置边缘检测的阈值。

4、调用Canny边缘检测算法，检测图像边缘。

第四步是对检测得到的边缘进行处理，我们认为线状障碍物的边缘应该为较为连续的边缘，而由于检测区域内背景或者其他物体的干扰，检测过程中会有较多较短的边缘。所以，我们会设置边缘长度最低阈值Th_len=20，过滤掉边缘长度小于Th_len的边缘。同时，为了节省计算量的考虑，我们同时会设置边缘线的最大数量为Th_max=200，当统计到的边缘数目超过Th_max时，会过滤掉边缘长度排名靠后的边缘。具体包括：

1. 通过深度优先遍历的方法得到图像中所有边缘点的集合及其长度大小；

2. 通过快速排序算法对边缘长度进行排序；

3. 去除掉长度小于Th_len阈值的边缘；

4. 并根据设置的边缘数量上限Th_max阈值，将长度靠后的边缘过滤掉。

第五步是边缘点的匹配，在这一步中，我们会通过选取左目图像上的边缘点，计算其BRIEF特征描述子然后与右目图像上的边缘点进行匹配。由于前面的双目校正操作，使得左、右目图像上对应的匹配点在同一行上，所以只需在右目图像相同行上进行搜索，而且我们还会通过量程约束进一步缩小搜索空间。此外，我们还会进行是否为边缘点校验和梯度方向校验，最后对通过校验的点计算其BRIEF描述子，并根据描述子的匹配选取最佳匹配点，具体包括：

1、遍历左目图像上的所有边缘点，计算其BRIEF描述子；

若从控制计算量的角度考虑，假设左目图像上一共有LN个边缘点，边缘点上限阈值为300个，那么按照步长LN/300去遍历边缘点，便可以很容易的将算法的计算量控制在一定范围内。

2、计算右目图像上对应匹配点的搜索范围；

假设当前遍历的左目图像的边缘点横坐标为nx，纵坐标为ny，那么在右目图像上找寻其匹配点时，只需遍历右目图像的ny行上的点即可。

此外，由于双目相机有效的测距量程与其基线长度是密切相关的，虽然在数学上能够计算出量程以外点的深度值，但是测距效果会有极大的下降。所以，我们会根据具体所使用的双目相机的基线长度，设定障碍物的有效测距量程范围。

图6所示为双目相机的测距原理图。

不同的双目相机由于有不同的基线长度、焦距长度、像素尺寸等，会有不同的有效测距距离。可以根据所使用的双目相机提供的有效测距距离设定匹配点的搜索范围。这里有效测距距离其实就是点P的深度值z的范围。虽然能在数学上求出这个范围外的深度值来，但是结果不够准确。

在实际使用时，还可以根据不同应用场景下不同障碍物的测距范围和的实际测距效果，为不同的障碍物都设定不同的合理量程。因为有目标检测算法，可以知道当前的障碍物的类型与量程，通过这个量程可以进一步缩小对应匹配点的搜索空间，提高搜索的准确率和耗时。

根据三角形PP_LP_R和PO_LO_R的相似关系，有：

其中，z代表着空间中点P的深度值，f为相机的焦距长度，b为相机的基线长度，U_L和U_R分别是点P在左目、右目图像上的投影横坐标。对上式稍加整理，可得：

上式不仅给出了空间中一点P的深度z计算公式，还给出了在深度已知时，投影点在右目图像上的投影横坐标。

那么，假如我们设定障碍物测距量程范围，即深度z的数值范围后，U_R的搜索范围也就可以很容易的计算出来了，这样可以进一步的缩小搜索范围，增加匹配精度。

3、边缘点初匹配；

由于在上一步中，我们已经计算出了匹配点在右目图像的搜索范围，下面我们将会通过是否为边缘点、边缘方向是否一致进行边缘点的初步匹配筛选。

在遍历右目搜索范围内的点时，我们首先会排除非边缘的点，然后判断两个边缘点的梯度方向差是否小于一定的阈值要求。若满足要求，则会计算该点的BRIEF描述子，并与左目边缘点的描述子计算其汉明距离。

4、选取最优匹配点，重复循环；

若所有匹配点的BRIEF描述子汉明距离最小值大于30，则认为匹配失败。否则，对汉明距离最小的点计算并保存其深度值。之后回到第1步中重复循环。

第六步是统计所有边缘点的深度值得到障碍物距离，在第五步中，已经得到了障碍物目标区域内所有符合要求的边缘点的深度值，若这些点的总数目小于50，则认为测距失败，不给出具体的距离值。否则，会通过快速排序算法对有所的深度值从小到大排序。我们认为，在不考虑遮挡的情况下，通过目标检测算法给出的障碍物区域内主要包含两类点，一类是障碍物自身上的点，另一类是背景图像上的点。在边缘点的深度排序中，障碍物自身上的点应大多处于排序的前50%中，背景区域的点应大多处于排序的后50%中。所以，最终我们采用第0.25*N个点处的深度值作为障碍物的距离值。

综上，本发明提出了一种面向线状障碍物的双目测距方法。首先，对于线状障碍物来讲，目标检测算法给出的中心点大概率是背景点，所以传统双目测距方法找中心点的方式对于线状障碍物测距来讲并不奏效。

其次，对于围网等线状障碍物，其目标区域内的点大多是背景点，而不是线状障碍物自身上的点(比如围网，其网线只占障碍物区域内的很小一部分)。

综上，所以采用边缘检测，对边缘线进行检测并处理，最终通过统计的方式(统计障碍物区域内边缘点的深度值)得到障碍物的距离值。

另外，很多传统双目测距方法如果不结合目标检测技术的话，只能首先通过双目相机生成整张图像的深度图，然后人工的在深度图上选取测距点的位置来对障碍物进行测距。

该方法结合目标检测技术，可以实现对障碍物的自动测距，并通过统计的方式动态的对障碍物进行测距。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (7)

1.面向线状障碍物的双目测距方法，其特征在于，包括如下步骤：

步骤1、利用标定好的双目相机内参矩阵、畸变参数、相机外参，对采集到的左右两幅图像进行双目校正；

步骤2、利用目标检测网络对左目图像进行检测，得到障碍物在图像中的位置；

步骤3、对障碍物区域内的图像进行边缘检测，得到障碍物区域边缘图；

步骤4、通过深度优先搜索算法统计所有的边缘长度，通过设置的边缘属性阈值对边缘进行筛选；

步骤4-1、设置边缘长度最低阈值为Th_len，并过滤掉边缘长度小于Th_len的边缘；

步骤4-2、设置边缘线的最大数量为Th_max，当统计到的边缘数目超过Th_max时，过滤掉边缘长度排名靠后的边缘：

通过深度优先遍历的方法得到图像中所有边缘点的集合及其长度大小；

通过快速排序算法对边缘长度进行排序；

去除掉长度小于Th_len阈值的边缘；

根据设置的边缘数量上限Th_max阈值，过滤长度靠后的边缘；

步骤5、计算边缘点描述子，并对边缘点校验、匹配得到视差，进而得到障碍物上预定边缘点的深度值；

步骤6、通过统计障碍物区域内的深度信息，得到障碍物距离值。

2.根据权利要求1所述的面向线状障碍物的双目测距方法，其特征在于，经过步骤1双目校正后的左目图像和右目图像中对应的点具有相同的像素行。

3.根据权利要求1所述的面向线状障碍物的双目测距方法，其特征在于，步骤2中检测障碍物位置的过程进一步包括：

步骤2-1、将校正后的左目图像导入至坐标系中，将检测到的障碍物区域用S表示，之后所有的操作默认为仅在S区域内执行，忽略右目图像的目标检测；

步骤2-2、将S区域的左侧边界向左扩充90个像素点，右侧边界不变，以此作为右目图像中的障碍物区域。

4.根据权利要求3所述的面向线状障碍物的双目测距方法，其特征在于，步骤3中对障碍物的边缘检测的过程进一步包括：

步骤3-1、分别对左目图像、右目图像的障碍物区域S去噪；

步骤3-2、对去噪后的所述障碍物区域S计算图像点的梯度信息和方向；

步骤3-3、利用得到的所述梯度信息检测降噪后的图像边缘。

5.根据权利要求1所述的面向线状障碍物的双目测距方法，其特征在于，步骤5进一步包括：

步骤5-1、遍历左目图像上的所有边缘点，计算其BRIEF描述子；

步骤5-2、计算右目图像上对应匹配点的搜索范围；

步骤5-3、在计算得到的搜索范围之内初步匹配边缘点；

步骤5-4、选取最优匹配点，重复循环。

6.根据权利要求5所述的面向线状障碍物的双目测距方法，其特征在于，步骤5进一步包括：

以左目相机

、右目相机

作为底角，以被测障碍物中一点P作为顶角，构建三角形；

构建一条与相机基线平行的投影线；所述投影线与所述相机基线之间的距离为相机的焦距长度f；所述相机基线表示左目相机

和右目相机

之间的连线；

被测障碍物中一点P在左目相机

上的投影横坐标为U_L；被测障碍物中一点P在右目相机

上的投影横坐标为U_R；

计算被测障碍物中一点P与所述相机基线之间的垂直距离z：

其中，b表示相机基线的长度；此时计算出的z的范围即为被测障碍物中一点P的深度值范围；

右目图像上对应匹配点的搜索范围为被测障碍物中一点P在右目相机

上的投影横坐标的范围值：

对边缘点初步筛选：首先对左目图像和右目图像进行边缘检测，分别得到左目图像和右目图像的边缘点；边缘点匹配时，遍历左目图像的边缘点，根据计算的搜索范围在右目图像上寻找匹配点，排除右目图像中这个搜索范围内非边缘的点；

然后判断两个边缘点的梯度方向差是否小于阈值，若满足要求，则会计算该点的BRIEF描述子，并与左目边缘点的描述子计算其汉明距离；

选取与左目图像边缘点BRIEF描述子之间的汉明距离最小的点作为最优匹配点，计算并保存其深度值；之后回到步骤5-1中重复循环，得到障碍物上多个符合要求的边缘点的深度值；

若最优匹配点与左目图像边缘点两者BRIEF描述子间的汉明距离大于预设阈值，则认为匹配失败，放弃计算该点的深度值。

7.根据权利要求1所述的面向线状障碍物的双目测距方法，其特征在于，步骤6进一步包括：

统计步骤5中成功计算出深度的边缘点的数量，设该数量为N，若N小于测距所需的最小点数目阈值Min_num，则认为测距失败，不给出具体的距离值；否则，通过快速排序算法对有所的深度值从小到大排序；

在边缘点的深度排序中，障碍物自身上的点应处于排序的前50%中，背景区域的点应处于排序的后50%中，采用第0.25*N个点处的深度值作为障碍物的距离值。

Images