CN113450335A - 一种路沿检测方法、路沿检测装置及路面施工车辆 - Google Patents

Abstract

本申请提供的一种路沿检测方法、路沿检测装置及路面施工车辆，包括：获取包含路沿的左图像和右图像，其中，左图像和右图像为分别由不同视角获得的图像，对左图像或右图像进行特征提取，以得到路沿的边缘信息，对左图像和右图像进行立体匹配，以得到深度图，其中，深度图表示图像采集设备与深度图中每个像素点对应实际位置之间的距离，以及根据边缘信息和深度图，得到路沿的三维直线图像。通过根据边缘信息和深度图，得到路沿的三维直线图像，从而提高了检测路沿的精确度。

Description

一种路沿检测方法、路沿检测装置及路面施工车辆

技术领域

本申请涉及路沿检测技术领域，具体涉及一种路沿检测方法、路沿检测装置及路面施工车辆。

背景技术

目前，人工智能应用较为广泛，且涉及的领域和实现人工智能的设备也较多，例如在工程方面，压路机、铣刨机、摊铺机、清扫车和洒水车等逐步智能化。现如今也可实现无人驾驶路面机械设备，节省了人力物力财力。但是在道路施工作业时，路面机械设备往往无法精准贴边作业，容易导致最终无法满足施工作业效果。通常采用激光雷达技术检测路沿，但是在实际施工中路沿高度差微小，从而无法准确检测到路沿。

发明内容

为了解决或者改善上述技术问题，提出了本申请。本申请的实施例提供了一种路沿检测方法、路沿检测装置及路面施工车辆，解决或者改善了路沿检测精度低的问题。

根据本申请的一个方面，提供了一种路沿检测方法，包括：获取包含所述路沿的左图像和右图像；其中，所述左图像和所述右图像为分别由不同视角获得的图像；对所述左图像或所述右图像进行特征提取，以得到所述路沿的边缘信息；对所述左图像和所述右图像进行立体匹配，以得到深度图；其中，所述深度图表示图像采集设备与所述深度图中每个像素点对应实际位置之间的距离；以及根据所述直线参数和所述深度图，得到所述路沿的三维直线图像。

在一实施例中，所述图像采集设备包括双目相机；其中，所述获取包含所述路沿的左图像和右图像包括：采用所述双目相机获取所述路沿的两幅图像；对所述两幅图像进行预处理，得到处理后的所述左图像和处理后的右图像；所述对所述左图像或所述右图像进行特征提取，以得到所述路沿的边缘信息包括：对所述处理后的左图像或所述处理后的右图像进行特征提取，以得到所述路沿的边缘信息；以及所述对所述左图像和所述右图像进行立体匹配，以得到深度图包括：对所述处理后的左图像和所述处理后的右图像进行立体匹配，以得到深度图。在一实施例中，所述对所述两幅图像进行预处理，得到所述处理后的左图像和所述处理后的右图像包括：对所述双目相机进行标定，得到所述双目相机的畸变系数；以及根据所述畸变系数，校正所述两幅图像，得到所述处理后的左图像和所述处理后的右图像。

在一实施例中，在所述对所述左图像或所述右图像进行特征提取，得到所述路沿的边缘信息之前还包括：确定所述左图像或所述右图像的检测区域；获取所述检测区域的灰度直方图；以及根据所述灰度直方图中路沿灰度值，对所述灰度直方图进行二值化处理，以得到灰度图像；其中，所述对所述左图像或所述右图像进行特征提取，得到所述路沿的边缘信息包括：对所述灰度图像进行特征提取，得到所述路沿的边缘信息。

在一实施例中，所述对所述灰度直方图进行二值化处理包括：根据所述灰度直方图，获取所述地面区域的第一像素峰值以及所述路沿的第二像素峰值；其中，所述第一像素峰值大于所述第二像素峰值；将所述灰度直方图中灰度值与所述第一像素峰值之间的差值小于第一预设阈值的像素点的灰度值赋值为第一预设灰度阈值；以及将所述灰度值直方图中灰度值与所述第二像素峰值之间的差值小于第二预设阈值的像素点的灰度值赋值为第二预设灰度阈值。

在一实施例中，所述确定所述左图像或所述右图像的检测区域包括：选取所述左图像或所述右图像中与所述图像采集设备的距离小于预设距离阈值的区域作为所述检测区域。

在一实施例中，所述对所述左图像或所述右图像进行特征提取，得到所述路沿的边缘信息包括：对所述灰度图像进行横向积分计算，以得到横向积分图；根据所述横向积分图和预设的卷积核，计算得到卷积图像；以及提取所述卷积图像的边缘特征，以得到所述边缘信息。

在一实施例中，所述根据所述边缘信息和所述深度图，得到所述路沿的三维直线图像包括：将所述边缘信息与所述深度图进行位置匹配，以得到所述路沿视差值；根据所述路沿视差值，计算所述路沿的多个坐标值；以及根据所述多个坐标值坐标，拟合出所述路沿的三维直线图像。

根据本申请的另一个方面，提供了一种路沿检测装置，包括：获取模块，用于获取包含所述路沿的左图像和右图像；其中，所述左图像和所述右图像为分别由不同视角获得的图像；特征提取模块，用于对所述左图像或所述右图像进行特征提取，以得到所述路沿的边缘信息；立体匹配模块，用于对所述左图像和所述右图像进行立体匹配，以得到深度图；其中，所述深度图表示图像采集设备与所述深度图中每个像素点对应实际位置之间的距离；以及三维图像模块，用于根据所述边缘信息和所述深度图，得到所述路沿的三维直线图像。

根据本申请的另一个方面，提供了一种路面施工车辆，其特征在于，包括：车辆本体；图像采集设备，所述图像采集设备设置在所述车辆本体上，所述图像采集设备用于采集路沿的图像；以及上述的路沿检测装置；所述路沿检测装置与所述图像采集设备连接，所述路沿检测装置用于：获取包含所述路沿的左图像和右图像；其中，所述左图像和所述右图像为分别由不同视角获得的图像；对所述左图像或所述右图像进行特征提取，以得到所述路沿的直线参数；其中，所述直线参数表示多个边缘点构成所述路沿的边缘；对所述左图像和所述右图像进行立体匹配，以得到深度图；其中，所述深度图表示图像采集设备与所述深度图中每个像素点对应实际位置之间的距离作为像素值所构成的图像；以及根据所述边缘信息和所述深度图，得到所述路沿的三维直线图像。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的路沿检测方法。

根据本申请的另一个方面，提供了一种路沿检测电子设备，所述路沿检测电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的路沿检测方法。

本申请提供的一种路沿检测方法、路沿检测装置及路面施工车辆，包括：获取包含路沿的左图像和右图像，其中，左图像和右图像为分别由不同视角获得的图像，对左图像或右图像进行特征提取，以得到路沿的边缘信息，对左图像和右图像进行立体匹配，以得到深度图，其中，深度图表示图像采集设备与深度图中每个像素点对应实际位置之间的距离，以及根据边缘信息和深度图，得到路沿的三维直线图像。通过根据边缘信息和深度图，得到路沿的三维直线图像，从而提高了检测路沿的精确度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的路面施工车辆的结构示意图。

图2是本申请一示例性实施例提供的路沿检测方法的流程示意图。

图3是本申请另一示例性实施例提供的路沿检测方法的流程示意图。

图4是本申请一示例性实施例提供的左图像和右图像预处理方法的流程示意图。

图5是本申请另一示例性实施例提供的路沿检测方法的流程示意图。

图6是本申请一示例性实施例提供的灰度直方图二值化处理方法的流程示意图。

图7是本申请另一示例性实施例提供的路沿检测的流程示意图。

图8是本申请一示例性实施例提供的边缘信息提取方法的流程示意图。

图9是本申请一示例性实施例提供的横向积分图计算方法的结构示意图。

图10是本申请一示例性实施例提供的卷积计算方法的结构示意图。

图11是本申请一示例性实施例提供的三维直线图像得到的流程示意图。

图12是本申请一示例性实施例提供的路沿检测装置的结构示意图。

图13是本申请另一示例性实施例提供的路沿检测装置的结构示意图。

图14是本申请一示例性实施例提供的路沿检测电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

图1是本申请一示例性实施例提供的路面施工车辆的结构示意图。如图1所示，路面施工车辆30包括：车辆本体31、图像采集设备32以及路沿检测装置33。图像采集设备32设置在车辆本体31上，图像采集设备32用于采集路沿的图像。路沿检测装置33与图像采集设备32连接，路沿检测装置33用于控制图像采集设备32采集路沿的图像，并对该图像进行处理和识别，以得到路沿的三维直线图像，从而有助于车辆本体31沿该路沿进行贴边作业。

图2是本申请一示例性实施例提供的路沿检测方法的流程示意图，应用于上述路面施工车辆的路沿检测装置中。如图2所示，路沿检测方法包括：

步骤110：获取包含路沿的左图像和右图像，其中，左图像和右图像为分别由不同视角获得的图像。

利用图像采集设备采集包含路沿的图像。该图像采集设备可以为双目相机，双目相机有两个摄像头，两个摄像头之间存在一定距离。当双目相机拍摄包含路沿的图像时，因为两个摄像头的视角不同，因此获得的两幅图像存在一些视角偏差，将这两幅图像分别记为左图像和右图像，其中左图像和右图像均为三维图像。

步骤120：对左图像或右图像进行特征提取，以得到路沿的边缘信息。

可对左图像和右图像不进行其他处理，直接应用。因施工人员的习惯，可选取左图像进行特征提取。或者若左图像对应的摄像头正对路沿拍摄图像时，可将左图像进行特征提取。若右图像对应的摄像头正对路沿拍摄图像时，可将右图像进行特征提取。选取左图像还是右图像根据实际情况决定，若当左图像的摄像头正对路沿拍摄图像时，则拍摄路沿的图像偏差较小，后续计算也更加准确，但是如果选取右图像进行特征提取，因右图像对应的摄像头与左图像对应的摄像头之间有一定距离，则右图像因视角的问题产生的偏差要大于左图像因视角的问题产生的偏差，那么利用右图像进行特征提取，得到路沿的边缘信息的精准度比左图像进行特征提取得到路沿的边缘信息精准度低。同理，若当右图像的摄像头正对路沿拍摄图像时，则右图像进行特征提取得到路沿的边缘信息的精准度大于左图像进行特征提取，得到路沿的边缘信息精准度高。

步骤130：对左图像和右图像进行立体匹配，以得到深度图，其中，深度图表示图像采集设备与深度图中每个像素点对应实际位置之间的距离。

对左图像和右图像进行立体匹配，得到视差图，即左图像和右图像的同一目标像素的像素差值，然后根据视差图计算得到深度图，其中，计算该深度图的公式为

其中z为深度值，f为焦距，disparity为视差值，b为基线(双目相机的两个摄像头中心间距)，然后根据多个深度值构造成深度图。深度图为图像采集设备与深度图中每个像素点对应实际位置之间的距离作为像素值所构成的图像。根据立体匹配，获得深度图可以更好的还原路沿的三维图像。

步骤140：根据边缘信息和深度图，得到路沿的三维直线图像。

得到路沿的边缘信息以及深度图，可以更好的还原路沿的三维直线图像。且得到的三维直线图像可以更加准确的还原路沿的实际形状，从而提高了路沿检测的精准度。

本申请提供的一种路沿检测方法，包括：获取包含路沿的左图像和右图像，其中，左图像和右图像为分别由不同视角获得的图像，对左图像或右图像进行特征提取，以得到路沿的边缘信息，对左图像和右图像进行立体匹配，以得到深度图，其中，深度图表示图像采集设备与深度图中每个像素点对应实际位置之间的距离，以及根据边缘信息和深度图，得到路沿的三维直线图像。通过根据边缘信息和深度图，得到路沿的三维直线图像，从而提高了检测路沿的精确度。

图3是本申请另一示例性实施例提供的路沿检测方法的流程示意图。如图3所示，图像采集设备包括双目相机，其中，步骤110可以包括：

步骤111：采用双目相机获取路沿的两幅图像。

因双目相机有两个摄像头，双目相机有两个摄像头，两个摄像头之间存在一定距离。当双目相机拍摄包含路沿的图像时，因为两个摄像头的视角不同，因此获得的两幅图像存在一些偏差。

步骤112：对两幅图像进行预处理，得到处理后的左图像和处理后的右图像。

利用opencv(跨平台计算机视觉和机器学习软件库)算法对存在偏差的两幅图像进行预处理，从而得到左图像和右图像。该预处理可以是将两幅图像进行图像行对齐，即判断同一目标像素的左图像和右图像的行像素差距是否在(0,1)之间，若在(0,1)之间，则说明两幅图像的图像行对齐。(0,1)区间可以根据实际操作设置，这里区间值不做限定。

步骤120可以包括：

步骤121：对处理后的左图像或处理后的右图像进行特征提取，以得到路沿的边缘信息。

因施工人员的习惯，可选取处理后的左图像进行特征提取。或者若处理后的左图像对应的摄像头正对路沿拍摄图像时，可将处理后的左图像进行特征提取。若处理后的右图像对应的摄像头正对路沿拍摄图像时，可将处理后的右图像进行特征提取。选取处理后的左图像还是处理后的右图像根据实际情况决定，若当处理后的左图像的摄像头正对路沿拍摄图像时，则拍摄路沿的图像偏差较小，后续计算也更加准确，但是如果选取处理后的右图像进行特征提取，因处理后的右图像对应的摄像头与处理后的左图像对应的摄像头之间有一定距离，则处理后的右图像因视角的问题产生的偏差要大于左图像因视角的问题产生的偏差，那么利用处理后的右图像进行特征提取，得到路沿的边缘信息的精准度比处理后的左图像进行特征提取得到路沿的边缘信息精准度低。同理，若当处理后的右图像的摄像头正对路沿拍摄图像时，则处理后的右图像进行特征提取得到路沿的边缘信息的精准度大于处理后的左图像进行特征提取，得到路沿的边缘信息精准度高。

步骤130可以包括：

步骤131：对处理后的左图像和处理后的右图像进行立体匹配，以得到深度图。

对处理后的左图像和处理后的右图像进行立体匹配，得到视差图，即处理后的左图像和处理后的右图像的同一目标像素的像素差值，然后根据视差图计算得到深度图，其中，计算该深度图的公式为

其中z为深度值，f为焦距，disparity为视差值，b为基线(双目相机的两个摄像头中心间距)，然后根据多个深度值构造成深度图。深度图为图像采集设备与深度图中每个像素点对应实际位置之间的距离作为像素值所构成的图像。根据立体匹配，获得深度图可以更好的还原路沿的三维图像。

图4是本申请一示例性实施例提供的左图像和右图像预处理方法的流程示意图。如图4所示，步骤112可以包括：

步骤1121：对双目相机进行标定，得到双目相机的畸变系数。

具体的，可打印一种张正友棋盘格，把它贴在一个平面上，作为标定物。通过调整标定物或摄像机的方向，为标定物拍摄不同方向的照片，从照片中提取棋盘格角点。估算理想无畸变的情况下，五个内参和六个外参，然后应用最小二乘法公式估算实际存在径向畸变下的畸变参数，最后再用最大似然法公式优化畸变参数。

步骤1122：根据畸变系数，校正两幅图像，得到处理后的左图像和处理后的右图像。

利用畸变系数校正双目相机拍摄出来的两幅图像，保证两幅图像消除图像畸变，即显示出来的是正常的图像，不是枕型畸变图像或者桶型畸变图像，然后将消除畸变的两幅图像分别作为处理后的左图像和处理后的右图像。

图5是本申请另一示例性实施例提供的路沿检测方法的流程示意图。如图5所示，在步骤120之前，上述路沿检测方法还可以包括：

步骤150：确定左图像或右图像的检测区域。

若选择左图像进行操作，则确定左图像的检测区域，从而方便计算路沿的边缘信息。若选择右图像进行操作，则确定右图像的检测区域，从而方便计算路沿的边缘信息。

步骤160：获取检测区域的灰度直方图。

根据检测区域得到红、绿以及蓝三色分量。然后计算像素点的灰度值。将像素点颜色分量重新赋值，然后得到灰度图像。最后统计获得检测区域的灰度直方图。

步骤170：根据灰度直方图中路沿灰度值，对灰度直方图进行二值化处理，以得到灰度图像。

根据灰度直方图中路沿灰度值和地面灰度值，对图像进行灰度化增强，以区分路沿和地面，即对灰度直方图进行二值化处理，以得到可以区分路沿和地面的灰度图像。

其中，步骤120相应调整为：对灰度图像进行特征提取，得到路沿的边缘信息。

图6是本申请一示例性实施例提供的灰度直方图二值化处理方法的流程示意图。如图6所示，步骤170可以包括：

步骤171：根据灰度直方图，获取第一像素峰值以及第二像素峰值，其中，第一像素峰值大于第二像素峰值。

根据灰度直方图，可以直观的观察到直方图中有两个峰值，其中一个是地面区域的第一像素峰值，一个是路沿的第二像素峰值。根据公式

y[i]为第i个像素点，r为预设值，例如r可以为10或者5，以及利用滑动窗口检测出地面区域的第一像素峰值和路沿的第二像素峰值，其中第一像素峰值大于第二像素峰值。

步骤172：将灰度直方图中灰度值与第一像素峰值之间的差值小于第一预设阈值的像素点的灰度值赋值为第一预设灰度阈值。

根据公式p[i]＝0if p[i]＞p₁-10and p[i]＜p₁+10，其中p₁为第一像素峰值，p[i]为灰度直方图中第i个像素点的灰度值。当灰度直方图中灰度值与第一像素峰值之间的差值小于第一预设阈值时，该第一预设阈值可以为公式中的10，可将灰度值与第一像素峰值之间的差值取绝对值，那么将该灰度值赋值为第一预设灰度阈值，即0，从而使地面区域对应的图像显示全部为白色。另外，可以将地面区域对应的图像全部显示为黑色。

步骤173：将灰度值直方图中灰度值与第二像素峰值之间的差值小于第二预设阈值的像素点的灰度值赋值为第二预设灰度阈值。

根据公式p[i]＝255if p[i]＞P₂-10and p[i]＜P₂+10，其中P₂

为地面区域的第二像素峰值，p[i]为灰度直方图中第i个像素点的灰度值。当灰度直方图中灰度值与第二像素峰值之间的差值小于第二预设阈值时，该第二预设阈值可以为公式中的10，可将灰度值与第二像素峰值之间的差值取绝对值，那么将该灰度值赋值为第二预设灰度阈值，即255，从而使路沿对应的图像全部显示为黑色。另外，可以将路沿对应的图像全部显示为白色。若地面区域对应的图像为白色，路沿对应的图像为黑色，则第一像素峰值小于第二像素峰值。若地面区域对应的图像为黑色，路沿对应的图像为白色，则第一像素峰值大于第二像素峰值。

图7是本申请另一示例性实施例提供的路沿检测的流程示意图。如图7所示，步骤150可以包括：

步骤151：选取左图像或右图像中与图像采集设备的距离小于预设距离阈值的区域作为检测区域。

选取左图像中的100像素高度区域，选取的标准为高度区域内路沿与图像采集设备的距离小于预设距离阈值。可以理解为选取路沿离图像采集设备较近的区域。因为图像中选取路沿离图像采集设备较近的区域，其采集图像的精度更大，而选取路沿离图像采集设备较远的区域，其采集图像精度较小。

图8是本申请一示例性实施例提供的边缘信息提取方法的流程示意图。图9是本申请一示例性实施例提供的横向积分图计算方法的结构示意图。图10是本申请一示例性实施例提供的卷积计算方法的结构示意图。如图8所示，步骤120可以包括：

步骤122：对灰度图像进行横向积分计算，以得到横向积分图。

如图9所示，根据公式

p[n]为像素点的行矩阵，p[j]为像素点的列矩阵。对灰度图像进行横向积分计算，以得到横向积分图。

步骤123：根据横向积分图和预设的卷积核，计算得到卷积图像。

如图10所示，卷积的计算公式为

p[i]为卷积核，p[n]为像素矩阵的行矩阵，根据该公式与横向积分图的公式结合可计算出灰度图变成横向积分图的卷积值，则该公式为p[i][j]＝(sum[i+5][j]-sum[i])-(sum[i5])。其中p[i][j]为卷积核的第i行第j列的元素值。

步骤124：提取卷积图像的边缘特征，以得到边缘信息。

将计算出的多个卷积值构成卷积图，然后根据canny边缘检测算法(Canny edgedetector，是一个多级边缘检测算法)提取卷积图中边缘特征，从而得到路沿的边缘信息。

图11是本申请一示例性实施例提供的三维直线图像得到的流程示意图。如图11所示，步骤140可以包括：

步骤141：将边缘信息与深度图进行位置匹配，以得到路沿视差值。

将边缘信息与深度图进行位置匹配，即位置重合，确定重合区域，获取该区域所有的像素点。每个像素点均对应路沿视差值。

步骤142：根据路沿视差值，计算路沿的多个坐标值。

当得到路沿视差值之后，可以根据公式计算路沿的多个坐标值，该公式为：

其中z为深度值或者z坐标值或者高度，f为焦距，disparity为视差值，b为基线，u为横向像素中心点，v为纵向像素中心点，x为x轴坐标值，y为y轴坐标值。

步骤143：根据多个坐标值坐标，拟合出路沿的三维直线图像。

每个像素点的三维坐标确定之后，可构成三维图像，对该三维图像进行降噪处理，即可根据算法RANSAC(Random Sample Consensus，是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法)对三维图像进行降噪处理，防止图像失真或有其他因素影响图像的显示。然后将得到的三维图像拟合成精度更高的三维直线图像，即拟合出路沿的三维直线图像，从而提高检测路沿的精准度。

图12是本申请一示例性实施例提供的路沿检测装置的结构示意图。如图12所示，路沿检测装置20包括：获取模块201，用于获取包含路沿的左图像和右图像，其中，左图像和右图像为分别由不同视角获得的图像，特征提取模块202，用于对左图像或右图像进行特征提取，以得到路沿的边缘信息，立体匹配模块203，用于对左图像和右图像进行立体匹配，以得到深度图，其中，深度图表示图像采集设备与深度图中每个像素点对应实际位置之间的距离，以及三维图像模块204，用于根据边缘信息和深度图，得到路沿的三维直线图像。

本申请提供的一种路沿检测装置，通过获取模块201获取包含路沿的左图像和右图像，其中，左图像和右图像为分别由不同视角获得的图像，特征提取模块202对左图像或右图像进行特征提取，以得到路沿的边缘信息，立体匹配模块203对左图像和右图像进行立体匹配，以得到深度图，其中，深度图表示图像采集设备与深度图中每个像素点对应实际位置之间的距离，以及三维图像模块204根据边缘信息和深度图，得到路沿的三维直线图像。通过根据边缘信息和深度图，得到路沿的三维直线图像，从而提高了检测路沿的精确度。

图12是本申请另一示例性实施例提供的路沿检测装置的结构示意图。如图12所示，图像采集设备包括双目相机，其中获取模块201包括：

图像单元2011，用于采用双目相机获取路沿的两幅图像。

预处理单元2012，用于对两幅图像进行预处理，得到处理后的左图像和处理后的右图像。

特征提取模块202可进一步配置包括：对处理后的左图像或处理后的右图像进行特征提取，以得到路沿的边缘信息。

立体匹配模块203可进一步配置包括：对处理后的左图像和处理后的右图像进行立体匹配，以得到深度图。

其中，获取模块201与特征提取模块202和立体匹配模块203连接，特征提取模块202和立体匹配模块203与三维图像模块204连接。在一实施例中，预处理单元2012可进一步配置包括：对双目相机进行标定，得到双目相机的畸变系数，以及根据畸变系数，校正两幅图像，得到处理后的左图像和处理后的右图像。

在特征提取模块202之前还包括：

确定单元205，用于确定左图像或右图像的检测区域。

灰度直方图获取单元206，用于检测区域的灰度直方图。

处理单元207，用于根据灰度直方图中路沿灰度值，对灰度直方图进行二值化处理，以得到灰度图像。

其中，对左图像或右图像进行特征提取，得到路沿的边缘信息包括：对灰度图像进行特征提取，得到路沿的边缘信息。

在一实施例中，处理单元207可进一步配置包括：根据灰度直方图，获取第一像素峰值以及第二像素峰值；其中，第一像素峰值大于第二像素峰值，将灰度直方图中灰度值与第一像素峰值之间的差值小于第一预设阈值的像素点的灰度值赋值为第一预设灰度阈值，以及将灰度值直方图中灰度值与第二像素峰值之间的差值小于第二预设阈值的像素点的灰度值赋值为第二预设灰度阈值。

在一实施例中，确定单元205可进一步配置包括：选取左图像或右图像中与图像采集设备的距离小于预设距离阈值的区域作为检测区域。

特征提取模块202包括：

横向积分图单元2021：对灰度图像进行横向积分计算，以得到横向积分图。

卷积图像单元2022，用于根据横向积分图和预设的卷积核，计算得到卷积图像。

提取单元2023，用于提取卷积图像的边缘特征，以得到边缘信息。

三维图像模块204包括：

路沿视差值单元2041，用于将边缘信息与深度图进行位置匹配，以得到路沿视差值。

坐标值计算单元2042，用于根据路沿视差值，计算路沿的多个坐标值。

拟合单元2043，用于根据多个坐标值坐标，拟合出路沿的三维直线图像。

下面，参考图14来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图14图示了根据本申请实施例的路沿检测电子设备的框图。

如图14所示，路沿检测电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制路沿检测电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的路沿检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，路沿检测电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。

此外，该输入装置13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图14中仅示出了该路沿检测电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，路沿检测电子设备10还可以包括任何其他适当的组件。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种路沿检测方法，其特征在于，包括：

获取包含所述路沿的左图像和右图像；其中，所述左图像和所述右图像为分别由不同视角获得的图像；

对所述左图像或所述右图像进行特征提取，以得到所述路沿的边缘信息；

对所述左图像和所述右图像进行立体匹配，以得到深度图；其中，所述深度图表示图像采集设备与所述深度图中每个像素点对应实际位置之间的距离；以及

根据所述边缘信息和所述深度图，得到所述路沿的三维直线图像。

2.根据权利要求1所述的路沿检测方法，其特征在于，所述图像采集设备包括双目相机；其中，所述获取包含所述路沿的左图像和右图像包括：

采用所述双目相机获取所述路沿的两幅图像；

对所述两幅图像进行预处理，得到处理后的左图像和处理后的右图像；

所述对所述左图像或所述右图像进行特征提取，以得到所述路沿的边缘信息包括：

对所述处理后的左图像或所述处理后的右图像进行特征提取，以得到所述路沿的边缘信息；以及

所述对所述左图像和所述右图像进行立体匹配，以得到深度图包括：

对所述处理后的左图像和所述处理后的右图像进行立体匹配，以得到深度图。

3.根据权利要求2所述的路沿检测方法，其特征在于，所述对所述两幅图像进行预处理，得到所述处理后的左图像和所述处理后的右图像包括：

对所述双目相机进行标定，得到所述双目相机的畸变系数；以及

根据所述畸变系数，校正所述两幅图像，得到所述处理后的左图像和所述处理后的右图像。

4.根据权利要求1所述的路沿检测方法，其特征在于，在所述对所述左图像或所述右图像进行特征提取，得到所述路沿的边缘信息之前，还包括：

确定所述左图像或所述右图像的检测区域；

获取所述检测区域的灰度直方图；以及

根据所述灰度直方图中路沿灰度值，对所述灰度直方图进行二值化处理，以得到灰度图像；

其中，所述对所述左图像或所述右图像进行特征提取，得到所述路沿的边缘信息包括：

对所述灰度图像进行特征提取，得到所述路沿的边缘信息。

5.根据权利要求4所述的路沿检测方法，其特征在于，所述对所述灰度直方图进行二值化处理包括：

根据所述灰度直方图，获取第一像素峰值以及第二像素峰值；其中，所述第一像素峰值大于所述第二像素峰值；

将所述灰度直方图中灰度值与所述第一像素峰值之间的差值小于第一预设阈值的像素点的灰度值赋值为第一预设灰度阈值；以及

将所述灰度值直方图中灰度值与所述第二像素峰值之间的差值小于第二预设阈值的像素点的灰度值赋值为第二预设灰度阈值。

6.根据权利要求4所述的路沿检测方法，其特征在于，所述确定所述左图像或所述右图像的检测区域包括：

选取所述左图像或所述右图像中与所述图像采集设备的距离小于预设距离阈值的区域作为所述检测区域。

7.根据权利要求4所述的路沿检测方法，其特征在于，所述对所述左图像或所述右图像进行特征提取，得到所述路沿的边缘信息包括：

对所述灰度图像进行横向积分计算，以得到横向积分图；

根据所述横向积分图和预设的卷积核，计算得到卷积图像；以及

提取所述卷积图像的边缘特征，以得到所述边缘信息。

8.根据权利要求1所述的路沿检测方法，其特征在于，所述根据所述边缘信息和所述深度图，得到所述路沿的三维直线图像包括：

将所述边缘信息与所述深度图进行位置匹配，以得到所述路沿视差值；

根据所述路沿视差值，计算所述路沿的多个坐标值；以及

根据所述多个坐标值坐标，拟合出所述路沿的三维直线图像。

9.一种路沿检测装置，其特征在于，包括：

获取模块，用于获取包含所述路沿的左图像和右图像；其中，所述左图像和所述右图像为分别由不同视角获得的图像；

特征提取模块，用于对所述左图像或所述右图像进行特征提取，以得到所述路沿的边缘信息；

立体匹配模块，用于对所述左图像和所述右图像进行立体匹配，以得到深度图；其中，所述深度图表示图像采集设备与所述深度图中每个像素点对应实际位置之间的距离；以及

三维图像模块，用于根据所述边缘信息和所述深度图，得到所述路沿的三维直线图像。

10.一种路面施工车辆，其特征在于，包括：

车辆本体；

图像采集设备，所述图像采集设备设置在所述车辆本体上，所述图像采集设备用于采集路沿的图像；以及

如权利要求9所述的路沿检测装置；所述路沿检测装置与所述图像采集设备连接，所述路沿检测装置用于：

获取包含所述路沿的左图像和右图像；其中，所述左图像和所述右图像为分别由不同视角获得的图像；

对所述左图像或所述右图像进行特征提取，以得到所述路沿的直线参数；其中，所述直线参数表示多个边缘点构成所述路沿的边缘；

对所述左图像和所述右图像进行立体匹配，以得到深度图；其中，所述深度图表示图像采集设备与所述深度图中每个像素点对应实际位置之间的距离；以及

根据所述直线参数和所述深度图，得到所述路沿的三维直线图像。

Images