CN106978774A - 一种路面坑槽自动检测方法 - Google Patents

Abstract

本发明涉及道路检测领域，公开了一种路面坑槽的自动检测方法。其中该方法包括：在路面检测车上安装左、右两个图像采集装置，并对左右两个图像采集装置进行双目标定，获得标定参数；左、右图像采集装置同时采集路面同一位置的图像，并利用标定参数对左右图像进行矫正处理；利用图像处理技术，对矫正后的左右图像进行匹配，得到视差图；根据所述视差图的像素参数，以及所述左、右两个图像采集装置的间距、焦距、和安装仰角，将所述视差图的每个像素坐标转换为三维坐标；识别像素点中的坑槽点；确定每行的坑槽面积；统计所述图像对应路面的坑槽总面积和平均深度。由此可以实现路面坑槽的识别及坑槽面积和深度的测量。

Description

一种路面坑槽自动检测方法

技术领域

本发明涉及路面检测领域，更具体地，涉及一种路面坑槽的自动检测方法。

背景技术

路面坑槽指的是路面局部集料丧失而在路面表面形成的坑洞，其为一种较为严重的路面病害形式。出现路面坑槽后，不仅会造成行车颠簸不舒适，而且还会存在安全隐患，尤其在高速行驶情况下，路面坑槽可造成严重的交通事故。因此公路管理部门需要及时掌握路面坑槽信息并进行修复，以确保道路行车安全。传统的人工坑槽检测方法不仅效率低，获取的信息不准确，而且在交通量大、车速快的道路如市政道路、高速公路上很难实施，因此实用、高效的路面坑槽自动化检测技术有非常大的市场需求。

为了提高道路的养护管理水平，近年来涌现出一些路面坑槽自动检测技术，主要分为两类。一类是基于路面2D图像的路面坑槽自动检测方法，这种方法主要采用车载线阵相机配合补充的照明系统进行路面图像的连续采集，可以车流速度下采集路面的2D图像，然后通过灰度信息的处理判断坑槽的边缘，获得坑槽的位置和面积等信息。另一类是基于线激光的3D路面坑槽自动检测方法，这种方法通过车载相机及线激光发射器，利用三角测量原理获取路面的三维数据，在此基础上进行路面坑槽的自动识别及相关信息提取。

然而，对于上述两类现有的技术，仍然存在一些缺陷。具体地，对于基于2D图像的路面坑槽自动检测方法，其主要缺点是车载设备结构复杂、坑槽识别准确率低，且无法获得坑槽的深度信息。而对于基于线激光3D路面坑槽自动检测方法，虽然其能获得路面三维信息和路面坑槽的深度信息，但是设备安装需要进行车辆改造、硬件成本高、使用不安全，且额外需要专业的操作人员进行设备操作，因此很难用于公路的日常巡查管理，以及进行经常性的路面坑槽信息采集。

发明内容

有鉴于此，本发明在于提供一种路面坑槽面积测量方法，以解决上述现有技术中路面信息采集不全面、成本高、操作复杂的问题。

为解决上述问题，本发明提供一种路面坑槽的自动检测方法，包括：

在路面检测车上安装左、右两个图像采集装置，并对左右两个图像采集装置进行双目标定，获得标定参数；左、右图像采集装置同时采集路面同一位置的图像，并利用标定参数对左右图像进行矫正处理；利用图像处理技术，对矫正后的左右图像进行匹配，得到视差图；根据所述视差图的像素参数，以及所述左、右两个图像采集装置的间距、焦距、和安装仰角，将所述视差图的每个像素坐标转换为三维坐标；逐行对各像素点的X坐标和Z坐标进行一元二次回归，计算每个像素点的基准高度值，根据基准高度值和实际高度值的差值大小，识别像素点中的坑槽点；对坑槽点图像进行图像处理，去掉孤立的坑槽点；根据每行所述坑槽点的X和Z坐标，以及所述左、右两个图像采集装置的安装高度、仰角、焦距和图像传感器尺寸，确定每行的坑槽面积；统计所述图像对应路面的坑槽总面积和平均深度。由此可以实现路面坑槽的识别及坑槽面积和深度的测量。

通过上述技术方案，可以自动识别路面坑槽，并实现路面坑槽面积和深度的精确测量统计，且具有成本较低、结构简单、使用安全、操作简便的优点；同时该方法由于识别的准确率高、采集的信息完整，因而可用于公路管理部门的日常道路巡查工作，及时获取路面坑槽损坏信息。

附图说明

图1是本发明一种实施方式的路面坑槽自动检测方法的流程图；

图2是本发明一种实施方式的路面坑槽自动检测设备的示意图；

图3示出了本发明一种实施方式的矫正后的图像；以及

图4示出了本发明一种实施方式的视差图。

具体实施方式

为清楚说明本发明中的方案，下面给出优选的实施例并结合附图详细说明。

图1是本发明一种实施方式的路面坑槽自动检测方法的流程图。

如图1所示，本发明一种实施方式提供的路面坑槽自动检测方法包括：

100：在路面检测车上安装左、右两个图像采集装置，并对左右两个图像采集装置进行双目标定，获得标定参数；

102：左、右图像采集装置同时采集路面同一位置的图像，并利用标定参数对左右图像进行矫正处理；

104：利用图像处理对矫正后的左右图像进行匹配，根据所述视差图的像素参数，以及所述左、右两个图像采集装置的间距、焦距、和安装仰角，利用三角测量原理，将所述视差图的每个像素坐标转换为三维坐标；

106：逐行通过一元二次回归获得路面的基准断面，计算基准断面与实测路面断面的高差，将高差大于阈值的像素点识别为路面的坑槽点，高差计为坑槽的深度；

108：对坑槽点图像进行图像处理，去掉孤立的坑槽点，获得最终的坑槽图像；

110：统计所述图像对应路面的坑槽面积。

120：对各行坑槽面积累加得到完整的坑槽面积；对各坑槽点的深度值进行平均得到坑槽平均深度值

通过上述实施方式，可以利用两个图像采集装置同时对相同区域进行图像采集，然后可以对所采集的图像进行处理得到视差图，从而可以基于该视差图和图像采集装置的相关参数进行相应的处理实现可以实现路面坑槽面积及深度的精确测量统计。由此，无需对现有车辆进行改造，就可以低成本、高精度且简便安全地实现坑槽面积的确定和统计。同时该方法由于识别的准确率高、采集的信息完整，因而可用于公路管理部门的日常道路巡查工作，及时获取路面坑槽损坏信息。

其中，视差指的是从有一定距离的两个点上观察同一个目标所产生的方向差异。双目立体视觉指的是机器视觉的一种重要形式，它是基于视差原理并利用图像采集设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

本领域技术人员应当理解，左、右两个图像采集装置的间距、焦距、安装仰角、安装高度、仰角、焦距、图像传感器尺寸、镜头畸变、比例因子、图像中心坐标、图像采集装置在三个方向上的偏移量和旋转角度等参数可以采用现有技术中已有的方式获取。例如，可以利用已知尺寸的棋盘格进行双目标定的方式获取标定参数，由于该过程属于现有技术，在此不再赘述。

其中，焦距、镜头畸变、比例因子、图像中心坐标等参数为图像采集装置的内参，而图像采集装置在三个方向上的偏移量和旋转角度(例如，以左图像采集装置为基准，右图像采集装置相对于左图像采集装置的位置，在三个方向上的偏移量和旋转角度)等参数为图像采集装置的外参。

图2是本发明一种实施方式的路面坑槽面积测量设备的示意图。

如图2所示，该路面坑槽面积测量设备包括设置在路面检测车(即，车辆载体)的车轮处的旋转编码器1、设置在路面检测车上的处理装置2(例如，其可以为计算机)、以及在路面检测车上安装的左、右两个图像采集装置31和32(例如，如图2所示，安装在车顶前方的两个面阵图像采集装置，即两个图像采集装置平行设置在车顶前方)。

此外，该路面坑槽面积测量设备还可以包括分频卡(未示出)。

其中，图2中的检测车的前方所示的路面深色部分是两个图像采集装置的采集区域的重叠区域部分。换言之，即两个图像采集装置分别采集到的图像的重叠区域部分。

优选地，左、右两个图像采集装置31和32可以具有相同的参数，分辨率例如可以为1920*1200，且二者平行安装横向位置之间的距离例如可以为大约60cm。

优选地，左、右两个图像采集装置31和32可以均安装成光平面与路面大约成75度角。

本领域技术人员应当理解，上述描述关于数值的描述仅仅是示例性的，并非用于限定本发明。

下面结合图1和图2对本发明的路面坑槽面积测量进行进一步的描述。

根据本发明一种实施方式，左、右两个图像采集装置31和32可以基于旋转编码器1的输出信号进行图像采集。例如，旋转编码器每1mm产生一个脉冲信号(该脉冲信号可以利用已有的采集软件获取)，可以控制两个相机每5000个脉冲(5m)进行一次路面图像的采集，获得包括左路面图像和右路面图像的成对路面图像(左路面图像和右路面图像在下文中分别简称为左图和右图)，记录每对图像采集时的累积脉冲数(即，行驶距离)。

本领域技术人员应当理解，上述描述仅仅是示例性的，并非用于限定本发明。

此外，对采集的每对图像，由于图像采集装置安装在车辆的顶部，受限于拍摄角度以及车辆前部的影响，可以截取第1行-600行进行图像裁减后保存，清晰度、后续处理情况较好。

根据本发明一种实施方式，步骤S102中的所述矫正处理的过程包括：

将图像处理为极线平行、光轴方向平行的图像后，对采集两幅图像进行双目匹配。

举例来讲，利用标定获得的标定参数，实时对截取后的路面左图和右图进行矫正，使得矫正后的图片极线平行，两条光轴方向也平行；以及之后对矫正后的左右两幅图像的重叠区域部分进行全像素的双目匹配。

其中，举例来讲，以左图为基准，设左图中任一像素点坐标为P_mn(u_mn，v_mn)，根据图像匹配算法全局或区域匹配算法，搜索获得该像素点在右图的像素坐标(u_rmn，v_rmn)。

本领域技术人员应当理解，这里描述的算法为现有技术中已有的算法，在此不再赘述。

图3示出了根据本发明一种实施方式的矫正后的图像。在图3中，图左侧为对应于左图像采集装置31采集的图像的矫正后的图像，而图右侧为对应于右图像采集装置32采集的图像的矫正后的图像。

根据本发明一种实施方式，对于视差图的确定，举例来讲，以左图为基准，对任一第i个像素点P_mn，根据其在左右图的像素坐标差，可以获得该点的双目视差d_mn＝u_mn-u_rmn，然后将d_mn转换为RGB或灰度值，即可获得路面的视差图。如图3所示，图3示出了本发明一种实施方式的视差图。

根据本发明一种实施方式，利用三角测量原理将每个像素坐标转换为三维坐标的过程包括：

其中，xyz分别为三维坐标，u_mn为像素P_mn点在左图的像素列号，u_rmn为P_mn点在右图的像素列号，v_mn为P_mn点在左图的像素行号，T为两相机的间距，f为镜头焦距，α为相机安装的仰角，垂直底面向下为0度；mn为行列坐标。

举例来讲，可以根据三角测量原理，利用视差图及图像采集装置的焦距、基线长度、安装的仰角等参数，将路面视差图转换为路面三维坐标。具体地，以左图为基准，任一像素点P_mn的三维坐标按如上公式计算。

对于每幅图像，获取与路面图像像素点对应的三维坐标后，可以逐行(断面)进行坑槽的自动识别及面积和深度计算，具体步骤参见下述描述。

例如，对第一个断面，逐行获得所述每个像素点的基准高度值，根据基准高度值与实测高度值的差值大小，筛选识别像素点中的坑槽点；根据像素点的x和z坐标进行一元二次回归获得各像素点的基准高度值。

具体地，根据本发明一种实施方式，采用以下公式逐行获得所述第i个像素点的像素坐标的基准高度值，得到基准断面：

Z_i0＝ax²+bx+c (1)

根据本发明一种实施方式，筛选像素点中的坑槽点的过程包括：

确定所述基准高度值Z_i0与实测的高度值Z之间的差值；将所述差值大于阈值的像素点作为所述坑槽点。

其中，在实施例中，所述图像第一行第i列像素点的高差值Δ_1i，采用以下公式计算得到：

其中，li为第一行第i个像素点；i＝1～m；为第一行第i个像素点采用公式1的计算值；Z_1i为第一行第i个像素点转换为三维坐标后的实测的高度值Z值。

优选地，所述阈值例如可以为10mm，但本发明不限于此。

优选地，对标记有坑槽点的黑白图像(例如，坑槽点标为黑色，非坑槽点标为白色)，利用图像形态学处理中的腐蚀膨胀算法，对坑槽图像进行进一步处理，去除孤立的坑槽点，可以得到最终的坑槽图像及对应的像素点位置。

根据本发明一种实施方式，采用以下公式确定每行的坑槽面积：

其中，An为第n行坑槽面积；x_r为第n行最右侧坑槽点的x坐标；x_l为第n行最左侧坑槽点的x坐标；H为相机安装高度；α为相机安装的仰角，垂直地面向下为0度，1为相机传感器的高度；f为相机镜头的焦距。

根据本发明一种实施方式，统计所述图像对应路面的坑槽面积的过程包括：

也就是，对整幅图像按n行的行面积A_i进行累加，根据上述公式计算得到坑槽的总面积。

优选地，n的值例如可以为600，采用图像前600行像素点，但本发明不限于此。

根据本发明一种实施方式，该方法还包括，获得坑槽平均深度；m为当前行的第m个像素点；h_m为第m个像素点的高度，即前述的差值Δ_1i。

举例来讲，利用上述实施方式中描述的筛选像素点中的坑槽点的过程从图像的第一行开始直到最后一行，标记出所有坑槽点像素位置，进而计算坑槽深度。

总体来讲，结合上述实施方式可知，本发明主要在于：

1)利用两台图像采集装置(例如，普通的面阵相机)同步采集路面图像，并利用双目视觉技术，进行路面三维重建，获得路面三维数字模型。

2)采用高效率的区域匹配算法，实时进行双目图像匹配和视差图计算。通过对每个像素点的视差进行提前预估，来缩小块匹配的范围，从而提高视差图的精度并且减少算法的计算量满足实时处理的要求，从而无需大容量的图像存储设备对双目图像进行存储后处理；

3)采用基于断面的坑槽识别方法，按断面依次进行坑槽的识别，利用路面同一断面各点的x坐标和z坐标进行二次多项式回归，获得路面的基准断面线，根据基准断面线与实测断面线的高差，判断是否存在坑槽点，并计算各坑槽点深度；

3)对所有坑槽点形成的坑槽图像进行图像形态学处理，去掉孤立的坑槽点，获得最终的路面坑槽图像；

4)按行进行坑槽面积计算，然后逐行累加，得到坑槽总面积；

5)对所有坑槽点深度进行平均，得到坑槽的平均深度。

从上述实施方式中可以看出，本发明所述的方法可以实现路面坑槽面积的精确测量统计，且使用该方法无需对现有车辆进行改造，从而具有成本较低、结构简单、使用安全、操作简便的优点；同时该方法由于识别的准确率高、采集的信息完整，因而可用于公路管理部门的日常道路巡查工作，及时获取路面坑槽损坏信息。

对于本发明各个实施例中所阐述的方案，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种路面坑槽的自动检测方法，其特征在于，包括：

在路面检测车上安装左、右两个图像采集装置，并对左右两个图像采集装置进行双目标定，获得标定参数；

左、右图像采集装置同时采集路面同一位置的图像，并利用标定参数对左右图像进行矫正处理，利用图像处理对矫正后的左右图像进行匹配，获得视差图；

根据所述视差图的像素参数、以及所述左、右两个图像采集装置的间距、焦距、和安装仰角，将所述视差图的每个像素坐标转换为三维坐标；

逐行获得所述每个像素点的基准高度值，根据基准高度值与实测高度值的差值大小，筛选识别像素点中的坑槽点；

根据每行所述坑槽点的坐标，以及所述左、右两个图像采集装置的安装高度、仰角、焦距和相机图像传感器尺寸，确定每行的坑槽面积：

统计所述图像对应路面的坑槽面积。

2.根据权利要求1所述的测量方法，其特征在于，所述矫正处理的过程包括：

将图像处理为极线平行、光轴方向平行的图像后，对采集两幅图像进行双目匹配。

3.根据权利要求1所述的测量方法，其特征在于，所述转换为三维坐标的过程包括：

$x=\frac{u_{mn}}{u_{mn}-u_{rmn}}\×T$

$y=\frac{v_{mn}}{u_{mn}-u_{rmn}}\×T\×cos\mathrm{\α}-\frac{f\×T}{u_{mn}-u_{rmn}}\×sin\mathrm{\α}$

$z=\frac{v_{mn}}{u_{mn}-u_{rmn}}\×T\×sin\mathrm{\α}-\frac{f\×T}{u_{mn}-u_{rmn}}\×cos\mathrm{\α}$

其中，xyz分别为三维坐标，u_mn为第i个像素P_mn点在左图的像素列号，u_rmn为P_mn点在右图的像素列号，v_mn为P_mn点在左图的像素行号，T为两个图像采集装置的间距，f为镜头焦距，α为相机安装的仰角；mn为行列坐标。

4.根据权利要求3所述的测量方法，其特征在于，采用以下一元二次回归公式逐行获得所述每个像素点的基准高度值Z_i0：

Z_i0＝ax²+bx+c i为像素点序号。

5.根据权利要求4所述的测量方法，其特征在于，识别像素点中的坑槽点的过程包括：

确定所述基准高度值Z_i0与实际的高度值Z_i之间的差值；将所述差值大于阈值的像素点作为所述坑槽点。

6.根据权利要求5所述的测量方法，其特征在于，采用以下公式确定每行的坑槽面积：

$A_n=(x_r-x_l)\×H\×\[tan(\mathrm{\α}+\frac{n}{600}\×{\tan }^{-1}\frac{l}{2f})tan(\mathrm{\α}+\frac{n}{600}\×{\tan }^{-1}\frac{l}{2f})-tan(\mathrm{\α}+\frac{n-1}{600}\×{\tan }^{-1}\frac{l}{2f})\]$

其中，An为第n行坑槽面积；x_r为第n行最右侧坑槽点的x坐标；x_l为第n行最左侧坑槽点的x坐标；H为相机安装高度；α为相机安装的仰角，l为相机图像传感器的高度；f为相机镜头的焦距。

7.根据权利要求6所述的测量方法，其特征在于，统计所述图像对应路面的坑槽面积的过程包括：

$A_0=\underset{i=1}{\overset{n}{\Σ}}{A}_i.$

8.根据权利要求5所述的测量方法，其特征在于，还包括，根据所述差值，获得坑槽平均深度；

其中，h_m为第m个坑槽点的深度值。