CN114049618B - 一种基于图-点-图变换的路面三维病害pci计算方法 - Google Patents

Abstract

本发明为一种基于图‑点‑图变换的三维路面病害的PCI计算方法，该计算方法能通过RGB图像直接计算路面三维病害的PCI，其中通过GA‑CNN网络实现三维病害图像筛选，通过图点图变换将RGB图像转化成含有距离信息的灰度映射图，通过对二维的灰度映射图的处理提取三维病害的三维特征，并进行破损分级和PCI计算。计算方法全过程都是对二维图像进行识别处理，相对于三维网络处理三维数据节省大量计算时间和算力，设置GA‑CNN算法减少了工作量，并给出了精确地体积计算方式，生成灰度映射图精度更高，可以达到亚毫米的像素精度，实现了三维病害类型快速识别、病害三维形态特征精准提取和病害破损程度的高效分级。

Description

一种基于图-点-图变换的路面三维病害PCI计算方法

技术领域

本发明涉及一种基于图-点-图变换的路面三维病害PCI计算方法。

背景技术

为了保证车辆在道路上的安全行驶以及延长道路的使用年限，需要定期对道路进行检测与养护，路面性能指标对路面养护方案的决策具有决定性意义，因此对路面性能指标计算十分有必要。路面状况指数（PCI）是评价道路路面破损程度的指标，综合了损坏类型；损坏程度；损坏范围或密度等三方面的定量状况，采用扣分法进行分析。路面破损状况评价以及养护决策分析如表1示：

病害的种类以及病害的破损程度和破损范围（面积）是路面状况指数（PCI）的三个重要参数，因此要对路面病害进行种类识别、破损分级、破损范围提取，路面的立体病害主要包括坑槽、沉陷和波浪拥包。

目前路面立体病害识别与特征检测方法主要是使用道路检测车和人工检测两种方法。道路检测车安装有激光弯沉测定仪、车载式颠簸累积仪等激光传感设备，在道路上以一定车速行驶，或者专业检测人员使用3m直尺、连续式平整度仪、摆式仪等非车载设备对路面弯沉、平整度和抗滑性等指标进行检测以及对路面病害进行识别和相关数据的采集。对于人工识别和测量病害的方法来说检测甚至需要关闭使用道路，同时会耗费大量的人力物力财力，检测效率也难得到保障。人工检测易受主观判断影响，缺乏一致的判断标准。道路检测车搭载的激光或雷达等采集设备价格昂贵，且采集的数据为距离信息，不能实现对路面破损指数的计算。传统的数字图形只能获取路面病害的纹理信息，不能得到高精度的三维病害的破损深度、破损体积等三维特征，目前并没有通过数字图像高精度识别三维病害并提取三维病害破损特征以及计算路面状况指数（PCI）的可行方法。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于图-点-图变换的三维路面病害的PCI计算方法。该计算方法能通过RGB图像直接计算路面三维病害的PCI，其中通过GA-CNN网络实现三维病害图像筛选，通过图点图变换将RGB图像转化成含有距离信息的灰度映射图，通过对二维的灰度映射图的处理提取三维病害的三维特征，并进行破损分级和PCI计算。

本发明解决所述技术问题采用的技术方案是，提供一种基于图-点-图变换的三维路面病害的PCI计算，其特征在于使用双目三维重建原理将病害RGB图像转化点云，再将点云转化成含有距离信息的图像，通过图像处理识别病害种类并获取形态特征实现破损分级，最终计算得到PCI。该方法包括以下内容：

（1）通过测试车搭载ZED双目相机获取左视镜头和右视镜头的RGB图像，通过GA-CNN算法对采集到的RGB图像进行有无病害识别，获得有病害的RGB图像，有病害的RGB图像对应的左视镜头和右视镜头采集的相应图像为一组含病害图像，获得含病害图像的路面三维病害的点云；

（2）对含病害图像的路面三维病害的点云进行预处理，通过对点云降采样、平面校准、点面距离计算处理获得包含距离信息的灰度映射图，该灰度映射图中每个颜色的像素点都对应一个点面距离，像素值在（0-255）范围内，点面距离范围取所有点的点面距离最大值和最小值；

（3）通过点面距离分布规律确定路面免检区域并初步框定病害范围生成范围二值草图，通过面积阈值去噪去除小范围噪声确定范围二值图，将灰度映射图与范围二值图叠加计算提取出最终的病害区域灰度映射图；

（4）结合病害区域灰度映射图中图像像素与实际采样面积的比例换算计算每个像素点代表的实际范围，统计范围二值图计算病害破损面积A₀，对病害区域灰度映射图的像素值进行加和并与像素单位面积进行乘法计算得到病害破损体积，找到颜色最深的像素值对应的实际距离，该值为破损的最大深度（突起高度）d₁；

（5）通过点面距离的最大深度的正负判断是坑槽沉陷还是波浪拥包，以单位进深d₀这一指标对坑槽和沉陷进行分类，结合破损程度（即最大深度）和破损面积对病害进行破损分级；

（6）在病害种类、破损程度、破损范围（即破损面积）三参数具备的情况下计算路面状况指数PCI。

与现有技术相比，本发明的有益效果是：

本发明中仅使用一种双目相机进行RGB图像采集，设备成本及价格相对低廉；使用经过遗传算法（GA）优化后的卷积神经网络（CNN）网络进行图像分类，能快速筛选判断有无病害。通过双目视觉原理将RGB图像转化成包含路面三位病害的点云以此得到病害三维特征，再通过插值计算将无序点云进行插值使其成为有序的矩阵，从而对应像素矩阵转化成图像，即将无序点云转化成包含距离信息的灰度映射图，将三维数据转化成二维数据，提升计算速度和检测效率，通过图点图变化将病害三维信息保存在图像中，通过图像处理实现特征提取，实现了仅通过RGB二维图像数据提取路面三维病害破损范围、破损深度（高度）、破损体积、病害种类、破损等级，并获得路面状况指数（PCI）的目的。

本发明中引入单位进深（d₀）和最大深度这两个指标，通过单位进深（d₀）对仅通过图像难以区分的坑槽与沉陷病害进行快速划分，结合单位进深和最大深度的正负值实现了病害种类的划分。

本发明计算方法全过程都是对二维图像进行识别处理，相对于三维网络处理三维数据节省大量计算时间和算力，设置GA-CNN算法减少了工作量，并给出了精确地体积计算方式，生成灰度映射图精度更高，可以达到亚毫米的像素精度，实现了三维病害类型快速识别、病害三维形态特征精准提取和病害破损程度的高效分级。

附图说明

图1为本发明方法流程图。

图2为本发明中相关采集设备的安装位置示意图。

图3为本发明基于图-点-图变换模型的三维路面病害的PCI计算方法中实施例中坑槽病害的采集处理获得范围二值图的过程示意图，其中，

第一行第一个图为坑槽图，是由双目相机采集的RGB图像；

第一行第二个图为点云示意图：cloudcompare软件界面中坑槽点云示意图；

第一行第三个图为灰度映射图：点云预处理后使用插值法生成的坑槽灰度映射图；

第二行第一个图为范围二值草图：免检区域外的疑似病害区域草图；

第二行第二个图为范围二值图：表示经去噪操作后的病害范围。

图4为点面距离的分布规律图：以点面距离做分布图，为正态分布图。

图5为体积计算图：以像素点面积和点面距离为数据，计算坑槽体积示意图。

具体实施方式

下面结合实施例及附图，详细叙述本发明。具体实施例仅是对发明的进一步详细地说明及解释，并不以此限定本发明的保护范围。

本发明中图-点-图变换是指RGB图像变换到无序点云，无序点云变换到灰度映射图的过程，该过程使得二维图像中包含了三维距离信息。

本发明基于图-点-图变换模型的三维路面病害的PCI计算方法，包括以下内容：

（1）使用ZED2i双目相机对路面信息进行采集，采集的方式为以测试车为载体，从左视镜头和右视镜头采集RGB图像，左视镜头和右视镜头采集到的图像分别记为左视图和右视图，ZED2i相机镜头焦距为2.12mm，基线为120mm，将所有RGB图像划分为有三维病害和无三维病害两类，构建图像数据库。

（2）搭建GA-CNN网络，以卷积神经网络为基础，使用GA算法对CNN模型超参数进行优化，以提升模型的识别准确率和识别速度。首先设定CNN的超参数范围，再使用GA算法选出最优的超参数组合（超参数是在开始学习过程之前设置值的参数，包括迭代次数、学习率等），得到优化的CNN模型结构，能同时得到最好的权值和模型结构。卷积神经网络CNN由一个输入层、一个输出层、四个卷积层、四个池化层和三个全连接层组成。输入层输入的图像为RGB图像（使用单张图像作为输入），卷积层是用于通过卷积运算执行特征图的特征提取，获得局部特征图，其中第一卷积层和第二卷积层的卷积核的大小为5*5，第三卷积层和第四卷积层的卷积核大小为3*3，所有卷积层的步长为1，所有池化层的步长为2。激活函数为Relu函数。池化层采用最大池化法，用来对图片进行压缩降维，减少参数，防止过拟合。全连接层把局部特征重新通过权值矩阵组装成完整的图，即将卷积提取的局部特征图拼接成完整的图，方便输出层输出，使用dropout函数防止或减轻过拟合问题。输出层使用Softmax函数进行输出。本实施例中使用GA算法对CNN的五个超参数进行优化，包括训练周期、训练批次大小、验证批次大小、学习率以及神经元抛弃率。根据遗传算法规则挑选最优的超参数组合，以提升CNN的训练速度以及训练准确率，GA-CNN算法是图像分类算法，三维病害图像采集时纹理特征相近，对病害种类进行图像分类准确率不高，为提升检测效率和准确度不使用该算法对病害种类进行划分，只判断有无三维病害。

利用（1）中建立的图像数据库训练GA-CNN网络，获得训练好的最优GA-CNN网络，用于判断RGB图像是否含有病害。

对于经过GA-CNN网络识别为含有三维病害的RGB图像，将其对应的左视镜头和右视镜头同一采样时刻采集的相应图像作为一组含病害图像图，根据双目视觉三维重建原理对含病害图像图进行三维重建，生成含有三维病害的路面点云。

（3）对含病害图像的路面三维病害的点云进行预处理，通过对点云降采样、平面校准、点面距离计算处理获得包含距离信息的灰度映射图，该灰度映射图中每个颜色的像素点都对应一个点面距离，像素值在（0-255）范围内，点面距离范围取所有点的点面距离最大值和最小值。

所述点云降采样：为了去除点云中的异常噪声和点云密度不均匀问题，同时减少点的数据量，使用空间降采样的方法对生成的点云进行降采样，降采样规则为：搜索以任意一点为球心，0.1毫米为半径球体范围，将范围内存在的除球心外的所有点去除，直至搜索完全部点云，获得降采样后的点云。

所述平面校准：在数据采集过程中会不可避免的存在车辆震动以及相机放置不水平的情况，上述情况会导致点云倾斜，需要对降采样后的点云进行旋转矫正：对降采样后的点云使用最小二乘法拟合平面，得到平面方程，计算平面法向量并以此作为旋转向量，按旋转向量旋转点云，得到平面校正后的点云，对校正后的点云再次使用最小二乘法拟合平面，得到校正后的平面方程。先进行点云降采样，减少点的数据量，有助于加快平面校准的计算速度，获得均匀分布的、稀疏的、拟合平面近似水平的点云。

所述点面距离计算：根据校正后点云的所有点的空间坐标和校正后的平面方程计算所有点到校正后拟合平面的距离，经过点云平面校准后的点到拟合平面的距离满足正态分布，统计当前点到平面距离分布，获得点面距离分布规律。

点面距离处理：根据点面距离分布规律划定路面正常点云分布范围即为免检区域，距离超出免检区域的点为疑似病害点。本实施例中划定免检区域的方式是根据概率3σ原则，将点面距离分布规律中大于2σ的区域判定为病害点，不大于2σ的区域判定为免检区域。

再按点的x、y坐标为像素矩阵的绝对位置，将点面距离的范围与0-255的灰度像素值对应，每个像素值代表一个点面距离。距离精度为：

其中d表示距离精度，d_max为包含病害区域和无病害区域所有点的点面距离最大值，d_min为包含病害区域和无病害区域所有点的点面距离最小值，单位为mm。

以点云降采样、平面校正和点面距离计算后的点云为对象通过插值的方法（将空缺值填上，形成紧密排列的像素点）绘制灰度映射图，灰度映射图将点面距离和像素值对应起来，形成含有高差范围的路面三维病害的二维灰度映射图。

（4）将超出免检区域的点绘制成范围二值图草图，所述范围二值图草图是指位于免检区域的点设置为同一个颜色，不在免检区域的点设置为另一种颜色。检测范围二值草图的所有封闭区域，将封闭区域面积小于面积阈值1%的噪声区域去除并将其设定为免检区域得到范围二值图。统计范围二值图计算病害破损面积A_0。本实施例中范围二值图中，设定病害区域为黑色像素，像素值为0，免检区域为白色像素，像素值为255。范围二值图草图中设定病害区域为白色像素，像素值为255；免检区域为黑色像素，像素值为0。

灰度映射图与范围二值图叠加计算，得到新的像素矩阵，将像素值大于255的像素点全部去除，得到病害区域灰度映射图。

根据病害区域灰度映射图中像素点的横纵分布和采集区域的大小计算每个像素点代表的实际面积。像素颜色最值换算成破损的最大深度或突起高度d₁，即对病害区域灰度映射图的像素值进行加和并与像素单位面积进行乘法计算得到病害破损体积，找到颜色最深的像素值对应的实际距离，该值为破损的最大深度（突起高度）。

（5）通过点面距离的最大深度的正负判断是坑槽沉陷还是波浪拥包，若d₁为正即病害类型为波浪拥包，若d₁为负值，则病害种类为坑槽或沉陷。用单位进深d₀区分坑槽和沉陷。规定d₀小于0.5的病害为沉陷，大于0.5的为坑槽。单位进深d₀为单位病害破损面积下对应的病害最大深度，计算公式为：

其中：d₀为单位进深（mm），d₁为最大深度（mm），A₀为病害区域的面积（mm²）。

病害破损分级划分：

d₁范围小于25mm为轻度沉陷、d₁范围大于或等于25mm为重度沉陷；

d₁范围小于25mm且A₀小于100000mm²为轻度坑槽；d₁范围大于或等于25mm且A₀大于或等于100000mm²为重度坑槽；d₁范围小于25mm且A₀大于或等于100000mm²、d₁范围大于或等于25mm且A₀小于100000mm²为中度坑槽；

d₁范围小于25mm为轻度波浪拥包、d₁范围大于或等于25mm为重度波浪拥包；

（6）PCI计算

PCI计算公式为：

其中：DR —— 路面破损率（%）；

a₀ —— 沥青路面采用 15.00；

a₁ —— 沥青路面采用 0.412；

A_i —— 第 i 类路面损坏的累计面积（mm²），即为前面计算的同类病害区域的面积的累加和；

A —— 路面检测或调查面积（mm²），即指所有的检测区域面积；

w_i —— 第 i 类路面损坏的权重或换算系数，见表 2；

i —— 路面损坏类型，包括损坏程度（轻、中、重）；

i₀ —— 损坏类型总数，沥青路面取 7。

根据表2中的病害类型对应的权重计算路面破损率和PCI。其中A是所有图像采集区域的总面积。

本发明未述及之处适用于现有技术。

Claims (7)

1.一种基于图-点-图变换的三维路面病害的PCI计算方法，其特征在于，该方法包括以下内容：

通过测试车搭载ZED双目相机获取左视镜头和右视镜头的RGB图像，通过GA-CNN算法对采集到的RGB图像进行有无病害识别，获得有病害的RGB图像，有病害的RGB图像对应的左视镜头和右视镜头采集的相应图像为一组含病害图像，获得含病害图像的路面三维病害的点云；

对含病害图像的路面三维病害的点云进行预处理，通过对点云降采样、平面校准、点面距离计算处理获得包含距离信息的灰度映射图，该灰度映射图中每个颜色的像素点都对应一个点面距离，像素值在（0-255）范围内，点面距离范围取所有点的点面距离最大值和最小值；

通过点面距离分布规律确定路面免检区域并初步框定病害范围生成范围二值草图，通过面积阈值去噪去除小范围噪声确定范围二值图，将灰度映射图与范围二值图叠加计算提取出最终的病害区域灰度映射图；

结合病害区域灰度映射图中图像像素与实际采样面积的比例换算计算每个像素点代表的实际范围，统计范围二值图计算病害破损面积A₀，对病害区域灰度映射图的像素值进行加和并与像素单位面积进行乘法计算得到病害破损体积，找到颜色最深的像素值对应的实际距离，该值为破损的最大深度d₁；

通过点面距离的最大深度的正负判断是坑槽沉陷还是波浪拥包，以单位进深d₀这一指标对坑槽和沉陷进行分类，结合破损的最大深度和破损面积对病害进行破损分级；

在病害种类、破损的最大深度、破损面积三参数具备的情况下计算路面状况指数PCI。

2.根据权利要求1所述的基于图-点-图变换的三维路面病害的PCI计算方法，其特征在于：

使用ZED2i双目相机对路面信息进行采集，采集的方式为以测试车为载体，从左视镜头和右视镜头采集RGB图像，左视镜头和右视镜头采集到的图像分别记为左视图和右视图，ZED2i相机镜头焦距为2.12mm，基线为120mm，将所有RGB图像划分为有三维病害和无三维病害两类，构建图像数据库；利用图像数据库训练GA-CNN网络。

3.根据权利要求1所述的基于图-点-图变换的三维路面病害的PCI计算方法，其特征在于：

GA-CNN算法的过程是：使用GA算法对CNN模型超参数进行优化，首先设定CNN的超参数范围，再使用GA算法选出最优的超参数组合，得到优化的CNN模型结构，能同时得到最好的权值和模型结构；卷积神经网络CNN由一个输入层、一个输出层、四个卷积层、四个池化层和三个全连接层组成；输入层输入的图像为RGB图像，卷积层是用于通过卷积运算执行特征图的特征提取，获得局部特征图，其中第一卷积层和第二卷积层的卷积核的大小为5*5，第三卷积层和第四卷积层的卷积核大小为3*3，所有卷积层的步长为1，所有池化层的步长为2；激活函数为Relu函数；池化层采用最大池化法，用来对图片进行压缩降维，减少参数，防止过拟合；全连接层把局部特征重新通过权值矩阵组装成完整的图，即将卷积提取的局部特征图拼接成完整的图，方便输出层输出，使用dropout函数防止或减轻过拟合问题；输出层使用Softmax函数进行输出。

4.根据权利要求1所述的基于图-点-图变换的三维路面病害的PCI计算方法，其特征在于：

所述点云降采样：搜索以任意一点为球心，0.1毫米为半径球体范围，将范围内存在的除球心外的所有点去除，直至搜索完全部点云，获得降采样后的点云；

所述平面校准：对降采样后的点云使用最小二乘法拟合平面，得到平面方程，计算平面法向量并以此作为旋转向量，按旋转向量旋转点云，得到平面校正后的点云，对校正后的点云再次使用最小二乘法拟合平面，得到校正后的平面方程；

所述点面距离计算：根据校正后点云的所有点的空间坐标和校正后的平面方程计算所有点到校正后拟合平面的距离，经过点云平面校准后的点到拟合平面的距离满足正态分布，统计当前点到平面距离分布，获得点面距离分布规律；

点面距离处理：根据点面距离分布规律划定路面正常点云分布范围即为免检区域，距离超出免检区域的点为疑似病害点；将点面距离的范围与0-255的灰度像素值对应，每个像素值代表一个点面距离，距离精度为：

其中d表示距离精度，d_max为包含病害区域和无病害区域所有点的点面距离最大值，d_min为包含病害区域和无病害区域所有点的点面距离最小值，单位为mm；

通过插值的方法绘制灰度映射图，灰度映射图将点面距离和像素值对应起来，形成含有高差范围的路面三维病害的二维灰度映射图。

5.根据权利要求4所述的基于图-点-图变换的三维路面病害的PCI计算方法，其特征在于：划定免检区域的方式是根据概率3σ原则，将点面距离分布规律中大于2σ的区域判定为病害点，不大于2σ的区域判定为免检区域。

6.根据权利要求1所述的基于图-点-图变换的三维路面病害的PCI计算方法，其特征在于：所述面积阈值为1%，将范围二值草图中封闭区域面积小于面积阈值1%的噪声区域去除并将其设定为免检区域得到最终的范围二值图，灰度映射图与最终的范围二值图叠加计算，得到新的像素矩阵，将像素值大于255的像素点全部去除，得到病害区域灰度映射图。

7.根据权利要求1所述的基于图-点-图变换的三维路面病害的PCI计算方法，其特征在于：若d₁为正即病害类型为波浪拥包，若d₁为负值，则病害种类为坑槽或沉陷；用单位进深d₀区分坑槽和沉陷，规定d₀小于0.5的病害为沉陷，大于0.5的为坑槽；单位进深d₀的计算公式为：

其中：d₀为单位进深（mm），d₁为最大深度（mm），A₀为病害区域的面积（mm²）；

病害破损分级划分：

d₁范围小于25mm为轻度沉陷、d₁范围大于或等于25mm为重度沉陷；

d₁范围小于25mm且A₀小于100000mm²为轻度坑槽；d₁范围大于或等于25mm且A₀大于或等于100000mm²为重度坑槽；d₁范围小于25mm且A₀大于或等于100000mm²、d₁范围大于或等于25mm且A₀小于100000mm²为中度坑槽；

d₁范围小于25mm为轻度波浪拥包、d₁范围大于或等于25mm为重度波浪拥包。

Images