CN115424232A - 一种路面坑槽的识别和评价方法、电子设备及存储介质 - Google Patents

一种路面坑槽的识别和评价方法、电子设备及存储介质 Download PDF

Info

Publication number
CN115424232A
CN115424232A CN202211373680.2A CN202211373680A CN115424232A CN 115424232 A CN115424232 A CN 115424232A CN 202211373680 A CN202211373680 A CN 202211373680A CN 115424232 A CN115424232 A CN 115424232A
Authority
CN
China
Prior art keywords
pit
image
pavement
pixel
pavement pit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211373680.2A
Other languages
English (en)
Other versions
CN115424232B (zh
Inventor
贾磊
周子益
孟安鑫
刘星
李鋆元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Traffic Science Research Institute Co ltd
Shenzhen Urban Transport Planning Center Co Ltd
Original Assignee
Shenzhen Traffic Science Research Institute Co ltd
Shenzhen Urban Transport Planning Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Traffic Science Research Institute Co ltd, Shenzhen Urban Transport Planning Center Co Ltd filed Critical Shenzhen Traffic Science Research Institute Co ltd
Priority to CN202211373680.2A priority Critical patent/CN115424232B/zh
Publication of CN115424232A publication Critical patent/CN115424232A/zh
Application granted granted Critical
Publication of CN115424232B publication Critical patent/CN115424232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Road Repair (AREA)
  • Image Processing (AREA)

Abstract

一种路面坑槽的识别和评价方法、电子设备及存储介质，属于路面病害检测技术领域。为提高路面坑槽检测的准确度。本发明采集路面坑槽的定位、病害数据，通过具有全球导航定位系统、惯性导航系统、里程编码计、相机以及边缘计算模组的采集车采集路面坑槽的定位数据、道路图像，依据坑槽尺寸的维度和类型特征，构建坑槽状态评价指标体系，评价指标包括长度、面积、角度，构建UNet深度学习网络结构进行路面坑槽的道路图像的路面坑槽区域识别及数据提取，然后进行像素运算处理，划分坑槽智能识别图像中的路面坑槽区域、非路面坑槽区域，利用卷积处理方法提取路面坑槽区域的边缘像素数据计算评价指标。本发明提高图像的质量和有效信息的提取效果。

Description

一种路面坑槽的识别和评价方法、电子设备及存储介质
技术领域
本发明属于路面病害检测技术领域，具体涉及一种路面坑槽的识别和评价方法、电子设备及存储介质。
背景技术
路面坑槽是指在行车荷载及自然因素的作用下，沥青路面集料和沥青逐渐剥落并散失、路面骨料局部脱落而产生的坑洼。路面坑槽是沥青路面的典型病害之一，行驶的车辆经过坑槽时产生较大冲击荷载，车辆出现“颠簸”现象，严重影响了道路的安全性和舒适性，降低道路的使用性能和服务水平。如不能及时维护，路面坑槽面积会在道路使用过程中迅速扩展，向下发展对基层甚至路基产生破坏，对道路造成更严重的损坏。
路面坑槽修复前，需要开展两个方面的工作：
1.通过道路检测的方式，准确发现路面坑槽，并确定路面坑槽的准确位置。病害的准确定位，可以为养护人员提供准确的维修地点，保障修复工作的高效、准确地进行。然而，路面坑槽定位的相关研究较少，有研究将车辆的GPS定位等效为路面坑槽的定位，GPS定位的精度不高且不稳定，导致路面坑槽的修复工作中花费大量的时间用于路面坑槽的寻找和校核工作，且后续的路面坑槽修复效果比对时，容易出现图像配对不准确的问题。
2.确定路面坑槽的修复时机，修复时机的确定需要根据路面坑槽的演化规律进行确定。目前，关于路面坑槽的演化规律研究中，存在两个方面的阻力，导致路面坑槽的演化规律研究较难进行：（1）路面坑槽定位精度不高，难以实现对同一个路面坑槽病害的状态演化规律评价；（2）路面坑槽的评价指标不完善，现有对路面坑槽的评价集中于面积、长度、宽度的指标的分析，没有考虑路面坑槽的发育走向，难以准确揭示路面坑槽的演化机理，进而无法为路面坑槽的修复提供合理的修复时机和修复措施。
公开号为CN202010328827.0、发明名称为“一种路面坑槽识别方法及其装置”的专利提出利用路面的灰度图像和彩色图像，提取坑槽边缘，并通过相机标定参数的方式，计算坑槽的面积、最大深度和体积参数，同时，采用GPS对路面病害进行定位。但此方法存在3个方面的不足：1.采用GPS定位方式，定位精度不高，且将车辆的定位作为病害的定位，难以捕捉同一路面坑槽病害在不同服役时期的状态，无法实现路面坑槽演化过程的分析；2.路面坑槽性态的描述参数较少，集中于尺寸和深度信息，无法反应路面坑槽的发育方向；3.仅基于图像处理的方式对路面坑槽进行识别，识别效率低，难以适应海量图像数据的快速处理。
公开号为CN201711462551.X、发明名称为“一种路面坑槽识别方法及其装置”的专利提出了一种基于双目视觉获取坑槽长度、宽度和深度的方法。但没有考虑路面坑槽的定位信息，难以有效指导路面修复工作。同时，也没有考虑坑槽的发育方向，难以准确掌握坑槽的发育规律进而精准指导养护维修措施。
公开号为CN201520292588.2、发明名称为“一种基于车载双目视觉的路面坑槽检测装置”的专利仅使用GPS获取车辆定位信息，且定位精度不高，将车辆的定位作为病害的定位，难以捕捉同一坑槽病害在不同服役时期的状态，无法实现路面坑槽演化过程的分析。
发明内容
本发明要解决的问题是：
1.传统的路面坑槽定位中，通常将车辆GPS定位信息作为坑槽定位信息，导致坑槽定位不准确；
2.坑槽性态的评价指标中，仅集中在面积、长度、宽度、深度等信息，忽略了坑槽的发育方向，导致评价指标体系不完整；
3.传统坑槽识别方法通常基于图像处理的方式，识别速度慢、效率低；而深度学习目标识别算法的方式，难以准确完整的提取坑槽区域的信息；
提出一种路面坑槽的识别和评价方法、电子设备及存储介质。
为实现上述目的，本发明通过以下技术方案实现：
一种路面坑槽的识别和评价方法，包括如下步骤：
S1、采集路面坑槽的定位、病害数据，通过具有全球导航定位系统、惯性导航系统、里程编码计、相机以及边缘计算模组的采集车采集路面坑槽的定位数据、道路图像；
S2、依据路面坑槽尺寸的维度和类型特征，构建路面坑槽状态评价指标体系，评价指标包括长度、面积、角度；
S3、将步骤S1采集的路面坑槽的道路图像作为数据集，构建UNet深度学习网络结构，采用UNet目标分割方法进行路面坑槽的道路图像的路面坑槽区域识别及数据提取，得到路面坑槽智能识别图像；
S4、选取步骤S1采集的路面坑槽的道路图像采用张正友标定方法，确定相机的内参矩阵、外参矩阵，建立路面坑槽的道路图像像素数据与路面坑槽真实尺寸的换算关系；
S5、将步骤S3得到的路面坑槽智能识别图像进行像素运算处理，划分路面坑槽智能识别图像中的路面坑槽区域、非路面坑槽区域，得到划分区域后的图像；
S6、根据步骤S5划分的路面坑槽区域、非路面坑槽区域的临界像素数据，对步骤S5划分区域后的图像进行降噪处理，利用卷积处理方法提取路面坑槽区域的边缘像素数据；
S7、基于步骤S4、步骤S5、步骤S6得到的路面坑槽区域的像素数据及边缘像素数据，分别计算步骤S2中的评价指标。
进一步的，步骤S1中采集路面坑槽的定位数据的具体实现方法包括如下步骤：
S1.1、分别采用IMU、里程编码计、GNSS采集路面坑槽的定位数据，包括IMU、里程编码计和GNSS测量得到的位置数据L 1、L 2、L 3，IMU、里程编码计和GNSS测量得到的速度数据v 1、v 2、v 3；
S1.2、建立k时刻的状态方程X k ，计算公式为：
Figure 332469DEST_PATH_IMAGE001
Figure 787852DEST_PATH_IMAGE003
其中，X k-1为k-1时刻的状态方程，
Figure 329692DEST_PATH_IMAGE004
为k-1时刻的状态转移矩阵，
Figure 828807DEST_PATH_IMAGE005
为k-1时刻 的系统噪声，
Figure 190518DEST_PATH_IMAGE006
为位置误差，
Figure 433280DEST_PATH_IMAGE007
为速度误差，
Figure 314780DEST_PATH_IMAGE008
分别为x，y，z三个方向的陀螺仪常 值漂移，
Figure 250375DEST_PATH_IMAGE010
分别为x，y，z三个方向的加速度计的零偏；
当卫星信号没有高层建筑、树木、岩体遮挡时，计算误差时，以GNSS和IMU的数据平均值作为基准，计算里程编码计与基准间的位置误差、速度误差，计算公式为：
Figure 364961DEST_PATH_IMAGE011
Figure 145835DEST_PATH_IMAGE012
当卫星信号受到高层建筑、树木、岩体遮挡时，计算误差时，不考虑GNSS的观测值，计算里程编码计与惯性导航之间的位置误差、速度误差，计算公式为：
Figure 147421DEST_PATH_IMAGE013
Figure 988338DEST_PATH_IMAGE014
S1.3、建立k时刻的量测方程
Figure 590220DEST_PATH_IMAGE015
，计算公式为：
Figure 909206DEST_PATH_IMAGE016
其中，
Figure 14565DEST_PATH_IMAGE017
为k时刻的测量转移矩阵，
Figure 774186DEST_PATH_IMAGE018
为k时刻的测量白噪声；
测量噪声满足高斯分布，概率函数
Figure 597786DEST_PATH_IMAGE019
为：
Figure 986042DEST_PATH_IMAGE020
其中，
Figure 945908DEST_PATH_IMAGE021
为均值，σ为标准差，x为自变量；
S1.4、将IMU、里程编码计、GNSS得到的数据，在边缘计算模组中进行步骤S1.2的状态方程和S1.3的量测方程的计算，完成GNSS、里程编码计与IMU的定位结果的融合。
进一步的，步骤S2中路面坑槽状态评价指标具体包括：
所述长度为路面坑槽一维尺寸的变化，包括路面坑槽周长、路面坑槽外接椭圆的长轴长度和短轴长度、外接矩形的长度和宽度；
所述面积为路面坑槽二维尺寸的变化，包括路面坑槽的面积；
所述角度为路面坑槽外接椭圆长轴或短轴与竖直方向形成的方向角。
进一步的，步骤S3的具体实现方法包括如下步骤：
S3.1、选取10000张步骤S1采集的路面坑槽的道路图像，作为数据集，将数据集划分为训练集、验证集、测试集，训练集包括6000张图像，验证集包括2000张图像，测试集包括2000张图像；
S3.2、采用标注软件labelimg对步骤S3.1的数据集中的图像进行标注，得到标注后的数据集；
S3.3、构建UNet深度学习网络结构：
S3.3.1、设置UNet深度学习网络结构由编码器和解码器组成，编码器包括4个下采样模块，每个下采样模块包括两个3×3的卷积层、1个ReLU激活函数、1个2×2的池化层；
解码器包括4个上采样模块，每个上采样模块包括1个上采样的卷积层、特征拼接concat、2个3×3的卷积层、1个ReLU激活函数，图像先通过编码器，后通过解码器，图像尺寸为572×572；
S3.3.2、将步骤S3.2标注后的数据集输入到S3.3.1建立的UNet深度学习网络结构中，通过误差反向传播方法，计算神经网络单元的权重和偏置，完成UNet深度学习网络结构的训练，得到UNet深度学习网络模型；
S3.3.3、采用步骤S3.3.2的UNet深度学习网络模型，进行路面坑槽区域识别及数据提取，路面坑槽区域识别数据包括路面坑槽在图像中的位置、路面坑槽的轮廓、路面坑槽的实体区域，得到路面坑槽智能识别图像。
进一步的，步骤S4的具体实现方法包括如下步骤：
S4.1、制作黑白棋盘格，用相机对黑白棋盘格进行不同角度的拍摄，拍摄图像为30张；
S4.2、对步骤S4.1拍摄的图像中的标定板角点进行检测，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算得到标定板角点的物理坐标值；
S4.3、求解步骤S4.1拍摄的每张图像对应的相机内参矩阵和外参矩阵：
首先建立相机成像模型为：
Figure 128627DEST_PATH_IMAGE022
Z为尺度因子，(u，v)为图像中任意一点在像素坐标系下的像素坐标，(U,V,W)为图像中任意一点在世界坐标系下的世界坐标，A为内参矩阵，B为外参矩阵；
建立多组像素坐标与世界坐标的关系，求得内参矩阵A和外参矩阵B，建立路面坑槽的道路图像像素数据与路面坑槽真实尺寸的换算关系。
进一步的，步骤S5的具体实现方法包括如下步骤：
S5.1、将步骤S3得到的路面坑槽智能识别图像提取图像全部像素区域的R、G、B值，依次记为V R 、V G 、V B ，然后取平均值V a，计算公式为：
Figure 190255DEST_PATH_IMAGE023
S5.2、统计全部步骤S3得到的路面坑槽智能识别图像的Va值以及对应像素值的数量，提取最大值Vmax和最小值Vmin，确定像素范围为(Vmin，Vmax)；
S5.3、设置像素分界值为Vt，Vt∈(Vmin，Vmax)，以Vt为边界将图像分为两个区间，A区间为(Vmin，Vt)、B区间为(Vt，Vmax)，分别统计A区间、B区间中像素的数量及其在整个图像中的占比，然后计算A和B区间图像像素的方差S，计算公式为：
Figure 116623DEST_PATH_IMAGE024
其中，w1和w2为A区间、B区间在整个图像中的占比，Va1、Va2为A区间、B区间的平均像素值；
S5.4、统计步骤S5.3中方差S的最大值，采集方差S的最大值对应的像素值为Vab，Vab为路面坑槽智能识别图像中路面坑槽区域与非路面坑槽区域的划分临界像素值。
进一步的，步骤S6的具体实现方法包括如下步骤：
S6.1、设置步骤S5.4得到的Vab为标准，将步骤S5划分区域后的图像中小于Vab的像素值设置为0，大于等于Vab的像素值设置为1，得到图像Sn；
S6.2、构建两个3×3的像素矩阵，分别为Sx、Sy：
Figure 196575DEST_PATH_IMAGE025
Figure 815775DEST_PATH_IMAGE026
将Sx和Sy与Sn的像素值进行卷积运算，将卷积的最大值作为输出得到路面坑槽区域的边缘像素数据；
S6.3、构建一个3×3的像素矩阵为Z1：
Figure 348387DEST_PATH_IMAGE027
将Z1的中心与路面坑槽边缘区域对齐，沿着路面坑槽边缘移动一周，将Z1覆盖的区域的像素值设置为1，得到路面坑槽区域AR1；
S6.4、将Z1的边缘与AR1的边缘对齐，沿着路面坑槽边缘移动一周记录Z1中心的运动轨迹，然后将运动轨迹外部区域的像素值设置为0，得到路面坑槽区域AR2；
S6.5、将Sx和Sy与坑槽区域AR2进行卷积运算，将卷积的最大值作为输出得到路面坑槽区域的边缘像素数据。
进一步的，步骤S7的具体实现方法包括如下步骤：
S7.1、长度的计算：
S7.1.1、周长的计算：通过计算路面坑槽边缘的像素数量，结合像素尺寸与实际路面坑槽尺寸的比例关系，计算路面坑槽的周长；
S7.1.2、外接椭圆长轴长度和短轴长度的计算：采用路面坑槽轮廓边缘点，任选三个点确定一个椭圆，计算其它路面坑槽轮廓边缘点是否全部位于椭圆内部，若其它路面坑槽轮廓边缘点均位于椭圆内部，该椭圆为外接椭圆；构建椭圆方程，确定方程中的参数，得到椭圆的长轴长度和短轴长度；
S7.1.3、外接矩形的长度和宽度的计算：
采用坑槽轮廓边缘点，以图像的左下角为坐标圆点，水平向右为x轴正方向，竖直向上为y轴正方向，分别确定水平方向最大值和最小值以及竖直方向对应的最大值和最小值对应的4个像素点，以4个像素点为基准，分别绘制与x轴和y轴平行的直线，形成封闭的矩形区域，即为外接矩形；结合像素尺寸与实际路面坑槽尺寸的比例关系，确定外接矩形的长度和宽度；
S7.2、面积的计算：通过识别的坑槽区域，计算像素点的数量，结合像素尺寸与实际路面坑槽尺寸的比例关系，确定坑槽的面积；
S7.3、外接椭圆长轴/短轴与竖直方向形成的方向角：确定坑槽外接椭圆的基础上，确定长轴与竖直方向形成的方向角α，短轴与竖直方向形成的方向角β。
电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种路面坑槽的识别和评价方法的步骤。
计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种路面坑槽的识别和评价方法。
本发明的有益效果：
本发明所述的一种路面坑槽的识别和评价方法，采用GNSS、惯性导航、里程编码计融合定位的方式，实现路面坑槽的实时精准定位。
本发明所述的一种路面坑槽的识别和评价方法，提出路面坑槽信息评价指标体系，可分析路面坑槽的尺寸、面积、发育方向的演化规律，实现路面坑槽的状态演化规律评价。
本发明所述的一种路面坑槽的识别和评价方法，基于深度学习，实现路面坑槽的智能识别和提取；基于图像处理技术，实现路面坑槽图像的处理，提高图像的质量和有效信息的提取效果，并用于坑槽评价指标的计算。
本发明所述的一种路面坑槽的识别和评价方法，基于图像处理技术，通过建立像素和坑槽评价指标的联系，确定基于像素的坑槽评价指标计算方法。
附图说明
图1为本发明所述的一种路面坑槽的识别和评价方法的流程图；
图2为本发明所述的一种路面坑槽的识别和评价方法的图像识别的流程示意图；
图3为本发明所述的一种路面坑槽的识别和评价方法的评价指标中外接矩形确定方法示意图；
图4为本发明所述的一种路面坑槽的识别和评价方法的评价指标中外接椭圆长轴/短轴与竖直方向形成的方向角示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不用于限定本发明，即所描述的具体实施方式仅仅是本发明一部分实施方式，而不是全部的具体实施方式。通常在此处附图中描述和展示的本发明具体实施方式的组件可以以各种不同的配置来布置和设计，本发明还可以具有其他实施方式。
因此，以下对在附图中提供的本发明的具体实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定具体实施方式。基于本发明的具体实施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
为能进一步了解本发明的发明内容、特点及功效，兹例举以下具体实施方式，并配合附图1-4详细说明如下 ：
具体实施方式一：
一种路面坑槽的识别和评价方法，包括如下步骤：
S1、采集路面坑槽的定位、病害数据，通过具有全球导航定位系统、惯性导航系统、里程编码计、相机以及边缘计算模组的采集车采集路面坑槽的定位数据、道路图像；
进一步的，步骤S1中采集路面坑槽的定位数据的具体实现方法包括如下步骤：
S1.1、分别采用IMU、里程编码计、GNSS采集路面坑槽的定位数据，包括IMU、里程编码计和GNSS测量得到的位置数据L 1、L 2、L 3，IMU、里程编码计和GNSS测量得到的速度数据v 1、v 2、v 3；
S1.2、建立状态方程X k ，计算公式为：
Figure 829178DEST_PATH_IMAGE028
Figure 763636DEST_PATH_IMAGE030
其中，X k-1为k-1时刻的状态方程，
Figure 553738DEST_PATH_IMAGE031
为k-1时刻的状态转移矩阵，
Figure 573646DEST_PATH_IMAGE032
为k-1时刻 的系统噪声，
Figure 592549DEST_PATH_IMAGE033
为位置误差，
Figure 647093DEST_PATH_IMAGE034
为速度误差，
Figure 608096DEST_PATH_IMAGE035
分别为x，y，z三个方向的陀螺仪常 值漂移，
Figure 115300DEST_PATH_IMAGE036
分别为x，y，z三个方向的加速度计的零偏；
当卫星信号没有高层建筑、树木、岩体遮挡时，计算误差时，以GNSS和IMU的数据平均值作为基准，计算里程编码计与基准间的位置误差、速度误差，计算公式为：
Figure 921582DEST_PATH_IMAGE037
Figure 109594DEST_PATH_IMAGE038
当卫星信号受到高层建筑、树木、岩体遮挡时，计算误差时，不考虑GNSS的观测值，计算里程编码计与惯性导航之间的位置误差、速度误差，计算公式为：
Figure 710339DEST_PATH_IMAGE039
Figure 970419DEST_PATH_IMAGE040
S1.3、建立k时刻的量测方程
Figure 580392DEST_PATH_IMAGE041
，计算公式为：
Figure 94681DEST_PATH_IMAGE042
其中，
Figure 131907DEST_PATH_IMAGE043
为k时刻的测量转移矩阵，
Figure 879283DEST_PATH_IMAGE044
为k时刻的测量白噪声；
测量噪声满足高斯分布，概率函数
Figure 27368DEST_PATH_IMAGE045
为：
Figure 645431DEST_PATH_IMAGE046
其中，
Figure 869870DEST_PATH_IMAGE047
为均值，σ为标准差，x为自变量，x代表位置或速度；
S1.4、将IMU、里程编码计、GNSS得到的数据，在边缘计算模组中进行步骤S1.2的状态方程和S1.3的量测方程的计算，完成GNSS、里程编码计与IMU的定位结果的融合；
定位过程中，最主要的是对状态方程和量测方程的求解，其中，状态方程是为了求状态预测值，量测方程是为了求状态预测值的观测值，量测方程可输出接近真实状态的真实值；将GNSS、里程编码计、惯性导航的速度、位置差值作为测量方程的观测值，即将惯性导航、里程编码计、GNSS获取到的数据，带入到状态方程和量测方程中，可实现GNSS、里程编码计与惯性导航定位结果的融合，保证定位的精准性；
S2、依据路面坑槽尺寸的维度和类型特征，构建路面坑槽状态评价指标体系，评价指标包括长度、面积、角度；
进一步的，步骤S2中路面坑槽状态评价指标具体包括：
所述长度为路面坑槽一维尺寸的变化，包括路面坑槽周长、路面坑槽外接椭圆的长轴长度和短轴长度、外接矩形的长度和宽度；
所述面积为路面坑槽二维尺寸的变化，包括路面坑槽的面积；
所述角度为路面坑槽外接椭圆长轴或短轴与竖直方向形成的方向角；
S3、将步骤S1采集的路面坑槽的道路图像作为数据集，构建UNet深度学习网络结构，采用UNet目标分割方法进行路面坑槽的道路图像的路面坑槽区域识别及数据提取，得到路面坑槽智能识别图像；
进一步的，步骤S3的具体实现方法包括如下步骤：
S3.1、选取10000张步骤S1采集的路面坑槽的道路图像，作为数据集，将数据集划分为训练集、验证集、测试集，训练集包括6000张图像，验证集包括2000张图像，测试集包括2000张图像；
S3.2、采用标注软件labelimg对步骤S3.1的数据集中的图像进行标注，得到标注后的数据集；
S3.3、构建UNet深度学习网络结构：
S3.3.1、设置UNet深度学习网络结构由编码器和解码器组成，编码器包括4个下采样模块，每个下采样模块包括两个3×3的卷积层、1个ReLU激活函数、1个2×2的池化层；
解码器包括4个上采样模块，每个上采样模块包括1个上采样的卷积层、特征拼接concat、2个3×3的卷积层、1个ReLU激活函数，图像先通过编码器，后通过解码器，图像尺寸为572×572；
S3.3.2、将步骤S3.2标注后的数据集输入到S3.3.1建立的UNet深度学习网络结构中，通过误差反向传播方法，计算神经网络单元的权重和偏置，完成UNet深度学习网络结构的训练，得到UNet深度学习网络模型；
S3.3.3、采用步骤S3.3.2的UNet深度学习网络模型，进行路面坑槽区域识别及数据提取，路面坑槽区域识别数据包括路面坑槽在图像中的位置、路面坑槽的轮廓、路面坑槽的实体区域，得到路面坑槽智能识别图像；
S4、选取步骤S1采集的路面坑槽的道路图像采用张正友标定方法，确定相机的内参矩阵、外参矩阵，建立路面坑槽的道路图像像素数据与路面坑槽真实尺寸的换算关系；
进一步的，步骤S4的具体实现方法包括如下步骤：
S4.1、制作黑白棋盘格，用相机对黑白棋盘格进行不同角度的拍摄，拍摄图像为30张；
S4.2、对步骤S4.1拍摄的图像中的标定板角点进行检测，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算得到标定板角点的物理坐标值；
S4.3、求解步骤S4.1拍摄的每张图像对应的相机内参矩阵和外参矩阵：
首先建立相机成像模型为：
Figure 838963DEST_PATH_IMAGE022
Z为尺度因子，(u，v)为图像中任意一点在像素坐标系下的像素坐标，(U,V,W)为图像中任意一点在世界坐标系下的世界坐标，A为内参矩阵，B为外参矩阵；
建立多组像素坐标与世界坐标的关系，求得内参矩阵A和外参矩阵B，建立路面坑槽的道路图像像素数据与路面坑槽真实尺寸的换算关系；
S5、将步骤S3得到的路面坑槽智能识别图像进行像素运算处理，划分路面坑槽智能识别图像中的路面坑槽区域、非路面坑槽区域，得到划分区域后的图像；
进一步的，步骤S5的具体实现方法包括如下步骤：
S5.1、将步骤S3得到的路面坑槽智能识别图像提取图像全部像素区域的R、G、B值，依次记为V R 、V G 、V B ，然后取平均值V a，计算公式为：
Figure 790739DEST_PATH_IMAGE048
S5.2、统计全部步骤S3得到的路面坑槽智能识别图像的Va值以及对应像素值的数量，提取最大值Vmax和最小值Vmin，确定像素范围为(Vmin，Vmax)；
S5.3、设置像素分界值为Vt，Vt∈(Vmin，Vmax)，以Vt为边界将图像分为两个区间，A区间为(Vmin，Vt)、B区间为(Vt，Vmax)，分别统计A区间、B区间中像素的数量及其在整个图像中的占比，然后计算A和B区间图像像素的方差S，计算公式为：
Figure 794467DEST_PATH_IMAGE049
其中，w1和w2为A区间、B区间在整个图像中的占比，Va1、Va2为A区间、B区间的平均像素值；
S5.4、统计步骤S5.3中方差S的最大值，采集方差S的最大值对应的像素值为Vab，Vab为路面坑槽智能识别图像中路面坑槽区域与非路面坑槽区域的划分临界像素值；
S6、根据步骤S5划分的路面坑槽区域、非路面坑槽区域的临界像素数据，对步骤S5划分区域后的图像进行降噪处理，利用卷积处理方法提取路面坑槽区域的边缘像素数据；
进一步的，步骤S6的具体实现方法包括如下步骤：
S6.1、设置步骤S5.4得到的Vab为标准，将步骤S5划分区域后的图像中小于Vab的像素值设置为0，大于等于Vab的像素值设置为1，得到图像Sn；
S6.2、构建两个3×3的像素矩阵，分别为Sx、Sy：
Figure 924228DEST_PATH_IMAGE050
Figure 115038DEST_PATH_IMAGE051
将Sx和Sy与Sn的像素值进行卷积运算，将卷积的最大值作为输出得到路面坑槽区域的边缘像素数据；
S6.3、构建一个3×3的像素矩阵为Z1：
Figure 870504DEST_PATH_IMAGE052
将Z1的中心与路面坑槽边缘区域对齐，沿着路面坑槽边缘移动一周，将Z1覆盖的区域的像素值设置为1，得到路面坑槽区域AR1；
S6.4、将Z1的边缘与AR1的边缘对齐，沿着路面坑槽边缘移动一周记录Z1中心的运动轨迹，然后将运动轨迹外部区域的像素值设置为0，得到路面坑槽区域AR2；
S6.5、将Sx和Sy与坑槽区域AR2进行卷积运算，将卷积的最大值作为输出得到路面坑槽区域的边缘像素数据；
通过步骤S6.3和6.4，实现图像中噪点的消除，且不改变原始坑槽区域的尺寸；
S7、基于步骤S4、步骤S5、步骤S6得到的路面坑槽区域的像素数据及边缘像素数据，分别计算步骤S2中的评价指标；
进一步的，步骤S7的具体实现方法包括如下步骤：
S7.1、长度的计算：
S7.1.1、周长的计算：通过计算路面坑槽边缘的像素数量，结合像素尺寸与实际路面坑槽尺寸的比例关系，计算路面坑槽的周长；
S7.1.2、外接椭圆长轴长度和短轴长度的计算：采用路面坑槽轮廓边缘点，任选三个点确定一个椭圆，计算其它路面坑槽轮廓边缘点是否全部位于椭圆内部，若其它路面坑槽轮廓边缘点均位于椭圆内部，该椭圆为外接椭圆；构建椭圆方程，确定方程中的参数，得到椭圆的长轴长度和短轴长度；
S7.1.3、外接矩形的长度和宽度的计算：
采用坑槽轮廓边缘点，以图像的左下角为坐标圆点，水平向右为x轴正方向，竖直向上为y轴正方向，分别确定水平方向最大值和最小值以及竖直方向对应的最大值和最小值对应的4个像素点，以4个像素点为基准，分别绘制与x轴和y轴平行的直线，形成封闭的矩形区域，即为外接矩形；结合像素尺寸与实际路面坑槽尺寸的比例关系，确定外接矩形的长度和宽度；
S7.2、面积的计算：通过识别的坑槽区域，计算像素点的数量，结合像素尺寸与实际路面坑槽尺寸的比例关系，确定坑槽的面积；
S7.3、外接椭圆长轴/短轴与竖直方向形成的方向角：确定坑槽外接椭圆的基础上，确定长轴与竖直方向形成的方向角，短轴与竖直方向形成的方向角。
本实施方式所述的一种路面坑槽的识别和评价方法，采用GNSS、惯性导航、里程编码计融合定位的方式，实现路面坑槽的实时精准定位。
本实施方式所述的一种路面坑槽的识别和评价方法，提出路面坑槽信息评价指标体系，可分析路面坑槽的尺寸、面积、发育方向的演化规律，实现路面坑槽的状态演化规律评价。
本实施方式所述的一种路面坑槽的识别和评价方法，基于深度学习，实现路面坑槽的智能识别和提取；基于图像处理技术，实现路面坑槽图像的处理，提高图像的质量和有效信息的提取效果，并用于坑槽评价指标的计算。
本实施方式所述的一种路面坑槽的识别和评价方法，基于图像处理技术，通过建立像素和坑槽评价指标的联系，确定基于像素的坑槽评价指标计算方法。
具体实施方式二：
电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种路面坑槽的识别和评价方法的步骤。
本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital,SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
具体实施方式三：
计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种路面坑槽的识别和评价方法。
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。 所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明的关键点和欲保护点为：
（1）一种基于GNSS/惯性导航/里程编码计的坑槽精准定位方法；
（2）一种可用于评价坑槽状态演化规律的多指标体系；
（3）一种基于深度学习和图像处理技术的路面坑槽智能识别、提取和处理方法；
（4）一种基于图像处理技术的坑槽评价指标计算方法。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然在上文中已经参考具体实施方式对本申请进行了描述，然而在不脱离本申请的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本申请所披露的具体实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本申请并不局限于文中公开的特定具体实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (10)

1.一种路面坑槽的识别和评价方法，其特征在于：包括如下步骤：
S1、采集路面坑槽的定位、病害数据，通过具有全球导航定位系统、惯性导航系统、里程编码计、相机以及边缘计算模组的采集车采集路面坑槽的定位数据、道路图像；
S2、依据路面坑槽尺寸的维度和类型特征，构建路面坑槽状态评价指标体系，评价指标包括长度、面积、角度；
S3、将步骤S1采集的路面坑槽的道路图像作为数据集，构建UNet深度学习网络结构，采用UNet目标分割方法进行路面坑槽的道路图像的路面坑槽区域识别及数据提取，得到路面坑槽智能识别图像；
S4、选取步骤S1采集的路面坑槽的道路图像采用张正友标定方法，确定相机的内参矩阵、外参矩阵，建立路面坑槽的道路图像像素数据与路面坑槽真实尺寸的换算关系；
S5、将步骤S3得到的路面坑槽智能识别图像进行像素运算处理，划分路面坑槽智能识别图像中的路面坑槽区域、非路面坑槽区域，得到划分区域后的图像；
S6、根据步骤S5划分的路面坑槽区域、非路面坑槽区域的临界像素数据，对步骤S5划分区域后的图像进行降噪处理，利用卷积处理方法提取路面坑槽区域的边缘像素数据；
S7、基于步骤S4、步骤S5、步骤S6得到的路面坑槽区域的像素数据及边缘像素数据，分别计算步骤S2中的评价指标。
2.根据权利要求1所述的一种路面坑槽的识别和评价方法，其特征在于：步骤S1中采集路面坑槽的定位数据的具体实现方法包括如下步骤：
S1.1、分别采用IMU、里程编码计、GNSS采集路面坑槽的定位数据，包括IMU、里程编码计和GNSS测量得到的位置数据L 1、L 2、L 3，IMU、里程编码计和GNSS测量得到的速度数据v 1、v 2、v 3；
S1.2、建立k时刻的状态方程X k ，计算公式为：
Figure 887736DEST_PATH_IMAGE002
Figure 703245DEST_PATH_IMAGE004
其中，X k-1为k-1时刻的状态方程，
Figure 646930DEST_PATH_IMAGE005
为k-1时刻的状态转移矩阵，
Figure 940508DEST_PATH_IMAGE006
为k-1时刻的系统 噪声，
Figure 138402DEST_PATH_IMAGE007
为位置误差，
Figure 124813DEST_PATH_IMAGE008
为速度误差，
Figure 555794DEST_PATH_IMAGE010
分别为x，y，z三个方向的陀螺仪常值漂 移，
Figure 653063DEST_PATH_IMAGE012
分别为x，y，z三个方向的加速度计的零偏；
当卫星信号没有高层建筑、树木、岩体遮挡时，计算误差时，以GNSS和IMU的数据平均值作为基准，计算里程编码计与基准间的位置误差、速度误差，计算公式为：
Figure 968114DEST_PATH_IMAGE013
Figure 125425DEST_PATH_IMAGE014
当卫星信号受到高层建筑、树木、岩体遮挡时，计算误差时，不考虑GNSS的观测值，计算里程编码计与惯性导航之间的位置误差、速度误差，计算公式为：
Figure 778124DEST_PATH_IMAGE015
Figure 413504DEST_PATH_IMAGE016
S1.3、建立k时刻的量测方程
Figure 100838DEST_PATH_IMAGE017
，计算公式为：
Figure 914204DEST_PATH_IMAGE018
其中，
Figure 54198DEST_PATH_IMAGE019
为k时刻的测量转移矩阵，
Figure 758849DEST_PATH_IMAGE020
为k时刻的测量白噪声；
测量噪声满足高斯分布，概率函数
Figure 35110DEST_PATH_IMAGE021
为：
Figure 534224DEST_PATH_IMAGE022
其中，
Figure 912247DEST_PATH_IMAGE023
为均值，σ为标准差，x为自变量；
S1.4、将IMU、里程编码计、GNSS得到的数据，在边缘计算模组中进行步骤S1.2的状态方程和S1.3的量测方程的计算，完成GNSS、里程编码计与IMU的定位结果的融合。
3.根据权利要求1或2所述的一种路面坑槽的识别和评价方法，其特征在于：步骤S2中路面坑槽状态评价指标具体包括：
所述长度为路面坑槽一维尺寸的变化，包括路面坑槽周长、路面坑槽外接椭圆的长轴长度和短轴长度、外接矩形的长度和宽度；
所述面积为路面坑槽二维尺寸的变化，包括路面坑槽的面积；
所述角度为路面坑槽外接椭圆长轴或短轴与竖直方向形成的方向角。
4.根据权利要求3所述的一种路面坑槽的识别和评价方法，其特征在于：步骤S3的具体实现方法包括如下步骤：
S3.1、选取10000张步骤S1采集的路面坑槽的道路图像，作为数据集，将数据集划分为训练集、验证集、测试集，训练集包括6000张图像，验证集包括2000张图像，测试集包括2000张图像；
S3.2、采用标注软件labelimg对步骤S3.1的数据集中的图像进行标注，得到标注后的数据集；
S3.3、构建UNet深度学习网络结构：
S3.3.1、设置UNet深度学习网络结构由编码器和解码器组成，编码器包括4个下采样模块，每个下采样模块包括两个3×3的卷积层、1个ReLU激活函数、1个2×2的池化层；
解码器包括4个上采样模块，每个上采样模块包括1个上采样的卷积层、特征拼接concat、2个3×3的卷积层、1个ReLU激活函数，图像先通过编码器，后通过解码器，图像尺寸为572×572；
S3.3.2、将步骤S3.2标注后的数据集输入到S3.3.1建立的UNet深度学习网络结构中，通过误差反向传播方法，计算神经网络单元的权重和偏置，完成UNet深度学习网络结构的训练，得到UNet深度学习网络模型；
S3.3.3、采用步骤S3.3.2的UNet深度学习网络模型，进行路面坑槽区域识别及数据提取，路面坑槽区域识别数据包括路面坑槽在图像中的位置、路面坑槽的轮廓、路面坑槽的实体区域，得到路面坑槽智能识别图像。
5.根据权利要求4所述的一种路面坑槽的识别和评价方法，其特征在于：步骤S4的具体实现方法包括如下步骤：
S4.1、制作黑白棋盘格，用相机对黑白棋盘格进行不同角度的拍摄，拍摄图像为30张；
S4.2、对步骤S4.1拍摄的图像中的标定板角点进行检测，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算得到标定板角点的物理坐标值；
S4.3、求解步骤S4.1拍摄的每张图像对应的相机内参矩阵和外参矩阵：
首先建立相机成像模型为：
Figure 623851DEST_PATH_IMAGE025
Z为尺度因子，(u，v)为图像中任意一点在像素坐标系下的像素坐标，(U,V,W)为图像中任意一点在世界坐标系下的世界坐标，A为内参矩阵，B为外参矩阵；
建立多组像素坐标与世界坐标的关系，求得内参矩阵A和外参矩阵B，建立路面坑槽的道路图像像素数据与路面坑槽真实尺寸的换算关系。
6.根据权利要求5所述的一种路面坑槽的识别和评价方法，其特征在于：步骤S5的具体实现方法包括如下步骤：
S5.1、将步骤S3得到的路面坑槽智能识别图像提取图像全部像素区域的R、G、B值，依次记为V R 、V G 、V B ，然后取平均值V a，计算公式为：
Figure 285777DEST_PATH_IMAGE026
S5.2、统计全部步骤S3得到的路面坑槽智能识别图像的Va值以及对应像素值的数量，提取最大值Vmax和最小值Vmin，确定像素范围为(Vmin，Vmax)；
S5.3、设置像素分界值为Vt，Vt∈(Vmin，Vmax)，以Vt为边界将图像分为两个区间，A区间为(Vmin，Vt)、B区间为(Vt，Vmax)，分别统计A区间、B区间中像素的数量及其在整个图像中的占比，然后计算A和B区间图像像素的方差S，计算公式为：
Figure DEST_PATH_IMAGE027
其中，w1和w2为A区间、B区间在整个图像中的占比，Va1、Va2为A区间、B区间的平均像素值；
S5.4、统计步骤S5.3中方差S的最大值，采集方差S的最大值对应的像素值为Vab，Vab为路面坑槽智能识别图像中路面坑槽区域与非路面坑槽区域的划分临界像素值。
7.根据权利要求6所述的一种路面坑槽的识别和评价方法，其特征在于：步骤S6的具体实现方法包括如下步骤：
S6.1、设置步骤S5.4得到的Vab为标准，将步骤S5划分区域后的图像中小于Vab的像素值设置为0，大于等于Vab的像素值设置为1，得到图像Sn；
S6.2、构建两个3×3的像素矩阵，分别为Sx、Sy：
Figure 503262DEST_PATH_IMAGE028
Figure DEST_PATH_IMAGE029
将Sx和Sy与Sn的像素值进行卷积运算，将卷积的最大值作为输出得到路面坑槽区域的边缘像素数据；
S6.3、构建一个3×3的像素块为Z1：
Figure 883428DEST_PATH_IMAGE030
将Z1的中心与路面坑槽边缘区域对齐，沿着路面坑槽边缘移动一周，将Z1覆盖的区域的像素值设置为1，得到路面坑槽区域AR1；
S6.4、将Z1的边缘与AR1的边缘对齐，沿着路面坑槽边缘移动一周记录Z1中心的运动轨迹，然后将运动轨迹外部区域的像素值设置为0，得到路面坑槽区域AR2；
S6.5、将Sx和Sy与坑槽区域AR2进行卷积运算，将卷积的最大值作为输出得到路面坑槽区域的边缘像素数据。
8.根据权利要求7所述的一种路面坑槽的识别和评价方法，其特征在于：步骤S7的具体实现方法包括如下步骤：
S7.1、长度的计算：
S7.1.1、周长的计算：通过计算路面坑槽边缘的像素数量，结合像素尺寸与实际路面坑槽尺寸的比例关系，计算路面坑槽的周长；
S7.1.2、外接椭圆长轴长度和短轴长度的计算：采用路面坑槽轮廓边缘点，任选三个点确定一个椭圆，计算其它路面坑槽轮廓边缘点是否全部位于椭圆内部，若其它路面坑槽轮廓边缘点均位于椭圆内部，该椭圆为外接椭圆；构建椭圆方程，确定方程中的参数，得到椭圆的长轴长度和短轴长度；
S7.1.3、外接矩形的长度和宽度的计算：
采用坑槽轮廓边缘点，以图像的左下角为坐标圆点，水平向右为x轴正方向，竖直向上为y轴正方向，分别确定水平方向最大值和最小值以及竖直方向对应的最大值和最小值对应的4个像素点，以4个像素点为基准，分别绘制与x轴和y轴平行的直线，形成封闭的矩形区域，即为外接矩形；结合像素尺寸与实际路面坑槽尺寸的比例关系，确定外接矩形的长度和宽度；
S7.2、面积的计算：通过识别的坑槽区域，计算像素点的数量，结合像素尺寸与实际路面坑槽尺寸的比例关系，确定坑槽的面积；
S7.3、外接椭圆长轴/短轴与竖直方向形成的方向角：确定坑槽外接椭圆的基础上，确定长轴与竖直方向形成的方向角，短轴与竖直方向形成的方向角。
9.电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-8任一项所述的一种路面坑槽的识别和评价方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的一种路面坑槽的识别和评价方法。
CN202211373680.2A 2022-11-04 2022-11-04 一种路面坑槽的识别和评价方法、电子设备及存储介质 Active CN115424232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211373680.2A CN115424232B (zh) 2022-11-04 2022-11-04 一种路面坑槽的识别和评价方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211373680.2A CN115424232B (zh) 2022-11-04 2022-11-04 一种路面坑槽的识别和评价方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115424232A true CN115424232A (zh) 2022-12-02
CN115424232B CN115424232B (zh) 2023-02-14

Family

ID=84208077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211373680.2A Active CN115424232B (zh) 2022-11-04 2022-11-04 一种路面坑槽的识别和评价方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115424232B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984221A (zh) * 2023-01-03 2023-04-18 广州新粤交通技术有限公司 一种道路标线修复识别方法、装置、设备及其存储介质
CN116434085A (zh) * 2023-03-20 2023-07-14 广东省公路建设有限公司湾区特大桥养护技术中心 基于纹理特征分析的坑槽识别方法、装置、设备及介质
CN116820125A (zh) * 2023-06-07 2023-09-29 哈尔滨市大地勘察测绘有限公司 一种基于图像处理的无人播种机控制方法及系统
CN117079145A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种道路状况综合评价方法、电子设备及存储介质
CN117078234A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种优化的路网养护维修方法、电子设备及存储介质
CN117078737A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种线性裂缝长度计算方法
CN117079147A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种道路内部病害识别方法、电子设备及存储介质
CN117077452A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种道路使用寿命综合评估方法、电子设备及存储介质
CN117077449A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 道路脱空区域高度演化预测方法、电子设备及存储介质
CN117078235A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 全面评估的路网养护维修方法、电子设备及存储介质
CN117077450A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 道路脱空区域体积演化预测方法、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030108221A1 (en) * 2001-12-06 2003-06-12 Stevenson Charles Neil Image sensor method and apparatus having hardware implemented edge detection processing
WO2016194168A1 (ja) * 2015-06-03 2016-12-08 日産自動車株式会社 走行制御装置及び方法
CN108898085A (zh) * 2018-06-20 2018-11-27 安徽大学 一种基于手机视频的道路病害智能检测方法
CN111485475A (zh) * 2020-04-23 2020-08-04 陕西国防工业职业技术学院 一种路面坑槽识别方法及其装置
CN112017170A (zh) * 2020-08-26 2020-12-01 广东建科交通工程质量检测中心有限公司 一种基于三维光影模型的道路路面坑槽识别方法、装置及设备
US20210374904A1 (en) * 2020-05-26 2021-12-02 Baidu Usa Llc Depth-guided video inpainting for autonomous driving
US20210406679A1 (en) * 2020-06-30 2021-12-30 Nvidia Corporation Multi-resolution image patches for predicting autonomous navigation paths
JP2022012710A (ja) * 2020-07-02 2022-01-17 一般社団法人ヤマトグループ総合研究所 道路損傷検出装置、道路損傷検出システム、及び道路損傷検出方法
CN113989230A (zh) * 2021-10-28 2022-01-28 华东交通大学 一种基于改进YOLOv4的公路路面病害检测方法
CN114998852A (zh) * 2021-08-05 2022-09-02 浙江杉工智能科技有限公司 一种基于深度学习的公路路面病害智能检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030108221A1 (en) * 2001-12-06 2003-06-12 Stevenson Charles Neil Image sensor method and apparatus having hardware implemented edge detection processing
WO2016194168A1 (ja) * 2015-06-03 2016-12-08 日産自動車株式会社 走行制御装置及び方法
CN108898085A (zh) * 2018-06-20 2018-11-27 安徽大学 一种基于手机视频的道路病害智能检测方法
CN111485475A (zh) * 2020-04-23 2020-08-04 陕西国防工业职业技术学院 一种路面坑槽识别方法及其装置
US20210374904A1 (en) * 2020-05-26 2021-12-02 Baidu Usa Llc Depth-guided video inpainting for autonomous driving
US20210406679A1 (en) * 2020-06-30 2021-12-30 Nvidia Corporation Multi-resolution image patches for predicting autonomous navigation paths
JP2022012710A (ja) * 2020-07-02 2022-01-17 一般社団法人ヤマトグループ総合研究所 道路損傷検出装置、道路損傷検出システム、及び道路損傷検出方法
CN112017170A (zh) * 2020-08-26 2020-12-01 广东建科交通工程质量检测中心有限公司 一种基于三维光影模型的道路路面坑槽识别方法、装置及设备
CN114998852A (zh) * 2021-08-05 2022-09-02 浙江杉工智能科技有限公司 一种基于深度学习的公路路面病害智能检测方法
CN113989230A (zh) * 2021-10-28 2022-01-28 华东交通大学 一种基于改进YOLOv4的公路路面病害检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈晓艳: "基于AHP-DEMATEL美丽公路评价指标的探讨", 《交通与运输》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984221A (zh) * 2023-01-03 2023-04-18 广州新粤交通技术有限公司 一种道路标线修复识别方法、装置、设备及其存储介质
CN115984221B (zh) * 2023-01-03 2023-08-04 广州新粤交通技术有限公司 一种道路标线修复识别方法、装置、设备及其存储介质
CN116434085A (zh) * 2023-03-20 2023-07-14 广东省公路建设有限公司湾区特大桥养护技术中心 基于纹理特征分析的坑槽识别方法、装置、设备及介质
CN116434085B (zh) * 2023-03-20 2024-03-12 广东省公路建设有限公司湾区特大桥养护技术中心 基于纹理特征分析的坑槽识别方法、装置、设备及介质
CN116820125A (zh) * 2023-06-07 2023-09-29 哈尔滨市大地勘察测绘有限公司 一种基于图像处理的无人播种机控制方法及系统
CN116820125B (zh) * 2023-06-07 2023-12-22 哈尔滨市大地勘察测绘有限公司 一种基于图像处理的无人播种机控制方法及系统
CN117078235A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 全面评估的路网养护维修方法、电子设备及存储介质
CN117078234B (zh) * 2023-10-17 2024-02-27 深圳市城市交通规划设计研究中心股份有限公司 一种优化的路网养护维修方法、电子设备及存储介质
CN117077452A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种道路使用寿命综合评估方法、电子设备及存储介质
CN117077449A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 道路脱空区域高度演化预测方法、电子设备及存储介质
CN117078737A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种线性裂缝长度计算方法
CN117077450A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 道路脱空区域体积演化预测方法、电子设备及存储介质
CN117078234A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种优化的路网养护维修方法、电子设备及存储介质
CN117079147A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种道路内部病害识别方法、电子设备及存储介质
CN117079147B (zh) * 2023-10-17 2024-02-27 深圳市城市交通规划设计研究中心股份有限公司 一种道路内部病害识别方法、电子设备及存储介质
CN117077452B (zh) * 2023-10-17 2024-02-27 深圳市城市交通规划设计研究中心股份有限公司 一种道路使用寿命综合评估方法、电子设备及存储介质
CN117079145A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种道路状况综合评价方法、电子设备及存储介质
CN117077450B (zh) * 2023-10-17 2024-03-26 深圳市城市交通规划设计研究中心股份有限公司 道路脱空区域体积演化预测方法、电子设备及存储介质
CN117077449B (zh) * 2023-10-17 2024-03-26 深圳市城市交通规划设计研究中心股份有限公司 道路脱空区域高度演化预测方法、电子设备及存储介质
CN117079145B (zh) * 2023-10-17 2024-03-26 深圳市城市交通规划设计研究中心股份有限公司 一种道路状况综合评价方法、电子设备及存储介质
CN117078235B (zh) * 2023-10-17 2024-03-26 深圳市城市交通规划设计研究中心股份有限公司 全面评估的路网养护维修方法、电子设备及存储介质
CN117078737B (zh) * 2023-10-17 2024-03-29 深圳市城市交通规划设计研究中心股份有限公司 一种线性裂缝长度计算方法

Also Published As

Publication number Publication date
CN115424232B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
CN115424232B (zh) 一种路面坑槽的识别和评价方法、电子设备及存储介质
Zhang et al. Automatic pavement defect detection using 3D laser profiling technology
CN111291676B (zh) 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片
CN110501018B (zh) 一种服务于高精度地图生产的交通标志牌信息采集方法
WO2019134252A1 (zh) 结构裂缝自动化描绘及宽度精准测量方法与设备
CN110619258B (zh) 一种基于高分辨率遥感影像的道路轨迹核查方法
CN113252700B (zh) 一种结构裂缝检测方法、设备及系统
CN106767854B (zh) 移动设备、车库地图形成方法及系统
CN111145157B (zh) 基于高分辨率遥感影像的路网数据自动化质量检查方法
CN107067415A (zh) 一种基于图像匹配的目标快速精确定位方法
CN104778721A (zh) 一种双目图像中显著性目标的距离测量方法
CN112070756B (zh) 一种基于无人机倾斜摄影的路面立体病害测量方法
CN113240623B (zh) 一种路面病害检测方法及装置
Tsai et al. Horizontal roadway curvature computation algorithm using vision technology
CN111288890A (zh) 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法
CN117078235A (zh) 全面评估的路网养护维修方法、电子设备及存储介质
Medeiros Jr et al. 3D pavement macrotexture parameters from close range photogrammetry
CN115457277A (zh) 一种智能化路面病害识别检测方法及系统
CN115393319A (zh) 地图要素的评测方法和装置
Xu et al. Water level estimation based on image of staff gauge in smart city
CN117077452B (zh) 一种道路使用寿命综合评估方法、电子设备及存储介质
CN112001453B (zh) 一种视频事件检测算法的准确率计算方法及装置
Khosravi et al. Vehicle speed and dimensions estimation using on-road cameras by identifying popular vehicles
Cai et al. Robust road lane detection from shape and color feature fusion for vehicle self-localization
CN116628531A (zh) 众包地图道路对象要素聚类方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant