CN111985494B - 一种基于轻量化车载终端的道路病害检测及分类方法 - Google Patents
一种基于轻量化车载终端的道路病害检测及分类方法 Download PDFInfo
- Publication number
- CN111985494B CN111985494B CN202010646817.1A CN202010646817A CN111985494B CN 111985494 B CN111985494 B CN 111985494B CN 202010646817 A CN202010646817 A CN 202010646817A CN 111985494 B CN111985494 B CN 111985494B
- Authority
- CN
- China
- Prior art keywords
- data
- road
- sensor
- road surface
- pavement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 53
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 48
- 238000013136 deep learning model Methods 0.000 claims abstract description 20
- 230000001133 acceleration Effects 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013139 quantization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000007477 logistic regression Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于轻量化车载终端的道路病害检测及分类方法，其包括步骤：采用轻量化车载终端对道路路面数据进行采集，其后，将采集的所述道路路面数据进行预处理；基于预处理后的所述道路路面数据构建特征矩阵，利用循环神经网络算法对所述特征矩阵内的数据集进行训练，得到深度学习模型；依据构建的所述深度学习模型，对道路路面进行检测及对道路路面病害进行分类；其中，所述轻量化车载终端包括有相机、传感器，所述传感器包括加速度传感器、陀螺仪传感器和GNSS传感器。本发明所采用的检测方法扩大了道路路面病害的可探查区域范围，使得道路病害的检测更为方便、快捷，同时，降低了道路路面病害的检测成本。
Description
技术领域
本发明涉及道路路面病害检测领域，尤其涉及一种基于轻量化车载终端的道路病害检测及分类方法。
背景技术
随着人口的增长和城市的扩张，直接加快了交通基础设置的损坏速度，道路出现的各种类型的病害包括：龟裂、块状裂纹、纵向裂纹、横向裂纹、沉陷、车辙、坑槽等，当道路出现病害时，应及时修复，否则将会影响车辆的行驶，甚至危及道路交通安全。
近年来，出现了一些利用计算机视觉或是使用激光雷达技术检测道路病害的方法，然而，这些方法依赖于昂贵的传感器设备，且检测周期长，操作复杂。
因此，现有技术仍有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本申请的目的在于提供一种基于轻量化车载终端的道路病害检测及分类方法，旨在解决现有的道路检测方法的检测成本高、检测周期长、无法大范围使用的技术问题。
本发明的技术方案如下所示：
提供了一种基于轻量化车载终端的道路病害检测及分类方法，其中，包括步骤：
利用轻量化车载终端对道路路面数据进行采集，其后，将采集的所述道路路面数据进行预处理；
基于预处理后的所述道路路面数据构建特征矩阵，利用循环神经网络算法对所述特征矩阵内的数据集进行训练，得到深度学习模型；
依据构建的所述深度学习模型，对道路路面进行检测及对道路路面病害进行分类；
其中，所述轻量化车载终端包括有相机、传感器，所述传感器包括加速度传感器、陀螺仪传感器和GNSS传感器。
在上述实现方式中，通过所述轻量化车载终端采集道路路面数据，其后，将采集的所述道路路面数据进行处理，构建特征矩阵，利用循环神经网络算法对所述特征矩阵内的数据集进行训练，得到能自动检测及对道路路面病害进行分类的深度学习模型，本实现方式丰富了道路路面病害检测及分类的方式，且能检测到专业检测车载设备无法达到的路段，扩大了道路路面病害的可探查区域范围，使得道路病害的检测更为方便、快捷，为开源地理数据库提供了一种新的数据来源方式，大大降低了道路路面病害的检测成本。
可选地，所述道路路面数据包括采用所述相机采集到的路面图像数据以及采用所述传感器采集到的传感器数据。
在上述实现方式中，通过设置在所述轻量化车载终端上的相机及传感器可采集到路面图像数据以及传感器数据，通过将所述路面图像数据与所述传感器数据相结合的方式，使得对道路路面病害的检测及判断更为准确。
可选地，所述将采集的所述路面图像数据进行预处理的步骤包括：所述路面图像数据的RGB矩阵转换，所述路面图像数据的纹理特征提取及图像直方图特征提取。
可选地，所述路面图像数据的纹理特征提取包括：
从所述路面图像数据中提取灰度图像；
将所述灰度图像进行灰度级量化；
计算灰度级量化后的所述灰度图像的纹理特征值。
可选地，所述路面图像数据的图像直方图特征提取包括：
将所述路面图像数据导入bag-of-words模型，得到所述路面图像的显著度图，并利用所述显著度图构造权值；
生成词典，统计所述路面图像的视觉词直方图；
利用L1正则化的逻辑回归方法提取所述视觉词直方图的的特征。
可选地，所述利用L1正则化的逻辑回归方法提取的所述视觉词直方图的的特征包括平均值、标准偏差、中位数。
可选地，所述传感器采集到的传感器数据进行处理的步骤包括：
对所述传感器数据进行修正、去噪，其后，使用时间滑窗技术将所述传感器数据划分成独立的时间序列窗口，并对每个时间窗口内所述传感器数据进行特征计算提取。
可选地，所述传感器的特征值包括时域特征与频域特征。
可选地，所述基于所述道路路面数据构建特征矩阵，得到深度学习模型的步骤包括：
采用时间同步法，将所述路面图像数据与所述传感器数据进行匹配；
将所述路面图像数据的特征进行标准化，其后，合并成多个1*n的矩阵，并对每一个所述的矩阵给予对应的标签，得到特征矩阵Y＝[y1，y2，...，yn，L]，其中，y为经过处理的所述道路路面数据，L为对应的标签；
利用循环神经网络算法(RNN)对所述特征矩阵内的数据集进行训练，得到深度学习模型。
可选地，所述轻量化车载终端上还设置有数据存储器和数据传输器。
在上述实现方式中，通过在所述轻量化车载终端上设置数据存储器和数据传输器，可将所述传感器采集的数据存储在所述数据存储器内，并通过所述数据传输器传输至服务器上，方便在其他设备上对所述传感器采集的数据的调用。
附图说明
图1为本发明一种基于轻量化车载终端的道路病害检测及分类方法的较佳实施例的流程示意图；
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。
本发明主要面向沥青路道路的路面病害。根据《公路技术状况评定标准》JTG5210-2018，沥青道路路面病害主要分为龟裂、块状裂缝、纵向裂缝、横向裂缝、沉陷、车辙、坑槽等，其中，一些轻度病害对行车影响不大，且难以检测。因此，根据病害对车辆行驶的影响以及《公路技术状况评定标准》JTG 5210-2018中对病害严重程度的定义，本发明主要对严重程度为中度及以上的道路病害做出检测，即：本发明检测的路面龟裂按面积计算，主要裂缝块度大于0.2m，平均裂缝宽度大于2mm；本发明检测的路面块状裂缝的主要裂缝块度在0.5～1.0m之间，平均裂缝宽度大于或等于2mm；本发明检测的路面纵向裂缝为主要裂缝宽度大于3mm；本发明检测的路面横向裂缝主要裂缝宽度大于3mm；本发明检测的路面沉陷(路面的局部下沉)沉陷深度大于25mm，行车有明显颠簸感；本发明检测的路面车辙深度大于或等于15mm；本发明检测的路面坑槽深度大于或等于25mm，或面积大于或等于0.1m2。
如图1所示，本实施例中提供了一种基于轻量化车载终端的道路病害检测及分类方法，其中，采用的所述轻量化车载终端包括有相机、传感器，所述道路病害检测方法包括步骤：
S10、利用轻量化车载终端对道路路面数据进行采集，其后，对所述道路路面数据进行处理；
S20、基于预处理后的所述道路路面数据构建特征矩阵，利用循环神经网络算法对所述特征矩阵内的数据集进行训练，得到深度学习模型；
S30、依据构建的所述深度学习模型，对道路路面进行检测及对道路路面病害进行分类。
本实施例中，所述轻量化车载终端安装于车辆内，所述轻量化车载终端上的相机可用于拍摄道路路面的图像，所述轻量化车载终端上的传感器可对车辆的加速度和角速度变化情况进行监测及记录，车辆行驶在有病害的道路路面时，当行驶至病害处，车辆的行驶状态会发生明显变化，本实施例中，通过监测车辆行驶至病害处的行驶状态的变化，可逆向推断出道路病害的类型及病害的严重程度，其中，所述感应器包括加速度传感器、陀螺仪传感器和GNSS传感器，所述加速度计传感器用于检测及记录车辆在道路上行驶时三轴加速度的变化，所述陀螺仪传感器用于检测及记录车辆在道路上行驶时三轴角速度的变化，所述GNSS传感器用于车辆定位，本实施例中，通过所述轻量化车载终端即可获得道路路面数据，所述道路路面数据由道路路面图像数据以及车辆的传感器数据构成。本实施例中，优选地，所述相机进行图像采集的频率为每秒一张。
进一步地，本实施例中，将采集的所述道路路面数据进行预处理，其后，基于预处理后的所述道路路面数据构建特征矩阵，利用循环神经网络算法对所述特征矩阵内的数据集进行训练，得到深度学习模型，依据构建的所述深度学习模型，即可实现对道路路面进行检测及对道路路面病害进行分类。
本实施例中，通过所述轻量化车载终端采集道路路面数据，其后，将采集的所述道路路面数据进行预处理，构建特征矩阵，并利用循环神经网络算法对所述特征矩阵内的数据集进行训练，得到能自动检测及对道路路面病害进行分类的深度学习模型，本实施所采用的检测方法能检测到专业检测车载设备无法达到的路段，扩大了道路路面病害的可探查区域范围，使得道路病害的检测更为方便、快捷，为开源地理数据库提供了一种新的数据来源方式，同时，大大降低道路路面病害的检测成本。
在一些实施方式中，所述道路路面数据包括采用所述相机采集到的路面图像数据以及采用所述传感器采集到的传感器数据，其中，将所述路面图像数据进行处理的步骤包括：所述路面图像数据的RGB矩阵转换，所述路面图像数据的纹理特征提取及图像直方图特征提取。
本实施例中，所述路面图像数据的RGB矩阵转换，即将所述道路路面的图像数据转换成RGB矩阵，RGB矩阵是一个三维数组，各维度分别保存有红、绿、蓝的色值。
进一步地，所述路面图像数据的纹理特征提取包括：
S21、从所述路面图像数据中提取灰度图像；
S22、将所述灰度图像进行灰度级量化，得到灰度级量化后的所述灰度图像；
S23、计算所述灰度级量化后的灰度图像的纹理特征值。
纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性，通过计算所述路面图像的纹理，明确像素点之间的空间关系，有助于丰富从所述路面图像中提取到的特征。本实施例中，首先，从所述路面图像数据中提取到灰度图像，其后，将所述灰度图像进行灰度级量化，得到灰度级量化后的所述灰度图像，并计算所述灰度图像的纹理特征值，即得到所述路面图像数据的图像纹理的特征。本实施例中，优选地，所述纹理特征值为ASM能量、对比度、逆差矩、熵、自相关性以及同质性等特征值。
进一步地，所述路面图像数据的图像直方图特征提取包括：
S24、将所述路面图像数据导入bag-of-words模型，得到所述路面图像的显著度图，并利用所述显著度图构造权值；
S25、生成词典，统计所述路面图像的视觉词直方图；
S26、利用L1正则化的逻辑回归方法提取所述视觉词直方图的的特征。
直方图作为一种简单有效的基于统计特性的特征描述，在计算机视觉领域广泛使用直方图提取特征来有效表示多模态的特征分布。本实施例中，首先，将所述路面图像数据导入bag-of-words模型，得到所述路面图像的显著度图，提取颜色、形状等多种图像特征，并利用所述显著度图构造权值，其后，生成词典，统计所述路面图像的视觉词直方图，每个所述路面图像都对应有一个视觉词直方图，利用L1正则化的逻辑回归方法提取所述视觉词直方图的的特征，即可得到每个所述路面图像所对应的所述视觉词直方图的特征，所述视觉词直方图的特征包括平均值、标准偏差、中位数等。
在一些实施方式中，所述传感器采集到的传感器数据进行处理的步骤包括：
对所述传感器数据进行修正、去噪，其后，使用时间滑窗技术将所述传感器数据划分成独立的时间序列窗口，并对每个时间窗口内所述传感器数据进行特征计算提取。
本实施例中，车辆在道路上行驶时，所述传感器会不断地采集车辆的行驶数据，当车辆行驶在不平整的道路上时，由于路面的垂直方向的高低差，系统会产生振动，所述传感器可以采集到车辆振动时的加速度和角速度等信息的变化，通过调用所述传感器的接口，即可获取三轴加速度以及三轴角速度的数据，其中，所述加速度传感器、陀螺仪传感器的数据采集频率优选为为100Hz。
但车辆在道路上行驶并产生振动时，由于外部环境的影响，导致所述传感器采集的数据中会夹杂着许多噪声，因此，需要对所述传感器采集的数据进行处理。本实施例中，首先，对所述传感器采集的数据进行修正，即消除趋势项，修正由于基线偏离造成的数据信号波形畸变，在所述传感器的信号数据采集过程中，由于放大器随温度变化会产生零点漂移、所述传感器频率范围外低频性能的不稳定以及所述传感器周围的环境干扰，采集的信号数据往往会偏离基线，甚至偏离基线的大小还会随时间变化，信号震荡偏离基线随时间变化的整个过程被称为信号的趋势项，为消除趋势项对信号的正确性的影响，本实施例中，优选地，采用多项式最小二乘法进行数据处理。其中，将加速度传感器以及陀螺仪的实测数据设定为{xk}(k＝1,2,3,…,n)，数据的采集频率为100Hz，采样的时间间隔为Δt＝0.01，通过m阶多项式拟合所述感器采集的信号数据，得到信号数据的多项式函数:确定函数/>的每一个待定系数aj(j＝0,1,2,…,m),使得函数/>与离散数据xk的误差平方和最小，完成修正。
其后，使用离散小波变化对修正的信号数据进行去噪处理，消除信号数据中不必要的噪声。使用离散小波变换对信号数据进行去噪处理，能够很好的保留原有信号中所需的有用信号的峰值和突变部分，且具有较好的时频局部化特性，实现了对数据的优化。
进一步地，使用时间滑窗技术将所述传感器数据划分成独立的时间序列窗口，并对每个时间窗口内所述传感器数据进行特征计算提取。本实施例中，在计算特征前，将三轴加速度、三轴角速度进行合成，当t时刻加速度传感器值为(acc_x，acc_y，acc_z)时，合成加速度为acc：
当t时刻陀螺仪传感器数值为(ω_x,ω_y,ω_z)时，合成角速度为ω:
在对加速度、角速度进行合成以后，由于车辆前后轮依次经过病害的时间约为2到3秒，因此，基于时间滑窗的方法，选择3秒的滑动窗口，滑动窗口的重叠率为50％，即1.5秒，其后，对每一个时间窗口内的acc、ω进行特征计算，计算的特征包括时域与频域特征。
进一步地，在一些实施方式中，所述基于预处理后的所述道路路面数据构建特征矩阵，利用循环神经网络算法对所述特征矩阵内的数据集进行训练，得到深度学习模型的步骤包括：
S31、采用时间同步法，将所述路面图像数据与所述传感器数据进行匹配；
S32、将所述路面图像数据的特征进行标准化，其后，合并成多个1*n的矩阵，并对每一个所述矩阵给予对应的标签，得到特征矩阵Y＝[y1，y2，...，yn，L]，其中，y为经过处理的所述道路路面数据，L为对应的标签。
S33、利用循环神经网络算法(RNN)对所述特征矩阵内的数据集进行训练，得到深度学习模型。
本实施例中，在所述路面图像数据特征与所述传感器数据特征完成提取后，构建深度学习所需的特征矩阵，其中，由于所述道路路面图像数据采集后，车辆需要经过一段时间后才会经过该道路病害处，因此，采用时间同步方法，将所述道路路面图像数据与其相对应的所述传感器数据相匹配。本实施例中，优选地，将所述道路路面图像数据的采集频率设置为每秒一张，滑动时间窗的大小设为3秒，因此，每一个时间窗口匹配3张所述道路路面图像数据。当数据匹配完成后，将3张所述道路路面图像的RGB矩阵和提取的所有特征，以及所述传感器采集的数据特征标准化后，合并成为一个1*n的矩阵，并给予每一个矩阵对应的标签，即是否存在病害以及病害的种类，得到特征矩阵Y＝[y1，y2，...，yn，L]，其中，y为经过处理的所述道路路面数据，L为对应的标签。
更进一步地，本实施例中，利用循环神经网络算法(RNN)对所述特征矩阵内的数据集进行训练，得到可检测道路路面病害并可将道路路面病害进行分类的模型。本实施例中，通过将提取的加速度数据的特征值和提取的道路路面图像数据特征值分别进行归一化，其后，结合起来构成新的特征矩阵，并利用循环神经网络算法(RNN)分类器对融合后的特征矩阵进行分类。循环神经网络(RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络，通过深度学习技术对最后所得的特征矩阵内的数据集进行训练，得到能够对道路路面进行自动检测并对道路路面病害进行分类的模型。此外，本实施例中，还可通过将未用于分类模型训练的特征矩阵数据做数据测试，测试训练得到的权重信息可用于提高模型的精度。
在一些实施方式中，所述轻量化车载终端上还设置有数据存储器和数据传输器。
本实施例中，通过在所述轻量化车载终端上设置数据存储器和数据传输器，可将所述传感器采集的数据存储在所述数据存储器内，并通过所述数据传输器传输至服务器上，方便在其他设备上对所述传感器采集的数据的调用。
综上所述，本发明利用轻量化车载终端采集道路路面数据，其后，将采集的所述道路路面数据进行处理，构建特征矩阵，利用所述特征矩阵得到自动检测及对道路路面病害进行分类的深度学习模型，丰富了道路路面病害检测及分类的方式，且能检测到专业检测车载设备无法达到的路段，扩大了道路路面病害的可探查区域范围，使得道路病害的检测更为方便、快捷，为开源地理数据库提供了一种新的数据来源方式，大大降低了道路路面病害的检测成本。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种基于轻量化车载终端的道路病害检测及分类方法，其特征在于，包括步骤：
利用轻量化车载终端对道路路面数据进行采集，其后，将采集的所述道路路面数据进行预处理；
所述道路路面数据包括采用相机采集到的路面图像数据以及采用传感器采集到的传感器数据；
将所述路面图像数据进行预处理的步骤包括：所述路面图像数据的RGB矩阵转换，所述路面图像数据的纹理特征提取及图像直方图特征提取；
所述传感器采集到的传感器数据进行处理的步骤包括；
对所述传感器数据进行修正、去噪，其后，使用时间滑窗技术将所述传感器数据划分成独立的时间序列窗口，并对每个时间窗口内所述传感器数据进行特征计算提取；
基于预处理后的所述道路路面数据构建特征矩阵，利用循环神经网络算法对所述特征矩阵内的数据集进行训练，得到用于检测道路路面病害并将道路路面病害进行分类的深度学习模型；将未用于分类模型训练的特征矩阵数据做数据测试，测试训练得到的权重信息用于提高深度学习模型的精度；
所述基于预处理后的所述道路路面数据构建特征矩阵，包括：将提取的加速度数据的特征值和提取的道路路面图像数据特征值分别进行归一化，结合起来构成新的特征矩阵，所述传感器数据包括加速度数据；
依据构建的所述深度学习模型，对道路路面进行检测及对道路路面病害进行分类；
其中，所述轻量化车载终端包括有相机、传感器，所述传感器包括加速度传感器、陀螺仪传感器和GNSS传感器；
所述路面图像数据的图像直方图特征提取包括：
将所述路面图像数据导入bag-of-words模型，得到所述路面图像的显著度图，并利用所述显著度图构造权值；
生成词典，统计所述路面图像的视觉词直方图；
利用L1正则化的逻辑回归方法提取所述视觉词直方图的特征；
所述利用L1正则化的逻辑回归方法提取的所述视觉词直方图的特征包括平均值、标准偏差、中位数；
所述基于所述道路路面数据构建特征矩阵，得到深度学习模型的步骤包括：
采用时间同步法，将所述路面图像数据与所述传感器数据进行匹配；
将所述路面图像数据的特征进行标准化，其后，合并成多个1*n的矩阵，并对每一个所述的矩阵给予对应的标签，得到特征矩阵Y＝[y1，y2，...，yn，L]，其中，y为经过处理的所述道路路面数据，L为对应的标签；
利用循环神经网络算法(RNN)对所述特征矩阵内的数据集进行训练，得到深度学习模型。
2.根据权利要求1所述的轻量化车载终端的道路病害检测及分类方法，其特征在于，所述路面图像数据的纹理特征提取包括：
从所述路面图像数据中提取灰度图像；
将所述灰度图像进行灰度级量化处理；
计算灰度级量化后的所述灰度图像的纹理特征值。
3.根据权利要求1所述的轻量化车载终端的道路病害检测及分类方法，其特征在于，所述传感器的特征值包括时域特征与频域特征。
4.根据权利要求1所述的轻量化车载终端的道路病害检测及分类方法，其特征在于，所述轻量化车载终端上还设置有数据存储器和数据传输器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646817.1A CN111985494B (zh) | 2020-07-07 | 2020-07-07 | 一种基于轻量化车载终端的道路病害检测及分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646817.1A CN111985494B (zh) | 2020-07-07 | 2020-07-07 | 一种基于轻量化车载终端的道路病害检测及分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111985494A CN111985494A (zh) | 2020-11-24 |
| CN111985494B true CN111985494B (zh) | 2023-12-22 |
Family
ID=73438558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010646817.1A Active CN111985494B (zh) | 2020-07-07 | 2020-07-07 | 一种基于轻量化车载终端的道路病害检测及分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985494B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112525149B (zh) * | 2020-11-26 | 2023-02-10 | 广东星舆科技有限公司 | 一种监测路面发生沉降的方法、装置及计算机可读介质 |
| CN112710273A (zh) * | 2020-12-10 | 2021-04-27 | 浙江大学 | 一种基于智能手机传感器和机器学习的众包路面坑洼检测方法 |
| CN112985311B (zh) * | 2021-02-09 | 2022-05-24 | 上海同陆云交通科技有限公司 | 一种车载便携轻量化智能巡检方法与系统 |
| CN113177611B (zh) * | 2021-05-24 | 2022-11-01 | 河北工业大学 | 基于力学指标和人工神经网络的路面病害快速巡检方法 |
| CN113847944B (zh) * | 2021-09-14 | 2024-02-02 | 石家庄铁道大学 | 一种基于增强学习记忆控制的道路病害检测装置及方法 |
| CN114004950B (zh) * | 2021-10-29 | 2024-01-19 | 深圳大学 | 一种基于BIM与LiDAR技术的路面病害智能识别与管理方法 |
| CN114169402B (zh) * | 2021-11-16 | 2024-10-18 | 哈尔滨工业大学 | 一种基于门控循环单元的探地雷达地下空洞目标自动识别方法 |
| CN114582135B (zh) * | 2021-11-17 | 2023-07-18 | 北京交通发展研究院 | 检测路面异常方法、装置、终端及存储介质 |
| CN115578430B (zh) * | 2022-11-24 | 2023-04-07 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路面车辙病害的三维重构方法、电子设备及存储介质 |
| CN115909256B (zh) * | 2023-01-06 | 2023-05-19 | 济宁市百卉农林发展有限公司 | 基于道路视觉图像的道路病害检测方法 |
| CN116448773B (zh) * | 2023-06-19 | 2023-08-18 | 河北工业大学 | 一种图像-振动特征融合的路面病害检测方法及系统 |
| CN117422699B (zh) * | 2023-11-10 | 2024-10-11 | 河北鹏鹄信息科技有限公司 | 公路检测方法、装置、计算机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289674A (zh) * | 2011-07-15 | 2011-12-21 | 王世峰 | 基于垂直加速度及路面图像的路面类型识别方法及装置 |
| CN104680173A (zh) * | 2015-01-26 | 2015-06-03 | 河海大学 | 一种遥感图像场景分类方法 |
| CN109870456A (zh) * | 2019-02-01 | 2019-06-11 | 上海智能交通有限公司 | 一种路面健康状况快速检测系统及方法 |
| CN109934452A (zh) * | 2019-01-21 | 2019-06-25 | 上海同济检测技术有限公司 | 基于多源数据的道路舒适度评价方法 |
| CN110189317A (zh) * | 2019-05-30 | 2019-08-30 | 上海卡罗网络科技有限公司 | 一种基于深度学习的道路影像智能采集和识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10754344B2 (en) * | 2018-07-19 | 2020-08-25 | Toyota Research Institute, Inc. | Method and apparatus for road hazard detection |
-
2020
- 2020-07-07 CN CN202010646817.1A patent/CN111985494B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289674A (zh) * | 2011-07-15 | 2011-12-21 | 王世峰 | 基于垂直加速度及路面图像的路面类型识别方法及装置 |
| CN104680173A (zh) * | 2015-01-26 | 2015-06-03 | 河海大学 | 一种遥感图像场景分类方法 |
| CN109934452A (zh) * | 2019-01-21 | 2019-06-25 | 上海同济检测技术有限公司 | 基于多源数据的道路舒适度评价方法 |
| CN109870456A (zh) * | 2019-02-01 | 2019-06-11 | 上海智能交通有限公司 | 一种路面健康状况快速检测系统及方法 |
| CN110189317A (zh) * | 2019-05-30 | 2019-08-30 | 上海卡罗网络科技有限公司 | 一种基于深度学习的道路影像智能采集和识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于语义短语的空间金字塔词袋模型图像分类方法;生海迪;段会川;孔超;;小型微型计算机系统(第04期);第1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111985494A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111985494B (zh) | 一种基于轻量化车载终端的道路病害检测及分类方法 | |
| CN107492251B (zh) | 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 | |
| CN108197583B (zh) | 基于图割优化和影像结构特征的建筑物变化检测方法 | |
| CN111783638B (zh) | 一种检测车辆轮轴数及车型识别的系统、方法 | |
| CN112433203A (zh) | 一种基于毫米波雷达数据的车道线形检测方法 | |
| CN102768022B (zh) | 采用数码照相技术的隧道围岩变形检测方法 | |
| CN102393901B (zh) | 基于混杂特征的交通流信息感知方法及系统 | |
| CN104657727A (zh) | 一种车道线的检测方法 | |
| CN111179152A (zh) | 一种道路标识识别方法及装置、介质、终端 | |
| CN104463903A (zh) | 一种基于目标行为分析的行人图像实时检测方法 | |
| CN107315095A (zh) | 基于视频处理的具有光照适应性的多车辆自动测速方法 | |
| Yu et al. | Pavement roughness index estimation and anomaly detection using smartphones | |
| CN108760740A (zh) | 一种基于机器视觉的路面抗滑性能快速检测方法 | |
| CN113505638B (zh) | 车流量的监测方法、监测装置及计算机可读存储介质 | |
| CN112070756B (zh) | 一种基于无人机倾斜摄影的路面立体病害测量方法 | |
| CN104992429A (zh) | 一种基于图像局部增强的山体裂缝检测方法 | |
| CN103679167A (zh) | 一种ccd图像处理的方法 | |
| CN113720428B (zh) | 基于人工智能和计算机视觉的车速感知动态称重补偿方法 | |
| CN107808524A (zh) | 一种基于无人机的道路交叉口车辆检测方法 | |
| CN104537649A (zh) | 一种基于图像模糊度比较的车辆转向判断方法及系统 | |
| CN111882664A (zh) | 一种多窗口累计差分的裂缝提取方法 | |
| CN116680894A (zh) | 一种桥梁车辆荷载效应实时孪生方法 | |
| CN103456029B (zh) | 一种抗相似颜色和光照变化干扰的Mean Shift跟踪方法 | |
| CN111310651B (zh) | 一种基于偏振相机和rgb-d传感器的水面检测方法 | |
| Li et al. | Road Damage Evaluation via Stereo Camera and Deep Learning Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |