CN116448773A - 一种图像-振动特征融合的路面病害检测方法及系统 - Google Patents

一种图像-振动特征融合的路面病害检测方法及系统 Download PDF

Info

Publication number
CN116448773A
CN116448773A CN202310720748.8A CN202310720748A CN116448773A CN 116448773 A CN116448773 A CN 116448773A CN 202310720748 A CN202310720748 A CN 202310720748A CN 116448773 A CN116448773 A CN 116448773A
Authority
CN
China
Prior art keywords
road surface
vibration acceleration
image
disease
acceleration signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310720748.8A
Other languages
English (en)
Other versions
CN116448773B (zh
Inventor
李家乐
杨迎建
王雪菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202310720748.8A priority Critical patent/CN116448773B/zh
Publication of CN116448773A publication Critical patent/CN116448773A/zh
Application granted granted Critical
Publication of CN116448773B publication Critical patent/CN116448773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种图像‑振动特征融合的路面病害检测方法及系统，该检测方法搭建了基于振动加速度和图像的数据库，以输入振动加速度信号与调整后的路面病害的图像为输入，以病害类型为输出建立路面病害识别模型实现路面病害的图像特征与振动加速度特征的融合，同时使用深度学习对路面病害的振动加速度信号与图像进行特征融合，对路面病害识别并量化，提高路面病害检测的效率与准确率。通过多源数据的融合，降低单一数据下外界干扰对路面病害量化结果的影响，能够提高路面病害量化的计算精度。

Description

一种图像-振动特征融合的路面病害检测方法及系统
技术领域
本发明涉及人工智能和路面病害检测领域，具体是一种图像-振动特征融合的路面病害检测方法及系统。
背景技术
随着道路的使用时间增长，车辆数量的急剧增加和密集使用，导致路面产生各种道路病害，影响道路使用寿命，因此，必须定期监测道路状况。目前路面病害传统检测方法主要是使用道路检测车和人工检测两种方法，但是传统的检测方法繁琐耗时，对路面状况的更新频率低，还会影响道路的正常使用。现有的检测路面病害的移动设备有加速度传感器、相机、红外雷达等。基于加速度传感器能够识别出路面的起伏变化，如坑槽、波浪、拥抱等病害。但对路面表面的识别能力较低如裂缝类病害。基于图像对路面的起伏变化识别能力差，但对路面表面的识别能力较高。振动加速度信号提取的特征可更准确地表征路面的起伏变换，而图像提取的特征能够精准的表征图像的表面纹理。因此，现有的检测方法较为单一，仅使用一种特征进行检测，本发明将图像特征与加速信号特征进行融合，将两种方法的优势有效结合，能够实现路面病害情况复杂的路面健康检测，提高路面病害检测的效率与准确率。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种图像-振动特征融合的路面病害检测方法及系统。该检测方法搭建了基于振动加速度信号和图像的数据库，同时使用深度学习对路面病害的振动加速度信号与图像进行特征融合，对路面病害识别并量化，提高路面病害检测的效率与准确率。
本发明解决所述技术问题的技术方案是：
第一方面，本发明提供一种图像-振动特征融合的路面病害检测方法，所述检测方法包括以下内容：
1）构建基于振动加速度信号和图像的数据库：
在不同的车辆速度下使用IMU传感器实时采集车辆的z轴振动加速度信号及对应的时间，以z轴振动加速度信号作为振动加速度信号，以经过路面病害时产生的振动加速度信号作为输入振动加速度信号，使用运动相机采集对应输入振动加速度信号下的路面病害的图像；
将输入振动加速度信号与路面病害的图像进行一一对应，并添加病害标签，将所有的路面病害的图像分辨率调整为统一格式，之后将每个调整后的路面病害的图像与输入振动加速度信号以及车辆速度、标签对应起来并保存，形成数据库；
2）以输入振动加速度信号与调整后的路面病害的图像为输入，以病害类型为输出建立路面病害识别模型；
3）构建路面病害量化模型
利用图像分割算法对调整后的路面病害的图像进行分割量化，输出路面病害的图像量化结果；
获取输入振动加速度信号长度及长度范围内各个时间点对应的输入振动加速度信号的振幅，求在输入振动加速度信号长度范围内各个时间点对应的输入振动加速度信号的振幅的绝对值之和，为输入振动加速度量化结果；
测量病害破坏面积，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度及对应的病害破坏面积构建量化数据集，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度作为BP神经网络的输入，输出为修正路面病害量化结果，利用量化数据集训练BP神经网络；
至此获得路面病害量化模型；
4）路面病害检测
利用路面病害识别模型识别病害类型，根据路面病害量化模型获得修正路面病害量化结果，修正路面病害量化结果为病害的尺寸；结合病害类型和修正路面病害量化结果计算破损率。
所述路面病害量化模型为Pso-ResNet-1DCNN网络模型，具体是：以ResNet34和1DCNN为基础，ResNet34的输入为调整后的路面病害的图像，1DCNN的输入为输入振动加速度信号；在ResNet34第二层和第三层之间增加空间-通道注意力机制，1DCNN包括一个输入层、两个卷积层、两个池化层和一个全连接层、一个输出层，在1DCNN第一个池化层之后增加一个时间注意力机制，使用concatenate层将ResNet34的输出层与1DCNN的输出层并联进行特征融合；在concatenate层后添加两层全连接层，对病害类型结果进行输出；
利用粒子群算法对Pso-ResNet-1DCNN网络模型进行优化，优化超参数包括：ResNet34的学习率、批处理数据大小，1DCNN各个卷积层的步长、学习率、批处理数据大小以及concatenate层中特征融合的权重；粒子群算法以Pso-ResNet-1DCNN网络模型的准确率作为适应度函数，寻找最优的超参数组合。
所述1DCNN的第一个卷积层的卷积核设置为（16，128），第一个池化层的池化核设置为2，第二个卷积层的卷积核设置为（32，32），第二个池化层的池化核设置为16；所述粒子群算法中迭代次数设置为50。
所述以经过路面病害时产生的振动加速度信号作为输入振动加速度信号，使用运动相机采集对应输入振动加速度信号下的图像的具体过程是：
根据振动加速度信号的变化，利用滑动窗口法控制运动相机采集路面病害的图像，所述滑动窗口法是指：设定振动阈值，按照下式计算路面病害输入振动加速度信号的长度L为：
，
L=F×T，
S为车身长度，V为车辆速度，F为IMU传感器采集频率，L为路面病害的输入振动加速度信号长度； T 为以车辆速度 V 行驶车身长度 S 所用时间；
以L的十分之一作为判断窗口长度，计算判断窗口中振动加速度信号幅值的绝对值之和，若判断窗口中振动加速度信号幅值的绝对值之和不小于设定振动阈值，则采集路面病害的图像，并保存判断窗口之后长度为L的振动加速度信号为输入振动加速度信号；若判断窗口中振动加速度信号幅值的绝对值之和小于振动阈值，则继续滑动判断窗口，重复以上步骤，获得路面检测或调查面积内所有的路面病害的图像和对应的输入振动加速度信号。
所述振动阈值的设置与车辆速度有关，计算平整路面下判断窗口长度的振动加速度信号幅值，所述振动阈值取1.5倍的平整路面下判断窗口长度的振动加速度信号幅值。
所述破损率计算公式为：
，
Ai —— 调查面积内第 i 类路面损坏的累计面积，单位m2，
A —— 路面检测或调查面积，单位m2；
i —— 路面损坏类型，包括轻度损坏程度、中度破损程度和重度破损程度；结合病害类型和修正路面病害量化结果根据《公路技术状况评定标准》规范得到路面损坏类型；
wi —— 第 i 类路面损坏的权重或换算系数；根据《公路技术状况评定标准》规范确定第i类路面损坏的权重系数；
i0 —— 所有病害的路面损坏类型总数，由路面病害识别模型确定病害类型，每种病害类型对应反映不同路面病害严重程度的路面损坏类型，所有病害类型和对应的路面损坏类型的总和i0。
数据库中具有沥青路面病害11种，水泥混凝土路面病害11种；
沥青路面中所有病害的路面损坏类型总数为 21，水泥混凝土路面中所有病害的路面损坏类型总数为20。
第二方面，本发明提供一种图像-振动特征融合的路面病害检测系统，所述检测系统包括车联网云平台、GPS定位模块、图像采集模块、IMU传感器、信息传输设备、控制终端；IMU传感器安装在车身前引擎盖位置，通过数据传输线与控制终端相连，图像采集模块采用高清运动相机通过数据传输线与控制终端相连；IMU传感器采集z轴振动加速度信号，作为振动加速度信号，并实时的将振动加速度信号传输至控制终端，控制终端以采集的振动加速度信号为依据判断是否采集图像，若确定采集图像，则向运动相机发送采集图像命令；运动相机采集路面病害的图像信息，采集的图像信息与振动加速度信号一起通过信息传输设备传输到车联网云平台，车联网云平台记录数据采集的时间；所述车联网云平台为云端服务器，GPS定位模块安装在车辆顶部，与信息传输设备相连，能够将车辆速度、经纬度信息传递到云端服务器；
所述云端服务器中加载有路面病害识别模型和路面病害量化模型；
所述车联网云平台接收来自不同车辆采集到的路面病害信息，对采集到的路面病害信息进行识别、量化，根据路面病害的经纬度信息，以及采集的路面病害的图像信息，利用空间聚类的方式修正路面病害位置，对来自不同车辆的采集的路面病害进行聚类，使用欧氏距离衡量不同车辆经过同一路面病害时的位置信息，以聚类簇的中心点作为最终的路面病害位置，用于后续的养护管理。
以采集的振动加速度信号为依据判断是否采集图像的具体过程是：
设定振动阈值，按照下式计算路面病害输入振动加速度信号的长度L为：
，
L=F×T，
S为车身长度，V为车辆速度，F为IMU传感器采集频率，L为路面病害的输入振动加速度信号长度； T 为以车辆速度 V 行驶车身长度 S 所用时间；
以L的十分之一作为判断窗口长度，计算判断窗口中振动加速度信号幅值的绝对值之和，若判断窗口中振动加速度信号幅值的绝对值之和不小于设定的振动阈值，则采集路面病害的图像，并保存判断窗口之后长度为L的振动加速度信号为输入振动加速度信号；若判断窗口中振动加速度信号幅值的绝对值之和小于设定的振动阈值，则继续滑动判断窗口，重复以上步骤，获得路面检测或调查面积内所有的路面病害的图像和对应的输入振动加速度信号。
所述路面病害识别模型是以输入振动加速度信号与调整后的路面病害的图像为输入，以病害类型为输出利用神经网络建立的；
所述路面病害量化模型的构建过程是：
利用图像分割算法对调整后的路面病害的图像进行分割量化，输出路面病害的图像量化结果；
获取输入振动加速度信号长度及长度范围内各个时间点对应的输入振动加速度信号的振幅，求在输入振动加速度信号长度范围内各个时间点对应的输入振动加速度信号的振幅的绝对值之和，为输入振动加速度量化结果；
测量病害破坏面积，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度及对应的病害破坏面积构建量化数据集，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度作为BP神经网络的输入，输出为修正路面病害量化结果，利用量化数据集训练BP神经网络；
至此获得路面病害量化模型；
定义以经过路面病害时产生的振动加速度信号作为输入振动加速度信号，输入振动加速度信号对应的路面病害的图像的图像分辨率调整为统一格式后的图像为调整后的路面病害的图像。
与现有技术相比，本发明的有益效果在于：
本发明使用轻量化的采集设备结合车联网技术，采集振动加速度信号和图像数据，并上传至云端服务器，设备安装操作简单，适用于复杂条件下低等级公路的路面测量，设备成本远低于道路检测车，能够提高低等级道路的检测效率。
本发明方法根据振动加速度信号变化采集路面病害的图像数据，能够大大节省数据存储空间，提高数据传输效率，建立车联网云平台，能够实现对路面状况的动态监控，便于下一步的路面养护管理。
以输入振动加速度信号与调整后的路面病害的图像为输入，以病害类型为输出建立路面病害识别模型实现路面病害的图像特征与振动加速度信号特征的融合，能够克服两种方法各自的缺点，实现优势互补，提高对路面病害的识别准确率，识别的准确率优于现有的单一数据识别路面病害的方法。
以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度及对应的病害破坏面积构建量化数据集，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度作为BP神经网络的输入，输出为修正路面病害量化结果，构建路面病害量化模型；通过多源数据的融合，降低单一数据下外界干扰对路面病害量化结果的影响，能够提高路面病害量化的计算精度。
附图说明
图1为本发明图像-振动特征融合的路面病害检测方法的流程图。
图2为本发明中路面病害识别模型的结构示意图。
图3为本发明中数据库构建的流程示意图。
图4为本发明中路面病害量化模型的结构示意图。
图5为本发明图像-振动特征融合的路面病害检测系统的硬件结构示意图。
图中，1为IMU传感器，2为信息传输设备，3为控制终端，4为GPS定位模块，5为图像采集模块，6为云端服务器。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请的保护范围。
本发明图像-振动特征融合的路面病害检测系统（参见图5）包括车联网云平台、GPS定位模块4、图像采集模块5、IMU传感器1、信息传输设备2、控制终端3；IMU传感器1安装在车身前引擎盖位置，通过数据传输线与控制终端相连，IMU传感器采集频率为400HZ；图像采集模块5采用高清运动相机通过数据传输线与控制终端相连；IMU传感器采集z轴振动加速度信号，以z轴振动加速度作为振动加速度信号，并实时的将振动加速度信号传输至控制终端，控制终端以采集的振动加速度信号为依据判断是否采集图像，若确定采集图像，则向运动相机发送采集图像命令；运动相机采集路面病害的图像信息，与振动加速度信号一起通过信息传输设备传输到车联网云平台，车联网云平台记录数据采集的时间；所述车联网云平台为云端服务器6，GPS定位模块4安装在车辆顶部，与信息传输设备2相连，能够将车辆速度、经纬度信息传递到云端服务器；
所述云端服务器中加载有路面病害识别模型和路面病害量化模型，车联网云平台接收来自不同车辆采集到的路面病害信息（路面病害振动加速度信号数据与图像数据），并且将训练好的路面病害识别模型以及路面病害量化模型集成到车联网云平台，对采集到的路面病害信息进行识别、量化；云端服务器还能根据路面病害的经纬度信息，以及采集的路面病害的图像信息，利用空间聚类的方式对路面病害位置进行修正，对来自不同车辆的采集的路面病害进行聚类，使用欧氏距离衡量不同车辆经过同一路面病害时的位置信息，以聚类簇的中心点作为最终的路面病害位置，用于后续的养护管理。
本申请适用于利用常规车辆进行路面病害检测，在车联网的条件下，实现路面检测，不需要专门进行道路检测。此外，数据的采集需要依靠振动加速度信号的变化进行采集，当车辆没有压过路面病害时，无法保存病害数据，因此需要对不同车辆采集的数据进行聚类。
本发明图像-振动特征融合的路面病害检测方法的流程图参见图1，包括以下步骤：
数据采集，包括路面病害的振动加速度信号采集和图像采集，同时记录采集的时间及位置；
构建数据库，在不同的车辆速度下使用IMU传感器实时采集车辆的振动加速度信号及对应的时间，以经过路面病害时产生的振动加速度信号作为输入振动加速度信号，使用运动相机采集对应输入振动加速度信号下的路面病害的图像；将输入振动加速度信号与路面病害的图像进行一一对应，并添加病害标签，将所有的路面病害的图像分辨率调整为统一格式，之后将每个调整后的路面病害的图像与输入振动加速度信号以及车辆速度、标签对应起来并保存，形成数据库；
特征融合：以输入振动加速度信号与调整后的路面病害的图像为输入，以病害类型为输出建立路面病害识别模型；路面病害识别模型根据对输入的两种特征的融合处理，获得病害类型信息；同时以路面的病害图像量化结果、输入振动加速度量化结果、车辆速度及对应的病害破坏面积构建量化数据集，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度作为BP神经网络的输入，输出为修正路面病害量化结果，利用量化数据集训练BP神经网络；实现了振动加速度信号与图像的再次融合。
利用路面病害识别模型识别病害，利用路面病害量化模型对病害进行量化。
计算破损率：利用路面病害识别模型识别病害类型，根据路面病害量化模型获得修正路面病害量化结果，修正路面病害量化结果为病害的尺寸；结合病害类型和修正路面病害量化结果计算破损率。
图2为本发明一种实施例的路面病害识别模型，以输入振动加速度信号与调整后的路面病害的图像为输入，以病害类型为输出建立路面病害识别模型，本实施例中ResNet-1DCNN并联网络为路面病害识别模型，网络的架构由用于图像分类的残差神经网络ResNet34和用于振动加速度信号处理的一维卷积神经网络1DCNN为基础，一维卷积神经网络提取振动加速度信号特征，由一个输入层、两个卷积层、两个池化层和一个全连接层、一个输出层组成，在第一个池化层之后增加一个时间注意力机制，提高对振动加速度信号时间维度上的特征关注度。ResNet34网络提取路面病害的图像特征，以ResNet34网络结构为基础，在ResNet34第二层和第三层之间增加空间通道注意力机制，能够得到更为精确的特征图，降低网络的运算速度。
使用concatenate层将ResNet34的输出层与1DCNN的输出层并联，对提取ResNet34的输出层与1DCNN的输出层的特征进行特征融合；在concatenate层后添加两层全连接层，使用relu作为激活函数，根据融合后的特征向量对路面病害类型分类结果进行输出，至此获得ResNet34-1DCNN网络模型。其中ResNet34还可以使用其他图像分类模型，如以VGG、DenseNet等为基础的网络构架，也可以在网络构架中加入空间通道注意力机制。
1DCNN架构的输入为输入振动加速度信号，以10km/h速度下的路面病害振动加速度信号长度，作为1DCNN的输入长度。但随着车辆速度的增加，采集到的振动加速度信号的长度会缩短，因此为了满足不同速度下采集到的振动加速度信号能够在神经网络模型中进行训练，使用零值对由于速度提高而产生的空值进行填充。输入振动加速度信号的长度L计算公式为：
，
L=F×T，
S为车身长度，V为车辆速度，F为IMU传感器采集频率，L为路面病害的输入振动加速度信号长度。T 为以车辆速度 V 行驶车身长度 S 所用时间
ResNet34的输入为调整后的路面病害的图像，包括一层卷积层、四层Block层，在前两层的Block层之间设置空间通道注意力机制，最后一个Block层的输出经全连接层输出结果。对采集到的图像进行预处理，将采集到的图像根据车道线进行裁剪，裁剪出当前车辆所行驶车道下的图像。将图像的分辨率调整为512×512，并对图像进行归一化处理。将所有路面病害的图像的分辨率调整为统一格式，之后将每个调整后的路面病害的图像与输入振动加速度信号以及车辆速度、标签对应起来并保存，形成数据库。将调整后的路面病害的图像与输入振动加速度信号以及车辆速度进行标注，训练ResNet34-1DCNN网络模型，利用粒子群算法对ResNet34-1DCNN网络模型进行优化，优化的超参数包括ResNet34的学习率、批处理数据大小，1DCNN的各个卷积层的步长、学习率、批处理数据大小以及concatenate层中特征融合的权重。以ResNet34-1DCNN网络模型的分类准确率作为适应度函数，寻找最优的超参数组合，获得最优的网络模型，并将最优的网络模型保存到车联网云平台中，此最优的网络模型为路面病害识别模型。
路面病害的图像与振动加速度信号采集：
使用运动相机采集对应输入振动加速度信号下图像的具体过程是：
根据振动加速度信号的变化，利用滑动窗口法控制运动相机采集路面病害的图像，所述滑动窗口法是指：设定振动阈值，按照下式计算路面病害输入振动加速度信号的长度L为：
，
L=F×T，
S为车身长度，V为车辆速度，F为IMU传感器采集频率，L为路面病害的输入振动加速度信号长度。T 为以车辆速度 V 行驶车身长度 S 所用时间。
以L的十分之一作为判断窗口长度，判断窗口连续滑动，计算判断窗口振幅，即计算判断窗口中振动加速度信号幅值的绝对值之和，若判断窗口中振动加速度信号幅值的绝对值之和大于或等于设定的振动阈值，则采集路面病害的图像，并保存判断窗口之后长度为L的振动加速度信号为输入振动加速度信号；若判断窗口中振动加速度信号幅值的绝对值之和小于振动阈值，则继续滑动判断窗口，重复以上步骤（参见图3）。
计算平整路面下判断窗口长度的振动加速度信号幅值，所述振动阈值取1.5倍的平整路面下判断窗口长度的振动加速度信号幅值。
路面病害量化模型参见图4：利用图像分割算法对调整后的路面病害的图像进行分割量化，并结合路面病害的输入振动加速度信号进行修正。使用DeepLabv3+图像分割算法对采集到调整后的路面病害的图像结合相机参数，以及相机距地面高度进行量化，获得路面病害的图像量化结果。
获取输入振动加速度信号长度及长度范围内各个时间点对应的输入振动加速度信号的振幅，求在输入振动加速度信号长度范围内各个时间点对应的输入振动加速度信号的振幅的绝对值之和，为输入振动加速度量化结果；
测量病害破坏面积，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度及对应的病害破坏面积构建量化数据集，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度作为BP神经网络的输入，输出为修正路面病害量化结果（参见图4），利用量化数据集训练BP神经网络。
至此获得路面病害量化模型。
本发明图像-振动特征融合的路面病害检测方法的工作原理和工作流程是：
一、工作原理
振动加速度信号能够准确反映路面的起伏变化，而图像数据能够表征路面的表面纹理，结合两种数据类型的特点，进行特征融合实现路面病害的分类、量化。根据振动加速度信号的变化，通过滑动窗口判断是否存在路面病害，控制采集路面图像数据，并通过信息传输设备传输到云端服务器。使用神经网络构建路面病害识别模型，ResNet34的输出层与1DCNN的输出层并联进行特征融合，对路面病害进行识别。利用路面病害量化模型，实现根据振动加速度信号的量化结果对图像量化结果进行修正。在车联网平台下实现各等级道路路面的检测。
本发明中振动加速度信号为一维的数据，图像为二维数据，将两个不同维度的数据进行融合，需要对图像降维提取特征，将其与振动加速度信号特征进行融合。本实施例通过构建Pso-ResNet-1DCNN网络模型对两个维度的数据进行特征融合，用于识别路面病害，将两种类型的数据进行融合，能够使Pso-ResNet-1DCNN网络模型学习到更多的特征，提高对路面病害的识别量化、准确率。
二、工作流程
1）构建基于振动加速度信号和图像的数据库：
在不同的车辆速度下使用IMU传感器实时采集车辆的z轴振动加速度信号及对应的时间，以z轴振动加速度信号作为振动加速度信号，以经过路面病害时产生的振动加速度信号作为输入振动加速度信号，使用运动相机采集对应输入振动加速度信号下的图像。
具体地是，根据振动加速度信号的变化，利用滑动窗口的方法控制运动相机采集路面病害的图像。
所述滑动窗口的方法是指：设定振动阈值，
按照下式计算路面病害输入振动加速度信号的长度L为：
，
L=F×T，
S为车身长度，V为车辆速度，F为IMU传感器采集频率，L为路面病害的输入振动加速度信号长度；T 为以车辆速度 V 行驶车身长度 S 所用时间；
以L的十分之一作为判断窗口长度，计算判断窗口中振动加速度信号幅值的绝对值之和，若判断窗口中振动加速度信号幅值的绝对值之和不小于设定振动阈值，则采集路面病害的图像，并保存判断窗口之后长度为L的振动加速度信号为输入振动加速度信号；若判断窗口中振动加速度信号幅值的绝对值之和小于振动阈值，则继续滑动判断窗口，重复以上步骤，获得路面检测或调查面积内所有的路面病害的图像和对应的输入振动加速度信号。
振动阈值的设置与车辆速度有关，计算平整路面下判断窗口长度的振动加速度信号幅值，本实施例中振动阈值取1.5倍的平整路面下判断窗口长度的振动加速度信号幅值。
将输入振动加速度信号与路面病害的图像进行一一对应，并添加病害标签，将所有的图像的分辨率调整为统一格式，之后将每个调整后的路面病害的图像与输入振动加速度信号以及车辆速度及对应的标签对应起来并保存，形成数据库；本实施例中数据库中具有沥青路面病害11种，水泥混凝土路面病害11种。
2）路面病害识别：
搭建Pso-ResNet-1DCNN网络模型，以ResNet34和1DCNN为基础，在ResNet34第二层和第三层之间增加空间-通道注意力机制，1DCNN由一个输入层、两个卷积层、两个池化层和一个全连接层、一个输出层组成，第一层卷积层卷积核设置为（16，128），第一层池化层池化核设置为2，在1DCNN第一个池化层之后增加一个时间注意力机制，第二层卷积层卷积核设置为（32，32），第一层池化层池化核设置为16，迭代次数设置为50。使用concatenate层将ResNet34的输出层与1DCNN的输出层并联，对ResNet34的输出层与1DCNN的输出层进行特征融合。在concatenate层后添加两层全连接层，对病害类型结果进行输出。
利用粒子群算法对Pso-ResNet-1DCNN模型进行优化，优化超参数包括ResNet的学习率、批处理数据大小，1DCNN各个卷积层的步长、学习率、批处理数据大小以及concatenate层中特征融合的权重。以模型准确率作为适应度函数，寻找最优的超参数组合。
在最优的超参数组合下，利用基于振动加速度信号和图像的数据库训练Pso-ResNet-1DCNN网络模型，获得训练后的Pso-ResNet-1DCNN网络模型，即为路面病害识别模型。
3）路面病害量化
利用图像分割算法对调整后的图像进行分割量化，输出路面病害的图像量化结果，获取输入振动加速度信号长度及长度范围内各个时间点对应的振动加速度信号的振幅，求在输入振动加速度信号长度范围内各个时间点对应的振动加速度信号的振幅的绝对值之和，为输入振动加速度量化结果。
以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度及对应的病害破坏面积（由测量获得）构建量化数据集，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度作为BP神经网络的输入，输出为修正路面病害量化结果，利用量化数据集训练BP神经网络；
至此获得路面病害量化模型。
4）路面病害检测
利用路面病害识别模型识别病害类型，根据路面病害量化模型获得修正路面病害量化结果，修正路面病害量化结果为病害的尺寸，通过识别出的病害类型以及病害的尺寸；
由路面病害识别模型确定病害类型，每种病害类型对应反映不同路面病害严重程度的路面损坏类型，所有病害类型和对应的路面损坏类型的总和为所有病害的路面损坏类型总数i0。
结合病害类型和修正路面病害量化结果根据《公路技术状况评定标准》规范得到路面损坏类型；再根据规范确定此种路面损坏的权重系数，计算每种路面损坏的累计面积，进一步计算破损率，
破损率DR计算公式为：
，
Ai —— 调查面积内第 i 类路面损坏的累计面积（m2），通过识别出的病害类型以及修正路面病害量化结果所得到的病害的尺寸，根据同类路面损坏的病害的尺寸来获得路面损坏的累计面积；
A —— 路面检测或调查面积（m2），为待研究区域；
wi —— 第 i 类路面损坏的权重或换算系数；根据规范确定第i类路面损坏的权重系；
i —— 路面损坏类型，包括轻度损坏程度、中度破损程度和重度破损程度；结合病害类型和修正路面病害量化结果根据《公路技术状况评定标准》规范得到路面损坏类型；
i0 —— 损坏类型总数，沥青路面中所有病害的路面损坏类型总数为21，水泥混凝土路面中所有病害的路面损坏类型总数为20。
示例：100m的一级公路上某一车道通过路面病害识别模型检测到一个坑槽，一个横向裂缝，一级公路的宽度为7.5m，通过路面病害量化模型获得坑槽破坏面积为0.08m2，横向裂缝的长度为3m，宽度为4mm。根据《公路技术状况评定标准》规范可得坑槽的Ai为0.08m2，Wi为1，横向裂缝的Ai为0.6m2，Wi为1。根据《公路技术状况评定标准》规范计算破损率：
。
5）车联网云平台
将训练好的Pso-ResNet-1DCNN网络模型，以及路面病害量化模型保存在编程环境中，嵌入到车联网云平台，车联网云平台接收来自不同车辆采集到的路面病害振动加速度信号与图像数据以及速度和经纬度数据，对路面病害进行识别、量化；根据路面病害的经纬度信息，以及采集的路面病害的图像信息，利用空间聚类的方式修正路面病害位置，对来自不同车辆的采集的路面病害进行聚类，使用欧氏距离衡量不同车辆经过同一路面病害时的位置信息，以聚类簇的中心点作为最终的路面病害位置，用于后续的养护管理。
本发明未述及之处适用于现有技术。

Claims (10)

1.一种图像-振动特征融合的路面病害检测方法，其特征在于，所述检测方法包括以下内容：
1）构建基于振动加速度信号和图像的数据库：
在不同的车辆速度下使用IMU传感器实时采集车辆的z轴振动加速度信号及对应的时间，以z轴振动加速度信号作为振动加速度信号，以经过路面病害时产生的振动加速度信号作为输入振动加速度信号，使用运动相机采集对应输入振动加速度信号下的路面病害的图像；
将输入振动加速度信号与路面病害的图像进行一一对应，并添加病害标签，将所有的路面病害的图像分辨率调整为统一格式，之后将每个调整后的路面病害的图像与输入振动加速度信号以及车辆速度、标签对应起来并保存，形成数据库；
2） 以输入振动加速度信号与调整后的路面病害的图像为输入，以病害类型为输出建立路面病害识别模型；
3）构建路面病害量化模型
利用图像分割算法对调整后的路面病害的图像进行分割量化，输出路面病害的图像量化结果；
获取输入振动加速度信号长度及长度范围内各个时间点对应的输入振动加速度信号的振幅，求在输入振动加速度信号长度范围内各个时间点对应的输入振动加速度信号的振幅的绝对值之和，为输入振动加速度量化结果；
测量病害破坏面积，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度及对应的病害破坏面积构建量化数据集，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度作为BP神经网络的输入，输出为修正路面病害量化结果，利用量化数据集训练BP神经网络；
至此获得路面病害量化模型；
4）路面病害检测
利用路面病害识别模型识别病害类型，根据路面病害量化模型获得修正路面病害量化结果；结合病害类型和修正路面病害量化结果计算破损率。
2.根据权利要求1所述的图像-振动特征融合的路面病害检测方法，其特征在于，其特征在于，所述路面病害量化模型为Pso-ResNet-1DCNN网络模型，具体是：以ResNet34和1DCNN为基础，ResNet34的输入为调整后的路面病害的图像，1DCNN的输入为输入振动加速度信号；在ResNet34第二层和第三层之间增加空间-通道注意力机制，1DCNN包括一个输入层、两个卷积层、两个池化层和一个全连接层、一个输出层，在1DCNN第一个池化层之后增加一个时间注意力机制，使用concatenate层将ResNet34的输出层与1DCNN的输出层并联进行特征融合；在concatenate层后添加两层全连接层，对病害类型结果进行输出；
利用粒子群算法对Pso-ResNet-1DCNN网络模型进行优化，优化超参数包括：ResNet34的学习率、批处理数据大小，1DCNN各个卷积层的步长、学习率、批处理数据大小以及concatenate层中特征融合的权重；粒子群算法以Pso-ResNet-1DCNN网络模型的准确率作为适应度函数，寻找最优的超参数组合。
3.根据权利要求2所述的图像-振动特征融合的路面病害检测方法，其特征在于，其特征在于，所述1DCNN的第一个卷积层的卷积核设置为（16，128），1DCNN的第一个池化层的池化核设置为2，1DCNN的第二个卷积层的卷积核设置为（32，32），1DCNN的第二个池化层的池化核设置为16；所述粒子群算法中迭代次数设置为50。
4.根据权利要求1所述的图像-振动特征融合的路面病害检测方法，其特征在于，所述以经过路面病害时产生的振动加速度信号作为输入振动加速度信号，使用运动相机采集对应输入振动加速度信号下的图像的具体过程是：
根据振动加速度信号的变化，利用滑动窗口法控制运动相机采集路面病害的图像，所述滑动窗口法是指：设定振动阈值，按照下式计算路面病害输入振动加速度信号的长度L为：
，
L=F×T，
S为车身长度，V为车辆速度，F为IMU传感器采集频率，L为路面病害的输入振动加速度信号长度；T 为以车辆速度 V 行驶车身长度 S 所用时间；
以L的十分之一作为判断窗口长度，计算判断窗口中振动加速度信号幅值的绝对值之和，若判断窗口中振动加速度信号幅值的绝对值之和不小于设定振动阈值，则采集路面病害的图像，并保存判断窗口之后长度为L的振动加速度信号为输入振动加速度信号；若判断窗口中振动加速度信号幅值的绝对值之和小于振动阈值，则继续滑动判断窗口，重复以上步骤，获得路面检测或调查面积内所有的路面病害的图像和对应的输入振动加速度信号。
5.根据权利要求4所述的图像-振动特征融合的路面病害检测方法，其特征在于，计算平整路面下判断窗口长度的振动加速度信号幅值，所述振动阈值取1.5倍的平整路面下判断窗口长度的振动加速度信号幅值。
6.根据权利要求1所述的图像-振动特征融合的路面病害检测方法，其特征在于，所述破损率计算公式为：
，
Ai —— 调查面积内第 i 类路面损坏的累计面积，单位m2，
A —— 路面检测或调查面积，单位m2；
i —— 路面损坏类型，包括轻度损坏程度、中度破损程度和重度破损程度；
wi —— 第 i 类路面损坏的权重或换算系数；
i0 —— 所有病害的路面损坏类型总数。
7.根据权利要求6所述的图像-振动特征融合的路面病害检测方法，其特征在于， 数据库中具有沥青路面病害11种，水泥混凝土路面病害11种；
沥青路面中所有病害的路面损坏类型总数为 21，水泥混凝土路面中所有病害的路面损坏类型总数为20。
8.一种图像-振动特征融合的路面病害检测系统，应用于权利要求 1-7 任一所述的图像-振动特征融合的路面病害检测方法，其特征在于，所述检测系统包括车联网云平台、GPS定位模块、图像采集模块、IMU传感器、信息传输设备、控制终端；IMU传感器安装在车身前引擎盖位置，通过数据传输线与控制终端相连，图像采集模块采用高清运动相机通过数据传输线与控制终端相连；IMU传感器采集z轴振动加速度信号，作为振动加速度信号，并实时的将振动加速度信号传输至控制终端，控制终端以采集的振动加速度信号为依据判断是否采集图像，若确定采集图像，则向运动相机发送采集图像命令；运动相机采集路面病害的图像信息，采集的图像信息与振动加速度信号一起通过信息传输设备传输到车联网云平台，车联网云平台记录数据采集的时间；所述车联网云平台为云端服务器，GPS定位模块安装在车辆顶部，与信息传输设备相连，能够将车辆速度、经纬度信息传递到云端服务器；
所述云端服务器中加载有路面病害识别模型和路面病害量化模型；
所述车联网云平台接收来自不同车辆采集到的路面病害信息，对采集到的路面病害信息进行识别、量化，根据路面病害的经纬度信息，以及采集的路面病害的图像信息，利用空间聚类的方式修正路面病害位置，对来自不同车辆的采集的路面病害进行聚类，使用欧氏距离衡量不同车辆经过同一路面病害时的位置信息，以聚类簇的中心点作为最终的路面病害位置。
9.根据权利要求8所述的图像-振动特征融合的路面病害检测系统，其特征在于，以采集的振动加速度信号为依据判断是否采集图像的具体过程是：
设定振动阈值，按照下式计算路面病害输入振动加速度信号的长度L为：
，
L=F×T，
S为车身长度，V为车辆速度，F为IMU传感器采集频率，L为路面病害的输入振动加速度信号长度；T 为以车辆速度 V 行驶车身长度 S 所用时间；
以L的十分之一作为判断窗口长度，计算判断窗口中振动加速度信号幅值的绝对值之和，若判断窗口中振动加速度信号幅值的绝对值之和不小于设定的振动阈值，则采集路面病害的图像，并保存判断窗口之后长度为L的振动加速度信号为输入振动加速度信号；若判断窗口中振动加速度信号幅值的绝对值之和小于设定的振动阈值，则继续滑动判断窗口，重复以上步骤，获得路面检测或调查面积内所有的路面病害的图像和对应的输入振动加速度信号。
10.根据权利要求8所述的图像-振动特征融合的路面病害检测系统，其特征在于，所述路面病害识别模型是以输入振动加速度信号与调整后的路面病害的图像为输入，以病害类型为输出利用神经网络建立的；
所述路面病害量化模型的构建过程是：
利用图像分割算法对调整后的路面病害的图像进行分割量化，输出路面病害的图像量化结果；
获取输入振动加速度信号长度及长度范围内各个时间点对应的输入振动加速度信号的振幅，求在输入振动加速度信号长度范围内各个时间点对应的输入振动加速度信号的振幅的绝对值之和，为输入振动加速度量化结果；
测量病害破坏面积，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度及对应的病害破坏面积构建量化数据集，以路面病害的图像量化结果、输入振动加速度量化结果、车辆速度作为BP神经网络的输入，输出为修正路面病害量化结果，利用量化数据集训练BP神经网络；
至此获得路面病害量化模型；
定义以经过路面病害时产生的振动加速度信号作为输入振动加速度信号，输入振动加速度信号对应的路面病害的图像的图像分辨率调整为统一格式后的图像为调整后的路面病害的图像。
CN202310720748.8A 2023-06-19 2023-06-19 一种图像-振动特征融合的路面病害检测方法及系统 Active CN116448773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310720748.8A CN116448773B (zh) 2023-06-19 2023-06-19 一种图像-振动特征融合的路面病害检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310720748.8A CN116448773B (zh) 2023-06-19 2023-06-19 一种图像-振动特征融合的路面病害检测方法及系统

Publications (2)

Publication Number Publication Date
CN116448773A true CN116448773A (zh) 2023-07-18
CN116448773B CN116448773B (zh) 2023-08-18

Family

ID=87135987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310720748.8A Active CN116448773B (zh) 2023-06-19 2023-06-19 一种图像-振动特征融合的路面病害检测方法及系统

Country Status (1)

Country Link
CN (1) CN116448773B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058536A (zh) * 2023-07-19 2023-11-14 中公高科养护科技股份有限公司 一种基于双分支网络的路面病害识别方法、装置及介质
CN117237925A (zh) * 2023-11-16 2023-12-15 南京萨利智能科技有限公司 一种基于计算机视觉的智慧道路病害巡检方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870456A (zh) * 2019-02-01 2019-06-11 上海智能交通有限公司 一种路面健康状况快速检测系统及方法
CN109934452A (zh) * 2019-01-21 2019-06-25 上海同济检测技术有限公司 基于多源数据的道路舒适度评价方法
JP2019196680A (ja) * 2018-05-11 2019-11-14 西日本電信電話株式会社 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
KR102167292B1 (ko) * 2020-04-24 2020-10-20 한국건설기술연구원 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법
CA3093147A1 (en) * 2019-12-13 2020-11-17 Autonomous Medical Devices Inc. An automated, cloud-based, point-of-care (poc) pathogen and antibody array detection system and method
CN111985494A (zh) * 2020-07-07 2020-11-24 深圳大学 一种基于轻量化车载终端的道路病害检测及分类方法
CN113177611A (zh) * 2021-05-24 2021-07-27 河北工业大学 基于力学指标和人工神经网络的路面病害快速巡检方法
WO2022193008A1 (en) * 2021-03-15 2022-09-22 Iris R&D Group Inc. System and method for automatic monitoring of pavement condition
CN115201218A (zh) * 2022-07-13 2022-10-18 鲁朗软件(北京)有限公司 一种车载路面病害智能检测方法及系统
KR20220159646A (ko) * 2021-05-26 2022-12-05 현대자동차주식회사 진동 발생 장치 및 그를 가지는 차량
CN115457277A (zh) * 2022-09-23 2022-12-09 东南大学 一种智能化路面病害识别检测方法及系统
CN115876799A (zh) * 2022-11-25 2023-03-31 上海同陆云交通科技有限公司 一种面向高等级公路综合巡查的边缘计算方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019196680A (ja) * 2018-05-11 2019-11-14 西日本電信電話株式会社 舗装情報収集点検システム、舗装情報収集点検方法、及びプログラム
CN109934452A (zh) * 2019-01-21 2019-06-25 上海同济检测技术有限公司 基于多源数据的道路舒适度评价方法
CN109870456A (zh) * 2019-02-01 2019-06-11 上海智能交通有限公司 一种路面健康状况快速检测系统及方法
CA3093147A1 (en) * 2019-12-13 2020-11-17 Autonomous Medical Devices Inc. An automated, cloud-based, point-of-care (poc) pathogen and antibody array detection system and method
KR102167292B1 (ko) * 2020-04-24 2020-10-20 한국건설기술연구원 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법
CN111985494A (zh) * 2020-07-07 2020-11-24 深圳大学 一种基于轻量化车载终端的道路病害检测及分类方法
WO2022193008A1 (en) * 2021-03-15 2022-09-22 Iris R&D Group Inc. System and method for automatic monitoring of pavement condition
CN113177611A (zh) * 2021-05-24 2021-07-27 河北工业大学 基于力学指标和人工神经网络的路面病害快速巡检方法
KR20220159646A (ko) * 2021-05-26 2022-12-05 현대자동차주식회사 진동 발생 장치 및 그를 가지는 차량
CN115201218A (zh) * 2022-07-13 2022-10-18 鲁朗软件(北京)有限公司 一种车载路面病害智能检测方法及系统
CN115457277A (zh) * 2022-09-23 2022-12-09 东南大学 一种智能化路面病害识别检测方法及系统
CN115876799A (zh) * 2022-11-25 2023-03-31 上海同陆云交通科技有限公司 一种面向高等级公路综合巡查的边缘计算方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YISHUN LI ET AL.: "A novel evaluation method for pavement distress based on impact of ride comfort", 《INTERNATIONAL JOURNAL OF PAVEMENT ENGINEERING》 *
李娟;: "路面技术状况检测与长期性能预测方法综述", 广东交通职业技术学院学报, no. 02 *
田杨;邱玲;: "一种基于Fast-RCNN的道路病害检测算法", 市政技术, no. 1 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058536A (zh) * 2023-07-19 2023-11-14 中公高科养护科技股份有限公司 一种基于双分支网络的路面病害识别方法、装置及介质
CN117058536B (zh) * 2023-07-19 2024-04-30 中公高科养护科技股份有限公司 一种基于双分支网络的路面病害识别方法、装置及介质
CN117237925A (zh) * 2023-11-16 2023-12-15 南京萨利智能科技有限公司 一种基于计算机视觉的智慧道路病害巡检方法及系统
CN117237925B (zh) * 2023-11-16 2024-02-13 南京萨利智能科技有限公司 一种基于计算机视觉的智慧道路病害巡检方法及系统

Also Published As

Publication number Publication date
CN116448773B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN116448773B (zh) 一种图像-振动特征融合的路面病害检测方法及系统
CN113177611B (zh) 基于力学指标和人工神经网络的路面病害快速巡检方法
CN112800911B (zh) 一种路面损伤快速检测及自然数据集构建方法
CN109685858B (zh) 一种单目摄像头在线标定方法
CN110427993B (zh) 基于气象参数的高速列车导航盲区定位方法
CN108711172B (zh) 基于细粒度分类的无人机识别与定位方法
CN112800913A (zh) 一种基于多源特征融合的路面损伤数据时空分析方法
CN111830470B (zh) 联合标定方法及装置、目标对象检测方法、系统及装置
CN115205559A (zh) 一种跨域车辆重识别及连续轨迹构建方法
CN114266977A (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN103745238A (zh) 基于AdaBoost和主动形状模型的受电弓识别方法
CN115439643A (zh) 一种基于单目测量的道路病害尺寸分析与管理方法
CN114971166A (zh) 一种轻量化道路路面服务质量巡检系统
KR102186974B1 (ko) 차량의 주차면 분석을 위한 지능형 cctv 시스템
CN117288094B (zh) 基于激光传感器的掘进机实时定位系统
CN111723643B (zh) 一种基于固定区域周期性图像采集的目标检测方法
Zeng et al. A computer vision-based method to identify the international roughness index of highway pavements
Fanthony et al. Yolo algorithm-based surrounding object identification on autonomous electric vehicle
CN116363088A (zh) 基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质
CN116229424A (zh) 基于改进YOLO v3的智能网联汽车行人检测方法
CN110969875B (zh) 一种用于道路交叉口交通管理的方法及系统
CN114463678A (zh) 一种利用摄像头视频图像的降雨类型识别方法
CN112906511A (zh) 一种联合个体图像和足迹图像的野生动物智能监测方法
CN116597404B (zh) 基于多源传感器融合的可持续道路异常检测方法与系统
Sun et al. UAV Photogrammetry-Based Accident Assessment Road Condition Analysis Using Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant