CN116229396B - 高速路面病害识别及告警方法 - Google Patents

高速路面病害识别及告警方法 Download PDF

Info

Publication number
CN116229396B
CN116229396B CN202310135036.XA CN202310135036A CN116229396B CN 116229396 B CN116229396 B CN 116229396B CN 202310135036 A CN202310135036 A CN 202310135036A CN 116229396 B CN116229396 B CN 116229396B
Authority
CN
China
Prior art keywords
pavement
expressway
disease
diseases
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310135036.XA
Other languages
English (en)
Other versions
CN116229396A (zh
Inventor
陈曦
王鹏亮
李如旺
成国森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Richstone Technology Co ltd
Original Assignee
Guangzhou Richstone Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Richstone Technology Co ltd filed Critical Guangzhou Richstone Technology Co ltd
Priority to CN202310135036.XA priority Critical patent/CN116229396B/zh
Publication of CN116229396A publication Critical patent/CN116229396A/zh
Application granted granted Critical
Publication of CN116229396B publication Critical patent/CN116229396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种高速路面病害识别及告警方法，属于交通道路监测技术领域。本发明包括使用巡检车辆采集多张包括路面病害的高速公路路面图像；制作训练集；基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；实时采集高速公路路面图像传输至云端服务器；将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别。本发明实现了自动化巡检工作，及时、有效的监控路面病害，降低了运营成本，实时通知车主避开路面病害，保障安全驾驶。

Description

高速路面病害识别及告警方法
技术领域
本发明涉及交通道路监测技术领域，尤其涉及一种高速路面病害识别及告警方法。
背景技术
高速公路为人们的出行带来了很大的方便，结合全域旅游、智慧交通等智慧城市城市的不断推进，交通出行日益频繁，路面承重越来越多，路面出现病害的间隔也越来越短，随之而来的高速公路道路养护和道路监控的重要性日渐突出。
道路巡检更多是依赖人工巡检和车主的报案，以被动式的方式去应对，由此也带来了效率低下、成本高、信息不顺畅等问题。考虑到当前计算机软硬件的不断发展，人工智能算法在当今已经广泛在社会上应用，在道路监管上完全可以考虑通过人工智能算法来实现道路的监控。特别是现在5G已经逐步完善，覆盖率已经超越4G网络，结合5G低时延高覆盖的特点，可以考虑通过一整套完整的解决方案，进而实现高速道路自动化养护和异常告警信息的实时、精准触达。
在中国专利文献CN114998713B中，公开了一种路面病害识别方法，包括：获取待识别路面图像；将所述待识别路面图像输入至病害识别模型，得到所述病害识别模型输出的所述待识别路面图像中的路面信息，所述路面信息的类别包括病害信息；其中，所述病害识别模型基于携带有路面信息标签的病害路面图像样本训练得到，所述病害路面图像样本包括真实病害路面图像样本以及合成病害路面图像样本，所述合成病害路面图像样本基于所述真实病害路面图像样本中的病害区域对应的纹理特征图像的表观信息，对所述纹理特征图像与健康路面图像进行融合得到；所述将所述待识别路面图像输入至病害识别模型，得到所述病害识别模型输出的所述待识别路面图像中的路面信息，具体包括：将所述待识别路面图像分别输入至所述病害识别模型的第一特征提取层以及第二特征提取层，得到所述第一特征提取层输出的所述待识别路面图像的第一分辨率的细节特征以及所述第二特征提取层输出的所述待识别路面图像的语义特征；将所述细节特征以及所述语义特征均输入至所述病害识别模型的融合层，得到所述融合层输出的所述细节特征与所述语义特征的融合特征；将所述融合特征输入至所述病害识别模型的分类层，得到所述分类层输出的所述路面信息。
在中国专利文献CN114863122A中，公开了一种基于人工智能的智能化高精度路面病害识别方法，包括以下步骤：提供一个路面病害识别模型，所述路面病害识别模型将输入的路面病害图片与输出的路面病害类型对应；其中，所述路面病害识别模型基于图片上的路面病害对象生成相应的路面病害特征，由所述路面病害特征与输出的路面病害类型对应；路面病害特征生成时，基于路面病害图片多层级地提取路面病害特征，第一层级基于原路面病害图片提取路面病害特征，其后的每一层级皆基于上一层级提取路面病害特征；将排列在前的，除第一层级以外的层级所提取到的路面病害特征作为低层特征；与排列在前的层级相对应，将排列在后的层级所提取到的路面病害特征作为高层特征；与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征和高层特征融合后生成的特征。除第一层级以外的每一层级提取出的特征皆处理为具有路面病害对象轮廓的路面病害特征图，而最后一层级的路面病害特征图经过候选窗口框选出路面病害对像主体所在具体位置，并生成具有路面病害对象主体的候选框路面病害特征图；候选框路面病害特征图的路面病害对象主体分别与除第一层级以外的每一层级处理出的路面病害特征图中的路面病害对象轮廓相融合，以生成相应的融合特征图；除第一层级以外的每一层级处理出的融合特征图组合成相应的一组特征图组合特征，每一组特征图组合特征与所述路面病害识别模型要输出的路面病害类型对应，所述一组特征图组合特征的特征图数与除第一层级以外的层级数相等。
现有技术至少存在以下不足：
1.现有技术主要集中在图像的特征提取上，无法满足高速公路车速快，重型车辆多，路面损毁严重可能导致严重，单靠巡检车辆无法及时发现路面病害的问题；
2.不能实时对路面病害向车主进行推送；
3.目前主要采用人工巡检和车主的报案发现路面病害，效率低下、成本高、信息不顺畅。
发明内容
为解决现有技术中存在的问题，本发明提供了一种高速路面病害识别及告警方法，包括步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；步骤S3、基于YOLOv5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。本发明实现了自动化巡检工作，及时、有效的监控路面病害，降低了运营成本，实时通知车主避开路面病害，保障安全驾驶。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
优选地，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来。
优选地，步骤S3包括：将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；
优选地，步骤S3还包括如下步骤：
识别任一网格中的目标，并获得边界框的该目标的目标类别概率；
根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分；
对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。
优选地，边界框置信度和目标类别概率相乘得到每个预测框的类别得分。
优选地，高速路面病害模型库中，将路面病害以像素点的形式做标记。
优选地，步骤S4中，将巡检车辆及与云端服务器有接口的车辆的车载摄像头拍摄的行车记录视频数据传输到云端服务器上，通过对视频数据进行抽帧，获取多个高速公路路面图像。
优选地，步骤S4中将每一帧图像与高速路面病害识别及告警模型的高速路面病害模型库中的图片进行匹配，进行实时高速路面病害识别。
优选地，与云端服务器有接口的车辆通过公网API接口将拍摄的视频数据传输到云端服务器。
优选地，云端服务器与多个GPU服务器连接，高速路面病害模型库与多个GPU服务器连接，高速路面病害识别及告警模型通过负载均衡算法将抽取的视频数据与高速路面病害模型库中的路面病害图像匹配的计算平均分摊到各个GPU服务器上并行进行。
优选地，步骤S4中，将实时采集的图像与高速路面病害模型库中像素点进行匹配，将匹配的图像视为同一类型的路面病害图像。
优选地，图像匹配过程中，将交并比设置为匹配指标，交并比计算边界框和实际边界框的交叠率。
优选地，所述告警通过微信小程序发送给行驶在路面病害预设范围内的车主。
与现有技术相对比，本发明的有益效果如下：
(1)本发明通过人工智能算法对路面病害进行识别，极大减少了人工巡检的次数，从而降低了运营成本。
(2)本发明利用了5G网络低时延高覆盖的特性，采用5G网络及时将高速路面图像实时传递回后台，完成自动化巡检工作，及时、有效的监控路面病害。
(3)本发明结合5G网络和微信小程序，实时将路面病害告警信息有效通知到用户，及时提醒司机注意前方危险路段，从而达到安全保障。
(4)本发明通过巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，实时进行高速路面病害的检测，可以及时发现路面病害，减少事故的发生。
附图说明
图1为本发明的一个实施例的高速路面病害识别及告警方法的流程图；
图2为本发明的一个实施例的高速路面病害识别及告警方法中的设备连接示意图；
图3为本发明的一个实施例的高速路面病害识别及告警方法中的分布式计算架构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作详细的说明。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；将采集到的道路病害图像汇总之后(比如道路有裂缝)，模型训练基于训练集中的大量数据，取相同的特征集把有裂缝的区域圈选出来。
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
根据本发明的一个具体实施方案，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来。
根据本发明的一个具体实施方案，步骤S3包括：将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；
预设大小为模型训练过程中的参数，如可以是S*S，比如一个10*10平米(实际路面尺寸)的区域，分成多个5*5的网格，那每个网格的长宽就是2m/2m(根据训练结果的精度来调整网格的数量)，预设大小根据实际路面尺寸和图像中的大小按比例进行缩放。
目标是有病害的网格，图像的大小已知，预设每个网格的大小之后，即可知道每个网格的四个点的坐标，进而得到目标中心点坐标和目标宽高尺寸。
在图像中获得包括病害的网格，比如一个图像，分成2*2个网格之后，右下角是有裂缝的道路，那右下角那个网格就是目标网格。
根据本发明的一个具体实施方案，步骤S3还包括如下步骤：
识别任一网格中的目标，并获得边界框的该目标的目标类别概率；
根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分；
对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。
通过大量数据，取不同的特征集，根据特征集来判断是否为病号道路，识别某个网格是否为包括路面病害的网格；目标类别就是步骤S2中所述的病害标签信息，比如正常道路、有裂缝道路、塌方道路等等。
根据本发明的一个具体实施方案，边界框置信度和目标类别概率相乘得到每个预测框的类别得分。
根据本发明的一个具体实施方案，高速路面病害模型库中，将路面病害以像素点的形式做标记。
根据本发明的一个具体实施方案，步骤S4中，将巡检车辆及与云端服务器有接口的车辆的车载摄像头拍摄的行车记录视频数据传输到云端服务器上，通过对视频数据进行抽帧，获取多个高速公路路面图像。
根据本发明的一个具体实施方案，步骤S4中将每一帧图像与高速路面病害识别及告警模型的高速路面病害模型库中的图片进行匹配，进行实时高速路面病害识别。
通过向高速路面病害识别及告警模型输入正常道路及病害道路的图像，得到病害道路的模型标签，比如提取出有裂缝道路的图像的N个特征，井盖脱落道路的图像的M个特征，下一次做业务识别的时候，提取图像的特征值与模型库中图像的特征做比对，根据统计学相关算法公式，就可以判断该图像是否为含有路面病害的图像。
根据本发明的一个具体实施方案，与云端服务器有接口的车辆通过公网API接口将拍摄的视频数据传输到云端服务器。
根据本发明的一个具体实施方案，云端服务器与多个GPU服务器连接，高速路面病害模型库与多个GPU服务器连接，高速路面病害识别及告警模型通过负载均衡算法将抽取的视频数据与高速路面病害模型库中的路面病害图像匹配的计算平均分摊到各个GPU服务器上并行进行。
根据本发明的一个具体实施方案，步骤S4中，将实时采集的图像与高速路面病害模型库中像素点进行匹配，将匹配的图像视为同一类型的路面病害图像。
根据本发明的一个具体实施方案，图像匹配过程中，将交并比设置为匹配指标，交并比计算边界框和实际边界框的交叠率。
根据本发明的一个具体实施方案，所述告警通过微信小程序发送给行驶在路面病害预设范围内的车主。
实施例1
根据本发明的一个具体实施方案，对本发明的高速路面病害识别及告警方法进行详细描述。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；将采集到的道路病害图像汇总之后(比如道路有裂缝)，模型训练基于训练集中的大量数据，取相同的特征集把有裂缝的区域圈选出来。
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
实施例2
根据本发明的一个具体实施方案，对本发明的高速路面病害识别及告警方法进行详细描述。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；将采集到的道路病害图像汇总之后(比如道路有裂缝)，模型训练基于训练集中的大量数据，取相同的特征集把有裂缝的区域圈选出来。
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
其中，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来。
其中，高速路面病害模型库中，将路面病害以像素点的形式做标记。
实施例2
根据本发明的一个具体实施方案，对本发明的高速路面病害识别及告警方法进行详细描述。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；将采集到的道路病害图像汇总之后(比如道路有裂缝)，模型训练基于训练集中的大量数据，取相同的特征集把有裂缝的区域圈选出来。
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
其中，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来。
其中，高速路面病害模型库中，将路面病害以像素点的形式做标记。
其中，步骤S3包括：将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；
其中，步骤S3还包括如下步骤：
识别任一网格中的目标，并获得边界框的该目标的目标类别概率；
根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分；
对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。
实施例3
根据本发明的一个具体实施方案，对本发明的高速路面病害识别及告警方法进行详细描述。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；将采集到的道路病害图像汇总之后(比如道路有裂缝)，模型训练基于训练集中的大量数据，取相同的特征集把有裂缝的区域圈选出来。
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
其中，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来。
其中，高速路面病害模型库中，将路面病害以像素点的形式做标记。
其中，步骤S3包括：将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；
其中，步骤S3还包括如下步骤：
识别任一网格中的目标，并获得边界框的该目标的目标类别概率；
根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分；
对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。
其中，步骤S4中，将巡检车辆及与云端服务器有接口的车辆的车载摄像头拍摄的行车记录视频数据传输到云端服务器上，通过对视频数据进行抽帧，获取多个高速公路路面图像。
实施例4
根据本发明的一个具体实施方案，对本发明的高速路面病害识别及告警方法进行详细描述。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；将采集到的道路病害图像汇总之后(比如道路有裂缝)，模型训练基于训练集中的大量数据，取相同的特征集把有裂缝的区域圈选出来。
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
其中，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来。
其中，高速路面病害模型库中，将路面病害以像素点的形式做标记。
其中，步骤S3包括：将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；
其中，步骤S3还包括如下步骤：
识别任一网格中的目标，并获得边界框的该目标的目标类别概率；
根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分；
对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。
其中，步骤S4中，将巡检车辆及与云端服务器有接口的车辆的车载摄像头拍摄的行车记录视频数据传输到云端服务器上，通过对视频数据进行抽帧，获取多个高速公路路面图像。
其中，与云端服务器有接口的车辆通过公网API接口将拍摄的视频数据传输到云端服务器。
其中，云端服务器与多个GPU服务器连接，高速路面病害模型库与多个GPU服务器连接，高速路面病害识别及告警模型通过负载均衡算法将抽取的视频数据与高速路面病害模型库中的路面病害图像匹配的计算平均分摊到各个GPU服务器上并行进行。
实施例5
根据本发明的一个具体实施方案，对本发明的高速路面病害识别及告警方法进行详细描述。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；将采集到的道路病害图像汇总之后(比如道路有裂缝)，模型训练基于训练集中的大量数据，取相同的特征集把有裂缝的区域圈选出来。
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
其中，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来。
其中，高速路面病害模型库中，将路面病害以像素点的形式做标记。
其中，步骤S3包括：将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；
其中，步骤S3还包括如下步骤：
识别任一网格中的目标，并获得边界框的该目标的目标类别概率；
根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分；
对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。
其中，步骤S4中，将巡检车辆及与云端服务器有接口的车辆的车载摄像头拍摄的行车记录视频数据传输到云端服务器上，通过对视频数据进行抽帧，获取多个高速公路路面图像。
其中，与云端服务器有接口的车辆通过公网API接口将拍摄的视频数据传输到云端服务器。
其中，云端服务器与多个GPU服务器连接，高速路面病害模型库与多个GPU服务器连接，高速路面病害识别及告警模型通过负载均衡算法将抽取的视频数据与高速路面病害模型库中的路面病害图像匹配的计算平均分摊到各个GPU服务器上并行进行。
其中，边界框置信度和目标类别概率相乘得到每个预测框的类别得分。
其中，步骤S4中将每一帧图像与高速路面病害识别及告警模型的高速路面病害模型库中的图片进行匹配，进行实时高速路面病害识别。
其中，步骤S4中，将实时采集的图像与高速路面病害模型库中像素点进行匹配，将匹配的图像视为同一类型的路面病害图像。
其中，图像匹配过程中，将交并比设置为匹配指标，交并比计算边界框和实际边界框的交叠率。
实施例6
根据本发明的一个具体实施方案，对本发明的高速路面病害识别及告警方法进行详细描述。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；将采集到的道路病害图像汇总之后(比如道路有裂缝)，模型训练基于训练集中的大量数据，取相同的特征集把有裂缝的区域圈选出来。
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
其中，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来。
其中，高速路面病害模型库中，将路面病害以像素点的形式做标记。
其中，步骤S3包括：将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；
其中，步骤S3还包括如下步骤：
识别任一网格中的目标，并获得边界框的该目标的目标类别概率；
根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分；
对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。
其中，步骤S4中，将巡检车辆及与云端服务器有接口的车辆的车载摄像头拍摄的行车记录视频数据传输到云端服务器上，通过对视频数据进行抽帧，获取多个高速公路路面图像。
其中，与云端服务器有接口的车辆通过公网API接口将拍摄的视频数据传输到云端服务器。
其中，云端服务器与多个GPU服务器连接，高速路面病害模型库与多个GPU服务器连接，高速路面病害识别及告警模型通过负载均衡算法将抽取的视频数据与高速路面病害模型库中的路面病害图像匹配的计算平均分摊到各个GPU服务器上并行进行。
其中，边界框置信度和目标类别概率相乘得到每个预测框的类别得分。
其中，步骤S4中将每一帧图像与高速路面病害识别及告警模型的高速路面病害模型库中的图片进行匹配，进行实时高速路面病害识别。
其中，步骤S4中，将实时采集的图像与高速路面病害模型库中像素点进行匹配，将匹配的图像视为同一类型的路面病害图像。
其中，图像匹配过程中，将交并比设置为匹配指标，交并比计算边界框和实际边界框的交叠率。
其中，所述告警通过微信小程序发送给行驶在路面病害预设范围内的车主。
实施例7
根据本发明的一个具体实施方案，对本发明的高速路面病害识别及告警方法进行详细描述。
本发明提供了一种高速路面病害识别及告警方法，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
本实施例中采集的高速公路路面图像，经挑选及整理共得到554张图片。
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
本实施例中，得到的数据集标签分布如下：
数据集标签分布不均衡，“400”井盖类数据较多，而“200”裂缝类较少，难以制作训练集。因此本实施例将本数据集和之前采集并筛选出的“筛选数据集1”、"筛选数据集2"做合并训练。
将本数据集按照1：1划分为“训练集1”(277张)，“测试集1”(277张)；将“筛选数据集1”中的训练集称作“训练集2”(410张)将”筛选数据集2“中训练集称作”训练集3“(904张)。
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；将采集到的道路病害图像汇总之后(比如道路有裂缝)，模型训练基于训练集中的大量数据，取相同的特征集把有裂缝的区域圈选出来。
本实施例中，在测试集上准确率最高达72.4％，除“200”裂缝类均达到70％以上的准确率，但召回率只有“400”井盖类达到了76％。这是因为测试集中都是新采集的图片，且400井盖类的数据占比大。相比之下，训练集2准确率稍低，但召回率较训练集3高。
准确率为预测正确的样本占总样本的百分比；召回率为被正确预测的正样本占所有正样本的比例。
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警。
其中，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来。
其中，高速路面病害模型库中，将路面病害以像素点的形式做标记。
表1和表2分别是本实施例中，得到的含病害的路面的像素点矩阵和正常路面的像素点矩阵。
表1病害路面的像素点矩阵
255 255 255 255 255 255 255 255
255 255 255 255 0 255 0 0
255 255 0 0 255 255 255 255
255 255 255 255 0 255 0 0
255 0 255 255 0 255 255 255
255 255 0 0 255 255 255 255
255 255 255 255 255 255 0 255
255 255 255 255 255 255 255 255
表2正常路面的像素点矩阵
255 255 0 255 255 0 255 255
255 0 255 255 0 0 0 0
255 255 0 0 255 255 255 255
255 255 255 255 255 255 0 0
255 0 255 255 255 255 255 255
255 255 255 0 255 0 255 255
255 0 255 255 255 255 0 255
255 255 255 255 255 0 255 255
其中，步骤S3包括：将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；
其中，步骤S3还包括如下步骤：
识别任一网格中的目标，并获得边界框的该目标的目标类别概率；
根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分；
对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。
其中，步骤S4中，将巡检车辆及与云端服务器有接口的车辆的车载摄像头拍摄的行车记录视频数据传输到云端服务器上，通过对视频数据进行抽帧，获取多个高速公路路面图像。
其中，与云端服务器有接口的车辆通过公网API接口将拍摄的视频数据传输到云端服务器。
其中，云端服务器与多个GPU服务器连接，高速路面病害模型库与多个GPU服务器连接，高速路面病害识别及告警模型通过负载均衡算法将抽取的视频数据与高速路面病害模型库中的路面病害图像匹配的计算平均分摊到各个GPU服务器上并行进行。
其中，边界框置信度和目标类别概率相乘得到每个预测框的类别得分。
其中，步骤S4中将每一帧图像与高速路面病害识别及告警模型的高速路面病害模型库中的图片进行匹配，进行实时高速路面病害识别。
其中，步骤S4中，将实时采集的图像与高速路面病害模型库中像素点进行匹配，将匹配的图像视为同一类型的路面病害图像。
其中，图像匹配过程中，将交并比设置为匹配指标，交并比计算边界框和实际边界框的交叠率。
其中，所述告警通过微信小程序发送给行驶在路面病害预设范围内的车主。高速行驶的司机只需要关注小程序，即可实时接收告警信息。而终端的网络，一样需要以5G网络作为载体，实现高速、低时延的消息交互。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (8)

1.一种高速路面病害识别及告警方法，其特征在于，包括如下步骤：
步骤S1、使用巡检车辆采集多张包括路面病害的高速公路路面图像；
步骤S2、对采集的图像根据包括的路面病害类型打上相应的病害标签，制作训练集；
步骤S3、基于YOLO v5网络模型，建立高速路面病害识别及告警模型，输入训练集，进行高速路面病害识别及告警模型训练，将各种病害识别出来并用边界框框出来，得到训练好的高速路面病害识别及告警模型；
步骤S4、使用巡检车辆及与云端服务器有接口的车辆的车载摄像头实时采集高速公路路面图像，并通过5G网络传输至云端服务器；
步骤S5、将实时采集的高速公路路面图像输入训练好的高速路面病害识别及告警模型，进行高速路面病害识别，并在发现高速路面病害时发出告警；
其中，步骤S3中，通过YOLO v5算法识别出各种病害并用边界框框出来；
步骤S3包括：
将每张包括路面病害的高速公路路面图像分成预设大小的多个网格，由这些网格生成多个边界框，每个边界框包括目标中心点坐标、目标宽高尺寸和包含目标的置信度，所述目标为含路面病害的网格；
识别任一网格中的目标，并获得边界框的该目标的目标类别概率；
根据边界框包含目标的置信度和获得的目标类别概率计算该边界框的目标类别得分，具体为边界框置信度和目标类别概率相乘得到每个预测框的类别得分；
对所有边界框进行阈值筛选和非极大值抑制操作，得到高速路面病害模型库。
2.根据权利要求1所述的高速路面病害识别及告警方法，其特征在于，高速路面病害模型库中，将路面病害以像素点的形式做标记。
3.根据权利要求2所述的高速路面病害识别及告警方法，其特征在于，步骤S4中，将巡检车辆及与云端服务器有接口的车辆的车载摄像头拍摄的行车记录视频数据传输到云端服务器上，通过对视频数据进行抽帧，获取多个高速公路路面图像。
4.根据权利要求3所述的高速路面病害识别及告警方法，其特征在于，步骤S4中将每一帧图像与高速路面病害识别及告警模型的高速路面病害模型库中的图片进行匹配，进行实时高速路面病害识别。
5.根据权利要求3所述的高速路面病害识别及告警方法，其特征在于，与云端服务器有接口的车辆通过公网API接口将拍摄的视频数据传输到云端服务器。
6.根据权利要求3所述的高速路面病害识别及告警方法，其特征在于，云端服务器与多个GPU服务器连接，高速路面病害模型库与多个GPU服务器连接，高速路面病害识别及告警模型通过负载均衡算法将抽取的视频数据与高速路面病害模型库中的路面病害图像匹配的计算平均分摊到各个GPU服务器上并行进行。
7.根据权利要求2-6任一项所述的高速路面病害识别及告警方法，其特征在于，步骤S4中，将实时采集的图像与高速路面病害模型库中像素点进行匹配，将匹配的图像视为同一类型的路面病害图像。
8.根据权利要求7所述的高速路面病害识别及告警方法，其特征在于，图像匹配过程中，将交并比设置为匹配指标，交并比计算边界框和实际边界框的交叠率。
CN202310135036.XA 2023-02-17 2023-02-17 高速路面病害识别及告警方法 Active CN116229396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310135036.XA CN116229396B (zh) 2023-02-17 2023-02-17 高速路面病害识别及告警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310135036.XA CN116229396B (zh) 2023-02-17 2023-02-17 高速路面病害识别及告警方法

Publications (2)

Publication Number Publication Date
CN116229396A CN116229396A (zh) 2023-06-06
CN116229396B true CN116229396B (zh) 2023-11-03

Family

ID=86576383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310135036.XA Active CN116229396B (zh) 2023-02-17 2023-02-17 高速路面病害识别及告警方法

Country Status (1)

Country Link
CN (1) CN116229396B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797436B (zh) * 2023-08-29 2023-10-31 北京道仪数慧科技有限公司 一种利用公交车辆进行道路病害巡检的处理系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别系统
CN110706211A (zh) * 2019-09-17 2020-01-17 中国矿业大学(北京) 基于卷积神经网络的铁路路基病害雷达图实时检测方法
WO2020093351A1 (en) * 2018-11-09 2020-05-14 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying a road feature
CN112184625A (zh) * 2020-09-01 2021-01-05 燊赛(上海)智能科技有限公司 一种基于视频深度学习的路面缺陷识别方法和系统
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法
CN113822889A (zh) * 2021-11-24 2021-12-21 江苏金恒信息科技股份有限公司 一种热轧钢板表面缺陷检测方法
CN113869192A (zh) * 2021-09-26 2021-12-31 无锡数据湖信息技术有限公司 道路路面病害智能识别方法
CN114445712A (zh) * 2022-01-29 2022-05-06 东南大学 基于改进YOLOv5模型的高速公路路面病害识别方法
CN114998852A (zh) * 2021-08-05 2022-09-02 浙江杉工智能科技有限公司 一种基于深度学习的公路路面病害智能检测方法
CN115019274A (zh) * 2022-06-13 2022-09-06 重庆大学 一种融合追踪与检索算法的路面病害识别方法
WO2022193008A1 (en) * 2021-03-15 2022-09-22 Iris R&D Group Inc. System and method for automatic monitoring of pavement condition

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598672A (zh) * 2020-11-02 2021-04-02 坝道工程医院(平舆) 一种基于深度学习的路面病害图像分割方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别系统
WO2020093351A1 (en) * 2018-11-09 2020-05-14 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying a road feature
CN110706211A (zh) * 2019-09-17 2020-01-17 中国矿业大学(北京) 基于卷积神经网络的铁路路基病害雷达图实时检测方法
CN112184625A (zh) * 2020-09-01 2021-01-05 燊赛(上海)智能科技有限公司 一种基于视频深度学习的路面缺陷识别方法和系统
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法
WO2022193008A1 (en) * 2021-03-15 2022-09-22 Iris R&D Group Inc. System and method for automatic monitoring of pavement condition
CN114998852A (zh) * 2021-08-05 2022-09-02 浙江杉工智能科技有限公司 一种基于深度学习的公路路面病害智能检测方法
CN113869192A (zh) * 2021-09-26 2021-12-31 无锡数据湖信息技术有限公司 道路路面病害智能识别方法
CN113822889A (zh) * 2021-11-24 2021-12-21 江苏金恒信息科技股份有限公司 一种热轧钢板表面缺陷检测方法
CN114445712A (zh) * 2022-01-29 2022-05-06 东南大学 基于改进YOLOv5模型的高速公路路面病害识别方法
CN115019274A (zh) * 2022-06-13 2022-09-06 重庆大学 一种融合追踪与检索算法的路面病害识别方法

Also Published As

Publication number Publication date
CN116229396A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN111462488B (zh) 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
CN106845424B (zh) 基于深度卷积网络的路面遗留物检测方法
DE112013001858B4 (de) Mehrfachhinweis-Objekterkennung und -Analyse
CN111833598B (zh) 一种高速公路无人机交通事件自动监测方法及系统
CN109782364B (zh) 基于机器视觉的交通标志牌缺失检测方法
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN110610153A (zh) 一种用于自动驾驶的车道识别方法及系统
CN116824859B (zh) 一种基于物联网的智慧交通大数据分析系统
CN116229396B (zh) 高速路面病害识别及告警方法
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
CN113450573A (zh) 基于无人机图像识别的交通监测方法和交通监测系统
CN113505638A (zh) 车流量的监测方法、监测装置及计算机可读存储介质
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN116824399A (zh) 基于改进YOLOv5神经网络的路面裂缝识别方法
Li et al. Automated classification and detection of multiple pavement distress images based on deep learning
CN117456482B (zh) 一种面向交通监控场景的异常事件识别方法及系统
CN111598885B (zh) 高速公路团雾图片能见度等级自动标注方法
CN113158954A (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN115294774B (zh) 基于深度学习的非机动车道路违停检测方法及装置
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN113158852B (zh) 一种基于人脸与非机动车协同识别的交通卡口监控系统
CN114639084A (zh) 一种基于ssd改进算法的路侧端车辆感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant