CN113256601A - 路面病害检测方法及系统 - Google Patents

路面病害检测方法及系统 Download PDF

Info

Publication number
CN113256601A
CN113256601A CN202110646299.8A CN202110646299A CN113256601A CN 113256601 A CN113256601 A CN 113256601A CN 202110646299 A CN202110646299 A CN 202110646299A CN 113256601 A CN113256601 A CN 113256601A
Authority
CN
China
Prior art keywords
unit
result
pavement
convolution
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110646299.8A
Other languages
English (en)
Other versions
CN113256601B (zh
Inventor
常霞
李宁
高岳林
朱立军
张光晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Minzu University
Original Assignee
North Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Minzu University filed Critical North Minzu University
Priority to CN202110646299.8A priority Critical patent/CN113256601B/zh
Publication of CN113256601A publication Critical patent/CN113256601A/zh
Application granted granted Critical
Publication of CN113256601B publication Critical patent/CN113256601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供路面病害检测方法，属于图像处理技术领域。包括：建立检测模型，所述检测模型中的CSPNet特征提取单元中的Bottleneck瓶颈层结构单元依次包括第一1*1标准卷积处理单元、第一3*3标准卷积处理单元、第一卷积结果相加单元、第二1*1标准卷积处理单元、第二3*3标准卷积处理单元、第二卷积结果相加单元；获取待检测图像，所述待检测图像为包含路面病害的图片；将所述待检测图像输入所述检测模型；通过所述检测模型分析所述待检测图像，得出检测结果，所述检测结果包括路面病害位置信息和路面病害类型信息。本发明还提供路面病害检测系统。

Description

路面病害检测方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种路面病害检测方法及系统。
背景技术
公路运输是最常用的运输方式，随着路面使用年限增加，公路会出现各种 病害，例如：裂纹、坑槽、沉陷等，这会对人们出行安全和货物及时流通等产 生影响，严重的公路病害甚至会威胁驾驶人员以及乘客的安全。
传统的路面检测为人工检测，非常费时费力，并且存在精度差、危险性高 及影响交通等问题。目前将路面检测智能化，利用照相机等采集设备采集公路 路面信息，然后通过计算机程序进行病害的检测，能够避免交通堵塞、且提高 检测效率。然而，目前的计算机程序在检测速度和精度上都有一定的局限性， 数字图像处理方法大都是利用边缘检测算子对图像进行边缘特征提取，得到病 害的区域，由于路面病害边缘信息比较特殊，路面和病害的灰度值接近。因此 传统的数字图像处理检测精度很低，不能够满足工程应用的标准，难以实现检 测精度高的实时检测方案。
发明内容
有鉴于此，本发明提供一种路面病害检测方法及系统，改进公路路面病害 的分析方案，可提高检测精确度以及自动化程度，支持普通的硬件设备进行高 精度的实时性检测工作。
本发明实施例解决其技术问题所采用的技术方案是：
一种路面病害检测方法，其特征在于，包括：
建立检测模型，所述检测模型中的CSPNet特征提取单元中的Bottleneck瓶 颈层结构单元依次包括第一1*1标准卷积处理单元、第一3*3标准卷积处理单 元、第一卷积结果相加单元、第二1*1标准卷积处理单元、第二3*3标准卷积 处理单元、第二卷积结果相加单元；
获取待检测图像，所述待检测图像为包含路面病害的图片；
将所述待检测图像输入所述检测模型；
通过所述检测模型分析所述待检测图像，得出检测结果，所述检测结果包 括路面病害位置信息和路面病害类型信息。
较优地，所述建立检测模型包括：
采集用于建立所述检测模型的路面图片；
标注所述路面图片的路面病害实际信息，所述路面病害实际信息为路面病 害的实际位置信息和实际类型信息，并将标注后的所述路面图片存入数据集；
将所述数据集中的所述路面图片划分至3个集合中，所述3个集合包括训 练集、验证集和测试集；
构建所述检测模型的结构；
基于所述训练集中的所述路面图片训练所述检测模型；
基于所述测试集测评所述训练完成后的所述检测模型，得到测评结果；
若所述测评结果低于使用阈值，则继续优化所述检测模型；
若所述测评结果不低于所述使用阈值，则所述检测模型建立完毕。
较优地，所述检测模型的结构包括数据增强单元、所述CSPNet特征提取单 元、PANet尺度单元、k-means聚类算法单元、锚框调整单元、损失计算单元、 验证单元；
所述数据增强单元用于依次对输入的源图像进行色彩空间转换操作、水平 和垂直平移操作、缩放操作、剪切操作、上下左右翻转处理操作，得到增强后 的源图像；
所述CSPNet特征提取单元包括Focus单元、CBM单元、所述Bottleneck 单元、Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元，
所述Focus单元，用于对所述增强后的源图像进行Focus操作，得到第一特 征图；
所述CBM单元，用于对所述第一特征图依次进行标准卷积操作、批量归一 化操作和Mish函数激活操作，得到第二特征图；
所述Bottleneck单元，用于对所述第二特征图进行Bottleneck操作，得到第 三特征图；
所述Conv卷积单元，用于对所述第三特征图进行所述标准卷积操作，得到 第三特征图卷积结果；用于对所述第一特征图进行所述标准卷积操作，得到第 一特征图卷积结果；
所述连接单元，用于对所述第一特征图卷积结果和所述第三特征图卷积结 果进行连接操作，得到连接处理结果；
所述BN单元，用于对所述连接处理结果进行所述批量归一化操作，得到归 一化特征数据；
所述LeakyReLU激活单元，用于对所述归一化特征数据进行激活函数 LeakyReLU操作，得到激活特征数据；
所述CBM单元，用于对所述激活特征数据依次进行所述标准卷积操作、所 述批量归一化操作和所述Mish函数激活操作，得到源图像特征图；
所述Bottleneck单元中，所述第一1*1标准卷积处理单元用于对输入的图像 数据进行通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第一 1*1卷积处理结果，所述第一3*3标准卷积处理单元用于对所述第一1*1卷积处 理结果进行通道数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第 一3*3卷积处理结果，所述第一卷积结果相加单元用于将所述输入的图像数据 与所述第一3*3卷积处理结果相加并得到第一相加结果，所述第二1*1标准卷 积处理单元用于对所述第一相加结果进行通道数为128*k、卷积核为1*1、步长 为1的标准卷积处理并得到第二1*1卷积处理结果，所述第二3*3标准卷积处 理单元用于对所述第二1*1卷积处理结果进行通道数为128*k、卷积核为3*3、 步长为1的标准卷积处理并得到第二3*3卷积处理结果，所述第二卷积结果相 加单元用于将所述输入的图像数据与所述第二3*3卷积处理结果相加并得到第 二相加结果，其中，k的取值依次为1、2、3、6、8，在k＝1时所述第二特征图 用作所述输入的图像数据，在k＝1时所产生的所述第二相加结果作为k＝2时的 所述输入的图像数据，在k＝2时所产生的所述第二相加结果作为k＝3时的所述 输入的图像数据，在k＝3时所产生的所述第二相加结果作为k＝6时的所述输入 的图像数据，在k＝6时所产生的所述第二相加结果作为k＝8时的所述输入的图 像数据，在k＝8时所产生的所述第二相加结果作为所述CSPNet特征提取单元最 终输出的所述第三特征图；
所述PANet尺度单元，用于融合所述源图像特征图，得到四个尺度的所述 源图像特征图，具体为尺度为20的所述源图像特征图、尺度为32的所述源图 像特征图、尺度为53的所述源图像特征图、以及尺度为80的所述源图像特征 图；
k-means聚类算法单元，用于生成四组锚框，所述四组锚框分别对应于所述 四个尺度的所述源图像特征图，通过k-means聚类算法根据所述四个尺度的所述 源图像特征图得出路面病害预测结果，所述路面病害预测结果包括所述路面病 害的预测位置信息和预测类型信息；
锚框调整单元，用于调整所述四组锚框的位置，通过所述路面病害的中心 点位置与锚框中心点位置之间的距离调整，找到预测框所在准确位置；
损失计算单元，用于通过Focal Loss损失函数和RDDIoULoss损失函数计 算所述路面病害预测结果与所述路面病害实际信息之间的损失结果，损失结果 为FocalLoss分类损失、BCE目标损失和RDDIoULoss边界框损失之和；通过所 述训练集训练所述检测模型的过程中，所述损失结果不再继续降低时，停止训 练所述检测模型；
所述验证单元，用于通过所述检测模型检测所述验证集中的所述路面图片， 并根据所得的验证结果反向优化所述检测模型中损失函数的网络权重。
较优地，所述基于所述训练集中的所述路面图片训练所述检测模型包括：
对所述训练集中的所述路面图片进行数据增强处理，得到增强后的路面图 片；
对所述增强后的路面图片进行特征提取操作，得到路面图片特征图；
通过PANet融合所述路面图片特征图，得到四个尺度的所述路面图片特征 图；
生成四组锚框，通过k-means聚类算法根据所述四个尺度的所述路面图片特 征图得出所述路面病害预测结果，所述四组锚框分别对应于所述四个尺度的所 述路面图片特征图，所述路面病害预测结果包括所述路面病害的预测位置信息 和预测类型信息；
调整所述四组锚框的位置，通过所述路面病害的所述中心点位置与所述锚 框中心点位置之间的距离调整，找到所述预测框所在准确位置；
通过Focal Loss损失函数和RDDIoULoss损失函数计算所述路面病害预测 结果与所述路面病害实际信息之间的损失结果；
通过所述训练集训练所述检测模型的过程中，实时比较生成的所述损失结 果，当所述损失结果不再继续降低时，停止训练所述检测模型。
较优地，所述通过所述检测模型分析所述待检测图像，得出检测结果包括：
对所述待检测图像进行数据增强处理，得到经翻转处理的图像、经大小调 整后的图像、和经亮度/对比度增强处理的图像；
通过所述检测模型检测所述经翻转处理的图像，得到第一检测结果；
通过所述检测模型检测所述经大小调整后的图像，得到第二检测结果；
通过所述检测模型检测所述经亮度/对比度增强处理的图像，得到第三检测 结果；
合并所述第一检测结果、所述第二检测结果、和所述第三检测结果，得到 所述检测结果，所述包括路面病害位置信息和路面病害类型信息。
本发明还提供一种路面病害检测系统，其特征在于，包括：
建立模块，用于建立检测模型，所述检测模型中的CSPNet特征提取单元中 的Bottleneck瓶颈层结构单元依次包括第一1*1标准卷积处理单元、第一3*3 标准卷积处理单元、第一卷积结果相加单元、第二1*1标准卷积处理单元、第 二3*3标准卷积处理单元、第二卷积结果相加单元；
获取模块，用于获取待检测图像，所述待检测图像为包含路面病害的图片；
输入模块，用于将所述待检测图像输入所述检测模型；
分析模块，用于通过所述检测模型分析所述待检测图像，得出检测结果， 所述检测结果包括路面病害位置信息和路面病害类型信息。
较优地，所述建立模块包括：
采集单元，用于采集用于建立所述检测模型的路面图片；
标注单元，用于标注所述路面图片的路面病害实际信息，所述路面病害实 际信息为路面病害的实际位置信息和实际类型信息，并将标注后的所述路面图 片存入数据集；
划分单元，用于将所述数据集中的所述路面图片划分至3个集合中，所述3 个集合包括训练集、验证集和测试集；
构建单元，用于构建所述检测模型的结构；
训练单元，用于基于所述训练集中的所述路面图片训练所述检测模型；
测评单元，用于基于所述测试集测评所述训练完成后的所述检测模型，得 到测评结果；若所述测评结果低于使用阈值，则系统继续优化所述检测模型； 若所述测评结果不低于所述使用阈值，则所述系统中所述检测模型建立完毕。
较优地，所述训练单元包括第一数据增强单元、所述CSPNet特征提取单元、 PANet尺度单元、k-means聚类算法单元、锚框调整单元、损失计算单元、验证 单元；
所述第一数据增强单元，用于依次对输入的源图像进行色彩空间转换操作、 水平和垂直平移操作、缩放操作、剪切操作、上下左右翻转处理操作，得到增 强后的源图像；
所述CSPNet特征提取单元包括Focus单元、CBM单元、所述Bottleneck 单元、Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元，
所述Focus单元，用于对所述增强后的源图像进行Focus操作，得到第一特 征图；
所述CBM单元，用于对所述第一特征图依次进行标准卷积操作、批量归一 化操作和Mish函数激活操作，得到第二特征图；
所述Bottleneck单元，用于对所述第二特征图进行Bottleneck操作，得到第 三特征图；
所述Conv卷积单元，用于对所述第三特征图进行所述标准卷积操作，得到 第三特征图卷积结果；用于对所述第一特征图进行所述标准卷积操作，得到第 一特征图卷积结果；
所述连接单元，用于对所述第一特征图卷积结果和所述第三特征图卷积结 果进行连接操作，得到连接处理结果；
所述BN单元，用于对所述连接处理结果进行所述批量归一化操作，得到归 一化特征数据；
所述LeakyReLU激活单元，用于对所述归一化特征数据进行激活函数 LeakyReLU操作，得到激活特征数据；
所述CBM单元，用于对所述激活特征数据依次进行所述标准卷积操作、所 述批量归一化操作和所述Mish函数激活操作，得到源图像特征图；
所述Bottleneck单元中，所述第一1*1标准卷积处理单元用于对输入的图像 数据进行通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第一 1*1卷积处理结果，所述第一3*3标准卷积处理单元用于对所述第一1*1卷积处 理结果进行通道数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第 一3*3卷积处理结果，所述第一卷积结果相加单元用于将所述输入的图像数据 与所述第一3*3卷积处理结果相加并得到第一相加结果，所述第二1*1标准卷 积处理单元用于对所述第一相加结果进行通道数为128*k、卷积核为1*1、步长 为1的标准卷积处理并得到第二1*1卷积处理结果，所述第二3*3标准卷积处 理单元用于对所述第二1*1卷积处理结果进行通道数为128*k、卷积核为3*3、 步长为1的标准卷积处理并得到第二3*3卷积处理结果，所述第二卷积结果相 加单元用于将所述输入的图像数据与所述第二3*3卷积处理结果相加并得到第 二相加结果，其中，k的取值依次为1、2、3、6、8，在k＝1时所述第二特征图 用作所述输入的图像数据，在k＝1时所产生的所述第二相加结果作为k＝2时的 所述输入的图像数据，在k＝2时所产生的所述第二相加结果作为k＝3时的所述 输入的图像数据，在k＝3时所产生的所述第二相加结果作为k＝6时的所述输入 的图像数据，在k＝6时所产生的所述第二相加结果作为k＝8时的所述输入的图 像数据，在k＝8时所产生的所述第二相加结果作为所述CSPNet特征提取单元最 终输出的所述第三特征图；
所述PANet尺度单元，用于融合所述源图像特征图，得到四个尺度的所述 源图像特征图，具体为尺度为20的所述源图像特征图、尺度为32的所述源图 像特征图、尺度为53的所述源图像特征图、以及尺度为80的所述源图像特征 图；
k-means聚类算法单元，用于生成四组锚框，所述四组锚框分别对应于所述 四个尺度的所述源图像特征图，通过k-means聚类算法根据所述四个尺度的所述 源图像特征图得出路面病害预测结果，所述路面病害预测结果包括所述路面病 害的预测位置信息和预测类型信息；
锚框调整单元，用于调整所述四组锚框的位置，通过所述路面病害的中心 点位置与锚框中心点位置之间的距离调整，找到预测框所在准确位置；
损失计算单元，用于通过Focal Loss损失函数和RDDIoULoss损失函数计 算所述路面病害预测结果与所述路面病害实际信息之间的损失结果，损失结果 为FocalLoss分类损失、BCE目标损失和RDDIoULoss边界框损失之和；通过所 述训练集训练所述检测模型的过程中，所述损失结果不再继续降低时，停止训 练所述检测模型；
所述验证单元，用于通过所述检测模型检测所述验证集中的所述路面图片， 并根据所得的验证结果反向优化所述检测模型中损失函数的网络权重。
较优地，所述训练单元中，
第一数据增强单元，用于对所述训练集中的所述路面图片进行数据增强处 理，得到增强后的路面图片；
CSPNet特征提取单元，用于对所述增强后的路面图片进行特征提取操作， 得到路面图片特征图；
所述PANet尺度单元，用于通过PANet融合所述路面图片特征图，得到四 个尺度的所述路面图片特征图；
所述k-means聚类算法单元，用于生成四组锚框，通过k-means聚类算法根 据所述四个尺度的所述路面图片特征图得出所述路面病害预测结果，所述四组 锚框分别对应于所述四个尺度的所述路面图片特征图，所述路面病害预测结果 包括所述路面病害的预测位置信息和预测类型信息；
所述锚框调整单元，用于调整所述四组锚框的位置，通过所述路面病害的 所述中心点位置与所述锚框中心点位置之间的距离调整，找到所述预测框所在 准确位置；
所述损失计算单元，用于通过Focal Loss损失函数和RDDIoULoss损失函 数计算所述路面病害预测结果与所述路面病害实际信息之间的损失结果；
所述验证单元，用于通过所述训练集训练所述检测模型的过程中，实时比 较生成的所述损失结果，当所述损失结果不再继续降低时，停止训练所述检测 模型。
较优地，所述分析模块包括：
第二数据增强单元，用于对所述待检测图像进行数据增强处理，得到经翻 转处理的图像、经大小调整后的图像、和经亮度/对比度增强处理的图像；
检测单元，用于通过所述检测模型检测所述经翻转处理的图像，得到第一 检测结果；
所述检测单元，用于通过所述检测模型检测所述经大小调整后的图像，得 到第二检测结果；
所述检测单元，用于通过所述检测模型检测所述经亮度/对比度增强处理的 图像，得到第三检测结果；
合并单元，用于合并所述第一检测结果、所述第二检测结果、和所述第三 检测结果，得到所述检测结果，所述包括路面病害位置信息和路面病害类型信 息。
由上述技术方案可知，本发明实施例提供的路面病害检测方法及系统，可 改进公路路面病害的分析方案，可提高检测精确度以及自动化程度，支持普通 的硬件设备进行高精度的实时性检测工作。
附图说明
图1为本发明的路面病害检测方法的流程图。
图2为本发明提出的改进的YOLOv5网络结构图。
图3为图2所示YOLOv5的网络的检测流程示意图。
图4为现有技术Bottleneck结构与本发明的CSPNet特征提取模块中 Bottleneck结构单元的对比图。
图5为本发明的数据集中的训练集样图。
图6为本发明使用TTA技术处理的流程图。
图7为本发明中训练模型过程中路面病害数据集统计信息的可视化图。
图8为本发明的方法与原YOLOv5算法在训练过程中的性能指标对比图。
图9a为经本发明处理后输入图像样图和输出检测结果示例。
图9b为经本发明处理后输入图像样图和输出检测结果示例。
图9c为经本发明处理后输入图像样图和输出检测结果示例。
图9d为经本发明处理后输入图像样图和输出检测结果示例。
图10为本发明提供的路面病害检测系统的结构图。
具体实施方式
以下结合本发明的附图，对本发明的技术方案以及技术效果做进一步的详 细阐述。
如图1所示，本发明提供的路面病害检测方法包括以下步骤：
步骤S1，建立检测模型；
步骤S2，获取待检测图像，其中，待检测图像为包含路面病害的图片；
步骤S3，将待检测图像输入检测模型；
步骤S4，通过检测模型分析待检测图像，得出检测结果，检测结果包括路 面病害位置信息和路面病害类型信息。
本发明实施例中，检测模型是基于YOLOv5网络建立的，对现有的YOLOv5网络 进行改进，初步建立模型结构，再利用数据集进行训练，即可得出本发明用于执 行公路路面病害检测任务的检测模型。具体的建立检测模型的实施过程包括：
步骤S11，采集用于建立检测模型的路面图片。可利用图像采集设备对公路 路面的病害处进行拍照或录像，从中筛选出具有病害的图像。
步骤S12，标注路面图片的路面病害实际信息，并将标注后的路面图片存入 数据集。其中，路面病害实际信息为路面病害的实际位置信息和实际类型信息。
可利用标签标记程序对采集的具有路面病害的图像进行分类标记，具体为PASCAL VOC标准的xml格式的标注，路面病害所属的类型信息可包括横向裂 纹、纵向裂纹、块裂(龟裂)、坑槽、修补、伸缩缝和标线七类。
步骤S13，将数据集中的路面图片划分至3个集合中，3个集合包括训练集、 验证集和测试集。
3个集合的比例可以按照应用需去进行调整，一般地，训练集数量>>测试集 数量>验证集数量，其中训练集为网络训练所使用的集合，用途为使网络学习不 同病害类别所具有的独有特征。验证集为网络一次训练完成进行评估使用的集 合，用途为通过损失函数反向优化网络权重，使网络权重达到最优。测试集为 测试训练好的模型的性能，在网络训练阶段不使用此集合，在网络训练完成后 使用测试集评估网络性能。在本实施例中，训练集、验证集和测试集的比例可 以设置为80％、5％和15％，如图7所示，为本发明使用的路面病害的数据集的 可视化数据。
步骤S14，构建检测模型的结构。如图2所示，本发明中使用的改进的网络 结构图，图中Focus为Focus结构，用于将图像中比较相似的特征进行分离； Conv为标准卷积操作，用于进行各类别特征的提取；Upsampling为上采样操作， 用于改变图像的大小，实现对尺度的检测；BN为批量归一化操作，用于使网络 更容易收敛；Add为相加操作，用于相应位置元素相加；Concat为连接操作， 用于将两个特征图进行连接；Maxplool为最大池化操作。
检测模型的结构包括数据增强单元、CSPNet特征提取单元、PANet尺度单 元、k-means聚类算法单元、锚框调整单元、损失计算单元、验证单元；
数据增强单元用于依次对输入的源图像进行色彩空间转换操作、水平和垂 直平移操作、缩放操作、剪切操作、上下左右翻转处理操作，得到增强后的源 图像。本发明的数据增强策略具体过程如下：
①对输入的图像进行色彩空间进行转换，由RGB转换为HSV。其中H/S/V 分量值分别为0.015/0.7/0.4。
②对输入的图像进行亮度、颜色、对比度平衡调整。
③对输入的图像进行水平和垂直平移。
④对输入的图像进行缩小或放大处理，缩放因子为0.5.
⑤对输入的图像进行剪切处理，剪切因子为0.3。
⑥对输入的图像进行上下左右翻转处理。
图6所示的是本发明在数据预处理阶段使用的数据增强的效果图。通过上 述数据增强策略，对数据进行增广，使得检测模型能够获得更好的泛化能力， 经数据增强后的图像传入改进的主干网络CSPNet网络用于进行特征的提取与 分类。
CSPNet特征提取单元包括Focus单元、CBM单元、Bottleneck单元、Conv 卷积单元、连接单元、BN单元、LeakyReLU激活单元，
Focus单元，用于对增强后的源图像进行Focus操作，得到第一特征图；
CBM单元，用于对第一特征图依次进行标准卷积操作、批量归一化操作和 Mish函数激活操作，得到第二特征图；其中，标准卷积处理代表数据经过一个 卷积层、一个归一化层、和一个Mish激活函数层处理。
Bottleneck单元，用于对第二特征图进行Bottleneck操作，得到第三特征图；
Conv卷积单元，用于对第三特征图进行标准卷积操作，得到第三特征图卷 积结果；用于对第一特征图进行标准卷积操作，得到第一特征图卷积结果；
连接单元，用于对第一特征图卷积结果和第三特征图卷积结果进行连接操 作，得到连接处理结果；
BN单元，用于对连接处理结果进行批量归一化操作，得到归一化特征数据；
LeakyReLU激活单元，用于对归一化特征数据进行激活函数LeakyReLU操 作，得到激活特征数据；
CBM单元，用于对激活特征数据依次进行标准卷积操作、批量归一化操作 和Mish函数激活操作，得到源图像特征图；
本发明对图2中CSPNet的网络结构进行了改进，CSPNet由大量的 Bottleneck组成，现有数的网络结构如图4的左图所示，本发明改进的Bottleneck 结构如图4的右图所示。
CSPNet特征提取单元中的Bottleneck瓶颈层结构单元依次包括第一1*1标 准卷积处理单元、第一3*3标准卷积处理单元、第一卷积结果相加单元、第二 1*1标准卷积处理单元、第二3*3标准卷积处理单元、第二卷积结果相加单元。
Bottleneck单元中，第一1*1标准卷积处理单元用于对输入的图像数据进行 通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第一1*1卷积 处理结果，第一3*3标准卷积处理单元用于对第一1*1卷积处理结果进行通道 数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第一3*3卷积处理 结果，第一卷积结果相加单元用于将输入的图像数据与第一3*3卷积处理结果 相加并得到第一相加结果，第二1*1标准卷积处理单元用于对第一相加结果进 行通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第二1*1卷 积处理结果，第二3*3标准卷积处理单元用于对第二1*1卷积处理结果进行通道数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第二3*3卷积处 理结果，第二卷积结果相加单元用于将输入的图像数据与第二3*3卷积处理结 果相加并得到第二相加结果，其中，k的取值依次为1、2、3、6、8，对应于通 道数128、256、384、768、和1024，在k＝1时第二特征图用作输入的图像数据， 执行通道数为128的处理流程；在k＝1时所产生的第二相加结果作为k＝2时的 输入的图像数据，执行通道数为的处理流程；在k＝2时所产生的第二相加结果 作为k＝3时的输入的图像数据，执行通道数为384的处理流程；在k＝3时所产生的第二相加结果作为k＝6时的输入的图像数据，执行通道数为768的处理流 程；在k＝6时所产生的第二相加结果作为k＝8时的输入的图像数据，执行通道 数为1024的处理流程；在k＝8时所产生的第二相加结果作为CSPNet特征提取 单元最终输出的第三特征图。
本发明的CSPNet的网络结构进行了改进，CSPNet由大量的Bottleneck结 构组成，其网络结构如图4的左图所示，改进的Bottleneck结构如图4的右图所 示，借鉴了HO-ResNet的思想再第一个残差块后再增加一个残差块，同时将第 一个残差块的系数设置为0.5，极大地提升了网络提取特征的能力，改进的模块 可表示为：
Nout＝F(Ni,(Wi))+Ni,1≤i≤L-1 (1)
其中i为整数，F(Ni,(Wi))表示待学习且为进一步学习的映射，具体表示为：
k1＝F(0.5x)+x，k2＝F(k1)+x (2)
其中ki代表i层模块的输出。
本发明中Bottleneck模块使用的激活函数为Mish激活函数，其表达式为：
Mish(x)＝x tanh(softplus(x)) (3)
其中tanh(x)为双曲正切函数。其表达式为：
Figure BDA0003109841260000161
softplus(x)为softplus激活函数，其表达式为：
softplus(x)＝ln(1+ex) (5)
Hardswish,Mish激活函数、TanhExp激活函数和Mish激活函数均可以实现 激活，Hardswish,Mish和TanhExp激活函数在x轴下方有界，能够产生较强的 正则化效果，但Mish和TanhExp更加平滑。Mish在上方无界，函数正值可达 任何高度，避免函数达到最大值而饱和，而TanhExp在上方有界，限制了函数 的最大值。Mish函数与Hardswish激活函数相比，最大的不同就是在x轴上方 更加接近线性函数，减少了信息的损失。同时更加平滑，允许更多的信息深入 神经网络，从而得到更好的准确性和泛化能力。
PANet尺度单元，用于融合源图像特征图，得到大小不同的四个尺度的源图 像特征图，具体为尺度为20的源图像特征图、尺度为32的源图像特征图、尺 度为53的源图像特征图、以及尺度为80的源图像特征图，本发明将网络尺度 从三个尺度扩展到四个尺度，相比于原始算法，能够更好的识别小的路面病害。
k-means聚类算法单元，用于生成四组锚框，四组锚框分别对应于四个尺度 的源图像特征图，通过k-means聚类算法根据四个尺度的源图像特征图得出路面 病害预测结果，路面病害预测结果包括路面病害的预测位置信息和预测类型信 息。具体操作为：
①随机选取K个点做为初始聚集的簇心(也可选择非样本点)，本发明中 K＝4，因为将路面病害特征图最终分为四个尺度大小；
②分别计算每个样本点到K个簇核心的欧式距离，找到离该点最近的簇核 心，将它归属到对应的簇；
③将所有点都归属到簇之后，M个点分为K个簇，重新计算每个簇的重心 (平均距离中心)，将其定为新的“簇核心”；
④反复迭代②-③的计算过程，直到达到中止条件。
锚框调整单元，用于调整四组锚框的位置，通过路面病害的中心点位置与 锚框中心点位置之间的距离调整，找到预测框所在准确位置。回归调整预测框 位置过程如下：
①生成几乎覆盖整个图像的原始锚框，本发明初始生成的锚框为[39,84, 48,248,24,609][532,30,283,70,42,630][547,68,62,632,549,124][115,600,240,530,540,313]；
②通过CSPNet提取的特征图对图像中的病害进行分类，同时每个锚框负责 检测与其IoU大于阈值的病害；
③通过病害中心点位置与锚框中心点位置之间不断地计算距离进行优化， 得到准确的预测框的位置。
损失计算单元，用于通过Focal Loss损失函数和RDDIoULoss损失函数计算 路面病害预测结果与路面病害实际信息之间的损失结果，损失结果为FocalLoss 分类损失、BCE目标损失和RDDIoULoss边界框损失之和；通过训练集训练检 测模型的过程中，损失结果不再继续降低时，停止训练检测模型。损失计算单 元利用验证集，通过Focal Loss和RDDIoULoss损失函数计算预测框与真实标签 的损失，反向回传给主干网络进行模型参数调优。
本发明使用Focal Loss作为分类损失函数主要用于解决训练数据集中样本 不均衡问题的，其表达式为：
FL(pt)＝-αt(1-pt)γlog(pt) (6)
其中pt为模型对分类的估计概率，γ为聚焦参数(γ∈[0,5])，当γ＝0的时候，Focal Loss就是传统的交叉熵损失函数。
在Focal Loss中，调制因子减少了易分样本的损失贡献，拓宽了样例接收到 低损失的范围，这样就增加了那些误分类别的重要性。同时作者也认为单阶段 目标检测精度不如多阶段目标检测的主要原因就是样本类别不均衡。样本类别 不均衡带来的后果便是训练是低效率的，因为大部分样本区域不存在检测的目 标，却在上面提取了很多特征，这些特征会导致模型退化。在路面病害检测任 务中，存在严重的样本不均衡的问题。在我们拍摄的路面图像中，有73％是没 有病害的，在有病害的图像中，比如，裂缝，坑槽等也只占图像总面积的一小 部分，大部分都是完整的路面。因此，本发明用Focal Loss作为损失函数，从根 本上解决路面病害检测任务中病害自身特征所带来的问题。
本发明提出了RDDIoU Loss作为边界框损失函数，一种适用于待检测目标 有明显长宽比例特性的边界框损失损失函数，其表达式如下：
Figure BDA0003109841260000191
其中b,bgt分别表示预测框和真实框的中心点，ρ为两点之间欧氏距离，c 为真实框与预测框外界最小矩形对角线的距离。m,n为权重系数，分别代表长 宽相似性与对角线性相似性在损失函数中的权重，在本发明中m＝0.5,n＝0.5。v1, v2分别为长宽相似性和对角线相似性，其定义分别为
Figure BDA0003109841260000192
其中wgt,hgt表示真实框的宽和长，w,h为预测框的宽和长。α,β分别是长 宽相似性和对角线相似性的，其定义分别为
Figure BDA0003109841260000193
验证单元，用于通过检测模型检测验证集中的路面图片，并根据所得的验 证结果反向优化检测模型中损失函数的网络权重。
步骤S15，基于训练集中的路面图片训练检测模型。将训练集输入到上述改 进的YOLOv5网络中进行训练，得到检测模型的具体操作包括：对训练集中的 路面图片进行数据增强处理，得到增强后的路面图片；对增强后的路面图片进 行特征提取操作，得到路面图片特征图；通过PANet融合路面图片特征图，得 到四个尺度的路面图片特征图；生成四组锚框，通过k-means聚类算法根据四个 尺度的路面图片特征图得出路面病害预测结果，四组锚框分别对应于四个尺度 的路面图片特征图，路面病害预测结果包括路面病害的预测位置信息和预测类 型信息；调整四组锚框的位置，通过路面病害的中心点位置与锚框中心点位置 之间的距离调整，找到预测框所在准确位置；通过Focal Loss损失函数和RDDIoULoss损失函数计算路面病害预测结果与路面病害实际信息之间的损失 结果；通过训练集训练检测模型的过程中，实时比较生成的损失结果，当损失 结果不再继续降低时，停止训练检测模型。
步骤S16，基于测试集测评训练完成后的检测模型，得到测评结果。将制作 的公路路面检测数据集的测试集输入到训练得到的检测模型中，可得到评测结 果数据。如图6所示，在检测阶段使用的TTA技术，具体的实施过程包括：
对待检测图像进行数据增强处理，其中，对待检测图像进行上下左右翻转 操作，得到的第一张增强后的图像为经翻转处理的图像；对待检测图像进行缩 小或放大操作，得到的第二张增强后的图像为经大小调整后的图像；对待检测 图像进行亮度或对比度增强操作，得到的第三张增强后的图像为经亮度/对比度 增强处理的图像；
通过检测模型检测经翻转处理的图像，得到第一检测结果；
通过检测模型检测经大小调整后的图像，得到第二检测结果；
通过检测模型检测经亮度/对比度增强处理的图像，得到第三检测结果；
合并第一检测结果、第二检测结果、和第三检测结果，得到检测结果，包 括路面病害位置信息和路面病害类型信息。
步骤S17，若测评结果低于使用阈值，则继续优化检测模型；若测评结果不 低于使用阈值，则检测模型建立完毕。达不到使用阈值时，系统可以继续进行 网络参数的调节与优化使检测模型的使用效果达到使用阈值。
图8是本发明改进的算法与YOLOv5算法试验指标的对比图，其中(a)Box 为边界框损失数值的变化情况，(b)Objectness为目标损失函数值的变化情况， (c)Classification为分类损失数值的变化情况，(d)Precision为精确度的变化情况， (e)Recall为召回率的变化情况，(f)val Box为验证集边界框损失数值的变化情况， (g)valObjectness为验证集目标损失函数值的变化情况，(h)valClassification为验 证集分类损失数值的变化情况，(i)mAP0.5为验证集的IoU为0.5时平均的平均 精确度的变化情况，(j)mAP0.5:0.95为验证集的IoU为0.5-0.95之间平均的平均 精确度的变化情况。本发明的改进方案与原算法性能指标对比如表1所示：
Figure BDA0003109841260000211
表1
其中第一行为原始YOLOv5l模型的性能指标。Mish代表使用本发明改进的CSPNet，激活函数为Mish。TanhExp代表使用本发明改进的CSPNet，激活函数 为TanhExp。PANet代表扩展检测尺度为四尺度。FL代表分类损失函数使用 FocalLoss。EIoU代表边界框损失函数使用EIoU Loss。CIoU代表边界框损失函 数使用CIoU Loss。RDDIoU代表边界框损失函数使用RDDIoU Loss。Cutmix 代表使用本发明的数据增强方式。Anchor代表使用K-means聚类锚框初始值。 TTA代表使用时间测试增强技术。
本发明使用自制数据集在单个1080Ti上进行训练和测试，验证了改进的 YOLOv5可以在普通的单显卡设备上进行训练和部署。同时选择了目标检测中 较为先进的5种方法进行复现作为对比实验。为了得到较为客观的结果，我们 在模型输入时都选取较为接近的大小。模型训练时，学习率为0.01，使用动量 0.937和权重衰减5e-4的Adam优化器进行优化。在Facol Loss中使用α＝0.25， γ＝1.0的参数。训练批次为300，实验结果可参照表2，表2为本发明方案与其 他5种先进目标检测算法性能对比参考：
Figure BDA0003109841260000221
表2
可参照图9a-图9d，为本发明中输入待检测图像、输出检测结果样图和实际 标签的对比图。从左到右依次是待检测原图像、YOLOv5算法检测效果图、本 发明改进的YOLOv5算法所得新检测模型的检测效果图和真实标签图。在对较 为简单的路面病害进行检测时，YOLOv5和新检测模型都能够精确地将病害检 测出来，但是后者在置信度方面比基础算法有很大的提升，例如图9(a)中的修补 和图9(b)中的纵向裂纹的置信度。在对较为复杂的路面病害进行检测时，新检测 模型相对于YOLOv5在检测框准确性和置信度两方面都有着较大的提升。如图 9(c)和图9(d)中新检测模型的检测框位置大致准确，且有着较高的置信度。
图2所示的检测模型可以执行如图3所示的流程，具体包括以下步骤：
步骤S21，采集病害路面图像，成立数据集。
步骤S22，建立检测模型。
步骤S23，输入训练集到网络。
步骤S24，路面病害图像增强。
步骤S25，通过改进的CSPNet网络提取路面病害特征。
步骤S26，通过PANet形成四个尺度的特征层。
步骤S27，通过CSPNet的检测层对特征进行分类。
步骤S28，通过NMS算法去除冗余的检测框。
步骤S29，得到含有预测框的路面图像。
步骤S210，通过改进的损失函数，反向优化模型权重。
步骤S211，利用测试集，测试模型性能。
步骤S212，保存检测模型。
步骤S213，利用训练集得到的模型对图像进行检测。
步骤S214，得到路面病害检测的结果。
步骤S215，分析评估路面病害结果。
步骤S216，输入待检测图像。
步骤S217，对待检测图像进行图像增强操作。
如图10所示，本发明还提供一种路面病害检测系统，可用于实施图1所示 的方法，具体包括：
建立模块31，用于建立检测模型，检测模型中的CSPNet特征提取单元中 的Bottleneck瓶颈层结构单元依次包括第一1*1标准卷积处理单元、第一3*3 标准卷积处理单元、第一卷积结果相加单元、第二1*1标准卷积处理单元、第 二3*3标准卷积处理单元、第二卷积结果相加单元；
获取模块32，用于获取待检测图像，待检测图像为包含路面病害的图片；
输入模块33，用于将待检测图像输入检测模型；
分析模块34，用于通过检测模型分析待检测图像，得出检测结果，检测结 果包括路面病害位置信息和路面病害类型信息。
建立模块31包括：
采集单元311，用于采集用于建立检测模型的路面图片；
标注单元312，用于标注路面图片的路面病害实际信息，路面病害实际信息 为路面病害的实际位置信息和实际类型信息，并将标注后的路面图片存入数据 集；
划分单元313，用于将数据集中的路面图片划分至3个集合中，3个集合包 括训练集、验证集和测试集；
构建单元314，用于构建检测模型的结构；
训练单元315，用于基于训练集中的路面图片训练检测模型；
测评单元316，用于基于测试集测评训练完成后的检测模型，得到测评结果； 若测评结果低于使用阈值，则系统继续优化检测模型；若测评结果不低于使用 阈值，则系统中检测模型建立完毕。
较优地，训练单元315包括第一数据增强单元3151、CSPNet特征提取单元 3152、PANet尺度单元3153、k-means聚类算法单元3154、锚框调整单元3155、 损失计算单元3156、验证单元3157；
第一数据增强单元3151，用于依次对输入的源图像进行色彩空间转换操作、 水平和垂直平移操作、缩放操作、剪切操作、上下左右翻转处理操作，得到增 强后的源图像；
CSPNet特征提取单元3152包括Focus单元、CBM单元、Bottleneck单元、 Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元，
Focus单元，用于对增强后的源图像进行Focus操作，得到第一特征图；
CBM单元，用于对第一特征图依次进行标准卷积操作、批量归一化操作和 Mish函数激活操作，得到第二特征图；
Bottleneck单元，用于对第二特征图进行Bottleneck操作，得到第三特征图；
Conv卷积单元，用于对第三特征图进行标准卷积操作，得到第三特征图卷 积结果；用于对第一特征图进行标准卷积操作，得到第一特征图卷积结果；
连接单元，用于对第一特征图卷积结果和第三特征图卷积结果进行连接操 作，得到连接处理结果；
BN单元，用于对连接处理结果进行批量归一化操作，得到归一化特征数据；
LeakyReLU激活单元，用于对归一化特征数据进行激活函数LeakyReLU操 作，得到激活特征数据；
CBM单元，用于对激活特征数据依次进行标准卷积操作、批量归一化操作 和Mish函数激活操作，得到源图像特征图；
Bottleneck单元中，第一1*1标准卷积处理单元用于对输入的图像数据进行 通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第一1*1卷积 处理结果，第一3*3标准卷积处理单元用于对第一1*1卷积处理结果进行通道 数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第一3*3卷积处理 结果，第一卷积结果相加单元用于将输入的图像数据与第一3*3卷积处理结果 相加并得到第一相加结果，第二1*1标准卷积处理单元用于对第一相加结果进 行通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第二1*1卷 积处理结果，第二3*3标准卷积处理单元用于对第二1*1卷积处理结果进行通道数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第二3*3卷积处 理结果，第二卷积结果相加单元用于将输入的图像数据与第二3*3卷积处理结 果相加并得到第二相加结果，其中，k的取值依次为1、2、3、6、8，在k＝1时 第二特征图用作输入的图像数据，在k＝1时所产生的第二相加结果作为k＝2时 的输入的图像数据，在k＝2时所产生的第二相加结果作为k＝3时的输入的图像 数据，在k＝3时所产生的第二相加结果作为k＝6时的输入的图像数据，在k＝6 时所产生的第二相加结果作为k＝8时的输入的图像数据，在k＝8时所产生的第 二相加结果作为CSPNet特征提取单元最终输出的第三特征图；
PANet尺度单元3153，用于融合源图像特征图，得到四个尺度的源图像特 征图，具体为尺度为20的源图像特征图、尺度为32的源图像特征图、尺度为 53的源图像特征图、以及尺度为80的源图像特征图；
k-means聚类算法单元3154，用于生成四组锚框，四组锚框分别对应于四个 尺度的源图像特征图，通过k-means聚类算法根据四个尺度的源图像特征图得出 路面病害预测结果，路面病害预测结果包括路面病害的预测位置信息和预测类 型信息；
锚框调整单元3155，用于调整四组锚框的位置，通过路面病害的中心点位 置与锚框中心点位置之间的距离调整，找到预测框所在准确位置；
损失计算单元3156，用于通过Focal Loss损失函数和RDDIoULoss损失函 数计算路面病害预测结果与路面病害实际信息之间的损失结果，损失结果为 FocalLoss分类损失、BCE目标损失和RDDIoULoss边界框损失之和；通过训练 集训练检测模型的过程中，损失结果不再继续降低时，停止训练检测模型；
验证单元3157，用于通过检测模型检测验证集中的路面图片，并根据所得 的验证结果反向优化检测模型中损失函数的网络权重。
分析模块34包括：
第二数据增强单元341，用于对待检测图像进行数据增强处理，得到经翻转 处理的图像、经大小调整后的图像、和经亮度/对比度增强处理的图像；
检测单元342，用于通过检测模型检测经翻转处理的图像，得到第一检测结 果；通过检测模型检测经大小调整后的图像，得到第二检测结果；通过检测模 型检测经亮度/对比度增强处理的图像，得到第三检测结果；
合并单元343，用于合并第一检测结果、第二检测结果、和第三检测结果， 得到检测结果，检测结果包括路面病害位置信息和路面病害类型信息。
本发明提供的路面病害检测方法及系统，改进了公路路面病害的分析方案， 相对于其他检测算法拥有着更高的检测精确度；具有实时性检测的能力，能节 省检测的时间，提升效率；能够在普通的硬件设备上部署和运行，甚至移动端 设备，大大减少了自动化检测所需要的硬件投入，提高了搭载设备的检测精确 度以及自动化程度。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之 权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程， 并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种路面病害检测方法，其特征在于，包括：
建立检测模型，所述检测模型中的CSPNet特征提取单元中的Bottleneck瓶颈层结构单元依次包括第一1*1标准卷积处理单元、第一3*3标准卷积处理单元、第一卷积结果相加单元、第二1*1标准卷积处理单元、第二3*3标准卷积处理单元、第二卷积结果相加单元；
获取待检测图像，所述待检测图像为包含路面病害的图片；
将所述待检测图像输入所述检测模型；
通过所述检测模型分析所述待检测图像，得出检测结果，所述检测结果包括路面病害位置信息和路面病害类型信息。
2.如权利要求1所述的路面病害检测方法，其特征在于，所述建立检测模型包括：
采集用于建立所述检测模型的路面图片；
标注所述路面图片的路面病害实际信息，所述路面病害实际信息为路面病害的实际位置信息和实际类型信息，并将标注后的所述路面图片存入数据集；
将所述数据集中的所述路面图片划分至3个集合中，所述3个集合包括训练集、验证集和测试集；
构建所述检测模型的结构；
基于所述训练集中的所述路面图片训练所述检测模型；
基于所述测试集测评所述训练完成后的所述检测模型，得到测评结果；
若所述测评结果低于使用阈值，则继续优化所述检测模型；
若所述测评结果不低于所述使用阈值，则所述检测模型建立完毕。
3.如权利要求2所述的路面病害检测方法，其特征在于，所述检测模型的结构包括数据增强单元、所述CSPNet特征提取单元、PANet尺度单元、k-means聚类算法单元、锚框调整单元、损失计算单元、验证单元；
所述数据增强单元用于依次对输入的源图像进行色彩空间转换操作、水平和垂直平移操作、缩放操作、剪切操作、上下左右翻转处理操作，得到增强后的源图像；
所述CSPNet特征提取单元包括Focus单元、CBM单元、所述Bottleneck单元、Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元，
所述Focus单元，用于对所述增强后的源图像进行Focus操作，得到第一特征图；
所述CBM单元，用于对所述第一特征图依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到第二特征图；
所述Bottleneck单元，用于对所述第二特征图进行Bottleneck操作，得到第三特征图；
所述Conv卷积单元，用于对所述第三特征图进行所述标准卷积操作，得到第三特征图卷积结果；用于对所述第一特征图进行所述标准卷积操作，得到第一特征图卷积结果；
所述连接单元，用于对所述第一特征图卷积结果和所述第三特征图卷积结果进行连接操作，得到连接处理结果；
所述BN单元，用于对所述连接处理结果进行所述批量归一化操作，得到归一化特征数据；
所述LeakyReLU激活单元，用于对所述归一化特征数据进行激活函数LeakyReLU操作，得到激活特征数据；
所述CBM单元，用于对所述激活特征数据依次进行所述标准卷积操作、所述批量归一化操作和所述Mish函数激活操作，得到源图像特征图；
所述Bottleneck单元中，所述第一1*1标准卷积处理单元用于对输入的图像数据进行通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第一1*1卷积处理结果，所述第一3*3标准卷积处理单元用于对所述第一1*1卷积处理结果进行通道数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第一3*3卷积处理结果，所述第一卷积结果相加单元用于将所述输入的图像数据与所述第一3*3卷积处理结果相加并得到第一相加结果，所述第二1*1标准卷积处理单元用于对所述第一相加结果进行通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第二1*1卷积处理结果，所述第二3*3标准卷积处理单元用于对所述第二1*1卷积处理结果进行通道数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第二3*3卷积处理结果，所述第二卷积结果相加单元用于将所述输入的图像数据与所述第二3*3卷积处理结果相加并得到第二相加结果，其中，k的取值依次为1、2、3、6、8，在k＝1时所述第二特征图用作所述输入的图像数据，在k＝1时所产生的所述第二相加结果作为k＝2时的所述输入的图像数据，在k＝2时所产生的所述第二相加结果作为k＝3时的所述输入的图像数据，在k＝3时所产生的所述第二相加结果作为k＝6时的所述输入的图像数据，在k＝6时所产生的所述第二相加结果作为k＝8时的所述输入的图像数据，在k＝8时所产生的所述第二相加结果作为所述CSPNet特征提取单元最终输出的所述第三特征图；
所述PANet尺度单元，用于融合所述源图像特征图，得到四个尺度的所述源图像特征图，具体为尺度为20的所述源图像特征图、尺度为32的所述源图像特征图、尺度为53的所述源图像特征图、以及尺度为80的所述源图像特征图；
k-means聚类算法单元，用于生成四组锚框，所述四组锚框分别对应于所述四个尺度的所述源图像特征图，通过k-means聚类算法根据所述四个尺度的所述源图像特征图得出路面病害预测结果，所述路面病害预测结果包括所述路面病害的预测位置信息和预测类型信息；
锚框调整单元，用于调整所述四组锚框的位置，通过所述路面病害的中心点位置与锚框中心点位置之间的距离调整，找到预测框所在准确位置；
损失计算单元，用于通过Focal Loss损失函数和RDDIoULoss损失函数计算所述路面病害预测结果与所述路面病害实际信息之间的损失结果，损失结果为FocalLoss分类损失、BCE目标损失和RDDIoULoss边界框损失之和；通过所述训练集训练所述检测模型的过程中，所述损失结果不再继续降低时，停止训练所述检测模型；
所述验证单元，用于通过所述检测模型检测所述验证集中的所述路面图片，并根据所得的验证结果反向优化所述检测模型中损失函数的网络权重。
4.如权利要求3所述的路面病害检测方法，其特征在于，所述基于所述训练集中的所述路面图片训练所述检测模型包括：
对所述训练集中的所述路面图片进行数据增强处理，得到增强后的路面图片；
对所述增强后的路面图片进行特征提取操作，得到路面图片特征图；
通过PANet融合所述路面图片特征图，得到四个尺度的所述路面图片特征图；
生成四组锚框，通过k-means聚类算法根据所述四个尺度的所述路面图片特征图得出所述路面病害预测结果，所述四组锚框分别对应于所述四个尺度的所述路面图片特征图，所述路面病害预测结果包括所述路面病害的预测位置信息和预测类型信息；
调整所述四组锚框的位置，通过所述路面病害的所述中心点位置与所述锚框中心点位置之间的距离调整，找到所述预测框所在准确位置；
通过FocalLoss损失函数和RDDIoULoss损失函数计算所述路面病害预测结果与所述路面病害实际信息之间的损失结果；
通过所述训练集训练所述检测模型的过程中，实时比较生成的所述损失结果，当所述损失结果不再继续降低时，停止训练所述检测模型。
5.如权利要求4所述的路面病害检测方法，其特征在于，所述通过所述检测模型分析所述待检测图像，得出检测结果包括：
对所述待检测图像进行数据增强处理，得到经翻转处理的图像、经大小调整后的图像、和经亮度/对比度增强处理的图像；
通过所述检测模型检测所述经翻转处理的图像，得到第一检测结果；
通过所述检测模型检测所述经大小调整后的图像，得到第二检测结果；
通过所述检测模型检测所述经亮度/对比度增强处理的图像，得到第三检测结果；
合并所述第一检测结果、所述第二检测结果、和所述第三检测结果，得到所述检测结果，所述检测结果包括路面病害位置信息和路面病害类型信息。
6.一种路面病害检测系统，其特征在于，包括：
建立模块，用于建立检测模型，所述检测模型中的CSPNet特征提取单元中的Bottleneck瓶颈层结构单元依次包括第一1*1标准卷积处理单元、第一3*3标准卷积处理单元、第一卷积结果相加单元、第二1*1标准卷积处理单元、第二3*3标准卷积处理单元、第二卷积结果相加单元；
获取模块，用于获取待检测图像，所述待检测图像为包含路面病害的图片；
输入模块，用于将所述待检测图像输入所述检测模型；
分析模块，用于通过所述检测模型分析所述待检测图像，得出检测结果，所述检测结果包括路面病害位置信息和路面病害类型信息。
7.如权利要求6所述的路面病害检测系统，其特征在于，所述建立模块包括：
采集单元，用于采集用于建立所述检测模型的路面图片；
标注单元，用于标注所述路面图片的路面病害实际信息，所述路面病害实际信息为路面病害的实际位置信息和实际类型信息，并将标注后的所述路面图片存入数据集；
划分单元，用于将所述数据集中的所述路面图片划分至3个集合中，所述3个集合包括训练集、验证集和测试集；
构建单元，用于构建所述检测模型的结构；
训练单元，用于基于所述训练集中的所述路面图片训练所述检测模型；
测评单元，用于基于所述测试集测评所述训练完成后的所述检测模型，得到测评结果；若所述测评结果低于使用阈值，则系统继续优化所述检测模型；若所述测评结果不低于所述使用阈值，则所述系统中所述检测模型建立完毕。
8.如权利要求7所述的路面病害检测系统，其特征在于，所述训练单元包括第一数据增强单元、所述CSPNet特征提取单元、PANet尺度单元、k-means聚类算法单元、锚框调整单元、损失计算单元、验证单元；
所述第一数据增强单元，用于依次对输入的源图像进行色彩空间转换操作、水平和垂直平移操作、缩放操作、剪切操作、上下左右翻转处理操作，得到增强后的源图像；
所述CSPNet特征提取单元包括Focus单元、CBM单元、所述Bottleneck单元、Conv卷积单元、连接单元、BN单元、LeakyReLU激活单元，
所述Focus单元，用于对所述增强后的源图像进行Focus操作，得到第一特征图；
所述CBM单元，用于对所述第一特征图依次进行标准卷积操作、批量归一化操作和Mish函数激活操作，得到第二特征图；
所述Bottleneck单元，用于对所述第二特征图进行Bottleneck操作，得到第三特征图；
所述Conv卷积单元，用于对所述第三特征图进行所述标准卷积操作，得到第三特征图卷积结果；用于对所述第一特征图进行所述标准卷积操作，得到第一特征图卷积结果；
所述连接单元，用于对所述第一特征图卷积结果和所述第三特征图卷积结果进行连接操作，得到连接处理结果；
所述BN单元，用于对所述连接处理结果进行所述批量归一化操作，得到归一化特征数据；
所述LeakyReLU激活单元，用于对所述归一化特征数据进行激活函数LeakyReLU操作，得到激活特征数据；
所述CBM单元，用于对所述激活特征数据依次进行所述标准卷积操作、所述批量归一化操作和所述Mish函数激活操作，得到源图像特征图；
所述Bottleneck单元中，所述第一1*1标准卷积处理单元用于对输入的图像数据进行通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第一1*1卷积处理结果，所述第一3*3标准卷积处理单元用于对所述第一1*1卷积处理结果进行通道数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第一3*3卷积处理结果，所述第一卷积结果相加单元用于将所述输入的图像数据与所述第一3*3卷积处理结果相加并得到第一相加结果，所述第二1*1标准卷积处理单元用于对所述第一相加结果进行通道数为128*k、卷积核为1*1、步长为1的标准卷积处理并得到第二1*1卷积处理结果，所述第二3*3标准卷积处理单元用于对所述第二1*1卷积处理结果进行通道数为128*k、卷积核为3*3、步长为1的标准卷积处理并得到第二3*3卷积处理结果，所述第二卷积结果相加单元用于将所述输入的图像数据与所述第二3*3卷积处理结果相加并得到第二相加结果，其中，k的取值依次为1、2、3、6、8，在k＝1时所述第二特征图用作所述输入的图像数据，在k＝1时所产生的所述第二相加结果作为k＝2时的所述输入的图像数据，在k＝2时所产生的所述第二相加结果作为k＝3时的所述输入的图像数据，在k＝3时所产生的所述第二相加结果作为k＝6时的所述输入的图像数据，在k＝6时所产生的所述第二相加结果作为k＝8时的所述输入的图像数据，在k＝8时所产生的所述第二相加结果作为所述CSPNet特征提取单元最终输出的所述第三特征图；
所述PANet尺度单元，用于融合所述源图像特征图，得到四个尺度的所述源图像特征图，具体为尺度为20的所述源图像特征图、尺度为32的所述源图像特征图、尺度为53的所述源图像特征图、以及尺度为80的所述源图像特征图；
k-means聚类算法单元，用于生成四组锚框，所述四组锚框分别对应于所述四个尺度的所述源图像特征图，通过k-means聚类算法根据所述四个尺度的所述源图像特征图得出路面病害预测结果，所述路面病害预测结果包括所述路面病害的预测位置信息和预测类型信息；
锚框调整单元，用于调整所述四组锚框的位置，通过所述路面病害的中心点位置与锚框中心点位置之间的距离调整，找到预测框所在准确位置；
损失计算单元，用于通过Focal Loss损失函数和RDDIoULoss损失函数计算所述路面病害预测结果与所述路面病害实际信息之间的损失结果，损失结果为FocalLoss分类损失、BCE目标损失和RDDIoULoss边界框损失之和；通过所述训练集训练所述检测模型的过程中，所述损失结果不再继续降低时，停止训练所述检测模型；
所述验证单元，用于通过所述检测模型检测所述验证集中的所述路面图片，并根据所得的验证结果反向优化所述检测模型中损失函数的网络权重。
9.如权利要求8所述的路面病害检测系统，其特征在于，所述训练单元中，
第一数据增强单元，用于对所述训练集中的所述路面图片进行数据增强处理，得到增强后的路面图片；
CSPNet特征提取单元，用于对所述增强后的路面图片进行特征提取操作，得到路面图片特征图；
所述PANet尺度单元，用于通过PANet融合所述路面图片特征图，得到四个尺度的所述路面图片特征图；
所述k-means聚类算法单元，用于生成四组锚框，通过k-means聚类算法根据所述四个尺度的所述路面图片特征图得出所述路面病害预测结果，所述四组锚框分别对应于所述四个尺度的所述路面图片特征图，所述路面病害预测结果包括所述路面病害的预测位置信息和预测类型信息；
所述锚框调整单元，用于调整所述四组锚框的位置，通过所述路面病害的所述中心点位置与所述锚框中心点位置之间的距离调整，找到所述预测框所在准确位置；
所述损失计算单元，用于通过Focal Loss损失函数和RDDIoULoss损失函数计算所述路面病害预测结果与所述路面病害实际信息之间的损失结果；
所述验证单元，用于通过所述训练集训练所述检测模型的过程中，实时比较生成的所述损失结果，当所述损失结果不再继续降低时，停止训练所述检测模型。
10.如权利要求9所述的路面病害检测系统，其特征在于，所述分析模块包括：
第二数据增强单元，用于对所述待检测图像进行数据增强处理，得到经翻转处理的图像、经大小调整后的图像、和经亮度/对比度增强处理的图像；
检测单元，用于通过所述检测模型检测所述经翻转处理的图像，得到第一检测结果；
所述检测单元，用于通过所述检测模型检测所述经大小调整后的图像，得到第二检测结果；
所述检测单元，用于通过所述检测模型检测所述经亮度/对比度增强处理的图像，得到第三检测结果；
合并单元，用于合并所述第一检测结果、所述第二检测结果、和所述第三检测结果，得到所述检测结果，所述检测结果包括路面病害位置信息和路面病害类型信息。
CN202110646299.8A 2021-06-10 2021-06-10 路面病害检测方法及系统 Active CN113256601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110646299.8A CN113256601B (zh) 2021-06-10 2021-06-10 路面病害检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110646299.8A CN113256601B (zh) 2021-06-10 2021-06-10 路面病害检测方法及系统

Publications (2)

Publication Number Publication Date
CN113256601A true CN113256601A (zh) 2021-08-13
CN113256601B CN113256601B (zh) 2022-09-13

Family

ID=77187329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110646299.8A Active CN113256601B (zh) 2021-06-10 2021-06-10 路面病害检测方法及系统

Country Status (1)

Country Link
CN (1) CN113256601B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120037A (zh) * 2021-11-25 2022-03-01 中国农业科学院农业信息研究所 一种基于改进yolov5模型的发芽马铃薯图像识别方法
CN114170569A (zh) * 2021-12-10 2022-03-11 山东大学 一种路面异常情况监测方法、系统、存储介质及设备
CN114445712A (zh) * 2022-01-29 2022-05-06 东南大学 基于改进YOLOv5模型的高速公路路面病害识别方法
CN116087198A (zh) * 2022-12-02 2023-05-09 河南交通发展研究院有限公司 一种公路路面状况数据采集设备及其自动化快速检测系统
CN116363530A (zh) * 2023-03-14 2023-06-30 北京天鼎殊同科技有限公司 高速公路路面病害的定位方法和装置
CN117649633A (zh) * 2024-01-30 2024-03-05 武汉纺织大学 一种用于高速公路巡检的路面坑洼检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199220A (zh) * 2020-01-21 2020-05-26 北方民族大学 电梯内人员检测与人数统计的轻量化深度神经网络方法
CN112101434A (zh) * 2020-09-04 2020-12-18 河南大学 基于改进YOLO v3的红外图像弱小目标检测方法
CN112801972A (zh) * 2021-01-25 2021-05-14 武汉理工大学 一种桥梁缺陷检测方法、设备、系统及存储介质
CN112884760A (zh) * 2021-03-17 2021-06-01 东南大学 近水桥梁多类型病害智能检测方法与无人船设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199220A (zh) * 2020-01-21 2020-05-26 北方民族大学 电梯内人员检测与人数统计的轻量化深度神经网络方法
CN112101434A (zh) * 2020-09-04 2020-12-18 河南大学 基于改进YOLO v3的红外图像弱小目标检测方法
CN112801972A (zh) * 2021-01-25 2021-05-14 武汉理工大学 一种桥梁缺陷检测方法、设备、系统及存储介质
CN112884760A (zh) * 2021-03-17 2021-06-01 东南大学 近水桥梁多类型病害智能检测方法与无人船设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENGBO LUO等: ""Rethinking ResNets: Improved Stacking Strategies With High Order Schemes"", 《ARXIV》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120037A (zh) * 2021-11-25 2022-03-01 中国农业科学院农业信息研究所 一种基于改进yolov5模型的发芽马铃薯图像识别方法
CN114120037B (zh) * 2021-11-25 2022-07-19 中国农业科学院农业信息研究所 一种基于改进yolov5模型的发芽马铃薯图像识别方法
CN114170569A (zh) * 2021-12-10 2022-03-11 山东大学 一种路面异常情况监测方法、系统、存储介质及设备
CN114445712A (zh) * 2022-01-29 2022-05-06 东南大学 基于改进YOLOv5模型的高速公路路面病害识别方法
CN116087198A (zh) * 2022-12-02 2023-05-09 河南交通发展研究院有限公司 一种公路路面状况数据采集设备及其自动化快速检测系统
CN116087198B (zh) * 2022-12-02 2024-02-23 河南交通发展研究院有限公司 一种公路路面状况数据采集设备及其自动化快速检测系统
CN116363530A (zh) * 2023-03-14 2023-06-30 北京天鼎殊同科技有限公司 高速公路路面病害的定位方法和装置
CN116363530B (zh) * 2023-03-14 2023-11-03 北京天鼎殊同科技有限公司 高速公路路面病害的定位方法和装置
CN117649633A (zh) * 2024-01-30 2024-03-05 武汉纺织大学 一种用于高速公路巡检的路面坑洼检测方法
CN117649633B (zh) * 2024-01-30 2024-04-26 武汉纺织大学 一种用于高速公路巡检的路面坑洼检测方法

Also Published As

Publication number Publication date
CN113256601B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN113256601B (zh) 路面病害检测方法及系统
CN108345911B (zh) 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN110866430B (zh) 一种车牌识别方法及装置
CN111861978A (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN110532946B (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN113591866A (zh) 基于db与crnn的特种作业证件检测方法及系统
CN111860106A (zh) 一种无监督的桥梁裂缝识别方法
CN113327255A (zh) 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法
CN116485709A (zh) 一种基于YOLOv5改进算法的桥梁混凝土裂缝检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN114723709A (zh) 隧道病害检测方法、装置和电子设备
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN115719475A (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN116433629A (zh) 一种基于GA-Unet的机场道面缺陷识别方法
CN111950583A (zh) 一种基于gmm聚类的多尺度识别交通信号标志的方法
CN113869433A (zh) 一种对混凝土损伤进行快速检测和分类的深度学习方法
CN116958073A (zh) 基于注意力特征金字塔机制的小样本钢材缺陷检测方法
CN110889418A (zh) 一种气体轮廓识别方法
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN114111647A (zh) 一种基于人工智能的绝缘子伞裙破损面积测量方法及测量系统
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant