CN113869192A - 道路路面病害智能识别方法 - Google Patents

道路路面病害智能识别方法 Download PDF

Info

Publication number
CN113869192A
CN113869192A CN202111131007.3A CN202111131007A CN113869192A CN 113869192 A CN113869192 A CN 113869192A CN 202111131007 A CN202111131007 A CN 202111131007A CN 113869192 A CN113869192 A CN 113869192A
Authority
CN
China
Prior art keywords
pavement
road
training
diseases
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111131007.3A
Other languages
English (en)
Inventor
赵泽园
高于超
张星
刘树青
邓立鹏
吕晓鹏
晏小云
惠峰涛
张睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Datalake Information Technology Co ltd
Original Assignee
Wuxi Datalake Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Datalake Information Technology Co ltd filed Critical Wuxi Datalake Information Technology Co ltd
Priority to CN202111131007.3A priority Critical patent/CN113869192A/zh
Publication of CN113869192A publication Critical patent/CN113869192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

发明涉及路面识别方法领域，尤其是道路路面病害智能识别方法。该方法的步骤为：a)使用摄像头采集道路的视频数据；b)对视频数据进行抽帧，挑选出清晰易辨的路面图片；c)将路面图片中显示存在的路面病害标记其位置和类别，构成数据集；d)将数据集以随机抽取的方式按照一定比例划分为训练集、验证集、测试集；e)对训练集使用复制黏贴数据增强策略，并对路面病害识别模型训练；f)对路面病害进行识别。本发明通过运载摄像头拍摄采集道路路面图像，采用深度学习技术，对道路病害进行识别。针对道路病害类别不均衡和遮挡严重的现象，提出了改进型的RetinaNet来进行模型训练，从而提高了道路病害的识别效率。

Description

道路路面病害智能识别方法
技术领域
发明涉及路面识别方法领域，尤其是道路路面病害智能识别方法。
背景技术
城市道路系统是城市功能正常运转的重要保障，路政管理、道路养护等相关部门和单位，投入了大量人力、物力对城市道路系统进行日常巡检与养护。目前，城市道路日常巡检主要靠巡查员在路上巡视，针对发现的道路病害，通过填报纸质表格、PDA、智能手机APP等方式进行上报。该方式存在较强的主观性，不同巡检员对同一病害的类型、危害程度的认知难以保持一致。此外，巡检员每天巡查的道路长度一般在30-40km之间，效率较低。因此，使用技术手段对道路路面病害进行智能识别，具有重要的现实意义。
发明内容
为了解决背景技术中描述的技术问题，发明提供了一种道路路面病害智能识别方法。通过运载摄像头拍摄采集道路路面图像，采用深度学习技术，对道路病害进行识别。针对道路病害类别不均衡和遮挡严重的现象，提出了改进型的RetinaNet来进行模型训练，从而提高了道路病害的识别效率。
本发明解决其技术问题所采用的技术方案是：
一种道路路面病害智能识别方法，该方法的步骤为：
a)使用摄像头采集道路的视频数据；
b)对视频数据进行抽帧，挑选出清晰易辨的路面图片；
c)将路面图片中显示存在的路面病害标记其位置和类别，构成数据集；
d)将数据集以随机抽取的方式按照一定比例划分为训练集、验证集、测试集；
e)对训练集使用复制黏贴数据增强策略，并对路面病害识别模型训练；
f)对路面病害进行识别，并输出路面图片中路面病害的类别和位置。
具体地，所述摄像头安装在道路巡检车辆上。
具体地，所述路面图片分为裂缝、井框差、网裂、坑槽、修补裂缝、修补网裂、修补坑槽、其他，共八类。
具体地，步骤c)中，所述路面病害标记方式为人工标注。
具体地，步骤d)中，所述训练集、验证集、测试集的比例为训练集9：验证集0.5：测试集0.5。
具体地，所述复制黏贴数据增强策略为，将所需增强的路面病害类别从路面图片中裁剪下来，然后以一定比例随机粘贴到数据集中的其他路面图片中，从而缓解数据集中的类别不均衡现象。
具体地，在模型训练之前，将路面图片随机裁剪到长宽均为224的图像，再以50％的概率对图像进行水平方向随机翻转，然后以50％的概率对图像进行-15°～+15°的随机旋转，最后对图像进行标准化处理，获得增强后训练集。
具体地，步骤e)中，所述路面病害识别模型训练用RetinaNet进行，RetinaNet的主干网络为ResNet50_vd模型，ResNet50_vd模型在下采样阶段的ResBlock中使用了AvgPool；
RetinaNet的分类分支中使用了Focal Loss损失函数，公式为：
Figure BDA0003280484700000021
式中，y为真实类别，y′为预测类别，α为平衡因子，γ为调制因子；
RetinaNet的回归分支使用了Repulsion Loss，公式为：
RepulsionLoss＝Lattr+αLRepoGT+βLRepBox，式中，Lattr为当前样本预测框与真值的吸引回归损失，LRepoGT为当前预测框与周围真实物体的排斥损失，LRepBox为当前预测框与周围其他预测框之间的排斥损失，α和β为调节因子；
RetinaNet的后处理阶段使用了Soft NMS，公式为：
Figure BDA0003280484700000031
式中，Si为每个边框的得分，M为当前得分最高的框，bi为剩余框的某一个，Nt为设定的阈值；
模型训练240轮，在第120、第180、第200轮，学习率衰减到之前的三分之一；整个训练阶段划分为两个阶段，第一阶段为在前180轮使用Adam优化器训练，第二阶段为180轮之后使用Momentum优化器训练。
具体地，步骤f)中，所述路面病害进行识别，是将原始路面图片尺寸转换为480*480，然后进行标准化预处理操作，并输入到训练好的RetinaNet中，获得路面图片中对应的路面病害的类型和位置。
本发明的有益效果是：本发明提供了一种道路路面病害智能识别方法。通过运载摄像头拍摄采集道路路面图像，采用深度学习技术，对道路病害进行识别。针对道路病害类别不均衡和遮挡严重的现象，提出了改进型的RetinaNet来进行模型训练，从而提高了道路病害的识别效率。
附图说明
下面结合附图和实施例对发明进一步说明。
图1是本发明的RetinaNet网络结构示意图；
图2是本发明的ResNet50_vd下采样阶段的ResBlock_vd结构图；
具体实施方式
现在结合附图对发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明发明的基本结构，因此其仅显示与发明有关的构成。
图1是本发明的RetinaNet网络结构示意图；图2是本发明的ResNet50_vd下采样阶段的ResBlock_vd结构图。
首先摄像头安装在道路巡检车辆上，道路巡检车辆行驶的时候使用摄像头采集道路的视频数据。
然后对视频数据进行抽帧，挑选出清晰易辨的路面图片。
接着将路面图片分为裂缝、Crack(裂缝)、Manhole(井框差)、Net(网裂)、Pothole(坑槽)、Patch-Crack(修补裂缝)、Patch-Net(修补网裂)、Patch-Pothole(修补坑槽)、other(其他)，共八类。并使用人工标注的方法将路面图片中显示存在的路面病害标记其位置和类别，构成数据集；
d)将数据集以随机抽取的方式按照一定比例划分为训练集、验证集、测试集；比例为训练集9：验证集0.5：测试集0.5。
对训练集使用复制黏贴(Copy-Paste)数据增强策略，并对路面病害识别模型训练；在数据集中存在着较为严重的类别不均衡现象，Manhole(井框差)、Crack(裂缝)、Patch-Crack(修补裂缝)、Patch-Net(修补网裂)所占比例达到了85％。复制黏贴(Copy-Paste)数据增强策略就是将所需增强的路面病害类别从路面图片中裁剪下来，然后以一定比例随机粘贴到数据集中的其他路面图片中，从而缓解数据集中的类别不均衡现象。为了提升模型的泛化能力和训练速度，还使用了其它数据增强策略，在模型训练之前，将路面图片随机裁剪到长宽均为224的图像，再以50％的概率对图像进行水平方向随机翻转，然后以50％的概率对图像进行-15°～+15°的随机旋转，最后对图像进行标准化处理，获得增强后训练集。
道路路面病害数据集，病害容易被车辆、行人等进行遮挡，且在速度和精度要求较高。本方法采用改进型的RetinaNet对道路路面病害进行模型训练。
一、模型设计：如附图1所示，本方法中对RetinaNet的主干网络、损失函数、后处理方法等多方面进行了改进，以适应道路路面病害识别的需求。采用的主干网络为预训练的ResNet50_vd模型，如附图2所示，该模型在下采样阶段的ResBlock中使用了AvgPool，相比于能够有效避免下采样过程中的信息丢失，提升模型的预测精度。
RetinaNet的分类分支中使用了Focal Loss损失函数，公式为：
Figure BDA0003280484700000051
式中，y为真实类别，y’为预测类别，α为平衡因子，γ为调制因子；其中α能够改善正负样本不均衡问题，γ的使用可以增强模型对难样本的学习能力。
RetinaNet的回归分支使用了Repulsion Loss，，缓解物体之间的相互影响，降低物体遮挡对模型的影响，公式为：
RepulsionLoss＝Lattr+αLRepoGT+βLRepBox，式中，Lattr为当前样本预测框与真值的吸引回归损失，LRepGT为当前预测框与周围真实物体的排斥损失，LRepBox为当前预测框与周围其他预测框之间的排斥损失，α和β为调节因子；
RetinaNet的后处理阶段使用了Soft NMS，可以进一步降低物体遮挡对模型识别的影响，公式为：
Figure BDA0003280484700000052
式中，Si为每个边框的得分，M为当前得分最高的框，bi为剩余框的某一个，Nt为设定的阈值；
Soft NMS对于IoU大于阈值的边框，并没有将其得分直接置0，而是降低该边框的得分，在不影响前向速度的前提下，能够有效提升物体检测的精度。
二、模型训练：通常认为,Adam优化器对初始学习率的容忍度较高且收敛速度快，但是模型效果较差，而Momentum优化器则与之相反。本方法使用Piecewise Deca学习率衰减策略，模型训练240轮，在第120、180、200轮，学习率衰减到之前的三分之一。整个训练阶段划分为两个阶段，第一阶段为在前180轮使用Adam优化器训练，第二阶段为180轮之后使用Momentum优化器训练。这种训练方法，能够保证在训练前期，模型能够快速收敛，减少初始学习不当带来的风险，同时也确保训练后期模型尽可能收敛至全局最优点。
最后，在路面病害识别阶段，将原始路面图片尺寸转换为480*480，然后进行标准化预处理操作，并输入到训练好的RetinaNet中，获得路面图片中对应的路面病害的类型和位置。
1、本发明能够在一定程度上降低道路路面缺陷类别不均衡所带来的模型泛化能力差的问题。通过使用CopyPaste数据增强策略，可以有效平衡不同类别的比例，同不采用该策略相比，mAP增加了1.2％。
2、本发明采用的Focal Loss、Repulsion Loss和Soft NMS可以增强对难样本和遮挡路面缺陷的识别效果，同原版的RetinaNet相比，mAP增加了6.53％。
3、本发明采用改进版的RetinaNet，能够满足城市复杂道路环境下路面缺陷的高效识别。在Tesla GV100上测试，模型大小为219MB，batch size为1时，显存占用为200MB，识别速度可达26.12FPS，mAP为45.8％。
以上述依据发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (9)

1.一种道路路面病害智能识别方法，其特征在于：该方法的步骤为：
a)使用摄像头采集道路的视频数据；
b)对视频数据进行抽帧，挑选出清晰易辨的路面图片；
c)将路面图片中显示存在的路面病害标记其位置和类别，构成数据集；
d)将数据集以随机抽取的方式按照一定比例划分为训练集、验证集、测试集；
e)对训练集使用复制黏贴数据增强策略，并对路面病害识别模型训练；
f)对路面病害进行识别，并输出路面图片中路面病害的类别和位置。
2.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：所述摄像头安装在道路巡检车辆上。
3.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：所述路面图片分为裂缝、井框差、网裂、坑槽、修补裂缝、修补网裂、修补坑槽、其他，共八类。
4.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：步骤c)中，所述路面病害标记方式为人工标注。
5.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：步骤d)中，所述训练集、验证集、测试集的比例为训练集9：验证集0.5：测试集0.5。
6.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：所述复制黏贴数据增强策略为，将所需增强的路面病害类别从路面图片中裁剪下来，然后以一定比例随机粘贴到数据集中的其他路面图片中，从而缓解数据集中的类别不均衡现象。
7.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：在模型训练之前，将路面图片随机裁剪到长宽均为224的图像，再以50％的概率对图像进行水平方向随机翻转，然后以50％的概率对图像进行-15°～+15°的随机旋转，最后对图像进行标准化处理，获得增强后训练集。
8.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：步骤e)中，所述路面病害识别模型训练用RetinaNet进行，RetinaNet的主干网络为ResNet50_vd模型，ResNet50_vd模型在下采样阶段的ResBlock中使用了AvgPool；
RetinaNet的分类分支中使用了Focal Loss损失函数，公式为：
Figure FDA0003280484690000021
式中，y为真实类别，y′为预测类别，α为平衡因子，γ为调制因子；
RetinaNet的回归分支使用了Repulsion Loss，公式为：
RepulsionLoss＝Lattr+αLRepoGT+βLRepBox，式中，Lattr为当前样本预测框与真值的吸引回归损失，LRepoGT为当前预测框与周围真实物体的排斥损失，LRepBox为当前预测框与周围其他预测框之间的排斥损失，α和β为调节因子；
RetinaNet的后处理阶段使用了Soft NMS，公式为：
Figure FDA0003280484690000022
式中，Si为每个边框的得分，M为当前得分最高的框，bi为剩余框的某一个，Nt为设定的阈值；
模型训练240轮，在第120、第180、第200轮，学习率衰减到之前的三分之一；整个训练阶段划分为两个阶段，第一阶段为在前180轮使用Adam优化器训练，第二阶段为180轮之后使用Momentum优化器训练。
9.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：步骤f)中，所述路面病害进行识别，是将原始路面图片尺寸转换为480*480，然后进行标准化预处理操作，并输入到训练好的RetinaNet中，获得路面图片中对应的路面病害的类型和位置。
CN202111131007.3A 2021-09-26 2021-09-26 道路路面病害智能识别方法 Pending CN113869192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111131007.3A CN113869192A (zh) 2021-09-26 2021-09-26 道路路面病害智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111131007.3A CN113869192A (zh) 2021-09-26 2021-09-26 道路路面病害智能识别方法

Publications (1)

Publication Number Publication Date
CN113869192A true CN113869192A (zh) 2021-12-31

Family

ID=78990813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111131007.3A Pending CN113869192A (zh) 2021-09-26 2021-09-26 道路路面病害智能识别方法

Country Status (1)

Country Link
CN (1) CN113869192A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229396A (zh) * 2023-02-17 2023-06-06 广州丰石科技有限公司 高速路面病害识别及告警方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229396A (zh) * 2023-02-17 2023-06-06 广州丰石科技有限公司 高速路面病害识别及告警方法
CN116229396B (zh) * 2023-02-17 2023-11-03 广州丰石科技有限公司 高速路面病害识别及告警方法

Similar Documents

Publication Publication Date Title
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN110415233A (zh) 基于两步卷积神经网络的路面裂缝快速提取方法
CN112200143A (zh) 一种基于候选区域网络和机器视觉的道路病害检测方法
CN108986122A (zh) 室内泊车引导地图智能重构方法
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN111767927A (zh) 一种基于全卷积网络的轻量级车牌识别方法及系统
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN109033947A (zh) 基于深度学习的路面遗撒识别方法
CN112464893A (zh) 一种复杂环境下的拥挤度分类方法
CN113869192A (zh) 道路路面病害智能识别方法
CN111597949A (zh) 一种基于npp-viirs夜间灯光数据的城市建成区提取方法
CN114049538A (zh) 基于udwgan++网络的机场裂缝图像对抗生成方法
CN111986164A (zh) 一种基于多源Unet+Attention网络迁移的道路裂缝检测方法
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN114549407A (zh) 基于x射线图像的耐张线夹压接缺陷程度判断方法
CN113297915A (zh) 一种基于无人机巡检的绝缘子识别目标检测方法
Liu et al. Automatic detection of timber-cracks in wooden architectural heritage using Yolov3 algorithm
CN111524121A (zh) 一种基于机器视觉技术的路桥病害自动检测方法
CN110852318A (zh) 一种排水管道缺陷精准定位方法及系统
CN114419421A (zh) 一种基于影像的地铁隧道裂缝识别系统及方法
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN115170783A (zh) 一种使用街景图像的快速公路路面裂缝检测方法
CN115984603A (zh) 基于gf-2与开放地图数据的城市绿地精细化分类方法与系统
CN110032961A (zh) 一种基于3d卷积神经网络的地下空间管道异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination