CN113191398A - 一种基于改进Faster R-CNN的路面破损识别方法 - Google Patents

一种基于改进Faster R-CNN的路面破损识别方法 Download PDF

Info

Publication number
CN113191398A
CN113191398A CN202110388528.0A CN202110388528A CN113191398A CN 113191398 A CN113191398 A CN 113191398A CN 202110388528 A CN202110388528 A CN 202110388528A CN 113191398 A CN113191398 A CN 113191398A
Authority
CN
China
Prior art keywords
road surface
pictures
cnn
surface damage
damage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110388528.0A
Other languages
English (en)
Inventor
平萍
刘元佳
吕鑫
毛莺池
许国艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110388528.0A priority Critical patent/CN113191398A/zh
Publication of CN113191398A publication Critical patent/CN113191398A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于改进Faster R‑CNN的路面破损识别方法，应用了数据增强方法，预先对路面破损图像进行分类，通过改进VGG16卷积层来提取路面破损特征，细化特征图粒度，降低背景因素带来的影响，引入Sigmoid加权函数对非极大值抑制算法进行改进，解决坑洞漏检问题，使用RPN快速定位图像中的坑洞并进行个数统计。本发明方法克服了路面破损识别率低，检测时出现的漏检错检问题。

Description

一种基于改进Faster R-CNN的路面破损识别方法
技术领域
本发明涉及路面破损识别技术领域，尤其是一种基于改进Faster R-CNN的路面破损识别方法。
背景技术
近几十年来，随着我国经济迅速发展，基础设施建设取得巨大成就，而在这其中，公路建设的成就令人瞩目。根据交通运输部统计数据显示，自2010年起，全国公路总里程数增长迅猛，截止2019年末，全国公路总里程数已达501.25万公里，公路密度更是达到了52.31公里/百平方公里。然而在实际的使用过程中，路面经常受到天气因素(例如光照过强，气温骤变，湿度过高，风力过猛等)和交通负荷的影响，导致路面寿命减少，造成交通延误，影响通勤者的安全和效率。通常路面变形以裂缝和坑洞的形式出现，在没有及时规避的情况下会对车辆和行人构成威胁，因此道路养护对驾驶和运输极为重要。国家和地方交通管理维护部门有必要对路面状况进行定期抽查和检测，收集相关数据集，从而做出应对措施，这对交通安全运行具有很大的意义。
从传统的图像分析处理技术到如今深度学习的快速发展，大量研究人员不断研究路面破损的检测和分割，并取得了一些优秀的成果。在基于传统的计算机视觉算法方面，Dhiman等人提出了一种利用视差图像识别坑洞的方法[A.Dhiman,H.-J.Chien,andR.Klette,Road surface distress detection in disparity space[C].InternationalConference on Image and Vision Computing New Zealand,IEEE online,2017.]。而在近几年，许多学者成功的将深度学习与路面破损检测相结合。Zhang等人建立一个CrackNet模型来预测现有道路损伤中所有像素的等级分数[A.Zhang,K.Wang,B.Li,E.Yang,X.Dai,Y.Peng,Y.Fei,Y.Liu,J.Q.Li,and C.Chen,Automated pixel-level pavement crackdetection on 3D asphalt surfaces using a deep-learning network[J].Computer-Aided Civil Infrastructure Engineering,32(10):805–819,2017.]；Chen在DeepLab中提出另一类卷积神经网络，DeepLab中的膨胀卷积有助于在不增加参数的情况下以指数方法增加视图[L.-C Chen,G.Papandreou,I.Kokkinos,K.Murphy,and A.L.Yuille,DeepLab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].IEEE Trans.Pattern Analysis Machine Intelligence,40(4):834–848,2018.]。但由于它应用在高分辨率的特征映射中，这种类型的卷积在实际应用上是非常昂贵的。
发明内容
针对现有技术中存在的问题与不足，为了准确有效的检测路面破损，本发明提供一种基于改进Faster R-CNN的路面破损识别方法，解决路面破损识别率低，检测时出现的漏检错检问题。
为实现上述目的，本发明采用的技术方案如下：
本发明提供一种基于改进Faster R-CNN的路面破损识别方法，包括：
收集路面破损图片和平滑路面图片，并进行分类标记，形成样本库；
提取样本库中图片的特征图；
将提取的特征图输入训练好的RPN网络中生成含有破损的候选区域框；
对候选区域框进行筛选获取有效候选框；
将有效候选框划分为训练集和测试集，采用训练集训练Faster R-CNN模型，对破损类别进行预测；采用测试集验证训练好的Faster R-CNN模型；
将实时采集的路面图片输入训练好的RPN网络中生成区域框；
将生成的区域框输入训练好的Faster R-CNN模型，得到路面破损类别。
进一步的，所述收集路面破损图片和平滑路面图片，并进行分类标记，形成样本库，包括：
收集各大网站中的路面破损图片和平滑路面图片；所述路面破损图片包括裂缝、小型坑洞、中型坑洞和大型坑洞；
通过数据增强操作增加路面破损图片的数量；
将所有图片裁剪为640x640大小；
将所有图片按照坑洞大小进行分类标记，形成样本库；
所述进行分类标记包括：将平滑路面图片标记为pothole 0，将出现裂缝的路面破损图片标记为pothole 1，将出现小型坑洞的路面破损图片标记为pothole 2，将出现中型坑洞的路面破损图片标记为pothole 3，将出现大型坑洞的路面破损图片标记为pothole4。
进一步的，收集百分之七十的图片为路面破损图片，百分之三十的图片为平滑路面图片。
进一步的，采用改进VGG16卷积层，提取样本库中图片的特征图；
所述改进VGG16卷积层为：
在卷积层Conv1后添加一个最大池化层，在卷积层Conv5后添加一个反卷积层。
进一步的，训练RPN网络包括：
通过反向传播和Adam优化器进行端到端的RPN网络训练；
根据RPN分类层损失，回归层损失，检测分类层损失和回归层损失随迭代次数的变化折线图，确定最佳迭代次数。
进一步的，采用Soft-NMS算法去除冗余的候选框，获取有效候选框。
进一步的，还包括：
统计不同类型路面破损的数量。
本发明所达到的有益效果为：
本发明提供的一种基于改进Faster R-CNN的路面破损识别方法，考虑了多种路面破损的类别，不局限于单一的裂缝或者坑洞识别，而是将这二者结合，并且对坑洞根据大小和危险程度又做了划分，通过改进VGG16的卷积层来提取特征，并引入Sigmoid加权函数改进NMS算法来解决坑洞漏检问题，再利用Faster R-CNN进行训练和检测，不仅给出路面破损的种类和位置，而且在图像中统计了各种类型路面破损的数量。
附图说明
图1为本发明中方法流程示意图；
图2为本发明实施例中训练最佳迭代次数中各Loss曲线图；图2(a)为RPN分类层损失随迭代次数的变化折线图；图2(b)为RPN回归层损失随迭代次数的变化折线图；图2(c)为检测分类层损失随迭代次数的变化折线图；图2(d)为检测回归层损失随迭代次数的变化折线图；
图3为本发明一个实施例的实验结果图。
具体实施方式
下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明提供一种基于改进Faster R-CNN的路面破损识别方法，包括数据集分类和标记、模型训练和输出分类结果三个部分。具体步骤如下：
步骤1：收集各大网站中的路面破损图片和平滑路面图片，进行数据增强操作，根据危险程度和坑洞大小对路面破损图片进行分类标记，具体步骤如下：
步骤11：收集网络中的路面破损图片和平滑路面图片，其中百分之七十的图片内容包括裂缝、小型坑洞、中型坑洞和大型坑洞，作为正样本；剩余百分之三十为平滑路面图片，作为负样本；
步骤12：通过几何变换等数据增强操作增加路面破损图片的数量和特征多样性；
步骤13：将所有图片裁剪为640x640大小；
步骤14：将所有样本图片包括正样本和负样本分为五类，将没有坑洞，无危险的路面破损即负样本图片标记为pothole 0；将出现裂缝，危险程度较小的路面破损标记为pothole 1；将小型坑洞，基本不会有危险，多由裂缝衍生而来的路面破损标记为pothole2；将较大坑洞，具有一定危险的路面破损标记为pothole 3；将大且深的坑洞，非常危险需要及时修补的路面破损标记为pothole 4。
步骤2：改进VGG16卷积层，提取特征生成路面破损的特征图，具体步骤如下：
步骤21：在卷积层Conv1后添加一个最大池化层，用来直接获取特征图；
步骤22：在卷积层Conv5后添加一个反卷积层，通过反卷积层将中间层提取到的特征图映射至原图空间，就是对原先的卷积核进行上下左右翻转，将经过补零操作后获得的卷积作为输入，然后对翻转后的卷积核进行卷积操作，实际上就是对Conv5得到的特征图进行反卷积操作；
步骤3，训练RPN网络确定最佳迭代次数，具体步骤如下：
步骤31：创建RPN层和分类器层；
步骤32：计算IoU和图像所有锚点的RPN；
步骤33：生成ground truth锚点，定义并计算损失函数；
步骤34：RPN网络训练，通过反向传播和Adam优化器进行端到端的训练；
步骤35：给出RPN分类层损失、回归层损失、检测分类层损失和回归层损失随迭代次数的变化折线图，确定最佳迭代次数。
如图2所示为本实施例训练RPN网络过程中Loss曲线图，为经过867此迭代训练后的损失结果生成图，根据图2(a)，图2(b)，图2(c)和图2(d)中的结果综合考虑，当迭代次数达到655时，模型效果最佳，于是将训练到此处的模型作为最终的结果。
步骤4：将卷积后的特征图输入到训练好的RPN网络中，生成候选区域框，采用改进NMS(非极大值抑制)算法去除冗余的候选框，得到最佳候选区域框后判断生成的候选区域是否为路面破损，具体步骤如下：
步骤41：非极大值抑制算法中引入Sigmoid加权函数如下：
Figure BDA0003015968920000051
Si表示第i个候选框的分值，参数λ表示一种可调参数，M为最大分值的候选框，bi为候选框的编号，Nt为设定阈值，用于候选框的取舍；
步骤42：根据路面破损分类标签预测出所有的候选区域框；
步骤43：区分分类结束的候选框和筛选出的候选框，以m，n分别表示；
步骤44：选择分值最高的候选框将其归入n；
步骤45：计算其余框与分值最高框的IoU，与设定的阈值相比较，若IoU大于阈值，则通过上述公式对候选框分值进行抑制，小于阈值则保持不变；
步骤46：重复上述步骤，最后留下有效的候选框；
步骤47：根据得到的有效候选框的标注判断生成的候选区域是否为路面破损。
步骤5：输出破损类别和个数，具体步骤如下：
步骤51：导入数据集并对不同类别的路面破损进行统计，数据集中具体破损类别对应的数量统计如表1所示：
表1不同类型路面破损数量统计
Figure BDA0003015968920000052
步骤52：建立并训练Faster R-CNN模型，对网络参数进行调节，再对网络进行训练，直到模型最终收敛；
步骤53：将实时采集的路面图片获取区域框后输入到训练好的Faster R-CNN模型中，输出破损类别，并进行数量统计。
如图3所示为本发明一个实施例的实验结果图，对于不同类型的坑洞可以使用不同颜色的矩形框来标注，还可以在图片左上方统计图中出现的不同类型路面破损的数量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于改进Faster R-CNN的路面破损识别方法，其特征在于，包括：
收集路面破损图片和平滑路面图片，并进行分类标记，形成样本库；
提取样本库中图片的特征图；
将提取的特征图输入训练好的RPN网络中生成含有破损的候选区域框；
对候选区域框进行筛选获取有效候选框；
将有效候选框划分为训练集和测试集，采用训练集训练Faster R-CNN模型，对破损类别进行预测；采用测试集验证训练好的Faster R-CNN模型；
将实时采集的路面图片输入训练好的RPN网络中生成区域框；
将生成的区域框输入训练好的Faster R-CNN模型，得到路面破损类别。
2.根据权利要求1所述的一种基于改进Faster R-CNN的路面破损识别方法，其特征在于，所述收集路面破损图片和平滑路面图片，并进行分类标记，形成样本库，包括：
收集各大网站中的路面破损图片和平滑路面图片；所述路面破损图片包括裂缝、小型坑洞、中型坑洞和大型坑洞；
通过数据增强操作增加路面破损图片的数量；
将所有图片裁剪为640x640大小；
将所有图片按照坑洞大小进行分类标记，形成样本库；
所述进行分类标记包括：将平滑路面图片标记为pothole 0，将出现裂缝的路面破损图片标记为pothole 1，将出现小型坑洞的路面破损图片标记为pothole 2，将出现中型坑洞的路面破损图片标记为pothole 3，将出现大型坑洞的路面破损图片标记为pothole 4。
3.根据权利要求2所述的一种基于改进Faster R-CNN的路面破损识别方法，其特征在于，收集百分之七十的图片为路面破损图片，百分之三十的图片为平滑路面图片。
4.根据权利要求1所述的一种基于改进Faster R-CNN的路面破损识别方法，其特征在于，采用改进VGG16卷积层，提取样本库中图片的特征图；
所述改进VGG16卷积层为：
在卷积层Conv1后添加一个最大池化层，在卷积层Conv5后添加一个反卷积层。
5.根据权利要求1所述的一种基于改进Faster R-CNN的路面破损识别方法，其特征在于，训练RPN网络包括：
通过反向传播和Adam优化器进行端到端的RPN网络训练；
根据RPN分类层损失，回归层损失，检测分类层损失和回归层损失随迭代次数的变化折线图，确定最佳迭代次数。
6.根据权利要求1所述的一种基于改进Faster R-CNN的路面破损识别方法，其特征在于，采用Soft-NMS算法去除冗余的候选框，获取有效候选框。
7.根据权利要求1所述的一种基于改进Faster R-CNN的路面破损识别方法，其特征在于，还包括：
统计不同类型路面破损的数量。
CN202110388528.0A 2021-04-12 2021-04-12 一种基于改进Faster R-CNN的路面破损识别方法 Withdrawn CN113191398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110388528.0A CN113191398A (zh) 2021-04-12 2021-04-12 一种基于改进Faster R-CNN的路面破损识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110388528.0A CN113191398A (zh) 2021-04-12 2021-04-12 一种基于改进Faster R-CNN的路面破损识别方法

Publications (1)

Publication Number Publication Date
CN113191398A true CN113191398A (zh) 2021-07-30

Family

ID=76975383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110388528.0A Withdrawn CN113191398A (zh) 2021-04-12 2021-04-12 一种基于改进Faster R-CNN的路面破损识别方法

Country Status (1)

Country Link
CN (1) CN113191398A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115012281A (zh) * 2022-05-30 2022-09-06 海南大学 一种道路路面质量检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115012281A (zh) * 2022-05-30 2022-09-06 海南大学 一种道路路面质量检测方法及装置
CN115012281B (zh) * 2022-05-30 2023-09-05 海南大学 一种道路路面质量检测方法及装置

Similar Documents

Publication Publication Date Title
Alfarrarjeh et al. A deep learning approach for road damage detection from smartphone images
CN108830188B (zh) 基于深度学习的车辆检测方法
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN103903018A (zh) 一种复杂场景中对车牌进行定位的方法和系统
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN109344886B (zh) 基于卷积神经网络的遮挡号牌判别方法
WO2021174863A1 (zh) 车辆年款识别模型的训练方法以及车辆年款的识别方法
Nguyen et al. Machine learning algorithms application to road defects classification
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN116168356B (zh) 一种基于计算机视觉的车辆损伤判别方法
CN113240623A (zh) 一种路面病害检测方法及装置
WO2021051887A1 (zh) 一种困难样本筛选方法及装置
CN113327248A (zh) 一种基于视频的隧道车流量统计方法
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
CN113191398A (zh) 一种基于改进Faster R-CNN的路面破损识别方法
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN105279488B (zh) 一种公路视频巡检的里程标识牌自动识别方法
CN115100173B (zh) 基于深度卷积神经网络的公路路面图像裂缝几何属性检测与裂缝识别方法
CN116958052A (zh) 一种基于yolo和注意力机制的印刷电路板缺陷检测方法
CN116740495A (zh) 路桥隧道的病害检测模型的训练方法和病害检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210730