CN112183593A - 一种基于dssd算法的道路损伤检测方法 - Google Patents

一种基于dssd算法的道路损伤检测方法 Download PDF

Info

Publication number
CN112183593A
CN112183593A CN202010976533.9A CN202010976533A CN112183593A CN 112183593 A CN112183593 A CN 112183593A CN 202010976533 A CN202010976533 A CN 202010976533A CN 112183593 A CN112183593 A CN 112183593A
Authority
CN
China
Prior art keywords
dssd
road
road damage
feature map
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010976533.9A
Other languages
English (en)
Inventor
郭学俊
苏可
陈泽华
刘晓峰
赵哲峰
李龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202010976533.9A priority Critical patent/CN112183593A/zh
Publication of CN112183593A publication Critical patent/CN112183593A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于DSSD算法的道路损伤检测方法，属于道路损伤检测技术领域，所要解决的技术问题为：提供一种基于DSSD算法的道路损伤检测方法，对重要路段的道路路面状况进行检测识别，及时准确的检测出道路路面损伤并进行修补；解决该技术问题采用的技术方案为：根据数据集构建Resnet‑101网络提取图像中特征的语义信息；然后经过卷积与反卷积模块，卷积模块中包括低层特征图，反卷积模块中包括高层特征图，两个卷积模块中的特征图经过融合，送入预测模块；最后将待识别的道路图像输入到训练好的DSSD模型中，判别该图像中道路损伤的类型和位置；本发明的模型有很高的召回率和精确度，尤其在小目标道路损伤方面的识别准确率更高。

Description

一种基于DSSD算法的道路损伤检测方法
技术领域
本发明一种基于DSSD算法的道路损伤检测方法，属于道路损伤检测技术领域。
背景技术
随着我国社会主义现代化的高速发展，道路建设作为衡量国家现代化水平的重要指标之一，我国的道路建设也在如火如荼的发展，但是道路交通网十分庞大复杂，随之而来的问题也难以妥善解决，其中道路养护问题一直是重中之重；道路产生的损伤一般是由施工方式、气候条件、行车负载等因素造成的，从而对道路交通安全带来了巨大的挑战，所以如何从道路图像上快速准确地检测出损伤区域就成为了急需解决的难题。
发明内容
本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于DSSD算法的道路损伤检测方法，可以对重要路段的道路路面状况进行检测识别，及时准确的检测出道路路面损伤并进行修补。
为解决上述技术问题，本发明采用的技术方案为：一种基于DSSD算法的道路损伤检测方法，其特征在于：包括如下步骤：
步骤一：采用Global Road Damage Detection Challenge比赛所提供的数据集用于训练DSSD模型；所述数据集具体为道路损伤图像数据集，包括来自手机拍摄的道路现场图像，图像中包括不同的背景环境、光照状态下的路面图像；
步骤二：构建Resnet-101网络，输入道路损伤图像训练集，提取道路损伤图像中的特征，输出为特征图；
步骤三：训练DSSD模型，所述DSSD模型包括依次连接的卷积模块、反卷积模块、预测模块；
步骤3.1：将Resnet-101神经网络生成的特征图输入到DSSD模型，所述卷积模块中的低层特征图与反卷积模块中的高层特征图进行融合，送入预测模块，融合后的特征图作为下一级反卷积模块中的高层特征图，再与下一级卷积模块中的低层特征图融合，送入预测模块后再进行下一步反卷积模块的操作；
步骤3.2：融合后的特征图送入预测模块，经过Resnet网络，进行点积操作，实现物体类型的识别，回归物体的精确位置；
步骤四：将待识别的道路损伤图像输入到训练好的DSSD模型中，判别该道路损伤图像中道路损伤的类型，并框出损伤的位置。
所述步骤一中DSSD模型使用的数据集格式与Pascal VOC数据集格式一致；
所述数据集用矩形框标注图像中的裂缝，采用XML文件用于对DSSD模型训练；
所述XML文件包含图像的名称、图像的尺寸、标注的裂缝的名称，以及标注框的左上角和右下角坐标，坐标表述为xmin，ymin，xmax，ymax。
在所述步骤三的DSSD模型训练过程中，整个DSSD网络的总损失函数分为两部分，包括平滑损失函数
Figure 100002_DEST_PATH_IMAGE002
与相对熵损失函数KL，计算公式为：
Figure 100002_DEST_PATH_IMAGE004
；
Figure 100002_DEST_PATH_IMAGE006
；
Figure 100002_DEST_PATH_IMAGE008
；
式中：x为预测边界框坐标向量，y为对应的真实边界框坐标向量，n为样本数量，p(x)和q(x)为两个分布函数。
本发明相对于现有技术具备的有益效果为：本发明提出一种基于DSSD的道路损伤检测方法，不仅可以检测道路的损伤类型，而且在小目标损伤方面的检测精度也明显提高；本发明利用DSSD网络可以自动提取图像特征，避免了人工提取特征的盲目性，在某些高危路段可以代替人工进行检测，减小发生伤亡的可能，有效提高检测效率，降低检测成本，与其他的目标检测算法相比，本发明提出的检测方法在检测精度上更高，对小目标的检测效果也更好。
附图说明
下面结合附图对本发明做进一步说明：
图1为本发明的流程步骤图；
图2为本发明方法的部分样本示例图；
图3为本发明DSSD的架构图；
图4为本发明卷积层与反卷积层的结构图；
图5为本发明预测模块的结构图；
图6为本发明结果展示图；
图7为本发明损失变化曲线图。
具体实施方式
如图1所示，本发明一种基于DSSD算法的道路损伤检测方法，其具体步骤包括：
步骤1，道路损伤图像数据集来自手机拍摄的道路现场图像，包括不同的环境、光照、路面、形状，以9:1的比例划分为训练数据集和测试数据集，部分样本示例如图2(a)-图2(c)所示，训练数据集用来训练DSSD模型，测试数据集用来验证DSSD模型的好坏。道路损伤图像包括XML文件，用作后续DSSD训练，XML文件包含图像的名称、图像的尺寸、标注的损伤的名称和标注框的左上角和右下角坐标(xmin，ymin，xmax，ymax)。
步骤2，构建Resnet-101残差神经网络，输入道路裂缝图像训练集，提取道路裂缝图像中的特征，输出为特征图。
步骤3，训练DSSD模型，该模型包括依次连接的卷积模块、反卷积模块和预测模块，如图3所示为DSSD结构图。
步骤3.1，如图4所示卷积层与反卷积层结构图，将Resnet-101神经网络生成的特征图输入到DSSD网络，卷积模块中的低层特征图与反卷积模块中的高层特征图融合，送入预测模块。融合后的特征图作为下一级反卷积模块中的高层特征图，再与下一级卷积模块中的低层特征图融合，送入预测模块后再进行下一步反卷积模块的操作。在训练过程中，整个DSSD网络的总损失函数分为两部分，平滑损失函数SmoothL1与相对熵损失函数KL，表示为如下公式：
Figure 125942DEST_PATH_IMAGE004
；
Figure 777504DEST_PATH_IMAGE006
；
Figure 229345DEST_PATH_IMAGE008
；
式中：x是预测边界框坐标向量，y是对应的真实边界框坐标向量，n是样本数量，p(x)和q(x)为两个分布函数。
步骤3.2，如图5所示预测模块结构，融合后的特征图送入预测模块，经过Resnet网络，进行点积操作，实现物体类型的识别与回归物体的精确位置。
步骤4，利用训练好的DSSD模型检测输入的道路图像的损伤类型以及框出损伤的位置，如图6(a)-图6(c)所示是对道路损伤的检测结果。
在本申请的步骤3.1中，高层网络的感受野比较大，语义信息表征能力强，但是特征图的分辨率低，几何信息的表征能力弱；低层网络的感受野比较小，几何细节信息表征能力强，虽然分辨率高，但是语义信息表征能力弱；
在多尺度的特征图预测目标时，使用具有较大感受野的高层特征信息预测大的物体，具有较小感受野的低层特征信息预测小目标；将高层语义信息和低层语义信息进行融合，丰富预测回归位置框和分类任务输入的多尺度特征图，以此提高精度。
在步骤3.2中，DSSD直接从数个反卷积层中分别引出预测函数，在每一个预测层后增加残差模块，以提取更深维度的特征。
本发明在实验时采用处理器为windows10（64位）的intel COREi7，显卡为NvidiaGeForce GTX 1660 Ti，主频是2.6GHz，内存是8GB，IDE是pycharm，编程语言是Python，基于pytorch1.2框架，使用算法DSSD对道路损伤数据集进行训练；如图7所示，x轴代表迭代次数，y轴是训练过程中的损失，损失越小，模型收敛效果越好；mAP（平均精度均值）作为目标检测的评价指标，mAP体现模型识别效果的优劣程度，其值越大效果越好，反之越差。最终的训练结果如表1所示。
Figure DEST_PATH_IMAGE010
表1各类损失结果
由表1可知，对比其他的目标检测方法，DSSD的mAP值最好，为0.8093。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于DSSD算法的道路损伤检测方法，其特征在于：包括如下步骤：
步骤一：采用Global Road Damage Detection Challenge比赛所提供的数据集用于训练DSSD模型；所述数据集具体为道路损伤图像数据集，包括来自手机拍摄的道路现场图像，图像中包括不同的背景环境、光照状态下的路面图像；
步骤二：构建Resnet-101网络，输入道路损伤图像训练集，提取道路损伤图像中的特征，输出为特征图；
步骤三：训练DSSD模型，所述DSSD模型包括依次连接的卷积模块、反卷积模块、预测模块；
步骤3.1：将Resnet-101神经网络生成的特征图输入到DSSD模型，所述卷积模块中的低层特征图与反卷积模块中的高层特征图进行融合，送入预测模块，融合后的特征图作为下一级反卷积模块中的高层特征图，再与下一级卷积模块中的低层特征图融合，送入预测模块后再进行下一步反卷积模块的操作；
步骤3.2：融合后的特征图送入预测模块，经过Resnet网络，进行点积操作，实现物体类型的识别，回归物体的精确位置；
步骤四：将待识别的道路损伤图像输入到训练好的DSSD模型中，判别该道路损伤图像中道路损伤的类型，并框出损伤的位置。
2.根据权利要求1所述的一种基于DSSD算法的道路损伤检测方法，其特征在于：所述步骤一中DSSD模型使用的数据集格式与Pascal VOC数据集格式一致；
所述数据集用矩形框标注图像中的裂缝，采用XML文件用于对DSSD模型训练；
所述XML文件包含图像的名称、图像的尺寸、标注的裂缝的名称，以及标注框的左上角和右下角坐标，坐标表述为xmin，ymin，xmax，ymax。
3.根据权利要求2所述的一种基于DSSD算法的道路损伤检测方法，其特征在于：在所述步骤三的DSSD模型训练过程中，整个DSSD网络的总损失函数分为两部分，包括平滑损失函数
Figure DEST_PATH_IMAGE002
与相对熵损失函数KL，计算公式为：
Figure DEST_PATH_IMAGE004
；
Figure DEST_PATH_IMAGE006
；
Figure DEST_PATH_IMAGE008
；
式中：x为预测边界框坐标向量，y为对应的真实边界框坐标向量，n为样本数量，p(x)和q(x)为两个分布函数。
CN202010976533.9A 2020-09-16 2020-09-16 一种基于dssd算法的道路损伤检测方法 Pending CN112183593A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010976533.9A CN112183593A (zh) 2020-09-16 2020-09-16 一种基于dssd算法的道路损伤检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010976533.9A CN112183593A (zh) 2020-09-16 2020-09-16 一种基于dssd算法的道路损伤检测方法

Publications (1)

Publication Number Publication Date
CN112183593A true CN112183593A (zh) 2021-01-05

Family

ID=73921368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010976533.9A Pending CN112183593A (zh) 2020-09-16 2020-09-16 一种基于dssd算法的道路损伤检测方法

Country Status (1)

Country Link
CN (1) CN112183593A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800913A (zh) * 2021-01-20 2021-05-14 同济大学 一种基于多源特征融合的路面损伤数据时空分析方法
CN115542172A (zh) * 2022-12-01 2022-12-30 湖北工业大学 动力电池故障检测方法、系统、装置及存储介质
CN117953235A (zh) * 2024-03-27 2024-04-30 中建国际工程有限公司 一种基于红外偏振成像的墙体损伤程度评价方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472503A (zh) * 2019-07-11 2019-11-19 桂林电子科技大学 一种道路目标检测方法、装置及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472503A (zh) * 2019-07-11 2019-11-19 桂林电子科技大学 一种道路目标检测方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENG-YANG FU 等: "DSSD : Deconvolutional Single Shot Detector", 《ARXIV ABS/1701.06659》 *
FENG NIE: "DSSD：Deconvolutional Single Shot Detector", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/57366902》 *
苏可 等: "改进型DSSD算法在道路损伤检测中的应用研究", 《电子技术应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800913A (zh) * 2021-01-20 2021-05-14 同济大学 一种基于多源特征融合的路面损伤数据时空分析方法
CN115542172A (zh) * 2022-12-01 2022-12-30 湖北工业大学 动力电池故障检测方法、系统、装置及存储介质
CN117953235A (zh) * 2024-03-27 2024-04-30 中建国际工程有限公司 一种基于红外偏振成像的墙体损伤程度评价方法及系统

Similar Documents

Publication Publication Date Title
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN109683360B (zh) 液晶面板缺陷检测方法及装置
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN112183593A (zh) 一种基于dssd算法的道路损伤检测方法
US20200364849A1 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN111899241B (zh) 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN109856156A (zh) 一种基于aoi的显示面板微小缺陷判定方法与装置
CN105160652A (zh) 基于计算机视觉的手机外壳检验装置与方法
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN113240623B (zh) 一种路面病害检测方法及装置
WO2021046726A1 (zh) 用于检测机械设备零部件的方法和装置
CN112381175A (zh) 一种基于图像处理的电路板识别与分析方法
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN111091534A (zh) 一种基于目标检测的pcb板缺陷检测与定位方法
CN103177426B (zh) 一种基于形态学的强干扰激光边缘图像修复方法
Han et al. SSGD: A smartphone screen glass dataset for defect detection
CN114428110A (zh) 一种轴承套圈荧光磁粉探伤图像缺陷检测方法及系统
CN113962929A (zh) 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线
CN113762247A (zh) 一种基于显著实例分割算法的道路裂缝自动检测方法
CN117197085A (zh) 基于改进YOLOv8网络的公路快检图像路面病害检测方法
CN112489026A (zh) 基于多分支并行卷积神经网络的沥青路面病害检测方法
Chen et al. Research on anti-interference detection of 3D-printed ceramics surface defects based on deep learning
CN112581424B (zh) 一种光学元件表面与亚表面缺陷的分类提取方法
CN110070520B (zh) 基于深度神经网络的路面裂缝检测模型构建及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105

RJ01 Rejection of invention patent application after publication