CN114648659B - 一种基于迁移学习的轻量化混凝土桥梁病害识别方法 - Google Patents
一种基于迁移学习的轻量化混凝土桥梁病害识别方法 Download PDFInfo
- Publication number
- CN114648659B CN114648659B CN202210191784.5A CN202210191784A CN114648659B CN 114648659 B CN114648659 B CN 114648659B CN 202210191784 A CN202210191784 A CN 202210191784A CN 114648659 B CN114648659 B CN 114648659B
- Authority
- CN
- China
- Prior art keywords
- model
- concrete bridge
- classification
- detection
- pavement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 82
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013526 transfer learning Methods 0.000 title claims abstract description 16
- 238000013508 migration Methods 0.000 claims abstract description 67
- 230000005012 migration Effects 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 239000010426 asphalt Substances 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000002474 experimental method Methods 0.000 claims abstract description 18
- 238000012546 transfer Methods 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 27
- 238000013145 classification model Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000005336 cracking Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims 2
- 238000002360 preparation method Methods 0.000 claims 1
- 238000013136 deep learning model Methods 0.000 abstract 1
- 238000013461 design Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于迁移学习的轻量化混凝土桥梁病害识别方法,分别采用轻量级模型MobileNet和MobileNet‑SSD进行对比实验,探索不同迁移学习模式下和不同迁移方式(一步迁移步骤:将基于通用大数据库训练的模型的权重直接迁移至混凝土桥梁病害的分类或检测模型中;两步迁移:先将预训练权重迁移至沥青路面病害的分类或检测模型中,得到分类或检测精度最佳的权重参数,再迁移至混凝土桥梁病害的分类或检测模型中),在分类任务和检测任务中的模型性能。通过实验结果的比较,本发明旨在最终确定出能够分类和检测混凝土桥梁病害的最佳迁移方式和深度学习模型,实现实际道路检测工程中混凝土桥梁病害的快速准确识别。
Description
技术领域
本发明属于图像处理领域,涉及一种采用迁移学习并基于轻量化卷积神经网络的混凝土桥梁病害分类和检测模型。本发明适用于混凝土桥梁表面的高效智能化分类和检测。
背景技术
在路面、桥梁等基础设施的养护工作中,快速且准确的裂缝识别一直是土木工程师亟需解决的问题。现场人工识别检测费时费力且效率低下,及时准确的智能化基础设施病害识别必然是大势所趋。
近年来,深度学习方法作为一种具备强大计算和学习能力,被广泛地应用于病害的自动化识别。但传统的卷积神经网络(ConvolutionalNeural Network,CNN)包含众多参数,随之带来检测速度慢的问题。因此,本发明采用一种轻量级神经网络MobileNet,实现卷积模式的创新,减少网络的权值参数,以实现更快的计算。
此外,本发明采用迁移学习方法,将已有模型的权值参数迁移至新任务中。通过改变迁移学习方式、调整分类网络的结构,设计对比实验,探究能够快速实现混凝土桥梁表面裂缝的智能识别的有效方法及最佳模型,用于实际的路面识别工程中。
发明内容
本发明提出了一种用于混凝土桥梁病害识别的轻权重迁移学习方法,通过采用MobileNet网络实现病害分类和检测模型的轻量化,并在两种不同迁移模式下(模式I和模式II)设计了一步迁移和两步迁移两种迁移学习方式。其中,模式I表示MobileNet分类网络中所有的卷积层参数都被迁移,仅随机训练了全连接层的权值参数;模式II对部分卷积层的参数进行迁移。一步迁移将百万级ImageNet数据库训练的共性特征分类模型的权重直接迁移至混凝土桥梁病害的识别模型中;两步迁移则添加了沥青路面病害识别作为中间步骤,即首先将基于ImageNet数据库训练的模型的权重参数迁移至沥青路面病害识别模型中,再将沥青路面病害识别精度最佳的模型的参数迁移至混凝土桥梁病害识别模型中。本发明将这两种迁移方式应用于混凝土桥梁病害的分类和检测任务中,探寻一种兼顾分类和检测准确性和效率的轻权重迁移学习方式和模型。
本发明使用的沥青路面数据集为中国江苏省沥青路面三通道图像3000张,像素为4096×2000,由ZOYON-RTM智能道路检测车拍摄,混凝土桥梁数据集由交通运输部公路研究所,拍摄于中国四川省不同的高速公路上。通过对图像中路面病害的训练学习,该发明可以实现对路面及桥梁表面裂缝的自动分类与检测,以用于智能路面结构健康监测。
1.混凝土桥梁病害的分类
本发明将MobileNet作为轻量化网络,用于沥青路面病害和混凝土桥梁病害的分类,包括原始图像预处理、数据集制作、轻量化分类模型建立、沥青路面病害和混凝土桥梁病害分类识别四大部分。
步骤一:原始图片数据及预处理
首先,对道路检测车拍摄的沥青路面图片进行分类,分为路面背景、路面纵向裂缝、路面横向裂缝、道路标线和道路破损标线5类;将混凝土桥梁表面图片分为有裂缝和无裂缝2类。其次,对像素为4096×2000的原始图片进行批量裁剪,将每张图裁剪为400×400像素大小的50个子图像。最后,调整所有图像大小为224×224。
步骤二:数据集制作
把沥青路面图片集和混凝土桥梁图片集按照训练集、验证集和测试集比例约为6:2:2进行划分。
步骤三:基于MobileNet轻量化网络模型的建立
本发明选择近年来作为轻量级网络广泛应用的移动网作为迁移学习过程的基础模型。它包含一个名为深度可分离卷积的核心模块,该模块包括两个卷积步骤:深度卷积(Depthwise Convolution)和点向卷积(Pointwise Convolution)。其中,深度卷积通过3×3尺寸的卷积对输入图像进行分割,然后点向卷积使用一个1×1的卷积来组合深度卷积的输出。本发明的预训练的MobileNet模型共包含28个卷积层。该模型首先将图片输入一个3×3卷积层。然后采用多层深度可分卷积对输入图像进行特征提取。为了保证训练的稳定性和效率,在每个卷积层之后进行BatchNorm运算和ReLU非线性激活函数。随后,采用滤波核为3×3进行平均池化,步长设置为2。最后,添加全连接层(Fully Connected Layer),并利用Softmax激活将图像分类为所需的目标类别。MobileNet网络的结构参数如表1所示:
表1 MobileNet各层的结构和参数
步骤四:训练与测试
在迁移模型卷积层的全部参数和仅迁移模型部分卷积层的参数两种不同的迁移模式下,本发明试图比较一步迁移学习方式还是两步迁移学习方式能够更有效地对混凝土桥梁病害进行分类。具体内容如下:
(1)一步迁移:分别在两种迁移模式下,直接将基于ImageNet大数据库训练好的分类模型的权值迁移至混凝土桥梁病害的分类模型,最终输出混凝土桥梁病害的分类测试结果。
(2)两步迁移:分别在两种迁移模式下,将处理好的沥青路面数据训练集输入到搭建的神经网络中进行训练和测试。通过对准确度、召回率、F1值等模型结果评估分析,选择出精确度最佳的沥青路面病害分类模型并保存其权值参数。随后,将这些最优的参数迁移至混凝土桥梁病害的分类网络中,对混凝土桥梁数据集进行训练和测试,得到最终的分类结果。
2.混凝土桥梁病害的检测
本发明采用轻量化网络MobileNet-SSD来检测沥青路面病害和混凝土桥梁病害,具体步骤如下:
步骤一:原始图片数据及预处理
首先,将400×400像素大小的子图像调整为300×300大小。其次,使用软件LabelImg进行沥青路面图片集和混凝土桥梁表面图片集的病害类型和位置标定,将标定后的JPG图片保存格式为xml文件。
步骤二:数据集制作
把沥青路面图片集和混凝土桥梁图片集按照训练集和测试集比例约为9:1进行划分。
步骤三:MobileNet-SSD目标检测模型的建立
本发明采用MobileNet-SSD模型来实现沥青路面病害和混凝土桥梁裂缝的目标识别。该模型由轻量级MobileNet骨干网络、特征金字塔瓶颈网络和SSD检测头部组成。首先,MobileNet对输入图像进行特征提取。然后,颈部网络中的后续卷积层对不同尺度的特征图进行进一步的特征提取,得到有效的特征提取层。本发明选取模型中conv4_3、FC_7、conv6_2、conv7_2、conv8_2、conv9_2的输出作为提取的特征图。最后,采用SSD多尺度目标检测器头,采用非最大抑制(NMS)算法预测混凝土病害的类别和位置。MobileNet-SSD网络的结构如图4所示。
步骤四:目标检测
将处理好的xml文件输入至算法中进行学习和训练,同样分别采用一步迁移和两步迁移的方式对混凝土进行目标检测。
在迁移模型卷积层的全部参数和仅迁移模型部分卷积层的参数两种不同的迁移模式下,比较一步迁移学习方式还是两步迁移学习方式能够更有效地对混凝土桥梁病害进行分类。具体内容如下:
(1)一步迁移:将使用通用数据集VOC2007训练的MobileNet-SSD模型预训练的权值参数直接检测混凝土裂缝,作为一步迁移学习过程。
(2)两步迁移:先将预训练模型的权重参数迁移到沥青路面病害检测模型中,再将沥青路面病害数据集训练的模型权重参数迁移至混凝土桥梁裂缝检测模型中。
附图说明
图1为沥青路面图像集中5种分类图片:(a)路面背景;(b)路面纵向裂缝;(c)路面横向裂缝;(d)路面标线;(e)路面破损标线。
图2为混凝土桥梁图像集中2种分类图片:(a)桥梁表面背景;(b)桥梁表面裂缝。
图3为方法实施步骤图。
图4为MobileNet-SSD检测网络结构示意图。
图5为两种迁移模式下沥青路面病害分类的精度比较。
图6为混凝土桥梁分类对比试验结果图:包括模型的训练集、验证集的损失曲线和准确度曲线、混淆矩阵以及ROC和AUC曲线。
图7为病害检测模型的训练集和测试集损失曲线:(a)沥青路面病害检测的损失曲线;(b)一步迁移方式下的混凝土桥梁病害检测的损失曲线;(c)两步迁移方式下的混凝土桥梁病害检测的损失曲线。
图8展示了沥青路面病害和混凝土桥梁病害被正确检测的效果图。其中,(a)~(d)为沥青路面病害的检测结果图;(e)和(f)为实验5中对混凝土桥梁表面病害采用一步迁移学习方式的检测结果;(g)、(h)为实验6中对混凝土桥梁表面病害采用两步迁移学习方式的检测结果。
具体实施方式
以下结合附图和实施例对本发明进行详细说明。
本发明采用的技术方案为一种基于迁移学习的轻量化混凝土桥梁病害识别方法,该方法的具体实施过程如下:
图片数据及处理
本发明采用的原始图像数据集包括两个部分:一是像素大小为4096×2000的三通道沥青路面灰度图像,二是像素大小不一的三通道混凝土桥梁表面彩色图像。为使数据集满足深度学习要求,对原始图像做如下数据预处理步骤:
(1)人工标记
通过人工标定法,使用labelImg将每张沥青路面病害图片进行分类和筛选,共得到路面背景、路面纵向裂缝、路面横向裂缝、路面标线以及路面破损标线5种分类的典型图片。同理,对每张混凝土桥梁病害图片进行标定,分为有/无裂缝2类。
(2)批量裁剪和调整
分别对沥青路面病害原始图片和混凝土穷啊面馆病害原始图片进行连续剪裁,得到若干张400*400像素的子图像。随后,对图片进行像素调整,使得所有图片变为224×224像素大小和300×300像素大小。沥青路面病害图片和混凝土桥梁表面病害的典型图片分别如图1,2所示。
(3)数据集制作
针对病害分类任务,将共计2500张图像的沥青路面病害图片和906张混凝土桥梁表面病害图片,按照训练集、验证集和测试集比例约为6:2:2进行划分。分别得到训练集1,500张,验证集图像500张和测试集图像100张的沥青路面病害图片数据集和训练集544张,验证集图像181张和测试集图像181张的混凝土桥梁表面病害图片数据集,如表2所示。
表2数据集构成
针对病害检测任务,由2000张图像的沥青路面病害图片和306张混凝土桥梁表面裂缝图片组成数据集,并按照9:1划分为训练集和测试集。分别得到包括由1,800张沥青路面病害图片和200张的混凝土桥梁表面病害图片组成的训练集和由200张沥青路面病害图片和31张的混凝土桥梁表面病害图片组成的测试集。
1.混凝土桥梁病害分类模型对比实验设计
如图3所示,本发明以是否经过迁移沥青路面病害分类或检测模型的权重参数为标准,设计了一步迁移和两步迁移的学习方式。在每类方式中,又根据迁移MobileNet模型卷积层的数量设计了两种迁移模式。其中,模式Ⅰ对模型的所有卷积层的参数进行迁移,在训练中进重新训练新增加的用于分类的全连接层的权重;而模式Ⅱ只迁移部分卷积层的权重,剩余的卷积层以及全连接层的权重则通过重新训练来更新。在每一模式下,通过改变全连接层的数量(FC=2、3、4层)、全连接层(Nd=256、512、1024个)的节点数搭建不同的分类网络,用于沥青路面病害的分类。对比实验设计如下表3所示:
表3对比试验模型结构设计
作为两步迁移学习过程的中间过程,获得沥青路面病害分类的最优网络结构是十分必要的。本发明分别在迁移模式Ⅰ和Ⅱ下,通过上述对比试验,基于沥青路面病害数据集,探究性能最佳的沥青路面病害分类模型。测试结果如图5所示,结果表明,采用模式Ⅱ进行迁移学习,可以更好地识别路面病害。由4096,1024,256和5个神经元组成的4个FC层模型可在测试集上达到最高的准确率,高达99.2%。
随后,本发明将两种模式下的沥青路面病害分类模型的权重参数迁移至混凝土桥梁病害分类网络中。在迁移模式Ⅰ和Ⅱ下,分别采用一步迁移和两步迁移过程,基于混凝土桥梁病害图片数据集进行了4次对比实验。实验1和2是在模式I中进行的,实验3和4为模式I下的迁移学习。具体内容为:
实验1和4直接从基于ImageNet训练好的模型中迁移参数,对混凝土桥梁病害类型进行分类(一步迁移学习过程)。
实验2和3先将由ImageNet训练好的模型的参数迁移至沥青路面病害分类模型中,得到最优模型的权重参数后,再完全迁移到混凝土病害分类模型中(两步转移学习过程)。
各对比实验的结果如表4所示,图6展示了各个实验的模型评估指标。针对桥梁混凝土病害分类最佳迁移模型的探究,可得到得主要结论有二:(1)迁移模式Ⅱ能够更好地识别混凝土桥梁病害。(2)相较于两步迁移学习方式,采用一步迁移的学习方式能够更好地分类出混泥土桥梁的病害类型。分类的整体精度达到97.8%,模型对于混凝土桥梁表面裂缝的分类正确率有94%,只有极少的样本被错误识别。ROC曲线接近点(0,1),AUC值接近1,说明该分类器是可靠有效的。
表4混凝土桥梁病害分类评价指标
2.混凝土桥梁病害检测模型对比实验设计
此外,本发明也探究了一步迁移和两步迁移的学习方式在混凝土桥梁病害检测中的适用性,设计了两次对比试验,具体内容如下:
实验5直接从基于VOC2007通用数据集训练好的模型中迁移参数,用于检测混凝土桥梁病害类型(一步迁移学习过程)。
实验6实现了两步迁移的学习过程,即先将预训练模型的参数迁移至沥青路面病害检测模型中,得到沥青病害的训练权重参数,再迁移至到混凝土病害检测模型中(两步迁移学习过程)。
通过对比试验5和试验6的结果,确定了混凝土桥梁损伤检测的最佳模型。表5展示了当模型的交互比(IoU)设置为0.5时,不同迁移方式下包括精度(P)、召回率(F)、F1值和平均精度(AP)在内的各病害类别的评估指标以及整个数据集的平均精度(mAP)。可以看出,将训练好的沥青路面病害检测模型的权值参数迁移至混凝土桥梁裂缝检测模型的两步迁移学习方法更适合于混凝土桥梁病害的检测。模型的平均精度为87.16%,比采用一步迁移学习方式的精度提高了12.78%。
表5病害检测评价指标
Claims (1)
1.一种基于迁移学习的轻量化混凝土桥梁病害识别方法,本方法应用于混凝土桥梁病害的分类和检测;其特征在于:具体步骤如下:
第一步图像采集;使用人工方法对原始沥青破损路面和混凝土桥梁破损表面进行采集,沥青破损路面的采集格式为统一像素三通道图像,混凝土桥梁破损表面的采集格式为不同像素三通道图像;
第二步图像预处理;使用人工标定法,对沥青路面图片进行分类,分为路面背景、路面纵向裂缝、路面横向裂缝、道路标线和道路破损标线5类;将混凝土桥梁表面图片分为有裂缝和无裂缝2类;然后,将所得路面原始图片数据集进行裁剪,使路面图片尺寸缩小至400×400像素;
第三步数据集制作;分类任务中,把沥青路面图片集和混凝土桥梁图片集按照训练集、验证集和测试集比例为6:2:2进行划分,并将所有图片的像素调整为224×224像素;检测任务中,先将数据集的图片像素大小调整为300×300;其次,利用软件LabelImg对沥青路面图片和混凝土桥梁表面图片进行标定,并保存为xml格式的文件;最后,将训练集和测试集按照9:1的比例进行划分;
第四步轻量化模型搭建;病害类型的分类任务选用MobileNet轻量级网络模型;设计6组对比试验,分别在两种不同迁移模式下,比较一步迁移学习和两步迁移学习方式得到混凝土桥梁病害的分类结果以及分类模型;使用MobileNet-SSD轻量级网络作为病害检测的模型;通过两组对比试验,选出针对混凝土桥梁病害检测的最佳迁移方式和检测模型;
第五步训练与测试;根据设计好的对比试验,将处理好的路面数据分别输入到MobileNet轻量化分类网络和Mobile net-SSD轻量化检测网络中进行训练进行测试;通过对实验准确度的对比,选出能够分类和识别混凝土桥梁病害最佳的迁移学习方式和模型;
(1)采用MobileNet轻量化网络,MobileNet轻量化网络的核心模块为深度可分离卷积,包括深度卷积(Depthwise Convolution)和点向卷积(Pointwise Convolution);深度卷积通过3×3尺寸的卷积对输入图像进行分割,点向卷积使用一个1×1的卷积来组合深度卷积的输出,通过降低网络权值参数来加快训练速度;在每个卷积层之后进行BatchNorm运算和ReLU非线性激活函数;
(2)根据是否将沥青路面病害分类模型的权重作为中间的分步传导过程,设计一步迁移和两步迁移两种不同的迁移方式;比较两种不同迁移模式下的模型分类性能,即迁移所有卷积层的权重参数或部分卷积层的权重参数;对于每种模式,调整分类层FC层数和其节点数Nd设计多组对比试验,进行测试;其中,FC层数的变化范围为{2,3,4},Nd的变化范围为{256,512,1024};使用基于Imagenet模型的权重模型对DDAP中的沥青路面对象进行分类;选取两种模式下精度最高的分类模型,作为迁移至混凝土桥梁病害分类模型的迁移权重;
(3)比较两种迁移方式在混凝土桥梁病害图片集中的分类结果,确定最优的迁移学习模式;
(4)所有分类实验均在64GB RAM的NVIDIA Quadro P4000 GPU工作站上得以实现;MobileNet模型的损失函数采用交叉熵函数,优化器采用Adam梯度下降算法;
应用于混凝土桥梁病害的检测中;
(1)采用轻量化网络MobileNet-SSD来检测沥青路面病害和混凝土桥梁病害;模型由轻量级MobileNet骨干网络、特征金字塔瓶颈网络和SSD检测头部组成;首先,MobileNet对输入图像进行特征提取;然后,颈部网络中的后续卷积层对不同尺度的特征图进行特征提取,得到特征提取层;选取模型中conv4_3、FC_7、conv6_2、conv7_2、conv8_2、conv9_2的输出作为提取的特征图;最后,采用SSD多尺度目标检测器头,采用非最大抑制(NMS)算法预测混凝土病害的类别和位置;
(2)使用通用数据集VOC2007训练的MobileNet-SSD模型预训练的权值参数直接检测混凝土裂缝,得到一步迁移方式的检测结果;
(3)先将预训练模型的权重参数迁移到沥青路面病害检测模型中,得到沥青路面病害数据集训练的模型权重参数;再将其迁移至混凝土桥梁裂缝检测模型中,识别混凝土桥梁病害;
(4)比较两种迁移方式在混凝土桥梁病害图片集中的检测结果,最终确定最优的迁移学习模式;
(5)所有分类实验均在64GB RAM的NVIDIA Quadro P4000 GPU工作站上得以实现;MobieNet-SSD模型的损失函数为多目标损失函数,采用Adam梯度下降算法作为优化器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210191784.5A CN114648659B (zh) | 2022-02-28 | 2022-02-28 | 一种基于迁移学习的轻量化混凝土桥梁病害识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210191784.5A CN114648659B (zh) | 2022-02-28 | 2022-02-28 | 一种基于迁移学习的轻量化混凝土桥梁病害识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114648659A CN114648659A (zh) | 2022-06-21 |
CN114648659B true CN114648659B (zh) | 2024-06-07 |
Family
ID=81993669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210191784.5A Active CN114648659B (zh) | 2022-02-28 | 2022-02-28 | 一种基于迁移学习的轻量化混凝土桥梁病害识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114648659B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117592820B (zh) * | 2024-01-18 | 2024-03-29 | 贵州顺康检测股份有限公司 | 一种基于计算机数据分析的桥梁损伤病害智能识别系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978847A (zh) * | 2019-03-19 | 2019-07-05 | 东南大学 | 基于迁移学习与拉索机器人的拉索外套病害自动识别方法 |
CN214201204U (zh) * | 2020-12-28 | 2021-09-14 | 长江大学 | 一种基于树莓派的水稻病虫害检测装置 |
CN113780357A (zh) * | 2021-08-13 | 2021-12-10 | 华中农业大学 | 一种基于迁移学习+MobileNet的玉米叶片病虫害移动端识别方法 |
-
2022
- 2022-02-28 CN CN202210191784.5A patent/CN114648659B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978847A (zh) * | 2019-03-19 | 2019-07-05 | 东南大学 | 基于迁移学习与拉索机器人的拉索外套病害自动识别方法 |
CN214201204U (zh) * | 2020-12-28 | 2021-09-14 | 长江大学 | 一种基于树莓派的水稻病虫害检测装置 |
CN113780357A (zh) * | 2021-08-13 | 2021-12-10 | 华中农业大学 | 一种基于迁移学习+MobileNet的玉米叶片病虫害移动端识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114648659A (zh) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070008B (zh) | 一种采用无人机图像的桥梁病害识别方法 | |
CN110008854B (zh) | 基于预训练dcnn的无人机影像公路地质灾害识别方法 | |
CN110415233A (zh) | 基于两步卷积神经网络的路面裂缝快速提取方法 | |
CN110569730B (zh) | 一种基于U-net神经网络模型的路面裂缝自动识别方法 | |
CN111222580A (zh) | 一种高精度的裂缝检测方法 | |
CN110751644B (zh) | 道路表面裂纹检测方法 | |
CN110889398B (zh) | 一种基于相似度网络的多模态图像能见度检测方法 | |
CN110084844B (zh) | 一种基于深度相机的机场道面裂缝检测方法 | |
CN114648659B (zh) | 一种基于迁移学习的轻量化混凝土桥梁病害识别方法 | |
CN114066808A (zh) | 一种基于深度学习的路面缺陷检测方法及系统 | |
CN106650823A (zh) | 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法 | |
CN111241994A (zh) | 一种深度学习的遥感影像农村公路砂化路段的提取方法 | |
Yusof et al. | Automated asphalt pavement crack detection and classification using deep convolution neural network | |
CN112381060A (zh) | 一种基于深度学习的建筑物地震破坏等级分类方法 | |
CN109087305A (zh) | 一种基于深度卷积神经网络的裂缝图像分割方法 | |
CN111353396A (zh) | 一种基于SCSEOCUnet的混凝土裂缝分割方法 | |
CN112489026A (zh) | 基于多分支并行卷积神经网络的沥青路面病害检测方法 | |
CN112949612A (zh) | 一种基于无人机高分辨率遥感影像海岸带地物分类方法 | |
CN114596316A (zh) | 一种基于语义分割的道路图像细节抓取方法 | |
CN112084941A (zh) | 一种基于遥感图像的目标检测与识别方法 | |
CN115100173B (zh) | 基于深度卷积神经网络的公路路面图像裂缝几何属性检测与裂缝识别方法 | |
CN115170783A (zh) | 一种使用街景图像的快速公路路面裂缝检测方法 | |
CN115512324A (zh) | 一种基于边缘对称填充和大感受野的路面病害检测方法 | |
Shahbazi et al. | Autonomous road pavement inspection and defect analysis for smart city maintenance | |
CN116109935A (zh) | 基于深度学习与随机森林的典型尾矿库遥感目标识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |