CN111832607A - 一种基于模型剪枝的桥梁病害实时检测方法 - Google Patents

一种基于模型剪枝的桥梁病害实时检测方法 Download PDF

Info

Publication number
CN111832607A
CN111832607A CN202010464922.3A CN202010464922A CN111832607A CN 111832607 A CN111832607 A CN 111832607A CN 202010464922 A CN202010464922 A CN 202010464922A CN 111832607 A CN111832607 A CN 111832607A
Authority
CN
China
Prior art keywords
pruning
model
layers
training
bridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010464922.3A
Other languages
English (en)
Other versions
CN111832607B (zh
Inventor
吴刚
董斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010464922.3A priority Critical patent/CN111832607B/zh
Publication of CN111832607A publication Critical patent/CN111832607A/zh
Application granted granted Critical
Publication of CN111832607B publication Critical patent/CN111832607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于模型剪枝的桥梁病害实时检测方法，首先利用无人机获取桥梁表观害图片，然后按照比例将数据集划分为训练集、验证集和测试集；接着运用图像增强方法，增加数据集的数量；构建yolov3网络框架，对网络的每一个批归一化层(BN)添加γ参数项的L1正则化约束，设置渐进式局部衰减的稀疏度调整策略，对改造后的网络进行训练，得到训练模型；得到训练好的所有BN层的γ参数之后，根据层间和层内的γ参数大小进行层和通道的模型剪枝，删除权重较小的通道，得到剪枝后的模型；利用训练好的模型进行桥梁表观病害自动识别。本发明效率高，成本低，相对于传统的人工标记标签训练法，更具有明显的自动化和高效性。

Description

一种基于模型剪枝的桥梁病害实时检测方法
技术领域
本发明涉及土木工程与人工智能交互技术，具体涉及一种基于模型剪枝的桥梁病害实时检测方法。
背景技术
在桥梁服役过程中，桥墩以及桥面部分在长期荷载作用下容易发生裂缝病害，裂缝作为混凝土结构的主要病害之一，会影响结构的耐久性和承载能力；此外，斜拉索的锚固段等也容易发生锈蚀腐蚀，可能会影响斜拉索的承载力，从而对桥梁的服役安全产生影响。对桥梁结构进行定时巡检，能够及时发现裂缝、拉索锚固段修饰等病害，能够尽早的防范并进行养护，能够提高桥梁结构的服役寿命。传统的桥梁结构表观病害检测的方法多采用人工巡检的方法，耗时费力，主观性强，检测精度。基于深度学习的桥梁病害识别方法成为当下热点，但是现有的深度学习病害识别方法的模型参数量较大，往往在预测阶段会比较耗时，而无人机等平台在电池功率以及CPU芯片的限制下，无法搭载较大的病害识别模型，从而无法实时的对病害进行识别，因此，对模型进行压缩，是提高模型推断速度，达到实时识别效果的有效选择。
常用的传统数字图像处理方法包括边缘检测、阈值法、光谱分析法等，这些方法仅对特定情况下的数据集有效，在实际环境中，裂缝的检测易受环境因素干扰，从而使得传统的方法检测误差大，模型泛化能力低。深度学习是近几年新兴的计算机视觉技术，一些学者提出采用全卷积神经网络进行隧道衬砌的裂缝病害检测；并基于无人机进行桥梁病害的检测，提出了新的基于CNN的桥梁病害分类算法和目标检测算法。这些方法在检测精度上相对于传统的检测算法有较大提升，但是在检测速度上与传统算法差距较大，比较慢。因此，需要一种完全的无基于模型压缩的桥梁病害实时识别算法，对较高精度的深度学习桥梁病害模型进行压缩剪枝，去除冗余信息，从而减轻模型，提升模型的推断速度。
发明内容
发明目的：为提高桥梁病害实时识别中的效率及准确度，降低识别模型的运算成本等问题，本发明提供一种基于模型剪枝的桥梁病害实时检测方法。
技术方案：一种基于模型剪枝的桥梁病害实时检测方法，包括以下步骤：
(1)获取包括病害和健康表征下的桥梁表面图片，构建数据集；
(2)对数据集中病害区域进行标记，并按比例将数据集划分为训练测试集、验证集和测试集；
(3)通过数据增强的方式来扩充样本数据，包括对样本数据的随机反转、随机裁剪、随机亮度、随机对比度进行扩充，并通过Mixup方法进行混合训练，其中假设(xi,yi),(xj,yj)为数据集中随机选取的两个图片样本，则包含两个样本混合得到的样本和标签表示如下：
Figure BDA0002512274020000021
其中λ服从β(α,α)分布，α∈(0,+∞)，超参数α控制在特征目标向量之间插值的强度，为0时恢复为ERM原则；
(4)构建yolov3网络框架，对网络的每一个批归一化层添加γ参数项的L1正则化约束，对改造后的网络进行训练，得到训练模型；所述γ参数的的L1正则化约束包括如下计算：
所述批归一化层表达式为：
Figure BDA0002512274020000022
其中
Figure BDA0002512274020000023
为归一化后的数据，zin,zout分别为输入和输出数据，μβ,
Figure BDA0002512274020000024
分别为输入数数据的均值和方差，γ,β分别为网络的缩放和平移系数，由网络学习得到；λ代表改各个通道的重要性，在训练时联合训练网络权重和这个缩放系数，最终去除小缩放系数的通道，以实现网络的剪枝，具体如下式所示：
Figure BDA0002512274020000025
W是网络权重，λ是设置的缩放系数，λ为一个稀疏度超参数，用于均衡网络权重W产生的Loss和缩放系数引入的Loss；通过L1正则项引入稀疏性，将不重要的通道置为0；
(5)得到训练好的所有批归一化层的γ参数之后同时进行层剪枝和通道剪枝，依据层间的γ参数排序后阈值筛选需要剪枝的层进行层剪枝，依据层内的γ参数排序后阈值进行通道剪枝，在保证模型完整规整的情况下最大程度进行通道压缩，删除权重较小的通道，得到剪枝后的桥梁病害识别模型；
(6)将桥梁的表面检测图片输入到步骤(5)得到的桥梁病害识别模型中进行病害图像及病害区域识别。
进一步的，步骤(2)中对于训练测试集、验证集和测试集的划分比例为8:1:1。
进一步的，步骤(4)包括对缩放系数进行排序，过滤掉部分百分比的低缩放系数的通道，对完成剪枝后的卷积神经网络再以同样的方式进行微调，对所产生的部分比例的缩放系接近0的通道继续剪枝，重复上述过程若干遍，实现卷积神经网络模型的压缩。其中，对于稀疏度λ的设置为渐进式局部衰减调整方式，保证模型训练稳定并收敛到合适的稀疏点并稀疏充分。所述渐进式局部衰减调整方式具体为：在迭代次数的0.5阶段开始对80％的通道保持原力度λ压缩，20％的通道进行0.1*λ压缩；得到所有层的缩放系数γ之后，同时进行层剪枝和通道剪枝，针对每一个Shortcut层前一个CBL进行评价，即对各层的γ均值进行排序，取最小的进行层剪枝，以保证yolov3结构的完整性；针对需要剪枝的层，对得到的缩放系数γ进行排序以此得到全局阈值并找出各卷积层的Mask，然后对于每组Shortcut，将相连的各卷积层的剪枝Mask取并集，用融合后的Mask进行剪枝，考虑了每一个相关层，同时还对每一个层的保留通道做了限制。
步骤(5)通过FP16半精度量化训练，保存训练后的模型及参数。
有益效果：与现有技术相比，本发明先以全局阈值找出各卷积层的Mask，然后对于每组Shortcut，它将相连的各卷积层的剪枝Mask取并集，用Merge后的Mask进行剪枝，这样对每一个相关层都做了考虑，同时它还对每一个层的保留通道做了限制，实验中它的剪枝效果最好，本发明还对激活偏移值添加了处理，降低剪枝时的精度损失具有效率高，成本低，自动化程度高，实时识别，所述方法更加简洁有效，通过基于深度学习的桥梁病害识别模型的推断速度更快，大大提高了其图片识别的效率和实时性，并且能够通过无人机等检测手段提供实时在线的检测和识别。
附图说明
图1为本发明所述的方法的实施流程图。
具体实施方式
为充分说明本发明所公开的技术方案，下面结合附图作进一步表述。
如图1所示，一种基于模型剪枝的桥梁病害实时检测方法，具体实施包括如下步骤：
S1、利用无人机获取桥梁病害图片以及正常图片，形成数据集；并对数据进
行归一化计算，参数为[0.485,0.456,0.406],[0.229,0.224,0.225]，图片大小为1200x1200像素大小。
S2、对病害区域进行矩形框标记，即获取左上角和右下角的坐标，并且按照8:1:1的比例将数据集划分为训练测试集、验证集和测试集；将数据集划分为训练测试集、验证集和测试集；
S3、利用数据增强的方法对数据集进行扩充，选择了水平翻转、垂直翻转、旋转90°、180°、270°方式进行数据扩增；Mixup的λ系数选为0.6。
S4、构建yolov3网络框架，对网络的每一个批归一化层(BN)添加γ参数项的L1正则化约束，其中，渐进式局部衰减稀疏度λ设置方式如下，初始稀疏度为0.001，在第50个轮回的迭代之后，对各层80％的通道依旧保持0.001的稀疏度，对另外20％的通道执行0.0001(0.1*0.001)的稀疏度。对改造后的网络进行训练，得到训练模型，训练过程中，为加快网络的推断速度，采用fp16半精度量化训练，对步骤(S3)中得到的数据集进行训练，并保存训练好的模型与参数；训练的初始学习率设置为0.01，在第50个轮回的迭代之后降到0.001，在第100个轮回的迭代之后降到0.0001。优化函数采用的是Adam，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。
S5、根据训练好的所有BN层的γ参数，按照大小排序，根据层间和层内的γ参数大小进行层和通道的模型剪枝，其中层剪枝时只考虑剪主干中的Shortcut模块，yolov3中有23处Shortcut，剪掉8个Shortcut就是剪掉了24个层，剪掉16个Shortcut就是剪掉了48个层，总共有69个层的剪层空间，本实验选取剪掉16个Shortcut，删除权重较小的通道，得到剪枝后的模型。
S6、在现场利用无人机对桥梁进行巡检得到图片；利用步骤(5)得到的具有自动识别裂缝的卷积神经网络模型，去自动识别步骤(6)得到的图片中是否为裂缝图片。
本发明所述方法主要依据GTX 1080Ti显卡，Windows系统，Python编程语言，Pytorch深度学习框架及其硬件基础集成设置在无人机或其他的装置设备上完成在线实时检测，主要识别包含桥梁表观裂缝数据集，包括缺损、裂缝、露筋等病害图片以及正常状况下的图片。

Claims (6)

1.一种基于模型剪枝的桥梁病害实时检测方法，其特征在于，包括以下步骤：
(1)获取包括病害和健康表征下的桥梁表面图片，构建数据集；
(2)对数据集中病害区域进行标记，并按比例将数据集划分为训练测试集、验证集和测试集；
(3)通过数据增强的方式来扩充样本数据，包括对样本数据的随机反转、随机裁剪、随机亮度、随机对比度进行扩充，并通过Mixup方法进行混合训练，其中假设(xi,yi),(xj,yj)为数据集中随机选取的两个图片样本，包含两个样本混合得到的样本和标签表示如下：
Figure FDA0002512274010000011
其中λ服从β(α,α)分布，α∈(0,+∞)，超参数α控制在特征目标向量之间插值的强度，为0时恢复为ERM原则；
(4)构建yolov3网络框架，对网络的每一个批归一化层添加γ参数项的L1正则化约束，对改造后的网络进行训练，得到训练模型；所述γ参数的的L1正则化约束包括如下计算：
所述批归一化层表达式为：
Figure FDA0002512274010000012
其中
Figure FDA0002512274010000013
为归一化后的数据，zin,zout分别为输入和输出数据，μβ,
Figure FDA0002512274010000014
分别为输入数据的均值和方差，γ,β分别为网络的缩放和平移系数，由网络学习得到；λ代表改各个通道的重要性，在训练时联合训练网络权重和缩放系数，最终去除小缩放系数的通道，以实现网络的剪枝，具体如下式所示：
Figure FDA0002512274010000015
W是网络权重，λ是设置的缩放系数，λ为稀疏度超参数，用于均衡网络权重W产生的Loss和缩放系数引入的Loss；通过L1正则项引入稀疏性，将不重要的通道置为0；
(5)得到训练好的所有批归一化层的γ参数之后同时进行层剪枝和通道剪枝，依据层间的γ参数排序后阈值筛选需要剪枝的层进行层剪枝，依据层内的γ参数排序后阈值进行通道剪枝，在保证模型完整规整的情况下最大程度进行通道压缩，删除权重较小的通道，得到剪枝后的桥梁病害识别模型；
(6)将桥梁的表面检测图片输入到步骤(5)得到的桥梁病害识别模型中进行病害图像及病害区域识别。
2.根据权利要求1所述的基于模型剪枝的桥梁病害实时检测方法，其特征在于，步骤(2)中对于训练测试集、验证集和测试集的划分比例为8:1:1。
3.根据权利要求1所述的基于模型剪枝的桥梁病害实时检测方法，其特征在于，步骤(4)包括对缩放系数进行排序，过滤掉部分百分比的低缩放系数的通道，对完成剪枝后的卷积神经网络再以同样的方式进行微调，对所产生的部分比例的缩放系接近0的通道继续剪枝，重复上述过程若干遍，实现卷积神经网络模型的压缩。
4.根据权利要求3所述的基于模型剪枝的桥梁病害实时检测方法，其特征在于，步骤(4)中对于稀疏度λ的设置为渐进式局部衰减调整方式，保证模型训练稳定并收敛到合适的稀疏点并稀疏充分。
5.根据权利要求4所述的基于模型剪枝的桥梁病害实时检测方法，其特征在于，所述渐进式局部衰减调整方式具体为：在迭代次数的0.5阶段开始对80％的通道保持原力度λ压缩，20％的通道进行0.1*λ压缩；得到所有层的缩放系数γ之后，同时进行层剪枝和通道剪枝，针对每一个Shortcut层前一个CBL进行评价，即对各层的γ均值进行排序，取最小的进行层剪枝，以保证yolov3结构的完整性；针对需要剪枝的层，对得到的缩放系数γ进行排序以此得到全局阈值并找出各卷积层的Mask，然后对于每组Shortcut，将相连的各卷积层的剪枝Mask取并集，用融合后的Mask进行剪枝，考虑每一个相关层，同时对每一个层的保留通道做限制。
6.根据权利要求1所述的基于模型剪枝的桥梁病害实时检测方法，其特征在于，步骤(5)通过FP16半精度量化训练，保存训练后的模型及参数。
CN202010464922.3A 2020-05-28 2020-05-28 一种基于模型剪枝的桥梁病害实时检测方法 Active CN111832607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010464922.3A CN111832607B (zh) 2020-05-28 2020-05-28 一种基于模型剪枝的桥梁病害实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010464922.3A CN111832607B (zh) 2020-05-28 2020-05-28 一种基于模型剪枝的桥梁病害实时检测方法

Publications (2)

Publication Number Publication Date
CN111832607A true CN111832607A (zh) 2020-10-27
CN111832607B CN111832607B (zh) 2022-11-01

Family

ID=72913725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010464922.3A Active CN111832607B (zh) 2020-05-28 2020-05-28 一种基于模型剪枝的桥梁病害实时检测方法

Country Status (1)

Country Link
CN (1) CN111832607B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380997A (zh) * 2020-11-16 2021-02-19 武汉巨合科技有限公司 基于深度学习的机型识别和起落架收放检测方法
CN112651318A (zh) * 2020-12-19 2021-04-13 重庆市信息通信咨询设计院有限公司 基于图像识别的垃圾分类方法、装置和系统
CN112990443A (zh) * 2021-05-06 2021-06-18 北京芯盾时代科技有限公司 神经网络评价方法及装置、电子设备、存储介质
CN113408393A (zh) * 2021-06-15 2021-09-17 上海海洋大学 一种木薯病害识别方法
CN113610048A (zh) * 2021-08-25 2021-11-05 华南农业大学 基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874631A (zh) * 2020-01-20 2020-03-10 浙江大学 一种基于特征图稀疏化的卷积神经网络剪枝方法
CN110895714A (zh) * 2019-12-11 2020-03-20 天津科技大学 一种YOLOv3的网络压缩方法
CN111127399A (zh) * 2019-11-28 2020-05-08 东南大学 一种基于深度学习与声呐成像的水下桥墩病害识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127399A (zh) * 2019-11-28 2020-05-08 东南大学 一种基于深度学习与声呐成像的水下桥墩病害识别方法
CN110895714A (zh) * 2019-12-11 2020-03-20 天津科技大学 一种YOLOv3的网络压缩方法
CN110874631A (zh) * 2020-01-20 2020-03-10 浙江大学 一种基于特征图稀疏化的卷积神经网络剪枝方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
金耀等: "基于深度学习语义分割的桥梁病害图像像素级识别方法", 《公路交通科技(应用技术版)》 *
韩晓健等: "卷积神经网络在桥梁结构表面病害检测中的应用研究", 《结构工程师》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380997A (zh) * 2020-11-16 2021-02-19 武汉巨合科技有限公司 基于深度学习的机型识别和起落架收放检测方法
CN112651318A (zh) * 2020-12-19 2021-04-13 重庆市信息通信咨询设计院有限公司 基于图像识别的垃圾分类方法、装置和系统
CN112990443A (zh) * 2021-05-06 2021-06-18 北京芯盾时代科技有限公司 神经网络评价方法及装置、电子设备、存储介质
CN113408393A (zh) * 2021-06-15 2021-09-17 上海海洋大学 一种木薯病害识别方法
CN113610048A (zh) * 2021-08-25 2021-11-05 华南农业大学 基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质
CN113610048B (zh) * 2021-08-25 2023-08-01 华南农业大学 基于图像识别的荔枝霜疫病自动识别方法、系统和存储介质

Also Published As

Publication number Publication date
CN111832607B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN111832607B (zh) 一种基于模型剪枝的桥梁病害实时检测方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN110533086B (zh) 图像数据半自动标注方法
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN111325403B (zh) 一种公路隧道机电设备剩余寿命预测方法
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN111985325B (zh) 特高压环境评价中的航拍小目标快速识别方法
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN111223087B (zh) 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN111507998A (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN114359695A (zh) 基于不确定性估计的绝缘子破损识别方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN114187505A (zh) 输电线路防振锤脱落的检测方法、装置、介质及终端设备
CN116128099A (zh) 一种基于人工智能的中国短期气候预测方法及系统
Sarkar et al. Revolutionizing concrete analysis: An in-depth survey of AI-powered insights with image-centric approaches on comprehensive quality control, advanced crack detection and concrete property exploration
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
Mehta et al. Exploring the efficacy of CNN and SVM models for automated damage severity classification in heritage buildings
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN117372854A (zh) 一种大坝深水结构隐患病害实时检测方法
CN117521512A (zh) 一种基于多尺度贝叶斯卷积Transformer模型的轴承剩余使用寿命预测方法
CN116682045A (zh) 一种基于智能视频分析的游梁式抽油机故障检测方法
CN116630683A (zh) 一种基于扩散的自适应特征提取的道路损伤检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant