CN111062437A - 一种基于深度学习的桥梁结构病害自动目标检测模型 - Google Patents
一种基于深度学习的桥梁结构病害自动目标检测模型 Download PDFInfo
- Publication number
- CN111062437A CN111062437A CN201911289744.9A CN201911289744A CN111062437A CN 111062437 A CN111062437 A CN 111062437A CN 201911289744 A CN201911289744 A CN 201911289744A CN 111062437 A CN111062437 A CN 111062437A
- Authority
- CN
- China
- Prior art keywords
- disease
- image
- target detection
- bridge structure
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 64
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000007689 inspection Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于数字图像处理和深度学习的桥梁结构病害自动目标检测模型。通过数字图像处理和计算机视觉算法制作桥梁病害图像数据集，通过深度学习算法在图像上进行桥梁结构病害自动目标检测，能够确定病害在图像上的位置并给出候选框。本发明模型泛化能力强、识别速度快、准确率高且成本较低，为今后实现无人机等自动化桥梁结构检测奠定技术基础。
Description
技术领域
本发明涉及桥梁病害检测领域，特别涉及一种基于数字图像处理和深度学习的桥梁结构病害自动目标检测模型。
背景技术
在实际桥梁定期检测工作中，表面病害的检测通常采用肉眼识别的方法，这种人工识别病害的传统方式十分依赖检测人员的技术和经验。由于桥梁结构中存在多处人或者桥梁检测车难以到达的地方，在检测过程中存在一定的作业风险，利用无人机或爬壁机器人对桥梁结构表观进行全面扫描，自动识别病害种类、大小和位置将取代人工巡检采集病害图像，这一革新将会使桥梁病害检测变得更加智能、方便和准确，也能够大大减少人工巡检的工作量和工作时间。
无论是人工巡检过程中还是无人机或机器人在巡检过程中所采集的大量桥梁病害图像，都需要交由计算机进行后期的图像处理和病害识别等工作。近些年随着数字图像处理技术和机器学习技术的飞速发展，使用机器进行桥梁结构病害检测的技术也取得很大进步。采用数字图像处理技术和深度学习的方法对病害目标进行定性和定量分析，可以有效地解决人工检测存在的缺点，提高检测效率，减少人为误差，降低检测成本，另外对于无人机等在巡检过程中产生的大量图像数据的处理也会更加准确和方便。
现有的桥梁病害检测系统大多采用传统的机器学习算法，针对桥梁的每一种病害类型需进行单独的“个性化”特征提取和分类训练，这种训练方式具有一定的局限性，且这类系统大多只针对桥梁裂缝这一病害，对其他常见病害类型研究较少。另外，现有研究通常采用经过人工筛选的理想图像数据集，在实际工程应用采集图像过程中，还会存在采集病害图像的角度不同和拍摄场景光线明暗不同以及图像的清晰程度不同，因此采用理想的数据集训练的模型应用于实际工程中时，其准确率将会大打折扣。
发明内容
针对现有桥梁病害检测系统中的缺陷，本发明基于深度学习方法，提供一种针对多类型桥梁病害和非理想图像数据集的桥梁结构病害自动目标检测模型。
为达以上目的，本发明采取的技术方案是：
一种桥梁结构病害自动目标检测模型，其构建流程包括以下几个步骤：
S1、收集历次桥梁人工巡检中保存的桥梁病害图像样本；
S2、使用图像处理方法，对所收集的图像数据集进行扩充，增加用于训练的图像数量；
S3、对这些病害的图像样本进行标注并制作训练用的图像数据集；
S4、使用VGG16卷积神经网络进行特征提取，结合改进后的Faster R-CNN算法对全部病害类型的目标检测模型进行训练和调优。
在上述方案的基础上，所述步骤S1中，收集的病害图像样本中包含多种病害类型。
在上述方案的基础上，所述步骤S2中，在某类病害图像数量较少时，使用计算机视觉库OpenCV对现有图像进行包含且不限于镜面翻转、旋转等操作扩充图像样本集，提升模型的泛化能力，同时防止后续训练过程中出现过拟合。
在上述方案的基础上，所述步骤S3中，使用数据标注工具对样本数据进行标注，每类病害单独进行标注，并为每一类病害标记唯一的类型标签，得到.xml格式的标注文件。将图像和标注文件整理成Faster R-CNN所需的VOC2007格式数据集，在数据集中随机选取60%作为训练集，另外40%作为测试集。
在上述方案的基础上，所述步骤S4中，在Faster R-CNN算法的区域建议网络（RPN，Region Proposal Network）包围盒的设置中，针对不同类型病害的大小尺寸的不同，改变RPN算法中目标锚点尺寸，在此基础上针对不同类型病害的形状和长宽比的不同，增加锚点纵横比的种类。使用改进后的Faster R-CNN算法结合VGG16卷积神经网络进行每种病害特征的提取和病害目标的检测，使用训练模型进行测试时，能够将图像的最终识别结果显示出来，并显示每处病害识别结果的准确率。
与现有技术相比，本发明的优点在于：采用深度学习的方法，主要应用Faster R-CNN算法对多种桥梁病害类型进行识别和目标检测，本发明所涉及的桥梁结构病害自动目标检测模型，可同时应用于多种类型病害的检测训练，扩展性强，特征提取方便，模型的识别速度比传统分类算法更快。
附图说明
图1为本发明实施例中桥梁结构病害自动目标检测模型构建方法的流程图。
图2为本发明实施例中三类桥梁病害目标检测模型的PR(Precision - Recall)曲线。
图3、4为本发明实施例中桥梁结构病害自动目标检测模型的识别结果示例图。
具体实施方式
以下结合附图及实施例对本发明做进一步详细说明。
参见图1所示，本发明提供一种桥梁病害状态自动检测系统，其构建流程包括以下步骤。
S1、收集历次桥梁人工巡检中保存的桥梁病害图像样本，具体的，在本实施例中，采集白析（标记为bx）、裂缝（标记为lf）、蜂窝麻面（标记为fwmm）等大量桥梁表面病害样本图像。
S2、使用图像处理方法对图像数据集进行扩充，利用计算机视觉库OpenCV对现有图像样本进行镜像翻转和旋转的操作以扩充数据集，提高模型的泛化能力，同时防止后续训练过程中出现过拟合。
S3、使用数据标注工具对样本数据进行标注，得到.xml格式的标注文件。随后，将图像和标注文件整理成Faster R-CNN算法所需VOC2007格式的数据集，该数据集中60%的样本用于模型的训练，剩余40%用于模型测试。
S4、在Faster R-CNN算法的区域建议网络（RPN，Region Proposal Network）包围盒的设置中，针对不同类型病害的大小尺寸的不同，改变RPN算法中目标锚点尺寸的基础上增加锚点纵横比的种类。使用改进后的Faster R-CNN算法结合VGG16卷积神经网络训练多种桥梁病害的目标检测模型，不断优化模型参数，得到检测精度最高的识别模型。绘出多种桥梁病害自动目标检测模型的PR曲线如图2所示。
本实施例中，图3、图4为三类病害经过桥梁结构病害自动检测系统的识别结果。
本发明不限于上述实施方式，本领域技术人员所做出的对上述实施方式任何显而易见的改进或变更，都不会超出本发明的构思和所附权利要求的保护范围。
Claims (7)
1.一种基于深度学习的桥梁结构病害自动目标检测系统，其特征在于，构建流程包括以下几个步骤：
S1、收集历次桥梁人工巡检中保存的桥梁病害图像样本；
S2、使用图像处理方法，对所收集的图像数据集进行扩充，增加用于训练的图像数量；
S3、对这些病害的图像样本进行标注并制作训练用的图像数据集；
S4、使用VGG16卷积神经网络进行特征提取，结合改进后的Faster R-CNN算法对全部病害类型的目标检测模型进行训练和调优。
2.根据权利要求1所述的基于深度学习的桥梁结构病害自动目标检测系统，其特征在于，所述步骤S1中，收集的病害图像样本中包含多种病害类型。
3.根据权利要求1所述的基于深度学习的桥梁结构病害自动目标检测系统，其特征在于，所述步骤S2中，在某类病害图像数量较少时，使用OpenCV对现有图像进行包含且不限于镜面翻转、旋转等操作扩充图像样本集，提升模型的泛化能力，同时防止后续训练过程中出现过拟合。
4.根据权利要求1所述的基于深度学习的桥梁结构病害自动目标检测系统，其特征在于，所述步骤S3中，对每一类病害图像标记唯一的类型标签，将图像和标注文件整理成Faster R-CNN所需的VOC2007格式数据集，在数据集中随机选取60%作为训练集，另外40%作为测试集。
5.根据权利要求1所述的基于深度学习的桥梁结构病害自动目标检测系统，其特征在于，所述步骤S4中，使用改进的Faster R-CNN算法结合VGG16卷积神经网络进行每种病害特征的提取和病害目标的检测，使用训练模型进行测试时，能够将图像的最终识别结果显示出来，并显示每处病害识别结果的准确率。
6.根据权利要求5所述的基于深度学习的桥梁结构病害自动目标检测系统，其特征在于，所述改进的Faster R-CNN算法，是在Faster R-CNN算法的区域建议网络（RPN，RegionProposal Network）包围盒的设置中，针对不同类型病害的大小尺寸的不同，改变RPN算法中目标锚点尺寸。
7.根据权利要求6所述的基于深度学习的桥梁结构病害自动目标检测系统，其特征在于，所述改进的Faster R-CNN算法，在Faster R-CNN算法的区域建议网络（RPN，RegionProposal Network）包围盒的设置中，针对不同类型病害的形状和长宽比的不同，增加锚点纵横比的种类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911289744.9A CN111062437A (zh) | 2019-12-16 | 2019-12-16 | 一种基于深度学习的桥梁结构病害自动目标检测模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911289744.9A CN111062437A (zh) | 2019-12-16 | 2019-12-16 | 一种基于深度学习的桥梁结构病害自动目标检测模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111062437A true CN111062437A (zh) | 2020-04-24 |
Family
ID=70301805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911289744.9A Pending CN111062437A (zh) | 2019-12-16 | 2019-12-16 | 一种基于深度学习的桥梁结构病害自动目标检测模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062437A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221682A (zh) * | 2021-04-27 | 2021-08-06 | 天津大学 | 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法 |
| CN116029555A (zh) * | 2023-03-22 | 2023-04-28 | 西南科技大学 | 基于轻量化神经网络的桥梁风险识别预警系统及应用方法 |
| CN117351320A (zh) * | 2023-08-25 | 2024-01-05 | 中铁大桥局集团第二工程有限公司 | 一种基于深度学习的螺栓分步检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| WO2018165753A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| CN110321815A (zh) * | 2019-06-18 | 2019-10-11 | 中国计量大学 | 一种基于深度学习的道路裂缝识别方法 |
| CN110378252A (zh) * | 2019-06-28 | 2019-10-25 | 浙江大学 | 一种基于深度迁移学习的混凝土裂缝识别方法 |
-
2019
- 2019-12-16 CN CN201911289744.9A patent/CN111062437A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018165753A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| CN110321815A (zh) * | 2019-06-18 | 2019-10-11 | 中国计量大学 | 一种基于深度学习的道路裂缝识别方法 |
| CN110378252A (zh) * | 2019-06-28 | 2019-10-25 | 浙江大学 | 一种基于深度迁移学习的混凝土裂缝识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| DONG HAN等: "Damage detection of quayside crane structure based on improved Faster R-CNN" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221682A (zh) * | 2021-04-27 | 2021-08-06 | 天津大学 | 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法 |
| CN113221682B (zh) * | 2021-04-27 | 2022-12-27 | 天津大学 | 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法 |
| CN116029555A (zh) * | 2023-03-22 | 2023-04-28 | 西南科技大学 | 基于轻量化神经网络的桥梁风险识别预警系统及应用方法 |
| CN116029555B (zh) * | 2023-03-22 | 2023-06-13 | 西南科技大学 | 基于轻量化神经网络的桥梁风险识别预警系统及应用方法 |
| CN117351320A (zh) * | 2023-08-25 | 2024-01-05 | 中铁大桥局集团第二工程有限公司 | 一种基于深度学习的螺栓分步检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
| CN109785337B (zh) | 一种基于实例分割算法的栏内哺乳动物清点方法 | |
| CN112598672A (zh) | 一种基于深度学习的路面病害图像分割方法和系统 | |
| CN108898085B (zh) | 一种基于手机视频的道路病害智能检测方法 | |
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| CN111062437A (zh) | 一种基于深度学习的桥梁结构病害自动目标检测模型 | |
| CN108830332A (zh) | 一种视觉车辆检测方法及系统 | |
| CN111222580A (zh) | 一种高精度的裂缝检测方法 | |
| CN110927171A (zh) | 一种基于机器视觉的轴承滚子倒角面缺陷检测方法 | |
| CN111210869B (zh) | 一种蛋白质冷冻电镜结构解析模型训练方法和解析方法 | |
| CN111667455A (zh) | 一种刷具多种缺陷的ai检测方法 | |
| CN111860106B (zh) | 一种无监督的桥梁裂缝识别方法 | |
| CN110909657A (zh) | 一种隧道表观病害图像识别的方法 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN108509950B (zh) | 基于概率特征加权融合的铁路接触网支柱号牌检测识别法 | |
| CN113269718B (zh) | 一种基于深度学习的混凝土预制构件裂缝检测方法 | |
| CN104483320A (zh) | 工业脱硝催化剂的数字化缺陷检测装置与检测方法 | |
| CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
| CN113674216A (zh) | 一种基于深度学习的地铁隧道病害检测方法 | |
| CN110688955A (zh) | 一种基于yolo神经网络的建筑构建目标检测方法 | |
| CN113989563A (zh) | 一种多尺度多标签融合的中医舌象分类方法 | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| CN109615610B (zh) | 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法 | |
| CN114897790A (zh) | 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法 | |
| CN111179278B (zh) | 一种图像检测的方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200424 |