CN114677601A - 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 - Google Patents
一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 Download PDFInfo
- Publication number
- CN114677601A CN114677601A CN202210382320.2A CN202210382320A CN114677601A CN 114677601 A CN114677601 A CN 114677601A CN 202210382320 A CN202210382320 A CN 202210382320A CN 114677601 A CN114677601 A CN 114677601A
- Authority
- CN
- China
- Prior art keywords
- crack
- dam
- image
- connected domain
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 230000002146 bilateral effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims 1
- 238000003379 elimination reaction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于无人机巡检的结合深度学习的大坝裂缝检测方法，包括如下过程：通过无人机采集大坝表面图像，相邻两张图像有设定重叠比例的重叠区，采用远处拍摄和近处拍摄两种采集方式完成大坝整体的图像采集；对采集图像进行预处理；将完成图像预处理的图像和原始图像放入构建的大坝裂缝识别模型中进行训练，实现识别结果融合；基于图像灰度阈值分割裂缝像素，根据连通域分析，完成裂缝分割；步骤五，在原图像完成裂缝分割处理后利用倾斜摄影进行三维重建，得到带有裂缝信息的大坝三维模型。通过本发明，可以实现对结构裂缝进行快速巡检和三维量化的无损检测，具有较大的工程应用价值。
Description
技术领域
本发明涉及大坝的结构健康监测与损伤识别领域，具体是一种基于无人机巡检的结合深度学习的大坝裂缝检测方法。
背景技术
受年久失修、结构老化等因素的影响，目前，我国的水库大坝等大体积混凝土结构的安全问题正变得日益严峻，水库面板一旦产生裂缝，将严重威胁大坝的结构安全。而对此类结构进行常规的人工巡查不仅耗时、效率低下，而且并不能做到无死角检查。因此，采取先进的无人机智能巡检技术对大坝等大体积混凝土结构进行快速的日常巡检正变得日益紧迫。
目前以无人机为载体，采用图像识别技术对结构裂缝进行快速识别已开始进入工程应用阶段。但目前的技术尚处于二维阶段，并存在较大缺陷，例如：由于无人机的抖动、拍摄距离、焦距、外界干扰和目标物背景复杂等因素的干扰，常常造成图像模糊、区域分辨率较低和裂缝像素点过少等问题，导致小目标识别精度较低，难以对损伤部位进行精确识别、定位、分割和量化。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于无人机巡检的结合深度学习的大坝裂缝检测方法，包括如下过程：
步骤一，通过无人机采集大坝表面图像，相邻两张图像有设定重叠比例的重叠区，采用远处拍摄和近处拍摄两种采集方式完成大坝整体的图像采集，远处拍摄采集方式下，无人机距离大坝为设定的拍摄距离，对大坝表面进行整体图像采集；在近处拍摄采集方式下，无人机距大坝表面设定的近处距离范围内进行拍摄；
步骤二，对采集图像进行预处理；对采用远处拍摄的图像，对图像进行裁剪处理，将图像裁剪为设定大小的图像块，图像块之间存在设定重叠比例二的重叠面积，对图像进行超分辨处理，利用超分辨率深度学习网络SwinIR将图片放大设定倍数，完成采用远处拍摄的图像处理；对近处拍摄的图像，将图像裁剪为设定大小二的图像块，图像块之间存在设定重叠比例二的重叠面积，对图像块进行均值滤波、双边滤波和平移不变的小波去噪，完成图像预处理；步骤三，
步骤三，识别结果融合；对原始整体图片和预处理后的图片分块利用训练好的大坝裂缝识别模型进行识别，得到图片分块像素坐标系下的裂缝边框左上角坐标(x1,y1)和右下角的坐标(x2,y2)，之后进行坐标换算，首先根据裁剪时已知的自身图片左上角像素点在原图像中的坐标(xc,yc)，根据预处理的不同，进行坐标换算，如下式所示：
x1'＝xc+[x1/r]
y1'＝yc+[y1/r]
x2'＝xc+[x2/r]
y2'＝yc+[y2/r]
式中r为预处理时的超分辨率增清倍数；对完成坐标变换的裂缝边框结果进行非极大值抑制操作，以便获得最佳裂缝边界框；完成冗余框消除后，进一步去除存在包含关系的矩形框，实现识别结果融合，获得最终的目标边框的坐标结果；
步骤四，分割裂缝像素；在获取边框坐标后，在拍摄原图像的基础上，利用边框坐标提取边框区域，对该边框区域进行裂缝分割处理，首先对边框区域原始图像进行均值滤波、双边滤波以及基于不变性的小波去噪处理之后，将原始图像转化为灰度图，利用Yen算法实现灰度图的二值化，对二值化的灰度图进行连通域分析，根据连通域分析，完成裂缝分割；
步骤五，对所有拍摄原图像进行上述步骤处理后，即可得到具有裂缝区域像素以红色分割的图像，利用这些具有裂缝信息的图像再进行倾斜摄影建模，即可得到带有裂缝信息的大坝三维模型。
进一步的，大坝裂缝识别模型的构建包括如下过程：
对采集的图像进行裁剪和数据扩充，获得大坝表面裂缝数据集，通过旋转、缩放、水平翻转图像对大坝表面裂缝数据集进行扩增，将大坝表面裂缝数据集输入YOLOX网络中进行训练，获得混凝土表面裂缝目标识别模型，并得到初始权重，利用对抗生成网络对大坝表面裂缝数据集进行数据扩充，并将混凝土表面裂缝目标识别模型作为初始化模型，用扩充后的大坝裂缝数据集进行训练，获得大坝裂缝识别模型。
进一步的，所述的对二值化的图像进行连通域分析，根据连通域分析，完成裂缝分割，包括如下过程：对二值化的图像进行连通域分析，得到连通域，判断连通域面积是否大于阈值以及连通域圆形性是否小于阈值，若否，则该连通域不为裂缝区域；若否，则将该连通域对应像素坐标在原图像上改为红色，视为裂缝区域。
本发明的有益效果是：(1)结合图像裁剪预处理和深度学习超分辨率等技术，可实现图像预处理增强。可有效降低远距离拍摄目标占比较低、图片背景复杂和泥土粘连带来的干扰等问题；
(2)通过数据扩增和迁移学习方法，可在裂缝数据集较少情况下实现大坝裂缝的检测，有效避免因数据集过小而出现的过拟合现象；
(3)利用倾斜摄影实现裂缝的定位、可视化和三维量化。
附图说明
图1为基于无人机巡检的结合深度学习的大坝裂缝检测方法的流程图；
图2为无人机采集图片预处理流程；
图3为大坝裂缝目标识别模型训练流程图；
图4坐标换算示意图；
图5为裂缝目标识别流程图；
图6为裂缝识别区域像素分割流程图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，
一种基于无人机巡检的结合深度学习的大坝裂缝检测方法，包括如下过程：
步骤一，通过无人机采集大坝表面图像，相邻两张图像有设定重叠比例的重叠区，采用远处拍摄和近处拍摄两种采集方式完成大坝整体的图像采集，远处拍摄采集方式下，无人机距离大坝为设定的拍摄距离，对大坝表面进行整体图像采集；在近处拍摄采集方式下，无人机距大坝表面设定的近处距离范围内进行拍摄；
步骤二，对采集图像进行预处理；对采用远处拍摄的图像，对图像进行裁剪处理，将图像裁剪为设定大小的图像块，图像块之间存在设定重叠比例二的重叠面积，对图像进行超分辨处理，利用超分辨率深度学习网络SwinIR将图片放大设定倍数，完成采用远处拍摄的图像处理；对近处拍摄的图像，将图像裁剪为设定大小二的图像块，图像块之间存在设定重叠比例二的重叠面积，对图像块进行均值滤波、双边滤波和平移不变的小波去噪，完成图像预处理；步骤三，
步骤三，识别结果融合；对原始整体图片和预处理后的图片分块利用训练好的大坝裂缝识别模型进行识别，得到图片分块像素坐标系下的裂缝边框左上角坐标(x1,y1)和右下角的坐标(x2,y2)，之后进行坐标换算，首先根据裁剪时已知的自身图片左上角像素点在原图像中的坐标(xc,yc)，根据预处理的不同，进行坐标换算，如下式所示：
x1'＝xc+[x1/r]
y1'＝yc+[y1/r]
x2'＝xc+[x2/r]
y2'＝yc+[y2/r]
式中r为预处理时的超分辨率增清倍数；对完成坐标变换的裂缝边框结果进行非极大值抑制操作，以便获得最佳裂缝边界框；完成冗余框消除后，进一步去除存在包含关系的矩形框，实现识别结果融合，获得最终的目标边框的坐标结果；
步骤四，分割裂缝像素；在获取边框坐标后，在拍摄原图像的基础上，利用边框坐标提取边框区域，对该边框区域进行裂缝分割处理，首先对边框区域原始图像进行均值滤波、双边滤波以及基于不变性的小波去噪处理之后，将原始图像转化为灰度图，利用Yen算法实现灰度图的二值化，对二值化的灰度图进行连通域分析，根据连通域分析，完成裂缝分割；
步骤五，对所有拍摄原图像进行上述步骤处理后，即可得到具有裂缝区域像素以红色分割的图像，利用这些具有裂缝信息的图像再进行倾斜摄影建模，即可得到带有裂缝信息的大坝三维模型。
进一步的，大坝裂缝识别模型的构建包括如下过程：
对采集的图像进行裁剪和数据扩充，获得大坝表面裂缝数据集，通过旋转、缩放、水平翻转图像对大坝表面裂缝数据集进行扩增，将大坝表面裂缝数据集输入YOLOX网络中进行训练，获得混凝土表面裂缝目标识别模型，并得到初始权重，利用对抗生成网络对大坝表面裂缝数据集进行数据扩充，并将混凝土表面裂缝目标识别模型作为初始化模型，用扩充后的大坝裂缝数据集进行训练，获得大坝裂缝识别模型。
进一步的，所述的对二值化的图像进行连通域分析，根据连通域分析，完成裂缝分割，包括如下过程：对二值化的图像进行连通域分析，得到连通域，判断连通域面积是否大于阈值以及连通域圆形性是否小于阈值，若否，则该连通域不为裂缝区域；若否，则将该连通域对应像素坐标在原图像上改为红色，视为裂缝区域。
具体的，基于无人机巡检的结合深度学习的大坝裂缝检测方法，包括如下过程：
步骤一，通过无人机采集大坝表面图像，相邻两张图像有设定重叠比例的重叠区，采用远处拍摄和近处拍摄两种采集方式完成大坝整体的图像采集，远处拍摄采集方式下，无人机距离大坝约5m左右，在该拍摄距离下，可拍摄到较大面积的大坝景象，便于对大坝表面进行整体图像采集，在近处拍摄采集方式下，无人机贴近大坝表面，在距大坝表面小于3m进行拍摄，尽管拍摄面积较小，但可以捕捉更为细节的大坝表面信息，便于对大坝易出现裂缝区域以及裂缝出现对坝体安全影响较大区域等重点区域进行检测；
步骤二，对采集图像进行预处理；对采用远处拍摄的图像，对图像进行裁剪处理，将图像裁剪为设定大小的图像块，图像块之间存在设定重叠比例二的重叠面积，对图像进行超分辨处理，利用超分辨率深度学习网络SwinIR将图片放大设定倍数，完成采用远处拍摄的图像处理；对拍摄距离较近的图像，将图像裁剪为设定大小二的图像块，图像块之间存在设定重叠比例二的重叠面积，对图像块进行均值滤波、双边滤波和平移不变的小波去噪；完成图像预处理；
步骤三，识别结果融合；对原始整体图片和预处理后的图片分块利用训练好的大坝裂缝识别模型进行识别，得到图片分块像素坐标系下的裂缝识别结果，即裂缝边框左上角坐标(x1,y1)和右下角的坐标(x2,y2)。之后根据裁剪时已知的图像分块左上角像素点在原始拍摄图像中的坐标(xc,yc)，基于预处理的不同，进行坐标换算，如下式1所示：
式中r为预处理时的超分辨率增清倍数，对于贴近拍摄工况，由于未进行超分辨率增清，因此r＝1，对于稍远距离整体拍摄图片，根据超分辨率倍数进行相应的r取值，对自身图片像素坐标系下的坐标除以相应放大倍数r，并对结果取整再加上其图片分块左上角像素点在原图像中的坐标，得到原始图像像素坐标系下的裂缝区域边框坐标结果；对完成坐标变换的裂缝边框结果进行非极大值抑制操作，以便获得最佳裂缝边界框；完成冗余框消除后，进一步去除存在包含关系的矩形框，实现识别结果融合，获得最终的目标边框的坐标结果；
步骤四，分割裂缝像素；在获取边框坐标后利用边框坐标在原图像上提取边框区域，对该边框区域进行裂缝分割处理，首先对原始图像进行均值滤波、双边滤波以及基于不变性的小波去噪处理之后，将原始图像转化为灰度图，利用Yen算法实现图像的二值化，对二值化的图像进行连通域分析，根据连通域分析，完成裂缝分割；
步骤五，对所有拍摄原图像进行上述步骤处理后，即可得到裂缝区域像素以红色分割的图像，利用这些具有裂缝信息的图像再进行倾斜摄影建模，即可得到带有裂缝信息的大坝三维模型大坝裂缝识别模型的构建包括如下过程：
对采集的图像进行裁剪和数据扩充，获得大坝表面裂缝数据集，通过旋转、缩放、水平翻转图像对大坝表面裂缝数据集进行扩增，将大坝表面裂缝数据集输入YOLOX网络中进行训练，获得混凝土表面裂缝目标识别模型，并得到初始权重，利用对抗生成网络对大坝表面裂缝数据集进行数据扩充，并将混凝土表面裂缝目标识别模型作为初始化模型，用扩充后的大坝裂缝数据集进行训练，获得大坝裂缝识别模型。
所述的对二值化的图像进行连通域分析，根据连通域分析，完成裂缝分割，包括如下过程：对二值化的图像进行连通域分析，得到连通域，判断连通域面积是否大于阈值以及连通域圆形性是否小于阈值，若否，则该连通域不为裂缝区域；若否，则将该连通域对应像素坐标在原图像上改为红色，视为裂缝区域。
具体的，针对无人机采集的大坝表面图片存在背景复杂、噪声干扰多、裂缝特征不明显、裂缝占比较小等问题，本发明提出一种基于计算机视觉和倾斜摄影的大坝表面裂缝可视化和三维量化的巡检方法，无论是采用无人机对大坝裂缝进行远距离巡检或近距离贴近拍摄时，该方法均可实现对裂缝的识别、分割、三维可视化和量化。
该方法的大致流程是：首先根据无人机拍摄距离和视角对采集的图像进行大致分类，并进行不同的预处理和增强操作。然后基于迁移学习技术，实现基于YOLOX的大坝裂缝目标识别网络建构，并结合阈值方法对边框区域进行裂缝分割操作，实现裂缝分割。最后将已分割的图片采用倾斜摄影建模方法进行三维重建，最终得到带裂缝信息的三维大坝模型，利用该模型可直接量化裂缝的尺寸。其详细流程如图1所示。详细步骤如下：
步骤一：采用无人机对大坝裂缝进行采集工作。选取搭载差分GNSS的无人机，对大坝进行整体拍摄，获取实时位置和采集精度，并确保拍摄过程中，相邻两张图片存在60％-70％的重叠区，且每个顶点至少存在于三张图片中。此外，对于局部出现裂缝较大区域，如双曲混凝土拱坝支座区，尚需对坝面进行贴近拍摄。
步骤二：对采集图像进行预处理。对于拍摄距离较远的情况，由于无人机搭载广角摄像头，拍摄视角较大，且拍摄分辨率较大，一般可达到5k，因此，裂缝在整张图片中占比较小，为增强识别精度，减少背景干扰，以便识别微小裂缝目标，需对图片进行裁剪处理。将图片裁剪为320×320的小块，并保证块与块之间存在20％的重叠面积。其次对图像进行超分辨处理，利用超分辨率深度学习网络SwinIR将图片放大4倍，补充细节信息。对于拍摄距离较近的情况，图像分辨率往往较高，将图片进行缩放后输入网络，将带来较大的细节信息损失，因此为提高识别效率，首先将图像裁剪为640x640的小块，并保证20％的重叠面积。由于大坝表面泥土粘连，给裂缝识别带来了一定的干扰，因此对小块先进行均值滤波、双边滤波和平移不变的小波去噪，以减少背景干扰，如图2所示。
步骤三：构建裂缝目标识别网络。一方面搜集开源裂缝数据集，另一方面对试验搜集图片进行裁剪和数据扩充，获得混凝土表面裂缝数据集，通过旋转、缩放、水平翻转等方式对数据集进行扩增，增加数据量、丰富数据多样性、提高模型的泛化能力。然后，将数据集输入YOLOX网络中进行训练，获得混凝土表面裂缝目标识别模型，得到初始权重。由于可搜集到的大坝裂缝数据集十分有限，因此利用对抗生成网络对大坝裂缝数据进行数据扩充，并将上述模型作为初始化模型，在此基础上用扩充后的大坝裂缝数据集进行训练，获得大坝裂缝识别模型，如图3所示。
步骤四：识别结果融合；对原始整体图片和预处理后的图片分块利用训练好的大坝裂缝识别模型进行识别，得到图片分块像素坐标系下的裂缝识别结果，即裂缝边框左上角坐标(x1,y1)和右下角的坐标(x2,y2)，如图4(c)所示。如图4(a)所示，之后根据裁剪时已知的图像分块左上角像素点在原始拍摄图像中的坐标(xc,yc)，基于预处理的不同，进行坐标换算，如下式1所示：
式中r为预处理时的超分辨率增清倍数，对于贴近拍摄工况，由于未进行超分辨率增清，因此r＝1，对于稍远距离整体拍摄图片，根据超分辨率倍数进行相应的r取值，对自身图片像素坐标系下的坐标除以相应放大倍数r，并对结果取整再加上其图片分块左上角像素点在原图像中的坐标，得到原始图像像素坐标系下的裂缝区域边框坐标结果；对完成坐标变换的裂缝边框结果进行非极大值抑制操作，以便获得最佳裂缝边界框；完成冗余框消除后，进一步去除存在包含关系的矩形框，实现识别结果融合，获得最终的目标边框的坐标结果，具体流程如图5所示；
步骤五：分割裂缝像素。在获取边框坐标后，利用边框坐标在原图像上提取边框区域。利用传统图像处理方法对该区域进行裂缝分割处理，如图6所示。首先对原始图像进行均值滤波、双边滤波以及基于不变性的小波去噪处理，之后将图像转化为灰度图，利用Yen算法实现图像的二值化，最后，对二值化的图像进行连通域分析，删除圆形度较高且面积较小的噪声区域，将剩余区域在原始图像中标红，完成裂缝分割工作。
步骤六：对所有拍摄原图像进行上述步骤处理后，即可得到裂缝区域像素以红色分割的图像，利用这些具有裂缝信息的图像再进行倾斜摄影建模，即可得到带有裂缝信息的大坝三维模型.
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (3)
1.一种基于无人机巡检的结合深度学习的大坝裂缝检测方法，其特征在于，包括如下过程：
步骤一，通过无人机采集大坝表面图像，相邻两张图像有设定重叠比例的重叠区，采用远处拍摄和近处拍摄两种采集方式完成大坝整体的图像采集，远处拍摄采集方式下，无人机距离大坝为设定的拍摄距离，对大坝表面进行整体图像采集；在近处拍摄采集方式下，无人机距大坝表面设定的近处距离范围内进行拍摄；
步骤二，对采集图像进行预处理；对采用远处拍摄的图像，对图像进行裁剪处理，将图像裁剪为设定大小的图像块，图像块之间存在设定重叠比例二的重叠面积，对图像进行超分辨处理，利用超分辨率深度学习网络SwinIR将图片放大设定倍数，完成采用远处拍摄的图像处理；对近处拍摄的图像，将图像裁剪为设定大小二的图像块，图像块之间存在设定重叠比例二的重叠面积，对图像块进行均值滤波、双边滤波和平移不变的小波去噪，完成图像预处理；
步骤三，识别结果融合；对原始整体图片和预处理后的图片分块利用训练好的大坝裂缝识别模型进行识别，得到图片分块像素坐标系下的裂缝边框左上角坐标(x1,y1)和右下角的坐标(x2,y2)，之后进行坐标换算，首先根据裁剪时已知的自身图片左上角像素点在原图像中的坐标(xc,yc)，根据预处理的不同，进行坐标换算，如下式所示：
x1'＝xc+[x1/r]
y1'＝yc+[y1/r]
x2'＝xc+[x2/r]
y2'＝yc+[y2/r]
式中r为预处理时的超分辨率增清倍数；对完成坐标变换的裂缝边框结果进行非极大值抑制操作，以便获得最佳裂缝边界框；完成冗余框消除后，进一步去除存在包含关系的矩形框，实现识别结果融合，获得最终的目标边框的坐标结果；
步骤四，分割裂缝像素；在获取边框坐标后，在拍摄原图像的基础上，利用边框坐标提取边框区域，对该边框区域进行裂缝分割处理，首先对边框区域原始图像进行均值滤波、双边滤波以及基于不变性的小波去噪处理之后，将原始图像转化为灰度图，利用Yen算法实现灰度图的二值化，对二值化的灰度图进行连通域分析，根据连通域分析，完成裂缝分割，得到具有裂缝区域像素的分割图像；
步骤五，对具有裂缝区域像素的分割图像，再进行倾斜摄影建模，得到带有裂缝信息的大坝三维模型。
2.根据权利要求1所述的一种基于无人机巡检的结合深度学习的大坝裂缝检测方法，其特征在于，大坝裂缝识别模型的构建包括如下过程：
对采集的图像进行裁剪和数据扩充，获得大坝表面裂缝数据集，通过旋转、缩放、水平翻转图像对大坝表面裂缝数据集进行扩增，将大坝表面裂缝数据集输入YOLOX网络中进行训练，获得混凝土表面裂缝目标识别模型，并得到初始权重，利用对抗生成网络对大坝表面裂缝数据集进行数据扩充，并将混凝土表面裂缝目标识别模型作为初始化模型，用扩充后的大坝裂缝数据集进行训练，获得大坝裂缝识别模型。
3.根据权利要求1所述的一种基于无人机巡检的结合深度学习的大坝裂缝检测方法，其特征在于，所述的对二值化的图像进行连通域分析，根据连通域分析，完成裂缝分割，包括如下过程：对二值化的图像进行连通域分析，得到连通域，判断连通域面积是否大于阈值以及连通域圆形性是否小于阈值，若否，则该连通域不为裂缝区域；若否，则将该连通域对应像素坐标在原图像上改为红色，视为裂缝区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210382320.2A CN114677601A (zh) | 2022-04-12 | 2022-04-12 | 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210382320.2A CN114677601A (zh) | 2022-04-12 | 2022-04-12 | 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114677601A true CN114677601A (zh) | 2022-06-28 |
Family
ID=82077328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210382320.2A Pending CN114677601A (zh) | 2022-04-12 | 2022-04-12 | 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677601A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115611A (zh) * | 2022-07-21 | 2022-09-27 | 明觉科技（北京）有限公司 | 车辆损伤识别方法、装置、电子设备和存储介质 |
| CN115761533A (zh) * | 2022-11-03 | 2023-03-07 | 四川省地震局 | 一种基于无人机技术的地震断裂检测方法 |
| CN116091483A (zh) * | 2023-03-02 | 2023-05-09 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于openCV的水库大坝裂缝检测方法 |
| CN116091582A (zh) * | 2023-03-16 | 2023-05-09 | 北京科技大学 | 一种基于无人机大场景图像的桥梁裂缝辩识方法及系统 |
| CN116309447A (zh) * | 2023-03-17 | 2023-06-23 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于深度学习的水坝斜坡裂缝检测方法 |
| CN116758026A (zh) * | 2023-06-13 | 2023-09-15 | 河海大学 | 一种基于双目遥感图像显著性分析的大坝渗水区域测量方法 |
-
2022
- 2022-04-12 CN CN202210382320.2A patent/CN114677601A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115611A (zh) * | 2022-07-21 | 2022-09-27 | 明觉科技（北京）有限公司 | 车辆损伤识别方法、装置、电子设备和存储介质 |
| CN115761533A (zh) * | 2022-11-03 | 2023-03-07 | 四川省地震局 | 一种基于无人机技术的地震断裂检测方法 |
| CN115761533B (zh) * | 2022-11-03 | 2023-11-21 | 四川省地震局 | 一种基于无人机技术的地震断裂检测方法 |
| CN116091483A (zh) * | 2023-03-02 | 2023-05-09 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于openCV的水库大坝裂缝检测方法 |
| CN116091582A (zh) * | 2023-03-16 | 2023-05-09 | 北京科技大学 | 一种基于无人机大场景图像的桥梁裂缝辩识方法及系统 |
| CN116309447A (zh) * | 2023-03-17 | 2023-06-23 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于深度学习的水坝斜坡裂缝检测方法 |
| CN116309447B (zh) * | 2023-03-17 | 2024-01-05 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于深度学习的水坝斜坡裂缝检测方法 |
| CN116758026A (zh) * | 2023-06-13 | 2023-09-15 | 河海大学 | 一种基于双目遥感图像显著性分析的大坝渗水区域测量方法 |
| CN116758026B (zh) * | 2023-06-13 | 2024-03-08 | 河海大学 | 一种基于双目遥感图像显著性分析的大坝渗水区域测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114677601A (zh) | 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 | |
| US11688057B2 (en) | Method and system for quickly matching image features applied to mine machine vision | |
| CN113450307B (zh) | 一种产品边缘缺陷检测方法 | |
| CN110717872B (zh) | 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取系统 | |
| CN110738642A (zh) | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 | |
| CN113469177A (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| CN109064411B (zh) | 一种基于光照补偿的路面图像去阴影方法 | |
| CN109697717B (zh) | 一种基于图像自动搜索的衬砌裂缝识别方法 | |
| CN109559324A (zh) | 一种线阵图像中的目标轮廓检测方法 | |
| CN109166125A (zh) | 一种基于多边缘融合机制的三维深度图像分割算法 | |
| CN109781737B (zh) | 一种软管表面缺陷的检测方法及其检测系统 | |
| CN111524117A (zh) | 一种基于特征金字塔网络的隧道表面缺陷检测方法 | |
| CN111860143B (zh) | 一种面向巡检机器人的火焰实时检测方法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN110335233A (zh) | 基于图像处理技术的高速公路护栏板缺陷检测系统和方法 | |
| CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
| CN111932506A (zh) | 一种提取图像中非连续直线的方法 | |
| CN115601379A (zh) | 一种基于数字图像处理的表面裂纹精确检测技术 | |
| CN110246139B (zh) | 基于双阈值的浮游生物原位图像roi快速提取方法 | |
| CN113487563B (zh) | 一种基于el图像的光伏组件隐裂自适应检测方法 | |
| CN105608674B (zh) | 一种基于图像配准、插值和去噪的图像增强方法 | |
| CN112288726B (zh) | 一种井下带式输送机带面异物检测方法 | |
| CN113421210A (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
| CN114529715B (zh) | 一种基于边缘提取的图像识别方法及系统 | |
| CN106530292A (zh) | 一种基于线扫描相机的带钢表面缺陷图像快速辨识方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |