CN117291913A - 一种水工混凝土结构表观裂缝测量方法 - Google Patents

一种水工混凝土结构表观裂缝测量方法 Download PDF

Info

Publication number
CN117291913A
CN117291913A CN202311575720.6A CN202311575720A CN117291913A CN 117291913 A CN117291913 A CN 117291913A CN 202311575720 A CN202311575720 A CN 202311575720A CN 117291913 A CN117291913 A CN 117291913A
Authority
CN
China
Prior art keywords
concrete structure
crack
apparent
hydraulic concrete
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311575720.6A
Other languages
English (en)
Other versions
CN117291913B (zh
Inventor
卢建华
吕宗桀
朱延涛
徐利福
周正
张小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Changjiang Institute of Survey Planning Design and Research Co Ltd
Original Assignee
Hohai University HHU
Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU, Changjiang Institute of Survey Planning Design and Research Co Ltd filed Critical Hohai University HHU
Priority to CN202311575720.6A priority Critical patent/CN117291913B/zh
Publication of CN117291913A publication Critical patent/CN117291913A/zh
Application granted granted Critical
Publication of CN117291913B publication Critical patent/CN117291913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

本发明公开一种水工混凝土结构表观裂缝测量方法，包括获取水工混凝土结构表观裂缝图像；构建U‑Net语义分割模型并进行迭代训练，改进模型并调整模型参数，得到水工混凝土结构表观裂缝神经网络模型；利用图像预处理和图像标注方法对水工混凝土结构表观裂缝图像进行处理，构建水工混凝土结构表观裂缝图像数据集并划分为训练集和验证集；通过对分割后的图像进行处理，利用尺寸重构模型和水工混凝土结构表观裂缝特征分析对分割结果进行处理；结合相机成像原理和双目视觉标定法，将水工混凝土结构表观裂缝的像素级信息转化为真实物理尺寸量化结果，得到水工混凝土结构表观裂缝测量结果，实现了对水工混凝土结构表观裂缝的精准识别与测量。

Description

一种水工混凝土结构表观裂缝测量方法
技术领域
本发明属于水工混凝土结构表观裂缝识别与测量技术领域，具体涉及一种水工混凝土结构表观裂缝测量方法。
背景技术
大坝、溢洪道和隧洞等水工混凝土建筑物在荷载和环境作用下，混凝土结构会出现老化现象并产生裂缝、渗漏和剥落等缺陷。若裂缝延伸至水工混凝土结构内部，可能导致水工混凝土建筑物的破坏。裂缝检测是保证水工混凝土结构安全的重要手段，如何对其进行科学、有效的安全诊断是目前研究的热点。相比于其他混凝土结构，水工混凝土结构与水密切相关，复杂的水体环境对水工混凝土结构裂缝检测造成了极大的困难。
现有检测水工混凝土结构表观裂缝的方法主要为人工巡检，当混凝土表面有污渍时，人工巡检非常耗时，实时性差。此外，水工混凝土建筑物的水下检测，通常采用专业的蛙人进行人工检测，蛙人检测的安全性差且检测效率低。基于人工神经网络的方法可缓解了人工巡检和图像处理方法在裂缝检测中的局限性，提高水工混凝土结构表观裂缝检测精度与速度。但基于人工神经网络的方法因资料不足同样存在局限性。具体而言，水工混凝土结构裂缝图像中存在着大量的干扰因素，图像存在对比度低、数据资料缺乏、目标特征不明显等问题。
U-Net神经网络模型可应用于桥梁和道路的裂缝检测。然而，现有的神经网络模型不适用于水工混凝土结构。水工混凝土结构表观裂缝检测有两个尚未解决的问题，(1)网上无公开的水工混凝土结构裂缝图片，少量的裂缝图像难以满足深度学习网络架构的数据需求；(2)根据国家规范，当裂缝宽度大于0.3mm，水工混凝土结构裂缝需及时处理，处理宽度小于桥梁和道路中对裂缝要求。
发明内容
针对现有技术的不足，本发明目的在于提供一种水工混凝土结构表观裂缝测量方法。本发明实现了对水工混凝土结构表观裂缝的量化识别，并提升了水工混凝土结构表观裂缝测量的精度。
为解决上述技术问题，本发明通过下述技术方案实现：
一种水工混凝土结构表观裂缝测量方法，包括如下步骤：
S1：获取复杂的水工混凝土结构表观裂缝图像；
S2：构建U-Net语义分割模型并进行迭代训练，通过焦点损失函数计算分割结果与真实标签之间的损失值进行模型优化和调整，得到水工混凝土结构表观裂缝神经网络模型；
S3：利用图像预处理获取高对比度的水工混凝土结构表观裂缝图像，得到复杂多样的混凝土结构表观裂缝数据集；
S4：利用图像标注方法对水工混凝土结构表观裂缝图像进行处理，构建水工混凝土结构表观裂缝图像数据集并划分为训练集和验证集；
S5：通过对分割后的图像进行处理，利用尺寸重构模型和水工混凝土结构表观裂缝特征分析对分割结果进行量化处理；
S6：结合相机成像原理和双目视觉标定法，将水工混凝土结构表观裂缝的像素级信息转化为真实物理尺寸量化结果，得到水工混凝土结构表观裂缝测量结果。
优选地，步骤S1中水工混凝土结构表观裂缝图像的获取方法为：通过收集网络混凝土裂缝图像数据集、开展室内混凝土砂浆试件破坏实验和现场工程检测实验获取。
优选地，步骤S2的具体过程为
S2-1：对U-Net语义分割模型进行改进，在增强特征提取网络中添加注意力机制所形成的注意门，同时将模型的损失函数重新定义，利用焦点损失函数充当模型的损失函数；此外，利用烧烛实验判断注意力机制和焦点损失函数对模型的影响，分别构建UNet、F-Unet、A-UNet和AF-UNet模型，对比四个评价指数参数数值和模型分割效果，最终选取并提出AF-UNet语义分割模型；
S2-2： （1）
（2）
（3）
为通道注意力，通过一维卷积对特征图中的每个像素点的权重进行重分配，提高裂缝像素点的权重；/>为空间注意力，通过平均和最大池化操作对关注每个通道的权重进行重分配，提高特征图中潜在裂缝区域更高的权重；/>为融合后的特征结果，对输入进来的特征层分别进行通道注意力模块和空间注意力模块处理；/>为通道注意力，/>为空间注意力，/>为平均池化，/>为最大池化，/>为ReLU函数，/>为位置数据的点积，/>为属于通道注意力的权重，/>表示属于空间注意力的权重，W∈RC×H×W，M∈RC×H×W，取0.5；
依据上述公式（1）、（2）和（3）进一步得到特征融合层，增强特征提取网络得到图像的最终特征层；
S2-3： （4）
其中，为焦点损失函数，通过调节因子降低易分类样本权重，提高困难样本的样本权重，用于计算预测值和真实值的差值，得到分割模型在训练集和验证集上的损失函数/>；/>表示图像像素；/>表示图像分类类别；/>是二进制指示符，表示像素/>正确分类为类别/>；/>为对应的预测概率；
依据上述公式（4）得到的损失函数分割模型的参数，直至模型准确度达到预设值，得到水工混凝土结构表观裂缝神经网络模型。
进一步优选地，步骤S2-1中AF-UNet语义分割模型对水工混凝土结构表观裂缝图像的特征提取过程如下：
（1）AF-UNet的主干特征提取网络VGG16模型，通过卷积和最大池化运算操作，所用卷积结构统一为3x3的卷积核，步长为1，依次通过下采样操作从输入的图像中提取5个初步特征图层；
（2）AF-UNet的增强特征提取网络通过2x2上采样过程，将相应的特征通道减少一半；此外，与上采样对应的下采样过程中的特征会被连接，在连接操作中引入注意门，改善5个初步特征层的特征信息，为后续的特征融合提供更精确的特征层，进一步增强特征提取网络得到图像的最终特征层；
（3）通过拼接融合的方式输出的网络的最后一层，使用1x1的卷积层进行分类，最后输出的两层分别是前景和背景，并最终输出预测结果。
优选地，步骤S4中，利用LableMe软件标注出裂缝特征用于模型训练与学习，样本总数为300张混凝土结构裂缝图像，训练集和验证集的比例为9：1。
优选地，步骤S5中，所述尺寸重构模型为像素尺寸与实际物理尺寸的转换比例，当双目相机与水工混凝土结构表观裂缝平行时，其具体的计算公式为：
（5）
（6）
其中，和/>为成像平面的坐标；/>为焦距；/>为相机到成像目标的距离；/>为左右相机的距离。
优选地，步骤S6中，利用混凝土试件的试验阶段开展裂缝测量工作，利用标定板对两台摄像机获取的多幅图像进行标定获取相机内部参数，并利用张氏标定法对图像进行标定，选取需要测量的图像并消除图像失真，利用训练好的模型对裂缝图像进行分割，分割出裂缝区域并计算裂缝宽度。
本发明与现有技术相比，具有以下优点及有益效果：
1、构建一种基于改进的注意力机制和焦点损失函数的像素级裂缝检测U-Net结构（AF-UNet），将空间和通道注意力机制的并行结构嵌入到增强的特征提取网络中，有效解决了现有神经网络在水工混凝土结构表观裂缝识别过程中，因样本数量少导致检测精度过低、误检率高的问题。
2、利用焦点损失函数处理裂缝图像中数据比例极度不平衡问题，经调整后模型的收敛速度和训练时间有效提高，对裂缝的细节分割效果更准确。
3、利用双目相机进行室内裂缝测量实验，采用AF-UNet模型对目标图像进行分割，在理想环境下，实验装置的测量精度为0.270mm，其精度满足我国规范对水工混凝土结构裂缝最小处理宽度0.3mm的要求。
附图说明
图1为本发明的工作流程图；
图2为本发明水工混凝土结构表观裂缝分割模型分割效果图；
图3为本发明水工混凝土结构表观裂缝分割模型预测结果图；
图4为本发明水工混凝土结构表观裂缝测量结果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，显然，本发明不限于具体实施方式的范围。对本技术领域的普通技术人员来说，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是非创造性劳动的，一切利用本法发明构思的发明创造均在保护之列。
本发明提供一种水工混凝土结构表观裂缝测量方法，请参阅图1，包括以下步骤：
S1：通过收集网络混凝土裂缝分类数据集，开展水工混凝土试块室内实验和工程现场拍摄等方法获取复杂的混凝土结构表观裂缝图像；
S2：构建U-Net语义分割模型并进行迭代训练，通过焦点损失函数计算分割结果与真实标签之间的损失值进行模型优化和调整，得到水工混凝土结构表观裂缝神经网络模型；
S3：利用图像预处理获取高对比度的水工混凝土结构表观裂缝图像，得到复杂多样的水工混凝土结构表观裂缝数据集；
S4：利用图像标注方法对水工混凝土结构表观裂缝图像进行处理，构建水工混凝土结构表观裂缝图像数据集并划分为训练集和验证集；
S5：通过对分割后的图像进行处理，利用尺寸重构模型和水工混凝土结构表观裂缝特征分析对分割结果进行量化处理；
S6：结合相机成像原理和双目视觉标定法，将水工混凝土结构表观裂缝的像素级信息转化为真实物理尺寸量化结果，得到水工混凝土结构表观裂缝测量结果。
S1中图像收集包括网络混凝土裂缝图像数据集、室内混凝土砂浆试件破坏实验和现场工程检测实验。
S2的具体过程为：
S2-1: 对U-Net语义分割模型进行改进，在增强特征提取网络中添加注意力机制所形成的注意门，同时将模型的损失函数重新定义，利用焦点损失函数充当模型的损失函数。此外，利用烧烛实验判断注意力机制和焦点损失函数对模型的影响，分别构建了UNet、F-Unet、A-UNet和AF-UNet模型，对比四个评价指数参数数值和模型分割效果，最终选取并提出Attention-FocalUNet(AF-UNet)的语义分割模型。该分割模型对水工混凝土结构表观裂缝图像的特征提取过程如下：
首先，AF-UNet的主干特征提取网络VGG16模型，通过卷积和最大池化操作，所用卷积结构统一为3x3的卷积核，步长为1，依次通过下采样操作从输入的图像中提取5个初步特征图层；
接着，AF-UNet的增强特征提取网络通过2x2上采样过程，将相应的特征通道减少一半。此外，与上采样对应的下采样过程中的特征会被连接，在连接操作中引入注意门，改善5个初步特征层的特征信息，为后续的特征融合提供更精确的特征层，进一步增强特征提取网络得到图像的最终特征层；
最后，通过拼接融合的方式输出的网络的最后一层，使用1x1的卷积层进行分类，最后输出的两层分别是前景和背景，并最终输出预测结果，得到水工混凝土结构表观裂缝分割模型预测结果图，如图2所示。
S2-2:根据公式：
（1）
（2）
（3）
为通道注意力，通过一维卷积对特征图中的每个像素点的权重进行重分配，提高裂缝像素点的权重。
为空间注意力，通过平均和最大池化操作对关注每个通道的权重进行重分配，提高特征图中潜在裂缝区域更高的权重。
为融合后的特征结果，对输入进来的特征层分别进行通道注意力模块和空间注意力模块处理。
为通道注意力，/>为空间注意力，/>为平均池化，/>为最大池化，/>为ReLU函数，/>为位置数据的点积，/>为属于通道注意力的权重，/>表示属于空间注意力的权重，W∈RC×H×W，M∈RC×H×W，/>取0.5。
依据公式（1）-（3）进一步得到特征融合层，增强特征提取网络得到图像的最终特征层。
S2-3:根据公式：
（4）
为焦点损失函数，通过调节因子降低易分类样本权重，提高困难样本的样本权重，用于计算预测值和真实值的差值。
得到分割模型在训练集和验证集上的损失函数；/>表示图像像素；/>表示图像分类类别；/>是二进制指示符，表示像素/>正确分类为类别/>；/>为对应的预测概率。
（5）
（6）
（7）
（8）
其中，表示正确识别裂缝像素的数量，/>表示正确识别背景像素得数量，/>表示错误识别背景像素的数量，/>表示识别类型数量。
依据公式（4）得到的损失函数分割模型的参数，直至模型准确度达到预设值，依据公式（5）-（8）得到不同模型下评价指标参数数值对比结果表，如表1所示。最终得到水工混凝土结构表观裂缝神经网络模型，得到水工混凝土结构表观裂缝分割模型预测结果图，如图3所示。
S4中利用LableMe软件标注出裂缝特征用于模型训练与学习，样本总数为300张混凝土结构裂缝图像，S4中比例为9：1。
S5中利用尺寸重构模型为像素尺寸与实际物理尺寸的转换方法，当双目相机与水工混凝土结构表观裂缝平行时，其具体的计算公式为：
式中和/>为成像平面的坐标；/>为焦距；/>为相机到成像目标的距离；/>为左右相机的距离。
S6中利用混凝土试件的试验阶段开展裂缝测量工作，利用标定板对两台摄像机获取的多幅图像进行标定获取相机内部参数，并利用张氏标定法对图像进行标定，选取需要测量的图像并消除图像失真，利用训练好的模型对裂缝图像进行分割，分割出裂缝区域并计算裂缝宽度，并最终得到水工混凝土结构表观裂缝测量结果图，如图4所示。
本发明通过构建一种基于改进的注意力机制和焦点损失函数的像素级裂缝检测U-Net结构（AF-UNet），将空间和通道注意力机制的并行结构嵌入到增强的特征提取网络中，有效解决了现有神经网络在水工混凝土结构表观裂缝识别过程中，因样本数量少导致检测精度过低、误检率高的问题。利用焦点损失函数处理裂缝图像中数据比例极度不平衡问题，经调整后模型的收敛速度和训练时间有效提高，对裂缝的细节分割效果更准确。利用双目相机进行室内裂缝测量实验，采用AF-UNet模型对目标图像进行分割，在理想环境下，实验装置的测量精度为0.270mm，其精度满足我国规范对水工混凝土结构裂缝最小处理宽度0.3mm的要求。
表1 不同模型下评价指标参数数值
模型名字 Precision(%) Recall(%) F1 Score (%) MIoU(%)
UNet 99.50 98.99 99.24 49.25
F-UNet 99.58 99.16 99.36 49.37
A-Unet 99.96 99.92 99.94 49.94
AF-UNet 99.98 99.95 99.97 49.97
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种水工混凝土结构表观裂缝测量方法，其特征在于，包括如下步骤：
S1：获取复杂的水工混凝土结构表观裂缝图像；
S2：构建U-Net语义分割模型并进行迭代训练，通过焦点损失函数计算分割结果与真实标签之间的损失值进行模型优化和调整，得到水工混凝土结构表观裂缝神经网络模型；
S3：利用图像预处理获取高对比度的水工混凝土结构表观裂缝图像，得到复杂多样的混凝土结构表观裂缝数据集；
S4：利用图像标注方法对水工混凝土结构表观裂缝图像进行处理，构建水工混凝土结构表观裂缝图像数据集并划分为训练集和验证集；
S5：通过对分割后的图像进行处理，利用尺寸重构模型和水工混凝土结构表观裂缝特征分析对分割结果进行量化处理；
S6：结合相机成像原理和双目视觉标定法，将水工混凝土结构表观裂缝的像素级信息转化为真实物理尺寸量化结果，得到水工混凝土结构表观裂缝测量结果；
步骤S2的具体过程为：
S2-1：对U-Net语义分割模型进行改进，在增强特征提取网络中添加注意力机制所形成的注意门，同时将模型的损失函数重新定义，利用焦点损失函数充当模型的损失函数；此外，利用烧烛实验判断注意力机制和焦点损失函数对模型的影响，分别构建UNet、F-Unet、A-UNet和AF-UNet模型，对比四个评价指数参数数值和模型分割效果，最终选取并提出AF-UNet语义分割模型；
S2-2： （1）
（2）
（3）
为通道注意力，通过一维卷积对特征图中的每个像素点的权重进行重分配，提高裂缝像素点的权重；/>为空间注意力，通过平均和最大池化操作对关注每个通道的权重进行重分配，提高特征图中潜在裂缝区域更高的权重；/>为融合后的特征结果，对输入进来的特征层分别进行通道注意力模块和空间注意力模块处理；/>为通道注意力，/>为空间注意力，/>为平均池化，/>为最大池化，/>为ReLU函数，/>为位置数据的点积，/>为属于通道注意力的权重，/>表示属于空间注意力的权重，W∈RC×H×W，M∈RC×H×W，/>取0.5；
依据上述公式（1）、（2）和（3）进一步得到特征融合层，增强特征提取网络得到图像的最终特征层；
S2-3： （4）
其中，为焦点损失函数，通过调节因子降低易分类样本权重，提高困难样本的样本权重，用于计算预测值和真实值的差值，得到分割模型在训练集和验证集上的损失函数；/>表示图像像素；/>表示图像分类类别；/>是二进制指示符，表示像素/>正确分类为类别/>；/>为对应的预测概率；
依据上述公式（4）得到的损失函数分割模型的参数，直至模型准确度达到预设值，得到水工混凝土结构表观裂缝神经网络模型；
步骤S2-1中AF-UNet语义分割模型对水工混凝土结构表观裂缝图像的特征提取过程如下：
（1）AF-UNet的主干特征提取网络VGG16模型，通过卷积和最大池化运算操作，所用卷积结构统一为3x3的卷积核，步长为1，依次通过下采样操作从输入的图像中提取5个初步特征图层；
（2）AF-UNet的增强特征提取网络通过2x2上采样过程，将相应的特征通道减少一半；此外，与上采样对应的下采样过程中的特征会被连接，在连接操作中引入注意门，改善5个初步特征层的特征信息，为后续的特征融合提供更精确的特征层，进一步增强特征提取网络得到图像的最终特征层；
（3）通过拼接融合的方式输出的网络的最后一层，使用1x1的卷积层进行分类，最后输出的两层分别是前景和背景，并最终输出预测结果。
2.根据权利要求1所述的水工混凝土结构表观裂缝测量方法，其特征在于，步骤S1中水工混凝土结构表观裂缝图像的获取方法为：通过收集网络混凝土裂缝图像数据集、开展室内混凝土砂浆试件破坏实验和现场工程检测实验获取。
3.根据权利要求1所述的水工混凝土结构表观裂缝测量方法，其特征在于，步骤S4中，利用LableMe软件标注出裂缝特征用于模型训练与学习，样本总数为300张混凝土结构裂缝图像，训练集和验证集的比例为9：1。
4.根据权利要求1所述的水工混凝土结构表观裂缝测量方法，其特征在于，步骤S5中，所述尺寸重构模型为像素尺寸与实际物理尺寸的转换比例，当双目相机与水工混凝土结构表观裂缝平行时，其具体的计算公式为：
（5）
（6）
其中，和/>为成像平面的坐标；/>为焦距；/>为相机到成像目标的距离；/>为左右相机的距离。
5.根据权利要求1所述的水工混凝土结构表观裂缝测量方法，其特征在于，步骤S6中，利用混凝土试件的试验阶段开展裂缝测量工作，利用标定板对两台摄像机获取的多幅图像进行标定获取相机内部参数，并利用张氏标定法对图像进行标定，选取需要测量的图像并消除图像失真，利用训练好的模型对裂缝图像进行分割，分割出裂缝区域并计算裂缝宽度。
CN202311575720.6A 2023-11-24 2023-11-24 一种水工混凝土结构表观裂缝测量方法 Active CN117291913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311575720.6A CN117291913B (zh) 2023-11-24 2023-11-24 一种水工混凝土结构表观裂缝测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311575720.6A CN117291913B (zh) 2023-11-24 2023-11-24 一种水工混凝土结构表观裂缝测量方法

Publications (2)

Publication Number Publication Date
CN117291913A true CN117291913A (zh) 2023-12-26
CN117291913B CN117291913B (zh) 2024-04-16

Family

ID=89241005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311575720.6A Active CN117291913B (zh) 2023-11-24 2023-11-24 一种水工混凝土结构表观裂缝测量方法

Country Status (1)

Country Link
CN (1) CN117291913B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789201A (zh) * 2024-02-27 2024-03-29 南京农业大学 一种水稻根系无损获取方法、装置、存储介质和系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215819A (zh) * 2020-10-13 2021-01-12 中国民航大学 基于深度特征融合的机场道面裂缝检测方法
CN112232391A (zh) * 2020-09-29 2021-01-15 河海大学 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法
CN112819762A (zh) * 2021-01-22 2021-05-18 南京邮电大学 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法
CN113284107A (zh) * 2021-05-25 2021-08-20 重庆邮电大学 一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法
CN114596266A (zh) * 2022-02-25 2022-06-07 烟台大学 一种基于ConcreteCrackSegNet模型的混凝土裂缝检测方法
CN114705689A (zh) * 2022-04-14 2022-07-05 西安建筑科技大学 一种基于无人机的建筑物外立面裂缝检测方法及系统
CN115131664A (zh) * 2022-07-04 2022-09-30 长沙理工大学 一种混凝土细小裂缝识别方法
CN115376003A (zh) * 2022-07-19 2022-11-22 安徽建筑大学 基于U-Net网络及CBAM注意力机制的路面裂缝分割方法
CN116309485A (zh) * 2023-03-24 2023-06-23 重庆邮电大学 一种改进UNet网络结构的路面裂缝检测方法
CN116416244A (zh) * 2023-04-26 2023-07-11 山东大学 一种基于深度学习的裂缝检测方法及系统
CN116433629A (zh) * 2023-04-12 2023-07-14 西南石油大学 一种基于GA-Unet的机场道面缺陷识别方法
CN116485717A (zh) * 2023-03-09 2023-07-25 三峡大学 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN116912257A (zh) * 2023-09-14 2023-10-20 东莞理工学院 基于深度学习的混凝土路面裂缝识别方法及存储介质
CN117036291A (zh) * 2023-08-12 2023-11-10 安徽理工大学 混凝土裂缝轻量化检测模型及检测方法
WO2023221954A1 (zh) * 2022-05-19 2023-11-23 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232391A (zh) * 2020-09-29 2021-01-15 河海大学 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法
CN112215819A (zh) * 2020-10-13 2021-01-12 中国民航大学 基于深度特征融合的机场道面裂缝检测方法
CN112819762A (zh) * 2021-01-22 2021-05-18 南京邮电大学 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法
CN113284107A (zh) * 2021-05-25 2021-08-20 重庆邮电大学 一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法
CN114596266A (zh) * 2022-02-25 2022-06-07 烟台大学 一种基于ConcreteCrackSegNet模型的混凝土裂缝检测方法
CN114705689A (zh) * 2022-04-14 2022-07-05 西安建筑科技大学 一种基于无人机的建筑物外立面裂缝检测方法及系统
WO2023221954A1 (zh) * 2022-05-19 2023-11-23 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN115131664A (zh) * 2022-07-04 2022-09-30 长沙理工大学 一种混凝土细小裂缝识别方法
CN115376003A (zh) * 2022-07-19 2022-11-22 安徽建筑大学 基于U-Net网络及CBAM注意力机制的路面裂缝分割方法
CN116485717A (zh) * 2023-03-09 2023-07-25 三峡大学 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN116309485A (zh) * 2023-03-24 2023-06-23 重庆邮电大学 一种改进UNet网络结构的路面裂缝检测方法
CN116433629A (zh) * 2023-04-12 2023-07-14 西南石油大学 一种基于GA-Unet的机场道面缺陷识别方法
CN116416244A (zh) * 2023-04-26 2023-07-11 山东大学 一种基于深度学习的裂缝检测方法及系统
CN117036291A (zh) * 2023-08-12 2023-11-10 安徽理工大学 混凝土裂缝轻量化检测模型及检测方法
CN116912257A (zh) * 2023-09-14 2023-10-20 东莞理工学院 基于深度学习的混凝土路面裂缝识别方法及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
D. YANG ET AL.: "A Concrete Dam Deformation Prediction Method Based on LSTM With Attention Mechanism", IEEE ACCESS, pages 185177 - 185186 *
YEUNG M, ET AL.: "Focus U-Net: A novel dual attention-gated CNN for polyp segmentation during colonoscopy", COMPUTERS IN BIOLOGY AND MEDICINE, pages 1 - 11 *
孙朝云;马志丹;李伟;郝雪丽;申浩;: "基于深度卷积神经网络融合模型的路面裂缝识别方法", 长安大学学报(自然科学版), no. 04, pages 5 - 17 *
曹锦纲;杨国田;杨锡运;: "基于注意力机制的深度学习路面裂缝检测", 计算机辅助设计与图形学学报, no. 08, pages 129 - 138 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789201A (zh) * 2024-02-27 2024-03-29 南京农业大学 一种水稻根系无损获取方法、装置、存储介质和系统

Also Published As

Publication number Publication date
CN117291913B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN110660052B (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN108364280B (zh) 结构裂缝自动化描绘及宽度精准测量方法与设备
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN111462076B (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN117291913B (zh) 一种水工混凝土结构表观裂缝测量方法
CN112200143A (zh) 一种基于候选区域网络和机器视觉的道路病害检测方法
CN105547602A (zh) 一种地铁隧道管片渗漏水的远距离测量方法
CN110751644B (zh) 道路表面裂纹检测方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN104700395A (zh) 一种构造物外观裂缝检测方法及系统
CN114897816A (zh) 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法
CN111724358A (zh) 基于图像和卷积神经网络的混凝土质量检测方法及系统
CN111738114A (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN114596316A (zh) 一种基于语义分割的道路图像细节抓取方法
CN115439654A (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
CN116740579B (zh) 一种国土空间规划数据智能采集方法
CN115457044B (zh) 基于类激活映射的路面裂缝分割方法
CN111325724A (zh) 隧道裂纹区域检测方法和装置
CN115546199A (zh) 利用自注意力分析sar图像获取海上溢油区域的方法
CN116012310A (zh) 基于线性残差注意力的跨海大桥桥墩表面裂缝检测方法
CN111260625B (zh) 胶印大张图像检测区域的自动提取方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant