CN116993737B - 一种基于卷积神经网络的轻量型裂缝分割方法 - Google Patents

一种基于卷积神经网络的轻量型裂缝分割方法 Download PDF

Info

Publication number
CN116993737B
CN116993737B CN202311258176.2A CN202311258176A CN116993737B CN 116993737 B CN116993737 B CN 116993737B CN 202311258176 A CN202311258176 A CN 202311258176A CN 116993737 B CN116993737 B CN 116993737B
Authority
CN
China
Prior art keywords
crack
image
segmentation
feature
bridge tower
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311258176.2A
Other languages
English (en)
Other versions
CN116993737A (zh
Inventor
税宇航
张华�
陈波
张雨楠
王承银
符美琦
霍建文
周怀芳
熊劲松
张九林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Hongyan Construction Machinery Manufacturing Co ltd
Southwest University of Science and Technology
Original Assignee
Chongqing Hongyan Construction Machinery Manufacturing Co ltd
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Hongyan Construction Machinery Manufacturing Co ltd, Southwest University of Science and Technology filed Critical Chongqing Hongyan Construction Machinery Manufacturing Co ltd
Priority to CN202311258176.2A priority Critical patent/CN116993737B/zh
Publication of CN116993737A publication Critical patent/CN116993737A/zh
Application granted granted Critical
Publication of CN116993737B publication Critical patent/CN116993737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于卷积神经网络的轻量型裂缝分割方法，属于混凝土结构损伤检测技术领域，包括：S1、采集桥塔内表面图像，进行病害筛查和分类，得到裂缝粗分割图像；S2、对裂缝粗分割图像进行图像增强与增广处理，构建裂缝图像数据集；S3、对桥塔内表面裂缝图像进行统计学分析；S4、构建并训练桥塔内表面裂缝分割网络，得到桥塔内表面裂缝精准分割模型；S5、对模型裂缝分割结果进行形态学后处理，得到桥塔内表面的裂缝分割检测结果。本发明使用模型轻量化技术设计神经网络结构，结合形态学后处理和相机成像技术，实现混凝土结构表面裂缝的精准分割和量化任务，并能随着数据集的扩充使得模型迭代出更好的检测结果。

Description

一种基于卷积神经网络的轻量型裂缝分割方法
技术领域
本发明属于混凝土结构损伤检测技术领域，具体涉及一种基于卷积神经网络的轻量型裂缝分割方法。
背景技术
混凝土结构在时间和环境因素的共同作用下，会逐渐产生裂缝、磨损、气蚀和侵蚀等表观缺陷，这些缺陷当中裂缝所带来的危害是最大的，它不仅存在于表面，更有可能渗入内部，对结构整体安全产生巨大威胁。目前混凝土结构的裂缝检测主要靠人工进行逐个筛别和记录。传统的人工巡检混凝土裂缝不但在人力和物力上有着巨大的消耗，而且检测方案效率也及其低下，达不到快速检测的目的。
利用计算机视觉方式来实现混凝土裂缝准确检测成为主流趋势，且取得了不错的效果。就利用视觉检测裂缝而言，尽管能在一定程度上降低检测成本，但是也存在一些无法避免的问题：（1）导致更频繁的检测周期；（2）当图像存在较大差异时，使用预先得到的原始参数进行处理导致检测精度变低，需要对图像参数进行手动调整，操作相对繁琐，泛化能力不足；(3) 在噪声干扰下结合昏暗环境易出现对细小的裂缝检测失误，造成判断的出错。随着深度学习方法进入人们视野，裂缝检测领域开始越来越多的使用深度学习的方法，但是依然存在一些不足之处：(1) 为节约研发成本检测方案通常采用成熟网络，这类网络研究对象多为VOC、COCO等公开数据集，在作用于裂缝对象时由于网络自身层数过深造成过多的特征丢失，导致裂缝检测过程中精度无法达到较高水准；(2) 网络普遍存在参数量过大、模型复杂度较高，无法在硬件计算资源有限的平台上进行推理运算。
发明内容
针对现有技术中的上述不足，本发明提供的基于卷积神经网络的轻量型裂缝分割方法解决了现有裂缝检测方法检测精度低、检测模型复杂的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于卷积神经网络的轻量型裂缝分割方法，包括以下步骤：
S1、采集桥塔内表面图像，对其进行病害筛查和分类，得到裂缝粗分割图像；
S2、对裂缝粗分割图像进行图像增强与增广处理，构建裂缝图像数据集；
S3、对裂缝图像数据集中的桥塔内表面裂缝图像进行统计学分析；
S4、根据统计学分析结果和裂缝粗分割图像构建桥塔内表面裂缝分割网络，并利用裂缝图像数据集对其训练，得到桥塔内表面裂缝精准分割模型；
S5、对桥塔内表面裂缝精准分割模型的裂缝分割结果进行形态学后处理，得到桥塔内表面的裂缝分割检测结果。
进一步地，所述步骤S1中，通过快速分割模型对桥塔内表面图像进行病害筛查和分类；
所述快速分割模型为编码-解码结构的轻量型卷积神经网络。
进一步地，所述步骤S2具体为：
S21、将裂缝粗分割图像从RGB色彩空间转换到YUV色彩空间后，处理Y通道图像进行亮度直方图的重映射，获得增强裂缝粗分割图像；
S22、将增强裂缝粗分割图像从YUV色彩空间转换到RGB色彩空间；
S23、在RGB色彩空间内，对增强裂缝粗分割图像进行颜色直方图重映射，调整图像在R、G、B三个通道的色度分布，得到裂缝增强图像；
S24、对裂缝增强图像进行增广处理，进而构建裂缝图像数据集。
进一步地，所述步骤S21具体为：
S21-1、将裂缝粗分割图像从RGB色彩空间转换到YUV色彩空间；
S21-2、在YUV色彩空间内，取出Y通道图像作为亮度直方图重映射的输入，计算亮度级k的概率密度函数；其中，/>、/>分别为亮度级/>的像素数量、像素总数量；
S21-3、根据概率密度函数，计算Y通道图像对比度限制后的概率密度函数；
式中，为超过阈值的直方图均值，/>为直方图限制阈值，/>为最大概率密度函数；
S21-4、根据概率密度函数，计算Y通道图像剪裁后直方图亮度级l对应的累积分布函数/>；
S21-5、在累积分布函数的基础上进行Y通道图像亮度直方图的重映射，获得增强裂缝粗分割图像/>。
进一步地，所述步骤S23中，颜色直方图重映射是指对增强裂缝粗分割图像的各颜色分类进行非线性重映射，其表达式为：
式中，为图像增强结果，/>为颜色分量重映射的输入色度等级，/>为非线性映射结果，其表达式为：
式中，为校正系数，/>为图像色度平均值，/>和/>分别为颜色重映射中的下阈值和上阈值，其表达式为：
式中，为色阶因子，/>为临界值，/>为色度值，/>为输入色度数量。
进一步地，所述步骤S4中，所述桥塔内表面裂缝精准分割模型包括第一主干特征提取模块、第二主干特征提取模块、第一注意力机制特征提取模块、第二注意力机制特征提取模块、第一特征增强模块、第二特征增强模块、上采样模块以及分类器；
其中，第一主干特征提取模块、第一注意力机制特征提取模块和第一特征增强模块构成所述桥塔内表面裂缝精准分割模型的编码器；第二主干特征提取模块、第二注意力机制特征提取模块、第二特征增强模块、上采样模块和分类器构成所述桥塔内表面裂缝精准分割模型的解码器。
进一步地，所述桥塔内表面裂缝精准分割模型对输入图像进行处理的方法为：
S41、将裂缝图像数据集中的裂缝增强图像和采集的原始桥塔内表面图像作为桥塔内表面裂缝精准分割模型的输入图像；
S42、将输入图像输入至第一主干特征提取模块进行处理，获得桥塔内表面裂缝在通道上的第一多尺度特征图，并将其输入至第一注意力机制特征提取模块；
S43、通过第一注意力机制特征提取模块对第一多尺度特征图进行注意力特征提取，获得裂缝特征图，并将其输入至第一特征增强模块；
S44、通过第一特征增强模块对特征图进行特征增强，获得包含裂缝特征信息和位置信息的第二多尺度特征图；
S45、将输入图像与第二多尺度特征图进行拼接后依次输入至第二主干特征提取模块、第二注意力机制特征提取模块以及第二特征增强模块，进行高阶语义信息解析，提取输入图像中的裂缝特征信息；
S46、将第二特征增强模块输入的裂缝特征信息输入至上采样模块中，与第二主干特征提取网络中跳跃连接分支的输出特征信息进行依次拼接，恢复特征提取中丢失的图像裂缝信息，获得裂缝细分割图像；
S47、通过分类器对裂缝细分割图像进行分类，获得裂缝分割结果。
进一步地，所述第一主干特征提取模块和第二主干特征提取模块为具有11层卷积层的深度可分离卷积结构；
所述第一注意力机制特征提取模块和第二注意力机制特征提取模块网络结构相同，均包括依次连接的通道注意力单元和空间注意力单元；
所述第一特征增强模块和第二特征增强模块网络结构相同，均为基于上下文信息的特征增强模块，其对输入的裂缝特征图进行处理的方法：
A1、对输入的裂缝特征图通过池化单元分4层分别进行全局平均池化；
A2、对每层全局平均池化得到的特征图进行1×1卷积，将通道数减少到原来的1/4；
A3、将通道数减少的每个特征图，利用双线性插值上采样到与输入裂缝特征图相同的尺寸；
A4、将双线性插值得到的特征图与裂缝特征图按通道维度进行拼接；
A5、将拼接后的特征图通过多个不同尺度的池化块进行全局平均池化后再拼接，获得汇聚全局和局部区域的裂缝特征信息。
进一步地，所述步骤S5具体为：
S51、对裂缝分割结果进行形态学后处理，获得裂缝信息；
其中，裂缝信息包括裂缝长度、宽度和面积；
S52、根据获取的裂缝信息，提取裂缝骨架信息，获得像素级裂缝量化结果；
S53、根据采集相机参数，将像素级裂缝量化结果转换为物理级裂缝量化结果，并作为裂缝分割检测结果。
本发明的有益效果为：
（1）本发明通过网络的迭代训练，相比于传统的图像处理方法，大大提升了裂缝检测能力。
（2）本发明根据实际应用场景需求提出一种基于卷积神经网络的两阶段裂缝分割方法，在第一阶段使用快速分割模型对病害进行筛选和分类，第二阶段中结合第一阶段的裂缝粗分割信息设计针对桥塔内表面裂缝的卷积神经网络，训练得到精准分割模型，相比已有的机器视觉算法更具针对性，有效克服裂缝图像存在的类内不均衡问题，对裂缝的分割结果更精确。
（3）本发明通过形态学后处理和成像技术快速计算出裂缝的物理尺寸，更直观的显示出大坝的受损情况。
附图说明
图1为本发明提供的基于卷积神经网络的轻量型裂缝分割方法流程图。
图2为本发明提供的快速分割模型结构示意图。
图3为本发明提供的桥塔内表面裂缝精准分割模型结构示意图。
图4为本发明提供的注意力机制特征提取模块结构示意图；其中，(a)第一~第二注意力机制特征提取模块结构；(b) 通道注意力单元结构；(c) 空间注意力单元结构。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
本发明提供了一种基于卷积神经网络的轻量型裂缝分割方法，如图1所示，包括以下步骤：
S1、采集桥塔内表面图像，对其进行病害筛查和分类，得到裂缝粗分割图像；
S2、对裂缝粗分割图像进行图像增强与增广处理，构建裂缝图像数据集；
S3、对裂缝图像数据集中的桥塔内表面裂缝图像进行统计学分析；
S4、根据统计学分析结果和裂缝粗分割图像构建桥塔内表面裂缝分割网络，并利用裂缝图像数据集对其训练，得到桥塔内表面裂缝精准分割模型；
S5、对桥塔内表面裂缝精准分割模型的裂缝分割结果进行形态学后处理，得到桥塔内表面的裂缝分割检测结果。
在本发明实施例的步骤S1中，使用桥塔内部升降梯搭载机械臂采集桥塔内表面图像，通过快速分割模型对桥塔内表面图像进行病害筛查和分类；
在本发明实施例步骤S1中，如图2所示，快速分割模型为编码-解码结构的轻量型卷积神经网络；其中，在快速分割模型的编码结构包括三个依次连接的编码单元，每个编码单元包括依次连接的全局平均池化和与其连接的第一卷积块，每个第一卷积块包括依次连接的逐点卷积、逐通道卷积、逐点卷积、逐通道卷积以及逐点卷积；在快速分割模型的解码结构包括三个依次连接的解码单元，每个解码单元包括依次连接的第二卷积块和转置卷积，每个第二卷积块包括依次连接的逐点卷积、逐通道卷积和逐点卷积。
具体地，在本实施例中，在编码结构中，对于逐通道卷积，一个卷积核负责一个通道，一个通道只被一个卷积核卷积，逐通道卷积首先经过第一次卷积核运算，卷积核的数量与上一层的通道数相同，所以一个N通道的图像经过运算后生成了N个特征图；对于逐点卷积，其运算与常规卷积运算相似，卷积核的尺寸为1×1×N，N为上一层的通道数，这里的卷积运算会将上一步的特征图在深度方向上进行加权组合，生成新的特征图；对于全局平均池化，其作用是将输入特征图的每个通道的所有元素取平均值，得到一个标量输出，全局平均池化可以用来降低特征图的空间维度，减少参数量，同时保留重要的特征信息。
在本实施例中，在解码结构中，转置卷积的原理时在输入特征图的每个元素周围插入一定数量的零元素，然后通过对输入特征图施加卷积核进行卷积操作，这个过程可以理解为将输入特征图进行上采样，具体的步骤为：一在输入特征图的每个元素周围插入一定数量的零元素，以增加输出特征图的大小；二使用与卷积操作相反的卷积核对插入零元素后的输入特征图进行卷积操作，得到输出特征图。转置卷积可以通过调整卷积核参数和步幅来控制输出特征图的大小和形状，可以通过调整参数来生成不同分辨率的图像。
本发明实施例的步骤S2 中，图像增强首先是将采集到的图像从RGB色彩空间转换到YUV色彩空间，利用限制对比度直方图均衡方法处理Y通道图像完成亮度直方图的重映射，为解决昏暗环境中由各颜色通道衰减率不一致引起的图像偏色问题，采用颜色直方图重映射方法调整R、G、B三个通道的色度分布，改善颜色分量动态响应不均衡能有效消除图像中的偏色现象，最终实现图像增强。
基于此，本实施例步骤S21具体为：
S21、将裂缝粗分割图像从RGB色彩空间转换到YUV色彩空间后，处理Y通道图像进行亮度直方图的重映射，获得增强裂缝粗分割图像；
S22、将增强裂缝粗分割图像从YUV色彩空间转换到RGB色彩空间；
S23、在RGB色彩空间内，对增强裂缝粗分割图像进行颜色直方图重映射，调整图像在R、G、B三个通道的色度分布，得到裂缝增强图像；
S24、对裂缝增强图像进行增广处理，进而构建裂缝图像数据集。
本实施例的步骤S21具体为：
S21-1、将裂缝粗分割图像从RGB色彩空间转换到YUV色彩空间；
S21-2、在YUV色彩空间内，取出Y通道图像作为亮度直方图重映射的输入，计算亮度级k的概率密度函数；其中，/>、/>分别为亮度级/>的像素数量、像素总数量；
S21-3、根据概率密度函数，计算Y通道图像对比度限制后的概率密度函数；
式中，为超过阈值的直方图均值，/>为直方图限制阈值，/>为最大概率密度函数；
S21-4、根据概率密度函数，计算Y通道图像剪裁后直方图亮度级l对应的累积分布函数/>；
S21-5、在累积分布函数的基础上进行Y通道图像亮度直方图的重映射，获得增强裂缝粗分割图像/>。
在本实施例的步骤S23中，颜色直方图重映射是指对增强裂缝粗分割图像的各颜色分类进行非线性重映射，其表达式为：
式中，为图像增强结果，/>为颜色分量重映射的输入色度等级，/>为非线性映射结果，其表达式为：
式中，为校正系数，/>为图像色度平均值，/>和/>分别为颜色重映射中的下阈值和上阈值，其表达式为：
式中，为色阶因子，/>为临界值，/>为色度值，/>为输入色度数量。
本实施例中的上述图像增强方法能够削弱图像中各颜色分量动态响应的不均衡，使颜色分布更加平滑。
在本实施例的步骤S24中，采用定尺寸剪裁、翻转变换、颜色变换等图像增广算法扩充裂缝图像数据量，进而构建裂缝图像数据集；对于构建的裂缝图像数据集，利用像素级标注软件对裂缝图像进行像素级标注，并按9:1比例将裂缝数据集划分为训练集和验证集。
在本发明实施例的步骤S3中，利用统计学原理对裂缝图像数据集进行统计学分析，如裂缝像素值特征、裂缝像素值占比等；分析结果显示，（1）数据集中各样本裂缝像素的像素值之间存在较大差异，背景像素也是同样的情况；（2）裂缝像素的像素值均低于背景像素的像素值；（3）裂缝像素所占图像的比例不足5%，存在严重的样本不均衡问题。
在本发明实施例的步骤S4中，根据统计学分析结果结合裂缝粗分割图像设计构建针对桥塔内表面裂缝的卷积神经网络，利用训练集和验证集数据对网络进行迭代训练，得到桥塔内表面裂缝精准分割模型，对分割效果差较差的样本数据放回网络训练优化分割模型。
在本发明实施例的步骤S4中，如图3所示，所述桥塔内表面裂缝精准分割模型包括第一主干特征提取模块、第二主干特征提取模块、第一注意力机制特征提取模块、第二注意力机制特征提取模块、第一特征增强模块、第二特征增强模块、上采样模块以及分类器；
其中，第一主干特征提取模块、第一注意力机制特征提取模块和第一特征增强模块构成所述桥塔内表面裂缝精准分割模型的编码器；第二主干特征提取模块、第二注意力机制特征提取模块、第二特征增强模块、上采样模块和分类器构成所述桥塔内表面裂缝精准分割模型的解码器。
基于上述模型结构，本实施例中，桥塔内表面裂缝精准分割模型对输入图像进行处理的方法为：
S41、将裂缝图像数据集中的裂缝增强图像和采集的原始桥塔内表面图像作为桥塔内表面裂缝精准分割模型的输入图像；
S42、将输入图像输入至第一主干特征提取模块进行处理，获得桥塔内表面裂缝在通道上的第一多尺度特征图，并将其输入至第一注意力机制特征提取模块；
S43、通过第一注意力机制特征提取模块对第一多尺度特征图进行注意力特征提取，获得裂缝特征图，并将其输入至第一特征增强模块；
S44、通过第一特征增强模块对特征图进行特征增强，获得包含裂缝特征信息和位置信息的第二多尺度特征图；
S45、将输入图像与第二多尺度特征图进行拼接后依次输入至第二主干特征提取模块、第二注意力机制特征提取模块以及第二特征增强模块，进行高阶语义信息解析，提取输入图像中的裂缝特征信息；
S46、将第二特征增强模块输入的裂缝特征信息输入至上采样模块中，与第二主干特征提取网络中跳跃连接分支的输出特征信息进行依次拼接，恢复特征提取中丢失的图像裂缝信息，获得裂缝细分割图像；
S47、通过分类器对裂缝细分割图像进行分类，获得裂缝分割结果。
在本实施例中，第一主干特征提取模块和第二主干特征提取模块为具有11层卷积层的深度可分离卷积结构；具体地，利用深度可分离卷积搭建的第一~第二主干特征提取模块，不仅可以减少网络模型参数量，还能在特征提取时利用其独有机制不断压缩尺寸扩大通道数据，以此获得桥塔内表面裂缝在通道上的多尺度特征图，考虑到裂缝信息占比过小的问题，因此本发明在设计特征提取网络时避免了过大的深度，仅仅只有11层；本实施例中，主干特征提取模块构建中在第一层使用常规卷积降维，为了更好减小模型计算量和为网络后续解码阶段做预留工作，整个网络中仅存在三次步长为2降维参数。
在本实施例中，利用上述深度可分离卷积计算过程中，可能会存在遗漏些许复杂、多变的裂缝信息，在经主干特征特征提取模块进行初步特征提取后，为了使网络进一步更好的区分裂缝特征和复杂背景，本实施例中引入如图4所示的第一~第二注意力机制特征提取模块，去融合不同特征图之间的通道信息和同一特征图中的位置信息，尽可能筛选出更加有效的混凝土裂缝特征，同时又由于注意力机制特征提取模块是轻量型通用模块，因此可以忽略该模块计算开销而将其无缝集成到任何CNN网络架构中，并且可以与基础CNN网络一起进行端到端训练，将其嵌入在主干特征提取网络与金字塔池化模块中间同样也可以实现节约计算资源的情况下进行有效的桥塔内表面裂缝特征提取工作。如图4(a)所示，本实施例中的第一~第二注意力机制特征提取模块的网络结构相同，均包括依次连接的通道注意力单元和空间注意力单元；其中，通道注意力单元结构如图4(b)所示，空间注意力单元如图4(c)所示。
在本实施例中，为了充分获取全局裂缝信息达到空间一致性，本实施例中设计了第一~第二特征增强模块，聚合不同区域的上下文信息，以提高网络获取全局信息的能力。此模块将结合图像局部特征和全局特征，使裂缝分割结果更加准确。
在本实施例中，为了充分获取全局裂缝信息达到空间一致性，设计了第一~第二特征增强模块，其均为基于上下文信息的特征增强模块，聚合不同区域的上下文信息，以提高网络获取全局信息的能力。此模块将结合图像局部特征和全局特征，使裂缝分割结果更加准确；在本实施例中，第一~第二特征增强模块对输入的裂缝特征图进行处理的方法：
A1、对输入的裂缝特征图通过池化单元分4层分别进行全局平均池化；
其中，每层的尺寸分别为1×1、2×2、3×3、6×6；
A2、对每层全局平均池化得到的特征图进行1×1卷积，将通道数减少到原来的1/4；
A3、将通道数减少的每个特征图，利用双线性插值上采样到与输入裂缝特征图相同的尺寸；
A4、将双线性插值得到的特征图与裂缝特征图按通道维度进行拼接；
A5、将拼接后的特征图通过多个不同尺度的池化块进行全局平均池化后再拼接，获得汇聚全局和局部区域的裂缝特征信息，实现网络模型对数据集中复杂裂缝样本的精准提取。
上述编码器阶段得到的多尺度特征图里包含了裂缝特征信息与大致位置信息，解码器阶段则需要对这些高阶语义信息进行解析，将裂缝对应到相应的像素点上，若采用传统解码思想无法理想分割出图像中的裂缝，使用融合跨尺度浅层几何信息的上采样构成解码器，将来自编码器主干特征提取模块的跳跃连接分支和网络主干双线性插值后的特征信息进行依次拼接，恢复编码器特征提取过程中丢失的图像细节，最后利用两次卷积构建而成的分类器即可完成整个裂缝图像分割任务。
在本发明实施例的步骤S5具体为：
S51、对裂缝分割结果进行形态学后处理，获得裂缝信息；
其中，裂缝信息包括裂缝长度、宽度和面积；
S52、根据获取的裂缝信息，提取裂缝骨架信息，获得像素级裂缝量化结果；
S53、根据采集相机参数，将像素级裂缝量化结果转换为物理级裂缝量化结果，并作为裂缝分割检测结果。
在本实施例中，利用开、闭运算优化预测结果，单像素宽度算法和中轴算法提取预测结果的骨架信息，实现像素级量化；根据最后的分割检测结果，对桥塔内表面裂缝损失进行评估。
本发明实施例提供的基于神经网络的轻量型裂缝分割方法，使用模型轻量化技术设计神经网络结构，结合形态学后处理和相机成像技术，实现混凝土结构表面裂缝的精准分割和量化任务，并能随着数据集的扩充使得模型迭代出更好的检测结果。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种基于卷积神经网络的轻量型裂缝分割方法，其特征在于，包括以下步骤：
S1、采集桥塔内表面图像，对其进行病害筛查和分类，得到裂缝粗分割图像；
S2、对裂缝粗分割图像进行图像增强与增广处理，构建裂缝图像数据集；
S3、对裂缝图像数据集中的桥塔内表面裂缝图像进行统计学分析；
S4、根据统计学分析结果和裂缝粗分割图像构建桥塔内表面裂缝分割网络，并利用裂缝图像数据集对其训练，得到桥塔内表面裂缝精准分割模型；
S5、对桥塔内表面裂缝精准分割模型的裂缝分割结果进行形态学后处理，得到桥塔内表面的裂缝分割检测结果；
所述步骤S4中，所述桥塔内表面裂缝精准分割模型包括第一主干特征提取模块、第二主干特征提取模块、第一注意力机制特征提取模块、第二注意力机制特征提取模块、第一特征增强模块、第二特征增强模块、上采样模块以及分类器；
其中，第一主干特征提取模块、第一注意力机制特征提取模块和第一特征增强模块构成所述桥塔内表面裂缝精准分割模型的编码器；第二主干特征提取模块、第二注意力机制特征提取模块、第二特征增强模块、上采样模块和分类器构成所述桥塔内表面裂缝精准分割模型的解码器；
所述桥塔内表面裂缝精准分割模型对输入图像进行处理的方法为：
S41、将裂缝图像数据集中的裂缝增强图像和采集的原始桥塔内表面图像作为桥塔内表面裂缝精准分割模型的输入图像；
S42、将输入图像输入至第一主干特征提取模块进行处理，获得桥塔内表面裂缝在通道上的第一多尺度特征图，并将其输入至第一注意力机制特征提取模块；
S43、通过第一注意力机制特征提取模块对第一多尺度特征图进行注意力特征提取，获得裂缝特征图，并将其输入至第一特征增强模块；
S44、通过第一特征增强模块对特征图进行特征增强，获得包含裂缝特征信息和位置信息的第二多尺度特征图；
S45、将输入图像与第二多尺度特征图进行拼接后依次输入至第二主干特征提取模块、第二注意力机制特征提取模块以及第二特征增强模块，进行高阶语义信息解析，提取输入图像中的裂缝特征信息；
S46、将第二特征增强模块输入的裂缝特征信息输入至上采样模块中，与第二主干特征提取网络中跳跃连接分支的输出特征信息进行依次拼接，恢复特征提取中丢失的图像裂缝信息，获得裂缝细分割图像；
S47、通过分类器对裂缝细分割图像进行分类，获得裂缝分割结果；
所述第一主干特征提取模块和第二主干特征提取模块为具有11层卷积层的深度可分离卷积结构；
所述第一注意力机制特征提取模块和第二注意力机制特征提取模块网络结构相同，均包括依次连接的通道注意力单元和空间注意力单元；
所述第一特征增强模块和第二特征增强模块网络结构相同，均为基于上下文信息的特征增强模块，其对输入的裂缝特征图进行处理的方法：
A1、对输入的裂缝特征图通过池化单元分4层分别进行全局平均池化；
A2、对每层全局平均池化得到的特征图进行1×1卷积，将通道数减少到原来的1/4；
A3、将通道数减少的每个特征图，利用双线性插值上采样到与输入裂缝特征图相同的尺寸；
A4、将双线性插值得到的特征图与裂缝特征图按通道维度进行拼接；
A5、将拼接后的特征图通过多个不同尺度的池化块进行全局平均池化后再拼接，获得汇聚全局和局部区域的裂缝特征信息；
所述步骤S1中，通过快速分割模型对桥塔内表面图像进行病害筛查和分类；
所述快速分割模型为编码-解码结构的轻量型卷积神经网络；
编码结构包括三个依次连接的编码单元，每个编码单元包括依次连接的全局平均池化和与其连接的第一卷积块，每个第一卷积块包括依次连接的逐点卷积、逐通道卷积、逐点卷积、逐通道卷积以及逐点卷积；解码结构包括三个依次连接的解码单元，每个解码单元包括依次连接的第二卷积块和转置卷积，每个第二卷积块包括依次连接的逐点卷积、逐通道卷积和逐点卷积。
2.根据权利要求1所述的基于卷积神经网络的轻量型裂缝分割方法，其特征在于，所述步骤S2具体为：
S21、将裂缝粗分割图像从RGB色彩空间转换到YUV色彩空间后，处理Y通道图像进行亮度直方图的重映射，获得增强裂缝粗分割图像；
S22、将增强裂缝粗分割图像从YUV色彩空间转换到RGB色彩空间；
S23、在RGB色彩空间内，对增强裂缝粗分割图像进行颜色直方图重映射，调整图像在R、G、B三个通道的色度分布，得到裂缝增强图像；
S24、对裂缝增强图像进行增广处理，进而构建裂缝图像数据集。
3.根据权利要求2所述的基于卷积神经网络的轻量型裂缝分割方法，其特征在于，所述步骤S21具体为：
S21-1、将裂缝粗分割图像从RGB色彩空间转换到YUV色彩空间；
S21-2、在YUV色彩空间内，取出Y通道图像作为亮度直方图重映射的输入，计算亮度级k的概率密度函数；其中，/>、/>分别为亮度级/>的像素数量、像素总数量；
S21-3、根据概率密度函数，计算Y通道图像对比度限制后的概率密度函数/>；
式中，为超过阈值的直方图均值，/>为直方图限制阈值，/>为最大概率密度函数；
S21-4、根据概率密度函数，计算Y通道图像剪裁后直方图亮度级l对应的累积分布函数/>；
S21-5、在累积分布函数的基础上进行Y通道图像亮度直方图的重映射，获得增强裂缝粗分割图像/>。
4.根据权利要求2所述的基于卷积神经网络的轻量型裂缝分割方法，其特征在于，所述步骤S23中，颜色直方图重映射是指对增强裂缝粗分割图像的各颜色分类进行非线性重映射，其表达式为：
式中，为图像增强结果，/>为颜色分量重映射的输入色度等级， />为非线性映射结果，其表达式为：
式中，为校正系数，/>为图像色度平均值，/>和/>分别为颜色重映射中的下阈值和上阈值，其表达式为：
式中，为色阶因子，/>为临界值，/>为色度值，/>为输入色度数量。
5.根据权利要求1所述的基于卷积神经网络的轻量型裂缝分割方法，其特征在于，所述步骤S5具体为：
S51、对裂缝分割结果进行形态学后处理，获得裂缝信息；
其中，裂缝信息包括裂缝长度、宽度和面积；
S52、根据获取的裂缝信息，提取裂缝骨架信息，获得像素级裂缝量化结果；
S53、根据采集相机参数，将像素级裂缝量化结果转换为物理级裂缝量化结果，并作为裂缝分割检测结果。
CN202311258176.2A 2023-09-27 2023-09-27 一种基于卷积神经网络的轻量型裂缝分割方法 Active CN116993737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311258176.2A CN116993737B (zh) 2023-09-27 2023-09-27 一种基于卷积神经网络的轻量型裂缝分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311258176.2A CN116993737B (zh) 2023-09-27 2023-09-27 一种基于卷积神经网络的轻量型裂缝分割方法

Publications (2)

Publication Number Publication Date
CN116993737A CN116993737A (zh) 2023-11-03
CN116993737B true CN116993737B (zh) 2024-03-29

Family

ID=88525239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311258176.2A Active CN116993737B (zh) 2023-09-27 2023-09-27 一种基于卷积神经网络的轻量型裂缝分割方法

Country Status (1)

Country Link
CN (1) CN116993737B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409331B (zh) * 2023-12-15 2024-03-15 四川泓宝润业工程技术有限公司 一种油气管线周边环境隐患检测方法、装置及存储介质
CN118505701B (zh) * 2024-07-18 2024-10-18 广州航海学院 一种基于计算机图像处理的混凝土裂缝识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064426A (zh) * 2018-07-26 2018-12-21 电子科技大学 一种用于抑制低照度图像中眩光并增强图像的方法及装置
CN112365505A (zh) * 2020-09-30 2021-02-12 上海导萃智能科技有限公司 一种基于编码解码结构的轻量级舌体分割方法
CN113506281A (zh) * 2021-07-23 2021-10-15 西北工业大学 一种基于深度学习框架的桥梁裂缝检测方法
CN114331869A (zh) * 2021-12-01 2022-04-12 西南科技大学 一种坝面裂缝语义分割方法
CN115035301A (zh) * 2022-06-27 2022-09-09 度小满科技(北京)有限公司 一种用于图像分割的方法和装置
CN115393212A (zh) * 2022-08-25 2022-11-25 河海大学 一种基于改进Unet的RAW域夜景图像去噪方法
CN116485717A (zh) * 2023-03-09 2023-07-25 三峡大学 一种基于像素级深度学习的混凝土坝表面裂缝检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216988B2 (en) * 2017-10-24 2022-01-04 L'oreal System and method for image processing using deep neural networks
US11270447B2 (en) * 2020-02-10 2022-03-08 Hong Kong Applied Science And Technology Institute Company Limited Method for image segmentation using CNN
US20230146016A1 (en) * 2021-11-05 2023-05-11 Vinai Artificial Intelligence Application And Research Joint Stock Company Method and apparatus for extreme-light image enhancement

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064426A (zh) * 2018-07-26 2018-12-21 电子科技大学 一种用于抑制低照度图像中眩光并增强图像的方法及装置
CN112365505A (zh) * 2020-09-30 2021-02-12 上海导萃智能科技有限公司 一种基于编码解码结构的轻量级舌体分割方法
CN113506281A (zh) * 2021-07-23 2021-10-15 西北工业大学 一种基于深度学习框架的桥梁裂缝检测方法
CN114331869A (zh) * 2021-12-01 2022-04-12 西南科技大学 一种坝面裂缝语义分割方法
CN115035301A (zh) * 2022-06-27 2022-09-09 度小满科技(北京)有限公司 一种用于图像分割的方法和装置
CN115393212A (zh) * 2022-08-25 2022-11-25 河海大学 一种基于改进Unet的RAW域夜景图像去噪方法
CN116485717A (zh) * 2023-03-09 2023-07-25 三峡大学 一种基于像素级深度学习的混凝土坝表面裂缝检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的轻量型裂缝分割方法;税宇航等;《水力发电学报》;第42卷(第8期);第110-120页 *
基于时空相关的γ辐射图像增强方法;方琳琳;《万方数据》;第35-40页 *
郭豪.《中国优秀硕士学位论文全文数据库 农业科技辑》.2022,(第1期),第D046-247页. *

Also Published As

Publication number Publication date
CN116993737A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN116993737B (zh) 一种基于卷积神经网络的轻量型裂缝分割方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN111126472B (zh) 一种基于ssd改进的目标检测方法
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN109241982B (zh) 基于深浅层卷积神经网络的目标检测方法
CN110070091B (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
CN110443763B (zh) 一种基于卷积神经网络的图像阴影去除方法
CN110717921B (zh) 改进型编码解码结构的全卷积神经网络语义分割方法
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
CN110717868A (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
CN109741358B (zh) 基于自适应超图学习的超像素分割方法
Garg et al. LiCENt: Low-light image enhancement using the light channel of HSL
WO2022109922A1 (zh) 抠图实现方法、装置、设备及存储介质
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN112700418A (zh) 一种基于改进编解码网络模型的裂缝检测方法
Chen et al. Attention-based broad self-guided network for low-light image enhancement
Sun et al. Progressive multi-branch embedding fusion network for underwater image enhancement
CN117011182A (zh) 图像阴影去除方法、装置、存储介质及设备
Li et al. RGSR: A two-step lossy JPG image super-resolution based on noise reduction
CN115063679B (zh) 一种基于深度学习的路面质量评估方法
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法
CN116385289A (zh) 一种基于渐进式的碑文文字图像修复模型及修复方法
CN114842333B (zh) 一种遥感影像建筑物提取方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant