CN115187539A - 一种裂缝识别方法、装置、介质及设备 - Google Patents

一种裂缝识别方法、装置、介质及设备 Download PDF

Info

Publication number
CN115187539A
CN115187539A CN202210789782.6A CN202210789782A CN115187539A CN 115187539 A CN115187539 A CN 115187539A CN 202210789782 A CN202210789782 A CN 202210789782A CN 115187539 A CN115187539 A CN 115187539A
Authority
CN
China
Prior art keywords
layer
module
crack
feature
output end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210789782.6A
Other languages
English (en)
Inventor
周中
张俊杰
李守文
闫龙宾
郑熠迪
鄢海涛
龚琛杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210789782.6A priority Critical patent/CN115187539A/zh
Publication of CN115187539A publication Critical patent/CN115187539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种裂缝识别方法、装置、介质及设备，方法包括：包括：步骤1，获取待识别的裂缝图像；步骤2，将所述待识别的裂缝图像输入裂缝语义分割网络进行裂缝识别，得到裂缝识别结果；裂缝语义分割网络包括依次连接的双分支特征提取模块、特征融合模块和解码模块；解决了基于卷积神经网络的裂缝分割方法中存在的全局特征难以提取、模型鲁棒性差的问题以及基于自注意力机制的裂缝分割方法中存在的数据依赖性和局部特征易丢失的问题。

Description

一种裂缝识别方法、装置、介质及设备
技术领域
本发明涉及结构病害检测领域，特别涉及一种裂缝识别方法、装置、介质及设备。
背景技术
在复杂运营环境作用下，例如围岩压力变异、地下水、长期差异沉降、温度变化、内部车辆荷载、临近工程扰动，各类基础设施将会出现多种类型的病害。其中，裂缝是最为常见的病害之一，如果没有对裂缝及时进行处理，将很有可能造成结构变形、渗漏水、混凝土掉块等危害，进而影响隧道的运营安全。因此，裂缝病害的科学检测和治理，对于保障基础设施的运营安全具有重要意义。
目前，传统的基础设施表面裂缝检测方式以人工巡检为主，该方式不仅效率低下，并且检测结果严重收到检测人员主观性的影响，在实际检测过程中经常出现漏检和错检的现象。
随着计算机技术的快速发展，深度学习算法被逐渐应用于结构表面裂缝病害的检测中，其中，基于卷积神经网络的语义分割方法得到了广泛的应用。卷积神经网络的核心是卷积核，具有平移不变性和局部敏感性等归纳偏置，可以捕捉局部的时空信息，但是卷积核具有局部性，不能充分地利用上下文信息，导致该类方法难以捕获裂缝的全局特征，在裂缝识别中具体表现为模型精度低、鲁棒性差问题。而自注意力机制则不受局部相互作用的限制，能够挖掘长距离的依赖关系，将其应用至裂缝识别中可以较好的提取裂缝图像的全局语义信息。然而，相较于基于卷积神经网络的语义分割方法，基于自注意力机制的语义分割方法在裂缝识别中存在着局部特征易丢失的问题。
可见，亟需提出一种结合自注意力机制和卷积神经网络的裂缝识别方法以发挥两类结构的优势，从而同时实现对裂缝的局部特征和全局语义特征的准确提升，提升裂缝识别的精度和鲁棒性。
发明内容
本发明提供了一种裂缝识别方法、装置、介质及设备，其目的是为了能够有效地提取裂缝的角点、边缘等细节特征，还能够准确地提取裂缝的颜色、形状等全局特征，从而部分解决现有技术中存在识别精度低和鲁棒性较差的问题。
为了达到上述目的，本发明提供了一种裂缝识别方法，包括：
步骤1，获取待识别的裂缝图像；
步骤2，将待识别的裂缝图像输入裂缝语义分割网络进行裂缝识别，得到裂缝识别结果；
裂缝语义分割网络包括依次连接的双分支特征提取模块、特征融合模块和解码模块。
进一步来说，步骤2还包括：
对待识别的裂缝图像进行预处理；
将预处理后的裂缝图像输入至裂缝语义分割网络进行裂缝识别，得到裂缝识别结果。
进一步来说，双分支特征提取模块包括Swin Transformer网络和逆残差网络；
SwinTransformer网络，用于提取预处理后的裂缝图像的深层特征层；
逆残差网络，用于提取预处理后的裂缝图像的浅层特征层；
其中，Swin Transformer网络的输出端和逆残差网络的输出端均与特征融合模块的输入端连接。
进一步来说，Swin Transformer网络包含四层，第一层由Patch Patition模块构成，第二层包括依次连接的线性映射模块和2个Swin TransformerBlock，第三层包括依次连接的Patch Merging模块和6个Swin TransformerBlock，第四层包括依次连接的PatchMerging模块和8个Swin Transformer Block；预处理后的裂缝图像输入SwinTransformer网络通过依次连接的第一层、第二层、第三层和第四层进行特征提取，在第三层之后输出得到第一深层特征层，在第四层之后输出得到第二深层特征层。
逆残差网络包含两层，每一层都包括3个逆残差模块，逆残差模块包括依次连接的标准卷积层、深度可分离卷积层和ECA注意力模块；预处理后的裂缝图像输入逆残差网络通过依次连接的第一层和第二层进行特征提取，输出得到浅层特征层。
进一步来说，特征融合模块包括第一特征融合子模块和第二特征融合子模块；第一特征融合子模块的输入端分别连接逆残差网络中第二层的输出端、Swin Transformer网络中第三层的输出端和Swin Transformer网络中第四层的输出端，依次对第一深层特征层、第二深层特征层和浅层特征层进行上采样和特征融合，输出得到初步融合的浅层特征层、初步融合的第一深层特征层和第二深层特征层；第二特征融合子模块的输入端连接第一特征融合子模块的输出端，对初步融合的浅层特征层进行卷积处理，输出得到融合浅层特征层，对初步融合的第一深层特征层和第二深层特征层进行下采样和特征融合，输出得到融合深层特征层。
进一步来说，第一特征融合子模块包括第一CDEC模块、第二CDEC模块、第一上采样层、第二上采样层和第一卷积层；第一卷积层的输入端连接Swin Transformer网络中第四层的输出端，第一卷积层的输出端连接第一上采样层的输入端，第一上采样层的输出端连接第一CDEC模块的输入端，第一CDEC模块的输入端连接SwinTransformer网络中第三层的输出端，第一CDEC模块的输出端连接第二上采样层的输入端，第二上采样层的输出端连接第二CDEC模块的输入端，第二CDEC模块的输入端与逆残差网络中第二层的输出端连接，第二CDEC模块的输出端与第二特征融合子模块连接。
进一步来说，第二特征融合子模块包括第三CDEC模块、第四CDEC模块、第一下采样层、第二下采样层和第二卷积层；第二卷积层的输入端连接第二CDEC模块的输出端，第二卷积层的输出端与解码模块的输入端，第二卷积层的输出端连接第一下采样层的输入端，第一下采样层的输出端连接第三CDEC模块的输入端，第三CDEC模块的输入端与第一CDEC模块的输出端连接，第三CDEC模块的输出端连接第二下采样层的输入端，第二下采样层的输出端连接第四CDEC模块的输入端，第四CDEC模块的输入端与第一卷积层的输出端连接。
进一步来说，语义分割网络还包括特征加强模块，特征加强模块的输入端连接第四CDEC模块的输出端，特征加强模块的输出端连接解码模块的输出端；特征加强模块包括依次连接的ASPP特征金字塔、ECA注意力模块和标准卷积层；ASPP特征金字塔的输入端连接特征融合模块中的第四CDEC模块的输出端，标准卷积层的输出端连接解码模块；融合深层特征层输入至特征加强模块中，经过ASPP特征金字塔、ECA注意力模块、标准卷积层进行特征加强，得到加强深层特征层并输入解码模块进行解码。
本发明还提供了一种裂缝识别装置，包括：
图像获取模块，用于获取待识别的裂缝图像；
裂缝识别模块，用于将待识别的裂缝图像输入裂缝语义分割网络进行裂缝识别，得到裂缝识别结果。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被执行时，实现如上所述的裂缝识别方法。
本发明还提供了一种基于语义分割网络的裂缝识别设备，包括存储器、处理器；所述存储器用于存储计算机程序以及程序处理时候的中间数据，所述处理器用于执行所述计算机程序以实现如上所述的裂缝识别方法。
本发明的上述方案有如下的有益效果：
与现有的技术相比，解决了基于卷积神经网络的裂缝分割方法中存在的全局特征难以提取、模型鲁棒性差的问题以及基于自注意力机制的裂缝分割方法中存在的数据依赖性和局部特征易丢失的问题，从而有效的提升了裂缝的识别精度。
本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
图1为本发明实施例的流程示意图；
图2为本发明实施例中的裂缝语义分割网络结构图；
图3为本发明实施例中的Swin Transformer网络结构图；
图4为本发明实施例中的逆残差网络结构图；
图5为本发明实施例逆残差网络中的ECA注意力模块结构图；
图6为本发明实施例中的特征融合模块结构图；
图7为本发明实施例中部分的原始图像与裂缝分割结果对比图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是锁定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明针对现有的问题，提供了一种裂缝识别方法、装置、介质和设备，可以应用于基础设施检测场景中的裂缝识别过程中。
如图1所示，本发明的实施例提供了一种裂缝识别方法，包括：
步骤1，获取待识别的裂缝图像；
步骤2，将所述待识别的裂缝图像输入裂缝语义分割网络进行裂缝识别，得到裂缝识别结果。
具体来说，通过对基础设施结构表面存在的裂缝进行拍照获取裂缝图像，采用像素级标注方法对裂缝图像数据进行人工标注生成裂缝标签，裂缝图像与裂缝标签共同组成裂缝数据集，并按照一定的比例将裂缝数据集划分为训练集和测试集。
具体来说，裂缝语义分割网络包括依次连接的双分支特征提取模块、特征融合模块和解码模块。
具体来说，步骤2还包括对所述待识别的裂缝图像进行预处理，通过图像预处理模块将裂缝图像尺寸大小统一调整为512×512；将预处理后的裂缝图像输入至所述裂缝语义分割网络进行裂缝识别，得到裂缝识别结果。
具体来说，如图2所示，双分支特征提取模块包括基于自注意力机制的SwinTransformer网络和基于卷积神经网络的逆残差网络，基于自注意力机制SwinTransformer网络用于提取包含裂缝全局语义信息的深层特征层，基于卷积神经网络的逆残差网络用于提取包含裂缝角点、边缘等细节特征的浅层特征层。
如图3所示，SwinTransformer网络包含四层，第一层由PatchPatition模块构成，第二层包括依次连接的线性映射模块和2个SwinTransformerBlock，第三层包括依次连接的PatchMerging模块和6个SwinTransformerBlock，第四层包括依次连接的PatchMerging模块和8个SwinTransformerBlock。
具体来说，预处理后的裂缝图像输入SwinTransformer网络通过依次连接的第一层、第二层、第三层和第四层进行特征提取，在第三层之后输出得到第一深层特征层，在第四层之后输出得到第二深层特征层。
本领域技术人员应当清楚，Swin Transformer即为Shifted window Transformer是一个基于Transformer的深度学习模型，Patch Patition(块状分区)模块用于对采集的裂缝图像进行分割，PatchMerging(块状拼接)模块用于在每个步骤开始前做降采样，用于缩小分辨率，调整通道数进而形成层次化的设计，Swin TransformerBlock由归一化层、窗口多头自注意力、移位窗口多头自注意力和多层感知机组成。
如图4所示，基于卷积神经网络的逆残差网络逆残差网络包含两层，每一层都包括3个逆残差模块，逆残差模块包括依次连接的标准卷积层、深度可分离卷积层和ECA注意力模块。
预处理后的裂缝图像输入逆残差网络通过依次连接的第一层和第二层进行特征提取，输出得到浅层特征层。
更具体的，如图5所示，ECA注意力模块由全局平均池化层、自适应一维卷积层和Sigmoid激活函数构成，用于增强裂缝的语义信息，从而抑制复杂背景信息的干扰。
具体来说，特征融合模块用于对双分支特征提取模块提取的深层特征层和浅层特征层进行融合，以结合两类特征层的优势，解决裂缝识别中的尺度问题并增强模型的鲁棒性。
更具体的，如图6所示，特征融合模块包括第一特征融合子模块和第二特征融合子模块；第一特征融合子模块的输入端分别连接逆残差网络中第二层的输出端、SwinTransformer网络中第三层的输出端和Swin Transformer网络中第四层的输出端，依次对第一深层特征层、第二深层特征层和浅层特征层进行上采样和特征融合，输出得到初步融合的浅层特征层、初步融合的第一深层特征层和第二深层特征层；第二特征融合子模块的输入端连接第一特征融合子模块的输出端，对初步融合的浅层特征层进行卷积处理，输出得到融合浅层特征层，对初步融合的第一深层特征层和第二深层特征层进行下采样和特征融合，输出得到融合深层特征层。
更具体的，第一特征融合子模块包括第一CDEC模块、第二CDEC模块、第一上采样层、第二上采样层和第一卷积层；第一卷积层的输入端连接Swin Transformer网络中第四层的输出端，第一卷积层的输出端连接第一上采样层的输入端，第一上采样层的输出端连接第一CDEC模块的输入端，第一CDEC模块的输入端连接SwinTransformer网络中第三层的输出端，第一CDEC模块的输出端连接第二上采样层的输入端，第二上采样层的输出端连接第二CDEC模块的输入端，第二CDEC模块的输入端与逆残差网络中第二层的输出端连接，第二CDEC模块的输出端与第二特征融合子模块的输入端连接。
更具体的，第二特征融合子模块包括第三CDEC模块、第四CDEC模块、第一下采样层、第二下采样层和第二卷积层；第二卷积层的输入端连接第二CDEC模块的输出端，输出得到融合浅层特征层，第二卷积层的输出端连接第一下采样层的输入端，第一下采样层的输出端连接第三CDEC模块的输入端，第三CDEC模块的输入端与第一CDEC模块的输出端连接，第三CDEC模块的输出端连接第二下采样层的输入端，第二下采样层的输出端连接第四CDEC模块的输入端，第四CDEC模块的输入端与第一卷积层的输出端连接。
更具体的，CDEC模块由依次连接的Concat层、卷积核大小为3×3的深度可分离卷积层、ECA注意力模块、卷积核大小为1×1的标准卷积层构成。
具体来说，语义分割网络还包括特征加强模块，特征加强模块的输入端连接第四CDEC模块的输出端，特征加强模块的输出端连接解码模块的输出端。
更具体的，特征加强模块包括依次连接的ASPP特征金字塔、ECA注意力模块和标准卷积层；ASPP特征金字塔的输入端连接特征融合模块中的第四CDEC模块的输出端，标准卷积层的输出端连接解码模块；融合深层特征层输入至特征加强模块中，经过ASPP特征金字塔、ECA注意力模块、标准卷积层进行特征加强，得到加强深层特征层并输入解码模块进行解码。
具体的，解码模块采用DeepLabv3+网络的解码结构，用于对特征层进行解码，以获取裂缝识别结果。
具体来说，步骤11，加载采用ImageNet-1K训练集中的裂缝图像对裂缝语义分割网络进行训练，得到预训练权重，预训练权重作为SwinTransformer网络的初始权重；
步骤12，将训练集中的裂缝图像输入图像预处理模块进行预处理；首先保持图像的长宽比不变，对图像进行等比缩放，然后采用纯色像素进行填充，使图像尺寸统一调整为512×512；
步骤13，将预处理后的裂缝图像输入SwinTransformer网络和逆残差网络进行特征提取，通过Swin Transformer网络提取得到尺寸分别为32×32、64×64的深层特征层，通过逆残差网络得到尺寸为128×128的浅层特征层；
步骤14，将深层特征层和浅层特征层共同输入特征融合模块进行特征融合，首先，第一卷积层的输入端连接SwinTransformer网络中第四层的输出端将32×32的深层特征层输入至第一卷积层进行卷积处理，第一卷积层的输出端连接第一上采样层的输入端，第一上采样层的输出端连接第一CDEC模块的输入端，第一CDEC模块的输入端连接SwinTransformer网络中第三层的输出端将64×64的深层特征层输入至第一CDEC模块进行初步融合，第一CDEC模块的输出端连接第二上采样层的输入端，第二上采样层的输出端连接第二CDEC模块的输入端，第二CDEC模块的输入端与逆残差网络中第二层的输出端连接将128×128的浅层特征层输入至第二CDEC模块进行初步融合，得到初步融合的32×32的深层特征层、64×64的深层特征层和128×128的浅层特征层。
第二卷积层的输入端连接第二CDEC模块的输出端将初步融合的128×128的浅层特征层输入至第二卷积层进行卷积处理，输出得到128×128的融合浅层特征层并输入解码模块，第二卷积层的输出端连接第一下采样层的输入端，第一下采样层的输出端连接第三CDEC模块的输入端，第三CDEC模块的输入端与第一CDEC模块的输出端连接将经过初步融合的64×64的深层特征层输入至第三CDEC模块进行融合，第三CDEC模块的输出端连接第二下采样层的输入端，第二下采样层的输出端连接第四CDEC模块的输入端，第四CDEC模块的输入端与第一卷积层的输出端连接将经过初步融合的32×32的深层特征层输入至第四CDEC模块，通过特征融合得到最终的32×32的融合深层特征层。
步骤15，将32×32的融合深层特征层输入特征加强模块，依次经过ASPP特征金字塔、ECA注意力模块、标准卷积层进行特征加强，输出得到大小为32×32的加强深层特征层并输入解码模块进行解码；
步骤16，将128×128的融合浅层特征层和32×32的加强深层特征层输入至解码模块中进行上采样解码，得到裂缝图像识别结果，利用裂缝图像识别结果与裂缝标签进行计算，得到预测误差Loss_D；
步骤17，将预测误差Loss_D进行反向传播，并调整裂缝语义分割网络自身的结构参数；
步骤18，循环重复步骤13至步骤17，直至预测误差Loss_D趋于收敛，完成训练，得到最优网络权重，将最优网络权重保存为裂缝语义分割模型。
其中，预测误差为Loss_D用于解决裂缝分割中存在的裂缝区域和背景区域存在的严重不平衡的问题，其公式为：
Figure BDA0003733432650000091
其中，X代表裂缝标签的图像区域，Y代表预测的图像区域。
最后将测试集中的裂缝图像输入裂缝分割模型进行测试，验证裂缝图像分割结果。
采用本发明实施例中的裂缝分割模型分割得到的部分裂缝图像如图7所示，裂缝分割模型能够准确地识别裂缝地位置和形态，且能够较好地抵抗复杂背景地干扰，具有良好的分割效果。
本发明实施例还提供了一种裂缝识别装置，包括：
图像获取模块，用于获取待识别的裂缝图像；
裂缝识别模块，用于将待识别的裂缝图像输入裂缝语义分割网络进行裂缝识别，得到裂缝识别结果。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被执行时，实现如上所述的裂缝识别方法。
本发明实施例还提供了一种基于语义分割网络的裂缝识别设备，包括存储器、处理器；所述存储器用于存储计算机程序以及程序处理时候的中间数据，所述处理器用于执行所述计算机程序以实现如上所述的裂缝识别方法。
本发明实施例与现有的技术相比，解决了基于卷积神经网络的裂缝分割方法中存在的全局特征难以提取、模型鲁棒性差的问题以及基于自注意力机制的裂缝分割方法中存在的数据依赖性和局部特征易丢失的问题，从而有效的提升了裂缝的识别精度。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种裂缝识别方法，其特征在于，包括：
步骤1，获取待识别的裂缝图像；
步骤2，将所述待识别的裂缝图像输入裂缝语义分割网络进行裂缝识别，得到裂缝识别结果；
所述裂缝语义分割网络包括依次连接的双分支特征提取模块、特征融合模块和解码模块。
2.根据权利要求1所述的裂缝识别方法，其特征在于，所述步骤2还包括：
对所述待识别的裂缝图像进行预处理；
将预处理后的裂缝图像输入至所述裂缝语义分割网络进行裂缝识别，得到裂缝识别结果。
3.根据权利要求2所述的裂缝识别方法，其特征在于，
所述双分支特征提取模块包括SwinTransformer网络和逆残差网络；
所述Swin Transformer网络，用于提取所述预处理后的裂缝图像的深层特征层；
所述逆残差网络，用于提取所述预处理后的裂缝图像的浅层特征层；
其中，所述SwinTransformer网络的输出端和所述逆残差网络的输出端均与所述特征融合模块的输入端连接。
4.根据权利要求3所述的裂缝识别方法，其特征在于，
所述Swin Transformer网络包含四层，第一层由Patch Patition模块构成，第二层包括依次连接的线性映射模块和2个Swin Transformer Block，第三层包括依次连接的PatchMerging模块和6个SwinTransformer Block，第四层包括依次连接的Patch Merging模块和8个SwinTransformerBlock；
所述预处理后的裂缝图像输入所述Swin Transformer网络通过依次连接的第一层、第二层、第三层和第四层进行特征提取，在所述第三层之后输出得到第一深层特征层，在所述第四层之后输出得到第二深层特征层；
所述逆残差网络包含两层，每一层都包括3个逆残差模块，所述逆残差模块包括依次连接的标准卷积层、深度可分离卷积层和ECA注意力模块；
所述预处理后的裂缝图像输入所述逆残差网络通过依次连接的第一层和第二层进行特征提取，输出得到浅层特征层。
5.根据权利要求4所述的裂缝识别方法，其特征在于，
所述特征融合模块包括第一特征融合子模块和第二特征融合子模块；
所述第一特征融合子模块的输入端分别连接所述逆残差网络中第二层的输出端、所述SwinTransformer网络中第三层的输出端和所述Swin Transformer网络中第四层的输出端，依次对所述第一深层特征层、第二深层特征层和浅层特征层进行上采样和特征融合，输出得到初步融合的浅层特征层、初步融合的第一深层特征层和第二深层特征层；
所述第二特征融合子模块的输入端连接所述第一特征融合子模块的输出端，对所述初步融合的浅层特征层进行卷积处理，输出得到融合浅层特征层，对所述初步融合的第一深层特征层和第二深层特征层进行下采样和特征融合，输出得到融合深层特征层。
6.根据权利要求5所述的裂缝识别方法，其特征在于，
所述第一特征融合子模块包括第一CDEC模块、第二CDEC模块、第一上采样层、第二上采样层和第一卷积层；所述第一卷积层的输入端连接所述Swin Transformer网络中第四层的输出端，所述第一卷积层的输出端连接第一上采样层的输入端，所述第一上采样层的输出端连接第一CDEC模块的输入端，所述第一CDEC模块的输入端连接所述Swin Transformer网络中第三层的输出端，所述第一CDEC模块的输出端连接第二上采样层的输入端，所述第二上采样层的输出端连接第二CDEC模块的输入端，所述第二CDEC模块的输入端与所述逆残差网络中第二层的输出端连接，所述第二CDEC模块的输出端与所述第二特征融合子模块的输入端连接；
所述第二特征融合子模块包括第三CDEC模块、第四CDEC模块、第一下采样层、第二下采样层和第二卷积层；所述第二卷积层的输入端连接第二CDEC模块的输出端，所述第二卷积层的输出端与所述解码模块的输入端，所述第二卷积层的输出端连接第一下采样层的输入端，所述第一下采样层的输出端连接第三CDEC模块的输入端，所述第三CDEC模块的输入端与所述第一CDEC模块的输出端连接，所述第三CDEC模块的输出端连接第二下采样层的输入端，所述第二下采样层的输出端连接第四CDEC模块的输入端，所述第四CDEC模块的输入端与所述第一卷积层的输出端连接。
7.根据权利要求6所述的裂缝识别方法，其特征在于，
所述语义分割网络还包括特征加强模块，所述特征加强模块的输入端连接所述第四CDEC模块的输出端，所述特征加强模块的输出端连接所述解码模块的输入端；
所述特征加强模块包括依次连接的ASPP特征金字塔、ECA注意力模块和标准卷积层；所述ASPP特征金字塔的输入端连接所述特征融合模块中的第四CDEC模块的输出端，所述标准卷积层的输出端连接所述解码模块的输入端；
所述融合深层特征层输入至所述特征加强模块中，经过所述ASPP特征金字塔、ECA注意力模块、标准卷积层进行特征加强，得到加强深层特征层并输入解码模块进行解码。
8.一种裂缝识别装置，其特征在于，包括：
图像获取模块，用于获取待识别的裂缝图像；
裂缝识别模块，用于将所述待识别的裂缝图像输入所述裂缝语义分割网络进行裂缝识别，得到裂缝识别结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当该计算机程序被执行时，实现如权利要求1～7中任一项所述的裂缝识别方法。
10.一种裂缝识别设备，其特征在于，包括存储器、处理器；所述存储器用于存储计算机程序以及程序处理时候的中间数据，所述处理器用于执行所述计算机程序以实现如权利要求1～7中任一项所述的裂缝识别方法。
CN202210789782.6A 2022-07-06 2022-07-06 一种裂缝识别方法、装置、介质及设备 Pending CN115187539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210789782.6A CN115187539A (zh) 2022-07-06 2022-07-06 一种裂缝识别方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210789782.6A CN115187539A (zh) 2022-07-06 2022-07-06 一种裂缝识别方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN115187539A true CN115187539A (zh) 2022-10-14

Family

ID=83517714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210789782.6A Pending CN115187539A (zh) 2022-07-06 2022-07-06 一种裂缝识别方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN115187539A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523470A (zh) * 2023-02-24 2024-02-06 西安建科大智慧运维科技有限公司 一种钢结构疲劳裂缝识别方法及系统
WO2024102376A1 (en) * 2022-11-08 2024-05-16 Merck Sharp & Dohme Llc Multi-dimension unified swin transformer for lesion segmentation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024102376A1 (en) * 2022-11-08 2024-05-16 Merck Sharp & Dohme Llc Multi-dimension unified swin transformer for lesion segmentation
CN117523470A (zh) * 2023-02-24 2024-02-06 西安建科大智慧运维科技有限公司 一种钢结构疲劳裂缝识别方法及系统
CN117523470B (zh) * 2023-02-24 2024-06-07 西安建筑科技大学 一种钢结构疲劳裂缝识别方法及系统

Similar Documents

Publication Publication Date Title
CN115187539A (zh) 一种裂缝识别方法、装置、介质及设备
CN113205051B (zh) 基于高空间分辨率遥感影像的储油罐提取方法
CN112232391A (zh) 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法
CN109858527B (zh) 一种图像融合方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN112700489B (zh) 基于深度学习的船基视频图像海冰厚度测量方法及系统
CN113256494B (zh) 一种文本图像超分辨率方法
CN115293992B (zh) 基于无监督权重深度模型的偏振图像去雾方法及装置
CN116934592A (zh) 一种基于深度学习的图像拼接方法、系统、设备及介质
CN114066959A (zh) 基于Transformer的单幅条纹图深度估计方法
CN112633123B (zh) 一种基于深度学习的异源遥感影像变化检测方法及装置
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN116523888B (zh) 路面裂缝的检测方法、装置、设备及介质
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
CN116862765A (zh) 一种医学影像超分辨率重建方法及系统
CN114937154B (zh) 一种基于递归解码器的显著性检测方法
CN114022719A (zh) 一种多特征融合的显著性检测方法
CN114022521A (zh) 一种非刚性多模医学图像的配准方法及系统
Wei et al. Generative Adversarial Network for SAR-to-Optical Image Translation with Feature Cross-Fusion Inference
CN117576567B (zh) 一种使用多层级差异特征自适应融合的遥感图像变化检测方法
CN114998653B (zh) 一种基于ViT网络的小样本遥感图像分类方法、介质及设备
Chen et al. A novel split-frequency feature fusion framework for processing the dual-optical images of offshore oil spills
CN117935050A (zh) 一种基于有效特征表示的sar舰船目标检测方法及系统
CN117095033B (zh) 一种基于图像与几何信息引导的多模态点云配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination