CN112465748A - 基于神经网络的裂缝识别方法、装置、设备及存储介质 - Google Patents

基于神经网络的裂缝识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112465748A
CN112465748A CN202011244353.8A CN202011244353A CN112465748A CN 112465748 A CN112465748 A CN 112465748A CN 202011244353 A CN202011244353 A CN 202011244353A CN 112465748 A CN112465748 A CN 112465748A
Authority
CN
China
Prior art keywords
crack
features
unit
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011244353.8A
Other languages
English (en)
Other versions
CN112465748B (zh
Inventor
赵皓
庞杰
张华�
刘满禄
张静
汪双
李林静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202011244353.8A priority Critical patent/CN112465748B/zh
Publication of CN112465748A publication Critical patent/CN112465748A/zh
Application granted granted Critical
Publication of CN112465748B publication Critical patent/CN112465748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络的裂缝识别方法、装置、设备及存储介质，构建结构特征提取模块和细节特征提取模块，通过结构特征提取模块和细节特征提取模块提取结构特征和细节特征并融合，将融合特征上采样，得到裂缝概率图，然后对裂缝概率图进行处理，获取裂缝识别结果。本发明自动化处理水平较高，直接端到端地从待识别图像直接输出裂缝病害的量化特征及掩膜，可以极大地降低操作人员工作量，提高了裂缝识别的效率以及准确度。

Description

基于神经网络的裂缝识别方法、装置、设备及存储介质
技术领域
本发明属于计算机科学领域，具体涉及基于神经网络的裂缝识别方法、装置、设备及存储介质。
背景技术
裂缝是物体常见的病害之一，直接关系其质量、安全，比如金属工件、木料板材、道路桥梁等，对裂缝等病害的准确识别及量化是质量及状态评估工作中的重要环节之一。目前，裂缝等病害的诊断工作仍以人工为主，存在耗时、主观性强、成本高等问题，且人工检测步骤比较繁琐，且需要丰富的专业知识。为了提升裂缝检测工作的效率以及降低技术工人的工作量，研究快速准确的自动化裂缝检测方法是必要的。
随着计算机视觉技术及深度学习技术的不断发展及应用，以卷积分割网络为代表的神经网络在表观裂缝的识别领域得到了较多的应用。分割网络能够自动提取与任务相关的鲁棒特征，同时也给出了一种端到端的像素级分类方式，可以直接检测出裂缝区域。为追求精度，分割网络常采用高分辨率的输入图片、多尺度特征融合、更多的特征通道数、更深的网络等复杂的网络结构，但这些方法会带来较大的模型参数量及计算量，降低模型推理速度，不适用于实际应用；另一方面，为提升速度，分割网络可以降低特征图分辨率、减小网络深度或特征通道数等，这些方法会丢失裂缝区域局部细节信息，会造成精度的下降。并且，裂缝在图像中呈现全局尺寸变化大、形态不规则，但局部区域细小等特点，常见的分割网络在该任务中不能很好的均衡速度与精度。
发明内容
针对现有技术中的上述不足，本发明提供的基于神经网络的裂缝识别方法、装置、设备及存储介质解决了现有技术中存在的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于神经网络的裂缝识别方法，包括以下步骤：
S1、构建结构特征提取模块和细节特征提取模块；
S2、采集若干裂缝图像作为样本图像，并使用结构特征提取模块提取样本图像的结构特征以及使用细节特征提取模块提取样本图像的细节特征；
S3、将结构特征与细节特征融合，对融合特征通过双线性插值方法进行上采样，得到输入图像尺寸相同的采样特征；
S4、将采样特征通过大小为1×1的卷积层进行处理并归一化，获取裂缝概率图；
S5、设定概率的阈值，将裂缝概率图中小于阈值的概率值作为背景，将裂缝概率图中大于阈值的概率值作为裂缝，生成裂缝区域掩膜图；
S6、根据样本图像和裂缝概率图，对结构特征提取模块和细节特征提取模块进行训练；
S7、采集待识别图像，根据步骤S1-S5所述方法，通过训练后的结构特征提取模块和细节特征提取模块获取待识别图像的裂缝区域掩膜图；
S8、对待识别图像的裂缝区域掩膜图进行裂缝识别，得到裂缝识别结果。
进一步地，所述步骤S1中结构特征提取模块包括轻量化卷积网络、金字塔池化单元、第一特征融合单元、第二特征融合单元和注意力机制单元；所述轻量化卷积网络分别与金字塔池化单元、第一特征融合单元和第二特征融合单元连接，所述金字塔池化单元通过第一特征融合单元与第二特征融合单元连接，所述第二特征融合单元与注意力机制单元连接，所述轻量化卷积网络的输入为结构特征提取模块的输入，所述注意力机制单元的输出为结构特征提取模块的输出；
所述步骤S1中细节特征提取模块包括3个依次连接的卷积单元。
进一步地，所述步骤S2中使用结构特征提取模块提取样本图像的结构特征的具体方法为：
A1、将样本图像的原图输入轻量化卷积网络，获取样本图像原图的1/8尺寸、1/16尺寸和1/32尺寸的第一特征；
A2、通过金字塔池化单元中4种不同尺度的均值池化层对1/32尺寸的第一特征进行处理，得到1×1、2×2、3×3和6×6尺寸的第二特征；
A3、对每组特征进行双线性插值上采样操作，得到与输入特征尺寸相同的四组第三特征，并将所有第三特征与1/32尺寸的第一特征进行线性叠加，得到第一叠加特征；
A4、将第一叠加特征通过第一特征融合单元与1/16尺寸的第一特征融合，得到第二叠加特征；
A5、将第二叠加特征通过第二特征融合单元与1/8尺寸的第一特征融合，得到第三叠加特征；
A6、通过注意力机制单元对第三叠加特征进行处理，得到结构特征；
所述第一特征融合单元和第二特征融合单元结构相同，均包括依次连接的3×3卷积层、批归一化层和Relu函数层；
所述步骤A6中通过注意力机制单元对第三叠加特征进行处理包括使用通道注意力机制处理和使用空间注意力机制处理；所述使用通道注意力机制处理具体为：通道注意力机制并使用最大值池化层和均值池化层在空间维度对第三叠加特征进行并行池化，将池化后的两组特征分别通过两次全连接层处理后相加，将相加特征进行归一化后与输入特征相乘，完成通道注意力机制处理；所述使用空间注意力机制处理具体为：通过空间注意力机制使用最大值池化和均值池化在空间维度上对通道注意力机制处理后的特征进行并行池化，将池化后的两组特征在通道维度上进行拼接，使用一层卷积单元进行卷积输出，并将输出特征归一化后与通道注意力机制处理后的特征相乘，得到结构特征。
进一步地，所述步骤S2中使用细节特征提取模块提取细节特征的具体方法为：使用3个依次连接的卷积单元对样本图像的原图进行处理，得到细节特征；
所述3个卷积单元包括第一卷积单元、第二卷积单元和第三卷积单元，所述第一卷积单元包括大小为3×3，步长为2的第一卷积层；所述第二卷积单元和第三卷积单元结构相同，均包括依次连接的大小为3×3，步长为1的第一卷积层、批归一化层和Relu激活函数层。
进一步地，所述步骤S3中通过第三特征融合模块将结构特征与细节特征进行融合，所述第三特征融合模块与第一特征融合模块和第二特征融合模块结构相同。
进一步地，所述步骤S6具体为：
S6.1、对样本图像原图进行人工标记，获取包含裂缝特征的标签图像，并将标签图像划分为训练集和验证集；
S6.2、计算训练集中标签图像分别与裂缝概率图、1/8尺寸的特征和1/32尺寸的特征之间的监督损失，并通过监督损失获取损失函数值；
S6.3、根据损失函数值，采用梯度下降法对结构特征提取模块和细节特征提取模块进行训练，并选取训练过程中验证集损失函数值最小的模型作为最终模型；
所述损失函数Loss具体为：
Figure BDA0002769494220000041
其中，
Figure BDA0002769494220000051
和
Figure BDA0002769494220000052
分别表示标签图像与裂缝概率图、1/8尺寸的特征和1/32尺寸的特征的监督损失，α表示
Figure BDA0002769494220000053
的权重，β表示
Figure BDA0002769494220000054
的权重；
所述监督损失
Figure BDA0002769494220000055
和监督损失
Figure BDA0002769494220000056
的计算公式为：
Figure BDA0002769494220000057
其中，Ld表示监督损失，sum()表示集合的总和，P表示预测结果，Y表示标签图像，γ表示常数。
进一步地，所述步骤S8中对待识别图像的裂缝区域掩膜图进行裂缝识别的具体方法为：
C1、使用大小为3×3的领域算子对二值化的裂缝区域掩膜图进行计算，得到单像素骨架图；
C2、设定支路长度阈值，计算单像素骨架图上毛刺支路的像素数量，将像素数量小于支路长度阈值的毛刺支路删除，得到光滑的裂缝主干骨架；
C3、通过大小为5×5的领域算子沿裂缝主干骨架逐点算出每个位置的法线；
C4、根据裂缝主干骨架像素的法线方向，逐个计算每个点在法线方向上裂缝掩膜的像素个数作为其像素宽度特征，将光滑骨架的像素数量作为裂缝掩膜区域的像素级长度特征，并将裂缝掩膜区域的像素总数作为像素级面积特征，完成裂缝区域的量化特征识别结果。
基于上述方法，本发明还提供了一种裂缝识别装置，包括相互连接的采集模块和识别模块；所述采集模块用于采集待识别裂缝图像，所述识别模块用于对待识别裂缝图像进行裂缝识别，得到裂缝区域掩膜，进行裂缝识别，并输出识别结果。
基于上述方法，本发明还提供了一种裂缝识别设备，包括处理器、存储器、输入/输出接口、通信接口和总线；
所述处理器为中央处理器或微处理器，其用于运行包含裂缝识别方法的程序；所述存储器为ROM存储器和RAM存储器，其用于存储数据和可执行指令，其通过总线与处理器连接；所述输入/输出接口用于连接输入设备和输出设备，其通过总线与处理器连接；所述通信接口用于连接通信组件，其通过总线与处理器连接；
所述处理器用于加载可执行指令，以实现如权利要求1至7任一权利要求所述的裂缝识别方法中所执行的操作。
基于上述方法，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有可执行指令，所述可执行指令由处理器加载并执行，以实现如权利要求1至7任一权利要求所述的裂缝识别方法中所执行的操作。
本发明的有益效果为：
(1)本发明提出了一种基于神经网络的裂缝识别方法，提高了裂缝识别的效率以及准确度。
(2)本发明自动化处理水平较高，直接端到端地从待识别图像直接输出裂缝病害的量化特征及掩膜，可以极大地降低操作人员工作量，提高工作效率。
(3)本发明使用轻量化卷积网络在图像中提取低分辨率的多尺度高维结构特征，并使用金字塔池化与注意力机制对特征进行优化；同时使用低步长的浅层卷积模块提取细节特征，来进行特征补偿，可使速度和准确性达到最佳的平衡。
附图说明
图1为本发明提出的一种基于神经网络的裂缝识别方法；
图2为本发明提出的结构特征提取模块和细节特征提取模块示意图。
图3为本发明中注意力机制单元的结构示意图。
图4为本发明中裂缝识别设备示意图。
图5为本发明的实验结果对比图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
下面结合附图详细说明本发明的实施例。
实施例一
如图1所示，一种基于神经网络的裂缝识别方法，包括以下步骤：
S1、构建结构特征提取模块和细节特征提取模块；
S2、采集若干裂缝图像作为样本图像，并使用结构特征提取模块提取样本图像的结构特征以及使用细节特征提取模块提取样本图像的细节特征；
S3、将结构特征与细节特征融合，对融合特征通过双线性插值方法进行上采样，得到输入图像尺寸相同的采样特征；
S4、将采样特征通过大小为1×1的卷积层进行处理并归一化，获取裂缝概率图；
S5、设定概率的阈值，将裂缝概率图中小于阈值的概率值作为背景，将裂缝概率图中大于阈值的概率值作为裂缝，生成裂缝区域掩膜图；
S6、根据样本图像和裂缝概率图，对结构特征提取模块和细节特征提取模块进行训练；
S7、采集待识别图像，根据步骤S1-S5所述方法，通过训练后的结构特征提取模块和细节特征提取模块获取待识别图像的裂缝区域掩膜图；
S8、对待识别图像的裂缝区域掩膜图进行裂缝识别，得到裂缝识别结果。
如图2所示，所述步骤S1中结构特征提取模块包括轻量化卷积网络、金字塔池化单元、第一特征融合单元、第二特征融合单元和注意力机制单元；所述轻量化卷积网络分别与金字塔池化单元、第一特征融合单元和第二特征融合单元连接，所述金字塔池化单元通过第一特征融合单元与第二特征融合单元连接，所述第二特征融合单元与注意力机制单元连接，所述轻量化卷积网络的输入为结构特征提取模块的输入，所述注意力机制单元的输出为结构特征提取模块的输出；
所述步骤S1中细节特征提取模块包括3个依次连接的卷积单元。
所述步骤S2中使用结构特征提取模块提取样本图像的结构特征的具体方法为：
A1、将样本图像的原图输入轻量化卷积网络，获取样本图像原图的1/8尺寸、1/16尺寸和1/32尺寸的第一特征；
A2、通过金字塔池化单元中4种不同尺度的均值池化层对1/32尺寸的第一特征进行处理，得到1×1、2×2、3×3和6×6尺寸的第二特征；
A3、对每组特征进行双线性插值上采样操作，得到与输入特征尺寸相同的四组第三特征，并将所有第三特征与1/32尺寸的第一特征进行线性叠加，得到第一叠加特征；
A4、将第一叠加特征通过第一特征融合单元与1/16尺寸的第一特征融合，得到第二叠加特征；
A5、将第二叠加特征通过第二特征融合单元与1/8尺寸的第一特征融合，得到第三叠加特征；
A6、通过注意力机制单元对第三叠加特征进行处理，得到结构特征；
所述第一特征融合单元和第二特征融合单元结构相同，均包括依次连接的3×3卷积层、批归一化层和Relu函数层；
在本实施例中，所述注意力机制单元结构包括依次连接的通道注意力机制及空间注意力机制，通道注意力机制在特征维度上对特征进行精炼，空间注意力机制在空间维度上对特征进行精炼。
如图3所示，所述步骤A6中通过注意力机制单元对第三叠加特征进行处理包括使用通道注意力机制处理和使用空间注意力机制处理；所述使用通道注意力机制处理具体为：通道注意力机制并使用最大值池化层和均值池化层在空间维度对第三叠加特征进行并行池化，将池化后的两组特征分别通过两次全连接层处理后相加，将相加特征进行归一化后与输入特征相乘，完成通道注意力机制处理，实现特征维度上的注意力加权；所述使用空间注意力机制处理具体为：通过空间注意力机制使用最大值池化和均值池化在空间维度上对通道注意力机制处理后的特征进行并行池化，将池化后的两组特征在通道维度上进行拼接，使用一层卷积单元进行卷积输出，并将输出特征归一化后与通道注意力机制处理后的特征相乘，实现空间维度上的注意力加权，得到结构特征。
所述步骤S2中使用细节特征提取模块提取细节特征的具体方法为：使用3个依次连接的卷积单元对样本图像的原图进行处理，得到细节特征；
所述3个卷积单元包括第一卷积单元、第二卷积单元和第三卷积单元，所述第一卷积单元包括大小为3×3，步长为2的第一卷积层；所述第二卷积单元和第三卷积单元结构相同，均包括依次连接的大小为3×3，步长为1的第一卷积层、批归一化层和Relu激活函数层。
所述步骤S3中通过第三特征融合模块将结构特征与细节特征进行融合，所述第三特征融合模块与第一特征融合模块和第二特征融合模块结构相同。
所述步骤S6具体为：
S6.1、对样本图像原图进行人工标记，获取包含裂缝特征的标签图像，并将标签图像划分为训练集和验证集；
S6.2、计算训练集中标签图像分别与裂缝概率图、1/8尺寸的特征和1/32尺寸的特征之间的监督损失，并通过监督损失获取损失函数值；
S6.3、根据损失函数值，采用梯度下降法对结构特征提取模块和细节特征提取模块进行训练，并选取训练过程中验证集损失函数值最小的模型作为最终模型；
所述损失函数Loss具体为：
Figure BDA0002769494220000101
其中，
Figure BDA0002769494220000102
和
Figure BDA0002769494220000103
分别表示标签图像与裂缝概率图、1/8尺寸的特征和1/32尺寸的特征的监督损失，α表示
Figure BDA0002769494220000104
的权重，β表示
Figure BDA0002769494220000105
的权重；
所述监督损失
Figure BDA0002769494220000106
和监督损失
Figure BDA0002769494220000107
的计算公式为：
Figure BDA0002769494220000108
其中，Ld表示监督损失，sum()表示集合的总和，P表示预测结果，Y表示标签图像，γ表示常数。
所述步骤S8中对待识别图像的裂缝区域掩膜图进行裂缝识别的具体方法为：
C1、使用大小为3×3的领域算子对二值化的裂缝区域掩膜图进行计算，得到单像素骨架图；
C2、设定支路长度阈值，计算单像素骨架图上毛刺支路的像素数量，将像素数量小于支路长度阈值的毛刺支路删除，得到光滑的裂缝主干骨架；
C3、通过大小为5×5的领域算子沿裂缝主干骨架逐点算出每个位置的法线；
C4、根据裂缝主干骨架像素的法线方向，逐个计算每个点在法线方向上裂缝掩膜的像素个数作为其像素宽度特征，将光滑骨架的像素数量作为裂缝掩膜区域的像素级长度特征，并将裂缝掩膜区域的像素总数作为像素级面积特征，完成裂缝区域的量化特征识别结果。
实施例二
本发明还提供了一种裂缝识别装置，包括相互连接的采集模块和识别模块；所述采集模块用于采集待识别裂缝图像，所述识别模块用于对待识别裂缝图像进行裂缝识别，得到裂缝区域掩膜，进行裂缝识别，并输出识别结果。
实施例三
本发明还提供了一种裂缝识别设备，包括处理器、存储器、输入/输出接口、通信接口和总线；
如图4所示，所述处理器为中央处理器或微处理器，其用于运行包含裂缝识别方法的程序；所述存储器为ROM存储器和RAM存储器，其用于存储数据和可执行指令，其通过总线与处理器连接；所述输入/输出接口用于连接输入设备和输出设备，其通过总线与处理器连接；所述通信接口用于连接通信组件，其通过总线与处理器连接；
所述处理器用于加载可执行指令，以实现如权利要求1至7任一权利要求所述的裂缝识别方法中所执行的操作。
在本实施例中，提供了一种电子设备，由所述裂缝识别方法的计算机程序、硬件结构(处理器、存储器、输入/输出接口、通信接口及总线)、操作系统及其他应用程序组成。
处理器：可以由使用通用的中央处理器、微处理器、一个或多个组成的集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案；
存储器：可以采用ROM、RAM、静态存储设备，动态存储设备等形式实现，用于存储所述裂缝识别方法的计算机程序、操作系统及其他应用程序；
输入/输出接口：该组件用于连接各输入输出设备，以实现数据的输入及输出。输入设备包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等；
通信接口：用于连接本设备与外部其他设备，实现数据交互，通信方式可通过有线方式(USB、网口等)及无线方式(4G、5G、WIFI、蓝牙等)等实现；
总线：存储器、输入/输出接口及通信接口通过总线完成设备内部的通信物理连接。
实施例四
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有可执行指令，所述可执行指令由处理器加载并执行，以实现如权利要求1至7任一权利要求所述的裂缝识别方法中所执行的操作。
如图5所示，将FCN-8S、SegNet、ICNet、BiseNet、U-Net和本发明方法进行对比实验，可以从上述方法或网络与标签的对比可以发现，本发明的裂缝识别效果，明显优于其他方法或者网络，证明了本发明对裂缝识别有较高的精度。
本发明的有益效果为：
(1)本发明提出了一种基于神经网络的裂缝识别方法，提高了裂缝识别的效率以及准确度。
(2)本发明自动化处理水平较高，直接端到端地从待识别图像直接输出裂缝病害的量化特征及掩膜，可以极大地降低操作人员工作量，提高工作效率。
(3)本发明使用轻量化卷积网络在图像中提取低分辨率的多尺度高维结构特征，并使用金字塔池化与注意力机制对特征进行优化；同时使用低步长的浅层卷积模块提取细节特征，来进行特征补偿，可使速度和准确性达到最佳的平衡。

Claims (10)

1.一种基于神经网络的裂缝识别方法，其特征在于，包括以下步骤：
S1、构建结构特征提取模块和细节特征提取模块；
S2、采集若干裂缝图像作为样本图像，并使用结构特征提取模块提取样本图像的结构特征以及使用细节特征提取模块提取样本图像的细节特征；
S3、将结构特征与细节特征融合，对融合特征通过双线性插值方法进行上采样，得到输入图像尺寸相同的采样特征；
S4、将采样特征通过大小为1×1的卷积层进行处理并归一化，获取裂缝概率图；
S5、设定概率的阈值，将裂缝概率图中小于阈值的概率值作为背景，将裂缝概率图中大于阈值的概率值作为裂缝，生成裂缝区域掩膜图；
S6、根据样本图像和裂缝概率图，对结构特征提取模块和细节特征提取模块进行训练；
S7、采集待识别图像，根据步骤S1-S5所述方法，通过训练后的结构特征提取模块和细节特征提取模块获取待识别图像的裂缝区域掩膜图；
S8、对待识别图像的裂缝区域掩膜图进行裂缝识别，得到裂缝识别结果。
2.根据权利要求1所述的基于神经网络的裂缝识别方法，其特征在于，所述步骤S1中结构特征提取模块包括轻量化卷积网络、金字塔池化单元、第一特征融合单元、第二特征融合单元和注意力机制单元；所述轻量化卷积网络分别与金字塔池化单元、第一特征融合单元和第二特征融合单元连接，所述金字塔池化单元通过第一特征融合单元与第二特征融合单元连接，所述第二特征融合单元与注意力机制单元连接，所述轻量化卷积网络的输入为结构特征提取模块的输入，所述注意力机制单元的输出为结构特征提取模块的输出；
所述步骤S1中细节特征提取模块包括3个依次连接的卷积单元。
3.根据权利要求2所述的基于神经网络的裂缝识别方法，其特征在于，所述步骤S2中使用结构特征提取模块提取样本图像的结构特征的具体方法为：
A1、将样本图像的原图输入轻量化卷积网络，获取样本图像原图的1/8尺寸、1/16尺寸和1/32尺寸的第一特征；
A2、通过金字塔池化单元中4种不同尺度的均值池化层对1/32尺寸的第一特征进行处理，得到1×1、2×2、3×3和6×6尺寸的第二特征；
A3、对每组特征进行双线性插值上采样操作，得到与输入特征尺寸相同的四组第三特征，并将所有第三特征与1/32尺寸的第一特征进行线性叠加，得到第一叠加特征；
A4、将第一叠加特征通过第一特征融合单元与1/16尺寸的第一特征融合，得到第二叠加特征；
A5、将第二叠加特征通过第二特征融合单元与1/8尺寸的第一特征融合，得到第三叠加特征；
A6、通过注意力机制单元对第三叠加特征进行处理，得到结构特征；
所述第一特征融合单元和第二特征融合单元结构相同，均包括依次连接的3×3卷积层、批归一化层和Relu函数层；
所述步骤A6中通过注意力机制单元对第三叠加特征进行处理包括使用通道注意力机制处理和使用空间注意力机制处理；所述使用通道注意力机制处理具体为：通道注意力机制并使用最大值池化层和均值池化层在空间维度对第三叠加特征进行并行池化，将池化后的两组特征分别通过两次全连接层处理后相加，将相加特征进行归一化后与输入特征相乘，完成通道注意力机制处理；所述使用空间注意力机制处理具体为：通过空间注意力机制使用最大值池化和均值池化在空间维度上对通道注意力机制处理后的特征进行并行池化，将池化后的两组特征在通道维度上进行拼接，使用一层卷积单元进行卷积输出，并将输出特征归一化后与通道注意力机制处理后的特征相乘，得到结构特征。
4.根据权利要求3所述的基于神经网络的裂缝识别方法，其特征在于，所述步骤S2中使用细节特征提取模块提取细节特征的具体方法为：使用3个依次连接的卷积单元对样本图像的原图进行处理，得到细节特征；
所述3个卷积单元包括第一卷积单元、第二卷积单元和第三卷积单元，所述第一卷积单元包括大小为3×3，步长为2的第一卷积层；所述第二卷积单元和第三卷积单元结构相同，均包括依次连接的大小为3×3，步长为1的第一卷积层、批归一化层和Relu激活函数层。
5.根据权利要求4所述的基于神经网络的裂缝识别方法，其特征在于，所述步骤S3中通过第三特征融合模块将结构特征与细节特征进行融合，所述第三特征融合模块与第一特征融合模块和第二特征融合模块结构相同。
6.根据权利要求4所述的基于神经网络的裂缝识别方法，其特征在于，所述步骤S6具体为：
S6.1、对样本图像原图进行人工标记，获取包含裂缝特征的标签图像，并将标签图像划分为训练集和验证集；
S6.2、计算训练集中标签图像分别与裂缝概率图、1/8尺寸的特征和1/32尺寸的特征之间的监督损失，并通过监督损失获取损失函数值；
S6.3、根据损失函数值，采用梯度下降法对结构特征提取模块和细节特征提取模块进行训练，并选取训练过程中验证集损失函数值最小的模型作为最终模型；
所述损失函数Loss具体为：
Figure FDA0002769494210000031
其中，
Figure FDA0002769494210000041
和
Figure FDA0002769494210000042
分别表示标签图像与裂缝概率图、1/8尺寸的特征和1/32尺寸的特征的监督损失，α表示
Figure FDA0002769494210000043
的权重，β表示
Figure FDA0002769494210000044
的权重；
所述监督损失
Figure FDA0002769494210000045
和监督损失
Figure FDA0002769494210000046
的计算公式为：
Figure FDA0002769494210000047
其中，Ld表示监督损失，sum()表示集合的总和，P表示预测结果，Y表示标签图像，γ表示常数。
7.根据权利要求1所述的基于神经网络的裂缝识别方法，其特征在于，所述步骤S8中对待识别图像的裂缝区域掩膜图进行裂缝识别的具体方法为：
C1、使用大小为3×3的领域算子对二值化的裂缝区域掩膜图进行计算，得到单像素骨架图；
C2、设定支路长度阈值，计算单像素骨架图上毛刺支路的像素数量，将像素数量小于支路长度阈值的毛刺支路删除，得到光滑的裂缝主干骨架；
C3、通过大小为5×5的领域算子沿裂缝主干骨架逐点算出每个位置的法线；
C4、根据裂缝主干骨架像素的法线方向，逐个计算每个点在法线方向上裂缝掩膜的像素个数作为其像素宽度特征，将光滑骨架的像素数量作为裂缝掩膜区域的像素级长度特征，并将裂缝掩膜区域的像素总数作为像素级面积特征，完成裂缝区域的量化特征识别结果。
8.一种基于神经网络的裂缝识别装置，其特征在于，包括相互连接的采集模块和识别模块；所述采集模块用于采集待识别裂缝图像，所述识别模块用于对待识别裂缝图像进行裂缝识别，得到裂缝区域掩膜，进行裂缝识别，并输出识别结果。
9.一种基于神经网络的裂缝识别设备，其特征在于，包括处理器、存储器、输入/输出接口、通信接口和总线；
所述处理器为中央处理器或微处理器，其用于运行包含裂缝识别方法的程序；所述存储器为ROM存储器和RAM存储器，其用于存储数据和可执行指令，其通过总线与处理器连接；所述输入/输出接口用于连接输入设备和输出设备，其通过总线与处理器连接；所述通信接口用于连接通信组件，其通过总线与处理器连接；
所述处理器用于加载可执行指令，以实现如权利要求1至7任一权利要求所述的裂缝识别方法中所执行的操作。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有可执行指令，所述可执行指令由处理器加载并执行，以实现如权利要求1至7任一权利要求所述的裂缝识别方法中所执行的操作。
CN202011244353.8A 2020-11-10 2020-11-10 基于神经网络的裂缝识别方法、装置、设备及存储介质 Active CN112465748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011244353.8A CN112465748B (zh) 2020-11-10 2020-11-10 基于神经网络的裂缝识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011244353.8A CN112465748B (zh) 2020-11-10 2020-11-10 基于神经网络的裂缝识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112465748A true CN112465748A (zh) 2021-03-09
CN112465748B CN112465748B (zh) 2022-07-08

Family

ID=74825978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011244353.8A Active CN112465748B (zh) 2020-11-10 2020-11-10 基于神经网络的裂缝识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112465748B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177914A (zh) * 2021-04-15 2021-07-27 青岛理工大学 基于语义特征聚类的机器人焊接方法及系统
CN113506281A (zh) * 2021-07-23 2021-10-15 西北工业大学 一种基于深度学习框架的桥梁裂缝检测方法
CN113888537A (zh) * 2021-12-03 2022-01-04 深圳市网旭科技有限公司 掩模提取方法、装置、设备及存储介质
CN113989174A (zh) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 图像融合方法和图像融合模型的训练方法、装置
CN114114457A (zh) * 2021-11-09 2022-03-01 中国石油大学(北京) 基于多模态测井数据的裂缝表征方法、装置及设备
CN114120046A (zh) * 2022-01-25 2022-03-01 武汉理工大学 一种基于幻影卷积的轻量级工程结构裂缝识别方法及系统
CN114387405A (zh) * 2022-03-23 2022-04-22 武汉珈鹰智能科技有限公司 基于机器视觉的微小特征跨数量级快速定位方法和装置
CN114418937A (zh) * 2021-12-06 2022-04-29 北京邮电大学 路面裂缝检测方法以及相关设备
CN114648532A (zh) * 2022-05-23 2022-06-21 河南银金达新材料股份有限公司 一种基于光学识别的聚酯膜力学性能检测装置
CN115035371A (zh) * 2022-05-13 2022-09-09 西南石油大学 基于多尺度特征融合神经网络的井壁裂缝识别方法
WO2022193420A1 (zh) * 2021-03-17 2022-09-22 东南大学 近水桥梁多类型病害智能检测方法与无人船设备
CN116523888A (zh) * 2023-05-08 2023-08-01 北京天鼎殊同科技有限公司 路面裂缝的检测方法、装置、设备及介质
CN116993739A (zh) * 2023-09-27 2023-11-03 中国计量大学 一种基于深度学习的混凝土裂缝深度预测模型、方法及应用
CN117237359A (zh) * 2023-11-15 2023-12-15 天津市恒一机电科技有限公司 传送带撕裂检测方法、装置、存储介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710919A (zh) * 2018-05-25 2018-10-26 东南大学 一种基于多尺度特征融合深度学习的裂缝自动化勾画方法
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN111028217A (zh) * 2019-12-10 2020-04-17 南京航空航天大学 一种基于全卷积神经网络的图像裂缝分割方法
CN111222580A (zh) * 2020-01-13 2020-06-02 西南科技大学 一种高精度的裂缝检测方法
CN111257341A (zh) * 2020-03-30 2020-06-09 河海大学常州校区 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN111598861A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN111627012A (zh) * 2020-05-28 2020-09-04 华北电力大学（保定） 一种基于特征融合的深度神经网络表面缺陷检测方法
US10783406B1 (en) * 2019-04-26 2020-09-22 Zhejiang University Method for detecting structural surface cracks based on image features and bayesian data fusion

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710919A (zh) * 2018-05-25 2018-10-26 东南大学 一种基于多尺度特征融合深度学习的裂缝自动化勾画方法
US10783406B1 (en) * 2019-04-26 2020-09-22 Zhejiang University Method for detecting structural surface cracks based on image features and bayesian data fusion
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN111028217A (zh) * 2019-12-10 2020-04-17 南京航空航天大学 一种基于全卷积神经网络的图像裂缝分割方法
CN111222580A (zh) * 2020-01-13 2020-06-02 西南科技大学 一种高精度的裂缝检测方法
CN111257341A (zh) * 2020-03-30 2020-06-09 河海大学常州校区 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN111598861A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN111627012A (zh) * 2020-05-28 2020-09-04 华北电力大学（保定） 一种基于特征融合的深度神经网络表面缺陷检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CHUNCHENG FENG等: "Automatic Pixel-Level Crack Detection on Dam Surface Using Deep Convolutional Network", 《SENSORS》 *
MAHSA PAYAB等: "A Brief Review and a New Graph-Based Image Analysis for Concrete Crack Quantification", 《ARCHIVES OF COMPUTATIONAL METHODS IN ENGINEERING》 *
WEIDONG SONG等: "Automatic Pavement Crack Detection and Classification Using Multiscale Feature Attention Network", 《IEEE ACCESS》 *
XUEZHI XIANG等: "Pavement Crack Detection Network Based on Pyramid Structure and Attention Mechanism", 《IET IMAGE PROCESSING》 *
孙瑞赟: "复杂背景下桥梁路面裂缝检测与分割算法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
庞杰等: "基于可分离残差卷积与语义补偿的U-Net坝面裂缝分割", 《计算机工程》 *
曹锦纲等: "基于注意力机制的深度学习路面裂缝检测", 《计算机辅助设计与图形学学报》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022193420A1 (zh) * 2021-03-17 2022-09-22 东南大学 近水桥梁多类型病害智能检测方法与无人船设备
CN113177914A (zh) * 2021-04-15 2021-07-27 青岛理工大学 基于语义特征聚类的机器人焊接方法及系统
CN113177914B (zh) * 2021-04-15 2023-02-17 青岛理工大学 基于语义特征聚类的机器人焊接方法及系统
CN113506281A (zh) * 2021-07-23 2021-10-15 西北工业大学 一种基于深度学习框架的桥梁裂缝检测方法
CN113506281B (zh) * 2021-07-23 2024-02-27 西北工业大学 一种基于深度学习框架的桥梁裂缝检测方法
CN113989174A (zh) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 图像融合方法和图像融合模型的训练方法、装置
CN113989174B (zh) * 2021-10-29 2023-11-10 北京百度网讯科技有限公司 图像融合方法和图像融合模型的训练方法、装置
CN114114457A (zh) * 2021-11-09 2022-03-01 中国石油大学(北京) 基于多模态测井数据的裂缝表征方法、装置及设备
CN113888537A (zh) * 2021-12-03 2022-01-04 深圳市网旭科技有限公司 掩模提取方法、装置、设备及存储介质
CN114418937A (zh) * 2021-12-06 2022-04-29 北京邮电大学 路面裂缝检测方法以及相关设备
CN114418937B (zh) * 2021-12-06 2022-10-14 北京邮电大学 路面裂缝检测方法以及相关设备
CN114120046A (zh) * 2022-01-25 2022-03-01 武汉理工大学 一种基于幻影卷积的轻量级工程结构裂缝识别方法及系统
CN114120046B (zh) * 2022-01-25 2022-09-27 武汉理工大学 一种基于幻影卷积的轻量级工程结构裂缝识别方法及系统
CN114387405A (zh) * 2022-03-23 2022-04-22 武汉珈鹰智能科技有限公司 基于机器视觉的微小特征跨数量级快速定位方法和装置
CN114387405B (zh) * 2022-03-23 2022-06-28 武汉珈鹰智能科技有限公司 基于机器视觉的微小特征跨数量级快速定位方法和装置
CN115035371A (zh) * 2022-05-13 2022-09-09 西南石油大学 基于多尺度特征融合神经网络的井壁裂缝识别方法
CN115035371B (zh) * 2022-05-13 2023-09-12 西南石油大学 基于多尺度特征融合神经网络的井壁裂缝识别方法
CN114648532B (zh) * 2022-05-23 2022-08-23 河南银金达新材料股份有限公司 一种基于光学识别的聚酯膜力学性能检测装置
CN114648532A (zh) * 2022-05-23 2022-06-21 河南银金达新材料股份有限公司 一种基于光学识别的聚酯膜力学性能检测装置
CN116523888A (zh) * 2023-05-08 2023-08-01 北京天鼎殊同科技有限公司 路面裂缝的检测方法、装置、设备及介质
CN116523888B (zh) * 2023-05-08 2023-11-03 北京天鼎殊同科技有限公司 路面裂缝的检测方法、装置、设备及介质
CN116993739A (zh) * 2023-09-27 2023-11-03 中国计量大学 一种基于深度学习的混凝土裂缝深度预测模型、方法及应用
CN116993739B (zh) * 2023-09-27 2023-12-12 中国计量大学 一种基于深度学习的混凝土裂缝深度预测模型、方法及应用
CN117237359A (zh) * 2023-11-15 2023-12-15 天津市恒一机电科技有限公司 传送带撕裂检测方法、装置、存储介质和电子设备
CN117237359B (zh) * 2023-11-15 2024-02-20 天津市恒一机电科技有限公司 传送带撕裂检测方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN112465748B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN112465748B (zh) 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN112434721B (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN107403141B (zh) 人脸检测方法及装置、计算机可读存储介质、设备
CN110378222B (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN110570396A (zh) 一种基于深度学习的工业产品缺陷检测方法
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN113971660B (zh) 桥梁健康诊断的计算机视觉方法和智能摄像系统
CN107220643A (zh) 基于紧凑型神经网络的深度学习模型的交通标志识别系统
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN111429425B (zh) 一种基于深度学习的轧机入口异常识别方法
CN111368656A (zh) 一种视频内容描述方法和视频内容描述装置
CN111915618B (zh) 基于峰值响应增强的实例分割算法、计算设备
Duan et al. Image classification of fashion-MNIST data set based on VGG network
CN113159273A (zh) 一种神经网络的训练方法及相关设备
CN111429424A (zh) 一种基于深度学习的加热炉入口异常识别方法
CN114463637A (zh) 一种基于深度学习的冬小麦遥感识别分析方法和系统
CN115272826A (zh) 一种基于卷积神经网络的图像识别方法、装置及系统
CN116071338A (zh) 一种基于yolox的钢板表面缺陷检测方法、装置及设备
CN116229066A (zh) 人像分割模型的训练方法及相关装置
CN111611917A (zh) 模型训练方法、特征点检测方法、装置、设备及存储介质
CN112084941A (zh) 一种基于遥感图像的目标检测与识别方法
CN116580326A (zh) 一种航空环境安全风险防控检测及预警系统
CN115100402A (zh) 小样本分割模型、小目标检测方法、系统、介质及设备
CN114582012A (zh) 一种骨架人体行为识别方法、装置及设备
CN115880486B (zh) 一种目标检测网络蒸馏方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant