CN112950570B - 一种结合深度学习与密集连续中心点的裂纹检测方法 - Google Patents

一种结合深度学习与密集连续中心点的裂纹检测方法 Download PDF

Info

Publication number
CN112950570B
CN112950570B CN202110213680.5A CN202110213680A CN112950570B CN 112950570 B CN112950570 B CN 112950570B CN 202110213680 A CN202110213680 A CN 202110213680A CN 112950570 B CN112950570 B CN 112950570B
Authority
CN
China
Prior art keywords
deep learning
training
crack
network model
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110213680.5A
Other languages
English (en)
Other versions
CN112950570A (zh
Inventor
王森
林森
潘云龙
张印辉
杨荣良
王庆健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202110213680.5A priority Critical patent/CN112950570B/zh
Publication of CN112950570A publication Critical patent/CN112950570A/zh
Application granted granted Critical
Publication of CN112950570B publication Critical patent/CN112950570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合深度学习与密集连续中心点的裂纹检测方法，标注的单个边界框能表达裂纹的局部区域，再通过密集连续地标注形式能表达完整的裂纹信息，在大量减少多余背景的同时有效控制不同背景中结构体表面裂纹的差异，使得深度学习网络模型在图像级处理中所学习的特征更加集中，能更针对性的学习裂纹特征：通过多尺度残差单元搭建特征提取器来实现同尺度下多语义特征的兼顾，从而有助于扩大各尺度中结构体表面裂纹浅层粗糙特征的感受野；在感受野提升的同时通过设置自适应注意力模块可自适应的调整输出特征的分布，减少由于裂纹局部区域出现间隙、背景杂质干扰而带来的结构体表面裂纹及其相似背景信息难以区分的不足。

Description

一种结合深度学习与密集连续中心点的裂纹检测方法
技术领域
本发明涉及一种结合深度学习与密集连续中心点的裂纹检测方法，属于人工智能裂纹检测和计算机视觉领域。
背景技术
在实际工程应用中如果结构体表面裂纹未及时发现，将存在非常大的安全隐患。如何快速高效的将裂纹从结构体表面检测出来对工程项目的发展具有重大意义。
在传统的目标检测方法中，每个边界框都对应一个完整的检测目标，受限于裂纹外形多样性，若使用一个边界框表达裂纹整体的特征信息，并不利于有效特征的提取。
再者，计算机视觉领域中Segnet、FCN、U-Net等深度学习算法能将裂纹轮廓从背景中分割出来，但像素级的处理需要较高的时间成本且处理速度较慢。
发明内容
本发明提供了一种结合深度学习与密集连续中心点的裂纹检测方法，以用于通过密集连续标注的方式配合深度学习实现裂纹检测。
本发明的技术方案是：一种结合深度学习与密集连续中心点的裂纹检测方法，所述方法的具体步骤如下：
步骤1、收集裂纹图像数据集并将其划分为训练数据集和验证数据集；
步骤2、用一系列密集连续的标注框，分别对训练数据集和验证数据集进行标注得到训练集与验证集；
步骤3、利用浅层网络、多尺度残差单元、注意力模块和CenterNet检测算法构建深度学习网络模型雏形；
步骤4、对深度学习网络模型雏形进行消融实验，以确定多尺度残差单元的数量以及注意力模块的自适应加权方式，并最终得到深度学习网络模型；其中深度学习网络模型由浅层网络、多尺度残差单元、自适应加权注意力模块和CenterNet检测算法构成；
步骤5、正式训练之前，修改配置文件中的超参数，得到训练参数；
步骤6、调用训练集和配置文件开始对深度学习网络模型进行训练，训练结束得到最优的权重；
步骤7、用验证集对最优的权重性能进行评估，以量化权重的性能。
所述裂纹图像数据集由不同背景中多种结构体表面上形态各异的裂纹图像组成。
所述训练数据集与验证数据集分别占裂纹图像数据集的80％和20％。
所述步骤2的具体步骤如下：通过labelImg工具包对训练数据集与验证数据集进行密集连续标注，标注完成后得到用于训练的训练集和用于验证的验证集；其中密集连续标注具体为采用尺寸相同的方框沿着裂纹轨迹进行标注，方框的标注规律为方框中心点均落在裂纹的轨迹上且相邻方框中心点的直线距离为方框尺寸的一半。
所述浅层网络为一层卷积层和最大池化层。
所述步骤4进行消融实验的具体步骤如下：
步骤4.1、在其他条件相同的情况下通过改变骨干网络中的多尺度残差单元数量进而得到多个不同的深度学习网络模型雏形；
步骤4.2、对多个不同的深度学习网络模型雏形进行性能评估，再从中筛选性能最好的模型，从而确定不同尺度下多尺度残差单元的最佳数量；
步骤4.3、在步骤4.2所述性能最好的模型上设计多个不同的自适应加权方式；
步骤4.4、将未经过加权的模型与多个经过自适应加权注意力改进模型进行性能比较，从而得出最优的自适应加权方式；
步骤4.5、结合步骤4.2中所述最佳的多尺度残差单元数量关系与步骤4.4中所述最优的自适应加权方式，从而确定最终的深度学习网络模型。
所述自适应加权注意力模块具体为：对由通道注意力和空间注意力组成的注意力模块中的通道注意力进行自适应加权，即将多尺度残差单元提取到的高维特征映射，分别沿通道方向逐层进行最大池化和平均池化，最大池化通过多层感知机处理后得到特征向量1，平均池化通过多层感知机处理后得到特征向量2，然后分别与自适应加权值W1和W2进行相乘的结果求和，再将求和结果进行归一化得到最终的加权值，最后对初始的高维特征映射进行加权。
所述自适应加权值W1和W2具体为：
Figure BDA0002952337520000021
Figure BDA0002952337520000022
其中，MLP_Max表示特征向量1；MLP_Avg表示特征向量2；Softmax表示归一化指数函数。
所述配置文件中的超参数位于CenterNet-master工具包中的opt.py配置文件中，超参数主要调整抽取图片数、学习率、动量、迭代次数和权重衰减系数，其余参数均为默认值。
所述步骤6的具体步骤如下：
步骤6.1、对深度学习网络模型进行训练；训练的对象包括：标注框左上角和右下角的坐标、类别；训练结果的表现形式是训练后得到的权重；
步骤6.2、调用CenterNet-master工具包中的相关文件的开始训练，训练的具体过程如下：
步骤6.2.1、将opt.py配置文件中设置的超参数载入到深度学习网络模型；
步骤6.2.2、在训练集里随机抽取一个batch_size的图像作为当前训练样本；其中，batch_size表示抽取图片数；
步骤6.2.3、将步骤6.2.2中所述训练样本中的每一张图像依次放入深度学习网络模型中进行权重参数的更新；所述权重参数的更新，具体为：随机初始化权重参数再进行卷积神经网络的前向传播计算并得到一组中间参数，再使用该中间参数进行反向传播更新权重参数；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数；
步骤6.2.4、将步骤6.2.2中所述的训练样本中的所有图像完成一次前向和反向传播的过程记为一次对深度学习网络模型的训练，重复步骤步骤6.2.2～步骤6.2.3直至对网络模型训练次数达到设定的迭代次数为止；
步骤6.2.5、在步骤6.2.4整个训练完成后，筛选出性能最优的权重文件。
本发明的有益效果是：本发明将裂纹轨迹采用一系列密集连续的标注框进行标注，标注的单个边界框能表达裂纹的局部区域，再通过密集连续地标注形式能表达完整的裂纹信息，在大量减少多余背景的同时有效控制不同背景中结构体表面裂纹的差异，使得深度学习网络模型在图像级处理中所学习的特征更加集中，能更针对性的学习裂纹特征：通过多尺度残差单元搭建特征提取器来实现同尺度下多语义特征的兼顾，从而有助于扩大各尺度中结构体表面裂纹浅层粗糙特征的感受野；在感受野提升的同时通过设置自适应注意力模块可自适应的调整输出特征的分布，减少由于裂纹局部区域出现间隙、背景杂质干扰而带来的结构体表面裂纹及其相似背景信息难以区分的不足。
附图说明
图1为本发明的流程图；
图2为裂纹不同形态分类图；
图3为裂纹在不同背景下分类图；
图4为labelImg工具对裂纹标注方式图；
图5为多尺度残差单元原理图；
图6为通道注意力自适应加权原理图；
图7为空间注意力原理图；
图8为深度学习网络模型的结构图；
图9为训练模型的过程具体实施方式图；
图10为中心点检测结果输出的热力图；
图11为裂纹检测图。
具体实施方式
实施例1：如图1所示，一种结合深度学习与密集连续中心点的裂纹检测方法，所述方法的具体步骤如下：
步骤1、收集裂纹图像数据集并将其划分为训练数据集和验证数据集；
步骤2、用一系列密集连续的标注框，分别对训练数据集和验证数据集进行标注得到训练集与验证集；
步骤3、利用浅层网络、多尺度残差单元、注意力模块和CenterNet检测算法构建深度学习网络模型雏形；
步骤4、对深度学习网络模型雏形进行消融实验，以确定多尺度残差单元的数量以及注意力模块的自适应加权方式，并最终得到深度学习网络模型；其中深度学习网络模型由浅层网络、多尺度残差单元、自适应加权注意力模块和CenterNet检测算法构成；
步骤5、正式训练之前，修改配置文件中的超参数，得到训练参数；
步骤6、调用训练集和配置文件开始对深度学习网络模型进行训练，训练结束得到最优的权重；
步骤7、用验证集对最优的权重性能进行评估，以量化权重的性能，使得结果更直观。
再进一步，本申请给出如下具体的实施步骤：
所述结构体裂纹数据集通过相机拍摄获取不同背景中多种结构体表面上形态各异的裂纹图像，即根据实际场景采集各种裂纹图像。比如，本实施例收集的结构体裂纹图像根据不同背景可分为模糊背景、干净背景、杂质背景；所述多个结构体表面包括泥墙、石墙、混凝土墙和陶瓷的表面；所述裂纹的形态主要有单一裂纹、交叉裂纹、多裂纹和复杂裂纹四种。按裂纹裂纹形态分类图2所示；背景的多样化和复杂性以及裂纹形态各异有助于提高该深度学习网络模型的泛化能力，对所采集的结构体裂纹图像按背景分类如图3。
所述结构体裂纹数据集划分为训练数据集、验证数据集。在本实施例中，采集了裂纹图像数据集共有1000张；其中训练数据集800张，验证数据集200张；后续可以采集需要测试的裂纹图像再进行测试。
所述步骤2的具体步骤如下：在labelImg工具包上先设置标注的类别为裂纹(crack)，通过labelImg工具包对训练数据集与验证数据集进行密集连续标注，标注完成后得到用于训练的训练集和用于验证的验证集；其中密集连续标注具体为采用尺寸相同的方框沿着裂纹轨迹进行标注，方框的标注规律为方框中心点均落在裂纹的轨迹上且相邻方框中心点的直线距离为方框尺寸的一半；其中相邻为连续标注过程中形成的相邻。所述用labelImg工具包标注效果如图4所示。
所述步骤3中的多尺度残差单元原理如图5所示，输入经过1×1的卷积核(Conv1×1)提取特征，再沿通道方向进行恒等均分，得到多个不同通道尺度的特征子块Xi。其次，通过多个卷积宽度相同的3×3卷积核(Conv3×3)分别提取特征子块Xi并得到多个不同的输出特征。然后，将所有输出特征在通道方向进行堆叠得到重组特征Yi，最后，利用1×1卷积核压缩通道信息后输出。多尺度残差单元可以从输入特征中够获取更多通道信息，也有助于扩大骨干网络的感受野。
所述步骤3中的自适应加权注意力模块原理如图6所示，注意力模块由通道注意力和空间注意力组成。对通道注意力进行修改，使得通道注意力可以进行自适应加权，即通道注意力自适应加权，所述通道注意力自适应加权就是将骨干网络提取到的高维特征映射，分别沿通道方向逐层进行最大池化和平均池化，最大池化通过多层感知机处理后得到特征向量1，平均池化通过多层感知机处理后得到特征向量2，然后分别与自适应加权值W1和W2进行相乘的结果求和(G表示求和结果)，再将G进行归一化得到最终的加权值。所述自适应加权值W1和W2的计算方式如下公式(1)和公式(2)，是通过将多层感知机输出的两个结果分别进行归一化处理(Softmax)后得到的加权值W1和W2，自适应加权值可以根据特征的信息自动的更变数值。最后对初始的高维特征映射进行加权(即F×Mg)。通道注意力自适应加权与空间注意力都采用全局池化获取全局信息，二者的区别在于通道注意力自适应加权沿通道方向整体进行全局池化，侧重于提取沿通道方向的明显特征，有助于判断特征映射中与结构体表面裂纹特征有关的内容，有利于区分背景信息与裂纹，提高CenterNet检测算法检测形态各异裂纹的精度。其中W1与W2的计算方式如下：
Figure BDA0002952337520000061
Figure BDA0002952337520000062
其中，MLP_Max表示特征向量1；MLP_Avg表示特征向量2；而Softmax函数表达式如下：
Figure BDA0002952337520000063
其中i＝1,2Z1＝MLP_Max/(MLP_Max+MLP_Avg),Z2＝MLP_Avg/(MLP_Max+MLP_Avg)其中sigmoid函数的表达式如下：
Figure BDA0002952337520000064
其中G表示为特征向量1和特征向量2分别与W1和W2进行相乘后求和的结果
空间注意力原理如图7所示，所述空间注意力是将每个通道进行平均池化和最大池化，将结果进行拼接，然后再利用7×7×1的卷积将得到的特征信息进一步压缩，最后进行归一化得到空间注意力的加权值。空间注意力有利于提取不同通道信息的差异，即空间注意力在每个通道进行最大池化，可以提取每个通上最为活跃的信息，而平局池化可以得到与背景信息相融合的信息。因此空间注意力侧重于区分结构体表面裂纹特征与背景之间的位置差异，有助于提高CenterNet检测算法在复杂背景下的检测效果。
所述步骤4进行消融实验的具体步骤如下：
步骤4.1、在其他条件相同的情况下通过改变骨干网络中的多尺度残差单元数量进而得到多个不同的深度学习网络模型雏形；
步骤4.2、对多个不同的深度学习网络模型雏形进行性能评估，再从中筛选性能最好的模型，从而确定不同尺度下多尺度残差单元的最佳数量；
步骤4.3、在步骤4.2所述性能最好的模型上设计多个不同的自适应加权方式；所述多个不同的自适应加权方式包括利用输入特征进行归一化得到自适应加权值(softmax(F)×F，F表示输入特征)、利用全局池化特征得到自适应加权值(F×Mg,Mg表示基于通道注意力的全局池化特征)以及同时使用输入特征归一化与全局池化特征得到自适应加权值(softmax(F)×F×Mg)；
步骤4.4、将未经过加权的模型与多个经过自适应加权注意力改进模型进行性能比较，从而得出最优的自适应加权方式；
步骤4.5、结合步骤4.2中所述最佳的多尺度残差单元数量关系与步骤4.4中所述最优的自适应加权方式，从而确定最终的深度学习网络模型。
所述步骤4中经过消融实验获得深度学习网络模型，其具体模型结构如下：主要由浅层网络、骨干网络、颈部和头部组成。浅层网络由1个步长为2的7×7卷积(Conv 7×7)和一个最大池化操作组成。骨干网络由4个多尺度残差模块组成，颈部和头部分别由注意力模块和可变形卷积模块组成。其中深度学习网络模型结构输入数据是图片，输出的是图片的热力图以及预测框图。所述深度学习网络模型结构具体如8所示。
针对消融实验给出结果如表1所示，表中，RH-Res_26表示一个深度学习网络模型雏形，26表示网络层数，其它同理；通过表1表明，RH-Res_50模型确定的不同尺度下多尺度残差单元的数量最佳为3-4-6-3，根据该模型采用不同的自适应加权方式获得的结果可知F×Mg效果获得的效果最好。
表1消融实验结果
Figure BDA0002952337520000071
所述步骤6训练模型的过程具体实施方式如图9所示，先在CenterNnet中opt.py配置文件设置抽取图片数batch_size＝8、超参数学习率＝0.001、动量＝0.9、权重衰减系数＝0.0005，迭代次数＝500并在迭代训练360次和420次后依次衰减10倍学习率，其余参数默认，开始训练，载入深度学习的网络模型，根据batch_size的大小按批次调入图像进行训练，根据设定的参数，当迭代次数达所设定的次数到后输出一次权重，然后筛选出最优的权重，通过验证集对权重的性能进行量化评估，查看评估的结果如准确率、召回率、平均精度均值等整体量化最优权重的性能。最后进行裂纹检测，将得到的最优权重加载到深度学习网络模型，检测裂纹图像输出裂纹图像热力图以及裂纹的预测框图分别如图10和图11所示。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种结合深度学习与密集连续中心点的裂纹检测方法，其特征在于：所述方法的具体步骤如下：
步骤1、收集裂纹图像数据集并将其划分为训练数据集和验证数据集；
步骤2、用一系列密集连续的标注框，分别对训练数据集和验证数据集进行标注得到训练集与验证集；
步骤3、利用浅层网络、多尺度残差单元、注意力模块和CenterNet检测算法构建深度学习网络模型雏形；
步骤4、对深度学习网络模型雏形进行消融实验，以确定多尺度残差单元的数量以及注意力模块的自适应加权方式，并最终得到深度学习网络模型；其中深度学习网络模型由浅层网络、多尺度残差单元、自适应加权注意力模块和CenterNet检测算法构成；
步骤5、正式训练之前，修改配置文件中的超参数，得到训练参数；
步骤6、调用训练集和配置文件开始对深度学习网络模型进行训练，训练结束得到最优的权重；
步骤7、用验证集对最优的权重性能进行评估，以量化权重的性能；
所述步骤4进行消融实验的具体步骤如下：
步骤4.1、在其他条件相同的情况下通过改变骨干网络中的多尺度残差单元数量进而得到多个不同的深度学习网络模型雏形；
步骤4.2、对多个不同的深度学习网络模型雏形进行性能评估，再从中筛选性能最好的模型，从而确定不同尺度下多尺度残差单元的最佳数量；
步骤4.3、在步骤4.2所述性能最好的模型上设计多个不同的自适应加权方式；
步骤4.4、将未经过加权的模型与多个经过自适应加权注意力改进模型进行性能比较，从而得出最优的自适应加权方式；
步骤4.5、结合步骤4.2中所述最佳的多尺度残差单元数量关系与步骤4.4中所述最优的自适应加权方式，从而确定最终的深度学习网络模型。
2.根据权利要求1所述的结合深度学习与密集连续中心点的裂纹检测方法，其特征在于：所述裂纹图像数据集由不同背景中多种结构体表面上形态各异的裂纹图像组成。
3.根据权利要求1所述的结合深度学习与密集连续中心点的裂纹检测方法，其特征在于：所述训练数据集与验证数据集分别占裂纹图像数据集的80％和20％。
4.根据权利要求1所述的结合深度学习与密集连续中心点的裂纹检测方法，其特征在于：所述步骤2的具体步骤如下：通过labelImg工具包对训练数据集与验证数据集进行密集连续标注，标注完成后得到用于训练的训练集和用于验证的验证集；其中密集连续标注具体为采用尺寸相同的方框沿着裂纹轨迹进行标注，方框的标注规律为方框中心点均落在裂纹的轨迹上且相邻方框中心点的直线距离为方框尺寸的一半。
5.根据权利要求1所述的结合深度学习与密集连续中心点的裂纹检测方法，其特征在于：所述浅层网络为一层卷积层和最大池化层。
6.根据权利要求1所述的结合深度学习与密集连续中心点的裂纹检测方法，其特征在于：所述自适应加权注意力模块具体为：对由通道注意力和空间注意力组成的注意力模块中的通道注意力进行自适应加权，即将多尺度残差单元提取到的高维特征映射，分别沿通道方向逐层进行最大池化和平均池化，最大池化通过多层感知机处理后得到特征向量1，平均池化通过多层感知机处理后得到特征向量2，然后分别与自适应加权值W1和W2进行相乘的结果求和，再将求和结果进行归一化得到最终的加权值，最后对初始的高维特征映射进行加权。
7.根据权利要求6所述的结合深度学习与密集连续中心点的裂纹检测方法，其特征在于：所述自适应加权值W1和W2具体为：
Figure FDA0003529818620000021
Figure FDA0003529818620000022
其中，MLP_Max表示特征向量1；MLP_Avg表示特征向量2；Softmax表示归一化指数函数。
8.根据权利要求1所述的结合深度学习与密集连续中心点的裂纹检测方法，其特征在于：所述配置文件中的超参数位于CenterNet-master工具包中的opt.py配置文件中，超参数主要调整抽取图片数、学习率、动量、迭代次数和权重衰减系数，其余参数均为默认值。
9.根据权利要求1所述的结合深度学习与密集连续中心点的裂纹检测方法，其特征在于：所述步骤6的具体步骤如下：
步骤6.1、对深度学习网络模型进行训练；训练的对象包括：标注框左上角和右下角的坐标、类别；训练结果的表现形式是训练后得到的权重；
步骤6.2、调用CenterNet-master工具包中的相关文件的开始训练，训练的具体过程如下：
步骤6.2.1、将opt.py配置文件中设置的超参数载入到深度学习网络模型；
步骤6.2.2、在训练集里随机抽取一个batch_size的图像作为当前训练样本；其中，batch_size表示抽取图片数；
步骤6.2.3、将步骤6.2.2中所述训练样本中的每一张图像依次放入深度学习网络模型中进行权重参数的更新；所述权重参数的更新，具体为：随机初始化权重参数再进行卷积神经网络的前向传播计算并得到一组中间参数，再使用该中间参数进行反向传播更新权重参数；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数；
步骤6.2.4、将步骤6.2.2中所述的训练样本中的所有图像完成一次前向和反向传播的过程记为一次对深度学习网络模型的训练，重复步骤6.2.2～步骤6.2.3直至对网络模型训练次数达到设定的迭代次数为止；
步骤6.2.5、在步骤6.2.4整个训练完成后，筛选出性能最优的权重文件。
CN202110213680.5A 2021-02-25 2021-02-25 一种结合深度学习与密集连续中心点的裂纹检测方法 Active CN112950570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110213680.5A CN112950570B (zh) 2021-02-25 2021-02-25 一种结合深度学习与密集连续中心点的裂纹检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110213680.5A CN112950570B (zh) 2021-02-25 2021-02-25 一种结合深度学习与密集连续中心点的裂纹检测方法

Publications (2)

Publication Number Publication Date
CN112950570A CN112950570A (zh) 2021-06-11
CN112950570B true CN112950570B (zh) 2022-05-17

Family

ID=76246238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110213680.5A Active CN112950570B (zh) 2021-02-25 2021-02-25 一种结合深度学习与密集连续中心点的裂纹检测方法

Country Status (1)

Country Link
CN (1) CN112950570B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642558A (zh) * 2021-08-16 2021-11-12 云南电网有限责任公司电力科学研究院 耐张线夹压接缺陷的x射线图像识别方法及装置
CN114550382B (zh) * 2022-01-26 2023-07-04 南京科融数据系统股份有限公司 一种atm机钱箱管理方法及系统
CN114580631B (zh) * 2022-03-04 2023-09-08 北京百度网讯科技有限公司 模型的训练方法、烟火检测方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162583A (ja) * 2004-11-10 2006-06-22 Taisei Corp ひび割れ検出方法
CN107909564A (zh) * 2017-10-23 2018-04-13 昆明理工大学 一种基于深度学习的全卷积网络图像裂纹检测方法
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN111369562A (zh) * 2020-05-28 2020-07-03 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4980739B2 (ja) * 2007-01-31 2012-07-18 大成建設株式会社 ひび割れ検出方法
US10136143B2 (en) * 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
CN110415170B (zh) * 2019-06-24 2022-12-16 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN111311518B (zh) * 2020-03-04 2023-05-26 清华大学深圳国际研究生院 基于多尺度混合注意力残差网络的图像去噪方法及装置
CN112261414B (zh) * 2020-09-27 2021-06-29 电子科技大学 一种以注意力机制融合单元划分的视频编码卷积滤波方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162583A (ja) * 2004-11-10 2006-06-22 Taisei Corp ひび割れ検出方法
CN107909564A (zh) * 2017-10-23 2018-04-13 昆明理工大学 一种基于深度学习的全卷积网络图像裂纹检测方法
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN111369562A (zh) * 2020-05-28 2020-07-03 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112950570A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112950570B (zh) 一种结合深度学习与密集连续中心点的裂纹检测方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
CN110675370A (zh) 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN113034483B (zh) 基于深度迁移学习的烟支缺陷检测方法
CN110197205A (zh) 一种多特征来源残差网络的图像识别方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
CN111583148A (zh) 基于生成对抗网络的岩心图像重构方法
CN111507998A (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN112488935B (zh) 基于纹理约束和泊松融合的生成对抗指静脉图像修复方法
CN113155464B (zh) 面向轴承故障识别的cnn模型可视化优化方法
Savino et al. Automated classification of civil structure defects based on convolutional neural network
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN114972216A (zh) 一种纹理表面缺陷检测模型的构建方法及其应用
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN116012310A (zh) 基于线性残差注意力的跨海大桥桥墩表面裂缝检测方法
CN112308825A (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN114529730A (zh) 一种基于lbp特征的卷积神经网络地面材质图像分类方法
CN114511521A (zh) 基于多重表示与多重子域自适应的轮胎瑕疵检测方法
CN112766419A (zh) 一种基于多任务学习的图像质量评估方法及装置
CN111401209B (zh) 一种基于深度学习的动作识别方法
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN113112482A (zh) 一种基于注意力机制网络的pcb缺陷检测方法
CN112560894A (zh) 一种改进型3d卷积网络高光谱遥感影像分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant