CN111507998B - 基于深度级联的多尺度激励机制隧道表面缺陷分割方法 - Google Patents

基于深度级联的多尺度激励机制隧道表面缺陷分割方法 Download PDF

Info

Publication number
CN111507998B
CN111507998B CN202010312507.6A CN202010312507A CN111507998B CN 111507998 B CN111507998 B CN 111507998B CN 202010312507 A CN202010312507 A CN 202010312507A CN 111507998 B CN111507998 B CN 111507998B
Authority
CN
China
Prior art keywords
image
neural network
scale
cascade
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010312507.6A
Other languages
English (en)
Other versions
CN111507998A (zh
Inventor
汪俊
冯一箪
李大伟
魏明强
刘树亚
李虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010312507.6A priority Critical patent/CN111507998B/zh
Publication of CN111507998A publication Critical patent/CN111507998A/zh
Application granted granted Critical
Publication of CN111507998B publication Critical patent/CN111507998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度级联的多尺度激励机制隧道表面缺陷分割方法，采集原始裂缝图像，对图像进行预处理并扩充图像数据集，从扩充后的图像数据集中划分出训练集和测试集；构建深度级联神经网络，以Resnet16网络为基础，全部剔除Resnet16的批正则化层BN，所有的卷积块替换成多尺度激励模块，同时将网络模型进行级联；训练全卷积神经网络；裂缝识别效果测试，图像识别应用。本发明可快速识别隧道表面缺陷特征，具有效率高，准确率高，实用性强的优点。

Description

基于深度级联的多尺度激励机制隧道表面缺陷分割方法
技术领域
本发明涉及一种隧道表面缺陷分割方法，特别是一种基于深度级联的多尺度激励机制隧道表面缺陷分割方法，属于计算机视觉、图像处理领域。
背景技术
近年来，随着我国社会的进步、经济的发展，基础设施建设的规模越来越大，地铁也慢慢成为人们的主要出行工具。地铁的运行安全不仅与人民的生命安全息息相关,也直接影响国家财产安全,因此,将自动化监测技术运用到地铁隧道监测中,不仅可以为地铁的安全运行提供保障,还能够实时监测隧道情况,排除安全隐患,降低事故发生率。
但目前已有的裂缝识别分割方法大多依赖于人工巡检，不仅检测效率低，速度慢，而且具有极大的主观性。而深度学习算法，可以克服使用传统图像处理进行缺陷分割的现有限制。具体来说，深度学习已经成功地应用于图像分类等识别任务，同时具有高度的抽象(概括)和学习能力，提取图像中抽象的语义特征，这些特征是分割混凝土裂缝等损伤的关键。相对于传统提取图像特征的方法，卷积神经网络对待分割目标具有更强的表达能力。
发明内容
本发明所要解决的技术问题是提供一种基于深度级联的多尺度激励机制隧道表面缺陷分割方法，提高隧道缺陷分割的精度。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于深度级联的多尺度激励机制隧道表面缺陷分割方法，其特征在于包含以下步骤：
步骤一：采集原始裂缝图像，对图像进行预处理，建立并扩充图像数据集，从扩充后的图像数据集中划分出训练集和测试集；
步骤二：构建深度级联神经网络，以Resnet16网络为基础，全部剔除Resnet16的批正则化层BN，所有的卷积块替换成多尺度激励模块，同时将网络模型进行级联；
步骤三：训练全卷积神经网络，采用训练集样本对步骤二构建的深度级联神经网络进行训练，经过前向传播后逐像素计算Softmax分类的损失，根据计算出的loss值来更新网络的权重,当网络模型趋向于收敛时，停止训练模型并且保存模型的权重；
步骤四：裂缝识别效果测试，利用步骤三中训练好的深度级联神经网络模型，将测试集中的样本输入网络模型中，生成裂缝分割结果图；
步骤五：图像识别应用，将待分割图像输入完成测试的深度级联神经网络模型中，深度级联网络自动输出隧道表面缺陷分割结果。
进一步地，其特征在于：所述步骤一中，图像预处理过程为采用高斯滤波器，对原始裂缝图像进行初步处理，滤除干扰噪声提升图像质量。
进一步地，所述步骤一中，将预处理后的图像数据随机打乱顺序，随机从中选取60％作为训练集，随机选20％作为验证集，剩余20％作为测试集。
进一步地，所述步骤二中，构建的深度级联神经网络总体由16个残差块组成。每个残差块中依次包含多尺度卷积模块，非线性激活函数，多尺度卷积模块，非线性激活函数，激励机制模块。
进一步地，所述非线性激活函数为ReLu函数，其公式为f(x)＝max(0,x)，其中x为的输入向量。
进一步地，所述多尺度卷积模块由三个并行的空洞卷积函数组成，从上到下的空洞卷积的空洞率为1、3和5。
进一步地，所述激励机制模块有5层，依次是全局均值pooling层，全连接层，激活函数层，全连接层，激活函数层。
进一步地，所述激活函数层的激活函数为sigmod激活函数。
进一步地，所述步骤三训练全卷积神经网络过程中，建立基于pytorch深度学习库搭建的损失函数和优化器；使用交叉熵函数作为损失函数，所述损失函数为
Figure BDA0002458378200000031
其中，i表示图像中的像素点，n表示图像像素点的总数，ytrue表示像素点i的期望输出，ypred表示像素点i的实际输出。
本发明与现有技术相比，具有以下优点和效果：本发明可快速识别隧道表面缺陷特征，并将缺陷形状从其背景图案中分割出来，对隧道表面缺陷分割出来，节省人力成本并排除人为主观因素的干扰，同时通过深度级联的方式，本发明的分割方法具有效率高，准确率高，实用性强的优点。
附图说明
图1是本发明的基于深度级联的多尺度激励机制隧道表面缺陷分割方法的流程图。
图2是本发明的深度级联神经网络结构示意图；
图3是本发明的多尺度激励模块的示意图；
图4是本发明实施例的输入的隧道表面图像示意图。
图5是本发明实施例的处理结果的示意图。
具体实施方式
为了进一步阐明本发明的工作原理和工作过程，下面结合附图与具体实施例对本发明方法做详细的介绍。
如图1所示，本发明的一种基于深度级联的多尺度激励机制隧道表面缺陷分割方法，包含以下步骤：
S1：采集原始裂缝图像，对图像进行预处理，建立并扩充图像数据集，从扩充后的图像数据集中划分出训练集和测试集；图像预处理过程为采用高斯滤波器，对原始裂缝图像进行初步处理，滤除干扰噪声提升图像质量。使用数据增强中的裁剪、缩放、翻转功能扩充图像数据集。将处理后的图像数据随机打乱顺序，随机从中选取60％作为训练集，随机选20％作为验证集，剩余20％作为测试集。然后制作数据对应的标签，缺陷的地方设为1，像素值为255，背景为0，像素值为0。
高斯滤波器对原始图像滤除干扰噪声，具体算法为：
假设图像中某像素点的灰度为f(x,y)，它的邻域S为M×N的矩形窗口，则用高斯滤波算法进行滤波后，该像素点的灰度为：
Figure BDA0002458378200000041
其中，θ代表设置的权重，这里设置为0.4。
S2：构建深度级联神经网络，以Resnet16网络为基础，全部剔除Resnet16的批正则化层BN，所有的卷积块替换成多尺度激励模块，同时将网络模型进行级联，以此得到更精确的缺陷分割结果。如图2所示，构建的深度级联神经网络总体由16个残差块组成。每个残差块中依次包含多尺度卷积模块，非线性激活函数，多尺度卷积模块，非线性激活函数，激励机制模块。
卷积层中每个神经元的权值矩阵被称为卷积核或滤波器，卷积核与输入之间是局部连接的，通过训练，卷积操作提取出图像中的语义特征，每个卷积层的通道数目设置为64。
非线性激活函数为ReLu函数，其公式为f(x)＝max(0,x)，其中x为进入神经元的来自上一层神经网络的输入向量。本实施例构建的深度级联神经网中输入图像的维度没有发生大小上的变化。所以输入图像后依次经过16个残差块。
如图3所示，多尺度卷积模块由三个并行的空洞卷积函数组成，从上到下的空洞卷积的空洞率为1、3和5。输入的特征经过三个平行的空洞卷积，提取出更丰富的上下文多尺度信息。由于三个空洞卷积的空洞率分别为1、3和5，在多次叠加后，整个网络的感受野将会非常的大。这十分有利于充分提取到隧道表面缺陷特征。激励机制模块有5层，依次是全局均值pooling层，全连接层，激活函数层，全连接层，激活函数层。激活函数层的激活函数为sigmod激活函数。激励机制能够自动给各个提取到的特征通道赋予不同的权重，这可以让模型自动学习提取出对缺陷分割贡献更高的特征。
采用级联方式，将初步结果级联到模型上，使之重新通过模型，本次级联一共重复三次。
S3：训练全卷积神经网络，采用训练集样本对步骤二构建的深度级联神经网络进行训练，经过前向传播后逐像素计算Softmax分类的损失，根据计算出的loss值来更新网络的权重,当网络模型趋向于收敛时，停止训练模型并且保存模型的权重；
训练过程中，建立基于pytorch深度学习库搭建的损失函数和优化器；使用交叉熵函数作为损失函数，所述损失函数为
Figure BDA0002458378200000061
Figure BDA0002458378200000062
其中，i表示图像中的像素点，n表示图像像素点的总数，ytrue表示像素点i的期望输出，ypred表示像素点i的实际输出。
训练参数设置为：使用SGD优化器，一共训练100K次，优化器的初始学习率为0.01，每过10k次学习率减低一半。
S4：裂缝识别效果测试，利用步骤三中训练好的深度级联神经网络模型，将测试集中的样本输入网络模型中，生成裂缝分割结果图；
如图5所示，是将图4输入本实施例全卷积深度学习模型的自动化识别的结果。本实施例搭建的全卷积深度学习模型具有良好识别准确度。
S5：图像识别应用，将待分割图像输入完成测试的深度级联神经网络模型中，深度级联网络自动输出隧道表面缺陷分割结果。
本发明可快速识别隧道表面缺陷特征，并将缺陷形状从其背景图案中分割出来，对隧道表面缺陷分割出来，节省人力成本并排除人为主观因素的干扰，同时通过深度级联的方式，本发明的分割方法具有效率高，准确率高，实用性强的优点。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。

Claims (4)

1.一种基于深度级联的多尺度激励机制隧道表面缺陷分割方法，其特征在于包含以下步骤：
步骤一：采集原始裂缝图像，对图像进行预处理，建立并扩充图像数据集，从扩充后的图像数据集中划分出训练集和测试集；
步骤二：构建深度级联神经网络，以Resnet16网络为基础，全部剔除Resnet16的批正则化层BN，所有的卷积块替换成多尺度激励模块，同时将网络模型进行级联；
所述步骤二中，构建的深度级联神经网络总体由16个残差块组成；每个残差块中依次包含多尺度卷积模块，非线性激活函数，多尺度卷积模块，非线性激活函数，激励机制模块；
所述非线性激活函数为ReLu函数，其公式为f(x)＝max(0,x)，其中x为的输入向量；
所述多尺度卷积模块由三个并行的空洞卷积函数组成，从上到下的空洞卷积的空洞率为1、3和5；
所述激励机制模块有5层，依次是全局均值pooling层，全连接层，激活函数层，全连接层，激活函数层；
所述激活函数层的激活函数为sigmod激活函数；
步骤三：训练全卷积神经网络，采用训练集样本对步骤二构建的深度级联神经网络进行训练，经过前向传播后逐像素计算Softmax分类的损失，根据计算出的loss值来更新网络的权重,当网络模型趋向于收敛时，停止训练模型并且保存模型的权重；
步骤四：裂缝识别效果测试，利用步骤三中训练好的深度级联神经网络模型，将测试集中的样本输入网络模型中，生成裂缝分割结果图；
步骤五：图像识别应用，将待分割图像输入完成测试的深度级联神经网络模型中，深度级联网络自动输出隧道表面缺陷分割结果。
2.按照权利要求1所述的一种基于深度级联的多尺度激励机制隧道表面缺陷分割方法，其特征在于：所述步骤一中，图像预处理过程为采用高斯滤波器，对原始裂缝图像进行初步处理，滤除干扰噪声提升图像质量。
3.按照权利要求1所述的一种基于深度级联的多尺度激励机制隧道表面缺陷分割方法，其特征在于：所述步骤一中，将预处理后的图像数据随机打乱顺序，随机从中选取60％作为训练集，随机选20％作为验证集，剩余20％作为测试集。
4.按照权利要求1所述的一种基于深度级联的多尺度激励机制隧道表面缺陷分割方法，其特征在于：所述步骤三训练全卷积神经网络过程中，建立基于pytorch深度学习库搭建的损失函数和优化器；使用交叉熵函数作为损失函数，所述损失函数为
Figure FDA0003382152140000021
其中，i表示图像中的像素点，n表示图像像素点的总数，ytrue表示像素点i的期望输出，ypred表示像素点i的实际输出。
CN202010312507.6A 2020-04-20 2020-04-20 基于深度级联的多尺度激励机制隧道表面缺陷分割方法 Active CN111507998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010312507.6A CN111507998B (zh) 2020-04-20 2020-04-20 基于深度级联的多尺度激励机制隧道表面缺陷分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010312507.6A CN111507998B (zh) 2020-04-20 2020-04-20 基于深度级联的多尺度激励机制隧道表面缺陷分割方法

Publications (2)

Publication Number Publication Date
CN111507998A CN111507998A (zh) 2020-08-07
CN111507998B true CN111507998B (zh) 2022-02-18

Family

ID=71864225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010312507.6A Active CN111507998B (zh) 2020-04-20 2020-04-20 基于深度级联的多尺度激励机制隧道表面缺陷分割方法

Country Status (1)

Country Link
CN (1) CN111507998B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950551B (zh) * 2020-08-14 2024-03-08 长春理工大学 一种基于卷积神经网络的目标检测方法
CN112308826B (zh) * 2020-10-23 2022-07-22 南京航空航天大学 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN112270383B (zh) * 2020-11-17 2021-11-23 南京航空航天大学 一种基于全卷积神经网络的隧道大规模铆钉孔提取方法
CN112489023A (zh) * 2020-12-02 2021-03-12 重庆邮电大学 一种基于多尺度和多层次的路面裂缝检测方法
CN112948952B (zh) * 2021-04-08 2023-05-23 郑州航空工业管理学院 一种盾构隧道衬砌背后空洞的演化预测方法
CN113159171B (zh) * 2021-04-20 2022-07-22 复旦大学 一种基于对抗学习的植物叶片图像细分类方法
CN114240881A (zh) * 2021-12-16 2022-03-25 安徽心之声医疗科技有限公司 一种纸质心电图分割模型构建和分割的方法、装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046696A (zh) * 2019-04-19 2019-07-23 电子科技大学 基于卷积循环神经网络的残差神经网络调整方法
CN110763700A (zh) * 2019-10-22 2020-02-07 深选智能科技(南京)有限公司 一种半导体元器件缺陷检测方法和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013079098A1 (en) * 2011-11-29 2013-06-06 Layar B.V. Dynamically configuring an image processing function
CN109360206B (zh) * 2018-09-08 2021-11-12 华中农业大学 基于深度学习的大田稻穗分割方法
CN109377474B (zh) * 2018-09-17 2021-06-15 苏州大学 一种基于改进Faster R-CNN的黄斑定位方法
CN110298843B (zh) * 2019-05-17 2023-02-10 同济大学 基于改进DeepLab的二维图像部件分割方法及应用
CN110675370A (zh) * 2019-09-04 2020-01-10 武汉理工大学 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046696A (zh) * 2019-04-19 2019-07-23 电子科技大学 基于卷积循环神经网络的残差神经网络调整方法
CN110763700A (zh) * 2019-10-22 2020-02-07 深选智能科技(南京)有限公司 一种半导体元器件缺陷检测方法和设备

Also Published As

Publication number Publication date
CN111507998A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111507998B (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN111507990B (zh) 一种基于深度学习的隧道表面缺陷分割方法
CN111028217A (zh) 一种基于全卷积神经网络的图像裂缝分割方法
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN108460764A (zh) 基于自动上下文和数据增强的超声图像智能分割方法
CN110675370A (zh) 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法
CN111222580A (zh) 一种高精度的裂缝检测方法
CN109615604B (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN112949783B (zh) 一种基于改进U-Net神经网络的道路裂缝检测方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN110927171A (zh) 一种基于机器视觉的轴承滚子倒角面缺陷检测方法
CN113096088B (zh) 一种基于深度学习的混凝土结构检测方法
CN110751644B (zh) 道路表面裂纹检测方法
CN116485717B (zh) 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN111353396A (zh) 一种基于SCSEOCUnet的混凝土裂缝分割方法
CN112163490A (zh) 一种基于场景图片的目标检测方法
CN112950570A (zh) 一种结合深度学习与密集连续中心点的裂纹检测方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN115205255A (zh) 基于深度学习的石料自动分级方法与系统
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant