CN111612787A - 混凝土裂纹高分图像无损语义分割方法、装置及存储介质 - Google Patents

混凝土裂纹高分图像无损语义分割方法、装置及存储介质 Download PDF

Info

Publication number
CN111612787A
CN111612787A CN202010563009.9A CN202010563009A CN111612787A CN 111612787 A CN111612787 A CN 111612787A CN 202010563009 A CN202010563009 A CN 202010563009A CN 111612787 A CN111612787 A CN 111612787A
Authority
CN
China
Prior art keywords
semantic segmentation
concrete
crack
resolution image
local images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010563009.9A
Other languages
English (en)
Other versions
CN111612787B (zh
Inventor
张军
朱光明
李文军
刘珊
彭琳峰
曾惠芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Hunan Electric Power Co Ltd
State Grid Hunan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Hunan Electric Power Co Ltd
State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Hunan Electric Power Co Ltd, State Grid Hunan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010563009.9A priority Critical patent/CN111612787B/zh
Publication of CN111612787A publication Critical patent/CN111612787A/zh
Application granted granted Critical
Publication of CN111612787B publication Critical patent/CN111612787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种混凝土裂纹高分图像无损语义分割方法、装置及存储介质，其中方法包括：获取混凝土表面高分图像；采用滑动窗口将混凝土表面高分图像截取为若干局部图像；将若干局部图逐一输入预先训练好的混凝土裂纹初识别模型，将识别出的存在裂纹概率大于预设阈值的局部图像均筛选出来；将筛选出来的局部图像逐一输入预先训练好的混凝土裂纹语义分割模型，对应输出逐像素分类的混凝土裂纹语义分割图，实现混凝土表面高分图像的无损语义分割。该方案能够对原始图像裂纹像素进行无损识别，从而保证了裂纹的像素识别精度；能有效缓解其他语义分割模型导致的类别不平衡、计算量过大、假裂纹过多且在原始高分图像中凌乱分布等问题。

Description

混凝土裂纹高分图像无损语义分割方法、装置及存储介质
技术领域
本发明涉及混凝土安全监控领域，尤其涉及一种混凝土裂纹高分图像无损语义分割方法、装置及存储介质。
背景技术
很多时候需要对混凝土的安全状况进行监控检测，其中，巡视检查是混凝土安全监控中必不可少的部分，通过巡视检查可以及时发现裂纹等影响结构安全的缺陷。然而，巡视检查目前主要依赖于人工，不可避免存在检查空间受限，检查耗时耗力，裂纹细节及发展过程难以掌控等问题。
近年来，以卷积神经网络(Convolutional Neural Networks，CNN)为代表的深度学习技术在图像分类任务上不断超越以往图像处理技术，且在各行业正逐步得到应用。在图像语义分割领域，以全卷积神经网络(Fully convolutional networks，FCN)为代表的一系列基于卷积神经网络的语义分割方法相继被提出，也不断刷新图像语义分割精度。然而，由于计算条件的限制，如GPU显存等，卷积神经网络对输入图像的尺寸有着较高要求，当采用高分辨率的相机进行图像采集时，其获得的高分辨率的图像(高分图像)尺寸不适合直接作为全卷积神经网络的输入。此时，如果对采集的图像进行缩放，则会影响原始图像中的裂纹像素分布，从而导致图像语义分割的精度受损。一种有效的解决方法是采用滑动窗口截取局部图像的方式，将一张高分辨率图像划分为多张适应卷积神经网络输入尺寸的局部图像，这些局部图像可用于图像的语义分割。然而，在进行模型训练时，由于存在大量的背景信息，如果所有的局部图像均用于语义分割，将导致极度的类别不平衡，且计算量过大。如果只选取有裂纹的局部图像用于语义分割，那么大量的背景信息将被忽略，从而降低了模型对背景信息的识别能力，对于存在大量背景信息的图像，不可避免会出现较多的假裂纹现象。
发明内容
本发明提供了一种混凝土裂纹高分图像无损语义分割方法、装置及存储介质，以实现在降低计算量的情况下同时保证裂纹的识别精度。
第一方面，提供了一种混凝土裂纹高分图像无损语义分割方法，包括：
获取混凝土表面高分图像；
采用滑动窗口将混凝土表面高分图像截取为若干局部图像；
将若干局部图逐一输入预先训练好的混凝土裂纹初识别模型，将识别出的存在裂纹概率大于预设阈值的局部图像均筛选出来；
将筛选出来的局部图像逐一输入预先训练好的混凝土裂纹语义分割模型，对应输出逐像素分类的混凝土裂纹语义分割图，实现混凝土表面高分图像的无损语义分割；
其中，所述混凝土裂纹初识别模型为基于历史混凝土高分图像数据训练传统卷积神经网络得到；所述混凝土裂纹语义分割模型为基于历史混凝土高分图像数据训练全卷积神经网络得到。
上述提供的混凝土裂纹高分图像无损语义分割方法，首先将获取的混凝土表面高分图像通过滑动窗口的方式截取为若干局部图像，然后逐一输入基于传统卷积神经网络的混凝土裂纹语义分割模型进行是否存在裂纹的识别，将识别出的存在裂纹概率大于预设阈值的局部图像均筛选出来，过滤掉无裂纹的局部图像，然后再将筛选出来的局部图像输入基于全卷积神经网络的混凝土裂纹语义分割模型进行语义分割，对应输出逐像素分类的混凝土裂纹语义分割图，实现混凝土表面高分图像的无损语义分割。该方法将混凝土表面高分图像截取为若干局部图像，然后在进行处理，没有进行缩放处理，确保对原始混凝土表面高分图像进行无损识别，从而保证了裂纹的像素识别精度；另外通过基于传统卷积神经网络的混凝土裂纹语义分割模型进行初步筛选，过滤掉无裂纹的局部图像，将筛选出的局部图像再通过基于全卷积神经网络的混凝土裂纹语义分割模型进行语义分割，该处理过程能有效缓解其他语义分割模型导致的类别不平衡、计算量过大、假裂纹过多且在原始高分图像中凌乱分布的问题。
进一步地，所述混凝土裂纹语义分割模型通过如下方法训练得到：
获取若干混凝土表面高分图像，并对若干混凝土表面高分图像进行有无裂纹的逐像素二分类标注；
采用滑动窗口对逐像素标注的若干混凝土表面高分图像进行预处理，得到若干逐像素标注的局部图像；
基于若干逐像素标注的局部图像构建训练集和验证集，所述训练集和验证集中样本均为标注为有裂纹的逐像素标注的局部图像；
基于训练集和验证集对全卷积神经网络进行训练和优化，得到混凝土裂纹语义分割模型，所述混凝土裂纹语义分割模型的输入为局部图像，其输出为逐像素分类的混凝土裂纹语义分割图。
进一步地，所述混凝土裂纹初识别模型通过如下方法训练得到：
基于若干逐像素标注的局部图像生成若干整体有无裂纹的二分类标注局部图像；
基于若干整体有无裂纹的二分类标注局部图像构建训练集和验证集，训练集和验证集中样本均包括整体有裂纹局部图像和整体无裂纹局部图像；
基于训练集和验证集对传统卷积神经网络进行训练和优化，得到混凝土裂纹初识别模型；所述混凝土裂纹初识别模型的输入为局部图像，其输出为是否存在裂纹及对应的概率。
进一步地，所述基于若干逐像素标注的局部图像构建训练集和验证集之前包括：
对若干逐像素标注的局部图像进行图像增强处理，生成新的若干逐像素标注的局部图像，其中，所述增强处理包括旋转、翻转、光照、对比度中的一种或多种。通过进行图像增强处理，可实现样本量的扩展，提高训练得到的模型的性能，也可缩减获取若干混凝土表面高分图像及标注的成本。
优选地，图像增强处理为按预设旋转角度分别对若干逐像素标注的局部图像进行旋转，生成新的若干逐像素标注的局部图像。
进一步地，所述预设阈值的取值范围为(0，0.5]。现有方案中，一般设定为存在裂纹概率大于0.5表示该图像为裂纹图像，本方案中将阈值的取值范围设定为(0，0.5]，在初步筛选阶段，可保证裂纹的查全率，保证足够多的存在裂纹的局部图像用于基于全卷积神经网络的混凝土裂纹语义分割模型。
可选地，所述传统卷积神经网络的基础架构为ResNet50。
可选地，所述全卷积神经网络为DeepLabv3+模型，其基础架构为ResNet50。
第二方面，提供了一种混凝土裂纹高分图像无损语义分割装置，包括：
图像获取模块，用于获取混凝土表面高分图像；
预处理模块，用于采用滑动窗口将混凝土表面高分图像截取为若干局部图像；
初识别模块，用于将若干局部图逐一输入预先训练好的混凝土裂纹初识别模型，将识别出的存在裂纹概率大于预设阈值的局部图像均筛选出来；
语义分割模块，用于将筛选出来的局部图像逐一输入预先训练好的混凝土裂纹语义分割模型，对应输出逐像素分类的混凝土裂纹语义分割图，实现混凝土表面高分图像的无损语义分割；
其中，所述混凝土裂纹初识别模型为基于历史混凝土高分图像数据训练传统卷积神经网络得到；所述混凝土裂纹语义分割模型为基于历史混凝土高分图像数据训练全卷积神经网络得到。
第三方面，提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器加载时执行如上所述的混凝土裂纹高分图像无损语义分割方法。
有益效果
本发明提出了一种混凝土裂纹高分图像无损语义分割方法、装置及存储介质，具有如下有益效果：
1)与对原始高分辨率图像直接缩放并采用语义分割模型相比，该方案能够对原始图像裂纹像素进行无损识别，从而保证了裂纹的像素识别精度。
2)与对原始高分辨率图像采用滑动窗口截取局部图像并采用语义分割模型直接训练相比，该方案能有效缓解语义分割模型的类别不平衡及计算量过大的问题。
3)与对原始高分辨率图像采用滑动窗口截取局部图像并采用语义分割模型训练有裂纹图像相比，该方案能有效降低假裂纹在局部图像中的比例，防止假裂纹在原始高分图像中的凌乱分布。
4)为混凝土裂纹图像的像素级自动识别检测提供了一种有效手段，也为解决人工巡视检查难以对混凝土表面裂纹进行高效分析提供了一种新的方案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种混凝土裂纹高分图像无损语义分割方法流程图；
图2是本发明实施例提供的一种混凝土裂纹高分图像无损语义分割装置结构示意图；
图3是本发明实施例提供的一实例中混凝土裂纹高分图像无损语义分割方法流程图；
图4是本发明实施例提供的一种混凝土裂纹高分图像无损语义分割方法的模型耗时对比图；
图5是本发明实施例提供的一种混凝土裂纹高分图像无损语义分割方法的模型识别效果对比图。
具体实施方式
下面结合附图及具体实施方式对本发明进行详细说明。
实施例1
如图1所示，本实施例提供了一种混凝土裂纹高分图像无损语义分割方法，包括：
S01：获取混凝土表面高分图像；
S02：采用滑动窗口将混凝土表面高分图像截取为若干局部图像；
S03：将若干局部图逐一输入预先训练好的混凝土裂纹初识别模型，将识别出的存在裂纹概率大于预设阈值的局部图像均筛选出来；其中，所述混凝土裂纹初识别模型为基于历史混凝土高分图像数据训练传统卷积神经网络得到；
S04：将筛选出来的局部图像逐一输入预先训练好的混凝土裂纹语义分割模型，对应输出逐像素分类的混凝土裂纹语义分割图，实现混凝土表面高分图像的无损语义分割；其中，所述混凝土裂纹语义分割模型为基于历史混凝土高分图像数据训练全卷积神经网络得到。
上述提供的混凝土裂纹高分图像无损语义分割方法，首先将获取的混凝土表面高分图像通过滑动窗口的方式截取为若干局部图像，然后逐一输入基于传统卷积神经网络的混凝土裂纹语义分割模型进行是否存在裂纹的识别，将识别出的存在裂纹概率大于预设阈值的局部图像均筛选出来，过滤掉无裂纹的局部图像，然后再将筛选出来的局部图像输入基于全卷积神经网络的混凝土裂纹语义分割模型进行语义分割，对应输出逐像素分类的混凝土裂纹语义分割图，实现混凝土表面高分图像的无损语义分割。该方法将混凝土表面高分图像截取为若干局部图像，然后在进行处理，没有进行缩放处理，确保对原始混凝土表面高分图像进行无损识别，从而保证了裂纹的像素识别精度；另外通过基于传统卷积神经网络的混凝土裂纹语义分割模型进行初步筛选，过滤掉无裂纹的局部图像，将筛选出的局部图像再通过基于全卷积神经网络的混凝土裂纹语义分割模型进行语义分割，该处理过程能有效缓解其他语义分割模型导致的类别不平衡、计算量过大、假裂纹过多且在原始高分图像中凌乱分布的问题。
在实施上述混凝土裂纹高分图像无损语义分割方法之前，需预先训练好混凝土裂纹语义分割模型和混凝土裂纹初识别模型。所述混凝土裂纹语义分割模型通过如下方法训练得到：
获取若干混凝土表面高分图像，并对若干混凝土表面高分图像进行有无裂纹的逐像素二分类标注；
采用滑动窗口对逐像素标注的若干混凝土表面高分图像进行预处理，得到若干逐像素标注的局部图像；
基于若干逐像素标注的局部图像构建训练集和验证集，所述训练集和验证集中样本均为标注为有裂纹的逐像素标注的局部图像，每个样本均包括截取的局部图像及对应的逐像素标注；
基于训练集和验证集对全卷积神经网络进行训练和优化，得到混凝土裂纹语义分割模型，所述混凝土裂纹语义分割模型的输入为局部图像，其输出为逐像素分类的混凝土裂纹语义分割图。
所述混凝土裂纹初识别模型通过如下方法训练得到：
基于若干逐像素标注的局部图像生成若干整体有无裂纹的二分类标注局部图像；
基于若干整体有无裂纹的二分类标注局部图像构建训练集和验证集，训练集和验证集中样本均包括整体有裂纹局部图像和整体无裂纹局部图像，每个样本均包括截取的局部图像及对应的整体有无裂纹的标注；
基于训练集和验证集对传统卷积神经网络进行训练和优化，得到混凝土裂纹初识别模型；所述混凝土裂纹初识别模型的输入为局部图像，其输出为是否存在裂纹及对应的概率。
实施时，为了可实现样本量的扩展，提高训练得到的模型的性能，也可缩减获取若干混凝土表面高分图像及标注的成本，在采用滑动窗口对逐像素标注的若干混凝土表面高分图像进行预处理，得到若干逐像素标注的局部图像之后还包括：对若干逐像素标注的局部图像进行图像增强处理，生成新的若干逐像素标注的局部图像，其中，所述增强处理包括旋转、翻转、光照、对比度中的一种或多种。实施时，增强处理优选按预设旋转角度分别对若干逐像素标注的局部图像进行旋转，其中，所述预设旋转角度为45°、90°、135°、180°、225°、270°中的一个或多个。
在初步筛选阶段，为了保证裂纹的查全率，需保证足够多的存在裂纹的局部图像用于基于全卷积神经网络的混凝土裂纹语义分割模型，所述预设阈值的取值范围为(0，0.5]，现有方案中，一般设定为存在裂纹概率大于0.5表示该图像为裂纹图像，本方案中将阈值的取值范围设定为(0，0.5]，可保证裂纹的查全率，本实施例中优选0.1。
本实施例中，所述传统卷积神经网络的基础架构为ResNet50。所述全卷积神经网络为DeepLabv3+模型，其基础架构为ResNet50。需明白的是，传统卷积神经网络和全卷积神经网络并不限于上述网络结构，在其他实施例中，也可选择其他网络结构的传统卷积神经网络和全卷积神经网络。
由于计算条件的限制，如GPU显存等，卷积神经网络对输入图像的尺寸有着较高要求，高分图像是指图像的分辨率高且不适合直接采用全卷积神经网络进行语义分割的图像。
逐像素二分类标注用于确定图像存在多少个像素的裂纹，并为整体有无裂纹二分类标注提供依据。整体有无裂纹二分类用于确定图像是否存在裂纹，是基于有裂纹像素的图像的进一步分类。采用滑动窗口截取局部图像的目的是使整体图像在局部区域保持像素精度的无损状态，并提供适应于卷积神经网络的输入尺寸。基于传统卷积神经网络的混凝土裂纹初识别模型用于判断局部图像是否存在裂纹，基于全卷积神经网络的混凝土裂纹语义分割模型用于判断局部图像存在多少个像素的裂纹。混凝土裂纹初识别模型和混凝土裂纹语义分割模型训练时是分开的，预测时采用级联的方式，即先判断图像是否存在裂纹，再进行逐像素裂纹识别。进行裂纹高分图像无损语义分割的目的是保证对裂纹的无损识别。
实施例2
如图2所示，本实施例提供了一种混凝土裂纹高分图像无损语义分割装置，包括：
图像获取模块1，用于获取混凝土表面高分图像；
预处理模块2，用于采用滑动窗口将混凝土表面高分图像截取为若干局部图像；
初识别模块3，用于将若干局部图逐一输入预先训练好的混凝土裂纹初识别模型，将识别出的存在裂纹概率大于预设阈值的局部图像均筛选出来；
语义分割模块4，用于将筛选出来的局部图像逐一输入预先训练好的混凝土裂纹语义分割模型，对应输出逐像素分类的混凝土裂纹语义分割图，实现混凝土表面高分图像的无损语义分割；
其中，所述混凝土裂纹初识别模型为基于历史混凝土高分图像数据训练传统卷积神经网络得到；所述混凝土裂纹语义分割模型为基于历史混凝土高分图像数据训练全卷积神经网络得到。
其他细节方案的具体实现参见实施例1提供的混凝土裂纹高分图像无损语义分割方法，在此不再赘述。
实施例3
本实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器加载时执行如实施例1所述的混凝土裂纹高分图像无损语义分割方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
为了进一步理解本发明的技术方案，下面结合一具体实例对本发明技术方案的效果做进一步说明。
以某大坝为例，通过手机相机拍照获取大坝混凝土表面裂纹图像，混凝土表面裂纹图像的分辨率为3456*4608，共采集现场图片344张，并对其进行逐像素二分类标注。本实例中，混凝土表面裂纹图像以224*224的分辨率进行局部图像截取，滑动窗口的步幅为112，对每张局部图像进行了旋转90°、180°、270°的增强处理，最终生成有裂纹的图像81296张，有无裂纹图像共484092张。本实例中，按照4:1:1的比例，分别将局部图像划分为训练集、验证集和测试集，其中各部分数据集中含有裂纹图像的比例也控制在4:1:1。本实例中传统卷积神经网络的基础架构为ResNet50，全卷积神经网络为DeepLabv3+模型，基础架构为ResNet50；判断裂纹的预设阈值取值为0.1。然后基于实施例1提供的混凝土裂纹高分图像无损语义分割方法，根据训练集和验证集进行模型训练和优选，根据测试集对训练的模型进行效果检测。本实例中模型训练过程及进行图像无损语义分割的流程参见图3。
利用本实例中训练好的模型，在原344张混凝土表面裂纹高分图像中对比目前常用的滑动窗口及全卷积神经网络训练及预测裂纹图像的方式(简称常用方法)，不同方式在的识别阶段的耗时比与识别效果如图4和图5所示，由图4可知，本发明提供的方案能够有效缩短计算时间，平均识别速度是常用方法的76％。由图5可知，本发明提供的方案能有效避免假裂纹现象的发生。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种混凝土裂纹高分图像无损语义分割方法，其特征在于，包括：
获取混凝土表面高分图像；
采用滑动窗口将混凝土表面高分图像截取为若干局部图像；
将若干局部图逐一输入预先训练好的混凝土裂纹初识别模型，将识别出的存在裂纹概率大于预设阈值的局部图像均筛选出来；
将筛选出来的局部图像逐一输入预先训练好的混凝土裂纹语义分割模型，对应输出逐像素分类的混凝土裂纹语义分割图，实现混凝土表面高分图像的无损语义分割；
其中，所述混凝土裂纹初识别模型为基于历史混凝土高分图像数据训练传统卷积神经网络得到；所述混凝土裂纹语义分割模型为基于历史混凝土高分图像数据训练全卷积神经网络得到。
2.根据权利要求1所述的混凝土裂纹高分图像无损语义分割方法，其特征在于，所述混凝土裂纹语义分割模型通过如下方法训练得到：
获取若干混凝土表面高分图像，并对若干混凝土表面高分图像进行有无裂纹的逐像素二分类标注；
采用滑动窗口对逐像素标注的若干混凝土表面高分图像进行预处理，得到若干逐像素标注的局部图像；
基于若干逐像素标注的局部图像构建训练集和验证集，所述训练集和验证集中样本均为标注为有裂纹的逐像素标注的局部图像；
基于训练集和验证集对全卷积神经网络进行训练和优化，得到混凝土裂纹语义分割模型。
3.根据权利要求2所述的混凝土裂纹高分图像无损语义分割方法，其特征在于，所述混凝土裂纹初识别模型通过如下方法训练得到：
基于若干逐像素标注的局部图像生成若干整体有无裂纹的二分类标注局部图像；
基于若干整体有无裂纹的二分类标注局部图像构建训练集和验证集，训练集和验证集中样本均包括整体有裂纹局部图像和整体无裂纹局部图像；
基于训练集和验证集对传统卷积神经网络进行训练和优化，得到混凝土裂纹初识别模型。
4.根据权利要求2所述的混凝土裂纹高分图像无损语义分割方法，其特征在于，所述基于若干逐像素标注的局部图像构建训练集和验证集之前包括：
对若干逐像素标注的局部图像进行图像增强处理，生成新的若干逐像素标注的局部图像，其中，所述增强处理包括旋转、翻转、光照、对比度中的一种或多种。
5.根据权利要求1所述的混凝土裂纹高分图像无损语义分割方法，其特征在于，所述预设阈值的取值范围为(0，0.5]。
6.根据权利要求1所述的混凝土裂纹高分图像无损语义分割方法，其特征在于，所述传统卷积神经网络的基础架构为ResNet50。
7.根据权利要求1所述的混凝土裂纹高分图像无损语义分割方法，其特征在于，所述全卷积神经网络为DeepLabv3+模型，其基础架构为ResNet50。
8.一种混凝土裂纹高分图像无损语义分割装置，其特征在于，包括：
图像获取模块，用于获取混凝土表面高分图像；
预处理模块，用于采用滑动窗口将混凝土表面高分图像截取为若干局部图像；
初识别模块，用于将若干局部图逐一输入预先训练好的混凝土裂纹初识别模型，将识别出的存在裂纹概率大于预设阈值的局部图像均筛选出来；
语义分割模块，用于将筛选出来的局部图像逐一输入预先训练好的混凝土裂纹语义分割模型，对应输出逐像素分类的混凝土裂纹语义分割图，实现混凝土表面高分图像的无损语义分割；
其中，所述混凝土裂纹初识别模型为基于历史混凝土高分图像数据训练传统卷积神经网络得到；所述混凝土裂纹语义分割模型为基于历史混凝土高分图像数据训练全卷积神经网络得到。
9.一种计算机可读存储介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器加载时执行如权利要求1至7任一项所述的混凝土裂纹高分图像无损语义分割方法。
CN202010563009.9A 2020-06-19 2020-06-19 混凝土裂纹高分图像无损语义分割方法、装置及存储介质 Active CN111612787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010563009.9A CN111612787B (zh) 2020-06-19 2020-06-19 混凝土裂纹高分图像无损语义分割方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010563009.9A CN111612787B (zh) 2020-06-19 2020-06-19 混凝土裂纹高分图像无损语义分割方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111612787A true CN111612787A (zh) 2020-09-01
CN111612787B CN111612787B (zh) 2021-09-14

Family

ID=72202700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010563009.9A Active CN111612787B (zh) 2020-06-19 2020-06-19 混凝土裂纹高分图像无损语义分割方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111612787B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529092A (zh) * 2020-12-21 2021-03-19 浙江省交通运输科学研究院 一种基于语义分割的沥青路面裂缝快速分类方法
CN112906700A (zh) * 2021-01-15 2021-06-04 重庆交通大学 自密实混凝土图像语义分割方法、装置及数据集生成方法
CN116682069A (zh) * 2023-07-31 2023-09-01 水利部珠江水利委员会珠江水利综合技术中心 基于人工智能的船闸混凝土修复决策方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537651A (zh) * 2014-12-17 2015-04-22 中交第一公路勘察设计研究院有限公司 一种路面图像中裂缝比例检测算法及系统
CN106093066A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法
US20180137612A1 (en) * 2015-04-27 2018-05-17 Wuhan Wuda Zoyon Science And Technology Co., Ltd. A stepwise refinement detection method for pavement cracks
CN108764345A (zh) * 2018-05-30 2018-11-06 河海大学常州校区 一种基于局部与全局聚类的水下大坝裂缝检测方法
CN108876780A (zh) * 2018-06-26 2018-11-23 陕西师范大学 一种复杂背景下桥梁裂缝图像裂缝检测方法
CN108918300A (zh) * 2018-09-03 2018-11-30 重庆交通大学 一种水力冲击混凝土裂纹扩展及ct尺度损伤研究方法
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法
CN110738642A (zh) * 2019-10-08 2020-01-31 福建船政交通职业学院 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质
CN110910343A (zh) * 2019-09-29 2020-03-24 北京建筑大学 路面裂缝检测的方法、装置及计算机设备
CN111127416A (zh) * 2019-12-19 2020-05-08 武汉珈鹰智能科技有限公司 基于计算机视觉的混凝土结构表面缺陷自动检测方法
CN111125957A (zh) * 2019-12-24 2020-05-08 国网河南省电力公司电力科学研究院 利用断裂力学对薄壁离心混凝土钢管焊接缺陷评定方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537651A (zh) * 2014-12-17 2015-04-22 中交第一公路勘察设计研究院有限公司 一种路面图像中裂缝比例检测算法及系统
US20180137612A1 (en) * 2015-04-27 2018-05-17 Wuhan Wuda Zoyon Science And Technology Co., Ltd. A stepwise refinement detection method for pavement cracks
CN106093066A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法
CN108764345A (zh) * 2018-05-30 2018-11-06 河海大学常州校区 一种基于局部与全局聚类的水下大坝裂缝检测方法
CN108876780A (zh) * 2018-06-26 2018-11-23 陕西师范大学 一种复杂背景下桥梁裂缝图像裂缝检测方法
CN108918300A (zh) * 2018-09-03 2018-11-30 重庆交通大学 一种水力冲击混凝土裂纹扩展及ct尺度损伤研究方法
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法
CN110910343A (zh) * 2019-09-29 2020-03-24 北京建筑大学 路面裂缝检测的方法、装置及计算机设备
CN110738642A (zh) * 2019-10-08 2020-01-31 福建船政交通职业学院 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质
CN111127416A (zh) * 2019-12-19 2020-05-08 武汉珈鹰智能科技有限公司 基于计算机视觉的混凝土结构表面缺陷自动检测方法
CN111125957A (zh) * 2019-12-24 2020-05-08 国网河南省电力公司电力科学研究院 利用断裂力学对薄壁离心混凝土钢管焊接缺陷评定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANSHEN CHEN等: "Improving the Efficiency of Encoder-Decoder Architecture for Pixel-Level Crack Detection", 《IEEE ACCESS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529092A (zh) * 2020-12-21 2021-03-19 浙江省交通运输科学研究院 一种基于语义分割的沥青路面裂缝快速分类方法
CN112906700A (zh) * 2021-01-15 2021-06-04 重庆交通大学 自密实混凝土图像语义分割方法、装置及数据集生成方法
CN112906700B (zh) * 2021-01-15 2022-10-21 重庆交通大学 自密实混凝土图像语义分割方法、装置及数据集生成方法
CN116682069A (zh) * 2023-07-31 2023-09-01 水利部珠江水利委员会珠江水利综合技术中心 基于人工智能的船闸混凝土修复决策方法及系统
CN116682069B (zh) * 2023-07-31 2023-11-24 水利部珠江水利委员会珠江水利综合技术中心 基于人工智能的船闸混凝土修复决策方法及系统

Also Published As

Publication number Publication date
CN111612787B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN111612787B (zh) 混凝土裂纹高分图像无损语义分割方法、装置及存储介质
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
EP3655923B1 (en) Weakly supervised anomaly detection and segmentation in images
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN111681240B (zh) 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
KR20230124713A (ko) 결함 검출 방법, 장치 및 시스템
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN113469997B (zh) 平面玻璃的检测方法、装置、设备和介质
CN111612786A (zh) 基于全卷积神经网络的混凝土缺陷检测方法、装置及存储介质
CN111860175B (zh) 一种基于轻量化网络的无人机影像车辆检测方法及装置
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN115147416A (zh) 一种倒绳机乱绳检测方法、装置和计算机设备
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN115423755A (zh) 晶圆微加工结构缺陷检测方法及其装置、设备、介质
WO2022229976A1 (en) Anomaly detection using a convolutional neural network and feature based memories
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN115761613B (zh) 一种基于卷积网络的隧道裂缝自动检测方法
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
CN116071392A (zh) 一种结合前景轮廓提取的运动目标检测方法及系统
CN109325441B (zh) 一种输电线路绝缘子对象识别方法
CN117474915B (zh) 一种异常检测方法、电子设备及存储介质
CN116500042B (zh) 缺陷检测方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant