CN109087305A - 一种基于深度卷积神经网络的裂缝图像分割方法 - Google Patents

一种基于深度卷积神经网络的裂缝图像分割方法 Download PDF

Info

Publication number
CN109087305A
CN109087305A CN201810676243.5A CN201810676243A CN109087305A CN 109087305 A CN109087305 A CN 109087305A CN 201810676243 A CN201810676243 A CN 201810676243A CN 109087305 A CN109087305 A CN 109087305A
Authority
CN
China
Prior art keywords
image
convolutional neural
crack
neural networks
depth convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810676243.5A
Other languages
English (en)
Inventor
范衠
伍宇明
朱贵杰
卢杰威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN201810676243.5A priority Critical patent/CN109087305A/zh
Publication of CN109087305A publication Critical patent/CN109087305A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于深度卷积神经网络的裂缝图像分割方法，包括：用相机拍摄原始图像；对原始图像进行人工标注得到标注图像，并把原始图像和标注图像划分为训练集和测试集；提取训练集样本中小区域图像，划分为正负样本；调整正负样本的比例，用于训练深度卷积神经网络；提取测试集样本中小区域图像，输入到训练好的所述深度卷积神经网络中进行预测，并对所有预测结果进行叠加和归一化处理，得到原始图像的裂缝概率图。采用本发明，通过把原始图像分割成小区域图像，并且充分利用深度卷积神经网络较强的特征学习能力，可以很好地处理不同路面情况下的图像，高效准确地实现对图像裂缝的分割与检测。

Description

一种基于深度卷积神经网络的裂缝图像分割方法
技术领域
本发明涉及裂缝检测技术领域，尤其涉及一种基于深度卷积神经网络的裂缝图像分割方法。
背景技术
裂缝是反映道路受损情况的重要标志，而随着我国道路交通系统的日益发展，道路裂缝检测对于道路的日常检修和维护来说是一项非常重要的任务。通常，在对道路进行实际的维护和修复之前，准确获取当前道路的情况将有利于相关人员制订合适的维护方案，节约成本。在传统上，主要是通过检测人员人眼进行裂缝检测，通过由专业人员实地考察，人为判断裂缝的严重程度。但是这种方法耗时耗力，效率和准确度不高，且在恶劣的道路状况下，人工检测无法进行。
目前，人工检测裂缝也逐步被半自动化甚至自动化检测方法所取代，其中，大多采用基于图像视觉技术识别损伤的方法来检测各类结构表面的裂缝。由于对裂缝特征的不同理解，人们提出的裂缝检测方法也各有不同，但大部分算法利用的基本特征和算法流程大多一致：预处理，裂缝区域检测和分割，后处理与特征描述。虽然能解决一些裂缝识别问题，但各种实际拍摄的图像包含非均匀光照、复杂路面纹理、阴影等干扰物存在等因素，在实际识别中容易误识别或者引入噪声，另外裂缝作为细长物体在像素上的难以识别。许多学者提出的机器学习和卷积神经网络方法可以提升裂缝图像的处理能力，但是也存在较多缺陷，不足以满足实际需求。
用于检测裂缝的方法多种多样，但是要达到简单高效的检测仍然是一个重难点，如何准确的对裂缝进行定位，准确高效的识别和判定裂缝，以辅助对后续裂缝长度、宽度的解析，分析道路损害状况以及后续道路的维护十分重要。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于深度卷积神经网络的裂缝图像分割方法。可提高裂缝图像检测的准确度。
为了解决上述技术问题，本发明实施例提供了一种基于深度卷积神经网络的裂缝图像分割方法，所述方法包括：
S1：用相机拍摄路面裂缝的原始图像，并建立原始图像的图像库，把图像库的原始图像分为训练集和测试集；
S2：人工标注原始图像库中的原始图像的裂缝像素点，通过整理得到的标注图像，建立标注图像的图像库，根据原始图像库中图像的训练集与测试集的划分把标注图像库中的对应图像划入训练集和测试集；
S3：以训练集的原始图像的每个像素点为中心点，从原始图像中提取中心点邻域的小区域图像；
S4：根据小区域图像的中心点在标注图像中是否属于裂缝像素点，把所有小区域图像分成正样本和负样本；
S5：建立包含卷积层、最大池化层和全连接层的深度卷积神经网络；
S6：把训练集的原始图像的正样本和负样本按照一定比例放入深度卷积神经网络中进行训练；
S7：把测试集中的原始图像按照S3所述进行操作，把得到的小区域图像放入训练好的深度卷积神经网络中进行预测，得到原始图像的概率图。
进一步的，上述基于深度卷积神经网络的裂缝图像分割方法中，所述S4中，正负样本的划分依据是：小区域图像的中心点属于裂缝像素点，则划分的小区域图像是正样本，否则是负样本。
进一步的，所述S5中，所述深度卷积神经网络的结构的输入是小区域图像，输出是以小区域图像中心点为中心的结构区域，结构区域的每个像素点代表小区域图像对应位置的像素属于裂缝或不属于裂缝。
进一步的，所述结构区域的尺寸的可接受范围是3×3到11×11。
进一步的，所述S6中，正样本：负样本的比例的可接受范围是1：2到1：10，可根据路面原始图像库的实际情况进行调整。
进一步的，所述S7中，从原始图像得到裂缝概率图的步骤包括：
遍历原始图像的所有像素点，对于每个像素点，按照S3所述进行操作，得到所有像素点的小区域图像；把所有的小区域图像并行放入训练好的深度卷积神经网络中进行预测，得到所有小区域图像的结构预测；把所有的结构预测进行叠加和归一化，得到原始图像的概率图。
进一步的，从原始图像得到概率图的过程中，可以选择所述的结构区域的尺寸作为遍历原始图像所有像素点的步长，以缩短运算时间。
实施本发明实施例，具有如下有益效果：通过把原始图像分割成小区域图像，并且充分利用深度卷积神经网络的较强的特征学习能力，可以很好地处理不同路面情况下的图像，高效准确地实现对图像裂缝的分割与检测。
附图说明
图1为本发明方法的流程示意图；
图2为本发明方法中用于训练深度卷积神经网络的正负样本示意图，其中，图(a)表示正样本，图(b)表示负样本；
图3为本发明实施例中深度卷积神经网络的输入小区域图像和输出结构区域的样本图像；
图4为本发明实施例中最终得到的裂缝概率图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
请参阅图1，为本发明第一实施例中提供的一种基于深度卷积神经网络的裂缝图像分割方法，包括：
S1：用相机拍摄路面裂缝的原始图像，并建立原始图像的图像库，把图像库的原始图像分为训练集和测试集，在本实施例中，训练集和测试集的比例约为60％/40％，具体用了72张路面裂缝图片组成训练集，用了46张图片作为测试集；
S2：人工标注原始图像库中的原始图像的裂缝像素点，通过整理得到的标注图像，建立标注图像的图像库，根据原始图像库中图像的训练集与测试集的划分把标注图像库中的对应图像划入训练集和测试集；
S3：以训练集的原始图像的每个像素点为中心点，从原始图像中提取中心点邻域的小区域图像；
S4：根据小区域图像的中心点在标注图像中是否属于裂缝像素点，把所有小区域图像分成正样本和负样本；
S5：建立包含卷积层、最大池化层和全连接层的深度卷积神经网络；
S6：把训练集的原始图像的正样本和负样本按照一定比例放入深度卷积神经网络中进行训练。请参阅图2，正负样本的划分依据是小区域图像的中心点为裂缝像素点，则对应小区域图像为正样本，否则为负样本。正负样本的比例可接受范围是：正样本：负样本的值从1：2到1：10，可以根据实际的路面情况收集到的数据库进行调整，正样本的比例越高，模型对于裂缝的敏感程度越大，同时也越容易引入噪声。在本发明实施例中，正负样本的取值为1：3；
S7：把测试集中的原始图像按照S3所述进行操作，把得到的小区域图像放入训练好的深度卷积神经网络中进行预测，得到图像的概率图。
请参阅图3，深度卷积神经网络的结构的输入是小区域图像，输出是以小区域图像中心点为中心的结构区域，结构区域的每个像素点代表小区域图像对应位置的像素属于裂缝或不属于裂缝。结构区域的尺寸的可接受范围是3×3到11×11，原则上尺寸越大预测结果越准确，但此参数要与输入尺寸的参数相配合，另外尺寸参数选得越大，计算量越大且得到的概率图的对比度越小，在本发明实施例中，结构区域的尺寸为5×5。输入小区域图像的尺寸一般选足够包含裂缝区域的尺寸即可，在本发明实施例中，输入小区域图像的尺寸为27×27。
在用测试集中的原始图像进行测试的过程中，可以选择遍历原始图像所有的像素点，这样得到的概率图结果每个像素点实际上包含多个预测值加权平均，从而可以得到高准确度的图像裂缝分割结果。
在本实施例中，叠加和归一化的公式表示为：
其中，(x,y)和(x+a,y+b)是图像像素坐标，s是输出结构区域的边长，在本实施例中s取为27，f(x+a,y+b)(x,y)是以(x,y)为中心点的输入小区域图像经过深度卷积神经网络处理后在(x+a,y+b)的输出，P(x,y)是在(x,y)处得到的最终概率值。请参阅图4，为本发明实施例最终得到的裂缝概率图。
在其他实施例中，可以选择以结构区域的尺寸为步长作为遍历方式，而不必遍历所有像素点。在此种情况下每个像素点只包含一个预测值，相比于本发明实施例所采用的遍历方式，该种方式遍历速度较快，为前一种方式的数倍。
上述本发明基于深度卷积神经网络的裂缝图像分割方法，采用以每一像素点为中心的小邻域图像对深度卷积神经网络进行训练，可以提高对图像裂缝的识别度；并在利用训练好的深度卷积神经网络对所有小区域图像进行预测后得到的结构预测进行叠加和归一化处理，进一步得到准确的图像裂缝分割结果。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种基于深度卷积神经网络的裂缝图像分割方法，其特征在于，包括以下步骤：
S1：建立原始图像库，把图像库的原始图像分为训练集和测试集；
S2：人工标注所述原始图像库中原始图像的裂缝像素点，通过整理得到标注图像，建立标注图像的图像库，根据所述训练集与测试集的划分把所述标注图像库中的对应图像划入所述训练集和测试集；
S3：以所述训练集中的原始图像的每个像素点为中心点，从所述原始图像中提取中心点邻域的小区域图像；
S4：根据所述小区域图像的中心点在标注图像中是否属于裂缝像素点，把所有小区域图像分成正样本和负样本；
S5：建立包含卷积层、最大池化层和全连接层的深度卷积神经网络；
S6：把所述训练集的原始图像的正样本和负样本按照设置的比例放入深度卷积神经网络中进行训练；
S7：把测试集中的原始图像按照S3所述进行操作，把得到的小区域图像放入训练好的深度卷积神经网络中进行预测，得到原始图像的概率图。
2.根据权利要求1所述的基于深度卷积神经网络的裂缝图像分割方法，其特征在于，所述S4中，所述正样本和负样本的划分依据是：所述小区域图像的中心点属于裂缝像素点，则划分的小区域图像是正样本，否则是负样本。
3.根据权利要求2所述的基于深度卷积神经网络的裂缝图像分割方法，其特征在于，所述S5中，所述深度卷积神经网络的结构的输入是小区域图像，输出是以所述小区域图像中心点为中心的结构区域，所述结构区域的每个像素点代表小区域图像对应位置的像素属于裂缝或不属于裂缝。
4.根据权利要求3所述的基于深度卷积神经网络的裂缝图像分割方法，其特征在于，所述结构区域接受范围是3×3到11×11。
5.根据权利要求4所述的基于深度卷积神经网络的裂缝图像分割方法，其特征在于，所述S6中，所述正样本和负样本的比例的可接受范围是1：2到1：10。
6.根据权利要求5所述的基于深度卷积神经网络的裂缝图像分割方法，其特征在于，所述S7中，得到原始图像的概率图的步骤包括：
遍历原始图像的所有像素点，对于每个像素点，按照S3所述进行操作，得到所有像素点的小区域图像；
把所有的小区域图像并行放入训练好的深度卷积神经网络中进行预测，得到所有小区域图像的结构预测；
把所有的结构预测进行叠加和归一化，得到原始图像的概率图。
7.根据权利要求6所述的基于深度卷积神经网络的裂缝图像分割方法，其特征在于，以权利要求4所述的结构区域的尺寸作为遍历原始图像所有像素点的步长，以缩短运算时间。
CN201810676243.5A 2018-06-26 2018-06-26 一种基于深度卷积神经网络的裂缝图像分割方法 Pending CN109087305A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810676243.5A CN109087305A (zh) 2018-06-26 2018-06-26 一种基于深度卷积神经网络的裂缝图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810676243.5A CN109087305A (zh) 2018-06-26 2018-06-26 一种基于深度卷积神经网络的裂缝图像分割方法

Publications (1)

Publication Number Publication Date
CN109087305A true CN109087305A (zh) 2018-12-25

Family

ID=64839869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810676243.5A Pending CN109087305A (zh) 2018-06-26 2018-06-26 一种基于深度卷积神经网络的裂缝图像分割方法

Country Status (1)

Country Link
CN (1) CN109087305A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949290A (zh) * 2019-03-18 2019-06-28 北京邮电大学 路面裂缝检测方法、装置、设备及存储介质
CN110503637A (zh) * 2019-08-13 2019-11-26 中山大学 一种基于卷积神经网络的道路裂缝自动检测方法
CN111145163A (zh) * 2019-12-30 2020-05-12 深圳市中钞科信金融科技有限公司 一种纸张褶皱缺陷检测方法及装置
CN111179244A (zh) * 2019-12-25 2020-05-19 汕头大学 一种基于空洞卷积的自动化裂缝检测方法
CN112560587A (zh) * 2020-11-27 2021-03-26 贵州中建建筑科研设计院有限公司 一种卷积神经网络边坡裂缝变化的动态预警方法及系统
CN115346127A (zh) * 2022-10-20 2022-11-15 成都大汇物联科技有限公司 一种大坝安全检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013020142A2 (en) * 2011-08-04 2013-02-07 University Of Southern California Image-based crack detection
CN105719259A (zh) * 2016-02-19 2016-06-29 上海理工大学 路面裂缝图像检测方法
CN106910187A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种用于桥梁裂缝检测的图像数据集人工扩增方法
WO2017200524A1 (en) * 2016-05-16 2017-11-23 United Technologies Corporation Deep convolutional neural networks for crack detection from image data
CN107704865A (zh) * 2017-05-09 2018-02-16 北京航空航天大学 基于结构森林边缘候选区域提取的舰船目标检测算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013020142A2 (en) * 2011-08-04 2013-02-07 University Of Southern California Image-based crack detection
CN105719259A (zh) * 2016-02-19 2016-06-29 上海理工大学 路面裂缝图像检测方法
WO2017200524A1 (en) * 2016-05-16 2017-11-23 United Technologies Corporation Deep convolutional neural networks for crack detection from image data
CN106910187A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种用于桥梁裂缝检测的图像数据集人工扩增方法
CN107704865A (zh) * 2017-05-09 2018-02-16 北京航空航天大学 基于结构森林边缘候选区域提取的舰船目标检测算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHUN FAN 等: "Automatic Pavement Crack Detection Based on Structured Prediction with the Convolutional Neural Network", 《HTTPS://ARXIV.ORG/PDF/1802.02208.PDF》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949290A (zh) * 2019-03-18 2019-06-28 北京邮电大学 路面裂缝检测方法、装置、设备及存储介质
CN110503637A (zh) * 2019-08-13 2019-11-26 中山大学 一种基于卷积神经网络的道路裂缝自动检测方法
CN110503637B (zh) * 2019-08-13 2022-12-06 中山大学 一种基于卷积神经网络的道路裂缝自动检测方法
CN111179244A (zh) * 2019-12-25 2020-05-19 汕头大学 一种基于空洞卷积的自动化裂缝检测方法
CN111179244B (zh) * 2019-12-25 2023-04-14 汕头大学 一种基于空洞卷积的自动化裂缝检测方法
CN111145163A (zh) * 2019-12-30 2020-05-12 深圳市中钞科信金融科技有限公司 一种纸张褶皱缺陷检测方法及装置
CN112560587A (zh) * 2020-11-27 2021-03-26 贵州中建建筑科研设计院有限公司 一种卷积神经网络边坡裂缝变化的动态预警方法及系统
CN112560587B (zh) * 2020-11-27 2022-04-08 贵州中建建筑科研设计院有限公司 一种卷积神经网络边坡裂缝变化的动态预警方法及系统
CN115346127A (zh) * 2022-10-20 2022-11-15 成都大汇物联科技有限公司 一种大坝安全检测方法及系统
CN115346127B (zh) * 2022-10-20 2023-01-24 成都大汇物联科技有限公司 一种大坝安全检测方法及系统

Similar Documents

Publication Publication Date Title
CN109087305A (zh) 一种基于深度卷积神经网络的裂缝图像分割方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN110111328A (zh) 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN109376792A (zh) 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN109543679A (zh) 一种基于深度卷积神经网络的死鱼识别方法及预警系统
WO2020119103A1 (zh) 基于深度学习的航空发动机孔探图像损伤智能识别方法
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
CN110648364B (zh) 一种多维度空间固废视觉检测定位及识别方法与系统
CN109711474A (zh) 一种基于深度学习的铝材表面缺陷检测算法
CN109859171A (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN110310259A (zh) 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN108491797A (zh) 一种基于大数据的车辆图像精确检索方法
CN108009591A (zh) 一种基于深度学习的接触网关键部件识别方法
CN108256482A (zh) 一种基于卷积神经网络进行分布学习的人脸年龄估计方法
CN106650823A (zh) 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法
CN110378232B (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN110610475A (zh) 一种深度卷积神经网络的视觉缺陷检测方法
CN110070526A (zh) 基于深度神经网络热度图预测的缺陷检测方法
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN109886947A (zh) 基于区域的卷积神经网络的高压电线缺陷检测方法
CN108564577A (zh) 基于卷积神经网络的太阳能电池片断栅缺陷检测方法
CN107103600A (zh) 一种基于机器学习的绝缘子缺陷自动检测方法
CN109191421A (zh) 柱形锂电池圆周面凹坑视觉检测方法
CN109215009A (zh) 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法
CN116863274A (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181225

RJ01 Rejection of invention patent application after publication