CN112529901B - 一种复杂环境下的裂缝识别方法 - Google Patents

一种复杂环境下的裂缝识别方法 Download PDF

Info

Publication number
CN112529901B
CN112529901B CN202011617555.2A CN202011617555A CN112529901B CN 112529901 B CN112529901 B CN 112529901B CN 202011617555 A CN202011617555 A CN 202011617555A CN 112529901 B CN112529901 B CN 112529901B
Authority
CN
China
Prior art keywords
model
crack
picture
gray level
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011617555.2A
Other languages
English (en)
Other versions
CN112529901A (zh
Inventor
石显
程威
成子川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Fashion Technology Co Ltd
Original Assignee
Jiangxi Fashion Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Fashion Technology Co Ltd filed Critical Jiangxi Fashion Technology Co Ltd
Priority to CN202011617555.2A priority Critical patent/CN112529901B/zh
Publication of CN112529901A publication Critical patent/CN112529901A/zh
Application granted granted Critical
Publication of CN112529901B publication Critical patent/CN112529901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种复杂环境下的裂缝识别方法,属于的裂缝识别技术领域。该方法步骤包括:步骤A:数据集处理;步骤B:缝识别模型搭建;步骤C:数据增强;步骤D:提取子图中的裂缝;步骤E:整体阈值分割;本发明运用卷积神经网络结合传统图像处理找出裂缝的组合方法,结合两者优点,使用卷积神经网络找出裂缝的大致位置,再使用传统的图像处理方法描出裂缝具体形状,这样做可以解决复杂环境对裂缝识别影响的问题。本发明使用双模型交叉验证进行分类,一个模型获取所有信息,一个模型只获取形状信息,判断结果取他们的交集,这样就可以区分颜色与裂缝相似的干扰项,让结果更佳精准。

Description

一种复杂环境下的裂缝识别方法
技术领域
本发明涉及一种复杂环境下的裂缝识别方法,属于的裂缝识别技术领域。
背景技术
现有的裂缝识别方案主要分为两个方向,一个是传统的计算机图像处理,基于图像形态学对裂缝进行识别;另一个方向是基于卷积神经网络的深度学习处理方案,为目前主流方案方向。
传统的计算机图像处理方案对图像的环境要求很高,普适性不够好,特征分辨不明显,只能识别一些简单的没有杂质的图片。基于卷积神经网络的深度学习处理方案则需要大量的样本,不管是对样本的采集还是标注都耗费巨大的人力物力,即便是解决了这些问题,模型在面对复杂的环境时也很难表现得很好。
在检测结构物裂缝时会有很多复杂环境影响,面对干扰项传统的计算机视觉处理方法很难解决颜色相近的干扰项,总是会遗留很多被误判为裂缝的杂质。卷积神经网络又需要大量的标注样本,且标注难度远大于普通分类标注。
发明内容
本发明目的在于提供一种复杂环境下的裂缝识别方法,本方法提出使用卷积神经网络找到裂缝位置,传统的计算机视觉处理方法找到具体裂缝的组合型模式,且使用两个模型较差验证识别,最终使复杂环境的裂缝识别得更加准确。
本发明为实现上述目的,采用如下技术方案:
一种复杂环境下的裂缝识别方法,该步骤包括:
步骤A:数据集处理;
对原图片的平滑采样,采样像素大小为96*96;
训练集中步长根据标签不同从而设置如下,其中背景图片的步长为128,黑色马克笔的步长为64,直尺的步长为48,裂缝的步长为24;
测试集则统一按照16的步长进行平滑取样,像素大小大小同样是96*96;
步骤B:缝识别模型搭建;
模型分为主模型和辅助模型,这两个模型的神经网络结构一模一样,区别仅仅是对训练集的处理,主模型输入的训练集为正常图片组成,辅助模型则输入的训练集为变为灰度图的图片。
步骤C:数据增强;
训练过程中,为了防止过拟合,采用数据增强的方法,本次训练过程中采用随机对图片进行翻转和随机变为灰度图,在主模型中随机翻转的概率为0.5,随机变为灰度图的概率为0.1;辅助模型中随机翻转的概率为0.5,随机变为灰度图的概率为1;
步骤D:提取子图中的裂缝;
对判定为裂缝的子图片进行处理,先将其变为灰度图,再进行阈值分割;通过K-means将像素灰度值聚类成两个类别,取较小类别为阈值分割的阈值,分割之后就可以将裂缝与背景分离开;对每张被识别为裂缝区域的子图都做裂缝识别处理之后将其拼接起来,对重合部分的像素值累加;
步骤E:整体阈值分割;
由于每一幅图片的状况都不相同,为了更好的确认阈值大小,采用两次K-means聚类去实现,每次都将像素灰度变成数据集进行聚类,其中第一次K-means聚类主要去除图片中大多灰度极低的像素,去除掉之后再通过一次K-means聚类得出阈值大小。
进一步的,在步骤B中:由于主模型与辅助模型的结构一模一样,主模型与辅助模型的结构参数情况如下:其中模型选择的损失函数为交叉熵函数,优化器为自适应矩估计优化器,其中输入的图片形状为96*96*3,表示长宽分别为96个像素且有RGB 3个通道的图片数据;
图片输入之后会进入两个分支,一个分支是带有形变卷积的分支,另一个分支是只有普通卷积的分支;
有形变卷积的分支中先后交替经过5层可形变卷积层和4层最大池化层之后再经过一层平均池化层处理;有普通卷积的分支重先后交替经过5层普通卷积层和4层最大池化层之后再经过一层平均池化层处理;两个分支都经过处理之后将结果连接起来,再经过5层卷积之后归一化输出结果,归一化层为softmax函数。
进一步的, 在步骤B中:主模型输入的训练集为除数据增强有改变的图片组成。
本发明的有益效果:
本发明在复杂的环境下,裂缝难以用简单的方法去识别出来,会有很多类似于阴影、污渍、倾斜角度的影响。深度学习的方法通常使用大量的标注数据去增加他们之间的特征特点,从而让模型能够区分,但大量裂缝形状的标注与分类问题的标注不同,需要耗费大量的人力物力。为此,本方法的解决思路是将图片滑动取样为多个子图片,增加单张图片的裂缝识别特征,对每个子图片进行分类,判断是否为裂缝,再将判定为是裂缝的图片通过图像形态学处理方法提取出子图片中的裂缝(此时影响杂质将极少),最后组装成原像素大小的整幅图片。在识别子图片的过程中使用了两个模型同时进行判别,其中主模型判断其中的颜色和形状特征,辅助模型主要判断图片的形状特征,判断之后取判断为裂缝的交集,这样做是为了让形状特征更加凸显,从而区分开裂缝和其他诸如阴影、污渍等影响因素。最后测试发现比使用单一的方法和模型识别率更高,能去掉更多的干扰项。
附图说明
图1为本发明的方法步骤流程图;
图2为本发明的主模型或辅助模型的裂缝识别神经网络结构。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1至图2,本发明实施例中:
一种复杂环境下的裂缝识别方法,其特征在于该步骤包括:
步骤A:数据集处理;
对原图片的平滑采样,采样像素大小为96*96;
训练集中步长根据标签不同从而设置如下,其中背景图片的步长为128,黑色马克笔的步长为64,直尺的步长为48,裂缝的步长为24;
测试集则统一按照16的步长进行平滑取样,像素大小大小同样是96*96;
步骤B:缝识别模型搭建;
模型分为主模型和辅助模型,这两个模型的神经网络结构一模一样,区别仅仅是对训练集的处理,主模型输入的训练集为正常图片组成,辅助模型则输入的训练集为变为灰度图的图片。
步骤C:数据增强;
训练过程中,为了防止过拟合,采用数据增强的方法,本次训练过程中采用随机对图片进行翻转和随机变为灰度图,在主模型中随机翻转的概率为0.5,随机变为灰度图的概率为0.1;辅助模型中随机翻转的概率为0.5,随机变为灰度图的概率为1;
步骤D:提取子图中的裂缝;
对判定为裂缝的子图片进行处理,先将其变为灰度图,再进行阈值分割;通过K-means将像素灰度值聚类成两个类别,取较小类别为阈值分割的阈值,分割之后就可以将裂缝与背景分离开;对每张被识别为裂缝区域的子图都做裂缝识别处理之后将其拼接起来,对重合部分的像素值累加;
步骤E:整体阈值分割;
由于每一幅图片的状况都不相同,为了更好的确认阈值大小,采用两次K-means聚类去实现,每次都将像素灰度变成数据集进行聚类,其中第一次K-means聚类主要去除图片中大多灰度极低的像素,去除掉之后再通过一次K-means聚类得出阈值大小。
进一步的,在步骤B中:由于主模型与辅助模型的结构一模一样,主模型与辅助模型的结构参数情况如下:其中模型选择的损失函数为交叉熵函数,优化器为自适应矩估计优化器,其中输入的图片形状为96*96*3,表示长宽分别为96个像素且有RGB 3个通道的图片数据;
图片输入之后会进入两个分支,一个分支是带有形变卷积的分支,另一个分支是只有普通卷积的分支;
图2中每个方框代表一个环节,中文名称代表所用到的方法,后面的编号代表其所处的位置,“_”号左边的数字表示所在分支,右边的数字表示同类型处理方式的第几个(编号仅为主观命名方式,方便与表1“主模型或辅助模型的裂缝识别神经网络相关参数及维度表”中对应,无实际意义)。
表1: 主模型或辅助模型的裂缝识别神经网络相关参数及维度表如下:
表1
如图2,有形变卷积的分支中先后交替经过5层形变卷积层(形变卷积层2 1、形变卷积层2 2、形变卷积层2 3、形变卷积层2 4、形变卷积层2 5)和4层最大池化层(最大池化2_1、最大池化2_2、最大池化2_3、最大池化2_4)之后再经过一层平均池化层(平均池化2_5)处理;有普通卷积的分支重先后交替经过5层普通卷积层(卷积层1_1、卷积层1_2、卷积层1_3、卷积层1_4、卷积层1_5)和4层最大池化层(最大池化1_1、最大池化1_2、最大池化1_3、最大池化1_4)之后再经过一层平均池化层(平均池化1_5)处理。两个分支都经过处理之后将结果连接起来,再经过5层卷积(卷积层1、卷积层2、卷积层3、卷积层4、卷积层5)之后归一化输出结果,归一化层为softmax函数。
进一步的,在步骤B中:主模型输入的训练集为除数据增强有改变的图片组成。
本发明运用卷积神经网络结合传统图像处理找出裂缝的组合方法,结合两者优点,使用卷积神经网络找出裂缝的大致位置,再使用传统的图像处理方法描出裂缝具体形状,这样做可以解决复杂环境对裂缝识别影响的问题。
本发明使用双模型交叉验证进行分类,一个模型获取所有信息,一个模型只获取形状信息,判断结果取他们的交集,这样就可以区分颜色与裂缝相似的干扰项,让结果更佳精准。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种复杂环境下的裂缝识别方法,其特征在于该方法步骤包括:
步骤A:数据集处理;
对原图片的平滑采样,采样像素大小为96*96;
训练集中步长根据标签不同从而设置如下,其中背景图片的步长为128,黑色马克笔的步长为64,直尺的步长为48,裂缝的步长为24;
测试集则统一按照16的步长进行平滑取样,像素大小同样是96*96;
步骤B:缝识别模型搭建;
模型分为主模型和辅助模型,这两个模型的神经网络结构一模一样,区别仅仅是对训练集的处理,主模型输入的训练集为正常图片组成,辅助模型则输入的训练集为变为灰度图的图片;
步骤C:数据增强;
训练过程中,采用数据增强的方法,本次训练过程中采用随机对图片进行翻转和随机变为灰度图,在主模型中随机翻转的概率为0.5,随机变为灰度图的概率为0.1;辅助模型中随机翻转的概率为0.5,随机变为灰度图的概率为1;
步骤D:提取子图中的裂缝;
对判定为裂缝的子图进行处理,先将其变为灰度图,再进行阈值分割;通过K-means将像素灰度值聚类成两个类别,取较小类别为阈值分割的阈值,分割之后就可以将裂缝与背景分离开;对每张被识别为裂缝区域的子图都做裂缝识别处理之后将其拼接起来,对重合部分的像素值累加;
步骤E:整体阈值分割;
每一幅图片确认阈值大小,采用两次K-means聚类去实现,每次都将像素灰度变成数据集进行聚类,其中第一次K-means聚类去除图片中灰度极低的像素,去除掉之后再通过一次K-means聚类得出阈值大小;
在步骤B中:主模型与辅助模型的结构参数情况如下:其中模型选择的损失函数为交叉熵函数,优化器为自适应矩估计优化器,其中输入的图片形状为96*96*3,表示长宽分别为96个像素且有RGB 3个通道的图片数据;
图片输入之后会进入两个分支,一个分支是带有形变卷积的分支,另一个分支是只有普通卷积的分支;
有形变卷积的分支中先后交替经过5层可形变卷积层和4层最大池化层之后再经过一层平均池化层处理;有普通卷积的分支中先后交替经过5层普通卷积层和4层最大池化层之后再经过一层平均池化层处理;两个分支都经过处理之后将结果连接起来,再经过5层卷积之后归一化输出结果,归一化层为softmax函数。
CN202011617555.2A 2020-12-31 2020-12-31 一种复杂环境下的裂缝识别方法 Active CN112529901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011617555.2A CN112529901B (zh) 2020-12-31 2020-12-31 一种复杂环境下的裂缝识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011617555.2A CN112529901B (zh) 2020-12-31 2020-12-31 一种复杂环境下的裂缝识别方法

Publications (2)

Publication Number Publication Date
CN112529901A CN112529901A (zh) 2021-03-19
CN112529901B true CN112529901B (zh) 2023-11-07

Family

ID=74977147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011617555.2A Active CN112529901B (zh) 2020-12-31 2020-12-31 一种复杂环境下的裂缝识别方法

Country Status (1)

Country Link
CN (1) CN112529901B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743227A (zh) * 2021-08-06 2021-12-03 山东大学 基于切近摄影的岩体裂隙智能识别方法及系统
CN116309447B (zh) * 2023-03-17 2024-01-05 水利部交通运输部国家能源局南京水利科学研究院 一种基于深度学习的水坝斜坡裂缝检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106353807A (zh) * 2016-08-08 2017-01-25 中国石油天然气集团公司 裂缝识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580159B2 (en) * 2017-01-31 2020-03-03 Siemens Healthcare Gmbh Coarse orientation detection in image data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106353807A (zh) * 2016-08-08 2017-01-25 中国石油天然气集团公司 裂缝识别方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Research on Concrete Cracks Recognition based on Dual Convolutional Neural Network;Liang, D 等;《KOREAN SOCIETY OF CIVIL ENGINEERS-KSCE》;第第23卷卷(第第7期期);全文 *
图像识别与卷积神经网络结合的船舶裂缝图像处理技术;胡晓芳 等;《舰船科学技术》;第第42卷卷(第第7A期期);正文第91-93页 *
基于caffe双模型的路面裂缝识别算法研究;刘彦均;《中国优秀硕士学位论文全文数据库 信息科技辑》;正文第58-59页 *

Also Published As

Publication number Publication date
CN112529901A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN109376591B (zh) 深度学习特征与视觉特征联合训练的船只目标检测方法
CN107122776A (zh) 一种基于卷积神经网络的交通标志检测与识别方法
CN107247950A (zh) 一种基于机器学习的身份证图像文本识别方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN105574550A (zh) 一种车辆识别方法及装置
CN112529901B (zh) 一种复杂环境下的裂缝识别方法
CN102968637A (zh) 一种复杂背景图像文字分割方法
CN103366178A (zh) 一种用于对目标图像进行颜色分类的方法与设备
CN110555464A (zh) 一种基于深度学习模型的车辆颜色识别方法
CN109948566A (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN110222712B (zh) 一种基于深度学习的多专项目标检测算法
CN108764352A (zh) 重复页面内容检测方法和装置
CN108875744A (zh) 基于矩形框坐标变换的多方向文本行检测方法
CN102385592A (zh) 图像概念的检测方法和装置
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
CN107818341A (zh) 一种基于改进K‑means算法的颜色提取方法
CN109472257B (zh) 一种字符版面确定方法及装置
CN111428752B (zh) 一种基于红外图像的能见度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant