CN111860106B - 一种无监督的桥梁裂缝识别方法 - Google Patents

一种无监督的桥梁裂缝识别方法 Download PDF

Info

Publication number
CN111860106B
CN111860106B CN202010464928.0A CN202010464928A CN111860106B CN 111860106 B CN111860106 B CN 111860106B CN 202010464928 A CN202010464928 A CN 202010464928A CN 111860106 B CN111860106 B CN 111860106B
Authority
CN
China
Prior art keywords
data set
data
crack
bridge
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010464928.0A
Other languages
English (en)
Other versions
CN111860106A (zh
Inventor
董斌
吴刚
张华�
李征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongqu Intelligent Transportation Infrastructure Technology Jiangsu Co ltd
Jiangsu Dongyin Intelligent Engineering Technology Research Institute Co ltd
Southeast University
Original Assignee
Dongqu Intelligent Transportation Infrastructure Technology Jiangsu Co ltd
Jiangsu Dongyin Intelligent Engineering Technology Research Institute Co ltd
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongqu Intelligent Transportation Infrastructure Technology Jiangsu Co ltd, Jiangsu Dongyin Intelligent Engineering Technology Research Institute Co ltd, Southeast University filed Critical Dongqu Intelligent Transportation Infrastructure Technology Jiangsu Co ltd
Priority to CN202010464928.0A priority Critical patent/CN111860106B/zh
Publication of CN111860106A publication Critical patent/CN111860106A/zh
Application granted granted Critical
Publication of CN111860106B publication Critical patent/CN111860106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供了一种无监督的桥梁裂缝识别方法，该方法首先利用无人机等收集混凝土裂缝图片，包括裂缝图片与正常图片；利用K‑Means聚类方法对数据集进行聚类，按照聚类后的结果对裂缝进行标签标记；按照8:1:1的比例将数据集划分为训练集、验证集和测试集；运用图像增强方法，增加数据集的数量；建立深度学习分类网络，进行训练，得到训练模型；利用训练好的模型进行混凝土裂缝自动识别。本发明效率高，成本低，相对于传统的人工标记标签训练法，更具有明显的自动化和高效性。

Description

一种无监督的桥梁裂缝识别方法
技术领域
本发明涉及土木工程与人工智能交互技术，具体涉及一种无监督的桥梁裂缝识别方法。
背景技术
在建筑、桥梁、道路和隧道等工程结构的建设中，混凝土的用量占比最高。裂缝作为混凝土结构的主要病害之一，不仅会影响美观，也会影响结构的耐久性和承载能力。对混凝土结构进行定时巡检，能够及时发现裂缝，能够尽早的防范并进行养护，能够提高混凝土结构的服役寿命。传统的检测混凝土结构裂缝的方法多采用人工巡检的方法，耗时费力，主观性强，检测精度。基于深度学习的混凝土裂缝识别方法成为当下热点，但是深度学习方法是一种有监督的方法，需要人工事先给每张图片打上标签，对于庞大的数据集可能会效率较低。
常用的传统数字图像处理方法包括边缘检测、阈值法、光谱分析法等，这些方法仅对特定情况下的数据集有效，在实际环境中，裂缝的检测易受环境因素干扰，从而使得传统的方法检测误差大，模型泛化能力低。深度学习是近几年新兴的计算机视觉技术，一些学者提出采用通道间注意力机制对多尺度特征图进行赋权的方法对裂缝图像进行了分类，并基于无人机进行桥梁裂缝的检测，提出了新的基于CNN的桥梁裂缝分类算法和目标检测算法，利用检测结果快速定位后再利用传统图像处理算法得到桥梁裂缝特征具体数值。这些方法需要事先对图片的类别进行标注，还是需要人工的介入。因此，提出一种完全的无监督裂缝识别方法，只要获取到数据集，无需对图片进行人工打标签，而是直接裂缝自动标注，在利用深度学习的方法对数据集进行训练，对于实现裂缝完全自动化检测乃至其他桥梁缺陷病害的自动化检测具有重要的意义。
发明内容
发明目的：针对现有技术对于桥梁裂纹识别的人工标记标签训练法等带来的繁琐问题，本发明提供一种无监督的桥梁裂缝识别方法。
技术方案：本发明所述的一种无监督的桥梁裂缝识别方法，包括以下步骤：
(1)获取桥梁混凝土表征图片，包括正常图片和损伤图片，构成数据集，并通过K-Means方法对样本数据集进行聚类并做降维处理，根据聚类后的结果对数据集进行裂缝或正常标注；
(2)将比例将数据集划分为训练测试集、验证集和测试集，并利用数据增强的方式对数据集进行扩充；
(3)建立具有自动识别裂缝的卷积神经网络模型，对步骤(2)中得到的数据集进行训练，并保存训练好的深度学习分类网络模型与参数，所述的深度学习分类网络模型包括ResNet网络和ResNeXt网络，并将桥梁的裂缝图像转化为二分类问题，所述二分类问题的交叉熵损失函数如下：
式中：LBCE为二分类的交叉熵损失；N为图像数目；yi为第i个图像的标签值；Pi为第i个图像的预测概率值；
(4)对桥梁进行巡检并获取表面图片，步骤(3)得到的深度学习分类网络模型动识别桥梁混凝土出现裂缝的损伤图片。
进一步的，步骤(1)所述的K-Means方法选用PCA作为降维方法，欧式距离作为度量方法，初始k值取2。具体包括如下步骤：
(11)对于n张图片的数据集，每张图片的尺寸大小为h×w，将图片按照行展开为h×w维向量xi，(i＝1,2,3...,n)，则整个数据集表示为：
X＝{x1,x2,...,xn}
(12)对数据集进行去中心化，即每一维特征减去各自的均值，如下式所示；计算协方矩阵cov，如下式所示：
(13)利用矩阵特征值分解方法求协方差矩阵的特征值于特征向量，对特征值从大到小排序，选取其中最大的k个，然后将其对应的k个特征向量分别作为行向量组成特征向量矩阵P，将该矩阵P于与原始数据集相乘，便可得到降维后的数据集：然后利用K-Means算法对降维以后的数据集进行聚类分析，从数据集中随机选择k＝2个数据点xi和xj作为初始聚类的中心，后对每一个数据点xk(k≠i,k≠j)，计算其于初始中心的距离，选取与之距离最近的点作为自己的类别，当所有数据点归类完毕后，重新计算中心，将中心点设置为该类别中所有数据点的中心位置，重复上述步骤，直至数据点的类别不再发生改变，这样就可以给数据集中的每一张图片自动打上标签(裂缝/正常)，所述的特征值表示如下：
聚类表达式如下：
Y＝PX。
进一步地，步骤(2)所述训练测试集、验证集和测试集的比例为8:1:1。
进一步地，步骤(2)所述的数据增强方法包括随机翻转、随机缩放、随机裁剪、随机亮度和对比度。
进一步地，步骤(3)所述的深度学习分类网络模型，主要是ResNet网络和ResNeXt网络，一个ResNet块，定义为：
y＝F(x)+x
式中：x和y是层的输入和输出向量。函数F表示待学习的残差映射，上式可以在普通网络中通过快捷连接来实现，既不增加额外的参数，也不增加计算复杂度。
同时，采用ResNet中使用的重复层策略和Inceptions中使用的分裂-转换-合并策略。一个ResNeXt定义为:
F(x)替换为Ti(x)，它表示聚合的转换。这里x和y仍然是层的输入和输出向量。C被称为基数，所有Ti都具有相同的拓扑。损失函数是卷积神经网络优化的目标函数，交叉熵损失作为最常用的损失函数，可以用来衡量样本数据的真实分布与预测分布之间的距离，其本质是最大化对数似然函数，本发明的裂缝图像的分类是二分类问题，二分类问题的交叉熵损失函数如下：
式中：LBCE为二分类的交叉熵损失；N为图像数目；yi为第i个图像的标签值；Pi为第i个图像的预测概率值。
进一步地，步骤(4)所述的在现场利用无人机对桥梁进行巡检得到图片，利用步骤(3)得到的具有自动识别裂缝的卷积神经网络模型，去自动识别步骤(4)得到的图片中是否为裂缝图片。
有益效果：相对于传统的人工检测方法和现有的自动化方法如水下机器人、声呐成像等技术，本发明所述方法效率高，成本低，自动化程度高，实时识别，更加简洁有效，大大提高了其图片识别的准确率和自动化程度。
附图说明
图1为本发明的流程图；
图2为本发明使用的网络参数图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1和图2所示，一种无监督的桥梁裂缝识别方法，包括以下步骤：
1、利用无人机获取桥梁混凝土裂缝以及正常图片，形成数据集；并对数据进行归一化计算，参数为[0.485,0.456,0.406],[0.229,0.224,0.225]，图片大小为1200x1200像素大小。
2、利用K-Means方法对数据集进行聚类分析，根据聚类后的结果对数据集进行标注，即裂缝/正常；
3、将数据集划分为训练测试集、验证集和测试集；
4、利用数据增强的方法对数据集进行扩充，选择了水平翻转、垂直翻转、旋转90°、180°、270°方式进行数据扩增；
5、建立深度学习分类网络模型，对步骤(4)中得到的数据集进行训练，并保存训练好的模型与参数；训练的初始学习率设置为0.01，在第50个轮回的迭代之后降到0.001，在第100个轮回的迭代之后降到0.0001。优化函数采用的是Adam，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。
6、在现场利用无人机对桥梁进行巡检得到图片；利用步骤(5)得到的具有自动识别裂缝的卷积神经网络模型，去自动识别步骤(6)得到的图片中是否为裂缝图片。
本发明所提供的一种无监督的桥梁裂缝识别方法，利用首先利用无人机等收集混凝土裂缝图片，包括裂缝图片与正常图片；利然后用K-Means聚类方法对数据集进行聚类，按照聚类后的结果对裂缝进行标签标记；按照8:1:1的比例将数据集划分为训练集、验证集和测试集；运用图像增强方法，增加数据集的数量；建立深度学习分类网络，进行训练，得到训练模型；利用训练好的模型进行混凝土裂缝自动识别。其中的数据集主要包含水下桥墩声呐成像图片数据集，包括缺损、裂缝、露筋等病害图片以及正常状况下的图片。训练所需的实验室设备条件主要包括：GTX 1080Ti显卡，Windows系统，Python编程语言，Pytorch深度学习框架。实施本发明效率高，成本低，相对于传统的人工标记标签训练法，更具有明显的自动化和高效性。

Claims (5)

1.一种无监督的桥梁裂缝识别方法，其特征在于，包括以下步骤：
(1)获取桥梁混凝土表征图片，包括正常图片和损伤图片，构成数据集，并通过K-Means方法对样本数据集进行聚类并做降维处理，根据聚类后的结果对数据集进行裂缝或正常标注；
(2)将比例将数据集划分为训练测试集、验证集和测试集，并利用数据增强的方式对数据集进行扩充；
(3)建立具有自动识别裂缝的卷积神经网络模型，对步骤(2)中得到的数据集进行训练，并保存训练好的深度学习分类网络模型与参数，所述的深度学习分类网络模型包括ResNet网络和ResNeXt网络，并将桥梁的裂缝图像转化为二分类问题，所述二分类问题的交叉熵损失函数如下：
式中：LBCE为二分类的交叉熵损失；N为图像数目；yi为第i个图像的标签值；Pi为第i个图像的预测概率值；
(4)对桥梁进行巡检并获取表面图片，步骤(3)得到的深度学习分类网络模型动识别桥梁混凝土出现裂缝的损伤图片。
2.根据权利要求1所述的无监督的桥梁裂缝识别方法，其特征在于，步骤(1)通过PCA做降维处理，采用欧式距离作为度量方法，初始k值取2，具体如下：
(11)对于n张图片的数据集，每张图片的尺寸大小为h×w，将图片按照行展开为h×w维向量xi，(i＝1,2,3...,n)，整个数据集表示为：
X＝{x1,x2,...,xn}；
(12)对数据集进行去中心化，即每一维特征减去各自的均值，如下式所示；计算协方矩阵cov，如下式所示：
(13)利用矩阵特征值分解方法求协方差矩阵的特征值与特征向量，对特征值从大到小排序，选取其中最大的k个，然后将其对应的k个特征向量分别作为行向量组成特征向量矩阵P，将该矩阵P于与原始数据集相乘，便可得到降维后的数据集，所述的特征值表示如下：
(14)然后利用K-Means算法对降维以后的数据集进行聚类，从数据集中随机选择k＝2个数据点xi和xj作为初始聚类的中心，后对每一个数据点xk(k≠i,k≠j)，计算其于初始中心的距离，选取与之距离最近的点作为自己的类别，当所有数据点归类完毕后，重新计算中心，将中心点设置为该类别中所有数据点的中心位置，重复上述步骤，直至数据点的类别不再发生改变，以此给数据集中的每一张图片自动打上标签，聚类的表示公式如下所示：
Y＝PX。
3.根据权利要求1所述的无监督的桥梁裂缝识别方法，其特征在于，步骤(2)所述的训练测试集、验证集和测试集的比例为8:1:1。
4.根据权利要求1所述的无监督的桥梁裂缝识别方法，其特征在于，步骤(2)所述的数据增强方式包括随机翻转、随机缩放、随机裁剪、随机亮度和对比度，扩充方式包括按照比例划分后分别对应扩充或扩充后混合按照比例重新划分训练测试集、验证集和测试集。
5.根据权利要求1所述的无监督的桥梁裂缝识别方法，其特征在于，步骤(3)所述的深度学习分类网络模型包括ResNet网络和ResNeXt网络，ResNet块定义为：
y＝F(x)+x
式中：x和y是层的输入和输出向量；函数F表示待学习的残差映射；
所述ResNet网络中使用的重复层策略和Inceptions中使用的分裂-转换-合并策略；ResNeXt定义为：
F(x)替换为Ti(x)，表示聚合的转换，x和y仍然是层的输入和输出向量，C被称为基数，所有Ti都具有相同的拓扑。
CN202010464928.0A 2020-05-28 2020-05-28 一种无监督的桥梁裂缝识别方法 Active CN111860106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010464928.0A CN111860106B (zh) 2020-05-28 2020-05-28 一种无监督的桥梁裂缝识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010464928.0A CN111860106B (zh) 2020-05-28 2020-05-28 一种无监督的桥梁裂缝识别方法

Publications (2)

Publication Number Publication Date
CN111860106A CN111860106A (zh) 2020-10-30
CN111860106B true CN111860106B (zh) 2023-12-08

Family

ID=72985809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010464928.0A Active CN111860106B (zh) 2020-05-28 2020-05-28 一种无监督的桥梁裂缝识别方法

Country Status (1)

Country Link
CN (1) CN111860106B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112362756B (zh) * 2020-11-24 2024-02-20 长沙理工大学 一种基于深度学习的混凝土结构损伤监测方法及系统
CN112381060B (zh) * 2020-12-04 2022-05-20 哈尔滨工业大学 一种基于深度学习的建筑物地震破坏等级分类方法
CN112734739B (zh) * 2021-01-18 2022-07-08 福州大学 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法
CN116091582A (zh) * 2023-03-16 2023-05-09 北京科技大学 一种基于无人机大场景图像的桥梁裂缝辩识方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506787A (zh) * 2017-07-27 2017-12-22 陕西师范大学 一种基于迁移自学习的混凝土桥梁裂缝分类方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
EP3553743A2 (en) * 2018-04-11 2019-10-16 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506787A (zh) * 2017-07-27 2017-12-22 陕西师范大学 一种基于迁移自学习的混凝土桥梁裂缝分类方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
EP3553743A2 (en) * 2018-04-11 2019-10-16 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于自编码的混凝土裂纹识别方法;李清奇;;北京交通大学学报(02);全文 *
卷积神经网络在桥梁结构表面病害检测中的应用研究;韩晓健;赵志成;沈泽江;;结构工程师(02);全文 *

Also Published As

Publication number Publication date
CN111860106A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN108830188B (zh) 基于深度学习的车辆检测方法
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
Nie et al. Pavement distress detection based on transfer learning
CN112200121B (zh) 基于evm和深度学习的高光谱未知目标检测方法
CN111489334A (zh) 一种基于卷积注意力神经网络的缺陷工件图像识别方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
CN107392237B (zh) 一种基于迁移视觉信息的交叉域地基云图分类方法
CN113592828B (zh) 基于工业内窥镜的无损检测方法及系统
Savino et al. Automated classification of civil structure defects based on convolutional neural network
CN112258490A (zh) 基于光学和红外图像融合的低发射率涂层智能探损方法
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN114463843A (zh) 一种基于深度学习的多特征融合鱼类异常行为检测方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
Hacıefendioğlu et al. Wood construction damage detection and localization using deep convolutional neural network with transfer learning
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN108711150B (zh) 一种基于pca的端到端路面裂缝检测识别方法
Liu et al. A novel deep framework for change detection of multi-source heterogeneous images
CN115908276A (zh) 融合深度学习的桥梁表观损伤双目视觉智能检测方法及系统
CN115631154A (zh) 一种电力设备状态监控分析方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant