CN109978847A - 基于迁移学习与拉索机器人的拉索外套病害自动识别方法 - Google Patents

基于迁移学习与拉索机器人的拉索外套病害自动识别方法 Download PDF

Info

Publication number
CN109978847A
CN109978847A CN201910210547.7A CN201910210547A CN109978847A CN 109978847 A CN109978847 A CN 109978847A CN 201910210547 A CN201910210547 A CN 201910210547A CN 109978847 A CN109978847 A CN 109978847A
Authority
CN
China
Prior art keywords
drag
disease
picture
housing
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910210547.7A
Other languages
English (en)
Other versions
CN109978847B (zh
Inventor
吴刚
董斌
侯士通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910210547.7A priority Critical patent/CN109978847B/zh
Publication of CN109978847A publication Critical patent/CN109978847A/zh
Application granted granted Critical
Publication of CN109978847B publication Critical patent/CN109978847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于迁移学习与拉索机器人的拉索外套病害自动识别方法,该方法包括:准备好混凝土裂缝图片,建立深度学习中的ResNet网络模型,进行训练,得到训练模型;再获取斜拉索PE外套的病害图片,将数据集划分为训练集、验证集、测试集,建立ResNet卷积神经网络的迁移学习模型,对模型进行训练;控制斜拉索机器人进行图像采集,利用训练好的ResNet模型进行斜拉索PE外套病害自动识别。本发明检测精度高,斜拉索机器人的应用可以代替人工进行自动化爬行检测,自动化程度高,能够实时识别,效率高,成本低,相较于传统的斜拉索PE外套病害的人工检测方法具有明显的优势。

Description

基于迁移学习与拉索机器人的拉索外套病害自动识别方法
技术领域
本发明涉及土木工程与人工智能交互技术领域,尤其是一种基于迁移学习与拉索机器人的拉索外套病害自动识别方法。
背景技术
斜拉索是斜拉桥的主要承力构件,斜拉桥桥跨结构的载荷绝大部分通过斜拉索传递到塔柱上。任一根斜拉索丧失承载力,都会导致斜拉桥的整体失稳和破坏,因此,斜拉索的安全性必须予以高度的重视。斜拉索的PE外套由于外部环境导致划伤、开裂导致内部的钢索发生锈蚀,甚至断丝,也会严重影响到斜拉索的承载力和使用寿命。目前的检测方法还是以人工目测法和桥检车法,这种方法耗时、费力、造价较大,自动化程度低,因此迫切需要一种斜拉索PE外套病害的自动化识别方法。
发明内容
发明目的:本发明的目的是提供一种基于迁移学习与拉索机器人的拉索外套病害自动识别方法,其自动化程度高,能够实时识别,效率高,成本低。
技术方案:为解决上述技术问题,本发明所述的基于迁移学习与拉索机器人的斜拉索PE外套病害自动识别方法,包括如下步骤:
S1:用相机拍摄破损的混凝土梁与完好的混凝土梁的图片,收集混凝土裂缝图片与非裂缝图片,使所收集到的图片形成混凝土裂缝数据集,将该混凝土裂缝数据集中的图片进行处理:
S2:建立深度学习残差神经网络(ResNet)模型,对S1步中的混凝土裂缝数据集进行训练,并保存训练好的ResNet模型与参数;
S3:利用斜拉索爬行机器人拍摄获取斜拉索PE外套病害图片数据,将拍摄所得的图片数据存成病害数据集,并给每张图片打上病害或非病害标签;
S4:去除S3步得到的病害数据集内的图像的椒盐噪声,利用图像分割的方法,将S3步所得到的原始图片分割成224x224像素大小的小图片,保留PE外套环向开裂特征,并存入病害数据集中,替换原始图片;
S5:将S4步中得到数据集划分为训练集、验证集、测试集,建立ResNet卷积神经网络的迁移学习模型;
S6:将S2步训练好的RseNet模型参数中的除了全连接层以外冻住,应用S5步所得的ResNet卷积神经网络的迁移学习模型来对全连接层进行重新训练,得到训练好的预训练层(pre-trained)模型,即具有自动识别斜拉索PE外套病害的卷积神经网络模型;
S7:地面上控制斜拉索机器人沿着斜拉索爬行拍照,将图片发送给服务器端;
S8:利用S6中得到的具有自动识别斜拉索PE外套病害的卷积神经网络模型,去自动识别S7步服务器收到的图片中是否为病害图片。
进一步地,步骤S1中,对混凝土裂缝数据集的图片进行处理包括:将每张图片打上裂缝或非裂缝标签;将每张图片设置为224x224像素大小;对图片进行翻转、镜像、裁剪、增加对比度处理。
进一步地,步骤S4中,采用图像均值滤波和图像高斯滤波方法去除图像中的椒盐噪声。
进一步地,步骤S5中,按照8∶1∶1的比例将S4步中得到数据集划分为训练集、验证集、测试集。
进一步地,所述ResNet卷积神经网络的迁移学习模型,其神经网络层数分别选用50、101、150层。
进一步地,步骤S6中,重新训练全连接层的步骤为:只保留卷积层,后面的三层全连接层全部去掉;添加新的全连接层,其输出层神经元个数为2个。
进一步地,步骤S6中,采取其他预训练层的权值不动,只随机初始化新增加层的权值;使用S4步得到的PE外套数据集来训练新的全连接层。
进一步地,步骤S7中,斜拉索机器人为管道爬行机器人,斜拉索机器人拍照所用的自带图像采集设备为针孔高清摄像头。
工作原理:迁移学习是深度学习方式的一种,是针对图片数据集较少的一种深度学习模型。裂缝图片收集比较容易,数量较大,而且裂缝的特征与拉索外套的特征比较相似,因此先利用深度学习网络训练裂缝数据集,再将得到好的优化参数模型中的某些网络层,根据自己的数据集的特征,进行选择性的冻住,然后再设计新的全连接层,重新训练拉索外套数据集。
有益效果:本发明相对于现有技术具有以下优点:该方法能够解决拉索外套数据集较少的问题,并且提高了检测精度;斜拉索机器人的应用可以代替人工进行自动化爬行检测,其效率高,成本低,自动化程度高,能够实时识别,相较于传统的斜拉索PE外套病害的人工检测方法具有明显的优势。此外,由于拉索外套病害数据较难获取,因此样本数量不够庞大,直接利用传统的图像识别或者深度学习的方法去识别病害,其效果和精确率都比较低,但是混凝土裂缝数据集相对来说比较容易收集,而且数量充足,本发明利用拉索外套病害与混凝土裂缝病害的特征相似的特性,选用迁移学习神经网络,可以实现在利用较少的拉索外套病害数据集而达到较高的识别准确率。
附图说明
图1为本发明基于迁移学习与拉索机器人的拉索外套病害自动识别方法的流程图;
图2为本发明所使用的ResNet网络结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示,基于迁移学习与拉索机器人的拉索外套病害自动识别方法包括如下步骤:
S1:在实验室用相机拍摄破损的混凝土梁与完好的混凝土梁的图片,收集混凝土裂缝图片与非裂缝图片,使所收集到的图片形成混凝土裂缝数据集,将该混凝土裂缝数据集的每张图片打上标签(裂缝/非裂缝),将每张图片设置为224x224像素大小,并对混凝土裂缝数据集中的图片进行翻转、镜像、裁剪、增加对比度等数据集增强处理;
S2:建立深度学习ResNet(Residual Neural Network,残差神经网络)模型,对S1步中的混凝土裂缝数据集进行训练,并保存训练好的ResNet模型与参数;
S3:利用斜拉索爬行机器人拍摄获取斜拉索PE外套病害图片数据,并给每张图片打上标签(病害/非病害),将拍摄所得的斜拉索PE外套病害图片数据存成病害数据集;
S4:利用图像均值滤波和高斯滤波方法,去除S3步得到的病害数据集内的图像因夜间拍摄而含有的椒盐噪声,从而提高S3步得到的病害数据集的质量;再利用图像分割的方法,将S3步所得到的原始图片分割成224x224像素大小的小图片,以保留PE外套环向开裂等特征,并存入病害数据集中,替换原始图片;
S5:将S4步中得到数据集划分为训练集、验证集、测试集,比例为8∶1∶1,即将S4步得到的数据集的80%设为训练集,10%设为验证集,10%设为测试集,建立ResNet卷积神经网络的迁移学习模型,以解决数据集数量不够庞大的问题;神经网络层数分别选用50、101、150层;
S6:将S2步训练好的RseNet模型参数中的除了全连接层以外冻住(finetune),应用S5步所得的ResNet卷积神经网络的迁移学习模型来对全连接层进行重新训练,得到训练好的预训练层(pre-trained)模型,即具有自动识别斜拉索PE外套病害的卷积神经网络模型;
S7:地面上控制斜拉索机器人沿着斜拉索爬行,并利用自带的图像采集设备拍照,将所拍图片发送给服务器端;
S8:利用S6中得到的具有自动识别斜拉索PE外套病害的卷积神经网络模型,去自动识别S7步服务器收到的图片中是否为病害图片。
步骤S6中,重新训练全连接层的步骤为:只保留卷积层,后面的三层全连接层全部去掉。然后添加新的全连接层,其神经元个数符合新数据集的类别数,即2个;为防止过拟合,采取其他预训练层的权值不动,只随机初始化新增加层的权值。使用S4步得到的PE外套数据集来训练新的全连接层。
步骤S7中,斜拉索机器人为管道爬行机器人,图像采集设备为针孔高清摄像头。
训练所需的实验室条件:GTX 1060显卡,Windows系统,Python编程语言,Tensorflow深度学习框架。
数据集:主要包含混凝土梁裂缝数据集、斜拉索PE外套病害数据集(包括划痕、环向开裂、径向开裂、起包鼓起等)、完好的PE外套数据集。

Claims (8)

1.一种基于迁移学习与拉索机器人的拉索外套病害自动识别方法,其特征在于:包括如下步骤:
S1:用相机拍摄破损的混凝土梁与完好的混凝土梁的图片,收集混凝土裂缝图片与非裂缝图片,使所收集到的图片形成混凝土裂缝数据集,将该混凝土裂缝数据集中的图片进行处理;
S2:建立深度学习残差神经网络(ResNet)模型,对S1步中的混凝土裂缝数据集进行训练,并保存训练好的ResNet模型与参数;
S3:利用斜拉索爬行机器人拍摄获取斜拉索PE外套病害图片数据,将拍摄所得的图片数据存成病害数据集,并给每张图片打上病害或非病害标签;
S4:去除S3步得到的病害数据集内的图像的椒盐噪声,利用图像分割的方法,将S3步所得到的原始图片分割成224x224像素大小的小图片,保留PE外套环向开裂特征,并存入病害数据集中,替换原始图片;
S5:将S4步中得到数据集划分为训练集、验证集、测试集,建立ResNet卷积神经网络的迁移学习模型;
S6:将S2步训练好的RseNet模型参数中的除了全连接层以外冻住,应用S5步所得的ResNet卷积神经网络的迁移学习模型来对全连接层进行重新训练,得到训练好的预训练层(pre-trained)模型,即具有自动识别斜拉索PE外套病害的卷积神经网络模型;
S7:地面上控制斜拉索机器人沿着斜拉索爬行拍照,将图片发送给服务器端;
S8:利用S6中得到的具有自动识别斜拉索PE外套病害的卷积神经网络模型,去自动识别S7步服务器收到的图片中是否为病害图片。
2.根据权利要求1所述的基于迁移学习与拉索机器人的拉索外套病害自动识别方法,其特征在于:步骤S1中,对混凝土裂缝数据集的图片进行处理包括:将每张图片打上裂缝或非裂缝标签;将每张图片设置为224x224像素大小;对图片进行翻转、镜像、裁剪、增加对比度处理。
3.根据权利要求1所述的基于迁移学习与拉索机器人的拉索外套病害自动识别方法,其特征在于:步骤S4中,采用图像均值滤波和图像高斯滤波方法去除图像中的椒盐噪声。
4.根据权利要求1所述的基于迁移学习与拉索机器人的拉索外套病害自动识别方法,其特征在于:步骤S5中,按照8∶1∶1的比例将S4步中得到数据集划分为训练集、验证集、测试集。
5.根据权利要求4所述的基于迁移学习与拉索机器人的拉索外套病害自动识别方法,其特征在于:所述ResNet卷积神经网络的迁移学习模型,其神经网络层数分别选用50、101、150层。
6.根据权利要求1所述的基于迁移学习与拉索机器人的拉索外套病害自动识别方法,其特征在于:步骤S6中,重新训练全连接层的步骤为:只保留卷积层,后面的三层全连接层全部去掉;添加新的全连接层,其输出层神经元个数为2个。
7.根据权利要求1所述的基于迁移学习与拉索机器人的拉索外套病害自动识别方法,其特征在于:步骤S6中,采取其他预训练层的权值不动,只随机初始化新增加层的权值;使用S4步得到的PE外套数据集来训练新的全连接层。
8.根据权利要求1所述的基于迁移学习与拉索机器人的拉索外套病害自动识别方法,其特征在于:步骤S7中,斜拉索机器人为管道爬行机器人,斜拉索机器人拍照所用的自带图像采集设备为针孔高清摄像头。
CN201910210547.7A 2019-03-19 2019-03-19 基于迁移学习与拉索机器人的拉索外套病害自动识别方法 Active CN109978847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910210547.7A CN109978847B (zh) 2019-03-19 2019-03-19 基于迁移学习与拉索机器人的拉索外套病害自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910210547.7A CN109978847B (zh) 2019-03-19 2019-03-19 基于迁移学习与拉索机器人的拉索外套病害自动识别方法

Publications (2)

Publication Number Publication Date
CN109978847A true CN109978847A (zh) 2019-07-05
CN109978847B CN109978847B (zh) 2023-07-04

Family

ID=67079632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910210547.7A Active CN109978847B (zh) 2019-03-19 2019-03-19 基于迁移学习与拉索机器人的拉索外套病害自动识别方法

Country Status (1)

Country Link
CN (1) CN109978847B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置
CN111340764A (zh) * 2020-02-20 2020-06-26 江苏东印智慧工程技术研究院有限公司 一种基于DeepSort的拉索表观病害自动计数方法
CN112101138A (zh) * 2020-08-26 2020-12-18 东南大学 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN112229585A (zh) * 2020-09-18 2021-01-15 长沙理工大学 基于人工智能与声发射技术的裂缝损伤定位方法以及系统
CN114648659A (zh) * 2022-02-28 2022-06-21 北京工业大学 一种基于迁移学习的轻量化混凝土桥梁病害识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363961A (zh) * 2018-01-24 2018-08-03 东南大学 基于卷积神经网络间迁移学习的桥梁支座病害识别方法
AU2018102037A4 (en) * 2018-12-09 2019-01-17 Ge, Jiahao Mr A method of recognition of vehicle type based on deep learning
CN109376606A (zh) * 2018-09-26 2019-02-22 福州大学 一种电力巡检图像杆塔基础故障检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363961A (zh) * 2018-01-24 2018-08-03 东南大学 基于卷积神经网络间迁移学习的桥梁支座病害识别方法
CN109376606A (zh) * 2018-09-26 2019-02-22 福州大学 一种电力巡检图像杆塔基础故障检测方法
AU2018102037A4 (en) * 2018-12-09 2019-01-17 Ge, Jiahao Mr A method of recognition of vehicle type based on deep learning

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置
CN111340764A (zh) * 2020-02-20 2020-06-26 江苏东印智慧工程技术研究院有限公司 一种基于DeepSort的拉索表观病害自动计数方法
CN112101138A (zh) * 2020-08-26 2020-12-18 东南大学 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN112101138B (zh) * 2020-08-26 2024-04-30 东南大学 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN112229585A (zh) * 2020-09-18 2021-01-15 长沙理工大学 基于人工智能与声发射技术的裂缝损伤定位方法以及系统
CN112229585B (zh) * 2020-09-18 2022-07-08 长沙理工大学 基于人工智能与声发射技术的裂缝损伤定位方法以及系统
CN114648659A (zh) * 2022-02-28 2022-06-21 北京工业大学 一种基于迁移学习的轻量化混凝土桥梁病害识别方法
CN114648659B (zh) * 2022-02-28 2024-06-07 北京工业大学 一种基于迁移学习的轻量化混凝土桥梁病害识别方法

Also Published As

Publication number Publication date
CN109978847B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN109978847A (zh) 基于迁移学习与拉索机器人的拉索外套病害自动识别方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN110261394A (zh) 在线风机叶片损伤实时诊断系统和方法
CN106909886B (zh) 一种基于深度学习的高精度交通标志检测方法及系统
CN110991466A (zh) 一种基于新型视觉传感设备的高速公路路面状况检测系统
CN112950634B (zh) 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN108182416A (zh) 一种无人机监控场景下的人体行为识别方法、系统及装置
CN109711348A (zh) 基于长期驻空平台的实时违章建筑的智能监测方法及系统
CN109902712B (zh) 基于无人机巡检的输电线路驱鸟方法
CN110298830A (zh) 基于卷积神经网络的新拌混凝土振捣表观质量识别方法
CN114723271A (zh) 一种基于图像识别的输电工程质量检测方法及系统
CN112906620A (zh) 无人机辅助的绝缘子故障检测方法、装置和电子设备
CN109521021A (zh) 一种核电站安全壳外观检查系统及方法
CN115830407A (zh) 一种基于yolov4目标检测模型的电缆管线故障判别算法
CN113570571A (zh) 一种工业边缘端动力电池缺陷检测方法及系统
CN113269039A (zh) 一种在岗人员行为识别方法和系统
CN115393347A (zh) 一种基于城市大脑的电网智能巡检方法及系统
CN116310891A (zh) 一种云边协同输电线路缺陷智能检测系统和方法
CN115035328A (zh) 转炉图像增量自动机器学习系统及其建立训练方法
CN114494916A (zh) 一种基于YOLO和DeepSORT的黑颈鹤监测追踪方法
CN113420871A (zh) 图像质量的评估方法、装置、存储介质及电子装置
CN109902647B (zh) 一种便携式在线鸟巢智能识别方法及系统
CN116682045A (zh) 一种基于智能视频分析的游梁式抽油机故障检测方法
CN114592411B (zh) 一种载体寄生式公路损坏智能巡查方法
CN115187880A (zh) 基于图像识别的通信光缆缺陷检测方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant