CN110288027B - 一种基于ssd框架的起重机锈蚀识别和归类算法 - Google Patents

一种基于ssd框架的起重机锈蚀识别和归类算法 Download PDF

Info

Publication number
CN110288027B
CN110288027B CN201910565169.4A CN201910565169A CN110288027B CN 110288027 B CN110288027 B CN 110288027B CN 201910565169 A CN201910565169 A CN 201910565169A CN 110288027 B CN110288027 B CN 110288027B
Authority
CN
China
Prior art keywords
corrosion
crane
rust
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910565169.4A
Other languages
English (en)
Other versions
CN110288027A (zh
Inventor
唐刚
张豪也
胡雄
胡超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201910565169.4A priority Critical patent/CN110288027B/zh
Publication of CN110288027A publication Critical patent/CN110288027A/zh
Application granted granted Critical
Publication of CN110288027B publication Critical patent/CN110288027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)

Abstract

本发明提出一种基于SSD框架的起重机锈蚀识别和归类算法，步骤1.计算机硬性条件的确认；步骤2.环境部署；步骤3.锈蚀数据集的准备；步骤4.将收集到的锈蚀数据集训练1000次；步骤5.对数据进行测试；步骤6.对结果的分析和比较；训练好后模型可以对目标图的锈蚀识别和归类，最终实现对起重机的大梁健康状态自动识别锈蚀状况并对锈蚀种类自动归类，有助于对起重机大梁锈蚀的预防与检测。基于SSD算法的API模型可以自动处理图片数据，拥有高度的自组织和自学习能力，同时，具有稳定、高效和抗干扰能力。

Description

一种基于SSD框架的起重机锈蚀识别和归类算法
技术领域
本发明涉及起重机锈蚀检测领域，具体地说，涉及一种基于SSD框架的起重机大梁的锈蚀识别和归类算法。
背景技术
随着人工智能的迅速发展且在多领域得到了良好的运用，特别是人工智能延伸出的图像识别，基于人工智能的图像识别在各行各业中得到了非常大的应用。人工智能的运用不仅减少了人力支出，还提高了效率，对各行各业都起到了一定的推动辅助作用。
起重机是一种从事装卸、搬运、吊装的基本工具，在港口的应用尤为常见。随着国家经济的飞速发展，起重机已经成为核电站、水电站、重化工企业、冶金企业等的关键装备，其安全性影响着企业的安全生产能力。起重机的运行安全一直是生产实际中关系到经济发展和人身安全的重大问题，而起到支撑运行作用的大梁，则是安全的基础平台。因此，一旦大梁产生了锈蚀，日积月累的使用下锈蚀就会成为新的损伤，造成难以挽回的损失。所以对于锈蚀的监测则显得尤为重要，也是一项必须进行的工作。起重机大梁是起重机重要的组成部分，大梁的健康状态直接影响到起重机的效率，而起重机设备暴漏在空气中作业，易发生锈蚀情况，起重机大梁的锈蚀直接影响到生命财产的安全，故面对锈蚀问题，应当做到及时预防与检测。
锈蚀主要分为了三类，即条状、片状和点状锈蚀，在锈蚀监测技术还不成熟的时候，该工作往往依靠人力来完成，常用的方法有目视法、电涡流法、超声波探伤法、表面磁粉探伤法等。这些方法不仅要耗费大量的人力，准确率也不是很高。
发明内容
针对传统方法的以上不足，本发明运用SSD算法检测模型应用在对起重机大梁锈蚀的识别上，对锈蚀进行分类和定位。利用了起重机锈蚀识别算法训练的检测模型，可以自动处理图片数据，拥有高度的自组织和自学习能力。具有稳定、高效和抗干扰能力，即使采集图像的分辨率比较低、采集图像中存在干扰因素，也能保证锈蚀目标检测的精度，极大的提高了锈蚀目标特征提取的准确率。一种基于SSD框架的起重机锈蚀识别和归类算法，采用的技术方案如下：
一种基于SSD框架的起重机锈蚀识别和归类算法，包括如下几个步骤：
步骤1.计算机硬性条件的确认；
步骤2.环境部署：
在计算机上安装cuda，
在计算机上安装cudnn，
在计算机上安装Anaconda，
在计算机上安装tensorflow，编译基于tensorflow的目标检测API模型；
步骤3.锈蚀数据集的准备：
在起重机锈蚀应用研究方面，并没有公开的大容量的数据库可供使用。所以本文构建了锈蚀数据集，锈蚀分为三个类别：条状锈蚀、点状锈蚀和片状锈蚀。该数据集主要来源为手机拍摄，部分来源于网络；采集地点主要为上海海事大学校内真实起重机；采集拍摄设备为iphone xs max。锈蚀数据集包含了不同形状的锈蚀：条状锈蚀、点状锈蚀和片状锈蚀。通过旋转、裁剪等方法对采集照片进行了数据增强。该数据集包含训练集和测试集，总计800张。
步骤4.将收集到的锈蚀数据集训练1000次，
进一步的，将标注好的起重机锈蚀数据集图放入train和test文件夹，
进一步的，将训练放API模型中进行训练，直至收敛；
步骤5.对数据进行测试：
将图片放到指定的文件夹，然后利用object_detection_tutorial.ipynb即可实现对数据的测试；
步骤6.对结果的分析和比较：
利用Tensorboard可以直观的观察模型在训练过程过程中模型的loss变化曲线，分析得到可靠的模型。
与现有技术相比，本发明的有益效果在于，本发明利用了起重机锈蚀识别算法训练的检测模型，可以自动处理图片数据，拥有高度的自组织和自学习能力。此外，具有稳定、高效和抗干扰能力，即使采集图像的分辨率比较低、采集图像中存在干扰因素，也能保证锈蚀目标检测的精度，极大的提高了锈蚀目标特征提取的准确率。
附图说明
图1：工作流程图；
图2：计算机设备参数图；
图3：起重机锈蚀数据集图；
图4：labelImg界面图；
图5：配置文件图；
图6：数据路径图；
图7：数据结果图；
图8：训练过程图；
图9：模型图；
图10：测试结果图；
图11：loss变化曲线图；
图12：AP结果图；
图13：mAP结果图。
具体实施方式
下面根据本发明的操作流程图对本发明进行完整、清晰的描述。
如图1所示为本发明的工作流程图，一种基于SSD框架的起重机锈蚀识别和归类算法，包括如下几个步骤：
步骤1.计算机硬性条件的确认：
如图2所示为本发明的所操作的计算机设备参数图，深度学习的训练过程需要较强的计算能力，所以需要GPU来进行训练，本次实例采用计算机参数如下：CPU：i7 8700内存：16GB显卡gtx1060。
步骤2.环境部署：
在计算机上安装cuda，
在计算机上安装cudnn，
在计算机上安装Anaconda，
在计算机上安装tensorflow，
编译基于tensorflow的目标检测API模型。
步骤3.锈蚀数据集的准备：
如图3所示为起重机锈蚀数据集图，在起重机锈蚀应用研究方面，并没有公开的大容量的数据库可供使用，所以本文构建了锈蚀数据集，锈蚀分为三个类别：条状锈蚀、点状锈蚀和片状锈蚀。该数据集主要来源为手机拍摄，部分来源于网络；采集地点主要为上海海事大学校内真实起重机；采集拍摄设备为iphone xs max。锈蚀数据集包含了不同形状的锈蚀：条状锈蚀、点状锈蚀和片状锈蚀。通过旋转、裁剪等方法对采集照片进行了数据增强。该数据集包含训练集和测试集，总计800张。
如图4所示为labelImg界面图。图像预处理具体步骤包括：由于数据集中数据的来源不同，需要对其格式大小进行统一，同时需要手动标注数据集来进行训练，标注方法参考开源项目labellmg，可用其对图片数据进行标注。
计算机需要的语言环境配置要求：python，opencv。
将统一格式的图片放入Images文件夹，并以“00000x”格式进行重命名，并建立xml_file文件夹用来存放生成的xml文件，该文件中包含标注的坐标信息。
打开spyder运行脚本，开始进行标注。注意标注过程中尽量做到标注框的准确，同时标签中不得包含空格，中划线，中文字符等，不然运行中会出错。标注完成后，将数据放进对应的文件夹中等待使用。
步骤4.将收集到的锈蚀数据集训练1000次，
进一步的，将标注好的起重机锈蚀数据集图放入train和test文件夹，
进一步的，将训练放API模型中进行训练，直至收敛。
如图5所示为配置文件图，即修改配置文件，将数据标签为以下三种：sheet、stripe和pitting，分别代表sheet片状锈蚀，stripe条状锈蚀和pitting点状锈蚀；
如图6所示为数据路径图，即数据生成的路径文件位置；
如图7所示为数据结果图，即得到数据结果文件；
如图8所示为训练过程图，即用处理好的数据对Tensorflow的目标检测API模型(基于SSD)进行训练；
如图9所示为模型图，即经过数据训练好的模型文件图。
步骤5.对数据进行测试：
如图10所示为测试结果图，即将图片放到指定的文件夹，然后利用
object_detection_tutorial.ipynb实现对数据的测试所得到的图像。
步骤6.对结果的分析和比较：
如图11所示为loss变化曲线图，即利用Tensorboard生成可以直观的观察模型在训练过程过程中模型的loss变化曲线图像，分析得到可靠的模型；
如图12、13所示分别为AP结果图和mAP结果图，即在目标检测模型中，评估的模型的性能，除了前面的loss外，还有AP(Average Precision)和mAP(mean AveragePrecision)，图示为评价结果。
进一步的，由图12的mAP结果图可知，该数值区间为0-1，数值越高效果越好。由AP和mAP图可知，点状锈蚀pitting的准确度保持在0.8左右，片状锈蚀sheet的准确度接近1，条状锈蚀检测准确度略低，保持在0.5左右。该模型的平均准确度保持在0.7以上，最高值达到了0.78左右，由此可见该模型的检测效果较好。
与现有技术相比，本发明的有益效果在于，本发明利用起重机锈蚀识别算法训练的检测模型，可以自动处理图片数据，拥有高度的自组织和自学习能力。此外，具有稳定、高效和抗干扰能力，即使采集图像的分辨率比较低、采集图像中存在干扰因素，也能保证锈蚀目标检测的精度，极大的提高了锈蚀目标特征提取的准确率。
本发明所描述的实际案例仅仅是本发明其中一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (1)

1.一种基于SSD框架的起重机锈蚀识别和归类算法，其特征在于，包括以下步骤：
步骤1.计算机硬性条件的确认；
步骤2.环境部署：
在计算机上安装cuda，
在计算机上安装cudnn，
在计算机上安装Anaconda，
在计算机上安装tensorflow，编译基于tensorflow的目标检测API模型；
步骤3.锈蚀数据集的准备：
锈蚀数据集包含了不同形状的锈蚀：条状锈蚀、点状锈蚀和片状锈蚀，通过旋转、裁剪等方法对采集照片进行了数据增强；
步骤4.将收集到的锈蚀数据集训练1000次,
进一步的，将标注好的起重机锈蚀数据集图放入train和test文件夹,
进一步的，将训练放API模型中进行训练，直至收敛；
步骤5.对数据进行测试；
将图片放到指定的文件夹，然后利用object_detection_tutorial.ipynb即可实现对数据的测试；
步骤6.对结果的分析和比较：
利用Tensorboard可以直观的观察模型在训练过程过程中模型的loss变化曲线，分析得到可靠的模型,
训练好后模型可以对目标图的锈蚀识别和归类；
最终实现应用了目标检测模型Tensorflow的基于SSD的目标检测API模型对采集的图像进行分类和定位，从而实现对起重机定期监测的目的。
CN201910565169.4A 2019-06-27 2019-06-27 一种基于ssd框架的起重机锈蚀识别和归类算法 Active CN110288027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910565169.4A CN110288027B (zh) 2019-06-27 2019-06-27 一种基于ssd框架的起重机锈蚀识别和归类算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910565169.4A CN110288027B (zh) 2019-06-27 2019-06-27 一种基于ssd框架的起重机锈蚀识别和归类算法

Publications (2)

Publication Number Publication Date
CN110288027A CN110288027A (zh) 2019-09-27
CN110288027B true CN110288027B (zh) 2023-04-07

Family

ID=68007711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910565169.4A Active CN110288027B (zh) 2019-06-27 2019-06-27 一种基于ssd框架的起重机锈蚀识别和归类算法

Country Status (1)

Country Link
CN (1) CN110288027B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583197B (zh) * 2020-04-23 2022-05-13 浙江大学 结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019071662A1 (zh) * 2017-10-09 2019-04-18 平安科技（深圳）有限公司 电子装置、票据信息识别方法和计算机可读存储介质
CN109829907A (zh) * 2019-01-31 2019-05-31 浙江工业大学 一种基于深度学习的金属轴表面缺陷识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019071662A1 (zh) * 2017-10-09 2019-04-18 平安科技（深圳）有限公司 电子装置、票据信息识别方法和计算机可读存储介质
CN109829907A (zh) * 2019-01-31 2019-05-31 浙江工业大学 一种基于深度学习的金属轴表面缺陷识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
索结构桥梁钢绞线主索锈蚀评定研究;全恩懋等;《公路交通科技》;20170715(第07期);全文 *
钢结构焊缝的射线探伤及钢材锈蚀和防火涂层厚度的检测――钢结构工程的质量检测讲座(四);袁海军;《工程质量》;20040510(第05期);全文 *

Also Published As

Publication number Publication date
CN110288027A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
WO2020038389A1 (zh) 一种焊缝底片缺陷识别方法
CN111080612B (zh) 一种货车轴承破损检测方法
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN114241364A (zh) 一种架空输电线路异物目标快速标定方法
CN110288027B (zh) 一种基于ssd框架的起重机锈蚀识别和归类算法
CN112906602B (zh) 基于图像处理的配电柜电量表自动识别装置及识别方法
CN110428398A (zh) 一种基于深度学习的高铁接触网拉线缺陷检测方法
CN112733940B (zh) 一种截断塞门手把关闭故障图像识别方法
Xue et al. A high efficiency deep learning method for the x-ray image defect detection of casting parts
CN111553345B (zh) 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法
CN110334818B (zh) 一种管路自动识别的方法及系统
CN117288094A (zh) 基于激光传感器的掘进机实时定位系统
Cao et al. Power line detection based on symmetric partial derivative distribution prior
CN110674827A (zh) 一种融合深度学习与形态学滤波的设备状态视觉检测方法
CN111652834A (zh) 一种基于支持向量机的钢卷捆扎带识别方法
CN116206169A (zh) 一种智能煤矸石目标检测方法
CN106778515B (zh) 一种法兰轴向漏磁阵列信号自动识别方法
CN115311447A (zh) 一种基于深度卷积神经网络的指针式仪表示数识别方法
CN113588796A (zh) 一种海洋管道监测预警方法及系统
CN112052824A (zh) 基于YOLOv3算法的煤气管道特定物体目标检测告警方法、装置、系统及存储介质
CN107590824B (zh) 基于三维图像处理技术的岩石颗粒识别及位移跟踪方法
CN111626323A (zh) 一种基于深度学习的电表状态检测和评估方法
Guo et al. Transmission Lines Monitoring Based on Convolution Neural Network and Edge Computation
Zhang et al. Research on detection and recognition system of oil and gas pipeline weld seam based on machine vision technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant