CN111583197B - 结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法 - Google Patents
结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法 Download PDFInfo
- Publication number
- CN111583197B CN111583197B CN202010326610.6A CN202010326610A CN111583197B CN 111583197 B CN111583197 B CN 111583197B CN 202010326610 A CN202010326610 A CN 202010326610A CN 111583197 B CN111583197 B CN 111583197B
- Authority
- CN
- China
- Prior art keywords
- power box
- corrosion damage
- ssd
- training
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 title abstract description 4
- 230000007797 corrosion Effects 0.000 claims abstract description 53
- 238000005260 corrosion Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000007689 inspection Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法。采集电力箱样本图片，预处理并进行筛选整理并标注，形成训练集；将训练集输入到SSD目标检测网络中预测输出电力箱小图，训练得到电力箱检测模型；利用电力箱小图输入到Resnet50分类网络中预测判断出电力箱是否存在锈蚀破损情况，训练得到锈蚀破损检测模型；通过测试后结合形成电力箱锈蚀破损识别综合模型，利用电力箱锈蚀破损识别综合模型实现对待测电力箱图片进行检测。本发明能够较好地检测出电力箱在图像中的位置并判断是否出现锈蚀破损等状况和结果，解决了电力箱拍摄图像背景干扰大、锈蚀破损情况判断困难等问题。
Description
技术领域
本发明涉及了一种检测并判断电力箱锈蚀破损的图像处理方法，尤其是涉及了一种基于SSD目标检测算法及Resnet50分类网络的电力箱锈蚀破损自动判定方法。
背景技术
电力箱作为电力输送途中(如电缆隧道等)的重要组成设备，其金属外壳在潮湿环境中容易产生锈蚀破损等状况。在电力隧道巡检过程中，电力箱的巡检是较为重要的一项工作。随着固定摄像头巡检及机器人智能巡检技术的发展，高效准确的电力箱检测及锈蚀破损判断方法能够使提高智能化巡检效率，具有较为重要的意义。
发明内容
为了解决背景技术中的问题，本发明提出了一种基于SSD目标检测算法及Resnet50分类网络的电力箱图像中电力箱锈蚀破损识别方法，能够较好地检测出电力箱在图像中的位置并判断是否出现锈蚀破损等状况和结果。
本发明的技术方案包括以下步骤：
本发明方法流程图如附录图1所示，包括以下步骤：
1)采集电力箱样本图片，包含不同角度拍摄以及不同种类的电力箱目标的各种样本图片；
电力箱的种类分为不同厂家、型号和不同大小的电力箱。
2)对采集到的样本图片进行预处理并进行筛选整理，形成训练集；
3)按照目标检测标注方式对步骤2)获得的电力箱样本进行标注，将标注后的数据集作为训练集，训练集中的样本图片均具有相同的尺寸；
4)将步骤3)获得的训练集及其位置信息的标注输入到SSD目标检测网络中预测输出带有电力箱的图像区域作为电力箱小图，通过调整训练参数进行训练得到效果较好的电力箱检测模型；
5)利用SSD目标检测网络预测输出的电力箱小图及其对应的训练集中原有的锈蚀破损情况信息的标注输入到Resnet50分类网络中预测判断出电力箱是否存在锈蚀破损情况，通过调整训练参数进行训练得到效果较好的锈蚀破损检测模型；
6)对步骤5)获得的锈蚀破损检测模型进行测试，在通过测试后与训练好的电力箱检测模型进行结合，形成统一的基于SSD目标检测算法及Resnet分类网络的电力箱锈蚀破损识别综合模型，利用电力箱锈蚀破损识别综合模型实现对待测电力箱图片进行检测。
所述的综合模型，由SSD目标检测模型与Resnet50分类模型组成，该综合结构实现电力箱检测定位与锈蚀破损情况判断。
所述的电力箱目标是电力隧道巡检过程中的电力箱。
所述步骤3)的训练集标注是将每个样本图片中对应电力箱的位置信息及是否锈蚀破损的情况进行标注。
所述步骤4)中待调节的训练参数包括学习率、训练批次及数量。
所述步骤6)中，利用电力箱锈蚀破损识别综合模型实现对待测电力箱图片进行检测，包括：
6.1)待测电力箱图片输入后，利用电力箱锈蚀破损识别综合模型中的SSD目标检测网络部分检测电力箱位置，预测裁剪出与电力箱基本相一致大小的图像区域作为分类小图；该分类小图中充分包含了电力箱的信息。
6.2)将6.1)所获得的分类小图输入到电力箱锈蚀破损识别综合模型中的Resnet50分类网络部分中，获得电力箱锈蚀破损判断结果。
本发明首先利用目标检测SSD算法对电力箱的特征进行学习，获得相应的目标检测模型；其次，将待检测图像输入到预先训练好的模型中，获取电力箱在图像中所处的位置，完成电力箱在图像中的检测与定位，并框定出该区域。最后，将图像中框定的区域进行裁剪，获取由电力箱填满的小图，输入到Resnet50分类网络中进行训练，判断是否出现锈蚀破损的情况。
所述获得的电力箱锈蚀破损识别综合模型能被联合用于电力箱锈蚀破损的自动判定任务中。
本发明具有的有益的效果是：
本方法方法解决了巡检过程中电力箱拍摄图像背景干扰大、锈蚀破损情况判断困难等问题，方法判断准确率大于80％，满足巡检要求，具有较大的使用意义。此外，本发明方法同样适用于背景干扰较大但仍需进行分类的图像识别任务中。
附图说明
图1为实施例综合模型示意图。
图2为实施例训练样本图片。
图3为电力箱检测结果于位置信息(如框所示)。
图4为综合模型对于电力箱锈蚀破损判断结果。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
如图1所示，按照本发明发明内容完整方法实施的实施例如下：
1)采集电力箱样本图片，包含不同角度拍摄以及不同种类的电力箱目标的各种样本图片；
2)对采集到的样本图片进行预处理并进行筛选整理，形成训练集；
3)按照目标检测标注方式对步骤2)获得的电力箱样本进行标注，是将每个样本图片中对应电力箱的位置信息及是否锈蚀破损的情况进行标注。将标注后的数据集作为训练集，训练集中的样本图片均具有相同的尺寸。
4)将步骤3)获得的训练集及其位置信息的标注输入到SSD目标检测网络中预测输出带有电力箱的图像区域作为电力箱小图，通过调整训练参数进行训练得到效果较好的电力箱检测模型；训练参数包括学习率、训练批次及数量。
5)利用SSD目标检测网络预测输出的电力箱小图及其对应的训练集中原有的锈蚀破损情况信息的标注输入到Resnet50分类网络中预测判断出电力箱是否存在锈蚀破损情况，通过调整训练参数进行训练得到效果较好的锈蚀破损检测模型；训练参数包括学习率、训练批次及数量。
6)对步骤5)获得的锈蚀破损检测模型进行测试，在通过测试后与训练好的电力箱检测模型进行结合，形成统一的基于SSD目标检测算法及Resnet分类网络的电力箱锈蚀破损识别综合模型，利用电力箱锈蚀破损识别综合模型实现对待测电力箱图片进行检测：
6.1)待测电力箱图片输入后，利用电力箱锈蚀破损识别综合模型中的SSD目标检测网络部分检测电力箱位置，预测裁剪出与电力箱相一致大小的图像区域作为分类小图；
6.2)将6.1)所获得的分类小图输入到电力箱锈蚀破损识别综合模型中的Resnet50分类网络部分中，获得电力箱锈蚀破损判断结果。
具体情况如下：
如图2所示，在SSD电力箱目标检测模型训练部分，实验图片共有683张，其中用于训练的图片有500张。
电力箱小图检测结果例如图3所示，电力箱的测试图片有183张图片，其中正确检测并定位的有160张，有9张未被正确检测出，14张定位稍偏。
表1电力箱检测结果
锈蚀破损检测结果例如图4所示，在最终的模型结合部分，测试图片共有200张，其中正样本120张，负样本80张。其中正确判断电力箱是否有锈蚀破损的有188张。
表2电力箱判断判断测试结果
本发明中所获得的准确率符合日常巡检过程中的需求，具有较好的稳定性和较高的抗干扰性。能够应用于巡检机器人和固定巡检摄像头等智能化巡检方式。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (4)
1.一种结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法，其特征在于：
包括以下步骤：
1)采集电力箱样本图片，包含不同角度拍摄以及不同种类的电力箱目标的各种样本图片；
2)对采集到的样本图片进行预处理并进行筛选整理，形成训练集；
3)按照目标检测标注方式对步骤2)获得的电力箱样本进行标注，将标注后的数据集作为训练集，训练集中的样本图片均具有相同的尺寸；
4)将步骤3)获得的训练集及其标注输入到SSD目标检测网络中预测输出带有电力箱的图像区域作为电力箱小图，通过调整训练参数进行训练得到电力箱检测模型；
5)利用SSD目标检测网络预测输出的电力箱小图及其对应的训练集中原有的标注输入到Resnet50分类网络中预测判断出电力箱是否存在锈蚀破损情况，通过调整训练参数进行训练得到锈蚀破损检测模型；
6)对步骤5)获得的锈蚀破损检测模型进行测试，在通过测试后与训练好的电力箱检测模型进行结合，形成统一的基于SSD目标检测算法及Resnet50 分类网络的电力箱锈蚀破损识别综合模型，利用电力箱锈蚀破损识别综合模型实现对待测电力箱图片进行检测；
其中，所述步骤6)中，利用电力箱锈蚀破损识别综合模型实现对待测电力箱图片进行检测，包括：
6.1)待测电力箱图片输入后，利用电力箱锈蚀破损识别综合模型中的SSD目标检测网络部分检测电力箱位置，预测裁剪出与电力箱相一致大小的图像区域作为分类小图；
6.2)将6.1)所获得的分类小图输入到电力箱锈蚀破损识别综合模型中的Resnet50分类网络部分中，获得电力箱锈蚀破损判断结果。
2.根据权利要求1所述一种结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法，其特征在于：所述的电力箱目标是电力隧道巡检过程中的电力箱。
3.根据权利要求1所述的一种结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法，其特征在于：所述步骤3)的训练集标注是将每个样本图片中对应电力箱的位置信息及是否锈蚀破损的情况进行标注。
4.根据权利要求1所述的一种结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法，其特征在于：所述步骤4)中待调节的训练参数包括学习率、训练批次及数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010326610.6A CN111583197B (zh) | 2020-04-23 | 2020-04-23 | 结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010326610.6A CN111583197B (zh) | 2020-04-23 | 2020-04-23 | 结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583197A CN111583197A (zh) | 2020-08-25 |
| CN111583197B true CN111583197B (zh) | 2022-05-13 |
Family
ID=72126704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010326610.6A Active CN111583197B (zh) | 2020-04-23 | 2020-04-23 | 结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583197B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163517A (zh) * | 2020-09-27 | 2021-01-01 | 广东海洋大学 | 一种基于深度学习的水下成像鱼网破损识别方法及系统 |
| CN112183382A (zh) * | 2020-09-30 | 2021-01-05 | 深兰人工智能(深圳)有限公司 | 无人驾驶交通灯检测分类方法和装置 |
| CN112767364B (zh) * | 2021-01-22 | 2022-06-17 | 三峡大学 | 一种闸门门叶表面锈蚀的图像检测系统及锈蚀面积快速测算方法 |
| CN113205027B (zh) * | 2021-04-26 | 2022-09-13 | 南瑞集团有限公司 | 一种变电设备金属锈蚀的检测装置和检测方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN206225830U (zh) * | 2016-12-09 | 2017-06-06 | 国网北京市电力公司 | 电力箱 |
| CN109684906A (zh) * | 2018-05-31 | 2019-04-26 | 北京林业大学 | 基于深度学习的检测红脂大小蠹的方法 |
| US10332245B1 (en) * | 2018-12-11 | 2019-06-25 | Capital One Services, Llc | Systems and methods for quality assurance of image recognition model |
| CN110060233A (zh) * | 2019-03-20 | 2019-07-26 | 中国农业机械化科学研究院 | 一种玉米果穗破损检测方法 |
| CN110119677A (zh) * | 2019-03-28 | 2019-08-13 | 东南大学 | 基于图像分类网络的碳纤维复合芯电缆破损检测方法 |
| CN110176001A (zh) * | 2019-06-03 | 2019-08-27 | 浙江大学 | 一种基于Grad-CAM算法的高铁接触网绝缘子破损精确定位方法 |
| CN110232334A (zh) * | 2019-05-26 | 2019-09-13 | 天津大学 | 一种基于卷积神经网络的钢结构锈蚀识别方法 |
| CN110288027A (zh) * | 2019-06-27 | 2019-09-27 | 上海海事大学 | 一种基于ssd框架的起重机锈蚀识别和归类算法 |
| CN209642403U (zh) * | 2018-12-29 | 2019-11-15 | 华创电子股份有限公司 | 一种用于配电系统的智能警示装置 |
| CN110675415A (zh) * | 2019-12-05 | 2020-01-10 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
| GB202000377D0 (en) * | 2019-04-01 | 2020-02-26 | Samsung Electronics Co Ltd | Methods for generating modified images |
-
2020
- 2020-04-23 CN CN202010326610.6A patent/CN111583197B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN206225830U (zh) * | 2016-12-09 | 2017-06-06 | 国网北京市电力公司 | 电力箱 |
| CN109684906A (zh) * | 2018-05-31 | 2019-04-26 | 北京林业大学 | 基于深度学习的检测红脂大小蠹的方法 |
| US10332245B1 (en) * | 2018-12-11 | 2019-06-25 | Capital One Services, Llc | Systems and methods for quality assurance of image recognition model |
| CN209642403U (zh) * | 2018-12-29 | 2019-11-15 | 华创电子股份有限公司 | 一种用于配电系统的智能警示装置 |
| CN110060233A (zh) * | 2019-03-20 | 2019-07-26 | 中国农业机械化科学研究院 | 一种玉米果穗破损检测方法 |
| CN110119677A (zh) * | 2019-03-28 | 2019-08-13 | 东南大学 | 基于图像分类网络的碳纤维复合芯电缆破损检测方法 |
| GB202000377D0 (en) * | 2019-04-01 | 2020-02-26 | Samsung Electronics Co Ltd | Methods for generating modified images |
| CN110232334A (zh) * | 2019-05-26 | 2019-09-13 | 天津大学 | 一种基于卷积神经网络的钢结构锈蚀识别方法 |
| CN110176001A (zh) * | 2019-06-03 | 2019-08-27 | 浙江大学 | 一种基于Grad-CAM算法的高铁接触网绝缘子破损精确定位方法 |
| CN110288027A (zh) * | 2019-06-27 | 2019-09-27 | 上海海事大学 | 一种基于ssd框架的起重机锈蚀识别和归类算法 |
| CN110675415A (zh) * | 2019-12-05 | 2020-01-10 | 北京同方软件有限公司 | 一种基于深度学习增强实例分割的道路积水区域检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Ehancement of SSD by concatenating feature maps for object detection;Jisoo Jeong等;《UNDER REVIEW IN BMVC》;20171231;第1-17页 * |
| 基于RetinaNet的手机主板缺陷检测研究;马美荣等;《计算机工程与科学》;20200415;第673-681页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583197A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583197B (zh) | 结合SSD及Resnet50网络的电力箱图片锈蚀破损识别方法 | |
| CN111650204B (zh) | 基于级联目标检测的输电线路金具缺陷检测方法及系统 | |
| CN107657603B (zh) | 一种基于智能视觉的工业外观检测方法 | |
| CN110135521A (zh) | 基于卷积神经网络的极片极耳缺陷检测模型、检测方法及系统 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN112348052B (zh) | 一种基于改进EfficientNet的输变电设备异常声源定位方法 | |
| CN112906654A (zh) | 基于深度学习算法的防震锤检测方法 | |
| CN111681214A (zh) | 一种基于U-net网络的航空轴承表面铆钉检测方法 | |
| CN116823793A (zh) | 设备缺陷检测方法、装置、电子设备和可读存储介质 | |
| Li et al. | YOLOv5-based defect detection model for hot rolled strip steel | |
| CN113255255A (zh) | 一种集成电路热真空试验系统 | |
| CN116070523A (zh) | 一种变电站缺陷检测图像样本仿真构建方法 | |
| CN111091534A (zh) | 一种基于目标检测的pcb板缺陷检测与定位方法 | |
| CN113408630A (zh) | 一种变电站指示灯状态识别方法 | |
| CN116229278B (zh) | 一种输电线路防震锤锈蚀缺陷检测方法和系统 | |
| CN115144037B (zh) | 一种锂电池防爆性能安全监测方法及系统 | |
| CN113205027B (zh) | 一种变电设备金属锈蚀的检测装置和检测方法 | |
| CN111652834A (zh) | 一种基于支持向量机的钢卷捆扎带识别方法 | |
| CN115546666A (zh) | 基于无人机巡检的电力设备螺栓检测方法及系统 | |
| Wang et al. | Visual defect detection for substation equipment based on joint inspection data of camera and robot | |
| WO2020118901A1 (zh) | 一种基于深度学习的天线下倾角测量方法 | |
| CN111626323A (zh) | 一种基于深度学习的电表状态检测和评估方法 | |
| CN112508946A (zh) | 一种基于对抗神经网络的电缆隧道异常检测方法 | |
| CN112070730A (zh) | 基于输电线路巡检图像的防震锤脱落检测方法 | |
| CN113689432B (zh) | 识别特殊点状类缺陷的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yan Yunfeng Inventor after: Han Yifeng Inventor after: Qi Donglian Inventor after: Wu Yue Inventor after: Li Chaoyong Inventor after: Yu Miao Inventor before: Qi Donglian Inventor before: Han Yifeng Inventor before: Yan Yunfeng Inventor before: Wu Yue Inventor before: Li Chaoyong Inventor before: Yu Miao |
|
| CB03 | Change of inventor or designer information |