CN111881970A - 一种基于深度学习的外破图像智能识别方法 - Google Patents

一种基于深度学习的外破图像智能识别方法 Download PDF

Info

Publication number
CN111881970A
CN111881970A CN202010716382.3A CN202010716382A CN111881970A CN 111881970 A CN111881970 A CN 111881970A CN 202010716382 A CN202010716382 A CN 202010716382A CN 111881970 A CN111881970 A CN 111881970A
Authority
CN
China
Prior art keywords
image
feature
deep learning
model
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010716382.3A
Other languages
English (en)
Inventor
李博彤
毕海岩
魏然
李庆镭
黄旭
高强伟
刘伟
刘畅
班全
张夏新
贾晓亮
赵博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Tianjin Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010716382.3A priority Critical patent/CN111881970A/zh
Publication of CN111881970A publication Critical patent/CN111881970A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明专利涉及一种基于深度学习的外破图像智能识别方法，涉及地下管线运维技术领域，包括视频图像样本数据收集、人工图像标定、构建模型、模型训练、模型评估等步骤，模型训练是基于深度学习的智能算法，采用改进的SSD算法进行目标检测，通过在不同卷积层的特征图上预测物体区域，输出离散化的多尺度、多比例的默认框坐标，同时利用小卷积核预测一系列候选框的边框坐标补偿和每个类别的置信度。本发明的有益效果在于：本发明采用深度学习的智能算法进行模型训练，速度更快，精度更高，实现对地下管线运维常见的外破设备的智能识别，实现自动在线识别告警。

Description

一种基于深度学习的外破图像智能识别方法
技术领域
本发明涉及地下管线运维技术领域，具体是涉及一种基于深度学习的外破图像智能识别方法。
背景技术
在经济发展过程中,电网是有关民生,有关经济的重要产业,是电力系统的主要组成部分,有举足轻重的作用.我国由于地域广,电网规模大,长距离的地下管线较多,所以电网的运行、维护和检修则非常困难。特别是在超高压、特高压技术迅速发展之后,地下管线运行状态直接关系到国家经济建设,地下管线运行维护工作责任重大。在各种地下管线故障中,外破已经是主要原因,电力公司各级单位都采取技术和管理手段,建立健全防外破工作机制,提升对外破隐患识别及响应能力。
为了掌握地下管线外破情况,国内外出现许多解决方案,例如地下管线远程检测设备,可以通过此设备时时检测地下管线的运行状态,必要时发出报警。其中,视频图像监控子系统,作为系统中“可视”的辅助手段,已在地下管线上广泛应用,但并不对视频流进行分析处理,还是依靠后台人员人工筛选出有隐患的图片,这样一方面隐患告警提示不具有实时性,另一方面加大了人力负担。当下,深度学习等机器学习技术有了长足的发展，利用“互联网+”机器学习，智能识别地下管线施工机械、大型车辆等外破可以大大提高故障预报的准确性和实时性，提升工作效率，节省费用，大幅提升管线运维单位运维管理水平。
发明内容
为了克服现有技术存在的缺点，本发明提出了一种基于深度学习的外破图像智能识别方法。基于深度学习智能算法，训练算法模型，实现对地下管线施工机械、大型车辆等外破进行智能识别，实现自动在线识别告警。
本发明采取的技术方案是：
一种基于深度学习的外破图像智能识别方法，其特征在于：包括如下步骤：
步骤1：外破图像样本数据收集，针对每类外破设备收集图像素材样本；
步骤2：人工图像标定，通过人工将搜集到的目标图像进行分类，并分别在图像素材上进行手动标定，将图像中外破设备的特征通过不同的矩形框标注；外破设备特征样本作为算法学习的正样本，其他设备样本作为算法排除的负样本；
步骤3：构建模型，利用Tensorflow算法将目标外破设备的纹理特征、形状特征、空间关系特征进行提取，并对提取出来的特征信息进行分类训练，输出形成可识别各类目外破装置的检测模型；
步骤4：模型训练，基于已标定的正负样本进行自主特征学习，优化模型特征参数，并根据检测结果进行纠偏及标定，标定后的素材进行重新训练，通过不断迭代形成高可用的分析模型；
步骤5：模型评估，通过现场测试验证外破识别模型，对外破设备进行智能识别。
进一步的，所述步骤4中，模型训练，采用改进的SSD算法进行目标检测，通过在不同卷积层的特征图上预测物体区域，输出离散化的多尺度、多比例的默认框平行坐标，同时利用小卷积核预测一系列候选框的边框坐标补偿和每个类别的置信度；在整幅图像上各个位置用多尺度区域的局部特征图边框回归。
进一步的，所述的改进的SSD算法，采用多尺度特征图检测，将卷积特征层添加到截断的基础网络的末尾，卷积特征层尺寸逐渐减小，得到多个尺度检测的预测值，检测的卷积模型对于每个卷积特征层是不同的。
进一步的，所述的改进的SSD算法，检测的卷积预测器：每个添加的卷积特征层或可选的基础网络的现有卷积特征层可以使用一组卷积滤波器产生固定的预测集合。
进一步的，所述的改进的SSD算法，默认框与宽高比：将一组默认边界框与顶层网络每个特征图单元关联，默认框对特征图作卷积运算，使得每个框实例相对于其对应单元格的位置是固定的；在每个特征映射单元中，预测相对于单元格中的默认框形状的偏移，以及每个框中实例的每类分数。
进一步的，所述的改进的SSD算法所采用的匹配策略为：将默认框与任何的标注数据配对，只需两者之间的交并比大于一个阈值，即可判定为目标识别对象。
进一步的，所述的改进的SSD算法，数据增广为：针对每一张训练图像，随机采样一个图像块，当标注数据的中心在采样的图像块中时，保留重叠部分；在多次采样步骤之后，每一个采样的图像块被改变到固定的大小，并且以0.5，0.5的概率随机的水平翻转。
本发明的优点和积极效果是：
本发明中，在采集装置上与现有技术相同，采用可视化装置对于现场情况进行实时的采集，因此，不需大量更新视频采集装备。而对于后续的视频流处理过程中，利用“互联网+”机器学习，智能识别地下管线施工机械、大型车辆等外破，相较于现有的人工筛选方式相比，不但节省人工，也大大提升了准确性和实时性。
本发明中，所述步骤1-3中，用于对外破图像的样本数据进行采集和预处理，保证素材的多样化，每类目标外破设备的素材场景越丰富、图像质量越高、画面越清晰，越有利于算法的学习，越能够提高识别的准确率。
本发明中，所述的步骤4中，基于步骤3中标定的正负样本进行自主特征学习，优化模型特征参数，并对标定后的素材进行重新训练，通过不断迭代形成高可用的分析模型。最后，通过现场测试验证外破识别模型，对外破设备进行智能识别。
本发明中，基于上述视频采集，预处理以及相应算法，提高管线运维单位的巡视效率，真正掌握地下管线外破情况，做到第一时间发现、第一时间处置、第一时间解决，利用深度学习方法及视频处理分析技术，实现了从远程巡检到智能巡检的突破。进而，实现对地下管线施工机械、大型车辆等外破设备的智能识别，实现自动在线识别告警。
具体实施方式
下面结合实施例，对本发明进一步说明，下述实施例是说明性的，不是限定性的，不能以下述实施例来限定本发明的保护范围。
一种基于深度学习的外破图像智能识别方法，本发明的创新在于，包括如下步骤：
步骤1：外破图像样本数据收集，针对每类外破设备收集图像素材样本；
步骤2：人工图像标定，通过人工将搜集到的目标图像进行分类，并分别在图像素材上进行手动标定，将图像中外破设备的特征通过不同的矩形框标注；外破设备特征样本作为算法学习的正样本，其他设备样本作为算法排除的负样本；
步骤3：构建模型，利用Tensorflow算法将目标外破设备的纹理特征、形状特征、空间关系特征进行提取，并对提取出来的特征信息进行分类训练，输出形成可识别各类目外破装置的检测模型；
步骤4：模型训练，基于已标定的正负样本进行自主特征学习，优化模型特征参数，并根据检测结果进行纠偏及标定，标定后的素材进行重新训练，通过不断迭代形成高可用的分析模型；
步骤5：模型评估，通过现场测试验证外破识别模型，对外破设备进行智能识别。
本实施例中，所述步骤4中，模型训练，采用改进的SSD算法进行目标检测，通过在不同卷积层的特征图上预测物体区域，输出离散化的多尺度、多比例的默认框平行坐标，同时利用小卷积核预测一系列候选框的边框坐标补偿和每个类别的置信度；在整幅图像上各个位置用多尺度区域的局部特征图边框回归。在保持YOLO算法快速特性的同时，也保证了边框定位效果和FasterR-CNN类似。但因其利用多层次特征分类，导致其对于小目标检测困难，最后一个卷积层的感受野范围很大，使得小目标特征不明显。
本实施例中，所述的改进的SSD算法，采用多尺度特征图检测，将卷积特征层添加到截断的基础网络的末尾，卷积特征层尺寸逐渐减小，得到多个尺度检测的预测值，检测的卷积模型对于每个卷积特征层是不同的。
本实施例中，所述的改进的SSD算法，检测的卷积预测器：每个添加的卷积特征层或可选的基础网络的现有卷积特征层可以使用一组卷积滤波器产生固定的预测集合。对于具有p个通道的大小为m×n的特征层，使用3×3×p卷积核卷积操作，产生类别的分数或相对于默认框的坐标偏移。在每个应用卷积核运算的m×n大小位置处，产生一个输出值。边界框偏移输出值是相对于默认框测量，默认框位置则相对于特征图。
本实施例中，所述的改进的SSD算法，默认框与宽高比：将一组默认边界框与顶层网络每个特征图单元关联，默认框对特征图作卷积运算，使得每个框实例相对于其对应单元格的位置是固定的；在每个特征映射单元中，预测相对于单元格中的默认框形状的偏移，以及每个框中实例的每类分数；具体来说，对于在给定位置的k个框中每个框，计算c类分数和相对于原始默认框的4个偏移量。这使得在特征图中的每个位置需要总共(c+4)k个滤波器，对于m×n特征图产生(c+4)k＊m＊n个输出；默认框类似于FasterR-CNN中使用的anchorboxes，但将其应用于不同分辨率的特征图中；在多个特征图中使用不同的默认框形状，可以有效地离散可能的输出框形状空间在每个特征映射单元中，预测相对于单元格中的默认框形状的偏移，以及每个框中实例的每类分数。
本实施例中，所述的改进的SSD算法所采用的匹配策略为：将默认框与任何的标注数据配对，只需两者之间的交并比大于一个阈值，即可判定为目标识别对象。
本实施例中，在开始的时候，用多尺度窗口中的最优交并比来匹配每一个标注数据与默认框，这样就能保证每一个标注数据与唯一的一个默认框对应起来，但是又不同于多尺度窗口。
本实施例中，所述的改进的SSD算法，数据增广为：针对每一张训练图像，随机采样一个图像块，当标注数据的中心在采样的图像块中时，保留重叠部分；在多次采样步骤之后，每一个采样的图像块被改变到固定的大小，并且以0.5，0.5的概率随机的水平翻转。
本发明的使用过程是：
本发明使用时，采用原始的图像，即采样一个图像块，与物体之间最小的交并比(IOU)为：0.1，0.3，0.5，0.7与0.9，0.1，0.3，0.5，0.7与0.9。随机的采样一个图像块：采样的图像块是原始图像大小比例是[0.1，1][0.1，1]，宽高比在1212与22之间；当标注数据的中心在采样的图像块中时，保留重叠部分；在这些采样步骤之后，每一个采样的图像块被改变到固定的大小，并且以0.5，0.5的概率随机的水平翻转。

Claims (7)

1.一种基于深度学习的外破图像智能识别方法，其特征在于：包括如下步骤：
步骤1：外破图像样本数据收集，针对每类外破设备收集图像素材样本；
步骤2：人工图像标定，通过人工将搜集到的目标图像进行分类，并分别在图像素材上进行手动标定，将图像中外破设备的特征通过不同的矩形框标注；外破设备特征样本作为算法学习的正样本，其他设备样本作为算法排除的负样本；
步骤3：构建模型，利用Tensorflow算法将目标外破设备的纹理特征、形状特征、空间关系特征进行提取，并对提取出来的特征信息进行分类训练，输出形成可识别各类目外破装置的检测模型；
步骤4：模型训练，基于已标定的正负样本进行自主特征学习，优化模型特征参数，并根据检测结果进行纠偏及标定，标定后的素材进行重新训练，通过不断迭代形成高可用的分析模型；
步骤5：模型评估，通过现场测试验证外破识别模型，对外破设备进行智能识别。
2.根据权利要求1所述的一种基于深度学习的外破图像智能识别方法，其特征在于：所述步骤4中，模型训练，采用改进的SSD算法进行目标检测，通过在不同卷积层的特征图上预测物体区域，输出离散化的多尺度、多比例的默认框平行坐标，同时利用小卷积核预测一系列候选框的边框坐标补偿和每个类别的置信度；在整幅图像上各个位置用多尺度区域的局部特征图边框回归。
3.根据权利要求2所述的一种基于深度学习的外破图像智能识别方法，其特征在于：所述的改进的SSD算法，采用多尺度特征图检测，将卷积特征层添加到截断的基础网络的末尾，卷积特征层尺寸逐渐减小，得到多个尺度检测的预测值，检测的卷积模型对于每个卷积特征层是不同的。
4.根据权利要求2所述的一种基于深度学习的外破图像智能识别方法，其特征在于：所述的改进的SSD算法，检测的卷积预测器：每个添加的卷积特征层或可选的基础网络的现有卷积特征层可以使用一组卷积滤波器产生固定的预测集合。
5.根据权利要求2所述的一种基于深度学习的外破图像智能识别方法，其特征在于：所述的改进的SSD算法，默认框与宽高比：将一组默认边界框与顶层网络每个特征图单元关联，默认框对特征图作卷积运算，使得每个框实例相对于其对应单元格的位置是固定的；在每个特征映射单元中，预测相对于单元格中的默认框形状的偏移，以及每个框中实例的每类分数。
6.根据权利要求2所述的一种基于深度学习的外破图像智能识别方法，其特征在于：所述的改进的SSD算法所采用的匹配策略为：将默认框与任何的标注数据配对，只需两者之间的交并比大于一个阈值，即可判定为目标识别对象。
7.根据权利要求2所述的一种基于深度学习的外破图像智能识别方法，其特征在于：所述的改进的SSD算法，数据增广为：针对每一张训练图像，随机采样一个图像块，当标注数据的中心在采样的图像块中时，保留重叠部分；在多次采样步骤之后，每一个采样的图像块被改变到固定的大小，并且以0.5，0.5的概率随机的水平翻转。
CN202010716382.3A 2020-07-23 2020-07-23 一种基于深度学习的外破图像智能识别方法 Pending CN111881970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010716382.3A CN111881970A (zh) 2020-07-23 2020-07-23 一种基于深度学习的外破图像智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010716382.3A CN111881970A (zh) 2020-07-23 2020-07-23 一种基于深度学习的外破图像智能识别方法

Publications (1)

Publication Number Publication Date
CN111881970A true CN111881970A (zh) 2020-11-03

Family

ID=73154621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010716382.3A Pending CN111881970A (zh) 2020-07-23 2020-07-23 一种基于深度学习的外破图像智能识别方法

Country Status (1)

Country Link
CN (1) CN111881970A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580731A (zh) * 2020-12-24 2021-03-30 深圳市对庄科技有限公司 翡翠产品识别方法、系统、终端、计算机设备及存储介质
CN112614121A (zh) * 2020-12-29 2021-04-06 国网青海省电力公司海南供电公司 一种多尺度小目标设备缺陷识别监测方法
CN112860760A (zh) * 2021-01-29 2021-05-28 云南电网有限责任公司电力科学研究院 一种配电网设备智能辨识系统
CN113780237A (zh) * 2021-09-27 2021-12-10 深圳供电局有限公司 一种地下管线的防外力破坏预警方法、装置及系统
CN117115169A (zh) * 2023-10-25 2023-11-24 宁波吉烨汽配模具有限公司 一种汽车配件压铸模具表面形变异常智能识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729807A (zh) * 2017-09-05 2018-02-23 南京理工大学 一体化防外破目标识别与智能预警系统
CN109325947A (zh) * 2018-09-20 2019-02-12 北京航空航天大学 一种基于深度学习的sar图像铁塔目标检测方法
CN110097723A (zh) * 2019-04-17 2019-08-06 南京砺剑光电技术研究院有限公司 基于计算机视觉的外破行为识别与告警方法
CN110766041A (zh) * 2019-09-04 2020-02-07 江苏大学 一种基于深度学习的害虫检测方法
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法
CN110944150A (zh) * 2019-11-19 2020-03-31 广东森旭通用设备科技有限公司 一种电力专用的防外破智能识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729807A (zh) * 2017-09-05 2018-02-23 南京理工大学 一体化防外破目标识别与智能预警系统
CN109325947A (zh) * 2018-09-20 2019-02-12 北京航空航天大学 一种基于深度学习的sar图像铁塔目标检测方法
CN110097723A (zh) * 2019-04-17 2019-08-06 南京砺剑光电技术研究院有限公司 基于计算机视觉的外破行为识别与告警方法
CN110766041A (zh) * 2019-09-04 2020-02-07 江苏大学 一种基于深度学习的害虫检测方法
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法
CN110944150A (zh) * 2019-11-19 2020-03-31 广东森旭通用设备科技有限公司 一种电力专用的防外破智能识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580731A (zh) * 2020-12-24 2021-03-30 深圳市对庄科技有限公司 翡翠产品识别方法、系统、终端、计算机设备及存储介质
CN112580731B (zh) * 2020-12-24 2022-06-24 深圳市对庄科技有限公司 翡翠产品识别方法、系统、终端、计算机设备及存储介质
CN112614121A (zh) * 2020-12-29 2021-04-06 国网青海省电力公司海南供电公司 一种多尺度小目标设备缺陷识别监测方法
CN112860760A (zh) * 2021-01-29 2021-05-28 云南电网有限责任公司电力科学研究院 一种配电网设备智能辨识系统
CN112860760B (zh) * 2021-01-29 2023-03-31 云南电网有限责任公司电力科学研究院 一种配电网设备智能辨识系统
CN113780237A (zh) * 2021-09-27 2021-12-10 深圳供电局有限公司 一种地下管线的防外力破坏预警方法、装置及系统
CN117115169A (zh) * 2023-10-25 2023-11-24 宁波吉烨汽配模具有限公司 一种汽车配件压铸模具表面形变异常智能识别方法

Similar Documents

Publication Publication Date Title
CN111881970A (zh) 一种基于深度学习的外破图像智能识别方法
CN108257114A (zh) 一种基于深度学习的输电设备缺陷自动识别方法
CN110826514A (zh) 一种基于深度学习的施工现场违章智能识别方法
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
CN112734692A (zh) 一种变电设备缺陷识别方法及装置
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN113436157B (zh) 一种用于受电弓故障的车载图像识别方法
CN106778833A (zh) 一种复杂背景下小目标丢失故障的自动识别方法
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN111914767A (zh) 一种基于多源遥感数据的散乱污企业检测方法及系统
CN115187527A (zh) 一种多源混合型特高频局部放电图谱的分离识别方法
CN113344852A (zh) 一种电力场景通用物品的目标检测方法、装置及存储介质
CN111753877B (zh) 一种基于深度神经网络迁移学习的产品质量检测方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN115439643A (zh) 一种基于单目测量的道路病害尺寸分析与管理方法
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN116664846B (zh) 基于语义分割实现3d打印桥面施工质量监测方法及系统
CN116385948B (zh) 一种预警铁路边坡异常的系统和方法
CN115063337A (zh) 埋地管道智能维修决策方法及装置
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
Mehajabin et al. Real-time deep learning based road deterioration detection for smart cities
Wang et al. Visual defect detection for substation equipment based on joint inspection data of camera and robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination