CN111241905A - 基于改进ssd算法的输电线路鸟窝检测方法 - Google Patents

基于改进ssd算法的输电线路鸟窝检测方法 Download PDF

Info

Publication number
CN111241905A
CN111241905A CN201911145465.5A CN201911145465A CN111241905A CN 111241905 A CN111241905 A CN 111241905A CN 201911145465 A CN201911145465 A CN 201911145465A CN 111241905 A CN111241905 A CN 111241905A
Authority
CN
China
Prior art keywords
transmission line
ssd algorithm
image
power transmission
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911145465.5A
Other languages
English (en)
Inventor
焦良葆
祁婕
曹雪虹
杨波
孔小红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN201911145465.5A priority Critical patent/CN111241905A/zh
Publication of CN111241905A publication Critical patent/CN111241905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

基于改进SSD算法的输电线路鸟窝检测方法，涉及一种目标识别方法。本发明包括以下步骤：（1）通过无人机获取输电铁塔的图像，并对其进行预处理后，人工打标签，制作数据集；（2）将步骤（1）得到的数据集分为互斥的训练集、验证集和测试集，采用改进后的SSD算法对其进行训练得出用于识别目标的模型；（3）根据步骤（2）得到的模型对目标进行识别；（4）对训练所得日志进行统计，得出该模型的准确率。本发明对输电线路上的鸟窝实现智能实时监控，极大的降低了人力成本，提高效率。

Description

基于改进SSD算法的输电线路鸟窝检测方法
技术领域
本发明涉及一种目标识别方法，特别是一种基于改进SSD算法的输电线路鸟窝检测方法。
背景技术
输电线路在电力系统巡行中扮演着至关重要的角色，一旦产生故障，将会对于输电网络造成巨大的经济损失。影响到输电线路安全运行的因素有很多，鸟害便是其中之一。近年来，鸟害事故的发生明显增多，通过对其分析，鸟窝造成的短路故障这一现象最为普遍，而对于鸟窝的检测目前采用最多的便是传统的人工巡检方法，这就要求巡检工作人员定期的前往检查，这种方法不仅效率低，而且容易受地形，天气等客观因素影响。
近年来，机器学习的出现带动目标检测这一课题也被重视起来，传统的目标检测算法更注重特征的提取，只能够适用于有明显特征，背景简单的图片，所提取的特征一般较为抽象，对于目标多样性的变化不能够拥有较好的鲁棒性。而在实际情况中，无人机所拍摄的照片背景复杂，且所需要检测的目标复杂多变，很难通过所提取出来的一般的抽象特征对目标进行检测。伴随着深度学习的不断发展，目标检测技术的研究取得了突破性的进展。
发明内容
本发明目的在于对输电线路上的鸟窝搭建进行识别,使得鸟窝所造成的短路故障这一现象能够得到改善。
本发明提供了一种基于改进SSD算法的输电线路上鸟窝检测方法，主要包括以下步骤：(1)通过无人机获取输电铁塔的图像，并对其进行预处理后，人工打标签，制作数据集；(2)将步骤(1)得到的数据集分为互斥的训练集、验证集和测试集，采用改进后的SSD算法对其进行训练得出用于识别目标的模型；(3)根据步骤(2)得到的模型对目标进行识别；(4)对训练所得日志进行统计，得出该模型的准确率。
进一步，本发明步骤(1)中输电铁塔的图像，其图像包括输电线路以及搭建在输电线路上的鸟窝；对图像进行预处理，采用图片转换器对于图片进行批量的处理，将图片的尺寸缩至512×512，使之能够匹配SSD的输入；对图片进行人工打标签是使用labelImg工具给图片打标签，进而生成包含目标类别以及位置信息的xml文件。
进一步，本发明步骤(2)中的训练集、验证集和测试集按照8：1：1 的比例随机分配。
进一步，本发明步骤(3)中对目标进行识别时，设置其SSD算法的识别阙值为0.5。
进一步，本发明步骤(4)中得模型准确率以(Precision)和召回率 (Recall)作为衡量的评价指标；其计算公式为：
Figure RE-GDA0002460873290000021
Figure RE-GDA0002460873290000031
式中TP表示为被正确地划分到正例的个数，FP表示为被错误地划分到正例的个数，FN表示为被错误的划分到负例的个数。
进一步，本发明步骤(2)中改进后的SSD算法，包括(1)采用DetNet 网络；(2)使用Conv NMS获得更好的输出。
进一步，本发明使用Conv NMS，其流程为：
(a)当输入的输电线路图片为W×H时，需要对其生成w×h的score map，其中w＝W/4，h＝H/4，即score map上的每个点分别对应原图中4×4的区域。
(b)根据所得物体的bounding box的置信度，将其中心点的位置记录在 scoremap中，若接着得到更高的置信度，则需要对该区域的置信度进行更新，从而得到w×h×1的score map。
(c)用传统的NMS对bounding box进行处理，继而生成一张同样大小的 scoremap，将其记为S(T)，T为NMS的阈值。
(d)对于score map上的每个点都记录了是否包含bounding box以及该 box的置信度，以每个点为中心，选取其11×11的区域，计算其121个点所保存的bounding box和中心点的IoU，并将其保存为121维的向量用于描述该点的IoU特性，整个score map的输出特征为15×15×121；
(e)score map作为输入，其中会有多个有效的score，与之对应着相同数目的bounding box，假定这些bounding box都是同一目标的检测结果，则训练目的为保留最好的一个，抑制其他的；
(f)通过将这些bounding box中满足与ground truth的IoU大于0.5 且得分最高的box作为正样本，其余均为负样本进行标签分配；
(g)在计算loss之前要分配权重，使得正样本的权重总和与负样本的权重总和相等；
(h)得出损失函数，如以下公式所示：
Figure RE-GDA0002460873290000041
公式中，p表示scoremap中有值的点，xp是对p的特征描述，f(xp)是p的网络输出，选择权重
Figure RE-GDA0002460873290000042
使得正负样本在数据集中的权重总和相等。
本发明对输电线路上的鸟窝实现智能实时监控，极大的降低了人力成本，提高效率。
附图说明
图1为本发明的总体流程图。
图2为本发明SSD网络结构的示意图。
图3为本发明DetNet主干网络的示意图。
图4A为其中一种DetNet基本残差结构图。
图4B为另一种DetNet基本残差结构图。
图5为本发明DetNet特征金字塔网络结构细节图。
图6为本发明Conv NMS的流程图。
具体实施步骤
下面结合附图对本发明进一步说明。
如图1所述，本申请提出了一种基于改进SSD算法的输电线路鸟窝检测方法，包括：
(1)通过无人机获取输电线路的图像，并对其进行预处理后，人工打标签，制作数据集。
其图像包括输电线路以及搭建在输电线路上的鸟窝。
对于给图片进行人工打标签是使用labelImg工具将图片中所要识别的目标框出来，由其自带的pascalVOC可以得到与图片相对应的xml文件，xml 文件中会自动生成目标的坐标信息及其标签名。
(2)将数据集分为按照8：1：1的比例随机分为互斥的训练集，验证集和测试集。
(3)改进SSD算法，如图2所示，本发明的SSD算法改进在于：(1′) 采用DetNet替换传统主干网络；(2′)使用改进后的Conv NMS提高目标检测效果，通过学习的方式获得更好的输出。
本发明的DetNet包含以下特性：(1″)stage的数量专门为物体检测设计；(2″)相较于传统分类网络，DetNet拥有更多stage，且同时兼顾空间分辨率和感受野。其主干网络如图3所示。
本发明的DetNet是在ResNet50的基础上进行改进的，其核心思想是空洞瓶颈结构，目的在于保持高分辨率的同时拥有足够大的感受野。改进后的两种基本残差结构如图4所示，图4A为dilated bottleneck结构，图4B 为带有1x1卷积投影的dilated bottleneck结构。图5为DetNet特征金字塔网络结构细节图。
如图6所示，本发明的Conv NMS的流程为：
(a)当输入图片为W×H时，需要对其生成w×h的score map，其中w＝W/4， h＝H/4，即score map上的每个点分别对应原图中4×4的区域。
(b)根据所得物体的bounding box的置信度，将其中心点的位置记录在score map中，若接着得到更高的置信度，则需要对该区域的置信度进行更新，从而得到w×h×1的score map。
(c)用传统的NMS对bounding box进行处理，继而生成一张同样大小的 scoremap，将其记为S(T)，T为NMS的阈值。
(d)对于score map上的每个点都记录了是否包含bounding box以及该 box的置信度，以每个点为中心，选取其11×11的区域，计算其121个点所保存的bounding box和中心点的IoU，并将其保存为121维的向量用于描述该点的IoU特性，整个score map的输出特征为15×15×121；
(e)score map作为输入，其中会有多个有效的score，与之对应着相同数目的bounding box，假定这些bounding box都是同一目标的检测结果，则训练目的为保留最好的一个，抑制其他的；
(f)通过将这些bounding box中满足与ground truth的IoU大于0.5 且得分最高的box作为正样本，其余均为负样本进行标签分配；
(g)在计算loss之前要分配权重，使得正样本的权重总和与负样本的权重总和相等；
(h)得出损失函数，如以下公式所示：
Figure RE-GDA0002460873290000061
公式中，p表示scoremap中有值的点，xp是对p的特征描述，f(xp)是p 的网络输出，选择权重
Figure RE-GDA0002460873290000062
使得正负样本在数据集中的权重总和相等。
(4)根据所得模型对目标进行识别。
对训练所得日志进行统计，得出该模型的准确率。
该模型准确率以精确率(Precision)和召回率(Recall)作为衡量的评价指标。
其中精确率(Precision)和召回率(Recall)的计算公式为：
Figure RE-GDA0002460873290000071
Figure RE-GDA0002460873290000072
式中TP表示为被正确地划分到正例的个数，FP表示为被错误地划分到正例的个数，FN表示为被错误的划分到负例的个数。
本发明对输电线路上的鸟窝实现智能实时监控，极大的降低了人力成本，提高效率。

Claims (7)

1.一种基于改进SSD算法的输电线路鸟窝检测方法，其特征在于包括以下步骤：
(1)通过无人机获取输电铁塔的图像，并对其进行预处理后，人工打标签，制作数据集；
(2)将步骤(1)得到的数据集分为互斥的训练集、验证集和测试集，采用改进后的SSD算法对其进行训练得出用于识别目标的模型；
(3)根据步骤(2)得到的模型对目标进行识别；
(4)对训练所得日志进行统计，得出该模型的准确率。
2.根据权利要求1所述的基于改进SSD算法的输电线路鸟窝检测方法，其特征在于上述步骤(1)中输电铁塔的图像，其图像包括输电线路以及搭建在输电线路上的鸟窝；对图像进行预处理，采用图片转换器对于图片进行批量的处理，将图片的尺寸缩至512×512，使之能够匹配SSD的输入；对图片进行人工打标签是使用labelImg工具给图片打标签，进而生成包含目标类别以及位置信息的xml文件。
3.根据权利要求1所述的基于改进SSD算法的输电线路鸟窝检测方法，其特征在于上述步骤(2)中的训练集、验证集和测试集按照8：1：1的比例随机分配。
4.根据权利要求1所述的基于改进SSD算法的输电线路鸟窝检测方法，其特征在于上述步骤(3)中对目标进行识别时，设置其SSD算法的识别阙值为0.5。
5.根据权利要求1所述的基于改进SSD算法的输电线路鸟窝检测方法，其特征在于上述步骤(4)中得模型准确率以(Precision)和召回率(Recall)作为衡量的评价指标；其计算公式为：
Figure FDA0002282054110000021
Figure FDA0002282054110000022
式中TP表示为被正确地划分到正例的个数，FP表示为被错误地划分到正例的个数，FN表示为被错误的划分到负例的个数。
6.根据权利要求1所述的基于改进SSD算法的输电线路鸟窝检测方法，其特征在于上述步骤(2)中改进后的SSD算法，包括(1′)采用DetNet网络；(2′)使用Conv NMS获得更好的输出。
7.根据权利要求6所述的基于改进SSD算法的输电线路鸟窝检测方法，其特征在于上述Conv NMS，其流程为：
(a)当输入的输电线路图片为W×H时，需要对其生成w×h的score map，其中w＝W/4，h＝H/4，即score map上的每个点分别对应原图中4×4的区域。
(b)根据所得物体的bounding box的置信度，将其中心点的位置记录在score map中，若接着得到更高的置信度，则需要对该区域的置信度进行更新，从而得到w×h×1的scoremap。
(c)用传统的NMS对bounding box进行处理，继而生成一张同样大小的score map，将其记为S(T)，T为NMS的阈值。
(d)对于score map上的每个点都记录了是否包含bounding box以及该box的置信度，以每个点为中心，选取其11×11的区域，计算其121个点所保存的bounding box和中心点的IoU，并将其保存为121维的向量用于描述该点的IoU特性，整个score map的输出特征为15×15×121；
(e)score map作为输入，其中会有多个有效的score，与之对应着相同数目的boundingbox，假定这些bounding box都是同一目标的检测结果，则训练目的为保留最好的一个，抑制其他的；
(f)通过将这些bounding box中满足与ground truth的IoU大于0.5且得分最高的box作为正样本，其余均为负样本进行标签分配；
(g)在计算loss之前要分配权重，使得正样本的权重总和与负样本的权重总和相等；
(h)得出损失函数，如以下公式所示：
Figure FDA0002282054110000031
公式中，p表示scoremap中有值的点，xp是对p的特征描述，f(xp)是p的网络输出，选择权重
Figure FDA0002282054110000032
使得正负样本在数据集中的权重总和相等。
CN201911145465.5A 2019-11-21 2019-11-21 基于改进ssd算法的输电线路鸟窝检测方法 Pending CN111241905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911145465.5A CN111241905A (zh) 2019-11-21 2019-11-21 基于改进ssd算法的输电线路鸟窝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911145465.5A CN111241905A (zh) 2019-11-21 2019-11-21 基于改进ssd算法的输电线路鸟窝检测方法

Publications (1)

Publication Number Publication Date
CN111241905A true CN111241905A (zh) 2020-06-05

Family

ID=70866133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911145465.5A Pending CN111241905A (zh) 2019-11-21 2019-11-21 基于改进ssd算法的输电线路鸟窝检测方法

Country Status (1)

Country Link
CN (1) CN111241905A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN113313024A (zh) * 2021-05-28 2021-08-27 宁波新胜中压电器有限公司 一种基于掩膜的输电线杆塔鸟巢小样本检测方法
CN114387510A (zh) * 2021-12-22 2022-04-22 广东工业大学 一种输电线路鸟类识别方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033747A1 (zh) * 2017-08-18 2019-02-21 深圳市道通智能航空技术有限公司 无人机智能跟随目标确定方法、无人机和遥控器
CN109447979A (zh) * 2018-11-09 2019-03-08 哈尔滨工业大学 基于深度学习和图像处理算法的目标检测方法
CN109919108A (zh) * 2019-03-11 2019-06-21 西安电子科技大学 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033747A1 (zh) * 2017-08-18 2019-02-21 深圳市道通智能航空技术有限公司 无人机智能跟随目标确定方法、无人机和遥控器
CN109447979A (zh) * 2018-11-09 2019-03-08 哈尔滨工业大学 基于深度学习和图像处理算法的目标检测方法
CN109919108A (zh) * 2019-03-11 2019-06-21 西安电子科技大学 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘哲: "基于深度学习的航拍巡检图像绝缘子检测与故障识别研究" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN112115977B (zh) * 2020-08-24 2024-04-02 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN113313024A (zh) * 2021-05-28 2021-08-27 宁波新胜中压电器有限公司 一种基于掩膜的输电线杆塔鸟巢小样本检测方法
CN114387510A (zh) * 2021-12-22 2022-04-22 广东工业大学 一种输电线路鸟类识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN111104906A (zh) 一种基于yolo的输电塔鸟巢故障检测方法
CN111914813B (zh) 基于图像分类的输电线路巡检图像命名方法及系统
CN109214280B (zh) 基于街景的店铺识别方法、装置、电子设备及存储介质
CN111241905A (zh) 基于改进ssd算法的输电线路鸟窝检测方法
CN107833213A (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN110210433B (zh) 一种基于深度学习的集装箱箱号检测与识别方法
CN109376580B (zh) 一种基于深度学习的电力塔架部件识别方法
CN111652835A (zh) 基于深度学习与聚类的输电线路绝缘子缺失的检测方法
CN111798417A (zh) 一种基于ssd遥感图像目标检测的方法及装置
CN110929646A (zh) 一种基于无人机航拍图像的配电杆塔倒断信息快速识别方法
CN115619719A (zh) 一种基于改进Yolo v3网络模型的松材线虫病疫木检测方法
CN115359295A (zh) 一种解耦知识蒸馏金具目标检测方法及系统
CN115272791A (zh) 一种基于YoloV5的茶叶用多目标检测定位方法
CN110618129A (zh) 一种电网线夹自动检测与缺陷识别方法及装置
CN118038494A (zh) 一种损坏场景鲁棒的跨模态行人重识别方法
CN117912023A (zh) 一种水电厂电气图纸自动化识别方法及终端
CN115937492B (zh) 一种基于特征识别的变电设备红外图像识别方法
CN115880477A (zh) 一种基于深度卷积神经网络的苹果检测定位方法与系统
CN113609913B (zh) 一种基于采样阈值区间加权的松材线虫病树检测方法
CN111738088B (zh) 一种基于单目摄像头的行人距离预测方法
CN115170970B (zh) 一种用于检测城市街道景观破损的方法
CN117372787B (zh) 一种图像多类别识别方法及装置
CN117173385B (zh) 一种变电站的检测方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605