CN110555460B - 一种基于图像切片的移动端输电线路鸟类检测方法 - Google Patents
一种基于图像切片的移动端输电线路鸟类检测方法 Download PDFInfo
- Publication number
- CN110555460B CN110555460B CN201910698859.7A CN201910698859A CN110555460B CN 110555460 B CN110555460 B CN 110555460B CN 201910698859 A CN201910698859 A CN 201910698859A CN 110555460 B CN110555460 B CN 110555460B
- Authority
- CN
- China
- Prior art keywords
- image
- bird
- original image
- transmission line
- power transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像切片的移动端输电线路鸟类检测方法，采集不同情况下的现场输电线路图像，将图像和其切片进行编码标识；安装在杆塔固定位置的摄像头采集实时图像；将采集的实时图像与相应情况的原图模板进行相似度计算；若差值较大，则将实时图像进行切片，与对应切片模板逐片对比；若某切片差值较大，则进一步输入深度学习模型进行分类；若分类结果为存在鸟类，则启动驱鸟器；重复上述步骤，实现基于深度学习的鸟类检测。本发明将图像切片，将小目标信息进行放大之后再识别，在精度上有很大的提升，并且以更少的计算代价完成了鸟类的检测问题。
Description
技术领域
本发明涉及一种输电线路鸟类检测方法，尤其涉及一种基于图像切片的移动端输电线路鸟类检测方法。
背景技术
随着社会现代化的发展，社会对电力的需求以及电力供应的可靠性要求越来越高，电力系统的安全问题变得越来越重要。电力系统某个环节出错都将导致电力供应不足，而架空输电线路跳闸屡屡打破平衡，这已经成为破坏电力系统安全的重要因素。随着大家环保观念的加强和对鸟类认识的加深，为鸟类创造了越来越好的生活环境，鸟类的种群，数量和它们的活动范围都得到了空前规模的扩大；部分鸟类通过排粪污染绝缘子，鸟粪具有一定导电性，积污隐患易导致线路发生污闪跳闸，若鸟粪沿绝缘子边沿跌落，在靠近绝缘子串边沿处形成导电性通道，可诱发线路单相接地故障；而有些鸟类常在线路杆塔上筑巢，若遇大风，构建鸟巢的枝、叶等材料纷飞，可能接触导线造成线路故障；一些大鸟在架空线路设施周围穿越飞行，常会造成接地或相间短路故障。鸟害已经严重影响了电力系统的安全稳定运行。
国内外在线路中对鸟害的防范研究已经持续多年，一些相对有效且易于推广的防鸟措施已经得到了广泛的应用，主要集中在驱鸟型、隔离型和引导型三类鸟害故障防治措施。但每种方法有其各自特点和适应性，驱鸟型装置原理上相对效果更好，但目前驱鸟型装置功能单一，设计上只对某些鸟类有效，因此研究对鸟类通用、有效的驱鸟装置研究势在必行。
发明内容
为了提高输电线路巡检的智能化水平，减少鸟类对输电线路造成的损害，本发明的目的是提供一种基于图像切片的移动端输电线路鸟类检测方法，采用一些智能的图像处理方法对现场图像进行检测，实时、精确地检测当前场景是否存在鸟类，根据实际情况决定是否启动驱鸟器。随着深度学习在计算机视觉领域的发展，本发明将深度学习引入到对鸟类图像的检测中。
本发明的目的通过以下技术方案来实现：
一种基于图像切片的移动端输电线路鸟类检测方法，包含以下步骤：
步骤S1：建立比对模板库。比对模板库是特定场景特定时间不存在鸟的现场图片，因为用来采集图像的摄像头是安装在固定位置的，因此针对每个摄像头都有一套独立的模板库，此外，由于从早晨到晚上的光照变化，反映在图像上引起图像色彩、亮度的变化，因此需要在不同的时间段设置不同的对比模板。另外，本发明的思想首先是对图片进行切片，因此不仅原图需要对比模板，而且切片也应该设置对应的对比模板，因此对比模板库包括两类模板：原图对比模版和切片对比模版，每类模板还应根据光照变化设置不同的模板图片。
步骤S2：图像采集。图像采集是采集输电线路的现场图像，由安装在杆塔固定位置的摄像头进行采集，进而通过本发明的方法判断图像中是否有鸟。
步骤S3：原图对比。图像采集完成后，为了加快鸟类判断的效率，首先把采集的原图与相应时间段的原图模板进行对比，如果两图的相似度小于预设阈值，则进行步骤S4，否则，则认为该张图片没有鸟，流程结束。
步骤S4：原图切块。因为原图和模板的相似度差值超过阈值，则认为原图中可能存在鸟，因为移动端计算资源较少，因此本发明采用对切片进行分类代替对原图的目标检测，因此该步骤需要对图像进行切片，即把原图划分成更小的区域。
步骤S5：选择分块。原图切片完成后，需要选择一个分块判断是否有鸟，如果所有分块都已经被选过，则认为没有鸟，流程结束，否则进行步骤S6。
步骤S6：分块对比。选择的分块首先需要与对应时间段内的分块模板进行对比，如果相似度小于预设阈值，则进行步骤S7，如果相似度大于阈值，则进行步骤S5；
步骤S7：鸟类识别。切片与模板的相似度大于阈值，则认为该切片中可能包含鸟，那么就采用ResNet18对该切片进行分类操作，如果分类结果是有鸟，则启动驱鸟器，流程结束，如果分类结果为没鸟，则进行步骤S5。
优选地，在步骤S7中，使用ImageNet对RestNet18模型进行预训练，使模型先学习到一定的目标检测能力，再使用步骤S1准备的原图模板库作为训练数据集输入RestNet18训练，使模型适应原图特征，最后再将训练好的模型用于鸟类检测。
在电力输电线路鸟类数据集数量较少时，则使用迁移学习的思想，先使用公开数据集ImageNet在搭建好的模型中进行预训练，使模型学习到一定的图像分类能力，然后再使用电力输电线路鸟类数据集在模型中正式训练。
本发明基本完成了在移动端对输电线路的鸟类检测工作，与传统的鸟类识别方法相比，该方法采用的深度学习轻量级ResNet18分类算法在精度上有很大的提升，与深度学习的目标检测算法相比，该方法的优势在于通过逐步对比判断，快速排除没鸟的情况，最重要的是采用分类算法大大减少了计算代价，使得基于深度学习的鸟类识别在低性能的移动端实现成为可能。
本发明将图像切片，将小目标信息进行放大之后再识别，在精度上有很大的提升，对现场图像进行检测，实时、精确地检测当前场景是否存在鸟类，根据实际情况决定是否启动驱鸟器；可以指导驱鸟器的启停，避免驱鸟器一直启动的资源浪费，以及驱鸟器周期性启动的盲目性，实现了驱鸟器的低耗能、精准性驱鸟，为输电线路的稳定运行提供了可靠保证。
附图说明
图1是本发明实施例方法整体流程示意图。
图2是本发明实施例中ResNet18残差模块图。
图3是本发明实施例中ResNet18网络架构图。
具体实施方式
下面结合附图和实施例，对本发明作详细说明如下；
如图1所示，本实施例方法的整体流程包括以下步骤；
步骤S1：建立输电线路的鸟类数据集，比对模板库是一个图片库，包含特定场景特定时间不存在鸟的输电线路现场图片。由于采集图像的摄像头安装位置、角度固定，因此针对每个摄像头都有一套独立的比对模板库。为每个摄像头选取不同时段（上午、下午和夜晚）、不同天气（晴朗、雨天、大风天和阴天）和不同光照（阳光强烈、阳光正常和阴暗）的现场图像，优选背景清晰的现场图像，纳入比对模板库。对比对模板库中每张图像进行n×n等分切片，将该图像与该图像的切片的时段、日期等信息进行编码标识，便于后续查询比对；
步骤S2：图像采集。由安装在杆塔的各个固定位置的摄像头采集现场图像，通过每次采集的一帧图像作为后续鸟类检测算法的输入信息，判断该时刻是否存在鸟类。
步骤S3：原图对比。通过编码标识在比对模板库中查询到该时段的模板原图，将采集到的实时图像与模板原图进行对比，相似度计算的方法是计算所有像素点的像素值差值的均值，如果两者的相似度小于预设阈值0.9，说明现场情况变化较大，则进行步骤S4，否则，认为现场基本没发生明显变化，流程结束；
步骤S4：原图切块。当采集到的实时图像与模板原图的相似度差值较大时，为了定位引起相似度差值变化的区域，将实时图像按n×n等分进行切块处理；
步骤S5：选择分块。用滑动窗口的方式，以切片为单位，逐个选取每个切片进行步骤S6的处理，如果所有切片都已经进行过对比计算，则认为没有鸟，流程结束；
步骤S6：分块对比。以切片为单位，查询对应的模板原图切片，进行切片相似度计算，计算方式和步骤S3保持一致，如果两者的相似度小于预设阈值0.9，则认为该切片变化明显，进行步骤S7，如果差值小于阈值，则进行步骤S5；
步骤S7：鸟类识别。若切片与模板的相似度差值大于阈值，则该切片中包含鸟类的可能性很高，需要对该切片进一步判断。采用训练好的深度学习分类模型ResNet18对该切片进行类别预测，如果分类结果为存在鸟类，则启动驱鸟器，流程结束，如果分类结果为没鸟，则进行步骤S5；
在步骤S7中，由于采集不方便或标注工作繁琐等因素，获取的输电线路鸟类数据集数量较少，则使用迁移学习的思想，先使用公开数据集ImageNet对RestNet18模型进行预训练，ImageNet数据集包含目前自然界的大量其他图像，通过预训练，将模型的超参数先调整到合适的范围，使模型学习到一定的目标检测能力，然后再使用实际场景中的训练数据集在模型中正式训练，使模型适应输电线路现场图像的特征，这样不仅能解决数据集过小引起的超参数不收敛问题，还能节省训练成本。相应地，为防止由于数据集太小引起的过拟合，减少训练的迭代次数，设置在30~50次左右，使用批量梯度下降算法(BGD)作为超参数更新方式，最后再将训练好的模型用于鸟类检测。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于图像切片的移动端输电线路鸟类检测方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。
Claims (2)
1.一种基于图像切片的移动端输电线路鸟类检测方法，其特征在于，包含以下步骤：
步骤S1：建立比对模板库；比对模板库是特定场景特定时间不存在鸟的现场图片，针对每个摄像头都有一套独立的模板库，对比模板库包括两类模板：原图对比模版和切片对比模版，每类模板根据光照变化设置不同的模板图片；
步骤S2：图像采集；图像采集是采集输电线路的现场图像，由安装在杆塔固定位置的摄像头进行采集；
步骤S3：原图对比；图像采集完成后，把采集的原图与相应时间段的原图模板进行对比，如果两图的相似度差值小于预设阈值，则进行步骤S4，否则，则认为该张图片没有鸟，流程结束；
步骤S4：原图切块；因为原图和模板的相似度差值超过阈值，则认为原图中可能存在鸟，因此需要对图像进行切片，即把原图划分成更小的区域；
步骤S5：选择分块；原图切片完成后，需要选择一个分块判断是否有鸟，如果所有分块都已经被选过，则认为没有鸟，流程结束，否则进行步骤S6；
步骤S6：分块对比；选择的分块首先需要与对应时间段内的原图切片分块模板进行对比，如果相似度差值小于预设阈值，则进行步骤S7，如果相似度差值大于阈值，则进行步骤S5；
步骤S7：鸟类识别；采用ResNet18对该切片进行分类操作，如果分类结果是有鸟，则启动驱鸟器，流程结束，如果分类结果为没鸟，则进行步骤S5；
在步骤S7中，使用ImageNet对RestNet18模型进行预训练，使模型先学习到一定的目标检测能力，再使用步骤S1准备的原图模板库作为训练数据集输入RestNet18训练，使模型适应原图特征；
在电力输电线路鸟类数据集数量较少时，则使用迁移学习的思想，先使用公开数据集ImageNet在搭建好的模型中进行预训练，使模型学习到一定的图像分类能力，然后再使用电力输电线路鸟类数据集在模型中正式训练。
2.根据权利要求1中所述的基于图像切片的移动端输电线路鸟类检测方法，其特征在于：所述的步骤S1中，每个摄像头选取不同时段、不同天气、不同光照的状态下设置不同的对比模板。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910698859.7A CN110555460B (zh) | 2019-07-31 | 2019-07-31 | 一种基于图像切片的移动端输电线路鸟类检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910698859.7A CN110555460B (zh) | 2019-07-31 | 2019-07-31 | 一种基于图像切片的移动端输电线路鸟类检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555460A CN110555460A (zh) | 2019-12-10 |
| CN110555460B true CN110555460B (zh) | 2020-11-20 |
Family
ID=68736642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910698859.7A Active CN110555460B (zh) | 2019-07-31 | 2019-07-31 | 一种基于图像切片的移动端输电线路鸟类检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555460B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287941B (zh) * | 2020-11-26 | 2021-11-09 | 国际关系学院 | 一种基于自动字符区域感知的车牌识别方法 |
| CN113255661B (zh) * | 2021-04-15 | 2022-07-12 | 南昌大学 | 一种输电线路涉鸟故障相关鸟种图像识别方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2471647B (en) * | 2009-06-16 | 2016-03-23 | Aptina Imaging Corp | Use of Z-order data in an image sensor |
| CN101951462B (zh) * | 2010-09-29 | 2012-09-26 | 无锡中星微电子有限公司 | 一种运动检测的方法 |
| CN106462978A (zh) * | 2014-05-07 | 2017-02-22 | 日本电气株式会社 | 物体检测设备、物体检测方法和物体检测系统 |
| US9465987B1 (en) * | 2015-03-17 | 2016-10-11 | Exelis, Inc. | Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms |
| CN204697801U (zh) * | 2015-05-22 | 2015-10-14 | 中能电力科技开发有限公司 | 一种用于风电场的驱鸟装置 |
| CN105156981B (zh) * | 2015-10-02 | 2016-06-22 | 江苏现代照明集团有限公司 | 多功能led路灯 |
| CN108010260A (zh) * | 2017-10-31 | 2018-05-08 | 国网江西省电力公司电力科学研究院 | 一种输电线路智能防鸟害监测预警系统及其工作方法 |
| CN108254747A (zh) * | 2017-12-04 | 2018-07-06 | 国网江西省电力有限公司电力科学研究院 | 一种基于雷达的鸟群监测方法 |
| CN109452258A (zh) * | 2018-11-06 | 2019-03-12 | 国网山东省电力公司诸城市供电公司 | 架空线路智能驱鸟器 |
| CN109902712B (zh) * | 2019-01-17 | 2021-04-16 | 国网山东省电力公司临沂供电公司 | 基于无人机巡检的输电线路驱鸟方法 |
| CN109799760B (zh) * | 2019-01-30 | 2020-10-16 | 国网宁夏电力有限公司检修公司 | 电力行业的驱鸟机器人控制系统及控制方法 |
| CN110037004A (zh) * | 2019-02-21 | 2019-07-23 | 国网江西省电力有限公司电力科学研究院 | 用于输电线路的防鸟害装置和人工鸟巢一体化系统 |
| CN109740578A (zh) * | 2019-03-01 | 2019-05-10 | 哈尔滨理工大学 | 一种适用于光照、姿态、表情变化的人脸识别方法 |
| CN109981980B (zh) * | 2019-03-12 | 2021-01-01 | 唐山百川智能机器股份有限公司 | 超视距实时显示方法、系统、存储介质及计算机设备 |
| CN109924194A (zh) * | 2019-03-14 | 2019-06-25 | 北京林业大学 | 一种驱鸟装置及驱鸟方法 |
| CN110009638B (zh) * | 2019-04-12 | 2023-01-03 | 重庆交通大学 | 基于局部统计特征的桥梁拉索图像外观缺陷检测方法 |
-
2019
- 2019-07-31 CN CN201910698859.7A patent/CN110555460B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110555460A (zh) | 2019-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Aghaei et al. | Innovative automated control system for PV fields inspection and remote control | |
| CN111583198A (zh) | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 | |
| CN104764748A (zh) | 定位绝缘子的方法、系统以及故障检测的方法和系统 | |
| CN109631848B (zh) | 输电线路异物入侵检测系统和检测方法 | |
| Li et al. | Intelligent fault pattern recognition of aerial photovoltaic module images based on deep learning technique | |
| CN110889841A (zh) | 一种基于YOLOv3的输电线路鸟类检测算法 | |
| CN110555460B (zh) | 一种基于图像切片的移动端输电线路鸟类检测方法 | |
| CN111832398B (zh) | 一种无人机影像的配电线路杆塔导地线断股图像检测方法 | |
| Veena et al. | Smart street light system based on image processing | |
| de Oliveira et al. | Automatic fault detection of photovoltaic array by convolutional neural networks during aerial infrared thermography | |
| CN111695506B (zh) | 一种输电线路风致异物短路故障预警方法及系统 | |
| CN111145222A (zh) | 一种结合烟雾运动趋势和纹理特征的火灾检测方法 | |
| CN115642877A (zh) | 一种基于深度学习的光伏组件异常遮挡检测方法及系统 | |
| CN115102287A (zh) | 一种新能源电站集中区域智能管控系统 | |
| Prabhakaran et al. | Deep Learning-Based Model for Defect Detection and Localization on Photovoltaic Panels. | |
| CN114399484A (zh) | 一种光伏组件缺陷检测方法、装置、设备及介质 | |
| CN105303162A (zh) | 一种基于目标建议算法的航拍图像绝缘子识别算法 | |
| CN113298077A (zh) | 一种基于深度学习的变电站异物识别定位方法及装置 | |
| Hao et al. | Detection of bird nests on power line patrol using single shot detector | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
| CN115311585A (zh) | 用于电网架空线路异物的识别检测系统 | |
| Teerakawanich et al. | Short term prediction of sun coverage using optical flow with GoogLeNet | |
| CN118038153A (zh) | 配电架空线路的防外破识别方法、装置、设备和介质 | |
| CN106355187A (zh) | 视觉信息在电力设备监测中的应用 | |
| CN113536944A (zh) | 基于图像识别的配电线路巡检数据识别及分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |