CN112183366A - 一种高压电力线鸟巢检测方法、系统及机器可读介质 - Google Patents
一种高压电力线鸟巢检测方法、系统及机器可读介质 Download PDFInfo
- Publication number
- CN112183366A CN112183366A CN202011050704.1A CN202011050704A CN112183366A CN 112183366 A CN112183366 A CN 112183366A CN 202011050704 A CN202011050704 A CN 202011050704A CN 112183366 A CN112183366 A CN 112183366A
- Authority
- CN
- China
- Prior art keywords
- power line
- voltage power
- image
- bird nest
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000005770 birds nest Nutrition 0.000 title claims abstract description 84
- 235000005765 wild carrot Nutrition 0.000 title claims abstract description 84
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 238000010606 normalization Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 244000000626 Daucus carota Species 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 244000240635 birds nest Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种高压电力线鸟巢检测方法、系统及机器可读介质，方法包括：获取高压电力线图像，进行高压电力线图像进行数据标注，标注出鸟巢所在坐标位置，获得用于训练鸟巢检测模型的数据集；对数据集进行图像归一化处理，搭建一个基于深度学习的鸟巢位置识别网络；将数据集中的高压电力线图像分别输入到识别网络进行训练，获取用于检测鸟巢位置信息的检测模型；将检测模型移植至嵌入式设备系统上；输入待检测的高压电力线图像，进行去雾处理；通过检测模型对输入图像进行目标检测，输出鸟巢在高压电力线图像中的坐标位置。解决了现有的高压电力线巡检鸟巢效率低下的问题，避免了人工参与带来的耗费人力的问题。
Description
技术领域
本发明涉及电子技术领域，特别是涉及一种高压电力线鸟巢检测方法、系统及机器可读介质。
背景技术
在高压输电场景中，需要对高空中高压电力线附近是否存在鸟巢进行定期巡检，鸟类在高压电力线周围筑巢，不仅威胁鸟类生存安全，且对电网的运行也造成诸多安全隐患，因此对高压电力线巡检鸟巢显得尤其重要。目前对于高压电力线鸟巢的巡检，主要采用的仍是无人机航拍，人工对图像中的鸟巢进行检测及标注，识别缺乏智能化、精准化，人工检测的方式费力费时。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种高压电力线鸟巢检测方法、系统及机器可读介质，用于解决现有技术中的高压电力线中鸟巢检测不便的问题。
为实现上述目的及其他相关目的，本发明提供一种高压电力线鸟巢检测方法，包括：
步骤一，获取高压电力线图像，进行高压电力线图像进行数据标注，标注出鸟巢所在坐标位置，获得用于训练鸟巢检测模型的数据集；
步骤二，对数据集进行图像归一化处理，搭建一个基于深度学习的鸟巢位置识别网络；
步骤三，将数据集中的高压电力线图像分别输入到识别网络进行训练，获取用于检测鸟巢位置信息的检测模型；
步骤四，将检测模型移植至嵌入式设备系统上；
步骤五，输入待检测的高压电力线图像，进行去雾处理；
步骤六，通过检测模型对输入图像进行目标检测，输出鸟巢在高压电力线图像中的坐标位置。
可选的，进行数据标注的步骤包括：对采集的高压电力线图像中的鸟巢位置进行框选，记录提取鸟巢的位置信息，且记录位置信息格式为：
[xmin,ymin,xmax,ymax]
其中，xmin、ymin分别为鸟巢矩形的真实目标框在图像中的左上角x、y坐标值，xmax、ymax分别为真实目标框在图像中的右下角x、y坐标值。
可选的，对数据集进行图像归一化处理的过程中目标框与高压电力线图像的坐标关系表达为：
其中，(cx,cy)为目标框中心坐标；wb,hb为目标框的宽和高；wimg，himg为高压电力线图像的宽和高；(xmin,ymin，xmax，ymax)为第k层特征图上中心坐标为
目标框占高压电力线图像的比例大小为wk，hk的候选框映射到输入图像的真实目标框坐标。
可选的，所述基于深度学习的鸟巢位置识别网络包括SSD网络模型，并利用SSD网络模型的位置拟合函数拟合出鸟巢在图像中的坐标位置，在拟合过程中，存在区域预测框及真实目标框，当区域预测框与真实目标框之间的差值偏差太大时，运用损失函数通过所述区域预测框与所述真实目标框之间的差值来计算总的损失度和梯度，并将梯度传递到每一层的卷积神经网络以更新每层的权重参数，当总损失量接近于0时，获得了最优权重参数，损失函数的数学表达为：
SSD网络模型的位置拟合函数数学表达为：
其中，四维数组(x,y,w,h)为物体的位置坐标，(x,y)为物体中心，w,h为物体的宽高；i,j分别表示第i个区域预测框与第j个真实框匹配，此时
否则
表示真实目标框在(x,y,w,h)四个维度下与区域预测框的偏移量；
表示真实目标框；l表示网络预测偏移量；d表示区域预测框；k表示对应的类别。
可选的，SSD网络模型采用基于focal loss算法的交叉熵函数作为置信损失函数，所述focal loss损失函数是在标准交叉熵函数的基础上改进得到，对于简单的样本增加一个小的权重，让损失函数聚集在难度较高的样本上，加入平衡因子αt，αt形式为：
加入平衡因子并引入(1-pt)γ参数后得到的置信损失函数为：
Lconf＝FL(pt)＝-αt(1-pt)γlog(pt)
当pt→0时，平衡因子1-pt小于1，γ大于0，即将标准交叉熵函数CE(pt)＝-αtlog(pt)曲线整体下拉，从而降低简单样本的权重；
SSD网络模型采用非极大值抑制算法，将区域预测框按照概率高低排列，删除排列中概率最高的区域预测框；从排列中取出一个区域预测框并与输出排列中窗口计算IoU；当IoU大于设定阈值，认为原排列中取出的区域预测框与输出排列中某一区域预测框检测的是同一目标，删除该区域预测框；循环至所有窗口检测结束；输出的即为最终的区域预测框。
可选的，输入待检测的高压电力线图像，所述暗通道先验去雾算法的去雾模型归一化为：
所述去雾模型最小化运算后为：
所述暗通道图数学表达式为：
其中，I(x)是待去雾图像，J(x)是要恢复的原无雾图像，t(x)是投射率,Ω(x)为图像中一定大小的矩形窗口，c为r、g、b三通道中的某一通道,Jdark(x)为所述图像暗通道图，A为大气光强。
可选的，去雾处理还包括利用导向滤波求所述投射率t(x)，导向滤波输入的导向图像和平滑后的图像间具有以下线性关系：
qi＝pi-ni
其中，p为待去雾图像(即去雾处理中的待去雾图像)，I为待去雾图像的灰度图(即待去雾图像的灰度图)，q为导向滤波细化后的投射率(即导向滤波细化后的投射率)，k表示一个以r为半径的窗口w，i为一个像素；
上述(ak，bk)根据最小均方差准则具有：
其中，μk、
分别为导向图像I在窗口内的均值和方差，∈为平滑系数；
上述滤波输出为：
其中，
分别是a,b在以i为中心的窗口ωi内的均值。
可选的，将数据集中的高压电力线图像分别输入到识别网络进行训练的步骤包括：
高压电力线图像在目标检测过程中，将标注处理后的数据集中的高压电力线图像输入基于深度学习的鸟巢位置识别网络进行监督式训练；
根据标签和预测框训练模型参数，判断最终识别准确率，训练网络通过多次迭代，预测值不断向标签和预测框误差方向进行收敛，每次迭代都会根据梯度下降的优化方向，减少误差。
一种高压电力线鸟巢检测系统，包括：
训练模块、处理模块及无人机，所述采集模块设置于无人机上；
所述训练模块的工作过程如下：
获取高压电力线图像，进行高压电力线图像进行数据标注，标注出鸟巢所在坐标位置，获得用于训练鸟巢检测模型的数据集；
对数据集进行图像归一化处理，搭建一个基于深度学习的鸟巢位置识别网络；
将数据集中的高压电力线图像分别输入到识别网络进行训练，获取用于检测鸟巢位置信息的检测模型；
所述处理模块的工作过程如下：
输入待检测的高压电力线图像，进行去雾处理；
通过检测模型对输入图像进行目标检测，输出鸟巢在高压电力线图像中的坐标位置。
一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行一个或多个所述的方法。
如上所述，本发明的高压电力线鸟巢检测方法、系统及机器可读介质，具有以下有益效果：采用暗通道先验去雾算法进行图像预处理，通过机器学习采用深度神经网络识别鸟巢在图像中的位置，用机器代替人眼做识别，解决了现有的高压电力线巡检鸟巢效率低下的问题，避免了人工参与带来的耗费人力的问题。
附图说明
图1显示为本发明实施例中高压电力线鸟巢检测方法的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
请参阅图1，本发明提供一种高压电力线鸟巢检测方法，包括：
步骤一，获取高压电力线图像，进行高压电力线图像进行数据标注，标注出鸟巢所在坐标位置，获得用于训练鸟巢检测模型的数据集；
步骤二，对数据集进行图像归一化处理，搭建一个基于深度学习的鸟巢位置识别网络；
步骤三，将数据集中的高压电力线图像分别输入到识别网络进行训练，获取用于检测鸟巢位置信息的检测模型；
步骤四，将检测模型移植至嵌入式设备系统上，例如，激活Jetson nano开发板，并将训练好的模型移植至嵌入式设备系统上；
步骤五，输入待检测的高压电力线图像，进行去雾处理；
步骤六，通过检测模型对输入图像进行目标检测，输出鸟巢在高压电力线图像中的坐标位置。采用暗通道先验去雾算法进行图像预处理，通过机器学习采用深度神经网络识别鸟巢在图像中的位置，用机器代替人眼做识别，解决了现有的高压电力线巡检鸟巢效率低下的问题，避免了人工参与带来的耗费人力的问题。
在一些实施过程中，进行数据标注的步骤包括：对采集的高压电力线图像中的鸟巢位置进行框选，记录提取鸟巢的位置信息，且记录位置信息格式为：
[xmin，ymin，xmax，ymax]
其中，xmin、ymin分别为鸟巢矩形的真实目标框在图像中的左上角x、y坐标值，xmax、ymax分别为真实目标框在图像中的右下角x、y坐标值。
对数据集进行图像归一化处理的过程中目标框与高压电力线图像的坐标关系表达为：
其中，(cx,cy)为目标框中心坐标；wb,hb为目标框的宽和高；wimg，himg为高压电力线图像的宽和高；(xmin,ymin，xmax，ymax)为第k层特征图上中心坐标为
目标框占高压电力线图像的比例大小为wk，hk的候选框映射到输入图像的真实目标框坐标。
所述基于深度学习的鸟巢位置识别网络包括SSD网络模型，并利用SSD网络模型的位置拟合函数拟合出鸟巢在图像中的坐标位置，在拟合过程中，存在区域预测框及真实目标框，当区域预测框与真实目标框之间的差值偏差太大时，运用损失函数通过所述区域预测框与所述真实目标框之间的差值来计算总的损失度和梯度，并将梯度传递到每一层的卷积神经网络以更新每层的权重参数，当总损失量接近于0时，获得了最优权重参数，损失函数的数学表达为：
SSD网络模型的位置拟合函数数学表达为：
其中，四维数组(x,y,w,h)为物体的位置坐标，(x,y)为物体中心，w,h为物体的宽高；i,j分别表示第i个区域预测框与第j个真实框匹配，此时
否则
表示真实目标框在(x,y,w,h)四个维度下与区域预测框的偏移量；
表示真实目标框；l表示网络预测偏移量；d表示区域预测框；k表示对应的类别。
可选的，SSD网络模型采用基于focal loss算法的交叉熵函数作为置信损失函数，所述focal loss损失函数是在标准交叉熵函数的基础上改进得到，对于简单的样本增加一个小的权重，让损失函数聚集在难度较高的样本上，加入平衡因子αt，αt形式为：
加入平衡因子并引入(1-pt)γ参数后得到的置信损失函数为：
Lconf＝FL(pt)＝-αt(1-pt)γlog(pt)
当pt→0时，平衡因子1-pt小于1，γ大于0，即将标准交叉熵函数CE(pt)＝-αt log(pt)曲线整体下拉，从而降低简单样本的权重；
SSD网络模型采用非极大值抑制算法，将区域预测框按照概率高低排列，删除排列中概率最高的区域预测框；从排列中取出一个区域预测框并与输出排列中窗口计算IoU；当IoU大于设定阈值，认为原排列中取出的区域预测框与输出排列中某一区域预测框检测的是同一目标，删除该区域预测框；循环至所有窗口检测结束；输出的即为最终的区域预测框。
可选的，输入待检测的高压电力线图像，所述暗通道先验去雾算法的去雾模型归一化为：
所述去雾模型最小化运算后为：
所述暗通道图数学表达式为：
其中，I(x)是待去雾图像，J(x)是要恢复的原无雾图像，t(x)是投射率,Ω(x)为图像中一定大小的矩形窗口，c为r、g、b三通道中的某一通道,Jdark(x)为所述图像暗通道图，A为大气光强。
可选的，去雾处理还包括利用导向滤波求所述投射率t(x)，导向滤波输入的导向图像和平滑后的图像间具有以下线性关系：
qi＝pi-ni
其中，p为待去雾图像(即去雾处理中的待去雾图像)，I为待去雾图像的灰度图(即待去雾图像的灰度图)，q为导向滤波细化后的投射率(即导向滤波细化后的投射率)，k表示一个以r为半径的窗口w，i为一个像素；
上述(ak，bk)根据最小均方差准则具有：
其中，μk、
分别为导向图像I在窗口内的均值和方差，∈为平滑系数；
上述滤波输出为：
其中，
分别是a,b在以i为中心的窗口ωi内的均值。
可选的，将数据集中的高压电力线图像分别输入到识别网络进行训练的步骤包括：
高压电力线图像在目标检测过程中，将标注处理后的数据集中的高压电力线图像输入基于深度学习的鸟巢位置识别网络进行监督式训练；
根据标签和预测框训练模型参数，判断最终识别准确率，训练网络通过多次迭代，预测值不断向标签和预测框误差方向进行收敛，每次迭代都会根据梯度下降的优化方向，减少误差。
一种高压电力线鸟巢检测系统，包括：
训练模块、处理模块及无人机，所述采集模块设置于无人机上；
所述训练模块的工作过程如下：
获取高压电力线图像，进行高压电力线图像进行数据标注，标注出鸟巢所在坐标位置，获得用于训练鸟巢检测模型的数据集；
对数据集进行图像归一化处理，搭建一个基于深度学习的鸟巢位置识别网络；
将数据集中的高压电力线图像分别输入到识别网络进行训练，获取用于检测鸟巢位置信息的检测模型；
所述处理模块的工作过程如下：
输入待检测的高压电力线图像，进行去雾处理；
通过检测模型对输入图像进行目标检测，输出鸟巢在高压电力线图像中的坐标位置。
本发明实施例提供一种设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行一个或多个所述的方法。本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明实施例还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行中一个或多个所述的方法。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种高压电力线鸟巢检测方法，其特征在于，包括：
步骤一，获取高压电力线图像，进行高压电力线图像进行数据标注，标注出鸟巢所在坐标位置，获得用于训练鸟巢检测模型的数据集；
步骤二，对数据集进行图像归一化处理，搭建一个基于深度学习的鸟巢位置识别网络；
步骤三，将数据集中的高压电力线图像分别输入到识别网络进行训练，获取用于检测鸟巢位置信息的检测模型；
步骤四，将检测模型移植至嵌入式设备系统上；
步骤五，输入待检测的高压电力线图像，进行去雾处理；
步骤六，通过检测模型对输入图像进行目标检测，输出鸟巢在高压电力线图像中的坐标位置。
2.根据权利要求1所述的高压电力线鸟巢检测方法，其特征在于，
进行数据标注的步骤包括：对采集的高压电力线图像中的鸟巢位置进行框选，记录提取鸟巢的位置信息，且记录位置信息格式为：
[xmin,ymin,xmax,ymax]
其中，xmin、ymin分别为鸟巢矩形的真实目标框在图像中的左上角x、y坐标值，xmax、ymax分别为真实目标框在图像中的右下角x、y坐标值。
3.根据权利要求2所述的高压电力线鸟巢检测方法，其特征在于，对数据集进行图像归一化处理的过程中目标框与高压电力线图像的坐标关系表达为：
其中，(cx,cy)为目标框中心坐标；wb,hb为目标框的宽和高；wimg，himg为高压电力线图像的宽和高；(xmin,ymin，xmax，ymax)为第k层特征图上中心坐标为
目标框占高压电力线图像的比例大小为wk，hk的候选框映射到输入图像的真实目标框坐标。
4.根据权利要求3所述的高压电力线鸟巢检测方法，其特征在于，所述基于深度学习的鸟巢位置识别网络包括SSD网络模型，并利用SSD网络模型的位置拟合函数拟合出鸟巢在图像中的坐标位置，在拟合过程中，存在区域预测框及真实目标框，当区域预测框与真实目标框之间的差值偏差太大时，运用损失函数通过所述区域预测框与所述真实目标框之间的差值来计算总的损失度和梯度，并将梯度传递到每一层的卷积神经网络以更新每层的权重参数，当总损失量接近于0时，获得了最优权重参数，损失函数的数学表达为：
SSD网络模型的位置拟合函数数学表达为：
其中，四维数组(x,y,w,h)为物体的位置坐标，(x,y)为物体中心，w,h为物体的宽高；i,j分别表示第i个区域预测框与第j个真实框匹配，此时
否则
表示真实目标框在(x,y,w,h)四个维度下与区域预测框的偏移量；
表示真实目标框；l表示网络预测偏移量；d表示区域预测框；k表示对应的类别。
5.根据权利要求4所述的高压电力线鸟巢检测方法，其特征在于，SSD网络模型采用基于focal loss算法的交叉熵函数作为置信损失函数，所述focal loss损失函数是在标准交叉熵函数的基础上改进得到，对于简单的样本增加一个小的权重，让损失函数聚集在难度较高的样本上，加入平衡因子αt，αt形式为：
加入平衡因子并引入(1-pt)γ参数后得到的置信损失函数为：
Lconf＝FL(pt)＝-αt(1-pt)γlog(pt)
当pt→0时，平衡因子1-pt小于1，γ大于0，即将标准交叉熵函数CE(pt)＝-αtlog(pt)曲线整体下拉，从而降低简单样本的权重；
SSD网络模型采用非极大值抑制算法，将区域预测框按照概率高低排列，删除排列中概率最高的区域预测框；从排列中取出一个区域预测框并与输出排列中窗口计算IoU；当IoU大于设定阈值，认为原排列中取出的区域预测框与输出排列中某一区域预测框检测的是同一目标，删除该区域预测框；循环至所有窗口检测结束；输出的即为最终的区域预测框。
6.根据权利要求4所述的高压电力线鸟巢检测方法，其特征在于，输入待检测的高压电力线图像，所述暗通道先验去雾算法的去雾模型归一化为：
所述去雾模型最小化运算后为：
所述暗通道图数学表达式为：
其中，I(x)是待去雾图像，J(x)是要恢复的原无雾图像，t(x)是投射率,Ω(x)为图像中一定大小的矩形窗口，c为r、g、b三通道中的某一通道,Jdark(x)为所述图像暗通道图，A为大气光强。
7.根据权利要求6所述的高压电力线鸟巢检测方法，其特征在于，去雾处理还包括利用导向滤波求所述投射率t(x)，导向滤波输入的导向图像和平滑后的图像间具有以下线性关系：
qi＝pi-ni
其中，p为待去雾图像，I为待去雾图像的灰度图，q为导向滤波细化后的投射率，k表示一个以r为半径的窗口w，i为一个像素；
上述(ak，bk)根据最小均方差准则具有：
其中，μk、
分别为导向图像I在窗口内的均值和方差，∈为平滑系数；
上述滤波输出为：
其中，
分别是a,b在以i为中心的窗口ωi内的均值。
8.根据权利要求6所述的高压电力线鸟巢检测方法，其特征在于，将数据集中的高压电力线图像分别输入到识别网络进行训练的步骤包括：
高压电力线图像在目标检测过程中，将标注处理后的数据集中的高压电力线图像输入基于深度学习的鸟巢位置识别网络进行监督式训练；
根据标签和预测框训练模型参数，判断最终识别准确率，训练网络通过多次迭代，预测值不断向标签和预测框误差方向进行收敛，每次迭代都会根据梯度下降的优化方向，减少误差。
9.一种高压电力线鸟巢检测系统，其特征在于，包括：
训练模块、处理模块及无人机，所述采集模块设置于无人机上；
所述训练模块的工作过程如下：
获取高压电力线图像，进行高压电力线图像进行数据标注，标注出鸟巢所在坐标位置，获得用于训练鸟巢检测模型的数据集；
对数据集进行图像归一化处理，搭建一个基于深度学习的鸟巢位置识别网络；
将数据集中的高压电力线图像分别输入到识别网络进行训练，获取用于检测鸟巢位置信息的检测模型；
所述处理模块的工作过程如下：
输入待检测的高压电力线图像，进行去雾处理；
通过检测模型对输入图像进行目标检测，输出鸟巢在高压电力线图像中的坐标位置。
10.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-8中一个或多个所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011050704.1A CN112183366A (zh) | 2020-09-29 | 2020-09-29 | 一种高压电力线鸟巢检测方法、系统及机器可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011050704.1A CN112183366A (zh) | 2020-09-29 | 2020-09-29 | 一种高压电力线鸟巢检测方法、系统及机器可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183366A true CN112183366A (zh) | 2021-01-05 |
Family
ID=73945891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011050704.1A Pending CN112183366A (zh) | 2020-09-29 | 2020-09-29 | 一种高压电力线鸟巢检测方法、系统及机器可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183366A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313024A (zh) * | 2021-05-28 | 2021-08-27 | 宁波新胜中压电器有限公司 | 一种基于掩膜的输电线杆塔鸟巢小样本检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354806A (zh) * | 2015-11-20 | 2016-02-24 | 上海熙菱信息技术有限公司 | 基于暗通道的快速去雾方法及系统 |
| CN108022225A (zh) * | 2017-12-26 | 2018-05-11 | 哈尔滨理工大学 | 基于快速导向滤波改进的暗通道先验图像去雾算法 |
| CN108537154A (zh) * | 2018-03-28 | 2018-09-14 | 天津大学 | 基于hog特征和机器学习的输电线路鸟巢识别方法 |
| CN109886307A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像检测方法及系统 |
| CN111126472A (zh) * | 2019-12-18 | 2020-05-08 | 南京信息工程大学 | 一种基于ssd改进的目标检测方法 |
| CN111179249A (zh) * | 2019-12-30 | 2020-05-19 | 南京南瑞信息通信科技有限公司 | 一种基于深度卷积神经网络的电力设备检测方法和装置 |
| CN111626960A (zh) * | 2020-05-29 | 2020-09-04 | Oppo广东移动通信有限公司 | 图像去雾方法、终端及计算机存储介质 |
| CN111695514A (zh) * | 2020-06-12 | 2020-09-22 | 长安大学 | 一种基于深度学习的雾天下车辆检测方法 |
-
2020
- 2020-09-29 CN CN202011050704.1A patent/CN112183366A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354806A (zh) * | 2015-11-20 | 2016-02-24 | 上海熙菱信息技术有限公司 | 基于暗通道的快速去雾方法及系统 |
| CN108022225A (zh) * | 2017-12-26 | 2018-05-11 | 哈尔滨理工大学 | 基于快速导向滤波改进的暗通道先验图像去雾算法 |
| CN108537154A (zh) * | 2018-03-28 | 2018-09-14 | 天津大学 | 基于hog特征和机器学习的输电线路鸟巢识别方法 |
| CN109886307A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像检测方法及系统 |
| CN111126472A (zh) * | 2019-12-18 | 2020-05-08 | 南京信息工程大学 | 一种基于ssd改进的目标检测方法 |
| CN111179249A (zh) * | 2019-12-30 | 2020-05-19 | 南京南瑞信息通信科技有限公司 | 一种基于深度卷积神经网络的电力设备检测方法和装置 |
| CN111626960A (zh) * | 2020-05-29 | 2020-09-04 | Oppo广东移动通信有限公司 | 图像去雾方法、终端及计算机存储介质 |
| CN111695514A (zh) * | 2020-06-12 | 2020-09-22 | 长安大学 | 一种基于深度学习的雾天下车辆检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 唐鉴波 等: "基于引导滤波的单幅图像去雾算法研究", 《科学技术与工程》, vol. 13, no. 11, 30 April 2013 (2013-04-30), pages 3021 - 3025 * |
| 祁婕: "改进SSD 的输电铁塔鸟窝检测", 《计算机系统应用》, vol. 29, no. 5, 7 May 2020 (2020-05-07), pages 202 - 208 * |
| 祁婕: "改进SSD的输电铁塔鸟窝检测", 《计算机系统应用》, vol. 29, no. 5, pages 202 - 208 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313024A (zh) * | 2021-05-28 | 2021-08-27 | 宁波新胜中压电器有限公司 | 一种基于掩膜的输电线杆塔鸟巢小样本检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN106971152B (zh) | 一种基于航拍图像的检测输电线路中鸟巢的方法 | |
| CN107808139B (zh) | 一种基于深度学习的实时监控威胁分析方法及系统 | |
| CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN108804815A (zh) | 一种基于深度学习辅助识别cad中墙体的方法和装置 | |
| CN104217404A (zh) | 雾霾天视频图像清晰化处理方法及其装置 | |
| CN108648169A (zh) | 高压输电塔绝缘子缺陷自动识别的方法及装置 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN110197116B (zh) | 一种人体行为识别方法、装置和计算机可读存储介质 | |
| CN111881958B (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
| CN113312957A (zh) | 基于视频图像的脱岗识别方法、装置、设备及存储介质 | |
| CN113537180B (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
| Gleason et al. | A Fusion Approach for Tree Crown Delineation from Lidar Data. | |
| CN114049325A (zh) | 轻量化人脸口罩佩戴检测模型的构建方法及应用 | |
| CN113205507A (zh) | 一种视觉问答方法、系统及服务器 | |
| CN112419333A (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN113569801B (zh) | 一种配电施工现场带电设备及其带电区域识别方法及装置 | |
| CN112183366A (zh) | 一种高压电力线鸟巢检测方法、系统及机器可读介质 | |
| CN111369494B (zh) | 冬小麦穗密度检测方法及装置 | |
| CN112528825A (zh) | 一种基于图像识别的车站乘客招援服务方法 | |
| CN112329550A (zh) | 基于弱监督学习的受灾建筑快速定位评估方法及装置 | |
| CN112232403A (zh) | 一种红外图像与可见光图像的融合方法 | |
| Zhang et al. | Automatic extraction of building geometries based on centroid clustering and contour analysis on oblique images taken by unmanned aerial vehicles | |
| CN115222896B (zh) | 三维重建方法、装置、电子设备及计算机可读存储介质 | |
| CN110991300A (zh) | 一种肉鸡腹部异常肿胀状态的自动识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |