CN116189020A - 基于红外图像电力线识别的无人机巡线导航方法及系统 - Google Patents
基于红外图像电力线识别的无人机巡线导航方法及系统 Download PDFInfo
- Publication number
- CN116189020A CN116189020A CN202310147872.XA CN202310147872A CN116189020A CN 116189020 A CN116189020 A CN 116189020A CN 202310147872 A CN202310147872 A CN 202310147872A CN 116189020 A CN116189020 A CN 116189020A
- Authority
- CN
- China
- Prior art keywords
- power line
- unmanned aerial
- aerial vehicle
- deep learning
- center point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000007689 inspection Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 47
- 238000010586 diagram Methods 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 19
- 230000002708 enhancing effect Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012946 outsourcing Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 2
- 238000010008 shearing Methods 0.000 claims description 2
- 230000014616 translation Effects 0.000 description 17
- 230000009466 transformation Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- OYNAHELWAOEQBG-JACKDLBFSA-N (z)-but-2-enedioic acid;3-(4-chlorophenyl)-n,n-dimethyl-3-pyridin-2-ylpropan-1-amine;3-[(1r)-1-hydroxy-2-(methylamino)ethyl]phenol;hydrochloride Chemical compound Cl.OC(=O)\C=C/C(O)=O.CNC[C@H](O)C1=CC=CC(O)=C1.C=1C=CC=NC=1C(CCN(C)C)C1=CC=C(Cl)C=C1 OYNAHELWAOEQBG-JACKDLBFSA-N 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
- H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
- H02G1/02—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于红外图像电力线识别的无人机巡线导航方法及系统，包括：对俯视电力线进行数学抽象，作为无人机沿电力线飞行的导航依据；从获得的航拍图中随机抽取作为训练集和测试集，按照图像的默认坐标系标注每根电力线端点的坐标值；构建深度学习识别模型，模型包含编码‑译码模块和预测模块，预测模块包含三个全卷积网络分支，分别预测电力线中心点的高斯分布核、电力线中心点相对真实值的偏移量以及电力线方向；对深度学习识别模型预测的电力线中心点和方向进行聚类，得到电力线束的总体位置和方向，用于指导无人机的自主导航。本发明可以实现端到端地识别电力线中心坐标及方向角，具有较高的效率，便于完成无人机巡检导航。
Description
技术领域
本发明属于无人机巡视导航领域，具体涉及一种基于红外图像电力线识别的无人机巡线导航方法及系统。
背景技术
为了保障输电线系统的可靠性，避免出现由于输电线路中的设备损坏造成的大面积停电等问题，电力运营单位通常采用巡检的方式对户外输电线系统中的设备及附件进行定期巡检，及时发现问题和安全隐患，以便于及时维护，确保输电系统稳定运行。与电力线远程监控系统的任务相比，输电线巡检的检查范围非常大，任务更广，难度更大。电力线巡检任务中需要检查的部件种类较多，分布的环境较复杂，同时还受到天气的影响。早期的人工巡检具有效率低、安全性差等特点，已经逐步被基于视觉的无人机电力巡检方案所代替。在无人机的电力线巡检方案中，主要需要解决的问题是如何保障无人机能够高效的完成巡检任务。为了使无人机在飞行过程中更有效地对电力线及电线杆等重要设施进行识别和风险排查，比较有效的导航方法是使无人机飞行在电力线的上方，并始终保持跟随电力线飞行，在飞行过程中对电力线进行检查，当前置摄像头发现电线杆时则对电线杆进行追踪，并调整摄像头角度进行实时拍摄。完成巡检任务后，无人机也可以沿电力线返航。由于电力线的实际分布较复杂，在有些地区，电力线信息未被精确的绘入导航地图，依靠GPS信息很难实现精确的导航，难以保证摄像头拍摄到清晰的电力线及其附件；同时，一些地区的GPS信息比较弱，有时还可能存在丢失信号的情况，因此，单靠GPS导航的可靠性不高。而基于视觉的沿电力线飞行导航是依靠准确识别电力线为基础的，比GPS导航更加可靠和准确。
因此，识别电力线是基于红外图像的无人机夜间巡线自主导航中的一项必不可少的任务。如果无人机可以识别电力线的位置及朝向，就可以根据这些信息实时调整自身的飞行方向和位置，保持与电力线的路径一致。在无人机巡检中的电力线识别问题上，已经有了不少相关的研究，例如Bums等人(1986)提出了一种通过边缘检测及像素聚类的方法来识别电力线，Akinlar等人(2011)提出了一种名为EDlines的边缘轮廓线检测方法，Ceron等人(2014)提出了一种基于圆圈搜索技术(CBS)的无人机电力线检测模型。基于CBS，Ceron等人(2018)又提出了基于线段梯度直方图(HOS)的电力线识别方法。然而，这些方法在处理复杂背景下的无人机航拍图时，都不够稳定可靠。
发明内容
本发明针对现有技术中的不足，提供一种基于红外图像电力线识别的无人机巡线导航方法及系统，以实现端到端地识别电力线中心坐标及方向角，具有较高的效率，便于完成无人机巡检导航。由于无人机工作在复杂的环境中，电力线自动识别和跟随是一项具有挑战性的任务。为了解决这个问题，本发明提出了一种基于深卷积神经网络的新方法，与传统的方法不同的是，该方法能自动地从复杂背景中提取电力线路的特征，并能有效地提取电力线路的特征并实时预测每根电力线的中心和方向；基于此，本发明进一步提出了针对电力线中心位置及朝向的聚类方法，把所有电力线的位置及朝向聚合为一个总的位置和朝向，并用来指导无人机的夜间巡线导航。
为实现上述目的，本发明采用以下技术方案：
一种基于红外图像电力线识别的无人机巡线导航方法，其特征在于，包括如下步骤：
步骤1：对俯视电力线进行数学抽象，并将其作为无人机沿电力线飞行的导航依据；
步骤2：随机抽取若干张航拍图作为训练集和测试集，标注每根电力线端点的坐标值；
步骤3：构建深度学习识别模型，并通过训练集和测试集进行模型训练；所述深度学习识别模型提取图像特征并生成特征图，从特征图上查找具有高斯核分布特点的区域，选取各区域的中心并按照中心点值的大小进行排名，选取靠前的点作为备选的电力线中心点，接着对备选的电力线中心点进行像素值筛选，得到初步预测到的电力线中心点，根据初步预测到的电力线中心点的坐标查找其与实际电力线中心的偏移量，经过偏移量修正得到最终的电力线中心点坐标的预测值；所述深度学习识别模型还预测得到各电力线方向；
步骤4：对深度学习识别模型预测的电力线中心点和电力线方向进行聚类，得到电力线束的总体位置和方向，用于指导无人机的自主导航。
为优化上述技术方案，采取的具体措施还包括：
进一步地，所述步骤1中，对俯视电力线进行数学抽象包括：对无人机俯视视角中的电力线端点取平均，得到电力线中心点，采用电力线中心点及电力线方向角的正余弦值来表示电力线。
进一步地，所述步骤2还包括设计基于电力线端点的数据增强方法，数据增强方法包括任意方向平移、任意比例缩小、任意角度旋转和任意剪切变形。
进一步地，所述步骤3中，深度学习识别模型按照中心点值的大小进行排名，选取最多前100个点作为备选的电力线中心点；深度学习识别模型对备选的电力线中心点进行像素值筛选，把像素值大于等于阈值的备选的电力线中心点作为初步预测到的电力线的中心点。
进一步地，所述步骤4还包括：对深度学习识别模型预测的所有的电力线中心点计算其最小外包矩形，根据最小外包矩形的中心位置，构建高斯核来描述预测到的电力线对应的权重，(xi，yi)为第i根电力线的中心点坐标，(xc，yc)为高斯核的中心坐标，那么第i根电力线对应的权重值wi根据下式计算：
由此得到电力线的权重分布，考虑该权重分布，得到电力线束的总体位置和方向。
本发明还提出了一种基于红外图像电力线识别的无人机巡线导航系统，其特征在于，包括：数学抽象模块、数据标注及增强模块、深度学习识别模型和聚类模块；
所述数学抽象模块对俯视电力线进行数学抽象，作为无人机沿电力线飞行的导航依据；
所述数据标注及增强模块随机抽取若干张航拍图作为训练集和测试集，标注每根电力线端点的坐标值，并基于电力线端点进行数据增强；
所述深度学习识别模型通过训练集和测试集进行模型训练，用于预测电力线中心点和电力线方向；深度学习识别模型包括编码-解码模块和预测模块，所述编码-解码模块提取图像特征并生成预测模块需要的特征图，所述预测模块包括三个全卷积网络分支：第一个分支预测电力线中心线的高斯核，生成包括电力线中心点位置和高斯核分布的热度图；第二个分支预测热度图中高斯核的中心坐标与实际电力线中心的偏移量，所述偏移量用于电力线中心点的预测；第三个分支预测电力线方向角的正弦值和余弦值；
所述聚类模块对深度学习识别模型预测的电力线中心点和电力线方向进行聚类，得到电力线束的总体位置和方向，用于指导无人机的自主导航。
进一步地，所述数学抽象模块对俯视电力线进行数学抽象包括：对无人机俯视视角中的电力线端点取平均，得到电力线中心点，采用电力线中心点及电力线方向角的正余弦值来表示电力线。
进一步地，所述数据标注及增强模块中，数据增强的方法包括任意方向平移、任意比例缩小、任意角度旋转和任意剪切变形。
进一步地，所述深度学习识别模型的输入是512×512×3的红外RGB图，经过编码-解码模块后生成大小为128×128×3的特征图；所述第一个分支由一个单通道的特征图构成，输出的热度图大小为128×128×1；所述第二个分支大小为128×128×2。
进一步地，所述深度学习识别模型中，第一个分支采用focal loss函数作为损失函数：
式中，Lhm是第一个分支的损失函数，Yxy是真实值，
是深度学习识别模型的预测值，α和β是focal loss中的超参数，N是样本数；
第二个分支和第三个分支采用L1损失函数：
式中，Loff是第二个分支的损失函数，Lori是第三个分支的损失函数，Pos表示正样本；ox和oy是电力线的真实中心点坐标，
和
是深度学习识别模型预测的电力线中心点坐标，θp是电力线的真实方向角，
是深度学习识别模型预测的电力线方向角；
深度学习识别模型的最终损失函数是三个分支的损失函数的加权和：
Ldet＝Lhm+λLoff+γLori
式中，Ldet是深度学习识别模型的最终损失函数，λ和γ分别是电力线中心点偏移损失函数和电力线方向损失函数的权重。
本发明的有益效果是：
1)本发明提出的办法可以实现端到端地识别电力线中心坐标及方向角，具有较高的效率。与传统的直线检测及边缘检测相比，提出的电力线中心点及方向识别方法具有更高的精度和鲁棒性；
2)在设计基于深度学习的电力线中心点及方向识别模型时，创新地的采用电力线的方向角的正弦及余弦值作为深度学习模型的输出，并通过tanh函数进行激活，把基于深度学习的目标检测方法从物体目标框的识别拓展到了对电力线中心点及方向的识别，使基于深度学习的目标检测模型实现了检测电力线中心点及方向的新功能。
附图说明
图1为本发明实施例提供的俯视图中电力线的中心点及方向图。
图2a到图2d为本发明实施例提供的任意水平位移变换图，图2a是原图，图2b是平移后电力线的两个端点仍然在图像的水平边界范围内，图2c是电力线的一个端点在经过水平平移变换后移出了图像的左边界，图2d是电力线的一个端点在经过水平平移变换后移出了图像的右边界。
图3a到图3d为本发明实施例提供的任意竖直位移变换图，图3a是原图，图3b是电力线的两个端点经过变换后还在图像的上下边界范围内，图3c是电力线的一个端点经过竖直平移超出了图像的上边界，图3d是电力线的一个端点经过竖直平移变换后超出了图像的下边界。
图4a和图4b为本发明实施例提供的任意比例缩小图，图4a是原图，图4b是缩放后的电力线。
图5a到图5c为本发明实施例提供的任意角度旋转图，图5a是原图，图5b是旋转图片，图5c是改变规格的旋转图片。
图6a和图6b为本发明实施例提供的任意剪切变形图，图6a是原图，图6b是剪切变形图片。
图7为本发明实施例提供的电力线中心点及方向识别的模型结构图。
图8为本发明实施例提供的电力线权重的高斯分布图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
实施例一
在本实施例中，本发明提出了一种基于红外图像电力线识别的无人机巡线导航方法，该方法具体包括以下步骤：
步骤1：俯视电力线的数学抽象。
在无人机的夜间巡线飞行中，电力线通常处于无人机的俯视视角中。因此，对于指导无人机导航任务来说，红外电力线可以被近似成直线，根据直线的端点，可以得到电力线的近似中心点及方向。如图1所示，P31(x31，y31)和P32(x32，y32)是一根电力线的两个端点，那么电力线可以有这两个点组成的一个线段来近似；假设，C3是近似线段的中点，θ是这根线的方向角，那么这条电力线的中心点坐标及方向可以用式(1)、(2)、(3)及(4)来表示：
对无人机俯视视角中的电力线，对其端点取平均，得到电力线的近似中心点，并采用电力线的中心点及电力线方向角的正余弦值来表示电力线，作为无人机沿电力线飞行的导航依据。
步骤2：数据的标注及增强。
从Ceron等人的论文中公开的视频(https：//youtu.be/pa4fqoGJmD)中获得2818张航拍图作为研究数据，其中随机抽取2297张图和521张图作为训练集和测试集。本实施例按照图像的默认坐标系标注了每根电力线的端点的坐标值，并保存为类似MS COCO格式的json文件。由于数据集较小，本实施例设计了一系列基于电力线端点的数据增强方法，以充分利用已有的数据资源，减少深度学习模型训练中的过拟合，提高模型的精度和鲁棒性。
(1)任意方向平移
电力线的任意方向平移可以拆解为任何水平方向平移和任意竖直方向平移，最终的平移结果是两个方向平移的线性叠加。按照齐次坐标变换的知识，当点P(x，y)经过任意方向平移到P′(x′y′)时，其对应的坐标变化可以由式(5)确定：
对任意水平方向的平移，值为0；如图2a到图2d所示。
图2a展示了一张未经变换的电力线示意图，尺寸为(w×h)，其中电力线的两个端点及中心点分别为P1(x1，y1)，P2(x2，y2)及C(xc，yc)。当电力线经过平移后，两个端点仍然在图像的水平边界范围内，如图2b所示，变换后的电力线端点P′1(x′1，y′1)，P′2(x′2，y′2)可以分别由式(6)、(7)、(8)和(9)得到：
x′1＝x1+δx (6)
x′2＝x2+δx (7)
y′1＝y1 (8)
y′2＝y2 (9)
因此，变换后的直线的中心点的坐标可以由式(10)和(11)计算：
对于第二种情况，电力线的一个端点在经过水平平移变换后移出了图像的左边界，如图2c所示，这时的电力线左端点应该由电力线与图像左边缘的交点来替代，变换后的电力线的端点可以根据式(12)、(13)、(14)和(15)计算得到：
x′1＝x1+δx (12)
x′2＝0 (13)
y′1＝y1 (14)
相应地，在第三种情况中，一个电力线的端点经过平移后超过图像的右边界，如图2d所示，因此平移后的电力线的右端点由电力线与图像右边界的交点替代，变换后的电力线的端点可以由式(16)，(17)，(18)和(19)计算得到：
x′1＝w (16)
x′2＝x2+δx (17)
y′2＝y2 (19)
对于任何竖直方向的平移变换，也存在三种情况需要进行分析。图3a到图3d展示了几种典型的竖直变化。
图3a是原图，对于竖直平移变换中的第一种情况，电力线的两个端点经过变换后还在图像的上下边界范围内，如图3b所示。因此，第一种情况下变换后的电力线端点坐标可以分别用式(20)、(21)、(22)和(23)确定：
x′1＝x1 (20)
x′2＝x2 (21)
y′1＝y1+δy (22)
y′2＝y2+δy (23)
在第二种情况下，电力线的一个端点经过竖直平移超出了图像的上边界，因此，变换后的电力线的上端点需要用电力线与图像上边缘的交点代替，如图3c所示。变换后的电力线的端点坐标可以分别由式(24)、(25)、(26)和(27)算出：
x′1＝x1 (24)
y′1＝y1+δy (26)
y′2＝0 (27)
当电力线的一个端点经过竖直平移变换后超出了图像的下边界，那么这种变化满足第三种情况，如图3d所示，变换后的电力线端点坐标由式(28)、(29)、(30)和(31)算出：
x′2＝x2 (29)
y′1＝h (30)
y′2＝y2+δy (31)
通过上述方法，可以计算出不同情况下水平及竖直平移后的电力线的新的端点，而相应的新的电力线中心点坐标可以通过求两个新端点的坐标的平均值得到。同时，电力线方向角的正弦及余弦值可以通过变换前的电力线的两个端点坐标求出。
(2)任意比例缩小
由于无人机的航拍高度不同，获得的图像中电力线的尺度也会有较大差异。为了产生不同尺度的数据，本实施例采用了任意尺寸缩放的数据增强方法，如图4a和图4b所示。
图4a是原图，当图像以比例系数s(s∈[0，1])进行缩放时，缩放后的电力线如图4b所示，电力线的两端经过缩放后都位于图像的边界内，δh和δw为缩小后的图的边框与原图的边框之间的竖直和水平方向上的距离，具体可以由式(32)和(33)计算：
因此，变换后的电力线的端点在原图像坐标系中的坐标可以由式(34)、(35)、(36)和(37)计算得到：
(3)任意角度旋转
由于无人机在航拍过程中与电力线的方向存在偏航角(yaw)，而偏航角的值可能在一定范围内波动，因此，本实施例引入了任意角度旋转变换，以减少因为偏航角的变化造成的模型预测精度的波动。图5a到图5c展示了电力线任意角度旋转变换的过程。
图5a是原图，通常来说，图像上一个点P(x，y)旋转角度后，对应的点为P′(x′y′)，那么这个对应关系可以用式(38)表示：
式中，δ指的是变化量，θ是这根线的方向角。
图5b展示了旋转后的电力线，图5c是改变规格的图片。由于旋转后图的大小发生了变化，当把旋转后的图和旋转前的图对齐到同一坐标系下，旋转后的图的中心相对原图产生了位移，位移值和可以用式(39)和(40)计算：
因此，旋转变换后的电力线的端点坐标值可以根据式(41)、(42)、(43)和(44)计算得到：
(4)任意剪切变形
剪切变形是图像识别中一种常用的数据增强方法，主要作用是为了提高模型对不同视角的鲁棒性，图6a和图6b展示了一个典型的剪切变形过程。
对图像上的一个点，其剪切变换的表达式如式(45)所示，其中m是剪切系数：
因此，可以根据式(46)、(47)、(48)和(49)得到电力线端点经过剪切变形后的坐标值：
y′1＝y1 (48)
y′2＝y2 (49)
步骤3：模型的建立。
针对沿电力线的自主导航任务，本实施例提出了一种基于深度学习的电力线中心点及方向识别模型，此模型采用了类似CenterNet的基于无锚框构架的紧凑型单步法目标识别模型结构。与通用的目标检测模型不同，此模型可以直接预测电力线的中心点及方向，同时取消了对物体目标框的识别。此模型结构主要包含一个编码-译码模块，其作用在于提取图像特征及产生预测模块需要的特征图；一个预测模块，其主要结构包含三个全卷积网络分支，分别预测电力线中心点的高斯分布核、电力线的中心点相对真实值的偏移量以及电力线中心点的方向。图7展示了本实施例提出的电力线中心点及方向识别模型的结构。
模型的输入是一个大小为(512×512×3)的红外RGB图，经过编码-解码模块后生成了一个大小为(128×128×3)的特征图。这个特征图分为三个分支，第一个分支由一个单通道的特征图构成，主要产生一个用于拟合物体中心的高斯分布核，因此这个特征图的像素值都经过sigmod函数投射到值域为[0，1]的数值空间。假设Y是上述的高斯分布核，
是这个高斯核的中心点的坐标，σp是与物体的目标框大小相关的标准差，那么，这个高斯核中的任意点(x，y)可以由式(50)确定：
式中，Yxy表示高斯分布核函数。
因此，模型的第一个分支的任务是生成与真实值分布一致的热度图，图上有电力线的中心位置有高斯核分布，而无电力线的部分值均为0。
由于模型输出的热度图的大小为(128×128×1)，是原图大小的1/4。当模型输出的热度图上对应的高斯核的中心坐标被还原到原图上时，会存在上采样误差。为了准确地预测电力线中心的位置，此模型具有第二个分支，其大小为(128×128×2)，主要作用是预测热度图中的高斯核的中心坐标与实际电力线中心的偏移量。
同时，此模型还具有第三个分支，主要用来预测电力线方向角的正弦和余弦值。由于正弦和余弦值的范围是[-1，1]之间，因此，本实施例采用tanh函数把模型的第三个分支输出的特征图上每个像素点值投射到[-1，1]区域。
在训练深度学习识别模型时，本实施例采用了相应的损失函数对模型的参数进行优化，从而得到高精度的电力线识别模型。对于模型输出的热度图分支(即第一分支)，本实施例采用用于分类任务的focal loss函数，如式(51)所示：
式中，Lhm是模型中预测电力线中心点的高斯分布核分支的损失函数，Yxy是真实值，而
则是模型的预测值。α和β是focal loss中的超参数，采用了与CornerNet相同的设置，设置α和β的值分别为2和4。对于电力线中心的偏移和电力线的方向角预测分支，本实施例均采用了L1损失函数，具体计算公式如式(52)和式(53)所示：
式中，Loff是电力线的中心点相对真实值的偏移量预测分支(即第二分支)的损失函数，N是样本数；Lori是预测电力线中心点的方向分支(即第三分支)的损失函数，Pos是positive缩写，指正样本；ox和oy是电力线的真实中心点位置，
和
是模型预测的电力线中心点坐标；θp是电力线的真实方向角，而
则是模型预测的电力线的方向角。
因此，模型则最终损失函数是三个预测分支的损失函数的加权和，如式(54)所示：
Ldet＝Lhm+λLoff+γLori (54)
式中，λ和γ分别是电力线中心点偏移损失函数和电力线方向损失函数的权重，本实施例中，λ的值设为0.1，γ的值设为1。
步骤4：电力线中心点及方向角的预测。
由于本实施例采用的模型具有三个分支，在进行电力线中心点和方向角预测时，模型首先从电力线中心点预测分支的特征图上查找具有高斯核分布特点的区域，并选取其中心。对于特征图上的多个高斯分布核，模型按照其中心点的值的大小进行排名，并选取最多前100个点作为备选的电力线中心点；同时模型对备选的电力线中心点对应的像素值进行筛选，把大于等于阈值Tdet的点作为模型初步预测到的电力线的中心点。本实施例中，Tdet按照目标检测模型常用的经验值设为0.33。
同时，模型根据初步预测的电力线的中心点的坐标查找相应的电力线中心偏移预测分支生成的预测图上对应的坐标值的偏移量，并经过偏移量修正得到最终的电力线中心点坐标的预测值。
除了预测电力线的中心值，本实施例提出的电力线方向预测分支还可以直接预测每根电力线的方向角的正弦和余弦值，并与其他两个分支预测的电力线的中心点对应。因此，本实施例提出的模型可以直接预测所有的电力线中心点以及与之对应的电力线方向。
由于电力线巡线导航任务需要一个总的概括性的电力线束的总体位置和方向，模型预测的所有电力线中心点和方向还需要经过聚类才能指导无人机的自主导航。本实施例针对无人机巡线中电力线识别任务的特点，提出了一种定制化的电力线中心点及方向聚类方法。首先，对模型预测的所有电力线中心点计算其最小外包矩形，然后，根据最小外包矩形的中心位置，构建一个高斯核来描述预测到的电力线对应的权重，如果(xi，yi)为第i根电力线的中心点坐标，(xc，yc)为高斯核的中心坐标，那么第i根电力线对应的权重值wi可以根据式(55)计算：
电力线权重的分布如图8所示，可以看出，此高斯核的设计是为了强化位于电力线束的中心区域的电力线对最终决策的影响，同时也兼顾考虑其他电力线的位置和方向。
实施例二
在本实施例中，本发明提出了一种基于红外图像电力线识别的无人机巡线导航系统，其与实施例一的基于红外图像电力线识别的无人机巡线导航方法相对应。该无人机巡线导航系统包括：数学抽象模块、数据标注及增强模块、深度学习识别模型和聚类模块。
(1)数学抽象模块：对俯视电力线进行数学抽象，作为无人机沿电力线飞行的导航依据。
数学抽象具体包括对无人机俯视视角中的电力线端点取平均，得到电力线中心点，采用电力线中心点及电力线方向角的正余弦值来表示电力线。
(2)数据标注及增强模块：随机抽取若干张航拍图作为训练集和测试集，标注每根电力线端点的坐标值，并基于电力线端点进行数据增强。
数据标注及增强模块中，数据增强的方法包括任意方向平移、任意比例缩小、任意角度旋转和任意剪切变形。
(3)深度学习识别模型：通过训练集和测试集进行模型训练，用于预测电力线中心点和电力线方向。深度学习识别模型包括编码-解码模块和预测模块，编码-解码模块提取图像特征并生成预测模块需要的特征图，预测模块包括三个全卷积网络分支：第一个分支预测电力线中心线的高斯核，生成包括电力线中心点位置和高斯核分布的热度图；第二个分支预测热度图中高斯核的中心坐标与实际电力线中心的偏移量，偏移量用于电力线中心点的预测；第三个分支预测电力线方向角的正弦值和余弦值。
深度学习识别模型的输入是512×512×3的红外RGB图，经过编码-解码模块后生成大小为128×128×3的特征图；第一个分支由一个单通道的特征图构成，输出的热度图大小为128×128×1；第二个分支大小为128×128×2。
深度学习识别模型中，第一个分支采用focal loss函数作为损失函数：
式中，Lhm是第一个分支的损失函数，Yxy是真实值，
是深度学习识别模型的预测值，α和β是focal loss中的超参数，N是样本数；
第二个分支和第三个分支采用L1损失函数：
式中，Loff是第二个分支的损失函数，Lori是第三个分支的损失函数，Pos表示正样本；ox和oy是电力线的真实中心点坐标，
和
是深度学习识别模型预测的电力线中心点坐标，θp是电力线的真实方向角，
是深度学习识别模型预测的电力线方向角；
深度学习识别模型的最终损失函数是三个分支的损失函数的加权和：
Ldet＝Lhm+λLoff+γLori
式中，Ldet是深度学习识别模型的最终损失函数，λ和γ分别是电力线中心点偏移损失函数和电力线方向损失函数的权重。
(4)聚类模块：对深度学习识别模型预测的电力线中心点和电力线方向进行聚类，得到电力线束的总体位置和方向，用于指导无人机的自主导航。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (10)
1.一种基于红外图像电力线识别的无人机巡线导航方法，其特征在于，包括如下步骤：
步骤1：对俯视电力线进行数学抽象，并将其作为无人机沿电力线飞行的导航依据；
步骤2：随机抽取若干张航拍图作为训练集和测试集，标注每根电力线端点的坐标值；
步骤3：构建深度学习识别模型，并通过训练集和测试集进行模型训练；所述深度学习识别模型提取图像特征并生成特征图，从特征图上查找具有高斯核分布特点的区域，选取各区域的中心并按照中心点值的大小进行排名，选取靠前的点作为备选的电力线中心点，接着对备选的电力线中心点进行像素值筛选，得到初步预测到的电力线中心点，根据初步预测到的电力线中心点的坐标查找其与实际电力线中心的偏移量，经过偏移量修正得到最终的电力线中心点坐标的预测值；所述深度学习识别模型还预测得到各电力线方向；
步骤4：对深度学习识别模型预测的电力线中心点和电力线方向进行聚类，得到电力线束的总体位置和方向，用于指导无人机的自主导航。
2.如权利要求1所述的一种基于红外图像电力线识别的无人机巡线导航方法，其特征在于：所述步骤1中，对俯视电力线进行数学抽象包括：对无人机俯视视角中的电力线端点取平均，得到电力线中心点，采用电力线中心点及电力线方向角的正余弦值来表示电力线。
3.如权利要求1所述的一种基于红外图像电力线识别的无人机巡线导航方法，其特征在于：所述步骤2还包括设计基于电力线端点的数据增强方法，数据增强方法包括任意方向平移、任意比例缩小、任意角度旋转和任意剪切变形。
4.如权利要求1所述的一种基于红外图像电力线识别的无人机巡线导航方法，其特征在于：所述步骤3中，深度学习识别模型按照中心点值的大小进行排名，选取最多前100个点作为备选的电力线中心点；深度学习识别模型对备选的电力线中心点进行像素值筛选，把像素值大于等于阈值的备选的电力线中心点作为初步预测到的电力线的中心点。
5.如权利要求1所述的一种基于红外图像电力线识别的无人机巡线导航方法，其特征在于：所述步骤4还包括：对深度学习识别模型预测的所有的电力线中心点计算其最小外包矩形，根据最小外包矩形的中心位置，构建高斯核来描述预测到的电力线对应的权重，(xi，yi)为第i根电力线的中心点坐标，(xc，yc)为高斯核的中心坐标，那么第i根电力线对应的权重值wi根据下式计算：
由此得到电力线的权重分布，考虑该权重分布，得到电力线束的总体位置和方向。
6.一种基于红外图像电力线识别的无人机巡线导航系统，其特征在于，包括：数学抽象模块、数据标注及增强模块、深度学习识别模型和聚类模块；
所述数学抽象模块对俯视电力线进行数学抽象，作为无人机沿电力线飞行的导航依据；
所述数据标注及增强模块随机抽取若干张航拍图作为训练集和测试集，标注每根电力线端点的坐标值，并基于电力线端点进行数据增强；
所述深度学习识别模型通过训练集和测试集进行模型训练，用于预测电力线中心点和电力线方向；深度学习识别模型包括编码-解码模块和预测模块，所述编码-解码模块提取图像特征并生成预测模块需要的特征图，所述预测模块包括三个全卷积网络分支：第一个分支预测电力线中心线的高斯核，生成包括电力线中心点位置和高斯核分布的热度图；第二个分支预测热度图中高斯核的中心坐标与实际电力线中心的偏移量，所述偏移量用于电力线中心点的预测；第三个分支预测电力线方向角的正弦值和余弦值；
所述聚类模块对深度学习识别模型预测的电力线中心点和电力线方向进行聚类，得到电力线束的总体位置和方向，用于指导无人机的自主导航。
7.如权利要求6所述的一种基于红外图像电力线识别的无人机巡线导航系统，其特征在于：所述数学抽象模块对俯视电力线进行数学抽象包括：对无人机俯视视角中的电力线端点取平均，得到电力线中心点，采用电力线中心点及电力线方向角的正余弦值来表示电力线。
8.如权利要求6所述的一种基于红外图像电力线识别的无人机巡线导航系统，其特征在于：所述数据标注及增强模块中，数据增强的方法包括任意方向平移、任意比例缩小、任意角度旋转和任意剪切变形。
9.如权利要求6所述的一种基于红外图像电力线识别的无人机巡线导航系统，其特征在于：所述深度学习识别模型的输入是512×512×3的红外RGB图，经过编码-解码模块后生成大小为128×128×3的特征图；所述第一个分支由一个单通道的特征图构成，输出的热度图大小为128×128×1；所述第二个分支大小为128×128×2。
10.如权利要求6所述的一种基于红外图像电力线识别的无人机巡线导航系统，其特征在于：所述深度学习识别模型中，第一个分支采用focal loss函数作为损失函数：
式中，Lhm是第一个分支的损失函数，Yxy是真实值，
是深度学习识别模型的预测值，α和β是focal loss中的超参数，N是样本数；
第二个分支和第三个分支采用L1损失函数：
式中，Loff是第二个分支的损失函数，Lori是第三个分支的损失函数，Pos表示正样本；ox和oy是电力线的真实中心点坐标，
和
是深度学习识别模型预测的电力线中心点坐标，θp是电力线的真实方向角，
是深度学习识别模型预测的电力线方向角；
深度学习识别模型的最终损失函数是三个分支的损失函数的加权和：
Ldet＝Lhm+λLoff+γLori
式中，Ldet是深度学习识别模型的最终损失函数，λ和γ分别是电力线中心点偏移损失函数和电力线方向损失函数的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310147872.XA CN116189020A (zh) | 2023-02-22 | 2023-02-22 | 基于红外图像电力线识别的无人机巡线导航方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310147872.XA CN116189020A (zh) | 2023-02-22 | 2023-02-22 | 基于红外图像电力线识别的无人机巡线导航方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116189020A true CN116189020A (zh) | 2023-05-30 |
Family
ID=86447306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310147872.XA Pending CN116189020A (zh) | 2023-02-22 | 2023-02-22 | 基于红外图像电力线识别的无人机巡线导航方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116189020A (zh) |
-
2023
- 2023-02-22 CN CN202310147872.XA patent/CN116189020A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862126B (zh) | 深度学习与几何算法结合的非合作目标相对位姿估计方法 | |
| CN107729808B (zh) | 一种用于输电线路无人机巡检的图像智能采集系统及方法 | |
| Xu et al. | Power line-guided automatic electric transmission line inspection system | |
| CN102426019B (zh) | 一种无人机景象匹配辅助导航方法及系统 | |
| Wang et al. | Bottle detection in the wild using low-altitude unmanned aerial vehicles | |
| CN110826549A (zh) | 基于计算机视觉的巡检机器人仪表图像识别方法及系统 | |
| CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
| CN111241988B (zh) | 一种结合定位信息的大场景内运动目标检测识别方法 | |
| CN112668696A (zh) | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 | |
| CN113313703B (zh) | 基于深度学习图像识别的无人机输电线巡检方法 | |
| CN114281093B (zh) | 一种基于无人机电力巡检的缺陷检测系统及方法 | |
| CN110443279B (zh) | 一种基于轻量级神经网络的无人机图像车辆检测方法 | |
| CN110148177A (zh) | 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体 | |
| CN108225273B (zh) | 一种基于传感器先验知识的实时跑道检测方法 | |
| Minghui et al. | Deep learning enabled localization for UAV autolanding | |
| CN116843691A (zh) | 光伏板热斑检测方法及存储介质、电子设备 | |
| Oskouie et al. | A data quality-driven framework for asset condition assessment using LiDAR and image data | |
| Luo et al. | Occluded Insulator Detection System Based on YOLOX of Multi-Scale Feature Fusion | |
| CN111709269B (zh) | 一种深度图像中基于二维关节信息的人手分割方法和装置 | |
| CN109345590A (zh) | 一种基于双目视觉的无人机飞行程序校验系统及其方法 | |
| CN117576591A (zh) | 基于海面救援的无人机图像小目标检测算法 | |
| CN108564626B (zh) | 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置 | |
| CN116188470A (zh) | 一种基于无人机航拍识别的故障定位方法和系统 | |
| CN116189020A (zh) | 基于红外图像电力线识别的无人机巡线导航方法及系统 | |
| Song et al. | Misaligned Visible-Thermal Object Detection: A Drone-based Benchmark and Baseline |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |