CN112101088B - 一种无人机电力自动巡检方法、装置及系统 - Google Patents

一种无人机电力自动巡检方法、装置及系统 Download PDF

Info

Publication number
CN112101088B
CN112101088B CN202010732372.9A CN202010732372A CN112101088B CN 112101088 B CN112101088 B CN 112101088B CN 202010732372 A CN202010732372 A CN 202010732372A CN 112101088 B CN112101088 B CN 112101088B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
inspection
interest point
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010732372.9A
Other languages
English (en)
Other versions
CN112101088A (zh
Inventor
詹炜
孙晨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze University
Original Assignee
Yangtze University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze University filed Critical Yangtze University
Priority to CN202010732372.9A priority Critical patent/CN112101088B/zh
Publication of CN112101088A publication Critical patent/CN112101088A/zh
Application granted granted Critical
Publication of CN112101088B publication Critical patent/CN112101088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Abstract

本发明涉及电力巡检技术领域，公开了一种无人机电力自动巡检方法，包括以下步骤：采集电力巡检视频，将所述电力巡检视频分隔为多帧巡检图像，从所述巡检图像中筛选出包含巡检的兴趣点的图像作为样本图像；对所述样本图像中不同类别电力器件的兴趣点区域进行标注，得到标注框以及相应的兴趣点类别，建立训练样本集；采用所述训练样本集对神经网络进行训练得到识别模型；获取无人机巡检时拍摄的实时视频流，结合所述实时视频流以及所述识别模型对无人机进行巡检导航，获取兴趣点视频；采用所述识别模型对所述兴趣点视频进行兴趣点识别，并获取相应的兴趣点坐标，实现自动巡检。本发明可以实现全自动化的电力线路巡检。

Description

一种无人机电力自动巡检方法、装置及系统
技术领域
本发明涉及电力巡检技术领域，具体涉及一种无人机电力自动巡检方法、装置、系统以及计算机存储介质。
背景技术
中国电网规模居世界第一，电力线路巡检市场巨大。实际巡检工作中，依靠人工的方式逐点排查依然是目前最主要的电力巡检方式，效率低下、人员不安全、易受天气影响,因此传统人工方式已远不能满足巡检需求。
目前国内电力线路巡检新方式主要包括：机器人巡检、载人直升机巡检、无人机巡检等。但是目前实际投入巡检工作的新方式均存在一定的缺陷：(1)机器人巡检方式覆盖的面积小，操作难，日常维护不便；(2)载人直升机巡检对人员和场地要求严格，成本高，安全隐患大；(3)固定翼无人机巡检无法悬停定点巡视，起降要求高；(4)多旋翼无人机巡检除了续航时间短外没有明显的短板。因此，多旋翼无人机巡检是当前最具发展前景的电力巡检新方式，其安全性高、便于携带、操作简单、垂直起降、良好的滞空能力支持其轻松完成定点巡航任务，除此之外还可以搭载高清相机、红外、机载电脑等设备在无人机巡视路线中完成巡查任务。截止2017年，全国各电网公司已经配备巡检无人机2000余架，使用无人机巡检的杆塔总数超过20万座。
但是目前多旋翼无人机巡检大多采用：前端无人机飞行，后端人工查看，事后分析的方式进行，本质上还是人工方式，并非真正智能自动巡检。而且市面上绝大多数的多旋翼无人机电力巡检方案都是采用无人机端和地面站端两端分离式设计。该设计方式下，无人机端负责图像和视频流数据的采集并回传给地面站，再由地面站对无人机端传入的数据信息进行后期的分析处理。这种电力巡检方案存在的缺陷是对无线信号和数据传输的稳定性高度依赖，对地面站处理器性能的要求高，这也导致检测设备的价格高昂。
发明内容
本发明的目的在于克服上述技术不足，提供一种无人机电力自动巡检方法、装置、系统以及计算机存储介质，解决现有技术中无人机巡检仍然依赖于人工识别分析的技术问题。
为达到上述技术目的，本发明的技术方案提供一种无人机电力自动巡检方法，包括以下步骤：
采集电力巡检视频，将所述电力巡检视频分隔为多帧巡检图像，从所述巡检图像中筛选出包含巡检的兴趣点的图像作为样本图像；
对所述样本图像中不同类别电力器件的兴趣点区域进行标注，得到标注框以及相应的兴趣点类别，建立训练样本集；
采用所述训练样本集对神经网络进行训练得到识别模型；
获取无人机巡检时拍摄的实时视频流，结合所述实时视频流以及所述识别模型对无人机进行巡检导航，获取兴趣点视频；
采用所述识别模型对所述兴趣点视频进行兴趣点识别，并获取相应的兴趣点坐标，实现自动巡检。
本发明还提供一种无人机电力自动巡检装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述无人机电力自动巡检方法。
本发明还提供一种无人机电力自动巡检系统，包括所述的无人机电力自动巡检装置，还包括无人机以及地面控制中心；
所述无人机电力自动巡检装置内置于所述无人机上，所述无人机上还设置有摄像头；
所述摄像头用于拍摄所述电力巡检视频、实时视频流以及兴趣点视频，并将所述电力巡检视频、实时视频流以及兴趣点视频发送至所述无人机电力自动巡检装置；
所述地面控制中心用于接收所述兴趣点视频。
本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现所述无人机电力自动巡检方法。
与现有技术相比，本发明的有益效果包括：本发明采集电力巡检视频，制作用于兴趣点识别的训练样本，训练样本集做好后对神经网络进行训练，得到可以对兴趣点进行自动识别的识别模型。利用该识别模型进行无人机巡检导航以及巡检结果的实时检测。从而实现自动巡检，更大程度的解放人力巡检，提高巡检效率和准确率。
附图说明
图1是本发明提供的无人机电力自动巡检方法一实施方式的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明的实施例1提供了无人机电力自动巡检方法，包括以下步骤：
S1、采集电力巡检视频，将所述电力巡检视频分隔为多帧巡检图像，从所述巡检图像中筛选出包含巡检的兴趣点的图像作为样本图像；
S2、对所述样本图像中不同类别电力器件的兴趣点区域进行标注，得到标注框以及相应的兴趣点类别，建立训练样本集；
S3、采用所述训练样本集对神经网络进行训练得到识别模型；
S4、获取无人机巡检时拍摄的实时视频流，结合所述实时视频流以及所述识别模型对无人机进行巡检导航，获取兴趣点视频；
S5、采用所述识别模型对所述兴趣点视频进行兴趣点识别，并获取相应的兴趣点坐标，实现自动巡检。
本实施例首先采集电力巡检视频，制作用于兴趣点识别的训练样本，兴趣点即各类需要巡检的电力器件。训练样本集做好后对神经网络进行训练，得到可以对兴趣点进行自动识别的识别模型。利用该识别模型进行无人机巡检导航以及巡检结果的实时检测。对无人机进行巡检导航具体为，对兴趣点识别后，在兴趣点区域悬停，拍摄不同角度的兴趣点视频流，然后将兴趣点视频流输入识别模型，对其进行检测，通过机载GPS系统记录兴趣点坐标和检测后返回的兴趣点类别信息，实现自动巡检。自动巡检识别完成后，将拍摄的兴趣点视频流以及相应的兴趣点坐标信息和兴趣点识别结果传回地面控制中心，由人工对异常的兴趣点进行修缮。
本发明结合“深度学习目标识别”和“无人机”技术进行智能化电力线路实时自动巡检，促进电力巡检智能技术应用，更大程度解放人力巡检，提升输电线路智能巡检水平。
对所述样本图像中不同类别的兴趣点区域进行标注，得到标注框以及相应的兴趣点类别，建立训练样本集，具体为：
筛除所述样本图像中图像噪声大于设定值，或不存在兴趣点的样本图像；
对筛选后的样本图像进行数据扩充；
对扩充后的样本图像兴趣点区域标注，得到标注框及相应的兴趣点类别，建立所述训练样本集。
本实施例的数据来源为：通过无人机高清摄像头拍摄电力巡检视频，将电力巡检视频用openCV分割成帧，由专业人士筛选其中包含兴趣点的的关键帧作为样本图像。筛除样本图像中存在模糊、噪声明显以及不存在待检测目标兴趣点的样本图像，确保每一张样本图像样本清晰的包含需要检测到的电力器件兴趣点。为了增加训练模型的鲁棒性，采用图像翻转、平移、缩放，改变图像对比度、亮度、饱和度等方法对原始样本图像进行数据扩充。对待检测的兴趣点用LabelIMG进行标注，本实施例中电力器件兴趣点包括：导线线夹、地线、地线挂点、防震锤、号牌、警示牌、绝缘子串、塔基、塔身、塔身挂点。
优选的，采用所述训练样本集对神经网络进行训练得到识别模型，具体为；
将所述训练样本集分为训练集和测试集；
搭建神经网络，并进行网络初始化；
将所述训练集中样本图像分为多个批次；
采用一个批次的样本图像对所述神经网络进行训练，更新神经网络的权重参数；
采用测试集对训练后的神经网络进行验证，计算神经网络的损失值，判断所述损失值是否小于设定阈值，如果小于，则输出训练后的神经网络，得到所述识别模型，否则转上一步进行下一个批次的样本图像的训练。
将采集并预处理后的样本图像3:1的比例随机分为训练集和测试集。然后搭建神经网络，由于本方法需要部署在无人机的机载处理器上，考虑到机载处理器的功耗和计算性能局限，导致对检测模型的计算效率要求较高，所以采用YOLOv5的S版本作为神经网络，S版本模型参数只有27M，满足嵌入式和移动设备的部署需求。YOLOv5神经网络以CSPDarkNet53为骨干网络。
YOLOv5的损失函数分为三个部分，分别是边框损失Lbox、置信度损失Lobj、类损失Lcls，具体阐述如下。
优选的，采用测试集对训练后的神经网络进行验证，计算神经网络的损失值，具体为；
将所述测试集中样本图像输入训练后的神经网络，得到预测框，计算所述预测框与相应的标注框之间的损失值。
本实施例中网络的输入为640*640，在P3、P4、P5层分别输出3*80*80*85、3*40*40*85、3*20*20*85的YOLO_head，再和真实标注框计算l oss，即损失值，进而对目标兴趣点进行分类和定位。
优选的，所述损失值包括边框损失值，计算所述边框损失值，具体为：
分别计算所述预测框以及所述标注框的面积：
其中，Ag为标注框的面积，AP为预测框的面积，为标注框的坐标，/>分别为标注框两个对角顶点的坐标，/>为预测框的坐标，/>分别为预测框两个对角顶点的坐标；
计算所述预测框与所述标注框的重叠面积：
其中，I为重叠面积，
计算同时包含所述预测框以及标注框的最小覆盖框的面积：
其中，AC为最小覆盖框的面积，
计算所述标注框与所述预测框的交并比：
其中，IoU为交并比，U为所述预测框与所述标注框的并集的面积；
根据所述最小覆盖面积对所述交并比进行修正，得到修正后的交并比：
其中，GIoU为修正后的交并比；
根据修正后的交并比计算损失值，得到所述边框损失值：
Lbox＝LGIoU＝1-GIoU
其中，Lbox为所述边框损失值，LGIoU为根据修正后的交并比计算的损失值。
目前边框损失，一般都通过交并比，即IoU进行衡量，但是IoU仅能衡量两个框相交的远近情况，而不能反应预测框与标注框不相交的情况。即当IoU(a,b)＝0时，是不能反应a与b的远近情况。其次，在具有相同大小交并比的情况下，IoU loss也不能很好的衡量两个框是如何相交的。为了解决这一问题，本实施例边框损失采用LGIoU，即对IoU进行修正后计算的边框损失值。具体方法是，针对预测框A和标注框B，我们找到一个最小的封闭框C，让C可以把A，B包含在内，然后我们计算C中没有覆盖A和B的面积占C总面积的比值，然后用A与B的IoU减去这个比值。由于GIoU引入了包含A，B两个形状的C，所以当A，B不重合时，依然可以进行优化。GIoU保留了IoU的原始性质同时弱化了它的缺点。
优选的，所述损失值还包括置信度损失值和类别损失值；
计算所述置信度损失值，具体为：
其中，Lobj为置信度损失值，S*S表示样本图像被划分的网格数量，B表示每一个网格中产生的候选框(anchorbox)数量，表示第i个网格的第j个候选框负责obj的兴趣点类别，/>为第i个网格的第j个候选框的为obj类别的预测置信度，/>为第i个网格的第j个候选框的为obj类别的标注置信度，/>表示第i个网格的第j个候选框不负责obj的兴趣点类别，λnoobj为相关系数；
计算所述分类损失值，具体为：
其中，Lcls为分类损失值，为第i个网格的第j个候选框的为obj类别的预测概率，Pi j为第i个网格的第j个候选框的为obj类别的标注概率。
Lobj是置信度损失函数值，采用交叉熵(BCE)来表示，其中第一项求和公式表示存在兴趣点的置信度误差，第二项求和公式表示没有兴趣点时的置信度误差。Lcls是分类损失函数值，采用交叉熵(BCE)，表示第i个网格的第j个候选框是否负责这个object，只有在负责某一个类目标兴趣点时，这个候选框才会计算分类损失。
loss＝Lbox+Lcls+Lobj
loss表示整个神经网络的损失值。
将训练集按批次输入神经网络，经过20个epoch训练后，参数更新得到训练好的识别模型，模型大小为27M。
优选的，获取无人机巡检时拍摄的实时视频流，结合所述实时视频流以及所述识别模型对无人机进行巡检导航，获取兴趣点视频，具体为：
设置飞行起始点和飞行高度区间，控制所述无人机飞行至飞行起始点进行巡检拍摄，得到所述实时视频流；
根据所述识别模型检测所述实时视频流中是否存在中心兴趣点以及引导兴趣点，如果存在中心兴趣点，则控制无人机飞行至距离所述中心兴趣点的设定距离处，并获取无人机围绕所述中心兴趣点采集的兴趣点视频，如果不存在中心兴趣点，仅存在引导兴趣点，则根据引导兴趣点的方向对无人机进行巡检导航，并控制无人机继续拍摄实时视频流。
首先通过GPS导航系统给无人机设定飞行起始点、飞行高度区间，对杆塔模型建模，根据杆塔建模信息，提前设定杆塔的高度，宽度，兴趣点以及各电力零部件(即其它兴趣点)相对于杆塔的位置坐标。设定无人机对单个杆塔的巡检飞行模式，即各兴趣点的拍摄角度以及拍摄高度、拍摄位置。无人机从起始点起飞，对获取的实时视频流进行实时检测，当检测到杆塔的时候，无人机根据检测结果返回的自身与杆塔的相对位置信息并向杆塔方向靠近，当到达设定的安全距离时，无人机停止继续向杆塔靠近，按杆塔模型进行兴趣点视频的拍摄。
优选的，获取无人机围绕所述中心兴趣点采集的兴趣点视频，具体为：
所述中心兴趣点为杆塔；
获取待巡检区域各杆塔的高度、宽度以及其它兴趣点与杆塔之间的相对位置关系，进行杆塔模型的建模；
根据杆塔模型设置拍摄兴趣点视频的拍摄角度；
按照所述拍摄角度控制无人机围绕所述中心兴趣点进行多角度拍摄，得到所述兴趣点视频。
由于电力器件一般都安装于杆塔上，因此设置杆塔为中心兴趣点，围绕杆塔进行兴趣点视频拍摄。到达杆塔后，按杆塔模型沿杆塔外侧环绕飞行，检测到兴趣点时短暂悬停，调整拍摄角度，多角度捕获兴趣点视频，记录兴趣点的坐标和类别以及兴趣点图像。
优选的，根据引导兴趣点的方向对无人机进行巡检导航，具体为：
所述引导兴趣点为高压电线；
根据所述高压电线的方向对所述无人机进行巡检导航。
本优选实施例巧妙的应用高压电线连接各杆塔，各类不同的电力器件安装于杆塔上的特性，设置杆塔为中心兴趣点，设置高压电线为引导兴趣点。根据杆塔模型完成一座杆塔所有兴趣点的拍摄后，即完成了一座杆塔的检测，无人机根据检测到的高压电线引导飞往下一座杆塔，然后再按杆塔模型进行下一座杆塔的检测。识别模型为多分类识别模型，可以识别杆塔、高压电线等多种电力器件兴趣点，识别到高压电线后，根据高压电线的方向进行飞行导航，飞往下一座杆塔。
实施例2
本发明的实施例2提供了无人机电力自动巡检装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的无人机电力自动巡检方法。
本发明实施例提供的无人机电力自动巡检装置，用于实现无人机电力自动巡检方法，因此，无人机电力自动巡检方法所具备的技术效果，无人机电力自动巡检装置同样具备，在此不再赘述。
实施例3
本发明的实施例3提供了无人机电力自动巡检系统，包括实施例2提供的无人机电力自动巡检装置，还包括无人机以及地面控制中心；
所述无人机电力自动巡检装置内置于所述无人机上，所述无人机上还设置有摄像头；
所述摄像头用于拍摄所述电力巡检视频、实时视频流以及兴趣点视频，并将所述电力巡检视频、实时视频流以及兴趣点视频发送至所述无人机电力自动巡检装置；
所述地面控制中心用于接收所述兴趣点视频。
具体的，本实施例中无人机电力自动巡检装置采用TX2系列机载处理器实现，将神经网络训练得到的识别模型部署到机载处理器TX2上。模型部署到TX2上的检测速度可以达到60FPS，满足电力巡检实时检测的需求。将机载神经网络检测导航获取的兴趣点视频流以及关键帧信息传回地面控制中心，关键帧信息包括检测到的兴趣点图片，兴趣点坐标，检测时间。由控制中心的专业人员对实时传回的兴趣点照片进一步分析，判断兴趣点状态是正常，还是已经损坏，判断过后再对兴趣点的状态进行标记，收集检测到的异常兴趣点坐标信息，后续由检修人员根据兴趣点的标记状态和位置信息对该兴趣点进行针对性的维修。
本实施例采用无人机端图像采集和检测一体化设计，无人机搭载机载小型ARM架构处理器TX2，数据通过硬件接口传入机载处理器，直接在无人机端对视频进行检测和临时存储。该巡检方案使用轻型神经网络，使ARM架构的小型处理器也能在保证不降低检测精确度的情况下满足神经网络检测的性能需求，同时通过硬件接口传输数据的方式更加可靠，在无线信号不好的情况下依旧可以完成对兴趣点的检测，并在无人机返航后导出检测结果。
实施例4
本发明的实施例4提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的无人机电力自动巡检方法。
本发明实施例提供的计算机存储介质，用于实现无人机电力自动巡检方法，因此，无人机电力自动巡检方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (9)

1.一种无人机电力自动巡检方法，其特征在于，包括以下步骤：
采集电力巡检视频，将所述电力巡检视频分隔为多帧巡检图像，从所述巡检图像中筛选出包含巡检的兴趣点的图像作为样本图像；
对所述样本图像中不同类别电力器件的兴趣点区域进行标注，得到标注框以及相应的兴趣点类别，建立训练样本集；
采用所述训练样本集对神经网络进行训练得到识别模型；
获取无人机巡检时拍摄的实时视频流，结合所述实时视频流以及所述识别模型对无人机进行巡检导航，获取兴趣点视频；
采用所述识别模型对所述兴趣点视频进行兴趣点识别，并获取相应的兴趣点坐标，实现自动巡检;
采用所述训练样本集对神经网络进行训练得到识别模型，具体为；
将所述训练样本集分为训练集和测试集；
搭建神经网络，并进行网络初始化；
将所述训练集中样本图像分为多个批次；
采用一个批次的样本图像对所述神经网络进行训练，更新神经网络的权重参数；
采用测试集对训练后的神经网络进行验证，计算神经网络的损失值，判断所述损失值是否小于设定阈值，如果小于，则输出训练后的神经网络，得到所述识别模型，否则转上一步进行下一个批次的样本图像的训练;
所述损失值包括边框损失值，计算所述边框损失值，具体为：
分别计算预测框以及所述标注框的面积：
其中，为标注框的面积，/>为预测框的面积，/>为标注框的坐标，、/>分别为标注框两个对角顶点的坐标，/>为预测框的坐标，/>、/>分别为预测框两个对角顶点的坐标；
计算所述预测框与所述标注框的重叠面积：
其中，为重叠面积，/>，/>，/>，/>；
计算同时包含所述预测框以及标注框的最小覆盖框的面积：
其中，为最小覆盖框的面积，/>，/>，/>，；
计算所述标注框与所述预测框的交并比：
其中，为交并比，/>为所述预测框与所述标注框的并集的面积；
根据最小覆盖面积对所述交并比进行修正，得到修正后的交并比：
其中，为修正后的交并比；
根据修正后的交并比计算损失值，得到所述边框损失值：
其中，为所述边框损失值，/>为根据修正后的交并比计算的损失值。
2.根据权利要求1所述的无人机电力自动巡检方法，其特征在于，采用测试集对训练后的神经网络进行验证，计算神经网络的损失值，具体为；
将所述测试集中样本图像输入训练后的神经网络，得到预测框，计算所述预测框与相应的标注框之间的损失值。
3.根据权利要求1所述的无人机电力自动巡检方法，其特征在于，所述损失值包括置信度损失值和类别损失值；
计算所述置信度损失值以及类别损失值，具体为：采用交叉熵函数计算所述置信度损失值以及类别损失值。
4.根据权利要求1所述的无人机电力自动巡检方法，其特征在于，获取无人机巡检时拍摄的实时视频流，结合所述实时视频流以及所述识别模型对无人机进行巡检导航，获取兴趣点视频，具体为：
设置飞行起始点和飞行高度区间，控制所述无人机飞行至飞行起始点进行巡检拍摄，得到所述实时视频流；
根据所述识别模型检测所述实时视频流中是否存在中心兴趣点以及引导兴趣点，如果存在中心兴趣点，则控制无人机飞行至距离所述中心兴趣点的设定距离处，并获取无人机围绕所述中心兴趣点采集的兴趣点视频，如果不存在中心兴趣点，仅存在引导兴趣点，则根据引导兴趣点的方向对无人机进行巡检导航，并控制无人机继续拍摄实时视频流。
5.根据权利要求4所述的无人机电力自动巡检方法，其特征在于，获取无人机围绕所述中心兴趣点采集的兴趣点视频，具体为：
所述中心兴趣点为杆塔；
获取待巡检区域各杆塔的高度、宽度以及其它兴趣点与杆塔之间的相对位置关系，进行杆塔模型的建模；
根据杆塔模型设置拍摄兴趣点视频的拍摄角度；
按照所述拍摄角度控制无人机围绕所述中心兴趣点进行多角度拍摄，得到所述兴趣点视频。
6.根据权利要求4所述的无人机电力自动巡检方法，其特征在于，根据引导兴趣点的方向对无人机进行巡检导航，具体为：
所述引导兴趣点为高压电线；
根据所述高压电线的方向对所述无人机进行巡检导航。
7.一种无人机电力自动巡检装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-6任一所述的无人机电力自动巡检方法。
8.一种无人机电力自动巡检系统，其特征在于，包括根据权利要求7所述的无人机电力自动巡检装置，还包括无人机以及地面控制中心；
所述无人机电力自动巡检装置内置于所述无人机上，所述无人机上还设置有摄像头；
所述摄像头用于拍摄所述电力巡检视频、实时视频流以及兴趣点视频，并将所述电力巡检视频、实时视频流以及兴趣点视频发送至所述无人机电力自动巡检装置；
所述地面控制中心用于接收所述兴趣点视频。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现如权利要求1-6任一所述的无人机电力自动巡检方法。
CN202010732372.9A 2020-07-27 2020-07-27 一种无人机电力自动巡检方法、装置及系统 Active CN112101088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010732372.9A CN112101088B (zh) 2020-07-27 2020-07-27 一种无人机电力自动巡检方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010732372.9A CN112101088B (zh) 2020-07-27 2020-07-27 一种无人机电力自动巡检方法、装置及系统

Publications (2)

Publication Number Publication Date
CN112101088A CN112101088A (zh) 2020-12-18
CN112101088B true CN112101088B (zh) 2023-10-27

Family

ID=73750178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010732372.9A Active CN112101088B (zh) 2020-07-27 2020-07-27 一种无人机电力自动巡检方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112101088B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668444A (zh) * 2020-12-24 2021-04-16 南京泓图人工智能技术研究院有限公司 一种基于YOLOv5的鸟类检测与识别方法
CN112668445A (zh) * 2020-12-24 2021-04-16 南京泓图人工智能技术研究院有限公司 一种基于yolov5的蔬菜种类检测与识别方法
CN113190040B (zh) * 2021-04-29 2021-10-08 集展通航(北京)科技有限公司 一种基于无人机视频与铁路bim进行线路巡检的方法和系统
CN112990146B (zh) 2021-05-06 2021-07-27 成都理工大学 一种基于无人机的石油管线巡检异常隐患智能识别方法
CN113296537B (zh) * 2021-05-25 2024-03-12 湖南博瑞通航航空技术有限公司 基于电力杆塔模型匹配的电力无人机巡检方法及系统
CN113807450A (zh) * 2021-09-23 2021-12-17 怀化学院 一种基于超高分辨率图片的无人机电力巡线故障检测方法
CN115457411B (zh) * 2022-08-23 2023-05-26 中国航空油料集团有限公司 航油管线无人化巡视方法、装置和航油安全运维系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network
CN111401146A (zh) * 2020-02-26 2020-07-10 长江大学 一种无人机电力巡检方法、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法
CN111401146A (zh) * 2020-02-26 2020-07-10 长江大学 一种无人机电力巡检方法、设备及存储介质
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进Faster-RCNN的输电线巡检图像多目标检测及定位;林刚;王波;彭辉;王晓阳;陈思远;张黎明;;电力自动化设备(05);第220-225页 *

Also Published As

Publication number Publication date
CN112101088A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112101088B (zh) 一种无人机电力自动巡检方法、装置及系统
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
US9846915B2 (en) Image capture system for property damage assessment
US10511676B2 (en) Image analysis system for property damage assessment and verification
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN112633535A (zh) 一种基于无人机图像的光伏电站智能巡检方法及系统
CN109379564A (zh) 一种燃气管道无人机巡检装置及巡检方法
CN110033453A (zh) 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法
CN109176513B (zh) 一种智能巡检机器人的巡检方法及巡检系统
CN106203265A (zh) 一种基于无人机采集图像的施工扬尘污染源自动监测及影响范围预测系统及方法
CN112013907A (zh) 一种电力无人机巡检路径规划方法
CN110046584B (zh) 一种基于无人机巡检的道路裂纹检测装置及检测方法
Kyrkou et al. Optimized vision-directed deployment of UAVs for rapid traffic monitoring
CN106096504A (zh) 一种基于无人机机载平台的车型识别方法
CN110766333B (zh) 一种天气现象信息智能处理方法及系统
CN115761537A (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN109977840A (zh) 一种基于深度学习的机场场面监视方法
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN114764900A (zh) 一种变电站现场作业的越界违章监测方法
CN112487894A (zh) 基于人工智能的轨道交通保护区自动巡查方法及装置
CN115220479A (zh) 动静协同的输电线路精细化巡检方法与系统
CN115880231A (zh) 一种基于深度学习的输电线路隐患检测方法和系统
CN116310891A (zh) 一种云边协同输电线路缺陷智能检测系统和方法
CN113744230B (zh) 一种基于无人机视觉的飞机蒙皮损伤智能检测方法
CN114882410A (zh) 基于改进定位损失函数的隧道顶灯故障检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant