CN117893933A - 一种用于输变电设备的无人巡检故障检测方法和系统 - Google Patents
一种用于输变电设备的无人巡检故障检测方法和系统 Download PDFInfo
- Publication number
- CN117893933A CN117893933A CN202410289239.9A CN202410289239A CN117893933A CN 117893933 A CN117893933 A CN 117893933A CN 202410289239 A CN202410289239 A CN 202410289239A CN 117893933 A CN117893933 A CN 117893933A
- Authority
- CN
- China
- Prior art keywords
- camera
- power transmission
- fault detection
- panoramic view
- transformation equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 238000007689 inspection Methods 0.000 title claims abstract description 72
- 230000005540 biological transmission Effects 0.000 title claims abstract description 50
- 230000009466 transformation Effects 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 230000001133 acceleration Effects 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000011897 real-time detection Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种用于输变电设备的无人巡检故障检测方法和系统，包括：预先设置多个操作点；巡检机器人采用双目相机获取操作点处所拍摄的全景视图；采用预训练的网络模型对获取的全景视图进行目标检测和实例分割；基于全景视图的目标检测和实例分割结果进行角度轨迹规划，更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，对单台设备进行故障检测，直到所有的单个设备均检测完毕，巡检机器人自动移动到下一操作点。本发明通过角度轨迹规划实现对单台设备故障的精确检测，使得初始操作点可以粗略设定，故障检测不需要人工参与，可以在新环境下高效地进行无人巡检故障检测。
Description
技术领域
本发明属于输变电设备故障检测技术领域，涉及一种用于输变电设备的无人巡检故障检测方法和系统。
背景技术
输变电设备是电力系统的重要组成部分，输变电设备故障会对电力系统的安全运行构成严重威胁。电力变电所和输电线路的巡检是有效保证输电线路及其设备安全的一项基础工作。通过巡视检查能掌握线路运行状况及周围环境的变化，及时发现设备缺陷和危及线路安全的隐患，提出具体检修意见，以便及时消除缺陷、预防事故发生或将事故限制在最小范围内，从而保证输电线路安全和稳定运行。
巡检机器人在电力变电所和输电线路的巡检中已被广泛研究，用于故障检测。根据电站的具体特点，设计了多种类型的巡检机器人，如多臂型、配备四旋翼的飞行巡检机器人等。其中大多数都被设计成由人类远程控制。其他一些最先进的研究将机器学习方法应用于检测机器人，用于检测和分类特定的设备和基础设施，如用于自动驾驶的障碍物检测。然而，电力设备结构细节拍摄要么是远程手动操作，要么是通过预先设计的程序进行控制，需要人工参与，无法在新环境下高效地进行无人巡检故障检测。
发明内容
为解决现有技术中存在的不足，本发明提供一种用于输变电设备的无人巡检故障检测方法和系统，通过角度轨迹规划更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，实现对单台设备故障的精确检测，使得初始操作点可以粗略设定，而不是在地图上预先设计准确的工作点，故障检测不需要人工参与，可以在新环境下高效地进行无人巡检故障检测。
本发明采用如下的技术方案。
一种用于输变电设备的无人巡检故障检测方法，包括：预先设置多个操作点，且设置操作点时要求对整个场地进行全覆盖的拍摄，巡检机器人在每一操作点执行一次下述步骤1-步骤3后，自动移动到下一操作点，循环执行步骤1-步骤3，实现无人巡检故障多角度实时检测；
步骤1：巡检机器人采用双目相机获取操作点处所拍摄的全景视图；
步骤2：采用预训练的网络模型对步骤1获取的全景视图进行目标检测和实例分割；
步骤3：基于全景视图的目标检测和实例分割结果进行角度轨迹规划，更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，对单台设备进行故障检测，直到所有的单个设备均检测完毕。
优选地，步骤2所述网络模型的训练过程为：
1）收集训练集并进行分割以及分类真值的标注，并初始化网络模型参数；
2）将训练集分批输入网络模型得到输出结果，将输出结果与真值组合计算lossfunction的值，当loss function的值不满足停止条件时，计算loss function的梯度，基于计算所得的梯度进行网络模型参数的更新；
3）返回2），直至loss function的值满足停止条件，则完成训练。
优选地，所述loss function的值的计算公式为：
，
并采用下述梯度加速公式加速所述loss function的值的计算：
，
其中，、/>为第t、t+1次迭代的输入参数；
为第t次迭代的网络模型输出；
为第t次迭代的网络模型参数；
代表对误差/>求梯度；
为目标真值，/>为模的平方，/>为学习率。
优选地，网络模型参数的更新方式为：
，
其中分别为第/>、/>次迭代的网络模型参数；/>表示初始学习率；分别为第/>、/>次迭代loss function值的梯度。
优选地，步骤3中，通过云台控制系统对巡检机器人的相机进行角度轨迹规划，控制并变换相机状态，对单台输变电设备进行逐一拍摄；云台控制系统安装在巡检机器人的伺服电机中。
优选地，云台控制系统对巡检机器人的相机进行角度轨迹规划的过程为：
根据全景视图目标检测和实例分割结果，得出全景视图中所有设备包围框中心的胶片坐标为：
，
其中、/>分别表示第i个设备的包围框中心胶片x轴、y轴坐标，；
则各设备对应的相机期望俯仰角和偏航角为：
，
其中为第i个设备对应的相机期望俯仰角，/>为第i个设备对应的相机期望偏航角，/>为相机焦距；
以相邻两设备对应的相机期望俯仰角、偏航角作为俯仰角、偏航角的初始值以及规划最终值，以进行角度相机角度轨迹规划；
则第1个设备到第2台设备的相机的偏航角轨迹规划过程为：
1）确定规划参数：相机的偏航角初始值以及规划最终值/>，以及偏航角速度最大值/>、偏航角加速度最大值/>；
2）基于1）进行如下计算与规划：
计算差值；
如果，则使用/>作为加速度对偏航角进行加速，加速时间为第一加速时间，再使用-/>作为加速度对偏航角进行加速，加速时间为第一加速时间；
如果，则使用/>作为加速度将偏航角速度加速到/>，以速度/>不断旋转第二加速时间之后使用-/>将偏航角速度减速到0；
按照上述1）-2）相同的思路完成相机俯仰角轨迹规划；
按照上述步骤完成后续单台输变电设备进行逐一拍摄的相机角度轨迹规划。
优选地，第一加速时间为：；
第二加速时间为：。
优选地，云台控制系统对云台进行PID控制，实现对相机状态的控制并变换。
优选地，所述双目相机包括像素对齐的可见光摄像机和红外光摄像机，步骤3中通过红外摄像机测量可见光图像上基于目标检测以及实例分割得到的目标包围框中属于设备的每个像素的温度，给出故障级别，故障级别由高到低依次为紧急故障、严重故障和轻微故障。
一种用于输变电设备的无人巡检故障检测系统，包括：
操作点设置模块，用于预先设置多个操作点，且设置操作点时要求对整个场地进行全覆盖的拍摄，巡检机器人在每一操作点执行一次全景视图获取模块、全景视图处理模块与故障检测模块后，自动移动到下一操作点，循环执行全景视图获取模块、全景视图处理模块与故障检测模块，实现无人巡检故障多角度实时检测；
全景视图获取模块，用于巡检机器人采用双目相机获取操作点处所拍摄的全景视图；
全景视图处理模块，用于采用预训练的网络模型对全景视图进行目标检测和实例分割；
故障检测模块，用于基于全景视图的目标检测和实例分割结果进行角度轨迹规划，更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，对单台设备进行故障检测，直到所有的单个设备均检测完毕。
一种终端，包括处理器及存储介质；所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行所述方法的步骤。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述方法的步骤。
本发明的有益效果在于，与现有技术相比：
1、设置输变电设备全景拍摄的操作点，巡检机器人采用双目相机获取操作点处所拍摄的初始状态下的全景视图，更为高效快速地实现全景扫描式测试；
2、采用预训练的网络模型对获取的全景视图进行目标检测和实例分割，可以自动识别目标对象的类型、位置以及边界；
3、基于全景视图的目标检测和实例分割结果进行角度轨迹规划，更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，对单台设备进行故障检测，直到所有的单个设备均检测完毕，其全程不需要人为调整，而是由机器进行现场实地情况进行视觉判断检测。
4、本发明提出的网络模型训练方法以及相机角度轨迹规划方案，可有效提高本发明目标检测和实例分割、以及角度轨迹规划的精确度和效率。
附图说明
图1为本发明一种用于输变电设备的无人巡检故障检测方法原理图；
图2为本发明Mask R-CNN的网络结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的有所其它实施例，都属于本发明的保护范围。
如图1所示，本发明实施例1提供一种用于输变电设备的无人巡检故障检测方法，在本发明优选但非限制性的实施方式中，所述方法包括：预先设置多个操作点，且设置操作点时要求对整个场地进行全覆盖的拍摄，巡检机器人在每一操作点执行一次下述步骤1-步骤3后，自动移动到下一操作点，循环执行步骤1-步骤3，实现无人巡检故障多角度实时检测；
步骤1：巡检机器人采用双目相机获取操作点处所拍摄的全景视图；
步骤2：采用预训练的网络模型对全景视图进行目标检测和实例分割；
进一步优选地，目标检测是指识别出目标的类别，实例分割是对目标的边界进行细致的分割；目标即为各个输变电设备；通过实例分割将全景图中的各个设备与背景进行分割；
所述网络模型为传统二阶段模型Mask R-CNN，
Mask R-CNN的网络结构如图2所示，该网络结构进行目标检测和实例分割的过程为：
首先，输入一幅待处理的图片，然后进行对应的预处理操作，或者预处理后的图片；
然后，将其输入到一个预训练好的神经网络中（ResNet等）获得对应的特征图；
接着，对这个特征图中的每一点设定预定个的ROI，从而获得多个候选ROI；
接着，将这些候选的ROI送入RPN网络进行二值分类（前景或背景）和BB回归，过滤掉一部分候选的ROI；
接着，对剩下的ROI进行ROIAlign操作（即先将原图和特征图的像素对应起来，然后将特征图和固定的特征对应起来）；
最后，对这些ROI进行分类（N类别分类）以及MASK(即分割图片)的生成。
Mask R-CNN的预训练步骤为：
首先，收集数据集并进行label标注（分割以及分类的真值），并初始化网络参数（一般采用正太分布随机初始化）；
然后，将数据集进行划分，以及2:8划分为例，80%的数据作为训练集，20%作为测试集；
接着，将训练集按batch（一般设置为128）分批输入网络得到输出结果；
接着，将输出结果与真值组合计算损失函数loss function的值，以判断网络输出与真值的差距；
接着，当loss不满足停止条件时，需要计算loss function的梯度；
接着，基于计算所得的梯度，以及自定义的优化方法进行模型参数的更新；
最后，将训练数据再输入到更新参数后的模型中，重复上述步骤，直至loss值达到停止要求，则完成训练。
在神经网络的训练过程中，优化方法是一个十分重要的模块，好的优化方法可以大大加快神经网络的训练速度以及收敛效率，设Mask R-CNN的网络输出为，设目标真值为/>，于是定义loss function如下：
，
并采用下述梯度加速公式加速所述loss function的值的计算：
，
其中，、/>为第t、t+1次迭代的输入参数；
为第t次迭代的网络模型输出；
为第t次迭代的网络模型参数；
代表对误差/>求梯度；
为模的平方；/>为学习率，取0.001。
于是有迭代至以及/>时刻的loss function
，
，
,表示/>迭代总步数。
对应有梯度
，
，
在优化领域，二阶算法相比一阶算法在收敛速度上又明显的优势，但二阶方法需要计算hessian矩阵，随着网络的复杂计算量会变得十分大进而稀释掉其在收敛速度上的优势。本发明使用时域差分的方案来近似hessian矩阵，即：
，
基于此定义模型参数的更新方案，如下：
，
其中，/>表示初始学习率，设置为0.03，/>表示当前迭代步数，从而实现随着迭代的进行步长越小行进越准确的目标。
这时设置模型更新的停止条件，当loss<0.001时，认为模型达到了收敛状态，此时的网络模型完成了训练。
收敛性的简单分析：
，
整理后有：
，
根据Lipschitz条件可知，当loss function满足Lipschitz连续时有
，
等价的可以得到
于是有
于是可知当时/>即算法收敛。
通过上述步骤首先对拍摄对象的操作点进行粗略地设置，以便所有设备都可以被其中一个操作点的摄像机完全拍摄。当巡检机器人到达操作点时，首先拍摄具有初始状态和最大视场的全景图，通过训练的Mask R-CNN进行对象检测，并输出多个边界框。
步骤3：基于全景视图的目标检测和实例分割结果进行角度轨迹规划，更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，对单台设备进行故障检测，直到所有的单个设备均检测完毕，返回步骤1重新设置操作点。
在拍摄全景照片后，通过Mask RCNN网络得到了全景图中的检测框及每个检测框中的分类和分割结果。在此基础上，对单台设备进行逐一拍摄，并再次进行对象检测和分割，以确保准确性。在判断一台设备是否出现故障或是哪种故障后，摄像机基于角度轨迹规划旋转拍摄下一台设备，直到检查完所有的单个设备。
进一步优选地，通过云台控制系统对巡检机器人的相机进行角度轨迹规划，控制并变换相机状态，对单台输变电设备进行逐一拍摄；所述云台控制系统安装在巡检机器人的伺服电机中。
假设根据全景视图目标检测和实例分割结果，得出全景视图中所有设备包围框中心的胶片坐标为：
，
其中、/>分别表示第i个设备的包围框中心胶片x轴、y轴坐标，；
则各设备对应的相机期望俯仰角和偏航角为：
，
其中为第i个设备对应的相机期望俯仰角，/>为第i个设备对应的相机期望偏航角，/>为相机焦距；
则以第1个设备到第2台设备的相机为例，其轨迹规划过程为：
1）确定规划参数：
相机初始状态为，初始速度为（0，0，0），规划最终相机状态预估为，最终速度为（0，0，0）的轨迹，云台需要旋转并将相机视野从/>改变为最终状态/>（即设置初始状态以及最终状态，2）中会根据两者的差距计算某一方向的运动时间，从而完成视野的变化），云台控制系统对相机俯仰角、偏航角、焦距每个维度设置的最大速度/>并设置角度的最大角加速度/>，其中， 分别是指俯仰角速度、偏航角速度、焦距速度、俯仰角、偏航角加速度的最大值；
2）基于1）进行如下计算与规划（以偏航角规划为例）：
计算；
如果，则加速时间/>；
使用作为加速度对偏航角进行加速，加速时间为/>；
再使用-作为加速度对偏航角进行加速，加速时间为/>；
如果，则加速时间/>；
使用作为加速度将偏航角速度加速到/>；
以速度不断旋转/>之后使用-/>将偏航角速度减速到0；
按照上述2）相类似的公式可实现相机俯仰角轨迹规划；
对后续设备重复上述操作可完成对单台输变电设备进行逐一拍摄的相机角度轨迹规划。
具体实施时如果涉及相机焦距的调整，可参照上述思路进行设计。
云台控制系统对云台进行PID控制，实现对相机状态的控制并变换，具体的：
云台控制系统通过式（1）（2）（3）对云台进行PID控制：
（1）
其中是相机俯仰角、偏航角、焦距的三维状态；
F（X）是算子,E（t）表示t时刻的随机扰动；
是相机的初始状态，G（u）为PID控制函数；
u表示期望输出和输出的函数关系式；
所述期望输出和输出的函数关系式具体为：
（2）
所述PID控制函数具体为：
（3）
其中、/>分别为t时刻的期望输出和输出的函数关系式、PID控制函数；
分别为t时刻的输出和期望输出；
是/>的距离函数；
分别表示s时刻的期望输出以及PID的三个参数比例参数、积分参数、微分参数。
进一步优选地，所述双目相机包括像素对齐的可见光摄像机和红外光摄像机，步骤3中通过红外摄像机测量可见光图像上基于目标检测以及实例分割得到的目标包围框中属于设备的每个像素的温度，结合本领域专业手册，给出故障级别，故障级别由高到低依次为紧急故障、严重故障和轻微故障。
本发明实施例2提供一种用于输变电设备的无人巡检故障检测系统包括：
操作点设置模块，用于预先设置多个操作点，且设置操作点时要求对整个场地进行全覆盖的拍摄，巡检机器人在每一操作点执行一次全景视图获取模块、全景视图处理模块与故障检测模块后，自动移动到下一操作点，循环执行全景视图获取模块、全景视图处理模块与故障检测模块，实现无人巡检故障多角度实时检测；
全景视图获取模块，用于巡检机器人采用双目相机获取操作点处所拍摄的全景视图；
全景视图处理模块，用于采用预训练的网络模型对全景视图进行目标检测和实例分割；
故障检测模块，用于基于全景视图的目标检测和实例分割结果进行角度轨迹规划，更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，对单台设备进行故障检测，直到所有的单个设备均检测完毕。
全景照片拍摄完成后，通过Mask-RCNN给出了全景图中的检测框，每个检测框中都有其分类和分割结果，以电缆出线端为例，分类结果是电缆终端的应力锥，对其进行分割。然后，在单机拍摄过程中，对设备进行逐个拍摄。为了保证精度，对单个设备重新进行目标检测和分割。在判断一台设备是否有故障或者是什么样的故障后，摄像机旋转拍摄下一台单台设备，直到检查完所有单台设备。在对单个设备拍摄完毕后，对其进行角度轨迹规划，变换状态准备拍摄下一个设备，通过伺服电机中装载的云台控制系统进行实现。
故障诊断是在对设备进行分割后进行的。可见光摄像机和红外光摄像机按像素对齐。红外摄像机测量可见光图像上检测到的包围框中属于设备的每个像素的温度。单台设备是否有故障，只需查看专业手册即可判断。故障级别由高到低依次为紧急故障、严重故障和轻微故障。
本发明的有益效果在于，与现有技术相比：
1、设置输变电设备全景拍摄的操作点，巡检机器人采用双目相机获取操作点处所拍摄的初始状态下的全景视图，更为高效快速地实现全景扫描式测试；
2、采用预训练的网络模型对获取的全景视图进行目标检测和实例分割，可以自动识别目标对象的类型、位置以及边界；
3、基于全景视图的目标检测和实例分割结果进行角度轨迹规划，更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，对单台设备进行故障检测，直到所有的单个设备均检测完毕，其全程不需要人为调整，而是由机器进行现场实地情况进行视觉判断检测。
4、本发明提出的网络模型训练方法以及相机角度轨迹规划方案，可有效提高本发明目标检测和实例分割、以及角度轨迹规划的精确度和效率。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (12)
1.一种用于输变电设备的无人巡检故障检测方法，其特征在于：
所述方法包括：预先设置多个操作点，且设置操作点时要求对整个场地进行全覆盖的拍摄，巡检机器人在每一操作点执行一次下述步骤1-步骤3后，自动移动到下一操作点，循环执行步骤1-步骤3，实现无人巡检故障多角度实时检测；
步骤1：巡检机器人采用双目相机获取操作点处所拍摄的全景视图；
步骤2：采用预训练的网络模型对步骤1获取的全景视图进行目标检测和实例分割；
步骤3：基于全景视图的目标检测和实例分割结果进行角度轨迹规划，更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，对单台设备进行故障检测，直到所有的单个设备均检测完毕。
2.根据权利要求1所述的一种用于输变电设备的无人巡检故障检测方法，其特征在于：
步骤2所述网络模型的训练过程为：
1）收集训练集并进行分割以及分类真值的标注，并初始化网络模型参数；
2）将训练集分批输入网络模型得到输出结果，将输出结果与真值组合计算lossfunction的值，当loss function的值不满足停止条件时，计算loss function的梯度，基于计算所得的梯度进行网络模型参数的更新；
3）返回2），直至loss function的值满足停止条件，则完成训练。
3.根据权利要求2所述的一种用于输变电设备的无人巡检故障检测方法，其特征在于：
所述loss function的值的计算公式为：
，
并采用下述梯度加速公式加速所述loss function的值的计算：
，
其中，、/>为第t、t+1次迭代的输入参数；
为第t次迭代的网络模型输出；
为第t次迭代的网络模型参数；
代表对误差/>求梯度；
为目标真值，/>为模的平方，/>为学习率。
4.根据权利要求2所述的一种用于输变电设备的无人巡检故障检测方法，其特征在于：
网络模型参数的更新方式为：
，
其中分别为第/>、/>次迭代的网络模型参数；/>表示初始学习率；分别为第/>、/>次迭代loss function值的梯度。
5.根据权利要求1所述的一种用于输变电设备的无人巡检故障检测方法，其特征在于：
步骤3中，通过云台控制系统对巡检机器人的相机进行角度轨迹规划，控制并变换相机状态，对单台输变电设备进行逐一拍摄；云台控制系统安装在巡检机器人的伺服电机中。
6.根据权利要求5所述的一种用于输变电设备的无人巡检故障检测方法，其特征在于：
云台控制系统对巡检机器人的相机进行角度轨迹规划的过程为：
根据全景视图目标检测和实例分割结果，得出全景视图中所有设备包围框中心的胶片坐标为：
，
其中、/>分别表示第i个设备的包围框中心胶片x轴、y轴坐标，/>；
则各设备对应的相机期望俯仰角和偏航角为：
，
其中为第i个设备对应的相机期望俯仰角，/>为第i个设备对应的相机期望偏航角，为相机焦距；
以相邻两设备对应的相机期望俯仰角、偏航角作为俯仰角、偏航角的初始值以及规划最终值，以进行角度相机角度轨迹规划；
则第1个设备到第2台设备的相机的偏航角轨迹规划过程为：
1）确定规划参数：相机的偏航角初始值以及规划最终值/>，以及偏航角速度最大值/>、偏航角加速度最大值/>；
2）基于1）进行如下计算与规划：
计算差值；
如果，则使用/>作为加速度对偏航角进行加速，加速时间为第一加速时间，再使用-/>作为加速度对偏航角进行加速，加速时间为第一加速时间；
如果，则使用/>作为加速度将偏航角速度加速到/>，以速度/>不断旋转第二加速时间之后使用-/>将偏航角速度减速到0；
按照上述1）-2）相同的思路完成相机俯仰角轨迹规划；
按照上述步骤完成后续单台输变电设备进行逐一拍摄的相机角度轨迹规划。
7.根据权利要求6所述的一种用于输变电设备的无人巡检故障检测方法，其特征在于：
第一加速时间为：；
第二加速时间为：。
8.根据权利要求5所述的一种用于输变电设备的无人巡检故障检测方法，其特征在于：
云台控制系统对云台进行PID控制，实现对相机状态的控制并变换。
9.根据权利要求1所述的一种用于输变电设备的无人巡检故障检测方法，其特征在于：
所述双目相机包括像素对齐的可见光摄像机和红外光摄像机，步骤3中通过红外摄像机测量可见光图像上基于目标检测以及实例分割得到的目标包围框中属于设备的每个像素的温度，给出故障级别，故障级别由高到低依次为紧急故障、严重故障和轻微故障。
10.一种用于输变电设备的无人巡检故障检测系统，利用权利要求1-9任一项所述方法，其特征在于：所述系统包括：
操作点设置模块，用于预先设置多个操作点，且设置操作点时要求对整个场地进行全覆盖的拍摄，巡检机器人在每一操作点执行一次全景视图获取模块、全景视图处理模块与故障检测模块后，自动移动到下一操作点，循环执行全景视图获取模块、全景视图处理模块与故障检测模块，实现无人巡检故障多角度实时检测；
全景视图获取模块，用于巡检机器人采用双目相机获取操作点处所拍摄的全景视图；
全景视图处理模块，用于采用预训练的网络模型对全景视图进行目标检测和实例分割；
故障检测模块，用于基于全景视图的目标检测和实例分割结果进行角度轨迹规划，更改巡检机器人的相机状态以对单台输变电设备进行逐一拍摄，并进行目标检测和实例分割，对单台设备进行故障检测，直到所有的单个设备均检测完毕。
11.一种终端，包括处理器及存储介质；其特征在于：
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-9任一项所述方法的步骤。
12.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410289239.9A CN117893933B (zh) | 2024-03-14 | 2024-03-14 | 一种用于输变电设备的无人巡检故障检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410289239.9A CN117893933B (zh) | 2024-03-14 | 2024-03-14 | 一种用于输变电设备的无人巡检故障检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117893933A true CN117893933A (zh) | 2024-04-16 |
| CN117893933B CN117893933B (zh) | 2024-05-24 |
Family
ID=90644399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410289239.9A Active CN117893933B (zh) | 2024-03-14 | 2024-03-14 | 一种用于输变电设备的无人巡检故障检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117893933B (zh) |
Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150370250A1 (en) * | 2014-06-19 | 2015-12-24 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
| US20160243704A1 (en) * | 2013-10-25 | 2016-08-25 | Aleksandar Vakanski | Image-based trajectory robot programming planning approach |
| CN106504362A (zh) * | 2016-10-18 | 2017-03-15 | 国网湖北省电力公司检修公司 | 基于无人机的输变电系统巡检方法 |
| CN108139759A (zh) * | 2015-09-15 | 2018-06-08 | 深圳市大疆创新科技有限公司 | 用于无人飞行器路径规划和控制的系统和方法 |
| CN109189088A (zh) * | 2018-08-21 | 2019-01-11 | 中南林业科技大学 | 系留式无人机自适应巡航跟踪方法、终端及存储介质 |
| CN110246175A (zh) * | 2019-05-24 | 2019-09-17 | 国网安徽省电力有限公司检修分公司 | 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法 |
| US20190317502A1 (en) * | 2016-12-01 | 2019-10-17 | SZ DJI Technology Co., Ltd. | Method, apparatus, device, and system for controlling unmanned aerial vehicle |
| CN111256681A (zh) * | 2020-05-07 | 2020-06-09 | 北京航空航天大学 | 一种无人机群路径规划方法 |
| CN111580553A (zh) * | 2020-05-11 | 2020-08-25 | 桂林电子科技大学 | 一种无人机飞行控制器、无人机防疫监管系统和方法 |
| CN111738148A (zh) * | 2020-06-22 | 2020-10-02 | 复旦大学 | 一种利用红外巡检拍摄的故障识别方法 |
| CN112183311A (zh) * | 2020-09-25 | 2021-01-05 | 国网上海市电力公司 | 一种基于双模态数据融合的变电站设备故障检测方法 |
| CN112257514A (zh) * | 2020-09-27 | 2021-01-22 | 复旦大学 | 一种用于设备故障巡检的红外视觉智检的拍摄方法 |
| CN112668696A (zh) * | 2020-12-25 | 2021-04-16 | 杭州中科先进技术研究院有限公司 | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 |
| CN112785628A (zh) * | 2021-02-09 | 2021-05-11 | 成都视海芯图微电子有限公司 | 一种基于全景视角检测跟踪的轨迹预测方法及系统 |
| US20210224512A1 (en) * | 2020-01-17 | 2021-07-22 | Wuyi University | Danet-based drone patrol and inspection system for coastline floating garbage |
| US20210264800A1 (en) * | 2020-02-20 | 2021-08-26 | Min-Chung Gia | Uav (unmanned aerial vehicle) logistics operation and air traffic control method based on blockchain technology |
| CN113485421A (zh) * | 2021-07-05 | 2021-10-08 | 上海狮尾智能化科技有限公司 | 一种无人机飞行巡检方法、系统、设备及介质 |
| CN114355083A (zh) * | 2021-12-29 | 2022-04-15 | 国网上海市电力公司 | 基于人工智能算法的巡检机器人故障识别方法、系统 |
| CN114373138A (zh) * | 2021-12-28 | 2022-04-19 | 北京交通大学 | 一种高速铁路全自动无人机巡检方法及系统 |
| CN115171029A (zh) * | 2022-09-09 | 2022-10-11 | 山东省凯麟环保设备股份有限公司 | 基于无人驾驶的城市场景下的实例分割方法及系统 |
| CN115294040A (zh) * | 2022-07-26 | 2022-11-04 | 五邑大学 | 基于DDRNets的路面裂痕检测方法、无人机、计算机可读介质 |
| CN115909093A (zh) * | 2022-10-21 | 2023-04-04 | 前郭富汇风能有限公司 | 一种基于无人机巡检和红外图像语义分割的电力设备故障检测方法 |
| WO2023061049A1 (zh) * | 2021-10-11 | 2023-04-20 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人系统及方法 |
| CN116563781A (zh) * | 2023-04-25 | 2023-08-08 | 广西电网有限责任公司来宾供电局 | 一种用于巡检机器人的图像监测与诊断方法 |
| CN116912715A (zh) * | 2023-06-15 | 2023-10-20 | 东南大学 | 一种面向风机叶片巡检的无人机视觉伺服控制方法及系统 |
| CN117572885A (zh) * | 2023-11-20 | 2024-02-20 | 鸣飞伟业技术有限公司 | 基于无人机热红外相机的夜间追踪方法、系统及相关装置 |
-
2024
- 2024-03-14 CN CN202410289239.9A patent/CN117893933B/zh active Active
Patent Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160243704A1 (en) * | 2013-10-25 | 2016-08-25 | Aleksandar Vakanski | Image-based trajectory robot programming planning approach |
| US20150370250A1 (en) * | 2014-06-19 | 2015-12-24 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
| CN108139759A (zh) * | 2015-09-15 | 2018-06-08 | 深圳市大疆创新科技有限公司 | 用于无人飞行器路径规划和控制的系统和方法 |
| CN106504362A (zh) * | 2016-10-18 | 2017-03-15 | 国网湖北省电力公司检修公司 | 基于无人机的输变电系统巡检方法 |
| US20190317502A1 (en) * | 2016-12-01 | 2019-10-17 | SZ DJI Technology Co., Ltd. | Method, apparatus, device, and system for controlling unmanned aerial vehicle |
| CN109189088A (zh) * | 2018-08-21 | 2019-01-11 | 中南林业科技大学 | 系留式无人机自适应巡航跟踪方法、终端及存储介质 |
| CN110246175A (zh) * | 2019-05-24 | 2019-09-17 | 国网安徽省电力有限公司检修分公司 | 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法 |
| US20210224512A1 (en) * | 2020-01-17 | 2021-07-22 | Wuyi University | Danet-based drone patrol and inspection system for coastline floating garbage |
| US20210264800A1 (en) * | 2020-02-20 | 2021-08-26 | Min-Chung Gia | Uav (unmanned aerial vehicle) logistics operation and air traffic control method based on blockchain technology |
| CN111256681A (zh) * | 2020-05-07 | 2020-06-09 | 北京航空航天大学 | 一种无人机群路径规划方法 |
| CN111580553A (zh) * | 2020-05-11 | 2020-08-25 | 桂林电子科技大学 | 一种无人机飞行控制器、无人机防疫监管系统和方法 |
| CN111738148A (zh) * | 2020-06-22 | 2020-10-02 | 复旦大学 | 一种利用红外巡检拍摄的故障识别方法 |
| CN112183311A (zh) * | 2020-09-25 | 2021-01-05 | 国网上海市电力公司 | 一种基于双模态数据融合的变电站设备故障检测方法 |
| CN112257514A (zh) * | 2020-09-27 | 2021-01-22 | 复旦大学 | 一种用于设备故障巡检的红外视觉智检的拍摄方法 |
| CN112668696A (zh) * | 2020-12-25 | 2021-04-16 | 杭州中科先进技术研究院有限公司 | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 |
| CN112785628A (zh) * | 2021-02-09 | 2021-05-11 | 成都视海芯图微电子有限公司 | 一种基于全景视角检测跟踪的轨迹预测方法及系统 |
| CN113485421A (zh) * | 2021-07-05 | 2021-10-08 | 上海狮尾智能化科技有限公司 | 一种无人机飞行巡检方法、系统、设备及介质 |
| WO2023061049A1 (zh) * | 2021-10-11 | 2023-04-20 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人系统及方法 |
| CN114373138A (zh) * | 2021-12-28 | 2022-04-19 | 北京交通大学 | 一种高速铁路全自动无人机巡检方法及系统 |
| CN114355083A (zh) * | 2021-12-29 | 2022-04-15 | 国网上海市电力公司 | 基于人工智能算法的巡检机器人故障识别方法、系统 |
| CN115294040A (zh) * | 2022-07-26 | 2022-11-04 | 五邑大学 | 基于DDRNets的路面裂痕检测方法、无人机、计算机可读介质 |
| CN115171029A (zh) * | 2022-09-09 | 2022-10-11 | 山东省凯麟环保设备股份有限公司 | 基于无人驾驶的城市场景下的实例分割方法及系统 |
| CN115909093A (zh) * | 2022-10-21 | 2023-04-04 | 前郭富汇风能有限公司 | 一种基于无人机巡检和红外图像语义分割的电力设备故障检测方法 |
| CN116563781A (zh) * | 2023-04-25 | 2023-08-08 | 广西电网有限责任公司来宾供电局 | 一种用于巡检机器人的图像监测与诊断方法 |
| CN116912715A (zh) * | 2023-06-15 | 2023-10-20 | 东南大学 | 一种面向风机叶片巡检的无人机视觉伺服控制方法及系统 |
| CN117572885A (zh) * | 2023-11-20 | 2024-02-20 | 鸣飞伟业技术有限公司 | 基于无人机热红外相机的夜间追踪方法、系统及相关装置 |
Non-Patent Citations (3)
| Title |
|---|
| BETHA SAI SASHANK 等: "Segmentation and Detection of Urban Objects from UAV Images Using Hybrid Deep Learning Combinations", 《2023 INNOVATIONS IN POWER AND ADVANCED COMPUTING TECHNOLOGIES (I-PACT)》, 26 February 2024 (2024-02-26), pages 1 - 7 * |
| 任娜;张楠;崔妍;张融雪;庞新富;: "面向无人机电力巡检的语义实体构建及航迹控制方法", 计算机应用, no. 10, 2 April 2020 (2020-04-02), pages 3095 - 3100 * |
| 罗雪静;颜文俊;: "大型光伏电站无人机巡检中的路径规划方法研究", 工业控制计算机, no. 09, 25 September 2018 (2018-09-25), pages 32 - 34 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117893933B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11618438B2 (en) | Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network | |
| CN109784333B (zh) | 基于点云带权通道特征的三维目标检测方法及系统 | |
| CN109584299B (zh) | 一种定位方法、定位装置、终端及存储介质 | |
| Menendez et al. | Vision based inspection of transmission lines using unmanned aerial vehicles | |
| Ohta et al. | Image acquisition of power line transmission towers using UAV and deep learning technique for insulators localization and recognition | |
| CN115436920A (zh) | 一种激光雷达标定方法及相关设备 | |
| CN115546549A (zh) | 点云分类模型构建方法、点云分类方法、装置及设备 | |
| CN112465856A (zh) | 基于无人机的船只轨迹修正方法、装置及电子设备 | |
| CN112070835B (zh) | 机械臂位姿预测方法、装置、存储介质及电子设备 | |
| CN117392241B (zh) | 自动驾驶中的传感器标定方法、装置及电子设备 | |
| CN110866548A (zh) | 输电线路绝缘子红外智能匹配识别与测距定位方法及系统 | |
| CN117893933B (zh) | 一种用于输变电设备的无人巡检故障检测方法和系统 | |
| Ma et al. | Automatic grasping control of mobile robot based on monocular vision | |
| CN109977884B (zh) | 目标跟随方法和装置 | |
| CN114693721A (zh) | 运动规划方法、装置及机器人 | |
| Arcos et al. | Ros based experimental testbed for multi-robot formation control | |
| US11657506B2 (en) | Systems and methods for autonomous robot navigation | |
| Lagoda et al. | Dynamic Reward in DQN for Autonomous Navigation of UAVs Using Object Detection | |
| Gatesichapakorn et al. | ROS-based mobile robot pose planning for a good view of an onboard camera using costmap | |
| Wang et al. | Defect Detection Method for Substation Equipment Based on Lightweight Improved YOLOv5s Algorithm | |
| CN116214532B (zh) | 一种海底电缆机械臂自主避障抓取系统及抓取方法 | |
| Shimada et al. | Depth estimation from monocular infrared images for autonomous flight of drones | |
| CN115546449B (zh) | 一种基于增强现实技术的气象装备培训系统 | |
| Gao et al. | An Improved deep learning method-based detection of transmission line insulator defects | |
| Lei et al. | Radial coverage strength for optimization of multi-camera deployment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |