CN116243725A - 基于视觉导航的变电站无人机巡检方法及系统 - Google Patents
基于视觉导航的变电站无人机巡检方法及系统 Download PDFInfo
- Publication number
- CN116243725A CN116243725A CN202310162565.9A CN202310162565A CN116243725A CN 116243725 A CN116243725 A CN 116243725A CN 202310162565 A CN202310162565 A CN 202310162565A CN 116243725 A CN116243725 A CN 116243725A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- substation
- yaw angle
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 70
- 230000000007 visual effect Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013519 translation Methods 0.000 claims abstract description 45
- 239000000203 mixture Substances 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 230000004888 barrier function Effects 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 11
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于视觉导航的变电站无人机巡检方法及系统，包括：基于无人机采集的视频流数据，获取多张连续的视频帧图像；将视频帧图像输入特征提取网络，提取变电站道路环境特征，将提取的特征分别输入偏航角预测网络和水平飞行预测网络，输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数；根据输出的参数信息，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令以及生成无人机平移控制指令；根据控制指令，控制无人机飞行，进行巡检。本发明通过变电站的视觉图像学习，使得无人机能够认知预先设定的巡检路径及周边环境障碍，摆脱对GPS导航信号的依赖，实现变电站无人机自动巡检。
Description
技术领域
本发明涉及变电站巡检技术领域，尤其涉及一种基于视觉导航的变电站无人机巡检方法及系统。
背景技术
基于远程视频监控的“遥视”系统在变电站巡检中得到广泛应用，220kV及以下变电站已基本实现无人值守。然而，当前的遥视系统通常为一个简单的视频监控回路，缺乏对视频数据和环境数据所蕴含内容的自主化智能分析，安全监控主要还是依赖值班员的人眼观察，人员劳动强度大，自动化程度和作业效率低，加之巡检现场布线复杂，威胁作业人员的人身安全。场站监控效果受巡检人员素质、技术水平以及环境等多种因素影响，难以保障复杂工况下变电站运行的可靠性。
近年来，随着深度学习和类脑计算为代表的新一代人工智能技术的发展，出现了固定摄像头和机器人等变电站自主巡检手段，已逐渐取代传统的人工作业巡检。固定摄像头巡检受限于变电站空间复杂，遮挡物较多，需要部署大量的智能摄像头，后期运维和检修量大；巡检机器人适合室外开放区域，但是受路面平整度影响，巡检机器人活动范围有限，并且观测视野较窄，难以监测整个变电站区域。相对而言，无人机在变电站的巡检中具有视野宽阔、轻巧灵活、高效便捷、成本低廉等优势，近年来也已广泛应用到输电线路的巡检中。
目前的无人机巡检主要采用GPS导航的形式，人工预先设定巡航路线，引导无人机按航线飞行。受建筑物遮挡和电磁干扰的影响，变电站的GPS信号质量较差，难以提供精确的位置信息，给无人机自主巡检带来很大困难。此外，由于目前无人机大多为半开放平台，无法直接读取无人机状态信息与云台摄像头的视频流数据。
发明内容
为解决上述现有技术的不足，本发明提供了一种基于视觉导航的变电站无人机巡检方法及系统，通过利用无人机生产厂家普遍支持的APK(Android application package，安卓应用程序包)读取并处理无人机状态信息与摄像头视频流数据，通过变电站的视觉图像学习，使得无人机能够认知预先设定的巡检路径及周边环境障碍，从而摆脱对GPS导航信号的依赖，解决无人机在变电站巡检时受变电站GPS信号质量影响的问题，实现变电站无人机自动巡检，保障“无人值守”变电站的安全运行。
第一方面，本公开提供了一种基于视觉导航的变电站无人机巡检方法。
一种基于视觉导航的变电站无人机巡检方法，包括：
获取无人机采集的视频流数据，对视频流数据进行预处理，获取多张连续的视频帧图像；
将视频帧图像输入特征提取网络，提取变电站道路环境特征，将变电站道路环境特征分别输入偏航角预测网络和水平飞行预测网络，输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数；
根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令；根据无人机飞行所需平移参数，生成无人机平移控制指令；
基于无人机旋转方向控制指令和无人机平移控制指令，控制无人机飞行，进行巡检。
进一步的技术方案，所述偏航角预测网络由一个Resnet残差块与四个全连接层构成，对于每一输入特征，偏航角预测网络输出n个方向的变电站道路的偏角参数
和/>
进一步的技术方案，所述偏航角预测网络的损失函数为标准负对数似然函数，公式为：
上式中，D为训练数据集标注的方向标签，j表示第j个样本，j∈[1[N]，N为训练数据集样本中的总数，x∈(-1,1)表示将图像中道路偏角的角度范围
归一化后的值，P表示偏角方向为道路方向的概率；/>
为偏航角预测网络的输出，即通过偏航角预测网络输出的各变电站道路的偏角参数；n表示变电站道路的道路方向个数。
进一步的技术方案，所述水平飞行预测网络包含一个Resnet残差块和三个全连接层，用于预测无人机飞行所需平移参数
进一步的技术方案，所述水平飞行预测网络的损失函数为均方误差损失，公式为：
上式中，T为平移标签，
为预测平移标签，i表示第i个样本，i∈[1[N]，N为训练数据集样本中的总数。
进一步的技术方案，所述根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令，包括：
根据偏航角预测网络输出的各方向的变电站道路的偏角参数，基于高斯混合模型，获取各变电站道路方向的概率分布；
将概率大于预定阈值部分所对应的概率分布段的中点为无人机飞行候选旋转方向；
选取概率最高的无人机飞行候选旋转方向为输出旋转方向，将输出旋转方向作为无人机偏航角；
通过线性放缩将旋转方向线性转换为无人机旋转角速度，生成无人机旋转方向控制指令。
进一步的技术方案，所述根据无人机飞行所需平移参数，生成无人机平移控制指令，包括：
根据水平飞行预测网络输出的无人机飞行所需平移参数，通过线性放缩将输出参数转换为无人机平移速度，生成无人机平移控制指令。
进一步的技术方案，将视频帧图像输入避障网络，识别视频帧图像中的障碍物，输出图像中存在障碍物的概率，当概率大于设定阈值时控制无人机执行避障操作；同时，通过避障网络输出无人机旋转角速度，控制无人机实现避障。
第二方面，本公开提供了一种基于视觉导航的变电站无人机巡检系统，包括无人机和地面站，所述无人机包括图像采集模块、机载处理模块和第一无线通信模块；所述地面站包括第二无线通信模块、数据读取模块和数据处理及控制模块；
所述图像采集模块用于采集变电站现场视频图像，并将采集的视频图像传输至机载处理模块，所述机载处理模块通过第一无线通信模块将采集的视频图像以视频流数据的形式传输至地面站；
地面站的第二无线通信模块用于获取无人机传输的视频流数据，所述数据读取模块用于获取无人机采集的视频流数据，对视频流数据进行预处理，获取多张连续的视频帧图像，并将视频帧图像传输至数据处理及控制模块，所述数据处理及控制模块用于执行上述基于视觉导航的变电站无人机巡检方法，下发控制指令，控制无人机飞行，进行巡检。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
以上一个或多个技术方案存在以下有益效果：
1、本发明提供了一种基于视觉导航的变电站无人机巡检方法及系统，获取无人机所拍摄的实时视频图像，构建包括特征提取网络、偏航角预测网络与水平飞行预测网络的导航神经网络，通过变电站中导航神经网络的视觉图像学习，使得无人机能够认知预先设定的巡检路径及周边环境障碍，进行自主飞行及变电站自动巡检，摆脱对GPS导航信号的依赖，解决无人机在变电站巡检时受变电站GPS信号质量影响的问题。
2、本发明所提供的系统搭建无线传输模块及数据读取模块，实现能够利用无人机生产厂家普遍支持的APK读取并处理无人机状态信息和摄像头视频流数据，解决现有无人机为半开放平台而无法直接读取无人机状态信息与云台摄像头的视频流数据的问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一所述基于视觉导航的变电站无人机巡检方法的整体流程图；
图2为本发明实施例一中导航神经网络的结构示意图；
图3为本发明实施例一中确定无人机飞行候选旋转方向的示意图；
图4为本发明实施例一中避障网络的结构示意图；
图5为本发明实施例二所述基于视觉导航的变电站无人机巡检系统的示意图；
图6为本发明实施例二中无人机状态显示模块的显示界面。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于视觉导航的变电站无人机巡检方法，如图1所示，包括以下步骤：
获取无人机采集的视频流数据，对视频流数据进行预处理，获取多张连续的视频帧图像；
将视频帧图像输入特征提取网络，提取变电站道路环境特征，将变电站道路环境特征分别输入偏航角预测网络和水平飞行预测网络，输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数；
根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令；根据无人机飞行所需平移参数，生成无人机平移控制指令；
基于无人机旋转方向控制指令和无人机平移控制指令，控制无人机飞行，进行巡检。
在本实施例中，利用无人机进行变电站巡检，无人机通过搭载的摄像头采集视频流数据，并将该视频流数据传输至地面站，地面站获取无人机所采集的视频流数据，对视频流数据进行预处理，该预处理包括但不限于滤除噪声和干扰、提高对比度、增强边缘、几何校正等，获取多张连续的视频帧图像。
根据所获取的视频帧图像，实现无人机在变电站的自主导航。变电站导航的特征信息为在变电站中普遍存在的环绕变电站一圈的水泥道路，在视频帧图像中，取道路与图像底边所存在的夹角为无人机飞行控制中的偏航角，取道路中心点与图像地边中心的偏差为无人机飞行控制中的水平飞行偏移，根据偏航角和水平飞行偏移，控制无人机飞行，实现自主导航巡检。
在本实施例中，基于视觉导航的变电站无人机巡检所采用的导航神经网络由三个子网络组成，如图2所示，分别为特征提取网络、偏航角预测网络与水平飞行预测网络。将视频帧图像输入特征提取网络，提取变电站道路环境特征，将变电站道路环境特征分别输入偏航角预测网络和水平飞行预测网络，输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数。
针对特征提取网络，由于在变电站中，道路与周围环境差别较大，道路特征较为明显，因此，特征提取网络设置为一个Resnet V2残差块，用于从输入的视频帧图像中提取变电站道路环境特征。采用相对较为简单的特征提取网路，能够在准确提取变电站道路环境特征的同时，保证特征提取的实时性，从而实现无人机的实时控制。
针对偏航角预测网络，在变电站道路分布中，由于会有三岔路口与十字路口的存在，因此，需要预测多个道路方向。在本实施例中，将变电站道路环境特征输入偏航角预测网络，获取各方向的变电站道路的偏角参数，之后，采用高斯混合分布模型来拟合最终的道路方向，表示变电站道路方向概率分布的高斯混合模型概率分布如下式所示：
上式中，x∈(-1,1)表示将图像中道路偏角的角度范围
归一化后的值；P(x)表示该偏角方向为道路方向的概率；/>
分别为高斯混合分布第i个分量的线性放缩尺度、均值与方差，即通过偏航角预测网络输出的各变电站道路的偏角参数；n表示变电站道路的道路方向个数，在本实施例中，将n设定为3，以便能够预测变电站道路十字路口的三个不同的道路方向。
同时，由于在本实施例中，重要的为道路方向，因此在高斯混合概率分布中，重要的是能够成功预测道路方向，因此高斯函数的方差并不重要，故，本实施例固定高斯概率分布中的方差σ，以简化并加速训练。因此，偏航角预测网络由一个Resnet残差块与四个全连接层构成，对于每一输入特征，偏航角预测网络有2n个高斯混合模型参数输出，即输出n个方向的变电站道路的偏角参数
和/>
针对水平飞行预测网络，该网络包含一个Resnet残差块和三个全连接层，用于预测无人机飞行所需平移参数
即在无人机机载摄像头拍摄的图像中为了保持无人机在道路上空所需要的平移。
上述神经网络的训练过程中，构建两个损失函数。其中，偏航角预测网络输出的损失函数为标准负对数似然函数，如下式所示：
上式中，D为训练数据集标注的方向标签，j表示第j个样本，j∈[1[N]，N为训练数据集样本中的总数，该样本为标注了方向的视频帧图像，
为偏航角预测网络的输出。
水平飞行预测网络的输出是一个固定的数字，即无人机飞行所需平移参数，因此，仅使用均方误差损失进行训练，该损失函数如下式所示：
上式中，T为平移标签，
为预测平移标签，i表示第i个样本，i∈[1[N]，N为训练数据集样本中的总数。
然后，根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令；根据无人机飞行所需平移参数，生成无人机平移控制指令。
当获取无人机控制神经网络的预测输出之后，需要计算得到无人机最终的飞行控制输出的旋转方向控制指令与水平飞行平移控制指令。在每个控制周期，读取偏航角预测网络的预测输出，基于高斯混合模型，获取各变电站道路方向的概率分布，将概率大于预定阈值部分所对应的概率分布段的中点为无人机飞行候选旋转方向；选取概率最高的无人机飞行候选旋转方向为输出旋转方向，即确定了无人机偏航角，通过线性放缩将旋转方向线性转换为无人机旋转角速度，即生成了无人机旋转方向控制指令。
具体的，通过偏航角预测神经网络输出各方向的变电站道路的偏角参数，通过高斯混合分布模型来拟合最终的道路方向，输出无人机云台所拍摄图像中道路的偏角。图像中道路偏角的角度范围为
其中，/>
表示道路的正左方，0表示道路的正前方，/>
表示道路的正右方，将该角度范围归一化到(-1,1)后，-1、0、1分别表示道路的正左方、正前方、正右方。偏航角预测神经网络的预测输出多个高斯概率函数，将多个高斯分布相加，得到一个混合高斯分布函数，如图3所示，该函数中x∈(-1,1)为归一化后的道路偏角，y为道路偏角的概率，即图3中纵轴表示概率P，点(x[y)表示道路偏角为x时的概率为P。当概率的阈值为1时，概率大于该阈值的曲线所对应的x轴的范围为-0.25～0.25，将该段称为概率分布段，取该概率分布段的中点所对应的值(图2所示为0)为无人机飞行候选旋转方向。
偏航角预测神经网络输出各方向的变电站道路的偏角参数，得到图像中各变电站道路的混合高斯分布函数，确定每一道路对应的无人机飞行候选旋转方向，选取概率最高的无人机飞行候选旋转方向为输出旋转方向，通过线性放缩将旋转方向线性转换为无人机旋转角速度，即生成了无人机旋转方向控制指令。通过该无人机旋转方向控制指令控制无人机旋转角速度，直至无人机旋转到云台朝向道路的延伸方向，机身与道路中线平行时，此时偏航角预测神经网络的预测输出为0，通过线性缩放后无人机旋转角速度也为0，此时无人机不再旋转，达到期望的偏航角。
作为另一种实施方式，若无人机接收用户给定的变电站道路方向，则在无人机飞行候选旋转方向中选取与用户给定的变电站道路方向最接近的旋转方向，为输出旋转方向。
同时，在每个控制周期，读取水平飞行预测网络的输出，通过线性放缩将输出的预测结果转换为无人机平移速度，即无人机平移控制指令。同样的，通过该无人机平移控制指令控制无人机平移速度，当无人机飞行到达道路正上方时，此时，水平飞行预测网络的输出为0，通过线性缩放后无人机平移速度也为0，无人机不再平移，达到期望的位置。
在获得无人机的旋转方向控制指令与无人机平移控制指令之后，即可通过地面站将控制指令发送给无人机，进而控制无人机飞行，进行巡检。
作为另一种实施方式，由于无人机飞行具有一定的危险性，比如碰到行人、树木、电线等等，可能会造成财产的损失与无人机的损坏，因此，能够成功进行导航的同时避开障碍物对于无人机巡检而言至关重要。为此，本实施例引入了一种DroNet神经网络作为避障网络，通过避障网络实现无人机的自动避障功能。该避障网络的结构如图4所示，将视频帧图像输入避障网络，避障网络识别图像中的障碍物，输出图像中存在障碍物的概率P，即无人机前方存在障碍物的概率，当概率大于设定阈值时则执行避障操作；通过避障网络，输出无人机旋转角速度V，控制无人机实现避障。
在GPS信息较差时，通过本实施例上述基于视觉导航的无人机巡检方法，能够根据无人机采集的视频流数据进行变电站自动巡检，摆脱对GPS导航信号的依赖，解决无人机在变电站巡检时受变电站GPS信号质量影响的问题，保障“无人值守”变电站的安全运行。
实施例二
考虑到目前所使用的无人机为非开放的平台，尽管可以通过官方安卓APP来读取无人机的状态信息，云台摄像头拍摄的视频流数据可以作为HDMI进行输出显示，但是，其它设备或平台无法直接对HDMI输出数据进行处理与预测，因此，本实施例给出了一种基于视觉导航的变电站无人机巡检系统，通过搭建的软硬件平台，读取无人机数据从而进行后续处理。
本实施例提供的一种基于视觉导航的变电站无人机巡检系统，包括无人机和地面站，如图5所示，所述无人机包括图像采集模块、机载处理模块和第一无线通信模块；所述地面站包括第二无线通信模块、数据读取模块和数据处理及控制模块。
所述图像采集模块用于采集变电站现场视频图像，并将采集的视频图像传输至机载处理模块，所述机载处理模块通过第一无线通信模块将采集的视频图像以视频流数据的形式传输至地面站；
地面站的第二无线通信模块用于获取无人机传输的视频流数据，所述数据读取模块用于获取无人机采集的视频流数据，对视频流数据进行预处理，获取多张连续的视频帧图像，并将视频帧图像传输至数据处理及控制模块，所述数据处理及控制模块用于执行实施例一所述的基于视觉导航的变电站无人机巡检方法，下发控制指令，控制无人机飞行，进行巡检。
在本实施例中，无人机使用适用于提供APK开发程序的无人机，如大疆M100无人机，无人机通过第一无线通信模块进行数据传输，将摄像头采集的视频流数据及无人机状态数据传输至地面站，地面站通过第二无线通信模块接收该传输的数据信息，通过数据读取模块(即视频采集卡)获取无人机输出的视频流数据，并将无人机视频流数据预处理为视频帧图像，以便于后续的数据处理。
作为另一种实施方式，地面站包括移动端控制软件和地面站控制软件，无人机通过第一通信单元将摄像头采集的视频流数据传输给移动端控制软件，移动端控制软件使用DJI Mobile APK开发，通过TCP socket与地面站控制软件传输无人机状态数据，同时，使用图像采集卡传输云台摄像头拍摄的视频流数据。地面端控制软件使用QT C++编写实现，与移动端控制软件通信获取无人机状态数据，通过视频采集卡获取无人机输出的视频流数据，并将无人机视频流数据预处理为图像帧以进行后续预测。
具体的，在本实施例中，首先无人机机载图像采集模块采集变电站现场视频图像，然后图像采集模块将采集的视频图像上传到机载处理模块，机载处理模块通过第一无线通信模块与地面站的第二无线通信模块进行通讯，将采集的视频图像传输到地面站，此时输出为HDMI视频流，之后通过数据读取模块(即视频采集卡)将HDMI视频流转换为USB摄像头视频流数据，从而地面站可以通过读取USB摄像头视频流数据获得无人机所拍摄的视频帧图像，将视频帧图像发送至数据处理及控制模块进行预测计算，执行上述实施例一所述方法，实现无人机变电站自动巡检。
在数据读取模块中，地面站以20Hz的频率，通过使用OPENCV读取视频采集卡所输出的USB视频流数据，将视频流分解为视频帧图像之后即可在地面站中将图片保存为本地文件，之后使用文件锁对本地图像进行加锁解锁操作，进而实现地面站对本地图像文件的多进程读写，从而实现对无人机云台摄像头拍摄视频流的读写。同时为了能够读取无人机的飞行速度、高度等状态信息，在地面站中，通过搭建TCP服务端，与移动端控制软件简建立TCP连接，实现对无人机状态数据的读取，同时由于无人机的状态数据仅用较短字符串即可表示，因此在局域网中使用TCP通信可以满足实时性的要求。
本实施例所述系统还包括无人机运动控制模块，所述无人机运动控制模块设置于地面站中，用于输入人工控制信息，地面站的数据处理及控制模块可以通过读取键盘输入信息，将键盘输入信息转换为无人机飞行控制指令后，发送给移动端控制软件，移动端控制软件向无人机发送控制指令，实现对无人机飞行状态的人工控制。
本实施例所述系统还包括无人机变电站巡检控制模块，所述无人机变电站巡检控制模块设置于地面站中，用于输入路径信息，在GPS信息良好时，通过在地图上设置路径点，地面站的数据处理及控制模块通过线性插值将路径点计算为无人机飞行路径，根据路径计算出无人机飞行控制指令，将控制指令发送给移动端控制软件，移动端控制软件向无人机发送控制指令，进而使得无人机沿路径点飞行进行巡检。
在GPS信息较差时，可以将无人机变电站巡检模式切换到基于视觉导航的巡检方式，地面站的数据处理及控制模块执行实施例一所述的基于视觉导航的变电站无人机巡检方法进行巡检，同时可以实时修改导航巡检参数，如障碍物识别置信度阈值等参数，可以随时修正基于视觉导航的无人机巡检效果。
本实施例所述系统还包括无人机状态显示模块，在无人机状态显示模块中，如图6所示，可以实时显示无人机云台摄像头拍摄的视频流图像、无人机飞行状态信息和无人机周边地图信息，以及上述各个模块中的参数显示与设置，实现简单快捷的人机交互。
本实施例通过利用无人机生产厂家普遍支持的APK(Android applicationpackage，安卓应用程序包)读取并处理无人机状态信息与摄像头视频流数据，解决无法直接读取无人机状态信息与云台摄像头的视频流数据的问题，同时，通过变电站的视觉图像学习，使得无人机能够认知预先设定的巡检路径及周边环境障碍，从而摆脱对GPS导航信号的依赖，解决无人机在变电站巡检时受变电站GPS信号质量影响的问题。
实施例三
本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上所述的基于视觉导航的变电站无人机巡检方法中的步骤。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上所述的基于视觉导航的变电站无人机巡检方法中的步骤。
以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于视觉导航的变电站无人机巡检方法，其特征是，包括：
获取无人机采集的视频流数据，对视频流数据进行预处理，获取多张连续的视频帧图像；
将视频帧图像输入特征提取网络，提取变电站道路环境特征，将变电站道路环境特征分别输入偏航角预测网络和水平飞行预测网络，输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数；
根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令；根据无人机飞行所需平移参数，生成无人机平移控制指令；
基于无人机旋转方向控制指令和无人机平移控制指令，控制无人机飞行，进行巡检。
2.如权利要求1所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述偏航角预测网络由一个Resnet残差块与四个全连接层构成，对于每一输入特征，偏航角预测网络输出n个方向的变电站道路的偏角参数
和/>
3.如权利要求2所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述偏航角预测网络的损失函数为标准负对数似然函数，公式为：
上式中，D为训练数据集标注的方向标签，j表示第j个样本，j∈[1[N]，N为训练数据集样本中的总数，x∈(-1，1)表示将图像中道路偏角的角度范围
归一化后的值，P表示偏角方向为道路方向的概率；/>
为偏航角预测网络的输出，即通过偏航角预测网络输出的各变电站道路的偏角参数；n表示变电站道路的道路方向个数。
4.如权利要求1所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述水平飞行预测网络包含一个Resnet残差块和三个全连接层，用于预测无人机飞行所需平移参数
5.如权利要求4所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述水平飞行预测网络的损失函数为均方误差损失，公式为：
上式中，T为平移标签，
为预测平移标签，i表示第i个样本，i∈[1[N]，N为训练数据集样本中的总数。
6.如权利要求1所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令，包括：
根据偏航角预测网络输出的各方向的变电站道路的偏角参数，基于高斯混合模型，获取各变电站道路方向的概率分布；
将概率大于预定阈值部分所对应的概率分布段的中点为无人机飞行候选旋转方向；
选取概率最高的无人机飞行候选旋转方向为输出旋转方向，将输出旋转方向作为无人机偏航角；
通过线性放缩将旋转方向线性转换为无人机旋转角速度，生成无人机旋转方向控制指令。
7.如权利要求1所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述根据无人机飞行所需平移参数，生成无人机平移控制指令，包括：
根据水平飞行预测网络输出的无人机飞行所需平移参数，通过线性放缩将输出参数转换为无人机平移速度，生成无人机平移控制指令。
8.一种基于视觉导航的变电站无人机巡检系统，其特征是，包括无人机和地面站，所述无人机包括图像采集模块、机载处理模块和第一无线通信模块；所述地面站包括第二无线通信模块、数据读取模块和数据处理及控制模块；
所述图像采集模块用于采集变电站现场视频图像，并将采集的视频图像传输至机载处理模块，所述机载处理模块通过第一无线通信模块将采集的视频图像以视频流数据的形式传输至地面站；
地面站的第二无线通信模块用于获取无人机传输的视频流数据，所述数据读取模块用于获取无人机采集的视频流数据，对视频流数据进行预处理，获取多张连续的视频帧图像，并将视频帧图像传输至数据处理及控制模块，所述数据处理及控制模块用于执行如权利要求1-7任一项所述的基于视觉导航的变电站无人机巡检方法，下发控制指令，控制无人机飞行，进行巡检。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-7中任一项所述的一种基于视觉导航的变电站无人机巡检方法的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-7中任一项所述的一种基于视觉导航的变电站无人机巡检方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310162565.9A CN116243725A (zh) | 2023-02-23 | 2023-02-23 | 基于视觉导航的变电站无人机巡检方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310162565.9A CN116243725A (zh) | 2023-02-23 | 2023-02-23 | 基于视觉导航的变电站无人机巡检方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116243725A true CN116243725A (zh) | 2023-06-09 |
Family
ID=86627419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310162565.9A Pending CN116243725A (zh) | 2023-02-23 | 2023-02-23 | 基于视觉导航的变电站无人机巡检方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116243725A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116608865A (zh) * | 2023-07-20 | 2023-08-18 | 国网山东省电力公司济宁市任城区供电公司 | 一种变电站智能监控系统及方法 |
-
2023
- 2023-02-23 CN CN202310162565.9A patent/CN116243725A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116608865A (zh) * | 2023-07-20 | 2023-08-18 | 国网山东省电力公司济宁市任城区供电公司 | 一种变电站智能监控系统及方法 |
| CN116608865B (zh) * | 2023-07-20 | 2023-10-13 | 国网山东省电力公司济宁市任城区供电公司 | 一种变电站智能监控系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10817731B2 (en) | Image-based pedestrian detection | |
| Luo et al. | A survey of intelligent transmission line inspection based on unmanned aerial vehicle | |
| CN108037770B (zh) | 基于人工智能的无人机输电线路巡检系统和方法 | |
| Li et al. | Automatic bridge crack detection using Unmanned aerial vehicle and Faster R-CNN | |
| Xu et al. | Power line-guided automatic electric transmission line inspection system | |
| Pérez et al. | Ground vehicle detection through aerial images taken by a UAV | |
| CN110598637B (zh) | 一种基于视觉及深度学习的无人驾驶系统及方法 | |
| CN107589758A (zh) | 一种基于双源视频分析的智能化野外无人机搜救方法与系统 | |
| CN112818768B (zh) | 一种基于元学习的变电站改扩建违章行为智能化识别方法 | |
| Lebedev et al. | Accurate autonomous uav landing using vision-based detection of aruco-marker | |
| EP3850456B1 (en) | Control and navigation systems, pose optimisation, mapping, and localisation techniques | |
| CN112668696A (zh) | 一种基于嵌入式深度学习的无人机电网巡检方法和系统 | |
| CN112348034A (zh) | 基于无人机图像识别的起重机缺陷检测系统和工作方法 | |
| CN112327906A (zh) | 一种基于无人机的智能自动巡检系统 | |
| CN112101088A (zh) | 一种无人机电力自动巡检方法、装置及系统 | |
| Li et al. | Advances in vegetation management for power line corridor monitoring using aerial remote sensing techniques | |
| CN113077561A (zh) | 一种无人机智能巡检系统 | |
| CN104570764A (zh) | 一种机载目标指示系统验证平台 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| CN116243725A (zh) | 基于视觉导航的变电站无人机巡检方法及系统 | |
| WO2023109589A1 (zh) | 一种智能车-无人机的协同感知系统及方法 | |
| CN114764900A (zh) | 一种变电站现场作业的越界违章监测方法 | |
| CN116719339A (zh) | 一种基于无人机的电力线路巡检控制方法及系统 | |
| Parker et al. | Live detection of foreign object debris on runways detection using drones and AI | |
| CN112926415A (zh) | 一种行人避让系统和行人监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |