CN107992067A - 基于集成吊舱和ai技术的无人机巡检故障诊断系统 - Google Patents

Abstract

本发明公开了一种基于集成吊舱和AI技术的无人机巡检故障诊断系统，包括无人机、云台、集成吊舱、双目视觉模块、图像与数据传输模块、分析控制主机以及装载于分析控制主机上的故障诊断AI系统，集成吊舱上设置有红外检测模块、可见光检测模块、控制模块和图像与数据传输模块，双目视觉模块、红外检测模块、可见光检测模块、图像与数据传输模块均与控制模块相联接，分析控制主机通过图像与数据接收模块与图像与数据传输模块无线联接，该系统降低了电网巡检维护工作人员的劳动强度，提高电网环境监测的工作效率和工作质量，减少维修保养的费用；实现对电网环境的实时监测和多点监控，消除人们对电网设备运行时工频辐射的顾虑。

Description

基于集成吊舱和AI技术的无人机巡检故障诊断系统

技术领域

本发明属于无人机巡检技术领域，具体地说，本发明涉及一种基于集成吊舱和AI技术的无人机巡检故障诊断系统，同时还涉及一种基于该系统的无人机巡检故障诊断方法。

背景技术

自20世纪70年代告别煤油灯走向电力时代至今的几十年里的时间里，我国由最初的电力网络走向现代高速、便捷的各类电力供应网，为社会主义经济建设做出了不可估量的贡献。电力网络既然为经济增长带来如此大的贡献，不可避免的，也会为现代电力的发展带来新的挑战，由于输电等级要满足不同用户的用电需求，因此需要在中国大陆各种复杂的地形地貌中架设输电线路，这就对输电线路巡检工作的巡检难度、巡检效率、巡检周期造成了很大的困扰。一方面，由于输电线路安装位置的特殊性，输电线路上安装的电力设备会出现一些肉眼无法辨别的破损和损伤，影响整个电力系统的效率；另一方面，由于出现台风、降雪等极端天气现象时，会严重危及巡检人员的生命安全，造成设备损坏和大面积停电事故。保证输电线路的安全、高效、及时的运行，是电网各级用户用电安全、国家经济高速发展的源头活水，也是影响智能电网普及之路的重要阻碍。

发明内容

有鉴于此，本发明的目的之一是提供一种基于集成吊舱和AI技术的无人机巡检故障诊断系统，目的在于降低电网巡检维护工作人员的劳动强度，提高电网环境监测的工作效率和工作质量，减少维修保养的费用；实现对电网环境的实时监测和多点监控，消除人们对电网设备运行时工频辐射的顾虑；本发明的目的之二是提供一种基于集成吊舱和AI技术的无人机巡检故障诊断方法。

本发明的目的之一是通过以下技术方案实现的：

基于可见光红外集成吊舱和AI技术的无人机巡检故障诊断系统，包括无人机、云台、集成吊舱、双目视觉模块、图像与数据传输模块、分析控制主机以及装载于分析控制主机上的故障诊断AI系统；

所述云台和双目视觉模块均设置于无人机的下方，所述集成吊舱与云台相连接，所述集成吊舱上设置有红外检测模块、可见光检测模块、控制模块和图像与数据传输模块，所述双目视觉模块、红外检测模块、可见光检测模块、图像与数据传输模块均与控制模块相联接，所述分析控制主机通过图像与数据接收模块与图像与数据传输模块无线联接，所述故障诊断AI系统对所接收到的图像与数据信息进行分析。

进一步，所述故障诊断AI系统为基于caffe深度学习框架的故障诊断后台。

进一步，所述系统还包括GPS或北斗定位模块，所述GPS或北斗定位模块与控制模块相联接。

进一步，所述双目视觉模块为USB摄像头和Beagleboard-xm板构成的嵌入式双目视觉处理模块。

本发明的目的之二是通过以下技术方案实现的：

该种基于可见光红外集成吊舱和AI技术的无人机巡检故障诊断方法，包括以下步骤：

(1)将无人机送入待监控区域的上方，通过无人机上的双目视觉模块把无人机的周围环境重构为三维模型，并把采集到的图片传到地面服务器设备；

(2)服务器对照片进行处理，然后对其三维空间进行建模和路径规划，为无人机提供飞行路径，方便遥控设备及时的对无人机的飞行路线进行调整；

(3)在按照飞行航向运行的过程中，通过集成吊舱上的红外成像模块发现电力设备外部链接点的发热隐患并将电力设备的热图像照片传输到地面的手持设备，另外还通过集成吊舱上的可见光检测模块检测电力设备的外部缺陷和故障并把形成的照片传输到地面的手持设备，由电力运行维护人员对上述图像照片进行故障识别，判断出电力传输系统有无故障以及确定相关的故障类型。

进一步，所述步骤(1)中，采用双目视觉模块重构三维场景的步骤如下：

步骤1.1：通过组成双目的摄像头分别采集左图像和右图像，然后通过预处理子模块进行图像预处理后送入处理器进行进一步处理；

步骤1.2：对进行预处理后的图像数据进行消除畸形及立体矫正处理后，再进行高斯拉普拉斯滤波，通过立体匹配获得视差，然后进行三维坐标重构；

步骤1.3：将三维坐标重构后得到的数据与当前无人机的姿态数据相结合，通过处理器更新存储单元中的全局地图信息，从而得到完整地图信息。

进一步，所述步骤2)中，采用蚁群算法进行路径规划。

进一步，在步骤3)中，采用动态定位检测方案对设备的状态进行实时调整，该方案分为分先定位再检测和先检测再定位两类判断方式，先定位后检测判断方式是根据图像的相对位置进行依次进行临时性判断，在其判断后加上加权概率函数，并设定其概率值，然后判断是否其后验概率函数值超过设定的判断值，来决定该图像是否确定为一个目标，从而实现定位；

先定位后检测判断方式是对每一幅图像都做出目标是否存在的判断，然后利用已知图像和目标图像进行关联比较，从而进行判断。

本发明的有益效果是：

本发明的目标在于降低电网巡检维护工作人员的劳动强度，提高电网环境监测的工作效率和工作质量，减少维修保养的费用；实现对电网环境的实时监测和多点监控，消除人们对电网设备运行时工频辐射的顾虑。对加快电力传输网络设备巡检的智能化和精准、提高供电可靠性都有着重要的意义；同时对未来电力设备的规划都有较大的帮助。

本发明的无人机巡检故障诊断系统，通过无人机上搭建云台与可见光红外集成吊舱连接为一体，相对可见光和红外分离的吊舱设计方案，可以同时完成两类故障的检测，节省了检测时间，提高了检测效率；可见光和红外采用一个图传，相比可见光采用数字图传，红外采用模拟图传方式，减少了设备数量、节省了能量损耗；接收到相关信息和数据后，通过故障诊断AI系统中的基于Caffe深度学习框架的故障诊断后台对数据进行分析与诊断，从而生成异常日志，及时提醒工作人员发现异常；本发明采用的双目视觉模块可以实时的采集电力传输线的运行环境状态信息，如障碍物、地形等环境参量；然后通过无线数据传输模块上传至后台监测系统中，通过后台检测系统分析处理这些数据后，形成直观的故障状态图，使相关工作人员可以直观的了解电力传输线运行环境状态。

本发明采用改良的算法为数据传输和数据处理提供后台服务，可以使得前端所采集到的数据准确的传输、无误的在后台服务器再现，同时还可以为无人机的电力巡检航线规划提供保障，加快了数据的传输速度，优化了巡检路径，大大提高检测的准确性和效率，用专业的软件为无人机飞行控制、三维建模、路径优化和故障检测搭建数据基础和相应的程序设计，从而保证无人机高效、准确而快速的执行巡检任务。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明的系统架构结构图；

图2为本发明结构示意图；

图3为本发明采用的蚁群算法流程图；

图4为电力设备的红外故障检测故障类型列表图。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

如图1所示，本发明的基于集成吊舱和AI技术的无人机巡检故障诊断系统，包括无人机、云台、集成吊舱、双目视觉模块、图像与数据传输模块、分析控制主机以及装载于分析控制主机上的故障诊断AI系统；其中云台和双目视觉模块均设置于无人机的下方，集成吊舱与云台相连接，集成吊舱上设置有红外检测模块、可见光检测模块、控制模块和图像与数据传输模块，双目视觉模块、红外检测模块、可见光检测模块、图像与数据传输模块均与控制模块相联接，分析控制主机通过图像与数据接收模块与图像与数据传输模块无线联接，故障诊断AI系统对所接收到的图像与数据信息进行分析。

本实施例中，故障诊断AI系统为基于caffe深度学习框架的故障诊断后台；系统还包括GPS或北斗定位模块，GPS或北斗定位模块与控制模块相联接。

本实施例中，双目视觉模块为USB摄像头和Beagleboard-xm板构成的嵌入式双目视觉处理模块。该平台具有很好的通用性，可以很方便的移植到室外的无人机平台上。

本实施例中，故障诊断AI系统包括前端图像信息接收模块、图像信息预处理模块、故障诊断模块三部分。其中第一部分是前端图像信息接收模块，它主要是通过网络传输的方式接收图像采集模块采集到的图像信息，采用这种传输方式，可以有效避免由于传输距离远、点位分散的而造成的采集图像模糊的问题；第二部分图像信息预处理模块，主要利用Caffe框架定义的卷积神经网络结构，包括图像精细定位、图像均值处理、网络模型构建、模型训练应用四部分；其中图像精细定位是由于前端采集模块采集到图像信息传输过来时有不同程度的干扰信息，需要对图像进一步的分割处理，得到清晰的点定位图像，故本次采用的是Caffe框架下8层AlexNet深度卷积神经网络模型，包括5个卷基层和3个全连接层，首先将前端接收的图像放入输入层，把图像进行等样等尺寸均分；将分割后的图像送入到第一个卷积层，通过卷积核去卷积图片、图像边缘化处理得到特征图；将新得到的特征图送入到第一个子样层，进行最大值池化处理，得到并保存有用的信息；接下来进入到第二个卷积层，其目的是进一步把感受视野的神经元扩大，提取抽象特征；最后到达输出层，采用softmax回归对图像进行再次分类，使选择的图像更具有表达力，并将其图像转换为数据集格式；图像均值计算是通过Caffe框架中处理工具获得数据集中图片的均值二进制文件，然后从数据集中区减去均值图像来提高分类的准确性；网络模型构建是由卷积操作、P00Ling、非线性变换(ReLu等)、权值连接以及顶端局部对比归一线性分类器组成，用来优化结构化数据存储格式，同时也对结构化数据串行化起到作用；在模型训练应用之前还需要编写一个运行协议，然后运行train()函数，而该函数会实例化一个Solver对象，初始化后调用Solver()方法；第三部分故障诊断，主要是建立知识库，知识库中应该包含故障现象的描述、故障的检查方式或方法、诊断建议和维修对策等，其中故障现象的描述包括图形说明和文字描述两部分,是诊断AI诊断系统推理的依据；故障的检测方式或方法是属于故障模式判别的辅助描述部分,指出系统的检测方法诊断建议和维修对策属于故障结论描述部分,是AI诊断系统推理的结果。把以出现的故障为出发点,如故障征兆、中间结果和诊断结果等一系列现象后，找出导致发生故障的原因,并用符号标记故障现象和各级故障原因，以致形成因果关系图，成为一个完整的AI故障诊断。

基于上述系统，本发明的基于集成吊舱和AI技术的无人机巡检故障诊断方法，包括以下步骤：

(1)将无人机送入待监控区域的上方，通过无人机上的双目视觉模块把无人机的周围环境重构为三维模型，并把采集到的图片传到地面服务器设备；

其中，如图1所示，步骤(1)中，采用双目视觉模块重构三维场景的步骤如下：

步骤1.1：通过组成双目的摄像头分别采集左图像和右图像，然后通过预处理子模块进行图像预处理后送入处理器进行进一步处理；

步骤1.2：对进行预处理后的图像数据进行消除畸形及立体矫正处理后，再进行高斯拉普拉斯滤波，通过立体匹配获得视差，然后进行三维坐标重构；

步骤1.3：将三维坐标重构后得到的数据与当前无人机的姿态数据相结合，通过处理器更新存储单元中的全局地图信息，从而得到完整地图信息。

从软件上来说，一般的基于双目立体视觉的三维建模通常使用三维点云、高程图、多层次平面图和全栅格图来表示，但这几种传统的方法鲁棒性差同时消耗的内存空间太大。本次在使用双目立体视觉获取环境的三维点云信息的基础上，生成了灵活性、鲁棒性都比较高的三维占有率栅格地图，该地图可以很便捷的用于微小型无人机的路径规划方面。

(2)服务器对照片进行处理，然后对其三维空间进行建模和路径规划，为无人机提供飞行路径，方便遥控设备及时的对无人机的飞行路线进行调整；

需要特别说明的是，在步骤2)中，本发明采用蚁群算法进行路径规划，无人机在巡线拍摄时需要遍历最佳拍摄点，为了提高巡检效率，需要规划一条最佳拍摄路径，即按照拍摄路径无人机经过每个拍摄点一次且仅一次，而且总的飞行距离最短。按照此思路计算出来的为理论最佳路径，需要根据实际情况进行相应的优化。在确定拍摄点以及最佳路径情况下，将路径信息以及坐标信息转化为相应的坐标信息，通过GPS定位功能，实现无人机的自动巡线功能。无人机自动对输电线路进行巡检，巡检作业前确定巡检目标以及巡检作业角度，规划巡检作业流程并优化巡检路径，将巡检路径按照公式转换成相应的GPS导航数据，巡检路径包括无人机起飞点、巡检目标点、降落点等经纬度坐标信息。目前常用的路径规划方法是统筹各个巡检目标点，然后逐个计算飞行路径，将路径信息转换成导航数据信息，手动输入到无人机导航控制系统，整个工作流程对路径计算和转换精度要求高，耗时长且容易出错，给无人机安全飞行带来很大隐患。无人机地面监控系统随着GPS导航技术的发展在无人机巡检作业中得到广泛应用，将巡检路径规划通过手动计算转移到数字地图上，无人机巡检作业从起飞到降落整个过程可以在数字地图直观显示出来，缩减了巡检作业时间，通过GPS导航数据信息确保无人机飞行位置，判断是否处于安全距离。路径规划的算法是采用的蚁群算法，蚁群算法是由意大利学者M.Dorigo等人于1991年首次提出，其本质是一种群体智能优化算法，蚁群算法具有较强的鲁棒性，与其它算法相比，对初始路径设置要求不高，而且在路径搜索过程中不用进行其他人工的调整，蚁群算法设置的参数简单和参数数目少，所以比较容易与其它智能算法相组合用于优化问题。蚁群算法作为仿生算法已经逐渐成为人工智能领域一个研究热点，在多个应用领域得到应用研究，如二次分配、大模集成电路设计、网络QoS路由等。

蚁群算法的系统模型N阶旅行商问题(TSP)就是给定一组城市和城市之间的距离，求得一条走过每个城市且仅经过一次的最短路径问题。其静态图论可以描述为：用D＝{d_ij}来描述整个问题特征。

模拟实际蚂蚁的行为，定义如下：

d_ij＝{i,j＝1,2...n}，表示城市i到城市j的距离；

m，表示蚂蚁的数量；

n_ij＝1/d，表示边(i,j)的启发因子，也称能见度，可以选为从城市i到城市j的期望程度，距离的确定使得这个量在系统运行中不会发生改变；

τⁱ _j，表示从城市i到城市j路径中的信息素浓度；

ρ，表示信息素衰减系数，为[0,1]区间上的可调参数；

α，表示信息素对蚂蚁运动中选取路径的影响系数；

β，表示期望启发因子对蚂蚁运动中选择路径的影响系数；

表示蚂蚁k运动中由从城市i到城市j的概率；

tabu_k，记录蚂蚁当前经过城市；

allowed_k，表示蚂蚁下一步能选择运动的城市；

allowed_k＝{0,1,2,3,...,m}

初始时刻，每条路径上的信息素是相等的，若τ_ij＝C(C为常数)。蚂蚁k(k＝1,2,3,...,m)在运动中转移方向是根据每条路径上的信息量决定的，蚂蚁系统的转移规则是随机比例规则，转移概率为见公式(2)：

蚂蚁在城市i选择下一个城市节点按照公式(3)；

其中，q为[0,1]区间上的随机变量；q₀为[0,1]区间上的可调参数；随着时间的推移，信息素会慢慢的衰减，ρ表示信息素的持久性，1-ρ表示信息素衰减度。经过n个时刻，蚂蚁完成一次循环，信息素也跟着调整，根据公式(4)、(5)调整：

τ_ij(t＝n)＝ρ·τ_ij(t)+Δτ_ij (4)

其中表示第k只蚂蚁在本次循环中在城市i和j上的信息素，表示本次循环中在城市i和j信息素的增量，L_k表示第k只蚂蚁循环运动一次的路径总长，Q为常数，信息素增加见公式(5)

的表达形式要根据具体问题确定，M.Dorigo曾给出三种模型，分别是Ant-cycle system、Ant-quantity system、Ant-density system。三种模型见公式(7)(8)(9)：

本发明的算法研究选取Ant-cycle system模型。

在确定蚁群算法模型后，求解TSP问题时基本步骤如下：

(1)初始化nc_max、m、α、β、τ0等各个基础参数，将蚂蚁m置于初始点

(2)将每个蚂蚁按照公式(1)转移到下一个城市j，同时将城市j置于当前解集；

(3)计算出每个蚂蚁走完全程的路径总长度，记录最优解；

(4)根据公式(2)、(7)修改轨迹上的信息素；

(5)对于各路径，置Δτ_ij←0，nc←nc+1；

(6)若nc＞nc_max，结束循环；

(7)输出最优解。

本发明采用的蚁群算法的流程如图3所示。

(3)在按照飞行航向运行的过程中，通过集成吊舱上的红外成像模块发现电力设备外部链接点的发热隐患并将电力设备的热图像照片传输到地面的手持设备，另外还通过集成吊舱上的可见光检测模块检测电力设备的外部缺陷和故障并把形成的照片传输到地面的手持设备，由电力运行维护人员对上述图像照片进行故障识别，判断出电力传输系统有无故障以及确定相关的故障类型。

缺陷检测关键技术包括过热故障的红外检测技术和故障的可见光检测技术。电力设备的关键部位温度变化往往是设备出现故障的先兆，所以要及时检测电力设备表面所表现出来的故障信息，进而做出故障类型的判断和确认。要根据红外信息进行故障的分析，就要利用设备的红外特征变化进行故障信息的收集。正常的电气设备的表面温度分布根据各种设备类型的不同而不同，但大多都呈现均勾的热分布，而有故障的设备通常会出现异常的集中升温和热量聚集现象，设备的红外福射也会出现不均勻现象，利用红外成像仪可以把这种福射转化为可见的有矢量像素的热感图像，再通过观察分析这种热图像所描述的设备热特征，就存在了判断设备缺陷类型的可能。

电力设备的红外故障检测故障类型如图4所示，在小型无人机电力设备的红外影像釆集过程中，与航拍飞机、卫星和车载图像采集过程的相对静态图像不同，无人机采集的图像都是在相对运动的状态下获得的，电力设备本身图像与背景图像极易混淆，确定目标的提取就变得非常复杂。检测目标就要首先咬紧目标，首先就是要对设备的状态进行实时调整。动态多幅图像问题可以表述为在多幅红外图像的收集过程中，适当的还原三位图像空间，同时判断目标的存在和状态，并预估与修正轨迹。因此在步骤3)中，采用动态定位检测方案对设备的状态进行实时调整，方案分为分先定位再检测和先检测再定位两类判断方式，先定位后检测判断方式是根据图像的相对位置进行依次进行临时性判断，在其判断后加上加权概率函数，并设定其概率值，然后判断是否其后验概率函数值超过设定的判断值，来决定该图像是否确定为一个目标，从而实现定位；而先定位后检测判断方式是对每一幅图像都做出目标是否存在的判断，然后利用已知图像和目标图像进行关联比较，从而进行判断。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.基于集成吊舱和AI技术的无人机巡检故障诊断系统，其特征在于：所述系统包括无人机、云台、集成吊舱、双目视觉模块、图像与数据传输模块、分析控制主机以及装载于分析控制主机上的故障诊断AI系统；

所述云台和双目视觉模块均设置于无人机的下方，所述集成吊舱与云台相连接，所述集成吊舱上设置有红外检测模块、可见光检测模块、控制模块和图像与数据传输模块，所述双目视觉模块、红外检测模块、可见光检测模块、图像与数据传输模块均与控制模块相联接，所述分析控制主机通过图像与数据接收模块与图像与数据传输模块无线联接，所述故障诊断AI系统对所接收到的图像与数据信息进行分析。

2.根据权利要求1所述的基于集成吊舱和AI技术的无人机巡检故障诊断系统，其特征是：所述故障诊断AI系统为基于caffe深度学习框架的故障诊断后台。

3.根据权利要求1所述的基于集成吊舱和AI技术的无人机巡检故障诊断系统，其特征是：所述系统还包括GPS或北斗定位模块，所述GPS或北斗定位模块与控制模块相联接。

4.根据权利要求1所述的基于可见光红外集成吊舱和AI技术的无人机巡检故障诊断系统，其特征是：所述双目视觉模块为USB摄像头和Beagleboard-xm板构成的嵌入式双目视觉处理模块。

5.基于集成吊舱和AI技术的无人机巡检故障诊断方法，其特征在于：所述方法包括以下步骤：

(1)将无人机送入待监控区域的上方，通过无人机上的双目视觉模块把无人机的周围环境重构为三维模型，并把采集到的图片传到地面服务器设备；

(2)服务器对照片进行处理，然后对其三维空间进行建模和路径规划，为无人机提供飞行路径，方便遥控设备及时的对无人机的飞行路线进行调整；

(3)在按照飞行航向运行的过程中，通过集成吊舱上的红外成像模块发现电力设备外部链接点的发热隐患并将电力设备的热图像照片传输到地面的手持设备，另外还通过集成吊舱上的可见光检测模块检测电力设备的外部缺陷和故障并把形成的照片传输到地面的手持设备，由电力运行维护人员对上述图像照片进行故障识别，判断出电力传输系统有无故障以及确定相关的故障类型。

6.根据权利要求5所述的基于集成吊舱和AI技术的无人机巡检故障诊断方法，其特征在于：所述步骤(1)中，采用双目视觉模块重构三维场景的步骤如下：

步骤1.1：通过组成双目的摄像头分别采集左图像和右图像，然后通过预处理子模块进行图像预处理后送入处理器进行进一步处理；

步骤1.2：对进行预处理后的图像数据进行消除畸形及立体矫正处理后，再进行高斯拉普拉斯滤波，通过立体匹配获得视差，然后进行三维坐标重构；

步骤1.3：将三维坐标重构后得到的数据与当前无人机的姿态数据相结合，通过处理器更新存储单元中的全局地图信息，从而得到完整地图信息。

7.根据权利要求5所述的基于集成吊舱和AI技术的无人机巡检故障诊断方法，其特征在于：所述步骤2)中，采用蚁群算法进行路径规划。

8.根据权利要求5所述的基于集成吊舱和AI技术的无人机巡检故障诊断方法，其特征在于：在步骤3)中，采用动态定位检测方案对设备的状态进行实时调整，该方案分为分先定位再检测和先检测再定位两类判断方式，先定位后检测判断方式是根据图像的相对位置进行依次进行临时性判断，在其判断后加上加权概率函数，并设定其概率值，然后判断是否其后验概率函数值超过设定的判断值，来决定该图像是否确定为一个目标，从而实现定位；

先定位后检测判断方式是对每一幅图像都做出目标是否存在的判断，然后利用已知图像和目标图像进行关联比较，从而进行判断。