CN107943078A - 多旋翼双机系统无人机巡检故障诊断系统及方法 - Google Patents

Abstract

本发明的多旋翼双机系统无人机巡检故障诊断系统，包括无人机、云台、吊舱、分析控制主机以及装载于分析控制主机上的故障诊断系统；该多旋翼双机系统无人机巡检故障诊断系统能够对所巡视的输电线路进行全面的巡检，从而大大减少巡检的周期；然后将采集到的输电线路的图像与数据通过通信模块将实时传到分析控制主机，数据传输受到外界影响的几率就会大大降低，从而保留了数据传输的原始信息；接收到相关信息和数据后，通过故障诊断系统对数据进行分析与诊断，从而生成异常日志，并同时在事故点进行标注，及时提醒工作人员发现异常。

Description

多旋翼双机系统无人机巡检故障诊断系统及方法

技术领域

本发明属于无人机巡检技术领域，具体地说，本发明涉及一种多旋翼双机系统无人机巡检故障诊断系统，同时还涉及一种多旋翼双机系统无人机巡检故障诊断方法。

背景技术

安全可持续稳定的电力设备是现代各行业发展的基础，可以说没有电力可持续发展，就不会有发达的产业发展，也更不会有国民经济的高速发展。输电线路是能源系统的重要组成部分，主要包括输电高压线路和电塔，其主要作用是将发电厂生产的电能按照输送电力的需求送到电力用户使用端。由于行业的特点，这些输电线路全年暴露在人迹罕至的地方，尤其是在一些地区，自然环境非常棘手。暴露在这样的环境中电力电缆将不可避免地从各种因素受到影响，如暴风雨，冰雪和雷电等恶劣天气，鸟兽在电缆停歇筑巢造成短路以及来自周围的人类活动，造成电缆损坏，这是因素都是引起输电设备发生故障的主要因素。为确保电力设施的安全运行，在电力系统运行中，要建立一种安全第一，面向预防的方针。所谓预防，即当通过检查和定期定期维护电力设施的正常运转，及早发现可能导致安全事故和危及线路安全运行，并解决这些问题，积极采取行动预防。

发明内容

有鉴于此，本发明的目的之一是提供一种多旋翼双机系统无人机巡检故障诊断系统，目的在于降低电网巡检维护工作人员的劳动强度，提高电网环境监测的工作效率和工作质量，减少维修保养的费用；实现对电网环境的实时监测和多点监控，消除人们对电网设备运行时工频辐射的顾虑；本发明的目的之二是提供一种多旋翼双机系统无人机巡检故障诊断方法。

本发明的目的之一是通过以下技术方案实现的：

该种多旋翼双机系统无人机巡检故障诊断系统，包括无人机、云台、吊舱、分析控制主机以及装载于分析控制主机上的故障诊断系统；

所述无人机由一台母机和一台子机构成双机系统，所述云台设置于子机的下方，所述吊舱与云台相连接，所述云台上设置有微型信息搜集系统以及子机通讯模块，所述母机上设置有图像与数据传输模块、控制模块以及母机通讯模块，所述图像与数据传输模块、母机通讯模块均与控制模块相联接；所述母机通讯模块与子机通讯模块相联接，所述分析控制主机通过图像与数据接收模块与图像与数据传输模块无线联接，巡检开始后由母机携带子机到目标附近，并由子机对目标进行观测，并将微型信息搜集系统采集到的图像与数据通过子机通讯模块传输至母机，母机通过图像与数据传输模块传输至分析控制主机，分析控制主机利用故障诊断系统对所接收的信息进行分析，能够及时发现事故点，并对事故点进行标注，巡检结束后，子机自动返回母机。

进一步，所述子机通讯模块和母机通讯模块均为XBEE通信模块。

进一步，所述图像与数据传输模块以及图像与数据接收模块均为4G通讯模块。

进一步，所述子机上还设置有陀螺仪、GPS接收口以及独立电源系统。

进一步，所述子机通过GPS加三边定位算法加xbee信号联合定位，并由电磁装置锁紧。

进一步，所述母机的下方还设置有双目视觉模块。

本发明的目的之二是通过以下技术方案实现的：

该种基于多旋翼双机系统无人机巡检故障诊断方法，包括以下步骤：

(1)将无人机送入待监控区域的上方，通过母机上的双目视觉模块把无人机的周围环境重构为三维模型，并把采集到的图片传到地面服务器设备；

(2)服务器对照片进行处理，然后对其三维空间进行建模和路径规划，为子机提供飞行路径，方便遥控设备及时的对子机的飞行路线进行调整；

(3)子机在按照飞行航向运行的过程中，通过集成吊舱上微型信息搜集系统进行图像和视频信息采集，微型信息搜集系统包括红外成像模块和可见光检测模块，红外成像模块用于发现电力设备外部链接点的发热隐患并将电力设备的热图像照片传输到地面的分析控制主机，可见光检测模块检测电力设备的外部缺陷和故障并把形成的照片传输到地面的分析控制主机，通过上述图像照片进行故障识别，能够及时发现事故点，并对事故点进行标注，

进一步，所述步骤(1)中，采用双目视觉模块重构三维场景的步骤如下：

步骤1.1：通过组成双目的摄像头分别采集左图像和右图像，然后通过预处理子模块进行图像预处理后送入处理器进行进一步处理；

步骤1.2：对进行预处理后的图像数据进行消除畸形及立体矫正处理后，再进行高斯拉普拉斯滤波，通过立体匹配获得视差，然后进行三维坐标重构；

步骤1.3：将三维坐标重构后得到的数据与当前无人机的姿态数据相结合，通过处理器更新存储单元中的全局地图信息，从而得到完整地图信息。

进一步，所述步骤2)中，采用蚁群算法进行路径规划。

进一步，在步骤3)中，采用动态定位检测方案对设备的状态进行实时调整，该方案分为分先定位再检测和先检测再定位两类判断方式，先定位后检测判断方式是根据图像的相对位置进行依次进行临时性判断，在其判断后加上加权概率函数，并设定其概率值，然后判断是否其后验概率函数值超过设定的判断值，来决定该图像是否确定为一个目标，从而实现定位；

先定位后检测判断方式是对每一幅图像都做出目标是否存在的判断，然后利用已知图像和目标图像进行关联比较，从而进行判断

本发明的有益效果是：

该多旋翼双机系统无人机巡检故障诊断系统，通过无人机上安装吊舱，并在吊舱上搭建云台，将图像数据采集模块和通信模块安装在云台上，对所巡视的输电线路进行全面的巡检，从而大大减少巡检的周期；然后将采集到的输电线路的图像与数据通过通信模块将实时传到人机交互界面，数据传输受到外界影响的几率就会大大降低，从而保留了数据传输的原始信息；接收到相关信息和数据后，通过故障诊断系统对数据进行分析与诊断，从而生成异常日志，并同时在事故点进行标注，及时提醒工作人员发现异常。

本发明采用改良的算法为数据传输和数据处理提供后台服务，可以使得前端所采集到的数据准确的传输、无误的在后台服务器再现，同时还可以为无人机的电力巡检航线规划提供保障，加快了数据的传输速度，优化了巡检路径，大大提高检测的准确性和效率，用专业的软件为无人机飞行控制、三维建模、路径优化和故障检测搭建数据基础和相应的程序设计，从而保证无人机高效、准确而快速的执行巡检任务。

通过该系统可以缩短巡检人员的工作时间，提高巡检人员工作效率，对于分析实际问题能够提高分析问题准确度和措施落实执行力，同时也可以看到整个线路的构图，有利于相关研究人员后序的实时分析与数据与图像的考察。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明的系统架构结构图；

图2为本发明结构示意图；

图3为本发明采用的蚁群算法流程图；

图4为电力设备的红外故障检测故障类型列表图。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

如图1所示，本发明的系统包括无人机、云台、吊舱、分析控制主机以及装载于分析控制主机上的故障诊断系统；

无人机由一台母机和一台子机构成双机系统，云台设置于子机的下方，吊舱与云台相连接，云台上设置有微型信息搜集系统以及子机通讯模块，母机上设置有图像与数据传输模块、控制模块以及母机通讯模块，图像与数据传输模块、母机通讯模块均与控制模块相联接；母机通讯模块与子机通讯模块相联接，分析控制主机通过图像与数据接收模块与图像与数据传输模块无线联接，巡检开始后由母机携带子机到目标附近，并由子机对目标进行观测，并将微型信息搜集系统采集到的图像与数据通过子机通讯模块传输至母机，母机通过图像与数据传输模块传输至分析控制主机，分析控制主机利用故障诊断系统对所接收的信息进行分析，能够及时发现事故点，并对事故点进行标注，巡检结束后，子机自动返回母机。

本实施例中，子机通讯模块和母机通讯模块均为XBEE通信模块，图像与数据传输模块以及图像与数据接收模块均为4G通讯模块。

子机上还设置有陀螺仪、GPS接收口以及独立电源系统，子机通过GPS加三边定位算法加xbee信号联合定位，并由电磁装置锁紧。

作为进一步的改进，在母机的下方还设置有双目视觉模块。

本实施例中，双目视觉模块为USB摄像头和Beagleboard-xm板构成的嵌入式双目视觉处理模块。该平台具有很好的通用性，可以很方便的移植到室外的无人机平台上。

基于上述系统，本发明的基于集成吊舱和AI技术的无人机巡检故障诊断方法，包括以下步骤：

(1)将无人机送入待监控区域的上方，通过母机上的双目视觉模块把无人机的周围环境重构为三维模型，并把采集到的图片传到地面分析控制主机的服务器；

其中，如图1所示，步骤(1)中，采用双目视觉模块重构三维场景的步骤如下：

步骤1.1：通过组成双目的摄像头分别采集左图像和右图像，然后通过预处理子模块进行图像预处理后送入处理器进行进一步处理；

步骤1.2：对进行预处理后的图像数据进行消除畸形及立体矫正处理后，再进行高斯拉普拉斯滤波，通过立体匹配获得视差，然后进行三维坐标重构；

步骤1.3：将三维坐标重构后得到的数据与当前无人机的姿态数据相结合，通过处理器更新存储单元中的全局地图信息，从而得到完整地图信息。

从软件上来说，一般的基于双目立体视觉的三维建模通常使用三维点云、高程图、多层次平面图和全栅格图来表示，但这几种传统的方法鲁棒性差同时消耗的内存空间太大。本次在使用双目立体视觉获取环境的三维点云信息的基础上，生成了灵活性、鲁棒性都比较高的三维占有率栅格地图，该地图可以很便捷的用于微小型无人机的路径规划方面。

(2)分析控制主机的服务器对照片进行处理，然后对其三维空间进行建模和路径规划，为子机提供飞行路径，方便遥控设备及时的对子机的飞行路线进行调整；

需要特别说明的是，在步骤2)中，本发明采用蚁群算法进行路径规划，无人机在巡线拍摄时需要遍历最佳拍摄点，为了提高巡检效率，需要规划一条最佳拍摄路径，即按照拍摄路径无人机经过每个拍摄点一次且仅一次，而且总的飞行距离最短。按照此思路计算出来的为理论最佳路径，需要根据实际情况进行相应的优化。在确定拍摄点以及最佳路径情况下，将路径信息以及坐标信息转化为相应的坐标信息，通过GPS定位功能，实现无人机的自动巡线功能。无人机自动对输电线路进行巡检，巡检作业前确定巡检目标以及巡检作业角度，规划巡检作业流程并优化巡检路径，将巡检路径按照公式转换成相应的GPS导航数据，巡检路径包括无人机起飞点、巡检目标点、降落点等经纬度坐标信息。目前常用的路径规划方法是统筹各个巡检目标点，然后逐个计算飞行路径，将路径信息转换成导航数据信息，手动输入到无人机导航控制系统，整个工作流程对路径计算和转换精度要求高，耗时长且容易出错，给无人机安全飞行带来很大隐患。无人机地面监控系统随着GPS导航技术的发展在无人机巡检作业中得到广泛应用，将巡检路径规划通过手动计算转移到数字地图上，无人机巡检作业从起飞到降落整个过程可以在数字地图直观显示出来，缩减了巡检作业时间，通过GPS导航数据信息确保无人机飞行位置，判断是否处于安全距离。路径规划的算法是采用的蚁群算法，蚁群算法是由意大利学者M.Dorigo等人于1991年首次提出，其本质是一种群体智能优化算法，蚁群算法具有较强的鲁棒性，与其它算法相比，对初始路径设置要求不高，而且在路径搜索过程中不用进行其他人工的调整，蚁群算法设置的参数简单和参数数目少，所以比较容易与其它智能算法相组合用于优化问题。蚁群算法作为仿生算法已经逐渐成为人工智能领域一个研究热点，在多个应用领域得到应用研究，如二次分配、大模集成电路设计、网络QoS路由等。

蚁群算法的系统模型N阶旅行商问题(TSP)就是给定一组城市和城市之间的距离，求得一条走过每个城市且仅经过一次的最短路径问题。其静态图论可以描述为：用D＝{d_ij}来描述整个问题特征。

模拟实际蚂蚁的行为，定义如下：

d_ij＝{i,j＝1,2...n}，表示城市i到城市j的距离；

m，表示蚂蚁的数量；

n_ij＝1/d，表示边(i,j)的启发因子，也称能见度，可以选为从城市i到城市j的期望程度，距离的确定使得这个量在系统运行中不会发生改变；

τ_ij，表示从城市i到城市j路径中的信息素浓度；

ρ，表示信息素衰减系数，为[0,1]区间上的可调参数；

α，表示信息素对蚂蚁运动中选取路径的影响系数；

β，表示期望启发因子对蚂蚁运动中选择路径的影响系数；

表示蚂蚁k运动中由从城市i到城市j的概率；

tabu_k，记录蚂蚁当前经过城市；

allowed_k，表示蚂蚁下一步能选择运动的城市；

allowed_k＝{0,1,2,3,...,m}

初始时刻，每条路径上的信息素是相等的，若τ_ij＝C(C为常数)。蚂蚁k(k＝1,2,3,...,m)在运动中转移方向是根据每条路径上的信息量决定的，蚂蚁系统的转移规则是随机比例规则，转移概率为见公式(2)：

蚂蚁在城市i选择下一个城市节点按照公式(3)；

其中，q为[0,1]区间上的随机变量；q₀为[0,1]区间上的可调参数；随着时间的推移，信息素会慢慢的衰减，ρ表示信息素的持久性，1-ρ表示信息素衰减度。经过n个时刻，蚂蚁完成一次循环，信息素也跟着调整，根据公式(4)、(5)调整：

τ_ij(t＝n)＝ρ·τ_ij(t)+Δτ_ij (4)

其中表示第k只蚂蚁在本次循环中在城市i和j上的信息素，表示本次循环中在城市i和j信息素的增量，L_k表示第k只蚂蚁循环运动一次的路径总长，Q为常数，信息素增加见公式(5)

Δτ_ij(t)，的表达形式要根据具体问题确定，M.Dorigo曾给出三种模型，分别是Ant-cycle system、Ant-quantity system、Ant-density system。三种模型见公式(7)(8)(9)：

本发明的算法研究选取Ant-cycle system模型。

在确定蚁群算法模型后，求解TSP问题时基本步骤如下：

(1)初始化nc_max、m、α、β、τ0等各个基础参数，将蚂蚁m置于初始点

(2)将每个蚂蚁按照公式(1)转移到下一个城市j，同时将城市j置于当前解集；

(3)计算出每个蚂蚁走完全程的路径总长度，记录最优解；

(4)根据公式(2)、(7)修改轨迹上的信息素；

(5)对于各路径，置Δτ_ij←0，nc←nc+1；

(6)若nc＞nc_max，结束循环；

(7)输出最优解。

本发明采用的蚁群算法的流程如图3所示。

(3)子机在按照飞行航向运行的过程中，通过集成吊舱上微型信息搜集系统进行图像和视频信息采集，微型信息搜集系统包括红外成像模块和可见光检测模块，红外成像模块用于发现电力设备外部链接点的发热隐患并将电力设备的热图像照片传输到地面的分析控制主机，可见光检测模块检测电力设备的外部缺陷和故障并把形成的照片传输到地面的分析控制主机，通过上述图像照片进行故障识别，能够及时发现事故点，并对事故点进行标注，

缺陷检测关键技术包括过热故障的红外检测技术和故障的可见光检测技术。电力设备的关键部位温度变化往往是设备出现故障的先兆，所以要及时检测电力设备表面所表现出来的故障信息，进而做出故障类型的判断和确认。要根据红外信息进行故障的分析，就要利用设备的红外特征变化进行故障信息的收集。正常的电气设备的表面温度分布根据各种设备类型的不同而不同，但大多都呈现均勾的热分布，而有故障的设备通常会出现异常的集中升温和热量聚集现象，设备的红外福射也会出现不均勻现象，利用红外成像仪可以把这种福射转化为可见的有矢量像素的热感图像，再通过观察分析这种热图像所描述的设备热特征，就存在了判断设备缺陷类型的可能。

电力设备的红外故障检测故障类型列表如图4所示，在小型无人机电力设备的红外影像釆集过程中，与航拍飞机、卫星和车载图像采集过程的相对静态图像不同，无人机采集的图像都是在相对运动的状态下获得的，电力设备本身图像与背景图像极易混淆，确定目标的提取就变得非常复杂。检测目标就要首先咬紧目标，首先就是要对设备的状态进行实时调整。动态多幅图像问题可以表述为在多幅红外图像的收集过程中，适当的还原三位图像空间，同时判断目标的存在和状态，并预估与修正轨迹。因此在步骤3)中，采用动态定位检测方案对设备的状态进行实时调整，方案分为分先定位再检测和先检测再定位两类判断方式，先定位后检测判断方式是根据图像的相对位置进行依次进行临时性判断，在其判断后加上加权概率函数，并设定其概率值，然后判断是否其后验概率函数值超过设定的判断值，来决定该图像是否确定为一个目标，从而实现定位；而先定位后检测判断方式是对每一幅图像都做出目标是否存在的判断，然后利用已知图像和目标图像进行关联比较，从而进行判断。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.多旋翼双机系统无人机巡检故障诊断系统，其特征在于：所述系统包括无人机、云台、吊舱、分析控制主机以及装载于分析控制主机上的故障诊断系统；

所述无人机由一台母机和一台子机构成双机系统，所述云台设置于子机的下方，所述吊舱与云台相连接，所述云台上设置有微型信息搜集系统以及子机通讯模块，所述母机上设置有图像与数据传输模块、控制模块以及母机通讯模块，所述图像与数据传输模块、母机通讯模块均与控制模块相联接；所述母机通讯模块与子机通讯模块相联接，所述分析控制主机通过图像与数据接收模块与图像与数据传输模块无线联接，巡检开始后由母机携带子机到目标附近，并由子机对目标进行观测，并将微型信息搜集系统采集到的图像与数据通过子机通讯模块传输至母机，母机通过图像与数据传输模块传输至分析控制主机，分析控制主机利用故障诊断系统对所接收的信息进行分析，能够及时发现事故点，并对事故点进行标注，巡检结束后，子机自动返回母机。

2.根据权利要求1所述的多旋翼双机系统无人机巡检故障诊断系统，其特征是：所述子机通讯模块和母机通讯模块均为XBEE通信模块。

3.根据权利要求1所述的多旋翼双机系统无人机巡检故障诊断系统，其特征是：所述图像与数据传输模块以及图像与数据接收模块均为4G通讯模块。

4.根据权利要求1所述的多旋翼双机系统无人机巡检故障诊断系统，其特征是：所述子机上还设置有陀螺仪、GPS接收口以及独立电源系统。

5.根据权利要求1所述的多旋翼双机系统无人机巡检故障诊断系统，其特征是：所述子机通过GPS加三边定位算法加xbee信号联合定位，并由电磁装置锁紧。

6.根据权利要求1所述的多旋翼双机系统无人机巡检故障诊断系统，其特征是：所述母机的下方还设置有双目视觉模块。

7.基于多旋翼双机系统无人机巡检故障诊断方法，其特征在于：所述方法包括以下步骤：

(1)将无人机送入待监控区域的上方，通过母机上的双目视觉模块把无人机的周围环境重构为三维模型，并把采集到的图片传到地面服务器设备；

(2)服务器对照片进行处理，然后对其三维空间进行建模和路径规划，为子机提供飞行路径，方便遥控设备及时的对子机的飞行路线进行调整；

(3)子机在按照飞行航向运行的过程中，通过集成吊舱上微型信息搜集系统进行图像和视频信息采集，微型信息搜集系统包括红外成像模块和可见光检测模块，红外成像模块用于发现电力设备外部链接点的发热隐患并将电力设备的热图像照片传输到地面的分析控制主机，可见光检测模块检测电力设备的外部缺陷和故障并把形成的照片传输到地面的分析控制主机，通过上述图像照片进行故障识别，能够及时发现事故点，并对事故点进行标注。

8.根据权利要求7所述的基于多旋翼双机系统无人机巡检故障诊断方法，其特征在于：所述步骤(1)中，采用双目视觉模块重构三维场景的步骤如下：

步骤1.1：通过组成双目的摄像头分别采集左图像和右图像，然后通过预处理子模块进行图像预处理后送入处理器进行进一步处理；

步骤1.2：对进行预处理后的图像数据进行消除畸形及立体矫正处理后，再进行高斯拉普拉斯滤波，通过立体匹配获得视差，然后进行三维坐标重构；

步骤1.3：将三维坐标重构后得到的数据与当前无人机的姿态数据相结合，通过处理器更新存储单元中的全局地图信息，从而得到完整地图信息。

9.根据权利要求7所述的基于多旋翼双机系统无人机巡检故障诊断方法，其特征在于：所述步骤2)中，采用蚁群算法进行路径规划。

10.根据权利要求7所述的基于多旋翼双机系统无人机巡检故障诊断方法，其特征在于：在步骤3)中，采用动态定位检测方案对设备的状态进行实时调整，该方案分为分先定位再检测和先检测再定位两类判断方式，先定位后检测判断方式是根据图像的相对位置进行依次进行临时性判断，在其判断后加上加权概率函数，并设定其概率值，然后判断是否其后验概率函数值超过设定的判断值，来决定该图像是否确定为一个目标，从而实现定位；

先定位后检测判断方式是对每一幅图像都做出目标是否存在的判断，然后利用已知图像和目标图像进行关联比较，从而进行判断。