CN108258613A - 智能巡线光电吊舱及实现巡线的方法 - Google Patents

Abstract

本发明涉及一种智能巡线光电吊舱及实现巡线的方法。包括光电吊舱主体、电子箱及显示操作单元；光电吊舱主体包括稳定平台、光学负载及导航位姿测量单元；电子箱内设有伺服控制系统、时序控制单元及信息采集处理单元；光学负载固定于稳定平台上，光学负载包括搜索相机、详察相机、快速反射镜及快速反射镜控制系统；搜索相机用于控制视场范围并识别目标特征区域，将特征区域中心点坐标传递给快速反射镜控制系统；快速反射镜控制系统按照特征区域中心点坐标信息控制快速反射镜按照规划路径做二维快速摆扫运动，将特征区域图像反射至详察相机进行特征区域快速遍历拍照。解决了直升机悬停时间长，巡检效率低，巡检员工作量大，易疲劳、漏检的问题。

Description

智能巡线光电吊舱及实现巡线的方法

技术领域

本发明属于电力线巡检技术领域，涉及一种用于快速获取电力线杆塔特征图像信息的智能巡线光电吊舱。

背景技术

近年中国架空输电线路规模日益扩大，110kV及以上高压线路总里程已达到1.2×106km，并且绝大部分线路偏远，诸多线路跨越大江大河，随着线路走廊深林植被保护加强和气候环境变化加剧，巡线任务越来越繁重，巡线工作环境越来越恶劣，尤其近两年人工成本大幅度增加和工人对工作环境要求的提高，更加重了巡线难题。应用直升机巡检输电线路已经成为电力发展的趋势。

现有直升机对国家电网的巡检模式还处于人工巡检阶段，直升机悬停时间长，靠人工望远镜观测、相机拍照取证的方式，巡检效率低，巡检员工作量大，易疲劳、漏检。而对于机载吊舱系统，市面上绝大多数的巡线吊舱都不具有自主识别、锁定跟拍和智能图像处理的功能，仍然需要人工操作和判别，工作量大。

发明内容

本发明的目的是提供一种具有自主识别、锁定跟拍和智能图像处理功能的智能巡线光电吊舱及实现巡线的方法。

本发明的技术解决方案是提供一种智能巡线光电吊舱，其特殊之处在于：包括光电吊舱主体、电子箱及显示操作单元；上述光电吊舱主体包括稳定平台、光学负载及导航位姿测量单元；上述电子箱内设有伺服控制系统及信息采集处理单元；上述光学负载固定于稳定平台上，上述光学负载包括搜索相机、详察相机、快速反射镜及快速反射镜控制系统；上述搜索相机用于控制视场范围并识别目标特征区域，将特征区域中心点坐标传递给快速反射镜控制系统；上述快速反射镜控制系统按照特征区域中心点坐标信息控制快速反射镜按照规划路径做二维快速摆扫运动，将特征区域图像反射至详察相机进行特征区域快速遍历拍照；上述导航位姿测量单元用于获取吊舱的位姿信息；上述伺服控制系统用于控制吊舱主体稳定平台运动及隔离直升飞机扰动的吊舱主体稳定控制；上述信息采集处理单元用于接收处理导航位姿测量单元发送的数据并处理诊断详察相机拍摄的特征区域图像。

优选地，因可见光摄像机焦距短、视场大，上述搜索相机为可见光摄像机；上述详察相机包括红外成像仪及可见光高清照相机。

优选地，上述光学负载还包括双色分光片，上述双色分光片位于快速反射镜的反射光路中，双色分光片的两束出射光分别进入红外成像仪及可见光高清照相机。

优选地，上述稳定平台包括方位轴、俯仰轴、方位U型架及负载转台；

上述负载转台用于固定光学负载；

上述方位轴与方位U型架固连，能够带动方位U型架绕方位轴转动；

上述俯仰轴的两端固定在方位U型架的两个侧壁上，上述负载转台固定在所述俯仰轴上，俯仰轴转动能够带动负载转台转动；

还包括俯仰电机、方位电机、方位角传感器及俯仰角传感器；

上述俯仰电机及方位电机用于带动俯仰轴及方位轴转动；

上述方位角传感器及俯仰角传感器用于测量俯仰轴及方位轴转动角度。

优选地，上述导航位姿测量单元包括光纤陀螺、加速度计及差分GPS。

优选地，上述信息采集处理单元包括导航解算单元、图像采集存储单元及GPU高速图像处理单元；

上述导航解算单元用于接收导航位姿测量单元的测量数据，并进行组合导航解算；

上述图像采集存储单元用于采集并保存获取的图片及视频；

上述GPU高速图像处理单元用于对获取的图片和视频进行高速处理，对电力线杆塔进行在线故障诊断和检测，并将检测结果输出给显示操作单元显示。

优选地，上述显示操作单元包括视频显示器、操控手柄及GPS北斗定位单元。

本发明还提供一种利用上述的智能巡线光电吊舱实现巡线的方法，包括以下步骤：

步骤一：直升机进入目标附近区域，搜索相机搜索到杆塔图像并锁定杆塔；

步骤二：搜索相机和伺服控制系统配合，在直升机飞行过程中锁定整个杆塔视场范围并识别目标特征区域，搜索相机将特征区域中心点角坐标传递给反射镜控制系统；

步骤三：反射镜控制系统根据接收的特征区域中心点角坐标信息控制快速反射镜按照规划路径做二维快速摆扫运动，将特征区域图像反射至详察相机进行特征区域快速遍历拍照；时序控制单元产生详察相机拍照的时序，同时产生捕捉相机拍照时刻对应稳定平台位姿信息的时序；

步骤四：图像采集存储单元储存步骤一搜索相机获得的视频、步骤三的所拍摄的特征区域的图像及对应的稳定平台位姿信息；

步骤五：GPU高速图像处理单元对步骤四获取的图像和视频进行高速处理，对电力线杆塔进行在线故障诊断和检测，并将检测结果输出给显示操作单元显示。

优选地，上述步骤五具体为：

5.1)、GPU高速图像处理单元识别图像采集存储单元中的图像，从背景图像中分割所需目标图像；

5.2)、进一步处理分割出的目标图像，诊断并标记出故障位置。

优选地，上述步骤5.2)具体为：

5.21)、GPU高速图像处理单元提取目标的众多特征信息，同时获取背景特征信息；

5.22)、比较目标特征信息与背景特征信息，在目标特征信息和背景特征信息差异较大的情况下，选取该特征信息进行杆塔部件的缺陷检测。

缺陷检测部分可利用历史巡检数据进行神经网络训练，然后利用训练好的神经网络来进行异常部件识别。

该吊舱能够实现对杆塔及杆塔关键部位的锁定观测、自动对焦、自动高清抓拍等功能，采用快速反射镜技术实现杆塔特征区域的多角度多次遍历，能够在直升机行进中(速度≥20km/h)获得稳定高清的图片信息。按悬停工作方式每个杆塔大概需要悬停1～2分钟，而行进中巡检无需悬停，能够大大提高巡检效率，节约巡线成本。

研发智能图像处理软件，能够批处理图像，实现杆塔、绝缘子、防振垂、螺钉等关键部件的自动识别、检测和诊断。软件可将正常部件图片和异常部件图片(或者正常部件显著特征和异常部件显著特征)送入神经网络进行训练，用训练好的神经网络对待检测的部件进行检测和分类，统计输出。

本发明的有益效果是：

1、本发明采用快速反射镜解决直升机行进中快速巡线的难题，使得在直升机20km/h～50km/h的飞行速度下，智能吊舱能够多角度多次遍历杆塔关键区域，获得稳定高清的图片信息；

2、图像处理系统能够在线或离线诊断杆塔故障点，较常规直升机悬停人工拍照方式，极大提高了巡线效率和巡线速度，同时减轻了巡线人员负担。

附图说明

图1为直升机杆塔巡线示意图；

图2为直升机有效观测范围俯视图；

图3为本发明智能巡线吊舱组成原理框图；

图4为光电吊舱主体结构示意图；

图5为光学负载整体光路图；

图6为本发明工作原理图；

图7为光学负载搜索详察过程工作原理；

图8为智能吊舱对杆塔有效巡检区域图；

图9为杆塔绝缘子参照物及特征区域示意图；

图10为搜索相机拍摄，神经网络杆塔识别及参数自适应配置；

图11为详察相机获取，多特征融合图像检测架构图；

图中附图标记为：1-俯仰电机，2-光纤陀螺，3-方位角传感器，4-方位电机，5-俯仰角传感器，6-详查相机组件，7-快速反射镜，8-可见光摄像机，9-方位轴，10-俯仰轴，11-方位U型架，12-负载转台，13-双色分光片，14-红外成像仪，15-可见光高清照相机。

具体实施方式

以下结合附图及具体实施例对本发明做进一步的描述。

结合图3可以看出，本发明智能巡线吊舱主要由电源、吊舱主体、位于吊舱主体的光学负载、导航位姿测量单元，电子箱及显示操作单元(视频显示器、操控手柄、GPS北斗定位单元)组成，电子箱内部设有伺服控制系统、图像采集存储单元、时序控制单元、导航解算单元及GPU高速图像处理单元；GPU高速图像处理单元部分可单独作为一个软件，即可以离线处理人工拍照相片，也可以在线处理吊舱输出的图像。

从图4可以看出，吊舱主体包括稳定平台，稳定平台采用两轴两框架结构，包括方位轴9、俯仰轴10、方位U型架11及负载转台12；负载转台12用于固定光学负载；方位轴9与方位U型架11固连，能够带动方位U型架11绕方位轴9转动；俯仰轴10的两端固定在方位U型架11的两个侧壁上，负载转台12固定在所述俯仰轴10上，俯仰轴10转动能够带动负载转台12转动；还包括俯仰电机1、方位电机4、方位角传感器3及俯仰角传感器；俯仰电机1及方位电机4用于带动俯仰轴10及方位轴9转动；方位角传感器3及俯仰角传感器5用于测量俯仰轴10及方位轴9转动角度。方位U型架11主要用于大范围转动和一级粗稳，便于搜索和锁定杆塔目标。

光学负载包括可见光摄像机8、红外成像仪14、可见光高清照相机15、双色分光片13以及快速反射镜系统，双色分光片13位于快速反射镜7的反射光路中，双色分光片13的两束出射光分别进入红外成像仪14及可见光高清照相机15，其中快速反射镜7用于小范围详查和二级精稳，便于对杆塔关键部位进行高清拍照；可见光摄像机8焦距短、视场大，为搜索相机，主要用于定位杆塔和绝缘子等关键部件；可见光高清照相机15焦距300mm～400mm，能够在50m～70m的地方识别螺钉等小目标，结合快速反射镜高带宽、高定位精度的特点，能够在短时间内遍历所有杆塔特征区域。光学负载和电子箱之间通过光电滑环传输电源、图像及数据。

可见光摄像机8控制整个视场范围并识别绝缘子关键区域，可见光摄像机8将特征区域中心点坐标传递给快速反射镜控制系统，快速反射镜控制系统控制快速反射镜7按照规划路径做二维快速摆扫运动，使得详查相机进行特征区域快速遍历拍照。快速反射镜7同时具有二级稳像的作用，能够对稳定平台上的剩余高频振动信号进行隔离，光学系统整体光路图如图5所示。

导航位姿测量单元包括光纤陀螺2、加速度计及差分GPS，光纤陀螺2和加速度传感器作为惯性导航系统传感器，其传感器数据也可以为稳像模块提供参考。惯性导航系统和差分GPS构成组合导航系统，实时获取吊舱的位姿信息。

电子箱中的伺服控制系统用于吊舱主体中负载转台12的运动控制及隔离直升飞机扰动的平台稳定控制；导航解算单元接收导航位姿测量单元的数据并进行组合导航解算；时序控制单元用于完成整个系统的相机、伺服控制单元及导航解算单元之间的时序控制；图像采集存储单元用于保存获取的图像和视频；GPU高速图像处理单元用来对可见光摄像机、红外成像仪、可见光高清照相机获取的图片和视频进行高速处理，对电力线杆塔进行在线故障诊断和检测，并将检测结果输出给视频显示器显示。

视频显示器可进行可见光摄像机、红外成像仪、可见光高清照相机图像三屏同时显示，按键能够输入相应的控制参数，操作杆在手动模式下可由人工干预进行吊舱的人工操作。

系统上电后，巡线员在系统显示界面上从数据库中选取待巡检杆塔型号，并观察视频界面上显示的系统各模块是否工作正常，GPS定位信号是否正常，若正常则直升机可起飞运行到首个待巡检杆塔附近，巡线员用手柄操纵吊舱将其视场指向杆塔，并确认开启自动巡线模式。在自动巡线模式下，吊舱搜索相机(可见光摄像机)会自动锁定杆塔并提取杆塔关键区域信息，快速反射镜快速遍历杆塔所有特征点反射至详察相机中，记录图像及位置坐标，在直升机有效观测距离内进行多角度多次快速遍历，直升机离开有效飞行区域后，吊舱自动调整角度，跟踪输电线，直升机飞行及遍历拍照有效范围如图1、图2所示。

GPU高速图像处理单元在巡线过程中可以在线或者离线处理采集图像，进行杆塔部件异常点判断、标记、分类及统计等处理。巡线员也可以通过手柄人工干预巡线过程。

智能吊舱的整个工作流程包括搜索、杆塔锁定跟踪、高清详察、图像处理等部分。

智能吊舱在杆塔附近详察时的工作原理如图6、图7所示。直升机进入杆塔附近区域，搜索相机搜索到杆塔图像并锁定杆塔，搜索相机控制整个视场范围并识别绝缘子关键区域即特征区域，搜索相机将特征区域中心点角坐标传递给快速反射镜控制系统，快速反射镜按照规划路径做二维快速摆扫运动，将图像反射至详查相机(包括红外热像仪及可见光高清照相机)，详查相机进行特征区域快速遍历拍照。快速反射镜同时具有二级稳像的作用，能够对稳定平台上的剩余高频振动信号进行扰动隔离，其光路如图7所示。

短焦可见光摄像机具有较大视场，伺服控制系统驱动吊舱在直升机飞近杆塔附近时进行杆塔和电力线的搜索及锁定。直升机行进中，可见光摄像机对杆塔进行锁定，并标记出绝缘子等关键识别部位，将关键部位的坐标传递给快速反射镜控制系统。

快速反射镜控制系统控制快速反射镜，使快速反射镜中的视轴按照图6所示的路径逐一对关键部位反射至详查相机进行拍照，获取绝缘子、防振垂、螺钉等小部件具体图像。

如图10所示，搜索相机视场大，可以拍摄杆塔整体图像，图片经过预处理后，送入神经网络进行杆塔类型识别，可获得当前巡线杆塔典型特征信息，周围环境光照情况也可以被识别出来，用于调整详察相机相关参数。此时搜索相机配合伺服回路锁定杆塔，并给出绝缘子在视场中的角位置信息。

详察相机和快速反射镜配合进行关键区域遍历拍照，获取关键区域的细节信息。详察相机中包括高清可见光和红外相机，获取的图片可以提取目标的众多特征信息，如颜色特征、边缘特征、纹理特征、红外特征等，同时获取背景特征，在目标特征和背景特征差异较大的情况下，选取该特征进行杆塔部件的缺陷检测，例如当绝缘子颜色特征区别于背景颜色特征时，可用颜色特征进行缺陷检测。所选取的均是当前情况下的显著特征量。在分割出来的关键部件图像的基础上，采用神经网络进行关键部件的检测和故障类型诊断。将正常部件图片和异常部件图片(或者正常部件显著特征和异常部件显著特征)送入神经网络进行训练，用训练好的神经网络对待检测的部件进行检测和分类。诊断并标记出故障位置。

当前人工巡检情况下，直升机需要悬停在杆塔附近，进行2～3分钟的详细观察和拍照，直升机悬停是影响巡线效率的主要因素。要提高巡线效率，从根本上来说就是要实现直升机行进状态下的观察、识别、拍照，在直升机行进状态下，飞机飞过可观察区域时间短，人工在短时间内不能对所有特征区域快速观测拍照，因此在飞行状态下，只能采用光电吊舱自动拍照的方式获取高清图像。

如图8所示，为了获取清晰有效的螺钉图像，直升机拍摄时相对杆塔的位置不能偏离太远，这里取有效拍摄范围是正对杆塔侧面±15°，即30°角的范围，则在直升机距杆塔50m，飞行速度为20km/h时，直升机有效飞行距离是50×tan(15°)×2＝26.8m，则光电吊舱有4.8s的时间遍历所有特征区域，如果特征部位较多，以图9所示杆塔为例，8个绝缘子，16个特征区域，就对光电吊舱的电控伺服快速响应能力提出了很高的要求，普通光电吊舱的电控伺服系统一般采用力矩电机，带宽较低，不能满足该应用。本方案中采用快速反射镜做快速遍历摆扫运动，转动惯量低、带宽高(100Hz以上)，可在1秒内遍历所有16个以上特征区域，可满足该应用要求。

根据以上分析可知，影响智能巡线的关键因素有：焦距、相机分辨率、伺服电控快速响应时间，其中，焦距和相机分辨率决定吊舱在距杆塔50m的距离上能否获得清晰的螺钉图像，而电控快速响应时间则决定光电吊舱遍历所有特征区域所需要的总时间，根据这个时间又限制了直升机的飞行速度，从而影响巡线效率的提升。

焦距和相机分辨率可以通过参数计算及选型满足应用要求，下面对使用快速反射镜产生的有益效果详细阐述。

以某型快速反射镜为例说明，该款快速反射镜参数如下：

镜子偏转角：±5°；

角度分辨率：<2urad；

3dB带宽(1％量程)：>120Hz；

阶跃响应(0～1°)：<10ms；

指向精度：<5urad；

从快速反射镜1°阶跃响应<10ms的指标分析，搜索相机视场如果为12^°×12^°，则图9中16个特征区域按照最优路径进行快速遍历的估计时间为480ms，再加上特征区域附近的相机曝光时间，则快速反射镜在直升机行进条件下1s内能遍历并拍照完所有特征区域，则在4.8s的遍历时间内可完成对杆塔不同角度下的四次遍历，若直升机速度提升，则有效遍历时间缩短，遍历次数会相应减少。

从快速反射镜120Hz以上带宽这一指标分析，使得快速反射镜同时具有二级稳像的功能，可以隔离直升机传递过来的高频振动(低频振动被一级稳像隔离)，所以，快反镜的性能对巡线效率和隔振效果会产生较大影响。

Claims (10)

1.一种智能巡线光电吊舱，其特征在于：

包括光电吊舱主体、电子箱及显示操作单元；

所述光电吊舱主体包括稳定平台、光学负载及导航位姿测量单元；

所述电子箱内设有伺服控制系统、时序控制单元及信息采集处理单元；

所述光学负载固定于稳定平台上，所述光学负载包括搜索相机、详察相机、快速反射镜及快速反射镜控制系统；

所述搜索相机用于控制视场范围并识别目标特征区域，将特征区域中心点坐标传递给快速反射镜控制系统；

所述快速反射镜控制系统按照特征区域中心点坐标信息控制快速反射镜按照规划路径做二维快速摆扫运动，将特征区域图像反射至详察相机进行特征区域快速遍历拍照；

所述导航位姿测量单元用于获取吊舱的位姿信息；所述伺服控制系统用于控制吊舱主体稳定平台运动及隔离直升飞机扰动的吊舱主体稳定控制；所述时序控制单元用于完成整个系统的相机、伺服控制单元及导航解算单元之间的时序控制；

所述信息采集处理单元用于接收处理导航位姿测量单元发送的数据并处理诊断详察相机拍摄的特征区域图像。

2.根据权利要求1所述的智能巡线光电吊舱，其特征在于：所述搜索相机为可见光摄像机；所述详察相机包括红外成像仪及可见光高清照相机。

3.根据权利要求2所述的智能巡线光电吊舱，其特征在于：所述光学负载还包括双色分光片，所述双色分光片位于快速反射镜的反射光路中，双色分光片的两束出射光分别进入红外成像仪及可见光高清照相机。

4.根据权利要求3所述的智能巡线光电吊舱，其特征在于：所述稳定平台包括方位轴、俯仰轴、方位U型架及负载转台；

所述负载转台用于固定光学负载；

所述方位轴与方位U型架固连，能够带动方位U型架绕方位轴转动；

所述俯仰轴的两端固定在方位U型架的两个侧壁上，所述负载转台固定在所述俯仰轴上，俯仰轴转动能够带动负载转台转动；

还包括俯仰电机、方位电机、方位角传感器及俯仰角传感器；

所述俯仰电机及方位电机用于带动俯仰轴及方位轴转动；

所述方位角传感器及俯仰角传感器用于测量俯仰轴及方位轴转动角度。

5.根据权利要求4所述的智能巡线光电吊舱，其特征在于：所述导航位姿测量单元包括光纤陀螺、加速度计及差分GPS。

6.根据权利要求5所述的智能巡线光电吊舱，其特征在于：所述信息采集处理单元包括导航解算单元、图像采集存储单元及GPU高速图像处理单元；

所述导航解算单元用于接收导航位姿测量单元的测量数据，并进行组合导航解算；

所述图像采集存储单元用于采集并保存获取的图片及视频；

所述GPU高速图像处理单元用于对获取的图片和视频进行高速处理，对电力线杆塔进行在线故障诊断和检测，并将检测结果输出给显示操作单元显示。

7.根据权利要求1-6任一所述的智能巡线光电吊舱，其特征在于：所述显示操作单元包括视频显示器、操控手柄及GPS北斗定位单元。

8.一种利用权利要求1-7任一所述的智能巡线光电吊舱实现巡线的方法，其特征在于，包括以下步骤：

步骤一：直升机进入目标附近区域，搜索相机搜索到杆塔图像并锁定杆塔；

步骤二：搜索相机和伺服控制系统配合，在直升机飞行过程中锁定整个杆塔视场范围并识别目标特征区域，搜索相机将特征区域中心点角坐标传递给反射镜控制系统；

步骤三：反射镜控制系统根据接收的特征区域中心点角坐标信息控制快速反射镜按照规划路径做二维快速摆扫运动，将特征区域图像反射至详察相机进行特征区域快速遍历拍照；时序控制单元产生详察相机拍照的时序，同时产生捕捉相机拍照时刻对应稳定平台位姿信息的时序；

步骤四：图像采集存储单元储存步骤一搜索相机获得的视频、步骤三的所拍摄的特征区域的图像及对应的稳定平台位姿信息；

步骤五：GPU高速图像处理单元对步骤四获取的图像和视频进行高速处理，对电力线杆塔进行在线故障诊断和检测，并将检测结果输出给显示操作单元显示。

9.根据权利要求8所述的利用权利要求1-7任一所述的智能巡线光电吊舱实现巡线的方法，其特征在于，所述步骤五具体为：

5.1)、GPU高速图像处理单元识别图像采集存储单元中的图像，从背景图像中分割所需目标图像；

5.2)、进一步处理分割出的目标图像，诊断并标记出故障位置。

10.根据权利要求9所述的利用权利要求1-7任一所述的智能巡线光电吊舱实现巡线的方法，其特征在于，所述步骤5.2)具体为：

5.21)、GPU高速图像处理单元提取目标的众多特征信息，同时获取背景特征信息；

5.22)、比较目标特征信息与背景特征信息，在目标特征信息和背景特征信息差异较大的情况下，选取该特征信息进行杆塔部件的缺陷检测。