CN104601956A - 基于固定翼无人机的输电线路在线监测系统及监测方法 - Google Patents

Abstract

本发明公开了一种基于固定翼无人机的输电线路在线监测系统，包括固定翼无人机，固定翼无人机上设置有机载摄像机，机载摄像机与塔上CMD无线连接，塔上CMD与CMA、CAG、监控中心依次连接，监控中心还分别与固定翼无人机、机载摄像机无线连接。本发明还公开了上述在线监测系统的监测方法，监控中心控制固定翼无人机及机载摄像机对输电线路视频图像的实时采集工作，并与塔上CMD装置实时通信将数据传回地面监控中心，实现了对输电线路的实时在线监测。本发明基于固定翼无人机的输电线路在线监测系统及监测方法不需要建立数学模型，只需通过图像处理，便可直观、有效的对输电线路现场进行监测。

Description

基于固定翼无人机的输电线路在线监测系统及监测方法

技术领域

本发明属于输电线路在线监测设备技术领域，具体涉及一种基于固定翼无人机的输电线路在线监测系统，本发明还涉及基于固定翼无人机的输电线路在线监测系统的监测方法。

背景技术

输电线路担负着电力传输的重要职责，对输电线路的定期巡检是有效保证输电线路及其设备安全运行的一项基础性工作。由于我国地形结构复杂，对于丘陵、山区地带，以及大跨越地区，进行输电线路人工巡检是非常困难，尤其是春季期间持续降雨造成输电线路经行地区出现山体塌陷、滑坡现象，道路泥泞不堪甚至中断，巡检人员、车辆无法及时抵达现场，人工巡线更是困难。为了安全、可靠的供电，巡线维护自动化和现代化已日益显示出其迫切性。

目前，使用安装在塔上的摄像机进行监测，由于摄像机是固定安装在塔上的，其可监测范围只能是摄像机可监控到的范围，也就是说会有很多没有摄像机的地方是监测不到的，这样即使有线路出现故障或者有异物时还是监测不到，仍然需要人工进行排查。

近几年，输电线路在线监测技术得到了一定的发展，随着计算机、红外检测和图像处理等技术的快速发展，直升机智能巡检系统成为了线路巡检中的一个研究热点。固定翼无人机的飞行速度比较快，达到100～200km/h，并且续航时间长，适合进行大面积、大范围、长距离巡检，用来巡检电力线路的总体状况。巡线的时候间隔拍照，反应快速，而且机动性强。一般置于线路的正上方，以俯视的角度巡线拍摄。也可根据实际需要降低巡线速度和高度，沿线路做低空慢速巡检。另外，固定翼无人机载重量大，能够搭载更多的巡检设备，这是其相对于其他类型巡线无人机的优势。

发明内容

本发明的目的是提供一种基于固定翼无人机的输电线路在线监测系统，解决了现有技术中可监测范围小的问题。

本发明的另一目的在于提供基于固定翼无人机的输电线路在线监测系统的监测方法。

本发明所采用的第一种技术方案是，基于固定翼无人机的输电线路在线监测系统，包括固定翼无人机，固定翼无人机上设置有机载摄像机，机载摄像机与塔上CMD无线连接，塔上CMD与CMA、CAG、监控中心依次连接，监控中心还分别与固定翼无人机、机载摄像机无线连接。

本发明第一种技术方案的特点还在于：

机载摄像机包括视频图像采集控制模块，视频图像采集控制模块分别与蓄电池、3G无线通信模块连接。

本发明所采用的第二种技术方案是，基于固定翼无人机的输电线路在线监测系统的监测方法，具体按照以下步骤实施：

步骤1、固定翼无人机按照监控中心设置的线路对输电线路进行巡线，机载摄像机通过3G无线通信模块接收监控中心发出的拍照命令，然后视频图像采集控制模块按照监控中心设置的图像采集速率、拍照角度、镜头焦距完成输电线路现场的视频和图像的采集；

步骤2、将步骤1中采集到的视频信息通过3G无线通信模块发送至监控中心；将步骤1中采集到的图像信息通过3G无线通信模块发送到塔上CMD，塔上CMD收到的图像信息发送到CMA，通过CMA将图像信息发送到CAG，最后由CAG统一发送到监控中心；监控中心对收到的信息进行实时图像处理分析，确定有没有异物；

步骤3、经过步骤2图像处理分析的结果，当检测无异物时，继续从步骤1执行，当检测到异物时，监控中心将控制固定翼无人机靠近监测对象，然后监测中心再对机载摄像机发出近距离拍照命令；

步骤4、将步骤3近距离拍照得到的图像及视频作进一步图像处理分析，得到准确的分析结果；

步骤5、经过步骤4进一步分析的结果，当检测无异物时，继续从步骤1执行，当检测到异物时，报警。

本发明第二种技术方案的特点还在于：

步骤2及步骤4中图像处理分析按照以下步骤实施：a.图像预处理；b.图像分割；c.边缘检测。

步骤a图像预处理具体按照以下步骤实施：彩色图像灰度化、图像平滑处理、图像边缘增强处理。

彩色图像灰度化，具体实施为：

RGB图像到灰度图像的转换，将RGB图像中三个分量亮度乘以不同的权值再相加得：

Y＝0.299R+0.587G+0.114B    (1)

其中，式中R、G、B分别表示红色分量值、绿色分量值、蓝色分量值。

图像平滑处理采用中值滤波法，具体实施为：

g(x,y)＝Media[k₁,k₂,…,k_n]    (2)

其中k₁,k₂,…,k_n为点(x，y)及其邻域的灰度值，g(x,y)表示经过中值滤波之后点(x，y)处的灰度值。

图像边缘增强处理采用拉普拉斯算子，具体实施为：

Laplacian算子是各向同性的二阶导数，一个连续的二元函数f(x,y)，它在点(x，y)处的拉普拉斯运算定义为：

${\▿}^{2}f(x,y)=\frac{{\∂}^{2}f}{\∂x}+\frac{{\∂}^{2}f}{\∂y}---\left(3\right)$

其中，称为拉普拉斯算子，

对数字图像f(i,j)，其一阶偏导为：

$\begin{array}{cc}\frac{\∂f(i,j)}{\∂x}={\mathrm{\Δ}}_{x}f(i,j)& \frac{\∂f(i,j)}{\∂y}={\mathrm{\Δ}}_{y}f(i,j)\end{array}---\left(4\right)$

二阶偏导为：

$\frac{{\∂}^{2}f(i,j)}{{\∂x}^2}={\mathrm{\Δ}}_{x}f(i+1,j)-{\mathrm{\Δ}}_{x}f(i,j)----\left(5\right)$

$\frac{{\∂}^{2}f(i,j)}{{\∂y}^2}={\mathrm{\Δ}}_{y}f(i+1,j)-{\mathrm{\Δ}}_{y}f(i,j)----\left(6\right)$

将数字图像f(i,j)的二阶偏导代入拉普拉斯运算定义式中整理得：

$\begin{array}{c}g(i,j)={\▿}^{2}f(i,j)=\frac{{\∂}^{2}f(i,j)}{{\∂x}^2}+\frac{{\∂}^{2}f(i,j)}{{\∂y}^2}\\ =f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)-4f(i,j)\end{array}---\left(7\right)$

将上式变换，改为如下形式：

${\▿}^{2}f(i,j)=-5\{f(i,j)-\frac{1}{5}[f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)+f(i,j)\left]\right\}---\left(8\right)$

得：数字图像f(i,j)在(i，j)点处的拉普拉斯算子为点(i，j)的灰度值减去其邻域均值。

步骤b图像分割采用最大类间方差法，具体实施为：

设一幅M×N图像共有k个灰度级，f(m,n)为点(m，n)处的灰度值，则其灰度范围为[0，k-1]，图像灰度值为i的频率p(i)如下：

$p\left(i\right)=\frac{1}{\mathrm{Mn}}\underset{f(m,n)=i}{\mathrm{\Σ}}1---\left(9\right)$

当选定的阈值为灰度值t时，当f(m,n)>t时为背景，当f(m,n)<t时为目标物体；

在图像中目标物体与背景所占的比例分别为：

$w_0\left(t\right)=\underset{0\&le;i\&le;t}{\mathrm{\&Sigma;}}p\left(i\right)---\left(10\right)$

$w_1\left(t\right)=\underset{i>t}{\mathrm{\&Sigma;}}p\left(i\right)---\left(11\right)$

均值分别为：

$u_0\left(t\right)=\underset{0\&le;i\&le;t}{\mathrm{\&Sigma;}}\mathrm{ip}\left(i\right){/w}_0\left(t\right)---\left(12\right)$

$u_1\left(t\right)=\underset{i>t}{\mathrm{\&Sigma;}}\mathrm{ip}\left(i\right)/w_1\left(t\right)---\left(13\right)$

图像中目标物体与背景总的均值为：

u＝w₀(t)u₀(t)+w₁(t)u₁(t)    (14)

则类间方差为：

E＝w₀(t)(u₀(t)-u)²+w₁(t)(u₁(t)-u)²    (15)

当类间方差E取得最大值时的灰度值t就是要选择的最优阈值，对增强后的输电线路图像采用最大类间方差法进行对增强处理后的输电线路图像进行阈值分割，提取出杆塔和导线部分。

边缘检测采用Canny算子，采用二维高斯函数的任一方向上的一阶方向导数为噪声滤波器，通过与图像f(x,y)卷积进行滤波；然后对滤波后的图像寻找图像梯度的局部极大值，以此来确定图像的边缘，具体实施为：

取二维高斯函数：

$G(x,y)=\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}\exp \left[\frac{-(x^2+y^2)}{{2\mathrm{\&sigma;}}^2}\right]---\left(16\right)$

高斯函数G(x,y)在某一方向n上的一阶方向导数为：

$G_n=\frac{\&PartialD;G(x,y)}{\&PartialD;n}=n\&CenterDot;\&dtri;G(x,y)---\left(17\right)$

其中，方向矢量n为：

$n=\left[\begin{array}{c}\cos \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}\end{array}\right]---\left(18\right)$

梯度矢量为：

$\&dtri;G(x,y)=\left[\begin{array}{c}\frac{\&PartialD;G}{\&PartialD;x}\\ \frac{\&PartialD;G}{\&PartialD;y}\end{array}\right]---\left(19\right)$

Canny算子是建立在二维卷积基础上，边缘强度由和方向 $n=\frac{\&dtri;G(x,y)*f(x,y)}{|\&dtri;G(x,y)*f(x,y)|}$ 来决定，将的二维卷积模板分解为两个一维滤波器模板，分别为：

$\frac{\&PartialD;G(x,y)}{\&PartialD;x}=\mathrm{kx}\&CenterDot;\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right]\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]=h_1\left(x\right)h_2\left(y\right)---\left(20\right)$

$\frac{\&PartialD;G(x,y)}{\&PartialD;y}=\mathrm{ky}\&CenterDot;\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]=h_1\left(y\right)h_2\left(x\right)---\left(21\right)$

其中，k为常数，

$\begin{array}{cc}{h}_1\left(x\right)=\sqrt{k}x\&CenterDot;\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right]& h_2\left(y\right)=\sqrt{k}\&CenterDot;\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]---\left(22\right)\end{array}$

$\begin{array}{cc}{h}_1\left(y\right)=\sqrt{k}y\&CenterDot;\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]& h_2\left(x\right)=\sqrt{k}\&CenterDot;\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right]---\left(23\right)\end{array}$

可见：

h₁(x)＝xh₂(x)  h₁(y)＝yh₂(y)    (24)

然后将两个一维滤波器模板分别与图像f(x,y)进行卷积，得到：

$\begin{array}{cc}{E}_x=\frac{\&PartialD;G(x,y)}{\&PartialD;x}*f(x,y)& E_y=\frac{\&PartialD;G(x,y)}{\&PartialD;y}*f(x,y)\end{array}---\left(25\right)$

令

$\begin{array}{cc}A(i,j)=\sqrt{{E_x}^2(i,j)+{E_y}^2(i,j)}& \&PartialD;(i,j)=\arctan \end{array},\frac{E_y(i,j)}{E_x(i,j)}---\left(26\right)$

式中，A(i,j)反映了图像上(i，j)点处的边缘强度；为垂直边缘的方向；

Canny边缘检测方法根据边缘强度选择高阈值H_th和低阈值L_th，根据高阈值H_th得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于高阈值H_th较高，产生的图像边缘如果不闭合，在高阈值H_th图像中把边缘链接成轮廓，当到达轮廓的断点时，Canny边缘检测方法会在断点的8邻域点中寻找满足低阈值L_th的点，再根据此点的垂直边缘的方向收集新的边缘，直到整个图像边缘闭合。

本发明的有益效果是：本发明基于固定翼无人机的输电线路在线监测系统通过固定翼无人机上的机载摄像机按照监控中心的指令实时采集输电线路现场视频和图像信息，并与塔上CMD装置实时通信将数据传回地面监控中心，不需要建立数学模型，只需通过图像处理，便可以直观、有效的对输电线路现场情况进行监测。

附图说明

图1是本发明在线监测系统的结构示意图；

图2是本发明在线监测系统的监测方法的流程图；

图3是本发明在线监测系统中机载摄像机拍摄的输电线路现场视频中截取的一帧原始图像；

图4是本发明中对拍摄的原始图像进行灰度处理的结果图；

图5是本发明中对灰度化后的图进行图片平滑处理的结果图；

图6是本发明中对平滑处理后的图进行图像边缘增强处理的结果图；

图7是本发明中对图像边缘增强处理后的图进行图像分割的结果图；

图8是本发明中对图像分割后的图进行边缘检测的结果图；

图9是本发明中监控中心的组成框图。

图中，1.固定翼无人机，2.机载摄像机，3.塔上CMD，4.3G无线通信模块，5.监控中心，6.视频图像采集控制模块，7.蓄电池，8.CMA，9.CAG。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于固定翼无人机的输电线路在线监测系统，如图1所示，包括固定翼无人机1，固定翼无人机1上设置有机载摄像机2，机载摄像机2与塔上CMD3(Condition Monitoring Device状态监测装置)无线连接，塔上CMD3与CMA8(Condition Monitoring Agent状态监测代理装置)、CAG9(Condition information Acquisition Gateway状态信息接入网关机)、监控中心5依次连接，监控中心5还分别与固定翼无人机1、机载摄像机2无线连接。机载摄像机2包括视频图像采集控制模块6，视频图像采集控制模块6分别与蓄电池7、3G无线通信模块4连接。

本发明基于固定翼无人机的输电线路在线监测系统的监测方法，具体按照以下步骤实施，流程图如图2所示：

步骤1、固定翼无人机1按照监控中心5设置的线路对输电线路进行巡线，机载摄像机2通过3G无线通信模块4接收监控中心5发出的拍照命令，然后视频图像采集控制模块6按照监控中心5设置的图像采集速率、拍照角度、镜头焦距完成输电线路现场的视频和图像的采集；

步骤2、将步骤1中采集到的视频信息通过3G无线通信模块4发送至监控中心5；将步骤1中采集到的图像信息通过3G无线通信模块4发送到塔上CMD3，塔上CMD3收到的图像信息发送到CMA8，通过CMA8将图像信息发送到CAG9，最后由CAG9统一发送到监控中心5；监控中心5对收到的信息进行实时图像处理分析，确定有没有异物；

步骤3、经过步骤2图像处理分析的结果，当检测无异物时，继续从步骤1执行，当检测到异物时，监控中心5将控制固定翼无人机1靠近监测对象，然后监测中心5再对机载摄像机2发出近距离拍照命令；

步骤4、将步骤3近距离拍照得到的图像及视频作进一步图像处理分析，得到准确的分析结果；

步骤5、经过步骤4进一步分析的结果，当检测无异物时，继续从步骤1执行，当检测到异物时，报警。

步骤2及步骤4中图像处理分析按照以下步骤实施：a.图像预处理；b.图像分割；c.边缘检测。

步骤a图像预处理具体按照以下步骤实施：彩色图像灰度化、图像平滑处理、图像边缘增强处理：

1)彩色图像灰度化(去除原始图像的彩色信息)

图3是机载摄像机2中拍摄的输电线路现场视频中截取的一帧原始图像。输电线路现场采集的图像都是RGB彩色图像，直接处理彩色图像不仅增加硬件设备的投入成本，同时会增加图像处理的复杂度并降低图像处理的速度，因此，首先需要对采集的RGB彩色图像进行灰度化。彩色图像中亮度信息和彩色信息并存。灰度图像只有亮度信息而没有彩色信息，每个像素都是介于黑色和白色之间的共256(0～255)种灰度中的一种，0表示全黑，255表示全白。RGB图像到灰度图像的转换有很多方法，本发明采用加权平均法进行彩色图像灰度化处理：给RGB图中三个分量亮度乘以不同的权值再相加，各自的权值根据三分量重要性而定：

Y＝0.299R+0.587G+0.114B    (1)

式中R、G、B分别表示红色分量值、绿色分量值、蓝色分量值。

对原始图像进行灰度化操作，去除原始图像中的彩色信息，得到的灰度结果图如图4所示。

2)图像平滑处理

由于输电线路地处野外，采集的图像会引入很多噪声，造成输电杆塔和导线的边缘信息模糊或丢失，并且在输电导线现场，通过机载摄像机2和光电转换设备以及图像采集卡采集到计算机中的图像，由于硬件设备本身的缺陷以及无人机飞行过程中的抖动等外界环境因素的干扰，图像中也会包含一些随机噪声和畸变，而且高压输电线的高电压环境对视频监测装置的运行也产生了一定的干扰，降低了图像质量，这对人的视觉和计算机的识别分析带来严重影响。本发明采用中值滤波法对灰度化处理之后的图像进行去噪即对图像平滑处理。中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，在输电导线的图像处理中，常用来保护边缘信息，是经典的平滑噪声的方法。它在一定条件下，可以克服线性滤波器如最小均方滤波，平均值滤波等所带来的图像细节模糊，而且中值滤波对滤除脉冲干扰及图像扫描噪声最有效，在实际运算工程中并不需要图像的统计特性，这也带来不少方便。

中值滤波是用邻域点的中值代替该点的数值，即：

g(x,y)＝Media[k₁,k₂,…,k_n]    (2)

其中k₁,k₂,…,k_n为点(x，y)及其邻域的灰度值，g(x,y)表示经过中值滤波之后点(x，y)处的灰度值。

采用中值滤波法对输电线路灰度图进行平滑处理后的结果图如图5所示。

3)图像边缘增强处理

本发明的图像边缘增强方法采用的是Laplacian算子，拉普拉斯算子是一种十分常用的图像边缘增强处理算子。拉普拉斯算子是线性二次微分算子，具有各向同性和位移不变性，从而满足不同走向的图像边缘的增强要求。

Laplacian算子是各向同性的二阶导数，一个连续的二元函数f(x,y)，它在点(x，y)处的拉普拉斯运算定义为：

${\&dtri;}^{2}f(x,y)=\frac{{\&PartialD;}^{2}f}{\&PartialD;x}+\frac{{\&PartialD;}^{2}f}{\&PartialD;y}---\left(3\right)$

式中：称为拉普拉斯算子。对数字图像f(i,j)，其一阶偏导为：

$\begin{array}{cc}\frac{\&PartialD;f(i,j)}{\&PartialD;x}={\mathrm{\&Delta;}}_{x}f(i,j)& \frac{\&PartialD;f(i,j)}{\&PartialD;y}={\mathrm{\&Delta;}}_{y}f(i,j)\end{array}---\left(4\right)$

二阶偏导为：

$\frac{{\&PartialD;}^{2}f(i,j)}{{\&PartialD;x}^2}={\mathrm{\&Delta;}}_{x}f(i+1,j)-{\mathrm{\&Delta;}}_{x}f(i,j)----\left(5\right)$

$\frac{{\&PartialD;}^{2}f(i,j)}{{\&PartialD;y}^2}={\mathrm{\&Delta;}}_{y}f(i+1,j)-{\mathrm{\&Delta;}}_{y}f(i,j)----\left(6\right)$

将(5)、(6)式代入到式(3)中整理可得：

$\begin{array}{c}g(i,j)={\&dtri;}^{2}f(i,j)=\frac{{\&PartialD;}^{2}f(i,j)}{{\&PartialD;x}^2}+\frac{{\&PartialD;}^{2}f(i,j)}{{\&PartialD;y}^2}\\ =f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)-4f(i,j)\end{array}---\left(7\right)$

将式(7)加以变换，改写为如下形式：

${\&dtri;}^{2}f(i,j)=-5\{f(i,j)-\frac{1}{5}[f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)+f(i,j)\left]\right\}---\left(8\right)$

从式(8)可以看出，本发明中数字图像在(i，j)点处的拉普拉斯算子，可以由点(i，j)的灰度值减去其邻域均值来求得。

采用Laplacian算子对平滑处理后的图像进行图像边缘增强处理后的结果图如图6所示。

步骤b图像分割采用最大类间方差法，具体实施为：

经过图像预处理即：彩色图像灰度化、图像平滑处理、图像边缘增强处理后，对图像进行分割，图像分割采用最大类间方差法(OTSU法)。

OTSU算法是一种自动非参数阈值的选择方法，它能自适应的计算二值化图像的阈值，是一种自适应性强、而且使用最广泛的选取阈值的方法，设一幅M×N图像共有k个灰度级，f(m,n)为点(m，n)处的灰度值，则其灰度范围为[0，k-1]。那么，图像灰度值为i的频率p(i)如下：

$p\left(i\right)=\frac{1}{\mathrm{Mn}}\underset{f(m,n)=i}{\mathrm{\&Sigma;}}1---\left(9\right)$

当选定的阈值为灰度值t时，通过比较f(m,n)与阈值t的大小来分割目标物体和背景，当f(m,n)>t时为背景，当f(m,n)<t时为目标物体。在图像中目标物体与背景所占的比例分别为：

$w_0\left(t\right)=\underset{0\&le;i\&le;t}{\mathrm{\&Sigma;}}p\left(i\right)---\left(10\right)$

$w_1\left(t\right)=\underset{i>t}{\mathrm{\&Sigma;}}p\left(i\right)---\left(11\right)$

均值分别为：

$u_0\left(t\right)=\underset{0\&le;i\&le;t}{\mathrm{\&Sigma;}}\mathrm{ip}\left(i\right){/w}_0\left(t\right)---\left(12\right)$

$u_1\left(t\right)=\underset{i>t}{\mathrm{\&Sigma;}}\mathrm{ip}\left(i\right)/w_1\left(t\right)---\left(13\right)$

目标物体和背景总的均值为：

u＝w₀(t)u₀(t)+w₁(t)u₁(t)    (14)

则类间方差为：

E＝w₀(t)(u₀(t)-u)²+w₁(t)(u₁(t)-u)²    (15)

当类间方差E取得最大值时的灰度值t就是要选择的最优阈值。对增强后的输电线路图像采用最大类间方差法进行对增强处理后的输电线路图像进行阈值分割，提取出杆塔和导线部分。

对经过图像预处理后进行图像分割处理的结果图如图7所示。

步骤c边缘检测

将输电线路杆塔和导线分割出来后，要对其进行边缘检测，本发明采用Canny边缘检测算子采用二维高斯函数的任一方向上的一阶方向导数为噪声滤波器，通过与图像f(x,y)卷积进行滤波；然后对滤波后的图像寻找图像梯度的局部极大值，以此来确定图像的边缘。首先取二维高斯函数：

$G(x,y)=\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}\exp \left[\frac{-(x^2+y^2)}{{2\mathrm{\&sigma;}}^2}\right]---\left(16\right)$

然后，求高斯函数G(x,y)在某一方向n上的一阶方向导数为：

$G_n=\frac{\&PartialD;G(x,y)}{\&PartialD;n}=n\&CenterDot;\&dtri;G(x,y)---\left(17\right)$

其中，方向矢量n为：

$n=\left[\begin{array}{c}\cos \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}\end{array}\right]---\left(18\right)$

梯度矢量为：

$\&dtri;G(x,y)=\left[\begin{array}{c}\frac{\&PartialD;G}{\&PartialD;x}\\ \frac{\&PartialD;G}{\&PartialD;y}\end{array}\right]---\left(19\right)$

Canny算子是建立在二维卷积)基础上，边缘强度由和方向 $n=\frac{\&dtri;G(x,y)*f(x,y)}{|\&dtri;G(x,y)*f(x,y)|}$ 来决定。为了提高Canny算子的运算速度，将的二维卷积模板分解为两个一维滤波器，得：

$\frac{\&PartialD;G(x,y)}{\&PartialD;x}=\mathrm{kx}\&CenterDot;\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right]\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]=h_1\left(x\right)h_2\left(y\right)---\left(20\right)$

$\frac{\&PartialD;G(x,y)}{\&PartialD;y}=\mathrm{ky}\&CenterDot;\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]=h_1\left(y\right)h_2\left(x\right)---\left(21\right)$

式中，k为常数。其中：

$\begin{array}{cc}{h}_1\left(x\right)=\sqrt{k}x\&CenterDot;\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right]& h_2\left(y\right)=\sqrt{k}\&CenterDot;\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]---\left(22\right)\end{array}$

$\begin{array}{cc}{h}_1\left(y\right)=\sqrt{k}y\&CenterDot;\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]& h_2\left(x\right)=\sqrt{k}\&CenterDot;\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right]---\left(23\right)\end{array}$

可见：

h₁(x)＝xh₂(x)  h₁(y)＝yh₂(y)    (24)

然后将这两个一维滤波器模板分别与图像f(x,y)进行卷积，得到：

$\begin{array}{cc}{E}_x=\frac{\&PartialD;G(x,y)}{\&PartialD;x}*f(x,y)& E_y=\frac{\&PartialD;G(x,y)}{\&PartialD;y}*f(x,y)\end{array}---\left(25\right)$

令

$\begin{array}{cc}A(i,j)=\sqrt{{E_x}^2(i,j)+{E_y}^2(i,j)}& \&PartialD;(i,j)=\arctan \end{array},\frac{E_y(i,j)}{E_x(i,j)}---\left(26\right)$

式中，A(i,j)反映了图像上(i，j)点处的边缘强度；为垂直边缘的方向。

Canny边缘检测方法根据边缘强度选择高阈值H_th和低阈值L_th，根据高阈值H_th得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于高阈值H_th较高，产生的图像边缘如果不闭合，在高阈值H_th图像中把边缘链接成轮廓，当到达轮廓的断点时，Canny边缘检测方法会在断点的8邻域点中寻找满足低阈值L_th的点，再根据此点的垂直边缘的方向收集新的边缘，直到整个图像边缘闭合。

对经过图像分割后进行边缘检测提取信息结果图如图8所示。

本发明基于固定翼无人机的输电线路在线监测系统及监测方法中相关技术介绍如下：

监控中心5

本发明中监控中心5设有操控装置，后台PC机上安装有输电线路图像识别分析软件，包括数据记录、系统控制、图像处理和系统工具等模块。操控装置负责对固定翼无人机以及机载摄像机的控制；输电线路图像识别分析软件对采集到的现场图像数据的分析存储、报警信息的发布。监控中心5的组成框图如图9所示。监控中心5的功能如下：

1)操控装置：包括对固定翼无人机1的航线、飞行速度、飞行高度的设置，同时对机载摄像机2中视频图像采集控制模块6的设置，包括图像采集速率、拍摄角度、镜头焦距的设置，并且还包括数据存储路径及文件名的设置；

2)数据记录：将塔上CMD3传回来的现场图像存放到指定路径下，然后对收到的信息进行实时图像处理分析，对导线异物、断股和杆塔倾斜等险情进行图像分析识别，并记录分析结果；

3)系统控制：①网络通信：控制监控中心5中计算机间的网络连接，实现计算机之间的数据互换；②命令响应：从系统下发一个调用图像处理算法的命令；③时钟同步：按照系统终端的时间，将系统设置为标准时间，并以时统信号(时间统一信号)作为数据记录时的同步信号；

4)图像处理：接收命令响应下发的调用算法的命令，然后将塔上CMD3传回的视频图像数据包解码，解码后得到一帧一帧的图像数据，读取采集来的现场图像，调用后台嵌入的图像处理算法来对单帧图像进行分析，分析包括图像预处理去噪，图像中导线杆塔绝缘子的边缘检测，从而识别导线和杆塔的完整性，以及图像中导线上异物的目标识别等，将结果保存并输出；

5)系统工具：①磁盘整理：为了充分利用系统资源，定期整理硬盘进行磁盘碎片整理，提高磁盘的存储速度；②常用工具：一些常用的工具，包括记事板，时钟，计算器等。

本发明基于固定翼无人机的输电线路在线监测系统及监测方法，通过固定翼无人机1及机载摄像机2可以灵活的、大范围的实时采集输电线路现场视频和图像，并将采集到的视频和图像通过塔上CMD3实时的传回地面监控中心5，本发明的监测系统不需建立数学模型，只需通过图像处理就可直观、有效的对输电线路现场情况进行监测。

Claims (10)

1.基于固定翼无人机的输电线路在线监测系统，其特征在于，包括固定翼无人机(1)，固定翼无人机(1)上设置有机载摄像机(2)，机载摄像机(2)与塔上CMD(3)无线连接，塔上CMD(3)与CMA(8)、CAG(9)、监控中心(5)依次连接，监控中心(5)还分别与固定翼无人机(1)、机载摄像机(2)无线连接。

2.根据权利要求1所述的基于固定翼无人机的输电线路在线监测系统，其特征在于，所述机载摄像机(2)包括视频图像采集控制模块(6)，视频图像采集控制模块(6)分别与蓄电池(7)、3G无线通信模块(4)连接。

3.基于固定翼无人机的输电线路在线监测方法，其特征在于，采用基于固定翼无人机的输电线路在线监测系统，其结构为：

包括固定翼无人机(1)，固定翼无人机(1)上设置有机载摄像机(2)，机载摄像机(2)与塔上CMD(3)无线连接，塔上CMD(3)与CMA(8)、CAG(9)、监控中心(5)依次连接，监控中心(5)还分别与固定翼无人机(1)、机载摄像机(2)无线连接；

所述机载摄像机(2)包括视频图像采集控制模块(6)，视频图像采集控制模块(6)分别与蓄电池(7)、3G无线通信模块(4)连接；

具体按照以下步骤实施：

步骤1、固定翼无人机(1)按照监控中心(5)设置的线路对输电线路进行巡线，机载摄像机(2)通过3G无线通信模块(4)接收监控中心(5)发出的拍照命令，然后视频图像采集控制模块(6)按照监控中心(5)设置的图像采集速率、拍照角度、镜头焦距完成输电线路现场的视频和图像的采集；

步骤2、将步骤1中采集到的视频信息通过3G无线通信模块(4)发送至监控中心(5)；将步骤1中采集到的图像信息通过3G无线通信模块(4)发送到塔上CMD(3)，塔上CMD(3)收到的图像信息发送到CMA(8)，通过CMA(8)将图像信息发送到CAG(9)，最后由CAG(9)统一发送到监控中心(5)；监控中心(5)对收到的信息进行实时图像处理分析，确定有没有异物；

步骤3、经过步骤2图像处理分析的结果，当检测无异物时，继续从步骤1执行，当检测到异物时，监控中心(5)将控制固定翼无人机(1)靠近监测对象，然后监测中心(5)再对机载摄像机(2)发出近距离拍照命令；

步骤4、将步骤3近距离拍照得到的图像及视频作进一步图像处理分析，得到准确的分析结果；

步骤5、经过步骤4进一步分析的结果，当检测无异物时，继续从步骤1执行，当检测到异物时，报警。

4.根据权利要求3所述的基于固定翼无人机的输电线路在线监测系统的监测方法，所述步骤2及步骤4中图像处理分析按照以下步骤实施：

a.图像预处理；

b.图像分割；

c.边缘检测。

5.根据权利要求4所述的基于固定翼无人机的输电线路在线监测系统的监测方法，所述步骤a图像预处理具体按照以下步骤实施：彩色图像灰度化、图像平滑处理、图像边缘增强处理。

6.根据权利要求5所述的基于固定翼无人机的输电线路在线监测系统的监测方法，所述彩色图像灰度化，具体实施为：

RGB图像到灰度图像的转换，将RGB图像中三个分量亮度乘以不同的权值再相加得：

Y＝0.299R+0.587G+0.114B，

其中，式中R、G、B分别表示红色分量值、绿色分量值、蓝色分量值。

7.根据权利要求5所述的基于固定翼无人机的输电线路在线监测系统的监测方法，所述图像平滑处理采用中值滤波法，具体实施为：

g(x,y)＝Media[k₁,k₂,…,k_n]，

其中k₁,k₂,…,k_n为点(x，y)及其邻域的灰度值，g(x,y)表示经过中值滤波之后点(x，y)处的灰度值。

8.根据权利要求5所述的基于固定翼无人机的输电线路在线监测系统的监测方法，所述图像边缘增强处理采用拉普拉斯算子，具体实施为：

Laplacian算子是各向同性的二阶导数，一个连续的二元函数f(x,y)，它在点(x，y)处的拉普拉斯运算定义为：

${\&dtri;}^{2}f(x,y)=\frac{{\&PartialD;}^{2}f}{\&PartialD;x}+\frac{{\&PartialD;}^{2}f}{\&PartialD;y},$

其中，▽²f(x,y)称为拉普拉斯算子，

对数字图像f(i,j)，其一阶偏导为：

$\frac{\&PartialD;f(i,j)}{\&PartialD;z}={\mathrm{\&Delta;}}_{x}f(i,j),$

$\frac{\&PartialD;f(i,j)}{\&PartialD;y}={\mathrm{\&Delta;}}_{y}f(i,j),$

二阶偏导为：

$\frac{{\&PartialD;}^{2}f(i,j)}{{\&PartialD;x}^2}={\mathrm{\&Delta;}}_{x}f(i+1,j)-{\mathrm{\&Delta;}}_{x}f(i,j),$

$\frac{{\&PartialD;}^{2}f(i,j)}{{\&PartialD;y}^2}={\mathrm{\&Delta;}}_{y}f(i,j+1)-{\mathrm{\&Delta;}}_{y}f(i,j),$

将数字图像f(i,j)的二阶偏导代入拉普拉斯运算定义式中整理得：

$\begin{array}{c}g(i,j)={\&dtri;}^{2}f(i,j)=\frac{{\&PartialD;}^{2}f(i,j)}{{\&PartialD;x}^2}+\frac{{\&PartialD;}^{2}f(i,j)}{{\&PartialD;y}^2}\\ =f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)-4f(i,j)\end{array},$

将上式变换，改为如下形式：

${\&dtri;}^{2}f(i,j)=-5\{f(i,j)-\frac{1}{5}[f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)+f(i,j)\left]\right\},$

得：数字图像f(i,j)在(i，j)点处的拉普拉斯算子为点(i，j)的灰度值减去其邻域均值。

9.根据权利要求4所述的基于固定翼无人机的输电线路在线监测系统的监测方法，所述步骤b图像分割采用最大类间方差法，具体实施为：

设一幅M×N图像共有k个灰度级，f(m,n)为点(m，n)处的灰度值，则其灰度范围为[0，k-1]，图像灰度值为i的频率p(i)如下：

$p\left(i\right)=\frac{1}{\mathrm{MN}}\underset{f(m,n)=i}{\mathrm{\&Sigma;}}1,$

当选定的阈值为灰度值t时，当f(m,n)>t时为背景，当f(m,n)<t时为目标物体；

在图像中目标物体与背景所占的比例分别为：

$w_0\left(t\right)=\underset{0\&le;i\&le;t}{\mathrm{\&Sigma;}}p\left(i\right),$

$w_1\left(t\right)=\underset{i>t}{\mathrm{\&Sigma;}}p\left(i\right),$

均值分别为：

$u_0\left(t\right)=\underset{0\&le;i\&le;t}{\mathrm{\&Sigma;}}\mathrm{ip}\left(i\right)/w_0\left(t\right),$

$u_1\left(t\right)=\underset{i>t}{\mathrm{\&Sigma;}}\mathrm{ip}\left(i\right)/w_1\left(t\right),$

图像中目标物体与背景总的均值为：

u＝w₀(t)u₀(t)+w₁(t)u₁(t)，

则类间方差为：

E＝w₀(t)(u₀(t)-u)²+w₁(t)(u₁(t)-u)²，

当类间方差E取得最大值时的灰度值t就是要选择的最优阈值，对增强后的输电线路图像采用最大类间方差法进行对增强处理后的输电线路图像进行阈值分割，提取出杆塔和导线部分。

10.根据权利要求4所述的基于固定翼无人机的输电线路在线监测系统的监测方法，所述步骤c边缘检测采用Canny算子，采用二维高斯函数的任一方向上的一阶方向导数为噪声滤波器，通过与图像f(x,y)卷积进行滤波；然后对滤波后的图像寻找图像梯度的局部极大值，以此来确定图像的边缘，具体实施为：

取二维高斯函数：

$G(x,y)=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}\exp \left[\frac{-(x^2+y^2)}{{2\mathrm{\&sigma;}}^2}\right],$

高斯函数G(x,y)在某一方向n上的一阶方向导数为：

$G_n=\frac{\&PartialD;G(x,y)}{\&PartialD;n}=n\&CenterDot;\&dtri;G(x,y),$

其中，方向矢量n为：

$n=\left[\begin{array}{c}\cos \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}\end{array}\right],$

梯度矢量▽G(x,y)为：

$\&dtri;G(x,y)=\left[\begin{array}{c}\frac{\&PartialD;G}{\&PartialD;x}\\ \frac{\&PartialD;G}{\&PartialD;y}\end{array}\right],$

Canny算子是建立在二维卷积▽G(x,y)*f(x,y)基础上，边缘强度由|▽G(x,y)*f(x,y)|和方向来决定，将▽G(x,y)的二维卷积模板分解为两个一维滤波器模板，分别为：

$\frac{\&PartialD;G(x,y)}{\&PartialD;x}=\mathrm{kx}\&CenterDot;\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right]\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]=h_1\left(x\right)h_2\left(y\right),$

$\frac{\&PartialD;G(x,y)}{\&PartialD;y}=\mathrm{ky}\&CenterDot;\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right]\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right]=h_1\left(y\right)h_2\left(x\right),$

其中，k为常数，

$h_1\left(x\right)=\sqrt{k}x\&CenterDot;\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right],$

$h_2\left(y\right)=\sqrt{k}\&CenterDot;\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right],$

$h_1\left(y\right)=\sqrt{k}y\&CenterDot;\exp \left[\frac{{-y}^2}{{2\mathrm{\&sigma;}}^2}\right],$

$h_2\left(x\right)=\sqrt{k}\&CenterDot;\exp \left[\frac{{-x}^2}{{2\mathrm{\&sigma;}}^2}\right],$

得：

h₁(x)＝xh₂(x)，

h₁(y)＝yh₂(y)，

然后将两个一维滤波器模板分别与图像f(x,y)进行卷积，得到：

$E_x=\frac{\&PartialD;G(x,y)}{\&PartialD;x}*f(x,y),$

$E_y=\frac{\&PartialD;G(x,y)}{\&PartialD;y}*f(x,y),$

令

$A(i,j)=\sqrt{{\mathrm{Ex}}^2(i,j)+{\mathrm{Ey}}^2(i,j)},$

$\&PartialD;(i,j)=\arctan \frac{E_y(i,j)}{E_x(i,j)},$

式中，A(i,j)反映了图像上(i，j)点处的边缘强度；为垂直边缘的方向；

Canny边缘检测方法根据边缘强度选择高阈值H_th和低阈值L_th，根据高阈值H_th得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于高阈值H_th较高，产生的图像边缘如果不闭合，在高阈值H_th图像中把边缘链接成轮廓，当到达轮廓的断点时，Canny边缘检测方法会在断点的8邻域点中寻找满足低阈值L_th的点，再根据此点的垂直边缘的方向收集新的边缘，直到整个图像边缘闭合。