CN102155933B - 一种基于视频差异分析的输电线路导线舞动测量方法 - Google Patents

Abstract

本发明公开了一种基于视频差异分析的输电导线舞动测量方法，通过对摄像机在线采集的输电线路导线舞动的视频和图像进行处理，得到符合光流场运算的输电导线图像，利用金字塔光流场算法计算出导线上像素点的光流速度值，再通过摄像机标定，计算出导线舞动的实际位移。本发明基于视频差异分析的输电导线舞动测量方法，为输电线路的舞动监测提供一种新的手段，并可节省大量的人力资源成本，提高在线监测系统的利用效率，对保证电力系统的安全运行有着非常重要现实的意义。

Description

一种基于视频差异分析的输电线路导线舞动测量方法

技术领域

本发明属于数字视频图像处理及输电线路在线监测技术领域，涉及一种输电线路导线舞动测量方法，具体涉及一种基于视频差异分析的输电线路导线舞动测量方法。

背景技术

架空输电线路受自然条件的影响会发生多种灾害事故，而输电导线舞动是其中较为严重的一种灾害。输电导线舞动是覆冰导线在风的作用下产生的低频率、大振幅自激振动。输电导线舞动轻者导致输电系统发生闪络和跳闸，重者使输电系统发生金具及绝缘子损坏、导线断股、断线，杆塔螺栓松动和脱落，甚至倒塔，导致重大电网事故。对输电导线绝缘子串风偏角进行有效监测成为当务之急。

近几年，输电线路导线舞动在线监测技术得到了一定的发展，比如采用摄像技术来实现的输电导线舞动在线监测技术在实践中得到了一定的应用，它主要通过摄像机给出输电导线舞动现场的图片或视频，工作人员根据传回的现场图片或视频对输电导线的运行状况做出判断，采取相应的措施，进行巡检或检修，来防止输电导线舞动的发生，但是这种方法只能是工作人员通过人眼直观的观看，没有实现对导线舞动的定量监测，不能给出输电导线舞动幅值和频率等特征信息的精确结果，而且无法满足智能电网建设中的自动诊断要求，逐步制约了其在实际中的推广。基于ZigBee网络的输电线路舞动在线监测技术是最近几年研究的比较热点的一种技术，主要通过加速度传感器获取导线单点舞动轨迹，并利用输电导线舞动的数学模型计算导线舞动的特征数据（主要包括导线舞动频率、舞动幅值、波数等），但存在导线轨迹还原误差大、多点采集同步困难以及系统运行稳定性较低等缺点。

发明内容

本发明的目的是提供一种基于视频差异分析的输电线路导线舞动测量方法，解决了现有输电线路舞动在线监测技术导线轨迹还原误差大、多点采集同步困难以及系统运行稳定性较低的问题。

本发明所采用的技术方案是，一种基于视频差异分析的输电线路导线舞动测量方法，具体按照以下步骤实施：

步骤1：通过安装在杆塔上的工业摄像机采集输电线路的视频和图像数据，经过无线通讯方式或光纤通信传送至监控中心；在监控中心从视频和图像数据中截取要监测的输电导线舞动的数字图像，得到目标图像；

步骤2：监控中心对步骤1得到的目标图像进行处理，得到导线舞动的实际距离。

本发明的特点还在于，

其中步骤2监控中心对步骤1得到的目标图像进行处理，得到导线舞动的实际距离，具体按照以下步骤实施：

a.对步骤1得到的目标图像进行去噪和边缘增强；

b.利用图像金字塔计算相邻两帧步骤a得到的去噪和边缘增强后的图像间的光流值，用光流值乘以图像采样间隔得到导线上像素点移动的像素距离；

c.根据标定摄像机的摄像机参数，确定地球坐标系和图像坐标系之间的相对位置，把步骤b得到的像素点移动的像素距离的二维图像坐标转化为世界坐标，得到导线舞动的实际距离。

其中步骤a对目标图像进行去噪和边缘增强，去噪采用中值滤波法，用邻域点的中值代替该点的数值，即：

g(x,y)=Median[x₁,x₂，x₃，…，x_n]，

其中x₁,x₂，x₃，…，x_n为点（x，y）及其邻域的灰度值；

边缘增强采用拉普拉斯算子，对于数字图像f（i，j），拉普拉斯算子定义为：

▽²f(i,j)=Δ_x ²f(i,j)+Δ_y ²f(i,j)，

上式中，

Δ_x ²f(i,j)=Δ[Δ_xf(i,j)]=Δ_x[f(i+1,j)-f(i,j)]

          =Δ_xf(i+1,j)-Δ_xf(i,j)

          =f(i+1,j)-f(i,j)-f(i,j)+f(i-1,j)

          =f(i+1,j)+f(i-1,j)-2f(i,j)，

同理求得：

Δ_y ²f(i,j)=f(i,j+1)+f(i,j-1)-2f(i,j)，

将以上两式代入▽²f(i,j)=Δ_x ²f(i,j)+Δ_y ²f(i,j)：

▽²f(i,j)＝f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)-4f(i,j)，

将上式加以变换，改写为如下形式：

${\▿}^{2}f(i,j)=-5\{f(i,j)-\frac{1}{5}[f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)+f(i,j)\left]\right\},$

上面各式中，f（i，j）表示图像在（i，j）处的灰度值，▽²是拉普拉斯算子的符号，Δ_x和Δ_y分别代表图像在其像素点(i,j)处，x方向和y方向上的一阶差分运算。

其中步骤b利用图像金字塔计算相邻两帧图像间的光流值，具体按照以下步骤实施：将图像设定为最细尺度；对每一层，从最细层的上一层到最粗层，通过对上一个最细一层使用高斯函数进行平滑，然后重采样获得这一层；结束；

其中高斯函数为：符号S^↓表示对图像重采样，具体来说S^↓(l)的第i，j个元素是I的第2i，2j个元素，金字塔P（I）的第n层表示为P(I)_n，则：

P_Gaussian(I)_n+1＝S^↓G_σ(P_Gaussian(I)_n)，

其中，G_σ表示对图像进行线性操作，将图像与高斯函数做卷积，细节最丰富的一层是原始图像：

P_Gaussian(I)₁=I，

设导线图像为原图G并把它作为金字塔的底层第L层，第L层的上层第L+1层是这样构造的：将导线图像G经过一个高斯低通滤波器，并把结果作隔行隔列取样，以此类推，形成了高斯金字塔。

本发明的有益效果是，所用到的设备较少，结构简单、成本低廉，不需要建立精确的数学模型，只需通过图像处理以及简单的计算来获取导线舞动的位移，实施非常简便。

附图说明

图1是本发明方法一种实施例中导线舞动视频相邻两帧图像中的第一帧图像；

图2是本发明方法一种实施例中导线舞动视频相邻两帧图像中的第二帧图像；

图3是本发明方法一种实施例中的光流场图；

图4是本发明方法一种实施例中的光流位置标定图；

图5是本发明方法一种实施例中的导线舞动位移和方向计算结果图；

图6是本发明方法一种实施例中的特征点标注图；

图7是本发明方法一种实施例中输电导线舞动测量方法的计算流程图；

图8是本发明方法一种实施例中的金字塔光流法的原理图；

图9是本发明方法一种实施例中的光流计算平移变换原理图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于视频差异分析的输电线路导线舞动测量方法的一种实施例，具体按照以下步骤实施：

步骤1：通过安装在杆塔上的工业摄像机采集输电线路的视频和图像，经过无线通讯方式或光纤通信实时传送至监控中心；在监控中心从视频流中截取所监测的输电导线舞动的数字图像，得到目标图像；

步骤2：监控中心对步骤1得到的目标图像进行处理，得到导线舞动的实际距离，如图7所示，具体按照以下步骤实施：

a.图像去噪和边缘增强；

在输电导线现场，通过工业摄像机和光电转换设备以及图像采集卡采集到计算机中的图像，由于硬件设备本身的缺陷以及外界环境因素的干扰，图像中往往会包含一些随机噪声和畸变，而且高压输电线的高电压环境对视频监测装置的运行也产生了一定的干扰，降低了图像质量，这对人的视觉和计算机的识别分析带来严重影响。因此必须对输电导线图像进行图像增强、噪声滤波等预处理工作。视频图像一般经过预处理后，感兴趣区域的可视效果得到改善，不感兴趣区域的特征得到衰减。

本发明采用中值滤波法对输电导线舞动图像进行去噪，中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，在输电导线的图像处理中，常用来保护边缘信息，是经典的平滑噪声的方法。它在一定条件下，可以克服线性滤波器如最小均方滤波，平均值滤波等所带来的图像细节模糊，而且中值滤波对滤除脉冲干扰及图像扫描噪声最有效，在实际运算工程中并不需要图像的统计特性，这也带来不少方便。

中值滤波是用邻域点的中值代替该点的数值，即：

g(x,y)=Median[x₁,x₂，x₃，…，x_n]       （1）

其中x₁,x₂，x₃，…，x_n为点（x，y）及其邻域的灰度值。

本发明的图像边缘增强方法采用的是拉普拉斯（Laplacian）算子，拉普拉斯算子是一种十分常用的图像边缘增强处理算子。拉普拉斯算子是线性二次微分算子，具有各向同性和位移不变性，从而满足不同走向的图像边缘的增强要求。

对于数字图像f（i，j）来讲，拉普拉斯算子定义为：

▽²f(i,j)＝Δ_x ²f(i,j)+Δ_y ²f(i,j)         （2）

式（2）中，

Δ_x ²f(i,j)=Δ_x[Δ_xf(i,j)]＝Δ_x[f(i+1,j)-f(i,j)]

          =Δ_xf(i+1,j)-Δ_xf(i,j)                        （3）

          =f(i+1,j)-f(i,j)-f(i,j)+f(i-1,j)

          =f(i+1,j)+f(i-1,j)-2f(i,j)

同理求得：

Δ_y ²f(i,j)=f(i,j+1)+f(i,j-1)-2f(i,j)               （4）

将式（3）和（4）代入（2）：

▽²f(i,j)＝f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)-4f(i,j)     （5）

将式（5）加以变换，改写为如下形式：

${\▿}^{2}f(i,j)=-5\{f(i,j)-\frac{1}{5}[f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)+f(i,j)\left]\right\}---\left(6\right)$

上面各式中，f（i，j）表示图像在（i，j）处的灰度值，▽²是拉普拉斯算子的符号，Δ_x和Δ_y分别代表图像在其像素点(i,j)处，x方向和y方向上的一阶差分运算。

从式（6）可以看出，本发明中数字图像在（i，j）点处的拉普拉斯算子，可以由点（i，j）的灰度值减去其邻域均值来求得。输电导线舞动图像经过预处理，就可以利用光流场算法计算光流值了，本发明采用的是基于金字塔的光流场算法。

b.利用图像金字塔计算相邻两帧图像间的光流值；利用光流速度值乘以图像采样间隔得到导线上像素点移动的像素距离；

图像的金字塔表示法是计算机视觉中常用的一种多分辨率表示法。利用金字塔表示法，能分析图像中不同大小的物体，例如高分辨率的下层可用于分析细节，低分辨率的上层可用于分析较大的物体。同时，通过对低分辨率、尺寸较小的上层进行分析所得到的信息还能用来指导对高分辨率、尺寸较大的下层进行分析，从而大大简化了分析和计算。

金字塔光流法的算法步骤：1）将图像设定为最细尺度；2）对每一层，从最细层的上一层到最粗层，通过对上一个最细一层使用高斯函数进行平滑，然后重采样获得这一层；3）结束。

借助一个小符号能够写出高斯金字塔各层的简单表达式。符号S^↓表示对图像重采样，具体来说S^↓(l)的第i，j个元素是I的第2i，2j个元素。金字塔P（I）的第n层表示为P(I)_n，使用这个记号，便有：

P_Gaussian(I)_n+1＝S^↓G_σ(P_Gaussian(I)_n)         （7）

其中，G_σ表示对图像进行线性操作，将图像与高斯函数做卷积。细节最丰富的一层是原始图像：

P_Gaussian(I)₁=I           （8）

设导线图像为原图G并把它作为金字塔的底层第L层，第L层的上层第L+1层是这样构造的：将导线图像G经过一个高斯低通滤波器，并把结果作隔行隔列取样，以此类推，这样就形成了高斯金字塔。

导线图像光流值计算的基本思想是利用图像金字塔，将相邻两帧降采样到最底层，计算这两帧间的光流值，在上一层中将前一帧图像平移一定的值（下层计算出的光流），与后一帧利用光流法求出运动向量，最后与下层计算出的光流进行叠加，直到金字塔的最上层。

基于金字塔的光流法的原理框图如图8所示：

（1）、降采样和升采样

降采样采用高斯5×5低通滤波器[1/16 1/4 3/8 1/4 1/16]×[1/16 1/4 3/8 1/41/16]^T，将图像与滤波器卷积，并把结果作隔行隔列取样，得到上一层的图像。设第L-1层的图像为I^L-1(x,y)，则通过降采样，上一层第L层的图像I^L(x,y)为：

$I^L(x,y)=\frac{1}{4}{I}^{L-1}(2x,2y)+\frac{1}{8}[I^{L-1}(2x-\mathrm{1,2}y)+I^{L-1}(2x+\mathrm{1,2}y)$

$+I^{L-1}(2x,2y-1)+I^{L-1}(2x,2y+1)]+\frac{1}{16}[I^{L-1}(2x+\mathrm{1,2}y+1)---\left(9\right)$

$+I^{L-1}(2x-\mathrm{1,2}y-1)+I^{L-1}(2x-\mathrm{1,2}y+1)I^{L-1}(2x+\mathrm{1,2}y-1)]$

升采样为降采样的逆过程，现将图像隔行插入0点，再通过与滤波器卷积并乘以4，得到下一层的图像。

（2）、光流的计算

为使计算时运动向量较小，光流法需要进一步改进，即先将前一帧图像平移一定的值（下层计算出的光流），再与后一帧利用光流法求出运动向量v^L，最后与下层计算出的光流进行叠加，得到运动向量d^L。如图9所示。

本发明采用3层金字塔结构，对图像中的点（x，y），在金字塔最下层g²＝0，经光流法计算得出v²，然后d²＝v²+g²＝v²，经过乘2及升采样，第2层的初始运动向量为g¹＝2v²，经过对第2层的前一帧图像平移g¹＝2v²，再计算出光流值v¹，以此类推，最终得出第一层光流值：

$\stackrel{\→}{v}(x,y)=\underset{L=0}{\overset{2}{\mathrm{\Σ}}}{d}^L---\left(10\right)$

金字塔最下层由于像素点较少，故计算得到的光流值较小，所选用的窗口（ω_x,ω_y）可以较小，可选小窗口进行计算，这样就提高了检测的准确性，节省了计算资源，又可允许目标有较大的位移。

c.利用标定摄像机的摄像机参数，确定地球坐标系和图像坐标系之间的相对位置，把二维的图像坐标转化为世界坐标，得到导线舞动的实际距离。

为了更好的验证本算法的优越性，现从某输电线路的导线舞动视频中截取相邻两帧的图像，如图1和图2所示，图3是将该相邻两帧图像进行相关预处理后叠加得到的光流场图，图4是光流位置标定，通过用本发明的算法进行计算，用箭头的大小和方向表示出了相邻两帧图像中导线舞动的位移和方向，如图5所示。

将图1和图2中导线的位置进行对比可以发现，由第一帧图像到第二帧图像，最左边的导线向下摆动，右边两根导线向右上方摆动。图5显示的计算结果正好体现了相邻两帧图片导线摆动的方向和大小。

在本次实验的计算过程中，选择了十个特征点进行了标注（如图6所示），并且记录了这十个点光流的速度向量数据v，如表1和表2所示。

表1 前五个点速度向量数据

表2 后五个点速度向量数据

光流是图像上像素运动的瞬时速度，上述的十个数据是通过计算这十个像素点横向和纵向的速度向量，然后进行速度合成得到的，即：Speed=sqrt（MeanR*MeanR+MeanC*MeanC），其中MeanR和MeanR分别代表横向和纵向的速度向量，通过这些数据还可以计算出速度向量的方向，即：Alpha=atan（MeanR/MeanC）。

图6中第一个点的像素坐标是A（1.667，142.0），由Alpha=atan（MeanR/MeanC）得到第一个点的速度方向角是46.63°，再由第一个点的速度16.24乘以采样间隔0.1秒，得到该点的位移距离是1.624个像素，这样就可以计算出第一个点位移的终点像素坐标B（2.3472，143.115）。利用标定摄像机时求的摄像机的参数（确定了地球坐标系和图像坐标系之间的相对位置），把二维的图像坐标转化为世界坐标，得到A、B两点在地球坐标系下的坐标：a（-0.862，-0.518），b（-0.635，-1.363），这样就计算出第一个点在地球坐标系下的实际位移是0.96m。按同样的方法计算出其它9个点的实际位移，如表3和表4所示。为了更直观的反应导线舞动的位移，表3和表4以这两幅图片采样间隔内的速度为平均速度，分别计算了这十个点1s内的位移。

表3 前五个点舞动位移

表4 后五个点舞动位移

上述的计算结果表明当时导线舞动情况比较严重，这与当天现场风力比较大等情况相符，通过工作人员肉眼观看视频录像来估计导线舞动位移，认为本文的计算结果比较准确。

Claims (1)

1.一种基于视频差异分析的输电线路导线舞动测量方法，其特征在于，具体按照以下步骤实施：

步骤1：通过安装在杆塔上的工业摄像机采集输电线路的视频和图像数据，经过无线通讯方式或光纤通信传送至监控中心；在监控中心从视频和图像数据中截取要监测的输电导线舞动的数字图像，得到目标图像；

步骤2：监控中心对步骤1得到的目标图像进行处理，得到导线舞动的实际距离，具体按照以下步骤实施：

a.对步骤1得到的目标图像进行去噪和边缘增强；去噪采用中值滤波法，用邻域点的中值代替该点的数值，即：

g(x,y)＝Median[x₁,x₂,x₃,…,x_n]，

其中x₁,x₂,x₃,…,x_n为点（x，y）及其邻域的灰度值；

边缘增强采用拉普拉斯算子，对于数字图像的灰度值f（i，j），拉普拉斯算子定义为：

${\▿}^{2}f(i,j)={{\mathrm{\Δ}}_x}^{2}f(i,j)+{{\mathrm{\Δ}}_y}^{2}f(i,j),$

上式中，

Δ_x ²f(i，j)＝Δ_x[Δ_xf(i，j)]＝Δ_x[f(i+1，j)-f(i，j)]

＝Δ_xf(i+1，j)-Δ_xf(i，j)

＝f(i+1，j)-f(i，j)-f(i，j)+f(i-1，j)

＝f(i+1，j)+f(i-1，j)-2f(i，j)，

同理求得：

Δ_y ²f(i,j)＝f(i,j+1)+f(i,j-1)-2f(i,j)，

将以上两式代入 ${\▿}^{2}f(i,j)={{\mathrm{\Δ}}_x}^{2}f(i,j)+{{\mathrm{\Δ}}_y}^{2}f(i,j):$

${\▿}^{2}f(i,j)=f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)-4f(i,j),$

将上式加以变换，改写为如下形式：

${\▿}^{2}f(i,j)=-5\{f(i,j)-\frac{1}{5}[f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)+f(i,j)\left]\right\},$

上面各式中，f（i，j）表示图像在（i，j）处的灰度值，

是拉普拉斯算子的符号，Δ_x和Δ_y分别代表图像在其像素点(i,j)处，x方向和y方向上的一阶差分运算；

b.利用图像金字塔计算相邻两帧步骤a得到的去噪和边缘增强后的图像间的光流值，用光流值乘以图像采样间隔得到导线上像素点移动的像素距离，具体按照以下步骤实施：

首先，形成图像金字塔：将图像设定为最细尺度；对每一层，从最细层的上一层到最粗层，通过对上一个最细一层使用高斯函数进行平滑，然后重采样获得这一层；结束；

其中高斯函数为：符号S^↓表示对图像重采样，具体来说S^↓(l)的第i，j个元素是I的第2i，2j个元素，金字塔P（I）的第n层表示为P(I)_n，则：

P_Gaussian(I)_n+1＝S^↓G_σ(P_Gaussian(I)_n)，

其中，G_σ表示对图像进行线性操作，将图像与高斯函数做卷积，细节最丰富的一层是原始图像：

P_Gaussian(I)₁＝I，

设导线图像为原图G并把它作为金字塔的底层第L层，第L层的上层第L+1层是这样构造的：将导线图像G经过一个高斯低通滤波器，并把结果作隔行隔列取样，以此类推，形成了高斯金字塔；

其次，计算相邻两帧图像间的光流值，

（1）降采样和升采样，

降采样采用高斯5×5低通滤波器[1/161/43/81/41/16]×[1/161/43/81/41/16]^T，将图像与滤波器卷积，并把结果作隔行隔列取样，得到上一层的图像，设第L-1层的图像为I^L-1(x,y)，则通过降采样，上一层第L层的图像I^L(x,y)为：

$I^L(x,y)=\frac{1}{4}{I}^{L-1}(2x,2y)+\frac{1}{8}[I^{L-1}(2x-\mathrm{1,2}y)+I^{L-1}(2x+\mathrm{1,2}y)$

$+I^{L-1}(2x,2y-1)+I^{L-1}(2x,2y+1)]+\frac{1}{16}[I^{L-1}(2x+\mathrm{1,2}y+1),$

$+I^{L-1}(2x-\mathrm{1,2}y-1)+I^{L-1}(2x-\mathrm{1,2}y+1)I^{L-1}(2x+\mathrm{1,2}y-1)]$

升采样为降采样的逆过程，将图像隔行插入0点，再通过与滤波器卷积并乘以4，得到下一层的图像；

（2）光流的计算，

先将前一帧图像平移一定的值，一定的值是指下层计算出的光流，再与后一帧利用光流法求出运动向量v^L，最后与下层计算出的光流进行叠加，得到运动向量d^L；

c.根据标定摄像机的摄像机参数，确定地球坐标系和图像坐标系之间的相对位置，把步骤b得到的像素点移动的像素距离的二维图像坐标转化为世界坐标，得到导线舞动的实际距离。

Images