CN103810494B - 基于线状目标的高压输电塔定位方法 - Google Patents

Abstract

本发明涉及一种基于线状目标的高压输电塔定位方法，包括以下步骤：利用Hessian矩阵得到每个像素点对应的Hessian矩阵特征向量的方向，该方向即为由该点组成的线状目标的方向；然后利用区域增长的方法提取Hessian矩阵特征向量方向近似的点组成小线段（线状目标）；最后利用统计方法，分别在水平和垂直方向上对小线段进行投票，小线段最集中的区域就是高压输电塔所在位置。本发明检测速度快、检测精度高，能够满足无人机巡检要求。

Description

基于线状目标的高压输电塔定位方法

技术领域

本发明涉及图像处理、模式识别和自动目标识别技术，具体的说就是利用图像处理技术检测和定位高压输电塔的位置。

背景技术

电力线路的完好是传送电能，保障安全用电的前提，所以保证电力线路的完好是一项非常重要任务，电力线路巡检工作尤为必要。传统的电力线路巡检流程是工作人员亲自到现场巡视线路。因此，巡检受过多人为因素的影响，在危险地段会危及到巡线工人的生命安危，并且人工录入数据量大、数据手工录入过程中容易出错。无人机，是一种由无线电遥控设备或自身程序控制装置操纵的无人驾驶飞行器。在无人机前端安装具有稳定能力的摄像机云台，无人机首先飞行到高压线路的侧方或侧上方，启动机载视觉系统后，利用摄像机获得场景的视频信息，之后应用图像识别技术和数据融合技术对线路及设备缺陷进行自动检测与分析。无人机巡线检测提高了检测精度和效率，实现对线路设备的缺陷的自动辅助检测诊断和评估。

现有的高压输电塔定位是通过用塔图像中的角点对称性来查找塔区域的中轴，进而确定塔顶和最高的两个塔角位置，并基于这三点来定位塔区域（尹柯，侯松鹂.塔图像的一种自动定位算法.河南大学学报.2010.323-326）。但该方法要求塔正面图像是对称的，对背景有较高要求，有一定的局限性。

本发明针对无人机巡检过程中的输电塔定位技术提出了一种基于线状目标的高压输电塔定位方法，本发明具有较高的鲁棒性，能适应复杂的背景。

发明内容

为了解决以上问题，本发明的目的在于提出一种具有准确性，实时性的基于线状目标的高压输电塔定位方法，有效的解决了无人机在复杂背景下对高压输电塔进行定位的技术问题。

本发明为实现上述目的所采用的技术方案是：一种基于线状目标的高压输电塔定位方法，通过无人机上搭载的摄像机或照相机获得场景的视频或照片信息，对视频或照片信息进行图像识别来检测高压输电线，包括以下步骤：

（1）计算图像中每个像素点Hessian矩阵；

（2）计算每个像素点对应的Hessian矩阵的特征值和特征向量；

（3）利用区域增长方法提取所有像素点中Hessian矩阵特征向量方向一致的相邻像素点，相邻像素点组成了小线段（线状目标），通过小线段的起点/终点坐标得出长度及斜率；

（4）选取矩形框在视频图像上从左至右按像素滑动并统计矩形框内小线段长度之和，根据小线段长度之和曲线峰值两侧下降到峰值一定比例时所对应的位置确定塔的水平位置和宽度；

（5）从得到塔的水平位置的图像中截取出矩形框后，在视频图像塔的水平位置处从上向下按像素滑动矩形框并统计矩形框内小线段长度之和，根据小线段长度之和曲线峰值两侧至峰值的一定比例处所对应的位置确定塔的垂直位置和高度；即完成高压输电塔的定位。

所述像素点的Hessian矩阵通过以下公式计算:以s为尺度，在图像某一点p₀＝(x₀,y₀)处的Hessian矩阵

$H_{o,s}=\left(\begin{array}{cc}{L}_{\mathrm{xx}}\left(p_0\right)& L_{\mathrm{xy}}\left(p_0\right)\\ L_{\mathrm{xy}}\left(p_0\right)& L_{\mathrm{yy}}\left(p_0\right)\end{array}\right)$

其中 $L_{\mathrm{xx}}={\∂L}^2/{\∂}^{2}x,$ $L_{\mathrm{xy}}={\∂L}^2/\∂x\∂y,$ $L_{\mathrm{yx}}={\∂L}^2/\∂y\∂x,$ $\mathrm{Lyy}={\∂L}^2/{\∂}^{2}y;$ L(x,y)是图像灰度值。

所述Hessian矩阵的特征值和特征向量分别为视频图像某点处二阶导数的大小与方向。

所述Hessian矩阵的特征值为λ₁，λ₂，特征向量为u1,u2；其中，|λ₁|≤0.1，|λ₁|≤|λ₂|；λ₂＜0，背景暗，目标亮;λ₂＞0，则相反。

所述步骤（2）中特征向量的方向为由像素点组成的线状目标的方向，包括：若|λ₁|≤|λ₂|，则特征向量u1的方向即为线状目标的方向；反之，特征向量u2则为线状目标的方向。

所述步骤（3）所述区域增长方法包括：

3.1）记录种子像素点P的Hessian矩阵的特征向量方向；

3.2）查看P点的8邻域点的Hessian矩阵的特征向量方向，如果方向一致，则标记该点状态与P点状态相同；

3.3）依次搜索所有像素点并记录每个点的状态，将状态相同的点进行归类。

所述步骤（4）包括以下步骤：

在视频图像水平方向上取一定宽度a且高度b等于图像高度的矩形框从视频图像最左边向右边进行滑动，每滑动一个像素统计一次；

统计值在输电塔区域存在峰值，当两侧统计值下降到峰值一定比例时所对应的位置即是塔的水平位置，两位置的像素值差为塔的宽度c。

所述步骤（5）以下步骤：

在得到塔的水平位置之后，从视频图像中截取出宽度c高度b的图像；

然后在此图像取一定宽度d且高度c的矩形框，在塔的水平位置处从上向下挨个像素滑动矩形框，每滑动一个像素统计一次；

得到统计峰值并从两侧取峰值的一定比例时所对应的位置即为塔在垂直方向上的位置，两位置的像素值差为塔的高度。

所述统计值为线段中点像素坐标在矩形框之内的小线段长度之和。

本发明具有以下有益效果及优点：

1.本发明公开了一种基于线状目标的高压输电塔定位方法。解决了无人机在复杂背景下巡检过程中对高压输电塔进行定位的技术问题。

2.该方法首先利用Hessian矩阵得到每个像素点对应的Hessian矩阵特征向量的方向，该方向即为由该点组成的线状目标的方向；然后利用区域增长的方法提取Hessian矩阵特征向量方向近似的点组成小线段（线状目标）；最后利用统计方法，分别在水平和垂直方向上对小线段进行投票，小线段最集中的区域就是高压输电塔所在位置。通过理论仿真和大量的实验验证，证明本发明检测速度快、检测精度高，能够满足无人机巡检要求。

附图说明

图1为本发明的方法流程图。

图2为无人机拍摄的原图像例；

图3（a）为图2中有线红框内Hessian矩阵后线状目标方向提取结果图像；

图3（b）为图2中无线红框内Hessian矩阵后线状目标方向提取结果图像；

图4（a）为本发明实施例的原图像；

图4（b）为图4（a）区域增长后的小线段提取结果图像；

图5为水平方向上小线段长度之和统计值图像；

图6为高压输电塔的定位结果图像。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

流程图如图1所示，本发明采用Hessian矩阵用于高压输电塔定位方法。Hessian矩阵（Hessian matrix或Hessian）也称海塞矩阵，是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵。

具体实施步骤如下：

（1）计算图像中每个像素点的梯度向量和Hessian矩阵

如果将图像L(x,y)看作是由像素二维坐标及其对应灰度值构成的三维曲面，该三维曲面的坐标可以表示为：

C＝{(x,y,L)|L＝L(x,y)}

其中(x,y)是像素位置坐标，L(x,y)是图像灰度值；

考虑其局部结构，对于图像中的某一点p₀＝(x₀,y₀)，其邻域的二阶泰勒展开式为： $L(p_0+\mathrm{\δ}{p}_0,s)\≈L(p_0,s)+\mathrm{\δ}{p_0}^T{\▿}_{o,s}+\mathrm{\δ}{p_0}^T{H}_{o,s}\mathrm{\δ}{p}_0,$ 式中s为尺度（即模板大小），和H_o，s分别是以s为尺度，在图像某一点p₀处的梯度向量和Hessian矩阵，

${\▿}_{o,s}=\left(\begin{array}{c}{L}_x\left(p_0\right)\\ L_y\left(p_0\right)\end{array}\right)$

$H_{o,s}=\left(\begin{array}{cc}{L}_{\mathrm{xx}}\left(p_0\right)& L_{\mathrm{xy}}\left(p_0\right)\\ L_{\mathrm{xy}}\left(p_0\right)& L_{\mathrm{yy}}\left(p_0\right)\end{array}\right)$

其中和L_xx(p₀)、L_xy(p₀)、L_yx(p₀)和L_yy(p₀)（在连续情况下，L_xy(p₀)=L_yx(p₀)）为图像L(p₀)的二阶导数，即 $L_{\mathrm{yx}}={\∂L}^2/\∂y\∂x,$ $\mathrm{Lyy}={\∂L}^2/{\∂}^{2}y;$

此处尺度s单位为像素，可事先设定，所选数值不同，检测的小线段粗细也不同。

（2）计算每个像素点对应的Hessian矩阵的特征值和特征向量

Hessian矩阵的特征值和特征向量分别描述图像某点处二阶导数的大小与方向，特征向量互相正交，在空间内相互垂直；对于某一个固定尺度s，Hessian矩阵的特征值为λ₁，λ₂，对应的特征向量分别为u1,u2；设|λ₁|≤|λ₂|，当某一像素位于线状目标区域内时，λ₁值非常小（理想情况下为0），λ₂值较大其正负号决定此目标是亮目标还是暗目标。因此对于线状目标须满足|λ₁|≈0，|λ₁|≤|λ₂|；若背景暗，目标亮，则λ₂＜0;反之，则λ₂＞0。

通过比较λ₁和λ₂的值来判断线状目标区域，并找出相对应的特征向量的方向；若|λ₁|≤|λ₂|，则特征向量u1的方向即为线状目标的方向，反之u2则为线状目标的方向。

提取Hessian矩阵的特征值和特征向量，通过比较λ₁和λ₂的值来判断线状目标区域，找出对应的特征向量的方向。图2为无人机拍摄的原图像，图3(a)是图2中下面那个框内有高压线的处理结果，图3(b)是图2上面那个框内没有高压线的处理结果。在处理结果中，线段的长度代表特征值的大小，线段的方向代表特征向量的方向。从处理结果中可以看出，有高压线的区域线段比较集中，特征向量的方向也比较近似。

（3）利用区域增长的方法提取Hessian矩阵特征向量方向近似的点组成小线段（线状目标）

在提取出线状目标的方向之后，对每一个线状目标的点做如下处理：

1.假设P点作为种子像素点，并记录P点的Hessian矩阵的特征向量方向；

2.查看P点的8邻域点的Hessian矩阵的特征向量方向，如果方向近似，即与P点的Hessian矩阵的特征向量方向的误差范围为±1°以内，则标记该点状态与P点状态相同；

3.依次搜索所有像素点并记录每个点的状态。

用该方法可以找出方向相近的点对应的区域，进一步从该区域提取到线段的起点、终点、方向等信息。图4（a）为本发明实施例的原图像，区域增长结果如图4（b）所示。

（4）塔的水平位置和宽度

在图像水平方向上取一定宽度且高度等于图像高度的矩形框从图像最左边向右边进行滑动，每滑动一个像素统计一次，统计值为中心像素坐标在矩形框之内的小线段长度之和，那么统计值在输电塔区域存在峰值，如图5所示，在图像上像素横坐标对应纵坐标值即为统计值，统计曲线在峰值两侧统计值存在整体下降趋势，当两侧统计值下降到峰值一定比例（本实施例为10%）时所对应的位置即是塔的水平位置，同时也得到了塔的宽度。

输电塔的水平位置是指在统计值峰值两侧找统计值下降到峰值一定比例时所对应的位置；输电塔的宽度是指峰值两侧位置所跨宽度，即位置像素值之差。

（5）塔的垂直位置和高度

得到塔的水平位置之后，从图像中截取出塔所占宽度的图像，然后在此图像垂直方向取一定宽度且高度等于图像宽度的矩形框，从上向下挨个像素滑动矩形框，每滑动一个像素统计一次，垂直方向的统计值为中心像素坐标在矩形框之内的小线段长度之和，得到统计曲线，在统计曲线上从峰值向两侧取峰值的一定比例（本实施例为10%）的值所对应的位置即为塔在垂直方向上的位置，同时也得到了塔的高度。

塔所占宽度的图像是指在步骤（4）中得到的塔所在水平位置的图像部分。垂直方向上的矩形框是指在截取后图像中，高度等于截取后图像宽度，宽度可以根据实际情况取值，但最好不要太大，这样精确度高一些，一般取几十个像素左右。统计值是指矩形框从上到下挨个像素滑动过程中矩形框内小线段的长度之和。塔在垂直方向上的位置从统计峰值两侧取一定比例的临界值所对应的位置，位置之差即是塔的高度。塔的定位结果如图6所示。

Claims (8)

1.一种基于线状目标的高压输电塔定位方法，通过无人机上搭载的摄像机或照相机获得场景的视频或照片信息，对视频或照片信息进行图像识别来检测高压输电塔，其特征在于，包括以下步骤：

(1)计算图像中每个像素点Hessian矩阵；

(2)计算每个像素点对应的Hessian矩阵的特征值和特征向量；

(3)利用区域增长方法提取所有像素点中Hessian矩阵特征向量方向一致的相邻像素点，相邻像素点组成了小线段即线状目标，通过小线段的起点、终点坐标得出长度及斜率；

(4)选取矩形框在视频图像上从左至右按像素滑动并统计矩形框内小线段长度之和，根据小线段长度之和曲线峰值两侧下降到峰值一定比例时所对应的位置确定塔的水平位置和宽度；

(5)从得到塔的水平位置的图像中截取出矩形框后，在视频图像塔的水平位置处从上向下按像素滑动矩形框并统计矩形框内小线段长度之和，根据小线段长度之和曲线峰值两侧至峰值的一定比例处所对应的位置确定塔的垂直位置和高度；即完成高压输电塔的定位；

所述区域增长方法包括：

3.1)记录种子像素点P的Hessian矩阵的特征向量方向；

3.2)查看P点的8个邻域点的Hessian矩阵的特征向量方向，如果方向一致，则标记该邻域点状态与P点状态相同；

3.3)依次搜索所有像素点并记录每个点的状态，将状态相同的点进行归类。

2.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法，其特征在于：所述像素点的Hessian矩阵通过以下公式计算:以s为尺度，在图像某一点p₀＝(x₀,y₀)处的Hessian矩阵

$H_{o,s}=\left(\begin{array}{cc}{L}_{xx}\left(p_0\right)& L_{xv}\left(p_0\right)\\ L_{xy}\left(p_0\right)& L_{yy}\left(p_0\right)\end{array}\right)$

其中L(x,y)是图像灰度值。

3.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法，其特征在于：所述Hessian矩阵的特征值和特征向量分别为视频图像某点处二阶导数的大小与方向。

4.根据权利要求3所述的一种基于线状目标的高压输电塔定位方法，其特征在于：所述Hessian矩阵的特征值为λ₁，λ₂，特征向量为u1,u2；其中，|λ₁|≤0.1，|λ₁|≤|λ₂|；λ₂＜0，背景暗，目标亮；λ₂＞0，则相反。

5.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法，其特征在于：所述步骤(2)中特征向量的方向为由像素点组成的线状目标的方向，包括：若|λ₁|≤|λ₂|，则特征向量u1的方向即为线状目标的方向；反之，特征向量u2则为线状目标的方向。

6.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法，其特征在于：所述步骤(4)包括以下步骤：

在视频图像水平方向上取一定宽度a且高度b等于图像高度的矩形框从视频图像最左边向右边进行滑动，每滑动一个像素统计一次；

统计值在输电塔区域存在峰值，当两侧统计值下降到峰值一定比例时所对应的位置即是塔的水平位置，两位置的像素值差为塔的宽度c。

7.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法，其特征在于：所述步骤(5)以下步骤：

在得到塔的水平位置之后，从视频图像中截取出宽度c高度b的图像；

然后在此图像取一定宽度d且高度c的矩形框，在塔的水平位置处从上向下挨个像素滑动矩形框，每滑动一个像素统计一次；

得到统计峰值并从两侧取峰值的一定比例时所对应的位置即为塔在垂直方向上的位置，两位置的像素值差为塔的高度。

8.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法，其特征在于：所述统计值为线段中点像素坐标在矩形框之内的小线段长度之和。