CN103400379A

CN103400379A - 一种基于图像的覆冰检测和厚度估计方法

Info

Publication number: CN103400379A
Application number: CN2013103146759A
Authority: CN
Inventors: 钟幼平; 董越; 范黎锋; 黄玮; 刘凯; 林巍峣; 周洋
Original assignee: MAINTENANCE BRANCH OF JIANGXI ELECTRONIC POWER Co
Current assignee: Maintenance Branch State Grid Jiangxi Electric Power Co ltd; State Grid Corp of China SGCC
Priority date: 2013-07-25
Filing date: 2013-07-25
Publication date: 2013-11-20
Anticipated expiration: 2033-07-25
Also published as: CN103400379B

Abstract

本发明公开了一种基于图像的覆冰检测和厚度估计方法，它是利用颜色和位置的先验知识优化了对于复杂深色背景覆冰输电线边缘检测的效果，再通过利用摄像头标定参数的厚度估计算法和运动目标追踪算法，在覆冰输电线发生位移的情况下估计实际覆冰输电线厚度。此方法可以有效解决复杂背景下的边缘检测问题，弥补了大部分算法不能应对输电线位移情况的缺点，其厚度估计也要比无标定算法精确很多。

Description

一种基于图像的覆冰检测和厚度估计方法

技术领域

本发明涉及一种覆冰检测和厚度估计方法，尤其涉及一种基于图像的覆冰检测和厚度估计方法，它是对视频图像进行检测并获取轮廓信息，再结合摄像头本身的标定参数，分析并计算目标厚度的方法。此方法可用于部分复杂背景和目标在视频图像中存在较大位移的情况。

背景技术

在输电线路系统中，保障输电线的安全可靠是保证供电系统稳定的一个重要工作。在冰雪灾害下，过量的雪块或是雨水结冰覆盖在输电线路上，受其重力作用的影响，会将输电线压断，从而导致供电系统的瘫痪。针对这一现象，在冰雪灾害比较严重的区域往往会设立人工巡视岗位，通过人力实地检测输电线路覆冰情况，但是，考虑到输电线路分布的广泛性和灾害天气工作人员出行检测的不便利性，这项工作对于人力资源是一个巨大的挑战。所以，基于传感器的自动输电线覆冰监控监测显得极为重要。

经过对现有技术的文献检索发现，徐青松等人在《高电压技术》2007年第33卷第7期上发表的论文“输电线路弧垂的实时监测”提出了利用输电线在积雪堆积作用下本身在空中形成的弧垂进行检测计算，从而得出覆冰情况；龚坚刚等人在《电力建设》2010年第31卷第12期上发表的论文“输电线路覆冰的模拟导线实时监测”通过输电线路模拟导线的方法做到对覆冰情况的实时监测。但是，他们监视输电线路情况的方法均需要利用输电线覆冰后的物理特性，而且需要利用特殊的仪器来获取这些物理特性的数据值。考虑到架设这种仪器的费用和一些特殊情况的局限性，他们的方法在一定程度上并不适用广大规模的输电线实时监控。

与上述方法相对的是利用基于图像视频信息的方法来对输电线路进行实时监测。这类方法价格低廉，仅需要造价便宜的普通摄像头来完成。同时这种方法适应性也非常强，能够被安装在各种极端角落进行实时监测。经过对现有技术的文献检索发现，陆佳政等人在《高电压技术》2009年第35期第3卷上发表的论文“自适应分割阈值在覆冰厚度识别中的应用”利用了图像二值化的方法捕捉了覆冰电线的边缘信息，并通过霍夫变化估计了覆冰厚度情况；Wang等人在《高电压技术》2008年第34卷第12期上发表的论文“Study on Edge Extraction Methods for Image-based Icing On-line Monitoring on Overhead Transmission Lines”提出了利用小波变化可以更好的获取了覆冰线路边界条件的方法。然而，这些图像检测方法并没有考虑不同摄像头的参数对于厚度估计结果的影响，导致估计结果出现偏差。此外，这些方法也忽略了覆冰输电线在图像中移动的情况。当摄像头架设在输电线路附近并且固定时，由于积雪堆积的作用，输电线很有可能受其重力的影响而产生下垂，从而使得摄像头捕捉输电线路图像中输电线在图像中的位置产生位移。而这种因为位移而带来的厚度估计误差往往导致厚度估计结果出现巨大误差。

因此，以上种种存在的问题促使我们去寻找更加全面的覆冰检测和厚度估计算法。使其能够应对更加复杂的边缘检测环境和输电线位移之后的厚度估计。

发明内容

本发明的目的在于提供一种基于图像的覆冰检测和厚度估计方法，该方法通过利用覆冰的颜色和位置等先验知识对输电线路的冰层边缘进行检测，提高了边缘检测的准确性和抵抗复杂背景干扰的能力。同时，结合摄像头的标定参数，更为精确地估计冰层的厚度。此外，考虑到输电线路因重力等因素而产生的空间位移，本发明引入自动追踪输电线移动的步骤，并结合标定参数自适应估计冰层厚度，从而解决输电线由于位移和透视等影响而导致的厚度估计误差。

本发明的目的是这样实现的：

一种基于图像的覆冰检测和厚度估计方法，特征是：具体步骤如下：

A、利用架设好的摄像头获取一张没有冰雪覆盖的输电线图像作为系统初始参考图像，并提取其边缘轮廓信息。同时，针对该信息，计算未覆冰输电线的上下边界轮廓在图像中的平均纵坐标值；

B、基于标定好的摄像头参数和输电线的实际直径，结合步骤A中得到的未覆冰输电线的上下边界平均纵坐标值，计算摄像头与输电线平面之间的距离；

C、根据输电线初始位置设置初始追踪区域；并实时追踪输电线的上下边缘区域，从而保证在输电线移动或因覆冰而下垂时也准确检测并分割出输电线轮廓边界；

D、在步骤C中追踪得到的当前帧追踪区域内结合位置及颜色等先验知识提取边缘的二值化信息并寻找上下边缘轮廓；并计算当前帧的上下边界轮廓在图像中的平均纵坐标值；

E、结合摄像头标定参数和步骤D中得到的覆冰输电线边缘信息，估计覆冰厚度并判断是否覆冰。

在步骤A中，所述的提取其边缘轮廓信息，可以采用包括索贝尔(Sobel)算子等在内的经典梯度操作算子与图像进行卷积操作，得到的结果即为图像的边缘轮廓图。

在步骤A中，所述的未覆冰输电线的上下边界轮廓在图像中的平均纵坐标值由下面方法得到：

(1) 对初始参考图像的边缘轮廓图进行二值化处理，即如果一个像素的边缘轮廓值大于一个阈值则设为1，否则设其为0；

(2) 对二值化以后的边缘轮廓图进行归类处理，即把互相连通在一起的非零像素归为同一类；

(3) 去除(2)中像素个数少于一定阈值的连通区域（这些连通区域可视为噪声）；同时，将剩下的每一个连通区像素在水平方向投影得到直方图，并去除直方图峰值小于一个阈值的连通区；由于输电线基本在图像中是水平方向，其在水平方向投影得到的直方图往往出现一个较大的峰值，如果不满足改条件，则可认为不是可能的导线轮廓；

(4) 在(3)剩下的连通结果中，从图象顶部向下搜索，找到的第一个连通区，即为输电线的上边缘轮廓；同样，从图象底部向上搜索，找到的第一个连通区，即为输电线的下边缘轮廓；

(5) 根据(4)结果，由下式计算输电线上下边界轮廓在图像中的平均纵坐标值：

其中，y _u和y _l分别初始参考图像中未覆冰输电线上下边缘的平均纵坐标的值，i是初始参考图像中第i个像素，y _i是像素i在图像中的纵坐标，B _u和B _l分别是(4)中得到的对应上下边缘轮廓的连通区。

在步骤B中，所述的摄像头参数（如摄像头焦距f)可利用Zhang在《IEEE Transactions on Pattern Analysis and Machine Intelligence》(国际电子电气工程师协会模式分析与机器智能学报）2000年第22卷第11期上发表的论文“A flexible new technique for camera calibration" (一种灵活的相机标定方法）中描述的方法进行标定得到。

在步骤B中，所述的输电线的实际直径D能事先通过手工测量得到。

在步骤B中，所述的计算摄像头与输电线平面之间的距离h通过下面步骤得到：

(1) 利用小孔成像定律和图2示意图，可以得到图像中任意一个坐标为(x, y)的像素和其对应的实际输电线平面上的位置(X, Y)之间的物理关系公式：

Figure 2013103146759100002DEST_PATH_IMAGE002

其中，h是摄像头与输电线平面之间的距离，f是摄像头的焦距，

是摄像头的仰角，f和

可利用设想图标定得到；Y是摄像头所拍摄的图像中的(x, y)像素在实际输电线平面上对应位置的纵坐标值，Y _m是摄像头光心射线方向与实际输电线平面交点的纵坐标值， y _m是该交点在摄像头所拍摄的图像中对应像素的纵坐标值(如图2所示)；进一步的，简化(1)中公式，可得到摄像头与输电线平面之间距离h的表达式：

(2) 利用步骤A中得到的初始参考图像中未覆冰输电线上下边缘的平均纵坐标y _u和y _l。联立以下等式解出摄像头与输电线之间的距离h：

其中y _u和y _l分别代表初始参考图像中未覆冰输电线上下边缘的平均纵坐标，而Y _u和Y _l分别代表其对应实际输电线平面上下边缘的平均纵坐标；基于上式，可解出摄像头与输电线之间的距离h的最终关系式如下：

其中，D是输电线的实际直径，

是摄像头的仰角，f是摄像头的焦距，y _u和y _l分别代表初始参考图像中未覆冰输电线上下边缘的平均纵坐标，而Y _u和Y _l分别代表其对应的实际输电线平面上下边缘的平均纵坐标。

在步骤C中，所述的实时追踪输电线的上下边缘的过程包含下面的步骤：

(1) 对于步骤A中得到的输电线在图像中的上边界和下边界连通区，分别计算其平均位置点坐标(x _u, y _u)及(x _l, y _l)，并分别以该平均位置点为中心划定上下边界在图像中的追踪区域R _u和R _l，即：

其中，T ₁和T ₂为划定的追踪区域大小阈值；

(2) 对于每一个新的输入帧，分别在R _u和R _l区域内寻找连通区作为当前输入帧中输电线的上下边缘；具体方法如步骤D所述。

(3) 对(2)中得到的连通区求其新的平均位置点坐标，并以新的位置点坐标划定新的追踪区域R _u和R _l；

(4) 重复(2)和(3)，使边缘轮廓的平均位置永远保持在追踪区域的中心，上下边缘分别位于追踪区域的上下两侧，从而实现实时有效追踪覆冰输电线的效果。

在步骤D中，所述的提取边缘二值化信息由下式计算：

其中J _edge(x, y)表示图像中坐标为(x, y)点的边缘轮廓值，且其值为1时代表该点为边界点。J _s(x, y)是利用Sobel算子计算出(x, y)点处的梯度值。J _white(x, y)代表(x, y)点处的灰度值，作为引入关于可能的覆冰颜色这一先验知识的参数。T _edge是边缘检测阈值，用于判断图像中每一个点是否为所需要寻找的边界点；通过引入颜色的先验知识J _white(x, y)，可以有效地减少深色复杂背景带来的对于冰层边界检测的影响。得到边缘二值化信息以后，所述的寻找上下边缘轮廓及计算上下边界轮廓在图像中的平均纵坐标值过程同步骤A。

在步骤E中，所述的估计覆冰厚度过程如下：

(1) 根据步骤D中得到的当前帧中图像中输电线上下边缘平均纵坐标y _u ^cur和y _l ^cur，可推导出其对应的实际输电线平面中的上下边缘平均纵坐标公式Y _u ^cur和Y _l ^cur：

上式中的参数定义同步骤B；

(2) 将(1)中Y _u ^cur和Y _l ^cur相减，即可得到当前帧输电线厚度值D ^cur：

将当前帧输电线厚度值D ^cur与步骤B中的导线的实际直径相减，即可得到覆冰厚度的估计值D ^ice，即：

D ^ice=D ^cur-D

(3) 对当前帧中的覆冰厚度的估计值D ^ice进行阈值判断，即可判断覆冰是否存在，即：

其中，T ^ice为判断覆冰是否存在的阈值。

本发明的原理是：由于输电线存在的环境可能较为复杂，直接对覆冰输电线进行边缘检测会产生很多不可避免的错误，而利用颜色和位置的先验知识能够判断在复杂背景下覆冰输电线边缘检测是否正确并给出合理的优化改进；同时，考虑到摄像头由于拍摄角度问题而存在的图像透视情况，引入摄像头标定参数从而更加准确地计算覆冰输电线的实际厚度；同时，当摄像头因为积雪堆积或是其他因素而发生位移时，能通过在摄像头拍摄的画面中追踪覆冰输电线的位置并结合该位置处摄像头的标定参数，精确地估计位移后覆冰输电线的厚度。

与现有技术相比，本发明具有以下优点：

1.本发明引入并结合摄像头标定参数（包括摄像头俯仰角及焦距等参数）计算覆冰厚度，从而能得到更加精确的覆冰厚度估计值。

2.本发明能够更加适应模糊的覆冰边缘和复杂的背景图像等情况，能够根据颜色和追踪位置等先验及相邻帧知识更加准确地确定覆冰导线上下层冰层的轮廓信息，避免复杂背景及噪声情况下边缘检测错误导致的误判。

3本发明能够动态的追踪因重力等多种因素而发生位移的覆冰输电线，并根据其实际位置重新计算其标定参数，避免了因输电线在图像中不同位置而导致的厚度估计误差问题。

附图说明

图1是本发明方法的流程图。

图2 是本发明中摄像头拍摄输电线时摄像头、实际输电线平面、以及摄像头拍摄到的图象这三者之间关系的示意图。

具体实施方式

下面结合实施例并对照附图对本发明进行进一步的说明。

一种基于图像的覆冰检测和厚度估计方法，具体步骤如下：

A、利用架设好的摄像头获取一张没有冰雪覆盖的输电线图像作为系统参考图像，并提取其边缘轮廓信息。并提取其边缘轮廓信息。同时，针对该信息，计算未覆冰输电线的上下边界轮廓在图像中的平均纵坐标值。

所述的提取其边缘轮廓信息，采用索贝尔(Sobel)算子与图像进行卷积操作，得到的结果即为图像的边缘轮廓图。

所述的未覆冰输电线的上下边界轮廓在图像中的平均纵坐标值可由下面方法得到：

(1) 对初始参考图的边缘轮廓图进行二值化处理，即如果一个像素的边缘轮廓值大于一个阈值则设为1，否则设其为0。本实例中，该阈值设为50。

(2) 对二值化以后的边缘轮廓图进行归类处理，即把互相连通在一起的非零像素归为同一类。

(3) 去除(2)中像素个数少于一定阈值的连通区域（这些连通区域可视为噪声），本实例中，这一阈值设为20。同时，将剩下的每一个连通区像素在水平方向投影得到直方图，并去除直方图峰值小于一个阈值的连通区。本实例中，采用4个槽(bin)的直方图，即将连通区的水平方向宽度平均分为四个槽建立直方图。此外，判断直方图峰值的阈值设为8。

(4) 在(3)剩下的连通结果中，从图像顶部向下搜索，找到的第一个连通区，即为输电线的上边缘轮廓。同样，从图像底部向上搜索，找到的第一个连通区，即为输电线的下边缘轮廓。

B、利用标定好的摄像头参数和输电线的实际直径，结合步骤A中得到的未覆冰输电线的上下边界平均纵坐标值，计算摄像头与输电线平面之间的距离。

所述的摄像头参数（摄像头焦距f及仰角)可利用Zhang在《IEEE Transactions on Pattern Analysis and Machine Intelligence》(国际电子电气工程师协会模式分析与机器智能学报）2000年第22卷第11期上发表的论文“A flexible new technique for camera calibration" (一种灵活的相机标定方法）中描述的方法进行标定得到。

所述的输电线的实际直径D可以事先通过手工测量得到。

所述的计算摄像头与输电线平面之间的距离h可通过下面公式得到：

其中，D是输电线测得的实际直径，

是摄像头的仰角，f是摄像头的焦距，

和f 由摄像头标定算法得到。y _u和y _l分别代表初始参考图像中未覆冰输电线上下边缘的平均纵坐标，由步骤A得到。

C、根据输电线初始位置设置初始追踪区域。并实时追踪输电线的上下边缘，从而保证在输电线移动或因覆冰而下垂时也准确检测并分割出输电线轮廓边界。

所述的实时追踪输电线的上下边缘的过程包含下面的步骤：

其中，T ₁和T ₂为划定的追踪区域大小阈值。本实例中，T ₁和T ₂分别设为50和30。

(2) 对于每一个新的输入帧，分别在R _u和R _l区域内寻找连通区作为当前输入帧中输电线的上下边缘。具体方法如下面的步骤D所述。

(3) 对(2)中得到的连通区求其新的平均位置点坐标，并以新的位置点坐标划定新的追踪区域R _u和R _l。

D、在步骤C中追踪得到的当前帧追踪区域R _u和R _l内提取边缘的二值化信息并寻找上下边缘轮廓。并计算当前帧的上下边界轮廓在图像中的平均纵坐标值y ^cur _u和y ^cur _l。

所述的提取边缘二值化信息由下式计算：

其中J _edge(x, y)表示图像中坐标为(x, y)点的边缘轮廓值，且其值为1时代表该点为边界点。J _s(x, y)是利用Sobel算子计算出(x, y)点处的梯度值。J _white(x, y)代表(x, y)点处的灰度值，作为引入关于可能的覆冰颜色这一先验知识的参数。T _edge是边缘检测阈值，本实例中，T _edge设为100。

得到边缘二值化信息以后，所述的寻找上下边缘轮廓及计算上下边界轮廓在图像中的平均纵坐标值过程同步骤A。

所述的估计覆冰厚度方法如下：

D ^ice=D ^cur-D

其中，D ^ice是对当前帧中的覆冰厚度的估计值，D是步骤B中的导线的实际直径，D ^cur是当前帧输电线厚度值。其中，D ^cur可由下式计算：

其中，y _u ^cur和y _l ^cur是步骤D中得到的当前帧中图象中输电线上下边缘平均纵坐标，其他的参数由步骤B中求得。

所述的对当前帧中的是否存在覆冰进行判断的方法如下：

其中，T ^ice为判断覆冰是否存在的阈值，本实例中，T ^ice设为3。

实施效果

依据上述步骤，对图像库中不同复杂背景的覆冰输电线及其他线状物体进行边缘检测和厚度估计试验，所有实验均在PC上进行。通过实验发现，本发明提出的基于颜色和追踪位置的先验知识的边缘检测能更有效准确的提取边缘。

其次，利用本发明对大量的实验图像进行厚度估计，并与其他大多数发明中使用的直接比例法进行比较，本发明和真实值的误差为1.12%，而直接比率法的误差为2.53%。可以看出本发明在厚度估计算法上有较大的优势。

最后，在考虑覆冰输电线因其他因素而产生位移的条件下，验证了本发明提出的追踪算法的有效性。利用本发明对覆冰输电线位移视频进行追踪并估计其厚度，并且与上述直接比例法进行比较，本发明和真实值的误差为1.9%，而直接比例法的误差竟高达23.75%。可见本发明中追踪算法在该情况下的重要性。

实验表明，较之现有的边缘检测和厚度估计算法，本发明中对应的方法和针对输电线位移而提出的追踪算法，在估计复杂情况下的输电线覆冰厚度具有更好的效果。

Claims

1.一种基于图像的覆冰检测和厚度估计方法，其特征在于：

A、利用架设好的摄像头获取一张没有冰雪覆盖的输电线图像作为系统初始参考图像，并提取其边缘轮廓信息；同时，针对该信息，计算未覆冰输电线的上下边界轮廓在图像中的平均纵坐标值；

D、在步骤C中追踪得到的当前帧追踪区域内结合位置及颜色提取边缘的二值化信息并寻找上下边缘轮廓；并计算当前帧的上下边界轮廓在图像中的平均纵坐标值；

2.根据权利要求1所述的覆冰检测和厚度估计方法，其特征在于：步骤A中：利用架设好的摄像头获取一张没有冰雪覆盖的输电线图像作为系统初始化参考图像，并提取其边缘轮廓信息；其中未覆冰的参考图像可以对未覆冰的输电线直接拍照获得，也可以拍摄已覆冰的输电线图像，然后通过人为在图像上没有完全被冰雪覆盖的地方做标记来获得系统未覆冰区域参数。

3.根据权利要求1所述的覆冰检测和厚度估计方法，其特征在于：步骤A中，未覆冰输电线的上下边界轮廓在图像中的平均纵坐标值可由下面方法得到：

(1) 对初始参考图的边缘轮廓图进行二值化处理，即如果一个像素的边缘轮廓值大于一个阈值则设为1，否则设其为0；

(3) 去除(2)中像素个数少于一定阈值的连通区域；同时，将剩下的每一个连通区像素在水平方向投影得到直方图，并去除直方图峰值小于一个阈值的连通区；

4.根据权利要求1所述的覆冰检测和厚度估计方法，其特征在于：步骤B中，摄像头与输电线平面之间的距离h可通过下面公式得到：

Figure 2013103146759100001DEST_PATH_IMAGE002

其中，D是输电线测得的实际直径，

是摄像头的仰角，f是摄像头的焦距，

和f 可由摄像头标定算法得到；y _u和y _l分别代表初始参考图像中未覆冰输电线上下边缘的平均纵坐标。

5.根据权利要求1所述的覆冰检测和厚度估计方法，其特征在于：步骤C中，实时追踪输电线的上下边缘的过程包含下面的步骤：

Figure 2013103146759100001DEST_PATH_IMAGE004

其中，T ₁和T ₂为划定的追踪区域大小阈值；

(2) 对于每一个新的输入帧，分别在R _u和R _l区域内寻找连通区作为当前输入帧中输电线的上下边缘；

6.根据权利要求1所述的覆冰检测和厚度估计方法，其特征在于：步骤D中的提取边缘二值化信息由下式计算：

其中J _edge(x, y)表示图像中坐标为(x, y)点的边缘轮廓值，且其值为1时代表该点为边界点；J _s(x, y)是利用Sobel算子计算出(x, y)点处的梯度值；J _white(x, y)代表(x, y)点处的灰度值，作为引入关于可能的覆冰颜色这一先验知识的参数；T _edge是边缘检测阈值。

7.根据权利要求1所述的覆冰检测和厚度估计方法，其特征在于：步骤D中，所使用的估计覆冰厚度方法如下：

D ^ice=D ^cur-D

其中，D ^ice是对当前帧中的覆冰厚度的估计值，D是步骤B中的导线的实际直径，D ^cur是当前帧输电线厚度值；其中，D ^cur可由下式计算：

Figure 2013103146759100001DEST_PATH_IMAGE006

8.根据权利要求1所述的覆冰检测和厚度估计方法，其特征在于：步骤E中：所使用的是否覆冰判断方法如下：

其中，T ^ice为判断覆冰是否存在的阈值。