CN109801302A - 一种基于双目视觉的高压输电线路异物检测方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的高压输电线路异物检测方法，该方法是在输电线路正下方布置双目摄像头，对双目摄像头进行标定得到内外参数，令双目摄像头呈仰角拍摄输电线路图像，并通过云台调整双目摄像头的仰角大小，以实现对输电线路更广泛的范围监测；然后对双目摄像头采集的图片进行预处理，获取图像中输电线路ROI区域，并通过概率Hough直线检测提取左视图和右视图中的输电线路，对输电线路进行三维重建，获得输电线路的空间直线方程；对ROI区域图像提取特征点，获取特征点空间坐标，计算特征点到输电线路拟合的空间直线的欧式距离判断输电线路上是否存在异物。本发明可以实现对输电线路的安全的实时监控，保障输电供电安全。

Description

一种基于双目视觉的高压输电线路异物检测方法

技术领域

本发明涉及电力系统监控的技术领域，尤其是指一种基于双目视觉的高压输电线路异物检测方法。

背景技术

电力输送是电力工业中的重要环节，对于任何国家，电力工业都是极为重要的基础产业。实时监控输电线路安全至关重要，能够保证电力的正常供应，避免高压电对人民生活财产造成损失。但电力线遍布各地，且通常多布置于山林野外区域，人工检查不仅费事费力，且难以做到实时监控，及时报警。一旦有异物例如树枝、漂浮物、鸟类等接近输电线路，轻则导致输电中断，重则导致火灾、威胁人民生命财产安全等不可预料的后果。因此，本设计希望能够通过设计一种基于双目视觉的输电线路异物检测方法，使得当异物接近输电线路时，能够迅速被检测出来，以便及时发现并通知异常情况。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于双目视觉的高压输电线路异物检测方法，通过三维重建输电线路和异物特征点以判断是否有异物在输电线路设定范围内，从而实现对输电线路安全实时的监控，以便提高野外输电线路的安全性。

为实现上述目的，本发明所提供的技术方案为：一种基于双目视觉的高压输电线路异物检测方法，包括以下步骤：

1)在输电线路下方布置平行光轴双目摄像头，仰视角度拍摄输电线路，并通过云台对摄像头进行角度调整，以便扩大检测范围；

2)对双目摄像头进行系统标定，获得双目摄像头的内参以及进行立体标定获得两台摄像头之间的相对位置关系矩阵；

3)为提高直线三维空间方程重建的准确性，将对直线重建与对异物特征点重建分开处理，对双目拍摄的图像先进行阈值化处理，然后根据图像中像素点的分布情况划分ROI区裁剪出输电线路所在区域；

4)对ROI区域进行Hough直线检测，提取出左视图和右视图中限定长度和宽度的直线；对直线进行补全，并通过相似性指标对左、右图中的直线进行一一匹配；采用双目立体视觉算法，通过标定得到的双目内参以及外参对匹配后的输电线路直线进行三维重建，建立输电线路的三维空间直线方程；

5)以特征点位置表征异物的位置，通过检测左、右两图中的特征点，通过特征点匹配算法实现点的匹配，然后根据双目内参以及外参计算出特征点的三维空间坐标；

6)通过计算特征点到所有三维空间直线方程的欧式距离，以此距离作为特征点到输电线路的距离，同时设定异常距离范围，若存在特征点到某一输电线路的距离在异常距离范围内，则判定该点为异常点，若特征点到所有输电线路的距离均在异常距离范围外，则判定该点为正常点。

在步骤1)中，采用舵机云台和平行放置的双目摄像头，从下向上仰拍输电线路，保证背景的简单性，提高后续立体匹配算法的精确性，并通过云台调整角度实现对输电线路更广泛的拍摄视角。

在步骤2)中，采用张正友标定法对双目摄像头内参数进行标定获得内参数，包括S_X、S_y、u₀、v₀、f，其中S_X、S_y是相机芯片单个像素的物理尺寸，u₀、v₀为光轴光心的像素坐标，f为相机的焦距；对双目摄像头相对位置关系进行立体标定，得到外参数R、T，其中R为旋转因子，T为平移因子。

在步骤3)中，为减少背景因素的干扰，提高空间三维直线的重建精度，需先对图像分别进行自适应阈值化，图像上端由于背景为天空，白色像素点少，下部分由于有高压塔存在，白色像素点多，根据像素点分布，划分ROI区域，即输电线路存在区域。

在步骤4)中，对提取ROI区域的左视图和右视图做概率Hough直线检测，设定检测的直线长度阈值为ROI图像高度的二分之一，从而将ROI图像中直线长度大于该阈值的直线检测出来并获得其两端点坐标(x₁,y₁)(x₂,y₂)，然后根据两端点坐标建立平面直线方程根据直线方程与图像尺寸信息在ROI图像中补全直线。

在步骤4)中，根据左视图和右视图中的直线特征作为匹配基元，对左、右图中直线进行相似性度量，求出左、右图对应的匹配直线段对，以左、右图中匹配的第i条直线为例，通过最小二乘法重建出第i条直线的两端点p_i1、p_i2，点p_i1的三维坐标为(x_i1，y_i1，z_i1)，点p_i2的三维坐标为(x_i2，y_i2，z_i2)，进而计算获得第i条直线的三维空间方程

在步骤5)中，检测左、右图像中的特征点，以特征点集合位置表征异物位置，通过特征描述向量的匹配实现对左、右图中特征点的匹配，从而实现对特征点的三维重建，进一步获得三维坐标形式的特征点集合P_t，图中任意特征点p_t(x_t,y_t,z_t)均满足p_t∈P_t，其中(x_t,y_t,z_t)为特征点p_t的三维坐标。

在步骤6)中，通过矢量法计算特征点p(x_P,y_P,z_P)到所有空间直线方程的欧式距离，定义点P的三维坐标为(x_P,y_P,z_P)，根据直线方程任取直线上两端点坐标A、B，其中点A的三维坐标为(x_A，y_A，z_A)，点B的三维坐标为(x_B，y_B，z_B)。通过点积公式计算与的夹角余弦值其中为点A与点P构成的向量，为点A与点B构成的向量， 为向量的模值，为向量的模值，为向量与向量之间的夹角的余弦值，然后计算向量与向量之间的夹角的正弦值进而计算特征点P到空间三维直线的欧式距离

在步骤6)中，设定异常距离区间[d_min,d_max]，若特征点P到直线的欧式距离d_min＜d_P＜d_max，则将该特征点视为异常点；若特征点P到所有直线的欧式距离为d_P＜d_min，则视为输电线路上的点；若特征点P到直线的欧式距离d_P＞d_max，则视为不影响输电线路安全的非异常点；若某一特征点到某一输电线路距离在异常距离区间[d_min,d_max]内，则视该特征点为异常点；若某一特征点到所有输电线路距离均在异常距离区间[d_min,d_max]外，则视该特征点为正常点。

本发明与现有技术相比，具有如下优点与有益效果：

1、拍摄视角为仰视，多数背景为天空，极大地排除了背景对于双目视觉算法的干扰，提高了检测的精确性。

2、对于输电线路的三维空间直线重建，先进行阈值化再提取ROI区域，滤除了地面背景干扰，并且通过概率Hough直线检测提取图中较长直线并通过算法补全直线，弥补了三维重建问题中对于细小目标的难匹配问题，使重建得到的直线的空间方程更加精确。

3、通过判断图像中特征点到直线方程的距离来判断是否存在异物在输电线路不可接受距离内，而不需要对图像所有点进行重建和计算，极大地提高了算法的效率，降低了算法的时间复杂度。

附图说明

图1为本发明方法流程图。

图2为仰视视角拍摄的左视图。

图3为图2阈值化处理结果图。

图4为垂直方向像素点分布图。

图5为经分割提取的输电线路的ROI图。

图6为用直线拟合输电线路并经过补全的ROI图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于双目视觉的高压输电线路异物检测方法，包括以下步骤：

步骤1：在室内对双目摄像头的左右摄像头进行标定，采用张正友标定法标定其内参，本专利为保证重建的精确性选用内参相同的左右摄像头。打印已知大小、黑白相间的棋盘标定板，使用标定板在不同位置、不同角度、不同姿态下拍摄，最少需要3张，对每一张标定图片提取角点坐标，进一步提取亚像素角点信息。然后根据得到的参数进行相机标定获得摄像头的内参，包括S_X、S_y、u₀、v₀、f，其中S_X、S_y是相机芯片单个像素的物理尺寸，u₀、v₀为光轴光心的像素坐标，f为相机的焦距。

步骤2：将标定好内参的平行光轴的双目系统放置于输电线路正下方，仰角向上拍摄实时输电线路，并通过云台结构调整其拍摄角度:，拍摄的左视图如图2所示。

步骤3：对双目系统进行立体标定获取表征两摄像头的相对位置关系的矩阵，通过系统采集的左右摄像头图的图像数据通过自标定法进行外参标定，得到外参数R、T，其中R为旋转因子，T为平移因子。

步骤4：对图像进行阈值化处理，如图3所示，并根据图像中垂直方向上黑白像素点的分布情况，并在图4中清晰表现出来。通过寻找垂直方向上白色像素点数量急剧攀升的点，找到图中地面背景干扰的高度位置，并对图像进行ROI区域提取，如图5所示，从而获得消除地面背景干扰的、易于处理的输电线路图像。

步骤5：对ROI区域进行概率Hough直线检测，设定检测的直线长度为图像高度的二分之一，以避免对图像中背景中的轮廓进行直线检测，同时根据双目系统和输电线路的距离设定检测直线的宽度，进一步保证能够检测到输电线路同时避免误检情况的发生。通过概率Hough直线检测得到图像中满足限定条件的所有直线的两端点的图像坐标。现以一条直线的处理为例详细阐述双目视觉检测异物的方法，该直线两端点坐标为A(x₁,y₁)、B(x₂,y₂)。

步骤6：由于在直线检测过程中由于光照、大雾等天气，可能导致直线检测不完全，根据ROI区域图像尺寸以及概率Hough直线检测获得的直线两端点坐标，将ROI区域中检测得到的不连续直线补全，获得如图6所示的直线拟合输电线路图，并根据两端点坐标得到直线方程为

步骤7：对左图和右图进行步骤4-6的处理之后，得到直线拟合输电线路的左视图和右视图，以两图中的直线特征作为匹配基元，对左右图中直线进行相似性度量，求出左右图中一一对应的匹配直线对，采用长度、平均梯度方向作为两直线方程相似性度量的特征量。通过输入左视图中所有直线的方程，对直线集合中的每一条直线记为l_L，坐标方程设为其中(x_L1,y_L1)、(x_L2,y_L2)为直线段两端点坐标，其中可以计算左图中中直线l_L的长度直线段平均方向对右图中的直线段集合可进行同样的计算，可得右图直线的d_R、θ_R。则可得直线段长度的相似度判据SIMPL(l_L,l_R)＝min(d_L,d_R)/max(d_L,d_R)，而直线的平均梯度的相似性判据为SIMGD(l_L,l_R)＝cos(θ_L-θ_R)。从而可以得到左右图中匹配直线相似性度量的标准为SIM(l_L,l_R)＝α·SIMPL(l_L,l_R)+β·SIMGD(l_L,l_R)，其中α、β为比例因子，以根据实际的场景进行调节。对左图中的直线l_L，分别计算该直线与右图中各直线的相似度SIM_i＝SIM(l_L,l_Ri)，i为右图中直线集合中的第i条。将SIM_i最大的那条直线作为与左图中l_L匹配的直线段。对左图中的所有直线进行如上匹配操作，以实现对左右图中的直线段进行一一匹配。

步骤8：将左右图中直线段一一匹配后，再对同一组直线段的两端点进行匹配，左图中的两端点(x_L1,y_L1)、(x_L2,y_L2)对应右图中的(x_R1,y_R1)、(x_R2,y_R2)，根据相机内参S_X、S_y、u₀、v₀、f和外参R、T，通过最小二乘法可实现对点的重建，从而根据两点的三维坐标得到拟合输电线路的直线的三维重建方程。其中点的三维重建计算公式如下公式所示，以一个端点的重建为例。对于左视图中的端点(x_L1,y_L1)从像素坐标系到世界坐标系的转换公式如下式(1)所示，其中(x_W1,y_W1,z_W1)为重建点的三维坐标。

同样，对于右视图中的对应点(x_R1,y_R1)从像素坐标系到世界坐标系的转换公式如下所示。

通过上两式子可以整理得到如下方程组，从而采用最小二乘法求解三维坐标(x_W1,y_W1,z_W1)。

步骤9：根据前述的三维坐标计算方法可以计算每条直线的两端点的三维空间坐标，以一条直线重建为例，由上式计算得到直线的两端点的空间坐标(x_W1,y_W1,z_W1)、(x_W2,y_W2,z_W2)，然后根据两端点坐标建立直线的空间方程：根据左右图中直线的一一匹配关系，可以通过式(1)(2)(3)的计算公式得到所有输电线路拟合的直线的三维空间方程。

步骤10：通常异物在背景为天空的图像中表现非常明显，本专利考虑到计算整幅图像的各点三维坐标需要非常精确的图像配准算法，而且无明显特征像素点极其容易出现误配现象，从而导致计算出来的坐标误差过大。而计算得到的大部分坐标点处于天空的位置，不会影响输电线路的安全，故而本专利方法考虑用表现明显的特征点，本方法考虑SIFT特征点来表征异物的位置点，对于背景为天空的图像下对于异常物体的出现更加敏感。

步骤11：先对左右ROI图像进行SIFT特征点的检测，然后分别生成SIFT特征描述符，再进行特征向量的匹配，从而实现将左右ROI图像中的SIFT特征点一一对应起来。而根据同一点在左右图上的像素坐标，可以通过步骤7和步骤8计算得到其三维空间坐标。

步骤12：计算每一个特征点的三维空间坐标，然后通过矢量法计算出每一个特征点与步骤9获得的直线的空间方程的距离，以此作为异物与输电线路的空间距离。以特征点坐标P(x_P,y_P,z_P)，空间直线方程为例，根据直线方程直线上两端点坐标A(x_W1，y_W1，z_W1)、B(x_W2，y_W2，z_W2)，通过点积公式计算与的夹角余弦值其中为点A与点P构成的向量，为点A与点B构成的向量，为向量的模值，为向量的模值， 为向量与向量之间的夹角的余弦值，然后计算向量与向量之间的夹角的正弦值进而计算特征点P到空间三维直线的欧式距离

步骤13：通过上述方法计算每一个特征点与所有直线的距离，设定距离安全区间[d_min,d_max]，若存在特征点与某一直线距离满足d_min＜d＜d_max，则判断该特征点为影响输电线路安全的异常点并进行标记。若特征点与所有直线的距离均不满足d_min＜d＜d_max，则判断该特征点为正常点，不影响输电线路的安全性。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (9)

1.一种基于双目视觉的高压输电线路异物检测方法，其特征在于，包括以下步骤：

1)在输电线路下方布置平行光轴双目摄像头，仰视角度拍摄输电线路，并通过云台对摄像头进行角度调整，以便扩大检测范围；

2)对双目摄像头进行系统标定，获得双目摄像头的内参以及进行立体标定获得两台摄像头之间的相对位置关系矩阵；

3)为提高直线三维空间方程重建的准确性，将对直线重建与对异物特征点重建分开处理，对双目拍摄的图像先进行阈值化处理，然后根据图像中像素点的分布情况划分ROI区裁剪出输电线路所在区域；

4)对ROI区域进行Hough直线检测，提取出左视图和右视图中限定长度和宽度的直线；对直线进行补全，并通过相似性指标对左、右图中的直线进行一一匹配；采用双目立体视觉算法，通过标定得到的双目内参以及外参对匹配后的输电线路直线进行三维重建，建立输电线路的三维空间直线方程；

5)以特征点位置表征异物的位置，通过检测左、右两图中的特征点，通过特征点匹配算法实现点的匹配，然后根据双目内参以及外参计算出特征点的三维空间坐标；

6)通过计算特征点到所有三维空间直线方程的欧式距离，以此距离作为特征点到输电线路的距离，同时设定异常距离范围，若存在特征点到某一输电线路的距离在异常距离范围内，则判定该点为异常点，若特征点到所有输电线路的距离均在异常距离范围外，则判定该点为正常点。

2.根据权利要求1所述的一种基于双目视觉的高压输电线路异物检测方法，其特征在于：在步骤1)中，采用舵机云台和平行放置的双目摄像头，从下向上仰拍输电线路，保证背景的简单性，提高后续立体匹配算法的精确性，并通过云台调整角度实现对输电线路更广泛的拍摄视角。

3.根据权利要求1所述的一种基于双目视觉的高压输电线路异物检测方法，其特征在于：在步骤2)中，采用张正友标定法对双目摄像头内参数进行标定获得内参数，包括S_X、S_y、u₀、v₀、f，其中S_X、S_y是相机芯片单个像素的物理尺寸，u₀、v₀为光轴光心的像素坐标，f为相机的焦距；对双目摄像头相对位置关系进行立体标定，得到外参数R、T，其中R为旋转因子，T为平移因子。

4.根据权利要求1所述的一种基于双目视觉的高压输电线路异物检测方法，其特征在于：在步骤3)中，为减少背景因素的干扰，提高空间三维直线的重建精度，需先对图像分别进行自适应阈值化，图像上端由于背景为天空，白色像素点少，下部分由于有高压塔存在，白色像素点多，根据像素点分布，划分ROI区域，即输电线路存在区域。

5.根据权利要求1所述的一种基于双目视觉的高压输电线路异物检测方法，其特征在于：在步骤4)中，对提取ROI区域的左视图和右视图做概率Hough直线检测，设定检测的直线长度阈值为ROI图像高度的二分之一，从而将ROI图像中直线长度大于该阈值的直线检测出来并获得其两端点坐标(x₁,y₁)(x₂,y₂)，然后根据两端点坐标建立平面直线方程根据直线方程与图像尺寸信息在ROI图像中补全直线。

6.根据权利要求1所述的一种基于双目视觉的高压输电线路异物检测方法，其特征在于：在步骤4)中，根据左视图和右视图中的直线特征作为匹配基元，对左、右图中直线进行相似性度量，求出左、右图对应的匹配直线段对，对左、右图中匹配的第i条直线，通过最小二乘法重建出第i条直线的两端点p_i1、p_i2，点p_i1的三维坐标为(x_i1，y_i1，z_i1)，点p_i2的三维坐标为(x_i2，y_i2，z_i2)，进而计算获得第i条直线的三维空间方程l_i:

7.根据权利要求1所述的一种基于双目视觉的高压输电线路异物检测方法，其特征在于：在步骤5)中，检测左、右图像中的特征点，以特征点集合位置表征异物位置，通过特征描述向量的匹配实现对左、右图中特征点的匹配，从而实现对特征点的三维重建，进一步获得三维坐标形式的特征点集合P_t，图中任意特征点p_t(x_t,y_t,z_t)均满足p_t∈P_t，其中(x_t,y_t,z_t)为特征点p_t的三维坐标。

8.根据权利要求1所述的一种基于双目视觉的高压输电线路异物检测方法，其特征在于：在步骤6)中，通过矢量法计算特征点P到所有空间直线方程的欧式距离，定义点P的三维坐标为(x_P,y_P,z_P)，根据直线方程任取直线上两端点坐标A、B，其中点A的三维坐标为(x_A，y_A，z_A)，点B的三维坐标为(x_B，y_B，z_B)。通过点积公式计算与的夹角余弦值其中为点A与点P构成的向量，为点A与点B构成的向量， 为向量的模值，为向量的模值，为向量与向量之间的夹角的余弦值，然后计算向量与向量之间的夹角的正弦值进而计算特征点P到空间三维直线的欧式距离

9.根据权利要求1所述的一种基于双目视觉的高压输电线路异物检测方法，其特征在于：在步骤6)中，设定异常距离区间[d_min,d_max]，若特征点P到直线的欧式距离d_min＜d_P＜d_max，则将该特征点视为异常点；若特征点P到所有直线的欧式距离为d_P＜d_min，则视为输电线路上的点；若特征点P到直线的欧式距离d_P＞d_max，则视为不影响输电线路安全的非异常点；若某一特征点到某一输电线路距离在异常距离区间[d_min,d_max]内，则视该特征点为异常点；若某一特征点到所有输电线路距离均在异常距离区间[d_min,d_max]外，则视该特征点为正常点。