CN109410207B - 一种基于ncc特征的无人机巡线图像输电线路检测方法 - Google Patents

Abstract

本发明公开了一种基于NCC特征的无人机巡线图像输电线路检测方法，包括以下步骤：双目相机标定，分别获得左右相机的内、外参数矩阵以及双目相机的旋转矩阵与平移向量；接收两路相机的图像数据；对图像数据进行极线、畸变校正和灰度化、平滑预处理；对图像进行边缘特征与角点特征提取；对两路图像的边缘特征、角点特征进行匹配，获取视差图以及深度图；根据所述深度图进行图像分割，提取电力线路信息。本方法利用多个特征进行特征匹配，能够快速、准确地识别复杂自然环境中的电力线路。

Description

一种基于NCC特征的无人机巡线图像输电线路检测方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于NCC特征的无人机巡线图像输电线路检测方法。

背景技术

绝大多数电力线路暴露在复杂多变的自然环境中，受到各种自然灾害的威胁，对于电力线路故障如果不能及时得到检测与修复，将直接影响正常的生产活动。开展电力线路巡检有着重大的意义。

目前主要采用人工现场检测或者通过电力线路图像对电力线路故障进行检测，这种方式劳动强度大、主观性强。对于图像检测，主要集中在二维的层次进行检测，这种方式尚不能对复杂的自然背景与电力线路进行有效地分割，正确率得不到保证。

发明内容

本发明要解决的问题是：提供了一种基于NCC特征的无人机巡线图像输电线路检测方法，以解决现有技术人工现场检测或者通过电力线路图像检测劳动强度大、主观性强和正确率低的问题。

本发明的技术方案是：一种基于NCC特征的无人机巡线图像输电线路检测方法，包括以下步骤：

步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；

步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；

步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；

步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；

步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；

步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；

步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。

NCC(normalized cross correlation)算法，指归一化互相关匹配法，是基于图像灰度信息的匹配方法。

本发明的有益效果是：

(1)本发明对输电线路图像进行预处理，消除了图像中的噪点或畸变信息，减少了输入，去除了一些可能对结果产生影响的噪声干扰，也增强了有用的信息，有利于后续图像特征提取、图像识别等方法对图像的处理，增加了结果的可靠性；

(2)本发明能够准确地检测到输电线路的缺陷类型，且在对图像进行特征提取时采用PCA降维的方式，极大提高了图像检测效率；

(3)本发明能够准确地检测到输电线路的缺陷类型，且在对图像进行预处理前采用OpenCV算法得到输电线路图像的感兴趣区域，极大提高了图像检测效率。

附图说明

图1为本发明实施的流程图；

图2为本发明实施提供的双目图像灰度图；

图3为本发明实施提供的双目图像平滑图；

图4为本发明实施提供的特征检测算法活动图；

图5为本发明实施提供的输电线路特征检测效果图；

图6为本发明实施提供的极线校准图；

图7为本发明实施提供的特征匹配活动图；

图8为本发明实施提供的特征匹配效果；

图9为本发明实施提供的输电线路深度图像；

图10为本发明实施提供的灰度直方图；

图11为本发明实施提供的线路检测分割效果图。

具体实施方式

下面结合附图对本发明方法的实施方式做详细说明。

本发明采用的技术方案为：一种基于NCC特征的无人机巡线图像输电线路检测方法，包括以下步骤：

步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；

步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；

步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；

步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；

步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；

步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；

步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。

其中，步骤1中对左右相机进行立体标定，标定工具采用MATLAB的标定工具箱对双目相机进行标定，具体标定流程如下：

步骤1.1：打印一张黑白棋盘方格纸作，标定方格纸尺寸为200mm×200mm，将其平整地贴在平面板上作为标定板；

步骤1.2：通过拍摄棋盘格不同角度的图片，棋盘格转动的角度要保证在相机能拍摄到棋盘格的每个方格的范围内，共采集20对左右棋盘格图像对；

步骤1.3：分别对左、右相机进行单目标定，得到左、右相机的内参数、外参数及畸变参数；

步骤1.4：用MATLAB的标定工具箱来进行双目标定，获得左相机和右相机的内参数矩阵M、径向畸变参数(k₁,k₂,k₃)、切向畸变参数(p₁,p₂)；

其中：f_x，f_y分别称为x轴和y轴上的归一化焦距，c_x，c_y为图像原点相对于光心成像点的横纵偏移量。

步骤1.5：完成双目相机标定，得到双目相机标定后的内参数以及右相机相对于左相机的旋转矩阵、平移向量。

步骤2中对左、右两幅图像进行畸变校正和极线约束：畸变校正分为两部分，分别为径向畸变校正与切向畸变校正，校正公式如下：

径向畸变的校正：

x'＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y'＝y(1+k₁r²+k₂r⁴+k₃r⁶)

切向畸变的校正：

x'＝x+[2p₁y+p₂(r²+2x²)]

y'＝y+[p₁(r²+2y²)+2p₂x]

其中k₁、k₂、k₃为相机的径向畸变系数，p₁、p₂为相机的切向畸变系数，(x，y)为畸变点的原始位置，(x’,y’)为校正后的新位置，r为畸变点距离光学中心的距离。

步骤3中对左右两幅图像进行灰度化、平滑、锐化预处理分别如下：

步骤3.1：灰度化是将彩色图像转换为灰度图像的方法，在本发明中，彩色图像由红(R)、绿(G)、蓝(B)三种基色构成，本发明采用加权平均值法对彩色图像进行灰度化：

V_gray＝W_RR+W_GG+W_BB

其中，V_gray为灰度值，W_R＝0.30，W_G＝0.59，W_B＝0.11。

步骤3.2：图像的平滑处理采用中值滤波法，对于每一个像素点，以该点为中心创建一个3×3的模板，以该模板内所有像素的中值代替该像素点处的像素值。

步骤3.3：对于图像的锐化处理，采用近似的拉普拉斯锐化法，假设存在一幅图像f(x,y)，则其拉普拉斯算子为：

根据f(x,y)的一阶差分以及二阶差分，经过简化上式可以得到下式：

可以采用下式避免在处理图像的过程中因扩散而造成的图像模糊这一现象：

公式中的k是一个与扩散相关的系数，通常情况下k＝1，则可得其近似表达方式：

L(x,y)＝5f(x,y)-f(x-1,y)-f(x,y-1)-f(x+1,y)-f(x,y+1)

拉普拉斯锐化法在对凸显图像边缘的方法中效果最明显，并且不会受到图像灰度梯度值的干扰。

本发明中对图像进行灰度化、平滑预处理的结果如附图2和图3所示。

步骤4中特征点提取，构造特征向量，特征检测算法步骤如下：

步骤4.1：输入输电线路的左、右图像；

步骤4.2：对整个图像中的所有像素点采用改进的Harris角点检测算法计算

R值，采用最大容忍距离筛选出符合要求的特征点构成集合T₁；

步骤4.3：对整个图像进行基于Hough变换线段检测，对检测出的线段提取

其两个端点，所有线段的端点组成特征点集合T₂；

步骤4.4：对T₁、T₂进行合并剔除掉重复的特征点。

Harris角点检测算法：是取以某个像素点为中心的一个窗口，计算窗口沿垂直和水品方向移动后的灰度变化，并通过解析式描述。设以像素点(x,y)为中心的小窗口在X方向上变化u，Y方向上变化v，Harris算法所描述的灰度变化度量表达式如下：

其中A、B、C为常量，G_x,y为窗口内的灰度变化度量；

I为图像灰度函数。

将G_x,y化为二次型有：

其中：

通过对角化处理得到：

其中，R为旋转因子，其特征值λ₁和λ₂反映了两个主轴方向的图像表面曲率。

为了避免求矩阵M的特征值，可以采用Tr(M)和Det(M)来代替λ₁和λ₂，如果假设：

则矩阵M(x,y)的行列式和迹为：

Tr(M)＝λ₁+λ₂＝A+B

Det(M)＝λ₁λ₂＝AB-C²

Harris角点检测算法的角点响应函数R(x,y)表达式由此而得知：

R(x,y)＝Det(M)-k(Tr(M))²＝(AB-C²)-k(A+B)²

其中，k为大于零的参数，其取值一般为0.04。实际应用中，当目标像素点的R值比初始阈值R_t大时，该像素点即为角点。

改进的Harris角点检测算法为了消除k值的影响，通过改进响应函数R(x,y)，响应函数R是和自相关矩阵M有关的函数，与M的2个特征向量λ₁和λ₂有关。假如某一个被选取的像素点的自相关矩阵M的2个特征值λ₁和λ₂(λ₁λ≥0)，如果满足条件λ₁≈λ₂，那么R_**＝(λ₁-λ₂)²/(λ₁+λ₂)²的值趋于0，而且有0<R_**<1，且(λ₁-λ₂)²＝(λ₁+λ₂)²-4λ₁λ₂＝(tarce(M))²-4det(M)。假设R_*＝1-R_**，仍然成立0<R_*<1。由此可以得到关于R_*的表达式：

分母中ε为任何一个小的正数，本方法中取0.000001，不存在k值，解决了由于k值的不同对角点检测效果的影响。如果其中一个特征值趋于0，那么R也将趋于0；如果这2个特征值都非常小并且绝对差值相差不多，那么R值仍旧接近于0；如果这2个特征向量的值都很大时，R值就会相应增大。

本方法采用一种基于容忍距离的角点筛选方法来取代非极大值抑制法，该方法着眼于图像全局，不仅运算简单，而且无需设置筛选阈值，所得角点分布广泛而不稀疏，很大程度上解决了角点聚簇的干扰。改进的特征检测算法活动图如附图4所示，左相机的图像也称左图像，右相机的图像也称右图像，特征检测算法结果图如图5所示。

具体方法如下：

1)根据期望所得角点的密度大小设定一个容忍距离d(奇数，d只能取奇数)；创建一个和图像相同大小的矩阵corners用于记录改点是否为角点，并初始化为0；

2)对图像中所有像素计算R值；

3)计算corners矩阵中0值对应的图像位置的最大R值的像素集合，并判断集合是否为空：如果为空，结束运算；如果非空，依据从上往下、从左到右依次进行操作：以该像素为中心，d为边长的正方形中，设置该像素点对应的corners矩阵位置值为TRUE，设置正方形内其他像素对应的corners矩阵位置的非FALSE值为FALSE。

4)重复步骤3)的循环判断，如果集合为空，则结束运算退出循环；如果集合不为空，则继续循环。

步骤5中具体方法如下：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，如图6所示，通过计算像素点的NCC值，建立准确的特征匹配关系，改进特征匹配算法活动图如图7所示。

归一化互相关NCC值计算公式如下：

其中k、l是NCC运算的窗口尺寸，

是对应的窗口内灰度平均值，其公式为：

改进的归一化互相关计算公式如下，NCCF是改进的NCC值：

其中k、l是NCCF运算的窗口尺寸，II(u,v)是对应的窗口内灰度的平均值，其公式为：

记录计算所得结果为1的特征点对，即为匹配特征点。特征匹配结果如图8所示。

步骤6中根据步骤5中的正确匹配特征点进行视差计算，并根据旋转向量与平移向量映射到现实的世界坐标系中，得到其深度图，结果如图9所示：

对匹配的像素点进行视差计算：x_depth＝x^l-x^r，其中l为左图片，r为右图片。通过Z₀＝fT/x_depth以及相机标定后得到的内参数矩阵M和旋转向量、平移向量求得该点在空间中的真实坐标Z₀。其中，f为焦距，T为左右相机距离。

步骤7中具体方法如下：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。

根据深度图像的成像原理可知，在一幅图像中，距离拍摄者位置越近的物体其视差就会越大，相应地在深度图像中对应的像素就会越亮，即像素值越大。一般对输电线路进行图像采集的时候，双目相机是从上向下正对着输电线路进行俯拍。由此关系，我们需要提取的输电线路目标信息距离拍摄位置距离最近。根据对输电线路深度图像的灰度直方图进行分析，可以明显地看到输电线路目标和背景之间有着明显的峰值特性。

本方法采用双峰法对深度图像进行分割。双峰法的原理及其简单：一幅图像一般由目标区域和背景区域构成。通过对灰度直方图的分析，灰度直方图如图10所示。目标和背景都处在某个像素值的高峰上，最佳分割阈值往往存在于两峰之间的最低点处。双峰法采用确定双峰直方图的两峰之间的最低点来寻找图像的最佳分割阈值。当图像的分割阈值处在最低点时，图像分割一般会表现出良好的分割效果。从分割效果分析，当目标和背景的区分较为明显时，图像分割的效果最好。分割结果如图11所示。

Claims (3)

1.一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，包括以下步骤：

步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；

步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；

步骤2中对左、右两幅图像进行畸变校正和极线约束：畸变校正分为两部分，分别为径向畸变校正与切向畸变校正，校正公式如下：

径向畸变的校正：

x₀′＝x₀(1+k₁r²+k₂r⁴+k₃r⁶)

y₀′＝y₀(1+k₁r²+k₂r⁴+k₃r⁶)

切向畸变的校正：

x₀′＝x₀+[2p₁y₀+p₂(r²+2x₀ ²)]

y₀′＝y₀+[p₁(r²+2y₀ ²)+2p₂x₀]

其中k₁、k₂、k₃为相机的径向畸变系数，p₁、p₂为相机的切向畸变系数，(x₀，y₀)为畸变点的原始位置，(x₀’,y₀’)为校正后的新位置，r为畸变点距离光学中心的距离；

步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；

步骤3中对左右两幅图像进行灰度化、平滑、锐化预处理分别如下：

步骤3.1：灰度化是采用加权平均值法将彩色图像转换为灰度图像；

步骤3.2：图像的平滑处理采用中值滤波法，对于每一个像素点，以该点为中心创建一个3×3的模板，以该模板内所有像素的中值代替该像素点处的像素值；

步骤3.3：对于图像的锐化处理，采用拉普拉斯锐化法；

步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；

步骤4中特征点提取，构造特征向量，特征检测算法步骤如下：

步骤4.1：输入输电线路的左、右图像；

步骤4.2：对整个图像中的所有像素点采用改进的Harris角点检测算法计算R值，采用最大容忍距离筛选出符合要求的特征点构成集合T₁；

Harris角点检测算法：是取以某个像素点为中心的一个窗口，计算窗口沿垂直和水品方向移动后的灰度变化，并通过解析式描述；设以像素点(x,y)为中心的小窗口在X方向上变化u，Y方向上变化v，Harris算法所描述的灰度变化度量表达式如下：

其中A、B、C为常量，G_x,y为窗口内的灰度变化度量；

I为图像灰度函数；

将G_x,y化为二次型有：

其中：

通过对角化处理得到：

其中，R为旋转因子，其特征值λ₁和λ₂反映了两个主轴方向的图像表面曲率；

为了避免求矩阵M的特征值，可以采用Tr(M)和Det(M)来代替λ₁和λ₂，如果假设：

则矩阵M(x,y)的行列式和迹为：

Tr(M)＝λ₁+λ₂＝A+B

Det(M)＝λ₁λ₂＝AB-C²

Harris角点检测算法的角点响应函数R(x,y)表达式由此而得知：R(x,y)＝Det(M)-h(Tr(M))²＝(AB-C²)-h(A+B)²

其中，h为大于零的参数，取值为0.04；实际应用中，当目标像素点的R值比初始阈值R_t大时，该像素点即为角点；

改进的Harris角点检测算法为了消除h值的影响，通过改进响应函数R(x,y)，响应函数R是和自相关矩阵M有关的函数，与M的2个特征向量λ₁和λ₂有关；假如某一个被选取的像素点的自相关矩阵M的2个特征值λ₁和λ₂(λ₁λ≥0)，如果满足条件λ₁≈λ₂，那么R**＝(λ₁-λ₂)²/(λ₁+λ₂)²的值趋于0，而且有0<R**<1，且

(λ₁-λ₂)²＝(λ₁+λ₂)²-4λ₁λ₂＝Tr(M))²-4Det(M)；假设R_*＝1-R_**，仍然成立0<R_*<1；由此得到关于R_*的表达式：

分母中ε为任何一个小的正数，取0.000001，不存在h值；

步骤4.3：对整个图像进行基于Hough变换线段检测，对检测出的线段提取其两个端点，所有线段的端点组成特征点集合T₂；

步骤4.4：对T₁、T₂进行合并剔除掉重复的特征点；

步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；

步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；

步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。

2.根据权利要求1所述的一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，步骤5中计算像素点的NCC值归一化互相关计算公式如下：

其中k、l是NCC运算的窗口尺寸，

是对应的窗口内灰度平均值，其公式为：

改进的归一化互相关计算公式如下，NCCF是改进的NCC值：

其中k、l是NCCF运算的窗口尺寸，II(u,v)是对应的窗口内灰度的平均值，其公式为：

记录计算所得结果为1的特征点对，即为匹配特征点。

3.根据权利要求1所述的一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，步骤6中对匹配的像素点进行视差计算：

l r

x_depth＝xl-xr，其中l为左相机的图像，r为右相机的图像，通过Z0＝fT/xdepth以及相机标定后得到的内参数矩阵M和旋转向量、平移向量求得该点在空间中的真实坐标Z₀，其中，f为焦距，T为左右相机距离。

Images