CN109544501B - 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于无人机多源图像特征匹配的输电设备缺陷检测方法，包括对输电线路图像与标准图像进行图像配准，其中输电线路图像为无人机进行输电线路的巡检所拍摄获得；对进行图像配准后的输电线路图像进行图像识别，以获得输电线路图像的缺陷分析结果；对缺陷分析结果以及输电线路图像进行展示。通过上述方式，本发明能够对无人机图像进行图像配准，配准精度高，为后续的图像识别等图像处理工作提供便利，提高图像处理的效率；实现自动对输电线路进行缺陷的识别；自动对输电线路及缺陷分析结果进行展示，起到输电线路缺陷提前预警的作用，节省人力，提升效率。

Description

一种基于无人机多源图像特征匹配的输电设备缺陷检测方法

技术领域

本发明涉及输电线路缺陷检测技术领域，特别涉及一种基于无人机多源图像特征匹配的输电设备缺陷检测方法。

背景技术

电力系统是我国经济建议的重要基础和国民生活的重要保障，电力系统是否能够正常运行直接影响了国家经济发展和人民的生活质量。一套完整的电力供应系统包括配电、发电、送电、输电、用电等一系列相关设备。作为连接整个系统的主要部分，输电线路运行正常与否，影响了电力系统的稳定性和安全性。对输电线路进行巡检，及时检测线路设备缺陷状态，保证电网安全稳定运行。目前输电线路巡检方式主要有3种：人工巡检、直升机巡检和无人机巡检。

其中对于无人机所拍摄获取的图像，由于不同时间段、不同拍摄距离、不同拍摄视角、不同成像机理等因素，无人机所拍摄的图像可能会存在平移、拉伸、缩放等空间变换关系，没有在同一坐标下严格对齐，无法进行后续的图像识别等图像处理工作。现有对于无人机图像通常是采用人工检测识别的方式，通过人工识别图像上是否存在输电线路缺陷，没有进行图像识别前的图像配准工作，导致后续的图像识别等图像处理工作效率低下、人工识别工作强度大，浪费大量的人力；现有对于输电线路图像的人工识别工作强度大；同时缺乏对输电线路设备缺陷的自动预警。

发明内容

本发明主要解决的技术问题是提供一种基于无人机多源图像特征匹配的输电设备缺陷检测方法，能够对无人机图像进行图像配准，配准精度高，为后续的图像识别等图像处理工作提供便利，提高图像处理的效率；实现自动对输电线路进行缺陷的识别；自动对输电线路及缺陷分析结果进行展示，起到输电线路缺陷提前预警的作用，节省人力，提升效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于无人机多源图像特征匹配的输电设备缺陷检测方法，包括：对输电线路图像与标准图像进行图像配准，其中输电线路图像为无人机进行输电线路的巡检所拍摄获得；对进行图像配准后的输电线路图像进行图像识别，以获得输电线路图像的缺陷分析结果；对缺陷分析结果以及输电线路图像进行展示。

进一步地，对输电线路图像进行图像配准的步骤中输电线路图像为待配准图像，对输电线路图像与标准图像进行图像配准的步骤具体包括：根据SIFT算法对待配准图像以及标准图像分别进行特征检测，以获得待配准图像以及标准图像对应的图像特征点；根据最近邻方法对图像特征点进行特征点匹配，以获得待配准图像以及标准图像之间匹配的图像特征点；根据仿射变换对匹配的图像特征点进行空间坐标变换，进一步根据最小二乘法获得空间坐标变换对应的空间坐标变换参数；根据空间坐标变换参数对待配准图像进行坐标变换，以使待配准图像与标准图像处于同一坐标系下。

进一步地，根据SIFT算法对待配准图像以及标准图像分别进行特征检测的步骤具体包括：检测待配准图像以及标准图像对应的尺度空间极值点；从尺度空间极值点中确定图像特征点；提取图像特征点的主方向；根据图像特征点的主方向获得图像特征点的特征描述符。

进一步地，对进行图像配准后的输电线路图像进行图像识别的步骤具体包括：输入输电线路图像；提取输电线路图像的多个候选区域；提取候选区域的特征；利用分类器对特征进行分类，以确定特征是否符合一个类别；对符合类别的特征对应的候选区域进行边框回归。

进一步地，提取输电线路图像的多个候选区域的步骤具体包括：利用选择性搜索算法在输电线路图像中提取多个候选区域。

进一步地，在利用选择性搜索算法在输电线路图像中提取多个候选区域的步骤之后还包括：将多个候选区域缩的尺寸大小缩放成预设尺寸大小；提取候选区域的特征的步骤具体包括：将缩放后的各个候选区域输入到卷积神经网络提取对应的CNN特征；利用分类器对特征进行分类的步骤具体包括：将CNN特征输入到SVM分类器进行分类。

进一步地，提取候选区域的特征的步骤具体包括：将输电线路图像输入到卷积神经网络以获得特征图；将候选区域在特征图上的映射输入到SPP层以获得特征向量；将特征向量输入到全连接层以获得特征。

进一步地，提取输电线路图像的多个候选区域的步骤具体包括：将输电线路图像输入到卷积神经网络以获得特征图；将特征图输入到RPN以获得多个候选区域。

进一步地，提取候选区域的特征的步骤具体包括：将候选区域输入到ROI Pooling层以获得特征向量；将特征向量输入到全连接层以获得特征。

进一步地，缺陷分析结果以及输电线路图像具体通过一输电线路缺陷预警系统进行展示，输电线路缺陷预警系统为基于web应用程序。

本发明的有益效果是：区别于现有技术的情况，本发明所公开的基于无人机多源图像特征匹配的输电设备缺陷检测方法，通过对输电线路图像与标准图像进行图像配准，为后续的图像识别等图像处理工作提供便利，提高图像处理的效率；此外对进行图像配准后的输电线路图像进行图像识别，实现自动对输电线路进行缺陷的识别；自动对输电线路及缺陷分析结果进行展示，起到输电线路缺陷提前预警的作用，节省人力，提升效率。

附图说明

图1是本发明基于无人机多源图像特征匹配的输电设备缺陷检测方法的步骤示意图；

图2是本发明基于无人机多源图像特征匹配的输电设备缺陷检测方法中S1的步骤示意图；

图3是本发明基于无人机多源图像特征匹配的输电设备缺陷检测方法中输电线路缺陷预警系统的原理框图。

具体实施方式

请参阅图1，本发明的基于无人机多源图像特征匹配的输电设备缺陷检测方法包括以下步骤：

S1：对输电线路图像与标准图像进行图像配准。

图像配准是一种寻找同一场景的两幅或多幅图像之间的空间变换关系，并对其中的一幅或多幅图像进行变换的过程。图像配准是所有图像分析任务中最为关键和基础的步骤，是图像拼接、图像重建、图像识别等应用的前提。由于不同时间段、不同拍摄距离、不同拍摄视角、不同成像机理等因素，无人机所拍摄的图像可能会存在平移、拉伸、缩放等空间变换关系，没有在同一坐标下严格对其，因此需要在图像融合前进行图像配准。

其中输电线路图像为无人机进行输电线路的巡检所拍摄获得，该步骤中输电线路图像具体为待配准图像，请参阅图2，该步骤S1具体包括：

S11：根据SIFT算法对待配准图像以及标准图像分别进行特征检测，以获得待配准图像以及标准图像对应的图像特征点。

S11的具体过程为：

(1)检测待配准图像以及标准图像对应的尺度空间极值点。具体过程包括：

生成待配准图像以及标准图像对应的尺度空间，尺度空间表示为L(x,y,σ)，尺度空间定义为一个尺度可变的高斯函数与待配准图像、标准图像I(x，y)的卷积，如下式所示：其中表示卷积运算，(x，y)表示图像的像素位置，其中为尺度可变的高斯函数，σ表示尺度空间因子；根据不同的图像采样距离构建尺度空间对应的金字塔，即在第一次采样时每0.5个像素距离进行采样，之后以成倍的图像采样距离即1、2、4个像素距离分别对图像采样来产生第二、三、四组的图像，构建上述金字塔的分层结构。

对金字塔采用不同的尺度空间因子(也即高斯滤波因子)进行滤波，构建高斯金字塔的分层结构；根据高斯金字塔构建高斯差分金字塔，具体为将每组中相邻图像进行相减生成高斯差分金字塔，其中高斯差分金字塔对应的高斯差分函数DOG可以通过下式运算得到，其中k为常数：

在高斯差分金字塔中提取尺度空间极值点，在提取尺度空间极值点时，样本点不仅要与本层中相邻的8个像素点比较，还要与上下相邻两层中各9个像素点进行比较。

(2)从尺度空间极值点中确定图像特征点。

为了确定图像特征点的位置，需要去除对比度比较低的图像特征点以及不稳定的边缘响应点，具体可通过拟合三维二次函数来实现这一操作，以增强匹配的稳定性，同时能够提高抗噪声能力。

(3)提取图像特征点的主方向。

利用图像特征点周围图像的梯度方向分布统计来确定图像特征点的主方向，使得SIFT算子具有旋转不变的性能。下式为(x,y)处梯度的幅值m(x，y)和方向θ(x，y)公式，其中L所用的尺度为每个图像特征点各自所在的尺度。计算时需要对以图像特征点为中心的窗口图像进行采样，根据直方图统计窗口图像内所有像素的梯度方向。梯度直方图统计范围是0～360度，选择直方图的峰值代表该特征点处邻域梯度的主方向，同时作为图像特征点的主方向。在梯度方向直方图中，如果存在另一个峰值，且该峰值相当于主峰值的80％，可以把这个方向看作图像特征点的辅方向。

θ(x，y)＝atan2((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-l，y)))

(4)根据图像特征点的主方向获得图像特征点的特征描述符。

根据图像特征点的主方向周围的像素点得到特征描述符，在每4×4的小块内计算出八个方向的梯度方向直方图，并统计每个梯度方向的累计值，得到一个种子点，一个图像特征点由2×2共4个种子点构成，每个种子点有8个方向的向量值。为了进一步增强特征匹配的鲁棒性，可以对每个图像特征点使用4×4共16个种子点的方式进行特征描述，即每个图像特征点产生128维的特征向量，该特征向量即为图像特征点的特征描述符。

采用128维的维度对图像特征点进行描述，使得特征点描述符之间具有很大的差异性，可直接利用图像特征点之间的几何特性进行图像特征点的匹配，具体如下步骤S12所示。

S12：根据最近邻方法对图像特征点进行特征点匹配，以获得待配准图像以及标准图像之间匹配的图像特征点。

根据最近邻方法(Nearest Neighbor，NN)对图像特征点进行特征点匹配，该步骤S12具体包括以下子步骤：

(1)计算待配准图像的特征描述符与标准图像的特征描述符之间的最近邻欧氏距离与次近邻欧氏距离。

(2)判断最近欧氏距离与次近邻欧氏距离的比值是否小于预设阈值，若比值小于预设阈值，则相应的图像特征点为待配准图像以及标准图像之间匹配的图像特征点，也即接受这一对匹配点。

S13：根据仿射变换对匹配的图像特征点进行空间坐标变换，进一步根据最小二乘法获得空间坐标变换对应的空间坐标变换参数。

仿射变换(Affine Transform)可以通过一系列变换的复合来实现，包括：缩放、旋转、平移和剪切。该类变换可以用一个3×3的矩阵来表示，其最后一列为(0,0,1)。该变换矩阵将原坐标(x,y)变换为新坐标(x',y')，这里原坐标和新坐标皆为最后一列为(0,0,1)的三维行向量，原行向量右乘变换矩阵得到新的行向量，具体如下式所示：

需要计算的空间坐标变换参数即仿射变换参数G(tx,ty,s)(其中tx和ty分别是横纵坐标的平移量，s是缩放量)，就是使一个点集中的点经过变换后的坐标与另一个点集中对应的点的坐标欧氏距离的平方和S(tx,ty,s)最小的变换，该空间坐标变换参数通过最小二乘法可求得。

此外，可通过互信息相似性测度提高图像配准的速度和精度。相似测度的选择很大程度上依赖于特征空间的选择，当两幅图像的空间位置达到一致时，其中一幅图像表达另一幅图像的信息，即其互信息应为最大。设A为待配准图像，B为标准图像，边缘概率分别为PA(a)和PB(b)，联合概率分布为PAB(a,b)，互信息为MI(A,B)：

选择比互信息测度更稳定的归一化互信息测度：

S14：根据空间坐标变换参数对待配准图像进行坐标变换，以使待配准图像与标准图像处于同一坐标系下。

在获得空间坐标变换参数后，对待配准图像进行相应的坐标变换使得待配准图像与标准图像处于同一坐标系下，完成图像配准。当待配准图像变换后所得点的坐标不为整数时，则应进行双线性插值处理。

S2：对进行图像配准后的输电线路图像进行图像识别。

本实施例的图像识别方法为基于深度学习的目标检测算法，目标检测(objectdetection)就是在给定的图片中精确找到物体所在位置，并标注出物体的类别；本发明通过对输电线路图像进行图像识别，以获得输电线路图像的缺陷分析结果，即确定出输电线路的杆塔、导线、绝缘子、线路金具等目标的缺陷。

本步骤S2具体可通过以下五种方法进行图像识别工作：

步骤S2的第一种方法包括以下步骤：

(1)输入输电线路图像，可以理解，该输电线路图像为上述进行图像配准后的输电线路图像。

(2)提取输电线路图像的多个候选区域。

候选区域(Region Proposal)是预先找出图像中目标可能出现的位置，候选区域利用了图像中的纹理、边缘、颜色等信息，可以在选取较少窗口的情况下保持较高的召回率。

(3)提取候选区域的特征。

进一步提取上述候选区域的特征。

(4)利用分类器对特征进行分类。

利用分类器对特征进行分类，以确定特征是否符合一个类别，即确定输电线路图像的多个候选区域是否属于某一个缺陷类别。

(5)对符合类别的特征对应的候选区域进行边框回归。

边框回归(Bounding-Box Regression)为对窗口的位置进行调整，对符合某一个类别的特征对应的候选区域进行边框回归，以使其更接近真实的窗口位置，实现对目标对象的精准定位。

步骤S2的第一种方法能够自动对输电线路图像进行缺陷的识别，通过分类器具体识别出缺陷的类别，以及通过边框回归修正确定缺陷的位置，节省人力，提升效率。

步骤S2的第二种方法包括以下步骤：

(1)输入输电线路图像。

(2)利用选择性搜索算法在输电线路图像中提取多个候选区域。

利用选择性搜索算法(selective search)在输电线路图像中提取多个候选区域，其中候选区域的数量可为2000个左右。

(3)将多个候选区域缩的尺寸大小缩放成预设尺寸大小。

其中，候选区域所缩放成的预设尺寸大小具体可为227×227。

(4)将缩放后的各个候选区域输入到卷积神经网络提取对应的CNN特征。

将缩放后的各个候选区域输入到卷积神经网络(Convolutional NeuralNetwork，CNN)，提取对应的CNN特征，其中卷积神经网络的最后一层的全连接层fully-connected layers(fc7层)所输出的特征即为CNN特征。

(5)将CNN特征输入到SVM分类器进行分类。

将上述的CNN特征输入到SVM(Support Vector Machine，支持向量机)分类器对各个候选区域进行分类，以确定输电线路图像的多个候选区域是否属于某一个缺陷类别。

(6)对符合类别的特征对应的候选区域进行边框回归。

步骤S2的第二种方法为基于R-CNN的目标检测算法，依据图像识别的评估方法-mAP(meanAveraged Precision)，在PASCAL VOC2007上的检测结果的准确率mAP约为66％，具有较高的识别率，通过分类器具体识别出缺陷的类别，以及通过边框回归修正确定缺陷的位置，节省人力，提升效率。

步骤S2的第三种方法包括以下步骤：

(1)输入输电线路图像。

(2)利用选择性搜索算法在输电线路图像中提取多个候选区域。

(3)将输电线路图像输入到卷积神经网络以获得特征图。

将(1)的输电线路图像输入到卷积神经网络进行卷积池化操作，以获得输电线路图像对应的特征图。

(4)将候选区域在特征图上的映射输入到SPP层以获得特征向量。

获取(2)的候选区域在上述特征图上的映射，该映射即为候选区域在特征图上对应的位置区域，将各个映射输入到SPP(Spatial PyramidPooling，空间金字塔采样)层以获得特征向量，SPP层具体将每个映射划分为4*4,2*2,1*1的块，然后每个块使用max-pooling下采样，这样每个映射经过SPP层后都得到一个长度为(4*4+2*2+1)*512维度的特征向量。

(5)将特征向量输入到全连接层以获得特征。

将(4)的特征向量输入到全连接层以获得特征，具体为两个相邻的全连接层(fc6层、fc7层)，最后一层的全连接层(fc7层)输出上述特征。

(6)利用分类器对特征进行分类。

该步骤具体可利用SVM分类器对特征进行分类。

(7)对符合类别的特征对应的候选区域进行边框回归。

步骤S2的第三种方法为基于SPP-NET(Spatial Pyramid Pooling in DeepConvolutional Networks for Visual Recognition)的目标检测算法，上述第二种方法检测一张图像大约需要47秒，其需要对每个候选区域进行卷积池化操作以提取特征，而第三种方法只需对输电线路图像进行一次卷积池化操作，相对第二种方法提高了图像识别的速度。

步骤S2的第四种方法包括以下步骤：

(1)输入输电线路图像。

(2)利用选择性搜索算法在输电线路图像中提取多个候选区域。

(3)将输电线路图像输入到卷积神经网络以获得特征图。

(4)将候选区域在特征图上的映射输入到ROI Pooling层以获得特征向量。

ROI Pooling层对每个候选区域的映射进行下采样以获得一个7*7*512维度的特征向量。

(5)将特征向量输入到全连接层以获得特征。

(6)利用分类器对特征进行分类。

该步骤具体包括：将特征输入到softmax分类器进行分类。softmax分类器以多项式分布(Multinomial Distribution)为模型建模的，它可以分多种互斥的类别。

(7)对符合类别的特征对应的候选区域进行边框回归。

步骤S2的第四种方法为基于Fast R-CNN的目标检测算法，与上述第三种方法相比，本方法加入了一个ROI Pooling层，此外损失函数使用了多任务损失函数(multi-taskloss)，将边框回归直接加入到CNN网络中训练，使得整个训练过程是端到端的(上述S42提取候选区域阶段除外)，整个网络的训练和测试十分方便。本方法在Pascal VOC2007训练集上训练，在VOC2007测试的结果为66.9％(mAP)，在VOC2007+2012训练集上训练，在VOC2007上相应的测试结果约为70％(数据集的扩充能提高目标检测性能)。本方法检测每张图像大约需要3秒左右。

步骤S2的第五种方法包括以下步骤：

(1)输入输电线路图像。

(2)将输电线路图像输入到卷积神经网络以获得特征图。

(3)将特征图输入到RPN以获得多个候选区域。

将(2)的特征图输入到RPN(Region Proposal Networks)网络以获得多个候选区域。RPN的核心思想是使用卷积神经网络直接产生候选区域，使用的方法本质上为滑动窗口。

(4)将候选区域输入到ROI Pooling层以获得特征向量。

(5)将特征向量输入到全连接层以获得特征。

(6)利用分类器对特征进行分类。

本步骤具体可通过softmax分类器对特征进行分类。

(7)对符合类别的特征对应的候选区域进行边框回归。

步骤S2的第五种方法为基于Faster R-CNN的目标检测算法。本方法将RPN获得的候选区域直接连到ROI Pooling层，实现一个网络内的端到端目标检测的框架。本方法在VOC07+12训练集训练，其相应的测试mAP达到73.2％，目标检测的速度可以达到每秒5帧，相比上述第四种方法速度有较大提升。

S3：对缺陷分析结果以及输电线路图像进行展示。

本实施例的缺陷分析结果以及输电线路图像具体通过一输电线路缺陷预警系统进行展示，输电线路缺陷预警系统为基于web应用程序。web应用程序是一种可以通过web访问的应用程序，用户可通过浏览器即可访问本实施例的输电线路缺陷预警系统。由于Web应用程序为在浏览器窗口中运行，因此可以在例如Windows、Mac、Linux等跨平台使用浏览上述输电线路缺陷预警系统，也可以使用手机或平板电脑的浏览器使用。本实施例的基于web的输电线路缺陷预警系统具体可采用Linux系统与Python Web开发框架。

请参阅图3，该输电线路缺陷预警系统具体包括：数据接收模块11、数据存储模块12、数据发送模块13以及缺陷预警模块14。其中数据存储模块12分别与数据接收模块11、数据发送模块13连接，缺陷预警模块14分别与数据接收模块11、数据发送模块连接13。上述各模块的功能具体如下所述：

数据接收模块11用于接收用户上传的输电线路图像，输电线路图像中包含有该图像对应的GPS信息即位置信息。数据接收模块11具体可用于接收用户上传的批量的输电线路图像，即用户可利用手机、电脑等设备的网络浏览器，通过压缩包或多张图片等形式批量上传输电线路图像。

数据存储模块12用于存储上述数据接收模块所接收的输电线路图像。该数据存储模块12具体可采用MongoDB，MongoDB是一个基于分布式文件存储的数据库；另外数据存储模块12也可采用Haystack数据库，Haystack架构主要有三个部分：Haystack Directory，Haystack Store以及Haystack Cache。Haystack Store是物理存储节点，以物理卷轴(physical volume)的形式组织存储空间，每个物理卷轴一般很大，比如100GB，这样10TB的数据也只有100个物理卷轴。每个物理卷轴对应一个物理文件，因此，每个存储节点上的物理文件元信息都很小。多个物理存储节点上的物理卷轴组成一个逻辑卷轴(logicalvolume)，用于备份。Haystack Directory存放逻辑卷轴和物理卷轴的对应关系，假设每个卷轴的大小为100GB，对应关系的条数为20PB/100GB＝0.2MB，占用的内存可以忽略。Haystack cache主要用于解决对CDN提供商过于依赖的问题，提供最近增加的图片的缓存服务。当然，在其他实施例中，也可采用其他类型的数据库作为数据存储模块12，此处不作过多限制。

数据发送模块13用于将数据存储模块12所存储的输电线路图像发送至一图像分析平台，该图像分析平台即为上述执行步骤S2的平台；可以理解，在数据接收模块11接收输电线路图像以及数据发送模块13发送输电线路图像之间，该输电线路图像执行了上述步骤S1的图像配准操作，具体可通过将数据发送模块13将输电线路图像发送相应执行步骤S1的平台进行图像配准操作。数据接收模块11还用于进一步接收图像分析平台所获得的缺陷分析结果。常见的输电线路缺陷主要有：销钉缺失、螺母松脱、导线散股、导线断股、异物悬挂、防振锤滑移、绝缘子破损、鸟窝等缺陷。输电线路图像的缺陷分析结果包括：输电线路正常、输电线路异常(即输电线路存在缺陷、故障)；此外在缺陷分析结果为输电线路异常时，可进一步标识具体的输电线路缺陷情况。

缺陷预警模块14用于对上述数据接收模块11所接收的缺陷分析结果以及输电线路图像进行展示，以使输电线路缺陷预警系统的用户能够了解到输电线路的状况，节省人力，提升效率，起到输电线路缺陷提前预警的作用。具体地，缺陷预警模块14具体可只展示输电线路异常的缺陷分析结果以及对应的输电线路图像，也可展示全部的缺陷分析结果以及对应的输电线路图像。

此外，本实施例的输电线路缺陷预警系统还包括账户信息管理模块15，账户信息管理模块15分别与数据接收模块11、数据发送模块13连接。账户信息管理模块15用于根据数据接收模块11接收的用户名以及邮箱生成初始登录密码，用户名以及邮箱即对应为用户的注册信息；进一步通过数据发送模块13向上述邮箱发送初始登录密码以及修改初始登录密码的通知信息，用户即可登录输电线路缺陷预警系统，修改上述初始登录密码为其他登录密码，登录密码具体可限定须包括数字、英文字母以及符号，以提高登录密码的安全性。另外，账户信息管理模块15还用于在用户忘记登录密码时通过数据发送模块13向邮箱发送密码重设信息，用户通过登录其对应的邮箱即可进行密码的找回、重设。用户通过用户名以及登录密码即可登录本实施例的输电线路缺陷预警系统，上传相关数据以及浏览所展示的输电线路图像及缺陷分析结果等。

上述数据接收模块11还用于接收输电线路杆塔坐标数据，数据存储模块12进一步存储输电线路杆塔坐标数据，输电线路杆塔坐标数据为表明输电线路杆塔所在的位置信息。输电线路杆塔坐标数据具体可通过CSV文件汇入，输电线路杆塔坐标数据记录于一CSV(Comma-Separated Values，逗号分隔值)文件中，数据接收模块接收CSV文件。

对于缺陷分析结果为输电线路异常的输电线路图像，上述缺陷预警模块14用于根据相应输电线路图像的GPS信息以及输电线路杆塔坐标数据进行输电线路巡视缺陷的故障定位，即寻找输电线路图像的GPS信息对应匹配输电线路杆塔坐标数据，并生成相应的故障定位信息，该故障定位信息包括输电线路的位置信息，进一步通过数据发送模块13向邮箱发送故障定位信息，使得用户能够了解存在缺陷的输电线路的位置，以及时对存在缺陷的输电线路进行检修。在其他实施例中，可在用户的注册信息中添加手机号码，也可向用户的手机号码发送故障定位信息，以保证用户了解输电线路的故障的及时性。

为了便于清理较早之前的输电线路图像，本实施例的输电线路图像在数据存储模块12具有预设的存储期限，当输电线路图像在数据存储模块12的存储时间超出预设的存储期限时，数据存储模块12删除输电线路图像。例如预设的存储期限为30天，当输电线路图像a在数据存储模块12的存储时间超出30天时，数据存储模块12即删除该输电线路图像a。

为了便于数据存储模块12的管理，数据存储模块12还用于将输电线路图像、输电线路图像对应的缺陷分析结果以及与输电线路图像对应的输电线路杆塔进行匹配分类存储，其中输电线路图像对应的输电线路杆塔也即属于同一位置的输电线路与输电线路杆塔：输电线路图像的GPS信息与输电线路杆塔坐标数据相对应。例如将输电线路图像b、b对应的缺陷分析结果以及b对应的输电线路杆塔c作为一组匹配数据进行存储，将输电线路图像d、d对应的缺陷分析结果e以及d对应的输电线路杆塔f作为另一组匹配数据进行存储，以便于数据的调取、展示。

此外针对缺陷分析结果可能存在误判的情况，将原本存在缺陷的输电线路图像识别为正常或者将原本正常的输电线路识别为异常的情况，本实施例的数据接收模块11还用于接收用户上传的缺陷反馈结果，数据存储模块12存储缺陷反馈结果，将缺陷反馈结果替换掉原来的缺陷分析结果，其中缺陷反馈结果为在缺陷预警模块展示输电线路图像以及缺陷分析结果后用户所生成的。例如展示了输电线路图像g，以及g对应的缺陷分析结果为“输电线路正常”，用户通过观看输电线路图像g，判断得到g实际存在缺陷，即g正确的缺陷分析结果应该为“输电线路异常”，此时用户编辑生成缺陷反馈结果“输电线路图像g为输电线路异常”，数据存储模块12相应将原来的缺陷分析结果进行更新替换。此外还可将上述缺陷反馈结果发送到图像分析平台，图像分析平台进行样本迭代训练以提高其识别精准度。通过上述方式，实现对输电线路图像缺陷的人工二次验证，解决了图像分析平台的误判情况。

综上所述，本发明基于无人机多源图像特征匹配的输电设备缺陷检测方法通过对输电线路图像与标准图像进行图像配准，为后续的图像识别等图像处理工作提供便利，提高图像处理的效率；此外对进行图像配准后的输电线路图像进行图像识别，实现自动对输电线路进行缺陷的识别；自动对输电线路及缺陷分析结果进行展示，起到输电线路缺陷提前预警的作用，节省人力，提升效率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于无人机多源图像特征匹配的输电设备缺陷检测方法，其特征在于，包括：

对输电线路图像与标准图像进行图像配准，其中所述输电线路图像为无人机进行输电线路的巡检所拍摄获得；对输电线路图像进行图像配准的步骤中输电线路图像为待配准图像，所述对输电线路图像与标准图像进行图像配准的步骤具体包括：

根据SIFT算法对待配准图像以及标准图像分别进行特征检测，以获得所述待配准图像以及标准图像对应的图像特征点；根据最近邻方法对所述图像特征点进行特征点匹配，以获得所述待配准图像以及标准图像之间匹配的图像特征点；根据仿射变换对所述匹配的图像特征点进行空间坐标变换，进一步根据最小二乘法获得所述空间坐标变换对应的空间坐标变换参数；根据所述空间坐标变换参数对所述待配准图像进行坐标变换，以使所述待配准图像与所述标准图像处于同一坐标系下；

所述根据SIFT算法对待配准图像以及标准图像分别进行特征检测的步骤具体包括：

检测所述待配准图像以及标准图像对应的尺度空间极值点；从所述尺度空间极值点中确定所述图像特征点；提取所述图像特征点的主方向；根据所述图像特征点的主方向获得所述图像特征点的特征描述符；

对进行所述图像配准后的所述输电线路图像进行图像识别，以获得所述输电线路图像的缺陷分析结果；所述对进行所述图像配准后的输电线路图像进行图像识别的步骤具体包括：

输入所述输电线路图像；提取所述输电线路图像的多个候选区域；提取所述候选区域的特征；利用分类器对所述特征进行分类，以确定所述特征是否符合一个类别；对符合所述类别的特征对应的候选区域进行边框回归；

对所述缺陷分析结果以及输电线路图像进行展示；所述缺陷分析结果以及输电线路图像具体通过一输电线路缺陷预警系统进行展示，所述输电线路缺陷预警系统为基于web应用程序。

2.根据权利要求1所述的方法，其特征在于，所述提取所述输电线路图像的多个候选区域的步骤具体包括：利用选择性搜索算法在所述输电线路图像中提取多个候选区域。

3.根据权利要求2所述的方法，其特征在于，在所述利用选择性搜索算法在所述输电线路图像中提取多个候选区域的步骤之后还包括：将所述多个候选区域缩的尺寸大小缩放成预设尺寸大小；

所述提取所述候选区域的特征的步骤具体包括：将缩放后的各个所述候选区域输入到卷积神经网络提取对应的CNN特征；

所述利用分类器对所述特征进行分类的步骤具体包括：将所述CNN特征输入到SVM分类器进行分类。

4.根据权利要求2所述的方法，其特征在于，所述提取所述候选区域的特征的步骤具体包括：将所述输电线路图像输入到卷积神经网络以获得特征图；将所述候选区域在所述特征图上的映射输入到SPP层以获得特征向量；将所述特征向量输入到全连接层以获得所述特征。

5.根据权利要求1所述的方法，其特征在于，所述提取所述输电线路图像的多个候选区域的步骤具体包括：将所述输电线路图像输入到卷积神经网络以获得特征图；将所述特征图输入到RPN以获得多个候选区域。

6.根据权利要求5所述的方法，其特征在于，所述提取所述候选区域的特征的步骤具体包括：将所述候选区域输入到ROI Pooling层以获得特征向量；将所述特征向量输入到全连接层以获得所述特征。

Images