CN112115770A - 一种用于架空线路无人机自主巡检缺陷识别的方法及系统 - Google Patents
一种用于架空线路无人机自主巡检缺陷识别的方法及系统 Download PDFInfo
- Publication number
- CN112115770A CN112115770A CN202010779989.6A CN202010779989A CN112115770A CN 112115770 A CN112115770 A CN 112115770A CN 202010779989 A CN202010779989 A CN 202010779989A CN 112115770 A CN112115770 A CN 112115770A
- Authority
- CN
- China
- Prior art keywords
- points
- image
- inspection image
- feature
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于架空线路无人机自主巡检缺陷识别的方法及系统,其中方法包括:获取固化航线巡检当次巡检图像及相同位置的历史图像;在所述当次巡检图像和所述历史图像中分别生成关键点;对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配,将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点;通过深度学习模型在所述当次巡检图像中定位出电力设备的最小外接矩形区域;将所述最小外接矩形区域内属于背景的特征点删除;以及基于所述最小外接矩形区域中剩余的特征点的概率分布,识别所述最小外接矩形区域内的电力设备是否存在缺陷。
Description
技术领域
本发明涉及架空电力线路无人机自主巡检缺陷识别技术领域,并且更具体地,涉及一种用于架空线路无人机自主巡检缺陷识别的方法及系统。
背景技术
近年来,无人机被广泛的用于电力巡检,然而当无人机巡检时,作业人员必须前往杆塔及线路附近采用手持遥控的操作,限制了作业效率的提升。对巡检图片人员主观审核也容易产生疏漏以及误判。历史巡线数据不具备可积累性,造成数据价值流失。目前通常采用基于深度学习的算法来识别巡检图像的设备,已经基本实现了对巡检图片中各类设备的准确识别定位。但是输电线路上正常的设备占绝大多数,发生缺陷的部位相对设备整体区域较小,设备缺陷的识别或受到附近同型号正常设备目标的干扰,目标电力设备所在的背景纹理复杂,以上因素皆会导致电力设备状态判断困难,缺陷识别误报率较高,无法满足行业应用需求。
输电线路上设备有数百种,不同塔型设备不同,但各电力运维单位负责的线路相对固定,且会对同一线路进行定期巡检。通过北斗千寻|、差分GPS等技术,已可以使无人机的定位精度达到厘米级。通过合理规划巡检航线,无人机在杆塔附近设计位置悬停,控制可见光相机变焦精细采集待检视区域绝缘子,联接金具,销钉螺母等设备的局部高清图像。通过固化巡检航线,在相同的距离和角度拍摄输电线路,使目标设备居中显示,图像背景相对统一,通过当次巡检图片与历史巡检图片对比分析的方式识别设备发生的变化,可大幅提升深度学习设备识别的精度。
定点拍摄目标不同时期的图像,对比判断目标状态变化的技术,在室内应用场景已经成熟,但是用于无人机巡检图像处理还存在以下问题:1.现有的基于坐标的航线无法保证无人机与杆塔的相对姿态完全一致,使图像中设备相对历史图像存在一定的偏移、尺度、角度等变化;2.不同季节巡检,拍摄的图像的背景变化3.不同天气、光照条件下拍摄,图片亮度、对比度等会发生变化。以上问题会导致传统图像处理中的帧差分法和变化检测算法失效,无法稳定提取出目标设备判断设备缺陷。
因此,需要一种技术,从固定航线相同位置不同时期巡检图像中稳定地提取出电力设备,通过对比判别的方式,以对架空线路无人机自主巡检图像中的电力设备缺陷进行识别。
发明内容
本发明技术方案提供一种用于架空线路无人机自主巡检缺陷识别的方法及系统,以解决架空线路无人机自主巡检图像中的电力设备缺陷识别的问题。
为了解决上述问题,本发明提供了一种用于架空线路无人机自主巡检缺陷识别的方法,所述方法包括:
获取固化航线巡检当次巡检图像及相同位置的历史图像;
在所述当次巡检图像和所述历史图像中分别生成关键点;
对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配,将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点;
通过深度学习模型在所述当次巡检图像中定位出电力设备的最小外接矩形区域;
将所述最小外接矩形区域内属于背景的特征点删除;以及
基于所述最小外接矩形区域中剩余的特征点的概率分布,识别所述最小外接矩形区域内的电力设备是否存在缺陷。
其中对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配包括:
基于确定相应的关键点之间的综合欧氏距离和汉明距离,对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配。
其中将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点包括:
通过K临近算法寻找所述当次巡检图像中与历史图像的关键点P1的汉明距离最近特征点P2和次近特征点P3,并将P1和P2的汉明距离定义为H1,P1和P3的汉明距离定义为H2;
设立第一阈值r,若H1/H2<r,则P2为P1的正确匹配点;
获取所述当次巡检图像中的初始特征点集S1和S2;
计算所述当次巡检图像中的初始特征点集S1和S2的坐标的欧氏距离,获取特征点集S1和S2的欧氏距离集S3,并求出S3的均值m;
若特征点集S3中的值小于m,则对应的特征点集S1和S2中的特征点P1和P2对为正确匹配的特征点,否则为匹配失败的特征点。
其中将所述最小外接矩形区域内属于背景的特征点删除,包括:
将电力设备的最小外接矩形区域划分成多个等分分块,获取每个等分分块中特征点的数量;
根据每个等分分块中特征点的数量判断所述最小外接矩形区域内属于背景的特征点,将所述最小外接矩形区域内属于背景的特征点删除。
其中基于所述最小外接矩形区域中剩余的特征点的概率分布,识别所述最小外接矩形区域内的电力设备是否存在缺陷,包括:
对所述最小外接矩形区域中剩余的特征点的概率进行计算:
Ni为多个等分分块中第i个等分块中特征点的数量;其中i为自然数并且2≤i;min(Ni)是多个等分分块中的最小特征点数量;aver(Ni)是多个等分分块的特征点数量的平均值;
若δ值小于第二阈值,则确定所述电力设备存在缺陷。
根据本发明的另一方面,提供一种用于架空线路无人机自主巡检缺陷识别的系统,所述系统包括:
获取单元,获取固化航线巡检当次巡检图像及相同位置的历史图像;
生成单元,在所述当次巡检图像和所述历史图像中分别生成关键点;
匹配单元,对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配,将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点;
定位单元,通过深度学习模型在所述当次巡检图像中定位出电力设备的最小外接矩形区域;
删除单元,将所述最小外接矩形区域内属于背景的特征点删除;以及
识别单元,基于所述最小外接矩形区域中剩余的特征点的概率分布,识别所述最小外接矩形区域内的电力设备是否存在缺陷。
其中匹配单元对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配包括:
匹配单元基于确定相应的关键点之间的综合欧氏距离和汉明距离,对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配。
其中匹配单元将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点包括:
匹配单元通过K临近算法寻找所述当次巡检图像中与历史图像的关键点P1的汉明距离最近特征点P2和次近特征点P3,并将P1和P2的汉明距离定义为H1,P1和P3的汉明距离定义为H2;
匹配单元设立第一阈值r,若H1/H2<r,则P2为P1的正确匹配点;
匹配单元获取所述当次巡检图像中的初始特征点集S1和S2;
匹配单元计算所述当次巡检图像中的初始特征点集S1和S2的坐标的欧氏距离,获取特征点集S1和S2的欧氏距离集S3,并求出S3的均值m;
若特征点集S3中的值小于m,则匹配单元确定对应的特征点集S1和S2中的特征点P1和P2对为正确匹配的特征点,否则确定为匹配失败的特征点。
其中删除单元将所述最小外接矩形区域内属于背景的特征点删除,包括:
删除单元将电力设备的最小外接矩形区域划分成多个等分分块,获取每个等分分块中特征点的数量;
删除单元根据每个等分分块中特征点的数量判断所述最小外接矩形区域内属于背景的特征点,将所述最小外接矩形区域内属于背景的特征点删除。
其中识别单元基于所述最小外接矩形区域中剩余的特征点的概率分布,识别所述最小外接矩形区域内的电力设备是否存在缺陷,包括:
识别单元对所述最小外接矩形区域中剩余的特征点的概率进行计算:
Ni为多个等分分块中第i个等分块中特征点的数量;其中i为自然数并且2≤i;min(Ni)是多个等分分块中的最小特征点数量;aver(Ni)是多个等分分块的特征点数量的平均值;
若δ值小于第二阈值,则识别单元确定所述电力设备存在缺陷。
本发明技术方案提供了一种用于架空线路无人机自主巡检缺陷识别的方法,方法包括:获取固化航线巡检当次巡检图像及相同位置的历史图像;通过已训练好的深度学习模型提取当次巡检图像,通过多层卷积层和池化层提取当次巡检图像中的电力设备特征,并生成包括电力设备的矩形框,记录矩形框的图像坐标;处理相同位置当次巡检图像和历史图像,分别在当次巡检图像和历史图像上生成分别生成关键点,并对当次巡检图像和历史图像的关键点进行特征匹配,分别在当次巡检图像和历史图像生成符合匹配条件的特征点;进一步判断特征点是否属于背景,删除背景影响的特征点,获取保留的特征点;通过统计保留的特征点的概率分布,定位电力设备特征点的稀疏区域,根据电力设备特征点的稀疏区域,判断电力设备的产生缺陷。本发明提出的技术方案,提升了无人机电力固化航线自主巡检图像中设备缺陷识别的准确率,无需人员过多参与,提升了巡检工作效率。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明优选实施方式的用于架空线路无人机自主巡检缺陷识别的方法流程图;
图2为根据本发明优选实施方式的用于架空线路无人机自主巡检缺陷识别的方法流程图;
图3为根据本发明优选实施方式的当次巡检图片与历史图片对比分析示意图;
图4为根据本发明优选实施方式的生成关键点的示意图;
图5为根据本发明优选实施方式的对比图像进行特征匹配的示意图;
图6为根据本发明优选实施方式的识别出设备矩形区域的示意图;以及;
图7为根据本发明优选实施方式的用于架空线路无人机自主巡检缺陷识别的系统结构图
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明优选实施方式的用于架空线路无人机自主巡检缺陷识别的方法流程图。为实现无人机电力自主巡检,进一步提升图像中设备缺陷识别的准确率,提升巡检工作效率,本发明提供了一种架空电力线路无人机自主巡检缺陷识别方法。如图1所示,本发明提供一种用于架空线路无人机自主巡检缺陷识别的方法,方法包括:
优选地,在步骤101:获取固化航线巡检当次巡检图像及相同位置的历史图像。
优选地,通过已训练好的深度学习模型提取当次巡检图像,通过多层卷积层和池化层提取当次巡检图像中的电力设备特征,包括:
深度学习模型包括多个卷积层和池化层,卷积层的结点输出表示为:
池化层结点输出可以表示为:
当次巡检图像通过多层卷积层、池化层处理,可获取目标电力设备的特征描述,避免了手工提取众多电力设备特征的弊端。
优选地,深度学习模型采用K-means聚类的方法获得训练集的锚框集合,以欧式距离作为判别依据使识别效果达到最优,K值取经验值10;
训练阶采用动量项为0.95的异步随机梯度下降算法,权值的初始学习率设置为0.001,衰减系数设为0.0005。
本发明采用卷积的方式提取深层设备特征。由于电力线路绝大多数设备通常都处于正常状态,因此无人机现场采集到的电力图像数据存在严重的样本类别不均衡问题,缺陷设备图像占整个数据集的比例过小,导致直接对巡检图像进行基于深度学习模型的缺陷识别检测会存在大量的误报问题。为了解决这一问题,深度学习算法仅用于识别设备,并输出设备在图像区域的矩形坐标框,作为下一步判断的依据。如图4所示。
设备目标检测方法使用滑动窗口的框架,把一张图分解成几百万个不同位置不同尺度的子窗口,针对每一个窗口使用分类器判断是否包含目标物体,针对传统目标检测方法由于特征和分类器需要手工训练开发成本大问题,本专利采用卷积神经网络提取特征以得到更高的识别率。通过优化卷积模型判断候选区域的类别剔除巡检图像中输电线路设备以外无关背景;然后使用预计算的共享特征图,加快模型训练和目标检测的速度。
本发明通过多层卷积层、池化层处理,获取目标设备的特征描述。本发明深度卷积神经网络则含有多个卷积层和池化层,卷积层的结点输出可以表示为:
池化层结点输出可以表示为:
巡检图像通过多层卷积层、池化层处理,可获取目标电力设备的特征描述,避免了手工提取众多电力设备特征的弊端。
优选地,在步骤102:在所述当次巡检图像和所述历史图像中分别生成关键点。本申请通过特征提取算法处理当次巡检图像和历史图像生成关键点。
优选地,在步骤103:对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配,将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点。
具体地,通过k临近算法进行特征点的粗匹配,综合采用欧氏距离和汉明距离对匹配后的特征点坐标进行删选操作,包括:
寻找关键点的最近邻点与次近邻点;通过k临近算法寻找巡检图像中目标点与历史图像上关键点P1汉明距离最近特征点P2和次近特征点P3,并将P1和P2、P3的汉明距离定义为H1、H2;
设立阈值r,若H1/H2<r,P2为P1的正确匹配点,r取0.8;获取初始特征点集S1和S2;
计算初始特征点集S1和S2的坐标的欧氏距离,获取特征点集S1和S2的欧氏距离集S3,并求出S3的均值m;
若特征点集S3中的值小于m,则对应的特征点集S1和S2中的特征点P1和P2对为正确匹配的特征点,否则认为匹配失败。
本发明标注图像并训练设备检测模型。本发明中,缺陷检测部分运行基于深度学习的图像识别推理模型基于深度学习的图像识别推理需要预先训练。首先需要手工对巡检图像中的设备进行标注。采用矩形框标注,并记录矩形四个顶点的坐标。标注目标包括杆塔、导地线、绝缘子、联接金具、螺栓销钉,其中正常的螺栓-螺母-销钉作为一个整体目标标注。本发明相同位置的判别通过固化航线拍摄位置的GPS坐标和航线拍摄点位编号确定。
在特征提取之后,采用锚机制,即矩形框作为识别目标识别结果的输出标记,通过预测目标框的偏移量取代直接预测坐标,提升该框包围目标的准确性。通过K-means聚类的方法获得训练集的锚框集合,以欧式距离作为判别依据使识别效果达到最优,K值取经验值10。训练阶采用动量项为0.95的异步随机梯度下降算法,权值的初始学习率设置为0.001,衰减系数设为0.0005。采用预先人工标注巡检图像中的杆塔、绝缘子、联接金具、螺栓销钉,作为训练集训练深度学习识别模型。
重复采用卷积的方式提取深层设备特征、多层卷积层、池化层处理,获取目标设备的特征描述、标注图像并训练设备检测模型的步骤,随着标注数据的增加即训练集的扩充,可以不断提升深度学习识别模型对图像中设备识别定位的精度。
本发明对当次巡检图像和相同位置的历史巡检图像,在尺度空间上进行关键点检测。在图像各尺度空间通过二次函数拟合的方式在对应的检索区域计算显著性,在金字塔图像的层或者层之间进行检测关键点检测。通过经过改进的BRISK的采样方式计算局部梯度强度,在连续的尺度空间评估每个关键点的正确尺度。其图像金字塔由n层倍频层和n层内部倍频层组成,本发明取典型值n=4,即通过图像金字塔在尺度空间重采样出8个图像层,其中倍频层是用从原图的2倍下采样得到的,每个内部倍频层位于倍频层之间,第一内部倍频层通过原图的1.5倍因子下采样得到的,剩下的每个内部倍频层是由上个内部倍频层2倍下采样得到。采用FAST方式在每个倍频层和内部倍频层分别执行来搜索可能的匹配区域,对提取的点将在尺度空间中进行非极大值抑制,突出关键点并抑制噪声。对极值点所在层及上下两层金字塔图像的共计相邻3层上的3个FAST描述分值进行二维二次函数插值,获取到特征点所在的FAST分值的极值及特征点在各层金字塔图像上的坐标,通过坐标变化逆金字塔操作反算特征点在原始图像的亚像素坐标,并计算新旧图像上每个特征点的BRISK描述向量生成对每个关键点的特征向量,用于后续关键点的特征匹配。
如图5所示,本发明进行关键点匹配。针对传统的特征匹配策略利用暴力匹配法,将两个特征点集中的最近汉明距离点对作为特征匹配对,没有考虑待匹配的特征点是否在同一区域,易导致同一区域内出现多个特征点的误匹配问题,本发明通过k临近算法进行特征点的粗匹配,综合采用欧氏距离和汉明距离对匹配后的特征点坐标进行删选操作,提高匹配精度,具体步骤如下:
寻找最近邻点与次近邻点。通过k临近算法寻找新图像中目标点与旧图像上特征点P1汉明距离最近特征点P2和次近特征点P3,并将P1和P2、P3的汉明距离定义为H1、H2。
匹配特征点对。设立阈值r,若H1/H2<r,P2为P1的正确匹配点,本专利r取0.8。
通过上述两个步骤,可得到粗略的特征点集S1和S2。计算特征点集S1和S2的坐标的欧氏距离,即为特征点集S1和S2的欧氏距离集S3,并求出S3的均值m。
若特征点集中S3的值小于m,则对应的特征点集S1和S2中的特征点P1和P2对为正确的特征匹配对,否则认为匹配失败。
优选地,在步骤104:通过深度学习模型在所述当次巡检图像中定位出电力设备的最小外接矩形区域,如图6所示。
优选地,在步骤105:将所述最小外接矩形区域内属于背景的特征点删除。具体地,将电力设备的最小外接矩形区域划分成多个等分分块,获取每个等分分块中特征点的数量;根据每个等分分块中特征点的数量判断所述最小外接矩形区域内属于背景的特征点,将所述最小外接矩形区域内属于背景的特征点删除。
将电力设备的最小外接矩形区域划分成多个等分分块,获取每个等分分块中特征点的数量例如包括:对当次巡检图像每个输出设备矩形框依据其像素横、纵坐标值进行3*3等分分块。
根据每个等分分块中特征点的数量判断所述最小外接矩形区域内属于背景的特征点,将所述最小外接矩形区域内属于背景的特征点删除包括:统计每块中特征点的数量,用Ni表示;
加入背景判断,剔除背景匹配点影响:
α阈值取经验值0.2,若α值小于0.2,认为框中对角区域像素为背景,剔除N值最小的两块对角区域即N1、N9或N3、N7;通过剔除N3、N7区域为例继续进行背景判断:
β阈值取经验值0.2,若β值小于0.2,认为N2、N6、N4、N8区域为背景需要剔除。
如图7所示,本发明进一步剔除背景干扰。对新图像每个输出设备矩形框依据其像素横、纵坐标值进行3*3等分分块,统计每块中特征点的数量,用Ni表示。
考虑到长宽比较大的设备如导地线、绝缘子串、接续管等倾斜出现在框中时,框内的对角区域为背景,而不是设备本体,导致新旧图片上匹配点概率分布与设备表面匹配点分布存在明显差异。
加入背景判断,剔除背景匹配点影响。
α阈值可手动设置,取经验值0.2,若α值小于0.2,认为框中对角区域像素为背景,剔除N值最小的两块对角区域即N1、N9或N3、N7。以剔除N3、N7区域为例继续进行背景判断。
β阈值可手动设置,取经验值0.2,若β值小于0.2,认为N2、N6、N4、N8区域为背景需要剔除。
优选地,在步骤106:基于所述最小外接矩形区域中剩余的特征点的概率分布,识别所述最小外接矩形区域内的电力设备是否存在缺陷。具体包括:
对保留的特征点出现频率进行计算,若所有区域均保留,则全部参与计算,找出匹配异常区域;
Ni为多个等分分块中第i个等分块中特征点的数量;其中i为自然数并且2≤i;min(Ni)是多个等分分块中的最小特征点数量;aver(Ni)是多个等分分块的特征点数量的平均值;
若δ值小于第二阈值,则确定所述电力设备存在缺陷。
例如,δ阈值取经验值0.1,若δ值小于0.1,电力设备区域存在显著的匹配异常,未能进行匹配,即该区域内设备表面状态发生了变化,判断电力设备的产生缺陷。
本发明对目标设备变化检测。对以上背景剔除后剩余区域的特征点出现频率进行计算,若所有区域均保留,则全部参与计算,找出匹配异常区域。
δ阈值可手动设置,取经验值0.1,若δ值小于0.1,则认为该设备区域存在显著的匹配异常,未能进行匹配,即该区域内设备表面状态发生了变化,对该图片中变化区域进行高亮标注,连同拍摄位置的杆塔信息,相序等信息通过系统推送至审核员审核。如图2所示。
在步骤201,结合航线数据对比巡检图像与历史图像。
在步骤202,对当次和历史图像在尺度空间上进行关键点检测。
在步骤203,计算关键点信息,在对比图像上进行特征点匹配。
在步骤204,采用深度学习模型分别从对比图像中定位设备。
在步骤205,采用卷积方式获取巡检图片深度信息。
在步骤206,使用多层卷积、池化的方式获取电力设备特征描述。
在步骤207,标注图像预训练深度学习设备识别模型。如果需要再次采用深度学习模型分别从对比图像中定位设备,则返回步骤204。
在步骤208,剔除背景影响,通过特征点概率分布判定设备发生缺陷。
在步骤209,定位缺陷,推送至管理员审核生成巡检报告。
本发明将获取的输电线线路巡检图像与相同拍摄位置的历史巡检图片进行对比分析,通过分析设备表面变化,在图像中定位出电力线路设备缺陷发生的位置,经人工审核确认后生成电子巡检报告上传业务管理系统,改变了原人工识别缺陷线下编辑巡检报告的业务流程,提升了电力线路巡检效率。
本发明针对现有图像识别技术无法满足自主巡检缺陷识别精度需求,通过激光雷达扫描获取输电线路走廊的三维建模数据,通过北斗/GPS坐标规划无人机巡检航线,使无人机可在相对固定的最优角度和距离拍摄,并固化巡检航线。将获取的巡检图片与该设备的历史图片进行对比分析,通过图像识别变化检测的方式判断设备缺陷,可进一步提升巡检图像中电力设备缺陷识别精度。
图3为根据本发明优选实施方式的当次巡检图片与历史图片对比分析示意图。本发明以绝缘子自爆缺陷识别为为例,对比图像中同一目标设备绝缘子串整体相对历史图像会存在尺度,旋转,光照,背景等变化,无法采用传统的图像识别技术进行处理,后续对比分析需要排除图像处理各步骤中噪声的干扰,提升缺陷识别准确性。
本发明采用当次巡检图片与历史图片对比的方式检测电力设备缺陷,通过深度学习模型在对比图像中检测出设备,后续采用特征匹配的方式对比分析当次巡检图像与历史图像中目标设备表面是否发生变化,从而从图像中定位判断设备缺陷的全套技术流程。
本发明采用卷积的方式提取巡检图像的全局深层特征。
本发明通过多层卷积层、池化层处理,获取目标设备的特征描述。
本发明训练深度学习模型从图像中一次定位出各类电力设备区域的坐标。可涵盖杆塔、导地线、绝缘子、金具等全部电力设备,避免了对众多不同设备手动设计检测算法的弊端。
本发明将当次巡检图像和相同位置拍摄的历史图像机型对比,通过下采样和超采样在不同尺度空间生成金字塔图像,在金字塔图像的层或者层之间进行检测关键点检测,通过在各尺度空间通过二次函数拟合的方式,逐像素计算特征显著性。
本发明采用经过改进的BRISK算法对当次巡检图像和历史图像进行特征匹配,分别在两张对比图像上生成匹配的特征点。
本发明采用分区对比的方式,排除背景区域稀疏特征点对概率分布计算的影响,进一步剔除设备提取区域内的背景干扰。
本发明通过统计设备区域内匹配点的概率分布,定位设备表面匹配点稀疏区域,判断设备发生变化即,即设备经过一段时间运行后产生了缺陷。通过一次计算比对识别各种设备缺陷、可用于检测杆塔异物、导地线断线、绝缘子自爆灼伤、金具锈蚀破损、销钉螺母缺失等。
图7为根据本发明优选实施方式的一种用于架空线路无人机自主巡检缺陷识别的系统结构图。本发明提供一种用于架空线路无人机自主巡检缺陷识别的系统,系统包括:
获取单元701,用于获取固化航线巡检当次巡检图像及相同位置的历史图像。通过已训练好的深度学习模型提取当次巡检图像,通过多层卷积层和池化层提取当次巡检图像中的电力设备特征,包括:
深度学习模型包括多个卷积层和池化层,卷积层的结点输出表示为:
池化层结点输出可以表示为:
当次巡检图像通过多层卷积层、池化层处理,获取目标电力设备的特征描述。
优选地,深度学习模型采用K-means聚类的方法获得训练集的锚框集合,以欧式距离作为判别依据使识别效果达到最优,K值取经验值10;
训练阶采用动量项为0.95的异步随机梯度下降算法,权值的初始学习率设置为0.001,衰减系数设为0.0005。
生成单元702,用于在所述当次巡检图像和所述历史图像中分别生成关键点。本申请通过特征提取算法处理当次巡检图像和历史图像生成关键点。
匹配单元703,对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配,将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点。
具体地,通过k临近算法进行特征点的粗匹配,综合采用欧氏距离和汉明距离对匹配后的特征点坐标进行删选操作,包括:
寻找关键点的最近邻点与次近邻点;通过k临近算法寻找巡检图像中目标点与历史图像上关键点P1汉明距离最近特征点P2和次近特征点P3,并将P1和P2、P3的汉明距离定义为H1、H2;
设立阈值r,若H1/H2<r,P2为P1的正确匹配点,r取0.8;获取初始特征点集S1和S2;
计算初始特征点集S1和S2的坐标的欧氏距离,获取特征点集S1和S2的欧氏距离集S3,并求出S3的均值m;
若特征点集S3中的值小于m,则对应的特征点集S1和S2中的特征点P1和P2对为正确匹配的特征点,否则认为匹配失败。
定位单元704,用于通过深度学习模型在所述当次巡检图像中定位出电力设备的最小外接矩形区域。
删除单元705,用于将所述最小外接矩形区域内属于背景的特征点删除。具体地,将电力设备的最小外接矩形区域划分成多个等分分块,获取每个等分分块中特征点的数量;根据每个等分分块中特征点的数量判断所述最小外接矩形区域内属于背景的特征点,将所述最小外接矩形区域内属于背景的特征点删除。
将电力设备的最小外接矩形区域划分成多个等分分块,获取每个等分分块中特征点的数量例如包括:对当次巡检图像每个输出设备矩形框依据其像素横、纵坐标值进行3*3等分分块。
根据每个等分分块中特征点的数量判断所述最小外接矩形区域内属于背景的特征点,将所述最小外接矩形区域内属于背景的特征点删除包括:统计每块中特征点的数量,用Ni表示;
加入背景判断,剔除背景匹配点影响:
α阈值取经验值0.2,若α值小于0.2,认为框中对角区域像素为背景,剔除N值最小的两块对角区域即N1、N9或N3、N7;通过剔除N3、N7区域为例继续进行背景判断:
β阈值取经验值0.2,若β值小于0.2,认为N2、N6、N4、N8区域为背景需要剔除。
识别单元706,基于所述最小外接矩形区域中剩余的特征点的概率分布,识别所述最小外接矩形区域内的电力设备是否存在缺陷。
优选地,结果单元705用于通过统计保留的特征点的概率分布,定位电力设备特征点的稀疏区域,根据电力设备特征点的稀疏区域,判断电力设备的产生缺陷,包括:
对保留的特征点出现频率进行计算,若所有区域均保留,则全部参与计算,找出匹配异常区域;
Ni为多个等分分块中第i个等分块中特征点的数量;其中i为自然数并且2≤i;min(Ni)是多个等分分块中的最小特征点数量;aver(Ni)是多个等分分块的特征点数量的平均值;
若δ值小于第二阈值,则确定所述电力设备存在缺陷。
例如,阈值取经验值0.1,若δ值小于0.1,电力设备区域存在显著的匹配异常,未能进行匹配,即该区域内设备表面状态发生了变化,判断电力设备的产生缺陷。
图7为根据本发明优选实施方式的一种用于架空线路无人机自主巡检缺陷识别的系统700与本发明优选实施方式的一种用于架空线路无人机自主巡检缺陷识别的方法100相对应,在此不再进行赘述。
已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。
Claims (10)
1.一种用于架空线路无人机自主巡检缺陷识别的方法,所述方法包括:
获取固化航线巡检当次巡检图像及相同位置的历史图像;
在所述当次巡检图像和所述历史图像中分别生成关键点;
对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配,将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点;
通过深度学习模型在所述当次巡检图像中定位出电力设备的最小外接矩形区域;
将所述最小外接矩形区域内属于背景的特征点删除;以及
基于所述最小外接矩形区域中剩余的特征点的概率分布,识别所述最小外接矩形区域内的电力设备是否存在缺陷。
2.根据权利要求1所述的方法,其中对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配包括:
基于确定相应的关键点之间的综合欧氏距离和汉明距离,对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配。
3.根据权利要求2所述的方法,其中将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点包括:
通过K临近算法寻找所述当次巡检图像中与历史图像的关键点P1的汉明距离最近特征点P2和次近特征点P3,并将P1和P2的汉明距离定义为H1,P1和P3的汉明距离定义为H2;
设立第一阈值r,若H1/H2<r,则P2为P1的正确匹配点;
获取所述当次巡检图像中的初始特征点集S1和S2;
计算所述当次巡检图像中的初始特征点集S1和S2的坐标的欧氏距离,获取特征点集S1和S2的欧氏距离集S3,并求出S3的均值m;
若特征点集S3中的值小于m,则对应的特征点集S1和S2中的特征点P1和P2对为正确匹配的特征点,否则为匹配失败的特征点。
4.根据权利要求1所述的方法,其中将所述最小外接矩形区域内属于背景的特征点删除,包括:
将电力设备的最小外接矩形区域划分成多个等分分块,获取每个等分分块中特征点的数量;
根据每个等分分块中特征点的数量判断所述最小外接矩形区域内属于背景的特征点,将所述最小外接矩形区域内属于背景的特征点删除。
6.一种用于架空线路无人机自主巡检缺陷识别的系统,所述系统包括:
获取单元,获取固化航线巡检当次巡检图像及相同位置的历史图像;
生成单元,在所述当次巡检图像和所述历史图像中分别生成关键点;
匹配单元,对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配,将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点;
定位单元,通过深度学习模型在所述当次巡检图像中定位出电力设备的最小外接矩形区域;
删除单元,将所述最小外接矩形区域内属于背景的特征点删除;以及
识别单元,基于所述最小外接矩形区域中剩余的特征点的概率分布,识别所述最小外接矩形区域内的电力设备是否存在缺陷。
7.根据权利要求6所述的系统,其中匹配单元对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配包括:
匹配单元基于确定相应的关键点之间的综合欧氏距离和汉明距离,对所述当次巡检图像中的关键点与所述历史图像中的关键点进行匹配。
8.根据权利要求7所述的系统,其中匹配单元将所述当次巡检图像中与所述历史图像中的关键点匹配成功的关键点确定为特征点包括:
匹配单元通过K临近算法寻找所述当次巡检图像中与历史图像的关键点P1的汉明距离最近特征点P2和次近特征点P3,并将P1和P2的汉明距离定义为H1,P1和P3的汉明距离定义为H2;
匹配单元设立第一阈值r,若H1/H2<r,则P2为P1的正确匹配点;
匹配单元获取所述当次巡检图像中的初始特征点集S1和S2;
匹配单元计算所述当次巡检图像中的初始特征点集S1和S2的坐标的欧氏距离,获取特征点集S1和S2的欧氏距离集S3,并求出S3的均值m;
若特征点集S3中的值小于m,则匹配单元确定对应的特征点集S1和S2中的特征点P1和P2对为正确匹配的特征点,否则确定为匹配失败的特征点。
9.根据权利要求1所述的系统,其中删除单元将所述最小外接矩形区域内属于背景的特征点删除,包括:
删除单元将电力设备的最小外接矩形区域划分成多个等分分块,获取每个等分分块中特征点的数量;
删除单元根据每个等分分块中特征点的数量判断所述最小外接矩形区域内属于背景的特征点,将所述最小外接矩形区域内属于背景的特征点删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010779989.6A CN112115770A (zh) | 2020-08-05 | 2020-08-05 | 一种用于架空线路无人机自主巡检缺陷识别的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010779989.6A CN112115770A (zh) | 2020-08-05 | 2020-08-05 | 一种用于架空线路无人机自主巡检缺陷识别的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112115770A true CN112115770A (zh) | 2020-12-22 |
Family
ID=73799729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010779989.6A Pending CN112115770A (zh) | 2020-08-05 | 2020-08-05 | 一种用于架空线路无人机自主巡检缺陷识别的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112115770A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111272148A (zh) * | 2020-01-20 | 2020-06-12 | 江苏方天电力技术有限公司 | 输电线路无人机自主巡检自适应成像质量优化方法 |
CN112883836A (zh) * | 2021-01-29 | 2021-06-01 | 中国矿业大学 | 一种煤矿井下巷道形变视频检测方法 |
CN113327241A (zh) * | 2021-06-16 | 2021-08-31 | 南昌航空大学 | 一种轴承端面的表面缺陷视觉检测方法及系统 |
CN114035608A (zh) * | 2021-11-10 | 2022-02-11 | 广东电网能源发展有限公司 | 基于无人机的巡检培训方法、系统、培训终端和存储介质 |
-
2020
- 2020-08-05 CN CN202010779989.6A patent/CN112115770A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111272148A (zh) * | 2020-01-20 | 2020-06-12 | 江苏方天电力技术有限公司 | 输电线路无人机自主巡检自适应成像质量优化方法 |
CN112883836A (zh) * | 2021-01-29 | 2021-06-01 | 中国矿业大学 | 一种煤矿井下巷道形变视频检测方法 |
CN112883836B (zh) * | 2021-01-29 | 2024-04-16 | 中国矿业大学 | 一种煤矿井下巷道形变视频检测方法 |
CN113327241A (zh) * | 2021-06-16 | 2021-08-31 | 南昌航空大学 | 一种轴承端面的表面缺陷视觉检测方法及系统 |
CN114035608A (zh) * | 2021-11-10 | 2022-02-11 | 广东电网能源发展有限公司 | 基于无人机的巡检培训方法、系统、培训终端和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
CN112115770A (zh) | 一种用于架空线路无人机自主巡检缺陷识别的方法及系统 | |
CN103279765B (zh) | 基于图像匹配的钢丝绳表面损伤检测方法 | |
CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
CN112199993B (zh) | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 | |
CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
CN105447459A (zh) | 一种无人机自动检测目标和跟踪方法 | |
CN108537170A (zh) | 一种电力设备固件无人机巡检销钉缺失检测方法 | |
CN113205116A (zh) | 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法 | |
CN111079518A (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
CN111259736B (zh) | 一种基于深度学习的复杂环境下行人实时检测方法 | |
CN114092478B (zh) | 一种异常检测方法 | |
CN113313107A (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
CN113962973A (zh) | 一种基于卫星技术的输电线路无人机智能巡检系统及方法 | |
CN112508911A (zh) | 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法 | |
CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
CN112150412A (zh) | 一种基于投影曲线分析的绝缘子自爆缺陷检测方法 | |
CN117593499A (zh) | 一种基于分布式巡检策略的水电站机电设备故障识别方法 | |
CN117333948A (zh) | 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法 | |
CN110992361A (zh) | 基于代价平衡的发动机紧固件检测系统及检测方法 | |
CN113420646B (zh) | 一种基于深度学习的锁站连接锁检测系统及方法 | |
CN114677428A (zh) | 基于无人机图像处理的输电线覆冰厚度检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |