发明内容
为克服上述现有技术的不足,本发明提供了一种输变电巡检图像智能分析方法,目的在于实现巡检图像的高效、智能、准确的分析与诊断,提高现有图像处理系统的性能。
为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
一种输变电巡检图像智能分析方法,包括:
巡检图像预处理:对巡检图像进行聚类与过滤;
巡检图像分类:构建图像特征提取网络,将过滤后的巡检图像进行分类确定设备分类;
巡检图像缺陷预测:基于设备分类,确定待识别设备可能存在的缺陷,并自动选取缺陷诊断网络模型,利用多线程GPU加速技术,实现多模型的并发、一次预测处理;
巡检图像缺陷筛选:基于图像设备缺陷预测结果,制定多重缺陷阈值,实现缺陷的自主识别。
进一步的技术方案,巡检图像预处理时:
以一次巡检任务为基本单位,将巡检图像进行初步的聚类,通过提取图像中记录的GPS信息作为聚类分析的输入,利用KNN算法将GPS信息进行聚合,实现对巡检图像的初步聚类处理;
对每个类别的巡检图像进行显著性质量分析与相似度分析,依据相似度对每个类别的图像进行更精确地聚合分类,并对每个细分类别的图像依据显著性评价进行排序;
依据细化分类图像的显著性排序结果,对巡检图像进行过滤操作,每个分类根据巡检要求,保留排序在前几位的巡检图像。
进一步的技术方案,构建图像特征提取网络,将过滤后的巡检图像进行分类确定设备分类及识别:
以全时段、多天气、复杂背景的巡检图像,构建卷积神经网络训练数据集;通过标注的方式,构建用于巡检设备识别与缺陷诊断的巡检图像标注数据集;
利用标注数据集训练神经网络;
利用训练后的神经网络进行设备分类;
针对巡检设备识别与缺陷诊断,将神经网络中的分类层替换成为定位与识别层,实现对设备及缺陷的定位与相应缺陷的类型识别。
进一步的技术方案,利用训练数据集对构建的特征提取网络、分类网络、设备识别与缺陷诊断网络,进行训练,实现对巡检图像的特征提取、分类、设备识别与缺陷诊断。
进一步的技术方案,对巡检图像进行多管道、同时数据流读入,减少图像数据在GPU显存中的拷贝开销,实现GPU底层的数据快速读图。
进一步的技术方案,利用训练好的分类网络,对图像数据里进行分类计算,获取图像的类别信息。
进一步的技术方案,根据类别信息及此次巡检重点观察设备的缺陷类别,自主选择设备识别与缺陷诊断网络;自主读取计算服务器GPU信息,获取GPU显存、使用情况基本信息,根据识别与诊断网络对显存的占有情况,利用计算资源虚拟化、多线程技术、线程同步技术,同时对多张图像的数据流进行诊断处理,保证GPU满负荷使用,进而提高图像的诊断效率。
进一步的技术方案,在识别与诊断时,针对不同的缺陷设定不同的NMS阈值。
本发明还公开一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤,包括:
巡检图像预处理:对巡检图像进行聚类与过滤;
巡检图像分类:构建图像特征提取网络,将过滤后的巡检图像进行分类确定设备分类;
巡检图像缺陷预测:基于设备分类,确定待识别设备可能存在的缺陷,并自动选取缺陷诊断网络模型,利用多线程GPU加速技术,实现多模型的并发、一次预测处理;
巡检图像缺陷筛选:基于图像设备缺陷预测结果,制定多重缺陷阈值,实现缺陷的自主识别。
本发明还公开一种计算机可读存储介质,其上存储有计算机程序,,该程序被处理器执行时执行以下步骤:
巡检图像预处理:对巡检图像进行过滤;
巡检图像分类:构建图像特征提取网络,将过滤后的巡检图像进行分类确定设备分类;
巡检图像缺陷预测:基于设备分类,确定待识别设备可能存在的缺陷,并自动选取缺陷诊断网络模型,利用多线程GPU加速技术,实现多模型的并发、一次预测处理;
巡检图像缺陷筛选:基于图像设备缺陷预测结果,制定多重缺陷阈值,实现缺陷的自主识别。
以上一个或多个技术方案存在以下有益效果:
本发明针对输变电巡检图像智能化分析需求,提出了一种高效智能分析方法,利用图像预处理技术实现巡检图像质量评价与冗余图像、低对比图像的过滤,保证巡检图像的质量,降低智能分析服务端巡检图像处理量。基于深度卷积神经网络自主化提取巡检图像语意特征,结合GPU并行计算、多线程计算,实现了对计算集群硬件的高效利用,进而实现巡检图像数据的高时效性的分析与处理,满足巡检后对图像高效分析的需求。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
本发明提出的总体思路:
通过分析大量无人机、机器人采集的巡检数据特点,基于机器学习、深度学习、机器视觉、GPU加速等技术,构建输变电巡检图像高效智能化处理方法,实现巡检图像的高效、智能、准确的分析与诊断,提高现有图像处理系统的性能。
实施例一
本实施例公开了一种输变电巡检图像智能分析方法,本发明专利具体方案如下:
步骤一:巡检图像预处理:分析巡检图像质量,并根据一次巡检任务与巡检设备对图像质量差、重复度高的巡检图像进行过滤。
步骤二:巡检图像分类:构建图像特征提取网络,对巡检图像进行分类,确定设备分类。
步骤三:巡检图像缺陷预测:基于图像设备分类,确定待识别设备可能存在的缺陷,并自动选取缺陷诊断网络模型,利用多线程GPU加速技术,实现多模型的并发、一次预测处理。
步骤四:巡检图像缺陷筛选:基于图像设备缺陷预测结果,结合巡检需求制定多重缺陷阈值,实现缺陷的自主识别与分析。
所述步骤(1)的巡检图像预处理:
(1)以一次巡检任务为基本单位,将巡检图像进行初步的聚类。通过提取图像中记录的GPS信息作为聚类分析的输入,利用KNN算法将GPS信息进行聚合,实现对巡检图像的初步聚类处理。
具体实施例子中,在巡检过程中,会记录作业机器人的GPS信息,通过GPS信息,可以对图像进行聚类。
当移动到下一个点、拍摄图像时GPS信息会变化,可以通过GPS粗略的对图像与设备进行匹配。
(2)对每个类别的巡检进行显著性质量分析与相似度分析,依据相似度对每个类别的图像进行更精确地聚合分类,并对每个细分类别的图像依据显著性评价进行排序。
具体实施例子中,质量分析用显著性分析,相似度分析用普通的距离来度量。
(3)依据细化分类图像的显著性排序结果,对巡检图像进行过滤操作,每个分类根据巡检要求,保留排序在前几位的巡检图像。通常,为了保证拍摄图像的内容覆盖全面、同时降低智能分析数据量,保留前5位的巡检图像。
预处理流程如图2所示。巡检图像经过预处理后,利用深度卷积神经网络提取巡检图像特征与分类、缺陷诊断,具体流程如图2所示:
(1)以全时段、多天气、复杂背景的巡检图像,构建卷积神经网络训练数据集;通过人工标注的方式,构建用于巡检设备识别与缺陷诊断的巡检图像标注数据集。
用作深度网络的巡检数据集,就是把标记图像进行打包,输入到网络中、训练,标注巡检图像的目的是用来做卷积神经网络的训练集。
(2)基于101层的ResNeXt为基础结构,以ImageNet数据集训练的网络数据固定前4个模块的网络参数;对第5个模块网络、全连接层和分类层设定fine-tuning策略。
(3)针对巡检设备识别与缺陷诊断,将上述步骤的分类层替换成为定位与识别层,通过训练完成后面两层参数的更新,实现对设备及缺陷的定位与相应缺陷的类型识别。
(4)以高性能GPU为计算算力支撑,利用训练数据集对构建的特征提取网络、分类网络、设备识别与缺陷诊断网络,依据第二部设定的fine-tuning策略,进行训练,实现对巡检图像的特征提取、分类、设备识别与缺陷诊断。
在实际应用中,为满足巡检图像数据近乎实时处理的巡检需求,尽可能的提高数据分析的时效性,在执行图像预测工作时,基于多线程、GPU集群进行预测处理运算。为提高处理效率,在图像读入、图像分类、设备定位与缺陷诊断三大步骤中,均使用多线程的技术处理:
(1)利用CUDA Stream的方式对巡检图像进行多管道、同时数据流读入,减少图像数据在GPU显存中的拷贝开销,实现GPU底层的数据快速读取。
(2)利用步骤二训练好的分类网络,对图像数据里进行分类计算,获取图像的类别信息。例如输电:塔头、绝缘子等相对大的部件。
(3)根据类别信息及此次巡检重点观察设备的缺陷类别,自主选择目标识别与缺陷诊断网络;自主读取计算服务器GPU信息,获取GPU显存、使用情况等基本信息,根据识别与诊断网络对显存的占有情况,利用计算资源虚拟化、多线程技术、线程同步技术,同时对多张图像的数据流进行诊断处理,保证GPU满负荷使用,进而提高图像的诊断效率。
自主识别与诊断时,针对每个部件有不同的缺陷诊断模型,根据分类类型,选择诊断模型,只检测一个或几个相关的缺陷,来降低误报。
(4)在识别与诊断时,针对不同的缺陷设定不同的NMS阈值,以提高网络对不同尺度、背景缺陷的鲁棒性能。发明整体流程如图3所示。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤,包括:
步骤一:巡检图像预处理:分析巡检图像质量,并根据一次巡检任务与巡检设备对图像质量差、重复度高的巡检图像进行过滤。
步骤二:巡检图像分类:构建图像特征提取网络,对巡检图像进行分类确定设备分类。
步骤三:巡检图像缺陷预测:基于图像设备分类,确定待识别设备可能存在的缺陷,并自动选取缺陷诊断网络模型,利用多线程GPU加速技术,实现多模型的并发、一次预测处理。
步骤四:巡检图像缺陷筛选:基于图像设备缺陷预测结果,结合巡检需求制定多重缺陷阈值,实现缺陷的自主识别与分析。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时执行以下步骤:
步骤一:巡检图像预处理:分析巡检图像质量,并根据一次巡检任务与巡检设备对图像质量差、重复度高的巡检图像进行过滤。
步骤二:巡检图像分类:构建图像特征提取网络,对巡检图像进行分类确定设备分类。
步骤三:巡检图像缺陷预测:基于图像设备分类,确定待识别设备可能存在的缺陷,并自动选取缺陷诊断网络模型,利用多线程GPU加速技术,实现多模型的并发、一次预测处理。
步骤四:巡检图像缺陷筛选:基于图像设备缺陷预测结果,结合巡检需求制定多重缺陷阈值,实现缺陷的自主识别与分析。
以上实施例二、三的装置中涉及的各步骤与方法实施例一相对应,具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质;还应当被理解为包括任何介质,所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。