CN111899219A - 一种输电线路机巡的图像识别方法及系统 - Google Patents
一种输电线路机巡的图像识别方法及系统 Download PDFInfo
- Publication number
- CN111899219A CN111899219A CN202010604770.2A CN202010604770A CN111899219A CN 111899219 A CN111899219 A CN 111899219A CN 202010604770 A CN202010604770 A CN 202010604770A CN 111899219 A CN111899219 A CN 111899219A
- Authority
- CN
- China
- Prior art keywords
- image
- transmission line
- defect
- power transmission
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000007547 defect Effects 0.000 claims abstract description 124
- 239000012212 insulator Substances 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000007689 inspection Methods 0.000 claims abstract description 20
- 230000007797 corrosion Effects 0.000 claims abstract description 19
- 238000005260 corrosion Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 230000001629 suppression Effects 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000012423 maintenance Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 230000002950 deficient Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 claims description 11
- 238000013079 data visualisation Methods 0.000 claims description 8
- 238000011160 research Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 230000008676 import Effects 0.000 claims description 7
- 239000007787 solid Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000012800 visualization Methods 0.000 description 6
- 230000003628 erosive effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- DSSYKIVIOFKYAU-XCBNKYQSSA-N (R)-camphor Chemical compound C1C[C@@]2(C)C(=O)C[C@@H]1C2(C)C DSSYKIVIOFKYAU-XCBNKYQSSA-N 0.000 description 2
- 241000723346 Cinnamomum camphora Species 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229960000846 camphor Drugs 0.000 description 1
- 229930008380 camphor Natural products 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004643 material aging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012031 short term test Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Electric Cable Installation (AREA)
Abstract
本发明提供的一种输电线路机巡的图像识别方法通过图像预处理，得到第一图像；通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域；扫描所述连通区域，通过深层卷积神经网络进行缺陷位置预测和种类预测，并对预测结果进行非最大值抑制处理，剔除重叠区域；本发明实施例提供的输电线路机巡的图像识别方法，将影像技术及空间技术为基础技术标准，提升输电线路无人机巡维管理水平，实现的便捷维护，提升无人机线路巡检化管理效率，降低巡检成本。
Description
技术领域
本发明涉及电力设备技术领域，特别是涉及一种输电线路机巡的图像识别方法及系统。
背景技术
随着远距离输电技术的发展，输电通道走廊的地形越来越复杂，杆塔类型越来越多样化，所处的自然环境越来越恶劣，加上材料老化等外界因素影响，电网很容易发生设备缺陷问题，如果不及时处理，很可能会严重威胁电力系统的稳定与安全。
传统的人工巡检作业方法成本高，效率低，已经难以满足输电线路的巡检需求。传统的无人机电力巡检使用可见光获取输电线路的影像数据进行故障分析，但由于缺乏对可见光空间技术分析的软件，导致使用无人机检测树樟时，需要搭载激光雷达进行巡检，导致巡检成本过高，巡检耗时过长，不利于快速检测树木与线路之间的距离。传统的无人机搭载激光挂载进行树樟巡检，巡检成本过高，巡检耗时过长，不利于快速检测树木与线路之间的距离，给无人机巡视工作带来了大量不便，严重影响了多旋翼无人机的推广普及、巡视质量。
发明内容
本发明提供输电线路机巡的图像识别方法及系统，提高巡检效率。
本发明一个实施例提供一种输电线路机巡的图像识别方法，包括：
通过图像预处理，得到第一图像；
通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域；
扫描所述连通区域，通过深层卷积神经网络进行缺陷位置预测和种类预测，并对预测结果进行非最大值抑制处理，剔除重叠区域。
进一步地，所述通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域，还包括：
区分所述绝缘子的形状和环境，标注所述绝缘子的像素级别信息，构建所述绝缘子的图片数据库；
构建全卷积神经网络，利用所述数据库对所述全卷积神经网络进行训练，包括数据的卷积、池化、向前传播、向后反馈，得到训练模型；
通过所述训练模型对所述第一图像进行绝缘子像素位置预测以及膨胀腐蚀去噪处理，输出绝缘子区域图片。
进一步地，所述通过图像预处理，得到第一图像，包括：
提取原图片拍摄的位置信息；
提取所述原图片拍摄时间，批量提取照片拍摄时间信息；
根据所述原图片规范化名称方案，结合输电线路杆塔信息、所述位置信息与所述拍摄时间信息，进行图片的规范化名称命名；
根据所述位置信息与所述拍摄信息，结合所述输电线路杆塔信息，自动将图片进行输电工程和杆塔信息名称进行分类，规范化存储；
对于模糊、雾化的图像进行清晰化和去雾处理，使图像更加清晰，利于后期分析或人工识别；
通过对图像进行梯度信息分析，结合图像内容理解的结果，对图像的梯度信息进行增强，使图像信息量有所强化；
其中，所述提取原图片拍摄的位置信息包括：根据POS数据，将POS位置信息置入图片位置信息；所述提取所述原图片拍摄时间包括：根据POS数据文件，置入精确的照片拍摄时间。
进一步地，还包括：
根据所述原图片及所述输电线路杆塔信息，定义目标的图像匹配和融合，通过深度学习进行图像信息检测。
进一步地，还包括：
通过表达、建模以及对立体、表面、属性以及动画的显示，实现数据可视化展示。
进一步地，还包括：
根据输电线路缺陷类型，建立输电线路缺陷库；所述缺陷类型包括：缺陷分类、缺陷元件、缺陷部位、缺陷类型、缺陷表象以及严重等级；所述输电线路缺陷库支持缺陷库维护、文件导入功能；
基于所述输电线路缺陷库，进行图片缺陷快速化方案研究，实现图片缺陷快速化提取及分类；
自动对比巡检线路周边环境变化识别功能最终能够实现自动对比两个不同时间点的视频数据，检测出周围环境的前后变化标志出变化体的位置；并且根据环境变化的内容，判别并输出线路周围环境中可能存在的隐患；
根据所述输电线路缺陷库，实现图片缺陷的智能归类；
基于二维可视化GIS基础信息和可视化图片信息，分析可视化状态下的缺陷。
本发明实施例还提供一种输电线路机巡的图像识别系统，包括：
图像预处理模块，用于通过图像预处理，得到第一图像；
像素位置处理模块，用于通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域；
非最大值抑制处理模块，用于扫描所述连通区域，通过深层卷积神经网络进行缺陷位置预测和种类预测，并对预测结果进行非最大值抑制处理，剔除重叠区域。
进一步地，还包括：
图像信息检测模块，根据所述原图片及所述输电线路杆塔信息，定义目标的图像匹配和融合，通过深度学习进行图像信息检测。
进一步地，还包括：
数据可视化模块，用于通过表达、建模以及对立体、表面、属性以及动画的显示，实现数据可视化展示。
进一步地，还包括：
缺陷库建立模块，用于根据输电线路缺陷类型，建立输电线路缺陷库；所述缺陷类型包括：缺陷分类、缺陷元件、缺陷部位、缺陷类型、缺陷表象以及严重等级；所述输电线路缺陷库支持缺陷库维护、文件导入功能；
图片缺陷提取及分类模块，用于基于所述输电线路缺陷库，进行图片缺陷快速化方案研究，实现图片缺陷快速化提取及分类；
变化检测模块，用于自动对比巡检线路周边环境变化识别功能最终能够实现自动对比两个不同时间点的视频数据，检测出周围环境的前后变化标志出变化体的位置；并且根据环境变化的内容，判别并输出线路周围环境中可能存在的隐患；
图片归类模块，用于根据所述输电线路缺陷库，实现图片缺陷的智能归类；
可视化分析模块，用于基于二维可视化GIS基础信息和可视化图片信息，分析可视化状态下的缺陷。
与现有技术相比，本发明实施例的有益效果在于：
本发明实施例提供的一种输电线路机巡的图像识别方法通过图像预处理，得到第一图像；通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域；扫描所述连通区域，通过深层卷积神经网络进行缺陷位置预测和种类预测，并对预测结果进行非最大值抑制处理，剔除重叠区域；本发明实施例提供的输电线路机巡的图像识别方法，将影像技术及空间技术为基础技术标准，提升输电线路无人机巡维管理水平，实现的便捷维护，提升无人机线路巡检化管理效率，降低巡检成本。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明某一实施例提供的一种输电线路机巡的图像识别方法的流程图；
图2是本发明另一实施例提供的一种输电线路机巡的图像识别方法的流程图；
图3是本发明另一实施例提供的一种输电线路机巡的图像识别方法的流程图；
图4是本发明又一实施例提供的一种输电线路机巡的图像识别方法的流程图；
图5是本发明某一实施例提供的一种输电线路机巡的图像识别系统的结构图；
图6是本发明另一实施例提供的一种输电线路机巡的图像识别系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
第一方面。
请参阅图1，本发明实施例提供一种输电线路机巡的图像识别方法，包括：
S100、通过图像预处理，得到第一图像。
S200、通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域。
S300、扫描所述连通区域，通过深层卷积神经网络进行缺陷位置预测和种类预测，并对预测结果进行非最大值抑制处理，剔除重叠区域。
研究无人机影像筛选模型,无人机和一般的相机所拍摄的图像之间的区别在于，前者所获得的图像会有更多的重叠的部分。所以在图片的拼凑的期间，不是一切的图片都要采取拼接的方式，因而在图片的初解决的期间，先要将拥有的图片按顺序进行择选，形成一套无人机巡视线路的影像筛选模型。
无人机在进行工作阶段，外来条件的多种因素的作用都会对最终的结果带来一定负面效果，所以得到的图片需要使用噪声对图片进行处理，若是图片不利用噪声进行处置就直接采取图片配准，这就会对最终拼凑图片的结果造成一定的改变。因此，结合均值滤波、中值滤波等方法，利用全卷积神经网络对输入的图像进行像素级分割处理，预测属于被处理影像的像素位置；然后对预测结果进行图形腐蚀膨胀处理，剔除噪声点，检测出影像的连通区域，研究出无人机噪声去除模型。
结合彩色图像将其转变成灰度图对图片进行初处理，在拼接的效率上来说获得了明显的提升。其主要的原因在于图片配准和图片的彩色没有直接的关系，反而在灰度空间中完成图片配准能够提升拼接效率。研究无人机彩色影像转换为灰度图像进行处理，也就是利用灰度图片来获得待拼凑图片之间的转换模型，再将模型运用到原图之中以后再进行拼凑的方法，形成灰度处理处理模型。
请参阅图3，在某一具体实施方式中，接收无人机拍摄得到的图像，对所述图像进行预处理，得到第一图像，具体地，图像预处理包括：
S101、提取原图片拍摄的位置信息。
S102、提取所述原图片拍摄时间，批量提取照片拍摄时间信息。
S103、根据所述原图片规范化名称方案，结合输电线路杆塔信息、所述位置信息与所述拍摄时间信息，进行图片的规范化名称命名。
S104、根据所述位置信息与所述拍摄信息，结合所述输电线路杆塔信息，自动将图片进行输电工程和杆塔信息名称进行分类，规范化存储。
S105、对于模糊、雾化的图像进行清晰化和去雾处理，使图像更加清晰，利于后期分析或人工识别。
S106、通过对图像进行梯度信息分析，结合图像内容理解的结果，对图像的梯度信息进行增强，使图像信息量有所强化。
其中，所述提取原图片拍摄的位置信息包括：根据POS数据，将POS位置信息置入图片位置信息；所述提取所述原图片拍摄时间包括：根据POS数据文件，置入精确的照片拍摄时间。
请参阅图4，在某一具体实施方式中，通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域，具体包括：
S201、区分所述绝缘子的形状和环境，标注所述绝缘子的像素级别信息，构建所述绝缘子的图片数据库。
S202、构建全卷积神经网络，利用所述数据库对所述全卷积神经网络进行训练，包括数据的卷积、池化、向前传播、向后反馈，得到训练模型。
S203、通过所述训练模型对所述第一图像进行绝缘子像素位置预测以及膨胀腐蚀去噪处理，输出绝缘子区域图片。
在某一具体实施方式中，以绝缘子检测为例，区域检测技术利用全卷积神经网络对输入的图像进行像素级分割处理，预测属于绝缘子的像素位置；然后对预测结果进行图形腐蚀膨胀处理，剔除噪声点，检测出绝缘子的连通区域；全卷积神经网络的技术框架如图7所示；
区域检测技术的实现大致可分为以下三个步骤：
1、针对不同形状和不同环境下的绝缘子，利用画图软件对其进行像素级别信息标注，构建海量的绝缘子图片数据库(万级数量)。
2、构建全卷积神经网络，利用数据库对全卷积神经网络进行训练，包括数据的卷积，池化，向前传播，向后反馈等步骤生成训练模型。
3、利用训练好的神经网络模型对输入图片进行绝缘子像素位置预测以及膨胀腐蚀去噪处理，输出绝缘子区域图片。
完成以上三个步骤后，区域检测技术最终能够对无人机拍摄的绝缘子图像进行自动识别，标志出绝缘子所在的区域。
请参阅图2，本发明实施例提供一种输电线路机巡的图像识别方法，还包括：
S110、根据所述原图片及所述输电线路杆塔信息，定义目标的图像匹配和融合，通过深度学习进行图像信息检测。
S120、通过表达、建模以及对立体、表面、属性以及动画的显示，实现数据可视化展示。
S130、根据输电线路缺陷类型，建立输电线路缺陷库；所述缺陷类型包括：缺陷分类、缺陷元件、缺陷部位、缺陷类型、缺陷表象以及严重等级；所述输电线路缺陷库支持缺陷库维护、文件导入功能；
S140、基于所述输电线路缺陷库，进行图片缺陷快速化方案研究，实现图片缺陷快速化提取及分类；
S150、自动对比巡检线路周边环境变化识别功能最终能够实现自动对比两个不同时间点的视频数据，检测出周围环境的前后变化标志出变化体的位置；并且根据环境变化的内容，判别并输出线路周围环境中可能存在的隐患；
S160、根据所述输电线路缺陷库，实现图片缺陷的智能归类；
S170、基于二维可视化GIS基础信息和可视化图片信息，分析可视化状态下的缺陷。
在某一具体实施方式中，本发明实施例提供一种输电线路机巡的图像识别方法，包括：图像预处理、线路图像智能分析、图像可视化展示、线路图象缺陷库、图片缺陷提取、图片缺陷智能分析。
其中，线路图像智能分析提供基于深度学习下的图像信息检测功能，可根据供的基准图像、标注信息实现定义目标的图像匹配和融合，包含高干植物靠近、与建筑物靠近、绝缘子掉串、绝缘子损坏、绝缘子折断智、绝缘子钢脚严重锈蚀或蚀损等智能图像分析。
图像可视化展示支持展现分析后的图像的结果，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化展示。
线路图象缺陷库根据输电线路缺陷类型，建立相应的输电线路缺陷库，包括缺陷分类、缺陷元件、缺陷部位、缺陷类型、缺陷表象以及严重等级，支持缺陷库维护、文件导入功能，主要包括但不限于高干植物靠近、与建筑物靠近、绝缘子掉串、绝缘子损坏、绝缘子折断智、绝缘子钢脚严重锈蚀或蚀损等图像缺陷特征库。
图片缺陷提取通过基于缺陷库，辅助人工判别，进行图片缺陷快速化方案研究，实现图片缺陷快速化提取及分类。首先，对不同时间段采集的视频图像进行预处理。由于本研究主要针对电网线路，建筑和树木等进行分类，但是原始图像中还包含了大量的山体和农田。所以需要利用图像配准，直方图均衡等操作过滤掉图像中的山体和农田等背景部分，减低计算复杂度及提高分类精度。第二，利用深层卷积神经网络对预处理后的图像进行特征提取和分类，确定图像中各个区域所属的类别。第三，在分类完成的基础上，利用图像差值法对各个区域的变化进行检测。巡检线路周边环境变化识别功能最终能够实现自动对比两个不同时间点的视频数据，检测出周围环境的前后变化标志出变化体的位置；并且根据环境变化的内容，判别并输出线路周围环境中可能存在的隐患。
图片缺陷智能分析根据缺陷库，实现图片缺陷的智能归类，基于二维可视化GIS等基础信息和可视化图片信息，进行可视化状态下的缺陷分析，以便于辅助人工分析。
第二方面。
请参阅图5，本发明实施例提供一种输电线路机巡的图像识别系统，包括：图像预处理模块100、像素位置处理模块200和非最大值抑制处理模块300。其中，
图像预处理模块100，用于通过图像预处理，得到第一图像；
像素位置处理模块200，用于通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域；
非最大值抑制处理模块300，用于扫描所述连通区域，通过深层卷积神经网络进行缺陷位置预测和种类预测，并对预测结果进行非最大值抑制处理，剔除重叠区域。
在某一具体实施方式中，图像预处理模块100，还用于：
提取原图片拍摄的位置信息；
提取所述原图片拍摄时间，批量提取照片拍摄时间信息；
根据所述原图片规范化名称方案，结合输电线路杆塔信息、所述位置信息与所述拍摄时间信息，进行图片的规范化名称命名；
根据所述位置信息与所述拍摄信息，结合所述输电线路杆塔信息，自动将图片进行输电工程和杆塔信息名称进行分类，规范化存储；
对于模糊、雾化的图像进行清晰化和去雾处理，使图像更加清晰，利于后期分析或人工识别；
通过对图像进行梯度信息分析，结合图像内容理解的结果，对图像的梯度信息进行增强，使图像信息量有所强化；
其中，所述提取原图片拍摄的位置信息包括：根据POS数据，将POS位置信息置入图片位置信息；所述提取所述原图片拍摄时间包括：根据POS数据文件，置入精确的照片拍摄时间。
在某一具体实施方式中，像素位置处理模块200，还用于：
区分所述绝缘子的形状和环境，标注所述绝缘子的像素级别信息，构建所述绝缘子的图片数据库；
构建全卷积神经网络，利用所述数据库对所述全卷积神经网络进行训练，包括数据的卷积、池化、向前传播、向后反馈，得到训练模型；
通过所述训练模型对所述第一图像进行绝缘子像素位置预测以及膨胀腐蚀去噪处理，输出绝缘子区域图片。
请参阅图6，本发明实施例提供一种输电线路机巡的图像识别系统，还包括：图像信息检测模块110、数据可视化模块120、缺陷库建立模块130、图片缺陷提取及分类模块140、变化检测模块150、图片归类模块160、可视化分析模块170。其中，
图像信息检测模块110，根据所述原图片及所述输电线路杆塔信息，定义目标的图像匹配和融合，通过深度学习进行图像信息检测。
数据可视化模块120，用于通过表达、建模以及对立体、表面、属性以及动画的显示，实现数据可视化展示。
缺陷库建立模块130，用于根据输电线路缺陷类型，建立输电线路缺陷库；所述缺陷类型包括：缺陷分类、缺陷元件、缺陷部位、缺陷类型、缺陷表象以及严重等级；所述输电线路缺陷库支持缺陷库维护、文件导入功能；
图片缺陷提取及分类模块140，用于基于所述输电线路缺陷库，进行图片缺陷快速化方案研究，实现图片缺陷快速化提取及分类；
变化检测模块150，用于自动对比巡检线路周边环境变化识别功能最终能够实现自动对比两个不同时间点的视频数据，检测出周围环境的前后变化标志出变化体的位置；并且根据环境变化的内容，判别并输出线路周围环境中可能存在的隐患；
图片归类模块160，用于根据所述输电线路缺陷库，实现图片缺陷的智能归类；
可视化分析模块170，用于基于二维可视化GIS基础信息和可视化图片信息，分析可视化状态下的缺陷。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种输电线路机巡的图像识别方法，其特征在于，包括：
通过图像预处理，得到第一图像；
通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域；
扫描所述连通区域，通过深层卷积神经网络进行缺陷位置预测和种类预测，并对预测结果进行非最大值抑制处理，剔除重叠区域。
2.如权利要求1所述的一种输电线路机巡的图像识别方法，其特征在于，所述通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域，还包括：
区分所述绝缘子的形状和环境，标注所述绝缘子的像素级别信息，构建所述绝缘子的图片数据库；
构建全卷积神经网络，利用所述数据库对所述全卷积神经网络进行训练，包括数据的卷积、池化、向前传播、向后反馈，得到训练模型；
通过所述训练模型对所述第一图像进行绝缘子像素位置预测以及膨胀腐蚀去噪处理，输出绝缘子区域图片。
3.如权利要求1所述的一种输电线路机巡的图像识别方法，其特征在于，所述通过图像预处理，得到第一图像，包括：
提取原图片拍摄的位置信息；
提取所述原图片拍摄时间，批量提取照片拍摄时间信息；
根据所述原图片规范化名称方案，结合输电线路杆塔信息、所述位置信息与所述拍摄时间信息，进行图片的规范化名称命名；
根据所述位置信息与所述拍摄信息，结合所述输电线路杆塔信息，自动将图片进行输电工程和杆塔信息名称进行分类，规范化存储；
对于模糊、雾化的图像进行清晰化和去雾处理，使图像更加清晰，利于后期分析或人工识别；
通过对图像进行梯度信息分析，结合图像内容理解的结果，对图像的梯度信息进行增强，使图像信息量有所强化；
其中，所述提取原图片拍摄的位置信息包括：根据POS数据，将POS位置信息置入图片位置信息；所述提取所述原图片拍摄时间包括：根据POS数据文件，置入精确的照片拍摄时间。
4.如权利要求3所述的一种输电线路机巡的图像识别方法，其特征在于，还包括：
根据所述原图片及所述输电线路杆塔信息，定义目标的图像匹配和融合，通过深度学习进行图像信息检测。
5.如权利要求1所述的一种输电线路机巡的图像识别方法，其特征在于，还包括：
通过表达、建模以及对立体、表面、属性以及动画的显示，实现数据可视化展示。
6.如权利要求1所述的一种输电线路机巡的图像识别方法，其特征在于，还包括：
根据输电线路缺陷类型，建立输电线路缺陷库；所述缺陷类型包括：缺陷分类、缺陷元件、缺陷部位、缺陷类型、缺陷表象以及严重等级；所述输电线路缺陷库支持缺陷库维护、文件导入功能；
基于所述输电线路缺陷库，进行图片缺陷快速化方案研究，实现图片缺陷快速化提取及分类；
自动对比巡检线路周边环境变化识别功能最终能够实现自动对比两个不同时间点的视频数据，检测出周围环境的前后变化标志出变化体的位置；并且根据环境变化的内容，判别并输出线路周围环境中可能存在的隐患；
根据所述输电线路缺陷库，实现图片缺陷的智能归类；
基于二维可视化GIS基础信息和可视化图片信息，分析可视化状态下的缺陷。
7.一种输电线路机巡的图像识别系统，其特征在于，包括：
图像预处理模块，用于通过图像预处理，得到第一图像；
像素位置处理模块，用于通过全卷积神经网络对所述第一图像进行像素级分割处理，得到绝缘子的像素位置，并对所述绝缘子的像素位置进行图形腐蚀膨胀处理，剔除噪声点，得到绝缘子的连通区域；
非最大值抑制处理模块，用于扫描所述连通区域，通过深层卷积神经网络进行缺陷位置预测和种类预测，并对预测结果进行非最大值抑制处理，剔除重叠区域。
8.如权利要求7所述的一种输电线路机巡的图像识别系统，其特征在于，还包括：
图像信息检测模块，根据所述原图片及所述输电线路杆塔信息，定义目标的图像匹配和融合，通过深度学习进行图像信息检测。
9.如权利要求7所述的一种输电线路机巡的图像识别系统，其特征在于，还包括：
数据可视化模块，用于通过表达、建模以及对立体、表面、属性以及动画的显示，实现数据可视化展示。
10.如权利要求7所述的一种输电线路机巡的图像识别系统，其特征在于，还包括：
缺陷库建立模块，用于根据输电线路缺陷类型，建立输电线路缺陷库；所述缺陷类型包括：缺陷分类、缺陷元件、缺陷部位、缺陷类型、缺陷表象以及严重等级；所述输电线路缺陷库支持缺陷库维护、文件导入功能；
图片缺陷提取及分类模块，用于基于所述输电线路缺陷库，进行图片缺陷快速化方案研究，实现图片缺陷快速化提取及分类；
变化检测模块，用于自动对比巡检线路周边环境变化识别功能最终能够实现自动对比两个不同时间点的视频数据，检测出周围环境的前后变化标志出变化体的位置；并且根据环境变化的内容，判别并输出线路周围环境中可能存在的隐患；
图片归类模块，用于根据所述输电线路缺陷库，实现图片缺陷的智能归类；
可视化分析模块，用于基于二维可视化GIS基础信息和可视化图片信息，分析可视化状态下的缺陷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010604770.2A CN111899219A (zh) | 2020-09-01 | 2020-09-01 | 一种输电线路机巡的图像识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010604770.2A CN111899219A (zh) | 2020-09-01 | 2020-09-01 | 一种输电线路机巡的图像识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111899219A true CN111899219A (zh) | 2020-11-06 |
Family
ID=73206501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010604770.2A Pending CN111899219A (zh) | 2020-09-01 | 2020-09-01 | 一种输电线路机巡的图像识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111899219A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801211A (zh) * | 2021-03-02 | 2021-05-14 | 贵州电网有限责任公司 | 基于图像识别技术的电网缺陷精确识别方法 |
| CN112860760A (zh) * | 2021-01-29 | 2021-05-28 | 云南电网有限责任公司电力科学研究院 | 一种配电网设备智能辨识系统 |
| CN112881870A (zh) * | 2021-01-12 | 2021-06-01 | 云南电网有限责任公司电力科学研究院 | 一种输电线路树障距离的估算方法、系统、设备和介质 |
| CN115187880A (zh) * | 2022-07-20 | 2022-10-14 | 无锡科技职业学院 | 基于图像识别的通信光缆缺陷检测方法、系统及存储介质 |
-
2020
- 2020-09-01 CN CN202010604770.2A patent/CN111899219A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| 张晶: "《数字图像处理应用研究》", 30 April 2019, 长春：吉林大学出版社 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112881870A (zh) * | 2021-01-12 | 2021-06-01 | 云南电网有限责任公司电力科学研究院 | 一种输电线路树障距离的估算方法、系统、设备和介质 |
| CN112860760A (zh) * | 2021-01-29 | 2021-05-28 | 云南电网有限责任公司电力科学研究院 | 一种配电网设备智能辨识系统 |
| CN112860760B (zh) * | 2021-01-29 | 2023-03-31 | 云南电网有限责任公司电力科学研究院 | 一种配电网设备智能辨识系统 |
| CN112801211A (zh) * | 2021-03-02 | 2021-05-14 | 贵州电网有限责任公司 | 基于图像识别技术的电网缺陷精确识别方法 |
| CN115187880A (zh) * | 2022-07-20 | 2022-10-14 | 无锡科技职业学院 | 基于图像识别的通信光缆缺陷检测方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111899219A (zh) | 一种输电线路机巡的图像识别方法及系统 | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| KR20200013148A (ko) | 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램 | |
| CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
| CN111754466B (zh) | 传输机皮带损伤状况的智能检测方法 | |
| CN115294117B (zh) | Led灯珠的缺陷检测方法及相关装置 | |
| CN113252053B (zh) | 高精度地图生成方法、装置和电子设备 | |
| CN110646425B (zh) | 一种烟叶在线辅助定级方法及系统 | |
| CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
| CN112101138B (zh) | 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法 | |
| CN113435407B (zh) | 一种输电系统的小目标识别方法及装置 | |
| CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN112991432A (zh) | 基于图像处理的覆冰冰形识别方法 | |
| CN113313107A (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN115937101A (zh) | 质量检测方法、装置、设备及存储介质 | |
| CN115578326A (zh) | 一种道路病害识别方法、系统、设备及存储介质 | |
| CN112069894A (zh) | 一种基于Faster-RCNN模型的导线散股识别方法 | |
| CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
| CN110942058A (zh) | 一种基于ccd机器视觉识别的仪表数据读取方法 | |
| CN112967224A (zh) | 一种基于人工智能的电子电路板检测系统、方法及介质 | |
| CN114120086A (zh) | 路面病害识别、图像处理模型训练方法、装置及电子设备 | |
| CN113554610A (zh) | 一种光伏组件运行状态检测方法及其应用装置 | |
| CN116645351A (zh) | 一种复杂场景的缺陷在线检测方法及系统 | |
| CN112116561B (zh) | 基于图像处理融合网络权值的电网传输线检测方法及装置 | |
| CN115937138A (zh) | 一种基于无人机的桥梁裂缝识别检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201106 |
|
| RJ01 | Rejection of invention patent application after publication |