CN114627021A - 基于点云与深度学习的缺陷检测方法和系统 - Google Patents
基于点云与深度学习的缺陷检测方法和系统 Download PDFInfo
- Publication number
- CN114627021A CN114627021A CN202210271151.5A CN202210271151A CN114627021A CN 114627021 A CN114627021 A CN 114627021A CN 202210271151 A CN202210271151 A CN 202210271151A CN 114627021 A CN114627021 A CN 114627021A
- Authority
- CN
- China
- Prior art keywords
- insulator
- point cloud
- defect
- type
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 128
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 239000012212 insulator Substances 0.000 claims abstract description 162
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 35
- 238000007781 pre-processing Methods 0.000 claims description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims 3
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 238000003706 image smoothing Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及电力技术领域，提供一种基于点云与深度学习的电力设备缺陷检测方法及系统。该方法包括：获取绝缘子图像信息和激光三维点云数据；利用所述图像信息通过深度卷积神经网络判断绝缘子类型；根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型；将所述绝缘子激光三维点云数据输入所述缺陷检测模型，确定绝缘子缺陷类型；上述方法克服了仅仅使用图像检测或激光点云模型进行缺陷检测不准确的问题，提高了检测的精确度和检测速度。
Description
技术领域
本发明涉及电力技术领域，更具体的涉及一种基于点云与深度学习的电力设备缺陷检测方法及系统。
背景技术
电力应用渗透至国家与企业运作与发展以及国民生活起居等各个方面，可见电力系统是国民经济发展的基础，但电力系统具有多项不安全因素,一旦发生电力事故,将对个人或企业甚至国家造成不同程度的影响,因此保障电网的正常稳定运行是电力企业的工作核心,高效的电力故障抢修是电力企业安全生产的重要保证。其中绝缘子作为电力设备的重要部分，其是否有破损，严重影响电力设备的安全性。现有的电力设备巡检方法，主要通过人工巡检或无人机以航拍的方式对输电线路的进行巡检。人工巡检由于输电线路分布点多面广、地理条件复杂，人工巡检工作效率低、劳动强度大、工作环境危险、效果不显著。航拍方式进行的巡检主要是通过拍摄高清图像，通过图像处理分析的方式进行设备缺陷的检测。但是，由于拍摄图像受光照，天气等环境影响，导致图像质量无法保障，噪音较多，精确度不高。随着激光雷达测量设备的小型化，便携化的发展，且三维激光雷达获取的三维点云数据作为分析数据有着检测精度高；数据获取容易，不受光照影响严重的特点。虽然目前提出了将三维激光点云数据与图像分析结合的方法，但是由于绝缘子种类繁多，因此，如果直接使用结合检测的方式会造成检测速度慢，效率低，占用内存大的问题。
因此，提出了一种基于点云与深度学习的电力设备缺陷检测方法，以解决上述问题。
发明内容
考虑到上述问题而提出了本发明。
根据本发明一方面，提供了一种基于点云与深度学习的电力设备缺陷检测方法。该方法包括：
S100，获取绝缘子图像信息和激光三维点云数据；
S200，利用所述图像信息通过深度卷积神经网络判断绝缘子类型；
S300，根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型；
S400，将所述绝缘子激光三维点云数据输入所述缺陷检测模型，确定绝缘子缺陷类型。
根据本发明另一方面，提供了一种基于点云与深度学习的电力设备缺陷检测系统。该系统包括：
数据采集单元，获取绝缘子图像信息和激光三维点云数据；
类型模型单元，利用所述图像信息通过深度卷积神经网络判断绝缘子类型；
数据分类单元，根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型；
缺陷模型单元，将所述绝缘子激光三维点云数据输入所述缺陷检测模型，确定绝缘子缺陷类型。
上述方法和装置1)针对电力设备检测的特点，通过对图像通过深度学习手段进行粗略的绝缘子类型判断，对图像质量要求不高，因此，即使是在光照不好的情况下，也不会产生大的误差；2)利用激光三维点云数据的精确性，在确定绝缘子类型后，直接选择相应的绝缘子缺陷模型进行判断，可提高准确度，同时提高了识别速度；3)本文选择couplenet神经网络，可以精确的判断图像中局部和全局的特征，针对不同类型的绝缘子，可以精确判断。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出根据本发明一个实施例的缺陷检测方法的示意性框图；
图2示出根据本发明一个实施例的确定绝缘子类型的流程示意图；
图3示出根据本发明一个实施例的缺陷检测系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
实施例一：
为了解决上文所述的问题，本发明实施例提出一种基于点云与深度学习的电力设备缺陷检测方法及系统。具体的，本发明实施例提出一种三维点云结合图像处理的绝缘子缺陷检测方法及系统，首先获取绝缘子的图像信息和激光点云数据，通过深度卷积神经网络粗略快速判断绝缘子类型，然后根据确定的绝缘子类型，使用激光点云数据，利用激光点云数据建立的对应的三维绝缘子类型缺陷检测模型，进行缺陷类型的确定。
下面参考图1来描述根据本发明实施例的基于点云与深度学习的电力设备缺陷检测方法包括：
S100，获取绝缘子图像信息和激光三维点云数据；
S200，利用所述图像信息通过深度卷积神经网络判断绝缘子类型；
S300，根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型；
S400，将所述绝缘子激光三维点云数据输入所述缺陷检测模型，确定绝缘子缺陷类型。
在步骤S100，获取绝缘子图像信息和激光三维点云数据包括：
步骤S101，获取绝缘子图像信息。
可选的，通过对搭载云台设备的无人机设定航行方向，对无人机前方绝缘子进行高分辨率的全景拍照，得到绝缘子图像；使用高分辨率全景拍照，是由于远距离拍摄下，画面之中难免出现树木与杂物等，如果图像信息不够丰富，便会导致特征点提取较少，在分类时导致分类不准确的问题发生。
步骤S102，获取绝缘子激光三维点云数据。
示例性而非限制性地，绝缘子点云数据可以利用激光雷达测量(Light Detectingand Ranging，LiDAR)技术采集获得。激光雷达测量技术源自1970年美国航天局(NASA)的研发，20世纪80年代得到迅速发展。20世纪90年代前后，将其与全球定位系统(GPS)、惯性导航系统、光谱成像设备集成应用，成为机载激光雷达系统。该机载激光雷达系统可以提供精确的地球空间信息，具有全天候、作业周期短、精度高、费用低等优点。
本领域技术人员可以理解，点云数据是大量点的集合。点云数据中的每个点包括三维坐标，在某些情况下还可以包括颜色信息等。本领域技术人员可以理解，将利用激光雷达测量技术采集获得的绝缘子点云数据显示出来。绝缘子点云图主要由大量离散的点组成。
下面参考图2来描述步骤S200，利用所述图像信息通过深度卷积神经网络判断绝缘子类型包括：
步骤S201，对获取的图像进行预处理。
所述预处理包括对图像进行图像增强处理，变换图像的灰度，使其图像变清晰，对比度增强，边缘特征突出；然后进行图像平滑处理，去除各种噪声；最后进行图像锐化处理，使图像中的边缘变的清晰。
步骤S202，训练判断绝缘子类型的深度卷积神经网络模型。
绝缘子是一种特殊的绝缘控件，能够在架空输电线路中起到重要作用；绝缘子种类繁多，形状各异。不同类型绝缘子的结构和外形都有很大差别。如果直接使用图像进行缺陷检测则会由于图像质量问题导致检测精度不够，造成误检测，直接使用激光点云模型进行缺陷检测，则由于绝缘子种类繁多，造成检测速度慢，内存消耗大。
步骤S212，获取绝缘子图像，并将图像按照2：8的比例分为测试集和训练集；
步骤S222，分别对测试集和训练集进行手工标注，标注出绝缘子类型；
步骤S232，对手工标注后的训练集、测试集进行预处理；
步骤S242，将预处理后的训练集输入深度卷积神经网络模型中进行训练。
步骤S252，将训练后得到的模型参数作为预测模型，将测试集输入所述的预测模型进行绝缘子类型预测，测试模型精确度。
步骤S262，将预处理后的获取的图像输入预测模型中，得到绝缘子的类型。
由于一张图片中，绝缘子的数量，种类，大小不确定，因此，采用可以同时将全局信息和局部信息相结合的全卷积神经网络。
可选的，全卷积神经网络为couplenet网络，
步骤S300，根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型。
步骤S301，数据获取，获取所有绝缘子缺陷类型的三维点云数据；
步骤S302，数据预处理，对所述三维点云数据进行滤波预处理，得到点云数据；
步骤303，构建模型，通过重采样及数据拼接和匹配对所述点云数据进行处理，并将处理后的数据构建成三维缺陷模型；
步骤S304，缺陷模型分类，对所述缺陷模型进行特征提取，得到缺陷特征；并对不同绝缘子类型的缺陷特征构建不同集合，即一种绝缘子类型对应的缺陷特征构建一个集合，N种绝缘子类型构建N个集合，每个集合中包括该类型下的所有缺陷类型特征，其中N为大于1的整数。
步骤S305，构建缺陷类型检测模型，采用卷积神经网络对绝缘子类型的缺陷特征集合进行训练，得到N个不同绝缘子类型的缺陷类型检测模型。
需要说明的，所述重采样主要将采集的所述点云数据经过精简、拼接，配准统一到同一坐标系中，形成一个三维模型。所述卷积神经网络是一个层次模型，主要包括输入层，卷积层，池化层、全连接层以及输出层。根据每层的功能，卷积神经网络可划分为两个部分：由输入层、卷积层和池化层构成特征提取器，以及由全连接层和输入层构成分类器。
步骤S400，将所述绝缘子激光三维点云数据输入所述相应缺陷检测模型，确定绝缘子缺陷类型。
步骤S401，对获取的绝缘子三维点云进行预处理，对所述三维点云数据进行滤波处理，得到处理后的点云数据；
步骤S402，将预处理后的三维点云数据输入相应缺陷检测模型中，得到绝缘子缺陷类型。
在本实施例中，通过先使用图像识别的手段进行粗略的绝缘子类型识别，可以降低对图像质量的要求，仅仅需要能拍摄到绝缘子大体轮廓即可；然后利用激光三维点云的优势，进行精确的缺陷类型识别，为后期绝缘子的维护提供保障。
实施例二：
图3为根据本发明一个实施例的缺陷检测系统的示意性框图。
下面参考图3来描述根据本发明实施例的一种基于点云与深度学习的电力设备缺陷检测系统包括：
数据采集单元3100，获取绝缘子图像信息和激光三维点云数据；
类型模型单元3200，利用所述图像信息通过深度卷积神经网络判断绝缘子类型；
数据分类单元3300，根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型；
缺陷模型单元3400，将所述绝缘子激光三维点云数据输入所述缺陷检测模型，确定绝缘子缺陷类型。
数据采集单元3100，获取绝缘子图像信息和激光点云数据包括：
第一采集单元，获取绝缘子图像信息。
可选的，通过对搭载云台设备的无人机设定航行方向，对无人机前方绝缘子进行高分辨率的全景拍照，得到绝缘子图像；使用高分辨率全景拍照，是由于远距离拍摄下，画面之中难免出现树木与杂物等，如果图像信息不够丰富，便会导致特征点提取较少，在分类时导致分类不准确的问题发生。
第二采集单元，获取绝缘子激光三维点云数据。
示例性而非限制性地，绝缘子点云数据可以利用激光雷达测量(Light Detectingand Ranging，LiDAR)技术采集获得。激光雷达测量技术源自1970年美国航天局(NASA)的研发，20世纪80年代得到迅速发展。20世纪90年代前后，将其与全球定位系统(GPS)、惯性导航系统、光谱成像设备集成应用，成为机载激光雷达系统。该机载激光雷达系统可以提供精确的地球空间信息，具有全天候、作业周期短、精度高、费用低等优点。
本领域技术人员可以理解，点云数据是大量点的集合。点云数据中的每个点包括三维坐标，在某些情况下还可以包括颜色信息等。本领域技术人员可以理解，将利用激光雷达测量技术采集获得的绝缘子点云数据显示出来。绝缘子点云图主要由大量离散的点组成。
所述类型模型单元3200，利用所述图像信息通过深度卷积神经网络判断绝缘子类型包括：
第一预处理单元，对获取的图像进行预处理。
所述预处理包括对图像进行图像增强处理，变换图像的灰度，使其图像变清晰，对比度增强，边缘特征突出；然后进行图像平滑处理，去除各种噪声；最后进行图像锐化处理，使图像中的边缘变的清晰。
模型训练单元，训练判断绝缘子类型的深度卷积神经网络模型。
绝缘子是一种特殊的绝缘控件，能够在架空输电线路中起到重要作用；绝缘子种类繁多，形状各异。不同类型绝缘子的结构和外形都有很大差别。如果直接使用图像进行缺陷检测则会由于图像质量问题导致检测精度不够，造成误检测，直接使用激光点云模型进行缺陷检测，则由于绝缘子种类繁多，造成检测速度慢，内存消耗大。
样本分割单元，获取绝缘子图像，并将图像按照2：8的比例分为测试集和训练集；
标注单元，分别对测试集和训练集进行手工标注，标注出绝缘子类型；
第二预处理单元，对手工标注后的训练集、测试集进行预处理；
第一训练子单元，将预处理后的训练集输入深度卷积神经网络模型中进行训练。
模型预测单元，将训练后得到的模型参数作为预测模型，将测试集输入所述的预测模型进行绝缘子类型预测，测试模型精确度。
模型确定单元，将预处理后的获取的图像输入预测模型中，得到绝缘子的类型。
由于一张图片中，绝缘子的数量，种类，大小不确定，因此，采用可以同时将全局信息和局部信息相结合的全卷积神经网络。
可选的，全卷积神经网络为couplenet网络，
数据分类单元3300，根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型。
缺陷数据获取单元，数据获取，获取所有绝缘子缺陷类型的三维点云数据；
第三预处理单元，数据预处理，对所述三维点云数据进行滤波预处理，得到点云数据；
模型构建单元，构建模型，通过重采样及数据拼接和匹配对所述点云数据进行处理，并将处理后的数据构建成三维缺陷模型；
第一分类子单元，缺陷模型分类，对所述缺陷模型进行特征提取，得到缺陷特征；并对不同绝缘子类型的缺陷特征构建不同集合，即一种绝缘子类型对应的缺陷特征构建一个集合，N种绝缘子类型构建N个集合，每个集合中包括该类型下的所有缺陷类型特征，其中N为大于1的整数。
缺陷类型构建单元，构建缺陷类型检测模型，采用卷积神经网络对绝缘子类型的缺陷特征集合进行训练，得到N个不同绝缘子类型的缺陷类型检测模型。
需要说明的，所述重采样主要将采集的所述点云数据经过精简、拼接，配准统一到同一坐标系中，形成一个三维模型。所述卷积神经网络是一个层次模型，主要包括输入层，卷积层，池化层、全连接层以及输出层。根据每层的功能，卷积神经网络可划分为两个部分：由输入层、卷积层和池化层构成特征提取器，以及由全连接层和输入层构成分类器。
缺陷模型单元3400，将所述绝缘子激光三维点云数据输入所述相应缺陷检测模型，确定绝缘子缺陷类型。
第四预处理单元，对获取的绝缘子三维点云进行预处理，对所述三维点云数据进行滤波处理，得到处理后的点云数据；
缺陷确定单元，将预处理后的三维点云数据输入相应缺陷检测模型中，得到绝缘子缺陷类型。
在本实施例中，通过先使用图像识别的手段进行粗略的绝缘子类型识别，可以降低对图像质量的要求，仅仅需要能拍摄到绝缘子大体轮廓即可；然后利用激光三维点云的优势，进行精确的缺陷类型识别，为后期绝缘子的维护提供保障。
尽管本文已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的组件或步骤。位于组件之前的单词“一”或“一个”不排除存在多个这样的组件。本发明可以借助于包括有若干不同组件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于点云与深度学习的电力设备缺陷检测方法，包括：
S100，获取绝缘子图像信息和激光三维点云数据；
S200，利用所述图像信息通过深度卷积神经网络判断绝缘子类型；
S300，根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型；
S400，将所述绝缘子激光三维点云数据输入所述缺陷检测模型，确定绝缘子缺陷类型；
其中所述步骤S300，根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型，还包括：
步骤S301，数据获取，获取所有绝缘子缺陷类型的三维点云数据；
步骤S302，数据预处理，对所述三维点云数据进行滤波预处理，得到点云数据；
步骤303，构建模型，通过重采样及数据拼接和匹配对所述点云数据进行处理，并将处理后的数据构建成三维缺陷模型；
步骤S304，缺陷模型分类，对所述缺陷模型进行特征提取，得到缺陷特征；并对不同绝缘子类型的缺陷特征构建不同集合，即一种绝缘子类型对应的缺陷特征构建一个集合，N种绝缘子类型构建N个集合，每个集合中包括该类型下的所有缺陷类型特征，其中N为大于1的整数；
步骤S305，构建缺陷类型检测模型，采用卷积神经网络对绝缘子类型的缺陷特征集合进行训练，得到N个不同绝缘子类型的缺陷类型检测模型。
2.如权利要求1所述的基于点云与深度学习的电力设备缺陷检测方法，所述步骤S100，获取绝缘子图像信息和激光点云数据还包括：
步骤S101，获取绝缘子图像信息；
步骤S102，获取绝缘子激光三维点云数据。
3.如权利要求1所述的基于点云与深度学习的电力设备缺陷检测方法，所述步骤S200，利用所述图像信息通过深度卷积神经网络判断绝缘子类型还包括：
步骤S201，对获取的图像进行预处理；
步骤S202，训练判断绝缘子类型的深度卷积神经网络模型；
所述步骤S202还包括：
步骤S212，获取绝缘子图像，并将图像按照2：8的比例分为测试集和训练集；
步骤S222，分别对测试集和训练集进行手工标注，标注出绝缘子类型；
步骤S232，对手工标注后的训练集、测试集进行预处理；
步骤S242，将预处理后的训练集输入深度卷积神经网络模型中进行训练；
步骤S252，将训练后得到的模型参数作为预测模型，将测试集输入所述的预测模型进行绝缘子类型预测，测试模型精确度；
步骤S262，将预处理后的获取的图像输入预测模型中，得到绝缘子的类型。
4.如权利要求3所述的基于点云与深度学习的电力设备缺陷检测方法，所述深度卷积神经网络为couplenet全卷积神经网络。
5.如权利要求1所述的基于点云与深度学习的电力设备缺陷检测方法，所述步骤S400将所述绝缘子激光三维点云数据输入所述缺陷检测模型，确定绝缘子缺陷类型；还包括：
步骤S401，对获取的绝缘子三维点云进行预处理，对所述三维点云数据进行滤波处理，得到处理后的点云数据；
步骤S402，将预处理后的三维点云数据输入相应缺陷检测模型中，得到绝缘子缺陷类型。
6.一种基于点云与深度学习的电力设备缺陷检测系统，包括：
数据采集单元，获取绝缘子图像信息和激光三维点云数据；
类型模型单元，利用所述图像信息通过深度卷积神经网络判断绝缘子类型；
数据分类单元，根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型；
缺陷模型单元，将所述绝缘子激光三维点云数据输入所述缺陷检测模型，确定绝缘子缺陷类型；
其中数据分类单元根据确定的绝缘子类型调用对应类型的三维绝缘子点云缺陷检测模型还包括：
缺陷数据获取单元，数据获取，获取所有绝缘子缺陷类型的三维点云数据；
第三预处理单元，数据预处理，对所述三维点云数据进行滤波预处理，得到点云数据；
模型构建单元，构建模型，通过重采样及数据拼接和匹配对所述点云数据进行处理，并将处理后的数据构建成三维缺陷模型；
第一分类子单元，缺陷模型分类，对所述缺陷模型进行特征提取，得到缺陷特征；并对不同绝缘子类型的缺陷特征构建不同集合，即一种绝缘子类型对应的缺陷特征构建一个集合，N种绝缘子类型构建N个集合，每个集合中包括该类型下的所有缺陷类型特征，其中N为大于1的整数；
缺陷类型构建单元，构建缺陷类型检测模型，采用卷积神经网络对绝缘子类型的缺陷特征集合进行训练，得到N个不同绝缘子类型的缺陷类型检测模型。
7.如权利要求6所述的基于点云与深度学习的电力设备缺陷检测系统，所述数据采集单元，获取绝缘子图像信息和激光点云数据还包括：
第一采集单元，获取绝缘子图像信息；
第二采集单元，获取绝缘子激光三维点云数据。
8.如权利要求6所述的基于点云与深度学习的电力设备缺陷检测系统，所述类型模型单元，利用所述图像信息通过深度卷积神经网络判断绝缘子类型；
第一预处理单元，对获取的图像进行预处理；
模型训练单元，训练判断绝缘子类型的深度卷积神经网络模型；
所述模型训练单元还包括：
样本分割单元，获取绝缘子图像，并将图像按照2：8的比例分为测试集和训练集；
标注单元，分别对测试集和训练集进行手工标注，标注出绝缘子类型；
第二预处理单元，对手工标注后的训练集、测试集进行预处理；
第一训练子单元，将预处理后的训练集输入深度卷积神经网络模型中进行训练；
模型预测单元，将训练后得到的模型参数作为预测模型，将测试集输入所述的预测模型进行绝缘子类型预测，测试模型精确度；
模型确定单元，将预处理后的获取的图像输入预测模型中，得到绝缘子的类型。
9.如权利要求8所述的基于点云与深度学习的电力设备缺陷检测系统，所述深度卷积神经网络为couplenet全卷积神经网络。
10.如权利要求6所述的基于点云与深度学习的电力设备缺陷检测系统，所述缺陷模型单元，将所述绝缘子激光三维点云数据输入所述缺陷检测模型，确定绝缘子缺陷类型，还包括：
第四预处理单元，对获取的绝缘子三维点云进行预处理，对所述三维点云数据进行滤波处理，得到处理后的点云数据；
缺陷确定单元，将预处理后的三维点云数据输入相应缺陷检测模型中，得到绝缘子缺陷类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210271151.5A CN114627021A (zh) | 2022-03-18 | 2022-03-18 | 基于点云与深度学习的缺陷检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210271151.5A CN114627021A (zh) | 2022-03-18 | 2022-03-18 | 基于点云与深度学习的缺陷检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114627021A true CN114627021A (zh) | 2022-06-14 |
Family
ID=81901344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210271151.5A Pending CN114627021A (zh) | 2022-03-18 | 2022-03-18 | 基于点云与深度学习的缺陷检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627021A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115587989A (zh) * | 2022-10-21 | 2023-01-10 | 国家工业信息安全发展研究中心 | 一种工件ct图像缺陷检测分割方法及系统 |
| CN115965579A (zh) * | 2022-11-14 | 2023-04-14 | 中国电力科学研究院有限公司 | 一种变电站巡检三维缺陷识别和定位的方法及系统 |
| CN116363087A (zh) * | 2023-03-23 | 2023-06-30 | 南京航空航天大学 | 一种复合材料自动铺放表面缺陷的检测方法 |
-
2022
- 2022-03-18 CN CN202210271151.5A patent/CN114627021A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115587989A (zh) * | 2022-10-21 | 2023-01-10 | 国家工业信息安全发展研究中心 | 一种工件ct图像缺陷检测分割方法及系统 |
| CN115587989B (zh) * | 2022-10-21 | 2023-08-18 | 国家工业信息安全发展研究中心 | 一种工件ct图像缺陷检测分割方法及系统 |
| CN115965579A (zh) * | 2022-11-14 | 2023-04-14 | 中国电力科学研究院有限公司 | 一种变电站巡检三维缺陷识别和定位的方法及系统 |
| CN115965579B (zh) * | 2022-11-14 | 2023-09-22 | 中国电力科学研究院有限公司 | 一种变电站巡检三维缺陷识别和定位的方法及系统 |
| CN116363087A (zh) * | 2023-03-23 | 2023-06-30 | 南京航空航天大学 | 一种复合材料自动铺放表面缺陷的检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287519B (zh) | 一种集成bim的建筑工程施工进度监测方法及系统 | |
| Duque et al. | Bridge deterioration quantification protocol using UAV | |
| CN114627021A (zh) | 基于点云与深度学习的缺陷检测方法和系统 | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN109598794B (zh) | 三维gis动态模型的构建方法 | |
| CN113252700B (zh) | 一种结构裂缝检测方法、设备及系统 | |
| CN110910341B (zh) | 一种输电线路锈蚀区缺陷检测方法及装置 | |
| CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
| CN110675408A (zh) | 基于深度学习的高分辨率影像建筑物提取方法及系统 | |
| EP3023912A1 (en) | Crack data collection apparatus and server apparatus to collect crack data | |
| CN112101138B (zh) | 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法 | |
| CN112990136B (zh) | 一种目标检测方法及装置 | |
| CN113822247A (zh) | 基于航拍影像的违章建筑识别方法及系统 | |
| CN114049356A (zh) | 一种结构表观裂缝检测方法、装置及系统 | |
| CN116152697A (zh) | 一种混凝土结构裂缝的三维模型测量方法及相关装置 | |
| Motayyeb et al. | Fusion of UAV-based infrared and visible images for thermal leakage map generation of building facades | |
| WO2017082774A1 (ru) | Способ и система распознавания городских объектов | |
| CN112184903A (zh) | 高压线行树障风险点的检测方法、装置、设备及介质 | |
| CN117422699A (zh) | 公路检测方法、装置、计算机设备及存储介质 | |
| CN112115737B (zh) | 一种车辆朝向的确定方法、装置及车载终端 | |
| CN114252884A (zh) | 路侧雷达定位监测方法、装置、计算机设备和存储介质 | |
| JP2014099055A (ja) | 検出装置、検出方法、及びプログラム | |
| CN112288672A (zh) | 肿瘤检测方法及肿瘤检测装置 | |
| KR20190020858A (ko) | 애자 고유 식별 장치 및 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능한 저장 매체 | |
| CN113642395B (zh) | 面向城市增强现实信息标注的建筑物场景结构提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |