CN113506290A - 一种线路绝缘子缺陷检测方法及装置 - Google Patents
一种线路绝缘子缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN113506290A CN113506290A CN202110865073.7A CN202110865073A CN113506290A CN 113506290 A CN113506290 A CN 113506290A CN 202110865073 A CN202110865073 A CN 202110865073A CN 113506290 A CN113506290 A CN 113506290A
- Authority
- CN
- China
- Prior art keywords
- insulator
- data set
- model
- defect
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 231
- 230000007547 defect Effects 0.000 title claims abstract description 223
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 161
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000005520 cutting process Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 21
- 239000010410 layer Substances 0.000 description 28
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- ZAMOUSCENKQFHK-UHFFFAOYSA-N Chlorine atom Chemical compound [Cl] ZAMOUSCENKQFHK-UHFFFAOYSA-N 0.000 description 1
- 229910052801 chlorine Inorganic materials 0.000 description 1
- 239000000460 chlorine Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种线路绝缘子缺陷检测方法及装置，该方法包括：获取线路绝缘子的标注有绝缘子信息的多张图片，并将标注有绝缘子信息的多张图片作为第一数据集；对第一数据集进行预处理，得到第二数据集；将第一数据集的训练子集和第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型；将第一数据集的测试子集输入至设备本体检测模型，基于设备本体检测模型检测第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集；将输出图像集输入至缺陷检测模型，基于缺陷检测模型检测输出图像集对应的绝缘子的缺陷。本发明实施例提供的技术方案，能够提高绝缘子缺陷检测的可靠性。
Description
技术领域
本发明实施例涉及绝缘子缺陷检测技术，尤其涉及一种线路绝缘子缺陷检测方法及装置。
背景技术
配电线路杆塔上的导线是利用绝缘子和金属具连接固定在杆塔上，且处于架空状态，其中绝缘子不但要承受较高工作电压的作用，还要承受机械力的作用以及需要适应周围环境、温度、恶劣天气的影响等。单个绝缘子的电气损伤、缺陷有可能会损害整条线路的使用和运行寿命，造成大范围的停电，可能导致经济和人员伤亡以及物质损失。为了防止这种情况，需对绝缘子缺陷进行可靠地检测。
目前，现有的线路绝缘子缺陷检测方法，通常需要人工辅助，需要施工人员充分了解各类常见绝缘子以及损伤类型，具备良好的专业素质和身体素质进行上塔作业，传统方式费时、费力、不准确且危险，需要消耗大量的人力物力。非接触式红外扫描图像分析方法在安全性上得到了保证，但是测量值也常常会因为大气的温度、湿度和氯含量而有差异，影响线路绝缘子缺陷检测的可靠性。
发明内容
本发明实施例提供一种线路绝缘子缺陷检测方法及装置，以提高线路绝缘子缺陷检测的可靠性。
第一方面，本发明实施例提供了一种线路绝缘子缺陷检测方法，包括：
获取线路绝缘子的标注有绝缘子信息的多张图片，并将标注有绝缘子信息的多张图片作为第一数据集；
对第一数据集进行预处理，得到第二数据集，第一数据集和第二数据集均包括训练子集和测试子集；
将第一数据集的训练子集和第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型；
将第一数据集的测试子集输入至设备本体检测模型，基于设备本体检测模型检测第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集；
将输出图像集输入至缺陷检测模型，基于缺陷检测模型检测输出图像集对应的绝缘子的缺陷。
可选的，绝缘子信息包括绝缘子本体位置信息和绝缘子缺陷信息，绝缘子缺陷信息包括绝缘子缺陷位置信息；
对第一数据集进行预处理，得到第二数据集，包括：
对第一数据集中标有绝缘子本体位置信息的图片对应的绝缘子本体位置区域进行裁剪处理；
当确认绝缘子缺陷位置信息对应的绝缘子缺陷位置位于绝缘子本体位置区域时，得到裁剪处理后的第一数据集，并将裁剪处理后的第一数据集作为第二数据集。
可选的，将第一数据集的训练子集和第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型，包括：
将第一数据集的训练子集输入至预先建立的Efficientdet模型，对Efficientdet模型进行训练，得到设备本体检测模型；
将第二数据集的训练子集输入至预先建立的Efficientdet模型，对Efficientdet模型进行训练，得到缺陷检测模型。
可选的，第一数据集包括验证子集，对Efficientdet模型进行训练，得到设备本体检测模型，包括：
将第一数据集的验证子集输入至Efficientdet模型，对Efficientdet模型的训练结果进行验证；
当Efficientdet模型输出结果的正确率达到预设值时，停止训练，并将此时的Efficientdet模型作为设备本体检测模型。
可选的，第二数据集包括验证子集，对Efficientdet模型进行训练，得到缺陷检测模型，包括：
将第二数据集的验证子集输入至Efficientdet模型，对Efficientdet模型的训练结果进行验证；
当Efficientdet模型输出第二数据集的验证子集中的图片对应绝缘子的实际缺陷信息时，停止训练，并将此时的Efficientdet模型作为缺陷检测模型。
可选的，基于设备本体检测模型检测第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集，包括：
基于设备本体检测模型对第一数据集的测试子集中的图片依次进行特征提取、特征融合，确定包含绝缘子特征的第一目标特征区域；
基于设备本体检测模型对第一目标特征区域进行裁剪，将裁剪得到的第一目标特征区域对应的图像集作为输出图像集。
可选的，基于缺陷检测模型检测输出图像集对应的绝缘子的缺陷，包括：
基于缺陷检测模型对输出图像集中的图片依次进行特征提取、特征融合，得到第二目标特征区域；
基于缺陷检测模型识别第二目标特征区域的缺陷和缺陷位置，并输出缺陷和缺陷位置。
可选的，基于缺陷检测模型对输出图像集中的图片依次进行特征提取、特征融合，得到第二目标特征区域，包括：
基于缺陷检测模型中的特征提取网络对输出图像集中的图片进行特征提取，得到多个有效特征层；
基于缺陷检测模型中的特征融合网络对多个有效特征层进行特征融合，得到第二目标特征区域。
第二方面，本发明实施例还提供了一种线路绝缘子缺陷检测装置，包括：
图片获取模块，用于获取线路绝缘子的标注有绝缘子信息的多张图片，并将标注有绝缘子信息的多张图片作为第一数据集；
数据处理模块，用于对第一数据集进行预处理，得到第二数据集，第一数据集和第二数据集均包括训练子集和测试子集；
模型训练模块，用于将第一数据集的训练子集和第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型；
位置检测模块，用于将第一数据集的测试子集输入至设备本体检测模型，基于设备本体检测模型检测第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集；
缺陷检测模块，用于将输出图像集输入至缺陷检测模型，基于缺陷检测模型检测输出图像集对应的绝缘子的缺陷。
可选的，绝缘子信息包括绝缘子本体位置信息和绝缘子缺陷信息，绝缘子缺陷信息包括绝缘子缺陷位置信息；
数据处理模块包括：
裁剪处理单元，用于对第一数据集中标有绝缘子本体位置信息的图片对应的绝缘子本体位置区域进行裁剪处理；
位置确认单元，用于当确认绝缘子缺陷位置信息对应的绝缘子缺陷位置位于绝缘子本体位置区域时，得到裁剪处理后的第一数据集，并将裁剪处理后的第一数据集作为第二数据集。
本发明实施例提供的线路绝缘子缺陷检测方法及装置，获取线路绝缘子的标注有绝缘子信息的多张图片，并将标注有绝缘子信息的多张图片作为第一数据集；对第一数据集进行预处理，得到第二数据集，第一数据集和第二数据集均包括训练子集和测试子集；将第一数据集的训练子集和第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型；将第一数据集的测试子集输入至设备本体检测模型，基于设备本体检测模型检测第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集；将输出图像集输入至缺陷检测模型，基于缺陷检测模型检测输出图像集对应的绝缘子的缺陷。与现有的线路绝缘子缺陷检测方法相比，本发明实施例提供的线路绝缘子缺陷检测方法及装置，基于设备本体检测模型和缺陷检测模型可自动检测绝缘子缺陷，无需人工辅助，可提高线路绝缘子缺陷检测的可靠性。
附图说明
图1是本发明实施例一提供的一种线路绝缘子缺陷检测方法的流程图；
图2是本发明实施例二提供的一种线路绝缘子缺陷检测方法的流程图；
图3是本发明实施例二提供的一种Efficientdet模型的结构示意图；
图4是本发明实施例二提供的一种电网机巡数据缺陷智能分析系统的结构框图；
图5是本发明实施例三提供的一种线路绝缘子缺陷检测装置的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种线路绝缘子缺陷检测方法的流程图，本实施例可适用于检测绝缘子缺陷等情况，该方法可以由线路绝缘子缺陷检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在具有线路绝缘子缺陷检测功能的电子设备如计算机中，该方法具体包括如下步骤：
步骤110、获取线路绝缘子的标注有绝缘子信息的多张图片，并将标注有绝缘子信息的多张图片作为第一数据集。
其中，线路绝缘子可以是配电线路绝缘子，线路绝缘子的图片可由无人机拍摄。绝缘子信息可包括绝缘子本体位置信息和绝缘子缺陷信息，无人机拍摄的线路绝缘子的图片经过标注后可输入至线路绝缘子缺陷检测装置。
另外，获取的多张图片在获取之前可首先进行图像质量评价，质量评价指标包括分辨率、色彩深度和图像失真度。其次图片的绝缘子进行数据标注，数据清洗。对图片数据选取清晰可辨且焦距正确的图片进行标注，剔除不满足训练要求的绝缘子的图片，如曝光度不足，图片像素小于20*20和图片抖动导致的失真图像。对于数据标注过程中，绝缘子表面容易被误判为电气损伤的几种情况包括：伞裙上有油漆点、伞裙上有鸟粪、伞裙上有脏污、伞裙上有光照阴影，因此除了电气损伤外，也加入上述类型进行标注，来进行细粒度划分，减少误判率，增加后续识别分类的准确率。由于在后续使用深度神经网络对模型进行训练时，深度神经网络包含大量的隐藏层和权重，数据量过小，无法调整权重，导致训练后模型安装不足，影响了模型的准确性，实际检测效果较差。然而，绝缘子伞裙损伤数量有限，难以继续将数据量扩展到现有损伤样本之外，因此使用数据增强来实现数据集的扩展。利用平移、镜像、旋转、遮挡、随机增加噪声等对绝缘子变形图像数据增广，提高样本的多样性。最后，对绝缘子图片进行归一化处理，将各像素的图片放缩统一大小，以提高训练速度和精度。
步骤120、对第一数据集进行预处理，得到第二数据集，第一数据集和第二数据集均包括训练子集和测试子集。
其中，第一数据集和第二数据集均可包括80％训练子集和10％测试子集，还可包括10％验证子集。可对第一数据集中标有绝缘子本体位置信息的图片对应的绝缘子本体位置区域进行裁剪处理，当确认绝缘子缺陷位置信息对应的绝缘子缺陷位置位于绝缘子本体位置区域时，得到裁剪处理后的第一数据集，并将裁剪处理后的第一数据集作为第二数据集。
步骤130、将第一数据集的训练子集和第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型。
具体的，将第一数据集的训练子集输入至预先建立的Efficientdet模型，对Efficientdet模型进行训练，得到设备本体检测模型。示例性地，可将第一数据集的训练子集中的图片按批次输入至Efficientdet模型，如每次输入两张图片或四张图片或八张图片等，通过训练子集对Efficientdet模型进行训练，直至Efficientdet模型输出的图片为裁剪得到绝缘子的图片时，停止训练，此时的Efficientdet模型可作为设备本体检测模型。将第二数据集的训练子集输入至预先建立的Efficientdet模型，对Efficientdet模型进行训练，直至Efficientdet模型输出绝缘子的实际缺陷信息如绝缘子的实际缺陷位置时，停止训练，此时的Efficientdet模型可作为缺陷检测模型。
步骤140、将第一数据集的测试子集输入至设备本体检测模型，基于设备本体检测模型检测第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集。
示例性地，设备本体检测模型检测第一数据集的测试子集的图片中绝缘子的位置，确定图片中绝缘子所在区域，对绝缘子所在区域进行裁剪，得到较大区域均为绝缘子的图片，并将裁剪得到的所有图片作为输出图像集输出。这样裁剪的目的是使绝缘子所在区域占整张图片的比例较大，以便于后续对绝缘子缺陷进行检测。
步骤150、将输出图像集输入至缺陷检测模型，基于缺陷检测模型检测输出图像集对应的绝缘子的缺陷。
具体的，基于缺陷检测模型检测输出图像集对应的绝缘子的缺陷，若确定输出图像集中图片对应的绝缘子存在如开裂、破损等电气缺陷，则需确定绝缘子的缺陷位置，并输出绝缘子存在电气缺陷以及缺陷位置信息，从而实现绝缘子缺陷检测。
本实施例提供的线路绝缘子缺陷检测方法，基于训练得到的设备本体检测模型检测第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集，并将输出图像集输入至训练得到的缺陷检测模型，基于缺陷检测模型检测输出图像集对应的绝缘子的缺陷。与现有的线路绝缘子缺陷检测方法相比，本实施例提供的线路绝缘子缺陷检测方法，基于设备本体检测模型和缺陷检测模型可自动检测绝缘子缺陷，无需人工辅助，可提高线路绝缘子缺陷检测的可靠性。
实施例二
图2是本发明实施例二提供的一种线路绝缘子缺陷检测方法的流程图，本实施例可适用于检测绝缘子缺陷等情况，该方法可以由线路绝缘子缺陷检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在具有线路绝缘子缺陷检测功能的电子设备如计算机中，该方法具体包括如下步骤：
步骤210、获取线路绝缘子的标注有绝缘子信息的多张图片，并将标注有绝缘子信息的多张图片作为第一数据集。
其中，绝缘子信息包括绝缘子本体位置信息和绝缘子缺陷信息，绝缘子缺陷信息包括绝缘子缺陷位置信息。线路绝缘子可以是配电线路绝缘子，线路绝缘子的图片可由无人机拍摄，无人机拍摄的线路绝缘子的图片经过标注后可输入至线路绝缘子缺陷检测装置。
步骤220、对第一数据集中标有绝缘子本体位置信息的图片对应的绝缘子本体位置区域进行裁剪处理。
具体的，绝缘子本体位置信息可包括位置坐标，位置坐标对应的坐标系可以是预先建立的，坐标系的原点可以是图片左上角的点，原点向右为X轴，原点向下为Y轴，从而根据位置坐标即可确定绝缘子本体在图片中的坐标位置，以对图片对应的绝缘子本体位置区域进行裁剪。
步骤230、当确认绝缘子缺陷位置信息对应的绝缘子缺陷位置位于绝缘子本体位置区域时，得到裁剪处理后的第一数据集，并将裁剪处理后的第一数据集作为第二数据集。
其中，第一数据集和第二数据集均包括训练子集、测试子集和验证子集。训练子集、测试子集和验证子集可分别占80％、10％和10％。例如，第一数据集有100张图片，其中训练子集、测试子集和验证子集中的图片可分别是80张、10张和10张。当确认绝缘子缺陷位置信息对应的绝缘子缺陷位置位于绝缘子本体位置区域时，确定绝缘子缺陷位置在裁剪后的图片即第二数据集的图片中的位置信息，具体可以是确定位置坐标，便于后续的模型训练。
步骤240、将第一数据集的训练子集输入至预先建立的Efficientdet模型，对Efficientdet模型进行训练，得到设备本体检测模型。
具体的，Efficientdet模型可基于Efficientdet算法建立，Efficientdet算法包括特性提取网络、特征融合网络和预测网络三部分。在使用第一数据集的训练子集对Efficientdet模型进行训练的过程中，还可将第一数据集的验证子集输入至Efficientdet模型，对Efficientdet模型的训练结果进行验证；当Efficientdet模型能够准确识别验证集中的绝缘子本体区域，输出结果的正确率达到预设值时，表示Efficientdet模型已训练好，可停止训练，并将此时的Efficientdet模型作为设备本体检测模型。
步骤250、将第二数据集的训练子集输入至预先建立的Efficientdet模型，对Efficientdet模型进行训练，得到缺陷检测模型。
具体的，在使用第二数据集的训练子集对Efficientdet模型进行训练的过程中，可将第二数据集的验证子集输入至Efficientdet模型，对Efficientdet模型的训练结果进行验证；当Efficientdet模型输出第二数据集的验证子集中的图片对应绝缘子的实际缺陷信息时，停止训练，并将此时的Efficientdet模型作为缺陷检测模型。
步骤260、基于设备本体检测模型对第一数据集的测试子集中的图片依次进行特征提取、特征融合，确定包含绝缘子特征的第一目标特征区域。
示例性地，图3是本发明实施例二提供的一种Efficientdet模型的结构示意图，参考图3，训练好的Efficientdet模型即设备本体检测模型采用Effientnet作为主干特征提取网络即特性提取网络。Efficientnet的特点有：利用了残差神经网络增大神经网络的深度，利用更深的神经网络实现了特征提取；改变了每一层提取的特征层数，实现更多的特征提取，得到更多的特征，提升宽度；通过增大输入图片的分辨率使得可以学习的特征变得更丰富，有利于精度的提升。Efficientnet使用了很多大Blocks堆叠构成，Block的总体设计思路是反向残差结构和残差结构，在3*3或者5*5网络结构前利用1*1卷积进行升维，在3*3或者5*5网络结构后增加了一个关于通道的注意力机制，再利用1*1卷积降维后增加一个大残差边，最终会获得三个有效特征层传入到特征融合网络中去，进行后续操作。Efficientdet的特征融合网络使用了BiFPN来加强特征提取，BiFPN是FPN的加强版本，在主干特征提取网络中已经获得P3、P4、P5三个特征层(P1-P7均为特征层，包含绝缘子特征)，再进行两次下采样获得P6、P7特征层，其中P3、P4、P5特征层经过1*1卷积调整通道数后，可以作为P3i、P4i、P5i特征层进行特征融合。获得上述特征层过后，先对P7i特征层进行上采样，然后上采样的结果和P6i堆叠获得P6t；之后对P6t进行上采样，上采样的结果和P5i进行堆叠获得P5t；之后再对P5t进行上采样，上采样后与P4i进行堆叠获得P4t；再对P4t进行上采样，利用上采样的结果与P3i进行堆叠获得P3o。继续对P3o进行下采样，下采样后的结果与P4t、P4i堆叠获得P4o；然后再对P4o进行下采样，下采样后与P5t、P5i进行堆叠获得P5o；继续对P5o进行下采样，下采样后与P6t、P6i进行堆叠获得P6o；同样让P6o进行下采样，下采样后与P7i进行堆叠获得P7o。经过一系列的上采样和下采样获得P3o、P4o、P5o、P6o、P7o特征层，将P3o、P4o、P5o、P6o、P7o特征层分别作为P3i、P4i、P5i、P6i、P7i特征层，重复上述步骤进行堆叠，以通过特征融合网络获得最终的有效特征层P3o、P4o、P5o、P6o、P7o，将有效特征层P3o、P4o、P5o、P6o、P7o传输至Efficientdet模型的ClassNet+BoxNet预测网络，可以得到包含绝缘子特征的第一目标特征区域。
步骤270、基于设备本体检测模型对第一目标特征区域进行裁剪，将裁剪得到的第一目标特征区域对应的图像集作为输出图像集。
具体的，基于设备本体检测模型在第一数据集的测试子集的图片中裁剪出已确定的第一目标特征区域，得到大部分区域均为第一目标特征区域即大部分区域均为绝缘子的图片，从而将裁剪得到图片作为输出图像集。
步骤280、将输出图像集输入至缺陷检测模型，基于缺陷检测模型对输出图像集中的图片依次进行特征提取、特征融合，得到第二目标特征区域。
具体的，可基于缺陷检测模型中的特征提取网络对输出图像集中的图片进行特征提取，得到多个有效特征层(有效特征层包含绝缘子缺陷特征)；基于缺陷检测模型中的特征融合网络对多个有效特征层进行特征融合，得到包含绝缘子缺陷特征的第二目标特征区域。参考图3，基于缺陷检测模型对输出图像集中的图片依次进行特征提取、特征融合的具体过程与上述确定第一目标特征区域的过程类似，在此不再赘述。
步骤290、基于缺陷检测模型识别第二目标特征区域的缺陷和缺陷位置，并输出缺陷和缺陷位置。
示例性地，可基于缺陷检测模型中的ClassNet+BoxNet预测网络识别第二目标特征区域中绝缘子的缺陷，若确定第二目标特征区域中绝缘子存在如开裂、破损等电气缺陷，则需确定电气缺陷在第二目标特征区域的具体位置，并输出绝缘子存在电气缺陷以及电气缺陷的具体位置信息，从而实现线路绝缘子缺陷检测。
另外，还可根据绝缘子缺陷的位置信息确定绝缘子缺陷在原图即测试子集的对应图片中的位置信息，并对测试子集进行算法推理之后，统计模型精度。利用测试子集对训练后的模型进行精度评价，评估输出绝缘子缺陷的准确率和召回率是否符合巡检要求。如果得到的模型符合巡检要求则保存并输出模型，否则重新训练模型优化参数。还可将缺陷检测模型应用于电网机巡数据损伤智能分析系统，辅助判断绝缘子伞裙是否发生损伤，并对最终得到待检测绝缘子伞裙损伤区域进行标注。具体的，图4是本发明实施例二提供的一种电网机巡数据缺陷智能分析系统的结构框图，该系统包括数据层、核心层、逻辑层和基础业务层，每层均有相应的功能，其中，缺陷检测模型可应用于基础业务层，由基础业务层进行线路绝缘子的缺陷检测。
本实施例提供的线路绝缘子缺陷检测方法，基于训练得到的设备本体检测模型对第一数据集的测试子集中的图片依次进行特征提取、特征融合，确定包含绝缘子特征的第一目标特征区域，基于设备本体检测模型对第一目标特征区域进行裁剪，将裁剪得到的第一目标特征区域对应的图像集作为输出图像集，将输出图像集输入至缺陷检测模型，基于缺陷检测模型对输出图像集中的图片依次进行特征提取、特征融合，得到第二目标特征区域，基于缺陷检测模型识别第二目标特征区域的缺陷和缺陷位置，并输出缺陷和缺陷位置。与现有的线路绝缘子缺陷检测方法相比，本实施例提供的线路绝缘子缺陷检测方法，基于设备本体检测模型和缺陷检测模型可自动检测绝缘子缺陷，无需停电后人工上塔作业检修，可提高线路绝缘子缺陷检测的效率、安全性以及可靠性。
实施例三
图5是本发明实施例三提供的一种线路绝缘子缺陷检测装置的结构框图，该装置包括图片获取模块310、数据处理模块320、模型训练模块330、位置检测模块340和缺陷检测模块350；其中，图片获取模块310用于获取线路绝缘子的标注有绝缘子信息的多张图片，并将标注有绝缘子信息的多张图片作为第一数据集；数据处理模块320用于对第一数据集进行预处理，得到第二数据集，第一数据集和第二数据集均包括训练子集和测试子集；模型训练模块330用于将第一数据集的训练子集和第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型；位置检测模块340用于将第一数据集的测试子集输入至设备本体检测模型，基于设备本体检测模型检测第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集；缺陷检测模块350用于将输出图像集输入至缺陷检测模型，基于缺陷检测模型检测输出图像集对应的绝缘子的缺陷。
在上述实施方式的基础上，绝缘子信息包括绝缘子本体位置信息和绝缘子缺陷信息，绝缘子缺陷信息包括绝缘子缺陷位置信息；数据处理模块320包括：裁剪处理单元和位置确认单元；其中，裁剪处理单元用于对第一数据集中标有绝缘子本体位置信息的图片对应的绝缘子本体位置区域进行裁剪处理；位置确认单元用于当确认绝缘子缺陷位置信息对应的绝缘子缺陷位置位于绝缘子本体位置区域时，得到裁剪处理后的第一数据集，并将裁剪处理后的第一数据集作为第二数据集。
在一种实施方式中，模型训练模块330包括第一训练单元和第二训练单元；其中，第一训练单元用于将第一数据集的训练子集输入至预先建立的Efficientdet模型，对Efficientdet模型进行训练，得到设备本体检测模型；第二训练单元用于将第二数据集的训练子集输入至预先建立的Efficientdet模型，对Efficientdet模型进行训练，得到缺陷检测模型。
优选的，第一数据集包括验证子集，第一训练单元包括：第一验证子单元和第一模型确定子单元；其中，验证子单元用于将第一数据集的验证子集输入至Efficientdet模型，对Efficientdet模型的训练结果进行验证；第一模型确定子单元用于当Efficientdet模型输出结果的正确率达到预设值时，停止训练，并将此时的Efficientdet模型作为设备本体检测模型。
优选的，第二数据集包括验证子集，第二训练单元包括：第二验证子单元和第二模型确定子单元；其中，验证子单元用于将第二数据集的验证子集输入至Efficientdet模型，对Efficientdet模型的训练结果进行验证；第二模型确定子单元用于当Efficientdet模型输出第二数据集的验证子集中的图片对应绝缘子的实际缺陷信息时，停止训练，并将此时的Efficientdet模型作为缺陷检测模型。
在一种实施方式中，位置检测模块340包括第一区域确定单元和区域裁剪单元；其中，第一区域确定单元用于基于设备本体检测模型对第一数据集的测试子集中的图片依次进行特征提取、特征融合，确定包含绝缘子特征的第一目标特征区域；区域裁剪单元用于基于设备本体检测模型对第一目标特征区域进行裁剪，将裁剪得到的第一目标特征区域对应的图像集作为输出图像集。
在一种具体实施方式中，缺陷检测模块350包括第二区域确定单元和缺陷检测单元；其中，第二区域确定单元包括基于缺陷检测模型对输出图像集中的图片依次进行特征提取、特征融合，得到第二目标特征区域；缺陷检测单元用于基于缺陷检测模型识别第二目标特征区域的缺陷和缺陷位置，并输出缺陷和缺陷位置。
优选的，第二区域确定单元包括特征提取子单元和区域确定子单元；其中，特征提取子单元用于基于缺陷检测模型中的特征提取网络对输出图像集中的图片进行特征提取，得到多个有效特征层；区域确定子单元用于基于缺陷检测模型中的特征融合网络对多个有效特征层进行特征融合，得到第二目标特征区域。
本实施例提供的线路绝缘子缺陷检测装置与本发明任意实施例提供的线路绝缘子缺陷检测方法属于相同的发明构思，具备相应的有益效果，未在本实施例详尽的技术细节详见本发明任意实施例提供的线路绝缘子缺陷检测方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整、结合和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种线路绝缘子缺陷检测方法，其特征在于，包括：
获取线路绝缘子的标注有绝缘子信息的多张图片，并将所述标注有绝缘子信息的多张图片作为第一数据集；
对所述第一数据集进行预处理，得到第二数据集，所述第一数据集和所述第二数据集均包括训练子集和测试子集；
将所述第一数据集的训练子集和所述第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对所述Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型；
将所述第一数据集的测试子集输入至所述设备本体检测模型，基于所述设备本体检测模型检测所述第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集；
将所述输出图像集输入至所述缺陷检测模型，基于所述缺陷检测模型检测所述输出图像集对应的绝缘子的缺陷。
2.根据权利要求1所述的线路绝缘子缺陷检测方法，其特征在于，所述绝缘子信息包括绝缘子本体位置信息和绝缘子缺陷信息，所述绝缘子缺陷信息包括绝缘子缺陷位置信息；
所述对所述第一数据集进行预处理，得到第二数据集，包括：
对所述第一数据集中标有所述绝缘子本体位置信息的图片对应的绝缘子本体位置区域进行裁剪处理；
当确认所述绝缘子缺陷位置信息对应的绝缘子缺陷位置位于所述绝缘子本体位置区域时，得到所述裁剪处理后的所述第一数据集，并将所述裁剪处理后的所述第一数据集作为第二数据集。
3.根据权利要求1所述的线路绝缘子缺陷检测方法，其特征在于，所述将所述第一数据集的训练子集和所述第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对所述Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型，包括：
将所述第一数据集的训练子集输入至预先建立的Efficientdet模型，对所述Efficientdet模型进行训练，得到设备本体检测模型；
将所述第二数据集的训练子集输入至预先建立的Efficientdet模型，对所述Efficientdet模型进行训练，得到缺陷检测模型。
4.根据权利要求3所述的线路绝缘子缺陷检测方法，其特征在于，所述第一数据集包括验证子集，所述对所述Efficientdet模型进行训练，得到设备本体检测模型，包括：
将所述第一数据集的验证子集输入至所述Efficientdet模型，对所述Efficientdet模型的训练结果进行验证；
当所述Efficientdet模型输出结果的正确率达到预设值时，停止训练，并将此时的所述Efficientdet模型作为设备本体检测模型。
5.根据权利要求3所述的线路绝缘子缺陷检测方法，其特征在于，所述第二数据集包括验证子集，所述对所述Efficientdet模型进行训练，得到缺陷检测模型，包括：
将所述第二数据集的验证子集输入至所述Efficientdet模型，对所述Efficientdet模型的训练结果进行验证；
当所述Efficientdet模型输出所述第二数据集的验证子集中的图片对应绝缘子的实际缺陷信息时，停止训练，并将此时的所述Efficientdet模型作为缺陷检测模型。
6.根据权利要求1所述的线路绝缘子缺陷检测方法，其特征在于，所述基于所述设备本体检测模型检测所述第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集，包括：
基于所述设备本体检测模型对所述第一数据集的测试子集中的图片依次进行特征提取、特征融合，确定包含绝缘子特征的第一目标特征区域；
基于所述设备本体检测模型对所述第一目标特征区域进行裁剪，将裁剪得到的所述第一目标特征区域对应的图像集作为输出图像集。
7.根据权利要求1所述的线路绝缘子缺陷检测方法，其特征在于，所述基于所述缺陷检测模型检测所述输出图像集对应的绝缘子的缺陷，包括：
基于所述缺陷检测模型对所述输出图像集中的图片依次进行特征提取、特征融合，得到第二目标特征区域；
基于所述缺陷检测模型识别所述第二目标特征区域的缺陷和缺陷位置，并输出所述缺陷和所述缺陷位置。
8.根据权利要求7所述的线路绝缘子缺陷检测方法，其特征在于，所述基于所述缺陷检测模型对所述输出图像集中的图片依次进行特征提取、特征融合，得到第二目标特征区域，包括：
基于所述缺陷检测模型中的特征提取网络对所述输出图像集中的图片进行特征提取，得到多个有效特征层；
基于所述缺陷检测模型中的特征融合网络对所述多个有效特征层进行特征融合，得到第二目标特征区域。
9.一种线路绝缘子缺陷检测装置，其特征在于，包括：
图片获取模块，用于获取线路绝缘子的标注有绝缘子信息的多张图片，并将所述标注有绝缘子信息的多张图片作为第一数据集；
数据处理模块，用于对所述第一数据集进行预处理，得到第二数据集，所述第一数据集和所述第二数据集均包括训练子集和测试子集；
模型训练模块，用于将所述第一数据集的训练子集和所述第二数据集的训练子集分别输入至预先建立的Efficientdet模型，对所述Efficientdet模型进行相应训练，得到设备本体检测模型和缺陷检测模型；
位置检测模块，用于将所述第一数据集的测试子集输入至所述设备本体检测模型，基于所述设备本体检测模型检测所述第一数据集的测试子集的图片中绝缘子的位置，得到输出图像集；
缺陷检测模块，用于将所述输出图像集输入至所述缺陷检测模型，基于所述缺陷检测模型检测所述输出图像集对应的绝缘子的缺陷。
10.根据权利要求9所述的线路绝缘子缺陷检测装置，其特征在于，所述绝缘子信息包括绝缘子本体位置信息和绝缘子缺陷信息，所述绝缘子缺陷信息包括绝缘子缺陷位置信息；
所述数据处理模块包括：
裁剪处理单元，用于对所述第一数据集中标有所述绝缘子本体位置信息的图片对应的绝缘子本体位置区域进行裁剪处理；
位置确认单元，用于当确认所述绝缘子缺陷位置信息对应的绝缘子缺陷位置位于所述绝缘子本体位置区域时，得到所述裁剪处理后的所述第一数据集，并将所述裁剪处理后的所述第一数据集作为第二数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110865073.7A CN113506290B (zh) | 2021-07-29 | 一种线路绝缘子缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110865073.7A CN113506290B (zh) | 2021-07-29 | 一种线路绝缘子缺陷检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113506290A true CN113506290A (zh) | 2021-10-15 |
| CN113506290B CN113506290B (zh) | 2024-09-06 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022432A (zh) * | 2021-10-28 | 2022-02-08 | 湖北工业大学 | 基于改进的yolov5的绝缘子缺陷检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596886A (zh) * | 2018-04-17 | 2018-09-28 | 福州大学 | 基于深度学习的航拍图像绝缘子掉片故障快速检测方法 |
| CN111784692A (zh) * | 2020-08-11 | 2020-10-16 | 国网内蒙古东部电力有限公司 | 一种电力系统中绝缘子缺陷的检测方法、装置及电子设备 |
| CN112541389A (zh) * | 2020-09-29 | 2021-03-23 | 西安交通大学 | 一种基于EfficientDet网络的输电线路故障检测方法 |
| CN112686334A (zh) * | 2021-01-22 | 2021-04-20 | 国网浙江省电力有限公司舟山供电公司 | 一种对图像中的绝缘子的定位方法 |
| CN112837315A (zh) * | 2021-03-05 | 2021-05-25 | 云南电网有限责任公司电力科学研究院 | 一种基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN112907614A (zh) * | 2021-03-26 | 2021-06-04 | 东北电力大学 | 基于深度特征融合的yolov5-segnet绝缘子串轮廓提取方法 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596886A (zh) * | 2018-04-17 | 2018-09-28 | 福州大学 | 基于深度学习的航拍图像绝缘子掉片故障快速检测方法 |
| CN111784692A (zh) * | 2020-08-11 | 2020-10-16 | 国网内蒙古东部电力有限公司 | 一种电力系统中绝缘子缺陷的检测方法、装置及电子设备 |
| CN112541389A (zh) * | 2020-09-29 | 2021-03-23 | 西安交通大学 | 一种基于EfficientDet网络的输电线路故障检测方法 |
| CN112686334A (zh) * | 2021-01-22 | 2021-04-20 | 国网浙江省电力有限公司舟山供电公司 | 一种对图像中的绝缘子的定位方法 |
| CN112837315A (zh) * | 2021-03-05 | 2021-05-25 | 云南电网有限责任公司电力科学研究院 | 一种基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN112907614A (zh) * | 2021-03-26 | 2021-06-04 | 东北电力大学 | 基于深度特征融合的yolov5-segnet绝缘子串轮廓提取方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022432A (zh) * | 2021-10-28 | 2022-02-08 | 湖北工业大学 | 基于改进的yolov5的绝缘子缺陷检测方法 |
| CN114022432B (zh) * | 2021-10-28 | 2024-04-30 | 湖北工业大学 | 基于改进的yolov5的绝缘子缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN108648169B (zh) | 高压输电塔绝缘子缺陷自动识别的方法及装置 | |
| CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
| CN117893817A (zh) | 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质 | |
| CN114581446B (zh) | 一种叠片电池的电芯异常检测方法及系统 | |
| CN114022715A (zh) | 一种高压电缆终端铅封缺陷检测方法及装置 | |
| CN106408025A (zh) | 基于图像处理的航拍图像绝缘子分类识别方法 | |
| CN111830051A (zh) | 一种基于深度学习的变电站设备漏油检测方法及检测系统 | |
| CN113255590A (zh) | 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统 | |
| CN115775246A (zh) | 一种pcb元器件缺陷检测的方法 | |
| CN115588021A (zh) | 一种瓷绝缘子及金具无人机红外巡检图像融合分割方法 | |
| CN111626249A (zh) | 题目图像中几何图形的识别方法、装置和计算机存储介质 | |
| CN113888462A (zh) | 一种裂纹识别方法、系统、可读介质及存储介质 | |
| CN112541478A (zh) | 一种基于双目摄像头的绝缘子串污损检测方法及系统 | |
| CN115330796A (zh) | 一种铜线镀锡缺陷识别方法 | |
| CN111667473A (zh) | 基于改进Canny算法的绝缘子憎水性等级判断方法 | |
| CN110570398A (zh) | 一种基于深度学习技术的线缆接头焊点合格性检测方法 | |
| CN117197700A (zh) | 智能化无人巡检接触网缺陷识别系统 | |
| WO2023080587A1 (ko) | 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법 | |
| CN113506290B (zh) | 一种线路绝缘子缺陷检测方法及装置 | |
| CN113506290A (zh) | 一种线路绝缘子缺陷检测方法及装置 | |
| CN114581407B (zh) | 一种光伏模块的自适应缺陷检测方法 | |
| CN110610136A (zh) | 一种基于深度学习的变电站设备识别模块及识别方法 | |
| CN115439319A (zh) | 一种电滑线防护装置裸露检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |