CN117437188B - 一种用于智慧电网的绝缘子缺陷检测系统 - Google Patents
一种用于智慧电网的绝缘子缺陷检测系统 Download PDFInfo
- Publication number
- CN117437188B CN117437188B CN202311339393.4A CN202311339393A CN117437188B CN 117437188 B CN117437188 B CN 117437188B CN 202311339393 A CN202311339393 A CN 202311339393A CN 117437188 B CN117437188 B CN 117437188B
- Authority
- CN
- China
- Prior art keywords
- network
- unmanned aerial
- aerial vehicle
- insulator
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 129
- 230000007547 defect Effects 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 230000002950 deficient Effects 0.000 claims abstract description 18
- 238000013461 design Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 8
- 230000007613 environmental effect Effects 0.000 claims abstract description 6
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 230000009471 action Effects 0.000 claims description 36
- 238000011176 pooling Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 27
- 238000005286 illumination Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种用于智慧电网的绝缘子缺陷检测系统，包括：采集模块、检测模块、控制模块和通讯模块；采集模块采用无人机设备，用于采集环境图像并进行图像增强；检测模块用于检测增强后的环境图像，得到检测结果，检测结果包括：有缺陷的绝缘子图像与无人机当前的地理位置信息；控制模块用于根据检测结果，得到无人机设备下一刻的控制指令；通讯模块用于将控制指令传输至采集模块，进行后续检测任务，直至完成检测。本申请提出的级联神经网络使用分段式的网络设计思想，解决了传统神经网络存在的模型训练难和检测准确率低的问题；同时实现了小样本数据集下对实际应用场景中绝缘子缺陷的准确检测，并且能够克服环境因素对识别准确率的影响。
Description
技术领域
本申请涉及互联网技术领域，尤其涉及一种用于智慧电网的绝缘子缺陷检测系统。
背景技术
绝缘子作为电力系统中不可或缺的组成部分，承载着重要的电力输送任务。绝缘子的缺陷可能会导致电力系统的可靠性下降，甚至引发严重事故，对社会产生严重的经济和安全影响。根据相关研究，电力系统中多数电力事故是由绝缘子缺陷引起的。为了确保电力系统的高可靠性和安全性，绝缘子的及时检测和维护至关重要。绝缘子的缺陷包括裂纹、污染、漏电等，这些缺陷难以察觉，但会对电力系统运行产生潜在威胁。在传统电力系统中，绝缘子缺陷检测主要通过人工巡检，存在一系列问题。首先，这些方法通常需要大量的人力投入，劳动强度大且工作效率低。其次，由于绝缘子通常安装在高空或难以接近的位置，人工检测存在一定的危险性。此外，人工检测容易受主观因素和疲劳的影响，可能导致漏检和误检。这些问题迫使研究人员寻求一种更准确、更高效的绝缘子缺陷检测方法，以提高电力系统的可靠性和安全性。
在解决绝缘子缺陷检测问题的过程中，基于计算机视觉的方法引起了研究人员的兴趣。近年来，深度学习技术在计算机视觉领域取得了显著的进展，也为绝缘子缺陷检测问题提供了新的解决机会。然而，现有的深度学习算法需要大量的标注数据集来进行训练，而绝缘子缺陷数据难以获取，这导致缺陷检测模型难以训练，这在实际应用中极大地限制了深度学习技术的应用。不仅如此，在实际应用中，绝缘子和图像背景信息具有多变性。不同的环境条件也会对深度学习算法的检测结果带来较大的影响，从而导致检测准确率低。同时，在现有的电力系统中，无人机往往用于收集绝缘子图像数据，然后对图像数据进行离线分析。这种绝缘子缺陷检测的方法需要大量的人力成本，智能化程度不高，不适用于智慧电网。
综上所述，智慧电网中的绝缘子缺陷检测领域仍然存在着模型训练难、检测准确率低和智能化程度低的问题。
发明内容
为解决上述背景中的技术问题，本申请提出了一种用于智慧电网的绝缘子缺陷检测系统，用于解决绝缘子缺陷检测领域中模型训练难、检测准确率低和智能化程度低的问题。
为实现上述目的，本申请提供了一种用于智慧电网的绝缘子缺陷检测系统，包括：采集模块、检测模块、控制模块和通讯模块；
所述采集模块采用无人机设备，用于采集环境图像并进行图像增强；
所述检测模块用于检测增强后的所述环境图像，得到检测结果，所述检测结果包括：有缺陷的绝缘子图像与无人机当前的地理位置信息；
所述控制模块用于根据所述检测结果，得到所述无人机设备下一刻的控制指令；
所述通讯模块用于将所述控制指令传输至所述采集模块，进行后续检测任务，直至完成检测。
优选的，所述采集模块包括：无人机、摄像头和增强单元；
所述无人机用于搭载所述摄像头；
所述摄像头用于采集拍摄所述环境图像；
所述增强单元用于对所述环境图像进行图像增强。
优选的，所述检测模块采用级联神经网络来检测所述环境图像中是否存在有缺陷的绝缘子；所述级联神经网络包括：绝缘子定位网络部分和绝缘子缺陷识别网络部分。
优选的，所述级联神经网络的工作流程包括：首先，使用所述绝缘子定位网络部分对所述环境图像中的绝缘子进行轮廓级别的定位；之后，将轮廓定位后的所述环境图像输入到所述绝缘子缺陷识别网络部分中；最后，所述绝缘子缺陷识别网络部分用于判断所述环境图像中的绝缘子是否存在缺陷。
优选的，所述绝缘子定位网络部分由卷积神经单元构成的，共设置10个二维卷积层，3个最大池化层和1个平均池化层；使用二维卷积层通过滑动卷积核在输入的二维图像上进行卷积操作，对输入网络中的图像进行像素级别的定位；在所述绝缘子定位网络部分第1层后面加入空洞卷积层；除空洞卷积层外，前5个卷积层使用7x7的卷积层，第6层使用15x15的卷积核，第7、8层使用1x1的卷积核；卷积操作中的卷积核参数在整个网络中都是共享的，每个卷积层后设置一个特征归一化层和一个非线性ReLU激活函数层。
优选的，所述绝缘子缺陷识别网络部分由呈漏斗状的多层卷积层组成；所述绝缘子缺陷识别网络部分中设置5个二维卷积层、2个最大池化层和1个全连接层；将所述绝缘子定位网络部分中第4层1024个通道的输出和第5层1个通道输出的图像掩膜进行连接，作为绝缘子缺陷识别网络部分的输入；所述绝缘子缺陷识别网络部分的输入为1025个通道。
优选的，所述控制模块通过动态优化算法得到所述控制指令，并控制所述无人机完成自主巡检任务。
优选的，所述动态优化算法的工作流程包括：
设计状态空间
定义状态表示，包括无人机的位置P＝[x,y,z]、速度V＝[vx,vy,vz]、姿态ψ＝[ψroll,ψpitch,ψyaw]和环境图像I。其中，x、y和z分别表示无人机在世界坐标系X、Y和Z方向的位置；vx、vy和vz分别表示无人机在世界坐标系X、Y和Z方向的速度；ψroll、ψpitch和ψyaw分别表示无人机在世界坐标系X、Y和Z方向的旋转角度。
因此，状态空间S表示为：
S＝(P,V,ψ,I)
设计动作空间
定义动作空间，包括无人机的四种动作，分别为：横滚角δroll、俯仰角δpitch、偏航角δyaw和油门δacc；动作空间A表示为：
A＝(δroll,δpitch,δyaw,δacc)
设计策略网络
所述策略网络将状态空间S作为输入，输出每个动作的概率分布；策略网络输出表示为：
π(A∣S；θ)
其中，θ是策略网络参数。
所述策略网络，包括图像特征提取部分和动作生成部分；
图像特征提取部分：使用Resnet18深度神经网络处理环境图像I，生成图像特征表示；
动作生成部分：在Resnet18深度神经网络后分别添加了四层全连接层(层数分别设置为1024、512、128、16、4)，网络最终有四个输出，分别输出无人机的四种动作的概率分布。
轨迹采样
在每个训练迭代中，使用当前策略网络参数θ，在训练环境中执行若干个轨迹，收集状态、动作和奖励信息；
计算优势函数
计算每个时间步的优势函数G，用于估算当前动作可以带来的性能提升；优势函数G表示为：
G＝Q-H
其中，Q为动作值函数，可以通过蒙特卡洛方法或值函数估算来获得；H为价值函数，也可以通过蒙特卡洛方法或值函数估算来获得。
更新策略网络
通过最小化PPO损失函数来更新策略网络参数θ，策略损失函数LPPO(θ)定义为
其中，E[·]表示求期望值的运算；r(θ)是策略比率；clip(r(θ)，1-∈，1+∈)用于将r(θ)的值限制在1-ò和1+ò范围内；∈是一个超参数，表示剪切重要性采样比例，可以控制策略更新的大小；
网络训练
重复执行采样轨迹、估算优势函数和更新所述策略网络的步骤，直到所述策略网络收敛或达到预定的训练轮次；
模型部署
将训练好的策略网络模型部署在计算平台上；在每一个时间步获取无人机的状态空间S和环境图像I，并输入给所述策略网络模型，得到下一个时间步的无人机动作空间A；将动作空间A发送给仿真环境中的无人机，无人机执行控制指令。
与现有技术相比，本申请的有益效果如下：
本申请提出的级联神经网络使用分段式的网络设计思想，解决了传统神经网络存在的模型训练难和检测准确率低的问题；同时实现了小样本数据集下对实际应用场景中绝缘子缺陷的准确检测，并且能够克服环境因素对识别准确率的影响。此外，本申请还有效解决了现有方法存在的智能化程度低的问题。
附图说明
为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的系统结构示意图；
图2为本申请实施例的绝缘子定位网络部分的参数示意图；
图3为本申请实施例的绝缘子缺陷识别网络部分的参数示意图；
图4为本申请实施例的对比数据示意图；其中，(a)为仿真数据集；(b)为真实数据集；
图5为本申请实施例的网络模型训练过程中损失函数值随训练周期的变化情况示意图；
图6为本申请实施例的性能测试结果示意图；其中，(a)表示不同光照强度下的识别成功率；(b)表示在不同光照强度下的任务用时。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一
如图1所示，为本实施例的系统结构示意图，包括：采集模块、检测模块、控制模块和通讯模块；采集模块采用无人机设备，用于采集环境图像并进行图像增强；检测模块用于检测增强后的环境图像，得到检测结果，检测结果包括：有缺陷的绝缘子图像与无人机当前的地理位置信息；控制模块用于根据检测结果，得到无人机设备下一刻的控制指令；通讯模块用于将控制指令传输至采集模块，进行后续检测任务，直至完成检测。
在本实施例中，采集模块包括：无人机、摄像头和增强单元；无人机用于搭载摄像头；摄像头用于采集拍摄环境图像；增强单元用于对环境图像进行图像增强。
具体的，为了描述无人机的运动行为和轨迹，本实施例设计了一个无人机模型来实现无人机在三维空间中的运动，无人机模型分为三个部分：位置和速度运动学、姿态运动学以及动力学。为了简化运算，可采用简化的无人机模型，以实现无人机在仿真场景中的运动行为。
在这个过程中位于无人机上的摄像头拍摄环境图像，然后增强单元使用直方图均衡化算法进行图像增强，调整图像的亮度和对比度。
缺陷检测模块用于检测图像中是否存在有缺陷的绝缘子。缺陷检测模块的输入是无人机所采集到的环境图像。如果检测到有缺陷的绝缘子，则保存当前的图像与当前的地理位置信息(即检测结果)，并且存储下来用于后续维修人员进行检修。缺陷检测模块使用了级联神经网络，通过训练级联神经网络得到训练好的网络模型，并将该模型部署在计算平台上进行实时计算。
实际应用中带缺陷绝缘子的图像数据难以大量获取，存在模型训练难的问题。不仅如此，现有的神经网络在绝缘子缺陷检测领域还存在检测准确率低的问题。本实施例提出了一种可用于小数据集训练的级联神经网络，用于解决模型训练难和检测准确率低的问题。上述级联神经网络将两个分离的神经网络级联形成一个神经网络，可用于解决复杂的分割和分类问题。级联神经网络的特点在于，允许每个网络专注于特定的特征提取和分类任务。在保持模型简单性的同时，这种网络结构可以提高模型的性能和泛化性。该网络分为两个部分：绝缘子定位网络部分和绝缘子缺陷识别网络部分。根据分段式的网络设计思想，级联神经网络的工作流程如下：首先，使用绝缘子定位网络部分对图像中的绝缘子进行轮廓级别的定位；之后，将轮廓定位后的图像输入到绝缘子缺陷识别网络部分中；最后，绝缘子缺陷识别网络部分用于判断图像中的绝缘子是否存在缺陷。
具体的，绝缘子定位网络部分是由卷积神经单元构成的，用于识别并分割出图像数据中存在的绝缘子。绝缘子定位网络部分共设置10个二维卷积层，3个最大池化层和1个平均池化层。使用二维卷积层通过滑动卷积核在输入的二维图像上进行卷积操作，从而提取图像的局部特征。使用二维卷积层对输入网络中的图像进行像素级别的定位。除空洞卷积层外，前5个卷积层使用7x7的卷积层，第6层使用15x15的卷积核，第7、8层使用1x1的卷积核。在网络更高层的部分设计更大的内核尺寸，这样的设计方法优势在于能够显著增加感受野的面积。卷积操作中的卷积核参数在整个网络中都是共享的，降低了过拟合的风险。每个卷积层后设置一个特征归一化层和一个非线性ReLU激活函数层。特征归一化层可以用于缓解梯度消失的问题，降低训练的不稳定性。ReLU激活函数层可以使神经网络学习到更复杂的图像特征。最大池化层通过保留每个池化窗口中的最大值来降低输入图像的尺寸，有助于降低模型的计算复杂程度和参数数量。在本网络部分中，图像数据经过每个最大池化层后分辨率都会降低2倍。输入图像分辨率为512x512，经过绝缘子定位网络后输出的单通道的定位掩膜图像分辨率为64x64。在所述绝缘子定位网络部分第1层后面加入空洞卷积层。空洞卷积层的主要特点是在卷积核内部引入一定数量的空洞(或间隔)。空洞允许卷积核在感受野内跳过一定数量的像素点从而扩大感受野的范围。空洞卷积可以轻松替代标准的卷积网络层，而不需要更改神经网络的整体结构。空洞卷积有助于处理大尺度特征并保持局部细节。绝缘子定位网络部分的参数如图2所示。
绝缘子缺陷识别网络部分使用绝缘子定位网络部分的输出作为输入。缺陷识别网络部分由呈漏斗状的多层卷积层组成。这样网络结构不仅可以捕捉局部的图像特征，还可以提取大范围的图像特征。绝缘子缺陷识别网络部分中设置了5个二维卷积层、2个最大池化层和1个全连接层。将绝缘子定位网络部分中第4层1024个通道的输出和第5层1个通道输出的图像掩膜进行连接，作为绝缘子缺陷识别网络部分的输入。因此，绝缘子缺陷识别网络部分的输入为1025个通道。绝缘子缺陷识别网络部分的参数如图3所示。
在现有的电力系统中，无人机往往用于收集绝缘子图像数据，然后对图像数据进行离线分析。这种绝缘子缺陷检测的方法需要大量的人力成本，智能化程度不高，不适用于智慧电网。为了解决现有方法存在的智能化程度低的问题，本实施例设计了部署有动态优化算法的控制模块。
控制模块部署了能实现无人机自主飞行的控制器，将环境图像输入给控制模块，得到可以控制无人机飞行的控制指令，无人机在连续的控制指令下就可以完成自主巡检任务。所述控制模块是通过动态优化算法实现的。
动态优化算法的工作流程包括：
(1)设计状态空间
定义状态表示，包括无人机的位置P＝[x,y,z]、速度V＝[vx,vy,vz]、姿态ψ＝[ψroll,ψpitch,ψyaw]和环境图像I。其中，x、y和z分别表示无人机在世界坐标系X、Y和Z方向的位置；vx、vy和vz分别表示无人机在世界坐标系X、Y和Z方向的速度；ψroll、ψpitch和ψyaw分别表示无人机在世界坐标系X、Y和Z方向的旋转角度。
因此，状态空间S表示为：
S＝(P,V,ψ,I)
(2)设计动作空间
定义动作空间，包括无人机的四种动作，分别为：横滚角δroll、俯仰角δpitch、偏航角δyaw和油门δacc；动作空间A表示为：
A＝(δroll,δpitch,δyaw,δacc)
(3)设计策略网络
所述策略网络将状态空间S作为输入，输出每个动作的概率分布；策略网络输出表示为：
π(A∣S；θ)
其中，θ是策略网络参数。
所述策略网络，包括图像特征提取部分和动作生成部分；
图像特征提取部分：使用Resnet18深度神经网络处理环境图像I，生成图像特征表示；
动作生成部分：在Resnet18深度神经网络后分别添加了四层全连接层(层数分别设置为1024、512、128、16、4)，网络最终有四个输出，分别输出无人机的四种动作的概率分布。
(4)轨迹采样
在每个训练迭代中，使用当前策略网络参数θ，在训练环境中执行多干个轨迹，收集状态、动作和奖励信息；
(5)计算优势函数
计算每个时间步的优势函数G，用于估算当前动作可以带来的性能提升；优势函数G表示为：
G＝Q-H
其中，Q为动作值函数，可以通过蒙特卡洛方法或值函数估算来获得；H为价值函数，也可以通过蒙特卡洛方法或值函数估算来获得。
(6)更新策略网络
通过最小化PPO损失函数来更新策略网络参数θ，策略损失函数LPPO(θ)定义为
其中，E[·]表示求期望值的运算；r(θ)是策略比率；clip(r(θ)，1-∈，1+∈)用于将r(θ)的值限制在1-ò和1+ò范围内；∈是一个超参数，表示剪切重要性采样比例，可以控制策略更新的大小；
(7)网络训练
重复执行采样轨迹、估算优势函数和更新所述策略网络的步骤，直到所述策略网络收敛或达到预定的训练轮次；
(8)模型部署
将训练好的策略网络模型部署在计算平台上；在每一个时间步获取无人机的状态空间S和环境图像I，并输入给所述策略网络模型，得到下一个时间步的无人机动作空间A；将动作空间A发送给仿真环境中的无人机，无人机执行控制指令。
实施例二
下面将结合本实施例，来验证本申请的有效性和实现效果。
(1)实验数据集
使用了两个数据集来进行评估。图4展示了两个数据集中的图像，其中图4(a)为仿真数据集，图4(b)为真实数据集。第一个数据集是在仿真环境中获取的。仿真数据集为400张图像，分辨率为2560x1980。其中包括100张有缺陷的绝缘子图像，100张无缺陷的绝缘子图像，以及200张不含有绝缘子的环境图像。第二个数据集为经过处理的中国国家电网公司提供的绝缘子的航空拍摄图像。该真实数据集有1956张高分辨率图像。包括900张无缺陷的绝缘子图像以及1056张有缺陷的绝缘子图像。图像的分辨率为4608x3456，并且以BMP格式存储。为了评估所提出的级联神经网络在小样本数据集上的性能，对于第二个数据集也同样选取了100张无缺陷的绝缘子图像以及100张有缺陷的绝缘子图像用来评估网络性能。除此之外，通过裁剪和旋转等方式从真实数据集中获取无绝缘子的图像200张参与训练。
对所选用数据集中的图像进行特征标注。具体标注流程为：对含有绝缘子的图像，无论绝缘子是否产生缺陷都选用最小的外接四边形轮廓对绝缘子区域进行选择并标注为“Insulator”。针对无绝缘子的图像，无需进行标注。
(2)实验结果
训练网络使用的硬件平台是Intel(R)Core(TM)i9-10900K CPU@3.70GHz3.60GHz中央处理器，NVIDIA GeForce RTX 3060图形处理器，Windows11专业版64位操作系统，以及使用Pytorch1.12搭建的神经网络框架。分别对仿真数据集与真实数据集进行训练集和测试集的划分。按照1：1划分数据集，分别将50张有缺陷绝缘子的图像，50张无缺陷绝缘子的图像以及100张无绝缘子的图像作为训练集。将另外相等数量的图像数据作为测试集。
级联神经网络中的绝缘子定位网络部分用于对图像中绝缘子进行识别与定位。该部分网络训练的初始学习率设置为0.0001，权重衰减系数设置为0.4。图像批处理大小设置为10。使用均方误差(Mean-Square Error，MSE)损失函数和Adam优化方法。
对绝缘子定位网络部分进行500个周期的训练，图5为网络模型训练过程中损失函数值随训练周期的变化情况。如图5所示，在训练到500个周期时，网络的损失值已经无限接近于0并且保持稳定。因此可以认为绝缘子定位网络在训练500个周期后已经达到了较为理想的状态，能够对图像中标注的绝缘子特征进行准确地分割和识别。随着训练周期的增加，网络模型对图像中绝缘子的轮廓识别更加清晰，并且对于绝缘子区域内部的像素点也填充地更加完整。在500个训练周期时，所生成的图像掩膜能够准确定位图像中绝缘子的轮廓和具体形态。并且，对于绝缘子区域中有缺陷的位置已经有相应的显示。
对绝缘子定位网络部分训练完成后，将定位网络部分中所训练好的网络参数保持不变并输入绝缘子缺陷识别网络部分中。以此保证输入缺陷识别网络部分中的定位图像效果最佳。对绝缘子识别网络部分进行训练并与经典的目标检测网络YoloV5进行对比。选择准确率，查准率，召回率和F1值对网络的缺陷识别功能进行评价。绝缘子缺陷识别网络部分的输出结果即为级联神经网络的输出结果。
考虑到实际应用场景中采集到的图像数据易受到不同天气因素下光线强弱的影响，所以从仿真环境获取到了不同光照强度条件下的图像数据。不同光照强度条件设置在0.001lux到30000lux的区间，覆盖了从夜间无光照到日间最强光照的范围。使用不同光照强度条件下的图像数据来评估级联神经网络的性能。考虑到环境过暗或或曝时会影响网络对图像的检测，因此使用直方图均衡化算法对图像质量进行改善。直方图均衡化通过重新分布图像的像素值来增强图像中不同灰度级别的区分度，从而提高图像的视觉质量。
结果发现，在光照强度过暗时，级联神经网络的识别效果确实不够理想，对绝缘子轮廓的识别较为困难。而在光线强度过高时，图像曝光过强，对网络的识别也会造成干扰。通过直方图均衡化算法提高图像质量后，网络模型的识别准确率均得到提高。尤其是对于光照过暗或过强的情况，能够显著改善识别准确率，达到95％以上较为理想状态。可以计算得到以下结果：不使用图像增强算法时，级联神经网络在不同光照强度下的平均准确率为95.96％，方差为0.01；使用图像增强算法时，级联神经网络在不同光照强度下的平均准确率为91.96％，方差为0.04。
对本申请进行不同光照强度下的在线性能测试。在实验平台中部署20个带有缺陷的绝缘子和100个不带缺陷的绝缘子。无人机在巡检过程中实时进行拍摄，检测到含有缺陷的绝缘子图像后保存有缺陷绝缘子的图像数据和无人机当前的地理位置信息。图6(a)展示了本申请在不同光照强度下的识别成功率。图6(b)展示了本申请在不同光照强度下的任务用时。分析可知，在光照强度较弱时，无人机的导航速度较慢，因此识别速度较慢并且准确率较低。光照强度较强时，过度曝光也容易干扰无人机的识别与分析。而通过图像增强算法后，级联神经网络对于含有缺陷绝缘子的识别判断准确率以及识别速率将基本不受光照强度的干扰。可以得到以下结果：在不同光照强度下，缺陷绝缘子的平均识别准确率为86.43％(方差为0.12)，缺陷绝缘子的平均识别任务用时为373.86秒(方差为19.66)；使用图像增强算法时，绝缘子缺陷检测系统在不同光照强度下，缺陷绝缘子的平均识别准确率为94.29％(方差为0.05)，缺陷绝缘子的平均识别任务用时为360.57秒(方差为3.49)。可以得出以下结论，本申请提出的一种用于智慧电网的绝缘子缺陷检测方法在联合图像增强算法使用，具有稳定的性能。
以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。
Claims (5)
1.一种用于智慧电网的绝缘子缺陷检测系统，其特征在于，包括：采集模块、检测模块、控制模块和通讯模块；
所述采集模块采用无人机设备，用于采集环境图像并进行图像增强；其中，所述采集模块包括：无人机、摄像头和增强单元；
所述无人机用于搭载所述摄像头；
所述摄像头用于采集拍摄所述环境图像；
所述增强单元用于对所述环境图像进行图像增强；具体的，通过设计了一个无人机模型来实现无人机在三维空间中的运动，无人机模型分为三个部分：位置和速度运动学、姿态运动学以及动力学；为简化运算，采用简化的无人机模型，实现无人机在仿真场景中的运动行为；
所述检测模块用于检测增强后的所述环境图像，得到检测结果，所述检测结果包括：有缺陷的绝缘子图像与无人机当前的地理位置信息；
所述控制模块用于根据所述检测结果，得到所述无人机设备下一刻的控制指令；其中，所述控制模块部署了能实现无人机自主飞行的控制器，将环境图像输入给所述控制模块，得到可以控制无人机飞行的控制指令，无人机在连续的控制指令下就可以完成自主巡检任务；所述控制模块是通过动态优化算法实现的；
所述动态优化算法的工作流程包括：
设计状态空间
定义状态表示，包括无人机的位置P＝[x,y,z]、速度V＝[vx,vy,vz]、姿态ψ＝[ψroll,ψpitch,ψyaw]和环境图像I；其中，x、y和z分别表示无人机在世界坐标系X、Y和Z方向的位置；vx、vy和vz分别表示无人机在世界坐标系X、Y和Z方向的速度；ψroll、ψpitch和ψyaw分别表示无人机在世界坐标系X、Y和Z方向的旋转角度；
因此，状态空间S表示为：
S＝(P,V,ψ,I)
设计动作空间
定义动作空间，包括无人机的四种动作，分别为：横滚角δroll、俯仰角δpitch、偏航角δyaw和油门δacc；动作空间A表示为：
A＝(δroll,δpitch,δyaw,δacc)
设计策略网络
所述策略网络将状态空间S作为输入，输出每个动作的概率分布；策略网络输出表示为：
π(A∣S；θ)
其中，θ是策略网络参数；
所述策略网络，包括图像特征提取部分和动作生成部分；
图像特征提取部分：使用Resnet18深度神经网络处理环境图像I，生成图像特征表示；
动作生成部分：在Resnet18深度神经网络后分别添加了四层全连接层，层数分别设置为1024、512、128、16、4；网络最终有四个输出，分别输出无人机的四种动作的概率分布；
轨迹采样
在每个训练迭代中，使用当前策略网络参数θ，在训练环境中执行若干个轨迹，收集状态、动作和奖励信息；
计算优势函数
计算每个时间步的优势函数G，用于估算当前动作可以带来的性能提升；优势函数G表示为：
G＝Q-H
其中，Q为动作值函数，通过蒙特卡洛方法或值函数估算来获得；H为价值函数，通过蒙特卡洛方法或值函数估算来获得；
更新策略网络
通过最小化PPO损失函数来更新策略网络参数θ，策略损失函数LPPO(θ)定义为：
其中，E[·]表示求期望值的运算；r(θ)是策略比率；clip(r(θ)，1-∈，1+∈)用于将r(θ)的值限制在1-ò和1+ò范围内；∈是一个超参数，表示剪切重要性采样比例；
网络训练
重复执行采样轨迹、估算优势函数和更新所述策略网络的步骤，直到所述策略网络收敛或达到预定的训练轮次；
模型部署
将训练好的策略网络模型部署在计算平台上；在每一个时间步获取无人机的状态空间S和环境图像I，并输入给所述策略网络模型，得到下一个时间步的无人机动作空间A；将动作空间A发送给仿真环境中的无人机，无人机执行控制指令；
所述通讯模块用于将所述控制指令传输至所述采集模块，进行后续检测任务，直至完成检测。
2.根据权利要求1所述的用于智慧电网的绝缘子缺陷检测系统，其特征在于，所述检测模块采用级联神经网络来检测所述环境图像中是否存在有缺陷的绝缘子；所述级联神经网络包括：绝缘子定位网络部分和绝缘子缺陷识别网络部分。
3.根据权利要求2所述的用于智慧电网的绝缘子缺陷检测系统，其特征在于，所述级联神经网络的工作流程包括：首先，使用所述绝缘子定位网络部分对所述环境图像中的绝缘子进行轮廓级别的定位；之后，将轮廓定位后的所述环境图像输入到所述绝缘子缺陷识别网络部分中；最后，所述绝缘子缺陷识别网络部分用于判断所述环境图像中的绝缘子是否存在缺陷。
4.根据权利要求3所述的用于智慧电网的绝缘子缺陷检测系统，其特征在于，所述绝缘子定位网络部分由卷积神经单元构成的，共设置10个二维卷积层，3个最大池化层和1个平均池化层；使用二维卷积层通过滑动卷积核在输入的二维图像上进行卷积操作，对输入网络中的图像进行像素级别的定位；在所述绝缘子定位网络部分第1层后面加入空洞卷积层；除空洞卷积层外，前5个卷积层使用7x7的卷积层，第6层使用15x15的卷积核，第7、8层使用1x1的卷积核；卷积操作中的卷积核参数在整个网络中都是共享的，每个卷积层后设置一个特征归一化层和一个非线性ReLU激活函数层。
5.根据权利要求3所述的用于智慧电网的绝缘子缺陷检测系统，其特征在于，所述绝缘子缺陷识别网络部分由呈漏斗状的多层卷积层组成；所述绝缘子缺陷识别网络部分中设置5个二维卷积层、2个最大池化层和1个全连接层；将所述绝缘子定位网络部分中第4层1024个通道的输出和第5层1个通道输出的图像掩膜进行连接，作为绝缘子缺陷识别网络部分的输入；所述绝缘子缺陷识别网络部分的输入为1025个通道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311339393.4A CN117437188B (zh) | 2023-10-17 | 2023-10-17 | 一种用于智慧电网的绝缘子缺陷检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311339393.4A CN117437188B (zh) | 2023-10-17 | 2023-10-17 | 一种用于智慧电网的绝缘子缺陷检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117437188A CN117437188A (zh) | 2024-01-23 |
| CN117437188B true CN117437188B (zh) | 2024-05-28 |
Family
ID=89557557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311339393.4A Active CN117437188B (zh) | 2023-10-17 | 2023-10-17 | 一种用于智慧电网的绝缘子缺陷检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437188B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038846A (zh) * | 2017-12-04 | 2018-05-15 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 |
| CN109118479A (zh) * | 2018-07-26 | 2019-01-01 | 中睿能源（北京）有限公司 | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN112233092A (zh) * | 2020-10-16 | 2021-01-15 | 广东技术师范大学 | 一种用于无人机电力巡检智能缺陷检测的深度学习方法 |
| CN112947562A (zh) * | 2021-02-10 | 2021-06-11 | 西北工业大学 | 一种基于人工势场法和maddpg的多无人机运动规划方法 |
| CN113469953A (zh) * | 2021-06-10 | 2021-10-01 | 南昌大学 | 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法 |
| WO2022036953A1 (zh) * | 2020-08-19 | 2022-02-24 | 上海商汤智能科技有限公司 | 缺陷检测方法和相关装置、设备、存储介质、计算机程序产品 |
| WO2022053001A1 (zh) * | 2020-09-10 | 2022-03-17 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
| CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
| CN114283117A (zh) * | 2021-11-24 | 2022-04-05 | 广西大学 | 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法 |
| CN114419413A (zh) * | 2022-01-12 | 2022-04-29 | 国网河南省电力公司电力科学研究院 | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 |
| CN114782396A (zh) * | 2022-05-10 | 2022-07-22 | 交通运输部规划研究院 | 一种基于cctv的岸基天线检测系统 |
| CN115063648A (zh) * | 2022-05-30 | 2022-09-16 | 沈阳化工大学 | 一种绝缘子缺陷检测模型构建方法及系统 |
| WO2022227770A1 (zh) * | 2021-04-28 | 2022-11-03 | 北京百度网讯科技有限公司 | 目标对象检测模型的训练方法、目标对象检测方法和设备 |
| WO2022241808A1 (zh) * | 2021-05-19 | 2022-11-24 | 广州中国科学院先进技术研究所 | 一种多机器人轨迹规划方法 |
| KR20230036299A (ko) * | 2021-09-07 | 2023-03-14 | 우재희 | 드론 촬영을 통한 건축물 외부의 하자 발견 및 레이져를 이용한 크기 측정방법 및 장치 |
| CN115984238A (zh) * | 2023-01-16 | 2023-04-18 | 国网江苏省电力有限公司泰州供电分公司 | 一种基于深度神经网络的电网绝缘子缺陷检测方法及系统 |
| CN116468730A (zh) * | 2023-06-20 | 2023-07-21 | 齐鲁工业大学(山东省科学院) | 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法 |
| CN116700327A (zh) * | 2023-05-29 | 2023-09-05 | 北京理工大学 | 一种基于连续动作优势函数学习的无人机轨迹规划方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11992945B2 (en) * | 2020-11-10 | 2024-05-28 | Google Llc | System and methods for training robot policies in the real world |
-
2023
- 2023-10-17 CN CN202311339393.4A patent/CN117437188B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN108038846A (zh) * | 2017-12-04 | 2018-05-15 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 |
| CN109118479A (zh) * | 2018-07-26 | 2019-01-01 | 中睿能源（北京）有限公司 | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 |
| WO2022036953A1 (zh) * | 2020-08-19 | 2022-02-24 | 上海商汤智能科技有限公司 | 缺陷检测方法和相关装置、设备、存储介质、计算机程序产品 |
| WO2022053001A1 (zh) * | 2020-09-10 | 2022-03-17 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
| CN112233092A (zh) * | 2020-10-16 | 2021-01-15 | 广东技术师范大学 | 一种用于无人机电力巡检智能缺陷检测的深度学习方法 |
| CN112947562A (zh) * | 2021-02-10 | 2021-06-11 | 西北工业大学 | 一种基于人工势场法和maddpg的多无人机运动规划方法 |
| WO2022227770A1 (zh) * | 2021-04-28 | 2022-11-03 | 北京百度网讯科技有限公司 | 目标对象检测模型的训练方法、目标对象检测方法和设备 |
| WO2022241808A1 (zh) * | 2021-05-19 | 2022-11-24 | 广州中国科学院先进技术研究所 | 一种多机器人轨迹规划方法 |
| CN113469953A (zh) * | 2021-06-10 | 2021-10-01 | 南昌大学 | 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法 |
| KR20230036299A (ko) * | 2021-09-07 | 2023-03-14 | 우재희 | 드론 촬영을 통한 건축물 외부의 하자 발견 및 레이져를 이용한 크기 측정방법 및 장치 |
| CN114283117A (zh) * | 2021-11-24 | 2022-04-05 | 广西大学 | 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法 |
| CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
| CN114419413A (zh) * | 2022-01-12 | 2022-04-29 | 国网河南省电力公司电力科学研究院 | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 |
| CN114782396A (zh) * | 2022-05-10 | 2022-07-22 | 交通运输部规划研究院 | 一种基于cctv的岸基天线检测系统 |
| CN115063648A (zh) * | 2022-05-30 | 2022-09-16 | 沈阳化工大学 | 一种绝缘子缺陷检测模型构建方法及系统 |
| CN115984238A (zh) * | 2023-01-16 | 2023-04-18 | 国网江苏省电力有限公司泰州供电分公司 | 一种基于深度神经网络的电网绝缘子缺陷检测方法及系统 |
| CN116700327A (zh) * | 2023-05-29 | 2023-09-05 | 北京理工大学 | 一种基于连续动作优势函数学习的无人机轨迹规划方法 |
| CN116468730A (zh) * | 2023-06-20 | 2023-07-21 | 齐鲁工业大学(山东省科学院) | 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于无人机图像识别技术的输电线路缺陷检测;李宁;郑仟;谢贵文;陈炜;;电子设计工程;20190520(10);正文全文 * |
| 基于深度学习的航拍电网绝缘子缺陷检测;杨肖辉;绳飞;薛鹏;谷峰颉;米新;;信息技术;20200416(04);正文全文 * |
| 深度学习在输电线路中部件识别与缺陷检测的研究;汤踊;韩军;魏文力;丁建;彭新俊;;电子测量技术;20180323(06);正文全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117437188A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944396B (zh) | 一种基于改进深度学习的刀闸状态识别方法 | |
| Tao et al. | Detection of power line insulator defects using aerial images analyzed with convolutional neural networks | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN112199993B (zh) | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 | |
| CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| Liu et al. | High precision detection algorithm based on improved RetinaNet for defect recognition of transmission lines | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
| CN111462076B (zh) | 一种全切片数字病理图像模糊区域检测方法及系统 | |
| CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN114359695A (zh) | 基于不确定性估计的绝缘子破损识别方法 | |
| CN112257500A (zh) | 一种基于云边协同技术的电力设备智能图像识别系统及识别方法 | |
| CN112258490A (zh) | 基于光学和红外图像融合的低发射率涂层智能探损方法 | |
| CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
| CN111178438A (zh) | 一种基于ResNet101的天气类型识别方法 | |
| CN113205039A (zh) | 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法 | |
| CN115908354A (zh) | 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法 | |
| CN113469950A (zh) | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 | |
| CN111507249A (zh) | 基于目标检测的变电站鸟窝识别方法 | |
| CN117437188B (zh) | 一种用于智慧电网的绝缘子缺陷检测系统 | |
| CN111931577A (zh) | 一种电网线路特定异物智能巡检方法 | |
| CN111597939A (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
| CN116309407A (zh) | 一种铁路接触网螺栓异常状态的检测方法 | |
| CN113781436B (zh) | 一种基于摄像机和角度测量的高压开关状态监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |