CN115035108A - 一种基于深度学习的绝缘子缺陷检测方法 - Google Patents
一种基于深度学习的绝缘子缺陷检测方法 Download PDFInfo
- Publication number
- CN115035108A CN115035108A CN202210953695.XA CN202210953695A CN115035108A CN 115035108 A CN115035108 A CN 115035108A CN 202210953695 A CN202210953695 A CN 202210953695A CN 115035108 A CN115035108 A CN 115035108A
- Authority
- CN
- China
- Prior art keywords
- insulator
- image
- defect
- detection
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 362
- 230000007547 defect Effects 0.000 title claims abstract description 169
- 238000001514 detection method Methods 0.000 title claims abstract description 121
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 238000010008 shearing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000004519 manufacturing process Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 4
- INJRKJPEYSAMPD-UHFFFAOYSA-N aluminum;silicic acid;hydrate Chemical compound O.[Al].[Al].O[Si](O)(O)O INJRKJPEYSAMPD-UHFFFAOYSA-N 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012423 maintenance Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 239000011521 glass Substances 0.000 description 9
- 238000004880 explosion Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000002269 spontaneous effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 229910052573 porcelain Inorganic materials 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000615 nonconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Insulators (AREA)
Abstract
本发明提出一种基于深度学习的绝缘子缺陷检测方法，首先，利用绝缘子缺陷检测模型对输入图像进行绝缘子检测并输出检测到的绝缘子位置边框；其次，利用绝缘子区域剪切模块根据绝缘子位置边框和输入图像得到绝缘子区域图像；然后，将绝缘子区域图像输入到绝缘子缺陷分类模型中到相应的绝缘子缺陷类别标签；最后，综合绝缘子区域图像缺陷类别标签和相应的绝缘子位置边框得到绝缘子缺陷检测结果。本发明可以同时检测出多种不同种类的绝缘子缺陷，且对不同种类的绝缘子缺陷检测效果能够在一定范围内满足实际需求，这不仅有助于电力行业更好地完成巡线检修任务，也可助益于电力行业的智能化发展。
Description
技术领域
本发明涉及电力检测领域，具体地说，涉及一种基于深度学习的绝缘子缺陷检测方法。
背景技术
在电力系统中为了保证输电线路的正常运行，电力巡检人员利用直升飞机或无人机对输电线路中的电力设备进行巡视检查并采集大量的航拍图像，通过分析航拍图像记录设备存在的故障以及时修复或更换。其中绝缘子多用于高压电线连接塔的一端，需能耐受电压和机械应力，是输变电线路不可缺少的组成部分。而当绝缘子出现缺陷时将严重影响输电线路的正常运行，这不仅会影响人们正常的生产生活，还会带来一些不安全的因素，因此及时检测出绝缘子的缺陷并及时进行更换成为整个电力行业亟待解决的问题之一。
目前已有的绝缘子缺陷检测方法可以分为传统的绝缘子缺陷检测方法和基于深度学习的绝缘子缺陷检测方法。其中，传统的绝缘子缺陷检测方法主要利用人工设计的图像特征和机器学习算法实现，其在具体的应用场景中对绝缘子缺陷的检测效果与实际需求有一定的差距，而基于深度学习的绝缘子缺陷检测方法利用卷积神经网络自动提取图像特征且所得特征更具鲁棒性，从而使绝缘子缺陷检测效果更好，因此近几年来绝缘子缺陷检测方法一般基于深度学习实现。
其中，Liu等在文章中“MTI-YOLO:A Light-Weight and Real-Time Deep NeuralNetwork for Insulator Detection in Complex Aerial Images[J].Energies,2021,14(5).”中提出利用改进的YOLO-tiny(MTI-YOLO)网络实现绝缘子检测，该方法主要用于绝缘子检测并未对绝缘子存在的缺陷进行检测，且该方法对绝缘子的检测精度并不能满足实际需求且有待进一步提高。伋淼等在文章“航拍图像中绝缘子缺失故障检测的级联模型[J].科学技术创新,2021(04):36-38”中提出通过将绝缘子检测模型SPP和绝缘子缺失检测模型YOLOv3-tiny级联实现绝缘子缺失(绝缘子自爆造成绝缘子部分缺失)检测，该方法仅实现了绝缘子的缺失检测，而实际场景中绝缘子的缺陷种类众多，因此这种方实现法并不能真正满足实际需求。唐小煜等在文章“基于U-net和YOLOv4的绝缘子图像分割与缺陷检测[J].华南师范大学学报(自然科学版),2020,52(06):15-21.”中提出先利用U-net网络等从输入图像中分割出绝缘子，然后通过YOLOv4网络对分割出的绝缘子进行缺陷检测以得到绝缘子的自爆缺陷检测结果。Sampedro等在文章中“Deep Learning-Based System forAutomatic Recognition and Diagnosis of Electrical Insulator Strings," in IEEEAccess, vol. 7, pp. 101283-101308, 2019.”提出先利用改进的UP-net分割出绝缘子，然后利用SCNN网络实现绝缘子缺失检测。唐小煜等和Sampedro等提出的这两种方法均需要先分割出绝缘子再进行绝缘子缺陷检测，由于绝缘子分割需要精确标注绝缘子轮廓，而绝缘子有多种类型且结构复杂多样，因此很难实现标注大量绝缘子轮廓标签数据用于训练绝缘子分割模型，且这两种方法能检测出的绝缘子缺陷种类均单一，均不能真正满足实际需求。
综合分析现有的基于深度学习的绝缘子缺陷检测方法可知，虽然现有绝缘子缺陷检测方法在一定程度上实现了针对某一缺陷的检测任务，但是这些方法中存在的主要问题具体如下：
实际应用场景中绝缘子存在多种类型的缺陷，而现有多数绝缘子缺陷检测方法主要针对玻璃绝缘子自爆缺陷进行检测，对其他缺陷进行检测的方法较少且检测效果不能满足需求。
现有的多数玻璃绝缘子自爆缺陷检测方法主要利用图像分割的方法进行检测，而用于图像分割的数据集标注过程更加复杂，因此很难标注大量的绝缘子分割图像数据用于绝缘子分割模型的训练，从而使所得的绝缘子分割模型的泛化能力较差，对不同线路、不同地域场景下的玻璃绝缘子自爆检测效果欠佳。
电力行业中通过直升飞机或无人机采集的巡线图像背景复杂、图像分辨率较大且图像中待检测的绝缘子缺陷占据的图像面积比例较小，此外绝缘子有多种类型且每种类型的绝缘子又包含多种类型的缺陷,因此现有的基于深度学习的绝缘子检测方法并不能真正满足电力行业进行巡线检修的实际需求。
发明内容
本发明针对现有技术中上述问题，提出一种基于深度学习的绝缘子缺陷检测方法，通过建立绝缘子检测模型得到绝缘子位置边框，通过建立绝缘子缺陷分类模型以卷积神经网络提取的图像特征为基础，将目标检测和图像分类相结合，实现绝缘子缺陷检测，本发明可以同时检测出多种不同种类的绝缘子缺陷，且对不同种类的绝缘子缺陷检测效果能够在一定范围内满足实际需求，这不仅有助于电力行业更好地完成巡线检修任务，也可助益于电力行业的智能化发展。
本发明的具体实现内容如下：
一种基于深度学习的绝缘子缺陷检测方法，包括以下步骤：
步骤1：采集绝缘子图像，制作绝缘子检测数据集和绝缘子缺陷分类数据集；
步骤2：在YOLOv5中搭建绝缘子检测模型，将采集的绝缘子图像输入至绝缘子检测模型中，并输出绝缘子位置边框；
步骤3：将得到的绝缘子位置边框进行剪切得到相应的绝缘子区域图像；
步骤4：建立拥有卷积层、下采样层、特征融合层、全连接层、Softmax层的绝缘子缺陷分类模型，将得到的绝缘子区域图像输入至绝缘子缺陷分类模型中得到绝缘子缺陷类别；
步骤5：利用绝缘子检测数据集对绝缘子检测模型进行训练，得到检测3种类型绝缘子的绝缘子检测模型；利用绝缘子缺陷分类数据集对绝缘子缺陷分类模型进行训练，得到检测7种绝缘子缺陷类别的绝缘子缺陷分类模型。
为了更好地实现本发明，进一步地，所述步骤4的具体操作为：建立拥有13层卷积层、5层下采样层、4层特征融合层、3层全连接层、1层Softmax层的绝缘子缺陷分类模型，进行4次特征融合，将下采样层产生的特征图和卷积层产生的特征相融合，四次融合完成后输出至最后一层下采样层，最后一层下采样层输出至3层全连接层，最后输出至Softmax层后得到绝缘子缺陷类别。
为了更好地实现本发明，进一步地，在每一层特征融合层后均增加一层卷积核为3×3、步长和填充值均为1的卷积层。
为了更好地实现本发明，进一步地，所述步骤5中对绝缘子缺陷分类模型进行训练的具体操作为：利用损失函数对绝缘子缺陷分类模型进行训练，所述损失函数的具体公式为：
其中，
表示总损失函数值，
表示绝缘子缺陷类别数且其值为7，
表示第
类绝缘子缺陷的权重，Li表示第i种绝缘子缺陷的损失函数值；
其中，
表示绝缘子缺陷分类数据集的训练集中图像总数量，
表示绝缘子缺陷分类数据集的训练集中第
类绝缘子缺陷图像的数量；
在损失函数中将不同类别的绝缘子缺陷设置不同的权重，得到的最终的损失函数的公式为：
其中，
表示输入到最后一层全连接层的向量，
表示最后一层全连接层权重矩阵
的第
个分量，ψ（θi）表示向量
和向量
的夹角，
表示最后一层全连接层权重矩阵
的第
个分量，
表示向量
和向量
的夹角且
；
其中，
是一个大于1的整数，
是一个单调递减函数且
应该等于
，ψ（θ）表示求解向量W与向量x点乘时的角度约束项，θ表示向量W与向量x之间的夹角；
为了更好地实现本发明，进一步地，所述步骤1的具体步骤为：
步骤1.1：人工筛选出包含绝缘子且存在缺陷的绝缘子图像；
步骤1.2：用图像工具LabelImg对筛选出的图像进行绝缘子位置边框和绝缘子缺陷类别的标注，生成一个名称与图像名称相同的xml文件；
步骤1.3：根据xml文件在相应的图像中剪切出绝缘子区域图像；
步骤1.4：根据生成的xml文件，制作绝缘子检测数据集；根据剪切出的绝缘子区域图像制作出绝缘子缺陷分类数据集。
为了更好地实现本发明，进一步地，所述步骤1.4中制作绝缘子检测数据集的具体操作为：首先，利用python程序将所有xml文件转换成与xml文件相对应且文件名相同的txt文件；然后，将原绝缘子图像按照8:1:1的比例分成三部分，其中数量较多的部分图像放在文件夹images/train中用于绝缘子检测模型训练，数量相对较少的两部分图像分别放在文件夹images/val中用于验证和文件夹images/test中用于测试；最后，将txt文件按照与图像划分的对应关系同样分成三部分，且分别放在labels文件下的子文件夹train、val和test中。
为了更好地实现本发明，进一步地，所述步骤1.4中制作绝缘子缺陷分类数据集的具体操作为：首先，将扩增后的绝缘子区域图像按照缺陷类别分别放在以绝缘子缺陷类别命名的文件夹中；然后，将每种类别缺陷的绝缘子区域图像按照8:1:1的比例分开，分别放在trainData、valData和testData文件夹且按照类别分别放在以类别命名的子文件夹中。
为了更好地实现本发明，进一步地，在制作绝缘子检测数据集和绝缘子缺陷分类数据集前，对绝缘子图像数据进行翻转、旋转。
为了更好地实现本发明，进一步地，在YOLOv5中搭建绝缘子检测模型前，对图像进行有重叠分割，具体操作为：设定分割时图像左右两部分的重叠率为图像总宽度(Width)的20%；计算左半部分图像的分割边界并按照该边界进行分割得到左半部分图像；计算右半部分图像的分割边界并按照该边界进行图像分割得到右半部分图像。
为了更好地实现本发明，进一步地，所述步骤2的具体步骤为：
步骤2.1：在YOLOv5中搭建绝缘子检测模型；
步骤2.2：将得到的分割后的左半部分图像和右半部分图像输入至搭建的绝缘子检测模型中，得到绝缘子位置边框；
步骤2.3：将分别存在于左半部分图像和右半部分图像、存在重叠且类别相同的位置边框进行合并，得到最终的绝缘子位置边框。
为了更好地实现本发明，更进一步地，所述步骤3的具体步骤为：
步骤3.1：将得到的绝缘子位置边框表示为[xmin,ymin,xmax,ymax]，其中xmin和ymin是绝缘子位置边框的左上角坐标值，xmax和ymax是绝缘子位置边框的右下角坐标值；
步骤3.2：利用OpenCV读取输入图像并根据所得绝缘子位置边框坐标进行剪切得到相应的绝缘子区域图像。
本发明具有以下有益效果：
(1)本发明通过将目标检测和图像分类相结合提出一种可以检测多种绝缘子缺陷的绝缘子缺陷检测方法，该方法首先通过绝缘子检测模型检测出瓷质绝缘子、玻璃绝缘子和复合绝缘子3种绝缘子，然后将通过绝缘子缺陷分类模型对检测出的绝缘子进行缺陷分类以确定检测出的绝缘子缺陷类别。这不仅可以减少巡线检修的成本、提高巡线检修的效率，也使得完成巡线检修任务的过程更智能化；
(2)绝缘子缺陷检测精度更高，由于直升机或无人机采集的图像分辨率较大，且绝缘子某些类别的缺陷(如玻璃绝缘子自爆)相对于无人机采集的图像属于小目标，因此本专利通过将绝缘子检测和绝缘子缺陷分类两步相结合并采用一种带权重的绝缘子缺陷分类损失函数WL-softmax loss，可在一定程度内提高绝缘子缺陷检测精度，从而助力电力行业的工作人员更高效地完成巡线检修任务；
(3)数据集标注制作简单，本发明所提的绝缘子缺陷检测方法在其实现过程中需要制作出两种数据集分别用于绝缘子检测网络和绝缘子缺陷分类网络的训练。在数据集的制作过程中，本发明利用图像标注工具LabelImg和python程序完成两种数据集制作且该过程中仅进行一次标签标注，与用于进行绝缘子分割的图像标注过程相比，本发明的数据集制作过程简单、易操作，可以实现大量图像标签的标注。
附图说明
图1为绝缘子缺陷检测总体流程图；
图2为YOLOv5绝缘子检测流程图；
图3为图像有重叠分割示意图；
图4为绝缘子缺陷分类模型网络结构示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
本实施例提出一种基于深度学习的绝缘子缺陷检测方法，如图1所示，包括以下步骤：
步骤1：采集绝缘子图像，制作绝缘子检测数据集和绝缘子缺陷分类数据集；
步骤2：在YOLOv5中搭建绝缘子检测模型，将采集的绝缘子图像输入至绝缘子检测模型中，并输出绝缘子位置边框；
步骤3：将得到的绝缘子位置边框进行剪切得到相应的绝缘子区域图像；
步骤4：建立拥有13层卷积层、5层下采样层、4层特征融合层、3层全连接层、1层Softmax层的绝缘子缺陷分类模型，将得到的绝缘子区域图像输入至绝缘子缺陷分类模型中得到绝缘子缺陷类别；
步骤5：利用绝缘子检测数据集对绝缘子检测模型进行训练，得到检测3种类型绝缘子的绝缘子检测模型；利用绝缘子缺陷分类数据集对绝缘子缺陷分类模型进行训练，得到检测7种绝缘子缺陷类别的绝缘子缺陷分类模型。
工作原理：如图1所示，首先，利用绝缘子缺陷检测模型对输入图像进行绝缘子检测并输出检测到的绝缘子位置边框；其次，利用绝缘子区域剪切模块根据绝缘子位置边框和输入图像得到绝缘子区域图像；然后，将绝缘子区域图像输入到绝缘子缺陷分类模型中到相应的绝缘子缺陷类别标签；最后，综合绝缘子区域图像缺陷类别标签和相应的绝缘子位置边框得到绝缘子缺陷检测结果。
其中，实现本实施例所提出的基于深度学习的绝缘子缺陷检测方法需要做的具体工作有：绝缘子数据集制作、绝缘子检测网络搭建、绝缘子区域剪切模块实现、绝缘子分类网络搭建及网络训练等。
通过建立绝缘子检测模型得到绝缘子位置边框，通过建立绝缘子缺陷分类模型一卷积神经网络提取的图像特征为基础，并将目标检测和图像分类相结合，实现绝缘子缺陷检测，本发明可以同时检测出多种不同种类的绝缘子缺陷，且对不同种类的绝缘子缺陷检测效果能够在一定范围内满足实际需求，这不仅有助于电力行业更好地完成巡线检修任务，也可助益于电力行业的智能化发展。
实施例2：
本实施例在上述实施例1的基础上，对绝缘子数据集制作过程进行说明。
工作原理：由于所提绝缘子缺陷检测方法是有监督的，因此需要利用带标签的数据集对绝缘子检测网络和绝缘子缺陷分类网络分别进行训练以得到相应的绝缘子检测模型和绝缘子缺陷分类模型，并将所得模型和其他功能模块级联后完成绝缘子缺陷检测任务。
（1）图像筛选
直升飞机或无人机在线路巡检过程中会采集大量的图像，这些图像中包含了众多与绝缘子无关的线路场景，因此需要人工筛选出包含绝缘子且存在缺陷的绝缘子图像，并通过统计这些图像中包含的绝缘子缺陷种类和数量确定最终要检测的绝缘子类型有3种：瓷质绝缘子、玻璃绝缘子和复合绝缘子，以及要检测的绝缘子缺陷类别共7种：瓷质绝缘子污秽、玻璃绝缘子污秽、玻璃绝缘子自爆、复合绝缘子均压环倾斜、复合绝缘子伞裙变形、复合绝缘子均压环锈蚀、复合绝缘子污秽。
（2）图像标注
利用图像标注工具LabelImg对筛选出的图像进行绝缘子位置边框和绝缘子缺陷类别的标注，此过程会针对每一张图像生成一个名称与图像名称相同的xml文件，且每一个xml文件中记录了相应图像的宽高、绝缘子的位置边框坐标以及绝缘子缺陷类别等信息，其中绝缘子的缺陷类别标注格式为：绝缘子类型_绝缘子缺陷类别，如玻璃绝缘子_污秽。
（3）图像剪切
根据xml文件在相应的图像中剪切出绝缘子区域图像，剪切的图像命名格式为：原图像名称_绝缘子类型_绝缘子缺陷类别_绝缘子编号，其中绝缘子编号是为了区分一幅图像中存在同一类别缺陷的多个绝缘子且每一张图像中绝缘子编号均从0开始。
（4）数据集制作
1）xml文件的修改
通过python程序将xml文件中的类别标签由绝缘子类型_绝缘子缺陷类别改成：绝缘子类型，如玻璃绝缘子。由于绝缘子检测模型主要是用于检测绝缘子，并不需要检测具体的绝缘子缺陷类别，而之所以在标注时将xml文件中的类别标签写成绝缘子类型_绝缘子缺陷类别，是为了便于用绝缘子缺陷类别对绝缘子区域图像命名。
2）绝缘子检测数据集制作
原有绝缘子图像数量共445张，为了获得更具鲁棒性的绝缘子检测模型，本专利对原有绝缘子图像进行了扩增即对原绝缘子图像进行翻转、旋转和剪切操作，最终获得的图像数量为1780张，同时对修改后的xml文件内容也做了相应的变换得到与扩增后图像对应的xml文件。用于训练绝缘子检测网络的数据集制作步骤具体如下：首先，利用python程序将所有xml文件转换成与xml文件相对应且文件名相同的txt文件；然后，将原图像按照8:1:1的比例分成三部分，其中数量较多的部分图像放在文件夹images/train中用于绝缘子检测网络训练，数量相对较少的两部分图像分别放在文件夹images/val中用于验证和文件夹images/test中用于测试；最后，将txt文件按照与图像划分的对应关系同样分成三部分，且分别放在labels文件下的子文件夹train、val和test中。为了便于描述将images和labels组成的数据集命名为数据集1。
3）绝缘子缺陷分类数据集制作
同样，为了获得更具鲁棒性的绝缘子缺陷分类模型，对由剪切得到的绝缘子区域图像进行扩增即对图像数据进行翻转、旋转操作，且绝缘子区域图像数量由原来的446张为扩增为1784张。用于训练缺陷分类网络的数据集制作步骤具体如下：首先，将扩增后的绝缘子区域图像按照缺陷类别分别放在以绝缘子缺陷类别命名的文件夹中；然后，将每种类别缺陷的绝缘子区域图像按照8:1:1的比例分开，分别放在trainData、valData和testData文件夹且按照类别分别放在以类别命名的子文件夹中。同样为了便于描述将trainData、valData和testData文件夹组成的数据集命名为数据集2。
本实施例的其他部分与上述实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1-2任一项的基础上，如图2、图3所示，对在YOLOv5中构建绝缘子检测模型的构建过程进行说明。
工作原理：本实施例所提方法中利用目标检测效果较好的YOLOv5实现绝缘子检测。YOLOv5实现绝缘子目标检测的总体流程如图2所示，其中，输入端主要对输入的绝缘子图像进行数据增强、自适应锚框计算、自适应图片缩放操作，Backbone层和Neck层用于提取输入图像的特征，Prediction层通过图像特征获取最终的绝缘子位置边框，“Backbone”、“Neck”和“Prediction”只是神经网络结构的名称，相当于代号，为神经网络中的专业术语。
根据由直升机或无人机拍摄的巡线检修图像的分辨率大、背景复杂、待检测目标小等特点，本专利对待检测图像进行了有重叠分割和位置边框合并操作，以获得检测精度更高的绝缘子检测结果，具体操作如下：
（1）图像有重叠分割。本实施例所提方法中将输入图像根据图像宽度进行有重叠分割具体如图所示3，并将分割后的两部分图像均输入到YOLOv5中进行绝缘子检测。将图像进行有重叠分割的原因有二：一是直接将图像从中间分成两部分则会将位于图像中间的绝缘子分割为左右两部分且这两部分的位置边框不存在交集，因而无法将同一绝缘子目标的左右两部分位置边框进行合并；二是图像进行有重叠分割后，左右两部分图像中属于同一绝缘子目标的位置边框存在重叠，因而可以将属于同一绝缘子的位置边框进行合并，得到绝缘子的完整位置边框。具体的有重叠分割过程如下：首先，设定分割时图像左右两部分的重叠率为图像总宽度(Width)的20%。其次，计算左半部分图像的分割边界并按照该边界进行分割以获取左半部分图像，计算过程具体如公式（1）所示。然后，计算右半部分图像的分割边界并按照该边界进行图像分割以获得右半部分图像，计算过程具体如公式（2）所示。最后，将上述两张图像输入到YOLOv5中进行绝缘子检测。
（2）位置边框合并。将分割后的左半部分图像和右半部分图像输入到YOLOv5后得到这两张图像的检测结果即绝缘子的位置边框，然后将分别存在于左半部分图像和右半部分图像、存在重叠且类别相同的位置边框进行合并，合并后的位置边框即为原图像最终的绝缘子位置边框，并将该位置边框用于后续操作中。
本实施例的其他部分与上述实施例1-2任一项相同，故不再赘述。
实施例4：
本实施例在上述实施例1-3任一项的基础上，对绝缘子区域剪切模块的剪切过程进行说明。
工作原理：绝缘子区域图像剪切过程具体如下：首先，获取由Yolov5得到的输入图像的绝缘子位置边框信息并用[xmin,ymin,xmax,ymax]表示，其中xmin和ymin是位置边框的左上角坐标值，xmax和ymax是绝缘子位置边框的右下角坐标值；然后，利用OpenCV读取输入图像并根据所得绝缘子位置边框坐标进行剪切得到相应的绝缘子区域图像；最后，将这些绝缘子区域图像输入到绝缘子缺陷分类模型中进行缺陷分类。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
实施例5：
本实施例在上述实施例1-4任一项的基础上，如图4所示，对绝缘子缺陷分类网络的搭建过程进行说明。
工作原理：绝缘子缺陷分类网络用于确定绝缘子的缺陷类别，该神经网络的具体结构如图4所示。
由图4可知，绝缘子缺陷分类网络主要由17层卷积层(Convolutional)、5层下采样层(Pooling)、4层特征融合层(add)、3层全连接层(FC)以及1层Softmax层等组成。其中，17层卷积层用于提取图像特征且该过程中所用的卷积核均为3×3、步长和填充值均为1。5层下采样层用于降低图像特征的维度且该过程采用最大值下采样(MaxPooling)。特征融合层用于将深层特征和浅层特征进行融合，特征融合过程即将特征对应位置的像素值相加，同时为了消除由特征融合带来的特征混叠效应，在每一层特征融合层后均增加一层卷积核为3×3、步长和填充值均为1的卷积层，由该卷积层所得新特征相较于原来未进行融合的深层特征其特征维度没有增加且其每一维度下的信息量增加，这有益于图像分类。同时由图4可知，在绝缘子缺陷分类网络结构中存在4次特征融合：第一次特征融合是将第一层下采样层pool1产生的特征图和pool1层后的第二层卷积层产生的特征相融合，第二次特征融合是将第二层下采样层pool2产生的特征和pool2层后的第三层卷积层产生的特征相融合，第三次和第四次特征融合均类似第二次特征融合。此外，绝缘子分类网络中有3层全连接层且输出的特征维度分别是1×1×2048、1×1×2048和1×1×7，以及1层用于得到绝缘子缺陷最终分类结果的Softmax层且具体如公式(3)所示。
其中，z表示最后一层全连接层输出的向量，
表示z向量中的第
(0<=
<7)个分量值，
表示向量
的第
个分量且0<=n<7，Zn表示向量z中的第n个分量值。
本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
实施例6：
本实施例在上述实施例1-5任一项的基础上，对绝缘子缺陷分类网络训练过程进行说明。
(1) 工作原理：绝缘子检测网络训练
利用数据集1对绝缘子检测网络进行训练，且训练的迭代次数初步设置为800，训练完成后得到可以检测3种类型绝缘子的模型。
(2) 绝缘子缺陷分类网络训练
绝缘子缺陷分类网络进行训练的过程中损失函数如公式(4)所示。由于数据集2中不同类别的图像样本数量分布不均衡，为了减小数据集样本数量不均衡带来的影响，本专利在损失函数中为不同类别的绝缘子缺陷设置不同的权重，即图像数量越多的绝缘子缺陷在总损失函数中权重值越小、图像数量越少的绝缘子缺陷在损失函数中权重值越大，具体的权重设置为数据集2中训练集图像总数和训练集中相应缺陷类别图像数量的比值乘以0.1。
其中，
表示总损失函数值，
表示绝缘子缺陷类别数且其值为7，
表示第
类绝缘子缺陷的权重且其值具体如公式(5)所示，
表示第
种绝缘子缺陷的损失函数值且具体如公式(6)所示。
其中，
表示数据集2的训练集中图像总数量，
表示数据集2的训练集中第
类绝缘子缺陷图像的数量，最后比值乘以0.1是为了加快总损失函数的收敛速度。
其中，
表示输入到最后一层全连接层的向量，
表示最后一层全连接层权重矩阵
的第
个分量，ψ（θi）表示向量
和向量
的夹角，
表示最后一层全连接层权重矩阵
的第
个分量，
表示向量
和向量
的夹角且
。
其中，
是一个大于1的整数并被设置为3且当
值越大越有利于分类，
是一个单调递减函数且
应该等于
，ψ（θ）表示求解向量W与向量x点乘时的角度约束项，θ表示向量W与向量x之间的夹角。
本实施例的其他部分与上述实施例1-5任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的绝缘子缺陷检测方法，其特征在于，包括以下步骤：
步骤1：采集绝缘子图像，制作绝缘子检测数据集和绝缘子缺陷分类数据集；
步骤2：在YOLOv5中搭建绝缘子检测模型，将采集的绝缘子图像输入至绝缘子检测模型中，输出绝缘子位置边框；
步骤3：将得到的绝缘子位置边框进行剪切得到相应的绝缘子区域图像；
步骤4：建立拥有卷积层、下采样层、特征融合层、全连接层、Softmax层的绝缘子缺陷分类模型，将得到的绝缘子区域图像输入至绝缘子缺陷分类模型中得到绝缘子缺陷类别；
步骤5：利用绝缘子检测数据集对绝缘子检测模型进行训练，得到检测3种类型绝缘子的绝缘子检测模型；利用绝缘子缺陷分类数据集对绝缘子缺陷分类模型进行训练，得到检测7种绝缘子缺陷类别的绝缘子缺陷分类模型。
2.如权利要求1所述的一种基于深度学习的绝缘子缺陷检测方法，其特征在于，所述步骤4的具体操作为：建立拥有13层卷积层、5层下采样层、4层特征融合层、3层全连接层、1层Softmax层的绝缘子缺陷分类模型，进行4次特征融合，将下采样层产生的特征图和卷积层产生的特征相融合，四次融合完成后输出至最后一层下采样层，最后一层下采样层输出至3层全连接层，最后输出至Softmax层后得到绝缘子缺陷类别。
3.如权利要求2所述的一种基于深度学习的绝缘子缺陷检测方法，其特征在于，在每一层特征融合层后均增加一层卷积核为3×3、步长和填充值均为1的卷积层。
4.如权利要求1所述的一种基于深度学习的绝缘子缺陷检测方法，其特征在于，所述步骤1的具体步骤为：
步骤1.1：人工筛选出包含绝缘子且存在缺陷的绝缘子图像；
步骤1.2：用图像工具LabelImg对筛选出的图像进行绝缘子位置边框和绝缘子缺陷类别的标注，生成一个名称与图像名称相同的xml文件；
步骤1.3：根据xml文件在相应的图像中剪切出绝缘子区域图像；
步骤1.4：根据生成的xml文件，制作绝缘子检测数据集；根据剪切出的绝缘子区域图像制作出绝缘子缺陷分类数据集。
5.如权利要求4所述的一种基于深度学习的绝缘子缺陷检测方法，其特征在于，所述步骤1.4中制作绝缘子检测数据集的具体操作为：首先，利用python程序将所有xml文件转换成与xml文件相对应且文件名相同的txt文件；然后，将原绝缘子图像按照8:1:1的比例分成三部分，其中数量较多的部分图像放在文件夹images/train中用于绝缘子检测模型训练，数量相对较少的两部分图像分别放在文件夹images/val中用于验证和文件夹images/test中用于测试；最后，将txt文件按照与图像划分的对应关系同样分成三部分，且分别放在labels文件下的子文件夹train、val和test中。
6.如权利要求4所述的一种基于深度学习的绝缘子缺陷检测方法，其特征在于，所述步骤1.4中制作绝缘子缺陷分类数据集的具体操作为：首先，将扩增后的绝缘子区域图像按照缺陷类别分别放在以绝缘子缺陷类别命名的文件夹中；然后，将每种类别缺陷的绝缘子区域图像按照8:1:1的比例分开，分别放在trainData、valData和testData文件夹且按照类别分别放在以类别命名的子文件夹中。
7.如权利5或6所述的一种基于深度学习的绝缘子缺陷检测方法，其特征在于，在制作绝缘子检测数据集和绝缘子缺陷分类数据集前，对绝缘子图像数据进行翻转、旋转。
8.如权利要求1所述的一种基于深度学习的绝缘子缺陷检测方法，其特征在于，在YOLOv5中搭建绝缘子检测模型前，对图像进行有重叠分割，具体操作为：设定分割时图像左右两部分的重叠率为图像总宽度(Width)的20%；计算左半部分图像的分割边界并按照该边界进行分割得到左半部分图像；计算右半部分图像的分割边界并按照该边界进行图像分割得到右半部分图像。
9.如权利要求8所述的一种基于深度学习的绝缘子缺陷检测方法，其特征在于，所述步骤2的具体步骤为：
步骤2.1：在YOLOv5中搭建绝缘子检测模型；
步骤2.2：将得到的分割后的左半部分图像和右半部分图像输入至搭建的绝缘子检测模型中，得到绝缘子位置边框；
步骤2.3：将分别存在于左半部分图像和右半部分图像、存在重叠且类别相同的位置边框进行合并，得到最终的绝缘子位置边框。
10.如权利要求9所述的一种基于深度学习的绝缘子缺陷检测方法，其特征在于，所述步骤3的具体步骤为：
步骤3.1：将得到的绝缘子位置边框表示为[xmin,ymin,xmax,ymax]，其中xmin和ymin是绝缘子位置边框的左上角坐标值，xmax和ymax是绝缘子位置边框的右下角坐标值；
步骤3.2：利用OpenCV读取输入图像并根据所得绝缘子位置边框坐标进行剪切得到相应的绝缘子区域图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210953695.XA CN115035108A (zh) | 2022-08-10 | 2022-08-10 | 一种基于深度学习的绝缘子缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210953695.XA CN115035108A (zh) | 2022-08-10 | 2022-08-10 | 一种基于深度学习的绝缘子缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115035108A true CN115035108A (zh) | 2022-09-09 |
Family
ID=83130836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210953695.XA Pending CN115035108A (zh) | 2022-08-10 | 2022-08-10 | 一种基于深度学习的绝缘子缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035108A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272310A (zh) * | 2022-09-26 | 2022-11-01 | 江苏智云天工科技有限公司 | 工件的缺陷检测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN113252701A (zh) * | 2021-07-02 | 2021-08-13 | 湖南大学 | 基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法 |
| CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN114092814A (zh) * | 2021-11-26 | 2022-02-25 | 江西理工大学 | 基于深度学习的无人机脐橙树影像目标识别与统计方法 |
| CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
| CN114359695A (zh) * | 2021-12-31 | 2022-04-15 | 三峡大学 | 基于不确定性估计的绝缘子破损识别方法 |
| CN114782410A (zh) * | 2022-05-24 | 2022-07-22 | 内蒙古大学 | 一种基于轻量化模型的绝缘子缺陷检测方法及其系统 |
-
2022
- 2022-08-10 CN CN202210953695.XA patent/CN115035108A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN113252701A (zh) * | 2021-07-02 | 2021-08-13 | 湖南大学 | 基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法 |
| CN114092814A (zh) * | 2021-11-26 | 2022-02-25 | 江西理工大学 | 基于深度学习的无人机脐橙树影像目标识别与统计方法 |
| CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
| CN114359695A (zh) * | 2021-12-31 | 2022-04-15 | 三峡大学 | 基于不确定性估计的绝缘子破损识别方法 |
| CN114782410A (zh) * | 2022-05-24 | 2022-07-22 | 内蒙古大学 | 一种基于轻量化模型的绝缘子缺陷检测方法及其系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杨博雄 等: "《基于高性能计算的深度学习理论与实践研究》", 31 December 2019 * |
| 王克文: "钢轨探伤高速试验平台判伤算法", 《铁道建筑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272310A (zh) * | 2022-09-26 | 2022-11-01 | 江苏智云天工科技有限公司 | 工件的缺陷检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598860B (zh) | 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法 | |
| CN114943832B (zh) | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 | |
| CN112464846B (zh) | 一种车站货运列车车厢异常故障的自动识别方法 | |
| CN112101138A (zh) | 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法 | |
| CN113205039B (zh) | 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法 | |
| CN111079645A (zh) | 一种基于AlexNet网络的绝缘子自爆识别方法 | |
| CN114170144A (zh) | 一种输电线路销钉缺陷检测方法、设备及介质 | |
| CN114973032A (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN111914720A (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
| CN115035108A (zh) | 一种基于深度学习的绝缘子缺陷检测方法 | |
| CN115409814A (zh) | 一种基于融合图像的光伏组件热斑检测方法及系统 | |
| CN115082798A (zh) | 一种基于动态感受野的输电线路销钉缺陷检测方法 | |
| CN115147591A (zh) | 一种变电设备红外图像电压致热型缺陷诊断方法及系统 | |
| CN113361520B (zh) | 基于样本偏移网络的输电线路设备缺陷检测方法 | |
| CN114372922A (zh) | 夜间环境下基于无人机巡检的绝缘子红外缺陷诊断方法 | |
| CN114387261A (zh) | 一种适用于铁路钢桥螺栓病害的自动检测方法 | |
| CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| Jain et al. | A Transfer Learning Architecture to Detect Faulty Insulators in Powerlines | |
| CN113947567B (zh) | 基于多任务学习的缺陷检测方法 | |
| CN116091976A (zh) | 一种站房缺陷识别检测方法、系统、装置及存储介质 | |
| CN116434054A (zh) | 一种基于线面结合的密集遥感地物提取方法 | |
| CN114612420A (zh) | 一种基于yolo算法的输电线路可见光缺陷识别方法 | |
| CN113837178A (zh) | 一种基于深度学习的变电站表计自动定位与统一分割方法 | |
| CN111369508A (zh) | 一种金属三维点阵结构的缺陷检测方法及系统 | |
| CN112329863B (zh) | 一种牵引变电所内隔离开关状态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220909 |
|
| RJ01 | Rejection of invention patent application after publication |