CN117113010A - 基于卷积网络轻量化的输电通道安全监测方法及系统 - Google Patents

基于卷积网络轻量化的输电通道安全监测方法及系统 Download PDF

Info

Publication number
CN117113010A
CN117113010A CN202311377296.4A CN202311377296A CN117113010A CN 117113010 A CN117113010 A CN 117113010A CN 202311377296 A CN202311377296 A CN 202311377296A CN 117113010 A CN117113010 A CN 117113010A
Authority
CN
China
Prior art keywords
network
layer
feature
safety monitoring
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311377296.4A
Other languages
English (en)
Other versions
CN117113010B (zh
Inventor
王坤峰
张君驰
朱文捷
蒋莹莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202311377296.4A priority Critical patent/CN117113010B/zh
Publication of CN117113010A publication Critical patent/CN117113010A/zh
Application granted granted Critical
Publication of CN117113010B publication Critical patent/CN117113010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于输电通道安全监测领域，具体涉及了一种基于卷积网络轻量化的输电通道安全监测方法及系统，旨在解决卷积神经网络结构复杂、计算量大、推理速度慢，难以部署在输电通道安全监测中算力低的边缘设备的问题。本发明包括：获取输电通道安全监测数据集，并进行数据预处理及标注；提取任一数据对应的特征，并构建PG卷积层和PGBlock网络，基于PGBlock网络构建PGC3网络；以PG卷积层替换YOLOv5s网络的卷积层，以PGC3网络替换YOLOv5s网络的C3结构，并进行网络迭代训练；将训练后的网络部署到边缘设备，并实时进行输电通道的安全监测。本发明具有较快的推理速度，降低模型大小、减少计算量，保持甚至提升精度，可以部署在算力低的边缘设备，进行输电通道的安全监测。

Description

基于卷积网络轻量化的输电通道安全监测方法及系统
技术领域
本发明属于输电通道安全监测领域，具体涉及了一种基于卷积网络轻量化的输电通道安全监测方法及系统。
背景技术
现代社会日益依赖电力，输电通道安全监测成为一个重要的课题。由于室外环境地形复杂，天气恶劣，输电线路部件很容易被损坏。一个故障部件或多个损坏部件的组合可能导致停电，一旦某一地区的电力线路受损，可能会导致超区域停电，甚至可能导致森林地区火灾等灾难性事故，这将造成巨大的经济和社会损失。输电通道安全监测的目的是检查电力线部件的状况，然后使用检查结果作为指导，以确定哪些组件应该被维护或更换。快速、准确的检查可以大大提高维修决策的效率，进一步降低停电的可能性。输电线路巡检面临着几个具有挑战性的问题，如广泛的区域、多样的组件和复杂的自然环境。传统的巡检方法，包括人工巡检和直升机辅助巡检，成本高、风险高、效率低且操作时间冗长。自2012年卷积神经网络取得了突破，计算机视觉领域的应用研究在此方向取得了更准确、更快速的成果。
卷积神经网络最初是受到视觉系统的神经机制启发、针对二维形状的识别设计的一种生物物理模型。2012年，卷积神经网络得到了历史性的突破，Krizhevsky等人采用修正线性单元作为激活函数提出了著名的AlexNet，在大规模数据分类评测中取得了优异成绩，成为深度学习发展史上的重要拐点。随后各种基于CNN的目标检测算法，包括基于候选区域的R-CNN改进算法Fast R-CNN、Faster R-CNN、Mask R-CNN，以及基于回归方法的YOLO系列与SSD系列算法先后被提出，显著提高了目标检测算法在检测精度和实时性方面的性能。
虽然R-CNN、YOLO、SSD系列算法在目标检测性能方面效果优异，但其普遍具有较高的计算复杂性和较大的模型体积，无法充分满足输电通道安全监测中计算能力、存储空间、功耗等资源受限场合的应用需求。随着小型且高效的卷积神经网络模型越来越受到关注，模型轻量化研究取得重大进展。轻量化方法通常可以被分为两类，压缩预训练网络和网络结构优化再设计：第一类大多基于传统的压缩技术，如结合各领域数据进行网络剪枝、模型量化、低秩估计、模型蒸馏；第二类具有代表性的模型有MobileNet系列、ShuffleNet系列和FasterNet等。
神经网络模型参数量大推理速度缓慢，需要对网络进行轻量化，但是现有技术进行神经网络轻量化仍然存在以下问题：利用逐通道卷积或组卷积（如MobileNet系列、ShuffleNet系列）来提取空间特征减少FLOPs（浮点运算量）的过程中，算子经常会受到内存访问增加的副作用的影响，推理速度得不到提升；而利用部分卷积（Pconv，如FasterNet）来提取空间特征提升速度的过程中，精度下降较多难以应用。
发明内容
为了解决现有技术中的上述问题，即卷积神经网络结构复杂、计算量大、推理速度慢，难以部署在输电通道安全监测中算力低的边缘设备的问题，本发明提供了一种基于卷积网络轻量化的输电通道安全监测方法，所述输电通道安全监测方法包括：
获取输电通道安全监测数据集，并进行数据集中每一个数据的预处理及真值标签标注，获得带标签训练数据集；
提取所述带标签训练数据集中任一个训练数据对应的特征，并基于所述特征构建PG卷积层和PGBlock网络；
将所述任一个训练数据对应的特征进行降维和残差连接，结合所述PGBlock网络构建PGC3网络；
以所述PG卷积层替换YOLOv5s网络的卷积层，以所述PGC3网络替换YOLOv5s网络的C3结构，获得初始安全监测网络；
基于所述带标签训练数据集迭代进行所述初始安全监测网络的训练，并在迭代训练中优化PGBlock网络的PGBlock-A模块和PGBlock-C模块，获得优化后的轻量化安全监测网络；
将所述优化后的轻量化安全监测网络部署到边缘设备，并实时进行输电通道的安全监测。
在一些优选的实施例中，所述进行数据集中每一个数据的预处理及真值标签标注，包括：
进行所述数据集的筛选，保留所述数据集中包含隐患目标的数据，并去除其中质量不佳的数据；所述质量不佳的数据包括模糊度超出阈值数据、带水印数据、目标不完整数据；
将筛选后的数据调整为设定大小的尺寸；
对调整尺寸后的每一个训练数据进行真值标签标注，获得带标签训练数据集。
在一些优选的实施例中，所述PG卷积层包括顺次连接的1个输入层、1个通道分离层、1个卷积层、1个深度卷积层和1个Concat拼接层，所述通道分离层、所述卷积层分别连接至所述Concat拼接层，所述PG卷积层对所述任一个训练数据对应的特征的处理过程为：
通过所述通道分离层基于设定的分离率进行所述输入层获取的所述任一个训练数据对应的特征的划分；
根据分离率选取划分后的特征的一部分，作为第一特征，通过PG-1分支，其余部分作为第二特征，通过PG-0分支；
通过所述卷积层和所述深度卷积层进行PG-1分支的所述第一特征的空间特征提取，并通过所述Concat拼接层与PG-0分支的所述第二特征进行拼接，获得第一组合特征。
在一些优选的实施例中，基于设定的分离率通过通道分离进行所述任一个训练数据对应的特征的划分，其方法为：
其中，为所述任一个训练数据对应的特征的通道数，/>为设定的分离率，/>为需进行CS卷积的通道数，/>为不进行CS卷积的通道数。
在一些优选的实施例中，所述设定的分离率为2或4。
在一些优选的实施例中，所述PGBlock网络包括PGBlock-A模块和PGBlock-C模块；
所述PGBlock-A模块包括顺次连接的1个输入层、1个PG卷积层和2个卷积核为1×1的卷积层，输入层直接映射后与最后的卷积核为1×1的卷积层的输出相加，所述PGBlock-A模块对所述任一个训练数据对应的特征的处理过程为：
将所述任一个训练数据对应的特征依次通过1个输入层、1个PG卷积层和2个卷积核为1×1的卷积层，获得第三特征；
将所述任一个训练数据对应的特征通过所述输入层直接映射，获得第四特征，并进行所述第三特征和所述第四特征的相加，获得第二组合特征；
所述PGBlock-C模块，包括顺次连接的1个输入层、1个通道分离层、1个PG卷积层、1个卷积核为1×1的卷积层、1个Concat拼接层和1个通道混洗层，所述通道分离层连接至所述Concat拼接层，所述PGBlock-C模块对所述任一个训练数据对应的特征的处理过程为：
将所述任一个训练数据对应的特征依次通过1个输入层、1个通道分离层，并根据分离率选取划分后的特征的一部分，作为第五特征，其余部分作为第六特征；
将所述第五特征依次通过1个PG卷积层、1个卷积核为1×1的卷积层，获得第七特征，并通过所述Concat拼接层将所述第六特征和所述第七特征拼接，获得第八特征；
进行所述第八特征的通道混洗，获得第三组合特征。
在一些优选的实施例中，所述PGC3网络包括顺次连接的1个输入层、1个卷积核为1×1的卷积层、1个PGBlock网络、1个卷积核为1×1的卷积层、1个Concat拼接层和1个卷积核为1×1的卷积层，所述输入层后的所述卷积核为1×1的卷积层连接至所述Concat拼接层，所述PGC3网络对所述任一个训练数据对应的特征的处理过程为：
将所述任一个训练数据对应的特征通过1个输入层和1个卷积核为1×1的卷积层，获得维度降至1/2的第九特征；
将所述第九特征依次通过1个PGBlock网络和1个卷积核为1×1的卷积层，获得第十特征；
将所述第九特征和所述第十特征通过所述Concat拼接层拼接，并输入1个卷积核为1×1的卷积层，获得第四组合特征。
在一些优选的实施例中，以所述PGC3网络替换YOLOv5s网络的C3结构，包括：
以所述PGC3网络替换YOLOv5s网络中backbone部分与特征融合neck部分的C3结构。
在一些优选的实施例中，基于YOLOv5s网络的类型相应进行对应的backbone部分与特征融合neck部分的C3结构的替换：
当所述YOLOv5s网络为YOLOv5s-PG_2+2时，被替换的网络层为第6层、第8层、第17层和第20层；
当所述YOLOv5s网络为YOLOv5s-PG_3+3时，被替换的网络层为第4层、第6层、第8层、第17层、第20层和第23层。
本发明的另一方面，提出了一种基于卷积网络轻量化的输电通道安全监测系统，所述输电通道安全监测系统包括：
训练数据集获取模块，用于获取输电通道安全监测数据集，并进行数据集中每一个数据的预处理及真值标签标注，获得带标签训练数据集；
PG卷积层和PGBlock网络构建模块，用于提取所述带标签训练数据集中任一个训练数据对应的特征，并基于所述特征构建PG卷积层和PGBlock网络；
PGC3网络构建模块，用于将所述任一个训练数据对应的特征进行降维和残差连接，结合所述PGBlock网络构建PGC3网络；
初始安全监测网络构建模块，配置为以所述PG卷积层替换YOLOv5s网络的卷积层，以所述PGC3网络替换YOLOv5s网络的C3结构，获得初始安全监测网络；
优化迭代模块，配置为基于所述带标签训练数据集迭代进行所述初始安全监测网络的训练，并在迭代训练中优化PGBlock网络的PGBlock-A模块和PGBlock-C模块，获得优化后的轻量化安全监测网络；
安全监测模块，配置为将所述优化后的轻量化安全监测网络部署到边缘设备，并实时进行输电通道的安全监测。
本发明的有益效果：
（1）本发明基于卷积网络轻量化的输电通道安全监测方法，模型计算量少，大大提高了模型的推理速度，模型结构小，可以部署在输电通道安全监测中算力低的边缘设备上。
（2）本发明基于卷积网络轻量化的输电通道安全监测方法，基于通道冗余性，减少了轻量化引起的检测精度下降，在输电通道隐患数据集中提升了检测精度。
（3）本发明基于卷积网络轻量化的输电通道安全监测方法，采用PG卷积替代常规卷积实现模型轻量化，在其他常规卷积层构成的模型中也能灵活部署，以获得模型轻量化的效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于卷积网络轻量化的输电通道安全监测方法的流程示意图；
图2是本发明基于卷积网络轻量化的输电通道安全监测方法的常规卷积与PG卷积结构对比示意图；
图3是本发明基于卷积网络轻量化的输电通道安全监测方法的分离率取2时的流程示意图；
图4是本发明基于卷积网络轻量化的输电通道安全监测方法的YOLOv5中标准瓶颈和轻量化瓶颈结构PGBlock-A、PGBlock-C的结构对比示意图；
图5是本发明基于卷积网络轻量化的输电通道安全监测方法的PGC3网络与YOLOv5中的C3结构对比示意图；
图6和图7是本发明基于卷积网络轻量化的输电通道安全监测方法一种实施例的效果对比示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于卷积网络轻量化的输电通道安全监测方法，所述输电通道安全监测方法包括：
获取输电通道安全监测数据集，并进行数据集中每一个数据的预处理及真值标签标注，获得带标签训练数据集；
提取所述带标签训练数据集中任一个训练数据对应的特征，并基于所述特征构建PG卷积层和PGBlock网络；
将所述任一个训练数据对应的特征进行降维和残差连接，结合所述PGBlock网络构建PGC3网络；
以所述PG卷积层替换YOLOv5s网络的卷积层，以所述PGC3网络替换YOLOv5s网络的C3结构，获得初始安全监测网络；
基于所述带标签训练数据集迭代进行所述初始安全监测网络的训练，并在迭代训练中优化PGBlock网络的PGBlock-A模块和PGBlock-C模块，获得优化后的轻量化安全监测网络；
将所述优化后的轻量化安全监测网络部署到边缘设备，并实时进行输电通道的安全监测。
本发明优选的实施例选取深层卷积神经网络中的YOLOv5获取待处理数据的特征表示，使用网上公开的数据集VOC2007以及输电通道隐患数据集进行测试，测试平台为Ubuntu18.04与Jetson TX2,其中，Ubuntu18.04的GPU为RTX A4000，显存为16GB。本发明的模型YOLOv5-PG遵循YOLOv5s-6.0模型的结构并仅对其进行删减和替换的操作。YOLOv5主要由C3模块构成，C3模块如图2（a）所示。为了减少计算量并提升推理速度，将YOLOv5中多个C3替换为PGC3网络，PGC3网络与YOLOv5中的C3结构对比示意图如图5所示。
为了更清晰地对本发明基于卷积网络轻量化的输电通道安全监测方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于卷积网络轻量化的输电通道安全监测方法，包括步骤S10-步骤S60，各步骤详细描述如下：
步骤S10，获取输电通道安全监测数据集，并进行数据集中每一个数据的预处理及真值标签标注，获得带标签训练数据集。
进行数据集中每一个数据的预处理及真值标签标注，包括：
进行所述数据集的筛选，保留所述数据集中包含隐患目标的数据，并去除其中质量不佳的数据；所述质量不佳的数据包括模糊度超出阈值数据、带水印数据、目标不完整数据；
将筛选后的数据调整为设定大小的尺寸；
对调整尺寸后的每一个训练数据进行真值标签标注，获得带标签训练数据集。
本发明一个实施例种，输电通道安全监测数据集（即输电通道隐患数据集）由300*200至1500*1500大小不等的彩色图像构成，训练集和测试集1分别包含2374张图片和217张图片, 测试集2包含637张640*640大小的图片，目标分为五种类别：吊车、塔吊、施工机械、导线异物、山火和烟雾，预处理未进行任何数据增强，本发明基于所有训练集图片进行训练，用测试集1图片在RTX A4000上测试精度与速度，用测试集2图片在Jetson TX2上测试速度。
在其他实施例中，也可以采用其他数据作为模型的训练数据集和测试集，例如，输电通道安全监测的传感器数据集，本发明在此仅以图像集作为实施例进行说明，其他类型的数据集不再一一赘述。
步骤S20，提取所述带标签训练数据集中任一个训练数据对应的特征，并基于所述特征构建PG卷积层和PGBlock网络。
如图2所示，为本发明基于卷积网络轻量化的输电通道安全监测方法的常规卷积与PG卷积结构对比示意图，图2中的（a）为常规卷积，包括顺次连接的1个输入层、1个通道分离层、1个卷积层和1个Concat拼接层，通道分离层连接至Concat拼接层，图2中的（b）为本发明的PG卷积，包括顺次连接的1个输入层、1个通道分离层、1个卷积层、1个深度卷积层和1个Concat拼接层，通道分离层、卷积层分别连接至Concat拼接层。
PG卷积层对所述任一个训练数据对应的特征的处理过程为：
通过所述通道分离层基于设定的分离率进行所述输入层获取的所述任一个训练数据对应的特征的划分。
基于设定的分离率通过通道分离进行所述任一个训练数据对应的特征的划分，其方法为：
其中，为所述任一个训练数据对应的特征的通道数，/>为设定的分离率，/>为需进行CS卷积的通道数，/>为不进行CS卷积的通道数。
根据分离率选取划分后的特征的一部分，作为第一特征，通过PG-1分支，其余部分作为第二特征，通过PG-0分支。
通过所述卷积层和所述深度卷积层进行PG-1分支的所述第一特征的空间特征提取，并通过所述Concat拼接层与PG-0分支的所述第二特征进行拼接，获得第一组合特征。
进行第一特征的空间特征提取，包括：
步骤S21，将第一特征通过卷积核为3×3的常规卷积：
其中，为3×3的常规卷积的输出向量，/>为3×3的常规卷积的输入向量（即通道为/>的第一特征），/>代表卷积核为3×3的常规卷积，/>为激活函数SiLU。
步骤S22，将通过逐通道卷积：
其中，为逐通道卷积的输出向量，/>代表逐通道卷积。
步骤S23，将和/>拼接：
其中，为拼接后的输出向量。
第二特征（通道数为/>的向量）不变，直接映射为/>，/>，将/>与/>使用Concat拼接，获得第一组合特征，并进行通道混洗操作：
设定的分离率为2或4，即按照通道对特征进行二等分或四等分，在一些优选的实施例中，分离率通常取2。如图3所示，为本发明基于卷积网络轻量化的输电通道安全监测方法的分离率取2时的流程示意图，将输入的大小的输入向量（特征）按照分率2二等分为/>和/>大小的2个向量，/>的向量经Conv卷积获得/>大小的向量1，再经过DWConv卷积获得/>大小的向量2，直接映射后与两个/>大小的向量1、向量2拼接，并进行通道拼接后的向量的通道混洗，获得与输入向量大小一样的/>大小的输出向量（即上述公式中的输出向量/>）。
步骤S30，将所述任一个训练数据对应的特征进行降维和残差连接，结合所述PGBlock网络构建PGC3网络。
如图4所示，为本发明基于卷积网络轻量化的输电通道安全监测方法的YOLOv5中标准瓶颈和轻量化瓶颈结构PGBlock-A、PGBlock-C的结构对比示意图。图4中的（a）为YOLOv5中标准瓶颈Bottleneck，包括顺次连接的1个输入层、1个卷积核为1×1的卷积层和1个卷积核为3×3的卷积层，输入层直接映射后与最后的卷积核为3×3的卷积层的输出相加。PGBlock网络包括PGBlock-A模块和PGBlock-C模块：图4中的（b）为PGBlock-A模块，包括顺次连接的1个输入层、1个PG卷积层和2个卷积核为1×1的卷积层；图4中的（c）为PGBlock-C模块，包括顺次连接的1个输入层、1个通道分离层、1个PG卷积层、1个卷积核为1×1的卷积层、1个Concat拼接层和1个通道混洗层，通道分离层连接至Concat拼接层。
PGBlock-A模块对所述任一个训练数据对应的特征的处理过程为：
步骤S311，将任一个训练数据对应的特征通过1个输入层，记作，不进行通道分离，分别通过直接映射和残差连接部分：
其中，代表PGBlock的输入向量（即任一个训练数据对应的特征），/>代表残差部分的输入向量，/>代表直接映射部分的输入向量。
步骤S312，将残差部分的输入向量依次通过1个PG卷积层和2个卷积核为1×1的卷积层，获得第三特征：
其中，代表PG卷积操作，/>和/>分别代表卷积核为1×1的卷积操作，为输出向量（即第三特征）。
步骤S313，将残差部分输出向量和直接映射部分输出向量相加，获得第二组合特征：
其中，为PGBlock-A模块的输出向量。
PGBlock-C模块对所述任一个训练数据对应的特征的处理过程为：
步骤S321，将任一个训练数据对应的特征依次通过1个输入层、1个通道分离层，并根据分离率选取划分后的特征的一部分，作为第五特征，其余部分作为第六特征，本发明一个实施例中，将输入向量分为直接映射部分与残差连接部分，每部分占原输入向量通道数量的一半（即分离率为2）：
其中，代表通道分离操作，/>是残差部分的通道，/>是直接映射部分的通道，/>代表残差连接部分（即第五特征），/>代表直接映射部分（即第六特征）。
步骤S322，将残差连接部分（即第五特征）依次通过1个PG卷积层（此处移除PG卷积层的通道混洗）、1个卷积核为1×1的卷积层，获得第七特征：
其中，为残差部分的输出向量（即第七特征），/>为卷积核为1×1的卷积操作，/>为通道混洗去除后的PG卷积操作。
步骤S323，通过Concat拼接层将第六特征和第七特征拼接，获得第八特征，并进行第八特征的通道混洗，获得第三组合特征：
对比图4中的（a）和（b），以本发明的PGBlock-A模块更换YOLOv5标准瓶颈结构的第一个3*3常规卷积为1*1常规卷积，并在前面添加PGBlock，使整体参数量下降，提高推理速度。
对比图4中的（b）和（c），本发明的PGBlock-C模块对比PGBlock-A模块，将相加操作更换为拼接，虽然拼接操作比相加操作计算量更高，但在实际推理时，相加操作更频繁的访问内存，比拼接操作的推理速度更慢。同时，将PGConv中的通道混洗操作移动到PGBlock-C的尾部，以获得整体输出向量的通道联系。
如图5所示，为本发明基于卷积网络轻量化的输电通道安全监测方法的PG3网络结构示意图，PGC3网络包括顺次连接的1个输入层、1个卷积核为1×1的卷积层、1个PGBlock网络、1个卷积核为1×1的卷积层、1个Concat拼接层和1个卷积核为1×1的卷积层，输入层后的卷积核为1×1的卷积层连接至Concat拼接层。
PGC3网络对所述任一个训练数据对应的特征的处理过程为：
步骤S331，将任一个训练数据对应的特征通过1个输入层和1个卷积核为1×1的卷积层，获得维度降至1/2的第九特征。
步骤S332，将第九特征分为直接映射部分与残差连接部分：
其中，是残差结构的输出向量，/>是当前层的输出向量，/>代表要学习的残差映射即PGBlock。
步骤S333，将残差部分通过1个PGBlock网络：
其中，代表PGBlock中要学习的残差映射。
依次通过1个PGBlock网络和1个卷积核为1×1的卷积层，获得第十特征。
步骤S334，将第九特征和第十特征通过Concat拼接层拼接，并输入1个卷积核为1×1的卷积层，获得第四组合特征：
其中，是PGC3网络的输出向量，/>是卷积核为1*1的卷积层。
步骤S40，以所述PG卷积层替换YOLOv5s网络的卷积层，以所述PGC3网络替换YOLOv5s网络的C3结构，获得初始安全监测网络。
本发明的一种实施例选取深层卷积神经网络中的YOLOv5网络作为基本模型，通过将YOLOv5中的C3结构更换为PGC3结构对YOLOv5进行轻量化，搭建YOLOv5-PG网络。
基于YOLOv5s网络的类型相应进行对应的backbone部分与特征融合neck部分的C3结构的替换：
本发明优选的实施例中，当YOLOv5s网络为YOLOv5s-PG_2+2时，将网络结构中backbone部分第6、8层，neck部分第17、20层的C3结构替换为PGC3结构。该实施例模型具有大小变小、速度有一定提升，精度下降很少的特点，在输电通道隐患数据集上精度得到一定提升。
本发明优选的实施例中，当YOLOv5s网络为YOLOv5s-PG_3+3时，将网络结构中backbone部分第4、6、8层，neck部分第17、20、23层的C3结构替换为PGC3结构。该实施例模型具有大小变小较多、速度提升较多、精度下降较少的特点。
表1为YOLOv5-PG的优选实施例与YOLOv5s及其他轻量化YOLOv5模型在输电通道隐患数据集上的效果对比：
表1
其中MobileNetV3-v5s、ShuffleNetV2-v5s、FasterNet-v5s是使用MobileNetV3、ShuffleNetV2、FasterNet网络分别更换YOLOv5s的骨干部分获得的轻量化YOLOv5结构。YOLOv5s-PGA和YOLOv5s-PGC分别代表使用PGBlock-A和PGBlock-C搭建的PGC3结构修改YOLOv5s网络得到的模型。
结合图6可以看出，YOLOv5-PG在保持精度甚至提高精度的情况下，降低了模型复杂度，缩小模型体积。
表2为YOLOv5-PG的优选实施例与YOLOv5s及其他轻量化YOLOv5模型在输电通道隐患数据集上的时间对比：
表2
虽然FasterNet-v5s的速度比YOLOv5-PG的速度更快，但其精度下降较为严重。结合图7可以看出YOLOv5-PG提高了模型推理速度，降低了推理延迟。
表3为YOLOv5-PG的优选实施例与YOLOv5s及其他轻量化YOLOv5模型在通用数据集VOC2007上的效果与时间对比：
表3
可以看出，YOLOv5-PG在更好地保持精度的情况下，更多地降低了模型复杂度、缩小模型体积，并较多地提高了模型速度。
步骤S50，基于所述带标签训练数据集迭代进行所述初始安全监测网络的训练，并在迭代训练中优化PGBlock网络的PGBlock-A模块和PGBlock-C模块，获得优化后的轻量化安全监测网络；
步骤S60，将所述优化后的轻量化安全监测网络部署到边缘设备，并实时进行输电通道的安全监测。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于卷积网络轻量化的输电通道安全监测系统，所述输电通道安全监测系统包括：
训练数据集获取模块，用于获取输电通道安全监测数据集，并进行数据集中每一个数据的预处理及真值标签标注，获得带标签训练数据集；
PG卷积层和PGBlock网络构建模块，用于提取所述带标签训练数据集中任一个训练数据对应的特征，并基于所述特征构建PG卷积层和PGBlock网络；
PGC3网络构建模块，用于将所述任一个训练数据对应的特征进行降维和残差连接，结合所述PGBlock网络构建PGC3网络；
初始安全监测网络构建模块，配置为以所述PG卷积层替换YOLOv5s网络的卷积层，以所述PGC3网络替换YOLOv5s网络的C3结构，获得初始安全监测网络；
优化迭代模块，配置为基于所述带标签训练数据集迭代进行所述初始安全监测网络的训练，并在迭代训练中优化PGBlock网络的PGBlock-A模块和PGBlock-C模块，获得优化后的轻量化安全监测网络；
安全监测模块，配置为将所述优化后的轻量化安全监测网络部署到边缘设备，并实时进行输电通道的安全监测。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于卷积网络轻量化的输电通道安全监测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；
以及与至少一个所述处理器通信连接的存储器；
其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于卷积网络轻量化的输电通道安全监测方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于卷积网络轻量化的输电通道安全监测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于卷积网络轻量化的输电通道安全监测方法，其特征在于，所述输电通道安全监测方法包括：
获取输电通道安全监测数据集，并进行数据集中每一个数据的预处理及真值标签标注，获得带标签训练数据集；
提取所述带标签训练数据集中任一个训练数据对应的特征，并基于所述特征构建PG卷积层和PGBlock网络；
将所述任一个训练数据对应的特征进行降维和残差连接，结合所述PGBlock网络构建PGC3网络；
以所述PG卷积层替换YOLOv5s网络的卷积层，以所述PGC3网络替换YOLOv5s网络的C3结构，获得初始安全监测网络；
基于所述带标签训练数据集迭代进行所述初始安全监测网络的训练，并在迭代训练中优化PGBlock网络的PGBlock-A模块和PGBlock-C模块，获得优化后的轻量化安全监测网络；
将所述优化后的轻量化安全监测网络部署到边缘设备，并实时进行输电通道的安全监测。
2.根据权利要求1所述的基于卷积网络轻量化的输电通道安全监测方法，其特征在于，所述进行数据集中每一个数据的预处理及真值标签标注，包括：
进行所述数据集的筛选，保留所述数据集中包含隐患目标的数据，并去除其中质量不佳的数据；所述质量不佳的数据包括模糊度超出阈值数据、带水印数据、目标不完整数据；
将筛选后的数据调整为设定大小的尺寸；
对调整尺寸后的每一个训练数据进行真值标签标注，获得带标签训练数据集。
3.根据权利要求1所述的基于卷积网络轻量化的输电通道安全监测方法，其特征在于，所述PG卷积层包括顺次连接的1个输入层、1个通道分离层、1个卷积层、1个深度卷积层和1个Concat拼接层，所述通道分离层、所述卷积层分别连接至所述Concat拼接层，所述PG卷积层对所述任一个训练数据对应的特征的处理过程为：
通过所述通道分离层基于设定的分离率进行所述输入层获取的所述任一个训练数据对应的特征的划分；
根据分离率选取划分后的特征的一部分，作为第一特征，通过PG-1分支，其余部分作为第二特征，通过PG-0分支；
通过所述卷积层和所述深度卷积层进行PG-1分支的所述第一特征的空间特征提取，并通过所述Concat拼接层与PG-0分支的所述第二特征进行拼接，获得第一组合特征。
4.根据权利要求3所述的基于卷积网络轻量化的输电通道安全监测方法，其特征在于，基于设定的分离率通过通道分离进行所述任一个训练数据对应的特征的划分，其方法为：
；
；
其中，为所述任一个训练数据对应的特征的通道数，/>为设定的分离率，/>为需进行CS卷积的通道数，/>为不进行CS卷积的通道数。
5.根据权利要求4所述的基于卷积网络轻量化的输电通道安全监测方法，其特征在于，所述设定的分离率为2或4。
6.根据权利要求3-5任一项所述的基于卷积网络轻量化的输电通道安全监测方法，其特征在于，所述PGBlock网络包括PGBlock-A模块和PGBlock-C模块；
所述PGBlock-A模块包括顺次连接的1个输入层、1个PG卷积层和2个卷积核为1×1的卷积层，输入层直接映射后与最后的卷积核为1×1的卷积层的输出相加，所述PGBlock-A模块对所述任一个训练数据对应的特征的处理过程为：
将所述任一个训练数据对应的特征依次通过1个输入层、1个PG卷积层和2个卷积核为1×1的卷积层，获得第三特征；
将所述任一个训练数据对应的特征通过所述输入层直接映射，获得第四特征，并进行所述第三特征和所述第四特征的相加，获得第二组合特征；
所述PGBlock-C模块，包括顺次连接的1个输入层、1个通道分离层、1个PG卷积层、1个卷积核为1×1的卷积层、1个Concat拼接层和1个通道混洗层，所述通道分离层连接至所述Concat拼接层，所述PGBlock-C模块对所述任一个训练数据对应的特征的处理过程为：
将所述任一个训练数据对应的特征依次通过1个输入层、1个通道分离层，并根据分离率选取划分后的特征的一部分，作为第五特征，其余部分作为第六特征；
将所述第五特征依次通过1个PG卷积层、1个卷积核为1×1的卷积层，获得第七特征，并通过所述Concat拼接层将所述第六特征和所述第七特征拼接，获得第八特征；
进行所述第八特征的通道混洗，获得第三组合特征。
7.根据权利要求1所述的基于卷积网络轻量化的输电通道安全监测方法，其特征在于，所述PGC3网络包括顺次连接的1个输入层、1个卷积核为1×1的卷积层、1个PGBlock网络、1个卷积核为1×1的卷积层、1个Concat拼接层和1个卷积核为1×1的卷积层，所述输入层后的所述卷积核为1×1的卷积层连接至所述Concat拼接层，所述PGC3网络对所述任一个训练数据对应的特征的处理过程为：
将所述任一个训练数据对应的特征通过1个输入层和1个卷积核为1×1的卷积层，获得维度降至1/2的第九特征；
将所述第九特征依次通过1个PGBlock网络和1个卷积核为1×1的卷积层，获得第十特征；
将所述第九特征和所述第十特征通过所述Concat拼接层拼接，并输入1个卷积核为1×1的卷积层，获得第四组合特征。
8.根据权利要求1所述的基于卷积网络轻量化的输电通道安全监测方法，其特征在于，以所述PGC3网络替换YOLOv5s网络的C3结构，包括：
以所述PGC3网络替换YOLOv5s网络中backbone部分与特征融合neck部分的C3结构。
9.根据权利要求8所述的基于卷积网络轻量化的输电通道安全监测方法，其特征在于，基于YOLOv5s网络的类型相应进行对应的backbone部分与特征融合neck部分的C3结构的替换：
当所述YOLOv5s网络为YOLOv5s-PG_2+2时，被替换的网络层为第6层、第8层、第17层和第20层；
当所述YOLOv5s网络为YOLOv5s-PG_3+3时，被替换的网络层为第4层、第6层、第8层、第17层、第20层和第23层。
10.一种基于卷积网络轻量化的输电通道安全监测系统，其特征在于，所述输电通道安全监测系统包括：
训练数据集获取模块，用于获取输电通道安全监测数据集，并进行数据集中每一个数据的预处理及真值标签标注，获得带标签训练数据集；
PG卷积层和PGBlock网络构建模块，用于提取所述带标签训练数据集中任一个训练数据对应的特征，并基于所述特征构建PG卷积层和PGBlock网络；
PGC3网络构建模块，用于将所述任一个训练数据对应的特征进行降维和残差连接，结合所述PGBlock网络构建PGC3网络；
初始安全监测网络构建模块，配置为以所述PG卷积层替换YOLOv5s网络的卷积层，以所述PGC3网络替换YOLOv5s网络的C3结构，获得初始安全监测网络；
优化迭代模块，配置为基于所述带标签训练数据集迭代进行所述初始安全监测网络的训练，并在迭代训练中优化PGBlock网络的PGBlock-A模块和PGBlock-C模块，获得优化后的轻量化安全监测网络；
安全监测模块，配置为将所述优化后的轻量化安全监测网络部署到边缘设备，并实时进行输电通道的安全监测。
CN202311377296.4A 2023-10-24 2023-10-24 基于卷积网络轻量化的输电通道安全监测方法及系统 Active CN117113010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311377296.4A CN117113010B (zh) 2023-10-24 2023-10-24 基于卷积网络轻量化的输电通道安全监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311377296.4A CN117113010B (zh) 2023-10-24 2023-10-24 基于卷积网络轻量化的输电通道安全监测方法及系统

Publications (2)

Publication Number Publication Date
CN117113010A true CN117113010A (zh) 2023-11-24
CN117113010B CN117113010B (zh) 2024-02-09

Family

ID=88809547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311377296.4A Active CN117113010B (zh) 2023-10-24 2023-10-24 基于卷积网络轻量化的输电通道安全监测方法及系统

Country Status (1)

Country Link
CN (1) CN117113010B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537138A (zh) * 2021-03-29 2021-10-22 泉州装备制造研究所 一种基于轻量化神经网络的交通标志识别方法
WO2021212443A1 (zh) * 2020-04-20 2021-10-28 南京邮电大学 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及系统
CN113657576A (zh) * 2021-07-21 2021-11-16 浙江大华技术股份有限公司 卷积神经网络模型轻量化方法及设备、图像识别方法
CN114648684A (zh) * 2022-03-24 2022-06-21 南京邮电大学 一种用于图像目标检测的轻量级双分支卷积神经网络及其检测方法
CN115222672A (zh) * 2022-06-27 2022-10-21 中国矿业大学 一种高性能轻量化YOLOv5-3S-4PH的绝缘子缺陷实时检测方法
CN115423995A (zh) * 2022-08-11 2022-12-02 湖北工业大学 一种轻量化幕墙裂纹目标检测方法及系统、安全预警系统
CN115641469A (zh) * 2022-10-14 2023-01-24 太原理工大学 一种基于GYOLOv5的X光危险物品检测与识别方法
CN116563800A (zh) * 2023-04-26 2023-08-08 北京交通大学 基于轻量化YOLOv3的隧道内车辆检测方法及系统
CN116580184A (zh) * 2023-05-06 2023-08-11 长春理工大学 一种基于YOLOv7的轻量化模型

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021212443A1 (zh) * 2020-04-20 2021-10-28 南京邮电大学 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及系统
CN113537138A (zh) * 2021-03-29 2021-10-22 泉州装备制造研究所 一种基于轻量化神经网络的交通标志识别方法
CN113657576A (zh) * 2021-07-21 2021-11-16 浙江大华技术股份有限公司 卷积神经网络模型轻量化方法及设备、图像识别方法
CN114648684A (zh) * 2022-03-24 2022-06-21 南京邮电大学 一种用于图像目标检测的轻量级双分支卷积神经网络及其检测方法
CN115222672A (zh) * 2022-06-27 2022-10-21 中国矿业大学 一种高性能轻量化YOLOv5-3S-4PH的绝缘子缺陷实时检测方法
CN115423995A (zh) * 2022-08-11 2022-12-02 湖北工业大学 一种轻量化幕墙裂纹目标检测方法及系统、安全预警系统
CN115641469A (zh) * 2022-10-14 2023-01-24 太原理工大学 一种基于GYOLOv5的X光危险物品检测与识别方法
CN116563800A (zh) * 2023-04-26 2023-08-08 北京交通大学 基于轻量化YOLOv3的隧道内车辆检测方法及系统
CN116580184A (zh) * 2023-05-06 2023-08-11 长春理工大学 一种基于YOLOv7的轻量化模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
綦志刚;李洋洋;李冰;原新;: "基于Tiny-YOLOv3的小目标检测仿真", 实验技术与管理, vol. 37, no. 10 *

Also Published As

Publication number Publication date
CN117113010B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN111598881B (zh) 基于变分自编码器的图像异常检测方法
Zhang et al. Identification of maize leaf diseases using improved deep convolutional neural networks
US20200364842A1 (en) Surface defect identification method and apparatus
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN108764250B (zh) 一种运用卷积神经网络提取本质图像的方法
CN114332697A (zh) 输电线路中多类目标故障检测方法、系统、设备及介质
CN111680755B (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
Cheng et al. Adversarial exposure attack on diabetic retinopathy imagery
CN111160096A (zh) 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
CN112465057B (zh) 一种基于深度卷积神经网络的目标检测识别方法
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN113052006A (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
Vaviya et al. Identification of artificially ripened fruits using machine learning
CN116862847A (zh) 一种红外图像电力设备交互式分割方法和系统
CN116543433A (zh) 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置
CN114882497A (zh) 一种基于深度学习算法实现水果分类识别的方法
CN117113010B (zh) 基于卷积网络轻量化的输电通道安全监测方法及系统
CN115861223A (zh) 一种太阳能电池板缺陷检测方法及系统
Fawwaz et al. The Optimization of CNN Algorithm Using Transfer Learning for Marine Fauna Classification
Li et al. Peach surface defect identification of complex background based on IDCNN and GWOABC-KM
CN113963249B (zh) 一种星系图像的检测方法和系统
Wang et al. Feature decoupled autoencoder: Semi-supervised learning for image dehazing
CN112132810B (zh) 基于感知逻辑和特征对比的图像显著性检测方法
Guo et al. Fruit Classification Based on Improved YOLOv7 Algorithm
CN112651978B (zh) 舌下微循环图像分割方法和装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant