CN111898422A - 一种电力设备辨识方法、系统及存储介质 - Google Patents

一种电力设备辨识方法、系统及存储介质 Download PDF

Info

Publication number
CN111898422A
CN111898422A CN202010563168.9A CN202010563168A CN111898422A CN 111898422 A CN111898422 A CN 111898422A CN 202010563168 A CN202010563168 A CN 202010563168A CN 111898422 A CN111898422 A CN 111898422A
Authority
CN
China
Prior art keywords
training
network model
neural network
candidate region
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010563168.9A
Other languages
English (en)
Inventor
罗旺
张小明
罗汉武
李文震
樊强
彭启伟
席丁鼎
张智成
祝永坤
陈骏
陈师宽
吴钰芃
张佩
夏源
郝运河
徐华荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
NARI Group Corp
Nari Information and Communication Technology Co
East Inner Mongolia Electric Power Co Ltd
Electric Power Research Institute of State Grid Eastern Inner Mongolia Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
NARI Group Corp
Nari Information and Communication Technology Co
East Inner Mongolia Electric Power Co Ltd
Electric Power Research Institute of State Grid Eastern Inner Mongolia Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, NARI Group Corp, Nari Information and Communication Technology Co, East Inner Mongolia Electric Power Co Ltd, Electric Power Research Institute of State Grid Eastern Inner Mongolia Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010563168.9A priority Critical patent/CN111898422A/zh
Publication of CN111898422A publication Critical patent/CN111898422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种电力设备辨识方法,包括:构建电力设备数据库;通过公共数据库对Faster RCNN网络模型进行预训练;通过电力设备数据库对预训后的Faster RCNN网络模型继续训练得到训练完成的Faster RCNN网络模型;通过训练完成的Faster RCNN网络模型对设备图片进行辨识,本发明构建电力设备数据库以及通过对Faster RCNN网络模型进行预训练和再训练,在训练样本十分有限的情况下完成用于辨识电力设备的Faster RCNN网络模型的训练,有效的防止了过拟合现象,提高了电力设备的辨识精度,从而可以及时发现电力场景中的异常状况,间接的减少了安全隐患。

Description

一种电力设备辨识方法、系统及存储介质
技术领域
本发明属于电力设备检测技术领域,尤其涉及一种电力设备辨识方法。
背景技术
近年来,监控电子设备广泛地应用于各个场合,大量的监控视频和图像亟待被有效地处理。在电网巡检的过程中,一般采用无人机、机器人等采集设备对多个电力场景进行实时监控,为了能够对不同典型设备及事件进行监控和处理,需要对采集的视频图像进行对象识别并准确定位。传统的处理方法是采用人工进行标注,但人工处理视频图像的方法效率低、准确度难以保证,所以迫切需要一种基于深度神经网络的目标检测技术,能够高效地对实时或历史视频图像中的对象进行准确定位并识别。
在机器学习领域,有诸多行之有效的目标检测的方法,例如基于Boosting框架或基于SVM的目标检测方法。这些方法通过对背景建模实现对前景目标检测和跟踪,但是实时性和精度难以达到实际应用的要求。而深度学习作为机器学习领域一个新的分支,在许多计算机视觉的任务中表现出了良好的性能,并被广泛地应用于图像分类、目标检测和分割任务之中。深度学习通过建立一种卷积神经网络来对数据进行学习和分析,从而得到能够应用于实际的网络模型,因此,卷积神经网络是深度学习的核心。在我们的工作中,我们需要对图像中的多个目标进行分别检测并识别,即需要同时完成检测与分类任务,我们使用Faster RCNN网络来训练一个目标检测分类模型,完成对电力场景中设备的识别与异常情况的检测。但由于卷积神经网络中的参数极为复杂,往往需要大规模的训练数据对网络进行训练,如果用于训练模型的数据只是少量的标注图片,可能会出现严重的过拟合现象。
发明内容
针对现有技术存在的问题,本发明提供了一种电力设备辨识方法、系统及存储介质,能够在标注训练样本有限的情况下对网络进行训练,提高了辨识度。
实现本发明的技术方案为:
第一方面,一种电力设备辨识方法,包括:
构建电力设备数据库;
通过公共数据库对快速区域卷积神经网络模型进行预训练;
通过电力设备数据库对预训后的快速区域卷积神经网络模型继续训练得到训练完成的快速区域卷积神经网络模型;
通过训练完成的快速区域卷积神经网络模型对设备图片进行辨识。
结合第一方面,进一步的,所述对快速区域卷积神经网络模型进行预训练以及对预训后的快速区域卷积神经网络模型继续训练的方法为:
通过公式(1)对快速区域卷积神经网络模型以及预训练以及对预训后的快速区域卷积神经网络模型进行训练;
Figure BDA0002546869030000021
其中,L为损失函数,Lclass为分类损失函数,Lreg为回归损失函数,smoothL1为鲁棒损失函数,Nreg为候选区域位置数量,Nclass为mini-batch的大小,pi表示第i个候选区域预测结果为前景的概率,
Figure BDA0002546869030000022
表示该候选区域为前景的实际概率,当第i个候选区域与真值间的IoU>0.7时,认为是该候选区域是前景,pi=1;反之当IoU<0.3时,认为是该候选区域是背景,pi=0;0.3<IoU<0.7的候选区域则不参与训练;ti表示预测的第i个候选区域框的位置信息,
Figure BDA0002546869030000023
表示第i个候选区域框的实际位置信息,x为
Figure BDA0002546869030000024
的差值。
结合第一方面,进一步的,所述构建电力设备数据库包括:
采集用于训练的电力场景图片;
对电力场景图片进行人工标注;
从标注后的电力场景图片中随机选择一部分作为训练样本,剩下的作为测试样本建立数据库。
结合第一方面,进一步的,所述电力场景图片包括塔杆、绝缘子、输电线路、隔离棒、防震锤五类。
结合第一方面,进一步的,所述对电力场景图片进行人工标注包括:通过人工将每幅电力场景图片中的电力设备通过画框框出,并对该框出的电力设备类别进行标注。
第二方面,提供了一种电力设备辨识系统,包括:
电力设备数据库模块:用于构建电力设备数据库;
预训练模块:用于通过公共数据库对快速区域卷积神经网络模型进行预训练;
继续训练模块:用于通过电力设备数据库对预训后的快速区域卷积神经网络模型继续训练得到训练完成的快速区域卷积神经网络模型;
辨识模块:通过训练完成的快速区域卷积神经网络模型对设备图片进行辨识。
结合第二方面,进一步的,所述预训练模块以及继续训练模块均包括训练模块:
用于通过公式(1)对快速区域卷积神经网络模型以及预训练以及对预训后的快速区域卷积神经网络模型进行训练;
Figure BDA0002546869030000031
其中,L为损失函数,Lclass为分类损失函数,Lreg为回归损失函数,smoothL1为鲁棒损失函数,Nreg为候选区域位置数量,Nclass为mini-batch的大小,pi表示第i个候选区域预测结果为前景的概率,
Figure BDA0002546869030000032
表示该候选区域为前景的实际概率,当第i个候选区域与真值间的IoU>0.7时,认为是该候选区域是前景,pi=1;反之当IoU<0.3时,认为是该候选区域是背景,pi=0;0.3<IoU<0.7的候选区域则不参与训练;ti表示预测的第i个候选区域框的位置信息,
Figure BDA0002546869030000033
表示第i个候选区域框的实际位置信息,x为
Figure BDA0002546869030000034
的差值。
第三方面,还提供了一种电力设备辨识系统,包括存储器和处理器;
所述存储器用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据第一方面任一项所述方法的步骤。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面任一项所述方法的步骤。
有益效果:本发明构建电力设备数据库以及通过对快速区域卷积神经网络模型进行预训练和再训练,在训练样本十分有限的情况下完成用于辨识电力设备的快速区域卷积神经网络模型的训练,有效的防止了过拟合现象,提高了电力设备的辨识精度,从而可以及时发现电力场景中的异常状况,间接的减少了安全隐患。
附图说明
图1为本发明中Faster RCNN网络模型的结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,本发明提供了一种电力设备辨识方法,包括以下步骤:
步骤一、构建电力设备数据库;
针对特定的任务,通过无人机,机器人等采集用于训练用的电力场景图片,包括塔杆、绝缘子、输电线路、隔离棒、防震锤共5类电力设备,每类不少于2000张图片,对每幅图片中的目标进行人工标注ground truth,通过画框同时标注出目标位置(即电力设备)和框出的电力设备类别,将五个类别定义为0,1,2,3,4,我们选取其中的85%的图片作为训练样本,剩下的作为测试样本建立电力设备数据库。
步骤二、通过公共数据库对Faster RCNN(快速区域卷积神经网络,Faster RegionConvolutional Neural Networks)网络模型进行预训练;
因为我们构建的电力设备数据库中的样本偏少,如果直接采用自己构建的电力设备数据库训练容易发生过拟合现象,因此我们先采用大型数据库ImageNet对Faster RCNN网络模型进行预训练。
步骤三、待预训练完成后,我们通过步骤一种构建电力设备数据库继续对FasterRCNN网络模型进行训练,在该训练学习过程中,设定初始学习率为0.001并按照0.5的丢失率随机地丢弃50%的参数。
步骤四、通过训练完成的Faster RCNN网络模型对场景中的电力设备图片进行辨识。
本发明中步骤二对Faster RCNN网络模型的预训练和步骤三中对Faster RCNN网络模型的继续训练都是通过公式(1)进行的,
Figure BDA0002546869030000051
其中,L为损失函数,Lclass为分类损失函数(classification loss),Lreg(regression loss)为回归损失函数,smoothL1为鲁棒损失函数(robust lossfunction),Nreg为候选区域位置数量(number of anchor locations),Nclass为mini-batch的大小(mini-batch size),pi表示第i个候选区域预测结果为前景的概率,
Figure BDA0002546869030000052
表示该候选区域为前景的实际概率,当第i(anchors index)个候选区域与真值间的IoU>0.7时,认为是该候选区域是前景,pi=1;反之当IoU<0.3时,认为是该候选区域是背景,pi=0;0.3<IoU<0.7的候选区域则不参与训练;ti表示预测的第i个候选区域框的位置信息,
Figure BDA0002546869030000053
表示第i个候选区域框(groundtruth)的实际位置信息,x为
Figure BDA0002546869030000054
的差值。
本发明实施例还提供了一种电力设备辨识系统,包括:
电力设备数据库模块:用于构建电力设备数据库;
预训练模块:用于通过公共数据库对Faster RCNN网络模型进行预训练;
继续训练模块:用于通过电力设备数据库对预训后的Faster RCNN网络模型继续训练得到训练完成的Faster RCNN网络模型;
辨识模块:通过训练完成的Faster RCNN网络模型对设备图片进行辨识。
具体而言,预训练模块和继续训练模块均包括训练模块:
用于通过公式(1)对Faster RCNN网络模型以及预训练以及对预训后的FasterRCNN网络模型进行训练;
本发明提供的电力设备辨识系统,还可以是:包括存储器和处理器;
所述存储器用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据前述电力设备辨识方法的步骤。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述新能源发电有功功率平滑控制方法的步骤。
训练的时候,本发明将整张图片输入CNN进行特征提取,用RPN(regionproposalNetWork)生成建议窗口(proposals),每张图片生成300个建议窗口,把建议窗口映射到CNN的最后一层卷积特征图谱(feature map)上,通过RoI pooling(感兴趣区域池)层使每个RoI(regions of interest,感兴趣区域)生成固定尺寸的feature map,利用Softmax Loss(探测分类概率)和Smooth L1 Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练。
本发明采用的是Caffe深度学习框架,设定初始化学习率为0.00001,对所有的测试样本图片进行归一化处理,大小尺寸均修改为299×299,然后利用训练好的深度神经网络对该图像进行测试,得到该图像的目标位置与对象识别,最后对比所有测试图像的ground truth与类别信息,统计并计算准确率。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种电力设备辨识方法,其特征在于,包括:
构建电力设备数据库;
通过公共数据库对快速区域卷积神经网络模型进行预训练;
通过电力设备数据库对预训后的快速区域卷积神经网络模型继续训练得到训练完成的快速区域卷积神经网络模型;
通过训练完成的快速区域卷积神经网络模型对设备图片进行辨识。
2.根据权利要求1所述的电力设备辨识方法,其特征在于,所述对快速区域卷积神经网络模型进行预训练以及对预训后的快速区域卷积神经网络模型继续训练的方法为:
通过公式(1)对快速区域卷积神经网络模型以及预训练以及对预训后的快速区域卷积神经网络模型进行训练;
Figure FDA0002546869020000011
其中,L为损失函数,Lclass为分类损失函数,Lreg为回归损失函数,smoothL1为鲁棒损失函数,Nreg为候选区域位置数量,Nclass为mini-batch的大小,pi表示第i个候选区域预测结果为前景的概率,
Figure FDA0002546869020000012
表示该候选区域为前景的实际概率,当第i个候选区域与真值间的IoU>0.7时,认为是该候选区域是前景,pi=1;反之当IoU<0.3时,认为是该候选区域是背景,pi=0;0.3<IoU<0.7的候选区域则不参与训练;ti表示预测的第i个候选区域框的位置信息,
Figure FDA0002546869020000013
表示第i个候选区域框的实际位置信息,x为
Figure FDA0002546869020000014
的差值。
3.根据权利要求1所述的电力设备辨识方法,其特征在于,所述构建电力设备数据库包括:
采集用于训练的电力场景图片;
对电力场景图片进行人工标注;
从标注后的电力场景图片中随机选择一部分作为训练样本,剩下的作为测试样本建立数据库。
4.根据权利要求3所述的电力设备辨识方法,其特征在于,所述电力场景图片包括塔杆、绝缘子、输电线路、隔离棒、防震锤五类。
5.根据权利要求3所述的电力设备辨识方法,其特征在于,所述对电力场景图片进行人工标注包括:通过人工将每幅电力场景图片中的电力设备通过画框框出,并对该框出的电力设备类别进行标注。
6.一种电力设备辨识系统,其特征在于,包括:
电力设备数据库模块:用于构建电力设备数据库;
预训练模块:用于通过公共数据库对快速区域卷积神经网络模型进行预训练;
继续训练模块:用于通过电力设备数据库对预训后的快速区域卷积神经网络模型继续训练得到训练完成的快速区域卷积神经网络模型;
辨识模块:通过训练完成的快速区域卷积神经网络模型对设备图片进行辨识。
7.根据权利要求6所述的一种电力设备辨识系统,其特征在于,所述预训练模块以及继续训练模块均包括训练模块:
用于通过公式(1)对快速区域卷积神经网络模型以及预训练以及对预训后的快速区域卷积神经网络模型进行训练;
Figure FDA0002546869020000021
其中,L为损失函数,Lclass为分类损失函数,Lreg为回归损失函数,smoothL1为鲁棒损失函数,Nreg为候选区域位置数量,Nclass为mini-batch的大小,pi表示第i个候选区域预测结果为前景的概率,
Figure FDA0002546869020000022
表示该候选区域为前景的实际概率,当第i个候选区域与真值间的IoU>0.7时,认为是该候选区域是前景,pi=1;反之当IoU<0.3时,认为是该候选区域是背景,pi=0;0.3<IoU<0.7的候选区域则不参与训练;ti表示预测的第i个候选区域框的位置信息,
Figure FDA0002546869020000031
表示第i个候选区域框的实际位置信息,x为
Figure FDA0002546869020000032
的差值。
8.一种电力设备辨识系统,其特征在于,包括存储器和处理器;
所述存储器用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1~5任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~5任一项所述方法的步骤。
CN202010563168.9A 2020-06-19 2020-06-19 一种电力设备辨识方法、系统及存储介质 Pending CN111898422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010563168.9A CN111898422A (zh) 2020-06-19 2020-06-19 一种电力设备辨识方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010563168.9A CN111898422A (zh) 2020-06-19 2020-06-19 一种电力设备辨识方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN111898422A true CN111898422A (zh) 2020-11-06

Family

ID=73206939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010563168.9A Pending CN111898422A (zh) 2020-06-19 2020-06-19 一种电力设备辨识方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111898422A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767427A (zh) * 2018-12-25 2019-05-17 北京交通大学 列车轨道扣件缺陷的检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767427A (zh) * 2018-12-25 2019-05-17 北京交通大学 列车轨道扣件缺陷的检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统

Similar Documents

Publication Publication Date Title
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN110738690A (zh) 一种基于多目标追踪框架的无人机视频中车速校正方法
CN111598860A (zh) 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
CN103246896A (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN112070071B (zh) 视频中的对象标注方法、装置、计算机设备及存储介质
CN108961276B (zh) 基于视觉伺服的配电线路巡检数据自动采集方法及系统
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
Dong et al. Temporal feature augmented network for video instance segmentation
CN111898422A (zh) 一种电力设备辨识方法、系统及存储介质
CN113902793A (zh) 基于单视觉遥感影像端到端建筑物高度预测方法、系统和电子设备
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN113807185A (zh) 一种数据处理方法和装置
CN109977884B (zh) 目标跟随方法和装置
CN111031258B (zh) 月球车导航相机曝光参数确定方法及装置
Wang et al. Improving facade parsing with vision transformers and line integration
CN116385465A (zh) 图像分割模型的构建及图像分割方法、系统、设备和介质
CN110633641A (zh) 一种智能安防行人检测方法、系统、装置及存储介质
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN113705342B (zh) 一种基于人体上下文注意力机制的人脸检测方法
CN114549628A (zh) 一种电力杆倾斜检测方法、装置、设备及存储介质
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
Ismail et al. Enhance PV Panel Detection Using Drone Equipped With RTK
CN115810020B (zh) 一种基于语义引导的由粗到细的遥感图像分割方法及系统
CN112818965B (zh) 多尺度影像目标检测方法、系统、电子设备及存储介质
Ai et al. Analysis of deep learning object detection methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106