CN111507249A - 基于目标检测的变电站鸟窝识别方法 - Google Patents

基于目标检测的变电站鸟窝识别方法 Download PDF

Info

Publication number
CN111507249A
CN111507249A CN202010299455.3A CN202010299455A CN111507249A CN 111507249 A CN111507249 A CN 111507249A CN 202010299455 A CN202010299455 A CN 202010299455A CN 111507249 A CN111507249 A CN 111507249A
Authority
CN
China
Prior art keywords
nest
neural network
bird
transformer substation
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010299455.3A
Other languages
English (en)
Inventor
陈耀军
韩翊
卓一
邱臻
李毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huayun Information Technology Co Ltd
Original Assignee
Zhejiang Huayun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huayun Information Technology Co Ltd filed Critical Zhejiang Huayun Information Technology Co Ltd
Priority to CN202010299455.3A priority Critical patent/CN111507249A/zh
Publication of CN111507249A publication Critical patent/CN111507249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的变电站鸟窝识别方法。该方法首先对变电站视频进行采样,使用神经网络对采样帧进行信息提取,获得特征图矩阵。在特征图中,使用目标检测算法检测出变电站中是否有鸟窝,并对鸟窝准确定位并标注。在具体的实施过程中,首先使用等间隔采样或者随机采样对变电站监控视频进行帧抽取;对于不同种类的鸟窝,使用同一种神经网络来提取特征,整个网络的权重记为Wbird;对于鸟窝种类的识别,使用二分类方法进行计算;对于鸟窝的位置,使用回归方法进行计算。该方法可判断视频中是否包含鸟窝并对图像中所有的鸟窝的位置进行标注,该方法可以准确而又高效的识别变电站中的鸟窝这种常见异物。

Description

基于目标检测的变电站鸟窝识别方法
技术领域
本发明涉及机器学习与计算机视觉研究中的深度神经网络、物体识别、目标检测这几个主要领域。涉及一种基于目标检测的变电站鸟窝识别方法。
背景技术
图像和视频具有复杂的特征与属性,使用计算机对图像和视频的内容理解和分析,多年以来一直是计算机视觉的一个研究方向。在近些年来,得益于深度学习的发展,图像和视频的分析质量得到显著的提升。
图像和视频的分析依赖于特征的提取,传统的特征提取包括全局特征,如颜色直方图、纹理特征和轮廓外形特征,以及局部特征,如SIFT、LBP和GLOH等。而对于视频对象,除了外观特征(如颜色、纹理、边缘)和运动特征(如运动历史图和运动能量图特征),还会提取局部时刻特征(如STIP特征)。由于卷积神经网络的飞速发展,传统的特征提取算法已不再占有优势。目前,在机器学习任务当中,人们都使用深度神经网络架构如VGG,RESNET等来对图像特征进行提取。
目标检测一直是计算机视觉领域的一个基本课题,在上个世纪60年代就提出了目标检测的概念。世界相关领域的专家在近些年内提出了一系列基于深度神经网络的目标检测的算法,致力于同时提升目标检测的准确度和速度。在该领域当中,学者们经常使用端到端学习的方式,使用一整套网络架构直接识别并定位物体。主要使用卷积神经网络对单一图像进行特征提取,并根据提取的特征进一步进行回归和分类。最新的成果如Faster R-CNN,R-FCN,YOLOv3等,有着各自的特征提取模型,同时也使用区域推荐网络(regionproposal network,即RPN),在尽可能的减少模型体积的情况下准确的识别物体类别并对其进行准确的定位。
电力系统承担着对电能的生产和输运过程进行测量、调节、控制、保护、通信和调度的工能。高效而又合理的电力系统不仅有利于地区能源资源的合理开发,也能保障地区国民经济日益增长的用电需要。输电线路以及大多数电力设备暴露于野外环境,非常容易受到异物的影响和损害,严重影响居民的正常生活和企业的安全生产。
鸟窝这一类异物为最常见异物。目前虽然有监控设备部署,但是依然需要人工检查和拍摄数据,费时费力且无法做到实时响应。利用计算机视觉中的目标检测技术,使得整个检测过程自动化,能够大量节省人力物力资源,提升电力系统的可靠性。
针对电力系统中的目标检测,存在着一些问题:1算法致力于检测种类更多的物体,然而物体种类数目的提升会导致特定物体识别的准确率下降。2目标检测算法识别的物体种类过于普遍,如飞机、轮船、人等,在实际的电力应用的场景中没有必要去识别,会带来资源的浪费。3目前的目标检测算法采用的训练数据集为ImageNet,COCO,VOC等数据集,图像数据大多来源于生活,不适用于真实的应用场景,导致识别的精度进一步下降。
针对上述问题,本发明提出一种基于目标检测的变电站鸟窝识别方法。该方法可以快速而又准确识别变电站中的鸟窝这类常见异物,并对其进行精准的定位,从而实现基于目标检测的变电站鸟窝识别。
发明内容
本发明的目的是提供一种基于目标检测检测的变电站鸟窝识别方法,该方法可以克服现有算法在识别鸟窝时存在的识别准确率不足,浪费计算资源问题。
本发明采用以下技术方案实现:
一种基于目标检测检测的变电站鸟窝识别方法,步骤如下:
首先,对变电站监控视频中的图像进行提取并进行标注,建立定制的专用数据集。其次,对目标检测的架构做出更改,使其仅仅识别并定位鸟窝这种异物。使用定制的数据集进行神经网络训练,得到相应的权重。最后,使用训练好的神经网络进行目标检测,部署服务器,对外提供RESTful接口,客户端向服务器发送图片流,图片流经处理后即可返回标注好的图像到客户端。
一种基于目标检测检测的变电站鸟窝识别方法,具体包括如下步骤:
1)对变电站监控视频中的大量图像数据进行收集和标注,从变电站的监控视频中抽取若干张包含鸟窝的图像,对这些图像进行处理,使用多个小的矩形标注其中的鸟窝;原始图像帧记为img。
2)对于任意原始图像帧img,获得其RGB表示imgrgb
3)对YOLOv3目标检测算法进行改进,具体步骤如下:3.1)由于传统的反卷积运算会产生语义稀疏的现象,因此本发明使用改进的反卷积运算进行上采样,使神经网络获得更多的语义信息,从而增加神经网络对鸟窝定位的准确程度;对反卷积运算进行改进的方法为:首先使用1*1卷积核进行卷积运算增加特征图深度;再使用混洗操作重构特征图,从而增加鸟窝识别的精度;3.2)建立随机Mask网络进行数据增强:在训练过程中,对任意一个鸟窝进行随机部分遮挡并将其作为正样本,将该鸟窝全部遮挡作为负样本,使得神经网络可以更好的识别被遮挡的鸟窝,同时减少过拟合;3.3)在神经网络中增加对抗样本(如树枝、草帽等类似鸟窝的物体),减少神经网络的误判率;
4)使用改进的YoloV3目标检测算法对可能包含鸟窝的图像进行目标检测,具体为:将图像的RGB表示imgrgb送入神经网络进行特征提取,并根据提取的特征进行二分类和回归,神经网络输出class和鸟窝坐标,根据class判断图像中是否属于鸟窝,根据鸟窝坐标w,h,x,y判断鸟窝位置;
其中,class为0或1,0表示不属于鸟窝,1表示属于鸟窝,鸟窝的坐标用矩形框出,wh x y分别代表矩形的宽高,矩形中心点的横纵坐标;
5)训练神经网络:用神经网络的损失函数来表示预测的值和真实值的差距,损失函数的值越小,表明预测结果越准确。本发明的损失函数为分类损失和回归损失两部分,分类损失用来表示预测类别和真实类别的差距,记为
Figure BDA0002453433040000031
其中
Figure BDA0002453433040000032
表示真实的类别,class表示神经网络预测的类别;回归损失表示预测鸟窝位置和真实鸟窝位置的差距,记为
Figure BDA0002453433040000033
其中
Figure BDA0002453433040000034
表示真实鸟窝坐标,w,h,x,h表示神经网络预测的鸟窝坐标。为了简化表示,整个损失函数记为
Figure BDA0002453433040000035
使用Adam梯度下降算法Lw(imgrgb)对神经网络进行优化,不断提升分类的准确率同时减少预测坐标和真实坐标的差距,最终得到神经网络的权重Wbird
6)使用训练好的神经网络建立服务器,对客户端提供RESTful接口,接受客户端提供的图片流并将其输入到神经网络,预测出整个图像中是否存在鸟窝,并得到鸟窝坐标,即class,w,h,x,y。根据预测的结果和对图片流进行标注,注明是否包含鸟窝,并框出鸟窝的具体位置,返回检测结果以及标注完毕的图片流给客户端。
本发明与现有技术相比,具有的有益效果是:
本发明在预先采集的训练数据的基础上,使用定制的数据集进行训练,定制的数据集包含变电站中各类隐蔽的鸟窝,以及被遮挡的鸟窝,此类数据是其他所有数据集不包括的,从而可以提升变电站鸟窝识别的准确度,更适用于变电站应用场景。对网络架构进行修改,不识别不必要物体,大幅度提升了目标检测的速度,并避免了资源浪费。
现有的目标检测算法通常采用双三次插值进行上采样,而本发明采用反卷积运算进行上采样;并且本发明还对反卷积运算进行了改进,改进后的反卷积运算不仅能够避免语义稀疏现象,还增加了神经网络的非线性,提高了神经网络对鸟窝定位的准确程度。
本发明中,返回图像流使用矩形框注明鸟窝的具体位置,用户可以根据返回的图像流简单而又直接的判断监控视频中是否包含鸟窝,并得到鸟窝的具体位置。
附图说明
图1-3变电站鸟窝数据样本;
图4鸟窝识别准确率随训练epoch变化曲线;
图5算法迭代收敛曲线;
图6算法目标检测结果示例。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步说明。
使用变电站专用数据测试本方法的鸟窝异物检测能力。数据集包含2000张变电站中鸟窝的图像。对2000张变电站监控视频中抽取的图像进行处理,使用多个小的矩形标注其中的鸟窝异物。首先将定制数据集中的80%用作训练数据集,将10%作为验证数据集,将10%作为测试数据集。
一种基于目标检测的变电站鸟窝识别方法,包括如下步骤:
1)对变电站监控视频中的大量图像数据进行收集和标注,从变电站的监控视频中抽取2000张包含鸟窝的图像,对这2000张图像进行处理,使用多个小的矩形标注其中的鸟窝。原始图像帧记为img。
2)对于任意图像帧img,获得其RGB表示imgrgb
3)对YOLOv3目标检测算法进行改进,具体步骤如下:3.1)由于传统的反卷积运算会产生语义稀疏的现象,因此本发明使用改进的反卷积运算进行上采样,使神经网络获得更多的语义信息,从而增加神经网络对鸟窝定位的准确程度;对反卷积运算进一步进行改进的方法为:首先使用1*1卷积核进行卷积运算,增加特征图深度;再使用混洗操作重构特征图,从而增加鸟窝识别的精度;3.2)建立随机Mask网络进行数据增强:在训练过程中,对任意一个鸟窝进行随机部分遮挡并将其作为正样本,将该鸟窝全部遮挡作为负样本,使得神经网络可以更好的识别被遮挡的鸟窝,同时减少过拟合;3.3)在神经网络中增加对抗样本(如树枝、草帽等类似鸟窝的物体),减少神经网络的误判率;
4)使用改进的YoloV3目标检测算法对可能包含鸟窝的图像进行目标检测。具体地:将图像的RGB表示imgrgb送入神经网络进行特征提取,并根据提取的特征进行二分类,神经网络输出class,判断是否属于鸟窝;对提取的特征进行回归,神经网络输出鸟窝的坐标w,h,x,y,根据坐标判断鸟窝位置;
其中,class为0或1,0表示不属于鸟窝,1表示属于鸟窝。鸟窝的坐标用多个矩形框出,w h x y分别代表矩形的的宽高,矩形中心点的横纵坐标;
5)训练神经网络:用神经网络的损失函数来表示预测的值和真实值的差距,损失函数的值越小,表明预测结果越准确。本发明的损失函数为分类损失和回归损失两部分,分类损失用来表示预测类别和真实类别的差距,记为
Figure BDA0002453433040000041
其中
Figure BDA0002453433040000042
表示真实的类别,class表示神经网络预测的类别;回归损失表示预测鸟窝位置和真实位置的差距,记为
Figure BDA0002453433040000043
其中
Figure BDA0002453433040000044
表示真实鸟窝坐标,w,h,x,h表示神经网络预测的鸟窝坐标。为了简化表示,整个损失函数记为
Figure BDA0002453433040000051
使用Adam梯度下降算法Lw(imgrgb)对神经网络进行优化,不断提升分类的准确率同时减少预测坐标和真实坐标的差距,最终得到神经网络的权重Wbird
6)使用训练好的神经网络建立服务器,对客户端提供RESTful接口,接受客户端提供的图片流并将其输入到神经网络,预测出整个图像中是否存在鸟窝、并得到鸟窝坐标,即class,w,h,x,y。根据预测的结果和对图片流进行标注,注明是否包含鸟窝,并框出鸟窝的具体位置,返回检测结果以及标注完毕的图片流给客户端。
在实施过程中,从变电站监控视频中抽取图像的方法为:使用等间隔采样或者随机采样对变电站监控视频进行帧抽取。对于不同种类的鸟窝,使用同一种神经网络来提取特征,整个网络的权重记为Wbird;对于鸟窝的识别,使用二分类方法进行计算;对于鸟窝的位置使用回归方法进行计算。
实施结果参见图1~6。图1-3展示了变电站鸟窝数据样本,图4为鸟窝识别准确率随训练epoch变化曲线,图5展示了算法迭代收敛曲线,图6为算法目标检测结果示例。
由图4和图5可知,随着训练次数的增多,识别准确率越来越高;损失函数值逐渐降低,表明本发明方法的准确率越来越高。
在实际应用的过程中,随着监控视频拍摄出更多的新图像,可以对新的图像进行标注,使用新的样本对神经网络进行微调,进一步提升算法的准确率。识别的精准程度随着数据的增多而增多。

Claims (1)

1.一种基于目标检测的变电站鸟窝识别方法,主要包含以下步骤:
1)对变电站监控视频中的图像数据进行收集和标注,具体为:从变电站的监控视频中抽取若干张包含鸟窝的图像,对这些图像进行处理,使用矩形标注其中的鸟窝;原始图像帧记为img;
2)对于任意原始图像帧img,获得其RGB表示imgrgb
3)对YOLOv3目标检测算法进行改进,具体步骤如下:3.1)采用改进的反卷积运算进行上采样,对所述的反卷积运算进行改进的方法为:首先,使用1*1卷积核进行卷积运算增加特征图深度,再使用混洗操作重构特征图;3.2)建立随机Mask网络:在训练过程中,对任意一个鸟窝进行随机部分遮挡并将其作为正样本,将该鸟窝全部遮挡作为负样本;3.3)在神经网络中增加类似鸟窝的物体作为对抗样本,减少神经网络的误判率;
4)使用改进的YoloV3目标检测算法对可能包含鸟窝的图像进行目标检测,具体为:将图像的RGB表示imgrgb送入神经网络进行特征提取,并根据提取的特征进行二分类和回归,神经网络分别输出class和鸟窝坐标,根据class判断图像中是否属于鸟窝,根据鸟窝坐标w,h,x,y判断鸟窝位置;
其中,class为0或1,0表示不属于鸟窝,1表示属于鸟窝,鸟窝的坐标用矩形框出,w h xy分别代表矩形的宽高,矩形中心点的横纵坐标;
5)训练神经网络:用神经网络的损失函数来表示预测的值和真实值的差距,所述的损失函数包括分类损失和回归损失两部分,分类损失表示预测类别和真实类别的差距,记为
Figure FDA0002453433030000011
其中
Figure FDA0002453433030000012
表示真实的类别,class表示神经网络预测的类别;回归损失表示预测鸟窝位置和真实鸟窝位置的差距,记为
Figure FDA0002453433030000013
其中
Figure FDA0002453433030000014
表示真实鸟窝坐标,w,h,x,h表示神经网络预测的鸟窝坐标;为了简化表示,整个损失函数记为
Figure FDA0002453433030000015
使用Adam梯度下降算法Lw(imgrgb)对神经网络进行优化,不断提升分类的准确率同时减少预测坐标和真实坐标的差距,最终得到神经网络的权重Wbird
6)使用训练好的神经网络建立服务器,对客户端提供RESTful接口,接受客户端提供的图片流并将其输入到神经网络,预测出整个图像中是否存在鸟窝,并得到鸟窝坐标,即class,w,h,x,y;根据预测的结果和对图片流进行标注,注明是否包含鸟窝,并框出鸟窝的具体位置,返回检测结果以及标注完毕的图片流给客户端。
CN202010299455.3A 2020-04-16 2020-04-16 基于目标检测的变电站鸟窝识别方法 Pending CN111507249A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010299455.3A CN111507249A (zh) 2020-04-16 2020-04-16 基于目标检测的变电站鸟窝识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010299455.3A CN111507249A (zh) 2020-04-16 2020-04-16 基于目标检测的变电站鸟窝识别方法

Publications (1)

Publication Number Publication Date
CN111507249A true CN111507249A (zh) 2020-08-07

Family

ID=71874423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010299455.3A Pending CN111507249A (zh) 2020-04-16 2020-04-16 基于目标检测的变电站鸟窝识别方法

Country Status (1)

Country Link
CN (1) CN111507249A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149579A (zh) * 2020-09-25 2020-12-29 国网江苏省电力有限公司南通供电分公司 一种基于改进yolo_v3的鸟巢隐患检测方法
CN112434556A (zh) * 2020-10-20 2021-03-02 深圳市悦保科技有限公司 宠物鼻纹识别方法、装置、计算机设备及存储介质
CN116403303A (zh) * 2023-03-24 2023-07-07 西南交通大学 一种基于YOLOv5的变电站智能巡检方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175538A (zh) * 2019-05-10 2019-08-27 国网福建省电力有限公司龙岩供电公司 一种基于机器学习的变电站鸟巢识别方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175538A (zh) * 2019-05-10 2019-08-27 国网福建省电力有限公司龙岩供电公司 一种基于机器学习的变电站鸟巢识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QI-CHAO MAO等: "《Mini-YOLOv3:Real-Time Object Detector for Embedded Applications》", 《IEEE ACCESS》 *
TERRANCE DE VRIES等: "《Improved Regularization of Convolutional Neural Networks with Cutout》", 《ARXIV》 *
XIANFEI YIN等: "《A deep learning-based framework for an automated defect detection system for sewer pipes》", 《AUTOMATION IN CONSTRUCTION》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149579A (zh) * 2020-09-25 2020-12-29 国网江苏省电力有限公司南通供电分公司 一种基于改进yolo_v3的鸟巢隐患检测方法
CN112434556A (zh) * 2020-10-20 2021-03-02 深圳市悦保科技有限公司 宠物鼻纹识别方法、装置、计算机设备及存储介质
CN116403303A (zh) * 2023-03-24 2023-07-07 西南交通大学 一种基于YOLOv5的变电站智能巡检方法

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及系统
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN111507249A (zh) 基于目标检测的变电站鸟窝识别方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN110598693A (zh) 一种基于Faster-RCNN的船牌识别方法
CN111784633A (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN114066848B (zh) 一种fpca外观缺陷视觉检测系统
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN111145222A (zh) 一种结合烟雾运动趋势和纹理特征的火灾检测方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
Wang et al. Railway insulator detection based on adaptive cascaded convolutional neural network
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN111414855B (zh) 基于端到端回归模型的电线杆标牌目标检测及识别方法
CN116994161A (zh) 一种基于改进YOLOv5的绝缘子缺陷检测方法
CN109034033B (zh) 一种基于改进vgg16卷积网络的排烟视频检测方法
CN116630989A (zh) 智能电表可视故障检测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807

RJ01 Rejection of invention patent application after publication