CN113255661B - 一种输电线路涉鸟故障相关鸟种图像识别方法 - Google Patents

一种输电线路涉鸟故障相关鸟种图像识别方法 Download PDF

Info

Publication number
CN113255661B
CN113255661B CN202110405605.9A CN202110405605A CN113255661B CN 113255661 B CN113255661 B CN 113255661B CN 202110405605 A CN202110405605 A CN 202110405605A CN 113255661 B CN113255661 B CN 113255661B
Authority
CN
China
Prior art keywords
bird
bird species
model
image
transmission line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110405605.9A
Other languages
English (en)
Other versions
CN113255661A (zh
Inventor
邱志斌
石大寨
廖才波
朱轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN202110405605.9A priority Critical patent/CN113255661B/zh
Publication of CN113255661A publication Critical patent/CN113255661A/zh
Application granted granted Critical
Publication of CN113255661B publication Critical patent/CN113255661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种输电线路涉鸟故障相关鸟种图像识别方法，首先通过收集输电线路周围的鸟种信息，建立涉鸟故障相关鸟种图像数据库，基于类别激活图的方法对鸟种图像进行去背景预处理；然后，利用四种深度卷积神经网络建立学习模型，并通过ImageNet数据集对其进行预训练，对预训练后的模型网络结构进行微调，利用预处理后的鸟种图像训练集对微调后的模型进行重新训练，并对测试集进行分类识别；最后，根据四种网络模型的分类准确率，采用线性加权法建立一种融合多卷积网络的涉鸟故障相关鸟种图像识别模型，对鸟种图像进行分类识别。本发明能够为输电线路运维人员提供正确识鸟的方法手段，有助于实现渉鸟故障的差异化防治，降低渉鸟故障跳闸率。

Description

一种输电线路涉鸟故障相关鸟种图像识别方法
技术领域
本发明涉及输电线路领域，具体涉及一种输电线路涉鸟故障相关鸟种图像识别方法。
背景技术
随着电网的大规模建设与生态环境的改善，鸟类活动与输电线路的矛盾日益突出，渉鸟故障已成为线路跳闸的重要原因。由于渉鸟故障具有突发性，发生故障后往往无法判断是何种鸟类引起，难以针对性地加装防鸟措施。尽管电网运行单位已经统计出输电线路渉鸟故障相关鸟种名录及其可能引发的故障类型，但由于运维人员缺乏鸟类学知识，因此在巡线过程中虽然可以拍摄到活动在线路周围的鸟种，但是难以判断其是否会引起涉鸟故障及故障类型，从而无法开展差异化的防治工作。为解决此类问题，亟需一种输电线路涉鸟故障相关鸟种图像识别方法。
目前针对输电线路相关鸟种图像识别研究主要局限于鸟类检测这种粗粒度的二分类问题，具体针对输电线路渉鸟故障危害鸟种的多分类识别研究较少，其原因在于巡线过程中采集到的鸟类图像数量有限，将其用于训练一个全新的网络容易出现泛化能力不足的问题，而采用特定鸟种图像数据集训练得到的网络又难以匹配涉鸟故障相关鸟种图像识别的任务。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种输电线路涉鸟故障相关鸟种图像识别方法，能够对渉鸟故障相关鸟种图像进行准确识别，为电网运维人员开展差异化防鸟提供参考依据。
为实现上述目的，本发明提供如下技术方案：一种输电线路涉鸟故障相关鸟种图像识别方法，包括如下步骤：
S1：收集输电线路渉鸟故障相关鸟种图像，建立包含N种鸟类的图像数据集，将鸟种图像分为训练集和测试集；
S2：构建VGG16卷积神经网络模型，采用ImageNet数据库对其进行预训练，然后移去卷积层“conv5-3”后面的所有层，用一个“卷积+全局平均池化+全连接+输出”的结构替代原有的“pool5”—“prob”层，采用公开鸟种图像数据集对修改后的卷积模型进行训练，通过训练好的模型提取涉鸟故障相关鸟种图像的CAM类别激活图，利用类别激活图对鸟种图像进行去背景预处理，得到包含少量背景的鸟种图像；
S3：采用AlexNet、VGG16、ResNet50和InceptionV3四种深度卷积神经网络建立学习模型，利用ImageNet数据集对网络模型进行预训练；
S4：对预训练模型进行微调，通过模型迁移使其匹配涉鸟故障相关鸟种的图像识别任务，对于AlexNet和VGG16，将最后一个全连接层“fc8”的维数由原来的1×1000调整为1×N；对于ResNet50和InceptionV3，删除原网络中的最后3层“fc1000”、“fc1000_softmax”和“ClassificationLayer_fc1000”，以一个包含1×N的全连接层、1×N的softmax层以及N分类输出层的结构代替；
S5：采用输电线路渉鸟故障相关鸟种图像训练集对微调后的四种深度卷积神经网络模型进行重新训练，利用训练好的网络模型对鸟种图像测试集进行分类识别，得到四种模型的分类准确率ai(i＝1,2,3,4)，根据
Figure BDA0003022143780000021
计算四种网络结构对应的权重系数qi(i＝1,2,3,4)；
S6：根据四种网络模型对应的权重系数，对其softmax层输出结果进行线性加权，构建一种融合多卷积神经网络的鸟种分类识别模型，模型的输出Sf为Sf＝q1SAlexNet+q2SVGG16+q3SResNet50+q4SInceptionV3，其中SAlexNet、SVGG16、SResNet50、SInceptionV3分别表示4种网络模型的softmax层输出结果；
S7：利用融合多卷积神经网络模型对鸟种图像测试集进行分类识别，得到输电线路渉鸟故障相关鸟种图像的识别结果及准确率。
进一步地，S2中利用类别激活图对鸟种图像进行去背景预处理，得到包含少量背景的鸟种图像，具体为对类别激活图进行迭代法全局阈值分割和最大连通区域提取，获取图像中的鸟种目标定位框，根据定位框尺寸裁剪得到预处理后的鸟种图像。
本发明的有益效果是：
本发明提供的一种基于融合多卷积神经网络模型的输电线路涉鸟故障相关鸟种图像识别方法，能够有效识别出危害输电线路安全运行的相关鸟种，具有较高的准确率和良好的泛化性能，克服了现有技术中的问题，能够为输电线路运维人员提供正确识鸟的方法手段，有助于实现渉鸟故障的差异化防治，降低渉鸟故障跳闸率。
附图说明
图1是本发明中的一种输电线路涉鸟故障相关鸟种图像识别方法流程图；
图2是本发明实施例中基于类别激活图的鸟种图像预处理可视化流程图；
图3是本发明实施例中输电线路渉鸟故障相关鸟种图像测试集的识别效果图。
具体实施方式
下面结合实施例对本发明做进一步的描述，有必要在此指出的是以下实施例只是用于对本发明进行进一步的说明，不能理解为对本发明保护范围的限制，该领域的技术熟练人员根据上述发明内容所做出的一些非本质的改进和调整，仍属于本发明的保护范围。
以下对输电线路涉鸟故障相关鸟种图像的分类识别方法进行详细阐述，其流程图如图1所示，包括以下步骤：
S1：根据电网统计的输电线路历史渉鸟故障信息，列出渉鸟故障相关鸟种名录，共计88种鸟类，收集电网运维人员拍摄的鸟类图像，并利用搜索引擎从网络资源上下载相关鸟种的图片，构建包含4390幅图像的样本库，按照7：3的比例从样本库中随机选取训练集和测试集。
S2：构建VGG16卷积神经网络模型，采用ImageNet数据库对其进行预训练，然后移去卷积层“conv5-3”后面的所有层，用一个“卷积+全局平均池化+全连接+输出”的结构替代原有的“pool5”—“prob”层，得到CAM-VGG16模型。采用NABirds鸟种图像数据集对CAM-VGG16模型进行训练，通过训练好的模型提取涉鸟故障相关鸟种图像的CAM类别激活图，识别出原始图像中的鸟种目标；然后对类别激活图进行迭代法全局阈值分割和最大连通区域提取，获取图像中的鸟种目标定位框，根据定位框的尺寸裁剪得到预处理后的鸟种图像。以珠颈斑鸠、东方白鹳、普通鵟三种鸟类的典型图像为例，上述基于类别激活图的鸟种图像预处理可视化流程如图2所示。
S3：采用AlexNet、VGG16、ResNet50和InceptionV3四种深度卷积神经网络建立学习模型，利用ImageNet数据集对网络模型进行预训练，选取动量随机梯度下降算法进行网络模型的学习优化，设定动量值为0.9，学习率为0.0001，迭代轮数为30轮，每一轮迭代训练383次，最小批量数为8，训练在Matlab的仿真环境下采集全局微调的方式。
S4：对预训练模型进行微调，通过模型迁移使其匹配涉鸟故障相关鸟种的图像识别任务。对于AlexNet和VGG16，将最后一个全连接层“fc8”的维数由原来的1×1000调整为1×88；对于ResNet50和InceptionV3，删除原网络中的最后3层“fc1000”、“fc1000_softmax”和“ClassificationLayer_fc1000”，以一个包含1×88的全连接层、1×88的softmax层以及88分类输出层的结构代替。将微调后的网络结构分别命名为M-AlexNet、M-VGG16、M-ResNet50和M-InceptionV3。
S5：采用输电线路渉鸟故障相关鸟种图像训练集对上述M-AlexNet、M-VGG16、M-ResNet50和M-InceptionV3进行重新训练，得到适用于输电线路渉鸟故障相关鸟种识别的4种网络模型，将其分别命名为B-AlexNet、B-VGG16、B-ResNet50和B-InceptionV3。利用训练好的网络模型对鸟种图像测试集进行分类识别，得到四种模型的分类准确率ai(i＝1,2,3,4)，a1＝82.42％，a2＝87.73％，a3＝89.77％，a4＝85.68％，根据
Figure BDA0003022143780000051
计算四种网络结构对应的权重系数qi(i＝1,2,3,4)，分别为q1＝0.2385，q2＝0.2538，q3＝0.2598，q4＝0.2479。
S6：根据四种网络模型对应的权重系数，对其softmax层输出结果进行线性加权，构建一种融合多卷积神经网络的鸟种分类识别模型，模型的输出Sf为Sf＝q1SAlexNet+q2SVGG16+q3SResNet50+q4SInceptionV3，其中SAlexNet、SVGG16、SResNet50、SInceptionV3分别表示4种网络模型的softmax层输出结果。
S7：利用融合多卷积神经网络模型对鸟种图像测试集进行分类识别，得到输电线路渉鸟故障相关鸟种图像的识别结果，88种鸟类的识别准确率可达91.21％。以东方白鹳、黑领椋鸟、白鹭、灰卷尾四种渉鸟故障相关鸟种图像为例，其识别结果如图3所示，四幅图像识别结果的确定概率分别为98.16％、99.93％、99.94％和99.78％，具有很高的准确率。
以上所述仅表达了本发明的优选实施方式，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的内容加以更改或改型为等同变化的等效实施例。但是，凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (2)

1.一种输电线路涉鸟故障相关鸟种图像识别方法，其特征在于：包括如下步骤：
S1：收集输电线路渉鸟故障相关鸟种图像，建立包含N种鸟类的图像数据集，将鸟种图像分为训练集和测试集；
S2：构建VGG16卷积神经网络模型，采用ImageNet数据库对其进行预训练，然后移去卷积层“conv5-3”后面的所有层，用一个“卷积+全局平均池化+全连接+输出”的结构替代原有的“pool5”—“prob”层，采用公开鸟种图像数据集对修改后的卷积模型进行训练，通过训练好的模型提取涉鸟故障相关鸟种图像的类别激活图，利用类别激活图对鸟种图像进行去背景预处理，得到包含少量背景的鸟种图像；
S3：采用AlexNet、VGG16、ResNet50和InceptionV3四种深度卷积神经网络建立学习模型，利用ImageNet数据集对网络模型进行预训练；
S4：对预训练模型进行微调，通过模型迁移使其匹配涉鸟故障相关鸟种的图像识别任务，对于AlexNet和VGG16，将最后一个全连接层“fc8”的维数由原来的1×1000调整为1×N；对于ResNet50和InceptionV3，删除原网络中的最后3层“fc1000”、“fc1000_softmax”和“ClassificationLayer_fc1000”，以一个包含1×N的全连接层、1×N的softmax层以及N分类输出层的结构代替；
S5：采用输电线路渉鸟故障相关鸟种图像训练集对微调后的四种深度卷积神经网络模型进行重新训练，利用训练好的网络模型对鸟种图像测试集进行分类识别，得到四种模型的分类准确率ai(i＝1,2,3,4)，根据
Figure FDA0003022143770000011
计算四种网络结构对应的权重系数qi(i＝1,2,3,4)；
S6：根据四种网络模型对应的权重系数，对其softmax层输出结果进行线性加权，构建一种融合多卷积神经网络的鸟种分类识别模型，模型的输出Sf为Sf＝q1SAlexNet+q2SVGG16+q3SResNet50+q4SInceptionV3，其中SAlexNet、SVGG16、SResNet50、SInceptionV3分别表示4种网络模型的softmax层输出结果；
S7：利用融合多卷积神经网络模型对鸟种图像测试集进行分类识别，得到输电线路渉鸟故障相关鸟种图像的识别结果及准确率。
2.根据权利要求1所述的一种输电线路涉鸟故障相关鸟种图像识别方法，其特征在于：S2中利用类别激活图对鸟种图像进行去背景预处理，得到包含少量背景的鸟种图像，具体为对类别激活图进行迭代法全局阈值分割和最大连通区域提取，获取图像中的鸟种目标定位框，根据定位框尺寸裁剪得到预处理后的鸟种图像。
CN202110405605.9A 2021-04-15 2021-04-15 一种输电线路涉鸟故障相关鸟种图像识别方法 Active CN113255661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110405605.9A CN113255661B (zh) 2021-04-15 2021-04-15 一种输电线路涉鸟故障相关鸟种图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110405605.9A CN113255661B (zh) 2021-04-15 2021-04-15 一种输电线路涉鸟故障相关鸟种图像识别方法

Publications (2)

Publication Number Publication Date
CN113255661A CN113255661A (zh) 2021-08-13
CN113255661B true CN113255661B (zh) 2022-07-12

Family

ID=77220780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110405605.9A Active CN113255661B (zh) 2021-04-15 2021-04-15 一种输电线路涉鸟故障相关鸟种图像识别方法

Country Status (1)

Country Link
CN (1) CN113255661B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536000B (zh) * 2021-07-14 2022-10-18 西安工程大学 基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法
CN114842208B (zh) * 2022-06-08 2024-05-03 南昌大学 一种基于深度学习的电网危害鸟种目标检测方法
CN116168352B (zh) * 2023-04-26 2023-06-27 成都睿瞳科技有限责任公司 基于图像处理的电网障碍物识别处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509939A (zh) * 2018-04-18 2018-09-07 北京大学深圳研究生院 一种基于深度学习的鸟类识别方法
CN109460774A (zh) * 2018-09-18 2019-03-12 华中科技大学 一种基于改进的卷积神经网络的鸟类识别方法
CN110555460A (zh) * 2019-07-31 2019-12-10 国网江苏省电力有限公司 一种基于图像切片的移动端输电线路鸟类检测方法
CN111626093A (zh) * 2020-03-27 2020-09-04 国网江西省电力有限公司电力科学研究院 一种基于鸣声功率谱密度的输电线路相关鸟种识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181082B2 (en) * 2017-02-06 2019-01-15 Brown University Method and system for automated behavior classification of test subjects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509939A (zh) * 2018-04-18 2018-09-07 北京大学深圳研究生院 一种基于深度学习的鸟类识别方法
CN109460774A (zh) * 2018-09-18 2019-03-12 华中科技大学 一种基于改进的卷积神经网络的鸟类识别方法
CN110555460A (zh) * 2019-07-31 2019-12-10 国网江苏省电力有限公司 一种基于图像切片的移动端输电线路鸟类检测方法
CN111626093A (zh) * 2020-03-27 2020-09-04 国网江西省电力有限公司电力科学研究院 一种基于鸣声功率谱密度的输电线路相关鸟种识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Recognition of Transmission Line Related Bird Species Based on Image Feature Extraction and Support Vector Machine;Zhibin Qiu等;《2020 IEEE International Conference on High Voltage Engineering and Application (ICHVE)》;20201215;1-4 *
基于图像识别与处理的绝缘子憎水性等级判定方法研究;阮海清;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200115(第01期);C042-353 *
基于目标检测的电网涉鸟故障相关鸟种智能识别;邱志斌等;《电网技术》;20210414;第46卷(第1期);369-377 *

Also Published As

Publication number Publication date
CN113255661A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113255661B (zh) 一种输电线路涉鸟故障相关鸟种图像识别方法
CN113884290B (zh) 基于自训练半监督生成对抗网络的调压器故障诊断方法
CN113486078B (zh) 一种分布式配电网运行监控方法及系统
CN111179249A (zh) 一种基于深度卷积神经网络的电力设备检测方法和装置
CN114067368B (zh) 基于深度卷积特征的电网危害鸟种分类识别方法
CN109086793A (zh) 一种风力发电机的异常识别方法
CN116229380B (zh) 一种变电站涉鸟故障相关鸟种识别方法
CN108510001B (zh) 一种风力发电机叶片缺陷分类方法及其分类系统
CN114120041B (zh) 一种基于双对抗变分自编码器的小样本分类方法
CN116168352A (zh) 基于图像处理的电网障碍物识别处理方法及系统
CN111126820A (zh) 反窃电方法及系统
CN115791174B (zh) 一种滚动轴承异常诊断方法、系统、电子设备及存储介质
Yang et al. Remaining useful life prediction based on normalizing flow embedded sequence-to-sequence learning
CN113283282A (zh) 一种基于时域语义特征的弱监督时序动作检测方法
CN117351659B (zh) 一种水文地质灾害监测装置及监测方法
CN116842463A (zh) 一种电动汽车充电桩设备故障诊断方法
CN116400168A (zh) 一种基于深度特征聚类的电网故障诊断方法及系统
CN113705624B (zh) 一种用于工控系统的入侵检测方法和系统
CN114694019A (zh) 基于异常检测的遥感影像建筑物迁移提取方法
CN112926670A (zh) 一种基于迁移学习的垃圾分类系统及方法
CN113807462A (zh) 一种基于ai的网络设备故障原因定位方法及其系统
CN112329013A (zh) 一种基于图卷积网络和主题模型的恶意代码分类的方法
Vatresia et al. Automatic Fish Identification Using Single Shot Detector
Wang et al. Locating Lightning Arrester Counters in UAV Inspection Video of Overhead Transmission Lines
Kim et al. Line-Post Insulator Fault Classification Model Using Deep Convolutional GAN-Based Synthetic Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant