CN111753588B - 一种基于深度学习的电力设备在线感知与对焦算法 - Google Patents

一种基于深度学习的电力设备在线感知与对焦算法 Download PDF

Info

Publication number
CN111753588B
CN111753588B CN201910244703.1A CN201910244703A CN111753588B CN 111753588 B CN111753588 B CN 111753588B CN 201910244703 A CN201910244703 A CN 201910244703A CN 111753588 B CN111753588 B CN 111753588B
Authority
CN
China
Prior art keywords
image
equipment
power equipment
neural network
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910244703.1A
Other languages
English (en)
Other versions
CN111753588A (zh
Inventor
洪刚
李斐
张德钦
江振钰
夏鹏
高诣
刘晓伟
朱敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Arover Technology Co ltd
Beihai Power Supply Bureau of Guangxi Power Grid Co Ltd
Original Assignee
Wuhan Arover Technology Co ltd
Beihai Power Supply Bureau of Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Arover Technology Co ltd, Beihai Power Supply Bureau of Guangxi Power Grid Co Ltd filed Critical Wuhan Arover Technology Co ltd
Priority to CN201910244703.1A priority Critical patent/CN111753588B/zh
Publication of CN111753588A publication Critical patent/CN111753588A/zh
Application granted granted Critical
Publication of CN111753588B publication Critical patent/CN111753588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种基于深度学习的电力设备在线感知与对焦算法,所述算法包括以下步骤:控制无人机定点巡航,采集影像在线检测和分析,根据分析结果调整相机拍摄角度和焦距;本发明一种基于深度学习的电力设备在线感知与对焦算法用深度学习的手段捕捉典型电力设备在影像中位置,然后用对焦评价函数分析相机焦距设置是否合适,最后综合两者信息调整相机拍摄角度和焦距获得设备位于影像中心的清晰影像,算法的整个过程都是无人机在线完成和调整,无需人工介入,能够提高巡检工作的效率和质量。

Description

一种基于深度学习的电力设备在线感知与对焦算法
技术领域
本发明属于数字图像处理技术领域,具体为一种基于深度学习的电力设备在线感知与对焦算法。
背景技术
大型电力线路需要穿越山川河流,传统的人力巡线的方式成本巨大,效率低下,已经很难满足目前的需要,为了提高电路巡检的自动化程度,多旋翼无人机在输电线路精细化巡检中的应用越来越广泛,但是,受天气、光照和无人机操作员经验影响,机巡图片数据质量参差不齐,采集到的影像常有对焦不准确、拍摄角度不合理、照片模糊等问题,巡检图片的质量不稳定造成两个主要问题,一是在机巡过程中需要对同一个地点进行频繁的补拍和重拍,加大了巡检员的劳动量,降低了工作效率;二是后期海量影像数据处理过程中,需要剔除不符合影像质量要求的照片,增加了后期的人工或自动数据处理的工作难度,基于此,本发明提出一种基于深度学习的电力设备在线感知与对焦算法。
发明内容
为了解决现有技术存在的问题,本发明提供了一种基于深度学习的电力设备在线感知与对焦算法用深度学习的手段捕捉典型电力设备在影像中位置,然后用对焦评价函数分析相机焦距设置是否合适,最后综合两者信息调整相机拍摄角度和焦距获得设备位于影像中心的清晰影像,算法的整个过程都是无人机在线完成和调整,无需人工介入,能够提高巡检工作的效率和质量。
为了实现上述目的,本发明是通过如下的技术方案来实现:一种基于深度学习的电力设备在线感知与对焦算法,所述算法包括以下步骤:
步骤一:控制无人机定点巡航;在电力巡检过程中,无人机操作人员控制无人机飞行至典型电力设备附近,飞行过程中,保证无人机周围没有障碍物遮挡,相机能大致拍摄到典型电力设备整体轮廓,满足以上条件后,无人机操作人员控制无人机在该点定点停留一段时间,开始采集影像,将影像数据传送至本地设备实施检测和分析;
步骤二:采集影像在线检测和分析;在线检测和分析由设备检测与感知模块和影像质量评价模块两个模块完成,实现过程如下:
①:设备检测与感知模块;设备检测与感知模块负责检测典型电力设备在影像中的位置和拍摄角度,其实现过程如下:
1):图像降采样;首先,因为无人机实时影像像幅一般较大,而本地设备的计算能力有限,大像幅影像无法做到实时检测的效果,因此要对原始影像做降采样处理,降低影像分辨率和大小,减少神经网络计算量,减少检测算法运行时间,实现实时检测的目的;
2):电力设备样本集;其次,为了能够用深度学习的方法识别出影像中设备的种类和位置,需要在训练样本上标注设备位置,建设设备样本集数据库(包括训练样本集和测试样本集),这里我们用标注软件在原始影像中标注出典型设备的位置信息,保存标注信息;
3):训练神经网络模型;有了足够多的训练样本集后,我们需要训练专有的神经网络模型来检测设备位置,一般大型网络架构如VGG、ResNet由于参数巨大,无法适应本地实时计算的要求,因此这里我们采用适用于移动设备上的小型神经网络,其设计思路类似于MobileNet的网络架构,将传统卷积神经网络中的卷积操作分离为一个深度卷积和一个点卷积,从而在不损失精度的情况下,大大降低了神经网络的参数量和计算量,按照无人机输入影像的大小,我们设计网络各层大小,调整神经网络的超参数,直至在测试集中预测结果达到要求;
4):电力设备感知和电力设备定位;得到最后神经网络模型后,就可以将其应用于典型电力设备的感知和定位了,先将无人机传输的影像降采样,然后将其送入神经网络模型即可预测出电力设备在影像中可能存在的位置和概率;
②:影像质量评价;影像质量评价模块负责评价影像质量是否符合工作要求,相机焦距设置是否合理,其实现过程如下:
1):对焦窗口;首先,为了减少计算量的同时减少背景信息的干扰,自动对焦过程中,只对所关心的目标对焦,需要在影像中选取一个固定的窗口,对焦窗口选取的具体方法是根据神经网络识别的设备位置作一个包围这些设备的最大外接矩形;
2):图像清晰度评价;为了评价对焦窗口内的影像质量,我们需要引入三种评价指标来衡量相机对焦状况,这三个指标分别是Tenengrad梯度、Laplace梯度和方差梯度;
步骤三:根据分析结果调整相机拍摄角度和焦距;在步骤二中,算法通过本地在线处理得到了典型电力设备在影像中的位置信息和影像质量信息,从得到的位置信息,我们可以判断相机拍摄角度和方向,典型电力设备是否位于影像中心,从得到的影像质量信息可以分析出电力设备在影像中清晰程度,从而判断影像是否符合实际生产需求,是否需要调整相机焦距和拍照角度,在本地设备上综合两者信息,分析影像是否符合要求,将必要的调整策略反馈至无人机控制系统,实时调整无人机拍摄角度和相机焦距,最后得到完整清晰的电力设备影像。
作为本发明的一种优选方式,在设备检测与感知模块的图像降采样过程中,使用Hermite插值,样条插值,双线性插值的方法对原始影像插值,最后得到影像长宽分别为原来四分之一的低分辨率影像。
作为本发明的一种优选方式,在设备检测与感知模块的电力设备样本集中,标注信息的保存格式为PASCALVOC数据集。
本发明的有益效果为:
1、本发明一种基于深度学习的电力设备在线感知与对焦算法用深度学习的手段捕捉典型电力设备在影像中位置,然后用对焦评价函数分析相机焦距设置是否合适,最后综合两者信息调整相机拍摄角度和焦距获得设备位于影像中心的清晰影像,算法的整个过程都是无人机在线完成和调整,无需人工介入,能够提高巡检工作的效率和质量。
2、本发明一种基于深度学习的电力设备在线感知与对焦算法在进行训练神经网络模型时,采用适用于移动设备上的小型神经网络,将传统卷积神经网络中的卷积操作分离为一个深度卷积和一个点卷积,从而能够在不损失精度的情况下,大大降低了神经网络的参数量和计算量。
3、本发明一种基于深度学习的电力设备在线感知与对焦算法设计合理,能够有效的解决影像对焦不准确、拍摄角度不合理和照片模糊等问题,避免在后期海量影像数据处理过程中需要剔除不符合影像质量要求的照片,从而降低后期的人工或自动数据处理的工作难度。
附图说明
图1为一种基于深度学习的电力设备在线感知与对焦算法的总体流程图;
图2为一种基于深度学习的电力设备在线感知与对焦算法的步骤流程图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
请参阅图1至图2,本发明提供一种技术方案:一种基于深度学习的电力设备在线感知与对焦算法,所述算法包括以下步骤:
步骤一:控制无人机定点巡航;在电力巡检过程中,无人机操作人员控制无人机飞行至典型电力设备附近,飞行过程中,保证无人机周围没有障碍物遮挡,相机能大致拍摄到典型电力设备整体轮廓,满足以上条件后,无人机操作人员控制无人机在该点定点停留一段时间,开始采集影像,将影像数据传送至本地设备实施检测和分析;
步骤二:采集影像在线检测和分析;在线检测和分析由设备检测与感知模块和影像质量评价模块两个模块完成,实现过程如下:
①:设备检测与感知模块;设备检测与感知模块负责检测典型电力设备在影像中的位置和拍摄角度,其实现过程如下:
1):图像降采样;首先,因为无人机实时影像像幅一般较大,而本地设备的计算能力有限,大像幅影像无法做到实时检测的效果,因此要对原始影像做降采样处理,降低影像分辨率和大小,减少神经网络计算量,减少检测算法运行时间,实现实时检测的目的;
2):电力设备样本集;其次,为了能够用深度学习的方法识别出影像中设备的种类和位置,需要在训练样本上标注设备位置,建设设备样本集数据库(包括训练样本集和测试样本集),这里用标注软件在原始影像中标注出典型设备的位置信息,保存标注信息;
3):训练神经网络模型;有了足够多的训练样本集后,需要训练专有的神经网络模型来检测设备位置,一般大型网络架构如VGG、ResNet由于参数巨大,无法适应本地实时计算的要求,因此这里采用适用于移动设备上的小型神经网络,其设计思路类似于MobileNet的网络架构,将传统卷积神经网络中的卷积操作分离为一个深度卷积和一个点卷积,从而在不损失精度的情况下,大大降低了神经网络的参数量和计算量,按照无人机输入影像的大小,设计网络各层大小,调整神经网络的超参数,直至在测试集中预测结果达到要求;
4):电力设备感知和电力设备定位;得到最后神经网络模型后,就可以将其应用于典型电力设备的感知和定位了,先将无人机传输的影像降采样,然后将其送入神经网络模型即可预测出电力设备在影像中可能存在的位置和概率;
②:影像质量评价;影像质量评价模块负责评价影像质量是否符合工作要求,相机焦距设置是否合理,其实现过程如下:
1):对焦窗口;首先,为了减少计算量的同时减少背景信息的干扰,自动对焦过程中,只对所关心的目标对焦,需要在影像中选取一个固定的窗口,对焦窗口选取的具体方法是根据神经网络识别的设备位置作一个包围这些设备的最大外接矩形;
2):图像清晰度评价;为了评价对焦窗口内的影像质量,需要引入三种评价指标来衡量相机对焦状况,这三个指标分别是Tenengrad梯度、Laplace梯度和方差梯度;
步骤三:根据分析结果调整相机拍摄角度和焦距;在步骤二中,算法通过本地在线处理得到了典型电力设备在影像中的位置信息和影像质量信息,从得到的位置信息,可以判断相机拍摄角度和方向,典型电力设备是否位于影像中心,从得到的影像质量信息可以分析出电力设备在影像中清晰程度,从而判断影像是否符合实际生产需求,是否需要调整相机焦距和拍照角度,在本地设备上综合两者信息,分析影像是否符合要求,将必要的调整策略反馈至无人机控制系统,实时调整无人机拍摄角度和相机焦距,最后得到完整清晰的电力设备影像。
作为本发明的一种优选方式,在设备检测与感知模块的图像降采样过程中,使用Hermite插值,样条插值,双线性插值的方法对原始影像插值,最后得到影像长宽分别为原来四分之一的低分辨率影像。
作为本发明的一种优选方式,在设备检测与感知模块的电力设备样本集中,标注信息的保存格式为PASCALVOC数据集。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种基于深度学习的电力设备在线感知与对焦算法,其特征在于,所述算法包括以下步骤:
步骤一:控制无人机定点巡航;在电力巡检过程中,无人机操作人员控制无人机飞行至典型电力设备附近,飞行过程中,保证无人机周围没有障碍物遮挡,相机能大致拍摄到典型电力设备整体轮廓,满足以上条件后,无人机操作人员控制无人机在该点定点停留一段时间,开始采集影像,将影像数据传送至本地设备实施检测和分析;
步骤二:采集影像在线检测和分析;在线检测和分析由设备检测与感知模块和影像质量评价模块两个模块完成,实现过程如下:
①:设备检测与感知模块;设备检测与感知模块负责检测典型电力设备在影像中的位置和拍摄角度,其实现过程如下:
1):图像降采样;首先,因为无人机实时影像像幅一般较大,而本地设备的计算能力有限,大像幅影像无法做到实时检测的效果,因此要对原始影像做降采样处理,降低影像分辨率和大小,减少神经网络计算量,减少检测算法运行时间,实现实时检测的目的;
2):电力设备样本集;其次,为了能够用深度学习的方法识别出影像中设备的种类和位置,需要在训练样本上标注设备位置,建设设备样本集数据库(包括训练样本集和测试样本集),这里我们用标注软件在原始影像中标注出典型设备的位置信息,保存标注信息;
3):训练神经网络模型;有了足够多的训练样本集后,我们需要训练专有的神经网络模型来检测设备位置,一般大型网络架构如VGG、ResNet由于参数巨大,无法适应本地实时计算的要求,因此这里我们采用适用于移动设备上的小型神经网络,其设计思路类似于MobileNet的网络架构,将传统卷积神经网络中的卷积操作分离为一个深度卷积和一个点卷积,从而在不损失精度的情况下,大大降低了神经网络的参数量和计算量,按照无人机输入影像的大小,我们设计网络各层大小,调整神经网络的超参数,直至在测试集中预测结果达到要求;
4):电力设备感知和电力设备定位;得到最后神经网络模型后,就可以将其应用于典型电力设备的感知和定位了,先将无人机传输的影像降采样,然后将其送入神经网络模型即可预测出电力设备在影像中可能存在的位置和概率;
②:影像质量评价;影像质量评价模块负责评价影像质量是否符合工作要求,相机焦距设置是否合理,其实现过程如下:
1):对焦窗口;首先,为了减少计算量的同时减少背景信息的干扰,自动对焦过程中,只对所关心的目标对焦,需要在影像中选取一个固定的窗口,对焦窗口选取的具体方法是根据神经网络识别的设备位置作一个包围这些设备的最大外接矩形;
2):图像清晰度评价;为了评价对焦窗口内的影像质量,我们需要引入三种评价指标来衡量相机对焦状况,这三个指标分别是Tenengrad梯度、Laplace梯度和方差梯度;
步骤三:根据分析结果调整相机拍摄角度和焦距;在步骤二中,算法通过本地在线处理得到了典型电力设备在影像中的位置信息和影像质量信息,从得到的位置信息,我们可以判断相机拍摄角度和方向,典型电力设备是否位于影像中心,从得到的影像质量信息可以分析出电力设备在影像中清晰程度,从而判断影像是否符合实际生产需求,是否需要调整相机焦距和拍照角度,在本地设备上综合两者信息,分析影像是否符合要求,将必要的调整策略反馈至无人机控制系统,实时调整无人机拍摄角度和相机焦距,最后得到完整清晰的电力设备影像。
2.根据权利要求1所述的一种基于深度学习的电力设备在线感知与对焦算法,其特征在于:在设备检测与感知模块的图像降采样过程中,使用Hermite插值,样条插值,双线性插值的方法对原始影像插值,最后得到影像长宽分别为原来四分之一的低分辨率影像。
3.根据权利要求1所述的一种基于深度学习的电力设备在线感知与对焦算法,其特征在于:在设备检测与感知模块的电力设备样本集中,标注信息的保存格式为PASCALVOC数据集。
CN201910244703.1A 2019-03-28 2019-03-28 一种基于深度学习的电力设备在线感知与对焦算法 Active CN111753588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910244703.1A CN111753588B (zh) 2019-03-28 2019-03-28 一种基于深度学习的电力设备在线感知与对焦算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910244703.1A CN111753588B (zh) 2019-03-28 2019-03-28 一种基于深度学习的电力设备在线感知与对焦算法

Publications (2)

Publication Number Publication Date
CN111753588A CN111753588A (zh) 2020-10-09
CN111753588B true CN111753588B (zh) 2022-11-22

Family

ID=72671539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910244703.1A Active CN111753588B (zh) 2019-03-28 2019-03-28 一种基于深度学习的电力设备在线感知与对焦算法

Country Status (1)

Country Link
CN (1) CN111753588B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422905B (zh) * 2020-11-05 2022-03-29 广东电网有限责任公司 一种电力设备图像采集方法、装置、设备和介质
CN112399084A (zh) * 2020-11-17 2021-02-23 广州极飞科技有限公司 无人机航拍方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法
CN108710863A (zh) * 2018-05-24 2018-10-26 东北大学 基于深度学习的无人机航拍场景语义分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于YOLO算法的无人机航拍图片绝缘子缺失检测;杨罡等;《科技资讯》;20180823(第24期);全文 *

Also Published As

Publication number Publication date
CN111753588A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN108890652B (zh) 一种变电站巡检机器人及变电站设备巡检方法
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
CN105407278A (zh) 一种全景视频交通态势监控系统及方法
CN101021604B (zh) 一种基于图像处理的动态目标自动变焦系统
CN111753588B (zh) 一种基于深度学习的电力设备在线感知与对焦算法
CN111738056B (zh) 一种基于改进YOLO v3的重卡盲区目标检测方法
CN109326125B (zh) 基于嵌入式系统的图片质量诊断系统及诊断方法
CN112528979A (zh) 变电站巡检机器人障碍物判别方法及系统
CN115880296A (zh) 基于机器视觉的预制构件质量检测方法及装置
CN116231504A (zh) 一种升压站远程智能巡检方法、装置及系统
DE102010025953A1 (de) Positionsmessvorrichtung und -verfahren
CN116797977A (zh) 巡检机器人动态目标识别与测温方法、装置和存储介质
CN113452926B (zh) 图像采集设备、系统及方法
CN108875555A (zh) 基于神经网络的视频兴趣区域和显著目标提取与定位系统
CN111402250A (zh) 基于边缘计算的机器视觉缺陷检测方法和平台
CN111915565B (zh) 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法
CN116894775B (zh) 基于相机运动模型恢复和超分辨率的螺栓图像预处理方法
CN116402713A (zh) 一种基于二维图像和几何形状的电力三维点云补全方法
CN115661694A (zh) 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备
CN112257514B (zh) 一种用于设备故障巡检的红外视觉智检的拍摄方法
CN112839168B (zh) 一种自动调整aoi检测系统中相机成像分辨率的方法
CN113936209A (zh) 巡逻机器人的协同作业方法及相关设备
CN110889378B (zh) 一种多视图融合交通标志检测识别方法及其系统
CN114445694A (zh) 巡检报告生成方法、装置、电子设备及存储介质
CN113177566A (zh) 一种特征提取模型训练方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant