CN111862172B - 变电所辅助监控系统状态指示灯全天候识别方法及系统 - Google Patents

变电所辅助监控系统状态指示灯全天候识别方法及系统 Download PDF

Info

Publication number
CN111862172B
CN111862172B CN202010789683.9A CN202010789683A CN111862172B CN 111862172 B CN111862172 B CN 111862172B CN 202010789683 A CN202010789683 A CN 202010789683A CN 111862172 B CN111862172 B CN 111862172B
Authority
CN
China
Prior art keywords
image
registration
indicator lamp
algorithm
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010789683.9A
Other languages
English (en)
Other versions
CN111862172A (zh
Inventor
王辉
卜燕
陈元春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jiaoda Guangmang Technology Co ltd
Original Assignee
Chengdu Jiaoda Guangmang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jiaoda Guangmang Technology Co ltd filed Critical Chengdu Jiaoda Guangmang Technology Co ltd
Priority to CN202010789683.9A priority Critical patent/CN111862172B/zh
Publication of CN111862172A publication Critical patent/CN111862172A/zh
Application granted granted Critical
Publication of CN111862172B publication Critical patent/CN111862172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请提供变电所辅助监控系统状态指示灯全天候识别方法及系统,包括:A、通过相机获取指示灯的第一实测图像,同时获取指示灯的标准图像;B、按同样的划分方式将所述第一实测图像和所述标准图像分别划分为N*N个区域;其中N为大于1的整数;C、对所述第一实测图像和所述标准图像对应的各个区域进行配准,得到M组配准点组;其中,M小于等于N*N;D、将所述M组配准点组合成全图对应的特征点,分别采用RANSAC算法、LMEDS算法和RHO算法提取最优的配准点组;E、对所述配准点组进行求并处理后使用采用最小二乘法做最优配准处理;F、根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态。

Description

变电所辅助监控系统状态指示灯全天候识别方法及系统
技术领域
本申请涉及图像识别技术领域,具体而言,涉及变电所辅助监控系统状态指示灯全天候识别方法及系统。
背景技术
指示灯识别目前有定位和状态分析两个工作,目前有的方案采用深度学习对不同状态的指示灯进行训练,从而解决定位和分析状态的工作。但是这种方法需要使用大量数据进行训练,适用性较差。有的方案则采用对指示灯先定位再分析的方法,定位采用配准方式,识别采用对灯颜色进行分析;但是,变电站需要全天候监测,为了兼顾夜晚对图像质量的保证,所以采用近红外光拍摄,白天的彩色图像变为黑白图像,进行颜色分析就会存在干扰。所以需要提供一种方案以便于更方便准确地识别指示灯的状态。
发明内容
本申请的目的在于提供变电所辅助监控系统状态指示灯全天候识别方法及系统,用以实现更方便准确地识别指示灯的状态的技术效果。
第一方面,本申请实施例提供了变电所辅助监控系统状态指示灯全天候识别方法,包括:
A、通过相机获取指示灯的第一实测图像,同时获取指示灯的标准图像;
B、按同样的划分方式将所述第一实测图像和所述标准图像分别划分为N*N个区域;其中N为大于1的整数;
C、对所述第一实测图像和所述标准图像对应的各个区域进行配准,得到M组配准点组;其中,M小于等于N*N;
D、将所述M组配准点组合成全图对应的特征点,分别采用RANSAC算法、LMEDS算法和RHO算法提取最优的配准点组;
E、对所述配准点组进行求并处理后使用采用最小二乘法做最优配准处理;
F、根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态。
进一步地,所述步骤F之前还包括:对最优配准处理后的图像进行验证,分析配准是否有效,若配准有效;则继续执行步骤F;否则调整相机的位置获取第二实测图像后重新执行步骤B~步骤E。
进一步地,所述分析配准是否有效的方式为:对最优配准处理后的第一图像和标准图像进行四个角点和四边的验证。
进一步地,所述步骤C包括:提取所述第一实测图像的第一ORB特征点和第一BRISK特征点,将所述第一ORB特征点和第一BRISK特征点进行融合;以及提取所述标准图像的第二ORB特征点和第二BRISK特征点,将所述第二ORB特征点和第二BRISK特征点进行融合;利用汉明距离和RANSAC算法进行最优匹配的计算,获取M组有效的配准点组。
进一步地,所述相机获取到的第一实测图像为彩色图像或者近红外图像。
进一步地,所述步骤F包括:提取最优配准处理后的图像的HSV特性值,根据所述HSV特性值分析指示灯的亮灭状态。
第二方面,本申请实施例提供了变电所辅助监控系统状态指示灯全天候识别系统,包括:
获取模块,用于通过相机获取指示灯的第一实测图像,同时获取指示灯的标准图像;
分块模块,用于按同样的划分方式将所述第一实测图像和所述标准图像分别划分为N*N个区域;其中N为大于1的整数;
第一配准模块,用于对所述第一实测图像和所述标准图像对应的各个区域进行配准,得到M组配准点组;
提取模块,用于将所述M组配准点组合成全图对应的特征点,分别采用RANSAC算法、LMEDS算法和RHO算法提取最优的配准点组;
第二配准模块,用于对所述配准点组进行求并处理后使用采用最小二乘法做最优配准处理;
识别模块,用于根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态。
进一步地,所述变电所辅助监控系统状态指示灯全天候识别系统还包括:验证模块,所述验证模块用于对最优配准处理后的图像进行验证,分析配准是否有效;若配准有效,则识别模块继续根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态;否则调整相机的位置获取第二实测图像后重新发送给分块模块、第一配准模块、提取模块和第二配准模块依次进行处理。
本申请能够实现的有益效果是:本申请提供的变电所辅助监控系统状态指示灯全天候识别方法可以全天候进行指示灯的识别,兼容多模态图像,能够同时处理彩色图像和近红外图像,可靠性更高,适应性更强。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的变电所辅助监控系统状态指示灯全天候识别方法流程示意图;
图2为本申请实施例提供的变电所辅助监控系统状态指示灯全天候识别系统拓扑结构示意图。
图标:10-变电所辅助监控系统状态指示灯全天候识别系统;100-获取模块;200-分块模块;300-第一配准模块;400-提取模块;500-第二配准模块;600-识别模块;700-验证模块。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参看图1,图1为本申请实施例提供的变电所辅助监控系统状态指示灯全天候识别方法流程示意图。
本申请实施例提供的变电所辅助监控系统状态指示灯全天候识别方法包括以下步骤:
A、通过相机获取指示灯的第一实测图像,同时获取指示灯的标准图像;
在一种实施方式中,相机获取到的指示灯的第一实测图像可以是彩色图像也可以是近红外图像;标准图像为相机正对着指示灯拍摄的图像。
B、按同样的划分方式将第一实测图像和标准图像分别划分为N*N个区域;其中N为大于1的整数;
在一种实施方式中,N可以设为3,按照同样的划分方式可以将第一实测图像和标准图像分别划分9个区域。需要说明的是,N也可以取2、4等,可以根据实际情况进行选择。
C、对第一实测图像和标准图像对应的各个区域进行配准,得到M组配准点组;其中,M小于等于N*N;
在一种实施方式中,当第一实测图像和标准图像完成区域划分后就可以对第一实测图像和标准图像对应的各个区域进行配准,得到M组配准点组,其中M小于等于N*N。
具体地,可以提取第一实测图像的第一ORB特征点和第一BRISK特征点,将第一ORB特征点和第一BRISK特征点进行融合;以及提取标准图像的第二ORB特征点和第二BRISK特征点,将第二ORB特征点和第二BRISK特征点进行融合;
利用汉明距离和RANSAC算法进行最优匹配的计算,获取M组有效的配准点组。
需要说明的是,为了提高识别的精度,特征点并不局限于只提取ORB特征点和BRISK特征点,也可以结合SURF特征点、FAST特征点等目前常用的特征点,进行多种特征点的融合。
D、将M组配准点组合成全图对应的特征点,分别采用RANSAC算法、LMEDS算法和RHO算法提取最优的配准点组;
在一种实施方式中,在获取到M组配准点组后,就可以分别采用RANSAC算法、LMEDS算法和RHO算法提取最优的配准点组,获得3种方法对应的配准点组。
E、对配准点组进行求并处理后使用采用最小二乘法做最优配准处理;
在一种实施方式中,在获取到3种方法对应的配准点组后,就可以对3个配准点组进行求并处理,及求3个配准点组的并集;然后使用最小二乘法做最优配准处理。
F、根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态。
在一种实施方式中,在对第一实测图像和标准图像进行最优配准处理后就可以分析第一实测图像中指示灯的灰度值,识别指示灯的状态。
具体地,可以提取最优配准处理后的图像的HSV特性值,然后根据该HSV特性值分析明度向量(从0到255),确认指示灯的亮灭状态。例如当指示灯亮时明度向量在200左右;当指示灯灭时,亮度在50左右。需要说明的是,指示灯亮时和灭时的明度向量可以根据指示灯的实际情况进行调整,并不局限于上述值。
在一种实施方式中,为了提高识别的准确性,还可以对最优配准处理后的图像进行验证,分析配准是否有效,若配准有效;则继续执行步骤F;否则调整相机的位置获取第二实测图像后重新执行步骤B~步骤E。
具体地,可以对最优配准处理后的第一图像和标准图像进行四个角点和四边的验证。
请参看图2,图2为本申请实施例提供的变电所辅助监控系统状态指示灯全天候识别系统拓扑结构示意图。
本申请实施例还提供一种变电所辅助监控系统状态指示灯全天候识别系统10,包括获取模块100,用于通过相机获取指示灯的第一实测图像,标准图像为相机正对着指示灯拍摄的图像;分块模块200,用于按同样的划分方式将第一实测图像和标准图像分别划分为N*N个区域;其中N为大于1的整数;第一配准模块300,用于对第一实测图像和标准图像对应的各个区域进行配准,得到M组配准点组;提取模块400,用于将M组配准点组合成全图对应的特征点,分别采用RANSAC算法、LMEDS算法和RHO算法提取最优的配准点组;第二配准模块500,用于对配准点组进行求并处理后使用采用最小二乘法做最优配准处理;识别模块600,用于根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态。
在一种实施方式中,变电所辅助监控系统状态指示灯全天候识别系统10还包括验证模块700,验证模块700用于对最优配准处理后的图像进行验证,分析配准是否有效;若配准有效,则识别模块600继续根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态;否则调整相机的位置获取第二实测图像后重新发送给分块模块200、第一配准模块300、提取模块400和第二配准模块500依次进行处理。
综上所述,本申请实施例提供变电所辅助监控系统状态指示灯全天候识别方法及系统,包括:A、通过相机获取指示灯的第一实测图像;B、获取指示灯的标准图像,按同样的划分方式将第一实测图像和标准图像分别划分为N*N个区域;其中N为大于1的整数;C、对第一实测图像和标准图像对应的各个区域进行配准,得到M组配准点组;其中,M小于等于N*N;D、将M组配准点组合成全图对应的特征点,分别采用RANSAC算法、LMEDS算法和RHO算法提取最优的配准点组;E、对配准点组进行求并处理后使用采用最小二乘法做最优配准处理;F、根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.变电所辅助监控系统状态指示灯全天候识别方法,其特征在于,包括:
A、通过相机获取指示灯的第一实测图像,同时获取指示灯的标准图像;
B、按同样的划分方式将所述第一实测图像和所述标准图像分别划分为N*N个区域;其中N为大于1的整数;
C、对所述第一实测图像和所述标准图像对应的各个区域进行配准,得到M组配准点组;其中,M小于等于N*N;
D、将所述M组配准点组合成全图对应的特征点,分别采用RANSAC算法、LMEDS算法和RHO算法提取最优的配准点组;
E、对采用RANSAC算法、LMEDS算法和RHO算法分别提取出的三种最优的配准点组进行求并处理后使用采用最小二乘法做最优配准处理;
F、根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态。
2.根据权利要求1所述的方法,其特征在于,所述步骤F之前还包括:
对最优配准处理后的图像进行验证,分析配准是否有效,若配准有效;则继续执行步骤F;否则调整相机的位置获取第二实测图像后重新执行步骤B~步骤E。
3.根据权利要求2所述的方法,其特征在于,所述分析配准是否有效的方式为:对最优配准处理后的第一图像和标准图像进行四个角点和四边的验证。
4.根据权利要求1所述的方法,其特征在于,所述步骤C包括:
提取所述第一实测图像的第一ORB特征点和第一BRISK特征点,将所述第一ORB特征点和第一BRISK特征点进行融合;以及提取所述标准图像的第二ORB特征点和第二BRISK特征点,将所述第二ORB特征点和第二BRISK特征点进行融合;
利用汉明距离和RANSAC算法进行最优匹配的计算,获取M组有效的配准点组。
5.根据权利要求1所述的方法,其特征在于,所述相机获取到的第一实测图像为彩色图像或者近红外图像。
6.根据权利要求1所述的方法,其特征在于,所述步骤F包括:
提取最优配准处理后的图像的HSV特性值,根据所述HSV特性值分析指示灯的亮灭状态。
7.变电所辅助监控系统状态指示灯全天候识别系统,其特征在于,包括:
获取模块,用于通过相机获取指示灯的第一实测图像,同时获取指示灯的标准图像;
分块模块,用于按同样的划分方式将所述第一实测图像和所述标准图像分别划分为N*N个区域;其中N为大于1的整数;
第一配准模块,用于对所述第一实测图像和所述标准图像对应的各个区域进行配准,得到M组配准点组;
提取模块,用于将所述M组配准点组合成全图对应的特征点,分别采用RANSAC算法、LMEDS算法和RHO算法提取最优的配准点组;
第二配准模块,用于对采用RANSAC算法、LMEDS算法和RHO算法分别提取出的三种最优的配准点组进行求并处理后使用采用最小二乘法做最优配准处理;
识别模块,用于根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态。
8.根据权利要求7所述的变电所辅助监控系统状态指示灯全天候识别系统,其特征在于,所述变电所辅助监控系统状态指示灯全天候识别系统还包括:验证模块,所述验证模块用于对最优配准处理后的图像进行验证,分析配准是否有效;若配准有效,则识别模块继续根据最优配准处理后的图像分析指示灯的灰度值,识别指示灯的状态;否则调整相机的位置获取第二实测图像后重新发送给分块模块、第一配准模块、提取模块和第二配准模块依次进行处理。
CN202010789683.9A 2020-08-07 2020-08-07 变电所辅助监控系统状态指示灯全天候识别方法及系统 Active CN111862172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010789683.9A CN111862172B (zh) 2020-08-07 2020-08-07 变电所辅助监控系统状态指示灯全天候识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010789683.9A CN111862172B (zh) 2020-08-07 2020-08-07 变电所辅助监控系统状态指示灯全天候识别方法及系统

Publications (2)

Publication Number Publication Date
CN111862172A CN111862172A (zh) 2020-10-30
CN111862172B true CN111862172B (zh) 2023-08-01

Family

ID=72972513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010789683.9A Active CN111862172B (zh) 2020-08-07 2020-08-07 变电所辅助监控系统状态指示灯全天候识别方法及系统

Country Status (1)

Country Link
CN (1) CN111862172B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461132A (zh) * 2018-10-31 2019-03-12 中国人民解放军国防科技大学 基于特征点几何拓扑关系的sar图像自动配准方法
CN111209834A (zh) * 2019-12-31 2020-05-29 合肥赛为智能有限公司 一种orb机器人图像配准方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060251327A1 (en) * 2002-12-20 2006-11-09 Miroslav Trajkovic Light invariant face recognition
CN100583146C (zh) * 2008-07-04 2010-01-20 浙江大学 一种基于加权采样的图像特征点匹配方法
JP2012221053A (ja) * 2011-04-05 2012-11-12 Canon Inc 画像認識装置、画像認識方法、及びプログラム
US9245201B1 (en) * 2013-03-15 2016-01-26 Excelis Inc. Method and system for automatic registration of images
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN107392116A (zh) * 2017-06-30 2017-11-24 广州广电物业管理有限公司 一种指示灯识别方法和系统
CN107505614B (zh) * 2017-07-20 2020-07-31 上海无线电设备研究所 一种基于ati-sar图像幅相信息融合的目标检测方法
CN109271844B (zh) * 2018-07-29 2023-03-28 国网上海市电力公司 基于OpenCV的电气柜电气符号识别方法
CN109409395A (zh) * 2018-07-29 2019-03-01 国网上海市电力公司 在电力监控中采用模板匹配法识别目标物体区域电气符号的方法
CN110111387B (zh) * 2019-04-19 2021-07-27 南京大学 一种基于表盘特征的指针表定位及读数方法
CN111079786A (zh) * 2019-11-15 2020-04-28 北京理工大学 一种基于ROS和Gazebo的旋转相机特征匹配算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461132A (zh) * 2018-10-31 2019-03-12 中国人民解放军国防科技大学 基于特征点几何拓扑关系的sar图像自动配准方法
CN111209834A (zh) * 2019-12-31 2020-05-29 合肥赛为智能有限公司 一种orb机器人图像配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像特征点匹配算法研究;刘莉娜;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第1期);I138-398 *

Also Published As

Publication number Publication date
CN111862172A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN109325964B (zh) 一种人脸追踪方法、装置及终端
CN110705405B (zh) 目标标注的方法及装置
CN111325769B (zh) 一种目标对象检测方法及装置
CN106056594A (zh) 一种基于双光谱的可见光图像提取系统与方法
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
Kortli et al. A novel illumination-invariant lane detection system
US8989481B2 (en) Stereo matching device and method for determining concave block and convex block
CN110490171B (zh) 一种危险姿态识别方法、装置、计算机设备及存储介质
Li et al. Road vehicle monitoring system based on intelligent visual internet of things
CN116168351B (zh) 电力设备巡检方法及装置
CN111582118A (zh) 一种人脸识别方法及装置
CN109740526B (zh) 信号灯识别方法、装置、设备及介质
CN104715250A (zh) 十字激光检测方法和装置
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
CN111862172B (zh) 变电所辅助监控系统状态指示灯全天候识别方法及系统
CN111402185B (zh) 一种图像检测方法及装置
CN110322508B (zh) 一种基于计算机视觉的辅助定位方法
Amin et al. An automatic number plate recognition of Bangladeshi vehicles
CN110119769A (zh) 一种基于多模态车辆特征的检测预警方法
CN108898573B (zh) 基于多方向环形梯度法的红外小目标快速提取方法
CN112733722A (zh) 姿态识别方法、装置、系统及计算机可读存储介质
CN110910379A (zh) 一种残缺检测方法及装置
CN108629805B (zh) 一种基于图像分层技术的显著性物体检测方法及系统
US20230316535A1 (en) Image detection method, device, and apparatus, and storage medium
CN117218162B (zh) 一种基于ai的全景追踪控视系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant