CN111678602A - 基于stm32h7处理机的状态灯颜色识别系统 - Google Patents

基于stm32h7处理机的状态灯颜色识别系统 Download PDF

Info

Publication number
CN111678602A
CN111678602A CN202010484193.8A CN202010484193A CN111678602A CN 111678602 A CN111678602 A CN 111678602A CN 202010484193 A CN202010484193 A CN 202010484193A CN 111678602 A CN111678602 A CN 111678602A
Authority
CN
China
Prior art keywords
color
image
vector
module
stm32h7
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010484193.8A
Other languages
English (en)
Other versions
CN111678602B (zh
Inventor
廖兴旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Ruis Technology Co ltd
Original Assignee
Fujian Ruis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Ruis Technology Co ltd filed Critical Fujian Ruis Technology Co ltd
Priority to CN202010484193.8A priority Critical patent/CN111678602B/zh
Publication of CN111678602A publication Critical patent/CN111678602A/zh
Application granted granted Critical
Publication of CN111678602B publication Critical patent/CN111678602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J2003/466Coded colour; Recognition of predetermined colour; Determining proximity to predetermined colour
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

本发明公开了基于STM32H7处理机的状态灯颜色识别系统,涉及安防领域,包括:STM32H7主控制器、图像采集模块以及通信模块;所述STM32H7主控制器通过所述通信模块与所述图像采集模块通信连接;所述STM32H7主控制器包括:存储模块、场景识别模块、场景报错模块、状态颜色采集模块、状态识别模块、预设颜色校正模块;在本发明中,状态灯识别前先进行场景识别,避免摄像头被移动而直接进行状态灯识别而找不到状态灯而系统出错;同时,本发明还考虑到状态灯在恶劣环境中老化,而出现色偏,通过预设颜色校正模块对预设颜色进行校正,避免状态灯在使用过程中老化而造成颜色发送变化而不能被准确识别。

Description

基于STM32H7处理机的状态灯颜色识别系统
技术领域
本发明涉及安防领域,特别是涉及基于STM32H7处理机的状态灯颜色识别系统。
背景技术
在变电站或电气建筑施工场景中,存在各种各样的电气设备,并且根据电气设备运行情况,通过指示灯、翻牌器、状态灯等进行指示;传统状态灯的巡检是通过人工巡检,耗费人工成本且效率较低。在新式的技术中,也采用图像处理进行相关指示灯的识别,然而仍存在一定的问题,包括:1、摄像头被人为移动或受环境影响意外移动,而不能继续状态灯的监控识别;2、受户外环境等因素造成指示灯老化而色偏,造成图像识别错误。
发明内容
有鉴于现有技术的上述缺陷,本发明提供一种基于STM32H7处理机的状态灯颜色识别系统,旨在提高状态灯颜色识别的精确度。
为实现上述目的,本发明提供基于STM32H7处理机的状态灯颜色识别系统,所述系统包括:STM32H7主控制器、图像采集模块以及通信模块;所述STM32H7主控制器通过所述通信模块与所述图像采集模块通信连接;所述STM32H7主控制器包括:
存储模块,用于存储与所述图像采集模块相对应的初始场景的标准图像、所述标准图像中的状态灯的识别位置、状态灯的至少两种待选颜色信号所对应的预设颜色;
场景识别模块,用于获取所述图像采集模块所采集的第一图像,识别所述第一图像是否与所述标准图像所对应的场景是否匹配;
场景报错模块,用于响应于所述第一图像与所述标准图像所对应的场景不匹配,则输出场景出错报警;
状态颜色采集模块,用于响应于所述第一图像与所述标准图像所对应的场景相匹配,则根据所述识别位置,采集所述第一图像的所述识别位置的所述状态灯的第一采集颜色;
状态识别模块,用于在所述待选信号所对应的所述预设颜色中选取与所述第一采集颜色近似度最高的第一预设颜色,输出与所述第一预设颜色相对应的状态报警指令;
预设颜色校正模块,用于根据所述第一采集颜色,对所述第一预设颜色进行校正。
在实际应用中,一个摄像头可以对一个场景中的多个状态灯同时进行监控,在该技术方案中,在状态灯识别前先进行场景识别,避免摄像头被移动而直接进行状态灯识别而找不到状态灯而系统出错;同时,在该技术方案中,还考虑到状态灯在恶劣环境中老化,而出现色偏,通过预设颜色校正模块对预设颜色进行校正,避免状态灯在使用过程中老化而造成颜色发送变化而不能被准确识别。由于在状态灯缓慢老化中,颜色校正是在使用中持续性进行的,有效提供颜色识别能力。
在一具体实施方式中,所述场景识别模块,还包括:
第一数据获取单元,用于响应于所述第一图像与所述标准图像所对应的场景相匹配,识别所述第一图像中与所述标准图像相对应的至少两个特征点位,获取所述至少两个特征点位在所述第一图像中构成的第一向量,获取所述至少两个特征点位在所述标准图像中构成的第二向量;
旋转判断控制单元,用于判断所述第一向量是否与所述第二向量同向;所述旋转判断单元,响应于所述第一向量与所述第二向量不同向,则将所述第一图像旋转至以使所述第一向量与所述第二向量同向。
在该技术方案中,通过图像上的特征点位构成的向量,判断图像是否需要进行旋转,以便后续能够校正图像并根据状态灯位置进行颜色识别。
在一具体实施方式中,所述第一数据获取单元,用于获取两个特征点位中的第一图像中的第一点位位置(x1,y1)以及第二点位位置(x2,y2),获取所述两个特征点位中的标准图像中的第三点位位置(x3,y3)以及第四点位位置(x4,y4),根据所述第一点位位置(x1,y1)以及第二点位位置(x2,y2)获得所述第一向量(x2-x1,y2-y1),根据所述第三点位位置(x3,y3)以及第四点位位置(x4,y4)获得所述第二向量(x4-x3,y4-y3),比较所述第一向量(x2-x1,y2-y1)与所述第二向量(x4-x3,y4-y3)是否同向。
在一具体实施方式中,所述旋转判断控制单元,还用于响应于所述第一向量与所述第二向量不同向,根据所述第一向量(x2-x1,y2-y1)与所述第二向量(x4-x3,y4-y3),确定所述第一图像的旋转角
Figure BDA0002518377630000031
在该技术方案中,通过公式快速求解第一图像所需要的旋转角,以便对第一图像进行旋转,以便后续能够校正图像并根据状态灯位置进行颜色识别。
在一具体实施方式中,所述预设颜色校正模块,还用于对所述第一预设颜色进行校正;经衰减加权校正后的所述第一预设颜色的数据
Figure BDA0002518377630000041
其中,bn=an+λan-1+…+λn-1a1,an为所述第一采集颜色的历史采集值,n为正整数,λ为所述历史采集值的衰减系数;所述an包含HSV颜色值,所述an=(Hn,Sn,Vn)T;所述0<λ<1;所述a1为所述第一采集颜色的采集值或预设值。
由于越新的数据其与后续新数据的关联度越高,故而采用越高的加权系数,故而,在该技术方案中,旧数据需要通过衰减系数λ进行降权,实现对第一预设颜色的校正,避免因状态灯老花化造成色偏而影响状态识别。
在一具体实施方式中,所述状态识别模块,还包括:
预设颜色采集单元,用于获取所述预设颜色的预设HSV颜色值(H(TH,i),S(TH,i),V(TH,i))T,所述i为所述预设颜色的编号,所述i为正数;
采集颜色获取单元,用于获取所述第一采集颜色的HSV颜色值an=(Hn,Sn,Vn)T
近似度判断单元,用于求解所述第一采集颜色与各个预设HSV颜色值的距离Ri,输出所述距离Ri最小所对应的所述第一预设颜色相对应的状态报警指令;所述距离
Figure BDA0002518377630000042
该技术方案通过
Figure BDA0002518377630000043
来识别第一采集颜色与哪一个待选颜色最接近并识别出第一采集颜色所对应状态。
本发明的有益效果:1)、本发明在状态灯识别前先进行场景识别,避免摄像头被移动而直接进行状态灯识别而找不到状态灯而系统出错;2)、同时,本发明还考虑到状态灯在恶劣环境中老化,而出现色偏,通过预设颜色校正模块对预设颜色进行校正,避免状态灯在使用过程中老化而造成颜色发送变化而不能被准确识别。由于在状态灯缓慢老化中,颜色校正是在使用中持续性进行的,有效提供颜色识别能力。3)、本发明通过图像上的特征点位构成的向量,判断图像是否需要进行旋转,以便后续能够校正图像并根据状态灯位置进行颜色识别。
附图说明
图1是本发明提供的一种基于STM32H7处理机的状态灯颜色识别系统的系统框图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明:
如图1所示,在本发明第一实施例中,提供一种基于STM32H7处理机的状态灯颜色识别系统,所述系统包括:STM32H7主控制器、图像采集模块以及通信模块;所述STM32H7主控制器通过所述通信模块与所述图像采集模块通信连接;所述STM32H7主控制器包括:
存储模块,用于存储与所述图像采集模块相对应的初始场景的标准图像、所述标准图像中的状态灯的识别位置、状态灯的至少两种待选颜色信号所对应的预设颜色;
场景识别模块,用于获取所述图像采集模块所采集的第一图像,识别所述第一图像是否与所述标准图像所对应的场景是否匹配;
场景报错模块,用于响应于所述第一图像与所述标准图像所对应的场景不匹配,则输出场景出错报警;
状态颜色采集模块,用于响应于所述第一图像与所述标准图像所对应的场景相匹配,则根据所述识别位置,采集所述第一图像的所述识别位置的所述状态灯的第一采集颜色;
状态识别模块,用于在所述待选信号所对应的所述预设颜色中选取与所述第一采集颜色近似度最高的第一预设颜色,输出与所述第一预设颜色相对应的状态报警指令;
预设颜色校正模块,用于根据所述第一采集颜色,对所述第一预设颜色进行校正。
在本实施例中,所述场景识别模块,还包括:
第一数据获取单元,用于响应于所述第一图像与所述标准图像所对应的场景相匹配,识别所述第一图像中与所述标准图像相对应的至少两个特征点位,获取所述至少两个特征点位在所述第一图像中构成的第一向量,获取所述至少两个特征点位在所述标准图像中构成的第二向量;
旋转判断控制单元,用于判断所述第一向量是否与所述第二向量同向;所述旋转判断单元,响应于所述第一向量与所述第二向量不同向,则将所述第一图像旋转至以使所述第一向量与所述第二向量同向。
在本实施例中,所述第一数据获取单元,用于获取两个特征点位中的第一图像中的第一点位位置(x1,y1)以及第二点位位置(x2,y2),获取所述两个特征点位中的标准图像中的第三点位位置(x3,y3)以及第四点位位置(x4,y4),根据所述第一点位位置(x1,y1)以及第二点位位置(x2,y2)获得所述第一向量(x2-x1,y2-y1),根据所述第三点位位置(x3,y3)以及第四点位位置(x4,y4)获得所述第二向量(x4-x3,y4-y3),比较所述第一向量(x2-x1,y2-y1)与所述第二向量(x4-x3,y4-y3)是否同向。
在本实施例中,所述旋转判断控制单元,还用于响应于所述第一向量与所述第二向量不同向,根据所述第一向量(x2-x1,y2-y1)与所述第二向量(x4-x3,y4-y3),确定所述第一图像的旋转角
Figure BDA0002518377630000071
在本实施例中,所述预设颜色校正模块,还用于对所述第一预设颜色进行校正;经衰减加权校正后的所述第一预设颜色的数据
Figure BDA0002518377630000072
其中,bn=an+λan-1+…+λn-1a1,an为所述第一采集颜色的历史采集值,n为正整数,λ为所述历史采集值的衰减系数;所述an包含HSV颜色值,所述an=(Hn,Sn,Vn)T;所述0<λ<1;所述a1为所述第一采集颜色的采集值或预设值。
在本实施例中,所述状态识别模块,还包括:
预设颜色采集单元,用于获取所述预设颜色的预设HSV颜色值(H(TH,i),S(TH,i),V(TH,i))T,所述i为所述预设颜色的编号,所述i为正数;
采集颜色获取单元,用于获取所述第一采集颜色的HSV颜色值an=(Hn,Sn,Vn)T
近似度判断单元,用于求解所述第一采集颜色与各个预设HSV颜色值的距离Ri,输出所述距离Ri最小所对应的所述第一预设颜色相对应的状态报警指令;所述距离
Figure BDA0002518377630000081
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的实施例,皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.基于STM32H7处理机的状态灯颜色识别系统,其特征在于,所述系统包括:STM32H7主控制器、图像采集模块以及通信模块;所述STM32H7主控制器通过所述通信模块与所述图像采集模块通信连接;所述STM32H7主控制器包括:
存储模块,用于存储与所述图像采集模块相对应的初始场景的标准图像、所述标准图像中的状态灯的识别位置、状态灯的至少两种待选颜色信号所对应的预设颜色;
场景识别模块,用于获取所述图像采集模块所采集的第一图像,识别所述第一图像是否与所述标准图像所对应的场景是否匹配;
场景报错模块,用于响应于所述第一图像与所述标准图像所对应的场景不匹配,则输出场景出错报警;
状态颜色采集模块,用于响应于所述第一图像与所述标准图像所对应的场景相匹配,则根据所述识别位置,采集所述第一图像的所述识别位置的所述状态灯的第一采集颜色;
状态识别模块,用于在所述待选信号所对应的所述预设颜色中选取与所述第一采集颜色近似度最高的第一预设颜色,输出与所述第一预设颜色相对应的状态报警指令;
预设颜色校正模块,用于根据所述第一采集颜色,对所述第一预设颜色进行校正。
2.如权利要求1所述的一种基于STM32H7处理机的状态灯颜色识别系统,其特征在于,所述场景识别模块,还包括:
第一数据获取单元,用于响应于所述第一图像与所述标准图像所对应的场景相匹配,识别所述第一图像中与所述标准图像相对应的至少两个特征点位,获取所述至少两个特征点位在所述第一图像中构成的第一向量,获取所述至少两个特征点位在所述标准图像中构成的第二向量;
旋转判断控制单元,用于判断所述第一向量是否与所述第二向量同向;所述旋转判断单元,响应于所述第一向量与所述第二向量不同向,则将所述第一图像旋转至以使所述第一向量与所述第二向量同向。
3.如权利要求2所述的一种基于STM32H7处理机的状态灯颜色识别系统,其特征在于,所述第一数据获取单元,用于获取两个特征点位中的第一图像中的第一点位位置(x1,y1)以及第二点位位置(x2,y2),获取所述两个特征点位中的标准图像中的第三点位位置(x3,y3)以及第四点位位置(x4,y4),根据所述第一点位位置(x1,y1)以及第二点位位置(x2,y2)获得所述第一向量(x2-x1,y2-y1),根据所述第三点位位置(x3,y3)以及第四点位位置(x4,y4)获得所述第二向量(x4-x3,y4-y3),比较所述第一向量(x2-x1,y2-y1)与所述第二向量(x4-x3,y4-y3)是否同向。
4.如权利要求3所述的一种基于STM32H7处理机的状态灯颜色识别系统,其特征在于,所述旋转判断控制单元,还用于响应于所述第一向量与所述第二向量不同向,根据所述第一向量(x2-x1,y2-y1)与所述第二向量(x4-x3,y4-y3),确定所述第一图像的旋转角
Figure FDA0002518377620000021
5.如权利要求1所述的一种基于STM32H7处理机的状态灯颜色识别系统,其特征在于,所述预设颜色校正模块,还用于对所述第一预设颜色进行校正;经衰减加权校正后的所述第一预设颜色的数据
Figure FDA0002518377620000031
其中,bn=an+λan-1+…+λn-1a1,an为所述第一采集颜色的历史采集值,n为正整数,λ为所述历史采集值的衰减系数;所述an包含HSV颜色值,所述an=(Hn,Sn,Vn)T;所述0<λ<1;所述a1为所述第一采集颜色的采集值或预设值。
6.如权利要求3所述的一种基于STM32H7处理机的状态灯颜色识别系统,其特征在于,所述状态识别模块,还包括:
预设颜色采集单元,用于获取所述预设颜色的预设HSV颜色值(H(TH,i),S(TH,i),V(TH,i))T,所述i为所述预设颜色的编号,所述i为正数;
采集颜色获取单元,用于获取所述第一采集颜色的HSV颜色值an=(Hn,Sn,Vn)T
近似度判断单元,用于求解所述第一采集颜色与各个预设HSV颜色值的距离Ri,输出所述距离Ri最小所对应的所述第一预设颜色相对应的状态报警指令;所述距离
Figure FDA0002518377620000032
CN202010484193.8A 2020-06-01 2020-06-01 基于stm32h7处理机的状态灯颜色识别系统 Active CN111678602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010484193.8A CN111678602B (zh) 2020-06-01 2020-06-01 基于stm32h7处理机的状态灯颜色识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010484193.8A CN111678602B (zh) 2020-06-01 2020-06-01 基于stm32h7处理机的状态灯颜色识别系统

Publications (2)

Publication Number Publication Date
CN111678602A true CN111678602A (zh) 2020-09-18
CN111678602B CN111678602B (zh) 2022-05-17

Family

ID=72434704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010484193.8A Active CN111678602B (zh) 2020-06-01 2020-06-01 基于stm32h7处理机的状态灯颜色识别系统

Country Status (1)

Country Link
CN (1) CN111678602B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001311663A (ja) * 2000-04-27 2001-11-09 Ando Electric Co Ltd 光の色識別方法,表示灯の点灯色識別方法及びその方法を実施する装置,光電気変換回路
CN106514654A (zh) * 2016-11-11 2017-03-22 国网浙江宁海县供电公司 一种机器人巡检方法和巡检机器人
CN108009555A (zh) * 2017-12-15 2018-05-08 上海索广电子有限公司 一种led指示灯颜色识别系统
CN109711414A (zh) * 2018-12-19 2019-05-03 国网四川省电力公司信息通信公司 基于摄像头图像采集的设备指示灯颜色识别方法及系统
CN110134111A (zh) * 2019-05-16 2019-08-16 哈尔滨理工大学 一种基于信号灯识别的机房设备故障检测装置与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001311663A (ja) * 2000-04-27 2001-11-09 Ando Electric Co Ltd 光の色識別方法,表示灯の点灯色識別方法及びその方法を実施する装置,光電気変換回路
CN106514654A (zh) * 2016-11-11 2017-03-22 国网浙江宁海县供电公司 一种机器人巡检方法和巡检机器人
CN108009555A (zh) * 2017-12-15 2018-05-08 上海索广电子有限公司 一种led指示灯颜色识别系统
CN109711414A (zh) * 2018-12-19 2019-05-03 国网四川省电力公司信息通信公司 基于摄像头图像采集的设备指示灯颜色识别方法及系统
CN110134111A (zh) * 2019-05-16 2019-08-16 哈尔滨理工大学 一种基于信号灯识别的机房设备故障检测装置与方法

Also Published As

Publication number Publication date
CN111678602B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN111255636B (zh) 确定风力发电机组的塔架净空的方法和装置
CN111639647B (zh) 指示灯状态识别方法、装置、计算机设备及存储介质
CN111563896B (zh) 一种用于接触网异常检测的图像处理方法
CN107092905B (zh) 一种电力巡检机器人的待识别仪器定位方法
CN115512252B (zh) 基于无人机的电网巡检自动化方法及系统
CN116297199B (zh) 一种基于机器视觉自动检测锂电池参数的检测系统
CN111401357A (zh) 基于文本检测的指针式仪表读数方法
CN111289111B (zh) 自标校红外体温快速检测方法及检测装置
CN112461845A (zh) 一种基于双光一体的太阳能电池板彩虹纹检测方法
CN111678602B (zh) 基于stm32h7处理机的状态灯颜色识别系统
CN114460963A (zh) 变电站无人机自动巡检系统及其运行方法
CN111539329B (zh) 一种自适应的变电站指针仪表识别方法
CN115931895A (zh) 一种输电线路缺陷的校验方法和装置
CN107833204B (zh) 一种基于拓扑匹配的变电站设备红外图像的视觉检测方法
CN113709065A (zh) 交换机的面板灯的自动检测方法、系统、设备及存储介质
CN111435080B (zh) 一种水位测量方法、装置及系统
CN117351021B (zh) 一种光伏连接线生产质量智能检测方法
CN116740397A (zh) 发电机定子线棒的故障检测方法、装置、电子设备和介质
CN116843602B (zh) 一种缺陷检测方法及视觉检测设备
CN116231576B (zh) 一种继电保护装置的定检智能识别方法、装置及设备
KR101992847B1 (ko) 이미지 기반으로 식별 가능한 gcp와 uav를 이용한 지리 데이터 취득 시스템 및 그 방법
CN116843769A (zh) 范数空间的信号灯检测方法及装置、可读存储介质
CN116128796A (zh) 摄像头补光灯的自动化测试方法、装置、设备及存储介质
CN106098323B (zh) 电压连续式交流调压器
CN115393273A (zh) 电力线巡检方法及巡检平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant