CN106600580A - 一种基于霍夫变换的电力线异常识别方法及其系统 - Google Patents

一种基于霍夫变换的电力线异常识别方法及其系统 Download PDF

Info

Publication number
CN106600580A
CN106600580A CN201611082276.4A CN201611082276A CN106600580A CN 106600580 A CN106600580 A CN 106600580A CN 201611082276 A CN201611082276 A CN 201611082276A CN 106600580 A CN106600580 A CN 106600580A
Authority
CN
China
Prior art keywords
parameter
power line
image
pixel
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611082276.4A
Other languages
English (en)
Other versions
CN106600580B (zh
Inventor
徐新民
单嘉琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201611082276.4A priority Critical patent/CN106600580B/zh
Publication of CN106600580A publication Critical patent/CN106600580A/zh
Application granted granted Critical
Publication of CN106600580B publication Critical patent/CN106600580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于霍夫变换的电力线异常识别方法及其系统,其根据天空背景颜色单一、干扰源少的实际场景特征采用背景差分法分离前景和背景;再通过改进型霍夫变换提取出电力线轮廓,解决了传统的霍夫变换往往存在将一条直线检测成多条倾角相似的直线的问题并进一步提高了算法的准确性;最后根据倾斜角、长度和数量等参数判断是否存在电力线断股。由此,本发明能够准确识别电力线和发生断股的位置,具有运算速度快、鲁棒性高的优点,能够移植于DSP图像处理平台,是涉及图像处理算法和嵌入式开发技术。

Description

一种基于霍夫变换的电力线异常识别方法及其系统
技术领域
本发明属于图像检测技术领域,具体涉及一种基于霍夫变换的电力线异常识别方法及其系统。
背景技术
随着经济的快速发展,电能需求还将不断增加,确保供电设备的安全可靠地运作显得十分重要。输电线作为电力传输的载体,是输电线路的重要组成部分,它具有大容量和长距离传送、高可靠性、稳定性等优点。随着建设区域的不断扩大,经过的地理环境将更加恶劣复杂,如高山、沼泽、湖泊等地,大部分输电线暴露在荒野中,被自然环境腐蚀和破坏,如果不及时发现缺陷并修复会导致严重的安全事故,影响民众的生活生产用电,所以需要对输电线走廊进行定期巡检和维护。另一方面,人工巡检工作量大且很多地方不易接近,应该引入一种自动准确识别的方法以达到自动巡检的目标。
发明内容
鉴于上述,本发明提供了一种基于霍夫变换的电力线异常识别方法及其系统,能够准确识别电力线和发生断股的位置,具有运算速度快、鲁棒性高的优点,能够移植于DSP图像处理平台,是涉及图像处理算法和嵌入式开发技术。
一种基于霍夫变换的电力线异常识别方法,包括如下步骤:
(1)对采集到的视频图像进行灰度化处理;
(2)对灰度化后的视频图像进行背景差分及前景分离,得到差分前景图像;
(3)对所述差分前景图像进行改进型霍夫变换,输出得到对应多条直线的参数对(P,θ),其中P和θ分别为直线在图像坐标系中的截距和夹角;
(4)根据步骤(3)输出得到的参数对(P,θ),结合事先设定的电力线实际参数进行逻辑分析,以判断是否存在电力线异常情况。
所述步骤(1)中对视频图像进行灰度化处理的具体方法为:对于视频图像中的任一像素点,若t>150,则该像素点的灰度值p=(b-r)/2;若t≤150,则该像素点的灰度值p=0;其中:r、g和b分别为该像素点对应RGB三个通道的颜色值。
所述步骤(2)中对灰度化后的视频图像进行背景差分及前景分离,具体过程为:对于当前帧视频图像,使其与前一帧视频图像对应灰度值相减,得到当前差分图像;对于当前差分图像中的任一像素点,若其灰度值大于一定阈值,则标记该像素点为前景,依此遍历所有像素点,从而得到差分前景图像。
所述步骤(3)中对差分前景图像进行改进型霍夫变换,具体过程如下:
3.1对差分前景图像采用传统霍夫变换,得到所有可能对应直线的参数对(P,θ),根据夹角θ的大小对这些参数对进行排序;
3.2对于当前参数对(Pii)及其前一参数对(Pi-1i-1),若|θii-1|<Δθ且|Pi-Pi-1|<ΔP,则比较A(Pii)与A(Pcc)的大小:若A(Pii)>A(Pcc),则使参数对(Pcc)更新为(Pii);若A(Pii)≤A(Pcc),则使参数对(Pcc)保持不变;
若|θii-1|≥Δθ或|Pi-Pi-1|≥ΔP,则保存并输出当前参数对(Pii),并使参数对(Pcc)以及A(Pcc)均置为0;
其中,A(Pii)为当前参数对(Pii)所对应直线上的像素点个数,A(Pcc)为参数对(Pcc)所对应直线上的像素点个数,所述参数对(Pcc)和A(Pcc)初始化均为0,ΔP和Δθ分别为设定的角度差阈值和截距差阈值;
3.3根据步骤3.2依次判断步骤3.1中的各参数对(P,θ)。
所述步骤(4)中若存在以下两种情况,则判定当前电力线异常;
①步骤(3)输出得到的参数对(P,θ)的个数小于实际电力线数量;
②步骤(3)输出得到的各参数对(P,θ)的夹角θ不一致。
一种基于霍夫变换的电力线异常识别系统,包括:用于采集视频图像的摄像头以及加载有上述电力线异常识别方法的DSP。
本发明首先根据天空背景的颜色特征通过背景差分法完成前景与背景的分离,将电力线、绝缘子等电力设备与天空背景分离;然后采用了一种改进型的霍夫变换实现电力线轮廓的提取,传统的霍夫变换往往存在将一条直线检测成多条倾角相似的直线的问题,这对于后期电力线数量、角度的判别产生了极大的干扰,大大降低了算法的准确性。本发明根据局部最优化的思想对霍夫变换进行改进,能有效选取中多个可疑结果中置信度最高的结果,即提高的检测结果的准确性也避免了将一条直线检测成多条倾角相似的直线的问题;最后,根据实现设定的阈值、参数确定是否存在电力线断股。
附图说明
图1为本发明电力线异常识别方法的流程示意图。
图2为本发明改进型霍夫变换法的流程示意图。
图3(a)为传统霍夫变换法的检测效果示意图。
图3(b)为本发明改进型霍夫变换法的检测效果示意图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示,本发明基于霍夫变换的电力线异常识别方法,具体流程如下:
首先,对输入的视频图像进行前景与背景的分离,根据天空背景颜色单一、干扰源少这一特征采用了背景差分发并和天空颜色模型结合的方式来实现前景与背景的分离。由于背景差分法对灰度图像处理效果好于对彩色图像处理效果,因此需先建立天空颜色模型来实现图像的灰度化,将彩色图像转化为单色图像,一方面提取出了需要分析的图像信息,另一方面也减少了运算量,使方法可以满足检测的实时性。这种处理过程也可以看作一种颜色空间的转换,具体颜色空间变换方式如下:
如果t>150,则p=(b-r)/2;
如果t<=150,则p=0;
其中:r、g、b为图像各像素点红绿蓝三色分量数值,p是根据三色分量约束关系获得的单色图像相应像素点灰度值。这样一种颜色空间变换模式相比普通的灰度变化减少了浮点运算的计算量,更适合于嵌入式平台下的移植;另一方面也更贴近天空背景的颜色特征,有着更准确的分割效果。
然后,对完成颜色空间转换后的图像进行背景差分,具体步骤如下:
(1)选取连续的两帧图像,其中当前帧为pk(x,y)、前一帧为pk-1(x,y);
(2)计算当前帧与背景帧对应像素点的差fd(x,y)=pk(x,y)-pk-1(x,y);
(3)根据设定的阈值判断条件fd(x,y)>T,提取出可疑图元作为前景。
对完成前景分离的图像进行改进型霍夫变换,霍夫变换是图像处理中的一种特征提取技术,它通过一种投票算法检测具有特定形状的物体,其算法特征使得其可以有效准确检测出电力线轮廓。一个给定的图像像素点,在极坐标系的可由下公式表示:
p=x cosθ+y sinθ
在此极坐标系(P,θ)下进行霍夫变换,具体步骤如下:
(1)在参数空间中对(P,θ)进行量化,并构造累加器A(P,θ),并初始化为0;
(2)对边缘图像上所有灰度值为1的(x,y)点进行霍夫变换操作,对每一个点取遍所有θ可能值,并使用公式计算对应的P值,再累加对应的累加器A(P,θ);
(3)完成所有累加后,根据累加器A(P,θ)的值,可判断共线的点有几个,当大于某一阈值时,可判断这些点在像素空间上构成了一条直线。
传统的霍夫变换存在将一条直线检测成多条倾角相似的直线的问题,本发明对原有算法进行改进,减少了这种误差,其具体实现过程如下:
(1)通过传统霍夫变换可以获得所有可能存在直线的参数对(P,θ),根据角度参数θ的大小对所有参数结果进行排序;
(2)依次遍历所有参数对结果,当前参数对记作(Pii),前一个参数对记作(Pi-1i-1);
(3)进行判断,如果|θii-1|<Δθ(Δθ是角度差阈值,一般设定为5°)且|Pi-Pi-1|<ΔP(ΔP是截距差阈值)则比较A(Pii)和Amax(P,θ)并取较大值更新为(Pmaxmax);Amax(P,θ)是在所有满足|θii-1|<Δθ且|Pi-Pi-1|<ΔP的连续(Pii)参数对中累加器A(P,θ)值最大的结果,(Pmaxmax)为对应的参数;
(4)当出现|θii-1|>=Δθ或者|Pi-Pi-1|>=ΔP时则说明当前参数对与前一参数对所表示的直线差异较大,不可能是同一条直线的多种计算结果,此时保存(Pmaxmax),Amax(P,θ)置零,循环进行步骤(3)(4)的操作,直至遍历完所有参数对;
(5)将所有被保存的(Pmaxmax)参数对输出,即为图像中直线的最大似然解。
上述算法流程如图2所示,对传统霍夫变换的直线检测效果与本发明的改进型霍夫变换检测效果对比如图3所示,可见本发明算法解决了将一条直线检测成多条倾角相似的直线的问题,并准确检测出了真实直线。
最后,对保存下来的参数结合事先设定的电力线实际参数进行逻辑分析,判断是否存在电力线断股,由于实际场景的复杂性,设定了以下几个标准用于判别:
1.输出参数对数量小于实际电力线数量,说明有整段电力线断裂并消失于摄像头视野之外;
2.输出参数对中θ值不一致,说明电力线出现交叉。
将上述算法移植于DSP图像处理平台DM6437,DM6437通过CCD摄像头获取视频图像,输出为模拟信号,经由TVP5150视频编解码器数字化,转化为BT.656视频流,传送到DM6437视频端口。视频端口将视频流解码为YUV格式的图像并缓存,缓存区图像数据DSP处理器进行处理,保存有用图像信息SDRAM中,在四旋翼飞行器上搭载此设备,可完成对电力线故障的巡检。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (6)

1.一种基于霍夫变换的电力线异常识别方法,包括如下步骤:
(1)对采集到的视频图像进行灰度化处理;
(2)对灰度化后的视频图像进行背景差分及前景分离,得到差分前景图像;
(3)对所述差分前景图像进行改进型霍夫变换,输出得到对应多条直线的参数对(P,θ),其中P和θ分别为直线在图像坐标系中的截距和夹角;
(4)根据步骤(3)输出得到的参数对(P,θ),结合事先设定的电力线实际参数进行逻辑分析,以判断是否存在电力线异常情况。
2.根据权利要求1所述的电力线异常识别方法,其特征在于:所述步骤(1)中对视频图像进行灰度化处理的具体方法为:对于视频图像中的任一像素点,若t>150,则该像素点的灰度值p=(b-r)/2;若t≤150,则该像素点的灰度值p=0;其中:r、g和b分别为该像素点对应RGB三个通道的颜色值。
3.根据权利要求1所述的电力线异常识别方法,其特征在于:所述步骤(2)中对灰度化后的视频图像进行背景差分及前景分离,具体过程为:对于当前帧视频图像,使其与前一帧视频图像对应灰度值相减,得到当前差分图像;对于当前差分图像中的任一像素点,若其灰度值大于一定阈值,则标记该像素点为前景,依此遍历所有像素点,从而得到差分前景图像。
4.根据权利要求1所述的电力线异常识别方法,其特征在于:所述步骤(3)中对差分前景图像进行改进型霍夫变换,具体过程如下:
3.1对差分前景图像采用传统霍夫变换,得到所有可能对应直线的参数对(P,θ),根据夹角θ的大小对这些参数对进行排序;
3.2对于当前参数对(Pii)及其前一参数对(Pi-1i-1),若|θii-1|<Δθ且|Pi-Pi-1|<ΔP,则比较A(Pii)与A(Pcc)的大小:若A(Pii)>A(Pcc),则使参数对(Pcc)更新为(Pii);若A(Pii)≤A(Pcc),则使参数对(Pcc)保持不变;
若|θii-1|≥Δθ或|Pi-Pi-1|≥ΔP,则保存并输出当前参数对(Pii),并使参数对(Pcc)以及A(Pcc)均置为0;其中,A(Pii)为当前参数对(Pii)所对应直线上的像素点个数,A(Pcc)为参数对(Pcc)所对应直线上的像素点个数,所述参数对(Pcc)和A(Pcc)初始化均为0,ΔP和Δθ分别为设定的角度差阈值和截距差阈值;
3.3根据步骤3.2依次判断步骤3.1中的各参数对(P,θ)。
5.根据权利要求1所述的电力线异常识别方法,其特征在于:所述步骤(4)中若存在以下两种情况,则判定当前电力线异常;
①步骤(3)输出得到的参数对(P,θ)的个数小于实际电力线数量;
②步骤(3)输出得到的各参数对(P,θ)的夹角θ不一致。
6.一种基于霍夫变换的电力线异常识别系统,其特征在于:包括用于采集视频图像的摄像头以及加载有如权利要求1~5任一权利要求所述电力线异常识别方法的DSP。
CN201611082276.4A 2016-11-30 2016-11-30 一种基于霍夫变换的电力线异常识别方法及其系统 Active CN106600580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611082276.4A CN106600580B (zh) 2016-11-30 2016-11-30 一种基于霍夫变换的电力线异常识别方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611082276.4A CN106600580B (zh) 2016-11-30 2016-11-30 一种基于霍夫变换的电力线异常识别方法及其系统

Publications (2)

Publication Number Publication Date
CN106600580A true CN106600580A (zh) 2017-04-26
CN106600580B CN106600580B (zh) 2020-01-21

Family

ID=58594264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611082276.4A Active CN106600580B (zh) 2016-11-30 2016-11-30 一种基于霍夫变换的电力线异常识别方法及其系统

Country Status (1)

Country Link
CN (1) CN106600580B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108318773A (zh) * 2017-12-20 2018-07-24 全球能源互联网研究院有限公司 一种输电导线断股检测方法及系统
CN109977962A (zh) * 2019-03-21 2019-07-05 国网山东省电力公司经济技术研究院 一种光缆故障隐患自动识别方法与系统
CN110490935A (zh) * 2019-08-20 2019-11-22 哈尔滨工业大学 直线特征检测方法、装置及设备
CN110866903A (zh) * 2019-11-08 2020-03-06 北京工业大学 基于霍夫圆变换技术的乒乓球识别方法
CN112669302A (zh) * 2020-12-30 2021-04-16 北京市商汤科技开发有限公司 吊弦缺陷检测方法、装置、电子设备及存储介质
CN113610858A (zh) * 2021-05-20 2021-11-05 浙江大学 一种基于自监督学习的电力线图像实时分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625723A (zh) * 2009-07-02 2010-01-13 浙江省电力公司 电力线轮廓的快速图像识别方法
CN103413133A (zh) * 2013-06-28 2013-11-27 广东电网公司电力科学研究院 无序激光点云数据中自动提取电力线方法
CN103810462A (zh) * 2012-11-14 2014-05-21 中国科学院沈阳自动化研究所 一种基于线状目标的高压输电线检测方法
KR20150099627A (ko) * 2014-02-21 2015-09-01 한국과학기술연구원 소실점 기반의 라인 검색을 이용한 송전선 검출 방법
CN106023185A (zh) * 2016-05-16 2016-10-12 国网河南省电力公司电力科学研究院 一种输电设备故障诊断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625723A (zh) * 2009-07-02 2010-01-13 浙江省电力公司 电力线轮廓的快速图像识别方法
CN103810462A (zh) * 2012-11-14 2014-05-21 中国科学院沈阳自动化研究所 一种基于线状目标的高压输电线检测方法
CN103413133A (zh) * 2013-06-28 2013-11-27 广东电网公司电力科学研究院 无序激光点云数据中自动提取电力线方法
KR20150099627A (ko) * 2014-02-21 2015-09-01 한국과학기술연구원 소실점 기반의 라인 검색을 이용한 송전선 검출 방법
CN106023185A (zh) * 2016-05-16 2016-10-12 国网河南省电力公司电力科学研究院 一种输电设备故障诊断方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙水发,雷帮军,刘勇: "《视频前景检测及其在水电工程监测中的应用》", 31 December 2014, 国防工业出版社 *
张少平: "输电线路典型目标图像识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108318773A (zh) * 2017-12-20 2018-07-24 全球能源互联网研究院有限公司 一种输电导线断股检测方法及系统
CN109977962A (zh) * 2019-03-21 2019-07-05 国网山东省电力公司经济技术研究院 一种光缆故障隐患自动识别方法与系统
CN109977962B (zh) * 2019-03-21 2022-03-15 国网山东省电力公司经济技术研究院 一种光缆故障隐患自动识别方法与系统
CN110490935A (zh) * 2019-08-20 2019-11-22 哈尔滨工业大学 直线特征检测方法、装置及设备
CN110866903A (zh) * 2019-11-08 2020-03-06 北京工业大学 基于霍夫圆变换技术的乒乓球识别方法
CN112669302A (zh) * 2020-12-30 2021-04-16 北京市商汤科技开发有限公司 吊弦缺陷检测方法、装置、电子设备及存储介质
CN112669302B (zh) * 2020-12-30 2023-07-28 北京市商汤科技开发有限公司 吊弦缺陷检测方法、装置、电子设备及存储介质
CN113610858A (zh) * 2021-05-20 2021-11-05 浙江大学 一种基于自监督学习的电力线图像实时分割方法

Also Published As

Publication number Publication date
CN106600580B (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN106600580A (zh) 一种基于霍夫变换的电力线异常识别方法及其系统
CN111611643B (zh) 户型矢量化数据获得方法、装置、电子设备及存储介质
CN107257161A (zh) 一种基于状态识别算法的变电站刀闸遥控辅助校核方法及系统
CN105279772B (zh) 一种红外序列图像的可跟踪性判别方法
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
Lipschutz et al. New methods for horizon line detection in infrared and visible sea images
CN109344864B (zh) 用于密集物体的图像处理方法及装置
CN110726725A (zh) 一种输电线路金具锈蚀检测方法及装置
CN112270745B (zh) 一种图像生成方法、装置、设备以及存储介质
Zhu et al. Automatic object detection and segmentation from underwater images via saliency-based region merging
CN105740844A (zh) 基于图像识别技术的绝缘子炸裂故障检测方法
CN107507140A (zh) 基于特征融合的高速公路露天场景车辆阴影干扰抑制方法
CN112396016B (zh) 一种基于大数据技术的人脸识别系统
CN105740843A (zh) 基于图像识别技术的绝缘子完全分割算法
CN111862030B (zh) 一种人脸合成图检测方法、装置、电子设备及存储介质
CN109635679B (zh) 一种实时的靶纸定位及环线识别方法
CN111626104A (zh) 一种基于无人机红外热像的电缆隐患点检测方法和装置
CN104751487A (zh) 一种基于彩色rgb三平面色变帧差的运动目标检测方法
CN107220653B (zh) 基于逻辑随机共振的水下弱目标检测系统的检测方法
Wang et al. An efficient method of shadow elimination based on image region information in HSV color space
CN112232307B (zh) 夜视环境下的安全帽佩戴检测方法
CN112200769B (zh) 一种用于违建检测的定点监控新旧时相图像变化检测方法
CN104599240A (zh) 基于无人机海上航拍图像的自适应权重暗原色去雾算法
CN111145219B (zh) 一种基于Codebook原理的高效视频移动目标检测方法
CN114332682A (zh) 一种海上全景去雾目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant