CN109931909B - 一种基于无人机的海上风机塔柱状态巡检方法和装置 - Google Patents

一种基于无人机的海上风机塔柱状态巡检方法和装置 Download PDF

Info

Publication number
CN109931909B
CN109931909B CN201910249061.4A CN201910249061A CN109931909B CN 109931909 B CN109931909 B CN 109931909B CN 201910249061 A CN201910249061 A CN 201910249061A CN 109931909 B CN109931909 B CN 109931909B
Authority
CN
China
Prior art keywords
camera
wind turbine
aerial vehicle
unmanned aerial
offshore wind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910249061.4A
Other languages
English (en)
Other versions
CN109931909A (zh
Inventor
杜海
陈兵
宁德志
孟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201910249061.4A priority Critical patent/CN109931909B/zh
Publication of CN109931909A publication Critical patent/CN109931909A/zh
Application granted granted Critical
Publication of CN109931909B publication Critical patent/CN109931909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Abstract

本发明属于无人机视频监测技术领域，一种基于无人机的海上风机塔柱状态巡检方法和装置，监测对象为海上风机，采用的海上风机塔柱状态巡检装置包括装有姿态传感模块IMU的无人机、立体视觉系统和无线传输天线。海上风机塔柱状态巡检时充分考虑海上观测作业的高风险低效率的问题，以无人机为载体，结合视觉图像测量技术对风机塔柱的倾斜进行非接触测量和异常报警。本发明将双目视觉定位与测量方法和单目视觉深度网络识别相结合，灵活地构建了适用于海上风机巡检的双焦距三目视觉系统，大幅度提高了无人机风机巡检的可靠性，降低了海上观测，尤其是深远海观测的风险，极大地促进了图像测量技术在海洋风场巡检中的应用推广。

Description

一种基于无人机的海上风机塔柱状态巡检方法和装置
技术领域
本发明属于无人机视频监测技术领域，涉及到海上风机运行状态监测问题，特别涉及到风机塔柱倾斜度的光学测量方法。
背景技术
我国海洋风能资源丰富，是我国重点发展的新能源之一。然而，对于海上风电场，风速普遍高于内陆风电场，并且极端风况出现概率较大，另外海上的高湿度、盐雾、生物附着等因素均促使风机部件加速老化[1]，而出现的脱锚、疲劳断裂等现象会引起严重的风机事故，因此对海上风机的巡检工作显得尤为重要。然而，海上的变化因素很多，海上作业的难度较大、风险较高，所以很多研究者在巡检技术方面进行了深入的研究，如采用无线传感网络技术构建海上风电机组状态监测系统[2]以及采用无人机技术进行自动化巡检[3]，其中主要包括无人机风机叶片的检测[4,5]和风机塔筒倾斜的检测。相对于叶片纹理图像的形变测量，风机塔筒的倾斜分析更具有空间三维性，需要多视角图像的融合分析。在对塔筒倾斜计算方面，文献[6]提出了基于无人机的电力杆塔图像分析方法，而文献[7]利用激光雷达对输电线杆塔获取点云信息，并通过点云处理得到杆的倾斜信息。然而，海上风机由于特有的环境特点使得风机塔筒的巡检需要面对许多独立作业的要求以及瞬态分析的能力。因此，一种无人化的海上风机巡检技术是具有非常重要的意义和应用价值的。
本发明将无人机技术与图像测量技术相融合后，将以一种更加直观的方式对海上风机的运行状态进行巡检，这种方式不仅大大地降低了人力成本和监测风险，还大大提高了对海洋风电场管理的效率。
参考文献：
[1]梁艳辉.海上风电状态监测与故障诊断技术.科技创新与应用,2013,30:52-53.
[2]傅质馨,赵敏,袁越,等.基于无线传感网络的海上风电机组状态监测系统构建方法.电力系统自动化,2014,38(7):23-28.
[3]赵国成,熊文韬,张凯.无人机自动巡检方法和装置:中国,201611264881.3,2016-12-30.
[4]翟永杰,赵海龙,王迪,等.自主无人机巡检风机叶片系统：中国,201620352589.6,2016-04-25.
[5]王寅生,朱志成,迟岩,等.风机叶片无人机智能巡检系统：中国,201620757528.8,2016-07-18.
[6]王榆夫,韩军,赵庆喜,等.基于无人机图像的电力杆塔倾斜检测.计算机仿真.2017,34(7):426-431.
[7]彭炽刚,李雄刚,蒙华伟,等.杆塔倾斜程度检测方法以及装置：中国,201710666288.X,2017-08-07.
发明内容
针对海上风机的状态监测问题，本发明将多焦距视觉技术与图像测量技术相结合，提出了一种基于无人机的海上风机运行状态巡检方法及装置。
本发明的技术方案：
一种基于无人机的海上风机塔柱状态巡检装置，监测对象为海上风机1，采用的海上风机塔柱状态巡检装置包括装有姿态传感模块IMU的无人机、立体视觉系统和无线传输天线；
所述的立体视觉系统，包括台工业级摄像机和一块图像采集、处理板；第一摄像机和第三摄像机同型号且均装有相同焦距的远焦镜头，第二摄像机分辨率不低于第一摄像机且装有标准焦距的大景深镜头；
海上风机塔柱状态巡检装置采用无人机挂载多焦距的立体视觉系统的方式：三台摄像机同向且布置在一条线上，光轴彼此平行，第二摄像机在第一摄像机和第二摄像机的中间位置；立体视觉系统与图像采集、处理板相连，并在图像采集、处理板的控制下，三台摄像机同步工作；图像采集、处理板与无线传输天线相连接，便于数据的远距离传输。
具体步骤如下：
步骤A：将第一摄像机、第二摄像机和第二摄像机依次保持光轴平行并排放置，间距保持一致，间距大小根据测量距离进行设置；第二摄像机放置在第一摄像机与第三摄像机的中间位置；三台摄像机与图像采集、处理板的接口相连，形成立体视觉系统；图像采集、处理板与无线传输天线相连接，便于数据的远距离传输；立体视觉系统挂接在无人机下方，形成海上风机观测系统；
步骤B：在无人机水平放置时时，使用张正友平面网格标定法对第一摄像机和第三摄像机组成的双目视觉系统进行系统定标，并使得定标完成后的测量坐标系的三个轴向与姿态传感模块IMU的坐标方向保持一致，并将定标参数存入图像采集、处理板中；
步骤C：无人机布置完毕后，根据海上风机的位置生成无人机飞行轨迹的GPS点位；
步骤D：对第二摄像机采集的图像进行海上风机的识别；
步骤E：调整无人机的姿态使得海上风机扇叶的中心处于第二摄像机图像的中心位置；
步骤F：调整无人机到目标海上风机的距离，以第二摄像机上风机图像为模板，使用特征匹配SIFT算法在第一摄像机和第三摄像机进行风机图像的同名点查找；
步骤G：根据第一摄像机和第三摄像机图像上的同名点进行视差的计算，当该视差大于指定阈值Tg后，无人机进行悬停测量；
步骤E：对第一摄像机和第三摄像机采集的图像进行二值化处理，并在各自的图像中对海上风机塔柱进行Hough直线检测，同时提取海上风机塔柱的中心线；
步骤F：在第一摄像机的塔柱中心线上选择两个位置，并按照从下到上的顺序依次记为P1 L和与此同时，按照立体视觉极线约束在第三摄像机的塔柱中心线上搜索与之对应的P1 R和/>
步骤G：根据步骤B中双目视觉系统的定标参数对同名点对和/>进行三维重构，得到空间点P1和P2的坐标；
步骤H：获取此时无人机姿态传感器信息，并根据角度参数计算旋转矩阵R和其转置RT；
步骤I：计算空间点P1和P2的之间的位移矢量同时计算塔柱倾角/>
步骤J：对海上风机1的倾角α进行判断，当倾角在设定约束Ta范围内，即|α|≤Ta时符合要求，否则产生异常信息通过无线传输天线传输到控制台。
以上步骤D-J中，计算均在图像采集处理卡中完成，处理后的数据通过天线传输到远端的控制台。
本发明的有益效果：海上风机塔柱状态巡检时充分考虑海上观测作业的高风险低效率的问题，以无人机为载体，结合视觉图像测量技术对风机塔柱的倾斜进行非接触测量和异常报警。本发明将双目视觉定位与测量方法和单目视觉深度网络识别相结合，灵活地构建了适用于海上风机巡检的双焦距三目视觉系统，大幅度提高了无人机风机巡检的可靠性，降低了海上观测，尤其是深远海观测的风险，极大地促进了图像测量技术在海洋风场巡检中的应用推广。
附图说明
图1是基于无人机的海上风机塔柱状态巡检装置示意图。
图中：1海上风机；2无人机；3立体视觉系统；4远焦镜头；5大景深镜头；6第一摄像机；7第二摄像机；8第三摄像机；9图像采集、处理板；10无线传输天线。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
一种基于无人机的海上风机塔柱状态巡检装置，监测对象为海上风机1，采用的海上风机塔柱状态巡检装置包括装有姿态传感模块IMU的无人机2、立体视觉系统3和无线传输天线10；
所述的立体视觉系统3，包括3台工业级摄像机和一块图像采集、处理板9；第一摄像机6和第三摄像机8同型号且均装有相同焦距的远焦镜头4，第二摄像机7分辨率不低于第一摄像机6且装有标准焦距的大景深镜头5；
海上风机塔柱状态巡检装置采用无人机2挂载多焦距的立体视觉系统3的方式：三台摄像机同向且布置在一条线上，光轴彼此平行，第二摄像机7在第一摄像机6和第三摄像机8的中间位置；立体视觉系统3与图像采集、处理板9相连，并在图像采集、处理板9的控制下，三台摄像机同步工作；图像采集、处理板9与无线传输天线10相连接，便于数据的远距离传输。
具体步骤如下：
步骤A：将第一摄像机6、第二摄像机7和第三摄像机8依次保持光轴平行并排放置，间距保持一致，间距大小根据测量距离进行设置；第二摄像机7放置在第一摄像机6与第三摄像机8的中间位置；三台摄像机与图像采集、处理板9的接口相连，形成立体视觉系统3；图像采集、处理板9与无线传输天线10相连接，便于数据的远距离传输；立体视觉系统3挂接在无人机2下方，形成海上风机观测系统；
所述的无人机2上装有姿态传感模块IMU，姿态传感模块IMU的X-Y坐标平面与水平面平行，立体视觉系统3挂载时三台摄像机的光轴平面与无人机2的姿态传感模块IMU的X-Y平面平行或一致，且光轴方向与姿态传感模块IMU的Y轴向一致；
步骤B：在无人机2水平放置时(三个姿态角为0)时，使用张正友平面网格标定法对第一摄像机6和第三摄像机8组成的双目视觉系统进行系统定标，并使得定标完成后的测量坐标系的三个轴向与姿态传感模块IMU的坐标方向保持一致，并将定标参数存入图像采集、处理板9中；
步骤C：无人机2布置完毕后，根据海上风机1的位置生成无人机2飞行轨迹的GPS点位；
步骤D：使用YOLO深度网络(或其他的目标识别方法)对第二摄像机7采集的图像进行海上风机1的识别；
步骤E：调整无人机2的姿态使得海上风机1扇叶的中心处于第二摄像机7图像的中心位置；
步骤F：调整无人机2到目标海上风机1的距离，以第二摄像机7上风机图像为模板，使用特征匹配SIFT算法在第一摄像机6和第三摄像机8进行风机图像的同名点查找；
步骤G：根据第一摄像机6和第三摄像机8图像上的同名点进行视差的计算，当该视差大于指定阈值Tg后，无人机2进行悬停测量；
步骤E：对第一摄像机6和第三摄像机8采集的图像进行二值化处理，并在各自的图像中对海上风机1塔柱进行Hough直线检测，同时提取海上风机1塔柱的中心线；
步骤F：在第一摄像机6的塔柱中心线上选择两个位置，并按照从下到上的顺序依次记为P1 L和与此同时，按照立体视觉极线约束在第三摄像机8的塔柱中心线上搜索与之对应的P1 R和/>
步骤G：根据步骤B中双目视觉系统的定标参数对同名点对和/>进行三维重构，得到空间点P1和P2的坐标；
步骤H：获取此时无人机2姿态传感器信息，并根据角度参数计算旋转矩阵R和其转置RT；
步骤I：计算空间点P1和P2的之间的位移矢量同时计算塔柱倾角/>
步骤J：对海上风机1的倾角α进行判断，当倾角在设定约束Ta范围内，即|α|≤Ta时符合要求，否则产生异常信息通过无线传输天线10传输到控制台。
以上步骤D-J中，计算均在图像采集、处理板9中完成，处理后的数据通过无线传输天线10传输到远端的控制台。

Claims (2)

1.一种基于无人机的海上风机塔柱状态巡检装置，该海上风机塔柱状态巡检装置的监测对象为海上风机(1)；其特征在于，海上风机塔柱状态巡检装置包括装有姿态传感模块IMU的无人机(2)、立体视觉系统(3)和无线传输天线(10)；
所述的立体视觉系统(3)，包括3台工业级摄像机和一块图像采集、处理板(9)；第一摄像机(6)和第三摄像机(8)同型号且均装有相同焦距的远焦镜头(4)，第二摄像机(7)分辨率不低于第一摄像机(6)且装有标准焦距的大景深镜头(5)；
海上风机塔柱状态巡检装置采用无人机(2)挂载多焦距的立体视觉系统(3)的方式：三台摄像机同向且布置在一条线上，光轴彼此平行，第二摄像机(7)在第一摄像机(6)和第三摄像机(8)的中间位置；三台摄像机与图像采集、处理板(9)相连，并在图像采集、处理板(9)的控制下，三台摄像机同步工作；图像采集、处理板(9)与无线传输天线(10)相连接，便于数据的远距离传输。
2.一种采用权利要求1所述的基于无人机的海上风机塔柱状态巡检装置实现海上风机塔柱状态巡检方法，其特征在于，步骤如下：
步骤A：将第一摄像机(6)、第二摄像机(7)和第三摄像机(8)依次保持光轴平行并排放置，间距保持一致，间距大小根据测量距离进行设置；第二摄像机(7)放置在第一摄像机(6)与第三摄像机(8)的中间位置；三台摄像机与图像采集、处理板(9)的接口相连，形成立体视觉系统(3)；图像采集、处理板(9)与无线传输天线(10)相连接，便于数据的远距离传输；立体视觉系统(3)挂接在无人机(2)下方，形成海上风机观测系统；
所述的无人机(2)上装有姿态传感模块IMU，姿态传感模块IMU的X-Y坐标平面与水平面平行，立体视觉系统(3)挂载时三台摄像机的光轴平面与无人机(2)的姿态传感模块IMU的X-Y平面平行或一致，且光轴方向与姿态传感模块IMU的Y轴向一致；
步骤B：在无人机(2)水平放置时时，使用张正友平面网格标定法对第一摄像机(6)和第三摄像机(8)组成的双目视觉系统进行系统定标，并使得定标完成后的测量坐标系的三个轴向与姿态传感模块IMU的坐标方向保持一致，并将定标参数存入图像采集、处理板(9)中；
步骤C：无人机(2)布置完毕后，根据海上风机(1)的位置生成无人机(2)飞行轨迹的GPS点位；
步骤D：使用YOLO深度网络对第二摄像机(7)采集的图像进行海上风机(1)的识别；
步骤E：调整无人机(2)的姿态使得海上风机(1)扇叶的中心处于第二摄像机(7)图像的中心位置；
步骤F：调整无人机(2)到目标海上风机(1)的距离，以第二摄像机(7)上风机图像为模板，使用特征匹配SIFT算法在第一摄像机(6)和第三摄像机(8)进行风机图像的同名点查找；
步骤G：根据第一摄像机(6)和第三摄像机(8)图像上的同名点进行视差的计算，当该视差大于指定阈值Tg后，无人机(2)进行悬停测量；
步骤E：对第一摄像机(6)和第三摄像机(8)采集的图像进行二值化处理，并在各自的图像中对海上风机(1)塔柱进行Hough直线检测，同时提取海上风机(1)塔柱的中心线；
步骤F：在第一摄像机(6)的塔柱中心线上选择两个位置，并按照从下到上的顺序依次记为P1 L和P2 L；与此同时，按照立体视觉极线约束在第三摄像机(8)的塔柱中心线上搜索与之对应的P1 R和P2 R；
步骤G：根据步骤B中双目视觉系统的定标参数对同名点对(P1 L,P1 R)和进行三维重构，得到空间点P1和P2的坐标；
步骤H：获取此时无人机(2)姿态传感器信息，并根据角度参数计算旋转矩阵R和其转置RT；
步骤I：计算空间点P1和P2的之间的位移矢量同时计算塔柱倾角/>
步骤J：对海上风机(1)的倾角α进行判断，当倾角在设定约束Ta范围内，即α≤Ta时符合要求，否则产生异常信息通过无线传输天线(10)传输到控制台；
以上步骤D-J中，计算均在图像采集、处理板(9)中完成，处理后的数据通过无线传输天线(10)传输到远端的控制台。
CN201910249061.4A 2019-03-29 2019-03-29 一种基于无人机的海上风机塔柱状态巡检方法和装置 Active CN109931909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910249061.4A CN109931909B (zh) 2019-03-29 2019-03-29 一种基于无人机的海上风机塔柱状态巡检方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910249061.4A CN109931909B (zh) 2019-03-29 2019-03-29 一种基于无人机的海上风机塔柱状态巡检方法和装置

Publications (2)

Publication Number Publication Date
CN109931909A CN109931909A (zh) 2019-06-25
CN109931909B true CN109931909B (zh) 2023-07-18

Family

ID=66988677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910249061.4A Active CN109931909B (zh) 2019-03-29 2019-03-29 一种基于无人机的海上风机塔柱状态巡检方法和装置

Country Status (1)

Country Link
CN (1) CN109931909B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879607A (zh) * 2019-09-27 2020-03-13 哈尔滨理工大学 一种基于多无人机编队协同探测的海上风电叶片检测方法
CN112150661A (zh) * 2020-08-19 2020-12-29 唐山哈船科技有限公司 一种基于无人机的海洋港口巡检系统
CN112964227A (zh) * 2021-02-23 2021-06-15 求实科技集团有限公司 一种基于机器视觉分析的智能巡检系统
CN113050693B (zh) * 2021-03-26 2022-04-19 厦门理工学院 一种用于风电叶片检测的无人机巡检方法和装置以及设备
CN114916473B (zh) * 2022-05-23 2023-03-28 大连理工大学 一种用于养殖场内的俯视鱼体长度监测方法及装置
CN115908049B (zh) * 2022-11-18 2023-11-21 众芯汉创（北京）科技有限公司 一种基于智能识别的风机叶片悬停位置动态识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510011A (zh) * 2011-10-24 2012-06-20 华北电力大学 基于微型多旋翼无人直升机的电力杆塔智能巡检方法
CN103453891A (zh) * 2013-09-06 2013-12-18 中测新图(北京)遥感技术有限责任公司 轻小型无人机机载多视立体航空遥感装置和系统
CA2899932A1 (en) * 2014-08-08 2016-02-08 Utility Associates, Inc. Integrating data from multiple devices
WO2017113183A1 (zh) * 2015-12-30 2017-07-06 深圳市大疆创新科技有限公司 无人机飞行体验方法、装置、系统以及无人机
CN107390450A (zh) * 2017-04-25 2017-11-24 广州市红鹏直升机遥感科技有限公司 一种用于航空器的多相机反射式倾斜摄影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510011A (zh) * 2011-10-24 2012-06-20 华北电力大学 基于微型多旋翼无人直升机的电力杆塔智能巡检方法
CN103453891A (zh) * 2013-09-06 2013-12-18 中测新图(北京)遥感技术有限责任公司 轻小型无人机机载多视立体航空遥感装置和系统
CA2899932A1 (en) * 2014-08-08 2016-02-08 Utility Associates, Inc. Integrating data from multiple devices
WO2017113183A1 (zh) * 2015-12-30 2017-07-06 深圳市大疆创新科技有限公司 无人机飞行体验方法、装置、系统以及无人机
CN107390450A (zh) * 2017-04-25 2017-11-24 广州市红鹏直升机遥感科技有限公司 一种用于航空器的多相机反射式倾斜摄影装置

Also Published As

Publication number Publication date
CN109931909A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
CN109931909B (zh) 一种基于无人机的海上风机塔柱状态巡检方法和装置
CN112525162B (zh) 一种无人机测量输电线路影像距离的系统及方法
CN106595500B (zh) 基于无人机双目视觉的输电线路覆冰厚度测量方法
CN112904877A (zh) 一种基于无人机的风机叶片自动巡检系统及方法
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
CN112489130B (zh) 一种输电线路与目标物的距离测量方法、装置及电子设备
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN112085003B (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
CN109857144A (zh) 无人机、无人机控制系统及控制方法
Yan et al. Autonomous underwater vehicle vision guided docking experiments based on L-shaped light array
CN109584238A (zh) 一种基于立体视觉的弓网运行状况在线检测系统及方法
CN109831655B (zh) 基于多摄像头数据融合的船舶环境感知与预警系统
CN114743021A (zh) 一种输电线路图像与点云数据的融合方法及系统
CN109739254A (zh) 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN111126116A (zh) 无人船河道垃圾识别方法及系统
CN113850137A (zh) 一种输电线路图像在线监测方法、系统及设备
CN115049663B (zh) 基于无人机双光融合绝缘子缺陷检测方法及系统
CN115880368A (zh) 一种电网巡检无人机障碍物检测方法、系统及存储介质
CN209570170U (zh) 一种基于无人机的海上风机塔柱状态巡检装置
CN115933718A (zh) 一种融合全景slam与目标识别的无人机自主飞行技术方法
CN112461213B (zh) 一种多模态波浪监测装置及监测方法
CN108646760B (zh) 基于单目视觉移动机器人目标跟踪及平台控制系统和方法
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN111402324B (zh) 一种目标测量方法、电子设备以及计算机存储介质
CN116974298A (zh) 基于单线激光雷达输电线路仿线飞行方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant