CN113587834B - 一种基于无控摄影测量的边坡变形监测方法 - Google Patents

一种基于无控摄影测量的边坡变形监测方法 Download PDF

Info

Publication number
CN113587834B
CN113587834B CN202110801308.6A CN202110801308A CN113587834B CN 113587834 B CN113587834 B CN 113587834B CN 202110801308 A CN202110801308 A CN 202110801308A CN 113587834 B CN113587834 B CN 113587834B
Authority
CN
China
Prior art keywords
period
deformation
points
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110801308.6A
Other languages
English (en)
Other versions
CN113587834A (zh
Inventor
李会中
肖云华
梁梁
崔慧斌
李仁江
叶圣生
蒋树
海震
付调金
张永昌
曾立
张卜仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Three Gorges Geotechnical Consultants Co ltd
Original Assignee
Three Gorges Geotechnical Consultants Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Three Gorges Geotechnical Consultants Co ltd filed Critical Three Gorges Geotechnical Consultants Co ltd
Priority to CN202110801308.6A priority Critical patent/CN113587834B/zh
Publication of CN113587834A publication Critical patent/CN113587834A/zh
Application granted granted Critical
Publication of CN113587834B publication Critical patent/CN113587834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/23Dune restoration or creation; Cliff stabilisation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于无控摄影测量的边坡变形监测方法,该方法包括以下步骤:采用无人机获取覆盖监测对象的影像数据作为首期影像;根据采集的影像,生成监测对象的三维实景模型、正射影像、三维点云;选取监测对象外围的若干特征点并提取坐标,作为后期数据处理的控制点;选取监测对象内部的n个特征点并提取坐标,作为后期变形量分析的基准点;生成T0期DEM高程数据,作为后期DEM分析的基准数据;后期影像获取及后期相同特征点与首期的分析对比。本方法无需埋设仪器及布置相控点,只需通过对比不同期次的影像特征,即可进行变形监测分析、获得相应数据,可有效解决传统灾害体应急抢险过程中无实时数据支撑、或变形数据获取成本高风险大的弊端。

Description

一种基于无控摄影测量的边坡变形监测方法
技术领域
本发明涉及岩土体变形监测技术,尤其涉及一种基于无控摄影测量的边坡变形监测方法。
背景技术
目前常用的以上监测手段大多为接触式监测,需在监测对象上完成仪器安装才可进行数据的采集;而诸如InSAR技术、地基InSAR、三维激光扫描虽为非接触式监测方法,但或精度不高、或仪器成本投入大导致其应用程度不高。近年来摄影测量技术发展迅猛,亦广泛应用于岩土体的变形监测,如发明专利“基于无人机的地面变形监测方法”、需要布设控制点,前期需完成相关接触式工作准备才能完成期非接触监测的目的;诸如发明专利“一种基于无人机多期影像的岩土体位移监测方法”需变形监测对象变形前后地表整体特征变化不大,才能完成相关的监测分析。
灾害体的变形失稳一般经历初始变形、等速变形、加速变形及临滑变形几个发展阶段;在加速变形或临滑变形以前,灾害体一般不会突然失稳,尚可进行相关接触式测量仪器的安装以获得其变形规律、用于灾害预警,而一旦灾害体进入加速变形或临滑变形后,其失稳概率将会大大增加,此时若进行接触式监测会存在极大的安全风险。我国地质灾害发育、国土面积宽广,目前无法完全查明灾害体的分布,更谈不上对所有灾害体进行变形监测;而一些灾害体只有进入加速变形或临滑变形后,产生明显的裂缝等才能被发现,此时的灾害体具有失稳风险高、变形速率大、及变形参差不齐的特点,以上现有的变形监测手段或实施安全风险高、或成本投入大,均不能很好的解决灾害体的变形监测。
发明内容
本发明要解决的技术问题在于针对现有技术的缺陷,提供一种基于无控摄影测量的边坡变形监测方法。
本发明解决其技术问题所采用的技术方案是:一种基于无控摄影测量的边坡变形监测方法,包括以下步骤:
1)通过无人机获取覆盖监测对象的影像数据,作为首期影像数据,记为T0期影像数据;所述获取的覆盖监测对象的影像包含变形区和稳定的不动区;
2)根据采集的影像,生成监测对象的三维实景模型、正射影像、三维点云;
3)根据生成的三维实景模型,选取监测对象外围的多个特征点并提取坐标,作为后期数据处理的控制点;
所述控制点作为后期采集的影像数据的坐标基准;
4)根据三维实景模型、正射影像,选取监测对象内部的n个特征点并提取坐标,作为后期变形量分析的基准点;
5)根据T0期三维点云生成T0期DEM(Digital Elevation Model)高程数据,作为后期DEM分析的基准数据;
6)采用T0期采集影像的相同方法,根据设定时间间隔周期,采集T1至Tn期影像数据;
7)对T1至Tn期影像数据进行处理,以T0期获取的监测对象外围的控制点的坐标作为坐标基准,同样生成三维实景模型、正射影像、三维点云;
8)根据T0期所定特征点的影像特征,结合三维实景模型、正射影像获取相同基准点在T1至Tn期的坐标;
9)根据T1至Tn期对应的三维点云生成T1至Tn期DEM高程数据;
10)将T1至Tn期监测对象的基准点对应坐标与T0期基准点的坐标进行计算,获取T1至Tn期各期的基准点累计位移,T1至Tn期各期相互计算获取不同期次间基准点的相对位移;
11)将T1至Tn期DEM与T0期DEM进行差分计算,获取T1~Tn期各期累计变形云图,T1至Tn期各期相互差分获取不同期次间的相对变形云图。
按上述方案,所述步骤1)中,影像获取过程中应保证影像数据的航向重叠和旁向重叠控制不低于70%。
按上述方案,所述T1至Tn期各期的基准点累计位移的计算方式如下:
第i期的第N个特征点累计位移
Figure BDA0003164675730000041
采用以下公式计算:
Figure BDA0003164675730000042
其中,(XNTi,YNTi)为第i期的第N个特征点的平面坐标。
按上述方案,所述T1至Tn期各期相互计算获取不同期次间基准点的相对位移,具体如下:
第a期与第b期的第N个特征点的相对位移ΔSN a-b计算如下:
Figure BDA0003164675730000043
本发明产生的有益效果是:
1、本方法无需埋设仪器及布置相控点,只需通过对比不同期次的影像特征,即可进行变形监测分析、获得相应数据,可有效解决传统灾害体应急抢险过程中无实时数据支撑、或变形数据获取成本高风险大的弊端。
2、本方法可以提高无控条件下的测量精度,可以很好的适应于岩土体大变形的监测。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的方法流程图;
图2是本发明实施例的无人机影像拍摄航线示意图;
图3是本发明实施例的根据无人机影像生成的三维实景模型及提取的滑坡内特征点和滑坡外特征点;
图4是本发明实施例的滑坡内特征点不同期次正射影像位置变化图;
图5是本发明实施例的DEM累计差分云图示意图;
图6是本发明实施例的DEM相对差分云图示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,一种基于无控摄影测量的边坡变形监测方法,主要包括:首期影像获取、影像数据处理、提取变形范围内外特征点、后期影像获取、基于变形范围外首期影像特征点的数据处理、后期相同特征点与首期的分析对比;包括如下步骤:
1)采用无人机获取监测对象及周边一定范围内、具有一定重叠度的T0期影像数据;采用无人机获取的影像资料包括坐标位置信息,影像获取过程中应保证航向重叠和旁向重叠在70%左右,影像范围除应覆盖监测对象外,尤其应向监测对象外围延伸一定范围,以确保获取的影像包含变形区和稳定的不动区。
2)根据采集的影像,采用采用ContextCapture、PIX4D或PhotoScan等软件工具计算后,获取变形体及周边三维实景模型、正射影像、三维点云;
3)根据生成的三维实景模型,选取监测对象外围的若干特征点并提取坐标,作为后期数据处理的控制点;选取的特征点均匀分布并覆盖监测对象外围,特征点具有棱角明显、较好的相对稳定性、不易产生相对地表的倾倒或翻滚等特点;
4)根据三维实景模型、正射影像,选取监测对象内部的若干特征点并提取坐标,作为后期变形量分析的基准点;
所述基准点的选取应满足以下条件:1、尽量均匀分布于监测对象内部,以便于更好分析监测对象的全局变形情况;2、特征点自身具有棱角明显、较好的相对稳定性、不易产生相对地表的倾倒或翻滚等特点;
5)根据三维点云,采用ArcGIS等软件生成T0期DEM高程数据,作为后期DEM分析的基准数据;
6)采用T0期采集影像的相同方法,获取今后若干T1~Tn期影像数据;影像的获取方法相同,所使用的无人机应为同一台、或同一型号,飞行过程中所设计的航线应保持一致。
7)以T0期获取的监测对象外围的若干特征点为控制点,对T1~Tn期影像数据进行处理,同样生成三维实景模型、正射影像、三维点云;此过程中将步骤3)中获取的监测对象外围的特征点作为控制点带入进行计算,以确保与T0期数据相对坐标的一致;
8)根据T0期所定特征点的影像特征,结合三维实景模型、正射影像获取相同特征点不同期次T1~Tn期的平面坐标;
9)根据三维点云生成T1~Tn期DEM高程数据;
10)将T1~Tn期监测对象内部特征点坐标与T0期坐标进行计算,获取T1~Tn期各期的累计位移,T1~Tn期各期相互计算获取不同期次间的相对位移;
第a期的第N个特征点累计位移(计为
Figure BDA0003164675730000071
)计算如下:
Figure BDA0003164675730000072
而第a期与第b期的第N个特征点的相对位移(计为ΔSN a-b)计算如下:
Figure BDA0003164675730000073
11)将T1~Tn期DEM与T0期DEM进行差分计算,获取T1~Tn期各期累计变形云图,T1~Tn期各期相互差分获取不同期次间的相对变形云图;
步骤11)中,在进行DEM差分计算时,要确保两个DEM范围的一致,计算前需进行相应的裁剪处理。
12)根据测量的变形监测数据及其变化为依据,进行岩土体变形监测预警。
下面将结合具体实例进行详细描述。本实施例以乌东德水库蓄水后发生变形的河门口滑坡为例,河门口滑坡位于金沙江一级支流尘河左岸、总体积600万方;乌东德水库自2020年1月15日蓄水以后,滑坡前缘水位由蓄水前的920m抬升至955m时,于2020年8月11日产生了一次大的变形、变形区体积约200万方;由于在变形前未进行变形监测、以及变形后由于变形速率较大,无法实施传统的接触式变形监测、以及诸如三维激光扫描成本较高,于是对其实施了基于无控摄影测量的变形监测方法,实时掌握了其变形特征,为应急抢险提供分析依据。其实施过程步骤整体见图1,详细步骤如下:
1)于2020年8月11日采用大疆无人机根据图2所示的航线,拍摄了包括滑坡体内及滑坡体外的多张具有一定重叠度的影像数据,所获取的照片包括无人机拍照时的位置信息以及姿态信息。
2)根据采集的影像,对航摄影像进行空三等计算后,获取河门口滑坡范围及滑坡外围的三维实景模型、正射影像、三维点云。
3)根据生成的三维实景模型,选取河门口滑坡外围的若干特征点并提取坐标(见图3中蓝色圆圈点),作为后期数据处理的控制点。
特征点的选取一是要保证其位于滑坡外围的不动区内、且特征点周边的岩土体要自身稳定性较好、不至于产生局部的变形,本实施例选取的外围特征点均位于河门口滑坡外围的基岩山体上;二是要特征点影响清晰、棱角分明,以方便提取坐标信息时减少误差,本实施例选取的外围特征点多为岩体上部的矩形或三角形斑点,具明显的棱角信息,提取的坐标误差小;三是要特征点的分布应均匀分布于滑坡外围。
4)根据三维实景模型、正射影像,选取河门口滑坡变形区内部的若干特征点并提取其2020年8月11日坐标信息,如图3中红色圆圈点,作为后期变形量分析的基准数据。
滑坡变形区内部特征点应同样具有较好的相对稳定性、一般不容易相对地表产生倾向、翻滚等,同样要要棱角等明显以方便提取坐标信息时减少误差,监测对象内部特征点的选取应尽可能多且具代表性。
5)根据2020年8月11日三维点云数据生成DEM模型。
6)根据2020年8月11日同样的航摄线路、采用相同的无人机,获取2020年8月12日或其它日期的影响数据。在此采用同样的航摄线路、采用相同的无人机主要是为了减少相应的误差,保证数据的一致性。
7)以步骤3)中提取的2020年8月11日滑坡外围特征点作为已知的控制点,对2020年8月12日或其它日期获取的影响数据进行空三计算等步骤后,生成三维实景模型、正射影像、三维点云。
此步骤进行数据处理不同与步骤2)的地方在于,此过程要将步骤3)中获取滑坡外围特征点作为已知的控制点。
8)结合不同期次的三维实景模型、正射影像,提取与步骤4)中相同特征点的坐标信息,如图3中红色圆圈点及图4所示特征点位置。
实际操作中可以提取坐标信息进行后期的位移计算,亦可在图上进行标识后在图中直接量取位移量。
9)根据2020年8月12日或其它日期三维点云,生成不同期次的DEM高程数据。
10)将2020年8月12日或其它日期提取的滑坡体内的特征点与2020年8月11日特征点进行前述的累计位移计算,或直接将点位上图在图上进行量取,如图4所示。应用相同的方法,通过计算或直接量取不同期间的相对位移。
11)将2020年8月12日或其它日期获取的DEM模型与2020年8月11日的DEM模型进行差分计算,得到累计变形云图,如图5所示。或者应用相同的方法,将不同期次的DEM模型进行差分计算,得到相对变形云图,如图6所示。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于无控摄影测量的边坡变形监测方法,其特征在于,包括以下步骤:
1)通过无人机获取覆盖监测对象的影像数据,作为首期影像数据,记为T0期影像数据;所述获取的覆盖监测对象的影像包含变形区和稳定的不动区;
2)根据采集的影像,生成监测对象的三维实景模型、正射影像、三维点云;
3)根据生成的三维实景模型,选取监测对象外围的多个特征点并提取坐标,作为后期数据处理的控制点;该控制点为根据三维实景模型选取的特征点,不需要实地布置控制点;
所述控制点作为后期采集的影像数据的坐标基准;
4)根据三维实景模型、正射影像,选取监测对象内部的n个特征点并提取坐标,作为后期变形量分析的基准点;
5)根据T0期三维点云生成T0期DEM高程数据,作为后期DEM分析的基准数据;
6)采用T0期采集影像的相同方法,根据设定时间间隔周期,采集T1至Tn期影像数据;
7)对T1至Tn期影像数据进行处理,以T0期获取的监测对象外围的控制点的坐标作为坐标基准,同样生成三维实景模型、正射影像、三维点云;
8)根据T0期所定特征点的影像特征,结合三维实景模型、正射影像获取相同基准点在T1至Tn期的坐标;
9)根据T1至Tn期对应的三维点云生成T1至Tn期DEM高程数据;
10)将T1至Tn期监测对象的基准点对应坐标与T0期基准点的坐标进行计算,获取T1至Tn期各期的基准点累计位移,T1至Tn期各期相互计算获取不同期次间基准点的相对位移;
11)将T1至Tn期DEM与T0期DEM进行差分计算,获取T1~Tn期各期累计变形云图,T1至Tn期各期相互差分获取不同期次间的相对变形云图。
2.根据权利要求1所述的基于无控摄影测量的边坡变形监测方法,其特征在于,所述步骤1)中,影像获取过程中应保证影像数据的航向重叠和旁向重叠控制不低于70%。
3.根据权利要求1所述的基于无控摄影测量的边坡变形监测方法,其特征在于,所述步骤10)中,T1至Tn期各期的基准点累计位移的计算方式如下:
第i期的第N个特征点累计位移
Figure FDA0004070045240000021
采用以下公式计算:
Figure FDA0004070045240000022
其中,(XNTi,YNTi)为第i期的第N个特征点的平面坐标。
4.根据权利要求1所述的基于无控摄影测量的边坡变形监测方法,其特征在于,所述步骤10)中,T1至Tn期各期相互计算获取不同期次间基准点的相对位移,具体如下:
第a期与第b期的第N个特征点的相对位移ΔSN a-b计算如下:
Figure FDA0004070045240000031
CN202110801308.6A 2021-07-15 2021-07-15 一种基于无控摄影测量的边坡变形监测方法 Active CN113587834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110801308.6A CN113587834B (zh) 2021-07-15 2021-07-15 一种基于无控摄影测量的边坡变形监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110801308.6A CN113587834B (zh) 2021-07-15 2021-07-15 一种基于无控摄影测量的边坡变形监测方法

Publications (2)

Publication Number Publication Date
CN113587834A CN113587834A (zh) 2021-11-02
CN113587834B true CN113587834B (zh) 2023-05-30

Family

ID=78247735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110801308.6A Active CN113587834B (zh) 2021-07-15 2021-07-15 一种基于无控摄影测量的边坡变形监测方法

Country Status (1)

Country Link
CN (1) CN113587834B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757983A (zh) * 2022-04-27 2022-07-15 四川大学 一种无人机和三维激光扫描联合监测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193859A1 (ja) * 2018-04-04 2019-10-10 コニカミノルタ株式会社 カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
CN112801983A (zh) * 2021-01-28 2021-05-14 中南大学 基于摄影测量的边坡全域沉降检测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
JP5631688B2 (ja) * 2010-10-13 2014-11-26 国土防災技術株式会社 地上3dレーザースキャナーを用いた、ターゲット無設置による斜面の変動監視方法。
CN105783878A (zh) * 2016-03-11 2016-07-20 三峡大学 一种基于小型无人机遥感的边坡变形检测及量算方法
CN109357617B (zh) * 2018-10-25 2021-11-05 东北大学 一种基于无人机的高陡岩质边坡位移变形监测方法
CN110378199B (zh) * 2019-06-03 2021-08-06 北京北科安地科技发展有限公司 一种基于无人机多期影像的岩土体位移监测方法
CN110207681A (zh) * 2019-06-21 2019-09-06 中国电建集团成都勘测设计研究院有限公司 基于无人机的地面变形监测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193859A1 (ja) * 2018-04-04 2019-10-10 コニカミノルタ株式会社 カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
CN112801983A (zh) * 2021-01-28 2021-05-14 中南大学 基于摄影测量的边坡全域沉降检测方法及系统

Also Published As

Publication number Publication date
CN113587834A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113091599B (zh) 融合无人机dom和星载sar影像的地表三维形变提取方法
Cook et al. A new 100-m Digital Elevation Model of the Antarctic Peninsula derived from ASTER Global DEM: methods and accuracy assessment
CN105046251A (zh) 一种基于环境一号卫星遥感影像的自动正射校正方法
CN112070870B (zh) 点云地图评估方法、装置、计算机设备和存储介质
US20230419501A1 (en) Image analysis for aerial images
CN112577470B (zh) 一种UAV与InSAR融合监测矿区动态沉陷盆地的方法和系统
JP2020165746A (ja) 地すべり面推定装置、及び地すべり面推定方法
Mirko et al. Assessing the Impact of the Number of GCPS on the Accuracy of Photogrammetric Mapping from UAV Imagery
CN111679336B (zh) 航空重力测量点的布格重力异常值的计算方法、装置
CN113587834B (zh) 一种基于无控摄影测量的边坡变形监测方法
CN112365369A (zh) 一种基于机器视觉进行施工进度自动监控的方法
CN113032977A (zh) 基于无人机逆建模技术的土石方量测算方法
AGUILAR et al. 3D coastal monitoring from very dense UAV-Based photogrammetric point clouds
Qiao et al. Topography reconstruction and evolution analysis of outlet glacier using data from unmanned aerial vehicles in Antarctica
CN109188483B (zh) 一种时序化高精度外方位元素自动定标方法
Bilaşco et al. 3D reconstruction of landslides for the acquisition of digital databases and monitoring spatiotemporal dynamics of landslides based on GIS spatial analysis and UAV techniques
Stark et al. Long-term assessment of terrain changes and calculation of erosion rates in an alpine catchment based on SfM-MVS processing of historical aerial images. How camera information and processing strategy affect quantitative analysis
Lin et al. Micro-UAV based remote sensing method for monitoring landslides in Three Gorges Reservoir, China
JP2014126537A (ja) 座標補正装置、座標補正プログラム、及び座標補正方法
JP6996047B2 (ja) 2時期変化推定装置、及び2時期変化推定方法
Nizamuddin et al. Utilization of Unmanned Aerial Vehicle (UAV) for Topographic Survey Using Ground Control Points (GCP) from Geodetic GNSS
TWI597405B (zh) System and method for monitoring slope with tree displacement
Skrypitsyna et al. Motion of the Dålk Glacier (Prydz Bay, East Antarctica): Application of unmanned aerial survey
Hosseini et al. 3D Landslide Monitoring in High Spatial Resolution by Feature Tracking and Histogram Analyses Using Laser Scanners
CN114882100B (zh) 一种基于亚像元制图的土地覆盖面积估算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant