CN112325857A - 基于倾斜摄影的无人机障碍预警方法 - Google Patents

基于倾斜摄影的无人机障碍预警方法 Download PDF

Info

Publication number
CN112325857A
CN112325857A CN202011136523.0A CN202011136523A CN112325857A CN 112325857 A CN112325857 A CN 112325857A CN 202011136523 A CN202011136523 A CN 202011136523A CN 112325857 A CN112325857 A CN 112325857A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
model
oblique photography
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011136523.0A
Other languages
English (en)
Inventor
赵会杰
赵军
盖帅
郝亚峰
吴新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202011136523.0A priority Critical patent/CN112325857A/zh
Publication of CN112325857A publication Critical patent/CN112325857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于倾斜摄影的无人机障碍预警方法，本发明包括以下步骤：(1)无人机倾斜摄影模型获取与加载：利用无人机倾斜摄影技术对飞行区域地形地貌进行实景建模，将实景模型导入GIS平台中，使实景模型具备空间坐标信息；(2)飞行区域栅格法建模：使用栅格法在加载无人机倾斜摄影模型的GIS平台中对飞行环境进行建模；(3)无人机障碍预警：在GIS平台中加载无人机三维模型，接收无人机下传的GPS信息，在加载了倾斜摄影模型的地图中记录当前飞机位置，并通过计算倾斜摄影模型的高度值实现障碍预警。本发明引进倾斜摄影技术和GIS平台，根据无人机实际飞行区域的障碍物信息进行障碍预警，有效保证无人机低空复杂环境下飞行的安全性。

Description

基于倾斜摄影的无人机障碍预警方法
技术领域
本发明涉及无人机技术领域，具体涉及一种基于倾斜摄影的无人机障碍预警方法。
背景技术
无人机作为我国科技创新的重要产业，正处于井喷式发展时期，其具有成本低、效率高、可重复使用等特点，因而被广泛应用于军事侦察、电力巡检、地理测绘等领域。随着无人机的作业空域从中、高空不断向低空甚至超低空扩展，所面临的障碍环境的复杂性逐渐上升，故低空复杂环境下无人机障碍预警具有重要意义。在无人机避障规划中，栅格法在环境建模方面的应用十分广泛。但是考虑到无人机在低空复杂环境下面临规划空间狭小、边界条件多、避障裕度小等多方面挑战，在加载无人机倾斜摄影模型的GIS平台中采用栅格法构建飞行空间栅格模型，可以保证模型的精确度，有效保证无人机低空复杂环境下飞行的安全性。
倾斜摄影技术是国际测绘领域近些年发展起来的一项高新技术。它改变了以往航空摄影测量只能使用单一相机从垂直角度拍摄地物的局限，通过在同一飞行平台上搭载多台传感器，同时从垂直、侧视和前后视等不同角度采集影像。倾斜摄影所具备的高效率、高精度、高真实感、低成本优势，使其逐步替代传统人工建模的三维模型获取方式。
发明内容
本发明所要解决的技术问题是提供一种基于倾斜摄影的无人机障碍预警方法，引进倾斜摄影技术，并考虑真实环境的建筑与地形，在无人机实时飞行过程中对前方障碍进行预警提示。
本发明所采取的技术方案为：
基于倾斜摄影的无人机障碍预警方法，包括以下步骤：
(1)利用无人机倾斜摄影技术对飞行区域地形地貌进行实景建模，将倾斜摄影模型导入GIS平台地图中，使倾斜摄影模型具备空间坐标信息；
(2)使用栅格法在加载倾斜摄影模型的GIS平台中对飞行环境进行建模，并计算不同区域栅格危险度；
(3)在GIS平台中加载无人机三维模型，接收无人机下传的GPS信息，在加载了倾斜摄影模型的地图中记录当前飞机位置，通过计算飞机将要飞行的前方是否有危险度高的栅格实现障碍预警。
其中，所述步骤(1)具体包括以下步骤：
(1.1)对飞行区域进行实地踏勘，获取测区范围内倾斜航空影像数据，并生成三维模型，得到倾斜摄影模型；
(1.2)将倾斜摄影模型按照缩放等级划分为多组；
(1.3)对等级划分后的倾斜摄影模型按照缩放级别和经纬度范围进行数据分片；其中，每一个分片保存一个分片模型，并保存分片等级、每一等级的模型分片数和每一个模型分片对应的坐标信息；
(1.4)确定整个飞行区域将要被加载的缩放等级，以及该缩放等级下的分组数，并确定该缩放等级下每个分组的区域范围，根据分组的区域范围确定每个分组中包括的分片模型；
(1.5)将步骤(1.4)确定的内容批量动态加载到GIS平台地图中。
其中，所述步骤(2)具体包括以下步骤：
(2.1)基于GIS平台的三维坐标系统，设定飞行起始点及终止巡航点的坐标，在加载了倾斜摄影模型的地图中，根据需要飞行的区域设定一个矩形的飞行边界；
(2.2)在平面上创建方格，并根据倾斜摄影模型的高度数据赋予每个方格对应的高度值，形成栅格地图；
(2.3)将栅格地图中障碍区域按位置划分为与飞行边界接触的障碍区域和不与飞行边界接触的障碍区域，并按无人机预计飞行高度，计算不同区域栅格危险度。
其中，所述步骤(3)具体包括以下步骤：
(3.1)在GIS平台中加载无人机三维模型；
(3.2)接收无人机下传的GPS信息，计算出无人机的飞行位姿并传输给GIS平台中的无人机三维模型，并在加载了倾斜摄影模型的地图中记录当前飞机位置，
(3.3)通过计算得出的栅格危险度，根据当前无人机的飞行航向与飞行速度，计算无人机将要飞行的前方是否有危险度高的栅格，若有则进行声光报警，提示无人机前方有障碍请避开。
本发明与现有技术相比具有如下优点：通过加载无人机倾斜摄影模型，可获取飞行区域的实际场景障碍，有效保证无人机低空复杂环境下飞行的安全性；
附图说明：
图1是本发明无人机障碍预警方法流程图。
具体实施方式
以下结合附图1和实施例对本发明做进一步的说明。
本发明基于倾斜摄影的无人机障碍预警方法，主要包括以下步骤：
(1)无人机倾斜摄影模型获取与加载：
利用无人机倾斜摄影技术对飞行区域地形地貌进行实景建模，将倾斜摄影模型导入GIS平台中，使倾斜摄影模型具备空间坐标信息；
具体地，包括以下步骤：
(1.1)倾斜摄影三维数据采集与处理；
进行飞行区域实地踏勘，收集资料，对飞行区域进行航线设计，参照相关的技术规范标准，完成测区范围内倾斜航空影像数据获取工作。对获取的测区影像进行质量检查，确定影像没有变形、扭曲等现象，对影像质量不符合要求的进行修复，影像统一编号，使用三维建模软件自动完成空三运算，根据GIS平台要求生成相应格式的三维模型；
(1.2)将所有倾斜摄影测量三维模型按照缩放等级进行划分；
(1.3)对等级划分后的倾斜摄影模型按照缩放级别和经纬度范围进行数据分片；其中，每一个分片保存一个分片模型，并保存分片等级、每一等级的模型分片数和每一个模型分片对应的坐标信息；
(1.4)对分片模型进行加载分组；
首先确定整个飞行区域将要被加载的缩放等级，其次确定该等级下的分组数，所述每个缩放等级下的分组数为实现设定，最终确定该等级下的每个分组的区域范围，根据分组的区域范围确定每个分组中包括的分片模型；
(1.5)GIS平台中批量动态加载三维模型；
首先根据场景浏览的摄像机参数，计算摄像机范围以确定需要加载的模型分组等级，其次根据摄像机中心点位置与当前加载等级的分组进行比较，判断其落入的分组，加载相应分组对应的全部三维模型，在进行地图缩放操作时，计算将要加载的模型分组等级，如果与原等级不同，判断当前已加载的是否为最大模型分组等级且模型加载量超过70％，若是则摄像机的后续缩放过程中将不再删除已经加载的三维模型，否则删除已加载的三维模型，转而加载新的等级下的分组模型。
(2)飞行区域栅格法建模：
使用栅格法在加载无人机倾斜摄影模型的GIS平台中对飞行环境进行建模。
具体地，包括以下步骤：
(2.1)划分飞行区域；
基于GIS平台的三维坐标系统，设定飞行起始点及终止巡航点的坐标。在加载了倾斜摄影模型的地图中，根据需要飞行的区域设定一个矩形的飞行边界。
(2.2)三维环境分割；
在平面上创建1m×1m的方格，并根据倾斜摄影模型的高度数据赋予每个方格对应的高度值，使得在路径规划过程中不需要借助其他信息，而仅仅利用障碍物本身的高度信息即可完成避障规划。
(2.3)栅格分类；
将栅格地图中障碍区域按位置分布可划分为2类：与边界接触的障碍区域(区域1)，不与边界接触的障碍区域(区域2)。定义栅格危险度来衡量路径点周围环境对该点的危险程度，区域1和区域2中的栅格按其高度与预计飞行高度比较，计算不同区域栅格危险度。
(3)无人机障碍预警：
在GIS平台中加载无人机三维模型，接收无人机下传的GPS信息，在加载了倾斜摄影模型的地图中记录当前飞机位置，并通过计算倾斜摄影模型的高度值实现障碍预警。
具体地，包括以下步骤
(3.1)加载无人机三维模型；
使用三维建模软件，仿照真实无人机进行建模并渲染模型纹理，生成.glb格式无人机模型，在GIS平台中通过约定模型显示比例，加载无人机三维模型，在进行地图缩放操作时，无人机模型缩放比例随摄像机的范围成比例关系；
(3.2)接收无人机GPS信息；
通过无线链路设备实时接收飞机下传的GPS信息，并根据数据校验判断数据的准确性，计算出无人机的飞行位姿，把数据传输给GIS平台中的无人机三维模型，使得无人机三维模型直观准确的显示当前飞行的无人机状态。
(3.3)计算无人机飞行前方障碍无信息并预警。
通过计算得出的栅格危险度，根据当前无人机的飞行航向与飞行速度，计算无人机将要飞行的前方是否有危险度高的栅格，若有则进行声光报警，提示无人机前方有障碍请避开。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.基于倾斜摄影的无人机障碍预警方法，其特征在于，包括以下步骤：
(1)利用无人机倾斜摄影技术对飞行区域地形地貌进行实景建模，将倾斜摄影模型导入GIS平台地图中，使倾斜摄影模型具备空间坐标信息；
(2)使用栅格法在加载倾斜摄影模型的GIS平台中对飞行环境进行建模，并计算不同区域栅格危险度；
(3)在GIS平台中加载无人机三维模型，接收无人机下传的GPS信息，在加载了倾斜摄影模型的地图中记录当前飞机位置，通过计算飞机将要飞行的前方是否有危险度高的栅格实现障碍预警。
2.如权利要求1所述的基于倾斜摄影的无人机障碍预警方法，其特征在于，所述步骤(1)具体包括以下步骤：
(1.1)对飞行区域进行实地踏勘，获取测区范围内倾斜航空影像数据，并生成三维模型，得到倾斜摄影模型；
(1.2)将倾斜摄影模型按照缩放等级划分为多组；
(1.3)对等级划分后的倾斜摄影模型按照缩放级别和经纬度范围进行数据分片；其中，每一个分片保存一个分片模型，并保存分片等级、每一等级的模型分片数和每一个模型分片对应的坐标信息；
(1.4)确定整个飞行区域将要被加载的缩放等级，以及该缩放等级下的分组数，并确定该缩放等级下每个分组的区域范围，根据分组的区域范围确定每个分组中包括的分片模型；
(1.5)将步骤(1.4)确定的内容批量动态加载到GIS平台中。
3.如权利要求1所述的基于倾斜摄影的无人机障碍预警方法，其特征在于，所述步骤(2)具体包括以下步骤：
(2.1)基于GIS平台的三维坐标系统，设定飞行起始点及终止巡航点的坐标，在加载了倾斜摄影模型的地图中，根据需要飞行的区域设定一个矩形的飞行边界；
(2.2)在平面上创建方格，并根据倾斜摄影模型的高度数据赋予每个方格对应的高度值，形成栅格地图；
(2.3)将栅格地图中障碍区域按位置划分为与飞行边界接触的障碍区域和不与飞行边界接触的障碍区域，并按无人机预计飞行高度，计算不同区域栅格危险度。
4.如权利要求1所述的基于倾斜摄影的无人机障碍预警方法，其特征在于，所述步骤(3)具体包括以下步骤：
(3.1)在GIS平台中加载无人机三维模型；
(3.2)接收无人机下传的GPS信息，计算出无人机的飞行位姿并传输给GIS平台中的无人机三维模型，并在加载了倾斜摄影模型的地图中记录当前飞机位置；
(3.3)通过计算得出的栅格危险度，根据当前无人机的飞行航向与飞行速度，计算无人机将要飞行的前方是否有危险度高的栅格，若有则进行声光报警，提示无人机前方有障碍请避开。
CN202011136523.0A 2020-10-22 2020-10-22 基于倾斜摄影的无人机障碍预警方法 Pending CN112325857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011136523.0A CN112325857A (zh) 2020-10-22 2020-10-22 基于倾斜摄影的无人机障碍预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011136523.0A CN112325857A (zh) 2020-10-22 2020-10-22 基于倾斜摄影的无人机障碍预警方法

Publications (1)

Publication Number Publication Date
CN112325857A true CN112325857A (zh) 2021-02-05

Family

ID=74311256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011136523.0A Pending CN112325857A (zh) 2020-10-22 2020-10-22 基于倾斜摄影的无人机障碍预警方法

Country Status (1)

Country Link
CN (1) CN112325857A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113917939A (zh) * 2021-10-09 2022-01-11 广东汇天航空航天科技有限公司 飞行器的定位导航方法、系统及计算设备
CN117369479A (zh) * 2023-12-04 2024-01-09 江苏莳光地理信息科技有限公司 一种基于倾斜摄影测量技术的无人机障碍预警方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070129853A1 (en) * 2004-01-23 2007-06-07 Rafael-Armament Development Authority Ltd. Airborne reconnaissance system
CN103531044A (zh) * 2013-10-15 2014-01-22 江苏艾锐泰克无人飞行器科技有限公司 无人机障碍报警系统
CN105426488A (zh) * 2015-11-20 2016-03-23 中国地质大学（武汉） 一种基于WebGL的大批量倾斜摄影测量三维模型加载方法
CN107576311A (zh) * 2017-08-23 2018-01-12 长江水利委员会长江科学院 一种基于三维gis的水库巡检实时监测方法
CN108303991A (zh) * 2017-12-15 2018-07-20 成都优力德新能源有限公司 无人机障碍报警系统
CN108775902A (zh) * 2018-07-25 2018-11-09 齐鲁工业大学 基于障碍物虚拟膨胀的伴随机器人路径规划方法及系统
CN108984965A (zh) * 2018-08-17 2018-12-11 国网安徽省电力有限公司肥西县供电公司 基于gis和bim的电网线路规划设计方法
CN109883401A (zh) * 2019-03-28 2019-06-14 东南大学 一种城市观山可视域的测量方法及系统
CN109917814A (zh) * 2019-04-19 2019-06-21 成都蔚来空间科技有限公司 无人机作业方法与系统
CN110503080A (zh) * 2019-08-30 2019-11-26 中国电建集团西北勘测设计研究院有限公司 基于无人机倾斜摄影辅助排污口的调查方法
CN111197986A (zh) * 2019-08-13 2020-05-26 苏州光之翼智能科技有限公司 一种无人机三维路径实时预警避障方法
CN111325783A (zh) * 2020-02-19 2020-06-23 深圳震有科技股份有限公司 一种基于WebGIS的可视域分析方法及装置
CN111752297A (zh) * 2019-09-30 2020-10-09 广州极飞科技有限公司 无人机飞行控制方法及相关装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070129853A1 (en) * 2004-01-23 2007-06-07 Rafael-Armament Development Authority Ltd. Airborne reconnaissance system
CN103531044A (zh) * 2013-10-15 2014-01-22 江苏艾锐泰克无人飞行器科技有限公司 无人机障碍报警系统
CN105426488A (zh) * 2015-11-20 2016-03-23 中国地质大学（武汉） 一种基于WebGL的大批量倾斜摄影测量三维模型加载方法
CN107576311A (zh) * 2017-08-23 2018-01-12 长江水利委员会长江科学院 一种基于三维gis的水库巡检实时监测方法
CN108303991A (zh) * 2017-12-15 2018-07-20 成都优力德新能源有限公司 无人机障碍报警系统
CN108775902A (zh) * 2018-07-25 2018-11-09 齐鲁工业大学 基于障碍物虚拟膨胀的伴随机器人路径规划方法及系统
CN108984965A (zh) * 2018-08-17 2018-12-11 国网安徽省电力有限公司肥西县供电公司 基于gis和bim的电网线路规划设计方法
CN109883401A (zh) * 2019-03-28 2019-06-14 东南大学 一种城市观山可视域的测量方法及系统
CN109917814A (zh) * 2019-04-19 2019-06-21 成都蔚来空间科技有限公司 无人机作业方法与系统
CN111197986A (zh) * 2019-08-13 2020-05-26 苏州光之翼智能科技有限公司 一种无人机三维路径实时预警避障方法
CN110503080A (zh) * 2019-08-30 2019-11-26 中国电建集团西北勘测设计研究院有限公司 基于无人机倾斜摄影辅助排污口的调查方法
CN111752297A (zh) * 2019-09-30 2020-10-09 广州极飞科技有限公司 无人机飞行控制方法及相关装置
CN111325783A (zh) * 2020-02-19 2020-06-23 深圳震有科技股份有限公司 一种基于WebGIS的可视域分析方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
欧佳佳: "市政隧道工程设计阶段BIM技术应用", 《工程与建设》 *
陈明杰: "无人机倾斜摄影测量三维建模及模型可视化研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113917939A (zh) * 2021-10-09 2022-01-11 广东汇天航空航天科技有限公司 飞行器的定位导航方法、系统及计算设备
CN113917939B (zh) * 2021-10-09 2022-09-06 广东汇天航空航天科技有限公司 飞行器的定位导航方法、系统及计算设备
CN117369479A (zh) * 2023-12-04 2024-01-09 江苏莳光地理信息科技有限公司 一种基于倾斜摄影测量技术的无人机障碍预警方法及系统
CN117369479B (zh) * 2023-12-04 2024-02-13 江苏莳光地理信息科技有限公司 一种基于倾斜摄影测量技术的无人机障碍预警方法及系统

Similar Documents

Publication Publication Date Title
US10962650B2 (en) Polyhedral geofences
CN107194989B (zh) 基于无人机飞机航拍的交通事故现场三维重建系统及方法
CN113009506B (zh) 一种虚实结合的实时激光雷达数据生成方法、系统及设备
CN111123920A (zh) 一种自动驾驶仿真测试场景生成方法和装置
CN113137955B (zh) 一种基于场景建模和虚拟摄影的无人机航测虚拟仿真方法
CN108090957B (zh) 基于bim的测绘地形的方法
CN110906954A (zh) 一种基于自动驾驶平台的高精度地图测试评估方法和装置
CN112859930B (zh) 一种基于三维低空目视飞行最佳路径规划方法
CN112652065A (zh) 三维社区建模方法、装置、计算机设备及存储介质
CN113607135A (zh) 一种用于路桥施工领域的无人机倾斜摄影测量方法
CN109931950B (zh) 一种实景导航方法、系统及终端设备
CN112325857A (zh) 基于倾斜摄影的无人机障碍预警方法
KR101405891B1 (ko) 항공정보 현시 시스템 및 그 방법
CN111667569A (zh) 一种基于Rhino及Grasshopper的三维实景土方可视化精准测算方法
CN113743155A (zh) 一种构建物体的多细节层次模型的方法及计算机设备
CN115825067A (zh) 一种基于无人机的地质信息采集方法、系统及电子设备
CN114295139A (zh) 一种协同感知定位方法及系统
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
CN113448340B (zh) 一种无人机的路径规划方法、装置、无人机及存储介质
Muji et al. Assessment of Digital Elevation Model (DEM) using onboard GPS and ground control points in UAV image processing
KR101232292B1 (ko) 항공 라이다 자료를 이용한 천개지수 계산 시스템
Chaudhry et al. A comparative study of modern UAV platform for topographic mapping
Ciritcioğlu et al. Assessment of Unmanned Aerial Vehicle use opportunities in forest road project (Düzce Sample)
Funk et al. A passive cloud detection system for uav: System functions and validation
Room et al. Assessment of different unmanned aerial vehicle system for production of photogrammerty products

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205

RJ01 Rejection of invention patent application after publication