CN112747745A - 一种目标特性参数测量装置及方法 - Google Patents

一种目标特性参数测量装置及方法 Download PDF

Info

Publication number
CN112747745A
CN112747745A CN202011557188.1A CN202011557188A CN112747745A CN 112747745 A CN112747745 A CN 112747745A CN 202011557188 A CN202011557188 A CN 202011557188A CN 112747745 A CN112747745 A CN 112747745A
Authority
CN
China
Prior art keywords
target
gps
coordinates
turntable
communication module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011557188.1A
Other languages
English (en)
Inventor
常帅
宋延嵩
赵馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202011557188.1A priority Critical patent/CN112747745A/zh
Publication of CN112747745A publication Critical patent/CN112747745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明提供一种目标特性参数测量装置及方法。将红外相机获得的目标图像与可见光相机获得的目标图像进行图像融合，完成对目标的识别与跟踪；将激光测距机获得的目标的距离值，方位转台与俯仰转台获得的目标相对于初始零位的方位角值与俯仰角值，GPS/INS组合系统获得的承载体位置、姿态角值结合到一起，应用坐标转换矩阵计算目标的绝对位置信息，通过对运动目标的实时位置进行数据处理，获得目标的速度、姿态特性参数。此种方法可完成动/静目标连续跟踪，还可以给出静态目标的位置坐标，动态目标的位置坐标、速度、航向角、俯仰角等信息值，满足无人船自动驾驶领域对目标特性参数测量的需求，具有广泛的应用前景。

Description

一种目标特性参数测量装置及方法
技术领域
本发明涉及一种目标特性参数测量装置及方法，属于无人船自动驾驶领域。
背景技术
无人船是一种具有自主避障与规划、自主航行能力，并能自主完成环境感知、目标识别与定位等任务的智能水面平台。在无人船进行自主航行时，无人船需要配备相应的传感器模块，例如激光雷达、卫星导航系统和光电传感器等设备，实现行进路线上周围环境感知，从而合理规划行进路径、对周围目标进行监测等。当无人船在水面上行进时，受到水面环境特性的影响，激光雷达对环境感知的效果不好，而且距离受到限制，常用的激光雷达产品的探测距离为300m左右，不满足无人船高速行驶过程中对环境感知的需求。将红外相机、可见光相机、激光测距机、GPS/INS系统传感器组合到一起，完成无人船行进路径环境特性感知，通过建模算法完成静止目标位置，动态目标位置、速度、姿态角解算。目前，此类技术还没有相关报道。另外，此系统还可通过网络实现感知设备组网，实现无人船集群间环境特性，拓展其应用领域。
发明内容
本发明的目的在于提供一种目标特性参数测量装置及方法。将红外相机、可见光相机、激光测距机、GPS/INS系统传感器组合到一起，完成无人船行进路径环境特性感知，通过建模算法完成静止目标位置，动态目标位置、速度、姿态角解算，为无人船自主航行提供技术支撑。
本发明提供的技术方案是这样实现的：
一种目标特性参数测量装置及方法，由红外光相机1、可见光相机2、激光测距机3、方位转台4、俯仰转台5、承载体6、第二GPS天线7、GPS/INS组合系统8、第一GPS天线9、主控计算机10、第二光通信模块11、第一光通信模块12、GPS差分站13构成。
俯仰转台5安装在承载体6上；方位转台4安装在俯仰转台5上；激光测距机3安装在方位转台4上；可见光相机2安装在激光测距机3上；红外光相机1安装在可见光相机1上；第二GPS天线(7)、GPS/INS组合系统8、第一GPS天线9、主控计算机10、第二光通信模块顺次安装在承载体6上；GPS差分站13安装在第一光通信模块12上；
红外光相机1、可见光相机2、激光测距机3、方位转台4、俯仰转台5、GPS/INS组合系统8、第二光通信模块11通过线缆与主控计算机10相连；第二GPS天线7、第一GPS天线9通过线缆与GPS/INS组合系统8相连。
其具体步骤如下：
(1)红外光相机1对目标成像获得目标的红外图像，可见光相机2对目标成像获得目标的可见光图像，在主控计算机10内完成红外图像与可见光图像融合，并完成目标识别与跟踪。
(2)激光测距机3获得目标距离L值；方位转台4获得方位转角α1，俯仰转台5获得俯仰转角α2；根据如下公式获得目标在视轴坐标系下的坐标(x1，y1，z1)，
Figure BDA0002859372660000021
(3)第一光通信模块12将GPS差分站13获得的位置差分坐标修正值(ΔX，ΔY，ΔZ)传输给第二光通信模块11，第二光通信模块11获得位置差分坐标修正值后，将此修正值送入主控计算机10；第一GPS天线9获得坐标(X2，Y2，Z2)，对坐标(X2，Y2，Z2)进行处理获得坐标(X3，Y3，Z3)＝(X2+ΔX，Y2+ΔY，Z2+ΔZ)。
(4)应用如下公式将坐标(x1，y1，z1)转换为空间大地直角坐标(X1，Y1，Z1)，
Figure BDA0002859372660000022
式中，
Figure BDA0002859372660000023
θ1为承载体6的横滚角，θ2为承载体6的航向角，θ3为承载体6的俯仰角，θ1，θ2，θ3由GPS/INS组合系统8给出，
Figure BDA0002859372660000024
B为纬度值，L为经度值，B与L由第一GPS天线9与GPS/INS组合系统8共同给出。
(5)间隔时间t后对目标再次进行测量，重复步(1)-(4)获得目标位置(X4，Y4，Z4)，则运动目标的三维速度(VX,VY,VZ)可通过下式求出：
Figure BDA0002859372660000031
(6)以坐标(X1，Y1，Z1)为原点，建立地理坐标系，将坐标(X4，Y4，Z4)转换到地理坐标系下，获得坐标(x4，y4，z4)，则运动目标的航向角β1、俯仰角β2由下式求出：
Figure BDA0002859372660000032
本发明的积极效果：是将红外相机、可见光相机、激光测距机、GPS/INS系统传感器组合到一起，完成无人船行进路径环境特性感知，通过建模算法完成静止目标位置，动态目标位置、速度、姿态角解算。具有感知距离远、感知精度高、受环境影响小等突出特点，满足无人船自主航行时行进路线环境特性感知的要求。
附图说明
图1是一种目标特性参数测量装置及方法的示意图；
具体实施方式
下面结合附图和实施例对本发明做进一步的描述：
红外光相机选用峰值灵敏度在1550nm波段相机：可见光相机选用具有高增益功能的相机；激光测距机选用测距距离在1km，测距精度为5m的系统；GPS/INS选用内置光纤陀螺产品。
实施例1
红外光相机1、可见光相机2、激光测距机3、方位转台4、俯仰转台5、承载体6、第二GPS天线7、GPS/INS组合系统8、第一GPS天线9、主控计算机10、第二光通信模块11、第一光通信模块12、GPS差分站13。如图1所示安置。
俯仰转台5安装在承载体6上；方位转台4安装在俯仰转台5上；激光测距机3安装在方位转台4上；可见光相机2安装在激光测距机3上；红外光相机1安装在可见光相机1上；第二GPS天线(7)、GPS/INS组合系统8、第一GPS天线9、主控计算机10、第二光通信模块顺次安装在承载体6上；GPS差分站13安装在第一光通信模块12上；
红外光相机1、可见光相机2、激光测距机3、方位转台4、俯仰转台5、GPS/INS组合系统8、第二光通信模块11通过线缆与主控计算机10相连；第二GPS天线7、第一GPS天线9通过线缆与GPS/INS组合系统8相连。
实施步骤如下：
(1)红外光相机1对目标成像获得目标的红外图像，可见光相机2对目标成像获得目标的可见光图像，在主控计算机10内完成红外图像与可见光图像融合，并完成目标识别与跟踪。
(2)激光测距机3获得目标距离L值；方位转台4获得方位转角α1，俯仰转台5获得俯仰转角α2；根据如下公式获得目标在视轴坐标系下的坐标(x1，y1，z1)，
Figure BDA0002859372660000041
(3)第一光通信模块12将GPS差分站13获得的位置差分坐标修正值(ΔX，ΔY，ΔZ)传输给第二光通信模块11，第二光通信模块11获得位置差分坐标修正值后，将此修正值送入主控计算机10；第一GPS天线9获得坐标(X2，Y2，Z2)，对坐标(X2，Y2，Z2)进行处理获得坐标(X3，Y3，Z3)＝(X2+ΔX，Y2+ΔY，Z2+ΔZ)。
(4)应用如下公式将坐标(x1，y1，z1)转换为空间大地直角坐标(X1，Y1，Z1)，
Figure BDA0002859372660000042
式中，
Figure BDA0002859372660000043
θ1为承载体6的横滚角，θ2为承载体6的航向角，θ3为承载体6的俯仰角，θ1，θ2，θ3由GPS/INS组合系统8给出，
Figure BDA0002859372660000044
B为纬度值，L为经度值，B与L由第一GPS天线9与GPS/INS组合系统8共同给出。
(5)间隔时间t后对目标再次进行测量，重复步(1)-(4)获得目标位置(X4，Y4，Z4)，则运动目标的三维速度(VX,VY,VZ)可通过下式求出：
Figure BDA0002859372660000045
(6)以坐标(X1，Y1，Z1)为原点，建立地理坐标系，将坐标(X4，Y4，Z4)转换到地理坐标系下，获得坐标(x4，y4，z4)，则运动目标的航向角β1、俯仰角β2由下式求出：
Figure BDA0002859372660000051
通过以上步骤实现静止目标位置大地坐标测量，动态目标大地坐标、目标运行速度、目标姿态角测量。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (2)

1.一种目标特性参数测量装置及方法，其特征在于它由红外光相机(1)、可见光相机(2)、激光测距机(3)、方位转台(4)、俯仰转台(5)、承载体(6)、第二GPS天线(7)、GPS/INS组合系统(8)、第一GPS天线(9)、主控计算机(10)、第二光通信模块(11)、第一光通信模块(12)、GPS差分站(13)构成。
2.根据权利要求1所述的一种目标特性参数测量装置及方法，其特征在于俯仰转台(5)安装在承载体(6)上；方位转台(4)安装在俯仰转台(5)上；激光测距机(3)安装在方位转台(4)上；可见光相机(2)安装在激光测距机(3)上；红外光相机(1)安装在可见光相机(1)上；第二GPS天线(7)、GPS/INS组合系统(8)、第一GPS天线(9)、主控计算机(10)、第二光通信模块顺次安装在承载体(6)上；GPS差分站(13)安装在第一光通信模块(12)上；红外光相机(1)、可见光相机(2)、激光测距机(3)、方位转台(4)、俯仰转台(5)、GPS/INS组合系统(8)、第二光通信模块(11)通过线缆与主控计算机(10)相连；第二GPS天线(7)、第一GPS天线(9)通过线缆与GPS/INS组合系统(8)相连；
具体目标参数测量步骤如下：
步骤1、红外光相机(1)对目标成像获得目标的红外图像，可见光相机(2)对目标成像获得目标的可见光图像，在主控计算机(10)内完成红外图像与可见光图像融合，并完成目标识别与跟踪；
步骤2、激光测距机(3)获得目标距离L值；方位转台(4)获得方位转角α1，俯仰转台(5)获得俯仰转角α2；根据如下公式获得目标在视轴坐标系下的坐标(x1，y1，z1)，
Figure FDA0002859372650000011
步骤3、第一光通信模块(12)将GPS差分站(13)获得的位置差分坐标修正值(ΔX，ΔY，ΔZ)传输给第二光通信模块(11)，第二光通信模块(11)获得位置差分坐标修正值后，将此修正值送入主控计算机(10)；第一GPS天线(9)获得大地坐标(X2，Y2，Z2)，对坐标(X2，Y2，Z2)进行处理获得坐标(X3，Y3，Z3)＝(X2+ΔX，Y2+ΔY，Z2+ΔZ)；
步骤4、应用如下公式将坐标(x1，y1，z1)转换为空间大地直角坐标(X1，Y1，Z1)，
Figure FDA0002859372650000021
式中，
Figure FDA0002859372650000022
θ1为承载体(6)的横滚角，θ2为承载体(6)的航向角，θ3为承载体(6)的俯仰角，θ1，θ2，θ3由GPS/INS组合系统(8)给出；
Figure FDA0002859372650000023
B为纬度值，L为经度值，B与L由第一GPS天线(9)与GPS/INS组合系统(8)共同给出；
步骤5、间隔时间t后对目标再次进行测量，重复步骤1、步骤2、步骤3、步骤4，获得目标位置(X4，Y4，Z4)，则目标的三维速度(VX,VY,VZ)可通过下式求出：
Figure FDA0002859372650000024
步骤6、以坐标(X1，Y1，Z1)为原点，建立地理坐标系，将坐标(X4，Y4，Z4)转换到地理坐标系下，获得坐标(x4，y4，z4)，则目标的航向角β1、俯仰角β2由下式求出：
Figure FDA0002859372650000025
CN202011557188.1A 2020-12-25 2020-12-25 一种目标特性参数测量装置及方法 Pending CN112747745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011557188.1A CN112747745A (zh) 2020-12-25 2020-12-25 一种目标特性参数测量装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011557188.1A CN112747745A (zh) 2020-12-25 2020-12-25 一种目标特性参数测量装置及方法

Publications (1)

Publication Number Publication Date
CN112747745A true CN112747745A (zh) 2021-05-04

Family

ID=75647585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011557188.1A Pending CN112747745A (zh) 2020-12-25 2020-12-25 一种目标特性参数测量装置及方法

Country Status (1)

Country Link
CN (1) CN112747745A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115184973A (zh) * 2022-07-08 2022-10-14 中国科学院微小卫星创新研究院 基于惯性测量与激光测距的星载超远距离目标测速和定位系统及其方法
CN115616597A (zh) * 2022-09-14 2023-01-17 长春理工大学 一种无人船透雾成像避障装置及其使用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928861A (zh) * 2012-09-29 2013-02-13 凯迈（洛阳）测控有限公司 机载设备用目标定位方法及装置
WO2016106961A1 (zh) * 2014-12-30 2016-07-07 华中科技大学 一种多传感器融合的超近距离自主导航装置与方法
CN106658707A (zh) * 2016-12-15 2017-05-10 广州极飞科技有限公司 差分定位系统和无人机
CN107121691A (zh) * 2017-05-03 2017-09-01 长春理工大学 一种快速指向与跟踪装置及方法
CN109212545A (zh) * 2018-09-19 2019-01-15 长沙超创电子科技有限公司 基于主动视觉的多信源目标跟踪测量系统及跟踪方法
CN109444927A (zh) * 2018-11-29 2019-03-08 南京航空航天大学 基于1090MHz扩展电文的GPS位置差分修正系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928861A (zh) * 2012-09-29 2013-02-13 凯迈（洛阳）测控有限公司 机载设备用目标定位方法及装置
WO2016106961A1 (zh) * 2014-12-30 2016-07-07 华中科技大学 一种多传感器融合的超近距离自主导航装置与方法
CN106658707A (zh) * 2016-12-15 2017-05-10 广州极飞科技有限公司 差分定位系统和无人机
CN107121691A (zh) * 2017-05-03 2017-09-01 长春理工大学 一种快速指向与跟踪装置及方法
CN109212545A (zh) * 2018-09-19 2019-01-15 长沙超创电子科技有限公司 基于主动视觉的多信源目标跟踪测量系统及跟踪方法
CN109444927A (zh) * 2018-11-29 2019-03-08 南京航空航天大学 基于1090MHz扩展电文的GPS位置差分修正系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋延嵩 等: "舰船间激光通信系统视轴捕获技术", 《长春理工大学学报（自然科学版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115184973A (zh) * 2022-07-08 2022-10-14 中国科学院微小卫星创新研究院 基于惯性测量与激光测距的星载超远距离目标测速和定位系统及其方法
CN115184973B (zh) * 2022-07-08 2024-04-16 中国科学院微小卫星创新研究院 基于惯性测量与激光测距的星载超远距离目标测速和定位系统及其方法
CN115616597A (zh) * 2022-09-14 2023-01-17 长春理工大学 一种无人船透雾成像避障装置及其使用方法

Similar Documents

Publication Publication Date Title
CN110243358B (zh) 多源融合的无人车室内外定位方法及系统
CN109911188B (zh) 非卫星导航定位环境的桥梁检测无人机系统
AU2019217205B2 (en) Method of and apparatus for analyzing images
CN112130579A (zh) 一种隧道无人机巡检方法及系统
CN111426320B (zh) 一种基于图像匹配/惯导/里程计的车辆自主导航方法
EP3913328B1 (en) Vehicle positioning system and method, and vehicle
CN112229405B (zh) 一种基于图像跟踪与激光测距的无人机目标运动估计方法
CN111796315A (zh) 无人机室内外的定位方法及装置
CN112747745A (zh) 一种目标特性参数测量装置及方法
CN111413708A (zh) 基于激光雷达的无人机自主识别着陆选址方法
KR101764222B1 (ko) 고정밀 측위 시스템 및 방법
CN115876197A (zh) 一种系留升空光电成像目标定位方法
CN113419235A (zh) 一种基于毫米波雷达的无人机定位方法
CN113340272B (zh) 一种基于无人机微群的地面目标实时定位方法
Axmann et al. Lucoop: Leibniz university cooperative perception and urban navigation dataset
CN113608556A (zh) 一种基于多传感器融合的多机器人相对定位方法
CN113063401A (zh) 一种无人机航测系统
CN111521996A (zh) 一种激光雷达的安装标定方法
CN115857520A (zh) 一种基于视觉和船状态结合的无人机着舰状态监视方法
CN113670318B (zh) 协同定位方法及定位系统
CN115406439A (zh) 车辆定位方法、系统、装置及非易失性存储介质
CN112649823A (zh) 无人机导航定位方法及装置
Sun et al. AGCG: Air–Ground Collaboration Geolocation Based on Visual Servo With Uncalibrated Cameras
Ishii et al. Autonomous UAV flight using the Total Station Navigation System in Non-GNSS Environments
CN113721188B (zh) 拒止环境下的多无人机自身定位与目标定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210504

WD01 Invention patent application deemed withdrawn after publication