CN113110562A - 一种基于多个广角摄像头的无人机避障装置及其避障方法 - Google Patents

一种基于多个广角摄像头的无人机避障装置及其避障方法 Download PDF

Info

Publication number
CN113110562A
CN113110562A CN202110568220.4A CN202110568220A CN113110562A CN 113110562 A CN113110562 A CN 113110562A CN 202110568220 A CN202110568220 A CN 202110568220A CN 113110562 A CN113110562 A CN 113110562A
Authority
CN
China
Prior art keywords
wide
unmanned aerial
aerial vehicle
obstacle avoidance
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110568220.4A
Other languages
English (en)
Inventor
张泉
李锦州
李龙
钟宋义
岳涛
彭艳
蒲华燕
谢少荣
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110568220.4A priority Critical patent/CN113110562A/zh
Publication of CN113110562A publication Critical patent/CN113110562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于多个广角摄像头的无人机避障装置及其避障方法，装置包括：多个广角摄像头，位于机身不同位置的广角摄像头实时采集广角视频数据；畸变矫正模块，对采集的广角视频数据进行实时的畸变矫正处理；深度检测模块，用神经网络检测畸变矫正过后的广角视频数据，输出深度图；RGB‑D SLAM处理模块，将畸变矫正后的广角视频数据和深度图处理为RGB‑D数据，数据输入到RGB‑D SLAM处理模块，输出前方障碍物三维重建数据与自身位姿估计数据；路径规划与避障模块，知道场景中障碍物与自身的位置信息后，该路径规划与避障模块为无人机规划路径。通过本发明的无人机避障装置实现的避障方法成本低，识别范围广，且检测速度快，准确度高。

Description

一种基于多个广角摄像头的无人机避障装置及其避障方法
技术领域
本发明属于无人机避障领域，更具体地说，是一种基于多个广角摄像头的无人机避障装置及其避障方法。
背景技术
随着无人机的应用越来越广泛，无人机飞行过程中的安全也越显重要。无人机在未知环境或在室内进行巡航、抢险救灾等任务下由于环境复杂未知、GPS信息较弱，如何进行自主飞行且有效地躲避障碍物成为了急需迫切解决的问题。
目前，无人机的避障技术中最为常见的是红外线传感器、超声波传感器、激光传感器以及视觉传感器。无人机在飞行过程中，通过其传感器收集周边环境的信息，测量距离从而做出相对应的动作指令，从而达到避障的作用。
红外和超声波技术，因为都需要主动发射光线、声波，所以对于反射的物体有要求，比如：红外线会被黑色物体吸收，会穿透透明物体，还会被其他红外线干扰：而超声波会被海绵等物体吸收，也容易被桨叶气流干扰。而且，主动式测距还会产生两台机器相互干扰的问题。相比之下，虽然视觉避障也对光线有要求，但是对于反射物的要求要低很多，普适性更强。最重要的是，常见的红外和超声波目前都是单点测距，只能获得特定方向上的距离数据，而视觉传感器可以在小体积、低功耗的前提下，获得眼前场景的比较高分辨率的深度图，这就让避障功能有了更多的发展空间，比如避障之后的智能飞行、路径规划等。
激光技术虽然也能实现类似视觉传感器的功能，但是受限于技术发展，目前的激光元件普遍价格贵、体积大、功耗高，应用在普通的无人机上既不经济也不实用。
现阶段已经实现大规模商用的视觉避障技术是双目视觉避障，即利用提前校准好的双摄像头同时拍摄同一场景，利用双目视差信息得到环境深度信息，从而生成环境三维地图实现避障效果。但双目避障技术有效探测视野狭窄，双摄像头需要搭配处理双目视频数据的芯片，导致成本较高。且为实现良好的避障效果，无人机前方、后方、左右两侧都需要搭载双摄像头，进一步增加了避障的成本。
近年来，基于单目视觉的图像深度信息检测取得了很大的进展，利用基于神经网络的深度学习方法，人们已经实现了利用单个摄像头实时检测视频数据的深度信息。
发明内容
为了降低双目视觉避障的成本，以及提高无人机的避障效果，本发明提供一种基于多个广角摄像头的无人机避障装置及其避障方法。
本发明可通过以下技术方案予以实现：
一种基于多个广角摄像头的无人机避障装置，所述装置包括：
多个广角摄像头，位于机身不同位置的广角摄像头实时采集广角视频数据；
畸变矫正模块，对采集的广角视频数据进行实时的畸变矫正处理；
深度检测模块，用神经网络检测畸变矫正过后的广角视频数据，输出深度图；
RGB-D SLAM处理模块，将畸变矫正后的广角视频数据和深度图处理为RGB-D数据，数据输入到RGB-D SLAM处理模块，输出前方障碍物三维重建数据与自身位姿估计数据；
路径规划与避障模块，知道场景中障碍物与自身的位置信息后，该路径规划与避障模块为无人机规划路径，规划路径的过程中实现避障。
其中，所述广角摄像头为4个。
本发明还提出一种利用如上所述基于多个广角摄像头的无人机避障装置实现的无人机避障方法，包括下述步骤：
步骤一、使用位于无人机前视、后视、左右侧视的4个广角摄像头实时拍摄视频，得到实时畸变视频数据；
步骤二、将所述摄像头拍摄的畸变视频数据进行畸变矫正，得到无畸变的视频数据；
步骤三、用事先训练好的神经网络实时检测所述无畸变的视频数据，得到实时深度图；
步骤四、将所述无畸变的视频数据和深度图处理为RGB-D数据，用RGB-D SLAM算法处理此数据，对前方障碍物进行三维重建与自身位姿估计；
步骤五、利用重建后的障碍物信息，对无人机进行避障以及路径规划。
其中，在步骤一中，4个广角摄像头竖直方向同高度分布在无人机的前后面和左右侧面，广角摄像头的视角为120度。
其中，在步骤一中，无人机避障运动时无需同时使用全部的广角摄像头，只需开启运动方向相关的摄像头。
其中，在步骤二中，畸变矫正首先由张正友标定法得到摄像头的内参矩阵
Figure BDA0003081619200000021
和畸变系数矩阵K＝[k1,k2,k3,p1,p2]，再通过畸变数学模型矫正畸变视频,其中，fx、fy、cx、cy是以像素为单位的相机内参系数；k1、k2、k3用于表示相机的径向畸变程度，p1、p2表示相机的切向畸变程度。
其中，在步骤三中，训练神经网络的数据由布放在无人机上的经过校准的两台水平摆放摄像机采集，得到双目视频数据用于训练。
其中，在步骤三中，用足够多在x，y，z三个方向有不同机身倾角的双目数据训练深度检测模型。
其中，在步骤三中，使用无监督的方式训练神经网络，神经网络采用生成视差图的DispNet，将左视图Il输入该神经网络生成以左视图为基底的左视差图dl与以左视图为基底的右视差图dr，用视差图与真实的左右视图可以得到重构的左右视图íl、ír，用重构的左右视图不断反向传播训练神经网络。
其中，在步骤三中，深度图序列的每一个矩阵都与广角视频中的每一帧对应，矩阵中的每一个值都表示这一帧中对应像素点距离相机的物理距离。
其中，在步骤四中，在室外场景，自身位姿估计需结合RGB-D SLAM算法和GPS信息；在室内无法接收GPS信号时，使用SLAM算法进行位姿估计。
其中，在步骤五中，无人机避障工作与局部路径规划相结合，避障工作在路径规划过程中体现。
本发明的有益效果为：
1.成本低，本发明仅需要一个单目相机以及一个嵌入式设备即可完成无人机一个运动方向的障碍物检测与避障工作，与双目避障装置相比减低了摄像头与计算装置的成本。
2.识别范围广，本发明采用了广角摄像头，与双目避障装置相比，检测视野范围更广，效率更高。
3.检测速度快、准确度高，本发明可使用轻量型深度神经网络检测图像深度，与传统基于视差的双目测距避障算法相比，不仅更加快速，而且更加准确。
附图说明
图1为本发明提供的基于多个广角摄像头的无人机避障方法的流程图；
图2为本发明提供的基于多个广角摄像头的无人机避障方法的数据流图；
图3为多个广角摄像头在无人机机身的位置示意图；
图4为训练深度检测神经网络的方法示意图；
图5为深度检测模型检测一张RGB图片得到的深度图。
具体实施方式
为了更清晰的说明本发明的优势以及方案实施过程，下面结合具体实施例和附图，对本发明进行进一步的阐述。应当理解，以下所讲解的实施例并不用于限制本发明实施条件，而仅仅用于解释说明本发明。
本发明提出的一种基于多个广角摄像头的无人机避障装置，包括：多个广角摄像头(本实施例中为4个)，位于机身不同位置的广角摄像头实时采集广角视频数据；畸变矫正模块，对采集的广角视频数据进行实时的畸变矫正处理；深度检测模块，用神经网络检测畸变矫正过后的广角视频数据，输出深度图；RGB-D SLAM处理模块，将畸变矫正后的广角视频数据和深度图处理为RGB-D数据，数据输入到RGB-D SLAM处理模块，输出前方障碍物三维重建数据与自身位姿估计数据；路径规划与避障模块，知道场景中障碍物与自身的位置信息后，该路径规划与避障模块为无人机规划路径，规划路径的过程中实现避障。
本发明提供的利用上述一种基于多个广角摄像头的无人机避障装置实现的无人机避障方法，如图1，2和4所示，方法包括以下步骤：
步骤一、使用位于无人机前视、后视、左右侧视的4个广角摄像头实时拍摄视频，得到实时畸变视频数据；
摄像头分布如图3所示，4个广角摄像头1可水平同高度分布在无人机的前后面和左右侧面，广角摄像头的视角为120度；
无人机避障运动时无需同时使用全部的广角摄像头，只需开启运动方向相关的摄像头。如当无人机向右前方运动时，结合机内惯导系统，只需开启右视与前视摄像头。这样可节约无人机避障计算量与耗电量。
步骤二、将广角摄像头拍摄的畸变视频进行畸变矫正，得到无畸变的视频数据；
具体实施时，首先使用广角摄像头拍摄10-20张间距为20mm的黑白棋盘照片，使用张正友标定法，可以计算出广角摄像头的内参矩阵以及畸变系数矩阵。
内参矩阵：
Figure BDA0003081619200000041
其中，fx、fy、cx、cy是以像素为单位的相机内参系数。
畸变系数矩阵：K＝[k1,k2,k3,p1,p2]，其中k1、k2、k3用于表示相机的径向畸变程度，p1、p2表示相机的切向畸变程度。
使用OpenCV的undistort()函数将畸变图像矫正。广角镜头常常会产生桶形畸变，桶形畸变矫正后的图像四周会出现黑边，需裁切出可以使用的矩形区域。
步骤三、用事先训练好的神经网络实时检测畸变矫正后的广角视频的深度信息，得到实时深度图；
3.1、具体实施时，训练神经网络的数据由布放在无人机上的经过校准的两台水平摆放摄像机采集，得到双目训练视频数据；
3.2、无人机在飞行过程中机身会在x，y，z三个方向有不同倾角，机身不同的倾角会使相机拍摄的角度发生改变，这会使得到双目训练视频数据的视野范围发生改变，因此用足够多的不同机身倾角的双目数据用于深度检测模型的训练；
3.3、使用无监督的方式训练模型。神经网络采用生成视差图的DispNet，将左视图Il输入该神经网络生成以左视图为基底的左视差图dl与以左视图为基底的右视差图dr，用视差图与真实的左右视图可以得到重构的左右视图íl、ír。用重构的左右视图不断反向传播训练神经网络；
3.4、将单目广角视频逐帧输入到深度检测模型，模型对每一帧图片单独计算其视差图d，再将视差图转换为深度图；
3.5、视差图转换为深度图的转换公式为
Figure BDA0003081619200000051
其中f表示双目相机焦距，T表示双目相机光心距离，D表示深度图，即RGB图片中每一个像素点表示的物体离相机光心的距离。
模型检测得到的深度图如图5所示。图中上半部分是广角相机拍摄的视频数据的一帧，下半部分是深度检测网络检测得到的深度图。深度图做了可视化处理，离相机越近的物体灰度值越大，越远的物体灰度值越小。
步骤四、将畸变矫正后的广角视频数据和深度图处理为RGB-D数据，用RGB-D SLAM算法处理此数据，对前方障碍物进行三维重建与自身位姿估计；
在室外场景，自身位姿估计需结合GPS信息；在室内无法接收GPS信号时，使用SLAM算法进行位姿估计。
步骤五、利用重建后的障碍物信息，对无人机进行避障以及路径规划。
无人机避障工作与局部路径规划相结合，避障工作在路径规划过程中体现。
本发明未尽事宜为公知技术。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种基于多个广角摄像头的无人机避障装置，其特征在于，所述装置包括：
多个广角摄像头，位于机身不同位置的广角摄像头实时采集广角视频数据；
畸变矫正模块，对采集的广角视频数据进行实时的畸变矫正处理；
深度检测模块，用神经网络检测畸变矫正过后的广角视频数据，输出深度图；
RGB-D SLAM处理模块，将畸变矫正后的广角视频数据和深度图处理为RGB-D数据，数据输入到RGB-D SLAM处理模块，输出前方障碍物三维重建数据与自身位姿估计数据；
路径规划与避障模块，知道场景中障碍物与自身的位置信息后，该路径规划与避障模块为无人机规划路径，规划路径的过程中实现避障。
2.根据权利要求1所述的基于多个广角摄像头的无人机避障装置，其特征在于，所述广角摄像头为4个。
3.一种利用权利要求2所述的基于多个广角摄像头的无人机避障装置实现的无人机避障方法，其特征在于，包括下述步骤：
步骤一、使用位于无人机前视、后视、左右侧视的4个广角摄像头实时拍摄视频，得到实时畸变视频数据；
步骤二、将所述广角摄像头拍摄的畸变视频数据进行畸变矫正，得到无畸变的视频数据；
步骤三、用事先训练好的神经网络实时检测所述无畸变的视频数据，得到实时深度图；
步骤四、将所述无畸变的视频数据和深度图处理为RGB-D数据，用RGB-D SLAM算法处理此数据，对前方障碍物进行三维重建与自身位姿估计；
步骤五、利用重建后的障碍物信息，对无人机进行避障以及路径规划。
4.如权利要求3所述的无人机避障方法，其特征在于，在步骤一中，4个广角摄像头竖直方向同高度分布在无人机的前后面和左右侧面，广角摄像头的视角为120度。
5.如权利要求3所述的无人机避障方法，其特征在于，在步骤一中，无人机避障运动时无需同时使用全部的广角摄像头，只需开启运动方向相关的摄像头。
6.如权利要求3所述的无人机避障方法，其特征在于，在步骤二中，畸变矫正首先由张正友标定法得到摄像头的内参矩阵
Figure FDA0003081619190000011
和畸变系数矩阵K＝[k1,k2,k3,p1,p2]，再通过畸变数学模型矫正畸变视频，其中，fx、fy、cx、cy是以像素为单位的相机内参系数；k1、k2、k3用于表示相机的径向畸变程度，p1、p2表示相机的切向畸变程度。
7.如权利要求3所述的无人机避障方法，其特征在于，在步骤三中，训练神经网络的数据由布放在无人机上的经过校准的两台水平摆放摄像机采集，得到双目视频数据用于训练。
8.如权利要求3所述的无人机避障方法，其特征在于，在步骤三中，用足够多在x，y，z三个方向有不同机身倾角的双目数据训练深度检测模型。
9.如权利要求3所述的无人机避障方法，其特征在于，在步骤三中，使用无监督的方式训练神经网络，神经网络采用生成视差图的DispNet，将左视图Il输入该神经网络生成以左视图为基底的左视差图dl与以左视图为基底的右视差图dr，用视差图与真实的左右视图可以得到重构的左右视图íl、ír，用重构的左右视图不断反向传播训练神经网络。
10.如权利要求3所述的无人机避障方法，其特征在于，在步骤三中，深度图序列的每一个矩阵都与广角视频中的每一帧对应，矩阵中的每一个值都表示这一帧中对应像素点距离相机的物理距离。
11.如权利要求3所述的无人机避障方法，其特征在于，在步骤四中，在室外场景，自身位姿估计需结合RGB-D SLAM算法和GPS信息；在室内无法接收GPS信号时，使用SLAM算法进行位姿估计。
CN202110568220.4A 2021-05-25 2021-05-25 一种基于多个广角摄像头的无人机避障装置及其避障方法 Pending CN113110562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110568220.4A CN113110562A (zh) 2021-05-25 2021-05-25 一种基于多个广角摄像头的无人机避障装置及其避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110568220.4A CN113110562A (zh) 2021-05-25 2021-05-25 一种基于多个广角摄像头的无人机避障装置及其避障方法

Publications (1)

Publication Number Publication Date
CN113110562A true CN113110562A (zh) 2021-07-13

Family

ID=76723343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110568220.4A Pending CN113110562A (zh) 2021-05-25 2021-05-25 一种基于多个广角摄像头的无人机避障装置及其避障方法

Country Status (1)

Country Link
CN (1) CN113110562A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274111A (zh) * 2023-11-17 2023-12-22 国网智能科技股份有限公司 一种基于多尺度特征融合的图像畸变矫正方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389543A (zh) * 2015-10-19 2016-03-09 广东工业大学 基于全方位双目视觉深度信息融合的移动机器人避障装置
US20180253980A1 (en) * 2017-03-03 2018-09-06 Farrokh Mohamadi Drone Terrain Surveillance with Camera and Radar Sensor Fusion for Collision Avoidance
CN111109786A (zh) * 2019-12-25 2020-05-08 李嘉伦 基于深度学习的智能障碍物预警拐杖及其预警方法
CN111429515A (zh) * 2020-03-19 2020-07-17 佛山市南海区广工大数控装备协同创新研究院 基于深度学习的机器人避障行为的学习方法
CN112116644A (zh) * 2020-08-28 2020-12-22 辽宁石油化工大学 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN112486171A (zh) * 2020-11-30 2021-03-12 中科院软件研究所南京软件技术研究院 一种基于视觉的机器人避障方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389543A (zh) * 2015-10-19 2016-03-09 广东工业大学 基于全方位双目视觉深度信息融合的移动机器人避障装置
US20180253980A1 (en) * 2017-03-03 2018-09-06 Farrokh Mohamadi Drone Terrain Surveillance with Camera and Radar Sensor Fusion for Collision Avoidance
CN111109786A (zh) * 2019-12-25 2020-05-08 李嘉伦 基于深度学习的智能障碍物预警拐杖及其预警方法
CN111429515A (zh) * 2020-03-19 2020-07-17 佛山市南海区广工大数控装备协同创新研究院 基于深度学习的机器人避障行为的学习方法
CN112116644A (zh) * 2020-08-28 2020-12-22 辽宁石油化工大学 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN112486171A (zh) * 2020-11-30 2021-03-12 中科院软件研究所南京软件技术研究院 一种基于视觉的机器人避障方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王欣盛: "基于卷积神经网络的单目深度估计", 《计算机工程与应用》 *
赵栓峰: "面向无人机自主飞行的无监督单目视觉深度估计", 《激光与光电子学进展》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274111A (zh) * 2023-11-17 2023-12-22 国网智能科技股份有限公司 一种基于多尺度特征融合的图像畸变矫正方法及系统

Similar Documents

Publication Publication Date Title
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
Zhu et al. The multivehicle stereo event camera dataset: An event camera dataset for 3D perception
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
US11030455B2 (en) Pose recognition method, device and system for an object of interest to human eyes
CN109283538B (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
WO2020215194A1 (zh) 用于移动目标物体检测的方法、系统以及可移动平台
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
CN106384382A (zh) 一种基于双目立体视觉的三维重建系统及其方法
CN106444837A (zh) 一种无人机避障方法及系统
CN110673632A (zh) 一种基于视觉slam的无人机自主避障方法及装置
US20240153122A1 (en) Binocular vision-based environment sensing method and apparatus, and unmanned aerial vehicle
CN112669354B (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
CN206611521U (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
EP3531224A1 (en) Environment-adaptive sense and avoid system for unmanned vehicles
CN103204104B (zh) 一种车辆全视角驾驶监控系统及方法
CN114200442B (zh) 一种基于毫米波雷达和视觉的道路目标检测与关联方法
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制系统
CN114905512B (zh) 一种智能巡检机器人全景追踪及避障方法及系统
WO2023056789A1 (zh) 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN112561996A (zh) 一种自主水下机器人回收对接中目标检测方法
CN113379848A (zh) 基于双目ptz相机的目标定位方法
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
CN114677531B (zh) 一种融合多模态信息的水面无人艇目标检测与定位方法
CN109883433A (zh) 基于360度全景视图的结构化环境中车辆定位方法
CN111047636A (zh) 基于主动红外双目视觉的避障系统和避障方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210713

WD01 Invention patent application deemed withdrawn after publication