CN113033434A - 一种道路点云中的护栏提取方法、装置、控制器及汽车 - Google Patents
一种道路点云中的护栏提取方法、装置、控制器及汽车 Download PDFInfo
- Publication number
- CN113033434A CN113033434A CN202110343593.1A CN202110343593A CN113033434A CN 113033434 A CN113033434 A CN 113033434A CN 202110343593 A CN202110343593 A CN 202110343593A CN 113033434 A CN113033434 A CN 113033434A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- guardrail
- road point
- original road
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明的目的是提供一种道路点云中的护栏提取方法、装置、控制器及汽车,以实现行驶环境中道路护栏的精准感知,为自动驾驶决策提供可靠的依据。该道路点云中的护栏提取方法,包括:获取经过预处理后的原始道路点云信息;对所获取的原始道路点云信息进行阈值筛选,以筛选出候选点云;基于各候选点云相对于本车的位置分布区间,确定各候选点云所属的护栏候选集;对每一护栏候选集进行曲线拟合,以拟合生成护栏曲线。
Description
技术领域
本发明属于汽车智能驾驶领域,具体涉及一种道路点云中的护栏提取方法、装置、控制器及汽车。
背景技术
随着智能驾驶技术的发展,智能驾驶系统逐渐从辅助驾驶系统向高级自动驾驶系统过渡,对于更高级的自动驾驶系统对传感器的输出特性不再仅仅局限于对道路上障碍物的检测和识别。针对不同的系统需求和自动驾驶策略,对不同传感器的特征输出要求也更为丰富。对于辅助驾驶系统,前毫米波雷达主要用于AEB(自动紧急制动),ACC(自适应巡航控制),FCW(前向防撞报警)等功能。对于更高级的自动驾驶功能,环境感知系统不仅仅需要感知路上的常规障碍物如车辆,行人,动物等,还需要关注道路边缘,匝道,护栏,隧道等其他环境特征。
为了提供更丰富的环境感知信息,提高自动驾驶系统的安全性和稳定性,本发明基于毫米波雷达的特性,对金属物体的高反射强度,对高速公路和结构化道路上的金属护栏反射点通过算法进行拟合,输出稳定的金属护栏给自动驾驶系统。
发明内容
本发明的目的是提供一种道路点云中的护栏提取方法、装置、控制器及汽车,以实现行驶环境中道路护栏的精准感知,为自动驾驶决策提供可靠的依据。
本发明的技术方案为:
本发明实施例还提供了一种道路点云中的护栏提取方法,包括:
获取经过预处理后的原始道路点云信息;
对所获取的原始道路点云信息进行阈值筛选,以筛选出候选点云;
基于各候选点云相对于本车的位置分布区间,确定各候选点云所属的护栏候选集;
对每一护栏候选集进行曲线拟合,以拟合生成护栏曲线。
其中,获取经过预处理后的原始道路点云信息的步骤包括:
获取前毫米波雷达采集的原始道路点云信息;
对前毫米波雷达采集的原始道路点云信息进行坐标系转换;
对经过坐标系转换后的原始道路点云信息进行预处理,获得经过预处理后的原始道路点云信息;进行预处理的具体步骤为:对原始道路点云信息进行感兴趣区域裁剪、雷达噪点去除和非护栏属性点云去除。
其中,对所获取的原始道路点云信息进行阈值筛选,以筛选出候选点云的具体步骤为:
若原始道路点云满足:原始道路点云是障碍物的概率P障碍物概率大于预设概率,原始道路点云相对于本车的横向绝对速度V横向绝对速度大于预设横向绝对速度且所述原始道路点云相对于本车的横向距离S横向位置大于预设横向距离,则确定所述原始道路点云为候选点云。
其中,对每一护栏候选集进行曲线拟合,以拟合生成护栏曲线的步骤包括:
当每一护栏候选集中的候选点云数量超过预设数量时,对每一护栏候选集进行三次曲线拟合,获得拟合后的护栏系数,基于所获得的护栏系数,生成护栏曲线;
其中,所述护栏系数包括:护栏的截至点A0,护栏的斜率A1,护栏的曲率A2以及护栏的曲率变化率A3;所生成的护栏曲线具体为:
y= A3x3+A2x2+A1x+A0,x为每一候选雷达点云在坐标系转换后的位置坐标。
本发明实施例还提供了一种道路点云中的护栏提取装置,包括:
获取模块,用于获取经过预处理后的原始道路点云信息;
筛选模块,用于对所获取的原始道路点云信息进行阈值筛选,以筛选出候选点云;
确定模块,用于基于各候选点云相对于本车的位置分布区间,确定各候选点云所属的护栏候选集;
拟合模块,用于对每一护栏候选集进行曲线拟合,以拟合生成护栏曲线。
其中,获取模块包括:
获取单元,用于获取前毫米波雷达采集的原始道路点云信息;
坐标系转换单元,用于对前毫米波雷达采集的原始道路点云信息进行坐标系转换;
预处理单元,用于对经过坐标系转换后的原始道路点云信息进行预处理,获得经过预处理后的原始道路点云信息;进行预处理的具体步骤为:对原始道路点云信息进行感兴趣区域裁剪、雷达噪点去除和非护栏属性点云去除。
其中,筛选模块包括:
确定单元,用于若原始道路点云满足:原始道路点云是障碍物的概率P障碍物概率大于预设概率,原始道路点云相对于本车的横向绝对速度V横向绝对速度大于预设横向绝对速度且所述原始道路点云相对于本车的横向距离S横向位置大于预设横向距离,则确定所述原始道路点云为候选点云。
其中,拟合模块包括:
拟合单元,用于当每一护栏候选集中的候选点云数量超过预设数量时,对每一护栏候选集进行三次曲线拟合,获得拟合后的护栏系数,基于所获得的护栏系数,生成护栏曲线;
其中,所述护栏系数包括:护栏的截至点A0,护栏的斜率A1,护栏的曲率A2以及护栏的曲率变化率A3;所生成的护栏曲线具体为:
y= A3x3+ A2x2+A1x+A0,x为每一候选雷达点云在坐标系转换后的位置坐标。
本发明实施例还提供了一种汽车,其特征在于,包括上述的道路点云中的护栏提取装置。
本发明实施例还提供了一种控制器,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器读取所述存储器中的程序,执行如上述的道路点云中的护栏方法中的步骤。
本发明的有益效果为:
(1)、本发明感知并输出的护栏曲线信息包括,护栏的截至点A0,护栏的斜率A1,护栏的曲率A2,护栏的曲率变化率A3,其实现了行驶环境中道路边缘护栏信息的精准感知,为驾驶决策提供可靠的依据。
(2)、本发明中的护栏信息是使用真实反射的雷达点云拟合得到,相较摄像头输出的道路边缘更加可靠与准确。
(3)、本发明的护栏信息,可以用于过滤其他传感器感知到位于车道外的虚假目标和不感兴趣目标,提升了感知的有效性。
附图说明
图1为前毫米波雷达感知系统的架构图;
图2为本实施例中的护栏提取方法的流程图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示,本实施例中提供了一种道路云中的护栏提取装置,该装置具体为感知域控制器,前毫米波雷达通过线束与感知域控制连接,前毫米波雷达实时采集行车环境中的原始道路点云信息,并通过数据线实时传输给感知域控制器。
本实施例中的该装置包括:获取模块,筛选模块,确定模块和拟合模块。
其中,获取模块用于获取经过预处理后的原始道路点云信息。
具体来说,获取模块具体包括:获取单元,坐标系转换单元,预处理单元。
依靠车辆的前保险杠中心搭载的前毫米波雷达进行原始道路点云信息感知,获取单元从前毫米波雷达处获取其采集到的原始道路点云信息。
坐标系转换单元将获取单元获取到的原始道路点云信息进行坐标系转换,具体来说,将原始道路点云信息的坐标从前毫米波雷达自身坐标系转换到基于本车坐标系的下。本发明中采用的角毫米波雷达以本车作为参考坐标系,为了便于拟合,需要将其变换到本车坐标系下。由于已知角毫米波的雷达的安装角度和位置,本发明使用计算机视觉中的立体视觉实现两者坐标系的变换。
计算机视觉中任意两个坐标系的变换都可以使用旋转矩阵和平移向量来表示。假设探测目标在角毫米波雷达传感器和本车坐标系的坐标分别为和,则和的关系如下式:p=qR+T。
预处理单元对经过坐标系转换后的原始道路点云信息进行预处理,进行预处理的具体过程包括:对原始道路点云信息进行感兴趣区域裁剪、雷达噪点去除和非护栏属性点云去除。
筛选模块用于对所获取的原始道路点云信息进行阈值筛选,以筛选出候选点云。
筛选模块具体包括确定单元。确定单元具体执行,若原始道路点云满足:原始道路点云是障碍物的概率P障碍物概率大于预设概率,原始道路点云相对于本车的横向绝对速度V横向绝对速度大于预设横向绝对速度且所述原始道路点云相对于本车的横向距离S横向位置大于预设横向距离,则确定所述原始道路点云为候选点云。
其中,点云是障碍物的概率P障碍物概率的具体计算方式为:RCSdb=10log(RCSm2),P障碍物概率=RCSdb/RCSdb障碍物,RCSdb障碍物为该原始道路点云是障碍物的反射强度,该值通过对大量原始道路点云的反射强度进行统计得出;RCSdb为该原始道路点云的反射强度。通过计算该原始道路点云的反射强度和原始道路点云是障碍物反射强度的比值,能够得到原始道路点云是障碍物的概率P障碍物概率。
确定模块,用于基于各候选点云相对于本车的位置分布区间,确定各候选点云所属的护栏候选集。
具体来说,若候选点云位于本车的左侧区间,则确定候选点云属于左侧护栏候选集;若候选点云位于本车的左侧区间,则确定候选点云属于右侧侯兰候选集。
拟合模块,用于对每一护栏候选集进行曲线拟合,以拟合生成护栏曲线。
拟合模块包括:拟合单元,用于当每一护栏候选集中的候选点云数量超过预设数量时,对每一护栏候选集进行三次曲线拟合,获得拟合后的护栏系数,基于所获得的护栏系数,生成护栏曲线;
其中,所述护栏系数包括:护栏的截至点A0,护栏的斜率A1,护栏的曲率A2以及护栏的曲率变化率A3;所生成的护栏曲线具体为:
y= A3x3+ A2x2+A1x+A0,x为每一候选雷达点云在坐标系转换后的位置坐标。
如图2所示,采用道路点云中的护栏提取的方法具体包括:
步骤1、获取前毫米波雷达采集的原始雷达点云信息。
步骤2、将原始雷达点云信息的坐标从前毫米波雷达坐标系转换到基于本车坐标系下。
步骤3、将获取到的原始道路点云信息进行预处理(即进行感兴趣区域裁剪、去除雷达噪点、去除非护栏属性点云)。
步骤4、对预处理后的原始道路点云信息进行阈值筛选,筛选出满足条件的候选点云。其中,能够被认定为候选点云的原始点云需要满足条件:原始道路点云是障碍物的概率P障碍物概率大于预设概率,原始道路点云相对于本车的横向绝对速度V横向绝对速度大于预设横向绝对速度且所述原始道路点云相对于本车的横向距离S横向位置大于预设横向距离。
步骤5,基于各候选点云相对于本车的位置分布区间,确定各候选点云所属的护栏候选集。
步骤6、对预处理后的雷达点云,通过预设的雷达点云拟合算法(具体为三次曲线拟合方法)对候选点云进行拟合,并将融合后得到的护栏系数信息进行输出,得到护栏曲线。
判断各候选点云集中的候选点云数量是否大于或等于15个点,若大于或等于15个点,则将候选点云集中的候选点云使用预设的点云拟合算法(三次曲线拟合方法)进行拟合,若不满足该条件,则跳过该次拟合。最终得到护栏三次方程系数,A0表示护栏截止点,A1表示护栏斜率,A2表示护栏曲率,A3表示护栏曲率变化率,最终得到的三次曲线具体为:y=A3x3+A2x2+A1x+A0。
最后,感知域控制器输出获得的护栏曲线信息,并将护栏曲线信息转换为CAN数据格式发送至总线上。
本发明实施例中还提供了一种汽车,包括上述的道路点云中的护栏提取装置。
本发明实施例中一种控制器,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器读取所述存储器中的程序,执行如上述的道路点云中的护栏方法中的步骤。
上述实施例只对其中一些本发明的一个或多个实施例进行了描述,但是本领域普通技术人员应当了解,本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此,所展示的例子与实施方式被视为示意性的而非限制性的,在不脱离如所附各权利要求所定义的本发明精神及范围的情况下,本发明可能涵盖各种的修改与替换。
Claims (10)
1.一种道路点云中的护栏提取方法,其特征在于,包括:
获取经过预处理后的原始道路点云信息;
对所获取的原始道路点云信息进行阈值筛选,以筛选出候选点云;
基于各候选点云相对于本车的位置分布区间,确定各候选点云所属的护栏候选集;
对每一护栏候选集进行曲线拟合,以拟合生成护栏曲线。
2.根据权利要求1所述的方法,其特征在于,获取经过预处理后的原始道路点云信息的步骤包括:
获取前毫米波雷达采集的原始道路点云信息;
对前毫米波雷达采集的原始道路点云信息进行坐标系转换;
对经过坐标系转换后的原始道路点云信息进行预处理,获得经过预处理后的原始道路点云信息;进行预处理的具体步骤为:对原始道路点云信息进行感兴趣区域裁剪、雷达噪点去除和非护栏属性点云去除。
3.根据权利要求1所述的方法,其特征在于,对所获取的原始道路点云信息进行阈值筛选,以筛选出候选点云的具体步骤为:
若原始道路点云满足:原始道路点云是障碍物的概率P障碍物概率大于预设概率,原始道路点云相对于本车的横向绝对速度V横向绝对速度大于预设横向绝对速度且所述原始道路点云相对于本车的横向距离S横向位置大于预设横向距离,则确定所述原始道路点云为候选点云。
4.根据权利要求1所述的方法,其特征在于,对每一护栏候选集进行曲线拟合,以拟合生成护栏曲线的步骤包括:
当每一护栏候选集中的候选点云数量超过预设数量时,对每一护栏候选集进行三次曲线拟合,获得拟合后的护栏系数,基于所获得的护栏系数,生成护栏曲线;
其中,所述护栏系数包括:护栏的截至点A0,护栏的斜率A1,护栏的曲率A2以及护栏的曲率变化率A3;所生成的护栏曲线具体为:
y= A3x3+ A2x2+A1x+A0,x为每一候选雷达点云在坐标系转换后的位置坐标。
5.一种道路点云中的护栏提取装置,其特征在于,包括:
获取模块,用于获取经过预处理后的原始道路点云信息;
筛选模块,用于对所获取的原始道路点云信息进行阈值筛选,以筛选出候选点云;
确定模块,用于基于各候选点云相对于本车的位置分布区间,确定各候选点云所属的护栏候选集;
拟合模块,用于对每一护栏候选集进行曲线拟合,以拟合生成护栏曲线。
6.根据权利要求5所述的装置,其特征在于,获取模块包括:
获取单元,用于获取前毫米波雷达采集的原始道路点云信息;
坐标系转换单元,用于对前毫米波雷达采集的原始道路点云信息进行坐标系转换;
预处理单元,用于对经过坐标系转换后的原始道路点云信息进行预处理,获得经过预处理后的原始道路点云信息;进行预处理的具体步骤为:对原始道路点云信息进行感兴趣区域裁剪、雷达噪点去除和非护栏属性点云去除。
7.根据权利要求5所述的装置,其特征在于,筛选模块包括:
确定单元,用于若原始道路点云满足:原始道路点云是障碍物的概率P障碍物概率大于预设概率,原始道路点云相对于本车的横向绝对速度V横向绝对速度大于预设横向绝对速度且所述原始道路点云相对于本车的横向距离S横向位置大于预设横向距离,则确定所述原始道路点云为候选点云。
8.根据权利要求5所述的装置,其特征在于,拟合模块包括:
拟合单元,用于当每一护栏候选集中的候选点云数量超过预设数量时,对每一护栏候选集进行三次曲线拟合,获得拟合后的护栏系数,基于所获得的护栏系数,生成护栏曲线;
其中,所述护栏系数包括:护栏的截至点A0,护栏的斜率A1,护栏的曲率A2以及护栏的曲率变化率A3;所生成的护栏曲线具体为:
y= A3x3+A2x2+A1x+A0,x为每一候选雷达点云在坐标系转换后的位置坐标。
9.一种汽车,其特征在于,包括权利要求5至8任一项所述的道路点云中的护栏提取装置。
10.一种控制器,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器读取所述存储器中的程序,执行如权利要求1至4中任一项所述的道路点云中的护栏方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110343593.1A CN113033434A (zh) | 2021-03-30 | 2021-03-30 | 一种道路点云中的护栏提取方法、装置、控制器及汽车 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110343593.1A CN113033434A (zh) | 2021-03-30 | 2021-03-30 | 一种道路点云中的护栏提取方法、装置、控制器及汽车 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113033434A true CN113033434A (zh) | 2021-06-25 |
Family
ID=76453273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110343593.1A Withdrawn CN113033434A (zh) | 2021-03-30 | 2021-03-30 | 一种道路点云中的护栏提取方法、装置、控制器及汽车 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113033434A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133851A1 (zh) * | 2017-01-22 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 一种点云数据处理方法、装置及计算机存储介质 |
CN109254289A (zh) * | 2018-11-01 | 2019-01-22 | 百度在线网络技术(北京)有限公司 | 道路护栏的检测方法和检测设备 |
CN112313539A (zh) * | 2019-11-26 | 2021-02-02 | 深圳市大疆创新科技有限公司 | 护栏检测方法及设备、存储介质和可移动平台 |
-
2021
- 2021-03-30 CN CN202110343593.1A patent/CN113033434A/zh not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133851A1 (zh) * | 2017-01-22 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 一种点云数据处理方法、装置及计算机存储介质 |
CN108345822A (zh) * | 2017-01-22 | 2018-07-31 | 腾讯科技(深圳)有限公司 | 一种点云数据处理方法及装置 |
CN109254289A (zh) * | 2018-11-01 | 2019-01-22 | 百度在线网络技术(北京)有限公司 | 道路护栏的检测方法和检测设备 |
CN112313539A (zh) * | 2019-11-26 | 2021-02-02 | 深圳市大疆创新科技有限公司 | 护栏检测方法及设备、存储介质和可移动平台 |
Non-Patent Citations (1)
Title |
---|
郭斌: "基于激光雷达的高速公路护栏检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3447528B1 (en) | Automated driving system that merges heterogenous sensor data | |
CN110764108B (zh) | 一种用于港口自动驾驶场景的障碍物检测方法及装置 | |
Ogawa et al. | Pedestrian detection and tracking using in-vehicle lidar for automotive application | |
US11608055B2 (en) | Enhanced autonomous systems with sound sensor arrays | |
JP2017102838A (ja) | 物体認識アルゴリズムの機械学習のためのデータベース構築システム | |
JP2015045622A (ja) | 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体 | |
Gavrila et al. | A multi-sensor approach for the protection of vulnerable traffic participants the PROTECTOR project | |
JP3520326B2 (ja) | ミリ波レーダによる走行車両検出方法 | |
US10482332B2 (en) | Pedestrian determining apparatus for determining whether an object is a pedestrian crossing ahead of an own vehicle | |
CN111798700B (zh) | 盲区监测报警方法和装置 | |
US11598877B2 (en) | Object recognition device and vehicle control system | |
CN111332288A (zh) | 一种基于视觉系统的车辆行人碰撞避免方法 | |
US11726176B2 (en) | Annotation of radar-profiles of objects | |
US10916134B2 (en) | Systems and methods for responding to a vehicle parked on shoulder of the road | |
CN112101316B (zh) | 一种目标检测方法及系统 | |
CN114155720B (zh) | 一种路侧激光雷达的车辆检测和轨迹预测方法 | |
CN114537447A (zh) | 安全通行方法、装置、电子设备和存储介质 | |
Kanjee et al. | Vision-based adaptive cruise control using pattern matching | |
Jung et al. | Isrss: Integrated side/rear safety system | |
CN113033434A (zh) | 一种道路点云中的护栏提取方法、装置、控制器及汽车 | |
US20220289245A1 (en) | Aiming device, drive control system, and method for calculating correction amount of sensor data | |
CN110889409B (zh) | 汽车雷达监测优化方法、装置、设备及存储介质 | |
CN113682259A (zh) | 一种车用开门预警防撞系统及控制方法 | |
KR101944348B1 (ko) | 마이크로웨이브 주파수 분석과 cctv 영상 분석에 의한 객체 인식 방법 | |
CN113787997A (zh) | 紧急制动控制方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210625 |