CN109900266A - 一种基于rgb-d和惯导的快速识别定位方式及系统 - Google Patents
一种基于rgb-d和惯导的快速识别定位方式及系统 Download PDFInfo
- Publication number
- CN109900266A CN109900266A CN201910235935.0A CN201910235935A CN109900266A CN 109900266 A CN109900266 A CN 109900266A CN 201910235935 A CN201910235935 A CN 201910235935A CN 109900266 A CN109900266 A CN 109900266A
- Authority
- CN
- China
- Prior art keywords
- rgb
- storage robot
- deviation
- data
- imu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000006073 displacement reaction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims 1
- 230000005611 electricity Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于RGB‑D和惯导的快速识别定位方式及系统，本发明公开了一种基于深度摄像头和惯导纠正的室内定位的仓储机器人控制方法及系统，用以解决基于单一激光雷达识别和定位不够准确以及成本过于昂贵的问题。该方法包括：S1、基于仓储机器人的运行，使用RGB‑D摄像头构建地图和建立坐标系，并预设坐标点；S2、当所述仓储机器人在预设坐标点之间运行时，通过惯性传感器返回的数据对所述仓储机器人进行实时的纠偏。本发明基于惯导纠偏并且搭配基于RGB‑D摄像头的改进型Hector算法对仓储机器人进行纠偏，避免了单一的激光雷达识别和定位不够准确以及成本过于昂贵的问题。
Description
技术领域：
本发明涉及移动机器人室内定位的技术领域，尤其涉及一种基于RGB-D和惯导的快速识别和定位方式及系统。
背景技术：
移动机器人因其有体型小、智能化、自主化等优点，从而在世界范围内有广泛的应用需求。随着国内电子商务的发展，仓储机器人及其相关技术成为国内研究机构的研究热点。场景的快速识别和定位作为移动机器人的核心技术之一，是衡量其智能化的重要指标。
目前可以达到感知周围环境技术的主要是视觉感知和3D激光雷达方案，但是视觉技术目前易受到光线，湿度等物理因素的影响，精度较低；符合导航使用的高精度的3D激光雷达方案目前市场价格都极为昂贵，成本过高，并且单一的传感器容易生成累积误差，精度达不到要求。
发明内容：
本发明的目的就在于为了解决上述问题而提供一种基于RGB-D和惯导的快速识别定位方式，解决了现有的缺点。
为了解决上述问题，本发明提供了一种技术方案：
一种基于RGB-D和惯导的快速识别定位方式，
包括以下步骤：
S1，基于仓储机器人的运行，使用RGB-D摄像头和IMU数据构建地图和建立坐标系，并预设坐标点；
S2，当所述仓储机器人在预设坐标点之间运行时，通过惯性传感器返回的数据对所述仓储机器人进行实时的纠偏；
S3，当所述的仓储机器人运行到预设坐标点时，通过改进的Hector室内定位算法结合惯性传感器纠偏产生的累积误差进行再次纠偏。
作为优选：所述步骤S1具体包括：
S11，使用改进型hector算法在室内区域用RGB-D摄像头扫描室内场景构图，并实时结合IMU数据进行纠正；
S12，建立横轴为x，纵轴为y的平面直角坐标系；
S13，以预设距离划分所述x轴和y轴并建立坐标网格；
S14，将所述网格的交点设置为预设坐标点。
作为优选：所述步骤S2具体包括：
S21，每隔预设间隔时间采集装配于仓储机器人的IMU数据；
S22，将采集到的数据进行PROSAC外点剔除与位姿估计，运用改进ICP算法完成精确配准，获得相对于预设路径的位移和偏差；
S23，根据得到的位移偏差和角度的偏差通过PID控制算法对所述仓储机器人进行进行实时纠偏。
作为优选：所述步骤S3具体包括：
S31，当所述仓储机器人运行到预设坐标点时，读取此时刻仓储机器人RGB-D摄像头、电机编码器和IMU的输出数据；
S32，对所述RGB-D摄像头，电机编码器和IMU数据进行扩展卡尔曼滤波处理后，得出实现所述仓储机器人姿态和位置的纠偏数据；
S33，根据所述实现仓储机器人路径纠偏的数据再次纠偏。
作为优选：还包括步骤：
开始工作后，通过上位机向控制系统发送指令。
一种基于RGB-D和惯导的快速识别定位系统，包括：
建立模块，用于建立基于仓储机器人运行地面的平面坐标系，并设置预设坐
标点；
IMU纠偏模块，用于当所述仓储机器人在预设坐标点之间运行时，通过IMU返回的数据对所述仓储机器人进行实时的纠正；
同步构图与定位模块，用于当所述仓储机器人运行到预设坐标点时，通过改进的hector算法结合RGB-D产生的点云数据和惯性传感器纠偏产生的累积误差进行再次纠偏。
作为优选：所述建立模块具体包括：
坐标轴单元，用于在室内预设区域建立横轴为x轴，纵轴为y轴的平面直角坐标系；
划分坐标网格，用于设定距离和划分所述x轴和y轴；
设置单元，用于将所述坐标网格的交点设置为预设坐标点。
作为优选：所述IMU纠偏模块具体包括：
采集单元，用于每隔预设时间间隔采集设于所述仓储机器人的RGB-D摄像头和IMU数据；
处理单元，用于将所述输出数据经过卡尔曼滤波处理、误差补偿和仓储机器人姿态角解算获得所述仓储机器人与预设路径间的位移和角度的偏差；
纠偏单元，用于根据获得的所述位移和角度偏差通过PID控制算法对所述仓储机器人进行实时纠偏。
作为优选：还包括：
读取单元，用于当所述仓储机器人运行到预设坐标点时，读取设于所述仓储机器人的RGB-D摄像头，电机编码器和IMU的输出数据；
补偿单元，用于相互补偿所述RGB-D摄像头，电机编码器和IMU的输出数据后获得所述仓储机器人实际到达点相对于目标点的位移和角度偏差；
获取单元，用于将所述仓储机器人相对于目标点的位移和角度偏差经过互相补偿和卡尔曼滤波处理后，得出实现所述仓储机器人的路径纠偏数据；
再次纠偏单元，用于根据所述实现仓储机器人路径纠偏的数据再次纠偏。
本发明的有益效果：
本发明基于惯导纠偏并且搭配基于RGB-D摄像头的改进型Hector算法对仓储机器人进行纠偏，避免了单一的激光雷达识别和定位不够准确以及成本过于昂贵的问题。
附图说明：
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1为本发明的示意图；
具体实施方式：
如图1所示，本具体实施方式采用以下技术方案：一种基于RGB-D和惯导的快速识别定位方式，
包括步骤：
S1，基于仓储机器人的运行，使用RGB-D摄像头和IMU数据构建地图和建立坐标系，并预设坐标点；
S2，当所述仓储机器人在预设坐标点之间运行时，通过惯性传感器返回的数据对所述仓储机器人进行实时的纠偏；
S3，当所述的仓储机器人运行到预设坐标点时，通过改进的Hector室内定位算法结合惯性传感器纠偏产生的累积误差进行再次纠偏。
其中：所述步骤S1具体包括：
S11，使用改进型hector算法在室内区域用RGB-D摄像头扫描室内场景构图，并实时结合IMU数据进行纠正；
S12，建立横轴为x，纵轴为y的平面直角坐标系；
S13，以预设距离划分所述x轴和y轴并建立坐标网格；
S14，将所述网格的交点设置为预设坐标点。
其中：所述步骤S2具体包括：
S21，每隔预设间隔时间采集装配于仓储机器人的IMU数据；
S22，将采集到的数据进行PROSAC外点剔除与位姿估计，运用改进ICP算法完成精确配准，获得相对于预设路径的位移和偏差；
S23，根据得到的位移偏差和角度的偏差通过PID控制算法对所述仓储机器人进行进行实时纠偏。
其中：所述步骤S3具体包括：
S31，当所述仓储机器人运行到预设坐标点时，读取此时刻仓储机器人RGB-D摄像头、电机编码器和IMU的输出数据；
S32，对所述RGB-D摄像头，电机编码器和IMU数据进行扩展卡尔曼滤波处理后，得出实现所述仓储机器人姿态和位置的纠偏数据；
S33，根据所述实现仓储机器人路径纠偏的数据再次纠偏。
其中：还包括步骤：
开始工作后，通过上位机向控制系统发送指令。
一种基于RGB-D和惯导的快速识别定位系统，包括：
建立模块，用于建立基于仓储机器人运行地面的平面坐标系，并设置预设坐
标点；
IMU纠偏模块，用于当所述仓储机器人在预设坐标点之间运行时，通过IMU返回的数据对所述仓储机器人进行实时的纠正；
同步构图与定位模块，用于当所述仓储机器人运行到预设坐标点时，通过改进的hector算法结合RGB-D产生的点云数据和惯性传感器纠偏产生的累积误差进行再次纠偏。
其中：所述建立模块具体包括：
坐标轴单元，用于在室内预设区域建立横轴为x轴，纵轴为y轴的平面直角坐标系；
划分坐标网格，用于设定距离和划分所述x轴和y轴；
设置单元，用于将所述坐标网格的交点设置为预设坐标点。
其中：所述IMU纠偏模块具体包括：
采集单元，用于每隔预设时间间隔采集设于所述仓储机器人的RGB-D摄像头和IMU数据；
处理单元，用于将所述输出数据经过卡尔曼滤波处理、误差补偿和仓储机器人姿态角解算获得所述仓储机器人与预设路径间的位移和角度的偏差；
纠偏单元，用于根据获得的所述位移和角度偏差通过PID控制算法对所述仓储机器人进行实时纠偏。
其中：还包括：
读取单元，用于当所述仓储机器人运行到预设坐标点时，读取设于所述仓储机器人的RGB-D摄像头，电机编码器和IMU的输出数据；
补偿单元，用于相互补偿所述RGB-D摄像头，电机编码器和IMU的输出数据后获得所述仓储机器人实际到达点相对于目标点的位移和角度偏差；
获取单元，用于将所述仓储机器人相对于目标点的位移和角度偏差经过互相补偿和卡尔曼滤波处理后，得出实现所述仓储机器人的路径纠偏数据；
再次纠偏单元，用于根据所述实现仓储机器人路径纠偏的数据再次纠偏。
具体的：本发明基于惯导纠偏并且搭配基于RGB-D摄像头的改进型Hector算法对仓储机器人进行纠偏，避免了单一的激光雷达识别和定位不够准确以及成本过于昂贵的问题。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种基于RGB-D和惯导的快速识别定位方式，其特征在于：
包括以下步骤：
S1，基于仓储机器人的运行，使用RGB-D摄像头和IMU数据构建地图和建立坐标系，并预设坐标点；
S2，当所述仓储机器人在预设坐标点之间运行时，通过惯性传感器返回的数据对所述仓储机器人进行实时的纠偏；
S3，当所述的仓储机器人运行到预设坐标点时，通过改进的Hector室内定位算法结合惯性传感器纠偏产生的累积误差进行再次纠偏。
2.根据权利要求1所述的一种基于RGB-D和惯导的快速识别定位方式，其特征在于：所述步骤S1具体包括：
S11，使用改进型hector算法在室内区域用RGB-D摄像头扫描室内场景构图，并实时结合IMU数据进行纠正；
S12，建立横轴为x，纵轴为y的平面直角坐标系；
S13，以预设距离划分所述x轴和y轴并建立坐标网格；
S14，将所述网格的交点设置为预设坐标点。
3.根据权利要求1所述的一种基于RGB-D和惯导的快速识别定位方式，其特征在于：所述步骤S2具体包括：
S21，每隔预设间隔时间采集装配于仓储机器人的IMU数据；
S22，将采集到的数据进行PROSAC外点剔除与位姿估计，运用改进ICP算法完成精确配准，获得相对于预设路径的位移和偏差；
S23，根据得到的位移偏差和角度的偏差通过PID控制算法对所述仓储机器人进行进行实时纠偏。
4.根据权利要求1所述的一种基于RGB-D和惯导的快速识别定位方式，其特征在于：所述步骤S3具体包括：
S31，当所述仓储机器人运行到预设坐标点时，读取此时刻仓储机器人RGB-D摄像头、电机编码器和IMU的输出数据；
S32，对所述RGB-D摄像头，电机编码器和IMU数据进行扩展卡尔曼滤波处理后，得出实现所述仓储机器人姿态和位置的纠偏数据；
S33，根据所述实现仓储机器人路径纠偏的数据再次纠偏。
5.根据权利要求1所述的一种基于RGB-D和惯导的快速识别定位方式，其特征在于：还包括步骤：
开始工作后，通过上位机向控制系统发送指令。
6.一种基于RGB-D和惯导的快速识别定位系统，其特征在于：包括：
建立模块，用于建立基于仓储机器人运行地面的平面坐标系，并设置预设坐标点；
IMU纠偏模块，用于当所述仓储机器人在预设坐标点之间运行时，通过IMU返回的数据对所述仓储机器人进行实时的纠正；
同步构图与定位模块，用于当所述仓储机器人运行到预设坐标点时，通过改进的hector算法结合RGB-D产生的点云数据和惯性传感器纠偏产生的累积误差进行再次纠偏。
7.根据权利要求6所述的一种基于RGB-D和惯导的快速识别定位系统，其特征在于：所述建立模块具体包括：
坐标轴单元，用于在室内预设区域建立横轴为x轴，纵轴为y轴的平面直角坐标系；
划分坐标网格，用于设定距离和划分所述x轴和y轴；
设置单元，用于将所述坐标网格的交点设置为预设坐标点。
8.根据权利要求6所述的一种基于RGB-D和惯导的快速识别定位系统，其特征在于：所述IMU纠偏模块具体包括：
采集单元，用于每隔预设时间间隔采集设于所述仓储机器人的RGB-D摄像头和IMU数据；
处理单元，用于将所述输出数据经过卡尔曼滤波处理、误差补偿和仓储机器人姿态角解算获得所述仓储机器人与预设路径间的位移和角度的偏差；
纠偏单元，用于根据获得的所述位移和角度偏差通过PID控制算法对所述仓储机器人进行实时纠偏。
9.根据权利要求6所述的一种基于RGB-D和惯导的快速识别定位系统，其特征在于：还包括：
读取单元，用于当所述仓储机器人运行到预设坐标点时，读取设于所述仓储机器人的RGB-D摄像头，电机编码器和IMU的输出数据；
补偿单元，用于相互补偿所述RGB-D摄像头，电机编码器和IMU的输出数据后获得所述仓储机器人实际到达点相对于目标点的位移和角度偏差；
获取单元，用于将所述仓储机器人相对于目标点的位移和角度偏差经过互相补偿和卡尔曼滤波处理后，得出实现所述仓储机器人的路径纠偏数据；
再次纠偏单元，用于根据所述实现仓储机器人路径纠偏的数据再次纠偏。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910235935.0A CN109900266A (zh) | 2019-03-27 | 2019-03-27 | 一种基于rgb-d和惯导的快速识别定位方式及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910235935.0A CN109900266A (zh) | 2019-03-27 | 2019-03-27 | 一种基于rgb-d和惯导的快速识别定位方式及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109900266A true CN109900266A (zh) | 2019-06-18 |
Family
ID=66952598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910235935.0A Pending CN109900266A (zh) | 2019-03-27 | 2019-03-27 | 一种基于rgb-d和惯导的快速识别定位方式及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109900266A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112747746A (zh) * | 2020-12-25 | 2021-05-04 | 珠海市一微半导体有限公司 | 基于单点tof的点云数据获取方法、芯片和移动机器人 |
| CN113137077A (zh) * | 2020-01-17 | 2021-07-20 | 厦门华蔚物联网科技有限公司 | 基于深度摄像头的墙砖平面自动纠偏系统及纠偏方法 |
| WO2021243696A1 (zh) * | 2020-06-05 | 2021-12-09 | 深圳澳谷智能科技有限公司 | 车辆导航定位方法、装置、基站、系统及可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103994765A (zh) * | 2014-02-27 | 2014-08-20 | 北京工业大学 | 一种惯性传感器的定位方法 |
| CN104236548A (zh) * | 2014-09-12 | 2014-12-24 | 清华大学 | 一种微型无人机室内自主导航方法 |
| CN105783913A (zh) * | 2016-03-08 | 2016-07-20 | 中山大学 | 一种融合车载多传感器的slam装置及其控制方法 |
| CN205426175U (zh) * | 2016-03-08 | 2016-08-03 | 中山大学 | 一种融合车载多传感器的slam装置 |
| CN107150329A (zh) * | 2017-04-27 | 2017-09-12 | 中国矿业大学 | 一种基于三自由度视觉平台的移动机器人及其控制方法 |
| CN107246868A (zh) * | 2017-07-26 | 2017-10-13 | 上海舵敏智能科技有限公司 | 一种协同导航定位系统及导航定位方法 |
| CN107861507A (zh) * | 2017-10-13 | 2018-03-30 | 上海斐讯数据通信技术有限公司 | 一种基于惯导纠偏和slam室内定位的agv控制方法及系统 |
| CN107918391A (zh) * | 2017-11-17 | 2018-04-17 | 上海斐讯数据通信技术有限公司 | 一种移动机器人导航纠偏方法及装置 |
| CN108074251A (zh) * | 2016-11-14 | 2018-05-25 | 广东技术师范学院 | 基于单目视觉的移动机器人导航控制方法 |
| CN108181897A (zh) * | 2017-12-11 | 2018-06-19 | 华侨大学 | 一种双足机器人自动循迹的方法 |
| CN108459596A (zh) * | 2017-06-30 | 2018-08-28 | 炬大科技有限公司 | 一种移动电子设备以及该移动电子设备中的方法 |
-
2019
- 2019-03-27 CN CN201910235935.0A patent/CN109900266A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103994765A (zh) * | 2014-02-27 | 2014-08-20 | 北京工业大学 | 一种惯性传感器的定位方法 |
| CN104236548A (zh) * | 2014-09-12 | 2014-12-24 | 清华大学 | 一种微型无人机室内自主导航方法 |
| CN105783913A (zh) * | 2016-03-08 | 2016-07-20 | 中山大学 | 一种融合车载多传感器的slam装置及其控制方法 |
| CN205426175U (zh) * | 2016-03-08 | 2016-08-03 | 中山大学 | 一种融合车载多传感器的slam装置 |
| CN108074251A (zh) * | 2016-11-14 | 2018-05-25 | 广东技术师范学院 | 基于单目视觉的移动机器人导航控制方法 |
| CN107150329A (zh) * | 2017-04-27 | 2017-09-12 | 中国矿业大学 | 一种基于三自由度视觉平台的移动机器人及其控制方法 |
| CN108459596A (zh) * | 2017-06-30 | 2018-08-28 | 炬大科技有限公司 | 一种移动电子设备以及该移动电子设备中的方法 |
| CN107246868A (zh) * | 2017-07-26 | 2017-10-13 | 上海舵敏智能科技有限公司 | 一种协同导航定位系统及导航定位方法 |
| CN107861507A (zh) * | 2017-10-13 | 2018-03-30 | 上海斐讯数据通信技术有限公司 | 一种基于惯导纠偏和slam室内定位的agv控制方法及系统 |
| CN107918391A (zh) * | 2017-11-17 | 2018-04-17 | 上海斐讯数据通信技术有限公司 | 一种移动机器人导航纠偏方法及装置 |
| CN108181897A (zh) * | 2017-12-11 | 2018-06-19 | 华侨大学 | 一种双足机器人自动循迹的方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113137077A (zh) * | 2020-01-17 | 2021-07-20 | 厦门华蔚物联网科技有限公司 | 基于深度摄像头的墙砖平面自动纠偏系统及纠偏方法 |
| WO2021243696A1 (zh) * | 2020-06-05 | 2021-12-09 | 深圳澳谷智能科技有限公司 | 车辆导航定位方法、装置、基站、系统及可读存储介质 |
| CN112747746A (zh) * | 2020-12-25 | 2021-05-04 | 珠海市一微半导体有限公司 | 基于单点tof的点云数据获取方法、芯片和移动机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107328420B (zh) | 定位方法和装置 | |
| CN111337947B (zh) | 即时建图与定位方法、装置、系统及存储介质 | |
| CN105411490B (zh) | 移动机器人的实时定位方法及移动机器人 | |
| CN109900266A (zh) | 一种基于rgb-d和惯导的快速识别定位方式及系统 | |
| CN106851567B (zh) | 一种定位方法、装置及系统 | |
| CN109191504A (zh) | 一种无人机目标跟踪方法 | |
| CN111735439B (zh) | 地图构建方法、装置和计算机可读存储介质 | |
| CN110470333B (zh) | 传感器参数的标定方法及装置、存储介质和电子装置 | |
| CN103886107A (zh) | 基于天花板图像信息的机器人定位与地图构建系统 | |
| CN106651957B (zh) | 基于模板的单目视觉目标空间定位方法 | |
| CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
| CN106504287B (zh) | 基于模板的单目视觉目标空间定位系统 | |
| CN110488838B (zh) | 一种室内自主导航机器人精确重复定位方法 | |
| CN105116886A (zh) | 一种机器人自主行走的方法 | |
| CN104613929A (zh) | 基于机器视觉自动准直立方镜的方法 | |
| CN112541973B (zh) | 虚实叠合方法与系统 | |
| CN108662974B (zh) | 一种基于双相机的点胶定位方法及装置 | |
| CN109540140A (zh) | 一种融合ssd目标识别和里程计信息的移动机器人定位方法 | |
| CN112967344A (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| CN110702101A (zh) | 一种面向电力巡检场景的定位方法及系统 | |
| CN111780715A (zh) | 一种视觉测距方法 | |
| CN106646441A (zh) | 结合环境信息的室内移动机器人定位系统及方法 | |
| Muffert et al. | The estimation of spatial positions by using an omnidirectional camera system | |
| Gao et al. | Altitude information acquisition of uav based on monocular vision and mems | |
| CN102175211A (zh) | 基于点阵结构光的障碍位置确定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190618 |