CN111142521A - 基于vslam对不同地形的规划方法、装置和存储介质 - Google Patents

基于vslam对不同地形的规划方法、装置和存储介质 Download PDF

Info

Publication number
CN111142521A
CN111142521A CN201911353631.0A CN201911353631A CN111142521A CN 111142521 A CN111142521 A CN 111142521A CN 201911353631 A CN201911353631 A CN 201911353631A CN 111142521 A CN111142521 A CN 111142521A
Authority
CN
China
Prior art keywords
obstacle
unmanned vehicle
barrier
vslam
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911353631.0A
Other languages
English (en)
Inventor
梁淑芬
李云龙
李金恩
黄炜蓥
林创鸿
吴曼华
李晓明
朱麟涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201911353631.0A priority Critical patent/CN111142521A/zh
Publication of CN111142521A publication Critical patent/CN111142521A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于VSLAM对不同地形的规划方法、装置和存储介质，通过将SLAM与深度摄像头结合，用深度摄像头获取无人车所走过的每一个位置的距离，以及获取障碍物的信息，从而对该障碍物进行分析。通过对障碍物区域的道路进行分析，提前掌握道路的情况，从而使小车对道路不同地形作出更好的准备，将地图中的一些可通行的不规则道路进行地图规划，规划出可行走的路线。本发明利用三维分析与SLAM相结合对地图进行规划，将地图中的一些可通行的不规则道路进行地图规划，使无人车可以在不同地形行走。

Description

基于VSLAM对不同地形的规划方法、装置和存储介质
技术领域
本发明涉及无人车路径规划技术领域，尤其是一种基于VSLAM对不同地形的规划方法、装置和存储介质。
背景技术
目前，SLAM技术在机器人控制中广泛使用，其主要应用于激光雷达中，但激光雷达相对较贵，且其生成的地图是二维的，只能在地面无障碍的室内中运行。当无人车在运行遇到障碍时，对一些可翻越的障碍无法分析是否可行走，对于一个斜坡，只能判定为一个障碍，像一个墙面一般，导致无法适应多种场景，不能够在不同地形进行相适应的地图规划。
发明内容
为解决上述问题，本发明的目的在于提供一种基于VSLAM对不同地形的规划方法、装置和存储介质，利用三维分析与SLAM相结合对地图进行规划，将地图中的一些可通行的不规则道路进行地图规划，使无人车可以在不同地形行走。
本发明解决其问题所采用的技术方案是：
第一方面，本发明实施例提出了一种基于VSLAM对不同地形的规划方法，包括：
通过深度摄像头识别出无人车前方的点云对地面进行分析；
利用深度摄像头对障碍物进行识别；
测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行数据处理，把可通行的障碍物存于点云语义数据库中；
对障碍区域内所有的障碍物进行数据处理，导出三维地形图。
进一步，通过深度摄像头识别出无人车前方的点云对地面进行分析包括：通过深度摄像头识别出无人车前方的点云，利用直通滤波对地面进行分析并进行求法向量来识别地面。
进一步，所述利用深度摄像头对障碍物进行识别包括：利用深度摄像头对障碍物进行识别以判断是否适合无人车行走，并相应控制无人车行走的速度。
进一步，所述测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行数据处理，把可通行的障碍物存于点云语义数据库中包括：测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行精细化处理，把可通行的障碍物存于点云语义数据库中，并将其命名为可通行的梯形体。
进一步，所述对障碍区域内所有的障碍物进行数据处理，导出三维地形图包括：对障碍区域内所有的障碍物进行数据处理，导出三维地形图，无人车按照三维地形图规划行走路线。
第二方面，本发明实施例还提出了一种基于VSLAM对不同地形的规划装置，包括：
识别地面模块，用于通过深度摄像头识别出无人车前方的点云对地面进行分析；
识别障碍模块，用于利用深度摄像头对障碍物进行识别；
分析障碍模块，用于测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行数据处理，把可通行的障碍物存于点云语义数据库中；
导出地图模块，用于对障碍区域内所有的障碍物进行数据处理，导出三维地形图。
第三方面，本发明实施例还提出了一种基于VSLAM对不同地形的规划设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面所述的方法。
第四方面，本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本发明第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：本发明提供的一种基于VSLAM对不同地形的规划方法、装置和存储介质，通过将SLAM与深度摄像头结合，用深度摄像头获取无人车所走过的每一个位置的距离，以及获取障碍物的信息，从而对该障碍物进行分析。通过对障碍物区域的道路进行分析，提前掌握道路的情况，从而使小车对道路不同地形作出更好的准备，将地图中的一些可通行的不规则道路进行地图规划，规划出可行走的路线。本发明利用三维分析与SLAM相结合对地图进行规划，将地图中的一些可通行的不规则道路进行地图规划，使无人车可以在不同地形行走。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明第一实施例中基于VSLAM对不同地形的规划方法的流程简图；
图2是本发明第二实施例中基于VSLAM对不同地形的规划装置的结构简图；
图3是本发明第三实施例中基于VSLAM对不同地形的规划设备的结构简图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
下面结合附图，对本发明实施例作进一步阐述。
如图1所示，本发明的第一实施例提供了一种基于VSLAM对不同地形的规划方法，包括但不限于以下步骤：
S100:通过深度摄像头识别出无人车前方的点云对地面进行分析；
S200:利用深度摄像头对障碍物进行识别；
S300:测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行数据处理，把可通行的障碍物存于点云语义数据库中；
S400:对障碍区域内所有的障碍物进行数据处理，导出三维地形图。
在步骤S100中，通过深度摄像头识别出无人车前方的点云，利用直通滤波对地面进行分析并进行求法向量来识别地面。
在步骤S200中，利用深度摄像头对障碍物进行识别以判断是否适合无人车行走，并相应控制无人车行走的速度。
在步骤S300中，测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行精细化处理，把可通行的障碍物存于点云语义数据库中，并将其命名为可通行的梯形体。
在步骤S400中，对障碍区域内所有的障碍物进行数据处理，导出三维地形图，无人车按照三维地形图规划行走路线。
综上所述，与现有技术相比，基于VSLAM对不同地形的规划方法的优点在于：通过将SLAM与深度摄像头结合，用深度摄像头获取无人车所走过的每一个位置的距离，以及获取障碍物的信息，从而对该障碍物进行分析。通过对障碍物区域的道路进行分析，提前掌握道路的情况，从而使小车对道路不同地形作出更好的准备，将地图中的一些可通行的不规则道路进行地图规划，规划出可行走的路线。本方法利用三维分析与SLAM相结合对地图进行规划，将地图中的一些可通行的不规则道路进行地图规划，使无人车可以在不同地形行走。
另外，如图2所示，本发明的第二实施例提供了一种基于VSLAM对不同地形的规划装置，包括：
识别地面模块110，用于通过深度摄像头识别出无人车前方的点云对地面进行分析；
识别障碍模块120，用于利用深度摄像头对障碍物进行识别；
分析障碍模块130，用于测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行数据处理，把可通行的障碍物存于点云语义数据库中；
导出地图模块140，用于对障碍区域内所有的障碍物进行数据处理，导出三维地形图。
本实施例中的基于VSLAM对不同地形的规划装置与第一实施例中的基于VSLAM对不同地形的规划方法基于相同的发明构思，因此，本实施例中的基于VSLAM对不同地形的规划装置具有相同的有益效果：通过将SLAM与深度摄像头结合，用深度摄像头获取无人车所走过的每一个位置的距离，以及获取障碍物的信息，从而对该障碍物进行分析。通过对障碍物区域的道路进行分析，提前掌握道路的情况，从而使小车对道路不同地形作出更好的准备，将地图中的一些可通行的不规则道路进行地图规划，规划出可行走的路线。本装置利用三维分析与SLAM相结合对地图进行规划，将地图中的一些可通行的不规则道路进行地图规划，使无人车可以在不同地形行走。
如图3所示，本发明的第三实施例还提供了一种基于VSLAM对不同地形的规划设备，包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述第一实施例中任意一种基于VSLAM对不同地形的规划方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的虚拟影像控制方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行立体成像处理装置的各种功能应用以及数据处理，即实现上述任一方法实施例的基于VSLAM对不同地形的规划方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据立体成像处理装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该立体投影装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的基于VSLAM对不同地形的规划方法，例如第一实施例中的方法步骤S100至S400。
本发明的第四实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个处理器执行上述方法实施例中的一种基于VSLAM对不同地形的规划方法，例如第一实施例中的方法步骤S100至S400。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于VSLAM对不同地形的规划方法，其特征在于，包括：
通过深度摄像头识别出无人车前方的点云对地面进行分析；
利用深度摄像头对障碍物进行识别；
测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行数据处理，把可通行的障碍物存于点云语义数据库中；
对障碍区域内所有的障碍物进行数据处理，导出三维地形图。
2.根据权利要求1所述的一种基于VSLAM对不同地形的规划方法，其特征在于，所述通过深度摄像头识别出无人车前方的点云对地面进行分析包括：通过深度摄像头识别出无人车前方的点云，利用直通滤波对地面进行分析并进行求法向量来识别地面。
3.根据权利要求1所述的一种基于VSLAM对不同地形的规划方法，其特征在于，所述利用深度摄像头对障碍物进行识别包括：利用深度摄像头对障碍物进行识别以判断是否适合无人车行走，并相应控制无人车行走的速度。
4.根据权利要求1所述的一种基于VSLAM对不同地形的规划方法，其特征在于，所述测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行数据处理，把可通行的障碍物存于点云语义数据库中包括：测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行精细化处理，把可通行的障碍物存于点云语义数据库中，并将其命名为可通行的梯形体。
5.根据权利要求1所述的一种基于VSLAM对不同地形的规划方法，其特征在于，所述对障碍区域内所有的障碍物进行数据处理，导出三维地形图包括：对障碍区域内所有的障碍物进行数据处理，导出三维地形图，无人车按照三维地形图规划行走路线。
6.一种基于VSLAM对不同地形的规划装置，其特征在于，包括：
识别地面模块，用于通过深度摄像头识别出无人车前方的点云对地面进行分析；
识别障碍模块，用于利用深度摄像头对障碍物进行识别；
分析障碍模块，用于测量无人车与障碍物底端的距离，以及无人车与障碍物顶端的距离，通过分析这两个距离的角度差得出障碍物的信息，并对障碍物进行数据处理，把可通行的障碍物存于点云语义数据库中；
导出地图模块，用于对障碍区域内所有的障碍物进行数据处理，导出三维地形图。
7.一种基于VSLAM对不同地形的规划设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-5任一项所述的方法。
CN201911353631.0A 2019-12-25 2019-12-25 基于vslam对不同地形的规划方法、装置和存储介质 Pending CN111142521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911353631.0A CN111142521A (zh) 2019-12-25 2019-12-25 基于vslam对不同地形的规划方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911353631.0A CN111142521A (zh) 2019-12-25 2019-12-25 基于vslam对不同地形的规划方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN111142521A true CN111142521A (zh) 2020-05-12

Family

ID=70519797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911353631.0A Pending CN111142521A (zh) 2019-12-25 2019-12-25 基于vslam对不同地形的规划方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111142521A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652873A (zh) * 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
CN106647742A (zh) * 2016-10-31 2017-05-10 纳恩博（北京）科技有限公司 移动路径规划方法及装置
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN106855411A (zh) * 2017-01-10 2017-06-16 深圳市极思维智能科技有限公司 一种机器人及其以深度摄像头和避障系统构建地图的方法
CN108981726A (zh) * 2018-06-09 2018-12-11 安徽宇锋智能科技有限公司 基于感知定位监测的无人车语义地图建模及构建应用方法
CN109993780A (zh) * 2019-03-07 2019-07-09 深兰科技（上海）有限公司 一种三维高精度地图生成方法及装置
CN110275540A (zh) * 2019-07-01 2019-09-24 湖南海森格诺信息技术有限公司 用于扫地机器人的语义导航方法及其系统
CN110393482A (zh) * 2019-09-03 2019-11-01 深圳飞科机器人有限公司 地图处理方法以及清洁机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652873A (zh) * 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
CN106647742A (zh) * 2016-10-31 2017-05-10 纳恩博（北京）科技有限公司 移动路径规划方法及装置
CN106855411A (zh) * 2017-01-10 2017-06-16 深圳市极思维智能科技有限公司 一种机器人及其以深度摄像头和避障系统构建地图的方法
CN106802954A (zh) * 2017-01-18 2017-06-06 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
CN108981726A (zh) * 2018-06-09 2018-12-11 安徽宇锋智能科技有限公司 基于感知定位监测的无人车语义地图建模及构建应用方法
CN109993780A (zh) * 2019-03-07 2019-07-09 深兰科技（上海）有限公司 一种三维高精度地图生成方法及装置
CN110275540A (zh) * 2019-07-01 2019-09-24 湖南海森格诺信息技术有限公司 用于扫地机器人的语义导航方法及其系统
CN110393482A (zh) * 2019-09-03 2019-11-01 深圳飞科机器人有限公司 地图处理方法以及清洁机器人

Similar Documents

Publication Publication Date Title
US10684372B2 (en) Systems, devices, and methods for autonomous vehicle localization
US11747822B2 (en) Mobile robot system and method for autonomous localization using straight lines extracted from visual images
US11885910B2 (en) Hybrid-view LIDAR-based object detection
US10310087B2 (en) Range-view LIDAR-based object detection
KR102493094B1 (ko) 자율주행 차량을 위한 상대적인 아틀라스 및 그 생성
US11126891B2 (en) Systems and methods for simulating sensor data using a generative model
US11250576B2 (en) Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map
US20180349746A1 (en) Top-View Lidar-Based Object Detection
US20170369051A1 (en) Occluded obstacle classification for vehicles
Zhu et al. 3d lidar point cloud based intersection recognition for autonomous driving
CN114812581B (zh) 一种基于多传感器融合的越野环境导航方法
US20170359561A1 (en) Disparity mapping for an autonomous vehicle
US20200042656A1 (en) Systems and methods for persistent simulation
US11727169B2 (en) Systems and methods for inferring simulated data
US11189049B1 (en) Vehicle neural network perception and localization
CN111089597A (zh) 基于图像和地图数据来定位的方法和装置
US20210158547A1 (en) Coordinate gradient method for point cloud registration for autonomous vehicles
CN112937582A (zh) 改进车道改变检测的系统、非暂态计算机可读介质和方法
Lee et al. Ods-bot: Mobile robot navigation for outdoor delivery services
CN113178091A (zh) 安全行驶区域方法、装置和网络设备
Goodin et al. High-fidelity physics-based simulation of a UGV reconnaissance mission in a complex urban environment
US11976939B2 (en) High-definition maps and localization for road vehicles
CN111142521A (zh) 基于vslam对不同地形的规划方法、装置和存储介质
US20220301203A1 (en) Systems and methods to train a prediction system for depth perception
US20240037961A1 (en) Systems and methods for detecting lanes using a segmented image and semantic context

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200512