CN111402702A - 地图构建方法、装置及系统 - Google Patents

地图构建方法、装置及系统 Download PDF

Info

Publication number
CN111402702A
CN111402702A CN202010242693.0A CN202010242693A CN111402702A CN 111402702 A CN111402702 A CN 111402702A CN 202010242693 A CN202010242693 A CN 202010242693A CN 111402702 A CN111402702 A CN 111402702A
Authority
CN
China
Prior art keywords
point cloud
map
data
movement track
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010242693.0A
Other languages
English (en)
Inventor
万小波
王默然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN202010242693.0A priority Critical patent/CN111402702A/zh
Publication of CN111402702A publication Critical patent/CN111402702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/005—Map projections or methods associated specifically therewith
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

本公开提供一种地图构建方法、装置及系统，包括获取通过采集设备采集的点云数据、位置数据、图像数据；根据点云数据确定采集设备的相对移动轨迹、根据位置数据确定采集设备的绝对移动轨迹；根据相对移动轨迹、绝对移动轨迹确定目标轨迹；根据目标轨迹、点云数据确定点云地图，并根据图像数据、点云地图生成目标地图。本公开提供的地图构建方法、装置及系统中，可以根据采集设备采集的点云数据确定采集设备的相对移动轨迹，从而可以在定位数据不准确的情况下，使用相对移动轨迹替换位置数据，能够得到采集设备准确的目标轨迹。再根据该目标轨迹、点云数据、采集设备采集的图像数据生成地图，从而能够实现在定位结果不准确的情况下构建地图。

Description

地图构建方法、装置及系统
技术领域
本公开涉及地图构建技术，尤其涉及一种地图构建方法、装置及系统，属于地图数据处理领域。
背景技术
目前，可以通过地图车在路面采集地图数据，再根据这些数据构建地图。例如，地图车可以具有定位装置以及激光雷达扫描装置，通过定位装置实时确定车辆位置，并通过车辆的激光雷达扫描装置扫描周围环境，可以结合车辆位置以及车辆周围的环境构建地图。
但是，在一些特定环境下定位装置的定位结果偏差较大，比如在地下车库，再例如在高楼附近，定位结果的偏差都会较大。
因此，如何在定位结果不准确的情况下构建地图，是本领域技术人员亟需解决的技术问题。
发明内容
本公开提供一种地图构建方法、装置及系统，以解决现有技术中基于定位结果构建地图时，若定位数据不准确则会导致构建的地图也不准确的问题。
本公开的第一个方面是提供一种地图构建方法，包括：
获取通过采集设备采集的点云数据、位置数据、图像数据；
根据所述点云数据确定所述采集设备的相对移动轨迹、根据所述位置数据确定所述采集设备的绝对移动轨迹；
根据所述相对移动轨迹、所述绝对移动轨迹确定目标轨迹；
根据所述目标轨迹、所述点云数据确定点云地图，并根据所述图像数据、所述点云地图生成目标地图。
本公开的另一个方面是提供一种地图构建装置，包括：
获取模块，用于获取通过采集设备采集的点云数据、位置数据、图像数据；
数据处理模块，用于根据所述点云数据确定所述采集设备的相对移动轨迹、根据所述位置数据确定所述采集设备的绝对移动轨迹；
轨迹确定模块，用于根据所述相对移动轨迹、所述绝对移动轨迹确定目标轨迹；
地图构建模块，用于根据所述目标轨迹、所述点云数据确定点云地图，并根据所述图像数据、所述点云地图生成目标地图。
本公开的又一个方面是提供一种地图构建系统，包括：
采集设备、地图构建设备；所述采集设备与所述地图构建设备连接；
采集设备，用于采集点云数据、位置数据、图像数据；
地图构建设备，用于执行如第一方面所述的地图构建方法。
本公开提供的地图构建方法、装置及系统的技术效果是：
本公开提供的地图构建方法、装置及系统，包括获取通过采集设备采集的点云数据、位置数据、图像数据；根据点云数据确定采集设备的相对移动轨迹、根据位置数据确定采集设备的绝对移动轨迹；根据相对移动轨迹、绝对移动轨迹确定目标轨迹；根据目标轨迹、点云数据确定点云地图，并根据图像数据、点云地图生成目标地图。本公开提供的地图构建方法、装置及系统中，可以根据采集设备采集的点云数据确定采集设备的相对移动轨迹，从而可以在定位数据不准确的情况下，使用相对移动轨迹替换位置数据，能够得到采集设备准确的目标轨迹。再根据该目标轨迹、点云数据、采集设备采集的图像数据生成精细化的地图，从而能够实现在定位结果不准确的情况下构建地图。
附图说明
图1A为本申请一示例性实施例示出的系统架构图；
图1B为本申请一示例性实施例示出的采集设备的主要构成图；
图2为本申请一示例性实施例示出的地图构建方法的流程图；
图3为本申请一示例性实施例示出的相对移动轨迹、绝对移动轨迹的示意图；
图4为本申请一示例性实施例示出的目标轨迹的示意图；
图5为本申请另一示例性实施例示出的地图构建方法的流程图；
图6为本申请另一示例性实施例示出的相对移动轨迹、绝对移动轨迹的示意图；
图7为本申请一示例性实施例示出的轨迹拼接示意图；
图8为本申请另一示例性实施例示出的轨迹拼接示意图；
图9为本发明一示例性实施例示出的地图构建装置的结构图；
图10为本发明另一示例性实施例示出的地图构建装置的结构图。
具体实施方式
目前在构建地图时，通常需要采集系统采集环境元素的信息，再利用这些环境元素的信息构建地图。比如可以驾驶地图车在路面采集道路信息，可以结合车辆的定位数据，确定道路信息在世界坐标系中的位置。
但是，在一些特殊的环境中采集系统的定位数据偏差较大。比如在封闭的环境中，例如在地下停车场、商场等环境中，采集系统的定位数据会出现较大误差。
而在构建地图时，需要结合采集系统的定位数据来确定环境元素在世界坐标系中的位置，若采集系统自身的定数据偏差较大，那么制作出来的地图也会出现较大偏差。因此，如何在采集系统定位数据偏差较大的情况下，仍然能够基于采集系统采集的环境元素的信息构建地图，是待解决的技术问题。
图1A为本申请一示例性实施例示出的系统架构图。
如图1A所示，本实施例提供的系统中，包括采集设备11、地图构建设备12。
其中，采集设备11用来采集数据，例如待生成地图的封闭环境中各环境元素的数据。采集设备11可以将采集的数据发送给地图构建设备12，地图构建设备12可以根据接收的数据构建地图。
具体的，采集设备11也可以与地图构建设备12集成在一个设备中，二者也可以如图所示的分开设置。
采集设备11可以是地图车，还可以是其他形式的设备，比如机器人、便于用户携带的设备等。
图1B为本申请一示例性实施例示出的采集设备的主要构成图。
如图1B所示，采集设备11中具体可以包括：
主板111，用于系统控制、存储数据等；激光雷达112，用于采集三维的点云数据；工业相机113，用于采集图像数据；GNSS(Global Navigation Satellite System，全球导航卫星系统)以及IMU(Inertial measurement unit)114，用于获取位置信息以及系统精准授时；还可以包括轮速计115，用于辅助定位；还可以包括同步板116，用于同步上述多个传感器的时间系统。图2为本申请一示例性实施例示出的地图构建方法的流程图。
如图2所示，本实施例提供的地图构建方法，包括：
步骤201，获取通过采集设备采集的点云数据、位置数据、图像数据。
其中，本实施例提供的方法可以由具备计算能力的电子设备来执行，该电子设备例如可以是图1所示出的地图构建设备，该设备比如可以是计算机。
具体的，采集设备可以用于采集其周围的环境数据，比如可以包括点云数据、位置数据、图像数据。在一种实施方式中，采集设备上可以设置传感器，通过设置的传感器可以采集到这些环境数据。
若采集设备是地图车，则地图数据采集员可以驾车行驶，从而通过采集设备采集地图车周围的环境数据。若采集设备是机器人，则可以控制机器人在需要采集数据的封闭环境移动，从而通过机器人采集其经过区域的环境数据。若采集设备是便于用户携带的设备，则可以由地图数据采集员携带该设备在需要采集数据的封闭环境移动，进而采集该区域内的环境数据。
可选的，可以在采集设备上设置雷达，从而通过雷达采集点云数据，即车辆周围的环境的点云数据。还可以在采集设备上设置定位装置，从而通过该装置获取位置数据，即车辆所处位置的相应数据。还可以在采集设备上设置图像采集装置，从而通过该装置获取图像数据，即采集设备周围环境的图像数据。
实际应用时，在室外空旷环境下，通过传感器采集的位置数据能够准确体现采集装置所处的位置。但是，当采集装置处于室内或有较高建筑物遮挡的封闭环境中，则通过传感器采集的位置数据误差会比较大，无法通过这一数据体现采集装置所处的位置。
步骤202，根据点云数据确定采集设备的相对移动轨迹、根据定位数据确定采集设备的绝对移动轨迹。
由于在一些特定环境下，采集设备采集到的定位数据不够准确，因此，仅根据定位数据确定车辆的移动轨迹，得到的结果不够准确。因此，可以结合采集设备采集的点云数据以及位置数据，共同确定其移动轨迹。
其中，可以利用开源的loam算法，根据点云数据生成相对移动轨迹。通过loam算法能够使用一个三维空间中运动的两轴单线激光雷达来构建实时激光里程计并建图。具体可以通过点云匹配和特征点提取的方式实现建图。
具体的，定位数据中可以包括采集设备在各个时刻所处的位置，可以结合这些位置确定出采集设备的绝对移动轨迹。
进一步的，可以在采集设备进入室内或有较高建筑物遮挡的环境时，记录这一进入时刻，还可以记录采集设备从该环境出去的离开时刻。在进入时刻与离开时刻之间的时间段，利用点云数据来确定这段时间的相对移动轨迹。在进入时刻之前、离开时刻之后，则可以利用位置数据确定采集设备的绝对移动轨迹。
实际应用时，可以由控制采集设备的用户记录进入时刻与离开时刻。例如，当采集设备进入室内时，用户可以标记当前时刻，在采集设备驶出室内时，再次标记当前时刻，从而记录上述进入时刻和离开时刻。在确定移动轨迹时，可以基于这两个时刻读取点云数据和位置数据，例如读取在这两个时刻之间采集的点云数据，以及进入时刻之前和离开时刻之后采集的位置数据，再根据这些数据生成移动轨迹。
其中，还可以基于用于采集位置数据的定位传感器反馈的精度，确定进入时刻和驶出时刻。比如当定位传感器的精度低于一阈值时，可以认为采集的位置数据不准确，可以记录精度低的起始时刻作为进入时刻，在定位传感器反馈的精度恢复正常后，可以记录精度低的结束时刻作为离开时刻。在确定移动轨迹时，可以基于这两个时刻读取点云数据和位置数据，并生成相应的移动轨迹。
图3为本申请一示例性实施例示出的相对移动轨迹、绝对移动轨迹的示意图。
如图3所示，轨迹L1为进入时刻之前的绝对移动轨迹，可以根据进入时刻前采集的位置数据进行确定。轨迹L2为进入时刻与离开时刻之间的相对移动轨迹，可以根据进入时刻与离开时刻之间采集的点云进行确定。轨迹L3为离开时刻之后的绝对移动轨迹，可以根据驶出时刻后采集的位置数据进行确定。
本实施例提供的方法中，位置数据中包括具体的坐标，该坐标是指处于世界坐标系的坐标，例如经纬度数据。因此，根据位置数据确定的绝对移动轨迹中包括具体的位置。而相对移动轨迹是采集设备相对于外界环境的移动情况，其仅具有与环境中物体的相对位置，而不具备世界坐标系中的绝对位置。因此，可以结合绝对移动轨迹确定相对移动轨迹在世界坐标系中的位置。
步骤203，根据相对移动轨迹、绝对移动轨迹确定目标轨迹。
具体的，可以对确定出的相对移动轨迹、绝对移动轨迹进行融合处理，得到目标轨迹。例如，可以对相对移动轨迹、绝对移动轨迹进行拼接，从而得到目标轨迹。
进一步的，可以根据点云数据对应的采集时间确定相对移动轨迹的起点和终点，还可以根据位置数据的采集时间，确定绝对移动轨迹中与相对移动轨迹起点、终点连接的点，进而根据这些连接的点对相对移动轨迹和绝对移动轨迹进行拼接处理。
实际应用时，若相对移动轨迹与绝对移动轨迹能够平滑拼接，则可以将拼接后的轨迹作为目标轨迹。
其中，若相对移动轨迹与绝对移动轨迹不能够平滑拼接，例如相对移动轨迹的终端与绝对移动轨迹中对应的点拼接时，无法直接相连，则可以对相对移动轨迹进行平滑处理，使其能够与绝对移动轨迹平滑连接。
具体的，由于绝对移动轨迹是具有位置信息的，即具体的坐标信息，因此，将相对移动轨迹与绝对移动轨迹融合后，得到的目标轨迹中也具有具体的坐标信息。
图4为本申请一示例性实施例示出的目标轨迹的示意图。
如图4所示，可以对如图3所示出的相对移动轨迹、绝对移动轨迹进行融合，进而得到一条目标轨迹L。
步骤204，根据目标轨迹、点云数据确定点云地图，并根据图像数据、点云地图生成目标地图。
进一步的，可以根据目标轨迹、点云数据生成一三维的点云地图。通过目标轨迹能够确定各个时刻采集设备所处的位置，例如，在时刻t时，采集设备的所处的位置点为P。
实际应用时，采集设备在各个时刻都能够采集所处位置对应点云数据，例如时刻t时采集的点云数据。该点云数据中可以包括采集设备在位置点为P时，对周围环境扫描的结果。比如在某一方向5m处存在一个点。
其中，可以结合目标轨迹、点云数据，确定某一位置点周围环境中的物体信息。因此，可以根据这一关系生成三维地图，该地图中环境信息是通过点云数据获取的。
具体的，通过点云数据得到的地图中包括的距离信息，比如点云数据能够体现出一物体距离某个位置点的距离，但是没有更加精细的数据，比如没有柱子上的标识，再比如也没有地面上的车位线等。本实施例提供的方法中，还可以根据采集设备采集的图像数据在点云地图中增加更加精细化的信息。
进一步的，在时刻t，采集设备还能够采集图像数据。可以将采集的图像数据投影到三维立体场景中，从而显示出清晰完整的环境信息。例如，可以根据点云数据的分辨率调整图像数据的分辨率，使得能够将图像数据投影到三维立体场景中，该三维立体场景可以是结合目标轨迹、点云数据生成的三维点云地图。
实际应用时，本实施例提供的方法可以应用于生成某一封闭环境的地图，此时，可以结合进入该环境的进入时刻以及离开该环境的离开时刻，在图像数据中确定属于该区域的图像数据，进而结合图像数据生成精细化的地图。
本实施例提供的方法用于生成地图，该方法由设置有本实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。
本实施例提供的地图构建方法，包括获取通过采集设备采集的点云数据、位置数据、图像数据；根据点云数据确定采集设备的相对移动轨迹、根据位置数据确定采集设备的绝对移动轨迹；根据相对移动轨迹、绝对移动轨迹确定目标轨迹；根据目标轨迹、点云数据确定点云地图，并根据图像数据、点云地图生成目标地图。本实施例提供的方法中，可以根据采集设备采集的点云数据确定采集设备的相对移动轨迹，从而可以在定位数据不准确的情况下，使用相对移动轨迹替换位置数据，能够得到采集设备准确的目标轨迹。再根据该目标轨迹、点云数据、采集设备采集的图像数据生成精细化的地图，从而能够实现在定位结果不准确的情况下构建地图。
图5为本申请另一示例性实施例示出的地图构建方法的流程图。
如图5所示，本实施例提供的地图构建方法，包括：
步骤501，获取通过采集设备采集的点云数据、位置数据、图像数据。
其中，具体可以通过设置在采集设备上的激光雷达采集点云数据，通过设置在采集设备上的GNSS、IMU组合导航采集位置数据，通过设置在采集设备上的摄像头采集图像数据。
其中，本实施例提供的方法可以由具备计算能力的电子设备来执行，该电子设备例如可以是图1所示出的地图构建设备，该设备比如可以是计算机。
具体的，在采集设备上可以设置用于采集环境数据的传感器。具体可以设置激光雷达、组合导航、摄像头。
进一步的，激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息。可以通过激光雷达发送探测信号，扫描周围环境中各物体的外观表面的点数据集合，进而采集点云数据。点云数据例如可以包括点与采集设备之间的相对位置。
实际应用时，可以通过GNSS(Global Navigation Satellite System，全球导航卫星系统)确定采集设备当前所处的位置。IMU(Inertial measurement unit)是测量物体三轴姿态角及加速度的装置。一般IMU包括三轴陀螺仪及三轴加速度计。可以通过IMU测量采集设备的姿态，例如朝向等。可以结合GNSS、IMU采集的数据确定采集设备的位置数据。
其中，在采集设备上设置的摄像头可以是鱼眼摄像头、双目摄像头等，本实施例不对此进行限制。可以通过设置在采集设备的摄像头采集图像数据，图像数据可以是图片，也可以是录像。
具体的，采集的点云数据、位置数据、图像数据还可以与时间关联。例如，一点云数据、一位置数据、一图像数据是在时刻t采集的。可以通过时间将采集的数据关联起来，进而综合这些数据构建地图。
步骤502，获取进入封闭环境的第一时间信息和离开封闭环境的第二时间信息。
进一步的，当采集设备进入需要构建地图的指定封闭环境时，用户可以操作采集设备，标记第一时间信息。在采集设备离开需要构建地图的封闭环境时，用户可以操作采集设备，标记第二时间信息。即在第一时间信息与第二时间信息之间的时间段内，采集设备是在指定的封闭环境内行驶的，即这段时间采集设备采集的数据是该封闭环境的。
若用户在采集设备进入指定环境时标记了第一时间信息，在采集设备离开指定环境时标记了第二时间信息，则在根据相对移动轨迹、绝对移动轨迹融合得到目标移动轨迹时，可以获取用户录入的进入封闭环境的第一时间信息、获取用户录入的离开封闭环境的第二时间信息。
步骤503，根据第一时间信息、第二时间信息在点云数据中读取目标点云数据。
实际应用时，可以根据获取的第一时间信息、第二时间信息，在点云数据中读取目标点云数据，目标点云数据是指采集时间处于第一时间信息和第二时间信息之间的点云数据。
比如，第一时间信息中包括时刻t1，第二时间信息中包括时刻t2。则可以将采集时间为t1-t2这段时间内的点云数据确定为目标点云数据。具体可以包括t1时刻对应的点云数据以及t2时刻对应的点云数据，也可以不包括。
其中，电子设备采集数据时，可以标注该数据的采集时间，比如在时刻t采集了一位置数据(t)、一点云数据(t)、一图像数据(t)。
步骤504，利用激光SLAM算法根据目标点云数据确定采集设备的相对移动轨迹。
进一步的，可以利用激光SLAM算法对目标点云数据进行处理，得到在封闭环境内采集设备的相对移动轨迹。该移动轨迹能够体现出采集设备的移动轨迹，例如向东移动了一段距离后，由向被移动了一段距离，而相对移动轨迹中不包括各个位置对应的坐标。
实际应用时，激光SLAM算法是同步定位与地图构建(SimultaneousLocalizationAnd Mapping)的缩写，最早由Hugh Durrant-Whyte和John J.Leonard提出。SLAM主要用于解决采集设备在未知环境中运行时定位导航与地图构建的问题。SLAM通常包括如下几个部分，特征提取，数据关联，状态估计，状态更新以及特征更新等。SLAM能够使一个设备在未知的环境中运动时，通过对环境的观测确定自身的运动轨迹，也即相对移动轨迹。
由于点云数据也可以与时间关联，即每个点云数据具体是在哪个时刻采集的。因此，基于点云数据生成的相对移动轨迹中也可以包括时间信息，具体是指轨迹中各个点对应的时刻。
步骤505，根据位置数据确定采集设备的绝对移动轨迹。
其中，具体可以根据位置数据中的定位信息、姿态信息，确定采集设备的绝对移动轨迹。
进一步的，采集的位置数据中可以包括定位信息，例如通过GNSS(GlobalNavigation Satellite System，全球导航卫星系统)能够获取采集设备的定位信息。位置数据中还可以包括姿态信息，例如通过IMU(Inertial measurement unit，惯性测量单元)获取采集设备的姿态信息。可以根据定位信息、姿态信息确定采集设备的绝对移动轨迹。
一种实施方式中，还可以读取第一时间信息之前采集的位置数据，以及第二时间信息之后采集的位置数据，并通过这两部分位置数据确定绝对移动轨迹。即确定采集设备进入指定的封闭环境之前，以及离开指定的封闭环境之后的移动轨迹。
另一种实施方式中，可以利用包括在封闭环境内采集的位置数据生成绝对移动轨迹。但是，由于这部分绝对移动轨迹中包括采集设备在封闭环境内的移动轨迹，这部分移动轨迹可能是不准确的，因此，可以结合相对移动轨迹修改采集设备在封闭环境内的移动轨迹。
其中，若在指定的封闭环境内采集的位置数据不够准确，那么基于在指定的封闭环境内采集的位置数据确定采集设备的移动轨迹，则容易出错。因此，本实施例提供的方法中，根据位置数据确定采集设备的绝对移动轨迹时，可以只将在封闭环境外的移动轨迹作为采集设备实际行驶的轨迹，而采集设备位于指定的封闭环境实际行驶的移动轨迹，通过点云数据来确定。
位置数据也可以与时间关联，即每个位置数据具体是在哪个时刻采集的。因此，基于位置数据生成的绝对移动轨迹中也可以包括时间信息，具体是指轨迹中各个点对应的时刻。
步骤503-504与步骤505的执行时序不做限制。
步骤506，根据第一时间信息、第二时间信息在绝对移动轨迹中确定进入位置、离开位置。
其中，可以根据读取的第一时间信息、第二时间信息在绝对移动轨迹中确定一进入位置、一离开位置，该进入位置是指在绝对移动轨迹中，采集设备进入封闭环境的位置，该离开位置是指在绝对移动轨迹中，采集设备离开封闭环境的位置。
由于第一时间信息是进入封闭环境的时间信息，第二时间信息是离开封闭环境的时间信息，且采集的位置数据可以与时间相关联，因此，能够基于时间信息在绝对移动轨迹中确定出采集设备进入封闭环境的位置，以及离开封闭环境的位置。
由于相对移动轨迹是采集设备在封边环境中的行驶的轨迹，因此，相对移动轨迹的一端是进入封闭环境的位置，另一端是离开封闭环境的位置。基于此，可以认为绝对移动轨迹中的进入位置与相对移动轨迹的起始位置重合，该绝对移动轨迹中的离开位置与相对移动轨迹的结束位置重合。
步骤506，根据所述绝对移动轨迹中的所述进入位置、所述离开位置，对所述相对移动轨迹、所述绝对移动轨迹进行融合得到所述目标轨迹。
步骤507，根据绝对移动轨迹中的进入位置、离开位置，对相对移动轨迹、绝对移动轨迹进行融合得到目标轨迹。
进一步的，可以在相对移动轨迹中确定起始位置和结束位置，例如可以将相对移动轨迹中第一时间信息对应的位置确定为起始位置、将相对移动轨迹中第二时间信息对应的位置确定为结束位置。
实际应用时，可以将相对移动轨迹的起始位置与绝对移动轨迹中的进入位置拼接，将相对移动轨迹的结束位置与绝对移动轨迹中的离开位置进行拼接，从而得到完整的目标轨迹。
具体的，相对移动轨迹是采集设备在第一时间信息与第二时间信息之间的移动轨迹。因此，可以使用相对移动轨替换绝对移动轨迹中的第一时间信息和第二时间信息之间这段时间的轨迹，就能够形成目标移动轨迹。
图6为本申请另一示例性实施例示出的相对移动轨迹、绝对移动轨迹的示意图。
如图6所示，轨迹L4为绝对移动轨迹中进入位置之前的部分，轨迹L6为绝对移动轨迹中离开位置之后的部分，这两段轨迹之间的部分，即为通过位置数据确定的采集设备在封闭环境中的行驶轨迹。在L4中，假设点P1为进入位置，在L6中，假设点P2为离开位置。
轨迹L5为相对移动轨迹，其中的点P3为起始位置，P4为结束位置点。可以通过将P3与P1进行拼接，将P4与P2进行拼接，从而将相对移动轨迹拼接到绝对移动轨迹中，进而替换绝对移动轨迹中采集设备在封闭环境中的行驶轨迹。
进一步的，可以将相对移动轨迹的起始位置与绝对移动轨迹的进入位置进行拼接；根据绝对移动轨迹中的离开位置对相对移动轨迹进行调整，以使相对移动轨迹的结束位置与绝对移动轨迹的离开位置重合，形成包括相对移动轨迹、绝对移动轨迹的目标轨迹。
由于传感器存在误差，可能在相对移动轨迹的起始位置与绝对移动轨迹的进入位置进行拼接后，相对移动轨迹的结束位置与绝对移动轨迹中的离开位置不重合。
图7为本申请一示例性实施例示出的轨迹拼接示意图。
如图7所示，将相对移动轨迹的起始位置P3与绝对移动轨迹的进入位置P1进行拼接后，相对移动轨迹的起始位置能够拼接到绝对移动轨迹上。但是，有可能相对移动轨迹的结束位置P4与绝对移动轨迹中的离开位置P2有可能不重合，这就导致无法将相对移动轨迹直接拼接到绝对移动轨迹中的情况。
实际应用时，可以根据绝对移动轨迹中的结束位置对相对移动轨迹进行调整，使得相对移动轨迹的结束位置与绝对移动轨迹中的离开位置重合。
其中，具体可以基于平差理论对相对移动轨迹进行调整，以使相对移动轨迹的结束位置与绝对移动轨迹中的离开位置重合。可以将相对移动轨迹的结束位置调整为绝对移动轨迹中的离开位置，再根据调整后的位置，基于平差理论对相对移动轨迹进行处理，使其平滑。
绝对移动轨迹中具有世界坐标系中的坐标位置，基于这些坐标，能够得到目标轨迹中各个点的坐标位置。
图8为本申请另一示例性实施例示出的轨迹拼接示意图。
如图8所示，利用平差理论对如图7所示出的轨迹进行处理后，可以得到如图8所示出的目标轨迹，该轨迹平滑，符合采集设备的移动特性。
步骤508，根据目标轨迹将点云数据转换为绝对点云数据；根据绝对点云数据确定点云地图。
具体的，还可以根据确定的目标轨迹对点云数据进行转换，得到绝对点云数据。
进一步的，点云数据中包含的是外界物体表面与采集设备的相对位置。例如，点云数据中可以包括在时刻t时，一点与采集设备的相对位置。而目标轨迹中包括采集设备在各个时刻时的地理位置，因此，可以结合该相对位置以及采集设备的位置，确定环境中物体表面的绝对位置，比如一个物体表面的地理位置、高度等信息，进而得到绝对点云数据。
实际应用时，可以根据绝对点云数据构建点云地图，其中，点云地图中包括环境元素。根据绝对点云数据能够确定点云地图中的环境元素，例如柱子、房屋等。该点云地图可以是一三维立体形式的地图。
本申请提供的方案中，通过激光SLAM算法得到相对移动轨迹，并基于IMU信息得到绝对移动轨迹，并结合这两种方式得到的轨迹能够提高激光SLAM相对精度；激光SLAM算法得到的相对移动轨迹与全局轨迹进行融合时，加入平差理论技术，提高结果全局精度。尤其e。
基于开源激光SLAM算法，能够在封闭环境卫星失锁情况下进行局部定位与建图；原始激光雷达点云数据中有点云强度信息，现有的开源的LOAM算法没有用到该信息，因此该算法中没有保留点云强度信息，但是该信息在室内精细化制图中至关重要，所以在原来算法基础之上，加了点云强度信息；基于单个点的数据格式，算法本身应用的是pcl库中e来表示，分别表示该点的x、y、z坐标以及时间信息，为了保留点云的强度信息，将pcl::PointXYZI数据格式转换为pcl::PointNormal，分别表示该点的坐标以及强度和时间信息，便于构图效果的显示。
由于点云数据中包括的是外界物体距离采集设备的距离数据，因此，该点云地图中的环境元素是不清晰的，其中只包括环境元素的位置信息，但是不包括环境元素的具体信息，比如文字内容、颜色等。因此，还可以执行下述步骤，以优化点云地图。
步骤509，根据图像数据的获取时间、点云数据的获取时间，确定与点云数据对应的环境元素信息。
步骤510，确定环境元素信息与根据点云数据转换得到的绝对点云数据具有的对应关系。
步骤511，根据对应关系对点云地图进行优化，形成目标地图。
此时，还可以根据图像数据确定与点云数据对应的环境元素信息，具体可以确定获取时间相同的图像数据与点云数据具有对应关系。比如，在时间t时刻，采集设备采集了点云数据A、图像数据B，则可以认为A与B具有对应关系。
其中，可以根据图像数据确定环境元素信息，比如可以将图像数据的尺寸调整为与点云数据的尺寸一致，从而使点云数据中的每个点能够与图像数据中的一个像素点对应，从而得到与点云数据A对应的环境元素信息C。
具体的，若一点云数据与一环境元素信息具有对应关系，则可以认为该环境元素信息与该点云数据转换得到的绝对点云数据具有对应关系。具体可以认为，点云中的一个点对应的图像像素值，可以与该点转换得到的绝对点云中的点也对应。比如，根据点云数据A转换得到绝对点云数据D。则可以认为环境元素信息C与绝对点云数据D具有对应关系。
进一步的，可以根据环境元素信息与绝对点云数据之间的对应关系，对点云地图进行优化。具体可以将环境元素信息映射到三维的点云地图中，具体基于上述对应关系进行映射，进而得到清晰的目标地图。
图9为本发明一示例性实施例示出的地图构建装置的结构图。
如图9所示，本实施例提供的装置，包括：
获取模块91，用于获取通过采集设备采集的点云数据、位置数据、图像数据；
数据处理模块92，用于根据所述点云数据确定所述采集设备的相对移动轨迹、根据所述位置数据确定所述采集设备的绝对移动轨迹；
轨迹确定模块93，用于根据所述相对移动轨迹、所述绝对移动轨迹确定目标轨迹；
地图构建模块94，用于根据所述目标轨迹、所述点云数据确定点云地图，并根据所述图像数据、所述点云地图生成目标地图。
本实施例提供的地图构建装置的具体原理和实现方式、效果均与图2所示的实施例类似，此处不再赘述。
图10为本发明另一示例性实施例示出的地图构建装置的结构图。
如图10所示，在上述实施例的基础上，本实施例提供的装置，可选的，所述数据处理模块92包括：
相对轨迹确定单元921，用于：
获取进入封闭环境的第一时间信息和离开所述封闭环境的第二时间信息；
根据所述第一时间信息、所述第二时间信息在所述点云数据中读取目标点云数据；
利用激光SLAM算法根据所述目标点云数据确定所述采集设备的相对移动轨迹。
可选的，所述轨迹确定模块93具体用于：
所述根据所述相对移动轨迹、所述绝对移动轨迹确定目标轨迹，包括：
根据所述第一时间信息、所述第二时间信息在所述绝对移动轨迹中确定进入位置、离开位置；
根据所述绝对移动轨迹中的所述进入位置、所述离开位置，对所述相对移动轨迹、所述绝对移动轨迹进行融合得到所述目标轨迹。
可选的，所述轨迹确定模块93具体用于：
将所述相对移动轨迹的起始位置与所述绝对移动轨迹的所述进入位置进行拼接；
根据所述绝对移动轨迹中的所述离开位置对所述相对移动轨迹进行调整，以使所述相对移动轨迹的结束位置与所述绝对移动轨迹的离开位置重合，形成包括所述相对移动轨迹、所述绝对移动轨迹的目标轨迹。
可选的，所述轨迹确定模块93具体用于：
基于平差理论对所述相对移动轨迹进行调整，以使所述相对移动轨迹的结束位置与所述绝对移动轨迹中的离开位置重合。
可选的，所述地图构建模块94，包括：
点云地图构建单元941，用于根据所述目标轨迹将所述点云数据转换为绝对点云数据；
根据所述绝对点云数据确定所述点云地图。
可选的，所述点云地图中包括环境元素；
所述地图构建模块94，还包括：
目标地图构建单元942，用于根据所述图像数据的获取时间、所述点云数据的获取时间，确定与所述点云数据对应的环境元素信息；
确定所述环境元素信息与根据所述点云数据转换得到的绝对点云数据具有的对应关系；
根据所述对应关系对所述点云地图进行优化，形成目标地图。
本实施例提供的装置的具体原理和实现方式、效果均与图5所示的实施例类似，此处不再赘述。
本实施例还提供一种地图构建系统，包括：
采集设备、地图构建设备。
所述采集设备与所述地图构建设备连接；
采集设备，用于采集点云数据、位置数据、图像数据；
地图构建设备，用于执行如图2、5任一项所述的地图构建方法。
该系统结构图可以参考图1。
采集设备与地图构建设备可以通过有线或无线的方式连接，地图构建设备中可以设置有如图9、10所示出的地图构建装置，进而使得地图构建设备能够执行地图构建方法。
可选的，所述采集设备设置有激光雷达、GNSS、IMU组合导航、图像采集装置。进而可以通过采集设备的激光雷达采集所述点云数据、通过设置在采集设备上的GNSS、IMU组合导航采集位置数据、通过设置在采集设备上的图像采集装置采集图像数据。
图像采集装置例如可以是相机、摄像头等装置。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种地图构建方法，其特征在于，包括：
获取通过采集设备采集的点云数据、位置数据、图像数据；
根据所述点云数据确定所述采集设备的相对移动轨迹、根据所述位置数据确定所述采集设备的绝对移动轨迹；
根据所述相对移动轨迹、所述绝对移动轨迹确定目标轨迹；
根据所述目标轨迹、所述点云数据确定点云地图，并根据所述图像数据、所述点云地图生成目标地图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述点云数据确定所述采集设备的相对移动轨迹，包括：
获取进入封闭环境的第一时间信息和离开所述封闭环境的第二时间信息；
根据所述第一时间信息、所述第二时间信息在所述点云数据中读取目标点云数据；
利用激光SLAM算法根据所述目标点云数据确定所述采集设备的相对移动轨迹。
3.根据权利要求2所述的方法，其特征在于，所述根据所述相对移动轨迹、所述绝对移动轨迹确定目标轨迹，包括：
根据所述第一时间信息、所述第二时间信息在所述绝对移动轨迹中确定进入位置、离开位置；
根据所述绝对移动轨迹中的所述进入位置、所述离开位置，对所述相对移动轨迹、所述绝对移动轨迹进行融合得到所述目标轨迹。
4.根据权利要求3所述的方法，其特征在于，所述根据所述绝对移动轨迹中的所述进入位置、所述离开位置，对所述相对移动轨迹、所述绝对移动轨迹进行融合得到所述目标轨迹，包括：
将所述相对移动轨迹的起始位置与所述绝对移动轨迹的所述进入位置进行拼接；
根据所述绝对移动轨迹中的所述离开位置对所述相对移动轨迹进行调整，以使所述相对移动轨迹的结束位置与所述绝对移动轨迹的离开位置重合，形成包括所述相对移动轨迹、所述绝对移动轨迹的目标轨迹。
5.根据权利要求4所述的方法，其特征在于，所述根据所述绝对移动轨迹中的所述离开位置对所述相对移动轨迹进行调整，包括：
基于平差理论对所述相对移动轨迹进行调整，以使所述相对移动轨迹的结束位置与所述绝对移动轨迹中的离开位置重合。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标轨迹、所述点云数据确定点云地图，包括：
根据所述目标轨迹将所述点云数据转换为绝对点云数据；
根据所述绝对点云数据确定所述点云地图。
7.根据权利要求6所述的方法，其特征在于，所述点云地图中包括环境元素；
所述根据所述图像数据、所述点云地图生成目标地图，包括：
根据所述图像数据的获取时间、所述点云数据的获取时间，确定与所述点云数据对应的环境元素信息；
确定所述环境元素信息与根据所述点云数据转换得到的绝对点云数据具有的对应关系；
根据所述对应关系对所述点云地图进行优化，形成目标地图。
8.一种地图构建装置，其特征在于，包括：
获取模块，用于获取通过采集设备采集的点云数据、位置数据、图像数据；
数据处理模块，用于根据所述点云数据确定所述采集设备的相对移动轨迹、根据所述位置数据确定所述采集设备的绝对移动轨迹；
轨迹确定模块，用于根据所述相对移动轨迹、所述绝对移动轨迹确定目标轨迹；
地图构建模块，用于根据所述目标轨迹、所述点云数据确定点云地图，并根据所述图像数据、所述点云地图生成目标地图。
9.一种地图构建系统，其特征在于，包括采集设备、地图构建设备；所述采集设备与所述地图构建设备连接；
采集设备，用于采集点云数据、位置数据、图像数据；
地图构建设备，用于执行如权利要求1-7任一项所述的方法。
10.根据权利要求9所述的地图构建系统，其特征在于，所述采集设备设置有激光雷达、GNSS、IMU组合导航、图像采集装置。
CN202010242693.0A 2020-03-31 2020-03-31 地图构建方法、装置及系统 Pending CN111402702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010242693.0A CN111402702A (zh) 2020-03-31 2020-03-31 地图构建方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010242693.0A CN111402702A (zh) 2020-03-31 2020-03-31 地图构建方法、装置及系统

Publications (1)

Publication Number Publication Date
CN111402702A true CN111402702A (zh) 2020-07-10

Family

ID=71414126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010242693.0A Pending CN111402702A (zh) 2020-03-31 2020-03-31 地图构建方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111402702A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966109A (zh) * 2020-09-07 2020-11-20 中国南方电网有限责任公司超高压输电公司天生桥局 基于柔性直流换流站阀厅的巡检机器人定位方法及装置
CN111982115A (zh) * 2020-08-12 2020-11-24 北京汽车研究总院有限公司 基于惯性导航系统的特征点地图构建方法、装置以及介质
WO2022126603A1 (en) * 2020-12-18 2022-06-23 Robert Bosch Gmbh Localization system and method for mobile equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120316784A1 (en) * 2011-06-09 2012-12-13 Microsoft Corporation Hybrid-approach for localizaton of an agent
CN106340059A (zh) * 2016-08-25 2017-01-18 上海工程技术大学 一种基于多体感采集设备三维建模的自动拼接方法
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及系统
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN110795523A (zh) * 2020-01-06 2020-02-14 中智行科技有限公司 车辆定位方法、装置以及智能车辆

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120316784A1 (en) * 2011-06-09 2012-12-13 Microsoft Corporation Hybrid-approach for localizaton of an agent
CN106340059A (zh) * 2016-08-25 2017-01-18 上海工程技术大学 一种基于多体感采集设备三维建模的自动拼接方法
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及系统
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN110795523A (zh) * 2020-01-06 2020-02-14 中智行科技有限公司 车辆定位方法、装置以及智能车辆

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111982115A (zh) * 2020-08-12 2020-11-24 北京汽车研究总院有限公司 基于惯性导航系统的特征点地图构建方法、装置以及介质
CN111966109A (zh) * 2020-09-07 2020-11-20 中国南方电网有限责任公司超高压输电公司天生桥局 基于柔性直流换流站阀厅的巡检机器人定位方法及装置
CN111966109B (zh) * 2020-09-07 2021-08-17 中国南方电网有限责任公司超高压输电公司天生桥局 基于柔性直流换流站阀厅的巡检机器人定位方法及装置
WO2022126603A1 (en) * 2020-12-18 2022-06-23 Robert Bosch Gmbh Localization system and method for mobile equipment
CN116685872A (zh) * 2020-12-18 2023-09-01 罗伯特·博世有限公司 用于移动设备的定位系统和方法

Similar Documents

Publication Publication Date Title
Pfrommer et al. Penncosyvio: A challenging visual inertial odometry benchmark
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
CN102575933B (zh) 地图图像综合数据库生成系统以及地图图像综合数据库生成程序
JP5116555B2 (ja) 位置標定装置、位置標定システム、標定サーバ装置および位置標定方法
JP4767578B2 (ja) 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置
CN109374008A (zh) 一种基于三目摄像头的图像采集系统及方法
KR20210118119A (ko) 차량 센서들 및 카메라 어레이들로부터의 구조화된 지도 데이터의 생성
CN111402702A (zh) 地图构建方法、装置及系统
CN110160542A (zh) 车道线的定位方法和装置、存储介质、电子装置
KR101220527B1 (ko) 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2009199572A (ja) 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
CN110617821A (zh) 定位方法、装置及存储介质
JP2018081008A (ja) 基準映像地図を用いた自己位置姿勢標定装置
EP4246088A1 (en) Surveying system, surveying method, and surveying program
Borgmann et al. Data processing and recording using a versatile multi-sensor vehicle
JP2019039851A (ja) 写真測量システム及び写真測量方法
JP2018146524A (ja) 測量システム
CN108613675A (zh) 低成本无人飞行器移动测量方法及系统
TW201317544A (zh) 地面目標定位系統與方法
Zhao et al. Updating a digital geographic database using vehicle-borne laser scanners and line cameras
CN112447058A (zh) 泊车方法、装置、计算机设备及存储介质
CN117308915A (zh) 一种测绘工程中特殊地形的测绘系统
Sokolov et al. Development of software and hardware of entry-level vision systems for navigation tasks and measuring
CN116027351A (zh) 一种手持/背包式slam装置及定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710