CN111812658A - 位置确定方法、装置、系统和计算机可读存储介质 - Google Patents

位置确定方法、装置、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN111812658A
CN111812658A CN202010658041.5A CN202010658041A CN111812658A CN 111812658 A CN111812658 A CN 111812658A CN 202010658041 A CN202010658041 A CN 202010658041A CN 111812658 A CN111812658 A CN 111812658A
Authority
CN
China
Prior art keywords
point cloud
cloud data
transformation matrix
ground
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010658041.5A
Other languages
English (en)
Other versions
CN111812658B (zh
Inventor
孔旗
张金凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202010658041.5A priority Critical patent/CN111812658B/zh
Publication of CN111812658A publication Critical patent/CN111812658A/zh
Priority to US18/004,508 priority patent/US20230252674A1/en
Priority to PCT/CN2021/094394 priority patent/WO2022007504A1/zh
Priority to EP21837484.1A priority patent/EP4152052A1/en
Application granted granted Critical
Publication of CN111812658B publication Critical patent/CN111812658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开涉及一种位置确定方法、装置、系统和计算机可读存储介质,涉及计算机技术领域。本公开的方法包括:获取车辆在当前位置点测得的激光点云数据,作为参考点云数据,获取车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据;将目标点云数据与参考点云数据进行匹配,确定目标点云数据与参考点云数据之间的变换矩阵;根据预设出发点的坐标信息和变换矩阵,确定当前位置点的坐标信息。

Description

位置确定方法、装置、系统和计算机可读存储介质
技术领域
本公开涉及计算机技术领域,特别涉及一种位置确定方法、装置、系统和计算机可读存储介质。
背景技术
处于自动驾驶状态的车辆需要实时知道自己在地图中的位置,特别是初始位置尤其重要。针对车辆在预设出发点或附近出发的场景,车辆出发前也需要进行定位,确定自己的精确位置。
目前,车辆一般都采用GPS(Global Positioning System,全球定位系统)或者GPS/INS(Inertial Navigation System,惯性导航系统)组合设备进行初始位置的确定。
发明内容
发明人发现:目前车辆的初始位置的确定严重依赖GPS,在初始位置GPS信号较差甚至无信号时,GPS给出的位置将存在较大误差或无法给出位置信息,会导致初始化失败,并且影响车辆后续的自动驾驶过程。
本公开所要解决的一个技术问题是:针对车辆在预设出发点或附近出发的场景,提高车辆的位置确定的准确性。
根据本公开的一些实施例,提供的一种位置确定方法,包括:获取车辆在当前位置点测得的激光点云数据,作为参考点云数据,获取车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据;将目标点云数据与参考点云数据进行匹配,确定目标点云数据与参考点云数据之间的变换矩阵;根据预设出发点的坐标信息和变换矩阵,确定当前位置点的坐标信息。
在一些实施例中,将目标点云数据与参考点云数据进行匹配,确定目标点云数据与参考点云数据之间的变换矩阵包括:将目标点云数据划分为地面目标点云数据和非地面目标点云数据,将参考点云数据划分为地面参考点云数据和非地面参考点云数据;根据地面目标点云数据和地面参考点云数据,确定第一变换矩阵;根据第一变换矩阵,非地面目标点云数据和非地面参考点云数据,确定第二变换矩阵。
在一些实施例中,根据地面目标点云数据和地面参考点云数据,确定第一变换矩阵包括:对地面参考点云数据进行降采样处理;将地面目标点云数据和降采样后的地面参考点云数据进行匹配,得到由地面目标点云数据到降采样后的地面参考点云数据的旋转平移矩阵,作为第一变换矩阵。
在一些实施例中,根据第一变换矩阵,非地面目标点云数据和非地面参考点云数据,确定第二变换矩阵包括:将非地面目标点云数据根据第一变换矩阵进行变换,得到变换后的非地面目标点云数据;将非地面参考点云数据进行降采样处理;将变换后的非地面目标点云数据和降采样后的非地面参考点云数据进行匹配,得到由变换后的非地面目标点云数据到降采样后的非地面参考点云数据的旋转平移矩阵,作为第二变换矩阵。
在一些实施例中,根据预设出发点的坐标信息和变换矩阵,确定当前位置点的坐标信息包括:将预设出发点的坐标信息根据第一变换矩阵进行变换,得到第一坐标信息,将第一坐标信息中z轴坐标值,作为当前位置点的z轴坐标值;将第一坐标信息根据第二变换矩阵进行变换,得到第二坐标信息,将第二坐标信息中的x轴坐标值和y轴坐标值,作为当前位置点的x轴坐标值和y轴坐标值。
在一些实施例中,该方法还包括:将预设出发点对应的预设姿态信息根据第一变换矩阵进行变换,得到第一姿态信息,将第一姿态信息中的横滚角值和俯仰角值,作为车辆当前的横滚角值和俯仰角值;将第一姿态信息第二变换矩阵进行变换,得到第二姿态信息,将第二姿态信息中的航向角值,作为车辆当前的航向角值。
在一些实施例中,获取车辆的预设出发点在点云地图中对应的点云数据包括:根据参考点云数据对应的激光雷达测量范围,在点云地图中获取以预设出发点为中心,与激光雷达测量范围相应范围内的点云数据,作为目标点云数据。
根据本公开的另一些实施例,提供的一种位置确定装置,包括:获取模块,用于获取车辆在当前位置点测得的激光点云数据,作为参考点云数据,获取车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据;匹配模块,用于将目标点云数据与参考点云数据进行匹配,确定目标点云数据与参考点云数据之间的变换矩阵;确定模块,用于根据预设出发点的坐标信息和变换矩阵,确定当前位置点的坐标信息。
在一些实施例中,匹配模块用于将目标点云数据划分为地面目标点云数据和非地面目标点云数据,将参考点云数据划分为地面参考点云数据和非地面参考点云数据;根据地面目标点云数据和地面参考点云数据,确定第一变换矩阵;根据第一变换矩阵,非地面目标点云数据和非地面参考点云数据,确定第二变换矩阵。
在一些实施例中,匹配模块用于对地面参考点云数据进行降采样处理;将地面目标点云数据和降采样后的地面参考点云数据进行匹配,得到由地面目标点云数据到降采样后的地面参考点云数据的旋转平移矩阵,作为第一变换矩阵。
在一些实施例中,匹配模块用于将非地面目标点云数据根据第一变换矩阵进行变换,得到变换后的非地面目标点云数据;将非地面参考点云数据进行降采样处理;将变换后的非地面目标点云数据和降采样后的非地面参考点云数据进行匹配,得到由变换后的非地面目标点云数据到降采样后的非地面参考点云数据的旋转平移矩阵,作为第二变换矩阵。
在一些实施例中,确定模块用于将预设出发点的坐标信息根据第一变换矩阵进行变换,得到第一坐标信息,将第一坐标信息中z轴坐标值,作为当前位置点的z轴坐标值;将第一坐标信息根据第二变换矩阵进行变换,得到第二坐标信息,将第二坐标信息中的x轴坐标值和y轴坐标值,作为当前位置点的x轴坐标值和y轴坐标值。
在一些实施例中,确定模块还用于将预设出发点对应的预设姿态信息根据第一变换矩阵进行变换,得到第一姿态信息,将第一姿态信息中的横滚角值和俯仰角值,作为车辆当前的横滚角值和俯仰角值;将第一姿态信息第二变换矩阵进行变换,得到第二姿态信息,将第二姿态信息中的航向角值,作为车辆当前的航向角值。
在一些实施例中,获取模块用于根据参考点云数据对应的激光雷达测量范围,在点云地图中获取以预设出发点为中心,与激光雷达测量范围相应范围内的点云数据,作为目标点云数据。
根据本公开的又一些实施例,提供的一种位置确定装置,包括:处理器;以及耦接至处理器的存储器,用于存储指令,指令被处理器执行时,使处理器执行如前述任意实施例的位置确定方法。
根据本公开的再一些实施例,提供的一种非瞬时性计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现前述任意实施例的位置确定方法。
根据本公开的又一些实施例,提供的一种位置确定系统,包括:前述任意实施例的位置确定装置;车体,位置确定装置设置于车体上;以及设置于车体上的激光雷达装置,被配置为在当前位置点进行扫描得到激光点云数据。
本公开将车辆在当前位置点测得的激光点云数据,作为参考点云数据,将车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据;根据目标点云数据与参考点云数据进行匹配,确定目标点云数据与参考点云数据之间的变换矩阵;根据预设出发点的坐标信息和变换矩阵,确定当前位置点的坐标信息。本公开的方法适用于车辆在预设出发点或附近出发的场景,不依赖GPS设备,避免GPS信号较差甚至无信号导致无法确定车辆的位置的问题,可以使车辆在各种复杂环境下都可以快速的获得精确的初始位置,提高位置确定的准确性。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开的一些实施例的位置确定方法的流程示意图。
图2示出本公开的另一些实施例的位置确定方法的流程示意图。
图3示出本公开的一些实施例的位置确定装置的结构示意图。
图4示出本公开的另一些实施例的位置确定装置的结构示意图。
图5示出本公开的又一些实施例的位置确定装置的结构示意图。
图6示出本公开的一些实施例的位置确定系统的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
针对车辆在预设出发点或附近出发的场景,本公开提供一种车辆的位置的确定方法,下面结合图1进行描述。
图1为本公开位置确定方法一些实施例的流程图。如图1所示,该实施例的方法包括:步骤S102~S106。
在步骤S102中,获取车辆在当前位置点测得的激光点云数据,作为参考点云数据,获取车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据。
预设出发点的位置信息可以预先测量,只需要测量一次,可永久使用。预设出发点的位置信息根据车辆所使用坐标系不同可以采用不同的表示方式。例如,车辆如果使用WGS84坐标系,预设出发点的位置信息可以用经纬度的形式表示,车辆如果使用slam地图,预设出发点的位置信息可以用车辆相对于地图原点的相对位置表示。
可以将预设出发点的位置信息与客户端指令进行绑定。例如,将预设出发点命名为home点,客户端指令命名为home pose。车辆进入自动驾驶状态前将车辆置于预设出发点或附近,在车辆已上电前提下由客户端给车辆下发home pose指令,位置确定装置在接收到预设出发点的位置信息后,可以利用激光雷达扫描周围环境测得的激光点云数据,作为参考点云数据,并且根据预设出发点的位置信息获取高精度点云地图,获取预设出发点在点云地图中对应的点云数据,作为目标点云数据。
在一些实施例中,根据参考点云数据对应的激光雷达测量范围,在点云地图中获取以预设出发点为中心,与激光雷达测量范围相应范围内的点云数据,作为目标点云数据。预设出发点的位置信息如果与点云地图的坐标系不同,可以首先将预设出发点的位置信息转换到点云地图坐标系。目标点云数据的范围可以等于或大于激光雷达的测量范围。
车辆在当前位置点测得的激光点云数据的坐标系如果与点云地图坐标系不同,例如为激光雷达坐标系,则可以将激光点云数据由激光雷达坐标系转换到点云地图坐标系作为参考点云数据。
在步骤S104中,将目标点云数据与参考点云数据进行匹配,确定目标点云数据与参考点云数据之间的变换矩阵。
可以采用点云配准算法将目标点云数据与参考点云数据进行匹配,例如,ICP(Iterative Closest Point,最近迭代)算法、GICP(Generalized Iterative ClosestPoint,广义最近迭代)算法、NDT(Normal Distribution Transform,正态分布转换)算法或基于多分辨率高斯混合映射的定位算法等,不限于所举示例。将目标点云数据与参考点云数据进行匹配后,可以得到由目标点云数据到参考点云数据的变换矩阵。变换矩阵可以为4×4的旋转平移矩阵,目标点云数据根据变换矩阵进行旋转平移变换后与参考点云数据的误差满足预设条件。
在步骤S106中,根据预设出发点的坐标信息和变换矩阵,确定当前位置点的坐标信息。
例如,预设出发点的坐标信息表示为(x,y,z),变换矩阵表示为
Figure BDA0002577473080000071
则当前位置点的坐标信息(x',y',z')可以根据
Figure BDA0002577473080000072
确定。
地图坐标系中x,y,z轴的坐标值(x,y,z)和(x',y',z')可以分别表示经度,纬度和高度。
上述实施例的方法将车辆在当前位置点测得的激光点云数据,作为参考点云数据,将车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据;根据目标点云数据与参考点云数据进行匹配,确定目标点云数据与参考点云数据之间的变换矩阵;根据预设出发点的坐标信息和变换矩阵,确定当前位置点的坐标信息。上述实施例的方法适用于车辆在预设出发点或附近出发的场景,不依赖GPS设备,避免GPS信号较差甚至无信号导致无法确定车辆的位置的问题,可以使车辆在各种复杂环境下都可以快速的获得精确的初始位置,提高位置确定的准确性。
为了进一步提高位置确定的准确性,本公开对目标点云数据与参考点云数据进行匹配的过程进行了改进,下面结合图2进行描述。
图2为本公开位置确定方法另一些实施例的流程图。如图2所示,该实施例的方法包括:步骤S202~S216。
在步骤S202中,获取车辆在当前位置点测得的激光点云数据,作为参考点云数据,获取车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据。
在步骤S204中,将目标点云数据划分为地面目标点云数据和非地面目标点云数据,将参考点云数据划分为地面参考点云数据和非地面参考点云数据。
将点云数据划分为地面点云数据和非地面点云数据的方法可以采用现有技术,在此不再赘述。
在步骤S206中,根据地面目标点云数据和地面参考点云数据,确定第一变换矩阵。
在一些实施例中,可以首先对地面参考点云数据进行降采样处理;将地面目标点云数据和降采样后的地面参考点云数据进行匹配,得到由地面目标点云数据到降采样后的地面参考点云数据的旋转平移矩阵,作为第一变换矩阵。通过降采样处理可以减少数据处理量,提高匹配效率。降采样后的地面参考点云数据可以与地面目标点云数据的密度,点之间的距离等相匹配。可以采用ICP算法将地面目标点云数据和降采样后的地面参考点云数据进行匹配,得到第一变换矩阵M1
在步骤S208中,根据第一变换矩阵,非地面目标点云数据和非地面参考点云数据,确定第二变换矩阵。
在一些实施例中,将非地面目标点云数据根据第一变换矩阵进行变换,得到变换后的非地面目标点云数据;将非地面参考点云数据进行降采样处理;将变换后的非地面目标点云数据和降采样后的非地面参考点云数据进行匹配,得到由变换后的非地面目标点云数据到降采样后的非地面参考点云数据的旋转平移矩阵,作为第二变换矩阵。利用第一变换矩阵对非地面目标点云数据进行变换后,与非地面参考点云数据更加接近。进一步将变换后的非地面目标点云数据和降采样后的非地面参考点云数据进行匹配,准确度更高。通过降采样处理可以减少数据处理量,提高匹配效率。可以采用基于多分辨率高斯混合映射(Multiresolution Gaussian Mixture Maps)的定位算法等算法将变换后的非地面目标点云数据和降采样后的非地面参考点云数据进行匹配,得到第二变换矩阵M2
在步骤S210中,将预设出发点的坐标信息根据第一变换矩阵进行变换,得到第一坐标信息,将第一坐标信息中z轴坐标值,作为当前位置点的z轴坐标值。当前位置点的z轴坐标值可以表示当前位置点的高度。
在步骤S212中,将预设出发点对应的预设姿态信息根据第一变换矩阵进行变换,得到第一姿态信息,将第一姿态信息中的横滚角值和俯仰角值,作为车辆当前的横滚角值和俯仰角值。
根据地面目标点云数据和地面参考点云数据的匹配,能够更加准确的确定高度、横滚角和俯仰角的变换情况,因此,采用第一变换矩阵M1确定当前位置点的z轴坐标值和车辆当前的横滚角值和俯仰角值更加准确。
预设出发点对应的预设姿态信息可以为点云地图中预设出发点对应的点云数据生成时的姿态信息。预设姿态信息包括预设横滚角值、预设俯仰角值和预设航向角值,一般情况下可以默认均为0。假设预设出发点的坐标信息表示为P0=(x,y,z),根据预设出发点对应的预设姿态信息得到姿态矩阵R(为3×3矩阵),则可以得到预设出发点的位姿矩阵
Figure BDA0002577473080000091
位姿矩阵为4×4矩阵,与第一变换矩阵M1相乘可以得到当前位置点的第一位姿矩阵,根据第一位姿矩阵可以得到第一坐标信息和第一姿态信息,从而得到当前位置点的z轴坐标值,和车辆当前的横滚角值和俯仰角值。
步骤S210和S212可以在步骤S206之后并列执行。
在步骤S214中,将第一坐标信息根据第二变换矩阵进行变换,得到第二坐标信息,将第二坐标信息中的x轴坐标值和y轴坐标值,作为当前位置点的x轴坐标值和y轴坐标值。当前位置点的x轴坐标值和y轴坐标值可以分别表示当前位置点在点云地图坐标系中经度和纬度。
在步骤S216中,将第一姿态信息第二变换矩阵进行变换,得到第二姿态信息,将第二姿态信息中的航向角值,作为车辆当前的航向角值。
可以将第一位姿矩阵与第二变换矩阵M2相乘得到第二位姿矩阵,根据第二位姿矩阵得到第二坐标信息和第二姿态信息,从而得到当前位置点的x轴坐标值,y轴坐标值和车辆当前的航向角值。根据非地面目标点云数据和非地面参考点云数据的匹配,能够更加准确的确定经度、纬度和航向角的变换情况,因此,根据第二变换矩阵M2,确定当前位置点的x轴坐标值,y轴坐标值和车辆当前的航向角值更加准确。
步骤S214和步骤S216可以并列执行。上述实施例中各个坐标系之间的转换和位姿矩阵的变换等可以参考现有技术,在此不再赘述。
上述实施例的方法将点云数据划分为地面点云数据和非地面点云数据,分别根据地面目标点云数据和地面参考点云数据,非地面目标点云数据和非地面参考点云数据进行两次匹配,分别确定第一变换矩阵和第二变换矩阵。通过地面目标点云数据和地面参考点云数据的匹配,能够更加准确的确定预设出发点和当前位置点的高度、俯仰角和横滚角的变化,通过非地面目标点云数据和非地面参考点云数据的匹配,能够更加准确的确定预设出发点和当前位置点的经纬度和航向的变化。因此,根据上述实施例的方法能够更加准确的确定车辆在当前位置点的位姿信息。
本公开还提供一种位置确定装置,下面结合图3进行描述。
图3为本公开位置确定装置的一些实施例的结构图。如图3所示,该实施例的装置30包括:获取模块310,匹配模块320,确定模块330。
获取模块310用于获取车辆在当前位置点测得的激光点云数据,作为参考点云数据,获取车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据。
在一些实施例中,获取模块310用于根据参考点云数据对应的激光雷达测量范围,在点云地图中获取以预设出发点为中心,与激光雷达测量范围相应范围内的点云数据,作为目标点云数据。
匹配模块320用于将目标点云数据与参考点云数据进行匹配,确定目标点云数据与参考点云数据之间的变换矩阵。在一些实施例中,匹配模块用于将目标点云数据划分为地面目标点云数据和非地面目标点云数据,将参考点云数据划分为地面参考点云数据和非地面参考点云数据;根据地面目标点云数据和地面参考点云数据,确定第一变换矩阵;根据第一变换矩阵,非地面目标点云数据和非地面参考点云数据,确定第二变换矩阵。
在一些实施例中,匹配模块320用于对地面参考点云数据进行降采样处理;将地面目标点云数据和降采样后的地面参考点云数据进行匹配,得到由地面目标点云数据到降采样后的地面参考点云数据的旋转平移矩阵,作为第一变换矩阵。
在一些实施例中,匹配模块320用于将非地面目标点云数据根据第一变换矩阵进行变换,得到变换后的非地面目标点云数据;将非地面参考点云数据进行降采样处理;将变换后的非地面目标点云数据和降采样后的非地面参考点云数据进行匹配,得到由变换后的非地面目标点云数据到降采样后的非地面参考点云数据的旋转平移矩阵,作为第二变换矩阵。
确定模块330用于根据预设出发点的坐标信息和变换矩阵,确定当前位置点的坐标信息。
在一些实施例中,确定模块330用于将预设出发点的坐标信息根据第一变换矩阵进行变换,得到第一坐标信息,将第一坐标信息中z轴坐标值,作为当前位置点的z轴坐标值;将第一坐标信息根据第二变换矩阵进行变换,得到第二坐标信息,将第二坐标信息中的x轴坐标值和y轴坐标值,作为当前位置点的x轴坐标值和y轴坐标值。
在一些实施例中,确定模块330还用于将预设出发点对应的预设姿态信息根据第一变换矩阵进行变换,得到第一姿态信息,将第一姿态信息中的横滚角值和俯仰角值,作为车辆当前的横滚角值和俯仰角值;将第一姿态信息第二变换矩阵进行变换,得到第二姿态信息,将第二姿态信息中的航向角值,作为车辆当前的航向角值。
本公开的实施例中的位置确定装置可各由各种计算设备或计算机系统来实现,下面结合图4以及图5进行描述。
图4为本公开位置确定装置的一些实施例的结构图。如图4所示,该实施例的装置40包括:存储器410以及耦接至该存储器410的处理器420,处理器420被配置为基于存储在存储器410中的指令,执行本公开中任意一些实施例中的位置确定方法。
其中,存储器410例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图5为本公开位置确定装置的另一些实施例的结构图。如图5所示,该实施例的装置50包括:存储器510以及处理器520,分别与存储器410以及处理器420类似。还可以包括输入输出接口530、网络接口540、存储接口550等。这些接口530,540,550以及存储器510和处理器520之间例如可以通过总线560连接。其中,输入输出接口530为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口540为各种联网设备提供连接接口,例如可以连接到数据库服务器或者云端存储服务器等。存储接口550为SD卡、U盘等外置存储设备提供连接接口。
本公开还提供一种位置确定系统,下面结合图6进行描述。
图6为本公开位置确定系统的一些实施例的结构图。如图6所示,该实施例的系统6包括:前述任意实施例的位置确定装置30/40/50;车体62,位置确定装置30/40/50设置于车体62上;以及设置于车体上的激光雷达装置64,被配置为在当前位置点进行扫描得到激光点云数据。
本领域内的技术人员应当明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (11)

1.一种位置确定方法,包括:
获取车辆在当前位置点测得的激光点云数据,作为参考点云数据,获取所述车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据;
将所述目标点云数据与所述参考点云数据进行匹配,确定所述目标点云数据与所述参考点云数据之间的变换矩阵;
根据所述预设出发点的坐标信息和所述变换矩阵,确定所述当前位置点的坐标信息。
2.根据权利要求1所述的位置确定方法,其中,将所述目标点云数据与所述参考点云数据进行匹配,确定所述目标点云数据与所述参考点云数据之间的变换矩阵包括:
将所述目标点云数据划分为地面目标点云数据和非地面目标点云数据,将所述参考点云数据划分为地面参考点云数据和非地面参考点云数据;
根据所述地面目标点云数据和地面参考点云数据,确定第一变换矩阵;
根据所述第一变换矩阵,所述非地面目标点云数据和所述非地面参考点云数据,确定第二变换矩阵。
3.根据权利要求2所述的位置确定方法,其中,所述根据所述地面目标点云数据和地面参考点云数据,确定第一变换矩阵包括:
对所述地面参考点云数据进行降采样处理;
将所述地面目标点云数据和降采样后的地面参考点云数据进行匹配,得到由所述地面目标点云数据到降采样后的地面参考点云数据的旋转平移矩阵,作为所述第一变换矩阵。
4.根据权利要求2所述的位置确定方法,其中,所述根据所述第一变换矩阵,所述非地面目标点云数据和所述非地面参考点云数据,确定第二变换矩阵包括:
将所述非地面目标点云数据根据所述第一变换矩阵进行变换,得到变换后的非地面目标点云数据;
将所述非地面参考点云数据进行降采样处理;
将变换后的非地面目标点云数据和降采样后的非地面参考点云数据进行匹配,得到由所述变换后的非地面目标点云数据到降采样后的非地面参考点云数据的旋转平移矩阵,作为所述第二变换矩阵。
5.根据权利要求2所述的位置确定方法,其中,所述根据所述预设出发点的坐标信息和所述变换矩阵,确定所述当前位置点的坐标信息包括:
将所述预设出发点的坐标信息根据所述第一变换矩阵进行变换,得到第一坐标信息,将所述第一坐标信息中z轴坐标值,作为所述当前位置点的z轴坐标值;
将所述第一坐标信息根据所述第二变换矩阵进行变换,得到第二坐标信息,将所述第二坐标信息中的x轴坐标值和y轴坐标值,作为所述当前位置点的x轴坐标值和y轴坐标值。
6.根据权利要求2所述的位置确定方法,还包括:
将所述预设出发点对应的预设姿态信息根据所述第一变换矩阵进行变换,得到第一姿态信息,将所述第一姿态信息中的横滚角值和俯仰角值,作为所述车辆当前的横滚角值和俯仰角值;
将所述第一姿态信息所述第二变换矩阵进行变换,得到第二姿态信息,将所述第二姿态信息中的航向角值,作为所述车辆当前的航向角值。
7.根据权利要求1所述的位置确定方法,其中,获取所述车辆的预设出发点在点云地图中对应的点云数据包括:
根据所述参考点云数据对应的激光雷达测量范围,在所述点云地图中获取以所述预设出发点为中心,与所述激光雷达测量范围相应范围内的点云数据,作为目标点云数据。
8.一种位置确定装置,包括:
获取模块,用于获取车辆在当前位置点测得的激光点云数据,作为参考点云数据,获取所述车辆的预设出发点在点云地图中对应的点云数据,作为目标点云数据;
匹配模块,用于将所述目标点云数据与所述参考点云数据进行匹配,确定所述目标点云数据与所述参考点云数据之间的变换矩阵;
确定模块,用于根据所述预设出发点的坐标信息和所述变换矩阵,确定所述当前位置点的坐标信息。
9.一种位置确定装置,包括:
处理器;以及
耦接至所述处理器的存储器,用于存储指令,所述指令被所述处理器执行时,使所述处理器执行如权利要求1-7任一项所述的位置确定方法。
10.一种非瞬时性计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
11.一种位置确定系统,包括:
权利要求8或9所述的位置确定装置;
车体,所述位置确定装置设置于车体上;以及
设置于所述车体上的激光雷达装置,被配置为在当前位置点进行扫描得到激光点云数据。
CN202010658041.5A 2020-07-09 2020-07-09 位置确定方法、装置、系统和计算机可读存储介质 Active CN111812658B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010658041.5A CN111812658B (zh) 2020-07-09 2020-07-09 位置确定方法、装置、系统和计算机可读存储介质
US18/004,508 US20230252674A1 (en) 2020-07-09 2021-05-18 Position determination method, device, and system, and computer-readable storage medium
PCT/CN2021/094394 WO2022007504A1 (zh) 2020-07-09 2021-05-18 位置确定方法、装置、系统和计算机可读存储介质
EP21837484.1A EP4152052A1 (en) 2020-07-09 2021-05-18 Location determination method, device, and system, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010658041.5A CN111812658B (zh) 2020-07-09 2020-07-09 位置确定方法、装置、系统和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111812658A true CN111812658A (zh) 2020-10-23
CN111812658B CN111812658B (zh) 2021-11-02

Family

ID=72842070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010658041.5A Active CN111812658B (zh) 2020-07-09 2020-07-09 位置确定方法、装置、系统和计算机可读存储介质

Country Status (4)

Country Link
US (1) US20230252674A1 (zh)
EP (1) EP4152052A1 (zh)
CN (1) CN111812658B (zh)
WO (1) WO2022007504A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348897A (zh) * 2020-11-30 2021-02-09 上海商汤临港智能科技有限公司 位姿确定方法及装置、电子设备、计算机可读存储介质
CN112382116A (zh) * 2020-11-12 2021-02-19 浙江吉利控股集团有限公司 一种用于获取车辆的点云地图的方法和系统
CN112802111A (zh) * 2021-04-01 2021-05-14 中智行科技有限公司 一种物体模型构建方法及装置
CN113465606A (zh) * 2021-06-30 2021-10-01 三一机器人科技有限公司 末端工位定位方法、装置及电子设备
CN113744409A (zh) * 2021-09-09 2021-12-03 上海柏楚电子科技股份有限公司 工件定位方法、装置、系统、设备与介质
WO2022007504A1 (zh) * 2020-07-09 2022-01-13 北京京东乾石科技有限公司 位置确定方法、装置、系统和计算机可读存储介质
WO2022007602A1 (zh) * 2020-07-09 2022-01-13 北京京东乾石科技有限公司 确定车辆位置的方法和装置
CN114459471A (zh) * 2022-01-30 2022-05-10 中国第一汽车股份有限公司 定位信息确定方法、装置、电子设备及存储介质
CN114549605A (zh) * 2021-12-31 2022-05-27 广州景骐科技有限公司 基于点云匹配的图像优化方法、装置、设备及存储介质
CN115220009A (zh) * 2021-04-15 2022-10-21 阿里巴巴新加坡控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN115410173A (zh) * 2022-11-01 2022-11-29 北京百度网讯科技有限公司 多模态融合的高精地图要素识别方法、装置、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114353807B (zh) * 2022-03-21 2022-08-12 沈阳吕尚科技有限公司 一种机器人的定位方法及定位装置
CN115877349B (zh) * 2023-02-20 2023-05-23 北京理工大学 一种基于激光雷达的交叉路口车辆定位方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106969763A (zh) * 2017-04-07 2017-07-21 百度在线网络技术(北京)有限公司 用于确定无人驾驶车辆的偏航角的方法和装置
CN109059906A (zh) * 2018-06-26 2018-12-21 上海西井信息科技有限公司 车辆定位方法、装置、电子设备、存储介质
CN109887028A (zh) * 2019-01-09 2019-06-14 天津大学 一种基于点云数据配准的无人车辅助定位方法
CN110609290A (zh) * 2019-09-19 2019-12-24 北京智行者科技有限公司 激光雷达匹配定位方法及装置
US20200033479A1 (en) * 2014-01-31 2020-01-30 Pictometry International Corp. Augmented Three Dimensional Point Collection of Vertical Structures
CN110794392A (zh) * 2019-10-15 2020-02-14 上海创昂智能技术有限公司 车辆定位方法、装置、车辆及存储介质
CN110988894A (zh) * 2019-12-25 2020-04-10 畅加风行(苏州)智能科技有限公司 一种面向港口环境的多源数据融合的无人驾驶汽车实时定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018048353A1 (en) * 2016-09-09 2018-03-15 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN109900298B (zh) * 2019-03-01 2023-06-30 武汉光庭科技有限公司 一种车辆定位校准方法及系统
CN110082779A (zh) * 2019-03-19 2019-08-02 同济大学 一种基于3d激光雷达的车辆位姿定位方法及系统
CN110927740B (zh) * 2019-12-06 2023-09-08 合肥科大智能机器人技术有限公司 一种移动机器人定位方法
CN111812658B (zh) * 2020-07-09 2021-11-02 北京京东乾石科技有限公司 位置确定方法、装置、系统和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200033479A1 (en) * 2014-01-31 2020-01-30 Pictometry International Corp. Augmented Three Dimensional Point Collection of Vertical Structures
CN106969763A (zh) * 2017-04-07 2017-07-21 百度在线网络技术(北京)有限公司 用于确定无人驾驶车辆的偏航角的方法和装置
CN109059906A (zh) * 2018-06-26 2018-12-21 上海西井信息科技有限公司 车辆定位方法、装置、电子设备、存储介质
CN109887028A (zh) * 2019-01-09 2019-06-14 天津大学 一种基于点云数据配准的无人车辅助定位方法
CN110609290A (zh) * 2019-09-19 2019-12-24 北京智行者科技有限公司 激光雷达匹配定位方法及装置
CN110794392A (zh) * 2019-10-15 2020-02-14 上海创昂智能技术有限公司 车辆定位方法、装置、车辆及存储介质
CN110988894A (zh) * 2019-12-25 2020-04-10 畅加风行(苏州)智能科技有限公司 一种面向港口环境的多源数据融合的无人驾驶汽车实时定位方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022007504A1 (zh) * 2020-07-09 2022-01-13 北京京东乾石科技有限公司 位置确定方法、装置、系统和计算机可读存储介质
WO2022007602A1 (zh) * 2020-07-09 2022-01-13 北京京东乾石科技有限公司 确定车辆位置的方法和装置
CN112382116A (zh) * 2020-11-12 2021-02-19 浙江吉利控股集团有限公司 一种用于获取车辆的点云地图的方法和系统
CN112348897A (zh) * 2020-11-30 2021-02-09 上海商汤临港智能科技有限公司 位姿确定方法及装置、电子设备、计算机可读存储介质
CN112802111B (zh) * 2021-04-01 2021-06-25 中智行科技有限公司 一种物体模型构建方法及装置
CN112802111A (zh) * 2021-04-01 2021-05-14 中智行科技有限公司 一种物体模型构建方法及装置
CN115220009A (zh) * 2021-04-15 2022-10-21 阿里巴巴新加坡控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN113465606A (zh) * 2021-06-30 2021-10-01 三一机器人科技有限公司 末端工位定位方法、装置及电子设备
CN113744409A (zh) * 2021-09-09 2021-12-03 上海柏楚电子科技股份有限公司 工件定位方法、装置、系统、设备与介质
CN113744409B (zh) * 2021-09-09 2023-08-15 上海柏楚电子科技股份有限公司 工件定位方法、装置、系统、设备与介质
CN114549605A (zh) * 2021-12-31 2022-05-27 广州景骐科技有限公司 基于点云匹配的图像优化方法、装置、设备及存储介质
CN114549605B (zh) * 2021-12-31 2023-08-04 广州景骐科技有限公司 基于点云匹配的图像优化方法、装置、设备及存储介质
CN114459471A (zh) * 2022-01-30 2022-05-10 中国第一汽车股份有限公司 定位信息确定方法、装置、电子设备及存储介质
CN114459471B (zh) * 2022-01-30 2023-08-11 中国第一汽车股份有限公司 定位信息确定方法、装置、电子设备及存储介质
CN115410173A (zh) * 2022-11-01 2022-11-29 北京百度网讯科技有限公司 多模态融合的高精地图要素识别方法、装置、设备及介质

Also Published As

Publication number Publication date
EP4152052A1 (en) 2023-03-22
US20230252674A1 (en) 2023-08-10
CN111812658B (zh) 2021-11-02
WO2022007504A1 (zh) 2022-01-13

Similar Documents

Publication Publication Date Title
CN111812658B (zh) 位置确定方法、装置、系统和计算机可读存储介质
CN109270545B (zh) 一种定位真值校验方法、装置、设备及存储介质
CN109297510B (zh) 相对位姿标定方法、装置、设备及介质
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
CN112835085B (zh) 确定车辆位置的方法和装置
CN110927708B (zh) 智能路侧单元的标定方法、装置及设备
KR20190082070A (ko) 지도 생성 및 운동 객체 위치 결정 방법 및 장치
CN111427061A (zh) 一种机器人建图方法、装置,机器人及存储介质
CN113933818A (zh) 激光雷达外参的标定的方法、设备、存储介质及程序产品
CN114111774B (zh) 车辆的定位方法、系统、设备及计算机可读存储介质
CN113984044A (zh) 一种基于车载多感知融合的车辆位姿获取方法及装置
CN110243364B (zh) 无人机航向确定方法、装置、无人机及存储介质
CN112835086B (zh) 确定车辆位置的方法和装置
CN113822944B (zh) 一种外参标定方法、装置、电子设备及存储介质
CN111469781B (zh) 用于输出信息的方法和装置
CN112154429A (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
CN112154355B (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN115952248A (zh) 终端设备的位姿处理方法、装置、设备、介质及产品
CN114488042A (zh) 一种激光雷达标定方法、装置、电子设备和存储介质
CN115032672A (zh) 一种基于定位子系统的融合定位方法及系统
CN112633043A (zh) 一种车道线确定方法、装置、电子设备及存储介质
CN113124816A (zh) 天线工参生成方法、装置、存储介质和计算机设备
CN110647591A (zh) 用于测试矢量地图的方法和装置
CN113777635B (zh) 一种全球导航卫星数据校准方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant