CN113436336A - 地面点云分割方法和装置及自动驾驶车辆 - Google Patents

地面点云分割方法和装置及自动驾驶车辆 Download PDF

Info

Publication number
CN113436336A
CN113436336A CN202110691334.8A CN202110691334A CN113436336A CN 113436336 A CN113436336 A CN 113436336A CN 202110691334 A CN202110691334 A CN 202110691334A CN 113436336 A CN113436336 A CN 113436336A
Authority
CN
China
Prior art keywords
grid
ground
equation
point cloud
grids
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110691334.8A
Other languages
English (en)
Other versions
CN113436336B (zh
Inventor
林金表
丁聪
许新玉
孔旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Kunpeng Jiangsu Technology Co Ltd
Original Assignee
Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Kunpeng Jiangsu Technology Co Ltd filed Critical Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority to CN202110691334.8A priority Critical patent/CN113436336B/zh
Publication of CN113436336A publication Critical patent/CN113436336A/zh
Priority to PCT/CN2022/091460 priority patent/WO2022267711A1/zh
Priority to KR1020237037319A priority patent/KR20240024778A/ko
Priority to EP22827209.2A priority patent/EP4361958A1/en
Application granted granted Critical
Publication of CN113436336B publication Critical patent/CN113436336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提出一种地面点云分割方法、地面点云分割装置及自动驾驶车辆,涉及计算机领域。把感兴趣区域划分成多个网格,并将感兴趣区域内的点云投入到对应的网格;确定每个网格内的点云对应的平面方程;将雷达所在网格作为中心网格,确定中心网格的地面方程;将中心网格标记为地面网格,根据每个网格内的点云对应的平面方程和中心网格的地面方程,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程;根据每个网格的地面方程判断该网格内的点云是否属于地面点云。从而,为每个网格计算了地面方程,无论网格是地面网格还是非地面网格,均能根据网格的地面方程准确判断该网格内的点云为地面点或非地面点。

Description

地面点云分割方法和装置及自动驾驶车辆
技术领域
本公开涉及计算机领域,特别涉及一种地面点云分割方法、地面点云分割装置及自动驾驶车辆。
背景技术
自动驾驶车辆搭载了多种传感器以感知周围环境及障碍物。例如,自动驾驶车辆搭载的雷达通过扫描形成点云,利用雷达点云可以感知周围环境及障碍物。
在利用雷达点云感知周围障碍物之前,首先需要区分点云中的地面点与非地面点。在一些相关技术中,根据网格的点云的平面方程判断该网格是否为地面网格,并且把地面网格内的所有点当成地面点,把非地面网格内的所有点当成非地面点。
发明内容
按照相关技术的地面点云分割方法,如果一个网格包括小部分的障碍物点云和大部分的地面点,该网格会被判定为地面网格,该网格内的所有点会被当成地面点,使得该网格内的障碍物点云会被误判为地面点;如果一个网格包括小部分的地面点和大部分的障碍物点云,该网格会被判定为非地面网格,该网格内的所有点会被当成非地面点,该网格内的地面点会被误判为非地面点。
本公开实施例所要解决的一个技术问题是:上述相关技术提及的地面点云的误判问题。
本公开一些实施例提出一种地面点云分割方法,包括:
把感兴趣区域划分成多个网格,并将感兴趣区域内的点云投入到对应的网格;
确定每个网格内的点云对应的平面方程;
将扫描形成点云的雷达所在的网格作为中心网格,并确定中心网格的地面方程;
将中心网格标记为地面网格,根据每个网格内的点云对应的平面方程和中心网格的地面方程,使用广度优先网格遍历策略,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程;
根据每个网格的地面方程判断该网格内的点云是否属于地面点云。
在一些实施例中,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程包括:
从中心网格开始逐步向外扩散,针对扩散的相邻网格,根据相邻网格中离中心网格更近的网格的地面方程与相邻网格中离中心网格更远的网格的平面方程之间的相似性,判断相邻网格中离中心网格更远的网格是否属于地面网格;
根据相邻网格中离中心网格更远的网格是否属于地面网格,确定相邻网格中离中心网格更远的网格的地面方程。
在一些实施例中,判断相邻网格中离中心网格更远的网格是否属于地面网格包括:
如果相邻网格中离中心网格更近的网格的地面方程与相邻网格中离中心网格更远的网格的平面方程相似,判定相邻网格中离中心网格更远的网格属于地面网格;
其中,如果所述地面方程的法向量与所述平面方程的法向量之间的偏差在容忍范围内,且,所述地面方程的偏置项与所述平面方程的偏置项之间的偏差在容忍范围内,认为所述地面方程与所述平面方程相似。
在一些实施例中,确定相邻网格中离中心网格更远的网格的地面方程包括:如果相邻网格中离中心网格更远的网格属于地面网格,令相邻网格中离中心网格更远的网格的地面方程等于相邻网格中离中心网格更远的网格的平面方程,否则,令相邻网格中离中心网格更远的网格的地面方程等于相邻网格中离中心网格更近的网格的地面方程。
在一些实施例中,根据每个网格的地面方程判断该网格内的点云是否属于地面点云包括:如果某网格内的点云中的某点到该网格的地面方程的距离小于地面点云到地面方程的最大距离,认为该点属于地面点,否则,认为该点属于非地面点。
在一些实施例中,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程包括:
维护一个先进先出的队列,队列中的感兴趣区域内的每个网格维护一个状态量,状态量包括:第一状态表示该网格已经被访问过并且确认为地面网格,第二状态表示该网格尚未被访问过,第三状态表示该网格已经被访问过但尚未被确认为地面网格;
把中心网格c0加入队列,标记中心网格c0的状态量是第一状态;
取出位于队列队首的网格ci,网格ci的初始值是中心网格c0
选取与网格ci相邻的任一网格cj
如果网格cj的状态量是第二状态,把网格cj加入队列的队尾;
如果网格cj的状态量不是第一状态,判断网格ci的地面方程与网格cj的平面方程之间的相似性;
如果网格ci的地面方程与网格cj的平面方程相似,把网格cj标记为地面网格,设置网格cj的状态量是第一状态,令网格cj的地面方程等于网格cj的平面方程;
如果网格ci的地面方程与网格cj的平面方程不相似,设置网格cj的状态量是第三状态,令网格cj的地面方程等于网格ci的地面方程。
在一些实施例中,判断网格ci的地面方程与网格cj的平面方程之间的相似性包括:
如果以下两个条件同时满足,认为网格ci的地面方程与网格cj的平面方程相似,否则认为网格ci的地面方程与网格cj的平面方程不相似,
wj Tni>1-α,|bj-gi|<β
其中,wj表示网格cj的平面方程的法向量,ni表示网格ci的地面方程的法向量,α表示允许的平面方程与地面方程的法向量的偏差容忍值,bj表示网格cj的平面方程的偏置项,gi表示网格ci的地面方程的偏置项,β表示允许的平面方程与地面方程的偏置项的偏差容忍值。
在一些实施例中,根据每个网格的地面方程判断该网格内的点云是否属于地面点云包括:
对于网格ci,如果网格ci内点云中的某点[x,y,z]T满足|ni T[x,y,z]T+gi|<γ,则认为该点属于地面点,否则,认为该点属于非地面点,
其中,ni表示网格ci的地面方程的法向量,gi表示网格ci的地面方程的偏置项,γ表示地面点云到地面方程的最大距离。
在一些实施例中,中心网格的地面方程为n0 T[x,y,z]T+g0=0,其中,n0=[0,0,1]T,g0为雷达距离地面的高度,[x,y,z]T表示中心网格内某点的位置。
在一些实施例中,采用随机抽样一致算法或奇异值分解算法,拟合出每个网格内的点云对应的平面方程。
在一些实施例中,按照俯视视角把感兴趣区域划分成为多个网格,根据点云的位置坐标把感兴趣区域内的点云投入到对应的网格。
本公开一些实施例提出一种地面点云分割装置,包括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行地面点云分割方法。
本公开一些实施例提出一种地面点云分割装,包括:
网格划分单元,被配置为把感兴趣区域划分成多个网格,并将感兴趣区域内的点云投入到对应的网格;
平面方程确定单元,被配置为确定每个网格内的点云对应的平面方程;
地面方程确定单元,被配置为将扫描形成点云的雷达所在的网格作为中心网格,并确定中心网格的地面方程;将中心网格标记为地面网格,根据每个网格内的点云对应的平面方程和中心网格的地面方程,使用广度优先网格遍历策略,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程;
地面点云分割单元,被配置为根据每个网格的地面方程判断该网格内的点云是否属于地面点云。
本公开一些实施例提出一种自动驾驶车辆,包括:用来扫描形成点云的雷达,以及,地面点云分割装置。
本公开一些实施例提出一种非瞬时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现各实施例的地面点云分割方法的步骤。
本公开实施例为每个网格计算了地面方程,无论网格是地面网格还是非地面网格,均能根据网格的地面方程准确判断该网格内的点云为地面点或非地面点,解决上述相关技术提及的地面点云的误判问题。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述,可以更加清楚地理解本公开。
显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开一些实施例的地面点云分割方法的流程示意图。
图2a示出本公开一些实施例的地面点云识别效果示意图。
图2b示出相关技术在不连续点云情况下所存在的地面网格和非地面网格的误判问题的示意图。
图3为本公开一些实施例的地面点云分割装置的结构示意图。
图4为本公开一些实施例的地面点云分割装置的结构示意图。
图5为本公开一些实施例自动驾驶车辆的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。
除非特别说明,否则,本公开中的“第一”“第二”“第三”等描述用来区分不同的对象,并不用来表示大小或时序等含义。
本公开中的三维坐标系,遵循惯例,采用右手坐标系,以雷达中心为原点,向前为X轴,向左为Y轴,向上为Z轴。以无人配送车等自动驾驶车辆为例,如果配备了主雷达和补盲雷达,以主雷达中心为原点,沿着车头向前为X轴,向左为Y轴,向上为Z轴。
本公开实施例提出的地面点云分割方法,对于每个网格,无论是空白网格、地面网格、非地面网格,都会计算出该网格对应的地面方程,并且把地面方程由雷达中心所在的网格向四周扩散传播,从而改善相关技术中存在的误判等各种问题。下面结合附图具体描述本公开的方案及其效果。
图1示出本公开一些实施例的地面点云分割方法的流程示意图。地面点云分割方法例如可以由地面点云分割装置执行。
如图1所示,该实施例的地面点云分割方法包括:步骤110-150。
在步骤110,把感兴趣区域划分成多个网格,并将感兴趣区域内的点云投入到对应的网格。
按照俯视视角把感兴趣区域划分成为多个网格,例如M×N个网格,根据点云的位置坐标(x、y)把感兴趣区域内的点云投入到对应的网格。
网格划分得越细,地面点云分割的精度越高,所要求的计算能力也会越高。单个网格单元的参考尺寸例如为0.2米×0.2米,但不限于所举示例。以无人配送车为例,感兴趣区域的参考取值为其前后各30米,左右各15米,合计60米×30米的区域,可以划分成300×150个网格。
在步骤120,确定每个网格内的点云对应的平面方程。
例如,采用随机抽样一致算法(Random sample consensus,RANSAC)算法,拟合出每个网格内的点云对应的平面方程。
又例如,采用奇异值分解(Singular Value Decomposition,以下简称SVD)算法,拟合出每个网格内的点云对应的平面方程。
具体的算法及其拟合过程可以参考相关技术,这里不再赘述。
此外,如果点云个数小于3的网格,该网格的平面方程难以确定,则可以使用其任意一个邻居网格的平面方程作为该网格的平面方程。
设网格ci的平面方程为wi T[x,y,z]T+bi=0,其中wi是归一化后的网格cj的平面方程的法向量,是一个三维向量,其向量长度为1并且第三个分量不小于0,bj表示网格cj的平面方程的偏置项,是一个标量,[x,y,z]T表示网格ci内某点的位置。
在步骤130,将扫描形成点云的雷达所在的网格作为中心网格,并确定中心网格的地面方程。
根据雷达所在的无人配送车等自动驾驶车辆的设计参数,确定中心网格c0的地面方程为n0 T[x,y,z]T+g0=0。其中,由于雷达是水平安装的,其xoy平面与地面平行,所以n0=[0,0,1]T,g0为雷达距离地面的高度,[x,y,z]T表示中心网格内某点的位置。其中,地面方程是用来描述网格内地面点的方程。
其中,雷达例如是激光雷达。激光雷达包括机械式旋转激光雷达、旋镜式激光雷达、固态激光雷达等。机械式旋转激光雷达的水平视场角为360度,探测距离远,测量结果较为稳定,一般在无人配送车中作为主雷达使用。旋镜式激光雷达和固态激光雷达的水平视场角、探测距离均不如机械式旋转激光雷达,但价格相对便宜,一般在无人配送车中作为补盲雷达来对主雷达进行补充。激光雷达可以选用多线激光雷达,其作为一种主动探测感知系统,具有可准确获取目标的三维信息、分辨率高、抗干扰能力强,探测范围广,近全天候工作等优点。
在步骤140,将中心网格标记为地面网格,根据每个网格内的点云对应的平面方程和中心网格的地面方程,使用广度优先网格遍历策略,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程。
在一些实施例中,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程包括以下步骤。
首先,从中心网格开始逐步向外扩散,针对扩散的相邻网格,根据相邻网格中离中心网格更近的网格的地面方程与相邻网格中离中心网格更远的网格的平面方程之间的相似性,判断相邻网格中离中心网格更远的网格是否属于地面网格。如果相邻网格中离中心网格更近的网格的地面方程与相邻网格中离中心网格更远的网格的平面方程相似,判定相邻网格中离中心网格更远的网格属于地面网格。其中,如果所述地面方程的法向量与所述平面方程的法向量之间的偏差在容忍范围内,且,所述地面方程的偏置项与所述平面方程的偏置项之间的偏差在容忍范围内,认为所述地面方程与所述平面方程相似。
接着,根据相邻网格中离中心网格更远的网格是否属于地面网格,确定相邻网格中离中心网格更远的网格的地面方程。如果相邻网格中离中心网格更远的网格属于地面网格,令相邻网格中离中心网格更远的网格的地面方程等于相邻网格中离中心网格更远的网格的平面方程,否则,令相邻网格中离中心网格更远的网格的地面方程等于相邻网格中离中心网格更近的网格的地面方程。
下面结合公式具体描述从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程。
首先,维护一个先进先出的队列(queue),队列中的感兴趣区域内的每个网格维护一个状态量。状态量(state)包括:第一状态(GROUND)表示该网格已经被访问过并且确认为地面网格,第二状态(UNVISITED)表示该网格尚未被访问过,第三状态(FREE)表示该网格已经被访问过但尚未被确认为地面网格。
接着,把中心网格c0加入队列,标记中心网格c0的状态量是第一状态(GROUND)。如果队列非空,则继续进行以下操作。
接着,取出位于队列队首的网格ci,网格ci的初始值(或者说,第一个网格ci)是中心网格c0
接着,选取与网格ci相邻的任一网格cj。其中,与网格ci相邻的有4个网格。
接着,如果网格cj的状态量是第二状态(UNVISITED),把网格cj加入队列的队尾。
接着,如果网格cj的状态量不是第一状态(即不是GROUND),判断网格ci的地面方程与网格cj的平面方程之间的相似性。
在一些实施例中,如果以下两个条件同时满足,认为网格ci的地面方程与网格cj的平面方程相似,否则认为网格ci的地面方程与网格cj的平面方程不相似,
wj Tni>1-α,|bj-gi|<β
其中,wj表示网格cj的平面方程的法向量,ni表示网格ci的地面方程的法向量,α表示允许的平面方程与地面方程的法向量的偏差容忍值,bj表示网格cj的平面方程的偏置项,gi表示网格ci的地面方程的偏置项,β表示允许的平面方程与地面方程的偏置项的偏差容忍值。α的参考取值0.2,β的参考取值0.3,但不限于所举示例。
在另一些实施例中,如果wj Tni>1-α满足,也可以认为网格ci的地面方程与网格cj的平面方程相似。
最后,如果网格ci的地面方程与网格cj的平面方程相似,把网格cj标记为地面网格,设置网格cj的状态量是第一状态(GROUND),令网格cj的地面方程等于网格cj的平面方程,也就是令nj=wj,gj=bj。如果网格ci的地面方程与网格cj的平面方程不相似,设置网格cj的状态量是第三状态(FREE),令网格cj的地面方程等于网格ci的地面方程,也就是令nj=ni,gj=gi
在步骤150,根据每个网格的地面方程判断该网格内的点云是否属于地面点云。
如果某网格内的点云中的某点到该网格的地面方程的距离小于地面点云到地面方程的最大距离,认为该点属于地面点,否则,认为该点属于非地面点。
对于任一网格ci,如果网格ci内点云中的某点[x,y,z]T满足|ni T[x,y,z]T+gi|<γ,则认为该点属于地面点,否则,认为该点属于非地面点。其中,ni表示网格ci的地面方程的法向量,gi表示网格ci的地面方程的偏置项,γ表示地面点云到地面方程的最大距离,参考取值为0.1,但不限于所举示例。
上述实施例具有以下效果:
(1)为每个网格计算了地面方程,无论网格是地面网格还是非地面网格,均能根据网格的地面方程准确判断该网格内的点云为地面点或非地面点,解决上述相关技术提及的地面点云的误判问题。
如图2a所示,四团花型的点云为旋镜式激光雷达的点云,其中,右上方花型点云的右侧矩形框示出的是包含马路牙子和地面的网格。如果按照相关技术,该网格由于马路牙子的点云数量少于地面点云数量,因此会被判定为地面网格,该网格内的点云均被判定为地面点云,从而使得网格内的马路牙子无法识别出来。如果按照本公开的方案,按照该网格的地面方程,该网格内的地面点云被判定为地面点云,该网格内的马路牙子的点云被判定为非地面点云,从而使得网格内的马路牙子被准确识别出来。
(2)由于空白网格也维护了地面方程,并且地面方程的扩散是由雷达向四周扩散,能够很好地适应地面的坡度变化,即使在不连续点云的情况下,也能准确判定地面网格和非地面网格,避免相关技术中不连续点云所存在的地面网格和非地面网格的误判问题。
下面结合图2b说明相关技术在不连续点云情况下所存在的地面网格和非地面网格的误判问题。由于激光雷达的扫描特性以及扫描盲区的存在,点云中不可避免地存在空洞、不连续的现象。图2b中无人配送车前方有个小坡,第一列网格表示水平地面(即虚线方格的网格),第二列网格和第三列的第一个网格和第五列的第二个和第三个网格共同表示坡面上的地面(即实线方格的网格),第四列的第二个和第三个空白网格表示雷达扫描盲区,其他网格表示有障碍物(即灰色网格)。空白网格由于扫描时被障碍物遮挡内部没有点云。除了空白网格,其他网格的内部均有点云。双向箭头表示使用相关技术中的相似性判据可以判断这两个网格相似。按照相关技术,首先,第一列网格的平面方程的法向量接近[0,0,1]T,会被判为地面网格,之后,由于第二列的网格与第一列的网格相似,第二列的网格也被判为地面网格,同理,第三列的第一个网格也将判为地面网格。但是,由于最后一列的第二个和第三个网格没有直接与地面网格相连,虽然属于坡面上的地面,但将被误判为非地面网格。可见,相关技术在不连续点云情况下存在地面网格和非地面网格的误判问题。
(3)通过对地面网格判据的谨慎设计,即,法向量和偏置项同时满足可容忍的偏差要求,能够很好地区分地面网格和有一定高度的平面网格(如车顶网格)。
当一个网格是有一定高度的平面网格,例如,该网格位于其他车辆顶部的时候,该网格内的点云近似分布在一个水平面,此时网格的法向量接近[0,0,1]。按照相关技术的判定方法(把平面方程的法向量的z值接近1的网格当成地面网格),该网格会被误判为地面网格。
图3为本公开一些实施例的地面点云分割装置的结构示意图。
如图3所示,该实施例的地面点云分割装置300包括:存储器310以及耦接至该存储器310的处理器320,处理器320被配置为基于存储在存储器310中的指令,执行前述任意一些实施例的地面点云分割方法。
其中,存储器310例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
地面点云分割装置300还可以包括输入输出接口330、网络接口340、存储接口350等。这些接口330,340,350以及存储器310和处理器320之间例如可以通过总线360连接。其中,输入输出接口330为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口340为各种联网设备提供连接接口。存储接口350为SD卡、U盘等外置存储设备提供连接接口。
图4为本公开一些实施例的地面点云分割装置的结构示意图。
如图4所示,该实施例的地面点云分割装置400包括:单元410-440。
网格划分单元410,被配置为把感兴趣区域划分成多个网格,并将感兴趣区域内的点云投入到对应的网格。
平面方程确定单元420,被配置为确定每个网格内的点云对应的平面方程。
地面方程确定单元430,被配置为将扫描形成点云的雷达所在的网格作为中心网格,并确定中心网格的地面方程,将中心网格标记为地面网格,根据每个网格内的点云对应的平面方程和中心网格的地面方程,使用广度优先网格遍历策略,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程。
地面点云分割单元440,被配置为根据每个网格的地面方程判断该网格内的点云是否属于地面点云。
在一些实施例中,网格划分单元410,被配置为按照俯视视角把感兴趣区域划分成为多个网格,根据点云的位置坐标把感兴趣区域内的点云投入到对应的网格。
在一些实施例中,平面方程确定单元420,被配置为采用随机抽样一致算法或奇异值分解算法,拟合出每个网格内的点云对应的平面方程。
在一些实施例中,地面方程确定单元430,被配置为从中心网格开始逐步向外扩散,针对扩散的相邻网格,根据相邻网格中离中心网格更近的网格的地面方程与相邻网格中离中心网格更远的网格的平面方程之间的相似性,判断相邻网格中离中心网格更远的网格是否属于地面网格;根据相邻网格中离中心网格更远的网格是否属于地面网格,确定相邻网格中离中心网格更远的网格的地面方程。
在一些实施例中,地面方程确定单元430在判断相邻网格中离中心网格更远的网格是否属于地面网格时,被配置为:如果相邻网格中离中心网格更近的网格的地面方程与相邻网格中离中心网格更远的网格的平面方程相似,判定相邻网格中离中心网格更远的网格属于地面网格;其中,如果所述地面方程的法向量与所述平面方程的法向量之间的偏差在容忍范围内,且,所述地面方程的偏置项与所述平面方程的偏置项之间的偏差在容忍范围内,认为所述地面方程与所述平面方程相似。
在一些实施例中,地面方程确定单元430在确定相邻网格中离中心网格更远的网格的地面方程时,被配置为:如果相邻网格中离中心网格更远的网格属于地面网格,令相邻网格中离中心网格更远的网格的地面方程等于相邻网格中离中心网格更远的网格的平面方程,否则,令相邻网格中离中心网格更远的网格的地面方程等于相邻网格中离中心网格更近的网格的地面方程。
在一些实施例中,地面点云分割单元440,被配置为如果某网格内的点云中的某点到该网格的地面方程的距离小于地面点云到地面方程的最大距离,认为该点属于地面点,否则,认为该点属于非地面点。
在一些实施例中,地面方程确定单元430,被配置为:
维护一个先进先出的队列,队列中的感兴趣区域内的每个网格维护一个状态量,状态量包括:第一状态表示该网格已经被访问过并且确认为地面网格,第二状态表示该网格尚未被访问过,第三状态表示该网格已经被访问过但尚未被确认为地面网格;
把中心网格c0加入队列,标记中心网格c0的状态量是第一状态;
取出位于队列队首的网格ci,网格ci的初始值是中心网格c0
选取与网格ci相邻的任一网格cj
如果网格cj的状态量是第二状态,把网格cj加入队列的队尾;
如果网格cj的状态量不是第一状态,判断网格ci的地面方程与网格cj的平面方程之间的相似性;
如果网格ci的地面方程与网格cj的平面方程相似,把网格cj标记为地面网格,设置网格cj的状态量是第一状态,令网格cj的地面方程等于网格cj的平面方程;
如果网格ci的地面方程与网格cj的平面方程不相似,设置网格cj的状态量是第三状态,令网格cj的地面方程等于网格ci的地面方程。
在一些实施例中,地面方程确定单元430,在判断网格ci的地面方程与网格cj的平面方程之间的相似性时,被配置为:如果以下两个条件同时满足,认为网格ci的地面方程与网格cj的平面方程相似,否则认为网格ci的地面方程与网格cj的平面方程不相似,
wj Tni>1-α,|bj-gi|<β
其中,wj表示网格cj的平面方程的法向量,ni表示网格ci的地面方程的法向量,α表示允许的平面方程与地面方程的法向量的偏差容忍值,bj表示网格cj的平面方程的偏置项,gi表示网格ci的地面方程的偏置项,β表示允许的平面方程与地面方程的偏置项的偏差容忍值。
在一些实施例中,地面点云分割单元440,被配置为对于网格ci,如果网格ci内点云中的某点[x,y,z]T满足|ni T[x,y,z]T+gi|<γ,则认为该点属于地面点,否则,认为该点属于非地面点,其中,ni表示网格ci的地面方程的法向量,gi表示网格ci的地面方程的偏置项,γ表示地面点云到地面方程的最大距离。
在一些实施例中,中心网格的地面方程为n0 T[x,y,z]T+g0=0,其中,n0=[0,0,1]T,g0为雷达距离地面的高度,[x,y,z]T表示中心网格内某点的位置。
图5为本公开一些实施例自动驾驶车辆的结构示意图。自动驾驶车辆例如包括无人配送车等。
如图5所示,该实施例的自动驾驶车辆包括:用来扫描形成点云的雷达500,以及,地面点云分割装置300,400。
自动驾驶车辆如果配备了主雷达和补盲雷达,三维坐标系以主雷达中心为原点,沿着车头向前为X轴,向左为Y轴,向上为Z轴。
本公开一些实施例提出一种非瞬时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现各实施例的地面点云分割方法的步骤。
本领域内的技术人员应当明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机程序代码的非瞬时性计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (15)

1.一种地面点云分割方法,其特征在于,包括:
把感兴趣区域划分成多个网格,并将感兴趣区域内的点云投入到对应的网格;
确定每个网格内的点云对应的平面方程;
将扫描形成点云的雷达所在的网格作为中心网格,并确定中心网格的地面方程;
将中心网格标记为地面网格,根据每个网格内的点云对应的平面方程和中心网格的地面方程,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程;
根据每个网格的地面方程判断该网格内的点云是否属于地面点云。
2.根据权利要求1所述的方法,其特征在于,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程包括:
使用广度优先网格遍历策略,从中心网格开始逐步向外扩散,针对扩散的相邻网格,根据相邻网格中离中心网格更近的网格的地面方程与相邻网格中离中心网格更远的网格的平面方程之间的相似性,判断相邻网格中离中心网格更远的网格是否属于地面网格;
根据相邻网格中离中心网格更远的网格是否属于地面网格,确定相邻网格中离中心网格更远的网格的地面方程。
3.根据权利要求2所述的方法,其特征在于,判断相邻网格中离中心网格更远的网格是否属于地面网格包括:
如果相邻网格中离中心网格更近的网格的地面方程与相邻网格中离中心网格更远的网格的平面方程相似,判定相邻网格中离中心网格更远的网格属于地面网格;
其中,如果所述地面方程的法向量与所述平面方程的法向量之间的偏差在容忍范围内,且,所述地面方程的偏置项与所述平面方程的偏置项之间的偏差在容忍范围内,认为所述地面方程与所述平面方程相似。
4.根据权利要求2所述的方法,其特征在于,确定相邻网格中离中心网格更远的网格的地面方程包括:
如果相邻网格中离中心网格更远的网格属于地面网格,令相邻网格中离中心网格更远的网格的地面方程等于相邻网格中离中心网格更远的网格的平面方程,否则,令相邻网格中离中心网格更远的网格的地面方程等于相邻网格中离中心网格更近的网格的地面方程。
5.根据权利要求1所述的方法,其特征在于,根据每个网格的地面方程判断该网格内的点云是否属于地面点云包括:
如果某网格内的点云中的某点到该网格的地面方程的距离小于地面点云到地面方程的最大距离,认为该点属于地面点,否则,认为该点属于非地面点。
6.根据权利要求2所述的方法,其特征在于,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程包括:
维护一个先进先出的队列,队列中的感兴趣区域内的每个网格维护一个状态量,状态量包括:第一状态表示该网格已经被访问过并且确认为地面网格,第二状态表示该网格尚未被访问过,第三状态表示该网格已经被访问过但尚未被确认为地面网格;
把中心网格c0加入队列,标记中心网格c0的状态量是第一状态;
取出位于队列队首的网格ci,网格ci的初始值是中心网格c0
选取与网格ci相邻的任一网格cj
如果网格cj的状态量是第二状态,把网格cj加入队列的队尾;
如果网格cj的状态量不是第一状态,判断网格ci的地面方程与网格cj的平面方程之间的相似性;
如果网格ci的地面方程与网格cj的平面方程相似,把网格cj标记为地面网格,设置网格cj的状态量是第一状态,令网格cj的地面方程等于网格cj的平面方程;
如果网格ci的地面方程与网格cj的平面方程不相似,设置网格cj的状态量是第三状态,令网格cj的地面方程等于网格ci的地面方程。
7.根据权利要求6所述的方法,其特征在于,判断网格ci的地面方程与网格cj的平面方程之间的相似性包括:
如果以下两个条件同时满足,认为网格ci的地面方程与网格cj的平面方程相似,否则认为网格ci的地面方程与网格cj的平面方程不相似,
Figure FDA0003126277740000031
其中,wj表示网格cj的平面方程的法向量,ni表示网格ci的地面方程的法向量,α表示允许的平面方程与地面方程的法向量的偏差容忍值,bj表示网格cj的平面方程的偏置项,gi表示网格ci的地面方程的偏置项,β表示允许的平面方程与地面方程的偏置项的偏差容忍值。
8.根据权利要求6所述的方法,其特征在于,根据每个网格的地面方程判断该网格内的点云是否属于地面点云包括:
对于网格ci,如果网格ci内点云中的某点[x,y,z]T满足|ni T[x,y,z]T+gi|<γ,则认为该点属于地面点,否则,认为该点属于非地面点,
其中,ni表示网格ci的地面方程的法向量,gi表示网格ci的地面方程的偏置项,γ表示地面点云到地面方程的最大距离。
9.根据权利要求1所述的方法,其特征在于,中心网格的地面方程为
Figure FDA0003126277740000032
其中,n0=[0,0,1]T,g0为雷达距离地面的高度,[x,y,z]T表示中心网格内某点的位置。
10.根据权利要求1所述的方法,其特征在于,采用随机抽样一致算法或奇异值分解算法,拟合出每个网格内的点云对应的平面方程。
11.根据权利要求1所述的方法,其特征在于,按照俯视视角把感兴趣区域划分成为多个网格,根据点云的位置坐标把感兴趣区域内的点云投入到对应的网格。
12.一种地面点云分割装置,其特征在于,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行权利要求1-11中任一项所述的地面点云分割方法。
13.一种地面点云分割装置,其特征在于,包括:
网格划分单元,被配置为把感兴趣区域划分成多个网格,并将感兴趣区域内的点云投入到对应的网格;
平面方程确定单元,被配置为确定每个网格内的点云对应的平面方程;
地面方程确定单元,被配置为将扫描形成点云的雷达所在的网格作为中心网格,并确定中心网格的地面方程;将中心网格标记为地面网格,根据每个网格内的点云对应的平面方程和中心网格的地面方程,使用广度优先网格遍历策略,从中心网格开始逐步向外扩散并计算感兴趣区域内每个网格的地面方程;
地面点云分割单元,被配置为根据每个网格的地面方程判断该网格内的点云是否属于地面点云。
14.一种自动驾驶车辆,其特征在于,包括:
用来扫描形成点云的雷达,以及,
权利要求12或13所述的地面点云分割装置。
15.一种非瞬时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-11中任一项所述的地面点云分割方法的步骤。
CN202110691334.8A 2021-06-22 2021-06-22 地面点云分割方法和装置及自动驾驶车辆 Active CN113436336B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110691334.8A CN113436336B (zh) 2021-06-22 2021-06-22 地面点云分割方法和装置及自动驾驶车辆
PCT/CN2022/091460 WO2022267711A1 (zh) 2021-06-22 2022-05-07 地面点云分割方法和装置及自动驾驶车辆
KR1020237037319A KR20240024778A (ko) 2021-06-22 2022-05-07 지면 포인트 클라우드 세그먼트화 방법 및 장치 및 자율 주행 차량
EP22827209.2A EP4361958A1 (en) 2021-06-22 2022-05-07 Ground point cloud segmentation method and apparatus, and autonomous vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110691334.8A CN113436336B (zh) 2021-06-22 2021-06-22 地面点云分割方法和装置及自动驾驶车辆

Publications (2)

Publication Number Publication Date
CN113436336A true CN113436336A (zh) 2021-09-24
CN113436336B CN113436336B (zh) 2024-01-12

Family

ID=77756916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110691334.8A Active CN113436336B (zh) 2021-06-22 2021-06-22 地面点云分割方法和装置及自动驾驶车辆

Country Status (4)

Country Link
EP (1) EP4361958A1 (zh)
KR (1) KR20240024778A (zh)
CN (1) CN113436336B (zh)
WO (1) WO2022267711A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267711A1 (zh) * 2021-06-22 2022-12-29 京东鲲鹏(江苏)科技有限公司 地面点云分割方法和装置及自动驾驶车辆

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529469A (zh) * 2016-11-08 2017-03-22 华北水利水电大学 基于自适应坡度的无人机载LiDAR点云滤波方法
US20190179024A1 (en) * 2017-12-13 2019-06-13 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using voxel grids
US20190205695A1 (en) * 2017-12-29 2019-07-04 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for determining matching relationship between point cloud data
CN110609290A (zh) * 2019-09-19 2019-12-24 北京智行者科技有限公司 激光雷达匹配定位方法及装置
CN111179274A (zh) * 2019-12-30 2020-05-19 深圳一清创新科技有限公司 地图地面分割方法、装置、计算机设备和存储介质
CN111402414A (zh) * 2020-03-10 2020-07-10 北京京东叁佰陆拾度电子商务有限公司 一种点云地图构建方法、装置、设备和存储介质
US20200342614A1 (en) * 2019-04-24 2020-10-29 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for point cloud registration, and computer readable medium
CN112446907A (zh) * 2020-11-19 2021-03-05 武汉中海庭数据技术有限公司 一种单线点云与多线点云配准的方法及装置
US20210148709A1 (en) * 2019-11-14 2021-05-20 Nio Usa, Inc. Real-time ground surface segmentation algorithm for sparse point clouds
CN112884903A (zh) * 2021-03-22 2021-06-01 浙江浙能兴源节能科技有限公司 一种行车三维建模系统及其方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101740259B1 (ko) * 2011-10-07 2017-05-29 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
CN111353969B (zh) * 2018-12-20 2023-09-26 长沙智能驾驶研究院有限公司 道路可行驶区域的确定方法、装置及计算机设备
CN111445472B (zh) * 2020-03-26 2023-05-12 达闼机器人股份有限公司 激光点云地面分割方法、装置、计算设备及存储介质
CN113436336B (zh) * 2021-06-22 2024-01-12 京东鲲鹏(江苏)科技有限公司 地面点云分割方法和装置及自动驾驶车辆

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529469A (zh) * 2016-11-08 2017-03-22 华北水利水电大学 基于自适应坡度的无人机载LiDAR点云滤波方法
US20190179024A1 (en) * 2017-12-13 2019-06-13 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using voxel grids
US20190205695A1 (en) * 2017-12-29 2019-07-04 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for determining matching relationship between point cloud data
US20200342614A1 (en) * 2019-04-24 2020-10-29 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for point cloud registration, and computer readable medium
CN110609290A (zh) * 2019-09-19 2019-12-24 北京智行者科技有限公司 激光雷达匹配定位方法及装置
US20210148709A1 (en) * 2019-11-14 2021-05-20 Nio Usa, Inc. Real-time ground surface segmentation algorithm for sparse point clouds
CN111179274A (zh) * 2019-12-30 2020-05-19 深圳一清创新科技有限公司 地图地面分割方法、装置、计算机设备和存储介质
CN111402414A (zh) * 2020-03-10 2020-07-10 北京京东叁佰陆拾度电子商务有限公司 一种点云地图构建方法、装置、设备和存储介质
CN112446907A (zh) * 2020-11-19 2021-03-05 武汉中海庭数据技术有限公司 一种单线点云与多线点云配准的方法及装置
CN112884903A (zh) * 2021-03-22 2021-06-01 浙江浙能兴源节能科技有限公司 一种行车三维建模系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯绍权等: "一种自适应的坡度阈值地面点云分割方法", 《测绘科学》, vol. 46, no. 1, pages 156 - 161 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267711A1 (zh) * 2021-06-22 2022-12-29 京东鲲鹏(江苏)科技有限公司 地面点云分割方法和装置及自动驾驶车辆

Also Published As

Publication number Publication date
WO2022267711A1 (zh) 2022-12-29
EP4361958A1 (en) 2024-05-01
KR20240024778A (ko) 2024-02-26
CN113436336B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN110031824B (zh) 激光雷达联合标定方法及装置
CN109143207B (zh) 激光雷达内参精度验证方法、装置、设备及介质
CN109635816B (zh) 车道线生成方法、装置、设备以及存储介质
CN111179274B (zh) 地图地面分割方法、装置、计算机设备和存储介质
JP2018194562A (ja) 道路境界検出方法及び装置
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
US20230386076A1 (en) Target detection method, storage medium, electronic device, and vehicle
CN113050993A (zh) 基于激光雷达的检测方法、装置及计算机可读存储介质
WO2022179094A1 (zh) 车载激光雷达外参数联合标定方法、系统、介质及设备
WO2021212477A1 (zh) 校正点云数据的方法和相关装置
CN112085843B (zh) 一种隧道类目标特征实时提取及测量方法和装置
CN112560800B (zh) 路沿检测方法、装置及存储介质
WO2023179717A1 (zh) 用于激光雷达的点云处理方法、装置、设备及存储介质
WO2023179718A1 (zh) 用于激光雷达的点云处理方法、装置、设备及存储介质
WO2021051736A1 (zh) 感知区域的确定方法、装置、存储介质及车辆
CN115980680A (zh) 标定方法和装置
CN114494075A (zh) 基于三维点云的障碍物识别方法、电子设备和存储介质
CN114047487A (zh) 雷达和车体的外参标定方法、装置、电子设备和存储介质
CN112558043A (zh) 一种激光雷达的标定方法及电子设备
CN113436336A (zh) 地面点云分割方法和装置及自动驾驶车辆
US20220254062A1 (en) Method, device and storage medium for road slope predicating
CN114219770A (zh) 地面检测方法、装置、电子设备及存储介质
CN114170596A (zh) 姿态识别方法、装置、电子设备、工程机械和存储介质
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN115511944A (zh) 基于单相机的尺寸估计方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant