CN114994684B - 多雷达数据融合的扬尘场景下障碍物检测方法与系统 - Google Patents

多雷达数据融合的扬尘场景下障碍物检测方法与系统 Download PDF

Info

Publication number
CN114994684B
CN114994684B CN202210623207.9A CN202210623207A CN114994684B CN 114994684 B CN114994684 B CN 114994684B CN 202210623207 A CN202210623207 A CN 202210623207A CN 114994684 B CN114994684 B CN 114994684B
Authority
CN
China
Prior art keywords
point cloud
laser radar
radar
obj
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210623207.9A
Other languages
English (en)
Other versions
CN114994684A (zh
Inventor
谢国涛
曹昌
秦晓辉
徐彪
秦兆博
王晓伟
秦洪懋
边有钢
胡满江
丁荣军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Institute Of Intelligent Control Hunan University
Original Assignee
Wuxi Institute Of Intelligent Control Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Institute Of Intelligent Control Hunan University filed Critical Wuxi Institute Of Intelligent Control Hunan University
Priority to CN202210623207.9A priority Critical patent/CN114994684B/zh
Publication of CN114994684A publication Critical patent/CN114994684A/zh
Application granted granted Critical
Publication of CN114994684B publication Critical patent/CN114994684B/zh
Priority to PCT/CN2023/109851 priority patent/WO2023232165A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/36Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495Counter-measures or counter-counter-measures using electronic or electro-optical means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种多雷达数据融合的扬尘场景下障碍物检测方法与系统,其包括:步骤S1,获取多雷达数据;步骤S2,将多雷达数据中的激光雷达点云转换为矩阵化后的点云深度图;步骤S3,计算点云深度图上点云坡度特征,并根据连通域搜索获得非地面特征点云聚类,将单个连通域内特征点云数量超过阈值的点云聚类作为障碍物点云聚类,计算非地面特征点云聚类离地高度、连通度和表面离散度;步骤S4,将多雷达数据中的毫米波雷达障碍物检测数据的坐标转换到激光雷达坐标系下,并根据激光雷达目标与毫米波雷达目标之间的距离和/或交并比,计算单个激光雷达的关联特征值;步骤S5,计算点云聚类为灰尘点云聚类的概率,并获得非扬尘障碍物的点云聚类位置。

Description

多雷达数据融合的扬尘场景下障碍物检测方法与系统
技术领域
本发明涉及雷达数据融合技术领域,特别是关于一种多雷达数据融合的扬尘场景下障碍物检测方法与系统。
背景技术
在矿山运输场景中,矿用自卸车具有载重大、稳定性好等特点,因此矿用自卸车成为了矿山中的重要运输装备。在以往的生产场景中矿用自卸车往往由具有丰富驾驶经验的卡车司机来驾驶,但由于工作环境恶劣、位置偏远、工作要求高等原因,矿用自卸车司机招聘愈发困难,因此通过实现矿用自卸车的自动驾驶来减少矿山运输对人工的依赖程度,对于促进未来矿山生产、运输的发展具有重要意义。而实现道路中障碍物的精准、稳定检测对于实现矿用自卸车自动驾驶具有重要意义,精准、稳定的障碍物检测能够让矿用自卸车提前规划安全行驶路径,避免与障碍物发生碰撞而发生安全事故。
然而,目前矿山环境下的障碍物检测还面临着诸多挑战,例如非结构化的道路环境、扬尘引起的传感器噪声、夜间行驶环境亮度偏低等问题。非结构化的道路路面崎岖不平,难以直接提取道路地面信息,对障碍物提取产生了阻碍;扬尘易使传感器产生噪声数据,错误提取扬尘特征数据,使障碍物检测算法产生误检;夜间亮度偏低则易使摄像头图像质量偏低,难以提取出有效特征数据,从而使图像障碍物检测算法产生漏检。因此矿山环境下的障碍物检测系统正逐步向着多传感器融合的方向推进,通过融合多个传感器的数据,解决单一传感器在面临具有挑战的矿山场景时可能出现的误检、漏检问题,实现矿山环境下障碍物的精准、稳定的检测。
发明内容
本发明的目的在于提供一种多雷达数据融合的扬尘场景下障碍物检测方法与系统,其能够精准、稳定检测扬尘场景下障碍物目标。
为实现上述目的,本发明提供一种多雷达数据融合的障碍物检测方法,其包括:
步骤S1,获取多雷达数据;
步骤S2,将所述多雷达数据中的激光雷达点云转换为矩阵化后的点云深度图;
步骤S3,计算所述点云深度图上点云坡度特征,并根据连通域搜索获得非地面特征点云聚类,将单个所述连通域内特征点云数量超过阈值的点云聚类作为障碍物点云聚类,计算所述非地面特征点云聚类离地高度、连通度和表面离散度;
步骤S4,将所述多雷达数据中的毫米波雷达障碍物检测数据的坐标转换到激光雷达坐标系下,并根据激光雷达目标与毫米波雷达目标之间的距离和/或交并比,计算单个激光雷达的关联特征值;
步骤S5,计算点云聚类为灰尘点云聚类的概率,并获得非扬尘障碍物的点云聚类位置。
进一步地,所述步骤S3中的所述点云坡度特征α通过所述点云深度图中上、下相邻两障碍物特征点p1、p2形成的直线与激光雷达坐标系xy平面之间的角度获得,如式(3)所示:
Figure BDA0003675413150000021
式中,(x1,y1,z1)、(x2,y2,z2)分别为p1、p2点在激光雷达坐标系中的坐标,l1,2为p1、p2在所述xy平面上的距离。
进一步地,所述步骤S3中连通域搜索包括对所述点云深度图的上下方向和左右方向的搜索,将p1、p2之间欧式空间几何距离阈值l2thresh的计算公式设置为式(5),将p1、p2之间的连通域聚类判断条件设置为式(6)和式(7):
Figure BDA0003675413150000022
Figure BDA0003675413150000023
Figure BDA0003675413150000024
式中,k为距离阈值系数,β为p1、p2分别与激光雷达的几何中心连线形成的夹角,max_d为p1、p2中与激光雷达的几何中心距离较远的点与激光雷达原点之间的距离,b为预设的固定偏置系数,(row1,col1)、(row2,col2)分别为p1、p2在所述点云深度图中的坐标。
进一步地,步骤S4中根据激光雷达目标与毫米波雷达目标之间的距离和/或交并比,计算单个激光雷达的关联特征值的方法包括:
步骤S41,判断激光雷达目标与毫米波雷达目标是否关联,若是,则进入步骤S42;
步骤S42,采用式(16)或式(17)计算单个激光雷达的关联特征值:
Figure BDA0003675413150000031
Figure BDA0003675413150000032
Figure BDA0003675413150000033
式中,single_relevancy、obj_relevancy均表示单个激光雷达的关联特征值,rectA表示激光雷达的目标矩形框,rectB表示毫米波雷达的目标矩形框,∩表示交集,∪表示并集,rectc表示能够将rectA、rectB包围的最小矩形框,numobj_rele为与当前激光雷达目标成功关联的毫米波雷达目标数量,single_relevancyn表示第n个激光雷达的关联特征值,max_single_relevancy表示当前激光雷达的最大关联特征值。
进一步地,步骤S41具体包括:
步骤S411,判断激光雷达目标与毫米波雷达目标是否产生重叠,若是,则可直接认为两者成功关联,若两目标未发生重叠,则进入步骤S412;
步骤S412,判断毫米波雷达目标与激光雷达目标之间的距离是否小于关联距离阈值connect_distance_thresh,若是,则认为该毫米波雷达目标与该激光雷达目标成功关联。
进一步地,所述步骤S5中,利用下式(19)计算该点云聚类属于扬尘点云聚类的概率dust_probability:
dust_probability=k1×obj_height+k2×obj_ratio+k3×obj_discrete+k4×obj_relevancy,    #(19)
式中,k1、k2、k3、k4分别为不同特征的缩放系数,obj_height、obj_ratio、obj_discrete为通过所述步骤S3获得的所述非地面特征点云聚类离地高度、连通度和表面离散度,obj_relevancy为单个激光雷达的关联特征值。
本发明还提供一种多雷达数据融合的障碍物检测系统,其包括:
雷达数据获取单元,其用于获取多雷达数据;
点云深度图转换单元,其用于将所述多雷达数据中的激光雷达点云转换为矩阵化后的点云深度图;
点云特征计算单元,其用于计算所述点云深度图上点云坡度特征,并根据连通域搜索获得非地面特征点云聚类,将单个所述连通域内特征点云数量超过阈值的点云聚类作为障碍物点云聚类,计算所述非地面特征点云聚类离地高度、连通度和表面离散度;
关联特征计算单元,其用于将所述多雷达数据中的毫米波雷达障碍物检测数据的坐标转换到激光雷达坐标系下,并根据激光雷达目标与毫米波雷达目标之间的距离和/或交并比,计算单个激光雷达的关联特征值;
概率计算单元,其用于计算点云聚类为灰尘点云聚类的概率,并获得非扬尘障碍物的点云聚类位置。
进一步地,所述点云特征计算单元中的所述点云坡度特征α通过所述点云深度图中上、下相邻两障碍物特征点p1、p2形成的直线与激光雷达坐标系xy平面之间的角度获得,如式(3)所示:
Figure BDA0003675413150000041
式中,(x1,y1,z1)、(x2,y2,z2)分别为p1、p2点在激光雷达坐标系中的坐标,l1,2为p1、p2在所述xy平面上的距离。
进一步地,所述点云特征计算单元中连通域搜索包括对所述点云深度图的上下方向和左右方向的搜索,将p1、p2之间欧式空间几何距离阈值l2thresh的计算公式设置为式(5),将p1、p2之间的连通域聚类判断条件设置为式(6)和式(7):
Figure BDA0003675413150000042
Figure BDA0003675413150000043
Figure BDA0003675413150000044
式中,k为距离阈值系数,β为p1、p2分别与激光雷达的几何中心连线形成的夹角,max_d为p1、p2中与激光雷达的几何中心距离较远的点与激光雷达原点之间的距离,b为预设的固定偏置系数,(row1,col1)、(row2,col2)分别为p1、p2在所述点云深度图中的坐标。
进一步地,所述概率计算单元中,利用下式(19)计算该点云聚类属于扬尘点云聚类的概率dust_probability:
dust_probability=k1×obj_height+k2×obj_ratio+k3×obj_discrete+k4×obj_relevancy,    #(19)
式中,k1、k2、k3、k4分别为不同特征的缩放系数,obj_height、obj_ratio、obj_discrete为通过所述步骤S3获得的所述非地面特征点云聚类离地高度、连通度和表面离散度,obj_relevancy为单个激光雷达的关联特征值。
本发明由于采取以上技术方案,其具有以下优点:
1、本发明不依赖于深度学习,因此不需要额外标注数据以及额外增加计算资源,部署与应用难度较低;
2、传感器为激光雷达与毫米波雷达,不需要提供额外的光线照明,夜间也可正常工作,满足矿山夜间运输需求;
3、通过多传感器数据融合有效减少扬尘、雨雪等产生的误检,在矿山扬尘场景下障碍物检测功能依然具有较高的稳定性与准确性。
附图说明
图1为本发明实施例提供的传感器安装示意图。
图2为本发明实施例提供的障碍物检测方法流程图。
图3为本发明实施例提供的点云坡度计算示意图。
图4为本发明实施例提供的欧式空间几何距离阈值设置示意图。
图5为本发明实施例提供的目标关联判断示意图。
具体实施方式
在附图中,使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
在本发明的描述中,术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明保护范围的限制。
在不冲突的情况下,本发明各实施例及各实施方式中的技术特征可以相互组合,并不局限于该技术特征所在的实施例或实施方式中。
下面结合附图以及具体实施例对本发明做进一步的说明,需要指出的是,下面仅以一种最优化的技术方案对本发明的技术方案以及设计原理进行详细阐述,但本发明的保护范围并不仅限于此。
本文涉及下列术语,为便于理解,对其含义说明如下。本领域技术人员应当理解,下列术语也可能有其它名称,但在不脱离其含义的情形下,其它任何名称都应当被认为与本文所列术语一致。
传统基于单一传感器的障碍物检测方法在矿山环境下往往具有严重的问题,例如,摄像头在弱光照环境下曝光不足,成像效果差,因此基于摄像头的障碍物检测方法在夜间检测效果差,漏检率高,难以满足矿山夜间的弱光照运输环境使用需求;激光雷达波长较短,易受扬尘、雨、雪等悬浮物影响产生噪声数据,因此基于激光雷达的障碍物检测方法在矿山扬尘环境下极易产生误检;毫米波雷达数据纬度低、信息量少,单一基于毫米波雷达难以实现稳定的障碍物检测。因此本发明意图通过融合激光雷达与毫米波雷达数据,结合激光雷达数据丰富、毫米波雷达不受扬尘影响与两者均不受光照影响的特性,实现矿山运输场景下障碍物的精准、稳定检测。
本发明实施例提供的多雷达数据融合的障碍物检测方法包括:
步骤S1,获取多雷达数据。
多雷达数据包括由激光雷达获取的激光雷达点云与由毫米波雷达获取的毫米波雷达障碍物检测数据。
本实施例中,激光雷达和毫米波雷达的安装方式如图1所示,箭头所指方向为车辆行驶正方向,激光雷达(Lidar)与毫米波雷达(Radar)均安装于车辆前部,其中激光雷达安装靠上,毫米波雷达安装靠下,二者在正方向角度差较小,二者的检测区域重合度较高,例如:毫米波雷达安装位置高于地面30cm且小于1m,激光雷达则安装于毫米波雷达上方1m至2m的范围内,这样有利于传感器信息的融合。
步骤S2,将所述多雷达数据中的激光雷达点云转换为矩阵化后的点云深度图。
本实施例中,使用如下式(1)和式(2)所示的投影模型将所述多雷达数据中的激光雷达点云转换为矩阵化后的点云深度图:
Figure BDA0003675413150000071
Figure BDA0003675413150000072
式中,
Figure BDA0003675413150000073
分别为点云投影后在点云深度图上所处位置横、纵坐标,θ0、φ0分别为点云矩阵化横、纵起始角度,(x、y、z)为激光点在以激光雷达扫描中心及方向确定的激光雷达坐标系下的三维空间坐标,Δθ、Δφ分别为点云矩阵化横、纵角度分辨率,该矩阵化分辨率可以通过参考激光雷达扫描角度分辨率确定。
步骤S3,计算所述点云深度图上点云坡度特征,并根据连通域搜索获得非地面特征点云聚类,将单个所述连通域内特征点云数量超过点云数量阈值point_numobj_thresh的非地面点云聚类作为障碍物点云聚类,计算所述非地面特征点云聚类离地高度、连通度和表面离散度。
其中,点云数量阈值point_numobj_thresh根据所要检测的最小障碍物大小设置得到。
在一个实施例中,如图3所示,步骤S3中的所述点云坡度特征α通过所述点云深度图中上、下相邻两点p1、p2形成的直线与激光雷达坐标系xy平面之间的角度获得,如式(3)所示:
Figure BDA0003675413150000074
式中,(x1,y1,z1)、(x2,y2,z2)分别为p1、p2点在激光雷达坐标系中的坐标,l1,2为p1、p2在所述xy平面上的距离,如式(4)所示。
Figure BDA0003675413150000075
于是,障碍物点云聚类中的障碍物特征点云的获取方法包括:根据所在道路路面的最大坡度角和实际调试经验可以设定阈值α0,如果大于该阈值α0即可认为该点是障碍物特征点。
在一个实施例中,步骤S3中连通域搜索包括对所述点云深度图的上下方向和左右方向的搜索,将p1、p2之间欧式空间几何距离阈值l2thresh的计算公式设置为式(5),将p1、p2之间的连通域聚类判断条件设置为式(6)和式(7):
Figure BDA0003675413150000081
Figure BDA0003675413150000082
Figure BDA0003675413150000083
式中,k为距离阈值系数,通常根据实际调试范围为1-2之间,β为p1、p2分别与与激光雷达的几何中心连线形成的夹角,max_d为p1、p2中与激光雷达的几何中心距离较远的点与激光雷达的几何中心之间的距离,b为预设的固定偏置系数,偏置系数通常设置为略大于激光雷达测量精度,(row1,col1)、(row2,col2)分别为p1、p2在所述点云深度图中的坐标。
在一个实施例中,步骤S3中点云聚类离地高度为求点云聚类最低点到地面平面距离,在本方法中结合随机采样一致性算法与最小二乘法进行地面平面拟合。随机采样一致性算法首先每次取三个点确定一个平面方程,然后找出所有与该平面距离小于阈值的点作为该次模型内点,根据所需要的的模型精度设置迭代次数num_iter,迭代采样并确定模型num_iter次,最终选择模型内点数量最多的所对应的平面方程作为随机采样一致性模型。
设最小二乘法待求解地面平面方程x、y、z三轴系数分别为A、B、C,则在激光雷达坐标系下最小二乘法所求得的地面平面方程可以表示为Ax+By+Cz+1=0,因此点与模型之间的误差可以表示为f(x,y,z)=Ax+By+Cz+1,点云与模型误差的平方和可以表示为
Figure BDA0003675413150000084
(xi,yi,zi)表示第i个点在激光雷达坐标系中的坐标。
根据导数的性质可以将求解误差平方和S最小的问题转化为求解如下方程(8):
Figure BDA0003675413150000085
将最终随机采样一致性模型内点集代入上式中得到如下公式(9):
Figure BDA0003675413150000091
将式(9)化简,可以得到如下表达式(10):
Figure BDA0003675413150000092
然后找到点云聚类中z轴值最小的点,代入公式(11)即可得到点云聚类离地高度:
Figure BDA0003675413150000093
步骤S3中特征点云连通度obj_ratio为点云聚类附近非聚类特征点数目point_numno_obj与障碍物本身特征点数目point_numobj之比,如下式(12)所示,表示当前点云聚类附近无法被正确连通搜索的特征点云比例,用于表征点云聚类附近噪音点云比例。
使用点云深度图搜索和欧式聚类结合的方式对点云聚类附近的点云进行搜索,以点云聚类在点云深度图上横纵坐标的最大值以及最小值为范围获得位于该矩形区域内的点云,然后使用欧式聚类获得与当前聚类点云处于同一聚类的点云,最后去除其中已经被包含在其他点云聚类的点云,最终剩余的则是点云聚类附近非聚类特征点云。则点云聚类特征点云连通度计算公式为:
Figure BDA0003675413150000094
式中,point_numno_obj为点云聚类附近非聚类特征点数目,point_numobj为障碍物本身特征点数目。
步骤S3中表面离散度用于表征点云聚类表面连续、平滑程度。点云聚类单个点表面离散度point_discrete的计算公式如式(13)所示:
point_discrete=huber(|2×xmid-xleft-xright|),    #(13)
Figure BDA0003675413150000101
式中,xleft、xmid、xright为在点云深度图上相邻的三个点在x轴方向上的值。则点云聚类表面离散度obj_discrete可以表示为下式(15):
Figure BDA0003675413150000102
步骤S4,将所述多雷达数据中的毫米波雷达障碍物检测数据的坐标转换到激光雷达坐标系下,并根据距离和/或交并比(英文全称为Intersection overUnion),计算单个激光雷达的关联特征值。
步骤S4中关联特征计算包括两部分,分别是目标级关联判断以及关联特征值计算。目标级关联判断使用如图所示的激光雷达目标与毫米波雷达目标的一对多关联算法,关联策略包含重叠判断及距离判断两种。若激光雷达目标与毫米波雷达目标产生重叠,则可直接认为两者成功关联,若两目标未发生重叠,则设置关联距离阈值为connect_distance_thresh,若毫米波雷达目标与激光雷达目标之间的距离小于阈值connect_distance_thresh,则认为该毫米波雷达目标与该激光雷达目标成功关联,该关联距离阈值通常设置为所要检测的最小障碍物大小的两到三倍。
对关联成功的激光雷达与毫米波雷达,根据激光雷达目标与毫米波雷达目标之间的交并比,如下式(16)所示,计算单个激光雷达的关联特征值single_relevancy:
Figure BDA0003675413150000103
式中,rectA表示激光雷达的目标矩形框,rectB表示毫米波雷达的目标矩形框,∩表示交集,∪表示并集,rectC表示能够将rectA、rectB包围的最小矩形框。
在一个实施例中,激光雷达目标可能有多个毫米波雷达目标与其关联,因此单个激光雷达的关联特征值obj_relevancy可以统一表示为下式(17):
Figure BDA0003675413150000111
Figure BDA0003675413150000112
式中,numobj_rele为与当前激光雷达目标成功关联的毫米波雷达目标数量,single_relevancyn表示第n个激光雷达的关联特征值。对于无毫米波雷达目标与之成功关联的激光雷达目标,其关联特征值为0。
步骤S5,计算点云聚类为灰尘点云聚类的概率,并获得非扬尘障碍物的点云聚类位置。
在一个实施中,利用下式(19)计算该点云聚类属于扬尘点云聚类的概率dust_probability:
dust_probability=k1×obj_height+k2×obj_ratio+k3×obj_discrete+k4×obj_relevancy,    #(19)
式中,k1、k2、k3、k4分别为不同特征的缩放系数,根据不同特征在扬尘判断中的重要程度设置不同特征的缩放系数,并将最终概率值缩放到1附近,obj_height、obj_ratio、obj_discrete为通过所述步骤S3获得的所述非地面特征点云聚类离地高度、连通度和表面离散度,obj_relevancy为单个激光雷达的关联特征值。
需要说明的是,也可以将式(19)中的一次函数替换成二次函数或三次函数,实现特征的统一。
本发明实施例还提供一种多雷达数据融合的障碍物检测系统,其包括雷达数据获取单元、点云深度图转换单元、点云特征计算单元、关联特征计算单元和概率计算单元,其中:
雷达数据获取单元用于获取多雷达数据。
点云深度图转换单元用于将所述多雷达数据中的激光雷达点云转换为矩阵化后的点云深度图。
点云特征计算单元用于计算所述点云深度图上点云坡度特征,并根据连通域搜索获得非地面特征点云聚类,将单个所述连通域内特征点云数量超过阈值的点云聚类作为障碍物点云聚类,计算所述非地面特征点云聚类离地高度、连通度和表面离散度。
关联特征计算单元用于将所述多雷达数据中的毫米波雷达障碍物检测数据的坐标转换到激光雷达坐标系下,并根据距离和/或交并比,计算单个激光雷达的关联特征值。
概率计算单元用于计算点云聚类为灰尘点云聚类的概率,并获得非扬尘障碍物的点云聚类位置。
所述点云特征计算单元中的所述点云坡度特征通过所述点云深度图中上、下相邻两点p1、p2形成的直线与激光雷达坐标系xy平面之间的角度α获得,如式(3)所示:
Figure BDA0003675413150000121
式中,(x1,y1,z1)、(x2,y2,z2)分别为p1、p2点在激光雷达坐标系中的坐标,l1,2为p1、p2在所述xy平面上的距离。
所述点云特征计算单元中连通域搜索包括对所述点云深度图的纵向和横向两个方向的搜索,将p1、p2之间欧式空间几何距离阈值l2thresh的计算公式设置为式(5),将两障碍物特征点之间的连通域聚类判断条件设置为式(6)和式(7):
Figure BDA0003675413150000122
Figure BDA0003675413150000123
Figure BDA0003675413150000124
式中,k为距离阈值系数,β为p1、p2分别与激光雷达原点连线形成的夹角,max_d为p1、p2中与激光雷达距离较远的点与激光雷达原点之间的距离,b为预设的固定偏置系数,(row1,col1)、(row2,col2)分别为p1、p2在所述点云深度图中的坐标。
所述概率计算单元中,利用下式(19)计算该点云聚类属于扬尘点云聚类的概率dust_probability:
dust_probability=k1×obj_height+k2×obj_ratio+k3×obj_discrete+k4×obj_relevancy,    #(19)
式中,k1、k2、k3、k4分别为不同特征的缩放系数,obj_height、obj_ratio、obj_discrete为通过所述步骤S3获得的所述非地面特征点云聚类离地高度、连通度和表面离散度,obj_relevancy为单个激光雷达的关联特征值。
步骤S7中将dust_probability小于1的点云聚类作为真实障碍物点云聚类进行输出。
现有发明或依赖单一传感器不够稳定,或无法有效应对扬尘问题,或无法工作于夜间环境,因此本发明融合激光雷达与毫米波雷达的不同特性,提出了一种基于一种多雷达数据融合的扬尘场景下的障碍物检测方法与系统,通过特征计算以及传感器回波特性融合实现了扬尘场景下的障碍物稳定、精确检测,且在夜间也能正常工作,对于实现矿山场景下的无人驾驶具有重要意义,对于城市环境下雨雪、扬尘场景的自动驾驶也具有重要意义。
本发明除了适用于矿用自卸车,还可以适用于如卡车、挖掘机等其他运载装备或工程车辆。应用场景除了矿山外,也可应用于如城市、乡村等其他环境下,同样具有应对扬尘、雨雪等场景的功能。
最后需要指出的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。本领域的普通技术人员应当理解:可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种多雷达数据融合的障碍物检测方法,其特征在于,包括:
步骤S1,获取多雷达数据;
步骤S2,将所述多雷达数据中的激光雷达点云转换为矩阵化后的点云深度图;
步骤S3,计算所述点云深度图上点云坡度特征,并根据连通域搜索获得非地面特征点云聚类,将单个所述连通域内特征点云数量超过阈值的点云聚类作为障碍物点云聚类,计算所述非地面特征点云聚类离地高度、连通度和表面离散度;
步骤S4,将所述多雷达数据中的毫米波雷达障碍物检测数据的坐标转换到激光雷达坐标系下,并根据激光雷达目标与毫米波雷达目标之间的距离和/或交并比,计算单个激光雷达的关联特征值;
步骤S5,计算点云聚类为灰尘点云聚类的概率,并获得非扬尘障碍物的点云聚类位置;
步骤S4中根据激光雷达目标与毫米波雷达目标之间的距离和/或交并比,计算单个激光雷达的关联特征值的方法包括:
步骤S41,判断激光雷达目标与毫米波雷达目标是否关联,若是,则进入步骤S42;
步骤S42,采用式(16)或式(17)计算单个激光雷达的关联特征值:
Figure FDA0004174711260000011
Figure FDA0004174711260000012
Figure FDA0004174711260000013
式中,single_relevancy、obj_relevancy均表示单个激光雷达的关联特征值,rectA表示激光雷达的目标矩形框,rectB表示毫米波雷达的目标矩形框,∩表示交集,∪表示并集,rectC表示能够将rectA、rectB包围的最小矩形框,numobj_rele为与当前激光雷达目标成功关联的毫米波雷达目标数量,single_relevancyn表示第n个激光雷达的关联特征值,max_single_relevancy表示当前激光雷达的最大关联特征值。
2.如权利要求1所述的多雷达数据融合的障碍物检测方法,其特征在于,所述步骤S3中的所述点云坡度特征α通过所述点云深度图中上、下相邻两障碍物特征点p1、p2形成的直线与激光雷达坐标系xy平面之间的角度获得,如式(3)所示:
Figure FDA0004174711260000021
式中,(x1,y1,z1)、(x2,y2,z2)分别为p1、p2点在激光雷达坐标系中的坐标,l1,2为p1、p2在所述xy平面上的距离。
3.如权利要求1所述的多雷达数据融合的障碍物检测方法,其特征在于,所述步骤S3中连通域搜索包括对所述点云深度图的上下方向和左右方向的搜索,将p1、p2之间欧式空间几何距离阈值l2thresh的计算公式设置为式(5),将p1、p2之间的连通域聚类判断条件设置为式(6)和式(7):
Figure FDA0004174711260000022
Figure FDA0004174711260000023
Figure FDA0004174711260000024
式中,k为距离阈值系数,β为p1、p2分别与激光雷达的几何中心连线形成的夹角,max_d为p1、p2中与激光雷达的几何中心距离较远的点与激光雷达原点之间的距离,b为预设的固定偏置系数,(row1,col1)、(row2,col2)分别为p1、p2在所述点云深度图中的坐标。
4.如权利要求1所述的多雷达数据融合的障碍物检测方法,其特征在于,步骤S41具体包括:
步骤S411,判断激光雷达目标与毫米波雷达目标是否产生重叠,若是,则可直接认为两者成功关联,若两目标未发生重叠,则进入步骤S412;
步骤S412,判断毫米波雷达目标与激光雷达目标之间的距离是否小于关联距离阈值connect_distance_thresh,若是,则认为该毫米波雷达目标与该激光雷达目标成功关联。
5.如权利要求1-4中任一项所述的多雷达数据融合的障碍物检测方法,其特征在于,所述步骤S5中,利用下式(19)计算该点云聚类属于扬尘点云聚类的概率dust_probability:
dust_probability=k1×obj_height+k2×obj_ratio
+k3×obj_discrete+k4×obj_relevancy,#(19)
式中,k1、k2、k3、k4分别为不同特征的缩放系数,obj_height、obj_ratio、obj_discrete为通过所述步骤S3获得的所述非地面特征点云聚类离地高度、连通度和表面离散度,obj_relevancy为单个激光雷达的关联特征值。
6.一种多雷达数据融合的障碍物检测系统,其特征在于,包括:
雷达数据获取单元,其用于获取多雷达数据;
点云深度图转换单元,其用于将所述多雷达数据中的激光雷达点云转换为矩阵化后的点云深度图;
点云特征计算单元,其用于计算所述点云深度图上点云坡度特征,并根据连通域搜索获得非地面特征点云聚类,将单个所述连通域内特征点云数量超过阈值的点云聚类作为障碍物点云聚类,计算所述非地面特征点云聚类离地高度、连通度和表面离散度;
关联特征计算单元,其用于将所述多雷达数据中的毫米波雷达障碍物检测数据的坐标转换到激光雷达坐标系下,并根据激光雷达目标与毫米波雷达目标之间的距离和/或交并比,计算单个激光雷达的关联特征值;
概率计算单元,其用于计算点云聚类为灰尘点云聚类的概率,并获得非扬尘障碍物的点云聚类位置;
关联特征计算单元中根据激光雷达目标与毫米波雷达目标之间的距离和/或交并比,计算单个激光雷达的关联特征值的方法包括:
判断激光雷达目标与毫米波雷达目标是否关联,若是,则采用式(16)或式(17)计算单个激光雷达的关联特征值:
Figure FDA0004174711260000031
Figure FDA0004174711260000032
Figure FDA0004174711260000041
式中,single_relevancy、obj_relevancy均表示单个激光雷达的关联特征值,rectA表示激光雷达的目标矩形框,rectB表示毫米波雷达的目标矩形框,∩表示交集,∪表示并集,rectC表示能够将rectA、rectB包围的最小矩形框,numobj_rele为与当前激光雷达目标成功关联的毫米波雷达目标数量,single_relevancyn表示第n个激光雷达的关联特征值,max_single_relevancy表示当前激光雷达的最大关联特征值。
7.如权利要求6所述的多雷达数据融合的障碍物检测系统,其特征在于,所述点云特征计算单元中的所述点云坡度特征α通过所述点云深度图中上、下相邻两障碍物特征点p1、p2形成的直线与激光雷达坐标系xy平面之间的角度获得,如式(3)所示:
Figure FDA0004174711260000042
式中,(x1,y1,z1)、(x2,y2,z2)分别为p1、p2点在激光雷达坐标系中的坐标,l12为p1、p2在所述xy平面上的距离。
8.如权利要求6所述的多雷达数据融合的障碍物检测系统,其特征在于,所述点云特征计算单元中连通域搜索包括对所述点云深度图的上下方向和左右方向的搜索,将p1、p2之间欧式空间几何距离阈值l2thresh的计算公式设置为式(5),将p1、p2之间的连通域聚类判断条件设置为式(6)和式(7):
Figure FDA0004174711260000043
Figure FDA0004174711260000044
Figure FDA0004174711260000045
式中,k为距离阈值系数,β为p1、p2分别与激光雷达的几何中心连线形成的夹角,max_d为p1、p2中与激光雷达的几何中心距离较远的点与激光雷达原点之间的距离,b为预设的固定偏置系数,(row1,col1)、(row2,col2)分别为p1、p2在所述点云深度图中的坐标。
9.如权利要求6-8中任一项所述的多雷达数据融合的障碍物检测系统,其特征在于,所述概率计算单元中,利用下式(19)计算该点云聚类属于扬尘点云聚类的概率dust_probability:
dust_probability=k1×obj_height+k2×obj_ratio
+k3×obj_discrete+k4×obj_relevancy,#(19)
式中,k1、k2、k3、k4分别为不同特征的缩放系数,obj_height、obj_ratio、obj_discrete为通过点云特征计算单元获得的所述非地面特征点云聚类离地高度、连通度和表面离散度,obj_relevancy为单个激光雷达的关联特征值。
CN202210623207.9A 2022-06-01 2022-06-01 多雷达数据融合的扬尘场景下障碍物检测方法与系统 Active CN114994684B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210623207.9A CN114994684B (zh) 2022-06-01 2022-06-01 多雷达数据融合的扬尘场景下障碍物检测方法与系统
PCT/CN2023/109851 WO2023232165A1 (zh) 2022-06-01 2023-07-28 多雷达数据融合的障碍物检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210623207.9A CN114994684B (zh) 2022-06-01 2022-06-01 多雷达数据融合的扬尘场景下障碍物检测方法与系统

Publications (2)

Publication Number Publication Date
CN114994684A CN114994684A (zh) 2022-09-02
CN114994684B true CN114994684B (zh) 2023-05-12

Family

ID=83031757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210623207.9A Active CN114994684B (zh) 2022-06-01 2022-06-01 多雷达数据融合的扬尘场景下障碍物检测方法与系统

Country Status (2)

Country Link
CN (1) CN114994684B (zh)
WO (1) WO2023232165A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114994684B (zh) * 2022-06-01 2023-05-12 湖南大学无锡智能控制研究院 多雷达数据融合的扬尘场景下障碍物检测方法与系统
CN115453570A (zh) * 2022-09-13 2022-12-09 北京踏歌智行科技有限公司 一种多特征融合的矿区粉尘滤除方法
CN116071550B (zh) * 2023-02-09 2023-10-20 安徽海博智能科技有限责任公司 一种激光雷达灰尘点云过滤方法
CN115877373B (zh) * 2023-02-20 2023-04-28 上海几何伙伴智能驾驶有限公司 结合激光雷达信息实现点云雷达聚类参数设计的方法
CN116125466B (zh) * 2023-03-02 2023-07-04 武汉理工大学 船舶人员隐藏威胁性物品携带检测方法、装置及电子设备
CN117789198B (zh) * 2024-02-28 2024-05-14 上海几何伙伴智能驾驶有限公司 基于4d毫米波成像雷达实现点云退化检测的方法
CN117872310B (zh) * 2024-03-08 2024-06-21 陕西欧卡电子智能科技有限公司 基于雷达的水面目标跟踪方法、装置、设备及介质
CN117872354B (zh) * 2024-03-11 2024-05-31 陕西欧卡电子智能科技有限公司 一种多毫米波雷达点云的融合方法、装置、设备及介质
CN118032605A (zh) * 2024-04-11 2024-05-14 北京路凯智行科技有限公司 矿山路面扬尘检测方法和检测系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3525000B1 (en) * 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene
CN109271944B (zh) * 2018-09-27 2021-03-12 百度在线网络技术(北京)有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
CN110244322B (zh) * 2019-06-28 2023-04-18 东南大学 基于多源传感器的路面施工机器人环境感知系统及方法
CN111537994B (zh) * 2020-03-24 2022-05-06 江苏徐工工程机械研究院有限公司 一种无人矿卡障碍物检测方法
CN111880196A (zh) * 2020-06-29 2020-11-03 安徽海博智能科技有限责任公司 一种无人矿车抗干扰方法、系统及计算机设备
CN112083441B (zh) * 2020-09-10 2023-04-21 湖南大学 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统
CN113192091B (zh) * 2021-05-11 2021-10-22 紫清智行科技(北京)有限公司 一种基于激光雷达与相机融合的远距离目标感知方法
CN113296120B (zh) * 2021-05-24 2023-05-12 福建盛海智能科技有限公司 一种障碍物检测方法及终端
CN114994684B (zh) * 2022-06-01 2023-05-12 湖南大学无锡智能控制研究院 多雷达数据融合的扬尘场景下障碍物检测方法与系统

Also Published As

Publication number Publication date
CN114994684A (zh) 2022-09-02
WO2023232165A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
CN114994684B (zh) 多雷达数据融合的扬尘场景下障碍物检测方法与系统
US8571265B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
CN108868268B (zh) 基于点到面距离和互相关熵配准的无人车位姿估计方法
Ma et al. Generation of horizontally curved driving lines in HD maps using mobile laser scanning point clouds
US20200202175A1 (en) Database construction system for machine-learning
CN117441113A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
CN110119698A (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN112346463B (zh) 一种基于速度采样的无人车路径规划方法
CN112414417B (zh) 自动驾驶地图生成方法、装置、电子设备及可读存储介质
US20210180958A1 (en) Graphic information positioning system for recognizing roadside features and method using the same
CN111413983A (zh) 一种无人驾驶车辆的环境感知方法及控制端
CN114724110A (zh) 目标检测方法及设备
CN113743171A (zh) 目标检测方法及装置
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN113706702A (zh) 矿区三维地图构建系统和方法
Bai et al. Stereovision based obstacle detection approach for mobile robot navigation
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
Ghallabi et al. LIDAR-based high reflective landmarks (HRL) s for vehicle localization in an HD map
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
CN115236673A (zh) 一种大型车辆多雷达融合感知系统和方法
Liu et al. Vehicle detection and tracking with 2d laser range finders
CN112985417B (zh) 移动机器人粒子滤波定位的位姿校正方法及移动机器人
CN116245996A (zh) 一种矿区非结构化道路的点云渲染方法及系统
WO2022133986A1 (en) Accuracy estimation method and system
CN116508071A (zh) 用于注释汽车雷达数据的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant