CN111856507B - 一种环境感测实现方法、智能移动设备和存储介质 - Google Patents

一种环境感测实现方法、智能移动设备和存储介质 Download PDF

Info

Publication number
CN111856507B
CN111856507B CN202010735513.2A CN202010735513A CN111856507B CN 111856507 B CN111856507 B CN 111856507B CN 202010735513 A CN202010735513 A CN 202010735513A CN 111856507 B CN111856507 B CN 111856507B
Authority
CN
China
Prior art keywords
obstacle
point set
intelligent mobile
laser
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010735513.2A
Other languages
English (en)
Other versions
CN111856507A (zh
Inventor
张干
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mumu Jucong Robot Technology Co ltd
Original Assignee
Shanghai Mumu Jucong Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Mumu Jucong Robot Technology Co ltd filed Critical Shanghai Mumu Jucong Robot Technology Co ltd
Priority to CN202010735513.2A priority Critical patent/CN111856507B/zh
Publication of CN111856507A publication Critical patent/CN111856507A/zh
Application granted granted Critical
Publication of CN111856507B publication Critical patent/CN111856507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种环境感测实现方法、智能移动设备和存储介质,其方法包括:从激光雷达扫描反馈得到的第一障碍物点集中分类得到临时障碍物点集和固定障碍物点集;根据获取的相对运动测量数据、临时障碍物点集,以及从毫米波雷达扫描反馈得到的第二障碍物点集筛选得到目标障碍物点集;根据目标障碍物点集的聚类结果以及相对运动测量数据,获取朝向靠近智能移动设备方向移动的目标动态障碍物的动态避障轮廓;根据固定障碍物点集聚类得到静态避障轮廓,根据静态避障轮廓和动态避障轮廓更新环境地图中的障碍物信息。本发明提高智能移动设备对静态障碍物和动态障碍物的识别敏感度,提高避障效果。

Description

一种环境感测实现方法、智能移动设备和存储介质
技术领域
本发明涉及障碍物识别技术领域,尤指一种环境感测实现方法、智能移动设备和存储介质。
背景技术
针对移动机器人或者智能车辆等智能移动设备来说,环境感知能力是智能移动设备的基础能力。
目前,智能移动设备上会安装二维激光雷达进行环境感知,但是而二维激光雷达由于自身原理的限制,只可以精确测量到障碍物的距离,但是无法区分动态障碍物还是静态障碍物。部分智能移动设备上会安装毫米波雷达进行环境感知,虽然毫米波雷达可以测量得到距离信息,还可以得到障碍物的相对毫米波雷达的速度,但毫米波雷达的分辨率比较差,返回的数据点比较少,同时对静态障碍物反应不敏感。
因此,如何提高智能移动设备对静态障碍物和动态障碍物的识别敏感度是亟需解决的问题。
发明内容
本发明的目的是提供一种环境感测实现方法、智能移动设备和存储介质,实现提高智能移动设备对静态障碍物和动态障碍物的识别敏感度,提高避障效果。
本发明提供的技术方案如下:
本发明提供一种环境感测实现方法,包括步骤:
从激光雷达扫描反馈得到的第一障碍物点集中分类得到临时障碍物点集和固定障碍物点集;
根据获取的相对运动测量数据、所述临时障碍物点集,以及从毫米波雷达扫描反馈得到的第二障碍物点集筛选得到目标障碍物点集;
根据所述目标障碍物点集的聚类结果以及所述相对运动测量数据,获取朝向靠近智能移动设备方向移动的目标动态障碍物的动态避障轮廓;
根据所述固定障碍物点集聚类得到静态避障轮廓,根据所述静态避障轮廓和动态避障轮廓更新环境地图中的障碍物信息。
进一步的,所述从激光雷达扫描反馈得到的第一障碍物点集中分类得到临时障碍物点集和固定障碍物点集包括步骤:
获取所述激光雷达扫描反馈得到的第一类激光点数据以建立所述第一障碍物点集;
将所述第一障碍物点集的各第一类激光点数据分别与所述环境地图中各第一区域进行重合判断;所述各第一区域为所述环境地图中的各个预设障碍物为圆心,预设值为半径分别生成的区域;
将与所述环境地图中所有第一区域均不重合的所有第一类激光点数据添加至同一个集合获得所述临时障碍物点集;
将与所述环境地图中任意一个第一区域重合的所有第一类激光点数据添加至同一个集合获得固定障碍物点集。
进一步的,所述根据获取的相对运动测量数据、所述临时障碍物点集,以及从毫米波雷达扫描反馈得到的第二障碍物点集筛选得到目标障碍物点集包括步骤:
获取所述毫米波雷达扫描反馈得到的第二类激光点数据以建立所述第二障碍物点集;
将所述临时障碍物点集的各第一类激光点数据分别与所述环境地图中各第二区域进行重合判断;所述各第二区域为以所述第二障碍物点集中的各个第二类激光点数据为圆心,预设值为半径分别生成的区域;
将属于所述临时障碍物点集且与任意一个第二区域重合的所有第一类激光点数据添加至同一个集合获得待定障碍物点集;
在智能移动设备处于移动状态时,根据所述相对运动测量数据中的相对距离以及相对运动速度,从所述待定障碍物点集中筛选出所有相对智能移动设备靠近移动的第一类激光点数据作为所述目标障碍物点集。
进一步的,所述根据所述目标障碍物点集的聚类结果以及所述相对运动测量数据,获取朝向靠近智能移动设备方向移动的目标动态障碍物的动态避障轮廓包括步骤:
将所述目标障碍物点集中各激光点数据进行聚类处理获取聚类中心点和簇族半径;
根据所述相对运动测量数据中的相对运动速度计算得到所述智能移动设备相对于所述动态障碍物的预测移动位移;
根据智能移动设备的预设中心点、所述预测移动位移、聚类中心点和簇族半径获取所述动态避障轮廓。
本发明还提供一种智能移动设备,包括:
第一扫描模块,用于通过激光雷达扫描反馈得到第一障碍物点集;
第二扫描模块,用于通过毫米波雷达扫描反馈得到第二障碍物点集;
分类处理模块,用于从第一障碍物点集中分类得到临时障碍物点集和固定障碍物点集;
筛选处理模块,用于根据获取的相对运动测量数据、所述临时障碍物点集,以及第二障碍物点集筛选得到目标障碍物点集;
轮廓生成模块,用于根据所述目标障碍物点集的聚类结果以及所述相对运动测量数据,获取朝向靠近智能移动设备方向移动的目标动态障碍物的动态避障轮廓,并根据所述固定障碍物点集聚类得到静态避障轮廓;
地图更新模块,用于根据所述固定障碍物点集聚类得到静态避障轮廓,根据所述静态避障轮廓和动态避障轮廓更新环境地图中的障碍物信息。
进一步的,所述分类处理模块包括:
第一判断单元,用于将所述第一障碍物点集的各第一类激光点数据分别与所述环境地图中各第一区域进行重合判断;所述各第一区域为所述环境地图中的各个预设障碍物为圆心,预设值为半径分别生成的区域;
第一归类单元,用于将与所述环境地图中所有第一区域均不重合的所有第一类激光点数据添加至同一个集合获得所述临时障碍物点集;将与所述环境地图中任意一个第一区域重合的所有第一类激光点数据添加至同一个集合获得固定障碍物点集。
进一步的,所述筛选处理模块包括:
第二判断单元,用于将所述临时障碍物点集的各第一类激光点数据分别与所述环境地图中各第二区域进行重合判断;所述各第二区域为以所述第二障碍物点集中的各个第二类激光点数据为圆心,预设值为半径分别生成的区域;
第二归类单元,用于将属于所述临时障碍物点集且与任意一个第二区域重合的所有第一类激光点数据添加至同一个集合获得待定障碍物点集;
筛选单元,用于在智能移动设备处于移动状态时,根据所述相对运动测量数据中的相对距离以及相对运动速度,从所述待定障碍物点集中筛选出所有相对智能移动设备靠近移动的第一类激光点数据作为所述目标障碍物点集。
进一步的,所述轮廓生成模块包括:
聚类单元,用于将所述目标障碍物点集中各激光点数据进行聚类处理获取聚类中心点和簇族半径;
计算单元,用于根据所述相对运动测量数据中的相对运动速度计算得到所述智能移动设备相对于所述动态障碍物的预测移动位移;
生成单元,用于根据智能移动设备的预设中心点、所述预测移动位移、聚类中心点和簇族半径获取所述动态避障轮廓。
本发明还提供一种存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如所述的环境感测实现方法所执行的操作。
通过本发明提供的一种环境感测实现方法、智能移动设备和存储介质,能够提高智能移动设备对静态障碍物和动态障碍物的识别敏感度,提高避障效果。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种环境感测实现方法、智能移动设备和存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种环境感测实现方法的一个实施例的流程图;
图2是本发明一种环境感测实现绘制椭圆的动态避障轮廓的效果示意图;
图3是本发明一种智能移动设备的一个实施例的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
另外,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
本发明的一个实施例,如图1所示,一种环境感测实现方法,包括:
S100从激光雷达扫描反馈得到的第一障碍物点集中分类得到临时障碍物点集和固定障碍物点集;
具体的,智能移动设备上同时安装有激光雷达和毫米波雷达,智能移动设备控制激光雷达扫描周围环境以获取第一障碍物点集。然后,智能移动设备根据第一障碍物点集进行区分其中的障碍物到底是固定障碍物还是临时障碍物,根据分类获取临时障碍物点集和固定障碍物点集。
其中,固定障碍物包括但是不限于墙、门、家具、路灯、盆栽、悬挂的吊灯、植物之类的在场景中相对保持不变的障碍物。临时障碍物包括但是不限于人、宠物、自行车、其他智能移动设备之类的在场景中处于移动状态的障碍物,以及智能移动设备由于测量精度原因误识别的障碍物。
S200根据获取的相对运动测量数据、临时障碍物点集,以及从毫米波雷达扫描反馈得到的第二障碍物点集筛选得到目标障碍物点集;
具体的,智能移动设备控制毫米波雷达扫描周围环境以获取第二障碍物点集。此外,智能移动设备获取相对运动测量数据,相对运动测量数据包括障碍物相对于智能移动设备移动的相对运动速度,障碍物与智能移动设备之间的相对距离,此为现有技术,在此不再一一赘述。相对运动速度可以根据毫米波雷达的扫描结果进行计算得到,也可以根据智能移动设备上安装的视觉传感器(例如摄像头、深度相机)拍摄得到图像数据进行图像识别分析计算得到,此为现有技术,在此不再一一赘述。不过,如果是深度相机进行测距,如果动态障碍物与智能移动设备之间的距离太近,实际计算出来的速度误差可能较大,因此,优选采用毫米波雷达或激光雷达进行测距。
智能移动设备获取到第二障碍物点集后,将临时障碍物点集中的点与第二障碍物点集的点分别一一进行匹配,以便查找出确定为同一临时障碍物的激光点数据得到待定障碍物点集,待定障碍物点集相当于临时障碍物点集与第二障碍物点集的交集集合,然后,从待定障碍物点集中筛选出出所有朝向靠近智能移动设备的方向移动的动态障碍物的激光点数据得到目标障碍物点集。
S300根据目标障碍物点集的聚类结果以及相对运动测量数据,获取朝向靠近智能移动设备方向移动的目标动态障碍物的动态避障轮廓;
S400根据固定障碍物点集聚类得到静态避障轮廓,根据静态避障轮廓和动态避障轮廓更新环境地图中的障碍物信息。
具体的,智能移动设备在场地上运行时,可以根据激光雷达和现有的SLAM技术建立智能移动设备所在场地的环境地图map,当然,也可以根据激光雷达、视觉传感器和现有的SLAM技术建立智能移动设备所在场地的环境地图map。智能移动设备筛选出目标障碍物点集后,通过聚类方式将目标障碍物点集中的激光点数据进行聚类处理得到对应的聚类结果,再根据相对运动测量数据和聚类结果,分析获得朝向靠近智能移动设备的方向移动的目标动态障碍物的动态避障轮廓。另外,智能移动设备通过聚类方式将固定障碍物点集中的激光点数据进行聚类处理得到对应的聚类结果,进而根据固定障碍物点集对应的聚类结果得到静态避障轮廓。然后,智能移动设备将动态避障轮廓和静态避障轮廓添加至事先建立的环境地图中,以便更新环境地图中的静态障碍物和动态障碍物对应的障碍物信息。
本实施例中,通过毫米波雷达协助检测分辨障碍物到底是动态障碍物和静态障碍物,并且结合激光雷达和毫米波雷达能够获取场地中朝向靠近智能移动设备的方向移动的目标动态障碍物的动态避障轮廓,智能移动设备监测场地中的动态障碍物和静态障碍物,以便智能移动设备后续使用动态避障轮廓和静态避障轮廓进行更新后环境地图,及时规划避障策略防止碰撞,辅助智能移动设备后续在未知环境下实现自主避障。
本发明的一个实施例,一种环境感测实现方法,包括:
S110获取激光雷达扫描反馈得到的第一类激光点数据以建立第一障碍物点集;
具体的,智能移动设备上的激光雷达向周围发射激光束作为探测信号,并接收反射回来的回波信号,根据探测信号和回波信号进行处理得到第一类激光点数据,汇总所有的第一类激光点数据得到第一障碍物点集U1={X1,X2,……,Xi},其中,Xi为第一类激光点数据的序号,i≥1且i∈正整数。
S120将第一障碍物点集的各第一类激光点数据分别与环境地图中各第一区域进行重合判断;各第一区域为环境地图中的各个预设障碍物为圆心,预设值为半径分别生成的区域;
S130将与环境地图中所有第一区域均不重合的所有第一类激光点数据添加至同一个集合获得临时障碍物点集;
S140将与环境地图中任意一个第一区域重合的所有第一类激光点数据添加至同一个集合获得固定障碍物点集;
具体的,通过激光雷达和/或视觉传感器结合SLAM技术生成的环境地图中,标记有预设障碍物,因此,智能移动设备可以判断激光雷达实时反馈的第一类激光点数据是否在环境地图上的任意一个预设障碍物的r米范围内,设定r为预设值,各个预设障碍物为圆心得到若干个第一区域。
如果当前第一类激光点数据Lk在任意一个预设障碍物的r米范围内,就认定当前第一类激光点数据Lk探测到的是固定障碍物,即当前第一类激光点数据Lk与环境地图中任意一个第一区域重合,将当前第一类激光点数据Lk划分到固定障碍物点集N中。
如果当前第一类激光点数据Lk不在任意一个预设障碍物的r米范围内,就认定当前第一类激光点数据Lk探测到的是临时障碍物,即当前第一类激光点数据Lk与环境地图中所有第一区域均不重合,将当前第一类激光点数据Lk划分到临时障碍物点集M中。然后,切换第一障碍物点集U1中的下一第一类激光点数据Lk+1继续延续上述方式进行分类,直至第一障碍物点集U1中的所有第一类激光点数据完成分类为止。通过激光雷达扫描得到的第一类激光点数据投影在环境地图上时,可能存在一点偏差,所以设定预设值的范围,将这种由于定位误差导致的不完全重合点去掉,留下那些距离环境地图map中的预设障碍物足够远的第一类激光点数据作为临时障碍物对应的激光点数据。
S210获取毫米波雷达扫描反馈得到的第二类激光点数据以建立第二障碍物点集;
具体的,智能移动设备控制毫米波雷达向周围发射毫弧度量级的激光束作为探测信号,并接收反射回来的回波信号,根据探测信号和回波信号进行处理得到第二类激光点数据,汇总所有的第二类激光点数据得到第二障碍物点集U2={Y1,Y2,……,Yj},其中,Yj为第二类激光点数据的序号,j≥1且j∈正整数)。其中,智能移动设备控制激光雷达和毫米波雷达以相同的扫描周期向周围发射探测信号,以保证智能移动设备提升同一时刻障碍物的检测精度和可靠性。
S220将临时障碍物点集的各第一类激光点数据分别与环境地图中各第二区域进行重合判断;各第二区域为以第二障碍物点集中的各个第二类激光点数据为圆心,预设值为半径分别生成的区域;
S230将属于临时障碍物点集且与任意一个第二区域重合的所有第一类激光点数据添加至同一个集合获得待定障碍物点集;
具体的,智能移动设备根据临时障碍物点集M中的每个第一类激光点数据,遍历性地在毫米波雷达探测反馈得到的第二障碍物点集U2中挨个进行查找比对,判断临时障碍物点集M中任意一个第一类激光点数据是否在第二类激光点数据的r米范围内。设定r为第一预设值,各个第二类激光点数据在环境地图上的空间点为圆心得到若干个第二区域。
如果临时障碍物点集M中的当前第一类激光点数据L'k在任意一个第二类激光点数据对应空间点的r米范围内,就认定当前第一类激光点数据L'k探测到的临时障碍物与毫米波雷达探测到的临时障碍物是同一个障碍物,即当前第一类激光点数据L'k与任意一个第二区域重合,将当前第一类激光点数据L'k划分到待定障碍物点集G中。如果当前第一类激光点数据L'k不在任意一个第二类激光点数据对应空间点的r米范围内,就认定当前第一类激光点数据L'k与所有第二区域均不重合,将当前第一类激光点数据L'k划分到待定障碍物点集G中。然后,切换临时障碍物点集M中的下一第一类激光点数据L'k+1继续延续上述方式进行判断,直至临时障碍物点集M中的所有第一类激光点数据完成判断划分为止。
S240在智能移动设备处于移动状态时,根据相对运动测量数据中的相对距离以及相对运动速度,从待定障碍物点集中筛选出所有相对智能移动设备靠近移动的第一类激光点数据作为目标障碍物点集;
具体的,通过毫米波雷达、激光雷达或者视觉传感器检测获取的相对距离,以及通过毫米波雷达或者视觉传感器检测获取的相对运动速度。然后,智能移动设备处于移动状态时,根据智能移动设备上所安装的运动传感器(包括速度传感器、加速度传感器等等)检测获取自身的当前移动速度。
待定障碍物点集中的第一类激光点数据所对应的障碍物,可能存在朝向智能移动设备所在位置的方向靠近但自身不动的第一种情况,也有可能存在朝向智能移动设备所在位置的方向靠近且自身处于移动状态的第二种情况,也有可能存在朝向智能移动设备所在位置的方向远离且自身处于移动状态的第三种情况。也有可能存在朝向智能移动设备所在位置的方向远离但自身不动的第四种情况。
因此,需要在智能移动设备处于移动状态时,根据障碍物与智能移动设备之间的相对距离以及相对运动速度,将待定障碍物点集中所有相对智能移动设备靠近且处于移动状态的障碍物所对应的第一类激光点数据作为目标障碍物点集。
其中,在当前移动速度大于零时,确定待定障碍物点集中满足相对运动速度大于零,并且相对距离减小的第一类激光点数据符合第二种情况,将符合第二种情况的所有第一类激光点数据归类到目标障碍物点集中。
优选的,在当前移动速度大于零时,确定待定障碍物点集中满足相对运动速度等于零,并且相对距离减小的第一类激光点数据符合第一种情况。在当前移动速度大于零时,确定待定障碍物点集中满足相对运动速度大于零,并且相对距离增大的第一类激光点数据符合第三种情况。在当前移动速度大于零时,确定待定障碍物点集中满足相对运动速度等于零,并且相对距离增大的第一类激光点数据符合第四种情况。然后,智能移动设备将符合第一种情景、第三种情况以及第四种情况的所有第一类激光点数据与目标障碍物点集匹配,删除重合的第一类激光点数据,提升目标障碍物点集中数据准确性,进而提升动态避障轮廓的准确率。
由于安装于智能移动设备上的毫米波雷达只能检测到障碍物相对于毫米波雷达的移动速度即相对运动速度。如果此障碍物处于静止不动的状态但智能移动设备处于移动状态,毫米波雷达也会检测到相对运动速度。如果障碍物处于移动状态且智能移动设备处于移动状态,但两者移动方向同向且移动速度接近相同,并且相对距离接近不变,那么毫米波雷达无法检测到相对运动速度,即有可能判断待定障碍物点集中部分实际朝向靠近智能移动设备的方向移动的激光点数据被误判,导致目标障碍物点集的数据不准确。此时,如果想准确筛选出被误判的相对智能移动设备靠近移动的第一类激光点数据,就需要假定待定障碍物点集中当前激光点数据L''k对应的障碍物的位置不动,通过检测获取的当前激光点数据L''k与智能移动设备之间的相对距离Hp,以及智能移动设备的当前移动速度,可以计算得到待定障碍物点集中当前激光点数据L''k所对应障碍物相对于智能移动设备的计算移动速度,比较计算移动速度与相对运动速度的差值大小,如果相对运动速度与计算移动速度相差较大,则认为当前激光点数据L''k所对应障碍物也朝向靠近智能移动设备的方向移动,将当前激光点数据L''k划分到目标障碍物点集。
S310将目标障碍物点集中各激光点数据进行聚类处理获取聚类中心点和簇族半径;
具体的,聚类方式包括但是不限于欧式聚类、K-均值聚类、最近邻聚类,激光点云聚类为现有技术在此不再详细说明。智能移动设备通过对目标障碍物点集中的所有激光点数据,通过上述任意一种聚类方式进行聚类处理,获取每个簇族分别对应的聚类中心点和簇族半径。示例性的,从目标障碍物点集中任意选择N个对象作为初始中心点,然后按照距离初始中心点最小的原则,把所有目标障碍物点的激光点数据划分到不同初始中心点所在的簇族中,在满足一定条件(如函数收敛时)循环迭代结束停止聚类,然后,计算每个簇族的中心点即为各个簇族对应的聚类中心点,并根据每个簇族对应的聚类中心点与各自对应簇族边界的距离值得到每个簇族的簇族半径。
S320根据相对运动测量数据中的相对运动速度计算得到智能移动设备相对于动态障碍物的预测移动位移;
具体的,根据毫米波雷达或者视觉传感器分析计算得到目标障碍物点集中的任意一个激光点数据所对应动态障碍物的相对运动速度Hv,按照如下所示的比例公式计算出智能移动设备相对于目标动态障碍物的预测移动位移Dist。
Figure BDA0002604886510000131
S330根据智能移动设备的预设中心点、预测移动位移、聚类中心点和簇族半径获取动态避障轮廓;
具体的,根据目标障碍物点集进行聚类得到若干个簇族,每一个簇族对应一个朝向智能移动设备所在位置的方向靠近且自身处于移动状态的目标动态障碍物。动态避障轮廓可以根据智能移动设备的预设中心点、预测移动位移、任意一个聚类中心点及其对应的簇族半径获取绘制椭圆、圆形或者矩形,将该椭圆、圆形或者矩形作为动态避障轮廓。预设中心点可以是智能移动设备的重心点,也可以是毫米波雷达的中心点,也可以是视觉传感器的中心点。
其中,如图2所示,绘制椭圆以获取动态避障轮廓,具体是获取任意一个簇族C1对应的聚类中心点F1和簇族半径Fr1。以智能移动设备的预设中心点S0和聚类中心点F1生成的一条直线l,在该直线l方向上查找与聚类中心点F1的距离为预测移动位移Dist的目标点F2,然后,分别以聚类中心点F1和目标点F2作为椭圆的两个焦点,以预测移动位移Dist为焦距,长轴为簇族半径2×Fr+Dist绘制得到的椭圆就是簇族C1对应的动态避障轮廓。切换下一簇族获取下一个动态避障轮廓,如此反复直至获取到所有簇族对应的动态避障轮廓为止。
其中,绘制圆形以获取动态避障轮廓,具体是获取任意一个簇族C1对应的聚类中心点F1和簇族半径Fr1。以智能移动设备的预设中心点SO和聚类中心点F1生成的一条直线l,在该直线l方向上查找与聚类中心点F1的距离为预测移动位移Dist的目标点F2,然后,在直线l上查找出以聚类中心点F1和目标点F2为端点的中心点作为圆心,以预测移动位移Dist和簇族半径Fr的和值为半径绘制得到的圆形就是簇族C1对应的动态避障轮廓。切换下一簇族获取下一个动态避障轮廓,如此反复直至获取到所有簇族对应的动态避障轮廓为止。
S400根据固定障碍物点集聚类得到静态避障轮廓,根据静态避障轮廓和动态避障轮廓更新环境地图中的障碍物信息。
具体的,本实施例与上述实施例相同的部分参见上述实施例,在此不再一一赘述。将动态避障轮廓合入环境地图或者局部障碍物地图中,实现更安全的避障,当然同时也可以通过声光电方式发起提示,以便提醒朝向智能移动设备所在位置的方向靠近且自身处于移动状态的目标动态障碍物改变行进方向。
本实施例中,能够有效检测出静态障碍物和动态障碍物,降低误检率和漏检率,保证障碍物识别的实时性及准确性,并且将智能移动设备移动导航过程中有影响的静态避障轮廓和动态避障轮廓更新环境地图,以便丰富完善环境地图,这样使得智能移动设备在场地上进行移动导航和路径规划时,能够提高智能移动设备的局部路径规划的可靠性,提高了智能移动设备导航避障的智能性和友好性,实现障碍的避障,实现未知环境下的自主避障,以便智能移动设备在场地中正常行驶,具有很强的实用性。并且,结合当环境变化时也能够较快地适应,从而可以拓展为动态障碍物的避障算法。
优选的,根据智能移动设备的预设中心点、预测移动位移、聚类中心点和簇族半径获取绘制椭圆作为动态避障轮廓,因为椭圆长轴的方向表示此朝向智能移动设备所在位置的方向靠近且自身处于移动状态的目标动态障碍物可能移动的范围,提前预估动态障碍物可能的移动方向和移动轨迹,避障更为安全,可靠。
本发明的一个实施例,如图3所示,一种智能移动设备,包括:
第一扫描模块10,用于通过激光雷达扫描反馈得到第一障碍物点集;
第二扫描模块20,用于通过毫米波雷达扫描反馈得到第二障碍物点集;
分类处理模块30,用于从第一障碍物点集中分类得到临时障碍物点集和固定障碍物点集;
筛选处理模块40,用于根据获取的相对运动测量数据、临时障碍物点集,以及第二障碍物点集筛选得到目标障碍物点集;
轮廓生成模块50,用于根据目标障碍物点集的聚类结果以及相对运动测量数据,获取朝向靠近智能移动设备方向移动的目标动态障碍物的动态避障轮廓,并根据固定障碍物点集聚类得到静态避障轮廓;
地图更新模块60,用于根据静态避障轮廓和动态避障轮廓更新环境地图中的障碍物信息。
具体的,实施例是上述方法实施例对应的装置实施例,具体效果参见上述方法实施例,在此不再一一赘述。
基于前述实施例,分类处理模块30包括:
第一判断单元,用于将第一障碍物点集的各第一类激光点数据分别与环境地图中各第一区域进行重合判断;各第一区域为环境地图中的各个预设障碍物为圆心,预设值为半径分别生成的区域;
第一归类单元,用于将与环境地图中所有第一区域均不重合的所有第一类激光点数据添加至同一个集合获得临时障碍物点集;将与环境地图中任意一个第一区域重合的所有第一类激光点数据添加至同一个集合获得固定障碍物点集。
具体的,实施例是上述方法实施例对应的装置实施例,具体效果参见上述方法实施例,在此不再一一赘述。
基于前述实施例,筛选处理模块40包括:
第二判断单元,用于将临时障碍物点集的各第一类激光点数据分别与环境地图中各第二区域进行重合判断;各第二区域为以第二障碍物点集中的各个第二类激光点数据为圆心,预设值为半径分别生成的区域;
第二归类单元,用于将属于临时障碍物点集且与任意一个第二区域重合的所有第一类激光点数据添加至同一个集合获得待定障碍物点集;
筛选单元,用于在智能移动设备处于移动状态时,根据相对运动测量数据中的相对距离以及相对运动速度,从待定障碍物点集中筛选出所有相对智能移动设备靠近移动的第一类激光点数据作为目标障碍物点集。
具体的,实施例是上述方法实施例对应的装置实施例,具体效果参见上述方法实施例,在此不再一一赘述。
基于前述实施例,轮廓生成模块50包括:
聚类单元,用于将目标障碍物点集中各激光点数据进行聚类处理获取聚类中心点和簇族半径;
计算单元,用于根据相对运动测量数据中的相对运动速度计算得到智能移动设备相对于动态障碍物的预测移动位移;
生成单元,用于根据智能移动设备的预设中心点、预测移动位移、聚类中心点和簇族半径获取动态避障轮廓。
具体的,实施例是上述方法实施例对应的装置实施例,具体效果参见上述方法实施例,在此不再一一赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的程序模块完成,即将所述装置的内部结构划分成不同的程序单元或模块,以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中,也可是各个单元单独物理存在,也可以两个或两个以上单元集成在一个处理单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序单元的形式实现。另外,各程序模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
本发明的一个实施例,一种存储介质,存储介质中存储有至少一条指令,指令由处理器加载并执行以实现上述环境感测实现方法对应实施例所执行的操作。例如,存储介质可以是只读内存(ROM)、随机存取存储器(RAM)、只读光盘(CD-ROM)、磁带、软盘和光数据存储设备等。
它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述或记载的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其他的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性、机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可能集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序发送指令给相关的硬件完成,所述的计算机程序可存储于一存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述存储介质可以包括:能够携带所述计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如:在某些司法管辖区,根据立法和专利实践,计算机可读的存储介质不包括电载波信号和电信信号。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种环境感测实现方法,其特征在于,包括步骤:
从激光雷达扫描反馈得到的第一障碍物点集中分类得到临时障碍物点集和固定障碍物点集;
根据获取的相对运动测量数据、所述临时障碍物点集,以及从毫米波雷达扫描反馈得到的第二障碍物点集筛选得到目标障碍物点集;
根据所述目标障碍物点集的聚类结果以及所述相对运动测量数据,获取朝向靠近智能移动设备方向移动的目标动态障碍物的动态避障轮廓;
根据所述固定障碍物点集聚类得到静态避障轮廓,根据所述静态避障轮廓和动态避障轮廓更新环境地图中的障碍物信息;
所述根据获取的相对运动测量数据、所述临时障碍物点集,以及从毫米波雷达扫描反馈得到的第二障碍物点集筛选得到目标障碍物点集包括步骤:
获取所述毫米波雷达扫描反馈得到的第二类激光点数据以建立所述第二障碍物点集;
将所述临时障碍物点集的各第一类激光点数据分别与所述环境地图中各第二区域进行重合判断;所述各第二区域为以所述第二障碍物点集中的各个第二类激光点数据为圆心,预设值为半径分别生成的区域;
将属于所述临时障碍物点集且与任意一个第二区域重合的所有第一类激光点数据添加至同一个集合获得待定障碍物点集;
在智能移动设备处于移动状态时,根据所述相对运动测量数据中的相对距离以及相对运动速度,从所述待定障碍物点集中筛选出所有相对智能移动设备靠近移动的第一类激光点数据作为所述目标障碍物点集。
2.根据权利要求1所述的环境感测实现方法,其特征在于,所述从激光雷达扫描反馈得到的第一障碍物点集中分类得到临时障碍物点集和固定障碍物点集包括步骤:
获取所述激光雷达扫描反馈得到的第一类激光点数据以建立所述第一障碍物点集;
将所述第一障碍物点集的各第一类激光点数据分别与所述环境地图中各第一区域进行重合判断;所述各第一区域为所述环境地图中的各个预设障碍物为圆心,预设值为半径分别生成的区域;
将与所述环境地图中所有第一区域均不重合的所有第一类激光点数据添加至同一个集合获得所述临时障碍物点集;
将与所述环境地图中任意一个第一区域重合的所有第一类激光点数据添加至同一个集合获得固定障碍物点集。
3.根据权利要求1或2所述的环境感测实现方法,其特征在于,所述根据所述目标障碍物点集的聚类结果以及所述相对运动测量数据,获取朝向靠近智能移动设备方向移动的目标动态障碍物的动态避障轮廓包括步骤:
将所述目标障碍物点集中各激光点数据进行聚类处理获取聚类中心点和簇族半径;
根据所述相对运动测量数据中的相对运动速度计算得到所述智能移动设备相对于所述动态障碍物的预测移动位移;
根据智能移动设备的预设中心点、所述预测移动位移、聚类中心点和簇族半径获取所述动态避障轮廓。
4.一种智能移动设备,其特征在于,包括:
第一扫描模块,用于通过激光雷达扫描反馈得到第一障碍物点集;
第二扫描模块,用于通过毫米波雷达扫描反馈得到第二障碍物点集;
分类处理模块,用于从第一障碍物点集中分类得到临时障碍物点集和固定障碍物点集;
筛选处理模块,用于根据获取的相对运动测量数据、所述临时障碍物点集,以及第二障碍物点集筛选得到目标障碍物点集;
轮廓生成模块,用于根据所述目标障碍物点集的聚类结果以及所述相对运动测量数据,获取朝向靠近智能移动设备方向移动的目标动态障碍物的动态避障轮廓,并根据所述固定障碍物点集聚类得到静态避障轮廓;
地图更新模块,用于根据所述固定障碍物点集聚类得到静态避障轮廓,根据所述静态避障轮廓和动态避障轮廓更新环境地图中的障碍物信息;
所述筛选处理模块包括:
第二判断单元,用于将所述临时障碍物点集的各第一类激光点数据分别与所述环境地图中各第二区域进行重合判断;所述各第二区域为以所述第二障碍物点集中的各个第二类激光点数据为圆心,预设值为半径分别生成的区域;
第二归类单元,用于将属于所述临时障碍物点集且与任意一个第二区域重合的所有第一类激光点数据添加至同一个集合获得待定障碍物点集;
筛选单元,用于在智能移动设备处于移动状态时,根据所述相对运动测量数据中的相对距离以及相对运动速度,从所述待定障碍物点集中筛选出所有相对智能移动设备靠近移动的第一类激光点数据作为所述目标障碍物点集。
5.根据权利要求4所述的智能移动设备,其特征在于,所述分类处理模块包括:
第一判断单元,用于将所述第一障碍物点集的各第一类激光点数据分别与所述环境地图中各第一区域进行重合判断;所述各第一区域为所述环境地图中的各个预设障碍物为圆心,预设值为半径分别生成的区域;
第一归类单元,用于将与所述环境地图中所有第一区域均不重合的所有第一类激光点数据添加至同一个集合获得所述临时障碍物点集;将与所述环境地图中任意一个第一区域重合的所有第一类激光点数据添加至同一个集合获得固定障碍物点集。
6.根据权利要求4或5所述的智能移动设备,其特征在于,所述轮廓生成模块包括:
聚类单元,用于将所述目标障碍物点集中各激光点数据进行聚类处理获取聚类中心点和簇族半径;
计算单元,用于根据所述相对运动测量数据中的相对运动速度计算得到所述智能移动设备相对于所述动态障碍物的预测移动位移;
生成单元,用于根据智能移动设备的预设中心点、所述预测移动位移、聚类中心点和簇族半径获取所述动态避障轮廓。
7.一种存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至权利要求3任一项所述的环境感测实现方法所执行的操作。
CN202010735513.2A 2020-07-28 2020-07-28 一种环境感测实现方法、智能移动设备和存储介质 Active CN111856507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010735513.2A CN111856507B (zh) 2020-07-28 2020-07-28 一种环境感测实现方法、智能移动设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010735513.2A CN111856507B (zh) 2020-07-28 2020-07-28 一种环境感测实现方法、智能移动设备和存储介质

Publications (2)

Publication Number Publication Date
CN111856507A CN111856507A (zh) 2020-10-30
CN111856507B true CN111856507B (zh) 2023-03-28

Family

ID=72947722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010735513.2A Active CN111856507B (zh) 2020-07-28 2020-07-28 一种环境感测实现方法、智能移动设备和存储介质

Country Status (1)

Country Link
CN (1) CN111856507B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112294197A (zh) * 2020-11-04 2021-02-02 深圳市普森斯科技有限公司 扫地机的清扫控制方法、电子装置及存储介质
CN112560580B (zh) * 2020-11-20 2022-01-28 腾讯科技(深圳)有限公司 障碍物识别方法、装置、系统、存储介质和电子设备
CN112836628B (zh) * 2021-02-01 2022-12-27 意诺科技有限公司 粘连活动点处理方法和装置
CN114114321A (zh) * 2022-01-20 2022-03-01 雷神等离子科技(杭州)有限公司 一种激光雷达检测目标的防撞预测方法和系统
CN115525047B (zh) * 2022-03-21 2023-07-25 江苏集萃清联智控科技有限公司 一种具备多型避障方式的车辆局部轨迹规划方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509972A (zh) * 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
CN109633676A (zh) * 2018-11-22 2019-04-16 浙江中车电车有限公司 一种基于激光雷达侦测障碍物运动方向的方法及系统
CN109633685A (zh) * 2018-11-22 2019-04-16 浙江中车电车有限公司 一种基于激光雷达侦测障碍物状态的方法及系统
CN110161526A (zh) * 2019-05-24 2019-08-23 河南辉煌科技股份有限公司 一种基于三维成像的线路障碍物识别方法
CN110726993A (zh) * 2019-09-06 2020-01-24 武汉光庭科技有限公司 一种利用单线激光雷达和毫米波雷达的障碍物检测方法
CN111382768A (zh) * 2018-12-29 2020-07-07 华为技术有限公司 多传感器数据融合方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509972A (zh) * 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
CN109633676A (zh) * 2018-11-22 2019-04-16 浙江中车电车有限公司 一种基于激光雷达侦测障碍物运动方向的方法及系统
CN109633685A (zh) * 2018-11-22 2019-04-16 浙江中车电车有限公司 一种基于激光雷达侦测障碍物状态的方法及系统
CN111382768A (zh) * 2018-12-29 2020-07-07 华为技术有限公司 多传感器数据融合方法和装置
CN110161526A (zh) * 2019-05-24 2019-08-23 河南辉煌科技股份有限公司 一种基于三维成像的线路障碍物识别方法
CN110726993A (zh) * 2019-09-06 2020-01-24 武汉光庭科技有限公司 一种利用单线激光雷达和毫米波雷达的障碍物检测方法

Also Published As

Publication number Publication date
CN111856507A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111856507B (zh) 一种环境感测实现方法、智能移动设备和存储介质
Zhao et al. Detection and tracking of pedestrians and vehicles using roadside LiDAR sensors
US11270457B2 (en) Device and method for detection and localization of vehicles
US9563808B2 (en) Target grouping techniques for object fusion
US10451720B2 (en) Object detection apparatus and object detection method
CN104793202B (zh) 多雷达成像传感器的对象融合系统
Khatab et al. Vulnerable objects detection for autonomous driving: A review
Sato et al. Multilayer lidar-based pedestrian tracking in urban environments
CN113792699B (zh) 一种基于语义点云的对象级快速场景识别方法
CN113743171A (zh) 目标检测方法及装置
Muresan et al. Multi-object tracking of 3D cuboids using aggregated features
Aziz et al. Radar-camera fusion for road target classification
García et al. Enhanced obstacle detection based on Data Fusion for ADAS applications
Zhao et al. Omni-directional detection and tracking of on-road vehicles using multiple horizontal laser scanners
Yang et al. On-road collision warning based on multiple FOE segmentation using a dashboard camera
CN115151836A (zh) 用于探测车辆周围环境中的移动对象的方法和机动车辆
CN115512542B (zh) 一种基于路侧激光雷达的考虑遮挡的轨迹复原方法及系统
KR102085910B1 (ko) 객체 인식 알고리즘 향상을 위한 고정객체와 이동객체의 구분 장치 및 방법
Garcia et al. Joint probabilistic data association fusion approach for pedestrian detection
Xu et al. An efficient multi‐sensor fusion and tracking protocol in a vehicle‐road collaborative system
Deng et al. Robust target detection, position deducing and tracking based on radar camera fusion in transportation scenarios
Wang et al. Fusion perception of vision and millimeter wave radar for autonomous driving
Zhao et al. Vehicle detection and tracking method based on multi-sensor trajectory information
Reulke et al. Situation analysis and atypical event detection with multiple cameras and multi-object tracking
Cambuim et al. Supporting Detection of Near and Far Pedestrians in a Collision Prediction System.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant