CN112733923A - 一种确定禁行区域的系统及机器人 - Google Patents

一种确定禁行区域的系统及机器人 Download PDF

Info

Publication number
CN112733923A
CN112733923A CN202110004205.7A CN202110004205A CN112733923A CN 112733923 A CN112733923 A CN 112733923A CN 202110004205 A CN202110004205 A CN 202110004205A CN 112733923 A CN112733923 A CN 112733923A
Authority
CN
China
Prior art keywords
cluster set
cluster
determining
mobile robot
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110004205.7A
Other languages
English (en)
Inventor
沈孝通
张伟义
秦宝星
程昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaussian Automation Technology Development Co Ltd
Original Assignee
Shanghai Gaussian Automation Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaussian Automation Technology Development Co Ltd filed Critical Shanghai Gaussian Automation Technology Development Co Ltd
Priority to CN202110004205.7A priority Critical patent/CN112733923A/zh
Publication of CN112733923A publication Critical patent/CN112733923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Abstract

本申请公开了一种确定禁行区域的系统及机器人,该系统可以包括:移动机器人和物理围栏,物理围栏用于摆放设置禁行区域,移动机器人上搭载有至少一种传感器,移动机器人可以通过传感器发射探测信号,并根据基于物理围栏获取的传感器数据确定禁行区域。通过对搭载有传感器的移动机器人和物理围栏的搭配使用,可以实现移动机器人识别出摆放物理围栏设置的禁行区域,从而使得机器人对当前的环境有更清楚的认识。

Description

一种确定禁行区域的系统及机器人
技术领域
本申请涉及AI领域,尤其涉及一种确定禁行区域的系统及机器人。
背景技术
在商场、写字楼、展览馆、机场等公共场所中,通常通过摆放物理围栏的方式设置施工作业等禁行区域。相应地,对于公共场所中执行作业任务的各类机器人(例如,清洁机器人)而言,通常通过设置禁行区域的射频识别(Radio Frequency Identification,RFID)的方式与机器人进行交互,以识别禁行区域。但是,设置RFID传感器的方式存在成本高、安全性不强等缺陷。
发明内容
为了解决上述至少一个技术问题,本申请提供了以下方案。
第一方面,本申请实施例还提供了一种确定禁行区域的系统,该系统包括:移动机器人和物理围栏,移动机器人上搭载有至少一种传感器;
所述物理围栏用于摆放设置禁行区域;
所述移动机器人用于通过所述传感器发射探测信号,并根据基于所述物理围栏获取的传感器数据确定禁行区域。
可选地,所述物理围栏包括圆柱形、锥形、六面体或八面体中的任意一种;
所述物理围栏上设置有反光膜。
通过上述技术手段可以灵活、多样地设计各类物理围栏,以应用于上述系统中,搭配移动机器人使用。
可选地,所述物理围栏上以全部设置反光条的方式设置反光膜;
或者,所述物理围栏上以反光条与低反材质交替的方式设置反光膜。
通过上述不同的设计方式可以呈现使物理围栏呈现出不同的反射效果,增加了物理围栏的可选择性。
可选地,移动机器人根据基于所述物理围栏获取的传感器数据确定禁行区域,包括:
对获取的传感器数据进行聚类生成至少两个聚类集合;
根据识别模型对所述至少两个聚类集合进行识别处理,生成识别后的聚类集合;
对所述识别后的聚类集合去除误识别,得到可标记的聚类集合;
对所述可标记的聚类集合进行连接,将连接线分割的两部分区域中不存在机器人的部分确定为禁行区域。
通过这样的设计方式可以实现机器人确定禁行区域,使机器人对当前的环境有更清楚的认识。
可选地,根据识别模型对至少两个聚类集合进行识别处理,生成识别后的聚类集合,包括:
将至少两个聚类集合中每个聚类集合的特征向量输入识别模型进行识别处理,生成识别后的聚类集合。
基于这样的设计方式可以实现对聚类后的聚类集合进行初次识别,以提高聚类集合的参考精度。
可选地,确定识别模型包括:
根据设置的比例从至少两个聚类集合中选取训练的聚类集合;
对所述训练的聚类集合进行归一化处理;
根据所述归一化处理后的聚类集合对目标训练模型进行训练,得到所述识别模型。
通过上述方式可以实现利用聚类集合对目标训练模型进行训练,从而得到优化后的训练模型,也即识别模型。
可选地,对识别后的聚类集合去除误识别,得到可标记的聚类集合,包括:
根据传感器对应的特征向量阈值对识别后的聚类集合去除误识别,得到一次去除误识别的聚类集合;
根据距离判断方式对一次去除误识别的聚类集合去除误识别,得到可标记的聚类集合。
设计两次去除误识别的操作方式,可以有效提高聚类集合的参考精度,从而得到更接近真实环境的禁行区域。
可选地,根据传感器对应的特征向量阈值对识别后的聚类集合去除误识别,得到一次去除误识别的聚类集合,包括:
根据特征向量阈值对识别后的聚类集合中每个聚类集合对应的特征向量进行判断;
若符合对应特征向量阈值的特征向量的数目达到预设数目,则将对应的识别后的聚类集合确定为一次去除误识别的聚类集合。
通过上述技术手段可以对聚类集合进行初次去除误识别。
可选地,根据距离判断方式对一次去除误识别的聚类集合去除误识别,得到可标记的聚类集合,包括:
步骤一:为一次去除误识别的聚类集合分别建立对应的跟踪单元;
其中,跟踪单元具有时间属性和计数属性;
步骤二:确定当前跟踪单元的时间属性是否满足时间条件,若是,则执行步骤三,若不是,则执行步骤五;
步骤三:计算当前跟踪单元与各一次去除误识别的聚类集合之间的距离;
步骤四:根据计算结果确定可标记的聚类集合,并执行步骤二;
步骤五:确定当前跟踪单元失效,重新选取跟踪单元作为当前跟踪单元;
重复执行上述步骤二至步骤五,直至所有跟踪单元均失效,或者,所有一次去除误识别的聚类集合与当前跟踪单元之间的距离均计算完成。
通过上述技术手段可以实现对聚类集合进行二次去除误识别。
可选地,根据计算结果确定可标记的聚类集合,包括:
在计算结果满足距离条件的情况下,更新当前跟踪单元的计数属性;
在更新后的当前跟踪单元的计数属性满足计数条件的情况下,将满足距离条件对应的一次去除误识别的聚类集合确定为可标记的聚类集合。
采用该实施例中的技术手段,可以实现在二次去除误识别的过程中,最终确定可标记的聚类集合。
第二方面,本申请实施例还提供了一种移动机器人,该移动机器人包括:
获取模块,用于获取所述移动机器人上搭载的传感器监测的传感器数据,以及将传感器数据传输至聚类模块;
聚类模块,用于针对获取的传感器数据以聚类处理的方式生成至少两个聚类集合;
识别模块,用于根据识别模型对所述至少两个聚类集合进行识别处理,根据识别结果生成识别后的聚类集合;
去除误识别模块,用于对所述识别后的聚类集合去除误识别,得到可标记的聚类集合;
确定模块,用于将所述可标记的聚类集合进行连接得到连接线,将所述连接线分割的两部分区域中除所述移动机器人所处区域之外的另一区域确定为禁行区域。
可选地,识别模块,用于将至少两个聚类集合中每个聚类集合的特征向量输入识别模型进行识别处理,生成识别后的聚类集合。
可选地,上述移动机器人还可以包括训练模块;
训练模块,用于根据设置的比例从所述至少两个聚类集合中选取训练的聚类集合;对所述训练的聚类集合进行归一化处理;以及,根据所述归一化处理后的聚类集合对目标训练模型进行训练,得到所述识别模型。
可选地,去除误识别模块,用于根据传感器对应的特征向量阈值对识别后的聚类集合去除误识别,得到一次去除误识别的聚类集合;以及,根据距离判断方式对一次去除误识别的聚类集合去除误识别,得到可标记的聚类集合。
可选地,去除误识别模块,还用于根据特征向量阈值对识别后的聚类集合中每个聚类集合对应的特征向量进行判断;以及,若符合对应特征向量阈值的特征向量的数目达到预设数目,将对应的识别后的聚类集合确定为一次去除误识别的聚类集合。
可选地,去除误识别模块,还用于执行以下过程:
步骤一:为一次去除误识别的聚类集合分别建立对应的跟踪单元;
其中,跟踪单元具有时间属性和计数属性;
步骤二:确定当前跟踪单元的时间属性是否满足时间条件,若是,则执行步骤三,若不是,则执行步骤五;
步骤三:计算当前跟踪单元与各一次去除误识别的聚类集合之间的距离;
步骤四:根据计算结果确定可标记的聚类集合,并执行步骤二;
步骤五:确定当前跟踪单元失效,重新选取跟踪单元作为当前跟踪单元;
重复执行上述步骤二至步骤五,直至所有跟踪单元均失效,或者,所有一次去除误识别的聚类集合与当前跟踪单元之间的距离均计算完成。
可选地,去除误识别模块,还用于在计算结果满足距离条件的情况下,更新当前跟踪单元的计数属性;以及,在更新后的当前跟踪单元的计数属性满足计数条件的情况下,将满足距离条件对应的一次去除误识别的聚类集合确定为可标记的聚类集合。
第三方面,本申请实施例还提供了一种机器人,该机器人包括存储器、控制器及存储在存储器上并可在控制器上运行的计算机程序,所述控制器执行所述计算机程序时,实现如本申请实施例所提供的移动机器人用于实现根据基于所述物理围栏获取的传感器数据确定禁行区域的实现方式。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,在计算机程序被控制器执行时,实现如本申请实施例提供的移动机器人根据基于所述物理围栏获取的传感器数据确定禁行区域的实现方式。
本申请实施例提供了一种确定禁行区域的系统和移动机器人,该系统可以包括:移动机器人和物理围栏,物理围栏用于摆放设置禁行区域,移动机器人上搭载有传感器,移动机器人可以通过传感器发射探测信号,并根据基于物理围栏获取的传感器数据确定禁行区域。通过对搭载有传感器的移动机器人和物理围栏的搭配使用,可以实现移动机器人识别出摆放物理围栏设置的禁行区域,从而使得机器人对当前的环境有更清楚的认识。
附图说明
图1为本申请实施例中的一种确定禁行区域的系统示意图;
图2为本申请实施例中的反光膜设置方式的示意图;
图3为本申请实施例中的反光膜设置方式的示意图;
图4为本申请实施例中的移动机器人根据基于物理围栏获取的传感器数据确定禁行区域的方法流程图;
图5为本申请实施例中的根据分割线确定禁行区域的示意图;
图6为本申请实施例中的根据分割线确定禁行区域的示意图;
图7为本申请实施例中的确定识别模型的方法流程图;
图8为本申请实施例中的根据距离判断方式对一次去除误识别的聚类集合去除误识别,得到可标记的聚类集合的方法流程图;
图9是本申请实施例中的一种移动机器人的结构示意图;
图10是本申请实施例中的机器人的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
另外,在本申请实施例中,“可选地”或者“示例性地”等词用于表示作例子、例证或说明。本申请实施例中被描述为“可选地”或者“示例性地”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“可选地”或者“示例性地”等词旨在以具体方式呈现相关概念。
为了便于更加清楚的理解本申请所提供的实施例,在此对比本申请实施例中所涉及到的相关概念进行解释,具体如下:
欧式聚类:一种基于欧式距离度量的聚类算法。其中,基于KD-Tree算法的近邻查询算法是加速欧式聚类算法的重要预处理方法。欧式聚类的距离判断准则为欧氏距离。例如,对于空间某点P,通过KD-Tree近邻搜索算法找到k个离p点最近的点,这些点中距离小于设定阈值的便聚类到集合Q中。如果Q中元素的数目不再增加,整个聚类过程便结束;否则须在集合Q中选取p点以外的点,重复上述过程,直到Q中元素的数目不再增加为止。
支持向量机(Support Vector Machine,SVM),主要用于解决模式识别领域中的数据分类问题,属于有监督学习算法的一种。SVM是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier),其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)。SVM使用铰链损失函数(hinge loss)计算经验风险(empirical risk)并在求解系统中加入了正则化项以优化结构风险(structural risk),是一个具有稀疏性和稳健性的分类器。SVM可以通过核方法(kernel method)进行非线性分类,是常见的核学习(kernel learning)方法之一。
一米栏:一米栏是指高度是一米的防护栏,通常是由两根柱子,中间一条带子构成的防护栏。
基于上述概念,本申请实施例提供了一种确定禁行区域的系统,如图1所示,该系统可以包括移动机器人101和物理围栏102;
其中,物理围栏用于摆放设置禁行区域;
可选地,该物理围栏可以选用一米栏。
移动机器人搭载有传感器,移动机器人用于通过传感器发射探测信号,并根据基于物理围栏获取的传感器数据确定禁行区域。
其中,传感器的数量可以为一个或多个,本领域技术人员可以根据场景需要设置相应数量的传感器。例如,假设为机器人配置的传感器为激光雷达传感器,机器人在移动过程中,激光雷达传感器发射的激光信号投射在物理围栏等遮挡物上时,可以从遮挡物上反射回信号,激光雷达传感器根据从遮挡物上反射回的信号获取激光点云数据,即一种传感器数据;或者,机器人在移动探测的过程中,配置虚拟雷达传感器,可以通过视觉转换的方式获取上述传感器数据,例如,通过提取投射在物理围栏上视觉帧中的像素点,并将像素点转换为点云数据,从而获取本步骤中的传感器数据。
在一种示例中,上述物理围栏的形状可以包括圆柱形、锥形、六面体或八面体中的任意一种;
该物理围栏上可以设置有反光膜,例如,蜂窝式反光膜。反光膜的设置方式可以包括全部设置反光条,或者以反光条与低反材质交替的方式设置。
其中,全部设置反光条可以呈现高反射强度,反光条与低反材质交替的设置方式可以形成高反—低反或者低反—高反的反射效果。如图2所示,为反射效果呈低反—高反—低反的反光膜设置方式,如图3所示,为反射效果呈高反—低反—高反的反光膜设置方式,图3中示例性地提供了反光条的尺寸设计,但对反光条的具体尺寸不作限定。
可选地,在布置上述物理围栏时,可以设置物理围栏两两之间的距离小于机器人对物理围栏有效识别的设定值(例如,优选为5m)。当然,可以根据不同场景下的不同需求自适应地设置相应的间隔距离,机器人在不同场景下执行自动作业时,识别出上述物理围栏,即可确定出物理围栏所圈定的禁行区域。可以理解的是,设置的物理围栏之间的间隔距离越小,移动机器人对摆放物理围栏设置的禁行区域的识别效果越好,越能对周围的环境有更加清楚的认识,从而提高移动机器人自主作业的安全性。
本申请实施例提供的系统可以应用于如下场景中,比如:
跌落场景:例如扶梯、台阶等场景。物理围栏设置在扶梯口、台阶处以形成虚拟墙壁,移动机器人自动作业时可识别物理围栏形成虚拟墙,从而确定禁行区域。
施工区域:通过摆放物理围栏的方式将施工区域包围,以隔离出禁行区域,机器自动作业时可通过物理围栏识别确定出禁行区域。
道路灾害:在地面有电线、凹坑、悬挂物、低矮路沿、窄道的场景下,将物理围栏放置在道路灾害周围,机器自动作业时可识别出物理围栏圈定的禁行区域。
玻璃墙壁:沿玻璃墙壁摆放物理围栏,机器自动作业时可识别物理围栏形成的虚拟墙,从而确定出禁行区域。
固定区域:例如,晶面机结晶任务等场景下,在移动机器人作业周围放置物理围栏,机器人通过设置的物理围栏即可确定出禁行区域。
本申请实施例提供了一种确定禁行区域的系统,该系统可以包括:移动机器人和物理围栏,物理围栏用于摆放设置禁行区域,移动机器人上搭载有传感器,移动机器人可以通过传感器发射探测信号,并根据基于物理围栏获取的传感器数据确定禁行区域。通过对搭载有传感器的移动机器人和物理围栏的搭配使用,可以实现移动机器人识别出摆放物理围栏设置的禁行区域,从而使得机器人对当前的环境有更清楚的认识。
在上述物理围栏设置的基础上,如图4所示,本申请实施例提供了一种移动机器人根据基于物理围栏获取的传感器数据确定禁行区域的实现方式,该实现方式可以包括但不限于以下步骤:
S401、对获取的传感器数据进行聚类生成至少两个聚类集合。
示例性地,在本申请实施例中,可以通过欧式聚类的方式对获取的数据进行聚类,从而生成至少两个聚类集合。例如,可以设置欧式聚类的集合的最小点数与最大点数(比如,最小点数为5,最大点数为35),并设置近邻点的最大距离(比如,近邻搜索半径为10cm),采用KD-Tree算法实现各近邻点的距离搜索,从而输出聚类集合C。假设
Figure BDA0002882866520000111
为一帧点云的集合,pi表示每个激光点,N表示一帧点云的总数,对激光点云进行聚类之后,得到聚类集合
Figure BDA0002882866520000112
Cj表示单个聚类集合,M表示聚类的数量,Cj包含激光点云集合Xi,其中,
Figure BDA0002882866520000113
需要说明的是,上述参数数值的设置可以根据物理围栏大小等参考因素进行调整。
S402、根据识别模型对至少两个聚类集合进行识别处理,生成识别后的聚类集合。
示例性地,本步骤中的识别模型可以选用SVM模型。本步骤的实现方式可以为,将至少两个聚类集合中每个聚类集合的特征向量输入识别模型中进行识别处理,以得到识别后的聚类集合。
需要说明的是,上述步骤中的识别模型可以为训练好的模型。
S403、对识别后的聚类集合去除误识别,得到可标记的聚类集合。
可选地,为提高对聚类集合的识别精度,本申请实施例通过本步骤设计了去除误识别操作。示例性地,可以通过一次或多次去除误识别操作提高聚类集合的聚类精度,例如,本申请实施例通过两次去除误识别操作,得到可标记的聚类集合。示例性地,本步骤中的两次去除误识别操作可以分别为,根据传感器对应的特征向量阈值对识别后的聚类集合去除误识别,得到一次去除误识别的聚类集合;根据距离判断方式对一次去除误识别的聚类集合去除误识别,得到可标记的聚类集合。
S404、可标记的聚类集合进行连接,将连接线分割的两部分区域中不存在所述机器人的部分确定为禁行区域。
可选地,在本申请实施例中,可以在机器人内部事先存储行驶区域的全局地图,基于步骤S403得到可标记的聚类集合后,可以在全局地图上标记这些可标记的聚类集合,并连接标记的可标记聚类集合,进而将各可标记聚类集合之间的连接线分割的两部分区域中不存在上述机器人的部分确定为禁行区域。
如图5所示,假设方框所圈的部分为当前环境,图5中黑色小圆点为移动机器人,点划线所表示的连接线为各可标记的聚类集合连接后形成的连接线。点划线将当前环境分割为两部分,分别为A区域和B区域,若机器人(或小黑点)位于A区域,那么上述将连接线分割的两部分区域中不存在机器人的部分确定为禁行区域可以理解为将B区域确认为禁行区域,即机器人确定点划线分割出的B区域为禁行区域,其仅在A区域移动。
如图6所示,若机器人位于B区域,那么将连接线分割的两部分区域中不存在机器人的部分确定为禁行区域可以理解为将A区域确定为禁行区域,即机器人将点划线分割出的A区域确定为禁行区域,仅在B区域范围内移动。
如图7所示,在一种示例中,确定上述步骤S402中训练好的识别模型的实现方式可以包括但不限于以下步骤:
S701、根据设置的比例从至少两个聚类集合中选取训练的聚类集合。
示例性地,可以按照2:8的比例从聚类后的至少两个聚类集合中选出20%的聚类集合作为训练的聚类集合。
当然,本领域技术人员也可以根据实际需要调整比例设置,选取相应数量的聚类集合作为训练的聚类集合,本申请实施例对此不作限定。
S702、对训练的聚类集合进行归一化处理。
S703、根据归一化处理后的聚类集合对目标训练模型进行训练,得到识别模型。
基于上述步骤S702对训练的聚类集合进行归一化处理后,可以根据处理后的聚类集合对目标训练模型进行训练。
可以理解的是,这里的目标训练模型与识别模型的网络结构相同,只是通过归一化处理后的聚类集合对目标训练模型进行训练后,实现将目标训练模型中各参数进行优化,从而将优化或训练后的目标训练模型作为识别模型。
在一种示例中,上述步骤S403中,根据传感器对应的特征向量阈值对识别后的聚类集合去除误识别,得到一次去除误识别的聚类集合的实现方式可以包括,根据特征向量阈值对识别后的聚类集合中每个聚类集合对应的特征向量进行判断,若符合对应特征向量阈值的特征向量的数目达到预设数目,则将对应的识别后的聚类集合确定为一次去除误识别的聚类集合。
例如,假设每个聚类集合Cj设计有11维特征向量,分别表示为f1-f9,其中,f9为三维的特征向量。示例性地,上述11维特征向量可以分别为:
f1—聚类集合Cj中的总点数;
f2—激光传感器与每个聚类集合Cj中心点的距离dist,该距离的计算方式可以如公式(1)所示:
Figure BDA0002882866520000141
其中,pk为聚类集合Cj的中心点,pk.x和pk.y分别为中心点的坐标,激光传感器坐标为原点,该计算方式为激光坐标系下的计算方式。
f3—每个聚类集合Cj的尺寸SIZE,该尺寸可以理解为聚类集合中两点之间的最大距离,该尺寸的计算方式可以如下所示:
Figure BDA0002882866520000142
f4—聚类集合Cj中激光点的最大强度值;
f5—聚类集合Cj中激光点的最小强度值;
f6—聚类集合Cj中激光点的强度值均值;
f7—聚类集合Cj中激光点的强度值方差;
f8—聚类集合Cj中激光点的强度值比率;
f9—聚类集合Cj中激光点的强度分布,呈高低高特征,通过设置阈值gap_thre的方式,将该强度值分为三个区域,取每个区域的强度最大值作为特征值,即得到三维的特征向量。
当然,本领域技术人员也可以根据自己的实际需求或不同传感器的型号设计其他不同维度的特征向量,本申请实施例对此不作限定。
需要说明的是,对于不同型号的激光雷达传感器,每一维特征向量可以设置不同的阈值以去除误识别。例如,对于sick561激光雷达传感器,其特征向量阈值设置可以参考表1所示。
表1
f1 f2 f3 f4 f5 f6 f7 f8
6-13 4m-5m 0.36m 230 30 110-190 60-95 0.2
9-24 1m-4m 0.36m 230 30 130-220 55-95 0.3
18-36 <1m 0.36m 240 80 170-240 5-70 0.5
表1中上述三行数值分别表示不同的划分范围相对应的数值。例如,假设本申请实施例中,设置的预设数目为8,那么若某个聚类集合的特征向量f1-f8均满足上述表1中对应的特征向量阈值,则该聚类集合即为一次去除误识别的聚类集合。
可以理解的是,若上述设置的预设数目较小,则表示对聚类集合中需要满足特征向量阈值的特征向量设置的判断条件较宽泛,相应地,对聚类集合进行一次去除误识别的精度较低。相反,若设置的预设数目较大,例如,该数目为聚类集合中特征向量的数目,则表示需要对聚类集合中所有的特征向量都与各特征向量对应的阈值进行判断,并在所有特征向量都满足特征向量阈值的情况下,将该聚类集合确定为一次去除误识别的聚类集合,这样可以提高一次去除误识别的精度。因此,本领域技术人员可以根据对一次去除误识别的精度要求设置上述预设数目。
如图8所示,在一种示例中,上述步骤S403中,根据距离判断方式对一次去除误识别的聚类集合去除误识别,得到可标记的聚类集合的实现方式可以包括但不限于以下步骤:
S801、为一次去除误识别的聚类集合分别建立对应的跟踪单元。
例如,假设一次去除误识别的聚类集合为Ck,初始化为一次去除误识别的聚类集合分别建立对应的跟踪单元为tk
Figure BDA0002882866520000162
可选地,该跟踪单元tk可以具有时间属性和计数属性。
S802、确定当前跟踪单元的时间属性是否满足时间条件,若是,则执行步骤S803,若不是,则执行步骤S805。
示例性地,假设时间条件为小于30s,那么本步骤即可理解为判断当前跟踪单元的时间属性是否小于30s。该时间值也可以理解为当前跟踪单元的存活时间。
S803、计算当前跟踪单元与各一次去除误识别的聚类集合之间的距离。
若当前跟踪单元tk的时间属性(或存活时间)小于30s,确定该跟踪单元tk满足时间条件,进而计算该跟踪单元tk与各一次去除误识别的聚类集合之间的距离,例如,可以按照以下方式进行计算:
Figure BDA0002882866520000161
其中,distance为跟踪单元tk与一次去除误识别的聚类集合Cl之间的距离,pp.x和pp.y为跟踪单元tk的中心点的坐标,pq.x和pq.y为聚类集合Cl的中心点的坐标。
S804、根据计算结果确定可标记的聚类集合,并执行步骤S802。
若基于上述公式(3)计算得到的当前跟踪单元tk与一次去除误识别的聚类集合Cl之间的距离小于距离阈值(即满足距离条件),那么可以将该跟踪单元tk的计数属性加1,更新该跟踪单元tk的计数属性,若该跟踪单元tk的计数属性满足计数条件,比如,大于等于设定的阈值(例如,15),那么可以将满足距离条件对应的一次去除误识别的聚类集合确定为可标记的聚类集合。在执行本步骤的同时,可以执行步骤S802,即通过计时的方式判断当前选用的跟踪单元的时间属性是否满足时间条件。
S805、确定当前跟踪单元失效,重新选取跟踪单元作为当前跟踪单元。
即在当前跟踪单元的时间属性不满足时间条件的情况下,确定当前跟踪单元失效,将当前跟踪单元从集合T中剔除,并重新选取跟踪单元执行上述过程,直至所有的跟踪单元均失效,或者所有的一次去除误识别的聚类集合与跟踪单元之间的距离均计算完成。
上述实现方式可以理解为对每个跟踪单元设置一定的存活时间,若其时间属性不满足时间条件,那么将其剔除;相反,若其时间属性满足时间条件,则在计算其与各一次去除误识别的聚类集合之间的距离时,以计数的方式更新其计数属性,若与该跟踪单元之间的距离满足距离条件的一次去除误识别的聚类集合的数量达到计数条件,可以将这些一次去除误识别的聚类集合确定可标记的聚类集合。
可以理解的是,若该跟踪单元的存活时间到,也可以将该跟踪单元判定为失效,并从集合T中剔除,并重新选取新的跟踪单元重复执行上述过程,以继续确定可标记的聚类集合。
图9为本申请实施例提供的一种移动机器人,如图9所示,该移动机器人可以包括:获取模块901、聚类模块902、识别模块903、去除误识别模块904、确定模块905;
获取模块,用于获取移动机器人上搭载的传感器监测的传感器数据,以及将传感器数据传输至聚类模块;
聚类模块,用于针对获取的传感器数据以聚类处理的方式生成至少两个聚类集合;
识别模块,用于根据识别模型对至少两个聚类集合进行识别处理,根据识别结果生成识别后的聚类集合;
去除误识别模块,用于对识别后的聚类集合去除误识别,得到可标记的聚类集合;
确定模块,用于将可标记的聚类集合进行连接得到连接线,将连接线分割的两部分区域中除移动机器人所处区域之外的另一区域确定为禁行区域。
在一种示例中,识别模块,用于将至少两个聚类集合中每个聚类集合的特征向量输入识别模型进行识别处理,生成识别后的聚类集合。
在一种示例中,上述移动机器人还可以包括训练模块;
该训练模块可以根据设置的比例从所述至少两个聚类集合中选取训练的聚类集合;对所述训练的聚类集合进行归一化处理;以及,根据所述归一化处理后的聚类集合对目标训练模型进行训练,得到所述识别模型。
去除误识别模块,用于根据特征向量阈值对识别后的聚类集合去除误识别,得到一次去除误识别的聚类集合;以及,根据距离判断方式对一次去除误识别的聚类集合去除误识别,得到可标记的聚类集合。
在一种示例中,上述去除误识别模块,可以用于根据特征向量阈值对识别后的聚类集合中每个聚类集合对应的特征向量进行判断;若符合对应特征向量阈值的特征向量的数目达到预设数目,则将对应的识别后的聚类集合确定为一次去除误识别的聚类集合。
在一种示例中,上述去除误识别模块,还可以用于执行以下过程:
步骤一:为一次去除误识别的聚类集合分别建立对应的跟踪单元;
其中,跟踪单元具有时间属性和计数属性;
步骤二:确定当前跟踪单元的时间属性是否满足时间条件,若是,则执行步骤三,若不是,则执行步骤五;
步骤三:计算当前跟踪单元与各一次去除误识别的聚类集合之间的距离;
步骤四:根据计算结果确定可标记的聚类集合,并执行步骤二;
步骤五:确定当前跟踪单元失效,重新选取跟踪单元作为当前跟踪单元;
重复执行上述步骤二至步骤五,直至所有跟踪单元均失效,或者,所有一次去除误识别的聚类集合与当前跟踪单元之间的距离均计算完成。
在一种示例中,上述去除误识别模块,还可以用于在计算结果满足距离条件的情况下,更新当前跟踪单元的计数属性;在更新后的当前跟踪单元的计数属性满足计数条件的情况下,将满足距离条件对应的一次去除误识别的聚类集合确定为可标记的聚类集合。
上述确定禁行区域的移动机器人可以执行图1、图2所提供的确定禁行区域的方法,具备该方法中相应的器件和有益效果。
图10为本发明实施例10提供的一种机器人的结构示意图,如图10所示,该机器人包括控制器1001、存储器1002、输入装置1003、输出装置1004;机器人中控制器1001的数量可以是一个或多个,图10中以一个控制器1001为例;机器人中的控制器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或其他方式连接,图10中以通过总线连接为例。
存储器1002作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,例如,图4实施例中的确定禁行区域的方法对应的程序指令/模块(例如,移动机器人中的聚类模块901、识别模块902、去除误识别模块903、确定模块904)。控制器1001通过运行存储在存储器1002中的软件程序、指令以及模块,从而执行机器人的各种功能应用以及数据处理,即实现上述的确定禁行区域的方法。
存储器1002可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器1002可进一步包括相对于控制器1001远程设置的存储器,这些远程存储器可以通过网络连接至终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置1003可用于接收输入的数字或字符信息,以及产生与机器人的用户设置以及功能控制有关的键信号输入。输出装置1004可包括显示屏等显示装置。
本申请实施例还提供一种包含计算机可执行指令的存储介质,该计算机可执行指令在由计算机控制器执行时用于执行一种确定禁行区域的方法,该方法包括图4、图5所示的步骤。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本申请可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)实现本申请各个实施例所述的方法或功能。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (12)

1.一种确定禁行区域的系统,其特征在于,包括:移动机器人和物理围栏,所述移动机器人搭载有至少一种传感器;
所述物理围栏用于摆放设置禁行区域;
所述移动机器人用于通过所述传感器发射探测信号,并根据基于所述物理围栏获取的传感器数据确定禁行区域。
2.根据权利要求1所述的系统,其特征在于,所述物理围栏包括圆柱形、锥形、六面体或八面体中的任意一种;
所述物理围栏上设置有反光膜。
3.根据权利要求2所述的系统,其特征在于,所述物理围栏上以全部设置反光条的方式设置反光膜;
或者,所述物理围栏上以反光条与低反材质交替的方式设置反光膜。
4.根据权利要求1所述的系统,其特征在于,所述移动机器人根据基于所述物理围栏获取的传感器数据确定禁行区域,包括:
对获取的传感器数据进行聚类生成至少两个聚类集合;
根据识别模型对所述至少两个聚类集合进行识别处理,生成识别后的聚类集合;
对所述识别后的聚类集合去除误识别,得到可标记的聚类集合;
对所述可标记的聚类集合进行连接,将连接线分割的两部分区域中不存在所述机器人的部分确定为禁行区域。
5.根据权利要求4所述的系统,其特征在于,根据识别模型对所述至少两个聚类集合进行识别处理,生成识别后的聚类集合,包括:
将至少两个聚类集合中每个聚类集合的特征向量输入识别模型进行识别处理,生成识别后的聚类集合。
6.根据权利要求4或5所述的系统,其特征在于,确定所述识别模型包括:
根据设置的比例从所述至少两个聚类集合中选取训练的聚类集合;
对所述训练的聚类集合进行归一化处理;
根据所述归一化处理后的聚类集合对目标训练模型进行训练,得到所述识别模型。
7.根据权利要求4或5所述的系统,其特征在于,对所述识别后的聚类集合去除误识别,得到可标记的聚类集合,包括:
根据传感器对应的特征向量阈值对所述识别后的聚类集合去除误识别,得到一次去除误识别的聚类集合;
根据距离判断方式对所述一次去除误识别的聚类集合去除误识别,得到可标记的聚类集合。
8.根据权利要求7所述的系统,其特征在于,所述根据传感器对应的特征向量阈值对所述识别后的聚类集合去除误识别,得到一次去除误识别的聚类集合,包括:
根据所述特征向量阈值对所述识别后的聚类集合中每个聚类集合对应的特征向量进行判断;
若符合对应特征向量阈值的特征向量的数目达到预设数目,则将对应的识别后的聚类集合确定为一次去除误识别的聚类集合。
9.根据权利要求7所述的系统,其特征在于,根据距离判断方式对所述一次去除误识别的聚类集合去除误识别,得到可标记的聚类集合,包括:
步骤一:为所述一次去除误识别的聚类集合分别建立对应的跟踪单元;
其中,所述跟踪单元具有时间属性和计数属性;
步骤二:确定当前跟踪单元的时间属性是否满足时间条件,若是,则执行步骤三,若不是,则执行步骤五;
步骤三:计算所述当前跟踪单元与各一次去除误识别的聚类集合之间的距离;
步骤四:根据计算结果确定可标记的聚类集合,并执行步骤二;
步骤五:确定所述当前跟踪单元失效,重新选取跟踪单元作为当前跟踪单元;
重复执行上述步骤二至步骤五,直至所有跟踪单元均失效,或者,所有一次去除误识别的聚类集合与当前跟踪单元之间的距离均计算完成。
10.根据权利要求9所述的系统,其特征在于,所述根据计算结果确定可标记的聚类集合,包括:
在所述计算结果满足距离条件的情况下,更新所述当前跟踪单元的计数属性;
在更新后的所述当前跟踪单元的计数属性满足计数条件的情况下,将满足距离条件对应的一次去除误识别的聚类集合确定为可标记的聚类集合。
11.一种移动机器人,其特征在于,包括:
获取模块,用于获取所述移动机器人上搭载的传感器监测的传感器数据,并将所述传感器数据传输至聚类模块;
聚类模块,用于针对获取的传感器数据以聚类处理的方式生成至少两个聚类集合;
识别模块,用于根据识别模型对所述至少两个聚类集合进行识别处理,根据识别结果生成识别后的聚类集合;
去除误识别模块,用于对所述识别后的聚类集合去除误识别,得到可标记的聚类集合;
确定模块,用于将所述可标记的聚类集合进行连接得到连接线,将所述连接线分割的两部分区域中除所述移动机器人所处区域之外的另一区域确定为禁行区域。
12.一种移动机器人,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1-10任一项所述的确定禁行区域系统中移动机器人的功能。
CN202110004205.7A 2021-01-04 2021-01-04 一种确定禁行区域的系统及机器人 Pending CN112733923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110004205.7A CN112733923A (zh) 2021-01-04 2021-01-04 一种确定禁行区域的系统及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110004205.7A CN112733923A (zh) 2021-01-04 2021-01-04 一种确定禁行区域的系统及机器人

Publications (1)

Publication Number Publication Date
CN112733923A true CN112733923A (zh) 2021-04-30

Family

ID=75589543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110004205.7A Pending CN112733923A (zh) 2021-01-04 2021-01-04 一种确定禁行区域的系统及机器人

Country Status (1)

Country Link
CN (1) CN112733923A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310876A (zh) * 2021-12-20 2022-04-12 达闼机器人有限公司 机器人定位方法、系统、处理设备及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202795052U (zh) * 2012-08-29 2013-03-13 科沃斯机器人科技(苏州)有限公司 自移动机器人行走范围限制系统
CN103631262A (zh) * 2012-08-29 2014-03-12 科沃斯机器人科技(苏州)有限公司 自移动机器人行走范围限制系统及其限制方法
KR101798132B1 (ko) * 2016-12-26 2017-11-16 한국생산기술연구원 로봇의 충돌 검출 고속화를 위한 작업 환경 모델링 장치 및 방법
US20180040119A1 (en) * 2016-08-03 2018-02-08 Sightline Innovation Inc. System and method for integrated laser scanning and signal processing
CN107843267A (zh) * 2017-10-25 2018-03-27 广州汽车集团股份有限公司 施工路段无人驾驶车辆的路径生成方法及装置
CN108133191A (zh) * 2017-12-25 2018-06-08 燕山大学 一种适用于室内环境的实时物体识别方法
CN108318895A (zh) * 2017-12-19 2018-07-24 深圳市海梁科技有限公司 用于无人驾驶车辆的障碍物识别方法、装置及终端设备
CN109822579A (zh) * 2019-04-10 2019-05-31 江苏艾萨克机器人股份有限公司 基于视觉的协作机器人安全控制方法
CN109993192A (zh) * 2018-01-03 2019-07-09 北京京东尚科信息技术有限公司 目标对象识别方法及装置、电子设备、存储介质
CN110338708A (zh) * 2019-06-21 2019-10-18 华为技术有限公司 一种扫地机器人的清扫控制方法及设备
CN110456797A (zh) * 2019-08-19 2019-11-15 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法
CN111409070A (zh) * 2020-03-25 2020-07-14 上海高仙自动化科技发展有限公司 检测方法及装置、智能机器人及存储介质
CN111461023A (zh) * 2020-04-02 2020-07-28 山东大学 基于三维激光雷达的四足机器人自主跟随领航员的方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202795052U (zh) * 2012-08-29 2013-03-13 科沃斯机器人科技(苏州)有限公司 自移动机器人行走范围限制系统
CN103631262A (zh) * 2012-08-29 2014-03-12 科沃斯机器人科技(苏州)有限公司 自移动机器人行走范围限制系统及其限制方法
US20180040119A1 (en) * 2016-08-03 2018-02-08 Sightline Innovation Inc. System and method for integrated laser scanning and signal processing
KR101798132B1 (ko) * 2016-12-26 2017-11-16 한국생산기술연구원 로봇의 충돌 검출 고속화를 위한 작업 환경 모델링 장치 및 방법
CN107843267A (zh) * 2017-10-25 2018-03-27 广州汽车集团股份有限公司 施工路段无人驾驶车辆的路径生成方法及装置
CN108318895A (zh) * 2017-12-19 2018-07-24 深圳市海梁科技有限公司 用于无人驾驶车辆的障碍物识别方法、装置及终端设备
CN108133191A (zh) * 2017-12-25 2018-06-08 燕山大学 一种适用于室内环境的实时物体识别方法
CN109993192A (zh) * 2018-01-03 2019-07-09 北京京东尚科信息技术有限公司 目标对象识别方法及装置、电子设备、存储介质
CN109822579A (zh) * 2019-04-10 2019-05-31 江苏艾萨克机器人股份有限公司 基于视觉的协作机器人安全控制方法
CN110338708A (zh) * 2019-06-21 2019-10-18 华为技术有限公司 一种扫地机器人的清扫控制方法及设备
CN110456797A (zh) * 2019-08-19 2019-11-15 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法
CN111409070A (zh) * 2020-03-25 2020-07-14 上海高仙自动化科技发展有限公司 检测方法及装置、智能机器人及存储介质
CN111461023A (zh) * 2020-04-02 2020-07-28 山东大学 基于三维激光雷达的四足机器人自主跟随领航员的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI CHEN ET AL: "Novel Laser-Based Obstacle Detection for Autonomous Robots on Unstructured Terrain", 《SENSORS》 *
XITING ZHAO ET AL: "Mapping with Reflection - Detection and Utilization of Reflection in 3D Lidar Scans", 《2020 IEEE INTERNATIONAL SYMPOSIUM ON SAFETY, SECURITY, AND RESCUE ROBOTICS》 *
谭勇: "基于激光雷达的无人驾驶障碍物检测与辨识", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310876A (zh) * 2021-12-20 2022-04-12 达闼机器人有限公司 机器人定位方法、系统、处理设备及介质

Similar Documents

Publication Publication Date Title
US11709058B2 (en) Path planning method and device and mobile device
EP3252657B1 (en) Information processing device and information processing method
CN111665842B (zh) 一种基于语义信息融合的室内slam建图方法及系统
US8260539B2 (en) Object and vehicle detection and tracking using 3-D laser rangefinder
CN111199555B (zh) 毫米波雷达目标识别方法
US11556745B2 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
KR101771146B1 (ko) 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN106559749B (zh) 一种基于射频层析成像的多目标被动式定位方法
Prophet et al. Semantic segmentation on automotive radar maps
Zhou et al. Detection of parking spots using 2D range data
CN112329754B (zh) 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN110705385B (zh) 一种障碍物角度的检测方法、装置、设备及介质
KR20180029861A (ko) 상당히 다른 오차 크기를 가진 데이터를 이용한 공간 필터링 시스템 및 방법
KR20220041859A (ko) 주행 가능 공간 추정 시스템 및 방법
CN112001309A (zh) 基于无人机集群的目标搜索方法、装置、设备及存储介质
CN112733923A (zh) 一种确定禁行区域的系统及机器人
Habermann et al. 3D point clouds segmentation for autonomous ground vehicle
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN112733922A (zh) 一种确定禁行区域的方法、装置、机器人及存储介质
KR101766467B1 (ko) 이벤트 발생 알림 장치, 이벤트 발생 알림 방법, 및 이벤트 발생 판단 모델 제공 방법
KR102267287B1 (ko) Lstm 기반 미래 위협 요소 예측 방법 및 장치
Secord et al. Tree detection in aerial lidar and image data
CN114398996A (zh) 目标处理方法以及控制系统
Shu et al. Pairwise-SVM for on-board urban road lidar classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210430

RJ01 Rejection of invention patent application after publication