CN113126621A - 一种地铁车厢消毒机器人自动导航方法 - Google Patents

一种地铁车厢消毒机器人自动导航方法 Download PDF

Info

Publication number
CN113126621A
CN113126621A CN202110365642.1A CN202110365642A CN113126621A CN 113126621 A CN113126621 A CN 113126621A CN 202110365642 A CN202110365642 A CN 202110365642A CN 113126621 A CN113126621 A CN 113126621A
Authority
CN
China
Prior art keywords
laser radar
robot
pose
radar scanning
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110365642.1A
Other languages
English (en)
Inventor
史聪灵
车洪磊
李建
胡鹄
任飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Safety Science and Technology CASST
Original Assignee
China Academy of Safety Science and Technology CASST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Safety Science and Technology CASST filed Critical China Academy of Safety Science and Technology CASST
Priority to CN202110365642.1A priority Critical patent/CN113126621A/zh
Publication of CN113126621A publication Critical patent/CN113126621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种地铁车厢消毒机器人自动导航方法,属于机器人技术领域。所述消毒机器人雾化板流道经进气口连通微型空压机,所述流道的竖管侧壁上设有互为反向的出气口,在所述雾化板下还设有气孔,加压空气进入流道内喷出的气体形成旋流至所述气孔处,将雾化后的颗粒进行二次破碎,即采用气动超声波雾化器,使得雾化后雾量变大,雾滴粒径更细。所述自动导航方法采用激光雷达与视觉里程计或视觉导航复合,闭环slam建图导航策略,以实现机器人在地铁车厢内的自动精准导航,克服了仅依靠激光雷达定位的长廊移动导航的问题,也避免了视觉里程计或视觉导航受光线影响较大的问题。

Description

一种地铁车厢消毒机器人自动导航方法
本申请为“申请日:2020年10月14日,申请号:2020110988107,发明创造名称:一种地铁车厢消毒机器人及其自动导航方法”的发明专利申请的分案申请。
技术领域
本发明涉及一种地铁车厢消毒机器人自动导航方法,属于机器人技术领域。
背景技术
新冠肺炎疫情期间,地铁车站安检设备、自助售票设备、闸机、楼梯扶手、电扶梯扶手、公共卫生间门把手和门帘、直梯轿厢四壁、内外部按键等乘客经常接触的部分以及地铁站公共区域、其他运营设备设施、卫生间等需定期消毒;此外列车在出库前或是到达终点站后进行折返作业时,还要对车厢内部进行喷洒式消毒。但目前多是采用人工消毒的方式,对人员的素质、技术和主观性依赖性大,且有些属于人工消毒难以覆盖的隐蔽空间场所,无法实现消毒全覆盖。因此采用自动化、智能化消毒机器人,代替工作人员对地铁车厢、运营设备设施进行定期消毒,是今后本领域技术变革、更新换代的发展方向。
地铁每节车厢的结构几乎完全一致,即使人在车厢内,也只能依靠车厢内标识进行分辨,而无法通过车厢内结构进行判断,其对称且重复结构是典型的长廊环境,而长廊移动导航是移动机器人导航中的难点问题。当仅采用激光雷达或其他单一导航设备时,极易导致机器人丢失坐标,无法实现自动导航和自主消毒任务。
发明内容
为解决上述问题,本发明的目的在于提供一种地铁车厢消毒机器人自动导航方法。其中,所述自动导航方法采用激光雷达与视觉里程计或视觉导航复合,闭环slam建图导航策略,以实现机器人在地铁车厢内的自动精准导航。
本发明的目的是通过以下技术方案实现的:
一种地铁车厢消毒机器人,包括机器人本体和和雾化系统,所述雾化系统置于所述机器人本体内部空腔,且从上至下依次设有出雾口、出雾软管和雾化箱,所述雾化箱的底部设有若干个雾化板;
雾化板压电基底下设有压电圆片,液体在雾化板的流道上雾化;所述流道还经进气口连通微型空压机,所述流道的竖管侧壁上设有互为反向的出气口,在所述雾化板下还设有气孔,所述气孔直径为0.10-0.85mm,加压空气进入流道内喷出的气体形成旋流至所述气孔处,将雾化后的颗粒进行二次破碎。
进一步的,所述雾化箱内设有存水箱,所述存水箱内设有浮球阀;所述雾化板表面设有液位传感器。
进一步的,所述消毒机器人还包括驱动机构、主控模块、控制模块和电源模块;其中,
所述驱动机构包括两个主动轮和两个从动轮,所述主动轮由伺服轮毂电机带动,所述从动轮为万向轮;
所述主控模块包括工控电脑、激光雷达传感器和无线模块,其中所述激光雷达传感器设于所述机器人本体顶部;
所述控制模块包括伺服控制器和控制板;
所述电源模块包括电控面板按钮和锂电池。
一种地铁车厢消毒机器人自动导航方法,包括以下步骤:
步骤1,一段时间内连续扫描的激光雷达扫描帧生成一个子图,子图采用概率栅格的地图表达模型,当新的激光雷达扫描帧插入到概率栅格时,栅格状态更新;
步骤2,在把激光雷达扫描帧插入到子图之前,对激光雷达扫描帧位姿和当前的子图通过Ceres Solver求解器进行优化;
步骤3,通过稀疏位姿调整方法优化所有激光雷达扫描帧和子图的位姿,激光雷达扫描帧在插入子图时的位姿会被缓存到内存中进行回环检测,当子图不再变化时,所有的激光雷达扫描帧和子图都被进行回环检测,从而消除子图的累积误差,得到环境地图;
步骤4,在消毒机器人平台顶端安装双目摄像头,并每隔k秒拍摄一次环境信息,左摄像头拍摄到的n时刻的图像为左图像Inl,右摄像头拍摄到的n时刻的图像为右图像Inr
步骤5,分别将左图像Inl和右图像Inr进行特征点检测及描述,并将左图像Inl和右图像Inr进行特征点匹配得到图像fnlr
步骤6,再将前后帧图像f(n-1)lr与fnlr进行特征点匹配;
步骤7,利用三角测量法重建前后帧图像匹配特征点的三维坐标,进行运动估计,得到机器人全局位姿。
进一步的,步骤1中,将激光雷达扫描帧通过自适应阈值的分割方法进行区域分割,将3D点云图处理成2D平面图。
进一步的,步骤3中,使用分支定界扫描匹配算法加速回环检测和相对位姿的求解过程,确定搜索窗口,采用查找的方法构建回环。
一种地铁车厢消毒机器人自动导航方法,包括以下步骤:
步骤1,一段时间内连续扫描的激光雷达扫描帧生成一个子图,子图采用概率栅格的地图表达模型,当新的激光雷达扫描帧插入到概率栅格时,栅格状态更新;
步骤2,在把激光雷达扫描帧插入到子图之前,对激光雷达扫描帧位姿和当前的子图通过Ceres Solver求解器进行优化;
步骤3,通过稀疏位姿调整方法优化所有激光雷达扫描帧和子图的位姿,激光雷达扫描帧在插入子图时的位姿会被缓存到内存中进行回环检测,当子图不再变化时,所有的激光雷达扫描帧和子图都被进行回环检测,从而消除子图的累积误差,得到环境地图;
步骤4,在基于摄像头的观测模型中,用极坐标来表示t时刻摄像头获取的环境特征i的观测量Z(t):
Figure BDA0003007193500000031
其中,
Figure BDA0003007193500000032
Figure BDA0003007193500000033
分别表示环境特征i与机器人的距离关系和角度关系;
步骤5,基于摄像头的观测模型表示为:
Z(k)=h(X(k))+V(k)
X(k)为机器人在k时刻时的位姿;Z(k)、h( )和V(k)分别为摄像头在k时刻的观测信息、观测函数和观测噪声;
步骤6,机器人在k时刻的位姿为(xt(k),yt(k),θt(k))T,此时摄像头观测到N个特征,每个特征的观测值为(xi,yi),得如下表达式:
Figure BDA0003007193500000041
其中,xi,yi表示在k时刻传感器探测到的第i个路标特征的坐标;
Figure BDA0003007193500000042
Figure BDA0003007193500000043
分别表示第i个路标在k时刻与机器人的位置关系和角度关系;xt(k),yt(k),θt(k)分别表示移动机器人在k时刻的位姿;
步骤7,记录摄像头与环境特征的相对位置。
进一步的,步骤1中,将激光雷达扫描帧通过自适应阈值的分割方法进行区域分割,将3D点云图处理成2D平面图。
进一步的,步骤3中,使用分支定界扫描匹配算法加速回环检测和相对位姿的求解过程,确定搜索窗口,采用查找的方法构建回环。
本发明的有益效果为:
所述消毒机器人采用气动超声波雾化器,使得雾化后雾量变大,雾滴粒径更细。
采用激光雷达与视觉里程计或视觉导航复合,闭环slam建图导航策略,以实现机器人在地铁车厢内的自动精准导航,克服了仅依靠激光雷达定位的长廊移动导航的问题,也避免了视觉里程计或视觉导航受光线影响较大的问题。
激光雷达构建环境地图时,使用分支定界方法可以高效的计算值,采用深度优先搜索的分支定界扫描匹配算法,使得机器人在行驶中搜索目标点反馈速度高精度值高。激光雷达结合视觉里程计的位姿估计结果更加精确,对环境有更好的适应性,采用基于特征点匹配的方案获得机器人行驶里程。
另外还可通过机器人视觉系统观测移动机器人在移动时刻的位姿。
附图说明
图1为地铁车厢消毒机器人外观结构示意图;
图2为地铁车厢消毒机器人内部结构示意图;
图3为雾化箱结构示意图;
图4为雾化系统结构示意图;
图5为雾化器结构示意图;
图6为雾化板流道气孔出气结构示意图;
图7为雾化板结构示意图;
图8为整体雾化器组合结构示意图;
图9为实施例2及实施例3中子图栅格状态更新示意图;
1-手提把手,2-出雾口,3-出雾软管,4-雾化箱,5-控制模块,6-风扇,7-主动轮,8-从动轮,9-锂电池,10-排水口,11-激光雷达传感器,12-主控模块,13-存水箱,14-出雾管口,15-风扇进风口,16-浮球阀入口,17-进水口,18-通气口,19-出风口,20-雾化板,21-入水口,22-微型空压机,23-气孔,24-压电圆片,25-接气源,26-出气口,27-出气方向,28-进气口,29-雾化片,30-液位传感器。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
一种地铁车厢消毒机器人,包括机器人本体和和雾化系统,如图2和图4所示,所述雾化系统置于所述机器人本体内部空腔,且从上至下依次设有出雾口2、出雾软管3和雾化箱4。如图8所示,所述雾化箱4的底部设有若干个雾化板20。
雾化板压电基底下设有压电圆片24,压电圆片通电后相互振动下产生多个波形,在运动惯性的作用下,液体在雾化板的流道上雾化。同时,如图5所示,在所述雾化板下还设有直径为0.1mm的气孔23。所述气孔23的出气结构如图6所示,流道经进气口28连通微型空压机22,加压空气经进气口28进入流道内,流道的竖管侧壁上设有2个互为反向的出气口,加压空气进入流道内喷出的气体形成旋流至所述气孔23处,将雾化后的颗粒进行二次破碎,即进行二次雾化,从而形成气动超声波雾化器,使得雾化器进一步改善了液体雾化效果,同时消耗的电能也大大降低。
所述消毒机器人还包括驱动机构、主控模块12、控制模块13和电源模块;其中,
所述驱动机构包括两个主动轮7和两个从动轮8,所述主动轮7由伺服轮毂电机带动,所述从动轮8为万向轮。
所述主控模块12包括工控电脑、激光雷达传感器11和无线模块,其中所述激光雷达传感器设于所述机器人本体顶部。
所述控制模块13包括伺服控制器和控制板。
所述电源模块包括电控面板按钮和锂电池9。
为机器人的定位导航,所述消毒机器人上还安装有摄像头或双目摄像头。
雾化板结构如图7所示,供电采用48v供电,所述雾化板20表面设有液位传感器,当水位较低时,液位传感器传出开关量信号并向主控模块发送,主控模块控制雾化器的启停命令。
如图3所示,为雾化箱外观结构示意图,在雾化箱的顶部分别设有出雾管口14,用于连接出雾软管3;设有风扇进风口15,用于给雾化器送风;设有浮球阀入口16,用于存水箱13内浮球阀的安装;设有进水口17,用于给存水箱13蓄水;设有通气口18,用于保证雾化箱内部的气体流通;另外在雾化箱底部还设有排水口10,用于存水箱13及雾化器的排水。
所述雾化箱3内设有存水箱13,所述存水箱进水口17蓄水,再经入水口21连通雾化器。所述存水箱13内设有浮球阀,可控制存水箱液面,水位不受水压干扰,开闭紧密不漏水。
如图1所示,为消毒机器人的外观结构示意图,在消毒机器人的顶部和侧方分别设有手提把手1,主要是用于地铁车厢消毒,方便机器人的搬运和移动,如将其放入地铁车厢,开始运作进行消毒作业。
其中,出雾口通过出雾装置可设有多个,分别设置在机器人顶部、左、右、后端出雾,对车厢进行消毒,由于出雾颗粒在5微米左右,出雾是可以漫到整个车厢,可对车厢把手,座位、及卫生死角进行消毒。
实施例2
一种地铁车厢消毒机器人自动导航方法,包括以下步骤:
步骤1,一段时间内连续扫描的激光雷达扫描帧生成一个子图,子图采用概率栅格的地图表达模型,当新的激光雷达扫描帧插入到概率栅格时,栅格状态更新,具体如下:
机器人的位姿可以用ξ=(ξxyθ)来表示,ξx和ξy表示在x和y方向的平移量,ξθ表示在二维平面的旋转量。将激光雷达传感器测量的数据记做H={hk}k=1,...,K,
Figure BDA0003007193500000071
初始激光点为
Figure BDA0003007193500000072
激光雷达扫描数据帧映射到子图的位姿变换记作Tξ,可以通过公式(1)映射到子图坐标系下:
Figure BDA0003007193500000073
式中,Ri表示激光雷达观测位姿的旋转角,ti表示激光雷达观测位姿的平移坐标,p表示扫描点到子图中的概率。
一段时间内连续扫描的激光雷达扫描帧生成一个子图,子图采用概率栅格的地图表达模型,当新的激光雷达扫描帧插入到概率栅格时,栅格的状态将会被计算,每一个栅格都有命中(hit)和丢失(miss)两种状态。命中的栅格,将相邻的栅格插入到命中集合中,将扫描中心和扫描点连接射线上的所有相关点添加到丢失集合中。对每个之前没有观测到的栅格会设置一个概率值,对于已经观测到的栅格则会按照公式(2)对其进行概率更新,示意图如图9所示,图中带有叉号和阴影的栅格表示命中,只有阴影的栅格表示丢失。
Figure BDA0003007193500000074
Mnew(x)=clamp(odds-1(odds(Mold(x))·odds(phit)))
式中,odds表示发生比,M表示更新的网格的相应值,clamp函数表示将随机变化的数值限制在一个给定的区域内,返回的值介于两个数min和max之间,若值小于min返回min,若值大于max则返回max。
由于激光雷达本身的误差以及测量过程中路面不平导致的小车颠簸的问题使得激光雷达扫描点存在较大范围的波动,严重影响了占据栅格地图构建中各栅格的概率计算和更新,于是本文提出了一种激光雷达扫描帧特征提取结合占据栅格地图构建的方法,该方法在激光雷达扫描帧中提取直线段特征并进行拟合,之后根据拟合出来的直线段将激光雷达扫描点平移到直线上。经过实地测试证明,该方法能够有效得减小激光雷达扫描点的误差,提高建图边缘的清晰度和锐度。
步骤2,在把激光雷达扫描帧插入到子图之前,对激光雷达扫描帧位姿和当前的子图通过Ceres Solver求解器进行优化,便可以将上述问题转化为求解非线性最小二乘问题:
Figure BDA0003007193500000081
ξ属于扫描位姿,其中Tξ根据特征位姿hξ将特征点坐标转换成子图坐标,Msmooth函数完成从
Figure BDA0003007193500000082
局部子图中概率值的平滑形式,该函数采用双三次插值方法。
步骤3,由于激光雷达扫描帧仅与当前子图进行匹配,环境地图是由一系列子图构成的,因此会存在累积误差。通过稀疏位姿调整方法(Sparse Pose Adjustment,SPA)优化所有激光雷达扫描帧和子图的位姿:激光雷达扫描帧在插入子图时的位姿会被缓存到内存中进行回环检测;当子图不再变化时,所有的激光雷达扫描帧和子图都被进行回环检测,从而消除子图的累积误差,得到环境地图。
具体的,使用稀疏位姿调整方法构建的优化问题的数学表达式为:
Figure BDA0003007193500000083
上式中,
Figure BDA0003007193500000084
分别表示在一定约束条件下,子1图的位姿和特征点的位姿集合;ρ为损失函数;
Figure BDA0003007193500000085
表示子图的位姿,m为子图的数量;
Figure BDA0003007193500000086
表示特征点的位姿,s为特征点的数量;相对位姿ξij表示特征点j在子图i中的匹配位置,与其相关的协方差矩阵∑ij,共同构成优化约束。这个约束的代价函数使用残差E表示,可由公式(5)计算:
Figure BDA0003007193500000091
Figure BDA0003007193500000092
Figure BDA0003007193500000093
Figure BDA0003007193500000094
表示同一雷达角度下的子图位姿和特征点位姿,
Figure BDA0003007193500000095
表示表示子图位姿矩阵的转置,
Figure BDA0003007193500000096
表示特征点位姿矩阵的转置,
Figure BDA0003007193500000097
表示子图位姿逆矩阵的秩。
此外,本实施例还使用分支定界扫描匹配算法加速回环检测和相对位姿的求解过程,确定搜索窗口,采用查找的方法构建回环。
Figure BDA0003007193500000098
ξ属于扫描位姿,W是搜索空间,Mnearest是像素对应的网格点的M值,Tξ表示子图坐标,hk表示特征点位姿,其中W由下列公式得到,将特征点带入下列公式:
dmax=maxk=1,...k||hk||
Figure BDA0003007193500000099
dmax表示特征点中最远的点到原点的距离,r表示分辨率,将得到的角度步长δθ带入公式(8):
Figure BDA00030071935000000910
Wx、Wy表示雷达水平范围的值,Wθ表示扫描角度的值,假设Wx=Wy=7m,Wθ=30°,根据上式计算出线性和角度窗口大小,将得到的值带入公式(9):
Figure BDA00030071935000000911
Figure BDA00030071935000000912
ξ0表示初始搜索框中心的特征点位姿,jx、jy和jθ表示搜索框中的任意水平和角度值;
由式(9)求得搜索空间大小,将得到的W值代入公式(6)求得约束关系,进而进行回环优化。
全局优化主要使用图优化将局部优化后建立完成的子图位姿加入到全局位姿优化中来,全局优化采用分支定界法进行加速,以进行回环的检测和相对位姿求解,相比传统的先检测回环,在求解相对位姿来说,显得结构上更为统一,将建立回环的过程转化为一个查找过程,而另一方面,当完成对离散候选解空间的树形构造后,在树中对解的查找过程速度很快,剩下的对于建树过程中的节点的界限的选择通过对子图的预先计算来完成,这种中间结构的引入使得回环过程可以实时的完成,从而通过回环不断调整子图以消除累计误差。
即使用分支定界方法可以高效的计算值,采用深度优先搜索的分支定界扫描匹配算法,使得机器人在行驶中搜索目标点反馈速度高精度值高。
步骤4,在消毒机器人平台顶端安装双目摄像头,并每隔k秒拍摄一次环境信息,左摄像头拍摄到的n时刻的图像为左图像Inl,右摄像头拍摄到的n时刻的图像为右图像Inr
步骤5,分别将左图像Inl和右图像Inr进行特征点检测及描述,并将左图像Inl和右图像Inr进行特征点匹配得到图像fnlr
步骤6,再将前后帧图像f(n-1)lr与fnlr进行特征点匹配;
步骤7,利用三角测量法重建前后帧图像匹配特征点的三维坐标,进行运动估计,得到机器人全局位姿。
其中,双目摄像头的坐标系一般以左侧摄像头的坐标系为基准建立,通过刚体变换
Figure BDA0003007193500000101
可以表示双目摄像头在n-1到n相邻两帧间的位姿变化量,也就是移动机器人在帧间的位姿变化量:
Figure BDA0003007193500000102
其中,rn,n-1代表姿态变化量,是3×3的矩阵,tn,n-1代表位置变化量,是3×1的向量。左右摄像头拍摄的图像In对应的位姿记为Cn,且Cn=Tn,n-1Cn-1。坐标或角度变化量的下标从两个相邻时刻改为后一时刻(将rn,n-1改成rn),这意味着视觉里程计最主要的作用就是联立n-1时刻的图像In-1和n时刻的图像In计算出图像的位姿变化Tn
移动机器人在三维空间中完整的定位信息有六个自由度,包括x,y,z三个坐标和
Figure BDA0003007193500000111
θ,φ三个欧拉角。在不依靠其他定位导航方式辅助时,单目视觉只能获得包括
Figure BDA0003007193500000112
θ,φ的三个欧拉角和两个依靠尺度因子才能求出的位置信息在内的五个自由度的信息。为了获得机器人六个自由度的定位信息,通常选择基于双目摄像头的视觉里程计模型。对于匹配相邻两帧图像间的一致性信息的方法,由于致密匹配方法如光流法等在光照变化时会使匹配精度降低,且计算量较大,为了使视觉里程计的位姿估计结果更加精确,对环境有更好的适应性,因此本实施例采用基于特征点匹配的方案。
优选的,步骤1中,将激光雷达扫描帧通过自适应阈值的分割方法进行区域分割,将3D点云图处理成2D平面图。
当激光雷达扫描帧中有大量点波动的时候,就会影响到地图构建过程中栅格点的概率计算和更新,导致地图构建不清晰甚至错误。激光雷达每隔1°测量一次距离,旋转一周共获得360个扫描点数据,所以,对于距离激光雷达近的墙体,那么激光雷达扫描点落在这个墙体上面的点就会变得密集,而距离激光雷达远的墙体,落在它上面的激光雷达扫描点就会变得稀疏。
如果我们用一个固定的阀值去分割区域,那么就会导致距离激光雷达远的整块墙体被切分成多块,这样显然不符合区域分割的要求。为此区域分割应该采用自适应阀值的分割方法,当扫描点与激光雷达之间的距离假设为d的时候,区域分割的阀值设置为g,当扫描点与激光雷达之间的距离为2d的时候,区域分割的阀值就设置为2g,这样能够减小距离对区域分割的影响。
对激光雷达扫描帧进行区域分割后,就将一帧激光雷达扫描帧分割成了几个区域,每个区域内的所有点就可以被认为是连续的,之后对这个区域内的所有点做特征提取。
首先假设这些点构成一条折线,折线的角点可以是一个或者多个,然后将这些点使用最小二乘法拟合成一条直线,接着检查所有点与拟合后的直线的距离,找出距离最远的那个点,如果这个距离大于某个阈值,那么就可以认为这个点就是一个角点,,从这个角点将这条直线折成两条直线,否者就说明所有点构成一条直线。如果这个区域有多个角点,那么就需要进行多次拟合,每次拟合找出一个角点,将所有数据点分成两个部分,接着再在每个部分继续进行数据拟合找出角点,如此循环进行直到所有区域内都不存在角点为止。
实施例3
一种地铁车厢消毒机器人自动导航方法,包括以下步骤:
步骤1,一段时间内连续扫描的激光雷达扫描帧生成一个子图,子图采用概率栅格的地图表达模型,当新的激光雷达扫描帧插入到概率栅格时,栅格状态更新,具体如下:
机器人的位姿可以用ξ=(ξxyθ)来表示,ξx和ξy表示在x和y方向的平移量,ξθ表示在二维平面的旋转量。将激光雷达传感器测量的数据记做H={hk}k=1,...,K,
Figure BDA0003007193500000121
初始激光点为
Figure BDA0003007193500000122
激光雷达扫描数据帧映射到子图的位姿变换记作Tξ,可以通过公式(1)映射到子图坐标系下:
Figure BDA0003007193500000123
式中,Ri表示激光雷达观测位姿的旋转角,ti表示激光雷达观测位姿的平移坐标,p表示扫描点到子图中的概率。
一段时间内连续扫描的激光雷达扫描帧生成一个子图,子图采用概率栅格的地图表达模型,当新的激光雷达扫描帧插入到概率栅格时,栅格的状态将会被计算,每一个栅格都有命中(hit)和丢失(miss)两种状态。命中的栅格,将相邻的栅格插入到命中集合中,将扫描中心和扫描点连接射线上的所有相关点添加到丢失集合中。对每个之前没有观测到的栅格会设置一个概率值,对于已经观测到的栅格则会按照公式(2)对其进行概率更新,示意图如图9所示,图中带有叉号和阴影的栅格表示命中,只有阴影的栅格表示丢失。
Figure BDA0003007193500000124
Mnew(x)=clamp(odds-1(odds(Mold(x))·odds(phit)))
式中,odds表示发生比,M表示更新的网格的相应值,clamp函数表示将随机变化的数值限制在一个给定的区域内,返回的值介于两个数min和max之间,若值小于min返回min,若值大于max则返回max。
由于激光雷达本身的误差以及测量过程中路面不平导致的小车颠簸的问题使得激光雷达扫描点存在较大范围的波动,严重影响了占据栅格地图构建中各栅格的概率计算和更新,于是本文提出了一种激光雷达扫描帧特征提取结合占据栅格地图构建的方法,该方法在激光雷达扫描帧中提取直线段特征并进行拟合,之后根据拟合出来的直线段将激光雷达扫描点平移到直线上。经过实地测试证明,该方法能够有效得减小激光雷达扫描点的误差,提高建图边缘的清晰度和锐度。
步骤2,在把激光雷达扫描帧插入到子图之前,对激光雷达扫描帧位姿和当前的子图通过Ceres Solver求解器进行优化,便可以将上述问题转化为求解非线性最小二乘问题:
Figure BDA0003007193500000131
ξ属于扫描位姿,其中Tξ根据特征位姿hξ将特征点坐标转换成子图坐标,Msmooth函数完成从
Figure BDA0003007193500000132
局部子图中概率值的平滑形式,该函数采用双三次插值方法。
步骤3,由于激光雷达扫描帧仅与当前子图进行匹配,环境地图是由一系列子图构成的,因此会存在累积误差。通过稀疏位姿调整方法(Sparse Pose Adjustment,SPA)优化所有激光雷达扫描帧和子图的位姿:激光雷达扫描帧在插入子图时的位姿会被缓存到内存中进行回环检测;当子图不再变化时,所有的激光雷达扫描帧和子图都被进行回环检测,从而消除子图的累积误差,得到环境地图。
具体的,使用稀疏位姿调整方法构建的优化问题的数学表达式为:
Figure BDA0003007193500000133
上式中,
Figure BDA0003007193500000134
分别表示在一定约束条件下,子1图的位姿和特征点的位姿集合;ρ为损失函数;
Figure BDA0003007193500000135
表示子图的位姿,m为子图的数量;
Figure BDA0003007193500000141
表示特征点的位姿,s为特征点的数量;相对位姿ξij表示特征点j在子图i中的匹配位置,与其相关的协方差矩阵∑ij,共同构成优化约束。这个约束的代价函数使用残差E表示,可由公式(5)计算:
Figure BDA0003007193500000142
Figure BDA0003007193500000143
Figure BDA0003007193500000144
Figure BDA0003007193500000145
表示同一雷达角度下的子图位姿和特征点位姿,
Figure BDA0003007193500000146
表示表示子图位姿矩阵的转置,
Figure BDA0003007193500000147
表示特征点位姿矩阵的转置,
Figure BDA0003007193500000148
表示子图位姿逆矩阵的秩。
此外,本实施例还使用分支定界扫描匹配算法加速回环检测和相对位姿的求解过程,确定搜索窗口,采用查找的方法构建回环。
Figure BDA0003007193500000149
ξ属于扫描位姿,W是搜索空间,Mnearest是像素对应的网格点的M值,Tξ表示子图坐标,hk表示特征点位姿,其中W由下列公式得到,将特征点带入下列公式:
dmax=maxk=1,...k||hk||
Figure BDA00030071935000001410
dmax表示特征点中最远的点到原点的距离,r表示分辨率,将得到的角度步长δθ带入公式(8):
Figure BDA00030071935000001411
Wx、Wy表示雷达水平范围的值,Wθ表示扫描角度的值,假设Wx=Wy=7m,Wθ=30°,根据上式计算出线性和角度窗口大小,将得到的值带入公式(9):
Figure BDA00030071935000001412
Figure BDA00030071935000001413
ξ0表示初始搜索框中心的特征点位姿,jx、jy和jθ表示搜索框中的任意水平和角度值;
由式(9)求得搜索空间大小,将得到的W值代入公式(6)求得约束关系,进而进行回环优化。
全局优化主要使用图优化将局部优化后建立完成的子图位姿加入到全局位姿优化中来,全局优化采用分支定界法进行加速,以进行回环的检测和相对位姿求解,相比传统的先检测回环,在求解相对位姿来说,显得结构上更为统一,将建立回环的过程转化为一个查找过程,而另一方面,当完成对离散候选解空间的树形构造后,在树中对解的查找过程速度很快,剩下的对于建树过程中的节点的界限的选择通过对子图的预先计算来完成,这种中间结构的引入使得回环过程可以实时的完成,从而通过回环不断调整子图以消除累计误差。
即使用分支定界方法可以高效的计算值,采用深度优先搜索的分支定界扫描匹配算法,使得机器人在行驶中搜索目标点反馈速度高精度值高。
步骤4,在基于摄像头的观测模型中,用极坐标来表示t时刻摄像头获取的环境特征i的观测量Z(t):
Figure BDA0003007193500000151
其中,
Figure BDA0003007193500000152
Figure BDA0003007193500000153
分别表示环境特征i与机器人的距离关系和角度关系;
步骤5,基于摄像头的观测模型表示为:
Z(k)=h(X(k))+V(k)
X(k)为机器人在k时刻时的位姿;Z(k)、h(·)和V(k)分别为摄像头在k时刻的观测信息、观测函数和观测噪声;
步骤6,机器人在k时刻的位姿为(xt(k),yt(k),θt(k))T,此时摄像头观测到N个特征,每个特征的观测值为(xi,yi),得如下表达式:
Figure BDA0003007193500000154
其中,xi,yi表示在k时刻传感器探测到的第i个路标特征的坐标;
Figure BDA0003007193500000155
Figure BDA0003007193500000156
分别表示第i个路标在k时刻与机器人的位置关系和角度关系;xt(k),yt(k),θt(k)分别表示移动机器人在k时刻的位姿;
步骤7,记录摄像头与环境特征的相对位置。
摄像头作为非常常见并且被广泛应用的感知元器件,是移动机器人获取外界信息的一项重要工具,是基于视觉导航的移动机器人采集路标信息或特征观测信息并应用于机器人定位导航的关键硬件支持。摄像头通过采集和识别外界的环境信息,来理解和记录摄像头与环境特征的相对位置。
同实施例2,步骤1中,将激光雷达扫描帧通过自适应阈值的分割方法进行区域分割,将3D点云图处理成2D平面图。
本发明中,单板计算机通过RS-232串行接口与激光测距仪和微控制器通信。消毒机器人使用了客户端-服务器移动机器人控制体系结构。单板计算机是客户端,微控制器是服务器。微控制器装有机器人的服务器操作软件,该操作系统存储在微控制器的FLASH ROM中。微控制器管理机器人控制和操作的所有低级细节,包括运动,航向和测距;它还包括发射声纳传感器,从声纳传感器,车轮编码器和陀螺仪收集数据。服务器(微控制器)使用特殊的客户端-服务器通信数据包协议与控制客户端(单板计算机)进行通信,使用了两个基本的命令包;一个从客户端到服务器的数据包,另一个从服务器到客户端的数据包(服务器信息包,SIP)。
微控制器上的操作系统具有结构化的命令格式,用于接收和响应来自计算机的指令以控制和操作机器人。在特定时间段内可以发送到微控制器的命令数量取决于串行接口的波特率和同步链接。微控制器上的AROS接受几种不同的计算机运动命令,但有两种互斥的类型:独立轮速模式或平台平移/旋转模式。在独立的车轮速度模式下,机器人的微控制器试图保持精确的车轮速度,而在平移/旋转模式下,微控制器保持平台速度和航向。计算机发送给微控制器的所有运动命令参数都使用毫米或度单位,AROS使用两个独立的参数将这些单位转换为编码器相关的运动值,一个用于平移,另一个用于旋转。
用户还可以灵活地在单板计算机上使用特殊的客户端命令来启用或禁用任何特定的声纳,或更改周期时间。车载陀螺仪用于补偿车轮编码器未检测到的机器人航向变化,例如车轮打滑,变速箱间隙,车轮不平衡或表面状况。微控制器每25毫秒收集10位陀螺仪速率和8位温度数据,并根据请求将数据发送到SIP中的单板计算机。机器人的方向和位置的调整均在机载计算机上完成。
本发明在具体应用时,首开打开客户端软件,连接WIFI,通过Socket与通讯设置区的激光雷达、风机以及移动平台控制器的IP和端口号Port进行连接。
设定作业参数后,启动移动平台,通过采集到的图像,选取相应的防疫消毒模式:自动消毒和遥控消毒。自动消毒情况下,系统调用自动消毒模式函数,按原计划设定好的参数值执行;遥控模式下,客户端通过调用激光雷达、风机、雾化器,底盘运动等控制移动平台的运行轨迹、调用雾化器功率处理程序控制雾化距离和药液流量。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种地铁车厢消毒机器人自动导航方法,其特征在于,包括以下步骤:
步骤1,一段时间内连续扫描的激光雷达扫描帧生成一个子图,子图采用概率栅格的地图表达模型,当新的激光雷达扫描帧插入到概率栅格时,栅格状态更新;
步骤2,在把激光雷达扫描帧插入到子图之前,对激光雷达扫描帧位姿和当前的子图通过Ceres Solver求解器进行优化;
步骤3,通过稀疏位姿调整方法优化所有激光雷达扫描帧和子图的位姿:激光雷达扫描帧在插入子图时的位姿会被缓存到内存中进行回环检测;当子图不再变化时,所有的激光雷达扫描帧和子图都被进行回环检测,从而消除子图的累积误差,得到环境地图;
步骤4,在消毒机器人平台顶端安装双目摄像头,并每隔k秒拍摄一次环境信息,左摄像头拍摄到的n时刻的图像为左图像Inl,右摄像头拍摄到的n时刻的图像为右图像Inr
步骤5,分别将左图像Inl和右图像Inr进行特征点检测及描述,并将左图像Inl和右图像Inr进行特征点匹配得到图像fnlr
步骤6,再将前后帧图像f(n-1)lr与fnlr进行特征点匹配;
步骤7,利用三角测量法重建前后帧图像匹配特征点的三维坐标,进行运动估计,得到机器人全局位姿。
2.根据权利要求1所述的一种地铁车厢消毒机器人自动导航方法,其特征在于,步骤1中,将激光雷达扫描帧通过自适应阈值的分割方法进行区域分割,将3D点云图处理成2D平面图。
3.根据权利要求1所述的一种地铁车厢消毒机器人自动导航方法,其特征在于,步骤3中,使用分支定界扫描匹配算法加速回环检测和相对位姿的求解过程,确定搜索窗口,采用查找的方法构建回环。
4.一种地铁车厢消毒机器人自动导航方法,其特征在于,包括以下步骤:
步骤1,一段时间内连续扫描的激光雷达扫描帧生成一个子图,子图采用概率栅格的地图表达模型,当新的激光雷达扫描帧插入到概率栅格时,栅格状态更新;
步骤2,在把激光雷达扫描帧插入到子图之前,对激光雷达扫描帧位姿和当前的子图通过Ceres Solver求解器进行优化;
步骤3,通过稀疏位姿调整方法优化所有激光雷达扫描帧和子图的位姿:激光雷达扫描帧在插入子图时的位姿会被缓存到内存中进行回环检测;当子图不再变化时,所有的激光雷达扫描帧和子图都被进行回环检测,从而消除子图的累积误差,得到环境地图;
步骤4,在基于摄像头的观测模型中,用极坐标来表示t时刻摄像头获取的环境特征i的观测量Z(t):
Figure FDA0003007193490000021
其中,
Figure FDA0003007193490000022
Figure FDA0003007193490000023
分别表示环境特征i与机器人的距离关系和角度关系;
步骤5,基于摄像头的观测模型表示为:
Z(k)=h(X(k))+V(k)
X(k)为机器人在k时刻时的位姿;Z(k)、h(·)和V(k)分别为摄像头在k时刻的观测信息、观测函数和观测噪声;
步骤6,机器人在k时刻的位姿为(xt(k),yt(k),θt(k))T,此时摄像头观测到N个特征,每个特征的观测值为(xi,yi),得如下表达式:
Figure FDA0003007193490000024
其中,xi,yi表示在k时刻传感器探测到的第i个路标特征的坐标;
Figure FDA0003007193490000025
Figure FDA0003007193490000026
分别表示第i个路标在k时刻与机器人的位置关系和角度关系;xt(k),yt(k),θt(k)分别表示移动机器人在k时刻的位姿;
步骤7,记录摄像头与环境特征的相对位置。
5.根据权利要求4所述的一种地铁车厢消毒机器人自动导航方法,其特征在于,步骤1中,将激光雷达扫描帧通过自适应阈值的分割方法进行区域分割,将3D点云图处理成2D平面图。
6.根据权利要求4所述的一种地铁车厢消毒机器人自动导航方法,其特征在于,步骤3中,使用分支定界扫描匹配算法加速回环检测和相对位姿的求解过程,确定搜索窗口,采用查找的方法构建回环。
CN202110365642.1A 2020-10-14 2020-10-14 一种地铁车厢消毒机器人自动导航方法 Pending CN113126621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110365642.1A CN113126621A (zh) 2020-10-14 2020-10-14 一种地铁车厢消毒机器人自动导航方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011098810.7A CN112180937A (zh) 2020-10-14 2020-10-14 一种地铁车厢消毒机器人及其自动导航方法
CN202110365642.1A CN113126621A (zh) 2020-10-14 2020-10-14 一种地铁车厢消毒机器人自动导航方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011098810.7A Division CN112180937A (zh) 2020-10-14 2020-10-14 一种地铁车厢消毒机器人及其自动导航方法

Publications (1)

Publication Number Publication Date
CN113126621A true CN113126621A (zh) 2021-07-16

Family

ID=73950097

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011098810.7A Pending CN112180937A (zh) 2020-10-14 2020-10-14 一种地铁车厢消毒机器人及其自动导航方法
CN202110365642.1A Pending CN113126621A (zh) 2020-10-14 2020-10-14 一种地铁车厢消毒机器人自动导航方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011098810.7A Pending CN112180937A (zh) 2020-10-14 2020-10-14 一种地铁车厢消毒机器人及其自动导航方法

Country Status (1)

Country Link
CN (2) CN112180937A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112692837A (zh) * 2021-01-11 2021-04-23 成都海瑞斯轨道交通设备有限公司 一种用于铁路货车车体检修的焊接机器人系统及焊接方法
CN112900315B (zh) * 2021-03-30 2022-10-18 徐州市康农消毒技术研究院有限公司 一种轨道交通售检票队列隔离装置
CN113368285A (zh) * 2021-06-16 2021-09-10 厦门大学 应用于旅客列车的智慧车厢消毒机器人
CN113129379A (zh) * 2021-06-17 2021-07-16 同方威视技术股份有限公司 自动移动设备的全局重定位方法以及装置
CN114594768B (zh) * 2022-03-03 2022-08-23 安徽大学 一种基于视觉特征图重构的移动机器人导航决策方法
CN114674308B (zh) * 2022-05-26 2022-09-16 之江实验室 基于安全出口指示牌视觉辅助激光长廊定位方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107764270A (zh) * 2017-10-19 2018-03-06 武汉工控仪器仪表有限公司 一种激光扫描式室内地图生成和更新装置及方法
US20180075643A1 (en) * 2015-04-10 2018-03-15 The European Atomic Energy Community (Euratom), Represented By The European Commission Method and device for real-time mapping and localization
CN111076733A (zh) * 2019-12-10 2020-04-28 亿嘉和科技股份有限公司 一种基于视觉与激光slam的机器人室内建图方法及系统
US20200159242A1 (en) * 2017-06-14 2020-05-21 Trifo, Inc. Monocular Modes for Autonomous Platform Guidance Systems with Auxiliary Sensors
CN111459166A (zh) * 2020-04-22 2020-07-28 北京工业大学 一种灾后救援环境下含受困人员位置信息的情景地图构建方法
CN111540005A (zh) * 2020-04-21 2020-08-14 南京理工大学 基于二维栅格地图的回环检测方法
CN111531534A (zh) * 2020-04-29 2020-08-14 北京眸视科技有限公司 一种机器人及其控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL149558A0 (en) * 1999-11-18 2002-11-10 Procter & Gamble Home cleaning robot
CN107321548B (zh) * 2017-05-05 2023-02-28 福建省雾精灵环境科技有限公司 水雾喷泉系统及其形成方法
CN109343548B (zh) * 2018-09-30 2019-11-19 中国安全生产科学研究院 地铁隧道巡检机器人的巡检系统
CN209490292U (zh) * 2018-11-29 2019-10-15 济南恒天广洁环境科技有限公司 一种移动式雾化消毒机
CN111514360A (zh) * 2020-04-29 2020-08-11 北京势焰天强科技有限公司 一种移动式消毒净化机器人
CN111686960A (zh) * 2020-05-13 2020-09-22 安徽伽马莱恩机器人有限公司 一种消毒机器人的雾化装置
CN111632174A (zh) * 2020-05-22 2020-09-08 平湖丞士机器人有限公司 一种履带式消毒机器人
CN111569108A (zh) * 2020-06-02 2020-08-25 电子科技大学中山学院 一种自动喷雾消毒灭菌机器人
CN111546359A (zh) * 2020-06-06 2020-08-18 深圳全智能机器人科技有限公司 智能消毒机器人
CN111744040A (zh) * 2020-07-21 2020-10-09 四川旭信科技有限公司 一种具有自动加液的智能消毒机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075643A1 (en) * 2015-04-10 2018-03-15 The European Atomic Energy Community (Euratom), Represented By The European Commission Method and device for real-time mapping and localization
US20200159242A1 (en) * 2017-06-14 2020-05-21 Trifo, Inc. Monocular Modes for Autonomous Platform Guidance Systems with Auxiliary Sensors
CN107764270A (zh) * 2017-10-19 2018-03-06 武汉工控仪器仪表有限公司 一种激光扫描式室内地图生成和更新装置及方法
CN111076733A (zh) * 2019-12-10 2020-04-28 亿嘉和科技股份有限公司 一种基于视觉与激光slam的机器人室内建图方法及系统
CN111540005A (zh) * 2020-04-21 2020-08-14 南京理工大学 基于二维栅格地图的回环检测方法
CN111459166A (zh) * 2020-04-22 2020-07-28 北京工业大学 一种灾后救援环境下含受困人员位置信息的情景地图构建方法
CN111531534A (zh) * 2020-04-29 2020-08-14 北京眸视科技有限公司 一种机器人及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
薛永胜: "变电站巡检机器人SLAM算法及其应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN112180937A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN113126621A (zh) 一种地铁车厢消毒机器人自动导航方法
JP6896077B2 (ja) 車両自動パーキングシステム及び方法
US10823576B2 (en) Systems and methods for robotic mapping
Mansouri et al. Cooperative coverage path planning for visual inspection
CN108256430B (zh) 障碍物信息获取方法、装置及机器人
JP3994950B2 (ja) 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
CN108885459A (zh) 导航方法、导航系统、移动控制系统及移动机器人
CN108827306A (zh) 一种基于多传感器融合的无人机slam导航方法及系统
JP6487010B2 (ja) ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末
CN112347840A (zh) 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN111656296B (zh) 用于机器人自主运动规划和导航的系统和方法
WO2019232803A1 (zh) 移动控制方法、移动机器人及计算机存储介质
Kuramachi et al. G-ICP SLAM: An odometry-free 3D mapping system with robust 6DoF pose estimation
Wulf et al. Benchmarking urban six‐degree‐of‐freedom simultaneous localization and mapping
WO2019232804A1 (zh) 软件更新方法、系统、移动机器人及服务器
CN106037599A (zh) 基于图像识别空间建模的高层建筑外表面清洗机器人
WO2022016754A1 (zh) 基于无人洗车设备的多机器协同洗车系统及方法
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
CN118020038A (zh) 两轮自平衡机器人
CN109839111A (zh) 一种基于视觉定位的室内多机器人编队系统
Li et al. An overview of the simultaneous localization and mapping on mobile robot
Jensen et al. Laser range imaging using mobile robots: From pose estimation to 3D-models
Her et al. Localization of mobile robot using laser range finder and IR landmark
Zhang et al. Hybrid iteration and optimization-based three-dimensional reconstruction for space non-cooperative targets with monocular vision and sparse lidar fusion
CN114995459A (zh) 机器人的控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716

RJ01 Rejection of invention patent application after publication