CN108153310B - 一种基于人类行为模拟的移动机器人实时运动规划方法 - Google Patents

一种基于人类行为模拟的移动机器人实时运动规划方法 Download PDF

Info

Publication number
CN108153310B
CN108153310B CN201711399649.5A CN201711399649A CN108153310B CN 108153310 B CN108153310 B CN 108153310B CN 201711399649 A CN201711399649 A CN 201711399649A CN 108153310 B CN108153310 B CN 108153310B
Authority
CN
China
Prior art keywords
planning
layer
robot
path
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711399649.5A
Other languages
English (en)
Other versions
CN108153310A (zh
Inventor
张雪波
王佳蕊
方勇纯
沈佩尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN201711399649.5A priority Critical patent/CN108153310B/zh
Publication of CN108153310A publication Critical patent/CN108153310A/zh
Application granted granted Critical
Publication of CN108153310B publication Critical patent/CN108153310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas

Abstract

本发明中提出的一种基于人类行为模拟的移动机器人实时运动规划方法,其主要内容包括:多层拟人行为路径规划框架,基于人类规划的行为模式,模拟人脑、人眼和人腿的功能对应设置全局层路径规划、感知层路径规划和执行层路径规划;完备性可调性轨迹规划算法,提出一种有完备性保证的高效率的轨迹规划算法,应用该算法规划的轨迹能够同时满足机器人的运动学约束和环境约束条件;动态监控和恢复行为策略,对机器人前方安全距离范围进行实时动态监控,如果遇到紧急状况采取恢复行为策略,有效地确保安全、提高鲁棒性。本发明能够在大规模的、动态变化的、部分未知的、非结构化的室内环境中,实现移动机器人的实时运动规划。

Description

一种基于人类行为模拟的移动机器人实时运动规划方法
技术领域
本发明涉及机器人技术领域,特别涉及一种基于人类行为模拟的移动机器人实时运动规划方法。
背景技术
随着科学技术的发展,移动机器人在家庭服务、物流仓储、场景监控等方面得到了广泛的应用。运动规划技术是移动机器人高效完成各种复杂任务所必需的关键技术。尽管在此方面已经有了一定的研究成果[1-3],能够保证完备性的无碰运动规划策略仍然是机器人领域的挑战性问题[4]。
运动规划旨在计算从初始位姿到目标位姿的可行轨迹,使得机器人躲避障碍物且满足运动学和动力学等约束条件。运动规划分为耦合规划和解耦规划,前者直接在包含时域的状态空间内进行求解,后者将运动规划问题分解为路径规划和沿给定路径的轨迹规划。解耦规划能够较好地兼顾计算时间和轨迹效率,因而获得了大量的研究关注[5-7]。
在现有的研究工作中,结构化环境(如公路、走廊等)中的路径规划问题已经得到了较好的解决[8-10],这些研究大多基于全局规划与局部规划相结合的两层规划框架。其中,全局规划的作用范围是全局环境,负责为机器人提供全局的运动指引,其更新频率相对较低;局部规划的作用范围是机器人周围的局部环境,负责对环境中的动态障碍物实时地作出反应,其更新频率相对较高。相比之下,在部分未知的、非结构化的复杂环境中,移动机器人的运动方式具有更大的不确定性,上述两层规划框架并不直接适用。具体而言,如果局部规划的作用范围设置较小,机器人对环境感知的预见性将会受到限制,机器人无法及时预知到前方环境的变化从而提前做出反应;如果局部规划的作用范围设置过大,又不能在有限的时间内做出精细的路径规划。
对于沿给定路径的轨迹规划问题,现有的解决方法包括动态规划方法[11],凸优化方法[12]以及数值积分方法[13]等,这些方法均能够沿给定路径规划出最优的速度曲线。相比于其他方法,数值积分方法耗时较短,更适用于实时规划问题。利用数值积分方法进行轨迹规划分为两步:首先,根据所有约束条件,计算速度限制曲线;然后,在不击穿速度限制曲线的前提下,在初始线速度和目标线速度之间交替进行基于最大加速度的正向积分和基于最小加速度的反向积分。然而现有的数值积分方法大都只考虑机器人本身的运动学约束(包括速度约束、加速度约束等),而忽略了外界环境带来的速度约束条件(如障碍物约束、路况约束等);并且现有的数值积分方法没有完备性的保证,即,轨迹规划步骤不一定能为所有生成的可行路径分配速度曲线。
发明内容
本发明的目的在于解决大规模的、动态变化的、部分未知的、非结构化的室内环境中的实时路径规划问题以及多种复杂约束下有完备性保证的轨迹规划问题,提供一种基于人类行为模拟的移动机器人实时运动规划方法,使得移动机器人在复杂的室内环境中实现安全自主导航。
本发明提供的基于人类行为模拟的移动机器人实时运动规划方法,其主要内容包括:
(一)多层拟人行为路径规划框架;
基于人类规划的行为模式,模拟人脑、人眼和人腿的功能对应设置全局层路径规划、感知层路径规划和执行层路径规划;
(二)完备性可调性轨迹规划算法;
提出一种有完备性保证的高效率的轨迹规划算法,应用该算法规划的轨迹能够同时满足机器人的运动学约束和环境约束条件;
(三)动态监控和恢复行为策略;
对机器人前方安全距离范围进行实时动态监控,如果遇到紧急状况采取恢复行为策略。
以上运动规划方法的具体操作如下:
(一)多层拟人行为路径规划框架;
参考人类规划的行为模式,分别对应人脑、人眼和人腿设置全局层路径规划、感知层路径规划和执行层路径规划。
全局层路径规划对应人脑,负责为机器人提供全局的运动指引。输入低分辨率全局层在线地图和相应的运动基元,全局层路径规划基于AD*算法计算由当前的机器人位姿到全局目标位姿的路径。类似于人脑,全局层路径规划的更新频率相对较低。AD*算法是一种能够在给定时间内返回次优解的动态图搜索算法,如果环境中某一部分发生变化,AD*算法在原有信息的基础上进行局部修复,因而适用于动态环境。
感知层路径规划对应人眼,负责在感知范围内求解可行的避障路径。输入高分辨率感知层地图和相应的运动基元,感知层路径规划基于ARA*算法计算由当前的机器人位姿到选定的感知层目标位姿的路径。感知层路径规划的作用范围依据车载传感器的感知能力设定,规划结果由精细的运动基元拼接而成,因而兼具预见性和灵活性。ARA*算法是一种能够在给定时间内返回次优解的图搜索算法。
执行层路径规划对应人腿,负责根据机器人周围的环境决定具体的执行路径。执行层路径规划首先在机器人附近的状态空间中采样,生成一组备选路径;然后综合考虑感知层的规划结果和障碍物信息等,对备选路径进行评价,选定一条最优的路径。执行层路径规划的更新频率相对较高,规划结果比较精确。
为了保证运算实时性,离线生成所有备选的执行层路径并存储在离线路径表中;为了保证规划结果的光滑性,离线路径表中包含多组初始曲率条件不同的路径。
三层路径规划之间的联系通过两级评价机制建立,即感知层目标位姿的评价和执行层路径的评价。为了使感知层目标位姿贴近全局层的规划结果,同时考虑到实时的环境信息,设置感知层目标位姿的评价。在执行层路径的评价过程中,综合考虑感知层的规划结果、地图中的障碍物情况和备选路径的弯曲程度。
(二)完备性可调性轨迹规划算法;
在进行轨迹规划的过程中,首先根据机器人的运动学约束条件计算速度限制曲线,然后加入环境约束条件计算调节速度限制曲线;在不击穿调节速度限制曲线的前提下,先后进行基于最大加速度的正向积分和基于最小加速度的反向积分。令s表示路径长度、
Figure BDA0001519175880000041
表示s对时间的一阶导数,输入初始线速度和目标线速度,在长度为sm的给定路径上进行轨迹规划的具体步骤为:
1)根据机器人的运动学约束条件计算速度限制曲线;
2)在速度限制曲线的计算基础上,加入环境约束条件计算调节速度限制曲线,并表示在
Figure BDA0001519175880000042
坐标系上,该坐标系是以s为横坐标、
Figure BDA0001519175880000043
为纵坐标的平面直角坐标系;
3)如果在s=0处的调节速度限制曲线小于初始线速度或者在s=sm处的调节速度限制曲线小于目标线速度,问题无解,算法结束;反之,算法继续执行;
4)由目标线速度开始,基于最小加速度进行反向积分,直至到达s=0处;在单步积分过程中,如果积分曲线不击穿调节速度限制曲线,取积分曲线为反向积分结果;反之,取调节速度限制曲线为反向积分结果;
5)由初始线速度开始,基于最大加速度进行正向积分,直至到达s=sm处;在单步积分过程中,如果积分曲线不击穿调节速度限制曲线,取积分曲线为正向积分结果;反之,取调节速度限制曲线为正向积分结果;
6)如果在s=0处的反向积分结果不小于初始线速度并且在s=sm处的正向积分结果不小于目标线速度,问题有解,规划结果在每一点处取反向积分结果和正向积分结果的较小值;反之,问题无解。
(三)动态监控和恢复行为策略;
为了有效地确保安全、提高鲁棒性,基于机器人的最小线加速度设置安全距离dsafe
Figure BDA0001519175880000051
式中,vr为当前的机器人线速度,
Figure BDA0001519175880000052
为机器人的最小线加速度,Ds是为了确保安全设定的一个常数。
对机器人前方长度为dsafe、宽度略大于机器人直径的矩形区域进行实时动态监控;如果监控区域内存在障碍物且vr>0,采取减速策略;如果监控区域内存在障碍物且vr=0,采取恢复行为,即,首先考虑障碍物信息和感知层的规划结果等对机器人周围所有可行的方向进行评价,然后按照评价值由小到大的顺序依次旋转至每个可行方向,直至监控区域内不存在任何障碍物;对比当前时刻与上一时刻的机器人周围每个方向的可行性,如果可行性发生变化的方向个数超过设定的阈值,则重新进行评价和旋转。
本发明的优点和有益效果
本发明提出的基于人类行为模拟的移动机器人实时运动规划方法,其优点和有益效果在于:首先,不同于现有的两层规划框架,本发明基于人类规划的行为模式,提出多层拟人行为路径规划框架,兼具预见性和灵活性,路径光滑,实时性好;然后,针对现有的数值积分方法没有完备性保证和无法处理环境约束条件的问题,提出完备性可调性轨迹规划算法,同时规划结果的效率较高;并且,为了有效地确保安全、提高鲁棒性,本发明提出动态监控和恢复行为策略。应用本发明提出的基于人类行为模拟的移动机器人实时运动规划方法,可以使得移动机器人在大规模的、动态变化的、部分未知的、非结构化的室内环境中实现安全自主导航。
附图说明
图1是基于人类行为模拟的移动机器人实时运动规划方法的结构示意框图;
图2是多层地图和坐标系设置示意图;
图3是多层拟人行为路径规划框架的工作原理示意图;
图4是两级评价机制的工作原理示意图;
图5是图搜索算法的运动基元示意图;
图6是离线执行层路径表示意图;
图7是速度限制曲线的线加速度、最大线加速度、最小线加速度大小关系示意图;
图8是完备性可调性轨迹规划算法示意图;
图9是轨迹规划算法完备性证明示意图;
图10是动态监控和恢复行为策略示意图;
图11是规划实例机器人运动路线示意图;
图12是规划实例机器人线速度和角速度曲线示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和实施方式对本发明作进一步的详细说明。
如图1所示,基于人类行为模拟的移动机器人实时运动规划方法主要包括:(一)多层拟人行为路径规划框架,(二)完备性可调性轨迹规划算法,(三)动态监控和恢复行为策略。
以上运动规划方法的具体操作如下:
(一)多层拟人行为路径规划框架;
参考人类规划的行为模式,分别对应人脑、人眼和人腿设置全局层路径规划、感知层路径规划和执行层路径规划。每层路径规划对应的地图和坐标系设置如图2所示。在图2中,全局层地图标记为MG,全局层坐标系的坐标轴标记为XG、YG;感知层地图标记为MS,感知层坐标系的坐标轴标记为XS、YS;执行层地图标记为MA,执行层坐标系的坐标轴标记为XA、YA。感知层地图和执行层地图均以机器人位置为中心,但感知层坐标系的坐标轴XS和全局层坐标系的坐标轴XG方向相同、执行层坐标系的坐标轴XA和机器人方向相同。感知层地图和执行层地图根据实时传感数据进行更新,全局层在线地图基于感知层地图和全局层离线地图进行更新。地图更新的算法步骤为:
1)将感知层地图和执行层地图置空;
2)得到实时传感数据在执行层坐标系下的表示,更新对应的执行层地图相关栅格;得到实时传感数据在感知层坐标系下的表示,更新对应的感知层地图相关栅格;
3)对于感知层地图中的每个栅格,如果其对应的全局层离线地图中的栅格为障碍物栅格,则设置感知层地图中该栅格为障碍物栅格;
4)将感知层地图更新到其对应的全局层在线地图的相关部分。
多层拟人行为路径规划框架的工作原理如图3所示。输入当前的机器人位姿、全局目标位姿、低分辨率全局层在线地图和相应的运动基元,全局层路径规划基于AD*算法进行求解;根据全局层的规划结果,确定备选的感知层目标位姿,综合考虑全局层的规划结果和实时的环境信息进行评价,选定感知层目标位姿;输入当前的机器人位姿、感知层目标位姿、感知层地图和相应的运动基元,感知层路径规划基于ARA*算法进行求解;执行层路径规划基于状态空间采样算法进行求解,首先根据当前的曲率条件从离线路径表中取出一组备选路径,然后综合考虑感知层的规划结果、地图中的障碍物情况和备选路径的弯曲程度进行评价,选定执行层路径。
两级评价机制的工作原理如图4所示。在图4中,
Figure BDA0001519175880000081
为当前的机器人位姿在全局层坐标系下的表示,
Figure BDA0001519175880000082
为全局目标位姿在全局层坐标系下的表示,
Figure BDA0001519175880000083
为全局层规划结果和感知层地图最大内接圆的交点在全局层坐标系下的表示。以
Figure BDA0001519175880000084
为中点、在感知层地图最大内接圆上取Na个位置,作为备选的感知层目标位置,标记为
Figure BDA0001519175880000085
对备选位置进行评价,评价中考虑到的因素包括:
Figure BDA0001519175880000086
Figure BDA0001519175880000087
Figure BDA0001519175880000088
之间的障碍物密度估计;在
Figure BDA0001519175880000089
Figure BDA00015191758800000810
之间的直线段上均匀地选取若干个采样点;找到每个采样点对应的全局层在线地图中的栅格及其周围栅格,每个采样点处的障碍物密度为这些栅格的代价值的加和;
Figure BDA00015191758800000811
为所有采样点处障碍物密度的加和;
Figure BDA00015191758800000812
当前的机器人方向与由
Figure BDA00015191758800000813
Figure BDA00015191758800000814
的矢量方向的夹角;
Figure BDA00015191758800000815
Figure BDA00015191758800000816
Figure BDA00015191758800000817
之间的欧氏距离;
Figure BDA00015191758800000818
Figure BDA00015191758800000819
Figure BDA00015191758800000820
之间的偏差,由于
Figure BDA00015191758800000821
Figure BDA00015191758800000822
均位于感知层地图最大内接圆上,
Figure BDA00015191758800000823
为两者之间的圆弧长度;
评价函数Ea(i),(i=1,2,...Na)定义为:
Figure BDA0001519175880000091
式中,
Figure BDA0001519175880000092
为所有备选位置在第n个评价项
Figure BDA0001519175880000093
上的最大值,
Figure BDA0001519175880000094
为比例系数;
选定评价值最小的备选位置为感知层目标位置,感知层目标方向设定为由当前的机器人位置到感知层目标位置的矢量方向。
对执行层路径进行评价的具体操作是:对于每条采样路径,找到机器人执行该路径时在执行层地图MA中占据的所有栅格(为了减少在线计算量,在给定执行层地图和机器人参数的条件下,可以将机器人执行每条路径时在MA中占据的栅格存储在离线路径表中),如果这些栅格均不是障碍物栅格,则将该条路径设定为备选路径。令
Figure BDA0001519175880000095
表示所有备选路径,其中Nb为备选路径的条数。对备选路径进行评价,评价中考虑到的因素包括:
Figure BDA0001519175880000096
Figure BDA0001519175880000097
Figure BDA0001519175880000098
之间的偏差,其中
Figure BDA0001519175880000099
为感知层规划结果在执行层坐标系下的表示;计算
Figure BDA00015191758800000910
在MA中占据的栅格,然后利用波传播算法[14]计算
Figure BDA00015191758800000911
的距离地图,如图4所示,该距离地图中每个栅格的代价值为该栅格到
Figure BDA00015191758800000912
的最短距离;找到机器人执行
Figure BDA00015191758800000913
时在MA中占据的所有栅格,
Figure BDA00015191758800000914
为其对应的距离地图中栅格的代价值的加和;
Figure BDA00015191758800000915
Figure BDA00015191758800000916
到MA中障碍物的距离的倒数;首先利用波传播算法计算MA中障碍物的距离地图,该距离地图中每个栅格的代价值为该栅格到MA中障碍物的最短距离;找到机器人执行
Figure BDA00015191758800000917
时在MA中占据的所有栅格,
Figure BDA00015191758800000918
到MA中障碍物的距离为其对应的距离地图中栅格的代价值的加和,
Figure BDA00015191758800000919
为该距离的倒数。
Figure BDA00015191758800000920
Figure BDA00015191758800000921
的曲率绝对值的最大值,该数值存储在离线路径表中;
Figure BDA0001519175880000101
Figure BDA0001519175880000102
目标位置处的障碍物密度,找到
Figure BDA0001519175880000103
目标位置对应的全局层在线地图中的栅格及其周围栅格,
Figure BDA0001519175880000104
为这些栅格代价值的加和;
评价函数Eb(i),(i=1,2,...Nb)定义为:
Figure BDA0001519175880000105
式中,
Figure BDA0001519175880000106
为所有备选路径在第n个评价项
Figure BDA0001519175880000107
上的最大值,
Figure BDA0001519175880000108
为比例系数;
选定评价值最小的备选路径为执行层路径,在此基础上进行轨迹规划与跟踪。
全局层和感知层路径规划均基于图搜索算法,需要输入相应的运动基元。运动基元的设计方法描述如下:对地图的每一个顶点,将其方向离散为0°,22.5°,45°,...337.5°。从每个方向出发的运动基元包括:不同长度的前进运动基元、长度较短的后退运动基元和不同角度的原地旋转运动基元。为了使得不同的运动基元之间平滑连接,前进运动基元的初始和目标曲率均设定为0;为了保证可行性,前进运动基元的始末角度变化限定为±22.5°、偏移距离限定为1.5个栅格,并且必须满足曲率连续约束。图5是分辨率为0.1m的运动基元示意图;其他分辨率的运动基元,可以通过对图5中的运动基元按比例放大或缩小得到。
执行层路径规划的动作包括前进和原地旋转。为了保证运算实时性,执行层路径采用离线制表、在线查表的方法。在执行层路径规划的每个周期开始,设置执行层坐标系为当前的机器人坐标系,因此执行层路径的初始位姿固定为[0 0 0]T。为了保证可行性,执行层路径的目标位置在执行层地图最大内接圆上采样,目标角度限定为±22.5°,目标曲率设定为0,并且必须满足曲率连续约束。设置初始曲率区间K=[κminmax],离线路径表中执行层路径的初始曲率在此区间内采样,并且必须保证路径的曲率极值在此区间内。图6是离线执行层路径表示意图。
全局层和感知层路径规划中的运动基元,以及执行层路径规划中的离线路径表,对局部路径生成算法提出了曲率连续有界要求。本发明基于曲率连续的五阶贝塞尔曲线生成局部路径。给定始末位姿和曲率,首先用四个参数表示贝塞尔曲线的六个控制点[14],然后设定优化目标和曲率边界约束条件,利用序列二次优化算法求解出最优的参数。令
Figure BDA0001519175880000111
表示路径曲率κ(r)对曲线参数r的一阶导数,为了使路径的曲率变化比较平缓,优化目标设定为:
Figure BDA0001519175880000112
(二)完备性可调性轨迹规划算法;
令s(t)表示路径长度、κ(s)表示s(t)处的曲率,v(t)表示移动机器人的线速度,w(t)表示角速度,线速度和角速度之间的转换关系为:
w(t)=v(t)·κ(s) (5)
Figure BDA0001519175880000113
表示移动机器人的线加速度,
Figure BDA0001519175880000114
表示角加速度,对(5)式求导,得出线加速度和角加速度之间的转换关系为:
Figure BDA0001519175880000115
移动机器人的运动学约束条件表示为:
Figure BDA0001519175880000116
Figure BDA0001519175880000117
Figure BDA0001519175880000118
Figure BDA0001519175880000119
其中
Figure BDA00015191758800001110
为约束下界,
Figure BDA00015191758800001111
为约束上界。令vlr(t)表示机器人可行的线速度。由于执行层路径规划的动作只包括前进和原地旋转,vlr(t)的下界为0。
根据(7),得出vlr(t)的上界为:
Figure BDA0001519175880000121
根据(5)和(8),得出vlr(t)的上界为:
Figure BDA0001519175880000122
根据(9),机器人线加速度的上界
Figure BDA0001519175880000123
和下界
Figure BDA0001519175880000124
表示为:
Figure BDA0001519175880000125
Figure BDA0001519175880000126
根据(6)和(10),机器人线加速度的上界
Figure BDA0001519175880000127
和下界
Figure BDA0001519175880000128
表示为:
Figure BDA0001519175880000129
Figure BDA00015191758800001210
设定
Figure BDA00015191758800001211
为运动学约束下的最大线加速度,
Figure BDA00015191758800001212
为运动学约束下的最小线加速度。根据(13)-(16),可得:
Figure BDA00015191758800001213
Figure BDA0001519175880000131
在s值相同时,随着
Figure BDA0001519175880000132
值增大,
Figure BDA0001519175880000133
Figure BDA0001519175880000134
的差值逐渐减小。当
Figure BDA0001519175880000135
时,得出vlr(t)的上界为:
Figure BDA0001519175880000136
在路径的每个s(t)处,计算(11)、(12)和(19)式中上界的最小值,得到速度限制曲线(MVC)。令
Figure BDA0001519175880000139
表示MVC的线加速度。将β,δ,γ用箭头表示在
Figure BDA00015191758800001310
坐标系上,得到MVC上所有可能的β,δ,γ大小关系如图7所示。
此外,为了保证安全,环境约束条件设置为:
vlr(t)≤vle(t) (20)
其中,vle(t)为以下三项的最小值:
(1)vob(t):根据感知层初始位置与目标位置之间的障碍物密度估计设定的限制速度;障碍物密度的计算方法与
Figure BDA0001519175880000137
类似,在感知层初始位置与目标位置之间的直线段上均匀地选取若干个采样点;计算所有采样点处障碍物密度的加和,如果计算结果超过设定的阈值,vob(t)=Vsafe,否则
Figure BDA0001519175880000138
其中,Vsafe为设定的安全行驶速度;
(2)vor(t):根据感知层初始方向与目标方向的夹角设定的限制速度;计算感知层初始方向与目标方向的夹角,vor(t)与该夹角成反比;
(3)vsp(t):根据感知层规划结果的弯曲程度设定的限制速度;将感知层的规划结果表示在执行层坐标系下,计算该路径上所有位置处纵坐标的最大值和最小值之间的差值,vsp(t)与该差值成反比。
最终,在路径的每个s(t)处,取MVC和vle(t)的较小值,得到调节速度限制曲线(AVC)。根据以上分析,机器人的运动学约束和环境约束条件转化为由AVC描述的速度约束和加速度约束条件(17)、(18)。
令s表示路径长度、
Figure BDA0001519175880000141
表示s对时间的一阶导数,输入初始线速度和目标线速度,在长度为sm的给定路径上进行轨迹规划,首先依据(11)、(12)、(19)和(20)计算AVC,然后在不击穿AVC的前提下,先后进行基于β的正向积分和基于δ的反向积分。如图8所示,如果在s=0处的反向积分结果不小于初始线速度并且在s=sm处的正向积分结果不小于目标线速度,问题有解,规划结果在每一点处取反向积分结果和正向积分结果的较小值;反之,问题无解。
该算法的可行性和完备性证明如下:
(1)可行性:如果该算法返回解,则该解一定满足运动约束和环境约束条件。
证明:经过分析,运动学约束和环境约束条件转化为由AVC描述的速度约束和加速度约束条件(17)、(18),接下来分别证明规划结果满足速度约束和加速度约束条件。
如果该算法返回解,一定满足在s=0处的反向积分结果不小于初始线速度并且在s=sm处的正向积分结果不小于目标线速度。根据算法流程,正向积分结果和反向积分结果均不会超过AVC,而规划结果取正向积分结果和反向积分结果的较小值,因此不会超过AVC。所以规划结果一定满足由AVC描述的速度约束条件。
根据算法流程,正向积分结果包括正向积分曲线和部分AVC,分别标记为FIC和FAVC;反向积分结果包括反向积分曲线和部分AVC,分别标记为BIC和BAVC。规划结果取正向积分结果和反向积分结果的较小值,四种可能的对比情况为:
FIC和BIC:FIC和BIC的较小值是加速度为β的FIC或者加速度为δ的BIC,满足加速度约束条件(17)、(18);
FIC和BAVC:FIC和BAVC的较小值是加速度为β的FIC,满足加速度约束条件(17)、(18);
FAVC和BIC:FAVC和BIC的较小值是加速度为δ的BIC,满足加速度约束条件(17)、(18);
FAVC和BAVC:根据算法流程,如果正向积分曲线击穿AVC,取FAVC为积分结果,因此FAVC上不存在图7中的情况1、6;同理,如果反向积分曲线击穿AVC,取BAVC为积分结果,因此BAVC上不存在图7中的情况5、8;对比FAVC和BAVC,规划结果是FAVC和BAVC的交集,在规划结果上只可能存在图7中的情况2、3、6、7,均满足加速度约束条件(17)、(18)。
综上所述,规划结果满足由AVC描述的速度约束和加速度约束条件(17)、(18),因此一定满足运动约束和环境约束条件。
(2)完备性:如果问题有解,应用该算法一定可以得到解;否则,该算法可以在有限时间内返回无解。
证明:问题有解的充要条件是在s=0处的反向积分结果不小于初始线速度并且在s=sm处的正向积分结果不小于目标线速度。接下来分别证明必要条件和充分条件。
(必要性)假定问题存在解,在s=0处的反向积分结果小于初始线速度或者在s=sm处的正向积分结果小于目标线速度。根据算法流程,s=sm处的正向积分结果由正向积分计算得出,如图9所示,该正向积分曲线的起点有两种可能的情况:
Figure BDA0001519175880000161
加速度为β的正向积分曲线和加速度不大于β的可行速度曲线的起点均为
Figure BDA0001519175880000162
然而正向积分曲线的终点不大于
Figure BDA0001519175880000163
不满足加速度约束条件(17)、(18);
AVC曲线上的一点:由于在s=sm处的正向积分结果小于目标线速度,因此正向积分曲线必然和可行速度曲线相交;在交点处,可行速度曲线上的加速度大于β,不满足加速度约束条件(17)、(18)。
同理,反向积分曲线的起点也有两种可能的情况:
Figure BDA0001519175880000164
加速度为δ的反向积分曲线和加速度不小于δ的可行速度曲线的起点均为
Figure BDA0001519175880000165
然而反向积分曲线的终点不大于
Figure BDA0001519175880000166
不满足加速度约束条件(17)、(18);
AVC曲线上的一点:由于在s=0处的反向积分结果小于目标线速度,因此反向积分曲线必然和可行速度曲线相交;在交点处,可行速度曲线上的加速度小于δ,不满足加速度约束条件(17)、(18)。
因此,假设不成立,必要条件得证。
(充分性)给定条件在s=0处的反向积分结果不小于初始线速度并且在s=sm处的正向积分结果不小于目标线速度,找到一个可行解即可证明充分条件。问题的可行解需满足三个条件:起点为
Figure BDA0001519175880000167
终点为
Figure BDA0001519175880000168
满足运动学和环境约束条件。假定正向积分结果和反向积分结果的较小值为可行解。该解的起点为正向积分结果和反向积分结果在s=0处的较小值,即为
Figure BDA0001519175880000169
该解的终点为的正向积分结果和反向积分结果在s=sm处的较小值,即为
Figure BDA00015191758800001610
根据定理(1),该解满足运动学和环境约束条件。因此,给定条件在s=0处的反向积分结果不小于初始线速度并且在s=sm处的正向积分结果不小于目标线速度,正向积分结果和反向积分结果的较小值即为一个可行解,充分条件得证。
由于该算法经过有限长度的正向积分和有限长度的反向积分即可完成计算,因此可以在有限时间内得到解或者返回无解。
(三)动态监控和恢复行为策略;
为了有效地确保安全、提高鲁棒性,基于机器人的最小线加速度设置安全距离dsafe
Figure BDA0001519175880000171
式中,vr为当前的机器人线速度,
Figure BDA0001519175880000172
为机器人的最小线加速度,Ds是为了确保安全设定的一个常数。
对机器人前方长度为安全距离、宽度略大于机器人直径的矩形区域进行实时动态监控,如图10所示。如果监控区域内存在障碍物且机器人的线速度vr>0,采取减速策略;如果监控区域内存在障碍物且vr=0,采取恢复行为。在图10中,机器人周围所有的方向离散为16个,依据每个离散方向在全局层坐标系下的表示,将所有方向依次标记为θl(i),(i=1,2,...16)。对每个离散方向,假定其为机器人方向并确定对应的监控区域,如果监控区域内不存在障碍物,则将该方向设定为可行方向。所有可行的Nc个方向设定为备选方向,标记为θrb(i),(i=1,2,...Nc)。对备选方向进行评价,评价中考虑到的因素包括:
Figure BDA0001519175880000173
θrb(i)与其周围不可行方向的夹角的倒数;对θrb(i)周围的每个方向,如果为不可行方向,则
Figure BDA0001519175880000178
(i)加上θrb(i)与该方向的夹角的倒数;
Figure BDA0001519175880000174
θrb(i)与感知层目标方向的夹角;
Figure BDA0001519175880000175
θrb(i)与感知层规划结果之间的偏差;令
Figure BDA0001519175880000176
表示感知层规划结果与执行层地图最大内接圆的交点,如图4所示;计算由当前的机器人位置到
Figure BDA0001519175880000177
的矢量方向,
Figure BDA0001519175880000181
为θrb(i)与该矢量方向的夹角;
评价函数Ec(i),(i=1,2,...Nc)定义为:
Figure BDA0001519175880000182
式中,
Figure BDA0001519175880000183
为所有备选方向在第n个评价项
Figure BDA0001519175880000184
上的最大值,
Figure BDA0001519175880000185
为比例系数。
评价完成后,机器人按照评价值由小到大的顺序依次旋转至每个可行方向,直至监控区域内不存在任何障碍物;对比当前时刻与上一时刻的机器人周围每个方向的可行性,如果可行性发生变化的方向个数超过设定的阈值,则重新进行评价和旋转。
应用本发明提出的基于人类行为模拟的移动机器人实时运动规划方法,可以使得移动机器人在大规模的、动态变化的、部分未知的、非结构化的室内环境中实现安全自主导航。具体的规划实例描述如下:
在面积为92.9×26.5m2的室内环境中进行移动机器人自主导航实验。全局层离线地图中只包含部分结构信息。在存在多种静态障碍物和动态障碍物的情况下,机器人首先从[3.77 39.233]T移动至[17.5 23.4]T,然后返回到初始位置。机器人运动路线如图11所示,线速度和角速度曲线如图12所示。
对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
参考文献:
[1]Howard T,Pivtoraiko M,Knepper R.Model-predictive motion planning:Several key developments for autonomous mobile robots[J].IEEE Robotics&Automation Magazine,2014,21(1):64-73.
[2]Marder-Eppstein E,Berger E,Foote T,Gerkey B and Konolige K.Theoffice marathon:Robust navigation in an indoor office environment[C].Proceedings of IEEE International Conference on Robotics and Automation,2010:300-307.
[3]Lopes A,Rodrigues J,Perdigao J,Pires G and Nunes U.A new hybridmotion planner:Applied in a brain-actuated robotic wheelchair[J].IEEERobotics&Automation Magazine,2016,23(4):82-93.
[4]Sciliano B,Khatib O.Handbook of Robotics[M].Springer,2016.
[5]Verscheure D,Demeulenaere B,Swevers J,Schutter J,and Diehl M.Time-optimal path tracking for robots:A convex optimization approach[J].IEEETransactions on Automatic Control,2009,54(10):2318-2327.
[6]Lunenburg J,Coenen S,Naus G,Molengraft M and Steinbuch M.Motionplanning for mobile robots:A method for the selection of a combination ofmotion-planning algorithms[J].IEEE Robotics&Automation Magazine,2016,23(4):107-117.
[7]Gu T,Atwood J,Dong C,Dolan J M and Lee J.Tunable and stable real-time trajectory planning for urban autonomous driving[C].2015IEEE/RSJInternational Conference on Intelligent Robots and Systems(IROS),2015:250-256.
[8]Gonzalez D,Perez J,Milanes V and Nashashibi F.A review of motionplanning techniques for automated vehicles[J].IEEE Transactions onIntelligent Transportation Systems,2016,17(4):1135-1145.
[9]Adouane L.Reactive versus cognitive vehicle navigation based onoptimal local and global PELC*[J].Robotics and Autonomous Systems,2017,88:51-70.
[10]Li X,Sun Z,Cao D,et al.Real-time trajectory planning forautonomous urban driving:Framework,algorithms,and verifications[J].IEEE/ASMETransactions on Mechatronics,2016,21(2):740-753.
[11]Wahl H G,
Figure BDA0001519175880000201
M and Gauterin F.Approximate dynamicprogramming methods applied to far trajectory planning in optimal control[C].2014IEEE Intelligent Vehicles Symposium Proceedings,2014:1085-1090.
[12]Hauser K.Fast interpolation and time-optimization with contact[J].The International Journal of Robotics Research,2014,33(9):1231-1250.
[13]Shen P,Zhang X,Fang Y.Essential properties of numericalintegration for time-optimal path-constrained trajectory planning[J].IEEERobotics&Automation Letters,2017,2(2):888-895.
[14]Marsh D.Apllied geometry for computer graphics andCAD[M].Springer,2005.

Claims (3)

1.一种基于人类行为模拟的移动机器人实时运动规划方法,其特征在于,主要包括:
(一)多层拟人行为路径规划框架,基于人类规划的行为模式,模拟人脑、人眼和人腿的功能对应设置全局层路径规划、感知层路径规划和执行层路径规划;
(二)完备性可调性轨迹规划算法,提出一种有完备性保证的高效率的轨迹规划算法,应用该算法规划的轨迹能够同时满足机器人的运动学约束和环境约束条件;
(三)动态监控和恢复行为策略,对机器人前方安全距离范围进行实时动态监控,如果遇到紧急状况采取恢复行为策略;
所述多层拟人行为路径规划框架的具体操作是,参考人类规划的行为模式,分别对应人脑、人眼和人腿设置全局层路径规划、感知层路径规划和执行层路径规划;
全局层路径规划对应人脑,负责为机器人提供全局的运动指引;输入低分辨率全局层在线地图和相应的运动基元,全局层路径规划基于AD*算法计算由当前的机器人位姿到全局目标位姿的路径;类似于人脑,全局层路径规划的更新频率相对较低;
感知层路径规划对应人眼,负责在感知范围内求解可行的避障路径;输入高分辨率感知层地图和相应的运动基元,感知层路径规划基于ARA*算法计算由当前的机器人位姿到选定的感知层目标位姿的路径;感知层路径规划的作用范围依据车载传感器的感知能力设定,规划结果由精细的运动基元拼接而成,因而兼具预见性和灵活性;
执行层路径规划对应人腿,负责根据机器人周围的环境决定具体的执行路径;执行层路径规划首先在机器人附近的状态空间中采样,生成一组备选路径;然后综合考虑感知层的规划结果和障碍物信息等,对备选路径进行评价,选定一条最优的路径;执行层路径规划的更新频率相对较高,规划结果比较精确;
为了保证运算实时性,离线生成所有备选的执行层路径并存储在离线路径表中;为了保证规划结果的光滑性,离线路径表中包含多组初始曲率条件不同的路径;
三层路径规划之间的联系通过两级评价机制建立,即感知层目标位姿的评价和执行层路径的评价;为了使感知层目标位姿贴近全局层的规划结果,同时考虑到实时的环境信息,设置感知层目标位姿的评价;在执行层路径的评价过程中,综合考虑感知层的规划结果、地图中的障碍物情况和备选路径的弯曲程度。
2.根据权利要求书1所述的基于人类行为模拟的移动机器人实时运动规划方法,其特征在于,所述完备性可调性轨迹规划算法的具体操作是,在进行轨迹规划的过程中,首先根据机器人的运动学约束条件计算速度限制曲线,然后加入环境约束条件计算调节速度限制曲线;在不击穿调节速度限制曲线的前提下,先后进行基于最大加速度的正向积分和基于最小加速度的反向积分;令s表示路径长度、
Figure FDA0002700891770000023
表示s对时间的一阶导数,输入初始线速度和目标线速度,在长度为sm的给定路径上进行轨迹规划的具体步骤为:
1)根据机器人的运动学约束条件计算速度限制曲线;
2)在速度限制曲线的计算基础上,加入环境约束条件计算调节速度限制曲线,并表示在
Figure FDA0002700891770000021
坐标系上,该坐标系是以s为横坐标、
Figure FDA0002700891770000022
为纵坐标的平面直角坐标系;
3)如果在s=0处的调节速度限制曲线小于初始线速度或者在s=sm处的调节速度限制曲线小于目标线速度,问题无解,算法结束;反之,算法继续执行;
4)由目标线速度开始,基于最小加速度进行反向积分,直至到达s=0处;在单步积分过程中,如果积分曲线不击穿调节速度限制曲线,取积分曲线为反向积分结果;反之,取调节速度限制曲线为反向积分结果;
5)由初始线速度开始,基于最大加速度进行正向积分,直至到达s=sm处;在单步积分过程中,如果积分曲线不击穿调节速度限制曲线,取积分曲线为正向积分结果;反之,取调节速度限制曲线为正向积分结果;
6)如果在s=0处的反向积分结果不小于初始线速度并且在s=sm处的正向积分结果不小于目标线速度,问题有解,规划结果在每一点处取反向积分结果和正向积分结果的较小值;反之,问题无解。
3.根据权利要求书1所述的基于人类行为模拟的移动机器人实时运动规划方法,其特征在于,所述动态监控和恢复行为策略的具体操作是,为了有效地确保安全、提高鲁棒性,基于机器人的最小线加速度设置安全距离dsafe
Figure FDA0002700891770000031
式中,vr为当前的机器人线速度,
Figure FDA0002700891770000032
为机器人的最小线加速度,Ds是为了确保安全设定的一个常数;
对机器人前方长度为dsafe、宽度略大于机器人直径的矩形区域进行实时动态监控;如果监控区域内存在障碍物且vr>0,采取减速策略;如果监控区域内存在障碍物且vr=0,采取恢复行为,即,首先考虑障碍物信息和感知层的规划结果等对机器人周围所有可行的方向进行评价,然后按照评价值由小到大的顺序依次旋转至每个可行方向,直至监控区域内不存在任何障碍物;对比当前时刻与上一时刻的机器人周围每个方向的可行性,如果可行性发生变化的方向个数超过设定的阈值,则重新进行评价和旋转。
CN201711399649.5A 2017-12-22 2017-12-22 一种基于人类行为模拟的移动机器人实时运动规划方法 Active CN108153310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711399649.5A CN108153310B (zh) 2017-12-22 2017-12-22 一种基于人类行为模拟的移动机器人实时运动规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711399649.5A CN108153310B (zh) 2017-12-22 2017-12-22 一种基于人类行为模拟的移动机器人实时运动规划方法

Publications (2)

Publication Number Publication Date
CN108153310A CN108153310A (zh) 2018-06-12
CN108153310B true CN108153310B (zh) 2020-11-13

Family

ID=62465125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711399649.5A Active CN108153310B (zh) 2017-12-22 2017-12-22 一种基于人类行为模拟的移动机器人实时运动规划方法

Country Status (1)

Country Link
CN (1) CN108153310B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358316B (zh) * 2018-11-05 2022-04-22 南开大学 基于结构单元编码和多假设跟踪的线激光全局定位方法
CN111256714A (zh) * 2018-11-30 2020-06-09 北汽福田汽车股份有限公司 路径规划方法、装置及车辆
CN109668484B (zh) * 2019-01-18 2023-05-02 北京瀚科科技集团有限公司 一种靶机与攻击机互动的靶机机动飞行控制方法及系统
CN110045740A (zh) * 2019-05-15 2019-07-23 长春师范大学 一种基于人类行为模拟的移动机器人实时运动规划方法
CN110428111B (zh) * 2019-08-08 2022-12-30 西安工业大学 Uav/ugv协同长时多任务作业轨迹规划方法
CN111152224B (zh) * 2020-01-10 2022-05-10 温州大学 一种双重寻优的机器人运动轨迹优化方法
CN111258316B (zh) * 2020-01-20 2022-12-09 浙江工业大学 一种动态环境下趋势感知的机器人轨迹规划方法
CN111341102B (zh) * 2020-03-02 2021-04-23 北京理工大学 运动基元库构建方法和装置、连接运动基元的方法和装置
CN113515111B (zh) * 2020-03-25 2023-08-25 宇通客车股份有限公司 一种车辆避障路径规划方法及装置
CN111506084B (zh) * 2020-05-19 2021-09-28 安徽江淮汽车集团股份有限公司 无人驾驶车辆的障碍物避让方法、装置、设备及存储介质
CN113448335A (zh) * 2021-07-02 2021-09-28 广州小鹏自动驾驶科技有限公司 路径规划方法和装置、车辆和可读存储介质
CN116338729A (zh) * 2023-03-29 2023-06-27 中南大学 一种基于多层地图的三维激光雷达导航方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105936047A (zh) * 2016-07-06 2016-09-14 厦门快商通科技股份有限公司 仿脑机器人控制与学习系统
CN106737684A (zh) * 2017-01-12 2017-05-31 北京航空航天大学 一种基于局域网的模块化机器人控制系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818136B1 (en) * 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
KR101667032B1 (ko) * 2009-10-30 2016-10-17 삼성전자 주식회사 로봇의 경로 계획 장치 및 그 방법
CN102207736B (zh) * 2010-03-31 2013-01-02 中国科学院自动化研究所 基于贝塞尔曲线的机器人路径规划方法及装置
CN102554938B (zh) * 2010-12-31 2014-12-03 北京中科广视科技有限公司 机器人的机械手末端轨迹跟踪方法
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
CN105487544B (zh) * 2016-01-18 2018-10-16 沈阳工业大学 基于模糊推理系统的多机器人角度控制围捕方法
CN105698807A (zh) * 2016-02-01 2016-06-22 郑州金惠计算机系统工程有限公司 一种适用于变电站智能巡检机器人的激光导航系统
JP6793905B2 (ja) * 2016-03-25 2020-12-02 株式会社国際電気通信基礎技術研究所 ロボットの行動シミュレーション装置
CN105955254B (zh) * 2016-04-25 2019-03-29 广西大学 一种适用于机器人路径搜索的改进的a*算法
CN106774335B (zh) * 2017-01-03 2020-01-21 南京航空航天大学 基于多目视觉和惯导的导引装置、地标布局及导引方法
CN106708059B (zh) * 2017-01-24 2020-01-17 厦门万久科技股份有限公司 一种基于通道选择的移动机器人实时运动规划方法
CN106863299B (zh) * 2017-02-13 2019-07-05 华北电力大学(保定) 一种多层可配置足式攀爬机器人移动控制系统
CN106843236A (zh) * 2017-03-31 2017-06-13 深圳市靖洲科技有限公司 基于权重改进粒子群算法的无人自行车路径规划方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105936047A (zh) * 2016-07-06 2016-09-14 厦门快商通科技股份有限公司 仿脑机器人控制与学习系统
CN106737684A (zh) * 2017-01-12 2017-05-31 北京航空航天大学 一种基于局域网的模块化机器人控制系统

Also Published As

Publication number Publication date
CN108153310A (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN108153310B (zh) 一种基于人类行为模拟的移动机器人实时运动规划方法
Li et al. Dynamic trajectory planning and tracking for autonomous vehicle with obstacle avoidance based on model predictive control
Zhang et al. Hybrid trajectory planning for autonomous driving in highly constrained environments
Li et al. Real-time trajectory planning for autonomous urban driving: Framework, algorithms, and verifications
Kim et al. Practical motion planning for car-parking control in narrow environment
Zhao et al. A novel direct trajectory planning approach based on generative adversarial networks and rapidly-exploring random tree
Cowlagi et al. Hierarchical motion planning with dynamical feasibility guarantees for mobile robotic vehicles
CN100419609C (zh) 一种基于流场的智能机器人避障方法
Zhang et al. Automatic vehicle parallel parking design using fifth degree polynomial path planning
Wen et al. E 3 mop: Efficient motion planning based on heuristic-guided motion primitives pruning and path optimization with sparse-banded structure
Mouhagir et al. A markov decision process-based approach for trajectory planning with clothoid tentacles
Bulsara et al. Obstacle avoidance using model predictive control: An implementation and validation study using scaled vehicles
Sharma et al. A survey on smooth path generation techniques for nonholonomic autonomous vehicle systems
CN101630413A (zh) 一种多机器人跟踪移动目标算法
Dou et al. Path planning and tracking for autonomous mining articulated vehicles
Li et al. Adaptive sampling-based motion planning with a non-conservatively defensive strategy for autonomous driving
Yang et al. Automatic Parking Path Planning of Tracked Vehicle Based on Improved A* and DWA Algorithms
Atiyah et al. An overview: On path planning optimization criteria and mobile robot navigation
Yu et al. Hierarchical reinforcement learning combined with motion primitives for automated overtaking
JP2022502646A (ja) 自動車のための経路および/または軌道を計画するためのデバイス
Helble et al. 3-d path planning and target trajectory prediction for the oxford aerial tracking system
Kabtoul et al. Proactive and smooth maneuvering for navigation around pedestrians
Xin et al. Distributed model predictive contouring control for real-time multi-robot motion planning
Patterson et al. Optimal decision making for automated vehicles using homotopy generation and nonlinear model predictive control
Muller et al. Trajectory generation and feedforward control for parking a car

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared