CN112904842B - 一种基于代价势场的移动机器人路径规划与优化方法 - Google Patents
一种基于代价势场的移动机器人路径规划与优化方法 Download PDFInfo
- Publication number
- CN112904842B CN112904842B CN202110042080.7A CN202110042080A CN112904842B CN 112904842 B CN112904842 B CN 112904842B CN 202110042080 A CN202110042080 A CN 202110042080A CN 112904842 B CN112904842 B CN 112904842B
- Authority
- CN
- China
- Prior art keywords
- cost
- obstacle
- path
- grid
- barrier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Abstract
本发明提供了一种基于代价势场的移动机器人路径规划与优化方法,其步骤大致包括:初始化全局静态场景及动态障碍物对象的栅格地图,更新叠加代价势场,由等势线、切点、切线求代价最低的初始路径,再对路径进行进一步的调整和优化,最终得到当前时刻的最优安全路径。该方法相比其它的路径规划与避障方法能够综合考虑路径长度代价和与障碍物之间的距离代价,保证路径的安全性。同时经过调整之后的路径也具有较高的平滑度。通过引入动态障碍物的速度因素对障碍物代价势场的影响,该方法在动态障碍物避障场景下也具有较好的表现。
Description
技术领域
本发明涉及移动机器人技术领域,特别是二维障碍物栅格地图下移动机器人的自主导航与动态避障技术,具体涉及一种基于代价势场的移动机器人路径规划与优化方法。
背景技术
随着工业、服务业以及物流等行业的不断发展,智能化、自动化水平的不断提高,移动机器人用于取代人工作业,提高人们的工作和学习效率,应用也越来越广泛。对于移动机器人来说,路径规划使移动机器人实现自主移动的关键技术之一,在有障碍物的环境中,路径规划的好坏将直接影响移动机器人运行的安全性和稳定性。针对二维场景下的路径规划,有蚁群算法、遗传算法、神经网络算法等智能搜索算法,以及经典的人工势场算法、Dijkstra算法、A*算法等,但在实际应用中都存在一定的问题,比如算法的复杂度较大,不利于动态场景下的实时避障,或者规划得到的路径不够平滑,在导航过程中需要进一步的平滑拟合。在现实场景中,机器人所面临的场景通常是动态变化的,为实现自主导航的过程更加安全灵活,对路径规划生成的路径平滑度和实时性都有较高的要求,同时需要和障碍物保持一定的安全裕量。
在这种背景下,传统的路径规划方案难以满足保证路径长度、平滑度、实时性都满足要求的前提下同时保证避障的安全性,因此需要一种新的路径规划算法在最大程度上满足上述要求。
发明内容
(一)要解决的技术问题
针对现有技术的不足,本发明提出了一种基于代价势场的移动机器人路径规划与优化方法,该方法能够基于已知场景的静态栅格地图和动态障碍物栅格地图建立代价势场,基于障碍物等势线及其切线结合最小生成子树算法获得初始候选路径,并且基于代价势场对初始路径的加权代价进行优化,得到最终的路径。该方法能够综合考虑路径长度代价和与障碍物之间的距离代价,保证路径的安全性。同时经过调整之后的路径也具有较高的平滑度。通过引入动态障碍物的速度因素对代价势场的影响,该方法在动态障碍物避障场景下也具有较好的表现。
(二)技术方案
本发明为克服上述问题或者至少部分地解决上述问题,提供一种基于代价势场的移动机器人路径规划与优化方法,该方法包括如下步骤:
步骤1:建立实际场景的二维高精度栅格地图,并实时获取二维动态障碍物栅格地图;针对动态移动的障碍物,在更新其对应地图层的障碍物栅格时同时更新运动的速度,对于动态障碍物栅格地图,每一个障碍物都独自占有一个小的地图层,其大小取决于障碍物占用栅格的多少。
步骤2:根据步骤1中的障碍物以及静态场景的二维栅格地图建立静态障碍物代价梯度场;所述步骤2中静态障碍物梯度场按如下方法进行定义:定义一个障碍物栅格的占用情况由栅格代价值C和栅格存在障碍物概率ρ两个参数描述,首先需要建立全局静态栅格地图的梯度下降场,约定只有ρ为0的栅格,其栅格代价会受到距离其距离最近的障碍物的概率为0的栅格的影响,定义地图中障碍物概率为0栅格,其代价Up可以表示为:
其中p(x,y)表示距离当前栅格最近且障碍物概率不为0的栅格坐标,Cmax表示地图中允许的栅格代价最大值,为一个常数,ρop为栅格ρ的障碍物概率,dop表示ρ到当前栅格的欧式距离,dmax表示障碍物栅格所能影响的最远距离,为一个常数,这样就可以得到静态栅格地图的代价梯度场;
步骤3:更新动态障碍物的代价梯度场,动态移动的障碍物会影响其前进方向区域内的障碍物代价梯度场,障碍物速度越大,越接近障碍物正前方,距离障碍物越近,对应栅格的障碍物代价就越大;
设机器人在世界坐标系下的姿态为[e,n,θw],其中[e,n]为机器人坐标,θw机器人航向角,可以得到当前时刻障碍物坐标系相对于世界坐标系下的速度,定义表示动态障碍物当前时刻的位置和速度,其中[x,y]表示障碍物对象位置,向量表示障碍物的移动速度,障碍物的移动速度v可以表示为:
其中A(xa,ya)为上一时刻障碍物的坐标,t为位置变化的时间间隔;设B(xb,yb)为地图中障碍物概率为零的任一栅格坐标;C(xc,yc)为动态障碍物Obs中距离点C最近的栅格坐标;令向量障碍物速度对代价梯度场的影响Uv表示为:
其中λ为障碍物速度对代价梯度场的影响系数,值越大表示障碍物速度对机器人避障的影响越大;动态移动的障碍物会影响其前进方向区域内的障碍物代价梯度场;障碍物速度越大,越接近障碍物正前方,距离障碍物越近,对应栅格的障碍物代价就越大;θ为向量和向量的夹角,即:
步骤4:根据步骤2与步骤3中得到的基于Up和Uv的全局静态障碍物代价梯度地图以及每个动态障碍物的代价梯度地图叠加之后即为最终的代价梯度场;
步骤5:生成初始候选路径;根据步骤4得到的代价梯度场,得到每一个障碍物的若干条等势曲线;
步骤6:候选路径的调整与优化;按照一定的采样间隔对初始候选路径进行采样,得到由一系列更加稀疏的锚点组成的初始候选路径,然后对于所有的锚点,定义在调整的过程中,相邻的锚点之间会产生引力,使路径的长度代价减小,同时锚点会受障碍物代价势场的作用向梯度下降的方向移动,使路径的障碍物代价减小,经过若干次调整后最终的路径便为调整后锚点所确定的路径;
步骤7:机器人在运行的过程中使用插值法对最终的路径锚点进行插值,得到机器人最终的运行路径。
进一步的,所述步骤1中:静态障碍物是不会发生变化的,所有静态障碍物都映射到全局静态栅格地图中;对于动态障碍物,机器人在运动过程中会检测到更多的障碍物局部信息,因此其对应位置坐标与障碍物栅格的完整度都会发生变化,因此每个动态障碍的都作为一个独立的对象存储到独立的图层中。
进一步的,所述步骤4中:动态障碍物场景下的代价梯度场的栅格代价U由全局静态梯度场和动态障碍物梯度场叠加得到,具体表示为:
U=Up+Uv。
进一步的,步骤5还包括:根据实际情况选择合适高度的等势曲线;分别计算栅格地图中经过起点与目标点的等势曲线的所有切线与切点栅格;不同切点之间的代价由其间的距离代价与对应的障碍物代价组成;然后构建由起点,切点以及目标点构成的无向图,通过求解最小生成树可以得到总代价最小的最小生成树,由最小生成树节点以及部分等势曲线便可得到最终的候选路径。
进一步的,所述步骤5中还包括:由于障碍物通常是分离的,同一高度上的等势曲线可能会有多条,定义所计算得到的所有切点中,位于同一条等势线上的切点划分为一个分组,起始点和目标点自成一个分组,在求解最小生成树的过程中定义同一个分组内的点不进行直接连接,有效连接之间的代价由其间路径的长度和路径对应的障碍物代价共同组成;
在考虑机器人的初始姿态和最小转弯半径的前提下,设机器人的最小转弯半径为R0,根据最小转弯半径R0定义两个最小转向圆,两个圆在机器人的当前位置与机器人的航向相切;候选路径中位于两个最小转向圆内部的路径实际上是不可达的,因此在计算最终候选路径时使用最小转向圆的部分圆弧取代候选路径中位于两个最小转向圆内部的部分。
进一步的,步骤6中还包括:
对栅格地图中初始候选路径等距采样之后的路径由一系列的锚点表示,具体表示为集合P={ps,p1,p2…pe},其中ps表示起始点,pe表示目标点;设锚点ps,p1,p2…pe对应栅格的障碍物代价值为cs,c1,c2…ce;则候选路径的长度代价Cobs可以表示为:
Cobs=(cs+c1+c2+...+ce)
其中ci为锚点所在栅格的代价值,i为下标,cs是起始点的代价值,ce是目标点的代价值;设锚点ps,p1,p2,…,pe的距离代价值h1,h2,…,he;则候选路径的障碍物代价Hobs表示为:
其中hi,(i=1,2,3,...,e)表示锚点之间的哈曼顿距离,n为采样锚点的个数,ps和p1间的距离表示为h1=t1+t2;
则机器人由起始点到目标点加权代价Cos表示为:
Cos=μCobs+(1-μ)Hobs
其中μ为障碍物代价和距离代价对应的权值系数;
为了进一步对路径进行优化,假设相邻锚点之间存在吸引力Fc,通过锚点之间的引力可以进一步优化候选路径的长度,定义每个锚点只会受到和它相邻锚点的影响而不会受到其它锚点的影响,设p1的坐标为(i1,j1),p2的坐标为(i2,j2),p3的坐标为(i3,j3),表示由点p2到p1的向量,表示由点p2到p3的向量,则锚点p2收到的合力为:
规定在路径调整过程中任意两个锚点的距离Di满足约束条件:dmin<Di<2dmin,其中dmin为任意两个锚点的最小距离,并且初始锚点ps和目标点锚点pe为固定点,在调整过程中不会发生变化,当出现两个不相邻锚点p(x-1)和p(x+1)之间的距离Di<dmin时,能通过删除锚点p(x)来满足约束条件,当两个相邻锚点p(x-1)和p(x)之间的距离Di>2dmin时,可以通过添加锚点pn来满足约束条件,pn的坐标为:
在考虑在满足障碍物代价最优的条件下候选路径的调整,在建立障碍物的二维栅格地图时,建立了从障碍物边界向外梯度下降的势场,用以表示机器人经过此处的障碍物代价;前文生成的候选路径P*是由障碍物的等势曲线得到的,因此可以基于障碍物势场对路径P*进行优化和调整,使路径的总代价Cos最小。
进一步的,对于栅格地图中候选路径的每一个锚点,按照当前位置梯度下降的方向进行调整,需要计算每一个锚点的梯度大小和方向,对于候选路径中的任意锚点p(i1,j1),以p点为中心的3*3栅格进行卷积计算,由梯度的计算公式:
梯度的方向为:
定义E(x,y)为梯度场中以锚点p为中心的3*3矩阵,则锚点p在x方向上的梯度为:
在y方向上的梯度为:
可以得到锚点p的梯度大小:
由下面公式计算锚点p的梯度方向:
在y方向上的梯度调整量为:
其中ω为梯度调整量的增益系数,则锚点p梯度调整后的坐标为p(x-Gradx,y-Grady)。
进一步的,步骤7包括:为了保证路径调整的可靠性,路径在每一步调整的过程中要满足如下约束条件:
a.若hc为初始候选路径中所选等势曲线对应的障碍物代价值,在路径调整过程中候选路径中的任何一个锚点都不会从当前所在栅格向障碍物代价值高于hc的栅格移动,如果针对当前锚点的调整会使得调整之后的锚点所在栅格的障碍物代价大于hc,则跳过对当前锚点的位置调整继续调整下一个锚点;
b.如果考虑机器人的初始姿态以及最小转弯半径R0,则应当保证调整之后的路径锚点不会出现在最小转向圆内部;如果针对当前锚点的调整会使得调整之后的锚点与最近的转向圆的圆心距离小于R0,则跳过对当前锚点的位置调整继续调整下一个锚点;
c.为了使保证路径在调整过程中的平滑度;设Rmin为路径调整过程中的最小曲率半径,其中Rmin>R0,对于任意相邻的三个锚点,其确定的圆半径r不小于最小曲率半径Rmin;如果针对当前锚点的调整会破坏最小转弯半径的条件,则跳过对当前锚点的位置调整继续调整下一个锚点;
机器人在运行的过程中使用插值法对最终的路径锚点进行插值,得到机器人最终的运行路径。
在另外一方面,本发明还公开了一种基于代价势场的移动机器人路径规划与优化系统,包括:
至少一个处理器以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如上述任一项所述的基于代价势场的移动机器人路径规划与优化方法。
在另外一方面,本发明还公开了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如上述任一项所述的基于代价势场的移动机器人路径规划与优化方法。
(三)有益效果
本发明的有益效果在于,与现有技术相比,综合考虑了路径的长度代价和路径和障碍物之间的距离代价。机器人导航过程中距离障碍物越近,发生碰撞的可能性就越大,危险性也就越高,因此本发明所提方法得到的路径具有较低的代价和较高的避障安全性。同时所述方法得到的路径相比现有技术方法也具有较高的平滑度,具有较高的实用价值。本发明所提方法在路径规划的过程中引入了障碍物移动速度对障碍物代价势场的影响,因此,对于动态场景下的移动机器人导航与避障,本发明也具有良好的效果。在算法的实时性方面,通过对采样之后的势场和锚点进行调整,大大降低了算法的复杂度,在较大的栅格地图中也能够达到实时的效果。基于本发明的移动机器人避障方法能够显著提升机器人避障的灵活性与安全性,且计算量小,适用于通过软件程序实现。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1为障碍物附近的梯度场示意图。
图2为基于等势曲线生成障碍物等势曲线的切点示意图。
图3为基于等势曲线切点生成的部分连接代价图。
图4为由最小生成树算法得到的3条代价较小的路径示意图。
图5为机器人初试姿态及最小转向半径限制下的初始路径示意图。
图6为栅格地图中初始路径及其锚点表示的示意图。
图7为候选路径中p2所受锚点的合力F2的示意图。
图8为相邻锚点的曲率圆半径r的示意图。
图9为本发明路径规划与优化方法的流程图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1-9所示,在一个具体实施方式中,本发明提出了一种基于代价势场的移动机器人路径规划与优化方法,包括初始栅格地图和动态障碍物栅格地图的构建,静态障碍物代价势场以及引入障碍物移动速度的动态障碍物代价势场的构建,基于最小生成树的最优代价候选路径生成以及动态代价势场下基于障碍物代价与路径长度代价的路径平滑与优化等步骤。
所述具体实施方式中,二维栅格地图可由激光雷达或者深度视觉相机数据直接获取,或者由障碍物三维体素对象在二维栅格中直接映射得到。所述方法在静态场景下和动态场景下同样适用。
如图9所示,在一个具体实施方式中,所述方法按如下步骤进行实现:
步骤1:建立实际场景的二维高精度栅格地图,并实时获取二维动态障碍物栅格地图。根据激光雷达数据或者包含深度信息的RGBD数据建立真实场景的二维栅格地图以及实时的动态二维动态障碍物栅格地图。针对动态移动的障碍物,在更新其对应地图层的障碍物栅格时同时更新运动的速度。对于动态障碍物地图,每一个障碍物都独自占有一个小的地图层,其大小取决于障碍物占用栅格的多少。
由于静态障碍物是不会发生变化的,所有静态障碍物都映射到全局静态栅格地图中,无需进行更新;而对于动态障碍物,机器人在运动过程中会检测到更多的障碍物局部信息,因此其对应位置坐标与障碍物栅格的完整度都会发生变化,因此每个动态障碍的都作为一个独立的对象存储到独立的图层中。
步骤2:定义一个障碍物栅格的占用情况由栅格代价值C和栅格存在障碍物概率ρ两个参数描述。首先需要建立全局静态栅格地图的梯度下降场。约定只有ρ为0的栅格,其栅格代价会受到距离其距离最近的障碍物的概率为0的栅格的影响。定义地图中障碍物概率为0栅格,其代价可以表示为:
其中p(x,y)表示距离当前栅格最近且障碍物概率不为0的栅格坐标,Cmax表示地图中允许的栅格代价最大值,为一个常数,ρop为栅格ρ的障碍物概率,dop表示ρ到当前栅格的欧式距离,dmax表示障碍物栅格所能影响的最远距离,为一个常数。这样就可以得到静态栅格地图的代价梯度场,如图1示意图所示,黑色栅格代表存在障碍物的栅格,带有灰度的栅格为计算得到的代价梯度场。以上建立的是全局静态栅格地图梯度下降场。同样,计算动态更新的障碍物栅格地图的梯度下降场后,动态障碍物栅格梯度场和全局静态栅格梯度场叠加后就是最终的梯度下降场。
步骤3:设机器人在世界坐标系下的姿态为[e,n,θw],其中[e,n]为机器人坐标,θw机器人航向角,可以得到当前时刻障碍物坐标系相对于世界坐标系下的速度,定义表示动态障碍物当前时刻的位置和速度,其中[x,y]表示障碍物对象位置,向量表示障碍物的移动速度,障碍物的移动速度v可以表示为:
其中A(xa,ya)为上一时刻障碍物的坐标,t为位置变化的时间间隔;设B(xb,yb)为地图中障碍物概率为零的任一栅格坐标;C(xc,yc)为动态障碍物Obs中距离点C最近的栅格坐标。
其中λ为障碍物速度对代价梯度场的影响系数,值越大表示障碍物速度对机器人避障的影响越大;动态移动的障碍物会影响其前进方向区域内的障碍物代价梯度场;障碍物速度越大,越接近障碍物正前方,距离障碍物越近,对应栅格的障碍物代价就越大;θ为向量和向量的夹角,即:
步骤4:全局静态障碍物代价梯度地图以及每个动态障碍物的代价梯度地图叠加之后即为最终的代价梯度场。具体表示为:
U=Up+Uv
步骤5:根据步骤4的代价梯度场得到的障碍物势场,可以得到每一个障碍物的若干条等势曲线,根据不同机器人的形状、大小、避障规则等选择合适高度的等势曲线。
如图2所示,其中黑色实线为障碍物的边界,包含实时检测到的动态障碍物,灰色曲线为其中一条梯度值为hc的等势曲线。假设机器人当前位于Start点,机器人所要到达的目标点为End点,为了得到最初的备选路径,分别从Start点和End点作障碍物等势曲线的切线,如图2,得到若干个切点。由于图中存在3个分离的障碍物,等势曲线被分为独立的三部分,根据等势曲线可以将所有的切点分为3组,set1={1,6,10,12}、set2={2,3,8,11},set3={4,5,7,9},其中Start点和End点自成一个分组。
在实际过程中,每个分组内的切点数目是不确定的,假设包含起始点和目标点在内共由n个节点,则可以得到连接的边数为n(n-1)/2,实际上在同一个分组内的两个点是不需要进行连接的;所以最终得到的有效的连接数会少于n(n-1)/2。如图3所示,图中绘出的点10和点12的部分有效连接。
对两点之间的代价做如下定义:对于同一个分组内的任意两点,连接代价为其所在等势曲线上两点之间较短的一条曲线。对于不在同一个分组内的两个点,如果其间存在直线连接,并且没有穿越等势曲线,其连接代价为两点之间的直线距离,如图3中Start点到点1之间的连接;如果其间的直线连接穿越了等势曲线,其连接代价为相应的等势曲线部分与两点连线直线中部分的长度之和,如图3中点12到点9之间的连接,其连接代价包含了两部分,一部分为点12和图中点p之间曲线连接中较短的一段曲线的长度,另一部分为点p到点9之间直线连接的长度。
通过以上方法,就可以得到所有切点以及起始点和目标点之间所有的有效连接以及相应的连接代价。需要找到一条可以从起始点到目标点的有效且连接代价最小的路径,这本质上已经变成一个计算机数据结构中简单的最小生成树问题。通过求解包含起点和终点的最小生成子树,可以得到代价最小的有效路径。如图4所示,图中展示了3条连接代价较小的路径。
通过上述路径生成规则,最终可以得到一条无碰撞的有效候选路径,记为P*,如图5中的红色曲线所示。此时得到的路径已经相对较为平滑,但对于机器人来说并不是一条最优的路径,需要对路径进行进一步的优化和调整。
以上得到的初始候选路径是没有考虑机器人的初始姿态,默认机器人可以进行原地转向的情况,但在一些特定的场景下,机器人无法进行原地转向或者转向具有较高的成本时,就需要考虑机器人的初始姿态,对初始路径进行进一步的处理了。设机器人的最小转弯半径为R0,机器人的当前姿态如图5所示,根据最小转弯半径R0定义两个最小转向圆,两个圆在机器人的当前位置P0[e,n,θw]与机器人的航向θw相切,其中点P为前文所得到的候选路径与转向圆的交点。由于候选路径穿过了最小转向圆的内部,机器人无法进行路径跟随,在生成候选路径后,取最小转弯半径上的圆弧P0P代替线段P0P,最终得到考虑初始最小转弯半径的场景下的初始候选路径如图5中实线所示路径。
步骤6:按照一定的采样间隔对初始候选路径进行采样,得到由一系列更加稀疏的锚点组成的初始候选路径,然后对于所有的锚点,定义在调整的过程中,相邻的锚点之间会产生引力,使路径的长度代价减小。同时锚点会受障碍物代价势场的作用向梯度下降的方向移动,使路径的障碍物代价减小。
步骤6的具体过程描述如下:使用候选路径所经过所有栅格来表示机器人的候选路径,如图6中灰色栅格所示。然后将栅格化后的路径按照一定的规则进行采样,本文方法将采样得到的初始路径转化为一系列离散的点,称之为锚点。机器人的路径可以用一系列的锚点ps,p1,p2,…,pe表示,其中ps表示起始点,pe表示目标点。这里使用哈曼顿距离来表示栅格地图中两点之间的距离(如图6中t1+t2即为ps和p1之间的距离)。约定在对候选路径进行采样时,两个锚点之间的距离D小于常量Dmax的前提下取最大值。此时候选路径P*,可以由集合P={ps,p1,p2…pe}表示。
下面定义一种路径调整算法,将候选路径P*调整为近似最短的安全路径。设锚点ps,p1,p2,…,pe的障碍物代价值为cs,c1,c2,…,ce。则候选路径的长度代价Cobs可以表示为:
Cobs=(cs+c1+c2+...+ce)
其中ci,(i=s,1,2,3,...,e)为锚点所在栅格的代价值,cs是起始点的代价值,ce是目标点的代价值。
设锚点ps,p1,p2,…,pe的距离代价值h1,h2,…,he。则候选路径的障碍物代价Hobs可以表示为:
其中hi,(i=1,2,3,...,e)表示锚点之间的哈曼顿距离,n为采样锚点的个数,如图6中ps和p1间的距离表示为h1=t1+t2。
则机器人由起始点到目标点加权代价Cos表示为:
Cos=μCobs+(1-μ)Hobs
其中μ为障碍物代价和距离代价对应的权值系数。
为了进一步对路径进行优化,假设相邻锚点之间存在吸引力Fc。通过锚点之间的引力可以进一步优化候选路径的长度。定义每个锚点只会受到和它相邻锚点的影响而不会受到其它锚点的影响。设p1的坐标为(i1,j1),p2的坐标为(i2,j2),p3的坐标为(i3,j3),表示由点p2到p1的向量,表示由点p2到p3的向量,如图7所示,可以计算则锚点p2收到的合力为:如图7。此时锚点p2由于受到合力F2的作用沿F2的方向移动。则锚点p2调整之后的坐标为
p2(x+σFx,y+σFy)
其中σ为调整增益,满足0<σ<1。
规定在路径调整过程中任意两个锚点的距离Di满足约束条件:dmin<Di<2dmin,其中dmin为任意两个锚点的最小距离,并且初始锚点ps和目标点锚点pe为固定点,在调整过程中不会发生变化。当出现两个不相邻锚点p(x-1)和p(x+1)之间的距离Di<dmin时,可以通过删除锚点p(x)来满足约束条件。当两个相邻锚点p(x-1)和p(x)之间的距离Di>2dmin时,可以通过添加锚点pn来满足约束条件,pn的坐标为:
在考虑在满足障碍物代价最优的条件下候选路径的调整,在建立障碍物的二维栅格地图时,建立了从障碍物边界向外梯度下降的势场,用以表示机器人经过此处的障碍物代价。前文生成的候选路径P*是由障碍物的等势曲线得到的,因此可以基于障碍物势场对路径P*进行优化和调整,使路径的总代价Cos最小。
为保证路径在调整过程中的平滑度,定义路径的曲率按如下方法计算:如图8所示的锚点p1,p2,p3所确定的曲率圆,圆心坐标O(x,y)为p1,p2与p2,p3所决定的两条中垂线交点决定,即解下面二元一次方程组:
则p1,p2,p3所确定的曲率圆半径为:
对于栅格地图中候选路径的每一个锚点,按照当前位置梯度下降的方向进行调整。需要计算每一个锚点的梯度大小和方向,对于候选路径中的任意锚点p(i1,j1),以p点为中心的3*3栅格进行卷积计算。由梯度的计算公式:
梯度的方向为:
定义E(x,y)为梯度场中以锚点p为中心的3*3矩阵,则锚点p在x方向上的梯度为:
在y方向上的梯度为:
可以得到锚点p的梯度大小:
由下面公式计算锚点p的梯度方向:
在y方向上的梯度调整量为:
其中ω为梯度调整量的增益系数,则锚点p梯度调整后的坐标为p(x-Gradx,y-Grady)。
步骤7:为了保证路径调整的可靠性,路径在每一步调整的过程中要满足如下约束条件:
a.若hc为初始候选路径中所选等势曲线对应的障碍物代价值,在路径调整过程中候选路径中的任何一个锚点都不会从当前所在栅格向障碍物代价值高于hc的栅格移动。如果针对当前锚点的调整会使得调整之后的锚点所在栅格的障碍物代价大于hc,则跳过对当前锚点的位置调整继续调整下一个锚点。
b.如果考虑机器人的初始姿态以及最小转弯半径R0,则应当保证调整之后的路径锚点不会出现在最小转向圆内部。如果针对当前锚点的调整会使得调整之后的锚点与最近的转向圆的圆心距离小于R0,则跳过对当前锚点的位置调整继续调整下一个锚点。
c.为了使保证路径在调整过程中的平滑度。设Rmin,(Rmin>R0)为路径调整过程中的最小曲率半径,对于任意相邻的三个锚点,其确定的圆半径r不小于最小曲率半径Rmin。如果针对当前锚点的调整会破坏最小转弯半径的条件,则跳过对当前锚点的位置调整继续调整下一个锚点。
机器人在运行的过程中使用插值法对最终的路径锚点进行插值,得到机器人最终的运行路径。
如图9所示,上述本发明的路径规划与优化方法可以作为软件程序或者计算机指令在非暂态计算机可读存储介质中执行或者在带有存储器和处理器的控制系统中执行,且其计算程序简单快速。在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上述实施例仅用以说明本发明的技术方案,而并非对本发明创造具体实施方式的限定。对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其仍处于本发明权利要求范围之中。
Claims (8)
1.一种基于代价势场的移动机器人路径规划与优化方法,其特征在于,该方法包括如下步骤:
步骤1:建立实际场景的二维高精度栅格地图,并实时获取二维动态障碍物栅格地图;针对动态移动的障碍物,在更新其对应地图层的障碍物栅格时同时更新运动的速度,对于动态障碍物栅格地图,每一个障碍物都独自占有一个小的地图层,其大小取决于障碍物占用栅格的多少;
步骤2:根据步骤1中的障碍物以及静态场景的二维栅格地图建立静态障碍物代价梯度场;所述步骤2中静态障碍物梯度场按如下方法进行定义:定义一个障碍物栅格的占用情况由栅格代价值C和栅格存在障碍物概率ρ两个参数描述,首先需要建立全局静态栅格地图的梯度下降场,约定只有ρ为0的栅格,其栅格代价会受到距离其距离最近的障碍物的概率为0的栅格的影响,定义地图中障碍物概率为0栅格,其代价Up表示为:
其中p(x,y)表示距离当前栅格最近且障碍物概率不为0的栅格坐标,Cmax表示地图中允许的栅格代价最大值,为一个常数,ρop为栅格ρ的障碍物概率,dop表示ρ到当前栅格的欧式距离,dmax表示障碍物栅格所能影响的最远距离,为一个常数,这样就可以得到静态栅格地图的代价梯度场;
步骤3:更新动态障碍物的代价梯度场,动态移动的障碍物会影响其前进方向区域内的障碍物代价梯度场,障碍物速度越大,越接近障碍物正前方,距离障碍物越近,对应栅格的障碍物代价就越大;
设机器人在世界坐标系下的姿态为[e,n,θw],其中[e,n]为机器人坐标,θw机器人航向角,可以得到当前时刻障碍物坐标系相对于世界坐标系下的速度,定义表示动态障碍物当前时刻的位置和速度,其中[x,y]表示障碍物对象位置,向量表示障碍物的移动速度,障碍物的移动速度v表示为:
其中A(xa,ya)为上一时刻障碍物的坐标,t为位置变化的时间间隔;设B(xb,yb)为地图中障碍物概率为零的任一栅格坐标;C(xc,yc)为动态障碍物Obs中距离点C最近的栅格坐标;令向量障碍物速度对代价梯度场的影响Uv表示为:
其中λ为障碍物速度对代价梯度场的影响系数,值越大表示障碍物速度对机器人避障的影响越大;动态移动的障碍物会影响其前进方向区域内的障碍物代价梯度场;障碍物速度越大,越接近障碍物正前方,距离障碍物越近,对应栅格的障碍物代价就越大;θ为向量和向量的夹角,即:
步骤4:根据步骤2与步骤3中得到的基于Up和Uv的全局静态障碍物代价梯度地图以及每个动态障碍物的代价梯度地图叠加之后即为最终的代价梯度场;
步骤5:生成初始候选路径;根据步骤4得到的代价梯度场,得到每一个障碍物的若干条等势曲线;
步骤6:候选路径的调整与优化;按照一定的采样间隔对初始候选路径进行采样,得到由一系列更加稀疏的锚点组成的初始候选路径,然后对于所有的锚点,定义在调整的过程中,相邻的锚点之间会产生引力,使路径的长度代价减小,同时锚点会受障碍物代价势场的作用向梯度下降的方向移动,使路径的障碍物代价减小,经过若干次调整后最终的路径便为调整后锚点所确定的路径;
步骤7:机器人在运行的过程中使用插值法对最终的路径锚点进行插值,得到机器人最终的运行路径。
2.根据权利要求1所述的基于代价势场的移动机器人路径规划与优化方法,其特征在于,所述步骤1中静态障碍物是不会发生变化的,所有静态障碍物都映射到全局静态栅格地图中;对于动态障碍物,机器人在运动过程中会检测到更多的障碍物局部信息,因此其对应位置坐标与障碍物栅格的完整度都会发生变化,因此每个动态障碍的都作为一个独立的对象存储到独立的图层中。
3.根据权利要求1所述的基于代价势场的移动机器人路径规划与优化方法,其特征在于,所述步骤4中:动态障碍物场景下的代价梯度场的栅格代价U由全局静态梯度场和动态障碍物梯度场叠加得到,具体表示为:
U=Up+Uv。
4.根据权利要求1所述的基于代价势场的移动机器人路径规划与优化方法,其特征在于,步骤5还包括:根据实际情况选择合适高度的等势曲线;分别计算栅格地图中经过起点与目标点的等势曲线的所有切线与切点栅格;不同切点之间的代价由其间的距离代价与对应的障碍物代价组成;然后构建由起点,切点以及目标点构成的无向图,通过求解最小生成树可以得到总代价最小的且包含起点和终点的最小生成子树,由最小生成子树节点以及部分等势曲线便可得到最终的候选路径。
5.根据权利要求4所述的基于代价势场的移动机器人路径规划与优化方法,其特征在于,所述步骤5中还包括:由于障碍物通常是分离的,同一高度上的等势曲线可能会有多条,定义所计算得到的所有切点中,位于同一条等势线上的切点划分为一个分组,起始点和目标点自成一个分组,在求解最小生成树的过程中定义同一个分组内的点不进行直接连接,有效连接之间的代价由其间路径的长度和路径对应的障碍物代价共同组成;
在考虑机器人的初始姿态和最小转弯半径的前提下,设机器人的最小转弯半径为R0,根据最小转弯半径R0定义两个最小转向圆,两个圆在机器人的当前位置与机器人的航向相切;候选路径中位于两个最小转向圆内部的路径实际上是不可达的,因此在计算最终候选路径时使用最小转向圆的部分圆弧取代候选路径中位于两个最小转向圆内部的部分。
6.根据权利要求1所述的基于代价势场的移动机器人路径规划与优化方法,其特征在于,步骤7包括:为了保证路径调整的可靠性,路径在每一步调整的过程中要满足如下约束条件:
a.若hc为初始候选路径中所选等势曲线对应的障碍物代价值,在路径调整过程中候选路径中的任何一个锚点都不会从当前所在栅格向障碍物代价值高于hc的栅格移动,如果针对当前锚点的调整会使得调整之后的锚点所在栅格的障碍物代价大于hc,则跳过对当前锚点的位置调整继续调整下一个锚点;
b.如果考虑机器人的初始姿态以及最小转弯半径R0,则应当保证调整之后的路径锚点不会出现在最小转向圆内部;如果针对当前锚点的调整会使得调整之后的锚点与最近的转向圆的圆心距离小于R0,则跳过对当前锚点的位置调整继续调整下一个锚点;
c.为了使保证路径在调整过程中的平滑度;设Rmin为路径调整过程中的最小曲率半径,其中Rmin>R0,对于任意相邻的三个锚点,其确定的圆半径r不小于最小曲率半径Rmin;如果针对当前锚点的调整会破坏最小转弯半径的条件,则跳过对当前锚点的位置调整继续调整下一个锚点;
机器人在运行的过程中使用插值法对最终的路径锚点进行插值,得到机器人最终的运行路径。
7.一种基于代价势场的移动机器人路径规划与优化系统,其特征在于,包括:
至少一个处理器以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至6任一项所述的基于代价势场的移动机器人路径规划与优化方法。
8.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至6任一项所述的基于代价势场的移动机器人路径规划与优化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110042080.7A CN112904842B (zh) | 2021-01-13 | 2021-01-13 | 一种基于代价势场的移动机器人路径规划与优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110042080.7A CN112904842B (zh) | 2021-01-13 | 2021-01-13 | 一种基于代价势场的移动机器人路径规划与优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112904842A CN112904842A (zh) | 2021-06-04 |
CN112904842B true CN112904842B (zh) | 2022-07-15 |
Family
ID=76112741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110042080.7A Active CN112904842B (zh) | 2021-01-13 | 2021-01-13 | 一种基于代价势场的移动机器人路径规划与优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112904842B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112859859B (zh) * | 2021-01-13 | 2022-04-22 | 中南大学 | 一种基于三维障碍物体素对象映射的动态栅格地图更新方法 |
CN113359757B (zh) * | 2021-06-30 | 2022-07-01 | 湖北汽车工业学院 | 一种无人驾驶车辆路径规划与轨迹跟踪方法 |
CN113433949A (zh) * | 2021-07-19 | 2021-09-24 | 北京云迹科技有限公司 | 一种可自动跟随的送物机器人及其送物方法 |
CN113759900B (zh) * | 2021-08-12 | 2023-05-02 | 中南大学 | 基于障碍区域预测的巡检机器人轨迹规划与实时避障方法及系统 |
CN113515131B (zh) * | 2021-08-27 | 2022-12-27 | 苏州大学 | 基于条件变分自动编码器的移动机器人避障方法及系统 |
CN113781633B (zh) * | 2021-09-09 | 2022-11-29 | 清华大学 | 一种基于势能场的空间感知安全形式化方法 |
CN113867340B (zh) * | 2021-09-17 | 2024-02-13 | 北京控制工程研究所 | 一种地外未知环境超视距全局路径规划系统和方法 |
CN114035465A (zh) * | 2021-11-02 | 2022-02-11 | 上海高仙自动化科技发展有限公司 | 设备乘梯控制方法、装置、电子设备和存储介质 |
CN113934218B (zh) * | 2021-11-16 | 2022-03-25 | 杭州云象商用机器有限公司 | 一种清扫机器人路径规划方法、装置、设备及存储介质 |
CN114355901B (zh) * | 2021-12-17 | 2023-06-20 | 华南理工大学 | 一种路径规划智能优化方法、装置、电子设备和存储介质 |
CN114493399B (zh) * | 2021-12-17 | 2024-04-09 | 重庆特斯联智慧科技股份有限公司 | 面向物流机器人取件订单的路径规划方法和系统 |
CN114493405B (zh) * | 2021-12-21 | 2024-04-09 | 重庆特斯联智慧科技股份有限公司 | 基于物流机器人运动轨迹的派单方法和系统 |
CN116691667A (zh) * | 2023-07-24 | 2023-09-05 | 中国第一汽车股份有限公司 | 车辆的行驶轨迹规划方法、装置、车辆和存储介质 |
CN116661468B (zh) * | 2023-08-01 | 2024-04-12 | 深圳市普渡科技有限公司 | 障碍物检测方法、机器人及计算机可读存储介质 |
CN117232501B (zh) * | 2023-11-14 | 2024-02-20 | 双擎科技(杭州)有限公司 | 多传感器信息融合的智能机器人导航装置、方法以及介质 |
CN117346791B (zh) * | 2023-12-01 | 2024-03-22 | 北京科技大学 | 基于视觉图像的智能轮椅路径规划方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106708054A (zh) * | 2017-01-24 | 2017-05-24 | 贵州电网有限责任公司电力科学研究院 | 结合地图栅格与势场法避障的巡检机器人路径规划方法 |
CN109737961A (zh) * | 2018-05-23 | 2019-05-10 | 哈尔滨理工大学 | 一种具有概率完备性的机器人最优化点到区路径规划方法 |
CN111290385A (zh) * | 2020-02-19 | 2020-06-16 | 深圳前海达闼云端智能科技有限公司 | 一种机器人路径规划方法、机器人、电子设备及存储介质 |
-
2021
- 2021-01-13 CN CN202110042080.7A patent/CN112904842B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106708054A (zh) * | 2017-01-24 | 2017-05-24 | 贵州电网有限责任公司电力科学研究院 | 结合地图栅格与势场法避障的巡检机器人路径规划方法 |
CN109737961A (zh) * | 2018-05-23 | 2019-05-10 | 哈尔滨理工大学 | 一种具有概率完备性的机器人最优化点到区路径规划方法 |
CN111290385A (zh) * | 2020-02-19 | 2020-06-16 | 深圳前海达闼云端智能科技有限公司 | 一种机器人路径规划方法、机器人、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
基于人工势场法的无人机路径规划避障算法;毛晨悦 等;《电子科技》;20190715;第32卷(第7期);第65-70页 * |
基于改进 A* 算法的移动机器人路径规划;赵晓 等;《机器人》;20181231;第40卷(第6期);第903-910页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112904842A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112904842B (zh) | 一种基于代价势场的移动机器人路径规划与优化方法 | |
CN112378408B (zh) | 一种实现轮式移动机器人实时避障的路径规划方法 | |
CN110320933B (zh) | 一种巡航任务下无人机避障运动规划方法 | |
CN110609552B (zh) | 一种水下无人航行器编队平面航迹规划方法 | |
CN112904869B (zh) | 基于多树rrt的无人艇加权迭代路径规划方法及设备 | |
CN112284393B (zh) | 一种智能移动机器人全局路径规划方法和系统 | |
CN112539750B (zh) | 一种智能运输车路径规划方法 | |
CN113156954B (zh) | 一种基于增强学习的多智能体集群避障方法 | |
CN110487290B (zh) | 基于变步长a星搜索的无人驾驶汽车局部路径规划方法 | |
CN112129296B (zh) | 一种机器人轨迹规划方法及系统 | |
CN109931943B (zh) | 无人船舶全局路径规划方法及电子设备 | |
CN110763247A (zh) | 基于可视图和贪心算法结合的机器人路径规划方法 | |
CN113848919A (zh) | 一种基于蚁群算法的室内agv路径规划方法 | |
CN113485369A (zh) | 改进a*算法的室内移动机器人路径规划和路径优化方法 | |
CN112099501B (zh) | 一种基于势场参数优化的无人艇路径规划方法 | |
CN114625150A (zh) | 基于危险指数和距离函数的快速蚁群无人艇动态避障方法 | |
Yang et al. | A knowledge based GA for path planning of multiple mobile robots in dynamic environments | |
CN115268448A (zh) | 一种基于冲突搜索和速度障碍的多机器人路径规划方法 | |
CN114967701A (zh) | 一种动态环境下移动机器人自主导航方法 | |
Zhang et al. | Robot navigation based on improved A* algorithm in dynamic environment | |
Yang et al. | Path planning and collision avoidance methods for distributed multi-robot systems in complex dynamic environments | |
CN113538973A (zh) | 一种基于改进粒子群算法的船舶自动避碰方法 | |
CN113467476A (zh) | 考虑转角约束的无碰撞检测快速随机树全局路径规划方法 | |
CN115729238A (zh) | 一种用于移动机器人自主避障的动态路径规划方法 | |
CN116700284A (zh) | 一种基于改进自适应权重a*算法的agv路径规划方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |