CN114442644B - 多机器人避障方法、装置、电子设备及存储介质 - Google Patents

多机器人避障方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114442644B
CN114442644B CN202210374467.7A CN202210374467A CN114442644B CN 114442644 B CN114442644 B CN 114442644B CN 202210374467 A CN202210374467 A CN 202210374467A CN 114442644 B CN114442644 B CN 114442644B
Authority
CN
China
Prior art keywords
robot
cell
cells
global
cellular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210374467.7A
Other languages
English (en)
Other versions
CN114442644A (zh
Inventor
彭云龙
邓锦祥
李伟
张立华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210374467.7A priority Critical patent/CN114442644B/zh
Publication of CN114442644A publication Critical patent/CN114442644A/zh
Application granted granted Critical
Publication of CN114442644B publication Critical patent/CN114442644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请涉及机器人避障技术领域,提供了一种多机器人避障方法、装置、电子设备及存储介质,通过获取全局栅格地图和各机器人的全局路径;根据全局栅格地图生成元胞空间;元胞空间包括多个元胞,每个元胞由全局栅格地图的至少一个栅格组成;根据元胞空间生成元胞状态集合;元胞状态集合包含各元胞的元胞状态信息,元胞状态信息用于表示对应的元胞的占用情况;在机器人按照对应的全局路径运动时,根据各机器人的位置更新元胞状态集合;根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整;本申请具有较好的适应性和智能性,且计算量小,易仿真等优势,能够大大减少计算成本。

Description

多机器人避障方法、装置、电子设备及存储介质
技术领域
本申请涉及机器人避障技术领域,具体而言,涉及一种多机器人避障方法、装置、电子设备及存储介质。
背景技术
机器人自主避障作为全自动机器人的基础核心功能,尤其是随着近年全自动仓储物流的建设,大量搬运机器人的投入,对空间范围内的多机器人避障的实时性与高效性要求越来越高。
目前机器人避障的有效手段主要是通过多传感器融合的方式实现自主避障,然而,激光雷达、深度相机等昂贵的传感器导致机器人成本居高不下,同时也对机器人数据处理能力要求越来越高。
基于上述问题,目前尚未有有效的解决方法。
发明内容
本申请的目的在于提供一种多机器人避障方法、装置、电子设备及存储介质,具有计算量小,易仿真等优势,能够减少设置机器人的传感器数量,大大减少机器人成本。
第一方面,本申请提供了一种多机器人避障方法,用于对多个机器人进行控制,其中,包括以下步骤:
S1.获取全局栅格地图和各所述机器人的全局路径;
S2.根据所述全局栅格地图生成元胞空间;所述元胞空间包括多个元胞,每个所述元胞由所述全局栅格地图的至少一个栅格组成;
S3.根据所述元胞空间生成元胞状态集合;所述元胞状态集合包含各所述元胞的元胞状态信息,所述元胞状态信息用于表示对应的所述元胞的占用情况;
S4.在所述机器人按照对应的所述全局路径运动时,根据各所述机器人的位置更新所述元胞状态集合;
S5.根据所述机器人的感知范围内的所述元胞的占用情况对相应的所述全局路径进行局部调整。
本申请提供的多机器人避障方法,采用全局规划和基于元胞动态模型局部避障的方式进行导航,针对多智能体的微观运动行为能够较好地反映,本方法通过结合机器人的运动特点,将移动机器人作为独立智能体,利用元胞演化规则进行自主避障,具有较好的适应性和智能性。
可选地,每个所述元胞由所述全局栅格地图的一个栅格组成。
可选地,所述元胞状态信息为表示元胞被占用的动态占用状态信息、表示元胞被占用的静态占用状态信息或表示元胞未被占用的空闲状态信息;
步骤S4包括:初始化各所述元胞状态信息。
可选地,步骤S5包括:
S501.以每个所述机器人为原点,生成一个感知范围;
S502.获取落入所述感知范围内的元胞的元胞状态信息;
S503.根据所述元胞状态信息和预设的元胞演化规则实时调整相应的机器人的全局路径。
在实际应用中,以每个机器人作为独立的智能体,生成一个感知范围,在进行元胞状态更新时,仅考虑感知范围内的元胞,大大减少其他元胞状态更新的数量,减少了计算量,提高计算效率。
可选地,步骤S503包括:
S5031.根据所述元胞演化规则选择航向角;
S5032.根据所述航向角调整机器人的移动方向。
可选地,所述元胞演化规则为:从可选邻域元胞范围内,选择合适元胞,使航向角选择效用值、距离选择效用值和邻域方向选择效用值的乘积最大化;
其中,所述航向角选择效用值为:
Figure 847393DEST_PATH_IMAGE001
所述距离选择效用值为:
Figure 826851DEST_PATH_IMAGE002
所述邻域方向选择效用值为:
Figure 137746DEST_PATH_IMAGE003
所述可选邻域方向角为:
Figure 64114DEST_PATH_IMAGE004
其中,
Figure 409645DEST_PATH_IMAGE005
表示正弦函数;
Figure 763265DEST_PATH_IMAGE006
表示以自然常数e为底的指数函数;
Figure 561457DEST_PATH_IMAGE007
表示所述航向角选择效用值;
Figure 837323DEST_PATH_IMAGE008
表示所述距离选择效用值;
Figure 568518DEST_PATH_IMAGE009
表示所述邻域方向选择效用值;
Figure 93041DEST_PATH_IMAGE010
表示所述可选邻域方向角;w表示机器人开始避障时的当前运行航向角;
Figure 378528DEST_PATH_IMAGE011
表示机器人移动至邻域元胞时,机器人与落入感知范围内的所述全局路径段i之间形成的运行航向角; M表示曼哈顿距离函数;
Figure 912278DEST_PATH_IMAGE012
表示机器人的第j个可选邻域元胞;L表示在机器人感知范围内的全局路径;Q表示落入感知范围的元胞个数;N表示邻域元胞总数。
通过这种方式,可以通过计算航向角选择效用值,防止机器人在避障时发生轨迹突变;并且通过计算机器人邻域方向选择效用值和距离选择效用值,从而避免机器人在避障的过程偏移预设的全局路径太多,实现经过局部避障之后重新回到预设的全局路径上。
第二方面,本申请提供一种多机器人避障装置,用于对多个机器人进行控制,其中,所述装置包括:
第一获取模块:用于获取全局栅格地图和各所述机器人的全局路径;
第一生成模块:用于根据所述全局栅格地图生成元胞空间;所述元胞空间包括多个元胞,每个所述元胞由所述全局栅格地图的至少一个栅格组成;
第二生成模块:用于根据所述元胞空间生成元胞状态集合;所述元胞状态集合包含各所述元胞的元胞状态信息,所述元胞状态信息用于表示对应的所述元胞的占用情况;
更新模块:用于在所述机器人按照对应的所述全局路径运动时,根据各所述机器人的位置更新所述元胞状态集合;
调整模块:用于根据所述机器人的感知范围内的所述元胞的占用情况对相应的所述全局路径进行局部调整。
本申请提供的多机器人避障装置,采用全局规划和基于元胞动态模型方式进行导航,针对多智能体的微观运动行为能够较好地反映,本装置通过结合机器人的运动特点,将移动机器人作为独立智能体,利用元胞演化规则进行自主避障,具有较好的适应性和智能性。
可选地,每个所述元胞由所述全局栅格地图的一个栅格组成。
第三方面,本申请提供一种电子设备,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如上述第一方面提供的所述方法中的步骤。
第四方面,本申请提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知,本申请提供的多机器人避障方法、装置、电子设备及存储介质,通过获取全局栅格地图和各机器人的全局路径;根据全局栅格地图生成元胞空间;元胞空间包括多个元胞,每个元胞由全局栅格地图的至少一个栅格组成;根据元胞空间生成元胞状态集合;元胞状态集合包含各元胞的元胞状态信息,元胞状态信息用于表示对应的元胞的占用情况;在机器人按照对应的全局路径运动时,根据各机器人的位置更新元胞状态集合;根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整。通过将移动机器人作为独立智能体进行微观仿真,在多机器人环境下利用元胞演化规则进行自主避障,具有较好的适应性和智能性。同时,能够减少设置机器人的传感器数量,具有计算量小,易仿真等优势,能够大大减少计算成本。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请提供的多机器人避障方法的一种流程图。
图2为本申请提供的多机器人避障装置的一种结构示意图。
图3为本申请提供的电子设备的结构示意图。
图4为本申请提供的机器人避障示意简图。
标号说明:
10、选中的邻域元胞;101、第一感知范围;102、第一全局路径;103、第一机器人;2、机器人与落入感知范围内的全局路径段之间形成的运行航向角;40、处于静态占用信息或者动态占用信息的元胞;201、第一获取模块;202、第一生成模块;203、第二生成模块;204、更新模块;205、调整模块;301、处理器;302、存储器;303、通信总线。
具体实施方式
下面将结合本申请实施方式中附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本申请一部分实施方式,而不是全部的实施方式。通常在此处附图中描述和示出的本申请实施方式的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施方式的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施方式。基于本申请的实施方式,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在实际应用中,商场或者货仓内设置有多个移动机器人,移动机器人执行搬运货物的操作。移动机器人上设置有WiFi无线模块和现有的定位模组,可以和调度中心进行通讯连接,向调度中心发送实时位置信息和共享商场货仓的全景地图,以及其他移动机器人的位置信息。全景地图可以是由现有的激光雷达设备进行构建,激光雷达设备的设置位置可以是在移动机器人上,也可以是固定设置在商场以及货仓中的某个位置。
请参照图1,图1是本申请一些实施方式中的多机器人避障方法的流程图,用于对多个机器人进行控制,其中,包括以下步骤:
S1.获取全局栅格地图和各机器人的全局路径;
S2.根据全局栅格地图生成元胞空间;元胞空间包括多个元胞,每个元胞由全局栅格地图的至少一个栅格组成;
S3.根据元胞空间生成元胞状态集合;元胞状态集合包含各元胞的元胞状态信息,元胞状态信息用于表示对应的元胞的占用情况;
S4.在机器人按照对应的全局路径运动时,根据各机器人的位置更新元胞状态集合;
S5.根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整。
在一些实施例中,步骤S1的全局栅格地图可以是基于现有的激光雷达设备生成,是一种存储有静态环境信息的地图,全局栅格地图的分辨率决定了每一个像素距离代表的实际长度,全局栅格地图中包含多个呈矩阵分布的栅格,每个栅格包括若干个像素点。全局路径可以通过现有的全局规划算法生成,如A*算法、RRT算法等。
在一些实施例中,步骤S2的元胞空间是由元胞组成的网格空间,每个元胞即网格空间中的一个网格,网格的形状和尺寸统一,在实际应用中,也可根据实际情况采用全局栅格地图的一个或多个栅格组成一个元胞,在此不做具体限定。
在一些实施例中,步骤S3的元胞状态信息只能从元胞状态集合里选出,例如元胞状态集合里有0和1两种元素,0代表占用状态,1代表空闲状态,元胞状态信息只能从0和1两种元素中任选一种代表当前的元胞状态信息。但元胞状态集合里的元素不限于此,例如可以是其它数字、两个不同的字母或其它符号等,只需要保证两种元素不相同即可,该两种元素分别代表占用状态和空闲状态。
在一些实施例中,步骤S4中根据各机器人的位置更新元胞状态集合时,当某个机器人处于某元胞内,那么该元胞的元胞状态就是占用状态,把对应元胞的元胞状态信息更新为表示元胞被占用的状态信息,当机器人离开该元胞时,那么该元胞的元胞状态信息就会从占用状态变更为空闲状态,把对应元胞的元胞状态信息更新为表示元胞未被占用的状态信息。
在一些实施例中,步骤S5的机器人的感知范围是指以机器人为原点的一个预设尺寸的感知范围(该感知范围一般为矩形区域范围,但不限于此),另外,常见的元胞邻域形式有Von Neumann型邻域(即机器人的邻域元胞包括机器人所在元胞相邻的上、下、左、右四个元胞)和Moore型邻域(即机器人的邻域元胞包括机器人所在元胞相邻的上、下、左、右、左上、右上、左下、右下八个元胞),本方法考虑到移动机器人的运动特性,选择Moore型邻域,也就是以机器人为原点的矩形区域范围,移动机器人可移动方向包括上、下、左、右及对角线8个方向。局部调整可以是指机器人可以根据上述方向绕过处于占用状态的元胞,然后重新进入预设的全局路径中(即步骤S1获取的全局路径)。
通过本申请的多机器人避障方法,采用全局规划和基于元胞动态模型局部避障的方式进行导航,针对多智能体的微观运动行为能够较好地反映,本方法通过结合机器人的运动特点,将移动机器人作为独立智能体,利用元胞演化规则进行自主避障,具有较好的适应性和智能性。
在进一步的实施方式中,每个元胞由全局栅格地图的一个栅格组成。
在实际应用中,为了与全局栅格地图相适配,进一步方便计算,本申请采用二维方形网格构建元胞空间;以栅格地图大小2m*2m,分辨率0.05m/px为例,全局静态栅格地图被划分为40*40个栅格,由此构建40*40的元胞空间。
在一些实施方式中,元胞状态信息为表示元胞被占用的动态占用状态信息、表示元胞被占用的静态占用状态信息或表示元胞未被占用的空闲状态信息;
在一些实施方式中,步骤S4包括:初始化各元胞状态信息。
其中,初始化每个元胞的元胞状态信息,将有静态障碍物体侵占的元胞对应的元胞转态信息更新为静态占用状态信息,机器人侵占的元胞对应的元胞状态信息更新为动态占用状态,其余的元胞状态信息则为空闲状态。
具体的,由于在商场或者货仓的某个位置会存在一些货柜或者架子等不可移动的物体,机器人无法经过该位置,因此,可以在一开始的全局栅格地图上,提前将存在不可移动物体的位置所对应的元胞进行初始化,将该元胞的元胞状态信息初始化为静态占用状态信息(例如将该元胞状态信息初始化为0,0代表该元胞处于静态占用状态信息),并且在后续的使用中都以该全局栅格地图为基础进行全局路径规划。通过这种初始化的方式,可以提前获知被占用元胞的位置,并且把这些元胞标定为不变元胞,从而在后续进行元胞状态信息更新时不对这些处于静态占用状态信息的元胞进行更新操作,从而降低后续进行更新时的计算量。
在一些实施方式中,机器人在根据规划好的全局路径行走的过程中,需要获取全局栅格地图上其他机器人的实时位置信息,从而更新所有元胞的元胞状态信息(对于被标定为固定元胞的元胞,可以不更新其元胞状态信息)。其中,整个全局栅格地图的元胞的元胞状态信息每隔预设周期就会全局更新一次。
在一些优选的实施例中,步骤S5包括:
S501.以每个机器人为原点,生成一个感知范围;
S502.获取落入感知范围内的元胞的元胞状态信息;
S503.根据元胞状态信息和预设的元胞演化规则实时调整相应机器人的全局路径。
通过这种方式,以每个机器人作为独立的智能体,生成一个感知范围,在后续进行元胞状态更新时,可以仅考虑感知范围内的元胞,大大减少其他元胞状态更新的数量,减少了计算量,提高计算效率。
其中,步骤S503包括:
S5031.根据元胞演化规则选择航向角;
S5032.根据航向角调整机器人的移动方向。
在一些实施例中,元胞演化规则为:从可选邻域元胞内选择合适元胞,使航向角选择效用值、距离选择效用值和邻域方向选择效用值的乘积最大化;
其中,航向角选择效用值为:
Figure 966822DEST_PATH_IMAGE001
距离选择效用值为:
Figure 927824DEST_PATH_IMAGE002
邻域方向选择效用值为:
Figure 966188DEST_PATH_IMAGE003
可选邻域方向角为:
Figure 303628DEST_PATH_IMAGE004
其中,
Figure 9416DEST_PATH_IMAGE005
表示正弦函数;
Figure 141320DEST_PATH_IMAGE006
表示以自然常数e为底的指数函数;
Figure 404330DEST_PATH_IMAGE007
表示航向角选择效用值;
Figure 14302DEST_PATH_IMAGE008
表示距离选择效用值;
Figure 43438DEST_PATH_IMAGE013
表示邻域方向选择效用值;
Figure 611823DEST_PATH_IMAGE010
表示可选邻域方向角;w表示机器人开始避障时的当前运行航向角;
Figure 624778DEST_PATH_IMAGE011
表示机器人移动至邻域元胞时,机器人与落入感知范围内的全局路径段i之间形成的运行航向角; M表示曼哈顿距离函数;
Figure 38442DEST_PATH_IMAGE012
表示机器人的第j个可选邻域元胞;L表示在机器人感知范围内的全局路径;Q表示落入感知范围的元胞个数;N表示邻域元胞总数。
参阅图4,可以更加直观的了解上述L和
Figure 187664DEST_PATH_IMAGE011
代表的含义,其中,图中每个栅格代表一个元胞,第一机器人103原本是按照第一全局路径102行走,但是在移动过程中通过第一感知范围101感知到处于静态占用信息或者动态占用信息的元胞40占用了第一全局路径102,此时第一机器人103需要调整路径,假设第一机器人103移动到选中的邻域元胞10(即第j个可选邻域元胞
Figure 926950DEST_PATH_IMAGE012
),此时第一全局路径102落入第一感知范围101内的部分就是上述L,落入第一感知范围101内的全局路径段i是指处于L里的每个元胞;处于选中的邻域元胞10的第一机器人103和L里的每个元胞所形成的箭头代表上述
Figure 896043DEST_PATH_IMAGE011
具体的,
Figure 847818DEST_PATH_IMAGE011
和w的取值范围在0到2π之间。
在实际应用中,一方面,元胞演化规则应保证避免机器人的大角度旋转,减少轨迹突变,即机器人开始避障时的当前运行航向角w应该尽可能小,其中,w越小,所对应的航向角选择效用值
Figure 851546DEST_PATH_IMAGE007
越大;另一方面,元胞演化规则还应保证机器人在局部避障之后重新回到预设的全局路径上,即当机器人演化至可选邻域元胞时,机器人与落入感知范围内的所述全局路径之间形成的运行航向角
Figure 826980DEST_PATH_IMAGE011
应尽量小;其中,
Figure 80107DEST_PATH_IMAGE011
越小,邻域方向选择效用值
Figure 835573DEST_PATH_IMAGE014
越大;同时,还要保证可选邻域元胞与在机器人感知范围内的全局路径L之间的偏移量最小,即
Figure 428229DEST_PATH_IMAGE015
的值要最小;其中,
Figure 243738DEST_PATH_IMAGE015
越小,则距离选择效用值
Figure 187423DEST_PATH_IMAGE016
越大。通过这种计算方式,可以通过计算航向角选择效用值,防止机器人在避障时发生轨迹突变;并且在此基础上,增加计算机器人邻域方向选择效用值和距离选择效用值,避免机器人在避障的过程偏移预设的全局路径太多,从而实现经过局部避障之后重新回到预设的全局路径上。
在一些实施方式中,步骤S5还包括:
获取落入感知范围内的所有机器人的剩余全局路径距离;
对落入感知范围内的所有机器人的剩余全局路径距离进行比较,剩余全局路径距离最大的机器人按规划好的全局路径继续行走,其他机器人对全局路径进行调整。
具体地,落入感知范围内的所有机器人包括该感知范围对应的机器人,以及落入该机器人的感知范围内的其他机器人;剩余全局路径距离是指当前机器人和目标位置之间的路径距离。
在实际应用中,假设有机器人A和机器人B,机器人A和机器人B落入了彼此的感知范围,其中,经过比较,机器人A的剩余全局路径距离比机器人B的剩余全局路径距离大,那么机器人A按规划好的全局路径继续行走,机器人B则对全局路径进行局部调整,避让机器人A。通过这种方式,使得机器人更加智能化,提高整体运行效率。
由上可知,本申请提供的多机器人避障方法,通过获取全局栅格地图和各机器人的全局路径;根据全局栅格地图生成元胞空间;元胞空间包括多个元胞,每个元胞由全局栅格地图的至少一个栅格组成;根据元胞空间生成元胞状态集合;元胞状态集合包含各元胞的元胞状态信息,元胞状态信息用于表示对应的元胞的占用情况;在机器人按照对应的全局路径运动时,根据各机器人的位置更新元胞状态集合;根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整。通过将移动机器人作为独立智能体进行微观仿真,在多机器人环境下利用元胞演化规则进行自主避障,具有较好的适应性和智能性;同时具有计算量小,易仿真等优势,能够大大减少计算成本。
请参照图2,图2是本申请一些实施方式中的多机器人避障装置,用于对多个机器人进行控制,其中,包括以下模块:
第一获取模块201:用于获取全局栅格地图和各机器人的全局路径;
第一生成模块202:用于根据全局栅格地图生成元胞空间;元胞空间包括多个元胞,每个元胞由全局栅格地图的至少一个栅格组成;
第二生成模块203:用于根据元胞空间生成元胞状态集合;元胞状态集合包含各元胞的元胞状态信息,元胞状态信息用于表示对应的元胞的占用情况;
更新模块204:用于在机器人按照对应的全局路径运动时,根据各机器人的位置更新元胞状态集合;
调整模块205:用于根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整。
在一些实施例中,第一获取模块201的全局栅格地图可以是基于现有的激光雷达设备生成,是一种存储有静态环境信息的地图,全局栅格地图的分辨率决定了每一个像素距离代表的实际长度,全局栅格地图中包含多个呈矩阵分布的栅格,每个栅格包括若干个像素点。全局路径可以通过现有的全局规划算法生成,如A*算法、RRT算法等。
在一些实施例中,第一生成模块202的元胞空间是由元胞组成的网格空间,每个元胞即网格空间中的一个网格,网格的形状和尺寸统一,在实际应用中,也可根据实际情况采用全局栅格地图的一个或多个栅格组成一个元胞,在此不做具体限定。
在一些实施例中,第二生成模块203的元胞状态信息只能从元胞状态集合里选出,例如元胞状态集合里有0和1两种元素,0代表占用状态,1代表空闲状态,元胞状态信息只能从0和1两种元素中任选一种代表当前的元胞状态信息。但元胞状态集合里的元素不限于此,例如可以是其它数字、两个不同的字母或其它符号等,只需要保证两种元素不相同即可,该两种元素分别代表占用状态和空闲状态。
在一些实施例中,更新模块204的根据各机器人的位置更新元胞状态集合时,当某个机器人处于某元胞内,那么该元胞的元胞状态就是占用状态,把对应元胞的元胞状态信息更新为表示元胞被占用的状态信息,当机器人离开该元胞时,那么该元胞的元胞状态信息就会从占用状态变更为空闲状态,把对应元胞的元胞状态信息更新为表示元胞未被占用的状态信息。
在一些实施例中,调整模块205的机器人的感知范围是指以机器人为原点的一个预设尺寸的感知范围(该感知范围一般为矩形区域范围,但不限于此),另外,常见的元胞邻域形式有Von Neumann型邻域(即机器人的邻域元胞包括机器人所在元胞相邻的上、下、左、右四个元胞)和Moore型邻域(即机器人的邻域元胞包括机器人所在元胞相邻的上、下、左、右、左上、右上、左下、右下八个元胞),本方法考虑到移动机器人的运动特性,选择Moore型邻域,也就是以机器人为原点的矩形区域范围,移动机器人可移动方向包括上、下、左、右及对角线8个方向。局部调整可以是指机器人可以根据上述方向绕过处于占用状态的元胞,然后重新进入预设的全局路径中。
通过本申请的多机器人避障装置,采用全局规划和基于元胞动态模型局部避障的方式进行导航,针对多智能体的微观运动行为能够较好地反映,本方法通过结合机器人的运动特点,将移动机器人作为独立智能体,利用元胞演化规则进行自主避障,具有较好的适应性和智能性。
在进一步的实施方式中,每个元胞由全局栅格地图的一个栅格组成。
在实际应用中,为了与全局栅格地图相适配,进一步方便计算,本申请采用二维方形网格构建元胞空间;以栅格地图大小2m*2m,分辨率0.05m/px为例,全局静态栅格地图被划分为40*40个栅格,由此构建40*40的元胞空间。
在一些实施方式中,元胞状态信息为表示元胞被占用的占用状态信息或表示元胞未被占用的空闲状态信息;
在一些实施方式中,更新模块204在机器人按照对应的全局路径运动时,根据各机器人的位置更新元胞状态集合的时候,执行以下步骤:初始化各元胞状态信息。
其中,初始化每个元胞的元胞状态信息,将有静态障碍物体侵占的元胞对应的元胞转态信息更新为静态占用状态信息,机器人侵占的元胞对应的元胞状态信息更新为动态占用状态,其余的元胞状态信息则为空闲状态。
具体的,由于在商场或者货仓的某个位置会存在一些货柜或者架子等不可移动的物体,机器人无法经过该位置,因此,可以在一开始的全局栅格地图上,提前将存在不可移动物体的位置所对应的元胞进行初始化,将该元胞的元胞状态信息初始化为静态占用状态信息(例如将该元胞状态信息初始化为0,0代表该元胞处于静态占用状态信息),并且在后续的使用中都以该全局栅格地图为基础进行全局路径规划。通过这种初始化的方式,可以提前获知被占用元胞的位置,并且把这些元胞标定为不变元胞,从而在后续进行元胞状态信息更新时不对这些处于静态占用状态信息的元胞进行更新操作,从而降低后续进行更新时的计算量。
在一些实施方式中,机器人在根据规划好的全局路径行走的过程中,需要获取全局栅格地图上其他机器人的实时位置信息,从而更新所有元胞的元胞状态信息(对于被标定为固定元胞的元胞,可以不更新其元胞状态信息)。其中,整个全局栅格地图的元胞的元胞状态信息每隔预设周期就会更新一次,在一些优选的实施例中,调整模块205在用于根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整时,执行以下步骤:
S501.以每个机器人为原点,生成一个感知范围;
S502.获取落入感知范围内的元胞的元胞状态信息;
S503.根据元胞状态信息和预设的元胞演化规则实时调整相应机器人的全局路径。
通过这种方式,以每个机器人作为独立的智能体,生成一个感知范围,在后续进行元胞状态更新时,可以仅考虑感知范围内的元胞,大大减少其他元胞状态更新的数量,减少了计算量,提高计算效率。
其中,步骤S503包括:
S5031.根据元胞演化规则选择航向角;
S5032.根据航向角调整机器人的移动方向。
在一些实施例中,元胞演化规则为:从可选邻域元胞中选择合适元胞,使航向角选择效用值、距离选择效用值和邻域方向选择效用值的乘积最大化;
其中,航向角选择效用值为:
Figure 746580DEST_PATH_IMAGE001
距离选择效用值为:
Figure 459321DEST_PATH_IMAGE002
邻域方向选择效用值为:
Figure 445732DEST_PATH_IMAGE003
可选邻域方向角为:
Figure 142293DEST_PATH_IMAGE004
其中,
Figure 770720DEST_PATH_IMAGE005
表示正弦函数;
Figure 869126DEST_PATH_IMAGE006
表示以自然常数e为底的指数函数;
Figure 950739DEST_PATH_IMAGE007
表示航向角选择效用值;
Figure 869016DEST_PATH_IMAGE008
表示距离选择效用值;
Figure 769976DEST_PATH_IMAGE017
表示邻域方向选择效用值;
Figure 457310DEST_PATH_IMAGE010
表示可选邻域方向角;w表示机器人开始避障时的当前运行航向角;
Figure 519944DEST_PATH_IMAGE011
表示机器人移动至邻域元胞时,机器人与落入感知范围内的全局路径段i之间形成的运行航向角; M表示曼哈顿距离函数;
Figure 659938DEST_PATH_IMAGE012
表示机器人的第j个可选邻域元胞;L表示在机器人感知范围内的全局路径;Q表示落入感知范围的元胞个数;N表示邻域元胞总数。
具体的,
Figure 426906DEST_PATH_IMAGE011
和w的取值范围在0到2π之间。
在实际应用中,一方面,元胞演化规则应保证避免机器人的大角度旋转,减少轨迹突变,即机器人开始避障时的当前运行航向角w应该尽可能小,其中,w越小,所对应的航向角选择效用值
Figure 968745DEST_PATH_IMAGE007
越大;另一方面,元胞演化规则还应保证机器人在局部避障之后重新回到预设的全局路径上,即当机器人演化至可选邻域元胞时,机器人与落入感知范围内的所述全局路径之间形成的运行航向角
Figure 193492DEST_PATH_IMAGE011
应尽量小;其中,
Figure 820782DEST_PATH_IMAGE011
越小,邻域方向选择效用值
Figure 797965DEST_PATH_IMAGE018
越大;同时,还要保证可选邻域元胞与在机器人感知范围内的全局路径L之间的偏移量最小,即
Figure 194312DEST_PATH_IMAGE015
的值要最小;其中,
Figure 598748DEST_PATH_IMAGE015
越小,则距离选择效用值
Figure 713335DEST_PATH_IMAGE019
越大。通过这种计算方式,可以通过计算航向角选择效用值,防止机器人在避障时发生轨迹突变;并且在此基础上,增加计算机器人邻域方向选择效用值和距离选择效用值,避免机器人在避障的过程偏移预设的全局路径太多,从而实现经过局部避障之后重新回到预设的全局路径上。
在一些实施方式中,步骤S5还包括:
获取落入感知范围内的所有机器人的剩余全局路径距离;
对落入感知范围内的所有机器人的剩余全局路径距离进行比较,剩余全局路径距离最大的机器人按规划好的全局路径继续行走,其他机器人对全局路径进行调整。
具体地,落入感知范围内的所有机器人包括该感知范围对应的机器人,以及落入该机器人的感知范围内的其他机器人;剩余全局路径距离是指当前机器人和目标位置之间的路径距离。
具体的,调整过程参考前文。通过这种方式,使得机器人更加智能化,提高整体运行效率。
由上可知,本申请提供的多机器人避障装置,用于对多个机器人进行控制,通过第一获取模块201获取全局栅格地图和各机器人的全局路径;第一生成模块202根据全局栅格地图生成元胞空间;元胞空间包括多个元胞,每个元胞由全局栅格地图的至少一个栅格组成;第二生成模块203根据元胞空间生成元胞状态集合;元胞状态集合包含各元胞的元胞状态信息,元胞状态信息用于表示对应的元胞的占用情况;更新模块204在机器人按照对应的全局路径运动时,根据各机器人的位置更新元胞状态集合;调整模块205根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整。通过将移动机器人作为独立智能体进行微观仿真,在多机器人环境下利用元胞演化规则进行自主避障,具有较好的适应性和智能性;同时具有计算量小,易仿真等优势,能够大大减少计算成本。
请参照图3,图3为本申请实施方式提供的一种电子设备的结构示意图,本申请提供一种电子设备,包括:处理器301和存储器302,处理器301和存储器302通过通信总线303和/或其他形式的连接机构(未标出)互连并相互通讯,存储器302存储有处理器301可执行的计算机程序,当计算设备运行时,处理器301执行该计算机程序,以在执行时执行上述实施方式的任一可选的实现方式中的方法,以实现以下功能:获取全局栅格地图和各机器人的全局路径;根据全局栅格地图生成元胞空间;元胞空间包括多个元胞,每个元胞由全局栅格地图的至少一个栅格组成;根据元胞空间生成元胞状态集合;元胞状态集合包含各元胞的元胞状态信息,元胞状态信息用于表示对应的元胞的占用情况;在机器人按照对应的全局路径运动时,根据各机器人的位置更新元胞状态集合;根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整。
本申请实施方式提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时,执行上述实施方式的任一可选的实现方式中的方法,以实现以下功能:获取全局栅格地图和各机器人的全局路径;根据全局栅格地图生成元胞空间;元胞空间包括多个元胞,每个元胞由全局栅格地图的至少一个栅格组成;根据元胞空间生成元胞状态集合;元胞状态集合包含各元胞的元胞状态信息,元胞状态信息用于表示对应的元胞的占用情况;在机器人按照对应的全局路径运动时,根据各机器人的位置更新元胞状态集合;根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整。其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory, 简称SRAM),电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory, 简称EPROM),可编程只读存储器(Programmable Red-Only Memory, 简称PROM),只读存储器(Read-Only Memory, 简称ROM),磁存储器,快闪存储器,磁盘或光盘。
在本申请所提供的实施方式中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施方式仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
再者,在本申请各个实施方式中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施方式而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (7)

1.一种多机器人避障方法,用于对多个机器人进行控制,其特征在于,包括以下步骤:
S1.获取全局栅格地图和各所述机器人的全局路径;
S2.根据所述全局栅格地图生成元胞空间;所述元胞空间包括多个元胞,每个所述元胞由所述全局栅格地图的至少一个栅格组成;
S3.根据所述元胞空间生成元胞状态集合;所述元胞状态集合包含各所述元胞的元胞状态信息,所述元胞状态信息用于表示对应的所述元胞的占用情况;
S4.在所述机器人按照对应的所述全局路径运动时,根据各所述机器人的位置更新所述元胞状态集合;
S5.根据所述机器人的感知范围内的所述元胞的占用情况对相应的所述全局路径进行局部调整;
步骤S5包括:
S501.以每个所述机器人为原点,生成一个感知范围;
S502.获取落入所述感知范围内的元胞的元胞状态信息;
S503.根据所述元胞状态信息和预设的元胞演化规则实时调整相应机器人的所述全局路径;
步骤S503包括:
S5031.根据所述元胞演化规则选择航向角;
S5032.根据所述航向角调整机器人的移动方向;
所述元胞演化规则为:从可选邻域元胞范围内,选择合适元胞,使航向角选择效用值、距离选择效用值和邻域方向选择效用值的乘积最大化;
其中,所述航向角选择效用值为:
Figure DEST_PATH_IMAGE001
所述距离选择效用值为:
Figure DEST_PATH_IMAGE002
所述邻域方向选择效用值为:
Figure DEST_PATH_IMAGE003
所述可选邻域方向角为:
Figure DEST_PATH_IMAGE004
其中,
Figure DEST_PATH_IMAGE005
表示正弦函数;
Figure DEST_PATH_IMAGE006
表示以自然常数e为底的指数函数;
Figure DEST_PATH_IMAGE007
表示所述航向角选择效用值;
Figure DEST_PATH_IMAGE008
表示所述距离选择效用值;
Figure DEST_PATH_IMAGE009
表示所述邻域方向选择效用值;
Figure DEST_PATH_IMAGE010
表示所述可选邻域方向角;w表示机器人开始避障时的当前运行航向角;
Figure DEST_PATH_IMAGE011
表示机器人移动至邻域元胞时,机器人与落入感知范围内的所述全局路径段i之间形成的运行航向角; M表示曼哈顿距离函数;
Figure DEST_PATH_IMAGE012
表示机器人的第j个可选邻域元胞;L表示在机器人感知范围内的全局路径;Q表示落入感知范围的元胞个数;N表示邻域元胞总数。
2.根据权利要求1所述的多机器人避障方法,其特征在于,每个所述元胞由所述全局栅格地图的一个栅格组成。
3.根据权利要求1所述的多机器人避障方法,其特征在于,所述元胞状态信息为表示元胞被占用的动态占用状态信息、元胞被占用的静态占用状态信息或表示元胞未被占用的空闲状态信息;
步骤S4包括:初始化各所述元胞状态信息。
4.一种多机器人避障装置,用于对多个机器人进行控制,其特征在于,所述装置包括:
第一获取模块:用于获取全局栅格地图和各所述机器人的全局路径;
第一生成模块:用于根据所述全局栅格地图生成元胞空间;所述元胞空间包括多个元胞,每个所述元胞由所述全局栅格地图的至少一个栅格组成;
第二生成模块:用于根据所述元胞空间生成元胞状态集合;所述元胞状态集合包含各所述元胞的元胞状态信息,所述元胞状态信息用于表示对应的所述元胞的占用情况;
更新模块:用于在所述机器人按照对应的所述全局路径运动时,根据各所述机器人的位置更新所述元胞状态集合;
调整模块:用于根据所述机器人的感知范围内的所述元胞的占用情况对相应的所述全局路径进行局部调整;
所述调整模块在用于根据机器人的感知范围内的元胞的占用情况对相应的全局路径进行局部调整时,执行以下步骤:
S501.以每个机器人为原点,生成一个感知范围;
S502.获取落入感知范围内的元胞的元胞状态信息;
S503.根据元胞状态信息和预设的元胞演化规则实时调整相应机器人的全局路径;
步骤S503包括:
S5031.根据元胞演化规则选择航向角;
S5032.根据航向角调整机器人的移动方向;
元胞演化规则为:从可选邻域元胞中选择合适元胞,使航向角选择效用值、距离选择效用值和邻域方向选择效用值的乘积最大化;
其中,航向角选择效用值为:
Figure 14950DEST_PATH_IMAGE001
距离选择效用值为:
Figure 666511DEST_PATH_IMAGE002
邻域方向选择效用值为:
Figure 649511DEST_PATH_IMAGE003
可选邻域方向角为:
Figure 513561DEST_PATH_IMAGE004
其中,
Figure 796775DEST_PATH_IMAGE005
表示正弦函数;
Figure 88079DEST_PATH_IMAGE006
表示以自然常数e为底的指数函数;
Figure 823954DEST_PATH_IMAGE007
表示航向角选择效用值;
Figure 757275DEST_PATH_IMAGE008
表示距离选择效用值;
Figure DEST_PATH_IMAGE013
表示邻域方向选择效用值;
Figure 629416DEST_PATH_IMAGE010
表示可选邻域方向角;w表示机器人开始避障时的当前运行航向角;
Figure 357201DEST_PATH_IMAGE011
表示机器人移动至邻域元胞时,机器人与落入感知范围内的全局路径段i之间形成的运行航向角; M表示曼哈顿距离函数;
Figure 580372DEST_PATH_IMAGE012
表示机器人的第j个可选邻域元胞;L表示在机器人感知范围内的全局路径;Q表示落入感知范围的元胞个数;N表示邻域元胞总数。
5.根据权利要求4所述的多机器人避障装置,其特征在于,每个所述元胞由所述全局栅格地图的一个栅格组成。
6.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1-3任一项所述多机器人避障方法中的步骤。
7.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-3任一项所述多机器人避障方法中的步骤。
CN202210374467.7A 2022-04-11 2022-04-11 多机器人避障方法、装置、电子设备及存储介质 Active CN114442644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210374467.7A CN114442644B (zh) 2022-04-11 2022-04-11 多机器人避障方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210374467.7A CN114442644B (zh) 2022-04-11 2022-04-11 多机器人避障方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114442644A CN114442644A (zh) 2022-05-06
CN114442644B true CN114442644B (zh) 2022-07-15

Family

ID=81360505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210374467.7A Active CN114442644B (zh) 2022-04-11 2022-04-11 多机器人避障方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114442644B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952942B (zh) * 2023-03-13 2023-06-02 季华实验室 多目标巡检调度规划方法、装置、电子设备及存储介质
CN116358531B (zh) * 2023-06-01 2023-09-01 佛山市星曼信息科技有限公司 地图构建方法、装置、机器人和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103439972B (zh) * 2013-08-06 2016-06-29 重庆邮电大学 一种动态复杂环境下的移动机器人路径规划方法
US10191495B2 (en) * 2015-12-17 2019-01-29 Board Of Trustees Of The University Of Arkansas Distributed ceiling-mounted smart cameras for multi-unmanned ground vehicle routing and coordination
CN107092252A (zh) * 2017-04-11 2017-08-25 杭州光珀智能科技有限公司 一种基于机器视觉的机器人主动避障方法及其装置
CN108985516B (zh) * 2018-07-24 2022-04-26 公安部第一研究所 基于元胞自动机的室内路径规划方法
CN112965485B (zh) * 2021-02-03 2022-10-04 武汉科技大学 一种基于二次区域划分的机器人全覆盖路径规划方法

Also Published As

Publication number Publication date
CN114442644A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN114442644B (zh) 多机器人避障方法、装置、电子设备及存储介质
Yan et al. Path planning in complex 3D environments using a probabilistic roadmap method
Smith et al. Distributed inference-based multi-robot exploration
Lin et al. Local control strategies for groups of mobile autonomous agents
Eren Formation shape control based on bearing rigidity
Tariq et al. Construction of cellular automata over hexagonal and triangular tessellations for path planning of multi-robots
Šeda Roadmap methods vs. cell decomposition in robot motion planning
Viet et al. BoB: an online coverage approach for multi-robot systems
CN110936383A (zh) 一种机器人的障碍物避让方法、介质、终端和装置
Huang et al. Coverage control of multiple unmanned aerial vehicles: A short review
EP3234631B1 (en) Localising portable apparatus
CN110162035A (zh) 一种集群机器人在有障碍物场景中的协同运动方法
Ferreira et al. An improved cellular automata-based model for robot path-planning
Mannucci et al. Autonomous 3D exploration of large areas: A cooperative frontier-based approach
Zhu et al. Multi-AUVs cooperative complete coverage path planning based on GBNN algorithm
Couceiro et al. A PSO multi-robot exploration approach over unreliable MANETs
KR20230066323A (ko) 보관 현장에서의 자율 로봇 탐색
CN114690769B (zh) 路径规划方法、电子设备及存储介质、计算机程序产品
Mronga et al. A constraint-based approach for human–robot collision avoidance
Abdulgalil et al. Multi-robot SLAM: An overview and quantitative evaluation of MRGS ROS framework for MR-SLAM
Zeng et al. A two-stage path planning approach for multiple car-like robots based on PH curves and a modified harmony search algorithm
Zhang et al. An iterative optimization approach for multi-robot pattern formation in obstacle environment
Singha et al. Grid-based UGV navigation in a dynamic environment using neural network
Yang et al. Survey of 3D map in SLAM: Localization and navigation
Carrillo et al. Trophallaxis, low-power vision sensors and multi-objective heuristics for 3D scene reconstruction using swarm robotics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant