CN113325832A - 一种可移动机器人避障方法、以及可移动机器人 - Google Patents

一种可移动机器人避障方法、以及可移动机器人 Download PDF

Info

Publication number
CN113325832A
CN113325832A CN202010128807.9A CN202010128807A CN113325832A CN 113325832 A CN113325832 A CN 113325832A CN 202010128807 A CN202010128807 A CN 202010128807A CN 113325832 A CN113325832 A CN 113325832A
Authority
CN
China
Prior art keywords
obstacle
threshold value
distance
width
reaches
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010128807.9A
Other languages
English (en)
Other versions
CN113325832B (zh
Inventor
沈冰伟
朱建华
蒋腻聪
吴珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202010128807.9A priority Critical patent/CN113325832B/zh
Publication of CN113325832A publication Critical patent/CN113325832A/zh
Application granted granted Critical
Publication of CN113325832B publication Critical patent/CN113325832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开了一种可移动机器人避障方法，该方法包括，通过安装于可移动机器人本体的视觉机器获取图像数据，基于图像数据获取障碍物空间信息，所述空间信息至少包括障碍物本体的三维空间尺寸，根据障碍物空间信息，按照如下策略之一或其组合进行避障：如果障碍物的三维空间尺寸在设定的范围内，则绕行障碍物；如果障碍物的高度大于设定的高度阈值、且长度大于设定的长度阈值，则在与障碍物的距离达到设定的第一距离阈值时回转。本发明避免了对障碍物的撞击、碾压、推行中的一种或其组合情形，实现了避障的智能化。

Description

一种可移动机器人避障方法、以及可移动机器人
技术领域
本发明涉及可移动机器人领域，特别地，涉及一种可移动机器人避障方法。
背景技术
现有的可移动机器人大多基于二维激光雷达、红外传感器进行障碍检测及防撞。以扫地机器人为例，扫地机器人通常安装有二维激光雷达、红外传感器和撞板进行障碍检测，但二维激光雷达、红外传感器只能检测与安装高度相齐平的障碍物，如图1所示，图1为现有扫地机器人对障碍物检测高度的一种示意图。现有的障碍物检测只能检测某一高度、与扫地机器人本体承载面平行的水平面内的物体，低于和高于该高度的物体则通常检测不到；撞板能起到辅助性障碍物检测和防撞，一定程度弥补了二维激光雷达和红外传感器只能检测某一高度的障碍物的不足，但低于撞板高度的障碍物仍然检测不到，且某些小的障碍物触碰不了撞板，导致了扫地机在清扫过程中对障碍物撞击、碾压、推着障碍物往前走。
发明内容
本发明提供了一种可移动机器人避障方法，以弥补基于二维激光雷达、红外传感器进行避障的不足。
本发明提供的一种可移动机器人避障方法是这样实现的：
通过安装于可移动机器人本体的视觉机器获取图像数据，
基于图像数据获取障碍物空间信息，所述空间信息至少包括障碍物本体的三维空间尺寸，
根据障碍物空间信息，按照如下策略之一或其组合进行避障：
如果障碍物的三维空间尺寸在设定的范围内，则绕行障碍物；
如果障碍物的高度大于设定的高度阈值、且长度大于设定的长度阈值，则在与障碍物的距离达到设定的第一距离阈值时回转。
较佳地，所述视觉机器为获取深度图像的图像获取装置，所述空间信息还包括障碍物本体在世界坐标系下的位置信息，所述障碍物包括至少两个以上障碍物，
该方法进一步包括，
根据各个障碍物位置信息，判断各个障碍物之间的距离是否小于设定的间距阈值，如果是，则将小于间距阈值的所有障碍物作为障碍物群，根据绕行代价确定避障策略，否则，执行所述根据障碍物空间信息，按照如下策略之一或其组合进行避障策略进行避障的步骤。
较佳地，所述可移动机器人为扫地机器人，所述障碍物分布于当前进行航道，所述高度阈值为沿边传感器安装于移动机器人本体的位置与移动机器人本体承载面之间的距离；
根据障碍物空间信息，按照如下策略之一或其组合进行避障还包括，
根据障碍物的位置信息，确定障碍物在当前航道的位置，
根据障碍物在当前航道的位置，结合障碍物空间信息，进行避障；
根据绕行代价确定避障策略，包括，
根据障碍物群在当前航道的位置，确定是绕行还是在与障碍物群中任意障碍物的距离达到设定的第一距离阈值时回转。
较佳地，所述根据障碍物在当前航道的位置，结合障碍物空间信息，进行避障包括，
如果障碍物的宽度大于设定的宽度阈值，且障碍物所占航道的宽度小于等于设定的第一阈值，则绕行障碍物；
如果障碍物的宽度大于设定的宽度阈值，且障碍物所占航道的宽度大于设定的第一阈值，则在与障碍物的距离达到设定的第一距离阈值时回转；
所述根据障碍物群在当前航道的位置，确定是绕行还是在与障碍物群中任意障碍物的距离达到设定的第一距离阈值时回转，包括，
如果障碍物群所占航道的宽度大于设定的第一阈值，则在与障碍物的距离达到设定的第一距离阈值时回转，否则，则绕行障碍物群。
较佳地，所述障碍物的三维空间尺寸在设定的范围内包括，障碍物本体的最大高度小于等于高度阈值，最大长度小于等于长度阈值，最大宽度小于等于宽度阈值；
根据障碍物空间信息，按照如下策略之一或其组合进行避障还包括，
如果障碍物的高度小于等于设定的高度阈值、且长度大于设定的长度阈值，则在与障碍物的距离达到设定的第一距离阈值时回转；
如果障碍物的三维空间尺寸均不在设定的范围内，则在与障碍物的距离达到设定的第一距离阈值时回转；
所述绕行障碍物之前进一步包括，判断是否具有绕行的空间，如果有，则绕行障碍物，否则，在与障碍物的距离达到设定的第一距离阈值时回转。
较佳地，所述根据障碍物空间信息，按照如下策略之一或其组合进行避障包括，
判断障碍物本体的最大高度是否小于等于高度阈值，
如果障碍物本体的最大高度大于高度阈值，则判断该障碍物的最大宽度是否小于等于设定的第一宽度阈值，
如果障碍物的最大宽度小于等于第一宽度阈值，则判断障碍物的最大长度是否小于等于设定的第一长度阈值，如果是，则绕行障碍物，否则，在与障碍物的距离达到设定的第一距离阈值时回转，
如果障碍物的最大宽度大于第一宽度阈值，则判断障碍物所占当前航道的宽度是否小于等于第一阈值，如果是，则在与障碍物的距离达到设定的第一距离阈值时回转，否则，执行所述判断障碍物的最大长度是否小于等于设定的第一长度阈值步骤，
如果障碍物本体的最大高度小于等于高度阈值，则判断障碍物的长度是否小于等于第二长度阈值，
如果障碍物的长度小于等于第二长度阈值，则判断障碍物的最大宽度是否小于等于第二宽度阈值，如果是，则绕行障碍物，否则，判断障碍物所占当前航道的宽度是否小于等于第二阈值，如果是，则绕行障碍物，否则，在与障碍物的距离达到设定的第一距离阈值时回转，
如果障碍物的长度大于第二长度阈值，则在与障碍物的距离达到设定的第一距离阈值时回转。
较佳地，，所述在与障碍物的距离达到设定的第一距离阈值时回转包括，行进至与障碍物的距离达到设定的距离阈值，调头沿当前航道行进，或者，通过机器视觉检测当前航道的相邻航道的当前位置是否有障碍物，调头进入无障碍物的相邻航道；
所述绕行障碍物包括，
行进至与障碍物的距离达到设定的第二距离阈值时，选择具有绕行空间的方向作为可移动机器人本体的旋转方向，通过安装于可移动机器人本体的沿边红外传感器进行检测，旋转可移动机器人本体到第一角度，使得沿边传感器值达到最小；
按照第一角度行进，在行进过程中，通过沿边红外传感器检测，保持沿边传感器值在预设的范围，直至行进至第三距离阈值，
通过沿边红外传感器进行检测，旋转可移动机器人本体到第二角度，使得沿边传感器值达到最小；
按照第二角度行进，在行进过程中，通过沿边红外传感器检测，保持沿边传感器值在预设的范围，直至行进至第四距离阈值，
通过沿边红外传感器进行检测，旋转可移动机器人本体到第三角度，使得沿边传感器值达到最小；
按照第三角度行进，在行进过程中，通过沿边红外传感器检测，保持沿边传感器值在预设的范围，直至行进至第五距离阈值，
通过沿边红外传感器进行检测，旋转可移动机器人本体到第四角度，使得沿边传感器值达到最小；
按照第四角度行进。
较佳地，所述行进至与障碍物的距离达到设定的第二距离阈值时进一步包括，如果具有两个不同绕行方向，则按照绕行路线长度最短的原则选择绕行方向，或者，根据障碍物相对于可移动机器人本体的相对位置选择绕行方向。
本发明还提供一种可移动机器人，该可移动机器人本体安装有用于获取图像数据的视觉机器，所述可移动机器人还包括存储器和处理器，其中，
所述存储器存储有可被处理器执行的指令，所述指令被处理器执行，以使所述处理器执行上述任一可移动机器人避障方法的步骤。
本发明提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一可移动机器人避障方法的步骤。
本发明通过视觉机器获取障碍物的空间信息，根据空间信息按照策略进行避障，弥补了二维激光雷达、红外传感器、撞板对障碍物的漏检，又避免了对障碍物的撞击、和/或碾压、和/或推行，和/或被障碍物缠绕、和/或卡住的情况发生，实现了避障的智能化。进一步地，将障碍物的空间尺寸、位置结合可移动机器人的工作任务情况来进行避障，避障设计灵活，提高了机器人的工作效率。
附图说明
图1为现有扫地机器人对障碍物检测高度的一种示意图。
图2为安装有视觉机器的扫地机器人的侧视图和俯视图的一种示意图。
图3a～3b为安装有视觉机器的扫地机器人结合当前规划路径进行避障的一种流程示意图。
图4为基于来自TOF深度相机的图像获取空间障碍物空间信息的一种流程示意图。
图5a为来自TOF深度相机的一种灰度图的示意图，包括有地面信息；
图5b为去除地面信息所提取障碍物的像素图像；
图5c为来自TOF深度相机的一种深度图的示意图；
图6a～6h示出了通过图3a的流程所实现的避障策略。
图7为扫地机器人前进方向存在多个障碍物时避障的一种流程示意图。
图8a～8d为同一航道上的分布有多个障碍物时避障的一种示意图。
图9扫地机器人的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本发明利用安装于可移动机器人上的视觉机器获取行进方向上三维空间内的障碍物的空间信息，根据障碍物空间信息中障碍物本体的三维空间信息以及空间位置信息，结合行进路径进行避障。
以下将以扫地机器人为实施例来进行说明，所应理解的是，本发明不限于扫地机器人，任何可移动机器人可参考本实施例来进行避障。
参见图2所示，图2为安装有视觉机器的扫地机器人的侧视图和俯视图的一种示意图。视觉机器包括且不限于TOF深度相机、双目相机等可获取深度图像的图像获取装置。在扫地机器人前迎面安装有用于获取三维空间内障碍物位姿信息的视觉机器；为了获得较高的空间信息，该视觉机器位于前迎面的上部；为了行进时获得左右对称的视角，该视觉机器位于扫地机器人本体在承载面投影的中心线上，具体地，例如，对于TOF深度相机，其镜头光轴在在承载面的投影与所述中心线重合；对于双目相机，第一镜头模组的光心和第二镜头模组的光心的连线的中点在承载面的投影位于所述中心线上。
实施例一
扫地机器人通常按照航道行进，航道的宽度通常等于扫地机器人本体在其承载面投影轮廓行进方向上的最大距离。当扫地机器人在航道行进的过程中，检测到当前航道行进前方有障碍物时，根据障碍物的空间信息进行避让。
参见图3a～3b所示，图3a～3b为安装有视觉机器的扫地机器人结合当前规划路径进行避障的一种流程示意图。
步骤301，通过视觉机器获取当前航道行进前方的图像数据，根据图像数据获取当前航道障碍物空间信息，所述空间信息包括，障碍物本体的三维空间尺寸、以及在世界坐标系下的位姿信息。
以视觉机器为TOF深度相机为例。TOF深度相机是一种能够产生灰度图和较精确深度图的空间三维信息感知的视觉设备，利用自带的红外光源对周围环境进行照射，当光源照射到物体上会有部分光源返回镜头，在阵列传感器上产生红外图像，形成灰度图，同时根据光的飞行时间获取镜头阵列每个像素到物体之间的距离信息，产生深度图。
参见图4所示，图4为基于来自TOF深度相机的图像获取空间障碍物空间信息的一种流程示意图。具体包括，
步骤3011，基于来自TOF深度相机的灰度图，提取障碍物的像素点的坐标(u，v)；在该步骤中，可以对灰度图像进行前后景分离，去除地面信息，提取障碍物的像素点坐标(u，v)。如图5a所示，图5a为来自TOF深度相机的一种灰度图的示意图，包括有地面信息；图5b为去除地面信息所提取障碍物的像素图像。
步骤3012，根据提取障碍物的像素坐标，结合来自TOF深度相机的深度图，计算障碍物各个像素点在相机坐标系下的三维坐标。
如图5c所示，图5c为来自TOF深度相机的一种深度图的示意图，图中，像素点对应的值为深度值d。
计算过程的一种数学表示如下：
对于障碍物的任意像素点坐标(u，v)，有：
[x' y' 1]T＝K-1[u v 1]T
x'＝x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)
y'＝y(1+k1r2+k2r4+k3r6)+p1(r2+2y2)+2p2xy
r＝x2+y2
[xc,yc,zc]T＝[xd,yd,d]T
其中，K为已知的相机镜头内参矩阵，k1,k2,k3,p1,p2为已知相机镜头畸变参数，x、y、r为运算过程中的临时变量；[xc,yc,zc]为像素点在相机坐标系下的三维坐标。
步骤3013，将得到的相机坐标系下的三维坐标转换为世界坐标系下的三维坐标，从而得到像素点对应的空间点的世界坐标系下的三维坐标。
用数学表达为：
Figure BDA0002395231450000061
其中，xw、yw、zw为待求取的世界坐标系下的三维坐标，R为旋转矩阵，T为平移向量，R、T可根据相机外参和里程计信息得到。相机外参与视觉机器的安装位置有关，具体地，取决于视觉机器与扫地机器人本体中心之间的相对位置。
步骤3014，根据障碍物像素点所对应空间点在世界坐标系下的三维坐标，计算出障碍物本体的三维空间尺寸以及障碍物的三维位置，较佳地，为避免与障碍物的碰撞，将最大长度、最大宽度、最大高度作为障碍物本体的三维空间尺寸。
步骤302，根据障碍物本体的三维空间尺寸，按照避障策略行进。
在该步骤中，可以根据障碍物本体的最大长度、最大宽度、最大高度三个尺寸之一或其任意组合的情况来进行避障，其中，障碍物本体的长度信息对应的是视觉机器所获得的深度值；鉴于机器视觉检测中，障碍物的高度会影响到障碍物长度的检测，故优先考虑高度尺寸。进一步地，还可以根据障碍物本体三维空间尺寸结合障碍物相对于航道的位置来进行避障。
实施方式之一，根据障碍物本体三维空间尺寸结合障碍物相对于航道的位置来进行避障的实施方式。如图3a所示，
步骤3021，判断障碍物本体的最大高度h是否小于等于设定的高度阈值H，其中，H可以为扫地机器人本体上安装的沿边红外传感器的安装高度，即：沿边传感器安装于移动机器人本体的位置与该移动机器人本体承载面之间的距离；
如果是，则执行步骤3025；否则，扫地机器人判定该障碍物为高障碍物。鉴于较高的障碍物的长度检测不够准确，则优先考虑宽度尺寸，执行步骤3022。
步骤3022，判断该障碍物的最大宽度w是否小于等于设定的第一宽度阈值W1，例如，宽度阈值为当前航道的宽度，如果是，则执行步骤3023，否则，执行步骤3024，
步骤3023，判断障碍物的最大长度l是否小于等于设定的第一长度阈值L1，如果是，则执行步骤3028，否则，则在与障碍物的距离达到设定的第一距离阈值时回转。
在该步骤中，也可以不考虑障碍物的长度尺寸而直接进行回转，即，在与障碍物的距离达到设定的第一距离阈值时回转，以避免长度检测不准确导致绕行路程冗长。
步骤3024，当障碍物的最大宽度大于设定第一宽度阈值W1，则根据障碍物的位置信息判断障碍物与当前航道之间的位置，如果障碍物所占当前航道的宽度小于等于第一阈值，例如，第一阈值为当前航道宽度的一半，则执行步骤3023；如果障碍物所占当前航道宽度大于第二阈值，例如，第二阈值为当前航道宽度，则在与障碍物的距离达到设定的第一距离阈值时回转。
步骤3025，当障碍物本体的高度h小于等于所述高度阈值H，则判定为低障碍物，鉴于低障碍物已能够检测到障碍物长度，当障碍物长度太长时，受光源光照强度、光线的反射、遮挡等因素影响，存在对太长的物体不能完整检测的问题，且由于障碍物较矮，当扫地机与障碍物距离较近时，容易使得障碍物的后续部分进入盲区而未能被检测出来，导致对障碍物的碰撞、碾压等。因此，优先考虑障碍物长度尺寸，判断该障碍物的最大长度l是否小于等于设定的第二长度阈值L2，例如，第二长度阈值L2为扫地机器人在其承载面投影轮廓最大距离的二分之一，如果是，则认为检测的障碍物长度可信，执行步骤3026，否则，认为检测的障碍物长度不可信，在与障碍物的距离达到设定的第一距离阈值时回转；
步骤3026，判断该障碍物的最大宽度w是否小于等于设定的第二宽度阈值W2，例如，宽度阈值为扫地机器人在其承载面投影轮廓最大距离的二分之一，如果是，则执行步骤3028；否则，执行步骤3027，或者，在与障碍物的距离达到设定的第一距离阈值时回转；
步骤3027，当障碍物的最大宽度w大于设定第二宽度阈值W2，则根据障碍物的位置信息判断障碍物与当前航道之间的位置，如果障碍物所占当前航道的宽度小于等于第二阈值，例如，第二阈值为当前航道宽度的一半，则执行步骤3028；否则，在与障碍物的距离达到设定的第一距离阈值时回转。
步骤3028，判断是否具有绕行的空间，如果有，则绕行障碍物，否则，在与障碍物的距离达到设定的第一距离阈值时回转。
在该步骤中，判断是否具有绕行的空间可以是，通过机器视觉检测当前航道的相邻航道在所述障碍物附近是否有障碍物，或者，通过机器视觉检测所述障碍物的设定范围内是否有障碍物，如果有，则判定无绕行空间，如果没有，则判定有绕行空间。
在上述步骤中，由于障碍物的高度影响其长度的检测，对宽度检测的影响有限，因此，所述第一长度阈值、第二长度阈值较佳地可以不同，所述第一宽度阈值、第二宽度阈值较佳地可以相同，第一阈值与第二阈值可以相同。
参见图6a～6h所示，图6a～6h示出了通过上述的流程所实现的避障策略。图中，圆柱形表示扫地机器人，矩形体表示障碍物，前头表示避障路线，两相邻虚线之间为航道。
如图6a和图6b所示，当障碍物本体的三维尺寸在一定阈值范围内时，绕行障碍物；
如图6c所示，当高障碍物本体过长时(大于第一长度阈值或第二长度阈值)，由于长度方向的检测不可靠，在与障碍物的距离达到设定的第一距离阈值时回转；
如图6d所示，当矮障碍物本体过宽时(大于第一宽度阈值或第二宽度阈值)，如果障碍物所占当前航道的宽度小于等于第二阈值，则绕行障碍物；鉴于障碍物本体过宽时，宽度检测的可靠性降低，则根据障碍物相对于扫地机本体的相对位置选择绕行方向，例如图中选择从障碍物左侧绕行。
如图6e所示，当矮障碍物本体过宽时(大于第一宽度阈值或第二宽度阈值)，如果障碍物所占当前航道的宽度大于第二阈值，则在与障碍物的距离达到设定的第一距离阈值时回转；
如图6f所示，当高障碍物本体过宽时(大于第一宽度阈值或第二宽度阈值)，如果障碍物所占当前航道的宽度小于等于第二阈值，则绕行障碍物；鉴于障碍物本体过宽时，宽度检测的可靠性降低，则根据障碍物相对于扫地机本体的相对位置选择绕行方向，例如图中选择从障碍物左侧绕行。
如图6g所示，当高障碍物本体过宽时(大于第一宽度阈值或第二宽度阈值)，如果障碍物所占当前航道的宽度大于第二阈值，则在与障碍物的距离达到设定的第一距离阈值时回转；
如图6h所示，当矮障碍物本体过长时(大于第一长度阈值或第二长度阈值)，则在与障碍物的距离达到设定的第一距离阈值时回转。
在本实施方式中，至少实现了：当障碍物本体的三维尺寸在一定阈值范围内时，绕行障碍物；当障碍物本体的三维尺寸中的任一尺寸超出一定范围内时，如果障碍物所占当前航道较多(包括了航道的宽度方向和长度方向的占用)，则在与障碍物的距离达到设定的第一距离阈值时回转，否则，绕行障碍物。本实施例根据障碍物本体三维空间尺寸、并结合障碍物相对于航道的位置来选择绕行障碍物还是在与障碍物的距离达到设定的第一距离阈值时回转，从而在保证清洁效率的同时实现了扫地机智能避障。
实施方式之二，鉴于扫地机工作环境中，高障碍物通常是家具等物体，低障碍物通常是电线等物件，而障碍物的高度会影响到障碍物长度检测的准确性，故可以以障碍物宽度为第一考量要素。如图3b所示，
步骤3031，判断障碍物的最大宽度w是否小于等于设定的第一宽度阈值W1，如果是，则执行步骤3032，否则，执行步骤3034，
步骤3032，判断障碍物本体的最大高度h是否小于等于设定的高度阈值H，其中，H可以为扫地机器人本体上安装的沿边红外传感器的安装高度；如果是，则执行步骤3033；否则，在与障碍物的距离达到设定的第一距离阈值时回转；
步骤3033，判断障碍物的最大长度l是否小于等于设定的第一长度阈值L1，如果是，则执行步骤3036，判断是否具有绕行的空间，如果有，则绕行障碍物，否则，在与障碍物的距离达到设定的第一距离阈值时回转。否则，在与障碍物的距离达到设定的第一距离阈值时回转；
步骤3034，判断障碍物的最大长度l是否小于等于设定的第一长度阈值L1，如果是，则执行步骤3035，否则，在与障碍物的距离达到设定的第一距离阈值时回转。
步骤3035，判断障碍物本体的最大高度h是否小于等于设定的高度阈值H，如果是，则执行步骤3033。否则，在与障碍物的距离达到设定的第一距离阈值时回转。
在该步骤中，判断是否具有绕行的空间可以是，通过机器视觉检测当前航道的相邻航道在所述障碍物附近是否有障碍物，或者，通过机器视觉检测所述障碍物的设定范围内是否有障碍物，如果有，则判定无绕行空间，如果没有，则判定有绕行空间。
上述实施方式一和实施方式二所述在与障碍物的距离达到设定的距离阈值时回转包括如下步骤：可参考如图6c所示，
A)扫地机器人沿当前航道行进至与障碍物的距离达到设定的距离阈值，
B)调头沿当前航道行进，或者，通过机器视觉检测当前航道的相邻航道的当前位置是否有障碍物，调头进入无障碍物的相邻航道。
上述实施方式一和实施方式二所述的绕行障碍物包括如下步骤：可参考如图6a所示，
A)扫地机器人沿当前航道行进至与障碍物的距离达到设定的第二距离阈值，
B)通过安装于扫地机器人本体的沿边红外传感器进行检测，按照绕行方向旋转扫地机器人本体到第一角度，使得沿边传感器值达到最小；
较佳地，选择具有绕行空间的方向作为扫地机器人本体的旋转方向，当具有两个不同绕行方向时，按照绕行路线长度最短的原则选择绕行方向，或者，根据障碍物相对于扫地机本体的相对位置选择绕行方向，例如，当障碍物位于扫地机器人机器视觉的右侧，则选择左向绕行，反之，当障碍物位于扫地机器人机器视觉的左侧，则选择右向绕行。
C)扫地机器人按照第一角度行进，直至满足第三距离阈值，所述第三距离阈值可以为扫地机器人在其承载面投影轮廓最大距离的二分之一，或者，为扫地机器人在其承载面投影轮廓最大距离的二分之一与障碍物宽度的二分之一的和。在行进过程中，通过沿边红外传感器检测，保持沿边传感器值在预设的范围。
D)扫地机器人行进了第三距离阈值后，通过沿边红外传感器进行检测，旋转扫地机器人本体到第二角度，使得沿边传感器值达到最小；
E)扫地机器人按照第二角度行进，直至满足第四距离阈值，所述第四距离阈值可以为扫地机器人在其承载面投影轮廓最大距离与障碍物长度之和。在行进过程中，通过沿边红外传感器检测，保持沿边传感器值在预设的范围。
F)扫地机器人行进了第四距离阈值后，通过沿边红外传感器进行检测，旋转扫地机器人本体到第三角度，使得沿边传感器值达到最小；
G)扫地机器人按照第三角度行进，直至满足第五距离阈值，所述第五距离阈值可以和第三距离阈值相同；在行进过程中，通过沿边红外传感器检测，保持沿边传感器值在预设的范围；
H)扫地机器人行进了第五距离阈值后，通过沿边红外传感器进行检测，旋转扫地机器人本体到第四角度，使得沿边传感器值达到最小；
I)扫地机器人按照第四角度调整至航道行进。
通过上述流程，至少实现了：当障碍物宽度和长度大于一定阈值时，也就意味着，障碍物的在其承载面的投影较大时，无论是高障碍物还是低障碍物，都在与障碍物的距离达到设定的第一距离阈值时回转；当障碍物是宽度小于一定阈值的低障碍物时，根据障碍物长度选择绕行或者在与障碍物的距离达到设定的第一距离阈值时回转；当障碍物是宽度小于一定阈值的高障碍物时，在与障碍物的距离达到设定的第一距离阈值时回转。该实施方式在保证清洁效率的同时实现了扫地机智能避障。
所应理解的是，上述实时方式一以及实施方式二可不限于此，例如，障碍物尺寸以哪个维度作为优先考量可结合机器视觉获取三维信息的准确性、以及移动机器人实际工作环境的特点来设计，以实现智能避障。
实施例二
实际中扫地机器人前进方向的航道中可能存在两个以上障碍物，即同一航道上的分布有多个障碍物，且相邻障碍物之间的距离较小，在同一航道上的分布包括且不限于沿航道宽度方向的左右分布(如图8a所示)、沿航道长度方向的前后分布(如图8b所示)、在高度上的部分或全部堆叠(如图8c所示)之一或任意的组合。
参见图7所示，图7为扫地机器人前进方向存在多个障碍物时避障的一种流程示意图。
步骤701，通过视觉机器获取当前航道行进前方的图像数据，根据图像数据获取当前航道障碍物空间信息，所述空间信息包括，障碍物本体的三维空间尺寸、以及在世界坐标系下的位姿信息。
该步骤与步骤301相同。
步骤702，根据各个障碍物位姿信息中的位置信息，判断各个障碍物之间的距离是否小于设定的间距阈值，
如果是，则将所述小于间距阈值的所有障碍物作为第一障碍物(障碍物群)，即，将障碍物群的整体视为一单个障碍物；根据绕行代价确定避障策略，例如，根据障碍物群在当前航道的位置，确定是绕行还是在与障碍物群中任意障碍物的距离达到设定的第一距离阈值时回转；如果障碍物群所占航道的宽度大于设定的第一阈值，则在与障碍物的距离达到设定的第一距离阈值时回转，以避免对障碍物的撞击、碾压、推行，和被障碍物缠绕、卡住的情况发生，如图8c所示。否则，则绕行障碍物群，如图8d所示。
如果各个障碍物之间的距离大于设定的间距阈值，将所述大于等于间距阈值的各个障碍物作为第二障碍物，即，将各个障碍物分别视为单个障碍物，按照步骤302所述的实施方式进行避障。
本实施例对于航道上分布的多个障碍物，可根据障碍物之间的位置关系，选择不同的策略来进行避障，对于扫地机器人而言，既弥补了二维激光雷达、红外传感器、撞板对障碍物的漏检，又避免了扫地机机器人在清扫过程中对障碍物的撞击、碾压、推行、被障碍物缠绕、卡住中的一种情况或其任意组合的情况发生，实现了避障的智能化。
参见图9所示，图9为扫地机器人的一种示意图。扫地机器人包括有获取图像数据的视觉机器传感器，边沿传感器，用于记录行走里程数据的惯性传感器，行走功能模组，清洁功能模组，其中，视觉机器传感器、边沿传感器、惯性传感器将获取的信号输入处理器，处理器控制行走功能模组和清洁功能模组工作。所述处理器被配置以实现实施例1和实施例2所述避障。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现实施例1和实施例2所述避障步骤。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种可移动机器人避障方法，其特征在于，该方法包括，
通过安装于可移动机器人本体的视觉机器获取图像数据，
基于图像数据获取障碍物空间信息，所述空间信息至少包括障碍物本体的三维空间尺寸，
根据障碍物空间信息，按照如下策略之一或其组合进行避障：
如果障碍物的三维空间尺寸在设定的范围内，则绕行障碍物；
如果障碍物的高度大于设定的高度阈值、且长度大于设定的长度阈值，则在与障碍物的距离达到设定的第一距离阈值时回转。
2.如权利要求1所述的避障方法，其特征在于，所述视觉机器为获取深度图像的图像获取装置，所述空间信息还包括障碍物本体在世界坐标系下的位置信息，所述障碍物包括至少两个以上障碍物，
该方法进一步包括，
根据各个障碍物位置信息，判断各个障碍物之间的距离是否小于设定的间距阈值，如果是，则将小于间距阈值的所有障碍物作为障碍物群，根据绕行代价确定避障策略，否则，执行所述根据障碍物空间信息，按照如下策略之一或其组合进行避障策略进行避障的步骤。
3.如权利要求2所述的避障方法，其特征在于，所述可移动机器人为扫地机器人，所述障碍物分布于当前进行航道，所述高度阈值为沿边传感器安装于移动机器人本体的位置与移动机器人本体承载面之间的距离；
根据障碍物空间信息，按照如下策略之一或其组合进行避障还包括，
根据障碍物的位置信息，确定障碍物在当前航道的位置，
根据障碍物在当前航道的位置，结合障碍物空间信息，进行避障；
根据绕行代价确定避障策略，包括，
根据障碍物群在当前航道的位置，确定是绕行还是在与障碍物群中任意障碍物的距离达到设定的第一距离阈值时回转。
4.如权利要求3所述的避障方法，其特征在于，所述根据障碍物在当前航道的位置，结合障碍物空间信息，进行避障包括，
如果障碍物的宽度大于设定的宽度阈值，且障碍物所占航道的宽度小于等于设定的第一阈值，则绕行障碍物；
如果障碍物的宽度大于设定的宽度阈值，且障碍物所占航道的宽度大于设定的第一阈值，则在与障碍物的距离达到设定的第一距离阈值时回转；
所述根据障碍物群在当前航道的位置，确定是绕行还是在与障碍物群中任意障碍物的距离达到设定的第一距离阈值时回转，包括，
如果障碍物群所占航道的宽度大于设定的第一阈值，则在与障碍物的距离达到设定的第一距离阈值时回转，否则，则绕行障碍物群。
5.如权利要求4所述的避障方法，其特征在于，所述障碍物的三维空间尺寸在设定的范围内包括，障碍物本体的最大高度小于等于高度阈值，最大长度小于等于长度阈值，最大宽度小于等于宽度阈值；
根据障碍物空间信息，按照如下策略之一或其组合进行避障还包括，
如果障碍物的高度小于等于设定的高度阈值、且长度大于设定的长度阈值，则在与障碍物的距离达到设定的第一距离阈值时回转；
如果障碍物的三维空间尺寸均不在设定的范围内，则在与障碍物的距离达到设定的第一距离阈值时回转；
所述绕行障碍物之前进一步包括，判断是否具有绕行的空间，如果有，则绕行障碍物，否则，在与障碍物的距离达到设定的第一距离阈值时回转。
6.如权利要求5所述的避障方法，其特征在于，所述根据障碍物空间信息，按照如下策略之一或其组合进行避障包括，
判断障碍物本体的最大高度是否小于等于高度阈值，
如果障碍物本体的最大高度大于高度阈值，则判断该障碍物的最大宽度是否小于等于设定的第一宽度阈值，
如果障碍物的最大宽度小于等于第一宽度阈值，则判断障碍物的最大长度是否小于等于设定的第一长度阈值，如果是，则绕行障碍物，否则，在与障碍物的距离达到设定的第一距离阈值时回转，
如果障碍物的最大宽度大于第一宽度阈值，则判断障碍物所占当前航道的宽度是否小于等于第一阈值，如果是，则在与障碍物的距离达到设定的第一距离阈值时回转，否则，执行所述判断障碍物的最大长度是否小于等于设定的第一长度阈值步骤，
如果障碍物本体的最大高度小于等于高度阈值，则判断障碍物的长度是否小于等于第二长度阈值，
如果障碍物的长度小于等于第二长度阈值，则判断障碍物的最大宽度是否小于等于第二宽度阈值，如果是，则绕行障碍物，否则，判断障碍物所占当前航道的宽度是否小于等于第二阈值，如果是，则绕行障碍物，否则，在与障碍物的距离达到设定的第一距离阈值时回转，
如果障碍物的长度大于第二长度阈值，则在与障碍物的距离达到设定的第一距离阈值时回转。
7.如权利要求6所述的避障方法，其特征在于，所述在与障碍物的距离达到设定的第一距离阈值时回转包括，行进至与障碍物的距离达到设定的距离阈值，调头沿当前航道行进，或者，通过机器视觉检测当前航道的相邻航道的当前位置是否有障碍物，调头进入无障碍物的相邻航道；
所述绕行障碍物包括，
行进至与障碍物的距离达到设定的第二距离阈值时，选择具有绕行空间的方向作为可移动机器人本体的旋转方向，通过安装于可移动机器人本体的沿边红外传感器进行检测，旋转可移动机器人本体到第一角度，使得沿边传感器值达到最小；
按照第一角度行进，在行进过程中，通过沿边红外传感器检测，保持沿边传感器值在预设的范围，直至行进至第三距离阈值，
通过沿边红外传感器进行检测，旋转可移动机器人本体到第二角度，使得沿边传感器值达到最小；
按照第二角度行进，在行进过程中，通过沿边红外传感器检测，保持沿边传感器值在预设的范围，直至行进至第四距离阈值，
通过沿边红外传感器进行检测，旋转可移动机器人本体到第三角度，使得沿边传感器值达到最小；
按照第三角度行进，在行进过程中，通过沿边红外传感器检测，保持沿边传感器值在预设的范围，直至行进至第五距离阈值，
通过沿边红外传感器进行检测，旋转可移动机器人本体到第四角度，使得沿边传感器值达到最小；
按照第四角度行进。
8.如权利要求7所述的避障方法，其特征在于，所述行进至与障碍物的距离达到设定的第二距离阈值时进一步包括，如果具有两个不同绕行方向，则按照绕行路线长度最短的原则选择绕行方向，或者，根据障碍物相对于可移动机器人本体的相对位置选择绕行方向。
9.一种可移动机器人，其特征在于，该可移动机器人本体安装有用于获取图像数据的视觉机器，所述可移动机器人还包括存储器和处理器，其中，
所述存储器存储有可被处理器执行的指令，所述指令被处理器执行，以使所述处理器执行如权利要求1至8任一所述的可移动机器人避障方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一所述可移动机器人避障方法的步骤。
CN202010128807.9A 2020-02-28 2020-02-28 一种可移动机器人避障方法以及可移动机器人 Active CN113325832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010128807.9A CN113325832B (zh) 2020-02-28 2020-02-28 一种可移动机器人避障方法以及可移动机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010128807.9A CN113325832B (zh) 2020-02-28 2020-02-28 一种可移动机器人避障方法以及可移动机器人

Publications (2)

Publication Number Publication Date
CN113325832A true CN113325832A (zh) 2021-08-31
CN113325832B CN113325832B (zh) 2023-08-11

Family

ID=77412718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010128807.9A Active CN113325832B (zh) 2020-02-28 2020-02-28 一种可移动机器人避障方法以及可移动机器人

Country Status (1)

Country Link
CN (1) CN113325832B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098529A (zh) * 2021-11-26 2022-03-01 深圳乐生机器人智能科技有限公司 清洁机器人系统的清扫方法、清洁机器人系统及存储介质
WO2023216555A1 (zh) * 2022-05-10 2023-11-16 丰疆智能(深圳)有限公司 基于双目视觉的避障方法、装置、机器人及介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH092098A (ja) * 1995-06-19 1997-01-07 Fuji Heavy Ind Ltd 車両用前方監視装置
JP2005291805A (ja) * 2004-03-31 2005-10-20 Daihatsu Motor Co Ltd 障害物検出方法及び障害物検出装置
JP2010079697A (ja) * 2008-09-26 2010-04-08 Nissan Motor Co Ltd 障害物回避装置、障害物回避方法、及び自走車両
CN105223952A (zh) * 2015-09-28 2016-01-06 小米科技有限责任公司 平衡车的控制方法及装置
CN105404299A (zh) * 2015-11-23 2016-03-16 南京农业大学 基于体感感应器的温室省力化自动跟随作业平台
JP2017036945A (ja) * 2015-08-07 2017-02-16 株式会社Ｉｈｉエアロスペース 移動体とその障害物検出方法
CN106909149A (zh) * 2017-03-14 2017-06-30 深圳蓝因机器人科技有限公司 一种深度摄像头避障的方法及装置
CN106980315A (zh) * 2016-01-15 2017-07-25 深圳市朗驰欣创科技股份有限公司 一种自动导引车的巡航报警方法及系统
US20170236422A1 (en) * 2014-09-29 2017-08-17 Hitachi Construction Machinery Co., Ltd. Obstacle avoidance system
CN108209746A (zh) * 2017-12-27 2018-06-29 信利光电股份有限公司 一种扫地机器人的障碍物高度检测装置和方法以及跨越装置和方法
CN108444390A (zh) * 2018-02-08 2018-08-24 天津大学 一种无人驾驶汽车障碍物识别方法及装置
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN110338707A (zh) * 2019-05-31 2019-10-18 深圳市赛亿科技开发有限公司 智能扫地机器人及其控制方法、计算机可读存储介质
CN110786786A (zh) * 2019-10-21 2020-02-14 广东美的白色家电技术创新中心有限公司 扫地机器人及其清扫控制方法、控制装置
CN110815220A (zh) * 2019-11-11 2020-02-21 深圳市荣盛智能装备有限公司 一种消防机器人的遇障处理方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH092098A (ja) * 1995-06-19 1997-01-07 Fuji Heavy Ind Ltd 車両用前方監視装置
JP2005291805A (ja) * 2004-03-31 2005-10-20 Daihatsu Motor Co Ltd 障害物検出方法及び障害物検出装置
JP2010079697A (ja) * 2008-09-26 2010-04-08 Nissan Motor Co Ltd 障害物回避装置、障害物回避方法、及び自走車両
US20170236422A1 (en) * 2014-09-29 2017-08-17 Hitachi Construction Machinery Co., Ltd. Obstacle avoidance system
JP2017036945A (ja) * 2015-08-07 2017-02-16 株式会社Ｉｈｉエアロスペース 移動体とその障害物検出方法
CN105223952A (zh) * 2015-09-28 2016-01-06 小米科技有限责任公司 平衡车的控制方法及装置
US20170088134A1 (en) * 2015-09-28 2017-03-30 Xiaomi Inc. Control method and control apparatus for a balance car and storage medium
CN105404299A (zh) * 2015-11-23 2016-03-16 南京农业大学 基于体感感应器的温室省力化自动跟随作业平台
CN106980315A (zh) * 2016-01-15 2017-07-25 深圳市朗驰欣创科技股份有限公司 一种自动导引车的巡航报警方法及系统
CN106909149A (zh) * 2017-03-14 2017-06-30 深圳蓝因机器人科技有限公司 一种深度摄像头避障的方法及装置
CN108209746A (zh) * 2017-12-27 2018-06-29 信利光电股份有限公司 一种扫地机器人的障碍物高度检测装置和方法以及跨越装置和方法
CN108444390A (zh) * 2018-02-08 2018-08-24 天津大学 一种无人驾驶汽车障碍物识别方法及装置
CN108858199A (zh) * 2018-07-27 2018-11-23 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN110338707A (zh) * 2019-05-31 2019-10-18 深圳市赛亿科技开发有限公司 智能扫地机器人及其控制方法、计算机可读存储介质
CN110786786A (zh) * 2019-10-21 2020-02-14 广东美的白色家电技术创新中心有限公司 扫地机器人及其清扫控制方法、控制装置
CN110815220A (zh) * 2019-11-11 2020-02-21 深圳市荣盛智能装备有限公司 一种消防机器人的遇障处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098529A (zh) * 2021-11-26 2022-03-01 深圳乐生机器人智能科技有限公司 清洁机器人系统的清扫方法、清洁机器人系统及存储介质
CN114098529B (zh) * 2021-11-26 2023-02-14 深圳乐生机器人智能科技有限公司 清洁机器人系统的清扫方法、清洁机器人系统及存储介质
WO2023216555A1 (zh) * 2022-05-10 2023-11-16 丰疆智能(深圳)有限公司 基于双目视觉的避障方法、装置、机器人及介质

Also Published As

Publication number Publication date
CN113325832B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110389586B (zh) 用于地面和自由空间探测的系统和方法
CN110632921B (zh) 机器人路径规划方法、装置、电子设备和存储介质
JP6720715B2 (ja) 駐車支援方法および装置
JP5157067B2 (ja) 自動走行用マップ作成装置、及び自動走行装置。
WO2018105179A1 (ja) 車載用画像処理装置
US20170344844A1 (en) Information processing apparatus and information processing method
US20090024251A1 (en) Method and apparatus for estimating pose of mobile robot using particle filter
JP7059888B2 (ja) 支援制御システム
US20160026184A1 (en) Curb detection using lidar with sparse measurements
US10705534B2 (en) System and method for ground plane detection
CN111028534B (zh) 一种泊车位检测方法及装置
US10325163B2 (en) Vehicle vision
JP5982298B2 (ja) 障害物検出装置および障害物検出方法
JP2010208358A (ja) 駐車支援装置
JP2014215039A (ja) 建設機械
WO2018061084A1 (ja) 自己位置推定方法及び自己位置推定装置
KR102464581B1 (ko) 스테레오 점군 처리장치 및 그 방법
CN113325832A (zh) 一种可移动机器人避障方法、以及可移动机器人
US20170344021A1 (en) Information processing apparatus, vehicle, and information processing method
CN112771591B (zh) 用于评价运输工具的环境中的对象对运输工具的行驶机动动作的影响的方法
CN110794831A (zh) 一种控制机器人工作的方法及机器人
CN110597265A (zh) 一种扫地机器人回充方法和装置
CN107924562B (zh) 物体检测装置、物体检测方法及记录媒体
JP2018523191A (ja) 車両が走行できる空間を割り出すための装置、それに基づいた走行、並びに、車両
EP3029602A1 (en) Method and apparatus for detecting a free driving space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant