CN113777615B - 室内机器人的定位方法、系统及清洁机器人 - Google Patents

室内机器人的定位方法、系统及清洁机器人 Download PDF

Info

Publication number
CN113777615B
CN113777615B CN202110814127.7A CN202110814127A CN113777615B CN 113777615 B CN113777615 B CN 113777615B CN 202110814127 A CN202110814127 A CN 202110814127A CN 113777615 B CN113777615 B CN 113777615B
Authority
CN
China
Prior art keywords
positioning
robot
visual
map
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110814127.7A
Other languages
English (en)
Other versions
CN113777615A (zh
Inventor
赵倬祺
夏临
刘昊钰
王领
陈鑫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Petner Shanghai Robot Technology Co ltd
Original Assignee
Petner Shanghai Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Petner Shanghai Robot Technology Co ltd filed Critical Petner Shanghai Robot Technology Co ltd
Priority to CN202110814127.7A priority Critical patent/CN113777615B/zh
Publication of CN113777615A publication Critical patent/CN113777615A/zh
Application granted granted Critical
Publication of CN113777615B publication Critical patent/CN113777615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种室内机器人定位方法和系统。该方法包括采用激光定位方式获得所述机器人所处环境的第一地图以及所述机器人的第一位置;采用视觉定位方式获得所述环境的第二地图;建立所述第一地图和所述第二地图之间的对应关系;以及当所述第一位置超出所述激光定位方式的有效范围并且所述机器人的里程信息的累积误差大于第一阈值时,采用所述视觉定位方式获得所述机器人的第二位置,并根据所述第二位置和所述对应关系使所述机器人移动至所述有效范围内。本发明的室内机器人定位方法和系统可以在空旷或激光定位环境差的室内场景下自主处理定位的丢失问题。

Description

室内机器人的定位方法、系统及清洁机器人
技术领域
本发明主要涉及机器人领域,尤其涉及一种室内机器人的定位方法、系统以及清洁机器人。
背景技术
随着机器人领域相关技术的快速发展,机器人自主定位及导航的功能越来越强。同步定位与建图(Simultaneous localization and mapping, SLAM)技术被认为是机器人实现自主定位导航的关键。SLAM技术主要用于解决机器人在未知环境运动时的定位与地图构建问题。目前根据传感器的不同,SLAM技术主要包括基于激光雷达的激光SLAM和基于视觉的VSLAM。激光SLAM通过激光雷达获取周围物体的轮廓,并在移动过程中与预先保存的数据进行匹配,获得当前位置,定位过程中通常使用机械里程计和惯性测量单元进行辅助计算。VSLAM是通过摄像头获取视觉特征或直接使用全部或部分像素点,根据不同视角下图像透视变化情况计算摄像头的相对位置。
对于室内清洁机器人来说,执行室内清洁作业需要完全覆盖一定区域,需要相对位置准确,减少重复覆盖和覆盖不足。激光SLAM由于激光雷达具有指向性强的特点,使得激光定位的精度较高。但是,激光定位需要在雷达的检测范围内检测到定位特征才能定位,在定位特征不明显的情况下,例如只有一个平面的长直走廊等,则无法定位,同时,在比较空旷的室内场景下也无法准确定位。激光定位的检测范围通常在10米-200米不等,检测范围越大相对成本较高。VSLAM具有部署成本低、信息量大等优点,但是存在计算量大、精度低、对机器人系统的性能要求较高等问题,在较大的场景下,由于计算视角的精度限制,误差范围较大。
发明内容
本发明要解决的技术问题是提供一种适应空旷场景及缺少定位特征场景的室内机器人定位方法、系统以及清洁机器人。
为解决上述技术问题,本发明提供了一种室内机器人的定位方法,包括:采用激光定位方式获得所述机器人所处环境的第一地图以及所述机器人的第一位置;采用视觉定位方式获得所述环境的第二地图;建立所述第一地图和所述第二地图之间的对应关系;以及当所述第一位置超出所述激光定位方式的有效范围并且所述机器人的里程信息的累积误差大于第一阈值时,采用所述视觉定位方式获得所述机器人的第二位置,并根据所述第二位置和所述对应关系使所述机器人移动至所述有效范围内。
在本发明的一实施例中,所述方法还包括:当所述第一位置在所述有效范围内时,根据所述第一位置消除所述累积误差。
在本发明的一实施例中,所述方法还包括:当所述第一位置超出所述有效范围时,根据所述里程信息进行航位推算获得所述机器人的第三位置。
在本发明的一实施例中,所述里程信息包括机械里程信息和视觉里程信息,所述累积误差包括机械累积误差和视觉累积误差。
在本发明的一实施例中,所述里程信息包括累积里程或累积时间。
在本发明的一实施例中,所述里程信息还包括所述机器人的第一运动方向,当所述第一位置超出所述有效范围时,还包括:采用所述视觉定位方式获得所述机器人的第二运动方向,计算所述第一运动方向与所述第二运动方向之间的方向误差,当所述方向误差大于第二阈值时,判断所述机器人的状态为定位丢失状态。
在本发明的一实施例中,建立所述第一地图和所述第二地图之间的对应关系的步骤包括:获得所述第一地图中的多个激光定位子图;获得所述第二地图中的多个视觉定位子图;按照时间顺序建立每个所述激光定位子图和每个所述视觉定位子图的运算组;以及在每个运算组中,获得所述机器人在所述激光定位子图中的激光定位位置和在所述视觉定位子图中的视觉定位位置,根据所述激光定位位置和所述视觉定位位置获得所述对应关系。
在本发明的一实施例中,建立所述第一地图和所述第二地图之间的对应关系的步骤包括:获得所述第一地图中的多个激光定位子图;从所述多个激光定位子图中获得所述机器人的多个激光定位位置;以及从所述第二地图中的多个视觉定位子图中选择特征视觉定位子图,在所述特征视觉定位子图中所述机器人的特征位置与所述多个激光定位位置相对应,根据所述激光定位位置和所述特征位置获得所述对应关系。
在本发明的一实施例中,建立所述第一地图和所述第二地图之间的对应关系的步骤包括:获得所述第一地图中的多个激光定位子图;从所述多个激光定位子图中获得所述机器人的多个激光定位位置,每个所述激光定位位置对应于一个激光定位时刻;获得所述第二地图中的多个视觉定位子图;从所述多个视觉定位子图中获得所述机器人的多个视觉定位位置,每个所述视觉定位位置对应于一个视觉定位时刻;以及根据所述激光定位位置和所述视觉定位位置获得第一对应关系,根据所述激光定位时刻和所述视觉定位时刻获得第二对应关系,所述对应关系包括所述第一对应关系和所述第二对应关系。
本发明为解决上述技术问题还提供了一种室内机器人的定位系统,包括:里程计模块,用于获得机器人的里程信息;激光定位模块,用于获得所述机器人所处环境的第一地图,以及获得所述机器人的第一位置;以及视觉定位模块,用于获得所述环境的第二地图,所述第二地图与所述第一地图具有对应关系,其中,当所述第一位置超出所述激光定位模块的有效范围并且所述里程信息的累积误差大于第一阈值时,所述视觉定位模块获得所述机器人的第二位置,并根据所述第二位置和所述对应关系使所述机器人移动至所述有效范围内。
在本发明的一实施例中,当所述第一位置在所述有效范围内时,所述激光定位模块还用于根据所述第一位置消除所述累积误差。
在本发明的一实施例中,当所述第一位置超出所述有效范围时,所述里程计模块还用于根据航位推算获得所述机器人的第三位置。
在本发明的一实施例中,所述里程计模块包括机械里程计单元和视觉里程计单元,所述里程信息包括由所述机械里程计单元获得的机械里程信息和由所述视觉里程计单元获得的视觉里程信息,所述累积误差包括所述机械里程信息的机械累积误差和所述视觉里程信息的视觉累积误差。
在本发明的一实施例中,所述视觉里程计单元包括摄像头和惯性测量单元。
在本发明的一实施例中,所述里程信息包括累积里程或累积时间。
在本发明的一实施例中,所述里程信息还包括所述机器人的第一运动方向,当所述第一位置超出所述激光定位模块的有效范围时,所述视觉定位模块还用于获得所述机器人的第二运动方向,并计算所述第一运动方向与所述第二运动方向之间的方向误差。
在本发明的一实施例中,所述视觉定位模块设置在云端。
本发明为解决上述技术问题还提供了一种清洁机器人,包括上述任一项所述的定位系统。
与现有技术相比,本发明具有如下的有益效果:采用激光定位方式获得机器人所处环境的第一地图以及机器人的第一位置,当机器人在空旷或激光定位环境差的场景下,即激光定位丢失时,采用视觉定位方式获得机器人的第二位置,并使机器人移动至激光有效范围内,自主处理激光定位的丢失问题,降低了场景对机器人定位能力的限制;本发明通过将视觉定位方式部署在云端,可以节约运算资源、降低机器人的运算负荷;此外,本发明无需对机器人的工作环境现场进行改造或添加固定设备,实现成本低。
附图说明
为了让本发明的上述目的、特征和优点能更明显易懂,以下结合附图对本发明的具体实施方式作详细说明,其中:
图1是本发明一实施例的室内机器人的定位方法的示例性流程图;
图2是本发明一实施例的室内机器人的定位方法的示例性流程图;
图3是本发明一实施例的室内机器人的定位系统的示例性框图;
图4是本发明一实施例的室内机器人的定位系统中的里程计模块的框图;
图5是本发明一实施例的清洁机器人的结构示意图;
图6是本发明一实施例的清洁机器人的视觉传感器和激光传感器的感测范围的示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本申请中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
在本申请的描述中,需要理解的是,方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,在未作相反说明的情况下,这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作,因此不能理解为对本申请保护范围的限制;方位词“内、外”是指相对于各部件本身的轮廓的内外。
为了便于描述,在这里可以使用空间相对术语,如“在……之上”、“在……上方”、“在……上表面”、“上面的”等,用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是,空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如,如果附图中的器件被倒置,则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而,示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位),并且对这里所使用的空间相对描述作出相应解释。
此外,需要说明的是,使用“第一”、“第二”等词语来限定零部件,仅仅是为了便于对相应零部件进行区别,如没有另行声明,上述词语并没有特殊含义,因此不能理解为对本申请保护范围的限制。此外,尽管本申请中所使用的术语是从公知公用的术语中选择的,但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的,其详细含义在本文的描述的相关部分中说明。此外,要求不仅仅通过所使用的实际术语,而是还要通过每个术语所蕴含的意义来理解本申请。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,或将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是本发明一实施例的室内机器人的定位方法的示例性流程图。参考图1所示,该实施例的室内机器人定位方法包括以下步骤:
步骤S110:采用激光定位方式获得机器人所处环境的第一地图以及机器人的第一位置;
步骤S120:采用视觉定位方式获得环境的第二地图;
步骤S130:建立第一地图和第二地图之间的对应关系;以及
步骤S140:当第一位置超出激光定位方式的有效范围并且机器人的里程信息的累积误差大于第一阈值时,采用视觉定位方式获得机器人的第二位置,并根据第二位置和对应关系使机器人移动至有效范围内。
以下具体说明上述的步骤S110-S140。
参考图1所示,在步骤S110中,机器人指室内机器人,包括用于执行室内任务的任意类型机器人,例如但不限于清洁机器人、迎宾机器人等。
在步骤S110中所采用的激光定位方式可以采用激光SLAM技术来实现。具体地,可以通过设置在机器人本体上的激光雷达传感器,在机器人行进的过程中获得机器人行进路线上的环境定位特征,并根据多个环境特征构建出该环境的第一地图。为实现该过程,可以由操作人员推着机器人或者机器人自动在所处环境中运动一圈,在运动过程中,机器人通过身上配备的传感器,向周围环境发射激光束,激光束碰到物体后反射,由接收反射的光束来测量周围物体的定位特征。定位特征可以是墙角等具有识别度的物体。通常,定位特征呈现出一系列分散的、具有准确角度和距离信息的点,被称为点云。对这些点云进行处理,可以获得第一地图。
在一些实施例中,激光雷达传感器是对平面进行二维扫描的2D激光雷达。在其他实施例中,激光雷达传感器可以是对单个特征点进行测距的距离传感器,也可以是对三维立体扫描的3D激光雷达。
在一些实施例中,第一地图是栅格地图。在其他实施例中,第一地图可以是几何信息地图、拓扑地图等。
机器人在移动过程中,通过对不同时刻两片点云的匹配与比对,定位自身位置和姿态,可以获得步骤S110中的机器人的第一位置。该第一位置是一种实时位置,随着机器人的实时位置的改变而改变。
步骤S110可以由设置在机器人本体上的激光定位模块来执行。
参考图1所示,在步骤S120中,采用视觉定位方式获得环境的第二地图。该视觉定位方式可以采用VSLAM技术来实现。具体可以通过摄像头获取环境的视觉特征或直接使用全部或部分像素点,构建环境的第二地图。
在一些实施例中,摄像头可以设置在机器人以外的环境中,独立地构建第二地图。
在另一些实施例中,摄像头可以设置在机器人本体上,随着机器人一起移动,在移动过程中动态构建第二地图。
在一些实施例中,摄像头采用双目摄像头,在其他实施例中,摄像头也可以是单目摄像头或RGB-D(深度图像)。
在一些实施例中,步骤S120在云端执行以降低机器人本体的运算成本和负荷。
步骤S110中所获得的第一地图和步骤S120中所获得的第二地图虽然都是用于描述机器人所处环境的地图,但是由于数据采集的方式不同,地图构建的方法不同,第一地图和第二地图的格式、内容都有所不同,二者相互独立。在机器人移动过程中,并不能直接将由激光定位方式所获得的第一位置在第二地图中进行定位,也不能直接将由视觉定位方式所获得的第二位置在第一地图中进行定位。为了使第一地图和第二地图在后续的步骤中可以相互参考使用,在步骤S130中,建立第一地图和第二地图之间的对应关系。
本发明对步骤S130所采用的具体方法不做限制。
在一些实施例中,步骤S130包括以下步骤:
步骤S1310:获得第一地图中的多个激光定位子图;
步骤S1312:获得第二地图中的多个视觉定位子图;
步骤S1314:按照时间顺序建立每个激光定位子图和每个视觉定位子图的运算组;以及
步骤S1316:在每个运算组中,获得机器人在激光定位子图中的激光定位位置和在视觉定位子图中的视觉定位位置,根据激光定位位置和视觉定位位置获得对应关系。
根据步骤S1310-S1316,分别获得第一地图中的多个激光定位子图和第二地图中的多个视觉定位子图,并按照时间顺序建立每个激光定位子图和每个视觉定位子图的运算组。可以在机器人移动时实时地获取该运算组,并在运算组中获得激光定位位置和视觉定位位置的实时对应关系。
在一些实施例中,步骤S130包括以下步骤:
步骤S1320:获得第一地图中的多个激光定位子图;
步骤S1322:从多个激光定位子图中获得机器人的多个激光定位位置;以及
步骤S1324:从第二地图中的多个视觉定位子图中选择特征视觉定位子图,在特征视觉定位子图中机器人的特征位置与多个激光定位位置相对应,根据激光定位位置和特征位置获得对应关系。
根据步骤S1320-S1324,首先需要从第一地图中获得多个激光定位位置,然后再在第二地图中选择具有与该多个激光定位位置对应的特征视觉定位子图,从中获得视觉定位方式下的特征位置,将该激光定位位置与该特征位置之间的对应关系作为步骤S130中所要获得的对应关系。与采用步骤S1310-S1316的实施例相比,采用步骤S1320-S1324的实施例需要先采集一段时间的数据,不能完全实时地建立该对应关系。
在一些实施例中,步骤S130包括以下步骤:
步骤S1330:获得第一地图中的多个激光定位子图;
步骤S1332:从多个激光定位子图中获得机器人的多个激光定位位置,每个激光定位位置对应于一个激光定位时刻;
步骤S1334:获得第二地图中的多个视觉定位子图;
步骤S1336:从多个视觉定位子图中获得机器人的多个视觉定位位置,每个视觉定位位置对应于一个视觉定位时刻;以及
步骤S1338:根据激光定位位置和视觉定位位置获得第一对应关系,根据激光定位时刻和视觉定位时刻获得第二对应关系,对应关系包括第一对应关系和第二对应关系。
根据步骤S1330-S1338,分别建立激光定位位置和视觉定位位置的第一对应关系,以及激光定位时刻和视觉定位时刻的第二定位关系,在此基础上形成步骤S130中所要建立的第一地图和第二地图的对应关系。根据这些实施例,可以精确地获得某一时刻机器人在第一地图和第二地图中的位置。
参考图1所示,在步骤S140中,对步骤S110中所获得的第一位置进行分析,判断其是否超出了激光定位范围的有效范围。
激光定位方式的有效范围受到所采用的激光定位传感器的限制,通常可以在10米-200米之间。可以理解,此时在第一地图中对第一位置是否超出该有效范围进行判断。若机器人的第一位置超出了激光定位的有效范围,并且机器人的里程信息的累积误差大于第一阈值时,一方面,激光定位方式无法获得机器人的位置;另一方面,激光定位方式的误差较大,即便能够获得机器人的位置,该位置也不准确。在这样的情况下,采用视觉定位方式获得机器人的第二位置。可以采用前文所述的VSLAM技术获得机器人的第二位置。可以理解,该第二位置对应于第二地图。
在采用激光定位方式定位机器人时,可以由相配合的里程计来获得机器人的里程信息。里程计在运行过程中不断产生累积误差,根据激光定位的数据来消除该累积误差。
在一些实施例中,里程信息包括机械里程信息和视觉里程信息,累积误差包括机械累积误差和视觉累积误差。
在一些实施例中,里程信息包括累积里程或累积时间。累积误差指机器人经过一段时间运行之后的位姿误差,在这些实施例中,用里程计所获得的累积里程或累积时间来判断该累积误差是否已经达到一定阈值,即第一阈值,若达到该第一阈值的话,需要消除该累计误差。第一阈值的设置针对所采用的里程信息的具体内容,例如,若采用累积里程判断累积误差,则第一阈值为一累积里程阈值;若采用累积时间判断累积误差,则第一阈值为一累积时间阈值。
通常,激光定位方式所获得的第一位置的精度较高,视觉定位方式所获得第二位置的精度较低。在步骤S140中获得机器人的第二位置之后,控制机器人根据第一地图和第二地图之间的对应关系,使机器人移动到第一地图中的激光定位方式的有效范围内,从而可以继续由激光定位方式获得高精度的第一位置。
根据上述的实施例,结合激光定位方式和视觉定位方式,发挥两种方式各自的优势,在空旷或激光定位环境差的场景下,也能及时恢复对机器人的定位,降低了场景对机器人定位能力的限制。根据本发明,可以通过选择合适的激光定位装置和视觉定位装置,二者相互配合达到节约成本、提高定位精度的有益效果。
图2是本发明一实施例的室内机器人的定位方法的示例性流程图。该实施例的步骤S210-S230与步骤S110-S130相同,在此不再展开。在图2中采用判断逻辑S240和步骤S250实施步骤S140,并且增加了步骤S260。具体地,该实施例的步骤S240-S260为:
步骤S240:判断第一位置是否超出激光定位方式的有效范围并且累积误差是否大于第一阈值。
例如,若采用累积时间来判断累积误差,当里程计运行时间大于一累积时间阈值时,激光雷达未能检测到定位特征,也就是第一位置超出激光定位方式的有效范围,则执行步骤S250,否则执行S260。
步骤S250:采用视觉定位方式获得机器人的第二位置,并根据第二位置和对应关系使机器人移动至有效范围内。
当视觉定位方式在云端执行时,步骤S250从云端获得该第二位置。该第二位置的精度低于第一位置的精度。根据第二位置和第一地图和第二地图的对应关系,使机器人移动至激光有效范围内,该范围内具有定位特征。当机器人回到激光特征较好的区域则可通过闭环检测消除里程计累积误差,从而完成定位恢复。
步骤S260:根据第一位置消除累计误差。
在一些实施例中,当第一位置在有效范围内时,根据第一位置消除累积误差。激光雷达在靠近墙角等定位特征后,可利用闭环检测进行里程计累积误差消除,激光雷达可以提供一个相对于地图的精确定位,将此位置与里程计推算的位置进行对齐或对里程计起点进行重置,则可以认为累计误差消除。当第一位置在有效范围之外时,里程信息的累积误差无法被闭环检测消除。
经过步骤S250使机器人移动至有效范围之后,可以继续根据第一位置消除累积误差。
在一些实施例中,当第一位置超出激光定位方式的有效范围时,本发明的室内机器人的定位方法还包括:根据里程信息进行航位推算获得机器人的第三位置。在这些实施例中,根据视觉里程计的视觉里程信息进行航位推算。也可以结合视觉里程信息和机械里程计获得的机械里程信息一起来进行航位推算。在一些情况下,机器人超出激光定位方式的有效范围之后,在经过较短的时间或路程之后又返回至有效范围内,在其返回有效范围之前的较短时间内,采用第三位置作为该机器人的实时定位,也可以采用该第三位置代替第一位置。
在一些实施例中,里程信息还包括机器人的第一运动方向,当第一位置超出有效范围时,本发明的室内机器人的定位方法还包括:采用视觉定位方式获得机器人的第二运动方向,计算第一运动方向与第二运动方向之间的方向误差,当方向误差大于第二阈值时,判断机器人的状态为定位丢失状态。在这些实施例中,采用视觉定位方式对室内机器人的第二运动方向进行判断,若该第二运动方向与原来的第一运动方向之间具有较大的偏差,则判断机器人处于定位丢失状态。当机器人处于定位丢失状态时,根据本发明的定位方法,采用视觉定位方式获得机器人的第二位置,并根据第二位置和第一地图和第二地图的对应关系使机器人移动至激光定位方式的有效范围内。
图3是本发明一实施例的室内机器人的定位系统的示例性框图。该定位系统300可以用来执行前文所述的室内机器人的定位方法,因此,前文的说明内容和附图都可以用来说明该定位系统,相同的内容将不再展开。参考图3所示,该实施例的室内机器人的定位系统300包括里程计模块310、激光定位模块320和视觉定位模块330。其中,里程计模块310用于获得机器人的里程信息;激光定位模块320用于获得机器人所处环境的第一地图,以及获得机器人的第一位置;视觉定位模块330用于获得环境的第二地图,第二地图与第一地图具有对应关系,其中,当第一位置超出激光定位模块320的有效范围并且里程信息的累积误差大于第一阈值时,视觉定位模块330获得机器人的第二位置,并根据第二位置和对应关系使机器人移动至有效范围内。
激光定位模块320可用来执行步骤S110。具体地,激光定位模块320包括激光雷达,优选地,采用成本较低的30米有效范围的激光雷达。
在一些实施例中,当第一位置在有效范围内时,激光定位模块320还用于根据第一位置消除累积误差。
在一些实施例中,视觉定位模块330设置在云端。
在其他实施例中,视觉定位模块330设置在室内机器人的主体上。
图4是本发明一实施例的室内机器人的定位系统中的里程计模块的框图。参考图4所示,在一些实施例中,里程计模块400包括机械里程计单元410和视觉里程计单元420,视觉里程计单元420包括摄像头421和惯性测量单元422。里程信息包括由机械里程计单元410获得的机械里程信息和由视觉里程计单元420获得的视觉里程信息,累积误差包括机械里程信息的机械累积误差和视觉里程信息的视觉累积误差。
在一些实施例中,里程信息包括累积里程或累积时间。
在一些实施例中,当第一位置超出有效范围时,里程计模块400还用于根据航位推算获得机器人的第三位置。具体地,采用视觉里程计单元420执行航位推算。
在一些实施例中,里程信息还包括机器人的第一运动方向。结合图3所示,当第一位置超出激光定位模块320的有效范围时,视觉定位模块330还用于获得机器人的第二运动方向,并计算第一运动方向与第二运动方向之间的方向误差,进行方向验证。
本发明的室内机器人的定位系统可以使用有效范围较小的激光雷达作为激光定位模块320,降低硬件成本,结合视觉定位模块330,在云端执行视觉定位运算,在资源有限的情况下可以实现机器人的准确定位。并且,当机器人的激光定位丢失时,能够自主处理定位丢失的找回,适于在空旷或激光定位环境差的室内场景,避免现场改造和添加固定设备,方便有效。
图5是本发明一实施例的清洁机器人的结构示意图。该清洁机器人500包括本发明的室内机器人的定位系统,并且可执行前文所述的室内机器人的定位方法。因此,前文关于室内机器人的定位方法及定位系统的说明内容都可以用于说明本发明的清洁机器人500。
参考图5所示,该清洁机器人500包括本体510以及设置在本体510上的视觉传感器520、激光传感器530、惯性测量单元540和里程计单元550。具体地,视觉传感器520可以是摄像头,激光传感器530可以是激光雷达。里程计单元550包括设置在轮子上的机械里程计,通过编码器来记录轮子的转动刻度,从而获取机器人的里程信息。惯性测量单元540包括加速度计,用来测量机器人运动的加速度。
参考图5所示,该清洁机器人500还可以包括设置在本体510前端的连接杆511。视觉传感器520设置在连接杆511的上端,其位置可调,用来获得视觉信息。在一些实施例中,视觉传感器520与惯性测量单元540一起构成视觉里程计。激光传感器530设置在连接杆511上,用来获取机器人的激光定位。在清洁机器人500沿方向D前进时,视觉传感器520和激光传感器530可以实时获得清洁机器人500前方的环境信息。
图6是本发明一实施例的清洁机器人的视觉传感器和激光传感器的感测范围的示意图。参考图6所示,用一个圆形来表示清洁机器人500的本体510所处的范围,视觉传感器520在该本体510前端具有第一感测范围610,激光传感器530在该本体510前端具有第二感测范围620。显然,第二感测范围620大于第一感测范围610。两种传感器相互配合,相互辅助,使该清洁机器人可以适应空旷场景,以及缺少定位特征的场景,在定位丢失的情况下可以自主返回激光定位的有效范围内,可靠性高。
本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。例如,计算机可读介质可包括,但不限于,磁性存储设备(例如,硬盘、软盘、磁带……)、光盘(例如,压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如,卡、棒、键驱动器……)。
计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
虽然本申请已参照当前的具体实施例来描述,但是本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本申请,在没有脱离本申请精神的情况下还可作出各种等效的变化或替换,因此,只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的范围内。

Claims (16)

1.一种室内机器人的定位方法,其特征在于,包括:
采用激光定位方式获得所述机器人所处环境的第一地图以及所述机器人的第一位置;
采用视觉定位方式获得所述环境的第二地图;
建立所述第一地图和所述第二地图之间的对应关系;以及
当所述第一位置超出所述激光定位方式的有效范围并且所述机器人的里程信息的累积误差大于第一阈值时,采用所述视觉定位方式获得所述机器人的第二位置,并根据所述第二位置和所述对应关系使所述机器人移动至所述有效范围内,所述有效范围内具有激光定位特征,当所述机器人回到具有激光定位特征的所述有效范围内则可通过闭环检测消除里程计累积误差,从而完成定位恢复;
其中,所述里程信息包括由机械里程计单元获得的机械里程信息和由视觉里程计单元获得的视觉里程信息,所述累积误差包括所述机械里程信息的机械累积误差和所述视觉里程信息的视觉累积误差。
2.如权利要求1所述的定位方法,其特征在于,还包括:当所述第一位置在所述有效范围内时,根据所述第一位置消除所述累积误差。
3.如权利要求1所述的定位方法,其特征在于,还包括:当所述第一位置超出所述有效范围时,根据所述里程信息进行航位推算获得所述机器人的第三位置。
4.如权利要求1所述的定位方法,其特征在于,所述里程信息包括累积里程或累积时间。
5.如权利要求1所述的定位方法,其特征在于,所述里程信息还包括所述机器人的第一运动方向,当所述第一位置超出所述有效范围时,还包括:采用所述视觉定位方式获得所述机器人的第二运动方向,计算所述第一运动方向与所述第二运动方向之间的方向误差,当所述方向误差大于第二阈值时,判断所述机器人的状态为定位丢失状态。
6.如权利要求1所述的定位方法,其特征在于,建立所述第一地图和所述第二地图之间的对应关系的步骤包括:
获得所述第一地图中的多个激光定位子图;
获得所述第二地图中的多个视觉定位子图;
按照时间顺序建立每个所述激光定位子图和每个所述视觉定位子图的运算组;以及
在每个运算组中,获得所述机器人在所述激光定位子图中的激光定位位置和在所述视觉定位子图中的视觉定位位置,根据所述激光定位位置和所述视觉定位位置获得所述对应关系。
7.如权利要求1所述的定位方法,其特征在于,建立所述第一地图和所述第二地图之间的对应关系的步骤包括:
获得所述第一地图中的多个激光定位子图;
从所述多个激光定位子图中获得所述机器人的多个激光定位位置;以及
从所述第二地图中的多个视觉定位子图中选择特征视觉定位子图,在所述特征视觉定位子图中所述机器人的特征位置与所述多个激光定位位置相对应,根据所述激光定位位置和所述特征位置获得所述对应关系。
8.如权利要求1所述的定位方法,其特征在于,建立所述第一地图和所述第二地图之间的对应关系的步骤包括:
获得所述第一地图中的多个激光定位子图;
从所述多个激光定位子图中获得所述机器人的多个激光定位位置,每个所述激光定位位置对应于一个激光定位时刻;
获得所述第二地图中的多个视觉定位子图;
从所述多个视觉定位子图中获得所述机器人的多个视觉定位位置,每个所述视觉定位位置对应于一个视觉定位时刻;以及
根据所述激光定位位置和所述视觉定位位置获得第一对应关系,根据所述激光定位时刻和所述视觉定位时刻获得第二对应关系,所述对应关系包括所述第一对应关系和所述第二对应关系。
9.一种室内机器人的定位系统,其特征在于,包括:
里程计模块,用于获得机器人的里程信息,所述里程计模块包括机械里程计单元和视觉里程计单元,所述里程信息包括由所述机械里程计单元获得的机械里程信息和由所述视觉里程计单元获得的视觉里程信息;
激光定位模块,用于获得所述机器人所处环境的第一地图,以及获得所述机器人的第一位置;以及
视觉定位模块,用于获得所述环境的第二地图,所述第二地图与所述第一地图具有对应关系,其中,当所述第一位置超出所述激光定位模块的有效范围并且所述里程信息的累积误差大于第一阈值时,所述视觉定位模块获得所述机器人的第二位置,并根据所述第二位置和所述对应关系使所述机器人移动至所述有效范围内,所述累积误差包括所述机械里程信息的机械累积误差和所述视觉里程信息的视觉累积误差,所述有效范围内具有激光定位特征,当所述机器人回到具有激光定位特征的所述有效范围内则可通过闭环检测消除里程计累积误差,从而完成定位恢复。
10.如权利要求9所述的定位系统,其特征在于,当所述第一位置在所述有效范围内时,所述激光定位模块还用于根据所述第一位置消除所述累积误差。
11.如权利要求9所述的定位系统,其特征在于,当所述第一位置超出所述有效范围时,所述里程计模块还用于根据航位推算获得所述机器人的第三位置。
12.如权利要求9所述的定位系统,其特征在于,所述视觉里程计单元包括摄像头和惯性测量单元。
13.如权利要求9所述的定位系统,其特征在于,所述里程信息包括累积里程或累积时间。
14.如权利要求9所述的定位系统,其特征在于,所述里程信息还包括所述机器人的第一运动方向,当所述第一位置超出所述激光定位模块的有效范围时,所述视觉定位模块还用于获得所述机器人的第二运动方向,并计算所述第一运动方向与所述第二运动方向之间的方向误差。
15.如权利要求9所述的定位系统,其特征在于,所述视觉定位模块设置在云端。
16.一种清洁机器人,其特征在于,包括如权利要求9-15任一项所述的定位系统。
CN202110814127.7A 2021-07-19 2021-07-19 室内机器人的定位方法、系统及清洁机器人 Active CN113777615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110814127.7A CN113777615B (zh) 2021-07-19 2021-07-19 室内机器人的定位方法、系统及清洁机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110814127.7A CN113777615B (zh) 2021-07-19 2021-07-19 室内机器人的定位方法、系统及清洁机器人

Publications (2)

Publication Number Publication Date
CN113777615A CN113777615A (zh) 2021-12-10
CN113777615B true CN113777615B (zh) 2024-03-29

Family

ID=78836007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110814127.7A Active CN113777615B (zh) 2021-07-19 2021-07-19 室内机器人的定位方法、系统及清洁机器人

Country Status (1)

Country Link
CN (1) CN113777615B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107356252A (zh) * 2017-06-02 2017-11-17 青岛克路德机器人有限公司 一种融合视觉里程计与物理里程计的室内机器人定位方法
CN107478214A (zh) * 2017-07-24 2017-12-15 杨华军 一种基于多传感器融合的室内定位方法及系统
CN108253963A (zh) * 2017-12-20 2018-07-06 广西师范大学 一种基于多传感器融合的机器人自抗扰定位方法以及定位系统
WO2019140745A1 (zh) * 2018-01-16 2019-07-25 广东省智能制造研究所 机器人定位方法及装置
CN110648353A (zh) * 2019-08-30 2020-01-03 北京影谱科技股份有限公司 一种基于单目传感器的机器人室内定位方法和装置
CN110673608A (zh) * 2019-09-26 2020-01-10 福建首松智能科技有限公司 一种机器人导航方法
CN111521195A (zh) * 2020-04-10 2020-08-11 广州铁路职业技术学院(广州铁路机械学校) 一种智能机器人
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN111780744A (zh) * 2020-06-24 2020-10-16 浙江大华技术股份有限公司 移动机器人混合导航方法、设备及存储装置
CN112258600A (zh) * 2020-10-19 2021-01-22 浙江大学 一种基于视觉与激光雷达的同时定位与地图构建方法
CN112284403A (zh) * 2020-12-28 2021-01-29 深兰人工智能芯片研究院(江苏)有限公司 定位方法、装置、电子设备和存储介质
CN112985416A (zh) * 2021-04-19 2021-06-18 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统
CN113108773A (zh) * 2021-04-22 2021-07-13 哈尔滨理工大学 一种融合激光与视觉传感器的栅格地图构建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145478B2 (en) * 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
JP4788722B2 (ja) * 2008-02-26 2011-10-05 トヨタ自動車株式会社 自律移動ロボット、自己位置推定方法、環境地図の生成方法、環境地図の生成装置、及び環境地図のデータ構造
US9020637B2 (en) * 2012-11-02 2015-04-28 Irobot Corporation Simultaneous localization and mapping for a mobile robot
KR102243179B1 (ko) * 2019-03-27 2021-04-21 엘지전자 주식회사 이동 로봇 및 그 제어방법
WO2020241930A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107356252A (zh) * 2017-06-02 2017-11-17 青岛克路德机器人有限公司 一种融合视觉里程计与物理里程计的室内机器人定位方法
CN107478214A (zh) * 2017-07-24 2017-12-15 杨华军 一种基于多传感器融合的室内定位方法及系统
CN108253963A (zh) * 2017-12-20 2018-07-06 广西师范大学 一种基于多传感器融合的机器人自抗扰定位方法以及定位系统
WO2019140745A1 (zh) * 2018-01-16 2019-07-25 广东省智能制造研究所 机器人定位方法及装置
CN110648353A (zh) * 2019-08-30 2020-01-03 北京影谱科技股份有限公司 一种基于单目传感器的机器人室内定位方法和装置
CN110673608A (zh) * 2019-09-26 2020-01-10 福建首松智能科技有限公司 一种机器人导航方法
CN111521195A (zh) * 2020-04-10 2020-08-11 广州铁路职业技术学院(广州铁路机械学校) 一种智能机器人
CN111780744A (zh) * 2020-06-24 2020-10-16 浙江大华技术股份有限公司 移动机器人混合导航方法、设备及存储装置
CN111735446A (zh) * 2020-07-09 2020-10-02 上海思岚科技有限公司 一种激光、视觉定位融合的方法及设备
CN112258600A (zh) * 2020-10-19 2021-01-22 浙江大学 一种基于视觉与激光雷达的同时定位与地图构建方法
CN112284403A (zh) * 2020-12-28 2021-01-29 深兰人工智能芯片研究院(江苏)有限公司 定位方法、装置、电子设备和存储介质
CN112985416A (zh) * 2021-04-19 2021-06-18 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统
CN113108773A (zh) * 2021-04-22 2021-07-13 哈尔滨理工大学 一种融合激光与视觉传感器的栅格地图构建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Improved Omnidirectional Odometry for a View-Based Mapping Approach;David Valiente;Sensors;20170209;全文 *
一种融合视觉与激光的定位方法研究;杜万和;科技创新导报;20181231(第27期);全文 *
基于XTION的机器人室内三维地图实时创建;李建勇;刘雪梅;刘雄;;机械与电子;20170424(第04期);全文 *
基于二维码视觉与激光雷达融合的高精度定位算法;栾佳宁 等;计算机应用;20210510;第41卷(第5期);全文 *

Also Published As

Publication number Publication date
CN113777615A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
EP3407294B1 (en) Information processing method, device, and terminal
CN109270545B (zh) 一种定位真值校验方法、装置、设备及存储介质
CN110889808B (zh) 一种定位的方法、装置、设备及存储介质
CN103424112B (zh) 一种基于激光平面辅助的运动载体视觉导航方法
CN110673115A (zh) 雷达与组合导航系统的联合标定方法、装置、设备及介质
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
CN109282808B (zh) 用于桥梁三维巡航检测的无人机与多传感器融合定位方法
CN112967392A (zh) 一种基于多传感器触合的大规模园区建图定位方法
KR102075844B1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
US20210200246A1 (en) Method and system for determining the position of a moving object
CN112455502B (zh) 基于激光雷达的列车定位方法及装置
Javanmardi et al. Autonomous vehicle self-localization based on multilayer 2D vector map and multi-channel LiDAR
JP2016080460A (ja) 移動体
CN112068152A (zh) 使用3d扫描仪同时进行2d定位和2d地图创建的方法和系统
CN115790571A (zh) 基于异构无人系统相互观测的同时定位与地图构建方法
CN114459467B (zh) 一种未知救援环境中基于vi-slam的目标定位方法
EP3088983B1 (en) Moving object controller and program
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
US11561553B1 (en) System and method of providing a multi-modal localization for an object
CN117308982A (zh) 一种核电站水下清洁机器人的定位方法及装置
CN115562076B (zh) 用于无人驾驶矿车的仿真系统、方法以及存储介质
CN113777615B (zh) 室内机器人的定位方法、系统及清洁机器人
Nie et al. A survey of extrinsic parameters calibration techniques for autonomous devices
EP3894788A1 (en) Method and system for generating an environment model for positioning
Zheng et al. Integrated navigation system with monocular vision and LIDAR for indoor UAVs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant