CN111693046A - 机器人系统和机器人导航地图建图系统及方法 - Google Patents
机器人系统和机器人导航地图建图系统及方法 Download PDFInfo
- Publication number
- CN111693046A CN111693046A CN201910196698.1A CN201910196698A CN111693046A CN 111693046 A CN111693046 A CN 111693046A CN 201910196698 A CN201910196698 A CN 201910196698A CN 111693046 A CN111693046 A CN 111693046A
- Authority
- CN
- China
- Prior art keywords
- robot
- mapping
- features
- working
- acquisition module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
Abstract
本申请公开了机器人系统和机器人导航地图建图系统及方法。本申请的机器人系统包含有建图机器人和导航机器人。建图机器人和导航机器人可以同时在同一工作区域内工作并由机器人管理系统来协调管理。本申请的导航地图在首次建图时,地面上设有可移除的标记物。在完成首次建图后,该可移除标记物被移除。本申请的建图系统中,可以随时获得工作区域的地面纹路特征,并根据所获得的地面纹路特征来决定是否更新导航地图。
Description
技术领域
本发明涉及机器人,具体涉及机器人的导航系统及方法。
背景技术
目前工业中应用的传统机器人的导航和定位方式,有电磁、磁条、二维码导航,以及激光导航等几类。电磁导航在AGV的行驶路径上埋设金属线,并在金属线上加载导引频率,通过对导引频率的识别来实现AGV的导航。磁条导航以在地面上贴磁条代替在地下埋线的方式,使用磁带感应信号实现导航。二维码导航,通过在路径上间隔一定距离铺设二维码的方式,通过比对二维码在摄像头下的位置推算并纠正AGV自身的位姿。激光导航基于激光雷达,对周围环境进行环扫并采集反射光的信息,从而判断自己在场景中的位置。
本发明的发明人发现,现有技术中,电磁导航技术和磁条导航技术对地面进行大幅度改造,电磁导航技术甚至需要预先埋设磁钉,工业可应用场景狭窄。此外,这两种技术几乎不存在人机交互,在避障、改变预设路径等方面实现成本极高,同时这两种技术无法在单场景实现密集运行和多机并联。而二维码导航技术虽然解决了地面铺设成本高的问题,但是在很多场景下,不允许出现地面标识物(如医疗场景)。此外,在多机型混用场景中,二维码易出现损毁、脏污,导致二维码无法识别或者识别错误,需要很高的人力维护成本。
激光导航目前大规模依赖于反光板,对周围环境及光照条件有一定要求,且在动态环境下适应能力极差,只能用于室内简单场景,不能适应多货物、多机器的复杂环境。此外,激光导航成本极高,且短期内没有下降成本的可能。传统的视觉导航存在识别精度低,需要环境特征强,运行速度慢等特点。
发明内容
本发明的目的是提供一种机器人系统、机器人导航地图建图系统及建图方法,其可用于大面积场景,无需铺设永久的定位标识物。
为实现上述目的,本发明提供了一种机器人导航地图建图方法,该方法中,预先设置一运动路径,所述运动路径上设置多个可移除标记物,建图机器人位于所述运动路径上,所述建图方法包括步骤:
在所述建图机器人沿着所述运动路径行进时,通过所述建图机器人的特征采集模块记录沿途的特征,并在运动到所述可移除标记物时获得对所述建图机器人的位姿进行校准的信息以进行校准;以及
对所述特征采集模块所记录的特征及对应位姿信息进行处理或将所述特征采集模块所记录的特征及对应位姿信息发送至服务器进行处理,以获得导航地图。
一实施例中,所述建图方法进一步包括步骤:对所述建图机器人的特征采集模块的坐标原点与所述运动路径的坐标原点进行标定。特征采集模块会将传感器所采集到的特征建立到自身的坐标系中。
一实施例中,在获得所述导航地图之后,所述可移除标记物被移除。
一实施例中,所述建图方法进一步包括在获得所述导航地图之后,使得所述建图机器人继续通过所述特征采集模块记录沿途的特征,以及将新记录到的所述特征及对应位姿信息更新至所述导航地图或将新记录到的所述特征及对应位姿信息发送至服务器以更新所述导航地图。
一实施例中,所述可移除标记物包含有可识别的参照位姿信息。
一实施例中,所述可移除标记物是人工可识别的标记物,所述人工可识别的标记物对应于参照位姿信息。
一实施例中,所述特征采集模块是摄像头,通过所述建图机器人的摄像头拍摄沿途的地面纹路特征。
一实施例中,所述特征采集模块包括多个摄像头和/或激光传感器,通过所述多个摄像头和/或激光传感器记录沿途的特征。
本申请进一步提供一种机器可读介质,该机器可读介质上存储有指令,该指令在机器上执行时使机器执行上述机器人导航地图建图方法。
本申请进一步提供一种系统,该系统包括存储器,用于存储由系统的一个或多个处理器执行的指令;以及处理器,是系统的处理器之一,用于执行上述机器人导航地图建图方法。
本申请进一步提供了一种机器人导航地图建图系统,所述建图系统包括:
可移除标记物,所述可移除标记物布置于一运动路径中;
特征采集模块,所述特征采集模块配置成在建图机器人沿所述运动路径行进时记录沿途的特征,并且在所述建图机器人到达所述可移除标记物所在位置时获得对所述建图机器人的位姿进行校准的信息以进行校准;以及
特征处理模块,所述特征处理模块配置成对所述特征采集模块所记录的特征及对应位姿信息进行处理或将所述特征采集模块所记录的特征及对应位姿信息发送至服务器进行处理,以获得导航地图。
一实施例中,所述可移除标记物包含有可识别的参照位姿信息。
一实施例中,所述可移除标记物是人工可识别的可移除标记物,所述人工可识别的标记物对应于参照位姿信息。
一实施例中,所述运动路径由多条直线路径组成。
一实施例中,所述特征采集模块为设置于所述建图机器人上的多个摄像头和/或激光传感器。
一实施例中,所述特征采集模块为设置于所述建图机器人上的摄像头,所述摄像头配置成记录沿途的地面纹路特征。
本申请进一步提供了一种机器人系统,所述机器人系统包括建图机器人、工作机器人和机器人管理系统;
所述建图机器人包括:
特征采集模块,所述特征采集模块配置成在所述建图机器人沿一运动路径行进时记录沿途的特征;以及
特征处理模块,所述特征处理模块配置成将所述特征采集模块所记录的特征及对应位姿信息发送至所述机器人管理系统进行处理;
所述机器人管理系统配置成接收和处理来自所述建图机器人所记录的特征及对应位姿信息,以获得或者更新导航地图;以及
所述工作机器人配置成从所述机器人管理系统获得所述导航地图以进行定位。
一实施例中,所述运动路径上布置有可移除标记物,所述特征采集模块还配置成在所述建图机器人到达所述可移除标记物所在位置时获得对所述建图机器人的位姿进行校准的信息以进行校准。
一实施例中,所述可移除标记物包含有可识别的参照位姿信息。
一实施例中,所述可移除标记物是人工可识别的标记物,所述人工可识别的标记物对应于参照位姿信息。
一实施例中,所述工作机器人配置成在运行时将记录的特征与所述导航地图中的特征进行比对,以获得所述工作机器人的当前位姿信息。
一实施例中,所述工作机器人配置成在确认所记录的特征无法与导航地图中的特征匹配时,向所述机器人管理系统发出需要建图的指令。
一实施例中,所述机器人管理系统配置成在从所述工作机器人接收到需要建图的指令时,指示所述建图机器人沿所述工作机器人附近的局部所述运动路径记录沿途的特征以更新所述导航地图。
一实施例中,所述特征采集模块配置成记录所述运动路径沿途的地面纹路特征。
一实施例中,所述特征采集模块包括多个摄像头和/或激光传感器以记录沿途的特征。
一实施例中,所述机器人系统包括由所述机器人管理系统协同控制的多台建图机器人和/或多台工作机器人。
一实施例中,所述工作机器人是搬运机器人。
本发明还提供了一种机器人系统,所述机器人系统包括工作机器人和机器人管理系统;
所述工作机器人包括:
转换模块,所述转换模块配置成在第一预定条件下将所述工作机器人从工作模式切换到建图模式;
信息采集模块,所述信息采集模块配置成在所述建图模式下所述工作机器人沿一运动路径行进时记录沿途的特征;以及
信息处理模块,所述信息处理模块配置成在所述建图模式下将所述信息采集模块所记录的特征及对应位姿信息发送至所述机器人管理系统进行处理,并在所述工作模式下从所述机器人管理系统获得导航地图以进行定位;
所述机器人管理系统配置成接收和处理来自所述工作机器人所记录的特征及对应位姿信息,以获得或者更新所述导航地图。
一实施例中,所述信息采集模块配置成在所述工作模式下记录沿途的特征,所述信息处理模块配置成将所述信息采集模块在所述工作模式下所记录的特征与所述导航地图中的特征进行比对,以获得所述工作机器人的当前位姿信息;
所述第一预定条件包括所述信息处理模块在所述工作模式下确认所述信息采集模块所记录的特征与所述导航地图中的特征无法匹配。
一实施例中,所述工作机器人在建图模式下沿所述工作机器人附近的局部所述运动路径记录沿途的特征以对局部所述导航地图进行更新。
一实施例中,所述转换模块配置成在完成所述导航地图更新之后,将所述工作机器人切换至所述工作模式。
一实施例中,所述机器人系统进一步包括建图机器人,
所述建图机器人包括:
特征采集模块,所述特征采集模块配置成在所述建图机器人沿所述运动路径行进时记录沿途的特征;以及
特征处理模块,所述特征处理模块配置成将所述特征采集模块所记录的特征及对应位姿信息发送至所述机器人管理系统进行处理;
所述机器人管理系统进一步配置成也接收和处理来自所述建图机器人所记录的特征及对应位姿信息,以获得或者更新所述导航地图。
一实施例中,所述机器人管理系统在第二预定条件下指示所述建图机器人代替部分或所有所述工作机器人执行所述建图模式的任务。
本申请的机器人系统是一种基于摄像头的集群机器人系统,其依靠视觉特征实现定位。相比于现有集群机器人定位系统,具有无需铺设定位标识物、可用于大面积场景、机器人容纳密度高、机器人运行速度快、定位精度高、地图更新过程人工介入少等优点。
附图说明
图1是本申请的一实施例的首次建图时的机器人导航地图建图系统的系统组成示意图。
图2是本申请的一实施例的更新地图时的机器人导航地图建图系统的系统组成示意图。
图3是本申请的一实施例的机器人导航地图建图方法的流程图。
图4是本申请的一实施例的机器人系统的系统组成示意图。
具体实施方式
以下将结合附图对本发明的各实施例进行详细说明,以便更清楚理解本发明的目的、特点和优点。应理解的,附图所示的实施例并不是对本发明范围的限制,而只是为了说明本发明技术方案的实质精神。
在下文的描述中,出于说明各种公开的实施例的目的阐述了某些具体细节以提供对各种公开实施例的透彻理解。但是,相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下,与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。
除非语境有其它需要,在整个说明书和权利要求中,词语“包括”和其变型,诸如“包含”和“具有”应被理解为开放的、包含的含义,即应解释为“包括,但不限于”。
在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此,在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现无需全都指相同实施例。另外,特定特点、结构或特征可在一个或多个实施例中以任何方式组合。
如该说明书和所附权利要求中所用的单数形式“一”和“所述”包括复数指代物,除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“和/或”的含义使用,除非文中清楚地另外规定。
在以下描述中,为了清楚展示本发明的结构及工作方式,将借助诸多方向性词语进行描述,但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“上”、“下”等词语理解为方便用语,而不应当理解为限定性词语。
本申请的导航地图建图系统目的是形成一个使得机器人能够在一块区域内进行导航的导航地图。该区域可以是室外区域,也可以是室内的不能接收到GPS等定位信号的区域。本系统采用地面纹路特征识别的方式,照亮摄像头拍摄的地面,通过摄像头拍摄的图像,并对图像进行处理,识别目前的位置及姿态。这里,地面纹路特征指的是地面上的任何特征,例如裂纹、线条、凸起、凹部以及可能的在地面上的物体。这里,图像可以是一副一副的照片,也可以是视频中的帧。这里,建图使用单独的建图机器人来完成。在首次建图过程中,在环境中布置若干可移除标记物,用以在机器人运行一定距离后对机器人的位置进行纠正,以及告知机器人在地图中所处的位置坐标。该可移除标记物包含有可识别的参照位姿信息或对应于参照位姿信息。该参照位姿信息指的是可供机器人进行位姿校准时参照的相对或绝对的位置信息和姿态信息。
在首次建图完成后,对标记物进行移除。之后,建图机器人可以在首次建立的导航地图的基础上,沿导航路径前进,并进一步拍摄地面纹路特征的图像,然后对图像进行处理,以更新导航地图。本申请的导航利用地面纹理识别技术,通过地面纹理识别进行特征点匹配、多机器人地图数据云共享的技术以及机器人调度系统,可以根据每个机器人返还的位置信息,调度数千台机器人在同一系统,同一场景下进行密集协同作业。
如图1所示,导航地图建图系统包括建图机器人1。建图机器人1可以是一台或多台。建图机器人1可沿着设定的运动路径2行进,可以通过半自动(例如通过远程遥控)或人工的方式进行。在已获得粗略的初步导航地图的情况下,建图机器人1也可以沿着设定的运动路径2自动行进,以获得更精细的导航地图。这里,运动路径2是指机器人可以行进的区域。图1至图4示例性地示出了该运动路径2的一种路线,即建图机器人沿运动路径2的行进方式,然而本领域技术人员应当理解,可以根据实际需要设置其他形式的路线,只要能够构建导航地图即可。建图机器人1自带IMU(Inertial measurement unit;惯性检测模块),可以进行局部小区域高精度直线行走。建图机器人1设有摄像头,用于拍摄运动路径中的地面纹路特征。摄像头优选的是高速摄像头,其可提供机器人高速运行时的高帧率,高分辨率图像,实现对图像的近似实时处理与反馈机制,从而确保建图能够在建图机器人较高运行速度的前提下实施。由于地纹相对于二维码更耐磨损,保证了较长时间的运行。
在一个实施例中,建图机器人1的摄像头可以拍摄除地面外的场景图像并记录场景特征,或者建图机器人1可以通过其他特征采集模块记录运动路径中沿途的其他特征,例如通过激光传感器来获得场景特征等。在另一个实施例中,建图机器人1可以包括多个摄像头和/或激光传感器,从而能够获取多种类型的特征信息来配合建图。在一个实施例中,建图机器人1可设有补光装置,在光线较差的环境中,可进行补光,由此提高成像质量。
建图机器人1可设有通信模块,以将所拍摄到的图像和/或所记录的特征传输到外部的处理设备,外部的处理设备例如是控制一个或多个建图机器人和工作机器人的机器人管理系统4。该机器人管理系统4可以作为导航地图建图系统的一部分。机器人管理系统4配置成接收和处理来自建图机器人的摄像头拍摄的图像或从所拍摄图像中提取的特征信息,和/或其他特征采集模块所记录的特征信息及对应位姿信息,以获得导航地图。这里,位姿信息指的是位置信息和姿态信息。可以理解,对应位姿信息可以由建图机器人自身配备的测量设备获得,鉴于其为本领域技术人员所熟知,在此不再赘述。应理解的是,如果仅仅是实现建图,图像和/或特征的处理也可以通过建图机器人自身携带的特征处理模块来进行,由此仅通过建图机器人自身也可实现导航地图的建立。
如图1所示,在某些实施例中,导航地图建图系统可以包括分布于运动路径2上的可移除标记物3。由图1可以看到,可移除标记物3可以均匀布置于一路径段上,也可以非均匀布置于一路径段上,可根据场所情况或需要进行设置。例如在精度要求较高的位置(需要精确转弯的地点)处,布置相对较多的可移除标记物以提高精度。在一实施例中,该可移除标记物3包含有可读取的坐标位置信息及姿态信息。由此,建图机器人1在识别到该可移除标记物时,可读取其信息作为参照位姿信息,来对建图机器人的位姿进行纠正。在该实施例中,该可移除标记物可以是QR码或其他自定义的图形码。在另一个实施例中,该可移除标记物是人工可识别的可移除标记物,该人工可识别的标记物对应于参照位姿信息。由此,当建图机器人1获取该人工可识别的标记物后,可以由人工在后台进行操作,例如可以通过机器人管理系统4或直接通过建图机器人1上的显示屏等,以对建图机器人1的位姿进行纠正,便于人工复核建图效果、调整建图参数。应理解的是,人工可识别的标记物可以是预先设定的能够指示地面坐标方向或场景方位并对应于相对位置信息或绝对位置信息的任何形式。在另一个实施例中,可以将多种类型的可移除标记物布置于运动路径上以配合用于对建图机器人的位姿进行纠正。然后,建图机器人2将纠正后的位姿信息传输给服务器进行处理,例如上述机器人管理系统4,或由自身携带的特征处理模块来处理。
该可移除标记物在首次建图完成后可移除。在首次建图之后,建图机器人继续沿已移除标记物的运行路径进行行进,以完善或者更新导航地图,如图2所示。通过设置可移除标记物可以临时增强环境特征,提高首次建图准确性,并在首次建图完成后移除,从而适应不允许出现标记物的各类场景。在某些实施例中,如果场景中可以允许保留标记物,在首次建图完成后也可以不移除上述可移除标记物。
实际工作中,建图是持续的工作,可以根据需要持续进行。这是因为,地面纹理在工业环境中并非完全不变,随时间地面纹路会产生改变,或由于重型机械协同作业,经过碾压,已建好的地面纹路图样同样会发生显著的改变。与地面纹理类似,其他特征也会随时间因为场景调整而发生变化。此时需要建图机器人进行重复建图,将新的地纹特征和/或其他特征上传至系统服务器中。因此,建图机器人需要对工作路径进行定期巡逻,以检测路径中的地面纹路和/或其他特征是否因为时间或外力不同或完全改变了。而工作机器人在发现有无法匹配的导航地图中的特征图样时,也同样会向系统发出请求,呼叫建图机器人对地面特征和/或其他特征进行重新判断、存入和更新。因此保证了在复杂环境中,该导航地图的稳定性和精度。应理解的是,建图机器人在更新导航地图时,也可以不沿原先的运动路径走,可以根据工作机器人的工作情况对建图机器人的运动路径重新进行设置,从而在保证导航地图的稳定性和精度的同时不影响工作机器人的正常工作。
上述的导航地图更新采用SLAM技术(Simultaneous Localization And Mapping;实时定位与地图重建技术)。该技术实现判定当前位置拍摄的图像和/或所记录的特征与预先建立的地图库中数据的特征点匹配关系,从而确定当前位置在标定地图中的具体准确坐标位置。同时,获取的新数据可以持续地更新到原有地图库中,实现地图库数据的动态优化。上述的导航地图更新还采用了地图数据云共享技术。机器人通过上述SLAM技术获取和更新地图数据之后,通过自身携带的通讯设备上传到地图数据管理中心。管理中心优化地图数据之后共享到当前系统内所有设备上,以保证系统内所有设备地图数据的实时更新,提高整体地图数据的稳定性和有效性。
根据一个实施例,上述的导航地图建图系统在建图时,如图3所示,首先在所要建立导航地图的区域中设置一运动路径,该运动路径可以是直线或者曲线。在运动路径中设置多个可移除标记物。标记物可以是QR码或人工可识别的标记物。然后,将建图机器人放置运动路径上。确定区域X、Y坐标方向,以及机器人运行地图原点。将标定机器人中心于坐标原点,原点位于主摄像机视野中。打开建图机器人的摄像头,令所述建图机器人沿着所述运动路径前进,通过所述摄像头记录沿途的地面纹路特征和/或通过其他特征采集模块记录其他特征,并在运动到各所述可移除标记物时对所述建图机器人的位置进行校准。对建图机器人的坐标位置信息以及摄像头所拍摄到的图像和/或其他特征采集模块所记录的特征进行处理,获得初次导航地图。在获得初次导航地图之后,将可移除标记物移除。可移除标记物移除之后,使得建图机器人继续沿所述运动路径前进,并通过所述摄像头记录沿途的地面纹路特征和/或通过其他特征采集模块记录其他特征,以及将新拍摄到的地面纹路特征和/或新记录的特征更新至导航地图。由此,完成导航地图的更新。在进行图像和/或特征处理时,可以将摄像头所拍摄到的图像和/或其他特征采集模块所记录的特征上传至远程的机器人管理系统,并在机器人管理系统进行处理,以获得导航地图。
本申请的各方法实施例均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可移除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
图4示出由上述的建图机器人和工作机器人组成的机器人系统的系统组成示意图。如图4所示,机器人系统包括建图机器人1,工作机器人5和机器人管理系统4。机器人管理系统4协同控制多台建图机器人1和/或多台工作机器人5。建图机器人1和工作机器人5可以在同一工作区域内同时工作。在工作时,建图机器人收到建图指令后,运动至需要建图的位置。然后建图机器人沿一运动路径运动,其上的摄像头能够拍摄运动路径中的地面纹路特征和/或通过其他特征采集模块记录特征。建图机器人的特征处理模块实时将所拍摄到的图像和/或记录到的特征传输至机器人管理系统。机器人管理系统对图像和/或特征进行处理后,如必要,则更新原有的导航地图。机器人管理系统4与工作机器人5通信连接,并将更新后的导航地图实时传输给工作机器人,从而工作机器人能够根据更新后的导航地图进行定位。
工作机器人一般用于在仓库等场合进行货物搬运。工作机器人5存储有导航地图并设有摄像头或其他信息采集模块。工作机器人能够将该摄像头拍摄到的图像和/或其他信息采集模块所记录的特征与导航地图中存储的图像和/或特征进行比对,获得工作机器人的坐标位置信息,以进行导航。具体地,工作机器人布置成将其摄像头拍摄到的图像和/或其他信息采集模块所记录的特征与导航地图中存储的附近位置图像和/或特征进行比对,获得所述工作机器人当前位置相对于具有坐标位置信息的特征位置的位移及旋转角度,并然后在导航地图中定位工作机器人的坐标位置信息,从而实现导航。
一实施例中,工作机器人的基本工作流程包括:
1.工作机器人接收诸如货物搬运等任务,运动到出发原点或任意路径中的特定坐标点;
2.读取系统中建好的导航地图,大致定位其所处的位置;
3.打开工作机器人的摄像头,将工作机器人的摄像头视野中图像(即所拍摄到的图像)与导航地图中附近位置的图像进行特征点比对;
4.匹配出目前位置相对于特征位置的位移及旋转角度;
5.在已经建好的导航地图上定位工作机器人的精确位置。
进一步地,如果工作机器人识别到地面纹路和/或其他特征与所存储的已建好地图不匹配,则向机器人管理系统发出需要建图指令,必要时绕道避开该不匹配的区域,然后等待传输新的建图信息,等收到新的建图信息后再继续工作。应理解的是,此处的特征不匹配是指一定比例的不匹配,可以根据需要进行比例设置。一实施例中,当局部区域不匹配时,工作机器人可以先处理其他区域的工作,等该局部区域的地图更新后再进行该局部区域的工作。
一实施例中,机器人管理系统接收到建图指令后,根据建图机器人的电量、离该区域的远近等调度相关建图机器人移至该区域,以及时对局部的该区域进行导航地图更新,从而确保稳定性和精度。在某些实施例中,可以根据工作机器人的先前位姿信息来确定该不匹配的区域,例如以工作机器人的先前位姿信息为基础向周围延伸。在某些实施例中,可以事先对仓库划分区块,并根据工作机器人的先前位姿信息确认工作机器人所在的区块,并将该区块和/或相邻区块作为不匹配的区域。在其他实施例中,也可以采用其他方式确定不匹配的区域,只要能将工作机器人识别到的不匹配处进行导航地图更新即可。另一实施例中,当在短时间内超过预定数量的工作机器人向机器人管理系统发出需要建图指令时,则意味着环境发生了较大的变化,机器人管理系统指示建图机器人对整个区域进行导航地图更新,以确保整个系统的有效运作。在其他实施例中,机器人管理系统在接收到建图指令后,也可以根据实际情况指示建图机器人进行其他操作,以确保导航地图的有效性。通过设置专门的建图机器人,可以对其设置数量更多、配置更高的传感器,从而在控制成本的同时增加建图精度。
一实施例中,工作机器人本身具备建图功能。在该情况下,首次建图既可以由建图机器人执行,也可以由工作机器人执行,或同时由建图机器人和工作机器人执行。工作机器人具有工作模式和建图模式,两种模式可以相互切换。具体来说,工作机器人具有转换模块,该转换模块设置成在第一预定条件下控制工作机器人在工作模式与建图模式之间切换。工作机器人在建图模式下,可通过信息采集模块对局部运动路径的特征进行记录,并通过信息处理模块将所记录的特征传输给所述机器人管理系统,从而在工作模式下识别到所记录的特征与导航地图中的特征无法匹配(即第一预定条件)时即切换为建图模式对局部路径进行重新建图,以及时更新导航地图。工作机器人在完成导航地图的更新之后,切换至工作模式。在其他实施例中,也可以设置工作机器人在其他第一预定条件下转换为建图模式进行建图,例如在工作机器人空闲状态时,或是需要一定数量的工作机器人处于建图模式下以对大范围的区域进行更新,以及其他需要建图的情况等等。
在某些实施例中,机器人管理系统在第二预定条件下指示建图机器人执行部分或所有工作机器人的建图模式的任务。一实施例中,当工作机器人在短时间内切换至建图模式超过预定次数时,机器人管理系统指示建图机器人替代该工作机器人进行导航地图更新,该工作机器人在一预定时间段内保持工作模式,不切换至建图模式。另一实施例中,当超过预定数量的工作机器人处于建图模式,机器人管理系统指示建图机器人替代部分或所有工作机器人进行导航地图更新,以确保一定数量的工作机器人处于工作模式。另一实施例中,当工作机器人的工作任务繁重时,机器人管理系统指示建图机器人替代该工作机器人进行导航地图更新。在其他实施例中,也可以在其他情况下由建图机器人替代工作机器人执行建图模式的任务。
在工作机器人具有工作模式和建图模式的情况下,可以在整个机器人系统中通过合理设置第一预定条件和第二预定条件,以动态平衡工作和地图数据的有效性。
上述机器人系统中,所有机器人均纳入RMS(Robot Manage System;机器人管理系统)当中,可以由无线网络信号进行远程控制。本申请利用多机器人地图数据云共享,不仅可用于地面纹路识别,还可用于例如激光导航等其他导航方式中。本申请的机器人系统的建图机器人和工作机器人任务分离,可以在不影响工作的情况下,以较短的时间间隔或较小的地图环境变化标准来对地图进行更新,由此可降低人工工作量(例如减小人工对地图进行重新标定的频次)。
需要说明的是,本申请各系统实施例中提到的各单元和/或模块都是逻辑单元和/或模块,在物理上,一个逻辑单元和/或模块可以是一个物理单元和/或模块,也可以是一个物理单元和/或模块的一部分,还可以以多个物理单元和/或模块的组合实现,这些逻辑单元和/或模块本身的物理实现方式并不是最重要的,这些逻辑单元和/或模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各系统实施例并没有将与解决本发明所提出的技术问题关系不太密切的单元和/或模块引入,这并不表明上述系统实施例并不存在其它的单元和/或模块。
以上已详细描述了本发明的较佳实施例,但应理解到,若需要,能修改实施例的方面来采用各种专利、申请和出版物的方面、特征和构思来提供另外的实施例。
考虑到上文的详细描述,能对实施例做出这些和其它变化。一般而言,在权利要求中,所用的术语不应被认为限制在说明书和权利要求中公开的具体实施例,而是应被理解为包括所有可能的实施例连同这些权利要求所享有的全部等同范围。
Claims (10)
1.一种机器人导航地图建图方法,其特征在于,预先设置一运动路径,所述运动路径上设置多个可移除标记物,建图机器人位于所述运动路径上,所述建图方法包括步骤:
在所述建图机器人沿着所述运动路径行进时,通过所述建图机器人的特征采集模块记录沿途的特征,并在运动到所述可移除标记物时获得对所述建图机器人的位姿进行校准的信息以进行校准;以及
对所述特征采集模块所记录的特征及对应位姿信息进行处理或将所述特征采集模块所记录的特征及对应位姿信息发送至服务器进行处理,以获得导航地图。
2.根据权利要求1所述的机器人导航地图建图方法,其特征在于,所述建图方法进一步包括步骤:对所述建图机器人的特征采集模块的坐标原点与所述运动路径的坐标原点进行标定。
3.根据权利要求1所述的机器人导航地图建图方法,其特征在于,在获得所述导航地图之后,所述可移除标记物被移除。
4.根据权利要求1所述的机器人导航地图建图方法,其特征在于,所述建图方法进一步包括在获得所述导航地图之后,使得所述建图机器人继续通过所述特征采集模块记录沿途的特征,以及将新记录到的所述特征及对应位姿信息更新至所述导航地图或将新记录到的所述特征及对应位姿信息发送至服务器以更新所述导航地图。
一实施例中,所述可移除标记物包含有可识别的参照位姿信息。
一实施例中,所述可移除标记物是人工可识别的标记物,所述人工可识别的标记物对应于参照位姿信息。
一实施例中,所述特征采集模块是摄像头,通过所述建图机器人的摄像头拍摄沿途的地面纹路特征。
一实施例中,所述特征采集模块包括多个摄像头和/或激光传感器,通过所述多个摄像头和/或激光传感器记录沿途的特征。
5.一种机器人导航地图建图系统,其特征在于,所述建图系统包括:
可移除标记物,所述可移除标记物布置于一运动路径中;
特征采集模块,所述特征采集模块配置成在建图机器人沿所述运动路径行进时记录沿途的特征,并且在所述建图机器人到达所述可移除标记物所在位置时获得对所述建图机器人的位姿进行校准的信息以进行校准;以及
特征处理模块,所述特征处理模块配置成对所述特征采集模块所记录的特征及对应位姿信息进行处理或将所述特征采集模块所记录的特征及对应位姿信息发送至服务器进行处理,以获得导航地图。
一实施例中,所述可移除标记物包含有可识别的参照位姿信息。
一实施例中,所述可移除标记物是人工可识别的可移除标记物,所述人工可识别的标记物对应于参照位姿信息。
一实施例中,所述运动路径由多条直线路径组成。
一实施例中,所述特征采集模块为设置于所述建图机器人上的多个摄像头和/或激光传感器。
一实施例中,所述特征采集模块为设置于所述建图机器人上的摄像头,所述摄像头配置成记录沿途的地面纹路特征。
6.一种机器人系统,其特征在于,所述机器人系统包括建图机器人、工作机器人和机器人管理系统;
所述建图机器人包括:
特征采集模块,所述特征采集模块配置成在所述建图机器人沿一运动路径行进时记录沿途的特征;以及
特征处理模块,所述特征处理模块配置成将所述特征采集模块所记录的特征及对应位姿信息发送至所述机器人管理系统进行处理;
所述机器人管理系统配置成接收和处理来自所述建图机器人所记录的特征及对应位姿信息,以获得或者更新导航地图;以及
所述工作机器人配置成从所述机器人管理系统获得所述导航地图以进行定位。
7.根据权利要求6所述的机器人系统,其特征在于,所述运动路径上布置有可移除标记物,所述特征采集模块还配置成在所述建图机器人到达所述可移除标记物所在位置时获得对所述建图机器人的位姿进行校准的信息以进行校准。
一实施例中,所述可移除标记物包含有可识别的参照位姿信息。
一实施例中,所述可移除标记物是人工可识别的标记物,所述人工可识别的标记物对应于参照位姿信息。
8.根据权利要求6所述的机器人系统,其特征在于,所述工作机器人配置成在运行时将记录的特征与所述导航地图中的特征进行比对,以获得所述工作机器人的当前位姿信息。
一实施例中,所述工作机器人配置成在确认所记录的特征无法与导航地图中的特征匹配时,向所述机器人管理系统发出需要建图的指令。
一实施例中,所述机器人管理系统配置成在从所述工作机器人接收到需要建图的指令时,指示所述建图机器人沿所述工作机器人附近的局部所述运动路径记录沿途的特征以更新所述导航地图。
一实施例中,所述特征采集模块配置成记录所述运动路径沿途的地面纹路特征。
一实施例中,所述特征采集模块包括多个摄像头和/或激光传感器以记录沿途的特征。
一实施例中,所述机器人系统包括由所述机器人管理系统协同控制的多台建图机器人和/或多台工作机器人。
一实施例中,所述工作机器人是搬运机器人。
9.一种机器人系统,其特征在于,所述机器人系统包括工作机器人和机器人管理系统;
所述工作机器人包括:
转换模块,所述转换模块配置成在第一预定条件下将所述工作机器人从工作模式切换到建图模式;
信息采集模块,所述信息采集模块配置成在所述建图模式下所述工作机器人沿一运动路径行进时记录沿途的特征;以及
信息处理模块,所述信息处理模块配置成在所述建图模式下将所述信息采集模块所记录的特征及对应位姿信息发送至所述机器人管理系统进行处理,并在所述工作模式下从所述机器人管理系统获得导航地图以进
行定位;
所述机器人管理系统配置成接收和处理来自所述工作机器人所记录的特征及对应位姿信息,以获得或者更新所述导航地图。
10.根据权利要求9所述的机器人系统,其特征在于,所述信息采集模块配置成在所述工作模式下记录沿途的特征,所述信息处理模块配置成将所述信息采集模块在所述工作模式下所记录的特征与所述导航地图中的特征进行比对,以获得所述工作机器人的当前位姿信息;
所述第一预定条件包括所述信息处理模块在所述工作模式下确认所述信息采集模块所记录的特征与所述导航地图中的特征无法匹配。
一实施例中,所述工作机器人在建图模式下沿所述工作机器人附近的局部所述运动路径记录沿途的特征以对局部所述导航地图进行更新。
一实施例中,所述转换模块配置成在完成所述导航地图更新之后,将所述工作机器人切换至所述工作模式。
一实施例中,所述机器人系统进一步包括建图机器人,
所述建图机器人包括:
特征采集模块,所述特征采集模块配置成在所述建图机器人沿所述运动路径行进时记录沿途的特征;以及
特征处理模块,所述特征处理模块配置成将所述特征采集模块所记录的特征及对应位姿信息发送至所述机器人管理系统进行处理;
所述机器人管理系统进一步配置成也接收和处理来自所述建图机器人所记录的特征及对应位姿信息,以获得或者更新所述导航地图。
一实施例中,所述机器人管理系统在第二预定条件下指示所述建图机器人代替部分或所有所述工作机器人执行所述建图模式的任务。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910196698.1A CN111693046A (zh) | 2019-03-13 | 2019-03-13 | 机器人系统和机器人导航地图建图系统及方法 |
PCT/CN2020/078789 WO2020182146A1 (zh) | 2019-03-13 | 2020-03-11 | 机器人系统和机器人导航地图建图系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910196698.1A CN111693046A (zh) | 2019-03-13 | 2019-03-13 | 机器人系统和机器人导航地图建图系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111693046A true CN111693046A (zh) | 2020-09-22 |
Family
ID=72426123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910196698.1A Pending CN111693046A (zh) | 2019-03-13 | 2019-03-13 | 机器人系统和机器人导航地图建图系统及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111693046A (zh) |
WO (1) | WO2020182146A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112146662A (zh) * | 2020-09-29 | 2020-12-29 | 炬星科技(深圳)有限公司 | 一种引导建图方法、设备及计算机可读存储介质 |
CN112731923A (zh) * | 2020-12-17 | 2021-04-30 | 武汉万集信息技术有限公司 | 一种集群机器人协同定位系统及方法 |
CN113246136A (zh) * | 2021-06-07 | 2021-08-13 | 深圳市普渡科技有限公司 | 机器人、地图构建方法、装置和存储介质 |
CN113532421A (zh) * | 2021-06-30 | 2021-10-22 | 同济人工智能研究院(苏州)有限公司 | 一种基于子图更新和反光板优化的动态激光slam方法 |
WO2021233441A1 (zh) * | 2020-05-22 | 2021-11-25 | 杭州海康机器人技术有限公司 | 一种地图更新的触发方法和系统 |
CN114355877A (zh) * | 2021-11-25 | 2022-04-15 | 烟台杰瑞石油服务集团股份有限公司 | 一种多机器人作业区域的分配方法和装置 |
CN114873178A (zh) * | 2022-05-18 | 2022-08-09 | 上海飒智智能科技有限公司 | 一种生产车间免部署amr系统 |
CN113532421B (zh) * | 2021-06-30 | 2024-04-26 | 同济人工智能研究院(苏州)有限公司 | 一种基于子图更新和反光板优化的动态激光slam方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012136555A1 (de) * | 2011-04-08 | 2012-10-11 | Siemens Aktiengesellschaft | Vorrichtung zur lokalisierung und navigation von autonomen fahrzeugen und verfahren zu deren betrieb |
CN103777637A (zh) * | 2014-02-13 | 2014-05-07 | 苏州工业园区艾吉威自动化设备有限公司 | 无反射板激光自主导航agv小车及其导航方法 |
CN103884330A (zh) * | 2012-12-21 | 2014-06-25 | 联想(北京)有限公司 | 信息处理方法、可移动电子设备、引导设备和服务器 |
CN105203094A (zh) * | 2015-09-10 | 2015-12-30 | 联想(北京)有限公司 | 构建地图的方法和设备 |
CN105425807A (zh) * | 2016-01-07 | 2016-03-23 | 朱明� | 一种基于人工路标的室内机器人导航方法及装置 |
US20170181383A1 (en) * | 2014-05-26 | 2017-06-29 | Institute Of Automation Chinese Academy Of Sciences | Pruning Robot System |
CN108919811A (zh) * | 2018-07-27 | 2018-11-30 | 东北大学 | 一种基于tag标签的室内移动机器人SLAM方法 |
CN109196433A (zh) * | 2016-04-01 | 2019-01-11 | 轨迹机器人公司 | 使用规划的机器人行进路径的导航 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104679004B (zh) * | 2015-02-09 | 2017-07-11 | 上海交通大学 | 柔性路径与固定路径相结合的自动导引车及其导引方法 |
CN107703940A (zh) * | 2017-09-25 | 2018-02-16 | 芜湖智久机器人有限公司 | 一种基于天花板二维码的导航方法 |
CN107702722A (zh) * | 2017-11-07 | 2018-02-16 | 云南昆船智能装备有限公司 | 一种激光导引agv自然导航定位方法 |
CN108225303A (zh) * | 2018-01-18 | 2018-06-29 | 水岩智能科技(宁波)有限公司 | 二维码定位标签、基于二维码的定位导航系统和方法 |
-
2019
- 2019-03-13 CN CN201910196698.1A patent/CN111693046A/zh active Pending
-
2020
- 2020-03-11 WO PCT/CN2020/078789 patent/WO2020182146A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012136555A1 (de) * | 2011-04-08 | 2012-10-11 | Siemens Aktiengesellschaft | Vorrichtung zur lokalisierung und navigation von autonomen fahrzeugen und verfahren zu deren betrieb |
CN103884330A (zh) * | 2012-12-21 | 2014-06-25 | 联想(北京)有限公司 | 信息处理方法、可移动电子设备、引导设备和服务器 |
CN103777637A (zh) * | 2014-02-13 | 2014-05-07 | 苏州工业园区艾吉威自动化设备有限公司 | 无反射板激光自主导航agv小车及其导航方法 |
US20170181383A1 (en) * | 2014-05-26 | 2017-06-29 | Institute Of Automation Chinese Academy Of Sciences | Pruning Robot System |
CN105203094A (zh) * | 2015-09-10 | 2015-12-30 | 联想(北京)有限公司 | 构建地图的方法和设备 |
CN105425807A (zh) * | 2016-01-07 | 2016-03-23 | 朱明� | 一种基于人工路标的室内机器人导航方法及装置 |
CN109196433A (zh) * | 2016-04-01 | 2019-01-11 | 轨迹机器人公司 | 使用规划的机器人行进路径的导航 |
CN108919811A (zh) * | 2018-07-27 | 2018-11-30 | 东北大学 | 一种基于tag标签的室内移动机器人SLAM方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021233441A1 (zh) * | 2020-05-22 | 2021-11-25 | 杭州海康机器人技术有限公司 | 一种地图更新的触发方法和系统 |
CN112146662A (zh) * | 2020-09-29 | 2020-12-29 | 炬星科技(深圳)有限公司 | 一种引导建图方法、设备及计算机可读存储介质 |
CN112146662B (zh) * | 2020-09-29 | 2022-06-10 | 炬星科技(深圳)有限公司 | 一种引导建图方法、设备及计算机可读存储介质 |
CN112731923A (zh) * | 2020-12-17 | 2021-04-30 | 武汉万集信息技术有限公司 | 一种集群机器人协同定位系统及方法 |
CN112731923B (zh) * | 2020-12-17 | 2023-10-03 | 武汉万集光电技术有限公司 | 一种集群机器人协同定位系统及方法 |
CN113246136A (zh) * | 2021-06-07 | 2021-08-13 | 深圳市普渡科技有限公司 | 机器人、地图构建方法、装置和存储介质 |
CN113246136B (zh) * | 2021-06-07 | 2021-11-16 | 深圳市普渡科技有限公司 | 机器人、地图构建方法、装置和存储介质 |
CN113532421A (zh) * | 2021-06-30 | 2021-10-22 | 同济人工智能研究院(苏州)有限公司 | 一种基于子图更新和反光板优化的动态激光slam方法 |
CN113532421B (zh) * | 2021-06-30 | 2024-04-26 | 同济人工智能研究院(苏州)有限公司 | 一种基于子图更新和反光板优化的动态激光slam方法 |
CN114355877A (zh) * | 2021-11-25 | 2022-04-15 | 烟台杰瑞石油服务集团股份有限公司 | 一种多机器人作业区域的分配方法和装置 |
CN114355877B (zh) * | 2021-11-25 | 2023-11-03 | 烟台杰瑞石油服务集团股份有限公司 | 一种多机器人作业区域的分配方法和装置 |
CN114873178A (zh) * | 2022-05-18 | 2022-08-09 | 上海飒智智能科技有限公司 | 一种生产车间免部署amr系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2020182146A1 (zh) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111693046A (zh) | 机器人系统和机器人导航地图建图系统及方法 | |
US11619496B2 (en) | System and method of detecting change in object for updating high-definition map | |
EP3333538B1 (en) | Scanner vis | |
CN107907131B (zh) | 定位系统、方法及所适用的机器人 | |
US10278333B2 (en) | Pruning robot system | |
CN110262507B (zh) | 一种基于5g通信的相机阵列机器人定位方法及装置 | |
US20210041886A1 (en) | Multi-device visual navigation method and system in variable scene | |
CN110304386B (zh) | 机器人及机器人丢码后的重新定位方法 | |
CN111486848A (zh) | Agv视觉导航方法、系统、计算机设备以及存储介质 | |
CN106227212A (zh) | 基于栅格地图和动态校准的精度可控室内导航系统及方法 | |
CN106647738A (zh) | 一种无人搬运车的对接路径确定方法及系统及无人搬运车 | |
CN109974686B (zh) | 基于监控摄像头检测的搬运机器人路径规划辅助方法 | |
CN109459032B (zh) | 移动机器人定位方法、导航方法和网格地图建立方法 | |
Labrosse | Short and long-range visual navigation using warped panoramic images | |
CN111596674A (zh) | 无人机的降落定位方法、装置及无人机巢 | |
CN109387194A (zh) | 一种移动机器人定位方法和定位系统 | |
CN112214012A (zh) | 一种导航方法、移动载体及导航系统 | |
CN114089735A (zh) | 可移动机器人调整货架位姿的方法和装置 | |
CN109857122A (zh) | 仓库运输车辆的路径控制方法、装置和仓库运输系统 | |
US10990106B2 (en) | Mobile unit, inventory management system and the method for mobile unit localization | |
WO2020230410A1 (ja) | 移動体 | |
JP2005003445A (ja) | 移動体装置の位置同定システムおよびその位置同定方法 | |
US20180253678A1 (en) | Inventory item management system, transporting device and the method for docking with inventory holder | |
CN107797095A (zh) | 一种应用于机器人运动的空间导航方法 | |
CN111380535A (zh) | 基于视觉标签的导航方法、装置、移动式机器及可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200922 |