清洁机器人以及清洁机器人自动返回充电的方法
技术领域
本申请涉及智能机器人领域,尤其涉及清洁机器人以及清洁机器人自动返回充电的方法。
背景技术
现代生活中,清洁机器人逐渐应用和普及。清洁机器人可在无用户看管和控制的情况下,在规划的清洁区域(如家居环境)内自主移动进行清洁工作。由于清洁机器人的可移动性,通常使用可充电电池组为清洁机器人提供电能,尤其是能量密度高,没有记忆效应的锂离子电池进行电能供应。由于电池组的电能有限,所以清洁机器人工作一段时间后,电池消耗需要充电。为了提高清洁机器人的智能性以及使用的便利性,减少人类的干预操作,现在的清洁机器人通常具备自动返回充电(可简称回充)功能,当清洁机器人检测到自身的电池电量降低到一定水平时,就切换到回充模式,自主移动到回充座上进行充电。
通常使用的回充方案是:回充座设置信号发射装置,信号发射装置可向外发射信号(红外线)。回充座上可从不同的角度发出不同的经过编码的信号,清洁机器人接收信号,通过解码信号确定清洁机器人自身和回充座的相对位置,进而移动到回充座上进行充电。
然而,由于信号线遇到障碍物时容易发生反射,会导致清洁机器人对回充座的定位不准,回充效率低下,甚至在信号线被遮挡或被干扰的情况下,清洁机器人回充失败。
发明内容
本申请实施例提供了清洁机器人以及清洁机器人自动返回充电的方法,既可提高清洁机器人自动回充的效率,避免回充失败。
第一方面,本申请提供了一种清洁机器人自动返回充电的方法,该清洁机器人包括:控制器、图像采集装置和信号接收装置。所述方法包括:通过图像采集装置采集所述清洁机器人在运动过程中环境的第一图像;通过信号接收装置接收回充座的信号发射装置发射的信号;在所述信号接收装置接收到所述信号发射装置发射的信号,且从所述图像采集装置采集的第一图像中没有识别出所述回充座的情况下,通过控制器控制所述清洁机器人调整当前行进路径。
可以看到,在本申请实施例提供的清洁机器人的清扫过程中,清洁机器人的控制器可用于根据信号接收装置接收到的回充座发出的信号和图像采集装置采集的图像。当清洁机器人需要返回充电时,如果在回充座附近,由于镜面障碍物比较多而发生回充座的信号被折射或散射等原因,导致清洁机器人无法在接收到回充座信号时,从所拍摄的图像中识别出回充座。那么控制器可控制清洁不断调整清洁机器人的行进路径,直到完成清洁机器人的充电极对齐回充座的充电极,实现了清洁机器人的智能自动回充。所以实施本申请能够提高寻桩效率和回充效率,避免现有技术中回充失败的情况。
基于第一方面,在可能的实施例中,所述控制所述清洁机器人调整当前行进路径,包括:在所述信号接收装置接收到所述信号发射装置发射的信号,且从所述图像采集装置采集的第一图像中没有识别出所述回充座的情况下,控制所述清洁机器人的姿态在第一预设角度(例如90°、180°、270°、360°等等) 范围内旋转;在旋转过程中清洁机器人采集环境的第二图像;
如果所述控制器从所述第二图像中识别出所述回充座,那么,控制所述清洁机器人移动至所述回充座的正前方,以使所述清洁机器人的充电极对齐所述回充座的充电极。
所述控制器没有从所述第二图像中识别出所述回充座,那么,控制所述清洁机器人旋转回到原先接收回充座信号的姿态,然后沿着所述信号接收装置接收到所述信号的方向前进,以便于进一步向所述回充座靠近。
可以看到,本发明的清洁机器人在接收到所述回充座的信号,但没有从采集的图像中没有回充座图像时,能够控制自主旋转调整运动路径,进而进行回充座的寻找,提升了提高寻桩效率和回充效率。
基于第一方面,在可能的实施例中,清洁机器人继续沿着信号的接收方向行进,并且图像采集装置在行进过程中持续采集环境的图像,如果前进过程中超过设定距离持续没有接收到回充座的信号,则调整清洁机器人的前进方向,使其重新沿着信号接收装置接收到回充座的信号的方向前进;
在所述清洁机器人沿所述方向前进预设距离的过程中,通过图像采集装置采集环境的第三图像;
如果控制器没有从所述第三图像中识别出所述回充座,那么,控制所述清洁机器人在第二预设角度(例如90°、180°、270°、360°等等,第二预设角度的设置可以与第一预设角度相同或不同,这里不做限定)范围内旋转;在所述清洁机器人旋转第二预设角度的过程中,通过图像采集装置采集环境的第四图像;
如果控制器从所述第四图像中识别出所述回充座,那么,控制所述清洁机器人移动至所述回充座的正前方,以使所述清洁机器人的充电极对齐所述回充座的充电极;
如果控制器从所述第四图像中没有识别出所述回充座,那么,控制所述清洁机器人沿着所述信号接收装置接收到所述信号的方向前进,以便于向所述回充座靠近。
具体实施例中,控制清洁机器人靠近回充座进而进行充电极的对齐的过程可描述如下:当信号接收装置能够接收回充座的信号且同时图像采集装置能够采集到回充座的图像后,保持回充座的图像位于图像采集装置的成像平面中间前进,此时左右驱动轮都为前进状态,微调两驱动轮的速度差,使得清洁机器人前进到回充座的正面朝向的中心的正前方。当机器人行进到回充座的正面朝向的中心的正前方的位置附近时,清洁机器人根据回充座上发出的回充座的信号调整姿态前进,使得清洁机器人与回充座上的充电极片相互接触,完成对位过程。
可以看到,在清洁机器人在回充过程中,如果能接收到回充座的信号而不能从所拍摄的图像中识别出回充座,那么控制器可控制清洁机器人不断地调整自身的姿态和运动方向,直至能接收到回充座的信号且能从拍摄的图像中识别出回充座,从而实现在寻找回充座的过程中逐渐靠近回充座,以便于最终寻找到回充座并实现自主回充。所以实施本申请能够提高寻桩效率和回充效率,避免现有技术中回充失败的情况。
基于第一方面,在可能的实施例中,在所述清洁机器人的清扫过程中,在从所述图像采集装置采集的图像中识别出所述回充座的情况下,根据所述图像确定所述回充座的位置,并将所述回充座的位置标记在地图中;这样,当所述清洁机器人进入回充模式时,例如清洁机器人的电量低于预设值时,控制器可用于根据所述地图获取所述回充座的位置,并根据所述回充座的位置寻找所述回充座。
可以看到,实施本申请实施例,可根据接收到的回充座发出的信号和采集的图像,在地图中标记与回充座关联的区域,后续读取地图,结合地图中的标记位置可快速找到回充座,快捷地向回充座附近行进,进而实现自动回充。所以实施本申请能够提高寻桩效率和回充效率,有利于避免现有技术中回充失败的情况。
基于第一方面,在可能的实施例中,清洁机器人的控制器识别回充座的过程可包括:控制器利用深度学习算法,基于预先训练好的回充座算法模型从所述图像采集装置采集的图像中识别出所述回充座。这样,有利于快速准确地从环境的图像中识别出回充座,提高回充效率。
基于第一方面,在可能的实施例中,所述回充座的上设置有图像标签;清洁机器人的控制器识别回充座的过程还可包括:通过从所述图像采集装置采集的图像中识别所述图像标签来识别所述回充座。结合在回充座上的标签有利于提高对回充座的识别过程的识别准确度和效率。
基于第一方面,在可能的实施例中,所述地图为三维SLAM地图或二维栅格地图。可以看到,由于本申请的图像采集装置并不只是为寻找回充座,还可以用于SLAM地图或二维栅格地图的建立以及避障等作用,因此不需要增加清洁机器人额外的成本,而且有利于避免了清洁机器人在非回充模式下碰撞/推动回充座,提高回充座的安全。
基于第一方面,在可能的实施例中,所述信号接收装置为清洁机器人的红外接收装置,所述信号发射装置是回充座的红外发射装置,相应的,所述回充座的信号为红外发射的红外信号。红外发射装置可包括一个或多个红外发射源 (例如,红外发射二极管),红外发射源用于向外发射红外信号。
第二方面,本申请实施例提供了一种清洁机器人,所述清洁机器人包括:控制器、图像采集装置和信号接收装置,所述控制器与所述图像采集装置及所述信号接收装置通信连接;
所述图像采集装置用于,采集所述清洁机器人在运动过程中环境的第一图像;
所述信号接收装置用于,接收回充座的信号发射装置发射的信号;
所述控制器用于,在所述信号接收装置接收到所述信号发射装置发射的信号,且从所述图像采集装置采集的第一图像中没有识别出所述回充座的情况下,控制所述清洁机器人调整当前行进路径。
所述清洁机器人的各个功能器件具体用于实现第一方面任一实施例所描述的方法。
第三方面,本申请实施例提供了一种清洁机器人,所述清洁机器人包括图像获取模块、信号获取模块、地图处理模块和控制指令模块,所述清洁机器人的各个功能模块具体用于实现第一方面任一实施例所描述的方法。
第四方面,本申请实施例提供了一种非易失性存储介质,用于存储程序指令,当该程序指令应用于清洁机器人时,可用于实现第一方面所描述的方法。
第五方面,本申请实施例提供了一种计算机程序产品;该计算机程序产品包括程序指令,当该计算机程序产品被清洁机器人执行时,该清洁机器人执行前述第一方面所述方法。该计算机程序产品可以为一个软件安装包,在需要使用前述第一方面的任一种可能的设计提供的方法的情况下,可以下载该计算机程序产品并在清洁机器人上执行该计算机程序产品,以实现第一方面所述方法。
可以看到,实施申请实施例,清洁机器人在回充座附近时,如果由于回充座周边障碍物比较多或镜面障碍物比较多等原因而发生回充座的信号被折射或散射现象。那么,清洁机器人的控制器可继续用于根据信号接收装置实时接收到的回充座发出的信号和图像采集装置实时采集的图像,调整清洁机器人的运动,从而快速完成充电极的精确对位接触,实现了清洁机器人的智能自动回充。所以实施申请实施例能够提高寻桩效率和回充效率,避免现有技术中回充失败的情况。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为本申请实施例示例性提供的清洁机器人的俯视示意图;
图1B为本申请实施例示例性提供的清洁机器人的仰视示意图;
图2为本申请实施例示例性提供的清洁机器人的一结构示意图;
图3为本申请实施例示例性提供的清洁机器人的又一结构示意图;
图4A为本申请实施例示例性提供的回充座的侧视示意图;
图4B为本申请实施例示例性提供的回充座的正视示意图;
图5为本申请实施例示例性提供的回充座的几种标签设置示意图;
图6是本申请实施例示例性提供的一种清洁机器人的回充方法的流程示意图;
图7是本申请实施例示例性提供的一种清洁机器人进入回充模式的流程示意图;
图8是本申请实施例示例性提供的又一种清洁机器人的回充方法的流程示意图;
图9是本申请实施例示例性提供的清洁机器人自主回充的场景示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
需要说明的是,当在本说明书和所附权利要求书中使用时,术语“包括”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或者单元的过程、方法、系统、产品或者装置没有限定于已列出的步骤或者单元,而是可选地还包括没有列出的步骤或者单元,或者还可选地包括这些过程、方法、产品或者装置固有的其他步骤或单元。
还应当理解,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”或“在…的情况下”。
还需要说明的是,本申请的说明书和权利要求书中的术语“第一”“第二”“第三”等用于区别不同的对象,而并非用于描述特定的顺序。
图1A和图1B是本申请的一个实施例提供的一种清洁机器人10的结构示意图,其中图1A示出了该清洁机器人10的俯视图,图1B示出了该清洁机器人10 的仰视图。如图1A和图1B所示,该清洁机器人10包括:机身主体101以及与所述机身主体101连接的清扫装置,清扫装置例如可包括一个或多个边扫(如图示中清扫装置包括边扫1021和边扫1022)。可选的实施例中,清扫装置还可包括中扫1041。
清洁机器人10包括轮子装置,如图示中轮子装置包括主动轮1031、主动轮 1032和从动轮1033。其中主动轮1031及主动轮1032中一个为左轮子装置,一个为右轮子装置。主动轮1031及主动轮1032分别以对称的方式居中地布置在机器主体101的底部的相对侧。在执行清洁期间执行包括向前运动、向后运动及旋转的运动操作。在一些实施例中,从动轮1033可设置在机器主体101前部。
清洁机器人10还包括位于壳体上面的图像采集装置,图像采集装置例如包括图示中的摄像头1051。摄像头1051可设置于机身主体的壳体上面的前方位置 (即前置摄像装置),用于实现对清洁机器人在前进方向行进中遭遇的障碍物或回充座进行拍摄或录像功能,并将图像或视频传输至容纳于壳体中的相关部件。
在一些实施例中,除了安装有前置摄像装置之外,还可以在机身主体的后部、底部等其他部位安装摄像装置,用于采集机身主体周边的环境图像,并将采集的环境图像存储于存储器315中。摄像装置包括但不限于单目摄像头、双目摄像头、深度摄像头中的至少一种。
在一些可能的实现中,图像采集装置还可以包括深度传感器、RGB图像传感器或结构光图像传感器中的一个或多个(图未示)。
深度传感器包括:二维摄像头,其捕获待捕获对象的图像;以及红外传感器。而且深度传感器输出二维摄像头捕获的图像和红外传感器获得的距离信息。
RGB传感器可以拍摄RGB图像,RGB图像也称为彩色图像。例如利用RGB 传感器对回充座进行拍摄得到包括回充座的RGB图像。
结构光图像传感器包括红外线收发模组。例如,红外线收发模组可以测量得到清洁机器人到障碍物的距离。
其中立体摄像头模块包括多个二维摄像头,并且使用多个二维摄像头捕获的图像之间的差异来确定关于待捕获对象的距离信息。而且,立体摄像头模块输出关于多个二维摄像头捕获的图像之一和待捕获对象之间的距离的信息。
图像采集装置可以进一步包括图形处理器,其根据需要处理捕获的图像。如改变摄像头捕获的图像的尺寸或分辨率。
上述图像采集装置皆可将采集的信息传输至容纳于壳体中的相关部件,相关部件基于图像采集装置采集的信息进行图像识别(识别算法可包括但不限于深度学习、图像识别算法),可选的,还可根据图像采集装置采集的信息进行测距(测距算法可包括但不限于三角测距算法、深度学习算法、点云处理算法、深度数据处理算法),获得障碍物或回充座距离清洁机器人的距离。实现清洁机器人10的路线规划(如全局路线规划、回充路线规划)。其中,容纳于壳体中的相关部件可参考图2实施例的描述,这里不再赘述。
清洁机器人10还包括位于壳体上面的信号接收装置,例如红外接收装置 1061,所述红外接收装置1061的数量可以是一个或多个。红外接收装置1061 用于接收回充座或者遥控器发送的红外信号,并将红外信息传输至容纳于壳体中的相关部件,相关部件基于图像采集装置采集的信息以及红外信息实现清洁机器人10的路线规划(如全局路线规划、回充路线规划)。其中,容纳于壳体中的相关部件可参考图2实施例的描述,这里不再赘述。
在一些实施例中,红外接收装置1061可设置于机身主体的壳体上面的前方位置。
具体实现中,清洁机器人10的壳体可以呈圆形,也可以是其他形状(如方形、椭圆等),这里不做限定。
在一具体实现中,轮子装置可与壳体固定连接,轮子装置用于基于机身主体的相关部件的驱动而进行运动。具体的,可用于前进、后退、调整前进方向等运动以及用于加速、减速、匀速、暂停等运动。举例来说,如图1B所示,主动轮1031和主动轮1032可用于前进或后退,从动轮1033可用于调整前进方向。主动轮1031和主动轮1032还可用于实现加速、减速、匀速、暂停等运动。需要说明的是,本申请对轮子装置设置在壳体下面的具体位置不作限定。
在一可能实现中,边扫可设置于壳体下面的前方位置,用于在清洁机器人 10行进中进行垃圾清扫。举例来说,如图1B所示,边扫包括边扫1021和边扫 1022,且边扫1021和边扫1022皆相较于壳体前伸出一定的相对距离,以扩大清扫范围和实现本申请实施例所描述的清洁机器人自动回充的方法。在一实例中,边扫可与壳体进行固定连接,此时,边扫的边缘相对壳体的距离是固定的。在又一实例中,边扫可与壳体进行可伸缩连接,此时,边扫的边缘相对壳体的距离是可以改变的,即可根据处理方式需要而改变清扫距离。
在一可能实现中,中扫1041可设置于壳体底部的位置,用于在清洁机器人 10行进中与地面形成干涉,将地面上的垃圾进行清扫和回收。举例来说,如图 1B所示,中扫1041可以是以滚轮形进行转动的鼓形转刷,在壳体内部还设置有尘盒(图未示),尘盒与中扫1041接合,用于收集经中扫1041所回收的垃圾。
在一具体实现中,清洁机器人10还包括障碍物检测装置(图未示出)用于对清洁机器人的周侧环境进行检测,从而发现障碍物、墙面、台阶和用于对清洁机器人进行充电的回充座等环境物体。障碍物检测装置还用于向控制器提供清洁机器人的各种位置信息和运动状态信息。障碍物检测装置可包括悬崖传感器、超声传感器、红外传感器、磁力计、三轴加速度计、陀螺仪、里程计、LDS、超声波传感器、摄像头、霍尔传感器等。本实施例对障碍物检测装置的个数及所在位置不作限定。
在一具体实现中,清洁机器人10还包括控制器(图中未示出)。控制器设置在清洁机器人的机体内的电路板上,可以根据障碍物检测装置反馈的周围环境物体的信息和预设的定位算法,绘制清洁机器人所处环境的即时地图。控制器还可以根据图像采集装置、悬崖传感器、超声传感器、红外传感器、磁力计、加速度计、陀螺仪、里程计等装置反馈的距离信息和速度信息综合判断清洁机器人当前所处的工作状态。控制器可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行本公开的各个实施例中的自主回充方法。
清洁机器人10还包括存储器(图中未示出)。存储器用于存储程序指令和数据,所述数据包括但不限于:地图数据、控制清洁机器人操作时产生的临时数据,如清洁机器人的位置数据、速度数据等等。控制器可以读取存储器中存储的指令执行相应的功能。存储器可以包括随机存取存储器(Random Access Memory,RAM)和非易失性存储器(Non-VolatileMemory,NVM)。非易失性存储器可以包括硬盘驱动器(Hard Disk Drive,HDD),固态硬盘(Solid State Drives,SSD),硅磁盘驱动器(Silicon disk drive,SDD),只读存储器(Read-Only Memory,ROM),只读光盘(Compact Disc Read-Only Memory,CD-ROM),磁带,软盘,光数据存储设备等。
可以理解的是,在一个或者多个实施例中,清洁机器人还可以包括输入输出单元、位置测量单元、无线通信单元、显示单元等。本申请实施例不作限定。
参见图2,图2为本申请实施例提供的清洁机器人10的一种具体实现方式的结构框图。如图2所示,清洁机器人10可包括:芯片310、存储器315(一个或多个计算机可读存储介质)、轮子装置316、清扫装置317、图像采集装置 318和信号接收装置319(如红外接收装置)。这些部件可在一个或多个通信总线314上通信。
其中,芯片310可集成包括:一个或多个控制器311(或称处理器)、时钟模块312以及可能的电源管理模块313。集成于芯片310中的时钟模块312主要用于为控制器311产生数据传输和时序控制所需要的时钟。集成于基带芯片310 中的电源管理模块313主要用于为控制器311以及其他元器件提供稳定的、高精确度的电压。电源管理模块313包括可充电电池组、电池参数(电压、电流、温度)检测组件、充电组件和供电组件,电池参数检测组件可实时检测电池组的电压,当电压小于设定值时切换清洁机器人的工作模式到回充模式,回充成功后,充电组件开始工作,进行电池组的充电管理。具体的,在清洁机器人内置的电池组的电量低于预设值时,电源管理模块313可指示控制器311进入回充模式,以实现清洁机器人自主移动到回充座进行充电。电源管理模块313连接有清洁机器人的若干个充电极片,当清洁机器人回到回充座时,清洁机器人的充电极片与回充座的充电极片接触,从而实现清洁机器人的充电。
在一些实现中,回充模式例如包括但不限于:寻找回充座、回充路径规划,回充路径执行、回充路径调整(如微调)、充电极片对位等多种动作类型。
在一些实施例中,轮子装置316可进一步包括主动轮和从动轮,主动轮和从动轮的功能可参考上文的描述。
在一些实施例中,清扫装置317可进一步包括边扫和中扫,边扫和中扫的功能可参考上文的描述。
在一些实施例中,图像采集装置318可进一步包括摄像头和传感器中的至少一个,摄像头和传感器的功能可参考上文的描述。
在一些实施例中,信号接收装置319用于接收回充座直接发射的信号,或者由回充座发射且被其他障碍物反射/折射后的信号。如信号接收装置319为红外接收装置时,所述回充座的信号相应为红外信号。红外接收装置的功能还可参考上文的描述。
在一些实施例中,清洁机器人10还可包括更多或更少的元器件或其他I/O 外设,这里不做限定。例如清洁机器人10还可包括障碍物检测装置(图未示),障碍物检测装置的功能可参考上文的描述。
存储器315与控制器311的的相关描述可参考上述实施例的描述。
存储器315与控制器311耦合,用于存储各种数据(如图像数据、地图数据、机器学习数据、红外信息,等等)、各种软件程序和/或多组程序指令、存储清洁机器人10的行进区域的地图。具体实现中,存储器315可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器315还可以存储一个或多个应用程序,如SLAM系统程序、深度学习图像算法等。控制器311包括,但不限于:中央处理器、单片机、数字信号处理器、微处理器等。
一些实施例中,所述地图包括全局位置图、行进区域中各个房间的位置、测量物的位置信息(如回充座的位置)、测量物的类型等等。在清洁机器人10 的行进过程中,基于各种传感器感测到的数据,更新地图中的数据。
应当理解,具体应用场景中,清洁机器人10可具有比图2示出的部件更多或更少的部件,可以组合两个或更多个部件,或者可具有部件的不同配置实现。
本申请具体实施例中,所述控制器311可用于控制图像采集装置318(图像采集装置例如包括摄像头、传感器和障碍物检测装置中的至少一个)采集图像,控制信号接收装置319(如红外接收装置)接收回充座的信号(如红外信号)红外信号,还用于调用存储器中的程序指令和数据,以实现下文各实施例所描述的清洁机器人自动回充的方法。
需要说明的是,清洁机器人中的各单元或组件之间的连接关系不限于图2所示的连接关系,图2所示的只是一种示例说明,不是对清洁机器人的实现的限制。
下面进一步描述控制器311的相关功能模块。参见图3,图3是控制器311 的一种具体实现方式的结构框图,如图3所示,控制器311进一步包括图像获取模块401、信号获取模块403、地图处理模块405(也可称为SLAM模块或SLAM 系统)、控制指令模块407,其中:
图像获取模块401,用于获取通过图像采集装置采集的采集所述清洁机器人的前进方向上的回充座的第一图像。
信号获取模块403用于,用于获取通过信号接收装置接收的所述回充座的信号。
地图处理模块405,用于根据所述第一图像和回充座的信号,生成所述清洁机器人的自主定位及导航的地图,所述地图中标记有所述回充座的位置信息,进一步地,还标记有用于运动到所述回充座的最佳运动路径。
控制指令模块407,当所述清洁机器人的电池的电量低于预设值时,根据所述地图,控制所述清洁机器人运动到所述回充座充电。具体的,控制指令模块 407可将与运动模式相关的指令发送至图2所示的相关装置,例如轮子装置316,从而控制清洁机器人返回到回充座进行充电。
上述各个模块具体用以实现下文各实施例所描述的关于清洁机器人自动回充的方法,为了说明书的简洁,这里不赘述。
下面,进一步描述本申请各实施例所涉及的回充座的实现方式。在一些应用场景中,本申请所涉及的回充座又可被称为回充座、回充桩、回充座等。
图4A和图4B是本申请的一个实施例提供的一种回充座20的结构示意图,其中图4A示出了该回充座20的侧视图,图4B示出了该回充座20的正视图。回充座20可与外部电源(图未示)连接。如图4A和图4B所示,该回充座20 包括:回充座边框211、回充座前面板212,以及两个或两个以上的充电极片,如图示中包括充电极片213和充电极片214。此外,该回充座20还包括信号发射装置215,信号发射装置215用于向外发射信号。例如信号发射装置215具体为红外发射装置,红外发射装置可包括一个或多个红外发射源(例如,红外发射二极管),红外发射源用于向外发射红外信号。
在一些实施例中,回充座的边框211和回充座的前面板212共同构成回充座20的底座和侧边竖状实体(如图所示),用于为回充座20提供支撑以及内部相关部件的容纳。
在一些实施例中,充电极片213和充电极片214可与设置于清洁机器人的充电极片两两对齐和接触,从而实现为清洁机器人提供充电的电能。
在一些实施例中,充电极片213和充电极片214可设置于回充座20的底座上的两侧(如图所示)。
在一些实施例中,充电极片213和充电极片214也可设置于回充座20的前面板212上的两侧(图未示)。
在一些实施例中,红外发射装置可包含至少一个的红外发射源,当红外发射源的数量为多个时,各发射源分别向不同的方向发射红外信号,例如向回充座20的正前方发射红外信号以及向回充座20的偏左/偏右侧方向发射红外信号。
其中回充座20的正前方是指:朝向能使回充座上的充电极片能与清洁机器人充电极片进行准确对位的水平方向。
在一些实施例中,信号发射装置215可设置于回充座20的前面板212上,例如前面板212的正中央位置(如图所示)。在又一些实施例中,信号发射装置215可设置于回充座20的前面板212上的任意位置(图未示)。在又一些实施例中,信号发射装置215可设置于回充座20的底座(图未示),例如底座的前方侧边上。
此外,在一些可能的实施例中,回充座20还可包括标签,所述标签的主要作用是方便清洁机器人对回充座20的识别。
参见图5,所述标签可设置于回充座20的前面板212上。优选地,所述标签可对称地设置于回充座20的前面板212上。本申请实施例不限定标签的大小,例如图5示例性示出了三种标签设置于回充座20的前面板212上的情况。本申请实施例亦不限定标签的具体形状,图5中以矩形标签为例仅仅为了解释而非限定。
本申请一些实施例中,清洁机器人的信号接收装置可接收来自回充座的信号,辅助清洁机器人确定回充座的位置,结合所采集的回充座的图像规划移动到回充座的路线,从而快速地与回充座对齐实现回充。本申请又一些实施例中,当回充座上的信号发射装置215出现故障,或者某些场景下需要人为介入进行清洁机器人的控制时,清洁机器人的信号接收装置可也可接收来自遥控器的信号,从而切换为对清洁机器人的人为控制,从而与回充座对齐实现回充。
参见图6,基于上文所描述清洁机器人以及回充座,下面描述本申请实施例提供的一种清洁机器人自动回充的方法,该方法以清洁机器人的清扫装置包括边扫为例进行详细说明,该方法包括但不限于以下步骤:
步骤201、清洁机器人在行进过程中采集环境的图像。
清洁机器人在沿前进方向行进中,通过其自身的图像采集装置对环境进行拍摄,可以理解的,在图像采集装置的拍摄范围能拍摄到前方或周侧的回充座时,图像采集装置所拍摄的图像或录像中就会存在回充座的图像。为了区别后续步骤中采集的图像,图像的数量可以为一个或多个。本申请具体实施例中,清洁机器人可以通过在不同位置、以不同视角对回充座进行拍摄,从而获得不同视角的回充座的图像。
在一些应用场景中,在实施本发明的方案前,如果清洁机器人预先生成的地图中已有回充座的位置信息,那么当清洁机器人进入回充模式时,可根据所述回充座的位置寻找所述回充座。
另外,需要说明的是,在一些应用场景中,在实施本申请的方案前,如果清洁机器人预先生成的地图中尚没有回充座的相关信息,则清洁机器人的控制器还可利用该地图确定环境的边界,并控制清洁机器人沿着环境的边界运动以寻找回充座,直到清洁机器人的图像采集装置采集到回充座的图像。
步骤202、清洁机器人接收所述回充座的信号。
具体的,清洁机器人在运动中,可实时通过信号接收装置接收回充座发送的信号。
需要说明的是,上述步骤201和步骤202之间没有必然的先后顺序,即步骤201可能在步骤202之前执行,步骤201也可能在步骤202之后执行,步骤 201和步骤202还可能同时执行,这里不做限定。
步骤203、清洁机器人根据存在有回充座的图像,生成所述清洁机器人的自主定位及导航的地图。其中所述地图中标记有所述回充座的位置信息。
其中,所述地图可为利用自身的SLAM(Simultaneous Localization andMapping,中文:同时定位与建图)系统,建立用于定位与导航的地图,例如三维SLAM地图、二维栅格地图等。SLAM系统可用于,当清洁机器人在未知环境中从一个未知位置开始移动时,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图,从而实现清洁机器人的自主定位和导航。可理解的,为了实现清洁机器人的自主定位与导航,本申请实施例中,所述地图除了标记有回充座的位置,还标记有环境中其他障碍物的信息,所述其他障碍物例如家具、电器、桌椅、垃圾等,这里不做限定。其他障碍物的信息是根据图像采集装置318所采集的其他障碍物的图像而生成的。
本申请一些实施例中,在信号接收装置接收到回充座的信号的情况下,清洁机器人对该回充座的信号进行解码,包括以下两种情况:
在解码回充座的信号成功的情况下,清洁机器人进而根据此时图像采集装置采集的图像,识别出回充座,并确定所述回充座与所述清洁机器人之间的相对位置。进而根据所述相对位置,将所述回充座的位置标记于所述地图。
在解码回充座的信号失败的情况下,说明当前第一图像中可能未存在回充座,或者当前所拍摄图像中的回充座至少一部分被障碍物遮挡(即障碍物遮挡了回充座的信号发射装置,导致清洁机器人所接收的回充座的信号较弱,甚至无法接收。这种情况下,清洁机器人可不处理当前图像,避免出现根据当前图像确定的回充座不准确。然后,清洁机器人可继续运动到其他位置或调整姿态,在其他的位置或以其他的视角对回充座进行拍摄,从而获得其他视角的回充座的图像。同时,继续通过信号接收装置监测回充座的信号。重复执行上述过程,直到出现拍摄到回充座的图像与解码回充座的信号成功的情况同时出现为止。
在一具体实施例中,清洁机器人根据所采集图像确定回充座的过程可基于以下方案来实现:可预先基于机器学习、深度学习等方法,预先采集回充座的图片,在PC端或服务器上训练好识别模型,将识别模型导入清洁机器人软件架构中。清洁机器人执行识别任务时,可识别图像中的回充座图像和回充座在图像中的位置信息(即预测框,bounding box)。如果回充座是由制造商统一制作的,那么清洁机器人面对的回充座可以是相同的,那么识别模型的训练过程会更加简单,且图像识别准确性很高。在一识别模型的训练过程中,可预先采集在回充座的各种角度和各种背景环境下采集回充座的图片,进而进行模型训练。在各种角度各种背景环境下采集图片主要是为了增强清洁机器人在寻找回充座过程中的角度,实现多环境、多角度甚至360度都可以识别到回充座。识别出回充座的图像后,识别出回充座的图像后,将回充座标记在地图中。
可选的,当回充座上设置有标签时,还可以依据回充座上的标签增强识别回充座过程的准确性。
具体实施例中,清洁机器人根据所采集图像确定回充座与清洁机器人之间的相对位置(如距离)的过程可基于以下方案来实现:
在一种实现方案中,可利用三角测量算法,根据回充座的图像计算回充座到清洁机器人的距离。
在一种实现方案中,图像采集装置采集的数据中包含深度信息,还可直接利用深度信息计算回充座到清洁机器人的距离。
在一种实现方案中,可根据回充座的图像获得回充座的点云数据,进而根据回充座的点云数据计算回充座到清洁机器人的距离。
这样,从而清洁机器人可根据回充座到清洁机器人的距离获得回充座在地图的位置坐标,进而根据所述位置坐标,将所述回充座的位置信息标记于所述地图。
可以看到,通过上述方案能确保清洁机器人获得较为准确的回充座位姿,提高鲁棒性,提高了所建立地图的精确程度。
另外,由于图像采集装置受光线影响大,且在靠近回充座时无法完全观测到整个回充座,存在一定盲区。所以在回充座附近时,结合回充座的信号对回充座进行定位,能够提高鲁棒性,获得较为准确的回充座的位置信息。
步骤204、当所述清洁机器人的电量低于预设值时,清洁机器人根据所述地图,控制所述清洁机器人运动到所述回充座附近。
如图7所示,在一些应用场景中,清洁机器人的工作属性可分为工作模式和回充模式,工作模式表示执行正常清扫工作的模式,回充模式表示执行移动到回充座进行充电的模式。清洁机器人可根据控制器发出的工作模式或回充模式的指令分别进入相应的工作状态。在清洁机器人执行工作模式的过程中,若电源管理模块发现电池的电量低于预设值,那么电源管理模块将会指示控制器从工作模式切换为回充模式。另外,在可能的场景中,用户还可通过遥控器发出指令,指示清洁机器人从工作模式切换为回充模式。
在一些实施例中,在回充模式下,清洁机器人可根据所述地图搜寻回充座和标记回充座的位置和方向(寻桩)。根据清洁机器人本体和回充座的位置,规划出从清洁机器人当前位置到回充座的路线,并沿着路线移动到回充座附近。
在又一些实施例中,清洁机器人还可预先在所述地图中标记用于运动到所述回充座的较佳的运动路径。
在一种实现中,在获得地图后,当需要进行回充时(如电量低于预设值),清洁机器人可在任意时刻的任意位置,根据地图中清洁机器人的实时位置、障碍物的位置和回充座的位置进行路线规划,从而实时规划出用于运动到所述回充座的较佳的运动路径。这样做法的好处是可适应经常变化的环境,从而基于环境不断更新回充的运动路径。需要进行回充时(如电量低于预设值),清洁机器人根据所确定的运动路径,控制所述清洁机器人运动到所述回充座附近。
在又一种实现中,清洁机器人也在根据清洁机器人预先规划的用于清扫环境的全局路径中,确定出运动到回充座的最佳的运动路径。这样做法的好处是在相对变化程度不大或不不频繁的环境中确定出通用的最佳运动路径,从而免去了不断进行路径规划和更新的开销,节省电池电量。
在这种情况下,当后续清洁机器人需要进行回充时(如电量低于预设值),清洁机器人可在任意时刻的任意位置运动到该最佳的运动路径上,并沿用该最佳的运动路径进一步运动到回充座附近。
步骤205、在所述信号接收装置接收到信号发射装置发射的信号,且从所述图像采集装置采集的第一图像中没有识别出所述回充座的情况下,控制所述清洁机器人调整当前行进路径,以使得所述清洁机器人顺利完成回充。
对于清洁机器人移动到回充座附近(使回充座进入清洁机器人的视角范围) 或者清洁机器人由回充座附近移动到回充座正前方的过程,一方面如果环境发生变化,那么清洁机器人接收的回充座的信号可能会受到障碍物的干扰;另一方面清洁机器人需要从回充座的正前方方向进入回充座;再一方面清洁机器人自身的充电极片和回充座的充电极片面积较小。综上,为了让清洁机器人的充电极对齐所述回充座的充电极实现充电,需要不断调整清洁机器人的位姿,使得清洁机器人接触回充座后,充电极片能够两两对准接触。
所以,本申请在控制所述清洁机器人根据所述运动路径运动的过程中,图像采集装置还会不断采集到所述回充座的图像,同时,信号接收装置也会持续打开以便于接收回充座的信号。
一些实施例中,在控制所述清洁机器人根据所述运动路径运动的过程中,若所述图像采集装置采集到所述回充座的图像且同时所述信号接收装置接收到所述回充座的信号,则根据该图像和该回充座的信号,控制所述清洁机器人不断调整清洁机器人的位姿,以使清洁机器人的充电极对齐所述回充座的充电极。
具体的,清洁机器人可通过图像识别算法找到回充座,并正对着回充座的正面,同时通过左右调整方向找到回充座的回充座的信号,结合测算的回充座离机器人的距离,跟随回充座的信号和不断计算清洁机器人与回充桩的距离逐步靠近回充座进行对位。
一些实施例中,在控制所述清洁机器人根据所述运动路径运动的过程中,若清洁机器人的控制器没有从所述图像采集装置的图像(这里可将该图像称为第一图像)中识别出回充座,且清洁机器人的信号接收装置能够接收所述回充座的信号,则调整所述清洁机器人的姿态、运动速度、运动方向等,直到能从所述图像采集装置重新采集的图像中识别出回充座且同时所述信号接收装置也能接收到所述回充座的信号;然后再根据该图像和该信号,控制所述清洁机器人向回充座的正前方靠近,以使清洁机器人的充电极对齐所述回充座的充电极。
下面结合图8和图9,描述本申请在清洁机器人沿回充座的信号的接收方向前进的过程中的一些具体实施例场景。在具体应用场景中,如果在清洁机器人的前进方向上,清洁机器人信号接收装置能够持续接收到该信号,但是清洁机器人的控制器并没有从图像采集装置此时拍摄的图像中识别到回充座,则说明可能在回充座周边的镜面障碍物(高反射率障碍物)比较多,此时环境下容易发生回充座的信号被折射或散射现象,也就是说此时接收装置接收到的回充座的信号并不是直接由回充座向清洁机器人发射的,而是经过障碍物的一次或多次的反射后,再被信号接收装置接收到的。或者是清洁机器人离回充座比较远,信号接收装置能够接收回充座发射的信号,但图像采集装置采集的回充座的图像比较小(像素少),控制器无法从图像采集装置采集的图像中识别出回充座。这些情况下,控制器需控制清洁机器人重新调整当前行进路径。
下面以图8所示的流程示意图为例,概括说明本申请实施例提供的一个示例性方案,该方案的步骤包括如下:
步骤1:可通过驱使轮子装置降低清洁机器人的运动速度,在第一预设角度 (例如90°、180°、270°、360°等等)范围内旋转,旋转过程中图像采集装置持续进行图像采集,如果控制器从图像采集装置采集的图像(这里的图像可称为第二图像)中识别到了回充座,进入步骤3;如果上述旋转过程中清洁机器人旋转超过第一预设角度(例如超过90°、180°、270°、360°等等)后,控制器仍未能从图像采集装置采集的图像中识别出回充座,则进入步骤2。
步骤2:清洁机器人继续沿着回充座的信号的接收方向行进,如果前进过程中超过设定距离持续没有接收到回充座的信号,调整机器人的前进方向,使其重新沿着信号接收装置接收到回充座的信号的方向前进。图像采集装置在行进过程中持续采集环境的图像(这里可将该图像称为第三图像)。如果行进过程中控制器成功从图像采集装置采集的第三图像中识别出回充座,进入步骤3;如果清洁机器人沿该方向前进预设距离的过程中,信号接收装置能够持续接收回充座的信号,但控制器依然不能从图像采集装置采集的第三图像中识别出回充座,则重新执行类似步骤1的过程,直至回充座的信号和通过图像识别到回充座同时发生。其中,在可能实施例中,所述重新执行类似步骤1的过程可能与前述步骤1的描述完全相同,也可能有所差异。例如,在一实现中,可使清洁机器人在第二预设角度(例如90°、180°、270°、360°等等,第二预设角度的设置可以与第一预设角度相同或不同,这里不做限定)范围内旋转,旋转过程中图像采集装置持续进行图像采集,如果控制器从图像采集装置采集的图像(这里的图像可称为第四图像)中识别到了回充座,则进入步骤3;如果控制器仍未能从图像采集装置采集的第四图像中识别出回充座,那么清洁机器人将类似地重复执行上述过程,直至控制器能够通过图像识别到回充座为止。
步骤3:信号接收装置能够接收回充座的信号且同时图像采集装置能够采集到回充座的图像后,保持回充座的图像位于图像采集装置的成像平面中间前进,此时左右驱动轮都为前进状态,微调两驱动轮的速度差,使得清洁机器人前进到回充座的正面朝向的中心的正前方。当机器人行进到回充座的正面朝向的中心的正前方的位置附近时,清洁机器人根据回充座上发出的回充座的信号调整姿态前进,使得清洁机器人与回充座上的充电极片相互接触,完成对位过程。
本申请一些应用场景中,在弱光环境下,如果图像采集装置失效,清洁机器人还可以依据标记在地图上跟随回充座的信号的路径及方向,采用传统的回充座的信号的办法进行对位。
需要说明的是,本申请的上述各个实施例中,清洁机器人的信号接收装置皆可为红外接收装置,相应的,红外接收装置相应接收回充座通过红外发射装置发射的红外信号。
可以看到,实施本申请实施例,在清洁机器人的清扫过程中,可根据接收到的回充座发出的信号和采集的图像,在地图中标记与回充座关联的区域,后续读取地图,结合地图中的标记位置快速找到回充座,实现自动回充。所以实施本申请能够提高寻桩效率和回充效率,避免现有技术中回充失败的情况。
此外,能通过清洁机器人中图像识别和信号技术的融合,能解决了这两种单一技术的缺陷。如识别技术的对位精度不高,计算量大,通过接收回充座的信号发射装置发射的信号对位补充,大幅提高对位准确性;如接收回充座的信号发射装置发射的信号不能定位回充座位置,且容易发生反射现象,而图像识别技术能够定位出回充座位置,提高回充效率,避免回充失败。
此外,由于因为图像采集装置并不只是为寻找回充座,还可以用于SLAM地图的建立以及避障等作用,因此不需要增加清洁机器人额外的成本,而且有利于避免了清洁机器人在非回充模式下碰撞/推动回充座,提高回充座的安全。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random AccessMemory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
在上述的实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是个人计算机,服务器,或者网络设备、机器人、单片机、芯片等)等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请实施例公开的进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。