CN114903374A - 一种扫地机及其控制方法 - Google Patents

Abstract

本发明公开了一种扫地机及其控制方法，扫地机包括：扫地机本体、传感器模块、控制模块、运动清洁本体、双目视觉模组，传感器模块、双目视觉模组置于扫地机本体边缘，其中，双目视觉模组在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对环境图像进行处理，得到目标物体信息，传感器模块获取扫地机本体与周围物体的距离信息、扫地机本体运动信息，控制模块根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制所述运动清洁本体按清扫路径运动、清扫，从而实现对目标物体的准确识别、及时清扫。

Description

一种扫地机及其控制方法

技术领域

本发明涉及机器人技术领域，具体涉及一种扫地机及其控制方法。

背景技术

市面上的扫地机产品的障碍检测大多使用超声波、红外、机械碰撞开关(行业用语简称前档或前撞)及激光雷达等方式，或上述方式的组合；其中，机械碰撞开关只能检测障碍物的有无，而超声波、红外、激光雷达(TOF测距)的本质都是计算主动发射信号和接收回波信号之间的时间差来实现距离测量，这种方式实现的障碍物检测的探测范围有限，目标障碍物信息不完整，系统扩展性较弱，具体表现为只能测量二维工作平面到扫地机自身的距离，无法对障碍物的三维尺寸进行测量，容易出现推拉障碍物、爬上障碍物或卡在障碍物下面的情况。随着计算机硬件水平的发展和图像处理技术的进步，使得在扫地机上使用双目摄像头来识别工作区域内的障碍物成为可能，但是双目视觉模组的对纯色障碍物识别率偏低，同时缺乏和其它传感器的配合，使得双目模组无法完全替代激光作为扫地机导航定位模块，也阻碍了深度学习等智能识别技术的实际应用。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中的双目扫地机器人对纯色障碍物识别率偏低的缺陷，从而提供一种扫地机及其控制方法。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种扫地机，包括：扫地机本体、传感器模块、控制模块、运动清洁本体、双目视觉模组，传感器模块、双目视觉模组置于扫地机本体边缘，控制模块置于扫地机本体内部，运动清洁本体安装于扫地机本体的底部，运动清洁本体包括运动本体及清洁本体，其中，双目视觉模组内置双目摄像机，用于获取扫地机本体周围环境图像及扫地机本体运动信息，在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对环境图像进行处理，得到目标物体信息并发送给控制模块；传感器模块，用于获取扫地机本体与周围物体的距离信息、扫地机本体运动信息，并发送给控制模块；控制模块与运动清洁本体连接，用于根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制运动清洁本体按清扫路径运动、清扫。

在一实施例中，双目视觉模组还包括：IMU惯性传感器，其与控制模块连接，用于获取扫地机本体的加速度及角速度；亮度补偿传感器，用于获取当前环境亮度，并基于当前环境亮度判断出扫地机本体处于光线暗的环境时，进行亮度补偿；纹理补偿传感器，与控制模块连接，用于将发射的红外点光源分散成光斑或条纹，在物体表面打出纹理图案；图像处理模块，与控制模块连接，用于对周围环境图像进行处理，得到目标物体信息，目标物体信息包括障碍物信息及待清扫物体信息。

在一实施例中，传感器模块包括：光流传感器，安装于扫地机本体底部，用于在每隔预设时间间隔拍摄两张周围环境图片，并基于两张周围环境图片，计算扫地机本体的运动速度；沿边TOF传感器，安装于扫地机本体边缘，用于获取扫地机本体与周围障碍物的距离；超声波传感器，安装于扫地机本体前部，用于获取扫地机本体与前方障碍物的距离；里程计，安装于运动本体的驱动马达上，用于获取扫地机本体的位移信息；防跌落TOF传感器，安装于扫地机本体底部，用于计算扫地机本体到地面的距离；碰撞传感器，安装于扫地机本体边缘，用于当扫地机本体碰撞到障碍物时，发出碰撞信号至控制模块。

在一实施例中，扫地机还包括电源模块，电源模块包括：供电单元、电源管理单元，其中电源管理单元置于扫地机本体内，用于实时获取供电单元的电量信息，控制模块根据电量信息判断供电单元是否处于低电量，当其处于低电量时，控制运动本体寻找充电桩。

在一实施例中，双目摄像机以预设上仰度数安装。

第二方面，本发明实施例提供一种扫地机的控制方法，基于实施例1的扫地机，控制方法包括：获取扫地机本体周围环境图像及扫地机本体运动信息，在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对环境图像进行处理，得到目标物体信息；获取扫地机本体与周围物体的距离信息、扫地机本体运动信息；根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制运动清洁本体按清扫路径运动、清扫。

在一实施例中，扫地机本体与周围物体的距离信息包括：扫地机本体与周围障碍物的距离、扫地机本体与前方障碍物的距离、扫地机本体到地面的距离；扫地机本体运动信息包括：扫地机本体的加速度及角速度、扫地机本体的运动速度、扫地机本体的位移信息。

在一实施例中，获取扫地机本体周围环境图像及扫地机本体运动信息，在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对环境图像进行处理，得到目标物体信息的过程，包括：获取当前环境亮度、双目摄像机的加速度及角速度，并基于当前环境亮度判断出扫地机本体处于光线暗的环境时，进行亮度补偿；在周围环境的物体表面打出纹理图案之后，获取扫地机本体周围环境图像；基于深度学习方法对环境图像进行处理，得到目标物体信息，目标物体信息包括障碍物信息及待清扫物体信息。

在一实施例中，获取扫地机本体与周围物体的距离信息、扫地机本体运动信息的过程，包括：获取扫地机本体与周围障碍物的距离、扫地机到地面的距离、扫地机本体与前方障碍物的距离、运动本体的驱动马达旋转速度，并根据驱动马达旋转速度及运动本体的直径，计算扫地机本体的移动位移；每隔预设时间间隔拍摄两张周围环境图片，并基于两张周围环境图片，计算扫地机本体的运动速度。

在一实施例中，根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制运动清洁本体按清扫路径运动、清扫的过程，包括：基于学习算法对周围环境图像得到周围环境图像深度信息，得到目标物体信息；结合双目摄像机的加速度及角速度，利用预设建图方法，建立生成环境地图，并解算出扫地机本体的位姿信息、目标物体的三维坐标信息；根据扫地机本体位姿信息、目标物体的三维坐标信息、扫地机与周围物体的距离信息，智能规划行走清扫路径，控制运动清洁本体的运动状态。

在一实施例中，根据扫地机本体位姿信息、目标物体的三维坐标信息、扫地机与周围物体的距离信息，智能规划行走清扫路径，控制运动清洁本体的运动状态的过程，还包括：根据扫地机本体位姿信息、目标物体的三维坐标信息、扫地机本体与周围障碍物的距离，选取向目标物体前进的最优路径；在行走清扫的过程中，实时根据扫地机本体与周围障碍物的距离、扫地机本体位姿信息、扫地机本体的移动位移，保持或更改向目标物体前进的最优路径，直至完成清扫目标物体。

在一实施例中，根据扫地机本体位姿信息、目标物体的三维坐标信息、扫地机与周围物体的距离信息，智能规划行走清扫路径，控制运动清洁本体的运动状态的过程，还包括：判断扫地机本体到地面的距离是否大于预设距离阈值，当其大于预设距离阈值时，控制扫地机本体停止或后退。

本发明技术方案，具有如下优点：

1.本发明提供的扫地机，双目视觉模组在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对环境图像进行处理，得到目标物体信息，传感器模块获取扫地机本体与周围物体的距离信息、扫地机本体运动信息，控制模块根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制所述运动清洁本体按清扫路径运动、清扫，从而实现对目标物体的准确识别及清扫。

2.本发明提供的扫地机，双目视觉模组集成有IMU惯性传感器，可以时刻提供机器人位姿变化情况；超声传感器可以识别透明障碍物，减少了遗漏目标物体的情况；纹理补偿传感器为目标物体增加了纹理，使得双目摄像机对各种非透明目标物识别率增大；亮度补偿传感器使目标更好的暴露在双目摄像机视野中；里程计和光流传感器能计算扫地机本体运行的速度和位移，辅助视觉定位。双目摄像机相对水平面上仰15°，减少双目视场打到地面，增加对周围环境的识别范围；碰撞传感器可以实现及时避障；防跌落TOF传感器识别地面坑或悬崖等，以防止坠落。

3.本发明提供的扫地机的控制方法，根据环境图像、双目摄像机的加速度及角速度，解算出扫地机本体的位姿信息及建立生成环境地图，并综合考虑各种对扫地机本体的清扫轨迹的影响因素，从而智能规划出清扫路径，可以实现准确无误的清扫目标物体，及时避开障碍物及防止坠落。

4.本发明提供的扫地机的控制方法，在获取图像时，增加纹理补偿，从而使对各种非透明目标物识别率增大，增加亮度补偿，使目标更好的暴露在双目摄像机视野中。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1(a)为本发明实施例提供的扫地机的俯视图；

图1(b)为本发明实施例提供的扫地机的仰视图；

图2为本发明实施例提供的扫地机的另一个具体示例的示意图；

图3为本发明实施例提供的双目视觉模组的一个具体示例的示意图；

图4为本发明实施例提供的扫地机的另一个具体示例的示意图；

图5为本发明实施例提供的扫地机的控制方法的一个具体示例的流程图；

图6为本发明实施例提供的扫地机的控制方法的另一个具体示例的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供一种扫地机，应用于需要提高扫地机的目标物识别率的场合，如图1(a)及图1(b)所示，包括：扫地机本体1、传感器模块2、控制模块3、由运动本体41及清洁本体42构成的运动清洁本体、双目视觉模组5，传感器模块、双目视觉模组置于扫地机本体边缘，控制模块置于扫地机本体内部，运动清洁本体安装于扫地机本体的底部。

本发明实施例的双目视觉模组内置双目摄像机51，用于获取扫地机本体周围环境图像及扫地机本体运动信息，在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对环境图像进行处理，得到目标物体信息并发送给控制模块，其中，双目摄像机以预设上仰度数安装(例如是15°)，实现减少双目视场打到地面的情况，增加对周围环境的识别范围。

本发明实施例的用双目视觉模组内置双目摄像机，其中该双目摄像机可以是基于ToF的深度相机、RGB双目深度相机、结构光深度相机以及双目结构光深度相机中的任一种，此处不作限定；此外，在获取图像，且扫地机置于光线较暗的地方时，利用红外光源进行亮度补偿，且在获取透明等物体的图像时，在物体的表面施加纹理补偿，从而使得图像更加清晰，并提高了控制模块识别目标物体的准确度。

本发明实施例的传感器模块用于获取扫地机本体与周围物体的距离信息、扫地机本体运动信息，并发送给控制模块；具体地，扫地机本体与周围物体的距离信息包括：扫地机本体与周围障碍物的距离、扫地机本体与前方障碍物的距离、扫地机本体到地面的距离，扫地机本体运动信息包括：扫地机本体的运动速度、扫地机本体的位移信息。

本发明实施例的控制模块与运动清洁本体连接，用于根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制运动清洁本体按清扫路径运动、清扫。

本发明实施例的控制模块解算出扫地机本体的位姿信息及建立生成环境地图为现有技术成熟的解算方法，实际应用中可以将现成的算法集成于控制模块内，在此不作具体限制。

在一具体实施例中，如图2所示，双目视觉模组还包括：亮度补偿传感器52及纹理补偿传感器53。

本发明实施例的亮度补偿传感器52，用于获取当前环境亮度，并基于当前环境亮度判断出扫地机本体处于光线暗的环境时，进行亮度补偿；具体地，扫地机在沙发底或晚上等光线暗时，亮度补偿传感器工作，提供可以提供850nm红外光源，仅以此举例，不以此为限制。

本发明实施例的纹理补偿传感器53，与控制模块连接，用于将发射的红外点光源分散成光斑或条纹，在物体表面打出纹理图案；具体地，纹理补偿传感器在使用过程中一直工作，发射红外光，纹理补偿传感器通过光栅等将红外点光源分散成光斑或条纹，在目标物表面打出点状或条纹状图案，增加双目视觉模组对目标物识别率。

在一具体实施例中，双目视觉模组还包括：IMU惯性传感器、图像处理模块，其中，IMU惯性传感器及图像处理模块置于双目视觉模组中。

本发明实施例的IMU惯性传感器，其与控制模块连接，用于获取扫地机本体的加速度及角速度，控制模块基于加速度及角速度、以及环境图像，可以得到扫地机本体的位姿。

本发明实施例的图像处理模块，与控制模块连接，用于对周围环境图像进行处理，得到目标物体信息，目标物体信息包括障碍物信息及待清扫物体信息，其中，图像处理模块所涉及的图像处理方法可以为基于深度学习的算法。

在一具体实施例中，如图2所示，传感器模块2包括：光流传感器21、沿边TOF传感器22、超声波传感器23、里程计24、防跌落TOF传感器25、碰撞传感器26。

如图2所示，本发明实施例的光流传感器21，安装于扫地机本体底部，用于在每隔预设时间间隔拍摄两张周围环境图片，并基于两张周围环境图片，计算扫地机本体的运动速度。

如图2所示，本发明实施例的沿边TOF传感器22，安装于扫地机本体边缘，用于获取扫地机本体与周围障碍物的距离；具体地，沿边TOF传感器通过利用激光测距方法计算扫地机到障碍物的距离，将距离信息实时传给控制模块，多用于沿墙清扫，保持和墙面有一定距离，通常为5-20mm。

如图2所示，本发明实施例的超声波传感器23，安装于扫地机本体前部，用于获取扫地机本体与前方障碍物的距离；本发明实施例的双目视觉模组的具体结构如图3所示，超声传感器边缘密封胶套56，从而保证了超声传感器测距的准确度，图3中，本发明实施例的双目视觉模组还包括机械接口54、电气接口USB 55，其中机械接口54用于与扫地机本体连接，电气接口USB 55用于与扫地机本体电气连接。

如图2所示，本发明实施例的里程计24，安装于运动本体的驱动马达上，用于获取扫地机本体的位移信息；具体地，里程计为现有技术中的里程计，在此不再赘述。

如图2所示，本发明实施例的防跌落TOF传感器25，安装于扫地机本体底部，用于计算扫地机本体到地面的距离；具体地，防跌落TOF传感器向下发散接收红外信号，计算扫地机本体到地面目标距离，反馈给控制模块，控制模块当检测到距离大于某个限定值后，控制模块控制行走本体停止或倒退。

如图2所示，本发明实施例的碰撞传感器26，安装于扫地机本体边缘，用于当扫地机本体碰撞到障碍物时，发出碰撞信号至控制模块；具体地，碰撞传感器外侧安装缓冲器，当缓冲器撞击障碍物后，缓冲器挤压变形，从而障碍物挤压碰撞传感器，碰撞传感器发出碰撞信号，控制模块收到后控制行走本体减速或停止。

在一具体实施例中，如图4所示，扫地机还包括电源模块6，电源模块包括：供电单元、电源管理单元，其中电源管理单元置于扫地机本体内，用于实时获取供电单元的电量信息，控制模块根据电量信息判断供电单元是否处于低电量，当其处于低电量时，控制运动本体寻找充电桩。

具体地，解算出扫地机本体的位姿信息可以包括：获取环境图像，图像为XZ轴平面内与X轴呈30-90度夹角的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示扫地机本体前进的方向；提取并跟踪每帧图像的视觉局部特征信息；采集两帧图像间的IMU惯性传感器获取的信息和里程计获取的信息，并利用IMU惯性传感器获取的信息和预积分方法计算惯性导航单元信息对应的两帧图像间扫地机本体的相对位置和相对姿态，得到预积分结果；基于非线性优化方法计算扫地机本体当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中扫地机本体当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到扫地机本体当前的定位信息和关键帧图像对应的扫地机本体定位信息；根据关键帧图像对应的扫地机本体定位信息构建关键帧的位姿图，通过视觉特征袋的方法检测关键帧图像集合中的视觉闭环，并对关键帧图像所对应的扫地机本体位置和姿态进行全局优化，消除长距离运行时扫地机本体定位累积的误差，从而得到扫地机本体的位姿，基于确定的扫地机本体在当前位置的位姿信息与获取的扫地机器人在当前位置的深度信息构建环境空间的三维子地图，重复上述方法，得到最终的环境地图。

本发明实施例对扫地机本体与周围物体之间距离进行全面分析，并实时获取扫地机本体的运动速度及运动位移，从而实现控制模块综合扫地机所处环境的各种影响因素，智能规划清扫路径，以及快速避开障碍物及防止坠落。本发明实施例提供的扫地机，双目视觉模组集成有IMU惯性传感器，可以时刻提供机器人位姿变化情况；超声传感器可以识别透明障碍物，减少了遗漏目标物体的情况；纹理补偿传感器为目标物体增加了纹理，使得双目摄像机对各种非透明目标物识别率增大；亮度补偿传感器使目标更好的暴露在双目摄像机视野中；里程计和光流传感器能计算扫地机本体运行的速度和位移，辅助视觉定位。双目摄像机相对水平面上仰15°，减少双目视场打到地面，增加对周围环境的识别范围；碰撞传感器可以实现及时避障；防跌落TOF传感器识别地面坑或悬崖等，以防止坠落。

实施例2

本发明实施例提供一种扫地机的控制方法，基于实施例1的扫地机，如图5所示，控制方法包括：

步骤S11：获取扫地机本体周围环境图像及扫地机本体运动信息，在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对环境图像进行处理，得到目标物体信息；获取扫地机本体与周围物体的距离信息、扫地机本体运动信息。

步骤S12：根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制运动清洁本体按清扫路径运动、清扫。

本发明实施例控制模块根据双目视觉模组获取的环境图像、扫地机本体的加速度及角速度，解算出扫地机本体的位姿信息及建立生成环境地图，并综合考虑各种对扫地机本体的清扫轨迹的影响因素，例如：光亮、透明物体、扫地机本体与周围障碍物的距离、扫地机本体与前方障碍物的距离、扫地机本体到地面的距离、扫地机本体的运动速度、扫地机本体的位移信息等，从而智能规划出清扫路径，准确无误的清扫目标物体，及时避开障碍物及防止坠落。

需要说明的是，控制模块所涉及的解算算法、双目视觉模组所涉及的图像处理方法为现有技术中成熟的算法，具体示例已在实施例1中说明，在此不再赘述。

在一具体实施例中，如图6所示，获取扫地机本体周围环境图像及扫地机本体运动信息，在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对环境图像进行处理，得到目标物体信息的过程，包括：

步骤S21：获取当前环境亮度、双目摄像机的加速度及角速度，并基于当前环境亮度判断出扫地机本体处于光线暗的环境时，进行亮度补偿。

步骤S22：在周围环境的物体表面打出纹理图案之后，获取扫地机本体周围环境图像。

步骤S23：基于深度学习方法对环境图像进行处理，得到目标物体信息，目标物体信息包括障碍物信息及待清扫物体信息。

本发明实施例的纹理补偿传感器处于一直工作的状态，在双目摄像机获取环境图像时，通过发射红外光，纹理补偿传感器通过光栅等将红外点光源分散成光斑或条纹，在目标物表面打出点状或条纹状图案，增加双目视觉模组对目标物识别率。

在一具体实施例中，获取扫地机本体与周围物体的距离信息、扫地机本体运动信息的过程，包括：

步骤S31：获取扫地机本体与周围障碍物的距离、扫地机到地面的距离、扫地机本体与前方障碍物的距离、运动本体的驱动马达旋转速度，并根据驱动马达旋转速度及运动本体的直径，计算扫地机本体的移动位移。

步骤S32：每隔预设时间间隔拍摄两张周围环境图片，并基于两张周围环境图片，计算扫地机本体的运动速度。

本发明实施例采用光流传感器，在每隔预设时间间隔拍摄两张周围环境图片，并基于两张周围环境图片，计算扫地机本体的运动速度；沿边TOF传感器通过利用激光测距方法计算扫地机到障碍物的距离，将距离信息实时传给控制模块；超声波传感器获取扫地机本体与前方障碍物的距离；里程计获取扫地机本体的位移信息；防跌落TOF传感器25计算扫地机本体到地面的距离。

在一具体实施例中，根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制运动清洁本体按清扫路径运动、清扫的过程，包括：

步骤S41：基于深度学习算法对周围环境图像得到周围环境图像深度信息，得到目标物体信息。

步骤S42：结合扫地机本体的加速度及角速度，利用预设建图方法，建立生成环境地图，并解算出扫地机本体的位姿信息、目标物体的三维坐标信息。

步骤S43：根据扫地机本体位姿信息、目标物体的三维坐标信息、扫地机与周围物体的距离信息，智能规划行走清扫路径，控制运动清洁本体的运动状态。

本发明实施例的图像处理模块利用深度学习算法对获取的周围环境图像进行深度学习，并识别目标物体信息，其中，图像处理模块的图像识别方法不仅限于深度学习方法，还可以包括其它识别方法，例如：图像对比方法等。

在一具体实施例中，根据扫地机本体位姿信息、目标物体的三维坐标信息、扫地机与周围物体的距离信息，智能规划行走清扫路径，控制运动清洁本体的运动状态的过程，还包括：

步骤S51：根据扫地机本体位姿信息、目标物体的三维坐标信息、扫地机本体与周围障碍物的距离，选取向目标物体前进的最优路径。

步骤S52：在行走清扫的过程中，实时根据扫地机本体与周围障碍物的距离、扫地机本体位姿信息、扫地机本体的移动位移，保持或更改向目标物体前进的最优路径，直至完成清扫目标物体。

本发明实施例的控制模块根据扫地机本体位姿信息、扫地机本体位姿信息、目标物体的三维坐标信息、扫地机本体与周围障碍物的距离以及环境地图等，选取最优路径，直至完成清扫目标物体，具体地，当扫地机本体与周围障碍物的距离小于某个阈值时，及时避让障碍物。

在一具体实施例中，控制模块还判断扫地机本体到地面的距离是否大于预设距离阈值，当其大于预设距离阈值时，控制扫地机本体停止或后退，从而防止坠落。

本发明实施例提供的扫地机的控制方法，根据环境图像、双目摄像机的加速度及角速度，解算出扫地机本体的位姿信息及建立生成环境地图，并综合考虑各种对扫地机本体的清扫轨迹的影响因素，从而智能规划出清扫路径，可以实现准确无误的清扫目标物体，及时避开障碍物及防止坠落；在获取图像时，增加纹理补偿，从而使对各种非透明目标物识别率增大，增加亮度补偿，使目标更好的暴露在双目摄像机视野中。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (12)

1.一种扫地机，其特征在于，包括：扫地机本体、传感器模块、控制模块、运动清洁本体、双目视觉模组，传感器模块、双目视觉模组置于扫地机本体边缘，控制模块置于扫地机本体内部，运动清洁本体安装于扫地机本体的底部，运动清洁本体包括运动本体及清洁本体，其中，

双目视觉模组内置双目摄像机，用于获取扫地机本体周围环境图像及扫地机本体运动信息，在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对环境图像进行处理，得到目标物体信息并发送给控制模块；

传感器模块，用于获取扫地机本体与周围物体的距离信息、扫地机本体运动信息，并发送给控制模块；

所述控制模块与所述运动清洁本体连接，用于根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制所述运动清洁本体按清扫路径运动、清扫。

2.根据权利要求1所述的扫地机，其特征在于，所述双目视觉模组还包括：

IMU惯性传感器，其与所述控制模块连接，用于获取所述扫地机本体的加速度及角速度；

亮度补偿传感器，用于获取当前环境亮度，并基于所述当前环境亮度判断出所述扫地机本体处于光线暗的环境时，进行亮度补偿；

纹理补偿传感器，与所述控制模块连接，用于将发射的红外点光源分散成光斑或条纹，在物体表面打出纹理图案；

图像处理模块，与所述控制模块连接，用于对所述周围环境图像进行处理，得到目标物体信息，所述目标物体信息包括障碍物信息及待清扫物体信息。

3.根据权利要求1所述的扫地机，其特征在于，所述传感器模块包括：

光流传感器，安装于扫地机本体底部，用于在每隔预设时间间隔拍摄两张周围环境图片，并基于所述两张周围环境图片，计算扫地机本体的运动速度；

沿边TOF传感器，安装于扫地机本体边缘，用于获取扫地机本体与周围障碍物的距离；

超声波传感器，安装于扫地机本体前部，用于获取扫地机本体与前方障碍物的距离；

里程计，安装于所述运动本体的驱动马达上，用于获取扫地机本体的位移信息；

防跌落TOF传感器，安装于所述扫地机本体底部，用于计算扫地机本体到地面的距离；

碰撞传感器，安装于所述扫地机本体边缘，用于当扫地机本体碰撞到障碍物时，发出碰撞信号至所述控制模块。

4.根据权利要求1所述的扫地机，其特征在于，还包括：

电源模块，所述电源模块包括：供电单元、电源管理单元，其中电源管理单元置于扫地机本体内，用于实时获取供电单元的电量信息，所述控制模块根据所述电量信息判断所述供电单元是否处于低电量，当其处于低电量时，控制运动本体寻找充电桩。

5.根据权利要求1所述的扫地机，其特征在于，所述双目摄像机以预设上仰度数安装。

6.一种扫地机的控制方法，其特征在于，基于权利要求1–5任一项所述的扫地机，所述控制方法包括：

获取扫地机本体周围环境图像及扫地机本体运动信息，在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对所述环境图像进行处理，得到目标物体信息；获取所述扫地机本体与周围物体的距离信息、扫地机本体运动信息；

根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制所述运动清洁本体按清扫路径运动、清扫。

7.根据权利要求6所述的扫地机的控制方法，其特征在于，

所述扫地机本体与周围物体的距离信息包括：扫地机本体与周围障碍物的距离、扫地机本体与前方障碍物的距离、扫地机本体到地面的距离；

所述扫地机本体运动信息包括：扫地机本体的加速度及角速度、扫地机本体的运动速度、扫地机本体的位移信息。

8.根据权利要求7所述的扫地机的控制方法，其特征在于，所述获取扫地机本体周围环境图像及扫地机本体运动信息，在获取图像时，对周围环境进行亮度补偿及纹理补偿，并对所述环境图像进行处理，得到目标物体信息的过程，包括：

获取当前环境亮度、双目摄像机的加速度及角速度，并基于所述当前环境亮度判断出所述扫地机本体处于光线暗的环境时，进行亮度补偿；

在周围环境的物体表面打出纹理图案之后，获取扫地机本体周围环境图像；

基于深度学习方法对所述环境图像进行处理，得到目标物体信息，所述目标物体信息包括障碍物信息及待清扫物体信息。

9.根据权利要求7所述的扫地机的控制方法，其特征在于，所述获取所述扫地机本体与周围物体的距离信息、扫地机本体运动信息的过程，包括：

获取扫地机本体与周围障碍物的距离、扫地机到地面的距离、扫地机本体与前方障碍物的距离、运动本体的驱动马达旋转速度，并根据所述驱动马达旋转速度及运动本体的直径，计算扫地机本体的移动位移；

每隔预设时间间隔拍摄两张周围环境图片，并基于所述两张周围环境图片，计算扫地机本体的运动速度。

10.根据权利要求7所述的扫地机的控制方法，其特征在于，所述根据传感器模块发送的信息解算出扫地机本体的位姿信息及建立生成环境地图，并结合双目视觉模组发送的信息、传感器模块发送的信息及环境地图，生成清扫路径，并控制所述运动清洁本体按清扫路径运动、清扫的过程，包括：

基于深度学习算法对所述周围环境图像得到周围环境图像深度信息，得到目标物体信息；结合所述扫地机本体的加速度及角速度，利用预设建图方法，建立生成环境地图，并解算出扫地机本体的位姿信息、目标物体的三维坐标信息；

根据所述扫地机本体位姿信息、目标物体的三维坐标信息、扫地机与周围物体的距离信息，智能规划行走清扫路径，控制所述运动清洁本体的运动状态。

11.根据权利要求10所述的扫地机的控制方法，其特征在于，根据所述扫地机本体位姿信息、目标物体的三维坐标信息、扫地机与周围物体的距离信息，智能规划行走清扫路径，控制所述运动清洁本体的运动状态的过程，还包括：

根据扫地机本体位姿信息、目标物体的三维坐标信息、扫地机本体与周围障碍物的距离，选取向目标物体前进的最优路径；

在行走清扫的过程中，实时根据扫地机本体与周围障碍物的距离、扫地机本体位姿信息、扫地机本体的移动位移，保持或更改向目标物体前进的最优路径，直至完成清扫目标物体。

12.根据权利要求10所述的扫地机的控制方法，其特征在于，根据所述扫地机本体位姿信息、目标物体的三维坐标信息、扫地机与周围物体的距离信息，智能规划行走清扫路径，控制所述运动清洁本体的运动状态的过程，还包括：

判断扫地机本体到地面的距离是否大于预设距离阈值，当其大于预设距离阈值时，控制扫地机本体停止或后退。

Images