CN103054522A - 基于视觉测量的清洁机器人系统及其测控方法 - Google Patents

Abstract

本发明公开了一种基于视觉测量的清洁机器人系统及其测控方法，该室内清洁机器人系统不仅包括中央子系统、吸尘子系统、行进子系统、测量子系统和电源子系统，还包括视觉子系统，特别地，测量子系统中还引入了方向角传感器（电子指南针）。室内清洁机器人的测控方法包括：地图构建方法、行进检测机制、地图修正方法、自定位方法等。结合线结构光双目立体视觉和超声两种测距手段，融合视觉图像特征构建地图，使地图具有准确、细粒度、信息丰富的特点；自定位方法以视觉图像的局部不变特征作为参考点，无需额外基站。本发明提高了室内清洁机器人对非结构化环境的适应能力、行进估计准确度和清洁效率。

Description

基于视觉测量的清洁机器人系统及其测控方法

技术领域

本发明涉及一种基于视觉测量的清洁机器人系统及其测控方法，属于机器人领域。

背景技术

近年来，室内清洁机器人备受关注，人们对其智能化程度的要求也越来越高。传统室内清洁机器人通常有非地图导航和基于地图导航两种路径规划方式，基于地图导航代表清洁机器人的发展方向，其地图构建方法则体现了清洁机器人智能程度。常见地图构建方法的环境监测手段有：红外传感器、超声传感器、双目立体视觉、结构光机器视觉等，机器人行进中的自定位技术往往借助于编码器、陀螺仪等计算单位时间内机器人的方位变化。

在现有技术中，中国专利公开号CN 101446832 A，公开日2009年6月3日，发明名称是机器人吸尘器自动避障及其控制方法，该发明提出设置一个基站，吸尘本体与基站之间保持通信联系，执行吸尘、避障，并能自主回到基站充电。该发明的不足在于吸尘本体和基站之间采用红外方式通信，易受环境影响，且需要额外维护基站。

中国专利申请公布号CN101852609 A，申请公布日2010年10年6日，发明名称是一种基于机器人双目立体视觉的地面障碍物检测方法，该发明公开了一种基于机器人双目立体视觉的地面障碍物检测方法，在地面视差值的基础上，通过反投影模型计算出某像素对应场景的三维坐标，从而初步判断该像素属于障碍物或是地面点，对障碍物和地面点赋予不同的颜色；最后控制机器人实施避障。该发明的缺点是测距受光照等条件影响较大，不及超声测距准确，地图构建以及机器人行进无方向参照。

中国专利申请公布号CN 102138769 A，申请公布日2011年8月3日，发明名称是清洁机器人及其清扫方法，该发明地图边界中标识可清扫区域，在首次遍历的同时或之后，按照预设清扫方式进行清扫，提高了清扫效率。但该方法以机器人原始位置为坐标原点，以机器人行走距离为基础构建地图，容易积累误差，且缺少对地图适时调整的功能。

因此，设计一个无基站定位、环境适应能力强、地图构建准确灵活的室内清洁机器人系统是一个亟待解决的问题。

发明内容

发明目的：本发明提出一种基于视觉测量的清洁机器人系统及其测控方法，解决了现有清洁机器人易受环境影响，需要额外基站支持以及地图构建不够灵活的缺点。 

技术方案：本发明采用的技术方案为一种基于视觉测量的清洁机器人系统，包括进行数据处理的中央子系统，拍摄图像的视觉子系统，测量与障碍物距离的测量子系统，行走子系统，吸尘子系统，以及给本装置所有子系统提供电力供应的电源子系统。所述中央子系统由信息采集模块、信息处理模块、控制输出模块、人机交互模块组成。信息采集模块负责采集来自测量子系统和视觉子系统的传感器数据，这些数据传递给信息处理模块。信息处理模块对传感器数据进行信息处理、数据融合和判断决策。控制输出模块根据信息处理模块的判断决策向吸尘子系统、行走子系统输出控制信号。人机交互模块提供系统设置、系统标定等人机交互接口。所述电源子系统包括锂电池组和充放电保护模块两部分，锂电池组为清洁机器人提供48V工作电压，充放电保护模块负责在电池组充电时将220V电压变换成充电电压，在电池组放电时提供放电保护及实时告警，必要时并断掉电源。所述吸尘子系统由起尘模块、滤尘模块、吸尘模块、储尘模块组成。所述行走子系统包括减速机构、车轮、电机驱动、步进电机等模块。所述测量子系统由方向角测量、倾角测量、超声波测距、高度测量等模块组成。方向角测量的核心部件为电子指南针，测量视觉子系统的方向角。倾角测量负责测量机器人系统的倾角，用作位姿判定依据。超声波测距由超声波传感器实现，其原理是通过发射声波与接收声波的时间差计算距离。所述视觉子系统包括结构光发射器和双目CCD传感器两部分，结构光发射器向前方投射线结构光，双目CCD传感器采集场景图像。

一种机器人地图构建方法，包括以下步骤：

1）将左右双目CCD拍摄到的图像分别记为P_L、P_R，以线结构光为界，将P_L和P_R两幅图像分别分为左右两部分，即P_LL与P_LR、P_RL与P_RR，并提取图像的边缘、角点等几何特征；

2）以P_LR最靠近线结构光部分的几何特征为基准，在P_RR中寻求立体匹配，若找到匹配特征则转入第6）步，若未找到匹配特征则说明左CCD或右CCD前有近距离障碍，继续进入第3）步进行判定；

3）首先检查左CCD前是否有近距离障碍，启动超声测距，控制云台以3°为步长逆时针旋转直到累计偏转角度大于等于Ф，在每一步旋转后都使用超声波进行障碍物探测，若最终未检测到距离小于bcosФ的障碍，说明左CCD前无近距离障碍，转入第4）步对右CCD前是否有近距离障碍作检测，若在某一步中检测到距离小于bcosФ的障碍，则说明左CCD前有近距离障碍，记录该点的图像特征及距离信息作为特征点，控制云台归位后再顺时针旋转15°，启动双目视觉测距，转入第1）步；

4）控制云台归位，启动超声测距，控制云台以3°为步长顺时针旋转直到累计偏转角度大于等于Ф，在每一步旋转后都进行障碍物探测，若最终未检测到距离小于bcosФ的障碍，说明右CCD前无近距离障碍，转入第5）步，若在某一步中检测到距离小于bcosФ的障碍，则说明右CCD前有近距离障碍，转入第6）步；

5）控制云台归位，然后顺时针旋转15°，转入第1）步；

6）记录该障碍点的图像特征及距离信息作为特征点，计算该点方向角，据此方向角控制云台旋转，使视觉子系统朝向该特征点，执行第7）步；

7）启动方向角计算，若方向角偏正南方向大于15°或特征点数小于24个，则转入第2）步，否则控制云台面向正南方向，根据获取的特征点信息，绘制栅格地图，结束地图构建。

一种机器人行进中参考点的选取方法，其特征在于，包括以下步骤：

1）获得室内清洁机器人初始位置正南方向的左右两张CCD图像P_L和P_R；

2）对P_L、P_R进行局部不变特征检测，获取图像中不随光照、方向变化的局部特征；

3）对特征点进行立体视觉匹配，并进行视觉测距，选取最近的特征点计算其方向角；

4）根据第3）步得到的方向角控制云台将视觉系统正对特征点，启动超声测距；

5）若超声测距与视觉测距在误差范围之内，则选定该特征点作为参考点并结束，否则选其他特征点尝试以上过程，直到找到特征点。

有益效果：本发明构建的地图具有距离准确、细粒度、信息丰富的特点，利用超声测距和线结构光双目测距的方法，避免了光照颜色等易变化的外界因素对地图构建和特征点选取的影响。自定位方法以视觉图像的局部不变特征作为参考点，提高了清洁机器人在室内非结构化环境中的适应能力和清洁效率，且无需额外基站。

附图说明

图1为实施例提供的室内清洁机器人功能模块示意图；

图2为实施例提供的室内清洁机器人视觉子系统的结构示意图；

图3为实施例提供的室内清洁机器人初始化流程图；

图4为实施例提供的线结构光视觉系统的视场模型示意图；

图5为实施例提供的初始地图构建流程图；

图6为实施例提供的自定位技术的参考点选取流程图；

图7为实施例提供的行进检测逻辑图；

图8为实施例提供的地图修正流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明提出了一种基于机器视觉和多传感器信息融合的室内清洁机器人，包括进行数据处理的中央子系统，拍摄图像的视觉子系统，测量与障碍物距离的测量子系统，行走子系统，吸尘子系统，以及给本装置所有子系统提供电力供应的电源子系统。所述中央子系统01由信息采集模块11、信息处理模块12、控制输出模块13、人机交互模块14组成。信息采集模块11负责采集来自测量子系统和视觉子系统的传感器数据，这些数据传递给信息处理模块12。信息处理模块12对传感器数据进行信息处理、数据融合和判断决策。控制输出模块13根据信息处理模块12的判断决策向吸尘子系统03、行走子系统04输出控制信号。人机交互模块14提供系统设置、系统标定等人机交互接口。所述电源子系统02包括锂电池组15和充放电保护模块16两部分，锂电池组15为清洁机器人提供48V工作电压，充放电保护模块16负责在电池组充电时将220V电压变换成充电电压，在电池组放电时提供放电保护及实时告警，必要时并断掉电源。所述吸尘子系统03由起尘模块17、滤尘模块18、吸尘模块19、储尘模块20组成。所述行走子系统04包括减速机构21、车轮22、电机驱动23、步进电机24等模块。所述测量子系统05由方向角测量25、倾角测量26、超声波测距27、高度测量28等模块组成。方向角测量25的核心部件为电子指南针，测量视觉子系统的方向角。倾角测量26负责测量机器人系统的倾角，用作位姿判定依据。超声波测距27由超声波传感器实现，其原理是通过发射声波与接收声波的时间差计算距离。所述视觉子系统05包括结构光发射器29和双目CCD传感器 30两部分，结构光发射器29向前方投射线结构光，双目CCD传感器30采集场景图像。

图2是视觉子系统的结构示意图。该装置安装有双目CCD传感器30、线结构光投射器29、超声测距传感器27、方向角传感器25，整个装置固定在云台31上，云台31可以在中央子系统01的控制下旋转指定角度。

本发明清洁机器人系统上电后，执行系统自检。自检流程如图3所示，第1步进行电源子系统自检，检测电池组当前电压及每节电池的工作状态是否正常；第2步检测行走子系统，获取电机工作信号；第3步进行基本输入输出自检，检测人机交互接口工作是否正常；第4步检测倾斜角模块工作状态；第5步进行电子指南针模块检测；第6步高度传感器检测；第7步视觉系统检测，测试CCD传感器及线结构光投射器工作情况；第8步进行超声模块检测，测试超声发射与接收是否正常。

清洁机器人自检完成后，系统启动地图构建程序，检测非结构化环境信息，建立清扫区域的初始地图。本发明构建初始地图的基本思想是结合线结构光双目视觉测距与超声测距的优势，运用方向角传感器（电子指南针）提供的方向信息，建立具有明确方向信息、细粒度距离信息、图像特征信息的栅格地图。线结构光双目视觉系统的模型如图4所示，实心黑点分别表示左CCD和右CCD的小孔成像模型，间距为b，点线相间虚线表示两CCD的视场，视场角为2Ф，点虚线表示线结构光，显然，出现在两CCD视场非相交区域的障碍物不能在两CCD图像中找到立体匹配，因此在建立地图时，需要考虑此类现象对立体匹配的影响。

地图构建方法的程序流程如图5所示，首先进行视觉测量，使用磁阻传感器测量视觉子系统的方向角，据此方向角，控制云台旋转使视觉子系统面向正南方向。然后启动线结构光双目测距得到距离S_A1，以及超声测距得到距离S_A2。由于线结构光双目测距易受光照等因素的影响不一定能准确测量障碍物距离，因此将S_A1和S_A2距离比对，若两个距离之差在误差范围内，则记录线结构光特征点的地图信息，开始进行地图构建。接下来进行细粒度的旋转测距，获取建立地图所需的至少24个特征点的图像特征及距离信息，涉及双目立体视觉特征提取、特征匹配等技术，具体地可分为如下步骤：

1）将左右双目CCD拍摄到的图像分别记为P_L、P_R，以线结构光为界，将P_L和P_R两幅图像分别分为左右两部分，即P_LL与P_LR、P_RL与P_RR，并提取图像的边缘、角点等几何特征；

2）以P_LR最靠近线结构光部分的几何特征为基准，在P_RR中寻求立体匹配，若找到匹配特征则转入第6）步，若未找到匹配特征则说明左CCD或右CCD前有近距离障碍，继续进入第3）步进行判定；

3）首先检查左CCD前是否有近距离障碍，启动超声测距，控制云台以3°为步长逆时针旋转直到累计偏转角度大于等于Ф，在每一步旋转后都使用超声波进行障碍物探测，若最终未检测到距离小于bcosФ的障碍，说明左CCD前无近距离障碍，转入第4）步对右CCD前是否有近距离障碍作检测，若在某一步中检测到距离小于bcosФ的障碍，则说明左CCD前有近距离障碍，记录该点的图像特征及距离信息作为特征点，控制云台归位后再顺时针旋转15°，启动双目视觉测距，转入第1）步；

4）控制云台归位，启动超声测距，控制云台以3°为步长顺时针旋转直到累计偏转角度大于等于Ф，在每一步旋转后都进行障碍物探测，若最终未检测到距离小于bcosФ的障碍，说明右CCD前无近距离障碍，转入第5）步，若在某一步中检测到距离小于bcosФ的障碍，则说明右CCD前有近距离障碍，转入第6）步；

5）控制云台归位，然后顺时针旋转15°，转入第1）步；

6）记录该障碍点的图像特征及距离信息作为特征点，计算该点方向角，据此方向角控制云台旋转，使视觉子系统朝向该特征点，执行第7）步；

7）启动方向角计算，若方向角偏正南方向大于15°或特征点数小于24个，则转入第2）步，否则控制云台面向正南方向，根据获取的特征点信息，绘制栅格地图，结束地图构建。

本发明清洁机器人在行进中不仅可以检测到明确的方向信息，还可以借助于参考点获取准确的行进距离。关于参考点的选取，本发明采用局部不变特征检测技术获取局部不变特征作为室内清洁机器人行进距离计算的参考点。所谓局部不变特征即参考点选取流程如图6所示：第1步，获得室内清洁机器人初始位置正南方向的两CCD图像P_L、P_R；第2步，对P_L、P_R进行局部不变特征检测，获取图像中不随光照、方向变化的局部特征；第3步，对特征点进行立体视觉匹配，并进行视觉测距，选取最近的特征点计算其方向角；第4步，根据第3步得到的方向角控制云台将视觉系统正对特征点，启动超声测距；第5步，若超声测距与视觉测距在误差范围之内，则选定该特征点作为参考点并结束，否则选其他特征点尝试以上过程。

为降低生成行进策略的运算量，在机器人行进过程中，本发明不使用视觉测距，而启用前方、左侧、右侧超声测距和下视高度测量，行进检测所涉及的符号的含义如下：

D1——超声测距得到的前方障碍距离；

D2——超声测距得到的左侧障碍距离；

D3——超声测距得到的右侧障碍距离；

D4——高度测量模块检测得到的高度值；

——减速慢行临界值；

——下视高度临界值；

——系统根据当前地图及行进距离计算得到的前方障碍距离取值范围；

——系统根据当前地图及行进距离计算得到的左侧障碍距离取值范围；

——系统根据当前地图及行进距离计算得到的右侧障碍距离取值范围。

如图7所示，室内清洁机器人在行进中，使用多传感器不断检测前方、左侧、右侧、下视距离，并根据当前地图和行进距离计算上述距离的取值范围，然后做出行动决策。正常情况下，D1应在前方障碍距离取值范围内，D2在左侧障碍距离取值范围内，D3在右侧障碍距离取值范围内。当D1、D2、D3任意一个不在其取值范围或者D4大于下视高度临界值时，说明当前地图与实际环境不符，系统启动地图修正程序；当D1、D2、D3每个都在其取值范围并且D4小于等于下视高度临界值，但D1大于减速慢行临界值时，说明地图准确且前方距离安全，室内清洁机器人匀速前进；当D1、D2、D3每个都在其取值范围并且D4小于等于下视高度临界值，但D1也小于等于减速慢行临界值时，说明地图准确但前方已逼近障碍物，室内清洁机器人减速前进。

在室内清洁机器人行进中，若发现实际环境与当前地图不一致，则应启动地图修正程序，其流程如图8所示：第1步，根据方向角数据，控制云台旋转，使视觉系统面向正南方向，获取左右CCD图像P_L、P_R ；第2步，对P_L、P_R 进行参考点检测，若检测到参考点，则转第3步，否则转第5步；第3步，计算参考点方向角，控制云台使视觉系统正对参考点，启动线结构光双目视觉测距D_L和前方超声测距D_S，比较两者是否在误差范围相等，若相等则转入第4步，否则发出系统标定警告；第4步，根据行进距离和当前地图计算室内清洁机器人当前位置距参考点的距离Dm，若该距离与超声测距在误差内相等，则直接转第5步，否则修正当前位置地图坐标后转第5步；第5步，控制云台旋转，使视觉系统面向距离越限方向，并启动视觉测距和图像特征提取，以此新特征信息修正当前地图，结束。

Claims (9)

1.一种清洁机器人系统，其特征在于，包括进行数据处理的中央子系统，拍摄图像的视觉子系统，测量与障碍物距离的测量子系统，行走子系统，吸尘子系统，以及给本装置所有子系统提供电力供应的电源子系统；

其中行走子系统和吸尘子系统受到中央子系统的控制，视觉子系统将其拍摄的图像发送到中央子系统，测量子系统将测量的数据发送给中央子系统。

2.根据权利要求1所述的清洁机器人系统，其特征在于，所述中央子系统由信息采集模块、信息处理模块、控制输出模块和人机交互模块组成。

3.根据权利要求2所述的清洁机器人系统，其特征在于，所述视觉子系统由双目CCD和结构光发射器组成。

4.根据权利要求3所述的清洁机器人系统，其特征在于，所述测量子系统由超声波测距、倾角测量、方向角测量和高度测量组成。

5.根据权利要求4所述的清洁机器人系统，其特征在于，所述电源子系统由锂电池组合充放电保护模块组成。

6.根据权利要求5所述的清洁机器人系统，其特征在于，所述行走子系统由电机驱动、步进电机、减速机构和车轮组成。

7.根据权利要求6所述的清洁机器人系统，其特征在于，所述吸尘子系统由起尘模块、滤尘模块、吸尘模块和储尘模块组成。

8.一种机器人地图构建方法，其特征在于，包括以下步骤：

1）将左右双目CCD拍摄到的图像分别记为P_L、P_R，以线结构光为界，将P_L和P_R两幅图像分别分为左右两部分，即P_LL与P_LR、P_RL与P_RR，并提取图像的几何特征；

2）以P_LR最靠近线结构光部分的几何特征为基准，在P_RR中寻求立体匹配，若找到匹配特征则转入第6）步，若未找到匹配特征则说明左CCD或右CCD前有近距离障碍，继续进入第3）步进行判定；

3）启动超声测距，控制云台以3°为步长逆时针旋转直到累计偏转角度大于等于Ф，在每一步旋转后都进行障碍物探测，若最终未检测到距离小于bcosФ的障碍，说明左CCD前无近距离障碍，转入第4）步，若在某一步中检测到距离小于bcosФ的障碍，则说明左CCD前有近距离障碍，记录该点的图像特征及距离信息作为特征点，控制云台归位后再顺时针旋转15°，启动双目视觉测距，转入第1）步；

4）控制云台归位，启动超声测距，控制云台以3°为步长顺时针旋转直到累计偏转角度大于等于Ф，在每一步旋转后都进行障碍物探测，若最终未检测到距离小于bcosФ的障碍，说明右CCD前无近距离障碍，转入第5）步，若在某一步中检测到距离小于bcosФ的障碍，则说明右CCD前有近距离障碍，转入第6）步；

5）控制云台归位，然后顺时针旋转15°，转入第1）步；

6）记录该障碍点的图像特征及距离信息作为特征点，计算该点方向角，据此方向角控制云台旋转，使视觉子系统朝向该特征点，执行第7）步；

7）启动方向角计算，若方向角偏正南方向大于15°或特征点数小于24个，则转入第2）步，否则控制云台面向正南方向，根据获取的特征点信息，绘制栅格地图，结束地图构建。

9.一种机器人行进中参考点的选取方法，其特征在于，包括以下步骤：

1）获得室内清洁机器人初始位置正南方向的左右两张CCD图像P_L和P_R；

2）对P_L、P_R进行局部不变特征检测，获取图像中不随光照、方向变化的局部特征；

3）对特征点进行立体视觉匹配，并进行视觉测距，选取最近的特征点计算其方向角；

4）根据第3）步得到的方向角控制云台将视觉系统正对特征点，启动超声测距；

5）若超声测距与视觉测距在误差范围之内，则选定该特征点作为参考点并结束，否则选其他特征点尝试以上过程，直到找到特征点。

Images