CN106527444B - 清洁机器人的控制方法及清洁机器人 - Google Patents

清洁机器人的控制方法及清洁机器人 Download PDF

Info

Publication number
CN106527444B
CN106527444B CN201611089250.2A CN201611089250A CN106527444B CN 106527444 B CN106527444 B CN 106527444B CN 201611089250 A CN201611089250 A CN 201611089250A CN 106527444 B CN106527444 B CN 106527444B
Authority
CN
China
Prior art keywords
image
cleaning robot
obstacle
extracted
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611089250.2A
Other languages
English (en)
Other versions
CN106527444A (zh
Inventor
刘均
宋朝忠
杨伟
欧阳张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Launch Technology Co Ltd
Original Assignee
Shenzhen Launch Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Launch Technology Co Ltd filed Critical Shenzhen Launch Technology Co Ltd
Priority to CN201611089250.2A priority Critical patent/CN106527444B/zh
Priority to PCT/CN2017/075005 priority patent/WO2018098915A1/zh
Publication of CN106527444A publication Critical patent/CN106527444A/zh
Application granted granted Critical
Publication of CN106527444B publication Critical patent/CN106527444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision

Abstract

本发明公开了一种清洁机器人的控制方法，所述方法包括：接收双目摄像装置发送的激光影像并对所述激光影像进行分析，以判断所述激光影像对应的地面是否干净；若地面不干净，则提取所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像；分别将提取到的左图像和右图像与预设图片对比，其中，所述预设图片为地面没有障碍物时的图片；若提取到的左图像和右图像与对应的预设图片一致，则控制清洁机器人进行清洁。本发明还公开了一种清洁机器人。本发明能够提高清洁机器人的避障效果，减少碰撞，从而提高清洁机器人的清洁效率。

Description

清洁机器人的控制方法及清洁机器人
技术领域
本发明涉及机器人领域，尤其涉及一种清洁机器人的控制方法及清洁机器人。
背景技术
随着人们生活环境的不断提高，家里打扫卫生清洁成为都市人里最头疼的事情。因此人们对智能化扫地机器人的需求量越来越大，但是当用户家里有障碍物时，智能化扫地机器人在打扫过程中经常会与障碍物发生碰撞。
现有技术中，扫地机器人通常采用超声波和红外接近检测进行测距，从而躲避障碍物。通过上述方式，会导致测量的盲区较多，不能有效避免碰撞问题。
发明内容
本发明的主要目的在于提出一种清洁机器人的控制方法及清洁机器人，旨在解决现有技术不能有效避免碰撞问题的技术问题。
为实现上述目的，本发明提供一种清洁机器人的控制方法，所述方法包括以下步骤：
接收双目摄像装置发送的激光影像并对所述激光影像进行分析，以判断所述激光影像对应的地面是否干净；
若地面不干净，则提取所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像；
分别将提取到的左图像和右图像与预设图片对比，其中，所述预设图片为地面没有障碍物时的图片；
若提取到的左图像和右图像与对应的预设图片一致，则控制清洁机器人进行清洁。
可选地，所述接收双目摄像装置发送的激光影像并对所述激光影像进行分析，从而判断所述激光影像对应的地面是否干净的步骤包括：
提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述激光影像与预设激光影像进行对比，其中，若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净，若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。
可选地，所述分别将提取到的左图像和右图像与对应的预设图片对比的步骤之前还包括：
根据提取到的左图像和右图像识别不干净的地面对应的方位；
提取不干净的地面对应的方位没有障碍物时的预设图片。
可选地，所述分别将提取到的左图像和右图像与对应的预设图片对比的步骤之后还包括：
若提取到的图像与对应的预设图片不一致，则根据双目视觉测距算法，确定提取到的图像中的障碍物与清洁机器人之间的距离；
判断所述清洁机器人与障碍物之间的距离是否小于预设安全距离；
若所述清洁机器人与障碍物之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向。
可选地，所述根据双目视觉测距算法，确定提取到的图像中的障碍物与清洁机器人之间的距离的步骤包括：
将所述左图像和右图像进行立体匹配，获得所述左图像和右图像之间的视差图；
根据所述视差图计算获得深度图像；
提取所述深度图像中的深度信息；
根据所述深度信息确定所述障碍物的三维坐标，并根据所述障碍物的三维坐标确定所述障碍物与清洁机器人之间的距离。
此外，为实现上述目的，本发明还提供一种清洁机器人，所述清洁机器人包括：
接收模块，用于接收双目摄像装置发送的激光影像；
判断模块，用于对所述激光影像进行分析，以判断所述激光影像对应的地面是否干净；
提取模块，用于若地面不干净，则提取所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像；
对比模块，用于分别将提取到的左图像和右图像与预设图片对比，其中，所述预设图片为地面没有障碍物时的图片；
控制模块，用于若提取到的左图像和右图像与对应的预设图片一致，则控制清洁机器人进行清洁。
可选地，所述判断模块，还用于：
提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述激光影像与预设激光影像进行对比，其中，若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净，若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。
可选地，所述清洁机器人还包括：
识别模块，用于根据提取到的左图像和右图像识别不干净的地面对应的方位；
所述提取模块，还用于提取不干净的地面对应的方位没有障碍物时的预设图片。
可选地，所述清洁机器人还包括：
确定模块，用于若提取到的图像与对应的预设图片不一致，则根据双目视觉测距算法，确定提取到的图像中的障碍物与清洁机器人之间的距离；
判断模块，用于判断所述清洁机器人与障碍物之间的距离是否小于预设安全距离；
调整模块，用于若所述清洁机器人与障碍物之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向。
可选地，所述确定模块包括：
匹配单元，用于将所述左图像和右图像进行立体匹配，获得所述左图像和右图像之间的视差图；
计算单元，用于根据所述视差图计算获得深度图像；
提取单元，用于提取所述深度图像中的深度信息；
确定单元，用于根据所述深度信息确定所述障碍物的三维坐标，并根据所述障碍物的三维坐标确定所述障碍物与清洁机器人之间的距离。
本发明提出的清洁机器人的控制方法及清洁机器人，接收双目摄像装置发送的激光影像并对所述激光影像进行分析以确定所述激光影像对应的地面是否干净，在地面不干净时，提取激光影像对应的双目摄像装置当前所采集到的左图像和右图像，在左图像和右图像与地面没有障碍物时的预设图片一致，则认为不干净的地面对应的方位没有障碍物，通过图像对比的方式判定是否存在障碍物，降低了清洁机器人在清洁过程中发生碰撞的概率，从而提高清洁机器人的清洁效率。
附图说明
图1为本发明清洁机器人的控制方法第一实施例的流程示意图；
图2为本发明清洁机器人的控制方法第三实施例的流程示意图；
图3为本发明清洁机器人的控制方法第四实施例的流程示意图；
图4为本发明清洁机器人的控制方法第五实施例中根据双目视觉测距算法，确定提取到的图像中的障碍物与清洁机器人之间的距离的步骤的细化流程示意图；
图5为本发明清洁机器人第一实施例的功能模块示意图；
图6为本发明清洁机器人第三实施例的功能模块示意图；
图7为本发明清洁机器人第四实施例的功能模块示意图；
图8为本发明清洁机器人第五实施例中确定模块的细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种清洁机器人的控制方法。
参照图1，图1为本发明清洁机器人的控制方法第一实施例的流程示意图。
在本实施例中，该方法包括：
步骤S100，接收双目摄像装置发送的激光影像并对所述激光影像进行分析，从而判断所述激光影像对应的地面是否干净。
在本实施例中，所述清洁机器人包括机器人本体，及安装在机器人四周的双目摄像装置、激光装置及控制器，在实施本实施例之前，需要将所述清洁机器人清洁的区域为干净状态时的激光影像及所述区域没有障碍物时的图片保存至控制器，以便后期判断所述区域是否干净及判断所述区域是否存在障碍物。在所述清洁机器人开始清洁时，首先所述激光装置发出激光束，然后通过双目摄像装置对所述激光束进行捕捉，从而获得激光束的激光影像。所述双目摄像装置获得激光束的激光影像之后，将所述激光影像发送至清洁机器人中的控制器，所述控制器接收双目摄像装置发送的激光影像并对所述激光影像进行分析，从而判断所述激光影像对应的地面是否干净。
步骤S200，若地面不干净，则提取所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像。
若所述激光影像对应的地面不干净，则需要控制所述清洁机器人前往所述激光影像对应的地面进行清洁。为了防止清洁机器人与障碍物发生碰撞，在机器人前往清洁之前，需要判断所述激光影像对应的地面对应的方位是否存在障碍物。因此，首先需要提取所述激光影像对应位置的双目摄像装置当前所采集到的左图像和右图像。
步骤S300，分别将提取到的左图像和右图像与预设图片对比，其中，所述预设图片为地面没有障碍物时的图片。
在提取到激光影像对应的双目摄像装置当前所采集到的左图像和右图像之后，通过将所述左图像和右图像与对应的预设图像进行对比，从而判断不干净的地面对应的方位是否有障碍物，其中，若提取到的图像与对应的预设图片一致，则判断所述不干净的地面对应的方位没有障碍物，若提取到的图像与对应的预设图片不一致，则判断所述不干净的地面对应的方位有障碍物，所述预设图片为地面没有障碍物时的图片。具体实施过程中，在将提取到的左图像和右图像与对应的预设图片对比时，还可以设置为当提取到的图像与对应的预设图片之间的差异在预设范围内时，判断所述图像对应的方位没有障碍物。因为当所述机器人的本体较大时，体积较小的障碍物与所述清洁机器人发生碰撞不会影响机器人的清洁工作，也不会给机器人本体造成伤害，因此可以设置为当提取到的图像与对应的预设图片之间的差异在预设范围内时，判断所述图像对应的方位没有障碍物。
步骤S400，若提取到的左图像和右图像与对应的预设图片一致，则控制清洁机器人进行清洁。
若提取到的左图像和右图像与对应的预设图片一致，则说明不干净的地面对应的方位没有障碍物，所述控制器可以发出控制指令，控制机器人前往所述不干净的地面进行清洁。若提取到的左图像和右图像与对应的预设图片不一致，则说明不干净的地面对应的方位有障碍物，所述控制器需要调整清洁机器人的移动方向，以便所述清洁机器人在不与障碍物发生碰撞的情况下前往所述不干净的地面进行清洁。
本实施例提出的清洁机器人的控制方法，接收双目摄像装置发送的激光影像并对所述激光影像进行分析以确定所述激光影像对应的地面是否干净，在地面不干净时，提取激光影像对应的双目摄像装置当前所采集到的左图像和右图像，在左图像和右图像与地面没有障碍物时的预设图片一致，则认为不干净的地面对应的方位没有障碍物，通过图像对比的方式判定是否存在障碍物，降低了清洁机器人在清洁过程中发生碰撞的概率，从而提高清洁机器人的清洁效率。
进一步地，基于本发明清洁机器人的控制方法第一实施例提出本发明清洁机器人的控制方法第二实施例。
在本实施例中，所述步骤S100可以包括：
提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述激光影像与预设激光影像进行对比，其中，若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净，若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。
在本实施例中，可以通过将所述双目摄像装置发送的激光影像与预设激光影像进行对比，从而判断激光影像对应的地面是否干净。具体地，首先提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述双目摄像装置发送的激光影像与预设激光影像进行对比；若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净；若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。所述预设范围可以根据用户的习惯进行设置，比如若用户对环境的干净程度要求较高时，可以将所述预设范围设置为较低的范围。
本实施例提出的清洁机器人的控制方法，可以通过将所述双目摄像装置发送的激光影像与预设激光影像进行对比，从而判断激光影像对应的地面是否干净。具体地，首先提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述双目摄像装置发送的激光影像与预设激光影像进行对比；若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净；若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。以便规划清洁机器人的清洁路线。
进一步地，参照图2，基于本发明清洁机器人的控制方法第一或第二实施例提出本发明清洁机器人的控制方法第三实施例。
在本实施例中，所述方法还包括：
步骤S500，根据提取到的左图像和右图像识别不干净的地面对应的方位；
步骤S600，提取不干净的地面对应的方位没有障碍物时的预设图片。
在本实施例中，当提取到所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像时，需要通过所述左图像和右图像判断不干净的地面对应的方位是否有障碍物。因此需要将提取到的左图像和右图像与对应的预设图片对比；在进行对比之前，需要根据提取到的左图像和右图像识别不干净的地面对应的方位，然后提取不干净的地面对应的方位没有障碍物时的预设图片。为保证本实施例可以正常实施，在实施本实施例之前，需要将清洁机器人需要进行清洁的区域没有障碍物时的图片保存到清洁机器人中的控制器中，以便后续进行对比，从而判断是否有障碍物。
本实施例提出的清洁机器人的控制方法，当提取到所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像时，需要通过所述左图像和右图像判断不干净的地面对应的方位是否有障碍物。因此需要将提取到的左图像和右图像与对应的预设图片对比；在进行对比之前，需要根据提取到的左图像和右图像识别不干净的地面对应的方位，然后提取不干净的地面对应的方位没有障碍物时的预设图片。以防止所述清洁机器人与障碍物之间发生碰撞。
进一步地，参照图3，基于本发明清洁机器人的控制方法第一至第三任一实施例提出本发明清洁机器人的控制方法第四实施例。
在本实施例中，所述步骤S300之后的步骤还包括：
步骤S700，若提取到的图像与对应的预设图片不一致，则根据双目视觉测距算法，确定提取到的图像中的障碍物与清洁机器人之间的距离；
步骤S800，判断所述清洁机器人与障碍物之间的距离是否小于预设安全距离；
步骤S900，若所述清洁机器人与障碍物之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向。
在本实施例中，当提取到的图像与对应的预设图片不一致时，则判断所述双目摄像装置采集到的图像对应的方位有障碍物，则需要判断障碍物与清洁机器人之间的距离是否小于预设安全距离，以便确定是否需要调整所述清洁机器人当前的运动方向。具体地，若所述双目摄像装置采集到的图像对应的方位有障碍物，则根据双目视觉测距算法，确定所述障碍物与清洁机器人之间的距离；然后将所述障碍物与清洁机器人之间的距离与预设安全距离进行对比，若所述障碍物与清洁机器人之间的距离大于预设安全距离，则不调整所述清洁机器人当前的运动方向，若所述障碍物与清洁机器人之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向。
本实施例提出的清洁机器人的控制方法，当所述双目摄像装置采集到的图像对应的方位有障碍物时，通过判断障碍物与清洁机器人之间的距离是否小于预设安全距离，确定是否需要调整所述清洁机器人当前的运动方向。具体地，根据双目视觉测距算法，确定所述障碍物与清洁机器人之间的距离；然后将所述障碍物与清洁机器人之间的距离与预设安全距离进行对比，若所述障碍物与清洁机器人之间的距离大于预设安全距离，则不调整所述清洁机器人当前的运动方向，若所述障碍物与清洁机器人之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向，从而有效减少清洁机器人与障碍物发生碰撞的概率。
进一步地，参照图4，基于本发明清洁机器人的控制方法第一至第四任一实施例提出本发明清洁机器人的控制方法第五实施例。
在本实施例中，所述步骤S700可以包括：
步骤S710，将所述左图像和右图像进行立体匹配，获得所述左图像和右图像之间的视差图；
步骤S720，根据所述视差图计算获得深度图像；
步骤S730，提取所述深度图像中的深度信息；
步骤S740，根据所述深度信息确定所述障碍物的三维坐标，并根据所述障碍物的三维坐标确定所述障碍物与清洁机器人之间的距离。
在本实施例中，可以根据双目视觉测距算法确定所述障碍物与清洁机器人之间的距离。具体地，利用基于颜色分割的双目立体匹配算法，从所述左图像和右图像中提取深度信息。利用mean-shift算法，根据颜色信息分割参考图像，提取图像中的颜色一致性区域，通过局部窗口匹配算法进行双目立体匹配即可得到所述左图像和右图像之间的初始视差图；然后根据所述视差图，根据融合准则将所述左图像和右图像之间的初始视差图合成为一幅视差图，以提高视差图的精度，并对视差图进行优化处理，按照视差与深度的关系，将视差图转化为深度图。然后提取所述深度图像中的深度信息，并根据所述深度信息确定所述障碍物的三维坐标；根据所述障碍物的三维坐标，即可确定所述障碍物与清洁机器人之间的距离。
本实施例提出的清洁机器人的控制方法，可以根据双目视觉测距算法确定所述障碍物与清洁机器人之间的距离。首先将所述左图像和右图像进行立体匹配，获得所述左图像和右图像之间的视差图；根据所述视差图，通过mean-shift算法计算获得深度图像；然后提取所述深度图像中的深度信息，并根据所述深度信息确定所述障碍物的三维坐标；根据所述障碍物的三维坐标，即可确定所述障碍物与清洁机器人之间的距离，从而使得所述障碍物与清洁机器人之间的距离更加精确。
本发明进一步提供一种清洁机器人。
参照图5，图5为本发明清洁机器人第一实施例的功能模块示意图。
在本实施例中，该清洁机器人包括：
接收模块100，用于接收双目摄像装置发送的激光影像；
判断模块200，用于对所述激光影像进行分析，以判断所述激光影像对应的地面是否干净。
在本实施例中，所述清洁机器人包括机器人本体，及安装在机器人四周的双目摄像装置、激光装置及控制器，在实施本实施例之前，需要将所述清洁机器人清洁的区域为干净状态时的激光影像及所述区域没有障碍物时的图片保存至控制器，以便后期判断所述区域是否干净及判断所述区域是否存在障碍物。在所述清洁机器人开始清洁时，首先所述激光装置发出激光束，然后通过双目摄像装置对所述激光束进行捕捉，从而获得激光束的激光影像。所述双目摄像装置获得激光束的激光影像之后，将所述激光影像发送至清洁机器人中的控制器，所述控制器接收双目摄像装置发送的激光影像并对所述激光影像进行分析，从而判断所述激光影像对应的地面是否干净。
提取模块300，用于若地面不干净，则提取所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像。
若所述激光影像对应的地面不干净，则需要控制所述清洁机器人前往所述激光影像对应的地面进行清洁。为了防止清洁机器人与障碍物发生碰撞，在机器人前往清洁之前，需要判断所述激光影像对应的地面对应的方位是否存在障碍物。因此，首先需要提取所述激光影像对应位置的双目摄像装置当前所采集到的左图像和右图像。
对比模块400，用于分别将提取到的左图像和右图像与预设图片对比，其中，所述预设图片为地面没有障碍物时的图片。
在提取到激光影像对应的双目摄像装置当前所采集到的左图像和右图像之后，通过将所述左图像和右图像与对应的预设图像进行对比，从而判断不干净的地面对应的方位是否有障碍物，其中，若提取到的图像与对应的预设图片一致，则判断所述不干净的地面对应的方位没有障碍物，若提取到的图像与对应的预设图片不一致，则判断所述不干净的地面对应的方位有障碍物，所述预设图片为地面没有障碍物时的图片。具体实施过程中，在将提取到的左图像和右图像与对应的预设图片对比时，还可以设置为当提取到的图像与对应的预设图片之间的差异在预设范围内时，判断所述图像对应的方位没有障碍物。因为当所述机器人的本体较大时，体积较小的障碍物与所述清洁机器人发生碰撞不会影响机器人的清洁工作，也不会给机器人本体造成伤害，因此可以设置为当提取到的图像与对应的预设图片之间的差异在预设范围内时，判断所述图像对应的方位没有障碍物。
控制模块500，用于若提取到的左图像和右图像与对应的预设图片一致，则控制清洁机器人进行清洁。
若提取到的左图像和右图像与对应的预设图片一致，则说明不干净的地面对应的方位没有障碍物，所述控制器可以发出控制指令，控制机器人前往所述不干净的地面进行清洁。若提取到的左图像和右图像与对应的预设图片不一致，则说明不干净的地面对应的方位有障碍物，所述控制器需要调整清洁机器人的移动方向，以便所述清洁机器人在不与障碍物发生碰撞的情况下前往所述不干净的地面进行清洁。
本实施例提出的清洁机器人，接收双目摄像装置发送的激光影像并对所述激光影像进行分析以确定所述激光影像对应的地面是否干净，在地面不干净时，提取激光影像对应的双目摄像装置当前所采集到的左图像和右图像，在左图像和右图像与地面没有障碍物时的预设图片一致，则认为不干净的地面对应的方位没有障碍物，通过图像对比的方式判定是否存在障碍物，降低了清洁机器人在清洁过程中发生碰撞的概率，从而提高清洁机器人的清洁效率。
进一步地，参照图6，基于本发明清洁机器人第一实施例提出本发明清洁机器人第二实施例。
在本实施例中，所述判断模块200还用于：
提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述激光影像与预设激光影像进行对比，其中，若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净，若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。
在本实施例中，可以通过将所述双目摄像装置发送的激光影像与预设激光影像进行对比，从而判断激光影像对应的地面是否干净。具体地，首先提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述双目摄像装置发送的激光影像与预设激光影像进行对比；若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净；若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。所述预设范围可以根据用户的习惯进行设置，比如若用户对环境的干净程度要求较高时，可以将所述预设范围设置为较低的范围。
本实施例提出的清洁机器人，可以通过将所述双目摄像装置发送的激光影像与预设激光影像进行对比，从而判断激光影像对应的地面是否干净。具体地，首先提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述双目摄像装置发送的激光影像与预设激光影像进行对比；若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净；若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。以便规划清洁机器人的清洁路线。
进一步地，参照图7，基于本发明清洁机器人第一或第二实施例提出本发明清洁机器人第三实施例。
在本实施例中，所述清洁机器人还包括：
识别模块600，用于根据提取到的左图像和右图像识别不干净的地面对应的方位；
所述提取模块300，还用于提取不干净的地面对应的方位没有障碍物时的预设图片。
在本实施例中，当提取到所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像时，需要通过所述左图像和右图像判断不干净的地面对应的方位是否有障碍物。因此需要将提取到的左图像和右图像与对应的预设图片对比；在进行对比之前，需要根据提取到的左图像和右图像识别不干净的地面对应的方位，然后提取不干净的地面对应的方位没有障碍物时的预设图片。为保证本实施例可以正常实施，在实施本实施例之前，需要将清洁机器人需要进行清洁的区域没有障碍物时的图片保存到清洁机器人中的控制器中，以便后续进行对比，从而判断是否有障碍物。
本实施例提出的清洁机器人，当提取到所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像时，需要通过所述左图像和右图像判断不干净的地面对应的方位是否有障碍物。因此需要将提取到的左图像和右图像与对应的预设图片对比；在进行对比之前，需要根据提取到的左图像和右图像识别不干净的地面对应的方位，然后提取不干净的地面对应的方位没有障碍物时的预设图片。以防止所述清洁机器人与障碍物之间发生碰撞
进一步地，参照图7，基于本发明清洁机器人第一至第三任一实施例提出本发明清洁机器人第四实施例。
在本实施例中，所述清洁机器人还包括：
确定模块700，用于若提取到的图像与对应的预设图片不一致，则根据双目视觉测距算法，确定提取到的图像中的障碍物与清洁机器人之间的距离；
所述判断模块200，用于判断所述清洁机器人与障碍物之间的距离是否小于预设安全距离；
调整模块800，用于若所述清洁机器人与障碍物之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向。
在本实施例中，当提取到的图像与对应的预设图片不一致时，则判断所述双目摄像装置采集到的图像对应的方位有障碍物，则需要判断障碍物与清洁机器人之间的距离是否小于预设安全距离，以便确定是否需要调整所述清洁机器人当前的运动方向。具体地，若所述双目摄像装置采集到的图像对应的方位有障碍物，则根据双目视觉测距算法，确定所述障碍物与清洁机器人之间的距离；然后将所述障碍物与清洁机器人之间的距离与预设安全距离进行对比，若所述障碍物与清洁机器人之间的距离大于预设安全距离，则不调整所述清洁机器人当前的运动方向，若所述障碍物与清洁机器人之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向。
本实施例提出的清洁机器人，当所述双目摄像装置采集到的图像对应的方位有障碍物时，通过判断障碍物与清洁机器人之间的距离是否小于预设安全距离，确定是否需要调整所述清洁机器人当前的运动方向。具体地，根据双目视觉测距算法，确定所述障碍物与清洁机器人之间的距离；然后将所述障碍物与清洁机器人之间的距离与预设安全距离进行对比，若所述障碍物与清洁机器人之间的距离大于预设安全距离，则不调整所述清洁机器人当前的运动方向，若所述障碍物与清洁机器人之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向，从而有效减少清洁机器人与障碍物发生碰撞的概率。
进一步地，参照图8，基于本发明清洁机器人第一至第四任一实施例提出本发明清洁机器人第五实施例。
在本实施例中，所述确定模块700可以包括：
匹配单元710，用于将所述左图像和右图像进行立体匹配，获得所述左图像和右图像之间的视差图；
计算单元720，用于根据所述视差图计算获得深度图像；
提取单元730，用于提取所述深度图像中的深度信息；
确定单元740，用于根据所述深度信息确定所述障碍物的三维坐标，并根据所述障碍物的三维坐标确定所述障碍物与清洁机器人之间的距离。
在本实施例中，可以根据双目视觉测距算法确定所述障碍物与清洁机器人之间的距离。具体地，利用基于颜色分割的双目立体匹配算法，从所述左图像和右图像中提取深度信息。利用mean-shift算法，根据颜色信息分割参考图像，提取图像中的颜色一致性区域，通过局部窗口匹配算法进行双目立体匹配即可得到所述左图像和右图像之间的初始视差图；然后根据所述视差图，根据融合准则将所述左图像和右图像之间的初始视差图合成为一幅视差图，以提高视差图的精度，并对视差图进行优化处理，按照视差与深度的关系，将视差图转化为深度图。然后提取所述深度图像中的深度信息，并根据所述深度信息确定所述障碍物的三维坐标；根据所述障碍物的三维坐标，即可确定所述障碍物与清洁机器人之间的距离。
本实施例提出的清洁机器人，可以根据双目视觉测距算法确定所述障碍物与清洁机器人之间的距离。首先将所述左图像和右图像进行立体匹配，获得所述左图像和右图像之间的视差图；根据所述视差图，通过mean-shift算法计算获得深度图像；然后提取所述深度图像中的深度信息，并根据所述深度信息确定所述障碍物的三维坐标；根据所述障碍物的三维坐标，即可确定所述障碍物与清洁机器人之间的距离，从而使得所述障碍物与清洁机器人之间的距离更加精确。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种清洁机器人的控制方法，所述清洁机器人四周均布设有双目摄像装置，其特征在于，所述方法包括以下步骤：
接收双目摄像装置发送的激光影像并对所述激光影像进行分析，以判断所述激光影像对应的地面是否干净；
若地面不干净，则提取所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像；
根据提取到的左图像和右图像识别不干净的地面对应的方位；
提取不干净的地面对应的方位没有障碍物时的预设图片；
分别将提取到的左图像和右图像与预设图片对比，其中，所述预设图片为地面没有障碍物时的图片；
若提取到的左图像和右图像与对应的预设图片一致，则控制清洁机器人进行清洁。
2.如权利要求1所述的清洁机器人的控制方法，其特征在于，所述接收双目摄像装置发送的激光影像并对所述激光影像进行分析，从而判断所述激光影像对应的地面是否干净的步骤包括：
提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述激光影像与预设激光影像进行对比，其中，若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净，若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。
3.如权利要求1-2任一项所述的清洁机器人的控制方法，其特征在于，所述分别将提取到的左图像和右图像与对应的预设图片对比的步骤之后还包括：
若提取到的图像与对应的预设图片不一致，则根据双目视觉测距算法，确定提取到的图像中的障碍物与清洁机器人之间的距离；
判断所述清洁机器人与障碍物之间的距离是否小于预设安全距离；
若所述清洁机器人与障碍物之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向。
4.如权利要求3所述的清洁机器人的控制方法，其特征在于，所述根据双目视觉测距算法，确定提取到的图像中的障碍物与清洁机器人之间的距离的步骤包括：
将所述左图像和右图像进行立体匹配，获得所述左图像和右图像之间的视差图；
根据所述视差图计算获得深度图像；
提取所述深度图像中的深度信息；
根据所述深度信息确定所述障碍物的三维坐标，并根据所述障碍物的三维坐标确定所述障碍物与清洁机器人之间的距离。
5.一种清洁机器人，其特征在于，所述清洁机器人包括：
接收模块，用于接收双目摄像装置发送的激光影像；
判断模块，用于对所述激光影像进行分析，以判断所述激光影像对应的地面是否干净；
提取模块，用于若地面不干净，则提取所述激光影像对应的双目摄像装置当前所采集到的左图像和右图像；
识别模块，用于根据提取到的左图像和右图像识别不干净的地面对应的方位；
所述提取模块，还用于提取不干净的地面对应的方位没有障碍物时的预设图片；
对比模块，用于分别将提取到的左图像和右图像与预设图片对比，其中，所述预设图片为地面没有障碍物时的图片；
控制模块，用于若提取到的左图像和右图像与对应的预设图片一致，则控制清洁机器人进行清洁。
6.如权利要求5所述的清洁机器人，其特征在于，所述判断模块，还用于：
提取人工打扫干净后双目摄像装置捕捉的预设激光影像，并将所述激光影像与预设激光影像进行对比，其中，若所述激光影像与预设激光影像的差异在预设范围内，则判断所述激光影像对应的地面干净，若所述激光影像与预设激光影像的差异不在预设范围内，则判断所述激光影像对应的地面不干净。
7.如权利要求5-6任一项所述的清洁机器人，其特征在于，所述清洁机器人还包括：
确定模块，用于若提取到的图像与对应的预设图片不一致，则根据双目视觉测距算法，确定提取到的图像中的障碍物与清洁机器人之间的距离；
判断模块，用于判断所述清洁机器人与障碍物之间的距离是否小于预设安全距离；
调整模块，用于若所述清洁机器人与障碍物之间的距离小于预设安全距离，则调整所述清洁机器人当前的运动方向。
8.如权利要求7所述的清洁机器人，其特征在于，所述确定模块包括：
匹配单元，用于将所述左图像和右图像进行立体匹配，获得所述左图像和右图像之间的视差图；
计算单元，用于根据所述视差图计算获得深度图像；
提取单元，用于提取所述深度图像中的深度信息；
确定单元，用于根据所述深度信息确定所述障碍物的三维坐标，并根据所述障碍物的三维坐标确定所述障碍物与清洁机器人之间的距离。
CN201611089250.2A 2016-11-29 2016-11-29 清洁机器人的控制方法及清洁机器人 Active CN106527444B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611089250.2A CN106527444B (zh) 2016-11-29 2016-11-29 清洁机器人的控制方法及清洁机器人
PCT/CN2017/075005 WO2018098915A1 (zh) 2016-11-29 2017-02-27 清洁机器人的控制方法及清洁机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611089250.2A CN106527444B (zh) 2016-11-29 2016-11-29 清洁机器人的控制方法及清洁机器人

Publications (2)

Publication Number Publication Date
CN106527444A CN106527444A (zh) 2017-03-22
CN106527444B true CN106527444B (zh) 2020-04-14

Family

ID=58354114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611089250.2A Active CN106527444B (zh) 2016-11-29 2016-11-29 清洁机器人的控制方法及清洁机器人

Country Status (2)

Country Link
CN (1) CN106527444B (zh)
WO (1) WO2018098915A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213137A (zh) * 2017-07-05 2019-01-15 广东宝乐机器人股份有限公司 扫地机器人、扫地机器人系统及其工作方法
US10915114B2 (en) * 2017-07-27 2021-02-09 AI Incorporated Method and apparatus for combining data to construct a floor plan
CN107625489A (zh) * 2017-08-25 2018-01-26 珠海格力电器股份有限公司 阻挡物信息的处理方法、装置、处理器及扫地机器人
CN112506181A (zh) * 2017-12-15 2021-03-16 珊口（上海）智能科技有限公司 移动机器人及其控制方法和控制系统
CN108245099A (zh) * 2018-01-15 2018-07-06 深圳市沃特沃德股份有限公司 机器人移动方法和装置
CN109118524A (zh) * 2018-02-06 2019-01-01 时明 机械清洁设备行走轨迹修正方法
CN109375618A (zh) * 2018-09-27 2019-02-22 深圳乐动机器人有限公司 清洁机器人的导航避障方法及终端设备
CN109159137B (zh) * 2018-11-05 2024-02-27 南京特沃斯清洁设备有限公司 一种可视频评估洗地效果的洗地机器人
CN111358360B (zh) * 2018-12-26 2021-08-24 珠海市一微半导体有限公司 机器人避免线缠绕的方法、装置和芯片及扫地机器人
CN111358359B (zh) * 2018-12-26 2021-08-24 珠海市一微半导体有限公司 机器人的避线方法、装置、芯片及扫地机器人
CN111487956B (zh) * 2019-01-25 2024-03-15 深圳市神州云海智能科技有限公司 一种机器人避障的方法及机器人
CN110136186B (zh) * 2019-05-10 2022-09-16 安徽工程大学 一种用于移动机器人目标测距的检测目标匹配方法
CN110587602A (zh) * 2019-08-26 2019-12-20 青岛森科特智能仪器有限公司 一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法
CN110696979A (zh) * 2019-09-26 2020-01-17 江苏科技大学 一种基于双目视觉的太阳能智能清洁艇
CN110916574B (zh) * 2019-10-18 2021-06-04 上海善解人意信息科技有限公司 扫地机器人系统及扫地机器人控制方法
CN110974088B (zh) * 2019-11-29 2021-09-24 深圳市杉川机器人有限公司 扫地机器人控制方法、扫地机器人及存储介质
CN111110117B (zh) * 2019-12-20 2021-08-06 小狗电器互联网科技（北京）股份有限公司 一种扫地机器人工作面清洁方法
CN111493753A (zh) * 2020-04-25 2020-08-07 王晨庄 基于地面干净程度能进行清理地面的扫地机器人和方法
CN111618875A (zh) * 2020-06-09 2020-09-04 安徽励展文化科技有限公司 一种展厅机器人的定位导航系统
CN111733743B (zh) * 2020-06-17 2022-03-04 广州赛特智能科技有限公司 一种自动清扫方法及清扫系统
CN111839361A (zh) * 2020-07-16 2020-10-30 湖南炬神电子有限公司 一种扫地机器人的清扫控制方法
CN112327878B (zh) * 2020-11-25 2022-06-10 珠海一微半导体股份有限公司 一种基于tof摄像头的障碍物分类避障控制方法
CN113070882B (zh) * 2021-04-28 2023-01-24 北京格灵深瞳信息技术股份有限公司 检修机器人控制系统、方法、装置和电子设备
CN113662472A (zh) * 2021-09-06 2021-11-19 上海景吾智能科技有限公司 清洁机器人系统擦拭不规则曲面的方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561917A (zh) * 2011-05-25 2014-02-05 索尼公司 机器人设备，控制机器人设备的方法，计算机程序和程序存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3741542B2 (ja) * 1998-07-24 2006-02-01 シャープ株式会社 掃除ロボット
CN101941012B (zh) * 2009-07-03 2012-04-25 泰怡凯电器(苏州)有限公司 清洁机器人及其脏物识别装置和该机器人的清洁方法
CN102613944A (zh) * 2012-03-27 2012-08-01 复旦大学 清洁机器人脏物识别系统及清洁方法
KR101374878B1 (ko) * 2012-05-25 2014-03-18 주식회사 만도 차량의 주차제어시스템 및 그를 이용한 주차 제어 방법
CN103844992B (zh) * 2012-12-07 2016-08-31 科沃斯机器人有限公司 擦玻璃机器人及其作业模式的控制方法
CN103194991B (zh) * 2013-04-03 2016-01-13 西安电子科技大学 智能机器人道路清理系统及清理方法
CN104731098A (zh) * 2015-02-09 2015-06-24 南京光锥信息科技有限公司 基于三维成像系统的可自动返回充电的清洁机器人
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN105807786A (zh) * 2016-03-04 2016-07-27 深圳市道通智能航空技术有限公司 一种无人机自动避障的方法及系统
CN105643664A (zh) * 2016-04-12 2016-06-08 上海应用技术学院 一种服务机器人的视觉识别判定方法及视觉系统
CN106054888A (zh) * 2016-06-28 2016-10-26 旗瀚科技股份有限公司 一种机器人自动避障方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561917A (zh) * 2011-05-25 2014-02-05 索尼公司 机器人设备，控制机器人设备的方法，计算机程序和程序存储介质

Also Published As

Publication number Publication date
CN106527444A (zh) 2017-03-22
WO2018098915A1 (zh) 2018-06-07

Similar Documents

Publication Publication Date Title
CN106527444B (zh) 清洁机器人的控制方法及清洁机器人
CN109344687B (zh) 基于视觉的障碍物检测方法、装置、移动设备
US8467902B2 (en) Method and apparatus for estimating pose of mobile robot using particle filter
KR101083394B1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
Miura et al. Mobile robot map generation by integrating omnidirectional stereo and laser range finder
US8024072B2 (en) Method for self-localization of robot based on object recognition and environment information around recognized object
EP3343431A1 (en) Method and system for vehicle localization from camera image
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
WO2004081683A1 (ja) 自律移動ロボット
TW201405486A (zh) 利用電腦視覺進行即時偵測與追蹤物體之裝置及其方法
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
WO2017094300A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US11514683B2 (en) Outside recognition apparatus for vehicle
KR101755023B1 (ko) 3차원 동작 인식 장치 및 방법
KR101428373B1 (ko) 주차가능구획 판단 장치 및 방법
JP2004301607A (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
CN112748721A (zh) 视觉机器人及其清洁控制方法、系统和芯片
Ortigosa et al. Obstacle-free pathway detection by means of depth maps
JP5248388B2 (ja) 障害物危険度算出装置、方法及びプログラム
JP4106163B2 (ja) 障害物検出装置及びその方法
KR101784584B1 (ko) 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법
Vaudrey et al. Integrating disparity images by incorporating disparity rate
CN114089364A (zh) 一种集成化的感知系统装置及实现方法
CN110826474A (zh) 基于特定目标识别与激光slam的语义地图构建的系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant