CN106569489A - 具有视觉导航功能的扫地机器人及其导航方法 - Google Patents
具有视觉导航功能的扫地机器人及其导航方法 Download PDFInfo
- Publication number
- CN106569489A CN106569489A CN201610006213.4A CN201610006213A CN106569489A CN 106569489 A CN106569489 A CN 106569489A CN 201610006213 A CN201610006213 A CN 201610006213A CN 106569489 A CN106569489 A CN 106569489A
- Authority
- CN
- China
- Prior art keywords
- information
- unit
- sweeping robot
- navigation
- look
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010408 sweeping Methods 0.000 title claims abstract description 90
- 230000000007 visual effect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title abstract description 14
- 230000006870 function Effects 0.000 claims description 25
- 238000004140 cleaning Methods 0.000 claims description 20
- 230000001360 synchronised effect Effects 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 12
- 239000011551 heat transfer agent Substances 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 241001417527 Pempheridae Species 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 7
- 238000012986 modification Methods 0.000 abstract description 2
- 230000004048 modification Effects 0.000 abstract description 2
- 238000003860 storage Methods 0.000 abstract description 2
- 238000013507 mapping Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000009993 protective function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种具有视觉导航功能的扫地机器人及其导航方法。所述扫地机器人包括清扫主机和视觉导航控制器。清扫主机包括传感单元、驱动单元、和驱动控制单元。视觉导航控制器包括第一视觉捕获单元、第二视觉捕获单元、WIFI通讯单元、存储单元、室内同步定位与绘图单元和路径导航控制单元。第一视觉捕获单元、第二视觉捕获单元配置为捕获相关视觉信息，相关视觉信息构成包括所处房间的局部地图和全局地图的地图信息；路径导航控制单元配置为根据视觉信息、地图信息、和传感信息作出路径导航指令；以及驱动控制单元配置为根据路径导航指令来控制驱动单元。有利地，本发明实施例提供的具有视觉导航功能的扫地机器人及其导航方法，能够在普通扫地机器人(无摄像头)的基础上作简单改装即可实现视觉导航和路径规划功能。
Description
技术领域
本发明涉及扫地机器人领域及其家庭安防领域，尤其涉及一种具有视觉导航功能的扫地机器人及其导航方法。
背景技术
随着智能家居的发展，扫地机器人受到越来越多家庭的喜爱。现有的扫地机器人可以利用红外传感和摄像头进行视觉导航，但是其高昂的售价让用户难以接受。因此，需要一种新颖的具有视觉导航功能的扫地机器人及其导航方法，能够在普通扫地机器人(无摄像头)的基础上作简单改装即可实现视觉导航和路径规划功能。
发明内容
本发明所要解决的技术问题在于提供一种具有视觉导航功能的扫地机器人及其导航方法，旨在以经济、便捷的方式提供扫地机器人的视觉导航和路径规划功能。
本发明提供了一种一种具有视觉导航功能的扫地机器人，包括清扫主机和耦合于所述清扫主机的视觉导航控制器，所述清扫主机包括传感单元、驱动单元、和驱动控制单元，所述视觉导航控制器包括第一视觉捕获单元、第二视觉捕获单元、存储单元、室内同步定位与绘图单元和路径导航控制单元，其中所述第一视觉捕获单元配置为捕获所述扫地机器人的第一视觉信息，所述第一视觉信息构成包括所述扫地机器人前向的局部地图和前向的全局地图；所述第二视觉捕获单元配置为捕获所述扫地机器人的第二视觉信息，所述第二视觉信息构成包括扫地机器人所在房间的高度信息，用于确定所处房间的三维地图信息；耦合于所述第一视觉捕获单元与所述第二视觉捕获单元的室内同步定位与绘图单元，配置为根据所述第一视觉信息与第二视觉信息构建扫地机器人所处房间的地图；耦合于所述室内同步定位与绘图单元的所述存储单元配置为存储所述地图信息；耦合于所述室内同步定位与绘图单元的所述路径导航控制单元配置为经由所述驱动控制单元获得来自所述传感单元的相关传感信息，并且根据所述第一视觉信息、第二视觉信息、所述地图信息、和所述传感信息作出路径导航指令；以及耦合于所述路径导航控制单元的所述驱动控制单元配置为接收所述路径导航指令，并且根据所述路径导航指令来控制所述驱动单元的运动方向。
本发明还提供了一种由具有视觉导航功能的扫地机器人执行的导航方法，包括：由第一视觉捕获单第二视觉捕获单元配置为捕获所述扫地机器人的第一视觉信息和第二视觉信息，所述第一视觉信息构成包括所述扫地机器人所处房间的前向的局部地图和全局地图的地图信息，所述第二视觉信息构成包括所述扫地机器人所述房间天花板的信息，如房间高度信息；根据所述地图信息与高度信息生成房间的地图信息，并将所述地图信息存储在存储单元中；由路径导航控制单元获得来自传感单元的相关传感信息；由所述路径导航控制单元根据所述第一视觉信息、第二视觉信息、所述地图信息、和所述传感信息作出路径导航指令；以及由驱动控制单元接收所述路径导航指令，并且根据所述路径导航指令来控制驱动单元的运动方向。
进一步地，由所述路径导航控制单元根据所述视觉信息、所述地图信息、和所述传感信息作出路径导航指令的所述步骤包括由所述路径导航控制单元根据所述视觉信息、所述地图信息、和所述传感信息进行对象检测、对象跟踪、和人机间距离估计，并且进行对象定位和导航路径规划。
本发明与现有技术相比，有益效果在于：本发明实施例提供的具有视觉导航功能的扫地机器人及其导航方法，能够在普通扫地机器人(无摄像头)的基础上作简单改装即可实现视觉导航和路径规划功能。额外地，用户能够通过扫地机器人的摄像头以及安装在智能手机上的App应用来看到扫地机器人行进路线的平视视角，并且将很容易地找到遗落在床底下的物品(寻物场景)，或者发现家里小孩或老人的动态以免他们遇到危险(家庭看护场景)。
附图说明
图1是本发明实施例提供的一种具有视觉导航功能的扫地机器人100的外观示意图。
图2是本发明实施例提供的一种具有视觉导航功能的扫地机器人100的内部结构示意图。
图3是本发明实施例提供的一种具有视觉导航功能的扫地机器人100的导航方法的流程图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1是本发明实施例提供的一种具有视觉导航功能的扫地机器人100的外观示意图。如图1所示，扫地机器人100包括：清扫主机110和视觉导航控制器120，所述视觉导航控制器120中包含第一摄像机130以及第二摄像头140，其中所述第一摄像头130可以调节摄像角度。在一个实施例中，清扫主机110可以为普通的无摄像头的扫地机器人，用于清扫地面。所述清扫主机包括传感单元，如陀螺仪或超声波传感器；驱动控制单元，如微控制器，驱动单元，如装有电机的驱动轮；吸层单元，如起层刷与集层盒等。其中驱动控制单元可以控制驱动单元的运动，比如前进后退等，进而控制整个扫地机器人的运行。如图2所示为根据本发明的实施例，扫地机器人100的内部模块图。所述扫地机器人100包括视觉导航控制器120，清扫主机110，第一摄像头130以及第二摄像头140。所述清扫主机110中包括传感单元211，驱动控制单元212，驱动单元213以及吸层单元、电源模块(图2中未示出)。所述视觉导航控制器120可以通过有线或无线的方式安装于清扫主机110的上方。所述视觉导航控制器120中包括第一视觉捕获单元221以及第二视觉捕获单元224，所述第一视觉捕获单元221与第一摄像头130相耦合，所述第二视觉捕获单元224与第二摄像头140相耦合。具体地，所述第一视觉捕获单元221及所述第二视觉捕获单元224用于捕获该扫地机器人100的相关视觉信息(例如，前方和正上方的视觉图像)，并且利用所捕获的视觉信息来形成所处房间的局部地图和全局地图的地图信息，比如房间的长、宽、特征点信息等。所述视觉导航控制器120中还包括WIFI通讯单元222，存储单元223，室内同步定位与绘图单元225以及路径导航控制单元226。所述WIFI通讯单元222与所述第一视觉捕获单元221和存储单元223相耦合，用于从第一视觉捕获单元221中获取第一视觉信息并传送至存储单元223，所述室内同步定位与绘图单元225与所述第一视觉捕获单元221，第二视觉捕获单元224以及存储单元223相耦合，用于根据第一视觉捕获单元221中获取第一视觉信息和第二视觉捕获单元224中获取的第二视觉信息生成房间的局部地图或者全局地图信息，并将生成的地图信息传送至存储单元223。所述路径导航控制单元226与所述室内同步定位与绘图单元225相耦合，并从清扫主机110中的传感单元211获得相关传感信息，例如，前方障碍物的距离和大小，并且根据上述视觉信息(如，第一视觉信息与第二视觉信息)、地图信息(局部地图信息以及全局地图信息)、和传感信息生成指示扫地机器人100的路径导航指令。清扫主机110中的驱动控制单元212接收到所述路径导航指令后，根据所述路径导航指令由其中的驱动控制单元212来控制驱动单元(例如，装有驱动电机的驱动轮)的运动方向。但必须说明的是，虽然在图1中视觉导航控制器120是用有线或无线的方式安装于清扫主机110的上方，但是在其它实施例中视觉导航控制器120可以用其它方式耦合于清扫主机110，图1所述的实施例不是对本发明的限制。
在一个实施例中，图1所示为第一摄像头130和第二摄像头140(都为鱼眼相机)，由图2中视觉导航控制器120内的第二视觉捕获单元224和第一视觉捕获单元221分别获取向上和向前方向的图像，清扫主机110在驱动机器人运动过程中根据图2中的室内同步定位与绘图单元225分别对向上和向前的图像，提取基本标识并记录相关的坐标信息、角度信息及独特的特征信息，并存储在320存储单元里面。进一步的，由于摄像头用到的是鱼眼摄像头，需要做图像畸变处理，通过把图像灰度化后用畸变处理算法，获得线性度更好的图像数据来做基本标识提取。进一步的，扫地机器人在清扫过程中根据当前向上和向前的图像获取的基本标识信息，与存储在存储单元223里面的历史基本标识信息做对比，找出匹配的基本标识，从而来获取当前位置。
具体地，图像的标识识别有多种方法，根据图像处理算法获取特征描述值梯度幅度值和方向值，并与存储单元里存储的标识做匹配，在最低匹配阈值以上，匹配度最高的作为识别的标识。进一步的由于单独用向上的摄像头获取标识信息，在一些特定的场景如很宽大的桌子下面获取不到天花板相关标识讯息，这里借助向前的摄像机获取向前的标识信息来弥补特定场景提取不到标识的问题。进一步的扫地机器人在清扫过程中，通过标识获取自己的位置信息后与行走距离传感器获取的位置信息做卡尔曼滤波获取更精确的当前位置信息。
在一个实施例中，传感单元211可以结合视觉导航控制器120所获取的图像完成导航功能，具体地，根据当前的位置信息坐标，扫地机器人100在清扫过程中就能实时获取自身位置，并记录走过路径，但是由于得到的标识信息不足以提供房间内地面上的障碍物等信息，在扫地机器人正前方、左前方和右前方分别安装超声波探测传感器来获取房间地面上的障碍物位置和形状信息，结合图像得到的位置信息来调整路劲规划，避免与室内家具等障碍物的碰撞。所述传感单元211包含一个发送超声波的设备和一个接收超声波的设备，通过左前、前方、右前方的超声波发送设备发送超声信号，并由左前、前方、右前方的超声波接收设备分别接收超深波信号，通过发送到接收的时间间隙来计算左前方，前方，右前方的障碍物的距离，判断障碍物是否存在，或是障碍物的形状。
在另一个实施例中，视觉导航控制器120内的室内同步定位与绘图单元225可以根据所采集的图像信息等来绘制室内地图。具体地，扫地机器人使用的地面地图为栅格化地图，以格点为单位描述房间的地面信息。构建地图使用的栅格边长越小，整个地图的信息就越详细，地图的精度越高，但是相应的寻路算法上的花费就越高。在栅格地图的每个格点中，使用特定的数据形式来描述当前区域的地形信息。通过传感单元211，比如超声波探测器和红外线探测器(图2未示出)来获得前向和侧向的障碍物信息，通过传感单元211中底部的防跌落传感器(图2为示出)来获得房间中可能出现跌落的区域。除此之外，使用了加速度计(图2中未示出)来捕获碰撞产生的水平加速度，进一步获得地面上的障碍物信息，弥补了上述传感器覆盖面不足的问题。使用轮子的过流信号来判定可能会使机器人出现异常(如轮子被缠绕)的情况。将以上所有这些信息整合成机器人使用的地面地图信息。具体来说可以使用socket技术通过WIFI网络接口来构建机器人与PC或移动设备之间的通信，将地面地图信息传输到该设备上。使用设备上基于OpenGL的应用程序来实时的显示当前的地图信息。
在一个实施例中，扫地机器人100可以根据路径规划以及实际运行中寻找最优清扫方案。通常来说，扫地机器人一般保持Z字型往返式运动。当扫地机器人已经清扫完一部分区域后，就会切换到寻路程序，寻找下一个未清扫区域。在寻路过程中，机器人将会自动探索整个房间的边界信息，以构建完整的房间地面地图。再次进入新的未清扫区域后，机器人会重新激活Z字型往返式运动。机器人以这种方式循环进行运动，并最终完成整个房间的清扫。具体地，机器人的寻路程序主要使用A*算法来实现。首先通过已有的地图信息来构建路径，然后按照构建的路径进行动。当地图信息本身不完整时，在跟随路径移动的过程中会获得新的障碍物信息，此时寻路程序将根据新的地图信息来修正路径。因此，结合传感单元211的数据，扫地机器人将在寻路的过程中同时探索房间，完成整个房间的地面地图信息，最终以此信息来判断整个清扫是否完成。
进一步地，A*算法是一种动态规划算法，在规划过程中通过对两个队列OPEN队列和CLOSE队列不停的迭代调用，最后得到最终的优化路劲。从地图中起始点开始计算其相邻格子的F值，如果可以达到，并且为最佳方法(即F值最小)，那么就把相邻的格子按照评价值F从小到大的顺序添加到OPEN队列里面，若其相邻的方向都计算完毕之后，那么取出上面计算得到的评价值最小的节点放入CLOSE队列里面，在以此时的格子为当前格子重复上面的步骤。某个格子若要放入OPEN队列必须满足如下条件：1)起始点到放入的格子必须是存在有路劲的；2)当前节点并不在OPEN队列里面；3)从起始位置到当前位置的距离为所发现的距离中最短的点。
在一个实施例中，扫地机器人100可根据地图做任意点导航规划。具体来说，通过图2中的WIFI通讯单元222与外部通讯设备对接，实时传送建立的室内地图信息至个人设备，当整个或部分地图构建完成后，通过个人设备可以发送任意点或任意可通行路劲到机器人，就能实现机器人任意路劲的行走，及行至任意点的路劲实现。
在某些应用场景中，用户会希望通过扫地机器人的摄像头以及安装在智能手机上的App应用来实时地看到扫地机器人行进路线的平视视角。如此，用户将很容易地找到遗落在床底下的物品(寻物场景)，或者发现家里小孩或老人的动态以免他们遇到危险(家庭看护场景)。因此，还可以选择性地切换前方摄像头为安防看护功能。
视觉导航控制器120可以用有线或无线的方式安装于清扫主机110的上方。视觉导航控制器120上可包括第二视觉捕获单元224和第一视觉捕获单元221、存储单元223(例如，存储器)、以及路径导航控制单元226。特别地，第二视觉捕获单元224和第一视觉捕获单元221分别位于视觉导航控制器120的正上方和正前方，用于捕获该扫地机器人100的相关视觉信息(例如，正上方和前方的视觉图像)。所述相关视觉信息构成包括所处房间的局部地图和全局地图的地图信息(包括房间的长宽、特征点信息、障碍物位置信息等)，所述地图信息可存储在存储单元223中。路径导航控制单元226耦合于室内同步定位与绘图单元225，路径导航控制单元226还经由清扫主机110中的驱动控制单元212获得来自传感单元211的相关传感信息(例如，前方障碍物的距离和大小)，并且根据上述视觉信息、地图信息、和传感信息作出路径导航指令。清扫主机110接收到所述路径导航指令，并且根据所述路径导航指令由其中的驱动控制单元来控制驱动单元(例如，装有驱动电机的驱动轮)的运动方向。
具体地，例如在家庭看护场景中，扫地机器人100需要对特定看护对象(例如，小孩或老人)进行图像跟踪行走，即随着看护对象的移动而相应移动。在一个优选实施例中，为保证扫地机器人100能看到广阔的视野，可切换第一视觉捕获单元221为看护功能，并可使第一视觉捕获单元221作一定角度的旋转(例如，向上旋转45度)，以使扫地机器人100获得斜向上的视角而不是完全的平视视角。在另一个优选实施例中，第一视觉捕获单元221还可分别包含照明单元(例如，LED阵列)以使扫地机器人100即使在黑暗情况下也能看到当前房间的状况并且正常工作。在扫地机器人100通过第一视觉捕获单元221的当前视角的相关视觉信息(局部地图)之后，路径导航控制单元226可进行对象检测(例如，检测特定看护对象)、对象跟踪、和人机间距离估计，再进行对象定位和相应的导航路径规划。在一个优选实施例中，对象检测、对象跟踪、和距离估计的操作可利用基于卡尔曼预测的均值漂移算法来进行图像处理并进行相应的视觉导航(左右转动和前后移动)，但是其并非本发明的限制。相反地，本领域技术人员应很容易在阅读本申请之后采用其它类似算法来实现相同或类似的图像处理目的。
图3是本发明实施例提供的一种具有视觉导航功能的扫地机器人的导航方法300的流程图。如图3所示，导航方法300包括以下步骤：
步骤302：第一视觉捕获单元221和第二视觉捕获单元224分别获取第一视觉信息和第二视觉信息，如向前和向上的视觉信息。具体地，第一视觉捕获单元221和第二视觉捕获单元224通过分别位于视觉导航控制器120的正前方和正上方的第一摄像头130和第二摄像头140捕获该扫地机器人100的相关视觉信息(例如，正前方和正上方的视觉图像)。
步骤304：路径导航控制单元226经由清扫主机110中的驱动控制单元212获得来自传感单元211的相关传感信息。具体地，路径导航控制单元226经由清扫主机110中的驱动控制单元212获得来自传感单元211的相关传感信息(例如，前方障碍物的距离和大小，机器人行走距离信息，机器人方位角信息等)。
步骤306：对步骤302中获得的图像做特征提取和描述处理，获得路标标志的相关特征信息并结合步骤304获得距离信息形成路标标志的详细信息，判断标志信息是否存在于已有地图中，如果不存在则结合传感单元211的信息更新地图存入存储单元223。
步骤308：扫地机器人在清扫过程中根据当前向上和向前的图像获取的标志信息，与存储在存储单元223内的历史标志信息做对比，找出匹配的标志信息从而来获取当前位置信息。
步骤310：路径导航控制单元226根据当前扫地机器人位置信息、地图作出路径导航指令。额外地，例如在家庭看护场景中，扫地机器人100需要对特定看护对象(例如，小孩或老人)进行图像跟踪行走，即随着看护对象的移动而相应移动。在一个优选实施例中，为保证扫地机器人100能看到广阔的视野，可切换第一视觉捕获单元221为看护功能并使其作一定角度的旋转(例如，向上旋转45度)，以使扫地机器人100获得斜向上的视角而不是完全的平视视角。在扫地机器人100通过第一视觉捕获单元221获得当前视角的相关视觉信息(局部地图)之后，路径导航控制单元226可进行对象检测(例如，检测特定看护对象)、对象跟踪、和人机间距离估计，再进行对象定位和相应的导航路径规划。在一个优选实施例中，对象检测、对象跟踪、和距离估计的操作可利用基于卡尔曼预测的均值漂移算法来进行图像处理并进行相应的视觉导航(左右转动和前后移动)，但是其并非本发明的限制。相反地，本领域技术人员应很容易在阅读本申请之后采用其它类似算法来实现相同或类似的图像处理目的。
步骤312：驱动控制单元212根据路径导航指令来控制驱动单元的运动方向。具体地，清扫主机110中的驱动控制单元212接收到所述路径导航指令，并且根据所述路径导航指令来控制驱动单元213(例如，装有驱动电机的驱动轮)的运动方向。
步骤314：当整个清扫或看护路劲完成后利用WIFI网路通讯接口上传实际环境地图和行走路劲记录信息到设备端。
有利地，本发明实施例提供的具有视觉导航功能的扫地机器人及其导航方法，能够在普通扫地机器人(无摄像头)的基础上作简单改装即可实现视觉导航和路径规划功能。特别地，通过安装向前和向上的视觉捕获单元来弥补单个向上视觉捕获在某种特定的场景无法获取天花板路标Mark的问题。额外地，用户能够通过扫地机器人的摄像头以及安装在智能手机上的App应用来看到扫地机器人行进路线的平视视角，并且将很容易地找到遗落在床底下的物品(寻物场景)，或者发现家里小孩或老人的动态以免他们遇到危险(家庭看护场景)。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种具有视觉导航功能的扫地机器人，包括清扫主机和耦合于所述清扫主机的视觉导航控制器，所述清扫主机包括传感单元、驱动单元、和驱动控制单元，所述视觉导航控制器包括第一视觉捕获单元、第二视觉捕获单元、存储单元、室内同步定位与绘图单元和路径导航控制单元，
其中所述第一视觉捕获单元配置为捕获所述扫地机器人的第一视觉信息，所述第一视觉信息构成包括所述扫地机器人前向的局部地图和前向的全局地图；
所述第二视觉捕获单元配置为捕获所述扫地机器人的第二视觉信息，所述第二视觉信息构成包括扫地机器人所在房间的高度信息，用于确定所处房间的三维地图信息；
耦合于所述第一视觉捕获单元与所述第二视觉捕获单元的室内同步定位与绘图单元，配置为根据所述第一视觉信息与第二视觉信息构建扫地机器人所处房间的地图；
耦合于所述室内同步定位与绘图单元的所述存储单元配置为存储所述地图信息；
耦合于所述室内同步定位与绘图单元的所述路径导航控制单元配置为经由所述驱动控制单元获得来自所述传感单元的相关传感信息，并且根据所述第一视觉信息、第二视觉信息、所述地图信息、和所述传感信息作出路径导航指令；以及
耦合于所述路径导航控制单元的所述驱动控制单元配置为接收所述路径导航指令，并且根据所述路径导航指令来控制所述驱动单元的运动方向。
2.如权利要求1所述的具有视觉导航功能的扫地机器人，还包括：
第一摄像头，耦合于所述第一视觉捕获单元，其中所述第一摄像头安装于所述清扫主机的上方并且所述第一摄像头安装于视觉导航控制器的上方，并且其中所述第一摄像头配置为将所述视觉捕获辅助设备的前方的视觉信息反射进入所述第一视觉捕获单元。
3.如权利要求1所述的具有视觉导航功能的扫地机器人，还包括：
第二摄像头，耦合于所述第二视觉捕获单元，其中所述第二摄像头安装于所述清扫主机的上方并且所述第二摄像头安装于视觉导航控制器的上方，并且其中所述第二摄像头配置为将所述视觉捕获辅助设备的上方的视觉信息反射进入所述第二视觉捕获单元。
4.如权利要求2所述的具有视觉导航功能的扫地机器人，其特征在于：所述第一摄像头和所述第一视觉捕获单元是利用磁性方式来固定。
5.如权利要求3所述的具有视觉导航功能的扫地机器人，其特征在于：所述第二摄像头和所述第二视觉捕获单元是利用磁性方式来固定。
6.如权利要求3所述的具有视觉导航功能的扫地机器人，其特征在于：所述第二摄像头和所述第二视觉捕获单元是利用卡槽方式来固定。
7.如权利要求3所述的具有视觉导航功能的扫地机器人，其特征在于：所述第二摄像头和/或所述第二视觉捕获单元还包含照明单元以使所述扫地机器人在黑暗情况下工作。
8.如权利要求1所述的具有视觉导航功能的扫地机器人，其特征在于：所述路径导航控制单元配置为根据所述第一视觉信息、第二视觉信息、所述地图信息、和所述传感信息进行对象检测、对象跟踪、和人机间距离估计，并且进行对象定位和导航路径规划。
9.如权利要求8所述的具有视觉导航功能的扫地机器人，其特征在于：所述路径导航控制单元配置为利用基于卡尔曼预测的均值漂移算法来进行对象检测、对象跟踪、人机间距离估计、对象定位、和导航路径规划。
10.一种由具有视觉导航功能的扫地机器人执行的导航方法，包括：
由第一视觉捕获单元配置为捕获所述扫地机器人的第一视觉信息，所述第一视觉信息构成包括所述扫地机器人前向的局部地图和前向的全局地图；
由第二视觉捕获单元配置为捕获所述扫地机器人的第二视觉信息，所述第二视觉信息构成包括扫地机器人所在房间的高度信息，用于确定所处房间的三维地图信息；
耦合于所述第一视觉捕获单元与所述第二视觉捕获单元的室内同步定位与绘图单元，配置为根据所述第一视觉信息与第二视觉信息构建扫地机器人所处房间的地图；
耦合于所述室内同步定位与绘图单元的所述存储单元配置为存储所述地图信息；
耦合于所述室内同步定位与绘图单元的所述路径导航控制单元配置为经由所述驱动控制单元获得来自所述传感单元的相关传感信息，并且根据所述第一视觉信息、第二视觉信息、所述地图信息、和所述传感信息作出路径导航指令；以及
耦合于所述路径导航控制单元的所述驱动控制单元配置为接收所述路径导航指令，并且根据所述路径导航指令来控制所述驱动单元的运动方向。
11.如权利要求10所述的导航方法，其特征在于：由所述路径导航控制单元根据所述视觉信息、所述地图信息、和所述传感信息作出路径导航指令的所述步骤包括由所述路径导航控制单元根据所述视觉信息、所述地图信息、和所述传感信息进行对象检测、对象跟踪、和人机间距离估计，并且进行对象定位和导航路径规划。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2015106715854 | 2015-10-13 | ||
| CN201510671585 | 2015-10-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106569489A true CN106569489A (zh) | 2017-04-19 |
Family
ID=58531568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610006213.4A Pending CN106569489A (zh) | 2015-10-13 | 2016-01-05 | 具有视觉导航功能的扫地机器人及其导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106569489A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169595A (zh) * | 2017-04-25 | 2017-09-15 | 北京小米移动软件有限公司 | 房间布局图的绘制方法及装置 |
| CN107297744A (zh) * | 2017-06-16 | 2017-10-27 | 江苏科技大学 | 一种多功能家用移动设备及其路径规划方法 |
| CN107659659A (zh) * | 2017-10-14 | 2018-02-02 | 广东宝乐机器人股份有限公司 | 一种移动机器人及其数据传输方法 |
| CN107647828A (zh) * | 2017-10-27 | 2018-02-02 | 江苏环实科技有限公司 | 安装有鱼眼摄像头的扫地机器人 |
| CN108021884A (zh) * | 2017-12-04 | 2018-05-11 | 深圳市沃特沃德股份有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
| CN108175337A (zh) * | 2017-12-30 | 2018-06-19 | 常州摩本智能科技有限公司 | 扫地机器人及其行走的方法 |
| CN108469814A (zh) * | 2018-02-08 | 2018-08-31 | 广东雷洋智能科技股份有限公司 | 应用于家庭服务机器人的路径巡航方法 |
| CN108507578A (zh) * | 2018-04-03 | 2018-09-07 | 珠海市微半导体有限公司 | 一种全局边界地图的构建方法及其导航方法 |
| WO2018227987A1 (zh) * | 2017-06-12 | 2018-12-20 | 灵动科技（北京）有限公司 | 自动行走的行李箱、智能设备及系统 |
| WO2019037668A1 (zh) * | 2017-08-25 | 2019-02-28 | 科沃斯机器人股份有限公司 | 自移动机器人及其行走方法、显示障碍物分布的方法 |
| CN109470233A (zh) * | 2018-09-13 | 2019-03-15 | 北京米文动力科技有限公司 | 一种定位方法及设备 |
| CN109813285A (zh) * | 2019-01-31 | 2019-05-28 | 莱克电气股份有限公司 | 基于视觉的清洁机器人环境识别方法、存储介质、一种清洁机器人 |
| WO2019109228A1 (zh) * | 2017-12-04 | 2019-06-13 | 深圳市沃特沃德股份有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
| WO2019136716A1 (zh) * | 2018-01-12 | 2019-07-18 | 浙江国自机器人技术有限公司 | 一种自行规划路径的清洗方法 |
| CN110069059A (zh) * | 2018-01-24 | 2019-07-30 | 南京机器人研究院有限公司 | 一种扫地机器人寻路方法 |
| CN110325938A (zh) * | 2017-05-23 | 2019-10-11 | 东芝生活电器株式会社 | 电动吸尘器 |
| CN110785969A (zh) * | 2017-05-12 | 2020-02-11 | 美国iRobot公司 | 用于绘制、控制和显示设备状况的方法、系统及设备 |
| CN112305547A (zh) * | 2020-10-20 | 2021-02-02 | 济南浪潮高新科技投资发展有限公司 | 一种机器人防跌落检测方法 |
| CN112748721A (zh) * | 2019-10-29 | 2021-05-04 | 珠海市一微半导体有限公司 | 视觉机器人及其清洁控制方法、系统和芯片 |
| CN113226143A (zh) * | 2018-12-18 | 2021-08-06 | 特里纳米克斯股份有限公司 | 自主家用电器 |
| CN114603559A (zh) * | 2019-01-04 | 2022-06-10 | 上海阿科伯特机器人有限公司 | 移动机器人的控制方法、装置、移动机器人及存储介质 |
| CN114680732A (zh) * | 2020-12-25 | 2022-07-01 | 苏州宝时得电动工具有限公司 | 一种清洁机器人及其清洁控制方法 |
| CN114911223A (zh) * | 2021-02-09 | 2022-08-16 | 北京盈迪曼德科技有限公司 | 一种机器人导航方法、装置、机器人及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1381340A (zh) * | 2001-04-18 | 2002-11-27 | 三星光州电子株式会社 | 机器人清洁机,机器人清洁系统以及控制它们的方法 |
| JP2006209644A (ja) * | 2005-01-31 | 2006-08-10 | Matsushita Electric Works Ltd | 清掃ロボット |
| JP2008065418A (ja) * | 2006-09-05 | 2008-03-21 | Matsushita Electric Ind Co Ltd | 自律走行装置とプログラムおよび記録媒体 |
| CN101786272A (zh) * | 2010-01-05 | 2010-07-28 | 深圳先进技术研究院 | 一种用于家庭智能监控服务的多感知机器人 |
| JP2011145924A (ja) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | 移動装置及び方法 |
| CN103479303A (zh) * | 2012-06-08 | 2014-01-01 | Lg电子株式会社 | 机器人清洁器、其控制方法以及机器人清洁系统 |
| JP5426603B2 (ja) * | 2010-04-26 | 2014-02-26 | エルジー エレクトロニクス インコーポレイティド | ロボット掃除機、並びにロボット掃除機を用いた遠隔監視システム及びロボット掃除機を用いた遠隔監視方法 |
| CN103680291A (zh) * | 2012-09-09 | 2014-03-26 | 复旦大学 | 基于天花板视觉的同步定位与地图绘制的方法 |
| CN103914068A (zh) * | 2013-01-07 | 2014-07-09 | 中国人民解放军第二炮兵工程大学 | 一种基于栅格地图的服务机器人自主导航方法 |
| CN104407610A (zh) * | 2014-07-21 | 2015-03-11 | 东莞市万锦电子科技有限公司 | 地面清洁机器人系统及其控制方法 |
-
2016
- 2016-01-05 CN CN201610006213.4A patent/CN106569489A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1381340A (zh) * | 2001-04-18 | 2002-11-27 | 三星光州电子株式会社 | 机器人清洁机,机器人清洁系统以及控制它们的方法 |
| JP2006209644A (ja) * | 2005-01-31 | 2006-08-10 | Matsushita Electric Works Ltd | 清掃ロボット |
| JP2008065418A (ja) * | 2006-09-05 | 2008-03-21 | Matsushita Electric Ind Co Ltd | 自律走行装置とプログラムおよび記録媒体 |
| CN101786272A (zh) * | 2010-01-05 | 2010-07-28 | 深圳先进技术研究院 | 一种用于家庭智能监控服务的多感知机器人 |
| JP2011145924A (ja) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | 移動装置及び方法 |
| JP5426603B2 (ja) * | 2010-04-26 | 2014-02-26 | エルジー エレクトロニクス インコーポレイティド | ロボット掃除機、並びにロボット掃除機を用いた遠隔監視システム及びロボット掃除機を用いた遠隔監視方法 |
| CN103479303A (zh) * | 2012-06-08 | 2014-01-01 | Lg电子株式会社 | 机器人清洁器、其控制方法以及机器人清洁系统 |
| CN103680291A (zh) * | 2012-09-09 | 2014-03-26 | 复旦大学 | 基于天花板视觉的同步定位与地图绘制的方法 |
| CN103914068A (zh) * | 2013-01-07 | 2014-07-09 | 中国人民解放军第二炮兵工程大学 | 一种基于栅格地图的服务机器人自主导航方法 |
| CN104407610A (zh) * | 2014-07-21 | 2015-03-11 | 东莞市万锦电子科技有限公司 | 地面清洁机器人系统及其控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张军: "《中国电子学会第十五届青年学术年会论文集》", 31 December 2009, 北京：航空工业出版社 * |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169595A (zh) * | 2017-04-25 | 2017-09-15 | 北京小米移动软件有限公司 | 房间布局图的绘制方法及装置 |
| US10747232B2 (en) | 2017-04-25 | 2020-08-18 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for drawing room layout |
| CN107169595B (zh) * | 2017-04-25 | 2020-02-07 | 北京小米移动软件有限公司 | 房间布局图的绘制方法及装置 |
| US11704011B2 (en) | 2017-05-12 | 2023-07-18 | Irobot Corporation | Methods, systems, and devices for mapping, controlling, and displaying device status |
| CN115102977A (zh) * | 2017-05-12 | 2022-09-23 | 美国iRobot公司 | 用于绘制、控制和显示设备状况的方法、系统及设备 |
| CN110785969B (zh) * | 2017-05-12 | 2022-05-03 | 美国iRobot公司 | 用于绘制、控制和显示设备状况的方法、系统及设备 |
| CN110785969A (zh) * | 2017-05-12 | 2020-02-11 | 美国iRobot公司 | 用于绘制、控制和显示设备状况的方法、系统及设备 |
| CN110325938A (zh) * | 2017-05-23 | 2019-10-11 | 东芝生活电器株式会社 | 电动吸尘器 |
| WO2018227987A1 (zh) * | 2017-06-12 | 2018-12-20 | 灵动科技（北京）有限公司 | 自动行走的行李箱、智能设备及系统 |
| CN107297744A (zh) * | 2017-06-16 | 2017-10-27 | 江苏科技大学 | 一种多功能家用移动设备及其路径规划方法 |
| WO2019037668A1 (zh) * | 2017-08-25 | 2019-02-28 | 科沃斯机器人股份有限公司 | 自移动机器人及其行走方法、显示障碍物分布的方法 |
| CN107659659A (zh) * | 2017-10-14 | 2018-02-02 | 广东宝乐机器人股份有限公司 | 一种移动机器人及其数据传输方法 |
| CN107647828A (zh) * | 2017-10-27 | 2018-02-02 | 江苏环实科技有限公司 | 安装有鱼眼摄像头的扫地机器人 |
| WO2019109228A1 (zh) * | 2017-12-04 | 2019-06-13 | 深圳市沃特沃德股份有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
| CN108021884A (zh) * | 2017-12-04 | 2018-05-11 | 深圳市沃特沃德股份有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
| CN108021884B (zh) * | 2017-12-04 | 2020-04-21 | 深圳市无限动力发展有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
| CN108175337A (zh) * | 2017-12-30 | 2018-06-19 | 常州摩本智能科技有限公司 | 扫地机器人及其行走的方法 |
| CN108175337B (zh) * | 2017-12-30 | 2024-01-26 | 常州摩本智能科技有限公司 | 扫地机器人及其行走的方法 |
| WO2019136716A1 (zh) * | 2018-01-12 | 2019-07-18 | 浙江国自机器人技术有限公司 | 一种自行规划路径的清洗方法 |
| CN110069059A (zh) * | 2018-01-24 | 2019-07-30 | 南京机器人研究院有限公司 | 一种扫地机器人寻路方法 |
| CN108469814A (zh) * | 2018-02-08 | 2018-08-31 | 广东雷洋智能科技股份有限公司 | 应用于家庭服务机器人的路径巡航方法 |
| CN108507578A (zh) * | 2018-04-03 | 2018-09-07 | 珠海市微半导体有限公司 | 一种全局边界地图的构建方法及其导航方法 |
| CN109470233B (zh) * | 2018-09-13 | 2021-09-28 | 北京米文动力科技有限公司 | 一种定位方法及设备 |
| CN109470233A (zh) * | 2018-09-13 | 2019-03-15 | 北京米文动力科技有限公司 | 一种定位方法及设备 |
| CN113226143A (zh) * | 2018-12-18 | 2021-08-06 | 特里纳米克斯股份有限公司 | 自主家用电器 |
| JP2022514375A (ja) * | 2018-12-18 | 2022-02-10 | トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 自律型家電 |
| JP7502300B2 (ja) | 2018-12-18 | 2024-06-18 | トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング | 自律型家電 |
| CN114603559A (zh) * | 2019-01-04 | 2022-06-10 | 上海阿科伯特机器人有限公司 | 移动机器人的控制方法、装置、移动机器人及存储介质 |
| CN109813285A (zh) * | 2019-01-31 | 2019-05-28 | 莱克电气股份有限公司 | 基于视觉的清洁机器人环境识别方法、存储介质、一种清洁机器人 |
| CN112748721A (zh) * | 2019-10-29 | 2021-05-04 | 珠海市一微半导体有限公司 | 视觉机器人及其清洁控制方法、系统和芯片 |
| CN112305547B (zh) * | 2020-10-20 | 2022-05-13 | 山东新一代信息产业技术研究院有限公司 | 一种机器人防跌落检测方法 |
| CN112305547A (zh) * | 2020-10-20 | 2021-02-02 | 济南浪潮高新科技投资发展有限公司 | 一种机器人防跌落检测方法 |
| CN114680732A (zh) * | 2020-12-25 | 2022-07-01 | 苏州宝时得电动工具有限公司 | 一种清洁机器人及其清洁控制方法 |
| CN114911223A (zh) * | 2021-02-09 | 2022-08-16 | 北京盈迪曼德科技有限公司 | 一种机器人导航方法、装置、机器人及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106569489A (zh) | 具有视觉导航功能的扫地机器人及其导航方法 | |
| CN110522359B (zh) | 清洁机器人以及清洁机器人的控制方法 | |
| CN110801180B (zh) | 清洁机器人的运行方法及装置 | |
| US12038756B2 (en) | Intelligent cleaning robot | |
| US10390003B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
| CN109890573B (zh) | 移动机器人的控制方法、装置、移动机器人及存储介质 | |
| CN107981790B (zh) | 室内区域划分方法及扫地机器人 | |
| CN105411490B (zh) | 移动机器人的实时定位方法及移动机器人 | |
| KR102447461B1 (ko) | 다방향 카메라를 이용한 밀폐 공간에 대한 치수 추정 | |
| Lategahn et al. | Visual SLAM for autonomous ground vehicles | |
| CN102914303B (zh) | 多移动机器人的智能空间系统及导航信息获取方法 | |
| CN104536445B (zh) | 移动导航方法和系统 | |
| EP2948927B1 (en) | A method of detecting structural parts of a scene | |
| CN207488823U (zh) | 一种移动电子设备 | |
| CN106592499B (zh) | 一种铲雪机器人及其铲雪方法 | |
| US11269350B2 (en) | Method for creating an environment map for a processing unit | |
| CN112075879A (zh) | 一种信息处理方法、装置及存储介质 | |
| CN108459596A (zh) | 一种移动电子设备以及该移动电子设备中的方法 | |
| US20200121147A1 (en) | Vacuum cleaner | |
| CN207051738U (zh) | 一种移动电子设备 | |
| JP7266128B2 (ja) | ３次元マップ生成方法及びシステム | |
| US11989021B1 (en) | Method for overcoming obstructions of a robotic device | |
| CN108459597A (zh) | 一种用于处理任务区域的任务的移动电子设备以及方法 | |
| Rodríguez et al. | Obstacle avoidance system for assisting visually impaired people | |
| CN111665826A (zh) | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170419 |