CN104932534A - 一种云机器人清扫物品的方法 - Google Patents
一种云机器人清扫物品的方法 Download PDFInfo
- Publication number
- CN104932534A CN104932534A CN201510268756.9A CN201510268756A CN104932534A CN 104932534 A CN104932534 A CN 104932534A CN 201510268756 A CN201510268756 A CN 201510268756A CN 104932534 A CN104932534 A CN 104932534A
- Authority
- CN
- China
- Prior art keywords
- cleaning
- robot
- article
- cloud
- target item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提出了一种云机器人清扫物品的方法，包括离线阶段和在线阶段，离线阶段对机器人进行训练，训练机器人建立物品模型集和清扫动作集；在线阶段，从上述物品模型集中获得物品模型，机器人确认目标物品后估计位姿，然后利用清扫动作集发现针对目标物品的最优清扫动作完成清扫，最后将清扫过程中产生的数据传送给云计算平台进行存储，以使得机器人可以不断地从中学习技能。本发明云机器人清扫物品的方法清扫效率高，能够对不同的物品选择最优的清扫动作，能够采用最优的清扫方法对物品进行清扫，并且机器人的智能得到提高。
Description
技术领域
本发明涉及一种云机器人清扫物品的方法。
背景技术
随着社会的进步和人民生活水平的提高，利用机器人清扫物品已经深入人们的生活当中，清扫机器人受到广大消费者的欢迎。
目前，市场上有很多种类的清扫机器人，它们普遍存在的问题是：首先清扫效率低，不能够对不同类型的物品采取不同的清扫动作和不同的清扫方法，这给使用者造成了很大的不便，并且大部分清扫机器人因为无法识别行走路径是否已经清扫过，而会进行部分区域的重复清扫，导致效率低下，浪费能源，对于已经清扫过的物品没有记忆的功能，下次清扫的时候还是要重新进行探测。
可见，现有清扫机器人还无法满足智能生活的要求。
发明内容
本发明提出一种云机器人清扫物品的方法，解决了现有技术中的清扫机器人不能对不同类型的物品采取合适的清扫动作，不能完成对复杂的物品进行清扫的问题，同时克服了现有技术中的机器人不能互相学习、没有记忆功能的缺陷。
本发明的技术方案是这样实现的：一种云机器人清扫物品的方法，包括离线阶段和在线阶段，离线阶段对机器人进行训练，训练机器人建立物品模型集和清扫动作集；在线阶段，从所述物品模型集中获得物品模型，机器人确认目标物品后估计位姿，从清扫动作集中选择合适的清扫动作完成清扫，并将清扫过程中产生的数据传送给云计算平台进行存储，以使得机器人可以不断地从中学习技能。
进一步，所述机器人包括照相机和Kinect传感器，机器人建立物品模型集的方法如下：
a)机器人终端的照相机对每个物品从不同视角拍照上传给Goggles，根据Goggles的返回结果给出物品的置信值，同时标注物品的属性，所述属性包括物品的重量、物品的材料；将物品的置信度和物品的属性存储于云计算平台的基于HDFS的云存储模块中；
b)Kinect传感器感应到每个物品之后，将点云传送给云平台的HDFS的云存储模块中,然后建立两个模型，两个模型分别为参考3D点集(Reference 3Dpoint set)和三角网格模型(Triangular mesh model)；并结合上一步得到的物品的置信值、物品的属性，最终形成物品模型集，并存储于云计算平台的基于HDFS的云存储模块中。
进一步，机器人建立清扫动作集的方法如下：
a)Columbia大学的GraspIt！抓取动作数据库利用基于HDFS的云存储模块中存储的已有机械部件模型以及上一步产生的三角网格模型生成可选的清扫动作；
b)针对每个物品的不同初始位姿，照相机将物品的初始位姿传输给GraspIt！抓取动作数据库，利用GraspIt！抓取动作数据库生成一个清扫动作集。以方便机器人在线阶段的调用，初始位姿的数目可根据具体情况调整，如60。
进一步，在线阶段，机器人确认目标物品的方法如下：机器人向云计算平台发送现场拍摄的目标物品的图片，利用Goggles&MIT KIT数据库完成目标物品建模过程，从物品模型集中获得目标物品模型，返回匹配结果，根据置信度，选择最佳匹配结果。
进一步，估计位姿以及选择合适的清扫动作完成清扫的方法如下：
基于所述匹配结果，从3D障碍物分布图中获取目标物品的参考3D点集；基于PCL(Point Cloud Library)库，利用迭代就近点法ICP(Iterative Closest Point)计算得到更精确的旋转平移矩阵；同时，利用ICP对目标物品的以下两组数据之间进行配准：一组数据是上述匹配结果的参考3D点集；另一组数据是通过Kinect传感器现场采集的目标物品的点云；
通过配准估计出目标物品的初始位姿，鉴于目标物品是立体的，确定目标物品的初始位姿后，机器人据此从清扫动作集中选择合适的清扫动作，并确定从哪里开始操作物品；
利用清扫动作集发现针对该目标物品的最优清扫动作，基于OpenRAVE进行机器人机械手臂运动的规划。
进一步，清扫过程中产生的数据包括目标物品的图片、目标物品的属性、最终估计位姿以及目标物品的点云、选择的清扫动作、清扫的效果。
进一步，机器人终端通过云计算平台确定其地理位置信息，进而可实现差异化的清扫模式；同时，机器人终端通过云计算平台可自动下载新的清扫算法。
本发明的有益效果为：本发明云机器人清扫物品的方法清扫效率高，能够对不同的物品选择最优的清扫动作，能够采用最优的清扫方法对物品进行清扫，同时对清扫过程中产生的数据进行存储，以便下次直接调用，使得机器人可以不断的学习。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种云机器人清扫物品的方法离线阶段的方法流程示意图；
图2为本发明一种云机器人清扫物品的方法在线阶段的方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种云机器人清扫物品的方法，包括离线阶段和在线阶段，离线阶段对机器人进行训练，训练机器人建立物品模型集和清扫动作集；在线阶段，机器人确认目标物品后估计位姿，选择合适的清扫动作完成清扫，并将清扫过程中产生的数据传送给云计算平台。清扫过程中产生的数据包括目标物品的图片、目标物品的属性、最终估计位姿以及目标物品的点云、选择的清扫动作、清扫的效果。
如图1所示，所述机器人包括照相机和Kinect传感器，机器人建立物品模型集的方法如下：
a)机器人终端的照相机对每个物品从不同视角拍照上传给Goggles，根据Goggles的返回结果给出物品的置信值，同时标注物品的属性，所述属性包括物品的重量、物品的材料；将物品的置信度和物品的属性存储于云计算平台的基于HDFS的云存储模块中；
b)Kinect传感器感应到每个物品之后，将点云传送给云平台的HDFS的云存储模块中,然后建立两个模型，两个模型分别为参考3D点集(Reference 3Dpoint set)和三角网格模型(Triangular mesh model)；并结合上一步得到的物品的置信值、物品的属性，最终形成物品模型集，并存储于云计算平台的基于HDFS的云存储模块中。
如图1所示，机器人建立清扫动作集的方法如下：
a)Columbia大学的GraspIt！抓取动作数据库利用基于HDFS的云存储模块中存储的已有机械部件模型以及上一步产生的三角网格模型生成可选的清扫动作；
b)针对每个物品的不同初始位姿，照相机将物品的初始位姿传输给GraspIt！抓取动作数据库，利用GraspIt！抓取动作数据库生成一个清扫动作集。以方便机器人在线阶段的调用，初始位姿的数目可根据具体情况调整，如60。
如图2所示，在线阶段，机器人确认目标物品的方法如下：机器人向云计算平台发送现场拍摄的目标物品的图片，利用Goggles&MIT KIT数据库完成目标物品建模过程，从物品模型集中获得目标物品模型，返回匹配结果，根据置信度，选择最佳匹配结果。
如图2所示，估计位姿以及选择合适的清扫动作完成清扫的方法如下：
基于所述匹配结果，从3D障碍物分布图中获取目标物品的参考3D点集；基于PCL(Point Cloud Library)库，利用迭代就近点法ICP(Iterative Closest Point)计算得到更精确的旋转平移矩阵；同时，利用ICP对目标物品的以下两组数据之间进行配准：一组数据是上述匹配结果的参考3D点集；另一组数据是通过Kinect传感器现场采集的目标物品的点云；
通过配准估计出目标物品的初始位姿，鉴于目标物品是立体的，确定目标物品的初始位姿后，机器人据此从清扫动作集中选择合适的清扫动作，并确定从哪里开始操作物品；
利用清扫动作集发现针对该目标物品的最优清扫动作，基于OpenRAVE进行机器人机械手臂运动的规划。
通过云计算平台大数据驱动的云机器人可提高机器人的智能：
(1)机器人终端基于地理位置信息可实现差异化的清扫模式
事实显示，相同小区房子的户型、装修等方面存在相同之处。所以，首先通过其所用的IP地址判断机器人的地理位置；然后，通过网络可查询实时天气、气候等情况；最后，据此选择合理的清扫模式，如回南天等特殊气候下的清扫。
(2)机器人终端可自动下载新的清扫算法
每个机器人把自己清扫的过程上传至云计算平台的大数据资源，例如，在哪里看似无障碍的地方被阻，在哪里清扫多少时间等信息。那么，机器人之间可以互相训练/学习，发现最佳的清扫模式，例如：
a)如何清扫一个非规则区域，如，角落、缝隙等；
b)推测清扫对象的材质，如，大理石或木地板；
c)推测地面的污垢程度，根据云端存储的其他人清扫过程的历史数据，选
择合适的清扫模式；
d)如何绕过一个非规则障碍物。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种云机器人清扫物品的方法，其特征在于：包括离线阶段和在线阶段，离线阶段对机器人进行训练，训练机器人建立物品模型集和清扫动作集；在线阶段，从所述物品模型集中获得物品模型，机器人确认目标物品后估计位姿，从清扫动作集中选择合适的清扫动作完成清扫，并将清扫过程中产生的数据传送给云计算平台进行存储，以使得机器人可以不断地从中学习技能。
2.如权利要求1所述的云机器人清扫物品的方法，其特征在于，所述机器人包括照相机和Kinect传感器，机器人建立物品模型集的方法如下：
a)机器人终端的照相机对每个物品从不同视角拍照上传给Goggles，根据Goggles的返回结果给出物品的置信值，同时标注物品的属性，所述属性包括物品的重量、物品的材料；将物品的置信度和物品的属性存储于云计算平台的基于HDFS的云存储模块中；
b)Kinect传感器感应到每个物品之后，将点云传送给云平台的HDFS的云存储模块中,然后建立两个模型，两个模型分别为参考3D点集(Reference 3Dpoint set)和三角网格模型(Triangular mesh model)；并结合上一步得到的物品的置信值、物品的属性，最终形成物品模型集，并存储于云计算平台的基于HDFS的云存储模块中。
3.如权利要求1所述的云机器人清扫物品的方法，其特征在于，机器人建立清扫动作集的方法如下：
a)Columbia大学的GraspIt！抓取动作数据库利用基于HDFS的云存储模块中存储的已有机械部件模型以及上一步产生的三角网格模型生成可选的清扫动作；
b)针对每个物品的不同初始位姿，照相机将物品的初始位姿传输给GraspIt！抓取动作数据库，利用GraspIt！抓取动作数据库生成一个清扫动作集。
4.如权利要求1所述的云机器人清扫物品的方法，其特征在于，在线阶段，机器人确认目标物品的方法如下：机器人向云计算平台发送现场拍摄的目标物品的图片，利用Goggles&MIT KIT数据库完成目标物品建模过程，从物品模型集中获得目标物品模型，返回匹配结果，根据置信度选择最佳匹配结果。
5.如权利要求4所述的云机器人清扫物品的方法，其特征在于，估计位姿以及选择合适的清扫动作完成清扫的方法如下：
基于所述匹配结果，从3D障碍物分布图中获取目标物品的参考3D点集；基于PCL(Point Cloud Library)库，利用迭代就近点法ICP(Iterative Closest Point)计算得到更精确的旋转平移矩阵；同时，利用ICP对目标物品的以下两组数据之间进行配准：一组数据是上述匹配结果的参考3D点集；另一组数据是通过Kinect传感器现场采集的目标物品的点云；
通过配准估计出目标物品的初始位姿，鉴于目标物品是立体的，确定目标物品的初始位姿后，机器人据此从清扫动作集中选择合适的清扫动作，并确定从哪里开始操作物品；
利用清扫动作集发现针对该目标物品的最优清扫动作，基于OpenRAVE进行机器人机械手臂运动的规划。
6.如权利要求1所述的云机器人清扫物品的方法，其特征在于：清扫过程中产生的数据包括目标物品的图片、目标物品的属性、最终估计位姿以及目标物品的点云、选择的清扫动作、清扫的效果。
7.如权利要求1所述的云机器人清扫物品的方法，其特征在于：机器人终端通过云计算平台确定其地理位置信息，进而可实现差异化的清扫模式；同时，机器人终端通过云计算平台可自动下载新的清扫算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510268756.9A CN104932534B (zh) | 2015-05-22 | 2015-05-22 | 一种云机器人清扫物品的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510268756.9A CN104932534B (zh) | 2015-05-22 | 2015-05-22 | 一种云机器人清扫物品的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104932534A true CN104932534A (zh) | 2015-09-23 |
| CN104932534B CN104932534B (zh) | 2017-11-21 |
Family
ID=54119738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510268756.9A Active CN104932534B (zh) | 2015-05-22 | 2015-05-22 | 一种云机器人清扫物品的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104932534B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105215987A (zh) * | 2015-10-12 | 2016-01-06 | 安徽埃夫特智能装备有限公司 | 一种工业机器人工艺云系统及其工作方法 |
| CN105945943A (zh) * | 2016-05-12 | 2016-09-21 | 东北大学 | 一种基于动态Agent的云机器人分布式控制系统及方法 |
| CN106737692A (zh) * | 2017-02-10 | 2017-05-31 | 杭州迦智科技有限公司 | 一种基于深度投影的机械手爪抓取规划方法及控制装置 |
| CN107328417A (zh) * | 2017-06-13 | 2017-11-07 | 上海斐讯数据通信技术有限公司 | 一种智能扫地机器人定位方法及系统 |
| CN108814450A (zh) * | 2018-07-31 | 2018-11-16 | 上海爱优威软件开发有限公司 | 一种与扫地机器人进行交互的方法、系统及终端 |
| CN109190005A (zh) * | 2018-07-17 | 2019-01-11 | 太仓远见科技咨询服务有限公司 | 一种移动互连网云服务器 |
| CN111857147A (zh) * | 2020-07-27 | 2020-10-30 | 盐城工业职业技术学院 | 一种农用拖拉机远程控制系统及方法 |
| CN113020047A (zh) * | 2021-03-10 | 2021-06-25 | 上海交通大学 | 报废crt电视机荧光粉的智能化清扫回收装置 |
| WO2021138939A1 (zh) * | 2020-01-08 | 2021-07-15 | 广州番禺职业技术学院 | 一种云脑机器人系统 |
| CN114794953A (zh) * | 2022-04-19 | 2022-07-29 | 净豹智能机器人(台州)有限公司 | 基于深度学习的智能清洁机器人贴边清洁系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007033788A1 (de) * | 2007-07-09 | 2009-01-15 | Gerd Wurster | Vorbehandlungsanlage und Verfahren zur Vorbehandlung von Werkstücken |
| CN103792944A (zh) * | 2014-02-26 | 2014-05-14 | 曾光 | 物联网多媒体净化吸尘智能机器人 |
| CN103856550A (zh) * | 2012-12-05 | 2014-06-11 | 凌海科技企业股份有限公司 | 远程监控系统及其运作方法 |
| CN103984315A (zh) * | 2014-05-15 | 2014-08-13 | 成都百威讯科技有限责任公司 | 一种家用多功能智能机器人 |
| CN104068798A (zh) * | 2014-07-21 | 2014-10-01 | 南通大学 | 内顶轨道驱动式课桌清洁装置 |
-
2015
- 2015-05-22 CN CN201510268756.9A patent/CN104932534B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007033788A1 (de) * | 2007-07-09 | 2009-01-15 | Gerd Wurster | Vorbehandlungsanlage und Verfahren zur Vorbehandlung von Werkstücken |
| CN103856550A (zh) * | 2012-12-05 | 2014-06-11 | 凌海科技企业股份有限公司 | 远程监控系统及其运作方法 |
| CN103792944A (zh) * | 2014-02-26 | 2014-05-14 | 曾光 | 物联网多媒体净化吸尘智能机器人 |
| CN103984315A (zh) * | 2014-05-15 | 2014-08-13 | 成都百威讯科技有限责任公司 | 一种家用多功能智能机器人 |
| CN104068798A (zh) * | 2014-07-21 | 2014-10-01 | 南通大学 | 内顶轨道驱动式课桌清洁装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105215987A (zh) * | 2015-10-12 | 2016-01-06 | 安徽埃夫特智能装备有限公司 | 一种工业机器人工艺云系统及其工作方法 |
| CN105945943A (zh) * | 2016-05-12 | 2016-09-21 | 东北大学 | 一种基于动态Agent的云机器人分布式控制系统及方法 |
| CN106737692A (zh) * | 2017-02-10 | 2017-05-31 | 杭州迦智科技有限公司 | 一种基于深度投影的机械手爪抓取规划方法及控制装置 |
| CN106737692B (zh) * | 2017-02-10 | 2020-04-03 | 杭州迦智科技有限公司 | 一种基于深度投影的机械手爪抓取规划方法及控制装置 |
| CN107328417A (zh) * | 2017-06-13 | 2017-11-07 | 上海斐讯数据通信技术有限公司 | 一种智能扫地机器人定位方法及系统 |
| CN109190005A (zh) * | 2018-07-17 | 2019-01-11 | 太仓远见科技咨询服务有限公司 | 一种移动互连网云服务器 |
| CN108814450A (zh) * | 2018-07-31 | 2018-11-16 | 上海爱优威软件开发有限公司 | 一种与扫地机器人进行交互的方法、系统及终端 |
| WO2021138939A1 (zh) * | 2020-01-08 | 2021-07-15 | 广州番禺职业技术学院 | 一种云脑机器人系统 |
| CN111857147A (zh) * | 2020-07-27 | 2020-10-30 | 盐城工业职业技术学院 | 一种农用拖拉机远程控制系统及方法 |
| CN111857147B (zh) * | 2020-07-27 | 2021-02-02 | 盐城工业职业技术学院 | 一种农用拖拉机远程控制系统及方法 |
| CN113020047A (zh) * | 2021-03-10 | 2021-06-25 | 上海交通大学 | 报废crt电视机荧光粉的智能化清扫回收装置 |
| CN114794953A (zh) * | 2022-04-19 | 2022-07-29 | 净豹智能机器人(台州)有限公司 | 基于深度学习的智能清洁机器人贴边清洁系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104932534B (zh) | 2017-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104932534A (zh) | 一种云机器人清扫物品的方法 | |
| US11734468B2 (en) | System and method for generating computerized models of structures using geometry extraction and reconstruction techniques | |
| Savva et al. | MINOS: Multimodal indoor simulator for navigation in complex environments | |
| CN107564012B (zh) | 面向未知环境的增强现实方法及装置 | |
| US20210109520A1 (en) | Augmented reality interface for authoring tasks for execution by a programmable robot | |
| Turner et al. | Fast, automated, scalable generation of textured 3D models of indoor environments | |
| CN109387204A (zh) | 面向室内动态环境的移动机器人同步定位与构图方法 | |
| JP2021520583A (ja) | 仮想現実モデル内の穴を埋めるためのシステム及び方法 | |
| CN109567676A (zh) | 自主移动清扫机、清扫方法以及程序 | |
| CN109782600A (zh) | 一种通过虚拟环境建立自主移动机器人导航系统的方法 | |
| CN110376934A (zh) | 清洁机器人、清洁机器人控制方法及终端控制方法 | |
| CN108508887A (zh) | 用于操作自行走机器人的方法 | |
| CN110313867A (zh) | 自主移动清扫机、自主移动清扫机的清扫方法及程序 | |
| Ishida et al. | Semi-automatic dataset generation for object detection and recognition and its evaluation on domestic service robots | |
| Oßwald et al. | Efficient coverage of 3D environments with humanoid robots using inverse reachability maps | |
| Kareer et al. | Vinl: Visual navigation and locomotion over obstacles | |
| CN111656138A (zh) | 构建地图及定位方法、客户端、移动机器人及存储介质 | |
| Engelsons et al. | Coverage path planning in large-scale multi-floor urban environments with applications to autonomous road sweeping | |
| CN106296650A (zh) | 一种激光点云配准方法和装置 | |
| Satomi et al. | Hierarchical growing neural gas for information structured space | |
| CN107328417A (zh) | 一种智能扫地机器人定位方法及系统 | |
| CN115805595A (zh) | 机器人导航方法、装置及杂物清理机器人 | |
| CN112515565B (zh) | 一种清洁分区相邻判断方法及清洁机器人 | |
| CN109900272B (zh) | 视觉定位与建图方法、装置及电子设备 | |
| CN113995344A (zh) | 一种机器人控制方法及装置、机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |