CN109890576A - 移动机器人及其控制方法 - Google Patents

Abstract

根据本发明的一方面的移动机器人包括：驱动单元，该驱动单元用于移动主体；图像获取单元，该图像获取单元用于通过连续地拍摄主体的周围环境来获取多个图像；存储单元，该存储单元用于存储图像获取单元所获取的多个连续图像；传感器单元，该传感器单元包括用于在行进期间感测障碍物的一个或更多个传感器；以及控制单元，该控制单元包括障碍物识别模块，一旦传感器单元感测到了障碍物，该障碍物识别模块就基于主体的行进方向和行进速度来从多个连续图像当中选择比传感器单元感测到障碍物的时间点之前的特定点的图像，并且识别包括在所选择的特定点的图像中的障碍物的属性，移动机器人因此能够获得能够提高障碍物属性识别的准确度的图像数据并且准确地识别障碍物的属性。

Description

移动机器人及其控制方法

技术领域

本发明涉及移动机器人及其控制方法，并且更具体地，涉及能够执行物体识别和避开的移动机器人以及用于控制该移动机器人的方法。

背景技术

已开发出工业用机器人，该机器人已负责了工厂自动化的一部分。随着机器人近来已被用于更多样化的领域，已开发出医疗机器人、航空机器人等，并且还正在制造用于普通家庭的家用机器人。在这些机器人当中，能够自行行进的机器人被称为移动机器人。

在家庭中使用的移动机器人的典型示例是机器人清洁器，其通过在其自行在预定区域中行进的同时吸入环境灰尘或外来物质来清洁预定区域。

移动机器人能够自行移动并因此自由移动，并且移动机器人被设置有多个传感器，以便在行进期间避开物体，使得移动机器人能在行进时绕过物体。

通常，移动机器人使用红外传感器或超声波传感器来感测物体。红外传感器基于被物体反射的光量或接收反射光所花费的时间来确定物体的存在以及与物体的距离，而超声波传感器发送具有预定周期的超声波，并且响应于被物体反射的超声波，基于发送超声波的时间与超声波返回到物体的时间之间的差来确定与物体的距离。

此外，物体识别和避开不仅显著地影响了移动机器人的驱动性能，而且显著地影响了移动机器人的清洁性能，因此，需要确保物体识别能力的可靠性。

相关技术(韩国专利注册No.10-0669892)公开了一种通过结合红外传感器和超声波传感器来实施高度可靠的物体识别的技术。

然而，相关技术(韩国专利注册No.10-0669892)的问题在于，其不能够确定物体的属性。

图1是用于说明传统移动机器人感测和避开物体的方法的图。

参照图1，机器人清洁器通过在移动的同时吸入灰尘和异物来执行清洁(S11)。

机器人清洁器响应于由超声波传感器感测到被物体反射的超声波信号来识别物体的存在(S12)，并且确定识别到的物体是否具有机器人清洁器能够攀爬的高度(S13)。

如果确定识别到的物体具有机器人清洁器能够攀爬的高度，则机器人清洁器可以向前移动(S14)，否则，旋转90度(S15)。

例如，如果物体是低门槛，则机器人清洁器识别门槛，并且如果识别结果表明门槛低得足以经过，则机器人清洁器越过门槛移动。

然而，如果被确定具有机器人清洁器能够攀爬的高度的物体是电线，则机器人清洁器有可能在越过电线移动时受到电线的约束并因此被限制。

另外，由于风扇底座的高度与门槛的高度近似或比门槛的高度低，因此机器人清洁器可以确定风扇底座是机器人清洁器能够攀爬的物体。在这种情况下，当试图攀爬风扇底座时，机器人清洁器会受到轮子快速旋转的限制。

另外，在感测到的并非是整个人体而是人的头发的一部分的情况下，机器人清洁器可以确定人的头发具有机器人清洁器能够攀爬的高度，并且向前行进，但是在这种情况下，机器人清洁器会吸入有可能引起故障的人的头发。

因此，需要用于识别前方物体的属性并根据属性改变移动模式的方法。

此外，近年来，对诸如人工智能和深度学习这样的机器学习的关注显著增加。

机器学习是人工智能领域中的一种，并且是指利用数据来训练计算机并指导计算机基于数据执行诸如预测和分类这样的特定任务。

Tom M.Mitchell教授提出了如下的机器学习的代表性定义：“如果通过P测得的T中的特定任务的性能随经验E而改善，则可以说任务T是从经验E中学习的。”也就是说，用一致的经验改善了针对特定任务T的性能E被认为是机器学习。

传统的机器学习侧重于基于统计的分类、回归和聚类模型。特别地，关于分类和回归模型的地图学习，人类定义了训练数据的属性和基于所述属性来区分新数据的学习模型。

此外，与传统的机器学习不同，最近正在开发深度学习技术。深度学习是一种人工智能技术，其使得计算机能够基于人工神经网络(ANN)像人类一样自己学习。也就是说，深度学习意指计算机自己发现并确定属性。

使深度学习开发加速的因素之一可能是例如作为开放源提供的深度学习框架。例如，深度学习框架包括由加拿大蒙特利尔大学(University of Montreal)开发的Theano、由美国纽约大学(New York University)开发的Torch、由加州大学伯克利分校(University of California,Berkeley)开发的Caffe、由Google开发的TensorFlow等。

随着深度学习框架的公开，除了出于有效学习和识别的深度学习算法之外，学习过程、学习方法以及提取和选择用于学习的数据也已变得更加重要。

另外，正在越来越多地尽力在各种产品和服务中使用人工智能和机器学习。

发明内容

技术问题

本发明的一个目的是提供一种移动机器人以及用于控制该移动机器人的方法，该移动机器人能够获取用于提高物体属性识别的准确性的图像数据。

本发明的另一个目的是提供一种移动机器人以及用于控制该移动机器人的方法，该移动机器人能够确定物体的属性并且根据物体的属性来调整行进模式以由此执行高度可靠的物体识别和避开。

本发明的又一个目的是提供一种移动机器人以及用于控制该移动机器人的方法，该移动机器人能够根据对物体的识别结果来向前移动、向后移动、停下、绕行等，由此增强移动机器人的稳定性和用户便利度并且提高操作效率和清洁效率。

本发明的又一个目的是提供一种移动机器人以及用于控制该移动机器人的方法，该移动机器人能够基于机器学习来准确地识别物体的属性。

本发明的又一个目的是提供一种移动机器人以及用于控制该移动机器人的方法，该移动机器人能够高效地执行机器学习并且提取用于物体属性识别的数据。

技术方案

为了实现以上或其它目的，本发明的一个总体方面的一种移动机器人包括：行进驱动单元，该行进驱动单元被配置为移动主体；图像获取单元，该图像获取单元被配置为通过连续地拍摄所述主体的周围环境来获取多个图像；存储器，该存储器被配置为存储所述图像获取单元所获取的多个连续图像；传感器单元，该传感器单元具有一个或更多个传感器，所述一个或更多个传感器被配置为在所述主体移动期间感测物体；以及控制器，该控制器被配置为：当所述传感器单元感测到所述物体时，基于所述主体的移动方向和移动速度来从所述多个连续图像当中选择在比所述传感器单元的物体感测时间早的特定时间点获取的图像，并且识别包括在所选择的在所述特定时间点获取的图像中的所述物体的属性，因此，能够准确地识别障碍物的属性并且登记并管理物体区域。

另外，为了实现以上或其它目的，本发明的一个总体方面的一种移动机器人包括行进控制模块，该行进控制模块被配置为基于识别到的物体的最终属性来控制行进驱动单元的驱动，因此，能够提高稳定性、用户便利度、操作效率和清洁效率。

另外，为了实现以上或其它目的，本发明的一个总体方面的一种用于控制移动机器人的方法可以包括以下步骤：由图像获取单元在行进期间连续地拍摄主体的周围环境来获取多个图像；存储图像获取单元所获取的多个连续图像；由传感器单元感测物体；当所述传感器单元感测到所述物体时，基于所述主体的移动方向和移动速度来从所述多个连续图像当中选择在比所述传感器单元的物体感测时间早的特定时间点获取的图像；识别包括在所选择的在所述特定时间点获取的图像中的所述物体的属性；以及基于识别到的所述物体的属性来控制行进驱动单元的驱动。

有益效果

根据本发明的实施方式中的至少一个，能够获取有助于提高识别物体的属性的准确度的图像数据。

根据本发明的实施方式中的至少一个，由于移动机器人能够准确地确定物体的属性并且根据物体的属性来调整行进模式，因此能够执行高度可靠的物体识别和避开。

另外，根据本发明的实施方式中的至少一个，能够提供能够根据关于物体的识别结果来向前移动、向后移动、停下、绕行等以增强用户便利度并且提高操作效率和清洁效率的移动机器人以及控制该移动机器人的方法。

另外，根据本发明的实施方式中的至少一个，能够提供能够基于学习机来准确地识别物体的属性的移动机器人和控制该移动机器人的方法。

另外，根据本发明的实施方式中的至少一个，移动机器人能够高效地执行机器学习并且提取用于识别的数据。

此外，可以在根据本发明的实施方式的以下详细说明中明确或隐含地公开其它效果。

附图说明

图1是本发明的实施方式的移动机器人的立体图。

图2是从其它角度观察移动机器人的立体图。

图3是从正面观察移动机器人的主视图。

图4是用于说明传统机器人清洁器感测并避开物体的方法的图。

图2是根据本发明的实施方式的移动机器人和用于对移动机器人进行充电的底座站的立体图。

图3是图2中的移动机器人的顶部的视图。

图4是图2中的移动机器人的前部的视图。

图5是图2中的移动机器人的底部的视图。

图6和图7是根据本发明的实施方式的移动机器人的主要组件之间的控制关系的框图。

图8是根据本发明的实施方式的服务器的示例性示意内部框图。

图9至图12是用于说明深度学习的图。

图13和图14是用于说明物体识别模块进行物体识别的图。

图15是根据本发明的实施方式的控制移动机器人的方法的流程图。

图16是根据本发明的实施方式的控制移动机器人的方法的流程图。

图17至图25是用于说明根据本发明的实施方式的控制移动机器人的方法的图。

图26是用于说明根据本发明的实施方式的移动机器人和服务器的操作方法的图。

图27是根据本发明的实施方式的移动机器人和服务器的操作方法的流程图。

图28是根据本发明的实施方式的控制移动机器人的方法的流程图。

图29是根据本发明的实施方式的控制移动机器人的方法的流程图。

图30至图34是用于说明根据本发明的实施方式的控制移动机器人的方法的图。

具体实施方式

在下文中，将参照附图来详细地描述本发明的实施方式。虽然将结合示例性实施方式描述本发明，但是应该理解，本说明书并不旨在将本发明限于示例性实施方式。

在附图中，为了清楚简要地描述本发明，将省略与描述无关的部分，并且在以下对实施方式的描述中，用相同的附图标记表示相同或相似的元件，即使这些元件是在不同的图中描绘的。

在以下描述中，相对于以下描述中使用的构成元件，后缀“模块”和“单元”只是在考虑了便于准备说明书的情况下被使用或者彼此组合，并不具有或用作不同的含义。因此，后缀“模块”和“单元”可彼此交换。

根据本发明的实施方式的移动机器人100是指能够使用轮子等自行移动的机器人，并且可以是家用机器人、机器人清洁器等。具备清洁功能的机器人清洁器在下文中被描述为移动机器人的示例，但是本发明不限于此。

图2是例示根据本发明的实施方式的移动机器人和对移动机器人进行充电的充电站的立体图。

图3是图2中例示的移动机器人的顶部的视图，图4是图2中例示的移动机器人的前部的视图，并且图5是图2中例示的移动机器人的底部的视图。

图6和图7是根据本发明的实施方式的移动机器人的主要组件之间的控制关系的框图。

参照图2至图7，移动机器人100、100a或100b包括主体110以及用于获取主体110周围的区域的图像获取单元120、120a和120b。

下文中，如下地限定主体110的每个部分：面对清洁区域的天花板的部分被限定为顶部(参见图3)，面对清洁区域的地板的部分被限定为底部(参见图5)，并且在顶部和底部之间的构成主体110的周缘的部分中的面对行进方向的部分被限定为前部(参见图4)。

移动机器人100、100a或100b包括用于移动主体110的行进驱动单元160。行进驱动单元160包括用于移动主体110的至少一个驱动轮136。行进驱动单元160包括连接到驱动轮136以使驱动轮旋转的驱动电机(未示出)。驱动轮136可以被分别设置在主体110的左侧和右侧，并且这些驱动轮136在下文中被分别称为左轮136(L)和右轮136(R)。

左轮136(L)和右轮136(R)可以由一个驱动电机驱动，但是，如有需要，可以设置用于驱动左轮136(L)的左轮驱动电机和用于驱动右轮136(R)的右轮驱动电机。可以通过使左轮136(L)和右轮136(R)具有不同的旋转速度来将主体110的行进方向改变为向左边或右边。

用于吸入空气的吸入口110h可以被形成在主体110的底表面上，并且主体110可以被设置有用于提供吸力以使空气通过吸入口110h被吸入的吸入装置(未示出)和用于收集通过吸入口110h连同空气一起吸入的灰尘的集尘器(未示出)。

主体110可以包括壳体111，壳体111限定用于容纳构成移动机器人100、100a或100b的各种组件的空间。使得能够通过其插入和取回集尘器的开口可以被形成在壳体111上，并且用于打开和闭合开口的集尘器盖112可以被可旋转地设置于壳体111上。

可以提供辊型主刷和辅助刷135，该辊型主刷具有通过吸入口110h暴露的刷毛，辅助刷135位于主体110的底表面的前部中并且具有形成多个径向延伸叶片的刷毛。通过刷子134和135的旋转在清洁区域中从地板上去除灰尘，并且以这种方式与地板分离的此灰尘通过吸入口110h被吸入并且被收集到集尘器中。

电池138用于不仅供应驱动电机所需的电力，而且供应移动机器人100、100a或100b的整体操作所需的电力。当机器人清洁器100的电池138耗尽时，移动机器人100、100a或100b可以返回行进到充电底座200以对电池进行充电，并且在返回行进期间，机器人清洁器100能自主地检测充电底座200的位置。

充电底座200可以包括用于发送预定的返回信号的信号发送单元(未示出)。返回信号可以包括但不限于超声波信号或红外信号。

移动机器人100、100a或100b可以包括用于接收返回信号的信号感测单元(未示出)。充电底座200可以通过信号发送单元发送红外信号，并且信号感测单元可以包括用于感测红外信号的红外传感器。移动机器人100、100a或100b根据从充电底座200发送的红外信号而移动至充电底座200的位置并且与充电底座200对接。通过对接，在移动机器人100、100a或100b的充电端子133和充电底座200的充电端子210之间执行对机器人清洁器100的充电。

在一些实施方式中，移动机器人100、100a或100b可以基于图像或按激光图案提取方法执行到底座站200的返回行进。

移动机器人100、100a或100b可以通过使用从主体110发送的光学信号而识别形成在底座站200处的预定图案并且提取该预定图案来返回至底座站。

例如，根据本发明的实施方式的移动机器人100、100a或100b可以包括光学图案传感器(未示出)。

光学图案传感器可以被设置在主体110中，将光学图案发送到移动机器人100、100a或100b移动的活动区域，并且通过拍摄被发送光学图案的区域来获取输入图像。例如，光学图案可以是具有诸如十字图案这样的预定图案的光。

光学图案传感器可以包括用于发送光学图案的图案发射单元和用于拍摄被发送光学图案的区域的图案图像获取单元。

图案发射单元可以包括光源和光学图案投影元件(OPPE)。随着从光源入射的光穿过OPPE，产生光学图案。光源可以是激光二极管(LD)、发光二极管(LED)等。

图案发射单元可以在主体的前方方向上发射光，并且图案图像获取单元通过拍摄被发射光学图案的区域来获取输入图像。图案图像获取单元可以包括相机，并且相机可以是结构化光相机。

此外，底座站200可以包括彼此间隔开预定距离的两个或更多个定位信标。

当光学图案入射到定位信标的表面上时，定位信标形成与周围环境可区分开的标记。该标记可能是由于定位信标的形态特征导致的光学图案的变换引起的，或者可能是由于定位信标的材料特性导致的光反射率(或吸收率)的差异引起的。

定位信标可以包括形成标记的边缘。入射到定位信标的表面上的光学图案在边缘处以一定角度弯曲，并且发现作为标记的输入图像中的尖点是弯曲。

移动机器人100、100a或100b能在剩余电池容量不足时自动地搜索底座站，或者即使在从用户接收到充电命令时也能搜索底座站。

当移动机器人100、100a或100b搜索底座站时，图案提取单元从输入图像中提取尖点，并且控制器140获取所提取的尖点的位置信息。该位置信息可以包括三维空间中的位置，该位置考虑到了从移动机器人100、100a或100b到尖点的距离。

控制器140基于所获取的尖点的位置信息来计算尖点之间的实际距离，并且将实际距离与预设的参考阈值进行比较，并且如果实际距离与参考阈值之间的距离落入预定范围内，则可以确定找到了充电站200。

另选地，移动机器人100、100a或100b可以通过利用图像获取单元120的相机获取周围环境的图像并且从所获取的图像中提取并识别与充电站200对应的形状而返回底座站200。

另外，移动机器人100、100a或100b可以通过利用图像获取单元120的相机获取周围环境的图像并且识别从底座站200发射的预定光学信号而返回底座站。

被配置为拍摄清洁区域的图像获取单元120可以包括数码相机。数码相机可以包括：至少一个光学镜头；图像传感器(例如，CMOS图像传感器)，该图像传感器包括利用透射过光学镜头的光形成图像的多个光电二极管(例如，像素)；以及数字信号处理器(DSP)，该DSP用于基于从光电二极管输出的信号来构造图像。DSP不仅能产生静止图像，而且能产生包括构成静止图像的帧的视频。

优选地，图像获取单元120包括：前置相机120a，该前置相机120a被设置用于获取主体110的前视场的图像；以及上置相机120b，该上置相机120b被设置在主体110的顶部上，以获取行进区域中的屋顶的图像，但是图像获取单元120的位置和捕获范围不一定限于此。

在该实施方式中，相机可以被安装在移动机器人的部分(例如，前部、后部和底部)处，并且在清洁操作中连续地获取所捕获的图像。为了拍摄效率，可以在每个部分处安装多个这样的相机。可以使用相机所捕获的图像来识别诸如灰尘、人的头发和地板这样的对应空间中存在的物质的类型，以确定是否已执行清洁，或者确认清洁时间点。

前摄像机120a能在移动机器人100、100a或100b的行进方向上捕获前方的清洁区域的物体或状况。

根据本发明的实施方式，图像获取单元120能通过连续地拍摄主体110的周围环境来获取多个图像，并且可以将所获取的多个图像存储在存储器150中。

移动机器人100、100a或100b可以通过使用多个图像来提高物体识别的准确度，或者可以通过从多个图像中选择一个或更多个图像来提高物体的识别准确度，以使用有效数据。

另外，移动机器人100、100a或100b可以包括传感器单元170，传感器单元170包括用于感测与移动机器人的操作和状态相关的各种数据的传感器。

例如，传感器单元170可以包括用于感测前方存在的物体的物体检测传感器。另外，传感器单元170还可以包括用于感测行进区域的地板上的峭壁的存在的峭壁检测传感器132以及用于获取地板的图像的下相机传感器139。

参照图2和图4，物体检测传感器131可以包括以预定间隔安装在移动机器人100的外周表面上的多个传感器。

例如，传感器单元170可以包括设置在主体110的前表面上的第一传感器以及在左右方向上与第一传感器间隔开的第二传感器和第三传感器。

物体检测传感器131可以包括红外传感器、超声波传感器、RF传感器、磁传感器、位置敏感装置(PSD)传感器等。

此外，包括在物体检测传感器131中的传感器的位置和类型可以根据移动机器人的型号而不同，并且物体检测传感器131还可以包括各种传感器。

物体检测传感器131是用于感测与室内空间中的墙壁或物体的距离的传感器，并且被描述为超声波传感器，但是不限于此。

物体检测传感器131感测在移动机器人的行进(移动)方向上存在的物体(尤其是物体)，并且将物体信息发送给控制器140。也就是说，物体检测传感器131可以感测存在于机器人清洁器移动通过的路径中的突起、家庭物品、家具、墙壁表面、墙角等，并且将相关信息传送到控制单元。

在这种情况下，控制器140可以基于通过超声波传感器接收到的至少两个信号来感测物体的位置，并且根据感测到的物体的位置来控制移动机器人100的移动。

在一些实现方式中，设置在壳体110的外侧表面上的物体检测传感器131可以包括发送器和接收器。

例如，超声波传感器可以被设置成使得至少一个发送器和至少两个接收器彼此交叉。因此，能够在各个方向上发送信号并且从各个方向接收被物体反射的信号。

在一些实现方式中，从物体检测传感器131接收的信号可以经历诸如放大和滤波这样的信号处理，此后可以计算与物体的距离和方向。

此外，传感器单元170还可以包括用于在驱动主体110时感测移动机器人100、100a或100b的操作的操作检测传感器，并且输出操作信息。可以使用陀螺仪传感器、轮传感器、加速度传感器等作为操作检测传感器。

当移动机器人100、100a或100b根据操作模式移动时，陀螺仪传感器感测旋转方向并且检测旋转角度。移动机器人100、100a或100b检测移动机器人100、100a或100b的速率，并且输出与该速率成比例的电压值。控制器140可以使用从陀螺仪传感器输出的电压值来计算旋转方向和旋转角度。

轮传感器连接到左轮136(L)和右轮136(R)以感测轮子的每分钟转数(RPM)。在该示例中，轮传感器可以是旋转编码器。旋转编码器检测并输出左轮136(L)和右轮136(R)的RPM。

控制器140可以使用RPM来计算左轮和右轮的旋转速度。另外，控制器140可以使用左轮136(L)和右轮136(R)之间的RPM差值来计算旋转角度。

加速度传感器感测移动机器人100、100a或100b的速度变化，例如，根据开始、停下、方向变化、与物体碰撞等引起的速度变化。加速度传感器可以附接到与主轮或辅助轮相邻的位置，以检测轮的滑动或空转。

另外，加速度传感器可以被内置于控制器140中，并且检测移动机器人100、100a或100b的速度变化。也就是说，加速度传感器根据速度变化来检测脉冲并且输出与其对应的电压值。因此，加速度传感器可以执行电子保险杠的功能。

控制器140可以基于从操作检测传感器输出的操作信息来计算移动机器人100、100a或100b的位置的变化。此位置是与基于图像信息的绝对位置对应的相对位置。通过识别此相对位置，移动机器人能使用图像信息和物体信息来增强位置识别性能。

此外，移动机器人100、100a或100b可以包括具有用于向机器人清洁器提供电力的可再充电电池138的电源(未示出)。

电源可以向移动机器人100、100a或100b的每个元件供应驱动电力和操作电力，并且可以在剩余电力容量不足时通过从充电站200接收充电电流进行充电。

移动机器人100、100a或100b还可以包括用于感测电池138的充电状态并且将感测结果发送到控制器140的电池感测单元。电池138连接到电池感测单元，使得电池的剩余电池容量状态和充电状态被发送到控制器140。剩余电池容量可以被设置在输出单元(未示出)的画面上。

另外，移动机器人100、100a或100b包括用于输入开/关命令或任何其它各种命令的操作器137。通过操作器137，可以接收移动机器人100的整体操作所需的各种控制命令。另外，移动机器人100、100a或100b可以包括用于显示预约信息、电池状态、操作模式、操作状态、错误状态等的输出单元(未示出)。

参照图6和图7，移动机器人100a或100b包括用于诸如识别当前位置这样的处理和确定各种信息的控制器140以及用于存储各种数据的存储器150。另外，移动机器人100、100a或100b还可以包括用于与外部终端进行数据发送和接收的通信单元190。

外部终端可以被设置有用于控制移动机器人100a和100b的应用，通过执行应用来显示待清洁的行进区域的地图，并且在地图上指定待清洁的特定区域。外部终端的示例可以包括其中安装有用于配置地图的应用的遥控器、PDA、便携式计算机、智能电话、平板计算机等。

通过与移动机器人100a和100b通信，除了地图之外，外部终端还可以显示移动机器人的当前位置，并且显示关于多个区域的信息。另外，外部终端可以按照移动机器人的行进来更新当前位置并且显示更新后的当前位置。

控制器140控制移动机器人100a和100b的图像获取单元120、操作器137和行进驱动单元160，以便控制移动机器人100的整体操作。

存储器150用于记录控制机器人清洁器100所需的各种信息，并且可以包括易失性或非易失性记录介质。记录介质用于存储可由微处理器读取的数据，并且可以包括硬盘驱动器(HDD)、固态盘(SSD)、硅盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置等。

此外，行进区域的地图可以被存储在存储器150中。该地图可以由能够通过有线或无线通信与移动机器人100a和100b交换信息的外部终端或服务器输入，或者可以由移动机器人100a和100b通过自学习来构造。

在地图上，可以标记在清洁区域内的房间的位置。另外，可以在地图上标记移动机器人100a和100b的当前位置，并且可以在移动机器人100a和100b行进期间更新移动机器人100a和100b在地图上的当前位置。外部终端存储与存储在存储器150中的地图相同的地图。

存储器150可以存储清洁历史信息。每当执行清洁时，可以生成清洁历史信息。

存储在存储器150中的行进区域的地图可以是用于清洁期间的行进的导航地图、用于位置识别的同时定位和映射(SLAM)地图、用于在与物体等碰撞时存储对应信息来学习清洁的学习地图、用于全局定位识别的全局定位地图、记录有关于识别到的物体的信息的物体识别地图等。

此外，地图可以按用途被存储在存储器150中并被管理，或者可以按用途被精确分类。例如，多个信息条目可以被存储在一个地图中，以便用于至少两个用途。例如，关于识别到的物体的信息可以被记录在学习地图上，使得学习地图可以替换物体识别地图，并且使用用于位置识别的SLAM地图来识别全局定位位置，使得SLAM地图可以替换全局定位地图或者与全局定位地图一起使用。

控制器140可以包括行进控制模块141、位置识别模块142、地图生成模块143和物体识别模块144。

参照图3至图7，行进控制模块141用于控制移动机器人100、100a或100b的行进，并且根据行进设置来控制行进驱动单元160的驱动。另外，行进控制模块141可以基于行进驱动单元160的操作来确定移动机器人100、100a或100b的行进路径。例如，行进控制模块141可以基于驱动轮136的RPM来确定移动机器人100的当前或先前移动速度或行进距离，并且还可以基于每个驱动轮136(L)或136(R)的旋转方向来确定当前或先前方向偏移过程。基于以这种方式确定的移动机器人100、100a或100b的行进信息，可以更新移动机器人100、100a或100b在地图上的位置。

地图生成模块143可以生成行进区域的地图。地图生成模块143可以通过处理图像获取单元120所获取的图像来编写地图。也就是说，可以编写与清洁区域对应的清洁地图。

另外，地图生成模块143可以通过处理图像获取单元120在每个位置处获取的图像来实现与地图关联的全局定位。

位置识别模块142能估计并识别当前位置。位置识别模块142使用图像获取单元120的图像信息来识别与地图生成模块143关联的位置，由此即使当移动机器人100、100a或100b的位置突然改变时，也能够估计并识别当前位置。

移动机器人100、100a或100b可以在连续行进期间使用位置识别模块142来识别位置，并且位置识别模块142可以学习地图并且通过使用地图生成模块143和物体识别模块144而不使用位置识别模块142来估计当前位置。

在移动机器人100、100a或100b行进时，图像获取单元120获取移动机器人100周围环境的图像。下文中，由图像获取单元120获取的图像被限定为“获取图像”。

获取图像包括位于天花板处的诸如照明装置、边缘、角部、斑点、脊等这样的各种特征。

地图生成模块143检测每个获取图像中的特征。在计算机视觉中，存在多种用于从图像检测特征的公知技术。适于这种特征检测的各种特征检测器是公知的。例如，存在Canny、Sobel、Harris&Stephens/Plessey、SUSAN、Shi&Tomasi、等高线曲率、FAST、高斯拉普拉斯、高斯差、海赛行列式、MSER、PCBR和灰度级斑点检测器。

地图生成模块143基于每个特征来计算描述符。为了特征检测，地图生成模块143可以使用尺度不变特征变换(SIFT)来将特征转换成描述符。

描述符被限定为特定空间中存在的一组单独特征，并且可以被表示为n维向量。例如，天花板处的诸如边缘、角部、斑点、脊等这样的各种特征可以被计算成相应的描述符中并且被存储在存储器150中。

基于从每个位置的图像获取的描述符信息，按预定的从属分类规则将至少一个描述符分类为多个组，并且可以按预定的从属表示规则将同一组中所包括的描述符转换成从属代表性描述符。也就是说，可以通过指定从单独图像获得的描述符的代表值来执行标准化处理。

SIFT使得能够检测对于对象的尺度、旋转、亮度变化不变的特征，因此，即使当通过改变移动机器人100的位置而捕获区域的图像时，也能够检测该区域的不变(例如，旋转不变)特征。然而，本发明的各方面不限于此，并且能够应用各种其它技术(例如，定向梯度直方图(HOG)、哈尔特征、Fems、局部二值模式(LBP)和修正统计变换(MCT)。

地图生成模块143可以按预定的从属分类规则基于从每个位置的获取图像获得的描述符信息将每个获取图像的至少一个描述符分为多个组，并且可以按预定的从属表示规则将同一组中所包括的描述符转换成从属代表性描述符。

在另一示例中，可以按预定的从属分类规则将从诸如房间这样的预定区域的获取图像中获得的所有描述符分为多个组，并且可以按预定的从属表示规则将同一组中所包括的描述符转换成从属代表性描述符。

通过以上过程，地图生成模块143可以获得每个位置的特征分布。可以用直方图或n维向量表示每个位置的特征分布。在另一示例中，在不使用预定的从属分类规则和预定的从属表示规则的情况下，地图生成模块143可以基于从每个特征计算出的描述符来估计未知的当前位置。

另外，当移动机器人100、100a或100b的当前位置由于位置跳跃而变得未知时，地图生成模块可以基于诸如预先存储的描述符和从属代表性描述符这样的数据来估计移动机器人100的当前位置。

移动机器人100、100a或100b使用图像获取单元120来获取未知当前位置处的获取单元图像。在获取图像中发现位于天花板处的诸如照明装置、边缘、角部、斑点和脊这样的各种特征。

位置识别模块142从获取图像中检测特征。关于用于在计算机视觉中从图像中检测特征的各种方法和适于特征检测的各种特征检测器的描述与上述的相同。

位置识别模块142通过识别描述符计算处理基于每个识别特征来计算识别描述符。在这种情况下，识别特征和识别描述符用于描述由物体识别模块144执行的处理，并且与描述由地图生成模块143执行的处理的术语区分开。然而，这些仅仅是被限定为描述移动机器人100、100a或100b之外的世界的特征的术语。

为了这样的特征检测，位置识别模块142可以使用SIFT技术来将识别特征转换成识别描述符。可以用n维向量表示识别描述符。

SIFT是一种图像识别技术，通过该图像识别技术，在获取图像中选择诸如角部这样的能容易地区分开的特征并且获得n维向量，所述n维向量是指示相对于每个特征周围的预定区域中所包括的像素的梯度的分布特征(亮度变化方向和变化激进程度)的每个方向上的变化的激进程度的尺寸的值。

基于关于从在未知当前位置处获取的获取图像获得的至少一个识别描述符的信息，位置识别模块142按预定的从属转换规则执行转换成能与经历比较的位置信息(例如，每个位置的从属特征分布)相比较的信息(从属识别特征分布)。

按预定的从属比较规则，可以将每个位置的特征分布与对应的识别特征分布进行比较，以计算它们之间的相似度。可以确定与每个位置对应的位置与具有最高概率的位置的相似度(概率)是当前位置。

如此，控制器140可以生成包括多个区域的行进区域的地图，或者基于预先存储的地图识别主体110的当前位置。

当生成了地图时，控制器140通过通信单元190将地图发送到外部终端。另外，如上所述，当从外部终端接收到地图时，控制器140可以将地图存储在存储器中。

另外，当在行进期间更新地图时，控制器140可以将更新信息发送到外部终端，使得存储在外部终端中的地图变成与存储在移动机器人100中的地图相同。因为相同的地图被存储在外部终端和移动机器人100中，所以移动机器人100可以响应于来自移动终端的清洁命令而清洁指定区域，并且移动机器人的当前位置可以被显示在外部终端中。

在这种情况下，地图将清洁区域分成多个区域，包括将多个区域相连接的连接通道，并且包括关于区域中的物体的信息。

当接收到清洁命令时，控制器140确定地图上的位置与移动机器人的当前位置是否彼此匹配。可以从遥控器、操作器或外部终端接收清洁命令。

当当前位置与地图上标记的位置不匹配时，或者当不能够确认当前位置时，控制器140识别当前位置，恢复移动机器人100的当前位置，然后基于当前位置来控制行进驱动单元160移动至指定区域。

当当前位置与地图上标记的位置不匹配或者当不能够确认当前位置时，位置识别模块142分析从图像获取单元120接收的获取图像并且基于地图估计当前位置。另外，物体识别模块144或地图生成模块143可以如上所述地识别当前位置。

在通过识别位置而恢复移动机器人100、100a或100b的当前位置之后，行进控制模块141可以计算从当前位置到指定区域的行进路径并且控制行进驱动单元160移动至指定区域。

当从服务器接收到清洁模式信息时，行进控制模块141可以基于接收到的清洁模式信息将整个行进区域分成多个区域，并且将一个或更多个区域设置为指定区域。

另外，行进控制模块141可以基于接收到的清洁模式信息计算行进路径，并且在沿着行进路径行进的同时执行清洁。

当对设置的指定区域完成了清洁时，控制器140可以将清洁记录存储在存储器150中。

另外，通过通信单元190，控制器140可以以预定周期发送移动机器人100的操作状态或清洁状态。

因此，基于接收到的数据，外部终端将移动机器人的位置连同地图一起显示在正执行的应用的画面上，并且输出关于清洁状态的信息。

移动机器人100、100a或100b在一个方向上移动，直到检测到物体或墙壁为止，并且当物体识别模块144识别到物体时，移动机器人100、100a或100b可以根据识别到的物体的属性来确定诸如向前行进和旋转行进这样的行进模式。

例如，如果识别到的物体的属性暗指移动机器人能够攀爬的物体，则移动机器人100、100a或100b可以保持向前行进。另选地，如果识别到的物体的属性暗指移动机器人不能够攀爬的物体，则移动机器人100、100a或100b可以按移动机器人100、100a或100b旋转，移动预定距离并随后在与初始行进方向相反的方向上移动一定距离的方式以Z字形图案行进，直到检测到另一个物体为止。

移动机器人100、100a或100b可以基于机器学习来执行物体识别和避开。

控制器140可以包括：物体识别模块144，该物体识别模块144用于在输入图像中识别通过机器学习而预先学习的物体；以及行进控制模块141，该行进控制模块141用于基于识别到的物体的属性来控制行进驱动单元160的驱动。

移动机器人100、100a或100b可以包括已通过机器学习而学习了物体的属性的物体识别模块144。

机器学习是指使得计算机能够在没有用户指示的逻辑的情况下学习从而自行解决问题的技术。

深度学习是一种人工智能技术，其训练计算机基于用于构建人工智能的人工神经网络(ANN)来学习人类思维，使得计算机能够在没有用户的指示的情况下自行学习。

可以用软件形式或诸如芯片等这样的硬件形式来实现ANN。

物体识别模块144可以包括以学习物体的属性的软件形式或硬件形式的ANN。

例如，物体识别模块144可以包括诸如卷积神经网络(CNN)、递归神经网络(RNN)、深度信任网络(DBN)等这样的通过深度学习训练的深度神经网络(DNN)。

将参照图9至图12更详细地描述深度学习。

物体识别模块144可以基于DNN中所包括的节点之间的权重来确定输入图像数据中的物体的属性。

此外，当传感器单元170在移动机器人100、100a或100b移动时感测到物体时，控制器140可以执行基于主体110的移动方向和移动速度来从图像获取单元120所获取的多个连续图像当中选择在比传感器单元170的物体感测时间早的特定时间点获取的图像的控制。

在图像获取单元120使用传感器单元170的物体感测时间作为触发信号来获取图像的情况下，在所获取的图像中可能不包括物体，或者因为移动机器人一直在前进，所以捕获到的物体的大小可能非常小。

因此，在本发明的一个实施方式中，能够基于主体110的移动方向和移动速度从图像获取单元120所获取的多个连续图像当中选择在比传感器单元170的物体感测时间早的特定时间点获取的图像，并且使用所选择的图像作为用于物体识别的数据。

此外，物体识别模块144可以基于通过机器学习而预先学习的数据来识别所选择的在预定时间点获取的图像中所包括的物体的属性。

另外，当传感器单元170在移动机器人100、100a或100b移动时感测到物体时，控制器140可以执行与传感器单元170感测到的物体存在的方向对应地提取图像获取单元120所获取的图像的一部分的控制。

图像获取单元120尤其是前置相机120a可以在移动机器人100、100a或100b的移动方向上获取预定角度范围内的图像。

控制器140可以不使用图像获取单元尤其是前置相机120a所获取的整个图像而是仅使用图像的一部分来区分在移动方向上存在的物体的属性。

参照图6，控制器140还可以包括图像处理模块145，图像处理模块145用于与传感器单元170感测到的物体存在的方向对应地提取图像获取单元120所获取的图像的一部分。

另选地，参照图7，移动机器人100b还可以包括附加图像处理单元125，附加图像处理单元125用于与传感器单元170感测到的物体存在的方向对应地提取图像获取单元120所获取的图像的一部分。

除了图像处理模块145和图像处理单元125之外，图6中的移动机器人100a和图7中的移动机器人100b彼此相同。

另选地，在一些实现方式中，与图6和图7的示例不同，图像获取单元120能自行提取图像的部分。

如果被学习的物体占据了输入图像数据的较大部分，则已经通过机器学习训练了的物体识别模块144具有更高的识别率。

因此，本发明可以根据诸如超声波传感器这样的传感器单元170感测到的物体存在的方向来提取图像获取单元120所获取的图像的不同部分，并且使用图像的所提取的部分作为用于识别的数据，由此增强识别率。

物体识别模块144可以基于通过机器学习而预先学习的数据来识别图像的所提取的部分中的物体。

另外，行进控制模块141可以基于识别到的物体的属性来控制行进驱动单元160的驱动。

此外，当从主体的右前方向感测到物体时，控制器140可以执行提取图像获取单元所获取的图像的右下区域的控制；当从主体的左前方向感测到物体时，控制器140可以执行提取图像获取单元所获取的图像的左下区域的控制；并且当从主体的向前方向感测到物体时，控制器140可以执行提取图像获取单元所获取的图像的中下区域的控制。

另外，控制器140可以执行将图像获取单元所获取的图像的与感测到的物体存在的方向对应的提取目标区域偏移并且然后提取提取目标区域的控制。

此外，用于区分物体的属性的输入数据和用于训练DNN的数据可以被存储在存储器150中。

图像获取单元120所获取的原始图像和所提取的预定区域的图像可以被存储在存储器150中。

另外，在一些实现方式中，DNN的权重和偏置可以被存储在存储器150中。

另选地，在一些实现方式中，DNN的权重和偏置可以被存储在物体识别模块144的内置存储器中。

此外，每当提取图像获取单元120所获取的图像的一部分时，物体识别模块144可以使用图像的所提取的部分作为训练数据来执行学习处理，或者，在提取了预定数目的图像之后，物体识别模块144可以执行学习过程。

也就是说，每当识别到物体时，物体识别模块144可以添加识别结果，以更新诸如权重这样的DNN架构，或者，当确保了预定数目的训练数据时，物体识别模块144可以使用所确保的数据集作为训练数据来执行学习处理，以便更新DNN架构。

另选地，移动机器人100、100a或100b通过通信单元190将图像获取单元120所获取的原始图像或者该图像的所提取的部分发送到预定服务器，并且从预定服务器接收机器学习相关数据。

在这种情况下，移动机器人100、100a或100b可以基于从预定服务器接收到的机器学习相关数据来更新物体识别模块141。

图8是根据本发明的实施方式的服务器的示例性示意内部框图。

参照图8，服务器70可以包括通信单元820、存储器830、学习模块840和处理器810。

处理器810可以控制服务器70的整体操作。

此外，服务器70可以是由诸如移动机器人100、100a或100b这样的家用电器的制造商操作的服务器，由服务提供商操作的服务器或者一种云服务器。

通信单元820可以从移动终端、诸如移动机器人100、100a或100b等这样的家用电器、网关等接收诸如状态信息、操作信息、受控制信息等这样的多种数据。

另外，通信单元820可以将作为对接收到的多种数据的响应的数据发送到移动终端、诸如移动机器人100、100a或100b等这样的家用电器、网关等。

为此，通信单元820可以包括诸如互联网模块、通信模块等这样的一个或更多个通信模块。

存储器830可以存储接收到的信息以及生成作为对接收到的信息的响应的结果信息所需的数据。

另外，存储器830可以存储用于学习机的数据、结果数据等。

学习模块840可以用作诸如移动机器人100、100a或100b等这样的家用电器的学习机。

学习模块840可以包括人工网络，例如，诸如卷积神经网络(CNN)、递归神经网络(RNN)、深度信任网络(DBN)等这样的深度神经网络(DNN)，并且可以训练DNN。

可以使用无监督学习和监督学习二者作为学习模块840的学习方案。

此外，根据设置，控制器810可以执行将诸如移动机器人100、100a或100b这样的家用电器的人工网络架构更新为已学习的人工神经网络架构的控制。

图9至图12是用于说明深度学习的图。

深度学习是一种机器学习，并且分多个阶段深入内部数据。

深度学习可以表示一组机器学习算法，其从每层上的多个数据集中提取比在前一层上更多的关键数据。

深度学习架构可以包括ANN，并且可以例如由诸如卷积神经网络(CNN)、递归神经网络(RNN)、深度信任网络(DBN)等这样的DNN构成。

参照图9，ANN可以包括输入层、隐藏层和输出层。每一层都包括多个节点，并且每一层都连接到后续层。相邻的层之间的节点可以利用权重而彼此连接。

参照图10，计算机(机器)通过从输入数据1010中发现预定模式来构建特征地图。计算机(机器)可以通过提取低层特征1020经由中间层特征1030直至上层特征1040来识别物体，并且输出对应结果1050。

ANN可以在另外的后续层上提取高层特征。

参照图9和图10，每个节点可以基于激活模型来操作，并且可以根据激活模型来确定与输入值对应的输出值。

随机节点(例如，低层特征1020)的输出值可以被输入连接到对应节点(例如，中间层特征1030的节点)的后续层。后续层的节点(例如，中间层特征1030的节点)可以接收从低层特征1020的多个节点输出的值。

此时，输入到每个节点的值可以是应用了权重的前一层的输出值。权重可以是指节点之间的连接强度。

另外，深度学习过程可以被认为是确定适当权重的过程。

此外，随机节点(例如，中间层特征1030)的输出值可以被输入到后续层的连接至对应节点(例如，高层特征1040的节点)的节点。后续层的节点(例如，高层特征1040的节点)可以接收从中间层特征1030的多个节点输出的值。

ANN可以使用与每个层对应的训练层来提取与每个层对应的特征信息。ANN可以依次执行提取，使得可以使用最高层的特征信息来识别预定物体。

例如，利用深度学习的面部识别如下：计算机可以从输入图像按亮度程度将亮像素和暗像素分类，将诸如边界和边缘这样的简单形式区分开，然后将更复杂的形式和物体区分开。最后，计算机可以识别限定人脸的形式。

根据本发明的深度学习架构可以采用各种公知的架构。例如，深度学习架构可以是CNN、RNN、DBN等。

RNN广泛用于处理自然语言并且高效地处理随时间推移而变化的时间序列数据，因此，RNN可以通过每次堆积层来构建人工神经网络架构。

DBN是通过堆积多层限制玻尔兹曼机(RBM)构建的深度学习架构，这是一种深度学习技术。如果通过重复RBM学习来构造预定数目的层，则可以构造具有预定数目的层的DBN。

CNN是尤其广泛用于物体识别的架构，并且将参照图11和图12描述CNN。

CNN是基于以下假定模仿人类大脑功能的模型：人提取物体的基本特征，对所提取的基本特征执行复杂计算，并且基于计算的结果来识别物体。

图11是CNN架构的图。

ANN还可以包括输入层、隐藏层和输出层。

预定图像被输入到输入层。

参照图11，隐藏层可以由多个层构成，并且包括卷积层和子采样层。

在CNN中，使用池化或非线性激活函数来添加非线性特征和各种滤波器，以便通过卷积计算基本上提取图像的特征。

卷积主要用于图像处理领域中的滤波器计算，并且用于实现用于从图像中提取特征的滤波器。

例如，如图12中一样，如果通过移动3×3窗口针对整个图像重复地执行卷积运算，则可以根据窗口的权重获得适当的结果。

参照图12的(a)，如果使用3×3窗口针对预定区域1210来执行卷积运算，则得到结果1201。

参照图12的(b)，如果通过将3×3窗口向右移动针对区域1220再次执行运算，则得到预定结果1202。

也就是说，如图12的(c)中所示，如果通过移动预定窗口针对整个图像执行运算，则可以得到最终结果。

可以使用卷积层来执行用于利用预定大小(例如，图12中示例的3×3窗口)的滤波器对从前一层提取的信息进行滤波的卷积滤波。

卷积层利用卷积滤波器对输入图像数据1100和1102执行卷积运算，并且生成表示输入图像1100的特征的特征图1101和1103。

可以生成卷积层中所包括的数目相同的滤波器中的经滤波的图像作为卷积滤波的结果。卷积层可以由包括在经滤波的图像中的节点构成。

另外，与卷积层配对的子采样层可以包括数目与配对卷积层的特征图相同的特征图。

子采样层通过采样或池化来减小特征图1101和1103的尺寸。

输出层通过组合在特征图1104中表示的各种特征来识别输入图像1100。

根据本发明的移动机器人的物体识别模块可以采用以上提到的各种深度学习架构。例如，可以采用广泛用于识别图像中的物体的CNN，但是本发明的各方面不限于此。

此外，可以通过调整节点之间的连接线的权重来执行ANN的训练，使得响应于给定输入而输出所期望的输出。另外，ANN可以由于训练而不断更新权重。另外，可以使用反向传播等来训练ANN。

图13和图14是用于说明物体识别模块144进行物体识别的图。

参照图13，物体识别模块144可以将物体分为诸如风扇、家庭影院、多插头、灯座、人的头发、隆起等这样的类，并且以可区分方式识别物体。

另外，物体识别模块144可以将诸如风扇、家庭影院、多插头、灯座、人的头发等这样的类归类为作为高概念层的危险物体超类，并且以可区分方式识别物体。

另外，物体识别模块144可以将移动机器人能够向前行进的诸如隆起等这样的物体归类为非危险物体超类并且以可区分的方式识别物体。

参照图14的(a)，物体识别模块144可以识别输入图像，并且获得指示置信度为0.95的风扇的识别结果和指示置信度为0.7的家庭影院的识别结果。在这种情况下，物体识别模块144可以将作为具有0.7的较高置信度的识别结果的风扇作为针对输入图像的识别结果输出。

此外，置信度可以在0.0至1.0的范围内归一化。

参照图14的(b)，物体识别模块144可以识别输入图像，并且获得指示置信度为0.35的风扇的识别结果和指示置信度为0.4的家庭影院的识别结果。

例如，在被设置为忽略0.6或更小的置信度的情况下，因为这两个识别结果低于参考阈值，所以物体识别模块144可以不选择任何特定识别结果，并且物体识别模块144可以确定未知数据。

参照图14的(c)，物体识别模块144可以识别输入图像，并且获得指示置信度为0.95的风扇的识别结果和指示置信度为0.9的家庭影院的识别结果。

例如，在被设置为选择置信度为0.9或更高的识别结果作为最终识别结果的情况下，因为这两个识别结果高于参考阈值，所以物体识别模块144可以不选择任何特定识别结果，因此物体识别模块144可以确定物体是作为高概念层的危险物体。

另选地，在被设置为当置信度之间的差值为0.15或更高时确认较高识别结果的情况下，可以确定该物体是作为高概念层的危险物体。

此外，即使确定物体是危险物体的情况下，行进控制模块141也可以控制行进驱动单元160，以便在移动的同时绕过危险物体。

图15是根据本发明的实施方式的控制移动机器人的方法的流程图。

参照图2至图7和图15，移动机器人100、100a或100b可以根据命令或设置在移动的同时执行清洁(S1510)。

此外，图像获取单元120可以通过在行进期间连续地拍摄主体110的周围环境来获取多个图像(S1520)。可以将图像获取单元120所获取的多个连续图像存储在存储器150中。

当在移动期间传感器单元170感测到物体(S1530)时，控制器140可以基于主体110的移动方向和移动速度，从多个连续图像当中选择在比传感器单元170的物体感测时间早的特定时间点获取的图像(S1540)。

行进控制模块141等可以基于来自传感器单元170的操作检测传感器的输出来计算移动方向和移动速度。

此外，在移动机器人被设置为在正常行进中以参考速度行进的情况下，移动速度是恒定的，因此，能够通过确定主体110的移动方向来选择在特定时间点获取的图像。

此外，在移动方向对应于向前行进或以比预定参考阈值(参考角度)小的角度旋转行进的情况下，控制器140可以从多个连续图像中选择在比传感器单元170的物体感测时间早的特定时间点获取的图像。

通常，诸如超声波传感器这样的传感器的感测范围大于相机的拍摄范围。

因此，在响应于指示传感器单元170感测到物体的信号而获取图像的情况下，移动机器人仍在行进，因此所获取的图像可能不包括物体的特征。另外，在传感器单元170的感测范围短的情况下，所获取的图像更可能不包括物体的特征。

因此，在向前行进或大致向前行进的情况下，控制器140可以基于移动方向和移动速度来选择在比传感器单元170的物体感测时间早的特定时间点获取的图像。

在这种情况下，如果移动速度较慢，则控制器140可以选择在比传感器单元170的物体感测时间更加早的时间点获取的图像。

如果移动速度较快，则移动机器人100在传感器单元170的物体感测时间之后行进较长的距离。换句话说，当图像获取单元120以恒定速度获取多个图像时，移动机器人在捕获特定帧的时间点和捕获后续帧的时间点之间的时间段期间行进更长的距离。

因此，随着移动速度越快，当选择了与传感器单元170的物体感测时间更接近的时间点的图像时，物体在图像中占据的面积大的概率越高。

相反，随着移动速度减小，图像获取单元120在行进相同距离的同时获取更多的图像，因此，可能优选的是，选择在比传感器单元170的物体感测时间更加早的时间点获取的图像。

物体识别模块144可以选择在特定时间点获取的图像，并且使用该图像作为用于识别物体的输入数据。

此外，如果被学习的物体在输入图像数据中占据较高的比例，则通过机器学习而训练的物体识别模块144表现出更高的识别率。

因此，控制器140可以执行与传感器单元170感测到的物体存在的方向对应地裁切所选择的在特定时间点获取的图像的一部分并且提取所裁切的部分的控制(S1550)。

因为从图像获取单元120根据传感器单元170感测到的物体存在的方向获取的图像中提取不同的部分，并且使用图像的所提取的部分作为用于识别的数据，所以识别率可以增强。

物体识别模块144可以识别从所选择的在特定时间点获取的图像中提取的部分的图像中所包括的物体的属性(S1560)。

物体识别模块144可以包括已经通过机器学习而训练以识别诸如物体的类型这样的属性的ANN，并且可以基于作为通过机器学习而预先学习的数据来识别从所选择的在特定时间点获取的图像中提取的部分的图像中所包括的物体的属性(S1560)。

例如，作为深度学习架构之一的CNN可以被内置在物体识别模块144中，并且预先训练的CNN可以识别输入数据中所包括的物体的属性并且输出识别的结果。

此外，通过重复地执行以上提到的物体识别处理并且基于多个识别结果来实现最终识别结果，能够进一步增强识别准确度。

例如，控制器140可以将感测到的物体的位置信息和移动机器人的位置信息存储在存储器150中，并且执行使得感测到的物体的位置周围的预定大小的区域被作为物体区域登记到地图中的控制。

此后，每当移动机器人经过所登记的物体区域时，可以识别物体的属性，并且可以基于多个识别结果来确定物体的最终属性。

控制器140可以依次针对图像获取单元120在预定的物体区域中获取的图像来识别物体的属性，并且基于依次识别的该多个识别结果来确定物体的最终属性。将参照图29至图34更详细地描述该实施方式。

此外，行进控制模块141可以基于识别到的物体的属性来控制行进驱动单元160的驱动(S1570)。

例如，如果识别到的物体是具有移动机器人100不能够攀爬的高度的物体，则行进控制模块141可以执行在行进的同时绕过物体的控制。

另外，如果识别到的物体是诸如低隆起这样的具有移动机器人100能够攀爬的高度的物体(诸如低门槛)，则行进控制模块141可以执行保持在向前方向上行进的控制。

另外，如果识别到物体是能够在行进期间限制移动机器人100的物体(尽管该物体是诸如风扇底座、人的头发、多插头、电线等这样的低高度物体)，则行进控制模块141可以执行在行进的同时绕过该物体的控制。

图16是根据本发明的实施方式的控制移动机器人的方法的流程图。

参照图2至图7和图16，移动机器人100、100a或100b可以根据命令或设置移动(S1610)。

在传感器单元170包括超声波传感器的情况下，传感器单元170可以响应于感测到被反射的超声波信号而感测物体(S1620)。

此外，图像获取单元120可以通过不断拍摄移动机器人100、100a或100b的前部区域和周围环境来获取多个图像。

控制器140可以在考虑到移动方向和移动速度的情况下从图像获取单元120所获取的多个图像当中选择在预定的先前时间点获取的图像，并且基于通过机器学习而预先学习的数据来确定在所选择的在特定时间点获取的图像中感测到的物体的属性。

另外，控制器140可以确定感测到的物体是否具有移动机器人100能够攀爬的高度(S1630)。

如果识别到的物体是具有移动机器人100不能够攀爬的高度的物体(S1630)，则控制器140可以执行在行进的同时通过旋转90度而绕过物体的控制(S1655)。

此外，如果识别到的物体是具有移动机器人100能够攀爬的高度的物体(S1630)，则控制器140可以确定感测到的物体的属性信息(S1640)。也就是说，控制器140可以确定识别到的物体是否不太可能限制移动机器人并因此考虑是移动机器人100能够攀爬的物体。

如果确定识别到的物体是移动机器人能够攀爬的物体，则控制器140可以执行保持向前移动的控制(S1650)。

传统上，确定感测到的物体是否具有移动机器人能够攀爬的高度，并且当感测到的物体是具有低高度的物体时，移动机器人向前移动。

然而，当存在诸如电线这样的物体时，移动机器人有时被卡住并因此受到电线的限制。

另外，移动机器人可以通过执行向左/右晃动的运动而试图摆脱受限状态，但是这可能导致故障，例如，导致电线剥离。

然而，本发明利用学习机和图像信息来识别物体属性信息，并且根据识别到的物体属性来确定行进模式，由此增强可靠性。

图17至图25是用于说明根据本发明的实施方式的控制移动机器人的方法的图。

图17示出了从移动机器人100的向前方向感测到物体1700的情况。

参照图17，图像获取单元120可以通过在移动机器人100行进的同时连续拍摄来获取多个图像。移动机器人100可以在第一位置1710处获取第一图像1711，在第二位置处1720获取第二图像1721并且在第三位置1730处获取第三图像1731。

参照图18，预定数目的图像可以被存储在存储器150中。另外，如果获取了预设数目的图像，则可以删除在最早的时间点获取的图像，并且可以存储新获取的图像。

移动机器人100可以根据作为对感测到超声波信号的响应的触发信号开始图像识别处理。

然而，由于超声波传感器具有短的范围，因此在所获取的图像1731中可能找不到识别物体的特征。

因此，本发明可以将连续图像存储在存储器150中，确定行进方向是否是向前方向，并且不使用在触发事件获取的第三图像1731而是使用第一图像1711来执行物体识别处理。

由于移动机器人100大多数时间以恒定速度行进，因此能够简单地通过确定移动机器人100是否正在向前行进以及通过选择在特定时间点获取的图像(例如，比传感器单元170的物体感测时间早两个帧的先前图像)来执行物体识别处理。

另外，通过考虑甚至传感器单元170的感测范围、性能和物体识别处理的处理速度，控制器140可以确定与传感器单元170的物体感测时间相比早多少选择先前图像。

此外，在一些实施方式中，通过只使用在所选择的时间点获取的图像的一部分而非整个图像作为用于物体识别的输入数据，能够增强识别率。

在该实施方式中，能够基于物体被感测到的方向来提取图像的中部区域、左区域和右区域，而非裁切图像的中部区域周围的预定大小的区域。

例如，当从主体的右前方向感测到物体时，可以提取在所选择的时间点获取的图像的右下区域；当从主体的左前方向感测到物体时，可以提取在所选择的时间点获取的图像的左下区域；并且当从主体的向前方向感测到物体时，可以提取在所选择的时间点获取的图像的中下区域。

因此，在用于识别的输入数据中可能包括尽可能多的物体。由于机器识别到什么占据图像的最大比例，因此能够增强物体属性的识别率。

参照图19的(a)，根据本发明的实施方式的传感器单元170可以包括设置在移动机器人的主体的前表面上的第一传感器以及分别在左方向和右方向上与第一传感器S1间隔开的第二传感器S2和第三传感器S3。

在这种情况下，第一传感器S1可以作为发送器操作，并且第二传感器S2和第三传感器S3可以作为接收器操作。例如，第一传感器S1可以发送超声波信号，并且第二传感器S2和第三传感器S3可以接收被物体反射的信号。如果接收到被物体反射的信号，则能够利用超声波用公知的识别方法来确定物体存在的方向和与物体的距离。

图19的图(a)示出了从移动机器人100的向前方向在中部感测到物体X1的示例。如果从感测到的物体X1到第二传感器S2的距离L1与从感测到的物体X1到第三传感器S3的距离L2相等(L1＝L2)，则能够确定从移动机器人的向前方向在中部感测到物体X1。

在这种情况下，如图19的(b)中所示，能够从由图像获取单元120所获取的大小为a1Xb1的原始图像1900的中下侧提取大小为a2Xb2的预定区域1910。

图20至图24示出了从侧面识别物体的示例。

图20示出了从移动机器人100的右前方向感测到物体2000的示例。

参照图20和图21，图像获取单元120可以通过在移动机器人100行进的同时保持拍摄来获取多个图像。移动机器人100可以在第一位置2010处获取第一图像2110，在第二位置处2020获取第二图像2120并且在第三位置2030处获取第三图像2130。

参照图22，预定数目的图像可以被存储在存储器150中。另外，如果获取了预设数目的图像，则可以删除在最早的时间点获取的图像并且可以存储新获取的图像。

本发明可以将连续图像存储在存储器150中，确定行进的方向是否是向前方向，并且不使用在触发事件捕获的第三图像2130而是使用比第三图像2130更早捕获的第一图像2130来执行物体识别处理。

此外，能够通过裁切并提取第一图像2110的右区域而非完整地使用第一图像2110来识别物体。

图23的图(a)示出了从移动机器人100的右前方向感测到物体X1的示例，并且图24的图(a)示出了从移动机器人100的左前方向感测到物体X1的示例。

另外，控制器140可以执行通过与从感测到的物体X1到第二传感器S2的距离L1和从感测到的物体X1到第三传感器S3的距离L2之间的差值成比例地将提取目标区域偏移来从图像获取单元120所获取的图像中提取提取目标区域的控制。

参照图23的(a)，如果从感测到的物体X1到第二传感器S2的距离L1大于从感测到的物体X1到第三传感器S3的距离L2(L1>L2)，则能够确定从移动机器人100的右前方向感测到物体。

在这种情况下，如图23的(b)中所示，能够从由图像获取单元120所获取的大小为a1Xb1的原始图像1900的右下侧提取大小为a2Xb2的预定区域1920。

在图19的(b)与图23的(b)之间的比较中发现，当从移动机器人100的右前方向感测到物体X1时提取目标区域1920的中心点CP2和起始点SP2已经相对于当从移动机器人100的向前方向在中部感测到物体X1时提取目标区域1910的中心点CP1和起始点SP1在向右方向上偏移了预定值d1。

在这种情况下，移位预定值d1可以与从感测到的物体X1到第二传感器S2的距离L1和从感测到的物体X1到第三传感器S3的距离L2之间的差值(L1－L2)成比例。

参照图24的(a)，如果从感测到的物体X1到第二传感器S2的距离L1小于从感测到的物体X1到第三传感器S3的距离L2(L1<L2)，则能够确定从移动机器人100的左前方向感测到物体X1。

在这种情况下，如图24的(b)中所示，能够从由图像获取单元120所获取的大小为a1Xb1的原始图像1900的左下侧提取大小为a2Xb2的预定区域1930。

在图19的(b)与图24的(b)之间的比较中发现，当从移动机器人100的左前方向感测到物体X1时提取目标区域1930的中心点CP3和起始点SP3已经相对于当从移动机器人100的向前方向在中部感测到物体X1时提取目标区域1910的中心点CP1和起始点SP1在向左方向上偏移了预定值d2。

在这种情况下，移位预定值d2可以与从感测到的物体X1到第二传感器S2的距离L1和从感测到的物体X1到第三传感器S3的距离L2之间的差值(L2－L1)成比例。

此外，根据本发明的实施方式，该方法不仅可以应用于向前行进，而且可以应用于旋转行进。

例如，如果旋转行进是以比预定参考阈值小的角度旋转，则能够从多个连续图像当中选择在比传感器单元170的物体感测时间早的特定时间点获取的图像。

参照图25，移动机器人100可以在移动的同时从第一位置2510经过第二位置2520旋转至第三位置2530。在这种情况下，如果移动机器人100以小于预定参考阈值的角度旋转，则能够以与当移动机器人100在向前方向上行进时相同的方式执行物体识别处理。

例如，如果移动机器人100在第一位置2510的视野2501内旋转，则移动机器人100可以以与当在向前方向上行进时相同的方式执行物体识别处理。

视野2501可以是指使得图像获取单元120能够获取图像的范围。

此外，因为根据本发明的实施方式的移动机器人利用作为所选择的在特定时间点获取的图像或者所选择的在特定时间点获取的图像的提取部分的图像的训练数据执行学习处理，所以移动机器人可以不断地更新ANN和DNN的架构。

另选地，移动机器人可以向预定服务器发送所选择的在特定时间点获取的图像或者所选择的在特定时间点获取的图像的提取部分的图像，并且从预定服务器接收机器学习相关数据。此后，移动机器人可以基于从预定服务器接收到的机器学习相关数据来更新物体识别模块144。

图26是用于说明根据本发明的实施方式的移动机器人和服务器的操作方法的图，并且图27是根据本发明的实施方式的移动机器人和服务器的操作方法的流程图。

参照图26和图27，诸如CNN这样的DNN架构144a可以被内置在移动机器人100的物体识别模块144中。

预先学习的DNN架构144a可以接收用于识别的输入数据(S2710)，识别输入数据中所包括的物体的属性(S2720)，并且输出识别的结果(S2730)。

DNN架构144a无法识别的未知数据可以被存储在物体识别模块144内的存储空间144b或存储器150中(S2740)。

此外，物体识别模块144无法识别的未知数据可以通过通信单元190被发送到服务器70(S2741)。另外，物体识别模块144识别到的数据也可以被发送到服务器70。

服务器70可以生成经学习的权重的配置，并且服务器70可以利用训练数据来学习DNN架构。

服务器70可以基于接收到的数据来训练DNN(S2742)，并且通过将更新后的DNN架构数据发送到移动机器人100来更新DNN(S2743)。

图28是根据本发明的实施方式的控制移动机器人的方法的流程图。

参照图28，首先，移动机器人100、100a或100b可以根据命令或设置在行进的同时执行清洁(S2810)。

此外，图像获取单元120可以通过在行进期间连续地拍摄主体110的周围环境来获取多个图像(S2820)。可以将图像获取单元120所获取的多个连续图像存储在存储器150中。

如果在行进期间传感器单元170感测到物体(S2830)，则控制器140可以基于主体110的移动方向和移动速度来从多个连续图像当中选择在比传感器单元170的物体感测时间早的特定时间点获取的图像。

行进控制模块141等可以基于传感器单元170的操作检测传感器的输出来计算移动方向和移动速度。

此外，在被设置为在正常行进中以参考速度行进的情况下，移动速度是恒定的，因此，能够通过确定主体100的移动方向来选择在特定时间点获取的图像。

此外，在移动方向对应于向前行进或以比预定参考阈值(参考角度)小的角度旋转行进的情况下，控制器140可以从多个连续图像中选择在比传感器单元170的物体感测时间早的特定时间点获取的图像。

在响应于指示传感器单元170感测到物体的信号而获取图像的情况下，移动机器人仍在行进，因此所获取的图像可能不包括物体的特征。另外，在传感器单元170的感测范围短的情况下，所获取的图像更有可能不包括物体的特征。

因此，在向前行进或大致向前行进的情况下，控制器140可以基于移动方向和移动速度来选择在比传感器单元170的物体感测时间早的特定时间点获取的图像。

在这种情况下，如果移动速度较慢，则控制器140可以选择在比传感器单元170的物体感测时间更加早的时间点获取的图像。

如果移动速度较快，则移动机器人100在传感器单元170的物体感测时间之后行进较长的距离。换句话说，当图像获取单元120以恒定速度获取多个图像时，移动机器人在捕获特定帧的时间点和捕获后续帧的时间点之间的时间段期间行进更长的距离。

因此，当移动速度增大时，在选择传感器单元170检测到物体的时间点的图像时，物体在图像中占据的面积大的概率高。

相反，随着移动速度减小，图像获取单元120在行进相同距离的同时获取更多的图像，因此，可能优选的是，选择在比传感器单元170的物体感测时间更加早的时间点获取的图像。

物体识别模块144可以选择在特定时间点获取的图像，并且使用该图像作为用于识别物体的输入数据。

基于通过机器学习而预先学习的数据，物体识别模块144可以识别所选择的在预定时间点获取的图像中所包括的物体的属性(S2850)。

物体识别模块144可以包括ANN，该ANN被训练成通过机器学习来识别诸如物体的类型这样的属性，并且基于预先学习的数据来识别物体的属性(S2850)。

例如，作为深度学习架构之一的CNN可以被内置在物体识别模块144中，并且预先训练的CNN可以识别输入数据中所包括的物体的属性并且输出识别的结果。

此外，行进控制模块141可以基于识别到的物体的属性来控制行进驱动单元160(S2860)。

例如，如果识别到的物体是具有移动机器人100不能够攀爬的高度的物体，则行进控制模块141可以执行在行进的同时绕过物体的控制。

另外，如果识别到的物体是诸如低隆起这样的具有移动机器人100能够攀爬的高度的物体(诸如低门槛)，则行进控制模块141可以执行保持在向前方向上行进的控制。

另外，如果识别到物体是能够在行进期间限制移动机器人100的物体(尽管该物体是诸如风扇底座、人的头发、多插头、电线等这样的低高度物体)，则行进控制模块141可以执行在行进的同时绕过该物体的控制。

图29是根据本发明的实施方式的控制移动机器人的方法的流程图。

参照图29，移动机器人100、100a或100b可以根据命令或设置在行进的同时执行清洁(S2910)。

传感器单元170可以包括物体检测传感器131，并且在移动方向的向前方向上感测预定范围内的物体(S2920)。

如果在移动期间传感器单元170感测到物体(S2920)，则可以将感测到的物体的位置信息以及移动机器人100、100a或100b的位置信息存储在存储器150中(S2930)。

另外，可以将在感测到的物体的位置周围的具有预定大小的区域作为物体区域登记在存储器150中所存储的地图中，以存储并管理该区域(S2930)。

可以用测距信息来计算移动机器人的位置信息，并且可以基于传感器单元170的上述操作传感器感测到的数据来构造测距信息。

此外，图像获取单元120可以在移动期间在物体区域中获取多个图像(S2940)。

图像获取单元120可以登记物体区域，并且通过在移动机器人100、100a或100b离开物体区域之前连续地拍摄物体区域中的图像来获取多个图像。

另外，移动机器人100、100a或100b可以在针对感测到的物体执行避开驱动的同时获取整个物体区域的图像。

此外，为了探索整个物体区域而利用一系列操作在物体区域中行进的同时拍摄物体区域可能引起移动机器人100、100a或100b的行进路径的显著变化。

因此，优选的是，移动机器人100、100a或100b通过在正常行进的同时每当经过物体区域时拍摄物体区域来获取关于物体的图像。

例如，假定移动机器人100、100a或100b通过在向前方向上移动，改变移动方向，然后在与初始移动方向相反的方向上移动一定距离直到感测到物体以基本Z字形图案行进：在这种情况下，移动机器人100、100a或100b可以按照通过在首先向前移动时经过物体区域的同时进行拍摄而获取预定数目的图像的方式以及按照在返回回到初始位置时再次经过物体区域的同时进行拍摄而获取预定数目的图像的方式来获取多个图像。

此外，物体识别模块144可以基于通过学习机而预先学习的数据，针对在物体区域中移动期间由图像获取单元120获取的图像来识别物体的属性(S2950)。

物体识别模块144可以包括ANN，该ANN已经被训练成通过机器学习来识别诸如物体的类型这样的属性，并且可以基于预先学习的数据来识别物体的属性(S2950)。

例如，作为深度学习架构之一的CNN可以被内置在物体识别模块144中，并且预先训练的CNN可以识别输入数据中所包括的物体的属性并且输出识别的结果。

在针对在物体区域中所获取的一个图像执行物体识别处理并且然后针对另一图像执行物体识别处理之后，物体识别模块144可以从关于这两个图像的两个识别结果中选择更准确的识别结果并存储该识别结果。

此外，物体识别模块144可以比较这两个识别结果中所包括的置信度，以选择更准确的识别结果。最后识别处理的结果可以是当前物体识别结果，并且当针对后续图像执行识别处理时，当前物体识别结果可以成为先前物体识别结果，并且针对后续图像的识别处理的结果可以成为当前物体识别结果。

此外，当依次针对图像获取单元120所获取的图像识别物体的属性(S2950)时，物体识别模块144可以重复地将当前物体识别结果与先前物体识别结果进行比较。

每当移动机器人100、100a或100b在正常行进中经过物体区域时，可以通过拍摄物体区域来获取图像。

物体识别模块144可以依次针对所获取的图像执行图像识别处理，将识别的结果与先前物体识别结果进行比较，并且选择具有更高的置信度的识别结果。

优选地，物体识别模块144可以将当前物体识别结果与先前物体识别结果进行比较，并且如果当前物体识别结果与先前物体识别结果相同，则物体识别模块144可以保持当前物体识别结果并且通过应用预定权重来增加置信度。

也就是说，如果当前物体识别结果和先前物体识别结果相同，则不必改变物体识别结果，因此，能够通过在保持物体识别结果的同时应用预定权重来增加识别结果的置信度。

因此，每当得到相同的识别结果时，物体识别模块144可以执行使得通过应用预定权重来增加置信度并且存储该置信度的控制。

另外，如果当前物体识别结果与先前物体识别结果不相同，则物体识别模块144可以将当前物体识别结果和先前物体识别结果之中的置信度较高的识别结果登记为新的当前物体识别结果。

也就是说，物体识别模块144可以比较这两个识别结果，留下置信度较高的识别结果，并且将置信度较高的识别结果与后续识别结果进行比较。

此外，物体识别模块144可以基于依次识别的多个识别结果来确定物体的最终属性(S2960)。

在依次识别物体的同时，物体识别模块144可以在满足预定条件时确定物体的最终属性。也就是说，物体识别模块144可以将满足预定条件时的当前识别结果作为最终识别结果输出。

在满足预定条件之后，不再执行物体识别处理，因此，满足预定条件时的当前识别结果可以是最后的当前识别结果。

例如，可以将针对整个物体区域完成了物体识别时(即，当物体区域的识别覆盖率达到100％时)的最后的当前识别结果确定为物体的最终属性。

在一些实施方式中，可以被设置为当识别覆盖率达到诸如90％和95％这样的预定阈值时完成物体识别处理。

另选地，物体识别模块144可以将当前物体识别结果与先前物体识别结果进行比较，并且如果当前物体识别结果与先前物体识别结果相同，则物体识别模块144可以保持当前物体识别结果，并且将置信度改变成当前物体识别结果的置信度和先前物体识别结果的置信度的平均值。

本实施方式是以下的实施方式：当当前物体识别结果与先前物体识别结果相同时，确定相同识别结果的置信度是这两个识别结果的现有置信度的平均值。

即使在该实施方式中，如果当前物体识别结果与先前物体识别结果不相同，则物体识别模块144可以执行将当前物体识别结果和先前物体识别结果之中的置信度较高的识别结果登记为新的当前物体识别结果的控制。

此外，行进控制模块141可以基于识别到的物体的最终属性来控制行进驱动单元160的驱动(S2980)。

例如，如果识别到的物体是具有移动机器人100不能够攀爬的高度的物体，则行进控制模块141可以执行在行进的同时绕过物体的控制。

另外，如果识别到的物体是诸如低隆起这样的具有移动机器人100能够攀爬的高度的物体，则行进控制模块141可以执行保持在向前方向上行进的控制。

另外，如果识别到物体是可以在行进期间限制移动机器人100的物体(即便该物体是诸如风扇底座、人的头发、多插头、电线等这样的低高度物体)，则行进控制模块141可以执行在行进的同时绕过物体的控制。

此外，根据所确定的物体的最终属性，物体识别模块144可以将对应物体作为危险物体或非危险物体登记在地图中并进行管理(S2970)。

例如，如果识别到的物体是具有移动机器人100不能够攀爬的高度的物体，或者如果即便识别到的物体是诸如风扇底座、人的头发、多插头、电线等这样的低高度物体，该物体也会在行进期间限制移动机器人100，则物体识别模块144能够将识别到的物体作为危险物体登记在地图中。

另外，移动机器人在向前方向上行进时能够攀爬的诸如隆起这样的物体可以被作为非危险物体登记在地图中。

此后，基于关于登记在地图中的危险物体和非危险物体的信息，移动机器人100可以在行进的同时绕过危险物体。

图30至图34是用于说明根据本发明的实施方式的控制移动机器人的方法的图。

参照图30，移动机器人100可以在行进的同时感测物体3001。当移动机器人100感测到物体3001时，可以设置并登记物体区域，以包括识别到的物体的周围环境。

参照图30，物体识别模块144可以执行将整个区域3000中的物体3001周围的具有预定大小aXb的物体区域3010登记在待存储在存储器150中的地图中的控制。

例如，物体区域3010可以被设置为物体3001周围的具有50cm的每个前/后边缘和50cm的每个左/右边缘的1m×1m的矩形形状。

此外，除了物体区域3010的登记之外，物体识别模块144可以执行存储识别到物体3001时移动机器人100的位置信息的控制。此外，移动机器人100的位置信息可以是基于测距信息的信息。

例如，物体识别模块144可以执行按以下保存格式存储物体的位置信息和移动机器人的位置信息的控制。

保存格式：(Op,Rp)，

Op(X,Y)＝物体的位置

Rp(X,Y)＝机器人的位置

此外，图像获取单元120可以在行进期间在物体区域3010中获取多个图像。

图像获取单元120可以通过在移动机器人100离开物体区域3010之前在物体区域3010中连续地拍摄来获取多个图像。

图31示出了通过两次拍摄来识别物体区域3010的预定区域。图31中的圆圈3110和3120示出了识别覆盖率，并且其大小和形状可以根据图像获取单元120的配置和性能而不同。

此外，移动机器人100可以在物体区域3010中的不同位置处拍摄物体3001。

根据本发明，通过在物体区域3010中移动期间在不同的位置处获取物体3001的图像并且针对所获取的每个图像执行物体识别处理，能够增强物体识别准确度。

此外，物体识别模块144可以通过以具有恒定的垂直和水平间隔的栅格图案划分内部区域来管理物体区域3010的内部区域。

图32示出了呈4×4栅格图案的物体区域3200的示例。

当拍摄物体区域3200的内部的图像时，物体识别模块144可以可区分地存储被识别到物体的区域。

例如，如图32的(a)中所示，能够通过改变已被识别到的预定区域3210的值来将整个物体区域3200的识别到的区域和未识别到的区域区分开，并且能够确定已经在整个物体区域3200中进行识别处理的程度。

此外，根据移动机器人100的行进和物体识别，识别到的区域3210、3220、3230和3240的数目可以增加，如图32的(b)中所示。

另外，如图32的(c)中所示，当识别覆盖率达到100％时，即，当在整个物体区域3200中完成了物体识别处理时，物体识别处理可以终止。

另选地，根据设置，当识别覆盖率达到90％或95％时，物体识别处理可以终止。

图33和图34示出了根据本发明的实施方式的针对同一物体的依次物体识别处理的部分。

参照图33和图34，首先，物体识别模块144可以识别在第一位置Rp1处获取的图像并且识别物体是风扇。例如，指示识别是风扇的当前识别结果可以具有0.8的置信度。

此外，以上提到的识别结果是第一识别结果，并且不存在其它比较的对象，因此，与当前识别结果对应的登记结果可以是风扇。

此外，其次，物体识别模块144可以基于移动机器人在第二位置Rp2处获取的图像，获得指示置信度为0.7的风扇的第二识别结果。

由于第一识别结果和第二识别结果相同，因此物体识别模块144可以保持风扇作为与当前识别结果对应的登记结果。

在这种情况下，这两个识别结果的置信度中的一个可以被用作当前识别结果的置信度。

另选地，如图33中所示，作为第一识别结果的置信度和第二识别结果的置信度的平均值0.75可以被用作当前识别结果的置信度。

更优选地，由于第一识别结果和第二识别结果相同地指示风扇，因此如图25中所示的在应用了预定权重时增加的置信度0.835可以被用作当前识别结果的置信度。

参照图33和图34，基于移动机器人在第三位置Rp3处获取的图像，物体识别模块144可以获得指示置信度为0.7的灯座的识别结果。

参照图33和图34，物体识别模块144可以将第三识别结果与先前识别结果进行比较。

因为第三识别结果的置信度0.7比先前识别结果的置信度0.75或0.835低，所以物体识别模块144可以选择置信度较高的风扇作为与当前识别结果对应的登记结果。

根据本发明的实施方式中的至少一个，能够获取有助于提高识别物体的属性的准确度的图像数据。

根据本发明的实施方式中的至少一个，由于移动机器人能够确定物体的属性并且根据物体的属性来调整行进模式，因此能够执行高度可靠的物体识别和避开。

另外，根据本发明的实施方式中的至少一个，能够提供如下的移动机器人以及控制该移动机器人的方法，该移动机器人能够根据关于物体的识别结果来向前移动、向后移动、停下、绕行等，由此增强用户便利度并且提高操作效率和清洁效率。

另外，根据本发明的实施方式中的至少一个，能够提供如下的移动机器人和控制该移动机器人的方法，该移动机器人能够基于学习机准确地识别物体的属性。

另外，根据本发明的实施方式中的至少一个，移动机器人能够高效地执行机器学习并且提取用于识别的数据。

如在前述内容中可以看出的，根据本发明的移动机器人不限于上述实施方式的配置和方法，而是所述实施方式中的全部或一些可以被配置为被选择性地组合，使得能够实现实施方式的各种修改。

此外，根据本发明的实施方式的移动机器人可以在可以由设置在网络装置中的处理器读取的记录介质中被实现为能够由处理器读取的代码。能够由处理器读取的记录介质包括其中存储有能够由处理器读取的数据的所有种类的记录介质。记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储器等，并且可以以载波形式实现(诸如，通过互联网传输)。另外，能够由处理器读取的记录介质可以被分布在通过网络与其连接的计算机系统中，由此能够由处理器读取的代码可以以分布模式存储和实现。

虽然已经参照所公开的实施方式的示例性方面具体示出并描述了这些实施方式，但是应该理解，可以在不脱离所附的权利要求的精神和范围的情况下在本文中进行形式和细节上的各种改变，并且应该理解，本文中描述的基本发明构思的许多变形和修改仍然将落入所附的权利要求及其等同物限定的本发明的精神和范围内。

Claims (20)

1.一种移动机器人，该移动机器人包括：

行进驱动单元，该行进驱动单元被配置为移动主体；

图像获取单元，该图像获取单元被配置为通过连续地拍摄所述主体的周围环境来获取多个图像；

存储器，该存储器被配置为存储所述图像获取单元所获取的多个连续图像；

传感器单元，该传感器单元具有一个或更多个传感器，所述一个或更多个传感器被配置为在所述主体移动期间感测物体；以及

控制器，该控制器被配置为：当所述传感器单元感测到所述物体时，基于所述主体的移动方向和移动速度来从所述多个连续图像当中选择在比所述传感器单元的物体感测时间早的特定时间点获取的图像，并且识别包括在所选择的在所述特定时间点获取的图像中的所述物体的属性。

2.根据权利要求1所述的移动机器人，其中，所述控制器还包括行进控制模块，该行进控制模块被配置为基于识别到的所述物体的属性来控制所述行进驱动单元的驱动。

3.根据权利要求1所述的移动机器人，其中，所述控制器还被配置为：当所述移动方向对应于向前行进或以比预定参考阈值小的角度旋转行进时，从所述多个连续图像当中选择在比所述传感器单元的所述物体感测时间早的所述特定时间点获取的图像。

4.根据权利要求1所述的移动机器人，其中，所述控制器还被配置为：随着所述移动速度更慢，选择在比所述传感器单元的所述物体感测时间更加早的时间点获取的图像。

5.根据权利要求1所述的移动机器人，其中，物体识别模块还被配置为基于通过机器学习而预先学习的数据来识别包括在所选择的在所述特定时间点获取的图像中的物体的属性。

6.根据权利要求1所述的移动机器人，该移动机器人还包括通信单元，该通信单元被配置为将所选择的在所述特定时间点获取的图像发送到预定服务器，并且从所述预定服务器接收机器学习相关数据。

7.根据权利要求6所述的移动机器人，其中，物体识别模块还被配置为基于从所述预定服务器接收到的机器学习相关数据进行更新。

8.根据权利要求1所述的移动机器人，其中，所述控制器还包括图像处理模块，该图像处理模块被配置为与所述传感器感测到的所述物体的方向对应地提取所选择的在所述特定时间点获取的图像的一部分。

9.根据权利要求8所述的移动机器人，其中，所述图像处理模块还被配置为：

当从所述主体的右前方向感测到所述物体时，提取所选择的在所述特定时间点获取的图像的右下区域；

当从所述主体的左前方向感测到所述物体时，提取所选择的在所述特定时间点获取的图像的左下区域；并且

当从所述主体的向前方向感测到所述物体时，提取所选择的在所述特定时间点获取的图像的中下区域。

10.根据权利要求1所述的移动机器人，其中，所述控制器还被配置为：

将感测到的所述物体的位置信息和所述移动机器人的位置信息存储在所述存储器中；

将感测到的所述物体的位置周围的预定大小的区域作为物体区域登记在地图中；

依次针对所述图像获取单元在预定物体区域中获取的图像来识别所述物体的属性；并且

基于依次识别的多个识别结果来确定所述物体的最终属性。

11.一种用于控制移动机器人的方法，该方法包括以下步骤：

由图像获取单元在行进期间连续地拍摄主体的周围环境来获取多个图像；

存储所述图像获取单元所获取的多个连续图像；

由传感器单元感测物体；

当所述传感器单元感测到所述物体时，基于所述主体的移动方向和移动速度来从所述多个连续图像当中选择在比所述传感器单元的物体感测时间早的特定时间点获取的图像；

识别包括在所选择的在所述特定时间点获取的图像中的所述物体的属性；以及

基于识别到的所述物体的属性来控制行进驱动单元的驱动。

12.根据权利要求11所述的方法，其中，选择在所述特定时间点获取的图像的步骤包括以下步骤：当所述移动方向对应于向前行进或以比预定参考阈值小的角度旋转行进时，从所述多个连续图像当中选择在比所述传感器单元的所述物体感测时间早的所述特定时间点获取的图像。

13.根据权利要求11所述的方法，其中，选择在所述特定时间点获取的图像的步骤包括以下步骤：随着所述移动速度更慢，选择在比所述传感器单元的所述物体感测时间更加早的时间点获取的图像。

14.根据权利要求11所述的方法，其中，识别所述物体的属性的步骤包括以下步骤：基于通过机器学习而预先学习的数据来识别包括在所选择的在所述特定时间点获取的图像中的物体的属性。

15.根据权利要求11所述的方法，所述方法还包括以下步骤：

将所选择的在所述特定时间点获取的图像发送到预定服务器；以及

从所述预定服务器接收机器学习相关数据。

16.根据权利要求15所述的方法，该方法还包括以下步骤：基于从所述预定服务器接收到的机器学习相关数据来更新物体识别模块。

17.根据权利要求11所述的方法，该方法还包括以下步骤：与所述传感器感测到的所述物体的方向对应地提取所选择的在所述特定时间点获取的图像的一部分。

18.根据权利要求17所述的方法，其中，提取所选择的在所述特定时间点获取的图像的一部分的步骤包括以下步骤：

当从所述主体的右前方向感测到所述物体时，提取所选择的在所述特定时间点获取的图像的右下区域；

当从所述主体的左前方向感测到所述物体时，提取所选择的在所述特定时间点获取的图像的左下区域；以及

当从所述主体的向前方向感测到所述物体时，提取所选择的在所述特定时间点获取的图像的中下区域。

19.根据权利要求11所述的方法，其中，控制所述行进驱动单元的驱动的步骤包括以下步骤：当感测到的所述物体不是所述移动机器人能够攀爬的物体时，执行用于执行避开操作的控制。

20.根据权利要求11所述的方法，该方法还包括以下步骤：

当所述传感器单元感测到物体时，将感测到的所述物体的位置信息和所述移动机器人的位置信息存储在存储器中，并且将感测到的所述物体的位置周围的具有预定大小的区域作为物体区域登记到地图中；

依次针对在移动期间由所述图像获取单元在所述物体区域中获取的图像来识别所述物体的属性；以及

基于依次识别的多个识别结果来确定所述物体的最终属性。