CN109998429A - 用于情境感知的移动清洁机器人人工智能 - Google Patents

Abstract

移动清洁机器人包括：清洁头，被配置为清洁环境中的地板表面；以及至少一个相机，其具有在地板表面上方延伸的视野。所述至少一个相机被配置为捕获包括地板表面上方的环境的部分的图像。机器人包括识别模块，其被配置为基于由至少一个相机捕获的图像来识别环境中的物体，其中至少部分地使用由至少一个相机捕获的图像来训练识别模块。机器人包括存储装置，被配置为存储环境的地图。机器人包括控制模块，被配置为使用地图控制移动清洁机器人在环境中导航并且考虑到由识别模块所识别的物体，操作清洁头以执行清洁任务。

Description

用于情境感知的移动清洁机器人人工智能

技术领域

本申请涉及具有用于情景感知的人工智能的移动式清洁机器人。

背景技术

许多家庭环境包括移动机器人，其通过使用存储在耦接到控制器的存储器中的程序自主地在家中导航并在限定区域内执行清洁操作。清洁机器人可以清洁家庭而无需用户手动地将清洁机器人在家中移动。清洁机器人可以包括手动输入装置，例如用户按下以启动在家庭内的自主清洁操作的按钮。清洁机器人建立其经过的区域的地图。在机器人确定它已经覆盖了房间的大部分地面区域之后，机器人返回充电站进行充电并等待下一个预定的清洁进程。

发明内容

总的方面，本申请涉及一种系统，该系统用于使移动机器人能够意识到其周围环境并且在考虑到其周围环境的特征的情况下执行任务。提供了一种具有用于情景感知的人工智能的移动清洁机器人。机器人包括：清洁头，被配置为清洁环境中的地板表面；至少一个相机，其具有在地板表面上方延伸的视野。所述至少一个相机被配置为捕获包括地板表面上方的环境的部分的图像。机器人包括识别模块，其被配置为基于由至少一个相机捕获的图像来识别环境中的物体，其中至少部分地使用由至少一个相机捕获的图像来训练识别模块。机器人包括：存储装置，被配置为存储环境的地图；以及控制模块，被配置为使用地图控制移动清洁机器人在环境中导航并且考虑到由识别模块所识别的物体，操作清洁头以执行清洁任务。

移动清洁机器人的实现方案可包括以下特征中的一个或多个。识别模块可以包括神经网络，所述神经网络至少部分地使用由至少一个相机捕获的图像进行训练。

神经网络可以在移动清洁机器人在初始时间开始捕获环境图像之前进行预训练，以识别属于预定物体组的物体。识别模块可被配置为使用由至少一个相机捕获的环境的图像来更新神经网络，并且更新的神经网络可以被配置为比预训练的神经网络更准确地识别环境中的物体。

控制模块被配置为响应于识别模块识别特定物体而执行特定清洁模式，其中所述清洁模式包括深度清洁模式或非接触式清洁模式中的至少一种。

识别模块可以被配置为对于阻碍机器人在环境中移动的多个物体中的每一个物体，基于在一段时间内捕获的物体的图像，将物体分类为不经常移动的半永久性障碍还是频繁移动的非永久性障碍。控制模块被配置为考虑由识别模块识别的每个物体是半永久性障碍或非永久性障碍，以操作清洁头执行清洁任务。

控制模块更新地图以存储关于多个位置的信息，其中对于每个位置，所述地图存储关于(i)在该位置是否存在半永久性障碍，(ii)在该位置是否存在非永久性障碍，或(iii)在该位置出现非永久性障碍的频率中的至少一项信息。

所述存储装置存储关于至少一些非永久性障碍中的每一个障碍，移动清洁机器人在遇到非永久性障碍时应如何响应的用户偏好的信息。

所述控制模块被配置为在一个位置处遇到非永久性障碍并且确定存储装置并不具有关于移动清洁机器人在遇到该非永久性障碍时应如何响应的用户偏好的信息时，向用户发送请求关于如何应对非永久性障碍的存在的指示的通知。

所述通知可包括多个用户可选择的选项，其包括(i)机器人前往其他位置并在预定时间量后返回该位置的选项，(ii)在下一个清洁进程中在该位置处执行延长清洁任务的选项，(iii)移动非永久性障碍的选项，或(iv)选择用于该位置或包含该位置的区域的非接触模式的选项，其中非接触模式表示机器人被控制为不会碰到位于该位置或包含该位置的区域的地面上的任何物体。

移动清洁机器人可以包括撞击传感器，其中识别模块被配置为还基于由撞击传感器提供的信息识别环境中的物体。

识别模块可以被配置为识别环境中的一个或多个个人的存在，并且所述控制模块可以被配置为控制移动清洁机器人在环境中导航，并且执行还考虑到一个或多个个人的存在时的清洁任务。

控制模块可以被配置为执行以下的至少一项：(i)在检测到房间的门关闭以及自上次清洁进程以来未在环境中检测到个人存在后，跳过清洁该房间直至下一次清洁进程，或(ii)在第一时间点检测到房间的门关闭，并且自第一时间点以来在环境中检测到一个或多个个人的存在后，则在第二时间点返回，检查房间的门是否打开，并且在确定门打开时，在房间中执行清洁任务。所述第二时间点在第一时间点的一段时间之后。

识别模块可以被配置为识别环境中的门，以及所述控制模块被配置为基于由移动清洁机器人遇到的每个门的打开或关闭状态来安排清洁任务。

控制模块可以被配置为：在识别出门关闭时，控制移动清洁机器人导航到另一区域以在另一区域执行清洁任务。在一段时间后，返回检查门是否打开，并在确定门打开后，进入与门相关的门口后面的区域，并在门口后面的区域执行清洁任务。

控制模块可以被配置为在识别到门关闭时执行以下中的至少一个：(i)发送消息以请帮助求打开门，或者(ii)发送消息指示因为门是关闭的，所以门口后面的区域尚未进行清洁。

控制模块可以被配置为在识别到门打开时保持与门的距离，以避免在门附近导航时撞到门。

移动清洁机器人可以包括学习模块，所述学习模块被配置为基于在一段时间内由至少一个相机捕获的图像来确定环境中的人流量模式。

控制模块被配置为考虑到该区域的人流量模式，安排在一个区域进行清洁任务。

控制模块可以被配置为与其他时间段相比，在该区域处具有较少的障碍的时间段期间，安排要在该区域执行的清洁任务。

控制模块可以被配置为操作清洁头在具有较高人流量的第一区域，执行比起具有较低人流量的第二区域更彻底的清洁任务。

识别模块可被配置为识别属于预定的宠物组的宠物。控制模块可被配置为：在识别出宠物位于第一位置时，与宠物保持一定距离并导航到远离第一位置的第二位置，并在第二位置执行清洁任务。在一段时间之后，检查宠物是否已离开第一位置，并且在确定宠物已离开第一位置时，操作清洁头在第一位置或第一位置附近执行清洁任务。

另一个总的方面，提供了具有情景感知的移动清洁机器人。机器人包括至少一个传感器，被配置为获取关于环境的信息，以及识别模块，被配置为基于由所述至少一个传感器提供的信息识别环境中的物体。所述机器人包括存储装置，被配置为存储环境的地图。所述机器人包括控制模块，被配置为识别位置随时间变化的物体；基于关于至少一些物体的随时间变化的信息，确定用于清洁环境中的任务的计划表，以及控制移动清洁机器人使用地图在环境中导航并根据计划表执行清洁任务。

移动清洁机器人的实现方案可包括以下特征中的一个或多个。所述至少一个传感器可以包括至少一个被配置为捕获环境图像的相机，并且识别模块可以被配置为基于由至少一个相机捕获的环境的图像来识别物体。

所述识别模块可包括通过使用环境中的多个物体图像而被训练的神经网络。所述移动机器人在其执行清洁任务的过程中在环境中行进时捕获物体的图像，以及神经网络通过使用新捕获的图像而被更新。

识别模块可包括被预训练以识别属于预定物体组的物体的神经网络，所述移动机器人可以在移动清洁机器人执行清洁任务的过程中在环境中行进时，捕获所述物体的图像，所述神经网络通过使用新捕获的图像进行更新，并且更新的神经网络可被配置为比预训练的神经网络更准确地识别环境中的物体。

识别模块可以被配置为识别环境中的门，并且控制模块可以被配置为基于每个门的打开或关闭状态来确定清洁任务的计划表。

控制模块可以被配置为在识别出门关闭后，导航到另一区域以在另一区域执行清洁任务，在一段时间之后，返回以检查门是否打开，并且在确定门是打开后，进入与门相关的门口以外的区域，并在门口以外的区域执行清洁任务。

控制模块可以被配置为在识别出门关闭时，发送以下中的至少一个：(i)请求打开门的帮助的消息，或者(ii)指示门后面的房间没有清理的消息，因为门是关闭的。

控制模块可以被配置为在识别出门打开时保持与门的距离，以避免在门附近导航时撞到门。

地图可以包括关于环境中的物体的随时间变化的信息，包括对于多个位置中的每一个位置，关于物体处于该位置的可能性的统计信息。

所述至少一个传感器可包括至少一个被配置成捕获环境图像的相机，所述识别模块可配置成基于由所述至少一个相机提供的信息识别环境中的各个区域，并且对于至少两个具有不同特征的不同区域，基于不同区域的不同特征有区别地执行清洁任务。

识别模块可以被配置为基于由至少一个传感器提供的信息确定机器人是否位于餐厅、厨房、卧室或浴室中，并执行为餐厅、厨房、卧室或浴室设计的清洁任务。

移动式清洁机器人可以被配置为基于正在清洁的房间的类型自适应地执行清洁任务，并且对于至少两种不同类型的房间，清洁任务可以具有以下中的至少一个：(i)不同的清洁强度等级，(ii)不同的清洁模式，(iii)每单位建筑面积的不同清洁持续时间，或(iv)不同清洁头的使用。

识别模块可以被配置为基于由至少一个传感器提供的信息识别餐桌或餐椅中的至少一个，所述控制模块被配置为控制所述移动清洁机器人将餐桌或餐椅的至少一个的附近的区域清洁得比在电视机附近的区域更彻底。

另一个总的方面，提供了一种移动清洁机器人。机器人包括至少一个传感器，其被配置为感测环境的至少一个参数，以及存储装置，其存储环境的地图。机器人包括学习模块，该学习模块被配置为至少部分地基于由至少一个传感器提供的信息来建立环境模型，该模型包括关于环境如何随时间变化的信息。机器人包括控制模块，该控制模块被配置为控制移动清洁机器人基于地图导航环境，并基于环境模型在环境中执行清洁任务。

移动清洁机器人的实现方案可包括以下特征中的一个或多个。所述至少一个传感器可以包括被配置为捕获环境的图像的至少一个相机，并且所述学习模块可以被配置为基于由所述至少一个相机捕获的环境的图像来建立环境的模型。

学习模块和控制模块可以共用一个或多个数据处理器，该数据处理器执行处理器可执行代码以使得一个或多个数据处理器实现学习模块和控制模块的功能。

移动清洁机器人可以包括通信模块，该通信模块被配置为与环境中的至少一个收集关于环境的信息的其他设备通信，其中学习模块可以被配置为还基于至少一个其他设备提供的信息建立环境的模型。

所述至少一个其他设备可以包括具有关于所述环境中存在的一个或多个用户何时访问音频媒体设备的信息的音频媒体设备、具有关于基于环境中的表面反射的无线信号的签名，在环境中存在的一个或多个个人的信息的无线设备、具有关于在不同时间段和日期的环境温度的信息的智能恒温器、位于远离可以捕获环境的图像的机器人的位置的相机、或具有关于何时打开照明装置的信息的智能照明装置的至少一个。

学习模块可以被配置为至少部分地基于由所述至少一个传感器在一周、一个月或一年中的至少一个的时段提供的信息来建立环境模型。

在另一个一般方面，提供了一种移动清洁机器人。移动清洁机器人包括：存储装置，被配置为存储环境的地图；清洁头；以及无线通信模块，被配置为与具有环境中的事件的日历的外部计算机通信。移动清洁机器人包括控制模块，该控制模块被配置为：使用无线通信模块与计算机通信，并访问日历以识别影响环境中的障碍的事件；考虑到影响环境中的障碍的事件的时间安排，确定环境中清洁任务的计划表；并控制移动清洁机器人使用地图在环境中导航并根据计划表执行清洁任务。

移动清洁机器人的实现方案可包括以下特征中的一个或多个。控制模块可以被配置为在分析日历并确定要在特定日期的特定时间举行聚会或集会时，安排清洁任务在聚会或集会的开始时间之前完成。

另一个总的方面，提供了一种用于操作移动清洁机器人的方法。该方法包括使用移动清洁机器人上的一个或多个相机捕获包括地板表面上方的环境的部分的图像；使用识别模块基于捕获的图像识别环境中的物体，其中至少部分地使用先前捕获的图像训练识别模块；生成环境地图；控制移动清洁机器人使用地图在环境中导航并考虑到由识别模块识别的物体，操作清洁头以执行清洁任务。

根据以下说明和权利要求，本说明书的其他特征和优点将变得显而易见。

除非另外定义，否则本文使用的所有技术和科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。如果与通过在此引用以供参考的专利或专利申请相冲突，则以本说明书(包括定义)为准。

附图说明

图1和2是使移动清洁机器人能够具有人工智能情景感知的示例系统的框图。

图3和4是其中分别使用图1和2的系统的示例环境的示意图。

图5和6是显示识别房间中的物体的示例性移动清洁机器人的图。

图7是移动式清洁机器人的示例的示意性仰视图。

图8是安装在移动清洁机器人上的传感器的示例的示意图。

图9和10是用于识别物体的示例卷积神经网络的图。

图11和12是显示可以帮助移动清洁机器人理解其环境的房间中的物体的示例的图。

图13是将信息覆盖在由移动清洁机器人建立的地图上的示例的图。

图14是移动清洁机器人考虑用户日历信息来调度任务的示例的图。

图15是用于实现移动清洁机器人清洁认知的过程的流程图。

图16是用于识别物体的示例性卷积神经网络的图。

具体实施方式

在本申请中，我们描述了一种新颖的系统，使移动机器人能够了解其环境并基于对环境的理解，包括了解环境如何随时间变化，来执行任务。例如，当清洁每天使用的餐厅时，移动清洁机器人执行的清洁任务可以比清洁不经常使用的客房时更彻底。移动清洁机器人可以在没有人在家时安排清洁任务，以减少对房主的干扰。移动机器人可以具有一个或多个传感器，例如一个或多个相机，其感测关于环境的信息。机器学习模块使移动清洁机器人能够基于由一个或多个传感器提供的信息识别环境中的物体，以及识别移动清洁机器人在环境中的位置。机器学习模块还使移动清洁机器人能够了解环境中的模式，例如房屋各部分中的人流量(foot traffic)，以及诸如门和椅子等物体位置的变化，以帮助移动清洁机器人安排任务。

移动机器人可以以各种方式了解其环境。在一些实施方案中，移动机器人具有捕获环境图像的一个或多个相机，并且机器学习模块包括基于由相机捕获的图像而识别物体的神经网络。移动机器人构建环境地图并将物体放置在地图上。当移动机器人在环境中导航时，相机继续从各种视角和距离捕获物体的图像，并且使用新图像更新神经网络(使用批量学习或连续学习)。随着移动机器人在环境中花费更多时间，神经网络被更多环境中物体的图像所训练，进而识别物体的准确性随着时间的推移而增加。

在一些实施方案中，由移动机器人建立的地图是持久性地图(persistent map)，其被维持直到用户发送重新设置地图的指令。通过使用持久性地图，机器人在连续清洁进程中学习的信息被累积，允许移动机器人更智能地执行任务。

在一些实施方案中，提供用户界面以使移动机器人的主人能够标记由移动机器人捕获的图像中的物体。用户界面可以在移动机器人的显示器中提供，或者在与移动机器人无线通信的另一设备(例如，移动电话、平板电脑、笔记本电脑、台式计算机、智能眼镜、智能手表)的显示器中提供。用户界面可以显示例如餐厅、起居室、家庭活动室、书房、厨房、主卧室、第一个孩子的卧室、第二个孩子的卧室、主浴室和公共浴室的图像，并且移动机器人的主人可以标记房间，例如“餐厅”、“客厅”、“家庭房”、“家庭办公室”、“厨房”、“主卧室”、“爱丽丝的房间、“鲍勃的房间”、“主浴室”和“公共浴室”。移动机器人可以使用主人提供的标签与房主进行关于房屋中的情况的通信。例如，移动机器人可以向主人的设备(例如，移动电话)发送消息，诸如“在上午11:30完成清洁进程。除主卧室和主浴室外的所有客房均已清洁。主卧室的门关闭了”。

用户界面可以显示房屋的地图，其包括房屋中的各个房间，其中所述房间根据来自移动机器人的主人的输入来标记。移动机器人的主人可以通过用户界面指示移动机器人在某些房间中执行某些任务。例如，移动清洁机器人的主人可能有在三小时内开始聚会的安排，则可以向清洁机器人发送诸如“在下一小时内清洁餐厅，厨房和起居室”的指令。

在一些实施方案中，新的移动机器人被提供给消费者，其中机器人的神经网络尚未被训练。当移动机器人被带到新环境时，例如当移动清洁机器人第一次在房屋中启动时，移动机器人最初不能识别房屋中的物体。移动机器人在房屋中导航以执行清洁任务，捕获房屋中物体的图像，并训练神经网络以基于物体的图像识别物体。在该示例中，移动机器人在不知道物体是什么的情况下识别物体。例如，移动机器人可以识别房屋中有三个房间，第一个房间有一个不移动的物体，四个不时移动的物体，第二个房间有一个不移动的物体，第三个房间有两个不移动的物体和一个不时移动的物体。用户界面可以向移动机器人的主人显示房间中的三个房间和物体，并且主人可以给房间和物体添加标签。

例如，主人可以将第一个房间标记为“餐厅”，将不可移动的物体标记为“餐桌”和将可移动的物体标记为“餐椅”。主人可以将第二个房间标记为“厨房”和将不可移动的物体标记为“厨房台”。主人可以将第三个房间标记为“卧室”，将两个不动的物体标记为“床”和“书桌”，以及将移动物体标记为“椅子”。

在一些实施方案中，新的移动机器人被提供给消费者，其中机器人的神经网络已经过预训练。例如，可以预训练神经网络以识别房屋中的某些类型的房间，例如餐厅、起居室、厨房、卧室和浴室。神经网络也可以被预先训练，以识别许多家庭常见的物体，如门、窗、桌子、桌子、椅子、冰箱和厕所。当移动机器人被带到新环境时，例如当移动清洁机器人第一次在房屋中启动时，移动机器人已经具备识别基本房间和物体的能力，例如房屋里的餐厅、客厅、厨房、卧室和浴室，以及在房子里的门、窗、桌子、椅子、冰箱和浴室。

移动机器人在房屋中导航以执行清洁任务、捕获房屋中的物体的图像，并更新神经网络以识别房屋中的特定房间和物体。因为房间和物体的配置对于不同的房屋是不同的，允许使用在房屋中捕获的图像来更新移动机器人的神经网络使得移动机器人能够更准确地识别房屋中的特定房间和物体。房屋中可能有移动机器人的神经网络尚未被训练识别的物体。在这种情况下，用户界面可以显示物体的通用图标，并等待移动机器人的主人标记这些物体。

在一些实施方案中，当移动机器人在新的房屋中第一次启动时，移动机器人的主人向机器人提供房屋的导览。例如，移动机器人可以被配置为具有语音识别能力并且可以收听声音命令。移动机器人可以有一个显示器，显示消息“请带我在房子走一圈”。例如，移动机器人可以与主人的智能手机通信并使得消息“请带我在房子走一圈”在智能手机的显示屏上显示。主人可以说“跟我来”，当主人走过房屋的各个房间时，移动机器人跟随主人。主人可以在厨房停下来说“这是厨房”。移动机器人可以预先编程，以了解典型的厨房是否有某些需要关注的电器。例如，厨房可能具有洗碗机，该洗碗机具有门，当门打开时可能阻挡移动机器人的路径。厨房可能有一个应该在大多数时间关闭的冰箱。厨房可能有垃圾桶，周围区域可能需要额外清洁。

在一些实施方案中，移动机器人具有可以指向与移动机器人的移动方向无关的各种方向的相机。当主人引导移动机器人通过厨房时，机器人扫描环境，捕获厨房的图像并尝试识别厨房中的物体，例如冰箱、洗碗机、橱柜和垃圾箱。房主可能短暂地走过厨房，而移动机器人可能没有足够的时间来识别厨房中的物体。移动机器人跟随主人时生成地图，并将厨房设置在地图上。当机器人下次(例如在清洁期间)返回厨房时，机器人可以花更多的时间在厨房中导航，捕获厨房中的物体的图像，并基于捕获图像识别物体。

基于房间是厨房的信息，移动机器人可以偏置(bias)其识别模块以识别更可能出现在厨房中的物体。例如，一些厨房用具被配置成与厨房的装饰相匹配。冰箱门可以具有木板，其外观类似于衣柜门的木板。当移动机器人在厨房中看到木门板时，识别模块将知道衣柜门不太可能出现在厨房中，进而将木门板识别为属于冰箱。移动机器人可以基于厨房中各种物体的位置的信息来安排厨房中的清洁任务。例如，移动机器人可能花费更多时间来清理垃圾箱附近或冰箱前面的区域，因为那些是具有高人流量的区域。移动机器人可以避免在工作日的早餐和午餐时间之前或期间清洁厨房和餐厅，并避免在周末的早餐、午餐和晚餐时间之前或期间清洁厨房和餐厅，以避免打扰房主。当移动机器人检测到在厨房中没有人时冰箱门打开，移动机器人可以向房主的移动电话发送报警消息，指示冰箱门打开。

移动机器人可以被预编程为具有指示各种类型房间的特征的信息。例如，移动机器人可以被预编程为具有指示厨房和餐厅是需要比起起居室和家庭图书馆更彻底清洁的高人流量区域的信息。

在一些实施方案中，主人可以指向物体并认定物体。例如，主人可以指向餐桌并说“这是餐桌”。移动机器人被配置为识别手和手臂姿势。移动机器人被配置为理解主人正在指向物体，以及主人正在将物体标记为“餐桌”。移动机器人可以围绕物体移动，从不同的视角和距离捕获物体的图像，并训练神经网络识别物体。在该示例中，主人不必标记由移动机器人的相机捕获的每个图像来识别物体，例如餐桌。主人只需告诉移动机器人一次：该物体是餐桌，移动机器人就会在不同视角和距离以及不同照明条件下拍摄的后续图像中自动将物体标记为餐桌。

在一些实施方案中，主人可以使用移动设备(例如移动电话或平板电脑)来识别物体并与移动机器人通信。在以下示例中，移动设备是移动电话。移动电话配备有一个或多个相机，可以捕获移动机器人和环境的图像。移动电话执行应用程序(例如，增强现实性工具包)，该应用程序建立坐标系并确定在坐标系内的环境中移动机器人的位置以及物体的位置。

主人将移动电话的相机指向地板，并且系统建立坐标系，其中x-y平面在地板表面上。主人将相机指向移动机器人，系统确定移动机器人的位置和方向。主人将相机对准餐桌，系统确定餐桌的位置。移动电话将移动机器人的坐标和方向以及餐桌的坐标发送给移动机器人。这使得移动机器人确定餐桌相对于移动机器人的位置。如果移动机器人靠近餐桌，则移动机器人使用其自己的相机捕获餐桌的图像，并将这些图像中的物体标记为“餐桌”。移动机器人然后使用标记的图像来训练其神经网络，以便下次机器人导航到餐厅时能够识别餐桌。

例如，当房屋建筑公司出售新建房屋时，建筑公司可以提供销售家庭服务移动机器人的选项，该机器人已经被预训练以识别新房屋的某些房间。例如，移动机器人可以被配置为知道起居室、厨房、食品室、餐厅、家庭活动室、家庭办公室、主卧室、主浴室、第一卧室、第二卧室和共用浴室的位置。移动机器人可以被配置为识别已经安装在新房屋中的器具和固定装置，例如厨房中的冰箱、洗碗机、橱柜和岛台。移动机器人可以被配置为识别浴室中的厕所、淋浴间、浴缸和橱柜。移动机器人可以被配置为识别新房屋中的门、窗户和楼梯。移动机器人可以被配置为识别新房屋中的照明装置。

与新房的成本相比，提供在房屋中执行服务的预训练的移动机器人(例如执行清洁或巡逻任务)的成本很小。对移动机器人进行预训练以识别新房中的房间和物体可以给新房主带来很多便利，减少新房主在培训移动机器人时需要花费的时间。

当房主将家具和电器添加到新房时，移动机器人可以相应地更新其神经网络。例如，移动清洁机器人的主人可以配置机器人每天早晨清洁房屋一次。移动清洁机器人可能发现前一天不在餐厅中的新物体。移动清洁机器人可能将新物体识别为餐桌和餐椅。移动清洁机器人可以将餐桌和餐椅添加到持久性地图。用户界面可以显示房屋的地图，其中厨房具有表示餐桌的图标和表示餐椅的图标。如果移动清洁机器人没有识别出新物体，则可以在用户界面上显示未知物体的图标，并且系统等待房主标记新物体。

在一些实施方案中，在几年之后，当房主出售房屋时，房主可以将关于房屋的信息从已经服务于房屋的移动机器人转移到属于房屋的买方的第二移动机器人。移动机器人的制造商可以提供允许移动机器人的主人将神经网络的配置上载到本地存储器(例如，属于房主的硬盘驱动器)或云存储器的功能。例如，云存储器可以在房主搬入房屋之前或之后不久存储移动机器人的神经网络配置的副本。房主可以授权房屋的买主将神经网络配置下载到属于房屋买主的第二移动机器人。这样，房屋的买主也可以享受预训练的移动机器人的好处，并且可以开始使用移动机器人而无需花费太多时间训练移动机器人。

移动机器人在检测到新物体时，或者当家庭配置改变时(例如当房屋被改造以移动墙壁或增加额外房间时)，更新持久性地图。在一些实施方案中，房主可以周期性地将持久性地图的备份版本存储在诸如云存储的存储中。房主可以确定哪些版本的持久性地图要保留或删除。当房主出售房屋时，房主可以决定将持久性地图的哪个版本转移给房屋的买主。

参照图1，在一些实施方案中，智能移动机器人系统100包括：移动机器人102，其被配置为基于深度机器学习识别物体；移动计算设备104，其提供用户界面以使用户能够与移动机器人交互。移动计算设备104可以向移动机器人102发送命令106，并且移动机器人102可以向移动计算设备104发送通知消息108。

移动机器人102包括，例如，控制移动机器人102的各种组件的控制模块110。控制模块110包括一个或多个数据处理器，其可以执行指令以使控制模块110执行各种操作。控制模块110包括任务调度器(scheduler)112，用于调度由移动机器人102执行的各种任务(诸如清洁任务)。任务调度器112被配置为基于环境的信息来调度任务，例如在房间中较少或没有人的时间段内安排在房间中的清洁任务，或者调度在家中的重要事件之前要完成的清洁任务。

移动机器人102包括存储装置114，其存储用于导航(navigation)的地图116，以及可由控制模块110的一个或多个数据处理器执行的程序指令或程序代码。地图116可以是例如持久性地图。移动机器人102包括导航模块118，其使得移动机器人102能够基于地图116在环境中导航。移动机器人102包括一个或多个相机120，其被配置为捕获周围环境的图像，使得移动机器人102识别图像中的物体。这使得移动机器人102能够基于对其周围环境的理解而更智能地执行任务。

移动机器人102包括识别模块122，其被配置为识别环境中的场景和物体。例如，识别模块122使移动机器人102能够确定它是在厨房还是卧室中。在一些实施方案中，识别模块122包括神经网络124，其使用在家庭中常见的场景和物体的图像来训练。神经网络124可以是例如卷积神经网络。识别模块122可包括多个神经网络124，其被训练成对各种类别的物体进行分类。例如，可以训练第一神经网络以识别场景并确定移动机器人102位于哪个房间，可以训练第二神经网络以识别房间中的物体，并且可以训练第三神经网络以识别个人和宠物。

移动机器人102包括学习模块126，其被配置为了解环境中的模式，例如家中的人流量。例如，学习模块126可以被配置为存储某些随时间变化参数值并对所存储的参数值执行统计分析以检测数据中的模式。学习模块126可以针对一周中的每一天的每个时间段存储地图上的每个网格点处存在的人进行计数。通过分析所存储的数据，学习模块126可以例如针对一周中的给定日期内的给定时间确定地图上的哪些网格点具有更高或更低的人流量。学习模块126可以例如针对房屋中的给定房间确定哪个时间段具有较少或没有人流量。

在移动机器人102是移动清洁机器人的示例中，提供清洁头128以使移动机器人102能够执行清洁任务。移动机器人102可包括附加传感器150，例如碰撞传感器。

移动计算设备104可以是例如移动电话、平板电脑或可穿戴计算设备(如智能眼镜)。移动计算设备104包括一个或多个数据处理器130，以及一个或多个相机132。每个相机132包括对可见光和可选的红外光敏感的一个或多个图像传感器。移动计算设备104包括一个或多个运动传感器134，其能够检测设备104的移动和方向。

移动计算设备104包括存储装置138，其存储用于增强现实工具包或模块140的程序指令以及用于移动机器人管理程序142的程序指令。机器人管理程序142使得用户能够管理机器人的操作。例如，安排由机器人102执行的清洁任务。增强现实模块140允许用户在增强现实进程中识别环境中的物体的工具。关于各种物体的识别的信息可被发送到移动机器人102。

移动计算设备104和移动清洁机器人102中的每一个都具有无线通信模块，使得移动计算设备104能够与移动清洁机器人102通信。移动计算设备104包括示出用户的触摸屏显示器。界面136使得用户能够管理移动机器人102的操作。例如，用户界面136可以显示家庭的地图144，其中地图144是基于由移动机器人维护的持久性地图116生成的。持久性地图116可包括对于机器人102在家中导航并执行各种任务是有用的大量信息，但并非在持久性地图116中的所有信息对用户都是有用的。因此，地图144可以包括以用户友好的方式呈现的、来自持久性地图116的信息的一部分。

例如，在用户界面136上示出的地图144可以包括家中各个房间的墙壁的轮廓，以及门道、楼梯、家具和设备的代表。地图144可以显示移动机器人102在家中的当前位置。附加的有用信息可以覆盖在地图144上，例如最近由机器人102清洁的区域，或者阻止机器人102执行所分配的任务的条件。用户界面136可以显示具有可选择的选项的菜单146，例如，使得用户能够选择机器人102的操作模式。用户界面136可以显示来自机器人102的通知148，例如通知用户：清洁任务已完成，特定房间已清洁，或者有无法执行清洁任务的情况。

参照图2，在一些实施方案中，智能移动机器人系统200包括移动机器人202、远程计算系统204、和移动计算设备104。系统200和系统100之间的区别在于，在系统200中，识别物体和学习环境中的模式的功能由功能远程计算系统204提供。远程计算系统204执行计算密集型任务。这允许移动机器人202配置能力较低的数据处理器，允许以较低的成本构建移动机器人202。

移动机器人202包括用来控制移动机器人202的各种组件的操作的控制模块206。移动机器人202包括存储地图116的存储装置114。移动机器人202包括导航模块118、一个或多个相机120、和附加传感器150。在其中移动机器人202是移动清洁机器人的示例中，提供清洁头128。移动机器人202包括用于与远程计算系统204通信的通信模块208。

远程计算系统204包括任务调度器210、识别模块212和学习模块216，其分别与在图1的示例中的任务调度器112、识别模块122和学习模块126类似地起作用。识别模块212包括类似于神经网络124的一个或多个神经网络214。

系统200的移动计算设备104包括与系统100的移动计算设备104类似的组件。在系统200中，移动计算设备104与远程计算系统204通信，远程计算系统204与移动机器人202通信。例如，移动计算设备104将命令218发送到远程计算系统204，远程计算系统204将命令218转发到移动机器人102。移动机器人102将通知消息220发送到远程计算系统204，远程计算系统204将通知消息220转发到移动计算设备104。

例如，远程计算系统204可以包括通过互联网访问的云服务器计算机。用户可以远离家庭并使用移动计算设备104通过远程计算系统204向移动机器人202发送命令并接收来自移动机器人202的通知。

在图1上，移动机器人102与移动计算设备104通信。应当看到，在一些实施方案中，移动机器人102还可以与图2中的远程计算系统204通信。在图2中，移动机器人202与远程计算系统204通信。应当看到，在一些实施方案中，移动机器人202还可以与移动计算设备104通信。

图3示出了可以使用系统100(图1)的环境的示例的示意图。在下面的描述中，移动机器人102是移动清洁机器人，但是这里描述的相同原理可以用于其他类型的移动机器人，例如家庭安全移动机器人。移动清洁机器人102可以在一个或多个封闭空间内或在包括一个或多个封闭空间的环境内操作。环境包括例如家庭环境、生活空间、工作环境或其他环境。封闭空间对应于例如环境中的房间。在图3所示的示例性环境中，环境包括用户10和移动清洁机器人102所在的家庭300。用户10操作移动计算设备104，其可以是例如移动电话或平板电脑。家庭300包括房间302A，302B，302C和302D(统称为302)。在图3所示的示例中，移动清洁机器人102位于房间302A内，并且用户10位于房间302B内。房间302A通过门口304A与房间302B相邻并连接，房间302B通过门口304B与房间302C相邻并连接，以及房间302B通过门口304C与房间302D相邻并连接。

在该示例中，房间302A是包括床306和茶几308、310的卧室。房间302B是包括餐桌312和餐椅314的餐厅。房间302C是包括浴缸316、水槽318和马桶320的浴室。房间302D是包括桌子322和椅子324的家庭办公室。

在图3所示的示例中，移动清洁机器人102自主地穿过房间302A以执行清洁任务，例如清洁房间302A的地板表面。移动清洁机器人102在执行其任务的同时在房间302A中的障碍物(例如，床306和茶几308、310)周围导航。当移动清洁机器人102在任务期间围绕家庭300移动时，移动清洁机器人102使用其传感器来生成家庭300的地图并且定位移动清洁机器人102在地图内的位置。移动清洁机器人102包括产生指示移动清洁机器人102的状态的信号的传感器，例如移动清洁机器人102的部件的状态或者由移动清洁机器人102执行的任务或操作的状态。

在一些实施方案中，移动计算设备104使得用户10能够在移动计算设备104上提供输入。移动计算设备104可以包括用户输入单元，例如，触摸屏显示器、按钮、麦克风、鼠标垫、轨迹球、键盘或响应由用户10提供的输入的其他设备中的一个或多个。移动计算设备104可选地或额外地包括用户10与其交互以提供用户输入的沉浸式媒体(例如，虚拟现实)。这些示例中的移动计算设备104可以是例如虚拟现实耳机或头戴式显示器。用户10可以提供对应于用于移动清洁机器人102的命令的输入。在一些实施方案中，在移动计算设备104和移动清洁机器人102之间建立无线链路326，以使移动计算设备104能够发送无线命令给移动清洁机器人102。用户10向移动计算设备104提供指示命令信号的用户输入，并且移动计算设备104发送对应于用户输入的命令信号。各种类型的无线网络(例如，蓝牙、射频基于光通信的网络等)和网络架构(例如，网状网络)可以被利用来建立通信链路326。

其他设备也可以无线地链接到移动清洁机器人102。在图3的示例中，家庭300包括链接设备328A和328B。在一些实施方案中，链接设备328A和328B中的每一个包括例如适合于执行监视家庭300、监视家庭300的占用者以及监视移动清洁机器人102的操作中的一项或多项任务的传感器。这些传感器可包括例如，成像传感器、占用传感器和环境传感器中的一个或多个。

用于链接设备328A，328B的成像传感器可包括可见光相机、红外相机和采用电磁光谱的其他部分的传感器中的一个或多个。用于链接设备328A，328B的占用传感器包括，例如，无源或有源透射或反射红外传感器；使用光、声纳或射频的飞行时间或三角测距传感器；用于识别占用的声学或声压特性的麦克风；气流传感器；相机；用于监测频率和/或Wi-Fi频率，以获得足够强的接收信号强度的射频接收器或收发器；能够检测环境光，包括自然光、人工照明，以及从移动计算设备(例如，移动计算设备104)发射的光的光传感器；和/或用于检测家庭300内的用户10或其他占用者的存在的其他适当的传感器中的一个或多个。占用传感器可选地或额外地检测用户10的运动或自主移动清洁机器人102的运动。如果占用传感器对自主清洁机器人102的运动足够敏感，则链接设备328A，328B的占用传感器产生指示移动清洁机器人102的运动的信号。用于链接设备328A，328B的环境传感器可包括例如电子温度计、气压计、湿气或湿度传感器、气体检测器或空气颗粒计数器。

在图3所示的示例中，第二移动清洁机器人103位于房间302C中。类似于移动清洁机器人102的第二移动清洁机器人103在房间302C内执行任务，例如清洁任务。在一些示例中，移动计算设备104无线连接到多个机器人设备，包括移动清洁机器人102和第二移动清洁机器人103，从而使用户10能够与移动计算设备104交互以控制和监视多个机器人装置102，103。在一些示例中，用于移动清洁机器人102,103，链接设备328A，328B和其他设备中的每一个设备的控制器可以彼此直接发起和维持无线链路，例如，发起和保持在移动清洁机器人102或103与链接设备328A，328B之一之间的无线链路。无线链路还可以与其他远程电子设备，诸如移动电话、平板电脑，笔记本电脑、另一个移动计算设备、一个或多个环境控制设备或其他类型的电子设备一起形成。在某些实施方案中，无线链路允许一个或多个设备通信，包括但不限于智能灯泡、恒温器、车库门开启器、门锁、遥控器、电视、安全系统、安全摄像机、烟雾探测器、视频游戏控制台、其他机器人系统或其他能够通信的传感和/或致动装置或设备。

无线链路可以利用各种通信方案和协议，例如蓝牙经典、Wi-Fi、蓝牙低功耗(也称为BLE,802.15.4)、微波存取全球互通(WiMAX)、红外线频道或卫星频段。在一些示例中，无线链路包括用于在移动计算设备之间通信的任何蜂窝网络标准，包括但不限于符合1G，2G，3G或4G的标准。如果使用的话，网络标准通过满足诸如由国际电信联盟维护的规范之类的规范或标准而满足例如一代或多代移动电信标准。3G标准，如果使用的话，对应于例如国际移动电信-2000(IMT-2000)规范，并且4G标准可以对应于国际移动电信高级(IMT-Advanced)规范。蜂窝网络标准的示例包括AMPS、GSM、GPRS、UMTS、LTE、LTE高级、移动WiMAX和WiMAX-Advanced。蜂窝网络标准可以使用各种信道接入方法，例如FDMA、TDMA、CDMA或SDMA。

当移动机器人102在房间302A中导航时，移动机器人102可以捕获床306和茶几308,310的图像，并使用识别模块122来识别床306和茶几308，或者，移动机器人102可以确定房间302中有物体，并且用户10可以手动将物体标记为“床”和“茶几”。机器人102检测床306和茶几308和310的边界，将信息记录在地图116中。下次机器人102清洁房间302A时，它可以规划通过房间302A的路径，避免撞到床306和茶几308,310。在移动计算设备104的显示器上示出的地图144可以示出房间302A的墙壁的轮廓，并且示出在房间302A内的床和两个茶几的图标。

当移动机器人102导航到其他房间302B，302C和302D时，移动机器人102可以识别房间302B，302C和302D中的一个或多个物体，或者用户10可以在一个或多个房间302B，302C和302D中手动标记物体。由机器人102维护的地图116可以被更新以包括房间302B，302C和302D中的物体的位置和边界。在用户界面136上显示的地图144可以被更新以包括房间302B，302C，302D的墙壁以及在房间302B，302C和302D中的物体的图标。

在一些实施方案中，家庭300包括通过自然语音与用户10交互的一个或多个音频媒体设备330。音频媒体设备330可以接收用户10发出的语音，并且可以输出要由用户10听到的音频发射(audio emission)。用户10可以通过音频媒体设备330，代替或在使用移动计算设备104之外，向移动机器人102发送命令或查询。音频媒体设备330还可以包括其他传感器，例如图像捕获传感器、运动检测传感器、光学传感器、全球定位系统(GPS)收发器、设备存在传感器(例如，对于地理围栏)和可以检测音频媒体设备330的环境条件的其他传感器。在一些示例中，音频媒体设备330包括用于检测环境中的光量的传感器，以及音频媒体设备330在低光条件下激活灯以照亮环境。在一些情况下，音频媒体设备330包括相机，其用于检测用户10离音频媒体设备330的距离和方向，或者使用相机实现电话会议操作。音频媒体设备330的示例是2017年6月6日提交的美国申请15/614,844中所描述的音频媒体设备400，其在此引用并整体并入于此。

音频媒体设备330的传感器使设备330能够获得关于家庭300的信息。可以将这样的信息提供给移动机器人102，以增强机器人对家庭300中发生的事件的感知。例如，用户10可以访问音频媒体设备330以在房间302B中播放流媒体音乐。当音频媒体设备330在房间302B中播放流媒体音乐时，很可能一个或多个人正在使用房间302B。在这种情况下，移动清洁机器人102安排在某个其他时间进行房间302B中的清洁任务。应当看到，音频媒体设备330和移动机器人102之间的信息共享是由用户10预先批准的。

在机器人102识别家庭300中的物体之后，机器人102可以考虑到物体的特性来执行诸如清洁任务的任务。机器人102可以更频繁地清洁高人流区域，并且更少地清洁低人流区域。例如，床下深处具有非常低的人流量。机器人102可以被配置为每天清洁房间302A中的开放地板区域，以及每天一次清洁例如床306下方1英尺深的区域，以及每周一次、每两周一次、或每月一次清洁超过例如床306下1英尺深的地板区域。机器人102可以被配置为相比远离餐桌312和餐椅314的其他区域更仔细地清洁餐厅302B的餐桌312和餐椅314附近的地板区域。因为彻底清洁餐厅很重要，机器人102可以安排清洁任务，使得它在移动到其他房间之前完全清洁餐厅。机器人103可以被配置为比远离马桶320的区域更仔细地清洁浴室302C中的马桶320附近的地板区域。

例如，控制模块110被配置为响应于识别模块122识别特定物体而执行特定清洁模式。清洁模式可以包括深度清洁模式或非接触式清洁模式中的至少一种。例如，当识别模块122识别餐桌时，控制模块110执行深度清洁模式。当识别模块122识别诸如地面花瓶那样的易碎物体时，控制模块110执行非接触式(no-touch)清洁模式。

例如，识别模块122被配置为，对于阻碍机器人在环境中的运动的多个物体中的每一个，基于在一段时间内捕获的物体的图像,分类该物体是否是不经常移动的半永久性障碍，还是频繁移动的非永久性障碍。半永久性障碍包括例如不经常移动的床、墙壁和沙发。非永久性障碍包括经常移动的例如门、留在地板上的物品、脚凳和椅子。控制模块110被配置为考虑识别模块122识别的每个物体是半永久性障碍还是非永久性障碍，操作清洁头128以执行清洁任务。

例如，识别模块122被配置为识别宠物，例如狗和猫。控制模块110被配置为在识别出宠物(例如，狗或猫)位于第一位置时控制移动机器人与宠物保持距离并导航到远离第一位置的第二位置，并在第二个位置执行清洁任务，以避免打扰宠物。一段时间后，机器人检查宠物是否已离开第一个位置。在确定宠物已经离开第一位置时，控制模块110操作清洁头128以在第一位置或第一位置附近执行清洁任务。

例如，控制模块110可以被配置为识别位置随时间变化的物体，例如位置随时间变化的门。任务调度器112基于关于至少一些物体的随时间变化的信息，例如每个门打开或关闭的频率，或者门通常在什么时间段内打开或关闭，来确定用于家庭300清洁任务的计划表。任务调度器112在房间的门通常打开的时间段安排房间中的清洁任务。控制模块110控制移动清洁机器人使用地图在环境中导航并根据计划表执行清洁任务。

例如，假设机器人需要进入房间执行清洁任务，并找到阻止机器人进入房间的障碍物。识别模块122将障碍物识别为门。机器人将门分类为非永久性障碍。机器人可以随时收集关于门的信息，例如门打开的频率以及门关闭的频率。如果门是在大多数时间打开而当前是关闭的，则机器人可以清洁另一个区域，然后在预设的一段时间后返回以检查门是否打开。如果房间大部分时间都关闭，机器人可以向用户发送消息，指示由于门已关闭而房间未被清洁。

例如，存储装置114存储，移动清洁机器人在遇到对于至少一些非永久性障碍中的每一个时应如何响应的用户偏好的信息。用户偏好可以是，例如，机器人是否应该返回并检查障碍物是否被移除(例如关闭的门是否变为打开)。

图4示出了可以使用系统200(图2)的环境的示例的示意图。在该示例中，环境包括类似于图3中所示的例子的家庭400。移动计算设备104向远程计算系统204发送命令，远程计算系统204将命令转发给机器人202。机器人202将家庭400的图像发送到远程计算系统204，远程计算系统204具有包括神经网络214、任务调度器210和学习模块216的识别模块212。远程计算系统204可以基于由机器人202提供的图像识别家庭400中的物体。远程计算系统204将关于识别的物体的信息，例如标签“床”、“茶几”、“门”、“浴缸”、“餐桌”、“餐椅”等，发送到移动机器人202。移动机器人202将通知消息220发送到远程计算系统204，远程计算系统204将通知消息220转发到移动计算设备104。在图4的例子中，远程计算系统204是云服务器计算机。

在一些示例中，可以在用户家中提供家庭服务器计算机，其中家庭服务器计算机具有带有神经网络(例如，214)的识别模块(例如，212)、任务调度器(例如，210)和学习模块(例如，216)。在该示例中，移动机器人将物体的图像发送到家庭服务器计算机。家庭服务器计算机的识别模块处理图像以检测图像中的物体，并将关于检测到的物体的信息发送到移动机器人。

其他设备也可以无线链接到远程计算系统204。例如，链接设备328A，328B将由成像传感器生成的图像发送到远程计算系统204。链接设备328A，328B将来自成像传感器、占用传感器、环境传感器和存在于链接设备328A，328B中的其他传感器的组合的传感器信号发送到远程计算系统204。这些信号用作远程计算系统204的输入数据，以控制或监视移动清洁机器人102的操作。

在一些示例中，远程计算系统204连接到多个机器人设备，包括移动机器人202,103，从而使得用户10能够通过远程计算系统204与移动计算设备104交互以控制和监视多个机器人设备202,103。用于移动机器人202,103，链接设备328A，328B和其他设备中的每一个的控制器可以发起和维持用于与远程计算系统204通信的无线链路。

参照图5，在一些示例中，机器人102导航到餐厅302B并捕获餐厅302B中的物体的图像。例如，机器人102使用相机120来捕获餐椅314的图像。机器人102使用识别模块122来确定图像中的物体是餐椅。机器人314更新地图116以包括餐椅314。接下来，机器人102使用相机120来捕获餐桌312、落地灯500和墙壁艺术品502的图像，并使用识别模块122来确定图像中的物体分别是餐桌、落地灯和墙壁艺术品。机器人102更新地图116以包括在其各自的位置处的餐桌312、落地灯500和墙壁艺术品502。

参照图6，在一些示例中，机器人102导航到起居室并捕获起居室中的物体的图像。例如，机器人102使用相机120来捕获第一沙发600、第二沙发602、咖啡桌604、壁炉606、架子608和三角钢琴610的图像。机器人102使用识别模块122确定图像中的物体分别是第一沙发、第二沙发、咖啡桌、壁炉、架子和三角钢琴。机器人102更新地图116以包括在其各自的位置处的第一沙发600、第二沙发602、咖啡桌604、壁炉606、架子608和三角钢琴610。

以下描述移动清洁机器人的示例。移动清洁机器人102(图1)，202(图2)，103(图3)使用驱动系统和一套传感器自主地围绕环境(例如，家庭300,400)进行导航。图7示出了图1的移动清洁机器人102的示例的示意性仰视图。虽然图7是参照移动清洁机器人102描述的，但图7的移动清洁机器人附加地或替代地对应于移动式清洁机器人202或103。移动式清洁机器人102包括带有驱动轮702的驱动系统。在一些示例中，脚轮704将移动式清洁机器人102支撑在地板表面上方。移动清洁机器人102还包括控制器706，控制器706可与连接到驱动轮702的一个或多个马达一起操作。移动清洁机器人102的控制器706选择性地启动马达以驱动驱动轮702并使移动清洁机器人102在地板表面上导航。

控制器706还可与感测系统708一起操作。感测系统708包括可由控制器706用于在家300周围导航的传感器。感测系统708例如具有传感器以产生用于检测家庭300内的障碍物并用于生成家庭300的地图的信号。感测系统708可以包括障碍物检测传感器，例如用于检测障碍物的距离的飞行时间传感器、用于检测下降(例如，楼梯)的悬崖检测传感器、与安装在移动清洁机器人102上的缓冲器相关联的撞击传感器，以及接触传感器。当障碍物检测传感器检测到障碍物时，控制器706操作驱动系统以用于移动式清洁机器人102围绕障碍物移动。

控制器706使用来自其传感器系统的信号，通过随时跟踪和更新移动式清洁机器人102的位置和方向来生成家庭300的地图。绘图传感器包括例如同时定位和绘图(simultaneous localization and mapping，SLAM)传感器、航位推算传感器以及障碍物检测和回避(obstacle detection and avoidance，ODOA)传感器。控制器706构建家庭300的地板表面的二维地图，确定地图上的机器人姿势并确定移动式清洁机器人102可以穿过的家庭300的部分的位置(例如，未占用的、可穿越行进的地板)。通过使用来自航位推算传感器、接触传感器和非接触式障碍物检测传感器的信号，控制器706指示移动式清洁机器人102由于地板表面或地板表面上方的障碍物而不能穿越行进的地板区域。在一个示例中，控制器706在其行进时构建墙壁和障碍物的地图，从而生成可穿越和被占用空间的占用网格。在一些实施方案中，地图使用笛卡尔坐标系或极坐标系。在一些示例中，地图是拓扑地图、代表性地图或概率地图。

在一些示例中，使用同时定位和绘图(SLAM)技术，控制器706确定在家庭300的二维地图内的移动清洁机器人102的姿势。SLAM传感器包括例如一个或多个更多摄像机，用于视觉识别在地图上计算机器人姿势时使用的特征和地标。移动清洁机器人102包括附加传感器，其产生信号以使控制器706能够在移动清洁机器人102围绕家庭300移动时估计移动清洁机器人102的位置和/或方向。这些传感器，单独地或与SLAM传感器相组合，确定移动清洁机器人102在由移动移动清洁机器人102构建的机器人地图上的姿势。在一些实施方案中，控制器706使用来自附加传感器的信号来验证或调整由SLAM传感器确定的姿势。在一些实施方案中，附加传感器包括里程表、加速度计、陀螺仪、惯性测量单元和/或产生指示移动清洁机器人102的行进距离、旋转量、速度或加速度的信号的其他传感器。例如，移动式清洁机器人102包括方向传感器，例如陀螺仪，其产生指示移动式清洁机器人102从航向旋转的量的信号。在一些实施方案中，感测系统708包括航位推算传感器，例如IR轮编码器，以产生指示驱动轮702的旋转的信号，并且控制器706使用检测到的旋转来估计移动清洁机器人102行进的距离。在一些实施方案中，感测系统708包括例如激光扫描仪或飞行时间传感器，其产生用于确定到观察到的障碍物和环境内的物体的距离的传感器读数。替换地或另外地，感测系统708包括面向地板表面的光学鼠标传感器，以确定移动清洁机器人102相对于航向横向漂移穿过地板表面的距离。

在一些实施方案中，移动清洁机器人102采用视觉同时定位和绘图(VSLAM)来构建其地图并确定地图上的当前姿势。感测系统708包括一个或多个定位传感器，例如相机710(图像捕获系统)，其产生用于控制器706的信号，以确定移动清洁机器人相对于在环境中检测到的特征的位置和方向。在一些实施方案中，移动式清洁机器人102包括图像捕获系统710，例如可见光相机710，在机器人主体的顶部表面下方并且成向上方向角度，例如，成从移动式清洁机器人102导航的地板表面开始的30度和80度之间的范围内的角度。相机710瞄准墙壁和天花板上具有高浓度静态元件(high concentration of static elements)的位置，例如窗框、相框、门框和其他具有可见的可检测的特征(例如线，角和边缘)的物体。例如，当相机710向上倾斜时，相机710的视锥的中心向上倾斜，使得视锥的中心瞄准墙壁和天花板上的位置。使用由相机710捕获的图像，控制器706在移动清洁机器人102在其围绕房间或封闭空间，例如，一系列相邻房间302A，302B，302C，302D(统称为封闭空间或房间302)，导航时建立的地图(例如，地图116)上，确定机器人姿势。

在一些示例中，定位传感器包括移动式清洁机器人102上的传感器，其能够响应于检测到墙壁和在占据不可穿越的地板空间的环境中的物体而产生信号。除了VSLAM相机之外，这些定位传感器还包括，例如，诸如碰撞传感器那样的接触传感器，以及非接触的飞行时间传感器，例如激光、体积点云传感器、点线传感器(例如，飞行时间线传感器，如PIXART制造的那种传感器)、红外接近传感器、光探测和测距(LIDAR)传感器，以及声学传感器。定位传感器产生信号，从中提取独特的签名、图案或特征，特别是区分不可穿越的地板与可穿越的地板，或者当移动的清洁机器人102穿过时，可穿越的地板空间被添加到扩展的机器人地图。当控制器706确定已经检测到这些特征时，控制器706使用移动清洁机器人102相对于这些检测到的特征的位置和取向来确定移动清洁机器人102在家庭300的地图上的姿势。控制器706将移动清洁机器人102定位在家庭300内，特别是通过参考与家庭300内的物体相对应的特征确定移动清洁机器人102的当前姿势。所提取的特征指示移动清洁机器人102所位于的房间。

所提取的特征形成对于每个房间302A，302B，302C和302D的唯一标识符。在一些实施方案中，移动清洁机器人102使用所提取的特征，响应于检测到与房间标识符相关联的特定特征，确定其当前所位于的是房间302A，302B，302C和302D中的哪一个。在一些实施方案中，移动清洁机器人102通过物体识别来识别预先标识的房间。移动清洁机器人102例如使用其相机710来捕获与每个房间302相关联的物体(例如，炉子，洗碗机或冰箱)的图像。用户10向移动清洁机器人102传送与那些可识别物体相关联的特定房间标识符(例如，厨房)。在清洁任务期间，当移动清洁机器人102识别出这些物体中的一个或多个时，它通过发出声音警报，例如通过请求移动计算设备104产生声音警报，将其位置传达给用户，或者例如，通过在移动计算设备104上显示指示相关联的存储的房间标识符的文本通知，发出视觉警报。

在一些实施方案中，地图是持久性的并且存储在远程计算系统204或家庭服务器计算机中以供一个或多个移动清洁机器人102,103访问。在每个后续运行或清洁进程中，移动清洁机器人102根据家庭300内的变化条件(例如移动的家具)更新持久性地图。持久性地图随时间累积有关环境的信息。在一些示例中，移动清洁机器人102通过标准协议发现家庭300中的连接设备并将它们定位在地图上。这包括连接的灯和扬声器、通风口、门窗传感器以及家庭300中的其他连接设备的位置。移动清洁机器人102漫游家庭300并使用射频(RF)签名、视觉识别、接收信号强度和其他方法来识别家庭300中的连接设备并自动将它们放置在家庭300的机器人地图上。例如，移动清洁机器人102探索家庭300并识别客厅墙壁上的恒温器、厨房中连接的SAMSUNGTM冰箱、家庭活动室和卧室中的PhilipsTMHUE BLOOM灯。移动清洁机器人102将识别的连接设备放在地图上并使得用户10能够利用这些连接设备的这种空间知识。

感测系统708产生指示移动清洁机器人102的操作的信号。在一些示例中，感测系统708包括与驱动系统合并在一起的停滞传感器单元，在移动式清洁机器人102不能沿着家庭300内的地板表面移动时，其产生指示移动清洁机器人的停滞状态的信号。停滞传感器单元产生信号以指示传递到驱动系统的电动机的电流的变化。电流的变化可以指示移动清洁机器人102的停滞状态，其中移动清洁机器人102基本上不能从其当前姿势移动。停滞传感器单元可选地或另外地包括光学传感器，该光学传感器产生指示当动力被传递到驱动轮702的马达时，轮子(例如，脚轮704或驱动轮702之一)是否正在移动的信号。在一些示例中，停滞传感器单元是光学鼠标传感器，用于通过比较连续图像的变化来跟踪和检测运动或不运动。在一些实施方案中，移动式清洁机器人102依靠加速度计来产生指示移动式清洁机器人102的加速度的信号。控制器706在检测到车轮没有移动时确定移动式清洁机器人102处于停滞状态。

在一些实施方案中，移动式清洁机器人102包括如图8的示意图中所示的其他传感器。在一些示例中，感测系统708包括从移动清洁机器人102的环境接收可听信号的麦克风714。在一些示例中，感测系统708包括环境传感器，诸如温度传感器802、环境光传感器804、空气湿度含量传感器806、气体成分、空气质量传感器808或感测环境的其他特征的传感器。感测系统708还包括指示移动清洁机器人102或移动清洁机器人102的部件的状况的状态传感器。这些传感器包括例如，用来检测充电量或移动式清洁机器人102的动力源的充电容量的电池充电状态传感器，用于检测部件的可维修性或部件的剩余寿命量的部件寿命传感器，诸如车轮踏面传感器。

移动清洁机器人102还包括音频发射系统712，其使得移动清洁机器人102发出可听信号。控制器706引起可听信号的发射，例如，向用户10通知移动式清洁机器人102的状态，例如，移动式清洁机器人102的部件的状态，移动式清洁机器人102的操作状态，或由移动清洁机器人102执行的任务的状态。

移动清洁机器人102还包括无线通信系统810，其允许移动清洁机器人102与远程计算系统204通信，如图2和4所示。使用无线通信系统810，控制器706将数据发送到远程计算系统204。在一些示例中，所述数据包括由感测系统708的传感器生成的信号。在包括图像捕获系统710的移动清洁机器人102的一些实施方案中，捕获的图像可以直接发送到远程计算系统204。在一些示例中，移动清洁机器人102收集信息并构建家庭300的地图，并且控制器706将地图发送到远程计算系统204。如果控制器706包括状况传感器，则控制器706还将指示移动清洁机器人102的状况的信息发送到远程计算系统204。

如关于图3和图4所描述的那样，在其围绕家庭300导航期间，移动清洁机器人102执行操作并完成家庭300内的任务。所执行的操作取决于移动清洁机器人102的类型。除了描绘可能存在于用于本文描述的实施方案的许多类型的移动清洁机器人中的基本组件之外，图7描绘了真空清洁机器人特有的部件，真空清洁机器人对应于可受益于本文所述过程的许多类型的移动机器人中的一种。其他移动机器人可以包括地板清洗机器人、家庭监控机器人、机器人割草机、拖地板机器人、伴侣机器人或扫地机器人。这些机器人可以各自受益于本文档中描述的过程和系统。

在一些示例中，移动清洁机器人102是真空清洁机器人，其包括清洁系统以拾取地板表面上的碎屑。清洁系统包括例如可旋转的辊轮或刷子720，其将碎屑从地板表面搅动到被安装在移动式清洁机器人102上的碎屑箱(未示出)中。清洁系统包括鼓风机，其在激活时移动空气从而将地板表面上的碎屑朝向碎屑箱移动。当移动清洁机器人102在清洁任务期间围绕其环境导航时，移动清洁机器人102启动其清洁系统以拾取碎屑，从而清洁地板表面。

在一些示例中，如果移动式清洁机器人102是真空清洁机器人，则机器人102包括可移除的碎屑箱812，并且感测系统708包括碎屑箱水平传感器814，其检测摄入到碎屑箱中的碎屑量。感测系统708包括一个或多个碎屑传感器或尘土传感器816，其检测真空清洁机器人何时拾取碎屑或检测碎屑拾取的速率。在一些示例中，移动清洁机器人102包括用于碎屑的过滤器，感测系统708还包括过滤器传感器以检测过滤器是否需要清洁。

示例性移动清洁机器人102包括底盘818、电池820、电池充电器822、由电池820供电的电源模块824、由电源模块824供电的一个或多个电机826、通过马达826驱动的驱动系统828、绘图/导航系统830、红外(IR)发射器832、红外辐射检测器834、运动检测器(例如，无源IR光电二极管)836、超声波传感器838、压力传感器840、惯性测量单元(IMU)842和指示灯844。控制器706可包括任何适当配置的处理器846(例如，微处理器)或处理器。微处理器846与控制器706、存储器718、各种传感器和驱动系统828通信。在一些实施方案中，相机710是收集2D图像、全景视图、视频和/或3D模型的成像设备。以上描述的传感器并不是可被提供在机器人102上的传感器类型的穷举，并且取决于机器人102要检测的环境参数，可以省略某些传感器。

无线通信系统810包括无线通信发射器或发射模块848(例如，Wi-Fi模块)和相关联的天线850，以实现机器人102与移动计算设备104、远程计算系统204、集线器(例如Wi-Fii接入点)、网络路由器、和/或专用网络之间的无线通信。

在一些实施方案中，移动式清洁机器人102包括用于在通过家庭300的过程期间的障碍物检测和障碍物避免(“ODOA”)的传感器。这些传感器包括机械式保险杠开关传感器852，其在与固定障碍物接触时被触发，还包括非接触式传感器，例如超声波传感器838、红外发射器/检测器接近传感器854，以及结构光传感器856，例如由PixArt制造的那些传感器。

绘图/导航系统830使机器人102能够执行家庭300的自主导航和绘图。移动清洁机器人102包括用于自主导航的传感器，诸如用于视觉同时定位和绘图(“VSLAM”)的相机710、鼠标传感器858，具有3轴加速度计和3轴陀螺仪的IMU 842，和/或车轮里程表860，用于确定或记录机器人102相对于空间300的位置(即，将机器人102在空间300定位)。机器人102可以由其车载传感器收集的读数定位位置。任何合适的技术和组件可被使用来定位和记录机器人102，例如机器视觉(例如，使用相机710和特征识别或级别识别软件)、光信标、或射频接收信号强度指示(RSSI)技术。

机器人102可以包括模式按钮862，其使得用户能够选择若干操作模式(例如各种清洁模式)中的一种。机器人102包括与地板表面接触并支撑机器人底盘818的驱动机车构件864a，864b。驱动机车构件864a，864b可由控制器706控制，以使移动式清洁机器人102横穿家庭300内的地板表面。在一些示例中，微处理器846将移动清洁机器人102导航到或通过家庭300内的一个或多个绘图位置。机器人102包括用来管理机器人102的各种操作的操作系统866。

控制器706访问存储器718，存储器718存储由传感器收集的信息和由控制器706可执行的程序(routine)，以使移动清洁机器人102在家庭300内执行操作。程序包括导航程序，例如，用来在家庭300内导航移动清洁机器人102。控制器706响应于来自例如感测系统708的信号或通过无线通信系统810传输到控制器706的无线命令信号，启动移动清洁机器人102的操作。如果移动清洁机器人102包括用户输入设备，例如可手动操作的按钮，则输入设备可由用户10操作以使控制器706启动移动清洁机器人102的一个或多个操作。可手动操作的按钮，例如，对应于触摸屏显示器上的按钮或按钮图标。在一些示例中，存储器718还存储确定性移动图案，其由控制器706实现以便在家庭300内导航移动清洁机器人102。图案包括，例如，直线运动图案、藤蔓图案、玉米穗图案、螺旋图案、Z字形图案或包括图案组合的其他图案。存储器718还存储由感测系统708的传感器，包括任何航位推算传感器、定位传感器、状态传感器或感测系统708的其他传感器，所收集的数据。如果控制器706构建家庭300的地图，则控制器706可选地将地图存储在非易失性存储设备868中，以便在随后的清洁任务中重复使用。

移动清洁机器人102的可用的操作取决于移动清洁机器人102的类型。例如，如果移动清洁机器人102是真空清洁机器人，则存储器718包括用于执行地板清洁操作的程序。当真空清洁机器人接收到开始清洁任务的命令时，真空清洁机器人通过自主地在环境导航并从地板表面拾取碎屑来执行地板清洁操作。地板清洁操作包括房间清洁操作，其中控制器706以图案(例如，玉米穗图案、螺旋图案或其他适当的运动图案)导航真空清洁机器人以覆盖一个房间或多个房间的地板表面。

在一些示例中，地板清洁操作包括点清洁操作，其中真空清洁机器人在接收到执行点清洁操作的命令时将其清洁操作限制到局部区域。局部区域可包括，如由碎屑传感器检测到的、更大量的检测到的碎屑。作为点清洁操作的一部分，控制器706附加地或替代地增加输送到真空清洁机器人的鼓风机的功率，以使得真空清洁机器人更容易地吸收碎屑。为了执行点清洁操作，控制器706控制驱动系统，使得真空清洁机器人在局部区域内以预定图案(例如螺旋图案)移动。任何地板清洁操作的启动可以响应于传感器信号而发生。如果真空清洁机器人包括碎屑传感器，则控制器706可以控制真空清洁机器人响应于碎屑传感器检测到碎屑而执行点清洁操作。

在一些实施方案中，移动清洁机器人102与其环境中的其他设备通信或交互。移动清洁机器人102例如包括可再充电电池，其可在与电池可电连接的对接站处再充电。在一些示例中，电池是插入对接站的可拆卸电池，而在其他示例中，移动清洁机器人102在对接站对接，从而使对接站能够为电池充电。如图3中所示，对接站332位于房间302A中。对接站332包括充电器，当移动式清洁机器人102停靠在对接站332时，例如，物理地和/或电连接到对接站332时，该充电器可操作以对移动式清洁机器人102的电池充电。如果移动式清洁机器人102是真空清洁机器人，则对接站332附加地或替代地用作抽空站，其包括用于从真空清洁机器人的碎屑箱清空碎屑的装上电动机的容器。

在图3中描绘的另一个示例中，位于门口304B附近的发射单元334发射轴向指向的限制性光束，该限制性光束横跨门口304B的至少一段长度。发射单元334定位成使得发射的限制性光束将房间302C与房间302B分开。在一些示例中，感测系统708包括检测发射的限制性光束的全向检测器。响应于检测到限制性光束，控制器706导航移动清洁机器人102以避免穿过限制光束，从而保持移动清洁机器人102在房间302C中或房间302C外的自主导航。例如，当全向检测器检测到限制性光束时，移动清洁机器人102远离限制性光束。如果第二移动式清洁机器人103包括这样的全向检测器，则发送单元334限制第二移动式清洁机器人103，使得第二移动式清洁机器人103在房间302C内自主地导航，而不会越过限制性光束，从而不移动到门口304B。

在一些示例中，一个或多个发射单元向环境发射可由移动清洁机器人102上的定位传感器检测到的信号。该信号例如是在家庭300内保持静止的光学或声学信号。例如，如果发送单元在移动式清洁机器人102导航通过家庭300的同时将窄的指向性声学信号发送到家庭300中，则当移动式清洁机器人102上的声学接收器接收到声学信号时，控制器706定位到声学信号。声学信号可以被引向壁表面，使得声学接收器检测反射的声学信号，或者声学信号可以被引向地板表面，使得声学接收器接收声学信号的直接发射。发送单元将这些信号中的一个或多个发送到家庭300，并且移动清洁机器人102使用这些信号中的每一个信号作为定位特征。在一些示例中，发送单元将窄聚焦光束发射到感测系统708检测到的家庭300中，并且控制器706用于定位家庭300内的移动清洁机器人102。

用于移动清洁机器人102,202,103的无线通信系统使得能够在移动清洁机器人102,202,103和远程计算系统204之间或者在移动清洁机器人102,202,103和移动计算设备104之间传输数据，如图1到4所示。远程计算系统204可以被配置为包括远离移动清洁机器人102的环境的计算资源，例如远离家庭300的计算资源。例如，如图4所示，远程计算系统204可以包括与每个移动清洁机器人202,103建立通信链路的一个或多个服务器计算机402。在一些示例中，所述一个或多个服务器计算机402连接到一个或多个位于远程的服务器计算机的网络(“云”计算网络404)。远程计算系统204包括，例如，网络可访问的计算平台的一部分，其被实现为通过通信网络被维护和访问的处理器、存储装置、软件、和数据库的计算基础设施。远程计算系统不要求用户10了解系统的物理位置和配置，远程计算系统也不要求用户10了解由远程计算系统204执行的程序或由远程计算系统204提供的服务。远程计算系统204可以包括一个或多个数据库，用于存储移动机器人标识数据和相关的用户数据。

用于移动清洁机器人102的航位推算和/或定位传感器可包括生成信号的传感器。从该信号中可提取特征以定位移动清洁机器人102。航位推算和/或定位传感器可选地或额外包括远离移动清洁机器人102的传感器，例如，在链接设备328A，328B上的传感器。

移动清洁机器人102可以发射可由远程航位推算传感器检测到的信号，使得当移动清洁机器人102在环境周围导航时移动清洁机器人102的相对位置和/或取向的变化可通过使用来自这些传感器的输出而被估计。

链接设备328A，328B(例如，网络连接设备)可以生成信息，在一些实施方案中，这些信息被远程计算系统204和移动清洁机器人102访问，以提高持久性地图的准确性。链接设备328A，328B包括检测在家庭300中的特征的传感器，例如声学传感器、图像捕获系统，或生成可从其中提取特征的信号的其他传感器。在一些实例中，链接设备328A，328B将从传感器信号导出的信息传输到远程计算系统204。远程计算系统204将与这些特征相关的信息同在持久性地图上的特征相关联。

在一些实施方案中，链接设备328A，328B生成它们自己的家庭300的部分的地图，将其与由机器人102保持的持久性地图进行比较。链接设备328A，328B例如包括相机、光学传感器、测距传感器、声学传感器或生成用于形成链接设备328A，328B的环境的地图的信号的其他传感器。在一些示例中，链接设备328A，328B彼此协作以形成地图。

链接设备328A，328B还可以发射由移动清洁机器人102上的传感器接收的信号。移动清洁机器人102响应于来自链接设备328A，328B的信号，使用由其传感器产生的信号来对移动清洁机器人102的位置进行三角测量。发射的信号可以是例如光信号、声信号、无线信号、和其强度随着它们在环境中传播而改变的其他的可检测信号。

在一些实施方案中，在移动清洁机器人102的操作期间，用于移动清洁机器人102的感测系统可以检测与移动清洁机器人102相关联的错误状态。远程计算系统204可以接收错误状态的指示，并向用户10发送消息和建议用户10校正错误状态的原因(basis)。

本申请中描述的每个过程的操作可以以分布式方式执行。例如，远程计算系统204、移动清洁机器人102和远程计算设备104可以彼此协同地执行一个或多个操作。被描述为由远程计算系统204，移动清洁机器人102和移动计算设备104之一执行的操作，在一些实施方案中，可以至少部分地由远程计算系统204、移动清洁机器人102、移动计算设备104中的两个或更多个执行。

图9示出了卷积神经网络900的示例性架构，其可以用作识别模块122中的神经网络124(图1)。在该示例中，神经网络900包括四个卷积层、三个平均池化(average pooling)层和两个完全连接的层。在图9所示的示例中，到网络900的输入是包括椅子视图的图像。如果神经网络900被训练成识别椅子，则网络900的输出将指示图像中的物体是椅子。

图10示出了卷积神经网络1000的另一示例架构，其可以用作识别模块122中的神经网络124(图1)。在此示例中，每个特征图输出都是将过滤器应用于图像的结果，新特征图将成为下一个输入。神经网络包括几个卷积层、平均池化层、和完全连接的层。在图10的示例中，输入图像1002是包括椅子视图的图像。网络1000的输出1004指示图像中的物体很可能是椅子。

在一些实施方案中，机器人102可以使用相机120来捕获家庭300中的周围环境的图像并识别物体以便帮助机器人102执行各种任务或者在地图上确定机器人102的位置。参照图11，当移动机器人102围绕家庭300移动并执行清洁任务时，移动机器人102更新地图以包括其通过相机120看到的各种标记。例如，标记可包括一个或多个图案1100、QR码1102和信标1104。移动机器人102识别标记并将它们放置在地图116上。

在一些示例中，用户10可以通知移动机器人102：特定标记(例如，1100,1102,1104)在特定房间中。这样，当机器人102看到特定标记时，机器人102知道它在特定房间中。例如，第一标记可以放置在房间302A中，第二标记可以放置在房间302B中，第三标记可以放置在房间302C中，第四标记可以放置在房间302D中。假设用户10想要通知机器人102：房间302A中的床306与标签“床”相关联。用户10可以使用移动计算设备104的相机132拍摄房间302A中的标记作为第一图像，拍摄床306作为第二图像，提供标识图像中的物体是“床”的标签，并将第一和第二图像以及标签发送给机器人102。机器人102识别第一图像中的标记，因此它知道第二图像中的物体在房间302A中。基于由用户提供的标签，机器人102知道第二图像中的物体是房间302A中的“床”。

在移动计算设备104上执行的增强现实模块140可以通过使用视觉惯性测距技术而生成虚拟空间并跟踪用户居住的真实世界空间与具有视觉虚拟内容的虚拟空间之间的对应关系，其中来自运动传感器的信息与由所述一个或多个相机捕获的场景图像的计算机视觉分析相组合。当虚拟内容与现场摄像机图像一起显示时，用户感受增强的现实，得出虚拟内容是现实世界的一部分的幻觉。增强现实模块140可用于帮助机器人102确定哪个物体正由用户10标记。在增强现实会话中，增强现实模块140建立虚拟空间的坐标系并跟踪虚拟空间与现实世界之间的对应关系。

在一些实施方案中，用户10可以使用在移动计算设备104上执行的增强现实模块140来确定家庭300中的物体(例如，椅子)的虚拟空间坐标，确定移动清洁机器人102的虚拟空间坐标，并确定移动清洁机器人102在虚拟空间中的方位角。由于虚拟空间与现实世界之间的对应关系，移动清洁机器人102可以基于物体相对于移动清洁机器人102的虚拟空间位置，确定家庭300中的物体(例如，椅子)相对于移动清洁机器人102的真实世界位置。同样地，移动清洁机器人102可以基于移动清洁机器人102相对于虚拟空间中的对应参考方向的方位角确定移动清洁机器人102相对于现实世界中的参考方向的方位角。

在一些示例中，移动计算设备104基于物体(例如，椅子)在虚拟空间中的坐标与移动清洁机器人102在虚拟空间中的坐标之间的差异来确定物体(例如，椅子)相对于移动清洁机器人102的位置。移动计算设备104向移动清洁机器人102发送关于物体(例如，椅子)的相对位置的信息和关于移动清洁机器人102的方向角度的信息。基于关于物体(例如，椅子)的相对位置的信息和关于移动清洁机器人102的取向角度的信息，移动清洁机器人102可以确定物体(例如，椅子)的位置并导航到物体。

在一些示例中，移动计算设备104将物体(例如，椅子)的虚拟空间坐标、移动清洁机器人102的虚拟空间坐标、以及移动清洁机器人102相对于在虚拟空间中的参考方向的方位角，发送给移动清洁机器人102。基于所接收的信息，移动清洁机器人102确定物体(例如，椅子)的相对坐标并导航到物体。

例如，移动计算设备104使用增强现实模块140来确定与地板表面平行并位于地板表面上的虚拟平面。虚拟平面对应于虚拟空间的坐标系中的x-y平面。移动计算设备104使用增强现实模块140来确定物体(例如，椅子)在虚拟空间中的坐标(x1，y1,0)处，移动清洁机器人102在虚拟空间中的坐标(x2，y2，0)处，以及移动清洁机器人的方位角是相对于+x轴的θ度。移动计算设备104将相关信息发送到移动清洁机器人102。移动清洁机器人102确定物体处于相对于机器人102的当前航向顺时针转的方向并且处于相对于机器人102的的距离。因此，如果用户10将物体标识为“椅子”，则移动机器人102知道在处于相对于机器人102的当前航向顺时针转的方向和处于相对于机器人102的的距离的物体是与标签“椅子”相关联的。增强现实模块140为用户10提供便利的机制，以便将关于现实世界物体的信息传达给移动机器人102。

在一些实施方案中，移动计算设备104在例如触摸屏显示器上提供用户界面136，以使得用户10能够容易地识别家庭300中的物体和识别移动清洁机器人102。例如，用户10可以将移动计算设备104的相机132指向用户10想要识别的物体(例如，椅子)(即，向机器人102提供标签)，于是包括物体的场景的图像被显示在触摸屏显示器上。用户10通过触摸触摸屏显示器上的图像中的点来提供触摸输入以识别物体。增强现实模块140执行图像分析以确定与由用户10标识的图像中的点对应的、在现实世界中的第一点，并确定在虚拟空间坐标系中的第一点的坐标。然后，用户10将移动计算设备104移动到移动清洁机器人102的附近。当用户10从要识别的物体(例如，椅子)的附近移动到移动清洁机器人102的附近时，增强现实模块140继续分析由相机机132捕获的图像和由运动传感器134提供的运动感测数据，并使用视觉惯性测距技术来确定移动计算设备104在现实世界中的位置和方向。

用户10将移动计算设备104的相机132指向移动清洁机器人102，于是在触摸屏显示器上示出移动清洁机器人102的图像。在一些实施方案中，系统分析由相机132捕获的场景图像(例如，使用具有已被训练以识别移动机器人的神经网络的深度机器学习模块)并且自动识别移动清洁机器人102而无需来自用户10的进一步的输入。增强现实模块140执行图像分析以确定与图像中的移动清洁机器人102的点(例如，中心)对应的、在现实世界中的第二点，并确定所述第二点在虚拟空间坐标系中的坐标。系统可以将第一点的坐标和第二点的坐标发送到移动清洁机器人102，并且移动清洁机器人102可以确定第一点相对于第二点的位置。可替换地，系统可以基于第一点的坐标与第二点的坐标之间的差异来确定第一点相对于第二点的位置，并将该相对位置信息发送到移动清洁机器人102。

在一些实施方案中，系统提供用户界面以使用户10能够手动旋转移动清洁机器人102以改变移动清洁机器人102的方位角，使得移动清洁机器人102对准某个方向，例如，+x轴或+y轴。在一些实施方案中，系统分析由相机132捕获的场景图像，并且自动识别移动清洁机器人102的方位角，而不需要来自用户的进一步输入。移动计算设备104向移动清洁机器人102发送关于要识别的物体(例如，椅子)的相对位置(或者移动清洁机器人102的坐标和物体的坐标)的信息以及关于移动清洁机器人102的方位角的信息。基于关于物体的相对位置(或移动清洁机器人102的坐标和物体的坐标)的信息和关于移动式清洁机器人102的方位角的信息，移动清洁机器人102可以确定物体的位置并导航到物体，并将用户提供的标签与该物体相关联。

在一些实施方案中，移动计算设备104包括具有被配置为识别移动清洁机器人102的第一神经网络(例如，卷积神经网络)的第一图像检测模块。所述第一神经网络通过使用移动清洁机器人102或相同型号的其他移动清洁机器人的图像而被训练。训练图像包括从相对于移动清洁机器人102的各种距离，相对于移动清洁机器人102的各种视角，以及在各种照明条件下拍摄的移动清洁机器人102的图像。这使得训练后的神经网络能够在各种照明条件下以及在用户可以将移动计算设备104的相机132保持在任意距离(在特定范围内)以及相对于移动清洁机器人102处于任意视角的各种情况下识别移动清洁机器人102。

在一些实施方案中，移动计算设备104包括具有被配置为识别移动清洁机器人102的方位角的第二神经网络的第二图像检测模块。第二神经网络通过使用移动清洁机器人102或相同型号的其他移动清洁机器人的若干图像来训练，其中移动清洁机器人102以各种角度取向。训练图像包括相对于移动清洁机器人102的各种距离、相对于移动清洁机器人102的各种视角、以及在各种照明条件下拍摄的移动清洁机器人102的图像。这允许训练后的神经网络能够在各种照明条件下以及在用户可以将移动计算设备104的相机132保持在任意距离(在某个范围内)和相对于移动清洁机器人102的任意视角的各种情况下识别移动清洁机器人102的方位角。

在一些实施方案中，在增强现实进程期间，用户10确定三个或更多个标记(不在同一平面中)和家庭300中的物体(例如，椅子)，并且增强现实模块140确定标记和物体(例如，椅子)在虚拟空间中的的坐标。移动计算设备104向机器人102发送标记的坐标和物体(例如，椅子)的坐标。

如以上所讨论的，当机器人102在家庭300四处移动并执行清洁任务时，机器人102更新地图116以将它通过相机120看到的各种标记包括在内。机器人102知道标记在机器人坐标系中的坐标。通过使用关于标记的信息，机器人102可以执行坐标变换或三角测量以确定物体的位置。基于在3D虚拟空间坐标系中的三个或更多个标记的坐标，以及3D机器人坐标系中的标记的坐标，机器人102可以确定在3D虚拟空间坐标系与3D机器人坐标系之间的变换。给定虚拟空间坐标系中的物体(例如，椅子)的坐标，基于关于虚拟空间坐标系和机器人坐标系之间的变换的信息，机器人102可以确定物体(例如，椅子)在机器人坐标系中的坐标。因此，如果用户通过使用增强现实模块140将物体识别为“椅子”，则机器人102可以确定哪个物体被用户10标记为“椅子”。

如果机器人102知道物体到标记的距离，则机器人102可以通过使用3D三角测量确定物体相对于三个或更多个标记的位置。例如，使用关于标记和物体(例如，椅子)在虚拟空间坐标系中的坐标的信息，机器人102可以确定从物体(例如，椅子)到每个标记的距离。使用关于标记在机器人坐标系中的坐标的信息以及关于从物体(例如，椅子)到每个标记的距离的信息，机器人102可以通过三角测量确定物体(例如，椅子)在机器人空间坐标系中的坐标。因此，通过三角测量的机器人空间坐标系，可以确定哪个物体被用户10标记为“椅子”。

参照图12，在一些实施方案中，标记可以做得很小并且放置在不显眼的位置。例如，QR码1202可以放置在被安装在天花板上的火灾探测器1204上。作为另一个例子，QR码可以放置在嵌入式天花板灯的框架上。多个QR码可以被放置在天花板上的选定位置。通过将QR码1202和其他标记放置在天花板上或天花板附近，标记将对家庭300的装饰产生很小的影响并且减少对用户10的干扰。机器人102配备有高分辨率相机或变焦镜头，其使得机器人102能够检测天花板上或附近的标记。当机器人102在家庭300中移动的同时，定位和绘图(SLAM)传感器将跟踪天花板上或天花板附近的物体的位置，包括标记(例如，QR码1202)。

例如，当增强现实模块140用于确定机器人102和物体的坐标时，机器人管理程序142提示用户10扫描标记，例如在天花板上的QR码1202。增强现实模块140确定天花板上的标记的坐标并使用该信息来帮助与机器人102共享虚拟空间坐标系。这样，当用户10识别虚拟空间中的物体，以及强时现实模块140确定虚拟空间中的物体的坐标时，机器人102可以确定用户10正在识别哪个物体。

例如，使用增强现实模块140，用户10可以在家300周围走动，将移动计算设备104的相机132指向各种物体，于是物体的图像出现在触摸屏显示器上。用户10轻击图像中的物体，例如椅子，并通过用户界面136提供标签“椅子”。增强现实模块140确定椅子在虚拟空间中的坐标。移动计算设备104将椅子的虚拟空间坐标和标签“椅子”发送给机器人102。使用坐标变换或三角测量，机器人102确定被标记为“椅子”的物体的机器人空间坐标。当机器人102在椅子附近导航时，机器人102知道该物体与用户10提供的标签“椅子”相关联。以类似的方式，用户可以快速地为家庭300中的其他物体提供标签，并且机器人102将能够确定哪些标签加到哪些物体。

在一些实施方案中，用户10可以将属性分配给家庭300中的物体，并且移动机器人102可以考虑属性来执行任务。例如，用户10可以指示某些物体(例如地板花瓶或某些木制家具)具有“禁止接触”属性。当移动机器人102遇到与“禁止接触”属性相关联的物体时，机器人102可以在物体附近使用“禁止接触”导航模式，使得机器人102不接触所述物体以避免损坏物体。

参照图13，在一些实施方案中，机器人管理程序142在向用户10示出的地图144上覆盖附加信息。例如，当机器人102在家300周围移动时，机器人102确定在家300中的各个位置处Wi-Fi信号强度，并记录该信息。机器人102将关于各个位置处的Wi-Fi信号强度的信息发送到移动计算设备104，并且机器人管理程序142使用该信息来生成Wi-Fi热力图1302。Wi-Fi热力图130显示家庭300中具有较强Wi-Fi信号的区域和家庭300中具有较弱Wi-Fi信号的区域。Wi-Fi热力图1302可以帮助用户10确定Wi-Fi路由器是否被放置在最佳位置，并确定将电子设备放置在家庭300中的哪个地方，以使设备可以接收更强的Wi-Fi信号。

参照图14，机器人102可以使用来自用户10的日历1402的信息来智能地调度任务。在一些实施方案中，机器人102向移动计算设备104发送请求1404，请求访问用户10的日历1402。移动计算设备104将日历1402发送到机器人102。应当看到，用户10先前已批准在移动计算设备104和机器人102之间共享日历。日历1402包括指示12月31日星期日下午5点到凌晨1点的新年派对以及1月6日星期六中午12点到下午3点的家庭聚会的日历条目1406。

任务调度器112考虑日历信息1402来安排清洁任务。例如，任务调度器112可以安排在12月31日下午4点之前完成在一楼房间中的清洁任务，以便家庭可以为当天下午5点开始的新年派对做好准备。任务调度器112可以安排在1月6日上午11点之前完成在一楼房间中的清洁任务，以便家庭可以为当天中午开始的家庭聚会做好准备。

参照图15，提供了用于操作具有用于情景感知的人工智能的移动机器人的过程1500。例如，移动机器人可以是移动清洁机器人，例如图1的机器人102。过程1500包括使用移动机器人上的一个或多个相机捕获1502包括地板表面上方的环境的部分的图像。例如，相机可以是相机120(图1)，并且图像可以是家中房间的图像。

过程1500包括使用识别模块基于捕获的图像识别1504环境中的物体，其中至少部分地使用先前捕获的图像来训练识别模块。例如，识别模块可以是图1的识别模块122。

过程1500包括生成环境的地图。例如，所述地图可以是地图116。

过程1500包括控制移动机器人使用地图在环境中导航，并考虑到由识别模块识别的物体，执行清洁任务。例如，移动机器人可以包括清洁头128，并且考虑到正在清洁的房间中的物体，执行清洁任务。

在一些实施方案中，识别模块122是基于Joseph Redmon，Santosh Divvala RossGirshick和Ali Farhadi的文章“You Only Look Once：Unified，Real-Time ObjectDetection”中描述的YOLO(You Only Look Once)检测系统。在网址为https://arxiv.org/pdf/1506.02640v5.pdf处可查阅。有关YOLO检测系统的更多信息可在网址http://pjreddie.com/yolo处找到。

识别模块122调整输入图像的大小(例如，适合于由神经网络124进行后续处理的图像大小)，在图像上应用卷积神经网络以同时预测这些框的多个边界框(boundingboxes)和类概率(class probabilities)，并根据模型的置信度将阈值应用于结果检测。识别模块122的输出包括与在边界框中检测到的物体相关联的标签。神经网络124在包括物体视图的完整图像上被训练，并且直接优化检测性能。

识别模块122在进行预测时使用来自整个图像的信息。神经网络124在训练和测试期间看到包括物体的视图的整个图像，因此它隐含地编码关于物体的类别及其外观的环境(context)信息。识别模块122学习物体的概括性表示，例如，在家中常见的桌子、椅子和门。识别模块122使用卷积神经网络，其使用来自整个图像的特征来预测每个边界框。神经网络同时预测对于图像的跨类的边界框。神经网络全局地了解完整图像和图像中的各种物体。

识别模块122可以在进行端到端训练和实时速度的同时保持高的平均精度。识别模块122将输入图像划分为网格。如果物体的中心落在网格单元格中，则网格单元负责检测该物体。每个网格单元预测边界框和边界框的置信度分数。置信度分数反映了模型对边界框所包含物体(例如，椅子)的置信程度以及边界框中的物体正是网格单元所预测的东西有多精确。如果单元格中不存在物体，则置信度分数应为零，否则置信度分数等于预测框与地面实况之间的并集交叉(IOU)。

每个边界框包括五个预测量：x，y，w，h和置信度。(x；y)坐标表示相对于网格单元边界的框的中心。宽度和高度是相对于整个图像进行预测的。置信度预测表示预测框与任何基本事实框(ground truth box)之间的IOU。

每个网格单元还预测条件类概率。这些概率以网格单元包含物体为条件。每个网格单元预测一组类概率。

在测试时，将条件类概率乘以单个框置信度预测，其为每个框提供类特定的置信度分数。这些分数编码出现在框中的类的概率以及预测的框适合于物体(例如，椅子)的程度。

图16是示例性多层卷积神经网络124的示图。图中所示的网络124的配置仅是示例，网络124的参数可以根据应用而变化。例如，对于不同的应用，层数和输入图像大小可以不同。神经网络124可以如下地训练：从输入层开始，训练数据的模式(pattern)通过网络向前传播，以生成输出。根据网络的输出，使用成本函数计算误差，其中训练过程尝试使得误差最小化。该误差被反向传播，计算相对于网络中每个权重的误差的导数，并更新网络。在练神经网络124被训练之后，提供包括一个或多个物体(例如，椅子和桌子)的新图像(例如，1602)作为网络的输入并且向前传播以计算网络输出，并且应用阈值函数，用来获得预测的类别标签(例如，椅子，桌子，床等)。输出图像1604包括由具有预测标签的边界框1606绑定的物体。

以下更详细地描述神经网络124。物体检测被处理为从图像像素到边界框坐标和类概率的单个回归。通常，输入图像被划分为网格，并且对于每个网格单元，生成边界框并且确定边界框的类概率。网络的初始卷积层从图像中提取特征，而完全连接的层预测输出概率和坐标。网络具有若干个(例如24个)卷积层，后面是多个(例如2个)完全连接的层。卷积层是通过使用包括各种物体(例如，床，椅子，桌子，沙发，冰箱，门，窗，楼梯，电视机)的视图的图像而进行预训练的。对于每个物体，从各种视角、各种观看距离以及在各种照明条件下捕获若干个图像。训练图像涵盖了在典型的家中可能发现物体的各种各样的情况。

最后一层预测了类概率和边界框坐标。边界框宽度和高度由图像宽度和高度标准化，使它们落在0和1之间。边界框x和y坐标被参数化为特定网格单元位置的偏移量，因此它们也落在0到1之间。线性激活函数被使用于最终层，而其他层使用泄漏校正线性激活(leaky rectified linear activation)。模型的输出针对输出中的求和平方误差进行了优化。来自边界框坐标预测的损失增加，并且来自对于不包含物体的框的置信度预测的损失减少。求和平方误差同等地加权大框和小框中的误差。误差度量值反映大框中的小偏差小于小框中的偏差。边界框宽度和高度的平方根被预测。神经网络预测每个网格单元的多个边界框。在训练时，一个边界框预测器负责每个物体。一个预测器被指定为对于基于哪个预测具有最高当前的联合交叉(IOU)以基本事实来预测物体“负责”。这导致边界框预测器之间的特殊化。每个预测变量都能更好地预测某些大小、宽高比或物体类别，从而提高整体回忆率(recall)。如果网格单元中存在物体，则损失函数会对分类错误进行惩罚。如果预测器对基本事实框“负责”(即，网格单元中具有任何预测器的最高IOU)，它还会处罚(penalize)边界框坐标误差。

上述识别模块122的架构仅是示例，识别模块122可以以多种方式修改。例如，可以改变卷积层的数量。在一些示例中，识别模块122可以基于快速YOLO架构，其使用较少的卷积层(例如，9层而不是24层)并且层中的过滤器较少，从而带来更快的识别速度。识别模块122可以基于Joseph Redmon和Ali Farhadi的文章“YOLO9000：Better，Faster，Stronger”中描述的YOLOv2(可在“https://arxiv.org/pdf/1612.08242v1.pdf”获得)。识别模块122还可以基于YOLOv2 544x544，YOLOv2 608x608或Tiny YOLO型号。

其他机器学习技术也可以用于识别模块122。例如，识别模块122可以使用可变形部件模型(DPM)，其使用滑动窗口方法来进行物体检测。识别模块122可以使用R-CNN及其变体，其使用区域提议(region proposals)而不是滑动窗口来查找图像中的物体。识别模块122可以使用越来越快的R-CNN，其侧重于通过共享计算来加速R-CNN框架并且使用神经网络来提出区域而不是选择性搜索。识别模块122可以使用Deep MultiBox，其中卷积神经网络被训练以预测有价值的区域。识别模块122可以使用OverFeat，其中卷积神经网络被训练以执行定位，并且定位器适合于执行检测。识别模块122可以使用MultiGrasp，其使用抓握检测(grasp detection)。

本文档中描述的自主移动机器人可以通过使用一个或多个计算机程序产品而至少部分地被控制，例如，有形地体现在一个或多个信息载体中的一个或多个计算机程序，例如一个或多个非瞬态机器可读的介质，用于由一个或多个数据处理设备(例如，可编程处理器、计算机、多个计算机和/或可编程逻辑组件)执行或控制其操作。

与控制本文中描述的自主移动机器人相关联的操作可以由一个或多个可编程处理器运行一个或多个计算机程序来执行，以执行本文中描述的功能。计算机程序可以用任何形式的编程语言编写，包括编译或解释型语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合使用的单元。在计算环境中。可以使用专用逻辑电路(例如，FPGA(现场可编程门阵列)和/或ASIC(专用集成电路))来实现对本文中描述的机器人的全部或部分的控制。

本文档中描述的控制器可包括一个或多个处理器。作为示例，适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储区域或随机存取存储区域或两者接收指令和数据。计算机的单元包括用于执行指令的一个或多个处理器和用于存储指令和数据的一个或多个存储区域设备。通常，计算机还将包括或可操作地耦接以从一个或多个机器可读存储介质(例如硬盘驱动器，磁盘，磁光盘或光盘)接收数据或将数据传输到该机器可读存储介质，或者二者都有。适用于体现计算机程序指令和数据的机器可读存储介质包括各种形式的非易失性存储区域，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM光盘。

可以使用用于在一个或多个移动计算设备、一个或多个移动机器人和/或一个或多个远程计算设备上执行的软件来实现用于上述情境感知的机器人人工智能的过程。例如，软件形成在一个或多个计算机程序中的程序，这些计算机程序在移动机器、，移动计算设备或远程计算系统(可以是诸如分布式，客户端/服务器或网格的各种体系结构)中的一个或多个编程或可编程计算机系统上执行，每个包括至少一个处理器、至少一个数据存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个有线或无线输入设备或端口、以及至少一个有线或无线输出设备或端口。该软件可以形成较大程序的一个或多个模块，例如，其提供与管理家庭操作相关的其他服务，例如家庭的清洁进程和安全监控。

该软件可以在诸如CD-ROM、DVD-ROM或蓝光盘之类的介质上提供，可由通用或专用可编程计算机读取或通过网络被传送(被编码在传播信号中)到执行它的计算机。这些功能可以在专用计算机上执行，也可以使用专用硬件(如协处理器)执行。软件可以以分布式方式实现，其中由软件指定的计算的不同部分由不同的计算机执行。每个这样的计算机程序优选地被存储在或下载到可由通用或专用可编程计算机读取的存储介质或设备(例如，固态存储器或介质、或磁或光学介质)，当存储介质或设备被计算机系统读取以执行本文所述的过程时，用于配置和操作计算机。本发明的系统还可以被看作为被实现为配置有计算机程序的计算机可读存储介质，其中如此配置的存储介质使计算机系统以特定和预定义的方式操作以执行本文描述的功能。

已经描述了本说明书的多个实施例。然而，应该看到，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。例如，上述一些步骤可以是无关顺序的，因此可以以与所描述的顺序不同的顺序执行。应该看到，前面的描述旨在说明而不是限制本发明的范围，本发明的范围由所附权利要求的范围限定。

移动计算设备104可以是例如智能手表、智能相机、智能护目镜或能够执行上述移动计算设备的功能的任何其他便携式设备。用户10可以使用各种方法识别物体。例如，用户可以具有家庭机器人和移动清洁机器人。家庭机器人可以在家中来回移动并使用自然语言与用户交互。家庭机器人可以提供安全监控功能和其他服务，例如播放音乐、回答用户问题、设置用户日历、以及控制家中的各种设备。用户可以指向一个物体并与家庭机器人说：“这是一把椅子”。家庭机器人有一个摄像头，可以识别用户指出的物体(例如椅子)，确定物体的坐标，并将关于坐标和标签的信息(例如，“椅子”)发送到移动清洁机器人。

移动清洁机器人102,103,202可以将持久性地图存储在它的内部非易失性存储器中，替代地或者额外地，可将持久性地图存储在远程计算系统的存储设备(例如，云存储系统)。

识别模块122可以通过使用各种机器学习技术来训练。例如，可以实现监督学习技术，其中训练是基于对应于已知输入而已知的期望输出。监督学习可以被视为尝试将输入映射到输出，然后估计先前未使用的输入的输出。还可以使用无监督学习技术，即已知输入但未知输出。还可以采用强化学习技术，其中系统可以被认为是从所采取的动作的结果中学习(例如，输入值是已知的并且反馈提供了性能测量值)。在一些布局中，所实施的技术可以采用这些方法中的两种或更多种方法。

如上所述，神经网络技术可以通过使用各种模型的移动清洁机器人的图像而被实施，以调用用于自动学习识别机器人及其方位角的训练算法。这种神经网络通常采用多个层。一旦定义了层和用于每层的单元的数量，通常神经网络的权重和阈值就被设置成通过网络的训练而使得预测误差最小化。用于误差最小化的这种技术可以被认为是将模型(由网络表示)拟合到训练数据。可以定义用于量化误差的函数(例如，在回归技术中使用的平方误差函数)。通过误差最小化，可以开发能够识别物体(例如，椅子或机器人)的第一神经网络，并且可以开发能够确定物体的方位角的第二神经网络。当训练第二神经网络以识别方位角时，因为方位角的误差是周期性的(具有0到360°范围内的值)，所以周期性损失函数，如(min(|Delta_error-360|,|360-Delta_error|)²)可用于训练神经网络。在神经网络开发期间也可以考虑其他因素。例如，模型可能过于紧密地尝试拟合数据(例如，将曲线拟合到整体函数的建模降级的程度)。神经网络的这种过度拟合可能在模型训练期间发生，并且可以实施一种或多种技术以减少其影响。

可以实现一种或多种技术，用于根据从训练图像计算的数据训练识别模块。例如，识别模块的神经网络可以通过从计算的数据定义成本函数来进行训练。通常，成本函数可以被视为提供一种与最优解决方案相比的解决方案的措施。对于采用监督学习的机器学习，可以考虑成本函数来辅助输出和目标之间的映射(例如，通过最小化误差)。实现无监督学习时，可以定义成本函数(例如，作为数据的函数)并进行最小化以提供输出值。涉及人工神经网络训练的技术也可以采用涉及成本函数的技术。例如，成本函数可以相对于函数的参数被处理(例如，计算导数)，以确定输出值。可以将正则化分量添加到成本函数中以抵消函数的过度拟合。为了帮助机器学习，成本函数提供成本和导数。

通常，为准备机器学习系统(例如，图1中的识别模块122)，执行一系列训练循环。一旦训练完成，系统可用于检测图像中的物体和物体的方位角。

深度机器学习可以用于识别模块122，其中一组算法试图通过使用具有复杂结构的、或由多个非线性变换组成的模型架构，来模拟数据中的高级抽象。这样的深度学习技术可以被看作为是基于数据的学习代表。深度学习技术可以被看作为使用多层非线性处理单元的级联来进行特征提取和变换。下一层使用前一层的输出作为输入。算法可以是有监督的、无监督的、有监督的和无监督的组合。该技术是基于对多级特征或数据代表(例如，移动清洁机器人的特征)的学习。多层非线性处理单元以及监督学习或无监督学习所述代表可以在每一层被采用，其中这些层形成从低级到高级特征的层级。通过采用这样的层，多个参数化变换被用作为从输入层到输出层的数据传播。

其他实施例也在权利要求的范围内。

Claims (30)

1.一种移动清洁机器人，其特征在于，所述移动清洁机器人包括：

清洁头，所述清洁头被配置为清洁环境中的地板表面；

至少一个相机，所述至少一个相机具有在地板表面上方延伸的视野，其中所述至少一个相机被配置为捕获图像，所述图像包括地板表面上方的所述环境的部分；

识别模块，所述识别模块被配置为基于由所述至少一个相机捕获的所述图像来识别所述环境中的物体，其中所述识别模块至少部分地通过使用由所述至少一个相机捕获的所述图像来进行训练；

存储装置，所述存储装置被配置为存储环境的地图；以及

控制模块，所述控制模块被配置为使用地图控制所述移动清洁机器人在所述环境中导航，并且考虑到由所述识别模块所识别的物体，操作所述清洁头以执行清洁任务。

2.根据权利要求1所述的移动清洁机器人，其特征在于，所述识别模块包括神经网络，所述神经网络至少部分地使用由所述至少一个相机捕获的图像进行训练。

3.根据权利要求2所述的移动清洁机器人，其特征在于，所述神经网络在所述移动清洁机器人在初始时间开始捕获所述环境的图像之前进行预训练，以识别属于预定物体组的物体，所述识别模块被配置为使用由所述至少一个相机捕获的所述环境的图像来更新所述神经网络，并且更新的神经网络被配置为比预训练的神经网络更准确地识别所述环境中的物体。

4.根据权利要求1所述的移动清洁机器人，其特征在于，所述控制模块被配置为响应于所述识别模块识别特定物体而执行特定清洁模式，其中所述清洁模式包括深度清洁模式或非接触式清洁模式中的至少一种。

5.根据权利要求1所述的移动清洁机器人，其特征在于，所述识别模块被配置为，对于阻碍所述移动清洁机器人在所述环境中移动的多个物体中的每一个物体，基于在一段时间内捕获的所述物体的图像，将所述物体分类为不经常移动的半永久性障碍或频繁移动的非永久性障碍，以及

所述控制模块被配置为，考虑由所述识别模块识别的每个所述物体是半永久性障碍还是非永久性障碍，以操作所述清洁头执行清洁任务。

6.根据权利要求5所述的移动清洁机器人，其特征在于，所述控制模块更新地图以存储关于多个位置的信息，其中对于每个位置，所述地图存储关于(i)在该位置是否存在半永久性障碍，(ii)在该位置是否存在的非永久性障碍，或(iii)在该位置出现非永久性障碍的频率中的至少一项信息。

7.根据权利要求5所述的移动清洁机器人，其特征在于，所述存储装置存储关于至少一些非永久性障碍中的每一个障碍，移动清洁机器人在遇到非永久性障碍时应如何响应的用户偏好的信息。

8.根据权利要求7所述的移动清洁机器人，其特征在于，所述控制模块被配置为在一个位置处遇到非永久性障碍并且确定所述存储装置并不具有关于所述移动清洁机器人在遇到该所述非永久性障碍时应如何响应的用户偏好的信息时，向用户发送请求关于如何应对非永久性障碍的存在的指示的通知。

9.根据权利要求8所述的移动清洁机器人，其特征在于，所述通知包括多个用户可选择的选项，其包括下述中的至少一项：(i)机器人前往其他位置并在预定时间量后返回所述位置的选项，(ii)在下一个清洁进程中在所述位置处执行延长清洁任务的选项，(iii)移动非永久性障碍的选项，或(iv)选择用于所述位置或包含所述位置的区域的非接触模式的选项，其中非接触模式表示机器人被控制为不会碰到位于该位置或包含所述位置的区域的地面上的任何物体。

10.根据权利要求1所述的移动清洁机器人，其特征在于，所述识别模块被配置为识别所述环境中的一个或多个个人的存在，并且所述控制模块被配置为控制所述移动清洁机器人在所述环境中导航，并且考虑到一个或多个个人的存在执行清洁任务。

11.根据权利要求10所述的移动清洁机器人，其特征在于，所述控制模块被配置为执行以下的至少一项：

(i)在检测到房间的门关闭以及自上次清洁进程以来未在所述环境中检测到个人存在后，跳过清洁所述房间直至下一次清洁进程，或

(ii)在检测到房间的门在第一时间点关闭并且自所述第一时间点以来在所述环境中检测到一个或多个个人的存在后，在第二时间点返回检查所述房间的门是否打开，并且在确定所述房间的门打开时，在所述房间中执行清洁任务，所述第二时间点在所述第一时间点的一段时间之后。

12.根据权利要求1所述的移动清洁机器人，其特征在于，所述识别模块被配置为识别所述环境中的门，以及所述控制模块被配置为基于所述移动清洁机器人遇到的每个门的打开或关闭状态来安排清洁任务。

13.根据权利要求12所述的移动清洁机器人，其特征在于，所述控制模块被配置为：

在识别到门关闭后，控制所述移动清洁机器人导航到另一个区域以在所述另一个区域执行清洁任务，

在一段时间后，返回检查所述门是否打开，并在确定所述门打开后，进入与所述门相关的门口后面的区域，并在所述门口后面的区域执行清洁任务。

14.根据权利要求12所述的移动清洁机器人，其特征在于，所述控制模块被配置为在识别到门关闭时执行以下项目中的至少一个：(i)发送消息以请求帮助打开所述门，或者(ii)发送消息指示因为所述门是关闭，所以所述门口后面的区域尚未清洁。

15.根据权利要求12所述的移动清洁机器人，其特征在于，所述控制模块被配置为在识别到门打开时保持与所述门的距离，以避免当在所述门附近导航时撞到所述门。

16.根据权利要求1所述的移动清洁机器人，其特征在于，所述移动清洁机器人包括学习模块，所述学习模块被配置为基于由所述至少一个相机在一段时间内捕获的图像来确定所述环境中的人流量模式。

17.根据权利要求16所述的移动清洁机器人，其特征在于，所述控制模块被配置为考虑所述区域处的人流量模式，安排要在所述区域处执行的清洁任务。

18.根据权利要求17所述的移动清洁机器人，其特征在于，所述控制模块被配置为在与其他时间段相比所述区域中的人流量较少的时间段内，安排在所述区域执行清洁任务。

19.根据权利要求16所述的移动清洁机器人，其特征在于，所述控制模块被配置为操作所述清洁头在具有较高人流量的第一区域执行比具有较低人流量的第二区域更彻底的清洁任务。

20.根据权利要求1所述的移动清洁机器人，其特征在于，所述识别模块被配置为识别属于预定宠物组的宠物，所述控制模块被配置为：

在识别出宠物位于第一位置时，与所述宠物保持一定距离并导航到远离所述第一位置的第二位置，并在所述第二位置执行清洁任务，以及

在一段时间之后，检查所述宠物是否已离开所述第一位置，并且在确定所述宠物已离开所述第一位置时，操作所述清洁头在所述第一位置或所述第一位置附近执行清洁任务。

21.一种移动清洁机器人，其特征在于，所述移动清洁机器人包括：

至少一个传感器，所述至少一个传感器用于获取环境相关的信息；

识别模块，所述识别模块被配置为基于所述至少一个传感器提供的信息识别所述环境中的物体；

存储装置，所述存储装置被配置为存储所述环境的地图；和

控制模块，所述控制模块被配置为：

识别位置随时间变化的物体；

基于关于至少一些物体的随时间变化的信息，确定用于所述环境中的清洁任务的计划表，以及

控制所述移动清洁机器人使用地图在所述环境中导航并根据所述计划表执行所述清洁任务。

22.根据权利要求21所述的移动清洁机器人，其特征在于，所述至少一个传感器包括至少一个被配置为捕获所述环境的图像的相机，并且所述识别模块被配置为基于所述至少一个相机捕获的所述环境的图像来识别物体。

23.根据权利要求22所述的移动清洁机器人，其特征在于，所述识别模块包括神经网络，所述神经网络通过使用所述环境中的多个物体的图像而被训练，所述移动机器人在执行所述清洁任务的过程中在所述环境中行进时捕获所述物体的图像，以及所述神经网络通过使用新捕获的图像而被更新。

24.根据权利要求22所述的移动清洁机器人，其特征在于，所述识别模块包括被预训练以识别属于预定物体组的物体的神经网络，所述移动机器人在执行所述清洁任务的过程中在所述环境中行进时，所述移动清洁机器人捕获所述物体的图像，所述神经网络通过使用新捕获的图像被更新，并且更新的神经网络被配置为比预训练的神经网络更准确地识别所述环境中的物体。

25.根据权利要求21所述的移动清洁机器人，其特征在于，所述识别模块被配置为识别所述环境中的门，并且所述控制模块被配置为基于每个所述门的打开或关闭状态来确定所述清洁任务的计划表。

26.根据权利要求21所述的移动清洁机器人，其特征在于，所述地图包括关于所述环境中的物体的随时间变化的信息，其包括对于多个位置中的每一个位置所述物体处于所述位置的可能性的统计信息。

27.根据权利要求21所述的移动清洁机器人，其特征在于，所述至少一个传感器包括至少一个被配置为捕获所述环境的图像的相机，所述识别模块被配置为基于由所述至少一个相机提供的信息识别所述环境中的各个区域，并且对于具有不同的特征的至少两个不同区域，基于所述不同区域的不同特征有区别地执行清洁任务。

28.根据权利要求21所述的移动清洁机器人，其特征在于，所述识别模块被配置为基于所述至少一个传感器提供的信息确定所述机器人是位于餐厅、厨房、卧室还是浴室，并分别执行为所述餐厅、厨房、卧室、或浴室设计的清洁任务。

29.根据权利要求21所述的移动清洁机器人，其特征在于，所述识别模块被配置为基于所述至少一个传感器提供的信息识别餐桌或餐椅中的至少一个，所述控制模块被配置为控制所述移动清洁机器人将餐桌或餐椅的至少一个的附近的区域清洁得比在电视机附近的区域更彻底。

30.一种用于操作移动清洁机器人的方法，其特征在于，所述方法包括：

通过使用所述移动清洁机器人上的一个或多个相机，捕获包括地板表面上方的环境的部分的图像；

通过使用识别模块；基于捕获的图像识别所述环境中的物体，其中至少部分地使用先前所述捕获的图像来训练所述识别模块；

生成所述环境的地图；以及

使用所述地图控制所述移动清洁机器人在环境中导航并且考虑到由所述识别模块所识别的物体，操作清洁头以执行清洁任务。