CN110785969B - 用于绘制、控制和显示设备状况的方法、系统及设备 - Google Patents

Abstract

一种操作用户终端的方法，包括响应于移动机器人对操作环境的导航而接收针对操作环境的占用数据，以及基于占用数据来显示操作环境的视觉表示。该方法还包括接收识别在操作环境本地的多个电子设备及其相应操作状态的信息，以及用电子设备在操作环境中的相应空间位置的视觉指示以及电子设备的相应操作状态的状况指示来填充操作环境的视觉表示。还讨论了用于基于电子设备的相应空间位置和操作环境的相对空间上下文来控制电子设备的相关方法。

Description

用于绘制、控制和显示设备状况的方法、系统及设备

技术领域

本公开涉及连接设备以及用于其互操作的系统和方法。

背景技术

一段时间以来，家用电器的连接性(包括与互联网和远程客户端的无线连接)已被考虑在内。术语“物联网”(IoT)代表了一种想法，即，各种家用物品都可以连接到公共互联网。一旦被连接，此类物品就可以向服务器和客户端设备报告各种数据。例如，“智能”灯泡可以连接到家用WLAN(无线局域网)。每个灯泡可以具有微处理器，存储器，检测或解释状况、电力和无线连接的一些装置。使用这些部件，灯泡可以报告其状况、可以被轮询等。

IoT的概念通常被认为有别于家庭连接(例如，连接的计算机、电缆盒、媒体设备等)，因为IoT设备通常不能包括足够的计算资源或通信来有意义地连接到公共互联网。常规的冰箱无法连接到互联网；作为IoT设备的这一相同的设备将包括计算、传感器和通信硬件以及足够的软件，以成为可在远程和本地寻址的实体；期望这个互联网冰箱可以报告其各种状态(功耗等)并响应远程命令(升高或降低内部温度)。

家用移动机器人也可以成为IoT设备。以一些方式，家用移动机器人可以被视为这个集合中的独特物种。特别地，家用移动机器人的自主性可以使其与其它电器区分开，其它电器不会在不可预测和变化的环境条件下运行，也无法基于数十或数百个传感器输入做出自主决策，以便实现任务完成。例如，洗碗机(甚至是IoT洗碗机)对其内容一无所知，并运行与控制马达和泵的简单脚本等效的操作，可能会被简单的堵塞或其它传感器打断。相反，吸尘机器人在执行任务过程中可以以多种方式检测其自身的状态，并且可以灵活地逃离家庭中充满挑战的情况，并从事预测和计划活动。照此，将家用移动机器人的自主行为与IoT设备功能性集成在一起可能会遇到挑战。

发明内容

根据本公开的一些实施例，一种操作用户终端的方法包括：响应于移动机器人对操作环境的导航，接收针对操作环境的占用数据；以及基于占用数据来显示操作环境的视觉表示。该方法还包括：接收识别在操作环境本地的多个电子设备及其相应操作状态的信息；以及用电子设备在操作环境中的相应空间位置的视觉指示以及电子设备的相应操作状态的状况指示来填充操作环境的视觉表示。该方法可以通过来自用户终端的至少一个处理器的指令或响应于该指令而执行。

在一些实施例中，该方法还可以包括经由用户界面接收指定时间的输入，并且在视觉表示中显示的相应操作状态可以与对应于由输入指定的时间的时间数据关联。指定的时间可以是一分钟、一小时、一天、一周等。

在一些实施例中，该方法还可以包括经由用户界面显示在视觉上表示时间范围的用户界面元素，并且可以响应于对用户界面元素的操纵来接收指定时间的输入。时间范围可以包括过去、现在和将来时间，并且可以同样地响应于用户输入而指定。

在一些实施例中，用户界面元素可以是表示时间范围的条形元素和响应于操纵而沿着条形元素在相应位置处显示的滑块元素。

在一些实施例中，时间数据可以包括过去、现在或将来时间数据。视觉表示中显示的相应操作状态可以是与过去或现在时间数据关联的实际操作状态，或者可以是与将来时间数据关联的预期操作状态。

在一些实施例中，状况指示可以基于电子设备中的两个或更多个电子设备的相应空间位置来识别其预期操作状态之间的冲突。

在一些实施例中，指定时间的输入可以是时间范围，并且可以经由用户界面来显示电子设备中的一个或多个电子设备在由用户输入指定的时间范围内的实际和/或预期操作状态的表示。

在一些实施例中，识别多个电子设备的信息可以是由移动机器人的一个或多个定位传感器检测到的定位数据、由移动机器人的一个或多个无线接收器获取的无线通信信号覆盖数据、由一个或多个网络元件检测到的网络数据，和/或经由用户终端的用户界面接收的用户选择数据。

在一些实施例中，电子设备中的一个或多个电子设备可以是缺乏网络接口的非连接设备。

在一些实施例中，填充操作环境的视觉表示可以包括确定电子设备在操作环境中的相应空间位置。可以基于响应于电子设备在操作环境中的导航而由移动机器人的至少一个定位传感器检测到的定位数据和/或由移动机器人的至少一个无线接收器获取的无线通信信号来确定电子设备的相应空间位置。

在一些实施例中，填充操作环境的视觉表示可以包括：响应于显示操作环境的视觉表示，经由用户界面接收指定电子设备的相应空间位置的相应输入。

在一些实施例中，可以基于电子设备中的一个或多个电子设备的相应空间位置来自动生成用于控制其操作的条件指令。例如，电子设备中的一个或多个电子设备可以是照明设备，并且条件指令可以基于其相应空间位置与操作环境中的自然光源的接近度以及预期或检测到的由自然光源提供的光量来指定照明设备的激活。作为另一个示例，电子设备中的一个或多个电子设备可以是基于运动的警报传感器，并且条件指令可以基于移动机器人在基于运动的警报传感器的相应空间位置处的预定操作时间来指定基于运动的警报传感器的停用。

在一些实施例中，视觉指示可以是表示电子设备的相应图标，并且状况指示可以是相应图标的图形特点。

根据本公开的一些实施例，一种用户终端包括至少一个接收器、用户界面、耦接到至少一个接收器和用户界面的处理器以及耦接到处理器的存储器。存储器包括其中存储计算机可读程序代码的非暂态计算机可读存储介质，该计算机可读程序代码由处理器能够运行来执行操作。操作包括：响应于移动机器人对操作环境的导航，经由至少一个接收器来接收针对操作环境的占用数据；以及基于占用数据，经由用户界面来显示操作环境的视觉表示。操作还包括：经由至少一个接收器，接收识别在操作环境本地的多个电子设备及其相应操作状态的信息；以及用电子设备在操作环境中的相应空间位置的视觉指示以及电子设备的相应操作状态的状况指示来填充操作环境的视觉表示。

根据本公开的一些实施例，一种操作计算设备的方法包括：响应于移动机器人对操作环境的导航，接收针对操作环境的占用数据；以及基于占用数据将在操作环境本地的电子设备与该操作环境中的相应空间位置关联。该方法还包括向电子设备中的一个或多个电子设备传输控制信号以基于与其关联的相应空间位置控制其操作。该方法可以通过来自计算设备的至少一个处理器的指令或响应于该指令而执行。

在一些实施例中，占用数据可以指示操作环境中的房间，并且关联还可以包括基于占用数据来识别操作环境中的房间的相对空间上下文。向电子设备中的一个或多个设备传输控制信号还可以基于对应于与其关联的相应空间位置的房间的相对空间上下文。

在一些实施例中，关联还可以包括基于对应于房间中的同一个房间和/或房间中的连续房间的、与电子设备关联的相应空间位置将电子设备分组为相应子集。向电子设备中的一个或多个电子设备传输控制信号可以基于其分组。

在一些实施例中，向电子设备中的一个或多个电子设备传输控制信号还可以基于对应于与电子设备关联的相应空间位置的房间的相应类型。

在一些实施例中，该方法还包括经由计算设备的至少一个接收器接收指示电子设备中的至少一个其他电子设备的操作的数据。电子设备中的至少一个其他电子设备的相应空间位置可以与电子设备中的一个或多个电子设备的相应空间位置相邻，并且向电子设备中的一个或多个电子设备传输控制信号还可以基于电子设备中的至少一个其他电子设备的操作。

在一些实施例中，电子设备中的至少一个其他电子设备可以是在相对空间上下文中与电子设备中的一个或多个电子设备的相应空间位置相邻的房间之一中的运动传感器。该方法还可以包括：响应于在相对空间上下文中与其相邻的房间之一中的运动传感器的操作，预测在对应于一个或多个电子设备的相应空间位置的房间之一中的用户的存在，并且控制信号的传输可以响应于该预测。

在一些实施例中，电子设备中的至少一个其他电子设备可以是在相对空间上下文中与电子设备中的一个或多个电子设备的相应空间位置相邻的房间之一中的环境传感器。该方法还可以包括：响应于环境传感器的操作，确定房间之一中的环境条件，并且向电子设备中的一个或多个电子设备传输控制信号可以基于与其相应空间位置相邻的所述房间之一中的环境条件。

在一些实施例中，方法还可以包括响应于电子设备与相应空间位置的关联而自动生成控制电子设备中的一个或多个电子设备的操作的条件指令，以及向电子设备中的一个或多个电子设备传输控制信号还可以基于由条件指令指定的一个或多个条件的发生。

在一些实施例中，方法还可以包括经由计算设备的至少一个接收器接收指示电子设备的相应操作状态的数据以及与相应操作状态关联的时间数据。时间数据可以包括过去、现在或将来时间数据，并且相应操作状态可以是与过去或现在时间数据关联的实际操作状态或者与将来时间数据关联的预期操作状态。电子设备的相应操作状态以及与相应操作状态关联的时间数据可以存储在数据库中。

根据本公开的一些实施例，一种计算设备包括至少一个发送器、耦接到该至少一个发送器的处理器以及耦接到处理器的存储器。存储器包括非暂态计算机可读存储介质，该介质在其中存储有由处理器能够运行以执行包括以下操作的计算机可读程序代码：响应于移动机器人对操作环境的导航而接收针对操作环境的占用数据，以及基于占用数据而将在操作环境本地的电子设备与操作环境中的相应空间位置关联。操作还包括经由至少一个发送器向电子设备中的一个或多个电子设备传输控制信号，以基于与其关联的相应空间位置来控制其操作。

在一些实施例中，计算设备可以是移动机器人或其组件，并且占用数据可以由移动机器人的至少一个定位传感器检测。

通过阅读附图和随后的实施例的详细描述，本领域普通技术人员将认识到本公开的进一步的特征、优点和细节，包括以上实施例的任何和所有组合，这种描述仅仅是说明本公开。

附图说明

图1A是表示根据本公开实施例的系统的示意图。

图1B是图示根据本公开实施例的包括安装在其中的图1A的系统的操作环境的示意图。

图2A和2B分别是根据本公开实施例的移动机器人的顶部和底部透视图，其被配置为在图1A的系统中操作。

图2C是表示根据本公开实施例的移动机器人的示意图，其被配置为在图1A的系统中操作。

图3是表示根据本公开实施例的计算设备的示意图，其被配置为在图1A的系统中操作。

图4A是表示根据本公开实施例的用户终端的示意图，其被配置为在图1A的系统中操作。

图4B是根据本公开实施例的包括被配置为显示操作环境的视觉表示并在其中控制连接设备的用户界面的用户终端的平面图。

图5是图示根据本公开实施例的用于显示指示设备的相对空间位置及其操作状态的操作环境的视觉表示的示例操作的平面图。

图6是图示根据本公开实施例的用于控制连续的居住空间中的连接设备的示例操作的平面图。

图7是图示根据本公开实施例的用于预测地控制连接设备的示例操作的平面图。

图8是图示根据本公开实施例的用于基于相邻空间中的电子设备的操作状态来控制连接设备的示例操作的平面图。

图9是图示根据本公开实施例的可以由用户终端的至少一个处理器执行或响应于来自用户终端的至少一个处理器的指令的操作的流程图。

图10是图示根据本公开实施例的可以由计算设备的至少一个处理器执行的操作的流程图。

图11A-11E是图示根据本公开实施例的用于显示操作环境的视觉表示的示例操作的平面图，该操作环境指示设备的相对空间位置及其操作状态。

具体实施方式

本公开的实施例可以源自以下认识：移动机器人的自主功能可以基于其独立的定位能力而呈现出与IoT和/或其它本地设备功能集成的独特优势。特别地，在导航操作环境时(例如，在家庭操作环境中执行清洁任务或巡逻任务时)由移动机器人收集的占用数据可以用于直观地指示在操作环境的相对空间范围内的其它电子设备的相应空间位置和操作状态。电子设备可以包括网络连接设备和非连接设备，并且可以由不同的制造商生产和/或根据包括不同通信协议的不同标准进行操作。操作环境的视觉表示可以是平面图，该平面图用指示电子设备的相应位置和操作状态的图标填充，从而提供设备位置和操作的“全家”快照。还可以响应于用户请求而存储和呈现电子设备的历史和预定操作状态信息，以允许查看实际的过去或现在操作状态和/或预期的将来操作状态。如由本公开实施例所提供的对设备空间位置和操作状况的理解还可以允许基于连接电子设备的相应空间位置、它们所在的操作环境区域的相对空间上下文和/或操作环境相邻区域中的操作条件来控制这些电子设备。

移动机器人可以是指包括处理器、存储器和驱动系统的任何设备，用于基于多个传感器输入导航可变的环境条件并做出自主决策。本文描述的移动机器人可以包括机器人清洁器以及自主巡逻机器人。一些此类自主巡逻机器人可以包括伸缩桅杆，其上安装有一个或多个传感器元件或这些传感器元件以其它方式可操作地与该伸缩桅杆关联。

具有网络功能的电子设备(也称为“连接设备”)可以指包括或耦接到网络接口的任何设备，用于经由有线或无线的个人、本地和/或广域网传输和/或接收有线或无线通信信号。此类连接设备可以包括但不限于网络控制器、传感器、终端和/或IoT设备。此类连接设备的其它示例可以包括但不限于电灯/灯泡、门/窗传感器、门锁、扬声器、恒温器、环境传感器(温度、湿度、空气质量、照明水平)、百叶窗、语音接口设备、监视相机等，它们具有与网络接口的集成或其它连接。无线通信信号可以包括射频信号，包括但不限于Wi-Fi信号、蓝牙信号、ZigBee信号和/或Z波信号和/或光信号。此类电子设备可以包括或可以不包括用以有意义地连接到公共互联网的足够的计算资源或通信。参考本文描述的操作环境所描述的其它电子设备可能缺乏网络接口，并且可以被称为“非连接设备”。

参考图1A、1B和2-4A，根据本公开实施例的系统100被安装在关联的居住结构10中。结构10可以是房屋或住宅，包括但不限于单户住宅、多户住宅(例如，复式、公寓、共管公寓等的单元)、活动房或商业居住空间(例如，办公室或工作室)。结构10可以定义居住空间或内部空间20，在本文中也称为操作环境。居住空间20可以(在物理上、在空间上和/或在功能上)细分为一个或多个既定的区(图示为区A-C)。在一些实施例中，区可以与居住结构10中的房间的区域对应，诸如区A是厨房，区B是客厅，区C是卧室。既定的区A-C可以由墙壁隔开，或者如图所示，可以是具有多个相邻房间的开放概念区域，表示一个较宽的连续居住空间，而无需墙壁分隔。结构10具有窗户30(具有连接到控制器126的百叶窗30A)、门32、灯具34和可燃灯34A(耦接到控制器128)、TV(电视)36(或其它电子装备)，以及加热、通风和空调系统(HVAC)40(耦接到控制器127)。用户P可以占用居住空间20。

参考图1A和1B，系统100包括节点，这些节点包括启用网络的移动机器人200、一个或多个无线接入点(WAP)164、将不同的联网方法互连以构成局域专用网络160的网关和/或集线器110，该局域专用网络160互连启用网络的或“连接”电子设备(包括IoT设备)120、122、124、启用网络的自动化控制器设备126、127、128、也可以是启用网络的自动化控制器设备的机器人坞140，以及可以组合多个此类功能的产品。专用网络160包括一个或多个无线接入点(WAP)164、具有组合的无线范围以充分覆盖由居住结构10界定的全部或大部分居住空间20或周围的网关或集线器110。在一些实施例中，网络节点110、126、127、128、200、140、142、144和150中的一个或多个网络节点可以定义连接的计算设备(诸如图3的计算设备300)，其被配置为基于一个或多个其它连接电子设备30A、34/34A、36、40、120、122、124、126、127、128、200、140、142、144和/或与其连接的电子设备在操作环境20中的相应空间位置来控制它们的操作。

连接到专用网络160的联网设备可以通过WAN接口170A及其关联的WAN连接170B，通过路由器/防火墙162到达公共网络170以与远程管理服务150通信。例如，远程管理服务150可以是云计算设备，公共网络170可以是互联网，WAN接口170A可以是DSL、DOCSIS或蜂窝调制解调器，并且其关联的WAN连接170B可以由互联网服务提供商(ISP)提供。路由器162、WAP 164和/或调制解调器170A可以以各种配置被集成到单个设备中。本地用户终端142可以(有线或无线地)被连接到专用网络160。远程用户终端144可以经由公共网络170连接到远程服务器150和/或专用网络160。例如，本地用户终端142、144可以是PC、智能电话或平板计算机。集线器110、机器人200、控制器126、127、128和用户终端142、144均可以通过在目标设备中实施的公共网络服务(例如，通过客户端设备上的web浏览器在本地网络上呈现UI的web服务器)或者经由专用客户端(例如，可下载或预安装的应用软件app)被访问，从而实现在节点110、126、127、128、200、140、142、144和150之间的通信和控制，如本文所述。如本文讨论的网络实体是在网络上注册的机器和/或控制器，被指派了用于发送和接收通信信号的唯一地址，并且可以对同一网络或连接的网络上的其它网络实体机器和/或控制器可用。

在一些实施例中，“同一网络”可以指在路由网络实体162后面的私有IP(互联网协议)子网上的私有地址集合，该路由网络实体162在公共互联网和专用网络之间提供网络地址转换(NAT)。连接到专用网络的每个网络实体可以通过观察其它激活的网络实体的网络通信和/或扫描专用网络的可能IP子网来推断它们的网络地址以寻找响应。一些网关/集线器提供了可以枚举与该网关/集线器关联和/或可通过该网关/集线器到达的设备的网络服务。这些技术产生每个激活的设备的IP地址和/或其MAC(介质访问控制)地址中的一个或两者。地址解析协议(ARP)网络服务可以将一种类型的地址映射到另一种类型的地址。在一些实施例中，在网络实体(诸如移动机器人200)的处理器上运行的例程可以收集其它网络实体(诸如连接设备120、122、124、126，127、128)的网络地址，并识别这些网络实体的类型、制造商和/或型号，以及它们在居住结构10中的相对空间位置。

机器人坞140可以包括电源或连接到电源，并且包括充电器，当移动机器人200有效地对接在机器人坞140上时，该充电器可操作以便为移动机器人200的电池充电。坞140可以是疏散站，其包括可致动以从机器人200清空碎屑的电动容器。在一些实施例中，坞140被连接(有线或无线地)到专用网络160，以使得能够或促进从机器人200到专用网络160和/或从专用网络160到移动机器人200的数据传输。机器人坞140因此可以被认为是自动化控制器设备。在一些实施例中，机器人坞140通过无线手段与移动机器人200直接通信，该无线手段包括但不限于蓝牙、近场感应、IR和/或无线电通信信号。每个连接设备120、122、124、126、127、128、140、142、144可以包括无线收发器(诸如Wi-Fi收发器)，以经由WAP 164与集线器110和/或专用网络160通信。虽然通过示例示出了特定的连接设备30A、34/34A、36、40、110、120、122、124、126、127、128、140、142、144、150、200，但是更少或更多的连接设备可以包括在操作环境10中并且可以与专用网络160进行通信。

移动机器人200可以是任何合适的机器人以及关联的(一个或多个)计算设备，并且应该认识到的是，在根据本公开实施例的移动机器人中，并非本文描述的所有组件、特征和功能都是必需的。参考图2A-2C，示例移动机器人200可以包括机架210、控制器220、存储器222、电池224、电池充电器226、人机界面(HMI)228、驱动系统230、制图/导航系统240、服务操作系统242(在本文中也称为“清洁系统”和“清洁头”)、无线通信系统250、IR发射器260和环境传感器270A-H、垃圾箱242A(以存储通过清洁操作收集的碎屑)、箱位(bin level)传感器242B、污物提取传感器242C(以检测通过清洁操作收集的碎屑的特性密度)、指示灯274A、音频换能器274B和清洁模式选择开关或按钮274C。

环境传感器270A-270H可以包括安装在移动机器人200的顶表面上的相机270B，如图2A的顶部透视图所示。相机270B可以用于导航机器人200并获取图像以用于其它操作用途。在一些实施例中，相机270B是视觉同步定位与地图构建(VSLAM)相机，并且用于检测操作环境中的特征和地标并基于其来构建占用图。

如图2B的底部透视图所示，移动机器人200还可以包括保险杠104、悬崖传感器195A-195D、安装或以其它方式定位在移动机器人壳体106的外围的边缘刷111。壳体106在图2A-2B中示为具有方形的前部，保险杠104安装在该前部上；但是，在其它实施例中，壳体可以具有圆形或环形形状。脚轮196可以在移动机器人200的下侧设置。在一些实施例中，脚轮196可以被定位在移动机器人200与清洁头242相反的一端，驱动辊/轨道232A、232B在它们之间，使得清洁头242是悬臂的布置。移动机器人200还可以包括面向下方或面向地面的相机197。在一些实施例中，移动机器人200一般可以以地板清洁机器人和/或如美国专利No.7,024,278和美国公开申请No.2007/0250212中所述的机器人的方式配置或包括来自这些机器人的特征，所述专利和申请通过适当修改将其公开内容通过引用并入本文。在其它实施例中，移动机器人200一般可以被配置为自主巡逻机器人，其包括伸缩桅杆，该伸缩桅杆上安装有与传感器元件270A-H和/或无线通信电路或系统250关联的一个或多个元件或该一个或多个元件以其它方式可操作地与该伸缩桅杆关联。

控制器220可以包括任何适当配置的一个或多个处理器。(一个或多个)处理器可以包括一个或多个数据处理电路，诸如可以并置或在一个或多个网络中分布的通用和/或专用处理器(诸如微处理器和/或数字信号处理器)。处理器被配置为执行存储在以下被描述为计算机可读存储介质的存储器222中的程序代码，以执行以上针对一个或多个实施例描述的一些或全部操作和方法。存储器222代表根据本公开一些实施例的一个或多个存储设备，其包含用于促进机器人操作的软件和数据。存储器222可以包括但不限于以下类型的设备：高速缓存、ROM、PROM、EPROM、EEPROM、闪存、SRAM和DRAM。因此，处理器与控制器200、存储器222、清洁系统242和驱动系统230通信。

驱动系统230可以包括用于主动地和可控制地使机器人200经过居住空间20的任何合适的机构或系统。根据一些实施例，驱动系统230包括可由控制器220操作的一个或多个辊、一个或多个轨道232A、232B和一个或多个板载(即，由移动机器人200携带)电动马达234(在本文中统称为“驱动器”或“驱动系统”)，以在操作环境10的地板上运送机器人200。

服务操作系统242在一些实施例中可以是可选的，并且可操作为在居住空间20中执行服务操作。根据一些实施例，服务操作系统242包括地板清洁系统，该地板清洁系统在机器人200经过空间20时清洁居住空间20的地板表面。在一些实施例中，服务操作系统242包括吸头和板载真空发生器以真空清洁地板。在一些实施例中，服务操作系统242包括末端执行器，诸如(但不限于)扫地或拖把机构，一个或多个旋转刷、辊，湿的或干的固定或摆动和/或振动布，或多层垫组件。

无线通信系统250包括无线通信收发器或模块252以及关联的天线254，以使机器人200与操作环境10中的各种其它联网设备120、122、124、126、127、128以及由构成专用网络160的WAP、网关和集线器所服务的网段之间能够进行无线通信，移动机器人200构成了该专用网络160的节点。例如，无线通信收发器或模块252可以是Wi-Fi模块。

在一些实施例中，机器人200可以使用窄带或宽带RF通信直接与坞140无线通信。例如，如果机器人200未配备与WAP 164兼容的发送器，那么机器人200可以与坞140通信，坞140可以进而将数据从机器人200中继到专用网络160上并转发到预期网络实体(诸如远程管理服务器150)。在一些实施例中，坞140包括网桥设备，该网桥设备接收并转换来自机器人200的RF信号，并将其以路由器支持的格式中继到路由器162，以递送到远程管理服务器150或专用网络160中的另一个设备。在一些实施例中，坞140包括采用网状拓扑的低功率网格数据网络，其中RF通信信号在移动机器人200与坞140之间从节点到节点中继。在这种情况下，联网设备120、122、124、126、127、128、140和范围扩展器模块(如果有的话；未显示)可以用作网格节点。同样，移动机器人200可以用作在坞140和其它节点(诸如启用网络的传感器设备120、122、124、126、127、128、140和范围扩展器)之间中继信号的节点。

所连接的计算设备300可以是任何合适的(一个或多个)计算设备、(一个或多个)计算机服务器或(一个或多个)云服务或它们的组合，并且将认识到的是，并非本文描述的所有组件、特征和功能都是在根据本公开实施例的(一个或多个)计算设备中所必需的。在一些实施例中，计算设备300可以是诸如移动机器人200之类的移动机器人或者移动机器人的组件。参考图3的示例，计算设备300包括一个或多个网络接口330、处理器电路(“处理器”)310和包含程序代码322的存储器320。网络接口330可以包括一个或多个网络发送器/接收器/收发器，其被配置为通过一个或多个有线和/或无线网络与任何关联的(一个或多个)可用服务器和/或数据储存库进行通信。处理器310可以包括一个或多个数据处理电路，诸如可以在一个或多个网络上并置或分布的通用和/或专用处理器(诸如微处理器和/或数字信号处理器)。处理器310被配置为执行存储器320(以下将其描述为计算机可读存储介质)中的程序代码322，以执行以上针对一个或多个实施例描述的操作和方法中的一些或全部。存储器320代表包含用于促进根据本公开一些实施例的操作的软件和数据的一个或多个存储设备。存储器320可以包括但不限于以下类型的设备：高速缓存、ROM、PROM、EPROM、EEPROM、闪存、SRAM和DRAM。

因此，图3的计算设备300图示了根据本文描述的一些实施例的硬件/软件架构，该硬件/软件架构可以用于生成用于操作环境中的连接设备和/或控制连接设备的视觉状况指示符。但是，将理解的是，本公开的实施例不限于这种配置，而是旨在涵盖能够执行本文描述的操作的任何配置。因此，使用相关方法和技术的任何适当组合，计算设备300可以更一般地表示具有向服务中的一个或多个连接设备30A、34/34A、36、40、120、122、124、126、127、128、140、142、144、200以及从这些设备接收、处理、增强、存储和传输数据或命令的能力的任何设备或设备网络。计算设备300还可以提供附加处理以支持具有与机器人200不同需求的其它客户端，诸如可视化和其它丰富的UI交互，以呈现在用户终端142、144上。在一些实施例中，本文中指派给计算设备300的功能还可以全部或部分地在机器人上本地执行，或者与通信中的一组机器人和/或服务器或其它计算设备协同/协调执行。

用户终端142、144可以是任何合适的(一个或多个)固定或移动计算设备(包括台式计算机、膝上型计算机和“智能电话”)，并且应该认识到的是，并非本文描述的所有组件、特征和功能都是根据本公开实施例的用户终端中必需的，并且可以更一般地由图4A中的用户终端400表示。参考图4A的示例，用户终端400被配置为通过多个有线和/或无线通信接口来传输和/或接收通信信号。例如，根据一些实施例的用户终端400的收发器440可以包括蜂窝通信模块、红外(IR)通信模块、全球定位系统(GPS)模块、WLAN模块、无线个人局域网(WPAN)模块(诸如蓝牙、Wi-Fi、ZigBee和/或Z-wave模块)，和/或其它类型的通信模块。

用户终端400的用户界面410包括显示器408，诸如液晶显示器(LCD)和/或有机发光二极管(OLED)显示器。用户界面410可以可选地在用户终端400的壳体上包括小键盘402或其它用户输入机构。在一些实施例中，显示器408可以设置触摸屏能力以替换和/或补充小键盘402。用户界面410还可以包括麦克风406和耳机/扬声器404。当耳机/扬声器404抵靠用户的头部放置时，壳体可以被设计为对用户的耳朵形成声密封。

小键盘402、显示器408、麦克风406、扬声器404和相机424可以耦接到处理器427，诸如可以被配置为控制用户终端400的操作的微处理器或微控制器。用户终端400还可以包括耦接到处理器427的收发器440和存储器428。其它电子电路系统(诸如WLAN通信接口、蓝牙接口、GPS接口、数字信号处理器等)也可以包括在用户终端400的电子电路系统中。

存储器428可以是通用存储器，其被用于存储用于处理器427的程序指令422以及诸如音频数据、视频数据、配置数据和/或其它可被处理器427存取和/或使用的数据之类的数据。存储器428可以包括非易失性读/写存储器、只读存储器和/或易失性读/写存储器。特别地，存储器428可以包括其中存储有基本操作系统指令的只读存储器、其中可以存储有可重用的数据(诸如配置信息、目录信息及其它信息等)的非易失性读/写存储器，以及其中可以存储有短期指令和/或临时数据的易失性读/写存储器。

收发器440包括发送器电路442、接收器电路444和调制解调器446，它们协作以经由天线阵列450A、450B向远程收发器传输和接收射频信号。在用户终端400和远程收发器之间传输的射频信号可以包括流量和控制信号(例如，针对传入的呼叫的寻呼信号/消息)二者，其用于建立和维持与另一方或目的地的通信。更特别地，与处理器427协作，收发器440可以被配置用于根据多种无线电接入和/或无线联网技术进行通信，包括(但不限于)蜂窝、WLAN(包括802.11)、WiMAX(微波接入的全球互操作性)、Wi-Fi、蓝牙、ZigBee和/或Z-wave。在根据本公开的实施例中，也可以使用其它无线电接入技术和/或频带。

再次参考图2C，移动机器人200可以包括定位电路，该定位电路构建基于度量和距离的墙壁和障碍物的图(例如，使用激光测距仪、声纳、雷达、三角测量、飞行或相位差计算)和/或自由空间的占用图(例如，可穿越的地面空间或物体或固定装置未占用的地面空间)。移动机器人200可以使用诸如扫描匹配、ICP(迭代最近点)和/或RANSAC(随机抽样共识)之类的技术将机器人定位在(一个或多个)图上。附加地或可替代地，移动机器人200可以包括定位电路，该定位电路在自由空间的占用图内(例如，使用相机或点云生成3D扫描仪，以及用于识别、存储和辨识自然或人工关键点、特征和/或地标的特征转换)构建特征、地标、基准和/或信标的指纹的、基于特征的星座图或拓扑图，并可以使用诸如VSLAM(基于视觉的/视觉同步定位与地图构建)之类的技术在这个占用图上定位机器人。在本文中，由移动机器人200的定位电路基于对环境的导航收集的数据一般被称为针对环境的占用数据。可以经由任何网络实体的用户界面由终端用户将用于唯一房间或区域(示为区1、区2、区3)的唯一标识与房屋房间类型或唯一房间标签(“客厅”)关联，或者可以通过辨识其中的地标或设备来自动确定。占用数据(可以在视觉上表示为操作环境的“平面图”)可以包括定义环境10的多个表面位置的数据(例如，通过像素)，每个表面位置具有与像素位置是否对应于被移动机器人200占用、遍历或未探索的表面位置相对应的值。

定位电路可以由来自移动机器人200的一个或多个传感器270A-270H的输入定义，该输入可以被控制器220用来在操作环境10中执行定位。更特别地，定位传感器270A-270H中的一个或多个被配置为检测来自位于操作环境10中的物体的传感器读数，并且控制器220被配置为基于由定位传感器270A-270H检测到的定位数据，参考被观察的物体(“物体”不仅包括包含可观察特征的物理物体，还包括由光学或其它方式可检测的表面特点形成的表面“物体”，诸如拐角、线、图案)确定移动机器人200的当前姿态(“姿态”包括绝对或相对位置以及可选地包括绝对或相对朝向)。也可以确定物体的姿态。移动机器人200还可以被配置为将机器人姿态(或位置)与房间标识符关联，该房间标识符具体地与被观察的物体或其在房间中固定的姿态或在房间的组件(墙壁、天花板、照明、门口、家具等)上可观察到的姿态关联，如占用图所指示的。

根据本公开的实施例，可以在用户终端上显示由移动机器人200的定位电路响应于操作环境的导航而收集的占用数据的视觉表示，以增强对在操作环境本地的一个或多个电子设备(诸如本文以示例的方式描述的连接设备30A、34/34A、36、40、110、120、122、124、126、127、128、140、200)的操作状态的认知和/或控制。图4B是根据本公开实施例的包括示例用户界面410的用户终端400的平面图，该示例用户界面410被配置为在其中指示操作状况和/或控制连接设备。

参考图4B，用户终端400的用户界面410被配置为显示占用图的视觉表示50，该占用图在本文也被称为平面图。平面图50例如基于由占用数据指示的区域之间是否存在物理边界来指示操作环境中的一个区域或房间相对于另一个区域或房间(示为小屋503、书房502、走廊501、餐厅504、厨房506和客厅507)的相对位置或空间上下文。房间名称/类型/标签可以由用户手动键入，或者可以基于其中物体或连接设备的辨识来自动确定。平面图50填充有图标30a、34a-34f和40a，这些图标表示在操作环境的边界内或本地的电子设备。图标30a、34a-34f和40a在平面图50上的放置指示电子设备相对于房间/区域的相应空间位置，而图标30a、34a-34f和40a的图形特点指示这些电子设备的相应操作状态。用户界面410还可以被配置为显示在操作环境本地的设备的列表420以及被配置为接收期望在用户指定的时间范围内的操作状态信息的用户指定时间的用户输入元素550，如下面参考图5更详细描述的。

图5-8是图示根据本公开一些实施例的用于基于电子设备在操作环境中的相对空间位置来显示和控制电子设备操作的操作的示意性平面图。通过示例的方式，主要参考显示和控制照明相关设备(诸如图1B的灯具34、可燃灯34A和百叶窗30A)的操作来描述和说明图5-8的一些实施例。但是，将理解的是，本公开的实施例不限于此，而是可以包括显示和/或控制在操作环境本地的其它电子设备的操作，包括但不限于灯/灯泡、门/窗传感器、门锁、扬声器、恒温器、环境传感器(包括但不限于温度、湿度、空气质量和照明水平传感器)、百叶窗、语音接口设备、监视相机等。

图5的平面图示出了根据本公开实施例的用于显示操作环境的视觉表示的示例操作，该视觉表示在视觉上指示设备的相对空间位置及其操作状态。更具体地，图5图示了用户终端(诸如用户终端142、144、400)的示例用户界面510，其显示操作环境(诸如图1A-1B的居住空间20)的视觉表示50。视觉表示被图示为平面图50，其上填充有指示在操作环境中的电子设备的相应空间位置和操作状态的图标30a、34a-34f、40a。在图5的示例中，由图标34a-34f表示的电子设备是连接的灯泡/灯具(诸如图1B的灯具34和/或可燃灯34A)，由图标30a表示的设备是连接的百叶窗(诸如图1B的百叶窗30A)，并且由图标40a表示的电子设备是连接的HVAC通风口(诸如图1B的HVAC系统40的通风口)。填充的平面图50提供了操作环境的视觉“快照”，其中图标30a、34a-34f、40a指示检测到的或用户指定的设备的位置和状态。用户界面510因此可以在视觉上指示全家操作模式，并确认由图标30a、34a-34f、40a表示的设备正在根据用户期望进行操作和/或协作。

可以自动地(即，无需人工干预)和/或响应于经由用户界面510的用户输入来用图标30a、34a-34f、40a填充平面图50。例如，执行提供用户界面510的应用的用户终端可以从一个或多个网络源接收识别操作环境中的电子设备(包括连接和非连接设备两者)和/或它们相应操作状态的信息，包括但不限于移动机器人200、集线器110、控制器120或其它连接设备。从而可以生成识别本地设备和/或操作状态的列表420。附加地或可替代地，可以经由用户界面(例如，经由在设备列表420中的手动输入)来接收识别设备和/或其操作状态的信息。同样，由图标30a、34a-34f、40a表示的设备的相应空间位置可以被自动确定(例如，根据由移动机器人收集的占用数据和/或无线信号覆盖数据)和/或响应于接收用户输入(例如，来自图4B的设备列表420的拖放输入)来确定。

图5的用户界面510还包括用户输入元素550，该用户输入元素550被配置为接收对时间的用户指定，期望在该时间中由图标30a、34a-34f和/或40a表示的设备的操作状态信息。在图5的示例中，用户输入元素550被示为时间滑块条，其被配置为接收将滑块元素551沿着条形元素555的长度操纵到相应位置的用户输入。条形元素555在视觉上表示时间范围，在该时间范围内由图标30a、34a-34f和/或40a表示的设备的操作状态信息已经被存储或可以以其它方式访问。沿着条形元素555的长度提供指示相应时间552、553、554(分别是过去、现在和将来时间)的标记。用户界面510被配置为响应于对滑块元素的操纵或其它用户输入而检测滑块元素551沿着条形元素550的长度的位置，用户终端被配置为基于滑块元素551沿着由条形元素555表示的时间范围的位置的对应关系而从该位置确定由用户输入指定的时间。用户界面510由此被配置为显示状况指示(本文也称为时间状况指示)，该状况指示表示由图标30a、34a-34f和/或40a表示的设备的操作状态，并与对应于由用户输入指定的时间的时间数据关联。

在一些实施例中，由用户输入元素550在视觉上表示的时间范围也可以由用户指定。例如，图5所示的条形元素555表示一天的时段，条形元素555的一端的标记552与“12am”对应，而条形元素555的另一端的标记554与“11:59pm”对应，由此，取决于滑块元素551沿着条形元素555的长度的相对位置，对滑块元素551的操纵导致在由条形元素555表示的一天之内的时间的显示(经由标记553)。图11A-11E图示了关于操作环境50中的电子设备的操作状态和操作状态互操作的示例信息，该信息可以响应于沿着被选择为表示一天的时间范围的条形元素555的长度对滑块元素551的实时操纵而显示。

在另一个示例中，可以选择条形元素555以表示一周的时间范围，其中在条形元素555的一端的标记552与“星期天”对应，在条形元素555的另一端的标记554与“星期六”对应，由此，取决于滑块元素551沿着条形元素555的长度的相对位置，对滑块元素551的操纵导致由条形元素555表示的一周中的一天(例如，星期一、星期二、星期三、星期四、星期五；经由标记553)的显示。将滑块元素551定位在连续的天之间(例如，在星期一和星期二之间)可以显示在该连续的天之间的一天中的时间(例如，下午12点)。日、周、月等的子部分可以类似地由条形元素555和滑块元素551沿着其长度的相对位置表示。更一般地，由用户输入元素550表示的时间范围可以是用户可选择的，并且沿着条形元素555对滑块元素551的操纵可以基于所选择的时间范围而显示不同的范围和时间测量单位(小时、天、周等)。

照此，用户界面510被配置为显示由图标30a、34a-34f和/或40a表示的设备的时间状况指示，与由用户经由用户输入元素550选择或以其他方式指定的时间相对应。这样的时间状况指示可以包括实际设备操作状况信息(基于设备实际的过去或现在操作，如先前记录或当前报告的)和/或预期的设备操作状况信息(基于设备的预定将来操作，如由用户所指定的)，这取决于滑块元素551的位置。实际和预期/预定的操作状态(以及与其关联的过去、现在或将来时间数据)可以由设备30A、34/34A、36、40本身和/或由与之耦接的连接的计算设备(诸如网络节点110、120、122、124、126、127、128、200、140、142、144和150中的一个或多个)连续地记录和更新，并且可以存储在可经由网络160和/或170由连接设备中的一个或多个访问的数据库中。例如，在一些实施例中，计算设备(诸如计算设备300)可以从一个或多个不同的源(包括但不限于集线器110、控制器120、移动机器人200或其它连接设备)接收指示电子设备的实际操作状态的数据(和关联的过去或现在时间数据)和/或预期操作状态的数据(和关联的将来时间数据)，并且可以在数据库中存储电子设备的相应操作状态以及与其关联的时间数据。指示操作状态的数据和关联的时间数据可以由计算设备请求(或“拉取”)，或者可以由与其通信的电子设备和/或网络源来报告(或“推送”)。

在一些实施例中，过去的时间状况指示可以包括但不限于以下信息的呈现：灯在过去何时/多长时间打开/关闭或者灯是否一直开着(例如如图11A中被示为照明设备34A的相应操作小时数，其基于在条形元素555的长度所表示的显示时段内的滑块元素551的相对位置而改变)；在哪里/何时检测到运动；设备是否按用户预定的执行；温度在一天中如何改变(例如，如由环境传感器的操作所指示的或者由恒温器设置的，如图11B中被示为相应温度，其在由条形元素555的长度表示的显示时段内与滑块元素551的相对位置对应地改变)；门或窗打开/关闭的(一个或多个)时间；门被上锁和开锁的时间；和/或来自移动机器人200上的传感器和/或在整个环境中定位的固定环境传感器的位置特定的温度、湿度和/或空气质量读数的绘图显示。此外，用户界面510可以被配置为将来自监视相机的记录的图像/视频显示为图50上的覆盖图1120，其与经由输入元素550选择的时间对应地改变，例如如图11C中所示。在实施例中，经由输入元素550选择的时间与由移动机器人200收集和存储的视频馈送中的时间戳关联，并且图像/视频与由安装到移动机器人200的监视相机在该选择的时间捕获的图像对应。而且，基于从连接的能量监视器设备接收的信息，用户界面510可以被配置为瞬时地或在给定的时间段上在视觉上表示设备的能量使用量(或房间的总量)，例如如图11D中被示为照明设备34A的操作的相应千瓦小时，其基于在由条形元素555的长度表示的所显示时段内的滑块元素551的相对位置而改变。更一般地，过去的时间状况指示可以提供整个操作环境中的电子设备在用户指定的时间或在用户指定的时间范围内的瞬时操作和操作模式的可视历史。

在一些实施例中，将来时间状况指示可以包括但不限于以下信息的呈现：对于一天中其余时间的设备时间表；居住空间中的灯点亮的(一个或多个)时间(例如，在预定的时间自动点亮)；关于百叶窗是否会在日落附近关闭的信息；关于所有设备是否在晚上预定的时间关闭的信息；是否将恒温器设置为预期用于夜间模式操作度；门锁是否被预定在晚上上锁；警报系统传感器是否被设置为今晚布防；和/或移动机器人200(例如，机器人吸尘器)将启动并开始任务的下一个预定的时间。将来时间状况指示因此可以提供整个操作环境中的电子设备在用户指定的时间范围内的操作模式的可视时间表。还可以在视觉上指示诸如在两个或更多个预定的设备操作之间的冲突，诸如基于位置的冲突。如本文所使用的，两个或更多个设备之间的冲突可以是指其中一个设备的操作可能干扰另一个设备的操作或以其他方式相对于另一个设备的操作成问题的情况。例如，如图11E所示，如果警报系统的运动传感器1107被布防一段时间，在此期间机器人真空吸尘器1200的操作被预定在运动传感器1107的视场内的操作环境50的区域中，那么用户界面510可以响应于在由条形元素555的长度表示的显示时段内通过滑块元素551的相对位置对时间的选择而经由图标和/或文本的组合来指示冲突。

图标30a、34a-34f、40a可以以多种方式在视觉上表示或指示操作状态，包括通过阴影、颜色、符号、标点和/或文本。例如，如图5所示，表示客厅507中的灯泡/灯具的图标34f具有实心图案以指示这些灯泡/灯具打开，而表示小屋503中的灯泡/灯具的图标34a被加阴影以指示灯泡熄灭。表示餐厅504、走廊501和厨房506(它们在空间上都与客厅507相邻)中的灯泡/灯具的图标34c、34d和34e有斑点以指示这些灯泡/灯具变暗。同时，表示书房502中的灯泡/灯具的图标34b显示感叹号(！)以指示其操作有问题。这些视觉指示仅以示例的方式提供，并且将理解的是，其它视觉指示和/或文本可以响应于用户经由滑块条550选择的操作时间和期望的时间范围而由用户界面510显示以指示由图标34a-34f表示的设备的实际或预期/预定的操作状态。更一般地，响应于指定期望时间的用户输入，用户界面510可以在视觉上指示整个操作环境中由图标34a-34f表示的设备的实际或预期活动模式。

可以基于由响应于操作环境的导航来定位移动机器人的传感器(诸如图2A-2C的移动机器人200的传感器270A-H)检测到的占用数据来生成本文描述的(一个或多个)平面图。在一些实施例中，可以基于占用数据和/或基于由移动机器人的无线收发器(诸如图2A-2C的移动机器人200的无线收发器252)获取的信号覆盖数据来确定本地电子设备的相对空间位置。在2017年5月5日提交的共同拥有的美国专利申请No.15/588,117中进一步描述了用于基于由移动机器人获取的占用数据和/或信号覆盖范围数据来生成图和确定空间位置的操作，该申请的公开内容通过引用整体并入本文。

可以基于经由网络160或170接收的识别设备和/或其操作状态的信息来生成操作环境本地的电子设备列表420。例如，可以通过请求由网关/集线器(诸如图1B的集线器110)保存的关于它们耦接到的设备的信息来识别设备和/或操作状况。在特定示例中，集线器110可以包括用于从合并的用户界面(例如，SmartThings^TM或Wink集线器)与IoT设备连接并对其进行控制的硬件/软件，并且耦接到SmartThings^TM或Wink集线器的设备可以通过询问该集线器来识别。在另一个示例中，联网的家庭能量监视设备(诸如Sense家庭能量监视器)可以基于其功率消耗来自动检测和识别设备及操作数据(无论是否启用网络)。即，列表420(和/或填充的平面图50)可以在视觉上表示由不同制造商生产和/或根据不同协议进行操作的电子设备。用于获得设备标识的其它操作可以包括(但不限于)执行端口扫描以识别暴露的服务、针对接收到的响应进行模式匹配和/或与发现的服务进行交互以提取更多的结构化信息(例如，设备通过网络“发现”协议(诸如UPnP或mDNS)进行通告的属性)。附加地或可替代地，可以经由用户界面(例如，通过设备列表420中的手动输入)来接收识别设备、其操作状态和/或其空间位置的信息。例如，列表420中所示的图标30a、34a-34f、40a可以被拖放到图50上的相应位置。

如本文描述的(一个或多个)连接的计算设备还可以被配置为基于其在操作环境中的相应空间位置以及其所在的区域的相对空间上下文来传输控制信号以控制一个或多个电子设备的操作。在一些实施例中，平面图可以指示是否存在将操作环境的一个区域/房间(以及位于该区域/房间中的设备)与另一个区域/房间隔开的墙壁和/或障碍物。图6是根据本公开实施例的平面图，图示了用户终端(诸如用户终端142、144、400)的示例用户界面610，用于控制在多个相邻房间之间延伸的、在它们之间没有墙壁或障碍的连续居住空间中的连接设备。

如图6所示，基于由移动机器人(诸如移动机器人200)的一个或多个定位传感器响应于对操作环境(诸如居住空间20)的导航而收集的占用数据，用户界面610显示操作环境的视觉表示60。该视觉表示被示为平面图60，该平面图60填充有图标30a、34a/e/f、40a，图标30a、34a/e/f、40a指示在操作环境本地的检测到的或用户指定的电子设备的相应空间位置和操作状态。在图6的示例中，由图标30a、40a和34a/e/f表示的电子设备是百叶窗、HVAC通风口和灯具/灯，诸如图1B的百叶窗30A、HVAC系统/通风口40和灯具/灯34/34A。具体地，已填充的平面图60中的图标30a、34a/e/f、40a指示厨房606中的百叶窗30A和灯34A的位置、小屋603中的HVAC通风口40和灯的位置，以及客厅607中的灯34A的位置。图标40a所示的波浪线将HVAC通风口40的操作状态指示为“开”或“打开”，图标34e的实线图案将厨房606的灯的操作状态指示为“开”，图标34a、34f的有斑点图案将小屋603和客厅607的灯的操作状态指示为“变暗”，而图标30a的三角形元素之间的间隔将百叶窗的操作状态指示为“打开”。

平面图60还指示在三个房间(客厅607、厨房606和小屋603)之间不存在墙壁或障碍物(由点线区域61表示)，从而定义了连续的空间650。如上所述，可以通过响应于对操作环境的导航而由定位传感器检测到的占用数据和/或由移动机器人的无线收发器获取的信号覆盖范围数据来指示墙壁/障碍物的不存在。即，虽然可以通过用户输入将居住空间(和/或其中的设备的分组)定义为分离的房间(示为客厅607、厨房606和小屋603)，但图6中所示的居住空间的实际平面图60包括多个相邻的房间，这些房间定义了更宽的连续空间650。

基于平面图中的墙壁/障碍物或其它物理边界的存在或不存在，本公开的实施例还可以识别操作环境中的区域/房间的相对空间上下文，并且可以将操作环境中的电子设备分割或分组成与区域/房间的相对空间上下文对应的子集。在图6的示例中，可以响应于其相应空间位置被识别为与连续空间650对应而将由图标30a、34a/e/f和40a表示的百叶窗、HVAC通风口和灯具分组为公共子集，以及基于它们所在的房间(客厅607、厨房606和小屋603)而进一步分组为相应子集。由此，本公开的实施例可以基于房间的相对空间上下文，结合电子设备可以与之关联的组或子集，而不是仅基于电子设备所在的房间之间的人工边界(由用户或以其它方式定义)，来协调对电子设备的单独控制。

例如，在响应于在厨房606中检测到用户的存在而提供运动激活的照明时，可能还期望同时点亮客厅607和小屋603，因为这三个房间被包括在连续空间650中。但是，基于由图标30a、34a/e/f、40a表示的设备的位置的用户定义的控制方案可能在逻辑上具有挑战性，因为一个大房间的空间650的基于用户的定义会减小能够控制连接设备的粒度，而这些设备与多个分别命名的房间的基于用户的关联可能无法基于房间名称进行逻辑协调。但是，通过识别房间的相对空间上下文和设备的相应空间位置，本公开的实施例可以基于由图标30a、34a/e/f、40a表示的设备所在的连续空间650来单独地控制这些设备，同时还允许基于它们所在的各个房间(客厅607、厨房606、小屋603)进行控制。

特别地，响应于检测到在厨房606中的用户的存在以及将客厅607和小屋603识别为同一连续空间650的一部分，可以传输控制信号以打开厨房606中的灯(由图标34e的实心图案表示)，并以较低的电平打开客厅607和小屋603中的灯(由图标34a和34e的有斑点的图案表示)。相反，响应于检测到在厨房606中的用户的存在而仅打开厨房606的灯将使用户凝视连续空间650的黑暗客厅607和小屋603部分。电子设备的这种不仅基于它们与连续空间的关联而且还基于设备所在的房间的空间上下文的单独控制可以提供更令人愉悦的自动照明体验。

在另一个示例中，如果检测到厨房606中的窗户30处于“打开”状态(由图标30a中的三角形百叶窗元件之间的分隔指示)，并且如果指定了高效的HVAC操作，那么可以基于小屋603中的连接的HVAC通风口40的位置在空间上与打开的窗户30的接近度而将控制信号传输到HVAC通风口40，以将其操作状态从“打开”(由图标40a中的波浪线表示)切换为“关闭”，即使HVAC通风口40位于不同的房间中(在小屋603中，而不是在窗户30所在的厨房606中)。即，基于识别HVAC通风口40和打开的窗户30在连续空间650中的控制可以比仅基于HVAC通风口40和窗户30在操作环境的分开的房间603和606中的空间位置的控制更有利。

如本文所述的(一个或多个)连接的计算设备还可以被配置为基于操作环境的相邻区域中的设备操作和/或环境条件来传输控制信号以预测性地控制一个或多个连接的电子设备的操作。例如，在控制诸如照明之类的运动激活的事件中，可能期望在用户进入空间之前(或之时)控制连接的电子设备的操作，而不是在检测到用户在空间中的存在之后控制它。图7是图示根据本公开实施例的用于响应于在操作环境的与连接的电子设备的位置邻近的区域中检测到用户的存在和/或轨迹而对连接的电子设备进行预测控制的示例操作的平面图。

如图7所示，基于由移动机器人(诸如移动机器人200)的一个或多个定位传感器响应于对操作环境(诸如居住空间20)的导航而收集的占用数据，可以识别在操作环境70中的房间701、702的相对空间上下文。例如，由移动机器人收集的数据可以放在一起以构建或生成内部空间的平面视图。特别地，图7图示了在操作环境70中的走廊701到卧室702的相对空间上下文。此外，基于由移动机器人收集的占用数据和/或信号覆盖范围数据，经由用户终端(例如，用户终端142、144、400等)的用户界面从用户接收的信息，和/或从一个或多个网络节点(诸如图1A的节点110、126、127、128、200、140和150)接收的信息，电子设备34A1、34A2、120A1、120A2与操作环境70中的相应空间位置关联。特别地，灯34A1和运动传感器120A1与走廊701中的相应位置关联，而灯34A2和运动传感器120A2与卧室702中的相应位置关联。

在图7的示例中，可以基于灯34A1和34A2的相应空间位置以及它们所在的房间701和702的相对空间上下文来分别控制灯34A1和34A2的操作。例如，除了响应于在运动传感器120A1的视场130A1内检测到用户P在走廊701中的存在而打开灯34A1之外，基于由相对空间上下文指示的空间701和702的邻接关系，本文描述的实施例还可以预测用户P可能要进入哪个房间并主动采取行动。特别地，由于走廊701已被识别为与卧室702相邻，因此可以发送控制信号以响应检测到用户P在走廊701中的存在而在用户P进入卧室702并且被卧室中的运动传感器120A2检测到之前打开卧室702中的灯34A2。即，基于运动传感器120A1到灯34A2的相对空间位置以及由移动机器人占用数据指示的房间701、702的相对空间上下文，根据在走廊701中检测到的用户P的存在来预测用户P在卧室702中的存在(并相应地控制卧室702中的连接设备34A2)。相反，如果在卧室中的运动传感器120A2被触发之前卧室702中的灯34A2不被激活，那么用户P可能不得不在黑暗中走许多步，特别是当运动传感器120A2的视场130A2没有覆盖到卧室702的门702d时。

在一些实施例中，走廊701中的运动传感器120A1还可以被配置为检测用户P的轨迹(朝着或远离到卧室702的门702d)，并且卧室中的灯34A2也可以基于检测到的轨迹而不是仅基于检测到的存在被控制。即，如果运动传感器120A1检测到用户P在走廊701中的存在并且检测到用户P朝着卧室门702d的轨迹，那么可以传输控制信号以激活卧室702中的灯34A2。相反，如果运动传感器120A1检测到用户P在走廊701中的存在但检测到用户P不朝着卧室门702d的轨迹，那么可以不传输激活卧室702中的灯34A2的控制信号。

此外，可以基于电子设备的相对空间位置和/或它们所在的房间的相对空间上下文，响应于检测到同一事件而对电子设备进行不同地控制。例如，在控制图7中相邻空间701和702的照明时，走廊701中的灯34A1(其中运动传感器120A1直接检测用户P的存在)可以被激活为比预测用户P存在的卧室702中的灯34A2更高的亮度。即，当用户P沿着走廊701朝卧室702走去时，灯34A1可以被激活以提供更明亮的任务照明，而相邻卧室702中的灯34A2可以被激活以提供较低水平的重点照明。此后，可以响应于运动传感器120A2检测到在卧室702中的实际存在(或根据与运动传感器120A1的接近度的在卧室702中的预测存在)而激活灯34A2以提供更明亮的任务照明，并且灯34A1可以变暗或关闭。但是，在一些实施例中，响应于运动传感器120A2先前检测到卧室702中另一个人(例如，配偶或重要的其他人)的存在，卧室702中的光34A2可能不被激活为更亮的状态，即使没有进一步检测到动作(例如，如果配偶/重要的另一个人正在睡觉)。即，运动传感器120A2的先前检测可以覆盖响应于运动传感器34A2对用户P的后续检测而对灯34A2的后续控制操作。响应于检测到用户P离开卧室702，可以颠倒这个控制方案。基于设备的所示位置和操作环境中的房间的相对空间上下文，基于连接设备的相对空间位置和/或它们所在的房间的相对空间上下文的用于连接设备的此类不同控制方案可以经由本文描述的用户界面(诸如图5的用户界面510)更直观地指定。

如本文所述的(一个或多个)连接的计算设备还可以被配置为基于相邻空间中的电子设备的操作状态和/或相邻空间中的环境条件来传输控制信号以控制一个或多个连接的电子设备的操作。图8是图示根据本公开实施例的用于基于相邻空间中的条件来控制连接设备的示例操作的平面图。

如图8所示，基于响应于操作环境(诸如居住空间20)的导航而由移动机器人(诸如移动机器人200)的一个或多个定位传感器收集的占用数据，可以识别在操作环境70'中的房间701、702的相对空间上下文。具体地，图8图示了在操作环境70'中的走廊701到卧室702的相对空间上下文。此外，基于由移动机器人收集的占用数据和/或信号覆盖范围数据、经由用户终端(诸如用户终端142、144、400)的用户界面从用户接收的信息，和/或从一个或多个网络节点(例如，图1A的节点110、126、127、128、200、140和150)接收的信息，电子设备34A1、34A2、120A1、120A2、120B与操作环境70'中的相应空间位置关联。特别地，灯34A1和运动传感器120A1与走廊701中的相应位置相关，而灯34A2、运动传感器120A2和亮度传感器120B与卧室702中的相应位置相关。

在图8的示例中，可以基于灯34A1和34A2在房间701和702中的相应空间位置、它们所在的房间701和702的相对空间上下文以及它们的相应操作状态来分别控制灯34A1和34A2的操作。例如，响应于通过运动传感器120A2检测到用户P在卧室702中的运动和/或用户P朝着门702d的轨迹，本公开的实施例可以预测用户P在走廊701中的存在，并且可以响应于此而传输控制信号以激活走廊701中的灯34A1。此外，本公开的实施例还可以基于卧室702中的灯34A2的操作状态来控制走廊701中的灯34A1。具体地，如图8所示，响应于检测到从卧室702中的灯34A2输出的弱光或暗光(如灯34A2本身或辉度传感器120B所报告的)，控制信号可以被传输到走廊中的灯34A1以提供类似的低水平或暗淡的光输出，使得当用户P到达走廊701时，用户P将遇到一致的照明，以避免使用户P炫目(blind)。在运动传感器120A1检测到用户P在走廊701中的存在之前，可以发生这些操作。即，当用户P离开黑暗的卧室702并进入走廊701时，可以基于用户P到达的位置处的灯34A2的操作状态来控制走廊灯34A1。相反，当用户P离开明亮照明的区域时，可以将相邻空间中的照明控制为相对明亮。

此外，由于卧室720中的辉度传感器120B可以检测到人工照明和自然照明，因此可以基于由相邻空间702中的辉度传感器120B的操作状态检测到的光水平来控制走廊701中的灯34A1，与灯34A2的操作状态分开或作为补充。即，辉度传感器120B可能由于阳光或其它环境照明而在卧室702中检测到高亮度水平，并且可以基于由辉度传感器120B检测到的亮度水平来控制无窗走廊701中的灯34A1以提供相似的照明水平。更一般而言，可以基于来自用户所在的操作环境的另一个区域的一个或多个检测到的条件(如受电子设备操作和/或环境的影响)来控制位于操作环境的一个区域中的连接设备。由此，了解家庭或其它操作环境的布局以及连接的传感器、设备和人员的位置可以提供“更智能”的智能家居体验。

根据本公开实施例的进一步的操作和优点可以包括响应于将设备与操作环境中的相应空间位置关联而自动生成和/或定制用于控制连接设备的自动规则。例如，响应于接收到在显示的平面图的位置上拖放设备的用户输入，可以基于设备的类型、与该位置对应或邻近的房间的类型和/或该房间相对于操作环境中的其它房间和/或设备的空间上下文而自动生成用于设备操作的一个或多个条件指令。在一个示例中，响应于检测到将运动传感器类型设备与图上的房间关联的用户输入，当检测到运动时，可以自动生成条件指令以打开该房间中的灯。同样，响应于检测到将基于运动的警报传感器与空间位置关联的用户输入，可以基于移动机器人在相同空间位置处的预定操作时间来自动生成条件指令以停用基于运动的警报传感器。

在另一个示例中，响应于确定照明设备的空间位置接近自然光源(例如，窗户)，可以自动生成基于预期或检测到的照明条件来指定照明设备的操作的条件指令。例如，可以自动生成指定在白天时段应当关闭照明设备(基于白天时段的预期自然光)或基于(由亮度检测器检测到的)来自自然光源的光线不足而开启照明设备的条件指令。条件还可以包括与季节和/或天气相关的条件(例如，与预期的自然光对应的白天时段可以基于季节和/或天气而变化)。

在又一个示例中，响应于检测到卧室中的照明设备关闭，可以不响应于检测到相邻走廊中的运动而传输用于打开卧室中的照明设备的控制信号。可以通过接收房间名称的用户输入来确定房间类型，或者可以基于对房间中的物体的视觉辨识和/或房间中的电子设备的识别而自动检测房间类型。即，可以基于设备与空间位置的关联来自动创建用于操作电子设备的条件指令，并且可以响应于由条件指令指示的一个或多个条件(包括基于时间、季节、温度和/或天气的情况)的出现而操作设备。

还可以基于对一个或多个用户或移动机器人在操作环境中的存在的检测和/或基于它们在相对空间上下文中的位置来自动调整用于操作电子设备的条件指令。例如，在以上邻近自然光源的照明设备的示例中，用于来自自然光源的光充足的阈值(因此，触发照明设备激活的条件的发生)可以基于用户或基于相机的移动机器人的存在而改变，这种存在可能需要更大的照明需求。在这个示例中，与移动机器人关联的时间表也可以用于确定存在并调整条件指令；例如，如果预定移动机器人在一天的特定时间清洁邻近自然光源的照明设备的空间位置，并且若季节和/或天气指示在一天的预定时间中由自然光源提供的自然照明不足以用于移动机器人的基于相机的成像，那么可以激活照明设备。更一般地，不仅可以基于设备与空间位置的关联，而且可以基于在空间位置处可能检测到或预期发生的条件的任意组合，来自动生成用于操作电子设备的条件指令。

此外，本公开的实施例还可以控制操作环境中的电子设备的操作以核实占用数据的一致性和/或准确性。例如，在操作环境的导航期间，移动机器人(诸如移动机器人200)可以将连接的灯激活到其“打开”和“关闭”状态，以便在视觉上辨识连接的灯在环境中的空间位置，并将灯的空间位置添加到占用数据。可以将这个更新后的占用数据与先前收集的占用数据进行比较，以解决歧义和/或更新对应平面图的环境中的改变。此外，移动机器人可以选择性地激活连接的照明设备并为每个照明设备建立“光图”，以确定对每个照明设备的空间的相应照明影响。这种光图可以允许对特定照明设备的选择性控制，以实现期望的照明水平和覆盖范围。用于选择性地激活连接设备和/或将激活与先前结果进行比较的此类操作也可以由操作环境中的一个或多个其它网络元件来执行。

而且，本公开的实施例不限于表示操作环境中的连接设备的空间位置和状况信息。例如，一些实施例可以基于设备能量监视来提供时间状况信息，甚至对于操作环境本地的非连接设备也是如此。特别地，可以使用联网的能量监视设备来确定非连接设备的能量使用量，该能量监视设备诸如感测家庭能量监视器，其基于其功率消耗曲线来自动检测和识别非连接设备。例如，可以基于操作环境中的空调单元和冰箱的相应的能量使用量和功率消耗曲线来唯一地识别这些空调单元和冰箱。也可以从电源插座的能量使用量和相应位置来确定此类非连接设备的操作状况信息和相应的空间位置。在操作环境的导航期间，此类非连接设备的空间位置还可以由移动机器人在视觉上辨识。因此，可以识别非连接设备，将其添加到平面图上以指示其相应空间位置，并与其能量使用信息关联，以提供如本文描述的操作环境中的位置和状况的视觉指示。

图9-10是图示根据本公开实施例的可以通过来自于计算设备的至少一个处理器的指令或响应于该指令而执行的操作的流程图。图9-10的操作可以表示存储在非暂态计算机可读介质(诸如本文所述的存储器设备222、320、428)中并且可以由一个或多个处理器(诸如本文所述的处理器220、310和/或427)执行的可执行例程或指令，以实现指定的例程或指令。

图9是图示根据本公开实施例的可以由用户终端执行的操作的流程图。具体地，图9的操作可以通过来自用户终端(例如，本文描述的用户终端142、144、400)的一个或多个处理器的指令或响应于该指令而执行。参考图9，在方框905处，响应于移动机器人对操作环境的导航，接收针对操作环境的占用数据。可以基于响应于在操作环境中的导航而由移动机器人的一个或多个定位传感器检测到的定位数据来生成占用数据，并且可以经由用户终端的一个或多个接收器来接收占用数据。定位数据可以包括来自测距传感器的距离测量、来自障碍物和接近传感器的占用和障碍物确定，以及来自相机和其它图案/图像/基准观察传感器的特征和地标确定。可以例如使用VSLAM技术在表面绘制例程中检测定位数据以记录2维占用数据，该2维占用数据表示操作环境的位置和/或移动机器人在其上的姿态。在方框910处，基于占用数据生成操作环境的视觉表示，并经由用户终端的用户界面显示该视觉表示。更具体而言，响应于接收到占用数据，用户终端的一个或多个处理器可以生成并传输指令以操作用户界面来显示操作环境的平面视图(诸如图4-5的平面图50)。

在方框915处，接收识别操作环境中的电子设备以及电子设备的相应操作状态的信息。可以从操作环境中的一个或多个网络元件(例如，基于由集线器110、传感器120和/或控制器126、127、128收集的信息)、移动机器人(例如，基于在操作环境的导航期间由此收集到的占用数据或无线信号覆盖范围数据)和/或用户终端的用户界面(例如，基于将图标30a、34a-34f、40a添加到列表420的输入)接收(或以其它方式从其提供的数据中确定)识别电子设备的信息和/或识别其相应操作状态的信息。

在方框920处，由此用电子设备的相应空间位置的视觉指示及其相应操作状态的状况指示来填充操作环境的视觉表示。例如，基于识别电子设备及其相应操作状态的信息，可以用以图形方式表示相应电子设备的图标(诸如图标30a、34a-34f、40a)填充所显示的操作环境的平面图(诸如图4-5的平面图50)。图标可以在平面图上显示在对应于电子设备在操作环境中的实际位置的空间位置处。可以从响应于操作环境的导航而由移动机器人收集的占用数据和/或无线信号覆盖范围数据和/或从经由用户界面接收的用户输入(例如，将列表420中所示的图标30a、34a-34f、40a拖入图50)来确定空间位置。

在一些实施例中，图标本身还可以以图形方式指示由图标表示的电子设备的相应操作状态。例如，然后如图5的用户界面510所示，用表示操作环境中连接的照明设备的灯泡图标34a-34e、表示操作环境中连接的HVAC通风口的通风口图标40a、表示操作环境中连接的百叶窗的窗户图标30a来填充平面图50。灯泡图标34a-34e的符号和/或阴影、通风口图标40a的波浪线以及整个窗户图标30a上的百叶窗元素的延伸指示由图标34a-34e、40a和30a表示的设备的相应操作状态。

图10是图示根据本公开实施例的可以由计算设备执行的操作的流程图。具体地，图10的操作可以通过来自启用网络的计算设备的一个或多个处理器的指令或响应于该指令而执行，其中计算设备诸如(但不限于)集线器110、控制器126、127、128、移动机器人200、坞140、用户终端142、终端144、400、服务器150和/或计算设备300。参考图10，在方框1005处，响应于移动机器人对操作环境的导航而接收针对操作环境的占用数据。如上面参考图9的方框905所描述的，可以例如使用VSLAM技术，基于由移动机器人的一个或多个定位传感器检测到的定位数据来生成占用数据。在一些实施例中，可以经由计算设备的一个或多个网络接收器接收占用数据。

在方框1010处，基于占用数据，将操作环境中的电子设备与操作环境的相应空间位置关联。如上所述，可以根据由移动机器人响应于操作环境的导航而收集的占用数据和/或无线信号覆盖数据和/或根据经由用户界面接收的用户输入来确定电子设备的空间位置。此外，占用数据可以例如基于在导航期间由移动机器人遇到的操作环境的区域之间的物理边界的存在或不存在来指示操作环境中的房间。可以基于占用数据进一步识别房间在操作环境中的相对空间上下文，并且可以根据房间在操作环境中的相对空间上下文，基于其相应的空间位置将电子设备分割或分组为相应子集。例如，在同一房间内/附近或在连续房间的边界之内/附近的电子设备可以被分组为同一子集，而在一个房间或连续房间的边界之外的电子设备可以被分组为不同的子集。

在方框1015处，将控制信号传输到一个或多个电子设备以基于其相应空间位置(和/或基于与相应空间位置对应的房间的相对空间上下文)来控制其操作。例如，可以根据一个或多个电子设备在公共房间或连续空间中的对应分组或子集而将控制信号传输到这些电子设备。在一个示例中，响应于接收到用户输入选择(例如，通过点击或轻击所显示的房间的平面视图的一部分)或以其它方式指示特定房间，可以生成并传输相应的控制信号以激活(例如，调暗)位于特定房间中的照明设备(基于它们的通用分组)。在另一个示例中，在空间上位于操作环境中的连续区域的照明设备可以基于它们在一个公共子集中的分组来类似地控制它们，尽管它们在物理上位于不同的房间中。而且，可以基于与一个或多个电子设备的相应空间位置对应的房间的类型，和/或与其相应空间位置相邻的操作环境的区域中的设备活动和/或环境条件，将控制信号传输到这些电子设备。

即，如本文所述，可以基于电子设备在操作环境中的相应空间位置、与其相应空间位置对应的房间的相对空间上下文和/或操作环境的相邻区域中的操作条件(包括其它电子设备的操作状态和/或环境条件)来不同地控制电子设备。还可以将指示电子设备的实际操作的数据与指示电子设备的预期或预定操作的数据一起记录并存储在数据库中，以用于生成和显示时间状况信息，由此可以呈现电子设备在用户选择的时间点的操作状况。因此，基于在操作环境的导航期间由移动机器人收集的占用数据，可以生成用户界面，该用户界面提供设备位置的视觉表示以及设备的过去/现在/将来的操作状态，并且还允许对电子设备的当前或将来的操作状态进行控制。

在本公开的各种实施例的以上描述中，本公开的各方面可以在许多可专利的类或上下文中的任何一个中示出和描述，包括任何新的和有用的处理、机器、制造或物质组合，或任何新的和有用的改进。因而，本公开的各方面可以完全由硬件、完全由软件(包括固件、常驻软件、微代码等)或组合软件和硬件实现来实现，这些实现在本文中一般都可以被称为“电路”、“模块”、“组件”或“系统”。此外，本公开的各方面可以采取计算机程序产品的形式，该计算机程序产品包括其上实施了计算机可读程序代码的一个或多个计算机可读介质。

一个或多个计算机可读介质的任意组合可以被使用。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电、磁、光、电磁或半导体系统、装置或设备，或前面所述的任意合适组合。计算机可读存储介质的更具体的示例(非穷举列表)将包括以下：硬盘驱动器、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、具有中继器的适当光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备，或前面所述的任意合适组合。在本文档的语境下，计算机可读存储介质可以是任何可以包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序的非暂态介质。

计算机可读信号介质可以包括其中体现了计算机可读信息的传播的数据信号(例如，在基带中或者作为载波一部分)。这种传播的信号可以采用多种形式中的任意一种，包括但不限于电磁信号、光信号或其任意合适组合。计算机可读信号介质还可以是并非计算机可读存储介质并且可以传送、传播或运输由指令执行系统、装置或设备使用或者与其结合使用的程序的任何计算机可读介质。体现在计算机可读介质上的计算机可读信息可以使用任何适当的介质(例如，作为程序代码)来发送，包括但不限于无线、有线、光缆、RF等，或前面所述的任意合适组合。

可以以一种或多种编程语言的任何组合来编写用于执行本公开的各方面的操作的计算机程序代码。程序代码可以完全在本文所述的用户终端、移动机器人或远程服务器上执行，或者部分地在每个中的一个或多个上执行。在后一种情况下，远程服务器可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户终端和/或移动机器人，或者进行到外部计算的连接(例如，通过使用互联网服务提供商的互联网)和/或在云计算环境中，或作为服务(诸如软件即服务(SaaS))提供。

本文参考根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本公开的各方面。将理解的是，流程图图示和/或框图中的每个方框以及流程图图示和/或框图中的方框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，以产生机器，使得经由计算机或其它可编程指令执行装置的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个方框中指定的功能/动作的机制。

这些计算机程序指令也可以被存储在计算机可读介质中，当其被执行时，可以指引计算机、其它可编程数据处理装置或其它设备以特定方式运行，使得当指令存储在计算机可读介质中时，产生包括指令的制品，其中当该指令被执行时，使计算机实现在流程图和/或框图的一个或多个方框中指定的功能/动作。计算机程序指令还可以被加载到计算机、其它可编程指令执行装置或其它设备上，以使得在计算机、其它可编程装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或多个方框中指定的功能/动作的过程。

应该理解的是，本文所使用的术语仅出于描述特定实施方式的目的，而无意于限制本发明。除非另有定义，否则本文中使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常所理解的相同含义。还将理解的是，诸如在常用词典中定义的术语之类的术语应当被解释为具有与其在本说明书和相关技术的上下文中的含义一致的含义，并且将不在理想化或过于形式化的意义上被解释，除非本文明确地这样定义。

附图中的流程图和框图图示了根据本公开的各方面的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。就这一点而言，流程图或框图中的每个方框可以表示包括用于实现指定的(一个或多个)逻辑功能的一条或多条可执行指令的代码的模块、片段或部分。还应当注意的是，在一些替代实现中，方框中提到的功能可以不按照图中所示的次序发生。例如，取决于所涉及的功能，连续示出的两个方框实际上可以基本上同时执行，或者方框有时可以以相反的次序执行。还将注意到的是，框图和/或流程图图示的每个方框以及框图和/或流程图图示的方框的组合可以由执行指定的功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。

前述内容是本公开的实施例的说明，并且不应解释为对其的限制。虽然已经描述了一些示例实施例，但是本领域技术人员将容易认识到的是，在实质上不脱离本发明的教导和优点的情况下，可以对示例实施例进行许多修改。因而，所有这样的修改都意在包括在本发明的范围内。因此，应该理解的是，前述内容是对本发明的说明，并且不应被解释为限于所公开的具体实施例，并且对所公开的实施例以及其它实施例的修改旨在包括在本发明的范围内。

Claims (34)

1.一种操作用户终端的方法，包括：

通过来自所述用户终端的至少一个处理器的指令或响应于所述指令，执行包括以下内容的操作：

响应于由移动机器人对操作环境的导航，经由所述用户终端的至少一个接收器接收针对所述操作环境的占用数据，其中所述占用数据基于在导航期间由所述移动机器人遇到的操作环境的区域之间的物理边界的存在或不存在来指示操作环境中的房间；

基于所述占用数据，经由所述用户终端的用户界面来显示所述操作环境的视觉表示；

经由所述用户终端的所述至少一个接收器，接收识别在所述操作环境本地的多个电子设备及其相应操作状态的信息；

用所述电子设备在所述操作环境中的相应空间位置的视觉指示以及所述电子设备的所述相应操作状态的状况指示来填充所述操作环境的所述视觉表示；

基于所述占用数据来识别所述操作环境中的所述房间的相对空间上下文；

基于对应于所述房间中的连续房间的、与所述电子设备关联的相应空间位置将所述电子设备分组为公共子集；以及

基于所述电子设备中的一个或多个电子设备的分组以及对应于与其关联的相应空间位置的所述房间的所述相对空间上下文向其传输控制信号。

2.如权利要求1所述的方法，还包括：

经由所述用户界面，接收指定时间的输入，

其中所述相应操作状态与对应于由所述输入指定的所述时间的时间数据关联。

3.如权利要求2所述的方法，还包括：

经由所述用户界面，显示在视觉上表示包括过去、现在和将来时间的时间范围的用户界面元素，

其中响应于对所述用户界面元素的操纵而接收指定所述时间的输入。

4.如权利要求3所述的方法，其中所述用户界面元素包括表示所述时间范围的条形元素和响应于所述操纵而沿着所述条形元素在相应位置处显示的滑块元素。

5.如权利要求2所述的方法，其中所述时间数据包括过去、现在或将来时间数据，并且其中所述相应操作状态包括与过去或现在时间数据关联的实际操作状态或者与将来时间数据关联的预期操作状态。

6.如权利要求5所述的方法，其中所述状况指示基于所述电子设备中的两个或更多个电子设备的相应空间位置来识别其预期操作状态之间的冲突。

7.如权利要求5所述的方法，其中指定所述时间的输入包括时间范围，并且还包括：

经由所述用户界面，显示所述电子设备中的一个或多个电子设备在由所述输入指定的所述时间范围内的实际和/或预期操作状态的表示。

8.如权利要求1所述的方法，其中识别所述多个电子设备的信息包括由所述移动机器人的一个或多个定位传感器检测到的定位数据、由所述移动机器人的一个或多个无线接收器获取的无线通信信号覆盖数据、由一个或多个网络元件检测到的网络数据，和/或经由所述用户终端的所述用户界面接收的用户选择数据。

9.如权利要求1所述的方法，其中所述电子设备中的一个或多个电子设备缺乏网络接口。

10.如权利要求1所述的方法，其中填充所述操作环境的所述视觉表示包括：

基于响应于所述移动机器人在所述操作环境中的导航而由所述移动机器人的至少一个定位传感器检测到的定位数据和/或由所述移动机器人的至少一个无线接收器获取的无线通信信号，确定所述电子设备在所述操作环境中的相应空间位置。

11.如权利要求1所述的方法，其中填充所述操作环境的所述视觉表示包括：

响应于显示所述操作环境的所述视觉表示，经由所述用户界面接收指定所述电子设备的相应空间位置的相应输入，

并且还包括：

基于所述电子设备中的一个或多个电子设备的相应空间位置来自动生成条件指令以控制其操作。

12.如权利要求1所述的方法，其中所述视觉指示包括用于所述电子设备的相应图标，并且其中所述状况指示包括所述相应图标的图形特点。

13.如权利要求11所述的方法，其中所述电子设备中的一个或多个电子设备包括照明设备，并且其中所述条件指令基于其相应空间位置与所述操作环境中的自然光源的接近度以及预期或检测到的由所述自然光源提供的光量来指定所述照明设备的激活。

14.如权利要求11所述的方法，其中所述电子设备中的一个或多个电子设备包括基于运动的警报传感器，并且其中所述条件指令基于移动机器人在所述基于运动的警报传感器的相应空间位置处的预定操作时间来指定所述基于运动的警报传感器的停用。

15.一种操作计算设备的方法，包括：

通过来自所述计算设备的至少一个处理器的指令或响应于所述指令，执行包括以下内容的操作：

响应于由移动机器人对操作环境的导航，接收针对所述操作环境的占用数据，其中所述占用数据基于在导航期间由所述移动机器人遇到的操作环境的区域之间的物理边界的存在或不存在来指示操作环境中的房间；

基于所述占用数据，将在所述操作环境本地的电子设备与所述操作环境中的相应空间位置关联，其中所述关联还包括基于所述占用数据来识别所述操作环境中的所述房间的相对空间上下文；以及

经由所述计算设备的至少一个发送器，向所述电子设备中的一个或多个电子设备传输控制信号，以基于与其关联的相应空间位置来控制其操作，其中基于对应于所述房间中的连续房间的、与所述电子设备关联的相应空间位置将所述电子设备分组为公共子集，并且其中向所述电子设备中的一个或多个电子设备传输所述控制信号是基于其分组以及对应于与其关联的相应空间位置的所述房间的所述相对空间上下文。

16.如权利要求15所述的方法，其中所述关联还包括：

进一步基于对应于所述房间中的同一个房间、与所述电子设备关联的相应空间位置将所述电子设备分组为相应子集。

17.如权利要求15所述的方法，其中向所述电子设备中的一个或多个电子设备传输所述控制信号还基于对应于与其关联的相应空间位置的房间的相应类型。

18.如权利要求15所述的方法，还包括：

经由所述计算设备的至少一个接收器，接收指示所述电子设备中的至少一个其他电子设备的操作的数据，其中所述电子设备中的至少一个其他电子设备的相应空间位置与所述电子设备中的一个或多个电子设备的相应空间位置相邻，

其中向所述电子设备中的一个或多个电子设备传输所述控制信号还基于所述电子设备中的至少一个其他电子设备的操作。

19.如权利要求18所述的方法，其中所述电子设备中的至少一个其他电子设备包括在所述相对空间上下文中与所述电子设备中的一个或多个电子设备的相应空间位置相邻的所述房间之一中的运动传感器，并且还包括：

响应于在所述相对空间上下文中与其相邻的所述房间之一中的所述运动传感器的操作，预测在对应于所述一个或多个电子设备的相应空间位置的所述房间之一中的用户的存在，

其中所述控制信号的传输是响应于所述预测。

20.如权利要求18所述的方法，其中所述电子设备中的至少一个其他电子设备包括在所述相对空间上下文中与所述电子设备中的一个或多个电子设备的相应空间位置相邻的所述房间之一中的环境传感器，并且还包括：

响应于所述环境传感器的操作而确定所述房间之一中的环境条件，

其中向所述电子设备中的一个或多个电子设备传输所述控制信号是基于与其相应空间位置相邻的所述房间之一中的所述环境条件。

21.如权利要求15所述的方法，还包括：

响应于所述电子设备与相应空间位置的关联，自动生成条件指令以控制所述电子设备中的一个或多个电子设备的操作，

其中向所述电子设备中的一个或多个电子设备传输所述控制信号还基于由所述条件指令指定的一个或多个条件的发生。

22.如权利要求15所述的方法，还包括：

经由所述计算设备的至少一个接收器，接收指示所述电子设备的相应操作状态的数据和与所述相应操作状态关联的时间数据，其中所述时间数据包括过去、现在或将来时间数据，并且其中所述相应操作状态包括与过去或现在时间数据关联的实际操作状态或者与将来时间数据关联的预期操作状态；以及

在数据库中存储所述电子设备的所述相应操作状态以及与所述相应操作状态关联的所述时间数据。

23.一种用户终端，包括：

至少一个接收器；

用户界面；

处理器，耦接到所述至少一个接收器和所述用户界面；以及

存储器，耦接到所述处理器，所述存储器包括非暂态计算机可读存储介质，所述非暂态计算机可读存储介质在其中存储计算机可读程序代码，所述计算机可读程序代码由所述处理器能够运行来执行包括以下内容的操作：

响应于由移动机器人对操作环境的导航，经由至少一个接收器接收针对所述操作环境的占用数据，其中所述占用数据基于在导航期间由所述移动机器人遇到的操作环境的区域之间的物理边界的存在或不存在来指示操作环境中的房间；

基于所述占用数据，经由所述用户界面来显示所述操作环境的视觉表示；

经由所述至少一个接收器，接收识别在所述操作环境本地的多个电子设备及其相应操作状态的信息；以及

用所述电子设备在所述操作环境中的相应空间位置的视觉指示以及所述电子设备的相应操作状态的状况指示来填充所述操作环境的视觉表示；

基于所述占用数据来识别所述操作环境中的所述房间的相对空间上下文；

基于对应于所述房间中的连续房间的、与所述电子设备关联的相应空间位置将所述电子设备分组为公共子集；以及

基于所述电子设备中的一个或多个电子设备的分组以及对应于与其关联的相应空间位置的所述房间的所述相对空间上下文向其传输控制信号。

24.如权利要求23所述的用户终端，其中所述操作还包括：

经由所述用户界面，接收指定时间的输入，

其中所述相应操作状态与对应于由所述输入指定的所述时间的时间数据关联。

25.如权利要求24所述的用户终端，其中所述操作还包括：

经由所述用户界面，显示在视觉上表示包括过去、现在和将来时间的时间范围的用户界面元素，

其中响应于对所述用户界面元素的操纵而接收指定所述时间的输入。

26.如权利要求25所述的用户终端，其中所述用户界面元素包括表示所述时间范围的条形元素和响应于所述操纵而沿着所述条形元素在相应位置处显示的滑块元素。

27.如权利要求24所述的用户终端，其中所述时间数据包括过去、现在或将来时间数据，并且其中所述相应操作状态包括与过去或现在时间数据关联的实际操作状态或者与将来时间数据关联的预期操作状态。

28.如权利要求27所述的用户终端，其中所述状况指示基于所述电子设备中的两个或更多个电子设备的相应空间位置来识别其预期操作状态之间的冲突。

29.如权利要求27所述的用户终端，其中指定所述时间的输入包括时间范围，并且其中所述操作还包括：

经由所述用户界面，显示所述电子设备中的一个或多个电子设备在由所述用户指定的所述时间范围内的实际和/或预期操作状态的表示。

30.一种计算设备，包括：

至少一个发送器；

处理器，耦接到所述至少一个发送器；以及

存储器，耦接到所述处理器，所述存储器包括非暂态计算机可读存储介质，所述非暂态计算机可读存储介质在其中存储计算机可读程序代码，所述计算机可读程序代码由所述处理器能够运行来执行包括以下内容的操作：

响应于由移动机器人对操作环境的导航，接收针对所述操作环境的占用数据，其中所述占用数据基于在导航期间由所述移动机器人遇到的操作环境的区域之间的物理边界的存在或不存在来指示操作环境中的房间；

基于所述占用数据，将在所述操作环境本地的电子设备与所述操作环境中的相应空间位置关联，其中所述关联还包括基于所述占用数据来识别所述操作环境中的所述房间的相对空间上下文；以及

经由至少一个发送器，向所述电子设备中的一个或多个电子设备传输控制信号，以基于与其关联的相应空间位置来控制其操作，其中基于对应于所述房间中的连续房间的、与所述电子设备关联的相应空间位置将所述电子设备分组为公共子集，并且其中向所述电子设备中的一个或多个电子设备传输所述控制信号是基于其分组以及对应于与其关联的相应空间位置的所述房间的所述相对空间上下文。

31.如权利要求30所述的计算设备，其中所述操作还包括：

经由所述计算设备的至少一个接收器，接收指示所述电子设备中的至少一个其他电子设备的操作的数据，其中所述电子设备中的至少一个其他电子设备的相应空间位置与所述电子设备中的一个或多个电子设备的相应空间位置相邻，

其中向所述电子设备中的一个或多个电子设备传输所述控制信号还基于所述电子设备中的至少一个其他电子设备的操作。

32.如权利要求31所述的计算设备，其中所述电子设备中的至少一个其他电子设备包括在所述相对空间上下文中与所述电子设备中的一个或多个电子设备的相应空间位置相邻的所述房间之一中的运动传感器，并且其中所述操作还包括：

响应于在所述相对空间上下文中与其相邻的所述房间之一中的所述运动传感器的操作，预测在对应于所述一个或多个电子设备的相应空间位置的所述房间之一中的用户的存在，

其中所述控制信号的传输是响应于所述预测。

33.如权利要求31所述的计算设备，其中所述电子设备中的至少一个其他电子设备包括在所述相对空间上下文中与所述电子设备中的一个或多个电子设备的相应空间位置相邻的所述房间之一中的环境传感器，并且其中所述操作还包括：

响应于所述环境传感器的操作而确定所述房间之一中的环境条件，

其中向所述电子设备中的一个或多个电子设备传输所述控制信号是基于与其相应空间位置相邻的所述房间之一中的所述环境条件。

34.如权利要求30所述的计算设备，其中所述计算设备包括所述移动机器人的组件，并且其中所述占用数据由所述移动机器人的至少一个定位传感器检测。

Images