CN111865737A - 用于基于附件状态生成场景的系统、方法和介质 - Google Patents

用于基于附件状态生成场景的系统、方法和介质 Download PDF

Info

Publication number
CN111865737A
CN111865737A CN202010704232.0A CN202010704232A CN111865737A CN 111865737 A CN111865737 A CN 111865737A CN 202010704232 A CN202010704232 A CN 202010704232A CN 111865737 A CN111865737 A CN 111865737A
Authority
CN
China
Prior art keywords
accessory
computing device
service group
attachment
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010704232.0A
Other languages
English (en)
Other versions
CN111865737B (zh
Inventor
B·A·史密斯
R·奥尔森
K·迈克劳林
A·纳达瑟尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111865737A publication Critical patent/CN111865737A/zh
Application granted granted Critical
Publication of CN111865737B publication Critical patent/CN111865737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08Access point devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本公开涉及用于基于附件状态生成场景的系统、方法和介质。在一些具体实施中,计算设备可自动生成场景。例如,场景可以是附件和对应的附件状态的集合。当调用场景时,计算设备可使与场景相关联的附件采取对应的附件状态。计算设备可基于历史附件状态数据中表示的历史使用模式来自动确定场景的附件和/或对应的附件状态。计算设备可基于用于与场景相关联的附件的当前附件状态的快照来生成场景。

Description

用于基于附件状态生成场景的系统、方法和介质
本申请是申请日为2017年5月22日、题为“用于基于附件状态生成 场景的系统、方法和介质”的发明专利申请201780020804.X的分案申请。
技术领域
本公开整体涉及使用计算设备来控制远程附件设备。
背景技术
家庭自动化越来越受欢迎。从多年前的家用洗衣机和洗碗机开始,到 我们今天拥有的智能(如计算机化)装置、电器和附件,越来越多的人正 在使自己的家自动化。随着智能附件和电器的日益普及,控制这些智能设 备的方法也越来越多。例如,用户的移动设备上的软件应用程序可被配置 为控制用户的家或办公室中的各个附件、电器和/或装置。然而,随着附件 变得更加智能,它们还提供了更多样化的功能集,使得控制这些设备对于 用户来说变得越来越复杂。
发明内容
本申请要求2016年6月12日提交的美国临时申请No.62/349,044的权 益,该申请以引用方式并入本文。
在一些具体实施中,计算设备可自动生成服务组。例如,可基于各种 标准(诸如历史使用模式)将附件自动分组到服务组中。可管理和/或控制 服务组中的附件,好像附件是单个附件或实体那样。
在一些具体实施中,计算设备可智能地选择用于呈现给用户的服务组 控件,使得用户可控制服务组。例如,计算设备可基于服务组中的不同附 件之间共有的特征来选择要呈现的服务组控件以及呈现这些控件的顺序。
在一些具体实施中,计算设备可自动生成场景。例如,场景可以是附 件和对应的附件状态的集合。当调用场景时,计算设备可使与场景相关联 的附件采取对应的附件状态。计算设备可基于历史附件状态数据中表示的 历史使用模式来自动确定场景的附件和/或对应的附件状态。
在一些具体实施中,计算设备可呈现服务组通知。例如,计算设备可 配置有包括相关附件的服务组。可基于定义附件之间的关系的用户输入来 关联附件。可基于历史使用模式来关联附件。当计算设备从服务组中的附 件接收通知时,计算设备可呈现表示服务组的通知。在一些具体实施中, 通知可呈现用于调节服务组中附件的状态的服务组控件。
在一些具体实施中,计算设备可呈现附件状态信息。例如,计算设备 可从各种附件接收附件状态信息,并且呈现表示附件的当前状态的状态项。 可根据分配给附件和/或附件状态信息的分类来对状态项进行优先级排序。 可基于分配给计算设备的用户的角色来过滤状态项。其他具体实施和细节 将在后面的段落中描述。
在一些具体实施中,计算设备可基于在将附件添加到家庭环境时收集 或确定的家庭环境位置数据来自动选择要在计算设备的显示器上呈现的家 庭环境。可响应于将附件添加到计算设备当前所在的家庭环境来确定家庭 环境位置数据。当将附件添加到家庭环境时,用户可指定家庭环境的标识。 计算设备可基于计算设备的当前地理位置来确定家庭环境的地理位置,并 且基于家庭环境的地理位置生成家庭环境地理围栏。计算设备可收集与用 户选择的家庭环境相关联的无线接入点标识符和/或附件标识符。计算设备 可将家庭环境标识符、地理位置、地理围栏、无线接入点标识符和/或附件 标识符存储为可用于确定计算设备何时位于家庭环境内的家庭环境位置数 据。
特定具体实施提供了至少以下优点。用户可将附件作为一组进行控制, 而不必单独控制附件。服务组可由计算设备自动生成,从而减轻用户创建 或指定服务组的负担。即使各个附件可能具有不同的特征,也可将附件分 组,并且计算设备可自动确定和呈现所有附件共有的控件,使得用户不必 单独控制这些异类附件。可自动创建允许用户利用单个输入重新创建环境 的场景。服务组通知可允许用户调节服务组的设置,而无需调用单独的应用程序或图形用户界面。
一个或多个具体实施的细节在以下附图和具体实施方式中阐述。其他 特征、方面和潜在优点将在具体实施方式和附图以及权利要求中显而易见。
附图说明
图1示出了示例家庭环境。
图2示出了示例网络配置。
图3是用于管理附件的示例系统的框图。
图4是具有各种智能附件的示例住宅的图示。
图5是通过家庭应用程序呈现的示例图形用户界面。
图6示出了用于添加附件、创建新服务组和/或创建新场景的示例图形 用户界面。
图7示出了用于定义新服务组的示例图形用户界面。
图8示出了呈现服务组的示例图形用户界面。
图9示出了存储附件控制信息的示例数据库。
图10示出了用于呈现服务组控件的示例图形用户界面。
图11示出了用于呈现服务组控件的示例图形用户界面。
图12示出了用于编辑服务组的示例图形用户界面。
图13示出了用于呈现所编辑服务组的服务组控件的示例图形用户界面。
图14示出了用于呈现所编辑服务组的服务组控件的示例图形用户界面。
图15示出了用于选择自动生成的服务组的示例图形用户界面。
图16示出了用于呈现自动生成的服务组的控件的示例图形用户界面。
图17示出了呈现服务组通知的示例图形用户界面。
图18A示出了用于呈现具有通知的服务组控件的示例图形用户界面。
图18B示出了呈现认证提示的示例图形用户界面。
图19示出了用于创建场景的示例图形用户界面。
图20示出了呈现场景的表示的示例图形用户界面。
图21A示出了呈现家庭应用程序状态信息的示例图形用户界面。
图21B示出了通过家庭应用程序呈现的状态数据的示例。
图22示出了用于呈现家庭应用程序状态数据的详细视图的示例图形用 户界面。
图23示出了用于选择家庭应用程序中的家庭环境的示例图形用户界面。
图24是用于自动选择家庭环境以供家庭应用程序呈现的示例过程的图 示。
图25是用于自动生成服务组的示例过程的流程图。
图26是用于选择服务组控件的示例过程的流程图。
图27是用于自动生成场景的示例过程的流程图。
图28是用于从附件状态的快照创建场景的示例过程的流程图。
图29是用于呈现服务组通知的示例过程的流程图。
图30是用于呈现附件状态信息的示例过程的流程图。
图31是用于自动切换家庭应用程序中的家庭环境的示例过程的流程图。
图32是用于自动启用对家庭应用程序中的家庭环境的远程访问的示例 过程的流程图。
图33示出了用于控制器3300的示例系统架构的简化框图。
图34示出了用于附件3400的示例系统架构的简化框图。
各个附图中的相同参考符号表示相同元件。
具体实施方式
示例环境
图1示出了示例家庭环境100。家庭环境100包括控制器102,该控制 器可与位于该环境中的各种附件设备(也称为附件)通信。控制器102可 包括例如台式计算机、膝上型计算机、平板电脑、智能电话、可穿戴计算 设备、个人数字助理,或能够向附件传送命令和控制消息(例如,如美国 专利申请No.14/614,914中所述)并且呈现用户界面以允许用户指示对附件 的期望操作的任何其他计算设备或设备组。在一些实施方案中,控制器102 可使用多个分立的设备来实现。例如,可存在与附件通信并且可安装在环 境100中的固定位置的基站,以及提供用户界面并且与基站通信以实现对 附件的控制的一个或多个移动遥控站(例如,手持式或可穿戴设备,诸如 移动电话、平板电脑、智能手表、眼镜等)。在一些实施方案中,基站可 如下所述充当协调器或代理。
可对任何类型的附件设备进行控制。附件设备的示例包括门锁104、 车库门系统106、灯具108、安保摄像机110和恒温器112。在某些情况下, 控制器102可与附件直接通信;例如,控制器102被示出为与门锁104和 车库门系统106直接通信。在其他情况下,控制器102可经由中介通信。 例如,控制器102被示出为经由无线网络接入点114与由接入点114提供 的无线网络上的附件108、110、112通信。如上所述,在一些实施方案中, 控制器102可包括基站,并且基站功能可集成到接入点114中或集成到将 被控制的附件中的一者(例如,恒温器112)中。另一种类型的中介可以是 协调器116,该协调器除了作为控制器操作之外,还可在其他控制器和附件 之间中继消息。在一些实施方案中,协调器116还可实现各种控制逻辑, 以自动化或优化与附件的交互;示例在下文描述。
可使用各种通信传输方法以及传输方法的组合,并且不同的传输方法 可用于不同的设备。例如,一些无线传输方法诸如由Bluetooth SIG发布的
Figure BDA0002594097470000051
Classic或
Figure BDA0002594097470000052
Smart通信协议和标准(本文中称为“蓝牙” 和“蓝牙LE”)可支持设备之间在有限范围内进行直接点对点通信。其他无 线传输方法诸如由Wi-Fi联盟发布的符合Wi-Fi网络标准的无线网络和协议 (本文中称为“Wi-Fi网络”)可定义具有路由网络上不同设备之间的通信的 中央接入点的无线网络。此外,虽然示出了无线通信传输方法,但是也可 为一些或全部附件提供有线传输方法。例如,灯泡108可通过有线连接连 接到接入点114,并且控制器102可通过向接入点114无线地发送消息来与 灯泡108通信,该接入点可经该由有线连接将消息传递给灯泡108。又如, 协调器116可如图所示经由有线连接(如果需要,该连接可以是无线的) 连接到接入点114,并且控制器102可通过经由接入点114向协调器116发送消息来与附件诸如灯泡108通信;协调器116可经由接入点114或经由 另一信道诸如蓝牙LE信道来与灯泡108通信。有线通信和无线通信的其他 组合也是可能的。
此外,虽然示出了一个控制器102,但是家庭环境可具有多个控制器 设备。例如,居住在家中的每个人都可拥有他或她自己的一个或多个便携 式设备,这些便携式设备可充当一些或全部附件104至112的控制器。不 同的控制器设备可被配置为与不同的附件子集通信;例如,可阻止孩子的 控制器修改恒温器112上的设置,而允许父母的控制器设备修改该设置。 这类许可或权限可例如使用下文所述的和上文引用的美国专利申请No. 14/725,891中所述的技术来配置和控制。
在一些实施方案中,统一的附件协议可促进控制器102与一个或多个 附件104-112的通信。协议可提供将附件建模为服务集合的简单且可扩展框 架,其中每个服务被定义为一组特征,每个特征在任何给定时间具有定义 值。各种特征可表示附件状态的各个方面。例如,就恒温器112而言,特 征可包括电力(打开或关闭)、当前温度和目标温度。在一些实施方案中, 消息格式可以是依赖于传输的,同时符合相同的附件模型。基于服务和特 征的附件模型的示例在美国专利申请No.14/614,914中描述。
协议还可定义控制器102的消息格式,以向附件112(或其他附件) 发送命令和控制消息(请求),并且可定义附件112的消息格式,以向控 制器102发送响应消息。命令和控制消息可允许控制器102询问附件特征 的当前状态,并且在一些情况下修改特征(例如,修改电力特征可关闭或 打开附件)。因此,不管功能或制造商如何,都可通过发送适当的消息来 控制任何类型的附件。各种附件的格式可以相同。消息格式的示例在上文 引用的美国专利申请No.14/614,914中描述。
协议还可提供通知机制,该通知机制允许附件112(或其他附件)在 发生状态变化的情况下选择性地通知控制器102。可实现多个机制,并且控 制器102可针对给定目的,对最适当的通知机制进行注册或订阅。通知机 制的示例在上文引用的美国专利申请No.14/614,914中描述。
在一些实施方案中,与给定附件的通信可被限制为授权控制器。在用 户希望控制器102能够控制附件104这一事件具有较高置信度的情况下, 协议可指定用于在控制器102和给定附件(例如,门锁附件104)之间建立 “配对”的一个或多个机制(包括本文中称为“配对设置”和“配对添加”的机 制)。配对设置可包括带外信息交换(例如,用户可将由附件104提供的 数字或字母数字PIN或者密码输入由控制器102提供的界面中)以建立共 享密钥。该共享密钥可用于支持控制器102和附件104之间的“长期”公钥的 安全交换,并且每个设备可存储从另一个设备接收的长期公钥,使得建立 的配对可以持久。在建立配对之后,认为控制器102被授权,此后控制器 102和附件104可根据需要进出通信而不会丢失已建立的配对。当控制器 102尝试与附件104通信或控制附件104时,可首先执行“配对验证”过程以验证建立的存在配对(例如,在控制器102先前完成与附件104的配对设 置的情况下)。配对验证过程可包括每个设备证明其拥有与在配对设置期 间交换的长期公钥对应的长期私钥,并且还可包括建立新的共享密钥或会 话密钥,以在“配对验证”会话(在本文中也称为验证会话)期间加密所有通 信。在配对验证会话期间,具有适当权限的控制器可执行“配对添加”过程, 以代表另一个控制器与附件建立另一个配对。任一设备均可仅通过破坏会 话密钥的副本或使其无效来在任何时间结束配对验证会话。
在一些实施方案中,多个控制器可与同一附件建立配对(例如,通过 执行配对设置,或通过具有由先前执行配对设置的控制器添加的配对), 并且附件可接受并响应来自其配对控制器中的任一者的通信,同时拒绝或 忽略来自未配对控制器的通信。配对设置、配对添加和配对验证过程的示 例以及安全相关操作的其他示例在上文引用的美国专利申请No.14/614,914 中描述。
在一些实施方案中,控制器(或其用户)可被分配关于附件的各种许 可或权限。例如,管理员权限可以有最高级别的权限,并且具有管理员权 限的控制器可与附件建立配对并控制附件状态的任何可控特征。在一些实 施方案中,可将管理员权限授予第一控制器以执行与特定附件的配对设置, 并且在管理员控制器执行配对设置之后,附件可拒绝执行与任何其他控制 器的配对设置;相反,管理员控制器可通过执行配对添加来将访问权限授予其他控制器(或其他用户)。在一些实施方案中,管理员控制器可为每 个添加的控制器指定权限(包括管理员权限)。
应当理解,家庭环境100是例示性的,并且可以进行变更和修改。本 文所述的实施方案可在用户希望使用控制器设备来控制一个或多个附件设 备的任何环境中实现,包括但不限于家、汽车或其他车辆、办公楼、具有 多个建筑物的园区(例如,大学校园或公司园区)等。可对任何类型的附 件设备进行控制,包括但不限于门锁、门开启器、灯具或照明系统、开关、 电源插座、摄像机、环境控制系统(例如,恒温器和HVAC系统)、厨房 电器(例如,冰箱、微波炉、炉灶、洗碗机)、其他家用电器(例如,洗 衣机、干衣机、吸尘器)、娱乐系统(例如,电视机、立体声系统)、窗 户、窗帘、安全系统(例如,警报器)、传感器系统等等。单个控制器可 与任何数量的附件建立配对,并且可在不同时间与不同附件选择性地通信。 类似地,单个附件可由已与其建立配对的多个控制器控制。可通过将功能 建模为具有一个或多个特征的服务,并且允许控制器与该服务和/或其特征 交互(例如,读取、修改、接收更新的通知)来控制附件的任何功能。因 此,本文所述的技术的实施方案中所使用的协议和通信都可统一地应用于 具有一个或多个控制器以及一个或多个附件的任何环境中,不管附件功能 或控制器形状因数或具体界面如何。
图2示出了示例网络配置200。配置200允许控制器202经由协调器 210与位于本地环境206(例如,家庭环境)中的附件204通信。每个控制 器202可以是经常出入于环境206的用户(例如,家庭住户或家庭固定访 客)所拥有和/或操作的电子设备。控制器202各自可类似于图1的控制器 102,并且附件204可类似于图1所示的各种附件。
附件204各自可与可位于本地环境206中的协调器设备(或“协调器”) 210通信。如本文所用,“协调器”可以是能够作为附件204的控制器操作以 及将来自其他控制器(例如,控制器202)的消息中继到附件204的电子设 备。在一些实施方案中,协调器210可以是可协调多个控制器和/或附件之 间的操作并且不限于被动地中继消息的“智能”设备。协调器210可包括能够 将其自身作为控制器呈现给附件204并且能够与控制器202安全通信的任何设备。在一些实施方案中,协调器210可将其自身作为控制器呈现给附 件204,并且作为附件(所述附件提供用于与其他附件(例如,附件204) 通信的服务)呈现给控制器202;示例在美国专利申请No.14/725,891中描 述。在一些实施方案中,协调器210可以是预期留在本地环境206中并且 预期在大部分或所有时间被接通且可用于通信的设备。(应当理解,协调器210偶尔可能不可用,例如在与软件连接或固件升级、电力中断或出现 其他间歇时)。例如,协调器210可根据需要在台式计算机、Wi-Fi或接入 点单元、专用附件控制基站、电视或其他电器的机顶盒(除了与电视或其 他电器发生交互外,还可实现协调器功能)或任何其他电子设备中实现。
在一些实施方案中,协调器210和附件204可使用局域网(LAN)诸如 Wi-Fi网络和/或点对点通信媒介诸如蓝牙LE来通信。应当理解,可使用其 他通信协议。在一些实施方案中,控制器202、附件204和协调器210可如 上所述支持统一的附件协议,该统一的附件协议可使用Wi-Fi和蓝牙LE两 者作为传输方法来受到支持。
在图2的示例中,控制器202(1)和202(4)当前与附件204和协调器210 一起位于本地环境206中。例如,控制器202(1)可与附件204和协调器210 位于同一LAN上。控制器202(2)和202(3)当前位于本地环境206外,但是 连接到通信网络208(例如,互联网)。这类控制器被称为“远离”附件204 和协调器210。应当理解,控制器202可以是有时位于本地环境206内、有 时位于本地环境206外的移动设备。附件204不一定是移动的并且不一定 连接到通信网络208(但是如果需要它们可以是移动的或者连接到通信网 络)。在一些实施方案中,协调器210可连接到通信网络208,并且可促进 通过远程控制器202(2)和202(3)访问附件204。
在所示的示例中,控制器202可经由协调器210与附件204通信,并 且协调器210据称可充当附件204的“代理”。协调器210可与附件204(1)和 204(2)直接通信。就附件204(3)而言,协调器210可经由“桥接器”212通信。 桥接器212可操作以在控制器和附件之间中继命令;在一些实施方案中, 桥接器212和/或协调器210还可在协调器210或控制器202和附件204(3) 使用的不同通信协议之间进行转换。此外,在一些实施方案中,桥接器212 可实现为“隧道”,该隧道可在协调器210和附件204(3)之间提供安全的端到 端通信。代理、桥接器和隧道的示例在上文引用的美国专利申请No. 14/725,891中描述。
在网络配置200的一些具体实施中,控制器202可被配置为每当可能 时就经由协调器210与附件204通信。因此,如图所示,位于本地环境206 中的控制器202(1)与远程位于控制器202(2)和202(3)一样与协调器210通信, 而不是与附件204直接通信。控制器202和附件204中的任一者之间的直 接通信可被限制为例如协调器210不可用的情况。在其他实施方案中,控 制器202可与附件204直接通信,无论它们何时恰好处于彼此的范围内 (例如,在同一Wi-Fi网络上或在蓝牙范围内)。例如,如图所示,控制 器202(4)可与附件204(2)直接通信。
在一些实施方案中,协调器210可用于协调多个控制器202对多个附 件204的访问。例如,不是在每个控制器202和每个附件204之间建立配 对,控制器202各自可与协调器210建立配对,并且协调器210可与每个 附件204建立配对。用于建立控制器-附件配对的相同配对设置和/或配对添 加过程也可用于建立控制器协调器配对,其中协调器充当附件的角色。为 了进行协调器-附件配对,协调器可承担控制器的角色。因此,协调器210 可在与控制器(例如,控制器202中的任一个)通信时将其自身作为附件 呈现,并且在与附件(例如,附件204)通信时将其自身作为控制器呈现。
协调器210可促进包括附件204在内的附件网络的操作。例如,协调 器210可维护附件网络的环境模型,并且可将模型(或其部分)提供给各 种控制器202;环境模型的示例在下文描述。控制器202可通过与协调器 210交互来操作附件204。
在一些实施方案中,协调器210可管理与附件网络或环境模型相关联 的许可,以限制具体控制器202对一些或全部附件204的访问。在一些实 施方案中,控制器202可通过协调器210优先将所有请求路由到附件204, 并且在一些实施方案中,附件204可被配置为仅与协调器210直接通信并 忽略直接来自控制器202的请求。这可允许协调器210对访问附件204执 行许可和其他限制。
通过协调器210与附件集中通信可简化对控制器网络和/或附件网络 (例如,本地环境206中的控制器202和附件204)的管理。例如,如果获 得新附件,则新附件仅需要与协调器210建立配对,以便允许所有控制器 202访问新附件。类似地,如果获得新控制器202,则新控制器202仅需要 与协调器210建立配对,以允许新控制器访问所有附件204。在具有多个控 制器(例如,每个成员各自具有多个设备的家庭)以及可能几十个附件的 环境中,可节省相当多的时间。
应当注意,在配置200中,可能允许一个或多个控制器(例如,控制 器202(1))与一个或多个附件(例如,附件204(1))间接(经由协调器210) 而不是直接通信,不管控制器202(1)是否位于本地环境206中。这例如在 控制器202(1)已经与协调器210建立配对但是不直接与附件204(1)建立配对 的情况下可能发生。在一些情况下,这可提供增强的安全性;例如,具有 与协调器210建立的配对的附件可拒绝建立任何其他配对。然而,可能存 在需要直接访问的情况,并且可允许在某个附件(例如,附件204(1))和 一个或多个控制器202之间建立直接配对。例如,假定附件204(1)是门锁 并且控制器202(1)是移动电话。如果建立了附件204(1)和控制器202(1)之间 的直接配对,则用户可使用控制器202(1)经由直接通信来锁定或解锁附件 204(1),从而锁定或解锁门。这例如在协调器210暂时不可用的情况下可能 有用。在一些实施方案中,协调器210可用于向附件204(1)指示哪些控制 器202被授权直接访问,并且附件204(1)可与授权控制器202建立配对。 在一些实施方案中,附件204(1)可被配置为仅在协调器210不可用时接受 来自授权控制器202的直接通信。因此,一般规则可以是:与附件204的 所有通信都通过协调器210,而在每个附件和每个控制器的基础上进行的例 外。
协调器210可作为智能代理操作,以允许控制器操作附件,而不是简 单地中继消息。例如,协调器210可与每个控制器202建立配对并且与每 个附件204建立配对。当控制器202(1)例如接收到与具体附件(例如,附 件204(1))交互的用户请求时,控制器202(1)可与协调器210建立第一配对 验证会话,并且经由第一配对验证会话将附件204的指令提供给协调器210。 协调器210可接收指令,与附件204建立第二配对验证会话,并且经由第 二配对验证会话向附件204发送适当的控制消息。在一些实施方案中,协 调器210可对指令的内容知情,并且在一些实施方案中,发送到附件204 的消息不一定对应于由控制器202(1)提供的指令。例如,在与控制器202(1) 通信时,协调器210也可与另一个控制器(例如,控制器202(2))通信。 控制器202(1)和202(2)各自可将附件204的指令提供给协调器210。协调器210可分析所接收的指令,例如以检测和解决诸如以下冲突:控制器202(1) 指示协调器210打开附件204,而控制器202(2)指示协调器210关闭附件 204。可利用解决冲突的优先规则或其他规则(例如,“打开”优先于“关闭”; 来自具有管理员权限的控制器的指令优先于来自不具有管理员权限的控制 器的指令;等等)来编程协调器210。协调器210可应用优先规则来解决任 何冲突,并且可基于解决结果向附件204传送指令。当从附件204接收到 响应时,协调器210可确定是否向控制器202(1)和/或向控制器202(2)发送 对应的消息(或不同的消息)。
又如,协调器210可执行针对各种控制器202和/或附件204建立的许 可。例如,当控制器202中的一者发送请求时,协调器210可应用决策逻 辑来确定发送请求的控制器202是否具有适当的许可;如果不是,则协调 器210可拒绝该请求。根据需要,决策逻辑可以是简单的或复杂的;例如, 属于孩子的控制器可能受限于一天中的哪几个小时或者其可操作特定附件 (例如,电视机)多长时间,而父母的控制器可具有不受限的访问,或者 与客人(例如,保姆)相关联的控制器可被限制为操作某个附件子集。因 此,协调器210不限于充当控制器和附件之间的消息的被动中继器,而是 可主动干预以解决冲突指令,执行授予特定控制器或用户的权限或许可上 可能存在的任何限制,等等。
应当理解,网络配置200是例示性的,并且可以进行变更和修改。任 何数量的控制器和任何数量的附件可包括在网络配置中。在一些实施方案 中,协调器210可用代理替换,该代理在控制器和附件之间中继消息,而 不必读取消息的内容。在一些实施方案中,可完全省略协调器210。一些或 全部附件204可仅在本地环境中能够访问。此外,如下所述,不同的控制 器202可具有关于访问附件204的不同许可级别;例如,对于一些控制器 202可允许经由网络208进行远程访问,但是对于其他控制器202则不允许。
如上所述,协调器210可在具有可被控制的多个附件的自动化环境的 情况下特别有用。示例包括家、汽车或其他车辆、办公楼、具有多个建筑 物的园区等。出于举例说明的目的,将描述家的附件网络具体实施的示例; 接触本公开的本领域技术人员将会理解,可在其他自动化环境中实现类似 的附件网络。
在附件网络的一个示例中,每个附件连接到一个或多个控制器,并且 附件可通过发送消息来控制,例如如在上文引用的美国专利申请No. 14/725,912和美国专利申请No.14/614,914中所述。这对于只有几个附件的 小型网络来说可能是完全可用的。然而,在一些情况下,特别是随着附件 数量的增加,建立可以协调方式进行管理的有意义(对用户而言)的附件 组可能是有帮助的。因此,本文所述的技术的某些实施方案包括可用于协 调附件网络中多个附件的控制的环境模型。
如本文所用,环境模型可提供环境中附件的各种逻辑分组。例如,可 通过定义可表示家中的房间(例如,厨房、客厅、主卧室等)的“房间”来对 家庭环境进行建模。在一些情况下,模型中的房间不一定对应于家中的房 间;例如,可有“前院”房间或“任何地方”房间(其可用于指存在于家中的附 件,但其在家中的位置可改变或者没有被定义为房间)。可例如基于附件 的实际物理位置,将家中的每个附件分配给环境模型中的房间。可基于物 理和/或逻辑相似性将房间分组为多个区域。例如,两层住宅的环境模型可 能具有“楼上”区域和“楼下”区域。又如,环境模型可能具有“卧室”区域,其 包括所有的卧室而不管它们在哪里。根据需要(例如,取决于环境的大小 和复杂性),该模型可以是简单的或复杂的。
在定义环境模型的情况下,环境模型中表示的附件可单独控制,也可 在房间、区域或整个模型的层面进行控制。例如,用户可指示控制器或协 调器打开所有的外部灯或关闭具体房间中的所有附件。
还可定义其他附件分组。例如,在一些实施方案中,用户可通过将各 种附件分组成“服务组”来增强环境模型,所述“服务组”可包括用户可能希望 在至少一些时间一起控制的任何一组附件。服务组可包括房间或区域的任 何组合中的附件,并且服务组中的附件可以是同类的(例如,所有楼上的 灯)或异类的(例如,灯、风扇和电视机)。在一些实施方案中,用户可 向控制器提供单个指令以设置整个服务组的状态(例如,打开或关闭该 组)。虽然不是必需的,但是服务组的使用可在协调对多个附件的控制方 面提供另一程度的灵活性。
在一些实施方案中,给定环境的环境模型可被表示为数据对象(或数 据对象集)。环境模型可在与环境相关联的控制器(例如,具有管理员权 限的控制器)上创建,并且可通过同步操作与其他控制器共享。例如,图2 的控制器202可与由协调器210(其可从控制器202接收更新)维护的环境 模型的“主”副本同步,或者可使用基于云的同步(其中主副本存储在经由网 络208能够访问的位置中并且和与环境相关联的控制器和协调器自动同 步)。因此,与给定环境相关联的所有控制器和协调器可共享访问相同环 境模型。
与定义和使用环境模型有关的其他示例在上文引用的美国专利申请No. 14/725,912中描述。应当理解,环境模型不需要利用下文所述的至少一些特 征。
图3是用于管理附件的示例系统300的框图。在一些具体实施中,系 统300可包括用户设备302。用户设备302可例如对应于控制器202中的一 者(例如,控制器202(1)、控制器202(2)等),如上文参考图2所述。用户 设备302可对应于协调器210(例如,协调器116),如上文参考图2所述。 例如,用户设备302可以是计算设备,诸如膝上型计算机、平板电脑、智 能电话或可穿戴设备(例如,智能手表、智能眼镜、智能服装等)。用户 设备302可以是计算设备,诸如台式计算机、流媒体设备、家庭媒体服务 器、路由器或其他计算设备。用户设备302可包括例如家庭应用程序304。 家庭应用程序304可以是用户设备302的独立式用户应用程序或系统应用 程序(例如,与操作系统紧密集成或者是操作系统的一部分)。
在一些具体实施中,用户设备302可包括家庭守护进程305。例如, 家庭守护进程305可以是在用户设备302上运行的守护进程或后台进程, 其监视各种附件的状态和/或协调附件和其他用户设备(例如,其他家庭应 用程序)之间的通信,如上文和下文所述。例如,在协调器设备中,家庭 守护进程305可用作从附件到用户设备(例如,控制器)的消息的路由器, 如上所述。在一些具体实施中,家庭守护进程305可被配置为从各种智能 附件收集状态信息、配置信息和/或特征信息,并将附件信息存储在适当的 数据库(例如,附件数据库306、附件状态数据库308等)中。当家庭应用 程序304需要由家庭应用程序304管理的附件的附件信息(例如,状态信 息、配置信息、特征信息、附件控制信息等)时,家庭应用程序304可从 家庭守护进程305请求附件信息,并且家庭守护进程305可从适当的数据 库(例如,附件数据库306、附件状态数据库308等)或直接从附件获得信 息,如下所述。虽然本文公开的许多特征被描述为家庭应用程序304的特 征,但是家庭守护进程305可执行相同或相似的特征。例如,家庭守护进 程305可执行历史数据的分析、新场景的生成、服务组和其他机器学习活 动。家庭守护进程305随后可将这类分析(例如,新场景、服务组等)的 结果传递给家庭应用程序304(例如,在相同设备上、在不同设备上等)以 呈现给用户。
在一些具体实施中,当用户设备302被配置为控制器(例如,控制器 202(1)、控制器202(2))时,用户设备302可包括家庭应用程序304、家庭 守护进程305、附件数据库306和/或附件状态数据库308。当用户设备302 被配置为协调器(例如,协调器116、协调器210)时,用户设备302可包 括缩减的特征集或不同的特征集,并且包括家庭守护进程305、附件数据库 306和/或附件状态数据库308。如上所述,作为控制器,用户设备302可使 用家庭应用程序304和家庭守护进程305充当控制器和协调器。
家庭应用程序304可被配置为管理和控制附件和附件状态。例如,当 用户在用户的家中安装或配置附件(例如,附件310、附件320)时,智能 附件可广播广告智能附件存在的消息(例如,蓝牙信号)。家庭应用程序 304可接收广播消息并将智能附件添加到由家庭应用程序304管理的附件中。 例如,家庭应用程序304可通过网络330(例如,WAN、LAN、WLAN、对等Wi-Fi、蓝牙等)从各个附件(例如,附件310、附件320等)接收状 态信息,并在用户设备302的显示器上向用户呈现状态信息。家庭应用程 序304可发送命令(例如,自动和/或响应于用户输入)以通过网络330改 变各个附件的当前状态。因此,家庭应用程序304可打开和关闭智能灯、 锁定和解锁智能锁、打开和关闭摄像机、从烟雾检测器接收警报以及管理 整个用户家中的其他智能附件和电器。
在一些具体实施中,家庭应用程序304可管理附件组。例如,当管理 家庭环境时,家庭应用程序304可根据附件在住宅中所位于的房间来对附 件(例如,附件310和附件320等)进行分组,如上所述。因此,用户可 与家庭应用程序304交互以将房间中的所有附件作为一组进行控制。例如, 对家庭应用程序304进行的单个用户输入可使家庭应用程序304通过网络 330向附件组(例如,服务组)中的每个附件(例如,附件310、附件320 等)发送命令,以改变分配给房间的所有附件的当前状态(例如,打开、 关闭)。
在一些具体实施中,家庭应用程序304可基于功能、分类或类别来对 附件进行分组。例如,即使附件不在同一房间内,也可将与外部安全相关 的附件(例如外部灯、门锁等)分组在一起。在一些具体实施中,这些服 务组可由家庭应用程序304响应于将附件分配给具体组(例如,房间、功 能类别等)的用户输入来生成。例如,用户可将标签(例如,房间名称、 类别等)应用于附件,并且家庭应用程序304可基于用于处理分配给附件 的标签的一组规则来将附件分配给服务组。在一些具体实施中,家庭应用 程序304可根据各种标准自动对附件进行分组,如下文进一步所述。在一 些具体实施中,家庭应用程序304可基于用户定义的分组对附件进行分组。 在一些具体实施中,家庭应用程序304可基于相关用途对附件进行分组。 例如,家庭应用程序304可基于历史附件状态改变数据来了解用户通常一 起使用哪些附件和/或用户为附件指定什么设置或状态,并且基于所了解的 用户行为来生成服务组和/或场景,如下文详细所述。如本文所述,家庭守 护进程305可执行与家庭应用程序304相同或相似的操作。当家庭守护进 程305生成附件组(例如,服务组)时,家庭守护进程305可将所生成的 附件组分发给同一用户设备302或其他(例如,远程)用户设备302上的家庭应用程序304以呈现给用户。
在一些具体实施中,系统300可包括附件310。例如,附件310可对应 于图2的附件204中的一者(例如,附件204(1))。如上所述,附件310可 包括使附件310确定其当前状态并通过网络330向用户设备302报告其当 前状态的逻辑(例如,软件)和硬件(例如,集成电路、射频发射器、存 储器等)。附件310可包括使附件310通过网络330从用户设备302接收 命令的逻辑和硬件,所述命令使附件310改变其当前状态(例如,打开/关 闭、调节音量、改变速度等)。例如,附件310可包括灯、锁、门铃、电 器、烟雾检测器、一氧化碳检测器、运动检测器、百叶窗、车库门开启器 和/或可能处于家、工作场所或其他环境中的其他电气设备。
在一些实施方案中,系统300可包括附件320。例如,附件310可对应 于图2的附件204中的一者(例如,附件204(2))。例如,附件320可包括 与附件310相同或相似的特征。附件320可以是例如与附件310相同类型 的设备。附件320可以是与附件310不同类型的设备(例如,风扇与灯) 并且具有与其不同的特征(例如,风扇速度与光色)。然而,附件310和 附件320都可以是可与家庭应用程序304通信并由家庭应用程序304管理 的智能附件。
在一些具体实施中,用户设备302可包括附件数据库306。例如,附 件数据库306可包括由用户设备302管理的附件(例如,附件310、附件 320)的附件配置信息。当家庭应用程序304和/或家庭守护进程305通过网 络330连接到附件310时,家庭应用程序304和/或家庭守护进程305可例 如从附件310获得附件配置信息(例如,特征、API、控件、命令等)。例 如,附件310可在通过网络330建立与家庭应用程序304和/或家庭守护进 程305的连接时,将其配置信息发送到家庭应用程序304。附件310可响应 于来自家庭应用程序304和/或家庭守护进程305的对配置信息的请求,将 其配置信息发送到家庭应用程序304和/或家庭守护进程305。
在一些具体实施中,家庭应用程序304和/或家庭守护进程305可从具 有附件310的配置信息的网络服务(例如,服务器340)获得附件配置信息。 例如,当家庭应用程序304和/或家庭守护进程305连接到附件310时,家 庭应用程序304和/或家庭守护进程305可从附件310接收附件标识符(例 如,品牌、型号、序列号等)。家庭应用程序304和/或家庭守护进程305 可在请求附件配置信息时将附件标识符发送到服务器340。服务器340(例 如,附件供应商的服务器)可基于从家庭应用程序304和/或家庭守护进程 305接收的附件标识符来获得(例如,从供应商的数据库)与附件310相关 联的配置信息。服务器340可通过网络330将所识别的附件的配置信息发 送到用户设备302上的家庭应用程序304和/或家庭守护进程305。家庭应 用程序304和/或家庭守护进程305可将附件配置信息存储在附件数据库306中。
监视附件状态
图4是具有各种智能附件402-432的示例家庭环境400的图示。虽然 参考家或住处描述了本文所述的技术的描述,但是本领域普通技术人员将 理解,由这些技术实现的特征、过程、算法和机制可容易地应用于其他环 境,诸如办公室、仓库、车库或其他建筑物。
在一些具体实施中,家庭环境400可配置有智能附件402-432。例如, 智能附件402-432可对应于图3的附件310和/或320。如本文所述,智能附 件402-432可由用户设备302上的家庭应用程序304和/或家庭守护进程305 进行管理和/或控制。
在示例场景(例如,场景‘A’)中,在家庭环境400的前门入口(例 如,前门)处,家庭环境400的拥有者(即,用户设备302的用户)已经 安装了外部灯402、外部摄像机404和外部门铃406。当访客按响门铃406 时,门铃406可向用户设备302上的家庭应用程序304发送状态消息,指 示有人操纵(例如,按下按钮)门铃406以使门铃406响起。响应于接收 消息,家庭应用程序304可在用户设备302的显示器上呈现通知,通知用 户门铃406已被按响。然后,用户可向家庭应用程序304提供输入以打开 外部灯402和摄像机404,使得用户可使用在用户设备302的显示器上呈现 且来自摄像机304的视频馈送来观看门处的人。当用户认识访客并希望访 客进入家庭环境400时,用户可使用门锁403解锁门。
在另一示例场景(例如,场景‘B’)中,家庭环境400的客厅可包括 大灯408和大灯410。例如,大灯408(例如,灯泡、灯具、大灯等)可以 是具有各种特征的附件(例如,附件310)。大灯408可以例如像普通灯一 样简单地打开和关闭。大灯408可以能够照射出不同的颜色。大灯408可 以是可调光的,使得大灯408可以不同的亮度水平照明。大灯410例如可具有与大灯408相似或不同的特征。例如,大灯408可能仅能够打开和关 闭,而大灯410可能具有调光器和颜色选择特征。当用户进入客厅看电视 (例如,智能电视416和/或流媒体设备414)、看书或玩游戏时,用户可 打开(例如,当看电视时)或关闭(例如,当看书或玩游戏时)大灯408 和410。用户可使用家庭应用程序304打开和关闭大灯408和大灯410,或 者通过单独与每个大灯交互来手动打开和关闭大灯408和大灯410。
作为另一示例场景(例如,场景‘C’),家庭环境400的客厅可包括 空调控制器412(例如,智能恒温器)、流媒体设备414、智能电视416和/ 或智能风扇418。当用户在客厅里看电视时,用户可打开智能电视416、流 媒体设备414、风扇418,并使用控制器412打开家用空调,以使房间变得 凉爽以便于看电视。用户可使用附件上的开关和/或典型的遥控器手动打开 这些附件。用户可使用用户设备302上的家庭应用程序304来打开这些附 件。当用户看完电视时,用户可使用附件上的开关和/或典型的遥控器手动 关闭这些附件。用户可使用用户设备302上的家庭应用程序304来关闭这 些附件。
作为另一示例场景(例如,场景‘D’),在家庭环境400的卧室中, 用户可能已经在用户的床边安装了智能大灯432和434。用户的早晨例程可 能是用户打开大灯432和/或大灯434并且进入厨房并打开智能咖啡机420, 然后去卫生间并打开智能灯422和智能风扇424,然后洗澡。用户可通过与 每个设备进行物理交互来手动和单独打开这些附件中的每一个。用户可使 用用户设备302上的家庭应用程序304来打开这些附件中的每一个。
当用户交互、操纵或改变附件的状态时(例如,如上述场景中所述), 每个附件可向用户设备302上的家庭应用程序304/或家庭守护进程305报 告标识其新状态(例如,现在的当前状态)的状态改变事件。家庭应用程 序304/或家庭守护进程305可将从附件接收的状态改变事件信息(例如, 附件状态信息)存储在附件状态数据库308中。例如,附件状态数据库308 可针对每个状态改变事件存储附件标识符、指示事件何时发生的时间戳和/ 或附件的新状态。因此,附件状态数据库308可存储附件状态随时间变化 的历史。
在一些具体实施中,附件(例如,附件310)可向家庭应用程序304 和/或家庭守护进程305报告其他状态信息。例如,附件310可将错误状态 信息发送到家庭应用程序304和/或家庭守护进程305。例如,附件310可 确定附件310的电源问题(例如,电池电量低、外部电源断开等),并将 电源问题报告给家庭应用程序304和/或家庭守护进程305。附件310可确定附件310的配置问题(例如,固件或软件过期),并将配置问题报告给 家庭应用程序304和/或家庭守护进程305。附件310可确定安全问题(例 如,未授权用户试图访问附件)并将安全问题报告给家庭应用程序304和/ 或家庭守护进程305。如上所述,当家庭应用程序304和/或家庭守护进程 305接收到描述状态改变事件的信息时,家庭应用程序304可将状态改变事 件数据存储在附件状态数据库308中。
自动确定相关附件
在一些具体实施中,家庭应用程序304可使用历史附件状态信息来确 定使用模式并基于历史使用模式来确定附件之间的关系。例如,在上述场 景‘A’中,用户在彼此的短时间内使用门铃406、外部灯402、摄像机404 和/或锁403来确定谁按响了门铃和/或允许访客进入家庭环境400。因为这 些附件向家庭应用程序304和/或家庭守护进程305报告其状态和/或状态变 化,所以附件状态数据库308可包括灯402、锁403、摄像机404和/或门铃 406的状态改变条目,指示所有这些附件在短时间内改变状态。例如,附件 状态改变条目可包括附件的标识符、状态改变何时发生的时间戳以及状态 改变的描述(例如,开、关、锁定、解锁等)。家庭应用程序304可比较 数据库308中条目的时间戳,以确定这些附件中的每一个在大约相同的时 间(例如,在阈值时间段内)改变状态。基于数据库308中附件状态改变 条目的时序,家庭应用程序304可确定指示灯402、锁403、摄像机404和/ 或门铃406通常一起使用并且因此相关的历史使用模式。
在一些具体实施中,家庭应用程序304可基于与附件相关联的元数据 来确定附件相关。例如,可将附件分配给用户指定的房间。家庭应用程序 304可使用这些房间标签(例如,客厅、家庭房、卧室等)来自动确定哪些 附件相关。例如,家庭应用程序304可确定具有相同房间标签的附件相关。 家庭应用程序304可使用其他附件元数据(例如,附件类型、附件分类、 附件特征等)来自动确定哪些附件相关。
类似地,在上述场景‘B’中,用户在彼此的短时间内使用大灯408和 大灯410来设置客厅以便看电视或看书。因为这些附件向家庭应用程序304 和/或家庭守护进程305报告其状态和/或状态变化,所以附件状态数据库 308可包括大灯408和大灯410的状态改变条目,指示这些附件在彼此的短 时间内改变状态。例如,附件状态改变条目可包括附件的标识符、状态改 变何时发生的时间戳以及状态改变的描述(例如,开、关、调光器水平、 灯颜色等)。家庭应用程序304可比较数据库308中条目的时间戳,以确 定这些附件中的每一个在大约相同的时间(例如,在阈值时间段内)改变 状态。基于数据库308中附件状态改变条目的时序,家庭应用程序304可 确定指示大灯408和大灯410通常一起使用并且因此相关的历史使用模式。
在上述场景‘C’中,用户在彼此的短时间内使用空调控制器412、流媒 体设备414、智能电视416和/或智能风扇418来设置客厅以便看电视。因 为这些附件向家庭应用程序304和/或家庭守护进程305报告其状态和/或状 态变化,所以附件状态数据库308可包括空调控制器412、流媒体设备414、 智能电视416和智能风扇418的状态改变条目,指示这些附件在彼此的短 时间内改变状态。例如,每个附件的附件状态改变条目可包括附件的标识符、状态改变何时发生的时间戳以及状态改变的描述(例如,开、关、电 视频道、风扇速度、流媒体源等)。家庭应用程序304可比较数据库308 中条目的时间戳,以确定这些附件中的每一个在大约相同的时间(例如, 在阈值时间段内)改变状态。基于数据库308中附件状态改变条目的时序, 家庭应用程序304可确定指示空调控制器412、流媒体设备414、智能电视416和智能风扇418通常一起使用并且因此相关的历史使用模式。
在上述场景‘D’中,用户在彼此的短时间内使用智能大灯432、智能 大灯434、咖啡机420、智能灯422和智能风扇424作为用户的早晨例程的 一部分。因为这些附件向家庭应用程序304和/或家庭守护进程305报告其 状态和/或状态变化,所以附件状态数据库308可包括智能大灯432、智能 大灯434、咖啡机420、智能灯422和智能风扇424的状态改变条目,指示 这些附件在彼此的短时间内改变状态。例如,每个附件的附件状态改变条 目可包括附件的标识符、状态改变何时发生的时间戳以及状态改变的描述 (例如,开、关、咖啡机设置等)。家庭应用程序304可比较数据库308 中条目的时间戳,以确定这些附件中的每一个在大约相同的时间(例如, 在阈值时间段内)改变状态。基于数据库308中附件状态改变条目的时序, 家庭应用程序304可确定指示智能大灯432、智能大灯434、咖啡机420、 智能灯422和智能风扇424通常一起使用并且因此相关的历史使用模式。
自动生成服务组
在一些具体实施中,家庭应用程序304可基于相关附件自动生成服务 组。例如,当家庭应用程序304如上所述确定附件相关时,家庭应用程序 304可自动创建包括相关附件的服务组。例如,家庭应用程序304可创建包 括灯402、锁403、摄像机404和/或门铃406的服务组(例如,“前门安 保”),如上文场景‘A’中所述。家庭应用程序304可自动创建包括大灯408和大灯410的服务组(例如,“客厅灯”),如上文场景‘B’中所述。家 庭应用程序304可自动创建包括空调控制器412、流媒体设备414、智能电 视416和智能风扇418的服务组(例如,“客厅娱乐”),如上文场景‘C’中 所述。家庭应用程序304可自动创建包括智能大灯432、智能大灯434、咖 啡机420、智能灯422和智能风扇424的服务组(例如,“唤醒”),如上文 场景‘D’中所述。
在一些具体实施中,家庭应用程序304可将服务组中的附件作为集体 (例如,作为单个实体)进行管理。例如,即使服务组可包括多个附件, 家庭应用程序也可提供允许用户利用单个输入调节服务组中多个附件的设 置的组控件。类似地,由服务组中的附件生成的通知可被处理和/或呈现为 服务组通知而不是单独的附件通知。通过将附件组合到服务组中,用户可 更容易地发现、控制附件并与之交互,以调节或控制用户的环境。
自动生成场景
在一些具体实施中,家庭应用程序304可基于相关附件自动生成场景。 例如,在服务组为用户提供组控件以指定服务组的设置时,场景配置有设 置以便当用户调用或选择场景家庭应用程序304时自动调节场景中附件的 状态,从而匹配所配置的场景设置。例如,当创建场景时,家庭应用程序 304不仅可如上所述基于时序,而且还可基于相关附件的状态来确定附件相 关。例如,家庭应用程序304可确定在大约相同的时间使用附件的使用模式,并且在该使用模式的每个实例中设置随时间变化相同。
例如,在上文场景‘A’中,当门铃406响起时,用户打开灯402和摄 像机404。家庭应用程序304可创建包括灯402和摄像机404的场景(例如, 场景‘A’),因为数据库308将具有指示历史使用模式的历史状态数据, 该历史使用模式包括在大约相同的时间打开灯402和摄像机404。家庭应用 程序304可配置场景‘A’,使得当用户调用或选择场景‘A’时,家庭应用 程序304将使灯402和摄像机404打开。
又如,在上文场景‘C’中,用户可将空调控制器412设置为60度,将 智能风扇418设置为中速,打开流媒体设备414,并且打开智能电视416并 将电视设置为用于流媒体设备414的输入。家庭应用程序304可创建包括 空调控制器412、智能风扇418、流媒体设备414和智能电视416的场景 (例如,场景‘C’),因为数据库308将具有指示历史使用模式的历史状态数据,该历史使用模式包括在大约相同的时间打将空调控制器412的设 置改变为60度,将智能风扇418的设置改变为中速,打开流媒体设备414, 以及打开智能电视416并将输入设置为对应于流媒体设备414的输入。家 庭应用程序304可配置场景‘C’,使得当用户调用或选择场景‘C’时,家庭 应用程序304将空调控制器412设置为60度,将智能风扇418设置为中速, 打开流媒体设备414,并且打开智能电视416并将电视设置为用于流媒体设 备414的输入。
因此,家庭应用程序304可自动生成重建通常在大约相同的时间使用 或调节的相关附件的先前状态的场景。换句话讲,家庭应用程序304可基 于历史使用模式自动生成场景,该历史模式不仅基于在彼此的短时间段 (例如,1分钟、3分钟、7分钟等)内使用哪些附件,而且还基于一起使 用附件时每个附件的设置。
定义服务组
图5是通过家庭应用程序304呈现的示例图形用户界面500。例如,图 形用户界面(GUI)500可以是当在用户设备302上调用家庭应用程序304时 呈现的初始图形界面(例如,home屏幕、默认GUI等)。例如,GUI 500 可呈现在用户设备302的显示器上。GUI 500可以是用于管理家、办公室或 其他建筑物内的附件的界面。家庭应用程序304可被配置为管理不同家、 办公室、建筑物等内的附件,并且用户可向家庭应用程序304提供输入以 在建筑物之间切换,从而查看针对每个建筑物配置的附件、服务组、场景 等。以下描述将关于用户的家(例如,标记为“我的家”)描述家庭应用程序304的各种具体实施、特征、过程和图形用户界面,然而本文所述的具体实 施可应用于任何建筑物而不仅仅是用户的家。
在一些具体实施中,GUI 500可包括状态元素501。例如,状态元素 501可呈现由如上所述连接到家庭应用程序304(例如,向其注册、与其配 对等)的各种附件(例如,附件310、附件320)报告的附件状态数据。状 态元素501可呈现由家庭应用程序304确定的附件状态数据。例如,当家 庭应用程序304和附件320之间的连接断开(例如,网络不可用、附件断 电等)时,家庭应用程序304可确定附件320无法接通或无响应。状态元 素501可向用户提供用户家的附件的当前状态的快速查看。下文参考图 21A和图21B进一步详细地描述状态元素501。
在一些具体实施中,GUI 500可包括表示已经与家庭应用程序304配 对的附件的图形元素502-508。例如,如果家庭应用程序304已经被配置为 与附件通信或者先前已经与附件建立了连接,则附件可表示在GUI 500上。 然而,由于在大多数移动设备上可用的显示空间有限,GUI 500可仅显示用 户指定为收藏的附件。如果附件当前连接到家庭应用程序304,则对应的图 形元素(例如,图形元素502)可呈现附件的完全亮色表示。如果附件当前未连接到家庭应用程序304,则对应的图形元素可呈现附件的柔和、灰色或 其他减弱表示。
在一些具体实施中,图形元素502-508可表现为包括描述对应的附件 的信息(例如,附件类型、位置、状态等)的图块。例如,图形元素502 可表示和描述位于用户的家庭房中的电视(例如,智能电视416)。图形元 素504可表示和描述位于用户的卧室中的吊扇。图形元素506可表示和描 述位于用户的厨房中的顶灯。图形元素508可表示和描述位于用户的卧室 中的收音机。用户可选择(例如,轻击)任何图块以打开和关闭(例如, 来回切换)或重复循环对应的附件的设置(例如,加热、制冷、关闭等)。 用户可选择(例如,触摸并保持、施加压力等)任何图块以使家庭应用程 序304呈现对应的附件的详细视图(未示出),包括呈现用户可选择以操 纵对应的附件的设置的任何附加控件。在一些具体实施中,GUI 500可包括 用于添加附件、创建新服务组和/或创建新场景的图形元素510。
在一些具体实施中,GUI 500可包括用于选择要在GUI 500上呈现的 家庭环境的图形元素512。例如,用户可具有在家庭应用程序304中配置的 不同家庭环境。用户可具有主要家庭环境、度假家庭环境、办公室环境等。 这些家庭环境中的每一个都可配置有智能附件并由家庭应用程序304进行 管理,如本文所述。如图5所示,家庭应用程序304当前呈现标记为“我的 家”的用户主要家庭环境的附件和状态信息。然而,用户可选择图形元素 512以使家庭应用程序304在GUI 500上呈现或表示不同的家庭环境,如下 文关于图23进一步描述。
图6示出了用于添加附件、创建新服务组和/或创建新场景的示例图形 用户界面600。例如,用户可选择图5的图形元素510以调用图形元素602 (例如,菜单、选项窗口等)。图形元素602可包括用于创建新服务组的 图形元素604(例如,按钮)。图形元素602可包括用于创建新场景的图形 元素606。图形元素602可包括在被选择时关闭、移除或隐藏图形元素602 的图形元素608。
图7示出了用于定义新服务组的示例图形用户界面700。例如,响应 于用户选择图6的图形元素604,家庭应用程序304可在用户设备302的显 示器上呈现GUI 700。GUI 700可包括用于指定要分配给新服务组的标签或 名称的图形元素702。例如,用户可选择图形元素702(例如,文本输入框、 文本输入控件等)以调用虚拟键盘(未示出)。用户可在虚拟键盘上键入 新服务组的名称(例如,“家庭房灯”)以使该名称在图形元素702中显示。
在一些具体实施中,GUI 700可呈现在家庭应用程序304中配置的附 件的表示。例如,GUI 700可呈现表示用户的住宅中的附件的图形元素(例 如,图块)。用户可向图形元素(例如,图形元素704和706)提供输入以 选择要添加到新服务组的具体附件。为新服务组选择的附件可用图形对象 (例如,图形元素704和706上的复选标记)或一些其他图形突出显示来 指示。在用户选择了要包括在服务组中的附件之后,用户可选择图形元素 708来完成服务组定义并使家庭应用程序304创建服务组。
呈现服务组控件
图8示出了用于呈现服务组的示例图形用户界面800。例如,GUI 800 可对应于图5的GUI 500。如上所述,服务组可为用户提供利用单个控件来 控制服务组内的多个附件的机制。服务组还提供了一种组织、查看和访问 相关附件的便捷方式。可响应于用户输入创建服务组,如参考图7所述。 当家庭应用程序304如上所述确定附件在使用中相关时,家庭应用程序304 可自动创建服务组。
在一些具体实施中,GUI 800可包括表示服务组的图形元素802。例如, 图形元素802可表示如参考图7所讨论的由用户创建的“家庭房灯”组。图形 元素802可表示由家庭应用程序304自动创建的“家庭房灯”组。例如,由图 形元素802表示的服务组可包括两个智能大灯(例如,大灯408、大灯 410)。用户可选择图形元素802以打开和关闭大灯408和大灯410。例如, 单击图形元素802可使对应服务组中的所有附件(例如,大灯408、大灯 410)打开和/或关闭。
在一些具体实施中,用户可选择(例如,长触摸、压力触摸等)图形 元素802以查看关于对应服务组的附加控件和/或详情。例如,可基于服务 组中的附件共有的特征来选择为服务组显示的控件。在一些具体实施中, 可仅显示共有控件。在一些具体实施中,用户可在控件之间导航,并且可 基于哪些控件最共有来确定呈现控件的顺序。
如上所述,家庭应用程序304可从附件数据库306获得对于服务组中 的每个附件可用的控件的描述。
图9示出了存储附件控制信息的示例数据库900。例如,数据库900可 对应于图3的附件数据库306。如上所述,数据库900可包括在家庭应用程 序304和/或家庭守护进程305中配置的每个附件(例如,附件310、附件 320等)的记录。家庭应用程序304和/或家庭守护进程305可从附件本身 或从由附件供应商或其他实体管理的服务器获得附件配置信息(例如,包 括附件标识符、附件API、附件特征、附件控件等)。
在一些具体实施中,家庭应用程序304可基于数据库900中的附件配 置信息来确定如何呈现一组附件的控件。例如,由于数据库900包括描述 每个附件可用的特征和/或控件的信息,因此家庭应用程序304可比较服务 组中每个附件的特征和/或控件以识别共有控件。当用户从家庭应用程序 304的GUI选择服务组时,家庭应用程序304可基于服务组中的每个附件 共有的控件来选择控件以呈现给用户。
例如,在上述场景‘B’中,家庭应用程序304自动将两个大灯(例如, 大灯408、大灯410)分组为服务组。类似地,当参考图7时,用户可创建 包括两个大灯(例如,大灯408、大灯410)的“家庭房灯”服务组。如果大 灯408对应于数据库900中的附件902并且大灯410对应于数据库900中的 附件904,则家庭应用程序304可比较针对数据库900中的每个附件列出的 特征,以确定呈现服务组的哪些控件。如图9所示,附件902提供开/关、 调光器和颜色控件。附件904提供开/关和调光器控件。因此,开/关和调光 器控件是附件902和附件904共有的。由于当用户如上所述选择(例如, 轻击)服务组图形(例如,图块或按钮)时,开/关控件是默认行为,因此 默认情况下为每个服务组提供开/关组控件。
然而,当用户选择查看组的详情(例如,长触摸、压力触摸等)时, 家庭应用程序304可呈现调光器控件,因为调光器控件是附件902和附件 904共有的。在一些具体实施中,家庭应用程序304可通过滚动其他附件控 件或在其中进行导航来在组级别提供对各个附件的其他控件的访问。但是, 可首先呈现最共有的附件控件。因此,家庭应用程序304可基于哪些控件 在服务组的附件中是最共有的来呈现附件控件(例如,对其进行优先级排序)。
图10示出了用于呈现服务组控件的示例图形用户界面1000。例如, 响应于用户选择(例如,长触摸、压力触摸等)图8的图形元素802(例如, 服务组按钮),家庭应用程序304可在用户设备302的显示器上呈现GUI 1000。
在一些具体实施中,GUI 1000可呈现服务组的详细视图。例如,GUI 1000可呈现表示服务组中的每个附件的图形元素1002和/或1004。对于“家 庭房灯”组,GUI 1000可呈现表示左桌灯(例如,大灯408)的图形元素 1002以及表示右桌灯(例如,大灯410)的图形元素1004。在一些具体实 施中,用户可选择图形元素1002或图形元素1004以查看关于各个附件和/ 或各个附件控件的详情。因此,用户可通过选择具体附件的表示来控制服 务组中的具体附件。各个附件的控件可与本文所述的服务组控件相同或相 似。然而,当用户操纵单独的附件控件时,仅单独的对应的附件的状态将 基于用户输入而改变;服务组中的其他附件不会受到影响。
在一些具体实施中,GUI 1000可呈现服务组的控件。如上所述,由图 形元素1002表示的大灯408可具有开/关、调光器和颜色控件。由图形元件 1004表示的大灯410可具有开/关和调光器控件。因此,“家庭房灯”服务组 中的附件共有开/关和调光器控件。由于通过选择GUI 800(例如,服务组 图形)的图形元素802来提供开/关控件,因此家庭应用程序304可选择剩 余的共有控件(例如,调光器控件1006)作为第一(或唯一)服务组控件 以在GUI 1000上呈现。例如,GUI 1000可被配置为仅呈现服务组中的所有 附件共有的控件。GUI1000可被配置为根据基于控件在组中的附件之间的 共同程度而确定的顺序来呈现与服务组中的附件相关联的所有控件。例如, 可首先呈现最共有的控件,然后是不太共有的附件控件,然后是仅与具体 (例如,单个、一个等)附件相关联的附件控件。在一些具体实施中,用 户可向GUI 1000提供输入(例如,轻击、轻扫等)以使家庭应用程序304 呈现该组的下一附件控件。
在一些具体实施中,GUI 1000可呈现所呈现的附件控件控制哪个附件 的指示。例如,GUI 1000可突出显示图形元素1002和图形元素1004,因 为调光器控件1006控制大灯408和大灯410。当用户向GUI 1000提供输入 以操纵调光器控件1006时,将根据用户输入调节大灯408和大灯410的亮 度水平。例如,家庭应用程序304可向大灯408和大灯410发送消息或命 令,以响应于接收操纵调光器控件1006的用户输入来调节每个大灯的当前 亮度设置或状态。
图11示出了用于呈现服务组控件的示例图形用户界面1100。例如, GUI 1100可类似于GUI 1000。然而,GUI 1100可响应于GUI 1000接收用 于呈现所选服务组(例如,“家庭房灯”组)的下一服务组控件的用户输入 (例如,轻扫手势、轻击等)来呈现另一服务组控件。如上所述,“家庭房 灯”服务组可包括大灯408和大灯410。由图形元素1002表示的大灯408可 具有开/关、调光器和颜色控件。由图形元素1004表示的大灯410可具有开 /关和调光器件,但是没有颜色控件。因此,当GUI 1000接收到用于呈现所 选服务组(例如,“家庭房灯”组)的下一服务组控件的用户输入时,家庭应 用程序304可呈现大灯408的颜色控件,因为“家庭房组”在服务组中的附件 之间没有共享的其他共有控件。
在一些具体实施中,GUI 1100可呈现服务组中单个附件的服务组控件。 例如,GUI1100可呈现由图形元素1002表示的大灯408的颜色控件。用户 可选择图形元素1110-1120以指定大灯408的颜色。例如,图形元素1110 可对应于蓝色,图形元素1112可对应于白色,图形元素1114可对应于橙 色,图形元素1116可对应于黄色,图形元素1118可对应于红色,并且图 形元素1120可对应于紫色。
在一些具体实施中,GUI 1100可呈现所呈现的附件控件控制哪个附件 的指示。例如,GUI 1100可突出显示图形元素1002而不突出显示图形元素 1004,因为所显示的颜色控件仅控制大灯408而不控制大灯410。当用户向 GUI 1100提供输入以操纵颜色控件时,将根据用户输入仅调节大灯408的 灯颜色。例如,当用户向GUI 1100提供选择图形元素1110-1120(例如, 统称为颜色控件)中的一者的输入,然后选择图形元素1122以指示用户完 成了选择颜色时,家庭应用程序304可向大灯408发送指示所选颜色的消 息或命令。另选地,每次选择图形元素1110-1120中的一者时,家庭应用程 序304都可向大灯408发送指示所选颜色的消息。然后,大灯408可根据 所指示的颜色产生光或照明。
编辑服务组
图12示出了用于编辑服务组的示例图形用户界面1200。例如,响应 于接收GUI1100的图形元素1130的用户选择,家庭应用程序304可在用 户设备302上呈现GUI 1200。例如,图形元素1100可以是用户可选择用于 编辑服务组(例如,“家庭房灯”服务组)的按钮或可选文本。
在一些具体实施中,GUI 1200可接收用于编辑现有服务组的用户输入。 例如,GUI1200可用于编辑用户定义的服务组。GUI 1200可用于编辑由家 庭应用程序304如上所述自动定义的服务组。GUI 1200可具有与图7的 GUI 700类似的特征。例如,GUI 1200可包括用于输入(例如,编辑)服 务组的名称的图形元素1102(例如,图形元素702)。例如,用户可将“家 庭房灯”服务组的名称改为“家庭房”。
在一些具体实施中,GUI 1200可包括表示在家庭应用程序304中配置 (例如,与家庭应用程序配对、连接到家庭应用程序等)的各种附件的图 形元素(例如,1204-1212)。家庭应用程序304的用户可选择各种附件的 表示,以将附件添加至正被编辑的服务组(例如,“家庭房”服务组)和/或 从正被编辑的服务组移除附件。例如,当GUI 1200接收到选择已经在服务 组中的附件(例如,图形元素1204)的用户输入时,家庭应用程序304可 从服务组中移除所选择的附件。
当GUI 1200接收到选择不在服务组中的附件(例如,图形元素1208) 的用户输入时,家庭应用程序304可将所选择的附件添加到服务组。例如, 用户可选择图形元素1208以将位于家庭房中的蓝牙扬声器(例如,扬声器 1)添加到“家庭房”服务组。用户可选择图形元素1210以将位于家庭房中的 蓝牙扬声器(例如,扬声器2)添加到“家庭房”服务组。用户可选择图形元 素1212以将位于家庭房中的吊扇添加到“家庭房”服务组。虽然本示例描述了将位于同一房间中的附件分组到服务组中,但是也可将位于不同房间中 的附件分组在一起。当用户完成编辑“家庭房”服务组时,用户可选择图形元 素1220以使家庭应用程序304保存所编辑的服务组。
图13示出了用于呈现所编辑服务组的服务组控件的示例图形用户界面 1300。例如,家庭应用程序304可在用户设备302的显示器上呈现GUI 1300。在一些具体实施中,响应于用户选择服务组(例如,“家庭房”服务 组),如参考图8所述,家庭应用程序304可呈现GUI1300。另选地,响 应于用户向GUI 900提供用于查看服务组的下一服务组控件的输入(例如, 轻击、轻扫手势),家庭应用程序304可呈现GUI 1300。
例如,“家庭房”服务组现在包括共有调光器控件的两个智能大灯(例 如,大灯408和410)以及共有音量控件的两个扬声器(例如,基于数据库 900的条目908和910确定)。由于这两个控件(例如,调光器控件、音量 控件)相同的共性(例如,该组中五个附件中的两个附件),因此这两个 控件将是由家庭应用程序304呈现的前两个控件。呈现这两个控件的顺序 可基于使用频率、字母顺序或一些随机逻辑。但是,这些控件将呈现在服 务组内不太共有的其他控件(例如,五个中的一个附件)之前。因此,当 用户从GUI 800选择服务组时,家庭应用程序304可呈现GUI 1000。家庭 应用程序304可响应于接收指示用户希望查看下一服务组控件(例如,音 量控件1308)的轻扫或轻击手势来呈现GUI 1300。
如上所述,GUI 1300可突出显示由当前呈现的附件控件控制的附件。 因此,当GUI1300呈现用于控制由图形元素1304和1306表示的蓝牙扬声 器的音量控件1308时,GUI1300可突出显示图形元素1304和1306。当用 户提供输入以操纵音量控件1308从而指定扬声器音量时,家庭应用程序 304可向两个蓝牙扬声器发送消息或命令,以根据用户的输入改变两个扬声 器的当前音量设置。
在一些具体实施中,GUI 1300可接收指示用户想要查看下一组附件控 件的用户输入。例如,用户可轻击或轻扫GUI 1300以使家庭应用程序304 呈现该组的下一附件控件。例如,家庭应用程序304可呈现包括大灯408 的颜色控件的GUI 1100,如上所述。用户可向GUI 1100提供输入以查看最 后一组附件控件(例如,风扇速度控件),如图14所示。
图14示出了用于呈现所编辑服务组的服务组控件的示例图形用户界面 1400。例如,GUI 1400可呈现速度控件1402。由于速度控件1402仅控制 吊扇,因此将突出显示表示家庭房吊扇的图形元素1302,以向用户指示哪 个附件正被速度控件1402控制。当用户操纵速度控件1402以指定风扇速 度时,家庭应用程序304可向家庭房吊扇发送消息或命令,以根据用户的 输入调节风扇的当前速度。
前门安保使用案例
图15示出了用于选择自动生成的服务组的示例图形用户界面1500。 例如,GUI1500可对应于图5的GUI 500。在一些具体实施中,GUI 500可 包括表示自动生成的服务组(例如,“前门安保”)的图形元素1502,如上 所述。类似于GUI 500,用户可选择(例如,轻击)图形元素1502以打开/ 关闭“前门安保”服务组中具有开/关控件的所有附件。
例如,如果“前门安保”服务组包括灯402、锁403、摄像机404和/或门 铃406,则家庭应用程序304可基于数据库900(即,附件数据库306)中 的附件控制数据来确定可打开和关闭灯402(718)和摄像机404(716),但是 不能打开和关闭锁403(714)和门铃406(712)。例如,门铃406可响起(例 如,通过与门铃406物理交互),但是不可打开和关闭。类似地,锁403可被锁定和解锁,但是不可打开和关闭。
在一些具体实施中,当用户打开提供媒体馈送的附件时,家庭应用程 序304可自动向用户呈现媒体馈送。例如,如果用户打开(例如,特定地 或作为服务组的一部分)用于与按响用户的前门门铃的访客交谈的对讲机 附件,则家庭应用程序304可自动打开用户设备302的麦克风和扬声器, 使得用户可与前门的访客交谈。类似地,如果用户打开(例如,特定地或 作为服务组的一部分)用于观看按响用户的前门门铃的访客的摄像机附件, 则家庭应用程序304可在用户设备302的显示器上自动呈现表示来自摄像 机附件(例如,摄像机404)的视频馈送的图形用户界面,使得用户可观看 前门的访客。如果摄像机附件包括双向音频,则家庭应用程序304可打开 用户设备302的麦克风和扬声器,使得用户可观看前门的访客并与其交谈。 例如,响应于选择图形元素1502的用户输入(例如,轻击),家庭应用程序304可呈现图16的GUI 1600,使得用户可观看来自摄像机404的视频馈 送。
图16示出了用于呈现自动生成的服务组的控件的示例图形用户界面 1600。例如,响应于选择图5的图形元素1302的用户输入(例如,长触摸、 压力触摸等),家庭应用程序304可在用户设备302的显示器上呈现GUI 1600。例如,GUI 1600可具有与上述GUI 1000、GUI 1100、GUI 1300和 GUI 1400类似的特征。
在一些具体实施中,GUI 1600可呈现所选服务组的服务组控件。例如, GUI 1600可呈现上述“前门安保”服务组的附件控件。如上所述,家庭应用 程序304可基于哪些控件在服务组中最共有来对服务组控件进行优先级排 序。由于“前门安保”服务组没有最共有的附件控件(例如,除了开/关之 外),因此家庭应用程序304可呈现用于前门锁403的锁定/解锁控件或用 于摄像机404的视频馈送控件。
在一些具体实施中,GUI 1600可呈现用于摄像机404的视频馈送控件 1602。例如,用户可提供用于选择控件1602的输入(例如,轻击)以使摄 像机404发起实况视频馈送。例如,响应于对控件1602的选择,家庭应用 程序304可向摄像机404发送命令或消息以使摄像机404开始实况视频馈 送。摄像机404可将前门周围区域的视频图像发送给用户设备302,并且家 庭应用程序304可在摄像机视频馈送控件1602中呈现实况视频馈送。要停 止视频馈送(例如,要关闭摄像机),用户可选择控件1602以使摄像机 404终止实况视频馈送。
在一些具体实施中,在呈现服务组中特定附件的附件控件时,家庭应 用程序304可接收用户输入以改变服务组中其他附件的状态。例如,在呈 现用于摄像机404的视频馈送控件1602时,GUI 1600可呈现表示前门锁 403的图形元素1602、表示摄像机404的图形元素1604和/或表示前门入口 灯402的图形元素1606。如上所述,图形元素1604被突出显示以指示GUI 1600上呈现的视频馈送控件与摄像机404相关联。
然而,代替导航到另一附件控件GUI以改变门锁403和/或前门入口灯 402的状态,用户可选择(例如,轻击)图形元素1602以改变锁403的状 态和/或选择(例如,轻击)图形元素1606以改变灯402的状态。响应于接 收对图形元素1602和/或图形元素1606的选择,家庭应用程序304可改变 相应附件(例如,锁403和/或灯402)的状态而无需离开GUI 1600进行导 航(例如,无需呈现不同的GUI)。
在一些具体实施中,家庭应用程序304可基于用户选择的附件执行不 同的操作。例如,虽然通常对附件的图形表示(例如,图形元素1606)的 选择(例如,轻击)会使家庭应用程序304打开/关闭对应的附件,但是锁 403没有开/关控件。当家庭应用程序304管理没有开/关控件的附件时,家 庭应用程序304可响应于接收对对应图形表示的选择来选择启动另一控件。 就锁403而言,家庭应用程序304可确定(例如,基于数据库900的条目 914)锁403没有开/关控件但是具有锁定/解锁控件。当用户选择(例如, 轻击)图形元素1602时,家庭应用程序304可锁定或解锁前门。因此,当 使用视频控件1602观看摄像机馈送时,用户可通过选择图形元素1606来 打开灯402并且通过选择图形元素1602来解锁前门锁403而无需离开GUI 1600进行导航。
服务组通知
图17示出了呈现服务组通知的示例图形用户界面1700。例如,响应 于从由家庭应用程序304管理的附件接收通知,家庭应用程序304可呈现 GUI 1700。当用户设备302被锁定时,GUI 1700可呈现在用户设备302上。 例如,GUI 1700可对应于在用户设备302被锁定时显示的用户设备302的 锁定屏幕。当用户设备302被解锁时,GUI 1700可呈现在用户设备302上。 例如,GUI 1700可对应于在用户设备302被用户解锁之后(例如,在用户 输入用户的密码并且用户设备302将用户认证为用户设备302的授权用户 之后)呈现的home屏幕或其他图形用户界面(例如,应用程序用户界面)。
在一些具体实施中,GUI 1700可包括图形元素1702。例如,图形元素 1702可呈现在GUI 1700上,以向用户通知与附件或服务组相关的一些事件。 例如,响应于从门铃406接收指示访客按响门铃406的消息或通知,家庭 应用程序304可呈现图形元素1702。在一些具体实施中,图形元素1702可 以是简单地指示门铃406已被启动的附件通知(例如,用于单个、单独的 附件)。例如,GUI 1700可呈现图形元素1702以简单地提供信息,并且用 户可在查看通知之后解除图形元素1702。
在一些具体实施中,图形元素1702可以是服务组通知。例如,家庭应 用程序304可确定向家庭应用程序304发送通知的附件是服务组的一部分。 继续上文的“前门安保”服务组示例,当家庭应用程序304从门铃406接收指 示访客已经启动门铃406的通知或消息时,家庭应用程序304可确定门铃 406是“前门安保”服务组的一部分,并且呈现指示响应于访客按响门铃 406“前门安保”服务组已被启动的服务组通知(例如,图形元素1702)。
在一些具体实施中,家庭应用程序304可响应于选择服务组通知的用 户输入来呈现服务组控件。例如,用户可向图形元素1702提供用户输入 (例如,长触摸、轻扫、压力触摸等),使得家庭应用程序304呈现由图 形元素1702表示的服务组的服务组控件。当图形元素1702表示“前门安保” 服务组通知时,用户可选择图形元素1702以调用“前门安保”服务组的服务 组控件。
图18A示出了用于呈现具有通知的服务组控件的示例图形用户界面 1800。例如,家庭应用程序304可在用户设备302的锁定或解锁屏幕上呈 现GUI 1800。响应于接收选择图17的图形元素1702的用户输入,可呈现 GUI 1800。
在一些具体实施中,GUI 1800可包括图形元素1802。例如,图形元素 1802可对应于图17的图形元素1702。当用户选择图形元素1702时,图形 元素1702可变换(例如,扩展)为图形元素1802以在图形元素1802内为 服务组控件腾出空间。例如,当图形元素1702表示“前门安保”服务组通知 时,图形元素1702可扩展以为对应于摄像机404的图像控件1804和/或对 应于前门锁403的锁控件1802腾出空间。例如,图像控件1804可呈现由 摄像机404生成的视频馈送。图像控件1804可呈现由摄像机404捕获的静 止图像。
在一些具体实施中,对图形元素1702的选择可自动发起摄像机404的 视频馈送。例如,代替等待用户选择图像控件1804以发起视频馈送(例如, 如上文参考图16的1602所述),家庭应用程序304可在接收到对“前门安 保”服务组通知的选择时自动发起来自摄像机404的视频馈送。家庭应用程 序304可通过向摄像机404发送消息来发起视频馈送,从而开始视频馈送, 如上所述。在已经开始视频馈送之后,家庭应用程序304可在图像控件1804中呈现视频馈送。在一些具体实施中,对图形元素1702的选择可使 GUI 1700自动从摄像机404获得并呈现静止图像。
在一些具体实施中,用户可使用在图形元素1802上呈现的锁控件 1806来解锁前门。例如,如果用户认出按响门铃406的访客并且希望允许 访客进入用户的住宅,则用户可选择锁控件1806来解锁锁403。如果当用 户设备302被解锁时在用户设备302的显示器上呈现服务组通知(例如, 图形元素1802),则家庭应用程序304可向锁403发送命令或消息以使锁 403解锁前门。
然而,如果当用户设备302被锁定时在用户设备302的显示器上呈现 服务组通知(例如,图形元素1802),则家庭应用程序304可在向锁403 发送命令或消息以使锁403解锁前门之前对用户进行认证。例如,在没有 首先对用户进行认证以确保用户被授权改变安保级附件的状态(例如,解 锁、撤防等)的情况下,用户不可操纵安保级附件(例如,锁定、报警等) 的状态。附件级在下文进一步详细描述。因此,当用户在用户设备302被 锁定时选择图形元素1804时,家庭应用程序304将提示用户输入用户的凭 据以确保用户被授权解锁锁403。
图18B示出了呈现认证提示的示例图形用户界面1800。例如,当用户 在用户设备302被锁定时尝试改变安保级附件和/或安全级附件(例如,下 文描述)的状态时,家庭应用程序304可提示用户输入用户的凭据以确保 用户被授权改变附件的状态。例如,响应于用户选择图形元素1804来解锁 锁403,家庭应用程序304可呈现提示用户输入用户的认证凭据的图形元素 1806。例如,用户可通过指纹进行认证。用户可通过口令或密码进行认证。用户可通过语音或其他认证机制进行认证。在对用户进行认证并且家庭应 用程序304确定用户被授权改变锁403的状态之后,家庭应用程序304可 向锁403发送命令或消息以使锁403解锁。
使用附件状态的快照定义场景
图19示出了用于创建场景的示例图形用户界面1900。例如,响应于 用户选择图6的图形元素606,家庭应用程序304可在用户设备302的显示 器上呈现GUI 1900。
类似于用于创建新服务组的GUI 700,GUI 1900可包括用于指定新场 景的名称的图形元素1902(例如,文本输入框、文本控件等)。例如,用 户可向虚拟键盘(未示出)提供输入以命名新场景“电影之夜”。
同样类似于GUI 700,GUI 1900可呈现表示由家庭应用程序304管理 的附件的图形元素(例如,1904-1914)。用户可通过选择由家庭应用程序 304管理并在GUI 1900上呈现的附件来配置新场景。例如,用户可选择 (例如,轻击)用户希望包括在新场景中的附件。GUI 1900可接收选择图 形元素1904-1914的用户输入并将对应的附件添加到新场景。例如,当用户 选择图形元素1904-1914时,家庭应用程序304可将大灯408、大灯410、 智能电视416、智能风扇418和两个蓝牙扬声器从用户的客厅添加到新场景 配置。
在一些具体实施中,家庭应用程序304可自动确定场景中包括的每个 附件的初始设置。例如,当将每个附件添加到场景时,家庭应用程序304 可确定该附件的当前状态。例如,当响应于用户选择图形元素1904将大灯 408添加到“电影之夜”场景时,家庭应用程序304可确定大灯408的当前状 态(例如,开或关、照明水平、照明颜色等)。家庭应用程序304可将大 灯408的当前状态保存为“电影之夜”场景中大灯408的场景设置(例如,场 景状态)。类似地,当响应于用户选择图形元素1910将智能电视416添加 到“电影之夜”场景时,家庭应用程序304可确定智能电视416的当前状态 (例如,开或关、频道、输入源、音量等)。家庭应用程序304可将智能 电视416的当前状态保存为“电影之夜”场景中智能电视416的场景设置。如 果用户希望调节具体附件的初始设置,则用户可选择(例如,长触摸、压 力触摸等)对应于该具体附件的图形元素(例如,图形元素1904),以调 用用于调节该具体附件的设置的图形用户界面(未示出)。
稍后,当用户调用“电影之夜”场景时,家庭应用程序304可向与“电影 之夜”场景相关联的每个附件发送指定为附件保存的场景设置的消息,以使 每个附件采取所保存的场景设置。例如,如果大灯408的“电影之夜”场景设 置是50%照明和蓝色,则家庭应用程序304(或家庭守护进程305)可向大 灯408发送指示50%照明和蓝色的消息。响应于从家庭应用程序304接收 消息,大灯408可产生50%照度的蓝光。类似地,如果智能电视416的“电 影之夜”场景设置是70%音量和频道4,则家庭应用程序304(或家庭守护 进程305)可向智能电视416发送指示70%音量和频道4的消息。响应于从 家庭应用程序304接收消息,智能电视416可将其音量调节为70%并将其 频道变为频道4。因此,可通过拍摄与场景相关联的附件的当前设置的快照 来自动配置场景。
在一些具体实施中,家庭应用程序304可自动配置场景。例如,家庭 应用程序304(或家庭守护进程305)可如上所述基于历史使用模式自动确 定应将哪些附件组合成场景以及每个附件的场景设置。
在一些具体实施中,家庭应用程序304可基于最近调节的附件自动配 置场景。例如,用户可通过选择图6的图形元素607,使家庭应用程序304 基于最近调节的附件的快照及其当前状态来创建新场景。当家庭应用程序 304接收到选择图形元素607的用户输入时,家庭应用程序304可分析附件 状态数据库308中的历史附件状态改变数据,以确定在先前时间段(例如, 最后5分钟、最后10分钟等)内和/或在彼此的一段时间内(例如,在彼此 的5分钟内)调节了哪些附件。例如,家庭应用程序304可确定在最后10 分钟内用户在彼此的5分钟内调节了大灯408、大灯410、智能电视416、 智能风扇418和两个蓝牙扬声器。因此,大灯408、大灯410、智能电视 416、智能风扇418和两个蓝牙扬声器可包括在快照场景中。
另选地,家庭应用程序304可基于要在彼此的短时间内调节的附件的 最后组合来创建快照场景。例如,家庭应用程序304可确定要在彼此的短 时间内(例如,在5分钟时段内)调节的附件的最后(例如,紧接在选择 图形元素607的时间之前)组合包括大灯408、大灯410、智能电视416、 智能风扇418和两个蓝牙扬声器。
在识别快照场景的附件之后,家庭应用程序304可利用调节后的附件 的当前状态来配置快照场景。例如,快照场景中的每个附件都可配置有对 应于其在创建快照场景时(例如,在选择图形元素607时)的当前状态的 场景设置。
图20示出了呈现场景的表示的示例图形用户界面2000。例如,家庭 应用程序304可在用户设备302的显示器上呈现GUI 2000。例如,GUI 2000可对应于GUI 500和/或GUI800。
在一些具体实施中,GUI 2000可包括表示由家庭应用程序304管理的 场景的图形元素2002。例如,图形元素2002可表示用户定义的场景。图形 元素2002可表示由家庭应用程序304基于附件使用、状态改变和/或设置的 历史模式自动生成的场景。如上所述,图形元素2002可表示快照场景。
在一些具体实施中,家庭应用程序304可响应于用户选择图形元素 2002来执行场景。例如,当家庭应用程序304接收到选择图形元素2002的 输入时,家庭应用程序304可向与对应场景相关联的每个附件发送指定附 件的场景设置的消息。当每个附件接收到消息时,附件可调节其设置以对 应于指定的场景设置。因此,家庭应用程序304可根据所配置的场景调节 用户的环境。
呈现状态信息
图21A示出了呈现家庭应用程序状态信息的示例图形用户界面2100。 例如,GUI2100可对应于图5的GUI 500。如上所述,GUI 2100可包括状 态元素2102(例如,图5的状态元素501)。例如,状态元素2102可呈现 家庭应用程序304的状态和/或由家庭应用程序304管理的附件(例如,附 件310、附件320等)的图形表示(例如,文本、图像等)。例如,状态元素2102可呈现通过由家庭应用程序304管理的附件向家庭应用程序304报 告(例如,发送)的状态信息。由于GUI 2100上可用于状态元素2102的 空间有限,可对由状态元素2102呈现的状态项进行优先级排序和/或将其聚 合以在最小的空间中呈现最重要和最多的状态数据。
在一些具体实施中,可基于状态数据级来对由状态元素2102呈现的状 态数据进行优先级排序。例如,可在状态元素2102的顶部呈现高优先级状 态项,而可按优先级低于高优先级状态项的降序呈现较低优先级状态项。 例如,家庭应用程序304可将状态数据分类为例如安全级、安保级、维护 级、管理级和/或普通级。可对这些级别从高优先级到低优先级进行排序, 即1)安全级、2)安保级、3)维护级、4)管理级和5)普通级。家庭应用程序可基于报告状态数据的附件类型来确定每个状态数据项(例如,每个状态改 变事件)的分类。例如,锁附件可与安保级相关联。一氧化碳检测器可与 安全级相关联。
在一些具体实施中,可基于由报告附件或设备分配给状态或状态信息 的分类来确定由家庭应用程序304接收到的每条状态数据的分类。例如, 虽然当一氧化碳检测器检测到一氧化碳时,一氧化碳检测器可报告高优先 级(例如,安全级)警报状态,但是当一氧化碳检测器的电池电量低时, 一氧化碳检测器可报告低优先级(例如,维护级)状态。当向家庭应用程 序304报告状态时,一氧化碳检测器(例如,附件310)可指定所报告状态 的分类或优先级。
在一些具体实施中,家庭应用程序304可聚合或汇总状态数据项。例 如,当家庭应用程序304接收分类(例如,普通级)的单个附件状态项时, 家庭应用程序304可在状态元素2102上呈现该状态项的详细描述。例如, 当卧室风扇报告其状态为“开”时,家庭应用程序304可在状态元素2102上 呈现指示“卧室风扇打开”的状态项(例如,文本)。当家庭应用程序304接 收分类(例如,普通级)的多个附件状态项时,家庭应用程序304可在状 态元素2102上呈现所述状态项的收起、聚合或更抽象的描述。例如,如果 卧室风扇和客厅风扇都报告它们“打开”,则家庭应用程序304可呈现指示“2 个风扇打开”或“风扇打开”的状态项。如果卧室风扇、客厅风扇和厨房灯打 开,则家庭应用程序304可呈现指示“3个附件打开”的状态项。因此,家庭 应用程序304可基于家庭应用程序304接收到的状态数据的量和/或分类来 调节在状态元素2102上报告的状态的特异性。
在一些具体实施中,家庭应用程序304可基于情况来解除状态数据项 的优先级排序。例如,当前门锁附件报告前门被解锁时,家庭应用程序304 最初可将前门锁的解锁状态处理为高优先级安保级状态项。然而,当前门 锁附件报告前门被解锁时,家庭应用程序304可确定用户设备302的位置 以确定用户是否位于用户的家中。如果用户在家(例如,用户设备302在 家),则家庭应用程序304可解除前门锁的解锁状态的优先级排序。例如, 当用户在家时,家庭应用程序304可将解锁状态项的分类从安保级状态项 变为普通级状态项。因此,家庭应用程序304可基于用户的情况来解除状 态项的优先级排序。然而,如果用户(例如,用户设备302)稍后离开用户 的家并且前门锁仍然报告解锁状态,则家庭应用程序304可通过将解锁状 态的分类变回来安保级状态项来提高解锁状态的优先级。
在一些具体实施中,不能解除某些级别的状态项和/或附件的优先级排 序。例如,不可解除安全级的附件和/或状态项的优先级排序,因为解除安 全级的状态项的优先级排序可能会妨碍通知用户可能伤害用户和/或用户家 庭的状态或事件。例如,安全级附件可包括一氧化碳传感器、烟雾检测器 或监视安全问题的其他附件。
在一些具体实施中,家庭应用程序304可基于用户角色过滤状态项。 例如,家庭应用程序304可安装在属于不同用户的多个不同用户设备上。 不同设备上的家庭应用程序都可管理和/或监视同一住宅、建筑物等中的附 件。例如,用户设备302的用户可以是具有多个用户(各自具有类似于用 户设备302的用户设备)的家庭的成员。每个设备可安装家庭应用程序304 的实例。家庭应用程序304的每个实例可如上所述管理和/或监视同一住宅 中的附件。但是,可为每个家庭成员(例如,用户)分配用户角色。例如, 可为家庭中的父母分配管理员角色,而管理员可为孩子分配操作员角色。 例如,管理员角色可允许用户(例如,父母)修改住宅中的附件的配置 (例如,网络配置、安保设置等),而操作员角色可限制用户(例如,孩 子)仅使用(例如,打开/关闭、操纵功能等)住宅中的附件。
在一些具体实施中,可定义访客角色,其允许管理员将对某些附件的 访问许可分配给用户。例如,管理员可将访客角色分配给家庭的遛狗师或 家政人员,其允许遛狗师或家政人员进入和/或解锁前门锁。访问许可可指 示访问指定附件的时间段。例如,如果希望遛狗师或家政人员在具体时间 进入住宅,则管理员可将访客角色分配给遛狗师和/或家政人员,并且指定 遛狗师和/或家政人员可访问和/或解锁前门锁并从约定的时间(例如,下午 1点)开始待指定时间段(例如,两个小时)。
在将角色分配给用户之后,家庭应用程序304可根据分配给用户的角 色来过滤在GUI 2100上呈现的状态项。例如,家庭应用程序304可向所有 用户呈现安全和安保级状态项,而不管角色如何。家庭应用程序304可仅 向具有管理员角色的用户呈现维护级和/或管理级状态项。可将普通级状态 项呈现给所有用户角色。
图21B示出了由家庭应用程序304在状态元素2102上呈现的状态数据 2120、2130、2140和2150的示例。例如,状态元素2102用于呈现向家庭 应用程序304报告的状态项的空间可能有限,因此家庭应用程序304可对 状态数据项进行优先级排序和/或汇总,以便在状态元素2102上拟合尽可能 多的状态数据。例如,状态元素2102可能仅具有一定数量的(例如,3行、 4行、5行等)状态数据的空间。因此,家庭应用程序304可能仅能够在状 态元素2102上呈现由家庭应用程序304接收的可用状态数据的一部分(例 如,基于优先级确定)。
在一些具体实施中,状态数据2120可在状态数据2120的顶部呈现安 全级状态数据2122,因为安全级状态数据2122是最高优先级。例如,家庭 应用程序304可生成安全级状态数据2122,其指示一氧化碳检测器附件已 经报告已经在用户住宅中检测到一氧化碳。在安全级状态数据2122下方, 状态数据2120可呈现安保级状态数据2124,因为安保级状态数据2124是 在安全级状态数据2122之后的下一最高优先级。例如,家庭应用程序304 可生成安保级状态数据2124,其指示前门锁附件已经报告用户住宅的前门 被解锁。在安保级状态数据2124下方,状态数据2120可呈现管理级状态 数据2126,因为管理级状态数据2126是在安保级状态数据2124之后的下 一最高优先级。例如,家庭应用程序304可生成管理级状态2126,其指示 由家庭应用程序304管理的两个附件未响应或者不能通过网络接通。当用 户希望查看有关状态数据的更多详情时,用户可选择图形元素2128以使家 庭应用程序304呈现状态数据的详细视图。
在一些具体实施中,状态数据2130可在状态数据2130的顶部呈现安 保级状态数据2132,因为安保级状态数据2132是当呈现状态数据2130时 由家庭应用程序304接收到的最高优先级的状态数据。换句话讲,当不存 在要呈现的安全级状态数据时,家庭应用程序304可在状态数据2130的顶 部呈现安保级状态数据。例如,家庭应用程序304可生成安保级状态数据 2132,其指示前门锁附件已经报告用户住宅的前门被解锁。在安保级状态 数据2132下方,状态数据2130可呈现管理级状态数据2134,因为管理级 状态数据2134是在安保级状态数据2132之后的下一最高优先级。例如, 家庭应用程序304可生成管理级状态2134,其指示由家庭应用程序304管 理的两个附件未响应或者不能通过网络接通。在管理级状态2134下方,状 态数据2130可呈现普通级状态数据2136,因为普通级状态数据2136是在 管理级状态2134之后的下一最高优先级。例如,家庭应用程序304可生成 普通级状态数据2136,其指示卧室风扇打开。当用户希望查看有关状态数 据的更多详情时,用户可选择图形元素2128以使家庭应用程序304呈现状 态数据的详细视图。
在一些具体实施中,状态数据2140可在状态数据2140的顶部呈现维 护级状态数据2142,因为维护级状态数据2142是当呈现状态数据2140时 由家庭应用程序304接收到的最高优先级的状态数据。换句话讲,当不存 在要呈现的安全级状态数据和安保级状态数据时,家庭应用程序304可在 状态数据2130的顶部呈现维护级状态数据。例如,家庭应用程序304可生 成维护级状态数据2142,其指示烟雾检测器附件已经报告烟雾检测器的电 池电量低。例如,即使烟雾检测器附件是安全级附件,烟雾检测器附件也 已经向家庭应用程序304报告维护级状态项(例如,电池电量低)。因此, 家庭应用程序304可将来自安全级附件的电池电量低状态项呈现为维护级 状态项。
在维护级状态数据2142下方,状态数据2140可呈现管理级状态数据 2144,因为管理级状态数据2144是在维护级状态数据2142之后的下一最 高优先级。例如,家庭应用程序304可生成管理级状态2144,其指示由家 庭应用程序304管理的摄像机附件未响应或者不能通过网络接通。在管理 级状态2144下方,状态数据2140可呈现普通级状态数据2146,因为普通 级状态数据2146是在管理级状态2144之后的下一最高优先级(例如,最 低优先级)。例如,家庭应用程序304可生成普通级状态数据2146,其指 示在住宅中两个风扇打开。当用户希望查看有关状态数据的更多详情时, 用户可选择图形元素2128以使家庭应用程序304呈现状态数据的详细视图。
在一些具体实施中,状态数据2150可在状态数据2140的顶部呈现维 护级状态数据2142,因为维护级状态数据2142是当呈现状态数据2140时 由家庭应用程序304接收到的最高优先级的状态数据。换句话讲,当不存 在要呈现的安全级状态数据和安保级状态数据时,家庭应用程序304可在 状态数据2130的顶部呈现维护级状态数据。例如,家庭应用程序304可生 成维护级状态数据2152,其指示烟雾检测器附件已经报告烟雾检测器的电 池电量低。在维护级状态数据2152下方,状态数据2150可呈现另一维护 级状态数据2154。例如,家庭应用程序304可生成维护级状态2154,其指 示需要更换空调过滤器。家庭应用程序304可在状态数据2150上生成并呈 现两个单独的维护状态项(例如,2152和2154),因为这两个维护状态项 指示不同的维护任务(例如,更换电池、更换过滤器)。然而,在一些具 体实施中,家庭应用程序304可呈现指示“2个附件需要维护”的对这两个维 护级状态项的概述而不是呈现状态项2152和状态项2154。在维护级状态数 据2154下方,状态数据2150可呈现管理级状态数据2156,因为管理级状 态数据2156是在维护级状态数据2154之后的下一最高优先级。例如,家 庭应用程序304可生成管理级状态数据2156,其指示用户管理错误。例如,当在用户尝试访问附件时存在某些故障时,可呈现用户管理错误。例如, 管理员用户可能已经为遛狗师配置授予遛狗师对前门锁的访问权限的访客 角色。如果当遛狗师尝试解锁前门锁时遛狗师无法访问和/或解锁前门锁, 则前门锁和/或家庭应用程序的遛狗师实例可向用户设备302上的家庭应用 程序304报告用户管理错误。然后,家庭应用程序304可将用户管理错误 呈现为状态数据2150上的管理级状态项。当用户希望查看有关状态数据的更多详情时,用户可选择图形元素2128以使家庭应用程序304呈现状态数 据的详细视图。
图22示出了用于呈现家庭应用程序状态数据的详细视图的示例图形用 户界面2200。例如,家庭应用程序304可响应于接收对图形元素2128的用 户选择而在用户设备302的显示器上呈现GUI 2200,如上文参考图21所述。
在一些具体实施中,GUI 2200可呈现有关哪些附件导致了在状态元素 2102中呈现的状态数据的详情。例如,当用户选择在图21B的状态数据 2120上的图形元素2128时,家庭应用程序304可呈现GUI 2200,其包括 导致状态数据2120的附件的表示。GUI 2200可呈现表示一氧化碳检测器附 件的图形元素2202,该一氧化碳检测器附件报告在用户住宅中检测到了一 氧化碳。例如,图形元素2202可识别附件(例如,一氧化碳“CO”检测器) 和附件的当前状态(例如,检测到一氧化碳“CO”)。GUI 2200可呈现表示 前门锁附件的图形元素2204,该前门锁附件报告前门被解锁。
在一些具体实施中,GUI 2200可呈现表示未对家庭应用程序304作出 响应或无法由该家庭应用程序接通的两个附件的图形元素2206和图形元素 2208。例如,图形元素2206和图形元素2208可被突出显示、缩小或以其 他方式进行图形修改以将无响应(例如,未连接)附件与响应附件(例如, 对应于图形元素2202和图形元素2204)区分开。
在一些具体实施中,GUI 2200可提供概述的状态项的详情。例如,即 使家庭应用程序304呈现描述两个无响应附件而不识别附件的概述,GUI 2200也可呈现概述的附件状态的各个表示(例如,图形元素2206和图形元 素2208),所述各个表示包括针对每个附件的标识符。因此,用户可通过 调用GUI 2200来获得有关附件状态的附加详情。
图23示出了用于在家庭应用程序304中选择家庭环境的示例图形用户 界面2300。例如,家庭应用程序304可在用户设备302的显示器上呈现 GUI 2300。在一些具体实施中,可通过使用用户设备302通过选择GUI 500 的图形元素512来调用GUI 2300,如上文参考图5所述。
在一些具体实施中,GUI 2300可包括用于选择家庭环境的图形元素 2302。例如,响应于用户选择图形元素512,家庭应用程序304可呈现图形 元素2302。例如,图形元素2302可以是弹出菜单或在GUI 500上方呈现的 图形覆盖。图形元素2302可识别在家庭应用程序304中配置的每个家庭环 境。例如,如果家庭应用程序304被配置有用户的主要家庭(例如,“我的 家”)和用户的次要家庭(例如,“山中住宅”),则图形元素2302可包括分 别表示用户的主要家庭环境(例如,“我的家”)和用户的次要家庭或度假屋 (例如,“山中住宅”)的图形元素2306和图形元素2308。
在一些具体实施中,家庭应用程序304可响应于用户选择在图形元素 2302上呈现的家庭环境而切换由家庭应用程序304呈现的家庭环境。例如, 家庭应用程序304可一次提供查看仅一个家庭环境的视图。用户可选择对 应于第一家庭环境(例如,用户的主要家庭)的图形元素2306,以查看有 关第一家庭环境的附件、附件状态、服务组、场景和其他信息并且/或者通 过家庭应用程序304控制第一家庭环境中的附件或设备。当用户希望查看 第二家庭环境(例如,次要家庭、度假屋、办公室等)时,用户可选择对 应于第二家庭环境的图形元素2308,以查看有关第二家庭环境的附件、附 件状态、服务组、场景和其他信息并且/或者通过家庭应用程序304控制第 二家庭环境中的附件或设备。因此,可基于在特定时刻选择的家庭环境来 确定在该特定时刻由家庭应用程序304呈现的信息和/或由家庭应用程序304控制的附件。
在一些具体实施中,在接收到对家庭环境的选择时,图形元素2302可 被解除。另选地,用户可通过选择图形元素2310来在不选择家庭的情况下 解除图形元素2302。
图24是用于自动选择家庭环境以供家庭应用程序304呈现的示例性过 程的图示2400。例如,图示2400描绘了用户设备2302至2310相对于第一 家庭环境2330和第二家庭环境2350的位置。例如,用户设备2302至2310 可对应于用户设备302。每个用户设备2302至2310都可表示相同的用户设 备302或与用户设备302类似地配置的不同设备。
在一些具体实施中,每个用户设备2302至2310上的家庭应用程序 (例如,家庭应用程序304)或家庭守护进程(例如,家庭守护进程305) 可自动选择家庭环境(例如,当前家庭环境)以在家庭应用程序304的图 形用户界面上基于家庭环境位置信息来呈现和/或控制。当家庭守护进程 305确定家庭环境时,家庭守护进程305可将家庭环境确定发送到家庭应用 程序304以呈现给用户。
确定家庭环境位置
在一些具体实施中,当将附件添加到家庭环境时,家庭应用程序304 可确定家庭环境的位置信息。例如,用户可选择图形元素603以将新附件 添加到家庭环境。当呈现图形元素602和/或图形元素603时,可例如将附 件添加到在GUI 500和/或GUI 600上呈现的家庭环境。例如,用户可选择 家庭环境并且然后将附件添加到所选择的家庭环境。
在一些具体实施中,家庭应用程序304可确定当添加附件时用户设备 302处于特定家庭环境中。例如,当家庭应用程序304(例如,或用户设备 302)可建立与附件的本地(例如,使用本地家用Wi-Fi网络、蓝牙、蓝牙 LE、对等Wi-Fi、其他对等连接等的)连接时可将附件添加到家庭应用程 序304。因此,由于用户设备302处于与新附件相同的家庭环境中,并且用 户已经通过为附件选择家庭环境来识别家庭环境,因此家庭应用程序304 可确定当将新附件添加到家庭环境时用户设备302位于所选择的家庭环境 (例如,“我的家”)中。
在一些具体实施中,当添加附件时,家庭应用程序304可收集所选择 的家庭环境的地理位置信息。例如,由于用户设备302位于所选择的家庭 环境(例如,“我的家”)中,因此用户设备302的当前地理位置也是所选择 的家庭环境的地理位置。例如,可通过用户设备302使用用户设备302的 位置确定子系统来确定用户设备302的当前地理位置。使用众所周知的技 术,这些子系统可使用全球导航卫星信号、蜂窝塔信号、Wi-Fi接入点信号 或其组合来确定用户设备302的当前地理位置。当将新附件添加到所选择 的家庭环境时,家庭应用程序304可将用户设备302的当前地理位置与所 选择的家庭环境相关联。因此,当将新附件添加到所选择的家庭环境时, 可基于用户设备302的当前地理位置来确定所选择的家庭环境的地理位置。
在一些具体实施中,家庭应用程序304可生成围绕家庭环境的地理位 置的地理围栏,该地理围栏可用于确定用户何时进入或离开家庭环境。例 如,在确定所选择的家庭环境的地理位置之后,家庭应用程序304可生成 围绕所选择的家庭环境的地理位置的地理围栏。地理围栏可例如是以所选 择的家庭环境的地理位置为中心并且具有150英尺半径的圆形地理围栏。 当用户设备302进入针对家庭环境生成的地理围栏时,家庭应用程序304 可稍后确定用户或用户设备302何时正在进入所选择的家庭环境。
在一些具体实施中,当将附件添加到家庭环境时,家庭应用程序304 可收集网络识别信息以与所选择的家庭环境相关联。例如,无线接入点 (例如,Wi-Fi路由器、Wi-Fi接入点等)在被安装在家庭环境中之后很少 移动。类似地,安装在家庭环境中的附件在被安装在家庭环境中之后很少 移动。无线接入点和附件通常具有短的传输范围。因此,如果家庭应用程 序304通过与家庭环境相关联的无线接入点连接到附件,则用户设备302 最可能在该家庭环境中。
为了在家庭应用程序304内生成无线接入点与家庭环境之间的关联, 当将新附件添加到所选择的家庭环境时,家庭应用程序304可收集针对连 接到用户设备302的无线接入点的无线接入点标识符(例如,MAC地址、 SSID、BSSID等),如上所述。然后,家庭应用程序304可将无线接入点 标识符(例如,网络标识符)与家庭环境相关联,使得稍后当用户设备302 连接到无线接入点并接收到无线接入点标识符时,家庭应用程序304可确 定用户设备302处于与所接收的无线接入点标识符相关联的家庭环境中。
在一些具体实施中,当将附件添加到家庭环境时,家庭应用程序304 可收集附件识别信息以与所选择的家庭环境相关联。例如,安装在家庭环 境中的附件通常具有无线联网硬件(例如,无线电收发器、Wi-Fi、蓝牙 等),该无线联网硬件具有非常短的传输范围。为了直接连接到这些附件 中的一者,用户设备302必须非常接近该附件。因此,如果用户设备302 直接连接到附件,则用户设备302必须处于与所连接的附件相同的家庭环 境中。因此,当用户设备302连接到附件时,用户设备302可基于从附件 接收到的无线信号来获得针对附件的标识符(例如,MAC地址、BSSID、SSID等)并将附件标识符与为附件选择的家庭环境相关联。稍后,当用户 设备302直接连接到附件并接收到附件标识符时,家庭应用程序304可确 定用户设备302处于与附件标识符相关联的家庭环境中。
家庭应用程序304可(例如,在元数据文件、配置文件、数据库等中) 存储将所选择的家庭环境(例如,家庭环境标识符、家庭环境标签等)与 所确定的家庭环境地理位置、家庭环境地理围栏、家庭环境网络标识符和/ 或针对由用户分配给家庭环境的附件的附件标识符相关联的家庭环境位置 数据。因此,当用户设备302改变位置、连接到Wi-Fi网络或连接到附件时, 家庭应用程序304可基于家庭环境位置数据来确定用户设备302当前位于 哪个家庭环境中。
自动选择家庭环境
在一些具体实施中,家庭应用程序304可基于家庭环境位置数据来自 动选择要向用户呈现的家庭环境。例如,用户设备302的用户可将用户设 备302移入和移出家庭环境或者在家庭环境之间移动,并且家庭应用程序 304可基于与家庭环境相关联的家庭环境位置数据(例如,地理位置、地理 围栏、网络标识符、附件标识符等)来检测用户设备302何时进入和/或退 出家庭环境。
例如,当用户设备2302(例如,用户设备302)进入家庭环境2330 (例如,“我的家”)的地理围栏2340时,家庭应用程序304可选择家庭环 境2330作为家庭应用程序304中的当前家庭环境。例如,家庭应用程序 304可基于由上述位置确定子系统确定的用户设备2302的当前地理位置确 定用户设备2302已经进入地理围栏2340。
然而,由于各种原因(例如,信号多路径、云层覆盖等),用户设备 2302的当前地理位置可能是不正确的。因此,当用户设备2302在无线接入 点2336的范围内移动时,如用户设备2304和线2338所描绘的,家庭应用 程序304可确认用户设备2304处于与针对无线接入点2336的标识符相关 联的家庭环境中。类似地,当用户设备2304在附件2332的范围内移动时, 如线2334所描绘的,家庭应用程序304可确认用户设备2304处于与针对 2332的标识符相关联的家庭环境中。因此,即使用户设备2304的当前地理 位置可能不可用或不正确,家庭应用程序304也可准确地确定用户设备 2304何时处于家庭环境2330中并且将家庭应用程序304重新配置为呈现附 件、服务组、场景、状态和与家庭环境2330相关联的其他数据或图形用户 界面。
自动启用远程访问
在一些具体实施中,当用户设备离开家庭环境时,家庭应用程序304 或家庭守护进程305可自动启用对家庭环境的远程访问。例如,当用户设 备2304处于家庭环境2330中并且连接到无线接入点2336时,用户设备 2304通过无线接入点2336对附件2332进行本地访问。当用户设备2304移 动到家庭环境2330之外时,如用户设备2306所表示的,用户设备2306不 再连接到无线接入点2336并且必须连接到家庭环境2330内(例如,在无 线接入点2336上)的协调器(例如,协调器210)以启用对家庭环境2330 中的附件2332的远程访问。在一些具体实施中,用户设备2306的用户可 通过与家庭应用程序304进行交互来启用远程访问。例如,用户可调用家 庭应用程序304的用户界面并提供选择用于启用对家庭环境2330的远程访 问的图形元素的输入。
在一些具体实施中,家庭应用程序304可自动确定用户设备2306何时 退出家庭环境2330。例如,当用户设备2306远离家庭环境2330移动时, 用户设备2306将失去与无线接入点2336的连接。例如,用户设备2306可 移动越过无线接入点2336的传输范围。如果用户设备2306不能确定其当 前地理位置(例如,无全球导航卫星信号、卫星接收器关闭、云层覆盖 等),则家庭应用程序304可确定用户设备2306已退出家庭环境2330。
当用户设备2306可确定其当前地理位置(例如,位置子系统打开、卫 星接收良好等)时,然后当用户设备2306移动到无线接入点2336的范围 之外时,家庭应用程序304可确定当用户设备2306的当前地理位置在地理 围栏2340内时设备2306仍然处于该家庭环境中。然而,当用户设备2306 的当前地理位置在地理围栏2340之外时,家庭应用程序304可确定用户设 备2306(并且因此确定用户)已退出家庭环境2330。
在一些具体实施中,当用户设备2306退出家庭环境2330时,家庭应 用程序304可自动启用对家庭环境2330的远程访问。例如,家庭应用程序 304可通过广域网(例如,互联网)建立与家庭环境2330内的协调器设备 (例如,协调器210)的连接,使得即使用户设备2306不再本地地(例如, 直接地)连接到无线接入点2336,用户也可控制附件并从家庭环境2330内 的附件接收附件状态。
在一些具体实施中,当用户设备2306已退出家庭环境2330时,家庭 应用程序304可将家庭环境2330保留为在家庭应用程序304的图形用户界 面上呈现的当前家庭环境。另选地,家庭应用程序304可在退出家庭环境 2330时自动将在家庭应用程序304的图形用户界面上呈现的当前家庭环境 切换到用户指定的主要家庭环境。
使用运动来确认退出
在一些具体实施中,家庭应用程序304(或家庭守护进程305)可使用 运动数据来确认用户设备2308已退出家庭环境2350。例如,用户设备 2308可对应于用户设备302,如上所述。用户设备2308可包括用于检测用 户设备2308的移动(如果有的话)的运动传感器(例如,加速度计、陀螺 仪等)。运动传感器可检测用户设备2308的运动并生成描述用户设备2308 的运动的运动数据。
在一些具体实施中,用户设备2308可间歇地连接到无线接入点2356。 例如,用户设备2308上的家庭应用程序304可通过无线接入点2356连接 到家庭环境2350中的附件232,但是用户设备2308可处于无线接入点 2356的传输范围的边缘(例如,界限),如线2358所指示的。当处于无线 接入点2356的传输范围的界限时,因为在用户设备2308的位置处从无线 接入点2356接收的信号弱或者是间歇性的,所以用户设备2308可能重复 地连接到无线接入点2356并从该无线接入点断开。如果用户设备2358不 能确定其当前地理位置,则家庭应用程序304可自动且重复地确定用户设 备2350已退出和进入家庭环境2350并且在对家庭环境2350的本地访问和 对家庭环境2350的远程访问之间自动且重复地切换,从而导致用户设备 2308浪费电池电力、处理周期和/或网络资源。
为了避免在对家庭环境2350的本地访问和远程访问之间重复地循环, 家庭应用程序304可使用由用户设备2308上的运动传感器生成的运动数据 来确认用户设备2308已退出家庭环境2350。例如,家庭应用程序304可获 得在紧接失去与无线接入点2356的连接之前的时间段(例如,2分钟、3 分钟等)和/或在紧接失去与无线接入点2356的连接之后的时间段内的运动 传感器数据。家庭应用程序304可基于运动数据确定当失去与无线接入点2356的连接时用户设备2308是否正在移动或处于运动中。如果当失去与无 线接入点2356的连接时用户设备2308处于运动中,则家庭应用程序304 可确定用户设备2308移动远离无线接入点2356并且因此退出家庭环境 2350。如果当失去与无线接入点2356的连接时用户设备2308未处于运动 中,则家庭应用程序304可确定用户设备2308尚未移动远离无线接入点 2356(例如,无线接入点关闭或信号太弱)并且因此尚未退出家庭环境 2350。因此,家庭应用程序304可基于用户设备2358的移动来确认用户设 备2358是已退出家庭环境2350还是保持在家庭环境2350内。
示例过程
图25是用于自动生成服务组的示例过程2500的流程图。例如,家庭 应用程序304可基于历史附件状态改变数据自动生成服务组,该历史附件 状态改变数据指示两个或更多个附件通常约同一时间改变状态,如上文参 考图4所讨论的。可由家庭应用程序304(例如,基于时间间隔)周期性地 执行过程2500。可由家庭应用程序304响应于接收来自附件的附件状态改 变数据而执行过程2500。可由家庭应用程序304响应于用户发起新服务组 的创建而执行过程2500。例如,响应于用户选择图6的图形元素604,家 庭应用程序304可执行过程2500以向用户建议新服务组。
在步骤2502处,用户设备302可接收描述附件状态改变事件的附件状 态改变数据。例如,家庭应用程序304可随时间接收来自各种附件的附件 状态改变事件,其描述在不同时间点发生的附件状态改变。例如,附件状 态改变数据可包括针对报告状态改变事件的附件的标识符、指示状态改变 何时发生的时间戳以及附件的新状态。
在步骤2504处,用户设备302可将附件状态改变数据存储为历史附件 状态数据。例如,家庭应用程序304可将在步骤2502处接收到的附件状态 改变数据存储在附件状态数据库308中。
在步骤2506处,用户设备302可基于历史附件状态数据来确定在约同 一时间被调节的至少两个附件。例如,家庭应用程序304可搜索附件状态 数据库以查找在约同一时间改变状态的附件的群集或分组。家庭应用程序 304可例如识别在约同一时间(例如,在5分钟内、在9分钟内等)改变状 态的附件组,并且其中状态改变与面向用户的特征(例如,打开/关闭、调 光器水平、速度、音量等)相关并且不与附件配置设置、错误状态等相关。 换句话讲,当确定哪些附件在约同一时间被调节时,家庭应用程序304可 识别与用户如何使用附件有关或相关的状态改变。
在步骤2508处,用户设备302可基于包括至少两个附件的历史附件状 态数据来确定历史使用模式。例如,在识别约同一时间改变状态的附件之 后,家庭应用程序304可确定附件状态数据库308中是否存在针对所识别 的附件的历史状态改变模式。例如,如果在步骤2506处识别的附件组仅在 数据库308中出现一次,则不存在历史使用模式,并且家庭应用程序304 可尝试识别另一服务组。如果在步骤2506处识别的附件组在数据库308中 (例如,在时间上)一起出现多次(例如,至少10次),则家庭应用程序 可确定存在指示所识别的附件相关的使用模式。
在步骤2510处,用户设备302可自动生成包括所述至少两个附件的服 务组。例如,当家庭应用程序304确定存在指示所识别的附件相关的使用 模式时,家庭应用程序304可自动创建服务组,该服务组允许用户好像单 个附件那样管理和/或控制服务组中的附件。
图26是用于选择服务组控件的示例过程2600的流程图。例如,服务 组可包括具有各种不同控件的附件的异类组。家庭应用程序304可使用过 程2600来确定为服务组呈现什么控件和/或何时呈现控件,如上文参考图9 至图12所述。
在步骤2602处,用户设备302可接收对服务组的选择。例如,家庭应 用程序304可接收对服务组的图形表示的选择,如上文参考图8所述。
在步骤2604处,用户设备302可确定服务组中的附件的最共有特征。 例如,当相比任何其他特征由服务组中的更多附件提供特定特征时,家庭 应用程序304可确定该特定特征是最共有特征。例如,如果服务组具有两 者都具有调光器特征的两个灯但仅一个灯具有颜色特征,则调光器特征是 最共有特征,因为调光器特征由两个灯提供,颜色特征仅由一个灯提供。
在步骤2606处,用户设备302可呈现对应于最共有特征的服务组控件。 继续在步骤2608处描述的示例,家庭应用程序304可呈现用于调光器特征 的服务组控件,因为调光器特征是两个灯之间的最共有特征。在一些具体 实施中,家庭应用程序304可为服务组呈现多个控件。例如,家庭应用程 序304可首先呈现用于服务组的最共有特征的控件,随后是用于下一最共 有特征的控件,随后是用于最不共有特征(例如,上述颜色特征)的控件, 如上文参考图9-9所述。
在步骤2608处,用户设备302可接收调节服务组控件设置的用户输入。 例如,家庭应用程序304可接收调节上述灯的调光器控件设置的用户输入。
在步骤2610处,用户设备302可将调节后的控件设置发送到服务组中 的对应附件。例如,家庭应用程序304可将调节后的调光器控件设置发送 到上述灯中的每个灯。如果用户已经提供输入来调节颜色控件设置,则家 庭应用程序304可将调节后的颜色控件设置仅发送到具有上述颜色特征的 灯。
虽然过程2600基于哪些特征在服务组内最共有来选择和/或呈现服务 组控件,但是可使用其他服务组控件选择和/或呈现标准来确定要呈现哪个 服务组控件和/或如何呈现服务组控件。例如,家庭应用程序304可基于用 户最频繁使用或选择哪个服务组控件(例如,特征)来选择服务组控件或 者整理呈现服务组控件的次序。又如,家庭应用程序304可基于哪个服务 组控件(例如,特征)与实况媒体馈送(例如,实况音频和/或视频馈送) 相关联来选择服务组控件或者整理呈现服务组控件的次序,如上所述。因 此,家庭应用程序304可为附件的异类组智能地呈现服务组控件。
图27是用于自动生成场景的示例过程2700的流程图。例如,家庭应 用程序304可基于历史附件状态改变数据自动生成场景,该历史附件状态 改变数据指示两个或更多个附件通常在约同一时间改变状态并且每个相应 附件所改变的状态在历史状态改变数据中重复,如上文参考以上图4所讨 论的。可由家庭应用程序304(例如,基于时间间隔)周期性地执行过程 2700。可由家庭应用程序304响应于接收来自附件的附件状态改变数据而 执行过程2700。可由家庭应用程序304响应于用户发起新场景的创建而执 行过程2700。例如,响应于用户选择图6的图形元素606或图形元素607, 家庭应用程序304可执行过程2700以向用户建议新场景。
在步骤2702处,用户设备302可接收描述附件状态改变事件的附件状 态改变数据。例如,家庭应用程序304可随时间接收来自各种附件的附件 状态改变事件,其描述在不同时间点发生的附件状态改变。例如,附件状 态改变数据可包括针对报告状态改变事件的附件的标识符、指示状态改变 何时发生的时间戳以及附件的新状态。
在步骤2704处,用户设备302可将附件状态改变数据存储为历史附件 状态数据。例如,家庭应用程序304可将在步骤2702处接收到的附件状态 改变数据存储在附件状态数据库308中。
在步骤2706处,用户设备302可基于历史附件状态数据来确定在约同 一时间被调节的至少两个附件。例如,家庭应用程序304可搜索附件状态 数据库以查找在约同一时间改变状态的附件的群集或分组。家庭应用程序 304可例如识别在约同一时间(例如,在5分钟内、在7分钟内等)改变状 态的附件组,并且其中状态改变与面向用户的特征(例如,打开/关闭、调 光器水平、速度、音量等)相关并且不与附件配置设置、错误状态等相关。 换句话讲,当确定哪些附件在约同一时间被调节时,家庭应用程序304可 识别与用户如何使用附件有关或相关的状态改变。
在步骤2708处,用户设备302可基于历史附件状态数据来确定历史使 用模式,该历史附件状态数据包括随时间重复地采取相应的特定状态的至 少两个附件。例如,在识别约同一时间改变状态的附件之后,家庭应用程 序304可确定附件状态数据库308中是否存在针对所识别的附件的历史状 态改变模式。例如,如果在步骤2706处识别的附件组仅在数据库308中出 现一次,则不存在历史使用模式,并且家庭应用程序304可尝试识别另一 服务组。如果在步骤2706处识别的附件组在数据库308中(例如,在时间 上)一起出现多次(例如,至少10次),则家庭应用程序304可确定存在 指示所识别的附件相关的使用模式。
在一些具体实施中,当相关附件随时间重复地采取相同状态值时,家 庭应用程序304可确定相关附件适合于场景。例如,如果数据库308中存 在指示当空调控制器412、智能风扇418、流媒体设备414和智能电视416 一起使用(例如,它们的状态约同一时间改变)时空调控制器412被设置 为60度、智能风扇418被设置为中速、流媒体设备414被打开、智能电视 416被设置为针对流媒体设备414的输入的历史使用模式,则家庭应用程序 304可确定空调控制器412、智能风扇418、流媒体设备414和智能电视 416适合于场景。
在步骤2710处,用户设备302可自动生成包括所述至少两个附件的场 景。例如,当家庭应用程序304确定空调控制器412、智能风扇418、流媒 体设备414和智能电视416适合于场景时,家庭应用程序304可自动生成 包括空调控制器412、智能风扇418、流媒体设备414和智能电视416的场 景。
在步骤2712处,用户设备302可配置场景以使得当调用场景时所述至 少两个附件采取相应的特定状态。例如,家庭应用程序304可将场景配置 为具有针对空调控制器412、智能风扇418、流媒体设备414和智能电视 416的状态值,该状态值对应于在数据库308中重复地观察到的针对每个附 件的状态值。例如,家庭应用程序304可配置场景,使得空调控制器412 的场景设置为‘60度’,智能风扇418的场景设置为‘中速’,流媒体设备 414的场景设置为‘打开’并且智能电视416的场景设置对应于针对流媒体 设备414的电视输入。
在步骤2714处,用户设备302可向所述至少两个附件中的每个附件发 送消息以使得当调用场景时所述至少两个附件采取相应的特定状态。例如, 家庭应用程序304可接收调用或选择场景的用户输入,如上文参考图20所 述。响应于接收对场景的选择,家庭应用程序304可向与场景相关联的附 件中的每个附件发送消息以使得附件将其状态改变为用于每个附件的相应 场景设置。例如,家庭应用程序304可将场景设置‘60度’发送到空调控制 器412以使得空调控制器412将空调设置为60度。家庭应用程序304可将 场景设置‘中速’发送到智能风扇418以使得智能风扇418将风扇速度设置 为中等。家庭应用程序304可将场景设置‘打开’发送到流媒体设备414以 打开流媒体设备414。家庭应用程序304可将指定针对流媒体设备414的电 视输入的场景设置发送到智能电视416以使得智能电视416打开并将电视 输入设置到流媒体设备414。因此,家庭应用程序304可基于如数据库308 中记录的历史附件使用模式所证明的用户行为自动为用户生成场景。
图28是用于从附件状态的快照创建场景的示例过程2800的流程图。 例如,家庭应用程序304可获得当前附件状态的快照,以使用过程2800并 且如上文参考图19所述地来配置用于与场景相关联的附件的场景设置。
在步骤2802处,用户设备302可接收用于创建场景的用户输入。例如, 当用户选择图6的图形元素606或图形元素607时,家庭应用程序304可 确定用户希望创建新场景。
在步骤2804处,用户设备302可确定哪些附件要包括在场景中。例如, 家庭应用程序304可基于选择用于场景的附件的用户输入来确定哪些附件 要包括在场景中,如上文参考图19所述。(例如,响应于用户对图形元素 607的选择)家庭应用程序304可基于数据库308中的相关附件的最近分组 来自动确定哪些附件要包括在场景中,如上文参考图19所述。在确定用于 场景的附件之后,家庭应用程序304可将附件与场景相关联。
在步骤2806处,用户设备302可获得场景中的每个附件的当前状态。 例如,在将附件与场景相关联之后,家庭应用程序304可确定与场景相关 联的每个附件的当前状态。在一些具体实施中,家庭应用程序304可向与 场景相关联的每个附件发送请求附件的当前状态的消息。每个附件都可用 其当前状态对请求作出响应。另选地,家庭应用程序304可从附件状态数 据库308获得与场景相关联的每个附件的当前状态。
在步骤2808处,用户设备302可将每个附件的当前状态存储为用于场 景中的对应的附件的场景设置。例如,如果场景包括两个灯和一个风扇并 且两个灯当前关闭并且风扇当前处于高速,则家庭应用程序304可将‘关闭’ 状态存储为用于两个灯的场景设置并且将‘高’速状态存储为用于风扇的场 景设置。因此,家庭应用程序304可使用与场景相关联的每个附件的当前 状态的快照来配置场景。
在步骤2810处,用户设备302可接收选择场景的用户输入。例如,家 庭应用程序304可接收选择图20的图形元素2002的用户输入。
在步骤2812处,用户设备302可向场景中的每个附件发送消息以使得 场景中的附件采取相应的场景设置。例如,如果场景包括上述两个灯和风 扇,则家庭应用程序304可向每个灯发送指示灯应关闭的消息并且向风扇 发送指示风扇应以‘高’速运行的消息。响应于接收消息,两个灯都可关闭, 风扇可调节其速度设置,使得其以高速运行。
图29是用于呈现服务组通知的示例过程2900的流程图。例如,响应 于接收来自与由家庭应用程序304管理的服务组相关联的附件的状态改变 事件或通知,家庭应用程序304可执行过程2900以呈现服务组通知。在一 些具体实施中,服务组通知可呈现服务组控件,使得用户可从通知控制服 务组,而不必调用家庭应用程序304的图形用户界面,如上文参考图17、 图18A和图18B所述。
在步骤2902处,用户设备302可接收来自附件的通知。例如,一些附 件可被配置为向家庭应用程序304和/或用户设备302发送通知。在一些具 体实施中,通知可不同于状态改变事件消息。例如,在每当附件的状态改 变而将状态改变消息发送到家庭应用程序304使得家庭应用程序304可监 视由家庭应用程序304管理的各种附件的状态时,附件可仅在需要用户注 意的事件发生时发送通知。另选地,家庭应用程序304可监视状态改变事 件并确定何时应将状态改变事件作为通知在用户设备302的显示器上呈现 给用户。因此,当门铃406被到达用户住宅的访客致动时,门铃406可向 家庭应用程序304和/或用户设备302发送通知,使得家庭应用程序304和/ 或用户设备302可向用户呈现指示访客在前门的通知。
在步骤2904处,用户设备302可确定发送通知的附件与服务组相关联。 例如,家庭应用程序304可从附件发送的通知获得附件标识符。家庭应用 程序304可确定附件标识符对应于与服务组相关联的附件。例如,家庭应 用程序304可确定门铃406与如上所述的“前门安保”组相关联,因为家庭应 用程序存储识别分配给服务组的每个附件的数据。
在一些具体实施中,当接收到与服务组相关联的通知时,用户设备 302可获得来自服务组中的其他附件的信息。例如,用户设备302可获得来 自与“前门安保”组相关联的摄像机的图像数据并且/或者使得与“前门安保”组 相关联的灯打开。
在步骤2906处,用户设备302可呈现与服务组相关联的通知的图形表 示。例如,家庭应用程序304可在用户设备302的显示器上呈现通知的图 形表示(例如,图17的图形元素1702)。通知的图形表示可识别与发送通 知的附件相关联的服务组,识别触发通知的事件(例如,门铃正在响铃), 并且提示用户与通知的图形表示进行交互以调用与所识别的服务组相关联 的一个或多个控件。
在步骤2908处,用户设备302可接收选择通知的图形表示的用户输入。 例如,家庭应用程序304可接收选择通知的图形表示的用户输入(例如, 轻击、长触摸、压力触摸等)。
在步骤2910处,用户设备302可用通知的图形表示来呈现服务组控件。 例如,响应于在步骤2908处接收到对通知的图形表示的选择,家庭应用程 序304可选择并呈现服务组控件,如上文参考图18A和图18B所述。例如, 当用户选择“前门安保”组门铃通知的图形表示时,家庭应用程序304可呈现 用于摄像机以及与“前门安保”服务组相关联的锁附件的摄像机控件和/或锁 控件。
在步骤2912处,用户设备302可接收对服务组控件的用户输入,其指 定用于服务组控件的设置。例如,家庭应用程序304可接收对摄像机控件 的用户输入,其用于打开摄像机并发起来自摄像机的视频馈送。家庭应用 程序304可接收对用于解锁锁的锁控件的用户输入。
在步骤2914处,用户设备302可向服务组中的附件发送消息以使得服 务组中的附件采取对应于服务组控件设置的状态。例如,家庭应用程序304 可向摄像机附件发送消息以使得摄像机打开并发起视频馈送。家庭应用程 序304可向锁附件发送消息以使得锁解锁。
图30是用于呈现附件状态信息的示例过程3000的流程图。例如,家 庭应用程序304可根据过程3000并且如上文参考图21A、图21B和图22 所述地来将附件状态信息呈现在用户设备302的显示器上。
在步骤3002处,用户设备302可从由用户设备302管理的附件接收状 态改变事件数据。例如,家庭应用程序304和/或家庭守护进程305可从在 家庭应用程序304和/或家庭守护进程305中配置、与其配对、与其连接和/ 或由其管理的附件接收描述状态改变事件的数据。家庭应用程序304和/或 家庭守护进程305可将所接收的状态改变信息存储在附件状态数据库308 中。在一些具体实施中,家庭应用程序304和/或家庭守护进程305可独立 于附件状态数据库308或在其内维护当前附件状态信息的储存库。因此, 家庭应用程序304可快速地确定由家庭应用程序304和/或家庭守护进程 305管理的每个附件的当前状态。
在步骤3004处,用户设备302可确定每个接收到的状态改变事件的分 类。例如,基于由报告附件分配给事件的分类和/或基于分配给报告附件的 分类,家庭应用程序304可将每个状态改变事件(例如,每个状态数据项) 分类为安全级事件、安保级事件、维护级事件、管理级事件或普通级事件, 如上所述。
在步骤3006处,用户设备302可基于状态改变事件来生成状态项以呈 现在用户设备302的显示器上。例如,家庭应用程序304可生成针对个人 事件的状态项。用户设备304可通过概述类似事件来生成状态项。可基于 事件的分类、报告事件的附件的类型和/或附件的位置来确定类似事件。例 如,如果在用户的卧室中打开了五个附件,则家庭应用程序304可生成状 态项“在卧室中打开了5个附件”。在一些具体实施中,家庭应用程序304可 基于分配给用户设备302的用户的角色来过滤附件改变事件。例如,家庭 应用程序304可仅生成针对与用户的角色相关的状态改变事件的状态项以 显示在用户设备上。
在步骤3008处,用户设备302可基于对应的改变事件的分类来对状态 项进行优先级排序。例如,家庭应用程序304可将与安全级事件相关联的 状态项优先排序在与安保级事件相关联的状态项上方。家庭应用程序304 可将与安保级事件相关联的状态项优先排序在与维护级事件相关联的状态 项上方,如上文参考图21A至图21B所述。
在步骤3010处,用户设备302可根据在步骤3008处确定的优先级来 呈现状态项。例如,家庭应用程序304可将较高优先级状态项呈现在较低 优先级状态项上方,如参考图21A至图21B所述。相比较低优先级状态项, 家庭应用程序304可更喜欢较高优先级状态项。例如,如果存在太多状态 项并且并非所有状态项都适合于状态呈现区域,则家庭应用程序304可呈 现高优先级状态项并过滤掉(例如,不呈现)低优先级状态项。
图31是用于自动切换家庭应用程序304中的家庭环境的示例过程3100 的流程图。例如,家庭应用程序304可一次针对仅一个家庭环境呈现图形 元素、信息、控件等。用户可通过提供选择或识别哪个家庭环境应该是由 家庭应用程序304呈现的当前家庭环境的用户输入来切换由家庭应用程序 呈现的当前家庭环境,如上文参考图23所述。在一些具体实施中,家庭应 用程序304可执行过程3100以基于检测到用户设备302已进入不同于当前 家庭环境的家庭环境来自动改变由家庭应用程序304呈现的当前家庭环境, 如上文参考图24所述。因此,家庭应用程序304可通过加载和呈现对应于 用户(例如,用户设备)当前所位于的家庭环境的数据来预期用户的需求。
在步骤3102处,用户设备302可接收指示用户希望将附件添加到家庭 环境的用户输入。例如,家庭应用程序304可接收对图6的图形元素603 的用户选择。响应于接收用户输入,家庭应用程序304可呈现用于在家庭 环境中添加和/或配置新附件的图形用户界面(未示出)。
在步骤3104处,用户设备302可接收识别针对附件的家庭环境的用户 输入。例如,用户可在步骤3102之前通过为家庭应用程序304选择当前家 庭环境来选择家庭环境。例如,用户可在步骤3102之后当在家庭应用程序 304中配置附件时选择家庭环境。
在步骤3106处,用户设备302可在添加附件时收集家庭环境位置数据。 例如,在添加附件并识别针对附件的家庭环境之后,家庭应用程序304可 收集家庭环境位置数据。家庭环境位置数据可包括对应于用户设备302的 当前地理位置的地理位置数据、无线接入点标识数据和/或附件标识数据。 用户设备302可基于地理位置数据来生成地理围栏并将其添加到收集的家 庭环境位置数据。
在步骤3108处,用户设备302可存储家庭环境位置数据。例如,家庭 应用程序304可将家庭环境位置数据发送到家庭守护进程305。家庭守护进 程305可将家庭环境位置数据存储在与家庭应用程序304相关联的元数据 中并且/或者与连接到家庭守护进程305的其他用户设备、控制器、协调器 等共享家庭环境位置数据。
在步骤3110处,用户设备302可基于家庭环境数据来确定用户设备 302处于特定家庭环境中。例如,一段时间后,家庭应用程序304可确定用 户设备302的当前地理位置。家庭应用程序304可将用户设备302的当前 地理位置与为由家庭应用程序304管理的家庭环境存储的地理位置进行比 较,并且当用户设备302的当前位置在为特定家庭环境限定的地理围栏内 时确定用户设备302(并且因此确定用户)处于特定家庭环境中。
类似地,家庭应用程序304可确定用户设备302连接到对应于特定无 线接入点标识符的特定无线接入点。家庭应用程序304可将特定无线接入 点标识符与为由家庭应用程序304管理的家庭环境存储的无线接入点标识 符进行比较,并且当特定无线接入点标识符对应于与特定家庭环境相关联 的无线接入点标识符时确定用户设备302(并且因此确定用户)处于特定家 庭环境中。
在步骤3112处,用户设备302可将由家庭应用程序304呈现的当前家 庭环境自动切换到所确定的家庭环境。例如,如果在步骤3110处确定的特 定家庭环境不同于家庭应用程序304的当前家庭环境,则家庭应用程序304 可切换当前家庭环境以对应于在步骤3110处确定的特定家庭环境。
在步骤3114处,用户设备302可呈现对应于当前家庭环境的图形元素。 例如,家庭应用程序304可在用户设备302的显示器上呈现对应于特定家 庭环境的图形元素、附件信息、附件控件、服务组控件、场景等。
图32是用于自动启用对家庭应用程序304中的家庭环境的远程访问的 示例过程3200的流程图。例如,在用户设备302上运行的家庭应用程序 304可执行过程3200以响应于检测到用户设备302已退出家庭环境而自动 启用对家庭环境的远程访问。
在步骤3202处,用户设备302可检测到用户设备302已经失去与家庭 环境中的无线接入点的连接。例如,家庭应用程序304可使用无线接入点 连接作为用于确定用户设备302处于家庭环境中的基础。因此,当失去与 无线接入点的连接时,家庭应用程序可确定用户设备302不再位于家庭环 境内。然而,如果用户设备302可确定用户设备302的当前地理位置,则 用户设备302可使用与家庭环境相关联的地理围栏来确定用户设备302何 时退出家庭环境。
在步骤3204处,用户设备302可检测到用户设备302已经移动到为家 庭环境限定的地理围栏之外。例如,如果用户设备302可确定用户设备302 的当前地理位置,则用户设备302可使用与家庭环境相关联的地理围栏来 确定用户设备302何时退出家庭环境。例如,家庭应用程序304可确定用 户设备302的当前地理位置对应于在为家庭环境限定的地理围栏之外的地 理位置。
在步骤3206处,用户设备302可确定用户设备302已退出家庭环境。 例如,当家庭应用程序304检测到失去与家庭环境无线接入点的连接时, 家庭应用程序304可确定用户设备302已退出家庭环境。当家庭应用程序 304检测到用户设备302的当前地理位置在为家庭环境限定的地理围栏之外 时,家庭应用程序304可确定用户设备302已退出家庭环境。
在步骤3208处,用户设备302可确认用户设备302已退出家庭环境。 例如,当用户设备302不能确定其当前地理位置时,家庭应用程序304可 确定当用户设备302失去其与家庭环境中的无线接入点的连接时用户设备 302已退出家庭环境。然而,用户设备302可能由于与退出家庭环境不相关 的原因而丢失其连接,如上所述。因此,家庭应用程序304可通过分析由 用户设备302生成的运动数据以确认用户设备302是否实际上已经在物理 上移出家庭环境来确认用户设备302已移出家庭环境,如上所述。
在步骤3210处,用户设备302可自动启用对家庭环境的远程访问。例 如,在确定和/或确认用户设备302已退出家庭环境时,家庭应用程序304 可启用对家庭环境的远程访问,使得用户甚至当在家庭环境之外时可继续 查看附件信息和/或控制家庭环境内的附件。
在步骤3212处,用户设备302可自动建立与家庭环境中的协调器的网 络连接。例如,在启用远程访问时,家庭应用程序304可建立与家庭环境 内的协调器设备的(例如,通过互联网的)网络连接,使得家庭应用程序 304甚至当在家庭环境之外时可接收附件状态信息并且/或者向家庭环境内 的附件发送附件控制消息。
上文公开的特征和技术中的许多特征和技术被描述为由家庭应用程序 304执行。然而,上述特征、过程、算法、分析等中的许多特征、过程、算 法、分析等可由家庭守护进程305执行。例如,可在用户设备302的后台 执行的特征可由家庭守护进程305而不是家庭应用程序304执行。这些特 征的一些示例包括分析附件状态数据库308以确定用于自动生成服务组、 场景等的使用模式。另一示例可包括确定家庭应用程序状态。
图形用户界面
本公开在上文描述了用于实现各种特征、过程或工作流的各种图形用 户界面(GUI)。这些GUI可在各种电子设备上呈现,所述各种电子设备包括 但不限于膝上型计算机、台式计算机、计算机终端、电视系统、平板电脑、 电子书阅读器、智能电话和可穿戴设备(例如,智能手表、智能眼镜等)。 这些电子设备中的一者或多者可包括触敏表面和/或压敏表面。触敏表面可 处理多个同时的输入点,包括处理与每个输入点的压力、程度或位置相关 的数据。此类处理可促进利用多个手指所进行的手势,该手势包括紧缩和 轻扫。此类处理可促进基于所施加的触摸和压力的长度来区分输入的类型, 使得可基于触摸输入的类型来提供不同的响应、操作和/或特征。因此,轻 击、长触摸和压力触摸都可被解释为对来自本文描述的计算设备的非法不 同类型的响应的不同类型的输入。
当本公开涉及“选择”GUI中的用户界面元素时,这些术语被理解为包括 用鼠标或其他输入设备在用户界面元素上方进行点击或“悬停”,或者用一根 或多根手指或触笔在用户界面元素上进行触摸、轻击或绘制手势。用户界 面元素可以是虚拟按钮、菜单、选择器、开关、滑动条、刷子、旋钮、缩 略图、链接、图标、单选框、复选框和用于从用户接收输入或向用户提供 反馈的任何其他机构。
隐私
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受 益。例如,该个人信息数据可用于递送用户较感兴趣的目标内容。因此, 使用此类个人信息数据使得能够对所递送的内容进行有计划的控制。此外, 本公开还预期个人信息数据有益于用户的其他用途。
本公开还预期负责此类个人信息数据的收集、分析、公开、传输、存 储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地讲, 此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的 隐私性和安全性的行业或政府要求的隐私政策和实践。例如,来自用户的 个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使 用之外共享或出售。此外,此类收集应当仅在用户知情同意之后进行。另外,此类实体应采取任何所需的步骤,以保障和保护对此类个人信息数据 的访问,并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和 程序。此外,此类实体可使其本身经受第三方评估以证明其遵守广泛接受 的隐私政策和实践。
不管前述情况如何,本公开还预期用户选择性地防止使用或访问个人 信息数据的实施方案。也就是说,本公开预期可提供硬件和/或软件元件以 阻止或防止对此类个人信息数据的访问。例如,在广告递送服务的情况下, 本发明技术可被配置为允许用户在服务注册期间选择“参加”或“退出”参与对 个人信息数据的收集。又如,用户可选择不为目标内容递送服务提供位置 信息。再如,用户可选择不提供精确的位置信息,但准许传输位置区域信 息。
示例系统架构
图33示出了用于控制器3300的示例系统架构的简化框图。控制器 3300可实现本文所述的控制器功能、行为和能力中的任何或全部,以及未 明确描述的其他功能、行为和能力。控制器3300可包括处理子系统3310、 存储设备3312、用户界面3314、通信接口3316、安全存储模块3318和密 码逻辑模块3320。控制器3300还可包括其他部件(未明确示出),诸如电 池、电力控制器和可操作以提供各种增强能力的其他部件。在各种实施方 案中,控制器3300可在台式计算机、膝上型计算机、平板电脑、智能电话、 其他移动电话、可穿戴计算设备或具有任何期望形状因数的其他系统中实 现。此外,如上所述,控制器3300可部分地在基站中实现,并部分地在与 基站通信并提供用户界面的移动单元中实现。
存储设备3312可例如使用磁盘、闪存存储器或任何其他非暂态存储介 质或介质的组合来实现,并且可包括易失性和/或非易失性介质。在一些实 施方案中,存储设备3312可存储将由处理子系统3310执行的一个或多个 应用程序和/或操作系统程序,包括用于实现如正由控制器执行的上述各种 操作的程序。例如,存储设备3312可存储统一的控制器应用程序,所述控 制器应用程序可读取附件描述记录并基于其中信息来生成用于控制附件的 图形用户界面(例如,如上文引用的美国专利申请No.14/614,914中所述)。 在一些实施方案中,本文所述的控制器功能的部分(或全部)可在操作系 统程序而不是应用程序中实现。在一些实施方案中,存储设备3312还可存 储为特定附件或特定类别的附件(例如,用于管理IP相机附件的IP相机应 用或用于与门锁附件进行交互的安保应用)设计的应用。存储设备3312还 可存储由控制器3300在其操作过程中产生或使用的其他数据,包括触发器 数据对象和/或有关环境模型的其他数据。
用户界面3314可包括输入设备诸如触控板、触摸屏、滚轮、点击轮、 拨号盘、按钮、开关、小键盘、麦克风等;以及输出设备诸如视频屏幕、 指示灯、扬声器、耳机接口等,连同支持性电子器件(例如,数模转换器 或模数转换器、信号处理器等)。用户可操作用户界面3314的输入设备以 调用控制器3300的功能,并且可经由用户界面3314的输出设备查看和/或 收听来自控制器3300的输出。
处理子系统3310可以实现为一个或多个集成电路,例如一个或多个单 核或多核微处理器或微控制器,这些微处理器或微控制器的示例在本领域 中是已知的。在操作中,处理系统3310可控制控制器3300的操作。在各 种实施方案中,处理子系统3310可响应于程序代码而执行各种程序,并且 可维护多个同时执行的程序或过程。在任何给定时间,待执行的程序代码 中的一些或全部可驻留在处理子系统3310和/或存储介质诸如存储设备3312中。
通过合适的编程,处理子系统3310可为控制器3300提供各种功能。 例如,在一些实施方案中,处理子系统3310可实现如正由控制器实现的上 述各种过程(或其部分)。处理子系统3310还可执行其他程序(包括可存 储在存储设备3312中的应用程序)以控制控制器3300的其他功能。在一 些实施方案中,这些应用程序可例如通过生成待发送至附件的消息和/或通 过从附件接收响应与附件进行交互。此类交互可由附件管理守护进程和/或 例如如上所述其他操作系统进程促成。
通信接口3316可为控制器3300提供语音和/或数据通信能力。在一些 实施方案中,通信接口3316可包括:用于访问无线语音和/或数据网络(例 如,使用蜂窝电话技术、数据网络技术诸如3G、4G/LTE、Wi-Fi、其他 IEEE 802.11系列标准或其他移动通信技术,或它们的任何组合)的射频 (RF)收发器部件、用于近程无线通信(例如,使用蓝牙标准和/或蓝牙LE 标准、NFC等)的部件和/或其他部件。在一些实施方案中,除了无线接口 之外或代替无线接口,通信接口3316可提供有线网络连接性(例如,以太 网)。通信接口3316可使用硬件部件(例如,驱动电路、天线、调制器/解 调器、编码器/解码器,以及其他模拟信号处理电路和/或数字信号处理电路) 与软件部件的组合来实现。在一些实施方案中,通信接口3316可使用相同 传输方法或不同传输方法同时或在不同时间支持多个通信信道。
安全存储模块3318可以是可安全地存储用于控制器3300的密码信息 的集成电路等。可存储在安全存储模块3318内的信息的示例包括控制器的 长期公共密钥和私人密钥3322(如上所述的LTPKC、LTSKC)以及配对 附件3324列表(例如,将附件ID映射到如上所述已完成配对设置或配对 添加过程的附件的附件长期公共密钥LTPKA的查找表)。
在一些实施方案中,密码操作可在与安全存储模块3318通信的密码逻 辑模块3320中实现。在物理上,密码逻辑模块3320可根据需要在具有安 全存储模块3318的相同集成电路或不同集成电路(例如,处理子系统3310 中的处理器)中实现。密码逻辑模块3320可包括实现或支持控制器3300 的密码操作(包括上述任何或所有的密码操作)的各种逻辑电路(根据需 要是固定的或可编程的)。安全存储模块3318和/或密码逻辑模块3320可 对控制器3300的其余部分表现为“黑盒”。因此,例如,通信接口3316可以 加密形式接收其不能解密的消息,并且可简单地将消息递送到处理子系统 3310。处理子系统3310也可能无法解密消息,但其可将消息识别为加密的 并将其递送到密码逻辑模块3320。密码逻辑模块3320可解密消息(例如, 使用从安全存储模块3318提取的信息)并确定哪些信息要返回到处理子系 统3310。因此,某些信息可仅在安全存储模块3318和密码逻辑模块3320 内可用。如果安全存储模块3318和密码逻辑模块3320在仅执行来自内部 安全储存库的代码的单个集成电路上实现,则这可能使信息提取非常困难, 从而可提供高度的安全性。其他具体实施也是可能的。
图34示出了用于附件3400的示例系统架构的简化框图。附件3400可 实现本文所述的附件功能、行为和能力中的任何或全部,以及未明确描述 的其他功能、行为和能力。附件3400可包括存储设备3428、处理子系统 3430、用户界面3432、附件专用硬件3434、通信接口3436、安全存储模块 3438和密码逻辑模块3440。附件3400还可包括其他部件(未明确示出), 诸如电池、电力控制器和可操作以提供各种增强能力的其他部件。
附件3400表示可由控制器诸如控制器3300操作的一大类附件,并且 此类附件在能力、复杂性和形状因数方面可能有很大不同。各种附件可包 括图34中未明确示出的部件,包括但不限于:具有固定或可移除的存储介 质的存储设备(磁盘、闪存存储器等);视频屏幕、扬声器或用于连接到 外部音频/视频设备的端口;相机部件,诸如镜头、图像传感器和用于相机 部件的控件(例如,光圈、变焦、曝光时间、帧速率等);用于记录音频 (单独或与视频记录结合)的麦克风;等等。
存储设备3428可例如使用磁盘、闪存存储器或任何其他非暂态存储介 质或介质的组合来实现,并且可包括易失性和/或非易失性介质。在一些实 施方案中,存储设备3428可存储将由处理子系统3430执行的一个或多个 程序(例如,固件)以及与特定附件行为相关的操作,所述一个或多个程 序包括用于实现如正由附件执行的上述各种操作的程序。存储设备3428还 可存储可提供给控制器设备的附件对象或附件定义记录,例如在上文引用的美国专利申请No.14/614,914中所述的设备发现期间。存储设备3428还 可存储附件状态信息和可在附件3400的操作期间使用的任何其他数据。
处理子系统3430可包括例如执行程序代码以便执行与附件3400相关 联的各种功能的一个或多个单核或多核微处理器和/或微控制器。例如,处 理子系统3430可实现如正由附件实现的上述各种过程(或其部分),例如 通过执行存储在存储设备3428中的程序代码。处理子系统3430还可执行 其他程序以控制附件3430的其他功能。在一些情况下,由处理子系统3430 执行的程序可例如通过生成要发送到控制器的消息和/或从控制器接收消息 来与控制器(例如,控制器3300)交互。
用户界面3432可包括用户可操作的输入设备诸如触控板、触摸屏、滚 轮、点击轮、拨号盘、按钮、开关、小键盘、麦克风等;以及输出设备诸 如视频屏幕、指示灯、扬声器、耳机接口等,连同支持性电子器件(例如, 数模转换器或模数转换器、信号处理器等)。根据特定附件3400的具体实 施,用户可操作用户界面3432的输入设备以调用附件3400的功能,并且可经由用户界面3432的输出设备查看和/或收听来自附件3400的输出。一 些附件可提供最小的用户界面或根本不提供用户界面。在附件不具有用户 界面的情况下,用户仍可使用控制器(例如,控制器3300)来与附件进行 交互。
附件专用硬件3434可包括可存在于附件3400中以启用其功能的任何 其他部件。例如,在各种实施方案中,附件专用硬件3434可包括使用固定 或可移除的存储介质的一个或多个存储设备;GPS接收器;电源和/或电力 管理电路;相机;麦克风;一个或多个致动器;控制开关;环境传感器 (例如,温度传感器、压力传感器、加速度计、化学传感器等);等等。应当理解,可通过提供适当的附件专用硬件3434来支持任何类型的附件功 能,并且附件专用硬件可包括机械以及电或电子部件。
通信接口3436可为附件3400提供语音和/或数据通信能力。在一些实 施方案中,通信接口3436可包括:用于访问无线语音和/或数据网络(例如, 使用蜂窝电话技术、数据网络技术诸如3G、4G/LTE、Wi-Fi、其他IEEE 802.11系列标准或其他移动通信技术,或它们的任何组合)的射频(RF)收 发器部件、用于近程无线通信(例如,使用蓝牙标准和/或蓝牙LE标准、 NFC等)的部件和/或其他部件。在一些实施方案中,除了无线接口之外或 代替无线接口,通信接口3436可提供有线网络连接性(例如,以太网)。 通信接口3436可使用硬件部件(例如,驱动电路、天线、调制器/解调器、 编码器/解码器,以及其他模拟信号处理电路和/或数字信号处理电路)与软 件部件的组合来实现。在一些实施方案中,通信接口3436可使用相同传输 方法或不同传输方法同时或在不同时间支持多个通信信道。
安全存储模块3438可以是可安全地存储用于附件3400的密码信息的 集成电路等。可存储在安全存储模块3438内的信息的示例包括附件的长期 公共密钥和私人密钥3442(如上所述的LTPKA、LTSKA)以及配对控制 器3444列表(例如,将控制器ID映射到如上所述已完成配对设置或配对 添加过程的控制器的控制器长期公共密钥LTPKC的查找表)。在一些实施 方案中,安全存储模块3438可被省略;配对控制器的密钥和列表可被存储 在存储设备3428中。
在一些实施方案中,密码操作可在与安全存储模块3438通信的密码逻 辑模块3440中实现。在物理上,密码逻辑模块3440可根据需要在具有安 全存储模块3438的相同集成电路或不同集成电路(例如,处理子系统3430 中的处理器)中实现。密码逻辑模块3440可包括实现或支持附件3400的 密码操作(包括上述任何或所有的密码操作)的各种逻辑电路(根据需要 是固定的或可编程的)。安全存储模块3438和/或密码逻辑模块3440可对 附件3400的其余部分表现为“黑盒”。因此,例如,通信接口3436可以加密 形式接收其不能解密的消息,并且可简单地将消息递送到处理子系统3430。 处理子系统3430也可能无法解密消息,但其可将消息识别为加密的并将其 递送到密码逻辑模块3440。密码逻辑模块3440可解密消息(例如,使用从 安全存储模块3438提取的信息)并确定哪些信息要返回到处理子系统3430。 因此,某些信息可仅在安全存储模块3438和密码逻辑模块3440内可用。 如果安全存储模块3438和密码逻辑模块3440在仅执行来自内部安全储存 库的代码的单个集成电路上实现,则这可能使信息提取非常困难,从而可 提供高度的安全性。其他具体实施也是可能的。
附件3400可以是与控制器3300进行交互的任何电子装置。在一些实 施方案中,控制器3300可通过如上所述的附件3400的操作来提供远程控 制。例如,控制器3300可为附件3400提供远程用户界面,该远程用户界 面可包括输入控件和输出控件两者(例如,用于显示从附件3400获得的当 前状态信息的显示屏和用于允许对状态信息作出改变的输入控件诸如触摸 屏覆盖)。在各种实施方案中,控制器3300可控制附件3400的任何功能 并且还可从附件3400接收数据。
应当理解,本文所述的系统配置和部件是例示性的,并且变型和修改 是可能的。应当理解,控制器3300的具体实施可执行正由控制器执行的上 述所有操作,并且附件3400的具体实施可执行正由附件执行的上述任何或 所有操作。代理、桥接器、隧道或协调器可根据需要使用相同硬件或不同 硬件来组合控制器3300和附件3400的部件。控制器和/或附件可具有本文 未具体描述的其他能力(例如,移动电话、全球定位系统(GPS)、宽带数据 通信、互联网连接性等)。根据具体实施,这些设备可进行互操作以提供 由任一(或两个)设备支持的任何功能或提供在每个设备中部分地实现的 功能。在一些实施方案中,特定附件可具有无法经由特定控制器访问或调 用但可经由另一控制器或通过直接与附件交互访问的某些功能。
此外,虽然本文参考特定块描述了控制器和附件,但应当理解,定义 这些块是为了描述的方便,而并非旨在暗示部件部分的特定物理布置。此 外,块不必对应于物理上不同的部件。可例如通过对处理器进行编程或提 供适当的控制电路来配置块以执行各种操作,并且根据获得初始配置的方 式,各个块可能是可重新配置的或不可重新配置的。可在包括使用电路和 软件的任何组合实现的电子设备在内的各种装置中实现本文所述的本发明 技术的实施方案。
其他实施方案
虽然已相对于具体实施方案描述了本文描述的技术,但是本领域的技 术人员将认识到许多修改是可能的。控制器网络和/或附件网络可根据需要 包括尽可能多或者尽可能少的设备。不需要使用代理或协调器;无论附件 数量或控制器数量如何,(至少原则上)始终可能在每个控制器和每个附 件之间建立配对,并通过直接控制附件来使所有控制器操作。在提供附件- 网络模型(例如,环境模型)的情况下,每个控制器(例如,经由同步) 都可获得模型副本并可通过其用户界面提供对模型的访问。
此外,在存在代理或控制器的情况下,可以但不必是所有控制器都被 允许经由代理或控制器访问所有附件的情况。一些控制器当不在本地环境 内时可能会被限制访问附件,并且一些附件可能要求控制器直接访问它们 而不是通过代理或协调器。
可使用专用部件和/或可编程处理器和/或其他可编程设备的任何组合来 实现本文所述的本发明技术的实施方案。本文所述的各种过程可以任何组 合方式在同一处理器或不同处理器上实现。在部件被描述为被配置为执行 某些操作的情况下,可例如通过设计电子电路以执行操作、通过对可编程 电子电路(诸如微处理器)进行编程以执行操作或其任何组合来实现此类 配置。此外,虽然上述实施方案可能参考了具体硬件部件和软件部件,但 本领域的技术人员应当理解,也可使用硬件部件和/或软件部件的不同组合, 并且被描述为正在硬件中实现的特定操作也可能在软件中实现,反之亦然。
可在各种计算机可读存储介质上对结合本文所述的本发明技术的各种 特征的计算机程序进行编码和存储;合适的介质包括磁盘或磁带、光学存 储介质诸如光盘(CD)或DVD(数字通用光盘)、闪存存储器,以及其他非 暂态介质。(应当理解,数据的“存储”不同于使用暂态介质诸如载波的数据 的传播。)可将用程序代码编码的计算机可读介质与兼容的电子设备封装 在一起,或者该程序代码可独立于电子设备提供(例如,经由互联网下载 或作为单独封装的计算机可读存储介质)。
因此,尽管已相对于具体实施方案描述了本文所述的技术,但应当理 解,本公开旨在覆盖以下权利要求书范围内的所有修改形式和等同形式。

Claims (82)

1.一种方法,包括:
由计算设备从被所述计算设备管理的多个附件接收附件状态改变数据;
由所述计算设备将所述附件状态改变数据存储为历史附件状态数据;
由所述计算设备至少部分地基于所述历史附件状态数据确定将所述多个附件中的第一附件与所述多个附件中的第二附件关联的使用模式;
由所述计算设备确定对第一附件和第二附件而言共有的至少一个共有附件控件特征;
由所述计算设备自动生成至少包括第一附件和第二附件的服务组;以及
生成服务组用户界面,所述服务组用户界面至少包括用于控制第一附件的第一控件元素、用于控制第二附件的第二控件元素、以及对第一附件和第二附件而言共有的并且包括三个或更多个控件状态的所述至少一个共有附件控件特征。
2.根据权利要求1所述的方法,其中,第一附件和第二附件属于不同的类型。
3.根据权利要求1所述的方法,其中,第一附件具有第一特征,并且第二附件具有不同于第一特征的第二特征。
4.根据权利要求1所述的方法,其中,确定所述使用模式包括:
确定第一附件和第二附件在阈值时间段内改变状态。
5.根据权利要求1所述的方法,还包括:
在所述计算设备的显示器上呈现表示所述服务组的图形元素;
接收对所述图形元素的选择;和
响应于接收到对所述图形元素的选择,呈现用于控制第一附件和第二附件的所述服务组用户界面。
6.根据权利要求1所述的方法,还包括:
在所述计算设备的显示器上呈现表示所述服务组的图形元素;
接收对所述图形元素的选择;和
呈现与所述服务组相关联的每个附件的图形表示。
7.一种计算机可读介质,包括一个或多个指令序列,所述一个或多个指令序列当由一个或多个处理器执行时,使得执行以下操作:
由计算设备从被所述计算设备管理的多个附件接收附件状态改变数据;
由所述计算设备将所述附件状态改变数据存储为历史附件状态数据;
由所述计算设备至少部分地基于所述历史附件状态数据确定将所述多个附件中的第一附件与所述多个附件中的第二附件关联的使用模式;
由所述计算设备确定对第一附件和第二附件而言共有的至少一个共有附件控件特征;
由所述计算设备自动生成至少包括第一附件和第二附件的服务组;以及
生成服务组用户界面,所述服务组用户界面至少包括用于控制第一附件的第一控件元素、用于控制第二附件的第二控件元素、以及对第一附件和第二附件而言共有的并且包括三个或更多个控件状态的所述至少一个共有附件控件特征。
8.根据权利要求7所述的计算机可读介质,其中,第一附件和第二附件属于不同的类型。
9.根据权利要求7所述的计算机可读介质,其中,第一附件具有第一特征,并且第二附件具有不同于第一特征的第二特征。
10.根据权利要求7所述的计算机可读介质,其中,使得确定所述使用模式的指令包括使得执行以下操作的指令:
确定第一附件和第二附件在阈值时间段内改变状态。
11.根据权利要求7所述的计算机可读介质,其中,所述指令使得:
在所述计算设备的显示器上呈现表示所述服务组的图形元素;
接收对所述图形元素的选择;和
响应于接收到对所述图形元素的选择,呈现用于控制第一附件和第二附件的所述服务组用户界面。
12.根据权利要求7所述的计算机可读介质,其中,所述指令使得:
在所述计算设备的显示器上呈现表示所述服务组的图形元素;
接收对所述图形元素的选择;和
呈现与所述服务组相关联的每个附件的图形表示。
13.一种系统,包括:
一个或多个处理器;以及
非暂态计算机可读介质,所述非暂态计算机可读介质包括一个或多个指令序列,所述一个或多个指令序列当由一个或多个处理器执行时,使得:
由计算设备从被所述计算设备管理的多个附件接收附件状态改变数据;
由所述计算设备将所述附件状态改变数据存储为历史附件状态数据;
由所述计算设备至少部分地基于所述历史附件状态数据确定将所述多个附件中的第一附件与所述多个附件中的第二附件关联的使用模式;
由所述计算设备确定对第一附件和第二附件而言共有的至少一个共有附件控件特征;
由所述计算设备自动生成至少包括第一附件和第二附件的服务组;以及
生成服务组用户界面,所述服务组用户界面至少包括用于控制第一附件的第一控件元素、用于控制第二附件的第二控件元素、以及
对第一附件和第二附件而言共有的并且包括三个或更多个控件状态的所述至少一个共有附件控件特征。
14.根据权利要求13所述的系统,其中,第一附件和第二附件属于不同的类型。
15.根据权利要求13所述的系统,其中,第一附件具有第一特征,并且第二附件具有不同于第一特征的第二特征。
16.根据权利要求13所述的系统,其中,使得确定所述使用模式的指令包括使得执行以下操作的指令:
确定第一附件和第二附件在阈值时间段内改变状态。
17.根据权利要求13所述的系统,其中,所述指令使得:
在所述计算设备的显示器上呈现表示所述服务组的图形元素;
接收对所述图形元素的选择;和
响应于接收到对所述图形元素的选择,呈现用于控制第一附件和第二附件的所述服务组用户界面。
18.根据权利要求13所述的系统,其中,所述指令使得:
在所述计算设备的显示器上呈现表示所述服务组的图形元素;
接收对所述图形元素的选择;和
呈现与所述服务组相关联的每个附件的图形表示。
19.一种方法,包括:
由计算设备从多个附件接收状态改变事件数据;
至少部分地基于在所述状态改变事件数据中识别出的元数据,由所述计算设备识别所述状态改变事件数据中的每个状态改变数据项的分类,所述多个附件中的与所述状态改变事件数据中的至少一个状态改变数据项对应的至少一个附件能够根据从对该至少一个附件可用的多个不同分类中选择的分类来动态地生成识别所述分类的所述元数据;
由所述计算设备生成多个状态项,每个状态项与所述状态改变事件数据中的至少一个状态改变数据项对应,并且所述多个状态项表示所述多个附件的相应当前状态;
由所述计算设备基于对应的至少一个状态改变数据项的分类,确定每个状态项的优先级;
根据所确定的优先级,生成用于显示所述多个状态项的至少一个子集的用户界面;
由所述计算设备根据所述多个状态项中的至少两个状态项中的每一个状态项的所确定的优先级,在所述用户界面中呈现所述至少两个状态项;以及
由所述计算设备向所述多个附件中的、与所述多个状态项中的所述至少两个状态项对应的至少一个附件提供指令,所述指令启用所述至少一个附件以执行所述至少一个附件的操作。
20.根据权利要求19所述的方法,还包括:
确定分配给所述计算设备的用户的角色;
确定所述多个状态项中的特定状态项与所述角色无关;以及
防止所述特定状态项呈现在所述计算设备的所述用户界面中。
21.根据权利要求19所述的方法,还包括:
基于为所述多个状态项中的每一个状态项确定的优先级,确定用于呈现所述多个状态项的次序;以及
根据所确定的次序,呈现所述多个状态项中的至少两个状态项。
22.根据权利要求19所述的方法,其中,所述元数据识别从其接收到状态改变数据项的附件的类型。
23.根据权利要求19所述的方法,其中,所呈现的状态项中的至少一个状态项包括来自至少两个附件的状态改变数据。
24.根据权利要求23所述的方法,还包括:
接收与用户的设备相关联的情况数据;
基于所述情况数据,调节状态项的优先级;以及
基于调节后的优先级,呈现所述多个状态项中的所述至少两个状态项。
25.根据权利要求19所述的方法,其中,所述分类为所述多个附件中的与所述状态改变事件数据对应的附件识别多个附件级中的至少一个级。
26.一种计算机可读介质,包括一个或多个指令序列,所述一个或多个指令序列当由一个或多个处理器执行时,使得所述一个或多个处理器执行包括以下各项的操作:
从多个附件接收状态改变事件数据;
至少部分地基于在所述状态改变事件数据中识别出的元数据,识别所述状态改变事件数据中的每个状态改变数据项的分类,所述多个附件中的与所述状态改变事件数据中的至少一个状态改变数据项对应的至少一个附件能够根据从对该至少一个附件可用的多个不同分类中选择的分类来动态地生成识别所述分类的所述元数据;
生成多个状态项,每个状态项与所述状态改变事件数据中的至少一个状态改变数据项对应,并且所述多个状态项表示所述多个附件的相应当前状态;
基于对应的至少一个状态改变数据项的分类,确定每个状态项的优先级;
根据所确定的优先级,生成用于显示所述多个状态项的至少一个子集的用户界面;
根据所述多个状态项中的至少两个状态项中的每一个状态项的所确定的优先级,在所述用户界面中呈现所述至少两个状态项;以及
向所述多个附件中的、与所述多个状态项中的所述至少两个状态项对应的至少一个附件提供指令,所述指令启用所述至少一个附件以执行所述至少一个附件的操作。
27.根据权利要求26所述的计算机可读介质,其中,所述操作还包括:
确定分配给所述计算设备的用户的角色;
确定所述多个状态项中的特定状态项与所述角色无关;以及
防止所述特定状态项呈现在所述计算设备的所述用户界面中。
28.根据权利要求26所述的计算机可读介质,其中,所述操作还包括:
基于为所述多个状态项中的每一个状态项确定的优先级,确定用于呈现所述多个状态项的次序;以及
根据所确定的次序,呈现所述多个状态项中的至少两个状态项。
29.根据权利要求26所述的计算机可读介质,其中,所述元数据识别从其接收到状态改变数据项的附件的类型。
30.根据权利要求26所述的计算机可读介质,其中,所呈现的状态项中的至少一个状态项包括来自至少两个附件的状态改变数据。
31.根据权利要求30所述的计算机可读介质,其中,所述操作还包括:
接收与用户的设备相关联的情况数据;
基于所述情况数据,调节状态项的优先级;以及
基于调节后的优先级,呈现所述多个状态项中的所述至少两个状态项。
32.一种系统,包括:
一个或多个处理器;以及
计算机可读介质,所述计算机可读介质包括一个或多个指令序列,所述一个或多个指令序列当由一个或多个处理器执行时,使得:
由所述一个或多个处理器从多个附件接收状态改变事件数据;
至少部分地基于在所述状态改变事件数据中识别出的元数据,由所述一个或多个处理器识别所述状态改变事件数据中的每个状态改变数据项的分类,所述多个附件中的与所述状态改变事件数据中的至少一个状态改变数据项对应的至少一个附件能够根据从对该至少一个附件可用的多个不同分类中选择的分类来动态地生成识别所述分类的所述元数据;
由所述一个或多个处理器生成多个状态项,每个状态项与所述状态改变事件数据中的至少一个状态改变数据项对应,并且所述多个状态项表示所述多个附件的相应当前状态;
由所述一个或多个处理器基于对应的至少一个状态改变数据项的分类,确定每个状态项的优先级;
由所述一个或多个处理器根据所确定的优先级,生成用于显示所述多个状态项的至少一个子集的用户界面;
由所述一个或多个处理器根据所述多个状态项中的至少两个状态项中的每一个状态项的所确定的优先级,在所述用户界面中呈现所述至少两个状态项;以及
由所述一个或多个处理器向所述多个附件中的、与所述多个状态项中的所述至少两个状态项对应的至少一个附件提供指令,所述指令启用所述至少一个附件以执行所述至少一个附件的操作。
33.根据权利要求32所述的系统,其中,所述指令还使得:
确定分配给所述计算设备的用户的角色;
确定所述多个状态项中的特定状态项与所述角色无关;以及
防止所述特定状态项呈现在所述计算设备的所述用户界面中。
34.根据权利要求32所述的系统,其中,所述指令还使得:
基于为所述多个状态项中的每一个状态项确定的优先级,确定用于呈现所述多个状态项的次序;以及
根据所确定的次序,呈现所述多个状态项中的至少两个状态项。
35.根据权利要求32所述的系统,其中,所述元数据识别从其接收到状态改变数据项的附件的类型。
36.根据权利要求32所述的系统,其中,所呈现的状态项中的至少一个状态项包括来自至少两个附件的状态改变数据。
37.根据权利要求36所述的系统,其中,所述指令还使得:
接收与用户的设备相关联的情况数据;
基于所述情况数据,调节状态项的优先级;以及
基于调节后的优先级,呈现所述多个状态项中的所述至少两个状态项。
38.一种方法,包括:
由计算设备接收第一用户输入,所述第一用户输入选择在所述计算设备的图形用户界面上呈现的服务组的表示,其中所述服务组包括多个相关的附件;
响应于接收到对所述服务组的所述选择,由所述计算设备自动地选择要为所述服务组呈现的第一服务组控件,其中所述第一服务组控件是从多个服务组控件中选择的,所述多个服务组控件对应于与所述服务组相关联的所述多个相关的附件的相应附件特征;
由所述计算设备自动地选择要为所述服务组呈现的第二服务组控件,其中所述第二服务组控件是从对应于与所述服务组相关联的所述多个相关的附件的相应附件特征的所述多个服务组控件中选择的;
由所述计算设备在所述计算设备的所述图形用户界面上呈现所述第一服务组控件;
接收所述计算设备的所述图形用户界面上的第二用户输入,所述第二用户输入指示改变到不同服务组控件的请求;以及
响应于所述第二用户输入,调节所述计算设备的所述图形用户界面以在所述计算设备的所述图形用户界面上呈现所述第二服务组控件,其中所述第一服务组控件和所述第二服务组控件对应于不同的附件特征,并且其中所述第一服务组控件和所述第二服务组控件能够被用户操纵以调节具有所述不同的附件特征的两个或更多个附件的状态。
39.根据权利要求38所述的方法,还包括:
确定特定特征是所述服务组中的附件当中的最共有的特征;以及
基于所述确定,选择对应于所述特定特征的所述第一服务组控件。
40.根据权利要求38所述的方法,还包括:
确定特定特征是所述服务组中的附件当中被最频繁使用的特征;以及
基于所述确定,选择对应于所述特定特征的所述第一服务组控件。
41.根据权利要求38所述的方法,还包括:
呈现与所述服务组相关联的每个附件的表示;以及
突出显示与所选择的服务组控件相关联的附件的表示。
42.根据权利要求38所述的方法,其中,所述两个或更多个附件包括第一类型的第一附件和不同于所述第一类型的第二类型的第二附件。
43.根据权利要求38所述的方法,还包括:
接收关于所述第一服务组控件的用户输入,所述用户输入指定与附件组控件相对应的特征的状态;以及
响应于接收到所述用户输入,向具有与所述第一服务组控件对应的所述特征的每个附件发送消息,所述消息使每个附件将所述特征调节到所指定的所述状态。
44.一种计算机可读介质,包括一个或多个指令序列,所述一个或多个指令序列当由一个或多个处理器执行时,使得:
由计算设备接收第一用户输入,所述第一用户输入选择在所述计算设备的图形用户界面上呈现的服务组的表示,其中所述服务组包括多个相关的附件;
响应于接收到对所述服务组的所述选择,由所述计算设备自动地选择要为所述服务组呈现的第一服务组控件,其中所述第一服务组控件是从多个服务组控件中选择的,所述多个服务组控件对应于与所述服务组相关联的所述多个相关的附件的相应附件特征;
由所述计算设备自动地选择要为所述服务组呈现的第二服务组控件,其中所述第二服务组控件是从对应于与所述服务组相关联的所述多个相关的附件的相应附件特征的所述多个服务组控件中选择的;
由所述计算设备在所述计算设备的所述图形用户界面上呈现所述第一服务组控件;
接收所述计算设备的所述图形用户界面上的第二用户输入,所述第二用户输入指示改变到不同服务组控件的请求;以及
响应于所述第二用户输入,调节所述计算设备的所述图形用户界面以在所述计算设备的所述图形用户界面上呈现所述第二服务组控件,其中所述第一服务组控件和所述第二服务组控件对应于不同的附件特征,并且其中所述第一服务组控件和所述第二服务组控件能够被用户操纵以调节具有所述不同的附件特征的两个或更多个附件的状态。
45.根据权利要求44所述的计算机可读介质,其中,所述指令使得:
确定特定特征是所述服务组中的附件当中的最共有的特征;以及
基于所述确定,选择对应于所述特定特征的所述第一服务组控件。
46.根据权利要求44所述的计算机可读介质,其中,所述指令使得:
确定特定特征是所述服务组中的附件当中被最频繁使用的特征;以及
基于所述确定,选择对应于所述特定特征的所述第一服务组控件。
47.根据权利要求44所述的计算机可读介质,其中,所述指令使得:
呈现与所述服务组相关联的每个附件的表示;以及
突出显示与所选择的服务组控件相关联的附件的表示。
48.根据权利要求44所述的计算机可读介质,其中,所述两个或更多个附件包括第一类型的第一附件和不同于所述第一类型的第二类型的第二附件。
49.根据权利要求44所述的计算机可读介质,其中,所述指令使得:
接收关于所述第一服务组控件的用户输入,所述用户输入指定与附件组控件相对应的特征的状态;以及
响应于接收到所述用户输入,向具有与所述第一服务组控件对应的所述特征的每个附件发送消息,所述消息使每个附件将所述特征调节到所指定的所述状态。
50.一种系统,包括:
一个或多个处理器;以及
计算机可读介质,所述计算机可读介质包括一个或多个指令序列,所述一个或多个指令序列当由一个或多个处理器执行时,使得:
由计算设备接收第一用户输入,所述第一用户输入选择在所述计算设备的图形用户界面上呈现的服务组的表示,其中所述服务组包括多个相关的附件;
响应于接收到对所述服务组的所述选择,由所述计算设备自动地选择要为所述服务组呈现的第一服务组控件,其中所述第一服务组控件是从多个服务组控件中选择的,所述多个服务组控件对应于与所述服务组相关联的所述多个相关的附件的相应附件特征;
由所述计算设备自动地选择要为所述服务组呈现的第二服务组控件,其中所述第二服务组控件是从对应于与所述服务组相关联的所述多个相关的附件的相应附件特征的所述多个服务组控件中选择的;
由所述计算设备在所述计算设备的所述图形用户界面上呈现所述第一服务组控件;
接收所述计算设备的所述图形用户界面上的第二用户输入,所述第二用户输入指示改变到不同服务组控件的请求;以及
响应于所述第二用户输入,调节所述计算设备的所述图形用户界面以在所述计算设备的所述图形用户界面上呈现所述第二服务组控件,其中所述第一服务组控件和所述第二服务组控件对应于不同的附件特征,并且其中所述第一服务组控件和所述第二服务组控件能够被用户操纵以调节具有所述不同的附件特征的两个或更多个附件的状态。
51.根据权利要求50所述的系统,其中,所述指令使得:
确定特定特征是所述服务组中的附件当中的最共有的特征;以及
基于所述确定,选择对应于所述特定特征的所述第一服务组控件。
52.根据权利要求50所述的系统,其中,所述指令使得:
确定特定特征是所述服务组中的附件当中被最频繁使用的特征;以及
基于所述确定,选择对应于所述特定特征的所述第一服务组控件。
53.根据权利要求50所述的系统,其中,所述指令使得:
呈现与所述服务组相关联的每个附件的表示;以及
突出显示与所选择的服务组控件相关联的附件的表示。
54.根据权利要求50所述的系统,其中,所述两个或更多个附件包括第一类型的第一附件和不同于所述第一类型的第二类型的第二附件。
55.根据权利要求50所述的系统,其中,所述指令使得:
接收关于所述第一服务组控件的用户输入,所述用户输入指定与附件组控件相对应的特征的状态;以及
响应于接收到所述用户输入,向具有与所述第一服务组控件对应的所述特征的每个附件发送消息,所述消息使每个附件将所述特征调节到所指定的所述状态。
56.一种其上存储有程序指令的计算机可读存储介质,所述程序指令在由计算设备的一个或多个处理器执行时,使所述计算设备执行包括以下各项的操作:
识别包括第一网络和附件的物理环境,所述附件被配置为能够由所述计算设备控制;
检测所述计算设备已经从所述物理环境内的第一位置移动到所述物理环境外的第二位置;以及
至少部分地基于所述检测,经由第二网络与连接到所述第一网络的协调器设备建立连接。
57.根据权利要求56所述的计算机可读存储介质,其中,所述协调器设备被配置为:
从所述计算设备接收控制指令;以及
将所述控制指令中继到所述附件设备。
58.根据权利要求56所述的计算机可读存储介质,其中,所述第一网络包括具有所述物理环境内的接入点的局域网,并且其中,当所述计算设备在所述物理环境内时,所述计算设备被配置为经由所述接入点或者所述局域网中的至少一者与所述附件进行通信。
59.根据权利要求56所述的计算机可读存储介质,其中,所述第二网络包括所述协调器设备能够访问的在所述物理环境之外的广域网,并且其中,所述计算设备被配置为通过所述广域网经由所述协调器设备与所述附件进行通信。
60.根据权利要求56所述的计算机可读存储介质,其中,所述物理环境是至少部分地基于以下各项中的至少一项来识别的:对由所述计算设备呈现的用户界面中的所述物理环境的选择,或者所述计算设备的设备位置匹配所述物理环境中的所述第一位置。
61.根据权利要求60所述的计算机可读存储介质,其中,所述用户界面被配置为呈现多个其他的物理环境。
62.根据权利要求56所述的计算机可读存储介质,其中,所述第一位置是至少部分地基于向所述物理环境添加所述附件而确定的。
63.根据权利要求56所述的计算机可读存储介质,还包括:当发生以下各种情况当中的至少一种情况时,经由所述第二网络的连接从所述协调器设备接收附件数据:所述计算设备中不在所述物理环境中,或者所述计算设备不能连接到所述第一网络。
64.根据权利要求56所述的计算机可读存储介质,其中,所述操作还包括:
在所述计算设备的用户界面处接收对所述附件的选择;以及
响应于所述选择,经由所述第二网络的连接向所述协调器设备发送用于控制所选择的附件的指令,其中,所述协调器设备被配置为经由所述第一网络将所述指令发送给所述附件。
65.一种方法,包括:
由计算设备识别包括第一网络和附件的物理环境,所述附件被配置为能够由所述计算设备控制;
由所述计算设备检测所述计算设备已经从所述物理环境内的第一位置移动到所述物理环境外的第二位置;以及
至少部分地基于所述检测,由所述计算设备经由第二网络与连接到所述第一网络的协调器设备建立连接。
66.根据权利要求65所述的方法,其中,所述协调器设备被配置为:
从所述计算设备接收控制指令;以及
将所述控制指令中继到所述附件设备。
67.根据权利要求65所述的方法,其中,所述第一网络包括具有所述物理环境内的接入点的局域网,并且其中,当所述计算设备在所述物理环境内时,所述计算设备被配置为经由所述接入点或者所述局域网中的至少一者与所述附件进行通信。
68.根据权利要求65所述的方法,其中,所述第二网络包括所述协调器设备能够访问的在所述物理环境之外的广域网,并且其中,所述计算设备被配置为通过所述广域网经由所述协调器设备与所述附件进行通信。
69.根据权利要求65所述的方法,其中,所述物理环境是至少部分地基于以下各项中的至少一项来识别的:对由所述计算设备呈现的用户界面中的所述物理环境的选择,或者所述计算设备的设备位置匹配所述物理环境中的所述第一位置。
70.根据权利要求69所述的方法,其中,所述用户界面被配置为呈现多个其他的物理环境。
71.根据权利要求65所述的方法,其中,所述第一位置是至少部分地基于向所述物理环境添加所述附件而确定的。
72.根据权利要求65所述的方法,还包括:当发生以下各种情况当中的至少一种情况时,经由所述第二网络的连接从所述协调器设备接收附件数据:所述计算设备中不在所述物理环境中,或者所述计算设备不能连接到所述第一网络。
73.根据权利要求65所述的方法,其中,所述操作还包括:
在所述计算设备的用户界面处接收对所述附件的选择;以及
响应于所述选择,经由所述第二网络的连接向所述协调器设备发送用于控制所选择的附件的指令,其中,所述协调器设备被配置为经由所述第一网络将所述指令发送给所述附件。
74.一种计算设备,包括:
一个或多个存储介质,被配置为存储计算机可执行指令;以及
一个或多个处理器,耦合到所述一个或多个存储介质,并被配置为执行所述计算机可执行指令以至少:
识别包括第一网络和附件的物理环境,所述附件被配置为能够由所述计算设备控制;
检测所述计算设备已经从所述物理环境内的第一位置移动到所述物理环境外的第二位置;以及
至少部分地基于所述检测,经由第二网络与连接到所述第一网络的协调器设备建立连接。
75.根据权利要求74所述的计算设备,其中,所述协调器设备被配置为:
从所述计算设备接收控制指令;以及
将所述控制指令中继到所述附件设备。
76.根据权利要求74所述的计算设备,其中,所述第一网络包括具有所述物理环境内的接入点的局域网,并且其中,当所述计算设备在所述物理环境内时,所述计算设备被配置为经由所述接入点或者所述局域网中的至少一者与所述附件进行通信。
77.根据权利要求74所述的计算设备,其中,所述第二网络包括所述协调器设备能够访问的在所述物理环境之外的广域网,并且其中,所述计算设备被配置为通过所述广域网经由所述协调器设备与所述附件进行通信。
78.根据权利要求74所述的计算设备,其中,所述物理环境是至少部分地基于以下各项中的至少一项来识别的:对由所述计算设备呈现的用户界面中的所述物理环境的选择,或者所述计算设备的设备位置匹配所述物理环境中的所述第一位置。
79.根据权利要求78所述的计算设备,其中,所述用户界面被配置为呈现多个其他的物理环境。
80.根据权利要求74所述的计算设备,其中,所述第一位置是至少部分地基于向所述物理环境添加所述附件而确定的。
81.根据权利要求74所述的计算设备,还包括:当发生以下各种情况当中的至少一种情况时,经由所述第二网络的连接从所述协调器设备接收附件数据:所述计算设备中不在所述物理环境中,或者所述计算设备不能连接到所述第一网络。
82.根据权利要求74所述的计算设备,其中,所述操作还包括:
在所述计算设备的用户界面处接收对所述附件的选择;以及
响应于所述选择,经由所述第二网络的连接向所述协调器设备发送用于控制所选择的附件的指令,其中,所述协调器设备被配置为经由所述第一网络将所述指令发送给所述附件。
CN202010704232.0A 2016-06-12 2017-05-22 用于基于附件状态生成场景的系统、方法和介质 Active CN111865737B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662349044P 2016-06-12 2016-06-12
US62/349,044 2016-06-12
US15/275,339 2016-09-24
US15/275,339 US10310725B2 (en) 2016-06-12 2016-09-24 Generating scenes based on accessory state
PCT/US2017/033873 WO2017218143A1 (en) 2016-06-12 2017-05-22 Generating scenes based on accessory state
CN201780020804.XA CN109196825B (zh) 2016-06-12 2017-05-22 用于基于附件状态生成场景的系统、方法和介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780020804.XA Division CN109196825B (zh) 2016-06-12 2017-05-22 用于基于附件状态生成场景的系统、方法和介质

Publications (2)

Publication Number Publication Date
CN111865737A true CN111865737A (zh) 2020-10-30
CN111865737B CN111865737B (zh) 2022-06-14

Family

ID=60573860

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201780020804.XA Active CN109196825B (zh) 2016-06-12 2017-05-22 用于基于附件状态生成场景的系统、方法和介质
CN202210572049.9A Active CN114928508B (zh) 2016-06-12 2017-05-22 用于基于附件状态生成场景的系统、方法和介质
CN202010704232.0A Active CN111865737B (zh) 2016-06-12 2017-05-22 用于基于附件状态生成场景的系统、方法和介质

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201780020804.XA Active CN109196825B (zh) 2016-06-12 2017-05-22 用于基于附件状态生成场景的系统、方法和介质
CN202210572049.9A Active CN114928508B (zh) 2016-06-12 2017-05-22 用于基于附件状态生成场景的系统、方法和介质

Country Status (3)

Country Link
US (1) US10310725B2 (zh)
CN (3) CN109196825B (zh)
WO (1) WO2017218143A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113993115A (zh) * 2021-12-27 2022-01-28 飞天诚信科技股份有限公司 自动解锁屏幕方法、装置、电子设备及可读存储介质
CN115167161A (zh) * 2022-06-27 2022-10-11 青岛海尔科技有限公司 灯具关联关系的确定方法和装置、存储介质及电子装置

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US9166811B2 (en) * 2010-11-15 2015-10-20 Ecotech Marine, Llc Apparatus and methods for controlling a habitat environment
AU349995S (en) * 2013-01-09 2013-07-31 Samsung Electronics Co Ltd Display screen for an electronic device
US20150350141A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US10552009B2 (en) 2014-09-02 2020-02-04 Apple Inc. Stopwatch and timer user interfaces
US10498552B2 (en) 2016-06-12 2019-12-03 Apple Inc. Presenting accessory state
US10572530B2 (en) 2016-07-03 2020-02-25 Apple Inc. Prefetching accessory data
CN109565456B (zh) 2016-08-19 2022-02-08 Pcms控股公司 在智能家居环境中利用设备独立场景的系统和方法
US20190229943A1 (en) * 2016-08-22 2019-07-25 Pcms Holdings, Inc. System and method for crowdsourcing generalized smart home automation scenes
US10303339B2 (en) * 2016-08-26 2019-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-information display software switch strategy
USD875116S1 (en) * 2017-02-22 2020-02-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20200270871A1 (en) 2019-02-27 2020-08-27 Louisiana-Pacific Corporation Fire-resistant manufactured-wood based siding
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
USD841677S1 (en) * 2017-06-04 2019-02-26 Apple Inc. Display screen or portion thereof with graphical user interface
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
US11138251B2 (en) 2018-01-12 2021-10-05 Samsung Electronics Co., Ltd. System to customize and view permissions, features, notifications, and updates from a cluster of applications
USD872764S1 (en) 2018-03-16 2020-01-14 Magic Leap, Inc. Display panel or portion thereof with graphical user interface
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
US10904628B2 (en) 2018-05-07 2021-01-26 Apple Inc. User interfaces for viewing live video feeds and recorded video
CN112313924A (zh) * 2018-05-07 2021-02-02 谷歌有限责任公司 提供用于控制各种连接设备的复合图形助理界面
USD880495S1 (en) 2018-06-03 2020-04-07 Apple Inc. Electronic device with graphical user interface
USD937857S1 (en) * 2018-06-11 2021-12-07 Patientory, Inc. Display screen or portion thereof with graphical user interface
US11068144B2 (en) * 2018-07-20 2021-07-20 Ledvance Llc Diamond shaped digitial color selection interface
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11316709B2 (en) * 2018-10-08 2022-04-26 Google Llc Multi-source smart-home device control
US10985936B2 (en) * 2018-10-08 2021-04-20 Google Llc Customized interface based on vocal input
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
KR20240049648A (ko) 2019-05-31 2024-04-16 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US10904029B2 (en) * 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
CN110427186B (zh) * 2019-07-26 2023-08-15 广东信通通信有限公司 一种基于视窗的指挥业务页面信息展示方法和装置及设备
USD958166S1 (en) * 2019-11-19 2022-07-19 Johnson Systems Inc. Display screen with graphical user interface
CN113939799A (zh) * 2020-05-11 2022-01-14 苹果公司 用于音频消息的用户界面
AU2020239711C1 (en) * 2020-05-11 2022-03-31 Apple Inc. User interface for audio message
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
EP4099142A4 (en) * 2021-04-19 2023-07-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD OF OPERATION
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
CN115016302A (zh) * 2022-05-23 2022-09-06 深圳绿米联创科技有限公司 设备控制方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
CN102216941A (zh) * 2008-08-19 2011-10-12 数字标记公司 用于内容处理的方法和系统
US20120029661A1 (en) * 2008-09-29 2012-02-02 Bryan Michael Jones Dynamic User Interface for Configuring and Managing a Process Control System
US8490006B1 (en) * 2012-09-04 2013-07-16 State Farm Mutual Automobile Insurance Company Scene creation for building automation systems
CN104272254A (zh) * 2012-04-30 2015-01-07 微软公司 用户界面web服务
US20150082225A1 (en) * 2013-09-18 2015-03-19 Vivint, Inc. Systems and methods for home automation scene control
US20160070244A1 (en) * 2014-09-09 2016-03-10 Savant Systems, Llc User-defined scenes for home automation
US20160091871A1 (en) * 2013-11-15 2016-03-31 Apple Inc. Automated environment providing feedback based on user routine

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695331B1 (ko) * 2005-09-23 2007-03-16 한국전자통신연구원 상황인지 환경을 위한 사용자 인터페이스 장치 및 이에연동되는 기기 제어 장치 및 그의 동작 방법
US7680906B2 (en) * 2006-02-22 2010-03-16 Microsoft Corporation Configuring devices using context histories
US20090284476A1 (en) * 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
US8519820B2 (en) * 2008-09-02 2013-08-27 Apple Inc. Systems and methods for saving and restoring scenes in a multimedia system
US20100138007A1 (en) * 2008-11-21 2010-06-03 Qwebl, Inc. Apparatus and method for integration and setup of home automation
GB2479060B (en) 2011-03-24 2012-05-02 Reactive Technologies Ltd Energy consumption management
US9176486B2 (en) 2011-05-09 2015-11-03 Glamo, Inc. Remote control device, server, method, and computer program
FR2987467B1 (fr) 2012-02-27 2016-12-09 Somfy Sas Procedes de commande et de parametrage d’une installation domotique et installation domotique mettant en œuvre ces procedes
US9600552B2 (en) * 2012-10-02 2017-03-21 Nextbit Systems Inc. Proximity based application state synchronization
US20140129032A1 (en) * 2012-11-07 2014-05-08 Think Automatic, LLC Genetic learning for environmental control automation
US9900171B2 (en) * 2013-02-25 2018-02-20 Qualcomm Incorporated Methods to discover, configure, and leverage relationships in internet of things (IoT) networks
KR102202660B1 (ko) * 2013-09-23 2021-01-13 삼성전자주식회사 스마트 홈 서비스를 위한 기기들을 제어하는 방법 및 장치
US9713231B2 (en) * 2014-06-27 2017-07-18 Belkin International Inc. Light switch controlling light source via wireless transmission
JP6217853B2 (ja) * 2014-06-27 2017-10-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10345767B2 (en) * 2014-08-19 2019-07-09 Samsung Electronics Co., Ltd. Apparatus and method for gamification of sensor data interpretation in smart home
US20160073482A1 (en) * 2014-09-05 2016-03-10 Qualcomm Incorporated Implementing a target lighting scene in an internet of things environment using a mobile light output device
US9830808B2 (en) 2014-09-12 2017-11-28 Logitech Europe S.A. Controllers with adaptable interfaces
CA3216856A1 (en) 2014-11-11 2016-05-19 Webee Corporation Systems and methods for smart spaces
WO2016099048A1 (en) 2014-12-15 2016-06-23 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling group action
US10657949B2 (en) 2015-05-29 2020-05-19 Sound United, LLC System and method for integrating a home media system and other home systems
KR20170015622A (ko) * 2015-07-29 2017-02-09 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US20170053210A1 (en) 2015-08-17 2017-02-23 Ton Duc Thang University Smart home system
US10018977B2 (en) * 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
US11429883B2 (en) 2015-11-13 2022-08-30 Microsoft Technology Licensing, Llc Enhanced computer experience from activity prediction
US9521009B1 (en) 2016-01-20 2016-12-13 Creston Electronics, Inc. Auto-configuration and automation of a building management system
US10764153B2 (en) 2016-09-24 2020-09-01 Apple Inc. Generating suggestions for scenes and triggers

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
CN102216941A (zh) * 2008-08-19 2011-10-12 数字标记公司 用于内容处理的方法和系统
US20120029661A1 (en) * 2008-09-29 2012-02-02 Bryan Michael Jones Dynamic User Interface for Configuring and Managing a Process Control System
CN104272254A (zh) * 2012-04-30 2015-01-07 微软公司 用户界面web服务
US8490006B1 (en) * 2012-09-04 2013-07-16 State Farm Mutual Automobile Insurance Company Scene creation for building automation systems
US20150082225A1 (en) * 2013-09-18 2015-03-19 Vivint, Inc. Systems and methods for home automation scene control
US20160091871A1 (en) * 2013-11-15 2016-03-31 Apple Inc. Automated environment providing feedback based on user routine
US20160070244A1 (en) * 2014-09-09 2016-03-10 Savant Systems, Llc User-defined scenes for home automation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113993115A (zh) * 2021-12-27 2022-01-28 飞天诚信科技股份有限公司 自动解锁屏幕方法、装置、电子设备及可读存储介质
CN115167161A (zh) * 2022-06-27 2022-10-11 青岛海尔科技有限公司 灯具关联关系的确定方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN114928508B (zh) 2024-04-12
US10310725B2 (en) 2019-06-04
US20170357425A1 (en) 2017-12-14
CN109196825B (zh) 2020-07-31
WO2017218143A1 (en) 2017-12-21
CN114928508A (zh) 2022-08-19
CN109196825A (zh) 2019-01-11
CN111865737B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN111865737B (zh) 用于基于附件状态生成场景的系统、方法和介质
US10511456B2 (en) Presenting accessory group controls
US11003147B2 (en) Automatically grouping accessories
US11010416B2 (en) Prefetching accessory data
US11394575B2 (en) Techniques for utilizing a coordinator device
US10764153B2 (en) Generating suggestions for scenes and triggers
CN106462123B (zh) 使用环境模型的附件管理系统
US10454783B2 (en) Accessory management system using environment model
US10469281B2 (en) Generating suggestions for scenes and triggers by resident device
EP3410644B1 (en) Presence triggered notification and actions
US10938593B2 (en) Anomaly detection by resident device
US20210184881A1 (en) Delegation or revocation of trigger execution in an automated environment
US20230127500A1 (en) Accessory management system using environment model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant