CN114448743B - 用于授权控制器设备的技术 - Google Patents

用于授权控制器设备的技术 Download PDF

Info

Publication number
CN114448743B
CN114448743B CN202210118030.7A CN202210118030A CN114448743B CN 114448743 B CN114448743 B CN 114448743B CN 202210118030 A CN202210118030 A CN 202210118030A CN 114448743 B CN114448743 B CN 114448743B
Authority
CN
China
Prior art keywords
computing device
controller
signal
accessories
accessory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210118030.7A
Other languages
English (en)
Other versions
CN114448743A (zh
Inventor
Z·U·R·阿施拉弗
A·G·纳达瑟尔
J·S·格拉布
S·拉马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN114448743A publication Critical patent/CN114448743A/zh
Application granted granted Critical
Publication of CN114448743B publication Critical patent/CN114448743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42225—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details characterized by types of remote control, e.g. universal remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本公开题为“用于授权控制器设备的技术”。本公开的实施方案呈现了用于使控制器设备能够控制专有数字媒体播放器、网络附件和虚拟助理的设备、方法和计算机可读介质，从而提供总体改善的用户体验。本文所公开的技术减少了混乱，因为单个控制器可控制各种不同的设备和附件。所公开的技术还可包括识别用于该计算设备的配置信息的变化。用于附件控制的该技术可包括发送用于该控制器的更新的配置信息，该配置信息将该计算设备的功能与控制器的用户界面元素值相关联。

Description

用于授权控制器设备的技术
本申请是申请日为2019年5月30日申请号为201910459722.6发明名称为“用于授权控制器设备的技术”的发明专利申请的分案申请。
技术领域
本申请涉及用于实现用于控制附件的各种技术的设备、计算机可读介质和方法。
背景技术
家庭中使用的许多娱乐设备(例如，电视、数字媒体播放器、数字视频盘、蓝光播放器等)利用遥控器。其他非娱乐设备诸如百叶窗、灯、车库门、恒温器等也使用遥控器。控制所有这些设备所需的远程控制设备的数量可能导致混乱和用户体验总体较差。通常，坐下来观看TV或电影需要在多个遥控器之间进行改组、切换输入以及同时对多个部件提供动力。控制器可被配置为控制多个设备。因此，房屋所有者需要保留若干远程设备来控制这些设备，从而导致混乱和用户体验总体较差。
发明内容
本公开的实施方案可提供用于使控制器设备能够控制专有数字媒体播放器、家庭网络附件和虚拟助理的设备、方法和计算机可读介质，从而提供总体改进的用户体验。本文所公开的技术减少了混乱并提高了家庭网络的效率，因为单个控制器可控制各种不同的附件。
在各种实施方案中，用于附件控制的技术可包括由用于家庭网络的计算设备接收用于添加控制器的网络代码。用户可经由家庭网络的应用程序的用户界面来输入网络代码。用于附件控制的技术可包括由计算设备向控制器发送第一信号，该第一信号被配置为注册控制器以从计算设备接收配置信息。用于附件控制的技术可包括由计算设备向控制器发送第二信号，该第二信号包括用于控制器的配置信息，该配置信息将计算设备的功能与控制器的用户界面元素值相关联。用于附件控制的技术可包括由计算设备从控制器接收第三信号，该第三信号指示控制器上的选择的用户界面元素的激活。用于附件控制的技术可包括由计算设备执行与选择的用户界面元素相关联的功能。
在各种实施方案中，用于附件控制的技术可包括由计算设备经由第三信号接收信息(例如，信息包)。该信息包可包括来自控制器的记录音频信息。用于附件控制的技术可包括由计算设备将信息包转换成文本的部分抄本，其中该文本的部分抄本包括一个或多个文本字符。用于附件控制的技术可包括准备在计算设备上显示文本的部分抄本。用于附件控制的技术可包括由计算设备至少部分地基于与文本的部分抄本相关联的一个或多个指令的执行来执行一个或多个功能。该技术可包括显示文本的部分抄本。
在各种实施方案中，用于附件控制的技术可包括由计算设备识别用于计算设备的配置信息的变化。用于附件控制的技术可包括由计算设备发送第四信号，该第四信号包括用于将计算设备的功能与控制器的用户界面元素值相关联的修订配置信息。
在各种实施方案中，用于附件控制的技术可包括授权控制器控制无线地连接到计算设备的各种类型的一个或多个附件。
在各种实施方案中，用于附件控制的技术可包括同步一个或多个附件的控制，使得来自控制器的命令将针对相同类型的附件中的每个附件执行相关功能。
在各种实施方案中，用于附件控制的技术可包括使控制器的界面在控制器的显示器上显示一个或多个附件的表示。
在各种实施方案中，用于附件控制的技术可包括从控制器接收对计算设备的授权，以控制无线地连接到控制器的各种类型的一个或多个附件。该技术可包括同步一个或多个附件的控制，使得来自计算设备的命令将针对相同类型的附件中的每个附件执行相关功能。该技术可包括为用户提供用于选择计算设备上的一个或多个附件的界面。
在各种实施方案中，用于附件控制的技术可包括由计算设备从控制器接收打开信道的请求。在一些实施方案中，信道可以是双向的。该技术可包括由计算设备打开用于接收包含数字音频数据的第三信号的信道。该技术可包括由计算设备向控制器发送第五信号，该第五信号包括发送标识、状态、地址和信道标识。该技术可包括由计算设备经由第三信号接收信息包，该信息包包括来自控制器的数字音频数据。
在各种实施方案中，用于附件控制的技术可作为多个指令存储在计算机可读介质中。
在各种实施方案中，用于附件控制的技术可结合到计算设备中，该计算设备包括一个或多个存储器以及与一个或多个存储器通信并且被配置为执行存储在一个或多个存储器中的指令的一个或多个处理器。
以下具体实施方式连同附图将提供对本公开的实质和优点的更好的理解。
附图说明
图1示出了根据本公开的实施方案的网络环境。
图2示出了根据本公开的实施方案的网络配置。
图3示出了根据本公开的实施方案的用于授权通用设备的技术的简化流程图。
图4示出了根据本公开的实施方案的用于授权通用设备的技术的图。
图5示出了根据本公开的另一个实施方案的用于打开信道的技术的简化流程图。
图6示出了根据本公开的实施方案的用于使控制器设备能够访问虚拟助理的技术的简化流程图。
图7示出了本公开的实施方案的用于使控制器设备能够访问虚拟助理的技术的另一个简化流程图。
图8示出了根据本公开的实施方案的用于附件网络配置的计算机可读介质中的指令的简化流程图。
图9示出了根据本公开的实施方案的计算机系统的简化框图。
图10示出了根据本公开的实施方案的媒体接入设备的简化框图。
图11示出了根据本公开的实施方案的附件的简化框图。
图12示出了根据本公开的实施方案的控制器的简化框图。
具体实施方式
本公开的某些实施方案涉及用于实现用于控制附件的各种技术的设备、计算机可读介质和方法。在以下描述中，将描述各种实施方案。为了解释的目的，阐述了很多具体配置和细节以便提供对实施方案的彻底理解。然而，对本领域的技术人员也将显而易见的是，这些实施方案可在没有这些具体细节的情况下被实施。此外，可省略或简化熟知的特征以防止对本文所述的实施方案造成混淆。本公开描述了用于使控制器设备能够控制专有数字媒体播放器、网络附件和虚拟助理的设备和方法。
I.示例环境
图1示出了根据本公开的实施方案的网络环境100。在一些实施方案中，网络环境100可以是家庭网络。网络环境100包括控制器102，该控制器可与位于该环境中的各种附件设备(也称为附件)通信。控制器102可包括例如台式计算机、膝上型计算机、平板电脑、智能电话、可穿戴计算设备、个人数字助理，或可能够向附件传送命令控制消息(例如，如上文提及的美国申请No.14/614,914中所描述)并且呈现用户界面以允许用户指示出对附件的期望操作的任何其他计算设备或设备组。在一些实施方案中，控制器102可使用多个分立的设备来实现。例如，可存在一个基站以及一个或多个移动遥控站(例如，手持式或可穿戴设备诸如移动电话、平板电脑、智能手表、眼镜等)，其中基站与附件通信，并且可安装在环境100中的固定位置处，而移动遥控站提供了用户界面，并且与基站通信以实现对附件的控制。在一些实施方案中，基站可如上文引用的美国申请No.14/725,891中所述充当协调器或代理。
可对任何类型的附件设备进行控制。附件设备的示例包括门锁104、车库门系统106、灯具108、安保摄像机110和恒温器112。在某些情况下，控制器102可与附件直接通信；例如，控制器102被示出为直接与门锁104、车库门系统106和百叶窗116通信。在其他情况下，控制器102可经由中间体进行通信。例如，控制器102被示出为经由无线网络接入点114与由接入点114提供的无线网络上的附件诸如108、110、112、118通信。如上所述，在一些实施方案中，控制器102可包括基站，并且基站功能可集成到接入点114中，或集成到待控制的附件之一(例如，恒温器112)中。在一些实施方案中，中介可如上文引用的美国申请No.14/725,891中所述充当代理或协调器。在一些实施方案中，控制器可控制媒体访问和媒体接入设备118。在一些实施方案中，除了提供支持作为家庭网络的集线器之外，媒体接入设备118还可提供对多媒体内容的访问。在一些实施方案中，媒体接入设备可具有单独的专有控制器120。
可使用各种通信传输手段以及传输手段的组合，并且不同的传输手段可用于不同的设备。例如，一些无线传输手段诸如由Bluetooth SIG发布的
Figure BDA0003497313050000051
经典或
Figure BDA0003497313050000052
智能通信协议和标准(本文中称为“Bluetooth”和“Bluetooth LE”)可支持设备之间在有限范围内的点对点直接通信。由Wi-Fi联盟(Wi-Fi Alliance)发布的遵从
Figure BDA0003497313050000053
网络标准和协议的其他无线传输手段，诸如无线网络(本文中称为“Wi-Fi网络”)，可定义具有中央接入点的无线网络，该中央接入点可促进网络上不同设备之间的通信。另外，虽然示出了无线通信传输手段，但也可为一些或所有附件提供有线传输手段。例如，灯泡108可通过有线连接而连接到接入点114，并且控制器102可通过向接入点114无线地发送消息而与灯泡108通信，该接入点可经由有线连接将消息递送到灯泡108。有线通信和无线通信的其他组合也是可能的。
另外，虽然示出了一个控制器102，但网络环境中可存在多个相关联的控制器设备。在各种实施方案中，控制器102是通用控制器，其能够被编程为控制来自不同制造商的一个或多个设备或附件。在一些实施方案中，控制器102可包括液晶显示器(LCD)触摸屏显示器。一些LCD触摸屏包括遥控器显示器上的“虚拟按钮”。在一些实施方案中，可对设备上的用户界面元素(按钮)进行编程和重新编程以执行其他功能。在一些实施方案中，控制器102的显示器可以注册用户的身体姿势。在一些实施方案中，控制器102包含多个加速度计或陀螺仪中的一者以检测控制器的移动。控制器的一些实施方案允许改变虚拟按钮在控制器102上的显示方式的配置。在一些实施方案中，控制器102可使用射频波来操作其中障碍物阻挡传统红外信号的设备。使用射频波的控制器102可用于控制下一个房间中的电子器件。
许多控制器设备声称对通用控制附件使用蓝牙。然而，实际发生的情况通常是控制器设备向集线器发送蓝牙信号。该集线器集成了红外线发射器，其经由来自发射器的红外线发出遥控命令信号。这些通信也是从控制器设备或集线器到设备的单向通信信道。对于传统的通用控制器，遥控器知道用户在激活用户界面元素时命令的功能。本公开中描述的控制器是开放式的，因为控制器不具有关于激活的知识。在一些实施方案中，该技术包括授权控制器控制无线地连接到计算设备的各种类型的一个或多个附件。
在一些实施方案中，通用控制器可以是高端控制器，诸如由Savant Systems LLC、Logitech、Elan Home Systems、Crestron Electronics,Inc和Control4 Corporation制造的控制器。然而，所列出的控制器仅是示例，本公开不限于这些系统中的任何一者。在本公开中，控制器和设备之间的通信可以是双向的。因此，附件或设备可向控制器102发送信息。
在一些实施方案中，统一附件协议可有助于控制器102与一个或多个附件104-116的通信。该统一附件协议可提供一种简单且可扩展的框架，该框架可将附件作为服务的集合来建模，其中每个服务被定义为一组特征，每个特征在任何给定时间具有一个定义值。各种特征可表示附件状态的各个方面。例如，就恒温器112而言，特征可包括电力(接通或断开)、当前温度和目标温度。在一些实施方案中，消息格式可以是依赖于传输的，同时符合相同的附件模型。附件可提供“属性数据库”，其识别附件向控制器公开的服务和特征。控制器102可从附件读取属性数据库(或其一部分)并使用属性数据库来确定如何与附件交互。基于服务和特征的附件模型的示例描述于上文引用的美国申请No.14/614,914中。
统一附件协议可进一步定义用于控制器102的消息格式，以将命令和控制消息(请求)发送到附件(或其他附件)，并且用于附件将响应消息发送到控制器102。命令和控制消息可允许控制器102询问附件特征的当前状态(例如，通过发送读取请求)并且在一些情况下修改特性(例如，发送写入功率特性的请求可导致关闭或打开附件)。因此，不管附件的功能或制造商是怎样的，都可通过发送适当的消息来控制任何类型的附件。消息格式在不同类型的附件中可相同。消息格式的示例描述于上文引用的美国申请No.14/614,914中。
统一附件协议可进一步提供通知机制，其允许附件(或其他附件)在状态改变的情况下选择性地通知控制器102。可实现多个机制，并且控制器102可针对给定目的，对最适当的通知机制进行注册或订阅。通知机制的示例描述于上文引用的美国申请No.14/614,914中。
在一些实施方案中，与给定附件的通信可限于已经获得授权的控制器。例如，统一附件协议可指定一个或多个机制(包括本文称为“配对设置”和“配对添加”的机制)，用于在提供用户希望控制器102能够控制附件的高度置信度的环境下在控制器102和给定附件(例如，门锁附件)之间建立“配对”(本文也称为“本地配对”)。配对设置可包括带外信息交换(例如，用户可将附件提供的数字或字母数字PIN或密码输入由控制器102提供的界面中)以建立共享秘密。这个共享秘密可用于支持“长期”公共密钥在控制器102和附件之间的安全交换，并且每个设备可存储从另一个设备接收的长期公共密钥，以使得所建立的配对可以是持久性的。在建立了本地配对后，则认为控制器102已被授权，随后，控制器102和附件可根据需要进入和退出通信，而不会失去所建立的配对。当控制器102尝试与附件通信或控制附件时，可首先执行由统一附件协议指定的“配对验证”过程以验证建立的本地配对存在(例如，在这种情况下，控制器102先前完成了与附件的对设置)。配对验证过程可包括每个设备证明其拥有与在配对建立期间交换的长期公共密钥对应的长期私有密钥，并且还可包括建立新的共享秘密或会话密钥以加密在“配对验证”会话(在本文中也称为验证会话)期间的所有通信。在配对验证会话期间，具有适当特权的控制器可执行“配对添加”过程，以便代表另一个控制器与附件建立另一个配对。任一设备均可仅通过使会话密钥的副本破坏或无效而在任何时间结束配对验证会话。
在一些实施方案中，多个控制器可与同一附件建立本地配对(例如，通过与附件执行配对设置，或通过由先前已与附件建立配对设置的控制器添加配对)，并且附件可接受并响应来自其配对控制器中的任一者的通信，同时拒绝或忽略来自未配对控制器的通信。配对设置、配对添加和对验证过程的示例以及安全相关操作的其他示例描述于上文引用的美国申请No.14/614,914中。在本公开的一些实施方案中，可定义和使用附加的“中继配对”过程，以允许控制器通过本地环境外部的中继服务与附件通信。
应当理解，家居环境100是例示性的，并且变型形式和修改形式是可能的。本公开的实施方案可在用户希望使用控制器设备来控制一个或多个附件设备的任何环境中实现，包括但不限于住房、汽车或其他车辆、办公大楼、具有多栋建筑的校园(例如，大学校园或企业)等。单个控制器可与任意数量的附件建立配对，并可在不同时间选择性地与不同附件通信。类似地，单个附件可由已与其建立配对的多个控制器控制。可通过将功能建模为具有一个或多个特征的服务，并且允许控制器与该服务和/或其特征发生交互作用(例如，读取、修改、接收更新)来控制附件的任何功能。因此，不管附件功能或控制器形状因数或具体界面如何，本发明的实施方案中所使用的协议和通信均可在任何环境下统一地用于一个或多个控制器和一个或多个附件。
II.网络配置
图2示出了根据本公开的实施方案的网络配置200。配置200允许控制器202与位于本地环境206中的附件204(例如，诸如上述环境100的家庭环境)通信。各个控制器202可以是经常出入于环境206的用户(例如，家庭住户或家庭固定访问者)所拥有和/或操作的电子设备。控制器202可类似于图1的控制器102，并且附件204可类似于图1所示的各种附件。
在各种实施方案中，附件204每者可与可位于本地环境206中的接入点210通信。接入点210可提供附件204和控制器202(当存在于本地环境206中时)可连接到的局域网(LAN)。可使用任何类型的LAN技术，包括Wi-Fi网络或其他无线LAN技术。因此，接入点210可促进本地环境206内的附件204和控制器202之间的通信。在一些实施方案中，存在于本地环境206中的控制器(例如，控制器202(1))可直接与附件(例如，附件204(1))通信。可根据需要使用蓝牙通信、ad hoc无线网络或其他点对点通信技术。
在一些情况下，附件可能不直接与接入点210或控制器202通信。例如，附件204(3)可连接到代理212，并且控制器202和/或接入点210可经由代理212与附件204(3)通信。在各种实施方案中，代理212可提供到附件204(3)的消息的中继或者提供来自附件1004(3)的消息的中继。代理212可实现通信安全措施和/或协议转换，并且单个代理212可与一个或多个附件204接口。在一些实施方案中，代理212可是可在多个控制器和/或附件间协调操作、并且不限于被动地中继消息的“智能”设备。可实现为代理212的代理设备的具体示例(包括被不同地为网桥、隧道和协调器的设备)在上文引用的美国申请No.14/725,891中有所描述。
在一些实施方案中，存在于本地环境206中的附件204和控制器202可使用诸如Wi-Fi网络的局域网(LAN)和/或诸如蓝牙LE的点对点通信介质来通信。应当理解，可使用其他通信传输和协议。在一些实施方案中，控制器202和附件204(以及代理212，如果存在的话)可支持如上所述的统一附件协议，其可使用Wi-Fi和蓝牙LE作为传输来实现。
在图2的示例中，控制器202(1)当前位于具有附件204和接入点210的本地环境206中。例如，控制器202(1)可与附件204在同一LAN上。控制器202(2)和202(3)当前位于本地环境206之外，但是连接到通信网络208(例如，互联网)。此类控制器被称为“远离”附件204。应当理解，控制器202可以是有时位于本地环境206内，而有时位于本地环境206外的移动设备。附件204无需是移动的，并且不需要连接到通信网络208。在一些实施方案中，接入点210可连接到通信网络208(例如，接入点210可实现为常规的Wi-Fi接入点或基站)并且可允许远程控制器202(2)和202(3)远程访问附件204。
然而，可能不希望将每个附件204配置为可由能够连接到通信网络208的任何设备找到并与之通信的广域网设备。例如，如果通信网络208是因特网，则包括世界上任何地方的任何人拥有的设备的大量设备可能能够定位附件204并尝试未经授权的操作。因此，为了更有选择地允许控制器202经由网络208与附件204通信，采用中继服务220可能是有用的。
根据本公开的各种实施方案，中继服务220可促进控制器202(特别是远程控制器202(2),202(3))和附件204之间经由通信网络208的通信。例如，中继服务220可建立到附件204(1)的持久连接，其中附件204(1)通过由中继服务220分配并且对控制器202已知(但是可能不被未经授权访问附件204的其他设备已知)的永久附件别名(也被称为“附件中继别名”或“附件RA”)识别。控制器202(2)可向中继服务220发送请求以向附件204(1)发送消息；该请求可包括消息内容、由中继服务220分配给附件204(1)的附件别名以及中继服务220可用于验证控制器202(2)被授权与附件204(1)通信的附件信息(例如，如下描述的访问令牌)。中继服务220可将消息传递给附件204(1)。来自附件204(1)的响应消息可以类似的方式传递到控制器202(2)，使用由中继服务220分配给控制器202(2)并且对附件204(1)已知的持久运营商别名，但可能不对未被授权使用中继服务220与控制器202(2)通信的设备已知。经由中继服务220在控制器202(2)和附件204(1)之间交换的消息内容可符合如上所述的统一附件协议，并且消息内容对于中继服务220可是不透明的。因此，控制器202(2)和附件204(1)可通过中继服务220进行通信以建立成对验证的会话(如上所述)并且可加密消息内容使得消息内容不能被中继服务220或者消息内容可能通过的其他中介读取。这样，中继服务220可在控制器202(2)和附件204(1)之间(或者在任何控制器202和任何附件204之间)提供安全的端到端通信路径(由虚线222指示)。
在一些实施方案中，控制器202可被配置为在可能的情况下与附件204通信而不使用中继服务器220。例如，当控制器202(2)确定它应该向附件204(1)发送消息时(例如，基于用户输入或如下所述的接收通知)，在控制器202(2)中执行的通信守护进程或其他进程可确定对附件204(1)的“本地访问”(或“本地信道”)当前是否可用。例如，控制器202(2)可在本地网络或点对点通信技术上主动或被动地扫描附件204(1)的存在；如果检测到附件204(1)，则可进行本地访问。如果未检测到附件204(1)，则本地访问不可用，并且控制器202(2)可代之以与中继服务220通信。确定是使用本地访问还是中继服务220对于用户是透明的，并且可在每次建立到附件的通信信道时进行。因此，想要使用控制器202(2)与附件204(1)交互的用户可简单地这样做而不用担心是使用本地访问还是经由中继服务220的远程访问。
在一些实施方案中，控制器204(4)可是被编程为控制一个或多个附件202(4)的专有控制器设备。可通过类似于向网络添加其他附件的过程将控制器204(4)添加到网络。在一些实施方案中，控制器204(4)可在本地环境中操作和并且通过接入点210控制附件204(1)、204(2)和204(3)。在一些实施方案中，专有附件202(4)可由来自本地环境外部的控制器202(2)和202(3)控制。
应当理解，网络配置200是例示性的，并且变型形式和修改形式是可能的。可将任何数量的控制器和任何数量的附件包括在网络配置中。在一些实施方案中，网络配置可包括一个或多个代理(例如，如上文引用的美国申请No.14/725,912中所述的网桥、隧道、协调器)。一些或全部附件204可能仅在本地环境内可访问。此外，如下所述，不同的控制器202可具有关于访问附件204的不同级别的权限；例如，经由网络208的远程访问可被允许用于一些控制器202，但不允许用于其他控制器202。
III.设置
图3示出了根据本公开的实施方案的用于授权通用设备的技术的简化流程图。可以与其他附件类似的方式将控制器添加到网络中。用于添加控制器的技术可包括在302处由用于网络的计算设备接收用于添加控制器的网络代码。在一些实施方案中，经由用于网络的应用程序的用户界面来识别网络代码。在一些实施方案中，网络可以是家庭网络。另选地，计算设备可称为中心计算设备或主计算设备。在一些实施方案中，计算设备可以是媒体接入设备118，如图1所示。
在一些实施方案中，将控制器添加到网络涉及对设备进行配对。配对在媒体接入设备118(如图1所示)与控制器102之间建立加密关系。配对可有两个部分：配对设置和配对验证。配对设置是一次性操作，其通过与媒体接入设备118和附件或控制器102安全地交换公钥来在媒体接入设备118与配件或控制器102之间创建有效配对。配对设置要求用户输入网络代码。网络代码可以是可变长度的数字或字母数字代码(例如，八位数网络代码)。在各种实施方案中，网络代码可由附件或控制器102经由设备上的标签或显示器、包装材料或用于设备的指令来提供。
在一些实施方案中，机器可读代码诸如条形码或快速响应(QR)代码可包含网络代码。在一些实施方案中，机器可读代码可被印刷在附件或控制器的标签上。在这些实施方案中，通过用能够读取机器可读代码的设备扫描机器可读代码，可建立输入网络代码。在一些实施方案中，控制器可以是具有能够读取机器可读代码的数字成像设备(例如，相机)的智能手机或平板电脑。
在一些实施方案中，媒体接入设备118(如图1所示)可通过智能电话、平板电脑、膝上型电脑或其他计算设备上的应用程序来控制。可开发各种应用程序(简称App)来控制媒体接入设备118、附件和控制器之间的交互。应用程序可提供允许用户手动输入网络代码的用户界面。在一些实施方案中，网络代码可通过键盘或小键盘输入。在一些实施方案中，网络代码可经由虚拟键盘输入。在一些实施方案中，应用程序可使用户能够利用执行应用程序的设备上的相机来扫描机器可读代码。扫描机器可读代码可捕获应用程序中的网络代码。
配对验证过程可在任何联网协议会话之前执行。配对验证验证计算设备与控制器或附件之间的配对。配对验证建立临时共享密钥以保护网络协议会话。
用于添加控制器的技术可包括，在304处，由计算设备向控制器发送第一信号，该第一信号被配置为注册控制器以从计算设备接收配置信息。第一信号可以是有线或无线信号。控制器可接收第一信号并在计算设备和控制器102之间建立链接。
在306处，该技术包括由计算设备向控制器发送第二信号，该第二信号包括用于控制器的配置信息，该配置信息将计算设备的功能与控制器的用户界面元素值相关联。第二信号可以是有线或无线信号。与依赖于为特定设备选择各种红外(IR)代码的传统通用控制器不同，本文所公开的技术涉及将配置从计算设备发送到控制器102。这样，配置可随媒体接入设备118上的特征变化而改变。
在将一个或多个控制器和媒体接入设备添加到网络之后，网络守护进程和框架提供用于管理媒体访问和网络设备118与控制器的关联的界面。诸如家庭网络应用程序或电视设置的不同网络客户端应用这些界面为用户提供用于管理这些关联的用户界面(UI)。当媒体访问网络设备118与控制器102相关联时，进行该关联的网络守护进程将使用用户界面元素的配置来配置控制器102，使得控制器102可向任何感兴趣的控制器生成事件。用户界面元素也可被称为按钮。已经与控制器102相关联的媒体接入设备118上的网络守护进程可在附件控制网络协议服务中注册关于活动标识网络协议特性的通知。该特征识别由用户从控制器102的UI选择的附件。
用户界面可以是特定于设备的。在一些实施方案中，控制器102可具有用于用户界面元素的可编程按钮。在一些实施方案中，控制器可具有用于用户界面元素的软键。计算设备的功能可基于计算设备的软件发行版而变化。在一些实施方案中，这些功能包括允许用户访问Web视频应用程序。这些功能还可包括与数字媒体播放器相关的标准功能，包括播放电影和节目、播放音乐、游戏、直播体育和新闻，呈现来自亚马逊Prime视频、Hulu、ESPN和Netflix等应用程序的数字内容。这些功能还可包括访问虚拟助理。这些功能还可包括从其他计算设备投射音频和视频，并允许用户浏览互联网。
在一些实施方案中，计算设备的功能可与网络上的一个或多个附件相关联。例如，该功能可包括打开警报、锁定门、关闭灯泡或调节恒温器。
可由与控制器102相关联的每个媒体接入设备118上的网络守护进程执行相同的动作。当用户在控制器102的用户界面中选择相关联的配件中的一者时，控制器102修改活动标识联网协议特性以匹配被配置为关联的一部分的媒体访问联网设备118的标识。每个相关联的媒体设备118上的网络守护进程通知该改变，并且只有与活动标识网络协议特性中的值匹配的媒体接入设备118将注册以从控制器102接收来自用户界面元素(按钮)的通知。
在308处，该技术可包括由计算设备收来自控制器的第三信号，该第三信号指示与控制器上的选择的用户界面元素的交互。第三无线信号可以是有线或无线信号。与选择的用户界面元素的交互可包括通过与用户界面元素的物理接触来激活用户界面元素。在一些实施方案中，与选择的用户界面元素的交互可包括在控制器102的触摸屏显示器上检测用户的手势。在一些实施方案中，与选择的用户界面元素的交互可包括检测控制器102的加速度或移动。用户界面元素的激活可以是用户在触摸屏显示器上的触觉输入或者按压控制器102上的按钮。
当用户与控制器102的用户界面中的任何用户界面元素或按钮交互时，控制器102生成关于用户界面元素事件网络协议特性的通知。与活动标识网络协议特征匹配的媒体接入设备118上的网络守护进程接收该用户界面元素事件并将其转换到媒体访问网络设备118以用于执行特定动作。在一些实施方案中，特定动作可包括用于媒体接入设备118的功能，例如播放、暂停、倒带、快进、2x倒带，2x快进、菜单等。
在310处，该技术可包括由计算设备执行与选择的用户界面元素相关联的功能。在接收到第三信号时，计算设备可执行与控制器102上的用户界面元素相关联的功能。
应当理解，过程300是示例性的，并且变型和修改是可能的。可并行执行按顺序描述的步骤，可改变步骤的顺序，并且可修改、合并、添加或省略步骤。
当用户在控制器102的用户界面中选择不同的媒体访问和家庭网络设备时，控制器102修改活动标识网络协议特性以匹配被配置为关联的一部分的媒体访问网络设备118的标识。先前选择的媒体接入设备118上的网络守护进程关闭关于控制器102网络协议服务的用户界面元素事件网络协议特征的通知，并且新选择的媒体设备118上的网络守护进程将开始收听新的用户界面元素值网络协议特征。
本公开的另一个优点是网络重新配置控制器102以考虑配置变化的能力。在一些实施方案中，该技术包括由计算设备识别计算设备的配置信息的变化。该技术还可包括由计算设备发送第四信号，该第四信号包括用于将计算设备的功能与控制器的用户界面元素值相关联的修订配置信息。第四信号可以是有线或无线信号。例如，如果媒体接入设备118最初仅启用九个用户界面元素(按钮)。如果媒体接入设备118的软件更新导致启用23个用户访问元素，则该技术将识别该配置改变并将配置信息发送到控制器102。配置可改变，使得适当的控制器102也将改变，而不需要用户通过控制器界面重新配置控制器102。协议可被改变以不仅控制一个媒体接入设备118，还可用于控制其他媒体设备。
本公开的另一个特征是使控制器能够控制网络中的附件(例如，家庭网络)。网络可被配置成控制一个或多个附件(例如，灯、警报、车库门、百叶窗、恒温器)。一旦配置了网络协议，控制器102就可用于控制先前仅由专有或网络启用的控制器控制的各种附件。
网络协议具有在控制器102上重新映射用户界面元素类型的方式。该协议还可以为用户界面元素提供名称。例如，如果控制器102可支持比媒体接入设备118所需更多的用户界面元素。在本发明的技术中，控制器102不知道用户界面元素命令的功能。遥控器制造商仅支持有限数量的语言来显示用户界面元素的名称。一些网络支持更多语言，并且使协议提供用户界面元素的名称将允许控制器102通过以更多本地语言显示用户界面元素而更稳健。
在各种实施方案中，信息包通过互联网协议(IP)从控制器到媒体接入设备。
在一些实施方案中，该技术包括授权控制器102控制连接到计算设备的各种类型的一个或多个附件。附件可经由有线或无线地连接连接到计算设备。
在一些实施方案中，该技术包括同步一个或多个附件的控制，使得来自控制器102的命令将针对相同类型的附件中的每个附件执行相关功能。
在一些实施方案中，该技术包括使控制器102的界面在控制器102的显示器上显示一个或多个附件的表示。
在一些实施方案中，该技术可包括从控制器102接收对计算设备的授权，以控制连接到控制器的各种类型的一个或多个附件。该技术可包括同步一个或多个附件的控制，使得来自计算设备的命令将针对相同类型的附件中的每个附件执行相关功能。该技术可包括为用户提供用于选择计算设备上的一个或多个附件的界面。
图4示出了根据本公开的实施方案的用于授权通用设备的技术的网络400的图。图4示出了用于本发明所公开的技术的三个设备。这些设备包括控制器402、计算设备406和附件。在一些实施方案中，网络400可以是家庭网络。
控制器402可以是通用控制器，该通用控制器可以是被编程为控制一个或多个设备或附件的专有控制器设备。在一些实施方案中，控制器402可被配置为发送和接收无线信号。在一些实施方案中，控制器402可被配置为发送或接收有线信号。控制器402可具有处理器以执行保存在控制器402的存储器中的程序指令。该控制器可具有显示器。该显示器可以是触摸屏显示器。触摸屏显示器可被编程为呈现用户界面元素(按钮)或软键。在一些实施方案中，用户界面元素能够用指令编程或重新编程。指令可保存在设备的存储器中。
计算设备404可包括媒体接入设备118。计算设备404可被编程为控制一个或多个设备或附件。在一些实施方案中，计算设备404可被配置为发送和接收无线信号。在一些实施方案中，计算设备404可被配置为发送或接收有线信号。计算设备404可具有处理器以执行保存在计算设备404的存储器中的程序指令。计算设备可具有显示器。该显示器可以是触摸屏显示器。触摸屏显示器可被编程为呈现用户界面元素(按钮)或软键。在一些实施方案中，用户界面元素能够用指令编程或重新编程。指令可保存在计算设备的存储器中。计算设备可包括媒体播放器或蓝牙扬声器。
附件406可以是一个或多个设备，包括门锁、车库门系统、百叶窗、灯具、安全相机和恒温器。附件406可由控制器402控制，或者可由计算设备404或通过网络接口设备控制。
在410处，根据本公开的实施方案的用于授权通用设备的技术可包括由计算设备接收网络代码。在一些实施方案中，可经由用于网络的应用程序的用户界面来识别网络代码。在一些实施方案中，网络可以是家庭网络。在一些实施方案中，计算设备可以是媒体接入设备118，如图1所示。
网络代码可以是可变长度的数字或字母数字代码(例如，八位数网络代码)。在各种实施方案中，网络代码可由附件或控制器102经由设备上的标签或显示器、包装材料或用于设备的指令来提供。在一些实施方案中，机器可读代码诸如条形码或快速响应(QR)代码可包含网络代码。在一些实施方案中，机器可读代码可被印刷在附件或控制器的标签上。在这些实施方案中，通过用能够读取机器可读代码的设备扫描机器可读代码，可建立输入网络代码。在一些实施方案中，控制器可以是具有能够读取机器可读代码的数字成像设备(例如，相机)的智能手机或平板电脑。
在一些实施方案中，计算设备404可通过智能电话、平板电脑、膝上型电脑或其他计算设备上的应用程序来控制。可开发各种应用程序(简称App)来控制计算设备404、附件和控制器之间的交互。应用程序可提供允许用户手动输入网络代码的用户界面。在一些实施方案中，网络代码可通过键盘或小键盘输入。在一些实施方案中，网络代码可经由虚拟键盘输入。在一些实施方案中，应用程序可使用户能够利用执行应用程序的设备上的相机来扫描机器可读代码。扫描机器可读代码可捕获应用程序中的网络代码。
配对验证过程可在任何联网协议会话之前执行。配对验证验证计算设备与控制器或附件之间的配对。配对验证建立临时共享密钥以保护网络协议会话。
在412处，用于添加控制器的技术可包括由计算设备404向控制器发送第一信号，该第一信号被配置为注册控制器402以从计算设备404接收配置信息。第一信号可以是有线或无线信号。控制器402可接收第一信号并在计算设备404和控制器402之间建立链接。
在414处，控制器402向网络注册并且被配置为从计算设备404接收配置信息。
在416处，该技术包括由计算设备向控制器发送第二信号，该第二信号包括用于控制器的配置信息，该配置信息将计算设备的功能与控制器的用户界面元素值相关联。第二信号可以是有线或无线信号。与依赖于为特定设备选择各种红外(IR)代码的传统通用控制器不同，本文所公开的技术涉及将配置从计算设备发送到控制器402。这样，配置可随计算设备402上的特征变化而改变。
在将一个或多个控制器和媒体接入设备添加到网络之后，网络守护进程和框架提供用于管理媒体访问和网络设备118与控制器的关联的界面。诸如家庭网络应用程序或电视设置的不同网络客户端应用这些界面为用户提供用于管理这些关联的用户界面(UI)。当计算设备404与控制器402相关联时，进行该关联的网络守护进程将使用用户界面元素的配置来配置控制器402，使得控制器402可向任何感兴趣的控制器生成事件。用户界面元素也可被称为按钮。已经与控制器402相关联的计算设备404上的网络守护进程可在附件控制网络协议服务中注册具有网络协议特性的通知。该网络协议特征识别由用户从控制器402的用户界面选择的附件。
在418处，控制器402可以配置有用于计算设备404的配置信息。在一些实施方案中，控制器402可将配置信息从第二信号加载到控制器402的存储器中。在一些实施方案中，该配置可包括一系列启动控制器中的处理器的计算机可读指令。该配置信息可将在交互时要执行的计算设备402或附件406上的功能与用户界面元素相关联。
用户界面可以是特定于设备的。在一些实施方案中，控制器402可具有用于用户界面元素的可编程按钮。在一些实施方案中，控制器402可具有用于用户界面元素的软键。计算设备404的功能可基于计算设备404的软件发行版而变化。在一些实施方案中，这些功能包括允许用户访问Web视频应用程序。这些功能还可包括与数字媒体播放器相关的标准功能，包括播放电影和节目、播放音乐、游戏、直播体育和新闻，呈现来自亚马逊Prime视频、Hulu、ESPN和Netflix等应用程序的数字内容。这些功能还可包括访问虚拟助理。这些功能还可包括从其他计算设备投射音频和视频，并允许用户浏览互联网。
在一些实施方案中，计算设备404的功能可与网络上的一个或多个附件相关联。例如，该功能可包括打开警报、锁定门、关闭灯泡或调节恒温器。
可由与控制器402相关联的每个计算设备404上的网络守护进程执行相同的动作。当用户在控制器402的用户界面中选择相关联的配件中的一者时，控制器402修改联网协议特性以匹配被配置为关联的一部分的计算设备404的标识。每个相关联的计算设备404上的网络守护进程通知该改变，并且只有与网络协议特性中的值匹配的计算设备404将注册以从控制器402接收来自用户界面元素(按钮)的通知。
在420处，控制器402可接收与控制器402上的选择的用户界面元素的交互。与选择的用户界面元素的交互可包括通过与用户界面元素的物理接触来激活用户界面元素。在一些实施方案中，与选择的用户界面元素的交互可包括在控制器402的触摸屏显示器上检测用户的手势。在一些实施方案中，与选择的用户界面元素的交互可包括检测控制器402的加速度或移动。用户界面元素的激活可以是用户在触摸屏显示器上的触觉输入或者按压控制器402上的按钮。与用户界面元素的交互可生成要发送到计算设备404的第三信号。第三信号可以是有线的或无线的。第三信号可包括足以指示计算设备404或附件406所期望的功能的信息。
在422处，该技术可包括由计算设备404从控制器接收第三信号，该第三信号指示与控制器上的选择的用户界面元素的交互。计算设备404可处理第三信号并执行被设计为由计算设备404执行的选择的功能。计算设备404还可接收第三信号并向附件生成命令信号。命令信号可以是有线的或无线的。
当用户与控制器402的用户界面中的任何用户界面元素或按钮交互时，控制器402生成关于用户界面元素事件网络协议特性的通知。与网络协议特征匹配的计算设备404上的网络守护进程接收该用户界面元素事件并将其转换到计算设备404以用于执行特定动作。在一些实施方案中，特定动作可包括用于计算设备404的功能，例如播放、暂停、倒带、快进、2x倒带，2x快进、菜单等。
在424处，该技术可包括由计算设备404执行与选择的用户界面元素相关联的功能。在接收到第三信号时，计算设备可执行与控制器402上的用户界面元素相关联的功能。在一些实施方案中，在接收到第三信号时，计算机界面可指示附件406或设备执行特定功能。
在426处，附件406可接收命令信号并执行由命令信号提供的功能。在一些实施方案中，该功能可以是激活设备。在一些实施方案中，该功能可以是停用设备。
应当理解，过程400是示例性的，并且变型和修改是可能的。可并行执行按顺序描述的步骤，可改变步骤的顺序，并且可修改、合并、添加或省略步骤。
IV.虚拟助理
在各种实施方案中，虚拟助理可以用于与媒体接入设备118(诸如电视机顶盒)进行交互，从而控制电视显示器上所示的内容。可以使用具有麦克风的移动用户设备118或控制器102来接收虚拟助理的语音输入。可以根据语音输入来确定用户的意图，并且虚拟助理可以根据用户的意图执行任务，包括致使在连接的电视上回放媒体以及控制电视机顶盒或类似设备的任何其他功能(例如，管理视频记录、搜索媒体内容、导航菜单等)。
可以在连接的电视或其他显示器上示出虚拟助理交互。在一个示例中，可以基于从用户接收的语音输入来确定媒体内容。可以显示具有第一小尺寸的第一用户界面，包括与所确定的媒体内容的可选链接。在一些实施方案中，在接收对媒体链接的选择之后，可以显示具有第二较大尺寸的第二用户界面，包括与该选择相关联的媒体内容。在其他示例中，用于传送虚拟助理交互的界面可以在传达所期望的信息时扩展或收缩以占据最少量的空间。
在一些示例中，可以使用与多个显示器相关联的多个设备来根据语音输入确定用户意图以及以不同的方式向用户传达信息。例如，可以在具有第一显示器的第一设备处从用户接收语音输入。基于在第一显示器上显示的内容，可以根据语音输入来确定用户意图。可以基于用户意图来确定媒体内容，并且可在与第二显示器相关联的第二设备上播放该媒体内容。
媒体显示器内容也可以用作用于根据语音输入来确定用户意图的上下文输入。例如，可以从用户接收语音输入，包括与电视显示器上所示的内容相关联的查询。可以基于电视显示器上所示的内容以及电视显示器上的媒体内容的观看历史来确定查询的用户意图(例如，基于正在播放的多媒体节目中的角色来消除查询的含糊性)。然后，可以基于所确定的用户意图来显示查询结果。
在一些示例中，可以向用户提供虚拟助理查询建议(例如，以使用户熟悉可用命令、建议有趣的内容等)。例如，可以在显示器上示出媒体内容，并且可以从请求虚拟助理查询建议的用户接收输入。可以基于显示器上所示的媒体内容和显示器上所示的媒体内容的观看历史来确定虚拟助理查询建议(例如，建议与正在播放的多媒体节目相关的查询)。然后，可以在显示器上示出所建议的虚拟助理查询。
根据本文所讨论的各种示例使用虚拟助理来控制电视用户交互可以提供高效且愉悦的用户体验。在使用能够接收自然语言查询或命令的虚拟助理的情况下，与媒体控制设备的用户交互可以是直观和简单的。可以根据需要向用户建议可用功能，包括基于正在播放内容的有意义的查询建议，这可以帮助用户学习控制能力。此外，可以使用直观口头命令来方便地访问可用媒体。然而应当理解的是，可根据本文所讨论的各种示例来实现另外的许多其他优点。
因此，术语“电视”可以是指与各种设备中的任一种相关联的任何类型的显示器。此外，术语“虚拟助理”、“数字助理”、“智能自动化助理”或“自动数字助理”可以指可解译语音形式和/或文本形式的自然语言输入以推断用户意图并且基于推断出的用户意图来执行动作的任何信息处理系统。例如，为了遵循所推断的用户意图，系统可执行以下中的一者或多者：标识具有被设计用于实现所推断的用户意图的步骤和参数的任务流；根据所推断的用户意图将特定要求输入到任务流中；通过调用程序、方法、服务、API等执行任务流；以及以可听(例如，说出的)和/或可视形式来生成对用户的输出响应。
虚拟助理可能够接受至少部分地为自然语言命令、请求、声明、讲述和/或询问的形式的用户请求。通常，用户请求要么寻求虚拟助理系统作出信息性回答，要么寻求虚拟助理系统执行任务(例如，致使显示特定媒体)。针对用户请求的令人满意的响应可以包括提供所请求的信息性回答、执行所请求的任务，或这两者的组合。作为响应，虚拟助理可以确认请求并随后在用户的电子计划表中创建适当的提醒项。在执行所请求的任务期间，虚拟助理有时可在很长时间段内在涉及多次信息交换的持续对话中与用户进行交互。存在与虚拟助理进行交互以请求信息或执行各种任务的许多其他方法。除提供言语响应并采取经编程的动作之外，虚拟助理还可提供其他视觉形式或音频形式的响应(例如作为文本、警报、音乐、视频、动画等)。此外，如本文所讨论的，示例性虚拟助理可以控制媒体内容的回放(例如，在电视上播放视频)并致使在显示器上显示信息。
虚拟助理的示例在2011年1月10日提交的“Intelligent Automated Assistant”的申请人的美国实用新型专利申请序列号12/987,982中所有描述，其全部公开内容以引用方式并入本文并用于所有目的。
有关用于TV用户交互的虚拟助理的功能进一步具体实施在2016年3月30日提交的“Intelligent Automated Assistant for TV User Interactions”的美国实用新型专利申请序列号15/085,465(即现在的美国专利No.9,668,024)中有所描述，其全部公开内容以引用方式并入本文并用于所有目的。
本公开涉及通用控制器对虚拟助理的访问。控制器102可以包括用于捕获音频输入(例如，来自用户的语音输入)的麦克风、用于捕获触觉输入的一个或多个按钮以及用于方便经由控制器102与媒体接入设备118通信的收发器。控制器102还可以包括诸如键盘、操纵杆、触摸垫等的其他输入机构。控制器102还可以包括诸如灯、显示器、扬声器等输出机构。在控制器102处接收的输入(例如，用户语音、按钮按压等)可经由控制器传送到媒体访问和家庭网络设备。I/O子系统还可以包括一个或多个其他输入控制器。
为了将音频信息从通用控制器传输到媒体接入设备118，可配置适当的信道。用于打开信道的协议的框架在2017年10月21日提交的名称为“Personal Domain for aVirtual Assistant System on a Communal Device”的共同拥有的美国专利申请序列号62/575,373中有所描述，其全部公开内容以引用方式并入本文并用于所有目的。
图5示出了根据本公开的实施方案的用于打开信道的技术的简化流程图。为了建立用于传输音频数据的信道，可首先创建套接字。在如图5所述的用于打开信道的技术中，描述了若干部件。附件网络502可包括无线网络，其中一个或多个控制器可用于控制一个或多个附件。附件网络502可包括家庭网络。附件网络通常采用协议来控制附件。一些协议同时支持IP和蓝牙LE。协议可以是通过利用Bonjour进行发现的在HTTP/S上映射的协议。OS和网络兼容设备之间的协议消息使用JavaScript对象表示法(JSON)(因此需要JSON解析)。JavaScript对象表示法或JSON是一种开放式标准文件格式，它使用人类可读的文本来传输由属性值对和数组数据类型组成的数据对象。
套接字是网络上运行的两个程序之间的双向通信链路的一个端点。套接字绑定到端口号，以便TCP层可识别数据要被发送至的应用程序。附件套接字是与连接到网络的附件相关联的附件信道端点504。控制器套接字是与连接到网络的控制器相关联的控制器信道端点506。
在多任务计算机操作系统中，解调(demon)是作为后台进程运行而不是由交互式用户直接控制的计算机程序。解调是作为较大程序或过程的一部分的程序或过程，在某种情况发生之前处于休眠状态，然后被启动进行其处理。控制器解调508是与控制器相关联的计算机程序，其在某些条件下处于休眠状态，然后作为后台进程运行。
在510处，控制器508提供用于设置批量信道的指令。这些指令可无线传送到计算设备。在一些实施方案中，用于设置批量信道的指令可通过有线连接来传送。
在512处，家庭网络从控制器解调接收设置批量信道的指令。计算设备接收指令并采取设置和配置批量信道所需的步骤。
在514处，计算设备提供用于创建信道的指令。一种类型的双向信道可以是收听器或服务器套接字。收听器或服务器套接字打开网络上的端口，然后等待客户端连接到该端口。虽然存在其他网络地址系列和协议，但一个示例是用于为TCP/IP网络创建远程服务。可通过将主机的IP地址与服务的端口号组合以创建用于服务的端点来定义TCP/IP服务的唯一地址。DNS类提供了返回有关由本地网络设备支持的网络地址的信息的方法。当本地网络设备具有多个网络地址或者本地系统支持多个网络设备时，DNS类返回有关所有网络地址的信息并且应用程序可选择适当的服务地址。
在518处，计算设备将配置信息发送给控制器。该配置信息可包括标识、状态、地址和端口信息。假定套接字与特定套接字地址(即IP地址和用于本地节点的端口号)相关联，并且在外部节点(其他节点)处存在对应的套接字地址，该外部节点(其他节点)本身具有由外部进程使用的相关联的套接字。将套接字与套接字地址相关联称为绑定。在计算机网络中，端口是作为由因特网协议组的传输层协议(诸如TCP和UDP)使用的通信端点的特定于应用程序或特定于进程的软件构造。端口可通过其端口号(0到65535之间)进行识别。
在520处，控制器解调接收配置信息。该配置信息可保存在计算设备上。
在522处，控制器解调指示控制器连接到控制器信道端点506。控制器解调使用配置信息连接到信道。
在524处，使用步骤520中提供的配置信息的控制器套接字发起与控制器信道端点506的连接。一旦连接到信道端点，就形成通信信道，以允许在家庭网络和控制器之间传输数据。在形成信道之后，可在过程500中执行用于传输虚拟助理的音频信息的程序，如图6所示。
在526处，在预先确定的时间段之后，达到空闲超时。在该时间段之后，控制器解调将向控制器信道端点发送指令以关闭信道。可根据需要改变空闲时间。
在528处，控制器信道端点关闭信道。
在530处，控制器信道端点确认信道的拆除，并且将拆除消息发送给控制器解调。
在532处，控制器解调接收拆除的确认，从而结束该过程。
应当理解，过程500是示例性的，并且变型和修改是可能的。可并行执行按顺序描述的步骤，可改变步骤的顺序，并且可修改、合并、添加或省略步骤。
图6示出了根据本公开的实施方案的来自通用控制器的虚拟助理控制600的技术的简化流程图。用于使通用控制器激活用于网络的虚拟助理的技术可包括若干部件，包括控制器用户界面602、网络协议604、媒体接入设备(MAD)解调606和MAD助理界面608。控制器用户界面602可包括允许用户激活虚拟助理的多个用户界面元素(按钮)。网络协议604可使控制器能够与附件通信。在一些实施方案中，网络协议用于家庭网络。然而，图6中描述的网络协议604不限于HAP。媒体接入设备解调606可将命令传送到控制器。媒体接入设备助理界面608允许虚拟助理与媒体接入设备和网络通信。
在610处，当用户在控制器用户界面上激活虚拟助理时，该过程开始。激活虚拟助理可包括触摸与虚拟助理相关联的用户界面元素或按压控制器上的与虚拟助理相关联的物理按钮。
在612处，家庭网络协议创建虚拟助理会话。如果未创建附件和控制器套接字，如图5所示，则激活信道创建技术。
在614处，媒体接入设备解调执行预热应用程序。在预热应用程序期间，可预先经由信道接收信息来预加载或激活一个或多个应用程序。在一些实施方案中，该信息是音频信息。预加载过程可通过转录或执行音频信息中所捕获的指令来减少任何延迟。
在616处，媒体接入设备指示虚拟助理处于用于收听的活动状态。例如，媒体接入设备可在显示器上呈现虚拟助理正在捕获音频信息的一些视觉指示。在一些实施方案中，视觉指示可显示为随着音频被捕获而改变的动画。在一些实施方案中，媒体接入设备将发出听觉音调，诸如一个或多个音调或蜂鸣声。在一些实施方案中，媒体接入设备将照亮指示媒体接入设备正在捕获信息的一个或多个发光二极管(LED)。
在618处，控制器记录来自控制器上的麦克风的音频。在一些实施方案中，音频可作为数字信息包保存在控制器上。控制器可从激活虚拟助理的时刻开始捕获来自麦克风的音频信息。音频流可被分解成音频数据包。在一些实施方案中，音频包的尺寸可被修改。在一些实施方案中，音频包捕获20毫秒的音频信息。在一些实施方案中，音频包可以是2.5毫秒的音频信息。在一些实施方案中，控制器可捕获除音频信息之外的数字信息以发送到媒体接入设备。
在620处，控制器经由信号将音频包发送到媒体接入设备。在一些实施方案中，该信号可以是有线或无线信号。可将音频信息从控制器信道端点通过b定向信道发送到媒体接入设备信道端点。媒体接入设备解调接收音频包。
在622处，媒体接入设备解调将音频包转换为部分抄本。部分抄本可以是单个或多个字母。部分抄本可以是几个单词到短语。媒体接入设备解调将音频包发送到虚拟助理界面。在一些实施方案中，虚拟助理处理可使用云存储设备来执行。虚拟助理处理可理解音频信息并将其转换为文本。文本将被发送回媒体接入设备助理界面。媒体接入设备可与用于显示文本的显示界面通信。控制器可与生成音频包一样快地发送音频信息。在一些实施方案中，音频可每20毫秒发送一次音频信息。在一些实施方案中，音频包可每2.5毫秒发送一次。
在624处，媒体接入设备助理界面输出部分抄本。在一些实施方案中，部分抄本可显示在连接到媒体接入设备的显示器的一部分中。
在626处，控制器用户界面确定音频捕获是否完成。如果音频捕获未完成，则该过程继续记录来自麦克风的音频。
在628处，如果音频捕获完成，则控制器将剩余的音频包发送到媒体接入设备解调。
在630处，媒体接入设备解调将剩余的音频包转换为部分抄本。媒体接入设备解调将音频包发送到虚拟助理界面。在一些实施方案中，虚拟助理处理可使用云存储设备来执行。虚拟助理处理可理解音频信息并将其转换为文本。文本将被发送回媒体接入设备助理界面。媒体接入设备可与用于显示文本的显示界面通信。控制器可与生成音频包一样快地发送音频信息。在一些实施方案中，音频可每20毫秒发送一次音频信息。在一些实施方案中，音频包可每2.5毫秒发送一次。
在632处，媒体接入设备助理界面输出剩余的抄本。在一些实施方案中，部分抄本可显示在连接到媒体接入设备的显示器的一部分中。
在634处，控制器用户界面停用虚拟助理。在一些实施方案中，停用可通过释放按钮来进行。在一些实施方案中，停用可通过选择控制器上的用户界面元素来进行。在一些实施方案中，控制器可检测音频信息的结束并且自动地停用虚拟助理。
在636处，控制器输出结果或回复请求。在一些实施方案中，结果可显示在连接到媒体接入设备的显示器的一部分中。在一些实施方案中，结果可以列表或表格形式显示在显示器上。在一些实施方案中，结果可以是在媒体接入设备上执行特定功能。在一些实施方案中，结果可以是在媒体接入设备上播放多媒体资产。在一些实施方案中，结果可以是执行与媒体接入设备通信的附件的功能。
应当理解，过程600是示例性的，并且变型和修改是可能的。可并行执行按顺序描述的步骤，可改变步骤的顺序，并且可修改、合并、添加或省略步骤。
图7示出了根据本公开的另一个实施方案的用于使控制器设备能够访问虚拟助理的技术的简化流程图。
在702处，该技术包括由计算设备经由第三信号接收信息包。在一些实施方案中，该信息包可包括来自控制器的记录音频信息。
在704处，该技术包括由计算设备将信息包转换成文本的部分抄本，其中该文本的部分抄本包括一个或多个文本字符。
在706处，该技术包括准备在计算设备上输出文本的部分抄本。在一些实施方案中，输出可包括在显示屏上显示。
在708处，该技术包括由计算设备至少部分地基于与文本的部分抄本相关联的一个或多个指令的执行来执行一个或多个功能。
应当理解，过程700是示例性的，并且变型和修改是可能的。可并行执行按顺序描述的步骤，可改变步骤顺序，并且可修改、合并、添加或省略步骤。
图8示出了根据本公开的实施方案的用于附件控制的计算机可读介质中的指令800的简化流程图。所述技术包括存储多个指令的计算机可读介质，所述多个指令在由主计算设备的一个或多个处理器执行时使得所述一个或多个处理器执行操作。
在802处，操作包括由用于网络的计算设备接收用于添加控制器的网络代码。在一些实施方案中，经由用于网络的应用程序的用户界面来识别网络代码。
在804处，操作包括由计算设备向控制器发送第一信号，该第一信号被配置为注册控制器以从计算设备接收配置信息。
在806处，操作包括由计算设备向控制器发送第二信号，该第二信号包括用于控制器的配置信息，该配置信息将计算设备的功能与控制器的用户界面元素值相关联。
应当理解，包括计算机可读指令700的过程是例示性的，并且变型和修改是可能的。可并行执行按顺序描述的步骤，可改变步骤的顺序，并且可修改、合并、添加或省略步骤。
V.示例性设备架构
图9示出根据本公开的实施方案的计算机系统900的简化框图。在一些实施方案中，计算机系统900可实现本文所述的由服务器执行的功能、行为和能力中的任何或全部，以及未明确描述的其他功能、行为和能力。在一些实施方案中，计算机系统900的其他物理实例可实现由控制器或附件执行的本文描述的任何或所有功能，行为和能力；下面描述了控制器和附件具体实施的另外的示例。在一些实施方案中，计算机系统可以是媒体接入设备。
计算机系统900可包括处理子系统902、存储子系统904、用户界面906和网络接口908。计算机系统900还可包括其他部件(未明确示出)，诸如电力控制器和可操作以提供各种增强能力的其他部件。计算机系统900还可以在大规模架构诸如可扩展服务器系统或服务器场中实现，该大规模架构中可包括许多互连的处理器、存储系统和接口，能够处理和响应于来自客户端设备(包括控制器和/或附件)的大量请求。
存储子系统904可例如使用磁盘、闪存存储器或任何其他非暂态存储介质或介质组合来实现，并且可包括易失性和/或非易失性存储介质。在一些实施方案中，存储子系统904可存储将由处理子系统902执行的一个或多个应用程序和/或操作系统程序，包括用于实现本文描述为由中继服务220的任何服务器执行的任何或所有操作的程序，如图2所示，以及与此类操作相关联的数据。在计算机系统900实现服务器的情况下，存储子系统904可使用网络存储技术和/或可管理高容量数据访问请求的其他技术来实现。
用户界面906可包括输入设备诸如触控板、触摸屏、滚轮、点击轮、拨号盘、按钮、开关、小键盘、麦克风等；以及输出设备诸如视频屏幕、指示灯、扬声器、耳机接口等，连同支持性电子器件(例如，数模转换器或模数转换器、信号处理器等)。在一些实施方案中，用户可操作用户界面906的输入设备以调用计算机系统900的功能，并且可经由用户界面906的输出设备来查看和/或收听来自计算机系统900的输出。在由计算机系统900实现服务器的实例中，用户界面906可相对于处理子系统902和/或存储子系统904远程定位。
处理子系统902可使用一个或多个集成电路，例如一个或多个单核或多核微处理器或微控制器来实现，这些微处理器或微控制器的示例在本领域中是已知的。在操作中，处理子系统902可控制计算机系统900的操作。在各种实施方案中，处理子系统902可响应于程序代码来执行各种程序，并且可维护多个同时执行的程序或进程。在任何给定时间，待执行的一些或全部程序代码可驻留在处理子系统902中和/或存储介质诸如存储子系统904中。
通过合适的编程，处理子系统902可为计算机系统900提供各种功能。例如，其中计算机系统900实现中继服务220的服务器，如图2所示，处理子系统902可实现上述由证书服务器、身份服务器、附件快递服务器、控制器快递服务、消息传递服务器、传递服务器和/或报告服务器中的任何一者或全部实现的各种过程(或者其部分)。处理子系统902还可以执行其他程序来控制计算机系统900的其他功能，包括可存储在存储子系统904中的程序。
网络通信接口908可以为计算机系统900提供语音和/或数据通信能力。在一些实施方案中，网络通信接口908可包括用于接入无线数据网络的射频(RF)收发器部件(例如，使用数据网络技术诸如3G、4G/LTE、IEEE 802.11系列标准(例如，Wi-Fi网络技术)或其他移动通信技术，或其任何组合)、用于短程无线通信的部件(例如，使用蓝牙和/或蓝牙LE标准、NFC等)和/或其他部件。在一些实施方案中，除了或代替无线接口，网络通信接口908可提供有线网络连接性(例如，以太网)。网络通信接口908可使用硬件部件(例如，驱动电路、天线、调制器/解调器、编码器/解码器，以及其他模拟信号处理电路和/或数字信号处理电路)与软件部件的组合来实现。在一些实施方案中，网络通信接口908可使用相同传输手段或不同传输手段同时支持多个通信信道。
应当理解，计算机系统900是例示性的，且变型形式和修改形式是可能的。包括服务器、控制器设备和/或附件的计算机系统可具有本文未描述的功能(例如，控制器设备也可通过蜂窝电话网络提供语音通信；能够与用户交互以提供个人信息、玩游戏、通过无线网络访问内容和/或本地存储的内容；等)，并且这些设备和服务器的具体实施可包括适合于这种功能的部件。
此外，尽管本文参考特定块描述了计算机系统，但是应当理解，定义这些块是为了描述方便，并非意在暗示部件的特定物理布置。此外，块不必对应于物理上不同的部件。可以例如通过对处理器进行编程或提供适当的控制电路来配置块以执行各种操作，并且根据初始配置的获得方式，各个块可能是可重新配置的或不可重新配置的。可在包括使用电路和软件的任何组合实现的电子设备在内的各种装置中实现本公开的实施方案。
图10示出了根据本公开的实施方案的媒体接入设备1000的简化框图。媒体接入设备1000可实现本文所述的媒体接入设备功能、行为和能力中的任何或全部，以及未明确描述的其他功能、行为和能力。媒体接入设备1000可包括处理子系统1010、存储设备1012、用户界面1014、通信接口1016、安全存储模块1018和密码逻辑模块1020。媒体接入设备1000还可包括其他部件(未明确示出)，诸如电力控制器和可操作以提供各种增强能力的其他部件。
存储设备1012可例如使用磁盘、闪存存储器或任何其他非暂态存储介质或介质的组合来实现，并且可包括易失性和/或非易失性介质。在一些实施方案中，存储设备1012可存储将由处理子系统1010执行的一个或多个应用程序和/或操作系统程序，包括用于实现如正由媒体接入设备执行的上述各种操作的程序。存储设备1012还可存储可执行以与中继服务220(如图2所示)通信的程序代码，例如，如上所述。在一些实施方案中，本文所述的媒体接入设备功能的部分(或全部)可在操作系统程序而非应用程序中实现。在一些实施方案中，存储设备1012还可存储为特定附件或特定类别的附件(例如，用于管理IP相机附件的IP相机应用或用于与门锁附件交互的安全应用)设计的应用。在一些实施方案中，存储设备1012可存储数字多媒体内容。
用户界面1014可包括输入设备诸如触控板、触摸屏、滚轮、点击轮、拨号盘、按钮、开关、小键盘、键盘、麦克风等；以及输出设备诸如视频屏幕、指示灯、扬声器、耳机接口等，连同支持性电子器件(例如，数模转换器或模数转换器、信号处理器等)。用户可操作用户界面1014的输入设备以调用媒体接入设备1000的功能，并且可经由用户界面1014的输出设备来查看和/或收听来媒体接入设备1000的输出。在一些实施方案中，用户界面1014可以是专有遥控器。在一些实施方案中，用户界面1014可被实现为用于智能电话、平板电脑、可穿戴设备或其他移动电子设备的App。
处理子系统1010可以实现为一个或多个集成电路，例如一个或多个单核或多核微处理器或微控制器，这些微处理器或微控制器的示例在本领域中是已知的。在操作中，处理系统1010可控制媒体接入设备1000的操作。在各种实施方案中，处理子系统1010可响应于程序代码来执行各种程序，并且可维护多个同时执行的程序或进程。在任何给定时间，待执行的程序代码中的一些或全部程序代码可驻留在处理子系统1010和/或存储介质诸如存储设备1012中。
通过合适的编程，处理子系统1010可为媒体接入设备1000提供各种功能。例如，在一些实施方案中，处理子系统1010可实现如由媒体接入设备实现的上述各种过程(或其部分)。处理子系统1010还可以执行其他程序来控制媒体接入设备1000的其他功能，包括可存储在存储设备1012中的应用程序；在一些实施方案中，这些应用程序可例如通过生成待发送至附件的消息和/或通过从附件接收响应与附件进行交互。此类交互可通过附件管理守护进程和/或其他操作系统进程来促进，例如，如上所述，并且可包括经由如上所述的中继服务220(如图2所示)与附件通信。
通信接口1016可为媒体接入设备1000提供语音和/或数据通信功能。在一些实施方案中，通信接口1016可包括：用于访问无线语音和/或数据网络(例如，使用蜂窝电话技术、数据网络技术诸如3G、4G/LTE、Wi-Fi、其他IEEE 802.11系列标准或其他移动通信技术，或它们的任何组合)的射频(RF)收发器部件、用于短程无线通信(例如，使用蓝牙标准和/或蓝牙LE标准、NFC等)的部件和/或其他部件。在一些实施方案中，除了无线接口之外或代替无线接口，通信接口1016可提供有线网络连接性(例如，以太网)。通信接口1016可使用硬件部件(例如，驱动电路、天线、调制器/解调器、编码器/解码器，以及其他模拟信号处理电路和/或数字信号处理电路)与软件部件的组合来实现。在一些实施方案中，通信接口1016可使用相同传输手段或不同传输手段同时或在不同时间支持多个通信信道。因此，例如，媒体接入设备1000可在某些时候通过本地信道与附件通信，并且在其他时间通过中继服务220(如图2所示)与附件通信。
安全存储模块1018可以是可安全地存储用于媒体接入设备1000的密码信息的集成电路等。可存储在安全存储模块1018内的信息的示例包括媒体接入设备的长期公钥和密钥1022(LTPKC、LTSKC)、本地配对1024的列表(例如，查找表，其将本地附件标识符映射到附件长期公钥(LTPKA)，该附件长期公钥(LTPKA)用于已完成，例如，如上所述，与媒体接入设备1000的本地配对设置或配对添加过程)，以及中继配对1026的列表(例如，附件RA和用于已经，例如，如上所述，与媒体接入设备1000建立中继配对的附件的相关访问令牌)。在一些实施方案中，可存储配对信息，使得在已经建立本地配对和与附件的中继配对的情况下，将本地配对1024映射到对应的中继配对1026。
在一些实施方案中，密码操作可在与安全存储模块1018通信的密码逻辑模块1020中实现。在物理上，密码逻辑模块1020可根据需要在具有安全存储模块1018的相同集成电路或不同集成电路(例如，处理子系统1010中的处理器)中实现。密码逻辑模块1020可包括实现或支持媒体接入设备1000的密码操作的各种逻辑电路(根据需要是固定的或可编程的)，包括上述任何或所有密码操作。安全存储模块1018和/或密码逻辑模块1020可对媒体接入设备1000的其余部分表现为“黑盒”。因此，例如，通信接口1016可以加密形式接收其不能解密的消息，并且可简单地将消息递送到处理子系统1010。处理子系统1010也可能无法解密消息，但其可将消息识别为加密的并将其递送到密码逻辑模块1020。密码逻辑模块1020可解密消息(例如，使用从安全存储模块1018提取的信息)并确定哪些信息要返回到处理子系统1010。因此，某些信息可仅在安全存储模块1018和密码逻辑模块1020内可用。如果安全存储模块1018和密码逻辑模块1020在仅执行来自内部安全储存库的代码的单个集成电路上实现，则这可能使信息提取非常困难，从而可提供高度的安全性。其他具体实施也是可能的。
图11示出了根据本公开的实施方案的附件1100的简化框图。附件1100可实现本文所述的附件功能、行为和能力中的任何或全部，以及未明确描述的其他功能、行为和能力。附件1100可包括存储设备1128、处理子系统1130、用户界面1132、附件专用硬件1134、通信接口1136、安全存储模块1138和密码逻辑模块1140。附件1100还可包括其他部件(未明确示出)，诸如电池、电力媒体接入设备和可操作以提供各种增强能力的其他部件。
附件1100表示可由媒体接入设备诸如控制器操作的一大类附件，并且此类附件在能力、复杂性和形状因数方面可能有很大不同。各种附件可包括图11中未明确示出的部件，包括但不限于：具有固定或可移除的存储介质的存储设备(磁盘、闪存存储器等)；视频屏幕、扬声器或用于连接至外部音频/视频设备的端口；相机部件，诸如镜头、图像传感器和用于相机部件的控件(例如，光圈、变焦、曝光时间、帧速率等)；用于记录音频(单独或与视频记录结合)的麦克风；等等。
存储设备1128可例如使用磁盘、闪存存储器或任何其他非暂态存储介质或介质的组合来实现，并且可包括易失性和/或非易失性介质。在一些实施方案中，存储设备1128可存储将由处理子系统1130执行的一个或多个程序(例如，固件)以及与特定附件行为相关的操作，所述一个或多个程序包括用于实现如正由附件执行的上述各种操作的程序。存储设备1128还可存储可提供给控制器设备的附件对象或附件定义记录，例如在上文引用的美国申请No.14/614,914中所述的设备发现期间。存储设备1128还可存储附件状态信息和可在附件1100的操作期间使用的任何其他数据。存储设备1128还可存储可执行以与中继服务220(如图2所示)通信的程序代码，例如，如上所述。
处理子系统1130可包括例如执行程序代码以便执行与附件1100相关联的各种功能的一个或多个单核或多核微处理器和/或微控制器。例如，处理子系统1130可实现如正由附件实现的上述各种过程(或其部分)，例如通过执行存储在存储设备1128中的程序代码。处理子系统1130还可执行其他程序以控制附件1100的其他功能。在一些情况下，由处理子系统1130执行的程序可例如通过生成要发送到控制器的消息和/或从控制器接收消息来与控制器(例如，控制器)交互。在一些情况下，如上所述，可使用中继服务220(如图2所示)发送和/或接收消息。
用户界面1132可包括用户可操作的输入设备诸如触控板、触摸屏、滚轮、点击轮、拨号盘、按钮、开关、小键盘、麦克风等；以及输出设备诸如视频屏幕、指示灯、扬声器、耳机接口等，连同支持性电子器件(例如，数模转换器或模数转换器、信号处理器等)。根据特定附件1100的具体实施，用户可操作用户界面1132的输入设备以调用附件1100的功能，并且可经由用户界面1132的输出设备来查看和/或收听来自附件1100的输出。某些附件可能提供最小的或没有用户界面。在附件不具有用户界面的情况下，用户仍可使用控制器(例如，控制器1200)与附件交互。
附件专用硬件1134可包括可存在于附件1100中以启用其功能的任何其他部件。例如，在各种实施方案中，附件专用硬件1134可包括使用固定或可移除的存储介质的一个或多个存储设备；GPS接收器；电源和/或电力管理电路；相机；麦克风；一个或多个致动器；控制开关；环境传感器(例如，温度传感器、压力传感器、加速度计、化学传感器等)；等等。应当理解，可通过提供适当的附件专用硬件1134来支持任何类型的附件功能，并且附件专用硬件可包括机械以及电或电子部件。
通信接口1136可为附件1100提供语音和/或数据通信能力。在一些实施方案中，通信接口1136可包括：用于访问无线语音和/或数据网络(例如，使用蜂窝电话技术、数据网络技术诸如3G、4G/LTE、Wi-Fi、其他IEEE 802.11系列标准或其他移动通信技术，或它们的任何组合)的射频(RF)收发器部件、用于短程无线通信(例如，使用蓝牙标准和/或蓝牙LE标准、NFC等)的部件和/或其他部件。在一些实施方案中，除了无线接口之外或代替无线接口，通信接口1136可提供有线网络连接性(例如，以太网)。通信接口1136可使用硬件部件(例如，驱动电路、天线、调制器/解调器、编码器/解码器，以及其他模拟信号处理电路和/或数字信号处理电路)与软件部件的组合来实现。在一些实施方案中，通信接口1136可使用相同传输手段或不同传输手段同时或在不同时间支持多个通信信道。因此，例如，附件1100可在某些时候通过本地信道与控制器通信，并且在其他时间通过中继服务220(如图2所示)与控制器通信。
安全存储模块1138可以是可安全地存储用于附件1100的密码信息的集成电路等。可存储在安全存储模块1138内的信息的示例包括附件的长期公钥和密钥1142(LTPKA、LTSKA)，本地配对列表1144(例如，查找表，其将本地控制器标识符映射到用于已完成，例如，如上所述，与附件1100的本地配对设置或配对添加过程的控制器的控制器长期公钥(LTPKC))，以及中继配对列表1146(例如，控制器RA和用于已经，例如，如上所述，与附件1100建立中继配对的控制器的相关访问令牌)。在一些实施方案中，可存储配对信息，使得在已经建立了本地配对和与控制器的中继配对的情况下，将本地配对1144映射到对应的中继配对1146。在一些实施方案中，安全存储模块4038可被省略；配对控制器的密钥和列表可被存储在存储设备1128中。
在一些实施方案中，密码操作可在与安全存储模块1138通信的密码逻辑模块1140中实现。在物理上，密码逻辑模块1140可根据需要在具有安全存储模块1138的相同集成电路或不同集成电路(例如，处理子系统1130中的处理器)中实现。密码逻辑模块1140可包括实现或支持附件1100的密码操作的各种逻辑电路(根据需要是固定的或可编程的)，包括上述任何或所有密码操作。安全存储模块1138和/或密码逻辑模块1140可对附件1100的其余部分表现为“黑盒”。因此，例如，通信接口1136可以加密形式接收其不能解密的消息，并且可简单地将消息递送到处理子系统1130。处理子系统1130也可能无法解密消息，但其可将消息识别为加密的并将其递送到密码逻辑模块1140。密码逻辑模块1140可解密消息(例如，使用从安全存储模块1138提取的信息)并确定哪些信息要返回到处理子系统1130。因此，某些信息可仅在安全存储模块1138和密码逻辑模块1140内可用。如果安全存储模块1138和密码逻辑模块1140在仅执行来自内部安全储存库的代码的单个集成电路上实现，则这可能使信息提取非常困难，从而可提供高度的安全性。其他具体实施也是可能的。
附件1100可以是与控制器1200交互的任何电子装置。在一些实施方案中，控制器1200可通过如下所述的附件1100的操作来提供远程控制。例如，控制器1200可为附件1100提供远程用户界面，该远程用户界面可包括输入控件和输出控件两者(例如，用于显示从附件1100获得的当前状态信息的显示屏和用于允许状态信息的改变的输入控件诸如触摸屏覆盖)。在各种实施方案中，控制器1200可控制附件1100的任何功能并且还可经由本地信道或中继服务220(如图2所示)从附件1100接收数据。
图12示出了根据本公开的实施方案的控制器1200的简化框图。在一些实施方案中，控制器1200可实现本文所述的由控制器执行的功能、行为和能力中的任何或全部，以及未明确描述的其他功能、行为和能力。控制器1200可包括处理子系统1210、存储设备1212、用户界面1214、通信接口1216、安全存储模块1218和密码逻辑模块1220。控制器1200还可包括其他部件(未明确示出)，诸如电池、电力控制器和可操作以提供各种增强能力的其他部件。在各种实施方案中，控制器1200可在台式计算机、膝上型计算机、平板电脑、智能电话、其他移动电话、可穿戴计算设备或具有任何期望形状因数的其他系统中实现。此外，如上所述，控制器1200可部分地在基站中实现，并部分地在与基站通信并提供用户界面的移动单元中实现。
存储设备1212可例如使用磁盘、闪存存储器或任何其他非暂态存储介质或介质的组合来实现，并且可包括易失性和/或非易失性介质。在一些实施方案中，存储设备1212可存储将由处理子系统1210执行的一个或多个应用程序和/或操作系统程序，包括用于实现如正由控制器执行的上述各种操作的程序。例如，存储设备1012可存储统一的控制器应用程序，所述控制器应用程序可读取附件描述记录并基于其中信息来生成用于控制该附件的图形用户界面(例如，如上文引用的美国申请No.14/614,114中所述的)。存储设备1212还可存储可执行以与中继服务220(如图2所示)通信的程序代码，例如，如上所述。在一些实施方案中，本文所述的控制器功能的部分(或全部)可在操作系统程序而非应用程序中实现。在一些实施方案中，存储设备1212还可存储为特定附件或特定类别的附件(例如，用于管理IP相机附件的IP相机应用或用于与门锁附件交互的安全应用)设计的应用。
用户界面1214可包括输入设备诸如触控板、触摸屏、滚轮、点击轮、拨号盘、按钮、开关、小键盘、麦克风1216等；以及输出设备诸如视频屏幕、指示灯、扬声器、耳机接口等，连同支持性电子器件(例如，数模转换器或模数转换器、信号处理器等)。用户可操作用户界面1214的输入设备以调用控制器1200的功能，并且可经由用户界面1214的输出设备来查看和/或收听来自控制器1200的输出。
处理子系统1210可以实现为一个或多个集成电路，例如一个或多个单核或多核微处理器或微控制器，这些微处理器或微控制器的示例在本领域中是已知的。在操作中，处理系统1210可控制控制器1200的操作。在各种实施方案中，处理子系统1210可响应于程序代码来执行各种程序，并且可维护多个同时执行的程序或进程。在任何给定时间，待执行的程序代码中的一些或全部程序代码可驻留在处理子系统1210和/或存储介质诸如存储设备1212中。
通过合适的编程，处理子系统1210可为控制器1200提供各种功能。例如，在一些实施方案中，处理子系统1210可实现如由控制器实现的上述各种过程(或其部分)。处理子系统1210还可执行其他程序(包括可存储在存储设备1212中的应用程序)以控制控制器1200的其他功能。在一些实施方案中，这些应用程序可例如通过生成待发送至附件的消息和/或通过从附件接收响应与附件进行交互。此类交互可通过附件管理守护进程和/或其他操作系统进程来促进，例如，如上所述，并且可包括经由如上所述的中继服务220(如图2所示)与附件通信。
通信接口1216可为控制器1200提供语音和/或数据通信能力。在一些实施方案中，通信接口1216可包括：用于访问无线语音和/或数据网络(例如，使用蜂窝电话技术、数据网络技术诸如3G、4G/LTE、Wi-Fi、其他IEEE 802.11系列标准或其他移动通信技术，或它们的任何组合)的射频(RF)收发器部件、用于短程无线通信(例如，使用蓝牙标准和/或蓝牙LE标准、NFC等)的部件和/或其他部件。在一些实施方案中，除了无线接口之外或代替无线接口，通信接口1216可提供有线网络连接性(例如，以太网)。通信接口1216可使用硬件部件(例如，驱动电路、天线、调制器/解调器、编码器/解码器，以及其他模拟信号处理电路和/或数字信号处理电路)与软件部件的组合来实现。在一些实施方案中，通信接口1216可使用相同传输手段或不同传输手段同时或在不同时间支持多个通信信道。因此，例如，控制器1200可在某些时候通过本地信道与附件通信，并且在其他时间通过中继服务220(如图2所示)与附件通信。
安全存储模块1218可以是可安全地存储用于控制器1200的密码信息的集成电路等。可存储在安全存储模块1218内的信息的示例包括控制器的长期公钥和密钥1222(LTPKC、LTSKC)、本地配对1224的列表(例如，查找表，其将本地附件标识符映射到附件长期公钥(LTPKA)，该附件长期公钥(LTPKA)用于已完成，例如，如上所述，与控制器1200的本地配对设置或配对添加过程)，以及中继配对1226的列表(例如，附件RA和用于已经，例如，如上所述，与控制器1200建立中继配对的附件的相关访问令牌)。在一些实施方案中，可存储配对信息，使得在已经建立本地配对和与附件的中继配对的情况下，将本地配对1224映射到对应的中继配对1226。
在一些实施方案中，密码操作可在与安全存储模块1218通信的密码逻辑模块1220中实现。在物理上，密码逻辑模块1220可根据需要在具有安全存储模块1218的相同集成电路或不同集成电路(例如，处理子系统1210中的处理器)中实现。密码逻辑模块1220可包括实现或支持控制器1200的密码操作(包括上述任何或所有的密码操作)的各种逻辑电路(根据需要是固定的或可编程的)。安全存储模块1218和/或密码逻辑模块1220可对控制器1200的其余部分表现为“黑盒”。因此，例如，通信接口1216可以加密形式接收其不能解密的消息，并且可简单地将消息递送到处理子系统1210。处理子系统1210也可能无法解密消息，但其可将消息识别为加密的并将其递送到密码逻辑模块1220。密码逻辑模块1220可解密消息(例如，使用从安全存储模块1218提取的信息)并确定哪些信息要返回到处理子系统1210。因此，某些信息可仅在安全存储模块1218和密码逻辑模块1220内可用。如果安全存储模块1218和密码逻辑模块1220在仅执行来自内部安全储存库的代码的单个集成电路上实现，则这可能使信息提取非常困难，从而可提供高度的安全性。其他具体实施也是可能的。
此外，尽管本文参考特定块描述了控制器，但是应当理解，定义这些块是为了描述方便，并非意在暗示部件的特定物理布置。此外，块不必对应于物理上不同的部件。可以例如通过对处理器进行编程或提供适当的控制电路来配置块以执行各种操作，并且根据初始配置的获得方式，各个块可能是可重新配置的或不可重新配置的。可在包括使用电路和软件的任何组合实现的电子设备在内的各种装置中实现本公开的实施方案。
本文所述的控制器和附件可实现在可具有一般常规设计的电子设备中。此类设备可适于使用支持命令与控制操作的统一附件协议通信，通过这个协议，控制器(第一电子设备)可控制附件(第二电子设备)的操作。在某些情况下，例如在如上所述的代理的情况下，设备可将控制器和附件的各个特征或方面组合。
应当理解，本文所述的系统配置和部件是例示性的，并且变型和修改是可能的。应当理解，控制器1200的具体实施可执行上述正由媒体接入设备执行的所有操作，并且附件1100的具体实施可执行上述正由附件执行的任何或所有操作。代理、桥接器、隧道或协调器可根据需要使用相同硬件或不同硬件来组合控制器1200和附件1100的部件。媒体接入设备和/或附件可能具有本文并未明确描述的其他能力(例如，移动电话、全球定位系统(GPS)、宽带数据通信、互联网连接等)。根据具体实施，这些设备可以进行互操作，以便提供由任一(或两个)设备支持的任何功能性或提供在每个设备中部分地实现的功能性。在一些实施方案中，特定附件可具有无法经由特定媒体接入设备访问或调用但可经由另一控制器或通过直接与附件交互访问的某些功能。
此外，尽管本文参考特定块描述了媒体接入设备和附件，但应当理解，定义这些块是为了描述的方便，而并非旨在暗示部件部分的特定物理布置。此外，块不必对应于物理上不同的部件。可以例如通过对处理器进行编程或提供适当的控制电路来配置块以执行各种操作，并且根据初始配置的获得方式，各个块可能是可重新配置的或不可重新配置的。可在包括使用电路和软件的任何组合实现的电子设备在内的各种装置中实现本公开的实施方案。
公开内容
可使用专用部件和/或可编程处理器和/或其他可编程设备的任意组合来实现本文所描述的各种功能，例如方法、装置、计算机可读介质等。本文所述的各种过程可以任何组合方式在同一处理器或不同处理器上实现。在部件被描述为被配置为执行某些操作的情况下，可例如通过设计电子电路以执行操作、通过对可编程电子电路(诸如微处理器)进行编程以执行操作或其任何组合来实现此类配置。此外，虽然上述实施方案可能参考了具体硬件部件和软件部件，但本领域的技术人员应当理解，也可使用硬件部件和/或软件部件的不同组合，并且被描述为正在硬件中实现的特定操作也可能在软件中被实现，反之亦然。
可在各种计算机可读存储介质上对结合本文所述的各种特征的计算机程序进行编码和存储；合适的介质包括磁盘或磁带、光学存储介质诸如光盘(CD)或DVD(数字通用光盘)、闪存存储器，以及其他非暂态介质。可将用程序代码编码的计算机可读介质与兼容的电子设备封装在一起，或者该程序代码可独立于电子设备提供(例如，经由互联网下载或作为单独封装的计算机可读存储介质)。
如上所述，本技术的一个方面是收集和使用可从各种源获得的数据以用于家庭网络环境。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他标识或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于控制家庭网络设备。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类策略应该能被用户方便地访问，并应当随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，在家庭网络控制的情况下，本发明的技术可被配置为在注册服务期间或者其后的任何时间，允许用户“选择加入”或“选择退出”参与对个人信息数据的收集。又如，用户可以选择不为家庭网络设置提供人员信息、不为目标内容递送服务提供情绪相关数据。又如，用户可选择限制由家庭网络维持的个人数据量。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户上聚集数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低数量的个人信息诸如与用户相关联的设备所请求的内容、对家庭网络可用的其他非个人信息或公开可用的信息来推断偏好，从而选择内容并将该内容递送至用户。
因此，尽管已相对于具体实施方案描述了本公开，但应当理解，本公开旨在覆盖以下权利要求书范围内的所有修改形式和等同形式。
相应地，说明书和附图应被视为具有例示性的而非限制性的意义。然而，显而易见的是，在不脱离权利要求中阐述的本公开的更广泛的实质和范围的情况下，可对其进行各种修改和改变。
其他变型形式在本公开的实质内。因此，尽管所公开的技术容易受到各种修改和另选构造的影响，但是其某些例示的实施方案在附图中示出并且已经在上面详细描述。然而，应当理解，并不旨在将本公开限制于所公开的特定形式，相反，其目的在于覆盖落入由所附权利要求所限定的本公开的实质和范围内的所有修改、另选构造和等同形式。
在描述所公开的实施方案的上下文中(特别是在下面的权利要求书的上下文中)使用术语“一”、“一个”和“该”以及类似的指示词将被解释为覆盖单数和复数，除非另有说明或与上下文明显矛盾。除非另有说明，否则术语“包含”、“具有”、“包括”和“含有”应被解释为开放式术语(即，意思为“包括但不限于”)。术语“连接”被解释为即使有干预的东西，也被部分或全部地包含在内、附接或接合在一起。短语“基于”应当被理解为开放式的，并且不以任何方式进行限制，并且旨在在适当的情况下被解释或以其他方式理解为“至少部分地基于”。除非本文另有说明，否则本文中对数值范围的叙述仅仅旨在用作单独提及落入该范围内的每个单独值的简单方法，并且每个单独的值被并入说明书中，如同在本文中单独引用。本文描述的所有方法能够以任何合适的顺序执行，除非本文另有说明或以其他方式与上下文明显矛盾。除非另有声明，否则本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅仅旨在更好地说明本公开的实施方案，并且不会限制本公开的范围。说明书中的任何语言都不应被解释为指示任何未声明的元素对于本公开的实践是必不可少的。
除非另外特别说明，否则析取语言诸如短语“X、Y或Z中的至少一者”在上下文中被理解为通常用于呈现项目、术语等，其可以是X、Y或Z，或它们的任何组合(例如，X、Y和/或Z)。因此，此类析取语言通常不旨在并且不应该暗示某些实施方案要求X中的至少一个、Y中的至少一个或者Z中的至少一个均各自存在。另外，除非另外特别说明，否则诸如短语“X，Y和Z中的至少一者”的联合语言也应理解为意指X、Y、Z或它们的任何组合，包括“X、Y和/或Z”。
本文描述了本公开的优选实施方案，包括发明人已知的用于执行本公开的最佳模式。在阅读前面的描述之后，那些优选实施方案的变型形式对于本领域的普通技术人员来说可变得显而易见。发明人期望技术人员适当地采用此类变型形式，并且发明人旨在以不同于本文具体描述的方式来实践本公开。因此，如适用法律所允许的，本公开包括所附权利要求中记载的主题的所有修改和等同形式。此外，除非在本文中另外指出或者明显与上下文矛盾，否则本公开包含上述元素的所有可能变型形式的任何组合。
本文引用的所有参考文献，包括出版物、专利申请和专利，均据此以引用方式并入本文，正如每篇参考文献被单独且具体地指示为以引用方式并入并且在本文全文阐述。
相关申请的交叉引用
本专利申请要求2018年6月3日提交的名称为“Techniques for AuthorizingController Devices”的美国临时申请序列号62/679,922以及2018年9月24日提交的名称为“Techniques for Authorizing Controller Devices”的美国专利申请No.16/140,470的优先权，这两个申请据此全文以引用方式并入本文以用于所有目的。本专利申请以引用的方式并入了2016年3月8日提交的名称为“Relay Service for Communications BetweenControllers and Accessories”的共同拥有的美国专利申请No.15/064,406，其要求2015年6月5日提交的名称为“Relay Service for Communications Between Controllers andAccessories”的美国临时申请No.62/171,995的优先权，其公开内容据此全文以引用方式并入以用于所有目的。
本公开还涉及以下美国专利申请：2015年2月5日提交的美国申请No.14/614,914；2015年5月29日提交的美国申请No.14/725,891；和2015年5月29日提交的美国申请No.14/725,912。这些申请的公开内容也全文以引用方式并入本文以用于所有目的。
本专利申请以引用方式全文并入了2017年10月21日提交的名称为“PersonalDomain for a Virtual Assistant System on a Communal Device”的共同拥有的美国专利申请序列号62/575,373并用于所有目的。

Claims (20)

1.一种方法，包括：
由连接到网络的第一计算设备接收用于添加第二计算设备的网络代码，第二计算设备被配置为控制与第一计算设备连接的一个或多个附件；
由第一计算设备向第二计算设备发送第一信号，第一信号被配置为登记第二计算设备以接收来自第一计算设备的配置信息；
由第一计算设备向第二计算设备发送第二信号，第二信号包括用于第二计算设备的配置信息，所述配置信息将第一计算设备的功能与用于第二计算设备的用户界面元素值相关联；
由第一计算设备从第二计算设备接收第三信号，其中第三信号指示与第二计算设备上的选择的用户界面元素的交互；和
由第一计算设备处理第三信号来执行与选择的用户界面元素相关联的功能，其中，所述执行包括向所述一个或多个附件发送命令信号以由所述一个或多个附件执行由所述命令信号提供的功能。
2.根据权利要求1所述的方法，其中，第三信号包括由第二计算设备捕获的音频信息，所述方法还包括由第一计算设备将所述音频信息转录成文本的部分抄本，其中所述文本的部分抄本包括一个或多个文本字符。
3.根据权利要求2所述的方法，还包括：
由第一计算设备准备输出所述文本的部分抄本，其中所述输出包括以下中的至少一者：在显示器上显示所述文本的部分抄本或经由扬声器通知所述文本的部分抄本。
4.根据权利要求1所述的方法，还包括：
由第一计算设备识别用于第一计算设备的所述配置信息的变化；以及
由第一计算设备发送第四信号，第四信号包括用于将第一计算设备的功能与用于第二计算设备的用户界面元素值相关联的修订配置信息。
5.根据权利要求1所述的方法，还包括：
同步所述一个或多个附件的控制，使得来自第二计算设备的命令将针对相同类型的附件中的每个附件执行相关功能。
6.根据权利要求1所述的方法，还包括使第二计算设备的界面在所述第二计算设备的显示器上显示一个或多个附件的表示。
7.根据权利要求1所述的方法，还包括：
从第二计算设备接收对第一计算设备的授权，以控制无线地连接到第二计算设备的各种类型的一个或多个附件；
同步所述一个或多个附件的控制，使得来自第一计算设备的命令将针对相同类型的附件中的每个附件执行相关功能；以及
为用户提供用于在第一计算设备上选择所述一个或多个附件的界面。
8.根据权利要求1所述的方法，还包括：
由第一计算设备从第二计算设备接收打开信道的请求；
由第一计算设备打开用于接收包含数据的第三信号的所述信道；
由第一计算设备向第二计算设备发送第五信号，所述第五信号包括发送标识、状态、地址和端口标识；以及
由第一计算设备经由第三信号接收信息，所述信息包括来自第二计算设备的数据。
9.根据权利要求1所述的方法，还包括由第一计算设备在第一计算设备上执行与选择的用户界面元素相关联的功能。
10.一种存储多个指令的非暂态计算机可读介质，所述多个指令当由第一计算设备的一个或多个处理器执行时使第一计算设备的所述一个或多个处理器执行操作，所述操作包括：
由网络的第一计算设备接收用于添加第二计算设备的网络代码，第二计算设备被配置为控制与第二计算设备连接的一个或多个附件，所述网络代码是经由用于所述网络的应用的用户界面识别的；
由第一计算设备向第二计算设备发送第一信号，第一信号被配置为登记第二计算设备以接收来自第一计算设备的配置信息；
由第一计算设备向第二计算设备发送第二信号，第二信号包括用于第二计算设备的配置信息，所述配置信息将第一计算设备的功能与用于第二计算设备的用户界面元素值相关联；
由第一计算设备从第二计算设备接收第三信号，其中第三信号指示与第二计算设备上的选择的用户界面元素的交互；和
由第一计算设备处理第三信号来执行与选择的用户界面元素相关联的功能，其中所述执行包括向所述一个或多个附件发送命令信号以由所述一个或多个附件执行由所述命令信号提供的功能。
11.根据权利要求10所述的非暂态计算机可读介质，其中，第三信号包括由第二计算设备捕获的音频信息，所述介质还包括附加指令，包括：由第一计算设备将所述音频信息转录成文本的部分抄本，其中所述文本的部分抄本包括一个或多个文本字符。
12.根据权利要求11所述的非暂态计算机可读介质，还包括附加指令，包括：由第一计算设备准备输出所述文本的部分抄本，其中所述输出包括以下中的至少一者：在显示器上显示所述文本的部分抄本或经由扬声器通知所述文本的部分抄本。
13.根据权利要求10所述的非暂态计算机可读介质，还包括：
由第一计算设备识别用于第一计算设备的所述配置信息的变化；以及
由第一计算设备发送第四信号，第四信号包括用于将第一计算设备的功能与用于第二计算设备的用户界面元素值相关联的修订配置信息。
14.根据权利要求10所述的非暂态计算机可读介质，还包括：
从第二计算设备接收对第二计算设备的授权，以控制无线地连接到第二计算设备的各种类型的一个或多个附件；
同步所述一个或多个附件的控制，使得来自第二计算设备的命令将针对相同类型的附件中的每个附件执行相关功能；以及
为用户提供用于在第二计算设备上选择所述一个或多个附件的界面。
15.根据权利要求10所述的非暂态计算机可读介质，还包括接收授权信息，所述授权信息被配置为授权第一计算设备控制无线连接到第二计算设备的各种类型的一个或多个专有附件。
16.根据权利要求10所述的非暂态计算机可读介质，还包括：
由第一计算设备从第二计算设备接收打开信道的请求；
由第一计算设备打开用于接收第三信号的所述信道，其中第三信号包含数据；
由第一计算设备向第二计算设备发送第五信号，所述第五信号包括发送标识、状态、地址和端口标识；以及
由第一计算设备经由第三信号接收信息，所述信息包括来自第二计算设备的数据。
17.一种网络的第一计算设备，包括：
一个或多个存储器；和
一个或多个处理器，所述一个或多个处理器与所述一个或多个存储器通信并被配置为执行存储在所述一个或多个存储器中的指令来：
接收用于添加第二计算设备的网络代码，第二计算设备被配置为控制与第一计算设备连接的一个或多个附件，所述网络代码是经由用于所述网络的应用的用户界面识别的；
向第二计算设备发送第一信号，第一信号被配置为登记第二计算设备以接收来自第一计算设备的配置信息；
向第二计算设备发送第二信号，第二信号包括用于第二计算设备的配置信息，所述配置信息将第一计算设备的功能与用于第二计算设备的用户界面元素值相关联；
由第一计算设备从第二计算设备接收第三信号，其中第三信号指示与第二计算设备上的选择的用户界面元素的交互；和
由第一计算设备处理第三信号来执行与选择的用户界面元素相关联的功能，其中所述执行包括向所述一个或多个附件发送命令信号以由所述一个或多个附件执行由所述命令信号提供的功能。
18.根据权利要求17所述的第一计算设备，其中，第三信号包括由第二计算设备捕获的音频信息，其中所述一个或多个处理器还被配置为执行所述指令以：
由第一计算设备将所述音频信息转录成文本的部分抄本，其中所述文本的部分抄本包括一个或多个文本字符；和
由第一计算设备准备输出所述文本的部分抄本，其中所述输出包括以下中的至少一者：在显示器上显示所述文本的部分抄本或经由扬声器通知所述文本的部分抄本。
19.根据权利要求17所述的第一计算设备，其中所述一个或多个处理器还被配置为执行所述指令以：
识别用于第一计算设备的所述配置信息的变化；以及
发送第四信号，第四信号包括用于将第一计算设备的功能与用于第二计算设备的用户界面元素值相关联的修订配置信息。
20.根据权利要求17所述的第一计算设备，其中所述一个或多个处理器还被配置为执行所述指令以：
从第二计算设备接收对第二计算设备的授权，以控制无线地连接到第二计算设备的各种类型的一个或多个附件；
同步所述一个或多个附件的控制，使得来自第一计算设备的命令将针对相同类型的附件中的每个附件执行相关功能；以及
为用户提供用于在第一计算设备上选择所述一个或多个附件的界面。
CN202210118030.7A 2018-06-03 2019-05-30 用于授权控制器设备的技术 Active CN114448743B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862679922P 2018-06-03 2018-06-03
US62/679,922 2018-06-03
US16/140,470 2018-09-24
US16/140,470 US10595073B2 (en) 2018-06-03 2018-09-24 Techniques for authorizing controller devices
CN201910459722.6A CN110557307B (zh) 2018-06-03 2019-05-30 用于附件控制的计算设备、方法和介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910459722.6A Division CN110557307B (zh) 2018-06-03 2019-05-30 用于附件控制的计算设备、方法和介质

Publications (2)

Publication Number Publication Date
CN114448743A CN114448743A (zh) 2022-05-06
CN114448743B true CN114448743B (zh) 2023-03-28

Family

ID=68693419

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210118030.7A Active CN114448743B (zh) 2018-06-03 2019-05-30 用于授权控制器设备的技术
CN201910459722.6A Active CN110557307B (zh) 2018-06-03 2019-05-30 用于附件控制的计算设备、方法和介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910459722.6A Active CN110557307B (zh) 2018-06-03 2019-05-30 用于附件控制的计算设备、方法和介质

Country Status (2)

Country Link
US (3) US10595073B2 (zh)
CN (2) CN114448743B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6763352B2 (ja) * 2017-07-05 2020-09-30 Smk株式会社 機器制御装置、プログラム及びリモートコントロールシステム
US10595073B2 (en) * 2018-06-03 2020-03-17 Apple Inc. Techniques for authorizing controller devices
US11120683B2 (en) * 2019-03-04 2021-09-14 Tony Trupp Remote control for interacting with smart home IoT devices and web services
CN113494211A (zh) * 2020-04-01 2021-10-12 深南电路股份有限公司 智能锁的控制方法、智能锁及射频识别设备

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5474238U (zh) 1977-11-07 1979-05-26
US5086385A (en) 1989-01-31 1992-02-04 Custom Command Systems Expandable home automation system
US5471190A (en) 1989-07-20 1995-11-28 Timothy D. Schoechle Method and apparatus for resource allocation in a communication network system
US5059871A (en) 1990-07-09 1991-10-22 Lightolier Incorporated Programmable lighting control system linked by a local area network
US5621662A (en) 1994-02-15 1997-04-15 Intellinet, Inc. Home automation system
EP0827616B1 (en) 1996-02-08 2002-04-24 Koninklijke Philips Electronics N.V. Initialisation of a wireless security system
US7349682B1 (en) 1998-06-12 2008-03-25 Sbc Properties, L.P. Home gateway system for automation and security
GB2339367B (en) 1998-03-17 2002-12-04 Sedex Ltd A method and apparatus for electronic document exchange
US7831930B2 (en) 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
AU765914B2 (en) 1998-10-30 2003-10-02 Virnetx Inc. An agile network protocol for secure communications with assured system availability
US20140098247A1 (en) 1999-06-04 2014-04-10 Ip Holdings, Inc. Home Automation And Smart Home Control Using Mobile Devices And Wireless Enabled Electrical Switches
US6754678B2 (en) 1999-12-20 2004-06-22 California Institute Of Technology Securely and autonomously synchronizing data in a distributed computing environment
US6834208B2 (en) 1999-12-30 2004-12-21 Microsoft Corporation Method and apparatus for providing distributed control of a home automation and control system
JP2001256156A (ja) 2000-03-10 2001-09-21 Victor Co Of Japan Ltd 制御情報システムおよび制御情報伝送方法
CA2391405C (en) 2000-04-10 2006-01-10 Zensys A/S Rf home automation system comprising replicable controllers
US6912429B1 (en) 2000-10-19 2005-06-28 Destiny Networks, Inc. Home automation system and method
US6756998B1 (en) 2000-10-19 2004-06-29 Destiny Networks, Inc. User interface and method for home automation system
JP2002354557A (ja) * 2001-05-29 2002-12-06 Fujitsu Ltd 機器制御システム
US7505889B2 (en) * 2002-02-25 2009-03-17 Zoran Corporation Transcoding media system
US9122808B2 (en) * 2002-02-25 2015-09-01 Csr Technology Inc. Network interface to a video device
JP4129783B2 (ja) 2002-07-10 2008-08-06 ソニー株式会社 リモートアクセスシステム及びリモートアクセス方法
US7259710B2 (en) * 2002-08-07 2007-08-21 Canon Information Systems Research Australia Pty Ltd User input device
US7139716B1 (en) * 2002-08-09 2006-11-21 Neil Gaziz Electronic automation system
US7130584B2 (en) 2003-03-07 2006-10-31 Nokia Corporation Method and device for identifying and pairing Bluetooth devices
KR100531141B1 (ko) * 2003-04-01 2005-11-28 최동욱 Ｉｒ 및 ｒｆ 통합 리모콘 모듈을 이용한 홈 오토메이션 시스템 및 그 방법
US7047092B2 (en) 2003-04-08 2006-05-16 Coraccess Systems Home automation contextual user interface
US20040260407A1 (en) * 2003-04-08 2004-12-23 William Wimsatt Home automation control architecture
US20050027539A1 (en) * 2003-07-30 2005-02-03 Weber Dean C. Media center controller system and method
US10444964B2 (en) 2007-06-12 2019-10-15 Icontrol Networks, Inc. Control system user interface
KR100678897B1 (ko) 2004-11-23 2007-02-07 삼성전자주식회사 홈 네트워크 장치 간의 보안 연결을 위한 시스템 및 방법
US7394393B2 (en) 2005-08-02 2008-07-01 Gm Global Technology Operations, Inc. Adaptive driver workload estimator
US7415310B2 (en) 2005-09-15 2008-08-19 Intermatic Incorporated System for home automation
US8042048B2 (en) * 2005-11-17 2011-10-18 Att Knowledge Ventures, L.P. System and method for home automation
US7916040B2 (en) * 2005-12-19 2011-03-29 Audiovox Corporation Remote control for home entertainment
US8516087B2 (en) * 2006-02-14 2013-08-20 At&T Intellectual Property I, L.P. Home automation system and method
US7761119B2 (en) 2006-07-05 2010-07-20 Kyocera Corporation Signal strength annunciators for multi-mode wireless communication devices
US9198212B2 (en) 2006-09-19 2015-11-24 Marvell World Trade Ltd. Direct link setup mechanisms for wireless LANs
US7574417B1 (en) 2006-09-28 2009-08-11 Rockwell Automation Technologies, Inc. Self configuration of embedded historians
US7864043B2 (en) 2007-03-28 2011-01-04 Sony Ericsson Mobile Communications Ab Home locating network
US8332874B2 (en) * 2007-02-09 2012-12-11 Mitsubishi Electric Corporation Application executing terminal
US8522019B2 (en) 2007-02-23 2013-08-27 Qualcomm Incorporated Method and apparatus to create trust domains based on proximity
US8634712B1 (en) * 2007-03-06 2014-01-21 Alex Robert Woods Real time transmission of photographic images from portable handheld devices
US8387124B2 (en) 2007-03-15 2013-02-26 Palo Alto Research Center Incorporated Wormhole devices for usable secure access to remote resource
JP2008263308A (ja) * 2007-04-10 2008-10-30 Sony Corp リモートコントローラ、電子機器および遠隔操作システム
US8670746B2 (en) 2007-04-13 2014-03-11 Hart Communication Foundation Enhancing security in a wireless network
US8031222B2 (en) * 2007-04-25 2011-10-04 Microsoft Corporation Multiple resolution capture in real time communications
US8078787B2 (en) * 2007-06-22 2011-12-13 Apple Inc. Communication between a host device and an accessory via an intermediate device
US8473325B2 (en) 2007-10-12 2013-06-25 Pie Digital, Inc. System and method for automatic configuration and management of home network devices using a hierarchical index model
US9363258B2 (en) 2007-12-17 2016-06-07 International Business Machines Corporation Secure digital signature system
JP4613969B2 (ja) 2008-03-03 2011-01-19 ソニー株式会社 通信装置、及び通信方法
US20090307255A1 (en) 2008-06-06 2009-12-10 Johnson Controls Technology Company Graphical management of building devices
US8706406B2 (en) 2008-06-27 2014-04-22 Yahoo! Inc. System and method for determination and display of personalized distance
JP5335309B2 (ja) * 2008-07-22 2013-11-06 キヤノン株式会社 通信装置
US8750797B2 (en) 2008-07-22 2014-06-10 Nissaf Ketari Proximity access and alarm apparatus
US8429435B1 (en) 2008-07-25 2013-04-23 Autani Corporation Automation devices, systems, architectures, and methods for energy management and other applications
US8156334B2 (en) 2008-08-12 2012-04-10 Texas Instruments Incorporated Public key out-of-band transfer for mutual authentication
PL2166697T3 (pl) 2008-09-17 2012-02-29 Gmv Soluciones Globales Internet S A Sposób i system uwierzytelniania użytkownika za pomocą urządzenia mobilnego
US8190275B2 (en) 2008-09-26 2012-05-29 Michael Alan Chang Peer-to-peer home automation management
US8214645B2 (en) 2009-04-08 2012-07-03 Research In Motion Limited Systems, devices, and methods for securely transmitting a security parameter to a computing device
US9177455B2 (en) * 2009-05-07 2015-11-03 Perpcast, Inc. Personal safety system, method, and apparatus
KR101598336B1 (ko) * 2009-05-29 2016-02-29 엘지전자 주식회사 공간리모콘의 페어링방법 및 동작방법
EP2275953B1 (en) * 2009-06-30 2018-10-24 LG Electronics Inc. Mobile terminal
KR101586089B1 (ko) 2009-08-14 2016-01-15 삼성전자주식회사 근거리 통신을 이용한 무선 네트워크 연결 시스템 및 방법 그리고 그 장치
US8532962B2 (en) 2009-12-23 2013-09-10 Honeywell International Inc. Approach for planning, designing and observing building systems
CA2730873A1 (en) 2010-02-05 2011-08-05 James Keirstead Wireless control system for a spa
US8826312B2 (en) * 2010-04-26 2014-09-02 Cox Communications, Inc. Broadcast remote control
US8917181B2 (en) 2010-05-07 2014-12-23 Mikael Edlund Method for monitoring an individual
US8422401B1 (en) 2010-05-11 2013-04-16 Daintree Networks, Pty. Ltd. Automated commissioning of wireless devices
US8483394B2 (en) 2010-06-15 2013-07-09 Los Alamos National Security, Llc Secure multi-party communication with quantum key distribution managed by trusted authority
US8464061B2 (en) 2010-08-30 2013-06-11 Apple Inc. Secure wireless link between two devices using probes
CA2813408C (en) 2010-10-14 2020-02-18 Fourthwall Media, Inc. Systems and methods for providing companion services to customer premises equipment using an ip-based infrastructure
FR2966626B1 (fr) 2010-10-26 2013-04-19 Somfy Sas Procede de fonctionnement d'une unite mobile de commande d'une installation domotique.
US8375118B2 (en) * 2010-11-18 2013-02-12 Verizon Patent And Licensing Inc. Smart home device management
US8638198B2 (en) * 2010-11-30 2014-01-28 Verizon Patent And Licensing Inc. Universal remote control systems, methods, and apparatuses
US8982220B2 (en) * 2010-12-07 2015-03-17 Verizon Patent And Licensing Inc. Broadcasting content
US9032493B2 (en) 2011-03-31 2015-05-12 Intel Corporation Connecting mobile devices, internet-connected vehicles, and cloud services
US9021121B2 (en) 2011-06-17 2015-04-28 Lenovo (Singapore) Pte. Ltd. Setting a rate of data transmission in a peer-to-peer mode
US8666313B2 (en) 2011-07-29 2014-03-04 Motorola Solutions, Inc. Pairing devices using data exchanged in an out-of-band channel
US11392708B2 (en) 2011-08-05 2022-07-19 Harris Corporation Method and system for embedding security in a mobile communications device
US20130086066A1 (en) 2011-09-30 2013-04-04 Siemens Akeiengesellschaft Automated discovery and generation of hierarchies for building automation and control network objects
GB201119375D0 (en) * 2011-11-10 2011-12-21 Merburn Ltd Financial transaction processing system and method
US8671099B2 (en) 2011-12-28 2014-03-11 International Business Machines Corporation Clustering devices in an internet of things (‘IoT’)
TW201328401A (zh) 2011-12-28 2013-07-01 Univ Nat Central 無線感測制動網路及其操作方法
US9344413B2 (en) 2012-01-18 2016-05-17 OneID, Inc. Methods and systems for device disablement
US20130217333A1 (en) 2012-02-22 2013-08-22 Qualcomm Incorporated Determining rewards based on proximity of devices using short-range wireless broadcasts
US9544075B2 (en) 2012-02-22 2017-01-10 Qualcomm Incorporated Platform for wireless identity transmitter and system using short range wireless broadcast
DE102012208834A1 (de) 2012-05-25 2013-11-28 Siemens Aktiengesellschaft Authentisierung eines Produktes gegenüber einem Authentisierer
US9405899B2 (en) 2012-06-06 2016-08-02 Empire Technology Development Llc Software protection mechanism
US9715365B2 (en) 2012-06-27 2017-07-25 Sonos, Inc. Systems and methods for mobile music zones
US10536361B2 (en) 2012-06-27 2020-01-14 Ubiquiti Inc. Method and apparatus for monitoring and processing sensor data from an electrical outlet
US20140022061A1 (en) 2012-07-17 2014-01-23 Procter And Gamble, Inc. Home network of connected consumer devices
US10762582B2 (en) * 2012-07-19 2020-09-01 Comcast Cable Communications, Llc System and method of sharing content consumption information
EP2881676B1 (en) 2012-07-30 2018-09-05 Panasonic Intellectual Property Management Co., Ltd. Operation system for home electric appliances and program for operating home electric appliances
US9007222B2 (en) 2012-09-21 2015-04-14 Google Inc. Detector unit and sensing chamber therefor
US9413837B2 (en) 2013-02-06 2016-08-09 Facebook, Inc. Routine deviation notification
JP2014186663A (ja) 2013-03-25 2014-10-02 Toshiba Lighting & Technology Corp 端末装置および制御システム
US9894616B2 (en) 2013-05-06 2018-02-13 Apple Inc. Delegating WiFi network discovery and traffic monitoring
JP5474238B1 (ja) 2013-06-05 2014-04-16 三菱電機株式会社 レイアウト生成システム、エネルギーマネジメントシステム、端末装置、レイアウト作成方法、および、プログラム
US10177933B2 (en) * 2014-02-05 2019-01-08 Apple Inc. Controller networks for an accessory management system
US8743758B1 (en) 2013-11-27 2014-06-03 M87, Inc. Concurrent uses of non-cellular interfaces for participating in hybrid cellular and non-cellular networks
KR102186012B1 (ko) 2014-02-05 2020-12-04 애플 인크. 제어기와 액세서리 사이의 통신을 위한 균일한 통신 프로토콜
AU2015218275B2 (en) 2014-02-14 2019-05-02 Intertrust Technologies Corporation Network security systems and methods
US9876652B2 (en) 2014-05-20 2018-01-23 Savant Systems, Llc Automatic configuration of control device user interface in a home automation system
WO2015184382A2 (en) 2014-05-30 2015-12-03 Apple Inc. Controller networks for an accessory management system
WO2015184387A1 (en) 2014-05-30 2015-12-03 Apple Inc. Accessory management system using environment model
CN112666841A (zh) * 2014-05-30 2021-04-16 苹果公司 使用环境模型的附件管理系统
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104571029A (zh) * 2014-12-19 2015-04-29 上海电机学院 一种智能家居控制系统及其控制方法
US20160212194A1 (en) * 2015-01-16 2016-07-21 Nokia Technologies Oy Method, apparatus, and computer program product for device control
US9680646B2 (en) * 2015-02-05 2017-06-13 Apple Inc. Relay service for communication between controllers and accessories
CN104754502B (zh) * 2015-04-22 2018-10-16 三星电子（中国）研发中心 一种支持多协议的设备配对方法和系统
CN107995353A (zh) * 2017-10-27 2018-05-04 努比亚技术有限公司 智能设备快捷控制方法、终端及计算机可读存储介质
US10595073B2 (en) * 2018-06-03 2020-03-17 Apple Inc. Techniques for authorizing controller devices
JP7180330B2 (ja) * 2018-11-30 2022-11-30 株式会社リコー 情報処理システム、情報処理装置、および方法

Also Published As

Publication number Publication date
CN110557307B (zh) 2022-02-18
CN114448743A (zh) 2022-05-06
US11297373B2 (en) 2022-04-05
CN110557307A (zh) 2019-12-10
US11949938B2 (en) 2024-04-02
US20200213656A1 (en) 2020-07-02
US20220272400A1 (en) 2022-08-25
US10595073B2 (en) 2020-03-17
US20190373303A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
US11698846B2 (en) Accessory communication control
CN114448743B (zh) 用于授权控制器设备的技术
CN106664226B (zh) 用于附件管理系统的控制器网络的方法、设备及系统
US10177933B2 (en) Controller networks for an accessory management system
CN105981352B (zh) 控制器、由控制器控制的附件和通信方法
CN110636496B (zh) 用于无线设备的隐私增强的方法、设备和计算机可读介质
ES2604977T3 (es) Sistema y método para la integración de teléfono móvil y punto de control UPnP
WO2017058001A1 (en) A type of smart home management method based on instant messasing (im)
US20240031223A1 (en) Configuring accessory network connections
WO2015184382A9 (en) Controller networks for an accessory management system
WO2014143761A2 (en) Systems and methods for configuration of wireless camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant