CN110506452B - 基于音频的负载控制系统 - Google Patents

基于音频的负载控制系统 Download PDF

Info

Publication number
CN110506452B
CN110506452B CN201880021333.9A CN201880021333A CN110506452B CN 110506452 B CN110506452 B CN 110506452B CN 201880021333 A CN201880021333 A CN 201880021333A CN 110506452 B CN110506452 B CN 110506452B
Authority
CN
China
Prior art keywords
command
load control
control device
voice
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880021333.9A
Other languages
English (en)
Other versions
CN110506452A (zh
Inventor
R·B·巴克尔
M·V·哈特
J·卡克
G·E·克诺德
J·B·尼尔
J·A·舒克拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lutron Electronics Co Inc
Original Assignee
Lutron Electronics Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lutron Electronics Co Inc filed Critical Lutron Electronics Co Inc
Priority to CN202111331789.5A priority Critical patent/CN114067794A/zh
Publication of CN110506452A publication Critical patent/CN110506452A/zh
Application granted granted Critical
Publication of CN110506452B publication Critical patent/CN110506452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/34Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/283Processing of data at an internetworking point of a home automation network
    • H04L12/2834Switching of information between an external network and a home network
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/19Controlling the light source by remote control via wireless transmission
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/13Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using passive infrared detectors
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/19Controlling the light source by remote control via wireless transmission
    • H05B47/195Controlling the light source by remote control via wireless transmission the transmission using visible or infrared light
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

一种基于麦克风的网络的用于家庭自动化的可扩展分布式负载控制系统可以包括控制设备(例如,负载控制设备),该控制设备可以包括用于监视系统并将音频数据传送到云服务器以进行处理的麦克风。负载控制系统的控制设备可以接收单个语音命令,并且可以被配置为选择负载控制设备之一以将语音命令传输到云服务器。负载控制设备可以被配置为接收语音命令,如果语音命令是经验证的命令,则根据该语音命令控制连接的负载,并且如果语音命令不是经验证的命令,则将该语音命令传输到云中的语音服务。负载控制设备向其传输音频数据的语音服务可以是可挑选的。

Description

基于音频的负载控制系统
相关申请的交叉引用
本申请要求于2017年2月7日提交的美国临时专利申请No.62/455,973的权益,其全部公开内容通过引用并入本文。
背景技术
可听地(例如,人声地和/或口头地)控制设备的能力正在刺激智能家居控制中的技术革命。诸如Amazon Echo或Google Home设备之类的语音集成设备允许用户通过使用关键词(例如,唤醒词)与连接的麦克风/扬声器设备人声地进行交互,以控制家庭环境或智能家庭网络中的其它设备。例如,用户可以将语音集成设备与照明控制系统集成,以通过后面跟着语音命令(例如,“打开客厅灯”)的关键词(例如,“Alexa”)来控制灯。
当前的语音集成设备可以经由网络连接到服务器(例如,语音服务),该服务器在接收到关键词后对语音命令的声学数据执行语音识别。连接可以是无线的,诸如启用Wi-Fi的语音集成设备,或者经由以太网线缆硬连线到用户的互联网路由器。在语音服务已经解释了声学数据之后,语音集成设备然后可以将经解释的数据发送到一个或多个服务器。服务器可以与系统控制器通信,该系统控制器可以命令一个或多个负载控制设备基于声学数据的解释来控制电气负载。语音集成设备还可以口头响应用户以提供接收到语音命令的肯定,并且/或者对用户给出发送到智能家庭网络的设备命令的确认。
发明内容
针对住宅和商业环境扩展麦克风设备的能力有很大的潜力。本文描述的是可扩展的分布式麦克风设备组,其用于集成到家庭自动化或包括控制设备(例如,被配置为控制电气负载的负载控制设备)的负载控制系统中。虽然麦克风可以用在独立设备中,但是本文描述的是负载控制设备,其可以包括用于监视系统并将测得的数据(例如,音频数据)传送到服务器以进行处理的麦克风。例如,服务器可以是互联网服务器(即,云服务器)或任何类型的服务器。包括麦克风的负载控制系统的控制设备可以被称为麦克风设备或控制设备或负载控制设备。但是,将认识到的是,麦克风设备不一定需要被配置为控制电气负载。
用户可以安装一个或多个麦克风设备以监视周围环境中的音频数据(例如,声学数据),诸如语音命令和环境声音。麦克风设备可以被配置为随时间学习和/或检测声音并基于识别出的声音做出智能决定。替代地,决定可以由系统控制器或云服务器远程完成。云服务器可以具有机器学习功能,由此它从整个家庭中安装的麦克风设备获取被动输入,并且随着时间的推移开始将它们与活动相关联。除了麦克风设备之外,系统还可以使用其它输入或信息,诸如来自占用传感器的占用状态、一天中的时间、一周中的日子、来自用户确认声音或人物识别的输入等。
负载控制系统的控制设备可以接收单个语音命令,并且可以被配置为选择负载控制设备之一以将语音命令传输到云中的语音服务。例如,负载控制设备可以被配置为通过确定哪个负载控制设备听到语音命令最佳或最高质量来选择负载控制设备之一。
负载控制系统的负载控制设备中的一个或多个可以被配置为接收语音命令,并且如果语音命令是经验证的命令,那么在本地处理语音命令,或者如果语音命令不是经验证的命令,那么可以将语音命令传输到云中的语音服务。负载控制设备还可以被配置为响应于重复接收到相同的语音命令而确定语音命令是否应当作为经验证的命令本地存储到设备。
负载控制系统的负载控制设备中的一个或多个可以被配置为接收语音命令,确定语音命令是否包括区信息,如果语音命令不包括区信息,那么根据语音命令控制连接的电气负载(诸如照明负载),并且如果语音命令包括区信息,那么将命令传输到由区信息识别出的另一个负载控制设备。
负载控制系统的负载控制设备中的一个或多个可以被配置为接收语音命令,并将语音命令传送到系统控制器。系统控制器可以根据接收到的(一个或多个)语音命令和可能的占用信息来确定(一个或多个)语音命令源起的区或区域,并且基于语音命令控制区域中的一个或多个电气负载(诸如照明负载)。
负载控制系统的负载控制设备通过其传输音频数据的语音服务可以是可挑选的。例如,语音服务可以是由用户通过在处理设备(诸如智能电话、平板电脑、膝上型电脑或计算机)上运行的应用程序可挑选的。此外,语音服务可以是由系统动态地可挑选的。
以上优点和特征仅仅是代表性实施例。它们不被视为限制。在以下描述中、根据附图并根据权利要求,实施例的附加特征和优点将变得显然。
附图说明
图1示出在示例用户环境中的具有麦克风设备的示例负载控制系统。
图2A是具有声孔的示例麦克风设备的图示。
图2B是图2A的麦克风设备的前部的横截面视图。
图3A是移动设备上的示例移动应用程序屏幕,用于允许用户挑选语音服务。
图3B是一种示例方法,麦克风设备可以将该示例方法用于动态挑选语音服务。
图3C是一种示例方法,当第一挑选的语音服务正经历显著等待时间时,麦克风设备可以通过该示例方法选择不同语音服务。
图4是可以由服务器执行的示例方法,例如,以将接收到的声音与动作相关联。
图5-图10是可以由例如图1的负载控制系统的麦克风设备执行的示例音频控制过程的流程图。
图11是可以被配置为麦克风设备的示例控制设备(例如,壁装式小键盘)的框图。
图12是可以被配置为麦克风设备的示例负载控制设备(例如,壁装式照明控制设备)的框图。
图13是示例系统控制器的框图。
图14A是一种示例方法,负载控制设备在接收到语音输入时,可以通过该示例方法使照明负载闪烁。
图14B是一种示例方法,麦克风设备在接收到语音输入时,可以通过该示例方法与负载控制设备通信以使照明负载闪烁。
具体实施方式
图1是示例负载控制系统100的简化图。如图1所示,负载控制系统100可以安装在具有房间102、104、106的建筑物中。负载控制系统100可以包括负载控制设备,即,被配置为控制一个或多个电气负载的设备。例如,负载控制系统100可以包括壁装式照明控制设备120(例如,调光器开关)、发光二极管(LED)驱动器130、电动窗上用品150、恒温器160和插入式负载控制设备140。负载控制设备可以控制系统内的负载,诸如加热、通风和空调(HVAC)系统162,照明负载122、132、142,音频扬声器146以及其它电气设备,诸如电视(TV)144。除了切换控制(例如,开/关控制)之外,负载控制设备还可以被配置为控制它们的相应负载的水平。例如,照明控制设备120和LED驱动器130可以调节相应照明负载122、132、142的强度水平;电动窗上用品150可以调节相应覆盖材料152的位置水平,并且恒温器160可以提供HVAC系统162的温度控制。
负载控制系统可以包括系统控制器110,其可以经由路由器114连接到互联网112。系统控制器110可以经由要么有线连接(例如,以太网通信链路)要么无线连接(例如,Wi-Fi通信链路)连接到路由器114。互联网上的服务器可以允许附加的远程云处理、数据存储等。系统控制器110可以通过无线通信信号108与负载控制系统中的设备通信,无线通信信号108可以使用标准无线协议(例如,ZigBee、Wi-Fi、Z-Wave、蓝牙、Li-Fi等)或专有协议(例如,ClearConnect)。系统控制器110用于与负载控制系统100中的设备通信的无线协议可以与系统控制器用于与路由器114通信的无线协议相同或不同。
虽然该系统已被描述为无线系统,但是替代地,可以实施用于设备间通信的有线系统(以太网供电、电力线通信、CAT5线缆等)。或者,系统中的设备可以经由Wi-Fi直接与路由器114无线通信,而无需系统控制器。
负载控制系统100还可以包括输入设备,诸如遥控器170、占用传感器172、日光传感器174和壁装式小键盘120。这些输入设备可以要么直接地要么通过系统控制器110将无线通信信号108传输到负载控制系统中的其它负载控制设备。
负载控制设备可以被配置为响应于一个或多个输入而控制相应的电气负载。例如,负载控制设备120可以响应于用户致动(诸如按钮按压)而控制电气负载122。例如,用户可以按压负载控制设备120上的按钮来控制电气负载122。附加地和/或替代地,负载控制设备可以经由无线通信信号108对输入设备进行响应。例如,日光传感器174可以将包含关于房间102中的光量的信息的无线通信信号108传输到要么系统控制器110要么电动窗上用品150,以改变窗户覆盖物152的水平。占用传感器172可以传输包括关于传感器所在的房间的占用状态的信息的无线通信信号108,以使得相应的照明控制设备120基于占用状态自动打开(或关闭)照明负载122。例如,用户180可以进入房间102。房间102的占用传感器172可以检测到用户(即,用户180)已进入房间102。响应于占用检测,占用传感器172可以将占用命令传输到负载控制设备120和/或系统控制器。响应于由占用传感器传输的占用命令,系统控制器然后可以将占用命令传输到负载控制设备120,以及/或者负载控制设备可以从占用传感器接收占用命令。响应于接收到占用命令,负载控制设备120可以通过打开连接的照明负载122来控制照明负载122。
此外,住宅100的占用者180可以通过从网络设备182(例如,通信设备)向(一个或多个)负载控制设备(诸如智能电话或平板电脑)传输消息来本地或远程地控制负载。例如,占用者180可以按压网络设备182上的移动应用程序中的按钮,以打开房间102中的照明负载122。网络设备182可以向系统控制器110发送无线命令,并且系统控制器可以向负载控制系统100中的设备(诸如照明控制设备120)发送无线通信信号108,以打开灯122。替代地,网络设备182可以经由互联网112与系统控制器通信。例如,系统控制器可以经由以太网连接被连接到路由器114,而网络设备182可以具有到互联网112和/或路由器114的Wi-Fi或数据连接。
此外,先前描述的用于控制负载控制设备的任何方法也可以用于控制多个负载控制设备以创建场景。例如,用户可以按压负载控制设备上的按钮,其可以使得若干负载控制设备改变一个或多个照明负载的强度,调节电动窗上用品等。基于场景的负载控制的示例在2004年10月12日授予Balasubramanium等人的标题为“System for control ofdevices”的美国专利No.6,803,728中更详细地描述,该专利通过引用并入本文。响应于系统控制器的负载控制系统被更详细地描述,如由Donald Mosebrook等人的在2016年5月10日授权的标题为“Load control system having a broadcast controller with adiverse wireless communication system”的美国专利No.9,337,943中的广播控制器,以及如由Kyle Thomas Barco等人在2017年5月4日公布的标题为“COMMISSIONING LOADCONTROL SYSTEMS”的美国专利申请No.20170123390中描述的系统控制器,这些专利通过引用并入本文。这些专利提供了负载控制系统100可以如何操作的详细示例。其它示例是可能的。
负载控制系统100的负载控制设备可以包括麦克风,并且在本文中可以被称为麦克风设备。例如,可以安装在墙壁或平坦表面上或放在桌子上的插入式设备190可以包括麦克风。此外,负载控制系统100可以包括麦克风设备,该麦克风设备可以是负载控制系统中的分离的专用麦克风设备,即,负载控制系统可以包含不控制电气负载的一个或多个麦克风设备。
可以安装在电气壁盒中的壁装式负载控制设备(诸如照明控制设备120和小键盘176)可以包括麦克风,并且可以具有对声学声音和/或噪声的更好的接收,因为这些设备安装在地板和桌面上方的高度处,并且可以具有减少的障碍物。此外,电气壁盒通常安装在入口附近,因此使得麦克风设备能够容易地从移动通过门口的占用者和/或从门的打开和关闭接收声学声音和/或噪音。在麦克风集成到电气壁盒中的壁装式负载控制设备中的情况下,负载控制系统100可以提供位于房屋或建筑物的若干房间中的麦克风设备的网络,并且可以监听语音命令和/或环境声音。每个壁装式负载控制设备可以包括麦克风(例如,照明控制设备是麦克风设备),或者替代地,麦克风设备可以安装在与负载控制设备相邻的壁盒中,但是在分离的壳体中(例如,照明控制设备和麦克风设备是分离的设备)。或者,麦克风设备可以安装在一个或多个负载控制设备的面板中。其它示例是可能的。
当麦克风设备集成在负载控制设备中时,和系统通信相比,对于声学数据,由于音频信号处理的更高数据吞吐量要求,麦克风设备可以在要么不同的协议要么不同的频道上进行通信。例如,麦克风设备和/或系统控制器可以将第一协议(例如,Wi-Fi或BLE)用于流送(streaming)声学数据,以及将第二协议(例如,ZigBee、Thread、ClearConnect、Z-Wave等)用于与负载控制系统的通信,其中第一协议可以具有比第二协议更高的数据吞吐量。例如,负载控制系统可以使用第二协议来传送负载控制命令,并且第一协议可被保留为传送声学数据。麦克风设备可以与负载控制系统集成。
负载控制系统100的控制设备可以响应于接收到的语音命令而被编程(例如,被调试和/或配置)。例如,用户可以通过按住遥控设备上的按钮并说出“关联遥控器”来将遥控设备与照明控制设备进行关联。此外,用户可以使用语音命令调节控制设备的操作设置(例如,高端修调(trim)、低端修调、渐变时间、延迟时间、占用传感器超时、占用传感器灵敏度等)。
在负载控制系统中使用麦克风设备进行语音识别可以为用户提供许多益处,包括但不限于:负载的控制;针对天气和交通信息等与web搜索引擎进行人声交互;对讲或电话呼叫、对话和语音记录等。麦克风设备还可以可操作以重放对话。
图2A是示例麦克风设备200的前视图,示例麦克风设备200可以是负载控制设备。例如,麦克风设备200可以具有集成的照明控制能力,即,麦克风设备200可以控制电气照明负载。麦克风设备200可以安装在电气壁盒(未示出)中,并且可以具有面板202。面板202可以覆盖电气壁盒。
麦克风设备200还可以包括边框(bezel)212。边框212可以包括一个或多个按钮。例如,边框212可以具有可以分别打开和关闭照明负载的按钮202、206;升高或降低光水平的按钮204;以及用于预设光水平的按钮210。例如,麦克风设备200可以响应于麦克风设备200的按钮202-210中的任何按钮上的按钮按压而改变电气照明负载的光强度。预设按钮210可以是可以由用户可配置的用户挑选的预设光水平。照明控制设备的预设的示例在2002年4月30日授权的由Tarvinder Sembhi等人的标题为“MULTI-SCENE PRESET LIGHTINGCONTROLLER”的美国专利号6,380,696中更详细地描述,该专利的全部公开内容通过引用并入本文。
麦克风设备200可以包括一个或多个输入麦克风(未示出),其在边框212后面凹陷。边框212可以具有孔208,用于允许声音穿过边框通过。替代地,位于麦克风设备200的壳体内的输入麦克风可以被扬声器格栅、布等覆盖,以保护它们免受灰尘、碎屑和损坏。输入麦克风可以从壳体的表面凹陷,并经由管、开口或声学喇叭声学地引导到壳体的表面。例如,输入麦克风可以被配置为利用塑料中的间隙,这可以允许声音到达麦克风而不需要麦克风设备的表面上的孔、格栅等,孔、格栅等会破坏麦克风设备的美学设计。
图2B是麦克风设备200的通过孔208截取的侧横截面视图。孔208可以被构造使得孔的前顶部边缘208A可以与孔的底后部边缘208B相比垂直地在同一点处或垂直地在较低点处。例如,如果边框212具有厚度t,并且孔具有直径d,那么根据以下公式,角度θ可以大于或等于孔直径除以材料厚度的反正切:
θ≥arctan(d/t)
孔的向上倾斜可以用于减少进入导管的灰尘和/或碎屑的量,以及通过使孔看起来更暗而改善美学吸引力。虽然针对单个孔描述了这个结构,但是将理解的是,这可以用于多个孔,包括孔的阵列。
返回参考图1,麦克风设备可以接收声学声音并将声学数据传输到互联网112上的云服务器以处理声学数据。互联网112可以连接到处理声学数据的许多不同的云服务器。每个云服务器可以托管处理声学数据的服务。例如,互联网112可以连接到一个或多个云服务器,这一个或多个云服务器托管用于解释包括语音命令的声学数据的语音服务。例如,语音服务可以包括:托管Amazon语音服务的第一云服务器116;托管Google语音服务的第二云服务器117;以及托管其它语音服务的第三云服务器118等。
麦克风设备可以识别声学签名并将它们传输到远程云服务器以进行附加处理。声学签名可以是感兴趣的音频数据。例如,声学签名可以是由麦克风设备感测到的所有声学信号,或者它可以具有一些约束,诸如是专门旨在进行处理的语音命令的声学信号(例如,如由具体关键词或唤醒字识别的),或者落在一个或多个阈值(诸如频率和/或幅度阈值)之内或超过一个或多个阈值(诸如频率和/或幅度阈值)的声学信号,如将在本文中更详细地描述的。
麦克风设备可以检测具体的人声关键词,即,“唤醒词”,由此麦克风设备在检测到唤醒词之后开始记录声学数据并且将声学数据传输到语音服务。例如,用户可以说“Alexa”以触发麦克风设备开始监听。然后,当发出后续短语(例如,“天气怎么样?”)时,麦克风设备然后可以传输声学数据。例如,麦克风设备然后可以将后续短语传输到云服务器以进行声学处理。替代地,麦克风设备可以将数据传输到系统控制器110。然后,系统控制器可以将数据传输到云服务器上的语音服务以进行声学处理,或者系统控制器可以本地处理声学数据。
基于确定信号是否是声学签名(即,用于进行附加处理的感兴趣的音频数据),可以要么在麦克风设备处要么在系统控制器处本地完成声学处理和识别。如果麦克风设备或系统控制器确定附加处理是必需的,那么可以将声学数据发送到服务器(即,互联网上的云服务器)以进行处理。麦克风设备可以将声学数据传输到系统控制器,以通过路由器114发送到云服务器,或者麦克风设备可以经由Wi-Fi将声学数据直接传输到路由器114(即,不需要集中式系统控制器)。替代地,麦克风设备可以将声学数据传输到系统控制器,并且系统控制器可以解释并确定数据是应当保持在本地还是被转移到云服务器以进行云处理。虽然已经描述了云服务器,但是将理解的是,可以使用任何服务器,例如,专用服务器。例如,代替云服务器或者除了云服务器之外,系统控制器可以处置一些或全部声学处理。
负载控制系统100的负载控制设备之一(例如,照明控制设备120之一)可以被配置为接收语音命令并将声学数据传输到云服务器以进行处理。然后,负载控制设备可以从云服务器接收响应,解释响应以确定用于控制连接的电气负载的命令,并且响应于接收到的语音命令而控制连接的电气负载。
麦克风设备可以监视例如来自用户的接收到的音频输入以及来自云服务器的对应的接收到的响应,并且随着时间的推移学习对于那个空间来说常用的声学签名的响应。例如,作为厨房中由麦克风设备接收的最频繁的命令的“打开灯”的命令可以允许系统(即,麦克风设备和/或系统控制器)将声学签名“打开灯”与打开灯的负载控制命令相关联。以这种方式,负载控制系统可以通过本地确定来对这些学习到的命令进行响应,而不需要进行云处理。
音频输入的机器学习和模式识别可以在设备、系统控制器本地进行处理,或者可以在云服务器内处理并传输到设备。例如,云服务器可以确定最频繁使用的命令短语,并且可以将要响应于的特点音频签名“教授”给麦克风设备和/或系统控制器。对于区域来说频繁使用的命令的这种本地响应优化可以帮助减少响应时间的滞后,以及如果外部通信停机(down),则减少对Wi-Fi和互联网通信的系统依赖性。
云处理可以使用基于云的语音识别软件服务,即,位于远程云服务器上的语音服务,诸如Amazon语音服务、Siri、Cortana、Google等。麦克风设备可以是语音服务不可知的,即,用于信号处理和语音识别的语音服务可以是可挑选的并且不是预先配置的。
语音服务可以由用户配置。在第一示例中,可以在设定(setup)系统时配置语音服务。例如,用户可以挑选与麦克风设备一起使用的语音服务,作为麦克风设备或负载控制系统的配置的一部分。在第二示例中,每次发出人声请求时,麦克风设备可以动态地从两个或更多个语音服务中挑选使用哪个语音服务。语音服务的动态挑选可以基于请求的类型或内容,这可以在麦克风设备的配置期间设定,如本文所述。
语音服务可以在设定时从移动应用程序中的语音服务的列表中挑选。例如,用户可以在蜂窝电话或平板电脑上通过移动应用程序为负载控制系统设定语音服务。移动应用程序可以与麦克风设备无线通信。例如,移动应用程序可以经由蓝牙或Wi-Fi与无线设备通信。或者,移动应用程序可以经由蓝牙或Wi-Fi与系统控制器110通信。然后,系统控制器可以将要使用哪个语音服务传送到麦克风设备。或者,麦克风设备可以将声学数据传输到系统控制器,并且然后系统控制器可以将声学数据传输到语音服务,如前所述。图3A示出了移动设备300上的示例移动应用程序,其中屏幕302允许用户从语音服务的列表304中挑选例如Amazon语音服务的Alexa 304A、由Google的Google Voice 304B或Apple的Siri 304C。这个列表可以扩展为包括其它语音服务,诸如Microsoft Cortana等。此外,用户可以具有跳过(306)挑选的选项,并且可以挑选默认语音服务。
替代地,所使用的语音服务可以是动态的,即,取决于用户请求的类型或内容。例如,可以将查询“当前交通状况如何”发送到Google服务器以进行信号处理,而“给我讲个笑话”可以被发送到Amazon语音服务。根据这个实施例,在发起关键词(即,唤醒词)已被说出之后,短语内的感兴趣的词的识别可以确定使用哪个云服务。
如所描述的,对口头命令的识别可能需要唤醒词或发起关键词,诸如“Alexa”或“Google”。唤醒词可以确定使用哪个语音服务,即,语音服务可以基于所使用的唤醒词从多个语音服务中动态地挑选。例如,Amazon语音服务可以要求用户使用关键词“Alexa”。如上所述,唤醒词可以被用于挑选用于远程信号处理的语音服务。例如,如果用户说出发起关键词“Alexa”,那么语音数据可以被发送到Amazon语音服务,而如果使用唤醒词“Siri”,那么语音数据可以被发送到Apple服务器以进行语音处理。
除了与具体语音服务相关联的传统唤醒词之外,用户还可以在配置麦克风设备期间设定通用唤醒词。通用唤醒词可以是由用户挑选的任何词,并且在设定时被配置为唤醒词。例如,词“家”或“计算机”可以被用作通用唤醒词。用户可以使用移动应用程序来设定通用唤醒词。例如,移动应用程序可以要么直接要么经由系统控制器和/或路由器无线地与麦克风设备通信。移动应用程序可以提示用户输入或说出发起关键词,该发起关键词然后可用作通用唤醒词。
图3B是麦克风设备可以用于动态地挑选语音服务的示例方法320。麦克风设备可以在步骤330处检测唤醒词。在检测到唤醒词之后,麦克风设备可以在步骤332处监听以接收来自用户的在唤醒词之后的语音输入。在334处,麦克风设备可以确定唤醒词是否是通用唤醒词。通用唤醒词可以是由用户在设定时挑选的词,其不一定与特定的语音服务相关联。例如,唤醒词可以是诸如“家”或“计算机”之类的词。
如果所使用的唤醒词是通用唤醒词,那么在336处,麦克风设备可以确定是否在语音输入内已检测到感兴趣的词。感兴趣的词可以是触发具体语音服务的关键词。感兴趣的词可以由麦克风设备或系统控制器在本地处理。如果已检测到感兴趣的词,那么麦克风设备可以在步骤340处确定哪个语音服务与感兴趣的词相关联。例如,麦克风设备可以具有包含感兴趣的词列表的查找表,其中每个感兴趣的词与特定的语音服务相关联。还可以由用户在设定时挑选一个或多个感兴趣的词。例如,用户可以通过键入一个或多个感兴趣的词或从移动应用程序中的列表中挑选一个或多个感兴趣的词并挑选要用于每个词的语音服务来输入这一个或多个感兴趣的词。或者,该列表可以是在设定时已经配置的默认列表,并且用户可以可选地改变对于每个感兴趣的词使用哪个语音服务。例如,一些示例的感兴趣的词可以是“交通”或“笑话”。
在步骤344处,麦克风设备可以将语音输入传输到相关联的语音服务以进行附加处理,并对用户输入进行响应。例如,词“交通”可以触发使用Google服务器,而“笑话”可以触发Amazon语音服务。然后该方法可以结束。
如果在步骤336处没有在语音输入内检测到感兴趣的词,那么麦克风设备可以将语音输入传输到默认语音服务。默认语音服务可以由用户设定,或者可以是当用户尚未挑选语音服务时所使用的语音服务。
如果尚未检测到通用唤醒词,那么麦克风设备可以在步骤352处确定说出的唤醒词是否与语音服务A相关联。例如,如果语音服务A是Google语音服务,并且唤醒词是“嘿,Google”,那么麦克风设备可以确定该唤醒词与语音服务A相关联。麦克风设备可以在步骤344处将语音输入传输到相关联的语音服务(即,Google语音服务)。但是,如果唤醒词是“Alexa”,那么在步骤352处,麦克风设备可以确定唤醒词不与语音服务A(即,Google语音服务)相关联。在步骤354处,麦克风设备然后可以确定唤醒词是否与例如第二语音服务(语音服务B,诸如Amazon语音服务)相关联。如果唤醒词与语音服务B相关联(例如,唤醒词是“Alexa”并且语音服务B是Amazon语音服务),那么麦克风设备可以在步骤344处将语音输入传输到相关联的语音服务。但是,如果唤醒词不与语音服务B相关联,那么麦克风设备然后可以将语音输入传输到默认语音服务(例如,诸如Microsoft Cortana)。然后该方法可以结束。
将理解的是,本文描述的语音服务仅出于示例目的,并且可以使用任何语音服务。此外,麦克风设备可以不限于三种不同的语音服务,而是可以使用任何数量的不同语音服务。而且,虽然以特定的次序示出了该方法,但是设想的是该方法的步骤可以以任何次序使用。
选择和/或使用语音助理(要么由用户通过手动挑选,要么在负载控制系统的操作期间动态地)的灵活性可以提供若干优点。第一,用户可以更灵活地选择未来的家庭集成设备,而无需预先(即,在购买设备时)选择可能与未来设备不兼容的具体服务。第二,在默认云服务器停机或正在经历显著等待时间的情况下,系统(即,麦克风设备或系统控制器)可以在预期的响应时间段已过去之后选择不同的语音服务来进行处理,以确保对于用户的服务连续性。
例如,图3C是示例性方法370,当第一挑选的语音服务正在经历显著的等待时间时,麦克风设备可以通过示例方法370选择不同的语音服务。方法370可以在372处当麦克风设备将数据传输到第一语音服务时开始。在步骤374处,在将声学数据传输到云服务器上的语音服务以进行处理后,麦克风设备可以启动定时器或计数器。然后,麦克风设备可以在步骤376处确定是否已经接收到响应。如果麦克风设备在计数器超过阈值之前从语音服务接收到响应,那么麦克风设备可以在步骤380处停止定时器(例如,将计数器重置为零并停止计数器)。然后该方法可以结束。
但是,如果麦克风设备在步骤384处没有从语音服务接收到响应并且计数器超过阈值,那么麦克风设备可以在步骤388处将声学数据传输到不同云服务器上的不同语音服务以进行处理。在步骤374处,设备可以要么重置计数器要么启动第二计数器/定时器,并重复该过程。
替代地,麦克风设备可以同时将音频数据传输到两个或更多个语音服务,并等待从更快的语音服务接收响应。虽然已经关于麦克风设备描述了本文的方法,但是可以理解的是,系统控制器可以替代地将音频数据发送到一个或多个语音服务以进行处理。例如,麦克风设备可以与系统控制器通信以确定要使用哪个语音服务。例如,麦克风设备可以将唤醒词或唤醒词和命令传输到系统控制器,并且系统控制器可以根据任何前面的示例来解释要使用哪个语音服务。然后,系统控制器可以告诉音频设备要使用哪个语音服务,或者系统控制器可以将音频数据直接传输到语音服务,并随后将响应提供给相应的音频设备。
例如,麦克风设备可以将唤醒词传输到系统控制器。系统控制器可以解释唤醒词并确定来自语音服务组的哪个语音服务与唤醒词相关联。然后,系统控制器可以从麦克风设备接收声学数据,并将声学数据传输到与唤醒词相关联的语音服务(即,所挑选的语音服务)。
在第二示例中,系统控制器可以基于来自麦克风设备的唤醒词来挑选语音服务,如前所述。然后,系统控制器可以将哪个语音服务是所挑选的语音服务传输回麦克风设备。然后,麦克风设备可以将声学数据传输到所挑选的语音服务。
除了人声命令和对话之外,麦克风设备还可以对其它声音进行响应。例如,麦克风设备可以识别:其它用户生成的声音,诸如尖叫声或叫喊声;个人的声音,诸如口哨、拍手、猛咬(snap);打鼾;咳嗽/打喷嚏;大笑;等等。这些用户生成的声音中的任何或全部都可以用于召回(recall)场景。例如,可以基于拍手触发场景,该场景可以打开空间中的所有灯。
麦克风设备还可以识别其它环境声音,诸如来自以下的声音:电器、媒体、水、烹饪、移动、设备故障、紧急声音、健康/情绪、气流、外部/室外声音和宠物声音等等。麦克风设备可以被动地感测可以充当输入的这些其它环境声音,对于输入,用户可以通过负载控制系统指定期望输出动作。在一个示例中,用户可以将负载控制系统配置为通过学习输入的声音和基于输入的声音的期望的动作来与非“智能”启用的电器和其它家庭设备集成。以这种方式,声学地感测状态改变,而不是要求电器具有附加的处理器和无线通信能力。例如,在接收到特定声学签名后,麦克风设备120可以确定烘干机176已经完成其循环。然后,麦克风设备120可以发起系统中的其它动作,诸如使用户(即,占用者180)正在占用的房间102中的灯122闪烁,或者向移动设备182发送推送通知来让占用者180知道烘干机已完成其循环。
负载控制系统还可以响应于某些声学签名而启用场景。例如,麦克风设备可以识别特点声音,诸如在电视144上播放的THX的Deep Note音频商标。然后,负载控制系统可以自动挑选电影场景,其中负载控制系统可以降低房间106中的遮光帘150并调暗灯132、122。在另一个示例中,麦克风设备可以监听声音的组合以确定动作。例如,麦克风设备可以识别闹钟的声学签名,并且负载控制系统可以使灯渐变亮起,或者在“打盹”后延迟或延长渐变。例如,如果麦克风设备识别出闹钟的声学签名,并且声音突然停止,那么麦克风设备可以监听人起床的附加的声音。如果在闹钟突然停止之后麦克风设备没有听到附加的噪声,那么负载控制系统可以确定用户已经按压打盹按钮。在第三示例中,负载控制系统可以响应于麦克风设备识别出水噪声(即,来自淋浴)达延长的时间段(例如,超过两分钟)而打开浴室排气扇。麦克风设备还可以通过水滴的声音检测泄漏,并且可以警告用户声音和地点。
用户可以将负载控制系统设定为基于识别出的声学输入而提供各种输出响应。即,负载控制系统可以学习将特定的动作或负载控制命令与特定的声音相关联。负载控制系统可以生成警告(诸如针对漏水)、向用户发送推送通知等。麦克风设备也可以与系统中的其它设备(例如,占用传感器)集成。
附加的输出响应可以在具有机器学习能力的负载控制系统中启用,这允许系统通过模式映射以及使测得的声学数据与已知声音、一天中的时间、具体用户和地点、具体活动、其它系统状态的数据库相关来适应不断变化的家庭环境。发现可以通过来自用户的主动报告和反馈来进一步增强,并且可以附加地包括对于用户的用于确认和/或识别事件的所提示的查询,以提供然后辅助系统进行模式映射和关联的附加信息。用户查询可以是语音通信、移动通知、视听通信等中的任何一个或其组合。
数据库可以在声音库中存储并编目声音。声音库可以随着时间推移通过从各种用户输入中收集并“众包”声音来构建。替代地或附加地,声音库可以通过学习或调试时段来构建,其中用户主动地将不同的声音教授给数据库,或者数据库可以通过经由机器学习使声音与具体动作相关来被动地学习这些声音。声音库可以存储在服务器(例如互联网112上的云服务器118)上、设备自己的存储器中、系统控制器中或这些的任意组合。在学习时段期间在云服务器上使用机器学习算法可以允许系统在学习时段已完成之后独立于云操作,即,不需要访问互联网112。
例如,这也可以在系统的设定期间用于配置要用作通用唤醒词的任何词。例如,用户可以在训练模式期间重复说出通用唤醒词,该训练模式可以在麦克风设备或负载控制系统的配置期间被发起。例如,训练可以通过移动应用程序完成。移动应用程序可以无线地与系统控制器或基于云的服务器通信。麦克风设备和/或系统控制器也可以被训练以识别具体声音。例如,用户可以重复地打开和/或关闭门以训练麦克风设备识别声音。
用户(例如,占用者180)可以使用移动应用程序来将声音与来自负载控制系统的具体响应相关联。例如,用户可以手动地将负载控制系统训练为响应于具体声音而打开灯。用户可以通过重复地创建声音并且将声音(例如,通过移动应用程序)教授给负载控制系统来手动地将负载控制系统训练为识别具体声音。然后,用户可以在识别出声音时从负载控制系统输入期望的具体响应,或者用户可以从动作的建议的列表中进行选择。例如,当麦克风设备听到门打开时,负载控制设备可以打开灯。声音与负载控制系统的对应动作之间的这种关联也可以与条件逻辑(类似于例如If This Then That(IFTTT)逻辑)结合使用。例如,如果麦克风设备在夜间听到卧室门打开,那么负载控制系统可以将浴室灯打开到昏暗地照亮的水平。
负载控制系统还可以使用机器学习来学习任何声音。例如,负载控制系统可以自动学习声音并开始使声音与动作相关。例如,负载控制系统可以被配置为记载(log)声音和对应的动作,这些声音和对应的动作可以由互联网112上的服务器处理。例如,服务器可以是诸如图1中所示的“其它服务器”118之类的服务器,其可以能够处理通用声学声音并且还可以能够进行机器学习和存储负载控制动作。例如,麦克风设备可以将音频数据传输到系统控制器110。系统控制器可以将音频数据传输到服务器。在音频数据的传输之后(或之前),负载控制设备可以控制电气负载。系统控制器还可以将负载控制动作传输到服务器。例如,麦克风设备可以记录卧室门打开的声音。然后,负载控制设备可以将浴室中的灯打开到昏暗的水平。卧室门打开的声音和将浴室灯打开到具体强度水平的动作可以被发送到服务器118。例如,麦克风设备和负载控制设备可以将声学签名和负载控制动作直接传输到服务器,或者麦克风设备和负载控制设备可以将声学签名和负载控制动作传输到系统控制器。然后,系统控制器可以将声学签名和负载控制动作传输到系统控制器。当服务器开始随时间记载信息时,服务器可以被配置为使用机器学习来注意模式并使它们相关联。例如,当听到卧室门噪声时,浴室灯应当打开到昏暗的水平,但仅在夜间。
负载控制系统还可以使用机器学习来确定与具体用户相关联的动作。例如,在学习时段期间或之后,系统可以确定该家庭由三个单独的人组成。然后,麦克风设备和/或系统可以要求用户进行确认以识别出存在三个单独的人,并且在听到声音或语音命令后,系统可以猜测具体用户和/或提示占用者中的一个命名与该用户相关联的身份。麦克风设备和/或系统控制器可以经由蜂窝电话、可穿戴设备、平板电脑或其它移动设备、电视显示器等上的音频通信、推送通知来查询用户。随着时间的推移,当负载控制系统学习环境中的声音并且可以识别空间的不同用户时,负载控制系统和/或麦克风设备也可以开始预测用户的移动路径,并且针对用户个性化空间,这可以包括存储个性化的爱好,预测用户期望的效果或向用户提出建议。
声音库和机器学习算法的使用可以允许麦克风设备变得知道空间中的声音是否是未知的。声音的检测和识别可以基于用于正确识别的置信度阈值。当对于未识别出的声音已经达到置信度阈值时(即,系统已经确定声音不是背景噪声),麦克风设备可以警告占用者检测到异常声音。此外,与来自已知警报声音库的警报声音(诸如尖叫、打破玻璃、坠落或掉落等)有关的声音可以用于检测公共区域中的紧急情况并基于紧急情况类型提供动作。例如,如果负载控制系统确定一个或多个麦克风设备已经检测到打破玻璃,那么负载控制系统可以向安全系统发出命令或通知安全人员。
负载控制系统还可以能够检测健康和情绪声音,并且/或者为了占用者舒适度和生产率自主地在空间中进行调节。例如,如果负载控制系统确定生产率已下降(例如,键盘上的键入速率已减慢),并且环境背景噪声高,那么负载控制系统可以在用户键入的方向中提供集中的降噪。例如,负载控制系统中的一个或多个扬声器可以输出声音以抵消房间中的噪声。其它传感器输入也可以用于确定用户位置,诸如图像感测、用户的椅子中的本地压力传感器、RF信标技术等。替代地,如果负载控制系统确定生产率已下降并且环境背景噪声为低或正常,那么负载控制设备可以增加空间中的照明的亮度或色温以使用户更加警觉。
负载控制系统还可以提供反馈,例如,测量观看者对电影预览或广告的响应性的聚合数据。特别是在商业办公室或制造环境中,负载控制系统还可以能够跟踪生产率水平和OSHA噪声危害,并将其报告给设施管理者或主管。取决于房间或区域,不同的声音水平可以指示生产率的不同水平。例如,大声的机械运行可以指示生产率水平足够;但是,如果环境是安静的,没有机械噪声则可以指示机器正在经历停机时间或生产线可能有问题。在第二示例中,办公室空间中的大声背景噪声可以指示存在分心,诸如人说话等,这可以指示较低的生产率水平。负载控制系统可以被配置(即,编程)有预期的声音的一定音量水平,其可以与所描述的生产率水平相关。例如,如果房间中的声音在一段时间内(该时间段可以在配置负载控制系统时限定,例如10分钟)在预期的音量水平或音量范围之外(即,大于或小于),那么负载控制系统可以触发警告。
负载控制系统还可以包括扬声器。扬声器可以集成到一个或多个麦克风设备中,并且/或者扬声器可以与麦克风设备分离。扬声器可以例如使用波束形成向房间中的具体区域提供集中的降噪方向。替代地,扬声器可以增加空间中的白噪声的量。系统可以对其进行响应的其它声音可以包括:水声(漏、滴、使用测量)、烹饪、移动(行走、打开门、打开窗户、拉百叶帘)、设备故障声音(机械噪声、呼呼声、点击等,指示电器开始达到寿命的终点)、气流、宠物声音等。
可以基于用户如何对声音进行响应并将用户响应集成到系统响应中来随时间学习系统的基于接收到的声学输入的响应。例如,系统可以学习当门铃在日落之后响铃时,用户将在应门时打开外面的灯。然后,系统可以学习预料用户的响应并为用户执行打算的动作。系统响应可以包括负载的控制、预测用户的移动和/或路径、确定用户的情绪或活动、评估情况的紧急状态、生成警告、跟踪活动以及生成报告。
当没有出现预期的声音时,负载控制系统可以警告用户尚未出现预期的声音(即,预期的活动)。例如,当系统学习了孩子在某个时间到家时,如果麦克风设备没有听到关门,那么系统可以确定这个事件尚未发生。当系统确定门未关时,系统可以警告用户门未关,和/或如果关门的动作已经与孩子到家相关联,那么系统可以提醒用户孩子还没到家。如前所述,用户可以教授负载控制系统哪些声音与哪些动作或事件相关联。
图4是可以由服务器执行以将负载控制动作与声学声音相关联的示例方法400。该方法可以在步骤402处当服务器接收到声学数据时开始。声学数据可以是从麦克风设备接收的感兴趣的音频数据。例如,声学数据可以与用户打开门并走进房间对应。
在接收到声学数据之后,服务器可以在步骤406处接收状态的改变(即,可以由命令限定的负载控制动作)在空间中已发生的通知。例如,用户可以按压负载控制设备上的按钮,诸如灯开关或调光器。响应于按压按钮,例如,负载控制设备可以控制(例如,打开)电气负载,诸如灯。负载控制设备可以向服务器传输指示状态的改变(即,负载控制设备已经打开负载)的通知。将理解的是,可以使用外部传感器代替负载控制设备来传输通知。例如,灯传感器可以检测到灯已经在空间中被打开,并且灯传感器可以向服务器传输状态的改变的通知。此外,服务器可以例如响应于从远程控制设备和/或网络设备接收到输入而向负载控制设备传输命令,使得负载控制设备不需要向服务器传输通知。
在步骤408处,服务器可以存储声学数据、通知(例如,限定负载控制设备如何控制电气负载的命令)、一周中的当前日子和/或一天中的当前时间。此外,服务器可以在408处存储声学声音出现的一天中的时间和/或一周中的日子。例如,服务器可以将上述内容存储到存储器。在步骤412处,服务器可以确定接收声学数据和接收通知之间的时间的量。例如,服务器可以在接收到灯已经打开的通知之前两秒接收门打开的声学数据。此外,服务器可以在步骤412处确定负载控制设备是否在声学声音出现的时间之后的一段时间内控制电气负载。
在步骤414处,服务器可以将记录的声学数据和通知与可以存储在服务器上的任何先前记录进行比较。例如,服务器可以在每次听到声音时存储关门声。然后,服务器可以将当前接收到的声学数据与每个先前的记录进行比较,以确定哪些记录与当前接收到的声学数据匹配。然后,服务器可以将状态改变的通知(例如,命令)进行比较并确认状态改变对于每个通知是相同的。
替代地,服务器可以将当前接收到的声学数据与已知声学声音的库或数据库进行比较,如前所述。服务器可以使当前接收的声学数据与一个或一组声学声音相关以识别声音。例如,服务器可以识别和开门(或关门)一起的当前接收到的声学数据。这可以允许服务器将接收到的声学数据存储为开门(或关门),而不是存储所有的声学数据,以便节省空间。
在步骤416处,服务器可以确定声学声音与通知之间的模式。例如,服务器可以使用机器学习来确定声学声音和通知在一天中的具体时间和/或一周中的具体一天或多天中出现在类似情况中。此外,服务器可以在步骤416处确定两个声学声音是否相似以及两个相关命令是否相同。服务器可以使用历史记录的信息来确定模式。在确定模式之后,服务器然后可以在步骤418处将动作与声学数据相关联。例如,服务器可以将开门的动作与灯的状态从关闭到打开的改变(即,打开灯的动作)的通知相关联。此外,在步骤418处,服务器可以将经验证的命令存储为与经验证的声学声音相关联,其中经验证的声学声音表示已被确定为相似的两个声学声音,并且经验证的命令表示与声学声音相关并且已被确定为相同的两个命令。例如,可以将声学声音之一存储为经验证的声学声音,并且可以将命令之一存储为经验证的命令。服务器还可以在418处存储经验证的时间范围和/或一周中的经验证的一天。
服务器可以根据条件将动作与声学数据相关联。例如,根据相关联的模式,动作可以仅在一天的某个时间或一周中的某天期间与声学数据相关联。在步骤420处,服务器可以接收后续声学数据。例如,服务器可以接收与开门对应的声学数据。在接收到声学数据后,服务器可以在步骤422中确定声学数据是否匹配与动作相关联的声学数据的模式。即,服务器可以在将经验证的命令传输到负载控制设备之前确定后续声学声音与经验证的声学声音相似。然后,服务器可以在步骤424处响应于接收声学数据而传输控制命令(即,经验证的命令)以执行动作。然后方法400可以退出。
虽然已经用服务器为例描述了这个方法,但是将理解的是,系统控制器可以替代地使用相同的所描述的方法或所描述的方法的改编。
设计每个麦克风设备以连续地将声学数据流式传输到云以进行处理会造成无线拥塞问题。除了需要关键词来发起语音处理之外,还有若干附加的拥塞缓解选项以减少从麦克风设备流向互联网的声学数据的带宽。负载控制系统可以对声学数据施加幅度或频率限制,该幅度或频率限制可以由用户设置、由系统控制器发起,或者在麦克风设备自身中设置并存储。这些限制可以将阈值应用于数据,使得或者非常安静和/或在感兴趣的频率区域之外的噪声(即,非常低频率的振动/声音,或高频声音)被麦克风设备滤除,并且不被传输到云以进行处理,从而约束数据的量。
多个麦克风设备可以接收或听到单个语音命令。麦克风设备可以被配置为彼此通信以确定哪个(哪些)麦克风设备应当对语音命令进行响应和/或哪些麦克风设备应当与云中的语音服务通信。例如,麦克风设备可以被配置为确定哪个麦克风设备最好地听到语音命令。
彼此非常接近并且接收到相同声学签名的麦克风设备也可以彼此通信以确定哪个设备已经接收到最高质量的声学签名,并且仅使得一个设备能够传输声学数据以进行进一步处理。例如,同一房间中的若干麦克风设备可以基于接收到的声音的音量(即,声学签名的幅度)来决定哪个麦克风设备应当将声学数据传输到互联网以进行进一步处理。
例如,麦克风设备可以通过以下标准中的一个或多个标准来确定哪个麦克风设备最好地听到语音命令(或具有最高质量):音量、与声音源的接近度,最小多径干扰(即,最少量的相位噪声和/或声学回声),最高信号干扰比(即,信噪比或SNR比)和/或该区域的占用状况。例如,可以基于接收到的声音的相位延迟来确定与声音源的接近度。例如,在接收到语音命令后,每个麦克风设备可以传输所听到的命令的平均音量。每个麦克风设备可以接收从其它麦克风设备听到的命令的平均音量。然后,每个麦克风设备可以将其自己的平均音量读数与从其它麦克风设备接收到的平均音量进行比较,并且基于该比较确定其自身的平均音量是否是最大的。确定其平均音量最大的麦克风设备然后可以将声学数据传输到系统控制器和/或云服务器以进行语音处理。
作为分析数据并确定哪个麦克风设备最好地听到语音命令的麦克风设备的替代,系统控制器110可以被配置为分析来自麦克风设备的音频数据,以确定哪个麦克风设备最好地听到语音命令。另外,麦克风设备和/或系统控制器110可以协作(例如,共享音频数据)以确定语音命令的内容。
系统还可以使用来自占用传感器的数据来确定使得哪些麦克风设备能够传输声学数据。例如,用户可以配置空间,使得仅当那个空间中的占用传感器感测到房间被占用时,才使得能够由房间102中的麦克风设备传输声学数据。这可能需要用户在系统中设定房间(例如,经由移动应用程序),以将系统控制器和/或麦克风设备配置为响应于来自房间102中的占用传感器的占用信号。
在第一示例中,房间102的占用传感器172可以将被占用的命令传输到负载控制设备120。例如,占用传感器和负载控制设备120可以相关联,并且负载控制设备120可以从占用传感器接收命令。负载控制设备120可以是麦克风设备。当用户180说出音频命令时,可以由房间102、104、106中的一个或多个麦克风设备听到音频命令。麦克风设备可以基于最近的被占用的命令确定房间(即,分别是房间102、104或106)当前是否被占用。如果麦克风设备确定房间未被占用,那么麦克风设备可以不基于音频命令传输音频数据。但是,如果麦克风设备确定房间被占用,那么麦克风设备可以基于音频命令传输音频数据。以这种方式,可以减少传输音频数据的麦克风设备的数量。
在第二示例中,占用传感器172可以将被占用的命令传输到系统控制器110。然后,系统控制器还可以控制音频数据的流动。例如,如果麦克风设备所在的房间当前被占用,那么麦克风设备可以将音频数据传输到系统控制器,系统控制器可以将数据传输到互联网112上的服务器。或者,系统控制器可以指导位于未被占用的房间中的一个或多个麦克风设备不传输音频数据。
替代地,麦克风设备可以包含占用传感器,并且可以使用其自己的占用信号来确定是否传输音频数据。例如,如果麦克风设备确定房间被占用,那么它可以传输音频数据。但是,如果麦克风设备确定房间未被占用,那么它可以不传输音频数据。
图5A是可以由负载控制系统的负载控制设备(例如,负载控制系统100的照明控制设备120之一)执行的示例音频控制过程500A的简化流程图。负载控制设备可以被配置为控制电气负载。负载控制设备可以包括用于接收音频数据(例如,语音命令和/或声音)的麦克风,并且可以被配置为直接与云中的语音服务通信,以允许控制连接到负载控制设备的电气负载。在步骤510处,负载控制设备可以检测唤醒词。在步骤510处检测到唤醒词之后,负载控制设备可以在步骤512处接收包括语音命令的语音输入。负载控制设备可以在步骤515将语音输入传输到云中的语音服务(例如,Alexa语音服务)(例如,经由路由器109和/或经由系统控制器110直接传输到互联网)。负载控制设备可以在步骤516处从语音服务接收响应,并且可以在步骤518处解释该响应,以确定用于控制电气负载的命令。在步骤520处,负载控制设备然后可以在音频控制过程500退出之前响应于从语音服务接收的经解释的命令而直接控制连接的电气负载。
除了接收来自用户的人声负载控制命令并对该人声负载控制命令进行响应之外,负载控制设备还可以响应于其它人声请求。图5B是示例控制过程500B的简化流程图,其可以由负载控制系统的负载控制设备执行,以接收人声负载控制命令和其它人声请求二者并对它们进行响应。步骤510-518可以与图5A中描述的步骤510-518相同,其中负载控制设备接收语音输入,将该语音输入传输到语音服务以进行解释,并且然后负载控制设备接收并解释来自语音服务的响应。例如,云服务器上的语音服务可以处理声学数据,并且可以基于语音处理确定动作。基于该动作,云服务器可以向负载控制设备发送响应。例如,命令可以是“打开厨房灯”。语音服务可以确定动作“打开”以及用于“厨房灯”的对应设备,即,位于厨房中的控制设备。然后,云服务器可以向负载控制设备(例如,对具有集成的麦克风设备(即,发送命令的麦克风设备)的负载控制设备)传输命令以控制电气负载。在步骤519处,负载控制设备可以确定来自语音服务的响应是否包括负载控制命令。如果负载控制设备确定响应包括负载控制命令,那么负载控制设备可以在步骤520中直接控制所连接的电气负载。例如,负载控制命令可以包括数字代码,该数字代码包括负载控制设备可以识别为负载控制命令的一个或多个具体数位。例如,代码1100100可以意味着将灯开至100%强度。将理解的是,可以替代地使用模拟控制命令。
如果负载控制设备确定响应不包括负载控制命令(即,响应是未被识别为负载控制命令的模拟或数字数据的流),那么负载控制设备可以在步骤522处播放从语音服务接收的响应。例如,负载控制设备可以经由一个或多个扬声器直接播放接收到的响应。扬声器可以与负载控制和/或麦克风设备集成,或者扬声器可以是外部设备。例如,负载控制设备或麦克风设备可以从云服务器接收声学响应,并且可以将响应传输到一个或多个扬声器以回放给用户。例如,如果语音输入是对当前天气的请求,那么接收到的响应可以是“当前正在下雨”,这可以由扬声器回放。
替代地,系统控制器可以接收响应,并确定是否将响应发送到负载控制设备或扬声器等。此外,系统控制器可以从云服务器接收命令(诸如照明控制命令,例如,1100100),并且可以将命令翻译成不同协议中的照明控制命令。例如,系统控制器可以接收命令并且可以使用ClearConnect协议将该命令传输到照明控制设备。其它示例是可能的。
图6是可以由负载控制系统的负载控制设备(例如,负载控制系统100的照明控制设备120之一)执行的示例音频控制过程600的简化流程图。在音频控制过程600中,负载控制设备可以被配置为在本地处理一些语音命令并控制所连接的电气负载,而不将语音命令传输到云中的语音服务。这可以减少响应的等待时间,并且还可以允许负载控制系统在网络(即,云服务器)停机或不可用时处理语音命令。当负载控制设备接收到用于本地处理的未经验证的语音命令时(即,语音命令不是识别出的命令列表中的命令),负载控制设备可以被配置为分析语音命令,以确定负载控制设备是否应该开始在本地处理语音命令(例如,如果语音命令是常常接收的语音命令)。
参考图6,负载控制设备可以在步骤610处检测唤醒词,并在步骤612处接收语音命令。在步骤614处,负载控制设备可以确定语音命令是否是经验证的命令。经验证的命令可以是负载控制设备识别出的语音命令,例如,经验证的命令可以与对应的动作相关联。例如,经验证的命令可以是语音命令“打开灯”,其可以在存储器中与打开灯的动作相关联。例如,负载控制设备可以将接收到的语音命令与存储在存储器中的一个或多个语音命令进行比较。如果接收到的语音命令与存储在存储器中的一个语音命令匹配,那么负载控制设备可以识别出该语音命令,即,该语音命令可以是经验证的命令。例如,负载控制设备可以使语音命令与存储在存储器中的语音命令相关,并基于相关百分比来确定匹配。如果相关百分比高于阈值,那么负载控制设备可以确定该语音命令与存储的语音命令匹配。例如,如果阈值是90%,并且该语音命令与存储的命令相关性为96%,那么负载控制设备可以确定该语音命令是经验证的命令。但是,如果相关性小于90%,那么负载控制设备可以确定该命令不是经验证的命令。
如果在步骤614处,接收到的语音命令是经验证的命令(例如,如所描述,存储在负载控制设备中的存储器中),那么负载控制设备可以根据所存储并且与经验证的命令相关联的动作,响应于接收到的语音命令而直接控制所连接的电气负载。然后可以退出音频控制过程600。如果在步骤614处,接收到的语音命令不是经验证的命令(即,未在本地存储),那么负载控制设备可以在步骤618处将语音命令传输到云中的语音服务(例如,经由路由器114直接传输到互联网和/或经由系统控制器110)。负载控制设备可以在步骤620处从语音服务接收响应,并且在步骤622处解释该响应,以确定用于控制电气负载的负载控制命令(即,动作)。
在步骤624处,负载控制设备可以确定语音命令是否应当在本地处理。例如,如果来自语音服务的响应是负载控制命令,那么负载控制设备可以确定接收到的负载控制命令(即,动作)是否已经存储在存储器中。例如,负载控制命令可以是简单的强度计数,诸如00110101,例如,其可以指示负载控制设备将强度设置为100%。如果接收到的负载控制命令的一个或多个实例已经存储在存储器中,那么负载控制设备可以将当前语音命令与存储器中的和负载控制命令相关联的每个存储的语音命令进行比较,如前所述。
可以使用不同的标准来确定语音命令是否应当在本地处理。在第一示例中,如果语音命令没有存储在存储器中,那么负载控制设备可以在步骤626处将语音命令作为经验证的命令与负载控制命令一起存储在存储器中。以这种方式,在负载控制设备可以在步骤624处确定具有对应负载控制命令的语音命令应当在本地处理之前,该语音命令可以仅需要由语音服务解释单次。然后,负载控制设备可以在步骤626处将该语音命令存储为经验证的命令并将基于负载控制命令要采取的对应的动作进行关联。
替代地,在将语音命令存储为经验证的命令之前,负载控制设备可以要求多次接收语音命令。根据第二示例,负载控制设备可以要求接收语音命令三次。(将认识到的是,可以使用任何数字。)在将语音命令存储为经验证的命令之前,负载控制设备可以要么将语音命令存储在存储器中的多个实例中,要么记录已经接收到语音命令的次数。例如,当已经接收到语音命令的三个实例并将其存储在存储器中时,负载控制设备则可以确定该命令应当在本地处理,其中每个语音命令具有相同的对应负载控制命令。如果负载控制设备在步骤624处确定命令应当在本地处理,那么负载控制设备可以在步骤626处将语音命令作为经验证的命令与负载控制命令一起存储在存储器中。
如果语音命令与任何存储的语音命令都不匹配,或者如果要求多个存储的命令来创建经验证的命令,那么负载控制设备可以确定该命令不应当在本地处理。否则,负载控制设备可以在步骤628处将关于接收到的语音命令的数据存储在存储器中,以便在将来确定该命令是否应当在本地处理时使用。在步骤624处确定接收到的语音命令是否应当在本地处理之后,在音频控制过程600退出之前,负载控制设备可以在步骤616处响应于接收到的语音命令而直接控制所连接的电气负载。此外,如果响应是对语音命令的声学响应(例如,用户已经询问问题并且语音服务提供响应),那么负载控制设备可以确定语音命令不应当在本地处理(即,可以要求互联网搜索服务来处理请求),并且负载控制设备可以不存储语音命令。
图7是可以由负载控制系统的一个或多个负载控制设备(例如,负载控制系统100的照明控制设备120)执行的示例音频控制过程700的简化流程图。负载控制系统的多个负载控制设备可以被配置为彼此通信,以便确定如何与云中的语音服务通信并控制相应的电气负载。负载控制设备中的一个或多个可以在步骤710处检测唤醒词,并在步骤712处接收语音命令。
负载控制设备可以在步骤714处彼此通信,以便确定负载控制设备中的哪个负载控制设备应当将语音命令传输到语音服务。例如,负载控制设备可以在步骤714处确定哪个负载控制设备最好地听到语音命令(例如,最响亮或最接近),如先前针对多个麦克风设备所描述的。例如,麦克风设备可以将语音命令的特点(例如,音量、多径干扰(例如,回声)、到声音源的距离等)传输给彼此。然后,每个负载控制设备可以将(一个或多个)特点与其自己的测得的(一个或多个)特点进行比较。如果负载控制设备确定其自己的(一个或多个)特点不优于接收到的(一个或多个)特点,那么负载控制设备可以不将语音命令传输到服务器。但是,如果负载控制设备确定其自己的(一个或多个)特点优于接收到的(一个或多个)特点,那么所挑选的负载控制设备可以在步骤717处将语音命令传输到云中的语音服务(例如,经由路由器109直接传输到互联网和/或经由系统控制器110)。其它示例是可能的。
所挑选的负载控制设备可以在步骤718处从语音服务接收响应并且在步骤720处解释响应以确定用于控制(一个或多个)电气负载的负载控制命令(如关于图5A、5B类似地描述的)。所挑选的负载控制设备可以在步骤722处响应于经解释的命令而直接控制其连接的电气负载(如果需要),并且/或者可以在步骤724处将经解释的命令传输到其它负载控制设备,这可以进而控制它们的负载。根据第一示例,负载控制设备可以将命令传输到听到语音命令的所有负载控制设备。例如,负载控制设备可以在步骤714处将负载控制命令传输到从其接收到通信的每个负载控制设备。在第二示例中,负载控制命令可以是场景命令。然后,负载控制设备可以将场景命令传输到负载控制系统中的其它负载控制设备。负载控制系统中的其它负载控制设备可以是或可以不是麦克风设备。其它负载控制设备可以基于场景命令确定是否控制它们相应的电气负载。例如,负载控制设备可以将“早晨”场景命令传输到一个或多个负载控制设备,诸如电动窗上用品。电动窗上用品可以接收场景命令,并且可以基于场景命令调节相应的窗户覆盖物,例如,电动窗上用品可以将窗户覆盖物升高到完全打开,而一个或多个照明控制设备可以响应于“早晨”场景而关闭它们相应的照明负载。其它示例是可能的。在控制电气负载之后,音频控制过程700然后可以退出。
图8是可以由负载控制系统的一个或多个负载控制设备(例如,负载控制系统100的照明控制设备120)执行的另一个示例音频控制过程800的流程图。使用音频控制过程800,每个负载控制设备可以被配置为取决于接收到的命令是否包括关于要控制的区的信息(例如,区域中的一个或多个负载控制设备)来确定要控制哪些负载控制设备。例如,如果用户陈述“Alexa,打开厨房灯”,那么语音服务可以将语音命令解释为“打开”,并将区解释为“厨房”。然后,云服务器可以将语音命令和区翻译成对于负载控制系统可识别的格式。负载控制设备可以从云服务器接收包括命令“打开”和区“厨房”的响应,并且负载控制设备可以被配置为确定期望的区是厨房灯。但是,如果用户简单地陈述“Alexa,打开灯”,那么负载控制设备可以确定期望区是最好地(例如,最响亮或最接近)听到语音命令的负载控制设备。
参考图8,负载控制设备中的一个或多个可以在步骤810处检测唤醒词,并在步骤812处接收语音命令。负载控制设备可以在步骤814处彼此通信,以便确定负载控制设备中的哪个负载控制设备(例如,最好地听到语音命令的负载控制设备)应当将语音命令传输到语音服务,如前面在图7中所描述的。其它示例是可能的。在步骤816处,所挑选的负载控制设备可以将语音命令传输到云中的语音服务(例如,经由路由器114直接传输到互联网和/或经由系统控制器110)。所挑选的负载控制设备可以在步骤818处从语音服务接收响应,并且在步骤820处解释该响应以确定用于控制(一个或多个)电气负载的负载控制命令(例如,如图5A和5B中所描述的)。
在步骤822处,所挑选的负载控制设备可以确定来自语音服务的响应命令是否包括区信息。例如,接收到的命令可以是具有“厨房”区的“点亮”。如果在步骤822处接收到的命令包括指示要控制的区的信息,那么负载控制设备可以在步骤824处响应于经解释的命令而直接控制该负载控制设备的所连接的电气负载(如果需要),并且可以在音频控制过程800退出之前在步骤826处将接收到的命令传输到其它负载控制设备。例如,如果来自语音服务的命令包括区信息,那么每个负载控制设备可以经由配置信息知道它控制哪个区。然后,所挑选的负载控制设备可以确定区控制信息是否与该所挑选的负载控制设备自己的区信息匹配,并且如果匹配,那么在步骤824处,所挑选的负载控制设备可以控制该所挑选的负载控制设备的所连接的负载。但是,如果区控制信息是针对另一个负载控制设备控制的区,那么所挑选的负载控制设备不控制其电气负载。在步骤826处,所挑选的负载控制设备可以将包括区控制命令的命令传输到负载控制系统中的其它负载控制设备。例如,其它负载控制设备然后可以接收区控制命令,并基于区控制命令及这些其它负载控制设备的具体配置来确定是否控制这些其它负载控制设备的所连接的电气负载。
替代地/此外,系统控制器可以确定区信息。例如,系统控制器可以被配置为基于在负载控制系统的设定期间建立的配置数据来知道什么设备在哪些区中。例如,所挑选的负载控制设备可以将来自语音服务的区控制信息和负载控制命令传输到系统控制器。系统控制器可以确定哪个(哪些)负载控制设备与相应的区控制信息对应,并且然后可以将负载控制命令传输到与相应的区控制命令相关联的一个或多个负载控制设备。然后这些设备可以相应地控制它们相应的负载。
替代地,如果接收到的命令不包括关于要控制的期望区的信息,那么所挑选的负载控制设备(例如,最好地接收到语音命令的负载控制设备)可以解释该响应以确定负载控制命令。在步骤828处,所挑选的负载控制设备可以响应于经解释的命令而直接控制连接的电气负载。音频控制过程800可以退出。
将理解的是,其它示例是可能的。例如,当负载控制命令不包括区信息时,所挑选的负载控制设备仍然可以将负载控制命令传输到一个或多个其它负载控制设备。例如,该命令可以是场景,其包括调节多个负载控制设备的相应的负载的这些多个负载控制设备。在这种情况下,所挑选的负载控制设备可以将命令传输到系统控制器和/或可以解释负载控制或场景命令的一个或多个负载控制设备。例如,来自语音服务的响应包括作为场景的动作。场景可以由所挑选的负载控制设备接收。所挑选的控制设备可以将场景动作翻译成到负载控制系统的负载控制命令。负载控制系统中的其它负载控制设备可以接收场景命令,并基于负载控制设备是否已被编程为在负载控制系统的配置期间对具体场景进行响应来确定是否控制这些其它负载控制设备的相应的负载。替代地,所挑选的负载控制设备可以将场景命令和/或来自语音服务的响应传输到系统控制器。然后,系统控制器可以将对应的场景或负载控制命令传输到负载控制系统和/或各个负载控制设备。
在另一个示例中,虽然在此被描述为负载控制设备,但是将认识到的是,不是负载控制设备的独立麦克风设备可被用于从语音服务接收负载控制命令。因此,如果所挑选的设备是接收不包括区信息的负载控制命令的独立麦克风设备,那么所挑选的麦克风设备然后可以将负载控制命令传输到系统控制器和/或与所挑选的麦克风设备在同一房间中的负载控制设备。例如,系统控制器可以确定哪个(哪些)负载控制设备与所挑选的麦克风设备处于相同的区或区域中(基于来自在负载控制系统和麦克风设备的系统设定期间获得的房间设定的信息),并且可以将控制命令传输到相应的(一个或多个)负载控制设备。例如,所挑选的麦克风设备可以将从语音服务接收到的响应传输到系统控制器,并且/或者可以向系统控制器传输经解释的响应。系统控制器可以接收经解释的响应,或者可以解释接收到的响应,并且可以确定哪些负载控制设备与麦克风设备在同一房间中。然后,系统控制器可以将一个或多个负载控制命令传输到与所挑选的麦克风设备在同一房间中的一个或多个负载控制设备。或者,所挑选的麦克风设备可以知道哪些负载控制设备在同一房间中并且可以将经解释的命令直接传输到同一房间内的负载控制设备。
图9是可以由负载控制系统(例如,负载控制系统100)的负载控制设备(例如,照明控制设备120之一)和/或系统控制器(例如,系统控制器150)执行的示例音频控制过程900。负载控制设备可以包括用于接收音频数据(例如,语音命令和/或声音)的麦克风。负载控制设备可以被配置为将音频数据传输到系统控制器,该系统控制器可以被配置为与云中的语音服务通信,以允许控制连接到负载控制设备的电气负载。在步骤910处检测到唤醒词之后,负载控制设备可以在步骤912处接收语音命令。负载控制设备可以在步骤914处将语音命令传输到系统控制器,并且系统控制器可以在步骤916处将语音命令传输到云中的语音服务。系统控制器可以在步骤919处从语音服务接收响应,并且在步骤920处解释响应,以确定用于控制电气负载的负载控制命令。在步骤922处,系统控制器可以将经解释的命令传输到负载控制设备。例如,系统控制器可以使用接收到的经解释的命令中的区信息来确定将经解释的命令发送到哪个(哪些)负载控制设备。例如,系统控制器可以确定哪些设备与接收到的区相关,并且可以基于经解释的命令来控制那个区中的设备。在另一个示例中,系统控制器可以将经解释的命令传输到该系统控制器从其接收到语音命令的负载控制设备和/或最好地听到语音命令的负载控制设备,如前所述。替代地,如果经解释的命令是场景命令,那么系统控制器可以识别场景命令,并将负载控制命令传输到相应的负载控制设备,以创建期望的场景。在步骤924处,(一个或多个)负载控制设备然后可以响应于从语音服务接收的经解释的命令而直接控制连接的电气负载。然后音频控制过程900可以退出。
图10A是可以由负载控制系统(例如,负载控制系统100)的负载控制设备(例如,照明控制设备120之一)和/或系统控制器(例如,系统控制器150)执行的示例音频控制过程1000的流程图。负载控制设备可以包括用于接收音频数据(例如,语音命令和/或声音)的麦克风。负载控制设备可以被配置为将音频数据传输到系统控制器,该系统控制器可以被配置为与云中的语音服务通信,以允许控制连接到负载控制设备的电气负载。在步骤1010处检测到唤醒词之后,负载控制设备可以在步骤1012处接收语音命令。负载控制设备可以在步骤1014处将语音命令传输到系统控制器。然后,在步骤1016处,系统控制器可以将从负载控制设备接收的语音命令传输到云中的一个或多个语音服务。将理解的是,可以使用任何或多个语音服务,或者语音服务可以是可挑选的,如前所述。在语音服务已处理语音命令的音频数据之后,系统控制器可以在步骤1018处从语音服务接收响应。在步骤1020处,系统控制器可以在步骤1020处解释响应以确定用于控制电气负载的命令。
在步骤1022处,如果接收到的命令包括指示要控制的区的信息,那么系统控制器可以将经解释的命令传输到用于那个区的相应的(一个或多个)负载控制设备。例如,系统控制器可以维护将负载控制设备与区相关联的配置数据库,该配置数据库可以用于确定哪些负载控制设备将经解释的命令传输到相应的区。例如,配置数据库可以在负载控制系统的配置状态期间创建。附加地和/或替代地,系统控制器还可以具有用于一个或多个场景的配置数据库,该配置数据库也可以在负载控制系统的配置状态或设定状态期间配置,其中每个场景与相应的照明控制件相关联。然后,在音频控制过程1000退出之前,负载控制设备可以在步骤1024处响应于经解释的命令而直接控制连接的电气负载。
如果在步骤1022处接收到的命令不包括指示要控制的区的信息并且在步骤1026处最好地听到音频命令的负载控制设备所在的区域被占用,那么在步骤1028处系统控制器可以将经解释的命令传输到最好地听到音频命令的负载控制设备。最好地听到音频命令的负载控制设备可以与区相关联。系统控制器可以附加地或替代地确定哪些负载控制设备被包括在与最好地听到音频命令的负载控制设备相同的区中。然后,系统控制器可以基于经解释的命令将负载控制命令传输到与最好地听到音频命令的负载控制设备相同的区中的一个或多个负载控制设备。例如,可以不是麦克风设备的附加负载控制设备可以位于与最好地听到音频命令的负载控制设备相同的区中。以这种方式,系统控制器可以将命令传输到该区中的所有的负载控制设备。然后音频控制过程1000可以退出。如果在步骤1026处最好地听到音频命令的负载控制设备所在的区域没有被占用,那么系统控制器可以在步骤1030处确定被占用的区域中的哪个负载控制设备最好地听到音频命令。然后,在音频控制过程1000退出之前,系统控制器可以在步骤1032处将经解释的命令传输到那个负载控制设备(或者如前所述,相同区中的负载控制设备)。
图10B是类似于图10A中所示的流程图的消息流程图。一个或多个设备可以向彼此发送命令或消息。例如,负载控制系统可以具有一个或多个负载控制设备1040、1042,系统控制器1046以及一个或多个占用传感器1052。这些设备中的任何一个或全部可以与互联网上的云服务1050通信。
例如,一个或多个占用传感器1052可以将占用信息1056传输到系统控制器1046。系统控制器1046可以使用占用信息1056来维持针对与一个或多个占用传感器1052相关联的一个或多个区域的占用状态。系统控制器1046还可以基于占用信息来控制一个或多个负载控制设备。
当用户说出唤醒词时,一个或多个负载控制设备1040、1042可以听到唤醒词,并记录在唤醒词之后的语音输入1058。一个或多个负载控制设备可以将语音输入1058传输到系统控制器1046以进行处理。系统控制器可以在本地处理语音输入1058。例如,系统控制器可以处理语音输入1058以确定哪个语音输入具有更好的音频质量。如前所述,音频质量可以基于信噪比、音量、多径反射等。然后,系统控制器1046可以将具有更好音频质量的语音输入1060传输到云服务1050以进行语音处理。
云服务1050可以处理语音输入1060并且可以将经处理的输出1062返回到系统控制器。经处理的输出可以是负载控制命令。例如,经处理的输出可以是打开或关闭具体照明负载或区的指令。例如,如果语音输入是“打开厨房灯”,那么云服务可以数字地指导系统控制器1046打开厨房中的照明负载。然后,系统控制器可以将指令翻译成用于一个或多个负载控制设备的命令。替代地,如果语音输入1060是不与控制负载相关联的请求,那么云服务1050可以用声学数据的形式利用应答响应该请求。系统控制器1046可以接收声学数据,并将其直接传输到一个或多个负载控制设备,或传输到一个或多个扬声器。
系统控制器1046可以基于一个或多个参数确定将命令或声学数据传输到一个或多个负载控制设备。即,系统控制器可以尝试将命令或声学数据发送到位于用户做出请求的区域中的负载控制设备。例如,系统控制器1046可以将命令传输到最好地听到语音输入的负载控制设备。例如,如果传输到云服务1050的语音输入1060是从负载控制设备1040接收到的(并且来自负载控制设备1042的冗余语音输入1058被忽略),那么系统控制器可以将命令1064返回到负载控制设备1040和/或与负载控制设备1040在同一区中的任何设备。以这种方式,负载控制设备1040可以响应于该命令。
附加地或替代地,系统控制器可以使用占用信息1056来向负载控制设备传输命令。例如,如果负载控制设备1040、1042所位于的两个区域都被占用,那么系统控制器可以将命令传输到两个负载控制设备。但是,例如,如果仅一个区域被占用,那么系统控制器可以将命令仅传输到被占用的区域。例如,系统控制器可以将命令1064仅传输到负载控制设备1042。虽然本文已经描述了系统控制器将命令传输到被占用的区域中的负载控制设备,但是被占用的区域中可以存在多个负载控制设备。例如,区域中的单个负载控制设备的示例仅用于描述目的,并且将认识到的是,系统控制器可以将命令传输到被占用的区域中的任何或所有负载控制设备。
虽然本文已经将该方法描述为使用系统控制器,但是将理解的是,可以设计不需要使用系统控制器的系统。例如,负载控制设备1040、1042可以无线地或经由有线连接(例如,电力线通信)进行通信以接收占用信息1056和/或确定哪个负载控制设备最好地听到语音输入,从而在它们之间起到系统控制器的角色。附加地或替代地,负载控制设备本身可以包含占用传感器。其它变化是可能的。
图11是示例控制设备1100的简化框图,该示例控制设备1100可以被配置为麦克风设备并且可以被部署为例如图1中所示的负载控制系统110的壁装式小键盘176。控制设备1100可以由电源1112供电,电源1112可以从电力连接1116接收电力,电力连接1116可以从外部交流(AC)电源或外部直流(DC)电源接收电力。电源1112可以提供输出DC电源电压VCC,用于为控制电路1102供电。控制设备1102可以包括一个或多个通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、微处理器、微控制器、集成电路、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、专用集成电路(ASIC),或任何合适的控制器或处理设备等(下文统称为(一个或多个)处理器或(一个或多个)控制电路1002)。控制电路1102可以被配置为执行一个或多个基于软件的应用程序,该应用程序包括当由控制电路执行时可以将控制电路被配置为执行信号编码、数据处理、电力控制、输入/输出处理或使得控制设备1100能够执行如本文所述的任何其它功能的指令。将认识到的是,除了基于软件的指令之外/作为基于软件的指令的替代,本文描述的特征和过程还可以和/或替代地由固件和/或硬件提供。
控制电路1102可以将信息存储在存储器1118中和/或从存储器1118中检索信息。存储器1118还可以存储基于软件的指令以供控制电路1102执行,并且还可以在控制电路执行指令时提供执行空间。存储器1118可以被实施为外部集成电路(IC),或被实施为控制电路1102的内部电路。存储器1118可以包括易失性和非易失性存储器模块/设备,并且可以是不可移除存储器模块/设备和/或可移除存储器模块/设备。不可移除存储器可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其它类型的不可移除存储器存储装置。可移除存储器可以包括用户身份模块(SIM)卡、记忆棒、存储卡或任何其它类型的可移除存储器。控制设备1100还可以包括用于传输和/或接收无线和/或有线通信的一个或多个通信电路1106。控制设备1100可以包括耦合到控制电路1102的用户界面1120,用于接收用户输入和显示反馈信息。
控制电路1102可以适于从输入麦克风1104接收音频信号,并确定如何处理音频信号,如本文所述。控制电路1102可以被配置为检测由控制设备1100的用户说出的唤醒词,例如,通过将音频数据与存储在存储器1118中的一个或多个预定唤醒词进行比较。例如,控制电路可以发送或接收与控制电气负载(诸如照明负载)有关的命令,或者用于将声学数据发送到系统控制器或远程网络服务器以进行进一步的音频数据处理。远程网络服务器可以是云服务器。控制电路可以经由一个或多个中间设备(诸如系统控制器和/或路由器设备)与远程网络通信。通信协议可以包括以下当中的一个或多个:Wi-Fi、HaLow、ZigBee、蓝牙、Z-Wave、ClearConnect或其它类似协议。
输入麦克风1104可以是数字或模拟MEM设备,其可以以低成本和小包装尺寸可获得。但是,例如,可以替代地使用以适当小的包装尺寸可获得的驻极体电容器、磁性或其它宽带声学输入设备。麦克风设备可以包括可以在物理上彼此间隔开的多个输入麦克风。多个输入麦克风可以允许改善的环境噪声抑制,并且还可以允许声学波束形成或波束转向,由此麦克风设备对输入声音在方向上敏感。
控制设备1100还可以包括耦合到控制电路1102的扬声器1111,用于允许与用户通信。扬声器可以允许麦克风设备与用户可听地通信,或者可以用于播放音乐。控制电路1102可以被配置为使扬声器1111生成音频信号,例如,响应于从云中的语音服务接收的数据。例如,从云中的语音服务接收的数据可以指示对由控制设备1100的用户询问的问题的答案,并且控制电路1102可以被配置为使得扬声器1111广播答案以供使用。
控制设备1100可以包括这里未示出的附加电路系统,包括但不限于:负载控制、被动红外占用感测、微波占用感测、环境光感测、时钟或当日时间跟踪等。
图12是示例负载控制设备1200的简化框图,例如,该示例性负载控制设备1200可以被部署为图1中所示的负载控制系统100的照明控制设备120,但是它可以控制其它类型的电气负载。负载控制设备1200可以包括热端子H,其可以适于耦合到AC电源1202。负载控制设备1200可以包括调光的热端子DH,其可以适于耦合到电气负载(诸如照明负载1204)。负载控制设备1200可以包括以串联电气连接在AC电源1202与照明负载1204之间耦合的可控导通设备1210。可控导通设备1210可以控制递送到照明负载的电力。可控导通设备1210可以包括合适类型的双向半导体开关,诸如例如三端双向可控硅、整流桥中的场效应晶体管(FET)、反串联连接的两个FET,或一个或多个绝缘栅双极结型晶体管(IGBT)。气隙开关1229可以与可控导通设备1210串联耦合。气隙开关1229可以响应于气隙致动器的致动而打开和闭合。当气隙开关1229闭合时,可控导通设备1210可操作以将电流传导至负载。当气隙开关1229打开时,照明负载1204与AC电源1202断开。负载控制设备1200可以包括控制电路1214。控制设备1102可以包括一个或多个通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、微处理器、微控制器、集成电路、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或任何合适的控制器或处理设备等(下文中统称为(一个或多个)处理器或(一个或多个)控制电路1214)。控制电路1214可以被配置为执行一个或多个基于软件的应用程序,该应用程序包括当由控制电路执行时可以将控制电路配置为执行信号编码、数据处理、电力控制、输入/输出处理或使得负载控制设备1200能够执行如本文所述的任何其它功能的指令。将认识到的是,除了基于软件的指令之外/作为基于软件的指令的替代,本文描述的特征和过程还可以和/或替代地由固件和/或硬件提供。控制电路1214可以将信息存储在存储器1220中和/或从存储器1220中检索信息。存储器1220还可以存储基于软件的指令以供控制电路1214执行,并且还可以在控制电路执行指令时提供执行空间。存储器1220可以被实施为外部集成电路(IC),或被实施为控制电路1214的内部电路。存储器1220可以包括易失性和非易失性存储器模块/设备,并且可以是不可移除存储器模块/设备和/或可移除存储器模块/设备。不可移除存储器可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其它类型的不可移除存储器存储装置。可移除存储器可以包括用户身份模块(SIM)卡、记忆棒、存储卡或任何其它类型的可移除存储器。
控制电路1214可以可操作地耦合到可控导通设备1210的控制输入,例如,经由栅极驱动电路1212。控制电路1214可以用于使可控导通设备1210导通或不导通,例如,以控制递送到照明负载1204的电量。
负载控制设备1200可以包括耦合到控制电路1214的用户界面1216,用于接收用户输入和显示反馈信息。控制电路1214可以响应于用户界面1216的按钮的致动而接收输入,并且可以控制可控导通设备1210以响应于致动而调节照明负载1204的强度。控制电路1214可以被配置为点亮用户界面1216的视觉指示器(例如,LED),以提供照明负载1204的当前强度的反馈。
控制电路1214可以从过零检测器1218接收控制信号,该控制信号表示AC电源1202的AC主线电压的过零点。控制电路1214可以可操作以使用相位控制调光技术来使可控导通设备1210在相对于AC波形的过零点的预定时间处导通和/或不导通。在共同受让的2007年7月10日授权的标题为“Dimmer Having a Power Supply Monitoring Circuit”的美国专利No.7,242,150中、2009年6月9日授权的标题为“Dimmer having a microprocessor-controlled power supply”的美国专利No.7,546,473中以及2014年3月4日授权的标题为“Two-wire dimmer switch for low-power loads”的美国专利No.8,664,881中更详细地描述了调光器的示例,这些专利的全部公开内容通过引用并入本文。
负载控制设备1200可以包括电源1222。电源1222可以生成直流(DC)电源电压VCC,用于为控制电路1214和负载控制设备1200的其他低压电路系统供电。电源1222可以与可控导通设备1210并联耦合。电源1222可以可操作以通过照明负载1204传导充电电流,以生成DC电源电压VCC
负载控制设备1200可以包括第一无线通信电路和第二无线通信电路1224、1226,但是通信电路1224、1226中的一个或多个可以被配置为通过有线网络进行通信。无线通信电路1224、1226中的每一个可以包括例如耦合到天线的射频(RF)收发器,用于传输和/或接收RF信号。无线通信电路1224、1226各自还可以包括用于传输RF信号的RF发送器、用于接收RF信号的RF接收器或者用于传输和/或接收红外(IR)信号的红外(IR)发送器和/或接收器。
控制电路1214可以耦合到第一无线通信电路和第二无线通信电路1224、1226,用于经由RF信号传输和/或接收数字消息。控制电路1214可以被配置为使用第一无线协议(例如,专有通信协议,诸如ClearConnect协议)经由第一无线通信电路1224传送RF信号(例如,无线通信信号108)。控制电路1214可以被配置为接收使用第一无线通信电路1224传送的数字消息中的用于控制照明负载1204的负载控制命令,并且可以被配置为控制可控导通设备1210以响应于经由第一无线通信电路1224接收的数字消息而调节照明负载1204的强度。控制电路1214可以被配置为经由使用第一无线通信电路1224传送的数字消息来传输反馈信息(例如,关于被递送到照明负载1204的电力的量)。控制电路1214可以被配置为使用第二无线协议(例如,标准通信协议,诸如Wi-Fi或蓝牙协议)经由第二无线通信电路1226传送RF信号(例如,无线通信信号109)。例如,控制电路1214可以被配置为在使用第二无线通信电路1226传送的数字消息中传送音频数据(例如,语音命令)(如下面将更详细地描述的)。
负载控制设备1200还可以包括耦合到控制电路1214的麦克风1230,用于接收音频数据(例如,语音命令)。控制电路1214可以被配置为,例如,通过将音频数据与存储在存储器1220中的一个或多个预定唤醒词进行比较,检测由负载控制设备1200的用户说出的唤醒词。控制电路1214可以被配置为在使用第二无线通信电路1226传送(例如,到系统控制器120)的数字消息中传输音频数据。控制电路1214还可以被配置为使用第二无线通信电路1226(例如,经由路由器124)将音频数据直接传输到云中的语音服务。控制电路1214可以被配置为响应于传输的音频数据而通过经由第一无线通信电路或第二无线通信电路1226接收的数字消息接收负载控制命令。
此外,控制电路1214可以被配置为将接收到的音频数据与存储在存储器1220中的一个或多个语音命令进行比较,并控制可控导通设备1210以调节照明负载1204的强度,而不将音频数据传输到云中的语音服务。
用户可以打开气隙开关1229,使得控制电路1214不能从麦克风1230接收音频数据。
负载控制设备1200还可以包括耦合到控制电路1214的扬声器1232。控制电路1214可以被配置为使扬声器1232生成音频信号,例如,响应于从云中的语音服务接收到的数据。例如,从云中的语音服务接收到的数据可以指示对由负载控制设备1200的用户询问的问题的答案,并且控制电路1214可以被配置为使得扬声器1232为用户广播该答案。
除了本文描述的实施例之外,麦克风设备还可以在麦克风设备将数据传输到云服务器时向用户提供指示。例如,语音集成设备通常使用一个或多个发光二极管(LED),当用户说出唤醒词时,该一个或多个发光二极管在设备上点亮。但是,由于麦克风设备可以放置在房间中的任何地方(即,在墙壁、天花板等上),因此设备上的LED指示器可能不足以警告用户设备正在监听。
为了响应于唤醒词而警告用户一个或多个麦克风设备正在监听,照明控制设备可以响应于检测到关键词(例如,唤醒词)而使连接的照明负载闪烁,并且在麦克风设备正在记录音频数据的同时继续使连接的照明负载闪烁。例如,麦克风可以与负载控制设备集成,或者麦克风设备可以与负载控制设备分离,并且可以向负载控制设备或系统控制器传输命令以使照明负载闪烁。
图13是图示示例系统控制器1300(诸如本文描述的系统控制器110)的框图。系统控制器1300可以包括一个或多个通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、微处理器、微控制器、集成电路、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、专用集成电路(ASIC),或任何合适的控制器或处理设备等(下文中统称为(一个或多个)处理器或(一个或多个)控制电路1314)。控制电路1314可以被配置为执行一个或多个基于软件的应用程序,该应用程序包括当由控制电路执行时可以将控制电路配置为执行信号编码、数据处理、电力控制、输入/输出处理或使系统控制器1300能够执行如本文所述的任何其它功能的指令。将认识到的是,除了基于软件的指令之外/作为基于软件的指令的替代,本文描述的特征和处理还可以和/或替代地由固件和/或硬件提供。控制电路1314可以将信息存储在存储器1320中和/或从存储器1320中检索信息。存储器1320还可以存储基于软件的指令以供控制电路1314执行,并且还可以在控制电路执行指令时提供执行空间。存储器1320可以被实施为外部集成电路(IC),或被实施为控制电路1314的内部电路。存储器1320可以包括易失性和非易失性存储器模块/设备,并且可以是不可移除存储器模块/设备和/或可移除存储器模块/设备。不可移除存储器可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其它类型的不可移除存储器存储装置。可移除存储器可以包括用户身份模块(SIM)卡、记忆棒、存储卡或任何其它类型的可移除存储器。
系统控制器1300可以包括用于传输和/或接收信息的通信电路1306。通信电路1306可以执行无线和/或有线通信。系统控制器1300还可以或替代地包括用于传输和/或接收信息的通信电路1308。通信电路1308可以执行无线和/或有线通信。通信电路1306和1308可以与控制电路1302通信。通信电路1306和1308可以包括RF收发器或能够经由天线执行无线通信的其它通信模块。通信电路1306和通信电路1308可以能够经由相同的通信信道或不同的通信信道执行通信。例如,通信电路1306可以能够经由无线通信信道(例如,
Figure BDA0002215676230000461
近场通信(NFC)、
Figure BDA0002215676230000462
蜂窝等)进行通信,并且通信电路1308可以能够经由另一个无线通信信道(例如,
Figure BDA0002215676230000463
或专有通信信道,诸如CLEAR CONNECTTM)进行通信。
控制电路1302可以与LED指示器1313通信,用于向用户提供指示。控制电路1302可以与致动器1314(例如,一个或多个按钮)通信,致动器1314可以由用户致动以将用户选择传送到控制电路1302。例如,致动器1314可以被致动以将控制电路1302置于关联模式和/或传送来自系统控制器1300的关联消息。
系统控制器1300内的每个模块可以由电源1310供电。例如,电源1310可以包括AC电源或DC电源。电源1310可以生成电源电压VCC,用于为系统控制器1300内的模块供电。
图14A是响应于听到唤醒词的可以由负载控制设备的控制电路执行的示例方法1400A。在步骤1410处,负载控制设备可以检测唤醒词。例如,用户可以在负载控制设备附近说出唤醒词,该唤醒词可以由负载控制设备的一个或多个麦克风接收。负载控制设备的控制电路可以将接收到的音频数据识别为唤醒词。在识别出唤醒词后,负载控制设备可以在步骤1414处使连接的照明负载闪烁。例如,负载控制设备可以以人眼容易可见的占空比来打开和关闭照明负载。例如,负载控制设备可以每两秒打开和关闭照明负载。
在步骤1416处,音频设备可以接收在唤醒词之后的语音输入,并且可以在步骤1420处将语音输入传输到云中的语音服务。如果用户不希望设备传输音频数据,那么闪烁的灯可以警告用户将负载控制设备置于静音模式。静音模式可以防止负载控制(或音频设备)记录声学数据(即,记录语音输入)。负载控制设备可以在1422处停止使负载闪烁。
图14B是类似于1400A的示例方法1400B,其可以由未与负载控制设备集成的麦克风设备执行。麦克风设备可以在步骤1430处检测唤醒词。在1432处,麦克风设备可以传输指示已经检测到唤醒词的命令。例如,麦克风设备可以将命令传输到控制设备和/或系统控制器。
在步骤1440处,负载控制设备可以接收命令。根据第一示例,负载控制设备可以从麦克风设备接收命令。即,麦克风设备可以传输指示已经检测到唤醒词的命令。基于在负载控制系统的设定期间确定的系统配置信息,负载控制设备可以知道它们是否与麦克风设备位于同一房间中。例如,麦克风设备可以传输命令以及位置或设备标识符,从而识别位置或传输命令的具体麦克风设备。负载控制设备可以仅当它与麦克风设备在同一房间中时才对命令进行响应。替代地,根据第二示例,麦克风设备可以将唤醒词传输到系统控制器,或者可以向系统控制器传输指示已经听到唤醒词的命令。然后,系统控制器可以向与听到唤醒词的麦克风设备在同一房间和/或区中的负载控制设备传输命令。该命令可以向控制设备指示已经检测到唤醒词,或者该命令可以是指导控制设备使其连接的负载闪烁的负载控制命令。控制设备可以从系统控制器接收命令。
响应于接收到命令,控制设备可以在步骤1436处使连接的照明负载闪烁。例如,控制设备和/或系统控制器可以知道麦克风设备位于哪个房间,使得仅麦克风设备所在的房间的负载控制设备可以响应。在步骤1442处,麦克风设备可以接收在唤醒词之后的语音输入。在步骤1444处,麦克风设备可以将语音输入传输到云中的语音服务。在1448处,麦克风设备可以向负载控制设备(直接地或通过系统控制器)传输命令以指导负载控制设备停止使电气负载闪烁。在步骤1450处,负载控制设备可以接收命令并且停止使连接的照明负载闪烁。
虽然在本文被描述为使照明负载闪烁,但是可以理解的是,其它类型的警告也是可能的。在另一个示例中,负载控制设备可以增加和减小连接的照明负载的强度。或者,照明控制设备可以改变灯的颜色。负载控制设备可以使照明负载闪烁一次或重复多次,以向用户指示检测到唤醒词并且负载控制设备将开始传输音频数据。根据另一个实施例,负载控制设备可以控制不是照明负载的电气负载,例如风扇、扬声器等,并且可以将负载致动为接通和断开以警告用户。
在另一个示例中,当麦克风设备是静音模式时,麦克风设备仍然可以对唤醒词进行响应,但是可以不处理唤醒词之后的音频输入。例如,麦克风设备可以在处于静音模式时接收唤醒词,并且可以使一个或多个照明负载闪烁(根据图14A、图14B的方法,如前所述)以向用户指示设备处于静音模式。
将理解的是,虽然本文描述的实施例可以是关于具有麦克风的负载控制设备,但是麦克风可以与负载控制设备分离。此外,系统控制器也可以是负载控制设备和/或可以具有一个或多个麦克风。
除了本文已经描述的内容之外,例如,所述方法和系统还可以在结合在一个或多个计算机可读介质中的(一个或多个)计算机程序、软件或基于固件的指令中实施,以供由(一个或多个)控制电路执行。计算机可读介质的示例包括电子信号(通过有线或无线连接传输的)和有形/非瞬态计算机可读存储介质。有形/非瞬态计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、可移除盘,以及光学介质,诸如CD-ROM盘和数字通用盘(DVD)。
虽然已经根据某些实施例和一般而言相关联的方法描述了本公开,但是实施例和方法的变更和置换对于本领域技术人员而言将是显然的。因而,示例实施例的以上描述不限制本公开。在不脱离本公开的精神和范围的情况下,其它改变、替换和变更也是可能的。

Claims (81)

1.一种用于控制空间中的电气负载的负载控制系统,所述负载控制系统包括:
负载控制设备,被配置为控制电气负载;以及
服务器,被配置为:
接收第一数据和第一时间,所述第一数据表示来自所述空间的第一声学声音,在所述第一时间发生所述第一声学声音;
确定第一命令,所述第一命令限定在所述第一声学声音发生的所述第一时间之后的一段时间内负载控制设备如何控制电气负载;
存储表示所述第一声学声音的所述第一数据、所述第一命令和所述第一声学声音发生的所述第一时间;
接收第二数据和第二时间,所述第二数据表示来自所述空间的第二声学声音,在所述第二时间发生所述第二声学声音;
确定第二命令,所述第二命令限定在所述第二声学声音发生的所述第二时间之后的一段时间内负载控制设备如何控制电气负载;
存储表示所述第二声学声音的所述第二数据、所述第二命令和所述第二声学声音发生的所述第二时间;
确定所述第一声学声音与所述第二声学声音是否相似;
确定所述第一命令与所述第二命令是否相同;以及
基于所述第一声学声音与所述第二声学声音相似的确定以及所述第一命令与所述第二命令相同的确定,将经验证的命令存储为与经验证的声学声音相关联,其中经验证的命令表示所述第一命令和所述第二命令,并且经验证的声学声音表示所述第一声学声音和所述第二声学声音。
2.如权利要求1所述的负载控制系统,其中服务器还被配置为确定所述第一声学声音发生的所述第一时间是否在所述第二声学声音发生的所述第二时间的时间范围内。
3.如权利要求2所述的负载控制系统,其中服务器被配置为基于所述第一声学声音与所述第二声学声音相似的确定、所述第一命令与所述第二命令相同的确定以及所述第一声学声音发生在所述第二声学声音发生的所述第二时间的时间范围内的确定而将经验证的时间范围存储为与经验证的命令和经验证的声学声音相关联,其中经验证的时间范围是由第一时间和第二时间限定的时间范围。
4.如权利要求3所述的负载控制系统,其中服务器被配置为:
接收第三数据和第三时间,所述第三数据表示来自所述空间的第三声学声音,在所述第三时间发生所述第三声学声音;
确定所述第三声学声音与经验证的声学声音是否相似;
确定所述第三时间是否在经验证的时间范围内;以及
基于确定所述第三声学声音与经验证的声学声音相似并且所述第三时间在经验证的时间范围内,将经验证的命令传输到负载控制设备。
5.如权利要求3所述的负载控制系统,其中第一数据、第二数据和第三数据还包括一周中的相应的声学声音发生的第一日、第二日和第三日;以及
其中服务器被配置为确定一周中的所述第一日与所述第二日是否相同,并且基于所述第一声学声音与所述第二声学声音相似的确定、所述第一命令与所述第二命令相同的确定以及所述第一声学声音发生在所述第二声学声音发生的所述第二时间的时间范围内的确定而将一周中的经验证的日存储为与经验证的命令、经验证的声学声音和经验证的时间范围相关联,其中经验证的时间表示一周中的第一日和第二日。
6.如权利要求1所述的负载控制系统,其中服务器被配置为:
接收表示来自所述空间的第三声学声音的第三数据;
确定第三声学声音与经验证的声学声音是否相似;以及
基于所述第三声学声音与经验证的声学声音相似的确定,将经验证的命令传输到负载控制设备。
7.如权利要求1所述的负载控制系统,其中负载控制设备包括被配置为接收用户输入的按钮,负载控制设备被配置为响应于用户输入的致动而控制电气负载,并且向服务器传输指示负载控制设备如何控制电气负载的通知,服务器被配置为根据从服务器接收的通知来确定第一命令。
8.如权利要求1所述的负载控制系统,其中服务器被配置为将所述第一命令传输到负载控制设备,并且负载控制设备被配置为响应于从服务器接收到所述第一命令而控制电气负载。
9.如权利要求1所述的负载控制系统,还包括:
麦克风设备,被配置为接收所述第一声学声音和所述第二声学声音,并将表示相应的声学声音的所述第一数据和所述第二数据传输到服务器。
10.如权利要求1所述的负载控制系统,其中负载控制设备包括被配置为接收所述第一声学声音和所述第二声学声音的麦克风,并且负载控制设备被配置为将表示相应的声学声音的所述第一数据和所述第二数据传输到服务器。
11.如权利要求1所述的负载控制系统,其中服务器被配置为将所述第一声学声音存储为经验证的声学声音并将所述第一命令存储为经验证的命令。
12.如权利要求1所述的负载控制系统,其中服务器是负载控制系统的系统控制器。
13.如权利要求1所述的负载控制系统,其中服务器是云服务器。
14.一种麦克风设备,包括:
麦克风,被配置为从空间接收声学信号;
天线,被配置为传输数据;
通信电路,耦合到天线;以及
控制电路,耦合到通信电路和麦克风,所述控制电路被配置为:
经由麦克风接收声学信号;
处理接收到的声学信号以检测唤醒词;
在检测到唤醒词后,将基于在唤醒词之后的声学信号的数据经由天线和通信电路传输到至少一个语音服务,其中所述至少一个语音服务可从语音服务组中挑选。
15.如权利要求14所述的麦克风设备,
其中语音服务组包括第一语音服务和与所述第一语音服务不同的第二语音服务;
其中第一唤醒词与第一唤醒服务相关联,并且与所述第一唤醒词不同的第二唤醒词与第二语音服务相关联;以及
其中,将数据传输到所述至少一个语音服务还包括:
确定接收到的声学信号的唤醒词包括所述第一唤醒词,并且至少部分地基于确定接收到的声学信号的唤醒词包括所述第一唤醒词而将数据传输到所述第一语音服务;以及
确定接收到的声学信号的唤醒词包括所述第二唤醒词,并且至少部分地基于确定接收到的声学信号的唤醒词包括所述第二唤醒词而将数据传输到所述第二语音服务。
16.如权利要求15所述的麦克风设备,其中,将数据传输到所述至少一个语音服务还包括:
确定接收到的声学信号的唤醒词包括通用唤醒词;
至少部分地基于确定接收到的声学信号的唤醒词包括通用唤醒词,处理接收到的声学信号以确定是否存在感兴趣的词;
至少部分地基于确定存在感兴趣的词,确定所确定的感兴趣的词是否与语音服务组中的语音服务相关联;以及
至少部分地基于确定所确定的感兴趣的词与语音服务组中的语音服务相关联,将数据传输到相关联的语音服务。
17.如权利要求16所述的麦克风设备,至少部分地基于确定所确定的感兴趣的词不与语音服务组中的语音服务相关联,将数据传输到语音服务组中的默认语音服务。
18.如权利要求14所述的麦克风设备,其中控制电路还被配置为从移动应用程序接收对语音服务组中的语音服务中的一个语音服务的挑选;以及
其中,将数据传输到所述至少一个语音服务还包括将数据传输到所挑选的语音服务。
19.如权利要求14所述的麦克风设备,其中,将数据传输到所述至少一个语音服务还包括:
将数据传输到语音服务组中的第一语音服务;
在将数据传输到所述第一语音服务后启动定时器;
确定在定时器超过阈值之前是否从所述第一语音服务接收到响应;
至少部分地基于确定在定时器超过阈值之前未从所述第一语音服务接收到响应,将数据传输到语音服务组中的第二语音服务。
20.如权利要求14所述的麦克风设备,所述麦克风设备还被配置为安装在电气壁盒中并控制电气负载。
21.如权利要求14所述的麦克风设备,所述麦克风设备还包括扬声器。
22.一种用于控制到电气负载的电力的量的负载控制设备,所述负载控制设备包括:
麦克风,用于接收语音命令;
通信电路;
可控导通设备,被配置为控制到电气负载的电力的量;以及
控制电路,可操作地连接到麦克风、通信电路和可控导通设备,所述控制电路被配置为:
接收唤醒词;
接收在唤醒词之后的语音命令;
将语音命令传输给语音服务;
从语音服务接收响应;
解释响应,以确定响应是否包括用于控制电气负载的命令;以及
至少部分地基于确定响应包括用于控制电气负载的命令,响应于所述命令控制可控导通设备,以控制到电气负载的电力的量。
23.如权利要求22所述的负载控制设备,其中控制电路还被配置为至少部分地基于确定响应不包括用于控制电气负载的命令而使得响应经由扬声器播放。
24.如权利要求23所述的负载控制设备,其中扬声器与负载控制设备是一体的。
25.如权利要求23所述的负载控制设备,其中扬声器与负载控制设备分离,并且其中使得响应经由扬声器播放包括经由通信电路将响应传送到扬声器。
26.一种用于控制到电气负载的电力的量的负载控制设备,所述负载控制设备包括:
麦克风,用于接收语音命令;
通信电路;
可控导通设备,被配置为控制到电气负载的电力的量;以及
控制电路,可操作地连接到麦克风、通信电路和可控导通设备,所述控制电路被配置为:
接收语音命令;
确定接收到的语音命令是否包括经验证的命令,其中经验证的命令与语音命令和负载控制命令相关联;
至少部分地基于确定接收到的语音命令包括经验证的命令:
确定与经验证的命令相关联的负载控制命令;以及
控制可控导通设备,以基于负载控制命令控制到电气负载的电力的量;以及
至少部分地基于确定接收到的语音命令不包括经验证的命令,将接收到的语音命令传输到语音服务。
27.如权利要求26所述的负载控制设备,其中控制电路还被配置为:
至少部分地基于将接收到的语音命令传输到语音服务,从语音服务接收响应;
解释响应,以确定用于控制电气负载的命令;以及
至少部分地基于确定用于控制电气负载的命令,响应于所确定的命令控制可控导通设备,以控制到电气负载的电力的量。
28.如权利要求27所述的负载控制设备,其中控制电路还被配置为将接收到的语音命令和所确定的命令存储为新的经验证的命令。
29.如权利要求28所述的负载控制设备,其中控制电路还被配置为:
接收第二语音命令;
确定所述第二语音命令是否包括新的经验证的命令;以及
至少部分地基于确定所述第二语音命令包括新的经验证的命令,控制可控导通设备,以基于与新的经验证的命令相关联的所确定的命令来控制到电气负载的电力的量。
30.如权利要求29所述的负载控制设备,其中控制电路还被配置为确定接收到的语音命令和所确定的命令是否应当被存储为新的经验证的命令。
31.如权利要求30所述的负载控制设备,其中确定接收到的语音命令和所确定的命令是否应当被存储为新的经验证的命令包括重复地接收所接收到的语音命令和所确定的命令。
32.如权利要求31所述的负载控制设备,其中解释响应以确定用于控制电气负载的命令包括解释响应以确定响应是否包括用于控制电气负载的命令;以及
至少部分地基于确定响应不包括用于控制电气负载的命令,使得响应经由扬声器播放。
33.如权利要求32所述的负载控制设备,其中扬声器与负载控制设备是一体的。
34.如权利要求32所述的负载控制设备,其中扬声器与负载控制设备分离,并且其中使得响应经由扬声器播放包括经由通信电路将响应传送到扬声器。
35.一种用于控制到电气负载的电力的量的负载控制设备,所述负载控制设备包括:
麦克风,用于接收语音命令;
至少一个通信电路;
可控导通设备,被配置为控制到电气负载的电力的量;以及
控制电路,可操作地连接到麦克风、所述至少一个通信电路和可控导通设备,所述控制电路被配置为:
经由麦克风接收语音命令;
经由所述至少一个通信电路将经由麦克风接收的语音命令传输到语音服务;
从语音服务接收响应;
解释响应以确定命令;
解释响应以确定响应是否包括区的指示;
当响应包括区的指示时:
确定负载控制设备是否位于区中;
当确定负载控制设备位于区中时,响应于命令控制可控导通设备,以控制到电气负载的电力的量;以及
当确定负载控制设备不位于区中时,不响应于命令而控制可控导通设备。
36.如权利要求35所述的负载控制设备,其中控制电路还被配置为:
当响应不包括区的指示时,响应于命令控制可控导通设备,以控制到电气负载的电力的量。
37.如权利要求35所述的负载控制设备,其中控制电路还被配置为:
当响应包括区的指示时:
经由所述至少一个通信电路将命令和区的指示传送到第二负载控制设备,其中所述第二负载控制设备被配置为确定所述第二负载控制设备是否位于区中,并且当位于区中时基于命令控制电气负载。
38.如权利要求35所述的负载控制设备,其中控制电路还被配置为:
当响应包括区的指示时:
确定位于区中的另一个负载控制设备;以及
基于确定另一个负载控制设备位于区中,经由所述至少一个通信电路将命令传送到所述另一个负载控制设备,其中所述另一个负载控制设备被配置为基于命令控制电气负载。
39.如权利要求35所述的设备,其中控制电路还被配置为:
经由所述至少一个通信电路从第二负载控制设备接收所述第二负载控制设备接收到语音命令的通信;
根据经由麦克风接收的语音命令和从所述第二负载控制设备接收的通信,确定经由麦克风接收的语音命令的质量高于由所述第二负载控制设备接收的语音命令;以及
其中,将语音命令传输到语音服务包括至少部分地基于所述确定将语音命令传输到语音服务。
40.如权利要求39所述的设备,其中,确定经由麦克风接收的语音命令的质量高于由所述第二负载控制设备接收的语音命令包括基于以下当中的一个或多个进行确定:
经由麦克风接收的语音命令的音量和由所述第二负载控制设备接收的语音命令的音量;
经由麦克风接收的语音命令的信噪比和由所述第二负载控制设备接收的语音命令的信号干扰比;以及
经由麦克风接收的语音命令的多径干扰和由所述第二负载控制设备接收的语音命令的多径干扰。
41.如权利要求39所述的设备,其中从所述第二负载控制设备接收的通信包括以下当中的一个或多个:
由所述第二负载控制设备接收的语音命令的音量的指示;
由所述第二负载控制设备接收的语音命令的信噪比的指示;以及
由所述第二负载控制设备接收的语音命令的多径干扰的指示。
42.如权利要求39所述的负载控制设备,其中控制电路还被配置为:
当响应不包括区的指示时:
响应于命令控制可控导通设备,以控制到电气负载的电力的量;以及
至少部分地基于从所述第二负载控制设备接收到通信,将命令传送到所述第二负载控制设备,其中所述第二负载控制设备被配置为基于命令控制第二电气负载。
43.如权利要求35所述的负载控制设备,其中区包括建筑物中的房间。
44.一种包括第一负载控制设备、第二负载控制设备和系统控制器的系统,其中所述第一负载控制设备包括:
麦克风,用于接收语音命令;
至少一个通信电路;
可控导通设备,被配置为控制到第一电气负载的电力的量;以及
控制电路,可操作地连接到麦克风、所述至少一个通信电路以及可控导通设备,所述控制电路被配置为:
经由麦克风接收语音命令;
经由所述至少一个通信电路将经由麦克风接收的语音命令传输到语音服务;
从语音服务接收响应;
解释响应以确定命令;
解释响应以确定区;
经由所述至少一个通信电路将命令和区传送到系统控制器;
其中系统控制器包括控制电路,所述控制电路被配置为:
从所述第一负载控制设备接收命令和区;
确定所述第二负载控制设备位于区中;
至少部分地基于确定所述第二负载控制设备位于区中,经由网络将负载控制命令传送到所述第二负载控制设备;以及
其中所述第二负载控制设备包括:
可控导通设备,被配置为控制到第二电气负载的电力的量;以及
控制电路,可操作地连接到所述第二负载控制设备的可控导通设备,所述第二负载控制设备的控制电路被配置为:
经由网络从系统控制器接收负载控制命令;以及
响应于负载控制命令控制所述第二负载控制设备的可控导通设备,以控制到所述第二电气负载的电力的量。
45.如权利要求44所述的系统,其中系统控制器的控制电路还被配置为:
确定所述第一负载控制设备位于区中;
至少部分地基于确定所述第一负载控制设备位于区中,经由网络将负载控制命令传送到所述第一负载控制设备;以及
其中所述第一负载控制设备的控制电路还被配置为:
经由网络从系统控制器接收负载控制命令;以及
响应于负载控制命令控制所述第一负载控制设备的可控导通设备,以控制到所述第一电气负载的电力的量。
46.如权利要求44所述的系统,其中所述第一负载控制设备的控制电路还被配置为:
确定所述第一负载控制设备位于区中;以及
至少部分地基于确定所述第一负载控制设备位于区中,响应于负载控制命令控制所述第一负载控制设备的可控导通设备,以控制到所述第一电气负载的电力的量。
47.一种被配置为使得语音命令能够本地处理的设备,所述设备包括:
麦克风,用于从空间接收声学信号;
天线,被配置为传输和接收数据;
通信电路,耦合到天线;
控制电路,耦合到通信电路和麦克风,所述控制电路被配置为:
经由麦克风接收语音命令;
确定语音命令是否包括经验证的命令;
基于语音命令不包括经验证的命令的确定,经由通信电路将语音命令传输到服务器;
从服务器接收响应;
在接收到响应后,确定是否在本地处理语音命令;以及
基于在本地处理语音命令的确定,将语音命令存储为经验证的命令。
48.如权利要求47所述的设备,其中确定语音命令是否包括经验证的命令包括:
使语音命令与存储在存储器中的至少一个命令相关;
基于所述相关,确定语音命令是否与所存储的命令相关超过阈值;以及
基于语音命令与所存储的命令相关超过阈值的确定,确定命令是经验证的命令。
49.如权利要求47所述的设备,其中确定在本地处理语音命令包括:
将语音命令与存储在存储器中的具有相同响应的至少一个语音命令进行比较;
确定存储在存储器中的具有相同响应的相同语音命令的数量;
基于确定,将所述数量与所需数量进行比较;以及
基于所述数量等于所需数量的比较,将命令存储为经验证的命令。
50.一种用于基于根据语音命令确定的区信息来控制负载的方法,所述方法包括:
由两个或更多个负载控制设备接收语音命令;
挑选负载控制设备以传输语音命令;
将语音命令传输到服务器;
接收来自服务器的包括控制命令的响应;
确定响应是否包括区信息;
基于区信息,将控制命令传输到所述两个或更多个负载控制设备中的相应负载控制设备;以及
根据控制命令控制负载。
51.如权利要求50所述的方法,其中控制负载还包括控制照明负载的强度。
52.一种用于控制负载控制设备的区的系统,所述区根据语音命令而确定,所述系统包括:
多个麦克风设备;
多个负载控制设备,与一个或多个区相关联;以及
系统控制器,被配置为:
从所述多个麦克风设备中的两个或更多个麦克风设备接收两个或更多个语音命令;
从所述两个或更多个语音命令中挑选语音命令以传输到服务器;
将挑选的语音命令传输到服务器;
从服务器接收响应;
解释响应以确定命令;
解释响应以确定区是否被包括在响应中;
当区被包括在响应中时,基于所述命令,将负载控制命令传输到所述多个负载控制设备中的与被包括在响应中的区相关联的至少一个负载控制设备。
53.如权利要求52所述的系统,其中系统控制器还被配置为基于哪个语音命令具有最高音量而从所述两个或更多个语音命令中挑选语音命令。
54.如权利要求52所述的系统,其中系统控制器还被配置为基于哪个语音命令具有最高信噪比而从所述两个或更多个语音命令中挑选语音命令。
55.如权利要求52所述的系统,其中系统控制器还被配置为基于哪个语音命令具有最低多径干扰来挑选语音命令。
56.如权利要求52所述的系统,其中系统控制器还被配置为:
当区未被包括在响应中时,确定传输所挑选的语音命令的麦克风设备所位于的区域是否被占用;
基于区域被占用的确定,确定所述多个负载控制设备中的至少一个负载控制设备位于区域中;
将负载控制命令传输到被确定为位于区域中的所述至少一个负载控制设备;以及
基于区域未被占用的确定:
确定被占用的另一个区域;
确定所述多个负载控制设备中的至少一个负载控制设备位于所述另一个区域中;以及
将负载控制命令传输到被确定为位于所述另一个区域中的所述至少一个负载控制设备。
57.如权利要求56所述的系统,其中系统控制器还被配置为基于哪个语音命令具有最高音量而从所述两个或更多个语音命令中挑选语音命令。
58.如权利要求52所述的系统,其中系统控制器被配置为基于哪个语音命令具有最高信噪比而从所述两个或更多个语音命令中挑选语音命令。
59.如权利要求52所述的系统,其中系统控制器被配置为基于哪个语音命令具有最低多径干扰而从所述两个或更多个语音命令中挑选语音命令。
60.一种用于传送命令的设备,所述设备被配置为响应于语音命令而控制电气负载,所述设备包括:
麦克风,用于接收语音命令;
至少一个通信电路;以及
控制电路,可操作地连接到麦克风和所述至少一个通信电路,所述控制电路被配置为:
经由麦克风接收语音命令;
经由所述至少一个通信电路从负载控制设备接收负载控制设备接收到语音命令的通信;
将经由麦克风接收的语音命令传输到语音服务;
从语音服务接收响应;
解释响应,以确定用于控制电气负载的命令;以及
至少部分地基于从负载控制设备接收通信,将命令传送到负载控制设备,其中负载控制设备被配置为基于所述命令控制第一电气负载。
61.如权利要求60所述的设备,
其中所述设备还包括可操作地连接到控制电路的可控导通设备,所述可控导通设备被配置为控制到第二电气负载的电力的量;以及
其中控制电路还被配置为响应于所述命令控制可控导通设备,以控制到所述第二电气负载的电力的量。
62.如权利要求60所述的设备,其中控制电路还被配置为:
根据经由麦克风接收的语音命令和从负载控制设备接收的通信,确定经由麦克风接收的语音命令的质量高于由负载控制设备接收的语音命令;以及
其中,将语音命令传输到语音服务包括至少部分地基于所述确定将语音命令传输到语音服务。
63.如权利要求62所述的设备,其中,确定经由麦克风接收的语音命令的质量高于由负载控制设备接收的语音命令包括基于以下当中的一个或多个做出确定:
经由麦克风接收的语音命令的音量和由负载控制设备接收的语音命令的音量;
经由麦克风接收的语音命令的信号干扰比和由负载控制设备接收的语音命令的信号干扰比;以及
经由麦克风接收的语音命令的多径干扰和由负载控制设备接收的语音命令的多径干扰。
64.如权利要求60所述的设备,其中从负载控制设备接收的通信包括以下当中的一个或多个:
由负载控制设备接收的语音命令的音量的指示;
由负载控制设备接收的语音命令的信号干扰比的指示;以及
由负载控制设备接收的语音命令的多径干扰的指示。
65.如权利要求60所述的设备,其中控制电路还被配置为:
经由麦克风接收第二语音命令;
经由所述至少一个通信电路从负载控制设备接收负载控制设备接收到所述第二语音命令的第二通信;
根据经由麦克风接收的所述第二语音命令和从负载控制设备接收的所述第二通信,确定经由麦克风接收的所述第二语音命令的质量低于由负载控制设备接收的所述第二语音命令;以及
至少部分地基于所述确定,不将经由麦克风接收的所述第二语音命令传输到语音服务。
66.一种用于控制负载控制设备的区的系统控制器,所述区根据语音命令而确定,所述系统控制器包括控制电路,所述控制电路被配置为:
经由网络从多个负载控制设备中的至少一个负载控制设备接收由所述至少一个负载控制设备接收的语音命令,其中每个负载控制设备被配置为控制相应的电气负载,并且其中每个负载控制设备位于至少一个区中;
经由网络将语音命令传送到服务器;
接收来自服务器的响应;
解释响应以确定命令;
解释响应以确定区是否被包括在所述响应中;
当区被包括在所述响应中时:
确定所述多个负载控制设备中的至少一个负载控制设备位于区中;以及
基于所述命令,将负载控制命令传送到被确定为位于区中的所述至少一个负载控制设备,其中所述至少一个负载控制设备被配置为基于所述负载控制命令控制所述至少一个负载控制设备的相应的电气负载。
67.如权利要求66所述的系统控制器,其中控制电路还被配置为:
当区被包括在响应中时,将负载控制命令传输到所述至少一个负载控制设备,语音命令是从所述至少一个负载控制设备接收的。
68.如权利要求67所述的系统控制器,其中控制电路还被配置为:
从所述多个负载控制设备中的两个或更多个负载控制设备接收多个语音命令;以及
挑选所接收的多个语音命令中的一个语音命令;以及
其中,将语音命令传送到服务器包括传送所挑选的语音命令。
69.如权利要求68所述的系统控制器,其中控制电路还被配置为基于哪个语音命令具有最高音量而从所述多个语音命令中挑选一个语音命令。
70.如权利要求68所述的系统控制器,其中控制电路还被配置为基于哪个语音命令具有最高信噪比而从所述多个语音命令中挑选一个语音命令。
71.如权利要求68所述的系统控制器,其中控制电路还被配置为基于哪个语音命令具有最低多径干扰而从所述多个语音命令中挑选一个语音命令。
72.如权利要求68所述的系统控制器,其中控制电路还被配置为:
当区未被包括在响应中时,将负载控制命令传送到负载控制设备,所挑选的语音命令是从所述负载控制设备接收的。
73.如权利要求68所述的系统控制器,其中控制电路还被配置为:
当区未被包括在响应中时,确定负载控制设备所位于的区域是否被占用,所挑选的语音命令是从所述负载控制设备接收的;
基于区域被占用的确定,将负载控制命令传送到负载控制设备,所挑选的语音命令是从所述负载控制设备接收的;以及
基于区域未被占用的确定:
确定被占用的另一个区域;
确定所述多个负载控制设备中的至少一个负载控制设备位于所述另一个区域中;以及
将负载控制命令传输到被确定为位于所述另一个区域中的所述至少一个负载控制设备。
74.一种用于向占用区域中的负载控制设备传送负载控制命令的系统控制器,所述系统控制器包括控制电路,所述控制电路被配置为:
经由网络从设备接收由所述设备接收的语音命令,其中所述设备位于至少一个区中;
经由网络将语音命令传送到服务器;
从服务器接收响应;
解释响应以确定命令;
确定设备所位于的区域是否被占用;
基于区域被占用的确定,确定位于区域中的至少一个负载控制设备,并基于命令将负载控制命令传送到所述至少一个负载控制设备,其中所述至少一个负载控制设备被配置为基于负载控制命令控制电气负载。
75.如权利要求74所述的系统控制器,其中控制电路还被配置为:
基于区域未被占用的确定:
确定被占用的另一个区域;
确定位于所述另一个区域中的至少一个负载控制设备,并基于命令将负载控制命令传送到位于所述另一个区域中的所述至少一个负载控制设备,其中位于所述另一个区域中的所述至少一个负载控制设备被配置为控制电气负载。
76.一种有形计算机可读介质,在所述有形计算机可读介质上存储有指令,所述指令被配置为使得负载控制命令被传送到占用区域中的负载控制设备,所述指令当由控制电路执行时,引导控制电路:
经由网络从设备接收由所述设备接收的语音命令,其中所述设备位于至少一个区中;
经由网络将语音命令传送到服务器;
从服务器接收响应;
解释响应以确定命令;
确定设备所位于的区域是否被占用;
基于区域被占用的确定,确定位于区域中的至少一个负载控制设备,并基于命令将负载控制命令传送到所述至少一个负载控制设备,其中所述至少一个负载控制设备被配置为基于负载控制命令控制电气负载。
77.如权利要求76所述的有形计算机可读介质,其中,当指令由控制电路执行时,还引导控制电路:
基于区域未被占用的确定:
确定被占用的另一个区域;
确定位于所述另一个区域中的至少一个负载控制设备,并基于命令将负载控制命令传送到位于所述另一个区域中的所述至少一个负载控制设备,其中位于所述另一个区域中的所述至少一个负载控制设备被配置为控制电气负载。
78.一种用于控制到电气负载的电力的量的负载控制设备,所述负载控制设备包括:
热端子,被配置为耦合到AC电源;
调光的热端子,被配置为耦合到电气负载;
麦克风,用于接收语音命令;
至少一个通信电路;
可控导通设备,被配置为以串联电气连接在AC电源和电气负载之间耦合,并且还被配置为控制到电气负载的电力的量;
用户界面;以及
控制电路,可操作地连接到麦克风、所述至少一个通信电路、用户界面以及可控导通设备,所述控制电路被配置为:
确定用户界面的致动;
至少部分地基于确定用户界面的致动,控制可控导通设备以控制到电气负载的电力的量;
经由所述至少一个通信电路接收负载控制命令;
至少部分地基于负载控制命令,控制可控导通设备以控制到电气负载的电力的量;
经由麦克风接收语音输入;以及
至少部分地基于接收到语音输入:
控制可控导通设备以控制到电气负载的电力的量;以及
经由所述至少一个通信电路将语音输入传输到服务器以进行处理。
79.如权利要求78所述的负载控制设备,其中电气负载包括照明负载。
80.一种用于传送命令的系统控制器,所述系统控制器被配置为响应于语音命令而控制电气负载,所述系统控制器包括:
至少一个通信电路;以及
控制电路,可操作地连接到所述至少一个通信电路,所述控制电路被配置为:
经由所述至少一个通信电路从麦克风设备接收麦克风设备接收到语音输入的指示;
至少部分地基于接收到指示:
确定麦克风设备所位于的区域;
确定位于所确定的区域中的至少一个负载控制设备,其中所述负载控制设备被配置为控制到电气负载的电力的量;以及
经由所述至少一个通信电路向所述至少一个负载控制设备传送命令,其中所述命令使得所述至少一个负载控制设备控制到电气负载的电力的量。
81.如权利要求80所述的系统控制器,其中电气负载包括照明负载。
CN201880021333.9A 2017-02-07 2018-02-07 基于音频的负载控制系统 Active CN110506452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111331789.5A CN114067794A (zh) 2017-02-07 2018-02-07 基于音频的负载控制系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762455973P 2017-02-07 2017-02-07
US62/455,973 2017-02-07
PCT/US2018/017268 WO2018148315A1 (en) 2017-02-07 2018-02-07 Audio-based load control system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111331789.5A Division CN114067794A (zh) 2017-02-07 2018-02-07 基于音频的负载控制系统

Publications (2)

Publication Number Publication Date
CN110506452A CN110506452A (zh) 2019-11-26
CN110506452B true CN110506452B (zh) 2021-12-03

Family

ID=61249732

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111331789.5A Pending CN114067794A (zh) 2017-02-07 2018-02-07 基于音频的负载控制系统
CN201880021333.9A Active CN110506452B (zh) 2017-02-07 2018-02-07 基于音频的负载控制系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111331789.5A Pending CN114067794A (zh) 2017-02-07 2018-02-07 基于音频的负载控制系统

Country Status (6)

Country Link
US (4) US10694608B2 (zh)
EP (1) EP3580999B1 (zh)
CN (2) CN114067794A (zh)
CA (4) CA3052978A1 (zh)
MX (2) MX2019009438A (zh)
WO (1) WO2018148315A1 (zh)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10743101B2 (en) 2016-02-22 2020-08-11 Sonos, Inc. Content mixing
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US11276395B1 (en) * 2017-03-10 2022-03-15 Amazon Technologies, Inc. Voice-based parameter assignment for voice-capturing devices
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10735479B2 (en) * 2017-03-30 2020-08-04 Intel Corporation Methods, systems and apparatus to enable voice assistant device communication
US10748531B2 (en) * 2017-04-13 2020-08-18 Harman International Industries, Incorporated Management layer for multiple intelligent personal assistant services
GB2564396B (en) * 2017-07-06 2020-12-02 Advanced Risc Mach Ltd Light animation service
JP7033713B2 (ja) * 2017-08-02 2022-03-11 パナソニックIpマネジメント株式会社 情報処理装置、音声認識システム、及び、情報処理方法
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
KR102384643B1 (ko) * 2017-08-17 2022-04-08 엘지전자 주식회사 전자 장치 및 그 제어 방법
WO2019038573A1 (en) * 2017-08-25 2019-02-28 Leong David Tuk Wai APPARATUS FOR RECOGNIZING SOUNDS
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
KR102338376B1 (ko) * 2017-09-13 2021-12-13 삼성전자주식회사 디바이스 그룹을 지정하기 위한 전자 장치 및 이의 제어 방법
US10832668B1 (en) * 2017-09-19 2020-11-10 Amazon Technologies, Inc. Dynamic speech processing
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482901B1 (en) * 2017-09-28 2019-11-19 Alarm.Com Incorporated System and method for beep detection and interpretation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
EP3698609B1 (en) * 2017-10-17 2021-02-17 Signify Holding B.V. Occupancy sensor calibration and occupancy estimation
US10880650B2 (en) * 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US20190180735A1 (en) * 2017-12-13 2019-06-13 Florida Power & Light Company Ambient sound classification based message routing for local security and remote internet query systems
US10847174B2 (en) * 2017-12-20 2020-11-24 Hubbell Incorporated Voice responsive in-wall device
US20190199545A1 (en) 2017-12-27 2019-06-27 Leviton Manufacturing Co., Inc. Wireless enabled load control device with voice controller
KR102446637B1 (ko) * 2017-12-28 2022-09-23 삼성전자주식회사 음향 출력 시스템 및 음성 처리 방법
US10631661B2 (en) * 2018-01-12 2020-04-28 Uniters S.P.A. Voice control system for manipulating seating/reclining furniture
US10512143B1 (en) * 2018-01-26 2019-12-17 Universal Lighting Technologies, Inc. Method for commissioning lighting system components using voice commands
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
JP6928842B2 (ja) * 2018-02-14 2021-09-01 パナソニックIpマネジメント株式会社 制御情報取得システム、及び、制御情報取得方法
US10685669B1 (en) 2018-03-20 2020-06-16 Amazon Technologies, Inc. Device selection from audio data
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
LU100813B1 (en) * 2018-06-05 2019-12-05 Essence Smartcare Ltd Identifying a location of a person
US10249293B1 (en) 2018-06-11 2019-04-02 Capital One Services, Llc Listening devices for obtaining metrics from ambient noise
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) * 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11087740B2 (en) * 2018-11-27 2021-08-10 Rovi Guides, Inc. Systems and methods for training a control system based on prior audio inputs
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
CN111312234A (zh) * 2018-12-11 2020-06-19 青岛海尔洗衣机有限公司 语音控制方法、云端处理器及终端设备
US10985850B1 (en) * 2018-12-12 2021-04-20 Amazon Technologies, Inc. Media distribution between electronic devices for low-latency applications
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
KR20200094843A (ko) * 2019-01-23 2020-08-10 삼성전자주식회사 외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치
JP2022523150A (ja) * 2019-02-07 2022-04-21 スタフラ,トーマス スマートスピーカ用プライバシデバイス
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US10521185B1 (en) * 2019-02-19 2019-12-31 Blackberry Limited Privacy-enabled voice-assisted intelligent automated assistant user interface device
CN110136722A (zh) * 2019-04-09 2019-08-16 北京小鸟听听科技有限公司 语音信号处理方法、装置、设备及系统
US11170783B2 (en) 2019-04-16 2021-11-09 At&T Intellectual Property I, L.P. Multi-agent input coordination
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11627425B2 (en) 2019-05-13 2023-04-11 Signify Holding B.V. Lighting device
US11200894B2 (en) * 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
CN112261764A (zh) * 2019-07-04 2021-01-22 肯舒摩照明(美国)有限责任公司 控制设备、包括该控制设备的照明设备、照明系统及其方法
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
CN110474973B (zh) * 2019-08-08 2022-02-08 三星电子(中国)研发中心 一种多设备共享智能引擎的方法、系统和设备
JPWO2021028758A1 (zh) * 2019-08-09 2021-02-18
CN110600027B (zh) * 2019-08-26 2022-12-02 深圳市丰润达科技有限公司 语音终端场景控制、应用方法、语音终端、云端及系统
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
CN111312239B (zh) * 2020-01-20 2023-09-26 北京小米松果电子有限公司 响应方法、装置、电子设备及存储介质
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) * 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
WO2021181093A1 (en) * 2020-03-10 2021-09-16 Ruane Construction Design And Consultancy Movable barrier actuating system
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
CN111370012B (zh) * 2020-05-27 2020-09-08 北京小米移动软件有限公司 一种蓝牙语音音频采集方法及系统
US20210383811A1 (en) * 2020-06-09 2021-12-09 Native Voice, Inc. Methods and systems for audio voice service in an embedded device
WO2022015830A1 (en) * 2020-07-14 2022-01-20 Lutron Technology Company Llc Lighting control system with light show overrides
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
CN112702817B (zh) * 2020-11-10 2022-12-06 苏州亚谱讯物联科技有限公司 一种基于大规模组网的多维触发本地语音控制系统
US11410676B2 (en) * 2020-11-18 2022-08-09 Haier Us Appliance Solutions, Inc. Sound monitoring and user assistance methods for a microwave oven
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN114822525A (zh) * 2021-01-29 2022-07-29 华为技术有限公司 语音控制方法和电子设备
US11573022B2 (en) * 2021-02-23 2023-02-07 Lennox Industries Inc. Sound-based HVAC system, method and device for diagnostics analysis
US11781768B2 (en) * 2021-05-28 2023-10-10 Lennox Industries Inc. Time-based and sound-based diagnostics for a heating, ventilation, and air conditioning burner assembly
WO2023056026A1 (en) * 2021-09-30 2023-04-06 Sonos, Inc. Enabling and disabling microphones and voice assistants
CN114279074B (zh) * 2021-12-02 2024-01-09 珠海格力节能环保制冷技术研究中心有限公司 一种睡眠唤醒控制方法、控制系统、空调装置、家用电器
US20230397269A1 (en) * 2022-06-05 2023-12-07 Apple Inc. Prioritized resident electronic device in home
CN117690435A (zh) * 2024-02-04 2024-03-12 深圳市索迪新创科技有限公司 用于窗帘控制的智能语音识别电开关

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378886A (zh) * 2014-11-14 2015-02-25 生迪光电科技股份有限公司 一种智能照明控制系统及方法
WO2016029156A1 (en) * 2014-08-22 2016-02-25 Lutron Electronics Co., Inc. Load control system responsive to sensors and mobile devices

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4408308A (en) 1981-06-16 1983-10-04 Ehrenreich Electronics, Inc. Sound actuated light switch
US4918717A (en) 1988-08-23 1990-04-17 Knight Protective Industries Alarm system having bidirectional communication with secured area
US6188986B1 (en) 1998-01-02 2001-02-13 Vos Systems, Inc. Voice activated switch method and apparatus
US6380696B1 (en) 1998-12-24 2002-04-30 Lutron Electronics Co., Inc. Multi-scene preset lighting controller
US6594630B1 (en) 1999-11-19 2003-07-15 Voice Signal Technologies, Inc. Voice-activated control for electrical device
NO315917B1 (no) 2002-04-09 2003-11-10 Filetrac As System og fremgangsmåte for posisjonsbestemmelse av objekter
US7024256B2 (en) 2002-06-27 2006-04-04 Openpeak Inc. Method, system, and computer program product for automatically managing components within a controlled environment
US6803728B2 (en) 2002-09-16 2004-10-12 Lutron Electronics Co., Inc. System for control of devices
US7764775B2 (en) 2005-03-30 2010-07-27 Onq/Legrand, Inc. Distributed intercom system
US7242150B2 (en) 2005-05-12 2007-07-10 Lutron Electronics Co., Inc. Dimmer having a power supply monitoring circuit
US7546473B2 (en) 2005-06-30 2009-06-09 Lutron Electronics Co., Inc. Dimmer having a microprocessor-controlled power supply
US20080278007A1 (en) * 2007-05-07 2008-11-13 Steven Clay Moore Emergency shutdown methods and arrangements
KR101310262B1 (ko) 2009-07-06 2013-09-23 엘지전자 주식회사 가전기기 진단시스템 및 그 동작방법
KR20110010374A (ko) 2009-07-24 2011-02-01 엘지전자 주식회사 가전기기 진단시스템 및 그 방법
US8664881B2 (en) 2009-11-25 2014-03-04 Lutron Electronics Co., Inc. Two-wire dimmer switch for low-power loads
JP2011170282A (ja) 2010-02-22 2011-09-01 Toshiba Corp 再生装置および再生方法
US8422889B2 (en) 2010-09-16 2013-04-16 Greenwave Reality, Pte Ltd. Noise detector in a light bulb
US9375179B2 (en) 2010-12-23 2016-06-28 Biosense Webster, Inc. Single radio-transparent connector for multi-functional reference patch
US9443511B2 (en) 2011-03-04 2016-09-13 Qualcomm Incorporated System and method for recognizing environmental sound
US9549251B2 (en) 2011-03-25 2017-01-17 Invensense, Inc. Distributed automatic level control for a microphone array
US8340975B1 (en) 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
EP2798787B1 (en) 2011-12-28 2018-10-24 Lutron Electronics Co., Inc. Load control system having independently-controlled units responsive to a broadcast controller
US20130234625A1 (en) 2012-03-06 2013-09-12 Sony Corporation Lighting control system using motion and sound
CN102902253B (zh) * 2012-10-09 2015-07-15 鸿富锦精密工业(深圳)有限公司 具有语音控制功能的智能开关及智能控制系统
US9281727B1 (en) 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
US9495955B1 (en) 2013-01-02 2016-11-15 Amazon Technologies, Inc. Acoustic model training
US9299350B1 (en) 2013-03-15 2016-03-29 Amazon Technologies, Inc. Systems and methods for identifying users of devices and customizing devices to users
JP2016524209A (ja) 2013-04-23 2016-08-12 カナリー コネクト,インコーポレイテッド セキュリティ及び/又は監視デバイス並びにシステム
US9462663B2 (en) * 2013-05-28 2016-10-04 Abl Ip Holding Llc Interactive user interface functionality for lighting devices or system
US20140376747A1 (en) 2013-06-20 2014-12-25 Qmotion Incorporated Voice control of lights and motorized window coverings
US20150053779A1 (en) * 2013-08-21 2015-02-26 Honeywell International Inc. Devices and methods for interacting with an hvac controller
US9905122B2 (en) 2013-10-07 2018-02-27 Google Llc Smart-home control system providing HVAC system dependent responses to hazard detection events
US10317923B2 (en) 2013-12-26 2019-06-11 Lutron Technology Company Llc Load-sensing remote control device for use in a load control system
US11330100B2 (en) * 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
US9196432B1 (en) 2014-09-24 2015-11-24 James Thomas O'Keeffe Smart electrical switch with audio capability
US9293134B1 (en) 2014-09-30 2016-03-22 Amazon Technologies, Inc. Source-specific speech interactions
US9318107B1 (en) * 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9812128B2 (en) * 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
US9576464B2 (en) 2014-10-28 2017-02-21 Echostar Uk Holdings Limited Methods and systems for providing alerts in response to environmental sounds
US20160125318A1 (en) 2014-11-03 2016-05-05 Canary Connect, Inc. User-Assisted Learning in Security/Safety Monitoring System
CN105848374A (zh) * 2015-01-12 2016-08-10 芋头科技(杭州)有限公司 一种灯光控制系统及方法
US20170069324A1 (en) 2015-09-08 2017-03-09 General Electric Company Voice controlled electronic kitchen assistance
CN112764402A (zh) 2015-10-30 2021-05-07 路创技术有限责任公司 调试负载控制系统
GB2544543B (en) * 2015-11-20 2020-10-07 Zuma Array Ltd Lighting and sound system
US10134399B2 (en) * 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) * 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10339769B2 (en) * 2016-11-18 2019-07-02 Google Llc Server-provided visual output at a voice interface device
TWI612472B (zh) * 2016-12-01 2018-01-21 財團法人資訊工業策進會 指令轉換方法與系統以及非暫態電腦可讀取記錄媒體
KR20180062746A (ko) * 2016-12-01 2018-06-11 삼성전자주식회사 음성 신호를 입력 또는 출력하는 램프 장치 및 상기 램프 장치의 구동 방법
US20180177029A1 (en) * 2016-12-19 2018-06-21 Pilot, Inc. Voice-controlled light bulb
US10593328B1 (en) * 2016-12-27 2020-03-17 Amazon Technologies, Inc. Voice control of remote device
US10319375B2 (en) * 2016-12-28 2019-06-11 Amazon Technologies, Inc. Audio message extraction
US10672387B2 (en) * 2017-01-11 2020-06-02 Google Llc Systems and methods for recognizing user speech
US10983753B2 (en) * 2017-06-09 2021-04-20 International Business Machines Corporation Cognitive and interactive sensor based smart home solution
US10713007B2 (en) * 2017-12-12 2020-07-14 Amazon Technologies, Inc. Architecture for a hub configured to control a second device while a connection to a remote system is unavailable
US20190199545A1 (en) * 2017-12-27 2019-06-27 Leviton Manufacturing Co., Inc. Wireless enabled load control device with voice controller
US10813195B2 (en) * 2019-02-19 2020-10-20 Signify Holding B.V. Intelligent lighting device and system
US11537359B2 (en) * 2019-03-28 2022-12-27 Microsoft Technology Licensing, Llc Self-learning digital assistant

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029156A1 (en) * 2014-08-22 2016-02-25 Lutron Electronics Co., Inc. Load control system responsive to sensors and mobile devices
CN104378886A (zh) * 2014-11-14 2015-02-25 生迪光电科技股份有限公司 一种智能照明控制系统及方法

Also Published As

Publication number Publication date
MX2022014215A (es) 2022-12-07
US11797268B2 (en) 2023-10-24
CA3155437A1 (en) 2018-08-16
US20230409282A1 (en) 2023-12-21
CN114067794A (zh) 2022-02-18
US20180228006A1 (en) 2018-08-09
CN110506452A (zh) 2019-11-26
US20200323068A1 (en) 2020-10-08
CA3155434A1 (en) 2018-08-16
WO2018148315A1 (en) 2018-08-16
CA3155437C (en) 2024-01-09
CA3155440A1 (en) 2018-08-16
US20220113936A1 (en) 2022-04-14
EP3580999A1 (en) 2019-12-18
US11216246B2 (en) 2022-01-04
CA3052978A1 (en) 2018-08-16
US10694608B2 (en) 2020-06-23
MX2019009438A (es) 2020-02-07
EP3580999B1 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
CN110506452B (zh) 基于音频的负载控制系统
US10699131B2 (en) User-upgradeable load control network
US20240038037A1 (en) Systems, methods, and devices for activity monitoring via a home assistant
EP3637243B1 (en) Customized interface based on vocal input
US10153113B2 (en) Systems and methods for occupancy prediction
US11490248B2 (en) Privacy mode for a wireless audio device
EP3776008B1 (en) Method and electronic device for ultrasonic sensing in smart devices
EP3637694B1 (en) Multi-source smart-home device control
US11367288B1 (en) User-upgradeable load control network
CA3078295C (en) Privacy mode for a wireless audio device
US20170115649A1 (en) Occupancy-Based Communication Network
US20210072378A1 (en) Systems and methods of ultrasonic sensing in smart devices
US20230281995A1 (en) Systems and methods for occupancy prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant