CN113330752A - 使用噪声分类优化网络麦克风设备 - Google Patents

使用噪声分类优化网络麦克风设备 Download PDF

Info

Publication number
CN113330752A
CN113330752A CN201980089721.5A CN201980089721A CN113330752A CN 113330752 A CN113330752 A CN 113330752A CN 201980089721 A CN201980089721 A CN 201980089721A CN 113330752 A CN113330752 A CN 113330752A
Authority
CN
China
Prior art keywords
nmd
noise
playback
metadata
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980089721.5A
Other languages
English (en)
Inventor
库尔特·托马斯·索托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonos Inc
Original Assignee
Sonos Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonos Inc filed Critical Sonos Inc
Publication of CN113330752A publication Critical patent/CN113330752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005—Audio distribution systems for home, i.e. multi-room use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本文公开了用于使用噪声分类来优化网络麦克风设备的系统和方法。在一个示例中，网络麦克风设备(NMD)的各个麦克风检测声音。分析声音数据以检测触发事件，例如唤醒词。在NMD的回溯缓冲器中捕捉与声音数据相关联的元数据。在检测到触发事件之后，分析元数据以对声音数据中的噪声进行分类。基于分类的噪声，修改NMD的至少一个性能参数。

Description

使用噪声分类优化网络麦克风设备
相关申请的交叉引用
本申请要求于2018年12月20日提交的美国专利申请No.16/227,308的优先权，其全部内容通过引用并入本文。
技术领域
本技术涉及消费品，并且更具体地，涉及针对语音可控媒体回放系统或其一些方面的方法、系统、产品、特征、服务和其他元素。
背景技术
访问和收听外放设置的数字音频的选项是有限的，直到2003年SONOS公司申请了其首批专利申请中的一件题为“Method for Synchronizing Audio Playback betweenMultiple Networked Devices”的专利申请，并在2005年开始出售媒体回放系统为止。SONOS无线高保真(HiFi)系统使人们可以通过一个或多个联网回放设备体验来自许多源的音乐。通过安装在智能电话、平板计算机或计算机上的软件控制应用，人们能够在具有联网回放设备的任何房间中播放他或她期望的内容。另外，使用控制器，例如，能够将不同的歌曲流传输到具有回放设备的每个房间，能够将房间组合在一起进行同步回放，或者可以在所有房间中同步收听相同的歌曲。
鉴于对数字媒体的兴趣日益增长，仍然需要开发一种消费者易于使用的技术以进一步增强收听体验。
附图说明
参考以下说明书、所附权利要求和附图，可以更好地理解本公开的技术的特征、方面和优点。
图1A是具有根据所公开技术的各方面配置的媒体回放系统的环境的局部剖视图。
图1B是图1A的媒体回放系统和一个或多个网络的示意图。
图2A是示例回放设备的功能框图。
图2B是图2A的回放设备的示例壳体的立体图。
图3A-3E是示出了根据本公开的方面的示例回放设备配置的图。
图4A是根据本公开的各方面的示例控制器设备的功能框图。
图4B和图4C是根据本公开的各方面的控制器接口。
图5是根据本公开的各方面的示例网络麦克风设备的某些组件的功能框图。
图6A是示例语音输入的图。
图6B是描绘根据本公开的各方面的示例声音样本的图。
图7示出了通过主分量分析定义的坐标空间中特定噪声的分离。
图8A示出了根据本公开的各方面的用于经由网络麦克风设备对噪声进行分类的示例方法。
图8B和图8C是根据本公开的各方面的控制器接口。
图9是根据本公开的各方面的示例噪声分类和网络麦克风设备适配的功能流程图。
图10是风扇噪声在不同距离处的示例频谱图。
图11是从麦克风频谱数据的主分量分析导出的基向量的示例图。
图12是用于对噪声数据进行分类的重构频谱的示例图。
图13是从群体网络麦克风设备捕捉的示例频谱分布图。
附图是出于说明示例实施例的目的，但是应当理解的是，本发明不限于附图中所示的布置和手段。在附图中，相同的附图标记识别至少大致相似的元件。为了促进对任何特定元件的讨论，任何参考数字中的一个或多个最高有效位指的是首次引入该元件的附图。例如，首先参照图1A介绍和讨论元件103a。
具体实施方式
I.概述
在“智能”家居中，语音控制可能是有益的，该“智能”家居包括连接到通信网络的智能应用和设备(例如，无线音频回放设备、照明设备和家庭自动化设备(例如，恒温器、门锁等))。在一些实施方式中，网络麦克风设备可以用于控制智能家居设备。
网络麦克风设备(“NMD”)是一种联网计算设备，通常包括麦克风的布置(例如，麦克风阵列)，该麦克风的布置被配置为检测NMD环境中存在的声音。检测到的声音可以包括与背景噪声(例如，回放设备输出的音乐或其他环境噪声)混合在一起的人的语音。实际上，NMD通常会过滤检测到的声音，以从人的语音中消除背景噪声，从而促进识别该语音是否包含表示语音控制的语音输入。如果是这样，则NMD可以基于这种语音输入来采取措施。
NMD通常采用唤醒词引擎(通常在NMD上搭载)来识别该NMD检测到的声音是否包含包括特定唤醒词的语音输入。唤醒词引擎可以被配置为使用一种或多种识别算法来识别(即，“定位(spot)”)特定唤醒词。该唤醒词识别过程通常被称为“关键词定位”。在实践中，为了帮助促进关键词定位，NMD可以缓冲NMD的麦克风检测到的声音，然后使用唤醒词引擎来处理该缓冲的声音以确定是否存在唤醒词。
当唤醒词引擎在检测到的声音中定位唤醒词时，NMD可以确定发生了唤醒词事件(即，“唤醒词触发”)，这表明NMD已检测到包括潜在语音输入的声音。唤醒词事件的发生通常会使NMD执行涉及检测到的声音的附加过程。在一些实施方式中，除其他可能的附加过程之外，这些附加过程可以包括：输出指示已经识别出唤醒词的警报(例如，可听见的铃声和/或光指示器)，以及从缓冲器提取检测到的声音数据。提取检测到的声音可以包括：根据特定格式读出并封装检测到的声音的流，并向适当的VAS发送该封装的声音数据以用于解释。
继而，与由唤醒词引擎识别的唤醒词相对应的VAS通过通信网络从NMD接收发送的声音数据。传统上，VAS采用远程服务的形式，该远程服务是使用一个或多个配置为处理语音输入的云服务器(例如，AMAZON的ALEXA、APPLE的SIRI、MICROSOFT的CORTANA、GOOGLE的ASSISTANT等)来实施的。在某些情况下，VAS的某些组件和功能可能分布在本地设备和远程设备上。附加地或备选地，VAS可以采用在NMD或包括NMD的媒体回放系统处实现的本地服务的形式，使得语音输入或某些类型的语音输入(例如，基本命令)在本地处理而无需来自远程VAS干预。
在任何情况下，当VAS接收到检测到的声音数据时，该VAS通常会处理该数据，这涉及识别语音输入并确定在该语音输入中捕捉的单词的意图。然后，VAS可以根据该确定的意图使用某指令将响应提供回NMD。根据该指令，NMD可以使一个或多个智能设备执行操作。例如，在其他示例中，根据来自VAS的指令，NMD可以使回放设备播放特定歌曲，或者使照明设备打开/关闭。在一些情况下，NMD或具有NMD的媒体系统(例如，具有配备有NMD的回放设备的媒体回放系统)可以被配置为与多个VAS交互。实际上，NMD可以基于在NMD检测到的声音中识别的特定唤醒词，选择一个VAS而不是另一个。
在一些实施方式中，被配置为网络媒体回放系统的一部分的回放设备可以包括NMD的组件和功能(即，回放设备是“配备有NMD的”)。在这方面，这种回放设备可以包括麦克风，该麦克风被配置为检测存在于该回放设备环境中的声音(例如，人们说话、该回放设备本身或附近的另一回放设备正在输出的音频或其他环境噪声)，还可以包括用于缓冲检测到的声音以促进唤醒词识别的组件。
一些配备有NMD的回放设备可以包括内部电源(例如，可充电电池)，该内部电源允许该回放设备在未物理连接至墙壁电源插座等的情况下进行操作。就这一点而言，这种回放设备在本文中可以被称为“便携式回放设备”。另一方面，被配置为依赖于来自墙壁电源插座等的电力的回放设备在本文中可以被称为“固定回放设备”，尽管这样的设备实际上可以在家庭或其他环境中移动。在实践中，人们可能经常携带便携式回放设备往返于家庭或其他环境，在所述家庭或其他环境中保留有一个或多个固定回放设备。
在一些情况下，为NMD或NMD系统(例如，回放设备的媒体回放系统)配置了多个语音服务。可以在设置过程中配置一个或多个服务，并且稍后可以为该系统配置附加语音服务。这样，NMD充当与多个语音服务的接口，也许减轻了从每个语音服务中获取NMD以便与相应语音服务进行交互的需求。此外，NMD可以与家庭中存在的服务特定的NMD协同操作，以处理给定的语音命令。
在为NMD配置两个或多个语音服务的情况下，可以通过说出与特定语音服务相对应的唤醒词来调用该特定语音服务。例如，在查询AMAZON时，用户可以说出唤醒词“Alexa”，然后再说出语音命令。其他示例包括“Ok，Google”(用于查询GOOGLE)和“Hey，Siri”(用于查询APPLE)。
在一些情况下，通用唤醒词可以用于指示向NMD输入的语音。在一些情况下，这是制造商特定的唤醒词，而不是绑定到任何特定语音服务的唤醒词(例如，“Hey，Sonos”，其中，NMD是SONOS回放设备)。给定这样的唤醒词，NMD可以识别特定的语音服务以处理请求。例如，如果在唤醒词之后的语音输入与特定类型的命令(例如，音乐回放)相关，则向与该类型的命令相关联的特定语音服务(例如，具有语音命令能力的流音乐服务)发送该语音输入。
NMD可以包括单独的麦克风阵列。在操作中，NMD从各个的麦克风中的每一个接收声音数据，然后对其进行处理以评估是否已检测到唤醒词。如上所述，如果已经检测到了唤醒词，NMD可以向VAS传递后续的音频输入以进行进一步处理。在存在噪声(例如，来自附近设施、背景对话、交通、建筑等的环境噪声)的情况下，网络麦克风设备的功能可能受到影响。噪声的存在会对下游处理产生不利影响，增加唤醒词检测的假阳性或假阴性率，和/或导致VAS的性能不佳，例如，无法准确破译和响应语音命令。
如下文更详细地描述，公开了被配置为在存在噪声的情况下增强语音输入处理的各种技术和设备。例如，在一些实施例中，可以调整NMD的一个或多个参数以提高NMD的性能。在一些实施例中，例如通过与来自用户环境或来自更大样本群体的已知噪声样本进行比较，可以对噪声进行分类。例如，可以在存在所识别的噪声类别的情况下调整唤醒词灵敏度参数。备选地或附加地，在下游处理之前，可以从所检测到的声音数据中忽略或过滤对应于所识别的家用电器噪声的特定频带。还可以调整空间处理以抑制来自特定方向(例如，来自固定家用电器)的噪声。通过基于所检测到的音频数据中的噪声特性修改NMD的性能，可以改进语音检测和下游处理。
在一些实施例中，NMD向远程计算设备提供声音元数据(例如，频谱数据、信号电平、方向检测等)以用于评估和噪声分类。为保护用户隐私，仅依赖不透露原始音频内容(例如，所录制的话音输入或所检测到的其他声音数据的内容)的声音元数据会很有用。在仅能访问声音元数据的情况下，NMD可以通过使原始音频信号无法辨认的方式从所检测到的声音数据中导出声音元数据。例如，通过将声音元数据限制为在许多采样帧上平均的频域信息而不是时域信息，NMD可以使所检测到的原始声音数据无法经由声音元数据辨认。在操作中，NMD可以收集声音元数据并向远程评估器的一个或多个计算设备发送该元数据以进行评估和比较。然后，远程评估器可以评估声音元数据以识别声音元数据的任何特征，该特征指示噪声或可能导致NMD性能下降的其他因素。如此，在一些实施例中，系统可以通过向远程评估器发送所记录的音频内容来对环境中的噪声进行检测和分类而不侵犯用户隐私。
尽管本文所述的一些实施例可以涉及由给定的行动者(例如，“用户”和/或其他实体)执行的功能，但是应当理解的是，该描述仅出于解释的目的。除非权利要求本身的语言明确要求，否则不应将权利要求解释为要求任何此类示例行动者进行动作。
II.示例操作环境
图1A和1B示出了媒体回放系统100(或“MPS 100”)的示例配置，在媒体回放系统100中可以实现本文公开的一个或多个实施例。首先参考图1A，所示的MPS 100与具有多个房间和空间的示例家居环境相关联，其可以被统称为“家居环境”、“智能家居”或“环境101”。环境101包括具有若干个房间、空间和/或回放地区的家庭，包括主浴室101a、主卧室101b(在本文中被称为“尼克的房间”)、第二卧室101c、家庭房或书房101d、办公室101e、客厅101f、餐厅101g、厨房101h和室外庭院101i。尽管下文在家居环境的上下文中描述了某些实施例和示例，但是本文所述的技术可以在其他类型的环境中实现。在一些实施例中，例如，MPS 100可以在一个或多个商业设置(例如，餐厅、购物中心、机场、酒店、零售店或其他商店)、一个或多个交通工具(例如，运动型多功能车、巴士、汽车、轮船、轮船、飞机)、多个环境(例如，家庭和交通工具环境的组合)和/或可能需要多地区音频的其他合适环境中实现。
在这些房间和空间中，MPS 100包括一个或多个计算设备。一起参考图1A和1B，这样的计算设备可以包括：回放设备102(分别识别为回放设备102a-102o)、网络麦克风设备103(分别识别为“NMD”103a-102i)以及控制器设备104a和104b(统称为“控制器设备104”)。参照图1B，家居环境可以包括附加和/或其他计算设备，包括本地网络设备，例如，一个或多个智能照明设备108(图1B)、智能恒温器110和本地计算设备105(图1A)。在下文所述的实施例中，各种回放设备102中的一个或多个可以被配置为便携式回放设备，而其他回放设备可以被配置为固定回放设备。例如，耳机102o(图1B)是便携式回放设备，而书架上的回放设备102d可以是固定设备。作为另一示例，庭院上的回放设备102c可以是电池供电的设备，允许其在未插入墙壁插座时被运输到环境101内以及环境101外部的各个区域。
仍参考图1B，MPS 100的各种回放、网络麦克风和控制器设备102-104和/或其他网络设备可以通过点对点连接和/或通过其他连接彼此耦合，该其他连接可以通过包括网络路由器109的LAN 111进行有线和/或无线连接。例如，可以被指定为“左”设备的书房101d(图1A)中的回放设备102j可以与回放设备102a具有点对点连接，该回放设备102a也在书房101d中并且可以被指定为“右”设备。在相关实施例中，左回放设备102j可以通过点对点连接和/或通过经由LAN111的其他连接与其他网络设备(例如，回放设备102b)通信，该其他网络设备可以被指定为“前”设备。
如图1B进一步所示，MPS 100可以通过广域网(“WAN”)107耦合到一个或多个远程计算设备106。在一些实施例中，每个远程计算设备106可以采取一个或多个云服务器的形式。远程计算设备106可以被配置为以各种方式与环境101中的计算设备进行交互。例如，远程计算设备106可以被配置为在家居环境101中促进流传输和/或控制媒体内容(例如，音频)的回放。
在一些实施方式中，各种回放设备、NMD和/或控制器设备102-104可以通信地耦合到与VAS相关联的至少一个远程计算设备和与媒体内容服务(“MCS”)相关联的至少一个远程计算设备。例如，在图1B的所示示例中，远程计算设备106a与VAS 190相关联，并且远程计算设备106b与MCS 192相关联。尽管为了清楚起见在图1B的示例中仅示出了单个VAS 190和单个MCS 192，但是MPS 100可以耦合到多个不同的VAS和/或MCS。在一些实施方式中，VAS可以由AMAZON、GOOGLE、APPLE、MICROSOFT、SONOS或其他语音助手提供商中的一个或多个来操作。在一些实施方式中，MCS可以由SPOTIFY、PANDORA、AMAZON MUSIC或其他媒体内容服务中的一个或多个来操作。
如图1B进一步所示，远程计算设备106还包括远程计算设备106c，该远程计算设备106c被配置为执行某些操作，例如，远程促进媒体回放功能、管理设备和系统状态信息、指导MPS 100的设备与一个或多个VAS和/或MCS之间的通信，以及其他操作。在一个示例中，远程计算设备106c为一个或多个SONOS无线HiFi系统提供云服务器。
在各种实施方式中，一个或多个回放设备102可以采用板载(例如，集成的)网络麦克风设备的形式或包括板载(例如，集成的)网络麦克风设备。例如，回放设备102a-e分别包括或以其他方式配备有对应的NMD 103a-e。除非在说明书中另外指出，否则包括或配备有NMD的回放设备在本文中可以互换地被称为回放设备或NMD。在一些情况下，一个或多个NMD103可以是独立设备。例如，NMD 103f和103g可以是独立设备。独立NMD可以省略通常包括在回放设备中的组件和/或功能，例如，扬声器或相关电子设备。例如，在这种情况下，独立NMD可能不会产生音频输出或可能会产生有限的音频输出(例如，相对低质量的音频输出)。
MPS 100的各种回放和网络麦克风设备102和103均可以与唯一名称相关联，该唯一名称可以例如在设置这些设备中的一个或多个期间由用户分配给相应设备。例如，如图1B的所示示例所示，用户可以将名称“书架”分配给回放设备102d，因为它实际上位于书架上。类似地，可以将名称“岛”分配给NMD 103f，因为它实际上位于厨房101h(图1A)中的岛台面上。可以根据地区或房间为一些回放设备分配名称，例如，回放设备102e、1021、102m和102n，它们分别被命名为“卧室”、“餐厅”、“客厅”和“办公室”。此外，某些回放设备可以具有功能描述性名称。例如，回放设备102a和102b分别被分配了名称“右”和“前”，因为这两个设备被配置为在媒体回放期间在书房101d(图1A)的地区中提供特定的音频声道。庭院中的回放设备102c可以被命名为便携式设备，因为它是电池供电的和/或易于运输到环境101的不同区域。其他命名约定也是可能的。
如上所述，NMD可以检测和处理来自其环境的声音，例如，包括背景噪声的声音，该背景噪声与该NMD附近的人说出的话音混合。例如，当NMD在环境中检测到声音时，该NMD可以处理检测到的声音以确定该声音是否包括语音，该语音包含用于该NMD并最终用于特定VAS的语音输入。例如，NMD可以识别话音是否包括与特定VAS相关联的唤醒词。
在图1B的所示示例中，NMD 103被配置为经由LAN 111和路由器109通过网络与VAS190交互。例如，当NMD在检测到的声音中识别出潜在唤醒词时，可以发起与VAS 190的交互。该识别导致唤醒词事件，这又导致NMD开始向VAS 190发送检测到的声音数据。在一些实施方式中，MPS 100的各种本地网络设备102-105(图1A)和/或远程计算设备106c可以与远程计算设备交换各种反馈、信息、指令和/或相关数据，该远程计算设备与所选择的VAS相关联。这样的交换可以与包含语音输入的发送消息有关或独立于该消息。在一些实施例中，远程计算设备和媒体回放系统100可以经由如本文所述的通信路径和/或使用如在2017年2月21日提交的美国申请No.15/438,749中所述的元数据交换信道来交换数据，该美国申请题为“Voice Control of a Media Playback System”，其全部内容通过引用并入本文。
在接收到声音数据流之后，VAS 190确定来自NMD的流数据中是否存在语音输入，如果存在，则VAS 190还将确定该语音输入中的潜在意图。VAS 190接下来可以将响应发送回MPS 100，这可以包括直接向导致唤醒词事件的NMD发送该响应。该响应通常基于VAS 190确定的存在于语音输入中的意图。作为示例，响应于VAS 190接收到发声为“播放披头士乐队的Hey Jude”的语音输入，VAS 190可以确定该语音输入的基本意图是发起回放，并进一步确定该语音输入的意图是播放特定歌曲“Hey Jude”。在这些确定之后，VAS 190可以向特定MCS 192发送命令以取回内容(即，歌曲“Hey Jude”)，并且，该MCS 192进而直接向MPS100提供(例如，流)这个内容或间接经由VAS 190提供。在一些实施方式中，VAS 190可以向MPS 100发送命令，该命令使MPS 100自身从MCS 192取回内容。
在某些实施方式中，当在由彼此相互接近的两个或更多个NMD检测到的语音中识别出语音输入时，NMD可以促进彼此之间的仲裁。例如，环境101(图1A)中配备有NMD的回放设备102d与配备有NMD的客厅回放设备102m相对接近，并且设备102d和102m两者都可以至少有时检测到相同的声音。在这种情况下，这可能需要仲裁，以确定最终由哪个设备负责向远程VAS提供检测到的声音数据。例如，可以在先前引用的美国申请No.15/438,749中找到在NMD之间进行仲裁的示例。
在某些实施方式中，NMD可以被分配给可能不包含NMD的指定的或默认的回放设备，或以其他方式与该回放设备相关联。例如，可以将厨房101h(图1A)中的岛NMD 103f分配给与该岛NMD 103f相对接近的餐厅回放设备1021。在实践中，响应于远程VAS接收到来自NMD的语音输入以播放音频，NMD可以指示分配的回放设备播放音频，该NMD可能已经响应于用户说出的命令而向该VAS发送语音输入以播放特定的歌曲、专辑、播放列表等。例如，在先前引用的美国专利申请No.15/438,749中可以找到关于将NMD和回放设备分配为指定设备或默认设备的附加细节。
可以在以下部分中找到与示例MPS 100的不同组件以及不同组件可以如何交互以向用户提供媒体体验有关的其他方面。尽管本文的讨论可以通常涉及示例MPS 100，但本文描述的技术不限于尤其上述家居环境中的应用。例如，本文所述的技术在其他家居环境配置中可能是有用的，该其他家居环境配置包括更多或更少的回放/网络麦克风和/或控制器设备102-104中的任何一个。例如，本文的技术可以在具有单个回放设备102和/或单个NMD103的环境中使用。在这种情况的一些示例中，LAN 111(图1B)可以被消除，并且单个回放设备102和/或单个NMD 103可以直接地与远程计算设备106a-d通信。在一些实施例中，电信网络(例如，LTE网络、5G网络等)可以独立于LAN与各种回放设备102、网络麦克风设备103和/或控制器设备104通信。
a.示例回放和网络麦克风设备
图2A是示出了图1A和图1B的MPS 100的回放设备102之一的某些方面的功能框图。如图所示，回放设备102包括各种组件，下文进一步详细时论每个组件，并且回放设备102的各种组件可以通过系统总线、通信网络或某个其他连接机制可操作地彼此耦合。在图2A的所示示例中，回放设备102可以被称为“配备有NMD”的回放设备，因为它包括支持NMD功能的组件，例如，图1A中所示的NMD103之一。
如图所示，回放设备102包括至少一个处理器212，该处理器212可以是时钟驱动的计算组件，该计算组件被配置为根据存储在存储器213中的指令来处理输入数据。存储器213可以是有形的、非暂时性的计算机可读介质，其被配置为存储可由处理器212执行的指令。例如，存储器213可以是数据存储设备，其可以加载有可由处理器212执行以实现某些功能的软件代码214。
在一个示例中，这些功能可以涉及回放设备102从音频源获取音频数据，该音频源可以是另一回放设备。在另一示例中，该功能可以涉及回放设备102通过至少一个网络接口224向网络上的另一设备发送音频数据、检测到的声音数据(例如，对应于语音输入)和/或其他信息。在又一示例中，该功能可以涉及回放设备102使一个或多个其他回放设备与回放设备102同步地回放音频。在又一示例中，该功能可以涉及回放设备102促进与一个或多个其他回放设备配对或以其他方式绑定以创建多声道音频环境。许多其他示例功能也是可能的，下面讨论其中一些功能。
如刚刚提到的，某些功能可以涉及回放设备102与一个或多个其他回放设备同步回放音频内容。在同步回放期间，听众可能无法感知同步回放设备在音频内容回放之间的时间延迟差异。通过引用整体并入本文的2004年4月4日提交的题为“System and methodfor synchronizing operations among a plurality of independently clockeddigital data processing devices”的美国专利No.8,234,395，更详细地提供了回放设备之间的音频回放同步的一些示例。
为了促进音频回放，回放设备102包括音频处理组件216，该音频处理组件216通常被配置为在回放设备102呈现音频之前处理该音频。在这方面，音频处理组件216可以包括一个或多个数模转换器(“DAC”)、一个或多个音频预处理组件、一个或多个音频增强组件、一个或多个数字信号处理器(“DSP”)等。在一些实施方式中，一个或多个音频处理组件216可以是处理器212的子组件。在操作中，音频处理组件216接收模拟和/或数字音频，并且处理和/或有意更改音频以产生音频信号进行播放。
然后，可以向一个或多个音频放大器217提供产生的音频信号，以通过可操作地耦合到放大器217的一个或多个扬声器218进行放大和回放。音频放大器217可以包括被配置为将音频信号放大到用于驱动一个或多个扬声器218的电平的组件。
扬声器218中的每一个可以包括单独的传感器(例如，“驱动器”)，或者扬声器218可以包括完整的扬声器系统，该扬声器系统包括具有一个或多个驱动器的外壳。扬声器218的特殊驱动器可以包括例如重低音扬声器(例如，用于低频)、中频段驱动器(例如，用于中频)和/或高音扬声器(例如，用于高频)。在一些情况下，换能器可以由音频放大器217的各个对应的音频放大器驱动。在一些实施方式中，回放设备可以不包括扬声器218，而是可以包括用于将该回放设备连接到外部扬声器的扬声器接口。在某些实施例中，回放设备可以既不包括扬声器218也不包括音频放大器217，而是可以包括用于将该回放设备连接到外部音频放大器或视听接收机的音频接口(未示出)。
除了产生用于由回放设备102回放的音频信号之外，音频处理组件216可以被配置为处理要通过网络接口224向一个或多个其他回放设备发送以进行回放的音频。在示例场景中，如下所述，可以例如通过回放设备102(未示出)的音频线路输入接口(例如，自动检测3.5mm音频线路输入连接)或通过网络接口224从外部源接收要由回放设备102处理和/或回放的音频内容。
如图所示，至少一个网络接口224可以采取一个或多个无线接口225和/或一个或多个有线接口226的形式。无线接口可以为回放设备102提供网络接口功能，以根据通信协议(例如，任何无线标准，包括IEEE 802.11a、802.11b、802.11g、802.11n、802.11ac、802.15、4G移动通信标准等)与其他设备(例如，其他回放设备、NMD和/或控制器设备)无线通信。有线接口可以为回放设备102提供网络接口功能，以根据通信协议(例如，IEEE802.3)通过有线连接与其他设备进行通信。尽管图2A中所示的网络接口224包括有线接口和无线接口，但是在一些实施方式中，回放设备102可以仅包括无线接口或仅包括有线接口。
通常，网络接口224促进回放设备102与数据网络上的一个或多个其他设备之间的数据流。例如，回放设备102可以被配置为通过数据网络从一个或多个其他回放设备、LAN内的网络设备和/或WAN(例如，互联网)上的音频内容源接收音频内容。在一个示例中，回放设备102发送和接收的音频内容和其他信号可以以数字数据包数据的形式来发送，该数字数据包数据包括基于互联网协议(IP)的源地址和基于IP的目的地地址。在这种情况下，网络接口224可以被配置为解析数字数据包数据，使得去往回放设备102的数据被回放设备102正确地接收和处理。
如图2A所示，回放设备102还包括可操作地耦合到一个或多个麦克风222的语音处理组件220。麦克风222被配置为检测回放设备102的环境中的声音(即，声波)，然后将其提供给语音处理组件220。更具体地，每个麦克风222被配置为检测声音并将该声音转换成表示检测到的声音的数字或模拟信号，然后这可以使语音处理组件220基于检测到的声音执行各种功能，如下文更详细地描述。在一个实施方式中，麦克风222被布置为麦克风阵列(例如，六个麦克风的阵列)。在一些实施方式中，回放设备102包括六个以上麦克风(例如，八个麦克风或十二个麦克风)或少于六个麦克风(例如，四个麦克风、两个麦克风或单个麦克风)。
在操作中，语音处理组件220通常被配置为检测和处理通过麦克风222接收到的声音，识别检测到的声音中潜在的语音输入，并提取检测到的声音数据以启用VAS(例如，VAS190(图1B))，以处理在检测到的声音数据中识别的语音输入。语音处理组件220可以包括一个或多个模数转换器、回声消除器(“AEC”)、空间处理器(例如，一个或多个多声道维纳滤波器、一个或多个其他滤波器和/或一个或多个波束形成器组件)、一个或多个缓冲器(例如，一个或多个循环缓冲器)、一个或多个唤醒词引擎、一个或多个语音提取器和/或一个或多个话音处理组件(例如，被配置为识别与家庭相关联的特定用户或特定用户组的语音的组件)以及其他示例语音处理组件。在示例实施方式中，语音处理组件220可以包括或者采取一个或多个DSP或DSP的一个或多个模块的形式。在这方面，某些语音处理组件220可以被配置有特定参数(例如，增益和/或频谱参数)，该特定参数可以被修改或以其他方式被调谐以实现特定功能。在一些实施方式中，一个或多个语音处理组件220可以是处理器212的子组件。
在一些实施方式中，语音处理组件220可以检测并存储用户语音简档，该用户语音简档可以与MPS 100的用户帐户相关联。例如，语音简档可以被存储为变量和/或与存储在命令信息集合或数据表中的变量进行比较。语音简档可以包括用户语音的音调或频率方面和/或用户语音的其他独特方面，例如，先前引用的美国专利申请No.15/438,749中所述的那些。
如图2A进一步所示，回放设备102还包括电源组件227。电源组件227至少包括外部电源接口228，该外部电源接口228可以通过将回放设备102物理地连接至电源插座或某个其他外部电源的电缆等来耦合到电源(未示出)。其他电源组件可以包括例如变压器、转换器以及被配置为格式化电源的类似组件。
在一些实施方式中，回放设备102的电源组件227可以附加地包括内部电源229(例如，一个或多个电池)，该内部电源229被配置为在未物理连接到外部电源的情况下为回放设备102供电。当配备有内部电源229时，回放设备102可以独立于外部电源进行操作。在一些这样的实施方式中，外部电源接口228可以被配置为促进对内部电源229的充电。如之前所讨论的，包括内部电源的回放设备在本文中可以被称为“便携式回放设备”。另一方面，使用外部电源操作的回放设备在本文中可以被称为“固定回放设备”，尽管这种设备实际上可以在家庭或其他环境中移动。
回放设备102还包括用户界面240，该用户界面240可以独立于或与一个或多个控制器设备104所促进的用户交互相结合来促进用户交互。在各种实施例中，用户界面240包括一个或多个物理按钮和/或支持在触敏屏幕和/或表面上提供的图形界面等，以便用户直接提供输入。用户界面240还可以包括灯(例如，LED)和扬声器中的一个或多个，以向用户提供视觉和/或音频反馈。
作为说明性示例，图2B示出了回放设备102的示例性外壳230，在外壳230的顶部234处包括控制区域232形式的用户界面。控制区域232包括用于控制音频回放、音量水平和其他功能的按钮236a-c。控制区域232还包括用于将麦克风222切换到开启状态或关闭状态的按钮236d。
如图2B进一步所示，控制区域232至少部分地由形成在外壳230的顶部234中的孔围绕，麦克风222(在图2B中不可见)通过该孔接收回放设备102的环境中的声音。麦克风222可以沿着顶部234或外壳230的其他区域和/或在顶部230或外壳230的其他区域内的各种位置中布置，以便从相对于回放设备102的一个或多个方向检测声音。
举例来说，SONOS公司目前提供(或已经提供)销售可以实现本文公开的某些实施例的某些回放设备，包括“PLAY：1”、“PLAY：3”、“PLAY：5”、“PLAYBAR”、“CONNECT：AMP”、“PLAYBASE”、“BEAM”、“CONNECT”和“SUB”。任何其他过去、现在和/或将来的回放设备可以附加地或备选地用于实现本文公开的示例实施例的回放设备。此外，应当理解的是，回放设备不限于图2A或图2B所示的示例或SONOS产品供应。例如，回放设备可以包括有线或无线耳机集合，或者以其他方式采取有线或无线耳机集合的形式，该耳机集合可以通过网络接口等作为媒体回放系统100的一部分进行操作。在另一示例中，回放设备可以包括个人移动媒体回放设备的扩展基座，或与其交互。在又一示例中，回放设备可以集成到另一设备或组件，例如，电视、照明器材或在室内或室外使用的一些其他设备。
b.示例回放设备配置
图3A-3E示出了回放设备的示例配置。首先参考图3A，在一些示例实例中，单个回放设备可以属于一个地区。例如，庭院(Patio)上的回放设备102c可以属于A地区。在以下所述的一些实施方式中，多个回放设备可以被“绑定”以形成“绑定对”，它们一起形成单个地区。例如，可以将图3A中名为“床1”的回放设备102f(图1A)绑定到图3A中名为“床2”的回放设备102g(图1A)以形成B地区。绑定的回放设备可以具有不同的回放职责(例如，声道职责)。在以下所述的另一实施方式中，多个回放设备可以被合并以形成单个地区。例如，可以将名为“书架”的回放设备102d与名为“客厅”的回放设备102m合并以形成单个地区C。合并的回放设备102d和102m可以不被具体地分配不同的回放职责。即，合并的回放设备102d和102m除了可以同步播放音频内容之外，还可以如未合并时那样各自播放音频内容。
为了控制的目的，MPS 100中的每个地区可以被表示为单个用户界面(“UI”)实体。例如，如控制器设备104所显示的，A地区可以被提供为名为“便携”的单个实体，B地区可以被提供为名为“立体声”的单个实体，以及C地区可以被提供为名为“客厅”的单个实体。
在各种实施例中，一个地区可以采用属于该地区的回放设备之一的名称。例如，C地区可以采用客厅设备102m的名称(如图所示)。在另一示例中，C地区可以采用书架设备102d的名称。在另一示例中，C地区可以采用书架设备102d和客厅设备102m的某种组合的名称。用户可以通过控制器设备104处的输入来选定所选择的名称。在一些实施例中，可以将地区命名为与属于该地区的设备不同的名称。例如，图3A中的B地区被命名为“立体声”，但是B地区中的所有设备都没有此名称。在一方面，B地区是表示名为“立体声”的单个设备的单个UI实体，该单个设备由名为“床1”和“床2”的组成设备组成。在一个实施方式中，床1设备可以是主卧室101h(图1A)中的回放设备102f，并且床2设备也可以是主卧室101h(图1A)中的回放设备102g。
如上所述，绑定的回放设备可以具有不同的回放职责，例如，某些音频声道的回放职责。例如，如图3B所示，床1和床2设备102f和102g可以被绑定，以产生或增强音频内容的立体声效果。在该示例中，床1回放设备102f可以被配置为播放左声道音频分量，而床2回放设备102g可以被配置为播放右声道音频分量。在一些实施方式中，这种立体声绑定可以被称为“配对”。
另外，被配置为被绑定的回放设备可以具有附加的和/或不同的各自的扬声器驱动器。如图3C所示，可以将名为“前”的回放设备102b与名为“SUB”的回放设备102k绑定。前设备102b可以呈现中高频范围，而SUB设备102k可以呈现低频，例如，重低音扬声器。当未绑定时，前设备102b可以被配置为呈现整个频率范围。作为另一示例，图3D示出了分别与右回放设备102a和左回放设备102j进一步绑定的前设备102b和SUB设备102k。在一些实施方式中，右设备102a和左设备102j可以形成家庭影院系统的环绕或“卫星”声道。绑定的回放设备102a、102b、102j和102k可以形成单个D地区(图3A)。
在一些实施方式中，回放设备也可以被“合并”。与某些绑定的回放设备相比，合并的回放设备可以没有分配回放职责，但可以分别呈现每个回放设备能够回放的音频内容的全部范围。然而，合并的设备可以被表示为单个UI实体(即，如上所述的地区)。例如，图3E示出了客厅中的回放设备102d和102m的合并，这将导致这些设备由C地区的单个UI实体表示。在一个实施例中，回放设备102d和102m可以同步回放音频，在此期间，每个回放设备输出每个相应的回放设备102d和102m能够呈现的完整范围的音频内容。
在一些实施例中，独立NMD本身可以在一个地区中。例如，来自图1A的NMD 103h被命名为“壁橱”，并形成图3A中的I地区。NMD也可以与其他设备绑定或合并，以形成地区。例如，可以将名为“岛”的NMD设备103f与回放设备102i厨房绑定，两者一起形成F地区，该F地区也被命名为“厨房”。例如，在先前引用的美国专利申请No.15/438,749中可以找到关于将NMD和回放设备分配为指定设备或默认设备的附加细节。在一些实施例中，可以不将独立NMD分配给地区。
单个、绑定和/或合并的设备的地区可以被布置为形成一组同步回放音频的回放设备。这样的一组回放设备可以被称为“组”、“地区组”、“同步组”或“回放组”。响应于通过控制器设备104提供的输入，可以动态地对回放设备进行分组和取消分组以形成同步回放音频内容的新的或不同的组。例如，参考图3A，A地区可以与B地区分在一组，以形成地区组，该地区组包括两个地区的回放设备。作为另一示例，A地区可以与一个或多个其他地区C-I分在一组。A-I地区可以以多种方式进行分组和取消分组。例如，可以将三个、四个、五个或更多个(例如，全部)地区A-I分在一组。如先前参考的美国专利No.8,234,395中所述，当被分在一组时，各个和/或绑定的回放设备的地区可以彼此同步地回放音频。分在一组并绑定的设备是便携和固定回放设备之间的关联的示例类型，其可以响应于触发事件而引起，如上文所讨论并且在下文更详细地描述。
在各种实施方式中，可以为环境中的地区分配特定名称，该特定名称可以是地区组内的地区的默认名称或地区组内的地区的名称的组合，例如，如图3A所示的“餐厅+厨房”。在一些实施例中，还可以将对区组命名为由用户选择的唯一名称，例如，如图3A所示的“尼克的房间”。名称“尼克的房间”可以是用户在该地区组的先前名称上选择的名称，例如，房间名称“主卧室”。
再次参考图2A，某些数据可以作为一个或多个状态变量被存储在存储器213中，该状态变量被周期性地更新并且用于描述回放地区、回放设备和/或关联的地区组的状态。存储器213还可以包括与媒体回放系统100的其他设备的状态相关联的数据，其可以不时地在设备之间共享，使得一个或多个设备具有与该系统相关联的最新数据。
在一些实施例中，回放设备102的存储器213可以存储与状态相关联的各种变量类型的实例。变量实例可以与对应于类型的标识符(例如，标签)一起存储。例如，某些标识符可以是用于识别地区的回放设备的第一类型“a1”、用于识别可以绑定在该地区中的回放设备的第二类型“b1”和用于识别该地区可能所属的地区组的第三类型“c1”。作为相关示例，在图1A中，与庭院相关联的标识符可以指示该庭院是特定地区的唯一回放设备，而不是在地区组中。与客厅相关联的标识符可以指示该客厅没有与其他地区分在一组，而是包括绑定的回放设备102a、102b、102j和102k。与餐厅(Dining Room)相关联的标识符可以指示该餐厅是餐厅(Dining Room)+厨房(Kitchen)组的一部分，并且设备103f和102i被绑定。由于厨房是餐厅+厨房地区组的一部分，因此与该厨房关联的标识符可以指示相同或相似的信息。其他示例地区变量和标识符如下所述。
在又一示例中，如图3A所示，MPS 100可以包括表示地区和地区组的其他关联的变量或标识符，例如，与区域相关联的标识符。区域可以涉及地区组和/或不在地区组内的地区的集群。例如，图3A示出了名为“第一区域”的第一区域和名为“第二区域”的第二区域。第一区域包括庭院、书房、餐厅、厨房和浴室的地区和地区组。第二区域包括浴室、尼克的房间、卧室和客厅的对区和地区组。在一个方面，区域可以用于调用地区组和/或地区的集群，其共享另一集群的一个或多个地区和/或地区组。在这方面，这样的区域不同于地区组，该地区组不与另一地区组共享地区。用于实现区域的技术的其他示例可以在例如2017年8月21日提交的题为“Room Association Based on Name”的美国申请No.15/682,506和2007年9月11日提交的题为“Controlling and manipulating groupings in a multi-zonemedia system”的美国专利No.8,483,853中找到。这些申请中的每一个通过引用整体并入本文。在一些实施例中，MPS 100可以不实现区域，在这种情况下，系统可以不存储与区域相关联的变量。
存储器213还可以被配置为存储其他数据。这样的数据可以属于回放设备102可访问的音频源或该回放设备(或一些其他回放设备)可以与之关联的回放队列。在以下所述的实施例中，存储器213被配置为在处理语音输入时存储用于选定特定VAS的命令数据集合。
在操作期间，图1A环境中的一个或多个回放地区可能每个都在播放不同的音频内容。例如，用户可能正在庭院地区烧烤并收听由回放设备102c播放的嘻哈音乐，而另一用户可能正在厨房地区中准备食物并收听由回放设备102i播放的古典音乐。在另一示例中，回放地区可以与另一回放地区同步地播放相同的音频内容。例如，用户可以在办公室地区中，其中，回放设备102n正在播放与庭院地区中的回放设备102c正在播放的嘻哈音乐相同的音乐。在这种情况下，回放设备102c和102n可以同步地播放嘻哈音乐，使得用户可以在不同回放地区之间移动时无缝地(或者至少基本上无缝地)欣赏被外放的音频内容。可以以类似于如先前引用的美国专利No.8,234,395中所述的回放设备之间的同步的方式来实现回放地区之间的同步。
如上所述，可以动态地修改MPS 100的地区配置。因此，MPS 100可以支持多种配置。例如，如果用户将一个或多个回放设备物理地移入或移出地区，则可以将MPS 100重新配置以适应变化。例如，如果用户将回放设备102c从庭院地区物理地移动到办公室地区，则办公室地区现在可以包括回放设备102c和102n。在一些情况下，用户可以使用例如控制器设备104之一和/或语音输入来将移动的回放设备102c与办公室地区配对或分在一组和/或重命名办公室地区中的播放器。作为另一示例，如果将一个或多个回放设备102移动到家居环境中还不是回放地区的特定空间，则可以将移动的回放设备重命名或与该特定空间的回放地区相关联。
此外，MPS 100的不同回放地区可以被动态地组合成区组或划分成单独的回放地区。例如，餐厅地区和厨房地区可以被组合成用于宴会的地区组，使得回放设备102i和1021可以同步地呈现音频内容。作为另一示例，可以将书房地区中的绑定的回放设备分为(i)电视地区和(ii)分离的收听地区。电视地区可以包括前回放设备102b。收听地区可以包括右回放设备102a、左回放设备102j和低音炮(SUB)回放设备102k，如上所述，它们可以被分成一组、配对或合并。以这种方式划分书房地区可以允许一个用户在客厅空间的一个区域中的收听地区中收听音乐，而另一用户在客厅空间的另一区域中观看电视。在相关示例中，用户可以在将书房地区划分为电视地区和收听地区之前，利用NMD 103a或103b(图1B)中的任何一个来控制书房地区。一旦划分，可以例如由NMD 103a附近的用户控制收听地区，并且可以例如由NMD 103b附近的用户控制电视地区。然而，如上所述，任何NMD 103可以被配置为控制MPS 100的各种回放设备和其他设备。
c.示例控制器设备
图4A是示出了图1A的MPS 100的所选控制器设备104中的一个的某些方面的功能框图。这样的控制器设备在本文中也可以被称为“控制设备”或“控制器”。图4A中所示的控制器设备可以包括通常类似于上述网络设备的某些组件的组件，例如，处理器412、存储程序软件414的存储器413、至少一个网络接口424以及一个或多个麦克风422。在一个示例中，控制器设备可以是用于MPS 100的专用控制器。在另一示例中，控制器设备可以是可以在其上安装媒体回放系统控制器应用软件的网络设备，例如，iPhoneTM、iPadTM或任何其他智能电话、平板电脑或网络设备(例如，联网计算机(例如，PC或MacTM))。
控制器设备104的存储器413可以被配置为存储控制器应用软件和与MPS 100和/或系统100的用户相关联的其他数据。存储器413可以加载有软件414中的指令，该指令可由处理器412执行以实现某些功能，例如，促进MPS 100的用户访问、控制和/或配置。如上所述，控制器设备104被配置为通过网络接口424与其他网络设备通信，该网络接口424可以采取无线接口的形式。
在一个示例中，系统信息(例如，状态变量)可以通过网络接口424在控制器设备104和其他设备之间传送。例如，控制器设备104可以从回放设备、NMD或另一网络设备接收MPS 100中的回放地区和地区组配置。类似地，控制器设备104可以通过网络接口424向回放设备或另一网络设备发送这样的系统信息。在一些情况下，另一网络设备可以是另一控制器设备。
控制器设备104还可以通过网络接口424向回放设备传送回放设备控制命令，例如，音量控制和音频回放控制。如上所述，也可以由用户使用控制器设备104来执行对MPS100的配置更改。配置更改可以包括：将一个或多个回放设备添加到地区/从地区中删除；将一个或多个地区添加到地区组/从地区组中删除；形成绑定或合并的播放器；将一个或多个回放设备与绑定或合并的播放器分离等。
如图4A中所示，控制器设备104还包括用户界面440，该用户界面440通常被配置为促进用户对MPS 100的访问和控制。用户界面440可以包括触摸屏显示器或其他物理接口，该触摸屏显示器或其他物理接口被配置为提供各种图形控制器界面，例如，图4B和4C中所示的控制器界面440a和440b。一起参考图4B和图4C，控制器界面440a和440b包括回放控制区442、回放地区区443、回放状态区444、回放队列区446和源区448。所示的用户界面仅是可以在网络设备(例如，图4A所示的控制器设备)上提供、并且由用户访问以控制媒体回放系统(例如，MPS 100)的界面的一个示例。备选地，可以在一个或多个网络设备上实现变化的格式、样式和交互序列的其他用户界面，以提供对媒体回放系统的类似的控制访问。
回放控制区442(图4B)可以包括可选择图标(例如，通过触摸或通过使用光标)，当其被选择时，使所选择的回放地区或地区组中的回放设备播放或暂停、快进、快退、跳到下一个、跳到前一个、进入/退出随机播放模式、进入/退出重复模式、进入/退出交叉淡入淡出模式等。回放控制区442还可以包括可选择图标，当其被选择时，修改均衡设置、回放音量等。
回放地区区443(图4C)可以包括MPS 100内的回放地区的表示。如图所示，回放地区区443还可以包括地区组的表示，例如，餐厅+厨房地区组。在一些实施例中，回放地区的图形表示可以是可选择的，以调出附加的可选择图标来管理或配置MPS 100中的回放地区，例如，绑定地区的创建、地区组的创建、地区组的分离以及地区组的重命名等。
例如，如图所示，可以在回放地区的每个图形表示内提供“分组”图标。在特定地区的图形表示内提供的“分组”图标可以是可选择的，以调出用于选择要与特定地区分在一组的MPS 100中的一个或多个其他区的选项。一旦被分组，已经与特定地区分在一组的地区中的回放设备将被配置为与该特定地区中的回放设备同步地播放音频内容。类似地，可以在地区组的图形表示内提供“分组”图标。在这种情况下，“分组”图标可以是可选择的，以调出用于取消选择地区组中的要从该地区组中移除的一个或多个地区的选项。通过用户界面对地区进行分组和取消分组的其他交互和实现也是可能的。当回放地区或地区组配置被修改时，可以动态地更新回放地区区443(图4C)中的回放地区表示。
回放状态区444(图4B)可以包括在所选择的回放地区或地区组中当前正在播放、先前播放或被安排为接下来播放的音频内容的图形表示。可以在控制器界面上可视地区分所选择的回放地区或地区组，例如，在回放地区区443和/或回放状态区444内。图形表示可以包括曲目标题、艺术家姓名、专辑名称、专辑年份、曲目长度和/或其他相关信息，当用户通过控制器界面控制MPS 100时，这些信息可以是对用户有用的。
回放队列区446可以包括与所选择的回放地地区或地区组相关联的回放队列中的音频内容的图形表示。在一些实施例中，每个回放地区或区组可以与回放队列相关联，该回放队列包括与该回放地区或区组回放的零个或多个音频项相对应的信息。例如，回放队列中的每个音频项可以包括统一资源标识符(URI)、统一资源定位符(URL)或一些其他标识符，该其他标识符可以由回放地区或区组中的回放设备用于从本地音频内容源或网络音频内容源查找和取回音频项，然后可以由回放设备回放该音频项。
在一个示例中，可以将播放列表添加到回放队列，在这种情况下，可以将与播放列表中的每个音频项对应的信息添加到回放队列。在另一示例中，回放队列中的音频项可以被保存为播放列表。在另一示例中，当回放地区或区组正在连续播放流式音频内容(例如，互联网收音机，其可以持续播放直到被停止)，而不是具有回放持续时间的分立音频项时，回放队列可以为空或被填充但“未使用”。在替代实施例中，回放队列可以包括互联网收音机和/或其他流音频内容项，并且当回放地区或区组正在播放这些项时处于“使用中”。其他示例也是可能的。
当回放地区或区组被“分组”或“取消分组”时，可以清除与受影响的回放地区或区组相关联的回放队列，或者重新关联。例如，如果包括第一回放队列的第一回放地区与包括第二回放队列的第二回放地区被分在一组，则所建立的区组可以具有相关联的回放队列，其最初是空的，包含来自第一回放队列的音频项(例如，如果第二回放地区被添加到第一回放地区)，或包含来自第二回放队列的音频项(例如，如果第一回放地区被添加到第二回放地区)，或包含来自第一回放队列和第二回放队列二者的音频项的组合。随后，如果所建立的区组被取消分组，则所得到的第一回放地区可以与先前的第一回放队列重新关联，或者与新的回放队列相关联，该新的回放队列是空的，或者包含与来自在所建立的区组被取消分组之前所建立的区组相关联的回放队列的音频项。类似地，所得到的第二回放地区可以与先前的第二回放队列重新关联，或者与新的回放队列相关联，该新的回放队列是空的，或者包含来自在与所建立的区组被取消分组之前所建立的区组相关联的回放队列的音频项。其他示例也是可能的。
仍然参考图4B和4C，音频内容在回放队列区446(图4B)中的图形表示可以包括曲目标题、艺术家姓名、曲目长度以及与回放队列中的音频内容相关联的其他相关信息。在一个示例中，音频内容的图形表示可以是可选择的，以调出附加的可选择图标来管理和/或操纵回放队列和/或回放队列中表示的音频内容。例如，可以将所表示的音频内容从回放队列中移除，将所表示的音频内容移动到回放队列内的不同位置，或者选择所表示的音频内容以立即播放，或者在任何当前播放的音频内容之后进行播放等。与回放地区或区组相关联的回放队列可以存储于该回放地区或区组中的一个或多个回放设备上、不在该回放地区或区组中的回放设备上和/或一些其他指定设备上的存储器中。这种回放队列的回放可以涉及一个或多个回放设备可能按顺序或随机顺序回放队列中的媒体项。
源区448可以包括与对应的VAS相关联的可选择音频内容源和/或可选择语音助手的图形表示。可以选择性地分配VAS。在一些示例中，同一NMD可以调用多个VAS，例如，AMAZON的Alexa、MICROSOFT的Cortana等。在一些实施例中，用户可以将VAS专门分配给一个或多个NMD。例如，用户可以将第一VAS分配给图1A所示的客厅中的NMD 102a和102b中的一个或两个，并将第二VAS分配给厨房中的NMD 103f。其他示例是可能。
d.示例音频内容源
源区448中的音频源可以是音频内容源，可以通过所选择的回放地区或地区组从该音频内容源中获取音频内容并播放。区或地区组中的一个或多个回放设备可以被配置为从各种可用音频内容源中获取回放音频内容(例如，根据音频内容的对应URI或URL)。在一个示例中，回放设备可以直接从对应的音频内容源(例如，通过线路输入连接)中取回音频内容。在另一示例中，可以在网络上，经由一个或多个其他回放设备或网络设备向回放设备提供音频内容。如下文更详细描述的，在一些实施例中，音频内容可以由一个或多个媒体内容服务提供。
示例音频内容源可以包括：媒体回放系统(例如，图1的MPS 100)中的一个或多个回放设备的存储器、一个或多个网络设备(例如，控制器设备、启用网络的个人计算机或附接网络的存储器(“NAS”))上的本地音乐库、通过互联网(例如，基于云的音乐服务)提供音频内容的流音频服务、或者通过回放设备或网络设备上的线路输入连接连接至媒体回放系统的音频源等。
在一些实施例中，可以从媒体回放系统(例如，图1A的MPS 100)中添加或移除音频内容源。在一个示例中，每当添加、移除或更新一个或多个音频内容源时，可以执行对音频项编索引。对音频项编索引可以包括：扫描由媒体回放系统中的回放设备可访问的网络上共享的所有文件夹/目录中的可识别音频项，并且生成或更新包括元数据(例如，标题、艺术家、专辑、曲目长度等)及其他关联信息(例如，用于找到的每个可识别音频项的URI或URL)的音频内容数据库。用于管理和维护音频内容源的其他示例也是可能的。
e.示例网络麦克风设备
图5是示出了根据本公开的实施例配置的NMD 503的功能框图。NMD 503包括语音捕捉组件(“VCC”，或统称为“语音处理器560)、唤醒词引擎570和至少一个语音提取器572，每个语音提取器572可操作地耦合到语音处理器560。NMD 503还包括上述麦克风222和至少一个网络接口224，并且还可以包括其他组件，例如，音频放大器、接口等，为清楚起见该其他组件未在图5中示出。
NMD 503的麦克风222被配置为从NMD 503的环境向语音处理器560提供检测到的声音SD。检测到的声音SD可以采用一个或多个模拟或数字信号的形式。在示例实施方式中，检测到的声音SD可以由与馈送到语音处理器560的各个声道562相关联的多个信号组成。
每个声道562可以对应于特定的麦克风222。例如，具有六个麦克风的NMD可以具有六个对应的声道。检测到的声音SD的每个声道可以与其他声道具有某些相似性，但在某些方面可能有所不同，这可能是由于给定声道的对应麦克风相对于其他声道的麦克风的位置。例如，检测到的声音SD的一个或多个声道可以具有比其他声道更大的话音与背景噪声的信噪比(“SNR”)。
如图5进一步所示，语音处理器560包括AEC 564、空间处理器566和一个或多个缓冲器568。在操作中，AEC 564接收检测到的声音SD并过滤或以其他方式处理该声音以抑制回声和/或改善检测到的声音SD的质量。然后可以向空间处理器566传递该处理后的声音。
空间处理器566通常被配置为分析所检测到的声音SD并识别某些特性，例如，声音的幅度(例如，分贝级)、频谱、方向性等。一方面，如上所述，空间处理器566可以基于所检测到的声音SD的组成声道562的相似性和差异性来帮助过滤或抑制所检测到的来自潜在用户话音的声音SD中的周围环境噪声。作为一种可能性，空间处理器566可以监视将话音与其他声音区分开的度量。例如，这种度量可以包括话音频带内相对于背景噪声的能量以及该话音频带内的熵(频谱结构的一种测量)，该度量通常比大多数常见背景噪声低。在一些实施方式中，空间处理器566可以被配置为确定话音存在概率，这种功能的示例在2018年5月18日提交的题为“Linear Filtering forNoise-Suppressed Speech Detection”的美国专利申请No.15/984,073和2018年9月29日提交的题为“Linear Filtering for Noise-SuppressedSpeech Detection via Multiple Network Microphone Devices”的美国专利申请No.16/147,710中公开，它们中的每一个的全部内容通过引用并入本文。
唤醒词引擎570被配置为监视和分析接收到的音频以确定该音频中是否存在任何唤醒词。唤醒词引擎570可以使用唤醒词检测算法来分析接收到的音频。如果唤醒词引擎570检测到唤醒词，则网络麦克风设备可以处理该接收到的音频中包含的语音输入。示例唤醒词检测算法接受音频作为输入，并且提供在该音频中是否存在唤醒词的指示。许多第一方和第三方唤醒词检测算法是已知的并且可商购的。例如，语音服务的运营商可以使其算法可用于第三方设备。备选地，可以训练算法以检测某些唤醒词。
在一些实施例中，唤醒词引擎570在接收到的音频上同时(或基本同时)运行多个唤醒词检测算法。如上所述，不同的语音服务(例如，AMAZON的
Figure BDA0003171624010000271
APPLE的
Figure BDA0003171624010000272
MICROSOFT的
Figure BDA0003171624010000273
GOOGLE的Assistant等)均使用不同的唤醒词来调用它们各自的语音服务。为了支持多种服务，唤醒词引擎570可以针对每个支持的语音服务通过唤醒词检测算法并行地运行接收到的音频。在这样的实施例中，网络麦克风设备103可以包括VAS选择器组件574，其被配置为将语音输入传递给适当的语音助手服务。在其他实施例中，可以省略VAS选择器组件574。在一些实施例中，MPS 100的各个NMD 103可以被配置为运行与特定VAS相关联的不同唤醒词检测算法。例如，客厅的回放设备102a和102b的NMD可以与AMAZON的
Figure BDA0003171624010000281
相关联，并被配置为运行相应的唤醒词检测算法(例如，被配置为检测唤醒词“Alexa”或其他相关联的唤醒词)，而厨房中的回放设备102f的NMD可以与GOOGLE的Assistant相关联，并被配置为运行对应的唤醒词检测算法(例如，被配置为检测唤醒词“OK，Google”或其他相关联的唤醒词)。
在一些实施例中，网络麦克风设备可以包括语音处理组件，该语音处理组件被配置为例如通过执行被训练识别与家庭相关联的特定用户或特定用户集合的语音识别来进一步促进语音处理。语音识别软件可以实现被调谐到特定语音简档的语音处理算法。
在操作中，一个或多个缓冲器568(其中一个或多个可以是存储器213(图2A)的一部分或与之分离)捕捉与检测到的声音SD相对应的数据。更具体地说，一个或多个缓冲器568捕捉由上游AEC 564和空间处理器566处理的检测到的声音数据。
通常，检测到的声音数据形成由麦克风222检测到的声音的数字表示(即，声音数据流)SDS。实际上，声音数据流SDS可以采用多种形式。作为一种可能性，声音数据流SDS可以由帧组成，每个帧可以包括一个或多个声音样本。可以从一个或多个缓冲器568流传输(即，读出)帧，以由下游组件(例如，NMD 503的唤醒词引擎570和语音提取器572)进行进一步处理。
在一些实施方式中，至少一个缓冲器568利用滑动窗口方法来捕捉检测到的声音数据，其中，在至少一个缓冲器568中保留给定数量(即，给定窗口)的最新捕捉的检测到的声音数据，而当较旧的检测到的声音数据落在窗口之外时，它们将被覆写。例如，至少一个缓冲器568可以在给定时间临时保留20个声音样本的帧，在到期时间之后丢弃最旧的帧，然后捕捉新的帧，将其添加到声音样本的19个先前帧中。
实际上，当声音数据流SDS由帧组成时，这些帧可以采用具有各种特性的各种形式。作为一种可能性，这些帧可以采用具有一定分辨率(例如，16比特分辨率)的音频帧的形式，该分辨率可以基于采样率(例如，44，100Hz)。附加地或备选地，这些帧可以包括与这些帧定义的给定声音样本相对应的信息，例如，元数据，该元数据指示频率响应、功率输入电平、信噪比、麦克风声道标识和/或给定声音样本的其他信息，以及其他示例。因此，在一些实施例中，帧可以包括声音的一部分(例如，给定声音样本的一个或多个样本)和关于声音的一部分的元数据。在其他实施例中，帧可以仅包括声音的一部分(例如，给定声音样本的一个或多个样本)或关于声音的一部分的元数据。
语音处理器560还包括至少一个回溯缓冲器569，其可以是存储器213(图2A)的一部分或与其分离。在操作中，回溯缓冲器569可以存储基于所检测到的从麦克风222接收到的所检测声音数据SD处理的声音元数据。如上所述，麦克风224可以包括布置成阵列的多个麦克风。声音元数据可以包括，例如：(1)阵列的各个麦克风的频率响应数据，(2)回声回波损耗增强测量(即，对每个麦克风的声学回声消除器(AEC)有效性的测量)，(3)语音方向测量；(4)仲裁统计(例如，与不同麦克风相关联的空间处理流的信号和噪声估计)；和/或(5)语音频谱数据(即，在已经执行了声学回声消除和空间处理之后对处理后的音频输出进行评估的频率响应)。其他声音元数据也可用于对所检测到的声音数据SD中的噪声进行识别和分类。在至少一些实施例中，如从回溯缓冲器569延伸到网络接口224的箭头所反映的，声音元数据可以与声音数据流SDS分开传输。例如，声音元数据可以从回溯缓冲器569被发送给一个或多个与接收声音数据流SDS的VAS分开的远程计算设备。在一些实施例中，如下文更详细描述的，例如，元数据可以被发送给远程服务提供商进行分析以构建或修改噪声分类器。
如以下关于图7-图13更详细地描述，在一些实施例中，远程计算设备106c或本地NMD 503可以对声音元数据执行附加计算以对可能影响(例如，有害地影响)声音数据流SDS的下游处理的噪声进行识别和/或分类。
在任何情况下，语音处理器560下游的NMD 503的组件可以处理声音数据流SDS。例如，唤醒词引擎570可以被配置为将一种或多种识别算法应用于声音数据流SDS(例如，流媒体声音帧)，以在检测到的声音SD中发现潜在唤醒词。当唤醒词引擎570发现潜在唤醒词时，唤醒词引擎570可以以信号Sw的形式向语音提取器572提供“唤醒词事件”(也称为“唤醒词触发”)的指示。
响应于唤醒词事件(例如，响应于来自唤醒词引擎570的指示唤醒词事件的信号SW)，语音提取器572被配置为接收和格式化(例如，封装)声音数据流SDS。例如，语音提取器572将声音数据流SDS的帧封装成消息。语音提取器572通过网络接口218向远程VAS(例如，VAS 190(图1B))发送或流传输可能包含实时或接近实时语音输入的消息MV。
该VAS被配置为处理从NMD 503发送的消息MV中包含的声音数据流SDS。更具体地说，该VAS被配置为基于声音数据流SDS来识别语音输入。参照图6A，语音输入680可以包括唤醒词部分680a和发声部分680b。唤醒词部分680a对应于导致唤醒词事件的检测到的声音。例如，唤醒词部分680a对应于使唤醒词引擎570向语音提取器572提供唤醒词事件的指示的检测到的声音。发声部分680b对应于检测到的声音，该检测到的声音潜在包括跟随唤醒词部分680a的用户请求。
作为说明性示例，图6B示出了示例第一声音样本。在该示例中，声音样本对应于与图6A的发现的唤醒词680a相关联的声音数据流SDS(例如，一个或多个音频帧)。如图所示，示例第一声音样本包括：(i)紧接在说出唤醒词之前在回放设备102i的环境中检测到的声音，该声音可以被称为前滚动部分(在时间t0和t1之间)；(ii)在说出唤醒词时在回放设备102i的环境中检测到的声音，该声音可以被称为唤醒计量部分(在时间t1和t2之间)和/或(iii)在说出唤醒词之后在回放设备102i的环境中检测到的声音，该声音可以被称为后滚动部分(在时间t2和t3之间)。其他声音样本也是可能的。
通常，VAS可以首先处理声音数据流SDS中的唤醒词部分680a以验证唤醒词的存在。在一些实例中，VAS可以确定唤醒词部分680a包括错误的唤醒词(例如，当单词“Alexa”是目标唤醒词时，单词“Election”)。在这种情况下，VAS可以向NMD 503(图5)发送响应，指示NMD503停止提取声音数据，这可能导致语音提取器572停止检测到的声音数据向VAS的进一步流传输。唤醒词引擎570可以恢复或继续监视声音样本，直到另一潜在唤醒词导致另一唤醒词事件。在一些实施方式中，VAS可以不处理或接收唤醒词部分680a，而是仅处理发声部分680b。
在任何情况下，VAS处理发声部分680b以识别在检测到的声音数据中任何单词的存在并从这些单词确定潜在意图。这些单词可以对应于某个命令和某些关键词684(在图6A中分别标识为第一关键词684a和第二关键词684b)。关键词可以是例如语音输入680中的识别MPS 100中特定设备或分组的词。例如，在所示的示例中，关键词684可以是识别要在其中播放音乐的一个或多个地区(例如，客厅和餐厅(图1A))的一个或多个单词。
为了确定单词的意图，VAS通常与和VAS(未示出)关联的一个或多个数据库和/或MPS 100的一个或多个数据库(未示出)进行通信。这样的数据库可以存储多种用户数据、分析、目录和其他信息以用于自然语言处理和/或其他处理。在一些实施方式中，可以基于语音输入处理来更新这样的数据库以用于神经网络的自适应学习和反馈。在某些情况下，发声部分680b可以包括附加信息，例如，检测到的用户说出的单词之间的停顿(例如，非语音的时间段)，如图6A所示。该停顿可以在发声部分680b内标定由用户说出的单独命令、关键词或其他信息的位置。
基于某些命令标准，VAS可以由于识别语音输入中的一个或多个命令(例如，命令682)而采取动作。命令标准可以基于在语音输入中包含某些关键词以及其他可能性。附加地或备选地，用于命令的命令标准可以涉及对一个或多个控制状态和/或地区状态变量的识别，该控制状态和/或地区状态变量与一个或多个特定命令的识别相结合。控制状态变量可以包括：例如，识别音量水平的指示符、与一个或多个设备相关联的队列以及回放状态，例如，设备是否正在播放队列、是否暂停等。地区状态变量可以包括：例如，识别哪些地区播放器(如果有的话)被分在一组的指示符。
在处理语音输入之后，VAS可以基于其从语音输入确定的意图，向MPS 100发送具有指令的响应以执行一个或多个动作。例如，基于语音输入，VAS可以指导MPS 100在一个或多个回放设备102上发起回放、控制这些设备中的一个或多个(例如，提高/降低音量、分组/取消分组设备等)、打开/关闭某些智能设备以及其他动作。如以上所讨论的，在接收到来自VAS的响应之后，NMD 503的唤醒词引擎570可以恢复或继续监视声音数据流SDS，直到发现另一潜在唤醒词为止。
返回参考图5，在多VAS实施方式中，NMD 503可以包括VAS选择器574(以虚线示出)，该VAS选择器574通常被配置为：当特定的唤醒词引擎(例如，第一唤醒词引擎570a、第二唤醒词引擎570b或附加唤醒词引擎571)识别给定的唤醒词时，指导语音提取器的提取和向适当VAS的声音数据流SDS传输。在这样的实施方式中，NMD503可以包括多个不同的唤醒词引擎和/或语音提取器，每一个都由特定的VAS支持。与以上讨论类似，每个唤醒词引擎可以被配置为从一个或多个缓冲器568接收声音数据流SDS作为输入，并且应用识别算法为适当的VAS引起唤醒词触发。因此，作为一个示例，第一唤醒词引擎570a可以被配置为识别唤醒词“Alexa”，并且当发现“Alexa”时使NMD 503调用AMAZON VAS。作为另一示例，第二唤醒词引擎570b可以被配置为识别唤醒词“Ok，Google”，并且当发现“Ok，Google”时使NMD 503调用GOOGLE VAS。在单个VAS实施方式中，可以省略VAS选择器574。
在附加或备选实施方式中，NMD 503可以包括其他语音输入识别引擎571(以虚线示出)，其使NMD 503能够在没有远程VAS的辅助下进行操作。作为示例，这样的引擎可以在检测到的声音中识别某些命令(例如，“播放”、“暂停”、“打开”等)和/或某些关键词或短语，例如，分配给给定回放设备的唯一名称(例如“书架”、“庭院”、“办公室”等)。响应于识别这些命令、关键词和/或短语中的一个或多个，NMD 503可以传送使音频处理组件216(图2A)执行一个或多个动作的信号(在图5中未示出)。例如，当用户说“Hey Sonos，停止办公室里的音乐”时，NMD 503可以直接或间接地通过MPS 100的一个或多个其他设备向办公室回放设备102n传送信号，使办公设备102n停止音频回放。减少或消除来自远程VAS的辅助的需求，可以减少在远程处理语音输入时可能发生的延迟。在某些情况下，所采用的识别算法可以被配置为识别在没有前面的唤醒词的情况下说出的命令。例如，在以上示例中，NMD 503可以采用识别算法，该算法触发事件以停止办公室中的音乐，而无需用户先说“Hey Sonos”或另一唤醒词。
III.基于噪声分类修改NMD操作的示例系统和方法
在操作中，NMD可能暴露于各种不同类型的噪声中，例如，交通、设施(例如，风扇、水槽、冰箱等)、建筑、干扰话音等。为了在存在这种噪声的情况下更好地分析所捕捉到的音频输入，对音频输入中的噪声进行分类可能很有用。不同的噪声源将产生不同的声音，并且这些不同的声音将具有不同的相关联的声音元数据(例如，频率响应、信号电平等)。与不同的噪声源相关联的声音元数据可以具有区分一个噪声源与另一个噪声源的特征。因此，通过识别不同的特征，可以通过分析声音元数据来对不同的噪声源进行分类。图7示出了所分析的与四个噪声源相关联的声音元数据：左上图是在定位在距离NMD三英尺的高度设置上的风扇的噪声；右上图是周围环境噪声；左下图是定位在距离NMD三英尺的运行水槽；以及右下图是距离NMD三英尺的烹饪食物的嘶嘶声。在一些实施方式中，可以使用主分量分析来生成图中所示的这些特征。如下面关于图10-图13更详细地描述，从各种NMD收集的数据提供了可能的频率响应谱的整体分布。通常，主分量分析(PCA)可以用于找到描述所有现场数据的方差的正交基。该本征空间反映在图7各图中所示的轮廓中。图中的每个点表示投影到本征空间上的已知噪声值(例如，来自暴露于指定噪声源的NMD的单个频率响应谱)。如图7所示，这些已知噪声值在投影到本征空间时聚集在一起，为不同的噪声源生成明显不同的特征分布。如下文更详细的描述，这种噪声分类可以用于提高NMD性能。
如上所述，诸如NMD 503之类的网络麦克风设备可以具有多种可调参数，这些参数影响对所检测到的由NMD的一个或多个麦克风捕捉到的声音中的语音输入的识别和处理。响应于对所检测到的声音中的噪声进行分类，可以修改这些参数中的一个或多个以提高设备性能。例如，响应于对所检测到的声音中的噪声进行分类，可以向上或向下调整在处理期间应用于声音数据的增益以改进语音检测。在一个示例中，NMD可以基于对所检测到的声音数据中的噪声进行分类来检测洗碗机正在运行。作为响应，NMD可以增加增益或以其他方式提高经由NMD回放的音频的音量水平。当NMD检测到洗碗机不再运行时(例如，通过不再识别所检测到的声音数据中的分类噪声)，可以降低增益水平，使得回放恢复先前的音量水平。
另一个可调参数是降噪(例如，修改NMD处理声音数据或声音数据流的程度)，以减少噪声和/或提高信噪比。NMD还可以修改声学回声消除(AEC)参数(例如，通过修改图5中的AEC 564的操作)或语音处理器560或其它NMD组件的其它参数。作为又一示例，可以修改NMD的空间处理算法。例如，对于较小的噪声环境，语音处理路径可以减少麦克风声道的数量。特别地，如果NMD确定所检测到的声音数据中存在低水平的噪声，则NMD的一个或多个麦克风可能被关闭、断电或以其他方式丢弃，使得下游处理不依赖于来自这些麦克风的输入。一方面，减少麦克风声道的数量可以减少对计算资源的需求并节省计算资源。在相关方面，节省计算资源可以释放这些资源以与其他资源一起使用，例如用于支持可以是板载的或以其他方式耦合到NMD的附加唤醒词引擎。如果NMD然后检测到噪声水平的增加(例如，如果NMD在所检测到的声音数据中识别出某些噪声)，则可以重新激活一些或所有停用的麦克风。在美国申请No.16/147,710中可以找到关于NMD的一个或多个麦克风的选择性停用的附加细节，该申请通过引用整体并入本文。
另一个可调参数是唤醒词检测灵敏度参数。例如，唤醒词引擎570(或任何附加唤醒词引擎571)可以具有一个或多个参数，这些参数调整用于识别音频输入中的唤醒词的灵敏度或阈值。在存在分类噪声的情况下，可以调整该参数以提高NMD性能。降低阈值(或提高灵敏度)可以增加假阳性率同时降低假阴性率，而相反地提高阈值(或降低灵敏度)可以降低假阳性率同时增加假阴性率。调整唤醒词检测灵敏度参数可以允许NMD在假阴性率和假阳性率之间实现适当的权衡，该参数可以取决于NMD经历的特定噪声条件而变化。
除了上面列出的那些参数之外或备选地，在一些实施例中，NMD可以修改空间处理算法以提高在存在特定类别的噪声的情况下检测和处理语音输入的性能(例如，通过修改图5中的空间处理器566的操作)。在各种实施例中，空间处理算法可以包括一个或多个多通道维纳(Wiener)滤波器、其他滤波器和/或一个或多个波束成形算法，其细节可以在例如先前的参考申请No.15/984,073和No.16/147,710中找到。作为一种可能性，空间处理器566可以监视将语音与其他声音区分开的度量。例如，这种度量可以包括话音频带内相对于背景噪声的能量以及该话音频带内的熵(频谱结构的一种测量)，该话音频带内的熵通常比大多数常见背景噪声低。在一些实施方式中，空间处理器566可以被配置为确定话音存在概率。可以调整与这些度量相关联的阈值或系数(例如，某些频带内的能量、熵等)以提高NMD在存在特定类别的噪声的情况下检测和处理语音输入的性能。例如，冰箱的嗡嗡声可以被识别为噪声并由NMD进行分类。响应于该分类，可以调整多通道维纳滤波器空间处理算法的一个或多个参数，以在存在该噪声的情况下提高NMD性能。这样的参数可以包括最小增益，反映多通道维纳滤波器的降噪部分的谱底。可以修改多通道维纳滤波器的其他参数以提高NMD性能。
在各种实施例中，可以在单独设备级别、家庭或环境级别(例如，可以一起调整客户家中的所有NMD)或人口级别(例如，可以一起调整给定的区中的所有NMD)上调整NMD性能参数。如下文更详细地描述，可以基于噪声分类修改一个或多个NMD性能参数，噪声分类可以使用声音元数据导出。声音元数据可以从经由NMD的各个麦克风获得的声音数据SD和/或从由语音处理器560(图5)提供的声音数据流SDS中获得。声音元数据的示例包括：(1)频率响应数据，(2)回声回波损耗增强测量(即，对声学回声消除器(AEC)有效性的测量)，(3)语音方向测量；(4)仲裁统计(例如，与不同麦克风相关联的空间处理流的信号和噪声估计)；和/或(5)语音频谱数据(即，在已经执行了声学回声消除和空间处理之后对处理后的音频输出进行评估的频率响应)。其他声音元数据也可用于对经由NMD检测到的声音中的噪声进行分类。
图8A是用于对网络麦克风设备的噪声进行分类和修改网络麦克风设备的性能的示例方法800。方法800在框802处开始，NMD经由NMD的各个麦克风检测声音。接下来，方法800前进到框804，其中NMD在至少第一缓冲器中捕捉所检测到的声音。例如，所捕捉到的声音可以作为声音数据SD存储在缓冲器568(图5)中。
在框806中，NMD在至少第二缓冲器中捕捉与声音数据相关联的元数据。例如，声音元数据可以存储在回溯缓冲器569(图5)或与NMD相关联的其他存储器中。如上所述，为了保护用户隐私，仅依赖不透露原始音频内容(例如，所录制的话音输入或其他所检测到的声音数据的内容)的声音元数据可以很有用。这种声音元数据的示例包括：(1)频率响应数据，(2)回声回波损耗增强测量，(3)语音方向测量；(4)仲裁统计；和/或(5)话音频谱数据。其他声音元数据也可以被捕捉并存储在第二缓冲器中。
接下来，方法800在框808中继续，分析所检测到的声音以检测触发事件。在一些实施例中，触发事件是对唤醒词的检测。例如，可以经由如上所述的唤醒词引擎570(图5)来检测唤醒词。在一些实施例中，触发事件可以采用其他形式。例如，触发事件可以是对具有一些特定性质(例如，所检测到的音频音量高于预定阈值，所检测到的音频信号达预定时间长度等)的音频信号的检测。
在检测到触发事件之后，方法800在框810中继续，提取经由NMD的语音输入。例如，语音提取器572(图5)可以接收声音数据流并将其格式化(例如，打包)为消息，这些消息可以经由网络接口实时或接近实时地发送给远程VAS或其他远程计算设备。
在框812中，方法800涉及分析声音元数据以对所检测到的声音中的噪声进行分类。该分析可以由NMD本地执行，或由一个或多个远程计算设备远程地执行。在一些实施例中，框812中的分析可以与框808中的触发事件检测同时执行。在其他实施例中，框812中的分析仅在框808中已经检测到触发事件之后发生。
分析声音元数据可以包括：将声音元数据的一个或多个特征与已知噪声参考值进行比较，或将样本群体数据与已知噪声进行比较。例如，声音元数据的任何特征(例如，信号电平、频率响应谱等)都可以与噪声参考值或在样本群体上收集和平均的值进行比较。在一些实施例中，分析声音元数据包括：将频率响应谱投影到对应于来自群体NMD的聚合频率响应谱的本征空间上(如以下关于图10-图13更详细地描述)。在至少一些实施例中，可以执行将频率响应谱投影到本征空间上作为预处理步骤以促进下游分类。在各种实施例中，可以使用用于使用声音元数据对噪声进行分类的任何数量的不同技术，例如，使用决策树的机器学习、或贝叶斯分类器、神经网络或任何其他分类技术。备选地或附加地，可以使用各种聚类技术，例如，K-Means聚类、均值偏移聚类、期望最大化聚类或任何其他合适的聚类技术。
在一些实施例中，噪声参考样本可以通过在受控条件下捕捉样本(例如，从相对于NMD的不同位置处捕捉来自风扇的音频输入)或从被设计为模仿已知噪声条件的仿真获得。备选地或附加地，噪声参考样本可以从用户输入获得。例如，可以指示用户(例如，经由控制设备104)生成预先识别的噪声(例如，打开厨房水槽、打开吊扇等)，并且NMD 503可以记录正在处理的音频输入。通过在用户指示的不同条件下捕捉音频输入，可以由NMD 503本地地或经由远程计算设备获得和存储已知的噪声参考值。
图8B和图8C示出了可用于接收用户输入以生成预先识别的噪声测量的控制器接口。如图8所示，对于特定的NMD(此处为“播放器A”)，用户可以从预先填充的列表中选择设备位置。一旦选择了特定位置(例如，“厨房”)，各种潜在的噪声源就可以作为用户可选择的选项呈现。如图8B所示，与厨房相关联的示例噪声选项是水龙头、排气扇、洗碗机和其他。类似地，其他位置可以具有其他相关联的噪声选项，例如，车库门打开或车库中的洗衣机等。
除了用户选择的噪声源之外，不同的位置可以与可能的噪声源相关联，而不需要使用选择。例如，当用户指示NMD位于厨房中时，所检测到的噪声更有可能包括烹饪声音(如嘶嘶的油脂)、冰箱门关闭的声音或与厨房相关联的其他声音。类似地，其他位置可以具有被认为是该位置固有的其他相关联的噪声，例如，儿童游乐区的孩子语音、浴室中冲马桶的声音等。通过识别NMD的位置，用户可以提供用于对不同设备检测到的噪声进行分类的附加的相关信息。
在图8C中，用户已经经由控制器界面选择了“水龙头”噪声源。在该选择之后，可以提示用户打开水龙头，使得可以在这些受控条件下收集噪声数据。一旦用户指示了噪声已经开始(例如，用户已经打开了水龙头)，NMD就可以收集声音数据和/或元数据。由于已知该数据与水龙头噪声相关联，因此它可用于帮助对未来音频输入中的噪声进行分类，无论是针对该特定NMD还是其他设备。在各种实施例中，可以提示用户多次或在不同条件下(例如通过打开水龙头)重复指定的噪声。另外，可以询问用户关于与噪声源有关的附加信息，例如，噪声源可能活跃的频率(例如，“您多久运行一次洗碗机？”)、特定设备的品牌或型号等。用户可以经由图8B和图8C所示的控制器界面提供该信息和其他相关信息。然后可以使用所收集到的信息来改进噪声分类，因为在这些条件下捕捉音频输入可以提供由NMD本地存储或通过远程计算设备存储的已知噪声参考。
返回参考图8A，方法800在框814中继续，基于框812中的评估修改NMD的性能。取决于分类的噪声，NMD的修改可以采用多种形式。例如，设备的调整可以包括：调整回放音量、调整固定增益、修改降噪参数、改变唤醒词检测灵敏度参数或调整空间处理算法等。在各种实施例中，NMD可以被配置为取决于特定分类的噪声来修改不同的性能参数。
在框816中，可以基于在框812中获得的特定噪声分类来更新噪声分类器。如下面更详细的描述，噪声分类器可以包括被配置为识别所检测到的声音数据或元数据中的不同类型噪声的神经网络或其他数学模型。可以通过增加用于训练和评估的可用数据来改进这种噪声分类器。因此，噪声数据可以从大量NMD中获得，其中每个新的噪声分类或其他噪声数据都被用于更新或修正噪声分类器。另外，通过使用从大量NMD收集的数据，可以评估各个类型噪声的相对流行程度，这同样可以用于更新噪声分类器。在一些实施例中，例如在元数据没有为噪声分类器提供有用的附加信息的情况下，或者如果元数据看起来异常，则不基于在框812中获得的分类来更新噪声分类器。
图9是示例噪声分类和麦克风适配的功能流程图900。功能流程图900示出了在NMD503上发生的功能以及可以例如在远程计算设备106c上远程发生的功能，该远程计算设备可以如下面更详细描述的那样执行用于噪声分类的声音元数据的远程评估和处理。在一个示例中，远程计算设备106c为一个或多个SONOS无线HiFi系统提供云服务器。在至少一些实施例中，流程图900中描绘的任何或所有功能可以在NMD 503而不是远程计算设备106c上执行。
从NMD 503开始，各个麦克风242a-242n的阵列检测声音并通过多个声道(例如，每个麦克风具有对应的声道)向语音处理器560提供声音数据。如上面关于图5所描述的，除了回溯缓冲器569之外，语音处理器560还可以包括一个或多个缓冲器568。语音处理器560还包括AEC 564和空间处理器566。麦克风242a-242n可以被布置为检测NMD 503的环境中的声音。在一个示例中，麦克风242a-242n可以被布置为检测来自相对于NMD 503的一个或多个方向的音频。麦克风242a-242n还可以被布置为捕捉音频源(例如，语音、可听声音)的位置信息和/或帮助过滤任何背景噪声。
语音处理器560可以将来自各个麦克风242a-242n的声音数据存储在一个或多个缓冲器中达预定的时间间隔。例如，在一些实施例中，语音处理器560将声音数据存储少于5秒、少于4秒、少于3秒、少于2秒或少于1秒，例如在缓冲器中覆写。在一些实施方式中，语音处理器560包括利用滑动窗口方法来捕捉声音数据的缓冲器(例如，缓冲器568)，其中，在至少一个缓冲器568中保留给定数量(即，给定窗口)的最新捕捉的所检测到的声音数据，而当较旧的声音数据落在窗口之外时，它们将被覆写。例如，至少一个缓冲器568可以在给定时间临时保留20个声音样本的帧，在到期时间之后丢弃最旧的帧，然后捕捉新的帧，将其添加到声音样本的19个先前帧中。
语音处理器560可以将声音数据流输出到框905以用于事件触发。这里，NMD 503可以评估声音数据流以检测预定的触发事件。例如，框905中检测到的触发事件可以是对声音数据流中唤醒词的检测(例如，使用图5所示的唤醒词引擎570)。在一些实施例中，触发事件可以采用其他形式。例如，触发事件可以是对具有一些特定性质(例如，所检测到的音频电平高于预定阈值，所检测到的音频信号达预定时间长度等)的音频信号的检测。如果在框905中没有检测到触发事件，则可以删除、丢弃或覆写语音处理器560中的所检测到的声音数据，并且麦克风242a-242n可以继续将新获取的声音数据传递到语音处理器560，直到在框905中检测到触发事件。
如果在框905中检测到触发事件，则在框907中将声音数据流传递给设备功能。例如，在框907中，可以选择多个VAS之一，可以向VAS发送处理后的音频以进行进一步处理，可以向用户提供可听输出，可以向相关联的回放设备发送指令，或者可以在框905中检测到触发事件之后执行任何其他适当的操作。
一旦在框905中检测到触发事件，就向语音处理器560提供指示，语音处理器560继而可以在框909中向远程计算设备106c提供声音元数据。声音元数据909可以基于来自麦克风242a-242n的声音数据。如上所述，为了保护用户隐私，仅依赖不透露原始音频内容(例如，所录制的话音输入或其他所检测到的声音数据的内容)的声音元数据可以很有用。在仅访问声音元数据的情况下，NMD 503可以通过使原始声音数据无法辨认的方式从所检测到的声音数据中导出声音元数据。如上所述，声音元数据的示例包括：(1)频率响应数据，(2)回声回波损耗增强测量(即，对每个麦克风的声学回声消除器(AEC)有效性的测量)，(3)语音方向测量；(4)仲裁统计(例如，与不同麦克风相关联的空间处理流的信号和噪声估计)；和/或(5)语音频谱数据(即，在已经执行了声学回声消除和空间处理之后对处理后的音频输出进行评估的频率响应)。其他声音元数据也可以用于对所检测到的声音数据中的噪声进行识别和/或分类。
从框909开始，声音元数据可以从NMD 503发送给远程计算设备106c以在框911中进行云收集。例如，远程计算设备106c可以从一个或多个NMD收集声音元数据。在一些实施例中，远程计算设备106c可以从大量NMD收集声音元数据，并且这样的群体元数据可以用于对噪声进行分类、导出平均值、识别异常值、以及指导NMD性能参数的修改以改进NMD 503在存在各种类型的噪声的情况下的操作。因为声音元数据是从声音数据导出的但不透露声音数据，所以仅向远程计算设备106c发送声音元数据允许对NMD性能的评估而不暴露从中导出声音数据的实际音频内容。
在框913中，远程计算设备106c分析声音元数据以对噪声进行分类。在一些实施例中，分析声音元数据包括：将声音元数据的一个或多个特征与噪声参考值或样本群体值进行比较。例如，如下面关于图10-图13更详细描述的，声音元数据的任何特征(例如，频率响应数据、信号电平等)都可以与已知的噪声参考值或从样本群体收集的平均值进行比较。在一些实施例中，如框914所示，对声音元数据的分析可以由NMD本地执行，而不是远程计算设备106c执行的评估，或者除了远程计算设备106c执行的评估之外。
继续参考图9，在框915中，计算设备106c可以执行预测建模以识别在存在不同的噪声条件的情况下将改进语音输入的检测和处理的潜在设备调整。例如，虚拟测试框架可以用于使用蒙特卡罗(Monte Carlo)方法运行大量仿真，表示现实世界中用户对NMD的预期性能。一系列具有不同噪声分量(例如，不同类别的噪声(风扇、水槽、交通等)、噪声相对于NMD的不同位置等)的音频输入可以由具有一系列不同的性能参数值的模拟NMD处理。然后可以基于仿真结果识别性能最佳的参数值。在一些实施例中，最佳性能参数至少部分地由唤醒词检测中的假阳性率和假阴性率确定。然后，可以使用这些所识别的性能参数来修改现实世界中NMD的性能。这可以包括仅针对经历某些噪声输入分类的NMD(例如，经历自来水噪声、冰箱噪声、交通噪声等的NMD)更新性能参数。
在框917中，远程计算设备106c基于框913中的噪声分类和/或框915中的预测建模确定是否需要修改NMD性能。如果不需要修改，则过程返回到框913中的数据分析以分析新接收到的声音元数据。如果在决策框917中需要修改，则过程继续到框919以调整NMD的操作。
继续参考框919，取决于所识别的元数据的特征，NMD的修改可以采用多种形式。例如，设备的调整可以包括：修改回放音量、调整固定增益、修改降噪参数、唤醒词检测灵敏度参数或调整空间处理算法等。
图7和图10-图12示出了一种将声音元数据与已知噪声参考值进行比较以对NMD捕捉到的音频输入中的噪声进行分类的示例方法。如上所述，在一些实施例中，由NMD捕捉到的声音元数据可以包括频率响应谱，其可以随时间平均并沿频率范围对数采样。
从各种NMD收集到的数据可以提供可能的频率响应谱的整体分布。然后，可以通过减去所有频谱仓(bin)的平均值来对每个频谱进行归一化，而无需转换为功率的线性空间。该操作竖直地平移频谱，因为类似源的所有频谱保持相似的形状，导致所有频谱落入更紧密的分布。这个简单的操作去除了与整体音量贡献相关联的变化，从而允许对噪声进行独立于其音量的分类。
图10示出了一些示例频谱，其示出了在不同风扇速度和距NMD的不同距离处从风扇测量的噪声的类似频谱形状的竖直平移。每个组示出了特定配置的测量分布。这种行为与众所周知的噪声类型(例如，白噪声或粉红噪声)的行为一致，其中，噪声的整体频谱形状由频谱的斜率而不是绝对水平定义。为了生成可能的频率响应数据的整体分布，可以经由用户家中的或受控条件下的NMD收集许多这种频谱。
从大量NMD获得的频谱数据包含多种可能的噪声类型，这些类型对于每个测量都不是明确已知的。然而，这种大量的测量可以用于使用主分量分析(PCA)来定义正交基(本征空间)，主分量分析确定最大方差轴。例如，使用从现场的多个NMD收集到的频谱数据的大约1000万个测量，麦克风频谱可以按每个频谱仓进行平均，然后如上所述进行归一化。然后可以使用PCA来定义正交基。图11示出了定义本征空间的一些基向量的示例。尽管示出了五个基向量，但在各种实施例中，基向量的数量可以变化，例如，两个、三个或四个基向量，或者备选地，六个、七个、八个或更多个基向量。
该操作产生矩阵集：
X＝USVT
其中，X是包含所有场谱的原始向量空间。U是酉矩阵，S是奇异值的对角矩阵，并且VT是定义最大方差轴的本征向量的矩阵。
使用这些本征向量(例如，图11所示的基向量)，任何新观察到的频谱N都可以通过在新频谱和该基向量之间执行点积来投影到新空间上，N’＝NV。该计算定义了每个频谱的特征值，这些特征值可以被重构为这些本征向量和特征值的任何子集的线性组合。图12示出了用描述群体分布中最大方差的本征向量的子集重构的这些频谱之一。如图12所示，所观察到的频谱提供了多个离散的频率响应值。重构的频谱表示基向量(例如，图11所示的基向量)的组合，其中每个基向量的强度都在变化，以最适合所观察到的频谱。如图所示，重构的频谱基本上对应于所观察到的频谱。在操作中，可以使用基向量的线性组合(例如，图11所示的基向量)重构任何新接收到的频率响应谱。
对NMD在现场可能遇到的每个可能的噪声进行分类可能是不切实际的。然而，可以可视化上述特征谱的子集中的噪声分布。图13示出了所观察到的场谱的整体分布，作为前两个本征向量(例如，图11所示的对所观察到的方差负有最大责任的两个基向量)的强度。对于图13，“特征1”是重构频谱(例如，图12所示的重构频谱)中第一个本征向量的强度，并且“特征2”是重构频谱(例如，图12所示的重建频谱)中第二个本征向量的强度。尽管图13中的图示出了两个特征的值(例如，重构频谱中两个基向量的强度)，附加特征的值可以用于对噪声进行分类。例如，可以存在三个、四个、五个或更多个特征，每个特征对应于重构频谱中不同基向量的强度。通过根据附加特征评估新观察到的频谱，不同的噪声类型可以更容易地相互区分，从而改进整体噪声分类。
现场噪声案例之间的分离与噪声的各个簇是连续的，因此可能不容易辨别。这是由于每种类型的噪声变化是小的，这导致难以识别特定的噪声区，因为每个区都不太明显。可以使用仿真软件进一步阐明噪声的分布，采用已知的所记录的噪声集，并以与现场类似的方式，但是以受控且高度可重复的方式生成频谱。然后，这些已知的测试样本频谱可以作为“测试粒子”投影到本征空间，该“测试粒子”追踪它们在场噪声分布中的存在。在图7的各个图中，场密度分布由轮廓线表示，并且各个点是通过仿真运行的测试样本，示出了参数空间的不同位置。如图7所示，不同的噪声源产生投影到本征空间上的不同的点簇。
通过对从大量NMD收集到的数据的这种理解，可以识别各个类型的噪声的相对流行程度。此外，可以使用神经网络构建分类器，以识别从一个或多个NMD收集到的数据中的噪声。例如，神经网络可以在已知的、标记的噪声集上进行训练，这些噪声被投影到群体的本征空间上。这些已知的、标记的噪声可以由仿真软件处理，并且可以包括许多类型的典型噪声，这些噪声被分组为一些用于分类的标签，例如，“周围环境”、“风扇”、“水槽”、“干扰话音”等，每个标签可以提供足够的洞察力来例如通过修改噪声消除算法或其他音频处理算法来调谐NMD的性能参数。在一些实施例中，分类器可以用于进一步理解特定设备所经历的噪声的相对贡献。例如，如果特定设备经历高于平均水平的风扇噪声，则可以修改该NMD的特定性能参数以适应更高的风扇噪声，而另一个经历高于预期交通噪声水平的NMD可以进行不同调整。
尽管以上示例利用主分量分析来帮助对不同类型的噪声进行分类，但是在分类过程中可以使用各种其他技术和算法。例如，可以采用使用决策树或贝叶斯分类器、神经网络或任何其他分类技术的机器学习。备选地或附加地，可以使用各种聚类技术，例如，K-Means聚类、均值偏移聚类、期望最大化聚类或任何其他合适的聚类技术。
结论
以上描述尤其公开了各种示例系统、方法、装置和尤其包括在硬件上执行的固件和/或软件的制品。应当理解的是，这些示例仅是示意性的，而不应当被认为是限制性的。例如，可以想到，这些固件、硬件和/或软件方面或组件中的任意一个或全部可以专门在硬件中实现、专门在软件中实现、专门在固件中实现、或在硬件、软件和/或固件的任意组合中实现。因此，所提供的示例不是实现这些系统、方法、装置和/或制品的唯一方式。
除了本文描述的关于固定回放设备的示例之外，本技术的实施例还可以应用于耳机、耳塞或其他入耳式或耳罩式回放设备。例如，这种入耳式或耳罩式回放设备可以包括降噪功能，以减少在回放期间用户对外部噪声的感知。在一些实施例中，噪声分类可以用于在某些条件下对噪声消除进行调制。例如，如果用户使用降噪耳机听音乐，当用户的门铃响起时，降噪特征可以暂时禁用或下调。备选地或附加地，可以基于对门铃铃声的检测来调整回放音量。通过检测门铃的声音(例如，通过基于所接收到的声音元数据对门铃进行正确分类)，可以修改降噪功能，使得用户即使在戴着降噪耳机时也能听到门铃。可以使用各种其他方法基于本文描述的噪声分类技术来对耳机或其他这种设备的性能参数进行调制。
主要在说明性的环境、系统、过程、步骤、逻辑块、处理以及直接或间接地与耦接到网络的数据处理设备的操作相类似的其他象征性表示的方面上，提出本说明书。本领域技术人员通常使用这些处理描述和表示，以向本领域技术人员的其他技术人员传播他们的工作内容。阐述了各种具体细节，以提供本公开的透彻理解。然而，本领域技术人员应理解，不需要特定、具体细节就可以实施本公开。在其他实例中，没有描述熟知的方法、过程、组件和电路，以避免不必要地使实施例的方面模糊不清。因此，本公开的范围由随附权利要求、而不是以上实施例的描述来界定。
当随附权利要求中的任一项权利要求被理解成涵盖纯软件和/或固件实现时，在此明确限定至少一个示例中的至少一个元素以包括存储软件和/或固件的非暂时性有形介质，如存储器、DVD、CD、蓝光等。
例如，根据以下所述的各个方面示出了本技术。为了方便起见，将本技术各方面的各种示例描述为编号示例(1、2、3等)。这些仅作为示例提供，并不限制本技术。请注意，任何从属示例可以以任何组合被组合，并且被放置在相应的独立示例中。可以以类似的方式呈现其他示例。
示例1：一种方法，包括：经由网络麦克风设备(NMD)的一个或多个麦克风检测声音；基于所检测到的声音，在所述NMD的第一缓冲器中捕捉声音数据；经由所述NMD分析所述声音数据以检测触发事件；在所述NMD的至少第二缓冲器中捕捉与所述声音数据相关联的元数据；在检测到所述触发事件之后，分析所述元数据以对所述声音数据中的噪声进行分类；以及基于所分类的噪声，修改所述NMD的至少一个性能参数。
示例2：根据示例1所述的方法，其中，分析所述元数据以对所述声音数据中的噪声进行分类包括：将所述元数据与和已知噪声事件相关联的参考元数据进行比较。
示例3：根据示例2所述的方法，其中，所述元数据包括频率响应谱，并且其中，将所述元数据与参考元数据进行比较包括：将所述频率响应谱投影到对应于来自群体NMD的聚合频率响应谱的本征空间。
示例4：根据示例1所述的方法，其中，修改所述NMD的至少一个性能参数包括以下各项中的至少一项：调整所述NMD的唤醒词检测灵敏度参数；调整与所述NMD相关联的回放设备的回放音量；或修改所述NMD的降噪算法。
示例5：根据示例1所述的方法，还包括：经由所述NMD通过广域网向一个或多个远程计算设备发送对应于所分类的噪声的数据。
示例6：根据示例1所述的方法，其中，所述元数据包括以下各项中的至少一项：麦克风频率响应数据；麦克风频谱数据；回声消除(AEC)数据；回声回波损耗增强(ERLE)数据；仲裁数据；信号电平数据；或方向检测数据。
示例7：根据示例1所述的方法，其中，所述声音数据无法从所述元数据导出。
示例8：一种网络麦克风设备(NMD)，包括：一个或多个处理器；一个或多个麦克风；以及一种有形的、非暂时性的计算机可读介质，其存储指令，所述指令可由所述一个或多个处理器执行，以使所述回放设备执行包括以下各项的操作：经由所述一个或多个麦克风检测声音；基于所检测到的声音，在所述NMD的第一缓冲器中捕捉声音数据；经由所述NMD分析所述声音数据以检测触发事件；在所述NMD的至少第二缓冲器中捕捉与所述声音数据相关联的元数据；在检测到所述触发事件之后，分析所述元数据以对所述声音数据中的噪声进行分类；以及基于所分类的噪声，修改所述NMD的至少一个性能参数。
示例9：根据示例8所述的回放设备，其中，分析所述元数据以对所述声音数据中的噪声进行分类包括：将所述元数据与和已知噪声事件相关联的参考元数据进行比较。
示例10：根据示例9所述的回放设备，其中，所述元数据包括频率响应谱，并且其中，将所述元数据与参考元数据进行比较包括：将所述频率响应谱投影到对应于来自群体NMD的聚合频率响应谱的本征空间。
示例11：根据示例8所述的回放设备，其中，修改所述NMD的至少一个性能参数包括以下各项中的至少一项：调整所述NMD的唤醒词检测灵敏度参数；调整与所述NMD相关联的回放设备的回放音量；或修改所述NMD的降噪算法。
示例12：根据示例8所述的回放设备，其中，所述操作还包括：经由所述NMD通过广域网向一个或多个远程计算设备发送对应于所分类的噪声的数据。
示例13：根据示例8所述的回放设备，其中，所述元数据包括以下各项中的至少一项：麦克风频率响应数据；麦克风频谱数据；回声消除(AEC)数据；回声回波损耗增强(ERLE)数据；仲裁数据；信号电平数据；或方向检测数据。
示例14：根据示例8所述的回放设备，其中，所述声音数据无法从所述元数据导出。
示例15：一种有形的、非暂时性的计算机可读介质，其存储指令，所述指令可由所述一个或多个处理器执行，以使网络麦克风设备执行包括以下各项的操作：经由所述NMD的一个或多个麦克风检测声音；基于所检测到的声音，在所述NMD的第一缓冲器中捕捉声音数据；经由所述NMD分析所述声音数据以检测触发事件；在所述NMD的至少第二缓冲器中捕捉与所述声音数据相关联的元数据；在检测到所述触发事件之后，分析所述元数据以对所述声音数据中的噪声进行分类；以及基于所分类的噪声，修改所述NMD的至少一个性能参数。
示例16：根据示例15所述的有形的、非暂时性的计算机可读介质，其中，分析所述元数据以对所述声音数据中的噪声进行分类包括：将所述元数据与和已知噪声事件相关联的参考元数据进行比较。
示例17：根据示例16所述的有形的、非暂时性的计算机可读介质，其中，所述元数据包括频率响应谱，并且其中，将所述元数据与参考元数据进行比较包括：将所述频率响应谱投影到对应于来自群体NMD的聚合频率响应谱的本征空间。
示例18：根据示例15所述的有形的、非暂时性的计算机可读介质，其中，修改所述NMD的至少一个性能参数包括以下各项中的至少一项：调整所述NMD的唤醒词检测灵敏度参数；调整与所述NMD相关联的回放设备的回放音量；或修改所述NMD的降噪算法。
示例19：根据示例8所述的有形的、非暂时性的计算机可读介质，其中，所述操作还包括：经由所述NMD通过广域网向一个或多个远程计算设备发送对应于所分类的噪声的数据。
示例20：根据示例8所述的有形的、非暂时性的计算机可读介质，其中，所述元数据包括以下各项中的至少一项：麦克风频率响应数据；麦克风频谱数据；回声消除(AEC)数据；回声回波损耗增强(ERLE)数据；仲裁数据；信号电平数据；或方向检测数据。

Claims (19)

1.一种方法，包括：
经由网络麦克风设备NMD的一个或多个麦克风检测声音；
基于所检测到的声音，在所述NMD的第一缓冲器中捕捉声音数据；
经由所述NMD分析所述声音数据以检测触发事件；
在所述NMD的至少第二缓冲器中捕捉与所述声音数据相关联的元数据；
在检测到所述触发事件之后，使得分析元数据以对所述声音数据中的噪声进行分类；以及
基于所分类的噪声，修改所述NMD的至少一个性能参数。
2.根据权利要求1所述的方法，其中，所述声音数据无法从所述元数据导出。
3.根据权利要求1或2所述的方法，其中，分析所述元数据以对所述声音数据中的噪声进行分类包括：将所述元数据与和已知噪声事件相关联的参考元数据进行比较。
4.根据前述权利要求中任一项所述的方法，其中，将所述元数据与参考元数据进行比较包括：将所述元数据与相应噪声事件的特征进行比较，所述特征是使用主分量分析生成的，所述主分量分析被应用于暴露于所述相应噪声事件的麦克风设备的多个频率响应。
5.根据权利要求4所述的方法，其中，所述多个频率响应包括以下各项中的至少一项：
在受控条件下捕捉的样本；以及
从用户输入获得的样本。
6.根据前述权利要求中任一项所述的方法，其中，所述元数据包括频率响应谱，并且其中，将所述元数据与参考元数据进行比较包括：将所述频率响应谱投影到对应于来自群体NMD的聚合频率响应谱的本征空间。
7.根据前述权利要求中任一项所述的方法，还包括：通过将所述声音元数据限制为在许多采样帧上平均的频域信息来从所捕捉的声音数据导出所述元数据。
8.根据前述权利要求中任一项所述的方法，还包括：
从用户接收指示所述NMD的位置的输入，以及
确定至少一个噪声事件的可能性或多或少可能基于所指示的位置。
9.根据前述权利要求中任一项所述的方法，还包括：当检测到低噪声水平时，减少被处理以分析所述声音数据的麦克风声道的数量。
10.根据权利要求9所述的方法，其中，减少所述麦克风声道的数量包括：关闭一个或多个麦克风声道，对一个或多个麦克风声道断电，或丢弃来自一个或多个麦克风声道的读数。
11.根据前述权利要求中任一项所述的方法，还包括：在检测到所述噪声的同时，调整所述NMD的性能参数，并且在不再检测到所述噪声之后，将所述NMD的性能参数恢复到检测到所述噪声之前的状态。
12.根据前述权利要求中任一项所述的方法，其中，修改所述NMD的所述至少一个性能参数包括以下各项中的至少一项：
调整所述NMD的唤醒词检测灵敏度参数；
调整与所述NMD相关联的回放设备的回放音量；或者
修改所述NMD的降噪算法。
13.根据前述权利要求中任一项所述的方法，还包括：经由所述NMD通过广域网向一个或多个远程计算设备发送对应于所分类的噪声的数据。
14.根据前述权利要求中任一项所述的方法，其中，修改所述NMD的至少一个性能参数还包括修改环境中多个NMD的至少一个性能参数。
15.根据前述权利要求中任一项所述的方法，其中，所述元数据包括以下各项中的至少一项：
麦克风频率响应数据；
麦克风频谱数据；
声学回声消除AEC数据；
回声回波损耗增强ERLE数据；
仲裁数据；
信号电平数据；
或，方向检测数据。
16.根据前述权利要求中任一项所述的方法，其中，修改所述NMD的至少一个性能参数包括：
由所述NMD或远程设备使用应用于模拟噪声事件或噪声事件与语音输入的组合的一系列不同的性能参数执行预测建模，以及
确定针对特定噪声事件或噪声事件组合的最佳性能参数值，以及
基于所确定的最佳性能参数值修改所述NMD的性能参数。
17.根据权利要求16所述的方法，其中，使用在已知噪声的集合上训练的神经网络来执行所述预测建模。
18.一种有形的、非暂时性的计算机可读介质，其存储指令，所述指令能够由一个或多个处理器执行，以使网络麦克风设备NMD执行前述权利要求中任一项所述的方法。
19.一种网络麦克风设备NMD，包括：
一个或多个处理器；
一个或多个麦克风；以及
根据权利要求18所述的有形的、非暂时性的计算机可读介质。
CN201980089721.5A 2018-12-20 2019-12-19 使用噪声分类优化网络麦克风设备 Pending CN113330752A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/227,308 2018-12-20
US16/227,308 US10602268B1 (en) 2018-12-20 2018-12-20 Optimization of network microphone devices using noise classification
PCT/US2019/067576 WO2020132298A1 (en) 2018-12-20 2019-12-19 Optimization of network microphone devices using noise classification

Publications (1)

Publication Number Publication Date
CN113330752A true CN113330752A (zh) 2021-08-31

Family

ID=69185708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980089721.5A Pending CN113330752A (zh) 2018-12-20 2019-12-19 使用噪声分类优化网络麦克风设备

Country Status (7)

Country Link
US (4) US10602268B1 (zh)
EP (1) EP3900395A1 (zh)
JP (1) JP7271674B2 (zh)
CN (1) CN113330752A (zh)
AU (1) AU2019405936A1 (zh)
CA (1) CA3123601A1 (zh)
WO (1) WO2020132298A1 (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947333B1 (en) * 2012-02-10 2018-04-17 Amazon Technologies, Inc. Voice interaction architecture with intelligent background noise cancellation
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
SG11201810089TA (en) * 2016-06-08 2018-12-28 Exxonmobil Res & Eng Co Automatic visual and acoustic analytics for event detection
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
EP3811360A4 (en) 2018-06-21 2021-11-24 Magic Leap, Inc. PORTABLE SYSTEM VOICE PROCESSING
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) * 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11164580B2 (en) * 2018-10-22 2021-11-02 Google Llc Network source identification via audio signals
US11410651B2 (en) * 2018-10-22 2022-08-09 Google Llc Network source identification via audio signals
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
KR102570384B1 (ko) * 2018-12-27 2023-08-25 삼성전자주식회사 가전기기 및 이의 음성 인식 방법
TWI719385B (zh) * 2019-01-11 2021-02-21 緯創資通股份有限公司 電子裝置及其語音指令辨識方法
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
WO2020180719A1 (en) 2019-03-01 2020-09-10 Magic Leap, Inc. Determining input for speech processing engine
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11012780B2 (en) * 2019-05-14 2021-05-18 Bose Corporation Speaker system with customized audio experiences
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10871943B1 (en) * 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
KR102281602B1 (ko) * 2019-08-21 2021-07-29 엘지전자 주식회사 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법
DE102019213809B3 (de) * 2019-09-11 2020-11-26 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts sowie Hörgerät
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US20210201928A1 (en) * 2019-12-31 2021-07-01 Knowles Electronics, Llc Integrated speech enhancement for voice trigger application
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11917384B2 (en) * 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
CN112183647A (zh) * 2020-09-30 2021-01-05 国网山西省电力公司大同供电公司 一种基于深度学习的变电站设备声音故障检测及定位方法
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) * 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN113190207A (zh) 2021-04-26 2021-07-30 北京小米移动软件有限公司 信息处理方法、装置、电子设备及存储介质
WO2023056280A1 (en) 2021-09-30 2023-04-06 Sonos, Inc. Noise reduction using synthetic audio

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160316293A1 (en) * 2015-04-21 2016-10-27 Google Inc. Sound signature database for initialization of noise reduction in recordings
US9947333B1 (en) * 2012-02-10 2018-04-17 Amazon Technologies, Inc. Voice interaction architecture with intelligent background noise cancellation
CN108028048A (zh) * 2015-06-30 2018-05-11 弗劳恩霍夫应用研究促进协会 用于关联噪声和用于分析的方法和设备

Family Cites Families (971)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3014423A (en) 1959-11-27 1961-12-26 Jersey Prod Res Co Apparatus for drilling boreholes with explosive charges
US4941187A (en) 1984-02-03 1990-07-10 Slater Robert W Intercom apparatus for integrating disparate audio sources for use in light aircraft or similar high noise environments
US4741038A (en) 1986-09-26 1988-04-26 American Telephone And Telegraph Company, At&T Bell Laboratories Sound location arrangement
JPS63301998A (ja) 1987-06-02 1988-12-08 日本電気株式会社 音声認識応答装置
US4974213A (en) 1988-12-16 1990-11-27 Siwecki Thomas L Passive active underwater sound detection apparatus
US5036538A (en) 1989-11-22 1991-07-30 Telephonics Corporation Multi-station voice recognition and processing system
US5440644A (en) 1991-01-09 1995-08-08 Square D Company Audio distribution system having programmable zoning features
DE69220342T2 (de) 1991-12-20 1997-11-20 Matsushita Electric Ind Co Ltd Lautsprecherapparat zur Basswiedergabe
US6311157B1 (en) 1992-12-31 2001-10-30 Apple Computer, Inc. Assigning meanings to utterances in a speech recognition system
JPH0883091A (ja) 1994-09-09 1996-03-26 Matsushita Electric Ind Co Ltd 音声認識装置
US5740260A (en) 1995-05-22 1998-04-14 Presonus L.L.P. Midi to analog sound processor interface
US7174299B2 (en) 1995-08-18 2007-02-06 Canon Kabushiki Kaisha Speech recognition system, speech recognition apparatus, and speech recognition method
JP3094900B2 (ja) 1996-02-20 2000-10-03 ヤマハ株式会社 ネットワーク機器およびデータ送受信方法
US6404811B1 (en) 1996-05-13 2002-06-11 Tektronix, Inc. Interactive multimedia system
JP3679526B2 (ja) 1996-10-31 2005-08-03 キヤノン株式会社 画像共有装置、画面制御方法及びコンピュータ可読メモリ
US6469633B1 (en) 1997-01-06 2002-10-22 Openglobe Inc. Remote control of electronic devices
US6078886A (en) 1997-04-14 2000-06-20 At&T Corporation System and method for providing remote automatic speech recognition services via a packet network
US6611537B1 (en) 1997-05-30 2003-08-26 Centillium Communications, Inc. Synchronous network for digital media streams
US6408078B1 (en) 1997-10-30 2002-06-18 Maximilian Hobelsberger Active reactive acoustical elements
US6088459A (en) 1997-10-30 2000-07-11 Hobelsberger; Maximilian Hans Loudspeaker system with simulated baffle for improved base reproduction
US6032202A (en) 1998-01-06 2000-02-29 Sony Corporation Of Japan Home audio/video network with two level device control
US20020002039A1 (en) 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
US6301603B1 (en) 1998-02-17 2001-10-09 Euphonics Incorporated Scalable audio processing on a heterogeneous processor array
US6953886B1 (en) 1998-06-17 2005-10-11 Looney Productions, Llc Media organizer and entertainment center
IL127569A0 (en) 1998-09-16 1999-10-28 Comsense Technologies Ltd Interactive toys
US6839410B2 (en) 1998-09-01 2005-01-04 At&T Corp. Method and apparatus for setting user communication parameters based on voice identification of users
JP2002527800A (ja) 1998-10-02 2002-08-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 会話ブラウザおよび会話システム
US20020116196A1 (en) 1998-11-12 2002-08-22 Tran Bao Q. Speech recognizer
US7130616B2 (en) 2000-04-25 2006-10-31 Simple Devices System and method for providing content, management, and interactivity for client devices
US6256554B1 (en) 1999-04-14 2001-07-03 Dilorenzo Mark Multi-room entertainment system with in-room media player/dispenser
US6414251B1 (en) 1999-04-19 2002-07-02 Breck Colquett Weighing apparatus and method having automatic tolerance analysis and calibration
US7657910B1 (en) 1999-07-26 2010-02-02 E-Cast Inc. Distributed electronic entertainment method and apparatus
GB2352933A (en) 1999-07-31 2001-02-07 Ibm Speech encoding in a client server system
US6542868B1 (en) 1999-09-23 2003-04-01 International Business Machines Corporation Audio notification management system
US6937977B2 (en) 1999-10-05 2005-08-30 Fastmobile, Inc. Method and apparatus for processing an input speech signal during presentation of an output audio signal
US6611604B1 (en) 1999-10-22 2003-08-26 Stillwater Designs & Audio, Inc. Ultra low frequency transducer and loud speaker comprising same
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US6594630B1 (en) 1999-11-19 2003-07-15 Voice Signal Technologies, Inc. Voice-activated control for electrical device
US6522886B1 (en) 1999-11-22 2003-02-18 Qwest Communications International Inc. Method and system for simultaneously sharing wireless communications among multiple wireless handsets
EP1104968B1 (en) 1999-12-03 2007-02-14 Telefonaktiebolaget LM Ericsson (publ) A method of simultaneously playing back audio files in two telephones
KR20010054622A (ko) 1999-12-07 2001-07-02 서평원 음성 인식 시스템의 음성 인식률 향상 방법
US20010042107A1 (en) 2000-01-06 2001-11-15 Palm Stephen R. Networked audio player transport protocol and architecture
US7661107B1 (en) 2000-01-18 2010-02-09 Advanced Micro Devices, Inc. Method and apparatus for dynamic allocation of processing resources
WO2001053963A1 (en) 2000-01-24 2001-07-26 Zapmedia, Inc. System and method for the distribution and sharing of media assets between media players devices
WO2001053994A2 (en) 2000-01-24 2001-07-26 Friskit, Inc. Streaming media search and playback system
AU2001237673A1 (en) 2000-02-18 2001-08-27 Bridgeco Ag Reference time distribution over a network
JP2001236093A (ja) 2000-02-24 2001-08-31 Omron Corp 電子機器制御装置および電子機器
US6631410B1 (en) 2000-03-16 2003-10-07 Sharp Laboratories Of America, Inc. Multimedia wired/wireless content synchronization system and method
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US20020022453A1 (en) 2000-03-31 2002-02-21 Horia Balog Dynamic protocol selection and routing of content to mobile devices
GB2363036B (en) 2000-05-31 2004-05-12 Nokia Mobile Phones Ltd Conference call method and apparatus therefor
US20050164664A1 (en) 2000-07-21 2005-07-28 Difonzo Daniel F. Dynamically reconfigurable wireless networks (DRWiN) and methods for operating such networks
US20040105566A1 (en) 2000-07-27 2004-06-03 International Business Machines Corporation Body set type speaker unit
WO2002023389A1 (en) 2000-09-15 2002-03-21 Robert Fish Systems and methods for translating an item of information using a distal computer
US6934756B2 (en) 2000-11-01 2005-08-23 International Business Machines Corporation Conversational networking via transport, coding and control conversational protocols
US20020072816A1 (en) 2000-12-07 2002-06-13 Yoav Shdema Audio system
US7016847B1 (en) 2000-12-08 2006-03-21 Ben Franklin Patent Holdings L.L.C. Open architecture for a voice user interface
US6778869B2 (en) 2000-12-11 2004-08-17 Sony Corporation System and method for request, delivery and use of multimedia files for audiovisual entertainment in the home environment
US7143939B2 (en) 2000-12-19 2006-12-05 Intel Corporation Wireless music device and method therefor
US20020124097A1 (en) 2000-12-29 2002-09-05 Isely Larson J. Methods, systems and computer program products for zone based distribution of audio signals
US7617099B2 (en) 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile
GB2372864B (en) 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US6757517B2 (en) 2001-05-10 2004-06-29 Chin-Chi Chang Apparatus and method for coordinated music playback in wireless ad-hoc networks
US7136934B2 (en) 2001-06-19 2006-11-14 Request, Inc. Multimedia synchronization method and device
KR100420069B1 (ko) 2001-08-23 2004-02-25 한국과학기술원 인지 특성을 반영한 메뉴 설계 및 아이템 제시방법
US6892083B2 (en) 2001-09-05 2005-05-10 Vocera Communications Inc. Voice-controlled wireless communications system and method
US7536704B2 (en) 2001-10-05 2009-05-19 Opentv, Inc. Method and apparatus automatic pause and resume of playback for a popup on interactive TV
CA2407123C (en) 2001-10-16 2007-12-18 Audio Products International Corp. Low distortion loudspeaker cone suspension
CA2408045A1 (en) 2001-10-16 2003-04-16 Audio Products International Corp. Loudspeaker with large displacement motional feedback
US7006639B2 (en) 2001-11-20 2006-02-28 Maximilian Hans Hobelsberger Active noise-attenuating duct element
US7103542B2 (en) 2001-12-14 2006-09-05 Ben Franklin Patent Holding Llc Automatically improving a voice recognition system
US7391791B2 (en) 2001-12-17 2008-06-24 Implicit Networks, Inc. Method and system for synchronization of content rendering
DE10163213A1 (de) 2001-12-21 2003-07-10 Philips Intellectual Property Verfahren zum Betrieb eines Spracherkennungssystems
US8103009B2 (en) 2002-01-25 2012-01-24 Ksc Industries, Inc. Wired, wireless, infrared, and powerline audio entertainment systems
US7853341B2 (en) 2002-01-25 2010-12-14 Ksc Industries, Inc. Wired, wireless, infrared, and powerline audio entertainment systems
JP4086280B2 (ja) 2002-01-29 2008-05-14 株式会社東芝 音声入力システム、音声入力方法及び音声入力プログラム
AU2003216319A1 (en) 2002-02-20 2003-09-09 Meshnetworks, Inc. A system and method for routing 802.11 data traffic across channels to increase ad-hoc network capacity
JP3715584B2 (ja) 2002-03-28 2005-11-09 富士通株式会社 機器制御装置および機器制御方法
CA2485100C (en) 2002-05-06 2012-10-09 David Goldberg Localized audio networks and associated digital accessories
US7643894B2 (en) 2002-05-09 2010-01-05 Netstreams Llc Audio network distribution system
US6961423B2 (en) 2002-06-24 2005-11-01 Freescale Semiconductor, Inc. Method and apparatus for performing adaptive filtering
JP3815388B2 (ja) 2002-06-25 2006-08-30 株式会社デンソー 音声認識システムおよび端末
US8060225B2 (en) 2002-07-31 2011-11-15 Hewlett-Packard Development Company, L. P. Digital audio device
EP1389853B1 (en) 2002-08-14 2006-03-29 Sony Deutschland GmbH Bandwidth oriented reconfiguration of wireless ad hoc networks
JP3910898B2 (ja) * 2002-09-17 2007-04-25 株式会社東芝 指向性設定装置、指向性設定方法及び指向性設定プログラム
US7228275B1 (en) 2002-10-21 2007-06-05 Toyota Infotechnology Center Co., Ltd. Speech recognition system having multiple speech recognizers
KR20040042242A (ko) 2002-11-13 2004-05-20 삼성전자주식회사 홈서버를 이용하는 홈로봇 및 이를 포함하는 홈네트워크시스템
US7295548B2 (en) 2002-11-27 2007-11-13 Microsoft Corporation Method and system for disaggregating audio/visual components
US7076428B2 (en) 2002-12-30 2006-07-11 Motorola, Inc. Method and apparatus for selective distributed speech recognition
JP2004347943A (ja) 2003-05-23 2004-12-09 Clarion Co Ltd データ処理装置、楽曲再生装置、データ処理装置の制御プログラムおよび楽曲再生装置の制御プログラム
JP2004354721A (ja) 2003-05-29 2004-12-16 Shimizu Corp 音声制御装置、音声制御方法および音声制御プログラム
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US7571014B1 (en) 2004-04-01 2009-08-04 Sonos, Inc. Method and apparatus for controlling multimedia players in a multi-zone system
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US7961892B2 (en) 2003-07-28 2011-06-14 Texas Instruments Incorporated Apparatus and method for monitoring speaker cone displacement in an audio speaker
US20050031139A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Position detection of an actuator using impedance
US20050031137A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Calibration of an actuator
US20050031134A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Position detection of an actuator using infrared light
US20050031131A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Method of modifying dynamics of a system
US20050031133A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Process for position indication
US20050031140A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Position detection of an actuator using a capacitance measurement
US20060104451A1 (en) 2003-08-07 2006-05-18 Tymphany Corporation Audio reproduction system
US20050031138A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Method of measuring a cant of an actuator
US20050031132A1 (en) 2003-08-07 2005-02-10 Tymphany Corporation Control system
KR20050023841A (ko) 2003-09-03 2005-03-10 삼성전자주식회사 비선형 왜곡 저감 방법 및 장치
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US20050077843A1 (en) 2003-10-11 2005-04-14 Ronnie Benditt Method and apparatus for controlling a performing arts show by an onstage performer
EP1680942A1 (en) 2003-10-24 2006-07-19 Koninklijke Philips Electronics N.V. Adaptive sound reproduction
DE602004021716D1 (de) 2003-11-12 2009-08-06 Honda Motor Co Ltd Spracherkennungssystem
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
JP4269973B2 (ja) 2004-02-27 2009-05-27 株式会社デンソー カーオーディオシステム
US7415117B2 (en) 2004-03-02 2008-08-19 Microsoft Corporation System and method for beamforming using a microphone array
US7483538B2 (en) 2004-03-02 2009-01-27 Ksc Industries, Inc. Wireless and wired speaker hub for a home theater system
JP4059214B2 (ja) 2004-03-04 2008-03-12 ソニー株式会社 情報再生システムの制御方法、情報再生システム、情報提供装置、および情報提供プログラム
US10200504B2 (en) 2007-06-12 2019-02-05 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US7372966B2 (en) 2004-03-19 2008-05-13 Nokia Corporation System for limiting loudspeaker displacement
JP2005284492A (ja) 2004-03-29 2005-10-13 Mitsubishi Electric Corp 音声利用操作装置
US7630501B2 (en) 2004-05-14 2009-12-08 Microsoft Corporation System and method for calibration of an acoustic system
US7792311B1 (en) 2004-05-15 2010-09-07 Sonos, Inc., Method and apparatus for automatically enabling subwoofer channel audio based on detection of subwoofer device
US7346846B2 (en) 2004-05-28 2008-03-18 Microsoft Corporation Strategies for providing just-in-time user assistance
US7006938B2 (en) 2004-06-16 2006-02-28 Ami Semiconductor, Inc. Reactive sensor modules using Pade' Approximant based compensation and providing module-sourced excitation
US7672845B2 (en) 2004-06-22 2010-03-02 International Business Machines Corporation Method and system for keyword detection using voice-recognition
US20060004834A1 (en) 2004-06-30 2006-01-05 Nokia Corporation Dynamic shortcuts
JP2006092482A (ja) 2004-09-27 2006-04-06 Yamaha Corp 音声認識通報装置
US7720232B2 (en) 2004-10-15 2010-05-18 Lifesize Communications, Inc. Speakerphone
US8386523B2 (en) 2004-12-30 2013-02-26 Texas Instruments Incorporated Random access audio decoder
TWI272860B (en) 2005-01-03 2007-02-01 Lite On Technology Corp Audio receiver and volume reminder method
US20070189544A1 (en) 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
US8396213B2 (en) 2005-01-21 2013-03-12 Certicom Corp. Elliptic curve random number generation
US20060190968A1 (en) 2005-01-31 2006-08-24 Searete Llc, A Limited Corporation Of The State Of The State Of Delaware Sharing between shared audio devices
US7991167B2 (en) 2005-04-29 2011-08-02 Lifesize Communications, Inc. Forming beams with nulls directed at noise sources
US7720684B2 (en) 2005-04-29 2010-05-18 Nuance Communications, Inc. Method, apparatus, and computer program product for one-step correction of voice interaction
US9300790B2 (en) 2005-06-24 2016-03-29 Securus Technologies, Inc. Multi-party conversation analyzer and logger
JP4760160B2 (ja) 2005-06-29 2011-08-31 ヤマハ株式会社 集音装置
JP4804052B2 (ja) 2005-07-08 2011-10-26 アルパイン株式会社 音声認識装置、音声認識装置を備えたナビゲーション装置及び音声認識装置の音声認識方法
US20070018844A1 (en) 2005-07-19 2007-01-25 Sehat Sutardja Two way remote control
JP4285457B2 (ja) 2005-07-20 2009-06-24 ソニー株式会社 音場測定装置及び音場測定方法
WO2007013622A1 (ja) 2005-07-29 2007-02-01 Matsushita Electric Industrial Co., Ltd. スピーカ装置
CN1909625A (zh) 2005-08-05 2007-02-07 鸿富锦精密工业（深圳）有限公司 一种自动调整音量的电视装置及控制方法
US20090076821A1 (en) 2005-08-19 2009-03-19 Gracenote, Inc. Method and apparatus to control operation of a playback device
US20070060054A1 (en) 2005-09-15 2007-03-15 Sony Ericsson Mobile Communications Ab Wireless home communication system method and apparatus
JP4519041B2 (ja) 2005-09-20 2010-08-04 ローランド株式会社 楽器用スピーカ装置
WO2007051493A1 (en) 2005-11-07 2007-05-10 Telecom Italia S.P.A. Method for managing a conference call in a telephone network
JP4929685B2 (ja) 2005-11-15 2012-05-09 ヤマハ株式会社 遠隔会議装置
WO2007058130A1 (ja) 2005-11-15 2007-05-24 Yamaha Corporation 遠隔会議装置及び放収音装置
US20070140058A1 (en) 2005-11-21 2007-06-21 Motorola, Inc. Method and system for correcting transducer non-linearities
US7600194B2 (en) 2005-12-02 2009-10-06 Microsoft Corporation Start menu operation for computer user interface
JP2007174233A (ja) 2005-12-21 2007-07-05 Pioneer Electronic Corp スピーカー装置及び携帯電話機
JP4677341B2 (ja) 2005-12-21 2011-04-27 パイオニア株式会社 スピーカー装置及び携帯電話機
KR100762636B1 (ko) 2006-02-14 2007-10-01 삼성전자주식회사 네트워크 단말의 음성 검출 제어 시스템 및 방법
WO2007103937A2 (en) 2006-03-06 2007-09-13 General Innovations, Inc. Positionally sequenced loudspeaker system
EP2005319B1 (en) 2006-04-04 2017-01-11 Johnson Controls Technology Company System and method for extraction of meta data from a digital media storage device for media selection in a vehicle
KR100786108B1 (ko) 2006-05-01 2007-12-18 김준식 음파통신 네트워크
US9208785B2 (en) 2006-05-10 2015-12-08 Nuance Communications, Inc. Synchronizing distributed speech recognition
US8041057B2 (en) 2006-06-07 2011-10-18 Qualcomm Incorporated Mixing techniques for mixing audio
JP4984683B2 (ja) 2006-06-29 2012-07-25 ヤマハ株式会社 放収音装置
US8207936B2 (en) 2006-06-30 2012-06-26 Sony Ericsson Mobile Communications Ab Voice remote control
US20080037814A1 (en) 2006-08-09 2008-02-14 Jeng-Jye Shau Precision audio speakers
US8428278B2 (en) 2006-08-10 2013-04-23 Claudio Lastrucci Improvements to systems for acoustic diffusion
US10013381B2 (en) 2006-08-31 2018-07-03 Bose Corporation Media playing from a docked handheld media device
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8473618B2 (en) 2006-09-19 2013-06-25 Motorola Solutions, Inc. Method and system for processing multiple communication sessions in a communication network
JP2008079256A (ja) 2006-09-25 2008-04-03 Toshiba Corp 音響信号処理装置、音響信号処理方法及びプログラム
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
JP2010507294A (ja) 2006-10-17 2010-03-04 アベガ システムズ ピーティーワイ リミテッド マルチメディアデバイスの統合
TWI435591B (zh) 2006-10-17 2014-04-21 Marvell World Trade Ltd 用於蜂巢電話之顯示控制
US7747293B2 (en) 2006-10-17 2010-06-29 Marvell Worl Trade Ltd. Display control for cellular phone
US8391501B2 (en) 2006-12-13 2013-03-05 Motorola Mobility Llc Method and apparatus for mixing priority and non-priority audio signals
US9124650B2 (en) 2006-12-13 2015-09-01 Quickplay Media Inc. Digital rights management in a mobile environment
US20080146289A1 (en) 2006-12-14 2008-06-19 Motorola, Inc. Automatic audio transducer adjustments based upon orientation of a mobile communication device
JP2008158868A (ja) 2006-12-25 2008-07-10 Toyota Motor Corp 移動体、及びその制御方法
KR101316750B1 (ko) 2007-01-23 2013-10-08 삼성전자주식회사 수신된 위치 정보에 따라 오디오 파일을 재생하는 장치 및그 방법
TW200833152A (en) 2007-01-31 2008-08-01 Bluepacket Comm Co Ltd Multimedia switching system
US20090228919A1 (en) 2007-11-16 2009-09-10 Zott Joseph A Media playlist management and viewing remote control
US20080208594A1 (en) 2007-02-27 2008-08-28 Cross Charles W Effecting Functions On A Multimodal Telephony Device
US8996379B2 (en) 2007-03-07 2015-03-31 Vlingo Corporation Speech recognition text entry for software applications
US8635243B2 (en) 2007-03-07 2014-01-21 Research In Motion Limited Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US8886545B2 (en) 2007-03-07 2014-11-11 Vlingo Corporation Dealing with switch latency in speech recognition
US8019076B1 (en) 2007-03-14 2011-09-13 Clearone Communications, Inc. Portable speakerphone device and subsystem utilizing false doubletalk detection
GB0706074D0 (en) 2007-03-28 2007-05-09 Skype Ltd Detection of communication states
US8983051B2 (en) 2007-04-03 2015-03-17 William F. Barton Outgoing call classification and disposition
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8406439B1 (en) 2007-04-04 2013-03-26 At&T Intellectual Property I, L.P. Methods and systems for synthetic audio placement
US8848879B1 (en) 2007-05-03 2014-09-30 Avaya Inc. Customizable notification based on recent communication history
KR100827613B1 (ko) 2007-05-04 2008-05-07 삼성전자주식회사 휴대용 단말기의 마이크 제어 장치 및 방법
US8032383B1 (en) 2007-05-04 2011-10-04 Foneweb, Inc. Speech controlled services and devices using internet
US8041565B1 (en) 2007-05-04 2011-10-18 Foneweb, Inc. Precision speech to text conversion
US8136040B2 (en) 2007-05-16 2012-03-13 Apple Inc. Audio variance for multiple windows
BRPI0810285A2 (pt) 2007-05-18 2014-12-30 Shorthand Mobile Inc "sistema e processo para comunicações aperfeiçoadas via sistemas de comunicação de pequena taxa de dados"
EP1998446A1 (en) 2007-05-31 2008-12-03 Alcatel Lucent Remote control for devices with connectivity to a service delivery platform
US8068925B2 (en) 2007-06-28 2011-11-29 Apple Inc. Dynamic routing of audio among multiple audio devices
JP4985151B2 (ja) 2007-06-29 2012-07-25 ヤマハ株式会社 コンテンツ配信システム及びセンタ装置
JP4916394B2 (ja) 2007-07-03 2012-04-11 富士通株式会社 エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム
WO2009020617A1 (en) 2007-08-06 2009-02-12 Orison Corporation System and method for three-dimensional ultrasound imaging
US8073125B2 (en) 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
US8013720B2 (en) 2007-11-02 2011-09-06 Reverse Control, Inc. Signal apparatus for facilitating safe backup of vehicles
CN101584225B (zh) 2007-11-20 2013-11-06 松下电器产业株式会社 扬声器、视频设备、以及便携式信息处理装置
US20090153289A1 (en) 2007-12-12 2009-06-18 Eric James Hope Handheld electronic devices with bimodal remote control functionality
US9386154B2 (en) 2007-12-21 2016-07-05 Nuance Communications, Inc. System, method and software program for enabling communications between customer service agents and users of communication devices
US8473081B2 (en) 2007-12-25 2013-06-25 Personics Holdings, Inc. Method and system for event reminder using an earpiece
US8423893B2 (en) 2008-01-07 2013-04-16 Altec Lansing Australia Pty Limited User interface for managing the operation of networked media playback devices
US9992314B2 (en) 2008-01-24 2018-06-05 Garmin Switzerland Gmbh Automatic device mode switching
DE102008039329A1 (de) 2008-01-25 2009-07-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Berechnung von Steuerinformationen für ein Echounterdrückungsfilter und Vorrichtung und Verfahren zur Berechnung eines Verzögerungswerts
US8072905B2 (en) 2008-02-04 2011-12-06 Sony Ericsson Mobile Communications Ab Intelligent interaction between devices in a local network
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US8255224B2 (en) 2008-03-07 2012-08-28 Google Inc. Voice recognition grammar selection based on context
US9113240B2 (en) 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
WO2009120301A2 (en) 2008-03-25 2009-10-01 Square Products Corporation System and method for simultaneous media presentation
US20090248397A1 (en) 2008-03-25 2009-10-01 Microsoft Corporation Service Initiation Techniques
CN101562671A (zh) 2008-04-18 2009-10-21 鸿富锦精密工业（深圳）有限公司 音频设备的音量控制方法及通信装置
JP5423670B2 (ja) 2008-04-30 2014-02-19 日本電気株式会社 音響モデル学習装置および音声認識装置
US8831948B2 (en) 2008-06-06 2014-09-09 At&T Intellectual Property I, L.P. System and method for synthetically generated speech describing media content
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8693663B2 (en) 2008-06-27 2014-04-08 Centurylink Intellectual Property Llc System and method for implementing do-not-disturb during playback of media content
US8364481B2 (en) 2008-07-02 2013-01-29 Google Inc. Speech recognition with parallel recognition tasks
US8505056B2 (en) 2008-07-10 2013-08-06 Apple Inc. Updating properties of remote A/V performance nodes
EP2146519B1 (en) 2008-07-16 2012-06-06 Nuance Communications, Inc. Beamforming pre-processing for speaker localization
US8781833B2 (en) 2008-07-17 2014-07-15 Nuance Communications, Inc. Speech recognition semantic classification training
US8639830B2 (en) 2008-07-22 2014-01-28 Control4 Corporation System and method for streaming audio
US8325938B2 (en) 2008-08-12 2012-12-04 Sony Corporation Handsfree call apparatus, acoustic reproducing apparatus with handsfree call function, and handsfree call method
JP5206234B2 (ja) 2008-08-27 2013-06-12 富士通株式会社 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
KR20100034229A (ko) 2008-09-23 2010-04-01 삼성전자주식회사 이어폰 회로를 포함하는 휴대 단말기 및 이의 운용방법
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR101829865B1 (ko) 2008-11-10 2018-02-20 구글 엘엘씨 멀티센서 음성 검출
US8386261B2 (en) 2008-11-14 2013-02-26 Vocollect Healthcare Systems, Inc. Training/coaching system for a voice-enabled work environment
JP5347472B2 (ja) 2008-12-12 2013-11-20 ヤマハ株式会社 遠隔制御装置および遠隔制御システム
US8548812B2 (en) 2008-12-22 2013-10-01 Avaya Inc. Method and system for detecting a relevant utterance in a voice session
KR101467796B1 (ko) 2009-01-12 2014-12-10 엘지전자 주식회사 이동단말기 및 그 제어 방법
US20100179874A1 (en) 2009-01-13 2010-07-15 Yahoo! Inc. Media object metadata engine configured to determine relationships between persons and brands
US8428758B2 (en) 2009-02-16 2013-04-23 Apple Inc. Dynamic audio ducking
FR2943875A1 (fr) * 2009-03-31 2010-10-01 France Telecom Procede et dispositif de classification du bruit de fond contenu dans un signal audio.
KR101064976B1 (ko) 2009-04-06 2011-09-15 한국과학기술원 음원위치추정시스템 및 이를 구비한 음원에 반응하는 로봇
JP4820434B2 (ja) 2009-06-08 2011-11-24 レノボ・シンガポール・プライベート・リミテッド マイクロフォンのミュート・コントロール
US8625775B2 (en) 2009-08-06 2014-01-07 Hti Ip, L.L.C. Method and system for reducing echo and noise in a vehicle passenger compartment environment
US8478982B2 (en) 2009-08-06 2013-07-02 Broadcom Corporation Media access control security management in physical layer
JP5440053B2 (ja) 2009-09-14 2014-03-12 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US8753279B2 (en) 2009-09-17 2014-06-17 Hitachi Medical Corporation Ultrasound probe and ultrasound imaging device
US20110091055A1 (en) 2009-10-19 2011-04-21 Broadcom Corporation Loudspeaker localization techniques
US8600073B2 (en) 2009-11-04 2013-12-03 Cambridge Silicon Radio Limited Wind noise suppression
KR101301535B1 (ko) 2009-12-02 2013-09-04 한국전자통신연구원 하이브리드 번역 장치 및 그 방법
US20110145581A1 (en) 2009-12-14 2011-06-16 Verizon Patent And Licensing, Inc. Media playback across devices
JP5641186B2 (ja) 2010-01-13 2014-12-17 ヤマハ株式会社 雑音抑圧装置およびプログラム
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
WO2011091402A1 (en) 2010-01-25 2011-07-28 Justin Mason Voice electronic listening assistant
US8718290B2 (en) * 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
US8713571B2 (en) 2010-02-17 2014-04-29 Microsoft Corporation Asynchronous task execution
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9209987B2 (en) 2010-03-02 2015-12-08 Microsoft Technology Licensing, Llc Social media playback
EP2375779A3 (en) 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for measuring a plurality of loudspeakers and microphone array
US9112989B2 (en) 2010-04-08 2015-08-18 Qualcomm Incorporated System and method of smart audio logging for mobile devices
US9514476B2 (en) 2010-04-14 2016-12-06 Viacom International Inc. Systems and methods for discovering artists
US8437339B2 (en) 2010-04-28 2013-05-07 Hewlett-Packard Development Company, L.P. Techniques to provide integrated voice service management
WO2011140221A1 (en) 2010-05-04 2011-11-10 Shazam Entertainment Ltd. Methods and systems for synchronizing media
US9307340B2 (en) 2010-05-06 2016-04-05 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
JP2013530420A (ja) 2010-05-06 2013-07-25 ドルビー ラボラトリーズ ライセンシング コーポレイション 可搬型メディア再生装置に関するオーディオ・システム等化処理
US9736600B2 (en) 2010-05-17 2017-08-15 Iii Holdings 4, Llc Devices and methods for collecting acoustic data
US8395653B2 (en) 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US20110289506A1 (en) 2010-05-18 2011-11-24 Google Inc. Management of computing resources for applications
US8831761B2 (en) 2010-06-02 2014-09-09 Sony Corporation Method for determining a processed audio signal and a handheld device
JP2011259097A (ja) 2010-06-07 2011-12-22 Sony Corp 音声信号処理装置及び音声信号処理方法
US8588849B2 (en) 2010-07-09 2013-11-19 Blackberry Limited System and method for resuming media
US8699723B2 (en) 2010-07-20 2014-04-15 International Business Machines Corporation Audio device volume manager using measured volume perceived at a first audio device to control volume generation by a second audio device
US8762144B2 (en) 2010-07-21 2014-06-24 Samsung Electronics Co., Ltd. Method and apparatus for voice activity detection
US8731939B1 (en) 2010-08-06 2014-05-20 Google Inc. Routing queries based on carrier phrase registration
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
KR101607419B1 (ko) 2010-08-27 2016-03-29 인텔 코포레이션 원격 제어 장치
US20120078635A1 (en) 2010-09-24 2012-03-29 Apple Inc. Voice control system
US8861756B2 (en) 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
JP5259020B2 (ja) 2010-10-01 2013-08-07 三菱電機株式会社 音声認識装置
US9240111B2 (en) 2010-10-06 2016-01-19 Microsoft Technology Licensing, Llc Inferring building metadata from distributed sensors
CN103222192B (zh) 2010-10-08 2019-05-07 日本电气株式会社 信号处理设备和信号处理方法
KR20140035310A (ko) 2010-10-22 2014-03-21 포러스, 인코포레이티드 미디어 배포 아키텍처
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
US9226069B2 (en) 2010-10-29 2015-12-29 Qualcomm Incorporated Transitioning multiple microphones from a first mode to a second mode
EP2456199A3 (en) 2010-11-22 2014-07-16 DDS Newco Inc. Method and systems of dynamically managing content for use by a media playback device
US20120148075A1 (en) 2010-12-08 2012-06-14 Creative Technology Ltd Method for optimizing reproduction of audio signals from an apparatus for audio reproduction
JP6012621B2 (ja) 2010-12-15 2016-10-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． リモートノイズ検知器を使用したノイズ削減システム
JP5771002B2 (ja) 2010-12-22 2015-08-26 株式会社東芝 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機
US9241227B2 (en) 2011-01-06 2016-01-19 Bose Corporation Transducer with integrated sensor
JP2012150237A (ja) 2011-01-18 2012-08-09 Sony Corp 音信号処理装置、および音信号処理方法、並びにプログラム
US8929564B2 (en) * 2011-03-03 2015-01-06 Microsoft Corporation Noise adaptive beamforming for microphone arrays
CN102123188A (zh) 2011-03-03 2011-07-13 曾超宁 移动电话耳麦装置
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9342516B2 (en) 2011-05-18 2016-05-17 Microsoft Technology Licensing, Llc Media presentation playback annotation
WO2012166811A2 (en) 2011-05-31 2012-12-06 Google Inc. Muting participants in a communication session
US8897465B2 (en) 2011-06-01 2014-11-25 Robert Bosch Gmbh Class D micro-speaker
US8958571B2 (en) 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US8738925B1 (en) 2013-01-07 2014-05-27 Fitbit, Inc. Wireless portable biometric device syncing
US9307321B1 (en) 2011-06-09 2016-04-05 Audience, Inc. Speaker distortion reduction
US9226088B2 (en) 2011-06-11 2015-12-29 Clearone Communications, Inc. Methods and apparatuses for multiple configurations of beamforming microphone arrays
WO2012174301A1 (en) 2011-06-14 2012-12-20 Related Content Database, Inc. System and method for presenting content with time based metadata
US8731765B2 (en) 2011-06-28 2014-05-20 GM Global Technology Operations LLC Method and apparatus for fault detection in a torque machine of a powertrain system
US20130018659A1 (en) 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US20130024018A1 (en) 2011-07-22 2013-01-24 Htc Corporation Multimedia control method and multimedia control system
JP5289517B2 (ja) * 2011-07-28 2013-09-11 株式会社半導体理工学研究センター センサネットワークシステムとその通信方法
US9148742B1 (en) 2011-07-29 2015-09-29 Google Inc. Proximity detection via audio
JP5640918B2 (ja) 2011-08-05 2014-12-17 ブラザー工業株式会社 サーバ装置、対応付け方法、及び携帯機器用プログラム
EP2557813A2 (en) 2011-08-08 2013-02-13 Bang & Olufsen A/S A modular, configurable speaker system and a method of operating it
KR101252167B1 (ko) 2011-08-18 2013-04-05 엘지전자 주식회사 가전기기 진단장치 및 그 진단방법
US20130211826A1 (en) 2011-08-22 2013-08-15 Claes-Fredrik Urban Mannby Audio Signals as Buffered Streams of Audio Signals and Metadata
US8750677B2 (en) 2011-08-23 2014-06-10 Microsoft Corporation Method for transferring media playback from a different device
US9094539B1 (en) 2011-09-22 2015-07-28 Amazon Technologies, Inc. Dynamic device adjustments based on determined user sleep state
US9729631B2 (en) 2011-09-30 2017-08-08 Apple Inc. Asynchronous data manipulation
US8340975B1 (en) 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
US8971546B2 (en) 2011-10-14 2015-03-03 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to control audio playback devices
CN103052001B (zh) 2011-10-17 2015-06-24 联想(北京)有限公司 智能设备及其控制方法
US8983089B1 (en) 2011-11-28 2015-03-17 Rawles Llc Sound source localization using multiple microphone arrays
CN102567468B (zh) 2011-12-06 2014-06-04 上海聚力传媒技术有限公司 一种用于对媒体文件的播放音量进行调节的方法与设备
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals
EP2792152A4 (en) 2011-12-13 2015-07-22 Intel Corp NAVIGATING CHANNELS IN MULTIMEDIA DEVICES CONNECTED BY SELECTING KEYWORDS
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
KR102022318B1 (ko) 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US8825020B2 (en) 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US9654817B2 (en) 2012-01-27 2017-05-16 Avaya Inc. System and method to synchronize video playback on mobile devices
WO2013115748A1 (en) 2012-01-30 2013-08-08 Echostar Ukraine, L.L.C. Apparatus, systems and methods for adjusting output audio volume based on user location
US9401058B2 (en) 2012-01-30 2016-07-26 International Business Machines Corporation Zone based presence determination via voiceprint location awareness
US9418658B1 (en) 2012-02-08 2016-08-16 Amazon Technologies, Inc. Configuration of voice controlled assistant
US8453058B1 (en) 2012-02-20 2013-05-28 Google Inc. Crowd-sourced audio shortcuts
US9065895B2 (en) 2012-02-22 2015-06-23 Broadcom Corporation Non-linear echo cancellation
US9361878B2 (en) 2012-03-30 2016-06-07 Michael Boukadakis Computer-readable medium, system and method of providing domain-specific information
WO2013155619A1 (en) 2012-04-20 2013-10-24 Sam Pasupalak Conversational agent
US9633186B2 (en) 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
US11452153B2 (en) 2012-05-01 2022-09-20 Lisnr, Inc. Pairing and gateway connection using sonic tones
US8886524B1 (en) 2012-05-01 2014-11-11 Amazon Technologies, Inc. Signal processing based on audio context
US9584909B2 (en) 2012-05-10 2017-02-28 Google Inc. Distributed beamforming based on message passing
US8908879B2 (en) 2012-05-23 2014-12-09 Sonos, Inc. Audio content auditioning
US9633368B2 (en) 2012-05-25 2017-04-25 Apple Inc. Content ranking and serving on a multi-user device or interface
CN103456332A (zh) 2012-05-28 2013-12-18 富泰华工业（深圳）有限公司 音频播放装置及音量调节方法
US20130324031A1 (en) 2012-05-31 2013-12-05 Nokia Corporation Dynamic allocation of audio channel for surround sound systems
US9060224B1 (en) 2012-06-01 2015-06-16 Rawles Llc Voice controlled assistant with coaxial speaker and microphone arrangement
EP2856690B1 (en) 2012-06-01 2020-12-02 BlackBerry Limited Universal synchronization engine based on probabilistic methods for guarantee of lock in multiformat audio systems
US9997069B2 (en) 2012-06-05 2018-06-12 Apple Inc. Context-aware voice guidance
US8903526B2 (en) 2012-06-06 2014-12-02 Sonos, Inc. Device playback failure recovery and redistribution
US9881616B2 (en) 2012-06-06 2018-01-30 Qualcomm Incorporated Method and systems having improved speech recognition
US9301073B2 (en) 2012-06-08 2016-03-29 Apple Inc. Systems and methods for determining the condition of multiple microphones
US9142215B2 (en) 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
US10354650B2 (en) 2012-06-26 2019-07-16 Google Llc Recognizing speech with mixed speech recognition models to generate transcriptions
US9137564B2 (en) 2012-06-28 2015-09-15 Sonos, Inc. Shift to corresponding media in a playback queue
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
US20140006825A1 (en) 2012-06-30 2014-01-02 David Shenhav Systems and methods to wake up a device from a power conservation state
US9615171B1 (en) 2012-07-02 2017-04-04 Amazon Technologies, Inc. Transformation inversion to reduce the effect of room acoustics
US20140003635A1 (en) 2012-07-02 2014-01-02 Qualcomm Incorporated Audio signal processing device calibration
US9497544B2 (en) 2012-07-02 2016-11-15 Qualcomm Incorporated Systems and methods for surround sound echo reduction
US9536528B2 (en) 2012-07-03 2017-01-03 Google Inc. Determining hotword suitability
KR101972955B1 (ko) 2012-07-03 2019-04-26 삼성전자 주식회사 음성을 이용한 사용자 디바이스들 간 서비스 연결 방법 및 장치
US8972762B2 (en) 2012-07-11 2015-03-03 Blackberry Limited Computing devices and methods for resetting inactivity timers on computing devices
US8983844B1 (en) 2012-07-31 2015-03-17 Amazon Technologies, Inc. Transmission of noise parameters for improving automatic speech recognition
US8831957B2 (en) 2012-08-01 2014-09-09 Google Inc. Speech recognition models based on location indicia
CN107068913B (zh) 2012-08-03 2019-04-30 株式会社半导体能源研究所 发光元件、发光装置、电子设备以及照明装置
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US9532153B2 (en) 2012-08-29 2016-12-27 Bang & Olufsen A/S Method and a system of providing information to a user
US20140075311A1 (en) 2012-09-11 2014-03-13 Jesse William Boettcher Methods and apparatus for controlling audio volume on an electronic device
US20140075306A1 (en) 2012-09-12 2014-03-13 Randy Rega Music search and retrieval system
US8798598B2 (en) 2012-09-13 2014-08-05 Alain Rossmann Method and system for screencasting Smartphone video game software to online social networks
US8983383B1 (en) 2012-09-25 2015-03-17 Rawles Llc Providing hands-free service to multiple devices
US9319816B1 (en) 2012-09-26 2016-04-19 Amazon Technologies, Inc. Characterizing environment using ultrasound pilot tones
JP2014071138A (ja) 2012-09-27 2014-04-21 Xing Inc カラオケ装置
US8725125B2 (en) 2012-09-28 2014-05-13 United Video Properties, Inc. Systems and methods for controlling audio playback on portable devices with vehicle equipment
KR102091236B1 (ko) 2012-09-28 2020-03-18 삼성전자 주식회사 전자기기 및 그 제어방법
WO2014055312A1 (en) 2012-10-02 2014-04-10 Mh Acoustics, Llc Earphones having configurable microphone arrays
US8484025B1 (en) 2012-10-04 2013-07-09 Google Inc. Mapping an audio utterance to an action using a classifier
CN102902253B (zh) 2012-10-09 2015-07-15 鸿富锦精密工业（深圳）有限公司 具有语音控制功能的智能开关及智能控制系统
US9232310B2 (en) 2012-10-15 2016-01-05 Nokia Technologies Oy Methods, apparatuses and computer program products for facilitating directional audio capture with multiple microphones
EP2906941B1 (en) 2012-10-15 2021-05-26 Msi Dfat Llc Direct field acoustic testing in a semi-reverberant enclosure
DE102012020271A1 (de) 2012-10-17 2014-04-17 Wolfgang Klippel Anordnung und Verfahren zur Steuerung von Wandlern
US9319445B2 (en) 2012-10-22 2016-04-19 Spotify Ab Systems and methods for pre-fetching media content
KR101978688B1 (ko) 2012-10-22 2019-05-15 삼성전자주식회사 마이크로폰 장치를 갖는 전자 장치 및 그 운용 방법
WO2014064324A1 (en) 2012-10-26 2014-05-01 Nokia Corporation Multi-device speech recognition
KR20140054643A (ko) 2012-10-29 2014-05-09 삼성전자주식회사 음성인식장치 및 음성인식방법
US9584642B2 (en) 2013-03-12 2017-02-28 Google Technology Holdings LLC Apparatus with adaptive acoustic echo control for speakerphone mode
US10381002B2 (en) 2012-10-30 2019-08-13 Google Technology Holdings LLC Voice control user interface during low-power mode
US9275637B1 (en) 2012-11-06 2016-03-01 Amazon Technologies, Inc. Wake word evaluation
KR20140060040A (ko) 2012-11-09 2014-05-19 삼성전자주식회사 디스플레이장치, 음성취득장치 및 그 음성인식방법
US9275642B2 (en) 2012-11-13 2016-03-01 Unified Computer Intelligence Corporation Voice-operated internet-ready ubiquitous computing device and method thereof
US9685171B1 (en) 2012-11-20 2017-06-20 Amazon Technologies, Inc. Multiple-stage adaptive filtering of audio signals
US9154877B2 (en) 2012-11-28 2015-10-06 Qualcomm Incorporated Collaborative sound system
US20140149118A1 (en) 2012-11-28 2014-05-29 Lg Electronics Inc. Apparatus and method for driving electric device using speech recognition
WO2014142702A1 (en) 2013-03-15 2014-09-18 Obschestvo S Ogranichennoy Otvetstvennostiyu "Speaktoit" Selective speech recognition for chat and digital personal assistant systems
US9203045B2 (en) 2012-11-29 2015-12-01 Semiconductor Energy Laboratory Co., Ltd. Light-emitting element, light-emitting device, electronic device, and lighting device
US9171092B2 (en) 2012-12-07 2015-10-27 Empire Technology Development Llc Personal assistant context building
US9704486B2 (en) 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
US9226071B2 (en) 2012-12-13 2015-12-29 Maxim Integrated Products, Inc. Direct measurement of an input signal to a loudspeaker to determine and limit a temperature of a voice coil of the loudspeaker
US9300910B2 (en) 2012-12-14 2016-03-29 Biscotti Inc. Video mail capture, processing and distribution
US9271111B2 (en) 2012-12-14 2016-02-23 Amazon Technologies, Inc. Response endpoint selection
EP3691179A1 (en) 2012-12-18 2020-08-05 Samsung Electronics Co., Ltd. Method and device for controlling home device remotely in home network system
US9098467B1 (en) 2012-12-19 2015-08-04 Rawles Llc Accepting voice commands based on user identity
US20150338917A1 (en) 2012-12-26 2015-11-26 Sia Technology Ltd. Device, system, and method of controlling electronic devices via thought
KR102051588B1 (ko) 2013-01-07 2019-12-03 삼성전자주식회사 휴대 단말기의 오디오 컨텐츠 재생 방법 및 그 장치
JP2014137590A (ja) 2013-01-18 2014-07-28 Yoji Fukinuki 音楽コンテンツ配信方法
US9646605B2 (en) 2013-01-22 2017-05-09 Interactive Intelligence Group, Inc. False alarm reduction in speech recognition systems using contextual information
DE102013001219B4 (de) 2013-01-25 2019-08-29 Inodyn Newmedia Gmbh Verfahren und System zur Sprachaktivierung eines Software-Agenten aus einem Standby-Modus
US20140215332A1 (en) 2013-01-31 2014-07-31 Hewlett-Packard Development Company, Lp Virtual microphone selection corresponding to a set of audio source devices
US9818407B1 (en) 2013-02-07 2017-11-14 Amazon Technologies, Inc. Distributed endpointing for speech recognition
TWI593294B (zh) 2013-02-07 2017-07-21 晨星半導體股份有限公司 收音系統與相關方法
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US9300266B2 (en) 2013-02-12 2016-03-29 Qualcomm Incorporated Speaker equalization for mobile devices
US9842489B2 (en) 2013-02-14 2017-12-12 Google Llc Waking other devices for additional data
US9172747B2 (en) 2013-02-25 2015-10-27 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US9195432B2 (en) 2013-02-26 2015-11-24 Sonos, Inc. Pre-caching of audio content
BR112015020150B1 (pt) 2013-02-26 2021-08-17 Mediatek Inc. Aparelho para gerar um sinal de fala, e, método para gerar um sinal de fala
CN104010251B (zh) 2013-02-27 2018-06-19 晨星半导体股份有限公司 收音系统与相关方法
US9460715B2 (en) 2013-03-04 2016-10-04 Amazon Technologies, Inc. Identification using audio signatures and additional characteristics
US20140258292A1 (en) 2013-03-05 2014-09-11 Clip Interactive, Inc. Apparatus, system, and method for integrating content and content services
KR101887983B1 (ko) 2013-03-07 2018-08-14 애플 인크. 룸 및 프로그램 응답 확성기 시스템
US9349386B2 (en) 2013-03-07 2016-05-24 Analog Device Global System and method for processor wake-up based on sensor data
JP6429465B2 (ja) 2013-03-07 2018-11-28 株式会社半導体エネルギー研究所 装置及びその作製方法
US9161126B2 (en) 2013-03-08 2015-10-13 Cirrus Logic, Inc. Systems and methods for protecting a speaker
WO2014164234A1 (en) 2013-03-11 2014-10-09 Tiskerling Dynamics Llc Timbre constancy across a range of directivities for a loudspeaker
CN104053088A (zh) 2013-03-11 2014-09-17 联想(北京)有限公司 一种麦克风阵列调整方法、麦克风阵列及电子设备
TWI533686B (zh) 2013-03-11 2016-05-11 緯創資通股份有限公司 虛擬頻道之管理方法、具有虛擬頻道之網路多媒體重現系統和電腦可讀取記錄媒體
US11393461B2 (en) 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
US9357306B2 (en) 2013-03-12 2016-05-31 Nokia Technologies Oy Multichannel audio calibration method and apparatus
US9173021B2 (en) 2013-03-12 2015-10-27 Google Technology Holdings LLC Method and device for adjusting an audio beam orientation based on device location
CN105009203A (zh) 2013-03-12 2015-10-28 纽昂斯通讯公司 用于检测语音命令的方法和装置
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
KR20140111859A (ko) 2013-03-12 2014-09-22 삼성전자주식회사 콘텐트 공유 방법 및 이를 위한 디바이스
KR101571338B1 (ko) 2013-03-13 2015-11-24 삼성전자주식회사 복수의 재생 장치들이 스트리밍 컨텐트를 동기화하여 재생하는 방법 및 이를 위한 장치
CN105144754B (zh) 2013-03-14 2017-03-15 苹果公司 扬声器与调节由房间中的扬声器发出的声音的方法和设备
JP6013951B2 (ja) 2013-03-14 2016-10-25 本田技研工業株式会社 環境音検索装置、環境音検索方法
US20140274185A1 (en) 2013-03-14 2014-09-18 Aliphcom Intelligence device connection for wireless media ecosystem
KR102152754B1 (ko) 2013-03-14 2020-09-07 삼성전자주식회사 블루루스 디바이스에서 통신 연결 방법 및 그 장치
US9854081B2 (en) 2013-03-15 2017-12-26 Apple Inc. Volume control for mobile device using a wireless device
US20140278933A1 (en) 2013-03-15 2014-09-18 F. Gavin McMillan Methods and apparatus to measure audience engagement with media
US9626436B2 (en) 2013-03-15 2017-04-18 Spotify Ab Systems, methods, and computer readable medium for generating playlists
US9888316B2 (en) 2013-03-21 2018-02-06 Nuance Communications, Inc. System and method for identifying suboptimal microphone performance
WO2014157433A1 (en) 2013-03-26 2014-10-02 Semiconductor Energy Laboratory Co., Ltd. Light-emitting element, light-emitting device, electronic device, and lighting device
JP6300589B2 (ja) 2013-04-04 2018-03-28 株式会社半導体エネルギー研究所 半導体装置の作製方法
CA2897539C (en) 2013-04-04 2016-05-17 James S. RAND Unified communications system and method
JP6198432B2 (ja) 2013-04-09 2017-09-20 小島プレス工業株式会社 音声認識制御装置
WO2014172299A1 (en) 2013-04-15 2014-10-23 Chacha Search, Inc. Method and system of increasing user interaction
US9875494B2 (en) 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
US9304736B1 (en) 2013-04-18 2016-04-05 Amazon Technologies, Inc. Voice controlled assistant with non-verbal code entry
JP6416752B2 (ja) 2013-04-19 2018-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 家電機器の制御方法、家電機器制御システム、及びゲートウェイ
US9892729B2 (en) 2013-05-07 2018-02-13 Qualcomm Incorporated Method and apparatus for controlling voice activation
KR102230139B1 (ko) 2013-05-17 2021-03-18 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 조명 장치, 발광 장치, 및 전자 기기
US9472201B1 (en) 2013-05-22 2016-10-18 Google Inc. Speaker localization by means of tactile input
US9390708B1 (en) 2013-05-28 2016-07-12 Amazon Technologies, Inc. Low latency and memory efficient keywork spotting
US20140358535A1 (en) 2013-05-28 2014-12-04 Samsung Electronics Co., Ltd. Method of executing voice recognition of electronic device and electronic device using the same
US9215545B2 (en) 2013-05-31 2015-12-15 Bose Corporation Sound stage controller for a near-field speaker-based audio system
US20140357248A1 (en) 2013-06-03 2014-12-04 Ford Global Technologies, Llc Apparatus and System for Interacting with a Vehicle and a Device in a Vehicle
US9438193B2 (en) 2013-06-05 2016-09-06 Sonos, Inc. Satellite volume control
US9654073B2 (en) 2013-06-07 2017-05-16 Sonos, Inc. Group volume control
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9787273B2 (en) 2013-06-13 2017-10-10 Google Technology Holdings LLC Smart volume control of device audio output based on received audio input
US8953778B2 (en) 2013-06-17 2015-02-10 Avaya Inc. Real-time intelligent mute interactive features
US9324322B1 (en) * 2013-06-18 2016-04-26 Amazon Technologies, Inc. Automatic volume attenuation for speech enabled devices
US9494683B1 (en) 2013-06-18 2016-11-15 Amazon Technologies, Inc. Audio-based gesture detection
US9311298B2 (en) 2013-06-21 2016-04-12 Microsoft Technology Licensing, Llc Building conversational understanding systems using a toolset
US9697831B2 (en) 2013-06-26 2017-07-04 Cirrus Logic, Inc. Speech recognition
US9640179B1 (en) 2013-06-27 2017-05-02 Amazon Technologies, Inc. Tailoring beamforming techniques to environments
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
WO2014210429A1 (en) 2013-06-28 2014-12-31 Harman International Industries, Inc. Wireless control of linked devices
US9298415B2 (en) 2013-07-09 2016-03-29 Sonos, Inc. Systems and methods to provide play/pause content
US20150019201A1 (en) 2013-07-09 2015-01-15 Stanley F. Schoenbach Real-time interpreting systems and methods
US9396727B2 (en) 2013-07-10 2016-07-19 GM Global Technology Operations LLC Systems and methods for spoken dialog service arbitration
US9293480B2 (en) 2013-07-10 2016-03-22 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and display device including the semiconductor device
US9445209B2 (en) 2013-07-11 2016-09-13 Intel Corporation Mechanism and apparatus for seamless voice wake and speaker verification
DE102014109122A1 (de) 2013-07-12 2015-01-15 Gm Global Technology Operations, Llc Systeme und Verfahren für ergebnisbezogene Arbitrierung in Sprachdialogsystemen
WO2015009748A1 (en) 2013-07-15 2015-01-22 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US9666187B1 (en) 2013-07-25 2017-05-30 Google Inc. Model for enabling service providers to address voice-activated commands
WO2015017303A1 (en) 2013-07-31 2015-02-05 Motorola Mobility Llc Method and apparatus for adjusting voice recognition processing based on noise characteristics
US10186262B2 (en) 2013-07-31 2019-01-22 Microsoft Technology Licensing, Llc System with multiple simultaneous speech recognizers
US9565497B2 (en) 2013-08-01 2017-02-07 Caavo Inc. Enhancing audio using a mobile device
US10873997B2 (en) 2013-08-01 2020-12-22 Fong-Min Chang Voice controlled artificial intelligent smart illumination device
DE102013012811B4 (de) 2013-08-01 2024-02-22 Wolfgang Klippel Anordnung und Verfahren zur Identifikation und Korrektur der nichtlinearen Eigenschaften elektromagnetischer Wandler
US9940927B2 (en) 2013-08-23 2018-04-10 Nuance Communications, Inc. Multiple pass automatic speech recognition methods and apparatus
US9190043B2 (en) 2013-08-27 2015-11-17 Bose Corporation Assisting conversation in noisy environments
TWI520127B (zh) 2013-08-28 2016-02-01 晨星半導體股份有限公司 應用於音訊裝置的控制器與相關的操作方法
CN103718528B (zh) 2013-08-30 2016-09-28 华为技术有限公司 一种多终端协同播放多媒体文件的方法和相关装置及系统
WO2015037396A1 (ja) 2013-09-11 2015-03-19 株式会社デンソー 音声出力制御装置、プログラムおよび記録媒体
US9516081B2 (en) 2013-09-20 2016-12-06 Amazon Technologies, Inc. Reduced latency electronic content system
US9668052B2 (en) 2013-09-25 2017-05-30 Google Technology Holdings LLC Audio routing system for routing audio data to and from a mobile device
US9355555B2 (en) 2013-09-27 2016-05-31 Sonos, Inc. System and method for issuing commands in a media playback system
US9443527B1 (en) 2013-09-27 2016-09-13 Amazon Technologies, Inc. Speech recognition capability generation and control
US9288596B2 (en) 2013-09-30 2016-03-15 Sonos, Inc. Coordinator device for paired or consolidated players
CN103546616A (zh) 2013-09-30 2014-01-29 深圳市同洲电子股份有限公司 一种调节音量的方法及装置
KR102114219B1 (ko) 2013-10-10 2020-05-25 삼성전자주식회사 오디오 시스템 및 오디오 출력 방법, 그리고 스피커 장치
US9245527B2 (en) 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
TWI642170B (zh) 2013-10-18 2018-11-21 半導體能源研究所股份有限公司 顯示裝置及電子裝置
US9633671B2 (en) 2013-10-18 2017-04-25 Apple Inc. Voice quality enhancement techniques, speech recognition techniques, and related systems
US9300268B2 (en) 2013-10-18 2016-03-29 Apple Inc. Content aware audio ducking
US9818061B1 (en) 2013-10-22 2017-11-14 Lumin, LLC Collaboration of audio sensors for geo-location and continuous tracking of multiple users in a device-independent artificial intelligence (AI) environment
WO2015060867A1 (en) 2013-10-25 2015-04-30 Intel Corporation Techniques for preventing voice replay attacks
EP2869599B1 (en) 2013-11-05 2020-10-21 Oticon A/s A binaural hearing assistance system comprising a database of head related transfer functions
JP2015090570A (ja) 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置および制御方法
US10311482B2 (en) 2013-11-11 2019-06-04 At&T Intellectual Property I, Lp Method and apparatus for adjusting a digital assistant persona
US8775191B1 (en) 2013-11-13 2014-07-08 Google Inc. Efficient utterance-specific endpointer triggering for always-on hotwording
JP6236303B2 (ja) 2013-11-26 2017-11-22 株式会社デンソーアイティーラボラトリ 制御装置、制御方法およびプログラム
US9704478B1 (en) 2013-12-02 2017-07-11 Amazon Technologies, Inc. Audio output masking for improved automatic speech recognition
US9698999B2 (en) 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
CN104143326B (zh) 2013-12-03 2016-11-02 腾讯科技（深圳）有限公司 一种语音命令识别方法和装置
US8719039B1 (en) 2013-12-05 2014-05-06 Google Inc. Promoting voice actions to hotwords
US10720153B2 (en) 2013-12-13 2020-07-21 Harman International Industries, Incorporated Name-sensitive listening device
US10055190B2 (en) 2013-12-16 2018-08-21 Amazon Technologies, Inc. Attribute-based audio channel arbitration
US9721570B1 (en) 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
US9378651B2 (en) 2013-12-17 2016-06-28 Google Inc. Audio book smart pause
US10224056B1 (en) 2013-12-17 2019-03-05 Amazon Technologies, Inc. Contingent device actions during loss of network connectivity
GB2523984B (en) 2013-12-18 2017-07-26 Cirrus Logic Int Semiconductor Ltd Processing received speech data
US20150179181A1 (en) 2013-12-20 2015-06-25 Microsoft Corporation Adapting audio based upon detected environmental accoustics
US9099974B2 (en) 2013-12-20 2015-08-04 Vmware, Inc. Volume redirection
EP2890160B1 (en) 2013-12-24 2019-08-14 Nxp B.V. Loudspeaker controller
US9301077B2 (en) 2014-01-02 2016-03-29 Harman International Industries, Incorporated Context-based audio tuning
US8938394B1 (en) 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
US9443516B2 (en) 2014-01-09 2016-09-13 Honeywell International Inc. Far-field speech recognition systems and methods
EP3092824B1 (en) 2014-01-10 2017-11-01 Dolby Laboratories Licensing Corporation Calibration of virtual height speakers using programmable portable devices
US9300647B2 (en) 2014-01-15 2016-03-29 Sonos, Inc. Software application and zones
US9288597B2 (en) 2014-01-20 2016-03-15 Sony Corporation Distributed wireless speaker system with automatic configuration determination when new speakers are added
DE112014006235T5 (de) 2014-01-22 2016-10-13 Apple Inc. Koordiniertes Weiterreichen einer Audiodatenübermittlung
US9356882B2 (en) 2014-02-04 2016-05-31 Printeron Inc. Streamlined system for the transmission of network resource data
US9443876B2 (en) 2014-02-05 2016-09-13 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, display device including the semiconductor device, display module including the display device, and electronic device including the semiconductor device, the display device, and the display module
US9929368B2 (en) 2014-02-06 2018-03-27 Semiconductor Energy Laboratory Co., Ltd. Light-emitting element, lighting device, and electronic appliance
US9652532B2 (en) 2014-02-06 2017-05-16 Sr Homedics, Llc Methods for operating audio speaker systems
TWI685116B (zh) 2014-02-07 2020-02-11 日商半導體能源研究所股份有限公司 半導體裝置
US9318112B2 (en) 2014-02-14 2016-04-19 Google Inc. Recognizing speech in the presence of additional audio
FR3018024B1 (fr) 2014-02-26 2016-03-18 Devialet Dispositif de commande d'un haut-parleur
FR3018025B1 (fr) 2014-02-26 2016-03-18 Devialet Dispositif de commande d'un haut-parleur
JP6289936B2 (ja) 2014-02-26 2018-03-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
US9408008B2 (en) 2014-02-28 2016-08-02 Sonos, Inc. Playback zone representations
US10015593B2 (en) 2014-03-03 2018-07-03 University Of Utah Digital signal processor for audio extensions and correction of nonlinear distortions in loudspeakers
US9489171B2 (en) 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US9679054B2 (en) 2014-03-05 2017-06-13 Sonos, Inc. Webpage media playback
US10599287B2 (en) 2014-03-11 2020-03-24 Sonos, Inc. Group volume control
US9640669B2 (en) 2014-03-13 2017-05-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, display device including the semiconductor device, display module including the display device, and electronic appliance including the semiconductor device, the display device, and the display module
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9226062B2 (en) 2014-03-18 2015-12-29 Cisco Technology, Inc. Techniques to mitigate the effect of blocked sound at microphone arrays in a telepresence device
US10514747B2 (en) 2014-03-24 2019-12-24 Silicon Laboratories Inc. Low-power communication apparatus with wakeup detection and associated methods
US9654076B2 (en) 2014-03-25 2017-05-16 Apple Inc. Metadata for ducking control
US9648564B1 (en) 2014-03-26 2017-05-09 Amazon Technologies, Inc. Wake-up management for mobile devices
US9431021B1 (en) 2014-03-27 2016-08-30 Amazon Technologies, Inc. Device grouping for audio based interactivity
US9916839B1 (en) 2014-03-27 2018-03-13 Amazon Technologies, Inc. Shared audio functionality based on device grouping
KR102146462B1 (ko) 2014-03-31 2020-08-20 삼성전자주식회사 음성 인식 시스템 및 방법
US9547468B2 (en) 2014-03-31 2017-01-17 Microsoft Technology Licensing, Llc Client-side personal voice web navigation
US8874448B1 (en) 2014-04-01 2014-10-28 Google Inc. Attention-based dynamic audio level adjustment
US9640183B2 (en) 2014-04-07 2017-05-02 Samsung Electronics Co., Ltd. Speech recognition using electronic device and server
DE102014005381B3 (de) 2014-04-11 2014-12-11 Wolfgang Klippel Anordnung und Verfahren zur Identifikation und Kompensation nichtlinearer Partialschwingungen elektromechanischer Wandler
US20150302856A1 (en) 2014-04-17 2015-10-22 Qualcomm Incorporated Method and apparatus for performing function by speech input
US20150334471A1 (en) 2014-05-15 2015-11-19 Echostar Technologies L.L.C. Multiple simultaneous audio video data decoding
WO2015178950A1 (en) 2014-05-19 2015-11-26 Tiskerling Dynamics Llc Directivity optimized sound reproduction
CN106465458B (zh) 2014-05-23 2019-12-13 三星电子株式会社 用于提供通知的方法和设备
US9860289B2 (en) 2014-05-23 2018-01-02 Radeeus, Inc. Multimedia digital content retrieval, matching, and syncing systems and methods of using the same
US9900723B1 (en) 2014-05-28 2018-02-20 Apple Inc. Multi-channel loudspeaker matching using variable directivity
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
TWI682563B (zh) 2014-05-30 2020-01-11 日商半導體能源研究所股份有限公司 發光元件，發光裝置，電子裝置以及照明裝置
US10318016B2 (en) 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
US20150355818A1 (en) 2014-06-04 2015-12-10 Sonos, Inc. Continuous Playback Queue
US9720642B2 (en) 2014-06-04 2017-08-01 Sonos, Inc. Prioritizing media content requests
US10624612B2 (en) 2014-06-05 2020-04-21 Chikayoshi Sumi Beamforming method, measurement and imaging instruments, and communication instruments
US9615170B2 (en) 2014-06-09 2017-04-04 Harman International Industries, Inc. Approach for partially preserving music in the presence of intelligible speech
CN104092936B (zh) 2014-06-12 2017-01-04 小米科技有限责任公司 自动对焦方法及装置
US9767159B2 (en) 2014-06-13 2017-09-19 Google Inc. Ranking search results
US20150363061A1 (en) 2014-06-13 2015-12-17 Autonomic Controls, Inc. System and method for providing related digital content
US9520139B2 (en) 2014-06-19 2016-12-13 Yang Gao Post tone suppression for speech enhancement
US9589556B2 (en) 2014-06-19 2017-03-07 Yang Gao Energy adjustment of acoustic echo replica signal for speech enhancement
US9697828B1 (en) * 2014-06-20 2017-07-04 Amazon Technologies, Inc. Keyword detection modeling using contextual and environmental information
US10152987B2 (en) 2014-06-23 2018-12-11 Google Llc Remote invocation of mobile device actions
US9632748B2 (en) 2014-06-24 2017-04-25 Google Inc. Device designation for audio input monitoring
US9368105B1 (en) 2014-06-26 2016-06-14 Amazon Technologies, Inc. Preventing false wake word detections with a voice-controlled device
US9335819B1 (en) 2014-06-26 2016-05-10 Audible, Inc. Automatic creation of sleep bookmarks in content items
US9691379B1 (en) 2014-06-26 2017-06-27 Amazon Technologies, Inc. Selecting from multiple content sources
US9639854B2 (en) 2014-06-26 2017-05-02 Nuance Communications, Inc. Voice-controlled information exchange platform, such as for providing information to supplement advertising
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US11330100B2 (en) 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
US9374634B2 (en) 2014-07-10 2016-06-21 Nxp B.V. System for controlling displacement of a loudspeaker
US9467737B2 (en) 2014-07-14 2016-10-11 Sonos, Inc. Zone group control
JP2016024212A (ja) 2014-07-16 2016-02-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10209947B2 (en) 2014-07-23 2019-02-19 Sonos, Inc. Device grouping
US9263042B1 (en) 2014-07-25 2016-02-16 Google Inc. Providing pre-computed hotword models
KR20160017253A (ko) 2014-08-01 2016-02-16 삼성전자주식회사 디스플레이 구동용 집적 회로 칩
US9874997B2 (en) 2014-08-08 2018-01-23 Sonos, Inc. Social playback queues
US9548066B2 (en) 2014-08-11 2017-01-17 Amazon Technologies, Inc. Voice application architecture
US9769552B2 (en) 2014-08-19 2017-09-19 Apple Inc. Method and apparatus for estimating talker distance
JP6118838B2 (ja) 2014-08-21 2017-04-19 本田技研工業株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
US9560050B2 (en) 2014-09-08 2017-01-31 At&T Intellectual Property I, L.P System and method to share a resource or a capability of a device
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9747011B2 (en) 2014-09-16 2017-08-29 Google Inc. Continuation of playback of media content by different output devices
US9548053B1 (en) 2014-09-19 2017-01-17 Amazon Technologies, Inc. Audible command filtering
US10645130B2 (en) 2014-09-24 2020-05-05 Sonos, Inc. Playback updates
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
GB2525051B (en) 2014-09-30 2016-04-13 Imagination Tech Ltd Detection of acoustic echo cancellation
JP6624368B2 (ja) 2014-09-30 2019-12-25 パナソニックＩｐマネジメント株式会社 接客モニタリングシステム及び接客モニタリング方法
US9681228B2 (en) 2014-09-30 2017-06-13 Apple Inc. Capacitive position sensing for transducers
US9641919B1 (en) 2014-09-30 2017-05-02 Amazon Technologies, Inc. Audio assemblies for electronic devices
US10817672B2 (en) 2014-10-01 2020-10-27 Nuance Communications, Inc. Natural language understanding (NLU) processing based on user-specified interests
EP3201913A4 (en) 2014-10-01 2018-06-06 Xbrain Inc. Voice and connection platform
US9318107B1 (en) 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9812128B2 (en) 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
KR102287943B1 (ko) 2014-10-14 2021-08-09 삼성전자주식회사 전자 기기, 상기 전자 기기의 음량 조절 방법 및 상기 전자 기기의 제어 방법
EP3010251B1 (en) 2014-10-15 2019-11-13 Nxp B.V. Audio system
US20160162469A1 (en) 2014-10-23 2016-06-09 Audience, Inc. Dynamic Local ASR Vocabulary
US9743127B2 (en) 2014-10-30 2017-08-22 Verizon Patent And Licensing Inc. Media service user interface systems and methods
US9530408B2 (en) 2014-10-31 2016-12-27 At&T Intellectual Property I, L.P. Acoustic environment recognizer for optimal speech processing
US9699550B2 (en) 2014-11-12 2017-07-04 Qualcomm Incorporated Reduced microphone power-up latency
US20160134982A1 (en) 2014-11-12 2016-05-12 Harman International Industries, Inc. System and method for estimating the displacement of a speaker cone
JP2016095383A (ja) 2014-11-14 2016-05-26 株式会社ＡＴＲ−Ｔｒｅｋ 音声認識クライアント装置及びサーバ型音声認識装置
US10116748B2 (en) 2014-11-20 2018-10-30 Microsoft Technology Licensing, Llc Vehicle-based multi-modal interface
US10303644B2 (en) 2014-11-21 2019-05-28 International Business Machines Corporation Providing remote, reliant and high performance PCI express device in cloud computing environments
KR102299330B1 (ko) 2014-11-26 2021-09-08 삼성전자주식회사 음성 인식 방법 및 그 전자 장치
US10192549B2 (en) 2014-11-28 2019-01-29 Microsoft Technology Licensing, Llc Extending digital personal assistant action providers
WO2016082046A1 (en) 2014-11-28 2016-06-02 Audera Acoustics Inc. High displacement acoustic transducer systems
US9812126B2 (en) 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices
US10126406B2 (en) 2014-12-02 2018-11-13 Qualcomm Incorporated Method and apparatus for performing ultrasonic presence detection
US9775113B2 (en) 2014-12-11 2017-09-26 Mediatek Inc. Voice wakeup detecting device with digital microphone and associated method
CN107209549B (zh) 2014-12-11 2020-04-17 微软技术许可有限责任公司 能够实现可动作的消息传送的虚拟助理系统
CN104538030A (zh) 2014-12-11 2015-04-22 科大讯飞股份有限公司 一种可以通过语音控制家电的控制系统与方法
US9779725B2 (en) 2014-12-11 2017-10-03 Mediatek Inc. Voice wakeup detecting device and method
US9813812B2 (en) 2014-12-12 2017-11-07 Analog Devices Global Method of controlling diaphragm excursion of electrodynamic loudspeakers
US9552816B2 (en) 2014-12-19 2017-01-24 Amazon Technologies, Inc. Application focus in speech-based systems
CN104575504A (zh) 2014-12-24 2015-04-29 上海师范大学 采用声纹和语音识别进行个性化电视语音唤醒的方法
US9560441B1 (en) 2014-12-24 2017-01-31 Amazon Technologies, Inc. Determining speaker direction using a spherical microphone array
CN104635539A (zh) 2014-12-26 2015-05-20 东莞市掌商信息科技有限公司 一种智能硬件远程语音安全控制方法及其系统
US10572810B2 (en) 2015-01-07 2020-02-25 Microsoft Technology Licensing, Llc Managing user interaction for input understanding determinations
US9934406B2 (en) 2015-01-08 2018-04-03 Microsoft Technology Licensing, Llc Protecting private information in input understanding system
US9584915B2 (en) 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US20160210110A1 (en) 2015-01-21 2016-07-21 Ford Global Technologies, Llc Audio synchronization between vehicles and mobile devices
US9947313B2 (en) 2015-01-26 2018-04-17 William Drewes Method for substantial ongoing cumulative voice recognition error reduction
KR102351366B1 (ko) 2015-01-26 2022-01-14 삼성전자주식회사 음성 인식 방법 및 장치
US9633661B1 (en) 2015-02-02 2017-04-25 Amazon Technologies, Inc. Speech-responsive portable speaker
GB201501791D0 (en) 2015-02-03 2015-03-18 Microsoft Technology Licensing Llc Non-linear echo path detection
US20160232451A1 (en) 2015-02-09 2016-08-11 Velocee Ltd. Systems and methods for managing audio content
US9521496B2 (en) 2015-02-12 2016-12-13 Harman International Industries, Inc. Media content playback system and method
US10121472B2 (en) 2015-02-13 2018-11-06 Knowles Electronics, Llc Audio buffer catch-up apparatus and method with two microphones
US20160239255A1 (en) 2015-02-16 2016-08-18 Harman International Industries, Inc. Mobile interface for loudspeaker optimization
US20160253050A1 (en) 2015-02-26 2016-09-01 Fingertips Lab, Inc. System and method for audio and tactile based browsing
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9697826B2 (en) 2015-03-27 2017-07-04 Google Inc. Processing multi-channel audio waveforms
US10762894B2 (en) 2015-03-27 2020-09-01 Google Llc Convolutional neural networks
US10192546B1 (en) 2015-03-30 2019-01-29 Amazon Technologies, Inc. Pre-wakeword speech processing
US10034109B2 (en) 2015-04-09 2018-07-24 Audera Acoustics Inc. Acoustic transducer systems with position sensing
US10198242B2 (en) 2015-04-14 2019-02-05 Motorola Solutions, Inc. Method and apparatus for a volume of a device
US10079012B2 (en) 2015-04-21 2018-09-18 Google Llc Customizing speech-recognition dictionaries in a smart-home environment
US9472196B1 (en) 2015-04-22 2016-10-18 Google Inc. Developer voice actions system
CN104853405B (zh) 2015-05-12 2018-11-30 浙江生辉照明有限公司 智能联网方法及智能设备
KR102623039B1 (ko) 2015-05-15 2024-01-08 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 발광 장치, 전자 기기 및 조명 장치
US10070237B2 (en) 2015-05-21 2018-09-04 Analog Devices, Inc. Optical and capacitive sensing of electroacoustic transducers
KR20180011134A (ko) 2015-05-21 2018-01-31 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 표시 장치, 전자 기기, 및 조명 장치
TWI757234B (zh) 2015-05-21 2022-03-11 日商半導體能源研究所股份有限公司 發光元件、顯示裝置、電子裝置、及照明裝置
US9837547B2 (en) 2015-05-22 2017-12-05 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device comprising oxide conductor and display device including the semiconductor device
JP2016218852A (ja) 2015-05-22 2016-12-22 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
EP3099047A1 (en) 2015-05-28 2016-11-30 Nxp B.V. Echo controller
US9584935B2 (en) 2015-05-29 2017-02-28 Sound United, Llc. Multi-zone media system and method for providing multi-zone media
US9734822B1 (en) 2015-06-01 2017-08-15 Amazon Technologies, Inc. Feedback based beamformed signal selection
US9864571B2 (en) 2015-06-04 2018-01-09 Sonos, Inc. Dynamic bonding of playback devices
US9672821B2 (en) 2015-06-05 2017-06-06 Apple Inc. Robust speech recognition in the presence of echo and noise using multiple signals for discrimination
US9736578B2 (en) 2015-06-07 2017-08-15 Apple Inc. Microphone-based orientation sensors and related techniques
KR102444075B1 (ko) 2015-06-09 2022-09-16 삼성전자주식회사 전자 장치, 주변 기기 및 그 제어 방법
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
WO2016203350A1 (en) 2015-06-17 2016-12-22 Semiconductor Energy Laboratory Co., Ltd. Iridium complex, light-emitting element, display device, electronic device, and lighting device
US20160373909A1 (en) 2015-06-17 2016-12-22 Hive Life, LLC Wireless audio, security communication and home automation
JP6739907B2 (ja) 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
US10025447B1 (en) 2015-06-19 2018-07-17 Amazon Technologies, Inc. Multi-device user interface
US9554210B1 (en) 2015-06-25 2017-01-24 Amazon Technologies, Inc. Multichannel acoustic echo cancellation with unique individual channel estimations
KR20170001173A (ko) 2015-06-25 2017-01-04 엘지전자 주식회사 와치 타입 이동 단말기 및 그의 동작 방법
KR102317526B1 (ko) 2015-06-25 2021-10-26 엘지전자 주식회사 헤드셋 및 그 제어 방법
US9472203B1 (en) 2015-06-29 2016-10-18 Amazon Technologies, Inc. Clock synchronization for multichannel system
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR20240035638A (ko) 2015-07-08 2024-03-15 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 표시 장치, 전자 장치, 및 조명 장치
KR20240047495A (ko) 2015-07-21 2024-04-12 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 표시 장치, 전자 기기, 및 조명 장치
US9686625B2 (en) 2015-07-21 2017-06-20 Disney Enterprises, Inc. Systems and methods for delivery of personalized audio
US9769563B2 (en) 2015-07-22 2017-09-19 Harman International Industries, Incorporated Audio enhancement via opportunistic use of microphones
KR102516496B1 (ko) 2015-07-23 2023-04-04 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 표시 장치, 전자 기기, 및 조명 장치
US20170034263A1 (en) 2015-07-30 2017-02-02 Amp Me Inc. Synchronized Playback of Streamed Audio Content by Multiple Internet-Capable Portable Devices
US10529318B2 (en) 2015-07-31 2020-01-07 International Business Machines Corporation Implementing a classification model for recognition processing
US9691361B2 (en) 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
KR102402512B1 (ko) 2015-08-04 2022-05-27 삼성전자주식회사 외부장치의 음량을 조정하는 전자장치 및 방법
CN105187907A (zh) 2015-08-05 2015-12-23 四川长虹电器股份有限公司 智能电视音量控制系统及控制方法
US9913056B2 (en) 2015-08-06 2018-03-06 Dolby Laboratories Licensing Corporation System and method to enhance speakers connected to devices with microphones
US10333904B2 (en) 2015-08-08 2019-06-25 Peter J. Tormey Voice access and control
KR102386854B1 (ko) 2015-08-20 2022-04-13 삼성전자주식회사 통합 모델 기반의 음성 인식 장치 및 방법
US10270041B2 (en) 2015-08-28 2019-04-23 Semiconductor Energy Laboratory Co., Ltd. Light-emitting element, light-emitting device, electronic device, and lighting device
US20180249267A1 (en) 2015-08-31 2018-08-30 Apple Inc. Passive microphone array localizer
CN106488302B (zh) 2015-09-02 2021-02-23 哈曼国际工业有限公司 切换音频输出的方法、回放设备及回放系统
US10339917B2 (en) 2015-09-03 2019-07-02 Google Llc Enhanced speech endpointing
KR102417682B1 (ko) 2015-09-09 2022-07-07 삼성전자주식회사 음성 인식을 이용한 닉네임 관리 장치 및 방법
KR20170031392A (ko) 2015-09-11 2017-03-21 삼성전자주식회사 전자 장치, 음향 시스템 및 오디오 출력 방법
US10026399B2 (en) 2015-09-11 2018-07-17 Amazon Technologies, Inc. Arbitration between voice-enabled devices
CN105206281B (zh) 2015-09-14 2019-02-15 胡旻波 基于分布式麦克风阵列网络的语音增强方法
KR20170032096A (ko) 2015-09-14 2017-03-22 삼성전자주식회사 전자장치, 전자장치의 구동방법, 음성인식장치, 음성인식장치의 구동 방법 및 컴퓨터 판독가능 기록매체
US10706873B2 (en) 2015-09-18 2020-07-07 Sri International Real-time speaker state analytics platform
CN105204357B (zh) 2015-09-18 2018-02-06 小米科技有限责任公司 智能家居设备的情景模式调整方法及装置
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
KR102446392B1 (ko) 2015-09-23 2022-09-23 삼성전자주식회사 음성 인식이 가능한 전자 장치 및 방법
US10229700B2 (en) 2015-09-24 2019-03-12 Google Llc Voice activity detection
US9936156B2 (en) 2015-09-24 2018-04-03 Samantha WESTERN Volume adjusting apparatus and method
JP6536320B2 (ja) 2015-09-28 2019-07-03 富士通株式会社 音声信号処理装置、音声信号処理方法及びプログラム
CN107710770B (zh) 2015-09-28 2021-02-09 谷歌有限责任公司 用于时间同步的多区域媒体流式传输的系统和方法
US9996316B2 (en) 2015-09-28 2018-06-12 Amazon Technologies, Inc. Mediation of wakeword response for multiple devices
US10241754B1 (en) 2015-09-29 2019-03-26 Amazon Technologies, Inc. Systems and methods for providing supplemental information with a response to a command
KR20170038681A (ko) 2015-09-30 2017-04-07 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자, 표시 장치, 전자 기기, 및 조명 장치
CN111341927B (zh) 2015-09-30 2023-06-09 株式会社半导体能源研究所 发光元件、显示装置、电子设备及照明装置
US20170092278A1 (en) 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US9978366B2 (en) 2015-10-09 2018-05-22 Xappmedia, Inc. Event-based speech interactive media player
KR102429260B1 (ko) 2015-10-12 2022-08-05 삼성전자주식회사 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치
US9754580B2 (en) 2015-10-12 2017-09-05 Technologies For Voice Interface System and method for extracting and using prosody features
US9747926B2 (en) 2015-10-16 2017-08-29 Google Inc. Hotword recognition
US10453450B2 (en) 2015-10-20 2019-10-22 Bragi GmbH Wearable earpiece voice command control system and method
KR102444061B1 (ko) 2015-11-02 2022-09-16 삼성전자주식회사 음성 인식이 가능한 전자 장치 및 방법
US9691378B1 (en) 2015-11-05 2017-06-27 Amazon Technologies, Inc. Methods and devices for selectively ignoring captured audio data
US9653075B1 (en) 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US10863267B2 (en) 2015-11-10 2020-12-08 Savant Systems, Inc. Volume control for audio/video devices
US9990209B2 (en) 2015-11-12 2018-06-05 Microsoft Technology Licensing, Llc Digital assistance device for facilitating multi-stage setup
US10706852B2 (en) 2015-11-13 2020-07-07 Microsoft Technology Licensing, Llc Confidence features for automated speech recognition arbitration
US10592949B2 (en) 2015-11-13 2020-03-17 [24]7.ai, Inc. Method and apparatus for linking customer interactions with customer messaging platforms
US11929088B2 (en) 2015-11-20 2024-03-12 Synaptics Incorporated Input/output mode control for audio processing
JP6570651B2 (ja) 2015-11-25 2019-09-04 三菱電機株式会社 音声対話装置および音声対話方法
US10040423B2 (en) 2015-11-27 2018-08-07 Bragi GmbH Vehicle with wearable for identifying one or more vehicle occupants
US9484030B1 (en) 2015-12-02 2016-11-01 Amazon Technologies, Inc. Audio triggered commands
US9747920B2 (en) 2015-12-17 2017-08-29 Amazon Technologies, Inc. Adaptive beamforming to create reference channels
CN105679318A (zh) 2015-12-23 2016-06-15 珠海格力电器股份有限公司 一种基于语音识别的显示方法、装置、显示系统和空调
US10134388B1 (en) 2015-12-23 2018-11-20 Amazon Technologies, Inc. Word generation for speech recognition
US9826599B2 (en) 2015-12-28 2017-11-21 Amazon Technologies, Inc. Voice-controlled light switches
US10547942B2 (en) 2015-12-28 2020-01-28 Samsung Electronics Co., Ltd. Control of electrodynamic speaker driver using a low-order non-linear model
US10026401B1 (en) 2015-12-28 2018-07-17 Amazon Technologies, Inc. Naming devices via voice commands
US9820036B1 (en) 2015-12-30 2017-11-14 Amazon Technologies, Inc. Speech processing of reflected sound
US9813810B1 (en) 2016-01-05 2017-11-07 Google Inc. Multi-microphone neural network for sound recognition
US10049666B2 (en) 2016-01-06 2018-08-14 Google Llc Voice recognition system
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
KR20170086814A (ko) 2016-01-19 2017-07-27 삼성전자주식회사 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
CN105741838B (zh) 2016-01-20 2019-10-15 百度在线网络技术（北京）有限公司 语音唤醒方法及装置
KR102392113B1 (ko) 2016-01-20 2022-04-29 삼성전자주식회사 전자 장치 및 전자 장치의 음성 명령 처리 방법
US9749731B2 (en) 2016-01-21 2017-08-29 Bose Corporation Sidetone generation using multiple microphones
US9659555B1 (en) 2016-02-09 2017-05-23 Amazon Technologies, Inc. Multichannel acoustic echo cancellation
US9653060B1 (en) 2016-02-09 2017-05-16 Amazon Technologies, Inc. Hybrid reference signal for acoustic echo cancellation
US11437020B2 (en) 2016-02-10 2022-09-06 Cerence Operating Company Techniques for spatially selective wake-up word recognition and related systems and methods
US9858927B2 (en) 2016-02-12 2018-01-02 Amazon Technologies, Inc Processing spoken commands to control distributed audio outputs
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9779735B2 (en) 2016-02-24 2017-10-03 Google Inc. Methods and systems for detecting and processing speech signals
WO2017147936A1 (zh) 2016-03-04 2017-09-08 茹旷 智能家居助手
US10133612B2 (en) 2016-03-17 2018-11-20 Nuance Communications, Inc. Session processing interaction between two or more virtual assistants
US9769420B1 (en) 2016-03-18 2017-09-19 Thomas Lawrence Moses Portable wireless remote monitoring and control systems
US10373612B2 (en) 2016-03-21 2019-08-06 Amazon Technologies, Inc. Anchored speech detection and speech recognition
US9805714B2 (en) 2016-03-22 2017-10-31 Asustek Computer Inc. Directional keyword verification method applicable to electronic device and electronic device using the same
US10365887B1 (en) 2016-03-25 2019-07-30 Amazon Technologies, Inc. Generating commands based on location and wakeword
US10447748B2 (en) 2016-05-12 2019-10-15 Apple Inc. Sharing media information between applications on client devices
US10149049B2 (en) 2016-05-13 2018-12-04 Bose Corporation Processing speech from distributed microphones
US20170330565A1 (en) 2016-05-13 2017-11-16 Bose Corporation Handling Responses to Speech Processing
US10187440B2 (en) 2016-05-27 2019-01-22 Apple Inc. Personalization of media streams
US10063965B2 (en) 2016-06-01 2018-08-28 Google Llc Sound source estimation using neural networks
US10474419B2 (en) 2016-06-03 2019-11-12 Crestron Electronics, Inc. Audio digital signal processor utilizing a hybrid network architecture
US10235124B2 (en) 2016-06-08 2019-03-19 Google Llc Audio announcement prioritization system
AU2017100581B4 (en) 2016-06-08 2018-02-01 Apple Inc. Intelligent automated assistant for media exploration
US9754605B1 (en) 2016-06-09 2017-09-05 Amazon Technologies, Inc. Step-size control for multi-channel acoustic echo canceller
AU2017100486C4 (en) 2016-06-11 2019-09-05 Apple Inc. Intelligent device arbitration and control
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10212029B2 (en) 2016-06-15 2019-02-19 Microsoft Technology Licensing, Llc Service provisioning in cloud computing systems
ITUA20164622A1 (it) 2016-06-23 2017-12-23 St Microelectronics Srl Procedimento di beamforming basato su matrici di microfoni e relativo apparato
US10091545B1 (en) 2016-06-27 2018-10-02 Amazon Technologies, Inc. Methods and systems for detecting audio output of associated device
US9728188B1 (en) 2016-06-28 2017-08-08 Amazon Technologies, Inc. Methods and devices for ignoring similar audio being received by a system
EP3270377B1 (en) 2016-07-12 2020-02-19 Dolby Laboratories Licensing Corporation Assessment and adjustment of audio installation
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10621992B2 (en) 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
KR102575634B1 (ko) 2016-07-26 2023-09-06 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
CN106028223A (zh) 2016-07-26 2016-10-12 广东欧珀移动通信有限公司 一种智能音箱的控制方法、装置及智能音箱
US10431211B2 (en) 2016-07-29 2019-10-01 Qualcomm Incorporated Directional processing of far-field audio
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10026403B2 (en) 2016-08-12 2018-07-17 Paypal, Inc. Location based voice association system
US20180053504A1 (en) 2016-08-19 2018-02-22 Otis Elevator Company Intention recognition for triggering voice recognition system
US9967382B2 (en) 2016-08-19 2018-05-08 Amazon Technologies, Inc. Enabling voice control of telephone device
US20180061396A1 (en) 2016-08-24 2018-03-01 Knowles Electronics, Llc Methods and systems for keyword detection using keyword repetitions
US9972320B2 (en) 2016-08-24 2018-05-15 Google Llc Hotword detection on multiple devices
US10461953B2 (en) 2016-08-29 2019-10-29 Lutron Technology Company Llc Load control system having audio control devices
US10685656B2 (en) 2016-08-31 2020-06-16 Bose Corporation Accessing multiple virtual personal assistants (VPA) from a single device
US10074369B2 (en) 2016-09-01 2018-09-11 Amazon Technologies, Inc. Voice-based communications
US10580404B2 (en) 2016-09-01 2020-03-03 Amazon Technologies, Inc. Indicator for voice-based communications
US10057698B2 (en) 2016-09-02 2018-08-21 Bose Corporation Multiple room communication system and method
CA3155320A1 (en) 2016-09-06 2018-03-15 Deepmind Technologies Limited Generating audio using neural networks
EP3297298B1 (en) 2016-09-19 2020-05-06 A-Volute Method for reproducing spatially distributed sounds
US9972318B1 (en) 2016-09-21 2018-05-15 Amazon Technologies, Inc. Interpreting voice commands
JP6520878B2 (ja) 2016-09-21 2019-05-29 トヨタ自動車株式会社 音声取得システムおよび音声取得方法
US10409548B2 (en) 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources
JP2018055259A (ja) 2016-09-27 2018-04-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
WO2018067402A1 (en) 2016-10-03 2018-04-12 Google Inc. Selection of computational agent for task performance
JP6683893B2 (ja) 2016-10-03 2020-04-22 グーグル エルエルシー デバイストポロジーに基づく音声コマンドの処理
US10283138B2 (en) 2016-10-03 2019-05-07 Google Llc Noise mitigation for a voice interface device
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US20180122372A1 (en) 2016-10-31 2018-05-03 Soundhound, Inc. Distinguishable open sounds
US10783883B2 (en) 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
KR102241970B1 (ko) 2016-11-07 2021-04-20 구글 엘엘씨 기록된 미디어 핫워드 트리거 억제
US10154496B2 (en) 2016-11-10 2018-12-11 Futurewei Technologies, Inc. System and method for beamformed reference signals in three dimensional multiple input multiple output communications systems
CN106708403A (zh) 2016-11-30 2017-05-24 努比亚技术有限公司 输入滑动操作时同步播放提示音的方法及装置
US10079015B1 (en) 2016-12-06 2018-09-18 Amazon Technologies, Inc. Multi-layer keyword detection
US10186265B1 (en) 2016-12-06 2019-01-22 Amazon Technologies, Inc. Multi-layer keyword detection to avoid detection of keywords in output audio
US10134396B2 (en) 2016-12-07 2018-11-20 Google Llc Preventing of audio attacks
US10241748B2 (en) 2016-12-13 2019-03-26 EVA Automation, Inc. Schedule-based coordination of audio sources
US11184764B2 (en) 2016-12-14 2021-11-23 Amzetta Technologies, Llc Methods and systems of establishing communication between devices
CN106531165A (zh) 2016-12-15 2017-03-22 北京塞宾科技有限公司 一种便携式智能家居语音控制系统及控制方法
US10339957B1 (en) 2016-12-20 2019-07-02 Amazon Technologies, Inc. Ending communications session based on presence data
US10068573B1 (en) 2016-12-21 2018-09-04 Amazon Technologies, Inc. Approaches for voice-activated audio commands
US10559309B2 (en) 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
US10546578B2 (en) 2016-12-26 2020-01-28 Samsung Electronics Co., Ltd. Method and device for transmitting and receiving audio data
US10276161B2 (en) 2016-12-27 2019-04-30 Google Llc Contextual hotwords
US10580405B1 (en) 2016-12-27 2020-03-03 Amazon Technologies, Inc. Voice control of remote device
US10186266B1 (en) 2016-12-28 2019-01-22 Amazon Technologies, Inc. Message playback using a shared device
US10831366B2 (en) 2016-12-29 2020-11-10 Google Llc Modality learning on mobile devices
US10229680B1 (en) 2016-12-29 2019-03-12 Amazon Technologies, Inc. Contextual entity resolution
US10290302B2 (en) 2016-12-30 2019-05-14 Google Llc Compact home assistant with combined acoustic waveguide and heat sink
US10224031B2 (en) 2016-12-30 2019-03-05 Google Llc Generating and transmitting invocation request to appropriate third-party agent
KR102412202B1 (ko) 2017-01-03 2022-06-27 삼성전자주식회사 냉장고 및 이의 정보 표시 방법
US10672387B2 (en) 2017-01-11 2020-06-02 Google Llc Systems and methods for recognizing user speech
US10306254B2 (en) 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
US11164570B2 (en) 2017-01-17 2021-11-02 Ford Global Technologies, Llc Voice assistant tracking and activation
KR20180084392A (ko) 2017-01-17 2018-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20180085931A (ko) 2017-01-20 2018-07-30 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR102556840B1 (ko) 2017-01-20 2023-07-18 삼성전자주식회사 전자 장치 및 그의 제어 방법
US20180218747A1 (en) * 2017-01-28 2018-08-02 Bose Corporation Audio Device Filter Modification
KR20180090586A (ko) 2017-02-03 2018-08-13 삼성전자주식회사 알림을 제공하는 방법 및 그 전자 장치
US10694608B2 (en) 2017-02-07 2020-06-23 Lutron Technology Company Llc Audio-based load control system
US10762891B2 (en) 2017-02-10 2020-09-01 Synaptics Incorporated Binary and multi-class classification systems and methods using connectionist temporal classification
CN108446281B (zh) 2017-02-13 2021-03-12 北京嘀嘀无限科技发展有限公司 确定用户亲密度的方法、装置及存储介质
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
US10311876B2 (en) 2017-02-14 2019-06-04 Google Llc Server side hotwording
US10264358B2 (en) 2017-02-15 2019-04-16 Amazon Technologies, Inc. Selection of master device for synchronized audio
US10839795B2 (en) 2017-02-15 2020-11-17 Amazon Technologies, Inc. Implicit target selection for multiple audio playback devices in an environment
US10431217B2 (en) 2017-02-15 2019-10-01 Amazon Technologies, Inc. Audio playback device that dynamically switches between receiving audio data from a soft access point and receiving audio data from a local access point
CN106921560B (zh) 2017-02-28 2020-06-02 北京小米移动软件有限公司 语音通信方法、装置及系统
US20180262793A1 (en) 2017-03-09 2018-09-13 Google Inc. Reverse Casting from a First Screen Device to a Second Screen Device
US10706843B1 (en) 2017-03-09 2020-07-07 Amazon Technologies, Inc. Contact resolution for communications systems
US10089981B1 (en) 2017-03-09 2018-10-02 Amazon Technologies, Inc. Messaging account disambiguation
US10540961B2 (en) 2017-03-13 2020-01-21 Baidu Usa Llc Convolutional recurrent neural networks for small-footprint keyword spotting
US10074371B1 (en) 2017-03-14 2018-09-11 Amazon Technologies, Inc. Voice control of remote device by disabling wakeword detection
US10499139B2 (en) 2017-03-20 2019-12-03 Bose Corporation Audio signal processing for noise reduction
US10600406B1 (en) 2017-03-20 2020-03-24 Amazon Technologies, Inc. Intent re-ranker
US10621980B2 (en) 2017-03-21 2020-04-14 Harman International Industries, Inc. Execution of voice commands in a multi-device system
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN107135443B (zh) 2017-03-29 2020-06-23 联想(北京)有限公司 一种信号处理方法及电子设备
US10643609B1 (en) 2017-03-29 2020-05-05 Amazon Technologies, Inc. Selecting speech inputs
US10373630B2 (en) 2017-03-31 2019-08-06 Intel Corporation Systems and methods for energy efficient and low power distributed automatic speech recognition on wearable devices
US11188808B2 (en) 2017-04-11 2021-11-30 Lenovo (Singapore) Pte. Ltd. Indicating a responding virtual assistant from a plurality of virtual assistants
US10748531B2 (en) 2017-04-13 2020-08-18 Harman International Industries, Incorporated Management layer for multiple intelligent personal assistant services
KR102068182B1 (ko) 2017-04-21 2020-01-20 엘지전자 주식회사 음성 인식 장치, 및 음성 인식 시스템
KR102298947B1 (ko) 2017-04-28 2021-09-08 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US10013995B1 (en) 2017-05-10 2018-07-03 Cirrus Logic, Inc. Combined reference signal for acoustic echo cancellation
US10628484B2 (en) 2017-05-17 2020-04-21 Board Of Trustees Of The University Of Illinois Vibrational devices as sound sensors
US10564928B2 (en) 2017-06-02 2020-02-18 Rovi Guides, Inc. Systems and methods for generating a volume- based response for multiple voice-operated user devices
US10522146B1 (en) 2019-07-09 2019-12-31 Instreamatic, Inc. Systems and methods for recognizing and performing voice commands during advertisement
US10983753B2 (en) 2017-06-09 2021-04-20 International Business Machines Corporation Cognitive and interactive sensor based smart home solution
US10984329B2 (en) 2017-06-14 2021-04-20 Ademco Inc. Voice activated virtual assistant with a fused response
US10950228B1 (en) 2017-06-28 2021-03-16 Amazon Technologies, Inc. Interactive voice controlled entertainment
US20190013019A1 (en) 2017-07-10 2019-01-10 Intel Corporation Speaker command and key phrase management for muli -virtual assistant systems
US10687353B2 (en) 2017-07-10 2020-06-16 Qualcomm Incorporated Management of conflicting scheduling commands in wireless networks
US10310082B2 (en) 2017-07-27 2019-06-04 Quantenna Communications, Inc. Acoustic spatial diagnostics for smart home management
US11205421B2 (en) 2017-07-28 2021-12-21 Cerence Operating Company Selection system and method
US11798544B2 (en) 2017-08-07 2023-10-24 Polycom, Llc Replying to a spoken command
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
JP6513749B2 (ja) 2017-08-09 2019-05-15 レノボ・シンガポール・プライベート・リミテッド 音声アシストシステム、サーバ装置、その音声アシスト方法、及びコンピュータが実行するためのプログラム
KR102389041B1 (ko) 2017-08-11 2022-04-21 엘지전자 주식회사 이동단말기 및 머신 러닝을 이용한 이동 단말기의 제어방법
US11062702B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
US11062710B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Local and cloud speech recognition
US10546583B2 (en) * 2017-08-30 2020-01-28 Amazon Technologies, Inc. Context-based device arbitration
US10911596B1 (en) 2017-08-31 2021-02-02 Amazon Technologies, Inc. Voice user interface for wired communications system
US10515625B1 (en) 2017-08-31 2019-12-24 Amazon Technologies, Inc. Multi-modal natural language processing
US10366699B1 (en) 2017-08-31 2019-07-30 Amazon Technologies, Inc. Multi-path calculations for device energy levels
US10482895B2 (en) 2017-09-01 2019-11-19 Cirrus Logic, Inc. Acoustic echo cancellation (AEC) rate adaptation
US10847149B1 (en) 2017-09-01 2020-11-24 Amazon Technologies, Inc. Speech-based attention span for voice user interface
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
JP6571144B2 (ja) 2017-09-08 2019-09-04 シャープ株式会社 監視システム、監視機器、サーバ、および監視方法
US20190082255A1 (en) 2017-09-08 2019-03-14 Olympus Corporation Information acquiring apparatus, information acquiring method, and computer readable recording medium
US10083006B1 (en) 2017-09-12 2018-09-25 Google Llc Intercom-style communication using multiple computing devices
KR102338376B1 (ko) 2017-09-13 2021-12-13 삼성전자주식회사 디바이스 그룹을 지정하기 위한 전자 장치 및 이의 제어 방법
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US9973849B1 (en) 2017-09-20 2018-05-15 Amazon Technologies, Inc. Signal quality beam selection
US10719507B2 (en) 2017-09-21 2020-07-21 SayMosaic Inc. System and method for natural language processing
US10580411B2 (en) 2017-09-25 2020-03-03 Cirrus Logic, Inc. Talker change detection
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10897680B2 (en) 2017-10-04 2021-01-19 Google Llc Orientation-based device interface
US11233782B2 (en) 2017-10-04 2022-01-25 Resilience Magnum IP, LLC Single node network connectivity for structure automation functionality
KR102543693B1 (ko) 2017-10-17 2023-06-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10403266B2 (en) 2017-10-18 2019-09-03 Intel Corporation Detecting keywords in audio using a spiking neural network
JP2019086903A (ja) 2017-11-02 2019-06-06 東芝映像ソリューション株式会社 音声対話端末、および音声対話端末制御方法
US20190163153A1 (en) 2017-11-30 2019-05-30 International Business Machines Corporation Enforcing dynamic volume thresholds of an entertainment device
US10445365B2 (en) 2017-12-04 2019-10-15 Amazon Technologies, Inc. Streaming radio with personalized content integration
US10510340B1 (en) 2017-12-05 2019-12-17 Amazon Technologies, Inc. Dynamic wakeword detection
US10777189B1 (en) 2017-12-05 2020-09-15 Amazon Technologies, Inc. Dynamic wakeword detection
US20190172452A1 (en) 2017-12-06 2019-06-06 GM Global Technology Operations LLC External information rendering
US10958467B2 (en) 2017-12-06 2021-03-23 Google Llc Ducking and erasing audio from nearby devices
CN107919123B (zh) 2017-12-07 2022-06-03 北京小米移动软件有限公司 多语音助手控制方法、装置及计算机可读存储介质
US11182122B2 (en) 2017-12-08 2021-11-23 Amazon Technologies, Inc. Voice control of computing devices
US20190179611A1 (en) 2017-12-11 2019-06-13 Sonos, Inc. Systems and Methods of Receiving Voice Input
US10425247B2 (en) 2017-12-12 2019-09-24 Rovi Guides, Inc. Systems and methods for modifying playback of a media asset in response to a verbal command unrelated to playback of the media asset
US10051600B1 (en) 2017-12-12 2018-08-14 Amazon Technologies, Inc. Selective notification delivery based on user presence detections
US10374816B1 (en) 2017-12-13 2019-08-06 Amazon Technologies, Inc. Network conference management and arbitration via voice-capturing devices
US11295748B2 (en) 2017-12-26 2022-04-05 Robert Bosch Gmbh Speaker identification with ultra-short speech segments for far and near field voice assistance applications
EP3732626A4 (en) 2017-12-28 2021-09-15 Syntiant ALWAYS ACTIVE KEYWORD DETECTOR
WO2019128541A1 (en) 2017-12-31 2019-07-04 Midea Group Co., Ltd. Method and system for controlling multiple home devices
CN111357048A (zh) 2017-12-31 2020-06-30 美的集团股份有限公司 用于控制家庭助手装置的方法和系统
US9972343B1 (en) 2018-01-08 2018-05-15 Republic Wireless, Inc. Multi-step validation of wakeup phrase processing
US10795332B2 (en) 2018-01-16 2020-10-06 Resilience Magnum IP, LLC Facilitating automating home control
US20190237067A1 (en) 2018-01-31 2019-08-01 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-channel voice recognition for a vehicle environment
US10157042B1 (en) 2018-02-06 2018-12-18 Amazon Technologies, Inc. Audio output control
US11024307B2 (en) 2018-02-08 2021-06-01 Computime Ltd. Method and apparatus to provide comprehensive smart assistant services
US10425780B1 (en) 2018-02-22 2019-09-24 Amazon Technologies, Inc. Outputting notifications using device groups
US10749828B2 (en) 2018-03-14 2020-08-18 Rovi Guides, Inc. Systems and methods for presenting event notifications, based on trending communications, on devices notwithstanding a user instruction to disable event notifications
US11127405B1 (en) 2018-03-14 2021-09-21 Amazon Technologies, Inc. Selective requests for authentication for voice-based launching of applications
US10491962B2 (en) 2018-03-14 2019-11-26 Rovi Guides, Inc. Systems and methods for presenting event notifications, based on active applications in a social group, on devices notwithstanding a user instruction to disable event notifications
US10438605B1 (en) 2018-03-19 2019-10-08 Bose Corporation Echo control in binaural adaptive noise cancellation systems in headsets
US10685669B1 (en) 2018-03-20 2020-06-16 Amazon Technologies, Inc. Device selection from audio data
US10440440B1 (en) 2018-03-23 2019-10-08 Rovi Guides, Inc. Systems and methods for prompting a user to view an important event in a media asset presented on a first device when the user is viewing another media asset presented on a second device
US10755706B2 (en) 2018-03-26 2020-08-25 Midea Group Co., Ltd. Voice-based user interface with dynamically switchable endpoints
US10446169B1 (en) 2018-03-26 2019-10-15 Motorola Mobility Llc Pre-selectable and dynamic configurable multistage echo control system for large range level of acoustic echo
US11151991B2 (en) 2018-03-30 2021-10-19 Verizon Media Inc. Electronic message transmission
WO2019193378A1 (en) 2018-04-06 2019-10-10 Flex Ltd. Device and system for accessing multiple virtual assistant services
US10679629B2 (en) 2018-04-09 2020-06-09 Amazon Technologies, Inc. Device arbitration by multiple speech processing systems
CN108520741B (zh) 2018-04-12 2021-05-04 科大讯飞股份有限公司 一种耳语音恢复方法、装置、设备及可读存储介质
US10928917B2 (en) 2018-04-12 2021-02-23 International Business Machines Corporation Multiple user interaction with audio devices using speech and gestures
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
JP2019204025A (ja) 2018-05-24 2019-11-28 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10777195B2 (en) 2018-05-31 2020-09-15 International Business Machines Corporation Wake command nullification for digital assistance and voice recognition technologies
US10433058B1 (en) 2018-06-14 2019-10-01 Sonos, Inc. Content rules engines for audio playback devices
US10762896B1 (en) 2018-06-25 2020-09-01 Amazon Technologies, Inc. Wakeword detection
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11144596B2 (en) 2018-07-24 2021-10-12 Harman International Industries, Incorporated Retroactive information searching enabled by neural sensing
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
KR102225984B1 (ko) 2018-09-03 2021-03-10 엘지전자 주식회사 음성 인식 서비스를 제공하는 서버
US10622009B1 (en) 2018-09-10 2020-04-14 Amazon Technologies, Inc. Methods for detecting double-talk
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US20200090647A1 (en) 2018-09-14 2020-03-19 Comcast Cable Communications, Llc Keyword Detection In The Presence Of Media Output
US10650807B2 (en) 2018-09-18 2020-05-12 Intel Corporation Method and system of neural network keyphrase detection
US10861444B2 (en) 2018-09-24 2020-12-08 Rovi Guides, Inc. Systems and methods for determining whether to trigger a voice capable device based on speaking cadence
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US10950249B2 (en) 2018-09-25 2021-03-16 Amazon Technologies, Inc. Audio watermark encoding/decoding
US11170758B2 (en) 2018-09-27 2021-11-09 Rovi Guides, Inc. Systems and methods for providing notifications within a media asset without breaking immersion
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
KR102606789B1 (ko) 2018-10-01 2023-11-28 삼성전자주식회사 복수의 음성 인식 장치들을 제어하는 방법 및 그 방법을 지원하는 전자 장치
US10971158B1 (en) 2018-10-05 2021-04-06 Facebook, Inc. Designating assistants in multi-assistant environment based on identified wake word received from a user
US10346122B1 (en) 2018-10-18 2019-07-09 Brent Foster Morgan Systems and methods for a supplemental display screen
US10388272B1 (en) 2018-12-04 2019-08-20 Sorenson Ip Holdings, Llc Training speech recognition systems using word sequences
US10573312B1 (en) 2018-12-04 2020-02-25 Sorenson Ip Holdings, Llc Transcription generation from multiple speech recognition systems
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
KR102570384B1 (ko) 2018-12-27 2023-08-25 삼성전자주식회사 가전기기 및 이의 음성 인식 방법
US11198446B2 (en) 2019-01-04 2021-12-14 Faraday & Future Inc. On-board vehicle query system
JP2020112692A (ja) 2019-01-11 2020-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 方法、制御装置、及びプログラム
EP3690575B1 (de) 2019-02-04 2022-08-24 Siemens Aktiengesellschaft Verfahren zur überprüfung einer konsistenten erfassung von rohrleitungen in einem projektierungssystem, projektierungssystem und steuerungsprogramm
CN109712626B (zh) 2019-03-04 2021-04-30 腾讯科技（深圳）有限公司 一种语音数据处理方法及装置
US10943598B2 (en) 2019-03-18 2021-03-09 Rovi Guides, Inc. Method and apparatus for determining periods of excessive noise for receiving smart speaker voice commands
US10984783B2 (en) 2019-03-27 2021-04-20 Intel Corporation Spoken keyword detection based utterance-level wake on intent system
US20200310751A1 (en) 2019-03-29 2020-10-01 Qualcomm Incorporated System and method of managing device sound level
EP3726856B1 (en) 2019-04-17 2022-11-16 Oticon A/s A hearing device comprising a keyword detector and an own voice detector
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
JP7191793B2 (ja) 2019-08-30 2022-12-19 株式会社東芝 信号処理装置、信号処理方法、及びプログラム
KR20210066647A (ko) 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11823659B2 (en) 2019-12-11 2023-11-21 Amazon Technologies, Inc. Speech recognition through disambiguation feedback
CN111341306B (zh) 2020-02-14 2022-06-17 东南大学 基于语音特征复用的关键词唤醒cnn的存储和计算压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947333B1 (en) * 2012-02-10 2018-04-17 Amazon Technologies, Inc. Voice interaction architecture with intelligent background noise cancellation
US20160316293A1 (en) * 2015-04-21 2016-10-27 Google Inc. Sound signature database for initialization of noise reduction in recordings
CN108028048A (zh) * 2015-06-30 2018-05-11 弗劳恩霍夫应用研究促进协会 用于关联噪声和用于分析的方法和设备
CN108028047A (zh) * 2015-06-30 2018-05-11 弗劳恩霍夫应用研究促进协会 用于生成数据库的方法和设备

Also Published As

Publication number Publication date
JP7271674B2 (ja) 2023-05-11
US20200213729A1 (en) 2020-07-02
JP2022514894A (ja) 2022-02-16
WO2020132298A1 (en) 2020-06-25
AU2019405936A1 (en) 2021-07-15
US11540047B2 (en) 2022-12-27
US10602268B1 (en) 2020-03-24
US20220007106A1 (en) 2022-01-06
EP3900395A1 (en) 2021-10-27
US20230217165A1 (en) 2023-07-06
CA3123601A1 (en) 2020-06-25
US11159880B2 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
JP7271674B2 (ja) ネットワークマイクロフォンデバイスのノイズ分類による最適化
US11727936B2 (en) Voice detection optimization based on selected voice assistant service
US11714600B2 (en) Noise classification for event detection
US11817083B2 (en) Networked microphone devices, systems, and methods of localized arbitration
CN111247582A (zh) 使用神经网络模型进行选择性唤醒词检测的系统和方法
US11790937B2 (en) Voice detection optimization using sound metadata
US11915687B1 (en) Systems and methods for generating labeled data to facilitate configuration of network microphone devices
US20230097522A1 (en) Mapping and characterizing acoustic events within an environment via audio playback devices
WO2023056280A1 (en) Noise reduction using synthetic audio
WO2022246463A1 (en) Systems and methods for acoustic echo cancellation for audio playback devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210831