CN112020864B - 麦克风阵列中的智能波束控制 - Google Patents

麦克风阵列中的智能波束控制 Download PDF

Info

Publication number
CN112020864B
CN112020864B CN201980027714.2A CN201980027714A CN112020864B CN 112020864 B CN112020864 B CN 112020864B CN 201980027714 A CN201980027714 A CN 201980027714A CN 112020864 B CN112020864 B CN 112020864B
Authority
CN
China
Prior art keywords
acoustic
microphone array
speaker system
physical environment
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980027714.2A
Other languages
English (en)
Other versions
CN112020864A (zh
Inventor
J·M·阿尔德斯
E·D·奎泽三世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bose Corp
Original Assignee
Bose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bose Corp filed Critical Bose Corp
Publication of CN112020864A publication Critical patent/CN112020864A/zh
Application granted granted Critical
Publication of CN112020864B publication Critical patent/CN112020864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本发明的各个方面包括用于智能声束控制的方法。在一些具体实施中，公开了控制扬声器系统中的麦克风阵列的方法。在其他具体实施中，公开了扬声器系统。在特定方面，控制麦克风阵列的计算机实现的方法包括：生成包括对靠近扬声器系统的物理环境的声学描述的声学映射图；以及在麦克风阵列处接收语音命令输入之前，将麦克风阵列聚焦在基于声学映射图的方向上。

Description

麦克风阵列中的智能波束控制
相关申请的交叉引用
本申请要求于2018年4月13日提交的美国专利申请15/952920号的优先权，该申请据此全文以引用方式并入。
技术领域
本公开整体涉及声束控制。更具体地讲，本公开涉及基于物理环境的声学映射图来控制麦克风阵列中的波束方向。
背景技术
声学信号的方向性可极大地影响用户体验。在动态系统诸如便携式声学系统中，当声学系统在物理环境内移动时，用户和/或噪声生成设备相对于声学系统改变位置。另外，在声学系统保持在固定位置的情况下，诸如在家庭、办公室或其他环境中，用户和/或噪声生成设备的位置可相对于该声学系统改变。不能适应其周围环境的系统可能带来不期望的用户体验。
发明内容
下文提及的所有示例和特征均可以任何技术上可能的方式组合。
本公开的各种具体实施包括用于智能声束控制的方法。在一些具体实施中，公开了控制扬声器系统中的麦克风阵列的方法。在其他具体实施中，公开了扬声器系统。
在一些特定方面，控制麦克风阵列的计算机实现的方法包括：生成包括对靠近扬声器系统的物理环境的声学描述的声学映射图；以及在麦克风阵列处接收语音命令输入之前，将麦克风阵列聚焦在基于声学映射图的方向上。
在其他特定方面，扬声器系统包括：麦克风阵列；以及与麦克风阵列连接的控制系统，该控制系统被编程为：生成包括对靠近扬声器系统的物理环境的声学描述的声学映射图；并且在麦克风阵列处接收语音命令输入之前，将麦克风阵列聚焦在基于声学映射图的方向上。
在某些方面，生成声学映射图包括初始映射周期、高级映射周期或连续映射周期中的至少一者。在特定情况下，初始映射周期包括：将一组测试声学信号从扬声器系统中的换能器发送到物理环境中；在麦克风阵列处从物理环境接收一组返回声学信号；以及基于该组测试声学信号和该组返回声学信号之间的差值来表征物理环境中的至少一个区。在一些具体实施中，高级映射周期包括：在一定周期内在麦克风阵列处从物理环境接收一组声学信号；以及基于在该周期内接收的该组声学信号来表征物理环境中的至少一个附加区或重新表征物理环境中的至少一个区。在某些情况下，连续映射周期包括：在麦克风阵列处从物理环境连续地接收一组声学信号；以及基于在连续映射周期期间连续接收的该组声学信号来重新表征物理环境中的至少一个附加区或至少一个区。
在某些具体实施中，在初始映射周期之后开始高级映射周期。在一些情况下，在高级映射周期之后开始连续映射周期。
在特定具体实施中，生成声学映射图包括：检测物理环境中的至少一个噪声源的位置或检测物理环境中的频繁语音命令位置中的至少一者；以及创建麦克风阵列滤波器，该麦克风阵列滤波器被配置为至少部分地拒绝至少一个噪声源或增强对来自频繁语音命令位置的语音命令输入的检测。
在一些方面，计算机实现的方法还包括：接收关于扬声器系统的用户输入的识别信息；以及基于用户输入的识别信息更新物理环境的声学映射图。
在特定具体实施中，扬声器系统包括便携式扬声器系统，并且计算机实现的方法还包括：检测扬声器系统从第一物理位置到第二物理位置的移动；生成更新的声学映射图，该更新的声学映射图包括对在第二物理位置处靠近扬声器系统的物理环境的声学描述；以及在麦克风阵列处接收后续语音命令输入之前，将麦克风阵列聚焦在基于更新的声学映射图的更新的方向上。在某些情况下，麦克风阵列保持聚焦在基于声学映射图的方向上，同时生成更新的声学映射图。在一些方面，检测扬声器系统从第一物理位置到第二物理位置的移动包括检测扬声器系统在一定周期内大于移动阈值的移动，该移动阈值通过以下各项中的至少一项的变化来测量：用于扬声器系统的电源的位置、扬声器系统的取向、扬声器系统的位置、与至少一个通信网络的接近度或与至少一个其他连接的电子设备的接近度。
在某些具体实施中，计算机实现的方法还包括：提示用户关于声学映射图的语音反馈输入；在麦克风阵列处接收来自用户的语音反馈输入；以及基于接收到的语音反馈输入来更新物理环境的声学映射图。
在特定情况下，扬声器系统还包括与控制系统连接的换能器，并且初始映射周期包括：将一组测试声学信号从换能器发送到物理环境中；在麦克风阵列处从物理环境接收一组返回声学信号；以及基于该组测试声学信号和该组返回声学信号之间的差值来表征物理环境中的至少一个区。在某些方面，高级映射周期包括：在一定周期内在麦克风阵列处从物理环境接收一组声学信号；以及基于在该周期内接收的该组声学信号来表征物理环境中的至少一个附加区或重新表征物理环境中的至少一个区。在一些具体实施中，连续映射周期包括：在麦克风阵列处从物理环境连续地接收一组声学信号；以及基于在连续映射周期期间连续接收的该组声学信号来重新表征物理环境中的至少一个附加区或至少一个区。
在某些情况下，生成声学映射图包括：检测物理环境中的至少一个噪声源的位置或检测物理环境中的频繁语音命令位置中的至少一者；以及创建麦克风阵列滤波器，该麦克风阵列滤波器被配置为至少部分地拒绝至少一个噪声源或增强对来自频繁语音命令位置的语音命令输入的检测。
在特定具体实施中，控制系统进一步被配置为：接收关于扬声器系统的用户输入的识别信息；并且基于用户输入的识别信息更新物理环境的声学映射图。
在某些情况下，扬声器系统包括便携式扬声器系统，并且控制系统进一步被配置为：检测扬声器系统从第一物理位置到第二物理位置的移动；生成更新的声学映射图，该更新的声学映射图包括对在第二物理位置处靠近扬声器系统的物理环境的声学描述；并且在麦克风阵列处接收后续语音命令输入之前，将麦克风阵列聚焦在基于更新的声学映射图的更新的方向上。在一些方面，麦克风阵列保持聚焦在基于声学映射图的方向上，同时生成更新的声学映射图。在特定具体实施中，检测扬声器系统从第一物理位置到第二物理位置的移动包括检测扬声器系统在一定周期内大于移动阈值的移动，该移动阈值通过以下各项中的至少一项的变化来测量：用于扬声器系统的电源的位置、扬声器系统的取向、扬声器系统的位置、与至少一个通信网络的接近度或与至少一个其他连接的电子设备的接近度。
在某些方面，控制系统进一步被配置为：提示用户关于声学映射图的语音反馈输入；在麦克风阵列处接收来自用户的语音反馈输入；并且基于接收到的语音反馈输入来更新物理环境的声学映射图。
在特定情况下，扬声器系统还包括与控制系统连接的换能器，其中换能器和麦克风阵列位于声学环境内的物理上分离的外壳中。
在一些具体实施中，控制系统包括用于基于声学映射图修改麦克风阵列的聚焦方向的数字信号处理器。
在某些方面，生成声学映射图包括：在麦克风阵列处从物理环境接收一组声学信号；从该组接收到的声学信号中识别至少一个噪声源；创建麦克风阵列滤波器，该麦克风阵列滤波器被配置为至少部分地拒绝至少一个噪声源；并且将麦克风阵列滤波器存储在麦克风阵列滤波器的库中。在特定情况下，创建该组麦克风阵列滤波器包括根据频率或振幅中的至少一者对该组接收到的声学信号进行分类，以及将用于修改麦克风阵列上的增益的控制指令与该组分类的接收到的声学信号相关联。在某些具体实施中，控制系统响应于检测到来自所识别的至少一个噪声源的声学信号而根据所存储的麦克风滤波器修改麦克风阵列的方向。在特定情况下，麦克风阵列滤波器的库包括关系数据库，该关系数据库具有麦克风阵列滤波器与来自所识别的至少一个噪声源的声学信号之间的关系，其中控制系统被配置为在麦克风阵列处接收语音命令输入的同时应用麦克风阵列滤波器，其中应用麦克风阵列滤波器包括：在麦克风阵列处接收声学噪声信号；将声学噪声信号与来自麦克风阵列滤波器的库中的所识别的至少一个噪声源的声学信号进行比较；以及响应于声学噪声信号匹配来自所识别的至少一个噪声源的声学信号而修改麦克风阵列上的增益。
本公开中所述的两个或更多个特征，包括本发明内容部分中所述的那些，可组合以形成在本文未具体描述的具体实施。
一个或多个具体实施的细节在附图和以下描述中论述。其他特征、对象和优点在说明书、附图和权利要求书中将是显而易见的。
附图说明
图1示出了根据各种具体实施的示出麦克风阵列控制系统的环境的示意图。
图2是示出麦克风阵列控制的各方面的示例性极坐标图。
图3是示出用于修改图2的极坐标图的控制过程的示例性极坐标图。
图4是示出根据各种具体实施的映射声学环境的过程的流程图。
图5示出了根据各种具体实施使用的示例性声学映射图的示意图。
需注意，各种具体实施的附图未必按比例绘制。附图仅旨在示出本公开的典型方面，因此不应视为限制本发明的范围。在附图中，类似的编号表示附图之间类似的元件。
具体实施方式
如本文所述，本公开的各个方面整体涉及声束控制。更具体地讲，本公开的各方面涉及基于物理环境的声学映射图来控制麦克风阵列中的波束方向。
出于说明的目的，附图中通常标记的部件被认为是基本上等同的部件，并且为了清楚起见，省略了对那些部件的冗余讨论。
本文所公开的各方面和具体实施可适用于各种扬声器系统，诸如个人音频设备、扬声器(例如，固定或便携式扬声器系统)、耳机、以及各种形状因数的可穿戴音频设备(诸如手表、眼镜、颈部佩戴的扬声器、肩部佩戴的扬声器、身体佩戴的扬声器等)。除非另外指明，否则如本文档中所用，术语耳机包括各种类型的个人音频设备，诸如耳戴式耳机、包耳式耳机和入耳式耳机、听筒、耳塞、助听器或被构造成定位在用户的一只耳朵或两只耳朵附近、周围或之内的其他支持无线的音频设备。除非另外指明，否则如本文档中所用，术语可穿戴音频设备包括耳机和各种其他类型的个人音频设备，诸如头部、肩部或身体佩戴的声学设备，其包括一个或多个声学驱动器以在不接触用户的耳朵的情况下产生声音。所公开的一些特定方面可特别适用于个人(可穿戴)音频设备，诸如眼镜或其他头戴式音频设备。应注意的是，尽管主要服务于声学输出音频的目的的扬声器系统的特定具体实施以某种程度的细节呈现，但特定具体实施的此类呈现旨在通过提供示例来促进理解，并且不应视为限制本公开的范围或权利要求覆盖范围的范围。
本文所公开的各方面和具体实施可以适用于支持或不支持双向通信的扬声器系统并且适用于支持或不支持主动降噪(ANR)的扬声器系统。对于确实支持双向通信或ANR的扬声器系统，本文公开和要求保护的内容旨在适用于结合一个或多个麦克风的扬声器系统，该一个或多个麦克风被设置在使用时保持在耳外部的扬声器系统的一部分上(例如，前馈麦克风)，被设置在使用时被插入耳中的一部分中的部分上(例如，反馈麦克风)，或者被设置在此类部分的两者上。对于本领域技术人员来说，本文公开和要求保护的内容适用的扬声器系统的其他具体实施将是显而易见的。
本公开的各种特定具体实施包括扬声器系统和用于控制此类系统以基于物理环境的声学映射图来提供智能波束形成的方法。在具有用于接收声学输入的麦克风阵列的常规扬声器系统(诸如虚拟个人助理系统(VPA)、语音用户界面系统(VUI)、智能扬声器系统、条形音箱系统、会议系统、可穿戴音频设备等)中，控制系统基于扬声器系统或音频输入的取向来指示由其麦克风阵列形成的波束(或“麦克风阵列波束”或简称“波束”)的方向。例如，一些常规扬声器系统基于扬声器系统(例如，外壳)的形状或期望取向在一个方向上导向其麦克风阵列。在这些情况下，电源线、辅助连接件或扬声器格栅的位置可增强扬声器系统将在环境(例如，面向用户的格栅)内以特定方式取向的可能性。在其他示例中，扬声器系统可在默认麦克风阵列方向上配置，该默认麦克风阵列方向可基于在该麦克风阵列处接收的声学输入的方向来修改。在这些情况下，设置默认麦克风方向(例如，直接从扬声器格栅的中心向外)，并且当接收到声学输入(例如，语音命令)时，控制系统修改麦克风阵列方向以“指向”声学输入的源(例如，用户)。即，麦克风阵列可检测语音方向性，例如用户正在房间的特定部分中讲话，并且控制系统可使用数字信号处理(DSP)来修改波束的方向以便增强来自该用户的音频信号的信噪比。
然而，这些常规系统在许多情况下不能捕获高品质声学输入(例如，语音命令)。例如，当用户位于距扬声器相当远的距离处时，和/或当扬声器以高音量输出声学信号(例如，大声播放音乐)时，这些常规扬声器系统不能在嘈杂环境中捕获高品质声学输入。这些系统可能难以通过噪声准确地捕获语音命令或解析命令和/或其他音频信号。
与这些常规系统和方法相比，本公开的各种具体实施包括扬声器系统和用于通过映射扬声器系统周围的本地声学环境来控制麦克风阵列方向性的相关方法。在一些具体实施中，公开了扬声器系统(例如，固定扬声器系统诸如家庭音频系统、条形音箱、汽车音频系统或音频会议系统，或便携式扬声器系统诸如智能扬声器、可穿戴音频设备或手持扬声器系统)。该扬声器系统被配置为生成包括对靠近扬声器系统的物理环境的声学描述的声学映射图，并且将麦克风阵列聚焦在基于该声学映射图的方向上。扬声器系统可被配置为预聚焦麦克风，即，在其麦克风阵列处接收语音命令输入之前将麦克风聚焦在一个方向上。在某些具体实施中，扬声器系统可移动到不同的物理位置。例如，扬声器系统可检测其从第一物理位置到不同物理位置的移动，基于对不同物理环境的声学描述来更新声学映射图，并且将麦克风阵列预聚焦在基于该更新的映射图的更新方向上。
图1示出了根据各种具体实施的包括扬声器系统20的例示性物理环境10。如图所示，扬声器系统20可包括麦克风阵列30，该麦克风阵列具有多个麦克风40以用于接收声学信号，诸如来自一个或多个用户(示出了一个示例性用户50)的语音命令。麦克风阵列30可与控制系统60连接，该控制系统被编程为基于一个或多个条件来控制麦克风阵列30的波束方向，如本文所讨论的。
应当理解，被描述为连接或耦接到扬声器系统20或根据具体实施公开的其他系统中的另一个部件的任何部件可使用任何常规的硬接线连接和/或附加通信协议进行通信。在一些情况下，通信协议可包括使用无线局域网(LAN)的Wi-Fi协议、诸如IEEE 802.11b/g的通信协议、基于蜂窝网络的协议(例如，第三代、第四代或第五代(3G、4G、5G蜂窝网络)或多个物联网(IoT)协议中的一个物联网协议，诸如：蓝牙、BLE蓝牙、ZigBee(网状LAN)、Z波(亚GHz网状网络)、6LoWPAN(轻量级IP协议)、LTE协议、RFID、超声音频协议等。在各种特定具体实施中，扬声器系统20中单独容纳的部件被配置为使用一个或多个常规无线收发器进行通信。
如本文所述，控制系统60可包括用于根据本文所述的过程执行程序指令或代码的常规硬件和/或软件部件。例如，控制系统60可包括一个或多个处理器、存储器、部件之间的通信路径和/或用于执行程序代码的一个或多个逻辑引擎。控制系统60可经由任何常规的无线和/或硬接线连接与麦克风阵列30耦接，该无线和/或硬接线连接允许控制系统60向麦克风阵列30发送信号/从麦克风阵列30接收信号并控制其操作。在各种具体实施中，控制系统60和麦克风阵列30共同容纳在扬声器外壳70(任选地以虚线示出)中，该扬声器外壳可包括用于将声学信号(声学输出)传输到用户50的换能器(扬声器)80。然而，如本文所述，控制系统60、麦克风阵列30和/或换能器80可单独地容纳在通过任何通信协议(例如，本文所述的无线通信协议)和/或经由硬接线连接而连接的扬声器系统(例如，扬声器系统20)中。
控制系统60可包括用于生成声学映射图100的映射引擎90，该声学映射图包括对靠近扬声器系统20的物理环境(例如，环境10)的声学描述。根据各种具体实施，映射引擎90被配置为处理来自环境10的声学信号、关于扬声器系统20的用户输入的识别信息、来自用户50的语音反馈输入和/或关于扬声器系统20的位置信息(包括移动指示器)，以便生成描述环境10相对于扬声器系统20的声学特性的声学映射图100(例如，数据文件或数据结构)。即，映射引擎90可包括用于处理关于来自环境10的一个或多个声学信号的数据、关于扬声器系统20的用户输入的识别信息、来自用户50的语音反馈输入和/或关于扬声器系统20的位置信息(包括移动指示器)的逻辑，以便生成声学映射图100。
扬声器系统20可另外包括无线收发器(WT)110，该无线收发器被配置为与扬声器系统20和/或经由一个或多个无线网络(例如，本地WiFi网络、蓝牙连接或射频(RF)连接)连接的其他电子设备中的一个或多个部件通信。WT 110可与位置跟踪系统(位置ID)120连接，该位置跟踪系统可包括一个或多个基于位置的检测系统，诸如全球定位系统(GPS)位置系统、Wi-Fi位置系统、红外(IR)位置系统、蓝牙信标系统等。在各种具体实施中，位置跟踪系统120可包括用于跟踪扬声器系统20在环境中的取向的取向跟踪系统。在某些情况下，位置跟踪系统120包括结合多轴加速度计、陀螺仪和/或磁力计(有时称为IMU或惯性测量单元)的微电子机械系统(MEMS)设备。然而，附加或另选的传感器可形成位置跟踪系统120的一部分，例如，在可穿戴扬声器系统的情况下，形成单独的头部跟踪或身体跟踪系统(例如，基于光学的跟踪系统、加速度计、磁力计、陀螺仪或雷达)，以用于检测用户面向的方向以及用户和扬声器系统20的移动。位置跟踪系统120可被配置为检测扬声器系统20的物理位置的变化，并且向控制系统60提供更新的传感器数据，以便指示扬声器系统20的位置的变化。位置跟踪系统120还可被配置为检测扬声器系统20的取向，例如扬声器系统20的方向，或扬声器系统20的取向的变化，诸如一定度数的转动。在这些示例中，IMU可特别用于检测取向的变化。然而，应当理解，位置跟踪系统120还可包括位于扬声器系统20或被配置为检测扬声器系统20的取向的另一个连接设备处的一个或多个光学或视觉检测系统。
在特定示例性具体实施中，位置跟踪系统120可利用一个或多个位置系统和/或取向系统来确定扬声器系统20的位置和/或取向，例如，依赖于GPS位置系统来获得一般位置信息并且依赖于IR位置系统来获得更精确的位置信息，同时利用取向跟踪系统诸如IMU来检测扬声器系统20的方向(例如，换能器80被取向的方向)。在任何情况下，位置跟踪系统120可向控制系统60提供关于扬声器系统20的位置和/或取向的传感器数据。在其中位置跟踪系统120包括可包括加速度计/陀螺仪/磁力计的IMU的一些情况下，该IMU可包括不同的加速度计部件、陀螺仪部件和/或磁力计部件，或者可共同容纳在单个传感器部件中。
在一些情况下，扬声器系统20还可包括与控制系统60连接的相机系统130，该相机系统被配置为检测环境10和/或一个或多个用户50的视觉特性(例如，存在、位置、接近度、身份和/或姿势)。在一些情况下，相机系统130位于扬声器系统20处，并且被配置为例如跨过房间或空间检测用户50的视觉特性(例如，姿势或身份)和/或环境10的视觉特性(例如，墙壁或大对象的存在)。在任何情况下，相机系统130可被配置为检测环境10中的一个或多个对象或用户50的视觉特性(例如，存在、位置、接近度、身份和/或姿势)。在各种具体实施中，相机系统130可例如经由用户提示被主动启用以跟踪一个或多个用户50的视觉特性，或者可在一个或多个映射周期期间被启用。在一个具体实施中，相机系统130可包括用于处理在相机系统130处捕获的图像数据的视觉特性(VC)跟踪引擎140。视觉特性(例如，用户50或环境10的视觉特性)可包括用户50的存在、用户50与一个或多个其他参考项(例如，扬声器系统20或其他用户50)的接近度、一个或多个用户50的位置或用户50的身份中的一者或多者。在这些情况中的一些情况下，VC跟踪引擎140可被配置为使用来自相机系统130的图像数据(例如，周期性地或连续地获得的图像数据)检测用户50的身份，并指示所识别的用户50的位置。在这些示例性具体实施中，VC跟踪引擎140可在用户50移动通过环境时在视觉上识别用户50，并且将对该位置的指示发送到控制系统60以便动态地更新环境10的映射图。在其他情况下，VC跟踪引擎140可将环境10内的特定对象识别为具有声学上显著的特性(例如，经由视觉识别)，并且向控制系统60提供视觉特性数据以用于声学映射环境10中。
根据本文所述的各种具体实施，控制系统60可与数字信号处理器(DSP)150连接以用于修改麦克风阵列30的聚焦方向。即，DSP150可被配置为基于声学映射图100在朝向用户50的方向上或者在远离已知噪声源的方向(方向B、方向C等)上修改麦克风阵列30的聚焦方向(方向A、方向B等)。
如本文所述，麦克风阵列30可包括多个麦克风40，该多个麦克风可各自包括用于接收音频信号(例如，声学信号诸如声学输入)的常规接收器。在一些情况下，麦克风40可包括一个或多个定向麦克风。然而，在其他情况下，阵列30中的每个麦克风40可包括被配置为由DSP 150导向的全向麦克风。DSP 150可与麦克风40(和映射引擎90)耦接，并且包括用于处理声学输入和/或声学输出的一个或多个DSP滤波器160，以便例如通过DSP波束形成来控制阵列30的方向。DSP波束形成是用于对来自多个方向的输入(例如，声学输入)求和以实现对来自特定方向(例如，方向A、方向B等)的输入的较窄响应的已知技术。图1示出了包括沿弧形路径布置的多个麦克风40的示例性弯曲麦克风阵列30，每个麦克风具有x坐标值和y坐标值。
在图2的极坐标图形描绘中示出了在麦克风40处来自给定环境(没有波束形成)的示例性响应，其中期望的指向方向(例如，方向A、方向B等，图1)被称为最大响应角度(MRA)，图2的极坐标图中的角度是与该MRA的偏移，并且半径是该MRA方向上的振幅响应。图3示出了麦克风40处的经滤波的响应，其中DSP滤波器160应用于沿特定方向(例如，MRA方向，其可以是指示的声学映射图100)导向麦克风阵列30。
返回图1，控制系统60被编程为根据各种方法来控制麦克风阵列30，如本文所述。在特定具体实施中，控制系统60(具有映射引擎90)被配置为：i)生成声学映射图100，该声学映射图包括对靠近扬声器系统20的(物理)环境10的声学描述；以及ii)在麦克风阵列30处接收语音命令输入170之前，将麦克风阵列30聚焦在基于声学映射图100的一个或多个方向(例如，方向A、方向B、方向C)上。如本文所述，声学映射图100可利用从传输来自换能器的声学输出(和测量声学响应)和/或从在麦克风阵列30处接收的声学输入(例如，语音命令输入)收集的声学数据来生成。在某些情况下，这些输入中的仅一个是生成声学映射图100所必需的。如本文所述，在麦克风阵列处接收语音命令输入170之前，控制系统60使用声学映射图100来控制麦克风阵列30。
即，扬声器系统20可允许聚焦麦克风阵列30，而无需在麦克风阵列30处关于一个或多个聚焦方向的语音命令输入170。该预聚焦过程可允许从期望方向(例如，方向A、方向B、方向C)改善命令、传输等的信号质量，因为麦克风阵列30已经预先定位成聚焦在基于声学映射图100的至少一个方向上。应当理解，在各种具体实施中，术语“语音命令输入”可以指来自用户50(包括人或其他系统用户)的任何语音命令。虽然控制系统60能够使用语音命令输入170来细化和更新声学映射图100，但控制系统60被配置为在接收该语音命令输入170之前将麦克风阵列30预聚焦在一个方向上。
在特定具体实施中，控制系统60(包括映射引擎90)被配置为在一个或多个映射周期内生成声学映射图100。例如，控制系统60(包括映射引擎90)被配置为在初始映射周期、高级映射周期和连续映射周期内生成声学映射图100。虽然术语“初始”、“高级”和“连续”可表明映射的一个或多个周期充当其他周期的先决条件，但这可能不一定是真实的。例如，可执行“高级”和/或“连续”映射过程，而不需要执行“初始”映射过程(或者其中初始映射功能由另一个实体执行)。在一些情况下，扬声器系统20可被配置为仅执行高级映射周期的功能，或者仅执行高级映射周期和连续映射周期的功能。图4中的流程图仅仅是多周期映射过程的一个示例，并且不应被认为是对本文所述的映射功能的限制。
图4是示出声学映射环境10的方法中的过程的流程图。如图所示，初始映射周期可包括以下过程：
过程P1：将一组测试声学信号从换能器80发送到物理环境10中。这可包括经由换能器80以一个或多个频率范围、功率电平等将声学信号传输到环境10中。在特定具体实施中，换能器80将全范围测试信号发送到环境10中(例如，在换能器80可产生的频率和/或功率电平的全范围内)；
过程P2：在麦克风阵列30处从物理环境10接收一组返回声学信号。在各种具体实施中，返回声学信号在指定周期(例如，分钟、小时、天或周)内被接收，并且用于周期性地(或连续地)更新声学映射图100。来自返回声学信号的数据可经由本文所述的任何存储设备存储，并且可用于维持和/或更新声学映射图100；和
过程P3：基于该组测试声学信号和该组返回声学信号之间的差值来表征物理环境10中的至少一个区(例如，区A、B、C等，图1)。在各种具体实施中，该过程可包括对我们以其他方式将声学特性归属于物理环境10中的一个或多个区进行目录分类。应当理解，区A、区B和区C的示例说明了可在本文所述的映射周期中的任一个映射周期中表征的许多区。可使用根据各种具体实施所述的映射过程来表征更多或更少数量的区。
表征物理环境10中的区(例如，区A、B、C等)可包括分析如传输的测试声学信号(过程P1)和返回声学信号(过程P2)之间的差值所检测到的物理环境10的声学特性。这些声学特性可包括例如各种频谱、时间或频谱-时间统计值，包括例如总声压级(SPL)、声压级随时间推移的变化、多个频带中的声压级、每个带中的等级随时间推移的变化、估计的信噪比、频率谱、振幅调制频谱、交叉频率包络相关性、交叉调制-频率包络相关性、听觉模型的输出、语音传输指数(STI)和/或梅尔频率倒谱系数。声学特性还可包括识别一个或多个感兴趣声源(例如，人类说话者)或预先确定类型的声源的存在的信息。预定类型的声源可包括噪声源(和相关联的签名)，诸如器具(例如，空调或冰箱)、经由开窗检测到的道路噪声和/或来自另一个音频源的背景音乐。
在各种具体实施中，映射引擎90可利用附加参数来生成环境的声学映射图100。若干附加参数公开于美国专利申请号14/841166(美国专利申请公布号2017/0060880)中，该专利申请据此全文以引用方式并入。
在初始映射周期之后的任何时间，或总而言之在另一时间，高级映射周期可例如根据规定的计划表开始，或在指定的等待周期之后开始。在特定具体实施中，高级映射周期可在物理环境10中的至少一个区在初始映射周期中被表征之后开始。高级映射周期在附加过程中示出，包括：
过程P4：在一定周期内在麦克风阵列30处从物理环境10接收一组声学信号。在一些情况下，可根据系统设置(例如，根据用于扬声器系统20的工厂设置或用户定义的设置)来指定该周期。在一些示例中，该周期可持续约若干天至约若干周。该周期的长度还可由在麦克风阵列30处接收的可用数据(声学信号)的量来指示。例如，该高级映射周期可被配置为在从环境10收集到阈值量的声学数据之后结束。
过程P5：基于在该周期内接收的一组声学信号，表征物理环境10中的至少一个附加区(例如，附加区，诸如区D、E、F等，图1中未示出)或重新表征物理环境10中已经表征的区(诸如区A、B、C、图1)。
在高级映射周期之后的任何时间(或总而言之在另一时间)，连续映射周期可例如根据规定的计划表开始，或在指定的等待周期之后开始。在特定具体实施中，可以在重新表征物理环境10中的初始区(例如，区A、B、C)中的一个区之后或者在高级映射周期中表征附加区(例如，区D、E、F等)之后开始连续映射周期。连续映射周期在附加过程中示出，包括：
过程P6：在麦克风阵列30处从物理环境10连续地接收一组声学信号；和
过程P7：基于在连续映射周期期间连续接收的该组声学信号，重新表征物理环境10中的至少一个附加区(例如，区D、E、F等)或初始表征区(例如，区A、B、C)。
表征和重新表征物理环境10中的区的过程可以迭代地(并且在一些情况下连续地)执行，以生成和更新声学映射图100(在图4中被示出为循环)。在一些具体实施中，所收集的声学信号可由映射引擎90预处理，以便提高每个后续映射操作的效率。例如，声学信号中的完整组的声学特征可经受降维过程(例如，主分量分析(PCA)或独立分量分析(ICA))以使用较少数量的独立特征来表示环境10。在一些具体实施中，可针对由扬声器系统20中的其他部件收集的位置识别信息和视觉特性数据重复相同降维过程。降维是指机器学习或统计技术，其中将每个在高维空间中指定的多个数据集变换为较少维度的空间。变换可为线性的或非线性的，并且可包括例如主分量分析、因子分析、多维缩放、人工神经网络(具有比输入节点更少的输出)、自组织映射和k均值聚类分析。
返回图1，在特定具体实施中，控制系统60可执行生成声学映射图100的附加过程。例如，如本文所述，控制系统60可在麦克风阵列30处从物理环境10接收一组声学信号。控制系统60还可从该组接收到的声学信号中识别至少一个噪声源。示例性噪声源可包括真空清洁器、加热/通风/空调(HVAC)单元、食物处理器等。控制系统60可将该组接收到的声学信号与所连接的库190中的存储的噪声签名180进行比较，以便识别指示声学信号属于噪声源的匹配。响应于识别噪声源，控制系统60可创建麦克风阵列滤波器200，该麦克风阵列滤波器被配置为至少部分地拒绝噪声源。在创建麦克风阵列滤波器200之后，控制系统60可将麦克风阵列滤波器200存储在库190中和/或DSP 150中。
在特定具体实施中，创建该组麦克风阵列滤波器200包括根据频率或振幅中的至少一者对该组接收到的声学信号进行分类，以及将用于修改麦克风阵列30上的增益的控制指令与该组分类的接收到的声学信号相关联。例如，麦克风阵列滤波器200可包括频率相关滤波器，该频率相关滤波器被选择为针对一个或多个噪声源敲除(干扰)沿着特定频谱的频率。
应当理解，库190可以是作为控制系统60的一个或多个部分的公共地理位置中的本地库，或者可以是至少部分地存储在不同位置中或基于云的服务器中的远程库。库190可包括常规存储设备诸如存储器，或者可包括如本文所述的分布式和/或基于云的存储设备。还应当理解，库190可包括用于来自不同用户、简档和/或环境的多个噪声源的多个麦克风阵列滤波器200。在这种意义上，库190可存储适用于特定用户50、简档或环境的麦克风阵列滤波器200，但也可存储可由不同用户50、简档或其他环境(例如，其中噪声源是多个用户50、简档和/或环境共有的环境)使用的麦克风阵列滤波器200。
在各种具体实施中，库190可包括关系数据库，该关系数据库包括麦克风阵列滤波器200与来自所识别的噪声源样本的声学信号之间的关系。在一些情况下，库190还可包括噪声源的文本索引，例如具有预设或用户可定义的类别。这可允许用户(例如，响应于提示)诸如通过从菜单(例如，在用户界面中或在控制系统60处提供)选择源的类型来提供关于噪声源的类型的信息。控制系统60还可包括学习引擎(例如，机器学习/人工智能部件，诸如人工神经网络)，该学习引擎被配置为学习例如从一组用户的噪声源(例如，洗衣机或真空清洁器)中选择的源的类型。
在另外的具体实施中，响应于检测到来自所识别的噪声源的声学信号，扬声器系统20被配置为根据所存储的麦克风滤波器200来修改麦克风阵列30的方向。在特定具体实施中，控制系统60(经由DSP 150)被配置为在麦克风阵列30处从用户50接收语音命令输入170时或者在换能器80处传输声学输出信号时应用麦克风阵列滤波器200。在多个特定具体实施中，在麦克风阵列30处接收来自用户的语音命令输入170的同时应用麦克风阵列滤波器200，以便增强接收到的语音命令输入170的清晰度。在实践中，应用麦克风阵列滤波器200可包括：在麦克风阵列30处接收声学噪声信号；将声学噪声信号与来自麦克风阵列滤波器200的库190中的所识别的至少一个噪声源的声学信号进行比较；以及响应于声学噪声信号匹配来自所识别的至少一个噪声源的声学信号而修改麦克风阵列30上的增益。在各种特定具体实施中，即使当用户50未提供语音命令输入170时，也修改麦克风增益。即，麦克风阵列30上的增益可被修改以增强唤醒单词(或短语)识别，使得扬声器系统20在接收来自用户50的语音命令输入170之前根据声学映射图100来应用麦克风阵列滤波器200。
如本文所述，DSP 150可被配置为将音频噪声信号与存储在库190中的噪声源样本进行比较，并且响应于音频噪声信号匹配那些噪声源样本中的至少一个噪声源样本来修改麦克风阵列30上的增益。具体地讲，控制系统60可利用DSP 150来修改麦克风阵列30的增益和方向，以便敲除(干扰)来自噪声源的噪声。
在另外的具体实施中，声学映射图100可以考虑噪声源在物理环境10中的位置，以及物理环境10中的频繁语音命令位置。即，类似于识别环境10内的噪声源，扬声器系统20进一步被配置为检测那些噪声源的位置和/或频繁的语音命令位置(例如，用户50从其提供语音命令的位置)。控制系统(具有DSP 150)可创建附加麦克风阵列滤波器200，该附加麦克风阵列滤波器被配置为至少部分地拒绝其识别位置中的噪声源，并且/或者增强对来自该频繁语音命令位置的语音命令输入的检测。如本文所述，在接收来自用户50的语音命令输入170之前，这些附加麦克风阵列滤波器200可被应用于例如唤醒单词(或短语)检测。在一些示例性具体实施中，频繁语音命令位置可包括房间内(例如，在沙发或椅子上)的一个或多个座位，或用户聚集的公共区域(例如，在厨房岛周围)。这些频繁语音命令位置可位于与噪声源(例如，电视或洗碗机)相同或相邻的区内。麦克风阵列滤波器200可被配置为修改阵列30中的一个或多个麦克风40上的增益，以便增强来自频繁语音命令位置的声学接收，同时减少来自噪声源位置的声学接收。
在特定具体实施中，控制系统60可通过允许用户50输入关于扬声器系统20的识别(ID)信息210(例如，经由用户界面220或经由软件应用程序，诸如连接的智能设备上可访问的可下载应用程序)来增强一个或多个映射周期。例如，控制系统60可被配置为接收关于扬声器系统20的用户输入的识别信息210，并且基于该用户输入的识别信息210更新环境10的声学映射图100。在一些特定示例中，用户输入的识别信息210可包括扬声器系统20的名称、昵称或位置名称。在这些情况下，控制系统60可以提示用户50在将扬声器系统20连接到例如无线网络或电源，或连接到所链接的账户(诸如基于云的账户或流式内容账户)时输入识别信息210。识别信息210可用于确定扬声器系统20在环境中的位置或可能位置。例如，当用户50将扬声器系统识别为“厨房”时，控制系统60可被配置为应用所存储的麦克风阵列滤波器200，以用于根据通常存在于厨房(例如，洗碗机、搅拌机或微波炉)中的噪声源来修改麦克风40上的增益。另外，控制系统60可被配置为执行本文所述的映射过程，其中对通常存在于厨房中的噪声源进行加权。在一些示例中，控制系统60包括基于规则的引擎，用于基于识别信息210(例如，基于用户50的姓名、噪声分布或来自用户50的另一输入)确定要应用的特定麦克风阵列滤波器200。在特定示例中，关于扬声器系统20的识别信息210可包括诸如“办公室”、“后院”或“健身房”之类的名称，并且可允许控制系统60预先选择可能的滤波器以用于应用，例如用于电话、风或运动设备。
在另外的具体实施中，控制系统60进一步被配置为提示用户50关于声学映射图100的语音反馈输入(例如，类似于语音命令170)。在这些情况下，提示可包括经由换能器80提供的音频提示和/或在扬声器系统20或另一个连接的设备(例如，智能设备)处提供的视觉提示、触觉提示或其他提示。音频提示可向用户50请求关于声学映射图100的特性的反馈。在一些情况下，音频提示可要求用户从环境10中的一个或多个位置提供语音反馈，诸如“站在或坐在你通常在这个房间中花费时间的位置，以及…重复你喜欢的短语(或者，唱你喜欢的歌曲，或者提供其他语音命令)”。控制系统60可接收从用户50(例如，在麦克风阵列30处)接收语音反馈输入，并且基于该语音反馈输入来更新声学映射图100。在一些情况下，控制系统60被配置为利用语音反馈输入的内容(例如，“是”或“否”答案)以及该语音反馈输入的质量(例如，一个或多个噪声源或声学干扰的存在)以便更新环境10的声学映射图100。在一些另外的具体实施中，控制系统60可以迭代地请求语音反馈并处理那些语音反馈输入，以在给定周期内进一步细化声学映射图100。
在其他情况下，扬声器系统20被配置为与用户50进行交互，以便对噪声源进行采样并创建定制的麦克风阵列滤波器200以用于随后中和那些类型的噪声。扬声器系统20可向用户50或其他系统控制(例如，用于连接的设备诸如器具或娱乐设备的控制系统)提供提示，以便对噪声源(例如，家庭、办公室或其他环境中的常见噪声源)进行采样，并且可针对那些噪声在声学映射图100中创建和存储特定麦克风阵列滤波器200以供稍后实现。应当理解，术语“用户提示”可能不需要人类用户启动噪声采样过程。例如，在一些情况下，“用户”可以是被配置为响应于提示而启动噪声源的机器人用户、人工智能(AI)系统或控制系统。在任何情况下，扬声器系统20可被配置为通过对特定噪声信号进行滤波来增强麦克风阵列30处的音频信号质量。
在另外的具体实施中，如本文所述，扬声器系统200可包括便携式扬声器系统，诸如便携式智能扬声器或个人音频设备。在这些情况下，扬声器系统20(例如，使用位置跟踪系统120)被配置为检测扬声器系统20从第一物理位置到第二物理位置的移动。在一些情况下，位置跟踪系统120被配置为通过检测扬声器系统20在一定周期内大于移动阈值的移动来检测扬声器系统20从第一物理位置到第二物理位置的移动。例如，移动阈值可被指定为足以修改扬声器系统20的声学特性的移动量(例如，阈值距离的平移、阈值距离的高度变化、阈值角度的旋转)。该阈值可与移动周期(例如，大于若干秒或若干分钟)相关联，以便避免在扬声器系统20仅出于临时目的(例如，清洁、充电等)而移动时重新映射扬声器系统20周围的环境。在一些情况下，移动阈值通过以各项下中的至少一项的变化来测量：扬声器系统20的电源的位置(例如，电源从第一电源位置到第二电源位置的变化)、扬声器系统的取向(例如，特定度数的旋转或倾斜)、扬声器系统的位置(例如，一定量的平移或高度变化)、与至少一个通信网络的接近度(例如，与WiFi接入点或其他通信集线器的接近度)或与至少一个其他连接的电子设备(例如，蓝牙或WiFi连接的设备)的接近度。
响应于检测到扬声器系统20从第一物理位置到第二物理位置的移动，控制系统60可生成更新的声学映射图100，该更新的声学映射图包括对在第二物理位置处靠近扬声器系统20的物理环境的声学描述。该过程可以以与生成用于第一物理位置的初始声学映射图100类似的方式执行。与在第一物理位置中生成扬声器系统20的初始声学映射图100一样，在生成更新的声学映射图100之后，控制系统20可在麦克风阵列30处接收后续语音命令输入170之前将麦克风阵列聚焦在基于更新的声学映射图100的更新的方向上。即，控制系统20可被配置为针对第二物理位置重复映射过程(过程P1至P6)，以便更新声学映射图100并基于该更新的映射图聚焦麦克风阵列30。
在一些特定具体实施中，在扬声器系统20移动到另一个位置的情况下，控制系统60被配置为在生成更新的声学映射图的同时使麦克风阵列30保持聚焦在基于声学映射图100的原始聚焦方向上。在这些示例性具体实施中，位置跟踪系统120被配置为确定扬声器系统20的取向，并且控制系统60被配置为在执行更新的声学映射过程的同时使用该取向信息连同来自声学映射图100的数据来保持麦克风阵列30的原始(相对)聚焦方向。
在特定具体实施中，位置跟踪系统120可确定扬声器系统20是否已经移动超过环境10，使得声学映射图100的一个或多个特性适用于(或不适用于)更新的位置。在一些情况下，在位置跟踪系统120确定扬声器系统20尚未移动超过环境10的情况下，控制系统60可利用声学映射图100的一个或多个部分来将麦克风阵列30聚焦在更新的位置处。
扬声器系统20的附加具体实施可利用来自外部设备230的数据输入，该外部设备包括例如一个或多个个人音频设备、智能设备(例如，智能可穿戴设备、智能电话)、网络连接设备(例如，智能器具)或其他非人类用户(例如，虚拟个人助理、机器人助理设备)。外部设备230可配备有向控制系统60提供关于环境10的声学映射图100的附加信息的各种数据收集机构。例如，外部设备230可提供关于一个或多个用户50在环境10中的位置、一个或多个声学上重要的对象在环境(例如，沙发、书桌或墙壁)中的位置或者高与低交通位置的数据。另外，外部设备230可提供关于一个或多个噪声源的识别信息，诸如关于特定电视、洗碗机或浓缩咖啡机的品牌或型号的图像数据。外部设备230诸如信标或其他智能设备的示例在美国专利申请号15/687961中有所描述，该专利申请据此全文以引用方式并入。
图5示出了根据各种具体实施形成的示例性声学映射图500的示意图。如图所示，声学映射图500描绘了由四个墙壁520限定的房间510的顶视图。部件A是扬声器系统，诸如扬声器系统20(图1)。部件B是墙壁520中的一个墙壁内或其后的噪声源。部件C是房间510中的噪声源。位置D、E、F和G指示用户(例如，用户50，图1)先前已经接合扬声器系统的语音接口的位置，如扬声器系统(A)所识别的。
区1是噪声源(例如，噪声源(B))占主导的方向(相对于扬声器系统(A))，以及扬声器系统(A)可减小来自麦克风阵列(例如，麦克风阵列30，图1)的增益的方向。区2是相对于扬声器系统(A)的方向，其中有时发起用户命令，并且扬声器系统(A)可使用来自麦克风阵列的默认增益或增加的增益，以便维持或改善该区中的语音命令的准确性。区3是相对于扬声器系统(A)的方向，其中频繁发起用户命令，并且扬声器系统(A)可使用来自麦克风阵列的默认增益或增加的增益，以便保持或改善该区中的语音命令的准确性。在其中区3是具有语音命令的较高检测频率的方向的一些情况下(例如，当与区2相比时)，区3的增加的增益可高于区2的增加的增益。该增益差可根据规定的阈值来设置，诸如来自特定区的语音命令的频率和/或从特定区接收的语音命令的分贝等级。在图5中的声学映射图500的示例中，这些频率可通过区中的多个位置(例如，区3中的三个位置E、F、G与区2中的一个位置D)来区分，或者通过区中的特定位置的大小(例如，其中频率被描绘为每个显示或以其他方式指示的位置中的大小差)来区分。区4是相对于扬声器系统(A)的没有任何已知噪声源或用户交互的方向(例如，在没有噪声源的墙壁520的方向上)。在区4中，扬声器系统(A)可在麦克风阵列30(图1)上使用默认增益或减小的增益。该示例性声学映射图500仅旨在示出扬声器系统(例如，扬声器系统20，图1)可应用于控制麦克风阵列(例如，麦克风阵列30，图1)的一些一般规则。应当理解，各种附加控制规则可由扬声器系统应用，如根据本文的具体实施所描述的。
本文所述的功能或其部分，以及其各种修改(下文称为“功能”)可至少部分地经由计算机程序产品实现，例如在信息载体中有形实施的计算机程序，诸如一个或多个非暂态机器可读介质，用于执行，或控制一个或多个数据处理装置，例如可编程处理器、计算机、多个计算机和/或可编程逻辑部件的操作。
计算机程序可以任何形式的编程语言被写入，包括编译或解释语言，并且它可以任何形式部署，包括作为独立程序或作为模块、部件、子例程或适于用在计算环境中的其他单元。计算机程序可被部署在一个计算机上或在一个站点或多个站点分布以及通过网络互联的多个计算机上执行。
与实现全部或部分功能相关联的动作可由执行一个或多个计算机程序的一个或多个可编程处理器执行，以执行校准过程的功能。功能的全部或部分可被实现为专用目的逻辑电路，例如FPGA和/或ASIC(专用集成电路)。适用于执行计算机程序的处理器例如包括通用微处理器和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。一般来讲，处理器将接收来自只读存储器或随机存取存储器或两者的指令和数据。计算机的部件包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。
在各种具体实施中，被描述为彼此“耦接”的部件可沿一个或多个接口接合。在一些具体实施中，这些接口可包括不同部件之间的结合部，并且在其他情况下，这些接口可包括实心和/或一体形成的互连件。即，在一些情况下，可同时形成彼此“耦接”的部件以限定单个连续构件。然而，在其他具体实施中，这些耦接部件可形成为单独的构件，并且随后通过已知工艺(例如，焊接、紧固、超声焊接、粘结)接合。在各种具体实施中，被描述为“耦接”的电子部件可以经由常规的硬连线和/或无线装置链接，使得这些电子部件可以彼此传送数据。另外，给定部件内的子部件可被认为是经由常规路径链接的，这可能不一定被示出。
本文中未具体描述的其他实施方案也在以下权利要求书的范围内。本文所述的不同实施方式的元件可组合以形成上文未具体阐述的其他实施方案。可从本文所述的结构去除一些元件而不会不利地影响它们的操作。此外，可将各种独立的元件组合到一个或多个单独的元件中以执行本文所述的功能。

Claims (20)

1.一种控制扬声器系统中的麦克风阵列的计算机实现的方法，所述方法包括：
生成声学映射图，所述声学映射图包括对靠近所述扬声器系统的物理环境的声学描述；以及
在所述麦克风阵列处接收语音命令输入之前，将所述麦克风阵列聚焦在基于所述声学映射图的方向上；
其中生成所述声学映射图包括：
检测所述物理环境中的至少一个噪声源的位置；以及
创建麦克风阵列滤波器，所述麦克风阵列滤波器被配置为至少部分地拒绝所述至少一个噪声源。
2.根据权利要求1所述的计算机实现的方法，其中生成所述声学映射图包括初始映射周期、高级映射周期和连续映射周期中的至少一者，
其中所述初始映射周期包括：
将一组测试声学信号从所述扬声器系统中的换能器发送到所述物理环境中；
在所述麦克风阵列处从所述物理环境接收一组返回声学信号；以及
基于所述一组测试声学信号和所述一组返回声学信号之间的差异来表征所述物理环境中的至少一个区，
其中所述高级映射周期包括：
在一定周期内在所述麦克风阵列处从所述物理环境接收一组声学信号；以及
基于在所述一定周期内接收的所述一组声学信号来表征所述物理环境中的至少一个附加区或重新表征所述物理环境中的所述至少一个区，并且
其中所述连续映射周期包括：
在所述麦克风阵列处从所述物理环境连续地接收一组声学信号；以及
基于在所述连续映射周期期间连续接收的所述一组声学信号来重新表征所述物理环境中的所述至少一个附加区或所述至少一个区。
3.根据权利要求1所述的计算机实现的方法，其中所述至少一个噪声源通过以下来识别：
将接收到的一组声学信号与所连接的库中存储的噪声签名进行比较；并且
识别指示声学信号属于噪声源的匹配。
4.根据权利要求1所述的计算机实现的方法，还包括：
接收关于所述扬声器系统的用户输入的识别信息；以及
基于所述用户输入的识别信息更新所述物理环境的所述声学映射图。
5.根据权利要求1所述的计算机实现的方法，其中所述扬声器系统包括便携式扬声器系统，并且其中所述方法还包括：
检测所述扬声器系统从第一物理位置到第二物理位置的移动；
生成更新的声学映射图，所述更新的声学映射图包括对在所述第二物理位置处靠近所述扬声器系统的物理环境的声学描述；以及
在所述麦克风阵列处接收后续语音命令输入之前，将所述麦克风阵列聚焦在基于所述更新的声学映射图的更新的方向上。
6.根据权利要求5所述的计算机实现的方法，其中所述麦克风阵列保持聚焦在基于所述声学映射图的所述方向上，同时生成所述更新的声学映射图。
7.根据权利要求5所述的计算机实现的方法，其中检测所述扬声器系统从所述第一物理位置到所述第二物理位置的移动包括检测所述扬声器系统在一定周期内大于移动阈值的移动，所述移动阈值通过以下各项中的至少一项的变化来测量：用于所述扬声器系统的电源的位置、所述扬声器系统的取向、所述扬声器系统的位置、与至少一个通信网络的接近度和与至少一个其他连接的电子设备的接近度。
8.根据权利要求1所述的计算机实现的方法，还包括：
提示用户关于所述声学映射图的语音反馈输入；
在所述麦克风阵列处接收来自所述用户的所述语音反馈输入；以及
基于所接收到的语音反馈输入来更新所述物理环境的所述声学映射图。
9.一种扬声器系统，包括：
麦克风阵列；和
控制系统，所述控制系统与所述麦克风阵列连接，所述控制系统被编程为：
生成声学映射图，所述声学映射图包括对靠近所述扬声器系统的物理环境的声学描述；以及
在所述麦克风阵列处接收语音命令输入之前，将所述麦克风阵列聚焦在基于所述声学映射图的方向上；
其中生成所述声学映射图包括：
检测所述物理环境中的至少一个噪声源的位置；以及
创建麦克风阵列滤波器，所述麦克风阵列滤波器被配置为至少部分地拒绝所述至少一个噪声源。
10.根据权利要求9所述的扬声器系统，其中生成所述声学映射图包括初始映射周期、高级映射周期和连续映射周期中的至少一者，其中所述扬声器系统还包括与所述控制系统连接的换能器，
其中所述初始映射周期包括：
将一组测试声学信号从所述换能器发送到所述物理环境中；
在所述麦克风阵列处从所述物理环境接收一组返回声学信号；以及
基于所述一组测试声学信号和所述一组返回声学信号之间的差异来表征所述物理环境中的至少一个区，
其中所述高级映射周期包括：
在一定周期内在所述麦克风阵列处从所述物理环境接收一组声学信号；以及
基于在所述一定周期内接收的所述一组声学信号来表征所述物理环境中的至少一个附加区或重新表征所述物理环境中的所述至少一个区，并且
其中所述连续映射周期包括：
在所述麦克风阵列处从所述物理环境连续地接收一组声学信号；以及
基于在所述连续映射周期期间连续接收的所述一组声学信号来重新表征所述物理环境中的所述至少一个附加区或所述至少一个区。
11.根据权利要求9所述的扬声器系统，其中所述控制系统还被配置成通过以下来识别所述至少一个噪声源：
将接收到的一组声学信号与所连接的库中存储的噪声签名进行比较；并且
识别指示声学信号属于噪声源的匹配。
12.根据权利要求9所述的扬声器系统，其中所述控制系统进一步被配置为：
接收关于所述扬声器系统的用户输入的识别信息；以及
基于所述用户输入的识别信息更新所述物理环境的所述声学映射图。
13.根据权利要求9所述的扬声器系统，其中所述扬声器系统包括便携式扬声器系统，并且其中所述控制系统进一步被配置为：
检测所述扬声器系统从第一物理位置到第二物理位置的移动；
生成更新的声学映射图，所述更新的声学映射图包括对在所述第二物理位置处靠近所述扬声器系统的物理环境的声学描述；以及
在所述麦克风阵列处接收后续语音命令输入之前，将所述麦克风阵列聚焦在基于所述更新的声学映射图的更新的方向上，
其中所述麦克风阵列保持聚焦在基于所述声学映射图的所述方向上，同时生成所述更新的声学映射图。
14.根据权利要求13所述的扬声器系统，其中检测所述扬声器系统从所述第一物理位置到所述第二物理位置的移动包括检测所述扬声器系统在一定周期内大于移动阈值的移动，所述移动阈值通过以下各项中的至少一项的变化来测量：用于所述扬声器系统的电源的位置、所述扬声器系统的取向、所述扬声器系统的位置、与至少一个通信网络的接近度和与至少一个其他连接的电子设备的接近度。
15.根据权利要求9所述的扬声器系统，其中所述控制系统进一步被配置为：
提示用户关于所述声学映射图的语音反馈输入；
在所述麦克风阵列处接收来自所述用户的所述语音反馈输入；以及
基于所述接收到的语音反馈输入来更新所述物理环境的所述声学映射图。
16.根据权利要求9所述的扬声器系统，还包括与所述控制系统连接的换能器，其中所述换能器和所述麦克风阵列位于声学环境内的物理上分离的外壳中。
17.根据权利要求9所述的扬声器系统，其中生成所述声学映射图包括：
在所述麦克风阵列处从所述物理环境接收一组声学信号；
从接收到的所述一组声学信号中识别所述至少一个噪声源；以及
将所述麦克风阵列滤波器存储在麦克风阵列滤波器的库中。
18.根据权利要求17所述的扬声器系统，其中创建所述麦克风阵列滤波器包括根据频率和振幅中的至少一者对接收到的所述一组声学信号进行分类，以及将用于修改所述麦克风阵列上的增益的控制指令与经分类的所接收到的所述一组声学信号相关联。
19.根据权利要求17所述的扬声器系统，其中所述控制系统响应于检测到来自所识别的至少一个噪声源的所述声学信号而根据所存储的麦克风阵列滤波器修改所述麦克风阵列的所述方向。
20.根据权利要求17所述的扬声器系统，其中所述麦克风阵列滤波器的库包括关系数据库，所述关系数据库具有所述麦克风阵列滤波器与来自所识别的至少一个噪声源的所述声学信号之间的关系，其中所述控制系统被配置为在所述麦克风阵列处接收所述语音命令输入的同时应用所述麦克风阵列滤波器，其中应用所述麦克风阵列滤波器包括：
在所述麦克风阵列处接收声学噪声信号；
将所述声学噪声信号与来自所述麦克风阵列滤波器的库中的所识别的至少一个噪声源的所述声学信号进行比较；以及
响应于所述声学噪声信号匹配来自所识别的至少一个噪声源的所述声学信号而修改所述麦克风阵列上的增益。
CN201980027714.2A 2018-04-13 2019-04-11 麦克风阵列中的智能波束控制 Active CN112020864B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/952,920 US10524048B2 (en) 2018-04-13 2018-04-13 Intelligent beam steering in microphone array
US15/952,920 2018-04-13
PCT/US2019/026896 WO2019200038A1 (en) 2018-04-13 2019-04-11 Intelligent beam steering in microphone array

Publications (2)

Publication Number Publication Date
CN112020864A CN112020864A (zh) 2020-12-01
CN112020864B true CN112020864B (zh) 2022-08-30

Family

ID=66334555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980027714.2A Active CN112020864B (zh) 2018-04-13 2019-04-11 麦克风阵列中的智能波束控制

Country Status (5)

Country Link
US (2) US10524048B2 (zh)
EP (1) EP3777233A1 (zh)
JP (1) JP7119117B2 (zh)
CN (1) CN112020864B (zh)
WO (1) WO2019200038A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US11150869B2 (en) 2018-02-14 2021-10-19 International Business Machines Corporation Voice command filtering
KR102443052B1 (ko) * 2018-04-13 2022-09-14 삼성전자주식회사 공기 조화기 및 공기 조화기의 제어 방법
US11200890B2 (en) * 2018-05-01 2021-12-14 International Business Machines Corporation Distinguishing voice commands
US11238856B2 (en) 2018-05-01 2022-02-01 International Business Machines Corporation Ignoring trigger words in streamed media content
US10929099B2 (en) * 2018-11-02 2021-02-23 Bose Corporation Spatialized virtual personal assistant
US11048472B2 (en) 2019-01-27 2021-06-29 Listen AS Dynamically adjustable sound parameters
US11126398B2 (en) * 2019-03-13 2021-09-21 Listen AS Smart speaker
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
TWI752328B (zh) * 2019-06-28 2022-01-11 仁寶電腦工業股份有限公司 可拆式智慧音箱系統及其控制方法
US11355108B2 (en) 2019-08-20 2022-06-07 International Business Machines Corporation Distinguishing voice commands
US11094319B2 (en) 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US10827028B1 (en) 2019-09-05 2020-11-03 Spotify Ab Systems and methods for playing media content on a target device
US11557307B2 (en) 2019-10-20 2023-01-17 Listen AS User voice control system
US11483670B2 (en) * 2019-10-30 2022-10-25 Sonos, Inc. Systems and methods of providing spatial audio associated with a simulated environment
US11638111B2 (en) * 2019-11-01 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for classifying beamformed signals for binaural audio playback
US11039265B1 (en) * 2019-12-13 2021-06-15 Bose Corporation Spatialized audio assignment
US11328722B2 (en) 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
CN111754967A (zh) * 2020-05-11 2020-10-09 北京安声浩朗科技有限公司 噪声处理方法、装置、可移动设备、存储介质及电子设备
CN111986678B (zh) * 2020-09-03 2023-12-29 杭州蓦然认知科技有限公司 一种多路语音识别的语音采集方法、装置
US20220268925A1 (en) * 2021-02-23 2022-08-25 Google Llc Presence detection using ultrasonics and audible sound
US20220283774A1 (en) * 2021-03-03 2022-09-08 Shure Acquisition Holdings, Inc. Systems and methods for noise field mapping using beamforming microphone array
CN113077802B (zh) * 2021-03-16 2023-10-24 联想(北京)有限公司 一种信息处理方法和装置
US11741982B2 (en) * 2021-10-05 2023-08-29 Dell Products L.P. Contextual beamforming to improve signal-to-noise ratio sensitive audio input processing efficiency in noisy environments
CN114915875B (zh) * 2022-07-18 2022-10-21 南京航空航天大学 一种可调波束形成方法、电子设备及存储介质
US11937047B1 (en) * 2023-08-04 2024-03-19 Chromatic Inc. Ear-worn device with neural network for noise reduction and/or spatial focusing using multiple input audio signals

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
EP1184676B1 (en) * 2000-09-02 2004-05-06 Nokia Corporation System and method for processing a signal being emitted from a target signal source into a noisy environment
AT410597B (de) * 2000-12-04 2003-06-25 Vatter Acoustic Technologies V Verfahren, computersystem und computerprodukt zur messung akustischer raumeigenschaften
US8073157B2 (en) * 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7039199B2 (en) * 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US7720212B1 (en) * 2004-07-29 2010-05-18 Hewlett-Packard Development Company, L.P. Spatial audio conferencing system
US7970150B2 (en) * 2005-04-29 2011-06-28 Lifesize Communications, Inc. Tracking talkers using virtual broadside scan and directed beams
US7970123B2 (en) * 2005-10-20 2011-06-28 Mitel Networks Corporation Adaptive coupling equalization in beamforming-based communication systems
US8135143B2 (en) * 2005-11-15 2012-03-13 Yamaha Corporation Remote conference apparatus and sound emitting/collecting apparatus
JP2007329702A (ja) * 2006-06-08 2007-12-20 Toyota Motor Corp 受音装置と音声認識装置とそれらを搭載している可動体
EP1983799B1 (en) 2007-04-17 2010-07-07 Harman Becker Automotive Systems GmbH Acoustic localization of a speaker
US8831936B2 (en) * 2008-05-29 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement
EP2197219B1 (en) * 2008-12-12 2012-10-24 Nuance Communications, Inc. Method for determining a time delay for time delay compensation
US9015612B2 (en) * 2010-11-09 2015-04-21 Sony Corporation Virtual room form maker
US10726861B2 (en) * 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9264553B2 (en) * 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
RU2611563C2 (ru) * 2012-01-17 2017-02-28 Конинклейке Филипс Н.В. Оценка положения источника звука
US20130329908A1 (en) * 2012-06-08 2013-12-12 Apple Inc. Adjusting audio beamforming settings based on system state
US8885815B1 (en) * 2012-06-25 2014-11-11 Rawles Llc Null-forming techniques to improve acoustic echo cancellation
US9615172B2 (en) * 2012-10-04 2017-04-04 Siemens Aktiengesellschaft Broadband sensor location selection using convex optimization in very large scale arrays
JP6250297B2 (ja) * 2013-04-15 2017-12-20 シャープ株式会社 音声入力装置、および画像表示装置
JP6352259B2 (ja) * 2013-06-27 2018-07-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、及び、制御方法
US9640179B1 (en) * 2013-06-27 2017-05-02 Amazon Technologies, Inc. Tailoring beamforming techniques to environments
US9565497B2 (en) * 2013-08-01 2017-02-07 Caavo Inc. Enhancing audio using a mobile device
US9319532B2 (en) * 2013-08-15 2016-04-19 Cisco Technology, Inc. Acoustic echo cancellation for audio system with bring your own devices (BYOD)
WO2015029296A1 (ja) * 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声認識方法及び音声認識装置
AU2014353473C1 (en) * 2013-11-22 2018-04-05 Apple Inc. Handsfree beam pattern configuration
US9532131B2 (en) * 2014-02-21 2016-12-27 Apple Inc. System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
US9530407B2 (en) 2014-06-11 2016-12-27 Honeywell International Inc. Spatial audio database based noise discrimination
US20160071526A1 (en) * 2014-09-09 2016-03-10 Analog Devices, Inc. Acoustic source tracking and selection
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9369186B1 (en) * 2014-12-04 2016-06-14 Cisco Technology, Inc. Utilizing mobile devices in physical proximity to create an ad-hoc microphone array
US10334390B2 (en) * 2015-05-06 2019-06-25 Idan BAKISH Method and system for acoustic source enhancement using acoustic sensor array
CN106297809A (zh) * 2015-05-29 2017-01-04 杜比实验室特许公司 基于远端用户控制的音频信号处理
US10255285B2 (en) 2015-08-31 2019-04-09 Bose Corporation Predicting acoustic features for geographic locations
JP6625383B2 (ja) * 2015-09-18 2019-12-25 株式会社ディーアンドエムホールディングス コンピュータで読み取り可能なプログラム、オーディオコントローラ、およびワイヤレスオーディオシステム
JP6551155B2 (ja) * 2015-10-28 2019-07-31 株式会社リコー 通信システム、通信装置、通信方法およびプログラム
US20170134853A1 (en) * 2015-11-09 2017-05-11 Stretch Tech Llc Compact sound location microphone
US9947316B2 (en) * 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10063965B2 (en) * 2016-06-01 2018-08-28 Google Llc Sound source estimation using neural networks
US10482899B2 (en) * 2016-08-01 2019-11-19 Apple Inc. Coordination of beamformers for noise estimation and noise suppression
US10409548B2 (en) * 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources
US10170134B2 (en) * 2017-02-21 2019-01-01 Intel IP Corporation Method and system of acoustic dereverberation factoring the actual non-ideal acoustic environment
US10074356B1 (en) * 2017-03-09 2018-09-11 Plantronics, Inc. Centralized control of multiple active noise cancellation devices
US11183181B2 (en) * 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10297267B2 (en) * 2017-05-15 2019-05-21 Cirrus Logic, Inc. Dual microphone voice processing for headsets with variable microphone array orientation
US9866308B1 (en) 2017-07-27 2018-01-09 Quantenna Communications, Inc. Composite WiFi and acoustic spatial diagnostics for smart home management
US10580411B2 (en) * 2017-09-25 2020-03-03 Cirrus Logic, Inc. Talker change detection

Also Published As

Publication number Publication date
JP7119117B2 (ja) 2022-08-16
US20200092644A1 (en) 2020-03-19
WO2019200038A1 (en) 2019-10-17
JP2021520141A (ja) 2021-08-12
CN112020864A (zh) 2020-12-01
US10721560B2 (en) 2020-07-21
EP3777233A1 (en) 2021-02-17
US20190320260A1 (en) 2019-10-17
US10524048B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
CN112020864B (zh) 麦克风阵列中的智能波束控制
US11089402B2 (en) Conversation assistance audio device control
US20200137487A1 (en) User-controlled beam steering in microphone array
US10817251B2 (en) Dynamic capability demonstration in wearable audio device
US11809775B2 (en) Conversation assistance audio device personalization
CN105679302B (zh) 定向声音修改
CN110035366A (zh) 配置成定位目标声源的听力系统
US20220408180A1 (en) Sound source localization with co-located sensor elements
US10922044B2 (en) Wearable audio device capability demonstration
CN107465970B (zh) 用于语音通信的设备
US11438710B2 (en) Contextual guidance for hearing aid
JP2017011699A (ja) 能力に基づく補聴器のｉｎ ｓｉｔｕ最適化
CN115996349A (zh) 包括反馈控制系统的听力装置
KR20200036203A (ko) 레이더 기반 음성 인식 서비스 장치 및 방법
Noura et al. VOISMA: Indoor Location Identification for Voice-based Smart Home
CN117958654A (zh) 一种清洁机器人及其语音控制方法、装置
Firoozabadi et al. Evaluation of localization precision by proposed quasi-spherical nested microphone array in combination with multiresolution adaptive steered response power

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant