CN104244143B - 位置引导声学阵列和波束形成方法 - Google Patents

位置引导声学阵列和波束形成方法 Download PDF

Info

Publication number
CN104244143B
CN104244143B CN201310747323.2A CN201310747323A CN104244143B CN 104244143 B CN104244143 B CN 104244143B CN 201310747323 A CN201310747323 A CN 201310747323A CN 104244143 B CN104244143 B CN 104244143B
Authority
CN
China
Prior art keywords
occupant
signal
wave
sound
speaking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310747323.2A
Other languages
English (en)
Other versions
CN104244143A (zh
Inventor
E.茨尔克尔-汉科克
I.比利克
M.莱芬菲尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN104244143A publication Critical patent/CN104244143A/zh
Application granted granted Critical
Publication of CN104244143B publication Critical patent/CN104244143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明涉及位置引导声学阵列和波束形成方法。方法和系统被提供来用于接收所需的声音。所述系统包括：位置传感器，其被构造成用以确定正在进行说话的乘员在被限定空间内的乘员位置，并发射说话乘员位置。多个麦克风被构造成用以接收来自被限定空间内的声音，并发射与被接收的声音相对应的音频信号。与位置传感器和麦克风通信的处理器被构造成用以接收说话乘员位置和音频信号，向音频信号应用波束形成器来引导麦克风波束朝向乘员位置，并生成波束形成器输出信号。

Description

位置引导声学阵列和波束形成方法
技术领域
本技术领域主要涉及声学阵列(acoustic array)和波束形成(beamforming)方法，并且更特别地涉及以声学阵列来增强语音的波束形成系统和方法。
背景技术
比如汽车等现代交通工具通常利用语音识别处理来接受来自驾驶员或其它乘员的可听见输入和指令。例如，人可以使用可听见指令来选择娱乐选项或参与移动电话对话。
交通工具中的语音识别性能可能受到噪声或其它扰动的负面影响。例如，发动机噪声、道路噪声、风噪声和/或娱乐装置可能产生噪声，其干扰语音识别系统用以恰当地解释说话者的可听见输入和指令的能力。虽然已经在现有技术中尝试一些技术来降低这类扰动，但是它们通常不足够牢固以适应于声学状态例如通常发生在汽车中的噪声的快速改变。
因此，希望的是提供系统和技术来限制非所需噪声和扰动在音频信号中的影响。更进一步，从后续详细描述和所附权利要求书，结合附图和前述技术领域和背景技术来理解，本发明的其它所需特征和特性将变得清楚明了。
发明内容
用于接收所需声音的适应性(adaptive)波束形成方法被提供。在一个实施例中，所述方法包括：确定正在进行说话的乘员在被限定空间内的乘员位置。所述方法还包括：以多个麦克风接收来自所述被限定空间内的声音。与在所述多个麦克风中的每个处的被接收声音相对应的多个音频信号被生成。所述方法还包括：向音频信号应用波束形成器，来引导麦克风波束朝向所确定的乘员位置，并生成波束形成器输出信号。
一种系统被提供来用于接收所需声音。在一个实施例中，所述系统包括：位置传感器，其被构造成用以确定正在进行说话的乘员在被限定空间内的乘员位置，并发射说话乘员位置。多个麦克风被构造成用以接收来自被限定空间内的声音，并发射与被接收的声音相对应的音频信号。所述系统进一步包括：与位置传感器和麦克风通信的处理器。处理器被构造成用以接收说话乘员位置和音频信号，向音频信号应用波束形成器来引导麦克风波束朝向乘员位置，并生成波束形成器输出信号。
本发明还提供以下技术方案：
1. 一种用于接收所需声音的适应性波束形成方法，所述方法包括：
确定正在进行说话的乘员在被限定空间内的乘员位置；
以多个麦克风接收来自所述被限定空间内的声音；
生成与在所述多个麦克风中的每个处的被接收声音相对应的多个音频信号；以及
向音频信号应用波束形成器，来引导麦克风波束朝向所确定的乘员位置，并生成波束形成器输出信号。
2. 如技术方案1所述的方法，进一步包括：
向音频信号中的每个应用阻塞矩阵，来排除不与正在进行说话的乘员相关联的其它位置，并生成与音频信号中的每个相对应的多个阻塞矩阵输出信号；
向阻塞矩阵输出信号应用适应性噪声消除处理来生成适应性噪声消除输出信号；以及
合计波束形成器输出信号和适应性噪声消除输出信号来生成说话乘员输出信号。
3. 如技术方案1所述的方法，进一步包括：将所述说话乘员输出信号送至语音识别系统。
4. 如技术方案1所述的方法，进一步包括：将所述说话乘员输出信号送至电话通信系统。
5. 如技术方案1所述的方法，其中，确定乘员位置包括：
以多个发射器来发射处于超声波范围和射电频率(RF)范围中的至少一个中的波；
接收被反射的波；以及
分析与被发射和被反射的波相对应的信号来确定乘员位置。
6. 如技术方案1所述的方法，进一步包括：确定乘员正在进行说话。
7. 如技术方案6所述的方法，其中，确定乘员正在进行说话包括：通过搜索与被反射的波相对应的信号的时空和/或速率特征中的区别特征，来辨识正在进行说话的乘员的嘴部的运动。
8. 如技术方案1所述的方法，其中，确定乘员位置包括：分析来自至少一个座椅传感器的座椅传感器数据。
9. 一种用于接收所需声音的系统，所述系统包括：
位置传感器，被构造成用以确定正在进行说话的乘员在被限定空间内的乘员位置，并发射说话乘员位置；
多个麦克风，被构造成用以接收来自所述被限定空间内的声音，并发射与被接收的声音相对应的音频信号；和
处理器，与所述位置传感器和所述麦克风通信，并被构造成用以接收说话乘员位置和音频信号，向音频信号应用波束形成器来引导麦克风波束朝向所确定的乘员位置，并生成波束形成器输出信号。
10. 如技术方案9所述的系统，其中，所述处理器还被构造成用以：向音频信号中的每个应用阻塞矩阵，来排除不与正在进行说话的乘员相关联的其它位置，用以生成与音频信号中的每个相对应的多个阻塞矩阵输出信号；向阻塞矩阵输出信号应用适应性噪声消除处理来生成适应性噪声消除输出信号；以及合计波束形成器输出信号和适应性噪声消除输出信号来生成说话乘员输出信号。
11. 如技术方案9所述的系统，其中，所述位置传感器包括：
信号生成器；
多个超声波发射器，被电联接至所述信号生成器，并被构造成用以生成处于超声波范围中的声波；
多个超声波接收器，用于接收处于超声波范围中的被反射的声波，并生成与接收到的被反射的声波相对应的多个被接收信号；和
处理单元，被电联接至所述超声波接收器和所述处理器，并被构造成用以接收所述被接收信号，确定乘员位置，并将乘员位置提供至所述处理器。
12. 如技术方案11所述的系统，其中，所述位置传感器被构造成用以通过搜索与被反射的声波相对应的信号的时空和/或速率特征中的区别特征，来辨识正在进行说话的乘员的嘴部的运动。
13. 如技术方案9所述的系统，其中，所述位置传感器包括：
信号生成器；
多个RF发射器，被电联接至所述信号生成器，用于生成处于RF范围中的RF波；
多个RF接收器，用于接收处于RF范围中的被反射的RF波，并生成与接收到的被反射的RF波相对应的多个被接收信号；和
处理单元，被电联接至所述RF接收器和所述处理器，并被构造成用以接收所述被接收信号，确定乘员位置，并将乘员位置提供至所述处理器。
14. 如技术方案13所述的系统，其中，所述位置传感器被构造成用以通过搜索与被反射的RF波相对应的信号的时空和/或速率特征中的区别特征，来辨识正在进行说话的乘员的嘴部的运动。
15. 如技术方案9所述的系统，其中，所述位置传感器包括摄像头。
16. 一种交通工具，包括：
客室；
音频系统，其包括
位置传感器，被构造成用以确定正在进行说话的乘员在客室内的乘员位置，并发射说话乘员位置；
多个麦克风，被构造成用以接收来自被限定空间内的声音，并发射与被接收的声音相对应的音频信号；
处理器，与所述位置传感器和所述麦克风通信，并被构造成用以接收说话乘员位置和音频信号，向音频信号应用波束形成器来引导麦克风波束朝向乘员位置，并生成波束形成器输出信号，向音频信号中的每个应用阻塞矩阵来排除不与正在进行说话的乘员相关联的其它位置用以生成与音频信号中的每个相对应的多个阻塞矩阵输出信号，向阻塞矩阵输出信号应用适应性噪声消除处理来生成适应性噪声消除输出信号，以及合计波束形成器输出信号和适应性噪声消除输出信号来生成说话乘员输出信号；和
语音识别系统和电话通信系统中的至少一个，与所述音频系统通信用于接收所述说话乘员输出信号。
17. 如技术方案16所述的系统，其中，所述位置传感器包括：
信号生成器；
多个超声波发射器，被电联接至所述信号生成器，并被构造成用以生成处于超声波范围中的声波；
多个超声波接收器，用于接收处于超声波范围中的被反射的声波，并生成与接收到的被反射的声波相对应的多个被接收信号；和
处理单元，被电联接至所述超声波接收器和所述处理器，并被构造成用以接收所述被接收信号，确定乘员位置，并将乘员位置提供至所述处理器。
18. 如技术方案17所述的系统，其中，所述位置传感器被构造成用以通过搜索与被反射的声波相对应的信号的时空和/或速率特征中的区别特征，来辨识正在进行说话的乘员的嘴部的运动。
19. 如技术方案16所述的系统，其中，所述位置传感器包括：
信号生成器；
多个RF发射器，被电联接至所述信号生成器，用于生成处于RF范围中的RF波；
多个RF接收器，用于接收处于RF范围中的被反射的RF波，并生成与接收到的被反射的RF波相对应的多个被接收信号；和
处理单元，被电联接至所述RF接收器和所述处理器，并被构造成用以接收所述被接收信号，确定乘员位置，并将乘员位置提供至所述处理器。
20. 如技术方案19所述的系统，其中，所述位置传感器被构造成用以通过搜索与被反射的RF波相对应的信号的时空和/或速率特征中的区别特征，来辨识正在进行说话的乘员的嘴部的运动。
附图说明
下面将结合以下附图来描述示例性实施例，附图中相似附图标记表示相似要素，并且附图中：
图1是包括依据一示例性实施例的音频系统的交通工具的框图；
图2是依据第一示例性实施例的音频系统的位置传感器的框图；
图3是依据第二示例性实施例的音频系统的位置传感器的框图；
图4是依据第三示例性实施例的音频系统的位置传感器的框图；并且
图5是依据一示例性实施例的音频系统的处理器的框图。
具体实施方式
以下详细描述本质上仅仅是示例性的，并不旨在限制应用和用途。更进一步，没有意图被在前面的技术领域、背景技术、发明内容或以下详细描述中给出的任何明示或暗示的理论限制。
参考附图，其中相似附图标记在各图中指示相似零部件，具有用于接收所需声音的音频系统102的交通工具100在其中被示出。在本文中示出的示例性实施例中，交通工具100是汽车(未单独地编号)，并且音频系统102被联接至用于确定被说出的词语的语音识别系统104。然而，本文中描述的音频系统102和/或语音识别系统104可以被实施和/或利用在其它类型的交通工具100中或非交通工具应用中。例如，其它交通工具100可以包括但不限于航空器(未示出)。非交通工具应用包括但不限于工厂环境中的办公室(未示出)。更进一步，代替语音识别系统104，或除了语音识别系统104之外，音频系统102还可以被联接至电话通信系统105。电话通信系统105可以被利用来执行远程通信，例如通过蜂窝电话网络(未示出)。本领域技术人员将理解可以联接至音频系统102的其它系统。
参考图1，示例性实施例的交通工具100限定出被限定空间(defined space)106。具体地，在示例性实施例中，被限定空间106是交通工具100的客室(未单独地编号)。客室容纳一个或多个个体，即交通工具100的乘员，例如驾驶员和乘客。
音频系统102包括位置传感器108。位置传感器108被构造成用以确定乘员110在被限定空间106内的乘员位置。在示例性实施例中，位置传感器108被构造成用以确定每个乘员110的位置。也就是说，位置传感器108被构造成用以确定多个乘员110的多个乘员位置。因此，位置传感器108也可以确定乘员110的数量。例如，位置传感器108可以被利用来确定多个乘员110中的任一个的位置。然而，位置传感器108可以被构造成用以只确定一个乘员110的位置，例如交通工具100的驾驶员(未单独地编号)。为了可读性，以下描述可以论及单个乘员110。然而，这不应该以任何方式被解读成限制，因为示例性实施例的位置传感器108可以被构造成用以传感多个乘员110的位置。
位置传感器108可以被构造成用以在音频系统102处于操作中的任何时间重复地和/或连续地确定乘员110的位置。这样，随着乘员110改变在被限定空间106内的位置，每个乘员110的位置可以被更新。
更具体地，位置传感器108被构造成用以传感乘员110的头部的位置。更更具体地，位置传感器108被构造成用以传感乘员110的嘴部的位置。这样，如以下使用的乘员位置可以被视为交通工具100的乘员110的嘴部的位置。
更进一步，并且如下面以更详细的细节所描述的，下面描述的示例性实施例中的至少一个的位置传感器108还被构造成用以确定是哪个乘员110在进行说话。换种方式说，位置传感器108可以被构造成用以确定是哪个乘员110在讲话。再换种方式说，位置传感器108可以被构造成用以确定每个乘员110的唇部/嘴部是否在移动。
在第一示例性实施例中，位置传感器108利用超声波范围中的声波来确定交通工具100的乘员110的位置。这样，在该范围中的声波处于一般人类听力的范围之外，因此将不会使乘员分心，并且不应该造成隐私忧虑。因此，位置传感器108可以被称为超声波位置传感器(未单独地编号)。
现在参考图2，第一示例性实施例的位置传感器108包括信号生成器200。信号生成器200可以被构造成用以生成高电压连续波(“CW”)信号和/或多个高电压脉冲。其它类型的信号可以替代地由信号生成器200生成，如本领域技术人员所理解的。多个超声波发射器202被电联接至信号生成器200。通常被称为发射变换器(transmitting transducer)的超声波发射器202生成处于超声波范围中的声波。由超声波发射器202生成的声波对应于由信号生成器200生成的信号，并且可以被形成波束用以沿特定方向传播或是全向的。具体地，在第一示例性实施例中，声波具有大约100千赫(“kHz”)的中心频率和大约25kHz的有效带宽。当然，本领域技术人员将意识到用于处于超声波范围中的声波的其它适当频率。
声波反射离开包括乘员110在内的设置在被限定空间106中的物体。示例性实施例的位置传感器108进一步包括用于接收这些被反射的声波的多个超声波接收器204。具体地，在示例性实施例中，大约16个超声波接收器204被利用来接收被反射的声波；然而，也可以采用不同数量的超声波接收器204。通常被称为变换器接收器的超声波接收器204生成对应于被接收到的反射声波的多个被接收信号。
尽管超声波发射器202和接收器204的以上描述可能暗示单独的装置，但是超声波发射器202和接收器204可以被组合成一个或多个收发器(未示出)，如本领域技术人员所理解的。
继续参考图2，位置传感器108还包括与超声波接收器204通信的处理单元206。处理单元206接收来自超声波接收器204的被接收信号，并且被构造成用以确定交通工具100的乘员110的位置以及乘员110的数量。更具体地，在第一示例性实施例中，处理单元206被构造成用以确定交通工具100的乘员110的嘴部的位置。
处理单元206可以被构造成用以调节、过滤、解调、和/或取样由超声波接收器204接收到的被反射信号，用以生成被处理信号。具体地，第一示例性实施例的处理单元206包括联接至超声波接收器204的调节电路208、联接至调节电路208的模拟到数字转换器(“ADC”)210和联接至ADC 210的微处理器212。然而，处理单元206的具体设计参数可以变化，如本领域技术人员所了解的。
微处理器212也可以被利用来辨识乘员110的嘴部的运动，其可以指示乘员110在进行说话。也就是说，微处理器212被构造成用以确定乘员110在进行说话以及该乘员110的位置。具体地，被处理信号可以进一步被处理，用以搜索指示嘴部移动的时空和速率(基于多普勒)区别特征，从而搜索乘员110在说话的指示。例如，对于以100Khz为中心的超声波来说，10cm/秒的唇部移动可以生成约300Hz的多普勒频移。这些与头部移动相比的相对较高的速度可指示说话动作。
处理单元206也可以与信号生成器206通信。更具体地，微处理器212可以与信号生成器206通信，用以控制信号生成器206的操作。更更具体地，信号生成器206可以被控制用以执行定位传感器视野的扫描、对脉冲发射的定时、和同步向接收器204的发射。
在第二示例性实施例中，位置传感器108利用处于RF范围中的射电频率(“RF”)波来确定交通工具100的乘员110的位置。换种方式说，位置传感器108可以利用雷达(radar)来确定乘员110的位置。这类RF波是看不见或听不到的，因此将不会使乘员分心，并且不应该造成隐私忧虑。因此，位置传感器108可以被称为RF位置传感器(未单独地编号)或雷达位置传感器。
现在参考图3，第二示例性实施例的位置传感器108包括信号生成器200。多个RF发射器302被电联接至信号生成器200。通常被称为发射器的RF发射器302生成RF波。由RF发射器302生成的RF波对应于由信号生成器200生成的信号。第二示例性实施例的位置传感器108可以利用线性频率调制(“LFM”)CW信号或超宽带(“UWB”)脉冲信号。这类信号，其在毫瓦(“mW”)级的发射功率具有大约4千兆赫(“GHz”)的带宽，将能够实现大约4厘米(“cm”)的分辨率。当然，本领域技术人员将意识到其它适当的构造。
RF波反射离开包括乘员110在内的设置在被限定空间106中的物体。第二示例性实施例的位置传感器108进一步包括用于接收这些被反射的RF波的多个RF接收器304。通常被称为变换器接收器的RF接收器304生成对应于被接收到的反射RF波的多个被接收信号。
尽管RF发射器302和接收器304的以上描述可能暗示单独的装置，但是RF发射器302和接收器304可以被组合成一个或多个收发器(未示出)，如本领域技术人员所理解的。
继续参考图3，位置传感器108还包括被电联接至RF接收器304的处理单元206。处理单元206接收来自超声波接收器204的被接收信号，并且被构造成用以确定交通工具100的乘员110的位置以及乘员110的数量。更具体地，在第二示例性实施例中，处理单元206被构造成用以确定乘员110的嘴部的位置。所示实施例的处理单元206包括联接至RF接收器204的调节电路208、联接至调节电路208的ADC 210和联接至ADC 210的微处理器212。然而，处理单元206的具体设计参数可以变化，如本领域技术人员所了解的。
与第一示例性实施例一样，第二示例性实施例的处理单元206也可以与信号生成器206通信。更具体地，微处理器212可以与信号生成器206通信，用以控制信号生成器206的操作。更更具体地，信号生成器206可以被控制用以执行定位传感器视野的扫描、对脉冲发射的定时、和同步向接收器304的发射。
在另一示例性实施例中(未示出)，位置传感器108利用红外波来确定交通工具的乘员的位置。例如，位置传感器108可以包括具有红外光源(未示出)的摄像头(未示出)。
在如图4中示出的第三示例性实施例中，位置传感器108可以包括一个或多个座椅传感器400。座椅传感器400可以被设置在交通工具100的座椅(未示出)中，用以检测乘员110的存在。在第三示例性实施例中，座椅传感器400可以测量乘员110在座椅之一中坐下时发生的压力变化。然而，本领域技术人员可以意识到用于实施座椅传感器400的其它技术。
座椅传感器400也可以与以上描述的超声波、雷达或摄像头构造协同使用。这样，座椅传感器400可以被利用在交通工具100的对雷达或摄像头构造隐蔽的区域中，或用以提供对由雷达或摄像头构造生成的位置的验证。更进一步，该第三示例性实施例的音频系统102也可以利用与座椅传感器400协同的人体测量数据，来确定乘员110的头部和/或嘴部的位置。例如，系统102可以获得乘员110特别是驾驶员的高度信息。通过该高度信息，与指示乘员110的存在的压力传感器数据和/或座椅位置数据组合，该实施例的系统102被构造成用以计算乘员110的嘴部的位置。
示例性实施例的处理单元206进一步被构造成用以发射各种数据，包括但不限于：在被限定空间中的乘员的数量、乘员的位置(即乘员位置)、和哪个乘员正在说话。
再次参考图1，音频系统100进一步包括多个麦克风112。每个麦克风112被构造成用以接收来自被限定空间内的声音。麦克风可以按几何方式例如按麦克风阵列定位在彼此相邻。然而，在另一些实施例中(未示出)，麦克风112可以按非几何方式分布。
音频系统100还包括处理器114。处理器114可以包括微处理器、微控制器、专用集成电路、和/或能够执行计算和/或执行程序或其它指令的其它适当的装置。处理器114与位置传感器108和麦克风112通信。这样，处理器114被构造成用以接收来自位置传感器108的乘员位置和其它数据以及来自麦克风112的音频信号。
现在参考图5，处理器114被构造成用以向从麦克风112接收到的音频信号应用波束形成器(beamformer)500。如本领域技术人员所理解的，波束形成是一种空间信号过滤技术，其能够通过修正阵列的每个麦克风112处的被接收信号的相位和振幅来控制信号的方向性。示例性实施例的波束形成器500被实施为处理器114中的软件，而不是单独的硬件部件。波束形成器500生成波束形成器输出信号。
具体地，音频系统100的波束形成器500朝向乘员位置引导麦克风波束。也就是说，处理器114利用波束形成处理中的乘员位置数据。更具体地，示例性实施例的处理器114将正说话的乘员位置数据即正在说话的乘员的嘴部的位置利用在引导麦克风波束中。在示例性实施例中，波束形成器500是固定波束形成器，其仅在由位置传感器108提供的位置数据上形成波束。当然，位置数据可以如以上所描述的被连续地更新。这样，波束形成器可以随说话乘员的嘴部移动改变麦克风波束的方向。更进一步，在另一些实施例中，波束形成器500可以是适应性波束形成器，其不仅基于位置数据而且还基于音频信号自身来引导麦克风波束。简单地说，适应性波束形成器500被使用来增强来自所需方向的被接收语音信号，并减少或最少化来自其它方向的噪声和干涉即不想要的信号。
示例性实施例的处理器114还被构造成用以向音频信号中的每个应用阻塞矩阵(blocking matrix)502。阻塞矩阵502是空间抑制滤波器，其排除(exclude)目标位置并通过(pass)其它位置。这样，阻塞矩阵502阻塞来自说话乘员位置的音频信号。阻塞矩阵502生成多个阻塞矩阵输出信号，其中的每个对应于由麦克风112提供音频信号之一。
示例性实施例的处理器114进一步被构造成用以应用适应性噪声消除器504，例如广义旁瓣消除器，如本领域技术人员所理解的。示例性实施例的处理器114被构造成用以合计波束形成器输出信号与适应性噪声消除输出信号，用以生成说话乘员输出信号。说话乘员输出信号表示由正说话乘员执行的说话。说话乘员输出信号然后可以被发射至语音识别系统104。适应性噪声消除器504使处理器114的说话乘员输出信号的变动最小化。
如前面陈述的，微处理器212可以被利用来辨识乘员的嘴部的运动。语音存在的精确检测允许麦克风信号之间的相对传递函数的精确计算，因此允许由波束形成器500和阻塞矩阵502产生的更精确分量(component)。可通过使用户说话时的麦克风信号相互关联(correlating)来计算相对传递函数。能够以前面描述的实施例来实施用于改善波束形成的通过位置传感器进行的牢固语音检测。
虽然在前述详细描述中给出了至少一个示例性实施例，但是应该理解的是存在大量的变型。还应该理解的是：一个示例性实施例或多个示例性实施例只是示例，并不旨在以任何方式限制本公开的范围、适用性或构造。相反，前述详细描述将为本领域技术人员提供便利的线路图来实施一个示例性实施例或多个示例性实施例。应该明白的是：可在要素的功能和配置中做出各种变化，而不背离如在所附权利要求及其法律等同方案中阐述的本公开的范围。

Claims (11)

1.一种用于接收所需声音的适应性波束形成方法，所述方法包括：
确定正在进行说话的乘员在被限定空间内的乘员位置，确定乘员位置包括：
以多个发射器来发射处于超声波范围和射电频率(RF)范围中的至少一个中的波；
接收被反射的波；以及
分析与被发射和被反射的波相对应的信号来确定乘员位置；
以多个麦克风接收来自所述被限定空间内的声音；
通过辨识乘员的嘴部的运动和搜索与被反射的波相对应的信号的时空和/或速率特征中的区别特征，来确定乘员何时在进行说话；
生成与在所述多个麦克风中的每个处的被接收声音相对应的多个音频信号；
向音频信号应用波束形成器，来引导麦克风波束朝向所确定的乘员位置，并生成波束形成器输出信号，
其中，应用波束形成器包括同时基于所确定的乘员位置和乘员何时在进行说话两者来修改波束形成器；以及
向音频信号中的每个应用阻塞矩阵，来排除不与正在进行说话的乘员相关联的其它位置，并生成与音频信号中的每个相对应的多个阻塞矩阵输出信号，从而通过使乘员说话时的麦克风信号相互关联来计算相对传递函数。
2.如权利要求1所述的方法，进一步包括：
向阻塞矩阵输出信号应用适应性噪声消除处理来生成适应性噪声消除输出信号；以及
合计波束形成器输出信号和适应性噪声消除输出信号来生成说话乘员输出信号。
3.如权利要求1所述的方法，进一步包括：将所述说话乘员输出信号送至语音识别系统。
4.如权利要求1所述的方法，进一步包括：将所述说话乘员输出信号送至电话通信系统。
5.如权利要求1所述的方法，其中，确定乘员位置包括：分析来自至少一个座椅传感器的座椅传感器数据。
6.一种用于接收所需声音的系统，所述系统包括：
位置传感器，被构造成用以确定正在进行说话的乘员在被限定空间内的乘员位置，并发射说话乘员位置；
多个麦克风，被构造成用以接收来自所述被限定空间内的声音，并发射与被接收的声音相对应的音频信号；和
处理器，与所述位置传感器和所述麦克风通信，并被构造成用以接收说话乘员位置和音频信号，通过辨识乘员的嘴部的运动和搜索与被反射的波相对应的信号的时空和/或速率特征中的区别特征来确定乘员何时在进行说话，向音频信号应用波束形成器来引导麦克风波束朝向所确定的乘员位置，并生成波束形成器输出信号，
其中，应用波束形成器包括同时基于所确定的乘员位置和乘员何时在进行说话两者来修改波束形成器；以及
所述处理器被构造成向音频信号中的每个应用阻塞矩阵，来排除不与正在进行说话的乘员相关联的其它位置，并生成与音频信号中的每个相对应的多个阻塞矩阵输出信号，从而通过使乘员说话时的麦克风信号相互关联来计算相对传递函数。
7.如权利要求6所述的系统，其中，所述处理器还被构造成用以：向阻塞矩阵输出信号应用适应性噪声消除处理来生成适应性噪声消除输出信号；以及合计波束形成器输出信号和适应性噪声消除输出信号来生成说话乘员输出信号。
8.如权利要求6所述的系统，其中，所述位置传感器包括：
信号生成器；
多个超声波发射器，被电联接至所述信号生成器，并被构造成用以生成处于超声波范围中的声波；
多个超声波接收器，用于接收处于超声波范围中的被反射的声波，并生成与接收到的被反射的声波相对应的多个被接收信号；和
处理单元，被电联接至所述超声波接收器和所述处理器，并被构造成用以接收所述被接收信号，确定乘员位置，并将乘员位置提供至所述处理器。
9.如权利要求6所述的系统，其中，所述位置传感器包括：
信号生成器；
多个RF发射器，被电联接至所述信号生成器，用于生成处于RF范围中的RF波；
多个RF接收器，用于接收处于RF范围中的被反射的RF波，并生成与接收到的被反射的RF波相对应的多个被接收信号；和
处理单元，被电联接至所述RF接收器和所述处理器，并被构造成用以接收所述被接收信号，确定乘员位置，并将乘员位置提供至所述处理器。
10.如权利要求6所述的系统，其中，所述位置传感器包括摄像头。
11.一种交通工具，包括：
客室；和根据权利要求6-10中任一项所述的系统。
CN201310747323.2A 2013-06-14 2013-12-31 位置引导声学阵列和波束形成方法 Active CN104244143B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/918752 2013-06-14
US13/918,752 US9747917B2 (en) 2013-06-14 2013-06-14 Position directed acoustic array and beamforming methods

Publications (2)

Publication Number Publication Date
CN104244143A CN104244143A (zh) 2014-12-24
CN104244143B true CN104244143B (zh) 2019-04-30

Family

ID=52009937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310747323.2A Active CN104244143B (zh) 2013-06-14 2013-12-31 位置引导声学阵列和波束形成方法

Country Status (3)

Country Link
US (1) US9747917B2 (zh)
CN (1) CN104244143B (zh)
DE (1) DE102014203914B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320739B (zh) * 2017-12-22 2022-03-01 景晖 根据位置信息辅助语音指令识别方法和装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9502021B1 (en) * 2014-10-09 2016-11-22 Google Inc. Methods and systems for robust beamforming
CN104715758A (zh) * 2015-02-06 2015-06-17 哈尔滨工业大学深圳研究生院 一种分部处理式阵列式语音定位和增强方法
JP6592940B2 (ja) * 2015-04-07 2019-10-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9666175B2 (en) * 2015-07-01 2017-05-30 zPillow, Inc. Noise cancelation system and techniques
DK3148213T3 (en) * 2015-09-25 2018-11-05 Starkey Labs Inc DYNAMIC RELATIVE TRANSFER FUNCTION ESTIMATION USING STRUCTURED "SAVING BAYESIAN LEARNING"
KR20170044386A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 전자기기 및 전자기기의 제어방법
KR20170097519A (ko) * 2016-02-18 2017-08-28 삼성전자주식회사 음성 처리 방법 및 장치
CN107336674A (zh) * 2017-01-25 2017-11-10 问众智能信息科技（北京）有限公司 车辆智能后视镜的语音播放方法及装置
CN107277684A (zh) * 2017-01-26 2017-10-20 问众智能信息科技（北京）有限公司 智能后视镜的收声模式调整方法及装置
US20180218747A1 (en) * 2017-01-28 2018-08-02 Bose Corporation Audio Device Filter Modification
US10219098B2 (en) * 2017-03-03 2019-02-26 GM Global Technology Operations LLC Location estimation of active speaker
WO2018164699A1 (en) * 2017-03-10 2018-09-13 James Jordan Rosenberg System and method for relative enhancement of vocal utterances in an acoustically cluttered environment
US10571557B2 (en) * 2017-06-12 2020-02-25 GM Global Technology Operations LLC Two-stage beamforming
WO2019013811A1 (en) 2017-07-14 2019-01-17 Hewlett-Packard Development Company, L.P. MICROWAVE IMAGE PROCESSING TO DIRECT THE BEAM DIRECTION OF A MICROPHONE NETWORK
DE102017219234A1 (de) 2017-10-26 2019-05-02 Audi Ag Verfahren zum Erfassen einer Spracheingabe eines Benutzers in einem Außenbereich eines Kraftfahrzeugs sowie Kraftfahrzeug
US10089998B1 (en) * 2018-01-15 2018-10-02 Advanced Micro Devices, Inc. Method and apparatus for processing audio signals in a multi-microphone system
US10321544B1 (en) * 2018-08-30 2019-06-11 International Business Machines Corporation Acoustics-based street light control
KR102537879B1 (ko) * 2018-12-13 2023-05-30 현대자동차주식회사 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법
CN109767769B (zh) * 2019-02-21 2020-12-22 珠海格力电器股份有限公司 一种语音识别方法、装置、存储介质及空调
DE102019202987A1 (de) * 2019-03-05 2020-09-10 Ford Global Technologies, Llc Fahrzeug und Anordnung mikroelektromechanischer Systeme zur Signalwandlung in einem Fahrzeuginnenraum
WO2021021075A1 (en) * 2019-07-26 2021-02-04 Hewlett-Packard Development Company, L.P. Noise filtrations based on radar
CN111601198B (zh) * 2020-04-24 2022-03-11 达闼机器人有限公司 应用麦克风跟踪说话人的方法、装置及计算设备
US11264017B2 (en) * 2020-06-12 2022-03-01 Synaptics Incorporated Robust speaker localization in presence of strong noise interference systems and methods
US20240155303A1 (en) * 2021-05-14 2024-05-09 Qualcomm Incorporated Acoustic configuration based on radio frequency sensing
WO2024064468A1 (en) * 2022-09-20 2024-03-28 Qualcomm Incorporated Voice user interface assisted with radio frequency sensing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529809B1 (en) * 1997-02-06 2003-03-04 Automotive Technologies International, Inc. Method of developing a system for identifying the presence and orientation of an object in a vehicle
CN1753084A (zh) * 2004-09-23 2006-03-29 哈曼贝克自动系统股份有限公司 使用噪声降低的多通道自适应语音信号处理
CN101034158A (zh) * 2007-02-25 2007-09-12 四川川大智胜软件股份有限公司 基于麦克风阵联网的低空目标监视方法
CN101064975A (zh) * 2006-04-25 2007-10-31 哈曼贝克自动系统股份有限公司 车辆通信系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
US6757602B2 (en) * 1997-02-06 2004-06-29 Automotive Technologies International, Inc. System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon
US5574824A (en) * 1994-04-11 1996-11-12 The United States Of America As Represented By The Secretary Of The Air Force Analysis/synthesis-based microphone array speech enhancer with variable signal distortion
US7421321B2 (en) 1995-06-07 2008-09-02 Automotive Technologies International, Inc. System for obtaining vehicular information
US6882971B2 (en) 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US8233642B2 (en) * 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
CN1947171B (zh) * 2004-04-28 2011-05-04 皇家飞利浦电子股份有限公司 自适应波束形成器、旁瓣抑制器、自动语音通信设备
GB0415626D0 (en) 2004-07-13 2004-08-18 1 Ltd Directional microphone
JPWO2007080886A1 (ja) * 2006-01-11 2009-06-11 日本電気株式会社 音声認識装置、音声認識方法、および音声認識プログラム、ならびに妨害軽減装置、妨害軽減方法、および妨害軽減プログラム
US20070165866A1 (en) 2006-01-13 2007-07-19 Motorola, Inc. Method and apparatus to facilitate conveying audio content
EP2018034B1 (en) 2007-07-16 2011-11-02 Nuance Communications, Inc. Method and system for processing sound signals in a vehicle multimedia system
US20100217590A1 (en) * 2009-02-24 2010-08-26 Broadcom Corporation Speaker localization system and method
KR101715779B1 (ko) 2010-11-09 2017-03-13 삼성전자주식회사 음원 신호 처리 장치 및 그 방법
CN102595281B (zh) * 2011-01-14 2016-04-13 通用汽车环球科技运作有限责任公司 统一标准的麦克风预处理系统和方法
US8781142B2 (en) * 2012-02-24 2014-07-15 Sverrir Olafsson Selective acoustic enhancement of ambient sound

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529809B1 (en) * 1997-02-06 2003-03-04 Automotive Technologies International, Inc. Method of developing a system for identifying the presence and orientation of an object in a vehicle
CN1753084A (zh) * 2004-09-23 2006-03-29 哈曼贝克自动系统股份有限公司 使用噪声降低的多通道自适应语音信号处理
CN101064975A (zh) * 2006-04-25 2007-10-31 哈曼贝克自动系统股份有限公司 车辆通信系统
CN101034158A (zh) * 2007-02-25 2007-09-12 四川川大智胜软件股份有限公司 基于麦克风阵联网的低空目标监视方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320739B (zh) * 2017-12-22 2022-03-01 景晖 根据位置信息辅助语音指令识别方法和装置

Also Published As

Publication number Publication date
US20140372129A1 (en) 2014-12-18
CN104244143A (zh) 2014-12-24
DE102014203914A8 (de) 2015-02-26
DE102014203914A1 (de) 2014-12-18
DE102014203914B4 (de) 2018-08-16
US9747917B2 (en) 2017-08-29

Similar Documents

Publication Publication Date Title
CN104244143B (zh) 位置引导声学阵列和波束形成方法
EP1983799B1 (en) Acoustic localization of a speaker
US9966059B1 (en) Reconfigurale fixed beam former using given microphone array
EP2749042B1 (en) Processing signals
CN108702571B (zh) 音频通信系统和方法
US10229697B2 (en) Apparatus and method for beamforming to obtain voice and noise signals
US9390713B2 (en) Systems and methods for filtering sound in a defined space
US6748088B1 (en) Method and device for operating a microphone system, especially in a motor vehicle
US20110002191A1 (en) Active sonar apparatuses and methods
CN109219964A (zh) 一种基于超声波的语音信号传输系统及方法
CN103329565A (zh) 音频系统及其操作方法
US20200372926A1 (en) Acoustical in-cabin noise cancellation system for far-end telecommunications
US20210067873A1 (en) Acoustical in-cabin noise cancellation system for far-end telecommunications
EP4084003A1 (en) Adaptive noise cancelling for conferencing communication systems
CN112104929A (zh) 一种智能设备、控制智能音箱的方法和系统
JP2024501426A (ja) パーベイシブ音響マッピング
CN112104928A (zh) 一种智能音箱、控制智能音箱的方法和系统
KR101733231B1 (ko) 음원의 3차원 위치 파악 방법 및 그 장치와, 음원의 3차원 위치를 이용한 음질 개선 방법 및 그 장치
EP4009664A1 (en) Microphone array onboard aircraft to determine crew/passenger location and to steer a transducer beam pattern to that location
CN110865788A (zh) 交通工具通信系统和操作交通工具通信系统的方法
JP2017143459A (ja) 伝搬遅延特性の測定方法および装置
KR101709184B1 (ko) 다채널 마이크로폰 신호의 잡음 제거 장치
Zhang et al. Experiments on a Compact Multichannel Vector Sensor Receiver for Signal Acquisition in Underwater Communication Systems
JPWO2021256303A5 (zh)
CN115988356A (zh) 用于飞机上的内部通信的方向性阵列对讲机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant