CN102687529B - 用于处理音频信号的方法和装置 - Google Patents

用于处理音频信号的方法和装置 Download PDF

Info

Publication number
CN102687529B
CN102687529B CN200980163241.5A CN200980163241A CN102687529B CN 102687529 B CN102687529 B CN 102687529B CN 200980163241 A CN200980163241 A CN 200980163241A CN 102687529 B CN102687529 B CN 102687529B
Authority
CN
China
Prior art keywords
audio signal
parameter
sensor
processor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980163241.5A
Other languages
English (en)
Other versions
CN102687529A (zh
Inventor
A·M·卡尔凯南
J·维罗莱南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Priority to CN201610903747.7A priority Critical patent/CN106231501B/zh
Publication of CN102687529A publication Critical patent/CN102687529A/zh
Application granted granted Critical
Publication of CN102687529B publication Critical patent/CN102687529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Abstract

一种装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置成与至少一个处理器一起使装置至少执行：根据至少一个传感器输入参数处理至少一个控制参数；根据处理后的至少一个控制参数处理至少一个音频信号；并且输出处理后的至少一个音频信号。

Description

用于处理音频信号的方法和装置
技术领域
本发明涉及用于处理音频信号的装置。本发明还涉及但不限于用于处理音频设备中的音频和话音信号的装置。
背景技术
扩增实境(其中通过应用更多传感器数据来‘改进’用户自己的感觉)是迅速发展的研究主题。例如使用音频、视觉或者触觉传感器以接收声音、视频和触摸数据，所述数据可以向处理器传递以供处理，然后输出向用户显示的处理后的数据以改进或者聚焦用户对环境的感知已经变成热门研究主题。普遍使用的一种扩增实境应用是以下情况：使用麦克风阵列来捕获音频信号、然后可以反转捕获的音频信号、然后向用户输出这些信号以改进用户的体验。例如在有源噪声抵消头戴式耳机或者耳戴式带扬声器设备(ESD)中，可以向用户输出该反转、因此降低环境噪声并且允许用户在比原本可能的声音水平低得多的声音水平收听其它音频信号。
一些扩增实境应用可以执行有限背景(context)感测。例如已经运用了一些环境噪声抵消头戴式耳机，其中在用户请求时或者响应于检测到运动，可以屏蔽(mute)或者去除耳戴式带扬声器设备的环境噪声抵消功能以让用户能够听见周围音频信号。
在其它扩增实境应用中，有限背景感测可以包括检测收听的音频信号的音量水平并且屏蔽或者增加环境噪声抵消功能。
已知除环境噪声抵消音频信号处理之外的其它音频信号处理。例如可以处理来自多个麦克风的音频信号以对音频信号加权并且因此对音频信号进行波束形成以增强对来自特定方向的音频信号的感知。
虽然有限背景控制的处理可以有用于环境或者通用噪声抑制，但是有许多如下例子，在这些例子中，这样的有限背景控制有问题或者甚至有反效果。例如在工业或者挖掘地带中，用户可能希望降低在所有或者一些方向上的环境噪声量并且针对用户想要聚焦于的特定方向增强音频信号。例如重型机器的操作者可能需要相互通信却无包围他们的噪声源所引起的耳部伤害风险。另外，相同用户也将希望能够感测他们何时在这样的环境中处于危险或者潜在危险中而无需去除他们的头戴式耳机并且因此潜在地使他们自己暴露于听力伤害。
发明内容
本发明源于如下考虑：来自传感器的检测可以用来配置或者修改音频定向处理的配置以因此提高用户在各种环境中的安全。
本发明的实施例以解决上述问题为目的。
根据本发明的第一方面提供一种方法，该方法包括：根据至少一个传感器输入参数处理至少一个控制参数；根据处理后的至少一个控制参数处理至少一个音频信号；并且输出处理后的至少一个音频信号。
该方法还可以包括根据至少一个另外的传感器输入参数生成至少一个控制参数。
处理至少一个音频信号可以包括对至少一个音频信号进行波束形成，并且至少一个控制参数可以包括以下项中的至少一个：增益和延迟值；波束形成波束增益函数；波束形成波束宽度函数；波束形成波束定向函数；以及感知的定向波束形成增益和波束宽度参数。
处理至少一个音频信号可以包括以下操作中的至少一个：混合至少一个音频信号与至少一个另外的音频信号；放大至少一个音频信号的至少一个分量；并且去除至少一个音频信号的至少一个分量。
至少一个音频信号可以包括以下信号中的至少一个：麦克风音频信号；接收的音频信号；以及存储的音频信号。
该方法还可以包括接收至少一个传感器输入参数，其中至少一个传感器输入参数可以包括以下项中的至少一个：运动数据；位置数据；定向数据；化学物质数据；发光度数据；温度数据；图像数据；以及气压。
根据至少一个传感器输入参数处理至少一个控制参数可以包括根据至少一个传感器输入参数是否大于或者等于至少一个预定值的确定而修改至少一个控制参数。
输出处理后的至少一个输出信号还可以包括：根据处理后的至少一个音频信号生成双耳信号；并且向至少耳戴式扬声器输出双耳信号。
根据本发明的第二方面，提供一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器的装置，至少一个存储器和计算机程序代码被配置成与至少一个处理器一起使装置至少执行：根据至少一个传感器输入参数处理至少一个控制参数；根据处理后的至少一个控制参数处理至少一个音频信号；并且输出处理后的至少一个音频信号。
至少一个存储器和计算机程序代码优选地被配置与至少一个处理器一起使装置还执行：根据至少一个另外的传感器输入参数生成至少一个控制参数。
处理至少一个音频信号可以使装置至少执行对至少一个音频信号进行波束形成，并且至少一个控制参数可以包括以下项中的至少一个：增益和延迟值；波束形成波束增益函数；波束形成波束宽度函数；波束形成波束定向函数；以及感知的定向波束形成增益和波束宽度参数。
处理至少一个音频信号可以使装置至少执行以下操作中的至少一个：混合至少一个音频信号与至少一个另外的音频信号；放大至少一个音频信号的至少一个分量；并且去除至少一个音频信号的至少一个分量。
至少一个音频信号可以包括以下信号中的至少一个：麦克风音频信号；接收的音频信号；以及存储的音频信号。
至少一个存储器和计算机程序代码优选地被配置成与至少一个处理器一起使装置还执行接收至少一个传感器输入参数，其中至少一个传感器输入参数包括以下项中的至少一个：运动数据；位置数据；定向数据；化学物质数据；发光度数据；温度数据；图像数据；以及气压。
根据至少一个传感器输入参数处理至少一个控制参数优选地使装置至少执行根据至少一个传感器输入参数是否大于或者等于至少一个预定值的确定而修改至少一个控制参数。
输出处理后的至少一个输出信号可以使装置至少执行：根据处理后的至少一个音频信号生成双耳信号；并且向至少耳戴式扬声器输出双耳信号。
根据本发明的第三方面，提供一种装置，该装置包括：控制器，配置成根据至少一个传感器输入参数处理至少一个控制参数；以及音频信号处理器，配置成根据处理后的至少一个控制参数处理至少一个音频信号，其中音频信号处理器还被配置成输出处理后的至少一个音频信号。
控制器优选地还被配置成根据至少一个另外的传感器输入参数生成至少一个控制参数。
音频信号处理器优选地被配置成对至少一个音频信号进行波束形成，并且至少一个控制参数可以包括以下项中的至少一个：增益和延迟值；波束形成波束增益函数；波束形成波束宽度函数；波束形成波束定向函数；以及感知的定向波束形成增益和波束宽度参数。
音频信号处理器优选地被配置成混合至少一个音频信号与至少一个另外的音频信号。
音频信号处理器优选地被配置成放大至少一个音频信号的至少一个分量。
音频信号处理器优选地被配置成去除至少一个音频信号的至少一个分量。
至少一个音频信号可以包括以下信号中的至少一个：麦克风音频信号；接收的音频信号；以及存储的音频信号。
该装置可以包括配置成生成至少一个传感器输入参数的至少一个传感器，其中至少一个传感器可以包括以下传感器中的至少一个：运动传感器；位置传感器；定向传感器；化学物质传感器；发光度传感器；温度传感器；图像传感器；以及气压传感器。
控制器优选地还被配置成根据至少一个传感器输入参数是否大于或者等于至少一个预定值的确定而修改至少一个控制参数。
配置成输出处理后的至少一个音频信号的音频信号处理器优选地被配置成：根据处理后的至少一个音频信号生成双耳信号；并且向至少耳戴式扬声器输出双耳信号。
根据本发明的第四方面，提供一种装置，该装置包括：控制处理装置，配置成根据至少一个传感器输入参数处理至少一个控制参数；音频信号处理装置，配置成根据处理后的至少一个控制参数处理至少一个音频信号；以及音频信号输出装置，配置成输出处理后的至少一个音频信号。
根据本发明的第五方面，提供一种用指令编码的计算机可读介质，指令在由计算机执行时执行：根据至少一个传感器输入参数处理至少一个控制参数；根据处理后的至少一个控制参数处理至少一个音频信号；并且输出处理后的至少一个音频信号。
一种电子设备可以包括如上文描述的装置。
一种芯片组可以包括如上文描述的装置。
一种电子设备可以包括如上文描述的装置。
一种芯片组可以包括如上文描述的装置。
附图说明
为了更好地理解本发明，现在将通过例子参照以下附图：
图1示意地示出了体现本申请的实施例电子设备；
图2更具体示意地示出了图1中所示电子设备；
图3示意地示出了如下流程图，该流程图图示了本申请的一些实施例的操作；
图4示意地示出了本申请的实施例的第一例子；
图5示意地示出了适合用于在本申请的一些实施例中运用的头部相关空间配置；并且
图6示意地示出了适合用于本申请的一些实施例的一些环境和现实应用。
具体实施方式
下文描述用于提供增强扩增实境应用的装置和方法。就这一点，先参照可以并入扩增实境能力的示例电子设备10或者装置的图1示意框图。
电子设备10可以例如是用于无线通信系统的移动终端或者用户设备。在其它实施例中，电子设备可以是任何音频播放器(也称为mp3播放器)或者媒体播放器(也称为mp4播放器)或者配备有适当传感器的便携音乐播放器。
电子设备10包括可以经由数模转换器(DAC)32链接到耳戴式扬声器(EWS)的处理器21。头戴式扬声器在一些实施例中可以经由头戴式受话器连接器连接到电子设备。耳戴式扬声器(EWS)可以例如是头戴式受话器或者头戴式耳机33或者适合于根据从DAC 32输出的电子音频信号向用户的耳部输出声波的任何适当音频换能器设备。在一些实施例中，EWS 33可以本身包括DAC 32。另外，在一些实施例中，EWS 33可以例如通过使用低功率射频连接(比如蓝牙A2DP简档)经由发送器或者收发器无线连接到电子设备10。处理器21还链接到收发器(TX/RX)13、用户接口(UI)15和存储器22。
处理器21可以被配置成执行各种程序代码。所实施的程序代码可以在一些实施例中包括用于生成到ESW的扩增实境输出的扩增实境声道提取器。所实施的程序代码23可以例如存储于存储器22中用于每当需要时由处理器21取回。存储器22还可以提供用于存储数据(例如已经根据实施例处理的数据)的区段24。
扩增实境应用代码可以在一些实施例中实施于硬件或者固件中。
用户接口15让用户能够例如经由键区和/或触摸接口向电子设备10输入命令。另外，电子设备或者装置10可以包括显示器。处理器在一些实施例中可以生成用于向用户通知操作模式的图像数据和/或显示用户可以使用用户接口15从其中选择的一系列选项。例如用户可以选择或者缩放增益效果以设置噪声抑制数据水平，该水平可以用来设置可以在下文描述的扩增实境例子中修改的‘标准’值。在一些实施例中，形式为触摸接口的用户接口15可以实施为形式为触屏用户接口的显示器的部分。
收发器13在一些实施例中实现例如经由蜂窝或者移动电话网关服务器(比如节点B或者收发器基站(BTS))和无线通信网络来与其它电子设备进行的通信或者与麦克风阵列或者EWS(其中它们的位置远离装置)进行的短程无线通信。
同样将理解可以用多个方式补充和改变电子设备10的结构。
装置10可以在一些实施例中还包括麦克风阵列11中的至少两个麦克风，这些麦克风用于输入音频或者话音，所述音频或者话音将根据本申请的实施例来处理、向某一其它电子设备发送或者存储于存储器22的数据区段24中。为此，用户可以经由用户接口15激活用于使用至少两个麦克风来捕获音频信号的应用。在一些实施例中，麦克风阵列可以与装置分开实施、但是与装置通信。例如在一些实施例中，麦克风阵列可以附着到衣物或者集成于衣物内。因此，在一些实施例中，麦克风阵列可以实施为高度可见背心或者夹克的部分并且经由有线或者无线连接来连接到该装置。在这样的实施例中，可以通过放置于口袋内(该口袋可以在一些实施例中是包括麦克风阵列的衣物的口袋)、但是仍然从麦克风阵列接收音频信号来保护装置。在一些另外的实施例中，麦克风阵列可以实施为头戴式受话器或者耳戴式扬声器系统的部分。麦克风中的至少一个可以在一些实施例中由全向麦克风实施。换而言之，这些麦克风可以对来自所有方向的声音信号相同地做出响应。在一些其它实施例中，至少一个麦克风包括配置成对在预定方向上的声音信号做出响应的定向麦克风。在一些实施例中，至少一个麦克风包括数字麦克风(换而言之，在一个部件块中具有集成放大器和西格玛德尔塔型A/D转换器的普通麦克风)。数字麦克风输入在一些实施例中也可以用于其它ADC声道(比如换能器处理反馈信号)或者用于其它增强(比如波束形成或者噪声抑制)。
装置10在这样的实施例中还可以包括配置成将来自麦克风阵列11的输入模拟音频信号转换成数字音频信号并且向处理器21提供数字音频信号的模数转换器(ADC)14。
装置10可以在一些实施例中从不直接实施于装置上的麦克风阵列接收音频信号。例如耳戴式扬声器33装置在一些实施例中可以包括麦克风阵列。EWS 33装置然后可以发送来自麦克风阵列的可以在一些实施例中由收发器接收的音频信号。在一些另外的实施例中，装置10可以经由收发器13从实施于另一电子设备上的麦克风接收具有捕获的音频数据的比特流。
在一些实施例中，处理器21可以执行存储器22中存储的扩增实境应用代码。处理器21在这些实施例中可以处理接收的音频信号数据并且输出处理后的音频数据。处理后的音频数据在一些实施例中可以是适合用于由头戴式受话器或者EWS系统再现的双耳信号。
接收的立体声音频信号可以在一些实施例中也存储于存储器22的数据区段24中(而不是被立即处理)，例如用于实现以后处理(以及向又一装置呈现或者转发)。在一些实施例中，可以生成和存储其它输出音频信号格式(比如单或者多声道(比如5.1)音频信号格式)。
另外，装置可以包括传感器组16。传感器组16接收关于装置10在其内操作的环境的信息并且向处理器21传递该信息。处理器组16可以包括以下传感器集合中的至少一个。
传感器组16可以包括相机模块。相机模块可以在一些实施例中包括至少一个如下相机，该相机具有用于向数字图像捕获装置(比如电荷耦合器件(CCD))上聚焦图像的镜头。在其他实施例中，数字图像捕获装置可以是任何适当图像捕获设备(比如互补金属氧化物半导体(CMOS)图像传感器)。相机模块在一些实施例中还包括用于在捕获对象的图像之前照射对象的闪光灯。闪光灯链接到用于控制闪光灯的操作的相机处理器。相机也可以链接到用于处理从相机接收的信号的相机处理器。相机处理器可以链接到如下相机存储器，该存储器可以存储用于相机处理器在捕获图像时执行的程序代码。实施的程序代码(未示出)可以在一些实施例中例如存储于相机存储器中用于每当需要时由相机处理器取回。在一些实施例中，相机处理器和相机存储器分别实施于装置处理器21和存储器22内。
另外，在一些实施例中，相机模块可以物理上实施于耳戴式扬声器装置33上以提供从用户的视点的图像。例如在一些实施例中，至少一个相机可以被定位成捕获近似地在用户的视线内的图像。在一些其他实施例中，至少一个相机可以被实施成捕获用户的视线以外(比如用户后面或者用户侧面)的图像。在一些实施例中，相机的配置使得捕获完全包围用户的图像——换而言之，提供360度覆盖。
在一些实施例中，传感器组16包括位置/定向传感器。定向传感器在一些实施例中可以由数字罗盘或者固态罗盘实施。在一些实施例中，位置/定向传感器实施为卫星定位系统(比如全球定位系统(GPS))的部分，借此接收器能够根据从轨道卫星接收时序数据来估计用户的位置。另外，在一些实施例中，GPS信息可以用来通过比较接收器在两个瞬时的估计位置来推导定向和移动数据。
在一些实施例中，传感器组16还包括形式为步伐计数器的运动传感器。步伐计数器可以在一些实施例中检测用户在他们步行时有节奏地上下移动时的运动。步伐的周期本身可以在一些实施例中用来产生对用户的运动速度的估计。在本申请的一些另外的实施例中，传感器组16可以包括配置成确定装置的运动改变的至少一个加速度计和/或陀螺仪。运动传感器可以在一些实施例中用作粗略速度传感器，该传感器被配置成根据步伐的周期和估计的步幅长度来估计装置的速度。在一些另外的实施例中，可以在一些境况(比如车辆(比如汽车或者火车)中的运动)中禁用或者忽略步伐计数器速度估计，其中步伐计数器可能由车辆的运动激活并且因此将产生对用户的速度的不准确估计。
在一些实施例中，传感器组16可以包括配置成确定用户是否在低光或者黑暗环境中操作的光传感器。在一些实施例中，传感器组16可以包括用于确定装置的环境温度的温度传感器。另外，在一些实施例中，传感器组16可以包括配置成确定具体化学物质的存在的化学物质传感器或者‘鼻子’。例如化学物质传感器可以被配置成确定或者检测一氧化碳或者二氧化碳的浓度。
在一些其他实施例中，传感器组16可以包括配置成确定装置在其内操作的大气压强的气压传感器或者大气压压强传感器。因此例如气压传感器可以在检测到突然压强下降时提供风暴情况的警告或者预报。
另外，在一些实施例中，用于提供与背景有关的处理的‘传感器’和关联的‘传感器输入’可以是能够产生背景改变的任何适当输入。例如在一些实施例中，可以从麦克风阵列和麦克风提供传感器输入，该输入然后可以产生对音频信号处理的与背景有关的改变。例如在这样的实施例中，‘传感器输入’可以是来自麦克风的声压水平输出信号并且例如提供对其他麦克风信号的与背景有关的处理以便抵消风噪声。
在一些其他实施例中，‘传感器’可以是用户接口，并且比如下文描述的用于产生对背景敏感的信号的‘传感器输入’可以是来自用户的输入(比如在电话菜单上的选择)。例如当参与与一个人的对话而同时收听另一个人时，用户可以选择并且因此提供传感器输入以对来自第一方向的信号进行波束形成并且向回放扬声器输出波束形成的信号，而对来自第二信号的音频信号进行波束形成并且记录第二方向波束形成的信号。类似地，用户接口输入可以用来‘调谐’与背景有关的处理并且提供一些人工或者半自动交互。
将理解图2中描述的示意结构和图3中的方法步骤仅代表如下完整音频处理链的操作的部分，该处理链包括如示例地示出的实施于图1中所示装置中的一些实施例。具体而言，以下示意结构未在来自不同来源的局部化声音方面具体描述可听化的操作和听力的感知。另外，以下描述未具体描述例如使用头部相关传递函数(HRTF)或者脉冲响应相关函数(IRRF)以训练处理器以生成针对用户校正的音频信号来生成双耳信号。然而本领域技术人员知道这样的操作。
关于图2和图3，更具体示出了如所实施和操作的本申请的实施例的一些例子。
另外，关于如下第一例子描述这些实施例，在该例子中，用户使用在噪声环境中使用装置以便与另一个人进行对话，其中音频处理是根据感测的背景来对接收的音频信号进行波束形成。将理解在一些其他实施例中，音频处理可以是如下文也将描述的对接收的音频信号或者任何生成的音频信号的任何适当音频处理。
关于图4示出了对背景敏感的波束形成的示意图。在图4中，配备有该装置的用户351尝试与另一个人353进行对话。用户至少相对于用户的头部在第一方向D(该方向是在用户与另一个人之间的线)上定向并且按某一速度在第二方向上移动(速度和第二方向二者都由矢量V 357代表)。
如图2中所示传感器组16包括化学物质传感器102、相机模块101和GPS模块104。GPS模块104在这些实施例中还包括运动传感器/检测器103和位置/定向传感器/检测器105。
如上文在一些其他实施例中描述的那样，传感器组可以包括更多或者更少传感器。传感器组16在一些实施例中被配置成向模态或者控制处理器107并且也向定向或者背景处理器109输出传感器数据。
使用该例子，在一些实施例中，用户可以例如转向面向对话中涉及的另一个人并且发起扩增实境模式。GPS模块104(并且具体为位置/定向传感器105)因此可以确定可以向模态处理器107传递的第一方向D的定向。
在一些实施例中，可以接收对装置将聚焦于的方向(即在提出的对话中的另一人的方向)的更多指示。例如在一些实施例中，装置可以通过检测/感测来自用户接口15的输入来接收又一指示。例如用户接口(UI)15接收对用户希望聚焦于的方向的指示。在其它实施例中，可以自动确定方向，例如当传感器组16包括能够检测其他用户和他们相对于装置的位置的更多传感器时，‘其他用户’传感器可以指示最接近用户的相对位置。在其他实施例中，例如在低可见度环境中，‘其他用户’传感器信息可以由装置显示并且然后通过使用UI 15来选择另一个人。
步骤205在图3中示出了生成传感器数据(例如定向/位置/选择数据)以便向模态处理器107提供输入。
模态处理器107在一些实施例中被配置成从传感器组16接收传感器数据并且另外在一些实施例中从用户接口15接收选择信息、然后处理这些输入以生成向背景处理器109输出的输出模态数据。
使用上述例子，模态处理器107可以接收如下定向/位置选择数据，该数据指示用户希望在特定方向上与另一个人交谈或者收听另一个人。模态处理器107然后可以在接收这些输入时生成如下模态参数，这些参数指示窄高增益波束处理将被应用于在指示的方向上从麦克风阵列接收的音频信号。例如如图5中所示，模态处理器107可以生成用于使用第一极坐标分布增益分布图303——在用户351的方向上的高增益窄波束——来对接收的音频信号进行波束形成的模态参数。
在一些实施例中，如上文描述的那样，可以向背景处理器109输出模态参数。在一些其他实施例中，向音频信号处理器111(该处理器对于本例子而言可以由波束形成器实施)直接输出模态参数。
步骤206在图3中示出了生成模态参数。
背景处理器还被配置成接收来自传感器16的信息和来自模态处理器107的模态参数输出，然后基于传感器信息向音频信号处理器111输出处理后的模态参数。
使用上述‘对话’例子，GPS模块104(并且具体为运动传感器103)可以确定装置为静态或者移动很慢。在这样的例子中，装置确定速度可忽略不计并且可以输出模态参数作为输入。换而言之，来自背景处理器109的输出可以是如下参数，这些参数在由音频处理器111接收时在指定方向上执行高增益窄波束。
使用相同例子，其中传感器16确定装置在运动中并且因此用户可能处于发生事故的危险中。例如操作装置的用户可以在一个方向上看对话中的另一个人、但是按某一速度在第二方向上移动(如矢量V在图3中所示)。可以向背景处理器109传递该运动传感器信息。
步骤201在图3中示出了生成运动传感器数据。
背景处理器109在一些实施例中在接收运动传感器数据时可以确定运动传感器数据是否对接收的模态参数具有影响。换而言之，感测的(或者附加感测的)信息是否根据背景来修改模态参数。
使用图3中所示例子，背景处理器可以确定用户的速度和/或用户的运动方向作为根据背景来修改模态参数的因子。
例如并且也如更早描述的那样，背景处理器109可以从传感器16接收装置(用户)按相对慢的速度移动这样的传感器信息。由于用户与第三方(比如又一个人或者车辆)相撞的概率在这样的速度下为低，所以背景处理器109可以传递无修改或者仅有少量修改的模态参数。
在一些其他实施例中，背景处理器109还可以不仅使用绝对速度而且使用与装置面向的方向的相对方向。因此，在这些实施例中，背景处理器109可以从传感器16接收装置(用户)在装置定向的方向(用户面向的方向)上移动这样的传感器信息。在这样的实施例中，背景处理器109也可以不修改模态参数或者仅提供对参数的少量修改，因为用户与第三方(比如又一个人或者车辆)相撞的概率在用户很可能看见任何可能相撞或者路途危险时为低。
在一些实施例中，背景处理器109可以从装置16接收装置(用户)快速移动或者不面向装置移动的方向这样的传感器信息。在这样的实施例中，背景处理器109可以修改模态参数，因为相撞概率更高。
在一些实施例中，背景处理器109的修改可以是连续函数。例如速度越高和/或在装置的定向与装置的运动方向之间的差异越大，修改就越大。在一些其他实施例中，背景处理器可以生成当背景处理器109确定已经满足特定或者预定义阈值时确定的离散修改。例如，如果背景处理器109确定装置按比4km/h更快的速度移动，则背景处理器109可以执行第一修改，而如果装置按大于8m/h的速度移动，则执行另一修改。
在上文提供并且图5中示出的例子中，模态处理器107可以生成如下模态参数，这些参数将指示具有高增益窄波束(具有定向扩展θ1 305)的第一极坐标分布增益分布图303。使用上述阈值例子，当背景处理器109确定速度在第一阈值4km/h以下时，背景处理器输出相同模态参数。在确定装置按大于4km/h的速度移动时，背景处理器109可以生成对模态参数的如下修改，该修改拓宽范围、但是降低第一极坐标分布增益分布图303的增益以生成修改的如下模态参数，这些参数代表具有定向扩展θ2 309的第二极坐标分布增益分布图307。另外当背景处理器109确定相撞风险更高(例如装置按8km/h或者更大速度移动)时，然后又一背景修改值可以进一步拓宽和拉平增益以产生对于所有方向而言具有恒定增益的又一极坐标分布图311。
然后可以向音频信号处理器111传递修改的模态参数。
步骤207在图3中示出了背景对模态参数的修改。
在一些实施例中，背景处理器109实施为音频信号处理器111的部分。在其他实施例中，背景处理器109和模态处理器107与这些实施例的向音频信号处理器111直接传递的输出一起实施。
虽然上述例子是速率作为对操作模式标准参数的修改因子的例子，但是将理解可以基于任何适当可检测的现象执行背景处理器109对模态参数的修改。例如关于化学物质传感器102，背景处理器109可以在检测到有毒(例如CO)或者窒息性气体(例如CO2)的危险水平时修改波束形成指示，从而装置不防止用户听见任何警告广播。在一些其他实施例中，可以类似地引入存储的音频警告或者例如通过无线通信系统并且经由收发器接收的警告来修改波束形成。
背景处理器109在一些实施例中可以从相机模块101接收图像数据并且确定其它危险。例如背景处理器可以确定低光环境中的步伐并且根据标识的危险或者背景修改音频处理。
在上述和以下例子中，背景处理器109通过在波束形成修改中修改音频处理来根据感测的信息修改模态参数。换而言之，背景处理器109修改模态参数以通知或者指示比起初为主要目标而选择的处理更少定向性的波束形成处理。例如可以修改高增益窄波束以提供宽波束增益音频波束。然而将理解可以根据传感器信息执行对模态参数的任何适当处理。
在一些实施例中，背景处理器109的修改可以指示或者通知音频信号处理器111按照也由修改的模态参数控制的比例混合麦克风捕获的音频信号与某些其他音频。例如背景处理器109可以输出如下处理的模态信号，该信号通知音频信号处理器111向捕获的音频信号中混合又一音频信号。所述又一音频信号可以是先前存储的信号(比如存储的警告信号)。在一些其他实施例中，所述又一音频信号可以是接收的信号(比如向装置发送的用于通知装置用户的短程无线发送的音频信号)。在一些其他实施例中，所述又一音频信号可以是可以从传感器信息触发的合成音频信号。
例如音频信号可以是如下合成语音，该语音提供去往请求的目的地的方向。在一些其他实施例中，当装置在预定义位置和/或在特定方向上定向时，其他音频信号可以是关于本地服务的信息或者特殊报价/促销信息。该信息可以向装置的用户指示危险区域。例如装置可以向用户转送关于在该区域中是否已经有扒窃、抢劫或者敲诈的信息以向用户提供警告以知道这样的发生事件。
在一些实施例中，模态处理器和/或背景处理器109可以从多个来源接收传感器16输入并且配置成根据传感器信息选择来自不同传感器16的指示。例如在一些实施例中，传感器16可以包括GPS型位置/运动传感器和‘步伐’位置/运动传感器二者。在这样的实施例中，模态处理器107和/或背景处理器109可以在GPS型传感器无法输出信号时(例如当在室内或者地下使用装置时)选择从‘步伐’位置/运动传感器接收的数据，并且当‘步伐’型传感器输出明显不同于GPS型传感器输出时(例如当用户在车辆中并且GPS型传感器输出正确估计、但是‘步伐’型传感器不输出正确估计时)选择从GPS型传感器接收的数据。
模态处理器107和背景处理器109可以在一些实施例中实施为处理器21的程序/应用或者部分。
麦克风阵列11还被配置成向模数转换器(ADC)14输出来自麦克风阵列11内的每个麦克风的音频信号。
麦克风阵列11在这样的实施例中捕获从环境输入的音频并且生成经由ADC 14向音频信号处理器111传递的音频信号。在一些实施例中，麦克风阵列11被配置成供应来自阵列的每个麦克风的捕获的音频信号。在一些其他实施例中，麦克风阵列11可以包括如下麦克风，这些麦克风输出音频信号的数字而不是模拟表示。因此，在一些实施例中，在麦克风阵列11中的每个麦克风包括集成数模转换器或者包括纯数字麦克风。
在一些实施例中，麦克风阵列11还可以至少向音频信号处理器111指示每个麦克风的位置和麦克风的声学分布图——换而言之麦克风的定向性。
在一些其他实施例中，麦克风阵列11可以捕获每个麦克风生成的音频信号并且生成来自麦克风的混合音频信号。例如麦克风阵列可以生成和输出根据来自麦克风阵列麦克风声道的音频信号生成的左前、右前、中前、左后和右后声道。在图5中示出了这样的声道配置，其中示出了虚拟左前363、右前365、中前361、左后367和右后369声道位置。
步骤211在图3中示出了音频信号的生成/捕获。
ADC 14可以是配置成向音频信号处理器111输出待处理的适当数字格式信号的任何适当ADC。
步骤212在图3中示出了音频信号的模数转换。
音频信号处理器111被配置成接收经由ADC 14来自麦克风阵列11的数字化音频信号和修改的模态选择数据两者以处理音频信号。在以下例子中，对音频信号的处理是通过执行波束形成操作来进行的。
音频信号处理器111可以在接收模态参数时确定或者生成波束形成参数集。波束形成参数可以本身包括将向接收/捕获的音频信号应用的增益函数、时间延迟函数和相位延迟函数中的至少一个的数组。增益和延迟函数可以基于对接收的音频信号的位置的了解。
步骤209在图3中示出了生成波束形成参数。
音频信号处理器111然后可以在生成波束形成参数后将波束形成参数应用于接收的音频信号。例如将增益和相位延迟函数应用于每个接收/捕获的音频信号可以是简单乘法。在一些实施例中，可以通过对于每个音频声道使用放大和滤波操作来应用这一点。
例如根据模态指示(该指示将指示比如用极坐标分布图303示出的波束等的高增益窄波束)生成的波束形成参数将向虚拟中前声道361应用大放大值而向左前363和右前365声道应用低增益值并且向左后367和右后369声道应用零增益。而音频信号处理器111响应于修改的第二极坐标分布可以生成如下波束形成参数，这些参数将向中前声道361、左前363和右前365声道应用中等增益而向左后367和右后369声道应用零增益。另外，音频信号处理器111响应于通知第三极坐标分布的修改的模态参数可以生成将应用于所有声道的均匀增益函数。
步骤213在图3中示出了将波束形成应用于音频信号。
在一些实施例中，如先前描述的音频信号处理器111可以对其他音频信号(即除了麦克风阵列捕获的音频信号之外的音频信号)执行处理。例如音频信号处理器111可以处理存储的数字媒体‘mp3’信号或者接收的‘无线电’音频信号。在一些实施例中，音频信号处理器111可以通过实施混合或者处理如下音频信号来对存储或者接收的音频信号进行‘波束形成’，这些音频信号在经由头戴式受话器或者EWS呈现给用户时产生音频源在特定方向或者定向上的效果。因此例如装置10在重放存储的音频信号时可以产生音频信号源根据装置的运动(速度、定向、位置)而移动的效果。在这样的例子中，传感器16可以向模态处理器107输出对音频源(例如在装置和用户前面)的第一定向的指示并且进一步向背景处理器109输出装置速度的以及进而位置和定向的指示，该背景处理器然后‘修改’原有模态参数(使得装置和用户移动越快，音频信号就源于后方越远处)。然后向音频信号处理器111输出处理后的模态参数，在该处理器处对待输出的音频信号执行‘波束形成’。
在一些实施例中，音频信号处理器111还可以例如通过对音乐音频信号使用频率或者空间分析而从存储或者接收的音频信号分离来自音频信号的分量，可以分离歌手和乐器部分，并且可以对每个分离的分量执行依赖于来自传感器16的信息的“波束形成”(换而言之，感知定向处理)。
在本申请的一些其它实施例中，模态处理器107可以生成由背景传感器109根据如下传感器信息处理的模态参数，该传感器信息在向音频信号处理器111传递时可以执行对来自麦克风的音频信号的‘主动’导引(steering)处理。在这样的实施例中，由在一个或者多个分立音频源的方向上执行高增益窄波束的音频信号处理器111来抑制环境或者弥散音频(噪声)信号、但是向装置的用户传递来自分立来源的音频信号。在一些实施例中，背景处理器109可以根据装置的新位置/定向更新来处理对波束的定向/方向进行改变的模态参数(换而言之，装置补偿用户和音频源的任何相对运动)。类似地，在一些实施例中，传感器16可以指示音频源的运动，并且类似地，背景处理器109处理模态参数以维持‘锁定’于音频信号源。
音频信号处理器111可以在一些实施例中还缩混处理后的音频信号以产生适合用于向头戴式耳机或者耳戴式扬声器(EWS)33呈现的左和右声道信号。然后可以向耳戴式扬声器输出缩混的音频信号。
步骤215在图3中示出了向耳戴式扬声器(EWS)33输出处理后的音频信号。
在如上文描述的这样的实施例中，装置将向用户呈现更宽范围的听觉提示以辅助用户避免在用户移动时相撞/危险的风险。
因此本申请的实施例尝试改进用户对用户在其内操作的环境和背景的感知。
关于图6，示出了实施例的一些现实应用。
用于对话应用的扩增听力可以在一些实施例中不仅使用于工业领域中而且例如并且如图6中所示由在噪声环境(比如音乐会)中参与对话的用户405的装置使用。如果用户移动，则背景处理器109可以改变增益分布图从而用户可以听见用户周围的听觉提示并且避免与其它人和物体相撞。
又一应用可以是控制城市环境中的环境噪声抵消。当用户401使用的装置的背景处理器109例如通过GPS位置/定向传感器105位置结合本地道路网络的知识而检测到装置到达忙碌的道路叉路时，然后可以针对装置确定交通将来自的方向具体降低用于环境噪声降低的增益分布图。因此例如图6中所示，用户401使用的装置降低用于用户的右前和右后象限区域的环境噪声抵消(背景处理器109确定交通不太可能从左后迫近)。
用于带着装置沿着道路骑自行车的用户403的装置可以在不可见危险检测模式中操作装置。例如如图6中所示，用户使用的装置10可以检测电动车辆从装置的后方迫近。在一些实施例中，该检测可以使用相机模块作为传感器的部分，而在一些其他实施例中，电动车辆可以发送由装置接收的危险指示信号。背景处理器然后可以修改模态参数以通知音频信号处理器111处理将要向用户输出的音频信号。例如在一些实施例中，波束形成器/音频处理器可以执行车辆声音的波束形成以增强低音量水平，并且如果电动车辆太近地经过则防止用户受惊。在一些其他实施例中，如果电动车辆太近地经过，则音频信号处理器可以输出警告消息以防止用户受惊。
在一些另外的实施例中，可以组织听觉处理以辅助用户到达目的地或者辅助具有视觉残疾的人士。例如用户407使用的装置可以尝试辅助用户寻找邮局(如标记408所示)。邮局可以广播如下低水平听觉信号，该信号可以指示进入建筑物是否将有任何困难(比如台阶)。另外，在一些实施例中，听觉信号处理器111在来自背景处理器109的指令之下可以收窄和定向波束、因此为进入大楼提供听觉提示。类似地，经过布告牌410的用户409的背景处理器可以处理音频信号——该信号可以是接收的麦克风信号或者将向EWS传递的音频信号(例如MP3或者相视音频信号)以生成指引用户看布告牌的波束。在一些另外的实施例中，背景处理器可以在装置经过布告牌时通知音频处理器转送经由收发器接收的关于产品的音频信息或者公告牌上的信息。
虽然上述例子描述在电子设备10或者装置内操作的本发明实施例，但是将理解如下文描述的本发明可以实施为任何音频处理器的部分。因此例如本发明的实施例可以实施于如下音频处理器中，该处理器可以通过固定或者有线通信路径实施音频处理。
因此，用户设备可以包括音频处理器，比如在上述本发明实施例中描述的音频处理器。
应当理解术语电子设备和用户设备旨在于覆盖任何适当类型的无线用户设备(比如移动电话、便携数据处理设备或者便携web浏览器)。
一般而言，本发明的各种实施例可以实施于硬件或者专用电路、软件、逻辑或者其任何组合中。例如一些方面可以实施于硬件中，而其它方面可以实施于可以由控制器、微处理器或者其它计算设备执行的固件或者软件中，但是本发明不限于此。尽管本发明的各种方面可以图示和描述为框图、流程图或者使用某一其它图形表示来图示和描述，但是合理地理解这里描述的这些块、装置、系统、技术或者方法可以实施于作为非限制例子的硬件、软件、固件、专用电路或者逻辑、通用硬件或者控制器或者其它计算设备或者其某一组合中。
因此，在至少一个实施例中有一种装置，该装置包括：控制器，配置成根据至少一个传感器输入参数处理至少一个控制参数；以及音频信号处理器，配置成根据处理后的至少一个控制参数处理至少一个音频信号；其中音频信号处理器还被配置成输出处理后的至少一个音频信号。
本发明的实施例可以由移动设备的数据处理器可执行的计算机软件实施(比如实施于处理器实体中或者由硬件实施或者由软件与硬件的组合实施)。另外就这一点而言，应当注意如图中的逻辑流程的任何块可以代表程序步骤或者互连的逻辑电路、块和功能或者计算机程序与逻辑电路、块和功能的组合。软件可以存储于物理介质(比如实施于处理器内的存储器芯片或者存储器块)、磁介质(比如硬盘或者软盘)和光学介质(如例如DVD及其数据变体、CD)上。
因此概括而言，在一些实施例中可以有用如下指令编码的计算机可读介质，该指令在由计算机执行时执行：根据至少一个传感器输入参数处理至少一个控制参数；根据处理后的至少一个控制参数处理至少一个音频信号；并且输出处理后的至少一个音频信号。
存储器可以是适合于本地技术环境的任何类型并且可以使用任何适当数据存储技术(比如基于半导体的存储器设备、磁存储器设备和系统、光学存储器设备和系统、固定存储器和可移除存储器)来实施。数据处理器可以是适合于本地技术环境的任何类型并且可以包括作为非限制例子的通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、门级电路和基于多芯处理器架构的处理器中的一种或者多种。
本发明的实施例可以实现于各种部件(比如集成电路模块)中。集成电路的设计主要是高度自动化过程。复杂而强大的软件工具可用于将逻辑级设计转换成准备好在半导体衬底上蚀刻和形成的半导体电路设计。
程序(比如Mountain View,California的Synopsys,Inc.和SanJose,California的Cadence Design提供的程序)使用建立好的设计规则以及预存设计模块库在半导体芯片上自动对导体布线并且对部件定位。一旦已经完成用于半导体电路的设计，可以向半导体制作设施或者“fab”发送标准化电子格式(例如Opus、GDSII等)的所得设计用于制作。
如在本申请中所用，术语‘电路’指代所有以下各项：
(a)仅硬件的电路实施方式(比如在仅模拟和/或数字电路中的实施方式)，以及
(b)电路与软件(和/或固件)的组合(比如：(i)处理器的组合或者(ii)处理器/软件(包括数字信号处理器)、软件和存储器的如下部分，这些部分一起工作以使装置(比如移动电话或者服务器)执行各种功能)；以及
(c)即使软件或者固件未物理上存在、仍然需要软件或者固件用于操作的电路(比如微处理器或者微处理器的部分)。
该‘电路’定义适用于该术语在本申请(包括任何权利要求)中的所有用法。作为又一例子，如在本申请中所用，术语‘电路’也将覆盖仅一个处理器(或者多个处理器)或者处理器的部分及其附带软件和/或固件的实施方式。例如并且如果适用于特定权利要求要素，则术语‘电路’也将覆盖基带集成电路或者用于移动电话的应用处理器集成电路或者服务器、蜂窝网络设备或者其它网络设备中的相似集成电路。
前文描述已经通过示例和非限制例子提供对本发明示例实施例的完全而有启发的描述。然而各种修改和适配鉴于在与附图和所附权利要求结合阅读时的前文描述可以变得为相关领域技术人员所清楚。然而对本发明的教导的所有这样和相似的修改仍将落入如在所附权利要求中限定的本发明范围内。

Claims (16)

1.一种用于音频信号的处理的方法，包括：
从多个传感器生成至少两个传感器输入参数，其中所述至少两个传感器输入参数是不同类型的传感器输入参数；
根据所述至少两个传感器输入参数由控制处理器生成至少一个控制参数；
由背景处理器从多个控制参数修改模式选择控制参数修改模式，其中所述模式中的至少一个模式被配置为使得所述控制处理器的所述至少一个控制参数被修改，并且其中所述背景处理器至少部分基于所述多个传感器的至少一个传感器的输入选择所述控制参数修改模式；
根据所述修改后的至少一个控制参数处理至少一个音频信号，其中处理所述至少一个音频信号包括对所述至少一个音频信号进行波束形成；并且
输出所述处理后的至少一个音频信号。
2.如权利要求1所述的方法，其中所述至少一个控制参数包括以下项中的至少一个：
增益和延迟值；
波束形成波束增益函数；
波束形成波束宽度函数；
波束形成波束定向函数；以及
感知的定向波束形成增益和波束宽度参数。
3.如权利要求1所述的方法，其中处理至少一个音频信号包括以下操作中的至少一个：
混合所述至少一个音频信号与至少一个另外的音频信号；
放大所述至少一个音频信号的至少一个分量；并且
去除所述至少一个音频信号的至少一个分量。
4.如权利要求1所述的方法，其中所述至少一个音频信号包括以下信号中的至少一个：
麦克风音频信号；
接收的音频信号；以及
存储的音频信号。
5.如权利要求1所述的方法，还包括接收至少一个传感器输入参数，其中所述至少一个传感器输入参数包括以下项的至少一个：
运动数据；
位置数据；
定向数据；
化学物质数据；
发光度数据；
温度数据；
图像数据；以及
气压。
6.如权利要求1所述的方法，其中使得所述控制处理器的所述至少一个控制参数被修改包括根据所述至少一个传感器输入参数是否大于或者等于至少一个预定值的确定而修改所述至少一个控制参数。
7.如权利要求1所述的方法，其中输出所述处理后的至少一个音频信号还包括：
根据所述处理后的至少一个音频信号生成双耳信号；
向至少耳戴式扬声器输出所述双耳信号。
8.如权利要求2所述的方法，其中所述至少两个传感器输入参数包括用户或装置面向的方向以及所述用户或所述装置移动的方向的指示，并且所述波束形成附加地至少部分基于所述用户或装置相对于用户或装置面向的方向移动的方向。
9.一种用于音频信号的处理的装置，包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起使所述装置至少执行：
从多个传感器生成至少两个传感器输入参数，其中所述至少两个传感器输入参数是不同类型的传感器输入参数；
根据所述至少两个传感器输入参数由控制处理器生成至少一个控制参数；
由背景处理器从多个控制参数修改模式选择控制参数修改模式，其中所述模式中的至少一个模式被配置为使得所述控制处理器的所述至少一个控制参数被修改，并且其中所述背景处理器至少部分基于所述多个传感器的至少一个传感器的输入选择所述控制参数修改模式；
根据所述修改后的至少一个控制参数处理至少一个音频信号，其中处理所述至少一个音频信号包括对所述至少一个音频信号进行波束形成；并且
输出所述处理后的至少一个音频信号。
10.如权利要求9所述的装置，其中所述至少一个控制参数包括以下项中的至少一个：
增益和延迟值；
波束形成波束增益函数；
波束形成波束宽度函数；
波束形成波束定向函数；以及
感知的定向波束形成增益和波束宽度参数。
11.如权利要求9所述的装置，其中处理至少一个音频信号使所述装置至少执行以下操作中的至少一个：
混合所述至少一个音频信号与至少一个另外的音频信号；
放大所述至少一个音频信号的至少一个分量；并且
去除所述至少一个音频信号的至少一个分量。
12.如权利要求9所述的装置，其中所述至少一个音频信号包括以下信号中的至少一个：
麦克风音频信号；
接收的音频信号；以及
存储的音频信号。
13.如权利要求9所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置成与所述至少一个处理器一起使所述装置还执行接收至少一个传感器输入参数，其中所述至少一个传感器输入参数包括以下项中的至少一个：
运动数据；
位置数据；
定向数据；
化学物质数据；
发光度数据；
温度数据；
图像数据；以及
气压。
14.如权利要求9所述的装置，其中使得所述控制处理器的所述至少一个控制参数被修改使所述装置至少执行根据所述至少一个传感器输入参数是否大于或者等于至少一个预定值的确定而修改所述至少一个控制参数。
15.如权利要求9所述的装置，其中输出所述处理后的至少一个音频信号使所述装置至少执行：
根据所述处理后的至少一个音频信号生成双耳信号；并且
向至少耳戴式扬声器输出所述双耳信号。
16.如权利要求10所述的装置，其中所述至少两个传感器输入参数包括用户或装置面向的方向以及所述用户或所述装置移动的方向的指示，并且所述波束形成附加地至少部分基于所述用户或装置相对于用户或装置面向的方向移动的方向。
CN200980163241.5A 2009-11-30 2009-11-30 用于处理音频信号的方法和装置 Active CN102687529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610903747.7A CN106231501B (zh) 2009-11-30 2009-11-30 用于处理音频信号的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2009/066080 WO2011063857A1 (en) 2009-11-30 2009-11-30 An apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610903747.7A Division CN106231501B (zh) 2009-11-30 2009-11-30 用于处理音频信号的方法和装置

Publications (2)

Publication Number Publication Date
CN102687529A CN102687529A (zh) 2012-09-19
CN102687529B true CN102687529B (zh) 2016-10-26

Family

ID=42537570

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610903747.7A Active CN106231501B (zh) 2009-11-30 2009-11-30 用于处理音频信号的方法和装置
CN200980163241.5A Active CN102687529B (zh) 2009-11-30 2009-11-30 用于处理音频信号的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610903747.7A Active CN106231501B (zh) 2009-11-30 2009-11-30 用于处理音频信号的方法和装置

Country Status (5)

Country Link
US (3) US9185488B2 (zh)
EP (1) EP2508010B1 (zh)
CN (2) CN106231501B (zh)
CA (1) CA2781702C (zh)
WO (1) WO2011063857A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2542586C2 (ru) 2009-11-24 2015-02-20 Нокиа Корпорейшн Устройство для обработки звуковых сигналов
WO2011063857A1 (en) * 2009-11-30 2011-06-03 Nokia Corporation An apparatus
CN102771141B (zh) * 2009-12-24 2016-01-20 诺基亚技术有限公司 一种电子装置及用于电子装置的方法
US8831761B2 (en) * 2010-06-02 2014-09-09 Sony Corporation Method for determining a processed audio signal and a handheld device
US8532336B2 (en) * 2010-08-17 2013-09-10 International Business Machines Corporation Multi-mode video event indexing
US8938312B2 (en) * 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US20130148811A1 (en) * 2011-12-08 2013-06-13 Sony Ericsson Mobile Communications Ab Electronic Devices, Methods, and Computer Program Products for Determining Position Deviations in an Electronic Device and Generating a Binaural Audio Signal Based on the Position Deviations
US9330478B2 (en) * 2012-02-08 2016-05-03 Intel Corporation Augmented reality creation using a real scene
WO2013150341A1 (en) 2012-04-05 2013-10-10 Nokia Corporation Flexible spatial audio capture apparatus
WO2013186593A1 (en) * 2012-06-14 2013-12-19 Nokia Corporation Audio capture apparatus
US9288604B2 (en) * 2012-07-25 2016-03-15 Nokia Technologies Oy Downmixing control
US9078057B2 (en) * 2012-11-01 2015-07-07 Csr Technology Inc. Adaptive microphone beamforming
KR20140064270A (ko) * 2012-11-20 2014-05-28 에스케이하이닉스 주식회사 반도체 메모리 장치
US9173021B2 (en) 2013-03-12 2015-10-27 Google Technology Holdings LLC Method and device for adjusting an audio beam orientation based on device location
US9454208B2 (en) * 2013-03-14 2016-09-27 Google Inc. Preventing sleep mode for devices based on sensor inputs
KR101984356B1 (ko) 2013-05-31 2019-12-02 노키아 테크놀로지스 오와이 오디오 장면 장치
US9729994B1 (en) * 2013-08-09 2017-08-08 University Of South Florida System and method for listener controlled beamforming
EP3280162A1 (en) * 2013-08-20 2018-02-07 Harman Becker Gépkocsirendszer Gyártó Korlátolt Felelösségü Társaság A system for and a method of generating sound
KR20160122835A (ko) 2014-03-18 2016-10-24 로베르트 보쉬 게엠베하 적응형 음향 강도 분석장치
EP2928210A1 (en) 2014-04-03 2015-10-07 Oticon A/s A binaural hearing assistance system comprising binaural noise reduction
US9774976B1 (en) * 2014-05-16 2017-09-26 Apple Inc. Encoding and rendering a piece of sound program content with beamforming data
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
US20160165350A1 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Audio source spatialization
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
WO2016090342A2 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Active noise control and customized audio system
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
US10575117B2 (en) 2014-12-08 2020-02-25 Harman International Industries, Incorporated Directional sound modification
US9622013B2 (en) * 2014-12-08 2017-04-11 Harman International Industries, Inc. Directional sound modification
US20160249132A1 (en) * 2015-02-23 2016-08-25 Invensense, Inc. Sound source localization using sensor fusion
KR20170024913A (ko) * 2015-08-26 2017-03-08 삼성전자주식회사 복수의 마이크들을 이용한 잡음 제거 전자 장치 및 잡음 제거 방법
US20170188138A1 (en) * 2015-12-26 2017-06-29 Intel Corporation Microphone beamforming using distance and enrinonmental information
WO2017163286A1 (ja) * 2016-03-25 2017-09-28 パナソニックＩｐマネジメント株式会社 収音装置
DE102016115243A1 (de) * 2016-04-28 2017-11-02 Masoud Amri Programmieren in natürlicher Sprache
US20170372697A1 (en) * 2016-06-22 2017-12-28 Elwha Llc Systems and methods for rule-based user control of audio rendering
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
WO2019027912A1 (en) * 2017-07-31 2019-02-07 Bose Corporation ADAPTIVE LISTENING HEADSET SYSTEM
DK3477964T3 (da) * 2017-10-27 2021-05-25 Oticon As Høresystem, der er konfigureret til at lokalisere en mållydkilde
EP3582511A3 (en) * 2018-06-12 2020-03-18 Harman International Industries, Incorporated Directional sound modification
US11006859B2 (en) * 2019-08-01 2021-05-18 Toyota Motor North America, Inc. Methods and systems for disabling a step-counting function of a wearable fitness tracker within a vehicle
WO2022232457A1 (en) * 2021-04-29 2022-11-03 Dolby Laboratories Licensing Corporation Context aware audio processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200812412A (en) * 2006-08-16 2008-03-01 Inventec Corp Mobile communication device and method of receiving voice on conference mode
DE202007018768U1 (de) * 2007-12-18 2009-04-09 Lebaciu, Michael Handy mit Sensor zur Erfassung von Luftverunreinigungen

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4741038A (en) * 1986-09-26 1988-04-26 American Telephone And Telegraph Company, At&T Bell Laboratories Sound location arrangement
US5251263A (en) * 1992-05-22 1993-10-05 Andrea Electronics Corporation Adaptive noise cancellation and speech enhancement system and apparatus therefor
JPH06309620A (ja) 1993-04-27 1994-11-04 Matsushita Electric Ind Co Ltd 磁気ヘッド
US6518889B2 (en) * 1998-07-06 2003-02-11 Dan Schlager Voice-activated personal alarm
US6035047A (en) * 1996-05-08 2000-03-07 Lewis; Mark Henry System to block unwanted sound waves and alert while sleeping
DE19704119C1 (de) * 1997-02-04 1998-10-01 Siemens Audiologische Technik Schwerhörigen-Hörhilfe
US6594367B1 (en) 1999-10-25 2003-07-15 Andrea Electronics Corporation Super directional beamforming design and implementation
JP2003521202A (ja) * 2000-01-28 2003-07-08 レイク テクノロジー リミティド 地理的な環境で使用される空間オーディオシステム。
GB2375276B (en) * 2001-05-03 2003-05-28 Motorola Inc Method and system of sound processing
US6980485B2 (en) * 2001-10-25 2005-12-27 Polycom, Inc. Automatic camera tracking using beamforming
FR2840794B1 (fr) * 2002-06-18 2005-04-15 Suisse Electronique Microtech Equipement portable destine a la mesure et/ou la surveillance de la frequence cardiaque
US7333622B2 (en) * 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
DE10252457A1 (de) 2002-11-12 2004-05-27 Harman Becker Automotive Systems Gmbh Spracheingabe-Interface
US7076072B2 (en) * 2003-04-09 2006-07-11 Board Of Trustees For The University Of Illinois Systems and methods for interference-suppression with directional sensing patterns
US7500746B1 (en) * 2004-04-15 2009-03-10 Ip Venture, Inc. Eyewear with radiation detection system
WO2005008194A2 (en) * 2003-07-14 2005-01-27 The Government Of The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services, Centers For Disease Control And Prevention System for monitoring exposure to impulse noise
US7352871B1 (en) * 2003-07-24 2008-04-01 Mozo Ben T Apparatus for communication and reconnaissance coupled with protection of the auditory system
US7221260B2 (en) * 2003-11-21 2007-05-22 Honeywell International, Inc. Multi-sensor fire detectors with audio sensors and systems thereof
GB2412034A (en) 2004-03-10 2005-09-14 Mitel Networks Corp Optimising speakerphone performance based on tilt angle
US7415294B1 (en) * 2004-04-13 2008-08-19 Fortemedia, Inc. Hands-free voice communication apparatus with integrated speakerphone and earpiece
US7173525B2 (en) * 2004-07-23 2007-02-06 Innovalarm Corporation Enhanced fire, safety, security and health monitoring and alarm response method, system and device
EP1795041A4 (en) 2004-09-07 2009-08-12 Sensear Pty Ltd DEVICE AND METHOD FOR SOUND IMPROVEMENT
US7728316B2 (en) * 2005-09-30 2010-06-01 Apple Inc. Integrated proximity sensor and light sensor
US8270629B2 (en) * 2005-10-24 2012-09-18 Broadcom Corporation System and method allowing for safe use of a headset
CN101410900A (zh) 2006-03-24 2009-04-15 皇家飞利浦电子股份有限公司 用于可佩戴装置的数据处理
GB2479673B (en) 2006-04-01 2011-11-30 Wolfson Microelectronics Plc Ambient noise-reduction control system
WO2007143580A2 (en) * 2006-06-01 2007-12-13 Personics Holdings Inc. Ear input sound pressure level monitoring system
US8208642B2 (en) * 2006-07-10 2012-06-26 Starkey Laboratories, Inc. Method and apparatus for a binaural hearing assistance system using monaural audio signals
US7876904B2 (en) * 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
US20080079571A1 (en) * 2006-09-29 2008-04-03 Ramin Samadani Safety Device
US20080177507A1 (en) * 2006-10-10 2008-07-24 Mian Zahid F Sensor data processing using dsp and fpga
US8157730B2 (en) * 2006-12-19 2012-04-17 Valencell, Inc. Physiological and environmental monitoring systems and methods
US8243631B2 (en) * 2006-12-27 2012-08-14 Nokia Corporation Detecting devices in overlapping audio space
WO2008083315A2 (en) * 2006-12-31 2008-07-10 Personics Holdings Inc. Method and device configured for sound signature detection
US20080165988A1 (en) 2007-01-05 2008-07-10 Terlizzi Jeffrey J Audio blending
DE602007004185D1 (de) * 2007-02-02 2010-02-25 Harman Becker Automotive Sys System und Verfahren zur Sprachsteuerung
JP4799443B2 (ja) * 2007-02-21 2011-10-26 株式会社東芝 受音装置及びその方法
US8111839B2 (en) 2007-04-09 2012-02-07 Personics Holdings Inc. Always on headwear recording system
DE602007007581D1 (de) * 2007-04-17 2010-08-19 Harman Becker Automotive Sys Akustische Lokalisierung eines Sprechers
US20080259731A1 (en) 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US8934640B2 (en) * 2007-05-17 2015-01-13 Creative Technology Ltd Microphone array processor based on spatial analysis
WO2009034524A1 (en) 2007-09-13 2009-03-19 Koninklijke Philips Electronics N.V. Apparatus and method for audio beam forming
CN101843118B (zh) * 2007-10-16 2014-01-08 峰力公司 用于无线听力辅助的方法和系统
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
US20090219224A1 (en) * 2008-02-28 2009-09-03 Johannes Elg Head tracking for enhanced 3d experience using face detection
WO2009132270A1 (en) * 2008-04-25 2009-10-29 Andrea Electronics Corporation Headset with integrated stereo array microphone
EP2146519B1 (en) * 2008-07-16 2012-06-06 Nuance Communications, Inc. Beamforming pre-processing for speaker localization
US20100074460A1 (en) * 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
TWI487385B (zh) * 2008-10-31 2015-06-01 Chi Mei Comm Systems Inc 音量調節裝置及其調節方法
US8788002B2 (en) * 2009-02-25 2014-07-22 Valencell, Inc. Light-guiding devices and monitoring devices incorporating same
US8068025B2 (en) * 2009-05-28 2011-11-29 Simon Paul Devenyi Personal alerting device and method
US20100328419A1 (en) * 2009-06-30 2010-12-30 Walter Etter Method and apparatus for improved matching of auditory space to visual space in video viewing applications
US20110091057A1 (en) * 2009-10-16 2011-04-21 Nxp B.V. Eyeglasses with a planar array of microphones for assisting hearing
WO2011063857A1 (en) * 2009-11-30 2011-06-03 Nokia Corporation An apparatus
US8913758B2 (en) * 2010-10-18 2014-12-16 Avaya Inc. System and method for spatial noise suppression based on phase information
GB2495131A (en) * 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
US9609416B2 (en) * 2014-06-09 2017-03-28 Cirrus Logic, Inc. Headphone responsive to optical signaling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200812412A (en) * 2006-08-16 2008-03-01 Inventec Corp Mobile communication device and method of receiving voice on conference mode
DE202007018768U1 (de) * 2007-12-18 2009-04-09 Lebaciu, Michael Handy mit Sensor zur Erfassung von Luftverunreinigungen

Also Published As

Publication number Publication date
EP2508010B1 (en) 2020-08-26
CN106231501A (zh) 2016-12-14
US10657982B2 (en) 2020-05-19
CA2781702C (en) 2017-03-28
WO2011063857A1 (en) 2011-06-03
CN102687529A (zh) 2012-09-19
US20120288126A1 (en) 2012-11-15
CN106231501B (zh) 2020-07-14
US20160014517A1 (en) 2016-01-14
EP2508010A1 (en) 2012-10-10
US9538289B2 (en) 2017-01-03
US9185488B2 (en) 2015-11-10
US20170069336A1 (en) 2017-03-09
CA2781702A1 (en) 2011-06-03

Similar Documents

Publication Publication Date Title
CN102687529B (zh) 用于处理音频信号的方法和装置
US11629971B2 (en) Audio processing apparatus
US10257637B2 (en) Shoulder-mounted robotic speakers
CN104995681B (zh) 多声道音频数据的视频分析辅助产生
US9332372B2 (en) Virtual spatial sound scape
US10469976B2 (en) Wearable electronic device and virtual reality system
US9426568B2 (en) Apparatus and method for enhancing an audio output from a target source
JP4916547B2 (ja) バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム
CN108141696A (zh) 用于空间音频调节的系统和方法
EP2942980A1 (en) Real-time control of an acoustic environment
CN109565629A (zh) 分布式音频捕获和混合控制
WO2018048567A1 (en) Assisted near-distance communication using binaural cues
EP3376781B1 (en) Speaker location identifying system, speaker location identifying device, and speaker location identifying method
JP2006229738A (ja) 無線接続制御装置
CN109121069B (zh) 3d音效处理方法及相关产品
WO2019045622A1 (en) HEADSET AND METHOD OF OPERATING THE HEADSET
CN116033304A (zh) 一种音频输出方法、电子设备及可读存储介质
US20140169595A1 (en) Sound reproduction control apparatus
KR101869002B1 (ko) 개인방송에서의 휴대용 단말기와 연동되는 실감 오디오 제공 방법
US20230419985A1 (en) Information processing apparatus, information processing method, and program
CN117499837A (zh) 音频处理方法、装置以及音频播放设备
KR20160073879A (ko) 3차원 오디오 효과를 이용한 실시간 내비게이션 시스템
TW202304226A (zh) 基於聲源方向性的心理聲學增強
CN117041827A (zh) 音频播放方法、装置、电子设备及可读存储介质
CN115655300A (zh) 行进路线的提示方法、装置、耳机设备及计算机介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160203

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

C14 Grant of patent or utility model
GR01 Patent grant