CN105185383A - 用于存在可理解语音时部分保留音乐的方法 - Google Patents

用于存在可理解语音时部分保留音乐的方法 Download PDF

Info

Publication number
CN105185383A
CN105185383A CN201510312430.1A CN201510312430A CN105185383A CN 105185383 A CN105185383 A CN 105185383A CN 201510312430 A CN201510312430 A CN 201510312430A CN 105185383 A CN105185383 A CN 105185383A
Authority
CN
China
Prior art keywords
signal
level
sound
signal level
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510312430.1A
Other languages
English (en)
Other versions
CN105185383B (zh
Inventor
J.M.基尔希
A.伊耶
R.A.克赖菲尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN105185383A publication Critical patent/CN105185383A/zh
Application granted granted Critical
Publication of CN105185383B publication Critical patent/CN105185383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005—Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开一种用于收听装置的音频处理系统，其包括输入装置、语音活动检测器和基于比率的衰减器。所述输入装置被配置来接收发射自环境且包括关注信号的第一音频信号。所述语音活动检测器被配置来响应于第一音频信号生成控制信号。所述基于比率的衰减器被配置来接收所述控制信号且确定所述第一音频信号的信号电平是否超过接收自音频播放装置的音频信号的信号电平达至少目标差。如果是，那么维持所述播放音频信号的音频电平。否则，调整所述播放音频信号的所述音频电平，其中在调整值处，所述第一信号电平超过所述播放信号电平达至少所述目标差。

Description

用于存在可理解语音时部分保留音乐的方法
相关申请案的交叉参考
本申请要求2014年6月9日提交且具有序列号62/009,851的标题是“APPROACHFORPARTIALLYPRESERVINGMUSICINTHEPRESENCEOFINTELLIGIBLESPEECH”的美国临时专利申请的利益。此相关申请的主题是以引用方式由此并入本文中。
技术领域
本公开内容的实施方案大体上涉及音频信号处理，且更具体地说涉及一种用于在存在可理解语音时部分保留音乐的方法。
背景技术
听筒、耳机、耳塞和其它个人收听装置通常是由希望收听特定类型的音频源(诸如音乐、语音或电影原声)且不打扰附近的其它人的个人使用。这些类型的音频源在本文中称作“娱乐”信号，且各自通常被特征化为在持续时间周期内存在的音频信号。通常，这些个人收听装置包括用于插入到音频播放装置的音频输出中的音频插头。音频插头连接到将音频信号从音频播放装置载送到个人收听装置的电缆。为了提供高品质的音频，此类个人收听装置包括通常覆盖整只耳朵或完全密封耳道的扬声器组件。个人收听装置被设计来提供良好的声密封，因而尤其关于低音响应减小音频信号泄漏且改善收听者的体验品质。
上述个人收听装置的一个缺陷是，因为所述装置形成对耳朵的良好声密封，所以大幅减小收听者听到环境声音的能力。结果，收听者可能无法听到来自环境的某些重要声音，诸如迎面而来的车辆的声音、人类语音或警告。发射自环境的这些类型的重要声音在本文中称作“优先权”或“警报”信号，且各自通常被特征化为间歇的音频信号，从而充当中断。
以上问题的一个解决方法是以声音或电子方式混合或组合环境声音(包括存在于环境声音中由一个或多个麦克风检测的任何警报信号)与娱乐信号。收听者然后能够听到娱乐信号和环境声音(包括任何警报信号)两者。但是此类解决方法的一个缺陷是，如果娱乐信号相对于警报信号太响亮，那么警报信号可能无法理解(或甚至可能听不到)。
随着前文说明，用于给收听装置的用户提供娱乐信号和警报信号的更有效技术将是有用的。
发明内容
一个或多个实施方案陈述一种用于收听装置的音频处理系统，其包括输入装置、语音活动检测器和基于比率的衰减器。输入装置被配置来接收发射自环境且包括关注信号的第一音频信号。语音活动检测器被配置来响应于第一音频信号生成第一控制信号。基于比率的衰减器被配置来接收第一控制信号。基于比率的衰减器还被配置来确定与第一音频信号相关的第一信号电平是否超过与接收自音频播放装置的第二音频信号相关的第二信号电平达至少目标差。基于比率的衰减器还被配置来：如果第一信号电平超过第二信号电平达至少目标差时，那么维持第二音频信号的音频电平。基于比率的衰减器还被配置来：如果第一信号电平不超过第二信号电平达至少目标差时，那么使第二音频信号的音频电平从第一值调整到第二值，其中在第二值处，第一信号电平超过第二信号电平达至少目标差。
其它实施方案包括但不限于包括用于执行所公开技术的一个或多个方面的指令的计算机可读介质以及用于执行所公开技术的一个或多个方面的方法。
所公开方法的至少一个优点是，使用所公开的装备有音频处理系统100的收听装置的收听者听到来自音频播放装置的高品质的音频信号加上来自环境声音的某些警报信号，同时相对于警报信号抑制来自环境声音的其它声音。
附图说明
专利或申请文件包括以彩色执行的至少一个图示。具有彩色图示的此专利或专利申请公开案将在请求并支付必要费用之后由专利局提供。
因此可以通过参考实施方案获得可详细了解本发明的实施方案的上文叙述的特征的方式、上文简单概述的本发明的更特定描述，实施方案中的一些是在附图中加以说明。然而，应注意，附图只说明本发明的典型实施方案且因此不应被认为限制其范围，因为本发明可以允许其它同样有效的实施方案。
图1说明被配置来实施各个实施方案的一个或多个方面的音频处理系统；
图2说明根据各个实施方案的由图1的音频处理系统执行的示例性音频闪避功能；
图3陈述说明根据各个实施方案的由图1的音频处理系统执行的音频闪避功能的示例性波形集；且
图4A到4B陈述根据各个实施方案的用于处理娱乐信号和警报信号的方法步骤的流程图。
具体实施方式
在以下描述中，陈述多种具体细节以提供对某些具体实施方案的更完整理解。然而，所属领域技术人员将明白，在不脱离这些具体细节中的一者或多者或在具有额外具体细节的情况下可以实践其它实施方案。
如本文中描述，收听装置中的音频处理系统确定环境声音中何时存在警报信号，且作为响应，智能地衰减或闪避娱乐信号的音频电平以将语音音乐比(VMR)维持在目标值或目标值附近。换句话来说，音频处理系统维持相对恒定的警报信号电平与娱乐信号电平比(AER)。虽然所公开的技术是在个人收听装置的背景下加以描述，但是所述技术也可以施加于其它音频系统，包括但不限于扩音系统。一般来说，娱乐信号电平对应于播放装置上如通过收听者设置的音量设置。警报信号电平对应于环境中存在的关注信号(诸如语音)的强度。在一个实例中且无限制，低警报信号电平可由饭店的轻轻播音的服务器广播桌子已经准备好而引起。如果服务器的广播比顾客、其它服务器或领班的语音轻，那么娱乐信号被更大幅衰减使得可听到服务器的语音。在另一实例中且无限制，低警报信号电平可由骑自行车的伙伴在相距穿戴包括麦克风的耳塞的收听者的一定距离处说话而引起。因为声级归因于声传播而在空间内下降，所以相距收听者20英尺的骑自行车的人听到的声音比相距收听者6英尺的骑自行车的人听到的声音轻。结果，施加于娱乐信号的闪避大小随着娱乐信号的强度增加而增加。然而，施加于娱乐信号的闪避大小随着警报信号的强度增加而降低。
当警报信号实际上存在于环境音频中且足够响亮时，音频处理系统施加智能闪避。因此，如果不存在警报信号或如果在本文中称作潜在警报信号的关注信号处于可忽略电平，那么音频处理系统无需施加闪避于娱乐信号。结果，防止低电平、稳定状态的背景声音(诸如相距较大距离的遥远的安静的谈话)占用闪避系统。现在将更加详细地描述此音频处理系统。
系统概述
图1说明被配置来实施各个实施方案的一个或多个方面的音频处理系统100。如所示，音频处理系统100包括但不限于声音环境处理器130、语音分离器135、环境分离器140、麦克风均方根(RMS)检测器145、音频输入RMS检测器150、语音活动检测器155、基于比率的衰减器165、智能系统监测器160、起音(attack)释放逻辑170、压控放大器175和混音器180。
声音环境处理器130从捕捉发射自环境的声音的一个或多个麦克风接收麦克风(mic)输入信号105。在一些实施方案中，声音环境处理器130以电子方式而非经由一个或多个麦克风接收发射自环境的声音。声音环境处理器130对麦克风输入执行降噪。声音环境处理器130通过消除一个或多个噪声信号(包括但不限于麦克风(mic)嘶嘶声、稳定状态的噪声、极低频声音(诸如交通嘈杂声)和其它低电平稳定状态声音)使麦克风输入变得干净且增强麦克风输入，同时使任何潜在警报信号保持完好无损。一般来说，低电平声音是具有低于响度阈值的信号电平的声音。在一些实施方案中，在传输处理信号作为输出之前可以使用门电路来从输入信号消除此类低电平信号。一般来说，稳定状态声音是，相对于信号振幅随时间变化的瞬态声音，信号振幅随时间保持相对恒定的声音。在一个实例中且无限制，怠速汽车的声音可被视为稳定状态声音，而加速汽车或发动引擎的汽车的声音将不会被视为稳定状态声音。在另一实例中且无限制，歌剧演唱的声音可被视为稳定状态声音，而说话的声音将不会被视为稳定状态声音。在又另一实例中且无限制，极慢的交响乐的声音可被视为稳定状态声音，而相对较快的打击乐的声音将不会被视为稳定状态声音。潜在警报信号包括并非低电平稳定状态声音的声音，诸如人类语音或汽车喇叭。声音环境处理器130将高保真度降噪信号传输到混音器180。声音环境处理器130还将控制信号传输到语音分离器135、环境分离器140和麦克风RMS检测器145。在一些实施方案中，传输到语音分离器135、环境分离器140和麦克风RMS检测器145的控制信号中的每一者可以是同一信号的相同副本。控制信号可以是被传输到混音器180的降噪音频的较低保真度版本。
语音分离器135从声音环境处理器130接收控制信号。语音分离器135提取存在于所接收控制信号中的任何潜在警报信号，诸如语音。在一些实施方案中，语音分离器135通过施加带通滤波器然后施加RMS检测器以检测语音信号和其它瞬态信号来执行此功能。在一些实施方案中，语音分离器135可以确定500Hz到3,000Hz的范围中的音频能量被认为是潜在警报信号。在这些实施方案中，来自语音分离器135的输出可以是500Hz到3,000Hz的范围中的音频能量的RMS电平。如果此频率范围中的音频的RMS电平超过给出的阈值，那么语音分离器135可以确定存在潜在警报信号。语音分离器135将控制信号传输到语音活动检测器155。
环境分离器140是从声音环境处理器130接收控制信号的选用模块。环境分离器140比较麦克风输入的RMS电平与阈值电平以检测行进通过声音环境处理器130的环境信号，诸如交通噪声、施工噪声和其它背景噪声。在一些实施方案中，环境分离器140经由特征提取方法执行此功能。环境分离器140将控制信号传输到语音活动检测器155。
麦克风RMS检测器145从语音分离器135接收控制信号。麦克风RMS检测器145检测接收自语音分离器135的经处理麦克风输入信号的均方根(RMS)电平。麦克风RMS检测器145以log(dB单位)域计算经处理麦克风输入信号的能量。在一些实施方案中，麦克风RMS检测器145可以采用替代信号电平测量技术而非检测信号的RMS电平。在一个实例中且无限制，麦克风RMS检测器145采用更加复杂的心理声学信号电平测量技术。麦克风RMS检测器145将对应于经检测麦克风RMS电平的控制信号传输到基于比率的衰减器165。
音频输入RMS检测器150经由音频输入110从音频播放装置接收娱乐信号。音频输入RMS检测器150检测经由音频输入110接收的娱乐信号的均方根(RMS)电平。音频输入RMS检测器150以log(dB单位)域计算娱乐信号的能量。在一些实施方案中，音频RMS检测器150可以采用替代信号电平测量技术而非检测信号的RMS电平。在一个实例中且无限制，音频RMS检测器150采用更加复杂的心理声学信号电平测量技术。音频输入RMS检测器150将对应于经计算娱乐信号输入RMS电平的控制信号传输到基于比率的衰减器165。
语音活动检测器155从语音分离器135、环境分离器140和智能系统监测器160接收控制信号。语音活动检测器155分析来自语音分离器135和环境分离器140的所接收控制信号，且比较所述两个控制信号与闪避器阈值(duckerthreshold)115以检测警报信号的存在，且如果存在警报信号，那么是否闪避经由音频输入110接收的娱乐音频。在一些实施方案中，闪避器阈值115可以经由用户控制设置。语音活动检测器155确定当接收自语音分离器135的控制信号超过闪避器阈值115时存在警报信号。当存在环境分离器140时，语音活动检测器155还确定当接收自语音分离器135的控制信号包括环境分离器140不会将其识别为环境信号的警报信号时存在警报信号。结果，语音活动检测器155减小更响亮的低频稳定状态声音被错误地分类为警报信号的可能性。
在一些实施方案中，如果语音活动检测器155确定存在警报信号，那么语音活动检测器155可以基于来自语音分离器135的信号与闪避器阈值115的比率计算控制信号。如果语音活动检测器155确定不存在警报信号，那么语音活动检测器155可以将此控制信号设置为1(即，单位增益)，以禁止闪避音频输入110。如本文中进一步讨论，当语音活动检测器155确定不再存在警报信号时，语音活动155在接收自智能系统监测器160的闪避保持信号期间继续施加闪避。语音活动检测器155将控制信号传输到智能系统监测器160和基于比率的衰减器165。
智能系统监测器160从语音活动检测器155接收控制信号。智能系统监测器160基于所接收的控制信号确定闪避的持续时间和闪避速度。作为一个实例且无限制，人类语音的音量可改变，其中人类语音的一些部分可较为响亮，而人类语音的其它部分较轻。此外，单词之间或短暂停顿期间将不存在人类语音。在此类情况中，在语音期间可多次施加和取消音频闪避。结果，音频输入110上存在的娱乐信号将快速连续地被闪避且从闪避释放，从而使收听者体验不满意。智能系统监测器160可有效地施加保持时间以在麦克风输入105处不再存在警报信号之后维持闪避功能达阈值持续时间。结果，将在短的间隔内(诸如单词或短暂停顿之间)维持闪避，但是当检测到相对较长停顿时将释放闪避。
在一些实施方案中，智能系统监测器160可以确定闪避的持续时间可以是零，造成无闪避。智能系统监测器160生成识别应何时施加闪避保持时间的控制信号。智能系统监测器160将控制信号传输到语音活动检测器155和起音/释放逻辑170。智能系统监测器160视情况将控制信号传输到基于比率的衰减器165。
基于比率的衰减器165从麦克风RMS检测器145和音频输入RMS检测器150接收RMS音频电平。基于比率的衰减器165还从语音活动检测器155且视情况从智能系统监测器160接收控制信号。基于比率的衰减器165确定施加于经由音频输入110接收的娱乐信号的增益降低的大小。基于比率的衰减器165接收语音音乐比(VMR)120，其指定音频输入110相对于麦克风输入105闪避的目标电平。在一些实施方案中，VMR120可以经由用户控制设置。例如且无限制，如果VMR120被设置为-30dB且施加闪避，那么基于比率的衰减器165设置音频输入110处接收的信号的衰减，使得音频输入110的电平相对于麦克风输入105是至少-30dB。如果来自智能系统监测器160的控制信号指示施加闪避保持时间，那么基于比率的衰减器165维持最近的闪避电平直到取消闪避保持为止。在闪避保持时间期间，基于比率的衰减器165既不增加也不降低闪避电平。基于比率的衰减器165生成指示音频输入110信号被闪避的大小的控制信号。一般来说，基于比率的衰减器165经由衰减而非放大来修改娱乐信号的电平，因此娱乐信号的增益不会超过单位1。基于比率的衰减器165将此控制信号传输到起音/释放逻辑170。
起音/释放逻辑170从智能系统监测器160和基于比率的衰减器165接收控制信号。基于这些控制信号，起音/释放逻辑170施加平滑功能于由闪避引起的增益降低，以防止非所需地调制经由音频输入110接收的娱乐信号。在一些实施方案中，起音/释放逻辑170可以采用不对称起音和释放曲线(profile)，诸如相对较快起音曲线和相对较慢释放曲线。当检测到新的警报信号时，起音/释放逻辑170施加快速起音以快速地闪避音频输入110信号以避免截断警报信号的开始，且从而保留语音的可理解性。当不再检测到警报信号时，起音/释放逻辑170施加相对较慢释放以避免突然改变娱乐信号。
此外，在一些实施方案中，起音/释放逻辑170可以施加滞后逻辑以防止在接合闪避器时非所需地调制娱乐信号。经由此滞后逻辑，当音频闪避接近目标闪避电平时，基于接收自智能系统监测器160的控制信号，起音/释放逻辑170采用较慢的起音/较慢的释放曲线。此控制信号指示警报信号最近是否出现或消失在麦克风输入105信号中，或关注信号是否存在达阈值持续时间。如果警报信号最近出现或消失，那么起音/释放逻辑170施加快速起音/慢释放曲线。另一方面，如果警报信号存在达阈值时间周期，那么起音/释放逻辑170施加较慢起音/较慢释放曲线。较慢起音/较慢释放曲线仍然对应于接收自麦克风输入105和音频输入110的RMS电平的变化，但是相对于快速起音/慢释放曲线处于较慢响应速率。起音/释放逻辑170将平滑化增益控制信号传输到压控放大器175。
压控放大器175从起音/释放逻辑170接收平滑化增益控制信号。压控放大器175经由音频输入110接收娱乐信号。压控放大器175施加平滑化增益控制信号于娱乐信号以生成闪避娱乐信号。当施加音频闪避时，压控放大器175在经由音频输入110接收的娱乐信号相对较响亮时或当经由麦克风输入105接收的警报信号相对较轻时施加更大衰减于娱乐信号。当没有施加音频闪避时，压控放大器175传递经由音频输入110接收的娱乐信号而不进行衰减。压控放大器175将所得闪避娱乐信号传递到混音器180。
混音器180从声音环境处理器130接收降噪麦克风音频且从压控放大器175接收闪避娱乐信号。混音器180混合或组合两个接收的音频信号以生成输出信号。在一些实施方案中，混音器180可以对两个音频信号执行简单加法或乘法混合。在其它实施方案中，混音器180可以对两个音频信号执行任何技术上可行的混合或组合功能。混音器180经由音频输出125将输出信号传输到一个或多个扬声器。
在各个实施方案中，音频处理系统100可以被实施为状态机、中央处理单元(CPU)、数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或被配置来处理数据且执行软件应用的任何装置或结构。在一些实施方案中，图1中说明的方框中的一者或多者可以被离散模拟或数字电路实施。在一个实例中且无限制，压控放大器175和混音器180可被模拟组件实施。音频处理系统100可以与移动计算机、安装仪表盘的装置、个人数字助理、移动电话、穿戴式装置、移动装置或适用于实践本发明的一个或多个实施方案的任何其它装置相关。音频处理系统100可以被配置来如本文中进一步描述般实施智能音频处理系统100。此音频处理系统100可以任何技术上可行的形状因子实施，包括但不限于具有态势感知(例如经由麦克风)的听筒或耳塞、广播系统、可中断折返(IFB)系统或传呼系统。
音频处理系统的操作
图2说明根据各个实施方案的由图1的音频处理系统100执行的示例性音频闪避功能200。如所示且无限制，音频闪避功能200叠加到3轴坐标系统上，其中所述三个轴包括语音电平轴210、音乐电平轴220和所需音乐增益轴230。
语音电平轴210包括可忽略语音212、较轻语音214、正常语音216和呐喊218的离散电平。类似地，音乐电平轴220包括极强(极响亮)音乐222、普通音乐224、极弱(极轻柔)音乐226和无声(无音乐)228的离散电平。虽然语音电平轴210和音乐电平轴220上指示离散电平，但是这些轴均是连续的且包括如所示的离散电平之间的值。所需音乐增益轴230指示用于基于如语音电平轴210上所示的语音电平和如音乐电平轴220上所示的音乐电平施加于导入音乐信号的乘法因子。所需音乐增益轴230上的值1指示导入音乐乘以1，所需音乐增益轴230上的值0.9指示导入音乐乘以0.9，所需音乐增益轴230上的值0.8指示导入音乐乘以0.8，以此类推。如所示，1.0的“单位1”增益(暗红色)指示输入音乐信号没有衰减，且0.0的“零”增益(暗蓝色)指示输入音乐信号大幅衰减(例如，30dB)。
遵循对应于可忽略语音电平的线段240(0)，所需音乐增益是1，而无关于音乐电平。线段240(0)指示当语音电平可忽略时音乐信号没有衰减。因此，收听者只听到音乐信号。
遵循对应于较轻语音电平的线段240(1)，当音乐电平极强时，所需音乐增益近似为0.18。所需音乐增益随着音乐电平降低而增加直到当不存在音乐信号时所需音乐增益是1为止。线段240(1)指示极强音乐信号被大幅衰减以保证在极响亮的音乐中可听到较轻的语音电平。较低音乐电平保证较低衰减，且当不存在音乐信号时(诸如在歌曲之间的无音间隙期间)不需要衰减。在一个实施方案中，当不存在音乐信号时，先前闪避电平可以被维持达阈值时间周期以防止歌曲之间的闪避电平发生改变。
遵循对应于正常语音电平的线段240(2)，当音乐电平极强时，所需音乐增益近似为0.32。所需音乐增益随着音乐电平降低而增加直到当不存在音乐信号时所需音乐增益是1为止。线段240(2)指示极强音乐信号被适中地衰减以保证在极响亮的音乐中可听到正常的语音电平。较低音乐电平保证较低衰减，且当不存在音乐信号时不需要衰减。
遵循对应于极响亮的语音电平(诸如呐喊)的线段240(3)，当音乐电平极强时，所需音乐增益近似为0.50。所需音乐增益随着音乐电平降低而增加直到当不存在音乐信号时所需音乐增益是1为止。线段240(3)指示极强音乐信号被稍微地衰减以保证在极响亮的音乐中可听到响亮的语音电平。较低音乐电平保证较低衰减，且当不存在音乐信号时不需要衰减。
图2中说明的音频闪避功能200使所需音乐增益以语音电平和音乐电平两者为基础以适应音乐电平与语音电平的各个组合。一般来说，所需音乐增益随着音乐电平降低而增加。所需音乐增益随着语音电平从可忽略增加直到检测到较轻语音为止保持恒定。所需音乐电平然后急剧降低到相对较低电平且然后随着语音电平从较轻语音增加到极响亮语音而逐渐增加。
图3陈述说明根据各个实施方案的由图1的音频处理系统100执行的音频闪避功能的示例性波形集300。如所示且无限制，波形集300包括输入语音波形310、输入音乐波形320和输出音乐波形330。这三个波形叠加到2轴坐标系统上。垂直轴340指示音频电压电平(以dBu为单位)，其是以近似0.775VRMS为参照的电压的均方根(RMS)测量。水平轴350指示时间(以秒为单位)。
如由输入音乐波形320所示的输入音乐电平在时间间隔t＝0到t＝30期间开始于-16dBu。输入音乐电平在时间间隔t＝30到t＝60期间降低到-35dBu。输入音乐电平在时间间隔t＝60到t＝90期间进一步降低到-75dBu。
在时间间隔t＝0到t＝5期间，输入语音波形310指示不存在语音(近似-90dBu输入电平)。在此周期期间，不发生闪避，且输出音乐波形330的电平保持在输入音乐波形320的电平。在时间周期t＝5到t＝10期间，输入语音波形310指示存在-15dBu的电平的语音。输入音乐电平被闪避到比语音电平低11dB的电平。因为输入音乐电平为-16dBu(低于输入语音电平)，所以输出音乐波形330的电平被闪避10dB到-26dBu。在时间周期t＝10到t＝20期间，不存在语音(近似-90dBu输入电平)，且释放闪避功能，从而允许输出音乐电平恢复到-16dBu电平。在时间周期t＝20到t＝25期间，输入语音波形310指示存在-27dBu的较轻电平的语音。输入音乐电平被闪避22dB到比语音电平低11dB的电平，或-38dBu。
在时间间隔t＝25到t＝35期间，输入语音波形310指示不存在语音(近似-90dBu输入电平)。在此周期期间，不发生闪避，且输出音乐波形330的电平恢复到输入音乐波形320的电平。在时间t＝30处，输入音乐电平和对应地输出音乐电平降低到-35dBu。在时间周期t＝35到t＝40期间，输入语音波形310指示存在-15dBu的电平的语音。因为输入音乐电平已经比语音电平低11dB以上，所以不发生闪避。在时间周期t＝40到t＝50期间，不存在语音(近似-90dBu输入电平)，且输出音乐电平保持在-35dBu的输入音乐电平。在时间周期t＝50到t＝55期间，输入语音波形310指示存在-27dBu的较轻电平的语音。输入音乐电平被闪避到比语音电平低11dB的电平。因为输入音乐电平是-35dBu(低于输入语音电平)，所以输出音乐波形330的电平被闪避3dB到-38dBu。
在时间间隔t＝55到t＝65期间，输入语音波形310指示不存在语音(近似-90dBu输入电平)。在此周期期间，不发生闪避，且输出音乐波形330的电平恢复到输入音乐波形320的电平。在时间t＝60处，输入音乐电平和对应地输出音乐电平降低到-75dBu。在时间周期t＝65到t＝70期间，输入语音波形310指示存在-15dBu的电平的语音。因为输入音乐电平已经比语音电平低11dB以上，所以不发生闪避。在时间周期t＝70到t＝80期间，不存在语音(近似-90dBu输入电平)，且输出音乐电平保持在-75dBu的输入音乐电平。在时间周期t＝80到t＝85期间，输入语音波形310指示存在-27dBu的较轻电平的语音。再次，输入音乐电平已经比语音电平低11dB以上，且不发生闪避。最后，在时间周期t＝85到t＝90期间，不存在语音(近似-90dBu输入电平)，且输出音乐电平保持在-75dBu的输入音乐电平。
注意，输出音乐波形330指示t＝5、t＝20和t＝50处施加闪避时的快速起音时间，如由相对较短的下降时间说明。输出音乐波形330指示t＝10、t＝25和t＝55处释放闪避时的较慢释放时间，如由较长的上升时间说明。快速起音功能允许语音信号快速地行进通过收听装置以避免截断语音信号的初始部分。长的释放功能允许音频闪避慢慢地释放，从而给收听者提供较不刺耳的体验，且允许在完全释放闪避功能之前的语音期间存在短的间隙和停顿。
图4A到4B陈述根据各个实施方案的用于处理娱乐信号和警报信号的方法步骤的流程图。虽然方法步骤是结合图1到3的系统加以描述，但是所属领域技术人员将了解，被配置来以任何次序执行方法步骤的任何系统均是在本公开内容的范围内。
如所示，方法400开始于步骤402处，其中声音环境处理器130经由麦克风输入105接收环境声音且经由音频输入110接收娱乐信号。环境声音表示收听者的环境中存在的声音。娱乐信号表示由收听者选择的音乐或其它音频，诸如来自音频播放装置的音乐。在步骤404处，声音环境处理器130对环境声音执行降噪以消除来自麦克风输入105信号的低电平稳定状态的声音，诸如交通噪声和低电平麦克风嘶嘶声。在步骤406处，麦克风RMS检测器145计算经由语音分离器135接收的语音分离声音的RMS电平。在步骤408处，音频输入RMS检测器150计算经由音频输入110接收的娱乐信号的RMS电平。
在步骤410处，语音分离器135检测到麦克风输入信号中存在潜在警报信号，诸如人类语音。在一些实施方案中，语音分离器135可以通过施加第一带通滤波器于麦克风输入信号以生成滤波麦克风输入信号来执行此功能。语音分离器135可以计算与滤波麦克风输入信号相关的RMS电平。如果此RMS超过阈值电平，那么麦克风输入信号中可以存在警报信号。
在步骤412处，环境分离器140检测到麦克风输入信号中存在环境噪声，诸如背景施工噪声或背景谈话噪声。如果环境噪声太响亮或不规则而不能被降噪滤波，那么此环境声音可以仍然存在于麦克风输入信号中。在一些实施方案中，环境分离器140可以通过施加第二带通滤波器于麦克风输入信号以生成滤波麦克风输入信号来执行此功能。环境分离器140可以计算与滤波麦克风输入信号相关的RMS电平。第一和第二带通滤波器可以具有相同频率响应，但是环境RMS检测的响应时间可能慢于麦克风输入RMS检测的响应时间。
在步骤414处，语音活动检测器155确定潜在警报信号(诸如语音或人类语音)的RMS电平是否超过环境声音的RMS电平。如果关注信号的RMS电平不超过环境声音的RMS电平，那么方法400进行到上述步骤402。另一方面，如果关注信号的RMS电平超过环境声音的RMS电平，那么方法400进行到步骤414，其中语音活动检测器155确定潜在警报信号(诸如语音或人类语音)的RMS电平是否超过闪避器阈值电平。如果关注信号的RMS电平不超过闪避器阈值电平，那么方法400进行到上文描述的步骤402。另一方面，如果关注信号的RMS电平超过闪避器阈值电平，那么方法400进行到步骤418，其中基于比率的衰减器165确定麦克风输入105的RMS电平是否超过音频输入110的RMS电平达至少目标差，诸如语音音乐比(VMR)。在一些实施方案中，目标差可以是固定值。在其它实施方案中，目标差可以是用户可调的，或可以取决于娱乐信号电平或警报信号电平。如果麦克风输入105的RMS电平超过音频输入110的RMS电平达至少VMR，那么方法400进行到上述步骤402。另一方面，如果麦克风输入105的RMS电平不超过音频输入110的RMS电平达至少目标差，那么方法400进行到步骤420，其中基于比率的衰减器165计算音频输入110的降低大小使得麦克风输入105的RMS电平等于音频输入的RMS电平加上目标差。
在步骤422处，起音/释放逻辑170施加起音/释放曲线于音频输入110。在一些实施方案中，起音/释放逻辑170可以在首先检测到警报信号的存在或消除时施加快速起音/慢释放曲线。起音/释放逻辑170可以在警报信号存在达最小持续时间时施加较慢起音/较慢释放曲线。在步骤424处，压控放大器175基于先前步骤中确定的闪避电平衰减音频输入110。在步骤426处，混音器180组合经降噪麦克风输入和经衰减音频输入。
在步骤428处，智能系统监测器160确定麦克风输入105中不再存在警报信号。在步骤430处，智能系统监测器160将音频输入110的音频电平维持在衰减电平达最小持续时间。在步骤432处，在经过最小持续时间之后，智能系统监测器160使音频输入110的音频电平增加到经预调整电平。方法400然后进行到上述步骤402。在各个实施方案中，方法400的步骤可以连续循环执行直到发生某些事件(诸如包括音频处理系统100的装置断电)为止。
总之，音频处理系统100组合环境声音和娱乐信号(诸如来自音频播放装置的音乐)，从而允许收听者在环境声音中存在警报信号(诸如语音)时继续听到相对于环境声音电平有所降低的娱乐信号。基于娱乐信号和警报信号的电平，音频处理系统100将娱乐信号衰减或闪避到只足以保证警报信号可理解且娱乐信号衰减程度不大于所必需程度。音频处理系统100通常经由用户控制接收目标语音音乐比(VMR)。音频处理系统100将娱乐信号衰减到刚好足以维持此目标VMR比。在无最终用户输入或介入的情况下，音频处理系统100智能地自动检测嘈杂、响亮且复杂的声音环境中存在警报信号。
本文中描述的方法的至少一个优点是，使用所公开的装备有音频处理系统100的收听装置的收听者听到来自音频播放装置的高品质音频信号加上来自环境声音的某些警报信号，同时相对于警报信号抑制来自环境声音的其它声音。只有当环境声音中存在警报信号时才降低娱乐信号，且只降低到听到警报信号所必需的程度。结果，收听者听到来自环境的警报信号连同相对于先前方法有所改善的娱乐信号，从而为收听者产生更好品质的音频体验。
各个实施方案的描述是为了说明目的而呈现，但是不旨在详尽或限于所公开的实施方案。在不脱离所述实施方案的范围和精神的情况下，所属领域一般技术人员将明白许多修改和变动。
本实施方案的方面可以体现为一种系统、方法或计算机程序产品。因此，本公开内容的方面可以呈完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微码等等)或组合通常在本文中可以全部称作“电路”“模块”或“系统”的软件和硬件方面的实施方案的形式。此外，本公开内容的方面可以呈以其上体现有计算机可读程序代码的一个或多个计算机可读介质体现的计算机程序产品的形式。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是(例如，但不限于)电子、磁、光学、电磁、红外线或半导体系统、设备或装置或前述各项的任何合适组合。计算机可读存储介质的更多具体实例(非详尽列表)将包括以下各项：具有一根或多根电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或前述各项的任何合适组合。在此文件的背景中，计算机可读存储介质可以是可包括或存储由指令执行系统、设备或装置使用或结合指令执行系统、设备或装置一起使用的程序的任何有形介质。
根据本公开内容的实施方案，上文参考方法、设备(系统)和计算机程序产品的流程图说明和/或方框图描述本公开内容的方面。将了解，可通过计算机程序指令实施流程图说明和/或方框图的每一方框和流程图说明和/或方框图中的方框的组合。可以将这些计算机程序指令提供到通用计算机、专用计算机或其它可编程数据处理设备的处理器以产生机器，使得经由计算机或其它可编程数据处理设备的处理器执行的指令能够实施流程图和/或方框图一个或多个方框中指定的功能/动作。此类处理器可以是(但不限于)通用处理器、专用处理器、特定应用处理器或现场可编程。
附图中的流程图和方框图说明根据本公开内容的各个实施方案的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面，流程图或方框图中的每一方框可以表示代码的模块、区段或部分，其包括用于实施所指定的逻辑功能的一个或多个可执行指令。还应注意在一些替代实施方式中，方框中注明的功能可以不按附图中注明的次序发生。例如且无限制，取决于所涉及的功能性，连续展示的两个方框实际上可以实质上同时执行或方框有时可以按相反次序执行。还将注意，方框图和/或流程图说明中的每一方框和方框图和/或流程图说明中的方框的组合可由专用的基于硬件的系统实施，所述系统执行所指定的功能或动作或专用硬件和计算机指令的组合。
虽然前文是针对本公开内容的实施方案，但是在不脱离本公开内容的基本范围的情况可以设想出本公开内容的其它和进一步实施方案，且本公开内容的范围是由以下权利要求确定。

Claims (17)

1.一种音频处理系统，其包括：
输入装置，其被配置来接收发射自环境且包括关注信号的第一音频信号；
语音活动检测器，其被配置来响应于所述第一音频信号生成第一控制信号；和
基于比率的衰减器，其被配置来：
接收所述第一控制信号，
确定与所述第一音频信号相关的第一信号电平是否超过与接收自音频播放装置的第二音频信号相关的第二信号电平达至少目标差，且
如果所述第一信号电平超过所述第二信号电平达至少目标差，那么维持所述第二音频信号的音频电平，且
如果所述第一信号电平不超过所述第二信号电平达至少所述目标差，那么使所述第二音频信号的所述音频电平从第一值调整为第二值，其中在所述第二值处，所述第一信号电平超过所述第二信号电平达至少所述目标差。
2.根据权利要求1所述的音频处理系统，其还包括声音环境分析器，所述声音环境分析器被配置来对所述第一音频信号执行一个或多个降噪操作以从所述第一音频信号消除噪声信号。
3.根据权利要求1所述的音频处理系统，其还包括语音分离器，所述语音分离器被配置来：
施加第一带通滤波器于所述第一音频信号以生成第一滤波音频信号；
计算与所述第一滤波音频信号相关的第三信号电平；且
基于所述第三信号电平生成第二控制信号。
4.根据权利要求3所述的音频处理系统，其还包括环境分离器，所述环境分离器被配置来：
施加第二带通滤波器于所述第一音频信号以生成第二滤波音频信号；
计算与所述第二滤波音频信号相关的第四信号电平；且
基于所述第四信号电平生成第三控制信号。
5.根据权利要求4所述的音频处理系统，其中所述第一带通滤波器和所述第二带通滤波器具有实质上相同频率范围。
6.根据权利要求4所述的音频处理系统，其中所述语音活动检测器还被配置来：
从所述语音分离器接收所述第二控制信号；
从所述环境分离器接收所述第三控制信号；且
当所述第二控制信号超过所述第三控制信号和闪避器阈值中的至少一个时确定所述第一音频信号中存在所述关注信号。
7.根据权利要求1所述的音频处理系统，其还包括：
第一信号电平检测器，其被配置来计算所述第一信号电平；和
第二信号电平检测器，其被配置来计算所述第二信号电平。
8.根据权利要求1所述的音频处理系统，其还包括智能系统监测器，所述智能系统监测器被配置来：
确定已调整所述第二音频信号的所述音频电平；
随后确定所述第一音频信号中不再存在所述关注信号；
将所述第二音频信号的所述音频电平维持在所述第二电平处达阈值持续时间；且
在经过所述阈值持续时间之后，使所述第二音频信号的所述音频电平增加到所述第一电平。
9.根据权利要求1所述的音频处理系统，其还包括起音/释放逻辑，所述起音/释放逻辑被配置来：
当首先检测到所述关注信号的存在或消除时施加第一起音/释放曲线于所述第二音频信号；且
当检测到所述关注信号的存在达阈值持续时间时施加第二起音/释放曲线于所述第二音频信号。
10.根据权利要求1所述的音频处理系统，其中所述基于比率的衰减器还被配置来生成指示所述第二音频电平将要被调整的大小的第二控制信号，且还包括压控放大器，所述压控放大器被配置来基于所述第二控制信号衰减所述第二音频信号以生成第三音频信号。
11.根据权利要求1所述的音频处理系统，其还包括混音器，所述混音器被配置来：
组合所述第一音频信号与所述第三音频信号以生成输出信号；且
将所述输出信号传输到扬声器。
12.一种用于处理娱乐信号和警报信号的方法，所述方法包括：
接收发射自环境且包括关注信号的第一音频信号；
检测所述第一音频信号中存在关注信号；
确定与所述第一音频信号相关的第一信号电平是否超过与接收自音频播放装置的第二音频信号相关的第二信号电平达至少目标差，和
如果所述第一信号电平超过所述第二信号电平达至少目标差，那么维持所述第二音频信号的音频电平，且
如果所述第一信号电平不超过所述第二信号电平达至少所述目标差，那么使所述第二音频信号的所述音频电平从第一值调整为第二值，其中在所述第二值处，所述第一信号电平超过所述第二信号电平达至少所述目标差。
13.根据权利要求12所述的方法，其还包括：
施加第一带通滤波器于所述第一音频信号以生成第一滤波音频信号；
计算与所述第一滤波音频信号相关的第三信号电平；
施加第二带通滤波器于所述第一音频信号以生成第二滤波音频信号；
计算与所述第二滤波音频信号相关的第四信号电平；和
当所述第三信号电平超过所述第二信号电平和闪避器阈值中的至少一个时确定所述第一音频信号中存在所述关注信号。
14.根据权利要求13所述的方法，其中所述第一带通滤波器和所述第二带通滤波器具有实质上相同频率范围。
15.根据权利要求12所述的方法，其中所述第一信号电平超过所述第二信号电平达至少所述目标差，且所述方法还包括：
确定所述第二信号电平已从第三值增加到第四值；
确定在所述第四值处，所述第一信号电平不超过所述第二信号电平达至少所述目标差；和
使所述第二音频信号的所述音频电平从第五值调整到第六值，其中在所述第六值处，所述第一信号电平超过所述第二信号电平达至少所述目标差。
16.根据权利要求12所述的方法，其中所述第一信号电平不超过所述第二信号电平达至少所述目标差，且所述方法还包括：
确定所述第一信号电平已从第三值增加到第四值；
确定在所述第四值处，所述第一信号电平超过所述第二信号电平达至少所述目标差；和
使所述第二音频信号的所述音频电平从所述第二值调整到所述第一值。
17.根据权利要求12所述的方法，其中所述第一信号电平不超过所述第二信号电平达至少所述目标差，且所述方法还包括：
确定所述第一信号电平已从第三值下降到第四值；和
使所述第二音频信号的所述音频电平从所述第二值调整到第五值，其中在所述第五值处，所述第一信号电平超过所述第二信号电平达至少所述目标差。
CN201510312430.1A 2014-06-09 2015-06-09 用于存在可理解语音时部分保留音乐的方法 Active CN105185383B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462009851P 2014-06-09 2014-06-09
US62/009,851 2014-06-09

Publications (2)

Publication Number Publication Date
CN105185383A true CN105185383A (zh) 2015-12-23
CN105185383B CN105185383B (zh) 2021-04-27

Family

ID=53298257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510312430.1A Active CN105185383B (zh) 2014-06-09 2015-06-09 用于存在可理解语音时部分保留音乐的方法

Country Status (3)

Country Link
US (2) US9615170B2 (zh)
EP (1) EP2963647B1 (zh)
CN (1) CN105185383B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358964A (zh) * 2016-04-07 2017-11-17 哈曼国际工业有限公司 用于检测在变化的环境中的警戒信号的方法
CN107424629A (zh) * 2017-07-10 2017-12-01 昆明理工大学 一种用于广播监播的辨音系统及方法
CN109691137A (zh) * 2016-08-01 2019-04-26 伯斯有限公司 娱乐音频处理
CN109691136A (zh) * 2016-09-08 2019-04-26 株式会社索思未来 音频信号处理装置
CN112017477A (zh) * 2019-05-30 2020-12-01 三星电子株式会社 半导体装置

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11683643B2 (en) 2007-05-04 2023-06-20 Staton Techiya Llc Method and device for in ear canal echo suppression
US11856375B2 (en) 2007-05-04 2023-12-26 Staton Techiya Llc Method and device for in-ear echo suppression
EP2996352B1 (en) * 2014-09-15 2019-04-17 Nxp B.V. Audio system and method using a loudspeaker output signal for wind noise reduction
US11150868B2 (en) 2014-09-23 2021-10-19 Zophonos Inc. Multi-frequency sensing method and apparatus using mobile-clusters
US10656906B2 (en) 2014-09-23 2020-05-19 Levaughn Denton Multi-frequency sensing method and apparatus using mobile-based clusters
US11544036B2 (en) 2014-09-23 2023-01-03 Zophonos Inc. Multi-frequency sensing system with improved smart glasses and devices
US11068234B2 (en) 2014-09-23 2021-07-20 Zophonos Inc. Methods for collecting and managing public music performance royalties and royalty payouts
TWI543072B (zh) * 2014-11-18 2016-07-21 美律實業股份有限公司 行動裝置與其操作方法
WO2016115622A1 (en) 2015-01-22 2016-07-28 Eers Global Technologies Inc. Active hearing protection device and method therefore
US20160269841A1 (en) * 2015-03-10 2016-09-15 Nvidia Corporation Alert based on recognition of a particular sound pattern
US9590580B1 (en) 2015-09-13 2017-03-07 Guoguang Electric Company Limited Loudness-based audio-signal compensation
KR102549689B1 (ko) * 2015-12-24 2023-06-30 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10621980B2 (en) * 2017-03-21 2020-04-14 Harman International Industries, Inc. Execution of voice commands in a multi-device system
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US11489691B2 (en) 2017-07-12 2022-11-01 Universal Electronics Inc. Apparatus, system and method for directing voice input in a controlling device
US10930276B2 (en) * 2017-07-12 2021-02-23 Universal Electronics Inc. Apparatus, system and method for directing voice input in a controlling device
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10284939B2 (en) * 2017-08-30 2019-05-07 Harman International Industries, Incorporated Headphones system
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10540985B2 (en) * 2018-01-31 2020-01-21 Ford Global Technologies, Llc In-vehicle media vocal suppression
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11320391B2 (en) * 2018-02-24 2022-05-03 Bora Fadil Aykin System and method for auto-ranging/auto-calibrating universal ion-selective probe mobile technology interface
US10462422B1 (en) * 2018-04-09 2019-10-29 Facebook, Inc. Audio selection based on user engagement
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10869128B2 (en) 2018-08-07 2020-12-15 Pangissimo Llc Modular speaker system
US10892772B2 (en) * 2018-08-17 2021-01-12 Invensense, Inc. Low power always-on microphone using power reduction techniques
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
CA3084189C (en) * 2019-05-23 2021-03-23 Zophonos Inc. Multi-frequency sensing method and apparatus using mobile-clusters
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
EP4068809A1 (en) * 2021-04-02 2022-10-05 Arçelik Anonim Sirketi Smart home appliance and audio control method thereof

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1679083A (zh) * 2002-08-30 2005-10-05 西门子共同研究公司 不利环境中的多信道语音检测
US20070189544A1 (en) * 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
CN101166017A (zh) * 2006-10-20 2008-04-23 松下电器产业株式会社 用于声音产生设备的自动杂音补偿方法及装置
CN101203059A (zh) * 2006-12-15 2008-06-18 英业达股份有限公司 可播放环境声音的耳机
US20080170725A1 (en) * 2007-01-16 2008-07-17 Sony Corporation Sound outputting apparatus, sound outputting method, sound outputting system and sound output processing program
CN101569093A (zh) * 2006-12-21 2009-10-28 摩托罗拉公司 响应于不同的噪声环境经由用户优选的音频设置来动态地获悉用户的响应
JP2010021627A (ja) * 2008-07-08 2010-01-28 Sony Corp 音量調整装置、音量調整方法および音量調整プログラム
WO2011112382A1 (en) * 2010-03-08 2011-09-15 Dolby Laboratories Licensing Corporation Method and system for scaling ducking of speech-relevant channels in multi-channel audio
CN102209987A (zh) * 2008-11-24 2011-10-05 高通股份有限公司 用于增强的主动噪声消除的系统、方法、设备及计算机程序产品
CN102211583A (zh) * 2010-03-02 2011-10-12 通用汽车环球科技运作有限责任公司 信息娱乐系统控制
US8041025B2 (en) * 2006-08-07 2011-10-18 International Business Machines Corporation Systems and arrangements for controlling modes of audio devices based on user selectable parameters
CN102246230A (zh) * 2008-12-19 2011-11-16 艾利森电话股份有限公司 用于提高噪声环境中话音的可理解性的系统和方法
CN102547521A (zh) * 2010-12-21 2012-07-04 索尼公司 内容再现设备和方法以及程序
CN103179251A (zh) * 2011-12-22 2013-06-26 三星电子株式会社 便携式终端中调节音量的装置和方法
CN103339960A (zh) * 2010-12-01 2013-10-02 索纳麦克斯科技股份有限公司 先进的通信耳机装置及方法
WO2014022359A2 (en) * 2012-07-30 2014-02-06 Personics Holdings, Inc. Automatic sound pass-through method and system for earphones

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741409A (zh) * 2008-11-11 2010-06-16 博通集成电路（上海）有限公司 双向通信设备
US8428758B2 (en) 2009-02-16 2013-04-23 Apple Inc. Dynamic audio ducking
US9462115B2 (en) * 2013-04-04 2016-10-04 James S. Rand Unified communications system and method
US9300268B2 (en) * 2013-10-18 2016-03-29 Apple Inc. Content aware audio ducking
US9654076B2 (en) * 2014-03-25 2017-05-16 Apple Inc. Metadata for ducking control

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1679083A (zh) * 2002-08-30 2005-10-05 西门子共同研究公司 不利环境中的多信道语音检测
US20070189544A1 (en) * 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
US8041025B2 (en) * 2006-08-07 2011-10-18 International Business Machines Corporation Systems and arrangements for controlling modes of audio devices based on user selectable parameters
CN101166017A (zh) * 2006-10-20 2008-04-23 松下电器产业株式会社 用于声音产生设备的自动杂音补偿方法及装置
CN101203059A (zh) * 2006-12-15 2008-06-18 英业达股份有限公司 可播放环境声音的耳机
CN101569093A (zh) * 2006-12-21 2009-10-28 摩托罗拉公司 响应于不同的噪声环境经由用户优选的音频设置来动态地获悉用户的响应
US20080170725A1 (en) * 2007-01-16 2008-07-17 Sony Corporation Sound outputting apparatus, sound outputting method, sound outputting system and sound output processing program
JP2010021627A (ja) * 2008-07-08 2010-01-28 Sony Corp 音量調整装置、音量調整方法および音量調整プログラム
CN102209987A (zh) * 2008-11-24 2011-10-05 高通股份有限公司 用于增强的主动噪声消除的系统、方法、设备及计算机程序产品
CN102246230A (zh) * 2008-12-19 2011-11-16 艾利森电话股份有限公司 用于提高噪声环境中话音的可理解性的系统和方法
CN102211583A (zh) * 2010-03-02 2011-10-12 通用汽车环球科技运作有限责任公司 信息娱乐系统控制
WO2011112382A1 (en) * 2010-03-08 2011-09-15 Dolby Laboratories Licensing Corporation Method and system for scaling ducking of speech-relevant channels in multi-channel audio
CN103339960A (zh) * 2010-12-01 2013-10-02 索纳麦克斯科技股份有限公司 先进的通信耳机装置及方法
CN102547521A (zh) * 2010-12-21 2012-07-04 索尼公司 内容再现设备和方法以及程序
CN103179251A (zh) * 2011-12-22 2013-06-26 三星电子株式会社 便携式终端中调节音量的装置和方法
WO2014022359A2 (en) * 2012-07-30 2014-02-06 Personics Holdings, Inc. Automatic sound pass-through method and system for earphones

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIE LU ET AL.: "《Content analysis for audio classification and segmentation》", 《IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING ( VOLUME: 10, ISSUE: 7, OCT 2002)》 *
单振宇，潘纲，杨莹春: "《基于语音音乐混合状态检测的音量自动调节系统》", 《第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC’06)论文集》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358964A (zh) * 2016-04-07 2017-11-17 哈曼国际工业有限公司 用于检测在变化的环境中的警戒信号的方法
CN107358964B (zh) * 2016-04-07 2023-08-04 哈曼国际工业有限公司 用于检测在变化的环境中的警戒信号的方法
CN109691137A (zh) * 2016-08-01 2019-04-26 伯斯有限公司 娱乐音频处理
US10820101B2 (en) 2016-08-01 2020-10-27 Bose Corporation Entertainment audio processing
CN109691136A (zh) * 2016-09-08 2019-04-26 株式会社索思未来 音频信号处理装置
CN109691136B (zh) * 2016-09-08 2020-09-08 株式会社索思未来 音频信号处理装置
CN107424629A (zh) * 2017-07-10 2017-12-01 昆明理工大学 一种用于广播监播的辨音系统及方法
CN112017477A (zh) * 2019-05-30 2020-12-01 三星电子株式会社 半导体装置
CN112017477B (zh) * 2019-05-30 2024-05-24 三星电子株式会社 半导体装置

Also Published As

Publication number Publication date
US10368164B2 (en) 2019-07-30
EP2963647A1 (en) 2016-01-06
US20170223451A1 (en) 2017-08-03
EP2963647B1 (en) 2019-07-31
US20150358730A1 (en) 2015-12-10
US9615170B2 (en) 2017-04-04
CN105185383B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN105185383A (zh) 用于存在可理解语音时部分保留音乐的方法
US10950214B2 (en) Active noise cancelation with controllable levels
US20190279610A1 (en) Real-Time Audio Processing Of Ambient Sound
CN104685563B (zh) 用于嘈杂环境噪里的回放的音频信号整形
CN103236263B (zh) 一种改善通话质量的方法、系统及移动终端
CN100555848C (zh) 音频信号处理系统
WO2018205366A1 (zh) 音频信号调节方法及系统
WO2019127112A1 (zh) 一种语音交互方法、装置和智能终端
CN110677717B (zh) 一种音频补偿方法、智能电视及存储介质
CN112306448A (zh) 根据环境噪声调节输出音频的方法、装置、设备和介质
JP2013187912A (ja) ヘッドホーン補正のためのシステム
CN110956976B (zh) 一种回声消除方法、装置、设备及可读存储介质
KR20090082776A (ko) 청력 역치 측정 장치 및 그 방법과 그를 이용한 오디오신호 출력 장치 및 그 방법
EP3229487A1 (en) Approach for detecting alert signals in changing environments
CN113259826B (zh) 在电子终端中实现助听的方法和装置
US11490211B2 (en) Directivity hearing-aid device and method thereof
Unoki et al. How the temporal amplitude envelope of speech contributes to urgency perception
JP4644876B2 (ja) 音声処理装置
Watkins et al. Perceptual compensation when isolated test words are heard in room reverberation
JP2005202335A (ja) 音声処理方法と装置及びプログラム
CN118555530B (zh) 一种多重复合音治疗重度耳鸣的助听器控制方法和系统
WO2018194541A1 (en) Providing alerts for events
US12022261B2 (en) Hearing aid in-ear announcements
US20240363131A1 (en) Speech enhancement
US20240205632A1 (en) Adaptive spatial audio processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant