CN101461258A - 用于混合音频的混合技术 - Google Patents

用于混合音频的混合技术 Download PDF

Info

Publication number
CN101461258A
CN101461258A CNA2007800206746A CN200780020674A CN101461258A CN 101461258 A CN101461258 A CN 101461258A CN A2007800206746 A CNA2007800206746 A CN A2007800206746A CN 200780020674 A CN200780020674 A CN 200780020674A CN 101461258 A CN101461258 A CN 101461258A
Authority
CN
China
Prior art keywords
channel
audio
music
audio signal
audio frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800206746A
Other languages
English (en)
Other versions
CN101461258B (zh
Inventor
向佩
埃迪·L·T·乔伊
普拉贾克特·V·库尔卡尼
萨米尔·库马尔·古普塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101461258A publication Critical patent/CN101461258A/zh
Application granted granted Critical
Publication of CN101461258B publication Critical patent/CN101461258B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016—Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • Amplifiers (AREA)
  • Stereophonic System (AREA)

Abstract

本发明描述智能地将两个或两个以上音频信号组合成输出信号的音频混合技术。所述技术允许对音频进行组合，但在所述不同音频信号之间形成感觉差别。结果是用户能够在经组合的输出中听到两个音频信号，但所述不同音频信号在感觉上不彼此干扰。所述技术实施起来相对简单，且非常适合于无线电电话。

Description

用于混合音频的混合技术
技术领域
本发明涉及音频处理，且更明确地说，涉及组合两个或两个以上音频信号以形成输出信号的音频混合技术。
背景技术
本文使用术语“音频”和“音频信号”来指代多种音频信号或源中的任何一者，例如音乐、语音、音调、警报等。音频信号指代模拟或数字信号。对于数字音频，可经由音频编码来使用数据压缩。存在许多促进数字音频的编码的音频编码标准。实例包含由运动图片专家组(motion pictures expert group，MPEG)定义的标准、视窗媒体音频(windows media audio，WMA)标准以及由杜比实验室(Dolby Laboratories)公司定义的标准。此外，许多音频编码标准相继出现，包含数字MP3标准和MP3标准的后续标准，例如苹果计算机(Apple Computer)公司所出售的“iPod”装置中所使用的高级音频编码(advanced audio coding，AAC)标准。
许多不同类型的装置可将音频传递给用户。此些音频装置的实例包含音乐播放器；无线移动装置；无线通信装置，例如无线电电话、直接双向通信装置(有时被称为对讲机)；桌上型和膝上型计算机；工作站；卫星无线电装置；对讲装置；无线电广播装置；汽车、船只和航空器中所使用的板上计算机；以及多种其它装置。
在许多情形下，两个或两个以上音频信号(其可以是模拟或数字信号)由给定音频装置同时处理。在还提供(例如)数字音乐能力的无线电电话的情况下，音乐输出可能与和传入电话呼叫相关联的音频发生冲突。为了解决此冲突，常规上，传入电话呼叫优先于任何音乐输出。在此情况下，当接收到传入电话呼叫时，音乐可能变为静音。
发明内容
一般来说，本发明描述智能地将两个或两个以上音频信号(其可以是模拟的或数字的)组合成经组合的输出信号的音频混合技术。所述技术可允许音频信号被组合，但在形成经组合输出的不同音频信号之间形成感觉差别。感觉结果是用户可听到与两个音频信号相关联的音频，但不同音频信号在感觉上不会彼此干扰。所揭示的技术实施起来特别有效且容易，甚至在例如无线电电话的较小手持型装置中也是如此。还描述对所述技术的若干可选增强，其可进一步增强经混合输出的声音质量。
在一个实施例中，本发明提供一种方法，其包括：接收第一音频和第二音频；将第一正增益施加到所述第一音频的第一信道；将负增益施加到所述第一音频的第二信道；将第二正增益施加到所述第二音频的第一信道；将第三正增益施加到所述第二音频的第二信道；将第一音频的第一信道与第二音频的第一信道进行组合；以及将第一音频的第二信道与第二音频的第二信道进行组合。
在另一实施例中，本发明提供一种方法，其包括：接收音乐音频和电话呼叫音频，所述音乐音频包含第一和第二信道，且所述电话呼叫音频包含单信道；将标量函数施加到音乐音频，以使音乐音频的路径从前景路径改变为背景路径；在背景路径中将低通滤波器施加到音乐音频的第一和第二信道；在背景路径中延迟音乐音频的第二信道；在背景路径中将第一正增益施加到音乐音频的第一信道；在背景路径中将第一负增益施加到音乐音频的第二信道的第一路径；在背景路径中将第二负增益施加到音乐音频的第二信道的第二路径；以及在背景路径中将音乐音频的第二信道的第二路径添加到音乐音频的第一信道中。所述方法还包含：基于单信道而界定电话呼叫音频的第一和第二信道；将第二正增益施加到电话呼叫音频的第一信道；将第三正增益施加到电话呼叫音频的第二信道；将背景路径中的音乐音频的第一信道与电话呼叫音频的第一信道进行组合；以及将背景路径中的音乐音频的第二信道与电话呼叫音频的第二信道进行组合。
可使用硬件、软件、固件或其任一组合来实施本发明的所述技术。如果在软件中实施，那么本发明的所述技术可在包括指令的计算机可读媒体上实施，所述指令在执行时执行本文所描述的方法中的一者或一者以上。如果在硬件中实施，那么所述技术可在一个或一个以上处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或离散逻辑电路中实施。
在另一实施例中，本发明提供一种装置，其包括组合两个或两个以上音频信号以形成音频输出的音频混合单元。在此情况下，音频混合单元接收第一音频信号和第二音频信号；将第一正增益施加到第一音频信号的第一信道；将负增益施加到第一音频信号的第二信道；将第二正增益施加到第二音频信号的第一信道；将第三正增益施加到第二音频信号的第二信道；将第一音频信号的第一信道与第二音频信号的第一信道进行组合；以及将第一音频信号的第二信道与第二音频信号的第二信道进行组合。
在另一实施例中，本发明提供一种装置，其包括：用于接收音乐音频信号和电话呼叫音频信号的装置，所述音乐音频信号包含第一和第二信道，且所述电话呼叫音频信号包含单信道；用于将标量函数施加到音乐音频信号以使音乐音频信号的路径从前景路径改变为背景路径的装置；用于在背景路径中将低通滤波器施加到音乐音频信号的第一和第二信道的装置；用于在背景路径中延迟音乐音频信号的第二信道的装置；用于在背景路径中将第一正增益施加到音乐音频信号的第一信道的装置；用于在背景路径中将第一负增益施加到音乐音频信号的第二信道的第一路径的装置；用于在背景路径中将第二负增益施加到音乐音频信号的第二信道的第二路径的装置；以及用于在背景路径中将音乐音频信号的第二信道的第二路径添加到音乐音频信号的第一信道中的装置。所述装置还包含：用于基于单信道而界定电话呼叫音频信号的第一和第二信道的装置；用于将第二正增益施加到电话呼叫音频信号的第一信道的装置；用于将第三正增益施加到电话呼叫音频信号的第二信道的装置；用于将背景路径中的音乐音频信号的第一信道与电话呼叫音频信号的第一信道进行组合的装置；以及用于将背景路径中的音乐音频信号的第二信道与电话呼叫音频信号的第二信道进行组合的装置。
在另一实施例中，本发明提供一种包括音频混合单元的装置。所述混合单元接收包含第一和第二立体声信道的第一音频信息；基于第一音频信息而产生第一前景音频输出；接收第二音频信息；将增益施加到第一和第二立体声信道，以产生背景音频输出；基于第二音频信息而产生第二前景音频输出；以及将第二前景音频输出与背景音频输出进行组合，以产生第一和第二音频信息的组合输出。
在另一实施例中，本发明提供一种包括音频混合单元的装置，所述音频混合单元接收音乐音频；将所述音乐音频呈现给用户；接收电话呼叫音频；将音乐音频与电话呼叫音频进行混合，使得音乐音频为背景音频且电话呼叫音频为前景音频，包含将增益施加到音乐音频以形成背景感觉；且将音乐音频与电话音频的组合呈现为音乐在背景中且电话呼叫在前景中的组合输出。
附图和下文的描述内容中陈述各种实施例的额外细节。其它特征、目标和优势将从描述内容和图式，且从权利要求书中变得显而易见。
附图说明
图1是可实施本发明的技术的示范性音频装置的框图。
图2是可在音频装置中用来执行本发明的技术的示范性音频混合单元的框图。
图3A是说明用于将音频信号的信道从前景路径改变为背景路径的示范性标量函数的时序图。
图3B是说明用于将音频信号的信道从背景路径改变为前景路径的示范性标量函数的时序图。
图4到图6是说明本发明的音频混合技术的流程图。
具体实施方式
本发明描述智能地将两个或两个以上音频信号组合成输出信号的音频混合技术。本文使用术语“音频”和“音频信号”来指代多种音频信号或源中的任何一者，例如音乐、语音、音调、警报等。此外，术语音频信号，如本文所使用，指代音频信息的模拟或数字版本。本发明的技术允许音频信号被组合，但在不同音频信号之间形成感觉差别。结果是用户能够在经组合的输出中听到两个音频信号，但组成组合输出的所述不同音频信号在感觉上不会彼此干扰。具体来说，对所述音频信号中的一者执行处理，以将相应的音频信号改变为感觉背景。所述处理相对较简单，尤其在与通过用头部相关转移函数(head related transfer function，HRTF)滤波器将音频信号定位到不同的3D空间位置中来形成等效感觉改变的常规技术相比时。
在下文详细描述的一个实例中，无线电电话可在音乐模式或电话模式下操作。在音乐模式下，音乐的左信道和右信道在前景中传递给用户。然而，在接收到入站电话呼叫后，无线电电话过渡到电话模式。在电话模式下，音乐音频与电话呼叫音频组合。然而，将音乐音频处理成感觉背景。本发明的技术在背景处理路径内使用缩放、滤波、延迟和/或信道组合，以便产生舒适的音乐输出，其中音乐被感知为背景音频，而电话呼叫音频被感知为前景音频。然而，音乐模式和电话模式的实例只是示范性的，且本发明的技术非常适用于组合无线电电话或许多其它类型的音频装置的多种其它类型的音频信号。
图1是可实施本发明的技术的示范性音频装置2的框图。装置2的所说明的组件只是全面描述本发明的技术所需的组件。装置2可包含许多其它组件，例如处理器、显示器、用户输入装置或多种其它组件。装置2的其它组件通常将取决于所设计的装置的类型。事实上，甚至所说明的组件中的一些组件也是可选的，且不一定是装置实施本发明的技术所需要的。一般来说，混合单元10是装置2的执行本文所描述技术的组件。
示范性音频装置2可包括无线无线电电话，例如所谓的手机。为此，装置2可包含传输器/接收器4和调制器/解调器“调制解调器”6。传输器/接收器4经由天线5发送和接收无线信号。调制解调器6对接收到的无线信号进行解调，且产生音频信号，即与传入电话呼叫相关联的电话呼叫音频。
装置2还具有向用户播放音乐的能力。为了播放音乐，装置2包含音乐单元8。音乐单元8可包括音频解码器，其对经数字编码的音乐进行解码，例如对MP3文件、AAC文件等进行解码。然而，音乐单元8不一定是数字的，且在一些实施例中可处理模拟音频信号。另外，在一些实施例中，装置2可经装备以播放视频或支持与远程装置的视频电话(VT)。因此，装置2还可包含摄像头，且形成支持VT应用的所谓的摄像头电话或视频电话。
根据本发明，且参看图1，装置2包含音频混合单元10。如上文所述，混合单元10通常实施本发明的技术。明确地说，混合单元10促进两个或两个以上音频信号的智能混合。此外，虽然在将音乐音频信号与电话呼叫音频信号进行混合的上下文中描述本发明的技术，但本发明更通常涵盖任何第一和第二音频信号的组合。所混合的第一和第二音频信号可包括任何类型的音频，只要音频信号与不同来源相关联，且需要经组合以在音频信号的来源中形成感觉差异。举例来说，第一和第二音频信号可为音乐音频信号和电话呼叫音频信号、两个不同的电话呼叫音频信号、两个不同的音乐音频信号或电话呼叫、音乐、语音和/或音调音频信号的任一组合。如本文所述，任何其它类型的非音乐音频也可从前景到背景进行处理。
最初，装置2可在音乐模式下操作。在音乐模式下，混合单元10接收来自音乐单元8的音频信号。音乐单元8可包括音频编码器/解码器(CODEC)和相关联的易失性或非易失性存储器。音乐单元8可对数字音频信号进行解码，以产生音乐音频信号。或者，音乐单元8可播放模拟音频信号，以产生音乐音频信号。将所产生的音乐音频传递到音频混合单元10，其将输出信号转发到驱动电路12，以驱动扬声器14A和14B。
当接收到传入电话呼叫时，装置2从音乐模式改变为电话呼叫模式。根据本发明，电话呼叫模式允许在背景中播放音乐，而电话呼叫音频处于前景中。这允许用户在接收到传入电话呼叫时不中断地欣赏音乐。此外，根据本发明，音乐可在电话呼叫模式下改变，使得音乐音频信号被处理以变成背景音乐。出于本发明的目的，假定电话呼叫模式是将传入电话呼叫与音乐进行组合的模式。当然，装置2还可在仅电话模式下操作，所述模式的背景中不包含任何音乐。
在电话呼叫模式(具有音乐)下，混合单元10接收第一音频信号(即，来自音乐单元8的音乐信号)和第二音频信号(即，来自调制解调器6的电话呼叫音频信号)。混合单元10处理所述音乐音频和电话呼叫音频，以组合这些音频信号，且在这样做时，将音乐音频移动到感觉背景。为了这样做，混合单元10可将第一正增益施加到第一音频信号(音乐)的第一信道；将第一负增益施加到第一音频信号的第二信道；将第二正增益施加到第二音频信号(电话呼叫)的第一信道；且将第三正增益施加到第二音频信号的第二信道。混合单元10接着将第一音频信号的第一信道与第二音频信号的第一信道进行组合，且将第一音频信号的第二信道与第二音频信号的第二信道进行组合。除了可经界定以帮助在电话模式下形成音乐的背景效应的所述增益之外，混合单元10还可使用若干其它处理技术。具体来说，混合单元10可执行缩放、滤波、延迟和/或信道组合，以便用有效的实施方案来实现所需效应。
一旦第一和第二音频信号(例如，音乐和电话呼叫)已被组合，混合单元10就将输出信号传递到驱动电路12。驱动电路12使用所述输出信号来产生驱动信号，所述驱动信号可驱动扬声器14A和14B，且进而产生可听声音。扬声器14可包括耳机扬声器、落地式扬声器、机动车中的扬声器，或通常任何类型的扬声器设计。
图2是可在音频装置中用来执行本发明的技术的示范性音频混合单元20的框图。图2的混合单元20可对应于图1的混合单元10，或可在其它类型的装置中使用。如图2中所示，混合单元20接收两个音频信号，音乐15和电话呼叫16。
在图2的实例中，一个音频信号是立体声音乐15，且另一音频信号是单声道电话呼叫16，尽管本发明不限于此方面。当没有电话呼叫正在会话中时，混合单元20在音乐模式下操作。在此音乐模式下，音乐占据整个前景。然而，如果有电话呼叫传入，那么混合单元20进入电话呼叫模式，其导致音乐被重新处理成背景，而电话呼叫保留在前景中。在图2中，穿过标量30和31的音乐路径被称为前景路径，而穿过标量28和29的音乐路径是背景路径。
将单电话呼叫音频信号16直接混合成立体声输出，且分别通过用于左侧混合和右侧混合的增益值g4和g5进行缩放。以此方式，电话呼叫将被听成前景声音级中的清晰语音，可能朝一侧偏斜，视增益值而定。
所述音乐具有由第一(左)前标量30和第二(右)前标量31缩放的前景副本，以及由第一(左)后标量28和第二(右)后标量29缩放的背景副本。在两种模式的稳定状态期间，标量值在下文所论述的表1中展示。
为了形成背景声音图像，左(L)或右(R)音频信道中的一者与负标量值(例如，g2和g3)相乘，使得背景声音的立体声音图像比前景声音图像更具扩散性。在图2的实例中，将R立体声信道分成多个分量或路径22、23，且使R信道的路径中的每一者与相应的负标量值g2和g3相乘。还将立体声音频信道中的一者(在此实例中为R信道)添加回到另一信道中。不同路径22、23允许一个路径以与界定相应信道的路径不同的增益添加回到另一信道。此设计有助于使背景声音图像偏斜，使得其不在声音级的中心，这在心理学上形成较不重要的感觉。背景声音在等级方面也比前景副本低。如果音乐是单声道的，那么产生并使用具有相同L和R信道的立体声信号，且感觉结果类似于立体声输入的感觉结果。
为了加强背景声音的感觉，可使用两个低通滤波器(LPF)18和19来在将音乐音频应用于对应增益g1、g2和g3之前，从音乐音频的L和R分量中滤出高频。LPF18和19的应用模仿和夸示了空气吸收效应，其导致较远声音对象与较近声音对象相比，在高频下展现出较小的频谱功率。图2的系统中的低通滤波器的使用是可选的。
还可在低通滤波器的一者后使用延迟电路21。由延迟电路21引入到信道的一者中的延迟有助于使背景声音图像进一步扩散，使得其听起来较不清晰，且更像是背景声音。此延迟电路21也是可选的。大约10毫秒的延迟通常足以增强背景效应，而不会在音频中导致不合需要的假象。
通过改变其前景路径与背景路径之间的立体声音乐处理来实现音乐模式与电话呼叫模式之间的转换。为了使过渡平滑，可对下文表1中所列出的标量进行线性标量改变，如图3A和图3B中所说明。具体地说，图3A和图3B说明当在音乐模式与电话呼叫模式之间切换时，标量值可如何及时改变。线性过渡可减小计算复杂性，尽管也可使用其它过渡曲线。图3A和图3B中所描绘的标量值都落在零与一之间。
再次参看图2，音乐15最初作为唯一的音频而播放。在仅音乐模式下，将用于左和右信道的前标量30和31设置为一，即等级1，以允许所述音乐在前景中播放。此时，将后标量28和29设置为零，以阻止音乐进入背景路径。如果所述音乐是单声道的，那么可从单声道音乐信号产生或简单地复制左和右信道。在此仅音乐模式下，左和右信道的混合输出38和39在前景中包含音乐，在背景中不包含任何东西。穿过标量30和31的音乐路径在本文被称为前景路径。相反，背景路径穿过标量28和29。
当接收到电话呼叫音频信号16时，混合单元20改变为电话呼叫模式。电话呼叫音频信号16可包含传递给用户的铃音警报，接着是电话通话(假定用户响应于听到所述铃音警报而接听电话呼叫)。电话呼叫音频信号16是单声道的，在此情况下，单个信号被分割，且沿两个不同路径向下传递通过放大器32和33，以界定左和右信道中的输出。当然，本文所描述的左和右信道可以倒置而得出类似结果。而且，相同的技术可与立体声的电话呼叫音频信号一起使用。
根据本发明，为了处理电话呼叫音频信号16，混合单元20改变为电话呼叫模式，且音乐音频信号15从前景信号过渡到背景信号。在此情况下，前标量30和31的标量值从一(1)过渡到零(0)，以阻止前(前景)路径中的任何音乐。同时，后标量28和29的标量值从零(0)过渡到一(1)，以允许音乐穿过背景路径。标量28、29、30和31可包括可调节增益电路或软件实施的放大器(其界定图3A和图3B中所说明的转移函数)，这取决于模式改变。具体来说，下文更详细地论述的图3A和图3B为分别由标量30、31、28和29执行的这些过渡提供一些有效的转移函数。所述过渡可能仅花费几秒，例如大约3秒，且因此，通常在电话呼叫音频的铃音部分期间发生。
在背景路径中，音乐信号15的左和右信道分别由低通滤波器19和18进行滤波。举例来说，低通滤波器19和18可包括近似在z域中具有转移函数的单极滤波器。
H ( z ) = 0.15 1 - ( 0.8 ) z - 1
其中以44100Hz的取样速率来设计参数。
如上文所提及，在用于音乐音频信号15的右信道的第一低通滤波器18之后，可添加延迟电路21。举例来说，延迟电路21可添加大约10毫秒的延迟。所述延迟将扩散效应添加到所述音乐，其增强背景效应。
在延迟电路21之后，将音乐音频信号15的右信道分成两个路径22和23。通过放大器24和25对路径22和23执行缩放。路径22接着穿过后标量29，标量29此时具有值一(1)或过渡到一。后标量29的输出界定背景路径中的音乐信号15的右信道。后标量29的此输出经由加法器35与任何衰减前景音乐组合。具体来说，如果前标量31尚未过渡到零，那么一些前景音乐可能仍存在于右信道中，其经由加法器35与背景路径组合。
在用于音乐音频信号15的左信道的第二低通滤波器19之后，缩放由放大器26执行。接着经由加法器27将路径22中的右信道的经缩放版本添加到左信道。这将向左偏斜添加到背景路径中的音乐信号，从而进一步增强背景效应。接着，音乐音频信号15的左信道穿过后标量28，后标量28此时具有值一(1)或过渡到一。后标量28的输出界定背景路径中的音乐信号15的左信道。后标量28的此输出经由加法器34与任何前景音乐组合。类似于右信道，对于左信道来说，如果前标量30尚未过渡到零，那么一些前景音乐可能仍存在，且将经由加法器34与背景路径组合。
放大器24、25、26、32和33的增益可为可编程的，且可经选择以获得电话呼叫音频在前景中且音乐在背景中的所需效应。为了这样做，用于音乐的背景路径中的放大器24、25或26中的一者或一者以上可界定负增益。具体地说，用于音乐信号15的右信道的路径22和23的放大器24和25可界定负增益，其通常彼此不同。作为实例，放大器24、25、26、32和33的增益可为如下：
放大器26(g1＝0.5)
放大器25(g2＝-0.07)
放大器24(g3＝-0.12)
放大器32(g4＝0.575)
放大器33(g5＝0.818)
加法器36和37将电话呼叫音频信号16与音乐音频信号15进行组合。然而，此时，电话呼叫音频信号16由放大器32和33缩放，而音乐音频信号15经由滤波、延迟、信道组合和缩放而调节到背景。因此，混合单元20的输出(混合L信号38和混合R信号39)在前景中包含电话呼叫音频，且在背景中包含音乐。此外，音频效应可在音乐从前景过渡到背景或从背景过渡到前景时包含过渡。这些过渡由标量30、31、28和29执行。
下文的表1陈述用于音乐模式和电话呼叫模式的前标量L30、前标量R31、后标量L28和后标量R29的值。
表1
 
音乐模式 电话呼叫模式
前标量L — 零
前标量R — 零
后标量L 零 —
后标量R 零 —
此外，如上文所提及，标量30、31、28和29可执行从音乐模式的过渡。所述过渡可遵循从一到零或从零到一的线性或其它调节。此外，所述过渡针对不同信道可不同，以形成音乐从背景到前景或从前景到背景的舒适的音频过渡。
图3A和图3B是说明用于将音频信号的信道从前景改变为背景(图3A)和用于将音频信号的信道从背景改变到前景(图3B)的示范性标量函数的时序图。如从图3A可见，不同标量使前景路径以线性方式从一改变为零，且使背景路径以线性方式从零改变为一。然而，不同信道不会同时改变。即，不同信道在不同时间周期内以线性方式改变。这可提供在所述音乐移动到感觉上的背景的情况下从前景中的音乐到电话呼叫音频和音乐的听得到的舒适改变。值一(1)意味着允许给定信道的所有音频通过，而值零(0)意味着给定信道的所有音频都被阻止。当标量值越过(例如)值0.5时，那个路径的幅值的一半的信道输出将包含在输出信号中。
图3A和图3B中所说明的时间周期可在大约1秒与6秒之间，例如3.3秒。图3A说明从音乐模式到电话呼叫模式的改变。在此情况下，用于第一音频的第一信道的前标量函数301使第一音频的第一信道的前景输出从一改变为零。用于第一音频的第二信道的前标量函数302在与用于第一音频的第一信道的前标量函数不同的时间周期内，使第一音频的第二信道的前景输出从一改变为零。用于第一音频的第一信道的后标量函数303使第一音频的第一信道的背景输出从零改变为一。用于第一音频的第二信道的后标量函数304在与用于第一音频的第一信道的后标量函数不同的时间周期内，使第一音频的第二信道的背景输出从零改变为一。标量函数301到304可在硬件、软件、电路、逻辑等中实施。此外，尽管将标量函数301到304说明为本质上是线性的，但本发明不限于此方面。还可使用其它调节函数曲线，例如余弦和指数曲线。此外，应用于不同信道的不同函数不一定在不同时间周期内改变。而是在一些实施例中，所述函数可在相同时间周期内应用，以使相应的信道同时从前景改变为背景或从背景改变为前景。
图3B说明从电话呼叫模式回到音乐模式的改变。在此情况下，用于第一音频的第一信道的前标量函数305使第一音频的第一信道的前景输出从零改变为一。用于第一音频的第二信道的前标量函数306在与用于第一音频的第一信道的前标量函数不同的时间周期内，使第一音频的第二信道的前景输出从零改变为一。用于第一音频的第一信道的后标量函数307使第一音频的第一信道的背景输出从一改变为零。用于第一音频的第二信道的后标量函数308在与用于第一音频的第一信道的后标量函数不同的时间周期内，使第一音频的第二信道的背景输出从一改变为零。如同标量函数301到304一样，标量函数305到308也可以是线性的或遵循其它曲线。
图4是说明根据本发明的音频混合技术的流程图。如图4中所示，混合单元20接收音乐音频信号15(41)。标量30、31、28和29施加标量函数，以在前景中播放音乐(42)。在此情况下，标量30和31施加值一，以允许音乐穿过那些路径，而标量28和29施加值零，以阻止沿那些路径的音乐。基于前景中的音乐而产生音乐输出(43)。
当混合单元20接收到与传入电话呼叫相关联的音频时(44)，改变标量30、31、28和29的标量值，以在背景中播放所述音乐(45)。所述改变可包含短过渡周期，例如通过施加如图3A中所说明的标量函数。此时，音乐从前景改变为背景。单元18、19、21、24、25、26和27都用于经由滤波(单元18和19)、延迟(单元21)、缩放(单元24、25和26)以及信道组合(单元27)而在音乐中形成背景效应。此外，单元24和25的增益可为负，而单元26的增益为正。这些各种信号调节可经调谐以形成所需的背景音乐效应。
接着经由加法器36和37使电话音频信号16与音乐音频信号15(在音乐音频信号15的背景处理之后)混合(46)。还可在将单声道电话信号分割成具有相同音频的两个信道之后，经由放大器32和33对电话音频信号16执行缩放。接着可产生组合输出(47)。在此情况下，针对左和右信道而产生的输出38和39在前景中包含电话呼叫音频，且在背景中包含音乐。然而，还可相对于其它类型的音频信号而应用本发明的技术。
图5是说明根据本发明的音频混合技术的另一流程图。当混合单元20处于电话呼叫模式时，应用图5的技术，在此情况下，将后标量28和29设置为一，且将前标量30和31设置为零。如图5中所示，混合单元20接收第一音频信号15和第二音频信号16。放大器26将第一正增益施加到第一音频信号的第一信道(52)，且放大器24将第一负增益施加到第一音频信号的第二信道(53)。对于第二音频信号16，放大器32将第二正增益施加到第一信道(54)，且放大器33将第三正增益施加到第二信道(55)。如果接收到的音频是单声道的，那么音频信号16的第一和第二信道可以是相同的。
加法器36将第一音频信号的第一信道与第二音频信号的第一信道进行组合(56)。另外，加法器37将第一音频信号的第二信道与第二音频信号的第二信道进行组合(57)。如从图5可了解，元件18、19、21、25和27所执行的额外技术是可选的。换句话说，即使在没有可选元件18、19、21、25和27的情况下，图5的技术也可由与图2中所示的混合器20的电路类似的电路来实施。然而，使用额外元件18、19、21、25和27可增强施加于音乐的背景效应。
图6是说明根据本发明的音频混合技术的另一流程图。类似于图5的技术，当混合单元20处于电话呼叫模式时，也应用图6的技术，在此情况下，将后标量28和29设置为一，且将前标量30和31设置为零。如图6中所示，混合单元20接收第一音频(音乐音频15)和第二音频(电话呼叫音频16)(61)。在第一音频的背景路径中，使用低通滤波器18和19来对第一和第二信道进行滤波(62)。此低通滤波去除高频信号，以模仿和夸示空气吸收效应。较远的声音对象与较近的声音对象相比在高频下具有较低频谱功率，因此此低通滤波可使声音听起来似乎较远。
接着使用延迟电路21来延迟第一音频的第二信道(63)。向信道中的一者添加延迟可使背景声音图像扩散，使得其听起来较不清晰，且因此更像是背景声音。
放大器26将第一正增益施加到第一音频的第一信道(即，左信道)(64)。放大器24将第一负增益施加到第一音频的第二信道(即，右信道)(65)。而且，放大器25将第二负增益施加到第二信道的第二路径22(66)。接着，经由加法器27将此第二路径22添加到第一音频的第一信道中(67)，这使背景声音图像偏斜，以形成更多背景效应。
将第二音频(电话呼叫音频16)分成左信道和右信道，如果此些立体声信道尚不存在的话。经由放大器32将第二正增益施加到第二音频的第一信道(即，左信道)(68)，而经由放大器33将第三正增益施加到第二音频信号的第二信道(即，右信道)(69)。放大器32和33的增益可以是相同的，或可稍稍不同，以向前景声音图像添加轻微的偏移。这可使前景声音图像从背景声音图像移开。
加法器36将第一音频信号的第一信道与第二音频信号的第一信道进行组合(70)。类似地，加法器37将第一音频信号的第二信道与第二音频信号的第二信道进行组合(71)。接着，可将经混合的信号38和39传递到驱动电路，驱动电路可形成驱动信号，以供扬声器播放经组合的输出(72)。
本发明的处理技术实施起来相对较简单，尤其在与已开发以在音频信号中形成感觉改变的常规头部相关转移函数(HRTF)相比时。本文所描述的技术可在硬件、软件、固件或其任一组合中实施。如果在软件中实施，那么本发明可针对于包括指令的计算机可读媒体，所述指令当在音频装置中执行时，致使所述装置执行本文所述的音频混合技术中的一者或一者以上。在所述情况下，所述计算机可读媒体可包括随机存取存储器(RAM)，例如同步动态随机存取存储器(SDRAM)；只读存储器(ROM)；非易失性随机存取存储器(NVRAM)；电可擦除可编程只读存储器(EEPROM)；快闪存储器等。
所述指令可以是计算机可读指令，且数字信号处理器(DSP)可执行存储在存储器中的指令，以便实行所述音频混合技术中的一者或一者以上。在一些情况下，所述技术可由DSP执行，所述DSP调用各种硬件组件来加速混合过程。在其它情况下，可将本文所述的单元或模块实施为微处理器、一个或一个以上专用集成电路(ASIC)、一个或一个以上现场可编程门阵列(FPGA)、离散逻辑电路或某一其它硬件-软件组合。
在前面的论述内容中，本发明已在将立体声音乐信号与单声道电话呼叫进行混合的上下文中提供了细节。然而，所述技术可容易对单声道音乐起作用，在此情况下，所述不同信道将是单声道信号的复制品。所述技术还可对立体声电话呼叫起作用。此外，本发明的技术可用于混合任何两种音频信号，其中一个信号相对于前景中的另一信号而移动到背景。换句话说，对音乐和电话呼叫的论述只是可使用本发明的技术混合的两个不同音频信号的一个实例。这些和其它实施例都在所附权利要求书的范围内。

Claims (45)

1.一种方法，其包括：
接收第一音频和第二音频；
将第一正增益施加到所述第一音频的第一信道；
将负增益施加到所述第一音频的第二信道；
将第二正增益施加到所述第二音频的第一信道；
将第三正增益施加到所述第二音频的第二信道；
将所述第一音频的所述第一信道与所述第二音频的所述第一信道进行组合；以及
将所述第一音频的所述第二信道与所述第二音频的所述第二信道进行组合。
2.根据权利要求1所述的方法，其中所述第一音频是音乐音频，且所述第二音频信号是与传入电话呼叫相关联的电话呼叫音频。
3.根据权利要求1所述的方法，其进一步包括将标量函数施加到所述第一音频，以在所述第一音频的前景与背景输出之间改变，其中所述标量函数包含：
用于所述第一音频的所述第一信道的第一前标量函数；
用于所述第一音频的所述第二信道的第二前标量函数；
用于所述第一音频的所述第一信道的第一后标量函数；以及
用于所述第一音频的所述第二信道的第二后标量函数，
其中在界定所述背景输出的路径中施加所述第一音频的所述增益。
4.根据权利要求3所述的方法，其中所述标量函数响应于从音乐模式到电话呼叫模式的改变而导致所述第一音频中的从前感觉位置到后感觉位置的感觉改变。
5.根据权利要求4所述的方法，其中响应于从所述音乐模式到所述电话呼叫模式的所述改变：
用于所述第一音频的所述第一信道的所述第一前标量函数使所述第一音频的所述第一信道的前景输出从一改变为零；
用于所述第一音频的所述第二信道的所述第二前标量函数在与用于所述第一音频的所述第一信道的所述前标量函数不同的时间周期内，使所述第一音频的所述第二信道的前景输出从一改变为零；
用于所述第一音频的所述第一信道的所述第一后标量函数使所述第一音频的所述第一信道的背景输出从零改变为一；
用于所述第一音频的所述第二信道的所述第二后标量函数在与用于所述第一音频的所述第一信道的所述后标量函数不同的时间周期内，使所述第一音频的所述第二信道的背景输出从零改变为一；
6.根据权利要求1所述的方法，其中所述负增益包括第一负增益，所述方法进一步包括：
将第二负增益施加到所述第一音频的所述第二信道的第二路径，且将所述第二路径添加到所述第一音频的所述第一信道中。
7.根据权利要求6所述的方法，其中：
所述第一音频的所述第一信道的所述第一正增益为约0.5；
所述第一音频的所述第二信道的所述第一负增益为约-0.12；
所述第一音频的所述第二信道的所述第二路径的所述第二负增益为约-0.07；
所述第二音频的所述第一信道的所述第二正增益为约0.575；以及
所述第二音频的所述第二信道的所述第三正增益为约0.818。
8.根据权利要求1所述的方法，其进一步包括将低通滤波器应用于所述第一音频的所述第一和第二信道。
9.根据权利要求1所述的方法，其进一步包含延迟所述第一音频的所述第二信道。
10.根据权利要求1所述的方法，其中所述第一音频的所述第一和第二信道包括左和右立体声信道，且其中所述第二音频是单声道音频，所述方法进一步包括将所述第二音频的所述左和右信道界定为所述单声道音频的副本。
11.根据权利要求1所述的方法，其中所述第一音频和所述第二音频是单声道音频，所述方法进一步包括分别针对所述第一和第二音频来界定所述左和右信道。
12.一种方法，其包括：
接收音乐音频和电话呼叫音频，所述音乐音频包含第一和第二信道，且所述电话呼叫音频包含单声道信道。
将标量函数施加到所述音乐音频，以使所述音乐音频的路径从前景路径改变为背景路径；
在所述背景路径中将低通滤波器应用于所述音乐音频的所述第一和第二信道。
在所述背景路径中延迟所述音乐音频的所述第二信道；
在所述背景路径中将第一正增益施加到所述音乐音频的所述第一信道；
在所述背景路径中将第一负增益施加到所述音乐音频的所述第二信道的第一路径；
在所述背景路径中将第二负增益施加到所述音乐音频的所述第二信道的第二路径；
在所述背景路径中将所述音乐音频的所述第二信道的所述第二路径添加到所述音乐音频的所述第一信道中；
基于单声道信道来界定所述电话呼叫音频的第一和第二信道；
将第二正增益施加到所述电话呼叫音频的第一信道；
将第三正增益施加到所述电话呼叫音频的第二信道；
将所述背景路径中的所述音乐音频的所述第一信道与所述电话呼叫音频的所述第一信道进行组合；以及
将所述背景路径中的所述音乐音频的所述第二信道与所述电话呼叫音频的所述第二信道进行组合。
13.根据权利要求12所述的方法，其进一步包括将标量函数施加到所述音乐音频，以在所述前景路径与背景路径之间改变，其中所述标量函数响应于从音乐模式到电话呼叫模式的改变而导致所述音乐音频中的从前感觉位置到后感觉位置的感觉改变。
14.根据权利要求13所述的方法，其中施加标量函数包含：
施加用于所述音乐音频的所述第一信道的第一前标量函数，以使所述音乐音频的所述第一信道的前景输出从一改变为零；
施加用于所述音乐音频的所述第二信道的第二前标量函数，以在与用于所述音乐音频的所述第一信道的所述前标量函数不同的时间周期内，使所述音乐音频的所述第二信道的前景输出从一改变为零；
施加用于所述音乐音频的所述第一信道的第一后标量函数，以使所述音乐音频的所述第一信道的背景输出从零改变为一；以及
施加用于所述音乐音频的所述第二信道的第二后标量函数，以在与用于所述音乐音频的所述第一信道的所述后标量函数不同的时间周期内，使所述音乐音频的所述第二信道的背景输出从零改变为一。
15.一种计算机可读媒体，其包括指令，所述指令在执行时：
接收第一音频和第二音频；
将第一正增益施加到所述第一音频的第一信道；
将负增益施加到所述第一音频的第二信道；
将第二正增益施加到所述第二音频的第一信道；
将第三正增益施加到所述第二音频的第二信道；
将所述第一音频的所述第一信道与所述第二音频的所述第一信道进行组合；以及
将所述第一音频的所述第二信道与所述第二音频的所述第二信道进行组合。
16.根据权利要求15所述的计算机可读媒体，其中所述第一音频是音乐音频，且所述第二音频信号是与传入电话呼叫相关联的电话呼叫音频。
17.根据权利要求15所述的计算机可读媒体，其中所述指令将标量函数施加到所述第一音频，以在所述第一音频的前景输出与背景输出之间改变，其中所述标量函数包含：
用于所述第一音频的所述第一信道的第一前标量函数；
用于所述第一音频的所述第二信道的第二前标量函数；
用于所述第一音频的所述第一信道的第一后标量函数；以及
用于所述第一音频的所述第二信道的第二后标量函数，
其中在界定所述背景输出的路径中施加所述第一音频的所述增益。
18.根据权利要求17所述的计算机可读媒体，其中所述标量函数响应于从音乐模式到电话呼叫模式的改变而导致所述第一音频中的从前感觉位置到后感觉位置的感觉改变。
19.根据权利要求18所述的计算机可读媒体，其中响应于从所述音乐模式到所述电话呼叫模式的所述改变：
用于所述第一音频的所述第一信道的所述第一前标量函数使所述第一音频的所述第一信道的前景输出从一改变为零；
用于所述第一音频的所述第二信道的所述第二前标量函数在与用于所述第一音频的所述第一信道的所述前标量函数不同的时间周期内，使所述第一音频的所述第二信道的前景输出从一改变为零；
用于所述第一音频的所述第一信道的所述第一后标量函数使所述第一音频的所述第一信道的背景输出从零改变为一；
用于所述第一音频的所述第二信道的所述第二后标量函数在与用于所述第一音频的所述第一信道的所述后标量函数不同的时间周期内，使所述第一音频的所述第二信道的背景输出从零改变为一。
20.根据权利要求15所述的计算机可读媒体，其中所述负增益包括第一负增益，其中所述指令：
将第二负增益施加到所述第一音频的所述第二信道的第二路径，且将所述第二路径添加到所述第一音频的所述第一信道中。
21.根据权利要求20所述的计算机可读媒体，其中：
所述第一音频的所述第一信道的所述第一正增益为约0.5；
所述第一音频的所述第二信道的所述第一负增益为约-0.12；
所述第一音频的所述第二信道的所述第二路径的所述第二负增益为约-0.07；
所述第二音频的所述第一信道的所述第二正增益为约0.575；以及
所述第二音频的所述第二信道的所述第三正增益为约0.818；
22.根据权利要求15所述的计算机可读媒体，其中所述指令将低通滤波器应用于所述第一音频的所述第一和第二信道。
23.根据权利要求15所述的计算机可读媒体，其中所述指令延迟所述第一音频的所述第二信道。
24.根据权利要求15所述的计算机可读媒体，其中所述第一音频的所述第一和第二信道包括左和右立体声信道，且其中所述第二音频是单声道音频，且其中所述指令将所述第二音频的所述左和右信道界定为所述单声道音频的副本。
25.根据权利要求15所述的计算机可读媒体，其中所述第一音频和所述第二音频是单声道音频，且其中所述指令分别针对所述第一和第二音频来界定所述左和右信道。
26.一种装置，其包括：
音频混合单元，其组合两个或两个以上音频信号以形成音频输出，其中所述音频混合单元：
接收第一音频信号和第二音频信号；
将第一正增益施加到所述第一音频信号的第一信道；
将负增益施加到所述第一音频信号的第二信道；
将第二正增益施加到所述第二音频信号的第一信道；
将第三正增益施加到所述第二音频信号的第二信道；
将所述第一音频信号的所述第一信道与所述第二音频信号的所述第一信道进行组合；以及
将所述第一音频信号的所述第二信道与所述第二音频信号的所述第二信道进行组合。
27.根据权利要求26所述的装置，其中所述装置包括无线电电话，且其中所述第一音频信号是音乐音频，且所述第二音频信号是与传入电话呼叫相关联的电话呼叫音频，所述装置进一步包括：
音乐单元，其产生所述音乐音频；
传输器/接收器，其接收无线通信；以及
调制解调器，其从所述无线通信中产生所述电话呼叫音频。
28.根据权利要求26所述的装置，其中混合单元将标量函数施加到所述第一音频信号，以在所述第一音频信号的前景输出与背景输出之间改变，其中所述标量函数包含：
用于所述第一音频信号的所述第一信道的第一前标量函数；
用于所述第一音频信号的所述第二信道的第二前标量函数；
用于所述第一音频信号的所述第一信道的第一后标量函数；以及
用于所述第一音频信号的所述第二信道的第二后标量函数，其中在界定所述背景输出的路径中施加所述第一音频信号的所述增益。
29.根据权利要求28所述的装置，其中所述标量函数响应于从音乐模式到电话呼叫模式的改变而导致所述第一音频信号中的从前感觉位置到后感觉位置的感觉改变。
30.根据权利要求29所述的装置，其中响应于从所述音乐模式到所述电话呼叫模式的所述改变：
用于所述第一音频信号的所述第一信道的所述第一前标量函数使所述第一音频信号的所述第一信道的前景输出从一改变为零；
用于所述第一音频信号的所述第二信道的所述第二前标量函数在与用于所述第一音频信号的所述第一信道的所述前标量函数不同的时间周期内，使所述第一音频信号的所述第二信道的前景输出从一改变为零；
用于所述第一音频信号的所述第一信道的所述第一后标量函数使所述第一音频信号的所述第一信道的背景输出从零改变为一；
用于所述第一音频信号的所述第二信道的所述第二后标量函数在与用于所述第一音频信号的所述第一信道的所述后标量函数不同的时间周期内，使所述第一音频信号的所述第二信道的背景输出从零改变为一。
31.根据权利要求26所述的装置，其中所述负增益包括第一负增益，其中所述混合单元：
将第二负增益施加到所述第一音频信号的所述第二信道的第二路径，且将所述第二路径添加到所述第一音频信号的所述第一信道中。
32.根据权利要求31所述的装置，其中：
所述第一音频信号的所述第一信道的所述第一正增益为约0.5；
所述第一音频信号的所述第二信道的所述第一负增益为约-0.12；
所述第一音频信号的所述第二信道的所述第二路径的所述第二负增益为约-0.07；
所述第二音频信号的所述第一信道的所述第二正增益为约0.575；以及
所述第二音频信号的所述第二信道的所述第三正增益为约0.818。
33.根据权利要求26所述的装置，其中所述混合单元将低通滤波器应用于所述第一音频信号的所述第一和第二信道。
34.根据权利要求26所述的装置，其中所述混合单元延迟所述第一音频信号的所述第二信道。
35.根据权利要求26所述的装置，其中所述第一音频信号的所述第一和第二信道包括左和右信道，且其中所述第二音频信号是单声道音频信号，且其中所述混合单元将所述第二音频信号的所述左和右信道界定为所述单声道音频信号的副本。
36.根据权利要求26所述的装置，其中所述第一音频信号和所述第二音频信号是单声道音频信号，且其中所述混合单元分别针对所述第一和第二音频信号来界定所述左和右信道。
37.根据权利要求26所述的装置，其进一步包括：
扬声器；以及
驱动电路，其接收所述第一和第二信道的经组合信号，且产生驱动信号以驱动所述扬声器。
38.根据权利要求26所述的装置，其中所述第一和第二音频信号包括以下一者：
数字信号；以及
模拟信号。
39.一种装置，其包括：
用于接收音乐音频信号和电话呼叫音频信号的装置，所述音乐音频信号包含第一和第二信道，且所述电话呼叫音频信号包含单声道信道；
用于将标量函数施加到所述音乐音频信号以使所述音乐音频信号的路径从前景路径改变为背景路径的装置；
用于在所述背景路径中将低通滤波器应用于所述音乐音频信号的所述第一和第二信道的装置；
用于在所述背景路径中延迟所述音乐音频信号的所述第二信道的装置；
用于在所述背景路径中将第一正增益施加到所述音乐音频信号的所述第一信道的装置；
用于在所述背景路径中将第一负增益施加到所述音乐音频信号的所述第二信道的第一路径的装置；
用于在所述背景路径中将第二负增益施加到所述音乐音频信号的所述第二信道的第二路径的装置；
用于在所述背景路径中将所述音乐音频信号的所述第二信道的所述第二路径添加到所述音乐音频信号的所述第一信道中的装置；
用于基于单声道信道来界定所述电话呼叫音频信号的第一和第二信道的装置；
用于将第二正增益施加到所述电话呼叫音频信号的第一信道的装置；
用于将第三正增益施加到所述电话呼叫音频信号的第二信道的装置；
用于将所述背景路径中的所述音乐音频信号的所述第一信道与所述电话呼叫音频信号的所述第一信道进行组合的装置；以及
用于将所述背景路径中的所述音乐音频信号的所述第二信道与所述电话呼叫音频信号的所述第二信道进行组合的装置。
40.根据权利要求39所述的装置，其进一步包括用于将标量函数施加到所述音乐音频信号以在所述前景路径与背景路径之间改变的装置，其中所述标量函数响应于从音乐模式到电话呼叫模式的改变而导致所述音乐音频信号中的从前感觉位置到后感觉位置的感觉改变。
41.根据权利要求39所述的装置，其中用于施加标量的装置包含：
用于施加用于所述音乐音频信号的所述第一信道的第一前标量函数以使所述音乐音频信号的所述第一信道的前景输出从一改变为零的装置。
用于施加用于所述音乐音频信号的所述第二信道的第二前标量函数，以在与用于所述音乐音频信号的所述第一信道的所述前标量函数不同的时间周期内，使所述音乐音频信号的所述第二信道的前景输出从一改变为零的装置；
用于施加用于所述音乐音频信号的所述第一信道的第一后标量函数以使所述音乐音频信号的所述第一信道的背景输出从零改变为一的装置；以及
用于施加用于所述音乐音频信号的所述第二信道的第二后标量函数，以在与用于所述音乐音频信号的所述第一信道的所述后标量函数不同的时间周期内，使所述音乐音频信号的所述第二信道的背景输出从零改变为一的装置。
42.一种装置，其包括音频混合单元，所述音频混合单元：
接收包含第一和第二立体声信道的第一音频信息；
基于所述第一音频信息而产生第一前景音频输出；
接收第二音频信息；
将增益施加到所述第一和第二立体声信道，以产生背景音频输出；
基于所述第二音频信息而产生第二前景音频输出；以及
将所述第二前景音频输出与所述背景音频输出进行组合，以产生所述第一和第二音频信息的组合输出。
43.根据权利要求42所述的装置，其中所述混合单元使用缩放、滤波、延迟和信道组合来产生所述背景音频输出。
44.一种装置，其包括音频混合单元，所述音频混合单元：
接收音乐音频；
将所述音乐音频呈现给用户；
接收电话呼叫音频；
混合所述音乐音频与所述电话呼叫音频，使得所述音乐音频为背景音频，且所述电话呼叫音频为前景音频，包含将增益施加到所述音乐音频以形成背景感觉；以及
将所述音乐音频与所述电话音频的组合呈现为组合输出，其中所述音乐处于背景中，且所述电话呼叫处于前景中。
45.根据权利要求44所述的装置，其中所述混合单元使用缩放、滤波、延迟和信道组合来产生所述音乐音频的所述背景感觉。
CN2007800206746A 2006-06-07 2007-05-18 用于混合音频的方法和装置 Expired - Fee Related CN101461258B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/449,454 2006-06-07
US11/449,454 US8041057B2 (en) 2006-06-07 2006-06-07 Mixing techniques for mixing audio
PCT/US2007/069232 WO2007143373A2 (en) 2006-06-07 2007-05-18 Mixing techniques for mixing audio

Publications (2)

Publication Number Publication Date
CN101461258A true CN101461258A (zh) 2009-06-17
CN101461258B CN101461258B (zh) 2011-06-15

Family

ID=38739508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800206746A Expired - Fee Related CN101461258B (zh) 2006-06-07 2007-05-18 用于混合音频的方法和装置

Country Status (6)

Country Link
US (1) US8041057B2 (zh)
EP (1) EP2025203A2 (zh)
JP (1) JP5269775B2 (zh)
KR (1) KR101136768B1 (zh)
CN (1) CN101461258B (zh)
WO (1) WO2007143373A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986732A (zh) * 2010-11-05 2011-03-16 北京工业大学 一种在手机通话中添加背景场景的方法
CN102860048A (zh) * 2010-02-26 2013-01-02 诺基亚公司 修改多个音频信号的空间图像
CN103188587A (zh) * 2011-12-29 2013-07-03 哈曼贝克自动系统股份有限公司 带有单独播放区的音响系统
CN104471640A (zh) * 2012-07-20 2015-03-25 高通股份有限公司 基于对象的环绕声编码解码器的具有反馈的可缩放降混设计
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
CN108141696A (zh) * 2016-03-03 2018-06-08 谷歌有限责任公司 用于空间音频调节的系统和方法

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697947B2 (en) * 2005-10-05 2010-04-13 Sony Ericsson Mobile Communications Ab Method of combining audio signals in a wireless communication device
US20080056455A1 (en) * 2006-08-17 2008-03-06 Sony Ericsson Mobile Communications Ab Apparatus and Method of Generating Composite Audio Signals
US20090060208A1 (en) * 2007-08-27 2009-03-05 Pan Davis Y Manipulating Spatial Processing in a Audio System
US8498667B2 (en) * 2007-11-21 2013-07-30 Qualcomm Incorporated System and method for mixing audio with ringtone data
US8515106B2 (en) * 2007-11-28 2013-08-20 Qualcomm Incorporated Methods and apparatus for providing an interface to a processing engine that utilizes intelligent audio mixing techniques
US8660280B2 (en) * 2007-11-28 2014-02-25 Qualcomm Incorporated Methods and apparatus for providing a distinct perceptual location for an audio source within an audio mixture
US8554551B2 (en) 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
CN101610306B (zh) * 2008-06-16 2012-08-29 鸿富锦精密工业（深圳）有限公司 无线通信装置
US8577052B2 (en) * 2008-11-06 2013-11-05 Harman International Industries, Incorporated Headphone accessory
US20110054647A1 (en) * 2009-08-26 2011-03-03 Nokia Corporation Network service for an audio interface unit
US20120288122A1 (en) * 2010-01-15 2012-11-15 Bang & Olufsen A/S Method and a system for an acoustic curtain that reveals and closes a sound scene
US20110183724A1 (en) * 2010-01-28 2011-07-28 Jonathan William Medved Generation of video clips from a friend's recent social stream
KR200454910Y1 (ko) * 2010-02-19 2011-08-03 주식회사 대성하이테크전자 카 오디오용 믹싱 콘솔 장치
JP5866883B2 (ja) 2011-08-31 2016-02-24 ヤマハ株式会社 スピーカ装置
GB201204324D0 (en) * 2012-03-12 2012-04-25 Jaguar Cars Audio system
JP5928102B2 (ja) * 2012-03-30 2016-06-01 ブラザー工業株式会社 音調整装置、音調整方法、及び音調整プログラム
US9332370B2 (en) 2013-03-14 2016-05-03 Futurewei Technologies, Inc. Method and apparatus for using spatial audio rendering for a parallel playback of call audio and multimedia content
US9661144B2 (en) 2013-09-13 2017-05-23 Motorola Solutions, Inc. Method and apparatus for priority summing of group auditory data
US9654643B2 (en) 2013-09-13 2017-05-16 Motorola Solutions, Inc. Method and apparatus for unidirectional summing of group auditory data
WO2015103470A1 (en) 2014-01-03 2015-07-09 Fugoo Corporation Portable stereo sound system
KR102213429B1 (ko) * 2014-01-13 2021-02-08 삼성전자 주식회사 사운드 제공 방법 및 이를 구현하는 전자 장치
US9352701B2 (en) * 2014-03-06 2016-05-31 Bose Corporation Managing telephony and entertainment audio in a vehicle audio platform
US9778899B2 (en) * 2015-02-25 2017-10-03 Intel Corporation Techniques for setting volume level within a tree of cascaded volume controls with variating operating delays
US9977645B2 (en) * 2015-10-01 2018-05-22 Moodelizer Ab Dynamic modification of audio content
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
CN107295455B (zh) * 2016-03-31 2020-09-11 宇龙计算机通信科技(深圳)有限公司 一种短距离无线通信的应用方法与终端设备
EP3232688A1 (en) 2016-04-12 2017-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing individual sound zones
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
CN110970008A (zh) * 2018-09-28 2020-04-07 广州灵派科技有限公司 一种嵌入式混音方法、装置、嵌入式设备及存储介质
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10966041B2 (en) 2018-10-12 2021-03-30 Gilberto Torres Ayala Audio triangular system based on the structure of the stereophonic panning
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US10779105B1 (en) * 2019-05-31 2020-09-15 Apple Inc. Sending notification and multi-channel audio over channel limited link for independent gain control
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243640A (en) * 1991-09-06 1993-09-07 Ford Motor Company Integrated cellular telephone and vehicular audio system
US5436975A (en) 1994-02-02 1995-07-25 Qsound Ltd. Apparatus for cross fading out of the head sound locations
JPH0846585A (ja) * 1994-07-27 1996-02-16 Fujitsu Ten Ltd ステレオ受信装置
JPH08154300A (ja) * 1994-11-28 1996-06-11 Hitachi Ltd 音響再生装置
US7012630B2 (en) 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
US5850455A (en) 1996-06-18 1998-12-15 Extreme Audio Reality, Inc. Discrete dynamic positioning of audio signals in a 360° environment
US5809149A (en) 1996-09-25 1998-09-15 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis
US6173061B1 (en) 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
US6011851A (en) 1997-06-23 2000-01-04 Cisco Technology, Inc. Spatial audio processing method and apparatus for context switching between telephony applications
US6067361A (en) 1997-07-16 2000-05-23 Sony Corporation Method and apparatus for two channels of sound having directional cues
DE69924896T2 (de) 1998-01-23 2005-09-29 Onkyo Corp., Neyagawa Vorrichtung und Verfahren zur Schallbildlokalisierung
US6983251B1 (en) 1999-02-15 2006-01-03 Sharp Kabushiki Kaisha Information selection apparatus selecting desired information from plurality of audio information by mainly using audio
US6349223B1 (en) * 1999-03-08 2002-02-19 E. Lead Electronic Co., Ltd. Universal hand-free system for cellular phones in combination with vehicle's audio stereo system
AU3675200A (en) 1999-04-19 2000-11-02 Sanyo Electric Co., Ltd. Portable telephone set
US6985594B1 (en) 1999-06-15 2006-01-10 Hearing Enhancement Co., Llc. Voice-to-remaining audio (VRA) interactive hearing aid and auxiliary equipment
US6839438B1 (en) 1999-08-31 2005-01-04 Creative Technology, Ltd Positional audio rendering
US6850496B1 (en) 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US6947728B2 (en) 2000-10-13 2005-09-20 Matsushita Electric Industrial Co., Ltd. Mobile phone with music reproduction function, music data reproduction method by mobile phone with music reproduction function, and the program thereof
US6804565B2 (en) * 2001-05-07 2004-10-12 Harman International Industries, Incorporated Data-driven software architecture for digital sound processing and equalization
JP4507450B2 (ja) 2001-05-14 2010-07-21 ソニー株式会社 通話装置および方法、記録媒体、並びにプログラム
US6882971B2 (en) 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US20040078104A1 (en) * 2002-10-22 2004-04-22 Hitachi, Ltd. Method and apparatus for an in-vehicle audio system
DE10339188A1 (de) * 2003-08-22 2005-03-10 Suspa Holding Gmbh Gasfeder
JP2006074572A (ja) * 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd 情報端末
EP1657961A1 (en) 2004-11-10 2006-05-17 Siemens Aktiengesellschaft A spatial audio processing method, a program product, an electronic device and a system
US7433716B2 (en) 2005-03-10 2008-10-07 Nokia Corporation Communication apparatus
US7697947B2 (en) 2005-10-05 2010-04-13 Sony Ericsson Mobile Communications Ab Method of combining audio signals in a wireless communication device
US8078188B2 (en) 2007-01-16 2011-12-13 Qualcomm Incorporated User selectable audio mixing

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102860048A (zh) * 2010-02-26 2013-01-02 诺基亚公司 修改多个音频信号的空间图像
CN101986732A (zh) * 2010-11-05 2011-03-16 北京工业大学 一种在手机通话中添加背景场景的方法
CN101986732B (zh) * 2010-11-05 2013-04-03 北京工业大学 一种在手机通话中添加背景场景的方法
CN103188587A (zh) * 2011-12-29 2013-07-03 哈曼贝克自动系统股份有限公司 带有单独播放区的音响系统
CN103188587B (zh) * 2011-12-29 2018-04-27 哈曼贝克自动系统股份有限公司 带有单独播放区的音响系统
CN104471640A (zh) * 2012-07-20 2015-03-25 高通股份有限公司 基于对象的环绕声编码解码器的具有反馈的可缩放降混设计
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
CN108141696A (zh) * 2016-03-03 2018-06-08 谷歌有限责任公司 用于空间音频调节的系统和方法

Also Published As

Publication number Publication date
EP2025203A2 (en) 2009-02-18
CN101461258B (zh) 2011-06-15
JP2009540686A (ja) 2009-11-19
KR101136768B1 (ko) 2012-04-19
KR20090017667A (ko) 2009-02-18
US20070286426A1 (en) 2007-12-13
US8041057B2 (en) 2011-10-18
WO2007143373A2 (en) 2007-12-13
JP5269775B2 (ja) 2013-08-21
WO2007143373A3 (en) 2008-04-10

Similar Documents

Publication Publication Date Title
CN101461258B (zh) 用于混合音频的方法和装置
CN1655651B (zh) 用于合成听觉场景的方法和设备
CN105917674B (zh) 用于处理音频信号的方法和移动装置
CN102860048B (zh) 用于处理产生声场的多个音频信号的方法和设备
KR101071598B1 (ko) 사용자 선택가능 오디오 믹싱
CN101356573B (zh) 对双耳音频信号的解码的控制
CN1142705C (zh) 低位率空间编码方法和系统以及低位率空间编码系统的解码器和解码方法
US20080004729A1 (en) Direct encoding into a directional audio coding format
CN107979796A (zh) 用于双信道音频系统中的立体声场域增强的系统及方法
AU2007204332A1 (en) Decoding of binaural audio signals
US20090292544A1 (en) Binaural spatialization of compression-encoded sound data
CN1066902C (zh) 信号组合电路、信号处理电路、立体声电路重放系统及视听重放系统
CN104969571B (zh) 用于渲染立体声信号的方法
WO1992015180A1 (en) Sound reproduction system
KR101110495B1 (ko) 진동 소자를 이용하여 사운드 효과를 제공하기 위한 단말기 및 방법
AU2019213006B2 (en) Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels
JPH02230898A (ja) 音声再生方式
Cobos et al. Interactive enhancement of stereo recordings using time-frequency selective panning
Etlinger A musically motivated approach to spatial audio for large venues

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110615

Termination date: 20210518