CN102783187B - 扩大具有最佳三维音频感知的位置的方法 - Google Patents
扩大具有最佳三维音频感知的位置的方法 Download PDFInfo
- Publication number
- CN102783187B CN102783187B CN201180008056.6A CN201180008056A CN102783187B CN 102783187 B CN102783187 B CN 102783187B CN 201180008056 A CN201180008056 A CN 201180008056A CN 102783187 B CN102783187 B CN 102783187B
- Authority
- CN
- China
- Prior art keywords
- channel signal
- audio
- cross
- decoded
- decoded channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
提供了一种用于扩大具有最佳三维音频感知的位置的方法。最佳三维音频感知可以涉及全空间音效。所述方法包括:从具有第一通道信号和第二通道信号的音频输入信号导出三维编码的位置提示;将所述第一通道信号和所述第二通道信号解码成多个经解码的通道信号,所述多个经解码的通道信号适合于多个扬声器单元;对所述多个经解码的通道信号执行串音消除,以消除所述多个经解码的通道信号之间的串音;以及将已经经过串音消除的所述多个经解码的通道信号输出到各个所述多个扬声器单元。有利的是,所述串音消除包括进一步处理以产生平滑的频率包络线。
Description
相关申请的交叉引用
本申请包括对2008年10月6日提交的US12/246,491中所公开的主题的引用。
技术领域
本发明涉及音频信号处理过程。具体地,本发明涉及处理音频信号的方法。
背景技术
立体声信号可以被解码成多通道音频,当用户通过多个扬声器体验多通道音频时,该用户被提供以沉浸感和现实感。将信号解码成多通道音频可以使用由创新科技有限公司(CreativeTechnologyLtd.)提交的另一个专利申请US12/246,491中所公开的技术来执行。
应当注意,电影院大厅通常包括多个扬声器,这多个扬声器以广范围散布扩音器布局被分布遍及电影院大厅,这多个扬声器指向坐在电影院大厅内的电影院观众,以使得电影院观众体验到空间音效。
遗憾的是,在一个与电影院大厅相比相对较小的封闭区域(诸如,例如家里的房间)内以广范围散布扩音器布局来设置多个扬声器并不方便,这归因于封闭区域的大小的限制以及存在多个扬声器可能显得多余的事实。然而,如果可以在家里再现空间音效的话,这将是非常希望的。此外,鉴于在家中放置紧凑的扬声器阵列单元的流行,如果使用紧凑的扬声器阵列单元可以在家里再现空间音效,这将是很希望的。
另外,因为不同于电影院大厅里的电影观众,呆在家里的人们保持坐在单一位置上是不太可能的,所以如果紧凑的扬声器阵列单元可以在扩大的位置再现空间音效,这也将是很希望的。
本发明旨在处理以上提及的情况。
发明内容
提供了一种用于扩大具有最佳三维音频感知的位置的方法。最佳三维音频感知可以涉及全空间音效。
所述方法包括:从具有第一通道信号和第二通道信号的音频输入信号导出三维编码的位置提示(locationcue);将所述第一通道信号和所述第二通道信号解码成多个经解码的通道信号,所述多个经解码的通道信号适用于多个扬声器单元;对所述多个经解码的通道信号执行串音消除,以消除所述多个经解码的通道信号之间的串音;以及将已经经过串音消除的所述多个经解码的通道信号输出到各个所述多个扬声器单元。有利的是,所述串音消除包括进一步的处理以产生平滑的频率包络线(envelope)。
平滑的频率包络线可以从被截平的倒谱重构,所述被截平的倒谱是从将各个所述多个经解码的通道信号转换成倒频谱导出的。所述平滑的频率包络线还最小化了假声(timbreartifact),所述假声为各个所述多个经解码的通道信号的倒频谱中的高峰和低谷。
位置提示可以包括至少上下维度、左右维度、前后维度、方位角和俯仰角等。所述三维编码的位置提示的导出可以基于向听者提供全空间音效。
由于经扩大的位置涉及涵盖了具有最佳三维音频感知的多个位置的边界,所以,具有最佳三维音频感知的经扩大的位置有利地允许听者走动。
所述方法可以优选地进一步包括在已经经过了串音消除的所述多个经解码的通道信号被输出到各个所述多个扬声器单元之前,对所述多个经解码的通道信号进行求和。各扬声器单元可以包括至少一个扬声器驱动器。优选地,所述串音消除可被执行以使听者感觉音频是从虚拟扬声器发出的。
附图说明
为了本发明可以被完全理解并且容易地被付诸实践,现在将以非限制性示例的方式仅描述本发明的优选实施例,描述将会参照说明性附图。
图1示出了本发明的方法的处理流程。
图2示出了用于执行图1的方法的系统的示意图。
图3示出了使用两个扩音器阵列的3D音频再现的可视化表示。
图4示出了倒频谱中平滑的频率包络线的图示。
图5示出了使用一个扩音器阵列的3D音频再现的可视化表示。
具体实施方式
参照图1和图2,它们分别提供了用于扩大具有最佳三维音频感知的位置(理论概念也称为“最佳听音位置”)的方法20的处理流程以及用于执行方法20的设备40的示意图。当描述方法20和设备40时,将会在随后的段落中分别参照图1和图2。应当理解的是,方法20和设备40在本文中描述用于说明性目的并且不应当以任何方式进行限制。最佳三维音频感知涉及全空间音效。还应当理解的是,由于经扩大的位置涉及涵盖了具有最佳三维音频感知的多个位置的边界,所以经扩大的具有最佳三维音频感知的位置允许听者走动。
用于扩大具有最佳三维音频感知的位置的方法20包括从具有第一通道信号和第二通道信号的音频输入信号导出三维编码的位置提示(22)。已知具有第一通道信号和第二通道信号的音频输入信号可以为立体声信号。导出三维编码的位置提示的技术可以涉及US12/246,491中描述的音频信号处理技术或任何已知的音频信号处理技术。三维编码的位置提示的导出是再现全空间音效的重要步骤。位置提示例如包括上下维度、左右维度、前后维度、方位角和俯仰角等。
方法20还包括将所述第一通道信号和所述第二通道信号解码成多个经解码的通道信号(24),所述多个经解码的通道信号适合于多个扬声器单元。各扬声器单元可以包括至少一个扬声器驱动器。随后,可以对所述多个经解码的通道信号执行串音消除,以消除所述多个经解码的通道信号之间的串音(26)。所述串音消除被执行以使听者感觉音频是从虚拟扬声器发出的。串音消除消除了通道之间的串音。串音消除还包括产生如图4所示的平滑的频率包络线100的进一步处理。所述平滑的频率包络线100是从被截平的倒谱重构的,所述被截平的倒谱是从将各个所述多个经解码的通道信号转换成倒频谱(标记为“未处理的(raw)”102)导出的。所述平滑的频率包络线100最小化了假声,所述假声为各个所述多个经解码的通道信号的倒频谱中“未处理的”102图中的高峰和低谷。
继而,方法20进一步包括在已经经过了串音消除的所述多个经解码的通道信号被输出到各个所述多个扬声器单元之前,对所述多个经解码的通道信号进行求和(30)。最后,方法20包括将已经经过了串音消除的各个求和的经解码的通道信号输出到各个多个扬声器单元(32)以使得听者在具有最佳三维音频感知的经扩大的位置能享受到全空间音效。在随后的段落中将进一步详细描述经扩大的位置的概念。
参照图5,示出了使用具有四个扬声器的一个扩音器阵列的3D音频再现的可视化表示。应当注意的是,E1与E4之间的区域表示具有最佳三维音频感知的经扩大的位置(来自虚拟扬声器v1、v2、v3、v4的线交叉的区域)。头部关联传递函数(HRTF)描述对于任意声音事件施加到听者的双耳响应的时间和振幅差异。这些差异归因于听者的头部和耳廓结构并且被耳朵利用以觉察音频是从哪里发出的。扩音器/头戴式耳机虚拟化使用HRTF被设计以向听者提供声音是从虚拟扬声器而非实际扬声器发出的感觉。
现在将提供数学表示以说明具有最佳三维音频感知的经扩大的位置的概念。
X是通过从音频输入信号导出三维编码的位置提示(方法20中的22)而产生的多通道音频。
Y是听者感知的听觉传输的音频。
Hc是从实际的音频源到听者的HRTF矩阵。
Hv是从虚拟的音频源到听者的HRTF矩阵。
是发送到实际的音频源的虚拟化输出。
ifft涉及“离散傅立叶逆变换”。
fft涉及“快速傅立叶变换”。
Y=HcX
H被转换成倒频谱,
ceps=ifft(log(abs(H))
随后,平滑的频谱包络线从被截平的倒谱重构。
Hsmooth=exp(fft(window(ceps)))
在图4中可以看出平滑的频谱包络线100。
参照图3,示出了使用两个扩音器阵列的3D音频再现的可视化表示。听者的七个位置P1、P2、P3、P4、P5、P6、P7表示听者能感知最佳三维音频感知的位置,其中这些位置是从以上段落中详述的数学过程可获得的。这七个位置可以被视为表示听者体验最佳的三维音频感知的区域的边界。
参照图2,示出了用于执行方法20的系统40的示意图。系统40允许立体声信号形式的音频输入信号(N1和N2)输入到系统40的解码器42。解码器42可以处理N1和N2以导出三维编码的位置提示并且将N1和N2解码成多个经解码的通道信号(x1,x2,.....,xN)。
系统40包括用于对多个经解码的通道信号(x1,x2,.....,xn)执行串音消除的多个音频滤波器44。所述串音消除被执行以使听者感觉音频是从虚拟扬声器发出的。串音消除消除了通道之间的串音。串音消除还包括产生如图4所示的平滑的频率包络线100的进一步的处理。
系统40包括用于对多个消除了串音的信号进行求和的多个信号求和电路46。最后,已经求和的多个消除了串音的信号被输出到多个扬声器单元(S1,S2,.....,SN),使得听者在具有最佳三维音频感知的经扩展的位置能体验到全空间音效。
尽管在前述描述中已经描述了本发明的优选实施例,但是相关技术领域的技术人员将会理解,在不脱离本发明的范围的情况下可以对设计或构造的细节进行多种变化或修改。
Claims (9)
1.一种用于扩大具有最佳三维音频感知的位置的方法,所述方法包括:
从具有第一通道信号和第二通道信号的音频输入信号导出三维编码的位置提示;
将所述第一通道信号和所述第二通道信号解码成多个经解码的通道信号,所述多个经解码的通道信号适合于多个扬声器单元;
对所述多个经解码的通道信号执行串音消除,以消除所述多个经解码的通道信号之间的串音;以及
将已经经过串音消除的所述多个经解码的通道信号输出到各个所述多个扬声器单元,
其中,所述串音消除包括进一步处理以产生平滑的频率包络线,
其中,所述平滑的频率包络线是从被截平的倒谱重构的,所述被截平的倒谱是从将各个所述多个经解码的通道信号转换成倒频谱导出的。
2.如权利要求1所述的方法,其中,所述位置提示包括选自包括以下各项的组中的至少一项:上下维度、左右维度、前后维度、方位角和俯仰角。
3.如权利要求1所述的方法,其中,由于经扩大的位置涉及涵盖了具有最佳三维音频感知的多个位置的边界,所以具有最佳三维音频感知的经扩大的位置允许听者走动。
4.如权利要求1所述的方法,其中,各扬声器单元包括至少一个扬声器驱动器。
5.如权利要求1所述的方法,其中,所述串音消除被执行以使听者感觉音频是从虚拟扬声器发出的。
6.如权利要求1所述的方法,其中,所述三维编码的位置提示的导出基于向听者提供全空间音效。
7.如权利要求1所述的方法,其中,所述平滑的频率包络线最小化了假声,所述假声为各个所述多个经解码的通道信号的倒频谱中的高峰和低谷。
8.如权利要求1所述的方法,其中,最佳三维音频感知涉及全空间音效。
9.如权利要求1所述的方法,进一步包括:在已经经过了串音消除的所述多个经解码的通道信号被输出到各个所述多个扬声器单元之前,对所述多个经解码的通道信号进行求和。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/698,085 US9247369B2 (en) | 2008-10-06 | 2010-02-01 | Method for enlarging a location with optimal three-dimensional audio perception |
US12/698,085 | 2010-02-01 | ||
PCT/SG2011/000014 WO2011093793A1 (en) | 2010-02-01 | 2011-01-11 | A method for enlarging a location with optimal three-dimensional audio perception |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102783187A CN102783187A (zh) | 2012-11-14 |
CN102783187B true CN102783187B (zh) | 2016-08-03 |
Family
ID=44319594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180008056.6A Active CN102783187B (zh) | 2010-02-01 | 2011-01-11 | 扩大具有最佳三维音频感知的位置的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9247369B2 (zh) |
CN (1) | CN102783187B (zh) |
SG (2) | SG182561A1 (zh) |
TW (1) | TWI528841B (zh) |
WO (1) | WO2011093793A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9522330B2 (en) | 2010-10-13 | 2016-12-20 | Microsoft Technology Licensing, Llc | Three-dimensional audio sweet spot feedback |
CN105792075B (zh) * | 2014-12-24 | 2017-10-03 | 中国科学院声学研究所 | 一种串声消除滤波器的生成方法及三维声音重放方法 |
WO2017127271A1 (en) * | 2016-01-18 | 2017-07-27 | Boomcloud 360, Inc. | Subband spatial and crosstalk cancellation for audio reproduction |
US10225657B2 (en) | 2016-01-18 | 2019-03-05 | Boomcloud 360, Inc. | Subband spatial and crosstalk cancellation for audio reproduction |
CA3011694C (en) | 2016-01-19 | 2019-04-02 | Boomcloud 360, Inc. | Audio enhancement for head-mounted speakers |
CN108206022B (zh) * | 2016-12-16 | 2020-12-18 | 南京青衿信息科技有限公司 | 利用aes/ebu信道传输三维声信号的编解码器及其编解码方法 |
CN107071658A (zh) * | 2017-04-28 | 2017-08-18 | 维沃移动通信有限公司 | 一种降低移动终端串音的方法及移动终端 |
US10313820B2 (en) * | 2017-07-11 | 2019-06-04 | Boomcloud 360, Inc. | Sub-band spatial audio enhancement |
US10257633B1 (en) | 2017-09-15 | 2019-04-09 | Htc Corporation | Sound-reproducing method and sound-reproducing apparatus |
US10764704B2 (en) | 2018-03-22 | 2020-09-01 | Boomcloud 360, Inc. | Multi-channel subband spatial processing for loudspeakers |
TW202008351A (zh) * | 2018-07-24 | 2020-02-16 | 國立清華大學 | 雙耳音頻再現系統及方法 |
US10841728B1 (en) | 2019-10-10 | 2020-11-17 | Boomcloud 360, Inc. | Multi-channel crosstalk processing |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6073100A (en) * | 1997-03-31 | 2000-06-06 | Goodridge, Jr.; Alan G | Method and apparatus for synthesizing signals using transform-domain match-output extension |
US7263193B2 (en) * | 1997-11-18 | 2007-08-28 | Abel Jonathan S | Crosstalk canceler |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5761315A (en) * | 1993-07-30 | 1998-06-02 | Victor Company Of Japan, Ltd. | Surround signal processing apparatus |
GB9603236D0 (en) * | 1996-02-16 | 1996-04-17 | Adaptive Audio Ltd | Sound recording and reproduction systems |
US6111181A (en) * | 1997-05-05 | 2000-08-29 | Texas Instruments Incorporated | Synthesis of percussion musical instrument sounds |
GB9726338D0 (en) * | 1997-12-13 | 1998-02-11 | Central Research Lab Ltd | A method of processing an audio signal |
US6175631B1 (en) * | 1999-07-09 | 2001-01-16 | Stephen A. Davis | Method and apparatus for decorrelating audio signals |
IL141822A (en) * | 2001-03-05 | 2007-02-11 | Haim Levy | A method and system for imitating a 3D audio environment |
US20030007648A1 (en) * | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
US20040236573A1 (en) * | 2001-06-19 | 2004-11-25 | Sapeluk Andrew Thomas | Speaker recognition systems |
US7006645B2 (en) * | 2002-07-19 | 2006-02-28 | Yamaha Corporation | Audio reproduction apparatus |
US8139797B2 (en) * | 2002-12-03 | 2012-03-20 | Bose Corporation | Directional electroacoustical transducing |
US7680289B2 (en) * | 2003-11-04 | 2010-03-16 | Texas Instruments Incorporated | Binaural sound localization using a formant-type cascade of resonators and anti-resonators |
US20050271214A1 (en) * | 2004-06-04 | 2005-12-08 | Kim Sun-Min | Apparatus and method of reproducing wide stereo sound |
KR100644617B1 (ko) * | 2004-06-16 | 2006-11-10 | 삼성전자주식회사 | 7.1 채널 오디오 재생 방법 및 장치 |
US7634092B2 (en) * | 2004-10-14 | 2009-12-15 | Dolby Laboratories Licensing Corporation | Head related transfer functions for panned stereo audio content |
CN1993002B (zh) * | 2005-12-28 | 2010-06-16 | 雅马哈株式会社 | 声像定位设备 |
US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
US8712061B2 (en) * | 2006-05-17 | 2014-04-29 | Creative Technology Ltd | Phase-amplitude 3-D stereo encoder and decoder |
US8619998B2 (en) * | 2006-08-07 | 2013-12-31 | Creative Technology Ltd | Spatial audio enhancement processing method and apparatus |
US8345899B2 (en) * | 2006-05-17 | 2013-01-01 | Creative Technology Ltd | Phase-amplitude matrixed surround decoder |
JP4797967B2 (ja) * | 2006-12-19 | 2011-10-19 | ヤマハ株式会社 | 音場再生装置 |
US8705748B2 (en) * | 2007-05-04 | 2014-04-22 | Creative Technology Ltd | Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems |
-
2010
- 2010-02-01 US US12/698,085 patent/US9247369B2/en active Active
-
2011
- 2011-01-11 WO PCT/SG2011/000014 patent/WO2011093793A1/en active Application Filing
- 2011-01-11 SG SG2012052577A patent/SG182561A1/en unknown
- 2011-01-11 SG SG10201500753QA patent/SG10201500753QA/en unknown
- 2011-01-11 CN CN201180008056.6A patent/CN102783187B/zh active Active
- 2011-01-24 TW TW100102445A patent/TWI528841B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6073100A (en) * | 1997-03-31 | 2000-06-06 | Goodridge, Jr.; Alan G | Method and apparatus for synthesizing signals using transform-domain match-output extension |
US7263193B2 (en) * | 1997-11-18 | 2007-08-28 | Abel Jonathan S | Crosstalk canceler |
Non-Patent Citations (1)
Title |
---|
Generalized crosstalk cancellation and equalization using multiple loudspeakers for 3D sound reproduction at the ears of multiple listeners;Huang, Yiteng Arden, Jacob Benesty, and Jingdong Chen;《Acoustics, Speech and Signal Processing, 2008. ICASSP 2008》;20080331;第405-408页 * |
Also Published As
Publication number | Publication date |
---|---|
TW201143483A (en) | 2011-12-01 |
SG10201500753QA (en) | 2015-04-29 |
SG182561A1 (en) | 2012-08-30 |
US20110188660A1 (en) | 2011-08-04 |
CN102783187A (zh) | 2012-11-14 |
US9247369B2 (en) | 2016-01-26 |
WO2011093793A1 (en) | 2011-08-04 |
TWI528841B (zh) | 2016-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102783187B (zh) | 扩大具有最佳三维音频感知的位置的方法 | |
KR102362245B1 (ko) | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 | |
CN104349267B (zh) | 声音系统 | |
CN106664499B (zh) | 音频信号处理装置 | |
CN103053180B (zh) | 用于声音再现的系统和方法 | |
CN104604255A (zh) | 基于对象的音频的虚拟渲染 | |
CN104604257A (zh) | 用于在各种收听环境中渲染并且回放基于对象的音频的系统 | |
CN104581610A (zh) | 一种虚拟立体声合成方法及装置 | |
CN101001484A (zh) | 对多声道声音模拟2声道虚拟声音的方法和装置 | |
CN104396279B (zh) | 用于多声道音频信号的下混合的方法和设备 | |
CN107743713B (zh) | 处理用于在汽车中再现的立体声信号以通过前置扬声器实现单独的三维声音的装置和方法 | |
US9066173B2 (en) | Method for producing optimum sound field of loudspeaker | |
US10440495B2 (en) | Virtual localization of sound | |
US20190306650A1 (en) | Apparatus and method for weighting stereo audio signals | |
Enomoto et al. | 3-D sound reproduction system for immersive environments based on the boundary surface control principle | |
KR102661374B1 (ko) | 사운드 소스의 선택적 콘트롤을 통한 입체 음향 출력 시스템 | |
KR100932791B1 (ko) | 음상 외재화를 위한 머리전달함수 생성 방법과, 그를이용한 3차원 오디오 신호 처리 장치 및 그 방법 | |
US20240056735A1 (en) | Stereo headphone psychoacoustic sound localization system and method for reconstructing stereo psychoacoustic sound signals using same | |
CN109121067B (zh) | 多声道响度均衡方法和设备 | |
CN114363793A (zh) | 双声道音频转换为虚拟环绕5.1声道音频的系统及方法 | |
Jot et al. | Center-Channel Processing in Virtual 3-D Audio Reproduction over Headphones or Loudspeakers | |
CN116261086A (zh) | 声音信号处理方法、装置、设备及存储介质 | |
Sodnik et al. | Spatial Sound |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |