CN104160722B - 用于声音空间化的听觉传输合成方法 - Google Patents

用于声音空间化的听觉传输合成方法 Download PDF

Info

Publication number
CN104160722B
CN104160722B CN201380009062.2A CN201380009062A CN104160722B CN 104160722 B CN104160722 B CN 104160722B CN 201380009062 A CN201380009062 A CN 201380009062A CN 104160722 B CN104160722 B CN 104160722B
Authority
CN
China
Prior art keywords
signal
sound
spatialization
channel
impulse response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380009062.2A
Other languages
English (en)
Other versions
CN104160722A (zh
Inventor
弗兰克·罗塞
让-吕克·豪赖斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AXD Technologies LLC
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN104160722A publication Critical patent/CN104160722A/zh
Application granted granted Critical
Publication of CN104160722B publication Critical patent/CN104160722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)

Abstract

本发明涉及一种用于从原始多声道音频文件产生空间化立体声音频数字文件的方法，其特征在于，该方法包括：在每个声道上执行处理以取消串扰的步骤；合并声道以产生立体声信号的步骤；以及为增加声音动态而执行动态过滤和特定均衡的步骤。

Description

用于声音空间化的听觉传输合成方法
技术领域
本发明涉及尤其在听觉传输(transaural)技术领域中的、特别是纳入房间效果的音频信号的声音空间化的领域，声音空间化也称为空间化渲染。
术语“双耳”是指在立体声头戴式耳机、一对耳机或一对扬声器上、以空间化效果恢复声音信号。然而，本发明不限于上述技术，并且特别适用于由“双耳”技术衍生而来的技术，例如在具有多点声音系统的电影院或音乐厅中安装的远程扬声器上的“听觉传输”(商业名称)恢复技术。
本发明的一个特定应用例如是丰富由一对扬声器播放的音频内容以使收听者沉浸在空间化的声音场景中，这特别地包括房间效果或室外效果。
背景技术
对于头戴式耳机或扬声器上的“双耳”技术的实施，现有技术中定义了空间中声音源的位置和收听者双耳之间的声音信号的过滤或传输函数。上述头部的听觉传输函数在频率形式中表示为HRTF(头相关传输函数)以及在时间形式中表示为HRIR(头相关脉冲响应)。对于空间中的一个方向，最终获得两个HRTF：一个针对右耳且一个针对左耳。
特别地，双耳技术在于将头部的这种听觉传输函数应用于单声道音频信号，以获得立体声信号，这使得当用头戴式耳机收听时感觉声音源是来自空间中的一个特定方向。右耳的信号是通过用右耳的HRTF过滤单声道信号而获得的，且左耳的信号是通过用左耳的HRTF过滤同一单声道信号而获得的。
在空间渲染中，当对于收听者考虑这一事实时：即感到声音源或多或少地远离头部，即称为“外化”的现象，并且这与声音源的来源方向无关，在双耳3D渲染中经常发生的是，收听者感觉声音源是在头部内。因此，感觉到的声音源称为非外化的。
各种研究显示，在双耳3D渲染方法中增加房间效果使得能够大大增加声音源的外化。
现有技术中已知专利申请US 2007/011025A，其公开了一种用于声音空间化的方法，该方法包括针对实际位置处的一组实际声音源而确定声学矩阵的步骤，和针对在不同于收听者的实际位置的位置处的一组明显声音源的声学信号传输而计算声学矩阵的步骤。该方法还包括解析传输函数矩阵以向收听者呈现创建了源自明显声音源的声音的音频图像的音频信号的步骤。
现有技术的缺点
现有技术解决方案是固定的并且不能够在多个可能的氛围中选择空间氛围。它们通常基于基于虚拟头部计算的变换矩阵。
现有技术解决方案通常不允许声音环境的外化感觉。
本发明提供的解决方案
物理房间和物理扬声器使得能够计算将用于产生多声道的过滤器。
非限制性具体实施方式
参考附图，通过阅读以下描述，将更好地理解本发明，其中：
-图1示出了用于脉冲信号数据库的构造阶段的设备的一般原理图；
-图2示出了用于获取脉冲信号的设备的示意图；
-图3示出了收听设备的原理图。
根据本发明的方法包括第一处理(1)，其在于响应于参考多频信号，通过记录由扬声器产生的信号，基于多个物理空间中的声学信号的获取而产生脉冲信号的数据库。
然后，对于待空间化的每个音频序列，该方法在于应用一系列处理：
-当待空间化的信号是立体声信号时，该方法包括基于该立体声信号而构造N.i信号的预备步骤(2)；
-基于从上述数据库中选择的脉冲响应文件之一而转换N.i个声道中的每个声道的信号的步骤(3)；
-重新组合如此被转换的N.i个声道的信号以构造空间化立体声信号的步骤(4)。
该立体声信号随后可以由一对标准扬声器播放，以恢复与用于产生脉冲响应信号的空间或这种空间的组合相对应的空间化声音氛围。
构造脉冲响应数据库的初始步骤
该步骤被重复多次。该步骤由图2显示。
对于每个系列的脉冲响应，该步骤在于在物理空间中，例如音乐厅、开放或封闭的场地或给定场所，布置与优选地具有已知质量的放大器(14)相关联的一组已知扬声器(5至11；17)，以及一对麦克风(12、13)，麦克风(12、13)相对于扬声器组(5至11；17)的位置针对正被获取的扬声器组是固定的。
然后，通过使用放大器(14)，将原始多频信号连续地施加于扬声器5至11中的每一个。该原始信号例如是具有声谱中的频率变化的、持续时间在10至90秒之间的序列。这样的信号例如是在20 Hz和20 KHz之间的线性变化，或甚至是覆盖扬声器整个频谱的任何信号。
由有源扬声器产生的声音信号被麦克风对(12、13)接收，并且产生记录的立体声信号。基于该信号，按照已知方式执行96 KHz采样，并且通过原始信号和记录的信号之间的快速傅里叶变换来去卷积，以针对相关物理空间中的相关扬声器而构造脉冲响应。
对于组中的扬声器(5至11)中的每一个，然后对于不同物理空间，复制该步骤，在上述不同物理空间中将一组相同或不同的扬声器与相同或不同的放大器和相同的麦克风放置在一起。
该第一步骤在于构造立体声脉冲响应的数据库。
准备空间化信号的步骤
该步骤使得能够从与传统数字记录相对应的N.i多声道信号中构造空间化立体声音频信号。
该步骤在于在初始步骤期间构造的数据库中选择N+i个脉冲响应。
该选择在于将N+1个信号中的每一个与所述数据库中的脉冲响应之一相关联，要注意的是，脉冲响应的空间中的获取位置对应于与其相关联的声道的空间中的位置。
对于每对“单声道信号/立体声脉冲响应”，实施卷积处理以计算一对立体声空间化信号SSG和SSD。
因此，产生了N+i对j个空间化信号Sj SG和Sj SD，其中j在1至N+i之间。
例如，如果初始记录是5.1型的，则将构造6对空间化信号。
可选地，对声道进行均衡以改进j个信号的动态。
空间化立体声信号的构造
最终步骤在于重新组合j个信号以构造一对空间化右信号和左信号。
为此，增加与位于左边的空间相对应的j个信号Sj SG以构造空间化立体声信号的左声道。增加与位于右边的空间相对应的j个信号Sj SD以构造空间化立体声信号的右声道。
可选地，对声道进行均衡以改进这两个个信号的动态。
立体声初始信号的情形；声道数量的增加和中间声道的创建
当待空间化的信号不是N.i型而仅仅是立体声信号时，执行中间步骤，该中间步骤在于通过在左音轨和右音轨之间的相位提取处理来构造N.i信号，以构造新的不同的信号。
这种相位提取在于通过将左声道信号和相移右声道信号相加的处理来产生对应于重构中央声道的信号，其中相移例如是反相。
为了创建其他“重构”声道，以不同的相移角度对左音轨和右音轨执行相移，并且将相移信号对与凭经验确定的权重相加，以恢复空间化声音氛围。
此外，当创建“重构”声道时，对右信号和左信号施加频率过滤器，以增加信号的动态且保持声音的高保真质量。
信号的重构
图3示出了从一对实际扬声器(17、18)中恢复的设备的示意图。
这对扬声器(17、18)接收能够模拟所计算的扬声器(20至27和30至37)的信号。
所计算的扬声器(20至27)的有效数量对应于用于产生脉冲信号数据库的物理扬声器(5至11；17)的数量，或者对应于根据上述方法重构的虚拟扬声器的数量。
此外，创建虚拟扬声器(30至37)，从而产生在相邻的实际扬声器的组合的声音空间中的感觉，以便填补音孔。
通过修改供给相邻的实际扬声器的信号来创建该虚拟扬声器。
因此，产生十五个声音文件，8个(7.1)对应于基于脉冲信号的处理，且7个通过组合这十五个文件来计算。
根据它们的右、左或中央的分量来分配信号，以产生用于左扬声器的左信号(17)和用于右扬声器的右信号(28)：
-“右”信号对应于所计算的“右”信号(21、22、23)和虚拟的“右”信号(30、31、32)以及具有幅度为50％的权重的虚拟的(33)和计算的(20、27)“中央”信号的相加；
-“左”信号对应于计算的“左”信号(24、25、26)和虚拟的“左”信号(34、35、36)以及具有幅度为50％的权重的虚拟的(33)和计算的(20、27)的中央信号的相加。
这个立体声信号随后被施加到与一对扬声器(18、19)相连的传统音频设备，其将重新产生空间化声音氛围，该氛围对应于用于构造脉冲信号数据库的设备的声音氛围或虚拟声音氛围，该虚拟声音氛围与多个原始氛围的组合相对应，该组合在必要的情况下富含虚拟声音氛围。

Claims (4)

1.一种用于从原始多声道音频文件中产生空间化立体声音频数字文件的方法，其特征在于，所述方法包括：
-通过记录由扬声器产生的信号，基于多个物理空间中的声学信号的获取而产生脉冲信号的数据库；
-当待空间化的信号是立体声信号时，该方法包括基于该立体声信号而构造N.i信号的预备步骤；
-基于从上述数据库中选择的脉冲响应文件之一而转换N.i个声道中的每个声道的信号的步骤，该步骤进一步包括：
-在所述数据库中选择N+i个脉冲响应，该选择在于将N+1个单声道信号中的每一个与所述数据库中的脉冲响应之一相关联，
-对于每对“单声道信号/脉冲响应”进行处理以计算一对立体声空间化信号；
-在每个声道上执行处理以取消串扰的步骤；
-合并所述声道以构造空间化立体声信号的步骤；以及
-为了增加声音动态而执行动态过滤和特定均衡的步骤。
2.根据权利要求1所述的用于产生空间化立体声音频数字文件的方法，其特征在于，取消串扰的所述步骤在于将与其他声道的相移和加权信号相对应的信号增加到每个声道的信号中。
3.根据权利要求1所述的用于产生空间化立体声音频数字文件的方法，其特征在于，所述原始信号是纯声的5.n多声道信号。
4.根据权利要求1所述的用于产生空间化立体声音频数字文件的方法，其特征在于，所述原始信号是基于立体声信号而计算的纯声的5.n多声道信号。
CN201380009062.2A 2012-02-13 2013-02-11 用于声音空间化的听觉传输合成方法 Active CN104160722B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1251328 2012-02-13
FR1251328A FR2986932B1 (fr) 2012-02-13 2012-02-13 Procede de synthese transaurale pour la spatialisation sonore
PCT/FR2013/050278 WO2013121136A1 (fr) 2012-02-13 2013-02-11 Procédé de synthèse transaurale pour la spatialisation sonore

Publications (2)

Publication Number Publication Date
CN104160722A CN104160722A (zh) 2014-11-19
CN104160722B true CN104160722B (zh) 2018-01-12

Family

ID=47901163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380009062.2A Active CN104160722B (zh) 2012-02-13 2013-02-11 用于声音空间化的听觉传输合成方法

Country Status (10)

Country Link
EP (1) EP2815589B1 (zh)
JP (1) JP6421385B2 (zh)
KR (1) KR20140128412A (zh)
CN (1) CN104160722B (zh)
BR (1) BR112014019926A2 (zh)
FR (1) FR2986932B1 (zh)
HK (1) HK1204188A1 (zh)
IN (1) IN2014DN06776A (zh)
RU (1) RU2639955C2 (zh)
WO (1) WO2013121136A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3065137B1 (fr) 2017-04-07 2020-02-28 Axd Technologies, Llc Procede de spatialisation sonore

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133327A1 (en) * 1998-03-31 2002-09-19 Mcgrath David Stanley Acoustic response simulation system
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
JP4062959B2 (ja) * 2002-04-26 2008-03-19 ヤマハ株式会社 残響付与装置、残響付与方法、インパルス応答生成装置、インパルス応答生成方法、残響付与プログラム、インパルス応答生成プログラムおよび記録媒体
US6937737B2 (en) * 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
KR20050060789A (ko) * 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
JP2005252332A (ja) * 2004-03-01 2005-09-15 Clarion Co Ltd 音場再生装置及びその制御方法
US8175286B2 (en) * 2005-05-26 2012-05-08 Bang & Olufsen A/S Recording, synthesis and reproduction of sound fields in an enclosure
JP2006339694A (ja) * 2005-05-31 2006-12-14 D & M Holdings Inc オーディオ信号出力装置
US7970626B2 (en) * 2005-07-08 2011-06-28 Oltine Acquistitions NY LLC Facilitating payments to health care providers
KR100619082B1 (ko) * 2005-07-20 2006-09-05 삼성전자주식회사 와이드 모노 사운드 재생 방법 및 시스템
TWI396188B (zh) * 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
MX2008011994A (es) * 2006-03-24 2008-11-27 Dolby Sweden Ab Generacion de mezclas descendentes espaciales a partir de representaciones parametricas de señales de multicanal.
ATE532350T1 (de) * 2006-03-24 2011-11-15 Dolby Sweden Ab Erzeugung räumlicher heruntermischungen aus parametrischen darstellungen mehrkanaliger signale
JP2008301427A (ja) * 2007-06-04 2008-12-11 Onkyo Corp マルチチャンネル音声再生装置
RU2437247C1 (ru) * 2008-01-01 2011-12-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки звукового сигнала
RU2469497C2 (ru) * 2008-02-14 2012-12-10 Долби Лэборетериз Лайсенсинг Корпорейшн Стереофоническое расширение
UA101542C2 (ru) * 2008-12-15 2013-04-10 Долби Лабораторис Лайсензин Корпорейшн Виртуализатор окружающего звука с динамическим сжатием диапазона и способ
KR101764175B1 (ko) * 2010-05-04 2017-08-14 삼성전자주식회사 입체 음향 재생 방법 및 장치

Also Published As

Publication number Publication date
IN2014DN06776A (zh) 2015-05-22
EP2815589A1 (fr) 2014-12-24
WO2013121136A1 (fr) 2013-08-22
BR112014019926A2 (pt) 2017-07-04
JP6421385B2 (ja) 2018-11-14
EP2815589B1 (fr) 2017-04-05
RU2014133066A (ru) 2016-04-10
CN104160722A (zh) 2014-11-19
JP2015510348A (ja) 2015-04-02
FR2986932B1 (fr) 2014-03-07
KR20140128412A (ko) 2014-11-05
RU2639955C2 (ru) 2017-12-25
HK1204188A1 (zh) 2015-11-06
FR2986932A1 (fr) 2013-08-16

Similar Documents

Publication Publication Date Title
JP4364326B2 (ja) 複数の聴取者用３次元音響再生装置及びその方法
CN100586227C (zh) 立体声扩展网络中的输出均衡
US5459790A (en) Personal sound system with virtually positioned lateral speakers
US5661812A (en) Head mounted surround sound system
US6144747A (en) Head mounted surround sound system
CN105308988B (zh) 配置成转换音频输入通道用于头戴受话器收听的音频解码器
CN102972047B (zh) 用于再现立体声的方法和设备
KR20080060640A (ko) 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
JP2005167612A (ja) 音場再生装置及び音場空間再生システム
CN108476367A (zh) 用于沉浸式音频回放的信号的合成
US20190394596A1 (en) Transaural synthesis method for sound spatialization
CN107039029A (zh) 头盔中具有有源噪声控制的声音再现
CN104396279B (zh) 用于多声道音频信号的下混合的方法和设备
KR101914209B1 (ko) 개선된 복원을 위한 오디오 신호 처리 방법
US20200059750A1 (en) Sound spatialization method
CN104160722B (zh) 用于声音空间化的听觉传输合成方法
CN105163239B (zh) 4d裸耳全息立体声实现方法
US20150036827A1 (en) Transaural Synthesis Method for Sound Spatialization
CN1141007C (zh) 针对多个收听者的三维声音再生设备及其方法
KR100275779B1 (ko) 5채널 오디오 데이터를 2채널로 변환하여 헤드폰으로 재생하는 장치 및 방법
US9609454B2 (en) Method for playing back the sound of a digital audio signal
US20230370797A1 (en) Sound reproduction with multiple order hrtf between left and right ears
KR101534295B1 (ko) 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
JP5482381B2 (ja) 音響信号を用いたデータ伝送装置およびデータ伝送方法
KR20230119192A (ko) 스테레오 헤드폰 심리음향 음 위치측정 시스템 및 이를사용한 스테레오 심리음향 음 신호를 재구성하기 위한 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180731

Address after: American California

Patentee after: A3D technology limited liability company

Address before: Brussels

Co-patentee before: HAURAIS JEAN-LUC

Patentee before: ROSSET FRANCK

TR01 Transfer of patent right