CN111405456B - 一种网格化3d声场采样方法及系统 - Google Patents

Abstract

本发明涉及声场采样及构建技术领域，具体来说是一种网格化3D声场采样方法及系统，通过拾音器测量记录每一测点对应于每一声源的扫频信号数据，以根据扫频信号数据获得脉冲响应数据，并通过插值计算获得每一测点对相邻两声源之间的任意位置的脉冲响应数据。本发明的方法使得虚拟声源在声源区内的位置选取没有限制，音乐厅中声源与听音位置可以无限定位和选择，在音乐后期制作或现场虚拟声场再造时，可以选择合适的虚拟声源和听音位来找到最佳的录音和混音位置，如在舞台上稍微向后移动乐器，以获得更好的平衡，或使其更靠近，以获得更清晰的效果，达到在一个虚拟音乐厅的环境下，聆听到仿佛置身于现场的音乐会。

Description

一种网格化3D声场采样方法及系统

技术领域

本发明涉及声场采样及构建技术领域，具体来说是一种网格化3D声场采样方法及系统。

背景技术

音乐厅设计与一般建筑不同，首先考虑声学效果。每一个音乐厅都有其独特的声学效果，譬如举世闻名的柏林爱乐音乐厅、维也纳音乐厅、阿姆斯特丹音乐厅、波士顿交响音乐厅等都因其独特的声学效果而备受瞩目。

为了对音乐厅等场所的音乐进行录制和重现，现有技术一般采用卷积采样混响法或者算法混响法。采用卷积混响的听感可以做到接近逼真，但采样和听感是静态的。卷积混响中的声场采样技术主要基于声场的脉冲响应数据获取，声场脉冲响应是指声场中接收位置收到的由脉冲声源辐射的信号序列，受限于还原格式与还原技术，当前的脉冲响应数据获取往往仅采集接收位置的全指向单声道脉冲信号。因此，现有技术所采样获取的数据缺乏分离度，在声场重构时缺失3D的临场感。而算法混响法的听感虽然可以做到较高的品质，但往往缺乏逼真的品质，特别是在处理复杂的、长混响空间的T60衰减部分。

因此，为了更加逼真地记录、传播音乐会的录音品质，在听觉上改变以往只能去现场体验音乐会的效果的现状，并实现异地空间虚拟声场的构建，有必要对音乐厅的声场进行革命性地3D网格化采样，从而填补国内外相关采样技术的空白，为日后建立国内乃至国际的音乐厅3D声场数据库奠定基础。

发明内容

本发明的目的在于解决现有技术的不足，提供一种网格化3D声场采样方法及系统，以提高录音品质和播放效果。

为了实现上述目的，设计一种网格化3D声场采样方法，在采样空间内设有声源区和测点区，在声源区内布设若干声源点，每个声源点处均设有声源，在测点区内布设若干测点，测点处用于设置拾音器以对声源进行采样，并通过如下步骤以实现3D声场采样：

S1.通过拾音器测量记录每一测点对应于每一声源的扫频信号数据，以根据扫频信号数据获得脉冲响应数据，并通过插值计算获得每一测点对相邻两声源之间的任意位置的脉冲响应数据。

S2.对于测点区内的任意测点，选择声源区内的任意位置，并依据测点对该任意位置的脉冲响应数据合成音频信号。

优选地，所述的拾音器采用Ambisonics拾音器，所述的扫频信号数据为Ambisonics扫频信号数据，所述的脉冲响应数据为Ambisonics脉冲响应数据。

优选地，所述的方法在声源区内布设若干虚拟声源点，根据步骤S1分别获得所述的若干测点对应于所述的若干虚拟声源点的脉冲响应数据，而后通过步骤S2分别获得所述的若干测点对应于所述的若干虚拟声源点的音频信号，并将所述的音频信号存储于存储器中。

优选地，选择并播放所述的音频信号，以获得任意测点对应于任意虚拟声源点的音频信号。

优选地，所述的虚拟声源点均匀地分布于声源区内。

优选地，所述的方法应用于音乐厅中，所述的声源区为舞台区域，所述的声源点对应于乐队编制布局而布置。

优选地，所述的方法应用于音乐厅中，所述的测点区为观众席区域，所述的测点区中部的测点密度最大。

优选地，所述的插值计算采用双三次插值算法。

本发明还涉及一种用于所述的网格化3D声场采样方法的采样系统，包括：用于测量记录每一测点对应于每一声源的扫频信号数据的拾音器；用于根据扫频信号数据获得脉冲响应数据、通过插值计算获得每一测点对相邻两声源之间的任意位置的脉冲响应数据、通过脉冲响应数据合成音频信号的处理器。

本发明再涉及一种用于所述的网格化3D声场采样方法的采样系统，包括：用于测量记录每一测点对应于每一声源的扫频信号数据的拾音器；用于根据扫频信号数据获得脉冲响应数据、通过插值计算获得每一测点对相邻两声源之间的任意位置的脉冲响应数据、通过脉冲响应数据合成音频信号的处理器；用于存储所述的音频信号的存储器。

本发明同现有技术相比，其优点在于：本发明的方法使得虚拟声源在声源区内的位置选取没有限制，音乐厅中声源与听音位置可以无限定位和选择，在音乐后期制作或现场虚拟声场再造时，可以选择合适的虚拟声源和听音位来找到最佳的录音和混音位置，如在舞台上稍微向后移动乐器，以获得更好的平衡，或使其更靠近，以获得更清晰的效果。对于在耳机听音环境、可变电子声罩虚拟声场再造系统的听感上，可以达到十分逼近再造所采样音乐厅的声学效果，从而达到在一个虚拟音乐厅的环境下，聆听到仿佛置身于现场的音乐会，并且听众还可虚拟选择听音座位的位置，来聆听所处音乐厅内不同位置的演奏效果。

附图说明

图1是一实施方式中本发明的声源点布置于音乐厅内的布置示意图。

图2是一实施方式中音乐厅内舞台上的声源点布置示意图。

图3是一实施方式中本发明的测点布置于音乐厅内的布置示意图。

图4是一实施方式中本发明中音频信号的步骤示意图。

具体实施方式

下面结合附图对本发明作进一步说明，这种装置的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请发明人发现，在音乐厅中，一方面，舞台上演奏者通过音乐厅的声学设计，在各自所在的演奏位置实时地返听到自己演奏的声音，然后决定在这个音乐厅里他们怎样进行演奏。另一方面，在观众席，每一个座位都在接收来自每一件乐器所在舞台位置的独特的听感，这实际上是演奏者乐器所在位置的发出的直达声加上该位置所触发的来自墙面、天花、地面等全方位3D的反射声所叠加而成的综合的听觉效果。也就是说，音乐厅中，每一个座位都有着其特有的声学听觉效果，且声学听觉效果随着舞台上乐器的位置不同而不同。

鉴于此，本实施方式提供一种网格化3D声场采样方法，在采样空间内设有声源区和测点区，在声源区内布设若干声源点S1、S2…Sp，每个声源点处均设有声源，在测点区内布设若干测点T1、T2…Tq，测点处用于设置拾音器以对声源进行采样，其中p和q均为大于等于2的正整数，并通过如下步骤以实现3D声场采样：

S1.通过拾音器测量记录每一测点对应于每一声源的扫频信号数据，以通过处理器根据扫频信号数据获得脉冲响应数据，并通过插值计算获得每一测点对相邻两声源之间的任意位置的脉冲响应数据。

S2.对于测点区内的任意测点，选择声源区内的任意位置，并通过处理器依据测点对该任意位置的脉冲响应数据合成音频信号。

此外，在声源区内还可以选取若干点位作为虚拟声源点，根据步骤S1分别获得所有测点对应于所有虚拟声源点的脉冲响应数据，并通过步骤S2分别获得所有若干测点对应于所有虚拟声源点的音频信号后，能将所述的音频信号存储于存储器中，从而无需在点位选取后再实时根据点位进行音频信号的合成，而事先完成了所有虚拟声源点的音频信号的合成，则使用时，根据使用者选择的听音位置和声源位置，能够直接调用存储器中的音频信号并进行播放。

本实施方式将本方法应用于音乐厅中，所述的声源区为舞台区域，所述的声源点对应于乐队编制布局而布置，以下进行详细说明。

首先，在舞台区域内进行声源点的网格化分割，即将舞台网格化分割成p个区块，依次按顺序在每一个区块内设置一个声源点S，即布设有声源点S1,S2,……,Sp，声源点可以布置于区块的中部，每个声源点S处设置声源，例如作为测试声源的扬声器，或者也可以采用真实乐手，扬声器的高度可平均设置在离舞台1m左右的高度，来模拟一个交响乐队乐手舞台演奏时乐器位置的平均高度。通常地，声源点可以均匀的布置在声源区内，而网格化分割越细，数据量越大则越后续采样越精细，但同时对后续数据处理插值计算等计算算力的要求也越高。

本实施方式中所述的声源区即为舞台区域，所述的声源点可以对应于乐队编制布局而布置，如图1和图2所示，图中的方案是以一般交响乐编制的座位布局为标准进行布置的，一共使用了32个声源点S。其中主要覆盖的位置如下：S1：舞台指挥位布置一个声源点，S2：一提小提琴首席布置1个声源点，S3：二提小题琴首席布置1个声源点、S4：中提首席布置1个声源点、S5：大提首席布置1个声源点、S18：低音提琴布置1个声源点，S6-17：各弦乐组的乐器群中各布置1-2个声源点，S19-S23：木管组(短笛、长笛、大管)布置5个声源点，S24-S29：铜管组(圆号、小号、长号、大号等)布置5个声源点，S31、S32：打击乐组布置2个声源点，S30：钢琴布置1个声源点。实际采样时，各位置可设置扬声器以作为声源，通常每个声源在测量时发出的信号是20-20kHz全频的正弦波扫频测试信号。

同样地，还需要对观众席区域进行网格化分割，即将观众区网格化分割成q个区块，依次按顺序为每一个区块安排一个测点T，即T1,T2,……,Tq，例如设置于区块中部，每个测点T处设有拾音器，拾音器高度的Z坐标可安排放置于听音者正常坐姿的耳朵高度，约在1.2m±0.1m的位置。网格化分割越细，数据量越大则越后续采样越精细，但同时对后续数据处理插值计算等计算算力的要求也越高。现实中，音乐厅每一排每一座的声学效果都是略有区别的，当座位跨度越大，这个声学听音效果区别也就越不一样。直达声距离不一样、舞台上乐器到观众的听音角度不一样、反射声的传达综合效果也不一样。因此当网格化分割采样之后，可以测量记录到几乎每一片座位区域的声学数据。

如图3所示，本实施方式中所述的测点区即为观众席区域，一共设置了32个测点。测点T的取位以覆盖整个音乐厅的观众席为原则，其中正厅坐席部分的选择密度更高一些(T1-T18)，其余四周的座席也均设置至少1个测点(T19-T32)。每个测点处可分别设置拾音器进行采样，或者也可以用1个拾音器在T1处测试完毕后，再挪到T2处进行测试，以此类推直至把所有测点处的数据都采集完毕。

而对于采样拾音的拾音器，本实施方式采用Ambisonics拾音器(麦克风阵列)进行3D空间拾音，分别拾取每一个舞台网格内测试声源的全频正弦波扫频信号，从而能获得Ambisonics扫频信号数据和Ambisonics脉冲响应数据。Ambisonics技术是一种球形(Full-Sphere)的三维环绕声技术，其为本领域的现有技术，以下对其进行简要说明，其是采用以一定方式组合的多个传声器音头阵列来记录具有高度和深度信息的多轨声音信号，并最终通过若干个声道的信息运算去形成一个三维的全景声场。Ambisonics的拾音信号与播放系统的扬声器放置灵活，同样的节目素材可以解码为不同数量的扬声器声道数的音频信息。此外，采用Ambisonics方式录制得到的声音信号可以通过计算变换后得到很多相关的格式并在系统上播放，例如在立体声甚至单声道系统上播放混合声音，而不会完全丢失内容。这允许制作者不用考虑播放系统，也不用担心空间信息的丢失。Ambisonics可以以额外的传输通道和更多的扬声器为代价来获得任何所需的空间分辨率。高阶Ambisonics保持向下兼容，并且可以以较低的空间分辨率播放，而不需要特殊的混音。

从而，本实施方式通过Ambisonics麦克风分别获得每一个测点对应于各个声源的扫频信号，针对每个测点分别获得的Ambisonics扫频信号示例如下：

T1测点：

T1S1的Ambisonics扫频信号数据；

T1S2的Ambisonics扫频信号数据；

……

T1Sp的Ambisonics扫频信号数据。

T2测点：

T2S1的Ambisonics扫频信号数据；

T2S2的Ambisonics扫频信号数据；

……

T2Sp的Ambisonics扫频信号数据。

T3测点：

T3S1的Ambisonics扫频信号数据；

T3S2的Ambisonics扫频信号数据；

……

T3Sp的Ambisonics扫频信号数据。

Tq测点：

TqS1的Ambisonics扫频信号数据；

TqS2的Ambisonics扫频信号数据；

……

TqSp的Ambisonics扫频信号数据。

而后，根据Ambisonics扫频信号数据制作每一个测点对应于各个声源的Ambisonics脉冲响应(IR)数据，通过Ambisonics扫频信号数据制作Ambisonics脉冲响应(IR)数据的方法是公知的，针对每个测点分别获得的Ambisonics脉冲响应(IR)数据的示例如下：

T1测点：

T1S1的Ambisonics IR数据；

T1S2的Ambisonics IR数据；

……

T1Sp的Ambisonics IR数据。

T2测点：

T2S1的Ambisonics IR数据；

T2S2的Ambisonics IR数据；

……

T2Sp的Ambisonics IR数据。

T3测点：

T3S1的Ambisonics IR数据；

T3S2的Ambisonics IR数据；

……

T3Sp的Ambisonics IR数据。

Tq测点：

TqS1的Ambisonics IR数据；

TqS2的Ambisonics IR数据；

……

TqSp的Ambisonics IR数据。

而后，插值处理声源点与声源点之间、测点与测点之间的Ambisonics IR数据，插值的计算可以运用一些通用的算法，目的是计算获取不同相邻声源点之间Ambisonics IR数据，取微分得到。使得网格化的测量数据由离散的数据变为连续的数据。比如通过“双三次插值算法”，来得出同一测点对于不同声源点之间的Ambisonics IR数据，该插值计算可以使用MATLAB进行实时处理，列出一部分计算的示例如下：

T1S1与T1S2之间的数据由T1S1的Ambisonics IR数据与T1S2的Ambisonics IR数据实时插计算所得。

T1S2与T1S3之间的数据由T1S2的Ambisonics IR数据与T1S3的Ambisonics IR数据实时插计算所得。

……

T1Sp-1与T1Sp之间的数据由T1Sp-1的Ambisonics IR数据与T1Sp的AmbisonicsIR数据实时插计算所得。

T2S1与T2S2之间的数据由T2S1的Ambisonics IR数据与T2S2的Ambisonics IR数据实时插计算所得。

T2S2与T2S3之间的数据由T2S2的Ambisonics IR数据与T2S3的Ambisonics IR数据实时插计算所得。

……

T2Sp-1与T2Sp之间的数据由T2Sp-1的Ambisonics IR数据与T2Sp的AmbisonicsIR数据实时插计算所得。

以此类推……

TqS1与TqS2之间的数据由TqS1的Ambisonics IR数据与TqS2的Ambisonics IR数据实时插计算所得。

TqS2与TqS3之间的数据由TqS2的Ambisonics IR数据与TqS3的Ambisonics IR数据实时插计算所得。

……

TqSp-1与TqSp之间的数据由TqSp-1的Ambisonics IR数据与TqSp的AmbisonicsIR数据实时插计算所得。

在获得所需的Ambisonics IR数据之后，需要进行卷积合成操作，这是因为每一个IR脉冲响应数据是采集所得的扫频信号反卷积(Deconvolve)而来的。因此在虚拟仿真时，只需要将直达声信号与响应的IR信号进行卷积计算(Convolve)，即可获得带混响效果的音频合成信号。即根据舞台上不同位置的声源和观众席听音位置的对应关系，实时地将该状态下的乐器声源直达声信号与该位置的对应Ambisonics脉冲响应数据进行卷积(Convolve)处理，并按一定比例的干湿比与直达声信号进行叠加调制(Multiplex)合成，即可获得该状态下融合了空间信息的Ambisonics信号。

本实施方式所获取的是Ambisonics IR信号(Ambisonics脉冲响应数据)，因此卷积所得的合成音频信号也是Ambisonics信号。这给最终的还音重构带来极大的便利性，Ambisonics信号不仅可以在耳机双耳状态下还原3D音频信息，也可以在多扬声器的阵列上多声道地输出3D音频信息。

结合图4所示，将乐器声源的直达声信号经过3D卷积器卷积后输出的Ambisonics声学混响系统输出信号，并与直达声信号进行混合配比调制合成即可。

具体而言，首先通过3D卷积器对直达声信号xi(n)进行卷积，以获取输出信号yi(n)；

而后，对直达声信号xi(n)和输出信号yi(n)进行叠加混合调制以最终获得所需的音频信号；

其中，输出信号y等于输入信号x与脉冲响应数据h的卷积，并且合成时通过数字时钟锁定工作采样频率，且Ambisonics声学混响系统的输出信号yi(n)对应的计算式可表示如下：

其中，yi(n)为输出合成的当直达声信号xi(n)位于在舞台某一An坐标位置且听音位置位于观众席的某一Tn坐标位置的带音乐厅声场效果的Ambisonics信号，其中i值与所采用的Ambisonics拾音方法的阶数有关；h(n)为直达声信号位于舞台某一An坐标位置且听音位置位于观众席的某一Tn坐标位置的脉冲响应数据，xi(n)为在舞台An坐标位置处的直达声音信号，N与AD转换的采样频率有关，采样率越高，N越大，离散的数据量就越大。例如，以n＝3为例，根据之前描述，那么yi(3)则为测点位于T3，而声源点位于某一An坐标位置处的输出合成的信号，h(3)为测点位于T3，而声源点位于某一An坐标位置处的脉冲响应数据。

乐器的直达声Ambisonics信号可以与所得到的带音乐厅声场效果的Ambisonics信号进行叠加混合调制Mixing，以控制直达声与反射声的比例，调制方法本身属于现有技术，与调音台多轨音频信号叠加的原理一致。

而数字时钟则用于将运算系统锁定在一个固定的协同的工作采样频率之下。通常数字音频工作站的工作采样率为44.1kHz(如CD音质)或48kHz(如DVD音质)或96kHz(如高清蓝光)或更高，一般的工作频率在48kHz状态。

最终的乐器声源合成信号为直达声信号xi(n)在舞台A坐标位置，且听音位置位于观众席B坐标位置状态下的合成了空间信息的Ambisonics信号。

从而，通过本实施方式提供的方法，音乐厅中的声源位置与听音位置可以根据用户的需要进行选取，在音乐后期制作或现场虚拟声场再造时，可以移动声源位置和听音位来找到最佳的录音和混音位置，如在舞台上稍微向后移动乐器，以获得更好的平衡，或使其更靠近，以获得更清晰的效果，从而找到最佳的混音位置，达到十分逼近再造所采样音乐厅的声学效果，在一个虚拟音乐厅的环境下，即能聆听到仿佛置身于现场的音乐会。

Claims (9)

1.一种网格化3D声场采样方法，其特征在于在采样空间内设有声源区和测点区，在声源区内布设若干声源点，每个声源点处均设有声源，在测点区内布设若干测点，测点处用于设置拾音器以对声源进行采样，并通过如下步骤以实现3D声场采样：

S1.通过拾音器测量记录每一测点对应于每一声源的扫频信号数据，以根据扫频信号数据获得脉冲响应数据，并通过插值计算获得每一测点对相邻两声源之间的任意位置的脉冲响应数据；

S2. 对于测点区内的任意测点，选择声源区内的任意位置，并依据测点对该任意位置的脉冲响应数据合成音频信号；

在声源区内布设若干虚拟声源点，根据步骤S1分别获得所述的若干测点对应于所述的若干虚拟声源点的脉冲响应数据，而后通过步骤S2分别获得所述的若干测点对应于所述的若干虚拟声源点的音频信号，并将所述的音频信号存储于存储器中。

2.如权利要求1所述的网格化3D声场采样方法，其特征在于所述的拾音器采用Ambisonics拾音器，所述的扫频信号数据为Ambisonics扫频信号数据，所述的脉冲响应数据为Ambisonics脉冲响应数据。

3.如权利要求1所述的网格化3D声场采样方法，其特征在于选择并播放所述的音频信号，以获得任意测点对应于任意虚拟声源点的音频信号。

4.如权利要求1所述的网格化3D声场采样方法，其特征在于所述的虚拟声源点均匀地分布于声源区内。

5.如权利要求1所述的网格化3D声场采样方法，其特征在于所述的方法应用于音乐厅中，所述的声源区为舞台区域，所述的声源点对应于乐队编制布局而布置。

6.如权利要求1所述的网格化3D声场采样方法，其特征在于所述的方法应用于音乐厅中，所述的测点区为观众席区域，所述的测点区中部的测点密度最大。

7.如权利要求1所述的网格化3D声场采样方法，其特征在于所述的插值计算采用双三次插值算法。

8.一种用于如权利要求1所述的网格化3D声场采样方法的采样系统，其特征在于包括：

用于测量记录每一测点对应于每一声源的扫频信号数据的拾音器；

用于根据扫频信号数据获得脉冲响应数据、通过插值计算获得每一测点对相邻两声源之间的任意位置的脉冲响应数据、通过脉冲响应数据合成音频信号的处理器。

9.一种用于如权利要求1所述的网格化3D声场采样方法的采样系统，其特征在于包括：

用于测量记录每一测点对应于每一声源的扫频信号数据的拾音器；

用于根据扫频信号数据获得脉冲响应数据、通过插值计算获得每一测点对相邻两声源之间的任意位置的脉冲响应数据、通过脉冲响应数据合成音频信号的处理器；

用于存储所述的音频信号的存储器。

Images