CN106211017A - 一种3d声场构建方法 - Google Patents

Abstract

本发明所提供的一种3D声场构建方法，包括步骤：A、依据所拍摄的画面确定声音源数量，以及各声音源的坐标；B、依据所述数量和坐标所对应的声音源与监听程序的距离，构建3D声场；C、依据步骤A所拍摄画面的变化，实时更新步骤B所构建的3D声场。由上，依据所拍摄的画面场景和声音源位置，利用“双耳效应”原理构建出3D声场，以使用户有逼真的视听效果。

Description

一种3D声场构建方法

技术领域

本发明涉及虚拟现实技术领域，特别涉及一种3D声场构建方法。

背景技术

虚拟现实技术是仿真技术的一个重要方向。虚拟现实技术丰要包括模拟环境、感知、自然技能等方面。

模拟环境是由计算机生成的、实时动态的三维立体逼真图像。

感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉，也称为多感知。

自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。

然而，在虚拟现实技术中，如何实现环境、感知、自然技能的完美融合，即如何使虚拟视觉、听觉的融合，其中，虚拟视觉已属于较为常见的技术，而随用户的头部转向时虚拟视觉的变化而导致听觉的更新则是又一课题。

发明内容

有鉴于此，本发明的主要目的在于，提供一种3D声场构建方法，包括步骤：

A、依据所拍摄的画面确定声音源数量，以及各声音源的坐标；

B、依据所述数量和坐标所对应的声音源与监听程序的距离，构建3D声场；

C、依据步骤A所拍摄画面的变化，实时更新步骤B所构建的3D声场。

由上，依据所拍摄的画面场景和声音源位置，利用“双耳效应”原理构建出3D声场，以使用户有逼真的视听效果。

可选的，步骤B包括：

依据所述各声音源的坐标，判断所述各声音源相对于监听程序左耳、右耳的距离的步骤；

当所述距离大于阈值时，对声音源采用线性衰减，当所述距离小于阈值时，对声音源采用对数衰减；

依据各声音源到达监听程序左耳位置衰减的结果进行合成，得出监听程序左耳位置所接收到的声音；

依据各声音源到达监听程序右耳位置衰减的结果进行合成，得出监听程序右耳位置所接收到的声音；

将监听程序左耳、右耳所接收到的声音进行合成，以构建3D声场。

由上，由于距离较远时，声音在传播过程中的落差较为明显，采用线性衰减可以减缓声音的衰减速度，从而模拟出落差较大的效果。而声音源与监听位置较近时，则采用对数衰减，其原因在于：由于在短距离，人耳对声波强弱的感受大致上和声强(或声压)的对数成正比例。为适应人耳听觉这一特性以提高仿真度，故采用对数衰减计算。

可选的，步骤B包括：

声音源n相对于所述监听程序左耳、右耳的距离表示为r_n左和r_n右：r_n左 ²＝(x_左-x_n)²+(y_左-y_n)²+(z_左-z_n)²、r_n右 ²＝(x_右-x_n)²+(y_右-y_n)²+(z_右-z_n)²；

其中，(x_n，y_n，z_n)表示声音源n的坐标，n为表示声音源的数量的标号，n∈(1，∞)；(x_左，y_左，z_左)为左耳的坐标；(x_右，y_右，z_右)为右耳的坐标。

可选的，声音源n的所述线性衰减包括：w_n左’＝N*w_n*log2r_n左、w_n右’＝N*w_n*log2r_n右；

式中w_n左’和w_n右’分别表示声音源n线性衰减后左耳和右耳所接收到的音量；r_n左和r_n右分别表示声音源n相对于左耳、右耳的距离；w_n表示声音源n发出的音量；N表示空气阻尼系数。

可选的，声音源n的所述对数衰减包括：q_n左’＝q_n-N*r_n左、q_n右’＝q_n-N*r_n右；

式中q_n左’和q_n右’分别表示声音源n在对数衰减后左耳和右耳所接收到的音量；r_n左和r_n右分别表示声音源n相对于左耳、右耳的距离；q_n表示声音源n发出的音量；N表示空气阻尼系数。

可选的，步骤B中，还包括确定障碍物对于声音源的衰减量的步骤。

由上，当在声音源与监听程序之间出现障碍物时，势必也会对声音源的衰减造成影响。

可选的，该步骤包括：在声音源与监听程序左、右耳的中点设一连线m，另在声音源与监听程序的左耳和右耳分设一条连线n1、n2，m与n1、n2分别形成两个截面；

分别计算所述障碍物的横截面阻挡两个截面的面积，其阻挡面积与衰减量成正比。

由上，依据障碍物所在位置的不同，精确模拟出其对于声音源衰减的影响。

可选的，还包括：确定障碍物高度对于声音源的衰减量的步骤。

可选的，分别在声音源与监听程序左、右耳之间设置一高度区间，在所述高度区间内，障碍物的高度与衰减量成正比。

由上，依据障碍物高度的不同，精确模拟出其对于声音源衰减的影响。

附图说明

图1为本发明构建3D声场构建方法的流程图；

图2为本发明构建3D声场构建方法的原理示意图；

图3为出现障碍物时，构建3D声场构建方法的原理示意图；

图4为出现另一障碍物时，构建3D声场构建方法的原理示意图；

图5为确定障碍物对于声音源衰减量影响的原理示意图；

图6为确定障碍物高度对于声音源衰减量影响的原理示意图。

具体实施方式

为克服现有技术存在的缺陷，本发明提供一种3D声场构建方法，依据所模拟的视频场景和声音源位置，利用“双耳效应”原理构建出3D声场，以使用户有逼真的视听效果。

如图1所示，3D声场构建方法包括以下步骤：

S10：依据所拍摄的画面确定声音源。

如图2所示，本实施例所述画面为全景视频画面，将视频当做一种纹理，贴在三维球体的内表面上。用于拍摄全景视频画面的相机设在球体中心，在所述相机的正前方设置3D声场监听程序，用于构建3D声场。

利用鼠标点击屏幕中的画面，相机与鼠标点击位置会产生一条连线，该连线与全景视频所在的球体相交，其相交位置可确定为声音源位置的坐标。如图2所示的实施例中，设置了A、B两声音源，上述两声音源的坐标分别表示为A声音源：(x_a，y_a，z_a)；B声音源：(x_b，y_b，z_b)。

进一步的，本步骤还包括确认障碍物位置的步骤。

如图3所示，当拍摄的画面中出现障碍物时，通过Unity3D的类库函数GameObject.Find("障碍物名称").transform.position便可遍历画面，并确定出是否含有障碍物，以及障碍物所在位置的坐标。

S20：依据声音源和障碍物位置构建3D声场。

本步骤中，首先计算各声音源与监听程序之间的距离r，具体的，采用以下算法，仍以图2为例，设图中A声音源与监听程序的距离为r1，r1²＝(x₀-x_a)²+(y₀-y_a)²+(z₀-z_a)²，其中，(x₀，y₀，z₀)为监听程序的坐标。同理，计算出B声音源与监听程序的距离r2，r2²＝(x₀-x_b)²+(y₀-y_b)²+(z₀-z_b)²。

进一步的，依据“双耳效应”使监听程序模拟左右耳，即A声音源与监听程序的距离为r1_左和r1_右，r1_左表示A声音源到监听程序左耳距离，r1_右表示A声音源到监听程序右耳距离。同理，计算出B声音源与监听程序左耳和右耳的距离r2_左和r2_右。

其次，计算A声音源、B声音源到达监听程序的衰减量。本实施例中，设A声音源的发出音量大小为w，B声音源的发出音量大小为q，空气阻尼系数N。

针对声音源与监听位置较远的情况，例如超过10米，则采用线性衰减，其原因在于：由于距离较远，因此声音在传播过程中的落差较为明显，采用线性衰减可以减缓声音的衰减速度，从而模拟出落差较大的效果。而声音源与监听位置较近时，例如小于10米。则采用对数衰减，其原因在于：由于在短距离，人耳对声波强弱的感受大致上和声强(或声压)的对数成正比例。为适应人耳听觉这一特性以提高仿真度，故采用对数衰减计算。

本实施例中，对A声音源进行对数衰减计算，衰减后监听程序左耳音量表示为w_左’:w’＝N*w*log2r1_左；衰减后监听程序右耳音量表示为w_右’:w’＝N*w*log2r1_右。

对B声音源进行线性衰减，衰减后监听程序左耳音量表示为q_左’：q_左’＝q-N*r2_左；衰减后监听程序右耳音量表示为q_右’：q_右’＝q-N*r2_右。

依据所计算出的w_左’、w_右’、q_左’和q_右’进行声音合成，从而实现构建3D声场。

另外，当出现图3所示情况，即监听程序与A声音源间出现障碍物时，障碍物对于A声音源则产生进一步的衰减。具体的，首先分别计算障碍物距离A声音源和监听程序的距离，本实施例中采用r3表示A声音源与障碍物的距离，r4_左表示障碍物与监听程序左耳的距离，r4_右表示障碍物与监听程序左耳的距离。上述障碍物出现于监听程序与A声音源间，表示的是，假设监听程序与A声源之间有一条连线，则该障碍物处于该连线上。

计算距离方法与前述相同，不再赘述。

其次，依据r3、r4_左和r4_右的距离值，确定出选择线性衰减或对数衰减。举例来说，本实施例中r3、r4_左和r4_右均小于10米，则在障碍物所在位置的衰减音量表示为P1：P1＝N*w*log2r3；而在监听位置的衰减音量表示为P2_左和P2_右，P2_左＝(Z+N)*P1*log2r4_左、P2_右＝(Z+N)*P1*log2r4_右，式中Z表示障碍物的阻尼系数。

需要特殊说明的是，当出现图3所示障碍物正巧挡在声音源与监听程序之间时，其对于声音的阻挡属于“完全阻挡”，而当障碍物出现如图4所示，仅有一部分挡在声音源与监听程序之间时，属于“部分阻挡”。如图5所示，首先在声音源与监听程序的中心设一连线m，另在声音源与监听程序的左耳和右耳分设一条连线n1、n2，则m与n1和n2分别形成两个截面。分别计算所述障碍物的横截面阻挡两个截面的面积，阻挡率记为l_n1和l_n2。

进一步的，计算障碍物与监听程序的衰减音量时，还需考虑阻挡率的影响，仍以上实施例举例，则衰减为P2_左＝l_n1*(Z+N)*P1*log2r4_左、P2_右＝l_n2*(Z+N)*P1*log2r4_右。

更进一步的，还需考虑障碍物高度的因素。如图6所示，以监听程序的左耳为例进行说明。在声音源与监听程序之间设置一最佳收听的高度区域，即图中h1、h2所围成的区域，在该区域内，障碍物高度越高，则对声音的衰减越明显，其阻挡率记为l’。则，左耳所接收到的声音表示为P2_左＝l’*l_n1*(Z+N)*P1*log2r4_左。右耳与左耳原理相同，不再赘述。

进而，依据所计算出的P2_左和P2_右进行声音合成，从而实现构建3D声场。

步骤S30：依据所拍摄画面的变化，实时更新所构建的3D声场。

当相机转向时，则A声音源、B声音源和障碍物的位置在球面上发生变化，依据转向后的画面，重复步骤S20，更新所构建的3D声场。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明。总之，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种3D声场构建方法，其特征在于，包括步骤：

A、依据所拍摄的画面确定声音源数量，以及各声音源的坐标；

B、依据所述数量、所述坐标所对应的声音源与监听程序的距离，构建3D声场；

C、依据步骤A所拍摄画面的变化，实时更新步骤B所构建的3D声场。

2.根据权利要求1所述的方法，其特征在于，步骤B包括：

依据所述各声音源的坐标，判断所述各声音源相对于监听程序左耳、右耳的距离的步骤；

当所述距离大于阈值时，对声音源采用线性衰减，当所述距离小于阈值时，对声音源采用对数衰减；

依据各声音源到达监听程序左耳位置衰减的结果进行合成，得出监听程序左耳位置所接收到的声音；

依据各声音源到达监听程序右耳位置衰减的结果进行合成，得出监听程序右耳位置所接收到的声音；

将监听程序左耳、右耳所接收到的声音进行合成，以构建3D声场。

3.根据权利要求2所述的方法，其特征在于，步骤B包括：

声音源n相对于所述监听程序左耳、右耳的距离表示为r_n左和r_n右：r_n左 ²＝(x_左-x_n)²+(y_左-y_n)²+(z_左-z_n)²、r_n右 ²＝(x_右-x_n)²+(y_右-y_n)²+(z_右-z_n)²；

其中，(x_n，y_n，z_n)表示声音源n的坐标，n为表示声音源的数量的标号，n∈(1，∞)；(x_左，y_左，z_左)为左耳的坐标；(x_右，y_右，z_右)为右耳的坐标。

4.根据权利要求3所述的方法，其特征在于，声音源n的所述线性衰减包括：w_n左’＝N*w_n*log2r_n左、w_n右’＝N*w_n*log2r_n右；

式中w_n左’和w_n右’分别表示声音源n线性衰减后左耳和右耳所接收到的音量；r_n左和r_n右分别表示声音源n相对于左耳、右耳的距离；w_n表示声音源n发出的音量；N表示空气阻尼系数。

5.根据权利要求3所述的方法，其特征在于，声音源n的所述对数衰减包括：q_n左’＝q_n-N*r_n左、q_n右’＝q_n-N*r_n右；

式中q_n左’和q_n右’分别表示声音源n在对数衰减后左耳和右耳所接收到的音量；r_n左和r_n右分别表示声音源n相对于左耳、右耳的距离；q_n表示声音源n发出的音量；N表示空气阻尼系数。

6.根据权利要求1所述的方法，其特征在于，步骤B中，还包括确定障碍物横截面积对于声音源的衰减量的步骤。

7.根据权利要求6所述的方法，其特征在于，该步骤包括：在声音源与监听程序左、右耳的中点设一连线m，另在声音源与监听程序的左耳和右耳分设一条连线n1、n2，m与n1、n2分别形成两个截面；

分别计算所述障碍物的横截面阻挡两个截面的面积，其阻挡面积与衰减量成正比。

8.根据权利要求6所述的方法，其特征在于，步骤B中，还包括：确定障碍物高度对于声音源的衰减量的步骤。

9.根据权利要求8所述的方法，其特征在于，分别在声音源与监听程序左、右耳之间设置一高度区间，在所述高度区间内，障碍物的高度与衰减量成正比。