CN105872940B - 一种虚拟现实声场生成方法及系统 - Google Patents

Abstract

本发明公开一种虚拟现实声场生成方法与系统，其中，所述方法包括：获取一个声源的N路双耳音频信号，所述N路双耳音频信号是N个方向的双耳音频信号，N为大于零的整数；进一步的所述N路双耳音频信号是将音频对象、音频声场和人头录音统一处理获得的N路双耳音频信号；检测收听所述N路双耳音频信号的收听者的人头方向，所述人头方向是收听者的人头相对于所述声源位置的顺时针旋转角度；按照所述人头方向对所述N路双耳音频信号进行预处理，还原双耳全景声场。

Description

一种虚拟现实声场生成方法及系统

技术领域

本发明涉及信号处理领域，特别涉及空间声的生成。

背景技术

在用虚拟现实头戴设备(head－mounted display，HMD)向用户呈现内容时，音频内容通过立体声耳机向用户播放。我们面临提高虚拟环绕声效果的问题。在虚拟现实应用中，当通过立体声耳机播放音频内容时，虚拟3D音频目的是想要达到一种效果让用户就像用扬声器阵列(如5.1或7.1)听一样，甚至像听现实中的声音一样真实。

在制作虚拟现实音频内容时，通常需要几种声音元素。一种提高临场感的方法是跟踪用户头部动作(head tracking)，对声音进行相应的处理。比如，如果原始声音被用户感知为来自正前方，当用户向左转头90度后，声音应被处理使得用户感知声音来自正右方90度。

在这里虚拟现实设备可以有很多种类，比如带头部跟踪的显示设备，或者只是一部带头部跟踪传感器的立体声耳机。

实现头部跟踪也有多种方法。比较常见的是使用多种传感器。运动传感器套件通常包括加速度计、陀螺仪和磁力传感器。在运动跟踪和绝对方向方面每种传感器都有自己固有的强项和弱点。因此常用做法是采用传感器“融合”(sensor fusion)将来自各传感器的信号组合在一起，产生一个更加精确的运动检测结果。

在得到头部旋转角度后，我们需要对声音进行相应的变化。生成虚拟现实声场有几种方法。

一种做法是对音频对象使用HRTF(Head Related Transfer Function，头相关变换函数)滤波器进行滤波，得到虚拟环绕声。HRTF在时间域所对应的名称是HRIR(HeadRelated Impulse Response)。或者将音源与双耳房间脉冲响应(Binaural Room ImpulseResponse，BRIR)做卷积。双耳房间脉冲响应由三个部分组成：直达声，早期反射声和混响。直接将音频对象和BRIR卷积这种做法的缺点是如果场景复杂，含有大量的音频对象，则复杂度会变得非常高，对于很多音频播放终端，这将导致功耗过大，甚至无法播放。在虚拟现实设备上，还需要根据头部的动作对音频对象位置实时调整，这更极大的加大了运算量，使得在移动虚拟现实设备上应用传统做法变的不切实际。

第二种方式是将声音转到ambisonic域，然后再通过使用旋转矩阵对信号做变换。具体做法是将音频转为B格式信号，将该B格式信号转换为虚拟扬声器阵列信号，将虚拟扬声器阵列信号通过HRTF滤波器进行滤波，得到虚拟环绕声。但此种方法则在声音渲染灵活性有所欠缺，及无法对单独音源进行精准的控制。

第三种方法是采用人头录音。直接得到双耳的信号。通过多个方向的人头录音，进行插值，从而得到头部在任何旋转角度时的双耳信号。

可以看到，以上几种方法从效率以及效果上各有优缺点。有鉴于此，在本领域需要一种有效且高质量生成虚拟环绕声音的解决方案。

发明内容

根据本发明的一个方面，提供了一种虚拟现实声场生成方法，该方法步骤包含：获取一个声源的N路双耳音频信号，N为大于零的整数；检测收听N路双耳音频信号的收听者的人头方向，人头方向是收听者的人头相对于所述声源当前位置的顺时针旋转角度，且N路双耳音频信号是将音频对象、音频声场和人头录音统一预处理获得的N路双耳音频信号；按照人头方向对N路双耳音频信号进行预处理，还原双耳全景声场。

根据本发明的进一步方面，该虚拟现实声场生成方法中，N路双耳音频信号的N是4，进一步的是指前、后、左、右四个方向的双耳音频信号。

根据本发明的进一步方面，该虚拟现实声场生成方法中，按照人头方向对N路双耳音频信号进行预处理是对N路双耳音频信号进行插值处理。

根据本发明的进一步方面，该虚拟现实声场生成方法中，插值处理采用插值系数对N路双耳音频信号进行插值处理，进一步的插值系数是一个余弦值。

根据本发明的进一步方面，该虚拟现实声场生成方法中，余弦值是依照所述收听者的人头方向计算得到的余弦值。

根据本发明的另一个方面，提供了一种虚拟现实声场生成系统，该系统包含：一个获取装置，用于获取一个声源的N路双耳音频信号，N为大于零的整数，且N路双耳音频信号是将音频对象、音频声场和人头录音统一预处理获得的N路双耳音频信号；一个检测装置，用于检测收听N路双耳音频信号的收听者的人头方向，人头方向是收听者的人头相对于所述声源当前位置的顺时针旋转角度；一个处理装置，用于按照人头方向对N路双耳音频信号进行预处理，还原双耳全景声场。

根据本发明的进一步方面，该虚拟现实声场生成系统中，N路双耳音频信号的N是4，进一步的是指前、后、左、右四个方向的双耳音频信号。

根据本发明的进一步方面，该虚拟现实声场生成系统中，按照人头方向对N路双耳音频信号进行预处理是对N路双耳音频信号进行插值处理。

根据本发明的进一步方面，该虚拟现实声场生成系统中，插值处理是采用插值系数对N路双耳音频信号进行插值处理，进一步的插值系数是一个余弦值。

根据本发明的进一步方面，该虚拟现实声场生成系统中，余弦值是依照所述收听者的人头方向计算得到的余弦值。

附图说明

图1为本发明虚拟现实声场生成方法的一种实施方式的流程图；

图2为本发明一种N路双耳音频信号生成示意图；

图3为本发明一种双耳音频信号生成示意图；

图4为本发明虚拟现实声场生成系统的结构示意图。

具体实施方式

为了更清楚的说明本发明的技术方案，下文将对实施例描述中所需要使用的附图做简单的介绍。显而易见的，下文及附体所描述的仅仅是本发明的一些具体的实施例，对于相关领域的技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些描述与附图，将本发明应用于其他方面。应当理解，给出这些示例性实施例仅仅是为了使相关领域的技术人员能够更好的理解进而实现本发明，而并非以任何方式限制本发明的范围。

下面结合附图和具体的实施方式进行说明。

请参见图1，图1是本发明虚拟现实声场生成方法的一种实施方式的流程图。

步骤S101：获取多个方向的N路双耳音频信号，通过获取多个方向的N路双耳音频信号获得具有立体声音效果的输出声音信号。双耳音频信号是指将音频对象、音频声场和人头录音经统一处理形成的双耳音频信号。双耳音频信号是指双耳的左耳和右耳声音输入信号。其中左耳声音输入信号即为模拟人工头左耳接收到的声信号，右耳声音输入信号即为模拟人工头右耳接收到的声信号。具体的，双声道移动终端中的左声道信号即为左耳接收到的输入信号，右声道即为右耳接收到的输入信号。N路是指将双耳音频信号处理成N个方向的双耳音频信号，方向是从人工头中心模拟到声源的方向。如，N＝4的时候，就代表四个方向，具体的可以是模拟从人工头中心的前、后、左、右4个正方向，也可以按照一定的角度定义的四个方向，如模拟从人工头中心的正前方水平夹角为±45°、±90°。N的取值包括但不限于4，还可以是不等于4的任意非零整数。方向也不限于上述方向，还可以是从人工头中心模拟的到声源的实际角度方向。双耳音频信号的获取方式可以是有线的也可是无线的，还可以即包括有线方式又包括无线方式，用户可以按照自己的使用需求从有线切换到无线方式或者从无线方式切换到有线方式。

步骤S102：检测人头方向。人头方向的检测装置可以是带头部追踪装置的立体声耳机也可以是带头部追踪装置头戴式虚拟现实设备，其中，头戴式虚拟现实设备可以是头戴式虚拟现实眼镜、虚拟现实头盔、虚拟现实头带显示器等。人头方向的检测可以使用多种传感器，包括但不限于电阻式传感器、力学传感器、光敏传感器等。可以是其中一种传感器，也可以是其中几种传感器的组合，可以是一个传感器还可以是几个传感器的组合。人头方向的检测可以是实时的也可以是定期检测的。检测人头方向是收听者的人头相对于所述声源位置的顺时针旋转角度。

步骤S103：基于人头方向对N路双耳音频信号进行插值。收听者在虚拟现实的场景中头部发生连续的运动时，为了获得立体声的效果，需要对获取的N路双耳音频信号进行插值处理，从而对N路双耳音频信号进行校正，获取更接近与真实场景的立体声效果。插值方法包括但不限于Lagrange插值，Newton插值，Hermite插值，分段插值，样条插值等。具体的还可以是依照插值系数对N路双耳音频信号进行插值处理。插值系数包括但不限于依照收听者的人头相对于声源的方位角计算得到的正弦值、余弦值等。可以采用一种插值方法也可以采用多种插值方法，可以采用一个插值算法，还可以采用多个插值算法。并依照收听者的人头相对于所述声源位置的顺时针旋转角度计算插值，对N路双耳音频信号进行插值处理。

步骤S104：还原双耳全景声场。是指将步骤S103插值后的N路双耳音频信号输出并通过收听者的设备播放，还原双耳全景声场的效果。收听者的设备可以是耳机、VR头盔等任何可以播放声音的头戴设备。

图2是本发明一种N路双耳音频信号生成示意图。双耳编码器对音频对象201、音频声场202、人头录音203分别进行预处理生成N个方向的双耳音频信号，然后对生成的N个方向的双耳音频信号进行mix处理，生成多个方向的N路双耳音频信号205。具体实施方式分别如下(以N＝4，东南西北4个正方向为例)：

音频对象的处理：将音频对象通过HRTF滤波得到双耳信号。因为要处理N＝4个方向的双耳信号，所以音频对象要与4个方向对应的HRTF滤波器都进行一次滤波。

B_1i＝H_i·S_Obj，

其中：i＝1～N，

H_i表示第i路的HRTF滤波矩阵，

S_obj表示输入的音频对象。

获得4个方向的双耳信号。

音频声场处理：将音频声场通过旋转矩阵旋转得到N＝4个方向的声场信号，分别将旋转后的声场信号转换为虚拟扬声器阵列信号，将虚拟扬声器阵列信号通过HRTF滤波器进行滤波，得到N＝4个方向的双耳信号。

B_2i＝H_i·D_i·R_i·S_Amb

其中：i＝1～N，

H_i表示第i路的HRTF滤波矩阵，

D_i表示第i路的解码矩阵，

R_i表示第i路的旋转矩阵，

S_Amb表示输入的音频声场。

人头录音处理：可以通过集成多组人耳的人工头同时录N＝4个方向的录音B_3i，其中：i＝1～4。

音频对象的处理、音频声场处理、人头录像处理可以是同时处理也可以是按照一定的顺序分别处理。

合成N路双耳音频信号：N＝4时，将上面三种方法产生的双耳信号mix成一组信号B_i，其中：i＝1～4。

图3是本发明一种双耳音频信号生成示意图。N路双耳音频信号205经双耳解码器302处理，还原出与人头相对于声源方向相一致的双耳音频信号303，还原出全景声场。具体实施方式如下：

根据人头方向，通过对多个方向的N路双耳音频信号进行插值，还原出全景声场。

其中：i＝1～N，

G_i表示第i路的插值系数。

例如N＝4时，为了保持信号能量，可以采用余弦值作为插值系数。

则G_i＝0，

其中，i＝1～N，

θ表示收听者的人头相对于所述声源位置的顺时针旋转角度。

图4是本发明的虚拟现实声场生成系统的结构示意图。具体的包括一个获取装置401，检测装置402，处理装置403。检测装置402用于检测收听者头部的运动，并将检测到的用于表征收听者头部方向的信息传送给获取装置401。获取装置401用于获取外部信息、检测信息，并将上述信息传送给处理装置403进行处理，并向收听者输出处理后的双耳音频信号。其中获取装置403获取的外部信息包括但不限于N路双耳音频信号信息。

获取装置401用于获取信息，信息可以是N路双耳音频信号还可以是检测装置402检测到的信息。信息的获取可以是实时的也可以是定期传送的，可以是有线的也可以是无线的。双耳音频信号是指将音频对象、音频声场和人头录音经统一处理形成的双耳音频信号。双耳音频信号是指左耳和右耳的输入信号。其中左耳声音输入信号即为模拟人工头左耳接收到的声信号，右耳声音输入信号即为模拟人工头右耳接收到的声信号。具体的，双声道移动终端中的左声道信号即为左耳接收到的输入信号，右声道即为右耳接收到的输入信号。N路是指将双耳音频信号处理成N个方向的双耳音频信号，方向是从人工头中心模拟到声源的方向。如，N＝4的时候，就代表四个方向，具体的可以是模拟从人工头中心的前、后、左、右4个正方向，也可以按照一定的角度定义的四个方向，如模拟从人工头中心的正前方水平夹角为±45°、±90°。N的取值包括但不限于4，还可以是不等于4的任意非零整数。方向也不限于上述方向，还可以是从人工头中心模拟的到声源的实际角度方向。

N路双耳音频信号是对音频对象、音频声场、人头录音分别进行预处理并进行mix处理生成的。针对于音频对象、音频声场、人头录音的预处理方式可以一样的也可以是不一样的，一种实施方式如下(以N＝4，东南西北4个正方向为例)：

音频对象的处理：将音频对象通过HRTF滤波得到双耳信号。因为要处理N＝4个方向的双耳信号，所以音频对象要与4个方向对应的HRTF滤波器都进行一次滤波。

B_1i＝H_i·S_Obj，

其中：i＝1～N，

H_i表示第i路的HRTF滤波矩阵，

S_Obj表示输入的音频对象。

获得4个方向的双耳信号。

音频声场处理：将音频声场通过旋转矩阵旋转得到N＝4个方向的声场信号，分别将旋转后的声场信号转换为虚拟扬声器阵列信号，将虚拟扬声器阵列信号通过HRTF滤波器进行滤波，得到N＝4个方向的双耳信号。

B_2i＝H_i·D_i·R_i·S_Amb

其中：i＝1～N，

H_i表示第i路的HRTF滤波矩阵，

D_i表示第i路的解码矩阵，

R_i表示第i路的旋转矩阵，

S_Amb表示输入的音频声场。

人头录音处理：可以通过集成多组人耳的人工头同时录N＝4个方向的录音B_3i，其中：i＝1～4。

音频对象的处理、音频声场处理、人头录像处理可以是同时处理也可以是按照一定的顺序分别处理。

合成N路双耳音频信号：N＝4时，将上面三种方法产生的双耳信号mix成一组信号B_i，其中：i＝1～4。

检测装置402用于检测人头方向的检测装置。检测装置包括但不限于电阻式传感器、力学传感器、光敏传感器等。可以是其中一种传感器，也可以其中几种传感器的组合，可以是一个传感器还可以是几个传感器的组合。人头方向的检测可以是实时的也可以是定期检测的。检测人头方向是收听者的人头相对于所述声源位置的顺时针旋转角度。

处理装置403用于处理来自获取装置401的N路双耳音频信号信息和人头方向信息。并依照人头方向信息对N路双耳音频信号进行插值处理，还原出全景声场，并向收听者404输出双耳音频信号。所述依照人头方向信息对N路双耳音频信号进行插值处理，可以是分别多音频对象、音频声场和人头录音生成的N路双耳音频信号进行插值处理，也可以是同时对其中的几种N路双耳音频信号进行插值处理。所述插值处理是对N路双耳音频信号进行校正，获取更接近于真实场景的立体声效果，使得在虚拟现实的场景中收听者的头部发生连续的运动时，还可以获得接近于真实场景的立体声效果。插值方法包括但不限于Lagrange插值，Newton插值，Hermite插值，分段插值，样条插值等。具体的还可以是依照插值系数对N路双耳音频信号进行插值处理。插值系数包括但不限于依照收听者的人头相对于声源的方位角计算得到的正弦值、余弦值等。插值处理可以采用一种插值方法也可以采用多种插值方法，可以采用一个插值算法，还可以采用多个插值算法。并依照收听者的人头相对于所述声源位置的顺时针旋转角度计算插值，对N路双耳音频信号进行插值处理，进而获得更接近于真实场景的立体声效果。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，如，可以不包含一个获取装置，处理装置直接获取N路双耳音频信号和收听者的人头方向，并依照插值方法和收听者的人头方向对N路双耳音频信号进行处理；还可以不包含一个检测装置，由处理装置对收听者的人头方向进行检测，并依照插值方法和收听者的人头方向对N路双耳音频信号进行处理。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种虚拟现实声场生成方法，其特征在于，所述方法包括：

获取一个声源的N路双耳音频信号，所述N路双耳音频信号是N个方向的双耳音频信号，N为大于零的整数；

进一步的所述N路双耳音频信号是将音频对象、音频声场和人头录音统一处理获得的N路双耳音频信号；

检测收听所述N路双耳音频信号的收听者的人头方向，所述人头方向是收听者的人头相对于所述声源位置的顺时针旋转角度；

按照所述人头方向对所述N路双耳音频信号进行预处理，还原双耳全景声场；

其中，所述按照人头方向对所述N路双耳音频信号进行预处理是对所述N路双耳音频信号进行插值处理。

2.根据权利要求1所述的虚拟现实声场生成方法，其特征在于，所述N路双耳音频信号，N为4，指前、后、左、右四个方向的双耳音频信号。

3.根据权利要求1所述的虚拟现实声场生成方法，其特征在于，所述插值处理是用插值系数对所述N路双耳音频信号进行所述插值处理，所述插值系数是一个余弦值。

4.根据权利要求3所述的虚拟现实声场生成方法，其特征在于，所述余弦值是依照所述收听者的人头方向计算得到的余弦值。

5.一种虚拟现实声场生成系统，其特征在于，包括：

一个获取装置，用于获取一个声源的N路双耳音频信号，所述N路双耳音频信号是N个方向的双耳音频信号，N为大于零的整数；

进一步的所述N路双耳音频信号是将音频对象、音频声场和人头录音统一处理获得的N路双耳音频信号；

一个检测装置，用于检测收听所述N路双耳音频信号的收听者的人头方向，所述人头方向是收听者的人头相对于所述声源位置的顺时针旋转角度；

一个处理装置，用于按照所述人头方向对所述N路双耳音频信号进行预处理，还原双耳全景声场；

其中，所述按照所述人头方向对所述N路双耳音频信号进行预处理是对所述N路双耳音频信号进行插值处理。

6.根据权利要求5所述的虚拟现实声场生成系统，其特征在于，所述N路双耳音频信号，N是4，指前、后、左、右四个方向的双耳音频信号。

7.根据权利要求5所述的虚拟现实声场生成系统，其特征在于，所述插值处理是用插值系数对所述N路双耳音频信号进行所述插值处理，所述插值系数是一个余弦值。

8.根据权利要求7所述的虚拟现实声场生成系统，其特征在于，所述余弦值是依照所述收听者的人头方向计算得到的余弦值。