CN111954146A

CN111954146A - 虚拟声环境合成装置

Info

Publication number: CN111954146A
Application number: CN202010764636.9A
Authority: CN
Inventors: 杨剑锋; 张京京; 闫磊; 宋韧
Original assignee: Guiyang Qingwenyun Technology Co ltd
Current assignee: Chongqing Qingwen Technology Co ltd
Priority date: 2020-07-28
Filing date: 2020-07-31
Publication date: 2020-11-17
Anticipated expiration: 2040-07-31
Also published as: CN111954146B

Abstract

本发明提供一种虚拟声环境合成装置，包括：配套设置于空间内的声源输入模块与声源输出模块；声源输入模块，用于采集空间内声源；声源输出模块，包括至少一个低频扬声器与至少两个超声波定向扬声器，两个超声波定向扬声器对称设置，形成覆盖于空间内用户头部的定向声场；低频扬声器位于地面且倾斜向上设置，形成覆盖用户耳部的声场连接于声源输入模块和声源输出模块的声场控制模块，用于根据空间内采集的声源调节声源输出模块的输出幅度与输出频率从而形成虚拟声场。利用当前采集的空间内的声源，根据反馈的声源调节声源输出模块的幅度和频率，从而在空间内形成3D立体的虚拟声，避免了传统环绕输出声道引起的前后混淆现象，从而提高了虚拟声的效果。

Description

虚拟声环境合成装置

技术领域

本发明涉及音频技术领域，特别是涉及一种虚拟声环境合成装置。

背景技术

随着三维电视、电影、增强现实(Augmented Reality，AR)以及虚拟现实(virtualreality，VR)技术的发展，3D虚拟声技术成为多媒体和消费电子领域的研究热点。顾名思义虚拟声技术是采用信号处理的方法形成虚拟的声源(或声像)，从而使听者获得和真实声源相同的主观感受。

然而，现有虚拟声环境合成装置通过耳机实现虚拟声源，往往忽略用户身体对声源的感知，缺乏方向感知、距离感知和空间感知，从而造成合成的虚拟声容易发生失真，降低了用户感知虚拟声的体验。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种虚拟声环境合成装置，用于解决现有技术中采用耳机合成虚拟声时，导致的虚拟声像失真的问题。

为实现上述目的及其他相关目的，本发明提供一种虚拟声环境合成装置，包括：

配套设置于空间内的声源输入模块与声源输出模块；

所述声源输入模块，用于采集所述空间内声源；

所述声源输出模块，包括至少一个低频扬声器与至少两个超声波定向扬声器，两个所述超声波定向扬声器对称设置，形成覆盖于所述空间内用户头部的定向声场；所述低频扬声器位于地面且倾斜向上设置，形成覆盖所述用户耳部的声场；

连接于所述声源输入模块和声源输出模块的声场控制模块，用于根据空间内采集的声源调节声源输出模块的输出幅度与输出频率从而形成虚拟声场。

如上所述，本发明的虚拟声环境合成装置，具有以下有益效果：

利用声源输入模块采集当前空间内的声源，根据反馈的声源调节声源输出模块的输出幅度和输出频率，从而在空间内形成3D立体的虚拟声，避免了传统环绕输出声道引起的前后混淆现象，从而提高全景多通道虚拟声效果。

附图说明

图1显示为本发明实施例提供的一种虚拟声环境合成装置结构框图；

图2显示为本发明实施例提供的一种虚拟声环境合成装置中声源输入模块分布图；

图3显示为本发明实施例提供的一种虚拟声环境合成装置中声源输出模块分布图；

图4显示为本发明实施例提供的一种虚拟声环境合成装置工作拓扑图；

图5显示为本发明实施例提供的音频工作站计算归一化值流程图；

图6显示为本发明实施例提供的音频工作站实现数字编码流程图；

图7显示为本发明实施例提供的音频处理器声源还原流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种虚拟声环境合成装置，包括：

配套设置于空间内的声源输入模块1与声源输出模块2；

所述声源输入模块1，用于采集所述空间内声源；

所述声源输出模块2，包括至少一个低频扬声器与至少两个超声波定向扬声器，两个所述超声波定向扬声器对称设置，形成覆盖于所述空间内用户头部的定向声场；所述低频扬声器位于地面且倾斜向上设置，形成覆盖所述用户耳部的声场；

连接于所述声源输入模块1和声源输出模块2的声场控制模块3，用于根据空间内采集的声源调节声源输出模块的输出幅度与输出频率从而形成虚拟声场。

在此需要说明的，所述声源输入模块为拾音麦克风，该拾音麦克风按拾音距离分为近距离拾音麦克风、中距离拾音麦克风和远距离拾音麦克风，在本实施例中，优选中距离拾音麦克风和远距离拾音麦克风，一方面，有利于空间内布局设置，另一方面，有利于清晰地采集空间内声源。

具体地，所述声源输入模块与所述扬声器数量相同，由于所述声源输入模块与声源输出模块为一一对应的配套关系，即，一个声源输入模块采集的声源经声场控制模块处理后发送给对应的声源输出模块进行播放，使得按编号划分的输入声道(采集声源)与输出声道(还原声源)一一绑定，便于后续统一校正声源输入模块与声源输出模块。

在本实施例中，利用声源输入模块采集当前空间内的声源，根据反馈的声源调节声源输出模块的输出幅度和输出频率，从而在空间内形成3D立体的虚拟声，通过与VR设备/AR设备、环行屏等配合，能够有效避免声像失真，同时，也避免了传统环绕输出声道引起的前后混淆现象，从而提高全景多通道虚拟声效果。

本另一些实施例中，声源输出模块采用划分频率区间的方式，相比现有的喇叭阵列，本实施例中，采用超声波定向扬声器，防止各个声波频率耦合和叠加，避免了衍射和干涉，同时，也不会产生干扰的漫反射，将其作为标准理想化的可控扬声器，通过若干组合达到模拟真实环境的效果，甚至可以模拟全局声场环境和声能传递效果。

本另一些实施例中，低频的频谱为(F1-F2Hz)、中频的频谱为(F3-F5KHz)、中高频的频谱为(F4-F6KHz)；其中，频率F1＜F2＜F3＜F4＜F5＜F6，例如，可根据需求调节低频频谱为25HZ～180HZ，中频频谱可以为180HZ～8000HZ，中高频频谱可为6～18KHZ，在此需要说明的是，上述频率范围还可按需调整为其他频段，在此不做限定。具体地，地面接近用户脚步的位置采用低频扬声器覆盖，采用中频的超声波定向扬声器覆盖用户头部周围，采用中高频的超声波定向扬声器覆盖用户头顶；通过全方位、全波段的声源覆盖用户，基本实现人类听觉的全覆盖，有效避免了用户前后方向虚拟声像的混淆，提高了3D虚拟声重放的沉浸感。

本另一些实施例中，所述声源输入模块与所述声源输出模块按经纬度分布于空间内，细分频谱范围，例如，使用更密集的排布声场，细分频率范围，虚拟声合成的效果更好，模拟得更逼真，无限接近真实声环境。

由于采用无数个声源输入模块与声源输出模块会使声轨处理更加复杂，极大增加声源分轨负担，从而几何倍数增加声源分轨工作量；为了节约虚拟声环境合成装置的制造成本，得到虚拟声效果与成本的平衡值，使用九个声源输入模块与九个声源输出模块构成虚拟声环境合成装置，包括：

分布于空间顶部，用于覆盖所述用户头顶的一个所述超声波定向扬声器和一个声源输入模块；均匀分布于空间内，用于环绕所述用户头部的四个所述超声波定向扬声器和四个声源输入模块，均匀分布于空间底部内，用于环绕所述用户头部的四个所述低频扬声器和四个声源输入模块。

详见图2，拾音系统包括头顶拾音麦克风、头部拾音麦克风和脚部拾音麦克风，例如，在空间内布置预设灵敏度的拾音麦克风(声源输入模块)，在用户头顶(距离地面2米)处设置一个头顶拾音麦克风(Overhead Microphone，OM)，采集头顶高度传来的声音，例如，中高频声源。以正方形平行布置于用户耳部位置的四个方位的头部拾音麦克风(HeadMicrophone，简称HM)，用于采集中频声源，该边长为距离40～60cm，根据用户的头型大小适当调节该正方形边长，便于用户头部能够在正方形内自由转动，不受影响，该边长可为45cm、50cm、55cm、60等，其中，头部拾音麦克优选中距离拾音麦克风，且根据四个头部拾音麦克的安装方位以方向命名。在地面靠近用户脚部附近布置有脚部拾音麦克风(FootMicrophone，FM),用于采集低频声源，为了清晰采集声源，脚部拾音麦克风优选远距离拾音麦克风，且按照安装方位以方向命名脚部拾音麦克风。

详见图3，扬声器系统包括头顶定向扬声器、头部定向扬声器和脚部低频扬声器，例如，布置于空间头顶的头顶超声波定向阵列扬声器(Overhead Directional Speaker，ODS)，根据体验场地，头顶超声波定向阵列扬声器安装位置距离地面2.5-4米，为了不降低用户体验，一方面，根据用户的高度正相关调节头顶超声波定向阵列扬声器的安装高度；另一方面，只需确保其形成的定向声场覆盖用户头顶即可(耳部通过头顶能够接收到超声波定向阵列扬声器的声音)。距离地面高度为1.6-1.8米的头部超声波定向阵列扬声器(HeadDirectional Speaker，HDS)，四个头部超声波定向阵列扬声器形成边长为3-5米正方形覆盖用户的头部，确保按方位布置安装的头部超声波定向阵列扬声器形成的声场辐射范围能够覆盖头部周围。脚部扬声器(Foot Directional Speaker，FDS)为低频喇叭，四个脚部扬声器按方位布置于用户脚部四周，形成的声场不仅可覆盖用户耳部位置，还能产生地面震动，在用户头部形成低频响应。例如，头顶超声波定向阵列扬声器为中高频扬声器，头部超声波定向阵列扬声器为中频扬声器，脚部扬声器为低频扬声器，实现全方位、全波段的声源覆盖用户，基本实现人类听觉的全覆盖，有效避免了用户前后方向虚拟声像的混淆，提高了3D虚拟声重放的沉虚拟声效果。

另外，所述声源输入模块与所述声源输出模块相邻且同向设置，便于形成上述对称结构布局的虚拟声环境合成装置，通过本装置可以实现3D全景声像，满足全方位模拟真实环境的要求，从而在上下左右、前前后后都有声音传来，而无主声音方向，形成均衡且无限接近真实声环境虚拟声场，可以和VR、AR或环形屏幕等全景3D视觉设备配合，达到声像统一的功能。

其中，还需要说明的，所述声源输入模块与所述声源输出模块不一定非得同向安装，例如，声源输入模块安装东南西北正方位布局，声源输出模块按东南、东北、西北、西南方位布局，声源输入模块与所述声源输出模块通过错位布局也能实现均衡虚拟声的目的，在此不做限定。

详见图4，拾音系统直接录音(如果是VR/AR形成的虚拟空间，可以依靠制作环境声音分轨到数字音频处理器进行模拟)；音频工作站做音频编辑以及音轨处理，通过多通道声卡的输入输出端口；而数字音频处理器调整音频效果及输出轨道分配；控制扬声器系统分九个通道播放从而形成虚拟声。

在本实施例中，将录制的头部声源分轨到超声波定向阵列扬声器，利用耳朵自动分辨声压级和时间差，大脑重新编码后会产生3D立体感，在大脑内实现声像方位的判断，形成声像一致性体验，同时感受到音调、空间感产生的响应。

如果是真实环境录音，无需处理，直接播放；如果是虚拟环境，就需要对回声进行处理将直达声做一个时间差，原则是不能超过预设时延T，T可为20毫秒、30毫秒、40毫秒、50毫秒、60毫秒等等，在此不做进一步限定，这样在声压级降低、频率差值计算后的几轮声音就是回声。

利用低频再生，通过脚步升起的低频扬声器，配合头部超声波定向阵列扬声器和头顶超声波定向阵列扬声器，不但可以使声音更加浑厚，而且可以更加凸显声像位置，对于空间感的描述会更加饱满和真实。

在另一些实施例中，所述声场控制模块包括用于对输入声源进行编辑和分轨的音频工作站以及用于根据分轨声源调节声源输出模块的输出幅度与输出频率的音频处理器。其中，所述音频工作站利用多通道声卡对采集的声源归一化处理以校正声源输入模块，使所述声源输入模块按校正的频率进行采样和编码。

具体地，利用以下公式计算归一化值校正所述声源输入模块的频率；式中，y为归一化值，b为音源权重值，C为音源幅值，F为频率值，k为下标值，r为定义域范围。

所述音频处理器根据声源编码调节所述声源输出模块的频率和幅度还原声源。

详见图5，以九个声源输入模块与九个声源输出模块构成虚拟声环境合成装置为例，声源通过拾音系统传输到音频工作站，利用上述归一化公式统一九通道拾音麦克风的频率幅值使所有麦克风处于归一化的状态，防止由于设备差异引起的声像失真和谐调失真。音频工作站比较各通道幅值，计算绝对幅值误差值，得到各通道幅值权重值最终计算得到归一化值，存储在数字编码内(使用特殊的数字编码进行数据储存)存，该编码格式可以储存九个通道的音频数据以及各个通道的音频归一值。

详见图6，音频工作站按照通道号存储相应的归一化值与相应音频数字化编码，实现数字编码，即，音频工作站依据各通道音频归一值计算进行数字采集，储存数据。详见图7，音频处理器还原各个声道的声源形成虚拟声，依据采集到的数字音频(声源)以及各通道归一值编码，在音频处理器中进行识别，通过扬声器系统播放以还原声音。

综上所述，本发明利用声源输入模块采集当前空间内的声源，根据反馈的声源调节声源输出模块的输出幅度和输出频率，从而在空间内形成3D立体的虚拟声，避免了传统环绕输出声道引起的前后混淆现象，从而提高全景多通道虚拟声效果。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种虚拟声环境合成装置，其特征在于，包括：

配套设置于空间内的声源输入模块与声源输出模块；

所述声源输入模块，用于采集所述空间内声源；

2.根据权利要求1所述的虚拟声环境合成装置，其特征在于，所述声源输入模块与所述扬声器数量相同。

3.根据权利要求1或2所述的虚拟声环境合成装置，其特征在于，所述声源输入模块与所述声源输出模块相邻且同向设置。

4.根据权利要求1所述的虚拟声环境合成装置，其特征在于，所述声源输入模块与所述声源输出模块按经纬度分布于空间内。

5.根据权利要求1或4所述的虚拟声环境合成装置，其特征在于，所述声源输入模块与声源输出模块各为九个，包括分布于空间顶部，用于覆盖所述用户头顶的一个所述超声波定向扬声器和一个声源输入模块；均匀分布于空间内，用于环绕所述用户头部的四个所述超声波定向扬声器和四个声源输入模块，均匀分布于空间底部内，用于环绕所述用户头部的四个所述低频扬声器和四个声源输入模块。

6.根据权利要求5所述的虚拟声环境合成装置，其特征在于，位于空间顶部的所述超声波定向扬声器输出中高频声波；分布于空间内且环绕所述用户头部的所述超声波定向扬声器输出中频声波。

7.根据权利要求1所述的虚拟声环境合成装置，其特征在于，所述声场控制模块包括用于对输入声源进行编辑和分轨的音频工作站以及用于根据分轨声源调节声源输出模块的输出幅度与输出频率的音频处理器。

8.根据权利要求7所述的虚拟声环境合成装置，其特征在于，所述音频工作站利用多通道声卡对采集的声源归一化处理以校正声源输入模块，使所述声源输入模块按校正的频率进行采样和编码。

9.根据权利要求8所述的虚拟声环境合成装置，其特征在于，利用以下公式计算归一化值校正所述声源输入模块的频率；

式中，y为归一化值，b为音源权重值，C为音源幅值，F为频率值，k为下标值，r为定义域范围。

10.根据权利要求7所述的虚拟声环境合成装置，其特征在于，所述音频处理器根据声源编码调节所述声源输出模块的频率和幅度还原声源。