CN104240695A

CN104240695A - 一种优化的基于耳机重放的虚拟声合成方法

Info

Publication number: CN104240695A
Application number: CN201410438557.3A
Authority: CN
Inventors: 钟小丽; 张亮
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2014-08-29
Filing date: 2014-08-29
Publication date: 2014-12-24

Abstract

本发明公开了一种优化的基于耳机重放的虚拟声合成方法，包括步骤：根据需要虚拟的声环境的物理和几何特性，确定到达倾听者位置的房间脉冲响应RIR；根据RIR中直达声和各个反射声相对于倾听者头中心的到达空间方位，选取对应的头相关脉冲响应HRIR和RIR中直达声和反射声部分分别进行卷积，得到双耳房间脉冲响应BRIR；将虚拟声源的单通路信号和BRIR进行卷积，得到双耳声信号；双耳声信号和耳机传输函数HpTF的逆函数进行卷积，得到耳机补偿后的双耳声信号，馈给耳机重放。本发明可优化信号处理的算法和减小运算量，对合成双耳声信号进行耳机补偿，可较好地解决头中定位和声像畸变的问题，应用广泛。

Description

一种优化的基于耳机重放的虚拟声合成方法

技术领域

本发明涉及3D声重放技术，具体涉及一种优化的基于耳机重放的虚拟3D声合成方法，特别适合在硬件水平不高的情况下（如手持移动通讯终端）实现3D虚拟声。

背景技术

人类听觉系统通过双耳声信号感知外部声学信息。虚拟声技术通过信号处理的方法人为地合成双耳声信号，并采用耳机重放，使倾听者获得虚拟的外部声信息（含声源信息和环境信息），进而产生“身临其境”的听觉效果。

在现实的环境中，声源声波和环境（例如墙壁）、倾听者生理结构（例如头部、肩部）发生相互作用后，最终到达倾听者双耳。这个声学传输可视为一个线性时不变的过程，其物理特征用双耳房间脉冲响应BRIR(Binaural Room Impulse Response)表示。其中，声波和环境的相互作用可采用房间脉冲响RIR(Room Impulse Response)表示，RIR表征了声波和环境发生相互作用所形成的直达声和反射声的时间、空间的传输特性。将单通路声源信号与一对BRIR（左右耳各一）进行卷积得到模拟或合成的双耳声信号, 采用一对耳机重放，就可以实现3D虚拟声。可见，BRIR是实现3D虚拟声的关键。

通常，BRIR的合成采用参数化模拟的方法，即将声源到倾听者双耳的声学过程分解为直达声部分和一系列不同阶次的反射声部分，分别对它们进行模拟。直达声部分的模拟相对简单：根据RIR确定直达声的到达方位，采用相应方位的头相关脉冲响应HRIR(Head-Related Impulse Response，描述自由场情况下倾听者生理结构与声波的相互作用)和RIR中直达声部分进行卷积。而反射声的模拟通常采用几何声学的虚声源法（image-source method），也就是将环境界面的每次反射用一个位于镜像方位的等效自由场虚声源代替。根据RIR中反射声部分的空间分布，逐个确定每个反射声的等效自由场虚声源，选取对应自由场虚声源空间方位的HRIR，将其和RIR中反射声部分进行卷积。最终，将直达声部分和反射声部分的卷积结果进行叠加得到合成BRIR.

在实际的应用中，等效自由场虚声源的数目随着反射声阶数的增加而呈指数增加，特别是对于复杂的界面环境。由于每一个等效虚声源信号都需要用一对HRIR进行卷积(或HRTF滤波，HRTF为HRIR的频率域等价表示)处理；如果考虑倾听过程中倾听者和声源之间可能发生的相对位置变化（即动态重放），还需要根据头部的位置不断地对HRIR进行刷新。这使得运算量很快就超过了普通系统软硬件的处理能力。事实上，3D虚拟声处理的大部分计算资源是消耗在各阶等效虚声源信号与HRIR卷积上。所以，现有3D虚拟声的模拟方法在较大程度上制约了其在消费类电子领域（如多媒体电脑、手持移动通讯终端）的应用。在计算资源和能力有限的情况下，目前（动态）3D虚拟声系统基本上只模拟2－3阶的反射声，以减少虚声源的数目。

耳机重放是3D虚拟声重放的主要方式。相对于扬声器重放，耳机重放具有占空间小、便于携带、对他人干扰小等优点，被广泛应用于个人电脑、便携式移动通讯、电脑游戏等方面。在耳机重放阶段，由于耳机到耳道的声传输频谱HpTF（Headphone-to-ear-canal Transfer Function）不是平直的，所以直接将合成双耳声信号馈给耳机重放，将破坏双耳声信号的频谱特性，引起听觉畸变（包括定位错误、前后混乱等），降低3D重放的听觉质量。

发明内容

本发明为解决上述现有技术中存在的缺陷，提供一种优化的基于耳机重放的虚拟声合成方法。

本发明采用如下技术方案：

一种优化的基于耳机重放的虚拟声合成方法包括如下步骤：

步骤1、根据需要虚拟的声环境的物理和几何特性，确定到达倾听者位置的房间脉冲响应RIR；

步骤2、根据RIR中直达声和各个反射声相对于倾听者头中心的到达空间方位，选取对应的头相关脉冲响应HRIR和RIR中直达声和反射声部分分别进行卷积，得到双耳房间脉冲响应BRIR；

步骤3、将虚拟声源的单通路信号和BRIR进行卷积，得到双耳声信号；

步骤4、双耳声信号和耳机传输函数HpTF的逆函数进行卷积，得到耳机补偿后的双耳声信号，馈给耳机进行重放。

具体地，所述的HRIR数据取自一个包含多个声源空间方位的测量数据库，未测空间方位的HRIR可利用已测HRIR的空间插值获得。

较佳地，在本发明的一个实施例中，所述步骤2具体包括：

步骤201、根据声源相对于倾听者的空间方位，选取对应方位的HRIR；将HRIR和RIR中直达声部分进行时间域卷积或在频率域进行滤波；

步骤202、根据虚声源法，确定反射声相对于倾听者的空间方位，选取对应方位的HRIR；采用矩形时间窗，将HRIR截断为128个采样点长度（采样率为44.1Hz），到简化HRIR；将简化HRIR和RIR中反射声部分进行时间域卷积或在频率域进行滤波，对于多个反射声的情况，逐个进行本步骤；

步骤203、将步骤201和步骤202的结果相加，得到BRIR。

较佳地，在本发明的一个实施例中，所述步骤4具体包括：

步骤401、测量倾听者HpTF；

步骤402、对HpTF进行最小相位重构；

步骤403、将双耳声信号和最小相位HpTF的逆函数进行卷积。

本发明的原理是：人类听觉系统对反射声的分辨能力是有限的。在优先效应所限制的条件下，各次反射声并不形成独立的听觉事件，直达声也会对反射声产生掩蔽。因此，各次反射声所提供的信息在听觉上是有一定冗余的，可以对反射声合成中的HRIR进行简化（如时间窗截断），将有限的计算资源用于对听觉重要的信息模拟。另一方面，对于耳机重放所引起的声信号畸变的问题，可以采用数字信号处理原理，用HpTF的逆函数进行处理。这里考虑了人耳对相位信息的不敏感，所以处理中仅取HpTF的最小相位部分。

本发明与现有技术相比，具有如下优点和有益效果：

1. 本发明依据人类听觉特性，对反射声合成中的HRIR进行时间窗截断的简化处理；并采用最小相位HpTF进行耳机补偿。该方法能减少基于耳机重放的3D虚拟声中听觉畸变（包括定位错误、前后混乱等）问题，且减少运算量，适合实际应用；

2. 本发明可采用算法语言（如VC++）编制的软件在多媒体计算机上实现，也可采用通用信号处理芯片电路或专用的集成电路实现；

3. 本发明可作为算法写入专用硬件芯片，用于各种便携式播放设备（如MP4、iPhone、智能手机等）方面的声音重放，也可作为硬件或软件用在多媒体计算机的声音重放。

附图说明

图1是本发明的一种优化的基于耳机重放的虚拟声合成方法的原理图；

图2是HRIR的时间窗截断示意图；

图3是最小相位的HpTF；

图4是多媒体计算机实现的信号处理软件的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的发明目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。

图1是本发明的一种优化的基于耳机重放的虚拟声合成方法原理图。它采用RIR和HRIR合成BRIR，并对输入的单通路声源信号进行卷积处理和耳机补偿处理后，再用耳机重放，使倾听者体验声源信号在特定声环境（由RIR决定）中的感知效果。

一种优化的基于耳机重放的虚拟声合成方法包括如下步骤：

具体地，在本发明的一个实施例中，所述步骤2具体包括：

步骤203、将步骤201和步骤202的结果相加，得到BRIR。

具体地，在本发明的一个实施例中，所述步骤4具体包括：

步骤401、测量倾听者HpTF；

步骤402、对HpTF进行最小相位重构；

步骤403、将双耳声信号和最小相位HpTF的逆函数进行卷积。

其中，不同声环境有不同的RIR表征，所以采用不同RIR可以模拟不同的声环境特征，例如户外、教堂、餐厅、教室等。在实际应用中，可以预先存储典型声环境的RIR，设计相应的用户界面，供倾听者选择。

其中，反射声合成中的HRIR时间窗截断，可以方便地选用矩形时间窗。通常，原始测量的HRIR为512个采样点（采样频率为44.1kHz），可以采用128点长度的矩形时间窗将其截断为128个采样点。通常，截断点的选择遵循完整保留HRIR中信号到达时间以及HRIR波动特性的原则。例如，以HRIR幅度最大值的10%上升沿再向前保留10个采样点作为截断起点。

本发明可以设计成软件在多媒体计算机上实现，也可以设计成专用的集成电路芯片实现，还可以利用通用的信号处理芯片所做成的硬件电路实现。本发明可用于各种手持移动终端、便携式播放设备的声音重放，也可作为软件或硬件用于多媒体计算机的声音重放。

本发明在各种手持移动终端和便携式播放设备的应用：

首先，倾听者根据需求选择声环境RIR；然后选择输入的单通路信号（例如语音信号、音乐信号）。将它们按照图1的方式进行双耳（虚拟）处理后，得到两路信号，然后分别馈给一对耳机重放出3D声效果。其中，双耳处理可作为各种手持移动终端和便携式播放设备机内的一部分硬件电路。

需要指出的是，图1中HpTF是一个和倾听者头部、耳部生理特征相关的参量，理应对每个倾听者的HpTF进行单独测量。然而，HpTF的测量需要特定的设备和场所，所以在普通的消费类电子产品的应用中，可以预先对标准人类头模型（例如KEMAR）的HpTF进行测量，然后存储在设备中，以便实时调用。由于标准人类头模型在统计意义上反映了人群的生理特征，用其HpTF代替倾听者的HpTF是合理的。这种处理有可能带来听觉上的轻微失真，但是对于普通的消费类电子产品，采用标准人类头模型HpTF的听觉特性是足够的。

本发明在多媒体计算机的应用：

由计算机的DVD﹣ROM或硬盘读取特定声环境的RIR、单通路声源信号、HpTF，然后用计算机软件按图1的方法进行双耳（虚拟）处理，也可以在计算机的声卡上用专用的硬件电路实现，得到两路信号，然后分别馈给一对耳机重放出3D虚拟声的效果。

图4是在多媒体计算机中用信号处理软件实现的一种优化的基于耳机重放的虚拟声合成方法的处理流程图。

第一步、根据用户需求选择特定声环境的RIR。RIR的存储是开放的，用户也可自行添加；

第二步、将RIR中的直达声部分和相应方位的HRIR进行卷积处理。分别地，采用虚声源法确定RIR中反射声的虚拟声源方位，选取相应方位的HRIR进行简化处理（时间窗截断）；将简化后的HRIR和RIR中反射声部分进行卷积处理。

第三步、混合上述直达声和反射声的卷积结果，得到BRIR；

第四步、调取单通路声源信号、HpTF函数，将它们依次和BRIR进行卷积，得到耳机补偿后的合成双耳声信号；

第五步、左、右两通路耳机信号通过声卡输出到耳机进行重放。

如上所述，便可较好地实现本发明。

专业技术人员可意识到，结合本发明中所公开的实施例描述的各示例的算法步骤，软件和硬件实现具有可互换性。这些功能究竟是采用软件还是硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用采用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种优化的基于耳机重放的虚拟声合成方法，其特征是，包括如下步骤：

2.根据权利要求1所述的优化的基于耳机重放的虚拟声合成方法，其特征是，所述的HRIR数据取自一个包含多个声源空间方位的测量数据库，未测空间方位的HRIR可利用已测HRIR的空间插值获得。

3.根据权利要求1所述的优化的基于耳机重放的虚拟声合成方法，其特征是，步骤2具体包括：

步骤202、根据虚声源法，确定反射声相对于倾听者的空间方位，选取对应方位的HRIR；采用矩形时间窗，将HRIR截断为128个采样点长度（采样率为44.1Hz），得到简化HRIR；将简化HRIR和RIR中反射声部分进行时间域卷积或在频率域进行滤波，对于多个反射声的情况，逐个进行本步骤；

步骤203、将步骤201和步骤202的结果相加，得到BRIR。

4.根据权利要求1所述的优化的基于耳机重放的虚拟声合成方法，其特征是，步骤4具体包括：

步骤401、测量倾听者HpTF；

步骤402、对HpTF进行最小相位重构；

步骤403、将双耳声信号和最小相位HpTF的逆函数进行卷积。