CN108616789A - 基于双耳实时测量的个性化虚拟音频回放方法 - Google Patents

Abstract

本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法，属于虚拟音频处理技术领域。本发明以听音人员头部为中心选取固定距离，并以该距离为半径的球面上均匀地选择方位，扬声器按预先选择的方位依次播放声音信号；收集麦克风录制的声音信号，标注对应的声源位置，根据录制的声音信号及标注对应的声源位置生成原始数据库，通过傅里叶分析得到扬声器所在各个位置点上的个性化头相关传递函数HRTF数据库；根据空间音频信号的内容和位置，使用得到的HRTF数据库对多声道的虚拟音频信号进行双耳渲染，对渲染得到的空间音频信号进行双耳虚拟回放，进而消除听音人员个体差异对听觉感受造成的影响，降低现有测量设备价格和缩短测量周期。

Description

基于双耳实时测量的个性化虚拟音频回放方法

技术领域

本发明公开一种基于双耳实时测量的个性化虚拟音频回放方法，尤其涉及一种针对个体获取个性化HRTF数据，并实时进行个性化虚拟音频回放的方法，属于虚拟音频处理技术领域。

背景技术

在人类的听觉感知过程中，除了可以抽象地获取声源本身包含的内容信息，还可以得到声源本身关于听音人员的相对位置信息，包括方位角、仰角、距离。人体对声源位置的感知能力可以协助视觉感知来快速定位目标位置。而传统的音频技术如双声道立体声技术、多声道环绕声技术只能实现对音频内容信息的重放，声源方位信息是固定的，听音人员不能实时主动地判断声源位置。近年来随着虚拟现实 (Virtual Reality)以及增强现实(Augmented Reality)技术的发展，对于虚拟环境中的音频技术有了更多的应用需求。在虚拟场景中需要使用虚拟音频技术来提供虚拟的声源空间感，目前其主要实现方式为头相关传输函数技术(Head Related Transfer Function,HRTF)。

HRTF技术并不着眼于整体声场的还原，而仅关注听音人员本身的听觉感受。该理论认为相对于声源，人体与环境共同组成了一个和声源位置相关的滤波系统，只要知道从作为声源输入的某一空间位置，分别到作为声源输出的双耳耳道入口的传输系统的冲击响应函数，即双耳房间冲击响应函数(Binaural Room Impulse Response, BRIR)便可以通过卷积操作得到该位置任意声源内容到耳朵入口处的滤波效果，并能够方便地通过耳机播放双声道立体声来获得较为真实的听觉感受。进一步，将人体滤波系统从人体与环境的联合滤波系统中剥离，单独研究自由场(除了听音人员本身没有其他声波反射物的环境)的滤波系统，即头相关传输函数。而环境滤波系统对声源感知的作用可以与HRTF进行组合得到所需的BRIR。由于实现HRTF技术的播放设备相对简单，这一技术已经在虚拟现实音频、游戏娱乐、家庭影院等方面有了广泛的应用。

而使用HRTF进行虚拟声源重放的前提是获得一组已经制作好的HRTF库。测量HRTF需要使用人头模型，在耳道中或耳道口处放置探针传声器。然后在周围空间的相对分散的离散位置(包括不同方位角、仰角和距离的位置)播放序列声音信号。再利用傅里叶分析方法得到该位置HRTF所对应的冲击响应。由于HRTF是使用人头模型录制得到的固定的一组冲击函数，渲染虚拟音频的过程是使用对应位置的HRTF对单声道音源进行滤波，以及通过球谐函数线性插值处理，因此对于不同的听音人员，会产生个性化问题。这是由于个体间头部外形结构之间的差异，每个人的头相关传输函数也有很大的差异。如果使用非个性化的头相关传递函数进行虚拟声像的合成，会使听音人员实际感受到的声像方向和目标声像方向之间存在很大的差异，从而降低了听觉体验的质量。然而，针对个人测量HRTF的工作需要耗费大量的时间，而且需要的专业设备体积大且费用昂贵，无法得到广泛应用。因此需要尽量减少设备的需要，更加快速的得到使某个听音人员获得良好虚拟声像感知的 HRTF。

针对上述HRTF技术存在的个性化问题，专利“基于三维生理参数的HRTF个人化匹配方法”(公开号CN106682203A)提出首先对每个测试者测量头部和肩部的生理参数，并用经过平移后的生理参数匹配现有的HRTF数据库，以选择更为合适的HRTF。该方法在一定程度上提高了HRTF匹配的准确性，但也存在生理参数测量不精确、现有HRTF难以满足要求等问题。HRTF的个性化问题仍然存在。专利“一种用于3D音效耳机重放的个性化优化方法”(公开号CN105979441A)提出使用经过HRTF渲染的3D音源对听音者进行训练，并根据训练结果在已有的HRTF数据库中匹配响应的HRTF，并根据体验效果微调HRTF参数，以实现对听音者的个性化匹配。该方法一定程度上保证了听音者的听音感受，但“训练——匹配——调整算法”的实现方式较为复杂。

发明内容

为了解决在虚拟音频回放时由于听音人员个体差异对听觉感受造成的影响，以及现有的测量设备存在价格昂贵、测量周期长等问题，本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法要解决的技术问题是：降低虚拟音频回放时由于听音人员个体差异对听觉感受造成的影响，并降低现有测量设备价格和缩短测量周期。

本发明的目的是通过下述技术方案实现的。

本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法，以听音人员头部为中心选取固定距离，并以该距离为半径的球面上均匀地选择方位，扬声器按预先选择的方位依次播放声音信号；收集麦克风录制的声音信号，标注对应的声源位置，根据录制的声音信号及标注对应的声源位置生成原始数据库，通过傅里叶分析得到扬声器所在各个位置点上的个性化头相关传递函数HRTF数据库；根据空间音频信号的内容和位置，使用得到的HRTF数据库对多声道的虚拟音频信号进行双耳渲染，对渲染得到的空间音频信号进行双耳虚拟回放，进而消除听音人员个体差异对听觉感受造成的影响，降低现有测量设备价格和缩短测量周期。

本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法，包括以下步骤：

步骤一：确定听音人员和进行虚拟音频重放的真实房间，并在步骤二至五中使用所述真实房间的混响环境对该听音人员进行个性化的虚拟音频重放；

步骤二：在听音人员耳道口处放置微型入耳式麦克风，并坐在房间内固定的位置上，保持头部和耳部静止不动；

步骤三：使用独立的扬声器在房间可视范围内，以头部为中心选取固定距离，并在以该距离为半径的球面上均匀地选择方位，扬声器按预先选择的方位依次播放声音信号。播放声音信号时开启微型麦克风，录制扬声器播放的声音信号；

步骤三所述的扬声器播放的声音信号优选“最大长度二进制伪随机序列(Maximum Length Sequence，MLS)”。

步骤四：收集麦克风在步骤三中录制的声音信号，并标注对应的声源位置，根据录制的声音信号及标注对应的声源位置生成原始数据库，通过傅里叶分析得到扬声器所在各个位置点上的个性化头相关传递函数HRTF数据库，对于非位置点的 HRTF数据通过内插的方法得到该位置处的HRTF数据；

步骤四所述的内插方法优选“线性内插方法”或“非线性内插方法”。

步骤五：通过实时测量得到听音人员的个性化HRTF数据后，根据空间音频信号的内容和位置，使用步骤四中得到的HRTF数据库对多声道的虚拟音频信号进行双耳渲染，并向该听音人员进行双声道输出。从而降低虚拟音频回放时由于听音人员个体差异对听觉感受造成的影响，实现更好的虚拟音频的空间感和沉浸感，并降低现有测量设备价格和缩短测量周期。

有益效果：

1、本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法，采用实际录制听音人员的个性化HRTF数据的方法，相比从已有的HRTF库中选择与听音人员生理参数最相近的HRTF数据作为听音人员的HRTF的方法，能够消除听音人员个体差异对听觉感受造成的影响，实现更好的虚拟音频的空间感和沉浸感。

2、本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法，测量设备设备构造相对简单，对录制环境要求不高，操作流程容易实施，相比与在消声室中用大型设备录制听音人员个性化HRTF的方法，能够降低测量设备的价格，缩短测量周期。

3、本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法，测量过程得到的实际上是带有房间混响的HRTF数据，相比在消声室中录制HRTF的方法，能够实现更好的回放虚拟音频的空间感和沉浸感。

附图说明

图1为本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法的流程图；

图2为本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法实施例中的测量系统描述示意图；

图3为本发明公开的一种基于双耳实时测量的个性化虚拟音频回放方法实施例中的HRTF测量位置点分布图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述。

实施例

如附图1所示，本实施例公开的一种基于双耳实时测量的个性化虚拟音频回放方法，具体实施步骤如下：

步骤一：确定进行虚拟音频重放的听音人员和真实房间。对应附图1中的1。

需要确定具备虚拟音频重放所需混响环境的真实房间，并确定特定的听音人员。需要注意后续步骤中个性化的HRTF采集和虚拟音频重放都是针对该听音人员为此房间的混响环境而设计。

步骤二：进行HRTF数据采集的准备工作。对应附图1中的2。

在房间中选定测量位置，并搭建HRTF简易测量系统。其中，测量系统包含扬声器、麦克风以及扬声器的固定装置、角度测量设备等。扬声器为便携式脉冲信号发生器，用来在特定方位播放MLS序列声音信号；麦克风为入耳式微型麦克风，在测量HRTF的过程中放置在听音人员外耳道处。需要提醒听音人员，在测量过程中头部应保持静止不动。

步骤三：进行包含房间混响的个性化HRTF数据采集和处理。这一步骤对应附图1中的3。

听音人员佩戴好麦克风后，按照附图2所示坐在房间内的指定位置处，准备进行HRTF测量。使用便携式脉冲发生器在不同方位播放MLS音频序列信号，播放时开启微型麦克风进行录制，播放完毕后关闭麦克风，并保存音频数据，记录声源方位。

测量系统描述如附图2所示，其中1为房间模型，2表示佩戴了入耳式微型麦克风的听音人员，3为HRTF录制的全部位置点。

本实施例中HRTF测量过程的具体位置点的三视图如附图3所示：

采用空间听觉研究中通用的球坐标系表达方位，方位角θ的范围为0°到360°， 0°表示正前方，90°表示正右方，180°表示正后方，270度表示正左方。以30°为间隔，共0°、30°、60°、90°、120°、150°、180°、210°、240°、270°、 300°、330°12个方位。

仰角φ的范围为-80°到+90°，且0°表示水平面，+90°表示正上方。以20°为间隔，共-80°、-60°、-40°、-20°、0°、20°、40°、60°、80°以及正上方 90°共10个方位。

因此HRTF测量时需要在上述共109个位置点播放MLS音频信号，MLS信号的采样频率为44.1kHz，冲击响应长度为512点，使用麦克风进行录制得到双声道信号，采样频率和MLS信号采样频率一致。

步骤四：对录制的双耳音频信号进行数据处理，此步骤对应附图1中的4。

对于所有位置点的双耳信号，需要将原始信号作为输入信号，采集信号中的一个声道作为输出信号，通过傅里叶分析法得到每个声道对应的冲击响应。两个声道进行合并为双通道信号后即为该位置的HRIR，由于此方法未将房间混响从HRIR中分离，因此也可视为BRIR函数。

对于未进行数据采集的位置，本实施例中采用线性内插法获得该位置处的HRIR数据。

至此，可以获得个性化的、包含房间混响的完整HRTF数据库。

步骤五：使用经上述过程个性化的HRTF数据对虚拟音频信号进行虚拟音频重放。此步骤对应附图1中的5。

原始虚拟音频为多通道信号或包含多个声音对象的信号，在进行音频输出时使用步骤四中得到的个性化HRTF数据库进行双耳渲染处理，并使用双声道耳机输出。听音人员须为进行HRTF测量的人员。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于双耳实时测量的个性化虚拟音频回放方法，其特征在于：包括以下步骤，

步骤一：确定听音人员和进行虚拟音频重放的真实房间，并在步骤二至五中使用所述真实房间的混响环境对该听音人员进行个性化的虚拟音频重放；

步骤二：在听音人员耳道口处放置微型入耳式麦克风，并坐在房间内固定的位置上，保持头部和耳部静止不动；

步骤三：使用独立的扬声器在房间可视范围内，以头部为中心选取固定距离，并在以该距离为半径的球面上均匀地选择方位，扬声器按预先选择的方位依次播放声音信号；播放声音信号时开启微型麦克风，录制扬声器播放的声音信号；

步骤四：收集麦克风在步骤三中录制的声音信号，并标注对应的声源位置，根据录制的声音信号及标注对应的声源位置生成原始数据库，通过傅里叶分析得到扬声器所在各个位置点上的个性化头相关传递函数HRTF数据库，对于非位置点的HRTF数据通过内插的方法得到该位置处的HRTF数据；

步骤五：通过实时测量得到听音人员的个性化HRTF数据后，根据空间音频信号的内容和位置，使用步骤四中得到的HRTF数据库对多声道的虚拟音频信号进行双耳渲染，并向该听音人员进行双声道输出；从而降低虚拟音频回放时由于听音人员个体差异对听觉感受造成的影响，实现更好的虚拟音频的空间感和沉浸感，并降低现有测量设备价格和缩短测量周期。

2.如权利要求1所述的一种基于双耳实时测量的个性化虚拟音频回放方法，其特征在于：步骤三所述的扬声器播放的声音信号选“最大长度二进制伪随机序列(Maximum LengthSequence，MLS)”。

3.如权利要求1或2所述的一种基于双耳实时测量的个性化虚拟音频回放方法，其特征在于：步骤四所述的内插方法选“线性内插方法”或“非线性内插方法”。