CN108038291B - 一种基于人体参数适配算法的个性化头相关传递函数生成系统及方法 - Google Patents

Abstract

本发明提供了一种基于人体参数适配算法的个性化头相关传递函数生成系统及方法。首先在生成个性化头相关函数时，由用户提供个人的人体形态学参数信息，然后利用人体参数适配分析算法从头相关传递函数样本库中取得若干组与用户形态学参数最适配的候选样本，之后用户通过主观听音测评从候选样本中选出各参考方位的最佳适配样本，最后通过拟合算法生成其他空间方位的头相关传递函数，从而得到针对用户定制的个性化头相关传递函数。本发明具有运算效率高，个性化效果显著的特点，并且随头相关传递函数库中样本数量的增加，本发明的个性化效果越好。

Description

一种基于人体参数适配算法的个性化头相关传递函数生成系 统及方法

技术领域

本发明涉及虚拟现实技术中三维声效果增强领域，适用于基于双声道的三维声床渲染和音源对象渲染所需的个性化头相关传递函数的建立。

背景技术

随着虚拟现实(Virtual Reality，简称VR)技术的快速发展，传统的立体声音效已经无法满足沉浸式声音体验的需求，传统的基于多声道技术的三维音频呈现技术虽然具有较好的三维声呈现效果，但由于需要多个扬声器进行配置，无法适用于小型移动设备。

人仅通过双耳即可辨别出空间中的声源方位，其原理在于人脑可以通过双耳间声音细微差异判别出声源的方位。头相关传递函数(Head Related Transfer Function，简称HRTF)描述了声音由特定方位传递入人耳的过程中经过耳廓、躯干等人体部位反射、衍射而发生的改变。因此利用HRTF能够模拟出人双耳收听到的声音信息，从而呈现出逼真的三维声效果，利用HRTF用户仅需使用普通的双声道耳机即可享受三维音频。

由于HRTF反映的是声音受人体的影响情况，所以HRTF与个体密切相关，不同个体的HRTF有较大的差异。目前获得某个个体的HRTF最精确方法是通过实验直接测量得到。但是，测量HRTF需要专用的测量设备和实验环境，而且测量的过程非常复杂、耗时，无法开展大规模应用。因此，快速方便的个性化HRTF生成方法成为VR技术的重要研究内容。

发明内容

本发明的目的是提供一种通过用户提供人体形态学参数而获得个性化HRTF的技术方案，该发明能够快捷方便的根据用户的形态学参数为用户定制生成个性化HRTF。

为达到上述目的，本发明提供一种基于人体参数适配算法的个性化头相关传递函数生成系统，其特征在于：包括：

人体参数权重计算模块：用于对HRTF样本库中提取的人体形态学参数样本进行分析，计算出样本库中各种人体形态学参数的相关性得分，并根据其相关性得分量化出人体参数权重；该模块计算所得的“人体形态学参数权重”将用于人体参数适配分析模块中，为给定用户的人体形态学参数适配分析提供权重参数；

人体参数适配分析模块：用于对给定用户的人体参数进行适配分析，根据分析结果提供出候选HRTF；该模块计算所得的候选HRTF将用于HRTF适配选择HRTF适配选择模块，由用户进行主观评测选择最佳适配HRTF；

HRTF适配选择模块：用于对来自于人体参数适配人体参数适配分析模块(2)的候选HRTF进行用户主观评测，选出各参考方位的最佳候选HRTF；选定的最佳候选HRTF结果传输给个性化HRTF生成模块；

个性化HRTF生成模块：用于根据HRTF适配选择模块得到的最佳候选HRTF结果，采用HRTF插值算法，补充其余方位的HRTF，计算出完整的全空间个性化HRTF。

一种基于人体参数适配算法的个性化头相关传递函数生成方法，其特征在于，包括以下步骤：

步骤1，对HRTF样本库中的样本对象进行人体形态学参数的相关性分析，根据各形态学参数的相关性得分作为参数权重分配的参考依据；实施例中，首先计算HRTF样本库中各样本形态学参数之间的互相关性；设f_n,r为HRTF样本库中第n个样本的第r种形态学参数，则样本库中所有样本的第r种人体形态学参数可以表达为：

F_r＝{f_1,r,f_2,r,…,f_N,r}^T,r＝1,2,3,…,R (1)

其中N为HRTF样本库中样本的数量，R为人体形态学参数的种类数量；

HRTF样本库中所有样本的第x种和第y种人体形态学参数之间的相关性ρ_x,y可以表达为：

则第x种人体形态学参数的相关性得分S_x可以表达为：

其中N为HRTF样本库中样本的数量，R为人体形态学参数的种类数量；

根据相关性分析的结果，相关性较高的形态学参数被赋予较低的权重，相关性低的参数被赋予较高的权重，最终得到各类形态学参数的权重分配；第x种形态学参数的权重值W_x可以表达为：

其中R为人体形态学参数的种类数量；

步骤2，结合来源于步骤1的人体形态学参数权重，对用户提供的人体形态学参数进行适配分析，计算出HRTF样本库中与用户最适配的若干组候选HRTF；实施例中，对用户提供的人体形态学参数依次与HRTF样本库中各样本的对应参数进行适配计算，选取最适配的若干组样本HRTF作为候选HRTF；

首先对用户的形态学参数进行归一化，对于用户的第r种形态学参数f_r，其归一化结果

可以计算为：

其中

为HRTF样本库中第r种形态学参数的最小样本值，

为HRTF样本库中第r种形态学参数的最大样本值；

之后计算用户的人体形态学参数与样本库中各样本的相似度，对于用户的形态学参数与样本库中第k个样本的适配得分E^k可以计算为：

其中R为形态学参数的种类数量，

为用户的第i种形态学参数的归一化值，

为样本库中第k个样本的第i种形态学参数的归一化值，W_i为第i种形态学参数的权重值，

为样本库中第i种形态学参数的方差，

可计算为：

其中N为HRTF样本库中样本的数量，

为样本库中第i种形态学参数的归一化结果的平均值，

为样本库中第k个样本的第i种形态学参数的归一化值；

最后通过对比用户与样本库中各个样本的适配得分，选取得分最小的若干组样本作为候选HRTF；

步骤3，对来源于步骤2的候选HRTF进行主观听音评测；实施例中，为了减少用户评测时间，主观听音测试只针对若干方位进行，每个方位均使用该方位的若干个候选HRTF分别生成三维虚拟声信号，用户根据主观感受确定当前方位的最佳候选HRTF；实施例中选取的主观评测听音方位角θ为：0°、30°、65°、115°、150°、180°、210°、245°、295°、330°，其中0°为水平面的为正前方，180°为水平面的正后方；高度角φ为0°、40°、90°，其中0°对应于人耳水面面，90°对应于人头正上方，且当高度角φ为90°时，对应的方位角只取0°；

步骤4，根据用户主观评测选择的参考方位最佳候选HRTF，利用HRTF插值算法计算出其余方位的HRTF，从而获得完整的全空间个性化HRTF；用户主观评测选择之后，对于该用户而言，选定的参考方位最佳候选HRTF为其插值基数据，将该特定方位数据进行Delaunay三角剖分，对于待插值点

寻找P所在的三角形△ABC，计算P点到△ABC各个顶点的欧氏距离，根据该距离确定插值权重(α₁,α₂,α₃),保证

之后，该待插值点的HRTF可根据以下的线性组合进行计算得到：

在上述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，其中的HRTF样本库至少包括测试人体样本的左右耳HRTF数据以及包含人体样本的包括但不限于头高、头宽、耳廓上偏移量、耳廓后偏移量、颈高、躯干厚度、躯干高、耳甲腔高度、耳甲腔深度、耳甲腔宽度、耳高、耳宽，耳屏间切痕宽度、外耳张角、外耳旋转角的测量数据。

在上述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，对其中步骤1中HRTF样本库中的人体形态学参数进行相关性分析，其人体形态学参数包含但不限于头高、头宽、耳廓上偏移量、耳廓后偏移量、颈高、躯干厚度、躯干高、耳甲腔高度、耳甲腔深度、耳甲腔宽度、耳高、耳宽，耳屏间切痕宽度、外耳张角、外耳旋转角，也可以根据计算的复杂度要求选取部分人体形态学参数进行计算。

在上述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，对步骤2中对用户提供的人体形态学参数进行适配分析，其人体形态学参数包含但不限于头高、头宽、耳廓上偏移量、耳廓后偏移量、颈高、躯干厚度、躯干高、耳甲腔高度、耳甲腔深度、耳甲腔宽度、耳高、耳宽，耳屏间切痕宽度、外耳张角、外耳旋转角，也可以根据计算的复杂度要求选取部分人体形态学参数进行计算。

在上述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，对步骤2中对用户提供的人体形态学参数进行适配分析，用户通过将自己的人体形态学参数同HRTF样本库中的人体形态学参数进行适配性分析，同时将人体形态学参数的权重信息纳入考量范围；其中人体形态学参数的权重的作用是在HRTF样本选择过程中，描述当前的形态学参数对用户特征与样本特征相似性的贡献，权重越大说明当前人体形态学参数越重要。

在上述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，对步骤4中利用HRTF插值算法计算出其余方位的HRTF，从而获得完整的全空间个性化HRTF；插值所参考的候选HRTF来源可以为同一样本的不同方位的HRTF数据，也可以为不同样本的不同方位的HRTF数据，具体参考的HRTF样本对象由用户的主观评测选定。

本发明具有运算效率高，个性化效果显著的特点，并且随头相关传递函数库中样本数量的增加，本发明的个性化效果越好。

附图说明

图1是本发明实施例的系统结构框图。

图2是本发明实施例的方法流程图。

具体实施方式

下面以具体实施例结合附图对本发明的技术方案作进一步说明：

参见图1，

本发明提供一种适用于双声道的，基于人体形态学参数适配算法的个性化HRTF生成系统，该系统包括模块1：人体参数权重计算模块、模块2：人体参数适配分析模块、模块3：HRTF适配选择模块、模块4：个性化HRTF生成模块。

所述模块1：人体参数权重计算模块，用于对从HRTF样本库中提取的人体形态学参数样本进行分析，计算出样本库中各种人体形态学参数的相关性得分，并根据其相关性得分量化出人体参数权重。该模块计算所得的“人体形态学参数权重”将用于模块2中，为用户的人体形态学参数适配分析提供权重参数。具体实施时，对相关性较高的形态学参数分配较低的权重值，对于相关性较低的形态学参数分配较高的权重值。

所述模块2：人体参数适配分析模块，用于根据用户的人体参数与HRTF样本库进行适配分析，根据分析结果计算出候选HRTF。该模块根据用户提供的人体形态学参数结合各参数的权重系数，与HRTF样本库中的各样本参数进行适配性分析，根据适配结果筛选出若干组候选HTRF。该模块计算所得的候选HRTF将用于模块3，由用户进行主观评测，选择最佳适配HRTF。具体实施时，用户提供自己的人体形态学参数，结合各类参数的权重系数计算出与HRTF样本库中各样本的适配得分，最终筛选出若干组候选HRTF。

所述模块3：HRTF适配选择模块，用于对来自于模块2的候选HRTF进行用户主观评测，要求用户对使用候选HRTF生成的若干参考方位的虚拟三维声进行听音评测，分别选出各方位的最佳候选HRTF。选出的最佳候选HRTF结果传输给个性化HRTF生成模块——模块4。具体实施时，只要求用户评测若干参考方位的候选HRTF，并选择出用户认为最佳适配的HRTF。对于评测方位的选择应当具有代表性和对比性(如：正前方、正后方、右前方30°、右后方30°等)。用户选择出的最佳HRTF候选项传输给个性化HRTF生成模块——模块4，用于计算全空间个性化HRTF。

所述模块4：个性化HRTF生成模块，根据用户选出的各参考方位最佳候选HRTF结果，采用HRTF插值算法，补充其余方位的HRTF，计算出完整的个性化HRTF。具体实施时，由于不同用户形态学参数的差异性，可能出现不同参考方位的最佳适配样本来自于不同的样本对象的情况。因此计算插值时选取与待计算HRTF方位最近的三组最佳适配HRTF作为参照项，进行个性化HRTF的插值计算。

参见图2，本发明实例提供的个性化HRTF生成方法可以通过计算机进行运行，具体包括以下步骤：

步骤1，对HRTF样本库中的样本对象进行人体形态学参数的相关性分析，根据各形态学参数的相关性得分作为参数权重分配的参考依据。实施例中，首先计算HRTF样本库中各样本形态学参数之间的互相关性。设f_n,r为HRTF样本库中第n个样本的第r种形态学参数，则样本库中所有样本的第r种人体形态学参数可以表达为：

F_r＝{f_1,r,f_2,r,…,f_N,r}^T,r＝1,2,3,…,R (1)

其中N为HRTF样本库中样本的数量，R为人体形态学参数的种类数量。

HRTF样本库中所有样本的第x种和第y种人体形态学参数之间的相关性ρ_x,y可以表达为：

则第x种人体形态学参数的相关性得分S_x可以表达为：

其中N为HRTF样本库中样本的数量，R为人体形态学参数的种类数量。

根据相关性分析的结果，相关性较高的形态学参数被赋予较低的权重，相关性低的参数被赋予较高的权重，最终得到各类形态学参数的权重分配。第x种形态学参数的权重值W_x可以表达为：

其中R为人体形态学参数的种类数量。

步骤2，结合来源于步骤1的人体形态学参数权重，对用户提供的人体形态学参数进行适配分析，计算出HRTF样本库中与用户最适配的若干组候选HRTF。实施例中，对用户提供的人体形态学参数依次与HRTF样本库中各样本的对应参数进行适配计算，选取最适配的若干组样本HRTF作为候选HRTF。

首先对用户的形态学参数进行归一化，对于用户的第r种形态学参数f_r，其归一化结果

可以计算为：

其中

为HRTF样本库中第r种形态学参数的最小样本值，

为HRTF样本库中第r种形态学参数的最大样本值。

之后计算用户的人体形态学参数与样本库中各样本的相似度，对于用户的形态学参数与样本库中第k个样本的适配得分E^k可以计算为：

其中R为形态学参数的种类数量，

为用户的第i种形态学参数的归一化值，

为样本库中第k个样本的第i种形态学参数的归一化值，W_i为第i种形态学参数的权重值，

为样本库中第i种形态学参数的方差，

可计算为：

其中N为HRTF样本库中样本的数量，

为样本库中第i种形态学参数的归一化结果的平均值，

为样本库中第k个样本的第i种形态学参数的归一化值。

最后通过对比用户与样本库中各个样本的适配得分，选取得分最小的若干组样本作为候选HRTF。

步骤3，对来源于步骤2的候选HRTF进行主观听音评测。实施例中，为了减少用户评测时间，主观听音测试只针对若干方位进行，每个方位均使用该方位的若干个候选HRTF分别生成三维虚拟声信号，用户根据主观感受确定当前方位的最佳候选HRTF。实施例中选取的主观评测听音方位角θ为：0°、30°、65°、115°、150°、180°、210°、245°、295°、330°，其中0°为水平面的为正前方，180°为水平面的正后方；高度角

为0°、40°、90°，其中0°对应于人耳水面面，90°对应于人头正上方，且当高度角

为90°时，对应的方位角只取0°。

步骤4，根据用户主观评测选择的参考方位最佳候选HRTF，利用HRTF插值算法计算出其余方位的HRTF，从而获得完整的全空间个性化HRTF。用户主观评测选择之后，对于该用户而言，选定的参考方位最佳候选HRTF为其插值基数据，将该特定方位数据进行Delaunay三角剖分，对于待插值点

寻找P所在的三角形△ABC，计算P点到△ABC各个顶点的欧氏距离，根据该距离确定插值权重(α₁,α₂,α₃),保证

之后，该待插值点的HRTF可根据以下的线性组合进行计算得到：

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于人体参数适配算法的个性化头相关传递函数生成方法，其特征在于，包括以下步骤：

步骤1，对HRTF样本库中的样本对象进行人体形态学参数的相关性分析，根据各形态学参数的相关性得分作为参数权重分配的参考依据；实施例中，首先计算HRTF样本库中各样本形态学参数之间的互相关性；设f_n,r为HRTF样本库中第n个样本的第r种形态学参数，则样本库中所有样本的第r种人体形态学参数可以表达为：

F_r＝{f_1,r,f_2,r,…,f_N,r}^T,r＝1,2,3,…,R (1)

其中N为HRTF样本库中样本的数量，R为人体形态学参数的种类数量；

HRTF样本库中所有样本的第x种和第y种人体形态学参数之间的相关性ρ_x,y可以表达为：

则第x种人体形态学参数的相关性得分S_x可以表达为：

其中N为HRTF样本库中样本的数量，R为人体形态学参数的种类数量；

根据相关性分析的结果，相关性较高的形态学参数被赋予较低的权重，相关性低的参数被赋予较高的权重，最终得到各类形态学参数的权重分配；第x种形态学参数的权重值W_x可以表达为：

其中R为人体形态学参数的种类数量；

步骤2，结合来源于步骤1的人体形态学参数权重，对用户提供的人体形态学参数进行适配分析，计算出HRTF样本库中与用户最适配的若干组候选HRTF；实施例中，对用户提供的人体形态学参数依次与HRTF样本库中各样本的对应参数进行适配计算，选取最适配的若干组样本HRTF作为候选HRTF；

首先对用户的形态学参数进行归一化，对于用户的第r种形态学参数f_r，其归一化结果

可以计算为：

其中

为HRTF样本库中第r种形态学参数的最小样本值，

为HRTF样本库中第r种形态学参数的最大样本值；

之后计算用户的人体形态学参数与样本库中各样本的相似度，对于用户的形态学参数与样本库中第k个样本的适配得分E^k可以计算为：

其中R为形态学参数的种类数量，

为用户的第i种形态学参数的归一化值，

为样本库中第k个样本的第i种形态学参数的归一化值，W_i为第i种形态学参数的权重值，

为样本库中第i种形态学参数的方差，

可计算为：

其中N为HRTF样本库中样本的数量，

为样本库中第i种形态学参数的归一化结果的平均值，

为样本库中第k个样本的第i种形态学参数的归一化值；

最后通过对比用户与样本库中各个样本的适配得分，选取得分最小的若干组样本作为候选HRTF；

步骤3，对来源于步骤2的候选HRTF进行主观听音评测；实施例中，为了减少用户评测时间，主观听音测试只针对若干方位进行，每个方位均使用该方位的若干个候选HRTF分别生成三维虚拟声信号，用户根据主观感受确定当前方位的最佳候选HRTF；实施例中选取的主观评测听音方位角θ为：0°、30°、65°、115°、150°、180°、210°、245°、295°、330°，其中0°为水平面的为正前方，180°为水平面的正后方；高度角

为0°、40°、90°，其中0°对应于人耳水面面，90°对应于人头正上方，且当高度角

为90°时，对应的方位角只取0°；

步骤4，根据用户主观评测选择的参考方位最佳候选HRTF，利用HRTF插值算法计算出其余方位的HRTF，从而获得完整的全空间个性化HRTF；用户主观评测选择之后，对于该用户而言，选定的参考方位最佳候选HRTF为其插值基数据，将选定的参考方位数据进行Delaunay三角剖分，对于待插值点

寻找P所在的三角形△ABC，计算P点到△ABC各个顶点的欧氏距离，根据该距离确定插值权重(α₁,α₂,α₃),保证

之后，该待插值点的HRTF可根据以下的线性组合进行计算得到：

2.根据权利要求1所述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，其特征在于，其中的HRTF样本库至少包括测试人体样本的左右耳HRTF数据以及包含人体样本的包括但不限于头高、头宽、耳廓上偏移量、耳廓后偏移量、颈高、躯干厚度、躯干高、耳甲腔高度、耳甲腔深度、耳甲腔宽度、耳高、耳宽，耳屏间切痕宽度、外耳张角、外耳旋转角的测量数据。

3.根据权利要求2所述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，其特征在于，对其中步骤1中HRTF样本库中的人体形态学参数进行相关性分析，其人体形态学参数包含但不限于头高、头宽、耳廓上偏移量、耳廓后偏移量、颈高、躯干厚度、躯干高、耳甲腔高度、耳甲腔深度、耳甲腔宽度、耳高、耳宽，耳屏间切痕宽度、外耳张角、外耳旋转角，也可以根据计算的复杂度要求选取部分人体形态学参数进行计算。

4.根据权利要求2所述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，其特征在于，对步骤2中对用户提供的人体形态学参数进行适配分析，其人体形态学参数包含但不限于头高、头宽、耳廓上偏移量、耳廓后偏移量、颈高、躯干厚度、躯干高、耳甲腔高度、耳甲腔深度、耳甲腔宽度、耳高、耳宽，耳屏间切痕宽度、外耳张角、外耳旋转角，也可以根据计算的复杂度要求选取部分人体形态学参数进行计算。

5.根据权利要求2所述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，其特征在于，对步骤2中对用户提供的人体形态学参数进行适配分析，用户通过将自己的人体形态学参数同HRTF样本库中的人体形态学参数进行适配性分析，同时将人体形态学参数的权重信息纳入考量范围；其中人体形态学参数的权重的作用是在HRTF样本选择过程中，描述当前的形态学参数对用户特征与样本特征相似性的贡献，权重越大说明当前人体形态学参数越重要。

6.根据权利要求2所述的一种基于人体参数适配算法的个性化头相关传递函数生成方法，其特征在于，对步骤4中利用HRTF插值算法计算出其余方位的HRTF，从而获得完整的全空间个性化HRTF；插值所参考的候选HRTF来源可以为同一样本的不同方位的HRTF数据，也可以为不同样本的不同方位的HRTF数据，具体参考的HRTF样本对象由用户的主观评测选定。

7.一种采用权利要求1所述的基于人体参数适配算法的个性化头相关传递函数生成方法的系统，其特征在于：包括：

人体参数权重计算模块(1)：用于对HRTF样本库中提取的人体形态学参数样本进行分析，计算出样本库中各种人体形态学参数的相关性得分，并根据其相关性得分量化出人体参数权重；该模块计算所得的“人体形态学参数权重”将用于人体参数适配分析模块(2)中，为给定用户的人体形态学参数适配分析提供权重参数；

人体参数适配分析模块(2)：用于对给定用户的人体参数进行适配分析，根据分析结果提供出候选HRTF；该模块计算所得的候选HRTF将用于HRTF适配选择HRTF适配选择模块(3)，由用户进行主观评测选择最佳适配HRTF；

HRTF适配选择模块(3)：用于对来自于人体参数适配人体参数适配分析模块(2)的候选HRTF进行用户主观评测，选出各参考方位的最佳候选HRTF；选定的最佳候选HRTF结果传输给个性化HRTF生成模块(4)；

个性化HRTF生成模块(4)：用于根据HRTF适配选择模块(3)得到的最佳候选HRTF结果，采用HRTF插值算法，补充其余方位的HRTF，计算出完整的全空间个性化HRTF。

Images