CN108540925B - 一种个性化头相关传递函数的快速匹配方法 - Google Patents
一种个性化头相关传递函数的快速匹配方法 Download PDFInfo
- Publication number
- CN108540925B CN108540925B CN201810322157.4A CN201810322157A CN108540925B CN 108540925 B CN108540925 B CN 108540925B CN 201810322157 A CN201810322157 A CN 201810322157A CN 108540925 B CN108540925 B CN 108540925B
- Authority
- CN
- China
- Prior art keywords
- orientation
- objective
- subjective
- transfer function
- hrtf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开的一种个性化头相关传递函数的快速匹配方法，涉及一种基于主客观估计结果相似度的个性化头相关传递函数的快速匹配方法，属于三维音频技术领域。本发明按随机顺序生成各种方位的三维虚拟声信号；工作人员播放之前按随机顺序生成的各种方位的三维虚拟声信号；听音人员分别对三维虚拟声信号进行主观方位估计，得到n个三维虚拟声信号对应的"主观方位"；用客观估计算法结合不同人的头相关传递函数HRTF数据，对生成的三维虚拟声信号进行客观方位估计，得到n个三维虚拟声信号对应的"客观方位"；计算"主观方位"和"客观方位"的相似度，选取最大相似度对应的人头的HRTF数据作为听音人员的个性化HRTF，进而增强虚拟现实VR音频的方位感和沉浸感。
Description
技术领域
本发明涉及一种个性化头相关传递函数的快速匹配方法，尤其涉及一种基于主客观估计结果相似度的个性化头相关传递函数的快速匹配方法，属于三维音频技术领域。
背景技术
随着虚拟现实(VR)技术的发展，可用于增强人在虚拟环境中的沉浸感的三维音频技术也得到了进一步的应用。在目前VR领域应用较多的三维音频技术中，采用头相关传递函数(HRTF)进行双耳合成处理可以得到具有较好空间听觉效果的三维音频。由于HRTF与个体有关，要生成听者主观感觉方位非常准确的虚拟声，就需要获取听者的个性化HRTF。
获取听者的个性化HRTF的方法一般有以下几类：1.实验测量：该方法可以获得最准确的个性化HRTF，但该方法对设备和环境有较高的要求，且测试较为耗时；2.数值建模：该方法将人体模型简化为球头模型或雪人模型，根据HRTF的定义来求解，简化的模型对低频特性的模拟较准确，但对高频特性的模拟不够准确；也可利用三维激光扫描头部和耳廓的精确几何模型，并求解HRTF，但复杂度高；3.生理参数匹配：该方法通过测量听者的生理参数，从已有的HRTF库中，找到生理参数与听者生理参数最接近的HRTF数据，作为听者的个性化HRTF的近似，该方法需要精确测量听者的生理参数；4.主观实验：Saito通过让听者主观听HRTF库中不同人头的HRTF数据生成的不同方位的三维音频，选出最适合听者的HRTF作为个性化HRTF，该方法不需要测量生理参数，相对简单，但当HRTF库包含较多样本时，工作量会增大。我国公开号为"CN104967952A"(公开日：2015年10月7日)的专利"一种基于HRTF结构化模型与主观反馈的个性化方法"，公开了一种基于HRTF结构化模型与主观反馈的个性化方法，该方法通过生成滤波器参数，合成声音并播放给被试者，根据被试者反馈的声像位置，修改参数，再次合成声音播放给被试者，直到被试者感知的声像与目标一致。该方法需要让被试者进行多组主观估计，工作量较大。我国公开号为"CN106682203A"(公开日：2017年5月17日)的专利"基于三维生理参数的HRTF个人化匹配方法"，公开了一种基于三维生理参数的HRTF个人化匹配方法，该方法对被试者进行生理参数测量，平移，计算与HRTF数据库中的各被试者的生理参数的距离，选取最小距离对应的HRTF作为匹配的HRTF。该方法需要精确测量被试者的生理参数，对实验设备要求较高。
发明内容
针对现有的各种头相关传递函数HRTF个性化方法中存在的复杂度高，对生理参数需要精确测量，工作量大的问题，本发明公开的一种个性化头相关传递函数的快速匹配方法要解决的技术问题为：在降低复杂度和无需精确测量被试者的生理参数条件下，实现基于主客观估计结果相似度的个性化HRTF的快速匹配，进而增强虚拟现实VR音频的方位感和沉浸感，并能够实现减小获取个性化HRTF的工作量。
本发明的目的是通过下述技术方案实现的。
本发明公开的一种个性化头相关传递函数的快速匹配方法，按随机顺序生成各种方位的三维虚拟声信号。工作人员播放之前按随机顺序生成的各种方位的三维虚拟声信号。听音人员分别对之前播放的三维虚拟声信号进行主观方位估计，得到n个三维虚拟声信号对应的"主观方位"。用客观估计算法结合不同人的头相关传递函数HRTF数据，对生成的三维虚拟声信号进行客观方位估计，得到n个三维虚拟声信号对应的"客观方位"。计算"主观方位"和"客观方位"的相似度，选取最大相似度对应的人头的HRTF数据作为听音人员的个性化HRTF，进而增强虚拟现实VR音频的方位感和沉浸感。
本发明公开的一种个性化头相关传递函数的快速匹配方法，包括如下步骤：
步骤一:按随机顺序生成各种方位的三维虚拟声信号。
步骤一具体实现方法为:按随机顺序生成n个不同方位的三维虚拟声信号，记录所述三维虚拟声对应的"生成方位"，记为{θA1,θA2,θA3...θAn}，{θA1,θA2,θA3...θAn}是一个长度为n的向量；
步骤二:工作人员播放步骤一随机顺序生成的各种方位的三维虚拟声信号。听音人员分别对步骤二播放的三维虚拟声信号进行主观方位估计，得到n个三维虚拟声信号对应的"主观方位"。
步骤二具体实现方法为:听音人员带上耳机，工作人员按步骤一中的"生成方位"播放n个三维虚拟声信号，听音人员根据听到的三维虚拟声信号，分别估计n个三维虚拟声信号对应的"主观方位"，记为{θS1,θS2,θS3...θSn}，{θS1,θS2,θS3...θSn}是一个长度为n的向量；
步骤三:用客观估计算法结合不同人的头相关传递函数HRTF数据，对步骤一生成的三维虚拟声信号进行客观方位估计，得到n个三维虚拟声信号对应的"客观方位″。
步骤三具体实现方法为:HRTF库中共有m个不同人头的HRTF数据，选择第x个人头的HRTF数据，按步骤一按随机顺序生成的方位，对步骤一生成的三维虚拟声信号进行客观方位估计，得到第x个人头的HRTF数据对声音估计的"客观方位"，记为{θOx1,θOx2,θOx3...θOxn}，{θOx1,θOx2,θOx3...θOxn}是一个长度为n的向量,当所有人头的HRTF数据都进行客观方位估计后，得到m个长度为n的向量。
步骤三所述的客观估计算法优选互通道算法或基于ITD、ILD的定位算法。
步骤四:计算步骤二中"主观方位"和步骤三中"客观方位"的相似度。
步骤四具体实现方法为:根据步骤二中得到的长度为n的"主观方位"向量{θS1,θS2,θS3...θSn}，和步骤三中得到的第x个人头估计的长度为n的"客观方位"向量{θOx1,θOx2,θOx3...θOxn}，计算第x个主客观估计误差dx，当所有主客观估计误差都计算完成后，得到m个主客观估计误差，即得到步骤二中"主观方位"和步骤三中"客观方位"的相似度。
步骤四中计算步骤二中"主观方位"和步骤三中"客观方位"的相似度优选均方误差，均方根误差或平均绝对误差。
步骤五：根据步骤四计算得到的"主观方位"和"客观方位"的相似度，选取最大相似度对应的人头的HRTF数据作为听音人员的个性化HRTF，进而增强虚拟现实VR音频的方位感和沉浸感。
步骤五具体实现方法为:在步骤四得到的m个主客观估计误差中，找到最小的主客观估计误差dx_min，即最大的主客观相似度，其对应人头序号为x_min，该人头的HRTF数据作为听音人员的个性化HRTF，进而增强虚拟现实VR音频的方位感和沉浸感。
有益效果：
1、现有的"实验测量"，"数值建模"，"生理参数匹配"方法需要精确测量生理参数，测量过程繁琐，本发明公开的一种个性化头相关传递函数的快速匹配方法，利用已有的包含了不同人头HRTF数据的HRTF库，因此，不需要精确测量生理参数，省去繁琐的测量过程，减小获取个性化HRTF的工作量，提高个性化头相关传递函数的匹配效率。
2、当HRTF库包含较多样本时，现有的"主观实验"方法需要按顺序估计多组"主观方位"，工作量会增大，本发明公开的一种个性化头相关传递函数的快速匹配方法，当HRTF库包含较多样本时，根据计算得到的"主观方位"和"客观方位"的相似度，选取最大相似度对应的人头的HRTF数据作为听音人员的个性化HRTF，进而增强虚拟现实VR音频的方位感和沉浸感，同时，由于本发明仅需按照顺序估计一组"主观方位"，因此，降低估计"主观方位"的工作量。
附图说明
图1为本发明公开的一种个性化头相关传递函数的快速匹配方法的流程框图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述。
实施例1：
本实施例公开的一种个性化头相关传递函数的快速匹配方法，包括如下步骤：
步骤一:选取HRTF库中一个人头的HRTF数据，按一定顺序生成n条不同方位的三维虚拟声，记录这些三维虚拟声对应的"生成方位"，记为{θA1,θA2,θA3...θAn}，是一个长度为n的向量，对应图1中的(1)；
例如：假设正前方为0度，正左方为-90度，正右方为90度。n＝31个声音信号的方位具体为：-90，-80，-70，-60，-55，-50，-45，-40，-35，-30，-25，-20，-15，-10，-5，0，5，10，15，20，25，30，35，40，45，50，55，60，70，80，90。
步骤二:听音人员带上耳机，准备收听声音，协助人员按步骤一中的顺序播放三维虚拟声，听音人员根据听到的虚拟声，估计n条声音的"主观方位"，记为{θS1,θS2,θS3...θSn}，是一个长度为n的向量，对应图1中的(2)；
例如：假设"主观方位"分别为：-90，-80，-70，-60，-55，-50，-45，-40，-35，-30，-25，-20，-15，-10，-5，0，5，10，15，20，25，30，35，40，45，50，55，60，70，80，90。
步骤三:HRTF库中共有m个不同人头的HRTF数据，选择第x个人头的HRTF数据，按步骤一中的顺序，对步骤一中的三维虚拟声进行客观方位估计，得到第x个人头对声音估计的"客观方位"，记为{θOx1,θOx2,θOx3...θOxn}，是一个长度为n的向量；当所有人头的HRTF数据都进行客观方位估计后，可以得到m个长度为n的向量，对应图1中的(3)；
例如：假设第1个人头的HRTF数据的客观方位为：-90，-80，-70，-60，-55，-50，-45，-40，-35，-30，-25，-20，-15，-10，-5，0，5，10，15，20，25，30，35，40，45，50，55，60，70，80，90。
第2个人头的HRTF数据的客观方位为：-85，-75，-65，-55，-50，-45，-40，-35，-30，-25，-20，-15，-10，-5，0，0，0，5，10，15，20，25，30，35，40，45，50，55，65，75，85
步骤四:根据步骤二中得到的长度为n的"主观方位"向量{θS1,θS2,θS3...θSn}，步骤三中得到的第x个人头估计的长度为n的"客观方位"向量{θOx1,θOx2,θOx3...θOxn}，计算第x个主客观估计误差，例如计算均方误差当所有主客观估计误差都计算完成后，可以得到m个主客观估计误差，对应图1中的(4)；
例如：计算得到第一个主客观估计误差为：0，第二个主客观估计误差为：750/31
步骤五:在m个主客观估计误差中，找到最小的主客观估计误差dx_min，即最大的主客观相似度，其对应人头序号为x_min，该人头的HRTF数据作为听音人员的个性化HRTF，对应图1中的(5)。
例如：找到最小的主客观估计误差为0，对应第一个人头的HRTF，所以选择第一个人头的HRTF数据作为听音人员的个性化HRTF。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种个性化头相关传递函数的快速匹配方法，其特征在于：包括如下步骤，
步骤一:按随机顺序生成各种方位的三维虚拟声信号；
步骤二:工作人员播放步骤一随机顺序生成的各种方位的三维虚拟声信号；听音人员分别对步骤二播放的三维虚拟声信号进行主观方位估计，得到n个三维虚拟声信号对应的"主观方位"；
步骤三:用客观估计算法结合不同人的头相关传递函数HRTF数据，对步骤一生成的三维虚拟声信号进行客观方位估计，对于不同人的头相关传递函数HRTF，分别得到n个三维虚拟声信号对应的"客观方位"；
步骤四:计算步骤二中"主观方位"和步骤三中"客观方位"的相似度；
步骤五：根据步骤四计算得到的"主观方位"和"客观方位"的相似度，选取最大相似度对应的人头的HRTF数据作为听音人员的个性化HRTF，进而增强虚拟现实VR音频的方位感和沉浸感。
2.如权利要求1所述的一种个性化头相关传递函数的快速匹配方法，其特征在于：步骤一具体实现方法为，按随机顺序生成n个不同方位的三维虚拟声信号，记录所述三维虚拟声信号对应的"生成方位"，记为{θA1,θA2,θA3...θAn}，{θA1,θA2,θA3...θAn}是一个长度为n的向量。
3.如权利要求2所述的一种个性化头相关传递函数的快速匹配方法，其特征在于：步骤二具体实现方法为，听音人员带上耳机，工作人员按步骤一中的"生成方位"播放n个三维虚拟声信号，听音人员根据听到的三维虚拟声信号，分别估计n个三维虚拟声信号对应的"主观方位"，记为{θS1,θS2,θS3...θSn}，{θS1,θS2,θS3...θSn}是一个长度为n的向量。
4.如权利要求3所述的一种个性化头相关传递函数的快速匹配方法，其特征在于：步骤三具体实现方法为:HRTF库中共有m个不同人头的HRTF数据，选择第x个人头的HRTF数据，按步骤一按随机顺序生成的方位，对步骤一生成的三维虚拟声信号进行客观方位估计，得到第x个人头的HRTF数据对声音估计的"客观方位"，记为{θOx1,θOx2,θOx3...θOxn}，{θOx1,θOx2,θOx3...θOxn}是一个长度为n的向量,当所有人头的HRTF数据都进行客观方位估计后，得到m个长度为n的向量。
5.如权利要求4所述的一种个性化头相关传递函数的快速匹配方法，其特征在于：步骤四具体实现方法为，根据步骤二中得到的长度为n的"主观方位"向量{θS1,θS2,θS3...θSn}，和步骤三中得到的第x个人头估计的长度为n的"客观方位"向量{θOx1,θOx2,θOx3...θOxn}，计算第x个主客观估计误差dx，当所有主客观估计误差都计算完成后，得到m个主客观估计误差，即得到步骤二中"主观方位"和步骤三中"客观方位"的相似度。
6.如权利要求5所述的一种个性化头相关传递函数的快速匹配方法，其特征在于：步骤五具体实现方法为，在步骤四得到的m个主客观估计误差中，找到最小的主客观估计误差dx_min，即最大的主客观相似度，其对应人头序号为x_min，该人头的HRTF数据作为听音人员的个性化HRTF，进而增强虚拟现实VR音频的方位感和沉浸感。
7.如权利要求4、5或6所述的一种个性化头相关传递函数的快速匹配方法，其特征在于：步骤三所述的客观估计算法为互通道算法或基于ITD、ILD的定位算法。
8.如权利要求5或6所述的一种个性化头相关传递函数的快速匹配方法，其特征在于：步骤四中计算步骤二中"主观方位"和步骤三中"客观方位"的相似度选均方误差，均方根误差或平均绝对误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810322157.4A CN108540925B (zh) | 2018-04-11 | 2018-04-11 | 一种个性化头相关传递函数的快速匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810322157.4A CN108540925B (zh) | 2018-04-11 | 2018-04-11 | 一种个性化头相关传递函数的快速匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108540925A CN108540925A (zh) | 2018-09-14 |
| CN108540925B true CN108540925B (zh) | 2019-07-26 |
Family
ID=63479628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810322157.4A Active CN108540925B (zh) | 2018-04-11 | 2018-04-11 | 一种个性化头相关传递函数的快速匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108540925B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2599428B (en) * | 2020-10-01 | 2024-04-24 | Sony Interactive Entertainment Inc | Audio personalisation method and system |
| CN113905323B (zh) * | 2021-10-28 | 2024-01-23 | 南京南大电子智慧型服务机器人研究院有限公司 | 适用于服务型机器人播放音频时的感知声源高度修正方法 |
| CN115412808B (zh) * | 2022-09-05 | 2024-04-02 | 天津大学 | 基于个性化头相关传递函数的虚拟听觉重放方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9030545B2 (en) * | 2011-12-30 | 2015-05-12 | GNR Resound A/S | Systems and methods for determining head related transfer functions |
| CN104967952B (zh) * | 2015-06-30 | 2018-03-13 | 大连理工大学 | 一种基于hrtf结构化模型与主观反馈的个性化方法 |
| CN106682203A (zh) * | 2016-12-30 | 2017-05-17 | 西北工业大学 | 基于三维生理参数的hrtf个人化匹配方法 |
| CN106874592B (zh) * | 2017-02-13 | 2020-05-19 | 深圳大学 | 虚拟听觉重放方法及系统 |
-
2018
- 2018-04-11 CN CN201810322157.4A patent/CN108540925B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108540925A (zh) | 2018-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11770671B2 (en) | Spatial audio for interactive audio environments | |
| CN106993249B (zh) | 一种声场的音频数据的处理方法及装置 | |
| CN104869524B (zh) | 三维虚拟场景中的声音处理方法及装置 | |
| CN108540925B (zh) | 一种个性化头相关传递函数的快速匹配方法 | |
| TW201909657A (zh) | 使用多點聲場描述生成增強的聲場描述或修改的聲場描述的概念 | |
| CN105979441B (zh) | 一种用于3d音效耳机重放的个性化优化方法 | |
| CN107820158B (zh) | 一种基于头相关脉冲响应的三维音频生成装置 | |
| EP1938655A1 (en) | Spatial audio simulation | |
| CN109618274B (zh) | 一种基于角度映射表的虚拟声重放方法、电子设备及介质 | |
| Schönstein et al. | HRTF selection for binaural synthesis from a database using morphological parameters | |
| CN105120418A (zh) | 双声道3d音频生成装置及方法 | |
| Geronazzo et al. | A head-related transfer function model for real-time customized 3-D sound rendering | |
| JP2021523392A (ja) | シミュレーションを使用した頭部伝達関数の個人化 | |
| WO2021158273A1 (en) | Augmented reality virtual audio source enhancement | |
| Iida et al. | Generation of the amplitude spectra of the individual head-related transfer functions in the upper median plane based on the anthropometry of the listener’s pinnae | |
| CN108038291B (zh) | 一种基于人体参数适配算法的个性化头相关传递函数生成系统及方法 | |
| Geronazzo et al. | Improving elevation perception with a tool for image-guided head-related transfer function selection | |
| CN105959905A (zh) | 混合模式空间声生成系统与方法 | |
| Pollack et al. | Evaluation of a parametric pinna model for the calculation of head-related transfer functions | |
| Hai et al. | Fast HRFT measurement system with unconstrained head movements for 3D audio in virtual and augmented reality applications | |
| US10999694B2 (en) | Transfer function dataset generation system and method | |
| EP3713256A1 (en) | Sound processing system of ambisonic format and sound processing method of ambisonic format | |
| CN109036456A (zh) | 用于立体声的源分量环境分量提取方法 | |
| JP3468198B2 (ja) | 音場再現装置 | |
| Sakamoto et al. | Improvement of accuracy of three-dimensional sound space synthesized by real-time SENZI, a sound space information acquisition system using spherical array with numerous microphones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |