CN113099359A - 一种基于hrtf技术的高仿真声场重现的方法及其应用 - Google Patents
一种基于hrtf技术的高仿真声场重现的方法及其应用 Download PDFInfo
- Publication number
- CN113099359A CN113099359A CN202110226002.2A CN202110226002A CN113099359A CN 113099359 A CN113099359 A CN 113099359A CN 202110226002 A CN202110226002 A CN 202110226002A CN 113099359 A CN113099359 A CN 113099359A
- Authority
- CN
- China
- Prior art keywords
- filter
- angle
- hrtf
- sound field
- gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本发明适用于耳机技术领域，提供了一种基于HRTF技术的高仿真声场重现的方法，包括以下步骤：(1)从耳机的音频信号接口处接收音频输入信号；(2)从耳机上的角度测定组件接收指示头部旋转角度的输入；(3)采用大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法，获得多项式拟合输出的系数组；(4)对于多项式拟合输出的系数组，采用全零极点的IIR型滤波器算法，利用差分方程实时变换到时域，实现基于系数拟合的音效切换，实现高仿真声场重现音频信号输出；解决了目前高仿真音频效果与环绕声效果的重现度不高、以及现有耳机在仿真时适用角度幅度较小的问题。
Description
技术领域
本发明属于耳机技术领域，尤其涉及一种基于HRTF技术的高仿真声场重现的方法及其应用。
背景技术
HRTF(Head Related Transfer Function，头部相关传递函数)，是一种音效定位算法，目前已初步应用到头戴耳机领域。
围绕如何更准确的获得头部相关传递函数(HRTF)，采取的一些测量或仿真方法。目前SONY公司的专利公开了一种HRTF测量方法、HRTF测量装置和程序专利(申请号201780075539.5)，该专利可以实现HRTF测量装置显示表示用户应面对的目标方向的图像。在用户的正面方向与目标方向匹配的情况下，HRTF测量装置通过扬声器输出测量声音并且基于由佩戴在用户耳朵上的麦克风获取的测量声音的结果来测量HRTF。该专利技术的重点是基于参考图像的方法，可以获得具有个体差异的头部相关传递函数；本技术可以应用于例如测量头部相关传递函数等的装置，针对个体差异的HRTF测量技术，旨在针对每个人的个体声学结构差异引起的频响差异，进行个性化测量，使声场回放更逼真。但因为批量采集信息难以实现，所以很难大规模的应用在相关产品上。
关于基于HRTF技术的应用，目前应用集中在两个方面：一为录音重放；一为以头戴式耳机为载体的环绕音效重现技术。目前哈曼公司公开了一种具有头部跟踪的双耳头戴式耳机呈现(申请号201611243763.4)，该发明公开一种可增强由头戴式耳机和其他声音系统发出的声音的再现的声音增强系统(SES)。所述SES通过模拟期望的声音系统而不包括通常与声音系统模拟相关联的不想要的伪像来改进声音再现。所述SES借助于通过从直接和间接头部相关传递函数(HRTF)导出的一组一个或多个双耳呈现滤波器变换声音系统输出来促进此类改进。所述双耳呈现滤波器的参数基于佩戴所述头戴式耳机的用户的头部跟踪角度来更新，以便呈现稳定的立体声像。所述头部跟踪角度可根据从安装在头戴式耳机组件中的数字陀螺仪获得的传感器数据来确定。该技术方案在-45 度～+45度范围内，采用限定坡型滤波器(shelf filter)和陷波滤波器(notch filter) 两种拓扑结构类型和数量，根据陀螺仪采集的角度信息，固定中心频率不变，只更新增益和延时2个参数，以此提高滤波器切换的平滑性，避免听觉上的“咔哒”声，算法实现简单，容易实现滤波器的平滑切换，计算量小，在计算资源有限的情况下，工程上也容易实现。但是其缺点是这一切换算法和策略与实际声音的传播特性相差较大，听感上与实际的声场特性会有一定差别；主要原因是声源传播到人耳(或仿真人头，实际测量HRTF时多用仿真耳)的传播特性，其频响曲线是较复杂的，要用10几段级联的滤波器才能逼近。y为准确描述滤波器的波形特征，其相关参数，除前文提到的中心频率和增益外，通常还包括滤波器的拓扑类型、抬升增益、品质因数等多个参数。这些参数在声源发生角度或位置变化时，通常都会跟随变化，特别是大角度变化时，这些参数变化会很剧烈，呈现非线性变化特点，在实际中会出现若干“奇异点”，是不连续和非线性的，上述两种滤波器的拓扑结构在克服“奇异点”方面效果并不理想。例如滤波器拓扑类型，由一种类型衍化到另一种类型，这些非线性变化特点，是影响听感的重要因素。并且该专利记述的技术方案主要应用于-45度～+45度范围内，而在用户实际佩戴使用双耳头戴式耳机过程中，头部及其上半身配合的转动幅度经常在-45度～+45度范围以外，该专利(201611243763.4)所技术的方案在这个范围以外无法解决听觉上的“咔哒”声，所以上述专利公开的音效切换方案在重现声场音效的真实感受上是有较大局限的。
此外，上述公开的一种具有头部跟踪的双耳头戴式耳机呈现(申请号201611243763.4)中使用陀螺仪测定角度的变化，结构简单，但随时间的变化，会产生测试误差的积累，及角度漂移，输出的角度与真实值有差别，进而会影响到听觉感受。
目前基于HRTF技术声场重现的头戴式耳机应用场景，多是用耳机模仿一定距离和角度的外部声源，如扬声器在声场变化下的环绕声效果。在获得环绕音效体验的同时，由于距离和角度变化带来频率响应的显著变化，同时也失去了原有耳机高保真音频的效果，不能不说是一种遗憾。本发明采用基于参考点的校准算法，既可以保留录制音频的原有音质，又可以感受到声场变化带来的环绕效果，同时可以实现两种模式的切换。
发明内容
本发明实施例提供一种基于HRTF技术的高仿真声场重现的方法及其应用，旨在解决目前高仿真音频效果与环绕声效果的重现度不高、以及现有耳机在仿真时适用角度幅度较小的问题。
本发明实施例是这样实现的，本发明提供一种基于HRTF技术的高仿真声场重现的方法，包括以下步骤：
(1)从耳机的音频信号接口处接收音频输入信号；
(2)从耳机上的角度测定组件接收指示头部旋转角度的输入；
(3)采用大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法，获得多项式拟合输出的系数组；
(4)对于多项式拟合输出的系数组，采用全零极点的IIR型滤波器算法，利用差分方程实时变换到时域，实现基于系数拟合的音效切换，实现高仿真声场重现音频信号输出；
步骤(3)中所述采用大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法，具体包括以下步骤：
(3.1)所述大角度范围的离散工程测量，采用HRTF(头部相关传递函数) 的测量方法，在-105～+105度范围内，从初始零位开始，以15度为测量步长，测得测量步长节点的滤波器参数再由数字信号处理软件(Digital Signal Processing，简写为DSP软件)拟合出参数型级联的多段滤波器，并将所述滤波器参数以测量的角度为单位保存，供出现从一种拓扑类型衍化到另一种拓扑类型的节点(即奇异点)时角度切换时调用，作为小角度范围插值平滑过渡的起算数据；
(3.2)所述小角度范围插值平滑过渡采用插值算法，所述插值算法在每个 15度扇形区间内，再等间隔采样，采用基于最小二乘法-多项式拟合的逼近算法，估计出多项式系数；通过系数拟合估计滤波器参数，可以对角度变化实现连续的平滑过渡；当遇到拓扑结构的奇异点时，则重新起算多项式系数；
所述插值算法，具体步骤如下：在-105～+105度范围内，对每个15度的扇形区间，从初始零位开始区分左右编成L_0～L_6，R_0～R_6索引号，以每个扇形区间的每级滤波器的拓扑类型-type为基准参数，对中心频率-f0、增益-gain、抬升增益-boost、品质因数-Q参数，分别进行二阶多项式拟合输出相应的系数；当遇到拓扑结构的奇异点时，则重新起算多项式系数；
所述的二阶多项式拟合，具体如下：
y＝a0+a1·x+a2·x2
其中：
x：为测得的角度值；
y：为需要获得的滤波器参数，为f0、gain、boost、Q中的任意一个。
其中a0，a1，a2为多项式系数；
A＝[a0,a1,a2]T，表示需要估计出的多项式系数向量；其中T为滤波器拓扑类型；
考虑多参数下，拟合出的系数向量包括以下7个维度：
coeff＝[bin_num,band_num,fil_T,A_f0,A_Q,A_boost,A_gain]
其中：
bin_num，表示扇形区域的编号，即；L_0～L_6，R_0～R_6，共14个元素；
band_num，表示多段滤波器的频段号；选用最多级数，作为参考编号；本发明中为band1～band12，即12个元素；
fil_T,表示滤波器拓扑类型；本发明中包括3个滤波器拓扑类型元素：
highshelf--高架滤波器，对应编码：1；
lowshelf--低架滤波器，对应编码：2；
peak--峰值滤波器，对应编码：3；
A_f0,A_Q,A_boost,A_gain，分别对应滤波器的中心频率-f0，品质因数-Q值，抬升增益-boost，和增益-gain对应的系数向量，各3个元素，即：
A＝[a0,a1,a2]T。
步骤(3.1)中所述滤波器参数包括拓扑类型-type，中心频率-f0、增益-gain、抬升增益-boost、品质因数-Q参数。
步骤(3.1)中，通过观察相邻扇形区域连接点多段滤波器的波形变化，如果确认某一段波形的拓扑结构已经从一种形式转换到另一种形式，则可确定在某个扇形区域内是否存在奇异点，再通过在该扇形区域内等间隔采样的办法，进一步缩小和估计出奇异点可能所在的范围区间。
步骤(3)中所述多项式拟合优选为二阶多项式拟合；在实际运用过程中，多项式拟合的阶数，根据需要平滑扇形区域的大小设定；当平滑区域较大，参数动态变化区间大，需要更多的阶数拟合，当平滑区域较小，参数动态变化范围较小，可以用较少的阶数拟合。本专利中根据实验结果，采用二阶多项式拟合。
其中，步骤(3)中通过采用相对较大离散角度间隔的工程测量方法与小角度范围插值平滑过渡相结合的算法；既保证了真实性，也实现了平滑过渡；可以实现更小粒度的平滑。
步骤(3)中所述插值算法可以对角度变化实现连续的平滑过渡；比申请号为201611243763.4专利(具有头部跟踪的双耳头戴式耳机呈现)中提到的固定值法，有更好的角度分辨率；实际应用中可根据需要选用平滑的粒度大小(角度间隔)。
步骤(2)中所述角度测定组件为陀螺仪、电子罗盘，重力加速度传感器 (g-sensor)组合使用的角度测定组件，所用的角度测定组件可自校准，减少漂移，输出角度更准确，保证了输出音效的实时性和更高的仿真度。
步骤(4)中所述基于系数拟合的音效切换的具体实现方式，包括以下两种方式中的其中一种：
(4.1)预先计算对应各个角度下的滤波器参数值，并存储在内存中，供动态调用；
(4.2)预先只存储拟合向量，在实际运行时，由拟合向量动态生成相应的滤波器参数；
其中：
方式(4.1)适用于在计算资源有限、内存空间又较大的情况下采用。
方式(4.2)相比固定参数有更好的适应性和更多的方案选择；优先在计算资源充足，内存空间有限的情况下采用。
步骤(4)中所述全零极点的IIR型滤波器算法，采用基于参考点的归一化算法，既可以保留录制音频的原有音质，又可以感受到声场变化带来的环绕效果，具体如下：
如图1所示，本发明以正面0度角(初始零点)的HRTF的滤波器为参考基准，所有其他角度下生成的滤波器与之比较做差分处理，正面0度角的滤波器则实现归一化处理，恢复到原声；在头部转到0度角时，耳机中听到的是高保真的原声音乐；在头部逐步偏转远离0度角时，滤波器会反映出空间距离和角度的变化，声场会逐步向另一侧偏移(滤波器波形反映的是空间距离和角度的变化，是声场重建的过程，人耳因此会产生声场偏移的体验)，形成环绕声效果；这样，整个体验过程就既保留了原声高保真的音乐效果，又实现了随空间角度变换带来的环绕声体验。
步骤(4)中所述差分方程的形式如下式：
A0*Y(n)＝B0*X(n)+B1*X(n-1)+B2*X(n-2)-A1*Y(n-1)-A2*Y(n-2)
上式中，
X(n)，X(n-1)，X(n-2)为输入序列，即音频序列采样点；
Y(n)，Y(n-1)，Y(n-2)为滤波器输出序列；
n，n-1，n-2为序列时刻；
A0，B0，B1，B2，A1，A2为差分方程系数；分别是7维系数向量的函数；
Bk＝fk(bin_num，band_num，fil_T，A_f0，A_Q，A_boost，A_gain)，k＝0，1，2
Aj＝fj(bin_num，band_num，fil_T，A_f0，A_Q，A_boost，A_gain)，j＝0，1，2
上式中的fk(.)，fj(.)，为不同的滤波器拓扑结构对应不同的表达式。
所述基于参考点的归一化算法，实现了两种模式的切换方式：
以HRTF测量的原始数据为基础，不经归一化处理的滤波器生成方式，模拟头部转动时，与外置扬声器发生角度变化时带来的环绕音效体验；
以HRTF测量的原始数据为基础，经归一化处理的滤波器生成方式，模拟高保真音频(相当于参考0度角位置没有任何频响变化)，随头部转动时带来的环绕音效体验。
两种模式间的切换，带来更丰富的环绕音效体验。
上述基于HRTF技术的高仿真声场重现的方法在头戴式耳机领域应用。
现有技术方案中采用限定拓扑结构类型和数量，固定中心频率，只更新增益和延时2个参数的方法，算法实现简单，容易实现滤波器的平滑切换，计算量小，在计算资源有限的情况下，工程上也容易实现。其缺点是这一切换算法和策略与实际声音的传播特性相差较大，听感上与实际的声场特性会有一定差别；主要原因是声源传播到人耳(或仿真人头，实际测量HRTF时多用仿真耳) 的传播特性，其频响曲线是较复杂的，要用10几段级联的滤波器才能逼近。y 为准确描述滤波器的波形特征，其相关参数，除前文提到的中心频率、增益外，通常还包括滤波器的拓扑类型、抬升增益、品质因数等多个参数。这些参数在声源发生角度或位置变化时，通常都会跟随变化，特别是大角度变化时，这些参数变化会很剧烈，呈现非线性变化特点，甚至出现奇异点。如滤波器拓扑类型，由一种类型衍化到另一种类型。这些非线性变化特点，是影响听感的重要因素。所以现有的音效切换方案在重现声场音效的真实感受上是有局限的。
本发明所达到的有益效果在于：
1.本发明应用的声场范围更大，-105度～+105度，通过大角度离散间隔的 HRTF测量与小范围平滑过渡算法相结合的方式，有更大的声场动态范围和高仿真效果。
2.本发明基于参考点(位置)归一化处理，形成基于高保真音频和基于外置扬声器的两种环绕模式的音效处理算法可供选择，发挥耳机相对外置扬声器的优势，几乎无衰减高保真，既保留音频原声的高保真效果，又不失空间传播特性的表现力，有更丰富的环绕声体验。
3.本发明采用大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法。既保证了真实性，也实现了平滑过渡；基于最小二乘-多项式拟合的系数估计算法，可以实现更小粒度的平滑。比申请号为201611243763.4的专利 (具有头部跟踪的双耳头戴式耳机呈现)中提到的以索引表的形式预置在内存中的固定值法，有更好的角度分辨率。
4.本发明采用陀螺仪、电子罗盘，重力加速度传感器(g-sensor)组合使用的方案，可自校准，减少漂移，输出旋转角度测量更及时准确，保证了输出音效的实时性和更高的仿真度，提供了更真实的环绕音效体验。
附图说明
图1为本发明实施例中HRTF的滤波器的参考基准及角度变化示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后、顶、底……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
目前，在头戴式耳机为载体的环绕音效重现技术领域，现有技术的切换算法和策略与实际声音的传播特性相差较大，听感上与实际的声场特性会有一定差别；造成这种差别的主要缺陷包括以下：这些参数在声源发生角度或位置变化时，通常都会跟随变化，特别是大角度变化时，这些参数变化会很剧烈，呈现非线性变化特点，在实际中会出现若干奇异点从而导致“咔哒”声。并且现有的技术方案中使用陀螺仪测定角度的变化，结构简单，但随时间的变化，会产生测试误差的积累，及角度漂移，输出的角度与真实值有差别，进而会影响到听觉感受。为了解决上述技术问题，本发明提出了一种基于HRTF技术的高仿真声场重现头戴式耳机。
实施例一
基于HRTF的测量方法，其滤波器相关参数随角度的变化，在较大范围时呈非线性特性，有较大的动态变换范围；在较小范围内，呈近似连续的线性变化特性。本发明基于上述认知，采用相对大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法。
本发明提供一种基于HRTF技术的高仿真声场重现的方法及其应用；其中所述基于HRTF技术的高仿真声场重现的方法，包括以下步骤：
(1)从耳机的音频信号接口处接收音频输入信号；
(2)从耳机上的角度测定组件接收指示头部旋转角度的输入；
(3)采用大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法，获得多项式拟合输出的系数组；
(4)对于多项式拟合输出的系数组，采用全零极点的IIR型滤波器算法，利用差分方程实时变换到时域，实现基于系数拟合的音效切换，实现高仿真声场重现音频信号输出。
步骤(3)中所述采用大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法，具体包括以下步骤：
(3.1)所述大角度范围的离散工程测量，采用HRTF(头部相关传递函数) 的测量方法，在-105～+105度范围内，从初始零位开始，以15度为测量步长，测得测量步长节点的滤波器参数再由数字信号处理软件(Digital Signal Processing，简写为DSP软件)拟合出参数型级联的多段滤波器，并将所述滤波器参数以测量的角度为单位保存，供出现奇异点(即从一种拓扑类型衍化到另一种拓扑类型的节点)角度切换时调用，作为小角度范围插值平滑过渡的起算数据；
(3.2)所述小角度范围插值平滑过渡采用插值算法，所述插值算法在每个 15度扇形区间内，再等间隔采样，采用基于最小二乘法-多项式拟合的逼近算法，估计出多项式系数(a0，a1，a2)；通过系数拟合估计滤波器参数(y)，可以对角度变化实现连续的平滑过渡；当遇到拓扑结构的奇异点时，则重新起算多项式系数(a0，a1，a2)；
所述插值算法，具体步骤如下：在-105～+105度范围内，对每个15度的扇形区间，从初始零位开始区分左右编成L_0～L_6，R_0～R_6索引号，以每个扇形区间的每级滤波器的拓扑类型-type为基准参数，对中心频率-f0、增益-gain、抬升增益-boost、品质因数-Q参数，分别进行二阶多项式拟合输出相应的系数(a0， a1，a2)；当遇到拓扑结构的奇异点时，则重新起算多项式系数(a0，a1，a2)；
所述的二阶多项式拟合，具体如下：
y＝a0+a1·x+a2·x2
其中：
x：为测得的角度值；
y：为需要获得的滤波器参数，为f0、gain、boost、Q中的任意一个。
其中a0，a1，a2为多项式系数；
A＝[a0,a1,a2]T，表示需要估计出的多项式系数向量；其中T为滤波器拓扑类型；
考虑多参数下，拟合出的系数向量包括以下7个维度：
coeff＝[bin_num,band_num,fil_T,A_f0,A_Q,A_boost,A_gain]
其中：
bin_num，表示扇形区域的编号，即；L_0～L_6，R_0～R_6，共14个元素；
band_num，表示多段滤波器的频段号；选用最多级数，作为参考编号；本发明中为band1～band12，即12个元素；
fil_T,表示滤波器拓扑类型；本发明中包括3个滤波器拓扑类型元素：
highshelf--高架滤波器，对应编码：1；
lowshelf--低架滤波器，对应编码：2；
peak--峰值滤波器，对应编码：3；
A_f0,A_Q,A_boost,A_gain，分别对应滤波器的中心频率-f0，品质因数-Q值，抬升增益-boost，和增益-gain对应的系数向量，各3个元素，即：
A＝[a0,a1,a2]T。
步骤(3.1)中所述滤波器参数包括拓扑类型-type，中心频率-f0、增益-gain、抬升增益-boost、品质因数-Q参数。
上述中输出相应的系数组为“7维系数向量”。
步骤(3.1)中，通过观察相邻扇形区域连接点多段滤波器的波形变化，如果确认某一段波形的拓扑结构已经从一种形式转换到另一种形式，则可确定在某个扇形区域内是否存在奇异点，再通过在该扇形区域内等间隔采样的办法，进一步缩小和估计出奇异点可能所在的范围区间。
步骤(3)中所述多项式拟合优选为二阶多项式拟合；在实际运用过程中，多项式拟合的阶数，根据需要平滑扇形区域的大小设定；当平滑区域较大，参数动态变化区间大，需要更多的阶数拟合，当平滑区域较小，参数动态变化范围较小，可以用较少的阶数拟合。本专利中根据实验结果，采用二阶多项式拟合。
其中，步骤(3)中通过采用相对较大离散角度间隔的工程测量方法与小角度范围插值平滑过渡相结合的算法；既保证了真实性，也实现了平滑过渡；可以实现更小粒度的平滑。
步骤(3)中所述插值算法可以对角度变化实现连续的平滑过渡；比申请号为201611243763.4专利(具有头部跟踪的双耳头戴式耳机呈现)中提到的固定值法，有更好的角度分辨率；实际应用中可根据需要选用平滑的粒度大小(角度间隔)。
步骤(2)中所述角度测定组件为陀螺仪、电子罗盘，重力加速度传感器 (g-sensor)组合使用的角度测定组件，所用的角度测定组件可自校准，减少漂移，输出角度更准确，保证了输出音效的实时性和更高的仿真度。
步骤(4)中所述基于系数拟合的音效切换的具体实现方式，包括以下两种方式中的其中一种：
(4.1)预先计算对应各个角度下的滤波器参数值，并存储在内存中，供动态调用；
(4.2)预先只存储拟合向量，在实际运行时，由拟合向量动态生成相应的滤波器参数；
其中：
方式(4.1)适用于在计算资源有限、内存空间又较大的情况下采用。
方式(4.2)相比固定参数有更好的适应性和更多的方案选择；优先在计算资源充足，内存空间有限的情况下采用。
步骤(4)中所述全零极点的IIR型滤波器算法，采用基于参考点的归一化算法，既可以保留录制音频的原有音质，又可以感受到声场变化带来的环绕效果，具体如下：
如图1所示，本发明以正面0度角(初始零点)的HRTF的滤波器为参考基准，所有其他角度下生成的滤波器与之比较做差分处理，正面0度角的滤波器则实现归一化处理，恢复到原声；在头部转到0度角时，耳机中听到的是高保真的原声音乐；在头部逐步偏转远离0度角时，滤波器会反映出空间距离和角度的变化，声场会逐步向另一侧偏移(滤波器波形反映的是空间距离和角度的变化，是声场重建的过程，人耳因此会产生声场偏移的体验)，形成环绕声效果；这样，整个体验过程就既保留了原声高保真的音乐效果，又实现了随空间角度变换带来的环绕声体验。
步骤(4)中所述差分方程的形式如下式：
A0*Y(n)＝B0*X(n)+B1*X(n-1)+B2*X(n-2)-A1*Y(n-1)-A2*Y(n-2)
上式中，
X(n)，X(n-1)，X(n-2)为输入序列，即音频序列采样点；
Y(n)，Y(n-1)，Y(n-2)为滤波器输出序列；
n，n-1，n-2为序列时刻；
A0，B0，B1，B2，A1，A2为差分方程系数；分别是7维系数向量的函数；
Bk＝fk(bin_num，band_num，fil_T，A_f0，A_Q，A_boost，A_gain)，k＝0，1，2
Aj＝fj(bin_num，band_num，fil_T，A_f0，A_Q，A_boost，A_gain)，j＝0，1，2
上式中的fk(.)，fj(.)，为不同的滤波器拓扑结构对应不同的表达式。
为说明问题，下面以LPF型拓扑为例，说明上述差分方程系数的计算过程 (其它拓扑略)。
A0＝1.0+α；
A1＝-2.0*cos(ω0)；
A2＝1.0-α；
B0＝(1.0-cos(ω0))/2.0；
B1＝(1.0-cos(ω0))；
B2＝(1.0-cos(ω0))/2.0
其中：
ω0＝2*pi*A_f0/fs，fs为采样率
α＝0.5*sin(ω0)/A_Q。
所述基于参考点的归一化算法，实现了两种模式的切换方式：
以HRTF测量的原始数据为基础，不经归一化处理的滤波器生成方式，模拟头部转动时，与外置扬声器发生角度变化时带来的环绕音效体验；
以HRTF测量的原始数据为基础，经归一化处理的滤波器生成方式，模拟高保真音频(相当于参考0度角位置没有任何频响变化)，随头部转动时带来的环绕音效体验。
两种模式间的切换，带来更丰富的环绕音效体验。
上述基于HRTF技术的高仿真声场重现的方法在头戴式耳机领域应用。
现有技术方案中采用限定拓扑结构类型和数量，固定中心频率，只更新增益和延时2个参数的方法，算法实现简单，容易实现滤波器的平滑切换，计算量小，在计算资源有限的情况下，工程上也容易实现。其缺点是这一切换算法和策略与实际声音的传播特性相差较大，听感上与实际的声场特性会有一定差别；主要原因是声源传播到人耳(或仿真人头，实际测量HRTF时多用仿真耳) 的传播特性，其频响曲线是较复杂的，要用10几段级联的滤波器才能逼近。y 为准确描述滤波器的波形特征，其相关参数，除前文提到的中心频率、增益外，通常还包括滤波器的拓扑类型、抬升增益、品质因数等多个参数。这些参数在声源发生角度或位置变化时，通常都会跟随变化，特别是大角度变化时，这些参数变化会很剧烈，呈现非线性变化特点，甚至出现奇异点。如滤波器拓扑类型，由一种类型衍化到另一种类型。这些非线性变化特点，是影响听感的重要因素。所以现有的音效切换方案在重现声场音效的真实感受上是有局限的。
本发明所达到的有益效果在于：
1.本发明应用的声场范围更大，-105度～+105度，通过大角度离散间隔的 HRTF测量与小范围平滑过渡算法相结合的方式，有更大的声场动态范围和高仿真效果。
2.本发明基于参考点(位置)归一化处理，形成基于高保真音频和基于外置扬声器的两种环绕模式的音效处理算法可供选择，发挥耳机相对外置扬声器的优势，几乎无衰减高保真，既保留音频原声的高保真效果，又不失空间传播特性的表现力，有更丰富的环绕声体验。
3.本发明采用大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法。既保证了真实性，也实现了平滑过渡；基于最小二乘-多项式拟合的系数估计算法，可以实现更小粒度的平滑。比申请号为201611243763.4的专利 (具有头部跟踪的双耳头戴式耳机呈现)中提到的固定值法，有更好的角度分辨率。
4.本发明采用陀螺仪、电子罗盘，重力加速度传感器(g-sensor)组合使用的方案，可自校准，减少漂移，输出旋转角度测量更及时准确，保证了输出音效的实时性和更高的仿真度，提供了更真实的环绕音效体验。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于HRTF技术的高仿真声场重现的方法，其特征在于：包括以下步骤：
(1)从耳机的音频信号接口处接收音频输入信号；
(2)从耳机上的角度测定组件接收指示头部旋转角度的输入；
(3)采用大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法，获得多项式拟合输出的系数组；
(4)对于多项式拟合输出的系数组，采用全零极点的IIR型滤波器算法，利用差分方程实时变换到时域，实现基于系数拟合的音效切换，实现高仿真声场重现音频信号输出；
步骤(3)中所述采用大角度范围的离散工程测量与小角度范围插值平滑过渡相结合的算法，具体包括以下步骤：
(3.1)所述大角度范围的离散工程测量，采用HRTF的测量方法，在-105～+105度范围内，从初始零位开始，以15度为测量步长，测得测量步长节点的滤波器参数再由数字信号处理软件拟合出参数型级联的多段滤波器，并将所述滤波器参数以测量的角度为单位保存，供出现从一种拓扑类型衍化到另一种拓扑类型的节点时角度切换时调用，作为小角度范围插值平滑过渡的起算数据；
(3.2)所述小角度范围插值平滑过渡采用插值算法，所述插值算法在每个15度扇形区间内，再等间隔采样，采用基于最小二乘法-多项式拟合的逼近算法，估计出多项式系数；通过系数拟合估计滤波器参数，可以对角度变化实现连续的平滑过渡；当遇到拓扑结构的奇异点时，则重新起算多项式系数。
2.根据权利要求1所述的基于HRTF技术的高仿真声场重现的方法，其特征在于：
所述插值算法，具体步骤如下：在-105～+105度范围内，对每个15度的扇形区间，从初始零位开始区分左右编成L_0～L_6，R_0～R_6索引号，以每个扇形区间的每级滤波器的拓扑类型-type为基准参数，对中心频率-f0、增益-gain、抬升增益-boost、品质因数-Q参数，分别进行二阶多项式拟合输出相应的系数；当遇到拓扑结构的奇异点时，则重新起算多项式系数；
所述的二阶多项式拟合，具体如下：
y＝a0+a1·x+a2·x2
其中：
x：为测得的角度值；
y：为需要获得的滤波器参数，为f0、gain、boost、Q中的任意一个。
其中a0，a1，a2为多项式系数；
A＝[a0,a1,a2]T，表示需要估计出的多项式系数向量；其中T为滤波器拓扑类型；
考虑多参数下，拟合出的系数向量包括以下7个维度：
coeff＝[bin_num,band_num,fil_T,A_f0,A_Q,A_boost,A_gain]
其中：
bin_num，表示扇形区域的编号，即；L_0～L_6，R_0～R_6，共14个元素；
band_num，表示多段滤波器的频段号；选用最多级数，作为参考编号；本发明中为band1～band12，即12个元素；
fil_T,表示滤波器拓扑类型；本发明中包括3个滤波器拓扑类型元素：
highshelf--高架滤波器，对应编码：1；
lowshelf--低架滤波器，对应编码：2；
peak--峰值滤波器，对应编码：3；
A_f0,A_Q,A_boost,A_gain，分别对应滤波器的中心频率-f0，品质因数-Q值，抬升增益-boost，和增益-gain对应的系数向量，各3个元素，即：
A＝[a0,a1,a2]T。
3.根据权利要求1所述的基于HRTF技术的高仿真声场重现的方法，其特征在于：步骤(3)中所述多项式拟合为二阶多项式拟合。
4.根据权利要求1所述的基于HRTF技术的高仿真声场重现的方法，其特征在于：步骤(2)中所述角度测定组件为陀螺仪、电子罗盘，重力加速度传感器组合使用的角度测定组件。
5.根据权利要求1所述的基于HRTF技术的高仿真声场重现的方法，其特征在于：步骤(4)中所述基于系数拟合的音效切换的具体实现方式，包括以下两种方式中的其中一种：
(4.1)预先计算对应各个角度下的滤波器参数值，并存储在内存中，供动态调用；
(4.2)预先只存储拟合向量，在实际运行时，由拟合向量动态生成相应的滤波器参数。
6.根据权利要求1所述的基于HRTF技术的高仿真声场重现的方法，其特征在于：步骤(4)中所述全零极点的IIR型滤波器算法，采用基于参考点的归一化算法。
7.根据权利要求6所述的基于HRTF技术的高仿真声场重现的方法，其特征在于：所述基于参考点的归一化算法，具体如下：
以正面0度角的HRTF的滤波器为参考基准，所有其他角度下生成的滤波器与之比较做差分处理，正面0度角的滤波器则实现归一化处理，恢复到原声；在头部转到0度角时，耳机中听到的是高保真的原声音乐；在头部逐步偏转远离0度角时，滤波器会反映出空间距离和角度的变化，声场会逐步向另一侧偏移，形成环绕声效果。
8.根据权利要求6所述的基于HRTF技术的高仿真声场重现的方法，其特征在于：所述基于参考点的归一化算法，实现了两种模式的切换方式：
以HRTF测量的原始数据为基础，不经归一化处理的滤波器生成方式，模拟头部转动时，与外置扬声器发生角度变化时带来的环绕音效体验；
以HRTF测量的原始数据为基础，经归一化处理的滤波器生成方式，参考0度角位置没有任何频响变化，模拟高保真音频，随头部转动时带来的环绕音效体验。
9.根据权利要求1所述的基于HRTF技术的高仿真声场重现的方法，其特征在于：步骤(4)中所述差分方程的形式如下式：
A0*Y(n)＝B0*X(n)+B1*X(n-1)+B2*X(n-2)-A1*Y(n-1)-A2*Y(n-2)
上式中，
X(n),X(n-1),X(n-2)为输入序列，即音频序列采样点；
Y(n)，Y(n-1)，Y(n-2)为滤波器输出序列；
n,n-1,n-2为序列时刻；
A0,B0，B1，B2，A1，A2为差分方程系数；分别是7维系数向量的函数；
Bk＝fk(bin_num,band_num,fil_T,A_f0,A_Q,A_boost,A_gain),k＝0,1,2
Aj＝fj(bin_num,band_num,fil_T,A_f0,A_Q,A_boost,A_gain),j＝0,1,2
上式中的fk(.)，fj(.)，为不同的滤波器拓扑结构对应不同的表达式。
10.上述权利要求1-9任一项所述的基于HRTF技术的高仿真声场重现的方法在头戴式耳机领域应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110226002.2A CN113099359B (zh) | 2021-03-01 | 2021-03-01 | 一种基于hrtf技术的高仿真声场重现的方法及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110226002.2A CN113099359B (zh) | 2021-03-01 | 2021-03-01 | 一种基于hrtf技术的高仿真声场重现的方法及其应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113099359A true CN113099359A (zh) | 2021-07-09 |
| CN113099359B CN113099359B (zh) | 2022-10-14 |
Family
ID=76667565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110226002.2A Active CN113099359B (zh) | 2021-03-01 | 2021-03-01 | 一种基于hrtf技术的高仿真声场重现的方法及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113099359B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339582A (zh) * | 2021-11-30 | 2022-04-12 | 北京小米移动软件有限公司 | 双通道音频处理、方向感滤波器生成方法、装置以及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005089360A2 (en) * | 2004-03-16 | 2005-09-29 | Jerry Mahabub | Method and apparatus for creating spatializd sound |
| CN101040565A (zh) * | 2004-10-14 | 2007-09-19 | 杜比实验室特许公司 | 用于移动立体声内容的改善的头相关传递函数 |
| US20130243200A1 (en) * | 2012-03-14 | 2013-09-19 | Harman International Industries, Incorporated | Parametric Binaural Headphone Rendering |
| US20160044430A1 (en) * | 2012-03-23 | 2016-02-11 | Dolby Laboratories Licensing Corporation | Method and system for head-related transfer function generation by linear mixing of head-related transfer functions |
| US20170188172A1 (en) * | 2015-12-29 | 2017-06-29 | Harman International Industries, Inc. | Binaural headphone rendering with head tracking |
| KR20180018432A (ko) * | 2016-08-11 | 2018-02-21 | 엘지전자 주식회사 | 오디오 머리전달함수(hrtf) 보간 방법 및 이를 이용한 오디오 출력 장치. |
| US20180098175A1 (en) * | 2015-04-17 | 2018-04-05 | Huawei Technologies Co., Ltd. | Apparatus and method for driving an array of loudspeakers with drive signals |
| CN108616789A (zh) * | 2018-04-11 | 2018-10-02 | 北京理工大学 | 基于双耳实时测量的个性化虚拟音频回放方法 |
| US20190208348A1 (en) * | 2016-09-01 | 2019-07-04 | Universiteit Antwerpen | Method of determining a personalized head-related transfer function and interaural time difference function, and computer program product for performing same |
| CN110036655A (zh) * | 2016-12-12 | 2019-07-19 | 索尼公司 | Hrtf测量方法、hrtf测量装置和程序 |
| US20200178015A1 (en) * | 2017-05-15 | 2020-06-04 | Dolby Laboratories Licensing Corporation | Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals |
-
2021
- 2021-03-01 CN CN202110226002.2A patent/CN113099359B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005089360A2 (en) * | 2004-03-16 | 2005-09-29 | Jerry Mahabub | Method and apparatus for creating spatializd sound |
| CN101040565A (zh) * | 2004-10-14 | 2007-09-19 | 杜比实验室特许公司 | 用于移动立体声内容的改善的头相关传递函数 |
| US20130243200A1 (en) * | 2012-03-14 | 2013-09-19 | Harman International Industries, Incorporated | Parametric Binaural Headphone Rendering |
| US20160044430A1 (en) * | 2012-03-23 | 2016-02-11 | Dolby Laboratories Licensing Corporation | Method and system for head-related transfer function generation by linear mixing of head-related transfer functions |
| US20180098175A1 (en) * | 2015-04-17 | 2018-04-05 | Huawei Technologies Co., Ltd. | Apparatus and method for driving an array of loudspeakers with drive signals |
| US20170188172A1 (en) * | 2015-12-29 | 2017-06-29 | Harman International Industries, Inc. | Binaural headphone rendering with head tracking |
| KR20180018432A (ko) * | 2016-08-11 | 2018-02-21 | 엘지전자 주식회사 | 오디오 머리전달함수(hrtf) 보간 방법 및 이를 이용한 오디오 출력 장치. |
| US20190208348A1 (en) * | 2016-09-01 | 2019-07-04 | Universiteit Antwerpen | Method of determining a personalized head-related transfer function and interaural time difference function, and computer program product for performing same |
| CN110036655A (zh) * | 2016-12-12 | 2019-07-19 | 索尼公司 | Hrtf测量方法、hrtf测量装置和程序 |
| US20200178015A1 (en) * | 2017-05-15 | 2020-06-04 | Dolby Laboratories Licensing Corporation | Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals |
| CN108616789A (zh) * | 2018-04-11 | 2018-10-02 | 北京理工大学 | 基于双耳实时测量的个性化虚拟音频回放方法 |
Non-Patent Citations (1)
| Title |
|---|
| 职新卫: "基于Matlab的声场展宽技术研究", 《光盘技术》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339582A (zh) * | 2021-11-30 | 2022-04-12 | 北京小米移动软件有限公司 | 双通道音频处理、方向感滤波器生成方法、装置以及介质 |
| CN114339582B (zh) * | 2021-11-30 | 2024-02-06 | 北京小米移动软件有限公司 | 双通道音频处理、方向感滤波器生成方法、装置以及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113099359B (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100636213B1 (ko) | 실시간 주파수 특성 보정 방법 및 그를 적용한 사운드재생 장치 | |
| CN107018460B (zh) | 具有头部跟踪的双耳头戴式耳机呈现 | |
| JP4726875B2 (ja) | オーディオ信号処理方法および装置 | |
| CN104205878B (zh) | 用于通过头相关传输函数的线性混合生成头相关传输函数的方法及系统 | |
| US8081769B2 (en) | Apparatus for rectifying resonance in the outer-ear canals and method of rectifying | |
| JP5449330B2 (ja) | 擬似立体音響オーディオ信号を取得するための角度依存動作装置または方法 | |
| JP2009512364A (ja) | 仮想オーディオシミュレーション | |
| JP6790654B2 (ja) | フィルタ生成装置、フィルタ生成方法、及びプログラム | |
| WO2004103023A1 (ja) | 仮想音像定位用伝達関数表作成方法、その伝達関数表を記録した記憶媒体及びそれを用いた音響信号編集方法 | |
| WO2007034806A1 (ja) | 信号処理装置、信号処理方法、信号処理プログラムおよびコンピュータに読み取り可能な記録媒体 | |
| CN111970628A (zh) | 音频信号的增强方法、装置、存储介质和处理器 | |
| CN113099359B (zh) | 一种基于hrtf技术的高仿真声场重现的方法及其应用 | |
| JP5459556B2 (ja) | 音響特性調整装置、音響特性調整方法およびコンピュータプログラム | |
| WO2020036077A1 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
| JP4901974B2 (ja) | 音信号補正装置、その方法及びソフトウェア記録媒体 | |
| CN113068112B (zh) | 声场重现中仿真系数向量信息的获取算法及其应用 | |
| CN115802274A (zh) | 音频信号处理方法、电子设备和计算机可读存储介质 | |
| CN115086851A (zh) | 人耳骨传导传递函数测量方法、装置、终端设备以及介质 | |
| JPH0833092A (ja) | 立体音響再生装置の伝達関数補正フィルタ設計装置 | |
| US7907737B2 (en) | Acoustic apparatus | |
| JP6304643B2 (ja) | スピーカーの非線形歪低減装置、方法、及びプログラム | |
| JPH09247799A (ja) | 線形予測係数を用いた立体音響処理装置 | |
| JP2000059892A (ja) | 複数チャンネルオ―ディオ信号処理方法 | |
| US20230040821A1 (en) | Processing device and processing method | |
| WO2023182300A1 (ja) | 信号処理システム、信号処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |