CN106465032A - 操控输入音频信号的装置和方法 - Google Patents

Abstract

本发明涉及一种用于操控关联到空间音频场景内的空间音频源的输入音频信号的装置(100)，其中，所述空间音频场景内的所述空间音频源与听者有一定距离，所述装置(100)包括：激励器(101)，用于操控所述输入音频信号以获得输出音频信号；控制器(103)，用于在所述一定距离的基础上控制所述激励器(101)的参数以操控所述输入音频信号。

Description

操控输入音频信号的装置和方法

技术领域

本发明涉及音频信号处理领域，尤其涉及空间音频信号处理领域。

背景技术

空间音频信号的合成是很多应用中的一个重大课题。例如，在双耳音频合成中，通过处理关联到空间音频源的音频信号使得听者认为所处理的音频信号来源于空间音频场景内空间音频源相对于听者的预期位置，这样该空间音频源可以虚拟地布置在该预期位置处。

空间音频源相对于听者的空间位置可以具备以下特点：空间音频源和听者之间的距离和/或空间音频源和听者之间的相对方位角，等等。根据不同距离和/或方位角调整音频信号的常见音频信号处理技术以调整音频信号的响度级和/或群时延为基础，等等。

U.于2002年在John Wiley&Sons上发表的“DAFX:Digital AudioEffects”提供了常见音频信号处理技术的概述。

发明内容

本发明的目的是提供一种在空间音频场景内操控输入音频信号的有效概念。

该目的通过独立权利要求的特征来实现。本发明的进一步实施例在从属权利要求、说明书和附图中显而易见。

本发明基于以下发现：输入音频信号可以由激励器操控，其中，所述激励器的控制参数可以由控制器根据空间音频场景内的空间音频源和听者之间的一定距离来控制。所述激励器可以包括：带通滤波器，用于滤波所述输入音频信号；非线性处理器，用于非线性地处理所述滤波音频信号；合并器，用于将所述滤波和非线性处理的音频信号与所述输入音频信号合并。通过根据所述一定距离控制所述激励器的参数，可以考虑邻近效果等复杂声学效果。

根据第一方面，本发明涉及一种操控关联到空间音频场景内的空间音频源的输入音频信号的装置，其中，所述空间音频场景内的所述空间音频源与听者有一定距离，所述装置包括：激励器，用于操控所述输入音频信号以获得输出音频信号；控制器，用于在所述一定距离的基础上控制所述激励器的参数以操控所述输入音频信号。因此，可以实现一种基于到听者的距离操控所述空间音频场景内的所述输入音频信号的有效概念。

所述装置促进了一种调整或操控关联到空间音频场景内的空间音频源的输入音频信号的有效方案，以获得对空间音频场景内空间音频源到听者的距离或距离改变的实际感知。

所述装置可以应用于不同应用场景，例如虚拟现实、增强型现实、电影原声混合以及更多场景。对于增强型现实应用场景，所述空间音频源可以布置在距所述听者一定距离处。在其它音频信号处理应用场景中，可以操控所述输入音频信号以增强所述空间音频源的感知邻近效果。

所述空间音频源可以涉及虚拟音频源。所述空间音频场景可以涉及虚拟音频场景。所述一定距离可以涉及关联到所述空间音频源的距离信息并且可以表示所述空间音频场景内的所述空间音频源到所述听者的距离。所述听者可以位于所述空间音频场景的中心。所述输入音频信号和所述输出音频信号可以为单声道音频信号。

所述一定距离可以为绝对距离或归一化距离，例如归一化到最大距离等参考距离。所述装置可以用于：通过手动输入，例如通过像图形用户界面等人机界面和/或滑动控制，由基于所述空间音频源(例如，针对增强型和/或虚拟现实应用)应具有的预期位置或位置方向计算所述一定距离的处理器，或者由任意其它距离确定器从所述装置外部或集成在所述装置内的距离测量设备或模块获得所述一定距离。

根据如上所述第一方面，在所述装置的第一实施形式中，所述激励器包括：带通滤波器，用于滤波所述输入音频信号以获得滤波音频信号；非线性处理器，用于非线性地处理所述滤波音频信号以获得非线性处理的音频信号；合并器，用于将所述非线性处理的音频信号与所述输入音频信号合并以获得所述输出音频信号。因此，可以有效地实现所述激励器。

所述带通滤波器可以包括频率传递函数。所述带通滤波器的所述频率传递函数可以通过滤波系数确定。所述非线性处理器可以用于对所述滤波音频信号应用非线性处理，例如硬限幅或软限幅。所述滤波音频信号的所述硬限幅可以涉及所述滤波音频信号的硬削波。所述滤波音频信号的所述软限幅可以涉及所述滤波音频信号的软削波。所述合并器可以包括：添加器，用于将所述非线性处理的音频信号添加到所述输入音频信号。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第二实施形式中，所述控制器用于在所述一定距离的基础上确定所述激励器的所述带通滤波器的频率传递函数。所述带通滤波器可以用于滤波所述输入音频信号，等等。因此，可以有效地确定所述输入音频信号的已激励频率分量。

所述控制器可以用于在所述一定距离的基础上确定所述带通滤波器的所述频率传递函数的传递特征，例如下限截止频率、上限截止频率、通带衰减、阻带衰减、通带纹波和/或阻带纹波。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第三实施形式中，所述控制器用于：在所述一定距离减小的情况下，增大所述激励器的所述带通滤波器的下限截止频率和/或上限截止频率，反之亦然。所述带通滤波器可以用于滤波所述输入音频信号，等等。因此，可以在所述一定距离减小时激励所述输入音频信号的较高频率分量。

所述下限截止频率可以涉及所述带通滤波器的频率传递函数的-3dB下限截止频率。所述上限截止频率可以涉及所述带通滤波器的频率传递函数的-3dB上限截止频率。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第四实施形式中，所述控制器用于：在所述一定距离减小的情况下，增大所述激励器的所述带通滤波器的带宽，反之亦然。所述带通滤波器可以用于滤波所述输入音频信号，等等。因此，可以在所述一定距离减小时激励所述输入音频信号的更多频率分量。所述带通滤波器的所述带宽可以涉及所述带通滤波器的-3dB带宽。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第五实施形式中，所述控制器用于根据以下等式确定所述激励器的所述带通滤波器的下限截止频率和/或上限截止频率：

f_H＝(2-r_norm)·b_{1_freq}

f_L＝(2-r_norm)·b_{2_freq}

其中，f_H表示所述上限截止频率，f_L表示所述下限截止频率，b_{1_freq}表示第一参考截止频率，b_{2_freq}表示第二参考截止频率，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离。因此，可以有效地确定所述下限截止频率和/或所述上限截止频率。在所述控制器基于减小的一定距离r增大所述下限截止频率和所述上限截止频率的情况下，所述带通滤波器的所述带宽也增大。在所述控制器基于增大的一定距离r减小所述下限截止频率和所述上限截止频率的情况下，所述带通滤波器的所述带宽也减小。所述带通滤波器可以用于滤波所述输入音频信号，等等。

根据所述第五实施形式的所述控制器可用于获得所述距离r，或者，在替代性实施形式中，获得所述归一化距离r_norm作为所述一定距离。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第六实施形式中，所述控制器用于在所述一定距离的基础上控制所述激励器的所述非线性处理器的参数以获得非线性处理的音频信号。所述非线性处理器可以用于基于例如所述带通滤波器滤波的所述输入音频信号的滤波版本获得所述非线性处理的音频信号。因此，非线性效果可以用来激励所述输入音频信号，即基于所述输入音频信号或所述滤波输入音频信号的所述非线性处理版本来获得所述输出音频信号。

所述非线性处理器的所述参数可以包括硬限幅方案的限幅阈值和/或软限幅方案的又一限幅阈值。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第七实施形式中，所述控制器用于控制所述激励器的所述非线性处理器的参数，使得在所述一定距离减小的情况下，非线性处理的音频信号包括所述非线性处理的音频信号的高频部分中的更多谐波和/或更多功率，反之亦然。或者，换言之，所述控制器用于控制所述激励器的所述非线性处理器的参数，分别使得所述非线性处理器创建不存在于输入到所述非线性处理器的信号中的谐波频率分量，使得所述非线性处理器输出的所述信号包括不存在于输入到所述非线性处理器的所述信号中的谐波频率分量。因此，可以在减小所述一定距离时增大所述输出音频信号的感知亮度。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第八实施形式中，所述激励器的所述非线性处理器用于将时域中的滤波音频信号的幅度限制到小于限幅阈值的幅度以获得所述非线性处理的音频信号，所述控制器用于在所述一定距离的基础上控制所述限幅阈值。因此，可以实现所述滤波音频信号的硬限幅或硬削波。所述滤波音频信号可以为由所述带通滤波器滤波的所述输入信号，等等。

根据所述第一方面的所述第八实施形式，在所述装置的第九实施形式中，所述控制器用于：在所述一定距离减小的情况下，减小所述限幅阈值，反之亦然。因此，在所述一定距离减小时非线性效果的影响会越来越大。在所述一定距离减小的情况下，所述限幅阈值减小，而且生成更多谐波。

根据所述第一方面的所述第八实施形式或所述第九实施形式，在所述装置的第十实施形式中，所述控制器用于根据以下等式在所述一定距离的基础上确定所述限幅阈值：

lt＝LT·r_norm

其中，lt表示所述限幅阈值，LT表示限幅阈值常数或限幅阈值参考，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离。因此，可以有效地确定所述限幅阈值。

根据所述第十实施形式的所述控制器可用于获得所述距离r，或者，在替代性实施形式中，获得所述归一化距离r_norm作为所述一定距离。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第十一实施形式中，所述激励器的所述非线性处理器用于将所述滤波音频信号乘以时域中的增益信号，所述增益信号在所述一定距离的基础上从所述输入音频信号中确定。因此，可以实现所述滤波音频信号的软限幅或软削波。

所述增益信号可以由所述非线性处理器和/或所述控制器在所述一定距离的基础上从所述输入音频信号中确定。

根据所述第一方面的所述第十一实施形式，在所述装置的第十二实施形式中，所述控制器用于根据以下等式在所述一定距离的基础上确定所述增益信号：

lt[n]＝limthr+(1-limthr)·r_norm[n]

其中，μ表示所述增益信号，s_rms表示均方根输入音频信号，s_BP表示所述滤波音频信号，lt表示又一限幅阈值，limthr表示又一限幅阈值常数，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离，n表示采样时间指数。因此，可以有效地确定所述增益信号。所述均方根输入音频信号可以由所述非线性处理器和/或所述控制器从所述输入音频信号中确定。

根据所述第十二实施形式的所述控制器可用于获得所述距离r，或者，在替代性实施形式中，获得所述归一化距离r_norm作为所述一定距离。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第十三实施形式中，所述激励器包括定标器，所述定标器用于对非线性处理的音频信号，例如所述输入音频信号的滤波版本的非线性处理版本，加权一个增益因子；所述控制器用于在所述一定距离的基础上确定所述定标器的所述增益因子。因此，可以在所述一定距离的基础上调整非线性效果的影响。

所述定标器可以包括乘法器，所述乘法器用于对所述非线性处理的音频信号加权所述增益因子。所述增益因子可以为一个实数，例如范围从0到1。

根据所述第一方面的所述第十三实施形式，在所述装置的第十四实施形式中，所述控制器用于：在所述一定距离减小的情况下，增大所述增益因子，反之亦然。因此，在减小所述一定距离时非线性效果的影响会越来越大。

根据所述第一方面的所述第十三实施形式或所述第十四实施形式，在所述装置的第十五实施形式中，所述控制器用于根据以下等式在所述一定距离的基础上确定所述增益因子：

g_exc[n]＝1-r_norm[n]

其中，g_exc表示所述增益因子，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离，n表示采样时间指数。因此，可以有效地确定所述增益因子，并且在所述一定距离增大时减小所述增益因子，反之亦然。

根据所述第十五实施形式的所述控制器可用于获得所述距离r，或者，在替代性实施形式中，获得所述归一化距离r_norm作为所述一定距离。

根据如上所述第一方面或所述第一方面的任意前述实施形式，在所述装置的第十六实施形式中，所述装置还包括确定器，所述确定器用于确定所述一定距离。因此，所述一定距离可以从由外部信号处理部件提供的距离信息中确定。

所述确定器可以从任意距离测量、从所述空间音频源的空间坐标和/或从所述空间音频场景内的所述听者的空间坐标确定所述一定距离。

所述确定器可以用于将所述一定距离确定为绝对距离或归一化距离，例如归一化到最大距离等参考距离。所述确定器可以用于：通过手动输入，例如通过像图像用户界面等人机界面和/或滑动控制，由基于所述空间音频源(例如，针对增强型和/或虚拟现实应用)应具有的预期位置或位置方向计算所述一定距离的处理器，或者任意其它距离确定器从所述装置外部或集成在所述装置内的距离测量设备或模块获得所述一定距离。

根据第二方面，本发明涉及一种操控关联到空间音频场景内的空间音频源的输入音频信号的方法，其中，所述空间音频场景内的所述空间音频源与听者有一定距离，所述方法包括：控制器在所述一定距离的基础上控制激励参数以激励所述输入音频信号，激励器激励所述输入音频信号以获得输出音频信号。因此，可以实现一种基于到听者的距离操控所述空间音频场景内的所述输入音频信号的有效概念。

所述方法促进了一种调整或操控关联到空间音频场景内的空间音频源的输入音频信号的有效方案，以获得对空间音频场景内空间音频源到听者的距离或距离改变的实际感知。

根据如上所述第二方面，在所述方法的第一实施形式中，所述激励器激励所述输入音频信号包括：带通滤波器对所述输入音频信号进行带通滤波以获得滤波音频信号，非线性处理器对所述滤波音频信号进行非线性处理以获得非线性处理的音频信号，合并器将所述非线性处理的音频信号与所述输入音频信号合并以获得所述输出音频信号。因此，可以有效地实现激励所述输入音频信号。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第二实施形式中，所述方法包括所述控制器在所述一定距离的基础上确定所述激励器的所述带通滤波器的频率传递函数。因此，可以有效地确定所述输入音频信号的已激励频率分量。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第三实施形式中，所述方法包括：在所述一定距离减小的情况下，所述控制器增大所述激励器的所述带通滤波器的下限截止频率和/或上限截止频率，反之亦然。因此，可以在所述一定距离减小时激励所述输入音频信号的较高频率分量。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第四实施形式中，所述方法包括：在所述一定距离减小的情况下，所述控制器增大所述激励器的所述带通滤波器的带宽，反之亦然。因此，可以在所述一定距离减小时激励所述输入音频信号的更多频率分量。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第五实施形式中，所述方法包括所述控制器根据以下等式确定所述激励器的所述带通滤波器的下限截止频率和/或上限截止频率：

f_H＝(2-r_norm)·b_{1_freq}

f_L＝(2-r_norm)·b_{2_freq}

其中，f_H表示所述上限截止频率，f_L表示所述下限截止频率，b_{1_freq}表示第一参考截止频率，b_{2_freq}表示第二参考截止频率，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离。因此，可以有效地确定所述下限截止频率和/或所述上限截止频率。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第六实施形式中，所述方法包括所述控制器在所述一定距离的基础上控制所述激励器的所述非线性处理器的参数以获得所述非线性处理的音频信号。因此，非线性效果可以用来激励所述输入音频信号。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第七实施形式中，所述方法包括所述控制器控制所述激励器的所述非线性处理器的参数，使得在所述一定距离减小的情况下，所述非线性处理的音频信号包括所述非线性处理的音频信号的高频部分中的更多谐波和/或更多功率，反之亦然。或者，换言之，所述方法包括控制所述激励器的所述非线性处理器的参数，分别使得创建不存在于输入到所述非线性处理器的信号中的谐波频率分量，使得所述非线性处理器输出的所述信号包括不存在于输入到所述非线性处理器的所述信号中的谐波频率分量。因此，可以在减小所述一定距离时增大所述输出音频信号的感知亮度。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第八实施形式中，所述方法包括所述激励器的所述非线性处理器将时域中的滤波音频信号的幅度限制到小于限幅阈值的幅度以获得所述非线性处理的音频信号，所述控制器在所述一定距离的基础上控制所述限幅阈值。因此，可以实现所述滤波音频信号的硬限幅或硬削波。

根据所述第二方面的所述第八实施形式，在所述方法的第九实施形式中，所述方法包括：在所述一定距离减小的情况下，所述控制器减小所述限幅阈值，反之亦然。因此，在所述一定距离减小时非线性效果的影响会越来越大。

根据所述第二方面的所述第八实施形式或所述第九实施形式，在所述方法的第十实施形式中，所述方法包括所述控制器根据以下等式在所述一定距离的基础上确定所述限幅阈值：

lt＝LT·r_norm

其中，lt表示所述限幅阈值，LT表示限幅阈值常数或限幅阈值参考，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离。因此，可以有效地确定所述限幅阈值。

根据所述第十实施形式的所述方法可包括获得所述距离r，或者，在替代性实施形式中，获得所述归一化距离r_norm作为所述一定距离。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第十一实施形式中，所述方法包括所述激励器的所述非线性处理器将所述滤波音频信号乘以时域中的增益信号，在所述一定距离的基础上从所述输入音频信号中确定所述增益信号。因此，可以实现所述滤波音频信号的软限幅或软削波。

根据所述第二方面的所述第十一实施形式，在所述方法的第十二实施形式中，所述方法包括所述控制器根据以下等式在所述一定距离的基础上确定所述增益信号：

lt[n]＝limthr+(1-limthr)·r_norm[n]

其中，μ表示所述增益信号，s_rms表示均方根输入音频信号，s_BP表示所述滤波音频信号，lt表示又一限幅阈值，limthr表示又一限幅阈值常数，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离，n表示采样时间指数。因此，可以有效地确定所述增益信号。

根据所述第十二实施形式的所述方法可包括获得所述距离r，或者，在替代性实施形式中，获得所述归一化距离r_norm作为所述一定距离。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第十三实施形式中，所述方法包括所述激励器的定标器对非线性处理的音频信号加权一个增益因子，所述控制器在所述一定距离的基础上确定所述定标器的所述增益因子。因此，可以在所述一定距离的基础上调整非线性效果的影响。

根据所述第二方面的所述第十三实施形式，在所述方法的第十四实施形式中，所述方法包括：在所述一定距离减小的情况下，所述控制器增大所述增益因子，反之亦然。因此，在减小所述一定距离时非线性效果的影响会越来越大。

根据所述第二方面的所述第十三实施形式或所述第十四实施形式，在所述方法的第十五实施形式中，所述方法包括所述控制器根据以下等式在所述一定距离的基础上确定所述增益因子：

g_exc[n]＝1-r_norm[n]

其中，g_exc表示所述增益因子，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离，n表示采样时间指数。因此，可以有效地确定所述增益因子。

根据所述第十五实施形式的所述方法可包括获得所述距离r，或者，在替代性实施形式中，获得所述归一化距离r_norm作为所述一定距离。

根据如上所述第二方面或所述第二方面的任意前述实施形式，在所述方法的第十六实施形式中，所述方法还包括所述装置的确定器确定所述一定距离。因此，所述一定距离可以从由外部信号处理部件提供的距离信息中确定。

所述方法可由所述装置执行。所述方法的进一步特征直接由所述装置的功能产生。

针对所述第一方面及其实施形式提供的说明等同地应用到所述第二方面及对应的实施形式。

根据第三方面，本发明涉及一种包括程序代码的计算机程序，所述计算机程序在计算机上执行时用于执行根据所述第二方面或任意其实施形式的所述方法。因此，可以通过自动及可重复的方式执行所述方法。

所述计算机程序可以由所述装置执行。可以可编程地设置所述装置以执行所述计算机程序。

本发明可在硬件、软件或它们的任意组合中实施。

附图说明

本发明的具体实施方式将结合以下附图进行描述，其中：

图1所示为根据一实施形式的一种操控关联到空间音频场景内的空间音频源的输入音频信号的装置的图；

图2所示为根据一实施形式的一种操控关联到空间音频场景内的空间音频源的输入音频信号的方法的图；

图3所示为根据一实施形式的具有空间音频源和听者的空间音频场景的图；

图4所示为根据一实施形式的一种操控关联到空间音频场景内的空间音频源的输入音频信号的装置的图；

图5所示为根据一实施形式的空间音频源围绕听者的布置的图；

图6所示为根据一实施形式的输入音频信号和输出音频信号的光谱图。

相同参考标记用于相同或至少等同特征。

具体实施方式

图1所示为根据一实施形式的一种操控关联到空间音频场景内的空间音频源的输入音频信号的装置100的图。空间音频场景内的空间音频源与听者有一定距离。

装置100包括：激励器101，用于操控输入音频信号以获得输出音频信号；控制器103，用于在一定距离的基础上控制激励器的参数以操控输入音频信号。

装置100可以应用于不同的应用场景，例如虚拟现实、增强型现实、电影原声混合以及更多场景。

对于增强型现实应用场景，其中通常将另一空间音频源添加到现有空间音频场景，这种另一空间音频源可以布置在距听者一定距离处。在音频信号处理应用场景中，可以操控输入音频信号以增强空间音频源的感知邻近效果。

激励器101可以包括：带通滤波器，用于滤波输入音频信号以获得滤波音频信号；非线性处理器，用于非线性地处理滤波音频信号以获得非线性处理的音频信号；合并器，用于将非线性处理的音频信号与输入音频信号合并以获得输出音频信号。激励器101还可以包括定标器，该定标器用于对非线性处理的音频信号加权一个增益因子。

控制器103用于在一定距离的基础上控制带通滤波器、非线性处理器、合并器和/或定标器的参数以操控输入音频信号。

装置100的实施例的进一步详细内容基于图3至图6进行描述。

图2所示为根据一实施形式的一种操控关联到空间音频场景内的空间音频源的输入音频信号的方法200的图。空间音频场景内的空间音频源与听者有一定距离。

方法200包括：在一定距离的基础上控制201激励参数以激励输入音频信号，激励203输入音频信号以获得输出音频信号。

激励203输入音频信号可以包括对输入音频信号进行带通滤波以获得滤波音频信号，对滤波音频信号进行非线性处理以获得非线性处理的音频信号，将非线性处理的音频信号与输入音频信号合并以获得输出音频信号。

方法200可以由装置100执行。控制步骤201可以由控制器103等执行，激励步骤203可以由激励器101等执行。方法200的进一步特征直接由装置100的功能产生。方法200可以由计算机程序执行。

图3所示为根据本发明一实施例的具有空间音频源301和听者303(描述的是听者的头部)的空间音频场景300的图。该图描绘了空间音频源301作为点声频源S，位于X-Y平面，相对于听者303的头部位置具有一定距离r和方位角Θ，观测方向沿Y轴。

空间音频源301的邻近感知可以与听者303有关以获得更好的音频沉浸感。音频混合技术，尤其是双耳音频合成技术，可以将音频源距离信息用于现实音频呈现，从而增强听者303的音频体验。电影和/或游戏等中的移动声频源可以使用它们相对听者303的一定距离进行双耳混合。

邻近效果可以归为空间音频源距离的函数，如下所示。在1米的短距离处，主要邻近效果可以由双耳近场效果产生。因此，空间音频源301越近，可以加重或提高的频率越低。在1米至10米的中等距离处，主要邻近效果可以由回声产生。在这种距离区间中，当空间音频源301越来越靠近时，可以加重或提高的频率越高。在远离10米的长距离处，最主要的邻近效果是吸收，导致高频率衰减。

空间音频源301或点声频源S的声音的感知音色会随着其到听者303的一定距离r和Θ角度而改变。Θ和r可以用于双耳混合，例如，可以通过激励器101在邻近效果处理之前执行双耳混合。

装置100的实施例可以用于通过激励器101增强或加重虚拟或空间音频源301的邻近感知。

装置100可以加重双耳音频输出的邻近效果以进行更现实的音频呈现。该装置可以应用于混合设备或用于生成或操控空间音频场景的任意其它预处理或处理设备，还可以应用于其它设备，例如移动设备，像带有或不带有头戴式耳机的智能手机或平板电脑。

电影等的输入音频信号可以通过双耳合成与移动音频源混合。虚拟或空间音频源301可以由装置100使用变化的距离信息进行双耳合成。

装置100用于调整激励器参数，使得当空间音频源301的一定距离r改变时，高频率密度等感知亮度相应地改变。因此，装置100的实施例用于修改虚拟或空间音频源301的声音的亮度以加重邻近感知。

在本发明实施例中，虚拟或空间音频源301可以通过使用激励器101来呈现以加重感知的邻近效果。激励器可以由控制器103控制以加重频率部分，以便增大作为一定距离的函数的亮度。当激励器效果越来越强时，认为空间音频源301越靠近听者303。激励器可以调整为空间音频源301到听者303位置的一定距离的函数。

图4所示为根据一实施形式的一种操控关联到空间音频场景内的空间音频源的输入音频信号的装置100的更详细图。

装置100包括激励器101和控制器103。激励器101包括带通滤波器(band-passfilter，BP filter)401、非线性处理器(non-linear processor，NLP)403、由加法器构成的合并器405，以及具有增益因子的可选定标器407(增益)。输入音频信号分别表示为IN和s。输出音频信号分别表示为OUT和y。控制器103用于接收一定距离r或与一定距离有关的距离信息并且还用于基于一定距离r控制激励器101的参数。换言之，控制器用于基于一定距离r控制激励器101的带通滤波器401、非线性处理器403和定标器407的参数。

该图所示为具有带通滤波器401和非线性处理器403的激励器101在预期频率部分中生成谐波的实施方式。激励器101可以实现用于增强输入音频信号的音频信号处理技术。激励器101可以将谐波，即给定频率的倍数或频率范围，加到输入音频信号。激励器101可以使用非线性处理和滤波从输入音频信号中生成谐波，可以添加谐波以增加输入音频信号的亮度。

下文给出了包括控制器103和激励器101的装置100的实施例。首先使用具有脉冲响应f_BP的带通滤波器401滤波输入音频信号s以提取要激励的频率。

s_BP＝f_BP*s

为了将空间音频源的亮度感知地匹配到一定距离r，控制器用于将带通滤波器401的上限截止频率f_H和下限截止频率f_L调整或设置为空间音频源的一定距离的函数。这些确定了频率范围，在该频率范围内应用激励器101的效果。

随着空间音频源越来越近，控制器103会将带通滤波器401的截止频率f_L和f_H向更高频率转变。可选地，不仅带通滤波器401的截止频率f_L和f_H而且带宽也随着一定距离r的增大而增大，即控制器103还会增大带通滤波器401的f_L和f_H之差。通过增大截止频率，非线性处理器403在更高频率部分生成谐波。通过增大带通滤波器401的带宽，非线性处理器403生成的谐波量增多。

因此，输出音频信号在更高频率部分具有更多能量，而且听者在空间音频源接近时感知的亮度增大。例如，f_H和f_L可以由控制器103根据以下等式定义：

f_H＝(2-r_norm)·b_{1_freq}

f_L＝(2-r_norm)·b_{2_freq}

其中，r_norm可以为归一化距离，例如在0和1之间，定义为：

其中，r_max可以是应用到激励器101的一定距离r的最大可能值，例如r_max＝10米。b_{1_freq}和b_{2_freq}可以是带通滤波器401的参考截止频率，它们可以形成最大距离r_max下的带通滤波器401的截止频率。控制器103可以用于设置或使用参考截止频率，例如b_{1_freq}＝10kHz和b_{2_freq}＝1kHz。

然后，非线性处理器403应用在滤波音频信号s_BP上以生成这些频率的谐波。一个示例是使用有关限幅阈值lt的硬限幅方案，定义为：

其中，n为采样时间指数，限幅阈值lt控制为空间音频源的一定距离r的函数。例如，lt可以定义为：

lt＝LT·r_norm

其中，LT可以是限幅阈值常数。例如，LT＝10^-30/20，即线性尺度上的-30dB。空间音频源越接近，控制器选择的限幅阈值lt越小，才能生成更多谐波。具有更多谐波的音频信号在更高频率部分包含更多功率或能量。因此，输出音频信号听起来更亮。

另一示例是使用自适应软削波或限幅方案，其优点是遵循输入音频信号的幅度或电平并且可以降低所得信号s’_BP的失真。限幅器的阈值可以由控制器103基于输入音频信号的均方根(root-mean-square，RMS)估计根据以下等式动态地确定：

其中，α_tt和α_rel分别为针对RMS估计的暂态信号和释放平滑常数，其值在0和1之间。例如，可以选择α_tt＝0.0023和α_rel＝0.0011。然后，s_rms[n]可以用于根据以下等式推导出限幅器阈值：

其中，lt[n]可以是又一自适应限幅阈值以根据一定距离r调整限幅器的效果。例如，lt[n]可以定义为：

lt[n]＝limthr+(1-limthr)·r_norm[n]

其中，limthr为又一限幅阈值常数，其值在0和1之间，例如limthr＝0.4。此外，增益信号μ或μ’可以随时间平滑以避免由于值变化快导致的失真。例如：

μ′[n]＝(1-α_hold)·μ′[n-1]+α_hold·μ[n]

其中，α_hold为0和1之间的保持平滑常数，例如α_hold＝0.2。

非线性处理器403的输出信号可以如下计算：

s′_BP[n]＝μ′[n]·s_BP[n]

所得非线性处理的音频信号随后由合并器405添加到输入音频信号。具有增益因子的定标器407可以用来控制激励器101的强度以根据以下等式生成输出音频信号y：

y[n]＝g_exc[n]·s′_BP[n]+s[n]

邻近效果可以通过控制器将值在0和1之间的增益因子g_exc控制为空间音频源的一定距离r的函数来呈现，意味着双耳音频信号可以送入激励器101以便重现，激励器的增益因子可以调整为空间音频源的一定距离r的函数。例如：

g_exc[n]＝1-r_norm[n]

装置100的实施例可以用于获得或使用距离r，或者在替代性实施形式中，获得或使用归一化距离r_norm作为一定距离。

图5所示为根据一实施形式的空间音频源围绕听者的布置的图501、503、505。

图501描绘了空间音频源围绕听者头部在时间上的轨迹线。该轨迹线在笛卡尔坐标X-Y平面内移动两次。图501所示为该轨迹线、听者头部(位于笛卡尔坐标X-Y平面的中心处)、听者沿X-Y平面的正向X轴的观测方向、轨迹线的开始位置以及轨迹线的停止位置。图503描绘了轨迹线随时间变化的X位置、Y位置和Z位置(不随时间改变)。图505描绘了空间音频源和听者之间随时间变化的一定距离。

可以考虑空间音频源在Z平面无改变的椭圆轨迹线上围绕听者头部移动。可以考虑笛卡尔X-Y-Z坐标中的移动路径的时移和空间音频源的一定距离的时移。

图6所示为根据本发明一实施例的输入音频信号和输出音频信号的光谱图601、603。为了进行说明，展示了双耳输出信号的右声道的光谱图601、603，右声道即为空间音频源在靠近听者头部的地方。

光谱图601、603以灰度等级方式描绘了频率分量随时间变化的幅度。没有使用额外激励器时，光谱图601涉及输入音频信号。使用激励器时，光谱图603涉及输出音频信号。输入音频信号可以为双耳输出信号的右声道或左声道。

相比之下，已激励输出音频信号展示的亮度比不使用激励器的输入音频信号的亮度高。

亮度的增大可视为已激励输出音频信号中更高频率的更高密度，已激励输出音频信号由虚线圆圈标记。

本发明可以实现若干优点。例如，可以加重最近的空间音频源的透明度，使得听者可以认为空间音频源在靠近。此外，原始输入音频信号的谐波对应的频率可以动态地增大。而且，没有过度加重或提高高频率。自然响亮的亮度可以加到输入音频信号，无需音色和颜色的重大变化。

另外，如果原始输入音频信号缺乏高频分量，则激励器可以为一种将亮度加到输入音频信号的有效方案。此外，可以改善听者附近的空间音频源呈现、移动空间音频源呈现和/或基于对象的空间音频源呈现。

在下文中，结合一些示例性应用场景描述了本发明的进一步实施例。

在一个简单情况下，空间音频源是一个正在说话的人等，而且关联到空间音频源的音频信号是一个单声道音频信号，例如通过使用麦克风记录获得。控制器获得一定距离并相应地控制或设置激励器的控制参数。激励器用于接收单声道音频信号作为输入音频信号IN并根据控制参数操控单声道音频信号以获得输出音频信号OUT，单声道音频信号与听者有操控或调整的感知距离。

在一项实施例中，该输出音频信号构成空间音频场景，即单声道音频信号表示的单个音频源空间音频场景。

在另一项实施例中，该输出音频声道信号还可通过应用头相关传递函数(HeadRelated Transfer Function，HRTF)以从该操控的单声道音频信号中获得包括双耳左和右声道音频信号的双耳音频信号来处理。HRTF可以用于将合适方位角加到空间音频场景内的空间音频源的感知位置。

在一替代性实施例中，HRTF首先应用到单声道音频信号，之后通过使用激励器将距离操控以相同方式，即使用相同激励器控制参数，应用于左和右声道双耳音频信号。

在更进一步的实施例中，关联到空间音频源的单信道音频信号可以用来获得除双耳音频信号之外的包括定向空间线索的其它音频信号格式，例如立体声频信号或者一般包括两个或更多音频声道信号或它们的下混音频声道信号和对应的空间参数。在这些实施例中的任一种中，比如双耳实施例，激励器对单声道音频信号的操控可以在定向性操控之前或之后执行，在后一种情况下，通常将相同激励器参数分别应用到多声道音频信号的所有音频声道信号。

在某些实施例中，例如对于增强型现实应用或电影原声混合，关联到空间音频源的音频声道信号的这些单音、双耳或多声道表示可与已经包括一个或多个空间音频源的空间音频场景的现有单音、双耳或多声道表示混合。

在其它实施例中，例如对于虚拟现实应用或电影原声混合，关联到空间音频源的音频声道信号的这些单音、双耳或多声道表示可与其它空间音频源的单音、双耳或多声道表示混合以产生包括两个或更多空间音频源的空间音频场景。

在更进一步的实施例中，尤其是对包括两个或更多空间音频源的双耳或多声道音频信号表示的空间音频场景，可分别执行源分离以将一个空间音频源与其它空间音频源分离，并且通过本发明的实施例100或200等执行感知距离操控以操控一个空间音频信号的感知距离，空间音频源相比于其它空间音频源还包含在空间音频场景内。之后，操控的分离音频声道信号被混合到双耳或多声道音频信号表示的空间音频场景中。

还在其它实施例中，分离一些或所有空间音频信号以分别操控一些或所有空间音频信号和空间音频源的感知距离。之后，操控的分离音频声道信号被混合以构成双耳或多声道音频信号表示的操控的空间音频场景。如果要操控空间音频场景内包含的所有空间音频源的感知距离，还可以省去源分离，而且使用本发明实施例100和200的距离操控可等同地应用到双耳或多声道信号的各个音频声道信号。

空间音频源可为或可表示一个人、一个动物、一个乐器或可认为用来生成关联空间音频信号的任意其它源。关联到空间音频源的音频声道信号可以是自然或记录的音频信号或人造的音频信号或前述音频信号的组合。

本发明实施例可以涉及一种通过听者的头戴式耳机提供空间音频源的装置和/或方法，包括激励器激励输入音频信号，包括控制器将激励器参数调整为对应一定距离的函数。

激励器可以基于距离信息对其输入音频信号进行滤波。激励器可以基于距离信息对滤波音频信号进行非线性处理。激励器还可以应用一个增益因子的比例以基于距离信息控制激励器的强度。所得音频信号可以加到输入音频信号以提供输出音频信号。

Claims (16)

1.一种用于操控关联到空间音频场景(300)内的空间音频源(301)的输入音频信号的装置(100)，其特征在于，所述空间音频场景(300)内的所述空间音频源(301)与听者(303)有一定距离，所述装置(100)包括：

激励器(101)，用于操控所述输入音频信号以获得输出音频信号；

控制器(103)，用于在所述一定距离的基础上控制所述激励器(101)的参数以操控所述输入音频信号。

2.根据权利要求1所述的装置(100)，其特征在于，所述激励器(101)包括：

带通滤波器(401)，用于滤波所述输入音频信号以获得滤波音频信号；

非线性处理器(403)，用于非线性地处理所述滤波音频信号以获得非线性处理的音频信号；

合并器(405)，用于将所述非线性处理的音频信号与所述输入音频信号合并以获得所述输出音频信号。

3.根据任意前述权利要求所述的装置(100)，其特征在于，所述控制器(103)用于在所述一定距离的基础上确定所述激励器(101)的带通滤波器(401)的频率传递函数。

4.根据任意前述权利要求所述的装置(100)，其特征在于，所述控制器(103)用于：在所述一定距离减小的情况下，增大所述激励器(101)的带通滤波器(401)的下限截止频率和/或上限截止频率，反之亦然；和/或

所述控制器(103)用于：在所述一定距离减小的情况下，增大所述激励器(101)的带通滤波器(401)的带宽，反之亦然；

控制器(103)用于根据以下等式确定所述激励器(101)的所述带通滤波器(401)的下限截止频率和/或上限截止频率：

f_H＝(2-r_norm)·b_{1_freq}

f_L＝(2-r_norm)·b_{2_freq}

$r_{norm}=\frac{r}{r_{max}}$

其中，f_H表示所述上限截止频率，f_L表示所述下限截止频率，b_{1_freq}表示第一参考截止频率，b_{2_freq}表示第二参考截止频率，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离。

5.根据任意前述权利要求所述的装置(100)，其特征在于，所述控制器(103)用于在所述一定距离的基础上控制所述激励器(101)的非线性处理器(403)的参数以获得非线性处理的音频信号。

6.根据任意前述权利要求所述的装置(100)，其特征在于，所述控制器(103)用于控制所述激励器(101)的非线性处理器(403)的参数，使得在所述一定距离减小的情况下，非线性处理的音频信号包括所述非线性处理的音频信号的高频率部分中的更多谐波和/或更多功率，反之亦然。

7.根据任意前述权利要求所述的装置(100)，其特征在于，所述激励器(101)的非线性处理器(403)用于将时域中的滤波音频信号的幅度限制到小于限幅阈值的幅度以获得所述非线性处理的音频信号，所述控制器(103)用于在所述一定距离的基础上控制所述限幅阈值。

8.根据权利要求7所述的装置(100)，其特征在于，所述控制器(103)用于：在所述一定距离减小的情况下，降低所述限幅阈值，反之亦然；

所述控制器(103)用于根据以下等式在所述一定距离的基础上确定所述限幅阈值：

lt＝LT·r_norm

$r_{norm}=\frac{r}{r_{max}}$

其中，lt表示所述限幅阈值，LT表示限幅阈值常数，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离。

9.根据任意前述权利要求所述的装置(100)，其特征在于，所述激励器(101)的非线性处理器(403)用于将滤波音频信号乘以时域中的增益信号，所述增益信号在所述一定距离的基础上从所述输入音频信号中确定。

10.根据权利要求9所述的装置(100)，其特征在于，所述控制器(103)用于根据以下等式在所述一定距离的基础上确定所述增益信号：

$\mathrm{\μ}\[n\]=min(\frac{s_{rms}\[n\]}{|s_{BP}\[n\]|\·(1-lt\[n\])},1)$

lt[n]＝limthr+(1-limthr)·r_norm[n]

$r_{norm}=\frac{r}{r_{max}}$

其中，μ表示所述增益信号，s_rms表示均方根输入音频信号，s_BP表示所述滤波音频信号，lt表示又一限幅阈值，limthr表示又一限幅阈值常数，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离，n表示采样时间指数。

11.根据任意前述权利要求所述的装置(100)，其特征在于，所述激励器(101)包括：定标器(407)，用于对非线性处理的音频信号加权一个增益因子，所述控制器(103)用于在所述一定距离的基础上确定所述定标器(407)的所述增益因子。

12.根据权利要求11所述的装置(100)，其特征在于，所述控制器(103)用于：在所述一定距离减小的情况下，增大所述增益因子，反之亦然；

所述控制器(103)用于根据以下等式在所述一定距离的基础上确定所述增益因子：

g_exc[n]＝1-r_norm[n]

$r_{norm}=\frac{r}{r_{max}}$

其中，g_exc表示所述增益因子，r表示所述一定距离，r_max表示最大距离，r_norm表示归一化距离，n表示采样时间指数。

13.根据任意前述权利要求所述的装置(100)，其特征在于，所述装置(100)还包括：确定器，用于确定所述一定距离。

14.一种用于操控关联到空间音频场景(300)内的空间音频源(301)的输入音频信号的方法(200)，其特征在于，所述空间音频场景(300)内的所述空间音频源(301)与听者(303)有一定距离，所述方法(200)包括：

在所述一定距离的基础上控制(201)激励参数以激励所述输入音频信号；

激励(203)所述输入音频信号以获得输出音频信号。

15.根据权利要求14所述的方法(200)，其特征在于，激励(203)所述输入音频信号包括：

对所述输入音频信号进行带通滤波以获得滤波音频信号；

对所述滤波音频信号进行非线性处理以获得非线性处理的音频信号；

将所述非线性处理的音频信号与所述输入音频信号合并以获得所述输出音频信号。

16.一种包括程序代码的计算机程序，其特征在于，所述计算机程序在计算机上运行时用于执行根据权利要求14或15所述的方法(200)。