CN114245286A

CN114245286A - 声音空间化方法

Info

Publication number: CN114245286A
Application number: CN202111050315.3A
Authority: CN
Inventors: 达米恩·雅凯
Original assignee: Arkamys SA
Current assignee: Arkamys SA
Priority date: 2020-09-09
Filing date: 2021-09-08
Publication date: 2022-03-25
Also published as: US11706581B2; EP3968660A1; FR3113993A1; FR3113993B1; US20220078573A1

Abstract

本发明涉及一种声音空间化方法（100），该方法包括：‑确定（103）数字处理参数的步骤，所述数字处理参数被施加于一组至少两个扬声器广播的声音信号，以便在期望位置再现虚拟声源；‑通过所述扬声器恢复（104）声音信号的步骤，在该步骤期间将所述数字处理参数施加于所述声音信号。根据本发明，该声音空间化方法（100）还包括：‑定义由一组N个点（P1，…，PN）定义的轨迹（T）的步骤（101），所述轨迹的两个连续点通过曲线连接在一起；‑定位步骤（102），在该步骤期间，在所述轨迹上定义该虚拟声源（VS）的期望位置。

Description

声音空间化方法

技术领域

本发明涉及一种声音空间化方法。

本发明特别适用于汽车背景下的立体声再现领域。

背景技术

声音空间化旨在在听者周围创造声音环境，使他们感觉自己所听到的声音来自他们所处环境中的某一精确点。

营造声音空间化方法，包括幅度平移、延迟平移。

幅度平移在于控制（jouer sur）各种声源（通常是扬声器）的强度，从而建立一个虚拟声源，通过改变这些声源的强度，使该虚拟声源在环境中移位。赫尔辛基理工大学声学和音频信号处理实验室的Ville Pulkki在“Virtual Sound Source Positioning Using Vector Base Amplitude Panning [使用矢量基幅度平移的虚拟声源定位]”中提出：VBAP（矢量基幅度平移）方法可使用任何数量的声源在二维或三维上重新建立声场。

延迟平移考虑了双耳时间差（ITD），给人一种声音来源位于相对于听者头部的精确角度的感觉。该方法适用于位于用户头部对称平面两侧的两个声源（通常是扬声器）。对这两个扬声器之一的广播信号施加延迟，可在对称平面外创建虚拟源。延迟越大，虚拟源与对称平面形成的角度就越大。

其他声音空间化的方法包括，例如，控制直达声与混响声之间的比率，以产生距离感，或者近感；还可使用低通滤波器模拟空气对高频的吸收来提供深度感。

然而，大多数现有的声音空间化技术对扬声器与听者之间的相对定位误差很敏感。因此，在声音空间化方法的设置期间，轻微的设置误差就会产生对虚拟源位置的错误感知。

图1示出了其中布置有以下四个扬声器的车辆乘客舱：左前扬声器FL、右前扬声器FR、左后扬声器RL和右后扬声器RR。

坐在驾驶员座椅上的听者的头部位置用十字符号表示。

图2A以笛卡尔图和极坐标图的形式示出了根据试图要创建的虚拟源VS（其在图1中用实心方块符号表示）的角位置θ而将施加于由每一个扬声器广播的信号的幅度：

- 将施加于左前扬声器FL的幅度曲线被表示为虚线；

- 将施加于右前扬声器FR的幅度曲线被表示为实线；

- 将施加于左后扬声器RL的幅度曲线被表示为全点线；

- 将施加于右后扬声器RR的幅度曲线被表示为点划线。

虚拟源VS的角位置θ的定义为由穿过听者头部和虚拟源VS的直线与如图1中定义的轴线OX所形成的角度。

位于图2A上部的笛卡尔图或极坐标图示出了对于如图1所示的听者头部位置所要施加的幅度。

位于下部的笛卡尔图或极坐标图示出了对于听者头部位置相对于其在图1中的位置向左偏移十厘米（即在负X轴方向上偏移十厘米）的情况所要施加的幅度。

以相同的方式，图2B以笛卡尔图和极坐标图的形式示出了根据试图要创造的虚拟源VS的角位置θ以及图2A所示的幅度而要施加于由每一个扬声器广播信号的延迟。

线的约定与图2A中的相同。

同样，位于图2B上部的笛卡尔图或极坐标图示出了对于如图1所示的听者头部位置所要施加的延迟。

位于下部的笛卡尔图或极坐标图示出了对于听者头部位置相对于其在图1中的位置向左偏移十厘米（即在负X轴方向上偏移十厘米）的情况所要施加的延迟。

例如在图2A中可以观察到，基于听者头部位置在负X轴方向上对十厘米误差进行积分，创建的角位置为70°的虚拟源（在下部的笛卡尔图上对应于左前和右前扬声器的曲线的交点），根据上部的笛卡尔图，实际上对应于75°的角位置。听者头部位置处的十厘米误差会引起虚拟源角位置的5°角偏移。因此，驾驶员感知到75°角位置的虚拟源，而不是最初期望的70°角位置。

发明内容

本发明涉及一种声音空间化方法，该方法包括：

- 确定数字处理参数的步骤，这些数字处理参数将被施加于一组至少两个扬声器广播的声音信号，以便在期望位置再现虚拟声源；

- 通过扬声器恢复声音信号的步骤，在该步骤中将这些数字处理参数施加于这些声音信号；

根据本发明，该声音空间化方法还包括：

- 定义由一组N个点定义的轨迹的步骤，所述轨迹的两个连续点通过曲线连接在一起；

- 定位步骤，在该步骤期间，在所述轨迹上定义虚拟声源的期望位置。

在实施例中，轨迹具有折线形状，连接这些点的曲线是线段。

在实施例中，对虚拟声源的定位是通过与轨迹的任何点X唯一相关联并由下式定义的位置索引IpX来执行的：

[Math 1]

其中，α为0至1之间的实数，j为1至N-1之间的整数。

在实施例中，虚拟声源沿轨迹的定位由操作员手动执行。

在实施例中，在定位步骤中以如下方式定义虚拟声源的位置：

- 通过针对轨迹的每条曲线确定在线段与穿过定义听者位置的点和虚拟声源的位置目标的直线之间是否存在交点，来确定轨迹上的虚拟声源的位置目标的一组投影图像，所述交点随后可定义潜在虚拟声源；

- 如果至少存在一个潜在虚拟声源，则将虚拟声源的位置定义为与虚拟声源的位置目标的距离最小的潜在虚拟声源。

在实施例中，在不存在潜在虚拟声源的情况下，执行以下动作之一：

- 将虚拟声源定位在预先定义的默认位置，比如在听者前方一米处；

- 将虚拟声源定位在轨迹上的某一点，该点相对于听者的角位置最接近虚拟声源的位置目标的角位置；

- 修改轨迹，以覆盖更宽的关注区域，但包含与初始轨迹一样的点。

在实施例中，根据以下关系式预定义虚拟声源位置在总移动持续时间t_总内沿着轨迹的移动：

[Math 2]

其中，t是指定时间的变量，在0至t_总之间。

本发明还涉及一种用于实施根据本发明的声音空间化方法的设备。根据本发明，该设备包括：

- 用于定义轨迹的装置；

- 用于确定虚拟声源在所述轨迹上的期望位置的装置；

- 用于确定数字处理参数的装置，这些数字处理参数将被施加于一组至少两个扬声器广播的声音信号，以便在期望位置产生虚拟声源；

- 用于将数字处理参数施加于声音信号的装置；

- 用于恢复已经施加了数字处理参数的声音信号的装置。

附图说明

[图1]示出了包括四个扬声器的车辆乘客舱，这些扬声器被配置为再现虚拟声源。

[图2A]以笛卡尔图和极坐标图的形式示出了对于两个不同的驾驶员头部位置，根据虚拟源的期望角位置而施加于图1中车辆扬声器广播的信号的幅度。

[图2B]以笛卡尔图和极坐标图的形式示出了对于两个不同的驾驶员头部位置，根据虚拟源的期望角位置而施加于图1中车辆扬声器广播的信号的延迟。

[图3]为根据本发明的方法的示意性表示。

[图4]示出了具有折线形状的轨迹。

[图5A]示出了与汽车在水平面中的轮廓大致对应的轨迹T。

[图5B]示出了在水平面中围绕汽车布置的大致圆形的轨迹T。

[图6A]示出了轨迹T和车辆，其中轨迹可覆盖180°的角扇区，并覆盖与驾驶员相距大约五米的距离。

[图6B]示出了图6A的轨迹T。

具体实施方式

在下文中，本发明将在汽车背景下进行描述，特别是在车辆乘客舱内的声音空间化框架中进行描述。然而，本领域技术人员将理解，本发明可以适用于除车辆环境之外的环境。

车辆的乘客舱包括一组至少两个扬声器。在所示的示例中，保留了四个扬声器的数量，但这并不限制本发明，本发明可以适用于不同数量的扬声器。

参考图3，根据本发明的方法100包括定义轨迹的第一步骤101。

在该第一步骤101中，在平行于地面的平面中定义了用于定义轨迹T的一组N个点Pi。在此，索引i是范围从1至N的有限整数。

在此，轨迹T为折线的形状。本领域技术人员在阅读下文时将理解，该折线形状并不限制本发明，并且可以使用其他类型的轨迹，例如轨迹的两个点可以通过圆弧连接在一起。

每个点Pi由其在平面中的坐标（即x坐标Pi_x和y坐标Pi_y）定义，以矩阵格式书写：

[Math 3]

当且仅当存在一（α；j）对满足以下条件时，任何点X都属于轨迹T：

[Math 4]

其中，α为0至1之间的实数，j为1至N-1之间的整数。

图4示出了由七个点定义的轨迹T，并且任何点X的位置由一对（0.6；4）指定。

位置索引IpX有利地被定义为唯一引用轨迹T上的任何点X：

[Math 5]

可以通过应用以下公式找到点X的坐标：

[Math 6]

其中，E(.) 指定整数部分运算符。

有利地，轨迹的点Pi的放置方式使车辆的显着元素（如例如方向盘中心或变速杆）对应于位置索引IpX的显着值，例如等于0.1或0.5的位置索引IpX。

方法100还包括在轨迹T上定位虚拟源VS的第二步骤102。

虚拟源VS在轨迹T上的定位是通过操作员手动或者自动（如下文将详细描述的）设置位置索引IpX来执行的。

方法100还包括确定数字处理参数的第三步骤103，这些数字处理参数被施加于扬声器广播的信号。

确定数字处理参数是借助于声音空间化领域的技术人员已知的技术来执行的，如延迟平移和幅度平移。

数字处理参数可以包括例如增益、延迟、滤波器，特别取决于源VS的位置和车辆乘客舱的几何形状。

方法100还包括基于在前一步骤中确定的参数，通过扬声器来恢复声音信号的第四步骤104，这些参数被施加于扬声器广播的信号。

现在将在三个特定实施例的框架内详细描述本发明。

在第一实施例中，本发明适用于静态声音的背景下。

术语“静态声音”是指在车辆的使用期间假设其声音定位或声音场景不变的声音。

这可以是例如：

- 从车辆的CD-ROM或mp3播放器聆听的音乐，对于这种情况，声音场景通常放置成朝向车辆的前方；

- 与驾驶相关的声音信号，例如位于方向盘附近的指示音。

在这些情况下，寻求特定的声音场景目标，并有利地使用轨迹T，以允许第一操作员通过改变位置索引IpX来手动放置虚拟源VS，而第二操作员从车辆内部评估声音再现。

根据所寻求的目标，第二操作员可以无差别地坐在驾驶员座椅或乘客座椅上。

轨迹T的定义方式为：它覆盖相对于第二操作员而言足够大的角扇区，以允许他们评估虚拟源VS的广泛位置，从而选择一个他们感觉是最相关的、即最符合所寻求声音场景目标的位置。

有利地，轨迹T还允许第一操作员以调整由第二操作员感知的混响的方式改变从虚拟源VS到所述第二操作员的径向距离。

然后，第一操作员例如通过借助于界面运算器改变（α；j）对或更简单地改变与轨迹T上的位置唯一相关联的位置索引IpX使虚拟源VS沿轨迹T移位。

虚拟源VS的移位可以连续地或离散地执行。

虚拟源VS停在被第二操作员判断为与所寻求的目标最相关的位置。

然后执行确定数字处理参数的步骤103和通过扬声器恢复信号的步骤104。

在第二实施例中，本发明适用于实时情况。

这需要创建声音的声音空间化，在车辆的使用期间，希望声音定位是可变的。

例如，可以发出声音信号以警告驾驶员车辆环境中的潜在危险，声音定位能够改变以适应所述环境中的危险的位置。例如，可用于警告驾驶员在盲点中存在行人或车辆。

在该实施例中，声音定位不是先验地定义，能够随时间变化，例如可跟随行人或车辆的位移。

因此，在该实施例中，如下文将看到的，虚拟源VS的位置是近似的，以便考虑由辅助系统（通常是高级驾驶员辅助系统（ADAS））提供的参数P。

在此，轨迹T被定义为：根据其中应该近似地找到虚拟声源VS的假定区域，尽可能宽地覆盖角扇区和到驾驶员的距离。

举例来说，参考图5A，定义了大体上与汽车在水平面中的轮廓相对应的轨迹T。

在所示的示例中，点Pi对应于车辆的显着元素，以便于操作员实施该方法，特别地：

IpX = 0；左尾灯；

IpX = 0,5；右前灯；

IpX = 1；汽车的后中心点；

轨迹T也可以具有大体圆形的形状，如图5B所示。

这两个示例使得可以覆盖360°的角扇区。

参考图6A和图6B，轨迹T被定义为可以覆盖180°的角扇区，角扇区的最远端距离驾驶员大约五米。

为了定位虚拟源VS，由辅助系统提供参数P以建立虚拟声源VS的位置目标VS_obj。

举例来说，虚拟声源的位置目标VS_obj大体上对应于位于车辆环境中的行人的位置（此位置由传感器提供）。

下文详细描述对虚拟源VS的定位。

在图6A和图6B中，虚拟声源的位置目标VS_obj由菱形表示。

十字表示坐在驾驶员座椅上的听者的头部位置D。

在定位虚拟源VS的步骤102期间，确定虚拟声源的位置目标VS_obj在轨迹T上的投影。

对于轨迹T中末端为Pi和Pi + 1的每个线段，确定在所述线段与连接听者位置和虚拟声源的位置目标VS_obj的线段之间是否存在交点。因此，每个交点定义了潜在虚拟源VSi，从而获得定义M个潜在虚拟源的一组M个交点。

在图6A和图6B所示的情况中，出现一组四个潜在虚拟源VS1、VS2、VS3、VS4，用正方形符号表示。

然后将虚拟源VS的位置确定为索引为k的潜在虚拟源VSk，该潜在虚拟源具有与虚拟声源的位置目标VS_obj的最小距离，即满足：

[Math 7]

在本说明书中，如此获得的虚拟源VSk称为虚拟声源的位置目标VS_obj在轨迹T上的“投影”。

在下文中，虚拟源VS的位置索引IpVS定义如下：

[Math 8]

其中，索引x是指相关联点的x坐标，并且在此，索引y是指相关联点的y坐标。

参考图6B，如此确定的虚拟源是虚拟源VS2。

在轨迹T与将驾驶员D连接至虚拟声源VS的位置目标VS_obj的虚拟线之间不存在交点的情况下，可以考虑：

- 不实施随后的步骤103和104，将虚拟声源VS的位置目标VS_obj视为在关注区域之外；

- 将声音定位在默认位置，例如在听者前方；

- 在最接近虚拟声源VS的位置目标VS_obj的角位置（相对于驾驶员的）生成声音；

- 人工修改轨迹，以覆盖更宽的关注区域，但包含与初始轨迹一样的点。

一旦确定了虚拟源VS，随后执行确定数字处理参数的步骤103和通过扬声器恢复信号的步骤104。

当然，虚拟源VS的位置能够根据虚拟声源VS的位置目标VS_obj的变化（例如，位移）而随时间变化，因此，在实施根据本发明的方法中，定位虚拟源VS的第二步骤102和后续步骤被迭代地应用。

在第三实施例中，本发明适用于虚拟源VS沿轨迹T的预定义移位。

在该实施例中，在实施根据本发明的方法中，在第二步骤102中定位虚拟源VS、以及确定数字处理参数和通过扬声器恢复声音信号的后续步骤103和104被迭代地应用，虚拟源VS的位置是时间的函数。

虚拟源VS的起始位置（即对应于移动的开始）和到达位置（即对应于移动的结束）是任意定义的轨迹的任何两个点，例如起始位置对应于点P1，并且到达位置对应于点PN。

在该实施例中，虚拟源VS沿着轨迹T的位置索引IpX和移位速度Sp由以下公式给出：

[Math 9]

其中：

- t是表示时间的变量，在0至t_总之间；

- t_总表示移动总持续的时间；

- E(.) 为整数部分运算符。

这导致移位速度Sp在轨迹T的两个连续点之间随时间变化，就像恒定阶梯函数一样，并且两个点之间的距离越大，移位速度就越大。

在此，位置索引的时间变化被认为是与时间成线性关系的，但本领域技术人员将理解该线性关系可以具有更通用的形式：

[Math 10]

其中，f为任何先验函数。

应当注意的是，虽然本发明的实施方式在上文中仅用单个轨迹进行描述，但是在第一步骤101期间可以定义几个轨迹。

然后通过单独考虑每一个轨迹上的定位，在定义的一组轨迹上考虑虚拟源VS的定位。

例如，在上文的第二实施例中描述的实时声音空间化的情况下，将所有轨迹看做一个整体，在一组轨迹上执行对虚拟声源VS的位置目标VS_obj的投影，并且通过考虑最接近虚拟声源VS的位置目标VS_obj的潜在虚拟源来确定虚拟源的位置。

本发明还涉及一种用于实施根据本发明的方法的声音空间化设备。

根据本发明的声音空间化设备包括用于以下操作的装置：

- 定义一组定义轨迹T的点；

- 在轨迹T上定位虚拟源VS；

- 确定数字处理参数，这些数字处理参数被施加于扬声器广播的信号；

- 恢复声音信号。

本发明还可在听者的环境中精确地放置虚拟声源，以创建声音空间化。

使用轨迹使得本发明可适用于各种应用，特别是驾驶员辅助静态声音、作为来自高级驾驶员辅助系统的补充警报、或者沿着预定义轨迹移位的声源。

应当注意的是，虽然在上文描述的内容中，在定义轨迹的第一步骤101中定义了轨迹，但是如果需要，可以在整个方法中动态调整轨迹，实时使用本发明。

此处在2D应用框架中描述的本发明可以比照适用于三维声音空间化的背景，所实施的原理和等式类似于上文在二维应用框架中描述的原理和等式。

本领域技术人员将理解，本发明不限于本发明已经描述了的汽车领域，而是可以更普遍地适用于实施声音空间化的任何领域，例如音乐或电影。

Claims

1.一种声音空间化方法（100），包括：

- 确定（103）数字处理参数的步骤，所述数字处理参数被施加于一组至少两个扬声的声音信号，以便在期望位置再现虚拟声源（VS）；

- 通过所述扬声器恢复（104）声音信号的步骤，在该步骤期间将所述数字处理参数施加于所述声音信号；

所述声音空间化方法（100）的特征在于，该方法还包括：

- 定义由一组N个点（P1，…，PN）定义的轨迹（T）的步骤（101），所述轨迹的两个连续点通过曲线连接在一起；

- 定位步骤（102），在该步骤期间，在所述轨迹上定义该虚拟声源（VS）的期望位置。

2.根据权利要求1所述的声音空间化方法（100），其特征在于，该轨迹（T）具有折线形状，连接所述点的曲线是线段。

3.根据权利要求2所述的声音空间化方法（100），其特征在于，对该虚拟声源（VS）的定位是使用与该轨迹（T）的任何点X唯一相关联并由下式定义的位置索引IpX来执行的：

[Math 11]

其中，α为0至1之间的实数，j为1至N-1之间的整数。

4.根据权利要求1、2或3所述的声音空间化方法（100），其特征在于，该虚拟声源（VS）沿着该轨迹（T）的定位由操作员手动执行。

5.根据权利要求1、2或3所述的声音空间化方法（100），其特征在于，在该定位步骤（102）期间以如下方式定义该虚拟声源（VS）的位置：

- 通过针对该轨迹（T）的每条曲线确定在所述线段与穿过定义听者位置的点和该虚拟声源（VS）的位置目标（VS_obj）的直线之间是否存在交点，来确定在所述轨迹上该虚拟声源（VS）的位置目标（VS_obj）的一组投影图像，所述交点随后用于定义潜在虚拟声源（VSi）；

- 如果至少存在一个潜在虚拟声源（VSi），则将该虚拟声源（VS）的位置定义为与该虚拟声源（VS）的位置目标（VS_obj）的距离最小的潜在虚拟声源（VSk）。

6.根据权利要求5所述的声音空间化方法（100），其特征在于，在不存在潜在虚拟声源的情况下，执行以下动作之一：

- 将该虚拟声源（VS）定位在预先定义的默认位置，例如在该听者前方一米处；

- 将该虚拟声源（VS）定位在该轨迹（T）上的某一点，该点相对于该听者的角位置最接近该虚拟声源（VS）的位置目标（VS_obj）的角位置；

- 修改该轨迹（T），以覆盖更宽的关注区域，但包含与初始轨迹一样的点。

7.根据权利要求3所述的声音空间化方法（100），其特征在于，根据以下关系式预定义该虚拟声源位置（VS）在总移动持续时间t_总内沿着该轨迹（T）的移动：

[Math 12]

其中，t是指定时间的变量，在0至t_总之间。

8.一种用于实施根据前述权利要求中任一项所述的声音空间化方法的设备，所述设备的特征在于，该设备包括：

- 用于定义轨迹（T）的装置；

- 用于确定虚拟声源（VS）在所述轨迹上的期望位置的装置；

- 用于确定数字处理参数的装置，所属数字处理参数被施加于一组至少两个扬声器广播的声音信号，以便在期望位置产生虚拟声源（VS）；

- 用于将所述数字处理参数施加于所述声音信号的装置；

- 用于恢复已经施加了所述数字处理参数的声音信号的装置。