CN113632505A

CN113632505A - 装置、方法、声音系统

Info

Publication number: CN113632505A
Application number: CN202080023304.3A
Authority: CN
Inventors: 弗兰克·吉龙
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-03-29
Filing date: 2020-03-27
Publication date: 2021-11-09
Also published as: EP3949446A1; US11979735B2; WO2020201107A1; US20220167109A1

Abstract

本公开涉及一种装置，其包括电路，该电路被配置为控制包括至少一个虚拟扬声器和至少一个真实扬声器的扬声器布置以生成至少一个虚拟声源，其中至少一个虚拟声源是基于至少一个虚拟扬声器和至少一个真实扬声器的贡献而生成的，并且其中被配置为为用户生成声学印象的声场调制函数被用于调制由虚拟声源发射的声场，使得在预定位置处生成声学印象。

Description

装置、方法、声音系统

技术领域

本公开总体上涉及一种用于为用户生成声音的高度印象的装置、方法和声音系统。

背景技术

一般来说，已知的音频系统可能使用大量扬声器，例如，由于对硬件(如新的放大器通道和扬声器本身)的需求不断增加。

为了渲染高度印象，现在在如Dolby Atmos、DTS-X、Auro-3D以及NHK或360RA等的底部(即“负”高度印象)的格式中需要高度印象，当前的方法是使用放置在一定高度的附加扬声器、天花板反射或地板上的扬声器。这些方法需要布线和固定，并且从美学角度考虑可能不是最佳的。

其他方法，诸如声压条，通常将系统减小到正面的系统。然而，这样的系统会具有有限的最有效点，其主要位于与设备正交的轴上。

发明内容

因此，总体上期望提供一种用于提供音频输出的改善的装置和方法。

根据第一方面，本公开提供了一种装置，包括电路，该电路被配置为控制包括至少一个虚拟扬声器和至少一个真实扬声器的扬声器布置以生成至少一个虚拟声源，其中，至少一个虚拟声源是基于至少一个虚拟扬声器和至少一个真实扬声器的贡献而生成的，并且其中，被配置为为用户生成声学印象的声场调制函数被用于调制由虚拟声源发射的声场，使得在预定位置处生成声学印象。

根据第二方面，本公开提供了一种方法，包括：控制包括至少一个虚拟扬声器和至少一个真实扬声器的扬声器布置以生成至少一个虚拟声源，其中，至少一个虚拟声源是基于至少一个虚拟扬声器和至少一个真实扬声器的贡献而生成的，并且其中被配置为为用户生成声学印象的声场调制函数被用于调制由虚拟声源发射的声场，使得在预定位置处生成声学印象。

在从属权利要求、以下描述和附图中阐述了另外的方面。

附图说明

参考附图通过示例的方式来说明实施方式，其中：

图1是用于说明与关联于收听者的头部相关传递函数的角度的说明图；

图2是根据本公开的实施方式的生成虚拟声源的扬声器的系统的概览；

图3是示出了根据本公开的实施方式的不同扩展因子的坐标系图；

图4示出了在两个扬声器之间具有水平平移的虚拟扬声器的生成；

图5示出了具有头部相关传递函数的虚拟扬声器的生成；

图6示出了生成虚拟扬声器的扬声器的布置的实施方式；

图7示出了如何通过将头部相关传递函数应用于虚拟扬声器来生成虚拟高度扬声器的实施方式；

图8示出了包括扬声器、虚拟扬声器和移动虚拟声源的系统的实施方式；

图9是用于确定应用于扬声器以生成虚拟扬声器的函数的方法的图；

图10是用于生成一组虚拟扬声器的方法的图；

图11描绘了根据本公开的实施方式的用于音频系统的电子设备；

图12提供了基于数字化单极合成算法的3D音频渲染的实施方式；

图13是用于生成一组虚拟扬声器和用于移动虚拟声源的方法的图；以及

图14是根据本公开的方法的图。

具体实施方式

在参考图6及以下的实施方式进行详细描述之前，给出了一些一般性的说明。

本公开的一些实施方式涉及一种装置，包括电路，该电路被配置为控制包括至少一个虚拟扬声器和至少一个真实扬声器的扬声器布置以生成至少一个虚拟声源，其中，至少一个虚拟声源是基于至少一个虚拟扬声器和至少一个真实扬声器的贡献而生成的，并且其中被配置为为用户生成声学印象的声场调制函数被用于调制由虚拟声源发射的声场，使得在预定位置处生成声学印象。

该装置可以是任何适合于控制扬声器布置的装置，诸如处理器、放大器(诸如电子放大器，诸如单边放大器、双边放大器、反相放大器、非反相放大器、伺服放大器、线性放大器、非线性放大器、宽带放大器、射频放大器、音频放大器、阻容耦合放大器(RC)、感容耦合放大器(LC)、变压器耦合放大器、直接耦合放大器等。该装置还可以是3D音频渲染系统，诸如高保真度立体声响复制、波场合成系统、环绕声系统等。该装置(电路)可以被配置为生成信号以执行如本文所述控制，其中该控制信号可以被应用于扬声器布置等。

3D音频渲染操作可以基于波场合成，其可以用于生成给出音频点源位于预定义空间内的印象的声场。这种印象可以通过使用驱动扬声器阵列的波场合成方法来实现，从而生成虚拟声源的印象。

在一些实施方式中，3D音频渲染操作可以基于单极合成。

在一些实施方式中使用的本技术的理论背景在专利申请US 2016/0037282 A1中更详细地描述，该专利申请通过引用结合于此。

在US 2016/0037282 A1的实施方式中实施的该技术在概念上类似于波场合成，其使用有限数量的声学外壳来生成限定的声场。然而，实施方式的生成原理的基本基础是特定的，因为该合成并不是试图精确地模拟声场，而是基于最小平方方法。

根据一些实施方式，虚拟声源具有指向性图案。例如，通过叠加多个单极来实现指向性，其中该指向性可以描述扬声器在离轴角处的频率响应的变化。

该装置(例如电子设备)的电路可以包括处理器、存储器(RAM、ROM等)、存储器和/或存贮器、接口等。电路可以包括或可以与输入装置(鼠标、键盘、照相机等)、输出装置(显示器(例如液晶、(有机)发光二极管等))、扬声器等、(无线)接口等连接，如通常已知的电子设备(计算机、智能电话等)。此外，该电路可以包括或可以与用于感测静止图像或视频图像数据的传感器(图像传感器、照相机传感器、视频传感器等)、用于感测环境参数(例如，雷达、湿度、光线、温度)等连接。

该控制信号可以由该电路的任何部分生成并且可以包括电磁、电子信号、声学信号、光信号(诸如红外信号、激光信号、可见光信号等)。该控制信号可以基于或基于有线技术来应用，诸如光纤技术、电子技术等；其可以基于无线技术，诸如蓝牙、Wi-Fi、无线LAN(局域网)、红外线等。

该扬声器布置可以是多个至少两个单独的扬声器，其中这些单独的扬声器可以任意地分布在一个房间、几个房间中；一个房间外；一栋房屋外；一辆车内；一个头戴式耳机中；一台条形音箱中；一台电视机中；一台收音机中；一个声音系统中，诸如立体声系统、环绕系统、高保真度立体声响系统、3D音频渲染系统、声场生成系统等。

在一些实施方式中，该扬声器布置包括至少一个真实(物理)扬声器和/或至少一个虚拟扬声器，其中至少一个虚拟扬声器可以用已知的方法(诸如幅度平移、延迟等)与至少一个真实扬声器一起生成。该至少一个虚拟扬声器还可以用对至少一个虚拟声源的生成没有贡献的其他真实扬声器，或对虚拟声源有贡献的真实扬声器与对虚拟声源没有贡献的真实扬声器的混合来生成。

对该扬声器布置的控制可以具有以下结果：扬声器布置的至少一个单独的扬声器发出声音(或在某些情况下也使用的声音信号或声波)。声音可以在扬声器接收到例如控制信号之后或在预定时间点瞬时发出。该预定时间点在本上下文中可以是信号的一部分或至少一个单独的扬声器的固有编程的一部分。

至少一个虚拟声源的生成可以基于声场合成技术。该虚拟声源可以是声场，其给出声源位于预定义的空间中的印象。例如，使用虚拟声源可以允许生成空间受限的音频信号。虚拟声源的生成可以被认为是整个三维空间的生成虚拟扬声器的形式，包括例如在收听者后面、上面或下面。

至少一个虚拟扬声器和至少一个真实扬声器的贡献可以是由相应扬声器发出的至少一个声音信号。此外，在有多个虚拟扬声器和真实扬声器的情况下，仅多个虚拟扬声器和/或真实扬声器的子集可以有助于虚拟声源的生成，其中子集也可以是零，即，虚拟声源可以仅由真实扬声器生成等。

声场调制函数可以是任何影响声场参数的函数，诸如幅度、频率、相位、波数、增益、相位等。其可以是由电信号或声学信号传输的导致声学信号和生成的声场的干扰的函数。例如，声场调制函数可以调制信号的物理参数以使收听者产生印象，所生成的声音源于与其实际相比的另一方向。例如，如果虚拟声源的位置在收听者的前面，则应用声场调制函数可以导致收听者的声学感知：声音源于预定位置，诸如收听者的上面、下面或后面等(尽管那里没有(真实的)扬声器)。

具体地，在一些实施方式中，声场调制函数可以包括头部相关传递函数(HRTF)，其可以模拟耳廓的复合滤波效果，其中，为了简化，在一些实施方式中，使用人造耳廓以创建HRTF。HRTF本身是已知的。此外，在一些实施方式中，通过测量单独用户的耳廓的滤波或通过对多个用户的多个HRTF求平均值来获得/创建HRTF。而且，包括至少一个人造耳廓的人造(假)头部可以用于在一次或多次测量中获得HRTF。HRTF可基于创建耳廓的三维模型、计算机模拟、试错法等中的至少一个获得。

在一些实施方式中，为了简化HRTF，可以将有限脉冲响应(FIR)商滤波器应用于虚拟声源，以便创建高度感知。

在本文中，虚拟高度可以指垂直方向，其中高度可以在某个参考方向上面为正，而在某个参考方向下面为负。

FIR滤波器可以通过取高度HRTF与水平面上相同方位角处的对应HRTF之间的商导出。由于对称的原因，HRTF可以仅针对收听者的一只耳朵或模型化的头部导出，并且在对第二只耳朵进行较小修改的情况下应用。

在一些实施方式中，无限脉冲响应(HR)商滤波器可以应用于虚拟声源，以便创建高度感知。

在一些实施方式中，声场调制函数包括至少一个与高度相关的提示，其用作用于例如通过HRTF等在预定高度处生成声学印象的滤波器。

在一些实施方式中，HRTF可以指感知角度，即收听者对声音从哪个高度发出的感知，这将参考图1进行说明。

图1是用于说明与关联于收听者3的头部相关传递函数的角度的说明图。

六个箭头-60、-30、0、30、60和90指向收听者3。附图标记-60、-30、0、30、60和90表示箭头相对于平行于收听者3的观看轴线的中心水平轴线倾斜的角度，即，箭头0(-60、-30、30、60、90)具有相对于收听者3的观看轴线的0(-60、-30、30、60、90)度的角度。箭头-60、-30、0、30、60和90表示(或关联于)导致收听者3感知到声音源于与对应箭头关联的角度的HRTF，即在30(-60、-30、0、60、90)度可以理解为感知为源于该相应角度的声音。然而，本公开不限于模拟0、30、60或90度的HRTF角度，而是原则上，可以实现0度与360度之间的每隔一个角度，例如180度，模拟收听者3后面的声音等，其中负角度可以对应于正角度，例如，如通常已知的，-30度的角度可以对应于330度的正角度。

因此，在一些实施方式中，相对于收听者3的位置的角度对应于高度相关的提示，其被用作用于在预定高度处生成声学印象的滤波器。而且，在一些实施方式中，可以使用多于一个的高度相关的提示，例如用于生成多个虚拟声源。

而且，在一些实施方式中，预定高度处的声学印象对应于虚拟声源在预定高度处的定位，即收听者3(或任何其他收听者)可以具有声源位于预定高度处的声学印象。

在一些实施方式中，该电路还被配置为移动虚拟声源以改善高度感知。如上所述，该移动可以由装置通过将虚拟声源(重新)定位在与预定位置不同的位置处来生成。该移动可以被感知或生成为以预定图案、随机图案等连续，或者处于离散位置，如下面还将进一步讨论的。

在一些实施方式中，头部相关传递函数专用于扬声器布置中的单独的扬声器。用于确定头部相关传递函数的参数可以由制造商等给出，或者由校准过程确定。

在一些实施方式中，声场调制函数取决于收听者相对于虚拟声源的姿势。例如，如果期望的声学印象是声音从收听者后面生成，则声场调制函数可以是不同的函数，如果收听者面对虚拟声源或者如果虚拟声源实际上在收听者的头部后面。在后一种情况下，在一些实施方式中，声场调制函数可以不必应用于虚拟声源以生成声音源于收听者后面的声学印象，但是也可以应用为生成声音源于收听者前面的声学印象。例如，声场调制函数可以应用于虚拟声源，以便生成声音来自收听者的旁边、下面、上面等的声学印象，这也可以取决于收听者的姿势。

在一些实施方式中，声场的调制取决于收听者相对于虚拟声源的位置。例如，如果声音在离收听者一米远处生成，则在虚拟声源与收听者之间的距离是两米的情况下声场调制函数可以是不同的函数，并且例如在虚拟声源与收听者之间的距离是三米的情况下，可以是不同的函数等。

虚拟声源与收听者之间的任何其他距离都可以实现。此外，除了1米之外的任何其他声学印象距离也是可以的，例如0米、50厘米、2米等。

在一些实施方式中，该电路进一步被配置为生成另外的虚拟声源，其中另外的虚拟声源的位置取决于扬声器布置的至少一个单独的扬声器中的相对于收听者的位置的位置。例如，为了提供声学均匀性，生成位于两个扬声器之间的虚拟声源可以是有用的。在此情况下，可以生成若干虚拟声源以提供声学均匀性，使得收听者能够在扬声器布置内移动并且不固定到某一点。

在一些实施方式中，另外的虚拟声源通过水平/幅度平移来生成，由此可以创建所谓的幻象扬声器，以便填充声孔并提供声学均匀性，例如，利用矢量基幅度平移、多方向幅度平移等。

在一些实施方式中，该电路还被配置为调整信号增益以用于扬声器布置的单独的扬声器的操作。增益的调整可以基于扬声器的方向性信息。该增益可以是用于调制声场的幅度、用于仅调制由单独的扬声器发射的声音的某些频率(诸如高音频率、低音频率、中音频率等)的幅度或强度的因数或参数。

在一些实施方式中，增益的调整取决于收听者的位置与虚拟声源之间的距离。

例如，在一些实施方式中，如果收听者离虚拟声源较远(较近)，则增益可以较高(较低)。另一方面，在一些实施方式中，如果收听者离虚拟声音较近(较远)，则增益可以较高(较低)。

在后一种情况下，如果两个声源(例如，单独的扬声器或虚拟声源或单独的扬声器和虚拟声源)，尤其是在两个不同类型的扬声器(例如，亚低音扬声器和高音扬声器)中的一个比另一个更靠近收听者的情况下，更靠近收听者的一个声源的增益可以增加，以便创建收听者愉悦的声音印象。

在一些实施方式中，电路还被配置为根据单独的扬声器与虚拟声源之间的距离来控制扬声器布置的单独的扬声器。例如，如本文描述的，可以控制单独的扬声器以生成虚拟声源。然而，也可以控制单独的扬声器，使得根据单独的扬声器和虚拟声源之间的距离来调制由单独的扬声器生成的声音。例如，由单独的扬声器生成的声音的增益在到虚拟声源的短距离处降低，而在到虚拟声源的长距离处增加，或者反之亦然，而不在这方面限制本公开。此外，如本文描述的，可以根据单独的扬声器到虚拟声源的距离来调制其他参数，诸如幅度、波数等。在一些实施方式中，该电路还被配置为确定单独的扬声器生成声音以生成虚拟声源的时间点，其中该时间点可以取决于扬声器布置的单独的扬声器与收听者的位置之间的距离。如上所述，可以基于延迟来确定时间点。

一些实施方式涉及一种方法，包括：控制包括至少一个虚拟扬声器和至少一个真实扬声器的扬声器布置以生成至少一个虚拟声源，其中至少一个虚拟声源是基于至少一个虚拟扬声器和至少一个真实扬声器的贡献而生成的，并且其中被配置为为用户生成声学印象的声场调制函数被用于调制由虚拟声源发射的声场，使得在预定位置处生成声学印象，如本文所述。

在一些实施方式中，在如上所述的装置上或通过任何其他装置、设备、处理器、电路等执行该方法。

在一些实施方式中，如本文所述，声场调制函数包括头部相关传递函数。

在一些实施方式中，声场调制函数包括至少一个高度相关的提示，如本文所述，该提示被用作用于在预定高度处生成声学印象的滤波器。

在一些实施方式中，在预定高度处的声学印象对应于另一虚拟声源在预定高度处的定位，如本文所述。

在一些实施方式中，该方法还包括移动另外的虚拟声源，如本文所述。

在一些实施方式中，头部相关传递函数专用于扬声器布置的单独的扬声器，如本文所述。

在一些实施方式中，通过对多个头部相关传递函数进行平均来获得头部相关传递函数，其中多个头部相关传递函数中的每一个对应于单独的收听者的专用头部相关传递函数，如本文所述。

在一些实施方式中，头部相关传递函数是通过测量单独的用户的单独的头部相关传递函数而获得的，如本文所述。

在一些实施方式中，在水平位置处至少一个虚拟声源的生成包括声场的幅度平移和/或延迟声场，如本文所述。

在一些实施方式中，声场调制函数取决于收听者相对于虚拟声源的姿势，如本文所述。

在一些实施方式中，声场的调制取决于收听者相对于虚拟声源的位置，如本文所述。

在一些实施方式中，该方法包括根据扬声器布置的至少一个单独的扬声器相对于收听者的位置的位置来生成另外的虚拟声源，如本文所述。

在一些实施方式中，通过水平平移来生成另外的虚拟声源，如本文所述。

在一些实施方式中，该方法包括调整信号增益以用于扬声器布置的单独的扬声器的操作，如本文所述。

在一些实施方式中，增益的调整取决于收听者的位置与虚拟声源之间的距离，如本文所述。

在一些实施方式中，该方法包括根据单独的扬声器与虚拟声源之间的距离来控制扬声器布置的单独的扬声器，如本文所述。

在一些实施方式中，该方法包括根据扬声器布置的单独的扬声器与收听者的位置之间的距离来确定单独的扬声器生成声音以生成虚拟声源的时间点，如本文所述。

在一些实施方式中，本文所述的方法还实现为计算机程序，当在计算机和/或处理器上执行时，该计算机程序使得计算机和/或处理器执行该方法。在一些实施方式中，还提供了一种非暂时性计算机可读记录介质，在其中存储有计算机程序产品，该计算机程序产品在由诸如上述处理器的处理器执行时使得执行本文所述的方法。

在下文中，给出了基本实施方式的概览，其中参考图2、图3和图4说明水平扬声器的生成，参考图5说明虚拟高度扬声器的生成。

图2是包括虚拟声源2和包括扬声器4、5、6、7的扬声器布置的系统100的概览，其中为了说明的目的描绘了收听者3。

箭头32、34、35、36、37、42、52、62、72指示矢量，其中箭头的附图标记指示相应矢量的开始和结束，使得示例性矢量XY，其中X和Y选自附图标记库2、3、4、5、6、7在具有附图标记X的元件处开始并且在具有附图标记Y的元件处结束。例如，箭头32示出了在用户3处开始并在虚拟声源2处结束的矢量，箭头35示出了在用户3处开始并在扬声器5处结束的矢量，箭头62示出了在扬声器6处开始并在虚拟声源2处结束的矢量等。

虚拟声源2被描绘为扩展的对象。然而，这仅仅是为了说明的目的，并且在本实施方式中，假设虚拟声源是点源。因此，矢量32、42、52、62、72被认为在同一点结束，尽管它们被描绘为在不同点结束。

此外，为了说明的目的，描绘了元件2至7的二维布置。然而，该实施方式不限于二维布置。通常，应该考虑三维布置。

此外，为了说明的目的，仅描绘了一个虚拟声源。然而，本公开不限于一个虚拟声源。其他实施方式可以涉及大于1的任何数量的虚拟声源。

因此，在本实施方式中，假设多个虚拟声源。

扬声器的数量不限于4个。其还可以是2、3或大于4的任何数。

为了说明该公式，在下文中描述变量以及如何示例性地检索它们。

首先，通过确定相关矢量X2的范数来确定虚拟声源2与各自的扬声器4至7之间的距离，其中在这种情况下X是{4，5，6，7}的元素，从而得出距离r：

其中，指数n指多个虚拟声源中的虚拟声源2；l指扬声器布置的扬声器4至7；m指虚拟声源2的矢量；X指扬声器布置的扬声器4至7的矢量；指数x，y和z分别指在三维空间中的矢量的x，y和z坐标。

例如，r_2,5可以指虚拟声源2与扬声器5之间的距离；m_2,x可以指虚拟声源2的x坐标；x_5,y可以指扬声器5的y坐标等。

第二，根据等式确定每个扬声器相对于虚拟声源的增益G

然而，本公开并不限于以这种方式确定增益，任何其他确定增益的方式都是可能的。例如，增益值可以是尺寸较小的特性或具有其他尺寸。根据例如扬声器4至7的扬声器类型，还可以使用与相同系统中的其他扬声器4至7不同的另一种确定增益的方式。

第三，根据等式确定每个扬声器4至7相对于虚拟声源2的延迟D

其中，c₀是指声音快度，T_s是指采样周期。然而，本公开并不限于以这种方式确定延迟，任何其他确定延迟的方式都是可能的。例如，延迟可以不是舍入值，延迟可以是时间、空间等的维度。根据例如扬声器4至7的扬声器类型，还可以使用与相同系统中的其他扬声器4至7不同的另一种确定延迟的方式。

可以针对每个扬声器4至7以及针对每个声源2反复执行这前三个步骤。然而，它们可以仅针对一个扬声器(例如，扬声器4)和一个虚拟声源(例如，虚拟声源2)来执行，或者针对扬声器4至7的子集和声源2的子集来执行。这前三个步骤也可以以另外的顺序执行，例如交换第二和第三步骤，而不在这方面限制本公开。

第四步骤可以包括针对每个虚拟声源2确定虚拟声源2(例如，n＝2)与扬声器布置的扬声器4至7之间的最小距离r_n,min和最大距离r_n,max。

第五步骤可以是用公式计算扩展(spread，传播)因子

其中σ_n是扩展系数。在一些实施方式中，扩展系数可以具有为正值的特性。

第六步骤可以是应用于γ_n,l的条件，该条件包括：

如果γ_n，l＞0，则G_n，l＝γ_n，l*G_n，l，否则G_n，l＝0(5)

第五和第六步骤可以针对每个扬声器4至7或针对单独的扬声器4或针对扬声器4至7的扬声器的子集反复执行。

对于扩展系数σ_n＝1，结果是扩展因子γ_n,l从γ_n,min＝1到γ_n,max＝0在最近的扬声器γ_n,min和最远的γ_n,max之间线性减小。具有σ_n→∞的极端情况的较大扩展系数收敛于恒等式(γ_n,l＝1)，而具有σ_n＝0的极端情况的较小扩展系数增加了方向性(γ_n,l→-∞)。在后一种情况下，只有最靠近来源的扬声器发出声音(γ_n,min＝1，γ_n,l≠min→-∞,G_n,l≠min＝0)。

图3是示出作为归一化距离(横坐标)的函数的不同类型的扩展因子γ_n,l(纵坐标)的坐标系200的图，其中γ_min对应于0的距离，γ_max对应于1的距离。

这些函数包括恒等函数201、线性减少函数202，在扩展系数为0.5的情况下的指示函数203，以及心形函数204。这些函数不限于如上下文中所显示的函数。还可以导出并实现用于扩展因子的任何其他函数，诸如全向函数、定向函数、超定向函数、双向函数、8字形函数、次心形函数、心形函数、单向函数、超心形函数、超心形定向函数等。

图4示出了生成具有(真实)扬声器4和5的虚拟扬声器300。虚拟扬声器300模拟收听者3左边的扬声器。

虚拟扬声器300通过水平平移来生成，即，将增益和延迟应用于由扬声器4和5发出的声音，从而创建虚拟声源，如已经参考图1和图2所说明的。

图5示出了利用扬声器4和6生成虚拟扬声器301。虚拟扬声器301模拟收听者3上面的虚拟扬声器。虚拟扬声器301也可以放置在收听者3下面、收听者3后面或任何其他位置。虚拟扬声器301通过将相关联的头部相关传递函数应用于由扬声器4和6发射的声音来生成，使得在收听者3的位置处感知的声音引起预定义的印象(其与对应的头部相关传递函数相关联)。具体地，对虚拟声源应用有限脉冲响应(FIR)商滤波器，以生成收听者3的高度感知。

图6示出了扬声器4、5、6、7的安装350的实施方式。扬声器4至7被布置在由坐标系351示出的任意空间中。

扬声器4至7通过水平平移；通过计算增益、延迟和应用扩展因子来生成多个虚拟声源，本文也称为虚拟扬声器8、9、10、11、12、13和14，如本文所述。通过水平平移生成的虚拟扬声器也称为幻象扬声器。幻象扬声器8至14的主要更能是提供所创建的声场的空间均匀性，尤其是在出现“声孔”的地方，诸如幻象扬声器8、11和13所放置的地方。通过提供空间均匀性，诸如图1、2、3或4的收听者3的收听者能够在空间的不同位置而不是仅在一个最有效点感知相同的声学印象。

此外，通过将相关的头部相关传递函数(HRTF)应用于幻象扬声器9、10、12和14，扬声器4至7在放置扬声器4至7的水平面上面的位置处生成多个虚拟扬声器。以这种方式生成的多个虚拟扬声器也被称为虚拟高度扬声器15、16、17、18。假设收听者位于四个扬声器4至7的中心，虚拟高度扬声器模拟声音以60度的角度从上面发出的声学印象。

扬声器4至7通过将HRTF应用于在四个扬声器4至7的中心处的虚拟声源来生成另一个虚拟扬声器19(也称为顶部虚拟高度扬声器)，模拟声音以90度的角度从假设在四个扬声器4至7的中心的收听者上面发出的声学印象，即在收听者头部上面。

图6的实施方式的原理还可以应用于扬声器的数量低于或高于4个的情况，以及不同数量的幻象扬声器、虚拟高度扬声器和顶部虚拟高度扬声器。例如，在另一个实施方式中，可以存在在市面上的系统中常见的七(五)个扬声器。利用生成幻象扬声器、虚拟高度扬声器(也在不同于60度的角度下)和顶部虚拟高度扬声器的原理，可以让空间任意充满声音。

图7示出了本公开的系统500的实施方式，通过将HRTF应用于虚拟扬声器501而生成的虚拟扬声器501和两个虚拟扬声器502和503，其中为了说明的目的描绘了收听者3。

虚拟扬声器502模拟源于收听者3的右参考方向的声音，而虚拟扬声器503模拟源于收听者3的左参考方向的声音。

图8示出了本公开的系统510的实施方式。系统510包括通过将HRTF商滤波器应用于扬声器512和513而生成的虚拟声源511、两个扬声器512和513以及两个虚拟扬声器514和515，其中出于说明的目的描绘了收听者3。虚拟声源511正在移动(由箭头指示)，从而影响收听者对源于虚拟声源的声音的方向感知。虚拟声源的移动影响两个虚拟扬声器514和515生成的声音。

当虚拟声源511移动时，HRTF商滤波器以由虚拟声源511的当前位置产生的不同增益和延迟被激励，从而向收听者3提供不同的双耳高度提示。在一些实施方式中，移动的幅度和速度变化可以是可变的并且取决于虚拟扬声器的数量。在一些实施方式中，运动的幅度和速度变化可以是随机的，而在其他实施方式中可以实现空间连续性。在其他实施方式中，虚拟声源511可以以圆盘或圆形的形状围绕中心位置移动，例如模拟头部旋转。在其他实施方式中，可以从预定义的位置的表中选择虚拟声源511的位置。

例如，在该实施方式中，可以通过移动单极源511来模拟收听者3的头部的移动。还可以模拟对象对收听者3的移动的感知，例如鸟的飞行等。

参考图9描述了用于控制扬声器布置的方法519。该方法基于单极合成算法520，如将参考图11所描述的。

在521、522和523处，说明顶部虚拟高度扬声器、虚拟高度扬声器和幻象扬声器的位置，如参考图6所描述的。

另外，在521处确定顶部虚拟高度扬声器的确定位置的HRTF商，并且在522处确定虚拟高度扬声器的确定位置的HRTF商。

在524处，根据521至523的所确定的位置来确定延迟。

在525处，根据521和523的所确定的位置来确定增益。

在526处，将在520至525处所确定的参数应用于单独的扬声器527、528、529、530。

在该实施方式中，用于生成顶部虚拟高度扬声器的相关延迟和增益被应用于所有单独的扬声器527至530、用于生成虚拟高度扬声器的相关延迟和增益被应用于扬声器528、用于生成幻象扬声器的相关延迟和增益被应用于扬声器529和530。这意味着顶部虚拟高度扬声器由所有扬声器527至530生成、虚拟高度扬声器由扬声器528和529生成、幻象扬声器由扬声器529和530生成。

在其他实施方式中，顶部虚拟高度扬声器、虚拟高度扬声器和幻象扬声器由扬声器527至530的任何合适的组合生成。

其他实施方式提供生成多于四个扬声器或少于四个扬声器同时生成虚拟扬声器的其他组合。

在下文中，参考图10示出的流程图描述用于生成一组虚拟扬声器的方法540。

在541处，确定扬声器布置的扬声器的位置。

在542处，根据所确定的541的位置来确定虚拟扬声器的位置。

在543处，通过水平平移(即，计算相关联的延迟、增益和扩展因子)来生成幻象扬声器，如本文所述。

在544处，通过将HRTF应用于幻象扬声器和/或扬声器来生成虚拟高度扬声器。

在545处，通过将HRTF应用于幻象扬声器和/或扬声器来生成顶部虚拟高度扬声器作为虚拟声源。

在下文中参考图11所述的装置的实施方式，图11示出了实现为音频系统400(或者可选地实现为电子设备401)的装置的框图。该装置可以包括在汽车、智能电话、音响系统等中。

音频系统400包括连接到麦克风布置410、扬声器布置411、用户接口412和传感器413的电子设备401。在本实施方式中，电子设备401是3D声音渲染系统。

电子设备401具有作为处理器的CPU 402、数据存贮器403和数据存储器404(这里是RAM)。

数据存储器404经布置临时存储或高速缓存数据和/或计算机指令以供处理器402处理。

数据存贮器403用于存储从例如麦克风布置410获得的记录传感器数据。

电子设备401被配置为执行用于3D音频渲染操作的软件，其几乎将声源放置在房间内部的任何地方，包括收听者后面、上面或下面，诸如图1的收听者3。

电子设备401具有WLAN接口405、蓝牙接口406和以太网接口407。这些接口405、406、407用作与外部设备进行数据通信的I/O接口。

例如，可以通过蓝牙接口406和/或WLAN接口405将智能电话连接到3D声音渲染系统。具有以太网、WLAN或蓝牙连接的附加扬声器、麦克风和视频照相机可以经由这些无线/有线接口405、406和407耦合到电子设备401。

例如，麦克风布置410可以由分布在收听者周围的一个或多个麦克风组成。

用户接口412连接到处理器402。用户接口412充当人机接口并且允许管理员与音频系统400之间的对话。

传感器413连接到处理器402。传感器413包括温度传感器和视频照相机。在其他实施方式中，传感器包括GPS传感器或其他定位传感器，和/或加速度传感器等。传感器413被配置为获得一个或多个收听者的存在和位置以及收听者的头部位置和定向。而且，传感器413被配置为获得扬声器布置411的位置和定向。这些视频照相机可以分布在预定义的空间上，或者可以使用单独照相机来获得图像。

在一些实施方式中，这些传感器还包括放置在用户的至少一只耳朵中的至少一个外部麦克风和/或被配置为获取用户的至少一只耳朵的至少一张照片的照相机，以至少确定用于确定HRTF的参数。

音频系统400借助于麦克风阵列410接收来自扬声器布置411的扬声器和至少一个虚拟声源(例如，虚拟声源2，图1)的音频数据，以便监测所生成的虚拟声源(例如，虚拟声源2，图1)，并且如果需要的话，调整扬声器布置411以用于影响所生成的虚拟声源。

在一些实施方式中，实现基于数字化单极合成算法的3D音频渲染，在下文中参考图12所述。

在通过引用并入本文的专利申请US 2016/0037282 A1中更详细地描述了在一些实施方式中使用的本技术的理论背景。

在US 2016/0037282 A1的实施方式中实现的该技术在概念上类似于波场合成，其使用有限数量的声学外壳来生成限定的声场。然而，实施方式的生成原理的基本基础是特定的，因为该合成不是试图精确地模拟声场，而是基于最小平方方法。

将目标声场模型化为放置在限定目标位置处的至少一个目标单极。在一个实施方式中，目标声场模型化为一个单独目标单极。在其他实施方式中，将目标声场模型化为放置在相应的限定目标位置处的多个目标单极。例如，每个目标单极可以表示包括在位于空间内的特定位置处的一组多个噪声消除源中的噪声消除源。目标单极的位置可以正在移动。例如，目标单极可以适应待衰减的噪声源的移动。如果使用多个目标单极来表示目标声场，则如下所述的基于一组限定的合成单极来合成目标单极的声音的方法可以独立地应用于每个目标单极，并且可以将针对每个目标单极获得的合成单极的贡献相加，以重建目标声场。

源信号x(n)被馈送到由z^-np标记的延迟单元和放大单元a_P，其中p＝1，…，N为合成目标单极信号所使用的各个合成单极的指数。根据该实施方式的延迟和放大单元可以应用参考US 2016/0037282 A1的等式(117)来计算用于合成目标单极信号的结果信号y_p(n)＝s_p(n)。所得到的信号S_P(n)被功率放大并馈送到扬声器S_p。

在该实施方式中，因此以源信号x的延迟和放大部件的形式执行合成。

根据本实施方式，合成单极指数p的延迟n_P对应于目标单极r_o与发生器r_P之间的欧几里得距离r＝R_p0＝|r_p-r_o|的声音传播时间。

此外，根据本实施方式，放大系数与距离r＝R_P0成反比。

在本系统的替代实施方式中，可以使用根据参考US 2016/0037282 A1的等式(118)的经修改的放大因数。

图13示出了根据本公开的实施方式的方法600。通常，方法600基于方法540，如本文所述。因此，省略对附图标记541至545的重复说明。

在545之后，方法600还包括在546中移动虚拟声源。在该实施方式中，该移动是虚拟声源的振荡移动，使得收听者更加自然，并且因此改善了由顶部虚拟高度扬声器发出的声音的(高度)感知。

图14示出了用于控制根据本公开的扬声器布置的方法700。

在701中，该方法包括控制包括虚拟扬声器和真实扬声器的扬声器布置以生成至少一个虚拟声源，其中基于虚拟扬声器和真实扬声器的贡献来生成至少一个虚拟声源，并且其中被配置为为用户生成声学印象的声场调制函数被用于调制由虚拟声源发射的声场，使得在预定位置处生成声学印象，如本文所述。

在该实施方式中，声场调制函数包括如本文所述的与头部相关传递函数。该头部相关传递函数还包括高度相关的提示，该高度相关的提示被用作用于在预定高度处生成该声学印象的滤波器。这对应于虚拟声源在预定高度处的定位，如本文所述。而且，头部相关传递函数特定于扬声器布置的单独的扬声器。

如本文已经讨论的，在一些实施方式中，头部相关传递函数是通过测量用户或假头部的单独的头部相关传递函数来获得的。然而，在该实施方式中，通过对多个(已知的)头部相关传递函数进行平均来获得头部相关传递函数，其中多个头部相关传递函数中的每一个对应于单独的收听者的专用头部相关传递函数。

此外，在水平位置处至少一个虚拟声源的生成包括声场的幅度平移和延迟声场(中的至少一个)。

在702中，该方法还包括移动虚拟声源，如本文所述。

在703中，该方法还包括调整信号增益以用于扬声器布置的单独的扬声器的操作，如本文所述。

应当认识到，这些实施方式描述了具有方法步骤的示例性顺序的方法。然而，给出方法步骤的特定顺序仅用于说明目的，不应解释为具有约束力。例如，可以交换图9的实施方式中的524和525的顺序。此外，可以交换图10的实施方式中543、544和545的顺序。方法步骤的顺序的其他变化对于本领域技术人员是显而易见的。

请注意，将电子设备划分为单元403至407仅用于说明目的，并且本公开不限于特定单元中函数的任何特定划分。例如，控制401可以由各自的编程处理器、现场可编程门阵列(FPGA)等来实现。

如果没有另外说明，本说明书中描述的和所附权利要求书中要求保护的所有单元和实体可以例如在芯片上实现为集成电路逻辑，并且如果没有另外说明，由这样的单元和实体提供的函数可以通过软件来实现。

就至少部分地使用软件控制的数据处理装置来实现上述公开的实施方式而言，应当理解，提供这种软件控制的计算机程序以及提供这种计算机程序的传输、存贮或其他介质被设想为本公开的各方面。

注意，也可以如下所述地配置本技术。

(1)一种装置，包括电路，该电路被配置为控制包括至少一个虚拟扬声器和至少一个真实扬声器的扬声器布置以生成至少一个虚拟声源，其中，至少一个虚拟声源是基于至少一个虚拟扬声器和至少一个真实扬声器的贡献而生成的，并且其中被配置为为用户生成声学印象的声场调制函数被用于调制由虚拟声源发射的声场，使得在预定位置处生成声学印象。

(2)根据(1)所述的装置，其中，声场调制函数包括头部相关传递函数。

(3)根据(1)或(2)所述的装置，其中，声场调制函数包括至少一个高度相关的提示，其被用作用于在预定高度处生成声学印象的滤波器。

(4)根据(1)至(3)中任一项所述的装置，其中，在预定高度处的声学印象对应于虚拟声源在预定高度处的定位。

(5)根据(1)至(4)中任一项所述的装置，其中，该电路进一步被配置为移动虚拟声源以改善高度感知。

(6)根据(1)至(5)中任一项所述的装置，其中，头部相关传递函数专用于扬声器布置的单独的扬声器。

(7)根据(1)至(6)中任一项所述的装置，其中，头部相关传递函数是通过对多个头部相关传递函数进行平均值而获得的，其中，多个头部相关传递函数中的每一个对应于单独的收听者的单独的头部相关传递函数。

(8)根据(1)至(7)中任一项所述的装置，其中，头部相关传递函数通过测量单独的用户的单独的头部相关传递函数而获得。

(9)根据(1)至(8)中任一项所述的装置，其中，在水平位置处至少一个虚拟声源的生成包括声场的幅度平移和延迟声场中的至少一个。

(10)根据(1)至(9)中任一项所述的装置，其中，该电路进一步被配置为调整信号增益以用于扬声器布置的单独的扬声器的操作。

(11)一种方法，包括：

控制包括至少一个虚拟扬声器和至少一个真实扬声器的扬声器布置以生成至少一个虚拟声源，其中，至少一个虚拟声源是基于至少一个虚拟扬声器和至少一个真实扬声器的贡献而生成的，并且其中被配置为为用户生成声学印象的声场调制函数被用于调制由虚拟声源发射的声场，使得在预定位置处生成声学印象。

(12)根据(11)所述的方法，其中，声场调制函数包括头部相关传递函数。

(13)根据(11)或(12)中任一项所述的方法，其中，声场调制函数包括至少一个高度相关的提示，其被用作用于在预定高度处生成声学印象的滤波器。

(14)根据(11)至(13)中任一项所述的方法，其中，在预定高度处的声学印象对应于虚拟声源在预定高度处的定位。

(15)根据(11)至(14)中任一项所述的方法，进一步包括移动虚拟声源以改善高度感知。

(16)根据(11)至(15)中任一项所述的方法，其中，头部相关传递函数专用于扬声器布置的单独的扬声器。

(17)根据(11)至(16)中任一项所述的方法，其中，头部相关传递函数通过对多个头部相关传递函数进行平均值而获得，其中，多个头部相关传递函数中的每一个对应于单独的收听者的专用头部相关传递函数。

(18)根据(11)至(17)中任一项所述的方法，其中，头部相关传递函数是通过测量单独的用户的单独的头部相关传递函数而获得的。

(19)根据(11)至(18)中任一项所述的方法，其中，在水平位置处至少一个虚拟声源的生成包括声场的幅度平移和延迟声场中的至少一个。

(20)根据(11)至(19)中任一项所述的方法，进一步包括：

调整信号增益以用于扬声器布置的单独的扬声器的操作。

(21)一种计算机程序，包括程序代码，当在计算机上执行该程序代码时，使计算机执行根据(11)至(20)中任一项所述的方法。

(22)一种非暂时性计算机可读记录介质，存储有计算机程序产品，其在由处理器执行时使得执行根据(11)至(20)中任一项所述的方法。

Claims

1.一种装置，包括电路，所述电路被配置为控制包括至少一个虚拟扬声器和至少一个真实扬声器的扬声器布置以生成至少一个虚拟声源，其中，所述至少一个虚拟声源是基于所述至少一个虚拟扬声器和所述至少一个真实扬声器的贡献而生成的，并且其中被配置为为用户生成声学印象的声场调制函数被用于调制由所述虚拟声源发射的声场，使得在预定位置处生成所述声学印象。

2.根据权利要求1所述的装置，其中，所述声场调制函数包括头部相关传递函数。

3.根据权利要求1所述的装置，其中，所述声场调制函数包括至少一个高度相关的提示，其被用作用于在预定高度处生成所述声学印象的滤波器。

4.根据权利要求3所述的装置，其中，在预定高度处的所述声学印象对应于所述虚拟声源在所述预定高度处的定位。

5.根据权利要求1所述的装置，其中，所述电路进一步被配置为移动所述虚拟声源以改善高度感知。

6.根据权利要求2所述的装置，其中，所述头部相关传递函数专用于所述扬声器布置中的单独的扬声器。

7.根据权利要求2所述的装置，其中，所述头部相关传递函数是通过对多个头部相关传递函数进行平均而获得的，其中，所述多个头部相关传递函数中的每一个对应于单独的收听者的单独的头部相关传递函数。

8.根据权利要求2所述的装置，其中，所述头部相关传递函数是通过测量单独的用户的单独的头部相关传递函数而获得。

9.根据权利要求1所述的装置，其中，在水平位置处所述至少一个虚拟声源的生成包括所述声场的幅度平移和延迟所述声场中的至少一个。

10.根据权利要求1所述的装置，其中，所述电路进一步被配置为调整信号增益以用于所述扬声器布置的单独的扬声器的操作。

11.一种方法，包括：

控制包括至少一个虚拟扬声器和至少一个真实扬声器的扬声器布置以生成至少一个虚拟声源，其中，所述至少一个虚拟声源是基于所述至少一个虚拟扬声器和所述至少一个真实扬声器的贡献而生成的，并且其中被配置为为用户生成声学印象的声场调制函数被用于调制由所述虚拟声源发射的声场，使得在预定位置处生成所述声学印象。

12.根据权利要求11所述的方法，其中，所述声场调制函数包括头部相关传递函数。

13.根据权利要求11所述的方法，其中，所述声场调制函数包括至少一个高度相关的提示，其被用作用于在预定高度处生成所述声学印象的滤波器。

14.根据权利要求13所述的方法，其中，在预定高度处的所述声学印象对应于所述虚拟声源在所述预定高度处的定位。

15.根据权利要求11所述的方法，进一步包括移动所述虚拟声源以改善高度感知。

16.根据权利要求12所述的方法，其中，所述头部相关传递函数专用于所述扬声器布置中的单独的扬声器。

17.根据权利要求12所述的方法，其中，所述头部相关传递函数通过对多个头部相关传递函数进行平均而获得，其中，所述多个头部相关传递函数中的每一个对应于单独的收听者的专用头部相关传递函数。

18.根据权利要求12所述的方法，其中，所述头部相关传递函数是通过测量单独的用户的单独的头部相关传递函数而获得的。

19.根据权利要求11所述的方法，其中，在水平位置处所述至少一个虚拟声源的生成包括所述声场的幅度平移和延迟所述声场中的至少一个。

20.根据权利要求11所述的方法，进一步包括调整信号增益，以用于所述扬声器布置的单独的扬声器的操作。