CN115668986A - 用于房间校正和均衡的多维自适应传声器-扬声器阵列集的系统、设备和方法 - Google Patents

用于房间校正和均衡的多维自适应传声器-扬声器阵列集的系统、设备和方法 Download PDF

Info

Publication number
CN115668986A
CN115668986A CN202080101091.1A CN202080101091A CN115668986A CN 115668986 A CN115668986 A CN 115668986A CN 202080101091 A CN202080101091 A CN 202080101091A CN 115668986 A CN115668986 A CN 115668986A
Authority
CN
China
Prior art keywords
ppl
audio
speakers
microphones
listening environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080101091.1A
Other languages
English (en)
Inventor
Z.R.哈塔布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN115668986A publication Critical patent/CN115668986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Abstract

在至少一个实施方案中，提供了一种音频系统。所述音频系统包括：多个扬声器；多个传声器；以及音频控制器。所述多个扬声器在收听环境中传输音频信号。所述多个传声器检测所述收听环境中的所述音频信号。所述至少一个音频控制器被配置为在所述音频信号通过所述多个扬声器中的第一扬声器回放时确定所述音频信号的第一心理声学感知响度(PPL)，并且在所述音频信号由所述多个传声器中的第一传声器感测到时确定所述音频信号的第二PPL。所述至少一个音频控制器被进一步配置为至少基于所述第一PPL和所述第二PPL将所述多个扬声器中的所述第一扬声器映射到所述多个传声器中的所述第一传声器。

Description

用于房间校正和均衡的多维自适应传声器-扬声器阵列集的 系统、设备和方法
技术领域
本文所公开的方面大体可涉及用于房间校正和房间均衡的多维自适应传声器-扬声器阵列集的系统、设备和方法。一方面，所公开系统、设备和/或方法可根据基于人类声音和心理声学感知的标准将收听室映射到传声器和扬声器阵列集中。这些方面和其他方面将在下文更详细地论述。
背景技术
当声音由一个或多个扬声器再现时，对期望听觉错觉的感知会被收听环境修改。声音再现系统还可能引入非期望人为现象。房间响应均衡(RRE)旨在通过基于房间响应的一个或多个测量结果应用先进数字信号处理技术来设计均衡器来改进房间中的声音再现。各种已建立技术可用于解决RRE问题，包括同态滤波、线性预测编码(LPC)、最小二乘优化、频域反卷积、和多输入/多输出逆定理(MINT)解决方案。通常采用各种预处理方法来改进RRE技术，诸如非均匀频率分辨率、复平滑、频率弯折、Kautz滤波器和多速率滤波器。当前房间校正和均衡技术可分类为具有固定或自适应房间均衡器的单位置或多位置监测。随着支持更多功能，它们的复杂性可能会指数级增加。因此，此类系统可能成为在实时处理器上成功实施的障碍。另外，这些解决方案可能不利用心理声学，所述心理声学涉及基于人类感知各种声音的方式来研究声音感知和听力学。
当前扬声器-传声器阵列集映射技术依赖于邻近分析来确定给定收听位置上的有影响扬声器。换言之，扬声器基于其与收听区域内传声器的物理距离映射到收听区域。这些技术在小封闭空间(如车厢)中效率低下，在小封闭空间处大量扬声器可能变得与多于一个收听位置同等接近，从而增加了计算复杂性并降低了房间均衡的益处。再者，邻近分析可能会排除有影响扬声器，这些扬声器距收听位置超出给定距离。
发明内容
在至少一个实施方案中，提供了一种音频系统。所述音频系统包括：多个扬声器；多个传声器；以及音频控制器。所述多个扬声器在收听环境中传输音频信号。所述多个传声器检测所述收听环境中的所述音频信号。所述至少一个音频控制器被配置为在所述音频信号通过所述多个扬声器中的第一扬声器回放时确定所述音频信号的第一心理声学感知响度(PPL)，并且在所述音频信号由所述多个传声器中的第一传声器感测到时确定所述音频信号的第二PPL。所述至少一个音频控制器被进一步配置为至少基于所述第一PPL和所述第二PPL将所述多个扬声器中的所述第一扬声器映射到所述多个传声器中的所述第一传声器。
在至少一个实施方案中，提供了一种音频系统。所述音频系统包括：多个扬声器；多个传声器；以及至少一个音频控制器。所述多个扬声器被配置为在收听环境中传输音频信号。所述传声器中的每一个定位在所述收听环境中的相应收听位置处。所述多个传声器被配置为检测所述收听环境中的所述音频信号。所述至少一个音频控制器被配置为确定所述多个扬声器中的每个扬声器的第一心理声学感知响度(PPL)并且确定所述多个传声器中的每个传声器的第二PPL以采用自适应过程来均衡所述收听环境中的所述音频信号。
在至少一个实施方案中，提供了一种采用自适应过程来均衡收听环境中的音频信号的方法。所述方法包括：通过多个扬声器在收听环境中传输音频信号；以及通过定位在收听环境中的多个传声器检测所述收听环境中的所述音频信号。所述方法包括：确定所述多个扬声器中的每个扬声器的第一心理声学感知响度(PPL)；以及确定所述多个传声器中的每个传声器的第二PPL，以基于所述第一PPL和所述第二PPL采用自适应过程来均衡所述收听环境中的所述音频信号。
附图说明
在所附权利要求中具体地指出了本公开的实施方案。然而，通过结合附图参考以下详细描述，各种实施方案的其他特征将变得更加明显并且得到最好的理解，在附图中：
图1示出了用于为二维任意传声器和扬声器房间阵列提供音频的系统；
图2示出了根据一个实施方案的用于为二维传声器和扬声器房间阵列提供音频的系统；
图3示出了根据一个实施方案的用于执行校准以将一个或多个扬声器映射到一个或多个传声器的方法；
图4示出了根据一个实施方案的用于在图3的校准方法期间将扬声器分配给传声器的系统；
图5示出了根据一个实施方案的用于执行用于房间校正和均衡的自适应运行时过程的系统；并且
图6示出了根据一个实施方案的用于为图5的房间校正和均衡系统执行自适应运行时过程的方法。
具体实施方式
根据需要，本文公开了本发明的详细实施方案；然而，应当理解的是，所公开的实施方案仅仅是可以各种和替代形式体现的本发明的示例。附图不一定按比例绘制；一些特征可能被放大或最小化以示出特定部件的细节。因此，本文所公开的特定结构细节和功能细节不应被解释为是限制性的，而是仅仅作为教导本领域技术人员以不同方式运用本发明的代表性基础。
应当认识到，本文所公开的控制器可包括各种微处理器、微控制器、数字信号处理器(DSP)、集成电路、存储器装置(例如，闪存、随机存取存储器(RAM)、只读存储器(ROM)、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或它们的其他合适的变型)以及彼此相互协作以执行本文所公开的一个或多个操作的软件。此外，所公开的此类控制器利用一个或多个微处理器来执行以非暂时性计算机可读介质体现的计算机程序，所述计算机程序被编程为执行任意数量的所公开的功能。此外，如本文所提供的一个或多个控制器包括外壳和定位在外壳内的各种数量的微处理器、集成电路和存储器装置((例如，闪存、随机存取存储器(RAM)、只读存储器(ROM)、电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))。所公开的一个或多个控制器还包括用于分别从本文所论述的其他基于硬件的装置接收数据和向其他基于硬件的装置传输数据的基于硬件的输入和输出。
为在封闭空间(诸如例如车辆车厢)内获得成功的沉浸式和高保真收听体验，房间均衡或校正可能是必需的。除其他事项之外，房间均衡(RE)的过程涉及补偿不想要的房间声音人为现象，诸如早期反射、混响反射、周围材料性质和扬声器缺陷。再者，RE可以以固定方式或以自适应方式执行。在固定RE中，最初执行校准，并且在校准之后计算和使用滤波器系数，几乎没有更新。在自适应RE中，最初执行校准以确定一些初始条件，此后执行运行时自适应以更新滤波器系数以实时跟踪变化的房间条件。
大多数房间封闭空间被认为是弱静止环境。例如，房间条件作为房间几何形状(即家具、固定设备、行李等)、房间容量(即人数、宠物数等)和房间环境(即温度、湿度等)的函数而变化。因此，可能有必要使RE滤波器系数适应这些变化的条件以提高性能。
本文所公开的方面基于人类对声音的感知(例如，心理声学)将收听室映射到传声器和扬声器阵列集中。在此初始校准阶段之后，运行时过程不断地更新均衡滤波器系数以适应房间不断变化的条件。所公开的技术涉及人类感知性质并且足够灵活以根据应用实现这些操作模式。特别地，所公开的技术可将任意数量的扬声器映射到任意数量的收听位置。此外，均衡滤波器系数可在执行校准过程时固定，并且滤波器系数可在除校准之外执行运行时过程时是自适应的。
图1示出了示例性音频系统100。系统100包括位于收听环境104中的扬声器阵列102a-102g(例如，“102”)。收听环境104可对应于例如车辆车厢、客厅、音乐厅等。在图1描绘扬声器102围绕传声器阵列时，此类传声器对应于收听环境104中的用户106a-106p(例如，“106”)的模拟收听位置。音频控制器108可操作地耦接到扬声器阵列102，以用于通过扬声器102将音频输入提供到收听环境104中。应当认识到，扬声器102的位置和用户106的收听位置可以是固定的或可变的。扬声器102和用户106的收听位置大体形成二维阵列。可能期望将对应扬声器102映射到一个或多个收听位置106以使用户能够体验到音频的最佳声音感知。
图2示出了根据一个实施方案的音频系统200。音频系统200包括定位在收听环境205中的扬声器阵列202a-202f(“202”)和传声器阵列204a-204c(“204”)。传声器204a-204d中的每一者定位在用户206a-206d分别在收听环境中的对应收听位置处。至少一个音频控制器208(此后称为“音频控制器”)可操作地耦接到扬声器阵列202，以用于通过扬声器202将音频输入提供到收听环境205中。音频输入包括具有可听和/或超声范围内的声学频率的信号。例如，音频输入可包括诸如正弦波、啁啾波、高斯噪声、粉红噪声等测试信号或者音频记录。应当认识到，扬声器202的位置和用户206的收听位置可以是固定的或可变的。期望将对应扬声器202映射到收听位置206中的一个或多个。传声器204在收听环境205中示出和提供为使音频控制器208能够执行校准以将每个扬声器202映射到一个或多个传声器204(即，或一个或多个收听位置206)。
如上文所指出，期望将对应扬声器202映射到收听位置206中的一个或多个以使用户能够体验到最佳收听体验。将特定扬声器202映射到收听位置206中的一个或多个以实现最佳音频回放(即，音频感知)可基于例如心理声学感知响度(PPL)和扬声器202到收听位置206的距离。PPL是任何音频记录中包含的感知相关信息的量度。PPL表示人耳以不同时间间隔或帧感知多少声能的理论极限。PPL定义如下：
Figure BDA0003949300560000061
其中E(k)是第k心理声学临界频带中的能量并且是复值，T(k)是第k心理声学临界频带中的掩蔽阈值并且是实值，且CB是心理声学临界频带的数量。临界频带k的掩蔽阈值提供了在其下任何声能对收听者来说无法听到的功率级。高于掩蔽阈值的临界频带k中的声能对收听者来说可听到。E(k)和T(k)的计算遵循在数字音频感知编码领域开发的技术。例如，音频信号首先被加窗并变换到频域。执行从频域到心理声学临界频带域的映射。然后使用感知规则获得掩蔽阈值。频域变换是通过首先将一段音频输入或帧(在时间间隔上定义)与窗口函数(例如，Hamming、Hann、Blackman等)相乘，之后进行时间到频率变换(诸如FFT、DFT、DCT、小波等)来执行。然后将频域信号乘以从频域到心理声学临界频带域的线性或非线性映射矩阵。心理声学临界频带域包括感知尺度，诸如等效矩形带宽(ERB)尺度、Bark尺度或Mel尺度。掩蔽阈值T(k)可通过以下来估计：首先计算每个临界频带中的功率，即P(k)＝Real(E(k))2+Imaginary((E(k))2，应用扩展函数(SF)，然后计算各种心理声学量度，诸如光谱平坦度测量(SFM)、音调系数和掩蔽偏移。
理想PPL(PPL_I)(或第一心理声学感知响度)通常以某些时间间隔或在整个音频序列上从音频输入(并且在扬声器202a-202c处)计算。所测量PPL(PPL_M)(或第二心理声学感知响度)在传声器输入处以类似时间间隔计算。PPL损失(PPL_L)是PPL_I与PPL_M之间的差并且测量由于房间条件和扬声器缺陷而导致的与理想值的声能偏差量。PPL_L计算为复值，因此包含关于电平偏差(幅度)和到达时间偏差(相位)的信息，
Figure BDA0003949300560000071
合理地假设所测量掩蔽阈值TM(k)应当等于理想掩蔽阈值TI(k)，因此以上等式中的PPL_L近似为：
Figure BDA0003949300560000072
这种近似可避免计算密集的掩蔽阈值计算，同时仍然提供与理想的声学偏差的幅度和相位的准确结果。
因此，为了考虑扬声器202到收听位置206(例如，传声器204)的PPL，音频控制器208执行以下校准过程。针对每个传声器204或“m”，音频控制器208测量来自每个扬声器202的PPL_I，同时在收听环境中回放校准音频信号。这产生传声器处的(m*s)PPL_M量，所述量根据以下等式测量房间条件和扬声器设计对每个传声器204的影响：
Figure BDA0003949300560000073
针对|EI(k)|>TI(k)
Figure BDA0003949300560000074
针对|EM(k)|>TM(k)
|PPLL|＝|PPLI|-|PPLM|
其中||是复幅度算子，并且仅包括高于其相应临界频带听力阈值的能量。
对于如图2所示定位在阵列中的每个传声器204，音频控制器208使用PPL确定扬声器阵列202内最响亮的扬声器组。例如，输入音频波形的|PPL_I|是在音频通过扬声器202a、202b、202c、202d、202e和202f顺序地播放时由音频控制器208在音频的整个轨道长度上或以一些时间间隔(例如，示例性每10毫秒)计算的。同时，在音频正在通过每个扬声器202播放时，|PPL_M|是在传声器204a处以类似时间间隔测量的。对于每个扬声器202，|PPL_L|计算为|PPL_I|与|PPL_M|之间的差，所述差确定收听位置206a处的感知可听偏差。PPL_L的幅度量确定收听位置206a处与理想的感知音频响度水平偏差。感知响度幅度损失的可编程阈值水平用于区分收听位置204a处有影响扬声器202与无影响扬声器。音频控制器208可将任何给定传声器204分配给一个或多个扬声器202。例如，音频控制器208可基于心理声学感知响度将扬声器202a和202b分配给传声器204a。音频控制器208可基于响度(例如，基于PPL和PPL损失)将扬声器202b和202c分配给传声器204b。
图3示出了根据一个实施方案的用于执行校准以将一个或多个扬声器202(例如，扬声器阵列202)映射到一个或多个传声器204(例如，传声器阵列204)的方法300。在操作302中，音频控制器208在定位在收听环境205内的传声器204的数量上循环。在此操作中，音频控制器208存储与定位在收听环境205中的传声器204的总数相对应的数据。
在操作304中，音频控制器208在定位在收听环境205内的扬声器202的数量上循环。在此操作中，音频控制器208存储与定位在收听环境205中的扬声器202的总数相对应的数据。
在操作306中，音频控制器208针对每个传声器和扬声器组集迭代来计算|PPL_I|、|PPL_M|和|PPL_L|损失。
在操作308中，音频控制器208将|PPL_L|与感知响度幅度损失的可编程阈值水平进行比较，后者用于区分收听位置204a处有影响扬声器202与无影响扬声器。如上文所指出，|PPL_L|计算为|PPL_I|与|PPL_M|之间的差，所述差确定收听位置206a处的感知可听偏差。如果|PPL_L|小于可编程阈值水平，则方法300移动至操作310。如果否，则方法300移动至操作312。
在操作310处，音频控制器208确定阵列中的所有扬声器202是否已生成|PPL_I|、|PPL_M|和|PPL_L|损失(例如，针对阵列中的每个扬声器202，执行操作306和308)。如果满足此条件，则方法300移动至操作302。如果否，则方法返回至操作304。
在操作312中，音频控制器208将对应扬声器202分配给一个或多个传声器204。在操作314中，音频控制器208存储RE校准固定系数，这些系数是通过从PPL_L(即心理声学感知响度损失)确定。一旦扬声器-传声器阵列集映射完成并且计算和存储了固定校准系数，然后就通过将这些系数应用于扬声器的输入来执行RE，如图4所示。
图4示出了根据一个实施方案的用于参考图3的方法300的操作312将扬声器202分配给传声器204的系统400。系统400包括音频控制器208以及具有一个或多个扬声器202和一个或多个传声器204的阵列460。一个或多个传声器204可靠近用户206a-206b的对应收听位置定位。音频控制器208包括用于存储在校准期间从方法300导出的RE固定系数的存储器209。一个或多个传声器204可靠近用户206的对应收听位置定位。音频控制器208包括第一多个滤波器组450a-450b、矩阵混音器451、多个乘法器电路452a-452c、第二多个滤波器组454a-454b和函数块472。
关于将扬声器202分配给传声器204，音频控制器208可将扬声器202a、202b分配给收听位置206处的传声器204a。音频控制器208可将扬声器202b、202c分配给收听位置206b处的传声器204b。第一多个滤波器组450a-450b可实现为分析滤波器组并且被配置为将立体声音频输入(例如，输入R和L)变换到心理声学临界频带域中。矩阵混音器451从立体声2声道音频输入生成三个声道。图3的校准方法生成4组固定校准系数(W(M1,S1)、W(M1,S2)、W(M2,S2)和W(M2,S3))以在收听环境205中执行RE。函数块472接收校准系数W(M1,S2)和W(M2,S3)并且将它们组合(或合并)以生成馈送到乘法器电路472的单个输出。函数块472合并校准系数W(M1,S2)和W(M2,S3)以组合来自传声器204a、204b的响应，诸如但不限于最大值、最小值、平均值、平滑。第二多个滤波器组(或合成滤波器组)454a-454c被配置为分别对来自乘法器电路452a-452c的输出(例如，经补偿信号)进行滤波。经补偿信号在发送到扬声器202a-202c之前用合成滤波器组454a-454c变换回时域中。
返回参考图3，在操作314中，音频控制器208将一个或多个扬声器202到每个传声器204的分配存储在其存储器209中。如上文结合图2所指出，传声器204a-204d中的每一者定位在用户206a-206d分别在收听环境205中的一个或多个对应收听位置处。
图5示出了根据一个实施方案的用于执行供房间校正和均衡实时发生的自适应运行时过程的系统500。相比而言，如结合图3公开的校准过程在将一个或多个扬声器202映射到一个或多个传声器204(或收听位置206)以使用户能够体验对音频的最佳声音感知方面是静态的。应当认识到，众多房间条件作为房间几何形状(即家具、固定设备、行李等)、房间容量(即人数、宠物数等)和房间环境(即温度、湿度等)的函数而变化动态地影响收听环境205中用户的收听体验。系统500通常被配置为采用连续运行时算法来考虑这些变化的房间条件。这对于但不限于车辆内的收听环境可能是有利的。
系统500通常包括如图4的系统400中阐述的各种特征(例如，音频控制器208、第一多个滤波器组450a-450b、矩阵混音器451、多个乘法器电路452a-452c、第二多个滤波器组454a-454b和阵列460。系统500还包括多个第一延迟块453a-453c、多个第一延迟块456a-456c、第一多个心理声学建模块458a-458c、第一多个差值块459a-459c、第三多个滤波器组461a-461b、第二多个心理声学建模块462a-462b、多个比较器470a-470d和函数块482。
由系统500执行的自适应过程可开始于传声器204a-204b中的每一者分别向多个滤波器组450a-450b提供音频输入信号。在这种情况下，传声器204a-204b通过来自扬声器202a-202c的回放生成指示在收听环境205中正在播放的音频的输出。例如，并且如图4所指出，扬声器202a和202b可分配给传声器204a(或收听位置206a)，并且扬声器202b和202c可分配给传声器204b(或收听位置206b)。如上文所指出，多个滤波器组(或分析滤波器组)450a-450b将立体声音频输入变换成心理声学临界频带域中的音频。矩阵混音器451从立体声2声道音频输入生成三个声道。多个第一延迟块453a-453c延迟来自矩阵混音器451的输出。
补偿电路452a-452c通常被配置为补偿所接收的音频输入的幅度或相位(或幅度和相位两者)。第二多个滤波器组454a-454c被配置为分别对来自补偿电路452a-452c的输出进行滤波。多个滤波器组454a-454c被配置为在将音频传输到扬声器202a-202c之前将来自补偿电路452a-452c的经补偿信号转移到时域中。扬声器202a-202c将由第二滤波器块254a-254c提供的音频回放到收听环境205中。传声器204a-204b感测在收听环境205中回放的音频，并且将所感测音频分别输出到第三多个滤波器组(或分析滤波器组)461a-461b以用于滤波。心理声学建模块462a-462b转换经滤波感测音频并且计算由EM(m,j)表示的心理声学频带的每个临界子频带中的能量，其中m对应于传声器的数量并且j对应于心理声学频率尺度中覆盖可听声学频率范围(例如从0到20kHz)的从临界频带编号1到临界频带编号CB的临界频带。例如，心理声学建模块462a-462b分别生成EM(1,j)和EM(2,j)。心理声学建模块462a将EM(1，j)提供给比较器470a、470b。心理声学建模块462b将EM(2，j)提供给比较器470c和470d。下文将更详细地论述比较器470a-470d的相关性。
在向第一多个滤波器组450a-450b提供音频输入的同时，还向延迟块456a-456b提供音频输入。延迟块456a-456b将音频输入延迟例如10毫秒至20毫秒。经延迟音频输入被提供给心理声学建模块458a-458c。延迟块456a-456c应用于传声器路径和扬声器路径两者，以提供传声器路径和扬声器路径两者之间的帧同步。应当认识到，延迟块456a-456c中所利用的延迟值的调谐可能是实现传声器路径和扬声器路径两者之间的帧同步所必需的(例如，在扬声器202回放音频和然后传声器204捕获通过扬声器202回放的音频之间将存在延迟)。心理声学建模块458a-458c转换经延迟音频输入并且计算心理声学频带的由ES(s,j)表示的每个临界子频带中的能量，其中s对应于扬声器的数量，并且j对应于心理声学频率尺度中覆盖可听声学频率范围(例如，从0至20kHz)的从临界频带编号1到临界频带编号CB的临界频带编号。
对于扬声器202a，比较器470a生成子频带系数WS(s,j)或WS(1,j)，所述子频带系数通常对应于扬声器202a和传声器204a的心理声学频带之间的差。例如，子频带系数WS(1,j)＝ES(1,j)-EM(1,j)，其被传输到补偿电路452b以修改到扬声器202a的音频输入。类似地，对于扬声器202b，比较器470b生成子频带系数WS1(s,j)或WS1(2,j)，所述子频带系数通常对应于扬声器202b和传声器204a的心理声学频带之间的第一差。例如，子频带系数WS1(2,j)＝ES(2,j)-EM(1,j)被传输到函数块482。另外，对于扬声器202b，比较器470c生成子频带系数WS2(s,j)或WS2(2,j)，所述子频带系数通常对应于扬声器202b和传声器204b的心理声学频带之间的第二差。子频带系数WS2(2,j)＝ES(2,j)-EM(2,j)被传输到函数块482。函数块482通过取两个传声器204a、204b的响应的最大值、最小值、平均值或平滑等来组合传声器204a、204b的响应。函数块482将对应于扬声器202b和两个传声器204a、204b的心理声学频带的函数的输出传输到补偿电路452c以修改到扬声器202b的音频输入。
对于扬声器202c，比较器470d生成子频带系数WS(s,j)或WS(3,j)，所述子频带系数通常对应于扬声器202c和传声器204b的心理声学频带之间的差。例如，子频带系数WS(3,j)＝ES(3,j)-EM(2,j)被传输到补偿电路452a以修改到扬声器202c的音频输入。补偿电路452a、452b、452c应用复因子(例如，通过相位或幅度)。
上述自适应过程提供了房间均衡或校正，这可在封闭空间诸如例如车辆车厢内提供成功的沉浸式且高保真收听体验。除其他事项之外，房间均衡(RE)的过程涉及补偿不想要的房间声音人为现象，诸如早期反射、混响反射、周围材料性质和扬声器缺陷。
作为对声压的主观感知的心理声学感知响度(或PPL)可使用不同技术来计算，诸如等响度廓线、绝对听力阈值(ATH)、A加权、相对于满尺度的K加权(LKFS)等。PPL也可使用本文所呈现的心理声学定义来计算。本文所公开的实施方案的优点是能够通过临界子频带分析的复本质获得房间损伤的幅度信息和相位信息两者。例如，扬声器202a分别具有以下传输响度和在传声器204a的收听位置206a的接收响度：
PPLTX＝∑jΔS(1,j)＝∑j|ES(1,j)-TS(1,j)| (等式1)
PPLRX＝∑jΔM(1，j)＝∑j|EM(1，j)-TS(1，j)| (等式2)
等式1可由差值块459a-459c执行，如结合上图5所指出。等式1和2中(例如，针对自适应过程)定义的PPL类似于上文结合静态校准引用的那些PPL。例如，PPLTX类似于理想PPL(PPL_I)(或第一心理声学感知响度)并且PPLRX类似于(PPL_M)((或第二心理声学感知响度)(例如，理想PPL(PPL_I)和(PPL_M)中的每一者已在上文指出)。为简洁起见，正在重新定义结合等式1和2引用的PPL。ES(s,j)通常对应于扬声器的心理声学频率范围内的临界子频带，并且TS(s,j)通常对应于每个临界子频带的心理声学听力阈值。如果S(s,j)大于0，则子频带j中的音频内容对收听者来说是可听到的。如果S(s,j)小于0，则子频带j中的音频内容对收听者来说是不可听到的。
由于房间声音人为现象导致的PPL损失定义为：
PPL损失＝PPLTX-PPLRX＝ES(1，j)-EM(1，j) (等式3)
等式3可由各种比较器470a-470d确定或执行，如结合图4所指出。PPL损失类似于如上所指出的PPL_L(即心理声学感知响度损失)。PPL损失是具有关于幅度和相位的信息的复量，如下文直接展示。
Mag(PPL损失)＝|ES(1，j)-EM(1，j)| (等式4)
Figure BDA0003949300560000141
如果临界子频带j处的PPL损失具有正幅度，则主要房间损伤是由吸收和/或耗散造成的。另一方面，如果临界子频带j处的PPL损失具有负幅度，则主要房间损伤是由反射和混响造成的。
对于临界子频带j处的PPL损失幅度为正的情况，房间均衡可能涉及放大衰减的临界子频带。一般而言，补偿器电路452a-452c可确定临界子频带j处的PPL损失是否具有正幅度，具有正幅度则放大分别传输到扬声器202a-202c的音频输入。
对于临界子频带j处的PPL损失幅度为负的情况，房间均衡可能涉及衰减放大的临界子频带。一般而言，补偿器电路452a-452c可确定临界子频带j处的PPL损失是否具有负幅度，具有负幅度则放大分别传输到扬声器202a-202c的音频输入。
对于临界子频带j处的PPLRX的相位与临界子频带j处的PPLTX的相位相差超过某个阈值(或预定阈值)的情况，可通过将所接收临界子频带相位旋转为匹配其传输对应物来施加相位校正。如上所指出执行此复数乘法。例如，当临界子频带j处的PPLRX的相位与临界子频带j处的PPLTX的相位相差超过某个阈值(或预定阈值)时，补偿电路454a-454c执行复数乘法。如果特定扬声器202由多于一个传声器204共享，则对PPLRX传声器相位执行数学运算，诸如最大值、最小值、平均值、平滑等。这方面的示例是如图4中所示的第一函数块472，因为扬声器202b由传声器204a和204b共享。
图6示出了根据一个实施方案的用于为图5的房间校正和均衡系统500执行自适应运行时过程的方法600。在操作602中，音频控制器208确定阵列中每个扬声器202a、202b、202c的PPL。例如，音频控制器208基于如上文所指出的等式1来确定每个扬声器202a、202b、202c的PPL。音频控制器208还基于如上文所指出的等式2来确定阵列中每个传声器204a、204b的PPL。
在操作604中，音频控制器208确定由于收听环境205中可能存在的声音人为现象造成的PPL损失。例如，音频控制器208基于如上文所指出的等式3来确定归因于声音人为现象的PPL损失。在操作606中，音频控制器208确定扬声器202a-202c和传声器204a-204b的PPL损失的幅度是正还是负。例如，在操作606中，音频控制器208基于等式4来确定PPL损失的幅度，然后确定这个幅度是正还是负。如果幅度为正，则方法600前进至操作610。如果幅度为负，则方法600前进至操作612。
在操作610中，音频控制器208确定在临界子频带j处的PPL损失具有正幅度并且主要收听室损伤是由于存在于收听环境205中的吸收和/或耗散造成的。在这种情况下，音频控制器208放大提供给收听环境205中的扬声器202a-202c的音频输入。
在操作612中，音频控制器208确定在临界子频带j处的PPL损失具有负幅度并且主要收听室损伤是由于收听环境205中的反射和混响造成的。在这种情况下，音频控制器208衰减提供给收听环境205中的扬声器202a-202c的音频输入。
在操作614中，音频控制器208基于如上文所指出的等式5确定传声器204a-204b和扬声器202a-202c的PPL损失的相位。例如，音频控制器208确定扬声器202a-202c的PPL损失的相位是否与传声器204a-204b的PPL损失的相位相差预定阈值。如果此条件为真，则方法600移动至操作618。如果否，则方法600返回至操作602。在操作618中，音频控制器208通过将所接收关键子频带相位(例如，传声器204a-204b的关键子频带相位)旋转为匹配其所传输对应物(例如，扬声器202a-202c的临界子频带相位)来对扬声器202a-202c的临界子频带相位(例如，ES(s,j))或传声器204a-204b的临界子频带相位应用相位校正。
虽然上文描述了示例性实施方案，但并不意图这些实施方案描述了本发明的所有可能形式。而是，本说明书中所使用的措词是描述性而非限制性措辞，并且应当理解，可在不脱离本发明的精神和范围的情况下作出各种改变。另外，各种实施方案的特征可加以组合来形成本发明的其他实施方案。

Claims (20)

1.一种音频系统，其包括：
多个扬声器，所述多个扬声器被配置为在收听环境中传输音频信号；
多个传声器，所述多个传声器各自定位在所述收听环境中的相应收听位置处，所述多个传声器被配置为检测所述收听环境中的所述音频信号：
至少一个音频控制器，所述至少一个音频控制器被配置为：
在所述音频信号正在通过所述多个扬声器中的第一扬声器回放时，确定所述音频信号的第一心理声学感知响度(PPL)；
在所述音频信号由所述多个传声器中的第一传声器感测到时，确定所述音频信号的第二PPL；并且
至少基于所述第一PPL和所述第二PPL将所述多个扬声器中的所述第一扬声器映射到所述多个传声器中的所述第一传声器。
2.如权利要求1所述的音频系统，其中所述至少一个音频控制器被进一步配置为在将所述第一扬声器映射到所述第一传声器之前确定所述第一PPL的第一幅度和所述第二PPL的第二幅度。
3.如权利要求2所述的音频系统，其中所述至少一个音频控制器被进一步配置为在将所述第一扬声器映射到所述第一传声器之前获得所述第一PPL的所述第一幅度与所述第二PPL的所述第二幅度之间的差。
4.如权利要求3所述的音频系统，其中所述第一PPL的所述第一幅度与所述第二PPL的所述第二幅度之间的所述差对应于PPL损失，所述PPL损失指示所述收听环境中的收听位置处的感知可听偏差。
5.如权利要求4所述的音频系统，其中所述音频控制器被进一步配置为将所述PPL损失与可编程阈值进行比较以确定是否将所述第一扬声器映射到所述第一传声器。
6.如权利要求5所述的音频系统，其中所述音频控制器被进一步配置为响应于所述PPL损失小于所述可编程阈值而将所述第一扬声器映射到所述第一传声器。
7.如权利要求1所述的音频系统，其中所述音频控制器被进一步配置为至少基于所述第一PPL和所述第二PPL来应用自适应过程以均衡所述收听环境中的所述音频信号。
8.如权利要求7所述的音频系统，其中所述音频控制器被进一步配置为在所述音频信号正在通过所述多个扬声器中的每个扬声器回放时确定所述音频信号的所述第一PPL，并且在所述音频信号由所述多个传声器中的所述传声器中的每一者感测到时确定所述音频信号的所述多个传声器中的每个传声器的所述第二PPL。
9.如权利要求8所述的音频系统，其中所述音频控制器被进一步配置为基于所述第一PPL与所述第二PPL之间的差来确定所述多个扬声器中的每个扬声器和所述多个传声器中的每个传声器的PPL损失。
10.如权利要求9所述的音频系统，其中所述至少一个音频控制器被进一步配置为在所述扬声器中的每一者和所述传声器中的每一者的所述PPL损失的所述幅度为正的情况下，放大到所述多个扬声器的音频输入信号，以考虑所述收听环境中存在的吸收和/或耗散。
11.如权利要求9所述的音频系统，其中所述至少一个音频控制器被进一步配置为在所述扬声器中的每一者和所述传声器中的每一者的所述PPL损失的所述幅度为负的情况下，衰减到所述多个扬声器的音频输入信号，以考虑所述收听环境中的反射和混响。
12.如权利要求9所述的音频系统，其中所述至少一个音频控制器被进一步配置为确定所述扬声器中的每一者的所述PPL损失的相位是否与所述传声器中的每一者的所述PPL相差预定量。
13.如权利要求12所述的音频系统，其中所述至少一个音频控制器被进一步配置为在所述扬声器中的每一者的所述PPL损失的所述相位与所述传声器中的每一者的所述PPL相差所述预定量的情况下，将相位校正应用于所述多个扬声器的临界子频带相位或所述多个传声器的临界子频带相位。
14.一种音频系统，其包括：
多个扬声器，所述多个扬声器被配置为在收听环境中传输音频信号；
多个传声器，所述多个传声器各自定位在所述收听环境中的相应收听位置处，所述多个传声器被配置为检测所述收听环境中的所述音频信号；以及
至少一个音频控制器，所述至少一个音频控制器被配置为确定所述多个扬声器中的每个扬声器的第一心理声学感知响度(PPL)并且确定所述多个传声器中的每个传声器的第二PPL以采用自适应过程来均衡所述收听环境中的所述音频信号。
15.如权利要求14所述的音频系统，其中所述音频控制器被进一步配置为基于所述第一PPL与所述第二PPL之间的差来确定所述多个扬声器中的每个扬声器和所述多个传声器中的每个传声器的PPL损失。
16.如权利要求15所述的音频系统，其中所述至少一个音频控制器被进一步配置为在所述扬声器中的每一者和所述传声器中的每一者的所述PPL损失的所述幅度为正的情况下，放大到所述多个扬声器的音频输入信号，以考虑所述收听环境中存在的吸收和/或耗散。
17.如权利要求15所述的音频系统，其中所述至少一个音频控制器被进一步配置为在所述扬声器中的每一者和所述传声器中的每一者的所述PPL损失的所述幅度为负的情况下，衰减到所述多个扬声器的音频输入信号，以考虑所述收听环境中的反射和混响。
18.如权利要求15所述的音频系统，其中所述至少一个音频控制器被进一步配置为确定所述扬声器中的每一者的所述PPL损失的相位是否与所述传声器中的每一者的所述PPL相差预定量。
19.如权利要求18所述的音频系统，其中所述至少一个音频控制器被进一步配置为在所述扬声器中的每一者的所述PPL损失的所述相位与所述传声器中的每一者的所述PPL相差所述预定量的情况下，将相位校正应用于所述多个扬声器的临界子频带相位或所述多个传声器的临界子频带相位。
20.一种用于采用自适应过程来均衡收听环境中的音频信号的方法，所述方法包括：
通过多个扬声器在所述收听环境中传输音频信号；
通过定位在所述收听环境中的多个传声器检测所述
收听环境中的所述音频信号；
确定所述多个扬声器中的每个
扬声器的第一心理声学感知响度(PPL)；以及
确定所述多个传声器中的每个传声器的第二PPL以
基于所述第一PPL和所述第二PPL采用自适应过程来均衡所述收听环境中的所述音频信号。
CN202080101091.1A 2020-05-20 2020-05-20 用于房间校正和均衡的多维自适应传声器-扬声器阵列集的系统、设备和方法 Pending CN115668986A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/033802 WO2021236076A1 (en) 2020-05-20 2020-05-20 System, apparatus, and method for multi-dimensional adaptive microphone-loudspeaker array sets for room correction and equalization

Publications (1)

Publication Number Publication Date
CN115668986A true CN115668986A (zh) 2023-01-31

Family

ID=71083698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080101091.1A Pending CN115668986A (zh) 2020-05-20 2020-05-20 用于房间校正和均衡的多维自适应传声器-扬声器阵列集的系统、设备和方法

Country Status (4)

Country Link
US (1) US20230199419A1 (zh)
EP (1) EP4154553A1 (zh)
CN (1) CN115668986A (zh)
WO (1) WO2021236076A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1986466B1 (en) * 2007-04-25 2018-08-08 Harman Becker Automotive Systems GmbH Sound tuning method and apparatus
EP3040984B1 (en) * 2015-01-02 2022-07-13 Harman Becker Automotive Systems GmbH Sound zone arrangment with zonewise speech suppresion
US10043529B2 (en) * 2016-06-30 2018-08-07 Hisense Usa Corp. Audio quality improvement in multimedia systems
US11516614B2 (en) * 2018-04-13 2022-11-29 Huawei Technologies Co., Ltd. Generating sound zones using variable span filters

Also Published As

Publication number Publication date
WO2021236076A1 (en) 2021-11-25
EP4154553A1 (en) 2023-03-29
US20230199419A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
CN101296529B (zh) 声音调谐方法及系统
US10028055B2 (en) Audio signal correction and calibration for a room environment
CN109327789B (zh) 一种增强声音的再现的方法和系统
US20070121955A1 (en) Room acoustics correction device
Kodrasi et al. Regularization for partial multichannel equalization for speech dereverberation
KR101989062B1 (ko) 오디오 신호를 향상시키기 위한 장치 및 방법 및 음향 향상 시스템
CN110557710B (zh) 具有语音控制的低复杂度多声道智能扩音器
US9137619B2 (en) Audio signal correction and calibration for a room environment
US11115775B2 (en) Method and apparatus for acoustic crosstalk cancellation
US10893363B2 (en) Self-equalizing loudspeaker system
KR20190019833A (ko) 룸-의존적 적응형 음색 보정
US20200136675A1 (en) Audio signal processing with acoustic echo cancellation
EP3671740B1 (en) Method of compensating a processed audio signal
CN112272848A (zh) 使用间隙置信度的背景噪声估计
KR20240007168A (ko) 소음 환경에서 음성 최적화
US11176958B2 (en) Loudness enhancement based on multiband range compression
CN115668986A (zh) 用于房间校正和均衡的多维自适应传声器-扬声器阵列集的系统、设备和方法
Herzog et al. Direction preserving wind noise reduction of b-format signals
JP2024517721A (ja) ノイズの多い環境における音声最適化
CN109863764B (zh) 控制将通过电声音响系统记录和/或再现的声信号的方法和装置
Jeub et al. On the application of psychoacoustically-motivated dereverberation for recordings taken in the German parliament
Happold et al. AURALISATION LEVEL CALIBRATOIN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination