CN117795987A - 用于确定音频系统的频率响应的方法 - Google Patents

用于确定音频系统的频率响应的方法 Download PDF

Info

Publication number
CN117795987A
CN117795987A CN202180101527.1A CN202180101527A CN117795987A CN 117795987 A CN117795987 A CN 117795987A CN 202180101527 A CN202180101527 A CN 202180101527A CN 117795987 A CN117795987 A CN 117795987A
Authority
CN
China
Prior art keywords
audio system
frequency response
gan
training
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180101527.1A
Other languages
English (en)
Inventor
A·V·菲利蒙诺夫
M·S·克勒什宁
A·Y·克尔比尼娃
S·E·奥利弗
J·莱昂斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN117795987A publication Critical patent/CN117795987A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/007Monitoring arrangements; Testing arrangements for public address systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种用于确定音频系统的频率响应的计算机实现的方法,所述方法包括:在包括参考音频系统对测试信号的所测量频率响应和所述音频系统的评估者评分的第一训练数据集上训练生成式对抗网络GAN鉴别器,以预测所述参考音频系统的预测评分;在包括评估者评分的第二训练数据集上训练GAN生成器,以预测所述参考音频系统的预测频率响应,其中训练所述GAN生成器包括通过所述经过训练的GAN鉴别器来处理所述预测频率响应以预测预测评分;以及通过所述经过训练的GAN生成器来处理包括制作音频系统的输入评分的制作数据集,以预测所述制作音频系统的频率响应。

Description

用于确定音频系统的频率响应的方法
技术领域
本公开涉及用于确定音频系统、特别是汽车音频系统的频率响应的装置、方法和系统。频率响应与音频系统的音质有关。本公开适用于音频系统设计领域。
背景技术
人类对由音频系统再现的音轨的感知是音频系统(例如,车辆的消费类音频系统)的质量的关键度量。音质可以由人类音频专家评估者通过收听由音频系统播放的准备好的录音并确定指示音质的分数来确定。此外,音频系统的特征可以是在音频系统上播放测试声音、测量发出的声音并计算发出的声音的频率响应。音频系统的开发受益于从频率响应和评估者评分中获得的对音频系统质量的洞察。具体地,人们对基于一个或多个预定评分来预测频率响应感兴趣。
以下文献涉及确定和改进音频系统的音质:
·Soulodre G.A.Subjective evaluation of new room acousticmeasures.J.Acoust.Soc.Am.,vol.98(1),p.294(1995).
·Ballou G.Handbook for Sound Engineers.Burlington,Focal Press(2008).
·AES20-1996:AES recommended practice for professional audio-Subjective evaluation of loudspeakers(2008).
·Toole F.Loudspeaker measurements and their relationship to listenerpreferences:Part 2.J.Audio Eng.Soc.,vol.34(5),p.323(1986).
·Gabrielsson A.et al.Perceived sound quality of reproductions withdifferentfrequency responses and sound levels.J.Acoust.Soc.Am.,vol.88(3),p.1359(1990).
·Olive S.Method for predicting loudspeaker preference.US Patent 8,311,232(2005).
·Olive S.,Welti T.,Khonsaripour o.Linear model to predict listenerpreference ratings of headphones.Patent Application US2019/0087739A1(2018).
·Moore B.,Tan C.,Zacharov N.,Mattila V.Method for predicting theperceptual quality of audio signals.Patent Application WO 2005/083921 A1(2018).
·Pearson K.Note on regression and inheritance in the case of twoparents.Proceedings of the Royal Society of London,vol.58,p.347(1895).
·Shai S.,Shai B.Understanding machine learning:From theory toalgorithms.Cambridge University Press(2014).
·Goodfellow I.et al.Generative Adversarial Networks.arXiv:1406.2661(2014).
·Floudas C.A.,Pardalos,P.(Eds.)Encyclopedia of Optimization.Boston:Springer.(2008).
发明内容
本文公开并要求保护用于确定音频系统的频率响应的系统、方法和装置。
本公开的第一方面涉及一种用于确定音频系统的音频响应的计算机实现的方法。所述方法包括以下步骤:
·向多个参考音频系统中的一个参考音频系统发送至少一个测试信号;
·测量所述参考音频系统中的每一者对所述测试信号的所测量频率响应;
·从至少一个人类专家评估者接收所述参考音频系统的一个或多个评估者评分;
·在包括所述评估者评分中的至少一者和所述所测量频率响应的第一训练数据集上训练生成式对抗网络GAN鉴别器,以基于频率响应来预测所述参考音频系统的预测评分;
·在包括所述评估者评分中的至少一者的第二训练数据集上训练GAN生成器,以基于评分来预测所述音频系统的预测频率响应,其中训练所述GAN生成器包括通过所述经过训练的GAN鉴别器来处理所述预测频率响应以预测预测评分;
·接收包括制作音频系统的至少一个输入评分的制作数据集;以及
·通过所述经过训练的GAN生成器来处理所述制作音频系统的所述制作数据集,以预测所述制作音频系统的预测频率响应。
因此,所述方法包括训练阶段和推理阶段,所述训练阶段包括前五个步骤,所述推理阶段包括其余步骤。
在训练阶段中,确定训练数据。向参考音频系统发送测试信号,并且测量参考音频系统中的每一者的频率响应。因此确定的对测试信号的频率响应与参考音频系统的音质相关。在另一步骤中,从至少一个人类专家评估者接收参考音频系统的一个或多个评估者评分。优选地,评估者评分指示多个人类专家评估者的多个单独评分。这些数据被包括在第一训练数据集和第二训练数据集中以训练与生成式对抗网络(GAN)相关的人工神经网络。
GAN包括GAN鉴别器和GAN生成器。GAN鉴别器和GAN生成器两者可以包括人工神经网络、特别是全连接神经网络。GAN鉴别器适于响应于接收到音频系统的频率响应来预测音频系统的专家评估者评分。在示例性实施方案中,GAN鉴别器可以包括如2021年4月23日提交的国际申请PCT/RU2021/000171中描述的人工神经网络,本国际申请的全部公开内容通过引用并入本文。GAN鉴别器在包括评估者评分中的至少一者和所测量频率响应的第一训练数据集上进行训练,以预测参考音频系统的预测评分。评估者评分指示由一个或多个人类专家评估者得出的音频系统的主观音频质量。评估者评分可以仅涉及一个单独的评分,但是对作为平均评分或作为评分分布的多个评分的指示是优选的。具体地,评分分布提高GAN生成器预测频率响应的准确性,如下详述。训练可以通过监督学习来完成,例如通过反向传播来完成,以确定权重达到预测评分与第一训练数据集的评估者评分之间的差异的局部最小值。所述差异可以被确定为均方误差。
所述生成器适于响应于接收到专家评估者评分而预测音频系统对测试信号的频率响应。GAN生成器在包括评估者评分中的至少一者的第二训练数据集上进行训练,以预测音频系统的预测频率响应。因此,对GAN生成器的训练本身并不需要使用所测量频率响应。相反,第二训练数据集包括音频系统的评估者评分,其可以与第一训练数据集的评估者评分相同。评估者评分被发送到GAN生成器的输入。由GAN生成器预测的频率响应由经过训练的GAN鉴别器通过频率响应进行处理,以预测预测评分。因此,经过训练的GAN鉴别器被用作训练GAN生成器的工具,并确定与GAN生成器的输出相关的评分。
GAN生成器被设计为生成式而非预测式神经网络。GAN生成器经过训练以为给定的评分分布创建最可能的频率响应。因此,与预测式神经网络相比,GAN生成器的输出的响应空间是连续的并且更能抵抗训练数据中的随机误差。这种效果是由于使用GAN鉴别器来训练GAN生成器、而不是直接在包括评分和频率响应的训练数据集上训练GAN生成器产生的。
在推理时,经过训练的GAN生成器用于预测制作音频系统的频率响应。GAN生成器接收音频系统的预定输入评分并确定频率响应。所述数据适用于音频系统和/或环境的开发。
在一个实施方案中,验证器将预测评分与发送到GAN生成器的输入的评估者评分进行比较,并确定预测评分与评估者评分之间的差异。GAN生成器进一步调整GAN生成器的一个或多个权重以将差异最小化。这可以包括将差异减小到局部最小值。所述差异可以被确定为均方误差。
在另一实施方案中,训练所述GAN生成器还包括保持所述GAN鉴别器的权重不变。因此,训练过程被分开,并且GAN鉴别器仅用作训练GAN生成器的装置。对于该训练步骤,不需要所测量频率响应,因为所述信息包括在经过训练的GAN鉴别器的权重中。
在另一实施方案中,所述第一训练数据集、所述第二训练数据集和/或所述制作数据集包括对以下一者或多者的指示:
·所述音频系统;
·在测量所述频率响应时应用的所述音频系统的一个或多个设置;
·测量所述频率响应的环境的类型和/或属性。
这些附加数据由GAN生成器和/或鉴别器的输入层接收并影响预测。优选地,三个数据集全部包括相同的补充数据子集,所述补充数据子集包括上述一项或多项。
对音频系统的指示的示例包括制造商的品牌、音频系统的类型、音频声道的数量、低音炮的存在、最大输出功率、扬声器的相对位置或系统部件的声明的频率响应。所述设置的示例包括音量或播放模式(立体声或环绕声)。在车辆音频系统的情况下,所述指示可以包括对车辆制造商、车辆的车身类型、车厢内饰、市场细分的编码表示。
由此,GAN鉴别器和GAN生成器针对各种配置进行训练,并且经过训练的GAN生成器可以预测由输入数据集反映的期望质量的音频系统的频率响应与音频系统和环境的变化如何相关。
在另一实施方案中,所述评估者评分中的每一者包括所述参考音频系统的来自多个人类专家评估者的多个单独评分。由此,使用分数分布。原则上,可以包括评分向量,其中每个分量指示一个人类专家评估者的评分。优选地,使用与分数量表相对应的直方图型向量。向量的每个分量指示以对应分数对音频系统进行评级的专家评估者的数量。可以使用替代数据类型,诸如分析函数或数据库。
在另一实施方案中,所述评估者评分涉及在测量实验频率响应的位置处感知的音质。具体地,可以在专家评估者所在的物理位置处测量频率响应。例如,如果确定汽车音频系统的频率响应,则可以在专家评估者的耳朵所在的驾驶员头枕附近进行测量,这提高了GAN生成器对频率响应预测的可靠性。
在另一实施方案中,所述参考音频系统的所述所测量频率响应是在标准制作环境中测量的。这是在标准化房间或消声室中测量频率响应的替代方法。标准制作环境是通常使用参考音频系统的环境。例如,对于汽车音频系统,汽车内饰就是标准制作环境。标准制作环境中的测量允许考虑环境的典型特征,包括环境中的墙壁和/或对象对声音的反射。
在另一实施方案中,所述标准制作环境包括车辆内部、音乐厅和/或家庭影院中的一者或多者。由此,预测频率响应可以用于环境的变化以提高音质。
在另一实施方案中,所述方法用于预测音频系统的频率响应。预测频率然后可以用作改进音频系统和/或环境的基础。例如,可以预测现有音频系统的频率响应。此外,可以在音频系统的一些参数(诸如音量设置或扬声器的类型)或环境(诸如在汽车音频系统的情况下的另一种类型的汽车座椅)的条件下预测频率响应。由此,可以预测由于音频系统的变化而导致的频率响应,并且可以设计原型以适应预测频率响应。通过将预测频率响应与例如原型的所测量频率响应进行比较以验证数据,可以进一步改进音频系统的开发。
本公开的第二方面涉及一种用于确定音频系统的音频响应的系统。所述系统包括用于执行根据前述权利要求中任一项所述的步骤的装置。具体地,所述系统可以包括:
·至少一个信号生成器,所述至少一个信号生成器用于生成所述测试信号;
·至少一个频率响应检测器,所述至少一个频率响应检测器可以包括声音检测装置以及脉冲响应到频率响应变换器;
·至少一个输入单元,所述至少一个输入单元用于接收所述专家评估者评分;
·至少一个计算装置,所述至少一个计算装置包括GAN鉴别器、GAN生成器和验证器,所述至少一个计算装置可以用软件实现;
·处理单元;和/或
·存储器。
所述存储器包括指令,所述指令在由所述处理单元执行时致使所述计算装置执行本公开的第一方面的方法。适用于第一方面的所有属性和实施方案也适用于第二方面。
附图说明
根据下面结合附图阐述的详细描述,本公开的特征、方面和优点可能变得更加显而易见,在附图中,相似的附图标记是指类似元件。
图1示出了用于确定频率响应的方法的流程图;
图2示出了系统和环境的框图;
图3示出了第一训练数据集和第二训练数据集以及制作数据集的框图;
图4示出了用于训练GAN鉴别器的部件布置的框图;
图5示出了用于训练GAN生成器的部件布置的框图;以及
图6示出了用于推理的部件布置的框图。
具体实施方式
图1示出了根据一个实施方案的用于确定频率响应的计算机实现的方法100的流程图。所述方法包括训练阶段108至116的步骤102至116和推理阶段的步骤118至120。训练和推理可以由图2的系统200执行。
计算机实现的方法100开始于向至少一个音频系统发送测试信号(102)。可以发送多种信号作为测试信号。优选地,发送噪声信号,例如粉红噪声,这是有利的,因为噪声包括宽频率范围。音频系统被配置为播放测试信号。测量对测试信号的频率响应(104)。优选地,这包括例如用传声器记录脉冲响应,以及例如通过应用诸如快速傅里叶变换或连续小波变换的变换将脉冲响应电子地变换成频率响应。此外,接收评估者评分(106),所述评估者评分指示同一音频系统的质量。评估者评分指示一个或多个人类专家评估者例如按照从1到10的量表对音响系统质量的评价。优选地,接收来自多个专家评估者的多个单独评分。对于每个音频系统,每个评分指示当音频系统正在播放包括一个或多个音频文件(诸如音乐曲目)的预定义播放列表时专家评估者在预定位置处的声音体验。音频系统优选地被设置为一组预定义音频设置,诸如对于音频系统的使用而言典型的音量水平。专家评估者优选地位于系统的用户通常所在的位置。如果测试车辆音频系统,则专家评估者可能坐在驾驶员座椅上。为了收集训练数据集,可以针对多个音频系统中的每一者确定频率响应和评估者评分。
生成式对抗网络(GAN)包括鉴别器网络和生成器网络。两个网络都包括人工神经网络,优选地是卷积神经网络。在第一训练数据集上训练GAN鉴别器以响应于接收到音频系统的频率响应而预测音频系统的评估者评分(108)。第一训练数据集包括评估者评分中的一者或多者和上文确定的所测量频率响应。如参考图4所述执行训练过程。通过训练过程,确定GAN鉴别器的权重。经过训练的GAN鉴别器可以用于独立于GAN生成器来确定评分。替代地或另外,GAN鉴别器可以用于训练GAN生成器,如下所述。
训练GAN生成器以响应于接收到音频系统的一个或多个评估者评分而预测音频系统的频率响应(110)。使用包括一个或多个评估者评分的第二训练数据集。与第一数据集相比,第二训练数据集可以包括不同的评分。然而,优选地包括与第一数据集中相同的评分。这允许在GAN鉴别器和GAN生成器训练两者中使用大型训练数据集,从而提高经过训练的神经网络的准确性。在训练时,将第二训练数据集的评估者评分发送到GAN生成器以预测频率响应,并且GAN鉴别器处理预测频率响应以预测评估者评分(112)。优选地,验证器确定评估者评分与预测评分之间的差异(114),并调整GAN生成器的权重(116)。参考图5进一步描述这样的训练过程。
在推理阶段中,接收制作数据集(118)。制作数据集包括音频系统的评估者评分。GAN生成器处理制作数据集以预测音频系统的频率响应(120),如参考图5进一步描述的。
图2示出了根据实施方案的用于预测音频系统204的频率响应的系统200的框图。音频系统204包括一个或多个装置206并且用作用于训练的声音参考。音频系统204可以包括装置206,例如,一个或多个扬声器。优选地,对于多个音频系统,确定频率响应和评估者评分以获得大型训练数据集。为了训练,音频系统被放置在环境202中,所述环境可以是音频系统的标准测试房间,以便获得音频系统的可比较结果。如果音频系统204是独立音频系统,则这增加了训练数据集的一致性。替代地,音频系统204可以放置在通常使用音频系统的制作环境202中。例如,可以在车辆中确定汽车音频系统的频率响应。系统200包括部件208至230,所述部件可以全部或部分地包括在制作环境中。通常,声音检测装置和输入单元被包括在环境202中,而其他部件可以在环境202外部,例如,在场外,并且可通信地耦合到环境202中的部件。
在该示例中,所述系统包括信号生成器216以生成测试信号。可以选择噪声(例如,粉红噪声)作为测试信号。将测试信号发送到音频系统204以供输出(102)。音频系统204可以被设置为预定测试配置,包括将增益设置为预定水平,优选地是通常在制作环境中使用的水平。如果音频系统204和环境对增益作出线性反应,则只需以恒定增益执行一次测量。然后,频率响应检测器208确定音频系统204的频率响应。声音记录装置210(例如,传声器)测量由音频系统204在时域中发出的声音(即,脉冲响应)。声音记录装置可以位于系统的用户的头部通常所在的位置,诸如在汽车音频系统的情况下靠近驾驶员座椅的头枕。IR到FR变换器212将脉冲响应变换成频率响应。该步骤可以包括例如应用快速傅里叶变换(FFT)或连续小波变换(CWT)。然后向计算装置218发送频率响应。计算装置218被配置为执行方法100(图1)的步骤106至120。
计算装置218包括GAN鉴别器220。GAN鉴别器220是人工神经网络。通过确定权重222,可以训练GAN鉴别器220来预测音频系统的评分。计算装置218还包括具有权重226的GAN生成器224,所述GAN生成器可以被训练以预测音频系统的频率响应。验证器228可操作以确定所测量数据与由GAN鉴别器220和/或GAN生成器224预测的数据之间的差异并将所述差异局部最小化。这可以包括计算损失函数,例如均方误差,以及确定损失函数的局部最小值。用作地面实况的测量数据以及预测数据可以包括频率响应和评分。计算装置的部件220至228可以用硬件或软件来实现。优选地,部件220至228用软件实现。所述软件可以包括桌面应用程序,以便允许方法100的一个或多个步骤在工作站或移动装置上执行。对于它们的执行,可以使用标准处理和存储器装置。
在该示例性实施方案中,变换器212和信号生成器216被示为与计算装置218不同。然而,在实施方案中它们可以是计算装置的一部分。在其他实施方案中,它们可以用软件来实现。
该示例性实施方案的系统200还包括输入单元214,以接收指示由音频专家评估者得出的评估者评分的输入。所述输入可以包括音频系统204的质量的任何量化度量。例如,评估者可以基于音频系统在参考环境中播放的预定义数量的曲目来给出音频系统204的质量的评级。分数可以作为数值给出,例如在从0到9的量表上,并且指示音频系统204与预定参考音频系统204相比如何。优选地,评估者评分包括来自不同专家评估者的多个单独评分,例如,包括量表上的每个可能值的多个单独评分的直方图。然而,也可以选择本领域已知的其他数据格式。然后验证器228可以使用评估者评分来训练GAN鉴别器220和GAN生成器224。
在推理时,计算系统218适于由GAN生成器224根据输入评分来预测音频系统204的频率响应。在示例性实施方案中,要测试新音频系统的原型。为了改进音频系统,经由输入单元214将预定评分分布输入到系统200中,并且计算装置218预测频率响应并在显示装置230上输出所述响应。然后可以使用频率响应来改进原型音频系统,以更好地匹配预测频率响应。
系统200的部件可以被包括在一个装置中,但是它们也可以分布在许多装置上。具体地,计算装置218可以被实现为在多个计算机(例如,网络可访问的计算服务器)上运行的虚拟机或进程。
图3示出了数据集300、312、322的框图。第一训练数据集300适于训练GAN鉴别器220。数据集300包括多个数据表,其中每个数据表包括与一个音频系统相关的数据304至310。包括用于不同音频系统的大量(例如,数百个)数据表用于提高训练的准确度。不同的数据表还可能涉及同一音频系统的不同配置。
一个数据表包括音频系统204的频率响应304。频率响应304通常是音频系统204对测试信号的所测量频率响应。数据表还包括音频系统204的评估者评分306。优选地,评估者评分306包括多个专家评估者的多个单独评分,或者指示每个分数值的多个评分的直方图。在这种情况下,GAN鉴别器220被训练以确定评分分布。任选地,数据表可以包括与测试音频系统204的环境202相关的环境信息,诸如环境的类型(标准或制作环境)和属性,诸如房间的大小或墙壁的类型。任选地,可以包括关于音频系统204的信息310,诸如音频系统的品牌、型号和/或特性。特性可以包括声道的数量、预定类型的扬声器的存在、最大输出声功率、扬声器的相对位置和/或单独扬声器的声明的频率响应。
第二训练数据集312包括音频系统204的多个数据表314。优选地,使用相同的音频系统来训练GAN生成器224和GAN鉴别器220两者。对于每个音频系统或配置,包括评分316。评估者评分316可以与评估者评分306相同,以允许重复使用训练数据并为GAN鉴别器220和GAN生成器224两者获得一致的训练结果。可以包括对应的环境信息318和系统信息320以提高预测准确度。信息308、310的实施方案和属性也适用于信息318和320。在示例性实施方案中,除了缺少关于频率响应的信息之外,第二训练数据集312可以包括与第一训练数据集300相同的信息。然而,这两者之间可能存在差异。例如,如果对于一个或多个音频系统只有评估者评分可用,则它们可以用于训练GAN生成器224,而不用于训练GAN鉴别器220。
制作数据集322包括预定输入评分324。例如,可以自由选择输入评分以表示相对良好的评分。任选地,包括环境信息326和系统信息328。然后处理制作数据集会产生音频系统的预测频谱。
图4示出了用于训练GAN鉴别器406的部件402至412的布置400的框图。所述图表示数据402、404、408和412到程序406和410的输入和输出。为了训练GAN鉴别器406,将音频系统的频率响应402和任选的环境和/或系统信息404发送到GAN鉴别器406的输入层。GAN鉴别器406预测音频系统的评分408。验证器410接收预测评分408和作为地面实况的评估者评分410,并训练GAN鉴别器以将预测评分与评估者评分之间的差异最小化。可以使用监督学习技术,诸如反向传播。在训练之后,GAN鉴别器可操作以预测音频系统的评分。
图5示出了用于训练GAN生成器502的部件的布置500的框图。所述图表示数据404、504、422和506到程序406和502以及510的输入和输出。为了训练GAN生成器502,将音频系统的评估者评分504和任选的环境和/或系统信息404发送到GAN生成器502的输入层。GAN生成器502预测音频系统的频率响应506。在该训练阶段中,经过训练的GAN鉴别器406的推理用于确定预测评分508,所述预测评分由验证器510对照发送到GAN生成器的输入层的同一评估者评分504进行验证。验证器510接收预测评分508和作为地面实况的评估者评分504,并通过例如可以使用诸如反向传播的监督学习来训练GAN鉴别器以将预测评分与评估者评分之间的差异最小化。在训练之后,GAN鉴别器可操作以预测音频系统的评分。
图6示出了用于推理的部件的布置600的框图。音频系统的预定评分602和任选的系统信息输入604被发送到经过训练的GAN生成器502的输入层。GAN生成器预测频率响应606。
附图标记
100 计算机实现的方法
102至120 方法100的步骤
200 系统
202 环境
204 音频系统
206 装置
208 频率响应检测器
210 声音检测装置
212 IR到FR变换器
214 输入单元
216 信号生成器
218 计算装置
220 GAN生成器
222 GAN生成器的权重
224 GAN鉴别器
226 GAN鉴别器的权重
228 验证器
230 验证装置
300 第一训练数据集
302 音频系统的数据表
304 所测量频率响应
306 评估者评分
308 环境信息
310 系统信息
312 第二训练数据集
314 音频系统的数据表
316 评估者评分
318 环境信息
320 系统信息
322 制作数据集
324 制作音频系统的输入评分
326 环境信息
328 系统信息
400 用于训练GAN鉴别器的部件布置
402 所测量频率响应
404 系统信息输出
406 GAN鉴别器
408 预测评分
410 验证器
412 评估者评分
500 用于训练GAN生成器的部件布置
502 GAN生成器
504 评估者评分
506 预测频率响应
508 预测评分
510 验证器
600 用于推理的部件布置
602 预定评分
604 系统信息输入
606 预测频率响应

Claims (10)

1.一种用于确定音频系统的频率响应的计算机实现的方法,所述方法包括:
向多个参考音频系统中的一个参考音频系统发送至少一个测试信号;
测量所述参考音频系统中的每一者对所述测试信号的所测量频率响应;
从至少一个人类专家评估者接收所述参考音频系统的一个或多个评估者评分;
在包括所述评估者评分中的至少一者和所述所测量频率响应的第一训练数据集上训练生成式对抗网络GAN鉴别器,以基于频率响应来预测所述参考音频系统的预测评分;
在包括所述评估者评分中的至少一者的第二训练数据集上训练GAN生成器,以基于评分来预测所述参考音频系统的预测频率响应,
其中训练所述GAN生成器包括通过所述经过训练的GAN鉴别器来处理所述预测频率响应以预测预测评分;
接收包括制作音频系统的至少一个输入评分的制作数据集;以及
通过所述经过训练的GAN生成器来处理所述制作音频系统的所述制作数据集,以预测所述制作音频系统的预测频率响应。
2.根据权利要求1所述的计算机实现的方法,
其中训练所述GAN生成器还包括通过验证器
确定所述预测评分与所述评估者评分之间的差异,以及
调整所述生成器的一个或多个权重以将所述差异最小化。
3.根据前述权利要求中任一项所述的计算机实现的方法,
其中训练所述GAN生成器还包括保持所述GAN鉴别器的权重不变。
4.根据前述权利要求中任一项所述的计算机实现的方法,
其中所述第一训练数据集、所述第二训练数据集和/或所述制作数据集包括对以下一者或多者的指示:
所述音频系统的类型;
在测量所述频率响应时应用的所述音频系统的一个或多个设置;
测量所述频率响应的环境的类型和/或属性。
5.根据前述权利要求中任一项所述的计算机实现的方法,
其中所述评估者评分中的每一者包括所述参考音频系统的来自多个人类专家评估者的多个单独评分。
6.根据前述权利要求中任一项所述的计算机实现的方法,
其中所述评估者评分涉及在测量实验频率响应的位置处感知的音质。
7.根据前述权利要求中任一项所述的计算机实现的方法,
其中所述参考音频系统的所述所测量频率响应是在标准制作环境中测量的。
8.根据权利要求7所述的计算机实现的方法,
其中所述标准制作环境包括车辆内部、音乐厅和/或家庭影院中的一者或多者。
9.一种根据前述权利要求中任一项所述的方法的用于预测音频系统的音质的用途。
10.一种用于确定音频系统的频率响应的系统,所述系统包括用于执行根据前述权利要求中任一项所述的步骤的装置。
CN202180101527.1A 2021-08-13 2021-08-13 用于确定音频系统的频率响应的方法 Pending CN117795987A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2021/000352 WO2023018349A1 (en) 2021-08-13 2021-08-13 Method for determining a frequency response of an audio system

Publications (1)

Publication Number Publication Date
CN117795987A true CN117795987A (zh) 2024-03-29

Family

ID=78080415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180101527.1A Pending CN117795987A (zh) 2021-08-13 2021-08-13 用于确定音频系统的频率响应的方法

Country Status (2)

Country Link
CN (1) CN117795987A (zh)
WO (1) WO2023018349A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005083921A1 (en) 2004-02-27 2005-09-09 Nokia Corporation Method for predicting the perceptual quality of audio signals
US8311232B2 (en) 2004-03-02 2012-11-13 Harman International Industries, Incorporated Method for predicting loudspeaker preference
KR100829870B1 (ko) * 2006-02-03 2008-05-19 한국전자통신연구원 멀티채널 오디오 압축 코덱의 음질 평가 장치 및 그 방법
US8238563B2 (en) * 2008-03-20 2012-08-07 University of Surrey-H4 System, devices and methods for predicting the perceived spatial quality of sound processing and reproducing equipment
US10685663B2 (en) * 2018-04-18 2020-06-16 Nokia Technologies Oy Enabling in-ear voice capture using deep learning

Also Published As

Publication number Publication date
WO2023018349A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
Brinkmann et al. A round robin on room acoustical simulation and auralization
Postma et al. Perceptive and objective evaluation of calibrated room acoustic simulation auralizations
JP6325663B2 (ja) 原動機駆動移動体のノイズ源のノイズ音寄与度を決定する方法
CN103355001B (zh) 用以利用下变频混频器来分解输入信号的装置和方法
US20050244011A1 (en) Method and apparatus to measure sound quality
EP0989776A2 (en) A Method for loudness calibration of a multichannel sound systems and a multichannel sound system
JP5255067B2 (ja) 音声システム・シミュレーションのためのシステム及び方法
US9860641B2 (en) Audio output device specific audio processing
JP2023169348A (ja) アクティブノイズ管理システムのための仮想テスト環境
KR20140036173A (ko) 분해기를 이용하여 출력 신호를 생성하는 장치 및 방법
Conetta et al. Spatial audio quality perception (part 2): a linear regression model
US8964996B2 (en) Method and arrangement for auralizing and assessing signal distortion
Ick et al. Blind acoustic room parameter estimation using phase features
CN111935624B (zh) 车内音响空间感的客观评价方法、系统、设备及存储介质
CN117795987A (zh) 用于确定音频系统的频率响应的方法
Scharrer et al. Blind reverberation time estimation
WO2022225413A1 (en) Methods and system for determining a sound quality of an audio system
KR20220150689A (ko) 차량의 가상 엔진음 튜닝 장치 및 그 방법
JP2019184933A (ja) マルチチャンネル客観評価装置及びプログラム
Chun et al. Short-term annoyance model of combined aircraft and road traffic noise based on partial loudness model
Jin et al. Acoustic room compensation using local PCA-based room average power response estimation
Koya Predicting the Overall Spatial Quality of Automotive Audio Systems
JP2023049443A (ja) 推定装置および推定方法
Saini et al. An end-to-end approach for blindly rendering a virtual sound source in an audio augmented reality environment
Darabundit et al. PROBABILISTIC REVERBERATION MODEL BASED ON ECHO DENSITY AND KURTOSIS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication