CN109121067B - 多声道响度均衡方法和设备 - Google Patents

多声道响度均衡方法和设备 Download PDF

Info

Publication number
CN109121067B
CN109121067B CN201811223436.1A CN201811223436A CN109121067B CN 109121067 B CN109121067 B CN 109121067B CN 201811223436 A CN201811223436 A CN 201811223436A CN 109121067 B CN109121067 B CN 109121067B
Authority
CN
China
Prior art keywords
sound
images
level
output array
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811223436.1A
Other languages
English (en)
Other versions
CN109121067A (zh
Inventor
邱锋海
匡敬辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sound+ Technology Co ltd
Original Assignee
Beijing Sound+ Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sound+ Technology Co ltd filed Critical Beijing Sound+ Technology Co ltd
Priority to CN201811223436.1A priority Critical patent/CN109121067B/zh
Publication of CN109121067A publication Critical patent/CN109121067A/zh
Application granted granted Critical
Publication of CN109121067B publication Critical patent/CN109121067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Abstract

本发明提供了一种多声道响度均衡的方法和设备。在实施例中，该方法包括：从多声道信号提取和各声像的电平大小和方位；根据预设输出阵列的频响特性、各声像的电平大小和目标响度，确定独立于各声像的响度增益函数；根据响度增益函数和实际输出阵列的频响特性，调整各声像中各声像的电平大小；根据各声像的方位和调整后的声像电平大小，分配各输出声道的多声道信号给实际输出阵列。根据本发明实施例，基于声像响度开展多声道的联合动态均衡，保证在不同音量和不同声重放设备的频响特性下的声场感知的频谱平衡以及声场中各声像的方位稳定。

Description

多声道响度均衡方法和设备
技术领域
本申请涉及音频信号处理领域，尤其涉及一种多声道响度均衡方法和设备。
背景技术
扬声器系统从诞生至今，经历单声道、立体声、环绕声、模拟3D、全息3D等不同阶段，通道数越来越多，同时逐步从立体音效到环绕音效，再发展到现在的3D音效。人们在不断追求越来越丰富的音频体验，希望能够用扬声器来真实再现空间物理声场，获得类似于自然环境中的听音感受。在移动终端则采用耳机来播放3D音频。
由于人耳对低频、中频、高频的相对感知大小随声压级非线性变化，扬声器或耳机的线性均衡(频域各子带增加或减小相同的声压级)将造成人耳感知到的频谱平衡发生变化，影响音频的音色和艺术效果表达。因此需要对音频进行非线性均衡，比如自动增益控制、动态范围控制、动态均衡等。
扬声器阵列或耳机的传统动态均衡方法对各个声道展开独立的动态均衡，容易导致声像方位漂移，或者说声像方位失真。对于3D音频重放，这种传统的动态均衡方法往往会破坏原始的声像位置。
发明内容
本发明实施例在第一方面提供了一种多声道响度均衡的方法，包括：从N个声道的第一多声道信号提取和具有N个重放单元的第一输出阵列相符的K个声像的电平大小和方位；其中，N≥2，K≥1；第一输出阵列是在编码时所预设的用于再现第一多声道信号的阵列；根据第一输出阵列的频响特性、K个声像的电平大小和目标响度，确定独立于各声像的响度增益函数；根据响度增益函数和具有M个重放单元的第二输出阵列的频响特性，调整K个声像中各声像的电平大小；其中，M≥2；根据K个声像的方位和 K个声像的调整后的声像电平大小，分配M个声道的第二多声道信号给第二输出阵列。
在第一方面的可能实施方式中，所述从N个声道的第一多声道信号提取和具有N个重放单元的第一输出阵列相符的K个声像的电平大小和方位包括，根据第一输出阵列的N个重放单元的方位，从第一多声道信号分离得到K个声像在N个声道上的声像成分信号；利用矢量合成，从声像成分信号提取K个声像的电平大小和方位。
在第一方面的可能实施方式中，根据第一输出阵列的频响特性、K个声像的电平大小和目标响度，确定独立于各声像的响度增益函数包括，根据K个声像中各声像的电平大小和第一输出阵列的N个重放单元的频响特性，计算K个声像中各声像的声压级；将K个声像中各声像的声压级划分成K个声像在P个子带的声压级信号；根据K个声像在P个子带的声压级信号，确定P个子带中各子带的当前声压级；根据P个子带的期望声压级和P个子带的当前声压级，确定P个子带的增益函数，由此构成所述响度增益函数；其中，P个子带的期望声压级由P个子带的当前声压级和预设响度变化公式而确定；根据响度增益函数和具有M个重放单元的第二输出阵列的频响特性，调整K个声像中各声像的电平大小包括，根据P个子带的增益函数，确定K个声像在P个子带的期望声压级；根据K个声像在P 个子带的期望声压级，确定K个声像中各声像的期望声压级；根据K个声像的期望声压级和第二输出阵列的频响特性，调整各声像的电平大小。在第一方面的进一步的可能实施方式中，所述从N个声道的第一多声道信号提取和具有N个重放单元的第一输出阵列相符的K个声像的电平大小和方位包括从N个声道的第一多声道信号提取和第一输出阵列相符的N个声道的离散成分信号；所述方法还包括根据K个声像的期望声压级之和与K个声像的当前声压级之和，调整N个声道的离散成分信号；根据N个声道调整后的离散成分信号，分配M个声道的离散成分信号给第二输出阵列的M 个重放单元；所述方法还包括将M个第二声道的第二多声道信号和M个声道的离散成分信号按声道叠加。
在第一方面的可能实施方式中，根据K个声像的方位和K个声像的调整后的声像电平大小，分配M个声道的第二多声道信号给第二输出阵列包括，从第二输出阵列的M个重放单元中选择与K个声像中各声像的方位相邻的至少一个第一重放单元，将该声像的电平大小通过矢量平移分配给所述至少一个第一重放单元，由此确定分配给至少一个第一重放单元的声道信号。
在第一方面的可能实施方式中，所述第二输出阵列包括左耳机单元和右耳机单元，根据K个声像的方位和K个声像的调整后的声像电平大小，分配M个声道的第二多声道信号给第二输出阵列包括，根据左耳的头相关传递函数和右耳的头相关传递函数和K个声像的调整后的声像电平大小，确定左耳机单元和右耳机单元的声道信号。
在第二方面，提供一种多声道响度均衡的设备，包括：提取模块，用于从N个声道的第一多声道信号提取和具有N个重放单元的第一输出阵列相符的K个声像的电平大小和方位；其中，N≥2，K≥1；第一输出阵列是在编码时所预设的用于再现第一多声道信号的阵列；确定模块，用于根据第一输出阵列的频响特性、K个声像的电平大小和目标响度，确定独立于各声像的响度增益函数；调整模块，用于根据响度增益函数和具有M个重放单元的第二输出阵列的频响特性，调整K个声像中各声像的电平大小；其中，M≥2；分配模块，用于根据K个声像的方位和K个声像的调整后的声像电平大小，分配M个声道的第二多声道信号给第二输出阵列。
在第二方面的可能实施方式中，所述提取模块根据第一输出阵列的N 个重放单元的方位，从第一多声道信号分离得到K个声像在N个声道上的声像成分信号；利用矢量合成，从声像成分信号提取K个声像的电平大小和方位。
在第二方面的可能实施方式中，确定模块根据K个声像中各声像的电平大小和第一输出阵列的N个重放单元的频响特性，计算K个声像中各声像的声压级；将K个声像中各声像的声压级划分成K个声像在P个子带的声压级信号；根据K个声像在P个子带的声压级信号，确定P个子带中各子带的当前声压级；根据P个子带的期望声压级和P个子带的当前声压级，确定P个子带的增益函数，由此构成所述响度增益函数；其中，P个子带的期望声压级由P个子带的当前声压级和预设响度变化公式而确定；调整模块根据P个子带的增益函数，确定K个声像在P个子带的期望声压级；根据K个声像在P个子带的期望声压级，确定K个声像中各声像的期望声压级；根据K个声像的期望声压级和第二输出阵列的频响特性，调整各声像的电平大小。
在第二方面的进一步的可能实施方式中，所述提取模块从N个声道的第一多声道信号提取和第一输出阵列相符的N个声道的离散成分信号；所述设备还包括离散成分调整模块，根据K个声像的期望声压级之和与K个声像的当前声压级之和，调整N个声道的离散成分信号；离散成分分配模块，根据N个声道调整后的离散成分信号，分配M个声道的离散成分信号给第二输出阵列的M个重放单元；叠加模块，将M个第二声道的第二多声道信号和M个声道的离散成分信号按声道叠加。
在第二方面的可能实施方式中，分配模块从第二输出阵列的M个重放单元中选择与K个声像中各声像的方位相邻的至少一个第一重放单元，将该声像的电平大小通过矢量平移分配给所述至少一个第一重放单元，由此确定分配给至少一个第一重放单元的声道信号。
在第二方面的可能实施方式中，所述第二输出阵列包括左耳机单元和右耳机单元，分配模块根据左耳的头相关传递函数和右耳的头相关传递函数和K个声像的调整后的声像电平大小，确定左耳机单元和右耳机单元的声道信号。
根据本发明实施例，基于声像响度开展多声道的联合动态均衡，保证在不同音量和不同声重放设备的频响特性下的声场感知的频谱平衡以及声场中各声像的方位稳定。根据本发明实施例的方法和设备对多声道声重放以及上混下混等多种重放形式都具有普遍适应性。
附图说明
图1是根据本发明实施例的多声道重放设备的结构框图；
图2是双声道扬声器阵列示例；
图3是五声道扬声器阵列示例；
图4是根据本发明实施例的扬声器阵列输入、扬声器阵列输出时的响度均衡方法；
图5是根据本发明实施例的扬声器阵列输入、耳机输出时的响度均衡方法；
图6是响度计算流程图。
图7示意了根据本说明书实施例的可用于实现上述各种技术的设备的详细结构图；
图8是多声道响度均衡的设备。
具体实施方式
越来越多的多声道应用，通过非线性均衡(也可以表述成动态范围压缩、自动增益控制、动态均衡)来实现频谱平衡和保持音色。如何在3D 音频重放时使用非线性均衡达到既能保持音色和频谱平衡又能保持声像方位稳定，无论对扬声器阵列系统还是耳机重放都有重要意义。
在本发明实施例中,首先从多声道信号中推导出声像的大小和方位，根据声像的目标响度和实际重放单元的频响特性计算声像的响度增益函数，在此基础上修改声像的大小。经修改的声像信号根据声像方位和阵列方位分配给实际的重放单元。
图1是根据本发明实施例的多声道重放设备的结构框图。如图1所示，多声道重放设备的左侧是信号输入单元，用于接收多声道信号。多声道信号可以是立体声，也可以是5.1或7.1的多声道信号。本领域技术人员了解，这些多声道信号一般会对应于一个重放单元阵列，本说明书称之为参考或预设输出阵列，由该预设输出阵列可以较佳地再现多声道信号。预设输出阵列由多个重放单元构成，每个声道对应一个重放单元，比如扬声器或者耳机。在预设输出阵列具有L个重放单元的情况下，输入的多声道信号分别为x1(t)，x2(t)，…xL(t)；和各声道对应的重放单元的方位分别为
Figure BDA0001835355080000061
(该扬声器方位是基于皇帝位为中心时的方位)。图2是产生立体声的双声道扬声器阵列的示例，而图3是产生5.0环绕声的五声道扬声器阵列的示例。
多声道重放设备的右侧是信号输出单元，用于输出多声道信号，可以供给实际输出阵列重放。实际输出阵列可以是扬声器阵列，也可以是耳机。在实际输出阵列具有M个重放单元的情况下，待送往重放单元的各个声道的输出信号为q1(t)，q2(t)，…qM(t)，而重放单元的方位分别记为
Figure BDA0001835355080000062
实际输出阵列可以具有和预设输出阵列相同的重放单元数和配置方位，也可以具有不同的重放单元数和配置方位。比如，输入信号为5.1多声道信号，相应地，预设输出阵列是重放5.1多声道信号的5+1扬声器阵列。而实际输出阵列则可以是重放7.1多声道信号的7+1扬声器阵列。在上混下混声重放的场景下，预设输出阵列和实际输出阵列的重放单元数和方位均是不同的。在某些场景下，希望对不同扬声器系统(比如A和B系统) 的音质进行比较，此时需要各自的驱动信号相对吻合，此时，A系统可以设定为预设输出阵列，而B系统可以设定为实际输出阵列。
在多声道重放设备的中间是信号处理器，信号处理器用于实现基于声像响度和方位的多声道联合非线性均衡。对于输入的多声道信号，可通过声源相干分析方法、盲源分离方法等分解出声像相关的相干成分，推导出声像的电平大小和方位。将声像的电平信号经预设输出阵列的频响特性转换为声压级。然后，根据每个声像的目标响度计算声像增益函数；其中，声像增益函数独立于单个的声像。基于声像增益函数，可以调整各声像的声压级大小。经调整的或期望的各声像的声压级经实际输出阵列的频响特性转换为电平信号后，按照声像方位和实际输出阵列方位分配给实际输出阵列的各重放单元。需要注意，预设输出阵列和实际输出阵列可以具有不同的频响特性。
本发明实施例基于各声像的特点和期望响度进行编码再解码到各个扬声器，打破了传统对多声道重放时各声道独立均衡的观念。传统方法在扬声器阵列的解码后进行动态均衡，而本发明实施例在扬声器信号解码前进行动态均衡。本发明实施例对多声道声重放以及上混下混等多种重放形式都具有普遍适应性。
在一个实施例中，可以确定各声像在不同子带的声压级信号和相应响度，然后利用各子带的响度与各子带的期望响度，确定各子带的子带增益函数，由此确定声像增益函数；根据各子带的子带增益函数，调整各声像在各子带的输出声压级，由此确定各声像的期望电平信号。
下文将结合图4详细描述本发明的具体实施例。图4示意了扬声器阵列输入、扬声器阵列输出时的响度均衡方法。如图4所示，根据本发明实施例的响度均衡主要包括五个部分：相干成分分离；声像电平大小和方位提取；响度计算；期望声像和离散成分计算；和，期望声道相干成分和离散成分分配。
1.相干成分分离
在图的左侧有多声道信号。图中示意有N个声道的信号，分别为 x1(t)，x2(t)，…xN(t)。与N声道对应的预设输出阵列各重放单元(例如扬声器)方位分别为
Figure BDA0001835355080000071
(该扬声器方位是基于皇帝位为中心时的方位)。预设输出阵列是在编码时所预设的用于再现第一多声道信号的阵列
第i个声道的信号xi(n)通常由如下相干成分和离散成分组成：
Figure BDA0001835355080000081
其中，sik(t)表示在t时刻第k个声像在第i个声道上分配的相干成分。这里假设在多声道信号中存在K个声像。ei(t)表示第i个声道的离散成分，比如噪声、晚期混响声等。
每个声道里不同声像的各个相干成分sik(t)互不相关，各相干成分与离散成分互不相关；相反，每个声像在各个声道分配的相干成分彼此相关性很高。因此，对于多声道信号，可以根据各成分的相关性进行相干信号分离。例如，可以通过主成分分析方法(PCA:Principal Component Analysis)、独立成份分析方法(ICA：Independent ComponentAnalysis)、盲源分离方法(BSS：Blind Source Separation)等进行各声道的相干成分分离。
如果对信号进行短时频域分析，(1)式的频域表达式如下：
Figure BDA0001835355080000082
其中，Sik(jw)表示某短时帧中第k个声像在第i个声道上分配的相干(频率)成分，Ei(jw)表示对应短时帧中第i个声道的离散(频率)成分，比如噪声、晚期混响声等。短时频域分析可以通过快速傅里叶(FFT：Fast Fourier Transform)实现。
当然，本领域的技术人员意识到，相干信号分离也可以直接在频域实现。这里不复赘述。
2.声像大小和方位提取
基于预设输出阵列中的扬声器方位
Figure BDA0001835355080000083
和各声像在各声道中的成分电平大小Sik(jw)，可以通过矢量合成方法提取第k个声像的电平大小Yk(jω)和感知方位
Figure BDA0001835355080000084
假设在提取声像前后声像的大小和方位维持基本不变，则通过如下条件推出声像的电平大小Yk(jω)和感知方位
Figure BDA0001835355080000085
Figure BDA0001835355080000091
Figure BDA0001835355080000092
可以得到输入或参考扬声器布局下的声像电平大小和感知方位，所推出的声像符合原始扬声器阵列声重放的方向感知特性。
同样，如果要求实际输出阵列的扬声器方位和声像感知方位之间在分配声像前后声像的大小和方位维持基本不变，则通过实际输出阵列感知的声像方位与通过预设输出阵列感知的声像方位相近。
3.声像的响度计算或均衡
由于扬声器或者耳机单元本身的声重放特性(如频响)或者节目源的要求(如交响乐本身的音量动态范围很大)或者人耳的感知特点(如听力损失人群)等原因，需要对音频进行自动增益控制、动态范围控制、动态均衡等非线性均衡。如果这种响度均衡在用于扬声器阵列重放时，基于各声道独立地计算响度，那么该非线性均衡方法极可能破坏原始声像的方位。
因此，有必要基于声像响度和方位，多声道联合进行非线性均衡。可以将各声像的大小从电平域转换到声压级域和响度域，然后根据目标响度确定响度增益函数，并且根据响度增益函数调整声像的声压级，再次将调整后的声像大小从声压级域转换回电平域。在一个实施例中，可以在子带实施多声道联合的非线性均衡。图6是子带响度计算的结构分解图。如图 6所示，响度均衡可以分为声压级计算、子带声压级计算、子带响度计算、子带期望响度计算、子带期望声压级计算。具体步骤如下。
1)根据各声像的电平大小Yk(jω)和预设输出阵列的频响Hin(jω)分别计算各声像的参考(或输入)声压级SPLk(jω)。在一个例子中，预设输出阵列的各重放单元的频响是一致的。
SPLk(jω)＝20log10((Yk(jω)Hin(jω))/(2×10-5)) (5)
2)通过具有听觉感知特性的子带分析滤波器或者粗略频域分带等方法，将各声像的参考声压级SPLk(jω)划分成P个子带，第k个声像第p 个子带的参考声压级信号为SPLkp(jω)，
3)根据各声像在第p个子带的参考声压级SPLkp(jω)，求出在第p 子带的参考(或当前)声压级SPLpSUM(jω)
Figure BDA0001835355080000101
4)根据ISO226中子带总声压级和响度的关系，由SPLkp(jω)计算第 k个声像在第p个子带的子带参考或当前特性响度Lkp(jω)，并且根据预设响度变化公式计算第k个声像在第p个子带的期望响度
Figure BDA0001835355080000102
或者称之为输出响度，
Figure BDA0001835355080000103
5)根据ISO226中子带总声压级和响度的关系，由期望响度
Figure BDA0001835355080000104
推出各个子带的期望声压级
Figure BDA0001835355080000105
然后计算第k个声像在第p个子带的期望声压级
Figure BDA0001835355080000106
Figure BDA0001835355080000107
第p子带的期望声压级
Figure BDA0001835355080000108
与第p子带的参考或当前声压级 SPLpSUM(jω)之比，可以视作为声像在第p子带的增益函数。由于该增益函数是依据响度而确定，因此也可称为响度增益函数。当然，本领域的技术人员意识到，可以采取其它的方式确定声像的增益函数。
6)将第K个声像的P个子带的声压级
Figure BDA0001835355080000109
拼接在一起得到
Figure BDA00018353550800001010
即为第k个声像的期望声压级。这样推导出了各声像的期望声压级。
7)接下来要获取各声道离散成分的期望声压级
Figure BDA00018353550800001011
Figure BDA00018353550800001012
对离散成分的均衡，可以是线性均衡也可以是非线性均衡，主要保证输出的声像成分和离散成分的能量比与输入时保持接近。在一个例子中，可以按下式根据各声像的期望声压级之和与参考或当前声压级之和来调整各声道离散成分的期望声压级。当然，本领域的技术人员意识到，可以采取其它的均衡离散成分的方法。
Figure BDA0001835355080000111
前文采用子带分析的方法进行声像的响度均衡。但是，本领域的技术人员意识到，子带分析滤波器也可以替换成FFT变换，在频域进行粗略分带估算每个频带的能量。采用FFT变换，运算量小，而且可以和响度的计算共用处理模块。
由于上述基于响度计算的均衡方法可以在变化音频动态范围或者提升重放音量的同时保持音频感知的频谱平衡，从而有效地保护了音频的音色音质。
4.期望声像及离散成分计算
根据实际输出阵列的频响特性Hout(jω)和第k个声像的输出声压级
Figure BDA0001835355080000112
推出第k个声像的期望或输出电平信号
Figure BDA0001835355080000113
Figure BDA0001835355080000114
类似地，推出各个声道离散成分的期望或输出电平信号。
Figure BDA0001835355080000115
在实际输出阵列为扬声器阵列的情况下，根据重放扬声器的布局和声像的估计方位来把输出的声像分配给待重放的各个扬声器。
(1)假设实际输出阵列中有M个扬声器，各扬声器的方位分别记为
Figure BDA0001835355080000116
(该扬声器方位是基于皇帝位为中心时的方位)。对于第k个声像
Figure BDA0001835355080000117
和其方位
Figure BDA0001835355080000118
从实际输出阵列中选择与
Figure BDA0001835355080000119
最邻近的几个扬声器方位
Figure BDA00018353550800001110
通过矢量平移法将第k个声像
Figure BDA00018353550800001111
分配给这几个邻近的扬声器,各个扬声器的被分配的声像电平大小为 T1k(jω)，T2k(jω)…TMk(jω)。
假设在声像分配前后声像的大小和方位维持基本不变，则可通过如下条件确定分配给扬声器的声像的电平大小T1k(jω)，T2k(jω)…TMk(jω)：
Figure BDA00018353550800001112
这里Tik(jω)有多解，可以求出优化解。优化解是用最少的扬声器数量和与声像角度最邻近的扬声器进行矢量合成得到。
实际输出阵列各扬声器的相干成分为各声像分配到该扬声器的电平大小之和，即
Figure BDA0001835355080000121
(2)实际输出阵列各扬声器的离散成分设为G1(jω)，G2(jω)…GM(jω), 通过矢量平移法将预设输出阵列的离散成分输出值
Figure BDA0001835355080000122
(对应预设输出阵列的扬声器的方位为
Figure BDA0001835355080000123
)分配给邻近的扬声器，实际输出阵列各扬声器所分配到的来自预设输出阵列第i声道的离散成分大小为G1i(jω)，G2i(jω)…GMi(jω)。
假设从预设输出阵列变换到实际输出阵列，离散成分的大小和方位维持基本不变，则可以按下式确定G1i(jω)，G2i(jω)…GMi(jω)：
Figure BDA0001835355080000124
这里Gji(jω)有多解，可以求出优化解。优化解是用最少的扬声器数量和与原始扬声器方位最邻近的扬声器进行矢量合成得到。
实际输出阵列中各个扬声器的离散成分为预设输出阵列各声道分配到该扬声器的离散成分之和，即
Figure BDA0001835355080000125
本领域的技术人员意识到，离散成分的求解可以不通过采用矢量合成的方法得到。可以在不考虑方向信息的情况下，采用更简单的方法。比如，可以通过简单的算术平均的方法得到。
(3)假设待重放扬声器的各个通道的输出信号为q1(t)，q2(t)，…qM(t)，频域表示为Q1(jω)，Q2(jω)，…QM(jω)，
Figure BDA0001835355080000126
在3D声重放时即使调整音量和扬声器位置也能保持音色的频谱平衡和声像方位稳定。
上文结合预设输出阵列和实际输出阵列可能不同的扬声器阵列重放进行了描述。在本说明书中，声重放不仅包括上混下混声重放，还可以包括保持预设输出阵列与实际输出阵列阵型一致的声重放以及耳机声重放。图 5示意了扬声器阵列输入、耳机输出时的响度均衡方法。图5不同于图4 的地方在于最后一个环节，耳机声重放环节，或者说期望声道相干成分和离散成分分配。
在耳机声重放中，采用头相关传递函数(hrtf:head related transferfunction)表述声波从声源到双耳的传输过程。用
Figure BDA0001835355080000131
和
Figure BDA0001835355080000132
表示声源
Figure BDA0001835355080000133
方向分别到达人耳左右耳道处的传递函数的时域表达，用
Figure BDA0001835355080000134
和
Figure BDA0001835355080000135
表示声源
Figure BDA0001835355080000136
方向分别到达人耳左右耳道处的传递函数的频域表达。可以采用真人的数据也可以采用人工头的数据，可以是在自由场或者混响场的传递函数。
(1)计算左右各个耳机单元的输出信号中的相干成分TL(jω)和 TR(jω)
Figure BDA0001835355080000137
Figure BDA0001835355080000138
(2)计算左右各个耳机单元的输出信号中的离散成分GL(jω)和 GR(jω)。关于该离散成分的计算，可以有多种方法，且不需要考虑加入hrtf 因素。
比如：将左半平面的原始离散成分按一定比例分配给GL(jω)，将又半平面的原始离散成分按一定比例分配给GR(jω)。
(3)计算左右各个耳机单元的信号QL(jω)和QR(jω)
Figure BDA0001835355080000139
考虑3D声场中各声像的响度和方位，本发明实施例确保动态均衡不会导致音色的失真和方位的混乱。实际实验证明，本发明实施例在3D声重放时即使调整音量和扬声器位置也能保持音色的频谱平衡和声像方位稳定。
图7示意了根据本说明书实施例的可用于实现上述各种技术的设备的详细结构图。该结构图示意了可实现图4-图6所示方法流程的硬件基础。如图7所示，设备可包括处理器702，该处理器用于控制设备的总体操作的微处理器或控制器711。数据总线715可用于在存储装置740、处理器 702和控制器717等之间进行数据传输。控制器711可用于通过设备控制总线717与不同设备进行交互并对其进行控制。设备还可包括耦接至数据链路712的网络/总线接口714。在无线连接的情况下，网络/总线接口714 可包括无线收发器。
设备还包括存储装置740。在一个例子中，该存储装置存储有软件；在运行时，软件自RAM740中加载于RAM720中，并且由此控制处理器702 执行相应操作，操作包括：从N个声道的第一多声道信号提取和具有N个重放单元的预设输出阵列相符的K个声像的电平大小和方位；其中，N≥2， K≥1；根据预设输出阵列的频响特性、K个声像的电平大小和目标响度，确定独立于各声像的响度增益函数；根据响度增益函数和具有M个重放单元的实际输出阵列的频响特性，调整K个声像中各声像的电平大小；其中， M≥2；根据K个声像的方位和K个声像的调整后的声像电平大小，分配M 个声道的第二多声道信号给具有M个重放单元的实际输出阵列。
应当理解，这里描述的设备在很多方面可以利用前面描述的方法实施例或与之结合。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书各实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图4-图6所描述的方法。
图8示意了本说明书各实施例所描述的功能采用硬件、固件或者其组合或者与软件组合时的一些可能的方案。具体地，图8是多声道响度均衡的设备，该设备包括：提取模块802，用于从N个声道的第一多声道信号提取和具有N个重放单元的预设输出阵列相符的K个声像的电平大小和方位；其中，N≥2，K≥1；确定模块804，用于根据预设输出阵列的频响特性、K个声像的电平大小和目标响度，确定独立于各声像的响度增益函数；调整模块806，用于根据响度增益函数和具有M个重放单元的实际输出阵列的频响特性，调整K个声像中各声像的电平大小；其中，M≥2；分配模块808，用于根据K个声像的方位和K个声像的调整后的声像电平大小，分配M个声道的第二多声道信号给实际输出阵列。
应当理解，这里描述的多声道响度均衡设备在很多方面可以利用前面描述的方法实施例或与之结合。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种多声道响度均衡的方法，包括：
从N个声道的第一多声道信号提取和具有N个重放单元的第一输出阵列相符的K个声像的电平大小和方位；其中，N≥2，K≥1；第一输出阵列是在编码时所预设的用于再现第一多声道信号的阵列；
根据第一输出阵列的频响特性、K个声像的电平大小和目标响度，计算K个声像中各个声像的声压级；将K个声像中各个声像的声压级划分成K个声像在P个子带的声压级信号，根据P个子带的期望声压级信号和当前声压级信号，确定独立于各声像的响度增益函数；
根据响度增益函数和具有M个重放单元的第二输出阵列的频响特性，调整K个声像中各声像的电平大小；其中，M≥2；
根据K个声像的方位和K个声像的调整后的声像电平大小，分配M个声道的第二多声道信号给第二输出阵列。
2.如权利要求1所述的方法，其中，所述从N个声道的第一多声道信号提取和具有N个重放单元的第一输出阵列相符的K个声像的电平大小和方位包括，根据第一输出阵列的N个重放单元的方位，从第一多声道信号分离得到K个声像在N个声道上的声像成分信号；利用矢量合成，从声像成分信号提取K个声像的电平大小和方位。
3.如权利要求1所述的方法，其中根据P个子带的期望声压级信号和当前声压级信号，确定独立于各声像的响度增益函数包括，根据K个声像在P个子带的声压级信号，确定P个子带中各子带的当前声压级；根据P个子带的期望声压级和P个子带的当前声压级，确定P个子带的增益函数，由此构成所述响度增益函数；其中，P个子带的期望声压级由P个子带的当前声压级和预设响度变化公式而确定；
根据响度增益函数和具有M个重放单元的第二输出阵列的频响特性，调整K个声像中各声像的电平大小包括，根据P个子带的增益函数，确定K个声像在P个子带的期望声压级；根据K个声像在P个子带的期望声压级，确定K个声像中各声像的期望声压级；根据K个声像的期望声压级和第二输出阵列的频响特性，调整各声像的电平大小。
4.如权利要求3所述的方法，其中所述从N个声道的第一多声道信号提取和具有N个重放单元的第一输出阵列相符的K个声像的电平大小和方位包括从N个声道的第一多声道信号提取和第一输出阵列相符的N个声道的离散成分信号；
所述方法还包括根据K个声像的期望声压级之和与K个声像的当前声压级之和，调整N个声道的离散成分信号；根据N个声道调整后的离散成分信号，分配M个声道的离散成分信号给第二输出阵列的M个重放单元；所述方法还包括将M个第二声道的第二多声道信号和M个声道的离散成分信号按声道叠加。
5.如权利要求1所述的方法，其中根据K个声像的方位和K个声像的调整后的声像电平大小，分配M个声道的第二多声道信号给第二输出阵列包括，从第二输出阵列的M个重放单元中选择与K个声像中各声像的方位相邻的至少一个第一重放单元，将该声像的电平大小通过矢量平移分配给所述至少一个第一重放单元，由此确定分配给至少一个第一重放单元的声道信号。
6.如权利要求1所述的方法，其中所述第二输出阵列包括左耳机单元和右耳机单元，根据K个声像的方位和K个声像的调整后的声像电平大小，分配M个声道的第二多声道信号给第二输出阵列包括，根据左耳的头相关传递函数和右耳的头相关传递函数和K个声像的调整后的声像电平大小，确定左耳机单元和右耳机单元的声道信号。
7.一种多声道响度均衡的设备，包括：
提取模块，用于从N个声道的第一多声道信号提取和具有N个重放单元的第一输出阵列相符的K个声像的电平大小和方位；其中，N≥2，K≥1；第一输出阵列是在编码时所预设的用于再现第一多声道信号的阵列；
确定模块，用于根据第一输出阵列的频响特性、K个声像的电平大小和目标响度，计算K个声像中各个声像的声压级；将K个声像中各个声像的声压级划分成K个声像在P个子带的声压级信号，根据P个子带的期望声压级信号和当前声压级信号，确定独立于各声像的响度增益函数；
声像调整模块，用于根据响度增益函数和具有M个重放单元的第二输出阵列的频响特性，调整K个声像中各声像的电平大小；其中，M≥2；
分配模块，用于根据K个声像的方位和K个声像的调整后的声像电平大小，分配M个声道的第二多声道信号给第二输出阵列。
8.如权利要求7所述的设备，其中，所述提取模块根据第一输出阵列的N个重放单元的方位，从第一多声道信号分离得到K个声像在N个声道上的声像成分信号；利用矢量合成，从声像成分信号提取K个声像的电平大小和方位。
9.如权利要求7所述的设备，其中确定模块根据K个声像在P个子带的声压级信号，确定P个子带中各子带的当前声压级；根据P个子带的期望声压级和P个子带的当前声压级，确定P个子带的增益函数，由此构成所述响度增益函数；其中，P个子带的期望声压级由P个子带的当前声压级和预设响度变化公式而确定；
调整模块根据P个子带的增益函数，确定K个声像在P个子带的期望声压级；根据K个声像在P个子带的期望声压级，确定K个声像中各声像的期望声压级；根据K个声像的期望声压级和第二输出阵列的频响特性，调整各声像的电平大小。
10.如权利要求9所述的设备，其中所述提取模块从N个声道的第一多声道信号提取和第一输出阵列相符的N个声道的离散成分信号；
所述设备还包括离散成分调整模块，根据K个声像的期望声压级之和与K个声像的当前声压级之和，调整N个声道的离散成分信号；
离散成分分配模块，根据N个声道调整后的离散成分信号，分配M个声道的离散成分信号给第二输出阵列的M个重放单元；
叠加模块，将M个第二声道的第二多声道信号和M个声道的离散成分信号按声道叠加。
11.如权利要求7所述的设备，其中分配模块从第二输出阵列的M个重放单元中选择与K个声像中各声像的方位相邻的至少一个第一重放单元，将该声像的电平大小通过矢量平移分配给所述至少一个第一重放单元，由此确定分配给至少一个第一重放单元的声道信号。
12.如权利要求7所述的设备，其中所述第二输出阵列包括左耳机单元和右耳机单元，分配模块根据左耳的头相关传递函数和右耳的头相关传递函数和K个声像的调整后的声像电平大小，确定左耳机单元和右耳机单元的声道信号。
CN201811223436.1A 2018-10-19 2018-10-19 多声道响度均衡方法和设备 Active CN109121067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811223436.1A CN109121067B (zh) 2018-10-19 2018-10-19 多声道响度均衡方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811223436.1A CN109121067B (zh) 2018-10-19 2018-10-19 多声道响度均衡方法和设备

Publications (2)

Publication Number Publication Date
CN109121067A CN109121067A (zh) 2019-01-01
CN109121067B true CN109121067B (zh) 2020-06-09

Family

ID=64855100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811223436.1A Active CN109121067B (zh) 2018-10-19 2018-10-19 多声道响度均衡方法和设备

Country Status (1)

Country Link
CN (1) CN109121067B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1277532A (zh) * 1999-06-10 2000-12-20 三星电子株式会社 多声道音频重放装置和方法
CN101483416A (zh) * 2009-01-20 2009-07-15 杭州火莲科技有限公司 一种语音的响度均衡处理方法
CN107093991A (zh) * 2013-03-26 2017-08-25 杜比实验室特许公司 基于目标响度的响度归一化方法和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039204B2 (en) * 2002-06-24 2006-05-02 Agere Systems Inc. Equalization for audio mixing
US9253586B2 (en) * 2013-04-26 2016-02-02 Sony Corporation Devices, methods and computer program products for controlling loudness

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1277532A (zh) * 1999-06-10 2000-12-20 三星电子株式会社 多声道音频重放装置和方法
CN101483416A (zh) * 2009-01-20 2009-07-15 杭州火莲科技有限公司 一种语音的响度均衡处理方法
CN107093991A (zh) * 2013-03-26 2017-08-25 杜比实验室特许公司 基于目标响度的响度归一化方法和设备

Also Published As

Publication number Publication date
CN109121067A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
US10757529B2 (en) Binaural audio reproduction
KR102529122B1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP4921470B2 (ja) 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置
US5594800A (en) Sound reproduction system having a matrix converter
EP3061268B1 (en) Method and mobile device for processing an audio signal
US20150131824A1 (en) Method for high quality efficient 3d sound reproduction
EP0571455B1 (en) Sound reproduction system
KR20080060640A (ko) 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
JP6552132B2 (ja) 音声信号のクロストーク低減のための音声信号処理装置および方法
CA2983359C (en) An audio signal processing apparatus and method
Garí et al. Flexible binaural resynthesis of room impulse responses for augmented reality research
WO2019239011A1 (en) Spatial audio capture, transmission and reproduction
TWI745795B (zh) 使用低階、中階及高階分量產生器用於編碼、解碼、場景處理及基於空間音訊編碼與DirAC有關的其他程序的裝置、方法及電腦程式
EP3613221A1 (en) Enhancing loudspeaker playback using a spatial extent processed audio signal
CN109121067B (zh) 多声道响度均衡方法和设备
CN109923877B (zh) 对立体声音频信号进行加权的装置和方法
WO2017211448A1 (en) Method for generating a two-channel signal from a single-channel signal of a sound source
US11832079B2 (en) System and method for providing stereo image enhancement of a multi-channel loudspeaker setup
US20240056735A1 (en) Stereo headphone psychoacoustic sound localization system and method for reconstructing stereo psychoacoustic sound signals using same
WO2024081957A1 (en) Binaural externalization processing
JP2024502732A (ja) バイノーラル信号の後処理
JP2018101824A (ja) マルチチャンネル音響の音声信号変換装置及びそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant