CN107004427B - 增强多声道音频信号内语音分量的信号处理装置 - Google Patents

增强多声道音频信号内语音分量的信号处理装置 Download PDF

Info

Publication number
CN107004427B
CN107004427B CN201480083921.7A CN201480083921A CN107004427B CN 107004427 B CN107004427 B CN 107004427B CN 201480083921 A CN201480083921 A CN 201480083921A CN 107004427 B CN107004427 B CN 107004427B
Authority
CN
China
Prior art keywords
audio signal
channel audio
center
signal
magnitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480083921.7A
Other languages
English (en)
Other versions
CN107004427A (zh
Inventor
尤尔根·盖革
彼得·格罗舍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107004427A publication Critical patent/CN107004427A/zh
Application granted granted Critical
Publication of CN107004427B publication Critical patent/CN107004427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Abstract

本发明涉及一种信号处理装置，所述多声道音频信号包括左声道音频信号L、中心声道音频信号C和右声道音频信号R，所述信号处理装置包括滤波器和合路器；其中，所述滤波器用于：依据所述音频信号L、C和R确定代表频率上所述多声道音频信号的整体量级的测量，基于所述音频信号C的量级测量与所述整体量级的所述测量之间的比率来获得增益函数G，以及通过G加权所述音频信号L以获得LE，加权所述音频信号C以获得CE,加权所述音频信号R以获得RE；所述合路器用于合并所述音频信号L与LE以获得合路左声道音频信号LEV，合并所述音频信号C与CE以获得合路中心声道音频信号CEV，以及合并所述音频信号R与RE以获得合路右声道音频信号REV。

Description

增强多声道音频信号内语音分量的信号处理装置
技术领域
本发明涉及音频信号处理领域，具体而言涉及多声道音频信号内的语音增强。
背景技术
对于增强娱乐音频信号等多声道音频信号内的语音分量，目前使用不同的方法。
增强语音分量的一种简单方法是加强多声道音频信号中包括的中心声道音频信号，或者相应地削弱其它声道的所有音频信号。该方法利用以下假设：语音通常分配在中心声道音频信号。然而，该方法通常存在语音增强性能较低的问题。
一种更复杂的方式尝试分析各个声道的音频信号。在这一方面，关于中心声道音频信号与其它声道的音频信号之间的关系的信息可以与立体声缩混一起提供，以便能够进行语音增强。然而，该方法无法应用于立体声音频信号，并且要求单独的语音音频声道。
提高软语音分量的电平并削弱多声道音频信号内的高音非语音分量的另一种方法是动态范围压缩(dynamic range compression，DRC)。首先，该方法包括削弱高音分量。然后，提高整体响度水平，这会引起语音或对话加强。然而，该方法未考虑多声道音频信号的本质，并且修改仅与响度水平有关。
发明内容
本发明的目的是提供一种增强多声道音频信号内的语音分量的有效概念。
该目的由独立权利要求的特征来实现。另外的实施形式在从属权利要求、描述内容和附图中显而易见。
本发明是基于以下发现：所述多声道音频信号可以依据增益函数进行滤波，所述增益函数可以根据所述多声道音频信号的所有声道来确定。所述滤波可以基于维纳滤波方法，其中，所述多声道音频信号的中心声道音频信号可以视为包括所述语音分量，所述多声道音频信号的其它声道可以视为包括非语音分量。为了考虑所述多声道音频信号内的所述语音分量在不同时间而发生的变化，还可以执行语音活动监测，其中，可以处理所述多声道音频信号的所有声道以便提供语音活动指示符。所述多声道音频信号可以是输入立体声音频信号的立体声上混过程的结果。因此，可以实现所述多声道音频信号内的所述语音分量的有效增强。
根据第一方面，本发明涉及一种用于增强多声道音频信号内的语音分量的信号处理装置，所述多声道音频信号包括左声道音频信号、中心声道音频信号和右声道音频信号，所述信号处理装置包括滤波器和合路器，其中，所述滤波器用于：依据所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号确定代表频率上所述多声道音频信号的整体量级的测量，基于所述中心声道音频信号的量级测量与代表所述多声道音频信号的所述整体量级的所述测量之间的比率获得增益函数，以及通过所述增益函数加权所述左声道音频信号以获得加权左声道音频信号，通过所述增益函数加权所述中心声道音频信号以获得加权中心声道音频信号，并且通过所述增益函数加权所述右声道音频信号以获得加权右声道音频信号，所述合路器用于：合并所述左声道音频信号与所述加权左声道音频信号以获得合路左声道音频信号，合并所述中心声道音频信号与所述加权中心声道音频信号以获得合路中心声道音频信号，以及合并所述右声道音频信号与所述加权右声道音频信号以获得合路右声道音频信号。因此，实现了用于增强多声道音频信号内的语音分量的有效概念。
多声道音频信号包括左声道音频信号、中心声道音频信号和右声道音频信号。多声道音频信号还可以包括左环绕声道音频信号和右环绕声道音频信号。多声道音频信号可以是LCR/3.0立体声音频信号或5.1环绕音频信号。确定代表频率上多声道音频信号的整体量级的测量包括确定代表频域中多声道音频信号的整体量级的测量。
增益函数可以指示语音分量的量级与多声道音频信号的整体量级的比率，其中假设中心声道音频信号包括语音分量。可以在频率上相加多声道音频信号内的语音分量和非语音分量来确定多声道音频信号的整体量级。增益函数可以与频率相关。
根据如上所述第一方面，在所述信号处理装置的第一实施形式中，所述滤波器用于将代表所述多声道音频信号的所述整体量级的所述测量确定为所述中心声道音频信号的所述量级测量和所述左声道音频信号与所述右声道音频信号的差的量级测量之和。因此，代表所述多声道音频信号的所述整体量级的所述测量得以有效地确定并且将以更合适的方式来获取所述滤波增益函数，因为所述左声道音频信号与所述右声道音频信号的所述差代表残差信号，所述残差信号不包括所述中心声道音频信号的分量。
根据如上所述第一方面或所述第一方面的任一前述实施形式，在所述信号处理装置的第二实施形式中，所述滤波器用于根据以下等式确定所述增益函数：
Figure BDA0001315915250000021
PC(m,k)＝|C(m,k)|2
PS(m,k)＝|L(m,k)-R(m,k)|2
其中，G表示所述增益函数，L表示所述左声道音频信号，C表示所述中心声道音频信号，R表示所述右声道音频信号，PC将所述中心声道音频信号的能量表示为代表所述中心声道音频信号的量级的所述测量，PS表示所述左声道音频信号与所述右声道音频信号之间的差的能量，PC与PS之和表示代表所述多声道音频信号的所述整体量级的所述测量，m表示采样时间索引，k表示频率点索引。因此，以有效、有力的方式确定了所述增益函数。
增益函数根据维纳滤波方法确定。中心声道音频信号被视为包括语音分量。基于语音分量分配在中心声道音频信号的假设，左声道音频信号与右声道音频信号之间的差被视为包括非语音分量声道。通过以这种方式定义维纳滤波器的分量，避免了采用昂贵的方法来估计信号的信噪比或噪声功率频谱密度。
可以采用量级或对数能量而非使用等式内的能量来确定增益函数。左声道音频信号与右声道音频信号之间的差可以指包括非中心声道音频信号的组合的残差音频信号，其中除中心声道音频信号之外的所有音频信号都可指非中心声道音频信号。残差音频信号可以是左声道音频信号与右声道音频信号之间的差。
左声道音频信号和右声道音频信号的量级之和对应波束成形并可用于本发明的实施例中，其中波束成形是中心声道提取的特定形式。然而，左声道音频信号与右声道音频信号的量级差对应中心声道的分量移除。因此，定义为左声道音频信号与右声道音频信号之间的差的残差音频信号带来改进的滤波增益估计。
根据如上所述第一方面或所述第一方面的任一前述实施形式，在所述信号处理装置的第三实施形式中，所述多声道音频信号还包括左环绕声道音频信号和右环绕声道音频信号，其中所述滤波器用于：还依据所述左环绕声道音频信号和所述右环绕声道音频信号确定代表频率上所述多声道音频信号的所述整体量级的所述测量，以及将代表所述多声道音频信号的所述整体量级的所述测量确定为所述中心声道音频信号的量级测量、所述左声道音频信号与所述右声道音频信号的差的量级测量以及所述左环绕声道音频信号与所述右环绕声道音频信号的差的量级测量之和。因此，通过从所述左环绕声道音频信号与所述右环绕声道音频信号的所述差获得所述量级来有效地处理所述多声道音频信号内的环绕声道。差信号为所述中心声道音频信号提供了较好的区分。
根据如上所述第一方面或所述第一方面的任一前述实施形式，在所述信号处理装置的第四实施形式中，所述滤波器用于：通过所述增益函数的频率点加权所述左声道音频信号的频率点以获得所述加权左声道音频信号的频率点，通过所述增益函数的频率点加权所述中心声道音频信号的频率点获得所述加权中心声道音频信号的频率点，以及通过所述增益函数的频率点加权所述右声道音频信号的频率点已获得所述加权右声道音频信号的频率点。因此，在频域中有效地处理了所述多声道音频信号。使用同一滤波器加权所有信号具有以下优势：立体声图像中的音频源位置不发生移位。此外，通过这种方式，从所有信号中提取所述语音分量。
滤波器还可以用于根据Mel频标对频率点进行分组以获得频段。因此，索引k可以对应频段索引。滤波器还可以用于仅处理设置在预定频率范围，例如100Hz到8kHz内的频率点或频段。这样，仅处理包括人类语音的频率。
根据如上所述第一方面或所述第一方面的任一前述实施形式，在所述信号处理装置的第五实施形式中，所述信号处理装置还包括语音活动检测器，用于依据所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号确定语音活动指示符，所述语音活动指示符指示所述多声道音频信号内的所述语音分量在不同时间的量级，其中所述合路器还用于：合并所述加权左声道音频信号与所述语音活动指示符以获得所述合路左声道音频信号，合并所述加权中心声道音频信号与所述语音活动指示符以获得所述合路中心声道音频信号，以及合并所述加权右声道音频信号与所述语音活动指示符以获得所述合路右声道音频信号。因此，实现了所述多声道音频信号内的时变语音分量的有效增强，并抑制了非语音信号。
语音活动指示符指示时域中多声道音频信号内的语音分量的量级。例如，当信号中不存在语音分量时，语音活动指示符等于零；当存在语音分量时，语音活动指示符等于一。零与一之间的值可以解释为语音可能存在，并且有助于获得平滑输出信号。
根据所述第一方面的所述第五实施形式，在所述信号处理装置的第六实施形式中，所述语音活动检测器用于：依据所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号确定代表所述多声道音频信号的整体频谱变化的测量，以及基于所述中心声道音频信号的频谱变化测量与代表所述多声道音频信号的所述整体频谱变化的所述测量之间的比率获得所述语音活动指示符。因此，通过利用所述频谱变化测量之间的关系有效地确定了所述语音活动指示符。
代表整体频谱变化的测量可以是频谱通量或时间导数。频谱通量可以使用不同的归一化方法来确定。频谱通量可以计算为两个或更多音频信号帧之间的功率谱差。代表整体频谱变化的测量可以是FC与FS之和，其中，FC表示中心声道音频信号的频谱变化测量，FS表示左声道音频信号与右声道音频信号之间的差的频谱变化测量。
根据所述第一方面的所述第六实施形式，在所述信号处理装置的第七实施形式中，所述语音活动检测器用于根据以下等式确定所述语音活动指示符：
Figure BDA0001315915250000041
其中，V表示所述语音活动指示符，FC表示所述中心声道音频信号的所述频谱变化测量，FS表示所述左声道音频信号与所述右声道音频信号之间的差的频谱变化测量，FC与FS之和表示代表所述多声道音频信号的所述整体频谱变化的所述测量，a表示预定缩放因子。因此，有效地确定了所述语音活动指示符。具有相同FC和FS值的信号导致值为零的语音活动指示符。FC值越高，所述语音活动指示符的值越高。所述缩放因子a能够控制所述语音活动指示符的量级。
语音活动指示符的值可以独立于测量的在先归一化。语音活动指示符的值可以限制在区间[0；1]。
根据所述第一方面的所述第七实施形式，在所述信号处理装置的第八实施形式中，所述语音活动检测器用于：根据以下等式将所述中心声道音频信号的所述频谱变化测量确定为所述频谱通量并将所述左声道音频信号与所述右声道音频信号之间的所述差的所述频谱变化测量确定为所述频谱通量：
Figure BDA0001315915250000051
Figure BDA0001315915250000052
其中，FC表示所述中心声道音频信号的所述频谱通量，FS表示所述所述左声道音频信号与所述右声道音频信号之间的所述差的所述频谱通量，C表示所述中心声道音频信号，S表示所述左声道音频信号与所述右声道音频信号之间的所述差，m表示采样时间索引，k表示频率点索引。因此，有效地确定了所述频谱通量。
根据所述第一方面的所述第五实施形式至所述第八实施形式，在所述信号处理装置的第九实施形式中，所述语音活动检测器用于依据预定的低通滤波函数按时对所述语音活动指示符进行滤波。因此，实现了所述多声道音频信号内失真的有效缓解和/或所述语音活动指示符的有效时间平滑。
预定的低通滤波函数可以通过一触式有限脉冲响应(finite impulse response，FIR)低通滤波器来实现。
根据所述第一方面的所述第五实施形式至所述第九实施形式，在所述信号处理装置的第十实施形式中，所述合路器还用于：通过预定输入增益因子加权所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号，以及通过预定语音增益因子加权所述语音活动指示符。因此，实现了所述语音分量的所述量级相对于非语音分量的量级的有效控制。
根据所述第一方面的所述第五实施形式至所述第十实施形式，在所述信号处理装置的第十一实施形式中，所述合路器用于：将所述左声道音频信号添加到所述加权左声道音频信号与所述语音活动指示符的所述组合中以获得所述合路左声道音频信号，将所述中心声道音频信号添加到所述加权左声道音频信号与所述语音活动指示符的所述组合中以获得所述合路中心声道音频信号，以及将所述右声道音频信号添加到所述加权左声道音频信号与所述语音活动指示符的所述组合中以获得所述合路右声道音频信号。因此，有效地实施了所述合路器。将提取的语音分量与原始信号合并来增强输出信号中的语音分量。
根据所述第一方面的所述第五实施形式至所述第十一实施形式，在所述信号处理装置的第十二实施形式中，所述多声道音频信号还包括左环绕声道音频信号和右环绕声道音频信号，其中所述语音活动检测器用于还依据所述左环绕声道音频信号和所述右环绕声道音频信号确定所述语音活动指示符。因此，在确定所述语音活动指示符时还考虑所述多声道音频信号内的环绕声道，从而更好地估计所述语音活动指示符。
根据如上所述第一方面或所述第一方面的任一前述实施形式，在所述信号处理装置的第十三实施形式中，所述信号处理装置还包括变换器，用于将所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号从时域变换到频域中。因此，实现了所述音频信号到频域中的有效变换。在以下情况中可能需要这样：语音增强和语音活动检测会在所述频域中执行。
变换器可以用于执行左声道音频信号、中心声道音频信号和右声道音频信号的短时离散傅立叶变换(discrete Fourier transform，STFT)。
根据如上所述第一方面或所述第一方面的任一前述实施形式，在所述信号处理装置的第十四实施形式中，所述信号处理装置还包括逆变器，用于将所述合路左声道音频信号、所述合路中心声道音频信号和所述合路右声道音频信号从频域逆变换到时域中。因此，实现了所述音频信号到时域中的有效逆变换，并获得了时域中的输出信号。
逆变器可以用于执行合路左声道音频信号、合路中心声道音频信号和合路右声道音频信号的逆向短时离散傅立叶变换(inverse short-time discrete Fouriertransform，ISTFT)。
根据如上所述第一方面或所述第一方面任一前述实施形式，在所述信号处理装置的第十五实施形式中，所述信号处理装置还包括上混频器，用于依据输入左声道立体声音频信号和输入右声道立体声音频信号确定所述左声道音频信号、所述中心声道音频信合和所述右声道音频信号。这样，所述信号处理装置能够用于处理双声道，即，左和右声道，输入立体声音频信号。
根据所述第一方面的所述第十五实施形式，在所述信号处理装置的第十六实施形式中，所述上混频器用于根据以下等式确定所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号：
C＝α×(Lin+Rin)
L＝Lin-C
R＝Rin-C
Figure BDA0001315915250000061
其中，Lr表示所述输入左声道立体声音频信号的实部，Rr表示所述输入右声道立体声音频信号的实部，Li表示所述输入左声道立体声音频信号的虚部，Ri表示所述输入右声道立体声音频信号的虚部，α表示正交参数，Lin表示所述输入左声道立体声音频信号，Rin表示所述输入右声道立体声音频信号，L表示所述左声道音频信号，C表示所述中心声道音频信号，R表示所述右声道音频信号。因此，使用正交分解实现了所述输入立体声音频信号的有效的中心声道提取。得到的左声道音频信号和右声道音频信号相互正交。
根据如上所述第一方面或所述第一方面任一前述实施形式，在所述信号处理装置的第十七实施形式中，所述信号处理装置还包括下混频器，用于依据所述合路左声道音频信号、所述合路中心声道音频信号和所述合路右声道音频信号确定输出左声道立体声音频信号和输出右声道立体声音频信号。因此，有效地提供了双声道，即，左和右声道，输出立体声音频信号。
根据如上所述第一方面或所述第一方面的任一前述实施形式，在所述信号处理装置的第十八实施形式中，所述量级测量包括信号的能量、对数能量、量级或对数量级。因此，所述量级测量可以指示不同量度下的不同值。
多声道音频信号的量级包括多声道音频信号的能量、对数能量、量级或对数量级。左声道音频信号与右声道音频信号的差的量级测量包括左声道音频信号与右声道音频信号的差的能量、对数能量、量级或对数量级。中心声道音频信号的量级包括中心声道音频信号的能量、对数能量、量级或对数量级。信号可以指信号处理装置处理的任何信号。
根据如上所述第一方面或所述第一方面的任一前述实施形式，在所述信号处理装置的第十九实施形式中，所述合路器还用于：通过预定输入增益因子加权所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号，以及通过预定语音增益因子加权所述加权左声道音频信号、所述加权中心声道音频信号和所述加权右声道音频信号。因此，实现了所述语音分量的所述量级相对于非语音分量的量级的有效控制。
加权音频信号CE、LE和RE可以通过预定语音增益因子GS加权。加权可以在不使用语音活动检测器的情况下执行。
根据第二方面，本发明涉及一种用于增强多声道音频信号内的语音分量的信号处理方法，所述多声道音频信号包括左声道音频信号、中心声道音频信号和右声道音频信号，所述信号处理方法包括：滤波器依据所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号确定代表频率上所述多声道音频信号的整体量级的测量，所述滤波器基于所述中心声道音频信号的量级测量与代表所述多声道音频信号的所述整体量级的所述测量之间的比率获得增益函数，所述滤波器通过所述增益函数加权所述左声道音频信号以获得加权左声道音频信号，所述滤波器通过所述增益函数加权所述中心声道音频信号以获得加权中心声道音频信号，所述滤波器通过所述增益函数加权所述右声道音频信号以获得加权右声道音频信号，合路器合并所述左声道音频信号与所述加权左声道音频信号以获得合路左声道音频信号，所述合路器合并所述中心声道音频信号与所述加权中心声道音频信号以获得合路中心声道音频信号，所述合路器合并所述右声道音频信号与所述加权右声道音频信号以获得合路右声道音频信号。因此，实现了用于增强多声道音频信号内的语音分量的有效概念。
信号处理方法可以由信号处理装置执行。信号处理方法的其它特征直接来自信号处理装置的功能。
根据如上所述第二方面，在所述信号处理方法的第一实施形式中，所述方法包括：所述滤波器将代表所述多声道音频信号的所述整体量级的所述测量确定为所述中心声道音频信号的量级测量和所述左声道音频信号与所述右声道音频信号的差的量级测量之和。因此，代表所述多声道音频信号的所述整体量级的所述测量得以有效地确定并且将以更合适的方式来获取所述滤波增益函数，因为所述左声道音频信号与所述右声道音频信号的所述差代表残差信号，所述残差信号不包括所述中心声道音频信号的分量。
根据如上所述第二方面或所述第二方面的任一前述实施形式，在所述信号处理方法的第二实施形式中，所述方法包括：所述滤波器根据以下等式确定所述增益函数：
Figure BDA0001315915250000081
PC(m,k)＝|C(m,k)|2
PS(m,k)＝|L(m,k)-R(m,k)|2
其中，G表示所述增益函数，L表示所述左声道音频信号，C表示所述中心声道音频信号，R表示所述右声道音频信号，PC将所述中心声道音频信号的能量表示为代表所述中心声道音频信号的量级的所述测量，PS表示所述左声道音频信号与所述右声道音频信号之间的差的能量，PC与PS之和表示代表所述多声道音频信号的所述整体量级的所述测量，m表示采样时间索引，k表示频率点索引。因此，以有效、有力的方式确定了所述增益函数。
根据如上所述第二方面或所述第二方面的任一前述实施形式，在所述信号处理方法的第三实施形式中，所述多声道音频信号还包括左环绕声道音频信号和右环绕声道音频信号，其中所述方法包括：所述滤波器还依据所述左环绕声道音频信号和所述右环绕声道音频信号确定代表频率上所述多声道音频信号的所述整体量级的所述测量，以及所述滤波器将代表所述多声道音频信号的所述整体量级的所述测量确定为所述中心声道音频信号的量级测量、所述左声道音频信号与所述右声道音频信号的差的量级测量以及所述左环绕声道音频信号与所述右环绕声道音频信号的差的量级测量之和。因此，通过从所述左环绕声道音频信号与所述右环绕声道音频信号的所述差获得所述量级来有效地处理所述多声道音频信号内的环绕声道。差信号为所述中心声道音频信号提供了较好的区分。
根据如上所述第二方面或所述第二方面的任一前述实施形式，在所述信号处理方法的第四实施形式中，所述方法包括：所述滤波器通过所述增益函数的频率点加权所述左声道音频信号的频率点以获得所述加权左声道音频信号的频率点，所述滤波器通过所述增益函数的频率点加权所述中心声道音频信号的频率点获得所述加权中心声道音频信号的频率点，以及所述滤波器通过所述增益函数的频率点加权所述右声道音频信号的频率点已获得所述加权右声道音频信号的频率点。因此，在频域中有效地处理了所述多声道音频信号。使用同一滤波器加权所有信号具有以下优势：立体声图像中的音频源位置不发生移位。此外，通过这种方式，从所有信号中提取所述语音分量。
根据如上所述第二方面或所述第二方面的任一前述实施形式，在所述信号处理方法的第五实施形式中，所述方法包括：语音活动检测器依据所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号确定语音活动指示符，所述语音活动指示符指示所述多声道音频信号内的所述语音分量在不同时间的量级，合路器合并所述加权左声道音频信号与所述语音活动指示符以获得所述合路左声道音频信号，所述合路器合并所述加权中心声道音频信号与所述语音活动指示符以获得所述合路中心声道音频信号，以及合路器合并所述加权右声道音频信号与所述语音活动指示符以获得所述合路右声道音频信号。因此，实现了所述多声道音频信号内的时变语音分量的有效增强，并抑制了非语音信号。
根据所述第二方面的所述第五实施形式，在所述信号处理方法的第六实施形式中，所述方法包括：所述语音活动检测器依据所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号确定代表所述多声道音频信号的整体频谱变化的测量，以及所述语音活动检测器基于所述中心声道音频信号的频谱变化测量与代表所述多声道音频信号的所述整体频谱变化的所述测量之间的比率获得所述语音活动指示符。因此，通过利用所述频谱变化测量之间的关系有效地确定了所述语音活动指示符。
根据所述第二方面的所述第六实施形式，在所述信号处理方法的第七实施形式中，所述方法包括：所述语音活动检测器根据以下等式确定所述语音活动指示符：
Figure BDA0001315915250000091
其中，V表示所述语音活动指示符，FC表示所述中心声道音频信号的所述频谱变化测量，FS表示所述左声道音频信号与所述右声道音频信号之间的差的频谱变化测量，FC与FS之和表示代表所述多声道音频信号的所述整体频谱变化的所述测量，a表示预定缩放因子。因此，有效地确定了所述语音活动指示符。具有相同FC和FS值的信号导致值为零的语音活动指示符。FC值越高，所述语音活动指示符的值越高。所述缩放因子a能够控制所述语音活动指示符的量级。
根据所述第二方面的所述第七实施形式，在所述信号处理方法的第八实施形式中，所述方法包括：所述语音活动检测器根据以下等式将所述中心声道音频信号的所述频谱变化测量确定为频谱通量并将所述左声道音频信号与所述右声道音频信号之间的所述差的所述频谱变化测量确定为所述频谱通量：
Figure BDA0001315915250000101
Figure BDA0001315915250000102
其中，FC表示所述中心声道音频信号的所述频谱通量，FS表示所述所述左声道音频信号与所述右声道音频信号之间的所述差的所述频谱通量，C表示所述中心声道音频信号，S表示所述左声道音频信号与所述右声道音频信号之间的所述差，m表示采样时间索引，k表示频率点索引。因此，有效地确定了所述频谱通量。
根据所述第二方面的所述第五实施形式至所述第八实施形式，在所述信号处理方法的第九实施形式中，所述方法包括：所述语音活动检测器依据预定低通滤波函数按时对所述语音活动指示符进行滤波。因此，实现了所述多声道音频信号内失真的有效缓解和/或所述语音活动指示符的有效时间平滑。
根据所述第二方面的所述第五实施形式至所述第九实施形式，在所述信号处理方法的第十实施形式中，所述方法包括：所述合路器通过预定输入增益因子加权所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号，以及所述合路器通过预定语音增益因子加权所述语音活动指示符。因此，实现了所述语音分量的所述量级相对于非语音分量的量级的有效控制。
根据所述第二方面的所述第五实施形式至所述第十实施形式，在所述信号处理方法的第十一实施形式中，所述方法包括：所述合路器将所述左声道音频信号添加到所述加权左声道音频信号与所述语音活动指示符的所述组合中以获得所述合路左声道音频信号，所述合路器将所述中心声道音频信号添加到所述加权左声道音频信号与所述语音活动指示符的所述组合中以获得所述合路中心声道音频信号，以及所述合路器将所述右声道音频信号添加到所述加权左声道音频信号与所述语音活动指示符的所述组合中以获得所述合路右声道音频信号。因此，有效地执行了合并。将提取的语音分量与原始信号合并来增强输出信号中的语音分量。
根据所述第二方面的所述第五实施形式至所述第十一实施形式，在所述信号处理方法的第十二实施形式中，所述多声道音频信号还包括左环绕声道音频信号和右环绕声道音频信号，其中所述方法包括：所述语音活动检测器还依据所述左环绕声道音频信号和所述右环绕声道音频信号确定所述语音活动指示符。因此，在确定所述语音活动指示符时还考虑所述多声道音频信号内的环绕声道，从而更好地估计所述语音活动指示符。
根据如上所述第二方面或所述第二方面的任一前述实施形式，在所述信号处理方法的第十三实施形式中，所述方法包括：变换器将所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号从时域变换到频域中。因此，实现了所述音频信号到频域中的有效变换。例如如果语音增强和语音活动检测在所述频域中执行时，需要这样。
根据如上所述第二方面或所述第二方面的任一前述实施形式，在所述信号处理方法的第十四实施形式中，所述方法包括：逆变器将所述合路左声道音频信号、所述合路中心声道音频信号和所述合路右声道音频信号从频域逆变换到时域中。因此，实现了所述音频信号到时域中的有效逆变换，并获得了时域中的输出信号。
根据如上所述第二方面或所述第二方面任一前述实施形式，在所述信号处理方法的第十五实施形式中，所述方法包括：上混频器依据输入左声道立体声音频信号和输入右声道立体声音频信号确定所述左声道音频信号、所述中心声道音频信合和所述右声道音频信号。这样，所述信号处理方法能够用于处理输入立体声音频信号。
根据所述第二方面的所述第十五实施形式，在所述信号处理方法的第十六实施形式中，所述方法包括：所述上混频器根据以下等式确定所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号：
C＝α×(Lin+Rin)
L＝Lin-C
R＝Rin-C
Figure BDA0001315915250000111
其中，Lr表示所述输入左声道立体声音频信号的实部，Rr表示所述输入右声道立体声音频信号的实部，Li表示所述输入左声道立体声音频信号的虚部，Ri表示所述输入右声道立体声音频信号的虚部，α表示正交参数，Lin表示所述输入左声道立体声音频信号，Rin表示所述输入右声道立体声音频信号，L表示所述左声道音频信号，C表示所述中心声道音频信号，R表示所述右声道音频信号。因此，使用正交分解实现了所述输入立体声音频信号的有效的中心声道提取。得到的左声道音频信号和右声道音频信号相互正交。
根据如上所述第二方面或所述第二方面任一前述实施形式，在所述信号处理方法的第十七实施形式中，所述方法包括：下混频器依据所述合路左声道音频信号、所述合路中心声道音频信号和所述合路右声道音频信号确定输出左声道立体声音频信号和输出右声道立体声音频信号。因此，有效地提供了双声道，即，左和右声道，输出立体声音频信号。
根据如上所述第二方面或所述第二方面的任一前述实施形式，在所述信号处理方法的第十八实施形式中，所述量级测量包括信号的能量、对数能量、量级或对数量级。因此，所述量级测量可以指示不同量度下的不同值。
根据如上所述第二方面或所述第二方面的任一前述实施形式，在所述信号处理方法的第十九实施形式中，所述方法包括：所述合路器通过预定输入增益因子加权所述左声道音频信号、所述中心声道音频信号和所述右声道音频信号，以及所述合路器通过预定语音增益因子加权所述加权左声道音频信号、所述加权中心声道音频信号和所述加权右声道音频信号。因此，实现了所述语音分量的所述量级相对于非语音分量的量级的有效控制。
根据第三方面，本发明涉及一种包括程序代码的计算机程序，当所述程序代码在计算机上执行时，用于执行根据如上所述第二方面或所述第二方面的任一实施形式的方法。因此，所述方法能够自动执行。
信号处理装置可以程序化地布置以执行计算机程序和/或程序代码。
本发明可以在硬件和/或软件中实施。
附图说明
本发明的实施例将结合以下附图进行描述，其中：
图1所示为根据实施例的用于增强多声道音频信号内的语音分量的信号处理装置的图；
图2所示为根据实施例的用于增强多声道音频信号内的语音分量的信号处理方法的图；
图3所示为根据实施例的用于增强多声道音频信号内的语音分量的信号处理装置的图；
图4所示为根据实施例的信号处理装置的上混频器的图；
图5所示为根据实施例的信号处理装置的滤波器的图；
图6所示为根据实施例的信号处理装置的语音活动检测器的图；
图7所示为根据实施例的用于增强多声道音频信号内的语音分量的信号处理装置的图。
相同附图标记用于相同或等效特征。
具体实施方式
图1所示为根据实施例的用于增强多声道音频信号内的语音分量的信号处理装置100的图。多声道音频信号包括左声道音频信号L、中心声道音频信号C和右声道音频信号R。信号处理装置100包括滤波器101和合路器103。
滤波器101用于：依据左声道音频信号L、中心声道音频信号C和右声道音频信号R确定代表频率上多声道音频信号的整体量级的测量，基于中心声道音频信号C的量级测量与代表多声道音频信号的整体量级的测量之间的比率获得增益函数G，以及通过增益函数G加权左声道音频信号L以获得加权左声道音频信号LE、通过增益函数G加权中心声道音频信号C以获得加权中心声道音频信号CE并通过增益函数G加权右声道音频信号R以获得加权右声道音频信号RE。
合路器103用于：合并左声道音频信号L与加权左声道音频信号LE以获得合路左声道音频信号LEV，合并中心声道音频信号C与加权中心声道音频信号CE以获得合路中心声道音频信号CEV，以及合并右声道音频信号R与加权右声道音频信号RE以获得合路右声道音频信号REV。
多声道音频信号可包括：例如三声道立体声音频信号，其仅包括左声道音频信号L、右声道音频信号和中心声道音频信号C，其还可称为LCR立体声或3.0立体声音频信号；5.1多声道音频信号，其包括左声道音频信号L、右声道音频信号R、中心声道音频信号C、左环绕声道音频信号LS、右环绕声道音频信号RS和低音声道信号B；或具有中心声道音频信号和至少两个其它声道音频信号的其它多声道信号。除了中心声道音频信号C之外的音频信号，例如左声道音频信号L、右声道音频信号R、左环绕声道音频信号LS、右环绕声道音频信号RS和低音声道信号B还可称为非中心声道音频信号。在5.1多声道音频信号的情况下，代表多声道音频信号的整体量级的测量可以作为以下测量之和获得：中心声道音频信号的量级测量、左声道音频信号与右声道音频信号的差的量级测量、左环绕声道音频信号与右环绕声道音频信号的差的量级测量，和低频效应声道音频信号的量级测量。在5.1多声道音频信号的情况下，获得的滤波器可以用于加权所有包括的音频信号。
图2所示为根据实施例的用于增强多声道音频信号内的语音分量的信号处理方法200的图。多声道音频信号包括左声道音频信号L、中心声道音频信号C和右声道音频信号R。
信号处理方法200包括：依据左声道音频信号L、中心声道音频信号C和右声道音频信号R确定201代表频率上多声道音频信号的整体量级的测量，基于中心声道音频信号C的量级测量与代表多声道音频信号的整体量级的测量之间的比率获得203增益函数G，通过增益函数G加权205左声道音频信号L以获得加权左声道音频信号LE，通过益函数G加权207中心声道音频信号C以获得加权中心声道音频信号CE，通过益函数G加权209右声道音频信号R以获得加权右声道音频信号RE，合并211左声道音频信号L与加权左声道音频信号LE以获得合路左声道音频信号LEV，合并213中心声道音频信号C与加权中心声道音频信号CE以获得合路中心声道音频信号CEV，以及合并215右声道音频信号R与加权右声道音频信号RE以获得合路右声道音频信号REV。
信号处理方法200可以由滤波器101和合路器103等信号处理装置100执行。
在下文中，将描述信号处理装置100和信号处理方法200的其它实施形式和实施例。
本发明涉及音频信号处理领域。信号处理装置100和信号处理方法200可以用于立体声音频信号等音频信号内的语音增强，例如对话增强。具体而言，信号处理装置100和信号处理方法200可以与上混频器301联合或与上混频器301和下混频器303联合用于处理立体声音频信号，以便提高对话清晰度。
存在具有两个扬声器的不同设备，例如电视机、笔记本电脑、平板电脑、移动电话和智能手机。在使用这类设备播放立体声音频信号时，例如电影配音的语音分量等对于普通和听力受损的听众来说可能难以理解。在嘈杂环境中或当语音分量被音乐或音响效果等非语音分量或声音叠加时尤其如此。
具体而言，本发明的实施例旨在增强立体声音频信号的语音分量以便提高对话清晰度。一个潜在假设是，语音，或等效语音，在多声道音频信号中是中心平行的，通常对于大多数立体声音频信号来说都是这样的。一个目的是在不影响语音质量的情况下增强语音分量的响度，而非语音分量保持不变。在同时有语音和非语音分量的时间间隔中，这应该特别有可能。本发明的实施例支持例如仅使用立体声音频信号且不需要或采用来自单独语音音频声道或原始5.1多声道音频信号的其它认知。目标通过以下方式实现：提取虚拟中心声道音频信号，并使用描述的信号处理装置100或信号处理方法200增强该中心声道音频信号以及其它音频信号。此外，可以采用语音活动检测方法以便确保非语音分量可不受处理影响。本发明的其它实施例可以用于处理其它多声道音频信号，例如5.1多声道音频信号。
本发明的实施例基于以下方法，其中使用上混方法从立体声音频信号记录中提取中心声道音频信号。还可以使用语音增强和语音活动检测来处理该中心声道音频信号，以便获得原始语音分量的估计。该方法的一个特征可以是，语音分量不仅可从中心声道音频信号中提取，还可从剩下的声道音频信号中提取。因为上混过程效果可能并不完美，所以这些剩下的声道音频信号可能仍然包括语音分量。当该语音分量也被提取并加强时，得到语音质量和宽度有所提高的输出音频信号。
在下文中，基于图3至图7描述特别是本发明的用于增强多声道音频信号LCR(包括中心声道音频信号、左声道音频信号和右声道音频信号)的语音分量的实施例，该语音分量通过2至3上混从双声道立体声音频信号获得。
然而，本发明的实施例不限于此类多声道音频信号，还可包括例如从其它设备接收的LCR三声道音频信号的处理，或者例如5.1或7.1多声道信号等包括中心声道音频信号的其它多声道信号的处理。其它实施例甚至可用于：在使用或不使用语音活动检测的情况下，在应用语音或对话增强之前，通过上混多声道信号获得虚拟中心声道音频信号来处理不包括中心声道音频信号的多声道信号，例如包括左和右音频声道信号以及左和右环绕声道信号的4.0多声道信号。
图3所示为根据实施例的用于增强多声道音频信号内的语音分量的信号处理装置100的图。信号处理装置100包括滤波器101、合路器103、上混频器301和下混频器303。滤波器101和合路器103包括左声道处理器305、中心声道处理器307和右声道处理器309。
上混频器301用于依据输入左声道立体声音频信号Lin和输入右声道立体声音频信号Rin确定左声道音频信号L、中心声道音频信号C和右声道音频信号R。换言之，上混频器301提供2至3上混，这将基于图4更详细地示例性说明。
左声道处理器305用于处理左声道音频信号L以便提供合路左声道音频信号LEV。中心声道处理器307用于处理中心声道音频信号C以便提供合路中心声道音频信号CEV。右声道处理器309用于处理右声道音频信号R以便提供合路右声道音频信号REV。左声道处理器305、中心声道处理器307和右声道处理器309用于执行语音增强(enhancement，ENH)，这将基于图5更详细地示例性说明。左声道处理器305、中心声道处理器307和右声道处理器309还可用于处理语音活动检测(voice activity detection，VAD)提供的语音活动指示符，这将基于图6更详细地示例性说明。
下混频器303用于依据合路左声道音频信号LEV、合路中心声道音频信号CEV和合路右声道音频信号REV确定输出左声道立体声音频信号Lout和输出右声道立体声音频信号Rout。换言之，下混频器303提供3至2缩混。
因此，语音增强音频信号以这样一种方式处理：缩混的双声道立体声信号Lout和Rout能够直接输出到常规双声道立体声播放设备，例如常规立体声电视机。
在本发明的一项实施例中，上混频器301使用一般方法从包括输入左声道立体声音频信号Lin和输入右声道立体声音频信号Rin的输入立体声音频信号中提取中心声道。这得到左、中心和右声道音频信号，表示为L、C和R。本发明的其它实施例可以使用其它上混方法。本发明的其它实施例是可能的，其中，例如5.1多声道音频信号可用，并且包括的左、中心和右声道被直接使用。
左、中心和右声道音频信号L、C和R通过改进的方式处理以估计时间和/或频率相关的语音增强滤波器101，语音增强滤波器101然后可应用于多声道音频信号的所有声道。该滤波器101用于削弱非语音分量，非语音分量可与语音分量同时存在。相对于其它方法的不同点在于，不仅中心声道音频信号，而且其它音频信号，例如图3描绘的LCR情况下的左声道音频信号和右声道音频信号，都使用同一滤波器101处理。本发明的实施例使用改进的方法来定义语音增强滤波器101。
此外，可以使用改进的方法，利用来自多声道音频信号的所有声道的信息，执行语音活动检测。语音活动检测器的输出，例如语音活动指示符，可以是能够指示语音活动的软决策。语音增强和语音活动检测的结合提供了仅或至少几乎仅包括语音分量的多声道音频信号。该语音分量多声道音频信号可以被加强并通过合路器103添加到原始多声道音频信号中，以便获得合路声道音频信号LEV、CEV和REV。下混频器303可以执行到立体声的缩混以便提供最终的输出声道立体声音频信号Lout和Rout。
图4所示为根据实施例的信号处理装置100的上混频器301的图。上混频器301用于依据输入左声道立体声音频信号Lin和输入右声道立体声音频信号Rin确定左声道音频信号L、中心声道音频信号C和右声道音频信号R。上混频器301提供2至3上混。上混频器301用于使用上混方法从输入双声道立体声音频信号中提取中心声道音频信号C。
从双声道输入立体声音频信号等获得虚拟中心声道音频信号C的过程还可称为中心提取。这在当仅记录的常规立体声音频信号可用时是需要的。实现中心提取有不同的方法。上混方法家族是基于矩阵解码。这些方法是用于上混的线性信号独立的方法。它们可以与矩阵解码器耦合并适用于时域。另一方面，几何方法是信号相关的。这些方法可以依赖于以下假设：左声道音频信号L与右声道音频信号R彼此不相关。这些方法适用于频域。
在下文中，描述了作为中心提取的示例的特定方法，其可在本发明的任意实施例中使用。该方法在频域中执行。这意味着，例如通过在短时窗口应用离散傅里叶变换(discrete Fourier transform，DFT)算法，将输入立体声音频信号变换到频域中。当使用48000Hz的采样频率时，离散傅里叶变换(discrete Fourier transform，DFT)的块大小的合适选择可以是1024。
该方法建立在以下假设上：左和右声道音频信号L和R相互正交。该理念是获得如下中心声道音频信号：
C＝α×(Lin+Rin) (1)
其中α是确定的参数。然后，可以从得到的中心声道音频信号C得出如下左和右声道音频信号L和R：
L＝Lin-C (2)
R＝Rin-C (3)
参数α可以通过一种满足约束的方式来优化
L×R*＝0 (4)
其描述了音频信号的正交性。可以得到该问题的一种数学解答，产生结果
Figure BDA0001315915250000161
其中Lr、Li、Rr和Ri分别表示输入左和右立体声音频信号Lin和Rin的频谱分量的实和虚部。参数α是时间相关和频率相关的，因此可以针对音频信号样本的给定帧的所有频率点计算。
可以应用用于中心提取的其它特定几何方法。其它特定方法使用例如主分量分析来进行中心提取。
图5所示为根据实施例的信号处理装置100的滤波器101的图。滤波器101包括减法器501、确定器503、确定器505、确定器507、加权器509、加权器511和加权器513。本图示出了语音增强方法。
减法器501用于将右声道音频信号R从左声道音频信号L中减去以便获得残差音频信号S。
确定器503用于确定中心声道音频信号C的平方量级或能量，以便获得中心声道音频信号C的量级测量PC。确定器505用于确定残差音频信号S的平方量级或能量，以便获得残差音频信号S的量级测量PS。
确定器507用于确定中心声道音频信号C的量级测量PC与代表多声道音频信号的整理量级的测量之间的比率以获得增益函数G。代表多声道音频信号的整理量级的测量由中心声道音频信号C的量级测量PC与残差音频信号S的量级测量PS之和组成。增益函数G可以是时间相关的和/或频率相关的。采样时间索引表示为m。频率点索引表示为k。
加权器509用于通过增益函数G加权左声道音频信号L以获得加权左声道音频信号LE。加权器511用于通过增益函数G加权中心声道音频信号C以获得加权中心声道音频信号CE。加权器513用于通过增益函数G加权右声道音频信号R以获得加权右声道音频信号RE。
本发明的实施例使用来自左、中心和右声道音频信号L、C和R的信息根据用于语音增强的维纳滤波方法来估计增益函数G。维纳滤波方法可以应用于多声道音频信号的所有声道，以便移除非语音分量。在中心声道音频信号C包括语音分量的情况下，维纳滤波方法(几乎)仅保留多声道音频信号的所有声道的语音分量。
一般而言，采用的语音增强方法可以处理加性噪声。因此，任何声道的输入信号Y都可以被视为Y＝X+N，其中X包括净语音分量，N可以被视为加性噪声。假设X与N彼此不相关。为了从观测到的音频信号Y中移除N，可以估计加性噪声N的噪声功率频谱密度或先验信噪比X/N。然后，可以获得频率相关的如下增益函数G或G(m,k)：
Figure BDA0001315915250000181
包括净语音分量的音频信号的估计可以确定为
Figure BDA0001315915250000182
适用于音频信号的所有频率点。
语音增强方法利用以下假设：中心声道音频信号C主要包括语音。因为通常没有中心提取方法会提供完美的中心提取，所以中心声道音频信号C可以包括非语音分量，并且多声道音频信号的其它声道可包括语音分量。因此，一个目标是移除中心声道音频信号C中的非语音分量并且隔离多声道音频信号的其它声道中的语音分量。为了实现该目标，可以应用维纳滤波方法以便估计增益函数G。针对维纳滤波方法，使用一种简单但有效的方法来定义X和N，如等式(7)、(8)和(9)所定义，而非使用复杂的方法来估计加性噪声N的噪声功率频谱密度。中心声道音频信号C被视为包括语音分量，对应于X，而多声道音频信号的其它声道的内容被视为包括噪声，对应于N。
在实施例中，减法器501，例如根据S＝L-R，从左和右声道音频信号获得残差音频信号S。这样，中心分量从残差信号移除。根据以下等式，能量可以由确定器503从中心声道音频信号C的频谱确定以及由确定器505从残差音频信号S的频谱确定：
PC(m,k)＝|C(m,k)|2 (7)
PS(m,k)＝|L(m,k)-R(m,k)|2 (8)
其中，m是采样时间索引，k是频率点索引。另一种可能方法是使用量级而非能量，或者对数量级或能量。在其它实施例，可以在不同时间平滑能量，以便降低处理失真。
然后，确定器507根据以下等式根据维纳滤波方法确定增益函数G：
Figure BDA0001315915250000183
加权器509至513随后将增益函数G分别应用到左、中心和右声道音频信号L、C和R。这得到加权左声道音频信号LE、加权中心声道音频信号CE和加权右声道音频信号RE。
在原始中心声道音频信号C仅包括语音分量的情况下，增强的加权音频信号也仅包括语音分量。
在本发明的一实施例中，使用一种不同的多声道音频信号。对于示例性5.1多声道音频信号，一个确定残差音频信号S的选项为：
S＝L–R+LS-RS， (10)
其中，L表示左声道音频信号，R表示右声道音频信号，LS表示左环绕声道音频信号，RS表示右环绕声道音频信号。在另一实施例中，能量PS可以确定为L-R的能量与LS–RS的能量之和。
因此可以使用其它多声道音频信号格式，例如7.1多声道音频信号格式，确定残差音频信号S和残差音频信号的能量PS。
为了进一步降低计算复杂度，可以例如根据Mel频标将音频信号的频率点一起分组为频段。在这种情况下，可以为每个频率点确定增益函数G。
此外，仅处理100Hz至8000Hz频率范围等中可能包括人类语音的频率有助于过滤掉非语音分量。
语音增强的实施例移除在上混过程中漏入中心声道音频信号C的多余非语音分量。此外，其加强漏入多声道音频信号的其它声道中的直接分量。
图6所示为根据实施例的信号处理装置100的语音活动检测器601的图。语音活动检测器601用于依据左声道音频信号L、中心声道音频信号C和右声道音频信号R确定语音活动指示符V，其中语音活动指示符V指示多声道音频信号内的语音分量在不同时间的量级。语音活动检测器601包括减法器603、确定器605、确定器607、延时器609、延时器611、减法器613、减法器615、确定器617、确定器619和确定器621。
减法器603用于将右声道音频信号R从左声道音频信号L中减去以便获得残差音频信号S。确定器605用于确定中心声道音频信号C的量级以得到|C(m,k)|，其中，m表示采样时间索引，k表示频率点索引。确定器607用于确定残差音频信号S的量级以得到|S(m,k)|，其中，m表示采样时间索引，k表示频率点索引。延时器609用于将|C(m,k)|延时一个采样时间周期以得到|C(m-1,k)|。延时器611用于将|S(m,k)|延时一个采样时间周期以得到|S(m-1,k)|。减法器613用于将|C(m-1,k)|从|C(m,k)|中减去，以便得到|C(m,k)|-|C(m-1,k)|。减法器615用于将|S(m-1,k)|从|S(m,k)|中减去，以便得到|S(m,k)|-|S(m-1,k)|。
确定器617用于，例如依据|C(m,k)|-|C(m-1,k)|上所有频率点上的平方和Σ2，确定中心声道音频信号C的频谱变化测量FC，例如频谱通量。确定器619用于，例如依据|S(m,k)|-|S(m-1,k)|上所有频率点上的平方和Σ2，确定左声道音频信号L与右声道音频信号R之间的差的频谱变化测量FS，例如频谱通量。确定器621用于依据频谱变化测量FC和频谱变化测量FS确定，例如依据商FC/(FC+FS)，确定语音活动指示符V。
语音活动检测包括语音的时间检测和分割过程。语音活动检测的目标是检测静音或其它声音中的语音。这一方法对于几乎任何类型的语音技术来说都是适宜的。
在本发明的实施例中可以应用用于语音活动检测的各种其它方法。一种简单的方法是例如基于能量的。能量阈值可以用于检测语音。通常，这一方法仅对静音有效。其它方法包括基于统计模型的方法，它们基于信噪比(signal-to-noise ratio，SNR)估计并与统计语音增强方法类似。基于参数模型的方法通常通过将高斯混合模型等分类器与低层音频特征耦合。可能的音频特征为4Hz调制能量、零通过率、频谱矩心或频谱通量。
在本发明的实施例中，采用语音活动检测来确保仅语音或对话分量被加强，非语音分量保持不变。图6给出了语音增强方法的概况。
语音活动指示符V从中心声道音频信号C和残差音频信号S＝L–R得出，如可在语音增强方法内进行的。频谱通量从这些音频信号中提取。频谱通量是频谱的时间变化的测量。DFT或频域信号X的频谱通量可以定义为：
Figure BDA0001315915250000201
在本发明的其它实施例中还可以采用频谱通量的其它类似定义。频谱通量指示频谱能量分布的变化并代表在不同时间的时间导数。替代于在等式(11)中的定义，在等式(11)中确定了两个连续音频信号帧的差，还可以将频谱通量确定为包含多个音频信号帧的两个连续块的差。对于具有语音分量的音频信号，与音乐和其它声音相比，预期有更高的频谱通量。
在本发明的实施例中，利用特定声道设置，其中例如多声道音频信号的一个声道主要包括语音，以便得到频率无关的连续语音活动指示符V。然后，可以根据等式(11)确定中心声道音频信号C的频谱通量FC和残差音频信号S的频谱通量FS。
为了获得独立于任何归一化过程的语音活动指示符V，语音活动指示符V可以按如下计算：
Figure BDA0001315915250000202
语音活动指示符V的这个定义确保在FC＝FS的情况下V＝0。最后，将V限制为V∈[0；1]。参数a表示预定缩放因子，其控制V的动态范围，其中a＝4是可接受的值，其产生：
Figure BDA0001315915250000203
此外，在FC不超过某一阈值t的情况下，语音活动指示符V可以设置为V＝0。为了获得在不同时间的平滑语音活动指示符曲线，可以将时间平滑应用到V。
与语音增强方法类似，语音活动检测方法也可以在例如根据Mel频标将频率点分组为频段时执行。此外，将考虑的频率限制到人类语音的频率范围，例如100Hz至8000Hz，进一步提高了性能。
语音活动检测方法的结果是频率无关的连续决策，其使用简单且有效的算法获得。了解模型等可仅采用少数可调参数并可不使用任何其它数据。该方法可以稳健地区分语音和音乐等其它声音。
图7所示为根据实施例的用于增强多声道音频信号内的语音分量的信号处理装置100的图。该图示出了混频过程。信号处理装置100形成如结合图1描述的信号处理装置的可能实施方式。信号处理装置100包括滤波器101、合路器103和语音活动检测器601。
滤波器101提供结合图5中的滤波器101描述的功能。语音活动检测器601提供结合图6中的语音活动检测器601描述的功能。
在实施例中，合路器103用于：合并左声道音频信号L与加权左声道音频信号LE以获得合路左声道音频信号LEV，合并中心声道音频信号C与加权中心声道音频信号CE以获得合路中心声道音频信号CEV，以及合并右声道音频信号R与加权右声道音频信号RE以获得合路右声道音频信号REV。合路器包括加法器701、加法器703、加法器705、加权器707、加权器709、加权器711和加权器713。
在实施例中，加权器713用于通过预定语音增益因子GS加权语音活动指示符V(m)以获得加权语音活动指示符VG＝GS V(m)，其中m表示采样时间索引。合路器可以包括未在图中示出的其它加权器，用于通过预定输入增益因子Gin加权左声道音频信号L、中心声道音频信号C和右声道音频信号R。
加权器707用于通过加权语音活动指示符VG＝GS V(m)对加权左声道音频信号LE进行加权，加法器701用于将结果添加到左声道音频信号L中以获得合路左声道音频信号LEV。加权器709用于通过加权语音活动指示符VG＝GS V(m)对加权中心声道音频信号CE进行加权，加法器703用于将结果添加到中心声道音频信号C中以获得合路中心声道音频信号CEV。加权器711用于通过加权语音活动指示符VG＝GS V(m)对加权右声道音频信号RE进行加权，加法器705用于将结果添加到右声道音频信号R中以获得合路右声道音频信号REV。
在实施例中，加权器713用于通过预定语音增益因子GS对加权左声道音频信号LE、加权中心声道音频信号CE和加权右声道音频信号RE加权。合路器103可以包括未在图中示出的其它加权器，用于通过预定输入增益因子Gin加权左声道音频信号L、中心声道音频信号C和右声道音频信号R。
预定语音增益因子GS还可以在未使用语音活动检测器601的情况下应用。为简单起见，在图中，加权器713示为单个加权器713。在可能实施方法中，加权器713被使用三次，具体而言是在加权器709与加法器703之间、加权器707与加法器701之间以及加权器711与加法器705之间使用。在未使用语音活动检测器601的情况下，可以假设V＝1，且GS可以用于修改V。
因此，语音增强和语音活动检测的结果可以合并，以便获得净语音音频信号的估计。语音增强和语音活动检测可以如前所述并行执行。加权器713可以使用语音增益因子GS加权或乘以语音活动指示符V，其中VG＝V GS可以用于控制语音加强。根据以下等式，加权器707、709、711可以通过乘法方式合并VG与加权音频信号LE、CE和RE，加法器701、703、705可以将得到的音频信号添加到原始音频信号L、C和R中，以便获得信号处理装置100的最终合路音频信号LEV、CEV和REV：
CEV(m,k)＝Gin×C+GS×V(m)×G(m,k)×C(m,k) (14)
LEV(m,k)＝Gin×L+GS×V(m)×G(m,k)×L(m,k) (15)
REV(m,k)＝Gin×R+GS×V(m)×G(m,k)×R(m,k) (16)
其中Gin是应用于原始音频信号的输入增益因子。该因子控制多声道音频信号包括的非语音分量的增益。Gin和GS的特定组合，例如Gin＝1且GS＝-1，可以用于从多声道音频信号移除语音分量。加强语音分量的合适设置可以是Gin＝1而GS可在1至4之间的范围中。然后，最终合路音频信号LEV、CEV和REV可以转变回时域，并且可以用于创建立体声缩混。
因此，提供了一种计算成本低但有效的方案来解决语音或对话增强的问题。所有分量都可以在DFT频域中操作。与5.1环绕音频信号等中的中心声道音频信号C被加强且中心声道音频信号C内的所有声音都被增强的简单方法相比，在本发明的实施例中，仅中心声道音频信号C中的语音分量由于语音活动检测等被加强。此外，本发明的实施例还处理同时存在的语音和非语音分量，其中仅语音分量由于语音增强方法等被加强。
不仅中心声道音频信号C，而且其它音频信号(例如L和R)都使用语音增强和语音活动检测进行处理的事实确保最终音频信号包括高质量的空间广阔的语音分量。当仅中心声道音频信号C被处理时，情况就不是这样了。本发明的实施例独立于特定编解码器、混频或5.1环绕音频信号等多声道音频信号格式，并且可以扩展到不同的声道配置。
本发明的，具体而言是信号处理装置的实施例可包括单个或多个处理器，用于实施本文描述的装置和方法，例如滤波器101、合路器103和/或本文基于图1至图7描述的其它单元和步骤，的各种功能。
根据发明方法的某些实施要求，发明方法可以在硬件中或软件中或它们的任意组合中实施。
这些实施可以使用数字存储介质执行，例如软盘、CD、DVD、蓝光光盘、ROM、PROM、EPROM、EEPROM或闪存，其上存储有电子可读控制信号，这些控制信号与或能够与可编程计算机系统合作，从而执行至少一种发明方法的实施例。
因此，本发明的又一实施例是或包括计算机程序产品，其具有存储在机器可读载体上的程序代码，当该计算机程序产品在计算机上运行时，该程序代码可用于执行至少一种发明方法。
换言之，因此，发明方法的实施例是或包括具有程序代码的计算机程序，当该计算机程序在计算机、处理器等上运行时，该程序代码用于执行至少一种发明方法。
因此，本发明的又一实施例是或包括机器可读数字存储介质，其包括存储在其上的计算机程序，当计算机程序产品在计算机、处理器等上运行时，该计算机程序可用于执行至少一种发明方法。
因此，本发明的又一实施例是或包括代表计算机程序的信号的数据流或序列，当计算机程序产品在计算机、处理器等上运行时，该计算机程序可用于执行至少一种发明方法。
因此，本发明的又一实施例是或包括适于执行至少一种发明方法的计算机、处理器或任何其它可编程逻辑设备。
因此，本发明的又一实施例是或包括其上存储有计算机程序的计算机、处理器或任何其它可编程逻辑设备，当计算机程序产品在计算机、处理器或任何其它可编程逻辑设备，例如现场可编程门阵列(field programmable gate array，FPGA)或特定应用集成电路(application specific integrated circuit，ASIC)，上运行时，该计算机程序可用于执行至少一种发明方法。
虽然前述内容结合其特定实施例具体示出并描述，但是本领域技术人员应理解，可对形式和细节进行各种其它变更而不脱离其精神和范围。因此，应理解，可适应于不同实施例进行各种变更而不脱离本文公开的以及所附权利要求包含的更广泛的概念。

Claims (14)

1.一种用于增强多声道音频信号内的语音分量的信号处理装置(100)，其特征在于，所述多声道音频信号包括左声道音频信号(L)、中心声道音频信号(C)和右声道音频信号(R)，所述信号处理装置(100)包括滤波器(101)和合路器(103)，
其中所述滤波器(101)用于：
依据所述左声道音频信号(L)、所述中心声道音频信号(C)和所述右声道音频信号(R)确定代表频率上所述多声道音频信号的整体量级的测量，
基于所述中心声道音频信号(C)的量级测量与代表所述多声道音频信号的所述整体量级的所述测量之间的比率获得增益函数(G)，以及
通过所述增益函数(G)加权所述左声道音频信号(L)以获得加权左声道音频信号(LE)，通过所述增益函数(G)加权所述中心声道音频信号(C)以获得加权中心声道音频信号(CE)并通过所述增益函数(G)加权所述右声道音频信号(R)以获得加权右声道音频信号(RE)；以及
其中所述合路器(103)用于：
合并所述左声道音频信号(L)与所述加权左声道音频信号(LE)以获得合路左声道音频信号(LEV)，合并所述中心声道音频信号(C)与所述加权中心声道音频信号(CE)以获得合路中心声道音频信号(CEV)，以及合并所述右声道音频信号(R)与所述加权右声道音频信号(RE)以获得合路右声道音频信号(REV)。
2.根据权利要求1所述的信号处理装置(100)，其特征在于，所述滤波器(101)用于将代表所述多声道音频信号的所述整体量级的所述测量确定为所述中心声道音频信号(C)的所述量级测量和所述左声道音频信号(L)与所述右声道音频信号(R)的差的量级测量之和。
3.根据任一前述权利要求所述的信号处理装置(100)，其特征在于，所述滤波器(101)用于根据以下等式确定所述增益函数(G)：
Figure FDA0002333207210000021
PC(m,k)＝|C(m,k)|2
PS(m,k)＝|L(m,k)-R(m,k)|2
其中，G表示所述增益函数，L表示所述左声道音频信号，C表示所述中心声道音频信号，R表示所述右声道音频信号，PC将所述中心声道音频信号(C)的能量表示为代表所述中心声道音频信号(C)的量级的所述测量，PS表示所述左声道音频信号(L)与所述右声道音频信号(R)之间的差的能量，PC与PS之和表示代表所述多声道音频信号的所述整体量级的所述测量，m表示采样时间索引，k表示频率点索引。
4.根据权利要求1或2所述的信号处理装置(100)，其特征在于，所述多声道音频信号还包括左环绕声道音频信号LS和右环绕声道音频信号RS，
其中所述滤波器(101)用于：
还依据所述左环绕声道音频信号LS和所述右环绕声道音频信号RS确定代表频率上所述多声道音频信号的所述整体量级的所述测量，以及
将代表所述多声道音频信号的所述整体量级的所述测量确定为所述中心声道音频信号(C)的所述量级测量、所述左声道音频信号(L)与所述右声道音频信号(R)的差的量级测量以及所述左环绕声道音频信号LS与所述右环绕声道音频信号RS的差的量级测量之和。
5.根据权利要求1或2所述的信号处理装置(100)，其特征在于，还包括：
语音活动检测器(601)用于依据所述左声道音频信号(L)、所述中心声道音频信号(C)和所述右声道音频信号(R)确定语音活动指示符(V)，所述语音活动指示符(V)指示所述多声道音频信号内的所述语音分量在不同时间的量级，
其中所述合路器(103)还用于合并所述加权左声道音频信号(LE)与所述语音活动指示符(V)以获得所述合路左声道音频信号(LEV)，合并所述加权中心声道音频信号(CE)与所述语音活动指示符(V)以获得所述合路中心声道音频信号(CEV)，以及合并所述加权右声道音频信号(RE)与所述语音活动指示符(V)以获得所述合路右声道音频信号(REV)。
6.根据权利要求5所述的信号处理装置(100)，其特征在于，所述语音活动检测器(601)用于：
依据所述左声道音频信号(L)、所述中心声道音频信号(C)和所述右声道音频信号(R)确定代表所述多声道音频信号的整体频谱变化的测量，以及
基于所述中心声道音频信号(C)的频谱变化测量(Fc)与代表所述多声道音频信号的所述整体频谱变化的所述测量之间的比率获得所述语音活动指示符(V)。
7.根据权利要求6所述的信号处理装置(100)，其特征在于，所述语音活动检测器(601)用于根据以下等式确定所述语音活动指示符(V)：
Figure FDA0002333207210000031
其中，V表示所述语音活动指示符，FC表示所述中心声道音频信号(C)的所述频谱变化测量，FS表示所述左声道音频信号(L))与所述右声道音频信号(R)之间的差的频谱变化测量，FC与FS之和表示代表所述多声道音频信号的所述整体频谱变化的所述测量，a表示预定缩放因子。
8.根据权利要求7所述的信号处理装置(100)，其特征在于，所述语音活动检测器(601)用于根据以下等式将所述中心声道音频信号(C)的所述频谱变化测量(Fc)确定为频谱通量并将所述左声道音频信号(L)与所述右声道音频信号(R)之间的所述差的所述频谱变化测量(FS)确定为所述频谱通量：
Figure FDA0002333207210000041
Figure FDA0002333207210000042
其中，FC表示所述中心声道音频信号(C)的所述频谱通量，FS表示所述左声道音频信号(L)与所述右声道音频信号(R)之间的所述差的所述频谱通量，C表示所述中心声道音频信号，S表示所述左声道音频信号(L)与所述右声道音频信号(R)之间的所述差，m表示采样时间索引，k表示频率点索引。
9.根据权利要求5所述的信号处理装置(100)，其特征在于，所述语音活动检测器(601)用于依据预定低通滤波函数按时对所述语音活动指示符(V)进行滤波。
10.根据权利要求5所述的信号处理装置(100)，其特征在于，所述合路器(103)还用于通过预定输入增益因子Gin加权所述左声道音频信号(L)、所述中心声道音频信号(C)和所述右声道音频信号(R)，以及通过预定语音增益因子GS加权所述语音活动指示符(V)。
11.根据权利要求5所述的信号处理装置(100)，其特征在于，所述合路器(103)用于将所述左声道音频信号(L)添加到所述加权左声道音频信号(LE)与所述语音活动指示符(V)的组合中以获得所述合路左声道音频信号(LEV)，将所述中心声道音频信号(C)添加到所述加权中心声道音频信号(LE)与所述语音活动指示符(V)的组合中以获得所述合路中心声道音频信号(CEV)，以及将所述右声道音频信号(R)添加到所述加权右声道音频信号(LE)与所述语音活动指示符(V)的组合中以获得所述合路右声道音频信号(REV)。
12.根据权利要求1或2所述的信号处理装置(100)，其特征在于，还包括：
上混频器(301)，用于依据输入左声道立体声音频信号(Lin)和输入右声道立体声音频信号(Rin)确定所述左声道音频信号(L)、所述中心声道音频信号(C)和所述右声道音频信号(R)，和/或
下混频器(303)，用于依据所述合路左声道音频信号(LEV)、所述合路中心声道音频信号(CEV)和所述合路右声道音频信号(REV)确定输出左声道立体声音频信号(Lout)和输出右声道立体声音频信号(Rout)。
13.根据权利要求1或2所述的信号处理装置(100)，其特征在于，所述量级测量包括信号的能量、对数能量、量级或对数量级。
14.一种用于增强多声道音频信号内的语音分量的信号处理方法(200)，其特征在于，所述多声道音频信号包括左声道音频信号(L)、中心声道音频信号(C)和右声道音频信号(R)，所述信号处理方法(200)包括：
依据所述左声道音频信号(L)、所述中心声道音频信号(C)和所述右声道音频信号(R)确定(201)代表频率上所述多声道音频信号的整体量级的测量，
基于所述中心声道音频信号(C)的量级测量与代表所述多声道音频信号的所述整体量级的所述测量之间的比率获得(203)增益函数(G)，
通过所述增益函数(G)加权(205)所述左声道音频信号(L)以获得加权左声道音频信号(LE)，
通过所述增益函数(G)加权(207)所述中心声道音频信号(C)以获得加权中心声道音频信号(CE)，
通过所述增益函数(G)加权(209)所述右声道音频信号(R)以获得加权右声道音频信号(RE)，
合并(211)所述左声道音频信号(L)与所述加权左声道音频信号(LE)以获得合路左声道音频信号(LEV)，
合并(213)所述中心声道音频信号(C)与所述加权中心声道音频信号(CE)以获得合路中心声道音频信号(CEV)，以及
合并(215)所述右声道音频信号(R)与所述加权右声道音频信号(RE)以获得合路右声道音频信号(REV)。
CN201480083921.7A 2014-12-12 2014-12-12 增强多声道音频信号内语音分量的信号处理装置 Active CN107004427B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/077620 WO2016091332A1 (en) 2014-12-12 2014-12-12 A signal processing apparatus for enhancing a voice component within a multi-channel audio signal

Publications (2)

Publication Number Publication Date
CN107004427A CN107004427A (zh) 2017-08-01
CN107004427B true CN107004427B (zh) 2020-04-14

Family

ID=52023531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083921.7A Active CN107004427B (zh) 2014-12-12 2014-12-12 增强多声道音频信号内语音分量的信号处理装置

Country Status (11)

Country Link
US (1) US10210883B2 (zh)
EP (1) EP3204945B1 (zh)
JP (1) JP6508491B2 (zh)
KR (1) KR101935183B1 (zh)
CN (1) CN107004427B (zh)
AU (1) AU2014413559B2 (zh)
CA (1) CA2959090C (zh)
MX (1) MX363414B (zh)
RU (1) RU2673390C1 (zh)
WO (1) WO2016091332A1 (zh)
ZA (1) ZA201701038B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9932033B2 (en) 2007-05-10 2018-04-03 Allstate Insurance Company Route risk mitigation
US10096038B2 (en) 2007-05-10 2018-10-09 Allstate Insurance Company Road segment safety rating system
US8606512B1 (en) 2007-05-10 2013-12-10 Allstate Insurance Company Route risk mitigation
US10096067B1 (en) 2014-01-24 2018-10-09 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US9355423B1 (en) 2014-01-24 2016-05-31 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US9390451B1 (en) 2014-01-24 2016-07-12 Allstate Insurance Company Insurance system related to a vehicle-to-vehicle communication system
US10803525B1 (en) 2014-02-19 2020-10-13 Allstate Insurance Company Determining a property of an insurance policy based on the autonomous features of a vehicle
US10783587B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a driver score based on the driver's response to autonomous features of a vehicle
US10796369B1 (en) 2014-02-19 2020-10-06 Allstate Insurance Company Determining a property of an insurance policy based on the level of autonomy of a vehicle
US10783586B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a property of an insurance policy based on the density of vehicles
US9940676B1 (en) 2014-02-19 2018-04-10 Allstate Insurance Company Insurance system for analysis of autonomous driving
WO2016007528A1 (en) * 2014-07-10 2016-01-14 Analog Devices Global Low-complexity voice activity detection
US10269075B2 (en) * 2016-02-02 2019-04-23 Allstate Insurance Company Subjective route risk mapping and mitigation
EP3373604B1 (en) 2017-03-08 2021-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing a measure of spatiality associated with an audio stream
KR101811635B1 (ko) 2017-04-27 2018-01-25 경상대학교산학협력단 스테레오 채널 잡음 제거 장치 및 방법
CN107331393B (zh) * 2017-08-15 2020-05-12 成都启英泰伦科技有限公司 一种自适应语音活动检测方法
CN107863099B (zh) * 2017-10-10 2021-03-26 成都启英泰伦科技有限公司 一种新型双麦克风语音检测和增强方法
US10511909B2 (en) 2017-11-29 2019-12-17 Boomcloud 360, Inc. Crosstalk cancellation for opposite-facing transaural loudspeaker systems
US11290802B1 (en) * 2018-01-30 2022-03-29 Amazon Technologies, Inc. Voice detection using hearable devices
CN108182945A (zh) * 2018-03-12 2018-06-19 广州势必可赢网络科技有限公司 一种基于声纹特征的多人声音分离方法及装置
US10567878B2 (en) 2018-03-29 2020-02-18 Dts, Inc. Center protection dynamic range control
US11551671B2 (en) * 2019-05-16 2023-01-10 Samsung Electronics Co., Ltd. Electronic device and method of controlling thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926610A (zh) * 2004-03-12 2007-03-07 诺基亚公司 基于编码的多声道音频信号合成单声道音频信号
CN1964582A (zh) * 2005-11-11 2007-05-16 索尼株式会社 音频信号处理装置以及音频信号处理方法
CN101437094A (zh) * 2008-12-04 2009-05-20 中兴通讯股份有限公司 移动终端立体声背景噪声抑制方法及装置
CN101695150A (zh) * 2009-10-12 2010-04-14 清华大学 多声道音频编码方法、编码器、解码方法和解码器
CN101894559A (zh) * 2010-08-05 2010-11-24 展讯通信（上海）有限公司 音频处理方法及其装置
CN101960516A (zh) * 2007-09-12 2011-01-26 杜比实验室特许公司 语音增强
CN102402977A (zh) * 2010-09-14 2012-04-04 无锡中星微电子有限公司 从立体声音乐中提取伴奏、人声的方法及其装置
CN103180900A (zh) * 2010-10-25 2013-06-26 高通股份有限公司 用于话音活动检测的系统、方法和设备

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1522599A (en) * 1974-11-16 1978-08-23 Dolby Laboratories Inc Centre channel derivation for stereophonic cinema sound
US5046098A (en) * 1985-03-07 1991-09-03 Dolby Laboratories Licensing Corporation Variable matrix decoder with three output channels
US4799260A (en) * 1985-03-07 1989-01-17 Dolby Laboratories Licensing Corporation Variable matrix decoder
US4866774A (en) * 1988-11-02 1989-09-12 Hughes Aircraft Company Stero enhancement and directivity servo
JP3972267B2 (ja) * 1997-02-25 2007-09-05 日本ビクター株式会社 デジタルオーディオ信号処理用記録媒体、プログラム用の通信方法及び受信方法、デジタルオーディオ信号用の通信方法及び受信方法、並びにデジタルオーディオ記録媒体
AU1250801A (en) * 1999-09-10 2001-04-10 Wisconsin Alumni Research Foundation Spectral enhancement of acoustic signals to provide improved recognition of speech
US6920223B1 (en) * 1999-12-03 2005-07-19 Dolby Laboratories Licensing Corporation Method for deriving at least three audio signals from two input audio signals
US6757395B1 (en) * 2000-01-12 2004-06-29 Sonic Innovations, Inc. Noise reduction apparatus and method
JP2001238300A (ja) * 2000-02-23 2001-08-31 Fujitsu Ten Ltd 音量値算出方法
DE60108401T2 (de) * 2000-08-14 2006-04-06 Clear Audio Ltd. System zur erhöhung der sprachqualität
EP1362499B1 (en) * 2000-08-31 2012-02-15 Dolby Laboratories Licensing Corporation Method for apparatus for audio matrix decoding
JP2003084790A (ja) * 2001-09-17 2003-03-19 Matsushita Electric Ind Co Ltd 台詞成分強調装置
US7257231B1 (en) * 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
US7970144B1 (en) * 2003-12-17 2011-06-28 Creative Technology Ltd Extracting and modifying a panned source for enhancement and upmix of audio signals
JP4013906B2 (ja) * 2004-02-16 2007-11-28 ヤマハ株式会社 音量制御装置
WO2005098854A1 (ja) * 2004-04-06 2005-10-20 Matsushita Electric Industrial Co., Ltd. 音声再生装置、音声再生方法及びプログラム
US20060182284A1 (en) * 2005-02-15 2006-08-17 Qsound Labs, Inc. System and method for processing audio data for narrow geometry speakers
KR100608025B1 (ko) * 2005-03-03 2006-08-02 삼성전자주식회사 2채널 헤드폰용 입체 음향 생성 방법 및 장치
EP1927266B1 (en) * 2005-09-13 2014-05-14 Koninklijke Philips N.V. Audio coding
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
US20160066087A1 (en) * 2006-01-30 2016-03-03 Ludger Solbach Joint noise suppression and acoustic echo cancellation
KR101061132B1 (ko) 2006-09-14 2011-08-31 엘지전자 주식회사 다이알로그 증폭 기술
JP4946305B2 (ja) * 2006-09-22 2012-06-06 ソニー株式会社 音響再生システム、音響再生装置および音響再生方法
US8050434B1 (en) * 2006-12-21 2011-11-01 Srs Labs, Inc. Multi-channel audio enhancement system
JP5285626B2 (ja) * 2007-03-01 2013-09-11 ジェリー・マハバブ 音声空間化及び環境シミュレーション
KR101336237B1 (ko) * 2007-03-02 2013-12-03 삼성전자주식회사 멀티 채널 스피커 시스템의 멀티 채널 신호 재생 방법 및장치
KR101163411B1 (ko) * 2007-03-19 2012-07-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 지각 모델을 사용한 스피치 개선
EP3070714B1 (en) * 2007-03-19 2018-03-14 Dolby Laboratories Licensing Corporation Noise variance estimation for speech enhancement
US8180062B2 (en) * 2007-05-30 2012-05-15 Nokia Corporation Spatial sound zooming
WO2009004718A1 (ja) * 2007-07-03 2009-01-08 Pioneer Corporation 楽音強調装置、楽音強調方法、楽音強調プログラムおよび記録媒体
US8606566B2 (en) * 2007-10-24 2013-12-10 Qnx Software Systems Limited Speech enhancement through partial speech reconstruction
PL2232700T3 (pl) * 2007-12-21 2015-01-30 Dts Llc System regulacji odczuwanej głośności sygnałów audio
WO2009128078A1 (en) * 2008-04-17 2009-10-22 Waves Audio Ltd. Nonlinear filter for separation of center sounds in stereophonic audio
CN102137326B (zh) 2008-04-18 2014-03-26 杜比实验室特许公司 用于保持多通道音频中的语音可听度的方法和设备
TR201810466T4 (tr) 2008-08-05 2018-08-27 Fraunhofer Ges Forschung Özellik çıkarımı kullanılarak konuşmanın iyileştirilmesi için bir ses sinyalinin işlenmesine yönelik aparat ve yöntem.
TWI449442B (zh) * 2009-01-14 2014-08-11 Dolby Lab Licensing Corp 用於無回授之頻域主動矩陣解碼的方法與系統
EP2396975B1 (en) * 2009-02-16 2018-01-03 Blamey & Saunders Hearing Pty Ltd Automated fitting of hearing devices
JP5564803B2 (ja) * 2009-03-06 2014-08-06 ソニー株式会社 音響機器及び音響処理方法
US8705769B2 (en) * 2009-05-20 2014-04-22 Stmicroelectronics, Inc. Two-to-three channel upmix for center channel derivation
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
US9324337B2 (en) * 2009-11-17 2016-04-26 Dolby Laboratories Licensing Corporation Method and system for dialog enhancement
TWI459828B (zh) * 2010-03-08 2014-11-01 Dolby Lab Licensing Corp 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統
JP5658506B2 (ja) * 2010-08-02 2015-01-28 日本放送協会 音響信号変換装置及び音響信号変換プログラム
CN103004084B (zh) * 2011-01-14 2015-12-09 华为技术有限公司 用于语音质量增强的方法及设备
JP2012169781A (ja) * 2011-02-10 2012-09-06 Sony Corp 音声処理装置および方法、並びにプログラム
US20130282372A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
EP2701145B1 (en) * 2012-08-24 2016-10-12 Retune DSP ApS Noise estimation for use with noise reduction and echo cancellation in personal communication
WO2014039028A1 (en) * 2012-09-04 2014-03-13 Nuance Communications, Inc. Formant dependent speech signal enhancement
EP2898510B1 (en) * 2012-09-19 2016-07-13 Dolby Laboratories Licensing Corporation Method, system and computer program for adaptive control of gain applied to an audio signal
EP2733964A1 (en) * 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
JP6135106B2 (ja) * 2012-11-29 2017-05-31 富士通株式会社 音声強調装置、音声強調方法及び音声強調用コンピュータプログラム
WO2014164361A1 (en) * 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
CN105917674B (zh) * 2013-10-30 2019-11-22 华为技术有限公司 用于处理音频信号的方法和移动装置
CN103632666B (zh) * 2013-11-14 2016-09-28 华为技术有限公司 语音识别方法、语音识别设备和电子设备
CN105336341A (zh) * 2014-05-26 2016-02-17 杜比实验室特许公司 增强音频信号中的语音内容的可理解性
CN104134444B (zh) * 2014-07-11 2017-03-15 福建星网视易信息系统有限公司 一种基于mmse的歌曲去伴奏方法和装置
US10332541B2 (en) * 2014-11-12 2019-06-25 Cirrus Logic, Inc. Determining noise and sound power level differences between primary and reference channels
US9747923B2 (en) * 2015-04-17 2017-08-29 Zvox Audio, LLC Voice audio rendering augmentation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926610A (zh) * 2004-03-12 2007-03-07 诺基亚公司 基于编码的多声道音频信号合成单声道音频信号
CN1964582A (zh) * 2005-11-11 2007-05-16 索尼株式会社 音频信号处理装置以及音频信号处理方法
CN101960516A (zh) * 2007-09-12 2011-01-26 杜比实验室特许公司 语音增强
CN101437094A (zh) * 2008-12-04 2009-05-20 中兴通讯股份有限公司 移动终端立体声背景噪声抑制方法及装置
CN101695150A (zh) * 2009-10-12 2010-04-14 清华大学 多声道音频编码方法、编码器、解码方法和解码器
CN101894559A (zh) * 2010-08-05 2010-11-24 展讯通信（上海）有限公司 音频处理方法及其装置
CN102402977A (zh) * 2010-09-14 2012-04-04 无锡中星微电子有限公司 从立体声音乐中提取伴奏、人声的方法及其装置
CN103180900A (zh) * 2010-10-25 2013-06-26 高通股份有限公司 用于话音活动检测的系统、方法和设备

Also Published As

Publication number Publication date
US20170154636A1 (en) 2017-06-01
AU2014413559B2 (en) 2018-10-18
CA2959090C (en) 2020-02-11
CN107004427A (zh) 2017-08-01
AU2014413559A1 (en) 2017-03-02
US10210883B2 (en) 2019-02-19
EP3204945B1 (en) 2019-10-16
KR20170042709A (ko) 2017-04-19
BR112017003218A2 (pt) 2017-11-28
CA2959090A1 (en) 2016-06-16
ZA201701038B (en) 2018-04-25
KR101935183B1 (ko) 2019-01-03
MX2017003698A (es) 2017-06-30
EP3204945A1 (en) 2017-08-16
WO2016091332A1 (en) 2016-06-16
JP6508491B2 (ja) 2019-05-08
JP2017533459A (ja) 2017-11-09
MX363414B (es) 2019-03-22
RU2673390C1 (ru) 2018-11-26

Similar Documents

Publication Publication Date Title
CN107004427B (zh) 增强多声道音频信号内语音分量的信号处理装置
US10650796B2 (en) Single-channel, binaural and multi-channel dereverberation
US8731209B2 (en) Device and method for generating a multi-channel signal including speech signal processing
RU2596592C2 (ru) Пространственный аудио процессор и способ обеспечения пространственных параметров на основе акустического входного сигнала
EP2545552B1 (en) Method and system for scaling ducking of speech-relevant channels in multi-channel audio
US7970144B1 (en) Extracting and modifying a panned source for enhancement and upmix of audio signals
CN110619882B (zh) 用于降低去相关器电路中瞬态信号的时间伪差的系统和方法
RU2663345C2 (ru) Устройство и способ масштабирования центрального сигнала и улучшения стереофонии на основе отношения сигнал-понижающее микширование
KR20140074918A (ko) 직접-산란 분해
KR101637407B1 (ko) 부가적인 출력 채널들을 제공하기 위하여 스테레오 출력 신호를 발생시키기 위한 장치와 방법 및 컴퓨터 프로그램
Gunawan et al. Investigation of various algorithms on multichannel audio compression
JP2018049228A (ja) 音響処理装置および音響処理方法
BR112017003218B1 (pt) Aparelho de processamento de sinal para aprimorar um componente de voz dentro de um sinal de áudio multicanal
WO2023172609A1 (en) Method and audio processing system for wind noise suppression
WO2022258876A1 (en) Parametric spatial audio rendering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant