CN109996151A - 一种基于瞬稳态信号分离混合虚拟低音增强处理方法 - Google Patents

一种基于瞬稳态信号分离混合虚拟低音增强处理方法 Download PDF

Info

Publication number
CN109996151A
CN109996151A CN201910282805.2A CN201910282805A CN109996151A CN 109996151 A CN109996151 A CN 109996151A CN 201910282805 A CN201910282805 A CN 201910282805A CN 109996151 A CN109996151 A CN 109996151A
Authority
CN
China
Prior art keywords
signal
steady
state
virtual bass
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910282805.2A
Other languages
English (en)
Inventor
方勇
张斌
夏志立
史梦杰
陶浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910282805.2A priority Critical patent/CN109996151A/zh
Publication of CN109996151A publication Critical patent/CN109996151A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)

Abstract

本发明公开了一种基于瞬稳态信号分离混合虚拟低音增强处理方法，包括以下步骤：利用瞬态/稳态信号分离算法将原始音频信号中的瞬态成分和稳态成分分离开来，然后分别通过基于非线性器件的虚拟低音生成模块和基于相位声码器的虚拟低音生成模块进行虚拟低音处理，将得到的两路虚拟低音信号经过谐波幅度控制使其满足等响度曲线并合成为一路，最后将得到的虚拟低音信号与原始音频信号经高通滤波和延时处理后得到的高频信号进行叠加，得到混合虚拟低音增强处理后的音频信号。本方法大大减少了虚拟低音处理的稳态失真和瞬态失真，使虚拟低音处理后的音频信号在保留原始品质的同时增强了低音效果，增强了音频的洪亮度、丰满度、浑厚感和空间感。

Description

一种基于瞬稳态信号分离混合虚拟低音增强处理方法
技术领域
本发明涉及音频处理技术领域，具体涉及一种基于瞬稳态信号分离混合虚拟低音增强处理方法。
背景技术
在当前小型化、轻便化的多媒体设备中，嵌入其中的扬声器在尺寸上有很严格的限制，这种物理上的限制使得小型扬声器的低频重放能力很差，但是音频中的低频成分对听音感受起着很重要的作用，直接影响声音的洪亮度、丰满度、浑厚感和空间感。如何改善小型扬声器的低频表现是音频设计领域亟待解决的问题。
虚拟低音增强技术是一种较为有效的解决方法。现有的虚拟低音增强算法主要是基于非线性器件的和基于相位声码器的还有基于两者结合的混合虚拟低音增强算法。其中，基于非线性器件的方法处理速度较快，对于瞬态信号所产生的低音效果较好，比如鼓声等，但是对于稳态信号会产生非线性畸变；基于相位声码器算法是通过短时傅理叶变换得到音频信号的时频信息，然后通过增加信号低频成分相位变化率的方式产生谐波，这种方法比较灵活，有效地控制了信号畸变，但是处理速度较慢，而且相位声码器为了得到更高的低频分辨率，必须在时域中有一个很大的分析窗口，这样会对瞬态信号产生一定的失真，所以基于相位声码器的低音增强算法处理稳态信号有较好的表现。
发明内容
针对现有技术存在的缺陷，本发明的目的是提出一种基于瞬稳态信号分离混合虚拟低音增强处理方法。该方法在传统的虚拟低音增强技术的基础上，首先利用滤波器提取出音频中的低频信号部分用于低音增强；其次使用HPSS声源分离算法，将低频信号中的瞬态和稳态信号分离并分别处理：针对低音瞬态信号采用非线性器件进行虚拟低音生成，针对低音稳态信号采用相位声码器进行虚拟低音生成；经谐波幅度控制后可以合成完整的虚拟低音信号；最后与原始的高频信号部分经过延时等一系列处理后即可以得到完整的低音增强音频信号。
为达到上述目的，本发明采用如下技术方案：
一种基于瞬稳态信号分离混合虚拟低音增强处理方法，具体过程如下：
1)将原始音频输入信号xori(t)分成两路，其中一路信号通过起始频率为Fc的高通滤波模块，得到高于高通滤波模块起始频率Fc的信号部分，并经过延时处理模块得到高频信号xH(t)，另一路信号通过截止频率为Fc的低通滤波模块处理得到低频信号xL(t)；将低频信号xL(t)经过瞬态/稳态信号分离处理模块处理后得到低音信号的谐波信号x′L(t)；将所述高频信号xH(t)与虚拟低音信号x′L(t)进行合成，得到虚拟低音增强后的音频信号xBass(t)输出。
2)其中瞬态/稳态信号分离处理模块的具体处理部分如下：
a)将所述低频信号xL(t)通过HPSS瞬态\稳态信号分离处理模块进行信号分离处理，得到低频音频信号的稳态信号xL_H(t)和瞬态信号xL_P(t)；
b)对所述低频信号的稳态信号xL_H(t)和瞬态信号xL_P(t)分别进行虚拟低音谐波生成处理；其中，将所述瞬态信号xL_P(t)输入到由乘法器元件和反馈回路组成的基于非线性器件的瞬态信号虚拟低音生成模块，得到瞬态信号的谐波信号x′L_P(t)；将所述稳态信号xL_H(t)输入到基于相位声码器的稳态低音信号虚拟低音生成模块，得到稳态信号的谐波信号x′L_H(t)；
c)将所述瞬态信号的谐波信号x′L_P(t)和稳态信号的谐波信号x′L_H(t)通过谐波幅度控制模块处理，得到虚拟低音信号x′L(t)；
所述步骤2a)中的信号分离处理过程包括以下步骤：
(i)对所述低频信号xL(t)进行短时傅里叶变换，得到低频信号的时频谱
(ii)对所述低频信号时频谱进行取模运算，得到低频信号时频谱的幅度谱
(iii)设置稳态信号时频谱和瞬态信号时频谱的初始值都为其中γ为衰减因子；
(iv)利用如下公式进行迭代处理：
其中，n代表的时频谱时间索引；k为时频谱频率索引；
(v)将得到的稳态信号幅度谱H和瞬态信号幅度谱P用如下公式得到维纳滤波器；
(vi)将所述的低频信号时频谱乘以维纳滤波器，得到稳态信号时频谱和瞬态信号时频谱计算公式如下；
(vii)对得到的稳态信号时频谱和瞬态信号时频谱进行逆短时傅里叶变换，得到时
域的稳态信号xL_H(t)和时域的瞬态信号xL_P(t)。
所述步骤2c)中的处理过程为：根据等响度曲线，对所述瞬态谐波信号x′L_P(t)和稳态谐波信号x′L_H(t)进行谐波幅度调整，使其达到理想的低音效果，然后合成为一路，得到虚拟低音信号x′L(t)。
本发明方法与现有技术相比较，具有如下优势：
本发明考虑了音频信号中普遍具有瞬态成分和稳态成分，首先利用瞬态/稳态信号分离算法将原始音频中的瞬态成分和稳态成分分离开来，再利用传统的基于非线性器件的虚拟低音生成模块和基于相位声码器的虚拟低音生成模块进行虚拟低音处理，大大减少了虚拟低音处理的稳态失真和瞬态失真，使虚拟低音处理后的音频信号在保留原始品质的同时增强了低音效果，增强了音频的洪亮度、丰满度、浑厚感和空间感。
附图说明
图1为本发明基于瞬稳态信号分离混合虚拟低音增强处理方法总流程框架示意图。
图2是图1中瞬态/稳态信号分离处理模块示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细描述，但本发明的实施方式不限于此。
本发明的基于瞬稳态信号分离混合虚拟低音增强处理方法，音频信号中包含着瞬态成分和稳态成分，利用瞬态/稳态信号分离算法将原始音频信号中的瞬态成分和稳态成分分离开来，然后分别通过基于非线性器件的虚拟低音生成模块和基于相位声码器的虚拟低音生成模块进行虚拟低音处理，然后将得到的两路虚拟低音信号经过谐波幅度控制使其满足等响度曲线并合成为一路，最后将得到的虚拟低音信号与原始音频信号经高通滤波和延时处理后得到的高频信号进行叠加，得到混合虚拟低音增强处理后的音频信号。如图1、图2所示，具体实施步骤如下：
1)将原始音频输入信号xori(t)分成两路，其中一路信号通过起始频率为Fc的高通滤波模块1，得到高于高通滤波模块1起始频率Fc的信号部分，并经过延时处理模块2得到高频信号xH(t)，另一路信号通过截止频率为Fc的低通滤波模块3处理得到低频信号xL(t)；
2)将所述低频信号xL(t)通过HPSS瞬态\稳态信号分离处理模块5进行信号分离处理，得到低频音频信号的稳态信号xL_H(t)和瞬态信号xL_P(t)；信号分离处理过程包括以下步骤：
a.将低频信号xL(t)进行短时傅里叶变换(STFT)，得到低频信号的时频谱矩阵，记为 是一个N×K的复数矩阵，其中N表示时频谱总共的时间样点数，K表示每个时间样点所拥有的频率样点数。
b.对低频信号时频谱进行取模运算，得到其幅度谱Y，Y是一个N×K的实数矩阵，Yn,k表示时频谱幅度谱中的某一个时频点，n和k都是整数，代表着该时频点的时间索引和频率索引；
c.设置稳态信号幅度谱H和瞬态信号幅度谱P的初始值都为其中γ为衰减因子，在本实施例中γ＝0.5；
d.利用如下公式进行迭代处理：
其中，
e.将得到的稳态信号幅度谱H和瞬态信号幅度谱P用如下公式得到维纳滤波器；
f.将低频信号时频谱乘以维纳滤波器，得到稳态信号时频谱和瞬态信号时频谱计算公式如下；
g.对得到的稳态信号时频谱和瞬态信号时频谱进行逆短时傅里叶变换(iSTFT)，得到时域的稳态信号xL_H(t)和时域的瞬态信号xL_P(t)。
3)对所述低频信号的稳态信号xL_H(t)和瞬态信号xL_P(t)分别进行虚拟低音谐波生成处理；其中，将所述瞬态信号xL_P(t)输入到由乘法器元件和反馈回路组成的基于非线性器件的瞬态信号虚拟低音生成模块6，得到瞬态信号的谐波信号x′L_P(t)；将所述稳态信号xL_H(t)输入到基于相位声码器的稳态信号虚拟低音生成模块7，得到稳态信号的谐波信号x′L_H(t)；
基于非线性器件的瞬态信号虚拟低音生成模块是利用乘法器元件来产生低频成分的高次谐波，若乘法器两端输入信号都是频率为f0的纯音信号：
则乘法器的输出信号是频率为2f0的纯音信号：
同理，若输入信号是频率分别为f0与2f0的纯音，则输出信号的频率为3f0。
基于相位声码器的稳态信号虚拟低音生成模块是利用相位声码器来控制谐波，相位声码器算法是基于短时傅里叶变换利用相位信息来实现信号的音调变换的方法，可以应用于音频的时间拉伸和压缩。基于相位声码器的稳态信号虚拟低音生成模块首先对输入稳态信号xL_H(t)进行短时傅里叶变换，短时傅里叶变换会通过加窗处理将信号分段，对每段信号进行快速傅里叶变换，得到的信号可由一组正弦信号组合而成，改变正弦信号的相位变化率，其频率就会发生改变，从而生成高次谐波，然后再对每段信号进行逆快速傅里叶变换操作，还原成时域信号，再将每段信号相加，得到稳态信号的谐波信号x′L_H(t)。
4)将所述瞬态信号的谐波信号x′L_P(t)和稳态信号的谐波信号x′L_H(t)通过谐波幅度控制模块8处理，并合成为一路。由于不同频率的纯音信号和具有不同频率组分的复音信号，即使声压级相同，响度可不相同，需要根据等响度曲线对生成的谐波成分进行谐波幅度控制，使其达到理想的低音效果，然后合成为一路，得到虚拟低音信号x′L(t)。
5)将所述高频信号xH(t)与虚拟低音信号x′L(t)进行合成，得到虚拟低音增强后的音频信号xBass(t)输出。
综上所述，本发明提供了一种基于瞬稳态信号分离混合虚拟低音增强处理方法，该方法首先利用HPSS声源分离算法，将原始低频信号分离成瞬态和稳态两部分，再针对每一部分信号的特征对其进行相应的虚拟低音生成处理，在保证原始音频音质的同时，有效降低了虚拟低音增强处理后的失真，增强了音频信号的低音效果。
本发明得到上海市科委重点支撑项目(16010500100)支持。

Claims (3)

1.一种基于瞬稳态信号分离混合虚拟低音增强处理方法，其特征在于，具体过程如下：
1)将原始音频输入信号xori(t)分成两路，其中一路信号通过起始频率为Fc的高通滤波模块(1)，得到高于高通滤波模块(1)起始频率Fc的信号部分，并经过延时处理模块(2)得到高频信号xH(t)，另一路信号通过截止频率为Fc的低通滤波模块(3)处理得到低频信号xL(t)；
2)将所述低频信号xL(t)通过HPSS瞬态\稳态信号分离处理模块(5)进行信号分离处理，得到低频音频信号的稳态信号xL_H(t)和瞬态信号xL_P(t)；
3)对所述低频信号的稳态信号xL_H(t)和瞬态信号xL_P(t)分别进行虚拟低音谐波生成处理；其中，将所述瞬态信号xL_P(t)输入到由乘法器元件和反馈回路组成的基于非线性器件的瞬态信号虚拟低音生成模块(6)，得到瞬态信号的谐波信号x′L_P(t)；将所述稳态信号xL_H(t)输入到基于相位声码器的稳态低音信号虚拟低音生成模块(7)，得到稳态信号的谐波信号x′L_H(t)；
4)将所述瞬态信号的谐波信号x′L_P(t)和稳态信号的谐波信号x′L_H(t)通过谐波幅度控制模块(8)处理，得到虚拟低音信号x′L(t)；
5)将所述高频信号xH(t)与虚拟低音信号x′L(t)进行合成，得到虚拟低音增强后的音频信号xBass(t)输出。
2.根据权利要求1所述的基于瞬稳态信号分离混合虚拟低音增强处理方法，其特征在于，所述步骤2)中的信号分离处理过程包括以下步骤：
(1)对所述低频信号xL(t)进行短时傅里叶变换，得到低频信号的时频谱
(2)对所述低频信号时频谱进行取模运算，得到低频信号时频谱的幅度谱
(3)设置稳态信号时频谱和瞬态信号时频谱的初始值都为其中γ为衰减因子；
(4)利用如下公式进行迭代处理：
其中，n代表的时频谱时间索引；k为时频谱频率索引；
(5)将得到的稳态信号幅度谱H和瞬态信号幅度谱P用公式(5)(6)得到维纳滤波器WH、WP；
(6)将所述的低频信号时频谱乘以维纳滤波器，得到稳态信号时频谱和瞬态信号时频谱计算公式如下；
(7)对得到的稳态信号时频谱和瞬态信号时频谱进行逆短时傅里叶变换，得到时域的稳态信号xL_H(t)和时域的瞬态信号xL_P(t)。
3.根据权利要求1所述的基于瞬稳态信号分离混合虚拟低音增强处理方法，其特征在于，所述步骤4)中的处理过程为：根据等响度曲线，对所述瞬态谐波信号x′L_P(t)和稳态谐波信号x′L_H(t)进行谐波幅度调整，使其达到理想的低音效果，然后合成为一路，得到虚拟低音信号x′L(t)。
CN201910282805.2A 2019-04-10 2019-04-10 一种基于瞬稳态信号分离混合虚拟低音增强处理方法 Pending CN109996151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910282805.2A CN109996151A (zh) 2019-04-10 2019-04-10 一种基于瞬稳态信号分离混合虚拟低音增强处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910282805.2A CN109996151A (zh) 2019-04-10 2019-04-10 一种基于瞬稳态信号分离混合虚拟低音增强处理方法

Publications (1)

Publication Number Publication Date
CN109996151A true CN109996151A (zh) 2019-07-09

Family

ID=67131266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910282805.2A Pending CN109996151A (zh) 2019-04-10 2019-04-10 一种基于瞬稳态信号分离混合虚拟低音增强处理方法

Country Status (1)

Country Link
CN (1) CN109996151A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970627A (zh) * 2020-08-31 2020-11-20 广州视源电子科技股份有限公司 音频信号的增强方法、装置、存储介质和处理器
WO2021248526A1 (zh) * 2020-06-12 2021-12-16 瑞声声学科技(深圳)有限公司 一种低音增强方法、系统、电子设备和存储介质
CN114299976A (zh) * 2022-03-06 2022-04-08 荣耀终端有限公司 音频数据处理方法及电子设备
CN115299075A (zh) * 2020-03-20 2022-11-04 杜比国际公司 扬声器的低音增强

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1550121A (zh) * 2001-09-21 2004-11-24 在电声变换器中控制音频信号的低音放音的方法和装置
CN102724605A (zh) * 2012-06-29 2012-10-10 惠州天缘电子有限公司 虚拟低音增强处理方法
CN104936088A (zh) * 2015-04-21 2015-09-23 上海大学 一种混合虚拟低音增强处理方法
CN105516860A (zh) * 2016-01-19 2016-04-20 青岛海信电器股份有限公司 虚拟低音生成方法、装置和终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1550121A (zh) * 2001-09-21 2004-11-24 在电声变换器中控制音频信号的低音放音的方法和装置
CN102724605A (zh) * 2012-06-29 2012-10-10 惠州天缘电子有限公司 虚拟低音增强处理方法
CN104936088A (zh) * 2015-04-21 2015-09-23 上海大学 一种混合虚拟低音增强处理方法
CN105516860A (zh) * 2016-01-19 2016-04-20 青岛海信电器股份有限公司 虚拟低音生成方法、装置和终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张斌，方勇，黄青华，刘华平: "基于声源分离的虚拟低音增强算法", 《信号处理》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115299075A (zh) * 2020-03-20 2022-11-04 杜比国际公司 扬声器的低音增强
CN115299075B (zh) * 2020-03-20 2023-08-18 杜比国际公司 扬声器的低音增强
WO2021248526A1 (zh) * 2020-06-12 2021-12-16 瑞声声学科技(深圳)有限公司 一种低音增强方法、系统、电子设备和存储介质
CN111970627A (zh) * 2020-08-31 2020-11-20 广州视源电子科技股份有限公司 音频信号的增强方法、装置、存储介质和处理器
CN114299976A (zh) * 2022-03-06 2022-04-08 荣耀终端有限公司 音频数据处理方法及电子设备

Similar Documents

Publication Publication Date Title
CN109996151A (zh) 一种基于瞬稳态信号分离混合虚拟低音增强处理方法
CN104936088A (zh) 一种混合虚拟低音增强处理方法
CN102750957B (zh) 利用振幅值的声音到触觉效应转换系统
Zölzer et al. DAFX-Digital audio effects
CN100474939C (zh) 音响信号处理装置及其方法
CN101505443B (zh) 一种虚拟重低音增强方法及系统
CN101715158B (zh) 音频信号装置及方法
CN106658284B (zh) 频域中的虚拟低音的相加
CN104318928B (zh) 子带处理单元、生成合成子带信号的方法以及存储介质
WO2021052287A1 (zh) 频带扩展方法、装置、电子设备及计算机可读存储介质
CN102474232A (zh) 增加扬声器感知响度的系统
WO2020015270A1 (zh) 语音信号分离方法、装置、计算机设备以及存储介质
CN102547517B (zh) 一种低音信号的谐波产生方法、装置和声音播放设备
CN102354500A (zh) 一种基于谐波控制的虚拟低音增强处理方法
CN103369429B (zh) 低音增强方法及装置、声音控制设备
CN103517183A (zh) 一种低音信号增强的方法及装置
CN107481727A (zh) 一种基于电音基调控制的音频信号处理方法及系统
CN110556121A (zh) 频带扩展方法、装置、电子设备及计算机可读存储介质
CN114299976A (zh) 音频数据处理方法及电子设备
WO2023224550A1 (en) Method and system for real-time and low latency synthesis of audio using neural networks and differentiable digital signal processors
US11817069B2 (en) Mutating spectral resynthesizer system and methods
CN105681658A (zh) 一种图像处理方法和装置
CN112820256B (zh) 基于改进的反馈延时网络的混响方法及系统
CN107786184A (zh) 音频频谱转换处理方法
JPH04234795A (ja) デジタル・シンセサイザ励起信号の高調波成分を選択的に低減させる変換回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190709

RJ01 Rejection of invention patent application after publication