CN117376784A - 单声道立体声场扩展方法、电子设备及存储介质 - Google Patents
单声道立体声场扩展方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117376784A CN117376784A CN202311330490.7A CN202311330490A CN117376784A CN 117376784 A CN117376784 A CN 117376784A CN 202311330490 A CN202311330490 A CN 202311330490A CN 117376784 A CN117376784 A CN 117376784A
- Authority
- CN
- China
- Prior art keywords
- signal
- right channel
- left channel
- channel
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000001914 filtration Methods 0.000 claims abstract description 55
- 230000005236 sound signal Effects 0.000 claims abstract description 49
- 238000004088 simulation Methods 0.000 claims abstract description 37
- 230000000694 effects Effects 0.000 claims abstract description 36
- 230000004044 response Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 23
- 238000001228 spectrum Methods 0.000 claims description 21
- 238000012546 transfer Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000001934 delay Effects 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000219000 Populus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000013707 sensory perception of sound Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本申请公开单声道立体声场扩展方法，包括步骤：获取单声道信号；采用N个延迟器对所述单声道信号进行延迟处理后叠加作为第一组延迟处理，生成左声道模拟反射声信号；采用N个延迟器对单声道信号进行延迟处理后叠加作为第二组延迟处理，生成右声道模拟反射声信号；对左声道模拟反射声信号和右声道模拟反射声信号进行方位滤波处理，生成左声道方位滤波信号和右声道方位滤波信号；对左声道方位滤波信号和右声道方位滤波信号进行混响模拟，获得带虚拟空间音效的混响左声道空间信号和混响右声道空间信号，将单声道信号空间模拟成具有空间音效扩展的空间立体声信号，能丰富终端录唱APP的功能。还提供了对应的装置、电子设备和计算机可读存储介质。
Description
技术领域
本申请涉及声音信号处理的技术领域，具体地涉及单声道立体声场扩展方法。另外，本申请还涉及相关的电子设备和计算机可读存储介质。
背景技术
为了给用户更加逼真的听觉感受，现有的声学系统常进行虚拟空间声场模拟，让用户获得沉浸感。现有的模拟技术中常采用双声道立体声进行模拟，对于普通用户而言，平常生活中较难进行双声道立体声录音采集，一般通过智能终端，如智能手机、笔记本电脑、录音笔等进行单声道采集，目前针对单声道信号进行声场扩展无成熟的实现方案，限制了虚拟空间声场模拟的运用场景。
本背景技术描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。
发明内容
因此，本发明实施例意图提供利用单声道信号进行立体声场扩展的方法，能够根据单声道信号生成左右耳立体声道信号，实现了虚拟空间声场扩展。具体地，本发明实施例提供了单声道立体声场扩展方法，包括如下步骤：
获取单声道信号；
采用N个延迟器对所述单声道信号进行延迟处理后叠加作为第一组延迟处理，生成左声道模拟反射声信号，其中，N为大于等于2的整数；
采用N个延迟器对所述单声道信号进行延迟处理后叠加作为第二组延迟处理，生成右声道模拟反射声信号，其中所述第二组延迟处理的延迟器参数不同于第一组延迟处理的延迟器参数；以及
对所述左声道模拟反射声信号和右声道模拟反射声信号进行方位滤波处理，生成左声道方位滤波信号和右声道方位滤波信号；
对所述左声道方位滤波信号和右声道方位滤波信号进行混响模拟，获得带虚拟空间音效的混响左声道空间信号和混响右声道空间信号，以用于获得左声道最终信号和右声道最终信号。
在本发明的一些实施例中，所述单声道立体声场扩展方法还包括：对混响左声道空间信号和混响右声道空间信号进行声音优化处理，获得所述左声道最终信号和右声道最终信号。
在本发明的一些实施例中，所述对所述左声道方位滤波信号和右声道方位滤波信号进行混响模拟，获得带虚拟空间音效的混响左声道空间信号和混响右声道空间信号，包括：
利用M个梳状滤波器并级联S个全通滤波器对所述方位滤波左声道信号和方位滤波右声道信号处理，生成混响左声道空间信号和混响右声道空间信号，其中M、S为大于等于2的整数。
在本发明的一些实施例中，所述M个梳状滤波器中，各个梳状滤波器所使用的延迟长度不同。
在本发明的一些实施例中，对所述左声道模拟反射声信号和右声道模拟反射声信号进行方位滤波处理，生成左声道方位滤波信号和右声道方位滤波信号，包括：
采用与预定的头传函数参数相关的无限长冲击响应滤波器对所述左声道模拟反射声信号和右声道模拟反射声信号进行方位滤波处理，生成左声道方位滤波信号和右声道方位滤波信号。
在本发明的一些实施例中，所述对混响左声道空间信号和混响右声道空间信号进行声音优化处理，包括：
对所述单声道信号、所述左声道方位滤波信号和所述混响左声道空间信号进行加权叠加处理，生成空间音效混音左声道信号；
对所述单声道信号、所述右声道方位滤波信号和所述混响右声道空间信号进行加权叠加处理，生成空间音效混音右声道信号，获得所述左声道最终信号和右声道最终信号号。
在本发明的一些实施例中，所述对混响左声道空间信号和混响右声道空间信号进行声音优化处理，还包括：
采用动态范围控制方法对所述空间音效混音左声道信号和空间音效混音右声道信号进行频谱均衡，获得所述左声道最终信号和右声道最终信号。
在本发明的一些实施例中，所述第一组延迟处理，包括：
从早期反射声延迟时间范围内取N个不同的第一延迟时间，根据所述N个不同的第一延迟时间，设置对应延迟器参数。
在本发明的一些实施例中，所述第二组延迟处理，包括：
从早期反射声延迟时间范围内取N个不同的第二延迟时间，根据所述N个不同的第二延迟时间，设置对应延迟器参数。
在本发明的一些实施例中，所述采用与预定的头传函数参数相关的无限长冲击响应滤波器对所述左声道模拟反射声信号和右声道模拟反射声信号进行处理，生成方位滤波左声道信号和方位滤波右声道信号，包括：
利用傅里叶变换计算左右声道的头传函数频响特性；
根据左右声道的头传函数频响特性，计算平均幅度谱；
采用零相位延迟低通滤波器对所述平均幅度谱进行平滑处理，生成平滑后幅频特性；
根据平滑后幅频特性的波峰位置，进行最小二乘拟合处理，生成无限长冲击响应滤波器；
利用无限长冲击响应滤波器对所述左声道模拟反射声信号和右声道模拟反射声信号进行处理，生成方位滤波左声道信号和方位滤波右声道信号。
在本发明的一些实施例中，所述预定的头传函数参数为水平面上以正前方为0°的左声道到左耳30°,以及右声道到右耳30°。
在本发明实施例中，提供计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现任一本发明实施例的单声道立体声场扩展方法。
在本发明实施例中，提供电子设备，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行任一本发明实施例的单声道立体声场扩展方法。
本发明实施例提出单声道立体声场扩展方法和装置，针对单声道信号，采用不同的处理参数对单声道信号进行延迟处理，生成左右声道模拟反射声信号信号，然后采用无限长冲击响应滤波器进行方位滤波处理，生成方位滤波左声道信号和方位滤波右声道信号，然后进行混响模拟，生成混响模拟左声道信号和混响模拟右声道信号，而后将处理得到声道信号与原始的单声道信号进行混音处理，得到的空间音效混音的左右声道信号，然后采用动态范围控制方法进行频谱均衡，提升了湿声信号的整体动态及响度特征，最终获得具有声场扩展效果的空间声信号。本发明实施例通过有效的虚拟声场扩展方案，让听感上集中在头中(佩戴耳机)的用户歌声(点声源)具有空间扩展效果(面声源)。
本发明实施例的其他可选特征和技术效果一部分在下文描述，一部分可通过阅读本文而明白。
附图说明
以下，结合附图来详细说明本发明的实施例，所示出的元件不受附图所显示的比例限制，附图中相同或相似的附图标记表示相同或类似的元件，其中：
图1示出了根据本发明实施例的单声道立体声场扩展系统的信息流转示意流程图；
图2示出了根据本发明实施例的单声道立体声场扩展方法的示例性流程图；
图3示出了根据本发明实施例的单声道立体声场扩展方法中早期反射声模拟的示例性流程图；
图4示出了根据本发明实施例的单声道立体声场扩展方法中方位滤波处理的示例性流程图；
图5示出了根据本发明实施例的单声道立体声场扩展方法中低通滤波器的频谱特征示意图；
图6示出了根据本发明些实施例的单声道立体声场扩展方法中方位滤波器幅频特性示意图；
图7a示出了根据本发明些实施例的单声道立体声场扩展方法中混响模拟的示意性实框图；
图7b示出了根据本发明些实施例的单声道立体声场扩展方法中梳妆滤波器的示意性实框图；
图7c示出了根据本发明些实施例的单声道立体声场扩展方法中梳妆滤波器的单位脉冲响应、频率响应曲线示例图；
图7d示出了根据本发明些实施例的单声道立体声场扩展方法中全通滤波器的示意性实框图；
图7e示出了根据本发明些实施例的单声道立体声场扩展方法中全通滤波器的单位脉冲响应、频率响应曲线分布特征示例图；
图8示出了能实施根据本发明实施例的方法的电子设备的示例性结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在本发明实施例中，“HRIR(Head-Related Impulse Response)”是指头部相关脉冲响应，表示声音从不同方向进入人耳时的冲激响应，其可通过分析测量得出；“HRTF(Head-Related Transfer Function)”是指头部相关传递函数，其可基于HRIR计算得出。其中HRIR是HRTF的时域表示，HRTF为HRIR的频域表示。“IIR”是指无限脉冲响应滤波器，也指方位滤波单元。“Yulewalk”是指使用最小二乘法拟合指定的频率响应来设计递归IIR数字滤波器的方法。
在本发明实施例中，“声音空间化处理”，“混响”和“混音”具有声音信号领域的常规含义，其中：“声音空间化处理”是指通过技术手段模拟和再现声音在三维空间中的位置、方向和距离感，为听者创造出逼真的音频环境和立体声场；“混响”(Reverb)是指通过模拟声音在环境中的多次反射、衰减和交叠效果，增加声音的余响和空间感；“混音”是指将多个音频信号(来自不同的声源、音轨)进行融合，通过控制各个信号的属性和相互关系获得平衡、统一且具有良好混合效果的输出音频。
现有的智能终端上安装的录唱APP常常通过单声道采集终端，如智能手机、笔记本电脑、录音笔、耳机等终端录制外部的说话、唱歌声音。例如当用户在智能手机上运行K歌APP进行歌曲录制时，通常使用智能手机自带麦克风或连接至智能手机的有线耳机的麦克风进行录制，其仅能收录单声道的声音，在录制完成后的声音缺少了空间模拟的效果，播放时给听者带来的沉浸感较差。
有鉴于此，本发明实施例提供了单声道立体声场扩展方法，能够将单声道信号进行左右通道延迟，生成不同的模拟反射声信号，然后进行方位滤波、混响后，与原始单声道信号加权混音得到混音后的左右声道信号，然后进行频谱均衡，生成具有声场扩展效果的空间声信号。
作为解释而非限制的，本发明实施例所提供的单声道立体声场扩展方法可以适用于不同场景，例如：在单声道信号输入的同时和/或在一段单声道信号输入后实施所述单声道立体声场扩展方法。
本发明实施例提供了单声道立体声场扩展系统，如图1所示，包括早期反射左声道单元(Delay_L)、早期反射右声道单元(Delay_R)、方位滤波单元(IIR)、混响模拟单元(Reverb)、混音单元(mix)和动态范围控制单元(DRC)。
图1中相关符号表示说明如下：
s(n)：原始输入的单声道信号；经过初始延迟模拟后的左右声道模拟反射声信号，下表L，R分别表示“左”，“右”以下相同位置的L，R表示意义相同；经方位滤波处理后的左右声道空间信号；/>经混响模拟后的混响左右声道空间信号；xL(n)、xR(n)：空间音效混音(mix)后的空间音效混音左右声道信号；yL(n)、yR(n)：最终获得的具有声场扩展效果的左右声道最终信号。
早期反射左右声道单元大体相同(参数细节不同)，信号流转流程如下：原始单声道(mono)信号经过早期反射单元(左声道为：Delay_L，右声道为：Delay_R)、方位滤波单元(IIR)，以及混响模拟单元(Reverb)处理后，与原始单声道信号加权混音(mix)得到具有空间混音音效的左右声道信号表示如下：
其中n表示杨点序列，即一种在音频领域中进行测试的单位冲激信号，可用于分析音频系统的频率响应和时域特性；分别表示左右声道混音时的虚拟空间信号的加权系数，取值范围为(0,1)上的浮点数；/>分别表示左右虚拟环境声道的加权系数，取值范围为(0,1)上的浮点数；/>分别表示叠加到左右声道上的原始单路信号的加权系数，取值范围为(0,1)上的浮点数。
利用动态范围控制单元(DRC)对所述空间音效混音(mix)后的左右声道信号进行频谱均衡，提升湿声信号整体的动态及响度特征。
本发明实施例中系统可以通过单个计算单元实现，也可以多个计算单元实现，所述计算单元可以是终端中功能对应的软件功能模块，如语音处理模块也可以是独立的处理器，例如可以是独立的数字信号处理器(DSP)、可编程逻辑门阵列(FPGA)、通用计算机中央处理器(CPU)等。
本发明实施例中的系统将单声道信号模拟生成具有空间音效的立体声信号，为模拟声场技术普及运用打下了基础。
本发明实施例还提供了单声道立体声场扩展方法，如图2所示，包括如下步骤：
S210：获取单声道信号(mono)；
本发明实施例的方法从本地获取或者从远端的终端获取所述单声道信号，同时，本发明实施例的方法可以在终端实现也可以在云端服务器上实现，终端采集单声道声音后进行本地处理或者传递给源端服务器处理。
S220：采用N个延迟器对所述单声道信号进行延迟处理后叠加作为第一组延迟处理，生成左声道模拟反射声信号，其中，N为大于等于2的整数。
S230：采用N个延迟器对单声道信号进行延迟处理后叠加作为第二组延迟处理，生成右声道模拟反射声信号，其中第二组延迟处理的延迟器参数不同于第一组延迟处理的延迟器参数。
在本发明的一些实施例中，从早期反射声延迟时间范围内取N个不同的第一延迟时间，根据所述N个不同的第一延迟时间，设置对应延迟器参数；以及，从早期反射声延迟时间范围内取N个不同的第二延迟时间，根据所述N个不同的第二延迟时间，设置对应延迟器参数。其中，所述早期反射声延迟范围是指：用于模拟反射声的早期反射单元(左声道为：Delay_L，右声道为：Delay_R)所设置的一系列延迟世间值的范围。在本发明的实施例中，所述所述早期反射声延迟范围优选地为30ms～80ms。
本发明实施例通过简单的早期反射模拟，将单声道信号做延迟调整，调整后的左右路信号不再完全相同(降低相关性从而拉宽声场)，将该信号作为后续虚拟空间声场模拟的左右路种子信号。
在本发明实施例中，作为反射声模拟单元是利用N个不同的延迟器实现，本发明采用N＝8个延迟器来实现反射声的模拟。以左声道反射声模拟单元为例：在左反射声信号的模拟过程中，将输入的左声道直达声信号通过8个不同延迟器进行不同的延迟与衰减从而得到左声道模拟反射声信号，反射声模拟流程如图3所示。
其中，延迟信号的时域公式表达如下：
其中，glm、grm分别表示左、右声道第m个反射信号的增益，Nlm，Nrm分别表示左、右声道的延迟点数。
考虑早期反射声的延迟时间为30ms～80ms，故延迟时间Tlm，Trm的参数设置也应该在相应的范围内。以采样率fs＝44100的信号为例，Nlm＝[Tlm·fs]，Nrm＝[Trm·fs]，其中[·]表示四舍五入取整。
在本发明的一些实施例中左声道反射声模拟参数设置如表1所示。
表1左声道的延迟、衰减参数设置
| m | Tlm(s) | glm |
| 1 | 0.0225 | 0.491 |
| 2 | 0.0270 | 0.380 |
| 3 | 0.0458 | 0.289 |
| 4 | 0.0572 | 0.192 |
| 5 | 0.0595 | 0.217 |
| 6 | 0.0707 | 0.180 |
| 7 | 0.0726 | 0.176 |
| 8 | 0.0753 | 0.167 |
在本发明的一些实施例中，右声道反射声模拟参数设置如表2所示。
表2右声道的延迟、衰减参数设置
| m | Trm(s) | grm |
| 1 | 0.0215 | 0.504 |
| 2 | 0.0268 | 0.379 |
| 3 | 0.0298 | 0.346 |
| 4 | 0.0485 | 0.272 |
| 5 | 0.0587 | 0.193 |
| 6 | 0.0612 | 0.181 |
| 7 | 0.0708 | 0.181 |
| 8 | 0.0741 | 0.142 |
S240：对左声道模拟反射声信号和右声道模拟反射声信号进行方位滤波处理，生成左声道方位滤波信号和右声道方位滤波信号。
在本发明实施例中，所述方位滤波是一种音频处理技术，用于模拟声音在三维空间中的方向感和位置感。
在本发明一些实施例中，例如在上述步骤S240中，可采用与预定的头传函数参数相关的无限长冲击响应滤波器对左声道模拟反射声信号和右声道模拟反射声信号进行处理，生成方位滤波左声道信号和方位滤波右声道信号。本发明实施例通过无限长冲击响应滤波器进行方位滤波，使得左右声道信号具有方位性，附带上空间立体信息。
在本发明的一些实施例中，所述采用与预定的头传函数参数相关的无限长冲击响应滤波器对所述左声道模拟反射声信号和右声道模拟反射声信号进行处理，生成左声道方位滤波信号和右声道方位滤波信号，如图4所示，包括：
S241：利用傅里叶变换计算左右声道的头传函数频响特性；
S242：根据左右声道的头传函数频响特性，计算平均幅度谱；
S243：采用零相位延迟低通滤波器对平均幅度谱进行平滑处理，生成平滑后幅频特性；
S244：根据平滑后幅频特性的波峰位置，进行最小二乘拟合处理，生成无限长冲击响应滤波器；
S245：利用无限长冲击响应滤波器对左声道模拟反射声信号和右声道模拟反射声信号进行处理，生成左声道方位滤波信号和右声道方位滤波信号。
本发明实施例根据人耳对空间声音的敏感度进行滤波，形成空间音。人耳对于某一空间方位频谱特性的测听敏感度可以通过HRTF分布反映。本发明实施例通过利用HRTF数据在目标空间方位上的频谱分布来模拟频率感知特性。其中，HRTF表示的是声源到听者双耳传输路径上的系统函数，它是一系列以听者双耳中心位置为球心的，空间方位分布的函数族。不同的方位都对应不同HRIR数据。要想获得某一方位的虚拟声像声信号需将该信号卷积相应方位HRIR即可。
本发明实施例所选择的HRTF参数为:将水平面上以正前方为0°的左声道到左耳30°,以及右声道到右耳30°的幅度谱特性的均值作为目标幅度谱特征，基于Yulewalk方式设计无限长冲击响应滤波器(IIR)，实现过程描述如下：
A：利用傅里叶变换计算左右声道频响特性(即通过时域序列HRIR计算频谱HRTF)：
其中，表示离散傅里叶变换后的k频率样点，N表示傅里叶变换点数；
B：计算平均幅度谱：
其中，|·|表示复数谱取模(绝对值)；
C：幅度谱平滑：
利用零相位延迟低通滤波器(Filtfilt)对原始幅度谱滤波，获得平滑后的幅度谱特征，其中低通滤波器滤波器结构表达式为：
其中，b0，b1，a1为所述低通滤波器系数，本发明的一些实施例中设定的滤波器系数为：b0＝0.1659，b1＝0.1659，a1＝-0.6682，所对应的频谱特征如图5所示，其中归一化频率(Normalized Frequency)是将实际频率除以采样率的一种标准化表示；相位(Phase)是指信号在时间或频域中的相对位置或延迟；幅度(Magnitude)是指信号在不同频率上的振幅或强度。
由此得到平滑后的幅频特性的表达式为：
其中，filtfilt(·)表示零相位延迟滤波处理；
D：目标IIR滤波器模拟
查找平滑后的幅频特性：其中为波峰位置，根据波峰位置利用yulewalk方法设计IIR滤波器。
本发明的一些实施例中基于Yulewalk方法设计4阶方位滤波器IIR，结构如下：
参数值如下：
[b0,b1,b2,b3,b4]＝[1.6967,-0.5198,-0.2143,0.3835,-0.7030]
[a0,a1,a2,a3,a4]＝[1.0000,-0.9058,0.5207,-0.2343,0.1133]
所得到的方位滤波器(IIR)的左右声道输出信号表示如下：
所得到的方位滤波器幅频特性描述如图6所示。
S250：对所述左声道方位滤波信号和右声道方位滤波信号进行混响模拟，获得带虚拟空间音效的混响左声道空间信号和混响右声道空间信号，以用于获得左声道最终信号和右声道最终信号；实现了空间回声模拟，所得声音更加真实。
在本发明的一些实施例中，所述对左声道方位滤波信号和右声道方位滤波信号进行混响模拟，获得带虚拟空间音效的混响左声道空间信号和混响右声道空间信号，包括：
利用M个梳状滤波器并级联S个全通滤波器对所述左声道方位滤波信号和右声道方位滤波信号处理，生成混响左声道空间信号和混响右声道空间信号，其中M、S为大于等于2的整数。
在本发明的一些实施例中，所述M个梳状滤波器中，各个梳状滤波器所使用的延迟长度不同。
本发明的一些实施例中，M＝4，S＝2，混响模拟主要由四个并联的梳状滤波器级联两个全通滤波器来实现，其实现框架如图7a所示，左右声道信号，经过四个并联的梳状滤波器处理后，再经过级联两个全通滤波进行处理。
本发明的一些实施例中，使用的梳状滤波器的系统函数表示如下：
其中g表示反馈因子，m为滤波器的延迟采样点数
对应的实现过程框图如图7b所示，相应的单位脉冲响应为：
h(n)＝gδ(n-m)+g2δ(n-2m)+g3δ(n-3m)+…
本发明实施例用到的梳状滤波器的单位脉冲响应、频率响应曲线分布特征(m＝30，g＝0.5)如图7c所示。
本发明的一些实施例中，使用的全通滤波器的系统函数为：
参数g表示反馈因子，m为滤波器的延迟采样点。
本发明实施例中的全通滤波器对应的实现过程框图如图7d所示，对应的单位脉冲响应为：
h(n)＝-gδ(n)+(1-g2)[δ(n-m)+gδ(n-2m)+g2δ(n-3m)+…]
本发明实施例中的全通滤波器单位脉冲响应、频率响应曲线(m＝30，g＝0.8)如图7e所示。
本发明实施例将梳状滤波器和全通滤波器以不同的方式组合可以获得更高的回声密度和更平滑的频率特性。即使单个滤波器单元有一些频率峰值，多个梳状滤波器并联所显示的总的频率响应就类似于一个真实房间的脉冲相应。为了避免在某一特定方位时频率响应具有多个频率峰值，本发明实施例对每一个梳状滤波器单元使用了不同的延迟长度。
本发明实施例利用4个梳状滤波器并联之后再级联2个全通滤波器的混合组织方式来完成对混响信息的模拟。梳状滤波器和全通滤波器的参数设置如表3所示。
表3混响相关滤波器参数设置
其中mi表示延时时间gi表示加权系数。
在本发明的一些实施例中，所述单声道立体声场扩展方法还可包括以下步骤：
S260：对单声道信号、左声道方位滤波信号和混响左声道空间信号进行加权叠加处理，生成空间音效混音左声道信号，对单声道信号、右声道方位滤波信号和混响右声道空间信号进行加权叠加处理，生成空间音效混音右声道信号，获得所述左声道最终信号和右声道最终信号；本发明实施例将早期反射信号、空间音效信号和混响模拟信号进行叠加，将多种模拟情形的声音进行叠加，丰富了声道信号的内容。
本发明实施例中各种信号的所占权重在0～1之间，具体选值可以通过测试设定。也可以根据统计形成预定场景相关的权重参数值。以左声道为例，在室内场景中，单声道信号权重为0.6，方位滤波声道信号权重为0.2，混响模拟声道信号权重为0.2，在室外场景中，单声道信号权重为0.7，方位滤波声道信号权重为0.25，混响模拟声道信号权重为0.05。
S270：采用动态范围控制方法对空间音效混音左声道信号和空间音效混音右声道信号进行频谱均衡，生成左声道最终信号和右声道最终信号。
本发明实施例中，为了提升湿声信号整体的动态及响度特征使用动态范围控制(DRC)作进一步的频谱均衡：
其中，Attack-time＝0.01(即动态范围控制器对于输入信号中超过阈值的瞬时增益调整的响应时间为0.01)；压缩程度参数：R＝1.5(取值大于1，该参数越大，压缩程度越高)，阈值响度Thr＝-20dB。
本发明实施例通过对单声道信号进行早期反射处理后，进行方位滤波，形成与头传参数相关的方位滤波信号，然后进行混响模拟，模拟混响信号，将原始单声道信号与方位滤波信号和混响模拟进行叠加后，丰富了左右声道的内容，然后进行频谱均衡，实现信号平滑，减少突兀成分，最终获得具有空间扩展音效的空间立体声信号。
在本发明实施例中，提供电子设备，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行任一本发明实施例的单声道立体声场扩展方法。
图8示出了可以实施本发明实施例的方法或实现本发明实施例的电子设备800的示意图，在一些实施例中可以包括比图示更多或更少的电子设备。在一些实施例中，可以利用单个或多个电子设备实施。在一些实施例中，可以利用云端或分布式的电子设备实施。
如图8所示，电子设备800包括中央处理器(CPU)801，其可以根据存储在只读存储器(ROM)8002中的程序和/或数据或者从存储部分808加载到随机访问存储器(RAM)803中的程序和/或数据而执行各种适当的操作和处理。CPU 801可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，CPU 801可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、神经网络处理器(NPU)、数字信号处理器(DSP)等等。在RAM 8003中，还存储有电子设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线1004。
上述处理器与存储器共同用于执行存储在存储器中的程序，所述程序被计算机执行时能够实现上述各实施例描述的单声道立体声场扩展方法的步骤或功能。
以下部件连接至I/O接口805：包括键盘、鼠标、触摸屏等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分1009经由诸如因特网的网络执行通信处理。驱动器8010也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。图8中仅示意性示出部分组件，并不意味着计算机系统800只包括图8所示组件。
在一些实施例中所述电子设备800指代的是移动终端，包括手机，车载终端，智能电视等，以手机为例，所述电子设备1000中还包括带触摸功能的显示屏，外放音响，陀螺仪，摄像头，4G/5G天线等装置模块。
上述实施例阐明的系统、装置、模块或单元，可以由计算机或其关联部件实现。计算机例如可以为移动终端、智能电话、个人计算机、膝上型计算机、车载人机交互设备、个人数字助理、媒体播放器、导航设备、游戏控制台、平板电脑、可穿戴设备、智能电视、物联网系统、智能家居、工业计算机、服务器或者其组合
尽管未示出，在本发明实施例中，提供存储介质，所述存储介质存储有计算机程序，所述计算机程序配置成被运行时执行任一本发明实施例的实施数据对账方法。
在本发明的实施例的存储介质包括永久性和非永久性、可移动和非可移动的可以由任何方法或技术来实现信息存储的物品。存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
在本发明的实施例的方法、程序、系统、装置等，可以在单个或多个连网的计算机中执行或实现，也可以在分布式计算环境中实践。在本说明书实施例中，在这些分布式计算环境中，可以由通过通信网络而被连接的远程处理设备来执行任务。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本领域技术人员可想到，上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现，可以用软件、硬件和软/硬件结合的方式实现。
除非明确指出，根据本发明实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本文中，针对本发明的多个实施例进行了描述，但为简明起见，各实施例的描述并不是详尽的，各个实施例之间相同或相似的特征或部分可能会被省略。在本文中，“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”意指适用于根据本发明的至少一个实施例或示例中，而非所有实施例。上述术语并不必然意味着指代相同的实施例或示例。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
已参考上述实施例具体示出并描述了本发明的示例性系统及方法，其仅为实施本系统及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本系统及/或方法时对这里描述的系统及方法的实施例做各种改变而不脱离界定在所附权利要求中的本发明的精神及范围。
Claims (13)
1.一种单声道立体声场扩展方法，其特征在于，包括如下步骤：
获取单声道信号；
采用N个延迟器对所述单声道信号进行延迟处理后叠加作为第一组延迟处理，生成左声道模拟反射声信号，其中，N为大于等于2的整数；
采用N个延迟器对所述单声道信号进行延迟处理后叠加作为第二组延迟处理，生成右声道模拟反射声信号，其中所述第二组延迟处理的延迟器参数不同于第一组延迟处理的延迟器参数；
对所述左声道模拟反射声信号和右声道模拟反射声信号进行方位滤波处理，生成左声道方位滤波信号和右声道方位滤波信号；以及，
对所述左声道方位滤波信号和右声道方位滤波信号进行混响模拟，获得带虚拟空间音效的混响左声道空间信号和混响右声道空间信号，以用于获得左声道最终信号和右声道最终信号。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对混响左声道空间信号和混响右声道空间信号进行声音优化处理，获得所述左声道最终信号和右声道最终信号。
3.根据权利要求1所述的方法，其特征在于，所述对所述左声道方位滤波信号和右声道方位滤波信号进行混响模拟，获得带虚拟空间音效的混响左声道空间信号和混响右声道空间信号，包括：
利用M个梳状滤波器并级联S个全通滤波器对所述左声道方位滤波信号和右声道方位滤波信号处理，生成混响左声道空间信号和混响右声道空间信号，其中M、S为大于等于2的整数。
4.根据权利要求3所述的方法，其特征在于，所述M个梳状滤波器中，各个梳状滤波器所使用的延迟长度不同。
5.根据权利要求1所述的方法，其特征在于，对所述左声道模拟反射声信号和右声道模拟反射声信号进行方位滤波处理，生成左声道方位滤波信号和右声道方位滤波信号，包括：
采用与预定的头传函数参数相关的无限长冲击响应滤波器对所述左声道模拟反射声信号和右声道模拟反射声信号进行方位滤波处理，生成左声道方位滤波信号和右声道方位滤波信号。
6.根据权利要求2所述的方法，其特征在于，所述对混响左声道空间信号和混响右声道空间信号进行声音优化处理，包括：
对所述单声道信号、所述左声道方位滤波信号和所述混响左声道空间信号进行加权叠加处理，生成空间音效混音左声道信号；
对所述单声道信号、所述右声道方位滤波信号和所述混响右声道空间信号进行加权叠加处理，生成空间音效混音右声道信号，获得所述左声道最终信号和右声道最终信号。
7.根据权利要求6所述的方法，其特征在于，所述对混响左声道空间信号和混响右声道空间信号进行声音优化处理，还包括：
采用动态范围控制方法对所述空间音效混音左声道信号和空间音效混音右声道信号进行频谱均衡，获得所述左声道最终信号和右声道最终信号。
8.根据权利要求1所述的方法，其特征在于，所述第一组延迟处理，包括：
从早期反射声延迟时间范围内取N个不同的第一延迟时间，根据所述N个不同的第一延迟时间，设置对应延迟器参数。
9.根据权利要求1所述的方法，其特征在于，所述第二组延迟处理，包括：
从早期反射声延迟时间范围内取N个不同的第二延迟时间，根据所述N个不同的第二延迟时间，设置对应延迟器参数。
10.根据权利要求5所述的方法，其特征在于，所述采用与预定的头传函数参数相关的无限长冲击响应滤波器对所述左声道模拟反射声信号和右声道模拟反射声信号进行处理，生成方位滤波左声道信号和方位滤波右声道信号，包括：
利用傅里叶变换计算左右声道的头传函数频响特性；
根据左右声道的头传函数频响特性，计算平均幅度谱；
采用零相位延迟低通滤波器对所述平均幅度谱进行平滑处理，生成平滑后幅频特性；
根据平滑后幅频特性的波峰位置，进行最小二乘拟合处理，生成无限长冲击响应滤波器；
利用无限长冲击响应滤波器对所述左声道模拟反射声信号和右声道模拟反射声信号进行处理，生成方位滤波左声道信号和方位滤波右声道信号。
11.根据权利要求10所述的方法，其特征在于，所述预定的头传函数参数为水平面上以正前方为0°的左声道到左耳30°，以及右声道到右耳30°。
12.一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
13.一种电子设备，其特征在于，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行权利要求1-11中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311330490.7A CN117376784A (zh) | 2023-10-13 | 2023-10-13 | 单声道立体声场扩展方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311330490.7A CN117376784A (zh) | 2023-10-13 | 2023-10-13 | 单声道立体声场扩展方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117376784A true CN117376784A (zh) | 2024-01-09 |
Family
ID=89390504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311330490.7A Pending CN117376784A (zh) | 2023-10-13 | 2023-10-13 | 单声道立体声场扩展方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117376784A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118018945A (zh) * | 2024-04-10 | 2024-05-10 | 苏州灵境影音技术有限公司 | 车载音频转环绕声的参数调试方法、转换方法及音响系统 |
-
2023
- 2023-10-13 CN CN202311330490.7A patent/CN117376784A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118018945A (zh) * | 2024-04-10 | 2024-05-10 | 苏州灵境影音技术有限公司 | 车载音频转环绕声的参数调试方法、转换方法及音响系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9918179B2 (en) | Methods and devices for reproducing surround audio signals | |
| JP5285626B2 (ja) | 音声空間化及び環境シミュレーション | |
| KR101315070B1 (ko) | 3ｄ 사운드를 발생하기 위한 방법 및 디바이스 | |
| Avni et al. | Spatial perception of sound fields recorded by spherical microphone arrays with varying spatial resolution | |
| US5371799A (en) | Stereo headphone sound source localization system | |
| Hacihabiboglu et al. | Perceptual spatial audio recording, simulation, and rendering: An overview of spatial-audio techniques based on psychoacoustics | |
| JP7038725B2 (ja) | オーディオ信号処理方法及び装置 | |
| CN107750042B (zh) | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 | |
| CN105900457A (zh) | 用于设计和应用数值优化的双耳房间脉冲响应的方法和系统 | |
| US20050069143A1 (en) | Filtering for spatial audio rendering | |
| CN117376784A (zh) | 单声道立体声场扩展方法、电子设备及存储介质 | |
| CN113808569B (zh) | 一种混响构建方法及其相关设备 | |
| US10659903B2 (en) | Apparatus and method for weighting stereo audio signals | |
| Liitola | Headphone sound externalization | |
| Yuan et al. | Externalization improvement in a real-time binaural sound image rendering system | |
| Filipanits | Design and implementation of an auralization system with a spectrum-based temporal processing optimization | |
| Wang et al. | An “out of head” sound field enhancement system for headphone | |
| CN112989566B (zh) | 基于a-加权方差的几何声音传播优化方法 | |
| US20240163630A1 (en) | Systems and methods for a personalized audio system | |
| Yim et al. | Lower-order ARMA Modeling of Head-Related Transfer Functions for Sound-Field Synthesis Systme | |
| CN116600242A (zh) | 音频声像优化方法、装置、电子设备及存储介质 | |
| CN116320908A (zh) | 一种虚拟立体声的生成方法及电子设备 | |
| CN116962956A (zh) | 冲激响应的确定方法、装置、设备及存储介质 | |
| KR20030002868A (ko) | 삼차원 입체음향 구현방법 및 시스템 | |
| Duraiswami et al. | Holographic “image-based” rendering of spatial audio |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |