CN110085245A - 一种基于声学特征转换的语音清晰度增强方法 - Google Patents
一种基于声学特征转换的语音清晰度增强方法 Download PDFInfo
- Publication number
- CN110085245A CN110085245A CN201910281080.5A CN201910281080A CN110085245A CN 110085245 A CN110085245 A CN 110085245A CN 201910281080 A CN201910281080 A CN 201910281080A CN 110085245 A CN110085245 A CN 110085245A
- Authority
- CN
- China
- Prior art keywords
- voice
- lombard
- speech
- coefficient
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 46
- 230000003595 spectral effect Effects 0.000 claims abstract description 45
- 230000000694 effects Effects 0.000 claims abstract description 15
- 230000002452 interceptive effect Effects 0.000 claims abstract description 10
- 238000001228 spectrum Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000002708 enhancing effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 230000000873 masking effect Effects 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 238000012886 linear function Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 241001269238 Data Species 0.000 claims description 3
- 206010040007 Sense of oppression Diseases 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000007596 consolidation process Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 2
- 210000004218 nerve net Anatomy 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000008447 perception Effects 0.000 abstract description 12
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000012805 post-processing Methods 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种基于声学特征转换的语音清晰度增强方法，本方法包括训练阶段和使用阶段；在训练阶段，结合说话人噪声对抗发声机理，使用普通语音信号与Lombard效应下的抗噪语音信号作为数据集，训练具有声学特征转换能力的映射模型，其映射特征包括语音帧频谱倾斜度、基频系数和能量系数，使用长短时记忆网络学习频谱倾斜度的特征映射能力，使用贝叶斯高斯混合模型学习基频系数和能量系数的特征映射能力；在使用阶段，基于已经训练好的特征映射模型和相应的预处理、后处理技术，将通信设备或交互设备解码后的语音信号逐帧转换为具备抗噪特性的语音信号，提升语音信号在噪声环境中播放时的听觉清晰度和感知可懂度。
Description
技术领域
本发明提供了一种基于声学特征转换的语音清晰度增强方法，尤其涉及人工智能、机器学习、语音信号处理和网络通信领域，适用于实时语音通信系统、人机交互系统等有关语音通信的系统与设备。
背景技术
随着移动通信技术的迅猛发展，凭借着强大的移动通信网络和高性能通话终端，移动语音通信逐步取代固话通信成为主流语音通信方式。依靠着移动通信带来的便捷，人们能够随时随地进行语音通信。但随之而来的，是通话者不可避免的在商场、车站、餐厅等噪声环境包围的条件下进行语音通信，环境噪声大幅度降低了语音的听觉清晰度和感知可懂度。
另一方面，随着近年来智能音箱等设备的语音人机交互技术不断发展，人们越来越频繁地通过智能交互设备在各种环境中进行人机对话。合成语音信号在环境噪声中的抗掩蔽性远低于自然语音，其在环境噪声中的听觉清晰度和感知可懂度下降更为严重。
如何有效提高语音信号在噪声环境中听觉清晰度和感知可懂度，是当前语音通信与交互过程中一个亟待解决的问题。
在噪声环境中的语音通信过程可以拆分为说话过程和听音过程；在说话过程中，说话人向语音通信设备说出一段语音信号，设备麦克风采集语音信号，同时也采集到了环境噪声信号；在听音过程中，语音通信设备播放语音信号，人耳听到播放的语音信号，同时也听到了环境噪声信号。
为了滤除说话过程中麦克风采集到的噪声，结合多麦克风阵列抗噪技术等硬件措施和语音增强(Speech Enhancement)算法，目前说话过程中的噪声已经几乎可以被完全滤除，听音者已基本上免受说话过程中的环境噪声干扰。
为了降低听音过程中人耳受到的环境噪声干扰，针对耳机应用诞生了主动降噪技术，通过频率、振幅相同，相位相反的反噪声信号抵消环境噪声，因为耳机以物理隔绝的方式预先阻隔了绝大部分噪声，剩余能量不高的噪声得以被反噪声信号几乎完全抵消掉。而在最常见的听筒模式或人机交互设备(如：智能音箱)中，人耳和设备均暴露在开放性环境中，主动降噪技术难以抵消能量巨大的环境噪声。语音清晰度增强(SpeechIntelligibility Enhancement)技术，又称作语音可懂度增强技术或近端听音增强(Near-End Listening Enhancement)技术，是一种基于声学掩蔽原理、人耳感知特性和语言特性的信号增强方法，经过增强的语音信号在时频特性和语音特性上发生变化，不易被环境噪声掩蔽，较未增强的语音在相同噪声中拥有更高的听觉清晰度和感知可懂度。语音清晰度增强不改变环境中的噪声能量，却能让人耳更容易地获取信息，是一种适用于听筒、耳机、人机交互设备的通用型方案。
本发明提出了一种基于声学特征转换的语音清晰度增强方法，是一种结合说话人噪声对抗的发声机理和自然语音生成模型的全新语音清晰度增强方法。
抗噪发声机理，是指人在噪声环境中说话时，环境噪声压迫说话人，使人本能地改变自己的发声模式来抵御周围噪声的干扰。这种发声模式的改变会带来语音声学特征的转换，使语音信号相对于安静环境中说话时发生明显的改变，这种改变能显著提高语音的听觉清晰度和感知可懂度。这种受压迫而改变音调的本能行为称作Lombard效应，故这种噪声对抗的发声机理下产生的语音又称为Lombard语音。Lombard效应改变了语音声学特征的众多要素，包括：频谱倾斜度(Spectral Tilt)、基频(Fundamental Frequency，F0)、一阶共振峰(The First Formant，F1)、二阶共振峰(The Second Formant，F2)、能量、语速……在设备功率受限的实时通信条件下，能量、语速特征无法利用，而频谱倾斜度、基频、能量被众多研究证实为对语音清晰度改善至关重要的因素。本发明正是利用频谱倾斜度、基频、能量这三个最重要的因素，将通信终端接收到的语音信号相关要素映射为Lombard语音的相关要素，再利用自然语音生成模型和Lombard语音要素合成增强语音信号，从而提升语音清晰度。
自然语音生成模型是利用语音信号声学特征合成完整语音信号的一种方式，本发明以频谱倾斜度、基频、能量这三个关键因素为主，合成Lombard语音。
本发明的方法较现有语音清晰度增强算法相比，摒弃了早期的纯数字信号处理方法，不使用生硬的语音频带间抗掩蔽能量调整策略，避免了因不考虑语音自然度而造成的自然度严重失真的问题。较现有基于Lombard效应的增强算法而言，本发明考虑了更多Lombard效应的要素，并结合深度学习技术与传统机器学习学术，使用长短时记忆(LongShort-Term Memory，LSTM)网络和贝叶斯高斯混合模型(Bayesian Gaussian MixtureModel，BGMM)映射不同的要素，提高了映射精度，使听觉清晰度和感知可懂度进一步提升。
发明内容
本发明提供了一种基于声学特征转换的语音清晰度增强方法，解决了在噪声环境中收听语音时(如：接听电话、聆听智能音箱的交互语音)，原本清晰的语音信号被环境噪声掩蔽从而导致听觉清晰度和感知可懂度下降的问题。由于传统数字信号处理方法所采用的是在语音频带间生硬地进行频谱能量搬移，没有考虑语音自然度的问题，导致语音虽然提升了清晰度，但自然度严重缺失。本发明基于说话人噪声对抗机理——Lombard效应和自然语音生成模型，在提升语音清晰度的同时又不失自然度。同时，较现有基于Lombard效应的增强算法相比，本发明考虑了更多Lombard效应的要素，并结合深度学习与传统机器学习构建声学特征映射模型，使听觉清晰度和感知可懂度得到了进一步提升。为了使本增强算法更好的适用于编码传输后有轻微失真的语音信号，映射模型加入了从有失真的信号中尽可能重建无失真语音信号的声学特征的能力。
具体采用如下方案：
一种基于声学特征转换的语音清晰度增强方法，其特征在于，包括：
步骤A、训练训练贝叶斯高斯混合模型，具体包括：
步骤A1：搜集语音资料构建训练数据集，语音资料包括普通语音和抗噪语音两部分；
步骤A2：使用时长对齐算法，将每一句Lombard语音的时长匹配至与对应普通语音时长相等；
步骤A3：对数据集中的普通语音进行编解码处理，获得解码后的语音信号；
步骤A4：使用重叠窗对所有语音信号分帧；
步骤A5：提取每帧普通语音的对数幅度谱、能量系数、基频系数，提取Lombard语音的线谱频率、能量系数、基频系数；将对数幅度谱作为普通语音的频谱倾斜度特征表达式，将线谱频率作为Lombard语音的频谱倾斜度特征表达式；
步骤A6：使用普通语音的对数幅度谱作为输入数据，使用Lombard语音的线谱频率作为输出数据，训练长短时记忆(Long Short-Term Memory，LSTM)网络作为频谱倾斜度特征映射模型；
步骤A7：使用普通语音的能量系数、基频系数作为输入数据，使用Lombard语音的能量系数、基频系数作为输出数据训练贝叶斯高斯混合模型(Bayesian Gaussian MixtureModel，BGMM)作为能量和基频特征映射模型；
步骤B、采用步骤A中训练好的模型进行语音清晰度增强，具体包括：
步骤B1：逐帧获取实时语音通信终端设备或实时语音交互设备解码后的语音信号，提取解码信号的对数幅度谱、能量系数、基频系数，作为待映射的参数；根据步骤B3中合成声码器的差异，若合成声码器需要非映射参数则提取相应的参数，若合不需要非映射参数则不提取；因本发明不限定声码器的种类，故既不限定非映射参数是否提取，也不限定提取的数量和种类；
步骤B2：使用由LSTM网络构成的频谱倾斜度特征映射模型将对数幅度谱映射为具备Lombard语音特性的线谱频率，使用由BGMM模型构成的能量和基频特征映射模型将能量系数、基频系数映射为具备Lombard语音特性的能量系数、基频系数；
步骤B3：根据映射后的特征参数和步骤B1中提取的所需非映射参数，使用声码器合成Lombard语音；
步骤B4：根据环境噪声，使用自适应增益控制算法实时调整输出语音信号的增益
在上述的一种基于声学特征转换的语音清晰度增强方法，步骤A1所述训练数据集中，普通语音为说话人在安静环境中产生的普通风格语音信号；抗噪语音为说话人在噪声环境中说话时，受环境噪声压迫而本能产生的一种音调改变、具备更强抵御噪声掩蔽能力的抗噪语音信号，这种受压迫而改变音调的本能行为称作Lombard效应，故抗噪语音又称为Lombard语音；普通语音和Lombard语音是平行数据，即数据集中每一个人说的每一句话既有普通风格语音又有对应的Lombard风格语音；Lombard语音包含不同场景下不同能量的噪声激励时产生的语音信号；组建数据集过程中既可以一句普通语音对应多个不同场景的Lombard语音，也可以每句普通语音只有某一个场景下的Lombard语音与之对应。
在上述的一种基于声学特征转换的语音清晰度增强方法，步骤A2中，同一个人在不同环境中说出的同一句话存在一定时长差异，所以需要使用动态时间归整(DynamicTime Warping，DTW)等任意一种时长对齐算法，使每一句Lombard语音的时长与对应普通语音时长一致。
在上述的一种基于声学特征转换的语音清晰度增强方法，步骤A中，对数据集中的普通语音进行编解码处理，获得解码后的语音信号，从而在步骤A6和A7中，使映射模型能够学习重建无失真语音信号声学特征的能力。
在上述的一种基于声学特征转换的语音清晰度增强方法，步骤A5和B1中对数幅度谱是基于长度为L的离散傅里叶变换并取对数运算得到，L的取值为2n数值，其中n取正整数；线谱频率的特征在于由P阶线性预测模型计算得到，P的长度取4n，其中n为大于等于2的正整数，线性预测模型采用经典线性预测算法或改进型线性预测算法；能量系数和基频系数的特征在于每一帧用一个数值表达，即它们都为一维变量，计算方式可以为现有能量系数和基频系数计算方法中的任意一种；步骤B1所述的非映射参数因步骤B2中所使用的声码器而异，常用参数包括频谱包络、第一共振峰频率、第二共振峰频率等，也有某些声码器不需要非映射参数。
在上述的一种基于声学特征转换的语音清晰度增强方法，步骤A6和B2所述LSTM网络中，输入数据为一帧普通语音对数幅度谱的前一半系数，输出数据为一帧对应Lombard语音的线谱频率；网络结构由循环层、全连接层和输出层组成；循环层为4层结构，每层节点数目为[L/2,L/4,L/8,L/16]，时间步长为S，S的数值根据实验效果选取最优值；全连接层为2层结构，每层节点数量均为S×L/16，激活函数为Tanh函数或Sigmoid函数；输出层有P个节点，激活函数为Linear函数或ReLu函数；网络训练过程根据情况选择合适的学习算法、训练次数、损失函数一系列超参数。
在上述的一种基于声学特征转换的语音清晰度增强方法，步骤A7和B2所述贝叶斯高斯混合模型中，输入数据为一帧普通语音的基频系数和能量系数，输出数据为一帧对应Lombard语音的基频系数和能量系数；贝叶斯高斯混合模型由M个高斯分布组成，M根据实际训练效果自由选择最优值；模型训练过程根据情况选择合适的学习算法、训练次数、损失函数等一系列超参数。
在上述的一种基于声学特征转换的语音清晰度增强方法，步骤B1和B3所述声码器使用映射参数和非映射参数合成具备抗噪增强特性的Lombard语音；或者不使用非映射参数只是用映射参数合成Lombard语音；所述步骤B1中，还需要根据步骤B3中声码器的需求，提取其他的非映射参数，包括基于滤波器的声码器和基于神经网络的声码器。
本语音清晰度增强方法处理前后的语音信号均为干净、无噪语音，但语音音调、局部能量等声学特征发生了变化，从原本的普通风格语音转变为Lombard风格的抗噪语音；较未增强相比，增强后的语音在噪声环境中具备更强的鲁棒性，不易被环境噪声掩蔽，在相同噪声条件下更容易被听音者准确获取语音信息，具备更强的听觉清晰度和感知可懂度。该方法适用于任何实时语音通信终端和实时语音交互设备，且适用于多语种、多模态的语音信号。
附图说明
图1为本发明实施例的信号处理流程图。
具体实施方式
以下内容将结合本发明实施例中的附图，对本发明实施例进行进一步详细描述，应当理解，此处所描述的实施例仅是本发明的部分实施例，并非全部的实施例，并不用于限定本发明。本领域内技术人员在没有做出创造性劳动前提下基于本发明实施例所获取的任何实施例，均为本发明申请的保护范围。
本发明提供了一种适用于任意实时语音通信终端和实时语音交互设备的语音清晰度增强方法，即“一种基于声学特征转换的语音清晰度增强方法”，用于解决在噪声环境中收听语音时(如：接听电话、聆听智能音箱的交互语音)，原本清晰的语音信号被环境噪声掩蔽从而导致听觉清晰度和感知可懂度下降的问题。
为改进现有语音清晰度增强技术在语音自然度、算法鲁棒性等方面等一系列问题，本实施例阐述出了一种基于声学特征转换的语音清晰度增强方法，本方法实施流程图如图1所示。
实施例的实现过程分为训练阶段和使用阶段。训练阶段：基于语音数据集驱动，训练具备声学特征转换能力的映射模型；使用阶段：利用已经训练好的映射模型和对应的预处理、后处理算法，将普通语音转化那位具备抗噪能力的Lombard语音。
本方法训练阶段包括以下具体实施步骤：
步骤A1：如图1训练阶段中源数据“普通语音”和目标数据“Lombard语音”所示，搜集普通语音和Lombard语音构建训练数据集，语音资料包括普通语音和基于抗噪发声模式的Lombard语音两部分；普通语音和Lombard语音是平行数据，即数据集中每一个人说的每一句话既有普通风格语音又有对应的Lombard风格语音；Lombard语音包含不同场景下不同能量的噪声激励时产生的语音信号；
普通语音和Lombard语音既可以为一对一关系，又可以为一对多关系；当两者为一对一关系时，则代表每一句普通语音只有一句在某个场景下语言内容相同的语音，此时的一句普通语音与对应Lombard语音组成一条训练数据；当两者为一对多关系时，则代表一句普通语音，在多个场景下有语言内容相同的语音，此时的一句普通语音分别与多个不同场景的Lombard语音组成多条训练数据；
上述数据集的采样率可以为8000/6000/32000/44100/48000赫兹等；
优选的，数据集采样率为16000赫兹。
步骤A2：如图1训练阶段中“时长对齐”模块所示，使用时长对齐算法，将每一句Lombard语音的时长匹配至与对应普通语音时长相等。
优选的，使用动态时间归整(Dynamic Time Warping，DTW)算法实现对齐。
步骤A3：如图1训练阶段中“编解码”模块所示，为了使映射模型能够学习从有失真的信号中尽可能重建无失真语音信号声学特征的能力，对数据集中的普通语音进行编解码处理，获得解码后的语音信号。
步骤A4：如图1训练阶段中“分帧”模块所示，使用重叠窗对所有语音信号分帧，可选择汉宁窗、海明窗等窗函数，可以取50％重叠、2/3重叠等常见重叠方式；窗长可以为16/20/30/32毫秒等常见数值；
优选的，使用50％重叠的32毫秒时长汉宁窗，即窗长为512个采样点。
步骤A5：如图1训练阶段中“特征提取”模块所示，提取普通语音的对数幅度谱(图中以MS表示)、能量系数(图中以E表示)、基频系数(图中以F0表示)，提取Lombard语音的线谱频率(图中以LSF表示)、能量系数、基频系数；将对数幅度谱作为普通语音的频谱倾斜度特征表达式，将线谱频率作为Lombard语音的频谱倾斜度特征表达式；对数幅度谱通过长度为L的离散傅里叶变换并取对数运算得到，L的取值可以为256/512/1024/2048等2n数值；线谱频率由P阶线性预测模型计算得到，P的长度可以取8/12/16/20等常规值；能量和基频系数可以直接计算得到；
应该注意的是，本实施例不限定线性预测模型和线谱频率的计算方法；
优选的，L取512，P取20。
步骤A6：如图1训练阶段中“LSTM映射”模块所示，使用频谱倾斜度特的特征表达式完成频谱倾斜度的特征映射，其中普通语音的对数幅度谱(高维变量)作为输入数据，Lombard语音的线谱频率(高维变量)作为输出数据，训练LSTM网络作为频谱倾斜度特征映射模型；
不直接使用频谱倾斜度作为映射参数是因为频谱倾斜度存在较大的数据冗余，每一帧信号的频谱倾斜度可以通过谱线频率直接计算得到：
ST＝DFT(LSF,L)
其中，ST代表频谱倾斜度，DFT(LSF,L)代表对线谱频率(LSF)进行长度为L的离散傅里叶变换(Discrete Fourier Transform，DFT)；
为了提高映射精度，输入数据使用了比线谱频率信息量更丰富的对数幅度谱(MS)，因为频谱对称性，只需要幅度谱前一半系数作为输入数据；
LSTM网络的输入与输出数据为逐帧匹配形式，网络结构由循环层、全连接层和输出层组成；循环层为4层结构，每层节点数目为[L/2,L/4,L/8,L/16]，时间步长为S，S的数值根据实验效果选取最优值；全连接层为2层结构，每层节点数量均为S×L/16，激活函数为Tanh函数或Sigmoid函数；输出层有P个节点，激活函数为Linear函数或ReLu函数；LSTM网络实现的映射关系表达式为：
其中，下标N代表普通语音，下标L代表Lombard语音，k代表当前时刻的第k帧，“：”代表从k-S+1到k的一连串数据；
优选的，S取5，全连接层激活函数为Tanh函数，输出层激活函数为Linear函数，使用均方误差为作为代价函数，随机梯度下降算法为训练方法，整个数据集迭代200次(Epoch＝200)，每次批处理数据量为1000(Batch Size＝1000)。
步骤A7：如图1训练阶段中“BGMM映射”模块所示，使用普通语音的能量系数(一维变量)、基频系数作(一维变量)为输入数据，使用Lombard语音的能量系数(一维变量)、基频系数(一维变量)作为输出数据训练贝叶斯高斯混合模型(以下简称为BGMM)作为能量和基频特征映射模型，BGMM由M个高斯分布组成；
应该注意的是，本实施例不限定能量和基频的计算方法，计算得到的某一帧(即第k帧)普通语音能量和基频可以表示为[E(k),F0(k)]N，同理，某一帧Lombard通语音能量和基频可以表示为[E(k),F0(k)]L；因此BGMM实现的映射关系表达式为：
优选的，M取100，使用均方误差为作为代价函数，最大期望算法为训练方法，整个数据集迭代200次(Iteration＝200)。
可选的，为了更好的选择步骤A6和步骤A7中的一系列参数和全面的评估模型映射能力，在步骤A1中可以将训练数据集进一步划分为训练集、验证集、测试集三部分，训练集用于模型映射能力的训练，验证集用于在每次训练迭代中进行训练误差的评估，当多次迭代后验证集上的误差没有明显下降后可提前停止训练，测试集用于最终评估映射模型的准确度；
优选的，训练集、验证集、测试集三部分占比为总训练数据集的70％、10％、20％。
当映射模型训练完成后，本发明所述的方法可投入到使用阶段，该方法常嵌入至实时语音通信、交互系统解码器中作为后处理技术。本实施例的使用阶段包括以下具体实施步骤：
步骤B1：在获取图1使用阶段的源数据“解码后的语音帧”后，在使用阶段的“特征提取”模块中提取解码信号的对数幅度谱(MS)、能量系数(E)、基频系数(F0)；
若图1使用阶段中“声码器”模块有其他非映射参数的使用需求，则根据声码器的需求提取对应参数。
步骤B2：如图1使用阶段中“LSTM映射”模块所示，使用LSTM网络将解码信号的对数幅度谱映射为具备Lombard语音特性的线谱频率；如图1使用阶段中“BGMM映射”模块所示，使用BGMM将解码信号的能量系数、基频系数映射为具备Lombard语音特性的能量系数、基频系数；
步骤B3：如图1使用阶段中“声码器”模块所示，根据映射后的特征参数和步骤B1中提取的所需非映射参数，使用声码器合成Lombard语音，即初步完成的已增强的语音帧；
应该注意的是，本实施例不限定所使用的声码器类型和算法，可选择使用传统声码器或任意改进型声码器(如：基于神经网络的声码器)；若使用传统声码器，则不需要非映射参数；若使用改进型声码器，根据声码器的具体需求在步骤B1中提取对应参数。
步骤B4：如图1使用阶段中“自适应增益控制”模块所示，根据环境噪声，使用自适应增益控制算法实时调整输出语音信号的增益。
经过训练阶段和使用阶段步骤B1～B4，生成了最终已增强的语音帧(如图1使用阶段中目标数据“已增强的语音帧”所示)。经过处理后的语音信号在语音音调、局部能量等声学特征发生了变化，从原本的普通风格语音转换为Lombard风格的抗噪语音；增强前后均为干净、无噪语音；与未增强的语音相比，增强后的语音在噪声环境中具备更强的鲁棒性，不易被环境噪声掩蔽，在相同噪声条件下更容易被听音者准确获取语音信息，具备更强的听觉清晰度和感知可懂度。
综上，本发明提供了一种基于声学特征转换的语音清晰度增强方法，为改进现有语音清晰度增强技术在语音自然度、算法鲁棒性等方面的一系列问题，能应用于所有实时语音通信系统和实时人机交互系统。具体实施时，可使用计算机软件技术实现自动化处理流程。
应该注意的是，以上所描述内容仅为本发明的优先实施例，本发明不受上述实施例形式的限制，本领域的技术人员应当充分了解，凡参照本发明核心技术对上述实施例所做的形式更替、等价变换和描述修改，均在本发明技术方案所要求的保护范围内。
Claims (8)
1.一种基于声学特征转换的语音清晰度增强方法，其特征在于，包括：
步骤A、训练训练贝叶斯高斯混合模型，具体包括：
步骤A1：搜集语音资料构建训练数据集，语音资料包括普通语音和抗噪语音两部分；
步骤A2：使用时长对齐算法，将每一句Lombard语音的时长匹配至与对应普通语音时长相等；
步骤A3：对数据集中的普通语音进行编解码处理，获得解码后的语音信号；
步骤A4：使用重叠窗对所有语音信号分帧；
步骤A5：提取每帧普通语音的对数幅度谱、能量系数、基频系数，提取Lombard语音的线谱频率、能量系数、基频系数；将对数幅度谱作为普通语音的频谱倾斜度特征表达式，将线谱频率作为Lombard语音的频谱倾斜度特征表达式；
步骤A6：使用普通语音的对数幅度谱作为输入数据，使用Lombard语音的线谱频率作为输出数据，训练长短时记忆(Long Short-Term Memory，LSTM)网络作为频谱倾斜度特征映射模型；
步骤A7：使用普通语音的能量系数、基频系数作为输入数据，使用Lombard语音的能量系数、基频系数作为输出数据训练贝叶斯高斯混合模型(Bayesian Gaussian MixtureModel，BGMM)作为能量和基频特征映射模型；
步骤B、采用步骤A中训练好的模型进行语音清晰度增强，具体包括：
步骤B1：逐帧获取实时语音通信终端设备或实时语音交互设备解码后的语音信号，提取解码信号的对数幅度谱、能量系数、基频系数，作为待映射的参数；根据步骤B3中合成声码器的差异，若合成声码器需要非映射参数则提取相应的参数，若合不需要非映射参数则不提取；因本发明不限定声码器的种类，故既不限定非映射参数是否提取，也不限定提取的数量和种类；
步骤B2：使用由LSTM网络构成的频谱倾斜度特征映射模型将对数幅度谱映射为具备Lombard语音特性的线谱频率，使用由BGMM模型构成的能量和基频特征映射模型将能量系数、基频系数映射为具备Lombard语音特性的能量系数、基频系数；
步骤B3：根据映射后的特征参数和步骤B1中提取的所需非映射参数，使用声码器合成Lombard语音；
步骤B4：根据环境噪声，使用自适应增益控制算法实时调整输出语音信号的增益。
2.根据权利要求1所述的一种基于声学特征转换的语音清晰度增强方法，其特征在于，步骤A1所述训练数据集中，普通语音为说话人在安静环境中产生的普通风格语音信号；抗噪语音为说话人在噪声环境中说话时，受环境噪声压迫而本能产生的一种音调改变、具备更强抵御噪声掩蔽能力的抗噪语音信号，这种受压迫而改变音调的本能行为称作Lombard效应，故抗噪语音又称为Lombard语音；普通语音和Lombard语音是平行数据，即数据集中每一个人说的每一句话既有普通风格语音又有对应的Lombard风格语音；Lombard语音包含不同场景下不同能量的噪声激励时产生的语音信号；组建数据集过程中既可以一句普通语音对应多个不同场景的Lombard语音，也可以每句普通语音只有某一个场景下的Lombard语音与之对应。
3.根据权利要求1所述的一种基于声学特征转换的语音清晰度增强方法，其特征在于，步骤A2中，同一个人在不同环境中说出的同一句话存在一定时长差异，所以需要使用动态时间归整(Dynamic Time Warping，DTW)等任意一种时长对齐算法，使每一句Lombard语音的时长与对应普通语音时长一致。
4.根据权利要求1所述的一种基于声学特征转换的语音清晰度增强方法，其特征在于，步骤A中，对数据集中的普通语音进行编解码处理，获得解码后的语音信号，从而在步骤A6和A7中，使映射模型能够学习重建无失真语音信号声学特征的能力。
5.根据权利要求1所述的一种基于声学特征转换的语音清晰度增强方法，其特征在于，步骤A5和B1中对数幅度谱是基于长度为L的离散傅里叶变换并取对数运算得到，L的取值为2n数值，其中n取正整数；线谱频率的特征在于由P阶线性预测模型计算得到，P的长度取4n，其中n为大于等于2的正整数，线性预测模型采用经典线性预测算法或改进型线性预测算法；能量系数和基频系数的特征在于每一帧用一个数值表达，即它们都为一维变量，计算方式可以为现有能量系数和基频系数计算方法中的任意一种；步骤B1所述的非映射参数因步骤B2中所使用的声码器而异，常用参数包括频谱包络、第一共振峰频率、第二共振峰频率等，也有某些声码器不需要非映射参数。
6.根据权利要求1所述的一种基于声学特征转换的语音清晰度增强方法，其特征在于，步骤A6和B2所述LSTM网络中，输入数据为一帧普通语音对数幅度谱的前一半系数，输出数据为一帧对应Lombard语音的线谱频率；网络结构由循环层、全连接层和输出层组成；循环层为4层结构，每层节点数目为[L/2,L/4,L/8,L/16]，时间步长为S，S的数值根据实验效果选取最优值；全连接层为2层结构，每层节点数量均为S×L/16，激活函数为Tanh函数或Sigmoid函数；输出层有P个节点，激活函数为Linear函数或ReLu函数。
7.根据权利要求1所述的一种基于声学特征转换的语音清晰度增强方法，其特征在于，步骤A7和B2所述贝叶斯高斯混合模型中，输入数据为一帧普通语音的基频系数和能量系数，输出数据为一帧对应Lombard语音的基频系数和能量系数；贝叶斯高斯混合模型由M个高斯分布组成，M根据实际训练效果自由选择最优值。
8.根据权利要求1所述的一种基于声学特征转换的语音清晰度增强方法，其特征在于，步骤B1和B3所述声码器使用映射参数和非映射参数合成具备抗噪增强特性的Lombard语音；或者不使用非映射参数只是用映射参数合成Lombard语音；所述步骤B1中，还需要根据步骤B3中声码器的需求，提取其他的非映射参数，包括基于滤波器的声码器和基于神经网络的声码器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910281080.5A CN110085245B (zh) | 2019-04-09 | 2019-04-09 | 一种基于声学特征转换的语音清晰度增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910281080.5A CN110085245B (zh) | 2019-04-09 | 2019-04-09 | 一种基于声学特征转换的语音清晰度增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110085245A true CN110085245A (zh) | 2019-08-02 |
| CN110085245B CN110085245B (zh) | 2021-06-15 |
Family
ID=67414663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910281080.5A Active CN110085245B (zh) | 2019-04-09 | 2019-04-09 | 一种基于声学特征转换的语音清晰度增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110085245B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110970014A (zh) * | 2019-10-31 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 语音转换、文件生成、播音、语音处理方法、设备及介质 |
| CN111429890A (zh) * | 2020-03-10 | 2020-07-17 | 厦门快商通科技股份有限公司 | 一种微弱语音增强方法、语音识别方法及计算机可读存储介质 |
| CN112037759A (zh) * | 2020-07-16 | 2020-12-04 | 武汉大学 | 抗噪感知敏感度曲线建立及语音合成方法 |
| CN113393852A (zh) * | 2021-08-18 | 2021-09-14 | 杭州雄迈集成电路技术股份有限公司 | 语音增强模型的构建方法及系统、语音增强方法及系统 |
| CN113450780A (zh) * | 2021-06-16 | 2021-09-28 | 武汉大学 | 一种听觉感知响度空间Lombard效应分类方法 |
| CN113938749A (zh) * | 2021-11-30 | 2022-01-14 | 北京百度网讯科技有限公司 | 音频数据处理方法、装置、电子设备和存储介质 |
| WO2022017040A1 (zh) * | 2020-07-21 | 2022-01-27 | 思必驰科技股份有限公司 | 语音合成方法及系统 |
| CN114065824A (zh) * | 2022-01-17 | 2022-02-18 | 陕西公众电气股份有限公司 | 一种对局部放电信号类型快速识别的方法 |
| CN114550740A (zh) * | 2022-04-26 | 2022-05-27 | 天津市北海通信技术有限公司 | 噪声下的语音清晰度算法及其列车音频播放方法、系统 |
| US11468878B2 (en) * | 2019-11-01 | 2022-10-11 | Lg Electronics Inc. | Speech synthesis in noisy environment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103035238A (zh) * | 2012-11-27 | 2013-04-10 | 中国科学院自动化研究所 | 音频数据的编码方法及解码方法 |
| US20160019905A1 (en) * | 2013-11-07 | 2016-01-21 | Kabushiki Kaisha Toshiba | Speech processing system |
| CN107564538A (zh) * | 2017-09-18 | 2018-01-09 | 武汉大学 | 一种实时语音通信的清晰度增强方法及系统 |
| CN109215635A (zh) * | 2018-10-25 | 2019-01-15 | 武汉大学 | 用于语音清晰度增强的宽带语音频谱倾斜度特征参数重建方法 |
-
2019
- 2019-04-09 CN CN201910281080.5A patent/CN110085245B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103035238A (zh) * | 2012-11-27 | 2013-04-10 | 中国科学院自动化研究所 | 音频数据的编码方法及解码方法 |
| US20160019905A1 (en) * | 2013-11-07 | 2016-01-21 | Kabushiki Kaisha Toshiba | Speech processing system |
| CN107564538A (zh) * | 2017-09-18 | 2018-01-09 | 武汉大学 | 一种实时语音通信的清晰度增强方法及系统 |
| CN109215635A (zh) * | 2018-10-25 | 2019-01-15 | 武汉大学 | 用于语音清晰度增强的宽带语音频谱倾斜度特征参数重建方法 |
Non-Patent Citations (6)
| Title |
|---|
| EMMA JOKINEN: "Intelligibility Enhancement of Telephone Speech", 《IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING》 * |
| EMMA JOKINEN: "Spectral tilt modelling with extrapolated GMMs for intelligibility enhancement of narrowband telephone speech", 《2014 14TH INTERNATIONAL WORKSHOP ON ACOUSTIC SIGNAL ENHANCEMENT (IWAENC)》 * |
| EMMA JOKINEN: "The use of read versus conversational Lombard speech in spectral tilt modeling for intelligibility enhancement in near-end noise conditions", 《INTERSPEECH 2016》 * |
| SHREYAS SESHADRI: "Vocal Effort Based Speaking Style Conversion Using Vocoder Features and Parallel Learning", 《IEEE ACCESS》 * |
| 左国玉: "声音转换技术的研究与进展", 《电子学报》 * |
| 田斌: "一种用于强噪声环境下语言识别的含噪Lombard及Loud语言补偿方法", 《声学学报》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110970014B (zh) * | 2019-10-31 | 2023-12-15 | 阿里巴巴集团控股有限公司 | 语音转换、文件生成、播音、语音处理方法、设备及介质 |
| CN110970014A (zh) * | 2019-10-31 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 语音转换、文件生成、播音、语音处理方法、设备及介质 |
| US11468878B2 (en) * | 2019-11-01 | 2022-10-11 | Lg Electronics Inc. | Speech synthesis in noisy environment |
| CN111429890A (zh) * | 2020-03-10 | 2020-07-17 | 厦门快商通科技股份有限公司 | 一种微弱语音增强方法、语音识别方法及计算机可读存储介质 |
| CN111429890B (zh) * | 2020-03-10 | 2023-02-10 | 厦门快商通科技股份有限公司 | 一种微弱语音增强方法、语音识别方法及计算机可读存储介质 |
| CN112037759B (zh) * | 2020-07-16 | 2022-08-30 | 武汉大学 | 抗噪感知敏感度曲线建立及语音合成方法 |
| CN112037759A (zh) * | 2020-07-16 | 2020-12-04 | 武汉大学 | 抗噪感知敏感度曲线建立及语音合成方法 |
| US11842722B2 (en) | 2020-07-21 | 2023-12-12 | Ai Speech Co., Ltd. | Speech synthesis method and system |
| WO2022017040A1 (zh) * | 2020-07-21 | 2022-01-27 | 思必驰科技股份有限公司 | 语音合成方法及系统 |
| CN113450780A (zh) * | 2021-06-16 | 2021-09-28 | 武汉大学 | 一种听觉感知响度空间Lombard效应分类方法 |
| CN113450780B (zh) * | 2021-06-16 | 2023-02-24 | 武汉大学 | 一种听觉感知响度空间Lombard效应分类方法 |
| CN113393852B (zh) * | 2021-08-18 | 2021-11-05 | 杭州雄迈集成电路技术股份有限公司 | 语音增强模型的构建方法及系统、语音增强方法及系统 |
| CN113393852A (zh) * | 2021-08-18 | 2021-09-14 | 杭州雄迈集成电路技术股份有限公司 | 语音增强模型的构建方法及系统、语音增强方法及系统 |
| CN113938749A (zh) * | 2021-11-30 | 2022-01-14 | 北京百度网讯科技有限公司 | 音频数据处理方法、装置、电子设备和存储介质 |
| US11984134B2 (en) | 2021-11-30 | 2024-05-14 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method of processing audio data, electronic device and storage medium |
| CN114065824A (zh) * | 2022-01-17 | 2022-02-18 | 陕西公众电气股份有限公司 | 一种对局部放电信号类型快速识别的方法 |
| CN114550740B (zh) * | 2022-04-26 | 2022-07-15 | 天津市北海通信技术有限公司 | 噪声下的语音清晰度算法及其列车音频播放方法、系统 |
| CN114550740A (zh) * | 2022-04-26 | 2022-05-27 | 天津市北海通信技术有限公司 | 噪声下的语音清晰度算法及其列车音频播放方法、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110085245B (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110085245A (zh) | 一种基于声学特征转换的语音清晰度增强方法 | |
| Fu et al. | End-to-end waveform utterance enhancement for direct evaluation metrics optimization by fully convolutional neural networks | |
| Spille et al. | Predicting speech intelligibility with deep neural networks | |
| Vary et al. | Digital speech transmission: Enhancement, coding and error concealment | |
| Cooke et al. | Evaluating the intelligibility benefit of speech modifications in known noise conditions | |
| CN108847249A (zh) | 声音转换优化方法和系统 | |
| Wölfel et al. | Distant speech recognition | |
| Pulakka et al. | Bandwidth extension of telephone speech using a neural network and a filter bank implementation for highband mel spectrum | |
| Nemala et al. | A multistream feature framework based on bandpass modulation filtering for robust speech recognition | |
| Kleijn et al. | Optimizing speech intelligibility in a noisy environment: A unified view | |
| CN105448302B (zh) | 一种环境自适应的语音混响消除方法和系统 | |
| CN110660406A (zh) | 近距离交谈场景下双麦克风移动电话的实时语音降噪方法 | |
| Roberts et al. | The perceptual organization of sine-wave speech under competitive conditions | |
| Hussain et al. | Ensemble hierarchical extreme learning machine for speech dereverberation | |
| CN111326170A (zh) | 联合时频域扩张卷积的耳语音向正常音转换方法及其装置 | |
| CN114267372A (zh) | 语音降噪方法、系统、电子设备和存储介质 | |
| Jokinen et al. | Intelligibility enhancement of telephone speech using Gaussian process regression for normal-to-Lombard spectral tilt conversion | |
| Ngo et al. | Increasing speech intelligibility and naturalness in noise based on concepts of modulation spectrum and modulation transfer function | |
| Chu et al. | Using automatic speech recognition and speech synthesis to improve the intelligibility of cochlear implant users in reverberant listening environments | |
| Li et al. | A Two-Stage Approach to Quality Restoration of Bone-Conducted Speech | |
| CN109215635B (zh) | 用于语音清晰度增强的宽带语音频谱倾斜度特征参数重建方法 | |
| Li et al. | A mapping model of spectral tilt in normal-to-Lombard speech conversion for intelligibility enhancement | |
| Li et al. | A near-end listening enhancement system by RNN-based noise cancellation and speech modification | |
| Westall et al. | Speech technology for telecommunications | |
| Pulakka et al. | Conversational quality evaluation of artificial bandwidth extension of telephone speech |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |