CN104966517B - 一种音频信号增强方法和装置 - Google Patents

一种音频信号增强方法和装置 Download PDF

Info

Publication number
CN104966517B
CN104966517B CN201510295355.2A CN201510295355A CN104966517B CN 104966517 B CN104966517 B CN 104966517B CN 201510295355 A CN201510295355 A CN 201510295355A CN 104966517 B CN104966517 B CN 104966517B
Authority
CN
China
Prior art keywords
frame
audio signal
reinforced
noise type
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510295355.2A
Other languages
English (en)
Other versions
CN104966517A (zh
Inventor
夏丙寅
周璇
苗磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201510295355.2A priority Critical patent/CN104966517B/zh
Publication of CN104966517A publication Critical patent/CN104966517A/zh
Priority to PCT/CN2016/073792 priority patent/WO2016192410A1/zh
Application granted granted Critical
Publication of CN104966517B publication Critical patent/CN104966517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Abstract

本发明实施例公开了一种音频信号增强方法和装置，该方法可包括：解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。本发明实施例可以降低音频信号的增强过程中计算复杂度和附加时延。

Description

一种音频信号增强方法和装置
技术领域
本发明涉及通信领域，尤其涉及一种音频信号增强方法和装置。
背景技术
在通信系统中，音频信号往往都会受到噪声的干扰，导致音频信号质量下降。目前，通信领域中主要是通过音频增强技术实现从被噪声污染的音频信号中提取尽可能的干净信号，以提高音频信号质量。由于实践中需要考虑终端设备在计算能力、存储空间和成本等方面的限制，往往使用网络设备实现对音频信号的增强。其中，在网络设备对音频信号进行语音增强过程中包括对音频信号进行完全解码、增强处理和重新编码的操作。由于需要对音频信号进行完全解码，再对解码后的数据进行处理，从而目前音频信号的增强过程中计算复杂度和附加时延都会比较高。
发明内容
本发明实施例提供了一种音频信号增强方法和装置，可以降低音频信号的增强过程中计算复杂度和附加时延。
第一方面，本发明实施例提供一种音频信号增强方法，包括：
解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；
使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；
对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。
在第一方面的第一种可能的实现方式中，所述方法还包括：
解码输入的音频信号的比特流，获取所述音频信号的音频信号帧的谱包络参数；
使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型；
在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型，其中，所述N为大于或者等于1的整数。
结合第一方面第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型，包括：
从输入的音频信号的比特流中获得对应于所述音频信号帧的码书增益参数，利用所述码书增益参数和所述谱包络参数计算所述音频信号帧对预设的M个噪声模型中每个噪声模型的后验概率，选择所述M个噪声模型中后验概率最大的噪声模型作为所述音频信号帧的噪声类型，其中，M为大于或者等于1的整数。
结合第一方面或者第一方面的第一种上可能的实现方式或者第一方面第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述方法还包括：
对所述待增强帧的自适应码书增益和代数码书增益进行联合调整，分别对联合调整后的自适应码书增益和代数码书增益进行量化，得到所述待增强帧的联合调整后的自适应码书增益的量化索引和代数码书增益的量化索引，其中，所述待增强帧的自适应码书增益和代数码书增益是对所述待增强帧进行解码操作获取的；
将所述待增强帧的联合调整后的自适应码书增益的量化索引替换掉所述待增强帧的自适应码书增益对应的比特，将所述待增强帧的联合调整后的代数码书增益的量化索引替换掉所述待增强帧的代数码书增益对应的比特。
结合第一方面或者第一方面的第一种上可能的实现方式或者第一方面第二种可能的实现方式，在第一方面的第四种可能的实现方式中，所述使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值，包括：
计算所述音频信号的待增强帧与若干帧的谱包络参数的均值，其中，所述若干帧为所述音频信号中在所述待增强帧之前的若干帧；
计算所述待增强帧的去均值的谱包络参数，其中，所述去均值的谱包络参数为所述待增强帧的谱包络参数与所述均值的差值；
使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述去均值的谱包络参数进行增强处理，以得到所述去均值的谱包络参数的纯净估计值；
将所述去均值的谱包络参数的纯净估计值与预先获取的纯净音频谱包络参数的均值相加，以得到所述待增强帧的谱包络参数的纯净估计值。
结合第一方面第一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型，包括：
在所述音频信号中包括所述音频信号帧在内的起始段的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型；或者
在所述音频信号中包括所述音频信号帧在内的且不存在语音信号的N个帧中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型。
结合第一方面或者第一方面的第一种上可能的实现方式或者第一方面第二种可能的实现方式，在第一方面的第六种可能的实现方式中，所述方法还包括：
当检测到所述音频信号中连续的多帧的噪声类型与之前判断的所述音频信号中包含的噪声类型不同时，在所述连续的多帧内统计所述连续的多帧包含的每种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号的当前噪声类型；
所述使用预先为所述音频信号的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值，包括：
使用预先为所述音频信号的当前噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
结合第一方面上述任一种可能的实现方式，在第一方面的第七种可能的实现方式中，所述神经网络包括：
递归深度神经网络。
第二方面，本发明提供一种音频信号增强装置，包括：解码单元、增强单元和替换单元，其中：
所述解码单元，用于解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；
所述增强单元，用于使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；
所述替换单元，用于对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。
在第二方面的第一种可能的实现方式中，所述解码单元还用于解码输入的音频信号的比特流，获取所述音频信号的音频信号帧的谱包络参数；
所述装置还包括：
分类单元，用于使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型；
统计单元，用于在所述音频信号中包括所述音频信号帧在内的N个帧内统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型，其中，所述N为大于或者等于1的整数；
结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述分类单元用于从输入的音频信号的比特流中获得对应于所述音频信号帧的码书增益参数，利用所述码书增益参数和所述谱包络参数计算所述音频信号帧对预设的M个噪声模型中每个噪声模型的后验概率，选择所述M个噪声模型中后验概率最大的噪声模型作为所述音频信号帧的噪声类型。
结合第二方面或者第二方面的第一种可能的实现方式或者第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述装置还包括：
调整单元，用于对所述待增强帧的自适应码书增益和代数码书增益进行联合调整，分别对联合调整后的自适应码书增益和代数码书增益进行量化，得到所述待增强帧的联合调整后的自适应码书增益的量化索引和代数码书增益的量化索引，其中，所述待增强帧的自适应码书增益和代数码书增益是对所述待增强帧进行解码操作获取的；
所述替换单元还用于将所述待增强帧的联合调整后的自适应码书增益的量化索引替换掉所述待增强帧的自适应码书增益对应的比特，将所述待增强帧的联合调整后的代数码书增益的量化索引替换掉所述待增强帧的代数码书增益对应的比特。
结合第二方面或者第二方面的第一种可能的实现方式或者第二方面的第二种可能的实现方式，在第二方面的第四种可能的实现方式中，所述增强单元包括：
第一计算单元，用于计算所述音频信号的待增强帧与若干帧的谱包络参数的均值，其中，所述若干帧为所述音频信号中在所述待增强帧之前的若干帧；
第二计算单元，用于计算所述待增强帧的去均值的谱包络参数，其中，所述去均值的谱包络参数为所述待增强帧的谱包络参数与所述均值的差值；
第三计算单元，用于使用预先为所述音频信号的噪声类型设置的神经网络对所述去均值的谱包络参数进行增强处理，以得到所述去均值的谱包络参数的纯净估计值；
第四计算单元，用于将所述去均值的谱包络参数的纯净估计值与预先获取的纯净音频谱包络参数的均值相加，以得到所述待增强帧的谱包络参数的纯净估计值。
结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述统计单元用于在所述音频信号中包括所述音频信号帧在内的起始段的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型；或者
所述统计单元用于在所述音频信号中包括所述音频信号帧在内的且不存在语音信号的N个帧中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型。
结合第二方面的第一种可能的实现方式，在第二方面的第六种可能的实现方式中，所述统计单元还用于当检测到所述音频信号中连续的多帧的噪声类型与之前判断的所述音频信号中包含的噪声类型不同时，在所述连续的多帧内统计所述连续的多帧包含的每种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号的当前噪声类型；
所述增强单元用于使用预先为所述音频信号的当前噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
结合第二方面上述任一种可能的实现方式，在第二方面的第八种可能的实现方式中，所述神经网络包括：
递归深度神经网络。
上述技术方案中，解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。这样可以实现只需要对音频信号帧的谱包络参数对应的比特进行解码，即进行部分解码，从而可以降低音频信号的增强过程中计算复杂度和附加时延。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种音频信号增强方法的流程示意图；
图2是本发明实施例提供的另一种音频信号增强方法的流程示意图；
图3是本发明实施例提供的一种RDNN模型示意图；
图4是本发明实施例提供的另一种RDNN模型示意图；
图5是本发明实施例提供的一种GMM模型的结构示意图；
图6是本发明实施例提供的另一种音频信号增强方法的示意图；
图7是本发明实施例提供的一种音频信号增强装置的结构示意图；
图8是本发明实施例提供的另一种音频信号增强装置的结构示意图；
图9是本发明实施例提供的另一种音频信号增强装置的结构示意图；
图10是本发明实施例提供的另一种音频信号增强装置的结构示意图；
图11是本发明实施例提供的另一种音频信号增强装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明实施例提供的一种音频信号增强方法的流程示意图，如图1所示，包括以下步骤：
101、解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数。
本实施例中，上述待增强帧可以理解为上述音频信号的当前帧，即上述音频信号中当前输入的音频信号帧。另外，上述输入可以理解为本方法的输入，或者执行本方法的装置的输入。
另外，步骤101还可以理解为仅对上述待增强帧中谱包络参数对应的比特进行解码，其中，上述中谱包络参数对应的比特可以是该音频信号帧包括的比特流中为谱包络参数的比特。其中，上述谱包络参数可以包括：线谱频率(Line Spectral Frequencies，LSF)、导抗谱频率(Immittance Spectral Frequencies，ISF)或者线性预测系数(LinearPrediction Coefficients，LPC)等其他等价参数。
本实施例中，上述音频信号可以是语音信号或者音乐信号等比特流中包含谱包络参数的任意音频信号。
102、使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
本实施例中，可以是预先设定多个神经网络，且每个神经网络与一种噪声类型对应，这样当上述音频信号的噪声类型确定后，就可以选择该噪声类型对应的神经网络进行增强处理。
另外，本实施例中，上述音频信号中包含的噪声类型可以是在对上述待增强帧进行解码之前获取的，例如：通过对上述音频信号的起始段的若干个帧的噪声类型统计获得的上述音频信号中包含的噪声类型；或者通过对上述音频信号的若干个不存在语音信号的帧的噪声类型统计获得的上述音频信号中包含的噪声类型等等。或者通过与上述待增强帧相邻的若干个帧的噪声类型统计获得的上述音频信号中包含的噪声类型。另外，上述音频信号中包含的噪声类型还可以是根据该音频信号的来源进行确认的，例如：打电话的语音信号可以根据电话双方的地理位置、通话时间或者历史语音信号的噪声类型等信息确认该语音信号的噪声类型，如通过电话双方的地理位置判断一方在某一工地时，那么就可以确定当前语音信号的噪声类型为工地对应的噪声类型，或者某一用户打电话时，该用户输出的语音信号中十次有九次的噪声类型都为噪声类型A时，那么，就可以根据该历史记录确定该用户在下一次打电话时输出的语音信号中包含的噪声类型为噪声类型A。
103、对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。
由于在对上述待增强帧进行解码时，只获取上述待增强帧的谱包络参数，而上述待增强帧中的其他参数可以不进行解码，从而步骤103将上述待增强帧的谱包络参数的纯净估计值的量化索引替换掉所述待增强帧的谱包络参数对应的比特后，就可以得到经过增强的待增强帧的比特流。
另外，本实施例中，上述方法可以应用于任意具备解码和计算功能的智能设备，例如：服务器、网络侧设备、个人计算机(Personal Computer，PC)、笔记本电脑、手机、平板电脑等智能设备。
本实施例中，解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。这样可以实现只需要对音频信号帧的谱包络参数对应的比特进行解码，即进行部分解码，从而可以降低音频信号的增强过程中计算复杂度和附加时延。
请参阅图2，图2是本发明实施例提供的另一种音频信号增强方法的流程示意图，如图2所示，包括以下步骤：
201、解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数。
202、使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
本实施例中，步骤202可以包括：
计算所述音频信号的待增强帧与若干帧的谱包络参数的均值，其中，所述若干帧为所述音频信号中在所述待增强帧之前的若干帧；
计算所述待增强帧的去均值的谱包络参数，其中，所述去均值的谱包络参数为所述待增强帧的谱包络参数与所述均值的差值；
使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述去均值的谱包络参数进行增强处理，以得到所述去均值的谱包络参数的纯净估计值；
将所述去均值的谱包络参数的纯净估计值与预先获取的纯净音频谱包络参数的均值相加，以得到所述待增强帧的谱包络参数的纯净估计值。
本实施例中，上述神经网络可以是递归深度神经网络或者其他神经网络，其中，使用递归深度神经网络(Recurrent Deep Neural Network，RDNN)时，由于RDNN中时域递归连接的存在，可有效提升谱包络调整结果的平滑性，从而改善音频信号质量，另外，基于RDNN的谱包络参数调整的方法还可以避免现有方法调整后的LPC滤波器不稳定的问题，从而可以提高算法鲁棒性，另外，基于RDNN的谱包络估计方法计算复杂度比较低，从而可有效提高运算速度。
下面对本实施例使用的RDNN进行详细介绍：
上述RDNN可以如图3所示，其中，图3中所示RDNN模型的相关符号解释如下：Xnoisy表示上述去均值的谱包络参数(例如：含噪语音的去均值ISF特征)，表示上述去均值的谱包络参数的纯净估计值(例如：纯净语音去均值ISF特征的估计值)，h1、h2、h3为隐层状态，W1、W2、W3、W4为各层之间的权重矩阵，b1、b2、b3、b4为各层的偏移量矢量，U为递归连接矩阵，m为帧标号。另外，图3所示的RDNN模型各层之间的映射关系描述如下：
显层到隐层1的映射关系为：
h1(m)＝σ(W1Xnoisy(m)+b1)
隐层1到隐层2的映射关系为：
h2(m)＝σ(W2h1(m)+b2)
隐层2到隐层3的映射关系为：
h3(m)＝σ(W3(h2(m)+Uh2(m-1))+b3)
隐层3到输出层的映射关系为：
式中σ为Sigmoid激活函数。
另外，上述RDNN还可以如图4所示，其中，图4中所示RDNN模型的相关符号解释如下：Xnoisy表示上述去均值的谱包络参数(例如：含噪语音的去均值ISF特征)，表示上述去均值的谱包络参数的纯净估计值(例如：纯净语音去均值ISF特征的估计值)，h1、h2、h3为隐层状态，W1、W2、W3、W4为各层之间的权重矩阵，b1、b2、b3、b4为各层的偏移量矢量，U为递归连接矩阵，m为帧标号。另外，图4所示的RDNN模型各层之间的映射关系描述如下：
显层到隐层1的映射关系为：
h1(m)＝σ(W1Xnoisy(m)+b1)
隐层1到隐层2的映射关系为：
h2(m)＝σ(W2(h1(m)+U1h1(m-1))+b2)
隐层2到隐层3的映射关系为：
h3(m)＝σ(W3(h2(m)+U2h2(m-1))+b3)
隐层3到输出层的映射关系为：
本模型结构与图3所示的RDNN模型结构相比，在隐层1和隐层3增加了递归连接。较多的递归连接有利于RDNN模型对语音信号谱包络的时域相关性进行建模。
另外，上述RDNN模型都可以是预先获取的，例如：预先接收用户输入的或者预先接收其他设备发送的。
当然，上述RDNN模型还可以是预先训练获取的，下面以ISF和语音信号为例进行举例说明。其中，RDNN模型的训练可以将含噪语音的特征作为模型输入，纯净语音的特征作为模型的目标输出。纯净语音和含噪语音的特征需要配对，即对某段纯净语音提取特征后，需要对其加入噪声，再提取含噪语音特征，作为一对训练特征。
RDNN模型的输入特征是含噪语音信号的去均值ISF特征，特征获取方式如下：
Xnoisy(m)＝ISFnoisy(m)-ISFmean_noisy
ISFnoisy(m)为第m帧的ISF特征，ISFmean_noisy为含噪语音ISF参数的均值，由训练数据库中某一类噪声条件下的所有含噪语音ISF参数计算得到。
RDNN模型的目标输出是纯净语音信号的去均值ISF参数，特征获取方式如下：
Xclean(m)＝ISFclean(m)-ISFmean_clean
ISFclean(m)为纯净语音ISF参数，ISFmean_clean为纯净语音ISF参数的均值，由训练数据库中所有纯净语音信号的ISF参数统计得到。
与传统DNN不同，本实施例采用一种加权均方误差形式的目标函数，表示如下：
上述Fw为权重函数，该试与均方误差形式的目标函数相比，加权目标函数Lw考虑了ISF特征中各维的重建误差对语音质量影响不同的特点，对ISF特征每一维的重建误差分配了不同的权重。
另外，本实施例中可以通过上述训练方法为每个预先选定的噪声类型训练一个RDNN模型。
需要说明的是，本实施例中采用的RDNN模型不限于三个隐层，隐层的个数可以根据需要增减。
203、对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。
本实施例中，上述方法还可以包括如下步骤：
204、对所述待增强帧的自适应码书增益和代数码书增益进行联合调整，分别对联合调整后的自适应码书增益和代数码书增益进行量化，得到所述待增强帧的联合调整后的自适应码书增益的量化索引和代数码书增益的量化索引。
其中，上述待增强帧的自适应码书增益和代数码书增益可以是对所述待增强帧进行解码操作获取的，例如，步骤201可以包括：
解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数、自适应码书增益和代数码书增益。
即步骤201对待增强帧的谱包络参数、自适应码书增益和代数码书增益对应比特进行解码。
本实施例中，上述对所述待增强帧的自适应码书增益和代数码书增益进行联合调整可以采用能量守恒准则进行调整，例如：可以将上述待增强帧的自适应码书增益和代数码书增益分别定义为第一自适应码书增益和第一代数码书增益，而将联合调整后的待增强帧的自适应码书增益和代数码书增益分别定义为第二自适应码书增益和第二代数码书增益，具体调整过程可以如下：
调整第一代数码书增益，得到第二代数码书增益；
根据第一自适应码书增益和第二代数码书增益，确定第二自适应码书增益。
而上述调整所述第一代数码书增益，得到第二代数码书增益的步骤可以包括：
根据所述第一代数码书增益确定噪声的代数码书增益；
根据所述噪声的代数码书增益和所述第一代数码书矢量确定噪声激励能量估计值；
根据所述第一代数码书增益和所述第一代数码书矢量确定第一代数码书激励能量；
根据所述噪声激励能量估计值和所述第一代数码书激励能量，确定所述当前待处理语音子帧的第一后验信噪比估计值；
根据所述当前待处理语音子帧的能量和所述当前待处理语音子帧的能量的最小值，确定所述当前待处理语音子帧的第二后验信噪比估计值；
根据所述第一后验信噪比估计值和所述第二后验信噪比估计值确定所述当前待处理语音子帧的先验信噪比估计值；
采用所述先验信噪比估计值确定所述当前待处理语音子帧的第一调整因子；
根据所述第一调整因子调整所述第一代数码书增益，确定所述第二代数码书增益。
另外，当对步骤201解码的参数还包括第一自适应码书矢量时，上述根据所述第一自适应码书增益和所述第二代数码书增益，确定第二自适应码书增益的步骤，可以包括：
若确定待增强帧为所述第一类子帧，则获取所述待增强帧的第二代数码书矢量以及第二自适应码书矢量；
根据所述第一自适应码书增益、所述第一自适应码书矢量、所述第一代数码书增益以及所述第一代数码书矢量，确定第一总激励能量；
根据所述第一总激励能量和能量调整因子，确定第二总激励能量；
根据所述第二总激励能量、所述第二代数码书增益、所述第二代数码书矢量以及所述第二自适应码书矢量，确定所述第二自适应码书增益。
205、将所述待增强帧的联合调整后的自适应码书增益的量化索引替换掉所述待增强帧的自适应码书增益对应的比特，将所述待增强帧的联合调整后的代数码书增益的量化索引替换掉所述待增强帧的代数码书增益对应的比特。
这样可以实现对待增强帧的谱包络参数、自适应码书增益和代数码书增益进行增强。
需要说明的是，本实施例中对步骤204和205的执行顺序不作限定，例如：步骤205和步骤203可以是一起执行的，或者分开执行的，或者步骤204可以是在步骤203之前执行的。
本实施例中，还可以包括如下步骤：
解码输入的音频信号的比特流，获取所述音频信号的音频信号帧的谱包络参数；
使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型；
在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型，其中，所述N为大于或者等于1的整数。
其中，上述音频信号帧可以是理解为上述音频信号中的任意帧，或者理解为当前帧，或者可以理解为针对上述音频信号中的每一帧都执行部分解码操作。
上述可以是对上述谱包络参数进行噪声分类，再将该谱包络参数的噪声类型作为上述音频信号帧中包含的噪声类型。
另外，由于在上述N个帧可能存在不同噪声类型的帧，这样上述步骤就可以对每一种噪声类型进行帧数量统计，从而选择帧数量最多的噪声类型作为所述音频信号的噪声类型。需要说明的是，上述N个帧可以是上述音频信号中的部分帧，例如：上述N个帧为上述音频信号的起始段，或者上述音频信号中第T到第N+T之间的帧，其中，第T帧可以由用户设置的。
另外，本实施方式，对音频信号帧进行解码可以是对每个帧都执行，而对音频信号帧的噪声分类可以是对每个帧都执行，或者可以是只对部分帧进行噪声分类。而选择音频信号的噪声类型的步骤可以是只执行一次，或者按照时间周期性执行等。例如：当选择出上述音频信号的噪声类型后，就可以在上述音频信号的处理过程中一直认为上述音频信号的噪声类型为上述选择的噪声类型；或者当选择出上述音频信号的噪声类型后，就可以将选择的噪声类型作为上述音频信号的处理过程中特定时段的噪声类型；或者当选择出上述音频信号的噪声类型后，继续识别每个帧的噪声类型，当识别到连续若干帧的噪声类型与之前选择的噪声类型不同时，可以再次对音频信号进行噪声分类。
上述使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型的步骤，可以包括：
从输入的音频信号的比特流中获得对应于所述音频信号帧的码书增益参数，利用所述码书增益参数和所述谱包络参数计算所述音频信号帧对预设的M个噪声模型中每个噪声模型的后验概率，选择所述M个噪声模型中后验概率最大的噪声模型作为所述音频信号帧的噪声类型，其中，M为大于或者等于1的整数。
其中，上述噪声模型可以是高斯混合模型(Gaussian Mixture Model，GMM)。本实施例中，引入基于GMM的噪声分类后，谱包络参数调整时可以选择对应当前噪声环境的RDNN模型，有助于提高算法对复杂噪声环境的适应性。
另外，上述码书增益参数可以包括自适应码书增益的长时平均值和代数码书增益的方差。其中，自适应码书增益的长时平均值可以根据当前帧和该当前帧之前的L-1帧的自适应码书增益采用如下公式计算
其中，为第m帧或者当前帧的自适应码书增益的平均值，gp(m-i)表示第m-i帧的自适应码书增益，L为大于1的整数。
代数码书增益的方差可以根据当前帧和当前帧之前的L-1帧的代数码书增益采用如下公式计算
其中，为第m帧或者当前帧的代数码书增益的方差，gc(m-i)表示第m-i帧的代数码书增益，为L个帧中代数码书增益的平均值。
另外，本实施例中，可以预先获取噪声库中各种噪声类型的GMM，例如：可以预先接收用户输入的或者接收其他设备发送的，或者还可以是预先为每种噪声类型训练一个GMM。
例如：以ISF参数为例，在GMM训练中使用的特征矢量由ISF参数、自适应码书增益长时平均值，以及代数码书增益方差构成，特征维数可以为18维，如图5所示。在训练中可以使用最大期望算法(Expectation Maximization Algorithm，EM)对噪声数据库中的每一种噪声类型(设噪声类型数目为M)训练一个单独的GMM模型。
本实施例中，上述在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型的步骤，可以包括：
在所述音频信号中包括所述音频信号帧在内的起始段的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型。
该实施方式可以实现使用音频信号的起始段的帧确定音频信号的噪声类型，这样在后续的帧就可以直接使用该噪声类型对应的神经网络进行增强。
本实施例中，上述在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型的步骤，可以包括：
在所述音频信号中包括所述音频信号帧在内的且不存在语音信号的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型。
该实施方式可以实现使用不存在语音信号的N个帧确定音频信号的噪声类型，由于不存在语音信号的音频信号帧比含噪声信号的音频信号帧更加容易反映噪声类型，从而使用不存在语音信号的N个帧确定音频信号的噪声类型更加容易分析出音频信号的噪声类型。
另外，该实施方式可以使用话音激活检测(Voice Activity Detection，VAD)判断当前帧是否存在语音，这样就可以在VAD判定为不存在语音的帧中进行。还可能是当编码器开启非连续传输(Discontinuous Transmission，DTX)模式时，可以利用码流中的VAD信息判断语音是否存在；若编码器没有开启DTX模式，则可以利用ISF参数和码书增益参数等作为特征，判断语音是否存在。
本实施例中，还可以包括如下步骤：
当检测到所述音频信号中连续的多帧的噪声类型与之前判断的所述音频信号中包含的噪声类型不同时，在所述连续的多帧内统计所述连续的多帧包含的每种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号的当前噪声类型；
所述使用预先为所述音频信号的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值，包括：
使用预先为所述音频信号的当前噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
该实施方式可以实现及时调整音频信号的噪声类型，因为一个音频信号往往会包括多个音频信号帧，而这些音频信号帧也可能会存在不同噪声类型的音频信号帧，从而通过上述步骤就可以实现及时使用当前正确的噪声类型对应的神经网络进行增强，以提高音频信号的质量。
本实施例中，在图1所示的实施例的基础上增加了多种可选的实施方式，且都可以实现降低音频信号的增强过程中计算复杂度和附加时延。
请参阅图6，图6是本发明实施例提供的另一种音频信号增强方法的示意图，该实施例中以ISF参数进行举例，如图6所示包括以下步骤：
601、利用部分解码器从输入比特流中提取含噪语音的编码参数，其中，编码参数包括ISF参数、自适应码书增益gp(m)、代数码书增益gc(m)、自适应码书矢量dm(n)和代数码书矢量cm(n)等；
602、利用部分解码器得到的自适应码书增益、代数码书增益、自适应码书矢量和代数码书矢量参数，对自适应码书增益和代数码书增益进行联合调整，得到调整后的自适应码书增益和代数码书增益。
603、以ISF和码书增益相关参数作为特征，利用高斯混合模型(GMM)对背景噪声进行分类。
其中，上述码书增益相关参数可以包括自适应码书增益的平均值和代数码书增益的方差。
604、根据噪声分类的结果，选择对应的递归深度神经网络(RDNN)模型对部分解码器得到的含噪语音的ISF参数进行处理，得到纯净语音ISF参数的估计值。
605、对调整后的自适应码书增益和代数码书增益参数，以及调整后的ISF参数进行重新量化，并替换码流中的对应位置。
本实施例中，引入RDNN模型对含噪语音的谱包络参数(如ISF参数)进行调整，由于模型中时域递归连接的存在，可有效提升谱包络参数调整结果的时域平滑性，改善语音质量。另外，基于RDNN的谱包络参数调整方法可以避免现有方法中调整后的LPC滤波器不稳定的问题，提高算法鲁棒性。以及引入基于GMM的噪声分类后，谱包络调整时可以选择对应当前噪声环境的RDNN模型，有助于提高算法对复杂噪声环境的适应性。且与现有技术方案相比，基于RDNN的谱包络估计方法计算复杂度较低，可有效提高运行速度。
下面为本发明装置实施例，本发明装置实施例用于执行本发明方法实施例一至二实现的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例一和实施例二。
请参阅图7，图7是本发明实施例提供的一种音频信号增强装置的结构示意图，如图7所示，包括：解码单元71、增强单元72和替换单元73，其中：
解码单元71，用于解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数。
本实施例中，上述待增强帧可以理解为上述音频信号的当前帧，即上述音频信号中当前输入的音频信号帧。另外，上述输入可以理解为本方法的输入，或者执行本方法的装置的输入。
另外，解码单元71还可以理解为仅对上述待增强帧中谱包络参数对应的比特进行解码，其中，上述中谱包络参数对应的比特可以是该音频信号帧包括的比特流中为谱包络参数的比特。其中，上述谱包络参数可以包括：线谱频率(Line Spectral Frequencies，LSF)、导抗谱频率(Immittance Spectral Frequencies，ISF)或者线性预测系数(LinearPrediction Coefficients，LPC)等其他等价参数。
本实施例中，上述音频信号可以是语音信号或者音乐信号等比特流中包含谱包络参数的任意音频信号。
增强单元72，用于使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
本实施例中，可以是预先设定多个神经网络，且每个神经网络与一种噪声类型对应，这样当上述音频信号的噪声类型确定后，就可以选择该噪声类型对应的神经网络进行增强处理。
另外，本实施例中，上述音频信号中包含的噪声类型可以是在对上述待增强帧进行解码之前获取的，例如：通过对上述音频信号的起始段的若干个帧的噪声类型统计获得的上述音频信号中包含的噪声类型；或者通过对上述音频信号的若干个不存在语音信号的帧的噪声类型统计获得的上述音频信号中包含的噪声类型等等。或者通过与上述待增强帧相邻的若干个帧的噪声类型统计获得的上述音频信号中包含的噪声类型。另外，上述音频信号中包含的噪声类型还可以是根据该音频信号的来源进行确认的，例如：打电话的语音信号可以根据电话双方的地理位置、通话时间或者历史语音信号的噪声类型等信息确认该语音信号的噪声类型，如通过电话双的地理位置判断一方在某一工地时，那么就可以确定当前语音信号的噪声类型为工地对应的噪声类型，或者某一用户打电话时，该用户输出的语音信号中十次有九次的噪声类型都为噪声类型A时，那么，就可以根据该历史记录确定该用户在下一次打电话时输出的语音信号中包含的噪声类型为噪声类型A。
替换单元73，用于对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。
由于在对上述待增强帧进行解码时，只获取上述待增强帧的谱包络参数，而上述待增强帧中的其他参数可以不进行解码，从而步骤103将上述待增强帧的谱包络参数的纯净估计值的量化索引替换掉所述待增强帧的谱包络参数对应的比特后，就可以得到经过增强的待增强帧的比特流。
另外，本实施例中，上述装置可以应用于任意具备解码和计算功能的智能设备，例如：服务器、网络侧设备、个人计算机(Personal Computer，PC)、笔记本电脑、手机、平板电脑等智能设备。
本实施例中，解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。这样可以实现只需要对音频信号帧的谱包络参数对应的比特进行解码，即进行部分解码，从而可以降低音频信号的增强过程中计算复杂度和附加时延。
请参阅图8，图8是本发明实施例提供的另一种音频信号增强装置的结构示意图，如图8所示，包括：解码单元81、增强单元82和替换单元83，其中：
解码单元81，用于解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数。
增强单元82，用于使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
本实施例中，增强单元82可以包括：
第一计算单元821，用于计算所述音频信号的待增强帧与若干帧的谱包络参数的均值，其中，所述若干帧为所述音频信号中在所述待增强帧之前的若干帧；
第二计算单元822，用于计算所述待增强帧的去均值的谱包络参数，其中，所述去均值的谱包络参数为所述待增强帧的谱包络参数与所述均值的差值；
第三计算单元823，用于使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述去均值的谱包络参数进行增强处理，以得到所述去均值的谱包络参数的纯净估计值；
第四计算单元824，用于将所述去均值的谱包络参数的纯净估计值与预先获取的纯净音频谱包络参数的均值相加，以得到所述待增强帧的谱包络参数的纯净估计值。
本实施例中，上述神经网络可以是递归深度神经网络或者其他神经网络，其中，使用递归深度神经网络(Recurrent Deep Neural Network，RDNN)时，由于RDNN中时域递归连接的存在，可有效提升谱包络调整结果的平滑性，从而改善音频信号质量，另外，基于RDNN的谱包络参数调整的方法还可以避免现有方法调整后的LPC滤波器不稳定的问题，从而可以提高算法鲁棒性，另外，基于RDNN的谱包络估计方法计算复杂度比较低，从而可有效提高运算速度。
替换单元83，用于对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。
本实施例中，如图9所示，上述装置还可以包括：
调整单元84，用于对所述待增强帧的自适应码书增益和代数码书增益进行联合调整，分别对联合调整后的自适应码书增益和代数码书增益进行量化，得到所述待增强帧的联合调整后的自适应码书增益的量化索引和代数码书增益的量化索引，其中，所述待增强帧的自适应码书增益和代数码书增益是对所述待增强帧进行解码操作获取的；
替换单元83还可以用于将所述待增强帧联合调整后的的自适应码书增益的量化索引替换掉所述待增强帧的自适应码书增益对应的比特，将所述待增强帧的联合调整后的代数码书增益的量化索引替换掉所述待增强帧的代数码书增益对应的比特。
其中，上述待增强帧的自适应码书增益和代数码书增益可以是对所述待增强帧进行解码操作获取的，例如，解码单元81可以用于解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数、自适应码书增益和代数码书增益。
即解码单元81对待增强帧的谱包络参数、自适应码书增益和代数码书增益对应比特进行解码。
本实施例中，上述对所述待增强帧的自适应码书增益和代数码书增益进行联合调整可以采用能量守恒准则进行调整，例如：可以将上述待增强帧的自适应码书增益和代数码书增益分别定义为第一自适应码书增益和第一代数码书增益，而将联合调整后的待增强帧的自适应码书增益和代数码书增益分别定义为第二自适应码书增益和第二代数码书增益，具体调整过程可以如下：
调整第一代数码书增益，得到第二代数码书增益；
根据第一自适应码书增益和第二代数码书增益，确定第二自适应码书增益。
该实施方式可以实现对待增强帧的谱包络参数、自适应码书增益和代数码书增益进行增强。
本实施例中，解码单元81还可以用于解码输入的音频信号的比特流，获取所述音频信号的音频信号帧的谱包络参数；
如图10所示，所述装置还可以包括：
分类单元85，用于使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型；
统计单元86，用于在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型，其中，所述N为大于或者等于1的整数；
其中，上述音频信号帧可以是理解为上述音频信号中的任意帧，或者理解为当前帧，或者可以理解为针对上述音频信号中的每一帧都执行部分解码操作。
上述可以是对上述谱包络参数进行噪声分类，再将该谱包络参数的噪声类型作为上述音频信号帧中包含的噪声类型。
另外，由于在上述N个帧可能存在不同噪声类型的帧，这样上述步骤就可以对每一种噪声类型进行帧数量统计，从而选择帧数量最多的噪声类型作为所述音频信号的噪声类型。需要说明的是，上述N个帧可以是上述音频信号中的部分帧，例如：上述N个帧为上述音频信号的起始段，或者上述音频信号中第T到第N+T之间的帧，其中，第T帧可以由用户设置的。
另外，本实施方式，对音频信号帧进行解码可以是对每个帧都执行，而对音频信号帧的噪声分类可以是对每个帧都执行，或者可以是只对部分帧进行噪声分类。而选择音频信号的噪声类型的步骤可以是只执行一次，或者按照时间周期性执行等。例如：当选择出上述音频信号的噪声类型后，就可以在上述音频信号的处理过程中一直认为上述音频信号的噪声类型为上述选择的噪声类型；或者当选择出上述音频信号的噪声类型后，就可以将选择的噪声类型作为上述音频信号的处理过程中特定时段的噪声类型；或者当选择出上述音频信号的噪声类型后，继续识别每个帧的噪声类型，当识别到连续若干帧的噪声类型与之前选择的噪声类型不同时，可以再次对音频信号进行噪声分类。
该实施方式中，分类单元85可以用于从输入的音频信号的比特流中获得对应于所述音频信号帧的码书增益参数，利用所述码书增益参数和所述谱包络参数计算所述音频信号帧对预设的M个噪声模型中每个噪声模型的后验概率，选择所述M个噪声模型中后验概率最大的噪声模型作为所述音频信号帧的噪声类型。
其中，上述噪声模型可以是高斯混合模型(Gaussian Mixture Model，GMM)。本实施例中，引入基于GMM的噪声分类后，谱包络参数调整时可以选择对应当前噪声环境的RDNN模型，有助于提高算法对复杂噪声环境的适应性。
另外，上述码书增益参数可以包括自适应码书增益的长时平均值和代数码书增益的方差。其中，自适应码书增益的长时平均值可以根据当前帧和该当前帧之前的L-1帧的自适应码书增益采用如下公式计算
其中，为第m帧或者当前帧的自适应码书增益的平均值，gp(m-i)表示第m-i帧的自适应码书增益，L为大于1的整数。
代数码书增益的方差可以根据当前帧和当前帧之前的L-1帧的代数码书增益采用如下公式计算
其中，为第m帧或者当前帧的代数码书增益的方差，gc(m-i)表示第m-i帧的代数码书增益，为L个帧中代数码书增益的平均值。
另外，本实施例中，可以预先获取噪声库中各种噪声类型的GMM，例如：可以预先接收用户输入的或者接收其他设备发送的，或者还可以是预先为每种噪声类型训练一个GMM。
例如：以ISF参数为例，在GMM训练中使用的特征矢量由ISF参数、自适应码书增益长时平均值，以及代数码书增益方差构成，特征维数为18维，如图5所示。在训练中可以使用最大期望算法(Expectation Maximization Algorithm，EM)对噪声数据库中的每一种噪声类型(设噪声类型数目为M)训练一个单独的GMM模型。
本实施例中，统计单元86可以用于在所述音频信号中包括所述音频信号帧在内的起始段的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型。
该实施方式可以实现使用音频信号的起始段的帧确定音频信号的噪声类型，这样在后续的帧就可以直接使用该噪声类型对应的神经网络进行增强。
本实施例中，统计单元86可以用于在所述音频信号中包括所述音频信号帧在内的且不存在语音信号的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型。
该实施方式可以实现使用不存在语音信号的N个帧确定音频信号的噪声类型，由于不存在语音信号的音频信号帧比含噪声信号的音频信号帧更加容易反映噪声类型，从而使用不存在语音信号的N个帧确定音频信号的噪声类型更加容易分析出音频信号的噪声类型。
另外，该实施方式可以使用话音激活检测(Voice Activity Detection，VAD)判断当前帧是否存在语音，这样就可以在VAD判定为不存在语音的帧中进行。还可能是当编码器开启非连续传输(Discontinuous Transmission，DTX)模式时，可以利用码流中的VAD信息判断语音是否存在；若编码器没有开启DTX模式，则可以利用ISF参数和码书增益参数等作为特征，判断语音是否存在。
本实施例中，统计单元86还可以用于当检测到所述音频信号中连续的多帧的噪声类型与之前判断所述音频信号中包含的噪声类型不同时，在所述连续的多帧内统计所述连续的多帧包含的每个种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号的当前噪声类型；
增强单元83可以用于使用预先为所述音频信号的当前噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
该实施方式可以实现及时调整音频信号的噪声类型，因为一个音频信号往往会包括多个音频信号帧，而这些音频信号帧也可能会存在不同噪声类型的音频信号帧，从而通过上述步骤就可以实现及时使用当前正确的噪声类型对应的神经网络进行增强，以提供音频信号的质量。
本实施例中，在图7所示的实施例的基础上增加了多种可选的实施方式，且都可以实现降低音频信号的增强过程中计算复杂度和附加时延。
请参阅图11，图11是本发明实施例提供的另一种音频信号增强装置的结构示意图，如图11所示，包括：处理器111、网络接口11、存储器113和通信总线114，其中，通信总线114用于实现所述处理器111、网络接口112和存储器113之间连接通信，处理器111执行所述存储器中存储的程序用于实现以下方法：
解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；
使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；
对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。
本实施例中，处理器111执行的步骤还可以包括：
解码输入的音频信号的比特流，获取所述音频信号的音频信号帧的谱包络参数；
使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型；
在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型，其中，所述N为大于或者等于1的整数。
本实施例中，处理器111执行的使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型的步骤，可以包括：
从输入的音频信号的比特流中获得对应于所述音频信号帧的码书增益参数，利用所述码书增益参数和所述谱包络参数计算所述音频信号帧对预设的M个噪声模型中每个噪声模型的后验概率，选择所述M个噪声模型中后验概率最大的噪声模型作为所述音频信号帧的噪声类型，其中，M为大于或者等于1的整数。
本实施例中，处理器111执行的步骤还可以包括：
对所述待增强帧的自适应码书增益和代数码书增益进行联合调整，分别对联合调整后的自适应码书增益和代数码书增益进行量化，得到所述待增强帧的联合调整后的自适应码书增益的量化索引和代数码书增益的量化索引，其中，所述待增强帧的自适应码书增益和代数码书增益是对所述待增强帧进行解码操作获取的；
将所述待增强帧联合调整后的的自适应码书增益的量化索引替换掉所述待增强帧的自适应码书增益对应的比特，将所述待增强帧联合调整后的的代数码书增益的量化索引替换掉所述待增强帧的代数码书增益对应的比特。
本实施例中，处理器111执行的使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值的步骤，可以包括：
计算所述音频信号的待增强帧与若干帧的谱包络参数的均值，其中，所述若干帧为所述音频信号中在所述待增强帧之前的若干帧；
计算所述待增强帧的去均值的谱包络参数，其中，所述去均值的谱包络参数为所述待增强帧的谱包络参数与所述均值的差值；
使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述去均值的谱包络参数进行增强处理，以得到所述去均值的谱包络参数的纯净估计值；
将所述去均值的谱包络参数的纯净估计值与预先获取的纯净音频谱包络参数的均值相加，以得到所述待增强帧的谱包络参数的纯净估计值。
本实施例中，处理器111执行的在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型的步骤，可以包括：
在所述音频信号中包括所述音频信号帧在内的起始段的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型；或者
在所述音频信号中包括所述音频信号帧在内的且不存在语音信号的N个帧中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型。
本实施例中，处理器111执行的步骤还可以包括：
当检测到所述音频信号中连续的多帧的噪声类型与之前判断的所述音频信号中包含的噪声类型不同时，在所述连续的多帧内统计所述述连续的多帧包含的每种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号的当前噪声类型；
本实施例中，处理器111执行的使用预先为所述音频信号的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值的步骤，可以包括：
使用预先为所述音频信号的当前噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
本实施例中，上述神经网络可以包括：
递归深度神经网络。
本实施例中，解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特。这样可以实现只需要对音频信号帧的谱包络参数对应的比特进行解码，即进行部分解码，从而可以降低音频信号的增强过程中计算复杂度和附加时延。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种音频信号增强方法，其特征在于，包括：
解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；
计算所述音频信号的待增强帧与若干帧的谱包络参数的均值，其中，所述若干帧为所述音频信号中在所述待增强帧之前的若干帧；
计算所述待增强帧的去均值的谱包络参数，其中，所述去均值的谱包络参数为所述待增强帧的谱包络参数与所述均值的差值；
使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述去均值的谱包络参数进行增强处理，以得到所述去均值的谱包络参数的纯净估计值；
将所述去均值的谱包络参数的纯净估计值与预先获取的纯净音频谱包络参数的均值相加，以得到所述待增强帧的谱包络参数的纯净估计值；
对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特；
当检测到所述音频信号中连续的多帧的噪声类型与之前判断的所述音频信号中包含的噪声类型不同时，在所述连续的多帧内统计所述连续的多帧包含的每种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号的当前噪声类型；
所述使用预先为所述音频信号的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值，包括：
使用预先为所述音频信号的当前噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
解码输入的音频信号的比特流，获取所述音频信号的音频信号帧的谱包络参数；
使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型；
在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型，其中，所述N为大于或者等于1的整数。
3.如权利要求2所述的方法，其特征在于，所述使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型，包括：
从输入的音频信号的比特流中获得对应于所述音频信号帧的码书增益参数，利用所述码书增益参数和所述谱包络参数计算所述音频信号帧对预设的M个噪声模型中每个噪声模型的后验概率，选择所述M个噪声模型中后验概率最大的噪声模型作为所述音频信号帧的噪声类型，其中，M为大于或者等于1的整数。
4.如权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
对所述待增强帧的自适应码书增益和代数码书增益进行联合调整，分别对联合调整后的自适应码书增益和代数码书增益进行量化，得到所述待增强帧的联合调整后的自适应码书增益的量化索引和代数码书增益的量化索引，其中，所述待增强帧的自适应码书增益和代数码书增益是对所述待增强帧进行解码操作获取的；
将所述待增强帧的联合调整后的自适应码书增益的量化索引替换掉所述待增强帧的自适应码书增益对应的比特，将所述待增强帧的联合调整后的代数码书增益的量化索引替换掉所述待增强帧的代数码书增益对应的比特。
5.如权利要求2所述的方法，其特征在于，所述在所述音频信号中包括所述音频信号帧在内的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型，包括：
在所述音频信号中包括所述音频信号帧在内的起始段的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型；或者
在所述音频信号中包括所述音频信号帧在内的且不存在语音信号的N个帧中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型。
6.如权利要求1-3中任一项所述的方法，其特征在于，所述神经网络包括：
递归深度神经网络。
7.一种音频信号增强装置，其特征在于，包括：解码单元、增强单元和替换单元，其中：
所述解码单元，用于解码输入的音频信号的比特流，获取所述音频信号的待增强帧的谱包络参数；
所述增强单元，用于使用预先为所述音频信号中包含的噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；
所述替换单元，用于对所述纯净估计值进行量化，得到所述待增强帧的谱包络参数的纯净估计值的量化索引，并将所述量化索引替换掉所述待增强帧的谱包络参数对应的比特；
统计单元还用于当检测到所述音频信号中连续的多帧的噪声类型与之前判断的所述音频信号中包含的噪声类型不同时，在所述连续的多帧内统计所述连续的多帧包含的每种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号的当前噪声类型；
所述增强单元用于使用预先为所述音频信号的当前噪声类型设置的神经网络对所述音频信号的待增强帧的谱包络参数进行增强处理，以获取所述待增强帧的谱包络参数的纯净估计值；其中，
所述增强单元包括：
第一计算单元，用于计算所述音频信号的待增强帧与若干帧的谱包络参数的均值，其中，所述若干帧为所述音频信号中在所述待增强帧之前的若干帧；
第二计算单元，用于计算所述待增强帧的去均值的谱包络参数，其中，所述去均值的谱包络参数为所述待增强帧的谱包络参数与所述均值的差值；
第三计算单元，用于使用预先为所述音频信号的噪声类型设置的神经网络对所述去均值的谱包络参数进行增强处理，以得到所述去均值的谱包络参数的纯净估计值；
第四计算单元，用于将所述去均值的谱包络参数的纯净估计值与预先获取的纯净音频谱包络参数的均值相加，以得到所述待增强帧的谱包络参数的纯净估计值。
8.如权利要求7所述的装置，其特征在于，所述解码单元还用于解码输入的音频信号的比特流，获取所述音频信号的音频信号帧的谱包络参数；
所述装置还包括：
分类单元，用于使用所述谱包络参数对所述音频信号帧进行噪声分类，以获取所述音频信号帧的噪声类型；
统计单元，用于在所述音频信号中包括所述音频信号帧在内的N个帧内统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型，其中，所述N为大于或者等于1的整数。
9.如权利要求8所述的装置，其特征在于，所述分类单元用于从输入的音频信号的比特流中获得对应于所述音频信号帧的码书增益参数，利用所述码书增益参数和所述谱包络参数计算所述音频信号帧对预设的M个噪声模型中每个噪声模型的后验概率，选择所述M个噪声模型中后验概率最大的噪声模型作为所述音频信号帧的噪声类型。
10.如权利要求7-9中任一项所述的装置，其特征在于，所述装置还包括：
调整单元，用于对所述待增强帧的自适应码书增益和代数码书增益进行联合调整，分别对联合调整后的自适应码书增益和代数码书增益进行量化，得到所述待增强帧的联合调整后的自适应码书增益的量化索引和代数码书增益的量化索引，其中，所述待增强帧的自适应码书增益和代数码书增益是对所述待增强帧进行解码操作获取的；
所述替换单元还用于将所述待增强帧的联合调整后的自适应码书增益的量化索引替换掉所述待增强帧的自适应码书增益对应的比特，将所述待增强帧的联合调整后的代数码书增益的量化索引替换掉所述待增强帧的代数码书增益对应的比特。
11.如权利要求8所述的装置，其特征在于，所述统计单元用于在所述音频信号中包括所述音频信号帧在内的起始段的N个帧内中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型；或者
所述统计单元用于在所述音频信号中包括所述音频信号帧在内的且不存在语音信号的N个帧中统计所述N个帧包含的每一种噪声类型的帧数量，选择帧数量最多的噪声类型作为所述音频信号中包含的噪声类型。
12.如权利要求7-9中任一项所述的装置，其特征在于，所述神经网络包括：
递归深度神经网络。
CN201510295355.2A 2015-06-02 2015-06-02 一种音频信号增强方法和装置 Active CN104966517B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510295355.2A CN104966517B (zh) 2015-06-02 2015-06-02 一种音频信号增强方法和装置
PCT/CN2016/073792 WO2016192410A1 (zh) 2015-06-02 2016-02-15 一种音频信号增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510295355.2A CN104966517B (zh) 2015-06-02 2015-06-02 一种音频信号增强方法和装置

Publications (2)

Publication Number Publication Date
CN104966517A CN104966517A (zh) 2015-10-07
CN104966517B true CN104966517B (zh) 2019-02-01

Family

ID=54220545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510295355.2A Active CN104966517B (zh) 2015-06-02 2015-06-02 一种音频信号增强方法和装置

Country Status (2)

Country Link
CN (1) CN104966517B (zh)
WO (1) WO2016192410A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966517B (zh) * 2015-06-02 2019-02-01 华为技术有限公司 一种音频信号增强方法和装置
CN105657535B (zh) * 2015-12-29 2018-10-30 北京搜狗科技发展有限公司 一种音频识别方法和装置
CN106328150B (zh) * 2016-08-18 2019-08-02 北京易迈医疗科技有限公司 嘈杂环境下的肠鸣音检测方法、装置及系统
CN109427340A (zh) * 2017-08-22 2019-03-05 杭州海康威视数字技术股份有限公司 一种语音增强方法、装置及电子设备
CN107564538A (zh) * 2017-09-18 2018-01-09 武汉大学 一种实时语音通信的清晰度增强方法及系统
CN110085216A (zh) * 2018-01-23 2019-08-02 中国科学院声学研究所 一种婴儿哭声检测方法及装置
CN108335702A (zh) * 2018-02-01 2018-07-27 福州大学 一种基于深度神经网络的音频降噪方法
US10991379B2 (en) * 2018-06-22 2021-04-27 Babblelabs Llc Data driven audio enhancement
CN109087659A (zh) * 2018-08-03 2018-12-25 三星电子（中国）研发中心 音频优化方法及设备
CN108806711A (zh) * 2018-08-07 2018-11-13 吴思 一种提取方法及装置
CN110147788B (zh) * 2019-05-27 2021-09-21 东北大学 一种基于特征增强crnn的金属板带产品标签文字识别方法
CN112133299B (zh) * 2019-06-25 2021-08-27 大众问问(北京)信息科技有限公司 一种声音信号的处理方法、装置及设备
CN110491406B (zh) * 2019-09-25 2020-07-31 电子科技大学 一种多模块抑制不同种类噪声的双噪声语音增强方法
CN110942779A (zh) * 2019-11-13 2020-03-31 苏宁云计算有限公司 一种噪声处理方法、装置、系统
CN110970050B (zh) * 2019-12-20 2022-07-15 北京声智科技有限公司 语音降噪方法、装置、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737485A (en) * 1995-03-07 1998-04-07 Rutgers The State University Of New Jersey Method and apparatus including microphone arrays and neural networks for speech/speaker recognition systems
CN1207195A (zh) * 1996-11-07 1999-02-03 松下电器产业株式会社 声源矢量生成装置以及声音编码装置和声音解码装置
CN101796579A (zh) * 2007-07-06 2010-08-04 法国电信公司 数字音频信号的分级编码
CN103201793A (zh) * 2010-10-18 2013-07-10 Sk电信有限公司 基于语音通信的干扰噪声去除方法和系统
CN103733257A (zh) * 2011-06-01 2014-04-16 三星电子株式会社 音频编码方法和设备、音频解码方法和设备及其记录介质和采用音频编码方法和设备、音频解码方法和设备的多媒体装置
CN104021796A (zh) * 2013-02-28 2014-09-03 华为技术有限公司 语音增强处理方法和装置
CN104157293A (zh) * 2014-08-28 2014-11-19 福建师范大学福清分校 一种增强声环境中目标语音信号拾取的信号处理方法
CN104318927A (zh) * 2014-11-04 2015-01-28 东莞市北斗时空通信科技有限公司 一种抗噪声的低速率语音编码方法及解码方法
CN104575509A (zh) * 2014-12-29 2015-04-29 乐视致新电子科技（天津）有限公司 语音增强处理方法及装置
CN104637489A (zh) * 2015-01-21 2015-05-20 华为技术有限公司 声音信号处理的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742694A (en) * 1996-07-12 1998-04-21 Eatwell; Graham P. Noise reduction filter
US6347297B1 (en) * 1998-10-05 2002-02-12 Legerity, Inc. Matrix quantization with vector quantization error compensation and neural network postprocessing for robust speech recognition
ES2678415T3 (es) * 2008-08-05 2018-08-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para procesamiento y señal de audio para mejora de habla mediante el uso de una extracción de característica
CN104966517B (zh) * 2015-06-02 2019-02-01 华为技术有限公司 一种音频信号增强方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737485A (en) * 1995-03-07 1998-04-07 Rutgers The State University Of New Jersey Method and apparatus including microphone arrays and neural networks for speech/speaker recognition systems
CN1207195A (zh) * 1996-11-07 1999-02-03 松下电器产业株式会社 声源矢量生成装置以及声音编码装置和声音解码装置
CN101796579A (zh) * 2007-07-06 2010-08-04 法国电信公司 数字音频信号的分级编码
CN103201793A (zh) * 2010-10-18 2013-07-10 Sk电信有限公司 基于语音通信的干扰噪声去除方法和系统
CN103733257A (zh) * 2011-06-01 2014-04-16 三星电子株式会社 音频编码方法和设备、音频解码方法和设备及其记录介质和采用音频编码方法和设备、音频解码方法和设备的多媒体装置
CN104021796A (zh) * 2013-02-28 2014-09-03 华为技术有限公司 语音增强处理方法和装置
CN104157293A (zh) * 2014-08-28 2014-11-19 福建师范大学福清分校 一种增强声环境中目标语音信号拾取的信号处理方法
CN104318927A (zh) * 2014-11-04 2015-01-28 东莞市北斗时空通信科技有限公司 一种抗噪声的低速率语音编码方法及解码方法
CN104575509A (zh) * 2014-12-29 2015-04-29 乐视致新电子科技（天津）有限公司 语音增强处理方法及装置
CN104637489A (zh) * 2015-01-21 2015-05-20 华为技术有限公司 声音信号处理的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于高斯混合模型的自然环境声音的识别;余清清 等;《计算机工程与应用》;20111231;第47卷(第25期);正文第2页第2.1节第1段-第4页第4.2节第2段，图1
面向移动通信的单通道语音增强方法研究;夏丙寅;《中国博士学位论文全文数据库信息科技辑》;20150315(第3期);全文

Also Published As

Publication number Publication date
WO2016192410A1 (zh) 2016-12-08
CN104966517A (zh) 2015-10-07

Similar Documents

Publication Publication Date Title
CN104966517B (zh) 一种音频信号增强方法和装置
CN110600017B (zh) 语音处理模型的训练方法、语音识别方法、系统及装置
CN110619885B (zh) 基于深度完全卷积神经网络的生成对抗网络语音增强方法
Davis et al. Statistical voice activity detection using low-variance spectrum estimation and an adaptive threshold
CN101320559B (zh) 一种声音激活检测装置及方法
CN110503971A (zh) 用于语音处理的基于神经网络的时频掩模估计和波束形成
CN104520925B (zh) 噪声降低增益的百分位滤波
CN107845389A (zh) 一种基于多分辨率听觉倒谱系数和深度卷积神经网络的语音增强方法
CN104021796B (zh) 语音增强处理方法和装置
CN112581973B (zh) 一种语音增强方法及系统
CN106409310A (zh) 一种音频信号分类方法和装置
CN103559888A (zh) 基于非负低秩和稀疏矩阵分解原理的语音增强方法
CN103026407A (zh) 带宽扩展器
CN113094993B (zh) 基于自编码神经网络的调制信号去噪方法
CN106157967A (zh) 脉冲噪声抑制
CN110428849A (zh) 一种基于生成对抗网络的语音增强方法
CN105489226A (zh) 一种用于拾音器的多窗谱估计的维纳滤波语音增强方法
Zezario et al. Self-supervised denoising autoencoder with linear regression decoder for speech enhancement
CN103021405A (zh) 基于music和调制谱滤波的语音信号动态特征提取方法
CN110867192A (zh) 基于门控循环编解码网络的语音增强方法
CN114446314A (zh) 一种深度生成对抗网络的语音增强方法
CN114041185A (zh) 用于确定深度过滤器的方法和装置
Wang et al. Joint noise and mask aware training for DNN-based speech enhancement with sub-band features
CN114267372A (zh) 语音降噪方法、系统、电子设备和存储介质
CN113345460A (zh) 音频信号处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210423

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Patentee after: Honor Device Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right