CN109859767A - 一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 - Google Patents
一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 Download PDFInfo
- Publication number
- CN109859767A CN109859767A CN201910168122.4A CN201910168122A CN109859767A CN 109859767 A CN109859767 A CN 109859767A CN 201910168122 A CN201910168122 A CN 201910168122A CN 109859767 A CN109859767 A CN 109859767A
- Authority
- CN
- China
- Prior art keywords
- neural network
- noise
- frame
- adaption
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 27
- 206010011878 Deafness Diseases 0.000 title claims abstract description 11
- 230000009467 reduction Effects 0.000 claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 238000009432 framing Methods 0.000 claims abstract description 6
- 238000011946 reduction process Methods 0.000 claims abstract description 6
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 238000002203 pretreatment Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003446 memory effect Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 210000004218 nerve net Anatomy 0.000 claims 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 230000000644 propagated effect Effects 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
Abstract
本发明提供了一种用于数字助听器的环境自适应神经网络降噪方法，包括依次执行如下步骤：预处理步骤：接收带噪语音信号，带噪语音信号经过采样分帧后传输至声学场景识别模块；场景识别步骤：采用声学场景识别模块对所处的声学场景进行识别，然后由声学场景识别模块自主的选择神经网络降噪模块中不同的神经网络模型进行发送；神经网络降噪步骤。本发明的有益效果是：1.可以保证语音处理的实时性，只进行神经网络的前向传播，运算量不高；2.可以对所处的声学场景进行识别，然后自主地选择不同的神经网络模型，对不同的场景下的噪声进行针对性地降噪处理，能保证更好的语音质量和语音可懂度；3.可以有效地抑制瞬时噪声。
Description
技术领域
本发明涉及软件技术领域，尤其涉及一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质。
背景技术
目前，市面上的高性能数字助听器都会内置降噪算法，用来消除环境中的背景噪声干扰，以达到满足人耳听觉舒适度的要求。由于数字助听器对语音实时处理的要求，内置在助听器内部的降噪算法多采用谱减法、维纳滤波等运算量较低的算法，这些算法只能应对简单稳定的噪声干扰环境，在低信噪比、瞬时噪声等复杂的噪声环境中性能表现很差，听力损失患者的佩戴使用体验不佳。
发明内容
本发明公开了一种用于数字助听器的环境自适应神经网络降噪方法，利用深层神经网络强大的映射能力，并结合环境自适应的策略，实现一种应对复杂噪声环境的高性能降噪算法。
本发明提供了一种用于数字助听器的环境自适应神经网络降噪方法，包括依次执行如下步骤：
预处理步骤：接收带噪语音信号，带噪语音信号经过采样分帧后传输至声学场景识别模块；
场景识别步骤：采用声学场景识别模块对所处的声学场景进行识别，然后由声学场景识别模块自主的选择神经网络降噪模块中不同的神经网络模型进行发送；
神经网络降噪步骤：神经网络降噪模型接收声学场景识别模块发送的分类结果并对不同场景下的噪声进行针对性地降噪处理。
作为本发明的进一步改进，在所述场景识别步骤中，所述声学场景识别模块采用了对时间序列具有记忆作用的LSTM神经网络结构，具体步骤如下：
S1：对每一帧提取设定维数的梅尔倒谱系数特征；
S2：由LSTM神经网络读入一帧梅尔倒谱系数特征进行处理，达到一定帧时将输出分类的结果。
作为本发明的进一步改进，所述LSTM神经网络结构包括输入层、隐藏层和输出层，输出层的神经单元对应不同的场景类别，LSTM神经网络不仅会处理当前的输入，还会与之前保留的输出进行组合，实现记忆的作用，当累计设定帧数的记忆后，输出分类结果。
作为本发明的进一步改进，所述LSTM神经网络结构记忆更新原理如下：
LSTM神经网络结构将当前帧输入的特征tn与之前保留的输出结果hn-1进行组合，同时也将上一帧的状态Cn-1一起输入进去进行判断，产生一个当前帧的输出hn和一个当前帧的输出状态Cn，一直迭代下去，直到满足所需帧的记忆条件后，对最终的输出h进行softmax变换得到输出层的预测概率。
作为本发明的进一步改进，在所述场景识别步骤中，还包括LSTM神经网络训练时的损失损失函数计算，计算公式如下：
其中yi和分别为正确的分类标签和LSTM网络输出层预测的分类结果。
作为本发明的进一步改进，不同场景下的降噪模型均采用全连接神经网络结构，但所述全连接神经网络结构的层数和每层的神经元个数是不同的；
所述全连接神经网络结构的降噪模型包括执行如下步骤：
训练数据集步骤：挑选作为训练集的纯净语音数据，然后将噪声数据与纯净语音进行随机混合，获得所需带噪训练数据；
模型参数调优步骤：采用最小均方误差作为代价函数，再根据训练集loss值和验证集loss值对模型进行参数调优，得到所需的神经网络结构；
训练时，反复进行反向传播算法迭代，能实现较好的噪声抑制效果；
所述验证集是挑选作为验证集纯净语音数据，并与噪声数据进行混合，得到验证集带噪语音数据；
所述最小均方误差计算公式如下：
其中MSE为均方误差。
作为本发明的进一步改进，除了输出层采用线性层以外，所有的隐藏层单元均采用ReLU激活函数；另外，为了提高网络的泛化能力，每层隐藏层采用0.8丢弃率的正则化方法，且L2正则化项系数设为0.00001；训练时，利用Adam优化算法进行反向传播，以0.0001的学习率迭代200次，便可以实现较好的噪声抑制效果。
作为本发明的进一步改进，在所述预处理步骤中，麦克风接收到的语音信号，经过采样后，将其分成帧长为256点的时域信号，采样率为16000Hz，每一帧为16ms；
在所述步骤S1中，对每一帧提取39维的梅尔倒谱系数特征；
在所述步骤S2中，由LSTM神经网络读入一帧梅尔倒谱系数特征进行处理，达到100帧时将输出分类的结果。
本发明还公开了一种用于数字助听器的环境自适应神经网络降噪系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求所述的方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求所述的方法的步骤。
本发明的有益效果是：1.可以保证语音处理的实时性，只进行神经网络的前向传播，运算量不高；2.可以对所处的声学场景进行识别，然后自主地选择不同的神经网络模型，对不同的场景下的噪声进行针对性地降噪处理，能保证更好的语音质量和语音可懂度；3.可以有效地抑制瞬时噪声；4.可以在低信噪比环境下实现更好的降噪效果。
附图说明
图1是本发明环境自适应降噪算法框图；
图2是本发明LSTM网络结构图；
图3是本发明LSTM单元的运行机理图；
图4是本发明全连接神经网络降噪模型框图；
图5是本发明PESQ指标评测结果图；
图6是本发明STOI指标评测结果图。
具体实施方式
本发明公开了一种用于数字助听器的环境自适应神经网络降噪方法，该方法以场景识别模块作为决策驱动模块，根据不同的声学场景选择对应的神经网络降噪模型，来实现对不同噪声类型的抑制。本发明的整个算法系统包含两大部分，一个是场景识别模块，另一个是神经网络降噪模块，如图1所示。
图1是本发明整个神经网络降噪系统的算法框图，由声学场景识别模块和多个不同场景下的降噪模型组成。带噪语音信号经过采样分帧后，首先会送到场景识别模块来确定当前的场景类型，随后会被送到相应的神经网络降噪模型，实现降噪过程。整个算法系统的核心部分在于识别模块和降噪模块两个部分，下面将分别进行详细的介绍：
声学场景识别模块，采用了对时间序列具有记忆作用的LSTM(Long Short-TermMemory)神经网络进行设计；首先，麦克风接收到的语音信号，经过采样后，将其分成帧长为256点的时域信号，采样率为16000Hz，每一帧为16ms；接下来，对每一帧提取39维的梅尔倒谱系数特征(Mel Frequency Cepstrum Coefficient，MFCC)，LSTM网络每次读入一帧MFCC特征进行处理，但是只有满100帧时才会输出分类的结果，也就是说每隔1.6S更新一下当前的环境分类结果。
LSTM神经网络的结构如图2所示，其中输入层的神经单元数为39，递归隐藏层的神经单元数为512，输出层的神经单元数为9(对应着9种场景类别：工厂、街道、地铁站、火车站、餐厅、运动场、飞机舱内、汽车内部、室内场景)，相应的训练数据，是从freesound网站[1]上下载的，每种场景约2个小时的音频；LSTM网络不仅会处理当前的输入，还会与之前保留的输出进行组合，实现记忆的作用，当累计满100帧的记忆后，输出分类结果。
LSTM单元的记忆更新机理如图3所示，其中Cn-1Cn-1表示上一帧留存的状态，fn表示当前帧遗忘门的输出，un表示当前帧更新门的输出，On表示当前帧输出门的输出，Cn表示当前帧的留存状态，hn表示当前帧的输出。LSTM单元将当前帧输入的特征tn与之前保留的输出结果hn-1进行组合，同时也将上一帧的状态Cn-1一起输入进去进行判断，产生一个当前帧的输出hn和一个当前帧的输出状态Cn，一直迭代下去，直到满足100帧的记忆条件后，对最终的输出h进行Softmax(Softmax函数，或称归一化指数函数)变换得到输出层的预测概率。
各个门以及输出的计算式如下，其中δ(·)和tanh(·)分别代表sigmoid激活函数和双曲正切激活函数：
C_tn＝tanh(Wc[hn-1,xn]+bc) (5)
fn＝δ(Wf[hn-1,xn]+bf) (6)
un＝δ(Wu[hn-1,xn]+bu) (7)
On＝δ(Wo[hn-1,xn]+bo) (8)
Cn＝un*C_tn+fn*Cn-1 (9)
hn＝On*tanh(Cn) (10)
LSTM网络的训练时的损失函数用交叉熵来计算，计算式如式(11)所示，其中yi和分别为正确的分类标签和LSTM网络输出层预测的分类结果：
根据声学场景分类模块的分类结果，输入的带噪音频信号会被送到不同的降噪模型进行逐帧处理。不同场景下的降噪模型均采用全连接的神经网络结构，如图4所示，但是神经网络的层数和每层的神经元个数是不同的，它与不同的场景噪声性质有关，例如工厂噪声需要3层隐藏层才能实现较好的降噪性能，而汽车内噪声只需要2层便可以实现同样的降噪效果。后面将以工厂场景下的网络结构为例进行详细的介绍。
如上图3所示，要训练全连接神经网络的降噪模型，首先需要准备足够多的训练数据集，这也是提高网络泛化能力很重要的一个方面，所以我们挑选了Aishell中文数据集[2]中1200句话(6男6女，每人说100句话)作为训练集的纯净语音数据，然后利用NOISEX-92[3]噪声库中的工厂噪声(前60％)作为噪声数据与纯净语音进行随机混合，混合的信噪比符合区间[-5,20]的均匀分布，总共获得带噪训练数据时长约为25个小时。为了对模型的参数进行调优，需要设置验证集，同样从Aishell数据集中另外挑选出400句话(2男2女，每人说100句话)作为验证集纯净语音数据，并与NOISEX-92工厂噪声的中间20％进行均匀混合，得到大约8个小时的验证集带噪语音数据。
采用式(12)所示的最小均方误差(Minimum Mean Squared Error，MMSE)作为代价函数，根据训练集loss值和验证集loss值对模型进行参数调优，最后确定：在工厂噪声场景中，选用神经网络为129-1024-1024-1024-129的网络结构，除了输出层采用线性层以外，所有的隐藏层单元均采用ReLU激活函数；另外，为了提高网络的泛化能力，每层隐藏层采用0.8丢弃率的正则化方法，且L2正则化项系数设为0.00001。训练时，利用Adam优化算法(Adam：一种高效的反向传播优化算法，由Adam提出，所以称为Adam优化算法)进行反向传播，以0.0001的学习率迭代200次，便可以实现较好的噪声抑制效果。模型训练完以后，在助听器中只需要进行前向传播，运算量不高，可以满足实时处理的要求。降噪后的PESQ(Perceptual evaluation of speech quality)、STOI(Short-Time ObjectiveIntelligibility)指标评测结果如图5所示，其中降噪效果和指标都是在测试集上测得，测试集是从Aishell数据集中挑选出的与训练集不重复的另外400句话(2男2女，每人说100句话)，与NOISEX-92中工厂噪声的后20％混合成-5dB，0dB，5dB，10dB和15dB五种噪声污染程度。另外，进行主观听音时发现，工厂里的机器敲打声等瞬时噪声被抑制的很好，几乎听不到任何残留的噪声。
本发明的有益效果是：1.可以保证语音处理的实时性，只进行神经网络的前向传播，运算量不高；2.可以对所处的声学场景进行识别，然后自主地选择不同的神经网络模型，对不同的场景下的噪声进行针对性地降噪处理，能保证更好的语音质量和语音可懂度；3.可以有效地抑制瞬时噪声；4.可以在低信噪比环境下实现更好的降噪效果
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种用于数字助听器的环境自适应神经网络降噪方法，其特征在于，包括依次执行如下步骤：
预处理步骤：接收带噪语音信号，带噪语音信号经过采样分帧后传输至声学场景识别模块；
场景识别步骤：采用声学场景识别模块对所处的声学场景进行识别，然后由声学场景识别模块自主的选择神经网络降噪模块中不同的神经网络模型进行发送；
神经网络降噪步骤：神经网络降噪模型接收声学场景识别模块发送的分类结果并对不同场景下的噪声进行针对性地降噪处理。
2.根据权利要求1所述的环境自适应神经网络降噪方法，其特征在于，在所述场景识别步骤中，所述声学场景识别模块采用了对时间序列具有记忆作用的LSTM神经网络结构，具体步骤如下：
S1：对每一帧提取设定维数的梅尔倒谱系数特征；
S2：由LSTM神经网络读入一帧梅尔倒谱系数特征进行处理，达到一定帧时将输出分类的结果。
3.根据权利要求2所述的环境自适应神经网络降噪方法，其特征在于，所述LSTM神经网络结构包括输入层、隐藏层和输出层，输出层的神经单元对应不同的场景类别，LSTM神经网络不仅会处理当前的输入，还会与之前保留的输出进行组合，实现记忆的作用，当累计达到设定帧数的记忆后，输出分类结果。
4.根据权利要求3所述的环境自适应神经网络降噪方法，其特征在于，所述LSTM神经网络结构记忆更新原理如下：
LSTM神经网络结构将当前帧输入的特征tn与之前保留的输出结果hn-1进行组合，同时也将上一帧的状态Cn-1一起输入进去进行判断，产生一个当前帧的输出hn和一个当前帧的输出状态Cn，一直迭代下去，直到满足所需帧的记忆条件后，对最终的输出h进行softmax变换得到输出层的预测概率。
5.根据权利要求4所述的环境自适应神经网络降噪方法，其特征在于，在所述场景识别步骤中，还包括LSTM神经网络训练时的损失损失函数计算，计算公式如下：
其中yi和分别为正确的分类标签和LSTM网络输出层预测的分类结果。
6.根据权利要求1所述的环境自适应神经网络降噪方法，其特征在于，不同场景下的降噪模型均采用全连接神经网络结构，但所述全连接神经网络结构的层数和每层的神经元个数是不同的；
所述全连接神经网络结构的降噪模型包括执行如下步骤：
训练数据集步骤：挑选作为训练集的纯净语音数据，然后将噪声数据与纯净语音进行随机混合，获得所需带噪训练数据；
模型参数调优步骤：采用最小均方误差作为代价函数，再根据训练集loss值和验证集loss值对模型进行参数调优，得到所需的神经网络结构；
训练时，反复进行反向传播算法迭代，能实现较好的噪声抑制效果；
所述验证集是挑选作为验证集纯净语音数据，并与噪声数据进行混合，得到验证集带噪语音数据；
所述最小均方误差计算公式如下：
其中MSE为均方误差。
7.根据权利要求6所述的环境自适应神经网络降噪方法，其特征在于，除了输出层采用线性层以外，所有的隐藏层单元均采用ReLU激活函数；另外，为了提高网络的泛化能力，每层隐藏层采用0.8丢弃率的正则化方法，且L2正则化项系数设为0.00001；训练时，利用Adam优化算法进行反向传播，以0.0001的学习率迭代200次，便可以实现较好的噪声抑制效果。
8.根据权利要求2所述的环境自适应神经网络降噪方法，其特征在于，在所述预处理步骤中，麦克风接收到的语音信号，经过采样后，将其分成帧长为256点的时域信号，采样率为16000Hz，每一帧为16ms；
在所述步骤S1中，对每一帧提取39维的梅尔倒谱系数特征；
在所述步骤S2中，由LSTM神经网络读入一帧梅尔倒谱系数特征进行处理，达到100帧时将输出分类的结果。
9.一种用于数字助听器的环境自适应神经网络降噪系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1－8中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1－8中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910168122.4A CN109859767B (zh) | 2019-03-06 | 2019-03-06 | 一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 |
| PCT/CN2019/117075 WO2020177371A1 (zh) | 2019-03-06 | 2019-11-11 | 一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910168122.4A CN109859767B (zh) | 2019-03-06 | 2019-03-06 | 一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109859767A true CN109859767A (zh) | 2019-06-07 |
| CN109859767B CN109859767B (zh) | 2020-10-13 |
Family
ID=66899968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910168122.4A Expired - Fee Related CN109859767B (zh) | 2019-03-06 | 2019-03-06 | 一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109859767B (zh) |
| WO (1) | WO2020177371A1 (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110996208A (zh) * | 2019-12-13 | 2020-04-10 | 恒玄科技(上海)股份有限公司 | 一种无线耳机及其降噪方法 |
| CN111312221A (zh) * | 2020-01-20 | 2020-06-19 | 宁波舜韵电子有限公司 | 基于语音控制的智能吸油烟机 |
| CN111491245A (zh) * | 2020-03-13 | 2020-08-04 | 天津大学 | 基于循环神经网络的数字助听器声场识别算法及硬件实现方法 |
| CN111508509A (zh) * | 2020-04-02 | 2020-08-07 | 广东九联科技股份有限公司 | 基于深度学习的声音质量处理系统及其方法 |
| WO2020177371A1 (zh) * | 2019-03-06 | 2020-09-10 | 哈尔滨工业大学（深圳） | 一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 |
| WO2021042870A1 (zh) * | 2019-09-05 | 2021-03-11 | 腾讯科技（深圳）有限公司 | 语音处理的方法、装置、电子设备及计算机可读存储介质 |
| CN112492495A (zh) * | 2019-09-11 | 2021-03-12 | 西万拓私人有限公司 | 用于运行听力设备的方法以及听力设备 |
| CN112565997A (zh) * | 2020-12-04 | 2021-03-26 | 可孚医疗科技股份有限公司 | 助听器的自适应降噪方法、装置、助听器及存储介质 |
| IT201900024454A1 (it) | 2019-12-18 | 2021-06-18 | Storti Gianampellio | Apparecchio audio con basso consumo per ambienti rumorosi |
| CN113129876A (zh) * | 2019-12-30 | 2021-07-16 | Oppo广东移动通信有限公司 | 网络搜索方法、装置、电子设备及存储介质 |
| CN113160844A (zh) * | 2021-04-27 | 2021-07-23 | 山东省计算中心（国家超级计算济南中心） | 基于噪声背景分类的语音增强方法及系统 |
| CN113259824A (zh) * | 2021-05-14 | 2021-08-13 | 谷芯(广州)技术有限公司 | 一种实时多通道数字助听器降噪方法和系统 |
| CN113724726A (zh) * | 2021-08-18 | 2021-11-30 | 中国长江电力股份有限公司 | 一种基于全连接神经网络的机组运行噪声抑制的处理方法 |
| CN114245280A (zh) * | 2021-12-20 | 2022-03-25 | 清华大学深圳国际研究生院 | 一种基于神经网络的场景自适应助听器音频增强系统 |
| CN114640937A (zh) * | 2022-05-18 | 2022-06-17 | 深圳市听多多科技有限公司 | 一种基于穿戴设备系统的助听功能实现方法及穿戴设备 |
| CN114640938A (zh) * | 2022-05-18 | 2022-06-17 | 深圳市听多多科技有限公司 | 一种基于蓝牙耳机芯片的助听功能实现方法及蓝牙耳机 |
| WO2022247244A1 (zh) * | 2021-05-24 | 2022-12-01 | 青岛海尔空调器有限总公司 | 空调器的语音控制方法及空调器 |
| CN116367063A (zh) * | 2023-04-23 | 2023-06-30 | 郑州大学 | 一种基于嵌入式的骨传导助听设备及系统 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019206743A1 (de) * | 2019-05-09 | 2020-11-12 | Sonova Ag | Hörgeräte-System und Verfahren zur Verarbeitung von Audiosignalen |
| CN112447183A (zh) * | 2020-11-16 | 2021-03-05 | 北京达佳互联信息技术有限公司 | 音频处理模型的训练、音频去噪方法、装置及电子设备 |
| CN113314136A (zh) * | 2021-05-27 | 2021-08-27 | 西安电子科技大学 | 基于定向降噪与干声提取技术的语音优化方法 |
| CN113345464A (zh) * | 2021-05-31 | 2021-09-03 | 平安科技（深圳）有限公司 | 语音提取方法、系统、设备及存储介质 |
| CN113707159A (zh) * | 2021-08-02 | 2021-11-26 | 南昌大学 | 一种基于Mel语图与深度学习的电网涉鸟故障鸟种识别方法 |
| CN114626412B (zh) * | 2022-02-28 | 2024-04-02 | 长沙融创智胜电子科技有限公司 | 用于无人值守传感器系统的多类别目标识别方法及系统 |
| CN117290669B (zh) * | 2023-11-24 | 2024-02-06 | 之江实验室 | 基于深度学习的光纤温度传感信号降噪方法、装置和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104952448A (zh) * | 2015-05-04 | 2015-09-30 | 张爱英 | 一种双向长短时记忆递归神经网络的特征增强方法及系统 |
| CN105611477A (zh) * | 2015-12-27 | 2016-05-25 | 北京工业大学 | 数字助听器中深度和广度神经网络相结合的语音增强算法 |
| CN108877823A (zh) * | 2018-07-27 | 2018-11-23 | 三星电子（中国）研发中心 | 语音增强方法和装置 |
| CN108962278A (zh) * | 2018-06-26 | 2018-12-07 | 常州工学院 | 一种助听器声场景分类方法 |
| WO2019014890A1 (zh) * | 2017-07-20 | 2019-01-24 | 大象声科（深圳）科技有限公司 | 一种通用的单声道实时降噪方法 |
| CN109378010A (zh) * | 2018-10-29 | 2019-02-22 | 珠海格力电器股份有限公司 | 神经网络模型的训练方法、语音去噪方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6453284B1 (en) * | 1999-07-26 | 2002-09-17 | Texas Tech University Health Sciences Center | Multiple voice tracking system and method |
| CN101529929B (zh) * | 2006-09-05 | 2012-11-07 | Gn瑞声达A/S | 具有基于直方图的声环境分类的助听器 |
| CN108073856A (zh) * | 2016-11-14 | 2018-05-25 | 华为技术有限公司 | 噪音信号的识别方法及装置 |
| CN109410976B (zh) * | 2018-11-01 | 2022-12-16 | 北京工业大学 | 双耳助听器中基于双耳声源定位和深度学习的语音增强方法 |
| CN109859767B (zh) * | 2019-03-06 | 2020-10-13 | 哈尔滨工业大学（深圳） | 一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 |
-
2019
- 2019-03-06 CN CN201910168122.4A patent/CN109859767B/zh not_active Expired - Fee Related
- 2019-11-11 WO PCT/CN2019/117075 patent/WO2020177371A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104952448A (zh) * | 2015-05-04 | 2015-09-30 | 张爱英 | 一种双向长短时记忆递归神经网络的特征增强方法及系统 |
| CN105611477A (zh) * | 2015-12-27 | 2016-05-25 | 北京工业大学 | 数字助听器中深度和广度神经网络相结合的语音增强算法 |
| WO2019014890A1 (zh) * | 2017-07-20 | 2019-01-24 | 大象声科（深圳）科技有限公司 | 一种通用的单声道实时降噪方法 |
| CN108962278A (zh) * | 2018-06-26 | 2018-12-07 | 常州工学院 | 一种助听器声场景分类方法 |
| CN108877823A (zh) * | 2018-07-27 | 2018-11-23 | 三星电子（中国）研发中心 | 语音增强方法和装置 |
| CN109378010A (zh) * | 2018-10-29 | 2019-02-22 | 珠海格力电器股份有限公司 | 神经网络模型的训练方法、语音去噪方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| MING LIU ET AL.: "Speech Enhancement Method Based On LSTM Neural Network for Speech Recognition", 《2018 14TH IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING (ICSP)》 * |
| 汪瑞: "基于LSTM网络的声学场景在线检测系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020177371A1 (zh) * | 2019-03-06 | 2020-09-10 | 哈尔滨工业大学（深圳） | 一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 |
| US11948552B2 (en) | 2019-09-05 | 2024-04-02 | Tencent Technology (Shenzhen) Company Limited | Speech processing method, apparatus, electronic device, and computer-readable storage medium |
| WO2021042870A1 (zh) * | 2019-09-05 | 2021-03-11 | 腾讯科技（深圳）有限公司 | 语音处理的方法、装置、电子设备及计算机可读存储介质 |
| US11388514B2 (en) | 2019-09-11 | 2022-07-12 | Sivantos Pte. Ltd. | Method for operating a hearing device, and hearing device |
| CN112492495A (zh) * | 2019-09-11 | 2021-03-12 | 西万拓私人有限公司 | 用于运行听力设备的方法以及听力设备 |
| CN110996208A (zh) * | 2019-12-13 | 2020-04-10 | 恒玄科技(上海)股份有限公司 | 一种无线耳机及其降噪方法 |
| IT201900024454A1 (it) | 2019-12-18 | 2021-06-18 | Storti Gianampellio | Apparecchio audio con basso consumo per ambienti rumorosi |
| CN113129876A (zh) * | 2019-12-30 | 2021-07-16 | Oppo广东移动通信有限公司 | 网络搜索方法、装置、电子设备及存储介质 |
| CN111312221B (zh) * | 2020-01-20 | 2022-07-22 | 宁波舜韵电子有限公司 | 基于语音控制的智能吸油烟机 |
| CN111312221A (zh) * | 2020-01-20 | 2020-06-19 | 宁波舜韵电子有限公司 | 基于语音控制的智能吸油烟机 |
| CN111491245A (zh) * | 2020-03-13 | 2020-08-04 | 天津大学 | 基于循环神经网络的数字助听器声场识别算法及硬件实现方法 |
| CN111491245B (zh) * | 2020-03-13 | 2022-03-04 | 天津大学 | 基于循环神经网络的数字助听器声场识别算法及实现方法 |
| CN111508509A (zh) * | 2020-04-02 | 2020-08-07 | 广东九联科技股份有限公司 | 基于深度学习的声音质量处理系统及其方法 |
| CN112565997B (zh) * | 2020-12-04 | 2022-03-22 | 可孚医疗科技股份有限公司 | 助听器的自适应降噪方法、装置、助听器及存储介质 |
| CN112565997A (zh) * | 2020-12-04 | 2021-03-26 | 可孚医疗科技股份有限公司 | 助听器的自适应降噪方法、装置、助听器及存储介质 |
| CN113160844A (zh) * | 2021-04-27 | 2021-07-23 | 山东省计算中心（国家超级计算济南中心） | 基于噪声背景分类的语音增强方法及系统 |
| CN113259824A (zh) * | 2021-05-14 | 2021-08-13 | 谷芯(广州)技术有限公司 | 一种实时多通道数字助听器降噪方法和系统 |
| WO2022247244A1 (zh) * | 2021-05-24 | 2022-12-01 | 青岛海尔空调器有限总公司 | 空调器的语音控制方法及空调器 |
| CN113724726A (zh) * | 2021-08-18 | 2021-11-30 | 中国长江电力股份有限公司 | 一种基于全连接神经网络的机组运行噪声抑制的处理方法 |
| CN114245280A (zh) * | 2021-12-20 | 2022-03-25 | 清华大学深圳国际研究生院 | 一种基于神经网络的场景自适应助听器音频增强系统 |
| CN114640938A (zh) * | 2022-05-18 | 2022-06-17 | 深圳市听多多科技有限公司 | 一种基于蓝牙耳机芯片的助听功能实现方法及蓝牙耳机 |
| CN114640937A (zh) * | 2022-05-18 | 2022-06-17 | 深圳市听多多科技有限公司 | 一种基于穿戴设备系统的助听功能实现方法及穿戴设备 |
| CN114640937B (zh) * | 2022-05-18 | 2022-09-02 | 深圳市听多多科技有限公司 | 一种基于穿戴设备系统的助听功能实现方法及穿戴设备 |
| US11627421B1 (en) | 2022-05-18 | 2023-04-11 | Shenzhen Tingduoduo Technology Co., Ltd. | Method for realizing hearing aid function based on bluetooth headset chip and a bluetooth headset |
| US11818546B2 (en) | 2022-05-18 | 2023-11-14 | Shenzhen Tingduoduo Technology Co., Ltd. | Hearing aid function realization method based on wearable device system and wearable device |
| CN116367063A (zh) * | 2023-04-23 | 2023-06-30 | 郑州大学 | 一种基于嵌入式的骨传导助听设备及系统 |
| CN116367063B (zh) * | 2023-04-23 | 2023-11-14 | 郑州大学 | 一种基于嵌入式的骨传导助听设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109859767B (zh) | 2020-10-13 |
| WO2020177371A1 (zh) | 2020-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859767A (zh) | 一种用于数字助听器的环境自适应神经网络降噪方法、系统及存储介质 | |
| CN110600017B (zh) | 语音处理模型的训练方法、语音识别方法、系统及装置 | |
| CN109841226B (zh) | 一种基于卷积递归神经网络的单通道实时降噪方法 | |
| CN108172238A (zh) | 一种语音识别系统中基于多个卷积神经网络的语音增强算法 | |
| CN107393550A (zh) | 语音处理方法及装置 | |
| CN110428849B (zh) | 一种基于生成对抗网络的语音增强方法 | |
| CN109410976A (zh) | 双耳助听器中基于双耳声源定位和深度学习的语音增强方法 | |
| CN103065629A (zh) | 一种仿人机器人的语音识别系统 | |
| CN111583954A (zh) | 一种说话人无关单通道语音分离方法 | |
| CN111292762A (zh) | 一种基于深度学习的单通道语音分离方法 | |
| CN112735456B (zh) | 一种基于dnn-clstm网络的语音增强方法 | |
| CN113191178B (zh) | 一种基于听觉感知特征深度学习的水声目标识别方法 | |
| CN109949823A (zh) | 一种基于dwpt-mfcc与gmm的车内异响识别方法 | |
| CN112331224A (zh) | 轻量级时域卷积网络语音增强方法与系统 | |
| CN114974280A (zh) | 音频降噪模型的训练方法、音频降噪的方法及装置 | |
| CN111798875A (zh) | 一种基于三值量化压缩的vad实现方法 | |
| CN111540342A (zh) | 一种能量阈值调整方法、装置、设备及介质 | |
| CN109300470A (zh) | 混音分离方法和混音分离装置 | |
| CN114822578A (zh) | 语音降噪方法、装置、设备及存储介质 | |
| CN112562698B (zh) | 一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法 | |
| CN111341351B (zh) | 基于自注意力机制的语音活动检测方法、装置及存储介质 | |
| CN112329819A (zh) | 基于多网络融合的水下目标识别方法 | |
| Hepsiba et al. | Enhancement of single channel speech quality and intelligibility in multiple noise conditions using wiener filter and deep CNN | |
| CN107360497A (zh) | 估算混响分量的计算方法及装置 | |
| CN110299133A (zh) | 基于关键字判定非法广播的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201013 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |