CN111916101B - 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统 - Google Patents
一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统 Download PDFInfo
- Publication number
- CN111916101B CN111916101B CN202010782856.4A CN202010782856A CN111916101B CN 111916101 B CN111916101 B CN 111916101B CN 202010782856 A CN202010782856 A CN 202010782856A CN 111916101 B CN111916101 B CN 111916101B
- Authority
- CN
- China
- Prior art keywords
- signal
- vibration sensor
- bone vibration
- noise reduction
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 122
- 230000009467 reduction Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000013135 deep learning Methods 0.000 title claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 76
- 238000001228 spectrum Methods 0.000 claims description 50
- 230000001755 vocal effect Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 15
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 claims description 3
- 230000033764 rhythmic process Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 26
- 230000004927 fusion Effects 0.000 abstract description 21
- 238000000605 extraction Methods 0.000 abstract description 19
- 239000000284 extract Substances 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明涉及一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统，包括基频和声纹特征提取模块，空间方位特征提取模块以及深度神经网络的融合模块，方法包括从骨振动传感器信号中提取声音基频和声纹特征；利用主、次麦克风信号提取出声音源的空间方位特征；将这些特征融合送入深度神经网络模块；通过深度神经网络模块预测得到降噪语音。本发明利用骨振动传感器信号不受气导噪声干扰的特性，将骨传信号作为低频输入信号，与双麦克信号一同送入深度神经网络进行整体降噪、融合，同时提取信号空间方位特征，和从骨振动传感器提取出的说话者的基频，声纹特征。从而得到优质的低频信号，极大提高深度神经网络预测的准确性，使得降噪效果更佳。
Description
技术领域
本发明涉及深度学习、语音信号处理、语音降噪技术领域，更具体地说，涉及一种融合骨振动传感器和双麦克风信号的深度学习降噪方法。
背景技术
语音降噪技术是指从带噪语音信号中分离出语音信号，该技术拥有广泛的应用，通常有单麦克风降噪技术和多麦克风降噪技术，传统的单双麦降噪技术很难实现性能的突破，难以满足人们在地铁，马路，机场，咖啡厅等日常超级嘈杂环境中清晰的通话要求。
传统多麦克风降噪技术需要两个及以上麦克风，利用波束形成技术的降噪方案。传统多麦克风通话降噪技术存在以下缺陷：
1、传统多麦对麦克风的一致性要求高，一定程度上会限制产线的良品率；
2、多麦克降噪技术依靠方向信息进行降噪，无法抑制来自于目标人声方向的噪音。
本专利结合了骨振动传感器及双麦克风的信号，采用深度学习降噪技术，在各种噪声环境下，实现提取目标人声，降低干扰噪声。该技术可应用于耳机、手机等贴合耳部的通话场景。
相比于仅采用一个或多个麦克风降噪的技术，结合骨振动传感器可在信噪比极低的环境下，诸如：地铁、风噪等场景，依然可以保持良好的通话体验。
相比传统单麦克风降噪技术，本技术不对噪声做任何假设(传统单麦风降噪技术预先假设噪声为平稳噪声)，利用深度神经网络强大的建模能力，有很好的人声还原度及极强的噪声抑制能力，可以解决复杂噪声场景下的人声提取问题。
不同于其他结合骨震动传感器及气导麦克风降噪方式仅利用骨震动传感器信号作为激活检测的标志，本技术利用骨振动传感器信号不受气导噪声干扰的特性，将骨传信号作为输入信号，与双麦克风信号一同送入深度神经网络进行整体降噪、融合。同时送入神经网络的还有从主麦克风和次麦克风提取出来的信号空间方位特征，和从骨振动传感器提取出来的说话者的基频，声纹特征。借助骨振动传感器，我们能够得到优质的低频信号，并以此为基础，极大地提高深度神经网络预测的准确性，使得降噪效果更佳。
相对传统单麦降噪技术，本专利采用双麦克风作为输入，极大提高了降噪的效果。因此具有鲁棒性强、成本可控、对产品结构设计要求低等特点，第三部分背景技术已有详细描述，在此不赘述；
相比本申请人之前提交的《一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法》(申请号：201910953534.9)，本专利引入了主麦克风和次麦克风的双麦风阵列，并且将基频，声纹特征，信号空间方位特征，主麦克风信号，次麦克风信号，骨振动传感器信号同时融合到深度神经网络，从而得到性能更优的降噪效果，满足噪声极度恶劣的应用场合。
相比本申请人之前提交的《近距离交谈场景下双麦克风移动电话的实时语音降噪方法》(申请号：201910945319.4)，本专利引入了骨振动传感器作为补充，利用骨振动传感器不受空气噪音干扰的特性，并且可以提取出更高精度的声音基频和声纹特征。将骨振动传感器信号与气导麦克风信号，声音基频，声纹特征，信号空间方位特征使用深度神经网络融合，达到了在极低信噪比下也能有理想的降噪效果。
与《一种通过人体振动识别用户语音以控制电子设备的系统》(申请号：201811199154.2)中将骨振动传感器信号作为语音活动检测的标志不同，我们将骨振动传感器信号与麦克风信号，基频，声纹特征，信号空间方位特征结合一起作为深度神经网络的输入，进行信号层的深度融合，从而达到优良的降噪效果。
发明内容
本发明要解决的技术问题在于如何通过一种融合骨振动传感器和双麦克风信号的深度学习降噪系统，以解决现有技术下单双麦降噪在极低信噪比下噪声抑制差、人声清晰度不佳等问题。不同于其他结合骨震动传感器及气导麦克风降噪方式仅利用骨震动传感器信号作为激活检测的标志，本技术利用骨振动传感器信号不受气导噪声干扰的特性，将骨传信号作为低频输入信号，与双麦克风信号一同送入深度神经网络进行整体降噪、融合。同时送入神经网络的还有从主麦克风和次麦克风提取出来的信号空间方位特征，和从骨振动传感器提取出来的说话者的基频，声纹特征。借助骨振动传感器，我们能够得到优质的低频信号，并以此为基础，极大地提高深度神经网络预测的准确性，使得降噪效果更佳。
本发明解决其技术问题所采用的技术方案是：构造一种融合骨振动传感器和双麦克风信号的深度学习降噪系统，结合了骨振动传感器及双麦克风的信号，采用深度学习降噪技术，在各种噪声环境下，实现提取目标人声，降低干扰噪声。该技术可应用于耳机、手机等贴合耳部的通话场景。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪系统中，包括：
基频和声纹特征提取模块，用于从骨振动传感器信号中提取出用户声音的基频和声纹特征；
空间方位特征提取模块，用于从主麦克风信号和次麦克风信号中提取信号源的空间方位特征信息；
基于深度神经网络的融合模块，用于将所述骨振动传感器提取出的基频和声纹特征，从所述主麦克风信号和次麦克风信号提取出来的空间方位特征，和骨振动传感器信号以及主麦克风信号，次麦克风信号相融合，预测得到降噪后用户语音。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪系统中，所述基频和声纹特征提取模块可以提取部分声纹的特征，或者提取全部声纹的特征。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪系统中，所述空间方位特征包括用户声音的空间方位位置和干扰信号的空间方位信息。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪系统中，所述基于深度神经网络的融合模块中网络结构为卷积循环神经网络，或者长短期神经网络，或者深度全卷积网络结构。
本发明要解决的另一技术问题在于如何通过采用一种融合骨振动传感器和双麦克风信号的深度学习降噪方法，以解决现有技术中单双麦降噪在极低信噪比下降噪性能差、人声清晰度不佳等问题。不同于其他结合骨震动传感器及气导麦克风降噪方式仅利用骨震动传感器信号作为激活检测的标志，本技术利用骨振动传感器信号不受气导噪声干扰的特性，将骨传信号作为低频输入信号，与双麦克风信号一同送入深度神经网络进行整体降噪、融合。同时送入神经网络的还有从主麦克风和次麦克风提取出来的信号空间方位特征，和从骨振动传感器提取出来的说话者的基频，声纹特征。借助骨振动传感器，我们能够得到优质的低频信号，并以此为基础，极大地提高深度神经网络预测的准确性，使得降噪效果更佳。
本发明解决其另一技术问题所采用的技术方案是：构造一种融合骨振动传感器和双麦克风信号的深度学习降噪方法，结合了骨振动传感器及双麦克风的信号，采用深度学习降噪技术，在各种噪声环境下，实现提取目标人声，降低干扰噪声。该技术可应用于耳机、手机等贴合耳部的通话场景。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法中，包括如下步骤：
从骨振动传感器信号中提取出用户声音的基频和声纹特征信息；
利用主麦克风信号和次麦克风信号提取出声音源的空间方位特征；
将所述输出的特征与骨振动传感器信号和主麦克风的信号以及次麦克风信号融合送入深度神经网络模块；
通过所述深度神经网络模块预测得到降噪语音。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法中，所述基频是复杂声音中最低且通常情况下最强的频率，是声音的基础音调，当用户发出声音时，声音可以分解为许多单纯的正弦波，自然声音基本都是由许多频率不同的正弦波组成的，其中频率最低的正弦波即为基音。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法中，所述声纹特征是指携带语言信息的声波频谱的特性，所述声纹特征包括频谱、倒频谱、共振峰、鼻音、沙哑音、韵律、节奏、语调。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法中，所述空间方位特征可以作为分离用户语音和干扰声音，并且去除干扰声音，保留有用语音信号的重要特征依据。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法中，所述空间方位特征包括信号的波达空间方向，所述波达空间方向是指空间信号的到达方向，其包括方位角和俯仰角，是空间谱估计的重要参数，所述波达空间方向估计主要利用了主麦克风信号和次麦克风信号的相位差和幅度差信息。
在本发明所述的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法中，所述深度神经网络模块的一种实现方法是通过卷积循环神经网络实现，并通过预测得到降噪语音，具体包括如下步骤：
该模块训练的目标是纯净语音的幅度谱，首先将纯净语音经过短时傅里叶变换，再获得它的幅度谱作为训练的目标；
网络的输入是将基频和声纹特征，空间方位特征，骨振动传感器信号的幅度谱和主、次麦克风信号的幅度谱堆叠后的结果，因此需要先将两路信号分别经过短时傅里叶变换，再分别取得两路幅度谱，然后再和基频和声纹特征，空间方位特征进行堆叠；
将堆叠后的幅度谱数据经过深度神经网络，深度神经网络由三层卷积网络、三层长短期记忆网络、三层反卷积网络构成；
深度神经网络输出预测的幅度谱；
将预测的幅度谱与目标幅度谱做均方误差；
训练过程采用反向传播-梯度下降的方式更新网络参数，不断地送入网络训练数据、更新网络参数，直至网络收敛；
推理过程使用麦克风数据短时傅里叶变化后结果的相位和预测出来的幅度结合，恢复出预测后的纯净语音。
根据上述方案的本发明，其有益效果在于，本发明提供了一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统，利用深度神经网络强大的建模能力，有很好的人声还原度及极强的噪声抑制能力，可以解决复杂噪声场景下的人声提取问题。本专利结合了骨振动传感器及双麦克风的信号，采用深度学习降噪技术，在各种噪声环境下，实现提取目标人声，降低干扰噪声。该技术可应用于耳机、手机等贴合耳部的通话场景。相比于仅采用一个或多个麦克风降噪的技术，结合骨振动传感器可在信噪比极低的环境下，诸如：地铁、风噪等场景，依然可以保持良好的通话体验。不同于其他结合骨震动传感器及气导麦克风降噪方式仅利用骨震动传感器信号作为激活检测的标志，本技术利用骨振动传感器信号不受气导噪声干扰的特性，将骨传信号作为低频输入信号，与双麦克风信号一同送入深度神经网络进行整体降噪、融合。同时送入神经网络的还有从主麦克风和次麦克风提取出来的信号空间方位特征，和从骨振动传感器提取出来的说话者的基频，声纹特征。借助骨振动传感器，我们能够得到优质的低频信号，并以此为基础，极大地提高深度神经网络预测的准确性，使得降噪效果更佳。本专利采用双麦克风作为输入，极大提高了降噪的效果。因此具有鲁棒性强、成本可控、对产品结构设计要求低。本专利引入了主麦克风和次麦克风的双麦风阵列，并且将基频，声纹特征，信号空间方位特征，主麦克风信号，次麦克风信号，骨振动传感器信号同时融合到深度神经网络，从而得到性能更优的降噪效果，满足噪声极度恶劣的应用场合。本专利引入了骨振动传感器作为补充，利用骨振动传感器不受空气噪音干扰的特性，并且可以提取出更高精度的声音基频和声纹特征。将骨振动传感器信号与气导麦克风信号，声音基频，声纹特征，信号空间方位特征使用深度神经网络融合，达到了在极低信噪比下也能有理想的降噪效果。本专利将骨振动传感器信号与麦克风信号，基频，声纹特征，信号空间方位特征结合一起作为深度神经网络的输入，进行信号层的深度融合，从而达到优良的降噪效果。
附图说明
下面将结合附图及实施例对本发明作进一步说明。附图中：
图1为本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法的流程框图；
图2为本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法的深度神经网络融合模块结构框图；
图3为本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法的骨振动传感器采集到的音频信号频谱示意图；
图4为本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法的主麦克风采集到的音频信号频谱示意图；
图5为本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法的次麦克风采集到的音频信号频谱示意图；
图6为本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法处理后的音频信号频谱示意图；
图7为本发明的一种融合骨振动传感器结合单麦克风信号的降噪方法和一种融合骨振动传感器结合双麦克风信号的降噪方法的降噪效果对比图；
图8为双麦克风加骨振动传感器降噪运用在无线耳机接收语音降噪的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统，该系统包括：基频和声纹特征提取模块，用于从骨振动传感器信号中提取出用户声音的基频和声纹特征；空间方位特征提取模块，用于从主麦克风信号和次麦克风信号中提取信号源的空间方位特征信息；基于深度神经网络的融合模块，用于将骨振动传感器提取出的基频和声纹特征，从主麦克风信号和次麦克风信号提取出来的空间方位特征，和骨振动传感器信号以及主麦克风信号，次麦克风信号相融合，预测得到降噪后用户语音。
本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法，包括如下步骤：
从骨振动传感器信号中提取出用户声音的基频和声纹特征信息；
利用主麦克风信号和次麦克风信号提取出声音源的空间方位特征；
将输出的特征与骨振动传感器信号和主麦克风的信号以及次麦克风信号融合送入深度神经网络模块；
通过所述深度神经网络模块预测得到降噪语音。
具体地，基频和声纹特征提取模块可以提取部分声纹的特征，或者提取全部声纹的特征。在本实施例中，提取声纹和基频的方法可以选上述的任何一种方法，在此不受局限性。
具体地，基频是复杂声音中最低且通常情况下最强的频率，是声音的基础音调。当用户发出声音时，声音可以分解为许多单纯的正弦波，自然声音基本都是由许多频率不同的正弦波组成的，其中频率最低的正弦波即为基音。
进一步地，基频和声纹特征是区分不同人声音的重要特征依据。语音基频提取在语音信号处理领域有广泛运用，如语音分离，语音合成等。由于人体发声器官生理方面的差异，男性的基频范围为50～250Hz；女性的基频为120～500Hz；婴儿的基频范围大约为250～800Hz。由于骨振动传感器主要接收低频信号(1000Hz以下)，并且不受环境噪声和高频语音成分的影响，从而可以提取出更准确的基频特征。基频估计的方法可以用自相关函数法，平均幅度差函数法，倒谱分析法，离散小波变换法等。声纹特性是指携带语言信息的声波频谱的特性。人的发声器官存在大小，形态，功能上的差异，这些器官微小的差异会导致发声气流的改变，引起音质，音色的差别。这些差别体现在声纹特性上具有特定性，稳定性的特定。声纹特征是区分不同说话人声音的重要依据。声纹特征中可以反应出常见的声学特征如频谱，倒频谱，共振峰，鼻音，沙哑音，韵律，节奏，语调等。常用的声纹特征提取方法有：线性预测分析，感知线性预测系数，基于滤波器组的Fbank特征，线性预测倒谱系数，梅尔频率倒谱系数等。由于骨振动传感器主要接收低频信号，并且不受环境噪声的影响，而从可以提取出更准确的基频特征和声纹特征。
具体地，空间方位特征包括用户声音的空间方位位置和干扰信号的空间方位信息。在本实施例中，提取空间特性的方法可以选上述的任何一种方法，在此不受局限性。
进一步地，由于用户声音和干扰声音一般来源于不同的空间方位，因此空间方位信息可以作为分离用户语音和干扰声音，并且去除干扰声音，保留有用语音信号的重要特征依据。信号的波达空间方向是一个重要的空间方位特征。波达空间方向是指空间信号的到达方向，包括方位角和俯仰角，是空间谱估计的重要参数。精确估计信号的波达空间方向在复杂声场分离噪声有十分重要作用。例如传统的波束形成技术，就是利用不同的波达空间方向设计出指向不同方向的滤波器，实现空间滤波。波达空间方向估计主要利用了主麦克风信号和次麦克风信号的相位差和幅度差信息。声源空间方位估计的方位可以用：估计麦克风信号之间的时延差，广义互相关算法，空间谱搜索方法，多信号分类算法，旋转因子不变法，神经网络算法等。
早期采用的SNR(Signal-to-noise ratio,信噪比)加权的方式加强目标语音频率，得到更高的SNR。例如使用基于语音活动检测的算法或是基于最小均方误差的方法等SNR估计法。然而，这些算法通常假设噪声是静态的，而现实环境中的噪声通常是动态的，从而导致现实环境中进行声源空间方位估计时，方向估计的鲁棒性较差。基于时频掩蔽和深度神经网络的声源方向估计方法对于在强混响或漫放射噪声的环境中，具有很强的鲁棒性。基于时频掩蔽和深度神经网络的声源方向估计可以采用方法一，将掩蔽后的广义互相关函数沿频率和时间进行加和，选取加和互相关函数最大峰值的方向最为声源的方向。方法二，采用波束形成的滤波器系数和目标语音协方差矩阵计算不同频率上目标语音的能量，采用波束成形的滤波器系数和噪声协方差矩阵计算不同频率上噪声的能量。在不同频率上，计算目标语音和噪声的能量比，并沿频率维度加和，形成在某一候选方向上的总体信噪比，选择对应总体信噪比最大的候选方向作为声源方向。方法三，根据麦克风阵列拓扑结构计算候选方向在麦克风之间的到达时间差，计算到达时间差和候选方向的麦克风之间的到达时间差之间的余弦距离，选择对应最大余弦距离的获选方向作为声源方向。相对传统单麦降噪技术，本本实施例采用双麦克风作为输入，极大提高了降噪的效果。因此具有鲁棒性强、成本可控、对产品结构设计要求低等特点。
图2示出了本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法的深度神经网络融合模块结构框图，在本实施例中，基于深度神经网络的融合模块中网络结构以卷积循环神经网络作为示例，当然也可替换成长短期神经网络、深度全卷积网络等任一种结构。
基于深度学习的监督式降噪被广泛认为是最先进的方法，并且极大地提升了降噪性能，包括首次展示出在带噪环境中为听力受损和听力正常的听众带来语音可懂度的实质性改善。近年来，语音降噪已经使用监督学习方法，通过训练数据来学习语音或噪声信号中的判别模式。与基于对语音和噪声信号进行统计分析的传统语音增强不同，监督式语音降噪是数据驱动的，并根据详细的训练样本自动地学习模式，这很大程度得益于深度学习的使用。相比本申请人之前提交的《一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法》(申请号：201910953534.9)，本实施例引入了主麦克风和次麦克风的双麦风阵列，并且将基频，声纹特征，信号空间方位特征，主麦克风信号，次麦克风信号，骨振动传感器信号同时融合到深度神经网络，从而得到性能更优的降噪效果，满足噪声极度恶劣的应用场合。
结合图1、图2，本发明通过融合目标语音的基频和声纹特征，语音声源的空间方位信息，双麦克风的信号以及骨振动传感器信号作为深度神经网络的输入，极大丰富了神经网路的输入信息，而从得到很好的降噪效果。
具体地，卷积递归神经网络作为本实施例的深度神经网络模块的一个实现方式。该方法结合了卷积层和递归层，受益于卷积神经网络CNN的特征提取能力和回归神经网络RNN的时间建模能力。利用编码器-解码器架构，卷积递归网络CRN将输入特征编码到更高维的潜在空间中，然后通过两个长短期记忆LSTM层对潜在特征向量的序列进行建模。随后，解码器将长短期记忆LSTM层的输出序列转换回原始输入尺寸。编码器包括三个卷积层，解码器包括三个去卷积层。为了改善整个网络中信息和梯度的流动，使用跳跃连接(skipconnection)来将每个编码器层的输出连接到相应编码器层的输入。在卷积递归网络CRN中，所有卷积和去卷积都是因果的，因此在每个时间帧都不会将未来信息用于幅度谱估计。
图2示出了本发明的一种融合骨振动传感器和双麦克风信号的深度学习降噪方法的深度神经网络融合模块结构框图，给出了深度神经网络模块的卷积循环神经网络结构，这只是该模块的一种网络结构实现，不仅局限于此。具体包括如下步骤：
该模块训练的目标(Training Target)是纯净语音的幅度谱，首先将纯净语音(Clean Speech)经过短时傅里叶变换(STFT)，再获得它的幅度谱作为训练的目标；
进一步地，网络的输入是将基频和声纹特征，空间方位特征，骨振动传感器信号的幅度谱和主、次麦克风信号的幅度谱堆叠后的结果，因此需要先将两路信号分别经过短时傅里叶变换(STFT)，再分别取得两路幅度谱(Magnitude Spectrum)，然后再和基频和声纹特征，空间方位特征进行堆叠(Stacking)；
进一步地，将堆叠后的幅度谱数据经过深度神经网络，深度神经网络由三层卷积网络、三层长短期记忆网络、三层反卷积网络构成；
进一步地，深度神经网络输出预测的幅度谱(Estimated Magnitude Spectrum)；
进一步地，将预测的幅度谱(Estimated Magnitude Spectrum)与目标幅度谱(Target Magnitude Spectrum)做均方误差(mean-square error,MSE)；
进一步地，训练过程(Training)采用反向传播-梯度下降的方式更新网络参数，不断地送入网络训练数据、更新网络参数，直至网络收敛；
进一步地，推理过程使用麦克风数据短时傅里叶变化(STFT)后结果的相位和预测出来的幅度结合，恢复出预测后的纯净语音(Clean Speech)。
相对传统单麦降噪技术，本实施例采用双麦克风作为输入，极大提高了降噪的效果。因此具有鲁棒性强、成本可控、对产品结构设计要求低等特点。本实施例不对噪声做任何假设(传统单麦风降噪技术预先假设噪声为平稳噪声)，利用深度神经网络强大的建模能力，有很好的人声还原度及极强的噪声抑制能力，可以解决复杂噪声场景下的人声提取问题。传统的单双麦降噪技术很难实现性能的突破，难以满足人们在地铁，马路，机场，咖啡厅等日常超级嘈杂环境中清晰的通话要求。
公开的申请号为201811199154.2专利(名称为一种通过人体振动识别用户语音以控制电子设备的系统)包括人体振动传感器,用于感应用户的人体振动；处理电路，与所述人体振动传感器相耦合，用于当确定所述人体振动传感器的输出信号包括用户语音信号时，控制拾音设备开始拾音；通信模块，与处理电路和所述拾音设备相耦合，用于所述处理电路和所述拾音设备之间的通信。与《一种通过人体振动识别用户语音以控制电子设备的系统》(申请号：201811199154.2)中将骨振动传感器信号作为语音活动检测的标志不同，我们将骨振动传感器信号与麦克风信号，基频，声纹特征，信号空间方位特征结合一起作为深度神经网络的输入，进行信号层的深度融合，从而达到优良的降噪效果。
相比本申请人之前提交的《近距离交谈场景下双麦克风移动电话的实时语音降噪方法》(申请号：201910945319.4)，本实施例引入了骨振动传感器作为补充，利用骨振动传感器不受空气噪音干扰的特性，并且可以提取出更高精度的声音基频和声纹特征。将骨振动传感器信号与气导麦克风信号，声音基频，声纹特征，信号空间方位特征使用深度神经网络融合，达到了在极低信噪比下也能有理想的降噪效果。
图3、图4、图5分别是骨振动传感器、主麦克风、次麦克风采集到的音频信号频谱，图6是经过该技术处理后的音频信号频谱示意图。
图8示出了双麦克风加骨振动传感器降噪运用在无线耳机接收语音降噪的结构示意图，图中下方的主麦克风10更靠近用户的嘴部，可以接收更高信噪比的用户声音信号，称为主麦克风信号。上方的次麦克风20相对远离用户嘴部，接收到用户声音信号更弱，同时受到噪声干扰更为严重，称为次麦克风信号。骨振动传感器30位于靠近耳机和人耳贴触部位，从而感知人说话时引起的振动信号。
如图7所示，示出了融合骨振动传感器结合单麦克风信号的降噪方法和一种融合骨振动传感器结合双麦克风信号的降噪方法的降噪效果对比图，具体地，我们对比了8种噪音场景下分别使用《一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法》(申请号：201910953534.9)中方法(Sensor-1Mic)与本技术所述方法(Sensor-2Mic)处理结果，得出了图7中的客观测试结果。八种噪声分别为：酒吧噪声、公路噪声、十字路口噪声、火车站噪声、130km/h速度行驶的汽车噪声、咖啡厅噪声、餐桌上的噪声以及办公室噪声。从表中我们可以看到，在各场景下，经本技术处理后主观语音质量评估(PESQ)得分都有很大提升，八个场景平均提升在0.13。这表明本技术对语音还原度更高、噪声抑制能力更强。本方法结合了骨振动传感器及双麦克风的信号，采用深度学习降噪技术，在各种噪声环境下，实现提取目标人声，降低干扰噪声。该技术可应用于耳机、手机等贴合耳部的通话场景。结合骨振动传感器可在信噪比极低的环境下，诸如：地铁、风噪等场景，依然可以保持良好的通话体验。
更进一步地，相比传统单麦克风降噪技术，本技术不对噪声做任何假设(传统单麦风降噪技术预先假设噪声为平稳噪声)，利用深度神经网络强大的建模能力，有很好的人声还原度及极强的噪声抑制能力，可以解决复杂噪声场景下的人声提取问题。传统的单双麦降噪技术很难实现性能的突破，难以满足人们在地铁，马路，机场，咖啡厅等日常超级嘈杂环境中清晰的通话要求。
在本实施例中，深度神经网络是一种效果最优秀的先进的方法，具体实施例中仅示例给出了一种深度神经网络的结构作为示例。实施例中基于深度神经网络的融合模块中网络结构以卷积循环神经网络作为示例，也可替换成长短期神经网络、深度全卷积网络等结构。
本发明提供一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统，本发明利用骨振动传感器信号不受气导噪声干扰的特性，将骨传信号作为低频输入信号，与双麦克风信号一同送入深度神经网络进行整体降噪、融合。同时送入神经网络的还有从主麦克风和次麦克风提取出来的信号空间方位特征，和从骨振动传感器提取出来的说话者的基频，声纹特征。借助骨振动传感器，我们能够得到优质的低频信号，并以此为基础，极大地提高深度神经网络预测的准确性，使得降噪效果更佳。
尽管通过以上实施例对本发明进行了揭示，但本发明的保护范围并不局限于此，在不偏离本发明构思的条件下，对以上各构件所做的变形、替换等均将落入本发明的权利要求范围内。
Claims (1)
1.一种融合骨振动传感器和双麦克风信号的深度学习降噪方法，其特征在于，包括如下步骤：
从骨振动传感器信号中提取出用户声音的基频和声纹特征信息，所述声纹特征是指携带语言信息的声波频谱的特性，所述声纹特征包括频谱、倒频谱、共振峰、鼻音、沙哑音、韵律、节奏、语调；
利用主麦克风信号和次麦克风信号提取出声音源的空间方位特征；
将所述骨振动传感器提取出的用户声音基频和声纹特征，从所述主麦克风信号和次麦克风信号提取出来的空间方位特征，与骨振动传感器信号和主麦克风的信号以及次麦克风信号融合送入深度神经网络模块；
通过所述深度神经网络模块预测得到降噪语音，所述深度神经网络模块的实现方法是通过卷积循环神经网络实现，并通过预测得到降噪语音，具体包括如下步骤：
该模块训练的目标是纯净语音的幅度谱，首先将纯净语音经过短时傅里叶变换，再获得它的幅度谱作为训练的目标；
网络的输入是将基频和声纹特征，空间方位特征，骨振动传感器信号的幅度谱和主、次麦克风信号的幅度谱堆叠后的结果，因此需要先将骨振动传感器信号和主、次麦克风信号分别经过短时傅里叶变换，然后分别取得骨振动传感器信号的幅度谱和主、次麦克风信号的幅度谱；再将骨振动传感器信号的幅度谱，主、次麦克风信号的幅度谱，基频和声纹特征，以及空间方位特征进行堆叠，作为网络的输入；
将堆叠后的幅度谱数据经过深度神经网络，深度神经网络由三层卷积网络、三层长短期记忆网络、三层反卷积网络构成；
深度神经网络输出预测的幅度谱；
将预测的幅度谱与目标幅度谱做均方误差；
训练过程采用反向传播-梯度下降的方式更新网络参数，不断地送入网络训练数据、更新网络参数，直至网络收敛；
推理过程使用麦克风数据短时傅里叶变化后结果的相位和预测出来的幅度结合，恢复出预测后的纯净语音；
使用所述空间方位特征分离用户语音和干扰声音，去除干扰声音，保留有用语音信号；
所述空间方位特征包括信号的波达空间方向，所述波达空间方向是指空间信号的到达方向，其包括方位角和俯仰角，利用主麦克风信号和次麦克风信号的相位差和幅度差信息进行波达空间方向估计；
所述双麦克风加骨振动传感器降噪运用在无线耳机接收语音降噪的结构中，所述主麦克风靠近用户的嘴部设置，所述次麦克风相对远离用户嘴部设置，所述骨振动传感器位于靠近耳机和人耳贴触部位设置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010782856.4A CN111916101B (zh) | 2020-08-06 | 2020-08-06 | 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010782856.4A CN111916101B (zh) | 2020-08-06 | 2020-08-06 | 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111916101A CN111916101A (zh) | 2020-11-10 |
| CN111916101B true CN111916101B (zh) | 2022-01-21 |
Family
ID=73287928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010782856.4A Active CN111916101B (zh) | 2020-08-06 | 2020-08-06 | 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111916101B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364836A (zh) * | 2020-12-07 | 2021-02-12 | 无锡科晟光子科技有限公司 | 一种基于全卷积神经网络的振动光纤信号分类方法 |
| US20220180886A1 (en) * | 2020-12-08 | 2022-06-09 | Fuliang Weng | Methods for clear call under noisy conditions |
| CN112767963B (zh) * | 2021-01-28 | 2022-11-25 | 歌尔科技有限公司 | 一种语音增强方法、装置、系统及计算机可读存储介质 |
| US11942107B2 (en) * | 2021-02-23 | 2024-03-26 | Stmicroelectronics S.R.L. | Voice activity detection with low-power accelerometer |
| CN115132212A (zh) * | 2021-03-24 | 2022-09-30 | 华为技术有限公司 | 一种语音控制方法和装置 |
| TWI819478B (zh) | 2021-04-07 | 2023-10-21 | 英屬開曼群島商意騰科技股份有限公司 | 具端至端神經網路之聽力裝置及音訊處理方法 |
| CN113671031A (zh) * | 2021-08-20 | 2021-11-19 | 北京房江湖科技有限公司 | 墙体空鼓检测方法和装置 |
| CN114167315A (zh) * | 2021-11-18 | 2022-03-11 | 广东亿嘉和科技有限公司 | 一种变压器智能在线监测系统及其方法 |
| CN114264365B (zh) * | 2021-12-14 | 2024-04-30 | 歌尔科技有限公司 | 风噪检测方法、装置、终端设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791122A (zh) * | 2016-12-27 | 2017-05-31 | 广东小天才科技有限公司 | 一种可穿戴设备的通话控制方法及可穿戴设备 |
| CN109410976A (zh) * | 2018-11-01 | 2019-03-01 | 北京工业大学 | 双耳助听器中基于双耳声源定位和深度学习的语音增强方法 |
| CN109427328A (zh) * | 2017-08-28 | 2019-03-05 | 中国科学院声学研究所 | 一种基于滤波网络声学模型的多通道语音识别方法 |
| CN109671433A (zh) * | 2019-01-10 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 一种关键词的检测方法以及相关装置 |
| CN110047478A (zh) * | 2018-01-16 | 2019-07-23 | 中国科学院声学研究所 | 基于空间特征补偿的多通道语音识别声学建模方法及装置 |
| CN110121129A (zh) * | 2019-06-20 | 2019-08-13 | 歌尔股份有限公司 | 耳机的麦克风阵列降噪方法、装置、耳机及tws耳机 |
| CN110491410A (zh) * | 2019-04-12 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 语音分离方法、语音识别方法及相关设备 |
| CN110660406A (zh) * | 2019-09-30 | 2020-01-07 | 大象声科（深圳）科技有限公司 | 近距离交谈场景下双麦克风移动电话的实时语音降噪方法 |
| CN110867178A (zh) * | 2018-08-28 | 2020-03-06 | 中国科学院声学研究所 | 一种多通道远场语音识别方法 |
| CN110931031A (zh) * | 2019-10-09 | 2020-03-27 | 大象声科（深圳）科技有限公司 | 一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法 |
| CN111081231A (zh) * | 2016-03-23 | 2020-04-28 | 谷歌有限责任公司 | 用于多声道语音识别的自适应音频增强 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3007467B1 (en) * | 2014-10-06 | 2017-08-30 | Oticon A/s | A hearing device comprising a low-latency sound source separation unit |
| US10535364B1 (en) * | 2016-09-08 | 2020-01-14 | Amazon Technologies, Inc. | Voice activity detection using air conduction and bone conduction microphones |
| CN108305615B (zh) * | 2017-10-23 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 一种对象识别方法及其设备、存储介质、终端 |
| US10812915B2 (en) * | 2017-10-27 | 2020-10-20 | Starkey Laboratories, Inc. | Electronic device using a compound metric for sound enhancement |
| CN107910011B (zh) * | 2017-12-28 | 2021-05-04 | 科大讯飞股份有限公司 | 一种语音降噪方法、装置、服务器及存储介质 |
| JP7028345B2 (ja) * | 2018-06-29 | 2022-03-02 | 日本電気株式会社 | パタン認識装置、パタン認識方法、及びプログラム |
| CN109215665A (zh) * | 2018-07-20 | 2019-01-15 | 广东工业大学 | 一种基于3d卷积神经网络的声纹识别方法 |
| CN111445919B (zh) * | 2020-03-13 | 2023-01-20 | 紫光展锐(重庆)科技有限公司 | 结合ai模型的语音增强方法、系统、电子设备和介质 |
-
2020
- 2020-08-06 CN CN202010782856.4A patent/CN111916101B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111081231A (zh) * | 2016-03-23 | 2020-04-28 | 谷歌有限责任公司 | 用于多声道语音识别的自适应音频增强 |
| CN106791122A (zh) * | 2016-12-27 | 2017-05-31 | 广东小天才科技有限公司 | 一种可穿戴设备的通话控制方法及可穿戴设备 |
| CN109427328A (zh) * | 2017-08-28 | 2019-03-05 | 中国科学院声学研究所 | 一种基于滤波网络声学模型的多通道语音识别方法 |
| CN110047478A (zh) * | 2018-01-16 | 2019-07-23 | 中国科学院声学研究所 | 基于空间特征补偿的多通道语音识别声学建模方法及装置 |
| CN110867178A (zh) * | 2018-08-28 | 2020-03-06 | 中国科学院声学研究所 | 一种多通道远场语音识别方法 |
| CN109410976A (zh) * | 2018-11-01 | 2019-03-01 | 北京工业大学 | 双耳助听器中基于双耳声源定位和深度学习的语音增强方法 |
| CN109671433A (zh) * | 2019-01-10 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 一种关键词的检测方法以及相关装置 |
| CN110491410A (zh) * | 2019-04-12 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 语音分离方法、语音识别方法及相关设备 |
| CN110121129A (zh) * | 2019-06-20 | 2019-08-13 | 歌尔股份有限公司 | 耳机的麦克风阵列降噪方法、装置、耳机及tws耳机 |
| CN110660406A (zh) * | 2019-09-30 | 2020-01-07 | 大象声科（深圳）科技有限公司 | 近距离交谈场景下双麦克风移动电话的实时语音降噪方法 |
| CN110931031A (zh) * | 2019-10-09 | 2020-03-27 | 大象声科（深圳）科技有限公司 | 一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111916101A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111916101B (zh) | 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统 | |
| TWI763073B (zh) | 融合骨振動感測器信號及麥克風信號的深度學習降噪方法 | |
| WO2022027423A1 (zh) | 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统 | |
| US8880396B1 (en) | Spectrum reconstruction for automatic speech recognition | |
| JP5738020B2 (ja) | 音声認識装置及び音声認識方法 | |
| CN109830245A (zh) | 一种基于波束成形的多说话者语音分离方法及系统 | |
| WO2019089486A1 (en) | Multi-channel speech separation | |
| CN107919133A (zh) | 针对目标对象的语音增强系统及语音增强方法 | |
| US20060224382A1 (en) | Noise reduction and audio-visual speech activity detection | |
| CN110970053A (zh) | 一种基于深度聚类的多通道与说话人无关语音分离方法 | |
| US20220392475A1 (en) | Deep learning based noise reduction method using both bone-conduction sensor and microphone signals | |
| CN108109617A (zh) | 一种远距离拾音方法 | |
| CN111341339A (zh) | 基于声学矢量传感器自适应波束形成和深度神经网络技术的目标语音增强方法 | |
| JP2005303574A (ja) | 音声認識ヘッドセット | |
| CN111968627B (zh) | 一种基于联合字典学习和稀疏表示的骨导语音增强方法 | |
| CN113345421B (zh) | 一种基于角度谱特征的多通道远场的目标语音识别方法 | |
| Youssef et al. | From monaural to binaural speaker recognition for humanoid robots | |
| Nishimura et al. | Speech recognition for a humanoid with motor noise utilizing missing feature theory | |
| Ng et al. | Small footprint multi-channel convmixer for keyword spotting with centroid based awareness | |
| Li et al. | Beamformed feature for learning-based dual-channel speech separation | |
| Pasha et al. | Distributed microphone arrays, emerging speech and audio signal processing platforms: A review | |
| Asaei et al. | Verified speaker localization utilizing voicing level in split-bands | |
| Yang et al. | Boosting spatial information for deep learning based multichannel speaker-independent speech separation in reverberant environments | |
| WO2023104215A1 (en) | Methods for synthesis-based clear hearing under noisy conditions | |
| Shahrul Azmi et al. | Noise robustness of Spectrum Delta (SpD) features in Malay vowel recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |