CN110856072A - 一种耳机通话降噪方法及耳机 - Google Patents
一种耳机通话降噪方法及耳机 Download PDFInfo
- Publication number
- CN110856072A CN110856072A CN201911230002.9A CN201911230002A CN110856072A CN 110856072 A CN110856072 A CN 110856072A CN 201911230002 A CN201911230002 A CN 201911230002A CN 110856072 A CN110856072 A CN 110856072A
- Authority
- CN
- China
- Prior art keywords
- signal
- voice
- voice signal
- noise
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000009467 reduction Effects 0.000 title abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 57
- 210000003027 ear inner Anatomy 0.000 claims abstract description 33
- 238000001228 spectrum Methods 0.000 claims abstract description 16
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 9
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 30
- 230000001052 transient effect Effects 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000002401 inhibitory effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 210000000883 ear external Anatomy 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供一种耳机通话降噪方法及耳机。在一个实施例中，通过至少一个外部传声器接收人耳外部的多个第一语音信号；通过一个内耳传声器接收人耳内部的第二语音信号；并将所述多个第一语音信号和第二语音信号转换到频域中；对多个第一语音信号进行波束合成得到第三语音信号；对第二语音信号进行回声抵消处理以及频谱延拓处理得到第四语音信号；计算第三语音信号中各个频点的信噪比，通过所述信噪比对第三语音信号和第四语音信号进行加权处理得到第五语音信号，将第五语音信号转换到时域并输出。在低信噪比及较多说话人干扰等复杂声学场景下，能有效拾取佩戴者语音并抑制其他噪声。
Description
技术领域
本发明涉及语音降噪技术领域,尤其涉及一种耳机通话降噪方法及耳机。
背景技术
随着互联网及人工智能技术的发展，耳机已经被赋予了多种功能，包括听音乐、语音通话及语音助手等。实际应用中，耳机传声器接收信号中也会拾取各种各样的噪声，包括地铁噪声、马路噪声这类较为平稳的环境噪声，以及附近其他说话人或商城、高铁站广播产生的非平稳噪声。这些噪声不仅会使得佩戴者自身感到不适，同时也会影响通话质量及人机语音交互性能。因此，越来越多的耳机增加了通话降噪及主动降噪等功能。
通话降噪技术往往将传声器置于耳机壳外拾取佩戴者语音，使用波束形成及后滤波技术对佩戴者说话语音进行增强，对环境噪声及其他干扰噪声进行抑制。
主动降噪技术中，自适应降噪系统往往包括分别置于耳内及耳外的反馈传声器。耳外传声器拾取噪声信号作为参考信号，将当前信号经耳机系统模型的传递函数作用后预测耳罩内的噪声，然后将预测噪声反相后与所需音频信号进行叠加，最终传送给耳机换能器，从而获得降噪效果。
目前常用的耳机通话降噪方法主要分为三类，第一类是采用基于传声器阵列的语音增强算法对目标方向语音进行增强，通过自适应波束技术对佩戴者语音进行增强，但该方法在低信噪比情况下性能会严重下降。第二类是基于辅助传感器的方法进行降噪，采用例如振动传感器或者加速度传感器(例如骨导传感器)等提取佩戴者语音，该类方法在低信噪比情况下可以有效提取佩戴者中低频语音，但该类传感器需要佩戴者正确佩戴耳机且成本较高。第三类是使用机器学习方法对接收信号进行语音增强，该类方法可以有效去除动态噪声但计算资源及内存占用较多。
实际应用中，对于主动降噪的半入耳式或入耳式耳机，内耳传声器接收信号经处理后可辅助进行降噪处理。相比于壳外传声器，内耳传声器具有以下优点：
1、紧耦合佩戴的入耳式耳机，内耳传声器能隔绝环境噪声(被动隔声+主动降噪)在20dB以上，隔绝风噪可达25dB以上；
2、佩戴者的语音能通过骨导在耳道内形成比较好的中低频响应；
3、松耦合佩戴的浅入耳式耳机，内耳传声器能一定程度隔绝风噪，特别是自然风状态。
同时，内耳传声器也具有一定的局限性：
1、包含耳机扬声器的信号成分较多，需要额外的回声抵消处理；
2、内耳传声器接收信号中目标语音的中高频成分丢失严重，在高信噪比情况下中高频成分音质明显差于壳外传声器接收信号。
发明内容
有鉴于此，本申请实施例提供了一种耳机通话降噪方法及耳机。
第一方面，本发明申请提供一种耳机通话降噪方法，包括：
通过至少一个外部传声器接收人耳外部的多个第一语音信号；通过一个内耳传声器接收人耳内部的第二语音信号；并将所述多个第一语音信号和第二语音信号转换到频域中；
对多个第一语音信号进行波束合成得到第三语音信号；
对第二语音信号进行回声抵消处理以及频谱延拓处理得到第四语音信号；
计算第三语音信号中各个频点的信噪比，通过所述信噪比对第三语音信号和第四语音信号进行加权处理得到第五语音信号，将第五语音信号转换到时域并输出。
可选地，所述第一语音信号、第二语音信号均包括：目标语音信号、平稳态噪声和瞬态噪声。
可选地，其特征在于，所述对多个第一语音信号进行波束合成得到第三语音信号包括：
当通过一个外部传声器接收人耳外部的第一语音信号时，对接收的第一语音信号进行后滤波处理得到第三语音信号；
当通过至少两个外部传声器接收人耳外部的多个第一语音信号时，将至少两个外部传声器接收的多个第一语音信号形成固定波束，并对目标方向上的语音进行增强，输出固定波束信号；通过构造阻塞矩阵对第一语音信号中目标方向上的语音进行抑制，得到参考噪声信号；
对固定波束信号和参考噪声信号进行自适应滤波处理以及后滤波处理得到第三语音信号。
可选地，其特征在于，所述对固定波束信号和参考噪声信号进行自适应滤波处理以及后滤波处理得到第三语音信号包括：
对第一语音信号进行时延和DOA估计，并计算出目标声源与外部传声器阵列端射连线的第一夹角，然后通过第一夹角控制滤波器更新。
可选地，所述计算第三语音信号中各个频点的信噪比包括：估计第三语音信号中小于等于3kHz的各频点的信噪比。
第二方面，本发明申请提供一种通话降噪耳机，包括：
至少一个外部传声器和一个内耳传声器安装在耳机上；
所述至少一个外部传声器安装在耳机佩戴时远离人耳的一侧，用于接收人耳外部的多个第一语音信号；
所述内耳传声器安装在耳机佩戴时与人耳接触的一侧，用于接收人耳内部的第二语音信号；
处理单元，用于对第一语音信号进行波束合成得到第三语音信号；对第二语音信号进行回声抵消处理以及频谱延拓处理得到第四语音信号；
所述处理单元，还用于计算第三语音信号中各个频点的信噪比，通过所述信噪比对第三语音信号和第四语音信号进行加权处理得到第五语音信号；
输出单元，用于将第五语音信号转换到时域并输出。
可选地，所述第一语音信号、第二语音信号均包括：目标语音信号、平稳态噪声和瞬态噪声。
可选地，所述对多个第一语音信号进行波束合成得到第三语音信号包括：
当通过一个外部传声器接收人耳外部的第一语音信号时，对接收的语音信号进行后滤波处理得到第三语音信号；
当通过至少两个外部传声器接收人耳外部的多个第一语音信号时，将至少两个外部传声器接收的多个第一语音信号形成固定波束，并对目标方向上的语音进行增强，输出固定波束信号；通过构造阻塞矩阵对第一语音信号中目标方向上的语音进行抑制，得到参考噪声信号；
对固定波束信号和参考噪声信号进行自适应滤波处理以及后滤波处理得到第三语音信号。
可选地，所述对固定波束信号和参考噪声信号进行自适应滤波处理以及后滤波处理得到第三语音信号包括：
对第一语音信号进行时延和DOA估计，并计算出目标声源与外部传声器阵列端射连线的第一夹角，通过第一夹角控制滤波器更新。
可选地，所述计算第三语音信号中各个频点的信噪比包括：估计第三语音信号中小于等于3kHz的各频点的信噪比。
本申请实施例提供了一种耳机通话降噪方法及耳机，在一个实施例中，利用耳机壳体外传声器阵列进行波束形成，得到波束输出信号；并对内耳传声器低频信号进行提取及增强；将增强后的信号进行频谱拓展，并与波束输出信号进行融合，得到增强后佩戴者语音信号。在低信噪比及多说话人干扰等复杂声学场景下，能有效拾取佩戴者语音并抑制其他噪声，为后续的语音通话及语音识别技术提供重要依据。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明申请一种通话降噪耳机的信号模型图；
图2为本发明申请一种通话降噪耳机的结构示意图；
图3为2麦通话降噪耳机与本发明申请的3麦通话降噪耳机的传声器阵列构型示意图；
图4为本发明申请一种耳机通话降噪方法的流程示意图；
图5为对外部传声器接收的声音信号进行自适应滤波处理的流程图；
图6为对外部传声器接收的声音信号进行自适应滤波处理的示意图；
图7为基于内外耳传声器信号融合的语音增强算法流程图；
图8a为原始传声器接收信号、2麦算法处理语音信号及3麦算法处理语音信号在0-4kHz的语谱图；
图8b为原始传声器接收信号、2麦算法处理语音信号及3麦算法处理语音信号在0-2kHz的语谱图；
图9a为又一为原始传声器接收信号、2麦算法处理语音信号及3麦算法处理语音信号在0-4kHz的语谱图；
图9b为又一为原始传声器接收信号、2麦算法处理语音信号及3麦算法处理语音信号在0-2kHz的语谱图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明申请提出一种耳机通话降噪方法，针对目前入耳式或半入耳式的主动降噪耳机都含有内耳反馈传声器的特点，将主动降噪耳机中的内耳反馈传声器用于通话降噪。
在本发明申请中，任意一个单侧耳机具有一个内耳传声器和至少两个外部传声器。当佩戴者佩戴耳机，并通过耳机进行语音通话时，其周围的信号模型如图1所示，耳机接收的信号包括目标语音和噪声。其中，目标语音是佩戴者说话语音，噪声包括了混响声、稳态的环境噪声以及其他方向的非稳态噪声。
图2为本发明申请一种通话降噪耳机的结构示意图，参见图2，本申请实施例中的一种通话降噪耳机包括：至少一个外部传声器201、一个内耳传声器202、处理单元203和输出单元204。
至少一个外部传声器201安装在耳机佩戴时远离人耳的一侧，用于接收人耳外部的多个第一语音信号。
内耳传声器202安装在耳机佩戴时与人耳接触的一侧，用于接收人耳内部的第二语音信号。
在一个可能的实施例中，第一语音信号、第二语音信号均包括：目标语音信号、平稳态噪声和瞬态噪声。
在一个可能的实施例中，通话降噪耳机包括两个外部传声器和一个内耳传声器构成3麦通话降噪耳机。其中，2麦通话降噪耳机和本实施例中的3麦通话降噪耳机的传声器阵列的构型如图3所示。
处理单元203用于对第一语音信号进行波束合成得到第三语音信号；对第二语音信号进行回声抵消处理以及频谱延拓处理得到第四语音信号。
在一个可能的实施例中，通话降噪耳机通过一个外部传声器接收第一语音信号时。处理单元203用于对接收的语音信号进行后滤波处理得到第三语音信号。
在一个可能的实施例中，通话降噪耳通过至少两个外部传声器接收第一语音信号时。处理单元203用于将至少两个外部传声器接收的多个第一语音信号形成固定波束，并对目标方向上的语音进行增强，并输出固定波束信号。通过构造阻塞矩阵对第一语音信号中目标方向上的语音进行抑制，得到参考噪声信号。对固定波束信号和参考噪声信号进行自适应滤波处理以及后滤波处理得到第三语音信号。
处理单元203还用于计算第三语音信号中各个频点的信噪比，并根据计算得到的信噪比对第三语音信号和第四语音信号进行加权处理得到第五语音信号。
输出单元204，用于将第五语音信号转换到时域并输出。在将第五语音信号转换到时域输出前，对第五语音信号进行平滑处理。
在一个可能的实施例中，输出单元通过逆傅里叶变换将第五语音信号转换到时域中。
图4为本发明申请一种耳机通话降噪方法的流程示意图，如图4所示，包括步骤：
步骤S401：通过至少两个外部传声器接收人耳外部的多个第一语音信号；通过一个内耳传声器接收人耳内部的第二语音信号。
当存在M个外部传声器时，第i个外部传声器在时域接收到的第一语音信号xi(n)为：
xi(n)＝si(n)+ds,i(n)+dt,i(n) (1)
其中，si(n)、ds,i(n)和dt,i(n)分别为第i个传声器接收到的目标语音信号、平稳态噪声和瞬态噪声；i＝1,2,…M，其中M为大于等于1的整数。
内耳传声器接收到的信号xin(n)为：
其中，sin(n)、
和
分别为内耳传声器接收到的目标语音信号、平稳态噪声和瞬态噪声；ein(n)为内耳传声器接收的耳机扬声器信号。
步骤S402：对第一语音信号进行波束合成得到第三语音信号。
将外部传声器在时域接收到的第一语音信号xi(n)转换到频域中，第一语音信号xi(n)在频域中的表达式为：
Xi(k,l)＝Si(k,l)+Ds,i(k,l)+Dt,i(k,l),i＝1,2…M (3)
其中，Xi(k,l)、Si(k,l)、Ds,i(k,l)和Ds,i(k,l)分别是xi(n)、si(n)、和
的第l帧第k个频点短时谱。
将内耳传声器在时域接收到的第一语音信号xin(n)转换到频域中，第一语音信号xin(n)在频域中的表达式为：
其中，Xin(k,l)、Sin(k,l)、
和Ein(k,l)分别是sin(n)、
和ein(n)的第l帧第k个频点短时谱。
在一个可能的实施例中，将时域中语音信号转换到频域中进行表示，可以通过快速傅里叶变换(FFT：Fast Fourier Transform)实现。
在一个可能的实施例中，利用一个外部传声器接收第一语音信号，对接收的语音信号进行后滤波处理得到第三语音信号。
在一个可能的实施例中，利用两个外部传声器M1，M2接收第一语音信号，两个外部传声器M1，M2的间距为d。对外部传声器M1、M2接收的语音信号进行时延和DOA估计。其中，M1和M2接收信号之间互相关函数为：
其中，τ为时延，NFFT为FFT点数，fS为采样频率，kL和kH分别为计算时选择频率范围的上下限，W12(k,l)为基于频谱信息的加权系数。
在τ∈[-d/c,d/c]的范围内对
进行搜索并寻找
取值最大时对应的τ记作并通过公式(6)输出
根据公式(6)输出的
计算目标声源与外部传声器阵列端射连线的估计角度
当只存在佩戴者说话语音时，目标声源位于正前方，即目标声源与外部传声器阵列之间的实际角度θs1＝0度，目标声源与外部传声器阵列之间的估计角度
也在0度附近。当存在其他方向干扰时，估计角度
会偏向产生干扰的方向。
对两个外部传声器M1、M2接收的声音信号进行自适应滤波处理如图5所示，其处理的流程图如图6所示，包括步骤：
步骤S4021：将外部传声器接收的声音信号形成固定波束，并对固定波束中目标方向上的语音进行增强后得到带噪信号YBF(k,l)。
步骤S4022：构造阻塞矩阵，对目标方向上的语音进行抑制，得到参考噪声信号YBM(k,l)。
需要说明的是，步骤S4021和步骤S4022之间没有先后顺序，步骤S4021和步骤S4022可以同时执行。
步骤S4023：将带噪信号YBF(k,l)和参考噪声信号YBM(k,l)进行自适应滤波处理并输出信号YADF(k,l)，并通过估计角度θ12控制滤波器的系数。
对带噪信号YBF(k,l)和参考噪声信号YBM(k,l)进行自适应滤波处理后输出信号YADF(k,l)，自适应滤波处理具体公式如下：
其中，WADF(k,l)为自适应滤波器的系数。γ为防止分母为0的小量。参数μ由目标声源与外部传声器阵列端射连线的估计角度
决定。EADF(k,l)为残差信号。
步骤S4024：将自适应滤波器输出的信号YADF(k,l)和参考信号进行后滤波处理并得到信号YPost(k,l)。
步骤S403：对第二语音信号进行回声抵消处理以及频谱延拓处理得到第四语音信号。
对内耳传声器接收的第二声音信号进行回声抵消处理，得到处理后的信号YAEC(k,l)。
对内耳传声器接收的第二声音信号进行单通道语音增强处理和频谱延拓处理，并将延拓后的信号记为YExtend(k,l)。
在一个可能的实施例中，内耳传声器用于接收1kHz以下的声音信号，在对接收的1kHz以下的声音信号进行频谱延拓处理时，需要将接收的1kHz以下的声音信号延拓至2kHz至3kHz。
步骤S404：计算第三语音信号中各个频点的信噪比，通过所述信噪比对第三语音信号和第四语音信号进行加权处理得到第五语音信号，将第五语音信号转换到时域并输出。
在一个可能的实施例中，对第三语音信号中3kHz以下的声音信号的各频点的信噪比进行估计。
将外耳传声器接收并处理以后的信号与内耳传声器接收并处理以后的信号进行融合的语音增强处理，其处理的算法流程图如图7所示。
在一个可能的实施例中，对第三声音信号YPost(k,l)进行风噪声估计，并估计3kHz以下各频点的信噪比。根据信噪比对第三声音信号YPost(k,l)和第四声音信号YExtend(k,l)进行加权处理，并且信噪比越高YPost(k,l)的加权权重β(k,l)越大，加权公式如下：
其中kM为融合时的分界频点。
在一个可能的实施例中，不同于传统振动传感器或加速度传感器直接接收低频信号作为最终输出，内耳传声器信号由于混有回声残留及其他噪声成分，仍需要对其中低频信号进行信噪比估计，用于辅助控制加权权重β(k,l)。
对加权后得到的信号Ymix(k,l)进行平滑处理，得到融合输出信号Yout(k,l)，经逆傅里叶变换后得到最终的时域输出信号yout(n)。
图8a-8b为环境噪声情况下2麦(通过两个传声器接收声音信号)算法和本申请实施例中的3麦(通过两个外部传声器和一个内耳传声器接收声音信号)算法的处理结果。图8a由上自下依次给出了原始传声器接收信号、2麦算法处理语音信号及3麦算法处理语音信号在0-4kHz的语谱图；图8b由上自下依次给出了原始传声器接收信号、2麦算法处理语音信号及3麦算法处理语音信号在0-2kHz的语谱图。分析结果可知，相比于2麦算法，3麦算法处理后信号的降噪效果更好，特别是在1kHz以下，3麦结果语音频谱结构保留更为完整，基于频谱延拓技术得到的1-2kHz的中频语音频谱也比2麦结果更为清晰。
图9a-9b给出了环境噪声情况下2麦算法和本申请实施例中的3麦算法的处理结果。图9a由上自下依次给出了原始传声器接收信号、2麦算法处理语音信号及3麦算法处理语音信号在0-4kHz的语谱图；图9b由上自下依次给出了原始传声器接收信号、2麦算法处理语音信号及3麦算法处理语音信号在0-2kHz的语谱图。相比于2麦算法，3麦算法处理后信号的降噪效果更好，且中低频语音结构保留更为完整。
本发明申请一种基于耳机通话的语音降噪方法，在不使用振动传感器和骨导传声器的情况下，通过内耳传声器有效提取佩戴者的中低频语音信号，经回声消除、频谱拓展等处理，与耳机壳外传声器阵列波束输出结果进行有效融合，得到最终增强语音信号。能在大噪声环境下取得比双麦算法更好的效果。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种耳机通话降噪方法，包括：
通过至少一个外部传声器接收人耳外部的多个第一语音信号；通过一个内耳传声器接收人耳内部的第二语音信号；并将所述多个第一语音信号和第二语音信号转换到频域中；
对多个第一语音信号进行波束合成得到第三语音信号；
对第二语音信号进行回声抵消处理以及频谱延拓处理得到第四语音信号；
计算第三语音信号中各个频点的信噪比，通过所述信噪比对第三语音信号和第四语音信号进行加权处理得到第五语音信号，将第五语音信号转换到时域并输出。
2.根据权利要求1所述的方法，其特征在于，所述第一语音信号、第二语音信号均包括：目标语音信号、平稳态噪声和瞬态噪声。
3.根据权利要求1所述的方法，其特征在于，所述对多个第一语音信号进行波束合成得到第三语音信号包括：
当通过一个外部传声器接收人耳外部的第一语音信号时，对接收的第一语音信号进行后滤波处理得到第三语音信号；
当通过至少两个外部传声器接收人耳外部的多个第一语音信号时，将至少两个外部传声器接收的多个第一语音信号形成固定波束，并对目标方向上的语音进行增强，输出固定波束信号；通过构造阻塞矩阵对第一语音信号中目标方向上的语音进行抑制，得到参考噪声信号；
对固定波束信号和参考噪声信号进行自适应滤波处理以及后滤波处理得到第三语音信号。
4.根据权利要求3所述的方法，其特征在于，所述对固定波束信号和参考噪声信号进行自适应滤波处理以及后滤波处理得到第三语音信号包括：
对第一语音信号进行时延和DOA估计，并计算出目标声源与外部传声器阵列端射连线的第一夹角通过第一夹角控制滤波器更新。
5.根据权利要求1所述的方法，其特征在于，所述计算第三语音信号中各个频点的信噪比包括：估计第三语音信号中小于等于3kHz的各频点的信噪比。
6.一种通话降噪耳机，包括：
至少一个外部传声器和一个内耳传声器安装在耳机上；
所述至少一个外部传声器安装在耳机佩戴时远离人耳的一侧，用于接收人耳外部的多个第一语音信号；
所述内耳传声器安装在耳机佩戴时与人耳接触的一侧，用于接收人耳内部的第二语音信号；
处理单元，用于对第一语音信号进行波束合成得到第三语音信号；对第二语音信号进行回声抵消处理以及频谱延拓处理得到第四语音信号；
所述处理单元，还用于计算第三语音信号中各个频点的信噪比，通过所述信噪比对第三语音信号和第四语音信号进行加权处理得到第五语音信号；
输出单元，用于将第五语音信号转换到时域并输出。
7.根据权利要求6所述的耳机，其特征在于，所述第一语音信号、第二语音信号均包括：目标语音信号、平稳态噪声和瞬态噪声。
8.根据权利要求6所述的耳机，其特征在于，所述对多个第一语音信号进行波束合成得到第三语音信号包括：
当通过一个外部传声器接收人耳外部的第一语音信号时，对接收的语音信号进行后滤波处理得到第三语音信号；
当通过至少两个外部传声器接收人耳外部的多个第一语音信号时，将至少两个外部传声器接收的多个第一语音信号形成固定波束，并对目标方向上的语音进行增强，输出固定波束信号；通过构造阻塞矩阵对第一语音信号中目标方向上的语音进行抑制，得到参考噪声信号；
对固定波束信号和参考噪声信号进行自适应滤波处理以及后滤波处理得到第三语音信号。
9.根据权利要求8所述的耳机，其特征在于，所述对固定波束信号和参考噪声信号进行自适应滤波处理以及后滤波处理得到第三语音信号包括：
对第一语音信号进行时延和DOA估计，并计算出目标声源与外部传声器阵列端射连线的第一夹角，通过第一夹角控制滤波器更新。
10.根据权利要求6所述的耳机，其特征在于，所述计算第三语音信号中各个频点的信噪比包括：估计第三语音信号中小于等于3kHz的各频点的信噪比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911230002.9A CN110856072B (zh) | 2019-12-04 | 2019-12-04 | 一种耳机通话降噪方法及耳机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911230002.9A CN110856072B (zh) | 2019-12-04 | 2019-12-04 | 一种耳机通话降噪方法及耳机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110856072A true CN110856072A (zh) | 2020-02-28 |
| CN110856072B CN110856072B (zh) | 2021-03-19 |
Family
ID=69607684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911230002.9A Active CN110856072B (zh) | 2019-12-04 | 2019-12-04 | 一种耳机通话降噪方法及耳机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110856072B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462743A (zh) * | 2020-03-30 | 2020-07-28 | 北京声智科技有限公司 | 一种语音信号处理方法及装置 |
| CN112053698A (zh) * | 2020-07-31 | 2020-12-08 | 出门问问信息科技有限公司 | 语音转换方法及装置 |
| CN112116918A (zh) * | 2020-09-27 | 2020-12-22 | 北京声加科技有限公司 | 语音信号增强处理方法和耳机 |
| CN112584266A (zh) * | 2020-11-23 | 2021-03-30 | 出门问问信息科技有限公司 | 一种信号处理方法、装置及耳机 |
| CN113163286A (zh) * | 2021-03-22 | 2021-07-23 | 九音(南京)集成电路技术有限公司 | 一种通话降噪方法、耳机和计算机存储介质 |
| CN113539291A (zh) * | 2021-07-09 | 2021-10-22 | 北京声智科技有限公司 | 音频信号的降噪方法、装置、电子设备及存储介质 |
| CN113630681A (zh) * | 2021-08-05 | 2021-11-09 | 北京安声浩朗科技有限公司 | 主动降噪耳机 |
| WO2022246737A1 (zh) * | 2021-05-27 | 2022-12-01 | 深圳市韶音科技有限公司 | 一种语音增强方法和系统 |
| WO2023194541A1 (en) * | 2022-04-06 | 2023-10-12 | Analog Devices International Unlimited Company | Audio signal processing techniques for noise mitigation |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170078790A1 (en) * | 2015-09-14 | 2017-03-16 | Knowles Electronics, Llc | Microphone Signal Fusion |
| CN106653043A (zh) * | 2016-12-26 | 2017-05-10 | 上海语知义信息技术有限公司 | 降低语音失真的自适应波束形成方法 |
| CN106797508A (zh) * | 2015-08-13 | 2017-05-31 | Ibk企业银行 | 用于改善音质的方法及耳机 |
| CN107221336A (zh) * | 2017-05-13 | 2017-09-29 | 深圳海岸语音技术有限公司 | 一种增强目标语音的装置及其方法 |
| EP3373602A1 (en) * | 2017-03-09 | 2018-09-12 | Oticon A/s | A method of localizing a sound source, a hearing device, and a hearing system |
| CN108632711A (zh) * | 2018-06-11 | 2018-10-09 | 广州大学 | 扩声系统增益自适应控制方法 |
| CN108735229A (zh) * | 2018-06-12 | 2018-11-02 | 华南理工大学 | 一种基于信噪比加权的幅度与相位联合补偿抗噪语音增强方法及实现装置 |
| CN109254261A (zh) * | 2018-08-30 | 2019-01-22 | 湖北工业大学 | 基于均匀圆阵epuma的相干信号零陷加深方法 |
| CN109688513A (zh) * | 2018-11-19 | 2019-04-26 | 恒玄科技（上海）有限公司 | 无线主动降噪耳机及双主动降噪耳机通话数据处理方法 |
| CN110085248A (zh) * | 2012-08-24 | 2019-08-02 | 奥迪康有限公司 | 个人通信中降噪和回波消除时的噪声估计 |
-
2019
- 2019-12-04 CN CN201911230002.9A patent/CN110856072B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110085248A (zh) * | 2012-08-24 | 2019-08-02 | 奥迪康有限公司 | 个人通信中降噪和回波消除时的噪声估计 |
| CN106797508A (zh) * | 2015-08-13 | 2017-05-31 | Ibk企业银行 | 用于改善音质的方法及耳机 |
| US20170078790A1 (en) * | 2015-09-14 | 2017-03-16 | Knowles Electronics, Llc | Microphone Signal Fusion |
| CN106653043A (zh) * | 2016-12-26 | 2017-05-10 | 上海语知义信息技术有限公司 | 降低语音失真的自适应波束形成方法 |
| EP3373602A1 (en) * | 2017-03-09 | 2018-09-12 | Oticon A/s | A method of localizing a sound source, a hearing device, and a hearing system |
| CN107221336A (zh) * | 2017-05-13 | 2017-09-29 | 深圳海岸语音技术有限公司 | 一种增强目标语音的装置及其方法 |
| CN108632711A (zh) * | 2018-06-11 | 2018-10-09 | 广州大学 | 扩声系统增益自适应控制方法 |
| CN108735229A (zh) * | 2018-06-12 | 2018-11-02 | 华南理工大学 | 一种基于信噪比加权的幅度与相位联合补偿抗噪语音增强方法及实现装置 |
| CN109254261A (zh) * | 2018-08-30 | 2019-01-22 | 湖北工业大学 | 基于均匀圆阵epuma的相干信号零陷加深方法 |
| CN109688513A (zh) * | 2018-11-19 | 2019-04-26 | 恒玄科技（上海）有限公司 | 无线主动降噪耳机及双主动降噪耳机通话数据处理方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462743B (zh) * | 2020-03-30 | 2023-09-12 | 北京声智科技有限公司 | 一种语音信号处理方法及装置 |
| CN111462743A (zh) * | 2020-03-30 | 2020-07-28 | 北京声智科技有限公司 | 一种语音信号处理方法及装置 |
| CN112053698A (zh) * | 2020-07-31 | 2020-12-08 | 出门问问信息科技有限公司 | 语音转换方法及装置 |
| CN112116918A (zh) * | 2020-09-27 | 2020-12-22 | 北京声加科技有限公司 | 语音信号增强处理方法和耳机 |
| CN112116918B (zh) * | 2020-09-27 | 2023-09-22 | 北京声加科技有限公司 | 语音信号增强处理方法和耳机 |
| CN112584266A (zh) * | 2020-11-23 | 2021-03-30 | 出门问问信息科技有限公司 | 一种信号处理方法、装置及耳机 |
| CN112584266B (zh) * | 2020-11-23 | 2023-02-21 | 出门问问信息科技有限公司 | 一种信号处理方法、装置及耳机 |
| CN113163286A (zh) * | 2021-03-22 | 2021-07-23 | 九音(南京)集成电路技术有限公司 | 一种通话降噪方法、耳机和计算机存储介质 |
| WO2022246737A1 (zh) * | 2021-05-27 | 2022-12-01 | 深圳市韶音科技有限公司 | 一种语音增强方法和系统 |
| CN113539291A (zh) * | 2021-07-09 | 2021-10-22 | 北京声智科技有限公司 | 音频信号的降噪方法、装置、电子设备及存储介质 |
| CN113630681A (zh) * | 2021-08-05 | 2021-11-09 | 北京安声浩朗科技有限公司 | 主动降噪耳机 |
| WO2023194541A1 (en) * | 2022-04-06 | 2023-10-12 | Analog Devices International Unlimited Company | Audio signal processing techniques for noise mitigation |
| US11978468B2 (en) | 2022-04-06 | 2024-05-07 | Analog Devices International Unlimited Company | Audio signal processing method and system for noise mitigation of a voice signal measured by a bone conduction sensor, a feedback sensor and a feedforward sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110856072B (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110856072B (zh) | 一种耳机通话降噪方法及耳机 | |
| TWI713844B (zh) | 用於語音處理的方法及積體電路 | |
| US9749731B2 (en) | Sidetone generation using multiple microphones | |
| US20190158965A1 (en) | Hearing aid comprising a beam former filtering unit comprising a smoothing unit | |
| US9723422B2 (en) | Multi-microphone method for estimation of target and noise spectral variances for speech degraded by reverberation and optionally additive noise | |
| US10269369B2 (en) | System and method of noise reduction for a mobile device | |
| EP3833041B1 (en) | Earphone signal processing method and system, and earphone | |
| US8611552B1 (en) | Direction-aware active noise cancellation system | |
| JP6069830B2 (ja) | 耳孔装着型収音装置、信号処理装置、収音方法 | |
| US11134348B2 (en) | Method of operating a hearing aid system and a hearing aid system | |
| US11330358B2 (en) | Wearable audio device with inner microphone adaptive noise reduction | |
| CN110782912A (zh) | 音源的控制方法以及扬声设备 | |
| JP2006139307A (ja) | 声音効果処理と騒音制御を有する装置及びその方法 | |
| CN112116918B (zh) | 语音信号增强处理方法和耳机 | |
| CN112866864A (zh) | 环境声透听方法、装置、计算机设备及耳机 | |
| JP6315046B2 (ja) | 耳孔装着型収音装置、信号処理装置、収音方法 | |
| US11153695B2 (en) | Hearing devices and related methods | |
| JP2020102835A (ja) | バイノーラル補聴器の空間聴覚を改善するための方法 | |
| DK201800462A1 (en) | METHOD OF OPERATING A HEARING AID SYSTEM AND A HEARING AID SYSTEM | |
| CN111327984B (zh) | 基于零陷滤波的耳机辅听方法和耳戴式设备 | |
| EP4199541A1 (en) | A hearing device comprising a low complexity beamformer | |
| CN114333888A (zh) | 基于白噪声增益控制的多波束联合降噪方法及装置 | |
| CN118158590A (zh) | 开放式可穿戴声学设备及主动降噪方法 | |
| CN118158588A (zh) | 开放式可穿戴声学设备及其主动降噪方法 | |
| JP2021150959A (ja) | 聴覚装置および聴覚装置に関連する方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |