CN113421580A - 降噪方法、存储介质、芯片及电子设备 - Google Patents
降噪方法、存储介质、芯片及电子设备 Download PDFInfo
- Publication number
- CN113421580A CN113421580A CN202110969638.6A CN202110969638A CN113421580A CN 113421580 A CN113421580 A CN 113421580A CN 202110969638 A CN202110969638 A CN 202110969638A CN 113421580 A CN113421580 A CN 113421580A
- Authority
- CN
- China
- Prior art keywords
- signal
- noise ratio
- frame
- noise
- conduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 55
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 152
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 230000003044 adaptive effect Effects 0.000 claims description 36
- 238000010606 normalization Methods 0.000 claims description 24
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 13
- 238000001228 spectrum Methods 0.000 description 36
- 230000005236 sound signal Effects 0.000 description 20
- 230000003595 spectral effect Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1785—Methods, e.g. algorithms; Devices
- G10K11/17853—Methods, e.g. algorithms; Devices of the filter
- G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/13—Hearing devices using bone conduction transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明涉及降噪技术领域,具体涉及一种降噪方法、存储介质、芯片及电子设备。降噪方法包括:获取气骨融合先验信噪比,气骨融合先验信噪比由融合本帧气导参数、本帧骨导参数及本帧气导噪声参数得到,根据气骨融合先验信噪比,计算降噪增益,根据降噪增益与气导参数,执行降噪操作。由于本实施例能够根据环境噪声自适应地将本帧气导参数、本帧骨导参数及本帧气导噪声参数进行融合,使得语音更加自然地且无切换感地传达给用户,从而提高用户体验感。
Description
技术领域
本发明涉及降噪技术领域,具体涉及一种降噪方法、存储介质、芯片及电子设备。
背景技术
随着移动语音通信的不断发展,大噪声环境下保持语音的可懂性、可靠性以及可听性变得非常重要。基于传统的单通道气传导麦克风的降噪算法存在过多局限性,例如在低信噪比的情况下,语音容易失真。
由于骨传导麦克风的物理传感特性使其不受环境噪声的影响,因此,基于骨传导麦克风和气传导麦克风的双麦降噪方法是较佳的选择。传统双麦降噪方法通常是采用骨导低频部分直接对气传导麦克风信号的低频部分进行补偿,此种方式存在明显的切换感,引起听觉的不适应。
发明内容
本发明实施例的一个目的旨在提供一种降噪方法、存储介质、芯片及电子设备,用于解决现有技术存在的技术缺陷。
在第一方面,本发明实施例提供一种降噪方法,包括:
获取气骨融合先验信噪比,所述气骨融合先验信噪比由融合本帧气导参数、本帧骨导参数及本帧气导噪声参数得到;
根据所述气骨融合先验信噪比,计算降噪增益;
根据所述降噪增益与所述本帧气导参数,执行降噪操作。
可选地,所述获取气骨融合先验信噪比包括:
根据所述本帧气导参数及本帧气导噪声参数,分别计算上帧气导先验信噪比和本帧气导后验信噪比;
根据所述本帧骨导参数及本帧气导噪声参数,计算骨导信噪比;
融合所述上帧气导先验信噪比、本帧气导后验信噪比及骨导信噪比,得到气骨融合先验信噪比。
可选地,所述融合所述上帧气导先验信噪比、本帧气导后验信噪比及骨导信噪比,得到气骨融合先验信噪比包括:
根据所述本帧气导后验信噪比,计算目标后验信噪比;
确定所述上帧气导先验信噪比的第一递归因子,所述目标后验信噪比的第二递归因子及所述骨导信噪比的第三递归因子;
根据每个信噪比及与每个信噪比对应的递归因子,计算气骨融合先验信噪比。
可选地,每个递归因子都由融合所述上帧气导先验信噪比、所述本帧气导后验信噪比及所述骨导信噪比得到。
可选地,所述第三递归因子与所述本帧气导噪声参数呈正相关关系。
可选地,所述第一递归因子都大于所述第二递归因子和所述第三递归因子。
可选地,所述第三递归因子大于所述第二递归因子。
可选地,所述确定所述上帧气导先验信噪比的第一递归因子包括:
对所述骨导信噪比作归一处理,得到归一变量,所述归一变量与所述骨导信噪比呈负相关关系;
确定所述上帧气导先验信噪比的第一自适应因子及所述目标后验信噪比的第二自适应因子;
根据所述归一变量、所述第一自适应因子及所述第二自适应因子,计算所述上帧气导先验信噪比的第一递归因子。
可选地,所述确定所述目标后验信噪比的第二递归因子包括:
根据所述归一变量及所述第二自适应因子,计算所述目标后验信噪比的第二递归因子。
可选地,所述确定所述骨导信噪比的第三递归因子包括:
根据所述归一变量及所述第一自适应因子,计算所述骨导信噪比的第三递归因子。
可选地,所述方法还包括:
若所述本帧骨导参数的频点不在有效信号频率范围,则根据所述第一自适应因子、所述上帧气导先验信噪比及所述目标后验信噪比,计算本帧气导先验信噪比;
根据所述本帧气导先验信噪比,计算本帧增益;
根据所述本帧增益与所述气导参数,执行降噪操作。
在第二方面,本发明实施例提供一种存储介质,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使电子设备执行上述的降噪方法。
在第三方面,本发明实施例提供一种芯片,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的降噪方法。
在第四方面,本发明实施例提供一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的降噪方法。
在本发明实施例提供的降噪方法中,获取气骨融合先验信噪比,气骨融合先验信噪比由融合本帧气导参数、本帧骨导参数及本帧气导噪声参数得到,根据气骨融合先验信噪比,计算降噪增益,根据降噪增益与本帧气导参数,执行降噪操作,由于气骨融合先验信噪比已融合本帧气导参数、本帧骨导参数及本帧气导噪声参数,本实施例结合气骨融合先验信噪比,能够根据环境噪声自适应地进行跟随降噪,使得语音更加自然地且无切换感地传达给用户,从而提高用户体验感。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例提供的一种耳机的电路结构示意图;
图2为本发明实施例提供的一种耳机降噪的场景示意图;
图3为本发明实施例提供的一种降噪方法的流程示意图;
图4为图3所示的S31的流程示意图;
图5a为图4所示的S313的流程示意图;
图5b为图5a所示的S3132的流程示意图;
图5c为本发明另一实施例提供的一种降噪方法的流程示意图;
图6a为本发明实施例提供的一种带噪语音谱的示意图,其中,此带噪语音谱未经过降噪操作;
图6b为采用传统气传导单通道的降噪方法对图6a所示的带噪语音谱进行降噪后的示意图;
图6c为采用本实施例提供的降噪方法对图6a所示的带噪语音谱进行降噪后的示意图;
图7为本发明实施例提供的一种电子设备的电路结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。再者,本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。
本文提供的降噪方法可以适用于任何合适类型电子设备,诸如耳机、手机、智能手表、平板电脑、呼叫机、音箱等电子设备,当电子设备为耳机时,耳机可以包括入耳式耳机、头戴式耳机或挂耳式耳机等。
请参阅图1,耳机100包括气传导麦克风11、第一ADC转换器12、第一采样率转换器13、骨传导麦克风14、第二ADC转换器15、第二采样率转换器16、控制器17及蓝牙通信模块18。
气传导麦克风11用于采集气导声音信号,气导声音信号为由空气作为传输介质而传输的声音信号,其中,气导声音信号可为带有环境噪声的声音信号,亦可为纯净声音信号。
第一ADC转换器12用于将气导声音信号转换成数字信号,第一采样率转换器13根据采样率对数字信号进行采样,得到气导信号。
骨传导麦克风14用于采集骨导声音信号,骨导声音信号为由骨骼等人体部位作为传输介质而传输的声音信号,其中,骨导声音信号可为带有电噪声的声音信号,亦可为纯净声音信号。
第二ADC转换器15用于将骨导声音信号转换成数字信号,第二采样率转换器16根据采样率对数字信号进行采样,得到骨导信号。
在一些实施例中,第二ADC转换器15的采样率与第一ADC转换器12的采样率相同。
控制器17根据气导信号与骨导信号,结合下文所阐述的降噪方法进行降噪,得到降噪后的语音信息。
蓝牙通信模块18在控制器17的控制下,与外部设备进行蓝牙通信,其中,控制器17可将降噪后的语音信息传输至蓝牙通信模块18,蓝牙通信模块18再将降噪后的语音信息发送至外部设备。
请参阅图2,用户21与用户22进行通话,其中,用户21的手机23通过基站24与用户22的电话25建立通信连接。
用户21头戴耳机26,耳机26与手机23建立蓝牙通信。耳机23设有气传导麦克风11与骨传导麦克风14,用户21产生声音信号“您好,张三”,一方面,此声音信号经由空气传输至气传导麦克风11而被采集,与此同时,气传导麦克风11也可采集到汽车27产生的环境噪声。另一方面,此声音信号还可通过用户21的骨骼等人体部位传输至骨传导麦克风14而被采集。
控制器17根据气导信号与骨导信号进行降噪,得到降噪后的语音信息28,并控制蓝牙通信模块18将降噪后的语音信息28发送至手机23,手机23将降噪后的语音信息28传输至基站24,基站24再将降噪后的语音信息28转发至电话25,用户22便可在电话25一侧听到无噪声或低噪声的语音信息。
在阐述本发明实施例提供的降噪方法之前,本文先简单阐述发明人在实现本发明的过程中发现的一种降噪方法,此种方法是先计算先验信噪比,再基于先验信噪比计算降噪增益,最后根据降噪增益进行降噪。其中,此种作法采用判决-引导(Decision-Directed,DD)算法进行计算先验信噪比,传统的DD算法推导如下:
为第帧第k频点对应的气导功率谱的功率参数,为第帧第k频点对应的气导噪声谱的功率参数,为第帧第k频点对应的增益,为第-1帧第k频点的先验信噪比,为在第帧第k频点的后验信噪比减去自然数1后的数值与0之间的最大值。
采用最小均方误差准则:
联立式(5)和(6),有:
由于未知,所以一般用代替,由上式可以看出随着与间的误差增大且减小,会有接近0的趋势,反之则接近1。由式子三可知,DD算法的成立是建立在人声与噪声互不相关的假设上的,但是在大噪声环境或者某些极端环境下,显然这一假设是不成立的,这会造成人声的失真或多余噪声的残留,所以引入骨传导信号可以对气传导麦克风的信噪比低而造成的人声失真或噪声残留等情况进行补偿。
本发明实施例提供一种降噪方法,请参阅图3,降噪方法S300包括:
S31、获取气骨融合先验信噪比,气骨融合先验信噪比由融合本帧气导参数、本帧骨导参数及本帧气导噪声参数得到;
作为示例但非限定的是,本帧气导参数为当前帧的气导参数,其中,气导参数为根据气传导麦克风采集的气导声音信号得到的参数,耳机根据傅里叶变换算法,将气导声音信号转换成气导参数。在一些实施例中,气导参数为气导频谱参数或气导功率谱参数,气导频谱参数为气导频谱的频谱参数,气导功率谱参数为气导功率谱的功率参数。
作为示例但非限定的是,本帧气导噪声参数为当前帧的气导噪声参数,其中,气导噪声参数为气导噪声谱的参数,气导噪声谱可由根据噪声提取算法,在气导频谱或气导功率谱中提取得到,气导噪声谱包括气导噪声频谱或气导噪声功率谱,相应的,气导噪声参数包括气导噪声频谱的频谱参数或气导噪声功率谱的功率参数。
在一些实施例中,耳机根据采样率,在有效信号频率范围内提取每个气导频点对应的本帧气导参数,根据本帧气导参数,确定气导噪声谱,根据气导噪声谱,确定本帧气导噪声参数,其中,气导噪声主要为环境噪声。
作为示例但非限定的是,本帧骨导参数为当前帧的骨导参数,其中,骨导参数为根据骨传导麦克风采集的骨导声音信号得到的参数,耳机根据傅里叶变换算法,将骨导声音信号转换成骨导参数。在一些实施例中,骨导参数为骨导频谱参数或骨导功率谱参数,骨导频谱参数为骨导频谱的频谱参数,骨导功率谱参数为骨导功率谱的功率参数。
由于气骨融合先验信噪比融合本帧气导参数、本帧骨导参数及本帧气导噪声参数,因此,气骨融合先验信噪比可跟随本帧气导参数、本帧骨导参数或本帧气导噪声参数的变化而变化。
S32、根据气骨融合先验信噪比,计算降噪增益;
作为示例但非限定的是,降噪增益为降低噪声的增益,在一些实施例中,耳机可以根据任意合适增益算法计算降噪增益,例如增益算法包括维纳滤波算法或最小均方误差算法等。
S33、根据降噪增益与本帧气导参数,执行降噪操作。
在一些实施例中,当本帧气导参数为频谱参数,耳机将降噪增益与频谱参数进行相乘,得到降噪信号,耳机输出降噪信号以完成降噪操作。
由于气骨融合先验信噪比已融合本帧气导参数、本帧骨导参数及本帧气导噪声参数,本实施例结合气骨融合先验信噪比,能够根据环境噪声自适应地进行跟随降噪,使得语音更加自然地且无切换感地传达给用户,从而提高用户体验感。
在一些实施例中,获取气骨融合先验信噪比时,请参阅图4,S31包括:
S311、根据本帧气导参数及本帧气导噪声参数,分别计算上帧气导先验信噪比和本帧气导后验信噪比;
S312、根据本帧骨导参数及本帧气导噪声参数,计算骨导信噪比;
S313、融合上帧气导先验信噪比、本帧气导后验信噪比及骨导信噪比,得到气骨融合先验信噪比。
作为示例但非限定的是,上帧气导先验信噪比为帧序排列在当前帧气导信号前方的气导信号的先验信噪比,举例而言,第l帧气导信号为当前帧气导信号,第l-1帧气导信号为上帧气导信号,第l-1帧气导信号的先验信噪比为上帧气导先验信噪比。再举例而言,请参见式子一,为上帧气导先验信噪比,为当前帧气导先验信噪比。
在一些实施例中,耳机可以根据本帧气导参数,获取上帧气导参数,以及根据本帧气导噪声参数,获取上帧气导噪声参数。接着,耳机根据根据式子二,计算上帧气导先验信噪比。
作为示例但非限定的是,本帧气导后验信噪比为当前帧气导信号的后验信噪比,举例而言,请参见式子三,为当前帧气导信号的后验信噪比,为在本帧气导后验信噪比减去自然数1的数值与0之间的最大值。在一些实施例中,耳机可以根据式子三,计算本帧气导后验信噪比。
作为示例但非限定的是,骨导信噪比为当前帧骨导信号的先验信噪比,举例而言,请参见式子八与式子九:
本实施例能够将上帧气导先验信噪比、本帧气导后验信噪比及骨导信噪比进行融合,以得到气骨融合先验信噪比,从而能够跟随气导信号及其噪声信号、骨导信号及其噪声进行自适应地变化,以便能够有效地降低噪声。
在一些实施例中,请参阅图5a,S313包括:
S3131、根据本帧气导后验信噪比,计算目标后验信噪比;
S3132、确定上帧气导先验信噪比的第一递归因子,目标后验信噪比的第二递归因子及骨导信噪比的第三递归因子;
S3133、根据每个信噪比及与每个信噪比对应的递归因子,计算气骨融合先验信噪比。
举例而言,计算目标后验信噪比时,请继续参见式子三,为目标后验信噪比,=max(本帧气导后验信噪比-1,0),假设本帧气导后验信噪比为,则=max(-1,0),即目标后验信噪比为本帧气导后验信噪比与0之间的最大值。
再举例而言,计算气骨融合先验信噪比时,请参见式子十:
因此,耳机可以根据每个信噪比及与每个信噪比对应的递归因子,计算气骨融合先验信噪比。
在一些实施例中,每个递归因子都由融合上帧气导先验信噪比、本帧气导后验信噪比及骨导信噪比得到,举例而言,第一递归因子、第二递归因子或第三递归因子都是融合上帧气导先验信噪比、本帧气导后验信噪比及骨导信噪比得到,因此,本帧气导参数或者本帧气导噪声参数或本帧骨导参数出现变化,或者本帧气导参数与本帧骨导参数的比例出现变化,或者本帧气导噪声参数与本帧骨导参数的比例出现变化,上述变化都可以反映在每个递归因子上,使得耳机能够依据上述的变化,自适应地调节各个递归因子,使得骨导信号与气导信号能够无缝融合时,还可有效地降低噪声。
在一些实施例中,第一递归因子、第二递归因子及第三递归因子的总和为自然数1。
在一些实施例中,第三递归因子与本帧气导噪声参数呈正相关关系,亦即,本帧气导噪声参数越大,第三递归因子越大,骨导信噪比在气骨融合先验信噪比的占比越大;反之,本帧气导噪声参数越小,第三递归因子越小,骨导信噪比在气骨融合先验信噪比的占比越小。
通常,当环境噪声越大时,越容易引起人声失真,尤其当气导先验信噪比比较小时,降噪不够彻底而容易残留多余噪声。由于骨导信号不受环境噪声的影响,利用骨导信号在有效信号范围内来抬高或降低气骨融合先验信噪比,亦即利用骨导信号能够可靠和有效地调节气骨融合先验信噪比,使得气骨融合先验信噪比能够跟随着环境噪声呈正相关变化,后期耳机根据气骨融合先验信噪比输出的降噪信号可跟随着环境噪声的正相关变化,从而能够避免人声失真或者有效地压制噪声。
本实施例通过将第三递归因子与本帧气导噪声参数设定为正相关关系,使得骨导信噪比与第三递归因子的作用结果也呈正相关变化,从而能够正相关地自适应调节气骨融合先验信噪比,为后期过滤噪声和提高人声的清晰度。
通常,在降噪过程中,若相邻两帧的降噪信号出现突变或者变化过陡,此现象会极大影响到降噪信号的平滑性,会使得用户听到的降噪信号不够自然,因此,耳机可以设计第一递归因子大于第二递归因子,及第一递归因子大于第三递归因子,由于第一递归因子关联的是上帧气导先验信噪比,气骨融合先验信噪比主要取决于上帧气导先验信噪比,为了保证上帧的气骨融合先验信噪比与本帧的气骨融合先验信噪比之间能够平滑过渡,免于突变,可以设计第一递归因子大于第二递归因子,及第一递归因子大于第三递归因子,使得上帧气导先验信噪比与第一递归因子的结果能够始终占据主体地位,避免受环境噪声的变化而出现突增或突减的现象出现,从而能够实现相邻两帧降噪信号平滑过渡。
在一些实施例中,在保证降噪信号的平滑性的前提,如前所述,由于骨导信号不受环境噪声的影响,为了能够在有效信号范围内增强骨导信号对气骨融合先验信噪比的影响,可设计第三递归因子大于第二递归因子,以便增强骨导信噪比与第三递归因子的结果在气骨融合先验信噪比的影响,有利于提高降噪效果。
在一些实施例中,请参阅图5b,S3132包括:
S51、对骨导信噪比作归一处理,得到归一变量,归一变量与骨导信噪比呈负相关关系;
S52、确定上帧气导先验信噪比的第一自适应因子及目标后验信噪比的第二自适应因子;
S53、根据归一变量、第一自适应因子及第二自适应因子,计算上帧气导先验信噪比的第一递归因子。
举例而言,请继续参见式子八,由于:
由式子八可知,骨导信噪比越大,则表示在当前的环境噪声下,环境噪声信号相对于骨导信号而言越小,骨导信噪比可用于衡量环境噪声对于整体语音信号的影响,因此,本实施例为了将骨导信噪比融合到语音降噪中,且由于递归因子的取值范围都为0到1之间,且由于骨导信噪比与气导噪声谱的功率参数呈负相关关系,因此,本实施例对骨导信噪比作归一处理,将骨导信噪比作范围0到1之间的映射,亦即作归一处理。并且,本实施例希望映射后的变量能够遵循以下负相关关系:气导噪声谱的功率参数越大,骨导信噪比越小,归一变量越大;气导噪声谱的功率参数越小,骨导信噪比越大,归一变量越小。
在一些实施例中,S51包括:根据式子十一,对骨导信噪比作归一处理,得到归一变量,其中,式子十一为:
由式子四可知,不仅与当前帧的有关,还与上一帧的有关,并且出于对递归平滑的考虑,一般占较大比例,因此,为了更好地将骨导信噪比融合进来,本实施例引入目标后验信噪比的第二自适应因子,其中,第二自适应因子为:
由上式可知,归一变量与本帧气导噪声参数和本帧骨导参数有关,第一自适应因子和第二自适应因子都与上帧气导先验信噪比和本帧气导后验信噪比有关,上帧气导先验信噪比和本帧气导后验信噪比都与本帧气导噪声参数和本帧气导参数有关,因此,第一递归因子已巧妙地将本帧骨导参数和本帧气导参数进行融合计算,后续能够自适应地根据本帧骨导参数、本帧气导参数及本帧气导噪声参数的变化而变化。
另外,第一自适应因子与第二自适应因子的大小差别不大,假设把第二自适应因子近似看成第一自适应因子,则第一递归因子近似等于1,实际上,第一递归因子通常取值为0.92-0.99,因此,由式子十四可知,本实施例既可以将第一自适应因子、第二自适应因子及归一变量进行关联,由式子十可知,又可保证在中占据主要比例,又由于为上帧气导先验信噪比,为气骨融合先验信噪比,从而保证相邻两帧的降噪信号能够平滑过渡。
在一些实施例中,确定目标后验信噪比的第二递归因子时,S3132包括:根据归一变量及第二自适应因子,计算目标后验信噪比的第二递归因子。
由式子十五可知,当本帧气导噪声参数变小,则归一变量变小,第二递归因子变大,则说明由于环境噪声比较小,可以适当降低骨导信号的补偿,提高气导信号的占比。当本帧气导噪声参数变大,则归一变量变大,第二递归因子变小,则说明由于环境噪声比较大,可以适当提高骨导信号的补偿,降低气导信号的占比。
在一些实施例中,确定骨导信噪比的第三递归因子时,S3132包括:根据归一变量及第一自适应因子,计算骨导信噪比的第三递归因子。
由式子十六可知,当本帧气导噪声参数变小,则归一变量变小,第三递归因子变小,则说明由于环境噪声比较小,可以适当降低骨导信号的补偿,提高气导信号的占比。当本帧气导噪声参数变大,则归一变量变大,第三递归因子变大,则说明由于环境噪声比较大,可以适当提高骨导信号的补偿,提高气导信号的占比。
在一些实施例中,请参阅图5c,降噪方法S300还包括:
S34、若本帧骨导参数的频点不在有效信号频率范围,则根据第一自适应因子、上帧气导先验信噪比及目标后验信噪比,计算本帧气导先验信噪比;
S35、根据本帧气导先验信噪比,计算本帧增益;
S36、根据本帧增益与本帧气导参数,执行降噪操作。
S31具体为:若本帧骨导参数的频点在有效信号频率范围,获取气骨融合先验信噪比。
作为示例但非限定的是,有效信号频率范围为融合至气骨融合先验信噪比的骨导信号所在的频率范围,由骨导信号的物理特性可知,骨导信号可在低频段对气导信号进行补偿,通常,有效信号频率范围为0-1000Hz。
若本帧骨导参数的频点不在有效信号频率范围,则耳机不使用骨导信号对气导信号作补偿。若本帧骨导参数的频点不在有效信号频率范围,则耳机根据第一自适应因子、上帧气导先验信噪比及目标后验信噪比,计算本帧气导先验信噪比,举例而言,请继续参见式子一,耳机可以结合式子一的公式,计算本帧气导先验信噪比。
本文将本帧骨导参数的频点不在有效信号频率范围和在有效信号频率范围作以下汇总,具体如下:
因此,耳机不仅能够在有效信号频率范围使用骨导信号对气导信号作补偿以进行降噪,而且还能够对不在有效信号频率范围的气导信号进行降噪。
为了表达采用本实施例提供的降噪方法的降噪效果,本文结合图6a至图6c进行说明,其中,在每个图的坐标系中,横坐标为时间,纵坐标为频率,每个图中浅暗灰色的细点表示为噪声,发亮白色点组成的一簇簇白亮区域为正常语音。
由于本实施例提供的降噪方法涉及到骨导信号是在有效频率范围内的骨导信号,为了更加有效地表达降噪效果,可以在每个图中选择200Hz到800Hz的语音谱进行说明。
在图6a中,语音谱区域61包含噪声与正常语音,由图6a可知,在200Hz到800Hz之间,噪声散布在各个时间点的正常语音中。
在图6b中,语音谱区域62包含噪声与正常语音,由图6b可知,相对图6a的语音谱区域61,在200Hz到800Hz之间,虽然部分噪声被过滤,但是还残留一些噪声,另外,在200Hz到800Hz之间的正常语音也被过滤,尤其在接近200Hz时部分语音谱中,此现象越明显,容易出现语音失真。
在图6c中,语音谱区域63包含噪声与正常语音,由图6c可知,相对图6b的语音谱区域62,在200Hz到800Hz之间,绝大部分噪声被过滤,另外,在200Hz到800Hz之间的正常语音几乎保留着,尤其在接近200Hz时部分语音谱中,保留现象越明显,降低语音失真概率。
需要说明的是,在上述各个实施方式中,上述各步骤之间并不必然存在一定的先后顺序,本领域普通技术人员,根据本发明实施方式的描述可以理解,不同实施方式中,上述各步骤可以有不同的执行顺序,亦即,可以并行执行,亦可以交换执行等等。
请参阅图7,图7为本发明实施例提供的一种电子设备的电路结构示意图,其中,电子设备可以为芯片等电子产品。如图7所示,电子设备700包括一个或多个处理器71以及存储器72。其中,图7中以一个处理器71为例。
处理器71和存储器72可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器72作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的降噪方法对应的程序指令/模块。处理器71通过运行存储在存储器72中的非易失性软件程序、指令以及模块,从而执行降噪装置的各种功能应用以及数据处理,即实现上述方法实施例提供的降噪方法以及上述装置实施例的各个模块或单元的功能。
存储器72可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器72可选包括相对于处理器71远程设置的存储器,这些远程存储器可以通过网络连接至处理器71。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器72中,当被所述一个或者多个处理器71执行时,执行上述任意方法实施例中的降噪方法。
本发明实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图7中的一个处理器71,可使得上述一个或多个处理器可执行上述任意方法实施例中的降噪方法。
本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被电子设备执行时,使所述电子设备执行任一项所述的降噪方法。
以上所描述的装置或设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的,作为模块单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种降噪方法,其特征在于,包括:
获取气骨融合先验信噪比,所述气骨融合先验信噪比由融合本帧气导参数、本帧骨导参数及本帧气导噪声参数得到;
根据所述气骨融合先验信噪比,计算降噪增益;
根据所述降噪增益与所述本帧气导参数,执行降噪操作。
2.根据权利要求1所述的方法,其特征在于,所述获取气骨融合先验信噪比包括:
根据所述本帧气导参数及本帧气导噪声参数,分别计算上帧气导先验信噪比和本帧气导后验信噪比;
根据所述本帧骨导参数及本帧气导噪声参数,计算骨导信噪比;
融合所述上帧气导先验信噪比、本帧气导后验信噪比及骨导信噪比,得到气骨融合先验信噪比。
3.根据权利要求2所述的方法,其特征在于,所述融合所述上帧气导先验信噪比、本帧气导后验信噪比及骨导信噪比,得到气骨融合先验信噪比包括:
根据所述本帧气导后验信噪比,计算目标后验信噪比;
确定所述上帧气导先验信噪比的第一递归因子,所述目标后验信噪比的第二递归因子及所述骨导信噪比的第三递归因子;
根据每个信噪比及与每个信噪比对应的递归因子,计算气骨融合先验信噪比。
4.根据权利要求3所述的方法,其特征在于,每个递归因子都由融合所述上帧气导先验信噪比、所述本帧气导后验信噪比及所述骨导信噪比得到。
5.根据权利要求3所述的方法,其特征在于,所述第三递归因子与所述本帧气导噪声参数呈正相关关系。
6.根据权利要求3所述的方法,其特征在于,所述第一递归因子都大于所述第二递归因子和所述第三递归因子。
7.根据权利要求6所述的方法,其特征在于,所述第三递归因子大于所述第二递归因子。
8.根据权利要求3所述的方法,其特征在于,所述确定所述上帧气导先验信噪比的第一递归因子包括:
对所述骨导信噪比作归一处理,得到归一变量,所述归一变量与所述骨导信噪比呈负相关关系;
确定所述上帧气导先验信噪比的第一自适应因子及所述目标后验信噪比的第二自适应因子;
根据所述归一变量、所述第一自适应因子及所述第二自适应因子,计算所述上帧气导先验信噪比的第一递归因子。
9.根据权利要求8所述的方法,其特征在于,所述确定所述目标后验信噪比的第二递归因子包括:
根据所述归一变量及所述第二自适应因子,计算所述目标后验信噪比的第二递归因子。
10.根据权利要求8所述的方法,其特征在于,所述确定所述骨导信噪比的第三递归因子包括:
根据所述归一变量及所述第一自适应因子,计算所述骨导信噪比的第三递归因子。
11.根据权利要求8所述的方法,其特征在于,还包括:
若所述本帧骨导参数的频点不在有效信号频率范围,则根据所述第一自适应因子、所述上帧气导先验信噪比及所述目标后验信噪比,计算本帧气导先验信噪比;
根据所述本帧气导先验信噪比,计算本帧增益;
根据所述本帧增益与所述本帧气导参数,执行降噪操作。
12.一种存储介质,其特征在于,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使电子设备执行如权利要求1至11任一项所述的降噪方法。
13.一种芯片,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至11任一项所述的降噪方法。
14.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至11任一项所述的降噪方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110969638.6A CN113421580B (zh) | 2021-08-23 | 2021-08-23 | 降噪方法、存储介质、芯片及电子设备 |
US17/893,220 US11670279B2 (en) | 2021-08-23 | 2022-08-23 | Method for reducing noise, storage medium, chip and electronic equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110969638.6A CN113421580B (zh) | 2021-08-23 | 2021-08-23 | 降噪方法、存储介质、芯片及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113421580A true CN113421580A (zh) | 2021-09-21 |
CN113421580B CN113421580B (zh) | 2021-11-05 |
Family
ID=77719228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110969638.6A Active CN113421580B (zh) | 2021-08-23 | 2021-08-23 | 降噪方法、存储介质、芯片及电子设备 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11670279B2 (zh) |
CN (1) | CN113421580B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2811485A1 (en) * | 2013-06-07 | 2014-12-10 | Fujitsu Limited | Sound correcting apparatus, sound correcting program, and sound correcting method |
US10219063B1 (en) * | 2018-04-10 | 2019-02-26 | Acouva, Inc. | In-ear wireless device with bone conduction mic communication |
CN109767783A (zh) * | 2019-02-15 | 2019-05-17 | 深圳市汇顶科技股份有限公司 | 语音增强方法、装置、设备及存储介质 |
CN110265056A (zh) * | 2019-06-11 | 2019-09-20 | 安克创新科技股份有限公司 | 音源的控制方法以及扬声设备、装置 |
CN110931031A (zh) * | 2019-10-09 | 2020-03-27 | 大象声科(深圳)科技有限公司 | 一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009102811A1 (en) * | 2008-02-11 | 2009-08-20 | Cochlear Americas | Cancellation of bone conducted sound in a hearing prosthesis |
EP2458586A1 (en) * | 2010-11-24 | 2012-05-30 | Koninklijke Philips Electronics N.V. | System and method for producing an audio signal |
RU2605522C2 (ru) * | 2010-11-24 | 2016-12-20 | Конинклейке Филипс Электроникс Н.В. | Устройство, содержащее множество аудиодатчиков, и способ его эксплуатации |
US10332541B2 (en) * | 2014-11-12 | 2019-06-25 | Cirrus Logic, Inc. | Determining noise and sound power level differences between primary and reference channels |
KR101662946B1 (ko) * | 2015-03-25 | 2016-10-06 | 연세대학교 산학협력단 | 음질 개선 장치 및 그 제어 방법 |
KR101934636B1 (ko) * | 2017-04-14 | 2019-01-02 | 한양대학교 산학협력단 | 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치 |
US11290811B2 (en) * | 2020-02-01 | 2022-03-29 | Bitwave Pte Ltd. | Helmet for communication in extreme wind and environmental noise |
CN112017696B (zh) * | 2020-09-10 | 2024-02-09 | 歌尔科技有限公司 | 耳机的语音活动检测方法、耳机及存储介质 |
EP4270987A1 (en) * | 2020-12-28 | 2023-11-01 | Shenzhen Shokz Co., Ltd. | Audio signal processing method and system for suppressing echo |
-
2021
- 2021-08-23 CN CN202110969638.6A patent/CN113421580B/zh active Active
-
2022
- 2022-08-23 US US17/893,220 patent/US11670279B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2811485A1 (en) * | 2013-06-07 | 2014-12-10 | Fujitsu Limited | Sound correcting apparatus, sound correcting program, and sound correcting method |
US10219063B1 (en) * | 2018-04-10 | 2019-02-26 | Acouva, Inc. | In-ear wireless device with bone conduction mic communication |
CN109767783A (zh) * | 2019-02-15 | 2019-05-17 | 深圳市汇顶科技股份有限公司 | 语音增强方法、装置、设备及存储介质 |
CN110265056A (zh) * | 2019-06-11 | 2019-09-20 | 安克创新科技股份有限公司 | 音源的控制方法以及扬声设备、装置 |
CN110931031A (zh) * | 2019-10-09 | 2020-03-27 | 大象声科(深圳)科技有限公司 | 一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113421580B (zh) | 2021-11-05 |
US11670279B2 (en) | 2023-06-06 |
US20230077311A1 (en) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11363390B2 (en) | Perceptually guided speech enhancement using deep neural networks | |
US20180176696A1 (en) | Binaural hearing device system with a binaural impulse environment detector | |
WO2021128670A1 (zh) | 降低噪声的方法、装置、电子设备及可读存储介质 | |
CN109493877B (zh) | 一种助听装置的语音增强方法和装置 | |
Launer et al. | Hearing aid signal processing | |
CN113421583B (zh) | 降噪方法、存储介质、芯片及电子设备 | |
US10932030B2 (en) | Headphones | |
US20230143347A1 (en) | Hearing device with feedback instability detector that changes an adaptive filter | |
US10536785B2 (en) | Hearing device and method with intelligent steering | |
CN111901737A (zh) | 一种基于智能终端的助听器参数自适应方法 | |
CN111669682A (zh) | 扬声设备音质的优化方法 | |
JP2024517721A (ja) | ノイズの多い環境における音声最適化 | |
CN113421580B (zh) | 降噪方法、存储介质、芯片及电子设备 | |
CN112055278A (zh) | 融合入耳麦克风和耳外麦克风的深度学习降噪方法及设备 | |
CN116782084A (zh) | 音频信号处理方法及装置、耳机、存储介质 | |
Kąkol et al. | A study on signal processing methods applied to hearing aids | |
CN113938782A (zh) | 耳机入耳状态的识别及耳机模式的自适应调节方法和耳机 | |
CN115398934A (zh) | 再现音频信号时主动抑制闭塞效应的方法、装置、耳机及计算机程序 | |
US11902747B1 (en) | Hearing loss amplification that amplifies speech and noise subsignals differently | |
CN113450819B (zh) | 信号处理方法及相关产品 | |
CN118042348A (zh) | 音频处理方法、装置、音频播放设备以及存储介质 | |
CN116405818A (zh) | 包括低复杂性波束形成器的听力装置 | |
CN116982106A (zh) | 主动降噪音频设备和用于主动降噪的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |