CN112400326B - 一种骨传声信号处理方法、装置、芯片、耳机及存储介质 - Google Patents
一种骨传声信号处理方法、装置、芯片、耳机及存储介质 Download PDFInfo
- Publication number
- CN112400326B CN112400326B CN201980001396.2A CN201980001396A CN112400326B CN 112400326 B CN112400326 B CN 112400326B CN 201980001396 A CN201980001396 A CN 201980001396A CN 112400326 B CN112400326 B CN 112400326B
- Authority
- CN
- China
- Prior art keywords
- gain
- frame
- bone conduction
- wave signal
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Abstract
本申请涉及信号处理领域,尤其涉及一种骨传声信号处理方法、装置、芯片、耳机及存储介质。一种骨传声信号处理方法包括:骨传声传感器采集骨传导声波信号,骨传声传感器与耳道接触或通过固体介质与耳道之间形成振动传导路径;对骨传导声波信号进行处理,处理包括反相;将处理后的骨传导声波信号传输到人耳。通过骨传声传感器采集骨传导声波信号并对骨传导声波信号进行反相处理后传输到人耳,解决了耳机的闭塞效应的问题,显著的提升了用户体验。
Description
技术领域
本申请涉及信号处理领域,尤其涉及一种骨传声信号处理方法、装置、芯片、耳机及存储介质。
背景技术
如图1所示,人耳可以通过三条路径听到自己的声音,A3路径:小于1.5kHz的声波信号经由嘴巴6,人头7周围的空气,进入到耳道2,最终引起耳膜3的振动;A2路径:部分小于1.5kHz的声波信号,经过喉骨、颈部的软骨组织等到达耳道2,引起耳膜3振动;A1路径:高于1.5kHz的声波信号,经过喉咙、头部的软骨组织到达中耳4或内耳5。耳机塞入人耳1后,耳膜3、耳道2、耳机三者构成立体密闭空间,人体声带发声时,部分1.5kHz以下声波信号仍然可以通过喉骨、颈部软组织等到达耳道2,由于立体密闭空间阻隔了声波传输通道,声波信号在耳道2中会形成振荡,到达耳膜时声压会增强,使佩戴者不舒服,产生闭塞效应。改善闭塞效应的最常见的方法是在听筒中设计一个或多个通孔,但是这种方法会导致环境噪音泄露到耳朵中。
发明内容
针对现有技术中入耳式耳机导致的闭塞效应的问题,本申请提供了一种骨传声信号处理方法、装置、芯片、耳机及存储介质。
本申请的实施例的第一方面提供了一种骨传声信号处理方法,包括:骨传声传感器采集骨传导声波信号,骨传声传感器与耳道接触或通过固体介质与耳道之间形成振动传导路径;对骨传导声波信号进行处理,处理包括反相;将处理后的骨传导声波信号传输到人耳。
另外,结合第一方面,在第一方面的一种实现方式中,将处理后的骨传导声波信号传输到人耳包括:耳机的扬声器播放处理后的骨传导声波信号;或者骨传声传感器将处理后的骨传导声波信号传输到人耳。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,处理还包括根据骨传声传感器的灵敏度调整预设频段内的骨传导声波信号的幅值;
预设频段内的频点对应的骨传声传感器的灵敏度越高,频点的骨传导声波信号的幅值的第一增益越小,幅值的放大倍数包括第一增益。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,根据骨传声传感器的灵敏度调整预设频段内的骨传导声波信号的幅值包括:设置频点的骨传导声波信号的幅值的第一增益与频点对应的骨传声传感器的灵敏度成反比。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,根据骨传声传感器的灵敏度调整预设频段内的骨传导声波信号的幅值前,处理还包括对骨传声传感器的频率灵敏度曲线进行拟合,拟合包括一次线性拟合、二次曲线拟合或者三次曲线拟合。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,耳机的扬声器播放处理后的骨传导声波信号之后,处理还包括根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益,幅值的放大倍数包括第二增益;
第四声波信号为第二声波信号减去有用声音信号得到,第二声波信号为扬声器播放处理后的骨传导声波信号时,耳机的麦克风在耳道内采集到的,有用声音信号为扬声器播放处理后的骨传导声波信号时,扬声器播放的除处理后的骨传导声波信号之外的声波信号。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益包括:
若第N帧的第二增益小于第(N-1)帧的第二增益,且第N帧的第四声波信号的能量大于第(N-1)帧的第四声波信号的能量,则设置第(N+1)帧的第二增益大于第N帧的第二增益,或者,若第N帧的第四声波信号的能量小于或等于第(N-1)帧的第四声波信号的能量,则设置第(N+1)帧的第二增益小于或等于第N帧的第二增益;或者
若第N帧的第二增益大于第(N-1)帧的第二增益,且第N帧的第四声波信号的能量大于第(N-1)帧的第四声波信号的能量,则设置第(N+1)帧的第二增益小于第N帧的第二增益,或者,若第N帧的第四声波信号的能量小于或等于第(N-1)帧的第四声波信号的能量,则设置第(N+1)帧的第二增益大于或等于第N帧的第二增益,N>1且为整数。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,设置第(N+1)帧的第二增益小于或等于第N帧的第二增益包括:
第N帧的第四声波信号满足第一预设条件时,设置第(N+1)帧的第二增益小于第N帧的第二增益,或者,第N帧的第四声波信号不满足第一预设条件时,设置第(N+1)帧的第二增益等于当前帧的第二增益;
设置第(N+1)帧的第二增益大于或等于第N帧的第二增益包括:第N帧的第四声波信号满足第一预设条件时,设置第(N+1)帧的第二增益大于第N帧的第二增益,或者,第N帧的第四声波信号不满足第一预设条件时,设置(N+1)帧的第二增益等于当前帧的第二增益。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,第一预设条件包括:
第四声波信号的能量大于或者等于第一能量阈值,第一能量阈值小于或者等于3dB;或者
能量比值大于或等于能量比值阈值;能量比值为第四声波信号的能量与处理后的骨传导声波信号的能量的比值,能量比值阈值小于或等于0.1、0.2、0.3、0.4或0.5。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,第N帧的第四声波信号满足第一预设条件时,设置第(N+1)帧的第二增益小于第N帧的第二增益,或者,设置第(N+1)帧的第二增益大于第N帧的第二增益,包括:
第N帧的第四声波信号的能量越大,或者第N帧的第四声波信号的能量和第一能量阈值之间的差值越大,或者第N帧的能量比值越大,或者第N帧的能量比值和能量比值阈值之间的差值越大时,设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值越大。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值越大包括:
设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的第四声波信号的能量成正比;或者
设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的第四声波信号的能量和第一能量阈值之间的差值成正比;或者
设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的能量比值成正比;或者
设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的能量比值和能量比值阈值之间的差值成正比。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益还包括:
第一帧的第四声波信号满足第一预设条件时,设置第二帧的第二增益小于第一帧的第二增益,或者,设置第二帧的第二增益大于第一帧的第二增益;或者
第一帧的第四声波信号不满足第一预设条件时,设置第二帧的第二增益等于第一帧的第二增益。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,耳机的扬声器播放处理后的骨传导声波信号之后,处理还包括调整下一帧的骨传导声波信号的相位。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,当根据上一帧的第四声波信号连续调整M帧的骨传导声波信号的幅值的第二增益后,调整M帧的骨传导声波信号的下一帧的骨传导声波信号的相位,相位的调整范围为-20度至+20度,M为整数且M>1。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,还包括选择骨传声传感器,选择骨传声传感器包括:
根据归一化后的骨传声传感器的频率灵敏度曲线的平坦度选择骨传声传感器。
本申请的实施例的第二方面提供了一种骨传声信号处理装置,包括:
骨传声传感器模块,用于采集骨传导声波信号,骨传声传感器模块与耳道接触或通过固体介质与耳道之间形成振动传导路径;
骨传声处理模块,用于对骨传导声波信号进行处理,骨传声处理模块包括反相模块;以及
输出模块,用于将处理后的骨传导声波信号传输到人耳。
另外,结合第二方面,在第二方面的一种实现方式中,输出模块包括:
扬声器模块,用于播放处理后的骨传导声波信号;或者
骨传声处理模块还用于将处理后的骨传导声波信号传输到人耳。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,骨传声处理模块还包括
第一幅值处理模块,第一幅值处理模块用于根据骨传声传感器模块的灵敏度调整预设频段内的骨传导声波信号的幅值;
预设频段内的频点对应的骨传声传感器模块的灵敏度越高,频点的骨传导声波信号的幅值的第一增益越小,幅值的放大倍数包括第一增益。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,第一幅值处理模块还用于设置频点的骨传导声波信号的幅值的第一增益与频点对应的骨传声传感器模块的灵敏度成反比。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,第一幅值处理模块前,骨传声处理模块还包括拟合模块,拟合模块用于对骨传声传感器模块的频率灵敏度曲线进行拟合,拟合包括一次线性拟合、二次曲线拟合或者三次曲线拟合。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,扬声器模块之后,骨传声处理模块还包括第二幅值处理模块,第二幅值处理模块用于根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益;
第四声波信号为第二声波信号减去有用声音信号得到,第二声波信号为扬声器模块播放处理后的骨传导声波信号时,耳机的麦克风在耳道内采集到的,有用声音信号为扬声器模块播放处理后的骨传导声波信号时,扬声器模块播放的除处理后的骨传导声波信号之外的声波信号。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,第二幅值处理模块包括:
增益调节模块,若第N帧的第二增益小于第(N-1)帧的第二增益,且第N帧的第四声波信号的能量大于第(N-1)帧的第四声波信号的能量,增益调节模块用于设置第(N+1)帧的第二增益大于第N帧的第二增益,或者,若第N帧的第四声波信号的能量小于或等于第(N-1)帧的第四声波信号的能量,增益调节模块还用于设置第(N+1)帧的第二增益小于或等于第N帧的第二增益;或者
若第N帧的第二增益大于第(N-1)帧的第二增益,且第N帧的第四声波信号的能量大于第(N-1)帧的第四声波信号的能量,增益调节模块还用于设置第(N+1)帧的第二增益小于第N帧的第二增益,或者,若第N帧的第四声波信号的能量小于或等于第(N-1)帧的第四声波信号的能量,增益调节模块还用于设置第(N+1)帧的第二增益大于或等于第N帧的第二增益,N>1且为整数。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,增益调节模块还用于设置第(N+1)帧的第二增益小于或等于第N帧的第二增益包括:
第N帧的第四声波信号满足第一预设条件时,增益调节模块还用于设置第(N+1)帧的第二增益小于第N帧的第二增益,或者,第N帧的第四声波信号不满足第一预设条件时,增益调节模块还用于设置第(N+1)帧的第二增益等于当前帧的第二增益;
增益调节模块还用于设置第(N+1)帧的第二增益大于或等于第N帧的第二增益,包括:
第N帧的第四声波信号满足第一预设条件时,增益调节模块还用于设置第(N+1)帧的第二增益大于第N帧的第二增益,或者,第N帧的第四声波信号不满足第一预设条件时,增益调节模块还用于设置(N+1)帧的第二增益等于当前帧的第二增益。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,第一预设条件包括:
第四声波信号的能量大于或者等于第一能量阈值,第一能量阈值小于或者等于3dB;或者
能量比值大于或等于能量比值阈值;能量比值为第四声波信号的能量与处理后的骨传导声波信号的能量的比值,能量比值阈值小于或等于0.1、0.2、0.3、0.4或0.5。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,第N帧的第四声波信号满足第一预设条件时,增益调节模块还用于设置第(N+1)帧的第二增益小于第N帧的第二增益,或者增益调节模块还用于设置第(N+1)帧的第二增益大于第N帧的第二增益,包括:
第N帧的第四声波信号的能量越大,或者第N帧的第四声波信号的能量和第一能量阈值之间的差值越大,或者第N帧的能量比值越大,或者第N帧的能量比值和能量比值阈值之间的差值越大时,增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值越大。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值越大包括:
增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的第四声波信号的能量成正比;或者
增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的第四声波信号的能量和第一能量阈值之间的差值成正比;或者
增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的能量比值成正比;或者
增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的能量比值和能量比值阈值之间的差值成正比。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,第二幅值处理模块用于根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益还包括:
第一帧的第四声波信号满足第一预设条件时,第二幅值处理模块还用于设置第二帧的第二增益小于第一帧的第二增益,或者,第二幅值处理模块还用于设置第二帧的第二增益大于第一帧的第二增益;或者
第一帧的第四声波信号不满足第一预设条件时,第二幅值处理模块还用于设置第二帧的第二增益等于第一帧的第二增益。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,扬声器模块之后,骨传声处理模块还包括:
相位调整模块,用于调整下一帧骨传导声波信号的相位。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,当第二幅值处理模块根据上一帧的第四声波信号连续调整M帧的骨传导声波信号的幅值的第二增益后,相位调整模块还用于调整M帧的骨传导声波信号的下一帧的骨传导声波信号的相位,相位的调整范围为-20度至+20度,M为整数且M>1。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,还包括
骨传声传感器选择模块,用于选择骨传声传感器模块,骨传声传感器选择模块根据归一化后的骨传声传感器模块的频率灵敏度曲线的平坦度选择骨传声传感器模块。
本申请的实施例的第三方面提供了一种芯片,用于执行上述第一方面的骨传声信号处理方法。
本申请的实施例的第四方面提供了一种耳机,包括上述第三方面的芯片。
本申请的实施例的第五方面提供了一种计算机可读存储介质,包括:其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面的骨传声信号处理方法。
与现有技术相比,本申请实施例的有益效果在于:本申请实施例提供了一种骨传声信号处理方法、装置、芯片、耳机及存储介质,通过骨传声传感器采集骨传导声波信号并对骨传导声波信号进行反相处理后传输到人耳,解决了耳机的闭塞效应的问题,显著的提升了用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的声波信号传输路径示意图;
图2为本申请实施例的骨传声信号处理方法的流程图;
图3为本申请实施例的骨传声信号处理方法的系统框图;
图4为本申请实施例的又一骨传声信号处理方法的系统框图;
图5为本申请实施例的骨传声传感器的频率灵敏度曲线;
图6为本申请实施例的频率灵敏度曲线和拟合曲线;
图7为本申请实施例的又一骨传声信号处理方法的流程图;
图8为本申请实施例中的又一声波信号传输路径示意图;
图9为本申请实施例的再一骨传声信号处理方法的流程图;
图10为本申请实施例的再一骨传声信号处理方法的流程图;
图11为本申请实施例的再一骨传声信号处理方法的流程图;
图12为本实施例提供的一种骨传声信号处理装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的部分实施例采用举例的方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在各例子中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本申请实施例提供了一种骨传声信号处理方法,请参考图2,图2是本申请实施例的骨传声信号处理方法的流程图,该方法包括以下步骤:
001:骨传声传感器采集骨传导声波信号,骨传声传感器与耳道接触或通过固体介质与耳道之间形成振动传导路径。
骨传声传感器可以直接或间接地与耳道接触以便于采集到通过A2路径传输到耳道2内的声波信号,该骨传导声波信号除了包括小于1.5kHz的声波信号外,还可以包括部分大于或等于1.5kHz的声波信号,该骨传声传感器可以通过固体介质与耳道接触,该固体可以是金属,也可以是非金属,例如,骨传声传感器可以安装在柔性电路板或者印刷电路板上,柔性电路板或者印刷电路电路板经由耳机外壳结构接触耳道,从而构建一条固体的振动传导路径来采集通过A2路径传输到耳道2内的声波信号,或者,可以将骨传声传感器通过注塑的方式设置在耳机外壳的塑料内部,另外,骨传声传感器也可以直接与耳道接触,例如,骨传声可以设置在耳机外壳结构外部,贴在耳机壳外部的表面,从而与耳道接触。
002:对骨传导声波信号进行处理,处理包括反相;
骨传声传感器采集骨传导声波信号后,对骨传导声波信号进行反相,即将骨传导声波信号相位旋转180°,骨传导声波信号可以理解为是对通过A2路径传输到耳道2内的声波信号的估计,请参考图3,图3所示为本申请实施例的骨传声信号处理方法的系统框图,图3中,骨传声传感器8采集骨传导声波信号后,经过系统H(w)对骨传导声波信号进行处理,本实施例中,H(w)包括反相处理。
003:将处理后的骨传导声波信号传输到人耳。
将该反相后的骨传导声波信号10传输到人耳可以抵消通过A2路径传输到耳道2内的声波信号11。该反相后的骨传导声波信号10与通过A2路径传输到耳道2内的声波信号11的幅值相等、相位相反,二者叠加后为幅值为0的声波信号12,因而消除了通过A2路径传输到耳道2内的声波信号10,达到改善闭塞效应的作用,本实施例中,通过扬声器9将处理后的骨传导声波信号传输到人耳仅为示例性说明,也可以采用其他方式将处理后的骨传导声波信号传输到人耳,本实施例对此不做限制,如果存在有用声音信号s0(n),处理后的骨传导声波信号可以和有用声音信号同时播放,有用声音信号为用户主动选择播放的声波信号,例如,音乐或者通话语音等。本实施例可以适用于耳塞式耳机、入耳式耳机或者头戴式耳机等各种类型的耳机。
请参考图4,图4所示为本申请实施例的骨传声信号处理方法的又一系统框图,图4中骨传声传感器8采集骨传导声波信号,骨传声传感器8直接或间接与耳道接触,从而构建一条固体传导路径A21来采集通过A2路径传输到耳道2内的声波信号。对骨传导声波信号进行处理可以由耳机0中的处理器14实现,处理包括反相,因此,该处理器也可以为反相器,本实施例中,可以通过扬声器9将处理后的骨传导声波信号传输到人耳,但本实施例对将处理后的骨传导声波信号传输到人耳的具体方式不做限制。
基于上述实施例公开的内容,本实施例中,将处理后的骨传导声波信号传输到人耳可以包括以下两种方式:
方式一:耳机的扬声器播放处理后的骨传导声波信号;
方式二:骨传声传感器将处理后的骨传导声波信号传输到人耳。
通过方式一将处理后的骨传导声波信号传输到人耳,如图4所示,可以通过扬声器9将处理后的骨传导声波信号传输到人耳,以达到改善闭塞效应的目的。扬声器9在播放处理后的骨传导声波信号时,如果存在需要播放的有用声音信号,处理后的骨传导声波信号可以和有用声音信号同时播放。
通过方式二将处理后的骨传导声波信号传输到人耳,例如,可以直接通过骨传声传感器8的振子的振动,将处理后的骨传导声波信号传输到人耳,骨传声传感器的振动源可以是一个双工振子,该振子既能够输出振动信号,又能够采集振动信号,本实施例可以使用一个骨传声传感器同时采集骨传导声波信号和将处理后的骨传导声波信号传输到人耳,本实施例也可以采用两个骨传声传感器实现,一个骨传声传感器采集骨传导声波信号,另一个骨传声传感器将处理后的骨传导声波信号传输到人耳。
基于上述实施例公开的内容,本实施例中,处理还包括根据骨传声传感器的灵敏度调整预设频段内的骨传导声波信号的幅值。由于骨传声传感器在不同振动频率下的灵敏度存在差异,可能会导致骨传声传感器采集到的骨传导声波信号中不同频率成分的幅值有不同的变化,例如,以图5所示的骨传声传感器的频率灵敏度曲线为例,1kHz以下的骨传导声波信号被衰减得较多,而1kHz以上的骨传导声波信号相对被衰减的较少,以至于骨传导声波信号与通过A2路径传输到耳道2内的声波信号相差较大,从而使得闭塞效应改善效果不明显。骨传声传感器对不同频点的骨传导声波信号的衰减不同,根据骨传声传感器的灵敏度调整骨传导声波信号的幅值可以进一步提高改善闭塞效应的效果。一般地,语音信号频率范围为300Hz-3.4kHz,因此,预设频段可以为300Hz-3.4kHz;因为通过A2路径传输到耳道2内的声波信号主要集中在1.5kHz以下频段,因此,预设频段也可以为300Hz-1.5kHz,本实施例对预设频段具体的频率区间不做限定。根据骨传声传感器的灵敏度调整预设频段内的骨传导声波信号的幅值可以进一步提高改善闭塞效应的效果。
根据灵敏度调整预设频段内的骨传导声波信号的幅值时,预设频段内的频点对应的骨传声传感器的灵敏度越高时,可以设置该频点的骨传导声波信号的幅值的第一增益越小。幅值的放大倍数包括该第一增益,即,该第一增益是幅值的放大倍数之一,骨传声传感器对某一频点的灵敏度越高,则该频点的信号被衰减得越少,几乎可以完全被骨传声传感器采集到或者被骨传声传感器予以放大,因此,该频点的骨传导声波信号的幅值的第一增益可以设置得较小,例如,可以设置为小于1,以起到对骨传声传感器采集到骨传导声波信号进行数据修正的作用;同理,骨传声传感器对某一频点的灵敏度越低,则该频点的信号被衰减得越多,因此,该频点的骨传导声波信号的幅值的第一增益就可以设置得较大,例如,可以设置为大于1,以起到对骨传声传感器采集到骨传导声波信号进行数据修正的作用,进一步提高改善闭塞效应的效果。
本实施例中,骨传声传感器若采集到微弱的有用声音信号,由于有用声音信号比较微弱,因此,采集到该微弱的有用声音信号之后也不会影响到有用声音信号的质量;在某些应用场景中,也可以通过计算该有用声音信号与采集到的骨传导声波信号的相关值,以评估采集到的有用声音信号是否微弱,若有用声音信号与采集到的骨传导声波信号相关性较弱,则证明采集到的有用声音信号较微弱,不需要消除采集到的骨传导声波信号中包含的微弱的有用声音信号,若有用声音信号与采集到的骨传导声波信号相关性较强,则可以消除采集到的骨传导声波信号中包含的微弱的有用声音信号,例如,将采集到的骨传导声波信号减去反相后的有用声音信号与相关系的乘积,以使得采集到的骨传导声波信号更接近通过A2路径传输到耳道2内的声波信号。
基于上述实施例公开的内容,本实施例中,根据骨传声传感器的灵敏度调整预设频段内的骨传导声波信号的幅值包括:设置频点的骨传导声波信号的幅值的第一增益与该频点对应的骨传声传感器的灵敏度成反比。假设骨传声传感器的预设频段内的频率灵敏度曲线为Y(f)=k*f+B,所述f表示频率,Y(f)表示灵敏度,B表示频率灵敏度曲线的直流补偿值,k表示频率灵敏度曲线的斜率,*表示乘积,假设通过A2路径传输到耳道2内的声波信号为S(f),则骨传声传感器采集到的骨传导声波信号S′(f)=S(f)·Y(f),因此,由骨传声传感器采集到的骨传导声波信号和骨传声传感器的频率灵敏度曲线得到的通过A2路径传输到耳道2内的声波信号因此,可以设置骨传导声波信号的幅值的第一增益为即骨传导声波信号的幅值的第一增益与骨传声传感器的灵敏度成反比。可以通过设置系统函数H(w)的值来设置当前帧骨传导声波信号的幅值的第一增益,由于每个频点对应的骨传声传感器的灵敏度可能不同,因此,可以设置任一频点的骨传导声波信号的幅值的第一增益与该频点对应的灵敏度成反比,以起到对骨传声传感器采集到骨传导声波信号进行数据修正的作用,进一步提高改善闭塞效应的效果。
基于上述实施例公开的内容,本实施例中,根据骨传声传感器的灵敏度调整预设频段内的骨传导声波信号的幅值前,处理还包括对骨传声传感器的频率灵敏度曲线进行拟合,一般地,骨传声传感器的频率灵敏度曲线不是平坦的,当根据骨传声传感器的灵敏度调整骨传导声波信号的幅值时,如果需要存储每个频点对应的灵敏度,将会占用较大的存储空间而提高成本或者增加功耗,因此,可以对该骨传声传感器的频率灵敏度曲线进行拟合,对骨传声传感器的频率灵敏度曲线进行拟合后,可以根据拟合后的骨传声传感器的灵敏度调整预设频段内的骨传导声波信号的幅值,不需要存储每个频点对应的灵敏度,以节约内存并且降低功耗。该拟合可以包括一次线性拟合、二次曲线拟合或者三次曲线拟合等,以图6所示骨传声传感器的频率灵敏度曲线和拟合曲线为例,假设预设频段为300Hz-1.5kHz,预设频段的频率灵敏度曲线为图中带黑色方形标记的黑色粗线,对该频率灵敏度曲线的拟合可以为二次曲线拟合,例如,如图6中黑色细线所示的拟合曲线:Y(f)=-2e-6f2+0.0044f-23.476,Y(f)表示灵敏度,该拟合曲线是对带黑色方形标记的黑色粗线的拟合,需要说明的是,该拟合曲线仅仅为示例性说明,对于不同的频率灵敏度曲线,可以选择不同的拟合曲线和拟合参数,拟合误差越小,闭塞效应改善得越明显,但是拟合次数越高,计算量也越大,会在一定程度上增加功耗。
基于上述实施例公开的内容,本实施例中,如图7所示,耳机的扬声器播放处理后的所述骨传导声波信号之后,处理还包括:
004:根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益,幅值的放大倍数包括第二增益。
图8为本申请实施例中的声波信号传输路径示意图,如图8所示,第四声波信号s4(n)由第二声波信号s2(n)减去有用声音信号s0(n)得到,其中,第二声波信号s2(n)为扬声器播放处理后的骨传导声波信号时,耳机的麦克风13在耳道2内采集到的,为处理后的骨传导声波信号,如图4所示,麦克风13采集到信号将反馈至耳机中,以用于判断通过A2路径传输到耳道2内的声波信号是否被完全消除掉,假设通过A2路径传输到耳道2内的声波信号用x(n)表示,则第二声波信号有用声音信号s0(n)为扬声器播放处理后的骨传导声波信号时扬声器播放的除处理后的骨传导声波信号之外的声波信号,例如用户主动选择播放的音乐或者通话语音等,需要说明的是s0(n)也可以等于0,即此时没有有用声音信号通过扬声器播放。第四声波信号当第四声波信号的能量存在时,说明此时通过A2路径传输到耳道2内的声波信号没有被完全消除掉,第四声波信号导致的闭塞效应可能会被用户感知到。因此,可以根据上一帧的第四声波信号 来调整当前帧的骨传导声波信号的第二增益以达到使得更好地消除x(n)的目的,如图8所示,上一帧的第四声波信号可以理解为反馈量,通过该反馈量来调整当前帧骨传导声波信号的幅值可以使得改善闭塞效应的效果越来越好,可以通过设置系统函数H(w)的值来调整当前帧骨传导声波信号的幅值的第二增益。
在上述实施例中,根据灵敏度调整骨传导声波信号的幅值后,还可以根据上一帧的第四声波信号调整当前帧骨传导声波信号的幅值的第二增益,此时,幅值的放大倍数包括第一增益和第二增益,系统函数H(w)则可以为第一增益和第二增益的乘积;若未根据灵敏度调整骨传导声波信号的幅值,也可以根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益,此时,幅值的放大倍数包括第二增益,系统函数H(w)则包括第二增益。
基于上述实施例公开的内容,本实施例中,请参考图9,图9为本申请实施例的骨传声信号处理方法的流程图,根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益可以包括以下步骤:
100:判断第N帧的所述第二增益是否小于第(N-1)帧的第二增益;
101:若第N帧的第二增益小于第(N-1)帧的第二增益,判断第N帧的第四声波信号的能量是否大于第(N-1)帧的第四声波信号的能量;
101a:若第N帧的第四声波信号的能量大于第(N-1)帧的第四声波信号的能量,则设置第(N+1)帧的第二增益大于第N帧的第二增益;
101b:若第N帧的第四声波信号的能量小于或等于第(N-1)帧的第四声波信号的能量,则设置第(N+1)帧的第二增益小于或等于第N帧的第二增益。
本实施例中,N>1且为整数。为了方便描述,以第N帧为当前帧,第(N+1)为下一帧,第(N-1)帧为上一帧为例进行说明,若当前帧的第二增益小于上一帧的第二增益,需要根据当前帧的第四声波信号调整下一帧的骨传导声波信号的幅值的第二增益,具体地,可以根据当前帧的第四声波信号和上一帧的第四声波信号调整下一帧的骨传导声波信号的幅值的第二增益,如果当前帧的第四声波信号的能量大于上一帧的第四声波信号的能量,说明设置当前帧的第二增益小于上一帧的第二增益后,闭塞效应越来越明显了,因此,设置下一帧的骨传导声波信号的幅值的第二增益大于当前帧的幅值的第二增益,以改善闭塞效应恶化的现象;如果当前帧的第四声波信号的能量小于上一帧的第四声波信号的能量,说明闭塞效应越来越不明显了,因此,可以继续设置下一帧的第二增益小于当前帧的第二增益,也可以设置下一帧的第二增益等于当前帧的第二增益,以持续改善闭塞效应,如果当前帧的第四声波信号的能量等于上一帧的第四声波信号的能量,可以设置下一帧的第二增益小于或等于当前帧的第二增益,再通过判断下一帧的第四声波信号的能量与当前帧的第四声波信号的能量调整下下一帧的骨传导声波信号的幅值的第二增益;
或者,根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益可以包括下述步骤,具体地,可以根据当前帧的第四声波信号和上一帧的第四声波信号调整下一帧的骨传导声波信号的幅值的第二增益,请参考图9,图9为本申请实施例的骨传声信号处理方法的流程图。
100:判断第N帧的第二增益是否小于第(N-1)帧的第二增益;
100a:若不是,则判断第N帧的第二增益是否大于第(N-1)帧的第二增益;
102:若第N帧的第二增益大于第(N-1)帧的第二增益,判断第N帧的第四声波信号的能量是否大于第(N-1)帧的第四声波信号的能量;
102a:若第N帧的第四声波信号的能量大于第(N-1)帧的第四声波信号的能量,则设置第(N+1)帧的第二增益小于当前帧的第二增益;
102b:若第N帧的第四声波信号的能量小于或等于第(N-1)帧的第四声波信号的能量,则设置第(N+1)帧的第二增益大于或等于第N帧的第二增益。
本实施例中,N>1且为整数。为了方便描述,以第N帧为当前帧,第(N+1)为下一帧,第(N-1)帧为上一帧为例进行说明,当前帧的第二增益大于上一帧第二增益,需要根据当前帧的第四声波信号调整下一帧的骨传导声波信号的幅值的第二增益,如果当前帧的第四声波信号的能量大于上一帧的第四声波信号的能量,说明闭塞效应越来越明显了,因此,设置下一帧的骨传导声波信号的幅值的第二增益小于当前帧的幅值的第二增益,以改善闭塞效应恶化的现象;如果当前帧的第四声波信号的能量小于上一帧的第四声波信号的能量,说明闭塞效应越来越不明显了,因此,可以继续设置下一帧的第二增益大于当前帧的第二增益,也可以设置下一帧的第二增益等于当前帧的第二增益,以持续改善闭塞效应,如果当前帧的第四声波信号的能量等于上一帧的第四声波信号的能量,可以设置下一帧的第二增益大于或等于当前帧的第二增益,再通过判断下一帧的第四声波信号的能量与当前帧的第四声波信号的能量调整下下一帧的骨传导声波信号的幅值的第二增益;
基于上述实施例公开的内容,本实施例中,请参考图10,图10为本申请实施例的骨传声信号处理方法的流程图,101b步骤中,设置第(N+1)帧的第二增益小于或等于第N帧的第二增益可以包括以下步骤:
103:判断第N帧的第四声波信号是否满足第一预设条件;
103a:第N帧的第四声波信号满足第一预设条件时,设置第(N+1)帧的第二增益小于第N帧的第二增益;
103b:第N帧的第四声波信号不满足第一预设条件时,设置第(N+1)帧的第二增益等于当前帧的第二增益;
本实施例中,以第N帧为当前帧,第(N+1)为下一帧为例进行说明,若当前帧的第二增益小于上一帧的第二增益,需要根据当前帧的第四声波信号调整下一帧的骨传导声波信号的幅值的第二增益,如果当前帧的第四声波信号的能量小于上一帧的第四声波信号的能量,说明闭塞效应越来越不明显了,此时,可以通过判断当前帧的第四声波信号是否满足第一预设条件来确定设置下一帧的第二增益等于还是小于当前帧的第二增益,以持续改善闭塞效应,当前帧的第四声波信号满足第一预设条件时,说明虽然闭塞效应越来越不明显,但是当前帧的闭塞效应依然达不到用户需求,用户可以感知到,因此,需要继续调整下一帧的骨传导声波信号的幅值的第二增益,设置下一帧的第二增益小于当前帧的第二增益,以继续改善闭塞效应;当前帧的第四声波信号不满足第一预设条件时,说明当前帧的闭塞效应已经可以忽略,一定程度上对用户体验几乎没有影响,因此,可以设置下一帧的第二增益等于当前帧的第二增益,以保持改善闭塞效应的效果,使得下一帧的第四声波信号依然不满足第一预设条件。
请参考图11,图11为本申请实施例的骨传声信号处理方法的流程图,102b步骤中,设置第(N+1)帧的第二增益大于或等于第N帧的第二增益可以包括以下步骤:
104:判断第N帧的第四声波信号是否满足第一预设条件;
104a:第N帧的第四声波信号满足第一预设条件时,设置第(N+1)帧的第二增益大于第N帧的第二增益,
104b:第N帧的第四声波信号不满足第一预设条件时,设置第(N+1)帧的第二增益等于第N帧的第二增益。
本实施例中,以第N帧为当前帧,第(N+1)为下一帧为例进行说明,若当前帧的第二增益大于上一帧第二增益,还需要根据当前帧的第四声波信号调整下一帧的骨传导声波信号的幅值的第二增益,如果当前帧的第四声波信号的能量小于上一帧的第四声波信号的能量,说明闭塞效应越来越不明显了,因此,可以继续设置下一帧的第二增益大于当前帧的第二增益,也可以设置下一帧的第二增益等于当前帧的第二增益,以持续改善闭塞效应;此时,可以通过判断当前帧的第四声波信号是否满足第一预设条件来确定设置下一帧的第二增益等于还是大于当前帧的第二增益,以持续改善闭塞效应,当前帧的第四声波信号满足第一预设条件时,说明虽然闭塞效应越来越不明显,但是当前帧的闭塞效应依然达不到用户需求,用户可以感知到,因此,需要继续调整下一帧的骨传导声波信号的幅值的第二增益,设置下一帧的第二增益大于当前帧的第二增益,以继续改善闭塞效应;当前帧的第四声波信号不满足第一预设条件时,说明当前帧的闭塞效应已经可以忽略,一定程度上对用户体验几乎没有影响,因此,可以设置下一帧的第二增益等于当前帧的第二增益,以保持改善闭塞效应的效果,使得下一帧的第四声波信号依然不满足第一预设条件。
基于上述实施例公开的内容,本实施例中,第一预设条件可以包括:
第一预设条件1:第四声波信号的能量大于或者等于第一能量阈值,第一能量阈值小于或者等于3dB;
第四声波信号的能量可以理解为反馈量,以上一帧的第四声波信号为例进行说明,上一帧的第四声波信号既可以表明上一帧改善闭塞效应的效果,也可以进一步作为调整当前帧的骨传导声波信号的幅值的第二增益参考量,当上一帧的第四声波信号的能量存在时,说明通过A2路径传输到耳道2内的上一帧的声波信号没有被完全消除掉,当上一帧的第四声波信号的能量大于或者等于第一能量阈值时,导致的闭塞效应可能会被用户感知到,因此,需要对当前帧的骨传导声波信号的幅值的第二增益进行调整以达到更好地消除x(n)的目的,由于上一帧的并没有很好的抵消x(n-1),因此,如果继续按照对上一帧的骨传导声波信号的处理方法去处理当前帧的骨传导声波信号,则处理后的当前帧的骨传导声波信号也很大可能会不能很好地抵消x(n)。
当上一帧的第四声波信号的能量大于第一能量阈值时,需要调整当前帧的骨传导声波信号的幅值的第二增益,以使得处理后的当前帧骨传导声波信号更接近x(n),对于后续帧的第四声波信号,例如,s4(n+1)也需要与第一能量阈值相比,以判断是否需要调整下一帧骨传导声波信号的幅值,以持续提高改善闭塞效应的效果。
该第一能量阈值的选取可以根据应用场景或者用户的需求进行选择,该第一能量阈值可以设置为小于或者等于3dB,第一能量阈值也可以设置为0或者其他数值,需要说明的是,本实施例对信号能量的求法不做限制,可以在时域求解和频域求解。
第一预设条件2:能量比值大于或等于能量比值阈值;
该能量比值为第四声波信号s4(n)的能量与处理后的骨传导声波信号的能量的比值,该能量比值可以表示为:该能量比值阈值可以小于或等于0.1、0.2、0.3、0.4或0.5,该能量比值阈值可以根据应用场景或者用户的需求选择其他数值。以上一帧的能量比值为例进行说明,上一帧的能量比值越大,说明相对于处理后的骨传导声波信号的能量,的能量占比越大,表明上一帧的闭塞效应越明显,能量比值大于或等于能量比值阈值时,说明此时通过A2路径传输到耳道2内的声波信号没有被完全消除掉,因此,如果继续按照对上一帧的骨传导声波信号的处理方法去处理当前帧的骨传导声波信号,则处理后的当前帧的骨传导声波信号也很大可能会不能很好地抵消x(n),因此需要调整当前帧的骨传导声波信号的幅值的第二增益,以进一步改善闭塞效应。
当上一帧的第四声波信号不满足第一预设条件时,上一帧的第四声波信号的能量小于第一能量阈值,或者,上一帧的能量比值小于能量比值阈值。
上一帧的第四声波信号的能量小于第一能量阈值,或者上一帧的能量比值小于能量比值阈值,都可以说明改善闭塞效应的效果较好,此时通过A2路径传输到耳道2内的声波信号几乎可以被完全消除掉,或者是即使存在部分的通过A2路径传输到耳道2内的声波信号,也不会被用户感知到。因此,可以按照调整当前帧的骨传导声波信号的幅值的第二增益的方法去调整下一帧的骨传导声波信号的幅值的第二增益,以使得处理后的下一帧的骨传导声波信号也可以使得通过A2路径传输到耳道2内的声波信号被大部分或者完全消除掉,不被用户感知到。例如,当前帧的某一频点的骨传导声波信号的幅值的第二增益为1.3,当前帧的处理后的骨传导声波信号被耳机的扬声器播放后,若当前帧的某一频点的第四声波信号的能量小于第一能量阈值,则下一帧的该频点的骨传导声波信号的幅值的第二增益可以按照调整当前帧的该频点的骨传导声波信号的幅值的方法去调整,对下一帧该频点的骨传导声波信号的幅值也放大1.3倍,以能够稳定持续地改善闭塞效应;假设当前帧的某一频点的骨传导声波信号的幅值的第二增益为1,该处理后的骨传导声波信号被耳机的扬声器播放后,当前帧的第四声波信号的能量小于第一能量阈值,则下一帧的该频点的骨传导声波信号的幅值的第二增益也可以设置为1,即对下一帧的该频点的骨传导声波信号的幅值也不做处理,以能够稳定持续地改善闭塞效应。
假设当前帧的骨传导声波信号为第一帧的骨传导声波信号,由于不存在上一帧的骨传导声波信号,因此第一帧的骨传导声波信号的幅值的第二增益无法根据上一帧的第四声波信号去调整,因此,第一帧的骨传导声波信号可以不需要根据上一帧的第四声波信号调整其幅值的第二增益,第一帧骨传导声波信号播放后,若第一帧的第四声波信号的能量小于第一能量阈值,则第二帧骨传导声波信号的幅值的第二增益可以设置为1。
基于上述实施例公开的内容,本实施例中,第N帧的第四声波信号满足第一预设条件时,设置第(N+1)帧的第二增益小于第N帧的第二增益,或者,设置第(N+1)帧的第二增益大于第N帧的第二增益,包括以下两种方法:
方法一:第N帧的第四声波信号的能量越大,或者第N帧的第四声波信号的能量和第一能量阈值之间的差值越大时,设置第(N+1)帧的骨传导声波信号的幅值的第二增益和第N帧的第二增益之间的差值越大;
方法一中,第N帧的第四声波信号为第四声波信号的能量为正值,第N帧的第四声波信号满足第一预设条件时,第N帧的第四声波信号的能量越大,或者第N帧的第四声波信号的能量与第一能量阈值之间的差值越大,说明通过A2路径传输到耳道2内的声波信号x(n)的能量与扬声器播放的处理后的骨传导声波信号的能量差值越大,此时,可以将第(N+1)帧的骨传导声波信号的幅值的第二增益与第N帧的第二增益之间的差值设置得越大,以进一步提高改善闭塞效应的效果。
方法二:第N帧的能量比值越大,或者第N帧的能量比值和能量比值阈值之间的差值越大时,设置第(N+1)帧的骨传导声波信号的幅值的第二增益和第N帧的骨传导声波信号的幅值的第二增益之间的差值越大;
方法二中,第N帧的第四声波信号第四声波信号的能量为正值,第N帧的第四声波信号满足第一预设条件时,能量比值越大,或者是能量比值与能量比值阈值之间的差值越大,说明相对于的能量来说,通过A2路径传输到耳道2内的声波信号x(n)的能量与扬声器播放的处理后的骨传导声波信号的能量差值越大。当第N帧的能量比值越大或者是第N帧的能量比值与能量比值阈值之间的差值越大时,可以设置第(N+1)帧的骨传导声波信号的幅值的第二增益与第N帧的第二增益之间的差值越大,以进一步提高改善闭塞效应的效果。
基于上述实施例公开的内容,本实施例中,设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值越大包括以下四种设置方式:
方式一:设置第(N+1)帧的骨传导声波信号的幅值的第二增益和第N帧的骨传导声波信号的幅值的第二增益之间的差值与第N帧的第四声波信号的能量成正比;第N帧的第四声波信号的能量越大,说明对第(N+1)帧的骨传导声波信号的幅值的调整幅度需要越大,因此设置第(N+1)帧骨传导声波信号的幅值的第二增益和第N帧的骨传导声波信号的幅值的第二增益之间的差值与第N帧的第四声波信号的能量成正比,可以进一步提高改善闭塞效应的效果。
方式二:设置第(N+1)帧的骨传导声波信号的幅值的第二增益和第N帧的第二增益之间的差值与第N帧的第四声波信号的能量和第一能量阈值之间的差值成正比;第N帧的第四声波信号的能量和第一能量阈值之间的差值越大,说明对第(N+1)帧的骨传导声波信号的幅值的调整幅度需要越大,因此,设置第(N+1)帧的骨传导声波信号的幅值的第二增益和第N帧的第二增益之间的差值与第N帧的第四声波信号的能量和第一能量阈值之间的差值成正比,可以进一步提高改善闭塞效应的效果。
方式三:设置第(N+1)帧的骨传导声波信号的幅值的第二增益和第N帧的第二增益之间的差值与第N帧的能量比值成正比;第N帧的能量比值越大,说明对第(N+1)帧的骨传导声波信号的幅值的调整幅度需要越大,设置第(N+1)帧的骨传导声波信号的幅值的第二增益和第N帧的第二增益之间的差值与能量比值成正比,可以进一步提高改善闭塞效应的效果。
方式四:设置第(N+1)帧的骨传导声波信号的幅值的第二增益和第N帧的第二增益之间的差值与第N帧的能量比值和能量比值阈值之间的差值成正比;第N帧的能量比值和能量比值阈值之间的差值越大,说明对第(N+1)帧的骨传导声波信号的幅值的调整幅度需要越大,因此,设置第(N+1)帧的骨传导声波信号的幅值的第二增益和上一帧的第二增益之间的差值与第N帧的能量比值和能量比值阈值之间的差值成正比,可以进一步提高改善闭塞效应的效果。
基于上述实施例公开的内容,本实施例中,根据上一帧的第四声波信号调整所述骨传导声波信号的幅值的第二增益还包括:
010:判断第一帧的第四声波信号是否满足第一预设条件;
010a:当第一帧的第四声波信号满足第一预设条件时,设置第二帧的第二增益小于第一帧的第二增益,或者,设置第二帧的第二增益大于第一帧的第二增益;
当第一帧的第四声波信号满足第一预设条件时,调整第二帧的骨传导声波信号的幅值的第二增益可以包括以下两种方式:设置第二帧的骨传导声波信号的幅值的第二增益小于第一帧的骨传导声波信号的幅值的第二增益,或者,设置第二帧的骨传导声波信号的幅值的第二增益大于第一帧的骨传导声波信号的幅值的第二增益。需要说明的是,本实施例中,设置第二帧的骨传导声波信号的幅值的第二增益的具体方法可以参见上述实施例,例如,第一帧的第四声波信号的能量越大,或者第一帧的第四声波信号的能量和第一能量阈值之间的差值越大,或者第一帧的所述能量比值越大,或者第一帧的能量比值和能量比值阈值之间的差值越大时,设置第二帧的第二增益和所述第一帧的第二增益之间的差值越大。
具体地,设置第二帧的第二增益和第一帧的第二增益之间的差值与第一帧的第四声波信号的能量成正比;或者
设置第二帧的第二增益和第一帧的第二增益之间的差值与第一帧的第四声波信号的能量和第一能量阈值之间的差值成正比;或者
设置第二帧的第二增益和第一帧的第二增益之间的差值与所述第一帧的能量比值成正比;或者
设置第二帧的第二增益和所述第一帧的第二增益之间的差值与第一帧的能量比值和能量比值阈值之间的差值成正比。
010b:第一帧的第四声波信号不满足第一预设条件时,设置第二帧的骨传导声波信号的幅值的第二增益等于第一帧的骨传导声波信号的幅值的第二增益。
根据第一帧的第四声波信号是否满足第一预设条件,对第二帧的骨传导声波信号的幅值的第二增益做不同的处理以调整第二帧骨传导声波信号的幅值,本实施例中,第一帧的第四声波信号可以作为反馈量,根据该反馈量调整当前帧的骨传导声波信号的幅值,可以进一步消除闭塞效应,不断提高用户体验感。
基于上述实施例公开的内容,本实施例中,耳机的扬声器播放处理后的骨传导声波信号之后,处理还包括调整下一帧的骨传导声波信号的相位。处理后的骨传导声波信号可能与通过A2路径传输到耳道2内的声波信号的相位不是完全反相,因此,需要调整下一帧的骨传导声波信号的相位以提高改善闭塞效应的效果。
基于上述实施例公开的内容,本实施例中,当根据上一帧的第四声波信号连续调整M帧的骨传导声波信号的幅值的第二增益后,调整该M帧的骨传导声波信号的下一帧的骨传导声波信号的相位,相位的调整范围为-20度至+20度,M为整数且M>1。连续调整M帧的骨传导声波信号的幅值的第二增益后,可能通过A2路径传输到耳道2内的声波信号依然没有被抵消,这种情况下,可以通过调整该M帧的骨传导声波信号的下一帧的骨传导声波信号的相位以进一步提高改善闭塞效应的效果,如图8所示,可以通过改变系统函数H(w)的值来调整下一帧的骨传导声波信号的相位。本实施例对M的具体值不做限制。相位的调整范围设置为-20度至+20度,可以避免相位调节过多以至于调节相位后的骨传导声波信号不能很好的抵消通过A2路径传输到耳道2内的声波信号。
基于上述实施例公开的内容,本实施例中,还包括选择骨传声传感器,选择骨传声传感器包括:
根据归一化后的骨传声传感器的频率灵敏度曲线的平坦度选择骨传声传感器。
本实施例中,对多个骨传声传感器的频率灵敏度曲线归一化后,可以根据骨传声传感器的频率灵敏度曲线的平坦度选择骨传声传感器,频率灵敏度曲线的平坦度越好,则骨传声传感器的性能越好,骨传声传感器采集到的骨传导声波信号就可以更接近通过A2路径传输到耳道2内的声波信号x(n)。在根据骨传声传感器的频率灵敏度曲线的平坦度选择骨传声传感器时,可以对骨传声传感器的频率灵敏度曲线进行归一化,例如归一化到1kHz或者是其他频率,归一化之后,可以便于骨传声传感器的横向对比,对于频率灵敏度曲线的平坦度的求解方法本实施例不做限制,可以是通过求解方差、均方误差等得到。
本申请实施例还可提供一种骨传声信号处理装置,用于执行前述实施例中提出的骨传声信号处理方法,图12为本实施例提供的一种骨传声信号处理装置的结构示意图,该装置可以执行上述图2所示的方法,如图12所示,该骨传声信号处理装置20包括:
骨传声传感器模块21,用于采集骨传导声波信号,骨传声传感器模块与耳道接触或通过固体介质与耳道之间形成振动传导路径;
骨传声处理模块22,用于对骨传导声波信号进行处理,骨传声处理模块包括反相模块;以及
输出模块23,用于将处理后的骨传导声波信号传输到人耳。
可选的,输出模块包括:
扬声器模块,用于播放处理后的骨传导声波信号;或者
骨传声处理模块还用于将处理后的骨传导声波信号传输到人耳。
可选的,骨传声处理模块还包括
第一幅值处理模块,第一幅值处理模块用于根据骨传声传感器模块的灵敏度调整预设频段内的骨传导声波信号的幅值;
预设频段内的频点对应的骨传声传感器模块的灵敏度越高,频点的骨传导声波信号的幅值的第一增益越小,幅值的放大倍数包括第一增益。
可选的,第一幅值处理模块还用于设置频点的骨传导声波信号的幅值的第一增益与频点对应的骨传声传感器模块的灵敏度成反比。
可选的,第一幅值处理模块前,骨传声处理模块还包括拟合模块,拟合模块用于对骨传声传感器模块的频率灵敏度曲线进行拟合,拟合包括一次线性拟合、二次曲线拟合或者三次曲线拟合。
可选的,扬声器模块之后,骨传声处理模块还包括第二幅值处理模块,第二幅值处理模块用于根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益;
第四声波信号为第二声波信号减去有用声音信号得到,第二声波信号为扬声器模块播放处理后的骨传导声波信号时,耳机的麦克风在耳道内采集到的,有用声音信号为扬声器模块播放处理后的骨传导声波信号时,扬声器模块播放的除处理后的骨传导声波信号之外的声波信号。
可选的,第二幅值处理模块包括:
增益调节模块,若第N帧的第二增益小于第(N-1)帧的第二增益,且第N帧的第四声波信号的能量大于第(N-1)帧的第四声波信号的能量,增益调节模块用于设置第(N+1)帧的第二增益大于第N帧的第二增益,或者,若第N帧的第四声波信号的能量小于或等于第(N-1)帧的第四声波信号的能量,增益调节模块还用于设置第(N+1)帧的第二增益小于或等于第N帧的第二增益;或者
若第N帧的第二增益大于第(N-1)帧的第二增益,且第N帧的第四声波信号的能量大于第(N-1)帧的第四声波信号的能量,增益调节模块还用于设置第(N+1)帧的第二增益小于第N帧的第二增益,或者,若第N帧的第四声波信号的能量小于或等于第(N-1)帧的第四声波信号的能量,增益调节模块还用于设置第(N+1)帧的第二增益大于或等于第N帧的第二增益,N>1且为整数。
可选的,增益调节模块还用于设置第(N+1)帧的第二增益小于或等于第N帧的第二增益包括:
第N帧的第四声波信号满足第一预设条件时,增益调节模块还用于设置第(N+1)帧的第二增益小于第N帧的第二增益,或者,第N帧的第四声波信号不满足第一预设条件时,增益调节模块还用于设置第(N+1)帧的第二增益等于当前帧的第二增益;
增益调节模块还用于设置第(N+1)帧的第二增益大于或等于第N帧的第二增益,包括:
第N帧的第四声波信号满足第一预设条件时,增益调节模块还用于设置第(N+1)帧的第二增益大于第N帧的第二增益,或者,第N帧的第四声波信号不满足第一预设条件时,增益调节模块还用于设置(N+1)帧的第二增益等于当前帧的第二增益。
可选的,第一预设条件包括:
第四声波信号的能量大于或者等于第一能量阈值,第一能量阈值小于或者等于3dB;或者
能量比值大于或等于能量比值阈值;能量比值为第四声波信号的能量与处理后的骨传导声波信号的能量的比值,能量比值阈值小于或等于0.1、0.2、0.3、0.4或0.5。
可选的,第N帧的第四声波信号满足第一预设条件时,增益调节模块还用于设置第(N+1)帧的第二增益小于第N帧的第二增益,或者增益调节模块还用于设置第(N+1)帧的第二增益大于第N帧的第二增益,包括:
第N帧的第四声波信号的能量越大,或者第N帧的第四声波信号的能量和第一能量阈值之间的差值越大,或者第N帧的能量比值越大,或者第N帧的能量比值和能量比值阈值之间的差值越大时,增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值越大。
可选的,增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值越大包括:
增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的第四声波信号的能量成正比;或者
增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的第四声波信号的能量和第一能量阈值之间的差值成正比;或者
增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的能量比值成正比;或者
增益调节模块还用于设置第(N+1)帧的第二增益和第N帧的第二增益之间的差值与第N帧的能量比值和能量比值阈值之间的差值成正比。
可选的,其特征在于,第二幅值处理模块用于根据上一帧的第四声波信号调整骨传导声波信号的幅值的第二增益还包括:
第一帧的第四声波信号满足第一预设条件时,第二幅值处理模块还用于设置第二帧的第二增益小于第一帧的第二增益,或者,第二幅值处理模块还用于设置第二帧的第二增益大于第一帧的第二增益;或者
第一帧的第四声波信号不满足第一预设条件时,第二幅值处理模块还用于设置第二帧的第二增益等于第一帧的第二增益。
可选的,扬声器模块之后,骨传声处理模块还包括:
相位调整模块,用于调整下一帧骨传导声波信号的相位。
可选的,当第二幅值处理模块根据上一帧的第四声波信号连续调整M帧的骨传导声波信号的幅值的第二增益后,相位调整模块还用于调整M帧的骨传导声波信号的下一帧的骨传导声波信号的相位,相位的调整范围为-20度至+20度,M为整数且M>1。
可选的,还包括
骨传声传感器选择模块,用于选择骨传声传感器模块,骨传声传感器选择模块根据归一化后的骨传声传感器模块的频率灵敏度曲线的平坦度选择骨传声传感器模块。
本申请实施例提供了一种骨传声信号处理装置,通过骨传声传感器模块采集骨传导声波信号并对骨传导声波信号进行反相处理后传输到人耳,解决了耳机的闭塞效应的问题,显著的提升了用户体验。
本申请实施例还可提供一种芯片,用于执行上述实施例提出的骨传声信号方法;
本申请实施例提供的芯片,可执行上述任一所述实施例提供的骨传声信号处理方法,其具体的实现过程及有益效果参见上述,在此不再赘述。
本申请实施例提供的一种耳机,包括上述任一所述实施例提供的芯片,该耳机还包括骨传声传感器,骨传声传感器与耳道接触或通过固体介质与耳道之间形成振动传导路径。
本申请实施例提供的耳机,可执行上述任一所述实施例提供的骨传声信号处理方法,其具体的实现过程及有益效果参见上述,在此不再赘述。
本申请实施例还可提供一种计算机可读存储介质,包括:其上存储有计算机程序,该计算机程序被处理器执行时实现该设备执行的任一骨传声信号处理方法。
本申请实施例提供的计算机可读存储介质,可执行上述任一所述实施例提供的骨传声信号处理方法,其具体的实现过程及有益效果参见上述,在此不再赘述。
应注意,本申请上述方法实施例可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable rom,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,在本申请实施例中,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (28)
1.一种骨传声信号处理方法,其特征在于,包括:
骨传声传感器采集骨传导声波信号,所述骨传声传感器与耳道接触或通过固体介质与所述耳道之间形成振动传导路径;
对所述骨传导声波信号进行处理,所述处理包括反相;
将处理后的所述骨传导声波信号传输到人耳;
所述将处理后的所述骨传导声波信号传输到人耳包括:
耳机的扬声器播放所述处理后的所述骨传导声波信号;
所述耳机的扬声器播放所述处理后的所述骨传导声波信号之后,所述处理还包括根据上一帧的第四声波信号调整所述骨传导声波信号的幅值的第二增益;
所述根据上一帧的第四声波信号调整所述骨传导声波信号的幅值的第二增益包括根据当前帧的第四声波信号和所述上一帧的第四声波信号调整下一帧的所述骨传导声波信号的幅值的第二增益;
所述第四声波信号为第二声波信号减去有用声音信号得到,所述第二声波信号为所述扬声器播放所述处理后的所述骨传导声波信号时,所述耳机的麦克风在所述耳道内采集到的,所述有用声音信号为所述扬声器播放所述处理后的所述骨传导声波信号时,所述扬声器播放的除所述处理后的所述骨传导声波信号之外的声波信号。
2.根据权利要求1所述的骨传声信号处理方法,其特征在于,所述处理还包括根据所述骨传声传感器的灵敏度调整预设频段内的所述骨传导声波信号的幅值;
所述预设频段内的频点对应的所述骨传声传感器的所述灵敏度越高,所述频点的所述骨传导声波信号的幅值的第一增益越小,所述幅值的放大倍数包括所述第一增益。
3.根据权利要求2所述的骨传声信号处理方法,其特征在于,所述根据所述骨传声传感器的灵敏度调整预设频段内的所述骨传导声波信号的幅值包括:设置所述频点的所述骨传导声波信号的所述幅值的所述第一增益与所述频点对应的所述骨传声传感器的所述灵敏度成反比。
4.根据权利要求2或3所述的骨传声信号处理方法,其特征在于,所述根据所述骨传声传感器的灵敏度调整预设频段内的所述骨传导声波信号的幅值前,所述处理还包括对所述骨传声传感器的频率灵敏度曲线进行拟合,所述拟合包括一次线性拟合、二次曲线拟合或者三次曲线拟合。
5.根据权利要求1至3中任一项所述的骨传声信号处理方法,其特征在于,所述根据当前帧的第四声波信号和所述上一帧的第四声波信号调整下一帧的所述骨传导声波信号的幅值的第二增益包括:
若第N帧的所述第二增益小于第(N-1)帧的所述第二增益,且所述第N帧的所述第四声波信号的能量大于所述第(N-1)帧的所述第四声波信号的能量,则设置第(N+1)帧的所述第二增益大于所述第N帧的所述第二增益,或者,若所述第N帧的所述第四声波信号的所述能量小于或等于所述第(N-1)帧的所述第四声波信号的所述能量,则设置所述第(N+1)帧的所述第二增益小于或等于所述第N帧的所述第二增益;或者
若所述第N帧的所述第二增益大于所述第(N-1)帧的所述第二增益,且所述第N帧的所述第四声波信号的所述能量大于所述第(N-1)帧的所述第四声波信号的所述能量,则设置所述第(N+1)帧的所述第二增益小于所述第N帧的所述第二增益,或者,若所述第N帧的所述第四声波信号的所述能量小于或等于所述第(N-1)帧的所述第四声波信号的所述能量,则设置所述第(N+1)帧的所述第二增益大于或等于所述第N帧的所述第二增益,所述N>1且为整数。
6.根据权利要求5所述的骨传声信号处理方法,其特征在于,所述设置第(N+1)帧的所述第二增益小于或等于所述第N帧的所述第二增益包括:
所述第N帧的所述第四声波信号满足第一预设条件时,设置所述第(N+1)帧的所述第二增益小于所述第N帧的所述第二增益,或者,所述第N帧的所述第四声波信号不满足所述第一预设条件时,设置所述第(N+1)帧的所述第二增益等于当前帧的所述第二增益;
所述设置所述第(N+1)帧的所述第二增益大于或等于所述第N帧的所述第二增益包括:
所述第N帧的所述第四声波信号满足所述第一预设条件时,设置所述第(N+1)帧的所述第二增益大于所述第N帧的所述第二增益,或者,所述第N帧的所述第四声波信号不满足所述第一预设条件时,设置所述(N+1)帧的所述第二增益等于所述当前帧的所述第二增益。
7.根据权利要求6所述的骨传声信号处理方法,其特征在于,所述第一预设条件包括:
所述第四声波信号的能量大于或者等于第一能量阈值,所述第一能量阈值小于或者等于3dB;或者
能量比值大于或等于能量比值阈值;所述能量比值为所述第四声波信号的能量与所述处理后的所述骨传导声波信号的能量的比值,所述能量比值阈值小于或等于0.1、0.2、0.3、0.4或0.5。
8.根据权利要求7所述的骨传声信号处理方法,其特征在于,所述第N帧的所述第四声波信号满足第一预设条件时,设置所述第(N+1)帧的所述第二增益小于所述第N帧的所述第二增益,或者,设置所述第(N+1)帧的所述第二增益大于所述第N帧的所述第二增益,包括:
所述第N帧的所述第四声波信号的能量越大,或者所述第N帧的所述第四声波信号的能量和所述第一能量阈值之间的差值越大,或者所述第N帧的所述能量比值越大,或者所述第N帧的所述能量比值和所述能量比值阈值之间的差值越大时,设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值越大。
9.根据权利要求8所述的骨传声信号处理方法,其特征在于,所述设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值越大包括:
设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值与所述第N帧的所述第四声波信号的能量成正比;或者
设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值与所述第N帧的所述第四声波信号的能量和所述第一能量阈值之间的差值成正比;或者
设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值与所述第N帧的所述能量比值成正比;或者
设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值与所述第N帧的所述能量比值和所述能量比值阈值之间的差值成正比。
10.根据权利要求6至9中任一项所述的骨传声信号处理方法,其特征在于,所述根据上一帧的第四声波信号调整所述骨传导声波信号的幅值的第二增益还包括:
第一帧的所述第四声波信号满足所述第一预设条件时,设置第二帧的所述第二增益小于所述第一帧的所述第二增益,或者,设置所述第二帧的所述第二增益大于所述第一帧的所述第二增益;或者
所述第一帧的所述第四声波信号不满足所述第一预设条件时,设置所述第二帧的所述第二增益等于所述第一帧的所述第二增益。
11.根据权利要求1至3中任一项所述的骨传声信号处理方法,其特征在于,所述耳机的扬声器播放所述处理后的所述骨传导声波信号之后,所述处理还包括调整下一帧的所述骨传导声波信号的相位。
12.根据权利要求11所述的骨传声信号处理方法,其特征在于,当根据所述上一帧的所述第四声波信号连续调整M帧的所述骨传导声波信号的幅值的所述第二增益后,调整所述M帧的所述骨传导声波信号的下一帧的所述骨传导声波信号的相位,所述相位的调整范围为-20度至+20度,所述M为整数且M>1。
13.根据权利要求1至3中任一项所述的骨传声信号处理方法,其特征在于,还包括选择所述骨传声传感器,所述选择所述骨传声传感器包括:
根据归一化后的所述骨传声传感器的频率灵敏度曲线的平坦度选择所述骨传声传感器。
14.一种骨传声信号处理装置,包括:
骨传声传感器模块,用于采集骨传导声波信号,所述骨传声传感器模块与耳道接触或通过固体介质与所述耳道之间形成振动传导路径;
骨传声处理模块,用于对所述骨传导声波信号进行处理,所述骨传声处理模块包括反相模块;以及
输出模块,用于将处理后的所述骨传导声波信号传输到人耳;
所述输出模块包括:
扬声器模块,用于播放所述处理后的所述骨传导声波信号;
所述骨传声处理模块还包括第二幅值处理模块,所述第二幅值处理模块用于根据上一帧的第四声波信号调整所述骨传导声波信号的幅值的第二增益;
所述第四声波信号为第二声波信号减去有用声音信号得到,所述第二声波信号为所述扬声器模块播放所述处理后的所述骨传导声波信号时,耳机的麦克风在所述耳道内采集到的,所述有用声音信号为所述扬声器模块播放所述处理后的所述骨传导声波信号时,所述扬声器模块播放的除所述处理后的所述骨传导声波信号之外的声波信号;
所述第二幅值处理模块包括:
增益调节模块,若第N帧的所述第二增益小于第(N-1)帧的所述第二增益,且所述第N帧的所述第四声波信号的能量大于所述第(N-1)帧的所述第四声波信号的能量,所述增益调节模块用于设置第(N+1)帧的所述第二增益大于所述第N帧的所述第二增益,或者,若所述第N帧的所述第四声波信号的所述能量小于或等于所述第(N-1)帧的所述第四声波信号的所述能量,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益小于或等于所述第N帧的所述第二增益;或者
若所述第N帧的所述第二增益大于所述第(N-1)帧的所述第二增益,且所述第N帧的所述第四声波信号的所述能量大于所述第(N-1)帧的所述第四声波信号的所述能量,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益小于所述第N帧的所述第二增益,或者,若所述第N帧的所述第四声波信号的所述能量小于或等于所述第(N-1)帧的所述第四声波信号的所述能量,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益大于或等于所述第N帧的所述第二增益,所述N>1且为整数。
15.根据权利要求14所述的骨传声信号处理装置,其特征在于,所述骨传声处理模块还包括
第一幅值处理模块,所述第一幅值处理模块用于根据所述骨传声传感器模块的灵敏度调整预设频段内的所述骨传导声波信号的幅值;
所述预设频段内的频点对应的所述骨传声传感器模块的所述灵敏度越高,所述频点的所述骨传导声波信号的幅值的第一增益越小,所述幅值的放大倍数包括所述第一增益。
16.根据权利要求15所述的骨传声信号处理装置,其特征在于,所述第一幅值处理模块还用于设置所述频点的所述骨传导声波信号的所述幅值的所述第一增益与所述频点对应的所述骨传声传感器模块的所述灵敏度成反比。
17.根据权利要求15或16所述的骨传声信号处理装置,其特征在于,所述第一幅值处理模块前,所述骨传声处理模块还包括拟合模块,所述拟合模块用于对所述骨传声传感器模块的频率灵敏度曲线进行拟合,所述拟合包括一次线性拟合、二次曲线拟合或者三次曲线拟合。
18.根据权利要求14至16中任一项所述的骨传声信号处理装置,其特征在于,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益小于或等于所述第N帧的所述第二增益包括:
所述第N帧的所述第四声波信号满足第一预设条件时,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益小于所述第N帧的所述第二增益,或者,所述第N帧的所述第四声波信号不满足所述第一预设条件时,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益等于当前帧的所述第二增益;
所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益大于或等于所述第N帧的所述第二增益,包括:
所述第N帧的所述第四声波信号满足所述第一预设条件时,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益大于所述第N帧的所述第二增益,或者,所述第N帧的所述第四声波信号不满足所述第一预设条件时,所述增益调节模块还用于设置所述(N+1)帧的所述第二增益等于所述当前帧的所述第二增益。
19.根据权利要求18所述的骨传声信号处理装置,其特征在于,所述第一预设条件包括:
所述第四声波信号的能量大于或者等于第一能量阈值,所述第一能量阈值小于或者等于3dB;或者
能量比值大于或等于能量比值阈值;所述能量比值为所述第四声波信号的能量与所述处理后的所述骨传导声波信号的能量的比值,所述能量比值阈值小于或等于0.1、0.2、0.3、0.4或0.5。
20.根据权利要求19所述的骨传声信号处理装置,其特征在于,所述第N帧的所述第四声波信号满足第一预设条件时,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益小于所述第N帧的所述第二增益,或者所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益大于所述第N帧的所述第二增益,包括:
所述第N帧的所述第四声波信号的能量越大,或者所述第N帧的所述第四声波信号的能量和所述第一能量阈值之间的差值越大,或者所述第N帧的所述能量比值越大,或者所述第N帧的所述能量比值和所述能量比值阈值之间的差值越大时,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值越大。
21.根据权利要求20所述的骨传声信号处理装置,其特征在于,所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值越大包括:
所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值与所述第N帧的所述第四声波信号的能量成正比;或者
所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值与所述第N帧的所述第四声波信号的能量和所述第一能量阈值之间的差值成正比;或者
所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值与所述第N帧的所述能量比值成正比;或者
所述增益调节模块还用于设置所述第(N+1)帧的所述第二增益和所述第N帧的所述第二增益之间的差值与所述第N帧的所述能量比值和所述能量比值阈值之间的差值成正比。
22.根据权利要求18所述的骨传声信号处理装置,其特征在于,所述第二幅值处理模块用于根据上一帧的第四声波信号调整所述骨传导声波信号的幅值的第二增益还包括:
第一帧的所述第四声波信号满足所述第一预设条件时,所述第二幅值处理模块还用于设置第二帧的所述第二增益小于所述第一帧的所述第二增益,或者,所述第二幅值处理模块还用于设置所述第二帧的所述第二增益大于所述第一帧的所述第二增益;或者
所述第一帧的所述第四声波信号不满足所述第一预设条件时,所述第二幅值处理模块还用于设置所述第二帧的所述第二增益等于所述第一帧的所述第二增益。
23.根据权利要求14至16中任一项所述的骨传声信号处理装置,其特征在于,所述扬声器模块之后,所述骨传声处理模块还包括:
相位调整模块,用于调整下一帧所述骨传导声波信号的相位。
24.根据权利要求23所述的骨传声信号处理装置,其特征在于,当所述第二幅值处理模块根据所述上一帧的所述第四声波信号连续调整M帧的所述骨传导声波信号的幅值的所述第二增益后,所述相位调整模块还用于调整所述M帧的所述骨传导声波信号的下一帧的所述骨传导声波信号的相位,所述相位的调整范围为-20度至+20度,所述M为整数且M>1。
25.根据权利要求14至16中任一项所述的骨传声信号处理装置,其特征在于,还包括
骨传声传感器选择模块,用于选择所述骨传声传感器模块,所述骨传声传感器选择模块根据归一化后的所述骨传声传感器模块的频率灵敏度曲线的平坦度选择所述骨传声传感器模块。
26.一种芯片,其特征在于,用于执行如权利要求1至13中任一项所述的骨传声信号处理方法。
27.一种耳机,其特征在于,包括如权利要求26所述的芯片。
28.一种计算机可读存储介质,其特征在于,包括:其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述权利要求1至13中任一项所述的骨传声信号处理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/090662 WO2020248113A1 (zh) | 2019-06-11 | 2019-06-11 | 一种骨传声信号处理方法、装置、芯片、耳机及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112400326A CN112400326A (zh) | 2021-02-23 |
CN112400326B true CN112400326B (zh) | 2023-02-28 |
Family
ID=73780929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980001396.2A Active CN112400326B (zh) | 2019-06-11 | 2019-06-11 | 一种骨传声信号处理方法、装置、芯片、耳机及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112400326B (zh) |
WO (1) | WO2020248113A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113395629B (zh) * | 2021-07-19 | 2022-07-22 | 歌尔科技有限公司 | 一种耳机及其音频处理方法、装置、存储介质 |
CN113645534A (zh) * | 2021-08-31 | 2021-11-12 | 歌尔科技有限公司 | 一种耳机闭塞效应消除方法及耳机 |
CN113873388A (zh) * | 2021-10-27 | 2021-12-31 | 歌尔科技有限公司 | 一种耳机闭塞效应消除方法及耳机 |
CN114071306B (zh) * | 2021-11-29 | 2023-02-28 | 歌尔科技有限公司 | 降噪耳机音频处理方法、降噪耳机、装置及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011075989A (ja) * | 2009-10-01 | 2011-04-14 | Yamaguchi Univ | 操作指令信号生成方法及び操作指令信号生成装置 |
CN105721973A (zh) * | 2016-01-26 | 2016-06-29 | 王泽玲 | 一种骨传导耳机及其音频处理方法 |
CN106162405A (zh) * | 2016-07-27 | 2016-11-23 | 努比亚技术有限公司 | 降噪装置、耳机及降噪方法 |
EP3171612A1 (fr) * | 2015-11-19 | 2017-05-24 | Parrot Drones | Casque audio à contrôle actif de bruit, contrôle anti-occlusion et annulation de l'atténuation passive, en fonction de la présence ou de l'absence d'une activité vocale de l'utilisateur de casque |
CN106888414A (zh) * | 2015-12-15 | 2017-06-23 | 索尼移动通讯有限公司 | 具有闭塞耳朵的说话者的自身语音体验的控制 |
CN107302731A (zh) * | 2017-08-15 | 2017-10-27 | 常德沁音科技有限公司 | 一种基于骨传导的耳机及其降噪方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009152442A1 (en) * | 2008-06-14 | 2009-12-17 | Michael Petroff | Hearing aid with anti-occlusion effect techniques and ultra-low frequency response |
US8855328B2 (en) * | 2008-11-10 | 2014-10-07 | Bone Tone Communications Ltd. | Earpiece and a method for playing a stereo and a mono signal |
DK3005731T3 (en) * | 2013-06-03 | 2017-07-10 | Sonova Ag | METHOD OF OPERATING A HEARING AND HEARING |
-
2019
- 2019-06-11 CN CN201980001396.2A patent/CN112400326B/zh active Active
- 2019-06-11 WO PCT/CN2019/090662 patent/WO2020248113A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011075989A (ja) * | 2009-10-01 | 2011-04-14 | Yamaguchi Univ | 操作指令信号生成方法及び操作指令信号生成装置 |
EP3171612A1 (fr) * | 2015-11-19 | 2017-05-24 | Parrot Drones | Casque audio à contrôle actif de bruit, contrôle anti-occlusion et annulation de l'atténuation passive, en fonction de la présence ou de l'absence d'une activité vocale de l'utilisateur de casque |
CN106888414A (zh) * | 2015-12-15 | 2017-06-23 | 索尼移动通讯有限公司 | 具有闭塞耳朵的说话者的自身语音体验的控制 |
CN105721973A (zh) * | 2016-01-26 | 2016-06-29 | 王泽玲 | 一种骨传导耳机及其音频处理方法 |
CN106162405A (zh) * | 2016-07-27 | 2016-11-23 | 努比亚技术有限公司 | 降噪装置、耳机及降噪方法 |
CN107302731A (zh) * | 2017-08-15 | 2017-10-27 | 常德沁音科技有限公司 | 一种基于骨传导的耳机及其降噪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112400326A (zh) | 2021-02-23 |
WO2020248113A1 (zh) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112400326B (zh) | 一种骨传声信号处理方法、装置、芯片、耳机及存储介质 | |
EP2202998B1 (en) | A device for and a method of processing audio data | |
US11451898B2 (en) | Headset on ear state detection | |
JP6538728B2 (ja) | オーディオ・トランスデューサの性能をトランスデューサの状態の検出に基づいて向上させるためのシステム及び方法 | |
JP4469898B2 (ja) | 外耳道共鳴補正装置 | |
US8315400B2 (en) | Method and device for acoustic management control of multiple microphones | |
US8855343B2 (en) | Method and device to maintain audio content level reproduction | |
US10951972B2 (en) | Dynamic on ear headset detection | |
US20090016541A1 (en) | Method and Device for Acoustic Management Control of Multiple Microphones | |
US20120148061A1 (en) | Earphone | |
TWI626646B (zh) | 音頻系統以及音頻控制方法 | |
JP2004187165A (ja) | 音声通信装置 | |
US9654855B2 (en) | Self-voice occlusion mitigation in headsets | |
US10034087B2 (en) | Audio signal processing for listening devices | |
US20100166197A1 (en) | Sound corrector, sound measurement device, sound reproducer, sound correction method, and sound measurement method | |
US20090274314A1 (en) | Method and apparatus for determining a degree of closure in hearing devices | |
CN109155802A (zh) | 用于产生音频输出的装置 | |
CN111629313B (zh) | 包括环路增益限制器的听力装置 | |
US11683643B2 (en) | Method and device for in ear canal echo suppression | |
US11856375B2 (en) | Method and device for in-ear echo suppression | |
JP4774475B2 (ja) | 補聴器 | |
CN115225998A (zh) | 耳机降噪方法、装置、耳机设备及计算机可读存储介质 | |
US20230114392A1 (en) | Leakage compensation method and system for headphone | |
WO2023160286A1 (zh) | 降噪参数适配方法和装置 | |
KR20200064397A (ko) | 음향 전달 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |