CN111800692B - 一种基于人耳听觉特性的听力保护装置和方法 - Google Patents
一种基于人耳听觉特性的听力保护装置和方法 Download PDFInfo
- Publication number
- CN111800692B CN111800692B CN202010502789.6A CN202010502789A CN111800692B CN 111800692 B CN111800692 B CN 111800692B CN 202010502789 A CN202010502789 A CN 202010502789A CN 111800692 B CN111800692 B CN 111800692B
- Authority
- CN
- China
- Prior art keywords
- loudness
- signal
- module
- hearing
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开一种基于人耳听觉特性的听力保护装置和方法,包括获取当前音频数字信号S0和分析信号S1,分别对音频数字信号S0和S1进行分频段滤波,获得M个子带信号S2(k)和S3(k),0≤k≤M‑1;基于心理声学模型,对子带音频信号S3(k)进行分析,获得各子带对应的增益值G(k);根据增益值G(k)对各子带信号S2(k)进行增益处理,得到处理后的各子带信号S4(k);对各子带信号S4(k)进行合成滤波,合成输出数字音频信号S5。本发明基于心理声学模型,实现了更科学地听力保护。
Description
技术领域
本发明涉及一种听力保护耳机,具体涉及一种基于人耳听觉特性的听力保护装置和方法。
背景技术
当今,耳机和音乐、视频等基本上成为大众的日常。带上耳机,人们便进入到耳机为我们呈现的听觉世界中去,并且不用担心打扰别人、甚至免于被打扰,但也因此深陷其中,无法自拔。长时间、高强度的声音不可避免地损害着人们的听力,据世界卫生组织发布的统计数据,目前全球至少有3.6亿人患有听力障碍。而我国也有至少近3000万人受听力损失之扰,且每年都不断增长,其中不正确的使用耳机是导致听力受损最主要的原因之一,因此为听力保护设计专门的耳机势在必行。
为了应对此问题,市场上出现各种类型的听力保护耳机,但其功能基本上还是局限于简单的限制音频音量或能量、控制音频播放总时长等,如图1所示,这些确实能够对听力产生保护作用。但人耳最终接收到的声音大小不仅仅和原音频的音量或能量相关,还和人耳的听觉特性密切相关,而目前市场上所涉及的听力保护耳机基本上都只考虑了前者、而忽略了后者。因此为了更加科学地进行听力保护,必须要把人耳听觉特性纳入考虑范围之中。
发明内容
发明目的:本发明目的在于针对现有技术的不足,提供一种基于人耳听觉特性的听力保护装置和方法,以解决现有听力保护方法中只注重音量大小和播放时间,而忽视人耳听觉特性,不能更进一步、更科学地保护人耳听觉的问题。
技术方案:本发明所述的基于人耳听觉特性的听力保护装置,音频数据输入模块,用于获取当前输入耳机的数字音频信号S0,和用于分析的数字音频信号S1;
听觉滤波器组分段模块,用于对所述数字音频信号S0和S1进行分频段滤波,获得用于增益控制的M个子带信号S2(k)和用于分析的子带信号S3(k),0≤k≤M-1;
基于心理声学模型的音频分析模块,对所述子带信号S3(k)进行分析,获得各子带对应的增益值G(k);
子带增益调整模块,根据增益值G(k)对各子带信号S2(k)进行增益处理,得到处理后的各子带信号S4(k);
合成滤波模块,对各子带信号S4(k)进行合成滤波,合成输出数字音频信号S5。
进一步完善上述技术方案,所述音频数据输入模块包括:获取的输入耳机的音频信号S0包括音频播放设备直接输出到耳机的数字音频信号或输入的模拟音频信号经过模数转换后获得的数字信号;所述用于分析的音频信号S1包括音频播放设备输入耳机的音频信号,或音频播放设备输入耳机的音频信号经过基于耳机频响的等效滤波器数字滤波后的信号,或耳机播放端采集的数字信号。
进一步地,所述合成滤波模块与听觉滤波器组分段模块构成完全重构或近似重构。
进一步地,所述听觉滤波器组分段模块采用Bark刻度或ERB刻度或符合人耳听觉特性的刻度划分滤波器带宽。
进一步地,所述基于心理声学模型的音频分析模块为响度/声压级计算模块,响度/能量累计模块,响度/声压级计算模块与响度/能量累计模块的组合,响度/声压级计算模块、响度/能量累计模块与听力恢复程度计算模块的组合,响度/能量累计模块与听力恢复程度计算模块的组合中任一种;
所述响度/声压级计算模块用于计算各子带信号响度级或加权声压级N(k),并与各子带预设阈值比较,输出增益值G1(k);所述响度/能量累计模块用于计算各子带信号随着播放时长的增加、累积响度/能量的大小,并与各子带预设阈值对比,输出增益值G2(k)和/或控制信号C;所述听力恢复程度计算模块根据控制信号C计算听觉恢复程度,与预设听力恢复阈值对比,输出控制信号D对耳机进行控制。
进一步地,所述音频分析模块为响度/声压级计算模块或响度/能量累计模块或响度/声压级计算模块与响度/能量累计模块的组合且所述响度/能量累计模块输出增益值G2(k)时,对应所述音频分析模块的增益值G(k)为G1(k)或G2(k)或G1(k)×G2(k),所述子带增益调整模块根据增益值G(k)对各子带信号S2(k)进行增益处理,得到处理后的各子带信号S4(k);
所述音频分析模块为响度/能量累计模块或响度/声压级计算模块与响度/能量累计模块的组合且所述响度/能量累计模块输出增益值G2(k)和控制信号C时,控制信号C包括语音提示与耳机关闭的控制信号,若听力疲劳程度达到预设阈值,进行语言提示或关闭耳机,否则直接输出增益值;
所述音频分析模块为响度/声压级计算模块、响度/能量累计模块与听力恢复程度计算模块的组合或响度/能量累计模块与听力恢复程度计算模块的组合时,所述响度/能量累计模块输出控制信号C,所述控制信号C包括能量累积值和听力恢复程度计算模块的控制信号IC,听力恢复程度计算模块基于能量累积值计算听力恢复程度,若听力恢复程度达到预设阈值,则控制信号D控制耳机恢复正常播放状态,否则耳机保持休息状态并继续进行听力恢复程度计算。
进一步地,所述响度/声压级计算模块采用Zwicker响度计算模型或Moore响度计算模型等符合人耳听觉特性的响度模型进行响度计算;采用A计权或B计权或C计权等声压级模型进行声压级计算;
所述响度/能量累计模块对响度值采用等效计时时间进行累计获得能量累积值;
所述听力恢复程度计算模块采用频率、累积能力、恢复时长组成模型计算听力恢复程度或采用恢复时长计算听力恢复程度;所述听力恢复程度计算模块工作在耳机休息状态下。
基于人耳听觉特性的听力保护装置进行听力保护方法,包括如下步骤:
P1:获取当前输入的数字音频信号S0和用于分析的数字音频信号S1;
P2:采用听觉滤波器分段模块对当前数字音频信号S0和S1进行分频滤波,得到用于增益控制的子带信号S2(k)和分析的子带信号S3(k);
P3:基于心理声学模型,通过音频分析模块对S3(k)进行计算和分析,得到信号F;
P4:根据信号F,对各子带信号S2(k)进行增益处理并合成滤波输出音频信号S5和/或输出耳机状态控制信号,实现听力保护。
进一步地,所述步骤P3包括:
P5:根据子带信号S3(k)计算各子带响度大小,并得到相应的增益值G1(k);
P6:计算各自带累积能量大小,与阈值对比,输出各子带增益G2(k)和/或控制信号C;
进一步地,所述步骤P4包括以下任一步骤:
P7:基于P3传输的信号F中增益信号G,根据各子带增益调整各子带信号S2(k),通过合成滤波模块合成,输出最终播放的音频信号,G为G1(k)或G2(k)或G1(k)×G2(k);
P8:基于各子带增益G2(k)和控制信号C输出的语音提示与耳机关闭的控制信号,分别进行子带增益调整和听力疲劳判断,若听力疲劳程度达到预设阈值,进行语言提示或关闭耳机,否则直接输出增益调整后的合成音频信号;
P9:基于控制信号C输出的能量累积值和听力恢复程度计算模块的控制信号IC,进行听力恢复程度的计算,若听力恢复程度达到预设阈值,则耳机恢复正常播放状态,否则耳机保持休息状态并继续进行听力恢复程度计算。
有益效果:本发明基于心理声学模型(人耳听觉特性),从各子带响度方面着手,通过增益值进行响度/音量控制,更科学地进行听力保护,包括:1、控制各子带瞬时响度,保护人耳瞬时听觉系统;2、控制各子带累积响度/能量,防止某频带累积响度超过听力疲劳点,导致听力慢性损伤;3、控制各子带听力恢复情况,保障人耳听觉的休息和恢复时长,最终达到保护听力的目的。
附图说明
图1为现有听力保护耳机的方法示意图;
图2为本发明装置一示意图;
图3为本发明扩展装置二示意图;
图4为本发明扩展装置三示意图;
图5为本发明方法一流程图;
图6为本发明扩展方法二流程图;
图7为本发明扩展方法三流程图;
图8为本发明实施例一流程图;
图9为本发明实施例二流程图;
图10为本发明实施例三流程图。
具体实施方式
下面通过附图对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
如图2所示的基于人耳听觉特性的听力保护装置,包括音频数据输入模块101、听觉滤波器组分段模块102、子带增益调整模块104、合成滤波模块105、基于心理声学模型的音频分析模块103。该听力保护装置的具体实现过程如下:
音频数据输入模块获取当前输入数字音频信号S0和用于分析的数字音频信号S1;听觉滤波器组分段模块对音频数字信号S0和S1进行分频段滤波,获取M个子带信号S2(k)和S3(k),0≤k≤M-1;基于心理声学模型的音频分析模块对子带信号S3(k)进行分析,获取各子带对应的增益值G(k);子带增益调整模块根据增益值G(k),对各子带信号S2(k)进行增益处理,得到处理后的各子带信号S4(k);合成滤波模块把各子带信号S4(k)合成滤波,合成输出的数字音频信号S5。
音频数据输入模块获取的输入耳机的数字音频信号S0为音频播放设备直接输出到耳机的数字音频信号,或输入的模拟音频信号经过模数转换后获得的数字信号;用于分析的数字音频信号S1包含音频播放设备输入耳机的音频信号,或音频播放设备输入耳机的音频信号经过基于耳机频响的等效滤波器数字滤波后的信号,或耳机播放端采集的数字信号中任一种。
听觉滤波器组分段模块可以用FFT(快速傅里叶变换)或MDCT(修正余弦变换)或QMF(正交径向滤波器)等高效率变换/滤波算法。对应的,合成滤波模块应和听觉滤波器组分段模块构成完全重构或近似重构条件[8]。
如图3所示,基于心理声学模型的音频分析模块103包括响度/声压级计算模块106、响度/能量累积模块107、听力恢复程度计算模块108。响度/声压级计算模块用于计算各子带信号响度级或加权声压级N(k),并与各子带预设阈值比较,输出增益值G1(k);响度/能量累积模块用于计算各子带信号随着播放时长的增加,累积响度/能量的大小,并与各子带预设阈值(听力疲劳点)对比,输出一组增益值G2(k)和/或信号C;听力恢复程度计算模块用于计算随着休息时长的增加,各子带听觉恢复程度,与预设听力恢复阈值对比,输出控制信号D。基于心理声学模型的音频分析模块中增益值G(k)可以是G1(k),或者G2(k),或者两者相乘。
基于心理声学模型的音频分析模块也可以为以下任意一种:单独的响度/声压级计算模块,响度/声压级计算模块与响度/能量累积模块的组合,响度/声压级计算模块、响度/能量累积模块与听力恢复程度计算模块的组合,单独的响度/能量累积模块,响度/能量累积模块与听力恢复程度计算模块的组合,如图4所示。
信号C包含能量累积值和触发信号。响度/能量累积模块可以与语音提示、耳机开关(包括电开关、软开关、静音等)相结合,此时触发信号为语音提示与耳机关闭的控制信号,当其达到某些限定条件时,如听力疲劳程度达到预设阈值时,进行语音提示,然后耳机关机或静音;或者单独与语音提示相结合,此时触发信号为听力恢复程度计算模块的控制信号IC,当其达到某些限定条件后,进行语音提示,然后把能量累积值和信号IC传输至听力恢复程度计算模块。
音频数据输入模块、听觉滤波器组分段模块、子带增益调整模块、合成滤波模块、响度/声压级计算模块、响度/能量累积模块工作于耳机处于开机正常播放状态下,而听力恢复程度计算模块工作于耳机处于休息状态下。
采用上述装置实现听力保护方法,包括
P1:接收一帧输入数字音频信号S0和一帧分析数字音频信号S1;
P2:听觉滤波器组分段模块对数字音频信号S0和S1进行分频段处理,获取各个子带信号S2(k)和S3(k);
P3:基于心理声学模型的音频分析模块(基于人耳听觉特性)对各子带信号S3(k)进行计算和分析,并输出信号F;
P4:根据信号F,对各子带信号S2(k)以及耳机状态进行控制,实现听力保护。
P3步骤还可以包含两个子步骤,分别为:
P5:计算各子带响度N(k),与阈值对比,得到各子带增益G1(k);
P6:计算各子带响度/能量累积Ec(k),与预设阈值(预设听力疲劳点)对比,得到信息PG。
P3中输出信号F,可以包含P5中信号G1(k),或P6中信号PG;或同时包含两者信息,此时PG包含用于正常播放时,调整各子带响度的增益G2(k),F中包含的增益G(k)=G1(k)×G2(k);P6中的信息还可以包含用于控制语音提示与耳机关闭(电开关或软开关)的控制信息H;还可以包含进一步控制耳机进入休息模式的信号I。
针对不同的信息PG,P4中听力保护模块包含以下任一子步骤:
P7:基于P3传输的信号F中增益信号G,调整音频各子带S3(k)响度大小,并使用合成滤波模块,把调整后的各子带信息合成最终输出信号。
P8:基于P3传输的信号F中的信号I,开始进行听力恢复程度的计算,保证听力休息时长;信号I包含控制信号IC,和各子带累积能量/响度值Ec(k)。
P9:基于P3传输的信号F中的信号H,进行语音提示或断电关机;信号H包含增益值G2(k)和控制信号C21、C22,C21为语音提示信号,C22为耳机控制信号。
如图7所示,P9还可以展开为以下子步骤:
P10:关闭除接下来的听力恢复计算模块外其他模块,耳机进入休息模式;
P11:根据关闭其他模式时传入的各子带累积能量/响度值,进行听力恢复的计算,输出各子带听力恢复程度TTS(k);
P12:把各子带听力恢复程度与预设阈值进行对比,若达到预设听力恢复条件,则耳机恢复正常播放状态;否则继续进行保持休息模式,保证人耳得到足够休息。
休息模式是指除听力恢复计算单元外,其他单元都不运行,此时耳机输出为静音。
实施例1:在耳机播放时,对音频各子带响度进行限定,防止人耳瞬时损伤,如图8所示:
步骤201:在播放音频情况下,获取当前输入音频帧S10;
步骤202:基于耳机频响曲线,构造滤波器Filter_11,并对音频S10使用滤波器Filter_11进行滤波,即按耳机频响曲线做均衡处理,获取分析信号S11;
步骤203:基于人耳听觉特性,构建听觉滤波器组分段模块Filter_12(k),并对音频帧S10和S11进行滤波处理,获取用于增益调整的子带信号S12(k)和用于分析的子带信号S13(k)。
具体地,使用Bark刻度划分滤波器带宽,其中心频率和带宽如表1所示。然后根据表1的中心频率和带宽,构建MDCT(修正余弦变换)[8]听觉滤波器组分段模块。然后使用MDCT将音频帧信号S10和S11变换到MDCT域,并将MDCT域信号按Bark刻度划分成24个听觉子带,标记为S12(k)和S13(k),k=0,1,…23。
步骤204:计算子带信号S13(k)的响度[1,2],并与预设的听觉阈值进行比较,计算出增益值G11(k);
步骤205:根据增益值G11(k),对步骤102中子带信号S12(k)进行信号增益处理,获取子带信号S14(k);
步骤206:根据子带信号S14(k),使用IMDCT(逆修正余弦变换)把各子带信号S14(k)合成最终输出音频信号S15。
步骤204中计算每个子带S13(k)的响度和增益,包括以下步骤:
其中S13(k,i)代表一帧分析音频信号中,k子带第i个采样点,LEN为子带信号的帧长;
(2)根据Zwicker响度计算模型得到改进后的特征响度计算公式[3]
其中E0=1.8703×10-5,Y是通过等响曲线得到的对应于24个临界频带中心频率处可听阈声强级;
(3)根据计算所得子带响度值N(k),和预设子带阈值N0(k)进行对比,若N(k)≤N0(k),则设子带增益G11(k)=1.0;否则,调整增益值G11(k)<1.0,使得N(k)=N0(k);
具体地,增益值的调整方式,当N(k)>N0(k),根据(2)式可得:
通过(3)式计算可得G11(k)。
音频帧的多个子带对应的听阈值N0(k)可以相同,也可以不同,且可以针对不同类型用户设置不同的调整,起到个性化的听力保护作用。
各子带响度计算方法不仅限于上述计算方法,还可以使用基于A、B、C计权等方法,获取各子带计权声压级,该方法较为成熟,所以此处不再赘述。
本实施例中采用MDCT变换和Bark刻度进行划分,也可以采用FFT、QMF、PQMF和小波变换等其他滤波或变换技术,还可以使用ERB(等距带宽)等其他刻度进行划分和计算,也能获得有益的效果,以上这些变化均应视为本发明的保护范畴。
实施例2:在耳机播放时,对音频信号中各子带信号进行响度累积方面的控制,必要时进行关机,减少听力疲劳,保护人耳听力。具体步骤如下:
步骤301:获取输入音频帧S20;
步骤302:在耳机播放端实时采集已经播放的声音数据帧S21;
步骤303:如步骤203,基于人耳听觉特性,构造听觉滤波器组分段模块Filter_21(k),并对输入音频信号S20滤波,获取音频各子带信号S22(k)。
滤波器组的频带可以采用如步骤203中的刻度进行划分,也可以使用ERB刻度划分滤波器带宽。本实施例采用ERB刻度进行划分,根据ERB级在50~15000Hz范围内确定各听觉滤波器形状,ERB刻度以0.6为间隔,共需构造62个滤波器。本发明不限于ERB间隔和滤波器数,还可以采用其他间隔和相应的个数滤波器。具体划分方法参考[4],此处不再赘述。
步骤304:对声音数据帧S21进行FFT变换,得到信号频域组成成分,并求取各频率点处绝对值X(i),i=0,1,...,LEN;其中LEN为帧长。然后根据步骤303中滤波器带宽的划分,计算各子带功率的大小。
其中Num(k)是k子带中包含频率点的个数,fk(i)是k子带内各频率点。
步骤305:基于步骤304中各子带功率的大小,计算各子带特性响度值N21(k)。响度可以采用Moore响度计算模型计算,该方法较为成熟,不再赘述,可参考文献[4,5,6]。
步骤306:进行响度累积计算,判断累积响度是否超过听力疲劳点阈值,并输出增益值和控制信号。
响度累积计算,本发明实施例采用等效计时时间方式进行累积,简化响度累积方法。具体的,对于各子带听力疲劳点阈值可以设定为N0(k)sone×T0(k)s,代表该子带听力疲劳点预设为使用N0(k)宋响度的声音,最多允许播放时长T0(k)秒。
(1)当所述子带响度N21(k)等于N0(k),该帧信号等效播放时间Teq(k)和实际播放播放时间Treal(k)相同,即为LEN/Fs,其中LEN为帧长,Fs为采样率;响度N21(k)不等于N0(k),则该帧信号等效播放时间Teq(k)则等于实际播放时间乘以一个系数:
Teq(k)=C(N21(k))×LEN/Fs (5)
其中C(N21(k))是与子带响度相关的系数,可以简要表示为:
C(N21(k))=exp{b(k)·[N21(k)-N0(k)]} (6)
其中b(k)与子带相关的系数,各子带之间所得值可以各不相同;N0(k)为各子带预设响度值,可以相同,也可以不同;T0(k)代表各子带预设听音时长,同样可以相同,也可以不同,也可以根据用户进行个性化设计。
(2)然后计算等效累积时间:
其中ti为播放的帧数。
(4)统计超过听力疲劳点子带的个数Count_N2,当Count_N2超过预设值Count_N20时,则输出控制信号C21=1,否则C21=0;当Count_N2超过预设值Count_N21时,则输出控制信号C22=1,否则C22=0。
Count_N20对应下述语言提示模块设定的阈值;Count_N21对应耳机开关模块设计的阈值;一般情况下Count_N20≤Count_N21。
步骤307,根据增益值G21(k),对步骤303中子带信号S22(k)进行增益调整,得到增益后各子带信号S23(k);
步骤308,使用合成滤波模块,把各子带信号S23(k)合成听力保护输出信号S24。
步骤309,根据步骤206中控制信号C21,判断C21是否为1,若是,则输出语音提示信息;否则不输出预存语音信号S25;
步骤310,输出合成模块,输出最终音频信号。其接收步骤308输出的听力保护信号S24和步骤309输出的预存语音信号S25。若所述控制信号C21为0,则直接输出信号S24;否则,把听力保护信号S24和预存语音信号S25按一定比例合成,并输出信号S26。
步骤311,根据步骤306控制信号C22,若C22为1,则关闭耳机;否则允许耳机继续播放。
实施例3:在播放时进行响度/能量累累积,并进行相应控制,减少长时间听音时的听力疲劳,必要时关闭耳机;在关闭耳机后,进一步考虑听力恢复程度,保证人耳各子带能够得到充分的休息,最终达到保护听力的目的。具体步骤如下:
步骤401:在耳机播放端实时采集播放的声音数据帧S31(用于音频分析);
步骤402:类似于步骤103~步骤104,计算声音数据S31各子带音频功率E3(k);
步骤403:计算各子带能量累积值,并与各子带预设阈值进行对比,得到控制信号C31。
具体计算方法如下:
(1)根据步骤304中各子带音频功率E3(k),计算得到该帧子带音频能量值Ec(k,i):
En(k,i)=E3(k)×LEN/Fs (8)
其中i代表第i帧信号,Fs是音频采样率;
(2)根据播放时间,计算累积能量En_c(k,ti),
其中,ti为播放帧数。
(3)对比各子带累积能量En_c(k,ti)与预设累积阈值(听力疲劳点阈值),若累积能量En_c(k,ti)超过听力疲劳点阈值,则令C30(k)=1;否则C30(k)=0。
(4)根据C30(k)的值,统计累积能量超过听力阈值的子带个数Count_N3(即C30(k)=1的子带个数),当Count_N3超过预设值Count_N30时,则输出控制信号C31=1;否则C31=0,返回步骤301。
步骤404,当接收到控制信号C31=1时,耳机进入休息模式,此时听力恢复单元启动并开始工作,而其他单元都关闭,进入休息状态,此时耳机端输出静音;同时把步骤403中累积能量值En_c(k,ti)传入听力恢复计算模块,令其中Ec_start(k)=En_c(k,ti),用于听力恢复计算;否则,C31=0时,除听力恢复计算单元继续关闭外,其他单元均正常运行,耳机正常播放声音,且回到步骤401。
步骤405:当听力恢复计算模块启动后,根据步骤404所述累积能量值Ec_start(k),开始计算随着耳机休息时长的增加,人耳听力各子带恢复程度,并与阈值进行对比,给出反馈控制信号。具体的:本发明专利基于前人研究[4,7]:a.累积能量或者响度越大,所需恢复时间越长;b.恢复程度和恢复时间的对数大致呈线性关系;c.不同频带处的恢复时间也不同,其中4kHz附近最易产生听力疲劳,同样所需恢复时间也最长。设计简单的听力恢复模型,听力恢复程度由频率(子带)、累计能量、恢复时长共同决定:
TTS(k)=Function(k,E,t)≈Γ(k)Ψ(E)T(t) (10)
其中TTS代表听力恢复程度,TTS越小,代表恢复程度越好,当小于一定值之后,代表听力完全恢复。Γ(k)和频率相关的量,可设定与为人耳听觉响度曲线相关,越敏感的频率点,其值越大;Ψ(E)与步骤403中所述累积能量或响度值相关,可以简要设定为Ψ(E)=C1E+C2,C1和C2是常数项,其中C1为正,E=Ec_start(k);T(t)则是与恢复时间相关,恢复时间越长,TTS越小,所以可以简要表述为T(t)=-D1lg(t)+D2,其中D1和D2是正常数项,代表时间越长,恢复程度越好,TTS越小,直至趋近于0。
基于上述简易计算模型,听力恢复计算和控制的步骤如下:
(1)根据式(10)计算出各子带听力的恢复程度TTS(k);
(2)对比TTS(k)和各子带预设听力恢复阈值,并输出控制信号C32(k)。若TTS(k)大于听力恢复阈值,则C32(k)=0,代表未完全恢复;否则C33(k)=1,代表完全恢复;
(3)统计C32(k)=1的个数count_C32,若count_C32小于预设数值,则输出控制信号C33=0;否则C33=1。
本发明实施例中所述各子带听力恢复阈值,可以完全相同,也可以不同,也可以根据用户体验进行个性化设计,提高用户体验。
上述听力恢复程度计算还可以使用恢复时间来代替恢复程度值,从而更便捷地进行恢复程度的控制。具体方法如下,当TTS小于某一阈值时,则代表听力恢复完成,所以设定该子带阈值为较小常数。通过(10)式可得恢复时长(t>1)为:
D3和D4为正常数。可以看出,人耳越敏感的频率点、累积响度越大,所需恢复时间越长。基于此,具体实施步骤如下:
(1)当接收到控制信号C31=1,听力恢复模块根据当前接收到的累积能量值,根据(11)式,计算出各子带所需恢复时长time(k);
(2)使用计时器开始计时,当计时时间t大于所述恢复时长time(k)时,使子带控制信号C32(k)=1;否则C32(k)=0;
(3)统计所述控制信号C32(k)=1的个数,若小于预设数值N5时,则输出控制信号C33=0;否则C33=1。
步骤406,若步骤405中所述控制信号C33=1时,耳机恢复正常播放,而该听力恢复计算单元暂停,听力恢复程度计算值均清零,然后返回到步骤401;否则,耳机继续保持休息模式,听力恢复计算单元继续运行,即回到步骤405。
步骤401中声音数据帧S31,也可以由基于耳机频响曲线的等效滤波器对输入音频信号滤波所得。
参考文献:
1.Isotc A.Acoustics-Method for calculating loudness level[J].iso,1975。
2.周明刚,董琦飞,刘阳,et al.Zwicker时变响度的一种计算方法[J].中国机械工程,2014,25(22):3073-3076。
3.柳革命,吴姚振.响度特征量化的改进算法[J].空军工程大学学报:自然科学版,2011(04):95-98。
4.Moore B C J.An Introduction to the Psychology of Hearing[J].Archives of Otolaryngology,1977,103(12):745-746。
5.马元锋,陈克安,王娜.Moore响度模型的数值计算方法[J].声学技术,2008,27(3):390-395。
6.郑文,陈克安,马元峰.Moore模型与响度计算中的关键问题[J].电声技术,2007(6):11-13。
7.梁之安.听觉感受和辨别的神经机制[M].上海科技教育出版社,1999。
8.潘兴德.感知信源编码中的若干核心技术研究.博士论文,2003。
如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上作出各种变化。
Claims (10)
1.一种基于人耳听觉特性的听力保护装置,其特征在于,包括:
音频数据输入模块,用于获取当前输入耳机的数字音频信号S0,和用于分析的数字音频信号S1;所述用于分析的数字音频信号S1包含音频播放设备输入耳机的音频信号,或音频播放设备输入耳机的音频信号经过基于耳机频响的等效滤波器数字滤波后的信号,或耳机播放端采集的数字信号;
听觉滤波器组分段模块,用于对所述数字音频信号S0和S1进行分频段滤波,获得用于信号增益控制的子带信号S2 (k)和用于音频分析的子带信号S3(k),0≤k≤M-1;
基于心理声学模型的音频分析模块,对所述子带信号S3 (k)进行分析,获得各子带对应的增益值G(k);
子带增益调整模块,根据增益值G(k)对各子带信号S2 (k)进行增益处理,得到处理后的各子带信号S4(k);
合成滤波模块,对各子带信号S4(k)进行合成滤波,合成输出数字音频信号S5。
2.根据权利要求1所述的基于人耳听觉特性的听力保护装置,其特征在于:所述音频数据输入模块获取的输入耳机的数字音频信号S0包括音频播放设备直接输出到耳机的数字音频信号或输入的模拟音频信号经过模数转换后获得的数字信号。
3.根据权利要求1所述的基于人耳听觉特性的听力保护装置,其特征在于:所述听觉滤波器组分段模块和所述合成滤波模块满足完全重构或近似重构条件。
4.根据权利要求1或3所述的基于人耳听觉特性的听力保护装置,其特征在于:所述听觉滤波器组分段模块采用Bark刻度或ERB刻度或符合人耳听觉特性的刻度划分滤波器带宽。
5.根据权利要求1所述的基于人耳听觉特性的听力保护装置,其特征在于:所述基于心理声学模型的音频分析模块为响度/声压级计算模块,响度/能量累计模块,响度/声压级计算模块与响度/能量累计模块的组合,响度/声压级计算模块、响度/能量累计模块与听力恢复程度计算模块的组合,响度/能量累计模块与听力恢复程度计算模块的组合中任一种;
所述响度/声压级计算模块用于计算各子带信号响度级或加权声压级N(k),并与各子带预设阈值比较,输出增益值G1(k);所述响度/能量累计模块用于计算各子带信号随着播放时长的增加、累积响度/能量的大小,并与各子带预设阈值对比,输出增益值G2(k)和/或控制信号C;所述听力恢复程度计算模块根据控制信号C计算听觉恢复程度,与预设听力恢复阈值对比,输出控制信号D对耳机进行控制。
6.根据权利要求5所述的基于人耳听觉特性的听力保护装置,其特征在于:所述音频分析模块为响度/声压级计算模块或响度/能量累计模块或响度/声压级计算模块与响度/能量累计模块的组合且所述响度/能量累计模块输出增益值G2(k)时,对应所述音频分析模块的增益值G(k)为G1(k)或G2(k)或G1(k)×G2(k),所述子带增益调整模块根据增益值G(k)对各子带信号S2 (k)进行增益处理,得到处理后的各子带信号S4(k);
所述音频分析模块为响度/能量累计模块或响度/声压级计算模块与响度/能量累计模块的组合且所述响度/能量累计模块输出增益值G2(k)和控制信号C时,控制信号C包括语音提示与耳机关闭的控制信号,若听力疲劳程度达到预设阈值,进行语言提示或关闭耳机,否则直接输出增益值;
所述音频分析模块为响度/声压级计算模块、响度/能量累计模块与听力恢复程度计算模块的组合或响度/能量累计模块与听力恢复程度计算模块的组合时,所述响度/能量累计模块输出控制信号C,所述控制信号C包括能量累积值和听力恢复程度计算模块的控制信号IC,听力恢复程度计算模块基于能量累积值计算听力恢复程度,若听力恢复程度达到预设阈值,则控制信号D控制耳机恢复正常播放状态,否则耳机保持休息状态并继续进行听力恢复程度计算。
7.根据权利要求5或6所述的基于人耳听觉特性的听力保护装置,其特征在于:所述响度/声压级计算模块采用包括Zwicker响度模型或Moore响度模型在内的符合人耳听觉特性的响度模型计算响度级,以及采用包括A计权或B计权或C计权在内的声压级模型计算声压级;
所述响度/能量累计模块对响度值采用等效计时时间进行累计获得能量累积值;
所述听力恢复程度计算模块采用听觉滤波器频带、累积响度/能量、恢复时长组成模型计算听力恢复程度或采用恢复时长计算听力恢复程度。
8.一种根据权利要求1所述的基于人耳听觉特性的听力保护装置进行听力保护的方法,其特征在于,包括如下步骤:
P1:获取当前用于增益控制的数字音频信号S0和用于分析的数字音频信号S1;
P2:采用听觉滤波器分段模块对数字音频信号S0和S1进行分频滤波,得到用于增益控制的子带信号S2(k)和用于分析的子带信号S3(k);
P3:基于心理声学模型,通过音频分析模块对S3(k)进行计算和分析,得到信号F;
P4:根据信号F,对各子带信号S2(k)进行增益处理并合成滤波输出音频信号S5和/或输出耳机状态控制信号。
9.根据权利要求8所述的听力保护方法,其特征在于,所述步骤P3包括:
P5:根据子带信号S3(k)计算各子带响度大小,并得到相应的增益值G1 (k);
P6:计算各子带累积能量大小,与阈值对比,输出各子带增益G2(k) 和/或控制信号C。
10.根据权利要求9所述的听力保护方法,其特征在于,所述步骤P4包括以下任一步骤:
P7:基于P3传输的信号F中增益信号G,根据各子带增益调整各子带信号S2(k),通过合成滤波器组合成,输出最终播放的音频信号,G为G1(k)或G2(k)或G1(k)×G2(k);
P8:基于各子带增益G2(k)和控制信号C输出的语音提示与耳机关闭的控制信号,分别进行子带增益调整和听力疲劳判断,若听力疲劳程度达到预设阈值,进行语言提示或关闭耳机,否则直接输出增益调整后的合成音频信号;
P9:基于控制信号C输出的能量累积值和听力恢复程度计算模块的控制信号IC,进行听力恢复程度的计算,若听力恢复程度达到预设阈值,则耳机恢复正常播放状态,否则耳机保持休息状态并继续进行听力恢复程度计算。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010502789.6A CN111800692B (zh) | 2020-06-05 | 2020-06-05 | 一种基于人耳听觉特性的听力保护装置和方法 |
PCT/CN2020/140754 WO2021244019A1 (zh) | 2020-06-05 | 2020-12-29 | 一种基于人耳听觉特性的听力保护装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010502789.6A CN111800692B (zh) | 2020-06-05 | 2020-06-05 | 一种基于人耳听觉特性的听力保护装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111800692A CN111800692A (zh) | 2020-10-20 |
CN111800692B true CN111800692B (zh) | 2023-03-14 |
Family
ID=72803272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010502789.6A Active CN111800692B (zh) | 2020-06-05 | 2020-06-05 | 一种基于人耳听觉特性的听力保护装置和方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111800692B (zh) |
WO (1) | WO2021244019A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111800692B (zh) * | 2020-06-05 | 2023-03-14 | 全景声科技南京有限公司 | 一种基于人耳听觉特性的听力保护装置和方法 |
CN112151007B (zh) * | 2020-11-24 | 2021-03-02 | 北京世纪好未来教育科技有限公司 | 一种语音合成方法、装置、设备及存储介质 |
CN115175076A (zh) * | 2022-06-30 | 2022-10-11 | 腾讯科技(深圳)有限公司 | 音频信号的处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5944672A (en) * | 1998-04-15 | 1999-08-31 | Samsung Electronics Co., Ltd. | Digital hearing impairment simulation method and hearing aid evaluation method using the same |
CN102984634A (zh) * | 2011-11-22 | 2013-03-20 | 南京工程学院 | 一种数字助听器非等宽子带自动增益控制方法 |
CN103339960A (zh) * | 2010-12-01 | 2013-10-02 | 索纳麦克斯科技股份有限公司 | 先进的通信耳机装置及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6044162A (en) * | 1996-12-20 | 2000-03-28 | Sonic Innovations, Inc. | Digital hearing aid using differential signal representations |
WO2007143580A2 (en) * | 2006-06-01 | 2007-12-13 | Personics Holdings Inc. | Ear input sound pressure level monitoring system |
KR101356206B1 (ko) * | 2007-02-01 | 2014-01-28 | 삼성전자주식회사 | 자동 오디오 볼륨 기능을 갖는 오디오 재생 방법 및 장치 |
CN101060724A (zh) * | 2007-04-25 | 2007-10-24 | 比特联创电子(北京)有限公司 | 避免音频设备损害听力的方法及用该方法制成的电声装置 |
CN201286161Y (zh) * | 2008-10-28 | 2009-08-05 | 张莉楠 | 一种限时耳机 |
CN110139181B (zh) * | 2019-04-30 | 2020-11-06 | 维沃移动通信有限公司 | 音频处理方法、装置、耳机、终端设备及存储介质 |
CN111800692B (zh) * | 2020-06-05 | 2023-03-14 | 全景声科技南京有限公司 | 一种基于人耳听觉特性的听力保护装置和方法 |
-
2020
- 2020-06-05 CN CN202010502789.6A patent/CN111800692B/zh active Active
- 2020-12-29 WO PCT/CN2020/140754 patent/WO2021244019A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5944672A (en) * | 1998-04-15 | 1999-08-31 | Samsung Electronics Co., Ltd. | Digital hearing impairment simulation method and hearing aid evaluation method using the same |
CN103339960A (zh) * | 2010-12-01 | 2013-10-02 | 索纳麦克斯科技股份有限公司 | 先进的通信耳机装置及方法 |
CN102984634A (zh) * | 2011-11-22 | 2013-03-20 | 南京工程学院 | 一种数字助听器非等宽子带自动增益控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111800692A (zh) | 2020-10-20 |
WO2021244019A1 (zh) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111800692B (zh) | 一种基于人耳听觉特性的听力保护装置和方法 | |
JP4640461B2 (ja) | 音量調整装置およびプログラム | |
EP0796489B1 (en) | Method for transforming a speech signal using a pitch manipulator | |
AU2009267529B2 (en) | Apparatus and method for calculating bandwidth extension data using a spectral tilt controlling framing | |
EP3602549B1 (en) | Apparatus and method for post-processing an audio signal using a transient location detection | |
KR101356206B1 (ko) | 자동 오디오 볼륨 기능을 갖는 오디오 재생 방법 및 장치 | |
Kim et al. | Nonlinear enhancement of onset for robust speech recognition. | |
US20030216907A1 (en) | Enhancing the aural perception of speech | |
US20070239294A1 (en) | Hearing instrument having audio feedback capability | |
US20080082327A1 (en) | Sound Processing Apparatus | |
KR20070028080A (ko) | 이동통신 단말의 오디오 재생시 주변 잡음에 적응하는 자동음량 조절 방법 및 장치 | |
TWI504282B (zh) | 增加聽障者聽到聲音正確性之方法及助聽器 | |
JP2010021627A (ja) | 音量調整装置、音量調整方法および音量調整プログラム | |
EP1841284A1 (en) | Hearing instrument for storing encoded audio data, method of operating and manufacturing thereof | |
JP3269669B2 (ja) | 聴覚補償装置 | |
CN100349209C (zh) | 数字音频信号的感知标准化方法及标准化器 | |
JP5345638B2 (ja) | 瞬時ピークレベル管理とスピーチの清澄の改良方法 | |
CN101625870B (zh) | Ans方法和装置、提高监控系统音频质量的方法和系统 | |
JPH06289898A (ja) | 音声信号処理装置 | |
JP2003280691A (ja) | 音声処理方法および音声処理装置 | |
EP2063420A1 (en) | Method and assembly to enhance the intelligibility of speech | |
Tiwari et al. | A sliding-band dynamic range compression for use in hearing aids | |
EP4138299A1 (en) | A method for increasing perceived loudness of an audio data signal | |
EP2506254A1 (de) | Verfahren zur Verbesserung der Sprachverständlichkeit mit einem Hörhilfegerät sowie Hörhilfegerät | |
Luo et al. | High quality wavelet-packet based audio coder with adaptive quantization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |