CN109300481B - 基于信息熵及时间趋势分析的音频关注度计算方法及系统 - Google Patents
基于信息熵及时间趋势分析的音频关注度计算方法及系统 Download PDFInfo
- Publication number
- CN109300481B CN109300481B CN201811228386.6A CN201811228386A CN109300481B CN 109300481 B CN109300481 B CN 109300481B CN 201811228386 A CN201811228386 A CN 201811228386A CN 109300481 B CN109300481 B CN 109300481B
- Authority
- CN
- China
- Prior art keywords
- audio signal
- information entropy
- attention
- value
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 58
- 238000004364 calculation method Methods 0.000 title claims abstract description 31
- 230000005236 sound signal Effects 0.000 claims abstract description 134
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000007774 longterm Effects 0.000 claims description 17
- 238000009432 framing Methods 0.000 claims description 11
- 210000000067 inner hair cell Anatomy 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 210000005069 ears Anatomy 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 210000000959 ear middle Anatomy 0.000 description 3
- 210000002469 basement membrane Anatomy 0.000 description 2
- 210000003477 cochlea Anatomy 0.000 description 2
- 210000000860 cochlear nerve Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000000721 basilar membrane Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于信息熵及时间趋势分析的音频关注度计算方法及系统。本发明通过对输入音频信号进行听觉外周处理以达到人耳对声音信号的前期处理效果，对音频信号进行分帧处理并求取每帧信息熵值，利用统计学相关计算原理对整体音频信号熵值进行趋势性分析，最终得到关注度值，本发明技术方案通过复杂性低的计算方式实现了对音频信号中人耳较感兴趣事件进行自动检测，满足目前智能音频等领域的需求。
Description
技术领域
本发明涉及计算机音频处理领域，尤其涉及基于信息熵及时间趋势分析的音频关注度计算方法及系统。
背景技术
听觉的产生是一个复杂过程，人类注意力资源有限，大脑必须对音频信息进行过滤和选择，有针对性的对部分音频信息产生重点关注，即所谓的音频关注事件。如何让计算机模拟人类听觉的选择关注机制并自动检测音频信号中的高关注度事件成为近年的研究热点。
现有研究方法中，典型的是通过对音频信号进行处理得到听觉图谱，转化为图像领域进行分析，通过相关滤波提取图像的强度、时间对比度等特征，整合不同特征下关注度图得到音频信号的整体关注度；也有基于音频信号双耳强度差、双耳声压差和短时过零率等基本特征进行相关计算得到关注度图，这些解决方式都是基于二维信号的处理，计算量较大且复杂。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于信息熵及时间趋势分析的音频关注度计算方法及系统，旨在解决现有技术中对音频关注度计算是基于二维信号处理，复杂度高的技术问题。
为实现上述目的，本发明提供一种基于信息熵及时间趋势分析的音频关注度计算方法，所述方法包括以下步骤：
获取待计算音频信号；
对所述待计算音频信号进行听觉外周处理，获得第一音频信号；
对所述第一音频信号进行分帧，并计算每帧音频信号的当前信息熵值；
根据所述当前信息熵值基于时间趋势分析算法获得当前关注度；
根据所述当前关注度确定所述待计算音频信号的关注度。
优选地，所述对所述待计算音频信号进行听觉外周处理，获得第一音频信号，具体包括：
对所述待计算音频信号进行类基底膜处理及类内毛细胞处理，获得第一音频信号。
优选地，所述对所述待计算音频信号进行类基底膜处理及类内毛细胞处理，获得第一音频信号，具体包括：
通过具有N个通道的滤波器组对所述待计算音频信号进行滤波处理，得到各通道下的第二音频信号；
将各通道的所述第二音频信号代入内毛细胞模型，获得各通道的发放概率；
将所述各通道的发放概率相加求取平均值并归一化到[-1,1]范围，获得第一音频信号。
优选地，所述滤波器组包括Gammatone滤波器组，所述内毛细胞模型包括Meddis模型。
优选地，所述对所述第一音频信号进行分帧，并计算每帧音频信号的当前信息熵值，具体包括：
对所述第一音频信号进行分帧，获得每帧音频信号；
将所述第一音频信号进行幅值区间划分，并计算所述每帧音频信号的幅度值落在幅值区间的概率；
根据所述概率基于信息熵计算公式获得每帧音频信号对应的当前信息熵值。
优选地，所述根据所述当前信息熵值基于时间趋势分析算法获得当前关注度，具体包括：
根据所述当前信息熵值基于EXPMA算法获得所述当前关注度。
优选地，所述根据所述当前信息熵值基于EXPMA算法获得所述当前关注度，具体包括：
根据所述当前信息熵值基于EXPMA算法进行计算，获得短期指数平均动量值及长期指数平均动量值；
计算所述短期指数平均动量值与所述长期指数平均动量值的指数平均动量差值；
根据所述指数平均动量差值确定所述当前关注度。
优选地，根据所述当前信息熵值通过以下公式进行计算，获得短期指数平均动量值及长期指数平均动量值：
其中，EXPMA(k，sn)为当前第k帧音频信号在前sn帧范围内的指数平均动量值,即所述短期指数平均动量值，EXPMA(k，ln)为当前第k帧音频信号在前ln帧范围内的指数平均动量值,即所述长期指数平均动量值，ln>sn，H(k)为当前第k帧音频信号的信息熵值。
优选地，根据所述指数平均动量差值通过以下公式确定所述当前关注度：
Mk＝EXPMA(dif,0.1(ln-sn))；
其中，Mk为当前第k帧音频信号的关注度，dif为所述指数平均动量差值。
此外，为实现上述目的，本发明还提供一种基于信息熵及时间趋势分析的音频关注度计算系统，所述基于信息熵及时间趋势分析的音频关注度计算系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于信息熵及时间趋势分析的音频关注度计算程序，所述基于信息熵及时间趋势分析的音频关注度计算程序配置为实现所述的基于信息熵及时间趋势分析的音频关注度计算方法的步骤。
本发明通过对输入音频信号进行听觉外周处理以达到人耳对声音信号的前期处理效果，对音频信号进行分帧处理并求取每帧信息熵值，利用统计学相关计算原理对整体音频信号熵值进行趋势性分析，最终得到关注度值，本发明技术方案通过复杂性低的计算方式实现了对音频信号中人耳较感兴趣事件进行自动检测，满足目前智能音频等领域的需求。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于信息熵及时间趋势分析的音频关注度计算系统结构示意图；
图2为本发明基于信息熵及时间趋势分析的音频关注度计算方法第一实施例的流程示意图；
图3为本发明基于信息熵及时间趋势分析的音频关注度计算系统方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于信息熵及时间趋势分析的音频关注度计算系统结构示意图。
如图1所示，该基于信息熵及时间趋势分析的音频关注度计算系统可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对基于信息熵及时间趋势分析的音频关注度计算系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于信息熵及时间趋势分析的音频关注度计算程序。
在图1所示的基于信息熵及时间趋势分析的音频关注度计算系统中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；所述基于信息熵及时间趋势分析的音频关注度计算系统通过处理器1001调用存储器1005中存储的基于信息熵及时间趋势分析的音频关注度计算程序，并执行以下操作：
获取待计算音频信号；
对所述待计算音频信号进行听觉外周处理，获得第一音频信号；
对所述第一音频信号进行分帧，并计算每帧音频信号的当前信息熵值；
根据所述当前信息熵值基于时间趋势分析算法获得当前关注度；
根据所述当前关注度确定所述待计算音频信号的关注度。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵及时间趋势分析的音频关注度计算程序，还执行以下操作：
对所述待计算音频信号进行类基底膜处理及类内毛细胞处理，获得第一音频信号。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵及时间趋势分析的音频关注度计算程序，还执行以下操作：
通过具有N个通道的滤波器组对所述待计算音频信号进行滤波处理，得到各通道下的第二音频信号；
将各通道的所述第二音频信号代入内毛细胞模型，获得各通道的发放概率；
将所述各通道的发放概率相加求取平均值并归一化到[-1,1]范围，获得第一音频信号。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵及时间趋势分析的音频关注度计算程序，还执行以下操作：
对所述第一音频信号进行分帧，获得每帧音频信号；
将所述第一音频信号进行幅值区间划分，并计算所述每帧音频信号的幅度值落在幅值区间的概率；
根据所述概率基于信息熵计算公式获得每帧音频信号对应的当前信息熵值。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵及时间趋势分析的音频关注度计算程序，还执行以下操作：
根据所述当前信息熵值基于EXPMA算法获得所述当前关注度。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵及时间趋势分析的音频关注度计算程序，还执行以下操作：
根据所述当前信息熵值基于EXPMA算法进行计算，获得短期指数平均动量值及长期指数平均动量值；
计算所述短期指数平均动量值与所述长期指数平均动量值的指数平均动量差值；
根据所述指数平均动量差值确定所述当前关注度。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵及时间趋势分析的音频关注度计算程序，还执行以下操作：
根据所述当前信息熵值通过以下公式进行计算，获得短期指数平均动量值及长期指数平均动量值：
其中，EXPMA(k，sn)为当前第k帧音频信号在前sn帧范围内的指数平均动量值,即所述短期指数平均动量值，EXPMA(k，ln)为当前第k帧音频信号在前ln帧范围内的指数平均动量值,即所述长期指数平均动量值，ln>sn，H(k)为当前第k帧音频信号的信息熵值。
进一步地，处理器1001可以调用存储器1005中存储的基于信息熵及时间趋势分析的音频关注度计算程序，还执行以下操作：
优选地，根据所述指数平均动量差值通过以下公式确定所述当前关注度：
Mk＝EXPMA(dif,0.1(ln-sn))；
其中，Mk为当前第k帧音频信号的关注度，dif为所述指数平均动量差值。
本实施例通过上述方案，对输入音频信号进行听觉外周处理以达到人耳对声音信号的前期处理效果，对音频信号进行分帧处理并求取每帧信息熵值，利用统计学相关计算原理对整体音频信号熵值进行趋势性分析，最终得到关注度值，通过复杂性低的计算方式实现了对音频信号中人耳较感兴趣事件进行自动检测，满足目前智能音频等领域的需求。
基于上述硬件结构，提出本发明基于信息熵及时间趋势分析的音频关注度计算方法实施例。
参照图2，图2为本发明基于信息熵及时间趋势分析的音频关注度计算方法第一实施例的流程示意图。
在第一实施例中，所述基于信息熵及时间趋势分析的音频关注度计算方法包括以下步骤：
S10：获取待计算音频信号。
应理解的是，所述音频信号为带有语音、音乐和音效的有规律的声波的频率、幅度变化信息载体，音频信号的获取可以由用户输入。
需要说明的是，本实施例的硬件环境包括但不限于：Intel(R)Core(TM)I5-3210M计算机、8GB内存，运行的软件环境包括但不限于：Matlab R2016a和Window 10。可以通过使用Matlab软件实现本实施例提出的方法，当然也可以用其他商业数学软件，本实施例对此不加以限制。
S20：对所述待计算音频信号进行听觉外周处理，获得第一音频信号。
可以理解的是，听觉系统是对声音收集、传导、处理、综合的感觉系统，分为外周部分和中枢部分。外周部分包括外耳、中耳、内耳和听神经，而听觉外周处理，主要包括对中耳和耳蜗基底膜及内毛细胞的模拟，即模拟人耳对音频信号处理进行处理。
具体地，所述听觉外周处理包括类基底膜处理及类内毛细胞处理。
所述类基底膜处理主要是完成中耳、内耳的频率分析和滤波特性，由低通滤波器组构成，类内毛细胞处理主要是完成由基底膜振动到听觉神经发放的变换。
S30：对所述第一音频信号进行分帧，并计算每帧音频信号的当前信息熵值。
需要说明的是，信息熵是信息论中描述信息量多少的指标，音频信号中不同频率能量的信号，其信息熵值存在显著差异。
在具体实现中，对所述第一音频信号进行分帧，获得每帧音频信号；将所述第一音频信号进行幅值区间划分，并计算所述每帧音频信号的幅度值落在幅值区间的概率；根据所述概率基于信息熵计算公式获得每帧音频信号对应的当前信息熵值。
可以理解的是，由于通常获取的音频信号是准稳态信号，而只有稳态的信号才能进行信号处理，所以需要对整段待计算的音频信号进行分帧，对信号进行分帧以后，可以求取每帧音频信号的信息熵值。具体计算方式如下：
幅值区间划分，包括将音频信号归一化后在[-1,1]之间的幅度值进行划分，若划分等距区间数为n，则Y＝{y1,y2,y3...yn}表示整个划分后区间；
概率pi计算，包括计算幅度值落在区间的概率，通过以下公式进行计算：
根据概率pi，通过以下公式获得信息熵值：
其中，k表示随机变量，与之相对应的是所有可能输出的集合，定义为符号集。变量的不确定性越大，信息熵也就越大。
S40：根据所述当前信息熵值基于时间趋势分析算法获得当前关注度。
需要说明的是，人耳听觉产生关注是依赖于对当下的声音感知，同时也依赖于对过去一段时间内的听觉感知，趋势性分析方法就是同时考虑当下和过去信息熵值进行分析。因为人类听觉对音频的关注度会随着时间而下降，比如一段5分钟以前的音频与一段10分钟以前的音频相比，前者往往受到的关注度会更高。考虑到当前和过去一段时间范围内音频信号对当前语音关注的影响，在确定了信息熵值后，需要运用统计学相关方法进行趋势性分析最终得到待计算音频的关注度。
本实施例中，所述时间趋势分析算法为EXPMA算法，所述根据所述当前信息熵值基于时间趋势分析算法获得当前关注度，具体包括以下步骤：
根据所述当前信息熵值基于EXPMA算法进行计算，获得短期指数平均动量值及长期指数平均动量值；计算所述短期指数平均动量值与所述长期指数平均动量值的指数平均动量差值；根据所述指数平均动量差值确定所述当前关注度。
具体地，可以根据所述当前信息熵值通过以下公式进行计算，获得短期指数平均动量值及长期指数平均动量值：
其中，EXPMA(k，sn)为当前第k帧音频信号在前sn帧范围内的指数平均动量值,即所述短期指数平均动量值，EXPMA(k，ln)为当前第k帧音频信号在前ln帧范围内的指数平均动量值,即所述长期指数平均动量值，ln>sn，H(k)为当前第k帧音频信号的信息熵值。
需要说明的是，sn与ln的取值可以自定义，比如，设置sn＝40,ln＝100，或其他数值，本实施例对此不加以限制。
具体地，可以通过以下公式计算所述短期指数平均动量值与所述长期指数平均动量值的指数平均动量差值：
dif＝EXPMA(k,sn)-EXPMA(k,ln),ln>sn； (5)
其中，dif为指数平均动量差值。
具体地，根据所述指数平均动量差值通过以下公式确定所述当前关注度：
Mk＝EXPMA(dif,0.1(ln-sn))； (6)
其中，Mk为当前第k帧音频信号的关注度，dif为所述指数平均动量差值。
S50：根据所述当前关注度确定所述待计算音频信号的关注度。
需要说明的是，由于每帧音频信号是由所述第一音频信号分帧得到的，因此计算出每帧音频信号的关注度以后，也得到了所述第一音频信号的关注度值，即所述待计算音频信号的关注度。
本实施例通过对输入音频信号进行听觉外周处理以达到人耳对声音信号的前期处理效果，对音频信号进行分帧处理并求取每帧信息熵值，利用统计学相关计算原理对整体音频信号熵值进行趋势性分析，最终得到关注度值，本发明技术方案通过复杂性低的计算方式实现了对音频信号中人耳较感兴趣事件进行自动检测，满足目前智能音频等领域的需求。
进一步地，如图3所示，基于第一实施例提出本发明基于信息熵及时间趋势分析的音频关注度计算方法第二实施例，在本实施例中，所述步骤S20具体包括：
S21：通过具有N个通道的滤波器组对所述待计算音频信号进行滤波处理，得到各通道下的第二音频信号。
可以理解的是，对所述待计算音频信号进行类基底膜处理，通常是采用一组相互交叠的带通滤波器组实现耳蜗基底膜的频率分解作用，本实施例采用Gammatone滤波器组模拟人耳耳蜗的听觉模型，滤波器的通道数N＝25，滤波频率范围200HZ～5500HZ，所述待计算音频信号经过滤波器组滤波后得到25个通道下信号数据。
需要说明的是，所述滤波器组也可以是Mel滤波器组，本实施例对此不加以限制。
S22：将各通道的所述第二音频信号代入内毛细胞模型，获得各通道的发放概率。
需要说明的是，所述内毛细胞模型包括但不限于Meddis模型，输入各通道的所述第二音频信号后，经过Meddis模型中的数学相关表达式可以得到各通道的发放概率v(t)。
S23：将所述各通道的发放概率相加求取平均值并归一化到[-1,1]范围，获得第一音频信号。
可以理解的是，将各个通道的发放概率v(t)相加求取平均值并归一化到[-1,1]范围，生成第一音频信号，有利于后续进行幅值区间划分及信息熵的计算。
本实施例通过具有N个通道的滤波器组对所述待计算音频信号进行滤波处理，得到各通道下的第二音频信号，将各通道的所述第二音频信号代入内毛细胞模型，获得各通道的发放概率，将所述各通道的发放概率相加求取平均值并归一化到[-1,1]范围，获得第一音频信号，实现了将所述待计算音频信号中的信息进行提取和处理，提高了计算的准确性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种基于信息熵及时间趋势分析的音频关注度计算方法，其特征在于，所述方法包括以下步骤：
获取待计算音频信号；
对所述待计算音频信号进行听觉外周处理，获得第一音频信号；
对所述第一音频信号进行分帧，并计算每帧音频信号的当前信息熵值；
根据所述当前信息熵值基于时间趋势分析算法获得当前关注度；
根据所述当前关注度确定所述待计算音频信号的关注度；
其中，所述根据所述当前信息熵值基于时间趋势分析算法获得当前关注度，具体包括：
根据所述当前信息熵值基于EXPMA算法获得所述当前关注度。
2.如权利要求1所述的基于信息熵及时间趋势分析的音频关注度计算方法，其特征在于，所述对所述待计算音频信号进行听觉外周处理，获得第一音频信号，具体包括：
对所述待计算音频信号进行类基底膜处理及类内毛细胞处理，获得第一音频信号。
3.如权利要求2所述的基于信息熵及时间趋势分析的音频关注度计算方法，其特征在于，所述对所述待计算音频信号进行类基底膜处理及类内毛细胞处理，获得第一音频信号，具体包括：
通过具有N个通道的滤波器组对所述待计算音频信号进行滤波处理，得到各通道下的第二音频信号；
将各通道的所述第二音频信号代入内毛细胞模型，获得各通道的发放概率；
将所述各通道的发放概率相加求取平均值并归一化到[-1,1]范围，获得第一音频信号。
4.如权利要求3所述的基于信息熵及时间趋势分析的音频关注度计算方法，其特征在于，所述滤波器组包括Gammatone滤波器组，所述内毛细胞模型包括Meddis模型。
5.如权利要求1～4中任一项所述的基于信息熵及时间趋势分析的音频关注度计算方法，其特征在于，所述对所述第一音频信号进行分帧，并计算每帧音频信号的当前信息熵值，具体包括：
对所述第一音频信号进行分帧，获得每帧音频信号；
将所述第一音频信号进行幅值区间划分，并计算所述每帧音频信号的幅度值落在幅值区间的概率；
根据所述概率基于信息熵计算公式获得每帧音频信号对应的当前信息熵值。
6.如权利要求1所述的基于信息熵及时间趋势分析的音频关注度计算方法，其特征在于，所述根据所述当前信息熵值基于EXPMA算法获得所述当前关注度，具体包括：
根据所述当前信息熵值基于EXPMA算法进行计算，获得短期指数平均动量值及长期指数平均动量值；
计算所述短期指数平均动量值与所述长期指数平均动量值的指数平均动量差值；
根据所述指数平均动量差值确定所述当前关注度。
7.如权利要求6所述的基于信息熵及时间趋势分析的音频关注度计算方法，其特征在于，根据所述当前信息熵值通过以下公式进行计算，获得短期指数平均动量值及长期指数平均动量值：
其中，EXPMA(k，sn)为当前第k帧音频信号在前sn帧范围内的指数平均动量值,即所述短期指数平均动量值，EXPMA(k，ln)为当前第k帧音频信号在前ln帧范围内的指数平均动量值,即所述长期指数平均动量值，ln>sn，H(k)为当前第k帧音频信号的信息熵值。
8.如权利要求7所述的基于信息熵及时间趋势分析的音频关注度计算方法，其特征在于，根据所述指数平均动量差值通过以下公式确定所述当前关注度：
Mk＝EXPMA(dif,0.1(ln-sn))；
其中，Mk为当前第k帧音频信号的关注度，dif为所述指数平均动量差值。
9.一种基于信息熵及时间趋势分析的音频关注度计算系统，其特征在于，所述基于信息熵及时间趋势分析的音频关注度计算系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于信息熵及时间趋势分析的音频关注度计算程序，所述基于信息熵及时间趋势分析的音频关注度计算程序配置为实现如权利要求1至8中任一项所述的基于信息熵及时间趋势分析的音频关注度计算方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811228386.6A CN109300481B (zh) | 2018-10-19 | 2018-10-19 | 基于信息熵及时间趋势分析的音频关注度计算方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811228386.6A CN109300481B (zh) | 2018-10-19 | 2018-10-19 | 基于信息熵及时间趋势分析的音频关注度计算方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109300481A CN109300481A (zh) | 2019-02-01 |
| CN109300481B true CN109300481B (zh) | 2022-01-11 |
Family
ID=65157423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811228386.6A Active CN109300481B (zh) | 2018-10-19 | 2018-10-19 | 基于信息熵及时间趋势分析的音频关注度计算方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109300481B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101625857A (zh) * | 2008-07-10 | 2010-01-13 | 新奥特（北京）视频技术有限公司 | 一种自适应的语音端点检测方法 |
| CN102231279A (zh) * | 2011-05-11 | 2011-11-02 | 武汉大学 | 基于听觉关注度的音频质量客观评价系统及方法 |
| CN104021789A (zh) * | 2014-06-25 | 2014-09-03 | 厦门大学 | 一种利用短时时频值的自适应端点检测方法 |
| CN104485114A (zh) * | 2014-11-27 | 2015-04-01 | 湖南省计量检测研究院 | 一种基于听觉感知特性的语音质量客观评估的方法 |
| CN107527625A (zh) * | 2017-09-06 | 2017-12-29 | 哈尔滨工程大学 | 基于仿生听觉系统中耳蜗模型的海豚哨声信号听觉特征提取方法 |
| CN107832408A (zh) * | 2017-11-03 | 2018-03-23 | 广东电网有限责任公司电力调度控制中心 | 一种基于数据标签及熵权法的电网缺陷推荐方法 |
| CN107951496A (zh) * | 2017-11-27 | 2018-04-24 | 新绎健康科技有限公司 | 基于多尺度熵分析心身关联性的方法及系统 |
| CN108236464A (zh) * | 2017-12-29 | 2018-07-03 | 重庆邮电大学 | 基于脑电信号的特征提取方法及其检测提取系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8167826B2 (en) * | 2009-02-03 | 2012-05-01 | Action Research Co., Ltd. | Vibration generating apparatus and method introducing hypersonic effect to activate fundamental brain network and heighten aesthetic sensibility |
-
2018
- 2018-10-19 CN CN201811228386.6A patent/CN109300481B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101625857A (zh) * | 2008-07-10 | 2010-01-13 | 新奥特（北京）视频技术有限公司 | 一种自适应的语音端点检测方法 |
| CN102231279A (zh) * | 2011-05-11 | 2011-11-02 | 武汉大学 | 基于听觉关注度的音频质量客观评价系统及方法 |
| CN104021789A (zh) * | 2014-06-25 | 2014-09-03 | 厦门大学 | 一种利用短时时频值的自适应端点检测方法 |
| CN104485114A (zh) * | 2014-11-27 | 2015-04-01 | 湖南省计量检测研究院 | 一种基于听觉感知特性的语音质量客观评估的方法 |
| CN107527625A (zh) * | 2017-09-06 | 2017-12-29 | 哈尔滨工程大学 | 基于仿生听觉系统中耳蜗模型的海豚哨声信号听觉特征提取方法 |
| CN107832408A (zh) * | 2017-11-03 | 2018-03-23 | 广东电网有限责任公司电力调度控制中心 | 一种基于数据标签及熵权法的电网缺陷推荐方法 |
| CN107951496A (zh) * | 2017-11-27 | 2018-04-24 | 新绎健康科技有限公司 | 基于多尺度熵分析心身关联性的方法及系统 |
| CN108236464A (zh) * | 2017-12-29 | 2018-07-03 | 重庆邮电大学 | 基于脑电信号的特征提取方法及其检测提取系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109300481A (zh) | 2019-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10679612B2 (en) | Speech recognizing method and apparatus | |
| CN111445905B (zh) | 混合语音识别网络训练方法、混合语音识别方法、装置及存储介质 | |
| Søndergaard et al. | The auditory modeling toolbox | |
| CN110600059B (zh) | 声学事件检测方法、装置、电子设备及存储介质 | |
| CN110176226A (zh) | 一种语音识别、及语音识别模型训练方法及装置 | |
| CN103456312B (zh) | 一种基于计算听觉场景分析的单通道语音盲分离方法 | |
| CN103948398B (zh) | 适用于Android系统的心音定位分段方法 | |
| CN110290280B (zh) | 一种终端状态的识别方法、装置及存储介质 | |
| CN103295584B (zh) | 音声数据检测装置、音声监控系统及其方法 | |
| WO2020143512A1 (zh) | 一种婴儿哭声识别方法、装置及设备 | |
| CN112102846B (zh) | 音频处理方法、装置、电子设备以及存储介质 | |
| Dietz et al. | A framework for testing and comparing binaural models | |
| CN109308903B (zh) | 语音模仿方法、终端设备及计算机可读存储介质 | |
| CN108345676A (zh) | 信息推送方法及相关产品 | |
| EP4266308A1 (en) | Voice extraction method and apparatus, and electronic device | |
| CN112087701A (zh) | 用于风检测的麦克风的扬声器仿真 | |
| CN112382302A (zh) | 婴儿哭声识别方法及终端设备 | |
| CN112309414A (zh) | 基于音频编解码的主动降噪方法、耳机及电子设备 | |
| CN116913258B (zh) | 语音信号识别方法、装置、电子设备和计算机可读介质 | |
| Karuppuswamy et al. | Folded architecture for digital gammatone filter used in speech processor of cochlear implant | |
| CN113823313A (zh) | 语音处理方法、装置、设备以及存储介质 | |
| CN109300481B (zh) | 基于信息熵及时间趋势分析的音频关注度计算方法及系统 | |
| CN108334200A (zh) | 电子设备控制方法及相关产品 | |
| CN116612778A (zh) | 回声及噪声抑制方法、相关装置和介质 | |
| Li et al. | A biologically inspired attention network for EEG-based auditory attention detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |