CN109144257A - 从歌曲中提取特征并转化为触觉感受的方法 - Google Patents

Abstract

本发明公开从歌曲中提取特征并转化为触觉感受的方法，是将音频信号分割成相等单位长度，计算出每个单位长度的音频信号的能量，然后根据所计算出的音频信号的能量对音频信号进行特征提取，提取其中的低音频带与高音频带，对应计算听觉感知幅度，之后将听觉感知幅度计算转换为振动感知幅度；根据低音频带与高音频带的振动感知幅度比值，将相应频率范围内的低音频带所对应音频的时间轴转换为电压指令，发送至振动传感器，由振动传感器响应该电压指令进行振动。从而实现将相应的低音频转换为触觉振动感知。

Description

从歌曲中提取特征并转化为触觉感受的方法

技术领域

本发明涉及信号处理技术领域，具体涉及从歌曲中提取特征并转化为触觉感受的方法。

背景技术

耳机作为目前便携的听音乐设备，能让人们可以随时随地享受音乐的乐趣。随着人们音乐鉴赏水平的提高，不少人对于耳机音质有更高的要求，除了对音质的高要求，音乐的体验也越来越被看重。很多发烧友不惜花重金升级设备，从而获得更好的体验，尤其是临场感受，那种身临其境的感觉是普通耳机无法达到的。评价一部耳机的好坏因人而异，每个人对于音乐的感受各有不同，高频的解析，中频的动态，低频的下沉各有所好，但是对于喜爱低音，重低音的人来说，耳机的重低音远远不如音响的体验感受。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种从歌曲中提取特征并转化为触觉感受的方法，以实现将音频信号中的低频及中低频的部分按预设的方法转换为耳机中的振动模块的振动输出给佩戴者，让佩戴者听音乐的同时可以“感受”到低音冲击，从而加强人体对音频信号的体感的感受，增强音乐的沉浸感，提升音乐体验。

为实现本发明的目的所采用的技术方案是：

从歌曲中提取特征并转化为触觉感受的方法，包括步骤：

S1，将音频信号分割成相等单位长度，计算出每个单位长度的音频信号的能量；

S2，根据所计算出的音频信号的能量对音频信号进行特征提取，提取其中的低音频带与高音频带，并对应的计算听觉感知幅度；

S3，将所述听觉感知幅度计算转换为振动感知幅度；

S4，根据低音频带与高音频带的振动感知幅度的比值，确定需要转换为电压指令的低音频带，然后将该低音频带所对应音频的时间轴转换为电压指令，发送至振动传感器，由振动传感器响应该电压指令进行振动。

步骤S2中，在计算听觉感知幅度时，先根据低音频带能量E_bass(n)以及高音频带第i个子带的能量E_i(n)，计算初始高音感知幅度A_treble(n)和初始低音感知幅度A_bass(n)，然后再获得两种最终听觉感知幅度L_bass(n),L_treble(n)，

E_bass(n)＝Sum(E(fft_bass(n)))

E_i(n)＝Sum(E(fft_i(n)))

L_bass(n)＝A_bass(n)，

L_treble(n)＝g(n)A_treble(n)，

式中，n表示输入的音频信号，I表示分割的音频信号长度，ω_i表示第i个子带在触觉平衡器中的系数，e为系数，g(n)为增益，1≤g(n)≤2，u为高音频带的子带的个数，fft_bass(n)为对低音频带能量进行傅立叶变换，fft_i(n))为对高音频带第i个子带的能量进行傅立叶变换。

所述增益g(n)的计算方法如下：

A_t表示多条高音频子带中具有最大能量的子带所表示的听觉感知幅度，E_max(n)表示具有最大能量的子带的能量，ω_max表示具有最大能量子带的系数。

步骤S3中，根据两种最终听觉感知幅度L_bass(n)，L_treble(n)，转换为振动感知幅度I_bass和I_treble，计算方式如下：

S_bass(n)＝L_bass(n)*logE_bass(n)

I_bass(n)＝ω_basscS_bass(n)P_bass(n)^γ

S_i(n)＝A_i(n)L_i(n)*logE_i(n)

式中，I_i表示每个振动所需的感知振动幅度，S_i表示高音频带的第i条子带的显著性分数，P_bass表示低音频带信号的相关峰值间距，P_i表示高音频带的第i条子带信号的相关峰值间距，c表示跨模态缩放常数，γ表示由峰值间距引起的明显衰减的系数，ω_bass和ω_treble表示控制低音频带和高音频带增益的系数，S₁表示第一条低音频带S_bass，P₁表示第一条低音频带P_bass，A_i表示高音频带第i个子带的初始听觉感知幅度A_treble，L_i表示高音频带第i个子带的最终听觉感知幅度L_treble，k表示输入的音频信号中划分出的子带的数量。

当低音频带与高音频带的振动感知幅度比值大于一数值Y时，输出低音频带为体感振动信号和中低音频带为体感振动信号否则不输出；

其中，表示体感振动感知幅度；θ表示不同频率下使用的振动的加速度幅度，e表示一个高度相关的确定系数；k表示坡度值；α_j和β_j表示心理物理学功能系数，j表示固定数字，0≤j≤3，，f表示需要计算的指定频率。

步骤S4中，所述电压指令对应的振动传感器驱动器电压计算方法如下：

V(t)＝V₁sin(2πf₁t)+V₂sin(2πf₂t)，V₁+V₂≤V_rated

式中，V_rated表示驱动器的额定电压，V₁，V₂表示频率f₁，f₂的电压，V(t)表示驱动器电压。

本发明利用音频信号中的低音频带的穿透力强，没有明显方向性，将音频信号中的低音和中低音部分的音频转为对应振动频率传导给耳机的佩戴者，让佩戴者听音乐的同时可以“感受”到低音；对这种振动感知可加强人体对音频信号的感受，增强音乐的沉浸感，提升音乐体验。

附图说明

图1是从歌曲中提取特征并转化为触觉感受的方法的处理流程示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明是通过对音频信号预处理，将音频信号分割成相等单位长度，计算出输入耳机的音频信号的能量；之后进入对输入的音频信号进行特征提取，按声音信号的能量按照需要提取其中的低频，中低频，高频的信号，根据人体听觉和振动感知频率的范围及幅度，判断加入振动感知的时间，计算振动感知的幅度的大小；完成判断和计算后，将振动幅度对应音频的时间轴转换为电压指令，最终发送至耳机中的振动传感器，控制振动传感器振动，将相应的音频信号转换为特定频率的物理振动，实现将音频信号中的低音部分转换为振动输出。

由于人耳的可感知的听觉范围是20赫兹到20000赫兹；但振动频率的范围是存在小于20赫兹和大于20000赫兹的；因此，本发明中，仅依据人体敏感的振动频率选择一定范围转换。下面，详细说明本发明的实现步骤：

信号预处理：将音频信号按固定单位长度进行快速傅里叶变换后，选取一定数量音频子带，对相应频带所有频率的绝对频谱幅度求和，计算声音信号能量。如取6条子带，包括1条低音子带(<200hz)和5条高音子带(>200hz)。具体可根据需要选取不同数量的子带和不同的频率范围。

E_bass(n)＝Sum(E(fft_bass(n))) (1)

E_i(n)＝Sum(E(fft_i(n))) (2)

E_bass(n)为低音频带能量，E_i(n)为高音频带i个子带的能量，n表示输入的音频信号。

信号特征提取：S201，利用上述获得的低音频带能量E_bass(n)，以及高音频带i个子带的能量E_i(n)，将声音信号转化为初始听觉感知两种幅度：初始高音感知幅度A_treble(n)和初始低音感知幅度A_bass(n)：

式(3)，(4)中，I表示分割的信号长度，ω_i表示第i个子带的在触觉平衡器中的系数(参照表1中系数)，e为系数，e＝0.67，ω为不同风格(如摇滚，舞曲，经典，人声)的音乐在触觉平衡器中各频段系数，参照表1。

频率范围(hz)	摇滚	舞曲	经典	人声
					200-400	0.25	0.25	0.25	0.05
400-800	0.15	0.15	0.20	0.15
					800-1600	0.12	0.15	0.15	0.70
1600-3200	0.18	0.20	0.15	0.05
					3200-6400	0.30	0.25	0.25	0.05

表1

S202，在初始高音感知幅度A_treble(n)和初始低音感知幅度A_bass(n)的基础上，按下式(5)、(6)处理，最终获得两种听觉感知幅度L_bass(n)，L_treble(n)，

L_bass(n)＝A_bass(n) (5)

L_treble(n)＝g(n)A_treble(n) (6)

由于听觉感知幅度L在高音频带的某一子带中有可能出现能量过小的情况，比如人声独唱，这时某一子带的能量可能会远小于人声频带，此时A_treble就不足以代表整个高音频段的听觉感知幅度，所以需要增益g(n)计算这一子带幅值，因此需要引入在其余几条，如5条，高音子带中具有最大能量的子带所表示的听觉感知幅度A_t，当A_treble≤A_t时，则有：

1≤g(n)≤2

如果A_treble＞A_t，则不需要此增益，g(n)＝1.E_max(n)表示具有最大能量的子带的能量，ω_max表示最大能量子带的系数，同时为避免过度步长，A_t的大小设置为人体感知幅度的90％。

S203，根据最终获得的听觉感知幅度L_bass(n)，L_treble(n)，转换为振动感知幅度I_bass和I_treble，按下式处理：

S_i(n)＝A_i(n)L_i(n)*logE_i(n) (8)

S_bass(n)＝L_bass(n)*logE_bass(n (9)

I_bass(n)＝ω_basscS_bass(n)P_bass(n)^γ， (10)

and-0.4＜γ＜0

式(8)(9)(10)(11)中，I_i表示每个振动所需的感知振动幅度，S_i表示高音频带的第i条子带的显著性分数，P_bass表示低音频带信号的相关峰值间距，P_i表示高音频带的第i条子带信号的相关峰值间距，c表示跨模态缩放常数，γ表示由峰值间距引起的明显衰减的系数，ω_bass和ω_treble表示控制低音频带和高音频带增益的系数。

判断特征根据低音频带与高音频带的振动感知幅度I_bass和I_treble的比值，确定需要转换为电压指令的低音频带的频率范围及加入振动感知的时间，本发明中，设人声频率范围在600hz-1.8khz之间，确定出需要转换体感振动的频率范围为：1.低音频带20hz-200hz，2.中低音频带201hz-500hz。

当时，输出为and

当时，输出为

当人声频率(高音频段)与低音频带或中低音频带的比值超过一特定数值Y(根据经验确定)时，加入振动，转换输出低音频带为体感振动信号和中低音频带为体感振动信号而在人声明显大于低音或中低音部分不转换体感振动信号，即小于等于特定数值Y，停止加入振动。上面式中的的感知幅度按以下式(11)，(12)处理；

其中，表示音频信号的振动感知幅度；θ表示不同频率下振动感知幅度使用的加速度幅度(0.5-3)，相同频率下，θ越大，感知强度越大，感受范围越广，这个值的取值范围主要参考硬件所支持的最大范围，它们间关系见表3所示；e表示一个高度相关的确定系数；k表示坡度值；α_j和β_j表示心理物理学功能的系数，具体可参考表1所示；j表示0,1,2,3的固定数字，f表示需要计算的指定频率：低音(20-200hz)，中低音(201-500hz)，高音(600-1.8khz)。

j	0	1	2	3
					α<sub>i</sub>	409.00	-543.90	249.10	-38.48
β<sub>j</sub>	-31.11	49.92	-25.61	4.29

表2

表3

表3中，通过振动感知幅度的计算发现，低音频带中，在150hz-250hz范围内，人体对振动的感受相似，同理，在中低音频带中也有感受相同的一个频率范围，在这个范围内选择振动频率和谐振频率输出至振动驱动器。

由于一个振动驱动器只能执行单一频率的振动，所以将中低音和低音部分分别非配给两个不同振动器(左右各一个)，可极大提高反应速度，可实现更多振动细节，如快慢变换，从而通过使用不同频率振动驱动器，可模拟低音和中低音时不同的振动触觉，增加振动感受音乐的层次感。可使用下式计算振动的驱动器电压来转换处理对应物理振动幅度：

V(t)＝V₁sin(2πf₁t)+V₂sin(2πf₂t)，V₁+V₂≤V_rated

式中，V_rated表示驱动器的额定电压，V₁，V₂表示频率f₁，f₂的电压，V(t)表示驱动器电压。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.从歌曲中提取特征并转化为触觉感受的方法，其特征在于，包括：

S1，将音频信号分割成相等单位长度，计算出每个单位长度的音频信号的能量；

S2，根据所计算出的音频信号的能量对音频信号进行特征提取，提取其中的低音频带与高音频带，并对应的计算听觉感知幅度；

S3，将所述听觉感知幅度计算转换为振动感知幅度；

S4，根据低音频带与高音频带的振动感知幅度的比值，确定需要转换为电压指令的低音频带，然后将该低音频带所对应音频的时间轴转换为电压指令，发送至振动传感器，由振动传感器响应该电压指令进行振动。

2.如权利要求1所述从歌曲中提取特征并转化为触觉感受的方法，其特征在于，步骤S2中，在计算听觉感知幅度时，先根据低音频带能量E_bass(n)以及高音频带第i个子带的能量E_i(n)，计算初始高音感知幅度A_treble(n)和初始低音感知幅度A_bass(n)，然后再获得两种最终听觉感知幅度L_bass(n)，L_treble(n)，

E_bass(n)＝Sum(E(fft_bass(n)))

E_i(n)＝Sum(E(fft_i(n)))

L_bass(n)＝A_bass(n)，

L_treble(n)＝g(n)A_treble(n)，

式中，n表示输入的音频信号，I表示分割的音频信号长度，ω_i表示第i个子带在触觉平衡器中的系数，e为系数，g(n)为增益，1≤g(n)≤2，u为高音频带的子带的个数，fft_bass(n)为对低音频带能量进行傅立叶变换，fft_i(n))为对高音频带第i个子带的能量进行傅立叶变换。

3.如权利要求2所述从歌曲中提取特征并转化为触觉感受的方法，其特征在于，所述增益g(n)的计算方法如下：

A_t表示多条高音频子带中具有最大能量的子带所表示的听觉感知幅度，E_max(n)表示具有最大能量的子带的能量，ω_max表示具有最大能量子带的系数。

4.如权利要求3所述从歌曲中提取特征并转化为触觉感受的方法，其特征在于，步骤S3中，根据两种最终听觉感知幅度L_bass(n)，L_treble(n)，转换为振动感知幅度I_bass和I_treble，计算方式如下：

S_bass(n)＝L_bass(n)*logE_bass(n)

I_bass(n)＝ω_basscS_bass(n)P_bass(n)^γ

S_i(n)＝A_i(n)L_i(n)*logE_i(n)

式中，I_i表示每个振动所需的感知振动幅度，S_bass表示低音频带的显著性分数，S_i表示高音频带的第i条子带的显著性分数，P_bass表示低音频带信号的相关峰值间距，P_i表示高音频带的第i条子带信号的相关峰值间距，c表示跨模态缩放常数，γ表示由音频信号峰值间距引起的明显衰减的系数，ω_bass和ω_treble表示控制低音频带和高音频带增益的系数，A_i表示高音频带第i个子带的初始听觉感知幅度A_treble，L_i表示高音频带第i个子带的最终听觉感知幅度L_treble，k表示输入的音频信号中划分出的子带的数量。

5.如权利要求4所述从歌曲中提取特征并转化为触觉感受的方法，其特征在于，步骤S4中，当低音频带与高音频带的振动感知幅度比值大于一数值Y时，输出低音频带为体感振动信号和中低音频带为体感振动信号否则不输出；

其中，表示体感振动感知幅度；θ表示不同频率下使用的振动的加速度幅度，e表示一个高度相关的确定系数；k表示坡度值；α_j和β_j表示心理物理学功能系数，j表示固定数字，0≤j≤3，f表示需要计算的指定频率。

6.如权利要求5所述从歌曲中提取特征并转化为触觉感受的方法，其特征在于，步骤S4中，所述电压指令对应的振动传感器驱动器电压计算方法如下：

V(t)＝V₁sin(2πf₁t)+V₂sin(2πf₂t)，V₁+V₂≤V_rated

式中，V_rated表示驱动器的额定电压，V₁，V₂表示不同音频信号的频率f₁，f₂所对应的电压，V(t)表示驱动器电压。