CN101727905A - 一种得到具有精细时频结构的声纹图的方法 - Google Patents

Abstract

本发明涉及语音信号一种时频分析方法，并以声纹图形式显示分析结果，提出了一种得到具有精细时频结构的声纹图的方法。由于采用自适应信号分解方法，这种声纹图提供反映语音信号非平稳特点的精细时频结构，而现有的语谱图由于存在窗效应，不得不同时使用长窗语谱图和短窗语谱图来描述。具有精细时频结构的声纹图可进一步应用于说话人识别、声纹鉴定等。

Description

一种得到具有精细时频结构的声纹图的方法

技术领域

本发明涉及一种语音信号的时频分析方法，尤其是一种得到具有精细时频结构的声纹图的方法。

背景技术

声纹图也称为语谱图，简称谱图，1941年由贝尔实验室研究人员发明，它用三维或二维图形方式显示语音频谱特性，纵轴表示频率，横轴表示时间，颜色的深浅表示特定频带的能量大小。最早的模拟语谱图仪器是把声波转换成电信号的强度、波长、频率和节奏，再把这些电信号绘制成波谱图形。

目前使用的语谱图分为宽带(短窗)语谱图和窄带(长窗)语谱图两种。这两种语谱图都是基于短时傅立叶变换方法得到的，而短时傅里叶变换假定在分析窗内语音信号是平稳的，通过在时间轴上移动分析窗来得到一组局部时频图。但是对于具有明显时变特性的语音信号来说，取较短的分析窗，即使用宽带语谱图(带宽约为300Hz)较合理，故宽带语谱图具有良好的时间分辨率，但是频率分辨率较差；相反，如果使用较长的分析窗，即窄带语谱图(带宽约为45Hz)，具有良好的频率分辨率，但是时间分辨率较差。所以，受不确定性原理限制，不能同时提高时间分辨率和频率分辨率，目前只能同时使用宽带和窄带语谱图。

基于短时傅里叶变换的语谱图，在时频平面对能量分布的描述是粗糙的。非线性时频分析是描述非平稳语音信号的有效方法，其中维格那-威利分布(Wigner-Ville Distribution，WVD)作为典型的时频分布，具有最好时频聚集性，其时间频宽积已达到了不确定性原理的下界，即WVD具有最好的时频分辨率。但由于它是一种双线性变换，多分量信号的WVD中存在交叉项，交叉项干扰了信号原本固有的时频结构。语音是非平稳、多分量的、实值信号，其WVD无法提供反映语音非平稳特征的时频结构，因此，基于非线性时频分析方法也不能提供有效的声纹图。

人类的发声系统系统由发声控制器和发声共鸣器等组成，发声控制器官包括声带、软颚、舌头、牙齿、唇等，而发声共鸣器包括咽腔、口腔、鼻腔。由于人的发声器官存在着大小、形态及功能上的差异，这些器官的微小差异都会导致发声气流的改变，从而造成音质和音色的差别。此外，每个人的发声习惯有快有慢，用力有大有小，也会造成音强和音长的差别，所以，语音是人类的生物特征之一。语谱图中每一字的声纹前部是清辅音的频谱，后部是元音频谱；元音频谱由加强的纵线条构成，水平方向的黑带为共振峰，共振峰的数量、走向及其频率是声纹分析的重要特征。因此对语谱图的分析，可以进行声纹鉴定。而声纹鉴定正广泛应用于当今社会的诸多领域。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种得到具有精细时频结构的声纹图的方法，得到反映语音信号固有的非平稳特征的精细时频结构的声纹图，为后续的声纹识别提供原始的、细腻的、丰富的语音特征。

按照本发明提供的技术方案，所述得到具有精细时频结构的声纹图的方法，通过经验模态分解将信号自适应地分解为若干个固有模态函数之和，再对每个固有模态函数进行Hilbert变换得到瞬时幅度和瞬时相位，进而得到反映信号幅值随随时间和频率的变化规律的Hilbert谱；在时频平面将所述Hilbert谱以三维图形画出，得到具有精细时频结构的声纹图。

所述经验模态分解的方法为：

(1)求原始信号序列x(t)的各个局部极大值，用三阶样条函数进行插值，得到信号x(t)的上包络线序列值e_max(t)和下包络线序列值e_min(t)；

(2)对每个时刻的上包络线序列值e_max(t)和下包络线序列值e_min(t)取平均值，得到包络线的瞬时平均值m(t)

$m\left(t\right)=\frac{e_{\max }\left(t\right)+e_{\min }\left(t\right)}{2}$

(3)对信号x(t)去均值处理，得到去均值曲线h(t)

h(t)＝x(t)-m(t)

如果原始数据是对称的那么去均值曲线h(t)是一个常数，否则去均值曲线h(t)是时变的；

(4)判断去均值曲线是否为固有模态函数曲线：

如果去均值曲线h(t)中跨零点的数目和极值点的数目相等或至多相差一个，并且各个瞬时平均值m(t)都等于零，那么均值曲线h(t)就是固有模态函数；否则，均值曲线h(t)就不是固有模态函数，此时需要把均值曲线h(t)当作原始序列，重复步骤1-4直至满足固有模态函数所满足的条件、求出固有模态函数为止；

(5)第一个固有模态函数c₁(t)求出后，用原始信号x(t)减去第一个固有模态函数c₁(t)可得到剩余值序列r₁(t)：

r₁(t)＝x(t)-c₁(t)

然后，把r₁(t)作为一个新的原始序列按照步骤1-4，依次提取直至第n个固有模态函数c_n(t)，使r_n(t)变成一个单调序列为止。

(6)将信号x(t)表示为一系列固有模态函数与残差之和：

利用经验模态分解EMD完备性和正交性的特点，将分解后的各分量相加，重构出原始序列x(t)

$x\left(t\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{c}_i\left(t\right)+r_n\left(t\right).$

所述Hilbert谱形成方法是：

(1)对每个固有模态函数c_i(t)进行Hilbert变换得到

${\hat{c}}_i\left(t\right)=\frac{1}{\mathrm{\π}}{\∫}_{-\∞}^{\∞}\frac{c_i\left(t\right)}{t-\mathrm{\τ}}\mathrm{d\τ}$

(2)构造解析信号为

其中瞬时幅值函数、瞬时相位函数、瞬时频率函数分别为：

$a_i\left(t\right)=\sqrt{{c_i}^2+{{\hat{c}}_i}^2\left(t\right)}$

${\mathrm{\φ}}_i\left(t\right)=\arctan \frac{{\hat{c}}_i\left(t\right)}{c_i\left(t\right)}$

${\mathrm{\ω}}_i\left(t\right)=\frac{d{\mathrm{\φ}}_i\left(t\right)}{\mathrm{dt}}$

(3)根据固有模态函数的瞬时幅度和瞬时频率，计算信号的Hilbert谱

$H(\mathrm{\ω},t)=\mathrm{RE}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i\left(t\right)e^{j\∫{\mathrm{\ω}}_i\left(t\right)\mathrm{dt}},$

RE代表取信号的实部。

本发明的优点是：本发明以声纹图(语谱图)形式显示时频分析结果，由于采用自适应信号分解方法，这种声纹图提供反映语音信号非平稳特点的精细时频结构，而现有的语谱图由于存在窗效应，不得不同时使用长窗语谱图和短窗语谱图来描述。具有精细时频结构的声纹图可进一步应用于说话人识别、声纹鉴定等。

附图说明

图1是本发明整体技术方案流程图。

图2是本发明提供的具有精细时频结构的声纹图。

图3是宽带语谱图。

图4是窄带语谱图。

图5是基于WVD的声纹图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。本发明采用一种新的具有自适应特性的时频分析方法-----Hilbert-Huang变换，该方法包含两大部分，经验模态分解和Hilbert谱分析。通过经验模态分解来提取语音信号固有的一系列模态函数，再对每个固有模态函数进行Hilbert变换得到瞬时幅度和瞬时相位，进而得到反映信号幅值随随时间和频率的变化规律的Hilbert谱。通过该方法得到的声纹图不含交叉项，也没有窗效应，更主要的是能提供反映语音非平稳特征的、具有精细时频结构的声纹图。

通过经验模态分解将信号自适应地分解为若干个固有模态函数之和，由于它是基于信号的局部特征时间尺度的，使得分解得到的瞬时频率具有实际的物理意义，从而可以计算每一个固有模态函数的瞬时频率和瞬时幅值。经验模态分解过程基于如下的假设：①各种复杂的信号都是由一些不同的固有模态函数组成的，任何两个模态函数之间是相互独立的。②每一个固有模态函数的上、下包络线关于时间轴局部对称，在相邻的两个过零点之间只有一个极值点，任何时刻一个信号可以包含许多的固有模态函数。③特征尺度定义为相邻极值点的时间跨度，经验模态分解本质是通过信号特征尺度来获取固有模态函数。

如图1所示，本发明包括如下步骤。

经验模态分解具体过程是：

(1)求原始信号x(t)的各个局部极大值，用三阶样条函数进行插值，得到信号x(t)的上包络线序列值e_max(t)和下包络线序列值e_min(t)。

(2)对每个时刻的e_max(t)和e_min(t)取平均值，得到包络线的瞬时平均值m(t)

$m\left(t\right)=\frac{e_{\max }\left(t\right)+e_{\min }\left(t\right)}{2}---\left(1\right)$

(3)对原始信号x(t)去均值处理，得到去均值曲线h(t)

h(t)＝x(t)-m(t)        (2)

传统信号处理中的去均值是将整个数据向下或向上移动一个常数，而在式(2)的均值曲线来源于原始数据的局部特征，因此减去的是一个与原始数据相匹配的均值曲线，如果原始数据是对称的那么该去均值曲线是一个常数，否则该均值曲线是时变的，这也是Hilbert-Huang变换的自适应性、非线性的具体表现。

(4)判断去均值曲线是否为固有模态函数曲线

如果h(t)中跨零点的数目和极值点的数目相等或至多相差一个，并且各个瞬时平均值m(t)都等于零，那么h(t)就是固有模态函数。否则，h(t)就不是固有模态函数，此时需要把h(t)当作原始的数据序列，重复以上步骤(1)-步骤(4)，直至满足固有模态函数所满足的条件，求出固有模态函数为止。

(5)第一个固有模态函数c₁(t)求出后，用原序列减去c₁(t)可得到剩余值序列r₁(t)：

r₁(t)＝x(t)-c₁(t)       (3)

然后，把r₁(t)作为一个新的原序列按照以上步骤步骤(1)-步骤(5)，依次提取直至第n个固有模态函数c_n(t)，直到r_n(t)变成一个单调序列为止。

(6)将信号表示为一系列固有模态函数与残差之和

利用经验模态分解过程的完备性和正交性的特点，将分解后的各分量相加就可以重构出原始序列x(t)：

$x\left(t\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{c}_i\left(t\right)+r_n\left(t\right)---\left(4\right)$

Hilbert谱形成过程是：

(1)对每个固有模态函数c_i(t)进行Hilbert变换得到：

${\hat{c}}_i\left(t\right)=\frac{1}{\mathrm{\π}}{\∫}_{-\∞}^{\∞}\frac{c_i\left(t\right)}{t-\mathrm{\τ}}\mathrm{d\τ}---\left(5\right)$

(2)构造解析信号为：

$z_i\left(t\right)=c_i\left(t\right)+j{\hat{c}}_i\left(t\right)=a_i\left(t\right)e^{j{\mathrm{\φ}}_i\left(t\right)}---\left(6\right)$

其中瞬时幅值函数和瞬时相位函数为：

$a_i\left(t\right)=\sqrt{{c_i}^2+{{\hat{c}}_i}^2\left(t\right)}---\left(7\right)$

${\mathrm{\φ}}_i\left(t\right)=\arctan \frac{{\hat{c}}_i\left(t\right)}{c_i\left(t\right)}---\left(8\right)$

进一步可求得瞬时频率

${\mathrm{\ω}}_i\left(t\right)=\frac{d{\mathrm{\φ}}_i\left(t\right)}{\mathrm{dt}}---\left(9\right)$

(3)根据固有模态函数的瞬时幅度和瞬时频率，计算信号的Hilbert谱：

$H(\mathrm{\ω},t)=\mathrm{RE}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i\left(t\right)e^{j\∫{\mathrm{\ω}}_i\left(t\right)\mathrm{dt}}---\left(10\right)$

RE代表去信号的实部。Hilbert谱描述了信号幅值在整个频率段上随时间和频率的变化规律。

在时频平面上将Hilbert谱以三维图形画出，就可以得到具有精细时频结构的声纹图。

本发明的一个具体实施例如下：

步骤1：录制语音信号，必要时进行滤波处理，以WAV格式存放。

步骤2：对录制的语音信号进行固有模态分解，将语音信号表示为一系列固有模态函数之和。

步骤3：根据固有模态函数求瞬时幅度和瞬时频率。

步骤4：计算信号的Hilbert谱。

步骤5：在时频平面将Hilbert谱以三维图形画出，得到具有精细时频结构的声纹图。

为了比较本发明的实际效果，以成年男声发英语的“five”为实验信号(该语音信号来自公开使用的语音数据库)。通过本发明方法得到具有精细时频结构的声纹图如附图2所示。为了说明这种声纹图能够提供精细的时频结构，不存在窗效应，没有交叉项干扰，作出了同一信号的宽带语谱图(窗长为55)和窄带语谱图(窗长为115)分别如附图3和附图4所示，以及基于WVD的该信号的语谱图附图5所示，来进行比较。

由图2可见，精细时频结构的声纹图提供了语音信号随着频率的瞬时变化过程，它是以一种轮廓或骨架图的形式描述信号能量的时频分布，图中颜色的深浅代表了能量的大小，由该图可知，该语音信号较强能量集中在0.2s-0.3s之间，所对应的频率在500Hz-700Hz之间，图中每一条声纹表明一个频率分量的变化的信息，反映了信号的时频特征，如信号在时刻点的频率突变位置和主要频率成分等信息。不存在交叉项，具有很好的时频聚集性。使用窗长为55得到的宽带语谱图，时域分辨性好，但频域分辨率较低；而使用窗长为115得到的长窗语谱图，虽然使频率分辨率有所提高，但同时也降低了时间分辨率。这是因为短时傅里叶变换要受不确定原理的限制，时间和频率分辨率不能同时提高，必须同时使用宽带和窄带两个语谱图的原因。基于WVD原理得到的声纹图，其时频聚集性最高，但存在大量的交叉项，这些交叉项的存在干扰了语音信号真实的时频分析。

Claims (3)

1.一种得到具有精细时频结构的声纹图的方法，其特征是：

通过经验模态分解将信号自适应地分解为若干个固有模态函数之和，再对每个固有模态函数进行Hilbert变换得到瞬时幅度和瞬时相位，进而得到反映信号幅值随随时间和频率的变化规律的Hilbert谱；在时频平面将所述Hilbert谱以三维图形画出，得到具有精细时频结构的声纹图。

2.如权利要求1所述的得到具有精细时频结构的声纹图的方法，其特征是所述经验模态分解的方法为：

(1)求原始信号序列x(t)的各个局部极大值，用三阶样条函数进行插值，得到信号x(t)的上包络线序列值e_max(t)和下包络线序列值e_min(t)；

(2)对每个时刻的上包络线序列值e_max(t)和下包络线序列值e_min(t)取平均值，得到包络线的瞬时平均值m(t)

$m\left(t\right)=\frac{e_{\max }\left(t\right)+e_{\min }\left(t\right)}{2}$

(3)对信号x(t)去均值处理，得到去均值曲线h(t)

h(t)＝x(t)-m(t)

如果原始数据是对称的那么去均值曲线h(t)是一个常数，否则去均值曲线h(t)是时变的；

(4)判断去均值曲线是否为固有模态函数曲线：

如果去均值曲线h(t)中跨零点的数目和极值点的数目相等或至多相差一个，并且各个瞬时平均值m(t)都等于零，那么均值曲线h(t)就是固有模态函数；否则，均值曲线h(t)就不是固有模态函数，此时需要把均值曲线h(t)当作原始序列，重复步骤1-4直至满足固有模态函数所满足的条件、求出固有模态函数为止；

(5)第一个固有模态函数c₁(t)求出后，用原始信号x(t)减去第一个固有模态函数c₁(t)可得到剩余值序列r₁(t)：

r₁(t)＝x(t)-c₁(t)

然后，把r₁(t)作为一个新的原始序列按照步骤1-4，依次提取直至第n个固有模态函数c_n(t)，使r_n(t)变成一个单调序列为止。

(6)将信号x(t)表示为一系列固有模态函数与残差之和：

利用经验模态分解EMD完备性和正交性的特点，将分解后的各分量相加，重构出原始序列x(t)

$x\left(t\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{c}_i\left(t\right)+r_n\left(t\right).$

3.如权利要求2所述的得到具有精细时频结构的声纹图的方法，其特征是所述Hilbert谱形成方法是：

(1)对每个固有模态函数c_i(t)进行Hilbert变换得到

${\hat{c}}_i\left(t\right)=\frac{1}{\mathrm{\π}}{\∫}_{-\∞}^{\∞}\frac{c_i\left(t\right)}{t-\mathrm{\τ}}\mathrm{d\τ}$

(2)构造解析信号为

其中瞬时幅值函数、瞬时相位函数、瞬时频率函数分别为：

$a_i\left(t\right)=\sqrt{{c_i}^2+{{\hat{c}}_i}^2\left(t\right)}$

${\mathrm{\φ}}_i\left(t\right)=\arctan \frac{{\hat{c}}_i\left(t\right)}{c_i\left(t\right)}$

${\mathrm{\ω}}_i\left(t\right)=\frac{d{\mathrm{\φ}}_i\left(t\right)}{\mathrm{dt}}$

(3)根据固有模态函数的瞬时幅度和瞬时频率，计算信号的Hilbert谱

$H(\mathrm{\ω},t)=\mathrm{RE}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_i\left(t\right)e^{j\∫{\mathrm{\ω}}_i\left(t\right)\mathrm{dt}},$

RE代表取信号的实部。

Images