CN106601235A - 一种半监督多任务特征选择的语音识别方法 - Google Patents

Abstract

本发明公开一种半监督多任务特征选择的语音识别方法，包括如下步骤：(1)获取T个相似的语音识别学习任务，每个学习任务t中包含一个数据集其中，d_t为特征个数，c_t为数据集X_t的分类数，n_t是第t个学习任务中样本数；(2)为每个学习任务建立基于全局线性约束的特征选择模型；(3)在步骤(2)的基础上构建多个学习任务联合特征选择模型，得到目标函数；(4)利用迭代优化算法求解步骤(3)中的目标函数。此种语音识别方法可有效提高语音识别的准确度，同时可有效抑制数据集中噪声的干扰。

Description

一种半监督多任务特征选择的语音识别方法

技术领域

本发明属于机器学习技术领域，特别涉及一种半监督多任务特征选择的语音识别方法。

背景技术

在多媒体技术和互联网技术高速发展的今天，高维数据在多种领域呈现爆发式的增长，如模式识别、计算机视觉和多媒体数据分析等领域，而且处理这些高维数据需要消耗大量的时间。此外，在各类机器学习任务中，如分类、聚类等，高维数据的存在也使得特征选择变得更加复杂因难。最新研究表明，如果能预先对数据的特征进行筛选，选择其最重要的特征子集，机器学习的效率将得到有效的提高。

随着高维数据的快速增长，使得标记训练集所需要消耗的人力成本急剧增加。一般地，在特征选择领域，当已标记的训练数据集样本较少时，有两种可选的解决方案：半监督特征选择算法和多任务特征选择算法。然而现有的半监督特征选择算法为了取得全局或局部可区分信息，一般需要为训练数据集建立拉普拉斯(Laplacian)矩阵。在已标记数据少的情况下，这种方法较为有效，但训练集的数量较大时，该类方法需要消耗较大的时间和空间，影响了该类方法的应用。多任务特征选择是另一种解决少量标签样本问题的方法。给定多个学习任务，多任务特征选择方法认为各个学习任务间具有相关性，并获取这些共享信息来提高不同学习任务准确性。然而，现有多任务特征选择方法是监督的，无法有效提取不同任务间未标记数据间的相关性。

发明内容

本发明的目的，在于提供一种半监督多任务特征选择的语音识别方法，其可有效提高语音识别的准确度，同时可有效抑制数据集中噪声的干扰。

为了达成上述目的，本发明的解决方案是：

一种半监督多任务特征选择的语音识别方法，包括如下步骤：

(1)获取T个相似的语音识别学习任务，每个学习任务t中包含一个数据集其中，d_t为特征个数，c_t为数据集X_t的分类数，n_t是第t个学习任务中样本数；

(2)为每个学习任务建立基于全局线性约束的特征选择模型；

(3)在步骤(2)的基础上构建多个学习任务联合特征选择模型，得到目标函数；

(4)利用迭代优化算法求解步骤(3)中的目标函数。

上述步骤(2)中，建立基于全局线性约束的特征选择模型如下：

其中，为第t个学习任务特征选择矩阵，W_t'表示W_t的转置矩阵；为第t个任务的标签矩阵，其中m_t表示已标记样本数；为的第j个元素，如果属于第j个类，则否则 为元素全为1的向量，为基准参数；为任务t的训练权重；为任务t的预测标签矩阵，初始时，且α为惩罚因子，为的2范数，||W_t||_2,1为W_t的l_2,1范数。

上述步骤(3)中，目标函数如下：

其中，W＝{W₁,…,W_T}为联合特征矩阵，||W||_*为W的迹范数，β为惩罚因子。

上述步骤(4)中，对目标函数进行优化的过程如下：

首先将目标函数转换为如下形式：

其中，S_t是每个元素值的对角矩阵，D_t定义如下：

取转换后的目标函数相对于b_t的导数，并令求导结果为0，得到：

取转化后目标函数对W_t的导数，并令求导结果为0，得到：

其中，

在获取W_t和b_t后，再根据线性约束更新F_t，即更新规则如下：

上述步骤(4)中，采用如下方法进行迭代优化：

令1≤t≤T，代表第t个学习任务的标签矩阵，r代表迭代次数；

步骤1：令r＝0，并随机初始化每一个学习任务的特征选择矩阵

步骤2：计算

步骤3：更新

步骤4：更新

步骤5：更新并根据以下公式校正F_t：

步骤6：更新t＝t+1；

步骤7：针对于每一个任务t<T，重复步骤2-步骤6；

步骤8：

步骤9：更新r＝r+1；

步骤10：重复执行步骤2-步骤9，直到算法收敛，输出每一个学习任务的W_t和b_t。

采用上述方案后，本发明有效利用数据集中的已标记数据和未标记数据信息，且在提取未标记数据信息时无需要构建拉普拉斯(Laplacian)矩阵，从而能够有效节约计算机资源。在每个任务学习过程中，利用l_2,1范数约束特征选择矩阵，从而对数据集中的噪声有较高的抗干扰性。最后，本发明还能有效提取多个学习任务之间的共享信息，利用所提取的共享信息约束每个学习任务，从而提高特征选择的准确性和扩展性。

本发明使得语音识别方法能够通过高效地利用多个学习任务中已标记数据、未标记数据、以及多个学习任务之间共享信息提高语音识别的准确度；同时，该方法还可有效抑制数据集中噪声的干扰，最终为机器学习、计算机视觉相关应用提供有效的支持。

附图说明

图1是本发明的原理示意图；

图2是本发明的流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1和图2所示，本发明提供一种半监督多任务特征选择的语音识别方法，包括如下步骤：

(1)获取T个相似的语音识别学习任务，每个学习任务t中包含一个数据集其中，d_t为特征个数，c_t为数据集X_t的分类数，n_t是第t个学习任务中样本数；

(2)为每个学习任务建立基于全局线性约束的特征选择模型：

其中，为第t个学习任务特征选择矩阵，W_t'表示W_t的转置矩阵，下同；为第t个任务的标签矩阵，其中m_t表示已标记样本数；为的第j个元素，如果属于第j个类，则否则 为元素全为1的向量，为基准参数；为任务t的训练权重；为任务t的预测标签矩阵，初始时，且α为惩罚因子，为的2范数，||W_t||_2,1为W_t的l_2,1范数。

(3)在步骤(2)的基础上构建多个学习任务联合特征选择模型，目标函数如下：

其中，W＝{W₁,…,W_T}为联合特征矩阵，||W||_*为W的迹范数，β为惩罚因子。

可以看出，目标函数中的联合特征选择模型具备几个特点：1)该模型能够在全局线性约束基础上充分利用已标记数据和未标记数据之间的信息；2)对于每一个学习任务，通过l_2,1范数约束，使得每个学习任务中的特征选择矩阵按行稀疏，有利于筛选出最具代表性的特征属性，且对数据中的噪声具备较高的抗干扰性；3)利用迹范数约束多个学习任务的联合特征选择矩阵，使得该矩阵呈现低秩性，有利于提取多个学习任务间有共享信息。

(4)求解目标函数

由于所述目标函数涉及组稀疏的l_2,1约束，是非凸的，采用以下步骤对其进行优化：

首先将目标函数转换为如下形式：

其中，S_t是每个元素值的对角矩阵，D_t定义如下：

取转换后的目标函数相对于b_t的导数，并令求导结果为0，可得：

取转化后目标函数对W_t的导数，并令求导结果为0，可得：

其中，

在获取W_t和b_t后，再根据线性约束更新F_t，即更新规则如下：

(5)模型迭代优化方法。

基于以上求解过程，采用以下步骤对模型进行迭代优化：

令代表第t个学习任务的标签矩阵，r代表迭代次数。

步骤1：令r＝0，并随机初始化每一个学习任务的特征选择矩阵

步骤2：计算

步骤3：更新

步骤4：更新

步骤5：更新并根据以下公式校正F_t：

步骤6：更新t＝t+1；

步骤7：针对于每一个任务t<T，重复步骤2-步骤6；

步骤8：

步骤9：更新r＝r+1；

步骤10：重复执行步骤2-步骤9，直到算法收敛，输出每一个学习任务的W_t和b_t。

为了验证本发明实施例所提供半监督多任务特征选择的语音识别方法，针对开源数据库Isolet进行验证分析，该数据库是将150个演讲者划分为5组，每个演讲者分别对26个英文字母发音两次，因此对于每个演讲者可采集到52个语音样本，共7797个样本，每个样本包含617个特征。本案例中，将Isolet划分为5个独立的识别任务，并和4个主流的方法进行效果的比较，分别是三个单任务方法：FISHER SCORE,Feature Selection via Jointl2,1-Norm Minimization(FSNM),Convex Semi-supervised multi-label FeatureSelection(CSFS)和一个多任务方法：Feature Selection with Shared Informationamong multiple tasks(FSSI)。

表1多种算法在Isolet数据集上性能比较(±标准方差)

表1为多种算法在Isolet数据集上性能比较结果，从表1的结果可以看出本发明提供的方法有着明显的优点，除在任务2中10％分组中略微差于CSFS外，在每个学习任务上数据集的效果均优于其他方法，从而证明了本发明所提供方法的有效性。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种半监督多任务特征选择的语音识别方法，其特征在于包括如下步骤：

(1)获取T个相似的语音识别学习任务，每个学习任务t中包含一个数据集其中，d_t为特征个数，c_t为数据集X_t的分类数，n_t是第t个学习任务中样本数；

(2)为每个学习任务建立基于全局线性约束的特征选择模型；

(3)在步骤(2)的基础上构建多个学习任务联合特征选择模型，得到目标函数；

(4)利用迭代优化算法求解步骤(3)中的目标函数。

2.如权利要求1所述的一种基于局部信息和组稀疏约束的半监督人脸识别方法，其特征在于：所述步骤(2)中，建立基于全局线性约束的特征选择模型如下：

$\underset{W_t,b_t,F_t^l=Y_t,0\&le;f_t^i\&le;1}{min}\underset{t=1}{\overset{T}{\&Sigma;}}\left(\underset{i=1}{\overset{n_t}{\&Sigma;}}{s}_t^i\right||W_t^{\&prime;}{x}_t^i+b_t-f_t^i|{|}_2^2+\mathrm{\&alpha;}\left|\right|W_t\left|{|}_{2,1}\right)$

其中，为第t个学习任务特征选择矩阵，W_t'表示W_t的转置矩阵；为第t个任务的标签矩阵，其中m_t表示已标记样本数；为的第j个元素，如果属于第j个类，则否则 为元素全为1的向量，为基准参数；为任务t的训练权重；为任务t的预测标签矩阵，初始时，且α为惩罚因子，为的2范数，||W_t||_2,1为W_t的l_2,1范数。

3.如权利要求1所述的一种基于局部信息和组稀疏约束的半监督人脸识别方法，其特征在于：所述步骤(3)中，目标函数如下：

$\underset{W_t,b_t,F_t^l=Y_t,0\&le;f_t^i\&le;1}{min}\underset{t=1}{\overset{T}{\&Sigma;}}\left(\underset{i=1}{\overset{n_t}{\&Sigma;}}{s}_t^i\right||W_t^{\&prime;}{x}_t^{\&prime;}+b_t-f_t^i|{|}_2^2+\mathrm{\&alpha;}\left|\right|W_t\left|{|}_{2,1}\right)+\mathrm{\&beta;}\left|\right|W|{|}_{*}$

其中，W＝{W₁,…,W_T}为联合特征矩阵，||W||_*为W的迹范数，β为惩罚因子。

4.如权利要求1所述的一种基于局部信息和组稀疏约束的半监督人脸识别方法，其特征在于：所述步骤(4)中，对目标函数进行优化的过程如下：

首先将目标函数转换为如下形式：

$\underset{W_t,b_t,F_t^l=Y_t,0\&le;f_t^i\&le;1}{min}\left\{\begin{array}{c}\&lsqb;\underset{t=1}{\overset{T}{\&Sigma;}}\left(Tr\right({\left(X_t^{\&prime;}{W}_t+1_t{b}_t^{\&prime;}-F_t\right)}^{\&prime;}{S}_t\left(X_t^{\&prime;}{W}_t+1_t{b}_t^{\&prime;}-F\right))+\mathrm{\&alpha;}Tr\left(W_t^{\&prime;}{D}_t{W}_t\right))\&rsqb;\\ +\&lsqb;\frac{\mathrm{\&beta;}}{2}Tr\left(W^{\&prime;}{\left({\mathrm{WW}}^{\&prime;}\right)}^{\frac{1}{2}}W\right)\&rsqb;\end{array}\right\}$

其中，S_t是每个元素值的对角矩阵，D_t定义如下：

$D_t=\left|\begin{array}{ccc}\frac{1}{2\left|\right|w_t^1|{|}_2}& & \\ & ...& \\ & & \frac{1}{2\left|\right|w_t^{d_t}|{|}_2}\end{array}\right|$

取转换后的目标函数相对于b_t的导数，并令求导结果为0，得到：

$b_t=\frac{1}{n_t}{F}_t^{\&prime;}{S}_t{1}_t-\frac{1}{n_t}{W}_t^{\&prime;}{X}_t{S}_t{1}_t$

取转化后目标函数对W_t的导数，并令求导结果为0，得到：

$W_t={(X_t{H}_t{S}_t{H}_t{X}_t^{\&prime;}+{\mathrm{\&alpha;D}}_t+\mathrm{\&beta;}\tilde{D})}^{-1}{X}_t{H}_t{S}_t{H}_t{F}_t$

其中，

在获取W_t和b_t后，再根据线性约束更新F_t，即更新规则如下：

${\tilde{F}}_t^{ij}=\left\{\begin{array}{ccc}0& if& {\tilde{F}}_t^{ij}<0\\ {\tilde{F}}_t^{ij}& if& 0\&le;{\tilde{F}}_t^{ij}\&le;1\\ 1& if& {\tilde{F}}_t^{ij}>1\end{array}\right..$

5.如权利要求1所述的一种基于局部信息和组稀疏约束的半监督人脸识别方法，其特征在于：所述步骤(4)中，采用如下方法进行迭代优化：

令1≤t≤T，代表第t个学习任务的标签矩阵，r代表迭代次数；

步骤1：令r＝0，并随机初始化每一个学习任务的特征选择矩阵

步骤2：计算

步骤3：更新

步骤4：更新

步骤5：更新并根据以下公式校正F_t：

${\tilde{F}}_t^{ij}=\left\{\begin{array}{ccc}0& if& {\tilde{F}}_t^{ij}<0\\ {\tilde{F}}_t^{ij}& if& 0\&le;{\tilde{F}}_t^{ij}\&le;1\\ 1& if& {\tilde{F}}_t^{ij}>1\end{array}\right.$

步骤6：更新t＝t+1；

步骤7：针对于每一个任务t<T，重复步骤2-步骤6；

步骤8：

步骤9：更新r＝r+1；

步骤10：重复执行步骤2-步骤9，直到算法收敛，输出每一个学习任务的W_t和b_t。