CN104737229A - 用于变换输入信号的方法 - Google Patents

Abstract

形式为特征向量的序列的输入信号通过首先将所述输入信号的模型的参数存储到存储器中被变换为输出信号。使用所述向量和所述参数，推断隐变量的向量的序列。对于每个特征向量x_n，存在隐变量h_i,n的至少一个向量h_n，并且每个隐变量非负。使用所述特征向量、隐变量的所述向量和所述参数来生成所述输出信号。每个特征向量x_n依赖于相同n的所述隐变量h_i,n中的至少一个。所述隐变量根据公式相关，其中j和l是求和索引。所述参数包括非负权重c_i,j,l，并且ε_l,n是独立的非负随机变量。

Description

用于变换输入信号的方法

技术领域

本发明总体上涉及信号处理，并且更具体地涉及使用动态模型将输入信号变换为输出信号，其中所述信号是音频(语音)信号。

背景技术

用于对非平稳信号中的动力学(dynamics)进行建模的常用框架(framework)是具有时间动力学的隐马尔可夫模型(HMM，hidden Markov model)。HMM是用于语音识别的事实(de facto)标准。离散时间HMM通过以与未观测的随机状态变量{h_n}的序列有关的概率分布为条件来对N个观测的(获取的)随机变量

def  def

{x_n}＝x_1:N＝{x₁,x₂,...,x_N}(即，信号样本)的序列进行建模。通常对HMM限定两个约束。

首先，状态变量具有一阶马尔可夫动力学。这意味着p(h_n|h_1:n-1)＝p(h_n|h_n-1)，其中p(h_n|h_n-1)被称为转移(transition)概率。转移概率通常被约束为时不变。

其次，在给定相应的状态h_n的情况下的每个样本xn与所有其它隐状态h_n′(n′≠n)无关，使得p(x_n|h_1:N)＝p(x_n|h_n)，其中p(x_n|h_n)被称为观测概率。在许多语音应用中，状态h_n是离散的，并且观测结果x_n是F维向量值的连续的声学特征，

$x_n\stackrel{\mathrm{def}}{=}\left\{x_{f,\left(n\right)}\right\}\stackrel{\mathrm{def}}{=}\{x_{1n},x_{2n},...,x_{\mathrm{Fn}}\}$

其中括号指示n不迭代。典型的频率特征是短时对数功率谱，其中f指示频率区间(bin)。

定义初始概率则HMM的随机变量的联合分布为

$p\left(\right\{x_n\},\{h_n\left\}\right)=\underset{n=1}{\overset{N}{\mathrm{\Π}}}p\left(x_n\right|h_n)p\left(h_n\right|h_{n-1}).---\left(1\right)$

线性动态系统(Dynamical system)

相关模型是在卡尔曼(Kalman)滤波器中使用的线性动态系统。所述线性动态系统的特征是连续的、向量值的且联合高斯分布的状态和观测结果，

h_n＝Ah_n-1+ε_n，              (2)

v_n＝Bh_n+ν_n，                 (3)

其中h_n∈R^K(或h_n∈C^K)是在时间n处的状态，K是状态空间的维度，A是状态转移矩阵，ε_n是加性高斯转移噪声，v_n∈R^F(或v_n∈C^F)是在时间n处的观测结果，F是观测(或特征)空间的维度，B是观测矩阵，ν_n是加性高斯噪声，并且R是实数。

非负矩阵因式分解

在音频信号处理的情况下，通常使用滑动窗和经常作为音频信号的大小或功率谱的特征向量表示来处理信号。特征是非负的。为了以非监督方式发现信号中的重复的模式(pattern)，广泛使用了非负矩阵因式分解(NMF)。

对于维度为F×N的非负矩阵V，降秩(rank-reduced)近似为

V≈WH，

其中W和H分别是维度为F×K和维度为K×N的非负矩阵。所述近似通常从以下最小化得到：

$\underset{W,H\≥0}{\min }D\left(V\right|\mathrm{WH})=\underset{\mathrm{fn}}{\mathrm{\Σ}}d\left(v_{\mathrm{fn}}\right|{\left[\mathrm{WH}\right]}_{\mathrm{fn}}),$

其中d(x|y)是在x＝y时具有唯一最小值的正函数标量成本函数。

Itakura-Saito非负矩阵因式分解(IS-NMF)

对于音频信号，在矩阵V是复值短时傅里叶变换(STFT)矩阵X的功率谱图的情况下，常规方法已使用Itakura-Saito距离(其测量实际谱与近似谱之间的差)作为成本函数，因为该成本函数隐含了对于音频信号相关的叠加零均值高斯分量的潜在模型。更准确地，假定xfn是在帧(frame)n和频率f处的复值STFT系数，并且 $x_{\mathrm{fn}}=\underset{k}{\mathrm{\Σ}}{c}_{\mathrm{fkn}},$ 其中

c_fkn:N_c(0,w_fkh_kn)。

则，

$-\log p=\left(X\right|W,H)\underset{\mathrm{fn}}{\mathrm{\Σ}}\frac{v_{\mathrm{fn}}}{\underset{k}{\mathrm{\Σ}}{w}_{\mathrm{fk}}{h}_{\mathrm{kn}}}+\log \underset{k}{\mathrm{\Σ}}{w}_{\mathrm{fk}}{h}_{\mathrm{kn}}---\left(4\right)$

＝D_IS(|X|²|WH)+cst,            (5)

其中 $v_{\mathrm{fn}}=\left|x_{\mathrm{fn}}^2\right|.$

所述模型还能够被表示为

$x_{\mathrm{fn}}:N_c(0,\underset{k}{\mathrm{\Σ}}{w}_{\mathrm{fk}}{h}_{\mathrm{kn}}).$

这相当于假定在参数∑_kw_fkh_kn和均匀相位的情况下是指数分布的

${\left|x\right|}_{\mathrm{fn}}^2:\mathrm{Exponential}\left(\underset{k}{\mathrm{\Σ}}{w}_{\mathrm{fk}}{h}_{\mathrm{kn}}\right),---\left(6\right)$

∠x_fn:Uniform(-π,+π)。        (7)

平滑IS-NMF

在IS-NMF的平滑变型中，对于H的独立的行，假定了逆伽玛(inverse-gamma)或伽玛随机游动(walk)。更准确地，已经考虑了以下模型：

h_kn＝h_k(n-1)oε_kn，

其中ε_kn是使用模式1的非负乘法创新(nonnegative multiplicative innovation)随机变量，诸如

ε_kn:G(α,α-1)，或

ε_kn:IG(α,α+1)，

其中根据惯例，伽玛和逆伽玛为

$G\left(x\right|\mathrm{\α},\mathrm{\β})=\frac{{\mathrm{\β}}^{\mathrm{\α}}}{\mathrm{\Γ}\left(\mathrm{\α}\right)}{x}^{\mathrm{\α}-1}\exp -\mathrm{\βx},$ 以及     (8)

$\mathrm{IG}\left(x\right|\mathrm{\α},\mathrm{\β})=\frac{{\mathrm{\β}}^{\mathrm{\α}}}{\mathrm{\Γ}\left(\mathrm{\α}\right)}{x}^{-(\mathrm{\α}+1)}\exp -\frac{\mathrm{\β}}{x}.---\left(9\right)$

组合HMM和NMF的模型

如果组合HMM和NMF，则从所述HMM继承每次仅一个离散状态可以有效的限制。这意味着对于多个源，需要多个模型，导致计算易处理性的潜在问题。

U.S.7,047,047描述了使用降噪特征向量的估计和声学环境的模型来对语音信号进行去噪(denoise)。该模型基于描述输入特征向量、干净特征向量和噪声特征向量之间的关系以及指示该干净特征向量和该噪声特征向量的混合的相位关系的非线性函数。

U.S.8,015,003描述了使用受去噪模型约束的NMF来对混合信号(例如，语音和噪声)进行去噪。该去噪模型包括训练声学信号和训练噪声信号的训练基矩阵(basismatrices)、以及这些训练基矩阵的权重的统计。声学信号的基矩阵的权重与该训练声学信号和该训练噪声信号的训练基矩阵的乘积用来重构该声学信号。

一般而言，关注慢变噪声的现有技术的方法不适用于快变非平稳噪声，诸如通过在有噪声的环境中使用移动电话所经历的。

尽管HMM能够处理语音动力学，但是HMM经常由于离散状态空间而导致组合的问题，这尤其对于来自若干个源的混合信号是计算复杂的。在常规HMM方法中，也不直接处理增益自适应。

NMF解决了计算问题和增益自适应问题二者。然而，NMF不处理动态信号。平滑IS-NMF试图处理动力学。然而，H的行的独立性假设是不现实的，因为谱模式在帧n处的激活很可能与其它模式在前一帧n-1处的激活相关。

本发明的目的是使用HMM和NMF框架解决与信号和数据处理关联的固有的问题。

发明内容

本发明的目的是当输入信号是非平稳信号并且更具体是信号的混合时，将输入信号变换为输出信号。因此，本发明的实施方式提供了用于处理所述输入信号特别是与噪声混合的语音信号的非负线性动态系统模型。在语音分离和语音去噪的情况下，我们的模型实时(on-line)适应于信号动力学，并且实现了比常规方法好的性能。

用于信号动力学的常规模型经常使用隐马尔可夫模型(HMM)或非负矩阵因式分解(NMF)。

HMM由于离散状态空间而导致组合的问题，尤其对于来自若干个源的混合信号是计算复杂的。在常规HMM方法中，同样不直接处理增益自适应。

NMF解决了计算复杂性问题和增益自适应问题二者。然而，NMF没有利用信号的过去的观测结果来对该信号的将来的观测结果进行建模。对于具有可预测的动力学的信号，这很可能是次优的。

我们的模型具有HMM和NMF二者的优点。所述模型的特征是连续的非负状态空间。在推断(inference)期间自动处理增益自适应。所述推断的复杂性在信号源的数目上是线性的，并且通过线性转移矩阵来对动力学进行建模。

具体地，形式为特征向量的序列的输入信号通过首先将所述输入信号的模型的参数存储到存储器中而被变换为输出信号。

使用所述向量和所述参数，推断隐变量(hidden variable)的向量的序列。对于每个特征向量x_n，存在隐变量h_i,n的至少一个向量h_n，并且每个隐变量非负。

使用所述特征向量、隐变量的所述向量和所述参数来生成所述输出信号。每个特征向量x_n依赖于相同n的所述隐变量h_i,n中的至少一个。所述隐变量根据相关，其中j和l是求和索引。所述参数包括非负权重c_i,j,l，并且ε_l,n是独立的非负随机变量。

附图说明

图1是用于将输入信号变换为输出信号的流程图；

图2是根据本发明的实施方式的用于确定动态模型的参数的方法的流程图；以及

图3是根据本发明的实施方式的用于使用动态模型来增强语音信号的方法的流程图。

具体实施方式

引言

我们的实施方式提供了用于变换并且处理动态(非平稳)信号和数据的模型，所述模型具有基于HMM和NMF的模型的优点。

所述模型的特点是连续的非负状态空间。在推断期间实时自动处理增益自适应。使用线性转移矩阵A对信号的动力学进行建模。所述模型是具有乘法非负创新随机变量ε_n的非负线性动态系统。所述信号可以是非平稳线性信号(诸如音频或语音信号)或多维信号。所述信号可以在数字域中被表示为数据。下面更详细地描述所述创新随机变量。

所述实施方式还提供了用于使用所述模型的应用。具体地，所述模型能够被用来处理从若干个源获取的音频信号，例如，所述信号是语音和噪声(或其它声学干扰)的混合，并且所述模型被用来通过例如减少噪声来增强信号。当我们说“混合”时，我们意指语音和噪声由单个传感器(麦克风)来获取。

然而，要理解的是，所述模型还可以被用于具有随时间改变的特性的其它非平稳信号和数据(诸如经济或金融数据、网络数据和信号、或者信号、医学信号)或者从自然现象获取的其它信号。所述参数包括非负权重c_i,j,l，并且ε_l,n是独立的非负随机变量，其分布也具有参数。下面描述索引i、j、l和n。

一般方法

如图1中所示，输入信号102的模型的参数101被存储到存储器103中。

所述输入信号作为信号的显著特性的特征向量x_n 104被接收。这些特征当然特定于应用和信号。例如，如果信号是音频信号，则这些特征可以是对数功率谱。要理解的是，对于能够被根据本发明的方法处理的许多类型的不同信号和数据，能够被使用的不同类型的特征基本上无限制。

所述方法推断110隐变量111的向量的序列。所述推断基于所述特征向量104、所述参数、隐变量关系130以及观测结果与隐变量的关系140。对于每个特征向量x_n，存在隐变量h_i,n的至少一个向量h_n。每个隐变量非负。

生成120与所述输入信号对应的输出信号122以形成所述特征向量、隐变量的所述向量和所述参数。

一般方法细节

在我们的方法中，每个特征向量x_n依赖于相同n的隐变量h_i,n中的至少一个。所述隐变量根据隐变量关系130相关，其中j和l是求和(summation)索引。所存储的参数包括非负权重c_i,j,l，并且ε_l,n是独立的非负随机变量。该公式使得所述模型能够以结构化方式表示随时间的统计依赖性，使得当前帧n的隐变量依赖于前一帧n-1的、具有通过c_i,j,l和权重ε_l,n的分布的参数的组合而确定的分布的隐变量。所述权重ε_l,n例如可以是具有形状参数α和逆尺度(scale)参数β的伽玛随机变量。

在一个实施方式中，c_i,j,l＝δ(i,l)a_i,j，其中a_i,j是非负标量，使得其中δ是克罗内克符号(Kronecker delta)。在这种情况下，如果权重ε_l,n是具有形状参数α和逆尺度参数β的伽玛随机变量，则h_i,n在给定(其中K是所述隐状态向量中的元素的数目)的情况下的条件分布是 $p\left(h_{i,n}\right|h_{j,n-1})=\mathrm{Gamma}\left(h_{i,n}\right|\mathrm{\α},\frac{\mathrm{\β}}{\underset{j}{\mathrm{\Σ}}{a}_{i,j}{h}_{j,n-1}}),$ 其中是随机变量x的具有形状a和逆尺度b的伽玛分布，并且是伽玛函数。本实施方式被设计为符合常规线性动态系统的基本结构的简单性，但是由于所述模型的非负结构和所述乘法创新随机变量而不同于现有技术。

在另一实施方式中，c_i,j,l＝δ(m(i,j),l)a_i,j，其中a_i,j是非负标量，δ是克罗内克符号，并且m(i,j)是从i和j的每个组合到与l对应的索引的一对一映射(例如，m(i,j)＝(i－1)K+j，其中K是隐变量h_n中的元素的数目)，使得本实施方式在对信号进行建模时实现了灵活性，因为能够独立推断每个转移。

对多个源进行建模重要的另一实施方式包括将隐变量h_i,n划分成S个组，其中每个组对应于混合中的一个独立源。同样地，根据相同的S个组划分非负随机变量ε_l,n。这能够通过参数c_i,j,l的、其中当h_i,n和h_j,n不在相同的组中时或者当h_i,n和ε_l,n不与相同的组关联时c_i,j,l＝0的特殊情况来实现。当对隐变量进行相应排序时，这为c_i,j,l给出了块结构，其中每个块对应于针对信号源中的一个的模型。

在我们的实施方式中，所述隐变量经由通过特征f和帧n索引的信号的非负特征v_f,n与特征变量相关140。观测模型基于其中是非负标量，并且是独立的非负随机变量，并且j和l是不同分量的索引。

在更约束的实施方式中，其中w_f,i是非负标量，其中δ是克罗内克符号，并且是伽玛分布的随机变量，使得所述观测模型至少部分基于

$p\left(v_{f,n}\right|h_n)=\mathrm{Gamma}\left(v_{f,n}\right|{\mathrm{\α}}^{\left(v\right)},{\mathrm{\β}}^{\left(v\right)}/\underset{i}{\mathrm{\Σ}}{w}_{f,i}{h}_{i,n}),$

其中v_f,n是信号在帧n和频率f处的非负特征，α^(v)和β^(v)是正标量，并且w_f,i是非负标量。

在其中特征x_f,n是输入信号对于帧n和频率f的复谱图值的应用中，所述观测

模型能够使用v_f,n＝|x_f,n|²，其是在帧n和频率f下的功率。因此，能够基于下式形成所述观测模型：

$x_{f,n}=\left(e^{{\mathrm{\θ}}_{f,n}\sqrt{-1}}\right)\sqrt{v_{f,n}},$

其中是单位虚数，并且θ_f，n＝∠x_f，n是对于帧n和频率f的相位。

在另一实施方式中，我们选择参数α^(v)＝1，使得伽玛分布简化为作为特殊情况的指数分布。在这种情况下，如果相位θ_f,n均匀分布，则我们获得观测模型

$p\left(x_{f,n}\right|h_n)=N_c(0,\underset{i}{\mathrm{\Σ}}{w}_{f,i}{h}_{i,n}),$

其中N_C是复高斯分布。该观测模型对应于以上描述的Itakura-Saito非负矩阵因式分解，并且在我们的实施方式中与非负动态系统模型组合。

另一实施方式使用针对v_f,n的基于相同类型的变换的级联的观测模型：

$u_{i^{\′},n}=\underset{i}{\mathrm{\Σ}}{c}_{i^{\′},i,l}^{\left(u\right)}{h}_{i,n}{\mathrm{\ϵ}}_{l^{\′},n}^{\left(u\right)},$ 并且

$v_{f,n}=\underset{i^{\′}}{\mathrm{\Σ}}{c}_{f,i^{\′},l}^{\left(v\right)}{u}_{i^{\′},n}{\mathrm{\ϵ}}_{l^{\′\′},n}^{\left(v\right)},$

其中和是非负标量，并且和是独立的非负随机变量，并且i、i’、l’、l”是索引。

对于每个实施方式，用于推断隐变量的方法取决于模型参数化。

模型参数

如图2所示，根据输入信号102，我们获得模型参数101如下。所述输入信号可以被认为是训练信号，尽管应该理解的是，所述方法能够自适应于所述信号，并且实时“学习”参数。所述输入信号还可以是数字信号或数据的形式。

例如，训练信号是语音信号，或来自多个声学源的混合信号(可能包括非平稳噪声或其它声学干扰)。该信号被处理为信号样本的帧。每个帧中的样本的采样速率和数目特定于应用。要注意的是，下面描述的用于处理当前帧n的更新230依赖于前一帧n－1。对于每个帧，我们确定210特征向量x_n表示。对于音频输入信号，可以使用诸如对数功率谱这样的频率特征。

初始化220模型的参数。所述参数可以包括基函数W、转移矩阵A、激活矩阵H及连续伽玛分布参数的固定形状参数α和逆尺度参数β、以及这些参数的取决于特定应用的各种组合。例如在某些应用中，更新H和β是可选的。在变分贝叶斯(variational Bayes)(VB)方法中，不使用H。相反，使用并更新H的后验分布的估计。如果是最大后验(a-posteriori)(MAP)估计，则更新β是可选的。

在所述方法的每次迭代期间，更新231-134激活矩阵、基函数、转移矩阵和伽玛参数。应该再次注意的是，待更新的参数的集合也特定于应用。

在所述更新230之后测试终止条件260(例如，迭代的收敛或最大数目)。如果是真，则将参数存储到存储器中，否则如果是假，则在步骤230处重复。

如已知的，可以在连接到存储器和输入/输出接口的处理器中执行所述一般方法和所述参数确定的上述步骤。还可以使用专门的微处理器等。要理解的是，通过所述方法处理的信号(例如，语音或金融数据)可以极其复杂。所述方法将输入信号变换成能够被存储到存储器中的特征。所述方法还将模型参数和推断的隐变量存储到存储器中。

模型参数细节

为了本描述的简化，我们将表示法(notation)限于以下实施方式：在该实施方式中，w_f,i是非负标量，δ是克罗内克符号，并且是伽玛分布随机变量，而参数α^(v)＝1，并且相位θ_f,n均匀分布。在这种情况下，我们的模型是

$x_{\mathrm{fn}}:N_c(0,\underset{k}{\mathrm{\Σ}}{w}_{\mathrm{fk}}{h}_{\mathrm{kn}}),---\left(10\right)$

h_n＝(Ah_n-1)oε_n，             (11)

其中x_fn是在帧n和频率f处的复值STFT系数，N_C是复高斯分布，w_fk是功率谱的第k个基函数在频率f处的值，h_n和h_n-1分别是激活矩阵H的第n列和第(n－1)列，A是对连续帧n-1和帧n中的不同模式之间的相关性进行建模的非负K×K转移矩阵，ε_n是非负创新随机变量(例如，维度为K的向量)，并且o表示entry-wise乘法。能够通过设置A＝I_K获得平滑IS-NMF作为我们的模型的特定情况，其中I_K是K×K单位矩阵(identity matrix)。

优点

我们的模型的显著且有利的特性是不止一个状态维度可以在给定时间为非零。这意味着可以使用单个模型来分析由单个传感器从多个源同时获取的信号，与获取多个模型的现有技术的HMM不同。

创新的伽玛模型

我们将独立的伽玛分布用于创新ε_kn，即

p(ε_in|α,β)＝G(α_i,β_i).

它遵循hn是条件伽玛分布的，使得

$p\left(h_n\right|A{h}_{n-1})=\underset{i}{\mathrm{\Π}}G\left(h_{\mathrm{in}}\right|{\mathrm{\α}}_i,{\mathrm{\β}}_i/{\left[A{h}_{n-1}\right]}_i),$

并且具体地

$E\left(h_{\mathrm{in}}\right|A{h}_{n-1})=\frac{{\mathrm{\α}}_i}{{\mathrm{\β}}_i}\underset{j}{\mathrm{\Σ}}{a}_{\mathrm{ij}}{h}_j(n-1).---\left(12\right)$

对于h₁，我们使用独立尺度不变的无信息Jeffreys先验，即在贝叶斯概率中，Jeffreys先验是在与Fisher信息的行列式的平方根成比例的参数空间上的无信息(目标)先验分布。

伽玛创新模型中的MAP推断

最大后验(MAP)目标函数是

$\begin{array}{c}C(W,H,A,\mathrm{\β})=\\ \underset{\mathrm{fn}}{\mathrm{\Σ}}(\frac{v_{\mathrm{fn}}}{\underset{k}{\mathrm{\Σ}}{w}_{\mathrm{fk}}{h}_{\mathrm{kn}}}+\log \underset{k}{\mathrm{\Σ}}{w}_{\mathrm{fk}}{h}_{\mathrm{kn}})\\ +\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{n=2}{\overset{N}{\mathrm{\Σ}}}({\mathrm{\α}}_i\log \underset{j}{\mathrm{\Σ}}{a}_{\mathrm{ij}}{h}_{j(n-1)}+{\mathrm{\β}}_i\frac{h_{\mathrm{in}}}{\underset{j}{\mathrm{\Σ}}{a}_{\mathrm{ij}}{h}_j(n-1)}+(1-{\mathrm{\α}}_i)\log h_{\mathrm{in}})\\ +(N-1)\underset{i}{\mathrm{\Σ}}(\log \mathrm{\Γ}\left({\mathrm{\α}}_i\right)-{\mathrm{\α}}_i\log {\mathrm{\β}}_i)\\ -\underset{i}{\mathrm{\Σ}}\log p\left(h_{i1}\right)\end{array}$

尺度

A与β之间的尺度-不确定性(ambiguity)

在其对角上具有系数λ_i的K×K非负对角矩阵是Λ，因此

C(W,H,ΛA,Λβ)＝C(W,H,A,β),

其具有A与β之间的尺度-不确定性。当估计A和β二者时，可以以许多方式(例如，通过将β固定为任意值或者通过在每次迭代230时归一化A的行并且相应地重新调节β)校正所述尺度-不确定性。例如，我们可以归一化转移矩阵A的行，使得这些行求和为1，或者使得每一行中的最大系数是1。在某些实施方式中，β_i＝α_i，即，创新随机变量的模型期望值(expectation)是1。

MAP的不适定性

W和H的尺度通过 $C(W{\mathrm{\Λ}}^{-1},\mathrm{\ΛH},A,\mathrm{\β})=C(W,H,{\mathrm{\Λ}}^{-1}\mathrm{A\Λ},\mathrm{\β})+N\underset{i}{\mathrm{\Σ}}\log {\mathrm{\λ}}_i$ 相关，其中λ_i是Λ的对角线的第i个元素。

在没有进一步的约束的情况下，MAP目标的最小化导致退化解，使得||W||→∞并且||H||→0。如果我们假定Λ的所有对角元素相等，使得Λ＝λI_K，则

C(WΛ^-1,ΛH,A)＝C(W,H,A)+KN logλ。

可以通过减小λ的值来使MAP目标变得任意小。因此，在优化期间控制W的范数。这可以通过硬约束或软约束来实现。所述硬约束是必须满足的正则(regular)约束，并且所述软约束是表示偏好的成本函数。

硬约束

我们使用变量具有Λ＝diag[λ₁,...,λ_K]的和λ_k＝Pw_kP₁的改变来求解minC(W,H,A)(约束条件为W≥0,H≥0,|||w_k||_|1＝1)，可以通过求解(约束条件为W≥0,H≥0)来放宽范数约束。

软约束(惩罚)

我们可以控制W的范数的另一方式是将适当惩罚增加到目标函数，例如，

minC(W,H,A)+λ||W||₁(约束条件为W≥0,H≥0)。

软约束通常比硬约束更易于实现，但是需要λ的调整(tuning)。

针对MAP估计的学习和推断过程

我们描述了优化-最小化(MM)过程。MM是可以应用于凸目标函数以确定最大值的迭代优化过程。也就是说，MM是用来构造目标函数的方式。MM确定了通过使目标函数为局部最优来优化所述目标函数的替代(surrogate)函数。在我们的实施方式中，彼此赋予条件地更新矩阵H、矩阵A和矩阵W。在下文中，波浪符(tildas)(～)表示当前参数迭代。

不等式

对于{φ_k}，使得∑_kφ_k＝1，我们通过Jensen不等式得到我们可以在任何点φ处通过线性化在log a上形成上界：

$\log a\≤\log \mathrm{\φ}+\frac{\∂\log a}{\∂a}(a-\mathrm{\φ})=(\log \mathrm{\φ}-1)+\frac{a}{\mathrm{\φ}}.$ 具体地， $\log \underset{k}{\mathrm{\Σ}}{a}_k{x}_k\≤(\log \underset{k}{\mathrm{\Σ}}{a}_k{\tilde{x}}_k-1)+\frac{1}{\underset{j}{\mathrm{\Σ}}{a}_j{\tilde{x}}_j}\underset{k}{\mathrm{\Σ}}{a}_k{x}_k,$ 并且

$\frac{1}{\underset{k}{\mathrm{\Σ}}{a}_k{x}_k}\≤\frac{1}{{\left(\underset{j}{\mathrm{\Σ}}{a}_j{\tilde{x}}_j\right)}^2}\underset{k}{\mathrm{\Σ}}{a}_k\frac{{\tilde{x}}_k^2}{x_k}.$

拟合数据

$D_{\mathrm{IS}}\left(V\right|\mathrm{WH})\≤\underset{\mathrm{kn}}{\mathrm{\Σ}}({\tilde{p}}_{\mathrm{kn}}\frac{{\tilde{h}}_{\mathrm{kn}}^2}{h_{\mathrm{kn}}}+{\tilde{q}}_{\mathrm{kn}}{h}_{\mathrm{kn}})$

${\tilde{p}}_{\mathrm{kn}}=\underset{f}{\mathrm{\Σ}}{w}_{\mathrm{fk}}\frac{v_{\mathrm{fn}}}{{\tilde{v}}_{\mathrm{fn}}^2}$

${\tilde{q}}_{\mathrm{kn}}=\underset{f}{\mathrm{\Σ}}\frac{w_{\mathrm{fk}}}{{\tilde{v}}_{\mathrm{fn}}}$

${\tilde{v}}_{\mathrm{fn}}={\left[W\tilde{H}\right]}_{\mathrm{fn}}$

$D_{\mathrm{IS}}\left(V\right|\mathrm{WH})\≤\underset{\mathrm{fk}}{\mathrm{\Σ}}({\tilde{p}}_{\mathrm{fk}}\frac{{\tilde{w}}_{\mathrm{fk}}^2}{w_{\mathrm{fk}}}+{\tilde{q}}_{\mathrm{fk}}{w}_{\mathrm{fk}})$

${\tilde{p}}_{\mathrm{fk}}=\underset{n}{\mathrm{\Σ}}{h}_{\mathrm{kn}}\frac{v_{\mathrm{fn}}}{{\tilde{v}}_{\mathrm{fn}}^2}$

${\tilde{q}}_{\mathrm{fk}}=\underset{n}{\mathrm{\Σ}}\frac{h_{\mathrm{kn}}}{{\tilde{v}}_{\mathrm{fn}}}$

${\tilde{v}}_{\mathrm{fn}}={\left[\widetilde{\mathrm{WH}}\right]}_{\mathrm{fn}}$

惩罚项

假定g_in＝∑_ja_ijh_j(n-1)，那么，

$\log \left(g_{i(n+1)}\right)\≤\log \left({\tilde{g}}_{i(n+1)}\right)+\frac{1}{{\tilde{g}}_{i(n+1)}}\underset{j}{\mathrm{\Σ}}{a}_{\mathrm{ij}}(h_{\mathrm{jn}}-{\tilde{h}}_{\mathrm{jn}})$

$\log \left(g_{i(n+1)}\right)\≤\log \left({\tilde{g}}_{i(n+1)}\right)+\frac{1}{{\tilde{g}}_{i(n+1)}}\underset{j}{\mathrm{\Σ}}{h}_{\mathrm{jn}}(a_{\mathrm{ij}}-{\tilde{a}}_{\mathrm{ij}})$

$\frac{1}{g_{i(n+1)}}\≤\frac{1}{{\tilde{g}}_{i(n+1)}^2}\underset{j}{\mathrm{\Σ}}{a}_{\mathrm{ij}}\frac{{\tilde{h}}_{\mathrm{jn}}^2}{h_{\mathrm{jn}}}$

$\frac{1}{g_{i(n+1)}}\≤\frac{1}{{\tilde{g}}_{i(n+1)}^2}\underset{j}{\mathrm{\Σ}}{h}_{\mathrm{jn}}\frac{{\tilde{a}}_{\mathrm{ij}}^2}{a_{\mathrm{ij}}}$

(是或)

更新规则

MM框架包括使用以前的不等式来优化目标函数的项、提供所述目标函数的在当前参数下严格的上界、以及使所述上界而不是原始目标最小化。在对W的范数的软约束的情况下应用于MAP目标的最小化的这个策略导致了如图2中所示的以下更新230。

更新231激活矩阵H

依次更新231H的列。左到右的更新使得h_n在迭代l时的更新依赖于和h_kn的更新涉及求2阶多项式的根，使得

$h_{\mathrm{kn}}=\frac{\sqrt{b^2-4\mathrm{ac}}-b}{2a}$

其中在下一个表中给出了a、b、c的值。

具体地，对于具有期望值1(α_i＝β_i＝1)的指数创新，我们获得以下乘法更新：对于n＝1，

$h_{\mathrm{kn}}={\tilde{h}}_{\mathrm{kn}}\sqrt{\frac{{\tilde{p}}_{\mathrm{kn}}+\underset{i}{\mathrm{\Σ}}\frac{a_{\mathrm{ik}}{h}_{i(n+1)}}{{\tilde{g}}_{i(n+1)}^2}}{{\tilde{q}}_{\mathrm{kn}}+\underset{i}{\mathrm{\Σ}}\frac{a_{\mathrm{ik}}}{{\tilde{g}}_{i(n+1)}}+\frac{1}{{\tilde{h}}_{\mathrm{kn}}}}}.$

对于1<n<N，

$h_{\mathrm{kn}}={\tilde{h}}_{\mathrm{kn}}\sqrt{\frac{{\tilde{p}}_{\mathrm{kn}}+\underset{i}{\mathrm{\&Sigma;}}\frac{a_{\mathrm{ik}}{h}_{i(n+1)}}{{\tilde{g}}_{i(n+1)}^2}}{{\tilde{q}}_{\mathrm{kn}}+\underset{i}{\mathrm{\&Sigma;}}\frac{a_{\mathrm{ik}}}{{\tilde{g}}_{i(n+1)}}+\frac{1}{{\tilde{g}}_{\mathrm{kn}}}}}.$

对于n＝N，

$h_{\mathrm{kn}}={\tilde{h}}_{\mathrm{kn}}\sqrt{\frac{{\tilde{p}}_{\mathrm{kn}}}{{\tilde{q}}_{\mathrm{kn}}+\frac{1}{g_{\mathrm{kn}}}}}.$

更新232基函数W

$w_{\mathrm{fk}}={\tilde{w}}_{\mathrm{fk}}\sqrt{\frac{{\tilde{p}}_{\mathrm{fk}}}{{\tilde{q}}_{\mathrm{fk}}+{\mathrm{\&lambda;}}_W}}$

更新233转移矩阵A

$a_{\mathrm{ij}}={\tilde{a}}_{\mathrm{ij}}=\sqrt{\frac{{\mathrm{\&beta;}}_i\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}\frac{h_{\mathrm{in}}{h}_{j(n-1)}}{{\tilde{g}}_{\mathrm{in}}^2}}{{\mathrm{\&alpha;}}_i\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}\frac{h_{j(n-1)}}{{\tilde{g}}_{\mathrm{in}}}+{\mathrm{\&lambda;}}_A}}$

对于最大似然估计的变分EM过程

激活参数H是用来从联合似然积分的潜在变量。一般而言，我们假定伽玛分布参数β＝{β_i}是自由的。形状参数α_i被视为固定参数。我们最小化

C(W,A,β)＝-logp(V|W,A,β)＝-log∫_Hp(V|W,H)p(H|A,β)dH。

这产生了更好提出的估计问题，因为参数的集合关于样本的数目N具有固定的维度。此外，现在在尺度方面更好提出目标。对于任何正对角矩阵Λ，我们有

C(W,A,β)＝C(WΛ^-1,ΛAΛ^-1,β)，

使得解W*的再归一化(renormalization)仅导致A＊的再归一化。这对于MAP方法不成立。

为了使C(W,A,β)最小化，EM过程能够基于完备(complete)数据集(V,H)，并且基于 $Q\left(\mathrm{\&theta;}\right|\widetilde{\mathrm{\&theta;}})=-{\&Integral;}_H\log p(V,H|W)p\left(H\right|V,\widetilde{\mathrm{\&theta;}})\mathrm{dH}$ 的迭代最小化(其中θ＝{W,A,β})。我们不使用后验概率p(H|V,θ)。相反，我们使用变分EM过程。对于任何概率密度函数q(H)，以下不等式成立：

C(θ)≤-<logp(V|WH)>_q-<logp(H|A)>_q+<logq(H)>_q＝B_q(θ)，

其中<·>_q表示在q(H)下的期望值。变分EM使B_q(θ)而不是C(θ)最小化。在每次迭代时，首先考虑到W和A通过在q上或者更准确地考虑到特定参数化形式在q的整个形状参数上使B_q(θ)最小化来评估界限并使该界限严格(tighten)，并且然后考虑到q使所述界限关于(θ)最小化。当q(H)＝p(H|θ)时，变分EM与EM一致，在这种情况下，C(θ)在每次迭代时减小。在其它情况下，变分EM进行近似推断。有效性取决于q(H)在多大程度上近似真实的后验概率p(H|θ)。

界限的推导

logp(V|WH)和logp(H|A)的表达式表明H的系数通过线性组合∑_kw_fkh_kn和∑_ja_ijh_j(n-1)的比率或对数结合(couple)。这使logp(V|WH)和logp(H|A)的期望值变得很难以独立于特定形式的q(H)确定。

因此，我们优化logp(V|WH)和logp(H|A)，以获得易处理的界限。使用上述不等式并且假定变分分布的因式分解形式，使得是C(W,A,β)的上界，函数

$\begin{array}{c}{B}_{q,\mathrm{\&xi;}}(W,A,\mathrm{\&beta;})=\\ \underset{\mathrm{fkn}}{\mathrm{\&Sigma;}}({\mathrm{\&phi;}}_{\mathrm{fkn}}^2\frac{v_{\mathrm{fn}}}{w_{\mathrm{fk}}}<h_{\mathrm{kn}}^{-1}>+\frac{w_{\mathrm{fk}}}{{\mathrm{\&psi;}}_{\mathrm{fn}}}<h_{\mathrm{kn}}>)+\underset{\mathrm{fn}}{\mathrm{\&Sigma;}}(\log {\mathrm{\&psi;}}_{\mathrm{fn}}-1)\\ +\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}((1-{\mathrm{\&alpha;}}_i)<\log h_{\mathrm{in}}>+\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_i\frac{a_{\mathrm{ij}}}{{\mathrm{\&rho;}}_{\mathrm{in}}}<h_{j(n-1)}>+{\mathrm{\&beta;}}_i\frac{v_{\mathrm{ijn}}^2}{a_{\mathrm{ij}}}<h_{\mathrm{in}}><h_{j(n-1)}^{-1}>))\\ +\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i(\log {\mathrm{\&rho;}}_{\mathrm{in}}-1)+(N-1)\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}(\log \mathrm{\&Gamma;}\left({\mathrm{\&alpha;}}_i\right)-{\mathrm{\&alpha;}}_i\log {\mathrm{\&beta;}}_i)\\ +\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}<\log h_{i1}>\\ +\underset{\mathrm{kn}}{\mathrm{\&Sigma;}}<\log q\left(h_{\mathrm{kn}}\right)>\end{array}$

其中φ_fkn是非负系数，使得∑_kφ_fkn＝1，

ν_ijn是非负系数，使得∑_iν_ijn＝1，

ρ_in、ψ_fn是非负系数，

ξ表示所有调整参数{φ_fkn,ν_ijn,ρ_in,ψ_fn}_fknij的集合，

<·>表示关于q的期望值，即，对应于<·>q。我们去除下标q以简化表示法。

所述界限的表达式涉及h_kn、1/h_kn和logh_kn的期望值。这些期望值精确地是广义逆高斯(GiG)的充分统计，这对于q(H)实用方便。我们使用

$q\left(H\right)=\underset{\mathrm{kn}}{\mathrm{\&Pi;}}\mathrm{GIG}\left(h_{\mathrm{kn}}\right|{\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_{\mathrm{kn}},{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{kn}},{\stackrel{\&OverBar;}{\mathrm{\&gamma;}}}_{\mathrm{kn}}),$

其中

$\mathrm{GIG}\left(x\right|\mathrm{\&alpha;},\mathrm{\&beta;},\mathrm{\&gamma;})=\frac{{(\mathrm{\&beta;}/\mathrm{\&gamma;})}^{\mathrm{\&alpha;}/2}}{2K_{\mathrm{\&alpha;}}\left(2\sqrt{\mathrm{\&beta;\&gamma;}}\right)}{x}^{\mathrm{\&alpha;}-1}\exp -(\mathrm{\&beta;x}+\frac{\mathrm{\&gamma;}}{x}),$

并且其中K_α是修改的第二类贝塞尔(Bessel)函数并且x、β和γ是非负标量。在GIG分布下，

$<x>=\frac{K_{\mathrm{\&alpha;}+1}\left(2\sqrt{\mathrm{\&beta;\&gamma;}}\right)}{K_{\mathrm{\&alpha;}}\left(2\sqrt{\mathrm{\&beta;\&gamma;}}\right)}\sqrt{\frac{\mathrm{\&gamma;}}{\mathrm{\&beta;}}}---\left(13\right)$

${<x^{-1}>}^{-1}=\frac{K_{\mathrm{\&alpha;}}\left(2\sqrt{\mathrm{\&beta;\&gamma;}}\right)}{K_{\mathrm{\&alpha;}-1}\left(2\sqrt{\mathrm{\&beta;\&gamma;}}\right)}\sqrt{\frac{\mathrm{\&gamma;}}{\mathrm{\&beta;}}}.---\left(14\right)$

对于任何α，K_α+1(x)＝2(α/x)K_α(x)+K_α-1(x)，这导致了以下另选的、有效实现的表达式：

$<x^{-1}>=\frac{K_{\mathrm{\&alpha;}+1}\left(2\sqrt{\mathrm{\&beta;\&gamma;}}\right)}{K_{\mathrm{\&alpha;}}\left(2\sqrt{\mathrm{\&beta;\&gamma;}}\right)}\sqrt{\frac{\mathrm{\&beta;}}{\mathrm{\&gamma;}}}-\frac{\mathrm{\&alpha;}}{\mathrm{\&gamma;}}.---\left(15\right)$

界限的优化

我们给出界限的各种参数的条件更新。下面描述更新顺序。

更新

调整参数ν

${\mathrm{\&phi;}}_{\mathrm{fkn}}=\frac{w_{\mathrm{fk}}{<h_{\mathrm{kn}}^{-1}>}^{-1}}{\underset{j}{\mathrm{\&Sigma;}}{w}_{\mathrm{fi}}{<h_{\mathrm{jn}}^{-1}>}^{-1}},---\left(16\right)$

${\mathrm{\&psi;}}_{\mathrm{fn}}=\underset{j}{\mathrm{\&Sigma;}}{w}_{\mathrm{fj}}<h_{\mathrm{ij}}>,---\left(17\right)$

$v_{\mathrm{ijn}}=\frac{a_{\mathrm{ij}}{<h_{j(n-1)}^{-1}>}^{-1}}{\underset{k}{\mathrm{\&Sigma;}}{a}_{\mathrm{ik}}{<h_{k(n-1)}^{-1}>}^{-1}},$ 以及          (18)

${\mathrm{\&rho;}}_{\mathrm{in}}=\underset{j}{\mathrm{\&Sigma;}}{a}_{\mathrm{ij}}<h_{j(n-1)}>---\left(19\right)$

变分分布q

感兴趣的参数

$w_{\mathrm{fk}}=\sqrt{\frac{\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&phi;}}_{\mathrm{fkn}}^2{v}_{\mathrm{fn}}<h_{\mathrm{kn}}^{-1}>}{\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&psi;}}_{\mathrm{fn}}^{-1}<h_{\mathrm{kn}}>}}---\left(20\right)$

$a_{\mathrm{ij}}=\sqrt{\frac{{\mathrm{\&beta;}}_i\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}{v}_{\mathrm{ijn}}^2<h_{\mathrm{in}}><h_{j(n-1)}^{-1}>}{{\mathrm{\&alpha;}}_i\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}_{\mathrm{in}}^{-1}<h_{j(n-1)}>}}---\left(21\right)$

${\mathrm{\&beta;}}_i={\mathrm{\&alpha;}}_i(N-1){\left(\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}\frac{<h_{\mathrm{in}}>}{\underset{j}{\mathrm{\&Sigma;}}{a}_{\mathrm{ij}}{<h_{j(n-1)}^{-1}>}^{-1}}\right)}^{-1}---\left(22\right)$

更新顺序

我们通过ξ_n(即，ξ_n＝{{φ_fkn}_fk,{ν_ijn}_ij,{ρ_in}_i,{ψ_fn}_f})来表示对于帧n的调整参数的集合。

如图2所示，更新230的以下顺序导致了有效实现。

在迭代(l)时执行

对于n＝1,...,N，

根据[q(h_n-1)]^(l)、[q(h_n)]^(l-1)、[q(h_n+1)]^(l-1)、W^(l-1)、A^(l-1)、β^(l-1)来更新231激活参数[q(h_n)]^(l)。

更新

根据W^(l-1)、[q(H)]^(l)、ξ^(2l-1)来更新232基函数W^(l)。

根据A^(l-1)、β^(l-1)、[q(H)]^(l)、ξ^(2l-1)来更新233转移矩阵A^(l)。

更新调整参数ξ^(2l)

根据所述转移矩阵A^(l)和所述激活参数[q(H)]^(l)来更新234伽玛分布参数β^(l)。

根据该更新顺序，VB-EM过程为：

更新q(H)。

更新W、A、β

$w_{\mathrm{fk}}=w_{\mathrm{fk}}\sqrt{\frac{\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{<h_{\mathrm{kn}}^{-1}>}^{-1}{v}_{\mathrm{fn}}{\left[\underset{j}{\mathrm{\&Sigma;}}{w}_{\mathrm{fj}}{<h_{\mathrm{jn}}^{-1}>}^{-1}\right]}^{-2}}{\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}<h_{\mathrm{kn}}>{[\underset{j}{\mathrm{\&Sigma;}}{w}_{\mathrm{fj}}<h_{\mathrm{jn}}>]}^{-1}}}$

$a_{\mathrm{ij}}=a_{\mathrm{ij}}\sqrt{\frac{{\mathrm{\&beta;}}_i\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}{<h_{j(n-1)}^{-1}>}^{-1}<h_{\mathrm{in}}>{\left[\underset{k}{\mathrm{\&Sigma;}}{a}_{\mathrm{ik}}{<h_{k(n-1)}^{-1}>}^{-1}\right]}^{-2}}{{\mathrm{\&alpha;}}_i\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}<h_{j(n-1)}>{[\underset{k}{\mathrm{\&Sigma;}}{a}_{\mathrm{ik}}<h_{k(n-1)}>]}^{-1}}}$

${\mathrm{\&beta;}}_i={\mathrm{\&alpha;}}_i(N-1){\left(\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}\frac{<h_{\mathrm{in}}>}{\underset{j}{\mathrm{\&Sigma;}}{a}_{\mathrm{ij}}{<h_{j(n-1)}^{-1}>}^{-1}}\right)}^{-1}$

确定界限

$\begin{array}{c}{B}_{q,\mathrm{\&xi;}}(W,A,\mathrm{\&beta;})=\\ \underset{\mathrm{fn}}{\mathrm{\&Sigma;}}(\log \underset{j}{\mathrm{\&Sigma;}}{w}_{\mathrm{fj}}<h_{\mathrm{jn}}>+\frac{v_{\mathrm{fn}}}{\underset{j}{\mathrm{\&Sigma;}}{w}_{\mathrm{fj}}{<h_{\mathrm{jn}}^{-1}>}^{-1}})\\ +\underset{n=2}{\overset{N}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_i\log \underset{j}{\mathrm{\&Sigma;}}{a}_{\mathrm{ij}}<h_{j(n-1)}>+{\mathrm{\&beta;}}_i\frac{<h_{\mathrm{in}}>}{\underset{j}{\mathrm{\&Sigma;}}{a}_{\mathrm{ij}}{<h_{j(n-1)}^{-1}>}^{-1}})\\ +(N-1)\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}(\log \mathrm{\&Gamma;}\left({\mathrm{\&alpha;}}_i\right)-{\mathrm{\&alpha;}}_i\log {\mathrm{\&beta;}}_i)\\ -\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}({\stackrel{\&OverBar;}{\mathrm{\&alpha;}}}_{\mathrm{in}}\log \sqrt{\frac{{\stackrel{\&OverBar;}{\mathrm{\&gamma;}}}_{\mathrm{in}}}{{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{in}}}}+\log K_{\mathrm{\&alpha;}}\left(2\sqrt{{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{in}}{\stackrel{\&OverBar;}{\mathrm{\&gamma;}}}_{\mathrm{in}}}\right)+{\stackrel{\&OverBar;}{\mathrm{\&beta;}}}_{\mathrm{in}}<h_{\mathrm{in}}>+{\stackrel{\&OverBar;}{\mathrm{\&gamma;}}}_{\mathrm{in}}<h_{\mathrm{in}}^{-1}>)-\mathrm{KN}\log 2\end{array}$

使用动态模型的语音去噪

如针对一个实施方式的图3中所示，我们使用我们的方法和模型用于语音增强(例如，去噪)。我们通过估计关于如以上描述的某些语音(音频)训练数据305的基(bases)W和转移矩阵A来构造我们的针对语音306的模型参数101。我们将训练基和转移矩阵表示为W^(s)和A^(s)，其中(s)是语音。

同样地，我们使用基W⁽ⁿ⁾和转移矩阵A⁽ⁿ⁾来构造噪声模型307，并且通过将W^(s)和W⁽ⁿ⁾连接(concatenate)成W＝[W^(s),W⁽ⁿ⁾]以及将A^(s)和A⁽ⁿ⁾连接成A来将这两个模型306-307组合成单个模型300，其中A是在对角线上具有A^(s)和A⁽ⁿ⁾的块对角矩阵。

我们还可以训练关于某些噪声训练数据的噪声，或者我们可以固定所述模型的语音部分，并且训练关于测试数据的噪声部分，因此使所述噪声部分成为收集不能够由语音模型建模的信号的部分的一般模型。所述语音模型的最简单的版本对于噪声使用单个基，并且将单位矩阵用作转移矩阵A。

在构造了模型300之后，我们可以使用该模型来增强输入音频信号x 301。我们确定310时间-频率特征表示。我们估计320模型300的改变的参数，即，对于所述语音的激活矩阵H^(s)和对于噪声(n)的H⁽ⁿ⁾以及对于所述噪声的基W⁽ⁿ⁾和转移矩阵A⁽ⁿ⁾。

因此，我们使用下式来获得组合语音W^(s)H^(s)和噪声W⁽ⁿ⁾H⁽ⁿ⁾的单个模型，我们然后使用所述单个模型来重构330增强的语音340的复STFT：

${\hat{x}}_{\mathrm{fn}}=\frac{\underset{k}{\mathrm{\&Sigma;}}{w}_{\mathrm{fk}}^{\left(s\right)}{H}_{\mathrm{kn}}^{\left(x\right)}}{\underset{k}{\mathrm{\&Sigma;}}{W}_{\mathrm{fk}}^{\left(s\right)}{H}_{\mathrm{kn}}^s+\underset{k}{\mathrm{\&Sigma;}}{W}_{\mathrm{fk}}^{\left(n\right)}{H}_{\mathrm{kn}}^{\left(n\right)}}{x}_{\mathrm{fn}}.---\left(23\right)$

可以使用常规重叠相加(overlap-add)方法来重构时域信号，所述常规重叠相加方法使用有限脉冲响应滤波器来评估很长的输入信号的离散卷积。

扩展

还可以基于上述实施方式来生成其它复杂的模型。

狄利克雷(Dirichlet)创新

代替将创新随机变量ε_n认为是伽玛分布的，所述创新可以是狄利克雷分布的，这与激活参数h_n的归一化相似。

像HMM的行为

我们可以在推断期间将h_n约束为1稀疏(1-sparse)。

结构化的变分推断

常规的变分推断假定变分后验概率q(h_n)彼此无关，考虑到h_n与h_n-1之间的强的依赖关系，这很可能是非常错误的。我们可以根据q(h_n|h_n-1)对所述后验概率进行建模。这样的q分布的一种可能性使用具有依赖于Ah_n-1的参数的GIG分布。

创新的伽玛分布

关于公式(6)中的复STFT系数的复高斯模型相当于假定功率因参数WH而是指数分布的。我们可以通过假定功率是伽玛分布来扩展所述模型，因此导致用于复系数的环形(donut-shaped)分布。

创新随机变量的全协方差

在线性动态系统中，创新随机变量可以具有全协方差(full-covariance)。对于正随机变量，用来包括相关性的一种方式是使用非负矩阵来变换独立的随机向量。这导致了模型

h_n＝(Ah_n-1)o(Bf_n)，

其中f_n是大小为J×1的非负随机向量并且B是维度为K×J的非负矩阵。当B＝I_K×K时，这简化为f_n＝ε_n。这可以通过将参数设置为以下因式分解形式以模型的更一般的形式来实现_：c_i,j,l＝a_i,jb_i,l，其中a_i,j是A的元素，并且b_i,l是B的元素。

转移创新

使用独立的创新随机变量对h_n和h_n-1的分量中的每一个之间的转移进行建模也可能是有用的。这类似于在离散马尔可夫模型中使用狄利克雷先验概率。一种方法将容许h_n＝(AoE_n)h_n-1，其中E_n是维度为K×K的非负创新矩阵。这可以通过设置参数c_i,j,l＝δ(m(i,j),l)a_i,j以模型的更一般的形式来实现，其中a_i,j是A的元素并且m(i,j)是从i和j的每个组合到与l对应的索引的一对一映射。此外，E_n的第i、j个元素是ε_m(i,j),n。

考虑除伽玛之外的其它创新类型

对数正态泊松(Poisson)分布导致了另外不同类型的动态系统。

考虑其它发散

我们到目前为止仅考虑了Itakura-Saito发散。我们还可以对于h_n|h_n-1以及对于v|h使用KL发散和不同的发散。

实时过程

对于实时的应用，仅使用直到当前时间的信号，例如，仅激活矩阵H被估计的应用或者所有参数被优化的另一应用。在所述另一应用中，我们可以使用预训练基W和转移矩阵A来执行“热”启动。

多通道版本

因为我们的模型依赖于涉及复STFT系数的生成模型，所以可以将所述模型扩展到多通道应用。本设置方面的优化涉及混合系统与源NMF过程之间的EM更新。

本发明的效果

本发明的实施方式提供了用于处理非平稳信号特别是与噪声混合的语音信号的非负线性动态系统模型。在语音分离和语音去噪的情况下，我们的模型实时适应于信号动力学，并且实现了比常规方法更好的性能。

用于信号动力学的常规模型经常使用隐马尔可夫模型(HMM)或非负矩阵因式分解(NFM)。HMM由于离散状态空间而导致组合的问题，尤其对于来自若干个源的混合信号是计算复杂的，并且使得难以处理增益自适应。NMF解决了计算复杂性问题和增益自适应问题二者。然而，NMF没有利用信号的过去的观测结果来对该信号的将来的观测结果进行建模。对于具有可预测的动力学的信号，这很可能是次优的。

我们的模型具有HMM和NMF二者的优点。所述模型的特征是连续的非负状态空间。在推断期间自动处理增益自适应。所述推断的复杂性在信号源的数目上是线性的，并且通过线性转移矩阵来对动力学进行建模。

Claims (22)

1.一种用于变换输入信号的方法，所述方法包括以下步骤：

将所述输入信号的模型的参数存储到存储器中；

接收所述输入信号作为特征向量的序列；

使用特征向量的所述序列和所述参数来推断隐变量的向量的序列，其中，对于每个特征向量x_n，存在隐变量h_i,n的至少一个向量h_n，并且其中，每个隐变量非负；

使用所述特征向量、隐变量的所述向量和所述参数来生成与所述输入信号对应的输出信号，

其中，每个特征向量x_n依赖于相同n的所述隐变量h_i,n中的至少一个，并且所述隐变量根据相关，其中j和l是求和索引，所述参数包括非负权重c_i,j,l，并且ε_l,n是独立的非负随机变量，其中，所述步骤在处理器中执行。

2.根据权利要求1所述的方法，其中，c_i,j,l＝δ(i,l)a_i,j，其中a_i,j是非15负标量，并且其中δ是克罗内克符号，使得

$h_{i,n}=\left(\underset{j}{\mathrm{\&Sigma;}}{a}_{i,j}{h}_{j,n-1}\right){\mathrm{\&epsiv;}}_{i,n}.$

3.根据权利要求1所述的方法，其中，c_i,j,l＝δ(m(i,j),l)a_i,j，其中a_i,j是非负标量，δ是克罗内克符号，并且m(i,j)是从i和j的每个组合到与l对应的索引的一对一映射，使得 $h_{i,n}=\underset{j}{\mathrm{\&Sigma;}}{a}_{i,j}{\mathrm{\&epsiv;}}_{m(i,j),n}{h}_{j,n-1}.$

4.根据权利要求1所述的方法，其中，所述随机变量ε_l,n是伽玛分布的。

5.根据权利要求1所述的方法，其中，在所述推断期间使用的观测模型至少部分基于 $v_{f,n}=\underset{j}{\mathrm{\&Sigma;}}{c}_{f,i,l}^{\left(v\right)}{h}_{i,n}{\mathrm{\&epsiv;}}_{l,n}^{\left(v\right)},$ 其中是非负标量，并且是独立的非负随机变量，v_f,n是所述输入信号在帧n和特征f处的非负特征，并且j和l是索引。

6.根据权利要求5所述的方法，其中，其中w_f,i是非负标量，其中δ克罗内克符号，并且是伽玛分布的随机变量，使得所述观测模型至少部分

基于

$p\left(v_{f,n}\right|h_n)=\mathrm{Gamma}\left(v_{f,n}\right|{\mathrm{\&alpha;}}^{\left(v\right)},{\mathrm{\&beta;}}^{\left(v\right)}/\underset{i}{\mathrm{\&Sigma;}}{w}_{f,i}{h}_{i,n}),$

其中v_f,n是所述输入信号在帧n处的非负特征，f是频率，Gamma(.|a,b)是具有形状参数a和逆尺度参数b的伽玛分布，α^(v)和β^(v)是正标量，并且w_f,i是非负标量。

7.根据权利要求5所述的方法，所述方法还包括以下步骤：

获得所述特征向量x_f,n作为所述输入信号的复谱图，其中x_f,n是所述复谱图的对于帧n和频率f的值，以及

确定非负特征v_f,n＝|x_f,n|²作为在帧n和频率f下的功率，使得所述观测模型至少部分基于其中是单位虚数，并且θ_f,n是表示对于所述帧n和所述频率f的相位的随机变量。

8.根据权利要求6所述的方法，所述方法还包括以下步骤：

设置所述参数α^(v)＝1，并且其中θ_f,n是均匀分布的随机相位变量，使得 $p\left(x_{f,n}\right|h_n)=N_c(0,\underset{i}{\mathrm{\&Sigma;}}{w}_{f,i}{h}_{i,n}),$ 其中N_C是复高斯分布。

9.根据权利要求1所述的方法，其中，所述推断使用最大后验估计。

10.根据权利要求1所述的方法，其中，所述推断使用变分贝叶斯方法。

11.根据权利要求1所述的方法，其中，所述推断是自适应的，并且对所述输入信号实时执行所述推断。

12.根据权利要求1所述的方法，其中，所述输入信号从多个通道同时接收。

13.根据权利要求1所述的方法，其中，在所述推断期间使用的观测模型至少部分基于

$u_{i^{\&prime;},n}=\underset{i}{\mathrm{\&Sigma;}}{c}_{i^{\&prime;},i,l}^{\left(u\right)}{h}_{i,n}{\mathrm{\&epsiv;}}_{l^{\&prime;},n}^{\left(u\right)},$ 以及

$v_{f,n}=\underset{i^{\&prime;}}{\mathrm{\&Sigma;}}{c}_{f,i^{\&prime;},l}^{\left(v\right)}{u}_{i^{\&prime;},n}{\mathrm{\&epsiv;}}_{l^{\&prime;\&prime;},n}^{\left(v\right)},$ 其中

和是非负标量，并且和是独立的非负随机变量，并且i、i’、l’、l”、f和n是索引。

14.根据权利要求1所述的方法，其中，所述隐变量h_i,n被划分成S个组，并且所述非负随机变量ε_l,n各自与所述组中的一个关联，其中，当h_i,n和h_j,n、或者h_i,n和ε_l,n在不同的组中时，c_i,j,l＝0。

15.根据权利要求1所述的方法，其中，所述模型是动态的，并且所述输入信号是非平稳的。

16.根据权利要求1所述的方法，所述方法还包括以下步骤：

在所述推断期间实时适应于所述输入信号的增益。

17.根据权利要求1所述的方法，其中，所述输入信号是语音和噪声的混合信号，并且所述输出信号是增强的语音信号。

18.根据权利要求1所述的方法，其中，所述参数包括基函数W、转移矩阵A、激活矩阵H、固定形状参数α、连续伽玛分布参数的逆尺度参数β及其各种组合。

19.根据权利要求18所述的方法，其中，更新H和β是可选的。

20.根据权利要求18所述的方法，其中，更新β在由所述推断使用的最大后验估计中是可选的。

21.根据权利要求1所述的方法，其中，所述输入信号由单个传感器从多个源同时接收。

22.根据权利要求18所述的方法，其中，在变分贝叶斯方法中使用H的后验分布。