CN105706122A - 模型估计设备、模型估计方法和模型估计程序 - Google Patents

Abstract

一种模型估计设备(100)包括：隐藏变量变分概率计算处理单元(104)，用于获得隐藏变量模型中的参数并且通过这些参数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概率；模型参数优化处理单元(105)，用于通过受约束隐藏变量变分概率的使用来优化隐藏变量模型的参数；以及最优性确定处理单元(106)，用于确定使用被优化的参数的边际化对数似然函数是否被收敛，其中在确定边际化对数似然函数被收敛时，用于边际化对数似然函数的受约束隐藏变量变分概率和参数被输出。

Description

模型估计设备、模型估计方法和模型估计程序

技术领域

本发明涉及一种用于在多变量数据上估计受约束隐藏变量模型的模型估计设备、一种模型估计方法和一种模型估计程序。具体而言，本发明涉及一种用于通过近似模型后验概率并且最大化它的下界来在多变量数据上估计受约束隐藏变量模型的模型估计设备、一种模型估计方法和一种模型估计程序。

背景技术

数据、诸如从车辆获取的传感器数据、经销商的销售业绩以及电力需求历史被累计作为由不止一个因素而是各种因素生成的观测值的数据。例如，车辆传感器数据根据行驶模式而改变。分析引起这样的数据的因素，从而分析结果的用户可以分析车辆故障原因以由此实现快速修理、可以分析在销售与天气/时间之间的相关性以由此减少缺货或者囤积、可以知道电力需求模式以由此消除过量或者不足、或者可以实现工业上重要的被应用的技术。附加地，如果可以分析如何切换多个因素，用户可以与按因素获取的发现相组合地做出预测、或者可以使用切换规则作为营销的知识，由此实现更复杂的被应用的技术。

通常在建模时使用混合式隐藏变量模型、以便按因素分离由多个因素引起的数据，并且提出了分层隐藏变量模型(例如参见非专利文献1)作为包括切换规则的模型。需要确定隐藏状态的数目、观测概率分布类型和分布参数以便利用该模型。作为用于估计它们的方法，提出了EM算法(例如参见非专利文献2)、变分贝叶斯法(例如参见非专利文献3)、因式分解的渐进贝叶斯法(例如参见非专利文献4)等。

引用列表

非专利文献

非专利文献1：C.Bishop.,SvensknM.,“Bayesianhierarchicalmixturesofexperts”,ProceedingsoftheNineteenthconferenceonUncertaintyinArtificialIntelligence,2002,p57-64

非专利文献2：Neal,RadfordM.,andGeoffreyE.Hinton.,“AviewoftheEMalgorithmthatjustifiesincremental,sparse,andothervariants.”,Learningingraphicalmodels.SpringerNetherlands,1998,p355-368

非专利文献3：Beal,M.J.,“VariationalAlgorithmsforApproximateBayesianInference”,PhDthesis,UniversityCollegeLondon,2003,p44-81

非专利文献4：RyoheiFujimaki,SatoshiMorinaga:FactorizedAsymptoticBayesianInferenceforMixtureModeling.ProceedingsofthefifteenthinternationalconferenceonArtificialIntelligenceandStatistics(AISTATS),2012.

发明内容

技术问题

在对隐藏变量假设任何结构的模型、诸如分层隐藏变量模型中的问题是：如果不能良好地估计该结构，则不能良好地应用多个被估计的模式并且明显地降低恶化整个模型的准确性。

因此本发明的目的是提供一种能够准确估计隐藏变量模型的模型估计设备、一种模型估计方法和一种模型估计程序。

对问题的解决方案

本发明的一种模型估计设备包括：隐藏变量变分概率计算处理单元，用于获取隐藏变量模型的参数并且通过参数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概率；模型参数优化处理单元，用于通过受约束隐藏变量变分概率的使用来优化隐藏变量模型的参数；以及最优性确定处理单元，用于确定使用被优化的参数的边际化对数似然函数是否被收敛，其中在确定边际化对数似然函数未被收敛时，隐藏变量变分概率计算处理单元通过被优化的参数的使用来重新计算受约束隐藏变量变分概率，模型参数优化处理单元通过计算出的受约束隐藏变量变分概率的使用来重新优化隐藏变量模型的参数，以及在确定边际化对数似然函数被收敛时，用于边际化对数似然函数的受约束隐藏变量变分概率和参数被输出。

本发明的一种模型估计方法包括以下步骤：获取隐藏变量模型的参数并且通过参数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概率；通过受约束隐藏变量变分概率的使用来优化隐藏变量模型的参数；确定使用被优化的参数的边际化对数似然函数是否被收敛，在确定边际化对数似然函数未被收敛时，通过被优化的参数的使用来重新计算受约束隐藏变量变分概率，通过计算出的受约束隐藏变量变分概率的使用来重新优化隐藏变量模型的参数，以及在确定边际化对数似然函数被收敛时，输出用于边际化对数似然函数的受约束隐藏变量变分概率和参数。

本发明的一种模型估计程序，用于使得计算机执行：隐藏变量变分概率计算处理，所述隐藏变量变分概率计算处理获取隐藏变量模型的参数并且通过参数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概率；通过受约束隐藏变量变分概率的使用来优化隐藏变量模型的参数；确定使用被优化的参数的边际化对数似然函数是否被收敛，在确定边际化对数似然函数未被收敛时，隐藏变量变分概率计算处理通过被优化的参数的使用来重新计算受约束隐藏变量变分概率，模型参数优化处理通过计算出的受约束隐藏变量变分概率的使用来重新优化隐藏变量模型的参数，以及在确定边际化对数似然函数被收敛时，输出用于边际化对数似然函数的受约束隐藏变量变分概率和参数。

本发明的有利效果

根据本发明，可以准确估计隐藏变量模型。

附图说明

[图1]它描绘了图示根据本发明的第一示例性实施例的模型估计设备的示例性结构的框图。

[图2]它描绘了图示隐藏变量变分概率计算处理单元的示例性结构的框图。

[图3]它描绘了图示根据本发明的第一示例性实施例的模型估计设备的示例性操作的流程图。

[图4]它描绘了图示根据第一示例性实施例的隐藏变量变分概率计算处理单元的示例性操作的流程图。

[图5]它描绘了图示根据本发明的第二示例性实施例的模型估计设备的示例性结构的框图。

[图6]它描绘了图示根据第二示例性实施例的示例性隐藏变量变分概率计算处理单元的框图。

[图7]它描绘了图示示例性门函数优化处理单元的框图。

[图8]它描绘了图示根据本发明的第二示例性实施例的模型估计设备的示例性操作的流程图。

[图9]它描绘了图示隐藏变量变分概率计算处理单元的示例性操作的流程图。

[图10]它描绘了图示门函数优化处理单元的示例性操作的流程图。

[图11]它描绘了图示根据本发明的模型估计设备中的主要部件的结构的框图。

具体实施方式

以下将描述一种用于估计受约束隐藏变量模型的模型估计设备。在下文中，所有观测变量和所有隐藏变量将分别统一地被表示为X和Z。假设观测样本的数目为N，观测变量被假设为X＝(x1,···,xN)。假设隐藏状态的数目为C，与观测变量xn对应的隐藏变量被假设为zn＝(zn1,··,znC)或者Z＝(z1···,zC)。与隐藏状态c对应的观测变量的概率分布被假设为p_c(X|θc)。θ是用于确定概率分布的参数，并且在确定概率变量的类型和参数θ时，确定该参数的分布形状。如在方程式(1)中那样表示隐藏变量先验分布。

[数学公式1]

$p_z\left(Z\right|\mathrm{\Φ})={\Σ}_{c=1}^c{p}_z\left(z_c\right|\mathrm{\Φ})---\left(1\right)$

假设X的边际分布为p(X|Θ,Φ)，并且假设X和Z的联合分布为p(X,Z|Θ,Φ)。这里假设Θ＝(θ1,…,θC)并且Φ是隐藏变量先验分布的参数。隐藏变量变分概率被假设为q(Z)。

根据在本说明书中的第一示例性实施例，假设如下来描述过程：模型估计设备通过EM算法的使用来估计典型受约束隐藏变量模型，但是即使模型估计设备采用另一种估计方法、诸如变分贝叶斯方法或者因式分解的渐进贝叶斯方法，也可以容易地实现相似的函数。根据第二示例性实施例，假设如下来描述过程：模型估计设备具体地通过因式分解的渐进贝叶斯方法的使用来估计深度为2的分层隐藏变量模型。在本说明书中描述了目标变量X的分布，但是该分布在观测分布是回归的或者判别的时可以被应用于条件模型p(Y|X)(Y是目标概率变量)。

第一示例性实施例

在假设用于隐藏变量的任何结构的模型、诸如隐藏变量模型中，考虑被假设的用于隐藏变量的结构被认为是明显地重要的，但是利用在非专利文献1至非专利文献4中描述的技术，隐藏变量后验概率的结构在被估计时没有被认为是约束。因此，可能计算出与该结构可以被表达的概率相偏离的后验概率。因而，问题在于不能良好地估计隐藏变量结构并且降低估计整个模型的准确性。根据本示例性实施例，考虑如下约束：隐藏变量后验概率与在被估计时的分布接近。由此，可以计算出针对其可以容易地表达隐藏变量结构的后验概率、因而由此增强估计整个模型的准确性。

图1是图示根据本示例性实施例的模型估计设备的示例性结构的框图。如图1中所示，根据本示例性实施例的模型估计设备100包括数据输入设备101、隐藏状态数目设置单元102、初始化处理单元103、隐藏变量变分概率计算处理单元104、模型参数优化处理单元105、最优性确定处理单元106、最优模型选择处理单元107和模型估计结果输出设备108。模型估计设备100获取输入数据111、优化输入数据111中的隐藏状态以及对应的模型参数、并且输出模型估计结果112。

图1中所示结构中的每个部件由信息处理设备、诸如设计为执行一系列具体计算处理的硬件或者根据程序操作的中央处理单元(CPU)实现。程序被存储在计算机可读非瞬态信息存储介质中。

输入设备101用于获取输入数据111、并且同时获取为了在此时估计模型需要的参数。输入数据111包括隐藏状态的数目的候选、观测概率类型(诸如正态分布或者泊松分布)、分量的数目的候选等。

隐藏状态数目设置单元102从隐藏状态的数目的被获取的候选值之中选择和设置非优化的隐藏状态的数目。

初始化处理单元103执行用于估计的初始化处理。可以用任何方式执行初始化。举例而言，随机地设置模型参数或者随机地设置受约束隐藏变量变分概率。

隐藏变量变分概率计算处理单元104通过被获取的模型参数的使用来计算受约束隐藏变量变分概率。受约束隐藏变量变分概率是具有受约束结构的隐藏变量后验概率的近似值。用于该计算的模型参数Θ和Φ是由初始化处理单元103初始化的值或者由模型参数优化处理单元105计算的值。隐藏变量变分概率计算处理单元104例如通过詹森不方程式(Jensen’sinequality)的使用来计算边际化对数似然函数的下界。隐藏变量变分概率计算处理单元104计算受约束隐藏变量变分概率q(Z)，该受约束隐藏变量变分概率q(Z)增加下界和逼近给定的分布。

受约束隐藏变量变分概率q(Z)被计算为以这一方式逼近给定的分布从而成为受结构约束的概率。在以下描述中，受约束隐藏变量变分概率可以简单地被表示为变分概率或者隐藏变量变分概率。另外，边际化对数似然函数可以简单地被表示为边际化对数似然度。

具体地如在方程式(2)中那样表达边际化对数似然函数的下界。隐藏变量变分概率计算处理单元104计算q(Z)的存在范围Q^(t)，在该存在范围中下界L(q,Θ,Φ)被增加。t指示隐藏变量变分概率计算处理单元104、模型参数优化处理单元105和最优性确定处理单元106中的被重复的计算的重复数目。也就是，q^(t)是第t次计算出的变分概率。

[数学公式2]

隐藏变量变分概率计算处理单元104例如在以下过程中计算q^(t)(Z)。隐藏变量变分概率计算处理单元104基于如下事实来计算如在方程式(3)中指示的解析解q^(t) _opt(Z)，该事实是边际化对数似然度logp(X|Θ,Φ)与L(q,Θ,Φ)之差是q(Z)与隐藏变量后验概率p(Z|X,Θ,Φ)之间的KL散度。

[数学公式3]

$q_{opt}^{\left(t\right)}\left(Z\right)p\left(Z\right|X,{\mathrm{\Θ}}^{(t-1)},{\mathrm{\Φ}}^{(t-1)})---\left(3\right)$

具有端点q^(t) _opt(Z)和q^(t-1)(Z)的线段是Q^(t)的一部分。隐藏变量变分概率计算处理单元104然后如在方程式(4)中那样采用如下值作为q^(t)(Z)，该值用于利用从Q^(t)给定的分布p_con来最小化距离函数D。给定的分布例如是隐藏变量先验分布p_z(Z|Φ)，而D例如指示2范数。

[数学公式4]

$q^{\left(t\right)}\left(Z\right)=\underset{\hat{q}\∈Q^{\left(t\right)}}{\arg \min }D(\hat{q},p_{con})---\left(4\right)$

图2是图示隐藏变量变分概率计算处理单元104的示例性结构的框图。隐藏变量变分概率计算处理单元104可以例如包括如图2中所示的变分问题解空间计算处理单元104-1和受约束变分问题计算处理单元104-2。隐藏变量变分概率计算处理单元104输入该输入数据111和估计模型104-3、并且输出受约束隐藏变量变分概率104-4。

在如图2中所示的那样配置隐藏变量变分概率计算处理单元104时，将描述由变分问题解空间计算处理单元104-1和受约束变分问题计算处理单元104-2执行的一系列处理。首先，变分问题解空间计算处理单元104-1获取输入数据111和估计模型104-3，并且计算用于增加边际化对数似然度的下界L(q,Θ,Φ)的、隐藏变量变分概率的存在范围Q^(t)。受约束变分问题计算处理单元104-2然后从Q^(t)中的计算与先前给定的分布p_con最接近的受约束隐藏变量变分概率104-4(q^(t)(Z))。

模型参数优化处理单元105如在方程式(5)中那样通过计算出的受约束隐藏变量变分概率的使用来优化每个分量的模型参数Θ和隐藏变量先验概率的参数Φ。

[数学公式5]

${\mathrm{\Θ}}^{\left(t\right)},{\mathrm{\Φ}}^{\left(t\right)}=\underset{\widehat{\mathrm{\Θ}},\widehat{\mathrm{\Φ}}}{\arg \max }\underset{Z}{\Σ}{q}^{(t-1)}\left(z\right)\log p(X,Z|\widehat{\mathrm{\Θ}},\widehat{\mathrm{\Φ}})---\left(5\right)$

最优性确定处理单元106确定在方程式(6)中计算出的使用被优化的模型参数的边际化对数似然度logp(X|Θ,Φ)是否被收敛。在它未被收敛时，模型估计设备100反复地执行隐藏变量变分概率计算处理单元104、模型参数优化处理单元105和最优性确定处理单元106中的处理。

[数学公式6]

$\log p\left(X\right|\mathrm{\Θ},\mathrm{\Φ})=\underset{Z}{\Σ}\underset{c=1}{\overset{C}{\Π}}{p}_c\left(X\right|{\mathrm{\θ}}_c)p_z\left(z_c\right|\mathrm{\Φ})---\left(6\right)$

在隐藏变量变分概率计算处理单元104、模型参数优化处理单元105和最优性确定处理单元106的一系列处理中计算出的边际化对数似然度logp(X|Θ,Φ)大于当前设置的边际化对数似然度时，最优模型选择处理单元107设置由边际化对数似然度logp(X|Θ,Φ)指示的模型作为最优模型。在完成针对隐藏状态的数目C的所有候选值的模型优化时，处理行进到模型估计结果输出设备108，并且在非优化的候选存在时，处理行进到隐藏状态数目设置单元102。

模型估计结果输出设备108输出包括被优化的隐藏变量变分概率和模型参数的模型估计结果作为模型估计结果112。

根据本示例性实施例的模型估计设备100反复地执行隐藏变量变分概率计算处理单元104、模型参数优化处理单元105和最优性确定处理单元106中的一系列处理，并且更新受结构约束的变分概率和模型参数、由此选择适当的模型。保证logp(X|Θ,Φ)随着重复而单调地增加。

图3是图示根据第一示例性实施例的模型估计设备的示例性操作的流程图。以下将操作图3示意地描述根据本示例性实施例的模型估计设备100的操作。

首先，数据输入设备101输入该输入数据111(步骤S100)。

然后，隐藏状态数目设置单元102从被获取的隐藏状态的数目的候选值之中选择和设置非优化隐藏状态的数目(步骤S101)。

初始化处理单元103然后执行初始化参数或者隐藏变量变分概率的处理以用于对被指定的隐藏状态的数目的估计(步骤S102)。

隐藏变量变分概率计算处理单元104然后计算每个隐藏变量变分概率(步骤S103)。

模型参数优化处理单元105然后估计模型参数(步骤S104)。

最优性确定处理单元106然后确定边际化对数似然度logp(X|Θ,Φ)是否被收敛(最优)(步骤S105)。

在步骤S105中确定边际化对数似然度未被收敛时，模型估计设备100反复地执行步骤S103至步骤S105中的一系列处理。

在步骤S105中确定边际化对数似然度被收敛时，最优模型选择处理单元107比较当前设置的最优模型的边际化对数似然度logp(X|Θ,Φ)与计算出的最优模型的边际化对数似然度logp(X|Θ,Φ)的值、并且将更大值设置为最优模型(步骤S106)。

模型估计设备100然后确定是否剩下隐藏状态的数目的未被估计的候选(步骤S107)。在剩下隐藏状态的数目的未被估计的候选时，模型估计设备100反复地执行步骤S101至步骤S107中的一系列处理。

在未剩下隐藏状态的数目的未被估计的候选时，模型估计结果输出设备108输出包括被优化的变分概率和模型参数的模型估计结果112(步骤S108)。

图4是图示隐藏变量变分概率计算处理单元104的示例性操作的流程图。将参照图4示意地描述根据本示例性实施例的隐藏变量变分概率计算处理单元104的操作。

首先，变分问题解空间计算处理单元104-1计算用于增加边际化对数似然度的下界L(q,Θ,Φ)的、q(Z)的存在范围Q^(t)(步骤S111)。

受约束变分问题计算处理单元104-2然后从Q^(t)中计算与先前给定的分布p_con最接近的受约束隐藏变量变分概率q^(t)(Z)(步骤S112)。

根据本示例性实施例的模型估计设备100考虑如下约束：隐藏变量后验概率(受约束隐藏变量变分概率)与在被估计时的分布接近。由此，模型估计设备100可以计算针对其容易地表达隐藏变量的结构的后验概率、由此因而增强估计整个模型的准确性。

第二示例性实施例

将根据第二示例性实施例描述用于通过因式分解的贝叶斯方法来估计深度为2的分层隐藏变量模型的模型估计设备。根据本示例性实施例的分层隐藏变量模型使得隐藏变量具有分层隐藏结构(具体为树结构)。作为概率模型的分量被布置为树结构中的最下层中的节点，并且在每个分支节点处提供用于根据输入来划分分支的门函数。以下将具体地描述深度为2的分层隐藏变量模型。以下描述假设数据串xⁿ(n＝1,…,N)被输入并且每个xⁿ是M维多变量数据串xⁿ＝((x₁)ⁿ,…,(x_M)ⁿ)。

然后，定义针对观测变量xⁿ的第一层分支隐藏变量(z₁)ⁿ、最下层分支隐藏变量(z_j|i)ⁿ和最下层路径隐藏变量(z_ji)ⁿ。(z_i)ⁿ＝1指示根节点中的xⁿ被分支到第一层第i节点中，而(z_i)ⁿ＝0指示根节点中的xⁿ没有被分支到第一层第i节点中。(z_j|i)ⁿ＝1指示第一层第i节点中的xⁿ被分支到第二层第j节点中，而(z_j|i)ⁿ＝0指示它没有被分支到第二层第j节点中。另外，(z_ij)ⁿ＝1指示观测变量xⁿ与路由通过第一层第i节点和第二层第j节点的分量相对应，而(z_ij)ⁿ＝0指示它不与路由通过第一层第i节点和第二层第j节点的分量相对应。假设Σ_i(z_i)ⁿ＝1,Σ_j(z_j|i)ⁿ＝1并且(z_ij)ⁿ＝(z_i)ⁿ(z_j|i)ⁿ，从而建立(z_i)ⁿ＝Σ_j(z_ij)ⁿ。最下层路径隐藏变量的x和代表值z的组合被称为“理想变量”(x对照地被称为非理想变量)，并且在方程式(7)中将用于理想变量的深度为2的分层隐藏变量模型联合分布定义为P(x,z)＝P(x,z_1st,z_2nd)。

[数学公式7]

$\begin{array}{c}p(x^N,z^N|M)=p(x^N,z_{1st}^N,z_{2nd}^N|M)\\ =\∫\underset{n=1}{\overset{N}{\Π}}\left\{p\left(z_{1st}^n\right|\mathrm{\β})\underset{i=1}{\overset{K_1}{\Π}}p{\left(z_{2nd|i}^n\right|{\mathrm{\β}}_i)}^{z_i^n}\underset{i=1}{\overset{K_1}{\Π}}\underset{j=1}{\overset{K_2}{\Π}}p{\left(x^n\right|{\mathrm{\φ}}_{ij})}^{z_i^n\·z_{j|i}^n}\right\}d\mathrm{\θ}\end{array}---\left(7\right)$

在方程式(7)中，假设(z_i)ⁿ的代表值为(zⁿ _1st)，并且假设(z_j|i)ⁿ的代表值为(z_2nd)ⁿ。假设第一层分支隐藏变量(z_i)ⁿ的变分概率为q(z_i)ⁿ，并且假设最下层路径隐藏变量(z_ij)ⁿ的变分概率为q(zⁿ _ij)。在方程式(7)中，K₁指示第一层中的节点的数目，K₂指示从第一层中的节点分支的节点的数目，并且最下层中的分量被表达在K₁·K₂中。θ＝(β,β1,…,βK₁,φ1,…,φK₁·K₂)指示模型参数(β指示根节点中的分支参数，βk指示第一层第k节点中的分支参数，并且φk是第k分量的观测参数)，并且S1,···,SK₁·K₂指示与φk对应的观测概率的类型。可以是S1至SK₁·K₂的观察概率的候选在多变量数据生成概率的情况下可以是{正态分布，对数正态分布，指数分布}或者在多曲线输出的情况下可以是{零维曲线，主曲线(primarycurve)，二次曲线(quadriccurve)，三次曲线(cubiccurve)}。

以下具体示例将描述深度为2的分层隐藏变量模型，并且对于深度为1或者深度为3或者更多的分层隐藏变量模型也在相同过程中推导方程式(7)至(15)，并且可以容易地用相同方式配置该结构。类似地，对关于目标变量X的分布做出本说明书中的描述，并且在观测分布是回归的或者判别的时该分布类似地可应用于条件模型P(Y|X)(Y是目标概率变量)。

在估计分层隐藏变量后验概率时不考虑可以容易地表达多阶跃门函数这样的约束的时候，出现恶化估计门函数的准确性这样的问题。为了解决该问题，如同根据本示例性实施例的模型估计设备，分层隐藏变量后验概率需要在它可以容易地由门函数表达这样的约束之下被估计。

图5是图示根据第二示例性实施例的模型估计设备200的示例性结构的框图。如图5中所示，根据本示例性实施例的模型估计设备200包括数据输入设备201、分层隐藏结构设置单元202、初始化处理单元203、隐藏变量变分概率计算处理单元204、模型参数优化处理单元205、门函数优化处理单元206、最优性确定处理单元207、最优模型选择处理单元208和模型估计结果输出设备209。模型估计设备200输入该输入数据211、针对输入数据211而优化分层隐藏结构和观测概率类型、并且输出模型估计结果212。

输入设备201获取输入数据211。输入数据211包括用于估计模型而需要的参数、诸如观测概率类型、分量的数目的候选和指示隐藏变量的分层隐藏结构的候选值。

分层隐藏结构设置单元202从被获取的分层隐藏结构的候选值之中选择和设置非优化的分层隐藏结构。根据本示例性实施例的隐藏结构是树结构。在下文中，被设置的分量的数目被表示为C，并且用于描述的等式涉及深度为2的分层隐藏变量模型。

初始化处理单元203执行用于估计的初始化处理。可以用任何方式执行初始化。例如，初始化处理单元203按分量随机地设置观测概率并且根据被设置的类型随机地选择每个观测概率的参数。另外，例如初始化处理单元203可以随机地设置分层隐藏变量的最下层路径变分概率。

隐藏变量变分概率计算处理单元204按分层计算路径隐藏变量变分概率。隐藏变量变分概率计算处理单元204使用由初始化处理单元203或者模型参数优化处理单元205和门函数优化处理单元206计算的值作为参数θ。隐藏变量变分概率计算处理单元204对用于理想变量的估计的量(诸如最大似然估计的量或者最大后验概率估计的量)的边际化对数似然函数执行拉普拉斯(Laplace)近似、增加它的下界并且计算变分概率以便逼近给定的分布。待增加的下界值在下文中将被称为优化基准A。

将通过深度为2的分层隐藏变量模型来描述过程。这里假设上标(t)指示隐藏变量变分概率计算处理单元204、模型参数优化处理单元205、门函数优化处理单元206和最优性确定处理单元207中的被反复的计算中的第t个重复。如在以下方程式(8-1)至(8-3)中那样定义q”、q’和θ。

[数学公式8]

q"＝q^(t-1)(8-1)

$q^{\′}={\Σ}_{j=1}^{K_2}{q}^{\left(t\right)}---(8-2)$

θ＝θ^(t-1)(8-3)

将首先描述在用于边际化对数似然度的、在方程式(9)中指示的下界。在方程式(9)中，在最大化最下层路径隐藏变量变分概率q(z^N)时建立等式。隐藏变量变分概率计算处理单元204通过针对理想变量的最大似然估计的量的使用来对分子中的理想变量的边际化似然度执行拉普拉斯近似，由此获取方程式(10)作为边际化对数似然函数的近似方程式。上标横杠指示针对理想变量的最大似然估计的量，而D*指示参数*的维度。

[数学公式9]

$logp\left(x^N\right|M)\≥\underset{z^N}{\Σ}q\left(z^N\right)log\left\{\frac{p(x^N,z^N|M)}{q\left(z^N\right)}\right\}---\left(9\right)$

[数学公式10]

然后，通过对最大似然估计的量最大化用于方程式(10)的对数似然函数这样的性质和对数函数是凹函数这样的事实的使用，来如在方程式(11)中那样计算方程式(10)中的下界。

[数学公式11]

隐藏变量变分概率计算处理单元204然后发现用于增加方程式(11)的最下层路径隐藏变量变分概率qz^N的集合Q^(t)并且采用来自被包含在该集合中的元素之中的、用于相对于给定的分布p_con而最小化距离函数D作为q(t)的元素。隐藏变量变分概率计算处理单元204可以例如计算用于针对qz^N最大化方程式(11)的变分问题的解析解q_opt ^(t)、并且可以发现Q^(t)为具有端点q_opt ^(t)和q^(t-1)的线段。

图6是通过示例图示隐藏变量变分概率计算处理单元204的框图。如图6中所示，隐藏变量变分概率计算处理单元204例如包括变分问题解空间计算处理单元204-1、受约束最下层路径隐藏变量变分概率计算处理单元204-2、分层设置单元204-3、上层路径隐藏变量变分概率计算处理单元204-4和分层计算结束确定处理单元204-5。隐藏变量变分概率计算处理单元204输入该输入数据211和估计模型204-6、并且输出分层隐藏变量变分概率204-7，该估计模型204-6是由模型参数优化处理单元205估计的参数(由初始化处理单元203在第一次处理中初始化的参数)的隐藏变量模型。

首先，变分问题解空间计算处理单元204-1输出该输入数据211和估计模型204-6以由此计算用于增加优化基准A的、最下层路径隐藏变量变分概率的存在范围Q^(t)。

受约束最下层路径隐藏变量变分概率计算处理单元204-2使用来自Q^(t)之中的、与给定的分布p_con最接近的元素作为最下层隐藏变量变分概率的更新值。

分层设置单元204-3然后设置用于计算路径隐藏变量变分概率的层。分层设置单元204-3具体地将在紧接着的先前层以上的待计算的一个层设置为待计算的层。

上层路径隐藏变量变分概率计算处理单元204-4求得在具有与母节点相同的分支节点的当前被设置的层中的最下层隐藏变量变分概率的总和、并且将该总和假设为上一层的路径隐藏变量变分概率。

分层计算结束确定处理单元204-5然后确认是否存在路径隐藏变量变分概率未被计算的层并且确定是否终止计算。具体而言，分层计算结束确定处理单元204-5确认是否存在在路径隐藏变量变分概率之前紧接着地被计算的层以上的一个层。在该层存在时，分层设置单元204-3设置上一层。反复地执行上层路径隐藏变量变分概率计算处理单元204-4和分层计算结束确定处理单元204-5中的一系列处理。在没有在当前层以上的待计算的一个层时，分层计算结束确定处理单元204-5确定针对所有分层计算路径隐藏变量变分概率。

模型参数优化处理单元205优化用于方程式(11)的每个分量的模型(参数θ及其类型S)。对于深度为2的分层隐藏变量模型，模型参数优化处理单元205将方程式(11)固定在针对其而由分层隐藏变量变分概率计算单元204计算q和q”、q’的最下层路径隐藏变量变分概率q^(t)以及在方程式(12)中指示的上层路径隐藏变量变分概率、并且计算用于最大化g的模型。

[数学公式12]

${\Σ}_{j=1}^{K_2}{q}^{\left(t\right)}---\left(12\right)$

在该处理中重要的是可以在方程式(11)中定义的g方面按分量来分解优化函数，从而S1和参数φ1可以分别单独地被优化成SK₁·K₂和φK₁·K₂而无需考虑分量类型的组合(哪个类型从S1被指定到SK₁·SK₂中)。由此，在将分量类型要被优化时，可以通过避免组合爆炸来执行优化。

图7是通过示例图示门函数优化处理单元206的框图。门函数优化处理单元206包括分支节点信息获取单元206-1、分支节点选择处理单元206-2、分支参数优化处理单元206-3和所有分支节点优化结束确定处理单元206-4。门函数优化处理单元206输入该输入数据211、在隐藏变量变分概率计算处理单元204中计算出的分层隐藏变量变分概率204-7和由模型参数优化处理单元205估计的参数(由初始化处理单元203在第一次处理中初始化的参数)的估计模型204-6，并且输出门函数模型206-6。

首先，分支节点信息获取单元206-1通过获取与作为由模型参数优化处理单元205优化的参数的隐藏变量模型的估计模型204-6中的分支节点有关的信息来掌握所有分支节点。分支节点选择处理单元206-2从分支节点之中选择待优化的一个分支节点。分支参数优化处理单元206-3然后通过输入数据211的使用和从分层隐藏变量变分概率204-7获取的用于被选择的节点的隐藏变量变分概率的使用来优化被选择的节点中的分支参数。

所有分支节点优化结束确定处理单元206-4然后确定由分支节点信息获取单元获取的所有分支节点是否被优化。在所有分支节点被优化时，门函数优化处理单元206终止处理，而在所有分支节点未被优化时，处理行进到分支节点选择处理单元206-2。

将基于针对两分支树的分层模型的柏努利(Bernoulli)分布来描述门函数的具体示例。假设x的d维度为x_d，在该值未超过门限w时，假设朝向两分支树的左下方的概率为g^-，而在它超过门限w时，假设朝向两分支树的左下方的概率为g⁺。分支参数优化处理单元206-3基于柏努利分布来优化优化参数d、w、g^-和g⁺。

最优性确定处理单元207确定在方程式(11)中计算的优化基准A是否被收敛。在它未被收敛时，模型估计设备200反复地执行从隐藏变量变分概率计算处理单元204到最优性确定处理单元207的一系列处理。

反复地执行从隐藏变量变分概率计算处理单元204到最优性确定处理单元207的一系列处理以更新变分概率和模型、由此选择适当的模型。保证优化基准A随着反复而单调地增加。

在从隐藏变量变分概率计算处理单元204到最优性确定处理单元207的一系列处理中计算的优化基准A高于当前设置的优化基准A时，最优模型选择处理单元208将该模型设置为最优模型。在针对所有候选值完全地优化该模型时，处理行进到模型估计结果输出设备209。在非优化候选存在时，处理行进到分层隐藏结构设置单元202。在这一情况下，分层隐藏结构设置单元202设置新的分层隐藏变量模型结构。

模型估计结果输出设备209输出最优隐藏状态的数目、观测概率类型、参数、变分概率等作为模型估计结果212。

图8是图示根据本示例性实施例的模型估计设备的示例性操作的流程图。将操作图8描述根据本示例性实施例的模型估计设备200的操作。

首先，数据输入设备201获取输入数据211(步骤S200)。

分层隐藏结构设置单元202然后从被获取的分层隐藏结构的候选值之中选择和设置非优化分层隐藏结构(步骤S201)。

初始化处理单元203然后执行初始化参数或者隐藏变量变分概率的处理以用于对被指定的分层隐藏结构的估计(步骤S202)。

隐藏变量变分概率计算处理单元204然后按分层计算路径隐藏变量变分概率(步骤S203)。

模型参数优化处理单元205然后针对每个分量优化观测概率类型和参数(步骤S204)。

门函数优化处理单元206然后优化每个门函数(步骤S205)。也就是说，门函数优化处理单元206优化每个分支节点中的分支参数。

最优性确定处理单元207然后确定优化基准A是否被收敛(步骤S206)。

在步骤S206中确定优化基准A未被收敛时，模型估计设备200反复地执行步骤S203至步骤S206中的一系列处理。

在步骤S206中确定优化基准A被收敛时，最优模型选择处理单元208比较当前设置的最优模型中的优化基准A(当前设置的分量的数目、观测概率类型和参数)与当前设置的最优模型的优化基准A的值、并且将优化基准A的值更高的模型设置为最优模型(步骤S207)。

模型估计设备200然后确定是否剩下分层隐藏结构的未被估计的候选(步骤S208)。在剩下候选时，模型估计设备200反复地执行步骤S201至步骤S208中的一系列处理。在未剩下候选时，输出模型估计结果以完成处理(步骤S209)。

图9是图示隐藏变量变分概率计算处理单元204的示例性操作的流程图。以下将参照图9描述根据本示例性实施例的隐藏变量变分概率计算处理单元204的操作。

首先，变分问题解空间计算处理单元204-1计算用于增加优化基准A的、最下层路径隐藏变量变分概率的存在范围(步骤S211)。

然后，受约束最下层路径隐藏变量变分概率计算处理单元204-2计算用于增加优化基准A的、隐藏变量变分概率的存在范围，并且设置与给定的分布p_con最接近的受约束最下层路径隐藏变量变分概率(步骤S212)。

分层设置单元204-3然后设置用于计算路径隐藏变量变分概率的分层(步骤S213)。

上层路径隐藏变量变分概率计算处理单元204-4然后通过被设置的分层中的路径隐藏变量变分概率的使用来计算上一层中的路径隐藏变量变分概率(步骤S214)。

分层计算结束确定处理单元204-5然后确定是否剩下未针对其计算路径隐藏变量的分层(步骤S215)。

在剩下未针对其计算路径隐藏变量的分层时，隐藏变量变分概率计算处理单元204反复地执行步骤S213至步骤S215中的一系列处理。在未剩下分层时，完成处理。

图10是图示门函数优化处理单元206的示例性操作的流程图。根据本示例性实施例的门函数优化处理单元206示意地参照图10操作如下。

首先，分支节点信息获取单元206-1掌握所有分支节点(步骤S221)。

分支节点选择处理单元206-2然后设置待优化的分支节点(步骤S222)。

分支参数优化处理单元206-3然后优化被选择的分支节点中的分支参数(步骤S223)。

所有分支节点优化结束确定处理单元206-4然后确定是否剩下非优化的分支节点(步骤S224)。在剩下分支节点时，门函数优化处理单元206反复地执行步骤S222至步骤S224中的一系列处理。在未剩下分支节点时，门函数优化处理单元206完成处理。

根据本示例性实施例的模型估计设备200考虑如下约束：隐藏变量后验概率(受约束隐藏变量变分概率)如根据第一示例性实施例的模型估计设备那样域在被估计(计算)时的分布接近。另外，在由门函数优化处理单元206计算受约束隐藏变量变分概率时，模型估计设备200考虑多阶跃门函数可以被容易地表达这样的约束。由此，模型估计设备200可以计算针对其容易地表达隐藏变量结构的后验概率、由此因而增强估计整个模型的准确性。

(示例)

将通过对建筑中的电力的需求历史分析来描述根据本示例性实施例的模型估计设备200的示例性应用。

根据本示例性实施例的模型估计设备200可以根据多个不同情形、诸如“工作日和假日”来分解在多变量数据与从建筑物中安装的多个传感器获取的被消耗的电力之间的关系。另外，模型估计设备200可以估计被获取的关系的切换规则、诸如在某个温度或者更高温度处向具体关系转变。

在考虑被消耗的电力预测用于消除供电的过量和不足时，明显地重要的是估计多个关系并且估计如何切换这些关系。例如，假设温度、时间区间和日子作为说明变量并且假设以在一小时内被消耗的电力的量为目标变量的多回归表达式，在每个分量处使用它们的分层隐藏变量模型将被考虑。这时，待估计的模型是分层隐藏结构、回归参数(φk)或者最下层路径隐藏变量变分分布(q)。

首先，数据输入设备201与说明变量和目标变量数据一起获取与不同分层结构(树结构)有关的多个信息项作为分层隐藏结构的候选。初始化处理单元203依次地设置被获取的树结构。初始化处理单元203然后在初始化处理中随机地设置用于被设置的分层隐藏结构的回归顺序和其它参数。隐藏变量变分概率计算处理单元204、模型参数优化处理单元205、门函数优化处理单元206和最优性确定处理单元207然后估计模型。

根据本示例性实施例的模型估计设备200可以自动地获取多个回归模型，这些回归模型表达不同情形及其切换规则、诸如说明变量的更大回归系数表达9点左右的入住时间或者参数的相对更小的回归系数表达时间区间。另外，最优模型选择处理单元208自动地选择最佳分层隐藏结构，并且因此模型估计设备200可以例如根据建筑物而自动地检测被消耗的电力的不同模式的数目、并且可以对适当数目的关系及其切换规则进行建模。

图11是图示根据本发明的模型估计设备中的主要部件的结构的框图。如图11中所示，根据本发明的模型设备包括：隐藏变量变分概率计算处理单元104，用于获取隐藏变量模型中的参数作为主要分量并且通过参数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后延概率；模型参数优化处理单元105，用于通过受约束隐藏变量变分概率的使用来优化隐藏变量模型的参数；以及最优性确定处理单元106，用于确定使用被优化的参数的边际化对数似然函数是否被收敛，其中在确定边际化对数似然函数未被收敛时，隐藏变量变分概率计算处理单元104通过被优化的参数的使用来重新计算受约束隐藏变量变分概率，并且模型参数优化处理单元105通过计算出的受约束隐藏变量变分概率的使用来重新优化隐藏变量模型的参数，并且在确定边际化对数似然函数被收敛时，用于边际化对数似然函数的受约束隐藏变量变分概率和参数被输出。

针对根据本示例性实施例的模型估计设备而公开下文描述的模型估计设备(1)至(6)。

(1)一种估计设备，其中隐藏变量变分概率计算处理单元(例如隐藏变量变分概率计算处理单元104)包括：变分问题解空间计算处理单元(例如变分问题解空间计算处理单元104-1)，用于计算用于增加边际化对数似然函数的下界的、受约束隐藏变量变分概率的存在范围；以及受约束变分问题计算处理单元(例如受约束变分问题计算处理单元104-2)，用于计算来自存在范围的、与先前给定的分布接近的受约束隐藏变量变分概率。

(2)一种模型估计设备，包括：输入设备(例如输入设备101)，用于获取隐藏变量模型中的隐藏状态的数目的候选和隐藏变量的参数；隐藏状态数目设置单元(例如隐藏状态数目设置单元102)，用于从被获取的隐藏状态的数目的候选之中选择和设置隐藏状态的数目，初始化处理单元(例如初始化处理单元103)，用于初始化参数和受约束隐藏变量变分概率；最优模型选择处理单元(例如最优模型选择处理单元107)，用于在基于由模型参数优化处理单元优化的参数的边际化对数似然函数大于当前设置的边际化对数似然函数时将由较大的边际化对数似然函数指示的模型设置为最优模型；以及模型估计结果输出设备(例如模型估计结果输出设备108)，用于输出最优模型的、包括受约束隐藏变量变分概率和参数的模型估计结果，其中在隐藏状态的数目的非优化候选存在时，隐藏状态数目设置单元将隐藏状态的数目的非优化候选设置为隐藏状态的数目，初始化处理单元重新初始化参数和受约束隐藏变量变分概率，隐藏变量变分概率计算处理单元重新计算受约束隐藏变量变分概率，模型参数优化处理单元重新优化隐藏变量模型的参数，并且最优性确定处理单元重新确定边际化对数似然函数是否被收敛。

(3)一种模型估计设备，包括：门函数优化处理单元(例如门函数优化处理单元206)，用于优化分层隐藏结构中的分支节点的参数，该分层隐藏结构表达隐藏变量并且具有多个分层，其中隐藏变量变分概率计算处理单元(例如隐藏变量变分概率计算处理单元204)计算路径隐藏变量变分概率作为指示在观测变量与按分层配置隐藏变量模型的分量之间的对应性的路径隐藏变量变分概率，模型参数优化处理单元(例如模型参数优化处理单元205)获取隐藏变量模型的观测概率类型、并且优化隐藏变量模型中的每个分量的参数和观测概率类型，并且最优性确定处理单元(例如最优性确定处理单元207)确定作为使用被优化的参数和观测概率类型的边际化对数似然函数的下界的优化基准是否被收敛。

(4)一种模型估计设备，其中隐藏变量变分概率计算处理单元(例如隐藏变量变分概率计算处理单元204)包括：变分问题解空间计算处理单元(例如变分问题解空间计算处理单元204-1)，用于计算用于增加优化基准的、最下层路径隐藏变量变分概率的存在范围；受约束最下层路径隐藏变量变分概率计算处理单元(例如受约束最下层路径隐藏变量变分概率计算处理单元204-2)，用于将来自最下层路径隐藏变量变分概率的存在范围的、与先前给定的分布最接近的概率假设为最下层路径隐藏变量变分概率的更新值；分层设置单元(例如分层设置单元204-3)，用于将在紧接着较下的层以上的待计算的一个层设置为待计算的层；上层路径隐藏变量变分概率计算处理单元(例如上层路径隐藏变量变分概率计算处理单元204-4)，用于求得该层具有与母节点相同的分支节点并且该层处于待计算的当前层中的最下层受约束隐藏变量变分概率的总和、并且将它假设为上一层中的路径隐藏变量变分概率；以及分层计算结束确定处理单元(例如分层计算结束确定处理单元204-5)，用于确认是否存在路径隐藏变量变分概率未被完全地计算的层并且确认是否终止计算。

(5)一种模型估计设备，其中门函数优化处理单元(例如门函数优化处理单元206)包括：分支节点信息获取单元(例如分支节点信息获取单元206-1)用于获取与被优化的参数的隐藏变量模型中的分支节点有关的信息；分支节点选择处理单元(例如分支节点选择处理单元206-2)，用于从被获取的分支节点之中选择待优化的分支节点；分支参数优化处理单元(例如分支参数优化处理单元206-3)，用于通过由隐藏变量变分概率计算处理单元计算的路径隐藏变量变分概率的使用来优化被选择的分支节点中的分支参数；以及所有分支节点优化结束确定处理单元(例如所有分支节点优化结束确定处理单元206-4)，用于确定所有被获取的分支节点是否被优化。

(6)一种模型估计设备，包括输入设备(例如输入设备201)，用于获取隐藏变量模型的参数，这些参数包括指示隐藏变量的分层隐藏结构的候选、观测概率类型、和分量的数目的候选；分层隐藏结构设置单元(例如分层隐藏结构设置单元202)，用于选择和设置分层隐藏结构的候选中的一个候选，初始化处理单元(例如初始化处理单元203)，用于初始化观测概率类型、观测概率的参数、隐藏变量和隐藏变量的最下层路径隐藏变量变分概率；最优模型选择处理单元(例如最优模型选择处理单元208)，用于在基于由模型参数优化处理单元优化的参数的优化基准大于当前设置的优化基准时，将基于参数由边际化对数似然函数指示的模型设置为最优模型；以及模型估计结果输出设备(例如模型估计结果输出设备209)，用于输出最优模型中的、包括受约束隐藏变量变分概率和参数的模型估计结果，其中在分层隐藏结构的非优化候选存在时，分层隐藏结构设置单元将分层隐藏结构的非优化候选设置为待计算的分层隐藏结构，初始化处理单元重新初始化，隐藏变量变分概率计算处理单元重新计算路径隐藏变量变分概率，模型参数优化处理单元重新优化隐藏变量模型中的每个分量的参数和观测概率类型，并且最优性确定处理单元确定作为边际化对数似然函数的下界的优化基准是否被收敛。

(7)一种用于存储模型估计程序的计算机可读非瞬态信息存储介质，该模型估计程序用于在信息处理设备中被执行时实现如下方法，该方法包括：获取隐藏变量模型的参数并且通过参数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概率，通过受约束隐藏变量变分概率的使用来优化隐藏变量模型的参数，确定使用被优化的参数的边际化对数似然函数是否被收敛，在确定边际化对数似然函数未被收敛时，通过被优化的参数的使用来重新计算受约束隐藏变量变分概率，通过计算出的受约束隐藏变量变分概率的使用来重新优化隐藏变量模型的参数，而在确定边际化对数似然函数被收敛时，输出用于边际化对数似然函数的受约束隐藏变量变分概率和参数。

以上已经参照示例性实施例和示例描述本发明，但是本发明不限于示例性实施例和示例。可以在本领域技术人员可理解的本发明的范围内不同地改变本发明的结构和细节

本申请要求基于提交于2013年11月5日的第61/900,085号美国专利申请的优先权，该申请通过引用而全部结合于此。

实用性

本发明可应用于通过使用多变量数据对电力需求的数据分析等。

标号列表

100，200模型估计设备

101，201数据输入设备

102隐藏状态数目设置单元

103，203初始化处理单元

104，204隐藏变量变分概率计算处理单元

105，205模型参数优化处理单元

106最优性确定处理单元

107最优模型选择处理单元

108模型估计结果输出设备

202分层隐藏结构设置单元

206门函数优化处理单元

207最优性确定处理单元

208最优模型选择处理单元

209模型估计结果输出设备

Claims (9)

1.一种模型估计设备，包括：

隐藏变量变分概率计算处理单元，所述隐藏变量变分概率计算处理单元获取隐藏变量模型的参数，并且通过所述参数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概率；

模型参数优化处理单元，所述模型参数优化处理单元通过所述受约束隐藏变量变分概率的使用来优化所述隐藏变量模型的所述参数；以及

最优性确定处理单元，所述最优性确定处理单元确定使用被优化的所述参数的边际化对数似然函数是否被收敛，

其中在确定所述边际化对数似然函数未被收敛时，

所述隐藏变量变分概率计算处理单元通过被优化的所述参数的使用来重新计算受约束隐藏变量变分概率，

所述模型参数优化处理单元通过计算出的所述受约束隐藏变量变分概率的使用来重新优化所述隐藏变量模型的所述参数，以及

在确定所述边际化对数似然函数被收敛时，用于所述边际化对数似然函数的所述受约束隐藏变量变分概率和所述参数被输出。

2.根据权利要求1所述的模型估计设备，

其中所述隐藏变量变分概率计算处理单元包括：

变分问题解空间计算处理单元，所述变分问题解空间计算处理单元计算用于增加边际化对数似然函数的下界的、受约束隐藏变量变分概率的存在范围；以及

受约束变分问题计算处理单元，所述受约束变分问题计算处理单元计算来自所述存在范围的、与先前给定的分布接近的受约束隐藏变量变分概率。

3.根据权利要求1或权利要求2所述的模型估计设备，包括：

数据输入设备，所述数据输入设备获取隐藏变量模型中的隐藏状态的数目的候选、以及所述隐藏变量的参数；

隐藏状态数目设置单元，所述隐藏状态数目设置单元从被获取的所述隐藏状态的数目的所述候选之中选择和设置所述隐藏状态的数目；

初始化处理单元，所述初始化处理单元初始化所述参数和受约束隐藏变量变分概率；

最优模型选择处理单元，所述最优模型选择处理单元在基于由所述模型参数优化处理单元优化的所述参数的边际化对数似然函数大于当前设置的边际化对数似然函数时，将由较大的所述边际化对数似然函数指示的模型设置为最优模型；以及

模型估计结果输出设备，所述模型估计结果输出设备输出所述最优模型的、包括受约束隐藏变量变分概率和参数的模型估计结果，

其中在所述隐藏状态的数目的非优化候选存在时，

所述隐藏状态数目设置单元将所述隐藏状态的数目的所述非优化候选设置为所述隐藏状态的数目，

所述初始化处理单元重新初始化所述参数和所述受约束隐藏变量变分概率，

所述隐藏变量变分概率计算处理单元重新计算受约束隐藏变量变分概率，

所述模型参数优化处理单元重新优化所述隐藏变量模型的所述参数，并且

所述最优性确定处理单元重新确定所述边际化对数似然函数是否被收敛。

4.根据权利要求1所述的模型估计设备，包括：

门函数优化处理单元，所述门函数优化处理单元优化分层隐藏结构中的分支节点的参数，所述分层隐藏结构表达隐藏变量并且具有多个分层，

其中所述隐藏变量变分概率计算处理单元计算路径隐藏变量变分概率，作为指示在观测变量与按分层配置隐藏变量模型的分量之间的对应性的路径隐藏变量变分概率，

所述模型参数优化处理单元获取所述隐藏变量模型的观测概率类型，并且优化所述隐藏变量模型中的每个分量的所述参数和所述观测概率类型，并且

所述最优性确定处理单元确定作为使用被优化的所述参数和所述观测概率类型的边际化对数似然函数的下界的优化基准是否被收敛。

5.根据权利要求4所述的模型估计设备，

其中所述隐藏变量变分概率计算处理单元包括：

变分问题解空间计算处理单元，所述变分问题解空间计算处理单元计算用于增加优化基准的、最下层路径隐藏变量变分概率的存在范围；

受约束最下层路径隐藏变量变分概率计算处理单元，所述受约束最下层路径隐藏变量变分概率计算处理单元将来自所述最下层路径隐藏变量变分概率的所述存在范围的、与先前给定的分布最接近的概率假设为所述最下层路径隐藏变量变分概率的更新值；

分层设置单元，所述分层设置单元将在紧接着的先前层以上的待计算的一个层设置为待计算的层；

上层路径隐藏变量变分概率计算处理单元，所述上层路径隐藏变量变分概率计算处理单元求得所述层具有与母节点相同的分支节点、并且所述层处于待计算的当前层中的最下层受约束隐藏变量变分概率的总和，并且将所述总和假设为上一层中的路径隐藏变量变分概率；以及

分层计算结束确定处理单元，所述分层计算结束确定处理单元确认是否存在所述路径隐藏变量变分概率未被完全地计算的层并且确认是否终止所述计算。

6.根据权利要求4或者权利要求5所述的模型估计设备，

其中所述门函数优化处理单元包括：

分支节点信息获取单元，所述分支节点信息获取单元获取与被优化的参数的隐藏变量模型中的分支节点有关的信息；

分支节点选择处理单元，所述分支节点选择处理单元从被获取的所述分支节点之中选择待优化的分支节点；

分支参数优化处理单元，所述分支参数优化处理单元通过由所述隐藏变量变分概率计算处理单元计算的路径隐藏变量变分概率的使用来优化被选择的所述分支节点中的分支参数；以及

所有分支节点优化结束确定处理单元，所述所有分支节点优化结束确定处理单元确定所有被获取的所述分支节点是否被优化。

7.根据权利要求4至权利要求6中的任一权利要求所述的模型估计设备，包括：

数据输入设备，所述数据输入设备获取隐藏变量模型的参数，所述隐藏变量模型的所述参数包括指示隐藏变量的分层隐藏结构的候选、观测概率类型和分量的数目的候选；

分层隐藏结构设置单元，所述分层隐藏结构设置单元选择和设置所述分层隐藏结构的所述候选中的一个候选；

初始化处理单元，所述初始化处理单元初始化所述观测概率类型、所述观测概率的参数、隐藏变量和所述隐藏变量的最下层路径隐藏变量变分概率；

最优模型选择处理单元，所述最优模型选择处理单元在基于由所述模型参数优化处理单元优化的所述参数的优化基准大于当前设置的优化基准时，将基于由所述模型参数优化处理单元优化的所述参数的边际化对数似然函数指示的模型设置为最优模型；以及

模型估计结果输出设备，所述模型估计结果输出设备输出所述最优模型中的、包括受约束隐藏变量变分概率和参数的模型估计结果，

其中在所述分层隐藏结构的非优化候选存在时，

所述分层隐藏结构设置单元将所述分层隐藏结构的所述非优化候选设置为待计算的分层隐藏结构，

所述初始化处理单元重新初始化，

所述隐藏变量变分概率计算处理单元重新计算路径隐藏变量变分概率，

所述模型参数优化处理单元重新优化在所述隐藏变量模型中的每个分量的所述参数和所述观测概率类型，并且

所述最优性确定处理单元确定作为所述边际化对数似然函数的下界的优化基准是否被收敛。

8.一种模型估计方法，包括：

获取隐藏变量模型的参数，并且通过所述参数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概率；

通过所述受约束隐藏变量变分概率的使用来优化所述隐藏变量模型的所述参数；

确定使用被优化的所述参数的边际化对数似然函数是否被收敛，

在确定所述边际化对数似然函数未被收敛时，

通过被优化的所述参数的使用来重新计算受约束隐藏变量变分概率，

通过计算出的所述受约束隐藏变量变分概率的使用来重新优化所述隐藏变量模型的所述参数，以及

在确定所述边际化对数似然函数被收敛时，输出用于所述边际化对数似然函数的所述受约束隐藏变量变分概率和所述参数。

9.一种模型估计程序，用于使得计算机执行：

隐藏变量变分概率计算处理，所述隐藏变量变分概率计算处理获取隐藏变量模型的参数，并且通过所述参数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概率；

模型参数优化处理，所述模型参数优化处理通过所述受约束隐藏变量变分概率的使用来优化所述隐藏变量模型的所述参数；

最优性确定处理，所述最优性确定处理确定使用被优化的所述参数的边际化对数似然函数是否被收敛，

在确定所述边际化对数似然函数未被收敛时，

所述隐藏变量变分概率计算处理通过被优化的所述参数的使用来重新计算受约束隐藏变量变分概率，

所述模型参数优化处理通过计算出的所述受约束隐藏变量变分概率的使用来重新优化所述隐藏变量模型的所述参数，以及

在确定所述边际化对数似然函数被收敛时，输出用于所述边际化对数似然函数的所述受约束隐藏变量变分概率和所述参数。