CN103400040A - 采用多步时域差值学习的故障诊断与预测方法 - Google Patents

Abstract

本发明公开了一种采用多步时域差值学习的故障诊断与预测方法，其步骤为：（1）建立马尔可夫回报过程模型；（2）数据采集：通过生产过程安装的监控器提供当前状态的状态信息及环境信息，通过一系列的观测量，组成一个完整的观测序列；（3）实验数据标记：将观测序列转换为状态转移模型，根据检测数据将状态序列标记为正常和不正常；（4）运用TD学习算法和预测的异常检测方法：基于上述得到的马尔可夫回报过程模型，运用LS-TD(λ)算法来估计评价函数值，即异常可能发生的概率；（5）异常报警：设置阈值参数，当预测概率高于阈值参数时，系统报警。本发明具有原理简单、适用范围广、能够提高异常检测性能等优点。

Description

采用多步时域差值学习的故障诊断与预测方法

技术领域

本发明主要涉及到设备运行故障诊断与安全领域，特指一种适用于计算机网络积极防御的主动安全系统的计算机入侵检测诊断与预测的方法。

背景技术

异常检测作为信息系统中一种重要的积极防御技术，不仅受到计算机安全技术的关注，也受到模式识别和软件编程技术的关注。作为模式识别的一项典型任务，异常检测就是相对于一系列给定的正常行为，来判断系统中的违规的不正常的模式。这些不正常的模式包括异常、偏离、例外、越轨，或者在不同领域的奇怪现象。异常检测适用于很多领域，比如入侵检测，欺骗检测，故障诊断，系统安全监督和网络中的事件监督。尽管数据的异常检测早在19世纪数据统计中研究过了，但仍存在一些问题亟待解决。挑战之一是，异常检测技术中如何围绕所有可能发生的正常情况来定义一个合理的范围，这是很困难的；另一个挑战是，异常检测技术中所用模型数据的可行性是一个很重要的问题。另外，这些数据含有与实际异常相似的噪声，这些噪声很难判别和消除。近年来，着眼于以上挑战，在软件编程和机器学习中，开发了大量的异常检测方法。

计算机入侵检测问题之一就是对复杂多级的网络攻击进行建模和预测，这其中包含了一系列与时间相关的行为模式。这发明中，对复杂时间序列的异常检测提出基于时域差值学习算法这一新方法。

一般的，现存的软件编程检测方法可分为三类：监督异常检测、半监督异常检测、无监督异常检测。监督异常检测技术是利用分级器对测试目标进行分级，对其属于正常还是异常分配标记。典型的实现途径是对正常和异常类别建立可预测和模型；半监督异常检测技术根据给定的正常数据组建立一个正常行为模型，然后检测测试目标生成既有模型的可能性，而且假设训练数据只有对正常类别有标记的目标，由于不要求对不正常的类别标记，所以半监督异常检测技术比监督异常检测技术运用的更广泛；无监督异常检测技术是在大部分数据组是正常的假设下，不采用标记测试数据，这类技术暗含这样一个假设，就是在测试数据中，正常的测试目标远比不正常的目标多，如果该假设不成立，那么它也将承受更多的虚假警报。

尽管以上异常检测技术已在很多领域被广泛的研究和应用，对连续数据的异常检测仍然具有很多挑战，并且这些数据在强加有正常顺序的时间和空间的领域内广泛存在。在异常检测文献中，现在研究比较流行有两种类型：符号序列和连续序列。与序列数据在时间上有关联的特征相适应，检测异常产生的结果比静态模式下的异常检测更具有挑战性。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、适用范围广、能够提高异常检测性能的采用多步时域差值学习的故障诊断与预测方法。

为解决上述技术问题，本发明采用以下技术方案：

一种采用多步时域差值学习的故障诊断与预测方法，步骤为：

（1）建立马尔可夫回报过程模型；对时间序列的异常状态进行马尔可夫回报过程建模，马尔可夫回报过程表示为一个数组{S,R,P}，其中S代表状态空间，R代表回报函数，P代表状态转移概率，令{x_t|t=0,1,2,…;x_t∈S}表示由马尔可夫回报过程引起的一个轨迹；

（2）数据采集：通过生产过程安装的监控器提供当前状态的状态信息及环境信息，通过一系列的观测量，组成一个完整的观测序列；

（3）实验数据标记：将观测序列转换为状态转移模型，根据检测数据将状态序列标记为正常和不正常；

（4）运用TD学习算法和预测的异常检测方法：基于上述得到的马尔可夫回报过程模型，运用LS-TD(λ)算法来估计评价函数值，即异常可能发生的概率；

（5）异常报警：设置阈值参数，当预测概率高于阈值参数时，系统报警。

作为本发明的进一步改进：

所述步骤（1）中建立马尔可夫回报过程模型的具体流程为：

（1.1）定义马尔可夫回报过程：对每一个从x_t到x_t+1的状态转移，都定义一个回报r_t，状态转移概率满足如下的马尔可夫特性：

P{x_t+1|x_t,x_t-1,...,x₁,x₀}=P{x_t+1|x_t}   （1）

定义状态转移概率：令N(x_i)和A(x_i)分别代表从状态x_i开始的所有可能正常和异常的状态序列组，令C(x_i)为从状态x_i开始所有的状态转移总数，对任意的两个状态x_i和x_j，令C(x_i,x_j)代表从状态x_i到状态x_j的状态序列总数；那么，两个状态x_i,x_j间的状态转移概率定义为：

P(x_i,x_j)=C(x_i,x_j)/C(x_i)   （2）；

（1.2）马尔可夫回报模型，马尔可夫回报过程对连续行为的异常检测可定义为：

IDSs中对拥有完整观测序列S={x₁,x₂,…,x_T}的马尔可夫回报模型M，将其定义为一个三元组{X,R,P},X是所有可能状态的集合，P是给出的状态转移概率，回报函数R:x→r(x)定义为：

$r\left(x\right)=\left\{\begin{array}{cc}0,& \mathrm{if\; x}=x_T\mathrm{andS}\∈N\left(x_1\right)\\ 1,& \mathrm{if\; x}=x_T\mathrm{andS}\∈A\left(x_1\right)\\ 0,& \mathrm{if\; x}\≠x_T\end{array}\right.$    （3）

概率P_a(x)定义为一个完整观测序列的发生异常的可能性，它表示从x开始到成为异常序列：

P_a(x)=P{(x₁,x₂,...,x_T)∈A(x)|x₁=x}   （4）

其次，对每一个状态序列S={x_i}(i=1,2,…,n),异常概率的积累P(S)可以计算为：

$P\left(s\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_a\left(x_i\right)$    （5）；

（1.3）马尔可夫回报模型M的状态评价函数V(x)和状态异常概率P(x)是相等的，即V(x)=P(x)：

马尔可夫回报过程中的评价函数V(x)如下给出：

$V\left(x\right)=E\left\{\underset{t}{\mathrm{\Σ}}{\mathrm{\γ}}^t{r}_t\left(x_t\right)\right|x_1=x\}$    （6）。

所述步骤（4）的具体步骤为：

（4.1）给定：状态转移数据（x_t,x_t+1,r_t)(t=1,2,…,T)，其中，每一拥有长度T的状态转移轨迹被评价为正常或异常，每一个回报方程由式(3)得到；

（4.2）初始化：令t=0；设置初始状态x₀；

（4.3）训练：最大循环迭代数n对每一个状态序列循环：

（4.3.1）对当前状态x_t

·如果x_t是一个同化状态,r(x_t)=r_T,其中r_T是最终回报，

·否则,观察从x_t到x_t+1的状态转移和回报r(x_t,x_t+1),改善z_t、A(X_t)、B(X_t)；

（4.3.2）如果x_t是一个同化状态，如一个状态序列的结尾，重新通过设置x_t+1来初始化观测序列的初始状态；

（4.3.3）当改善后的预测设定好后，计算系数和评价函数；

（4.3.4）t=t+1；

（4.4）输出异常检测问题的评价方程模型{W_LS-TD,φ(x)}；

（4.5）测试：对于测试序列中的每一个状态x'，异常概率可估计为：

与现有技术相比，本发明的优点在于：

1、本发明提出了异常检测的一种新的马尔科夫回报过程模型。基于此模型，通过TD学习预测方法构建检测模型，利用评价信号和连续训练数据的反馈值，并仅仅通过简化标记方案来提高异常检测的性能；

2、本发明中，TD学习和预测方法在复杂时间序列异常检测中能获得相当甚至更好检测精度，其不需要精确的标记实验数据拥有简化的标记过程；

3、本发明中，TD学习算法的状态特征的期望值k和轨迹长度m的计算复杂度是线性的，它具有时间复杂度O(km)，比马尔可夫统计学模型的复杂度较低的优点；

4、本发明为混合建模策略，其检测精度不受正常和异常数据混合的影响。

附图说明

图1是本发明方法的原理示意图。

图2是本发明中报警时间问题（TTA）的原理示意图。

图3是检测输出响应曲线和其与多级攻击行为间的关系示意图。

具体实施方式

以下将结合说明书附图和具体实例对本发明做进一步详细说明。

如图1所示，本发明的采用多步时域差值学习的故障诊断与预测方法，其步骤为：

（1）建立马尔可夫回报过程模型；对时间序列的异常状态进行马尔可夫回报过程建模，马尔可夫回报过程表示为一个数组{S,R,P}，其中S代表状态空间，R代表回报函数，P代表状态转移概率，令{x_t|t=0,1,2,…;x_t∈S}表示由马尔可夫回报过程引起的一个轨迹；当合理定义回报函数时，连续行为的异常发生的概率和马尔可夫评价函数所表示的概率是相等的。

在上述步骤（1）中，具体模型的建立过程为：

（1.1）定义马尔可夫回报过程：马尔可夫回报过程可以表示为一个数组{S,R,P},其中S代表状态空间，R代表回报函数，P代表状态转移概率，令{x_t|t=0,1,2,…;x_t∈S}表示由马尔可夫回报过程引起的一个轨迹，对每一个从x_t到x_t+1的状态转移，都定义一个回报r_t，状态转移概率满足如下的马尔可夫特性：

P{x_t+1|x_t,x_t-1,...,x₁,x₀}=P{x_t+1|x_t}   （1）

定义状态转移概率：令N(x_i)和A(x_i)分别代表从状态x_i开始的所有可能正常和异常的状态序列组，令C(x_i)为从状态x_i开始所有的状态转移总数，对任意的两个状态x_i和x_j，令C(x_i,x_j)代表从状态x_i到状态x_j的状态序列总数。两个状态x_i,x_j间的状态转移概率定义为：

P(x_i,x_j)=C(x_i,x_j)/C(x_i)   （2）

（1.2）马尔可夫回报模型，马尔可夫回报过程对连续行为的异常检测可定义为：

IDSs中对拥有完整观测序列S={x₁,x₂,…,x_T}的马尔可夫回报模型M，将其定义为一个三元组{X,R,P},X是所有可能状态的集合，P是给出的状态转移概率，回报函数R:x→r(x)定义为：

$r\left(x\right)=\left\{\begin{array}{cc}0,& \mathrm{if\; x}=x_T\mathrm{andS}\∈N\left(x_1\right)\\ 1,& \mathrm{if\; x}=x_T\mathrm{andS}\∈A\left(x_1\right)\\ 0,& \mathrm{if\; x}\≠x_T\end{array}\right.$    （3）

概率P_a(x)定义为一个完整观测序列的发生异常的可能性，它表示从x开始到成为异常序列：

P_a(x)=P{(x₁,x₂,...,x_T)∈A(x)|x₁=x}   （4）

其次，对每一个状态序列S={x_i}(i=1,2,…,n),异常概率的积累P(S)可以计算为：

$P\left(s\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_a\left(x_i\right)$    （5）

（1.3）马尔可夫回报模型M的状态评价函数V(x)和状态异常概率P(x)是相等的，即V(x)=P(x)：

马尔可夫回报过程中的评价函数V(x)如下给出：

$V\left(x\right)=E\left\{\underset{t}{\mathrm{\Σ}}{\mathrm{\γ}}^t{r}_t\left(x_t\right)\right|x_1=x\}$    （6）

对应有限长度的观测序列，衰减因子γ设置为1，设置期望E{.}为概率总和，得到：

$V\left(x\right)=\underset{i=1,N}{\mathrm{\Σ}}P(x_{i1},x_{i2},...,x_{\mathrm{iT}\left(i\right)}|x_{i1}=x)\underset{t=1,T\left(i\right)}{\mathrm{\Σ}}r\left(x_t\right)$    （7）

其中，P(x_i1,x_i2,...,x_iT(i)|x_i1=x)定义为从x开始的观测序列{x_i1,x_i2,…,x_T(i)}的概率，N为观测序列总数，T(i)为观测序列长度。

基于（1.2）中的回报函数，回报是1或0，且回报除最终状态外均为0，这样，评价函数表达为：

$V\left(x\right)=\underset{i=1,N}{\mathrm{\Σ}}P(x_{i1},x_{i2},...,x_{\mathrm{iT}\left(i\right)}|x_{i1}=x)r\left(x_{\mathrm{iT}\left(i\right)}\right)$    （8）

对所有从x开始的观测序列，可以分为两部分：正常序列和异常序列，通过定义A(x)和N(x)，有：

$V\left(x\right)=\underset{i\∈A\left(x\right)}{\mathrm{\Σ}}P(x_{i1},x_{i2},...,x_{\mathrm{iT}\left(i\right)}|x_{i1}=x)r\left(x_{\mathrm{iT}\left(i\right)}\right)+$

$\underset{i\∈N\left(x\right)}{\mathrm{\Σ}}P(x_{i1},x_{i2},...,x_{\mathrm{iT}\left(i\right)}|x_{i1}=x)r\left(x_{\mathrm{iT}\left(i\right)}\right)$    （9）

$=\underset{i\∈A\left(x\right)}{\mathrm{\Σ}}P(x_{i1},x_{i2},...,x_{\mathrm{iT}\left(i\right)}|x_{i1}=x)r\left(x_{\mathrm{iT}\left(i\right)}\right)$

这样状态x的异常概率计算为：

$P\left(x\right)=P\{(x_1,...,x_T)\∈A\left(x_1\right)|x_1=x\}$ $---\left(10\right)$

$=\underset{i\∈A\left(x\right)}{\mathrm{\Σ}}P\left\{(x_{i1},x_{i2},...,x_{\mathrm{iT}})\right|x_1=x\}$

由式（9）、（10）直接得：

V(x)=P(x)   （11）

（2）数据采集：通过生产过程安装的监控器提供当前状态的状态信息及环境信息，通过一系列的观测量，组成一个完整的观测序列。

（3）实验数据标记：观测序列需要转换为状态转移模型，根据检测数据将状态序列标记为正常和不正常。

（4）运用TD学习算法和预测的异常检测方法：基于马尔可夫回报过程模型，运用LS-TD(λ)算法来估计评价函数值，即异常可能发生的概率。

（5）异常报警：设置阈值参数，当预测概率高于阈值时，系统报警。

上述步骤（4）的具体步骤为：

在线性TD(λ)算法中，评价函数为：

   （12）

其中

是状态间的线性基础方程，W=[w₁,w₂,...,w_n]是重量矢量。

线性TD(λ)算法在特定的假设下可证明其概率趋向于1，而且能得到连续集合W^*的极限，这符合下列方程：

E₀[A(X_t)]W^*-E₀[b(X_t)]=0   （13）

   （14）

$b\left(X_t\right)={\stackrel{\→}{z}}_t{r}_t$    （15）

$z_{r+1}\left(S_i\right)=\left\{\begin{array}{cc}\mathrm{\γ\λ}{z}_t\left(S_i\right)+1,& \mathrm{if}{S}_i=S_t\\ \mathrm{\γ\λ}{z}_t\left(S_i\right),& \mathrm{if}{S}_i\≠S_t\end{array}\right.$     （16）

其中，马尔可夫过程中X_t=(x_t,x_t+1,z_t+1)(t=1,2,…)，x_t和x_t+1是两个连续状态，r_t是对应的回报，E₀[·]代表唯一分布{X_t}的期望，λ是合适轨迹z_t(s)中的一个常数，γ是衰减因子。

LS-TD(λ)算法较常规的TD(λ)算法有更高的效率，通过解方程（13）重量矢量W的计算式：

$W_{\mathrm{LS}-\mathrm{TD}\left(\mathrm{\λ}\right)}=A_T^{-1}{b}_T={\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}A\left(X_t\right)\right)}^{-1}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}b\left(X_t\right)\right)$    （17）

其中T是状态策略的长度。

具体算法步骤为：

（4.1）给定：状态转移数据（x_t,x_t+1,r_t)(t=1,2,…,T)，其中，每一拥有长度T的状态转移轨迹被评价为正常或异常，每一个回报方程由(3)得到；算法的最终标准；LS-TD(γ)的线性基函数与参数λ的适用性；

（4.2）初始化：令t=0；设置初始状态x₀；

（4.3）训练：最大循环迭代数n；

对每一个状态序列循环：

（4.3.1）对当前状态x_t

·如果x_t是一个同化状态,r(x_t)=r_T,其中r_T是最终回报，

·否则，观察从x_t到x_t+1的状态转移和回报r(x_t,x_t+1),用方程(16)来改善z_t；用(14),(15)来改善A(X_t),B(X_t)。

（4.3.2）如果x_t是一个同化状态，如一个状态序列的结尾，重新通过设置x_t+1来初始化观测序列的初始状态。

（4.3.3）当改善后的预测设定好后，用方程（17）来计算系数和评价函数。

（4.3.4）t=t+1。

（4.4）输出异常检测问题的评价方程模型{W_LS-TD,φ(x)}。

（4.5）测试：对于测试序列中的每一个状态x'，异常概率可估计为：

由上可知，本发明提出了基于马尔可夫回报模型和时间差值学习算法的一种新的异常检测方法，这种检测方法将多级计算机攻击中的入侵检测看做是一种特殊的应用背景。本发明中马尔可夫回报模型与以往的应用有所不同，回报函数是作为一种反馈信号引入的，用来指示所观测的一系列的行为模式是否正常。此外，本发明引用的时间差值学习和预测算法与先前的监督学习算法和统计学算法有不同之处。所观测的数据与回报信号相结合，评价函数可以定义为异常检测中的预测函数，增强学习体系中的时间差值学习算法可以用来评估评价函数。

本发明在具体应用实例中的具体操作流程为：

（1）数据采集：通过生产过程安装的监控器提供当前状态的状态信息及环境信息，通过一系列的观测量，组成一个完整的观测序列。

本实施例中，采集多种不同等级的系统调用轨迹，这与多种入侵行为相一致，如MIT livelpr、sendmail、ps、login和named等等。下表1是测试数据集合的统计信息。

表1

（2）实验数据标记：观测序列需要转换为状态转移模型，根据检测数据将状态序列标记为正常和不正常。IDS中的一个状态x_i=(o_i+1,o_i+2,…,o_i+n)是一个短序列或者是几个时间连续观测量的组合。由状态的定义可知，状态序列S={x₁,x₂,…,x_T}通过建立长度为l的滑动窗口，可以从初始的完整观测序列{o₁,o₂,…,o_N}中获得，如x_i+1=(o_i+l+1.o_i+l+2,…,o_i+l+n)。通过o_i+l+n的正常或不正常来标记x_i+1的类别。

（3）运用TD学习算法和预测的异常检测方法：基于马尔可夫回报过程模型，公式（3），运用LS-TD(λ)算法来估计评价函数值，即异常可能发生的概率。

（4）异常报警：如图3所示，设置阈值参数，当预测概率高于阈值时，系统报警时间和异常检测系统的检测精度由LS-TD(λ)算法的评价函数预测和阈值参数决定，通过分析检测输出的响应曲线和其与检测系统的关系得到这一结论，说明见图3。在图3中，波浪线是检测输出的曲线，前述方法的评价函数预测和波纹折叠虚线表示多级攻击发生的实时时间间隔，n_di是检测系统正确检测出攻击的状态次数，n_bfa是虚假警报发生的状态次数，t_response是报警时间。

多级异常行为的检测精度通过调节检测模型中的输出响应来确定，使比率n_di/N_bi接近1，使比率n_bfa/N_bi接近于0，在上述应用实例中，输出响应完全由马尔可夫回报过程的评价方程预测模型决定，这样，可以通过提高TD学习算法的预测精度来提高前述途径的性能。

下表2、表3列出本发明方法与其他方法的对比，说明本发明方法相较于其他方法的优点。表2为是TD和隐含Markov模型方法的性能比较表；表3是TD算法和监督模式分类方法的性能比较。

表2

表3

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (3)

1.一种采用多步时域差值学习的故障诊断与预测方法，其特征在于，步骤为：

（1）建立马尔可夫回报过程模型；对时间序列的异常状态进行马尔可夫回报过程建模，马尔可夫回报过程表示为一个数组{S,R,P}，其中S代表状态空间，R代表回报函数，P代表状态转移概率，令{x_t|t=0,1,2,…;x_t∈S}表示由马尔可夫回报过程引起的一个轨迹；

（2）数据采集：通过生产过程安装的监控器提供当前状态的状态信息及环境信息，通过一系列的观测量，组成一个完整的观测序列；

（3）实验数据标记：将观测序列转换为状态转移模型，根据检测数据将状态序列标记为正常和不正常；

（4）运用TD学习算法和预测的异常检测方法：基于上述得到的马尔可夫回报过程模型，运用LS-TD(λ)算法来估计评价函数值，即异常可能发生的概率；

（5）异常报警：设置阈值参数，当预测概率高于阈值参数时，系统报警。

2.根据权利要求1所述的采用多步时域差值学习的故障诊断与预测方法，其特征在于，所述步骤（1）中建立马尔可夫回报过程模型的具体流程为：

（1.1）定义马尔可夫回报过程：对每一个从x_t到x_t+1的状态转移，都定义一个回报r_t，状态转移概率满足如下的马尔可夫特性：

P{x_t+1|x_t,x_t-1,...,x₁,x₀}=P{x_t+1|x_t}   （1）

定义状态转移概率：令N(x_i)和A(x_i)分别代表从状态x_i开始的所有可能正常和异常的状态序列组，令C(x_i)为从状态x_i开始所有的状态转移总数，对任意的两个状态x_i和x_j，令C(x_i,x_j)代表从状态x_i到状态x_j的状态序列总数；那么，两个状态x_i,x_j间的状态转移概率定义为：

P(x_i,x_j)=C(x_i,x_j)/C(x_i)   （2）；

（1.2）马尔可夫回报模型，马尔可夫回报过程对连续行为的异常检测可定义为：

IDSs中对拥有完整观测序列S={x₁,x₂,…,x_T}的马尔可夫回报模型M，将其定义为一个三元组{X,R,P},X是所有可能状态的集合，P是给出的状态转移概率，回报函数R:x→r(x)定义为：

$r\left(x\right)=\left\{\begin{array}{cc}0,& \mathrm{if\; x}=x_T\mathrm{andS}\∈N\left(x_1\right)\\ 1,& \mathrm{if\; x}=x_T\mathrm{andS}\∈A\left(x_1\right)\\ 0,& \mathrm{if\; x}\≠x_T\end{array}\right.$    （3）

概率P_a(x)定义为一个完整观测序列的发生异常的可能性，它表示从x开始到成为异常序列：

P_a(x)=P{(x₁,x₂,...,x_T)∈A(x)|x₁=x}   （4）

其次，对每一个状态序列S={x_i}(i=1,2,…,n),异常概率的积累P(S)可以计算为：

$P\left(s\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_a\left(x_i\right)$    （5）；

（1.3）马尔可夫回报模型M的状态评价函数V(x)和状态异常概率P(x)是相等的，即V(x)=P(x)：

马尔可夫回报过程中的评价函数V(x)如下给出：

$V\left(x\right)=E\left\{\underset{t}{\mathrm{\Σ}}{\mathrm{\γ}}^t{r}_t\left(x_t\right)\right|x_1=x\}$    （6）。

3.根据权利要求2所述的采用多步时域差值学习的故障诊断与预测方法，其特征在于，所述步骤（4）的具体步骤为：

（4.1）给定：状态转移数据（x_t,x_t+1,r_t)(t=1,2,…,T)，其中，每一拥有长度T的状态转移轨迹被评价为正常或异常，每一个回报方程由式(3)得到；

（4.2）初始化：令t=0；设置初始状态x₀；

（4.3）训练：最大循环迭代数n对每一个状态序列循环：

（4.3.1）对当前状态x_t

·如果x_t是一个同化状态,r(x_t)=r_T,其中r_T是最终回报，

·否则,观察从x_t到x_t+1的状态转移和回报r(x_t,x_t+1),改善z_t、A(X_t)、B(X_t)；

（4.3.2）如果x_t是一个同化状态，如一个状态序列的结尾，重新通过设置x_t+1来初始化观测序列的初始状态；

（4.3.3）当改善后的预测设定好后，计算系数和评价函数；

（4.3.4）t=t+1；

（4.4）输出异常检测问题的评价方程模型{W_LS-TD,φ(x)}；

（4.5）测试：对于测试序列中的每一个状态x'，异常概率可估计为：

Images