CN102566421A - 机器状态监控中异常检测的条件相关性建模的系统和方法 - Google Patents

Abstract

本发明涉及对机器状态监控中的异常检测的条件相关性建模的系统和方法。一种预测机器传感器监控系统的传感器输出值的方法包括为监控机器性能的多个传感器提供(21)一组输入传感器数据X和一组输出传感器数据Y；通过最大化边缘化条件概率函数P(Y|X)的对数，习知(22)将输入传感器数据映射到输出传感器数据的函数关系，其中输出传感器数据Y相对于未知隐藏机器输入u的相关性被边缘化；提供(23)另外一组输入传感器数据X’；以及使用输入传感器数据X′和边缘化条件概率函数P(Y|X)计算(24)输出传感器数据Y′的期望值，其中所计算的期望值反映了输出传感器数据Y″相对于未知隐藏机器输入u的相关性。

Description

机器状态监控中异常检测的条件相关性建模的系统和方法

相关美国申请的交叉引用

本申请请求Chao Yuan在2010年9月17日提交的美国临时申请号为61/383,767的“Modeling Conditional Dependence for Anomaly Detection in MachineCondition Monitoring”的优先权，其内容通过引用全文结合在此。

技术领域

本公开涉及基于传感器输出监控机器状态(condition)的方法。

背景技术

机器状态监控任务是为了尽早检测出机器异常和故障，以避免对机器的进一步损害。这可以通过分析安装在机器不同部分的一组传感器数据，以及测量如温度，压力，震动等指示器而实现。当机器操作正常时，全部的传感器遵循特定关系。在监控期间，违背这种关系或相关性(dependency)可指示故障。

传感器值的这种关系可以以概率P(x)的形式数学地表示，其中x为所有传感器值在数据点的向量。如果P(x)大于阈值T，机器操作正常，否则，检测到异常。

这是许多现有技术监控技术背后的基本思想。该传感器可以被划分为两种类别。向量x可以表示到该机器的输入的传感器值，如气流，入口温度。向量y可以表示该机器的操作的输出的传感器值，如各种温度，压力，震动传感器值。

基于此条件概率的典型监控模型如下：

y＝f(x)+e    (1)

在式(1)中，y＝[y₁，y₂，...，y_M]^T为M维向量，且x＝[x₁，x₂，...，x_N]^T为N维向量。f(x)＝[f₁(x)，f₂(x)，...，f_M(x)]T为函数向量，其中每个f_m(x)作为预测一个输出值y_m的所有输入值的公式。e＝[e₁，e₂，...，e_M]^T为另一表示模型误差的M维向量。假定e服从具有零均值和对角协方差矩阵的高斯分布：P(e)＝N(e|0，σ²I_M)，其中I_M为M×M的单位矩阵，且σ²为方差。在该公式中，e_m都是彼此独立的。因此，给定式(1)时，P(y|x)服从高斯分布：

P(y|x)＝N(y|f(x)，σ²I_M)     (2)

至少有两种方法将式(1)应用于异常检测。首先，可以将P(y|x)或P(y|x)的对数似然(log likelihood)与阈值T比较。如果ln P(y|x)＞T，机器操作正常，否则存在异常。其次，计算出y_m与f_m(x)的偏差，或y_m-f_m(x)。如果偏差大于S(另一固定阈值)，存在异常，因为y_m与其均值f_m(x)的差异太大。注意参考文献[5]为一种上下文异常检测的方法。

给定x时y₁，y₂，...，y_M的条件独立性假定，如式(2)中所示，提出了问题。如果y₁和y₂仅仅由x确定，给定x时假定y₁，y₂是条件独立的是有效的。但是，一旦存在一些未知变量(向量)u，y₁和y₂就会彼此相关。这会在机器状态监控应用中经常发生，因为许多系统输入，如气体质量和空气浓度水平，不会被任何传感器测量到。该隐藏变量u表示这种缺失的信息。只有当所有的信息，x和u二者，都被给出，才可以说y₁和y₂是独立的：

P(y₁，y₂|x，u)＝P(y₁|x，u)P(y₂|x，u)。

因此，式(2)应被修改以处理给定x时y的条件相关性(conditionaldependence)。

图1图解说明了简单情况中的条件相关性，在该情况中M＝2，y₁和y₂的相关性与x和u有关，其中x已知而u为未知隐藏向量。y₁和y₂中的每一个取决于x和u二者。

发明内容

如在这里描述的本发明的示例性实施例通常包括系统和方法，用于通过边缘化(marginalize)隐藏输入值来对给定输入传感器值时的输出传感器值的条件相关性进行建模。根据本发明的一个实施例，条件概率P(y|x)用于异常检测(也称为上下文(contextual)异常检测)，其中ln P(y|x)与T相比较。为了检测机器系统的异常，根据本发明的一个实施例，假定有一些未知隐藏输入值，也需要该未知隐藏输入值来确定输出。如果给定所有已知输入值和隐藏的输入值，输出值可以视为条件独立的。否则，更实际地，输出值是条件相关的。根据本发明的一个实施例，给出了具有解析解的线性模型。测试结果证明了依据本发明一个实施例的算法的有效性。

根据本发明的一个方面，提供了一种方法，用于预测机器传感器监控系统的传感器输出值，该方法包括为监控机器性能的多个传感器提供一组输入传感器数据X和一组输出传感器数据Y；通过最大化边缘化条件概率函数P(Y|X)的对数(logarithm)来习知将输入传感器数据映射到输出传感器数据的函数关系，其中描出传感器数据Y相对于未知隐藏机器输入u的相关性已被边缘化；提供另一组输入传感器数据X’；以及利用输入传感器数据X′和边缘化的条件概率函数P(Y|X)计算输出传感器数据Y′的期望值，其中所计算的期望值反映了输出传感器数据Y″相对于未知隐藏机器输入u的相关性。

根据本发明的另一个方面，将输入传感器数据映射到输出传感器数据的函数关系为y＝f(x，u)＝Ax+Bu，其中x和y分别为输入传感器数据X和输出传感器数据Y的向量，u是表示未知隐藏输入值的向量，且A和B为该模型的矩阵参数。

根据本发明的另一个方面，给定x时对于函数关系f(x，u)＝Ax+Bu，y的条件概率为P(y|x)＝N(y|Ax，BB^T+σ²I_M)，并且习知函数关系f(x，u)＝Ax+Bu包括通过A＝(YX^T)(XX^T)^-1估计A，通过(Y-AX)(Y-AX)^T/L的前K个特征向量估计B，且通过(Y-AX)(Y-AX)^T/L的剩余L-K个次分量(minor component)的均方差计算σ²。

根据本发明的另一个方面，所述边缘化条件概率函数P(Y|X)的对数使用梯度下降最优化法(gradient descent optimization)而最大化。

根据本发明的另一个方面，所述边缘化条件概率函数P(Y|X)的对数使用期望值最大化算法而最大化。

根据本发明的另一个方面，梯度下降最优化法用在期望值最大化算法的每次迭代处。

根据本发明的另一个方面，将输入传感器数据映射到输出传感器数据的函数关系为y＝f(x，u)+e，其中f(x，u)被向量θ参数化；y为表示输出传感器数据值y的M维向量；x为表示输入传感器数据值x的N维向量；且u为K维向量，表示未知隐藏机器输入；且e为M维向量，表示建模误差，e具有均值为零、标准偏差为σ²I_M的高斯分布：P(e)＝N(e|0，σ²I_M)，其中I_M为M×M的单位矩阵。

根据本发明的另一个方面，边缘化条件概率函数P(Y|X)通过积分P(y |x)＝∫uP(y|x，u)P(u)du所计算，其中P(y|x，u)＝N(y|f(x，u)，σ²I_M)为给定输入传感器数据值x和未知隐藏机器输入u时输出传感器数据值y的条件概率；N为高斯分布，其均值通过f(x，u)给出；而标准偏差通过σ²I_M给出，其中I_M为M×M的单位矩阵，且P(u)＝N(u|0，I_K)为均值为0、标准偏差为I_K的u的高斯概率分布，其中I_K为K×K的单位矩阵。

根据本发明的另一个方面，K由交叉验证确定。

根据本发明的另一个方面，提供了一种计算机可读的程序存储设备，有形地包含计算机可执行以便执行预测机器传感器监控系统的传感器输出值的方法步骤的指令程序。

附图说明

图1根据本发明的一个实施例图解例示给定x时y₁和y₂的条件相关性。

图2是依据本发明的一个实施例的方法的流程图，该方法通过边缘化隐藏输入值来对给定输入传感器值时的输出传感器值的条件相关性进行建模。

图3是根据本发明的一个实施例的对于所选输入值的传感器值的图。

图4是依据本发明的一个实施例用于实现方法的示例性计算机系统的框图，该方法用于通过边缘化隐藏输入值来对给定输入传感器值时的输出传感器值的条件相关性进行建模。

具体实施方式

如在这里描述的本发明的示例性实施例通常包括系统和方法，用于通过边缘化隐藏输入值来对给定输入传感器值时的输出传感器值的条件相关性进行建模。相应地，尽管本发明容许各种修改和替换形式，其特定实施例通过例子在附图中示出并且将在此详细描述。应当理解的是，不意图限制本发明于公开的特定形式，相反地，发明涵盖了落入本发明精神和范围内的所有修改、等同和替换物。

模型

依据本发明的一个实施例，以下的模型可以处理y₁，y₂，...，y_M的条件相关性：

y＝f(x，u)+e，                  (3)

其中函数f(x，u)由参数向量θ参数化，且误差项e表示测量中的噪声影响。在利用径向基函数(radial basis function)表示f的情况下，θ可以表示核宽度(kernel width)和每个核的系数。K维向量u＝[u₁，u₂，...，u_K]^T表示图1中的隐藏向量。依据本发明的一个实施例，假定u具有固定的高斯分布：

P(u)＝N(u|0，I_K)                (4)

参数u(如果存在的话)将由函数f承载。依据本发明的一个实施例，可以假定K是已知的。依据本发明的其它实施例，K可以通过交叉验证习知。误差e同样具有固定的高斯分布P(e)＝N(e|0，σ²I_M)，并且表示与式(1)中相同的建模误差。式(3)具有以下的条件概率：

P(y|x，u)＝N(y|f(x，u)，σ²I_M)  (5)

式(5)指示，如果x和u都被给定，y₁，y₂，...，y_M是独立的。然而实际上，u是未知的，所以对u进行边缘化：

P(y|x)＝∫_uP(y|x，u)P(u)du      (6)

依据本发明一个实施例的模型可以通过式(3)，(4)，(5)和(6)定义。

在训练阶段期间，给定一组训练数据X＝[x₁，x₂，...，x_L]和Y＝[y₁，y₂，...，y_L]，将习知f(x，u)的参数θ和式(5)的方差σ²。注意，没有u可用于训练。依据本发明的实施例，可以通过最大化训练数据的对数似然来完成训练：

$\underset{\mathrm{\θ},{\mathrm{\σ}}^2}{\mathrm{Max}}\ln P\left(y\right|x)---\left(7\right)$

对于未来的测试数据，如果lnP(y|x)＞T，机器正常操作；否则，就有异常。由于式(6)通常不具备解析形式(analytic form)，最大化式(7)涉及迭代。依据本发明的实施例，存在求解式(7)的至少有三种方式。第一种方法依据本发明的实施例，采用标准梯度下降最优化方法。第二种方法依据本发明实施例，采用期望值最大化(EM)算法。第三种方法依据本发明的实施例在EM迭代循环中结合了梯度下降。

依据本发明的实施例，f(x，u)的线性模型具有形式：

f(x，u)＝Ax+Bu，              (8)

其中矩阵A和B是函数f的参数，即θ＝{A，B}。在这种情况下，式(6)，给定x时y的条件概率具有高斯分布，并因此具有解析形式：

P(y|x)＝N(y|Ax，BB^T+σ²I_M)    (9)

在依据本发明实施例的线性模型中，式(6)可以一趟就被最大化。首先，估计A：

A＝(YX^T)(XX^T)^-1               (10)

一旦A已知，式(8)缩小为概率主分量分析模型(PPCA)。B对应于(Y-AX)(Y-AX)^T/L的前K个特征向量。σ²是剩余L-K个次分量的均方差，其中L是以上训练组X和Y中的每一个中的项数。

图2是依据本发明的一个实施例概述方法的流程图，该方法通过边缘化隐藏输入值来对给定输入传感器值时的输出传感器值的条件相关性进行建模。参照该图，依据本发明的实施例的方法，通过分别提供输入数据和输出数据组X和Y而开始于步骤21。这些训练数据组在步骤22中，被用来最大化边缘化条件概率函数P(Y|X)的对数似然。对于依据本发明实施例的通用模型，该最大化可以涉及以上公开的方法中的一种，例如梯度下降或期望值最大化。对于根据本发明实施例的线性模型，来自式(9)的P(y|x)＝N(y|Ax，BB^T+σ²I_M)的对数似然通过根据式(10)估计A＝(YX^T)(XX^T)^-1而被最大化，并且随后为B和σ²求解该PPCA模型。在步骤23中，提供实际测试数据的数据组X’，并且该数据在步骤24中用来根据P(y|x)＝N(y|Ax，BB^T+σ²I_M)的对数似然计算输出数据值y的期望值。

测试结果

来自于欧洲联合循环发电厂的燃气轮机的数据被用来测试依据本发明实施例的算法。总共利用了35个传感器。输入x包括N＝3的过程驱动因子(processdriver)：气流、入口温度和入口导叶(IGV)致动器位置。输出y包括M＝32的叶片路径温度传感器：BPTC1A、BPTC1B、...、BPTC16A和BPTC16B。总共有2279个数据点，都表示燃气轮机的正常操作。图3示出了在这2279个数据点处输出传感器BPTC1A的传感器值的图。每个传感器值被归一化为零平均值和单位标准偏差。

L＝1140个数据点被随机选来进行训练，并且剩余的1139个数据点被用来进行测试。依据本发明的实施例，线性模型被测试。对于这个测试K被置为2。利用依据本发明实施例的线性模型，A，B和σ²相继被习知。习知的模型随后被应用于评估测试数据。对于每个测试数据点i，计算lnP(y_i|x_i)，其中P(y|x)由式(9)定义。最后的测试分数是所有1139个lnP(y_i|x_i)值的和。依据本发明的一个实施例，该测试分数为7795。因为该数据组包括了所有的正常数据点，较高的测试分数意味着数据点能够通过lnP(y_i|x_i)＞T的异常检测测试。

依据本发明的另一个实施例，考虑相似的模型而不采用隐藏变量u。其等同于依据本发明实施例的线性模型，其中用f(x)＝Ax来替换式(8)，以及用P(y|x)＝N(y|Ax，σ²I_M)来替换式(9)。该模型的测试分数现在就极低：-9164。这证明了依据本发明实施例的模型能够对给定x时的y的条件概率进行建模。

系统实施

可以理解的是本发明实施例可以被实施为硬件、软件、固件、专用过程或其组合的各种形式。在一个实施例中，本发明可以在软件中被实施为应用程序，有形地包含在计算机可读程序存储装置上。该应用程序可以被上传到包含任何合适架构的机器且被其执行。

图4是依据本发明的一个实施例用于实现方法的示例性计算机系统的框图，该方法用于通过边缘化隐藏输入值来对给定输入传感器值时的输出传感器值的条件相关性进行建模。现在参照图4，用来实现本发明的计算机系统41尤其可以包括：中央处理单元(CPU)42，存储器43和输入/输出(I/O)接口44。该计算机系统41通常通过I/O接口44耦合到显示器45和各种输入设备46，例如鼠标和键盘。支持电路可以包括例如缓存、电源、时钟电路和通信总线这样的电路。存储器43可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁盘驱动器、磁带驱动器等，或其组合。本发明可以实现为存储在存储器43中的例程47，并且由CPU42执行来处理来自信号源48的信号。因此，计算机系统41是通用计算机系统，其在执行本发明的例程47的时候成为专用的计算机系统。

计算机系统41同样包括操作系统和微指令代码。在此描述的各种处理和功能可以是微指令代码的一部分或者是通过操作系统执行的应用程序(或其组合)的一部分。除此以外，各种其他外围设备可以连接到计算机平台上，比如附加的数据存储设备和打印设备。

进一步可以理解的是，由于附图描述的一些构成系统组件和方法步骤可以实施为软件，系统组件(或过程步骤)之间的实际连接可能根据本发明被编程的方式而不同。给定在此提供的本发明的教导，本领域的普通技术人员将能够预期本发明的这些及相似的实现或配置。

Claims (21)

1.一种预测机器传感器监控系统的传感器输出值的计算机实现方法，包括以下步骤：

为监控机器性能的多个传感器提供一组输入传感器数据X和一组输出传感器数据Y；

通过最大化边缘化条件概率函数P(Y|X)的对数，习知将输入传感器数据映射到输出传感器数据的函数关系，其中输出传感器数据Y相对于未知隐藏机器输入u的相关性被边缘化；

提供另外一组输入传感器数据X′；以及

使用输入传感器数据X′和边缘化条件概率函数P(Y|X)计算输出传感器数据Y′的期望值，其中所计算的期望值反映了输出传感器数据Y″相对于未知隐藏机器输入u的相关性。

2.根据权利要求1的方法，其中将输入传感器数据映射到输出传感器数据的函数关系为y＝f(x，u)＝Ax+Bu，其中x和y分别为输入传感器数据X和输出传感器数据Y的向量，u为表示未知隐藏输入值的向量，且A和B为模型的矩阵参数。

3.根据权利要求2的方法，其中给定x时对于函数关系f(x，u)＝Ax+Bu，y的条件概率为P(y|x)＝N(y|Ax，BB^T+σ²I_M)，并且习知函数关系f(x，u)＝Ax+Bu包括通过A＝(YX^T)(XX^T)^-1估计A，通过(Y-AX)(Y-AX)^T/L的前K个特征向量估计B，且通过(Y-AX)(Y-AX)^T/L的剩余L-K个次分量的均方差计算σ²。

4.根据权利要求1的方法，其中所述边缘化条件概率函数P(Y|X)的对数使用梯度下降最优化法而最大化。

5.根据权利要求1的方法，其中所述边缘化条件概率函数P(Y|X)的对数使用期望值最大化算法而最大化。

6.根据权利要求5的方法，其中梯度下降最优化法用在期望值最大化算法的每次迭代处。

7.根据权利要求1的方法，其中将输入传感器数据映射到输出传感器数据的函数关系为y＝f(x，u)+e，其中f(x，u)被向量θ参数化，y为表示输出传感器数据值y的M维向量，x为表示输入传感器数据值x的N维向量，且u为表示未知隐藏机器输入的K维向量，且e为表示建模误差的M维向量，e具有均值为零、标准偏差为σ²I_M的高斯分布：P(e)＝N(e|0，σ²I_M)，其中I_M为M×M的单位矩阵。

8.根据权利要求7的方法，其中边缘化条件概率函数P(Y|X)通过积分P(y|x)＝∫_uP(y|x，u)P(u)du所计算，其中P(y|x，u)＝N(y|f(x，u)，σ²I_M)为给定输入传感器数据值x和未知隐藏机器输入u时输出传感器数据值y的条件概率；N为高斯分布，其均值通过f(x，u)给出；而标准偏差通过σ²I_M给出，其中I_M为M×M的单位矩阵，且P(u)＝N(u|0，I_K)为均值为0、标准偏差为I_K的u的高斯概率分布，其中I_K为K×K的单位矩阵。

9.根据权利要求7的方法，其中K由交叉验证确定。

10.一种预测机器传感器监控系统的传感器输出值的计算机实现方法，包括以下步骤：

为监控机器性能的多个传感器提供一组输入传感器数据X和一组输出传感器数据Y；

提供将输入传感器数据y映射到输出传感器数据x的函数关系y＝f(x，u)＝Ax+Bu，其中x和y分别为输入传感器数据X和输出传感器数据Y的N维和M维向量，u是表示未知隐藏输入值的K维向量，且A和B为函数关系的未知矩阵参数，其中给定x时对于函数关系f(x，u)＝Ax+Bu，y的条件概率为P(y|x)＝N(y|Ax，BB^T+σ²I_M)，其中N为均值为Ax、准偏差为BB^T+σ²I_M的高斯分布，其中I_M为M×M的单位矩阵；

通过A＝(YX^T)(XX^T)^-1估计A；

通过(Y-AX)(Y-AX)^T/L的前K个特征向量估计B；以及

通过(Y-AX)(Y-AX)^T/L的剩余L-K个次分量的均方差计算σ²。

11.根据权利要求10的方法，进一步包括：

提供另外一组输入传感器数据X’；以及

使用输入传感器数据X′和边缘化条件概率函数P(Y|X)计算输出传感器数据Y′的期望值，其中所计算的期望值反映了输出传感器数据Y″相对于未知隐藏机器输入u的相关性。

12.根据权利要求10的方法，其中该函数关系进一步包括M维向量项e，该e表示建模误差，分布为均值为零、标准偏差为σ²I_M的P(e)＝N(e|0，σ²I_M)，其中I_M为M×M的单位矩阵。

13.一种计算机可读的程序存储设备，有形地包含计算机可执行以便执行预测机器传感器监控系统的传感器输出值的方法步骤的指令程序，该方法包括以下步骤：

为监控机器性能的多个传感器提供一组输入传感器数据X和一组输出传感器数据Y；

通过最大化边缘化条件概率函数P(Y|X)的对数，习知将输入传感器数据映射到输出传感器数据的函数关系，其中输出传感器数据Y相对于未知隐藏机器输入u的相关性被边缘化；

提供另外一组输入传感器数据X’；以及

使用输入传感器数据X′和边缘化条件概率函数P(Y|X)计算输出传感器数据Y′的期望值，其中所计算的期望值反映了输出传感器数据Y″相对于未知隐藏机器输入u的相关性。

14.根据权利要求13的计算机可读的程序存储设备，其中将输入传感器数据映射到输出传感器数据的函数关系为y＝f(x，u)＝Ax+Bu，其中x和y分别为输入传感器数据X和输出传感器数据Y的向量，u为表示未知隐藏输入值的向量，且A和B为模型的矩阵参数。

15.根据权利要求14的计算机可读的程序存储设备，其中给定x时对于函数关系f(x，u)＝Ax+Bu，y的条件概率为P(y|x)＝N(y|Ax，BB^T+σ²I_M)，并且习知函数关系f(x，u)＝Ax+Bu包括通过A＝(YX^T)(XX^T)^-1估计A，通过(Y-AX)(Y-AX)^T/L的前K个特征向量估计B，且通过(Y-AX)(Y-AX)^T/L的剩余L-K个次分量的均方差计算σ²。

16.根据权利要求13的计算机可读的程序存储设备，其中所述边缘化条件概率函数P(Y|X)的对数使用梯度下降最优化法而最大化。

17.根据权利要求13的计算机可读的程序存储设备，其中所述边缘化条件概率函数P(Y|X)的对数使用期望值最大化算法而最大化。

18.根据权利要求17的计算机可读的程序存储设备，其中梯度下降最优化法用在期望值最大化算法的每次迭代处。

19.根据权利要求13的计算机可读的程序存储设备，其中将输入传感器数据映射到输出传感器数据的函数关系为y＝f(x，u)+e，其中f(x，u)被向量θ参数化，y为表示输出传感器数据值y的M维向量，x为表示输入传感器数据值x的N维向量，且u为表示未知隐藏机器输入的K维向量，且e为表示建模误差的M维向量，e具有均值为零、标准偏差为σ²I_M的高斯分布：P(e)＝N(e|0，σ²I_M)，其中I_M为M×M的单位矩阵。

20.根据权利要求19的计算机可读的程序存储设备，其中边缘化条件概率函数P(Y|X)通过积分P(y|x)＝∫_uP(y|x，u)P(u)du所计算，其中P(y|x，u)＝N(y|f(x，u)，σ²I_M)为给定输入传感器数据值x和未知隐藏机器输入u时输出传感器数据值y的条件概率；N为高斯分布，其均值通过f(x，u)给出；而标准偏差通过σ²I_M给出，其中I_M为M×M的单位矩阵，且P(u)＝N(u|0，I_K)为均值为0、标准偏差为I_K的u的高斯概率分布，其中I_K为K×K的单位矩阵。

21.根据权利要求19的计算机可读的程序存储设备，其中K由交叉验证确定。

Images