CN102112933B - 异常检测方法及系统 - Google Patents

Abstract

提供一种能够允许学习数据的完整性和混入异常，在工厂等的设备中，能够早期、高精度地发现异常的方法及其系统。为实现上述目的，本发明，(1)着眼于时间性的数据的举动，沿时间把轨迹划分为类。(2)对于划分后的类组在子空间中进行模型化，计算偏移值作为候补。(3)把学习数据作为参考充分应用(比较、参照等)，掌握随时间变化、环境变动、维护(更换部件)、运转状态引起的状态转移。(4)模型化是抽出N个(N＝0，1，2，......)数据的回归分析法或投影距离法等子空间法(例如在N＝1时，考虑混入了1个异常数据，将其去除进行模型化)、或者局部子空间法。此外，回归分析法中的直线拟合相当于最低次的回归分析。

Description

异常检测方法及系统

技术领域

本发明涉及早期检测工厂或设备等的异常的方法。

背景技术

在电力公司中，利用燃气轮机的废热等供给区域暖气用热水，或者向工厂供给高压蒸汽或低压蒸汽。在石油化学公司中，把燃气轮机等作为电源设备运转。在这样使用燃气轮机等的各种工厂或设备中，早期发现其异常能够把对于社会的损害抑制到最小限度，是极为重要的。

不仅燃气轮机或者蒸汽轮机，而且在水力发电厂中的水轮机、原子能发电厂的原子炉、风力发电厂的风车，航空器或者重型机械的发动机、铁道车辆、自动升降机、升降机、机器、部件级中，装载的电池的恶化、寿命等，必须早期发现异常的设备不甚枚举。最近，为进行健康管理，如在脑电波测定、诊断中所见，对于人体的异常(各种症状)检测也变得重要起来。

因此，例如在美国的SmartSignal公司中，如在US6,952,662或者US6,975,962中记载的那样，主要把发动机作为对象提供异常检测的服务。因此，把过去的数据作为数据库(DB)使用，用独自的方法计算观测数据和过去的学习数据的类似度，通过类似度高的数据的线性耦合计算推定值，输出推定值和观测数据的偏离度。如General Electric公司那样，观看US6,216,066的申请内容时，也存在通过k-means聚类进行异常检测的例子。

专利文献1：US6,952,662

专利文献2：US6,975,962

专利文献3：US6,216,066

非专利文献1：Stephan W.Wegerich；Nonparametric modeling of vibrationsignal features for equipment health monitoring，Aerospace Conference，2003.Proceedings.2003IEEE，Volume 7，Issue，2003Page(s)：3113-3121

发明内容

在SmartSignal公司使用的方法中，在数据库中存储的过去的学习数据需要网罗包含各种状态。当观察到在学习数据中没有的观测数据，把全部这些观测数据作为在学习数据中不包含的数据处理，判断为偏移值，即使在正常信号中也判定为异常，检查的可靠性显著降低。因此，用户必须把过去的所有状态的数据全部作为DB来积蓄。

另一方面，当在学习数据中混入了异常的情况下，与表示异常的观测数据的乖离度降低，会将其漏掉。因此，需要进行仔细检查，以便在学习数据中不包含异常。

这样，在SmartSignal公司提出的基于学习数据的方法中，用户背负网罗收集数据和排除异常的重负。特别需要极为详细地应对随时间的变化、周围的环境变动、有无部件更换等维护作业等。进行这样的应对实质上十分困难，多不可能。

在General Electric公司的方法中，因为进行k-means聚类，不观察信号的举动，在这一点上不是本质的异常检测。

因此，本发明的目的是解决上述课题，提供一种异常检测方法以及系统，其允许学习数据的不完整性和混入异常，谋求减轻用户负担，并且能够早期高灵敏度地检测异常。

为实现上述目的，本发明，(1)着眼于时间性的数据的举动，沿时间把轨迹划分为类，(2)对于划分后的类组，在子空间进行模型化，计算偏移值来作为异常候补。(3)把学习数据作为参考使用(比较、参照等)，掌握随时间变化、环境变动、维护(部件更换)、基于运转状态的状态迁移。(4)模型化是抽出N个数据(N＝0，1，2，......)的回归分析法或者投影距离法等子空间法(例如在N＝1的情况下考虑混入1个异常数据，将其去除进行模型化)，或者局部子空间法。

并且，(5)综合子空间法等多个识别器的输出，进行异常判断。此外，回归分析法中的直线的拟合相当于最低次的回归分析。

根据本发明，可以允许学习数据不完全和混入异常，能够早期、高精度地发现工厂等的设备中的异常。即，不需要像SmartSignal公司那样收集与正常部的学习、多种状态对应的网罗数据。

附图说明

图1是表示本发明的第一实施例的图。

图2是多维时间序列信号的例子。

图3是相关矩阵的例子。

图4是轨迹划分聚类的应用例。

图5是轨迹划分聚类的应用例。

图6是轨迹划分聚类的应用例。

图7是与实施轨迹划分聚类时的模型的偏差的例子。

图8是与未实施轨迹划分聚类时的模型的偏差的例子。

图9是在特征空间进行了数据显示的一例。

图10是在特征空间进行了数据显示的另一例。

图11是在特征空间进行了数据显示的再一例。

图12是在特征空间进行了数据显示的再一例。

图13是表示本发明的第二实施例的图。

图14是表示本发明的第三实施例的图。

图15是警报信号的直方图的例子。

图16是表示本发明的第四实施例的图。

图17是Wavelet(变换)解析的例子。

图18是表示本发明的第五实施例的图。

图19是散布图解析以及互相关解析的例子。

图20是表示本发明的第六实施例的图。

图21是时间、频率解析的例子。

图22是表示本发明的第七实施例的图。

图23是支援本发明第七实施例的细节的图。

图24是子空间法的一例。

图25是Wavelet变换的说明图。

图26是说明与异常诊断的关系的图。

图27是硬件结构图。

图28是局部子空间法的应用例。

图29是投影距离法、局部子空间法的应用例。

图30是通过多个识别器的综合的识别例。

图31是通过多个识别器的综合的异常检测例。

具体实施方式

以下遵照实施例详细说明本发明的内容。

(实施例1)

为简化说明，在本申请中，对同一构成要素附加同一符号。图1表示本发明的一实施方式，图2表示作为对象的信号的例子。对象信号是图2所示的多个时间序列信号。这里，表示了序列1、2、3、4这样的4种信号。实际上，信号不限于4种，有时从数百到数千种。

各信号相当于来自在对象工厂或者设备中设置的多个传感器的输出。例如，从各种传感器在一日中数次或实时地、或按照规定的间隔观察汽缸、油、冷却水等的温度，油或冷却水的压力，轴的旋转速度、室温、运转时间等。不仅表示输出或者状态，还存在用于控制某个设备的控制信号(输入)的情况。如果还具有开/关控制，则还存在进行控制以便成为恒定值的情况。这些数据具有互相关高的数据，也有互相关低的数据。所有这些信号都可以成为对象。观察这些数据，判断有无异常。这里作为多维时间序列信号进行处理。

说明图1中表示的异常检测方法。首先，通过多维信号取得部1取得多维时间序列信号。然后，因为存在取得的多维时间序列信号缺损的情况，所以通过缺损值的修正/删除部2进行缺损值的修正/删除。缺损的修正一般例如是前后数据的置换或者移动平均的置换。删除是在把多个数据同时复位为0时等，排除作为数据的异常。也有时在称为状态数据/知识3的DB中预先存储设备的状态和工程师的知识，以其为基础进行缺损值的修正/删除。然后，关于修正/删除后的多维时间序列信号，通过采用相关解析的无效信号的删除部4，通过相关解析删除无效信号。这如图3中表示相关矩阵的例子那样，对于多维时间序列信号进行相关解析，在具有相关值接近1的多个信号的情况下等类似性极高的情况下，把它们作为冗长，从该多个信号中删除重复的信号，留下不重复的信号。此时还根据在状态数据/知识3中存储的信息进行删除。

然后，通过主成分分析部5删减数据的维数。在此，通过主成分分析，把M维的多维时间序列信号线性变换为维数为r的r维多维时间序列信号。主成分分析生成波动最大的轴。也可以是KL变换。降序排列通过主成分分析求得的固有值，根据从大的一方开始相加后的固有值除以全部固有值的和而得到的累积贡献率的值来决定维数r。

然后，对于r维的多维时间序列信号，通过采用轨迹划分的聚类部6，通过轨迹划分来进行聚类。图4表示其样态。图4左上的三维显示(称为特征空间)以贡献率高的三维显示主成分分析后的r维的多维时间序列信号。在该状态下，可知对象设备的状态仍作为复杂的状态观察。图4的剩余的8个三维显示沿时间追寻轨迹，实施聚类，并表示各类。聚类是如果沿着时间数据之间的距离超过规定的阈值，则作为别的类进行处理；如果不超过阈值，则作为相同的类进行处理。由此，可知类1、3、9、10、17是运转ON的状态的类；类6、14、20被划分为运转OFF的状态的类。类2等未图示的类是过渡期的类。当分析这些类时，可知在运转ON的状态下线性地进行轨迹移动，在运转OFF的状态下，进行不稳定的轨迹移动。这样，可知通过轨迹划分进行的聚类具有若干优点。

可以分类为运转ON的状态、运转OFF的状态等多个状态。

如在运转ON的状态下所见，例如可以用线性等低维的模型表现这些类。

这些聚类可以增加设备的警报信号或维护信息，作为它们的附带条件来实施。具体地说，对各类附加警报信号等信息来作为属性。

图5表示在特征空间中通过聚类附加了标签的状态的另外的例子。图6是在一个时间序列信号上显示聚类的结果的图。可知此时，可以生成16个类，把时间序列信号划分为16个类的样态。运转时间(累积时间)也重叠显示。成为水平的部分是运转OFF。可知能够高精度地分离运转ON和运转OFF。

然后，把聚类的各类作为对象，以各类为对象使用模型化部8进行低维子空间中的模型化。不需要是正常部限定，混入了异常也没有问题。这里，例如通过回归分析进行模型化。回归分析的一般公式如下。“y”相等于每一类的r维的多维时间序列信号。”X”是说明y的变量。“y～”成为模型。“e”是偏差。

y：目的变量(r列)

b：回归系数(1+p列)

X：说明变量矩阵(r行，1+p列)

$\left|\right|y-\mathrm{Xb}\left|\right|\⇒\min$

b＝(X’X)-1X’y(’表示转置)

y～＝Xb＝X(X’X)-1X’y(表示说明变量的影响的部分)

e＝y-y～(无法用y～近似的部分。去掉了说明变量的影响的部分)

式中，rank X＝p+1

在此，对于各类的r维的多维时间序列信号，进行抽出N个(N＝0，1，2，......)数据的回归分析。例如在N＝1的情况下，考虑混入了一种异常信号，把除去了异常信号的信号模型化为“X”，在N＝0的情况下处理全部r维多维时间序列信号。

除了回归分析以外，还可以应用CLAFIC法或者投影距离法等的子空间法。然后，通过偏离模型的偏差计算部9求出与模型的偏差。图24图解一般的CLAFIC法。表示了2类、2维图形的情况。求出各类的子空间，即在此表示为一维直线的部分。

一般，对于各类的数据的自相关矩阵进行固有值分解，作为基底求出固有矢量。使用与值大的、上位几个固有值对应的固有矢量。当输入未知图形q(最新的观察图形)时，求出向子空间的正投影的长度、或者向子空间的投影距离。然后，把未知图形(最新的观察图形)q分类为正投影的长度最大、或投影距离短的类。

在图24中把未知图形q(最新的观察图形)分类为类A。在图2表示的多维时间序列信号中，因为基本上把正常部作为对象，所以成为1类识别的问题(在图1中图示)，因此把类A作为正常部，求出从未知图形q(最新的观察图形)到类A的距离，将其作为偏差。然后，当偏差大时，判断为偏移值。在这样的子空间法中，即使混入若干异常值，通过削减维数，在成为子空间的时点，缓和其影响。这是应用子空间法的优点。

此外，在投影距离法中，把各类的重心作为原点。把在各类的协方差矩阵中应用KL展开得到的固有矢量作为基底使用。虽然制定了各种子空间法，但如果是具有距离尺度的子空间法，能够计算偏离程度。此外，在密度的情况下也能根据其大小判断偏离程度。CLAFIC法因为求出正投影的长度，所以是类似度尺度。

这样，在子空间计算距离或类似度，评价偏离程度。投影距离法等子空间法，因为是基于距离的识别器，所以作为能够利用异常数据时的学习法，可以使用学习对辞典图形进行更新的矢量量化或距离函数的量度学习。

另外，还可以应用称为局部子空间法的方法，该方法求出与未知图形q(最新的观察图形)接近的k个多维时间序列信号，生成各类的最近的图形成为原点那样的线性流形，把未知图形分类为向该线性流形的投影距离为最小的类(参照图31的局部子空间法的框内)。局部子空间法也是子空间法的一种。

对于已经说明的聚类后的各类，应用局部子空间法。k是参数。在异常检测中，和刚才一样，因为成为1类识别的问题，所以把大多数的数据所属的类A作为正常部，求出从未知图形q(最新的观察图形)到类A的距离，将其作为偏差。

在该方法中，例如还能够把从未知图形q(最新的观察图形)向使用k个多维时间序列信号形成的子空间的正投影的点作为推定值进行计算(成为在图31的局部子空间法的框内说明的推定值的数据)。另外，也可以按照接近未知图形q(最新的观察图形)的顺序重排列k个多维时间序列信号，进行与其距离成反比的加权，计算各信号的推定值。即使使用投影距离法等，也同样能够计算推定值。

参数k通常规定一种，但是，当改变几个参数k执行时，通过根据类似度选择对象数据，能够根据它们的结果综合地进行判断，所以更加有效。在局部子空间法中，因为把类内的所选择的数据作为对象，所以即使混入若干异常值，在成为局部子空间的时刻，大大地缓和其影响。

局部子空间法的“局部”的概念，也可以在回归分析中应用。即，作为“y”，求出与观察未知图形q接近的k个多维时间序列信号，作为该y的模型，求“

”，计算偏差“e”。

此外，如果简单地考虑1类识别的问题，则也可以应用1类支持矢量机等识别器。此时能够使用在高次空间中映射的、radial basis function等核心化。在1类支持矢量机中，接近原点的一侧成为偏移值，即成为异常。但是，支持矢量机即使在特征量的维数大时也能够应对，但是存在当学习数据量增大时计算量膨胀的缺点。

因此，可以应用在MIRU2007(画像の認識·理解シンポジウム、Meetingon Image Recognition and Understanding 2007)中发表的、“IS-2-10加藤丈和、野口真身、和田俊和(和歌山大)、酒井薫、前田俊二(日立)；パタ一ンの近接性に基づく1クラス識别器”等方法，此时，具有即使学习数据量增大，计算量也不会膨胀的优点。

接着，以回归分析为例说明实验例。图7表示设N＝0，通过线性回归分析，对r维的多维时间序列信号进行模型化，图示该模型和实测值的偏差的例子。图8是作为参考，不实施基于轨迹划分的聚类的情况。图7的情况是偏差大，在运转OFF区间以及运转ON的区间内，时间序列信号进行振动的举动的情况。最后，用偏移值检测部10求出偏移值。这里，检查与阈值的大小。检测出的异常信号，因为是在主成分分析后，所以对其进行逆变换，能够确认原来的信号以怎样的比例合成，是否判断为异常。

这样，因为把基于轨迹划分的聚类作为中心，通过低维模型表现多维时间序列信号，能够分解复杂的状态，通过简单的模型进行表现，所以具有容易理解现象的优点。另外，因为设定模型，所以不需要像SmartSignl公司的方法那样完全地使数据完备。具有即使数据有欠缺也无妨的优点。

接着，图28表示局部子空间法的应用例。是把信号分为前半和后半(遵照称为交叉确认的验证方法)，把它们分别作为学习数据，求出到剩余的数据的距离的例子。设参数k为10。如果改变几个k，取它们的大多数，则能够得到稳定的结果(基于与后述的称为装袋(Bagging)的方法同样的想法)。在该局部子空间法中，具有自动进行抽出N个数据这样的优点。在该图的应用例中，检测运转OFF中的不规则的举动。

在上述例子中，虽然还缓和了聚类的必要性，但是也可以把观测数据所属的类以外作为学习数据，对于该数据和观测数据应用局部子空间法。根据该方法，可以评价与别的类的乖离度。投影距离法也相同。图29表示它们的例子。把观测数据所属的类以外作为学习数据。该想法在像时间序列数据那样类似数据连续的情况下，能够从“局部”区域中排除最类似的数据，所以有效。此外，虽然N个数据的抽出作为特征量(传感器信号)进行了说明，但是也可以是时间轴方向的数据。

下面使用几幅图说明数据的表现方式。图9表现几个例子。图9左侧的图是二维显示主成分分析后的r维时间序列信号的图。是使数据的举动可视化的例子。图9右侧的图是通过轨迹划分实施聚类，图示了类的图。是对每一类用简单的低次模型(这里为直线)进行表现的例子。图10左侧的图是为了得知数据进行动作的速度而图示的例子。如果应用后述的Wavelet解析，则还可以分析速度即频率，而且可以作为多变量进行处理。图10右侧的图是为了得知与图9右侧的图表示的模型的偏差而显示的例子。

图11左侧的图是别的例子。是对根据距离基准等判定为类似的类进行合并(在该图中表示出邻接的类的合并)，表示合并后的模型，而且图示与模型的偏差的例子。图11右侧的图是表现状态的图。区分状态A、B、C这三种状态来显示。当区分状态来考虑时，如图12左侧的图所示，能够图示状态A的变化等。

当通过图6的例子考虑时，即使是相同的运转ON的状态，在运转OFF前后，也表现不同的举动，能够在特征空间中表现这些。图12右侧的图表示从根据过去的学习数据得到的模型(低次的子空间)的变化，能够观察状态变化。这样，通过加工数据，向用户表示加工后的数据，使当前的状况可视化，能够促进更好的理解。

然后，说明别的实施例。省略已经说明的方框。图13表示异常检测方法。这里，对于各类，按随机决定的个数选择r维多维时间序列信号。通过随机选择，具有表现出在使用全部信号时无法看到的特性、除去无效的信号、与全部组合相比能够在短时间内进行计算的优点。

并且，还考虑在时间轴方向上按照随机决定的个数选择r维多维时间序列信号的选择。这里，虽然有时把类作为单位，但是可以在类内进行区分，按照决定的个数，随机进行选择。

图14表示别的实施例。附加了处理警报信号的部分12。如图15(a)所示，取得警报信号的发生履历。然后，显示其直方图。频度高的区间，能够容易地想象异常程度高。因此，如图15(b)所示，还考虑直方图的频度，通过图1表示的异常确定部13组合警报信号和偏移值，附加异常的程度或可信度，进行异常判定。

图16表示别的实施例，是附加了Wavelet(变换)解析的例子。在Wavelet解析信号赋予部14中，把M维的多维时间序列信号作为对象，进行图17表示的Wavelet解析，把这些的信号与M维的多维时间序列信号相加。还能够和M维的多维时间序列信号置换。通过把这样新地相加或者置换后的多维时间序列信号作为对象，使用局部子空间法等的识别器检测异常。此外，图17(a)与后面说明的图25中的缩尺(scale)1的信号相当，图17(b)与后面说明的图25中的缩尺8的变动相当，图17(c)与图25中的缩尺4的变动相当，图17(d)与图25中的缩尺2的变动相当。

Wavelet解析是给予多重分辨率表现的处理。在图25中图解表示Wavelet解析。缩尺1的信号是本来的信号。使其依次与相邻的信号相加生成缩尺2的信号，计算与本来的信号的差，生成缩尺2的变动信号。依次重复该处理，最后得到缩尺8的恒定值的信号及其变动信号，结果，能够把本来的信号分解为缩尺2、4、8的各变动信号和缩尺8的直流信号。因此，把这样的缩尺2、4、8的各变动信号看作是新的特征信号，追加给多维时间序列信号来进行处理。

在脉冲(pluse)或者冲激脉冲(impluse)等非稳定信号中，进行傅立叶变换得到的频谱在全部区域上扩展，对于各个信号难以抽出特征。能够得到在时间上局部存在的谱的Wavelet变换适合于在把化学处理那样的、包含很多不稳定的信号的数据作为对象的情况，不稳定的信号包含脉冲或者冲击脉冲等。

另外，在具有一次延迟的系列中，仅在时间序列的状态下难以观察其图形，但是在时域、频域上有时呈现可识别的特征，Wavelet变换有效的场合多。

此外，Wavelet解析的应用，在电气学会编辑的、2005年朝仓出版的新诚一著的“ウエ一ブレツト解析の産業応用”中详细说明。应用于化工厂的控制系统诊断、空调厂控制中的异常检测、水泥的烧结过程的异常监视、玻璃熔炉控制等多个对象。

本实施例中与现有技术的不同点在于，把Wavelet解析作为多重分辨率表现来处理，通过Wavelet变换使本来的多维时间序列信号的信息显现。在此之上，通过把它们作为多变量进行处理，能够从异常微弱的阶段早期检测。即作为预兆能够早期检测。

说明了把Wavelet解析用于分类以外的例子。是异常数据不少，能够示教时的例子。以下表示使用的记号。

[数学式1]

N：1序列的数据长度(样本数)

m：AR模型的次数

K：类的数

N_p：训练数据的序列数

y_t：时间序列信号(t＝1～N)

z_t-i＝[y_t-1，y_t-2，Λ，y_t-m]^T

Z_N＝{y₁，y₂，K，y_N}

第j的观测值序列

C_i：类ⁱ(i＝1～K)

f_j：AR系数(j＝1～m)

Φ＝[f₁，f₂，A，f_m]^T

q＝[Φ^r，r]^T

P_r(C_i)：类ⁱ的事前概率

p(C_i|Z_N)：类ⁱ的事后概率

p(Z_N|C_i)：附带与类C_i有关的时间序列数据Z_N的条件的概率密度函数

p(Z_N|q)：附带与参数q有关的时间序列数据Z_N的条件的概率密度函数首先，假定以下的模型。

[数学式2]

$\begin{array}{cc}{y}_t=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\φ}}_j{y}_{t-1}+v_t={\mathrm{\Φ}}^T{z}_{t-1}+v_t& m+1\≤t\≤N\end{array}$

式中，v_t是平均值0，是方差p的高斯性白色序列。

这里考虑p(Z_N|θ)。

$p\left(Z_N\right|\mathrm{\θ})=p(y_N,y_{N-1},\mathrm{\Λ},y_1|\mathrm{\θ})$

$=p(y_1,y_2,\mathrm{\Λ},y_m,\mathrm{\θ})|p\left(\mathrm{\θ}\right)\×\underset{t=m+1}{\overset{N}{\mathrm{\Π}}}p\left(y_t\right|y_{t-1},y_{t-2},\mathrm{\Λ},y_1,\mathrm{\θ})$

y₁，y₂，Λ，y_m作为观测值使用，当假定p(y₁，y₂，Λ，y_m，θ)＝p(y₁，y₂，Λ，y_m)p(θ)时，

$p\left(Z_N\right|\mathrm{\θ})=p(y_1,y_2,\mathrm{\Λ},y_m)\underset{t=m+1}{\overset{N}{\mathrm{\Π}}}p\left(y_t\right|y_{t-1},y_{t-2},\mathrm{\Λ},y_1,\mathrm{\θ})$

这里，因为假定v_t是高斯分布，所以p(y_t|y_t-1，Λ，y₁，θ)也成为高斯分布，

$p\left(y_t\right|y_{t-1},\mathrm{\Λ},y_1,\mathrm{\θ})=\frac{1}{\sqrt{2\mathrm{\π\ρ}}}\exp (-\frac{1}{2\mathrm{\ρ}}{(y_t-{\mathrm{\Φ}}^T{z}_{t-1})}^2)$

因此，p(Z_N|θ)用下式表示。

$p\left(Z_N\right|\mathrm{\θ})=p(y_1,y_2,\mathrm{\Λ},y_m){\left(\frac{1}{2\mathrm{\π\ρ}}\right)}^{(N-m)/2}\exp (-\frac{1}{2\mathrm{\ρ}}\underset{t=m+1}{\overset{N}{\mathrm{\Σ}}}{(y_t-{\mathrm{\Φ}}^T{z}_{t-1})}^2)$

关于参数的最大似然推定值，通过Φ、ρ进行偏微分把对数似然ln p(Z_N|θ)置为0，可以如下求出。

$\widehat{\mathrm{\Φ}}={\left(\underset{t=m+1}{\overset{N}{\mathrm{\Σ}}}{z}_{t-1}{z}_{t-1}^T\right)}^{-\mathrm{\ϵ}}\left(\underset{t=m+1}{\overset{N}{\mathrm{\Σ}}}{z}_{t-1}{y}_t\right)$

$\widehat{\mathrm{\ρ}}=\frac{1}{N-m}\underset{t=m+1}{\overset{M}{\mathrm{\Σ}}}{(y_t-{\mathrm{\Φ}}^T{z}_{t-1})}^2$

然后，作为判别式，考虑下面的式子。

[数学式3]

$I^{*}=\mathrm{Arg}\underset{i}{\mathrm{Max}}\ln p\left(C_i\right|Z_N)$

上式把得到观测值序列Z_N时的类C_i的事后概率成为最大的类作为判别类采用。

$I^{*}=\mathrm{Arg}\underset{i}{\mathrm{Max}}\ln p\left(Z_N\right|C_i)P_r\left(C_i\right)$

在此，决定系统的参数θ在各类中恒定，如果假定p(θ|C_t)＝δ(θ-θi)，则p(Z_N|C_i)如下。

p(Z_N|C_i)＝∫p(Z_N，θ|C_t)dθ＝∫p(Z_N|θ，C_i)p(θ|Ci)dθ

＝∫p(Z_N|θ，C_t)δ(θ-θ_t)dθ＝p(Z_N|θ_i，C_i)＝p(Z_N|θ_i)

因此，判别式如下。

$I^{*}=\mathrm{Arg}\underset{i}{\mathrm{Max}}\ln p\left(Z_N\right|{\mathrm{\θ}}_i)P_r\left(C_i\right)$

另外，关于参数推定，使用使通过下式定义的似然成为最大的最大似然推定法。

[数学式4]

$L=\underset{j=1}{\overset{\mathrm{Np}}{\mathrm{\Σ}}}\ln p\left(Z_N^j\right|{\mathrm{\θ}}_t)$

式中，

是第j的观测值序列，N_p是训练数据的个数。

根据以上的结果，判别式、参数推定式如下。

[判别式]

[数学式5]

$I^{*}=\mathrm{Arg}\underset{i}{\mathrm{Max}}(-\frac{N-m}{2}\mathrm{In}\widehat{\mathrm{\ρ}}i+\ln \mathrm{pr}\left(C_i\right)-\frac{1}{2\widehat{\mathrm{\ρ}}i}\underset{t=m+1}{\overset{N}{\mathrm{\Σ}}}{(y_t-{\widehat{\mathrm{\Φ}}}_t^T{Z}_{t-1})}^2)$

[参数推定式]

${\widehat{\mathrm{\Φ}}}_t={\left(\underset{j=1}{\overset{\mathrm{Np}}{\mathrm{\Σ}}}\underset{t=m+1}{\overset{N}{\mathrm{\Σ}}}{z}_{t-1}^j{z}_{t-1}^{\mathrm{jT}}\right)}^{-1}\left(\underset{j=1}{\overset{\mathrm{Np}}{\mathrm{\Σ}}}\underset{t=m+1}{\overset{N}{\mathrm{\Σ}}}{z}_{t-1}^j{y}_t^j\right)$

${\widehat{\mathrm{\ρ}}}_t=\frac{1}{N_p(N-m)}\underset{j=1}{\overset{N_p}{\mathrm{\Σ}}}\underset{t-m+1}{\overset{N}{\mathrm{\Σ}}}{(y_t^j-{\widehat{\mathrm{\Φ}}}_t^T{z}_{t-1}^j)}^2$

基于上式，能够进行分类。特别，上述是向多个类分类的例子，但是，如果设类数K为2，则成为2分类问题，即异常检测的问题。另外，如果对于上述观测值应用Wavelet解析的结果，则能够进行也把在时间上局部存在的异常作为对象的异常检测。这样，在异常数据不少，能够示教的情况下，在统计学的意义上，能够进行精度更高的异常检测。

图18表示别的实施例。是附加了散布图/相关解析部15的例子。图19表示以r维的多维时间序列信号为对象，进行了散布图/相关解析的例子。在图19的互相关解析中，考虑延迟的迟滞(1ag)。通常，把互相关函数的最大值的位置称为迟滞。遵照该定义，关于两个现象的时间的偏离等于互相关函数的迟滞。

迟滞的正负由两个现象中的哪一个先发生来决定。这样的散布图解析或互相关解析的结果表示时间序列信号间的相关，但是也可以在附加各类的特征中应用，能够成为类间的类似性的判断指标。例如，根据迟滞量的一致度，判断类间的类似性。由此，能够进行图11表示的类似的类的合并等。使用合并后的数据进行模型化。此外，合并的方法也可以是其他方法。

图20表示别的实施例。是附加了时间/频率解析部16的例子。图21表示以r维的多维时间序列信号为对象，进行了时间/频率解析的例子。还能够进行时间/频率解析或者散布图/相关解析，把这些信号与M维的多维时间序列信号相加，或者置换为M维的多维时间序列信号。

图22表示别的实施例。是附加了学习数据的DB17和模型化(1)18的例子。图23表示其细节。通过模型化(1)，使学习数据为对象，将其模型化为多个模型，判断与观测数据的类似性，应用相应模型，计算与观测数据的偏差。模型化(2)是和图1相同的部分，据此计算与根据观测数据得到的模型的偏差。

然后，根据模型化(1)(2)的各个的偏差计算状态变化，计算综合偏差。这里，也可以均等处理模型化(1)(2)，但是可以附加权重。即，如果把学习数据作为基本来考虑，则增大模型化(1)的权重，如果把观测数据作为基本来考虑，则增大模型化(2)的权重。

如果遵照图12所示的表现，在类间比较通过模型(1)构成的子空间模型，并且如果它们是本来相同的状态的类，则可以了解其状态变化。另外，如果观测数据的子空间模型从此开始移动，则能够读取状态变化。如果状态变化是意图更换部件的状态变化等，即如果设计侧知道，应该容许由此引起的变化，则减小模型(1)的权重，增大模型(2)的权重。如果状态变化是没有意图的状态变化，则增大模型(1)的权重。例如，如果把参数α作为模型(1)的权重使用，则可以公式化为

α×模型(1)+(1-α)×模型(2)

还可以使模型(1)的权重为越旧则越小的遗忘型的权重。此时，重视基于最近的数据的模型。

在图23中，物理模型22是通过仿真，模拟对象发动机等的模型。在对象知识足够的情况下，可以用离散时间(非)线性状态空间模型(用状态方程式等表现)表现对象发动机等，所以，能够推定其中间值或者输出等。因此，如果遵照该物理模型，则能够根据与该模型的偏差，进行异常检测。

当然也能够遵照物理模型修正学习数据的模型(1)。或者反之，也能够遵照学习数据的模型(1)修正物理模型。作为物理模型的变形，能够把作为过去的实际成绩的知识，作为物理模型编入。也能够把与警报的发生或部件更换相伴的数据的迁移编入物理模型。或者，也可以伴随警报的发生或部件更换，使学习数据(各个的数据或者重心位置等)移动。

此外，对于图23，如从图1至图22所示，对于物理模型主要使用统计模型，是由于在对于产生数据的过程的理解少的情况下统计模型有效。距离或类似性，即使数据的产生过程不明了，也能定义。在图像是对象的情况下，在图像生成过程不明了时，统计模型也有效。在与对象有关的知识尽管少但能够利用的情况下，能够充分应用物理模型22。

图26表示异常检测以及异常检测后的诊断。在该图中，根据来自设备的时间序列信号，通过至此说明的方法检测异常。同时，取入维护的事件(警报或者作业实际成绩等)等的附带信息，高灵敏度地检测异常。如该图所示，如果在早期能够作为预兆发现，则在成为故障停止运转前采取某种对策。因此，根据该预兆进行异常诊断。

关于异常诊断，容易想到分为确定包含预兆的传感器的现象诊断、和确定具有引起故障的可能性的零件的原因诊断。在异常检测部中，对于异常诊断部，除了有无异常的信号外，还输出与特征量有关的信息。异常诊断部以这些信息为基础进行诊断。

图27表示硬件结构。对于执行异常检测的处理器，输入作为对象的发动机等的传感器数据，进行缺损值的修复等，并存储在数据库DB中。处理器使用观察数据、DB数据进行异常检测，输出异常检测信号。在显示部上进行实施例中叙述的那样的各种显示。还能够显示趋势。

对于数据库DB，熟练的工程师能够操作DB。特别是能够示教和存储异常事例和对策事例。存储(1)学习数据(正常)，(2)异常数据，(3)对策内容。通过把数据库DB做成由熟练的工程师着手处理的结构，完成简练有用的数据库。通过使学习数据(各个的数据或重心位置等)伴随警报的发生或部件更换而移动来进行学习操作。另外，还能够追加取得数据。如果有异常数据，则对于数据的移动可以应用一般的矢量量化等的方法。

在上述实施例中，以发动机等设备作为对象进行了说明，但是只要是时间序列信号类，则不拘泥于对象。还能够应用于人体的测定数据。遵照本实施例，即使状态数、迁移次数多，也能够应对。

另外，在实施例中说明的各功能例如聚类、主成分分析或者Wavelet解析等，不必一定实施，可以根据对象信号的性质适宜实施。

聚类不仅基于时间轨迹，还包含针对混合分布的EM(Expectation-Maximization)算法或k-means聚类等，所以还可以使用数据挖掘领域中的方法。关于得到的类，可以将其作为对象应用识别器，但是也可以对类进行分组，将组作为对象应用识别器。最简单的例子是区分每日的观测数据所属的类、和其所属的类以外的类(相当于图10的右侧的特征空间中图示的成为注重数据的当前数据和在时间上在其之前的过去数据)。另外，关于传感器信号(特征量)的选择，可以应用包装法(例如通过backward stepwiseselection，从具有全部特征量的状态，一个一个地去掉最不需要的特征)等已有的方法。

并且，关于识别器，也可以准备几个识别器，取它们的大多数。即，可以应用使用不同的识别器组的集成(集团)学习。图30表示其结构例。例如，识别器1是称为投影距离法的识别器，识别器2是称为局部子空间法的识别器，识别器3称为线性回归法的识别器。只要是基于事例数据的识别器，可以应用任意的识别器。

使用多个识别器的理由是识别器分别为不同的基准、在不同的对象数据范围(依赖区段的划分或其综合)内，为求出偏离状况在其结果中产生微妙的差异。因此，通过以下的上位基准构成识别器，该上位基准为：取大多数识别器来稳定化，通过OR(偏移值自身、即在为多值时检测最大值)逻辑，如果某个识别器检测到异常即作为发生异常进行输出，或者使全部检测器检测异常，通过AND(在为多值时检测最小值)逻辑，如果所有识别器都同时检测到异常，作为发生异常进行输出，使误检测成为最小限度。还可以增加警报信号、部件更换等维护信息等信息，进行上述综合。

也可以使识别器h1、h2、...全部为相同的识别器，改变对象数据范围(依赖于区段的分划或其综合)进行学习。例如，也可以应用作为图形识别的代表性方法的装袋或者提高等方法。通过应用该方法，关于异常检测，能够确保更高的正解率。这里，装袋是这样一种方法，从N个数据中允许重复地取出K个数据(复原抽出)，以该K个数据为基础生成第一个识别器h1，另外从N个数据中允许重复地取出K个数据，以该K个数据(内容与第一个识别器不同)为基础继续生成第二个识别器h2，根据不同的数据生成几个识别器，实际作为判别器使用时取大多数。

提高(称为Adaboost的方法)法，首先对N个数据分配均等的权重1/N，第一个识别器h1使用全部N个数据进行学习，在学习后，关于N个数据调查正解率，以其为基础求出可靠度β1(＞0)。对第一个识别器正解的数据的权重乘以exp(-β1)减小权重，对无法正解的数据的权重乘以exp(β1)来增加权重。

第二个识别器h2使用全部N个数据进行加权的学习，求出可靠度β2(＞0)，更新数据的权重。两个都正解的数据的权重变轻，两个都错误的数据的权重变重。以后，重复该过程生成M个识别器，实际作为判别器使用时取带有可靠度的大多数。通过把类组作为对象应用这些方法，可以期待提高性能。

图31表示包含图30所示的识别器的异常检测全体的结构例的一例。经过轨迹聚类、特征选择等，进行集成学习，实现高的识别率。识别器输出的综合的方法如上所述，但是对于哪个类应用哪个识别器的组合存在若干个。例如，对于与观测数据不同的类应用局部子空间法，掌握与不同的类的偏离状况(也计算推定值)，对于与观测数据相同的类应用回归分析法，掌握与自身类的偏离状况。

然后，综合这些识别器的输出，能够进行异常判定。也可以通过投影距离法或回归分析法掌握与其他类的偏离状况。也可以通过投影距离法掌握与自身类的偏离状况。关于类，在能够充分应用警报信号的情况下，可以根据警报信号的重症度等级，把未附加重症警报信号的类作为对象。

还能够判断类间的类似性，综合类似的类，将其作为对象。识别器输出的综合，还可以是偏移值的相加、最大/最小、OR/AND等标量变换处理，还可以以矢量方式，作为多维处理识别器的输出。当然极力地使识别器输出的缩尺一致。

关于与上述的类具有关联的方法，可以进一步使其他类作为对象进行第一报告的异常检测，在收集了自身类的数据的时刻，把自身类作为对象进行第二报告的异常检测。这样能够促使唤起顾客的注意。这样，可以说本实施例是在与对象类组的关系中，对信号的举动、行为更加注重的实施例。

进一步补偿上述几个实施例的综合的效果。例如，在拥有发电设备的公司中，希望削减设备的维护费用，在保修期中检查设备，实施部件更换。将其称为基于时间的设备维护。但是，最近查看设备的状态，正在转移到基于实施部件更换的状态的维护。为了实施状态维护，需要收集设备的正常、异常数据，该数据的量、质决定状态维护的质量。很多时候异常数据稀少，越是大型设备收集异常数据越是困难。因此，根据正常的数据检测偏移值变得十分重要。通过上述的几个实施例，能够根据正常数据检测异常；即使数据收集不完全也能够进行高精度的异常检测；即使包含异常数据也能够允许该影响，除了以上的直接的效果之外，还具有以下的次要的效果：对于用户来说容易理解现象；能够充分应用工程师的知识；还能够并用物理模型。

能够用作工厂、设备的异常检测。

符号说明

1多维信号取得部

2缺损值的修正/删除部

3状态数据/知识数据库

4通过相关解析的无效信号的删除部

6轨迹划分聚类

7警报信号/维护信息

8把各类作为对象的模型化部

9与模型的偏差计算部

10偏移值检测部

11通过特征选择对各类进行模型化的模型化部

12警报信号等的一定区域累积直方图

13异常确定部

14Wavelet(变换)解析部

15各类轨迹散布图/相关解析部

16每个类的时间/频率解析部

17学习数据

18模型化(1)部

19处理器

20显示器

21数据库

22物理模型

Claims (12)

1.一种异常检测方法，早期检测工厂或设备的异常，其特征在于，

从多个传感器取得数据，根据上述数据的时间的变化，把数据空间的轨迹划分为多个类，所述划分为多个类是指如果沿着时间数据之间的距离超过规定的阈值，则作为别的类进行处理；如果不超过阈值，则作为相同的类进行处理，

对于上述划分后的上述多个类，通过子空间法进行模型化，计算偏移值作为异常候补，其中

所述模型化是使用抽出N个数据的回归分析法或者子空间法进行上述模型化，其中N=0,1,2……等非负整数。

2.根据权利要求1所述的异常检测方法，其特征在于，

上述模型化并用参考模型来计算偏移值作为异常候补，所述参考模型是把过去从上述多个传感器得到的数据所构成的学习数据作为对象进行模型化得到的模型。

3.根据权利要求1所述的异常检测方法，其特征在于，

上述子空间法是投影距离法、CLAFIC法、或者把观察数据的附近作为对象的局部子空间法。

4.根据权利要求3所述的异常检测方法，其特征在于，

综合上述回归分析法、上述投影距离法、上述CLAFIC法、或者把观察数据的附近作为对象的上述局部子空间法的输出来进行上述偏移值的检测。

5.一种异常检测方法，早期检测工厂或设备的异常，其特征在于，

从多个传感器取得数据，

根据时间性的数据的时间的变化，把数据空间的轨迹划分为多个类，所述划分为多个类是指如果沿着时间数据之间的距离超过规定的阈值，则作为别的类进行处理；如果不超过阈值，则作为相同的类进行处理，

对于上述划分后的上述多个类，通过子空间法进行模型化，计算偏移值作为异常候补，其中

所述模型化是使用抽出N个数据的回归分析法或者子空间法进行上述模型化，其中N=0,1,2……等非负整数;

为了理解划分后的类，通过显示数据使状态可视化。

6.根据权利要求1所述的异常检测方法，其特征在于，

通过根据来自上述多个传感器的过去数据的多个类的异常检测，输出第一报告，通过根据来自上述多个传感器的当前数据的多个类的异常检测，输出第二报告。

7.一种异常检测系统，早期检测工厂或设备的异常，其特征在于，

具有：数据取得部，从多个传感器取得数据；

轨迹划分部，根据上述数据的时间的变化，把数据空间的轨迹划分为多个类，所述划分为多个类是指如果沿着时间数据之间的距离超过规定的阈值，则作为别的类进行处理；如果不超过阈值，则作为相同的类进行处理；

模型化部，对划分后的上述多个类在子空间中进行模型化；以及

异常检测部，计算偏移值作为异常候补，

对于在上述轨迹划分部中上述划分后的多个类，在子空间中进行模型化，计算偏移值作为异常候补，其中

所述模型化是使用抽出N个数据的回归分析法或者子空间法进行上述模型化，其中N=0,1,2……等非负整数。

8.根据权利要求7所述的异常检测系统，其特征在于，

具有学习数据库部，积蓄在上述数据取得部中取得的来自上述多个传感器的过去的数据，并且对该过去的数据进行模型化生成参考模型，

并用上述学习数据库部中的上述参考模型，计算偏移值作为异常候补。

9.根据权利要求7所述的异常检测系统，其特征在于，

上述子空间法是投影距离法、CLAFIS法、或者把观察数据的附近作为对象的局部子空间法。

10.根据权利要求9所述的异常检测系统，其特征在于，

综合上述回归分析法、上述投影距离法、上述CLAFIS法、或者把观察数据的附近作为对象的上述局部子空间法的输出进行上述偏移值的检测。

11.一种异常检测系统，早期检测工厂或设备的异常，其特征在于，

具有：数据取得部，从多个传感器取得数据；

轨迹划分部，根据上述数据的时间的变化，把数据空间的轨迹划分为多个类，所述划分为多个类是指如果沿着时间数据之间的距离超过规定的阈值，则作为别的类进行处理；如果不超过阈值，则作为相同的类进行处理；

模型化部，对于上述划分后的多个类在子空间中进行模型化，其中

所述模型化是使用抽出N个数据的回归分析法或者子空间法进行上述模型化，其中N=0,1,2……等非负整数；

异常检测部，计算偏移值作为异常候补；和

数据显示部，

为了理解上述划分后的多个类，通过显示数据使状态可视化。

12.根据权利要求11所述的异常检测系统，其特征在于，

通过根据来自上述多个传感器的过去数据的多个类的异常检测，输出第一报告，通过根据来自上述多个传感器的当前数据的多个类的异常检测，输出第二报告。

Images