JP2001160047A - メモリベース異常検出方法 - Google Patents

メモリベース異常検出方法

Info

Publication number
JP2001160047A
JP2001160047A JP34425899A JP34425899A JP2001160047A JP 2001160047 A JP2001160047 A JP 2001160047A JP 34425899 A JP34425899 A JP 34425899A JP 34425899 A JP34425899 A JP 34425899A JP 2001160047 A JP2001160047 A JP 2001160047A
Authority
JP
Japan
Prior art keywords
data
abnormality
distance
storage unit
data storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP34425899A
Other languages
English (en)
Inventor
Toyohisa Morita
豊久 森田
Yukiyasu Ito
幸康 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP34425899A priority Critical patent/JP2001160047A/ja
Publication of JP2001160047A publication Critical patent/JP2001160047A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】 【課題】項目で張る特徴空間において、局所的な正常、
異常の切り分けが難しい。 【解決手段】データ記憶部102のデータとテストデー
タ記憶部103のテストデータとの距離を距離計算部1
15が計算し、近傍N個のデータとの距離を近傍データ
記憶部106に記憶し、判定ロジック記憶部108の判
定ロジックを参照して判定制御部116が異常度を判定
して出力装置111から出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、大規模なデータを
利用した異常検出や不正検出の技術分野に属する。さら
に本発明は、データベースあるいはデータウェアハウス
の利用技術に関わる。
【0002】
【従来の技術】大量に蓄積した過去のデータから、近い
データを用いて何らかの判断に利用する方法として、M
BR(メモリベース推論)という手法がある。Mica
elJ.A.Berry and Gordon Lin
off,Data MiningTechniques
For Marketing,Sales,andCu
stomer Support,John Wiley&
Sons(1997)の157頁から186頁までにM
BRについての記述がある。これは、過去のデータを多
次元の空間に分布させ、推論対象の事例と近い事例を探
し出し、近い事例の値から、判断結果を合成して出力す
るものである。これを公知例1と呼ぶ。
【0003】正常、異常の区別のついていない大量に蓄
積した事例の中から、異常の兆候を発見する方法とし
て、Morita et al,Techniques
forTime−Series Data Proces
sing in PlantData Warehous
e,PADD98(1988)に記述がある。これは、
過去のデータを多次元の散布図の中に時系列的に並べ、
直近のN個のデータ点からマハラノビス汎距離を用いて
異常検出をするものである。これを公知例2とする。
【0004】一般のプラントにおける状態診断や異常検
知の常套手段として、計装 Vol.40 No.1(1
997)の16頁から21頁までに記述がある。ここで
は、固定された閾値によって、アラームの上下限を定め
ている。これを公知例3とする。
【0005】
【発明が解決しようとする課題】上記従来の技術には以
下のような課題がある。
【0006】公知例1では、過去のデータに、正常や異
常というラベルがついていれば、それを参照して、近い
データから推論対象事例のラベルの値を予測することが
できる。しかし、過去のデータに正常や異常というラベ
ルがなければ、予測はできない。
【0007】公知例2では、データの分布に多変量の正
規分布を仮定している。一般にデータの分布形状につい
て必ずしも正規分布が仮定できるとは限らない。
【0008】公知例3では、固定された閾値によって正
常範囲が定められるので、正常範囲が分散していた場合
に、不要な領域まで正常範囲にしてしまうおそれがあ
る。また、それを続けるとほとんど全域が正常範囲にな
ってしまう危険性もある。したがって、局所的な正常、
異常の切り分けに不向きである。
【0009】したがって、本発明の第1の目的は、正
常、異常などという教師データなしの異常検出を行うこ
とにある。
【0010】また、本発明の第2の目的は、データの分
布形状に制限のない異常検出を行うことにある。
【0011】また、本発明の第3の目的は、局所的な正
常、異常の切り分けを行うことのできる異常検出方法を
提供することにある。
【0012】
【課題を解決するための手段】本発明はデータ記憶装置
に過去のデータを蓄積しておき、今判定したいデータに
近いデータを過去のデータから検索し、それらとの距離
によって、異常か否かを判定するものである。
【0013】
【発明の実施の形態】以下、本発明の実施の形態の一例
を詳細に説明する。
【0014】図1に本発明の実施の形態の一例の構成図
を示す。
【0015】本発明では、メモリ101、データ記憶装
置109、入力装置110、出力装置111、制御装置
112が通信線117を介して相互接続されている。ま
た、メモリ101には、データ記憶部102、テストデ
ータ記憶部103、距離定義記憶部104、計算条件記
憶部105、近傍データ記憶部106、ワークメモリ1
07、判定ロジック記憶部108が含まれている。ま
た、制御装置112には、データ入出力制御部113、
条件制御部114、距離計算部115、判定制御部11
6が含まれている。
【0016】以下、図2に示すフローチャートを利用し
て本発明の実施の形態の一例の処理を説明する。
【0017】ステップ201では、データ入力制御部1
13がデータ記憶装置109から過去の蓄積データを入
力し、データ記憶部102に記憶する。ここで、データ
記憶装置109のデータ形式、及び、データ記憶部10
2のデータ形式は、図3に示すような表形式となる。す
なわち、1個以上の項目を持ったレコードが複数個並ぶ
形式となる。それぞれのレコードはIDで識別される。
【0018】ステップ202では、データ間の距離の定
義を入力する。ユークリッド距離であれば、それぞれの
項目に対してどのような重みをつけるかが、ここで入力
できる。図4にその入力画面例を示す。ここでは、距離
としてユークリッド距離が選ばれており、それぞれの項
目の重みが入力できる。項目の重みが0というのは、そ
の項目を距離計算に算入しないことを意味する。ここで
入力された距離定義は距離定義記憶部104に格納され
る。一連の作業は条件制御部114が制御を行う。
【0019】ステップ203では、計算条件の入力を行
う。ここでは、過去のデータから近いデータをいくつ検
索するか、というパラメータなどを入力する。ここで入
力されたデータは、計算条件記憶部105に格納され
る。一連の作業は条件制御部114が制御を行う。便宜
上、以降、検索する近いデータの個数をN個とする。
【0020】ステップ204では、判定ロジックの入力
を行う。ここでは、近い近傍のN個のデータ点の最も遠
い点を閾値で判定する。その閾値を入力装置110から
入力する。図5にその入力画面の例を示す。ここでは、
N個の中で最遠のデータを比較対象にし、距離の閾値を
入力している。ここで入力された判定ロジックは、判定
ロジック記憶部108に格納される。一連の作業は条件
制御部114が制御を行う。
【0021】最遠の他、平均や最近という代案も可能で
ある。
【0022】ステップ205では、テストデータの入力
があるかどうかで分岐する。ここでテストデータとは、
異常か否かを判断したいデータを意味する。
【0023】入力があればステップ206に移り、入力
がなければ終了する。
【0024】ステップ206では、テストデータを入力
装置110から入力し、テストデータ記憶部103に格
納する。
【0025】ステップ207では、テストデータとデー
タ記憶装置にあるデータとの距離を計算し、N個の近い
データを見つける。そのN個のデータは、データのID
とテストデータとの距離を少なくとも持つ。図6に近傍
データの形式を示す。レコードは、距離でソートされて
いる。計算の途中、新しいデータとの距離が計算された
ら、最も遠いものと比較して、それより近ければこの近
傍データの適切な位置に挿入がなされる。この近傍デー
タは、近傍データ記憶部106に格納されている。一連
の処理は距離計算部115が制御を行う。テストデータ
はテストデータ記憶部103から読み出され、データは
データ記憶部102から読み出される。距離定義は距離
定義記憶部104から読み出される。Nの値は計算条件
記憶部105から読み出される。距離計算時に必要に応
じてワークメモリ107がインデクスや途中計算結果の
保持に使用される。
【0026】ステップ208では、データ記憶装置のす
べてのデータの中でテストデータから近いN個のデータ
が近傍データ記憶部106に得られた状態で、このテス
トデータの異常度を判定する。ここでは、判定ロジック
記憶部108にある閾値と、近傍データ記憶部にある最
遠のデータとの距離が比較され、閾値より距離が大きけ
れば異常という意味の値が異常度として与えられ、例え
ば1という値がワークメモリ107に格納される。距離
が閾値以下の場合には0という値がワークメモリ107
に格納される。一連の処理は判定制御部116が制御を
行う。
【0027】ステップ209では、ワークメモリ107
に格納された異常度を出力装置111から出力し、ステ
ップ205に戻る。
【0028】以上の実施の形態によれば、データ記憶装
置のデータのそれぞれに教師としての正常、異常の情報
がなくても異常検出ができる。さらに、データの分布に
ついては何も制限のない異常検出が行える。また、デー
タ記憶装置のデータが項目で張る特徴空間の中で1個所
にかたまっていなくても正常、異常の判断ができるの
で、局所的な正常、異常の切り分けが可能となる。
【0029】また、この実施の形態は以下のように変更
して実施することも可能である。
【0030】第1に、ステップ201において、IDは
タイムスタンプであるように変更することも可能であ
る。この変更例によれば、過去の同一人物や、過去の同
一事象について近い事例を参考にした異常診断が行うこ
とができ、人ごと、あるいは事象ごとに起こる現象が異
なるときに高精度な異常検出が可能となる。
【0031】第2に、ステップ204において、閾値で
判定する部分を多段階の異常度が対応するようなテーブ
ルを参照するように変更することが可能である。図7に
は、距離の値の範囲(上限と下限)と、それに対応する
異常度を入力できるような入力画面例を示している。こ
のような表形式で判定ロジックが判定ロジック記憶部1
08に記憶される。また、ステップ208では、このテ
ーブルを参照することで、異常度を決定し、ワークメモ
リ107に格納する。この変更例によれば、0または1
という異常度ではなく、多値の異常度でより木目細かい
異常の表現が可能となる。
【0032】第3に、ステップ204において、閾値で
判定する部分をファジィのメンバシップ関数で判定する
ように変更することが可能である。図8には、メンバシ
ップ関数の入力画面例を示す。ここでは、マウスなどの
入力装置を用いて、複数の点を指示することで、その間
を線分で連結することで関数形状を決定できる。その結
果は、線分の始点と終点の座標値の形で図9に示すよう
な形で判定ロジック記憶部108に記憶される。ステッ
プ208では、このテーブルを参照し、内分点の計算を
することで、異常度を決定し、ワークメモリ107に格
納する。この変更例によれば、異常度によりフレキシブ
ルな表現を与えることができる。
【0033】
【発明の効果】以上述べたように、本発明によれば、デ
ータ記憶装置のデータのそれぞれに教師としての正常、
異常の情報がなくても異常検出ができる。さらに、デー
タの分布については何も制限のない異常検出が行える。
また、データ記憶装置のデータが項目で張る特徴空間の
中で1個所にかたまっていなくても正常、異常の判断が
できるので、局所的な正常、異常の切り分けが可能とな
る。
【図面の簡単な説明】
【図1】本発明の実施の形態の一例の構成図。
【図2】本発明の実施の形態の一例のフローチャート。
【図3】データ形式を示す図。
【図4】距離定義入力画面を示す図。
【図5】判定ロジック入力画面を示す図。
【図6】近傍データを示す図。
【図7】異常度テーブルを示す図。
【図8】メンバシップ関数を示す図。
【図9】メンバシップ関数内部データ形式を示す図。
【符号の説明】
101…メモリ、102…データ記憶部、103…テス
トデータ記憶部、104…距離定義記憶部、105…計
算条件記憶部、106…近傍データ記憶部、107…ワ
ークメモリ、108…判定ロジック記憶部、109…デ
ータ記憶装置、110…入力装置、111…出力装置、
112…制御装置、113…データ入出力制御部、11
4…条件制御部、115…距離計算部、116…判定制
御部、117…通信線。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 蓄積された過去データを参照して、テス
    トデータの異常を検出する方法であって、過去データを
    記憶する手段と、テストデータを入力する手段と、判定
    ロジックを記憶する手段と、テストデータと、蓄積され
    た過去データとの距離を計算する手段と、テストデータ
    から近い1個以上の過去データの距離を記憶する手段
    と、記憶された距離と、判定ロジックから異常度を判定
    する手段と、異常度を出力する手段とを持つことを特徴
    とするメモリベ−ス異常検出方法。
JP34425899A 1999-12-03 1999-12-03 メモリベース異常検出方法 Pending JP2001160047A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34425899A JP2001160047A (ja) 1999-12-03 1999-12-03 メモリベース異常検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34425899A JP2001160047A (ja) 1999-12-03 1999-12-03 メモリベース異常検出方法

Publications (1)

Publication Number Publication Date
JP2001160047A true JP2001160047A (ja) 2001-06-12

Family

ID=18367862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34425899A Pending JP2001160047A (ja) 1999-12-03 1999-12-03 メモリベース異常検出方法

Country Status (1)

Country Link
JP (1) JP2001160047A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005308419A (ja) * 2004-04-16 2005-11-04 Mitsubishi Heavy Ind Ltd 放射性物質容器用状態検出装置
JP2021015445A (ja) * 2019-07-11 2021-02-12 株式会社リコー 異常検知装置、情報処理方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005308419A (ja) * 2004-04-16 2005-11-04 Mitsubishi Heavy Ind Ltd 放射性物質容器用状態検出装置
JP2021015445A (ja) * 2019-07-11 2021-02-12 株式会社リコー 異常検知装置、情報処理方法およびプログラム

Similar Documents

Publication Publication Date Title
CN100594496C (zh) 信息处理装置和方法
CN102004944B (zh) 物件跟踪系统和方法
JP4155363B2 (ja) データ表示装置、データ表示方法、およびデータ表示用プログラムを記録した記録媒体
JP6555061B2 (ja) クラスタリングプログラム、クラスタリング方法、および情報処理装置
KR100858770B1 (ko) 프로세스 이상 분석 장치 및 프로그램 기록매체
KR100867267B1 (ko) 프로세스 이상 분석 장치 및 그 시스템, 프로그램이 기록된 기록 매체 및 방법
JPH11306185A (ja) 重み付け関連ルールを生成する方法および装置
JP2013025367A (ja) 設備状態監視方法およびその装置
JP2012089057A (ja) 設備状態監視方法およびその装置並びに設備状態監視用プログラム
JP6315528B1 (ja) 異常検知モデル構築装置、異常検知モデル構築方法及びプログラム
US20090043536A1 (en) Use of Sequential Clustering for Instance Selection in Machine Condition Monitoring
US5764824A (en) Clustering mechanism for identifying and grouping of classes in manufacturing process behavior
US6871196B1 (en) Visualizing automatically generated segments
WO2011114474A1 (ja) 判定装置、判定システム、判定方法及びコンピュータプログラム
CN111832880B (zh) 对正在进行的生产批运行的质量指示符的计算机实现的确定
US7584187B2 (en) System, detecting method and program
JP2005165375A (ja) 設備の診断装置及び診断方法
JP5875430B2 (ja) 異常検出装置、プログラムおよび異常検出方法
JP2001160047A (ja) メモリベース異常検出方法
US5590036A (en) Failure-recovering sequential procedure teaching system and method thereof
Wang et al. A new multivariate control chart based on the isolation forest algorithm
WO2021024246A1 (en) Methods and systems for improving asset operation based on identification of significant changes in sensor combinations in related events
US20020194102A1 (en) Time series data management method, information disclosing apparatus, and information recording means
CN105683852B (zh) 用于模型自适应的设备和方法
JP2020067948A (ja) 分析装置、分析方法および分析プログラム