JP2022066957A - 異常検知方法、異常検知装置、及びプログラム - Google Patents

Abstract

【課題】未学習のデータでも適応可能な異常検知を行う。【解決手段】異常検知方法は、コンピュータが、符号化器を用いて、符号化器への入力データが属するグループの特徴量と、入力データの固有の特徴量とを抽出することと、グループの特徴量、及び固有の特徴量から、復号化器を用いて入力データの再構成データを生成することと、入力データと再構成データとの誤差が閾値以上である場合に異常を検知することとを含む。【選択図】図２

Description

特許法第３０条第２項適用申請有り 掲載年月日 令和２年１０月１９日 掲載アドレス ｈｔｔｐｓ：／／ｗｗｗ．ｉｅｉｃｅ．ｏｒｇ／ｋｅｎ／ｐｒｏｇｒａｍ／ｉｎｄｅｘ．ｐｈｐ？ｔｇｓ＿ｒｅｇｉｄ＝ｆｃａａ６３ｆｃ９３９１９ｄ６３ｃ１９２９４１８２５０２５ｆ９７ｄｆｅｂ０４６ｆ１０２ｆａ４ｆａ２ｃ０４６ａｂｅ６ｄｃ５５６ｃｅ＆ｔｇｉｄ＝ＩＥＩＣＥ－ＩＢＩＳＭＬ

本発明は、異常検知方法、異常検知装置、及びプログラムに関する。

従来、オートエンコーダ（Autoencoder：ＡＥ、自己符号化器）を用いた異常検知方法
が知られている（例えば、特許文献１～６）。

特開２０１９－１１３９１４号公報 特開２０２０－３８５９４号公報 特開２０１９－６１５６５号公報 特開２０１８－１１２８６３号公報 特開２０１８－４９３５５号公報 特開２０１７－９７７１８号公報

ＡＥを用いた異常検知方法では、正常データが大量に利用可能である場合には、未知の異常を発見する上で比較的良い性能を示す。しかし、例えば画像による工場での不良品発見への応用では、環境条件や周辺機器の変更などで取得されるデータが影響を受ける場合や、製品自体に変化があった場合など、性能が低下し、再学習の必要が生じる場合がある。また、再学習においても十分な量の訓練データが得られず、性能が出ないことも考えられる。

本発明は、未学習のデータについても適応可能な異常検知方法、異常検知装置、及びプログラムを提供することを目的とする。

本発明の発明者らが鋭意検討した結果、到達した本発明は以下の通りである。
［１］コンピュータが、符号化器を用いて、前記符号化器への入力データが属するグループの特徴量と、前記入力データの固有の特徴量とを抽出することと、前記グループの特徴量、及び前記固有の特徴量から、復号化器を用いて前記入力データの再構成データを生成することと、前記入力データと前記再構成データとの誤差が閾値以上である場合に異常を検知することとを実行する異常検知方法。

［２］前記符号化器及び前記復号化器を用いて複数のデータから共通の特徴を抽出して、前記再構成データを生成する［１］に記載の異常検知方法。

［３］複数のデータを含むグループに関して、前記複数のデータの夫々の固有の特徴量である第１の特徴量と、前記グループの特徴量である第２の特徴量とを取得することと、前記第１の特徴量が従う確率分布と、前記第２の特徴量が従う確率分布との夫々から前記複数のデータについての前記第１の特徴量及び前記第２の特徴量のサンプリングを行うことと、前記サンプリングによって得られた前記第１の特徴量及び前記第２の特徴量から前記復号化器を用いて前記複数のデータの再構成データを生成することと、前記第１の特徴量、前記第２の特徴量、及び前記複数のデータと前記複数のデータの再構成データとの誤差で定まる損失関数を算出することと、誤差逆伝播法により前記損失関数を小さくする前記
符号化器及び前記復号化器のパラメータ修正を行うこととを含む学習をさらに行う［１］又は［２］に記載の異常検知方法。

［４］符号化器を用いて、前記符号化器への入力データが属するグループの特徴量と、前記入力データの固有の特徴量とを抽出することと、前記グループの特徴量、及び前記固有の特徴量から、復号化器を用いて前記入力データの再構成データを生成することと、前記入力データと前記再構成データとの誤差が閾値以上である場合に異常を検知することと、を実行する制御装置を備える異常検知装置。

［５］符号化器を用いて、前記符号化器への入力データが属するグループの特徴量と、前記入力データの固有の特徴量とを抽出することと、前記グループの特徴量、及び前記固有の特徴量から、復号化器を用いて前記入力データの再構成データを生成することと、前記入力データと前記再構成データとの誤差が閾値以上である場合に異常を検知することとをコンピュータに実行させるプログラム。

本発明によれば、未学習のデータについても適応可能となる。

図１は、異常検知装置として動作可能な情報処理装置の構成例を示す。 図２は、ＭＬＶＡＥの説明図である。 図３は、ＭＬＶＡＥの説明図である。 図４ＡはＡＥの説明図であり、図４ＢはＶＡＥの説明図である。 図５は、学習モードにおけるプロセッサの処理例を示す。 図６は、異常検知モードにおけるプロセッサの処理例を示す。 図７は、一実施例を示し、異常検知装置を屋根の画像に適用した例を示す。

以下、図面を参照して、本発明の実施形態に係る異常検知方法、異常検知装置及びプログラムを詳細に説明する。以下に記載する説明は、本発明の実施例であり、本発明はその要旨を超えない限り、これらの内容に限定されない。

図１は、異常検知装置として動作可能な情報処理装置（コンピュータ）１０の構成例を示す。情報処理装置１０には、例えば、パーソナルコンピュータ（ＰＣ）、ワークステーション（ＷＳ）、メインフレームなどの汎用又は専用のコンピュータを適用することができる。但し、情報処理装置１０は、ＰＣ及びＷＳに制限されず、異常検知装置としての動作が可能である限り、スマートフォンなどのスマートデバイスも含まれる。

図１において、情報処理装置１０は、バス６を介して相互に接続された、処理装置又は制御装置（コントローラ）としてのプロセッサ１と、記憶装置２と、通信回路３と、入力装置４と、ディスプレイ５（表示装置）とを含む。

記憶装置２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、ＳＳＤ（Solid State Drive）、フラッシュメモリ、ＥＥＰＲＯＭ
（Electrically Erasable Programmable Read-Only Memory）などである。記憶装置２は
、プログラム及びデータの記憶領域、プログラムの展開領域、プロセッサ１の作業領域、及び通信データのバッファ領域などとして使用される。通信回路３は、例えばＬＡＮカードであり、通信処理を司る。通信回路３は、無線通信処理を司る無線通信回路を含んでいてもよい。

入力装置４は、例えば、キー、ボタン、ポインティングデバイス、及びタッチパネル等であり、情報の入力に使用される。ディスプレイ５は例えば液晶ディスプレイなどであり、情報及びデータを表示する。プロセッサ１は、例えばＣＰＵ（Central Processing Unit）などである。プロセッサ１は、記憶装置２に記憶された各種のプログラムを実行する
ことによって、情報処理装置１０が異常検知装置として動作するための様々な処理を行う。プロセッサ１による処理は、集積回路（ＩＣ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡなど）やプロセッサと回路の組み合わせ（ＳｏＣ、ＭＣＵ、システムＬＳＩなど）によって行われてもよい。

プロセッサ１は、プログラムの実行によって、情報処理装置１０を、図２に示すような、マルチレベル変分オートエンコーダ（Multi-Level Variational Autoencoder：ＭＬＶ
ＡＥ）１１として動作させる処理を行う。図２及び図３は、ＭＬＶＡＥ１１の説明図であり、図４ＡはＡＥの説明図であり、図４Ｂは変分オートエンコーダ（Variational Autoencoder：ＶＡＥ）の説明図である。実施形態では、入力データとして画像データを用いる
。但し、データは画像以外（例えば数値）であってもよい。本実施形態では、本発明に係る異常検知装置の実施例の一つとしてＭＬＶＡＥを説明するが、本発明に係る異常検知装置は、ＭＬＶＡＥ以外にneural statistician等を含む。

図４Ａに示すように、ＡＥは、符号化器と復号化器とを含み、符号化器と復号化器との間の中間層において、入力データは、符号化器によって低次元の潜在変数に写像され、復号化器によって潜在変数から元の入力データを再生するように再構成データが写像される。入力データと再構成データとの誤差（再構成誤差）が閾値以上の場合に、異常が検知される。学習は、入力データと再構成データとの再構成誤差、例えば二乗誤差が最小となるように符号化器及び復号化器のパラメータが修正される。

図４Ｂに示すように、ＶＡＥも、符号化器及び復号化器を備え、入力データと再構成データとの誤差（再構成誤差）が閾値以上の場合に、異常が検知される。一方、ＶＡＥでは、潜在変数に確率分布（例えば、正規分布）を想定し、符号化器は、圧縮表現が想定される、確率分布のパラメータ（平均μ、分散σ^２）を出力する。ＶＡＥでは、学習モードにおいて、圧縮表現が従うべき確率分布との距離と再構成誤差との和（図４Ｂ参照）が小さくなるように、符号化器及び復号化器のパラメータが修正される。

図２において、ＭＬＶＡＥ１１は、符号化器１２（第１のニューラルネットワーク）と復号化器１３（第２のニューラルネットワーク）とを含む。ＭＬＶＡＥ１１は、符号化器１２の出力として得られる潜在変数、符号化器１２への入力データが属するグループの共通の特徴量Ｃ_Ｇと、入力データ固有の特徴量Ｓ_ｉとを得て、特徴量Ｃ_Ｇ及び特徴量Ｓ_ｉから復号化器１３を用いて入力データの再構成を行い、再構成データを得る。入力データと再構成データとの差が閾値以上の場合に異常が検知（異常と判定）される。

符号化器１２及び復号化器１３の夫々をなすニューラルネットワークの各層は全結合層や畳み込み層などにより構成される。ＭＬＶＡＥ１１の学習モードでは、図３に示すように、入力を再現できている程度を示す再構成誤差と、潜在変数のグループの特徴量Ｃ_Ｇと、グループの特徴が想定される確率分布との差異と、固有の特徴Ｓ_ｉが想定される確率分布との差異（例えば、ＫＬダイバージェンス）を小さくするように学習する。すなわち、“１／|ｇ|Σ_Ｇ∈ｇ－Ｌ（Ｇ）”の最大化を図る（ｇをグループとする）。

グループは、例えば、製品ごと、或いは工場の外観検査であれば、工場にある建物ごとに存在する複数のデータ（例えば複数の画像）を一つのグループとする、等となる。但し、グループの定義、グループの数、グループを構成する要素の数は適宜設定可能である。

ＭＬＶＡＥ１１を用いれば、同じグループに属する数個のデータ（例えば画像）から、グループの共通の特徴量を得ることができる。このため、未学習のグループのデータに対しても、数個のデータがあれば、数個のデータを符号化器１２に入力することで、グループの特徴量Ｃ_Ｇが得られる。その後、数個のデータの夫々を符号化器１２に入力して、データ固有の特徴量Ｓ_ｉを得ることができる。そして、グループの特徴量Ｃ_Ｇと、データの夫々のデータ固有の特徴量Ｓ_ｉとから、復号化器１３を用いて入力データを復元（再構成）することが可能となる。グループの例示として挙げた製品や建物の差は、グループの共通の特徴として表される。よって、ＭＬＶＡＥ１１によれば、ＡＥ及びＶＡＥに比べて未学習のグループのデータに対しても誤検出を減らすことができる。

図５は、ＭＬＶＡＥ１１の学習モードにおける、プロセッサ１の処理例を示すフローチャートである。学習モードにおいて、ニューラルネットワーク（符号化器１２及び復号化器１３）のパラメータ修正は繰り返し実施する必要がある。このため、あらかじめ繰り返し回数の規定値Ｎ_ｅを設定しておき、ステップＳ１で、プロセッサ１はｎ_ｅの値を０に設定し、ステップＳ２で、プロセッサ１は現在のｎ_ｅの値をインクリメントする。

ステップＳ１１において、プロセッサ１は、複数のグループから、夫々複数のデータ（いずれも正常値）から構成されるミニバッチ（データの集合）を取得する。すなわち、プロセッサ１は、記憶装置２或いは通信回路３を介してネットワークから、或るグループに属する複数のデータを取得する。

ステップＳ１２では、プロセッサ１は、符号化器１２を用いて、ステップＳ１１で取得した複数のデータの夫々の固有の特徴量Ｓ_ｉ（第１の特徴量）を得る。ステップＳ１３では、プロセッサ１は、符号化器１２を用いて複数のデータの夫々から得られた特徴量Ｃ_ｉを統合し、複数のデータが属するグループに共通の特徴量Ｃ_Ｇ（第２の特徴量）を得る。

ステップＳ１４では、プロセッサ１は、グループの特徴量Ｃ_Ｇの従う確率分布とデータ固有の特徴量Ｓ_ｉが従う確率分布との夫々からデータをサンプリングする。ステップＳ１５では、プロセッサ１は、サンプリングされたデータ（対象データ）を入力データとし、対象データから復号化器１３を用いて入力データを再構成する。

ステップＳ１６では、プロセッサ１は、データ固有の特徴量Ｓ_ｉ、グループ特徴量Ｃ_Ｇ、入力データと再構成データとの再構成誤差で定まる損失関数（図３のＬ（Ｇ））を算出する。ステップＳ１７では、プロセッサ１は、誤差逆伝播法（バックプロパゲーション）により損失関数を小さくするよう符号化器１２及び復号化器１３のパラメータ修正（各パラメータの重みの更新）を行う。

ステップＳ３では、プロセッサ１は、繰り返し回数カウンタｎ_ｅの値が繰り返し回数規定値Ｎ_ｅ以上かどうかの判定を行う。ｎ_ｅが繰り返し回数以下の場合は、ｎ_ｅの値に１を加算し（ステップＳ２）、再度ステップＳ１１～Ｓ１７の処理を繰り返す。その後、ｎ_ｅの値が規定値Ｎ_ｅを超えたところで処理を終了する。

図６は、ＭＬＶＡＥ１１の異常検知モード（識別モード）におけるプロセッサ１の処理例を示すフローチャートである。ステップＳ２１では、プロセッサ１は、識別対象と同一のグループに属する複数個のデータを記憶装置２又はネットワークなどから取得する。ステップＳ２２では、プロセッサ１は、ステップＳ２１で取得したデータから符号化器１２を用いてそのグループの特徴量Ｃ_Ｇを算出する。

ステップＳ２３では、プロセッサ１は、識別対象データとなるデータ（入力データ）を、記憶装置２又はネットワークなどから取得する。ステップＳ２４では、プロセッサ１は
、ステップＳ２３で取得した識別対象データから符号化器１２によりグループの特徴量Ｃ_Ｇとデータ固有の特徴量Ｓ_ｉとを抽出する。

ステップＳ２５では、プロセッサ１は、ステップＳ２４で抽出したデータ固有の特徴量Ｓ_ｉと、ステップＳ２２で用意したグループの特徴量Ｃ_Ｇから、復号化器１３でデータを再構成する（再構成データを生成する）。

ステップＳ２６では、プロセッサ１は、ステップＳ２５の再構成データと識別対象データの差異（再構成誤差）を評価（算出）する。ステップＳ２７では、プロセッサ１は、ステップＳ２６で算出された誤差と閾値（予め用意）とを比較し、異常の有無の判定を実施する。このとき、誤差が閾値以上であれば、異常と判定する。ステップＳ２８では、プロセッサ１は、ステップＳ２７で得られた判定結果を出力する（例えば、ディスプレイ５に表示する、或いはネットワークに送信する）。

異常検知装置として動作する情報処理装置１０によれば、学習済みの符号化器１２を用いて、同一のグループに属する数個のデータから、そのグループの確率分布（潜在変数）を得る。例えば、数個のデータから得られる確率分布の積をそのグループの特徴とした場合は、以下の式で示すことができる。

また、確率分布として正規分布を用いる場合は、以下の式を適用することができる。

入力データから符号化器１２によって得られたデータ固有の潜在変数と上記によって得たグループの特徴を示す潜在変数から復号化器１３を用いてデータを再構成する。そして、再構成によって得られた再構成データと入力データとの差（再構成誤差）を異常度とすることができる。再構成誤差は、確率分布として正規分布を想定する場合は、以下の式で表すことができる。

異常度が閾値以上、又は超過する場合に、異常と判定する（異常を検知する）ことができる。このように、異常検知装置１１によれば、未知のデータ（学習に用いていない未知のグループのデータ）に対して、ロバスト性を高めることができる。すなわち、再学習が不要となる。

図７には、実施例として、工場の屋根の画像からの劣化（錆を異常とする）の検出（画素単位での異常判定）を行った例を示す。異常検知装置のモデルとして、ＡＥと、ＶＡＥ
と、ＭＬＶＡＥとを用意した。また、真陽性率（True Positive Ratio）がｘ（ｘ＝９５
，９０，５０）のときの評価指標ＩｏＵ（Intersection(領域の共通部分) over Union(領域の和集合)）を求めた（ＩｏＵ＠ＴＰＲｘとして表記）。図７には学習時とは異なる屋
根に対する結果を示す表が示されている。建屋ごとに屋根のパターンは異なるので、ＭＬＶＡＥに関して、ＴＰＲが９５，９０及び５０のいずれにおいても、ＡＥ及びＶＡＥよりよい評価値（ＩｏＵ＠ＴＰＲｘ）が得られた。以上説明した構成は発明の趣旨を逸脱しない範囲で適宜変更可能である。

１・・・プロセッサ
２・・・記憶装置
１０・・・情報処理装置
１１・・・ＭＬＶＡＥ
１２・・・符号化器
１３・・・復号化器

Claims (5)

1. コンピュータが、
   符号化器を用いて、前記符号化器への入力データが属するグループの特徴量と、前記入力データの固有の特徴量とを抽出することと、
   前記グループの特徴量、及び前記固有の特徴量から、復号化器を用いて前記入力データの再構成データを生成することと、
   前記入力データと前記再構成データとの誤差が閾値以上である場合に異常を検知することと、
   を実行する異常検知方法。
2. 前記符号化器及び前記復号化器を用いて複数のデータから共通の特徴を抽出して、前記再構成データを生成する
   請求項１に記載の異常検知方法。
3. 複数のデータを含むグループに関して、前記複数のデータの夫々の固有の特徴量である第１の特徴量と、前記グループの特徴量である第２の特徴量とを取得することと、前記第１の特徴量が従う確率分布と、前記第２の特徴量が従う確率分布との夫々から前記複数のデータについての前記第１の特徴量及び前記第２の特徴量のサンプリングを行うことと、前記サンプリングによって得られた前記第１の特徴量及び前記第２の特徴量から前記復号化器を用いて前記複数のデータの再構成データを生成することと、前記第１の特徴量、前記第２の特徴量、及び前記複数のデータと前記複数のデータの再構成データとの誤差で定まる損失関数を算出することと、誤差逆伝播法により前記損失関数を小さくする前記符号化器及び前記復号化器のパラメータ修正を行うこととを含む学習をさらに行う
   請求項１又は２に記載の異常検知方法。
4. 符号化器を用いて、前記符号化器への入力データが属するグループの特徴量と、前記入力データの固有の特徴量とを抽出することと、前記グループの特徴量、及び前記固有の特徴量から、復号化器を用いて前記入力データの再構成データを生成することと、前記入力データと前記再構成データとの誤差が閾値以上である場合に異常を検知することと、を実行する制御装置
   を備える異常検知装置。
5. 符号化器を用いて、前記符号化器への入力データが属するグループの特徴量と、前記入力データの固有の特徴量とを抽出することと、
   前記グループの特徴量、及び前記固有の特徴量から、復号化器を用いて前記入力データの再構成データを生成することと、
   前記入力データと前記再構成データとの誤差が閾値以上である場合に異常を検知することと、
   をコンピュータに実行させるプログラム。

Images