JP2018073258A

JP2018073258A - 検知装置、検知方法および検知プログラム

Info

Publication number: JP2018073258A
Application number: JP2016214784A
Authority: JP
Inventors: 友貴山中; Tomoki Yamanaka; 真徳山田; Masanori Yamada
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-11-02
Filing date: 2016-11-02
Publication date: 2018-05-10
Anticipated expiration: 2036-11-02
Also published as: JP6606050B2

Abstract

【課題】教師なし学習を用いた異常検知において、正常な状態と部分的に特徴を共有する異常な状態の誤検知を防止すること。【解決手段】取得部１５ａが、対象機器のデータを取得し、学習部１５ｂが、既知の正常な状態のデータの特徴を表すモデルを学習し、除外部１５ｃが、学習されたモデルから、既知の異常な状態のデータの損失関数に正則化項を付加して最小化することにより、既知の異常な状態のデータの特徴と共通する正常な状態のデータの特徴を表す部分を除外し、判定部１５ｄが、取得されたデータから、異常な状態のデータの特徴と共通する正常な状態のデータの特徴を表す部分が除外されたモデルに基づく既知の正常な状態のデータの特徴と異なる特徴が抽出された場合に、異常な状態と判定する。【選択図】図５

Description

本発明は、検知装置、検知方法および検知プログラムに関する。

ＩｏＴ（Internet of Things）時代が到来し、多種のデバイス（ＩｏＴ機器）がインターネットに接続され多様な使い方をされるようになっている。これに伴い、ＩｏＴ機器に対する異常検知システムや侵入検知システム（ＩＤＳ，Intrusion Detection System）等のセキュリティ対策が期待されている。

例えば、変分オートエンコーダ（非特許文献１参照）等を用いた教師なし学習によりＩｏＴ機器の異常を検知する技術が開示されている（非特許文献２参照）。教師なし学習を用いた異常検知においては、正常な状態の特徴を学習することにより、正常な状態とは異なる特徴が抽出された場合に異常と判定される。この技術によれば、異常な状態を学習していなくても異常を検知できるため、脅威情報が知り尽くされていないＩｏＴ機器の脅威の検知に有効である。

Diederik P. Kingma、Max Welling、"Auto-Encoding Variational Bayes"、[online]、２０１４年５月、［２０１６年１０月１１日検索]、インターネット＜URL:https://arxiv.org/pdf/1312.6114v10.pdf＞ Jinwon An、Sungzoon Cho、"Variational Autoencoder based Anomaly Detection using Reconstruction Probability"、[online]、２０１５年１２月、SNU Data Mining Center、［２０１６年１０月３１日検索]、インターネット＜URL:http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf＞

しかしながら、教師なし学習を用いた異常検知において、異常な状態が正常な状態と部分的に特徴を共有する場合に、異常な状態を正常な状態と誤検知してしまう場合がある。この場合に、異常な状態が既知になっても、正常な状態と特徴を共有する異常な状態を正しく異常と検知できるように学習し直すことはできない。

本発明は、上記に鑑みてなされたものであって、教師なし学習を用いた異常検知において、正常な状態と部分的に特徴を共有する異常な状態の誤検知を防止することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る検知装置は、対象機器のデータを取得する取得部と、既知の正常な状態のデータの特徴を表すモデルを学習する学習部と、学習された前記モデルから、既知の異常な状態のデータの特徴と共通する前記正常な状態のデータの特徴を表す部分を除外する除外部と、取得されたデータから、前記部分が除外されたモデルに基づく既知の正常な状態のデータの特徴と異なる特徴が抽出された場合に、異常な状態と判定する判定部と、を備えることを特徴とする。

本発明によれば、教師なし学習を用いた異常検知において、正常な状態と部分的に特徴を共有する異常な状態の誤検知を防止することができる。

図１は、本発明の一実施形態に係る検知装置を含むシステムの概略構成を例示する模式図である。図２は、検知装置の処理概要を説明するための説明図である。図３は、検知装置の処理概要を説明するための説明図である。図４は、検知装置の処理概要を説明するための説明図である。図５は、検知装置の概略構成を例示する模式図である。図６は、変分オートエンコーダを説明するための説明図である。図７は、検知処理手順を示すフローチャートである。図８は、変分オートエンコーダを説明するための説明図である。図９は、実施例を説明するための説明図である。図１０は、実施例を説明するための説明図である。図１１は、検知プログラムを実行するコンピュータを例示する図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［システム構成］
図１は、本実施形態に係る検知装置を含むシステムの概略構成を例示する模式図である。図１に例示するように、検知装置１は、多数のＩｏＴ機器２とネットワーク３を介して接続されている。検知装置１は、ＩｏＴ機器２からトラフィック情報やデバイスログ情報等の時系列のデータを取得して、教師なし学習器として正常な状態のデータの特徴を学習する。また、検知装置１は、異常検知の対象とするＩｏＴ機器２から取得したデータから、学習された正常な状態の特徴とは異なる特徴が抽出された場合に異常な状態と判定することにより、ＩｏＴ機器２の異常を検知する。

ここで、図２〜図４を参照し、本実施形態の検知装置１の処理概要を説明する。図２に例示するように、検知装置１は、正常な状態のデータの分布を学習し、この正常な状態の分布とは異なる分布のデータを異常な状態と判定する。したがって、このままでは、図３に例示するように、既知の異常な状態のデータの分布が、学習した正常な状態のデータの分布の一部と共通する場合には、異常な状態と判定することができない。また、このように正常な状態と共有する異常な状態のデータの分布を、正常な状態のデータの分布と区別して学習することができない。

そこで、本実施形態の検知装置１では、図４に例示するように、正常な状態の分布から、異常な状態との共通部分を除外した分布を求める。これにより、検知装置１は、正常な状態を表すモデルに既知の異常な状態をフィードバックして、正常な状態と特徴を共有する異常な状態を誤って正常な状態と判定することを防止する。

［検知装置の構成］
図５は、検知装置１の概略構成を例示する模式図である。図５に例示するように、検知装置１は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介したＩｏＴ機器２等の外部の装置と制御部１５との通信を制御する。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、後述する検知処理により特定される正常な状態のモデルのパラメータ等が記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

本実施形態において、記憶部１４には、ログデータ１４ａとモデルパラメータ１４ｂとが格納される。ログデータ１４ａには、過去のＩｏＴ機器２の正常な状態のデータや既知の異常な状態のデータが含まれる。既知の異常な状態とは、例えば、既知の脅威情報に感染した場合に発生し得る異常な状態や、過去に検知できなかった異常な状態を意味する。モデルパラメータ１４ｂには、後述する検知処理により学習された、正常な状態の特徴を表すモデルのパラメータが含まれる。

制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図５に例示するように、取得部１５ａ、学習部１５ｂ、除外部１５ｃおよび判定部１５ｄとして機能する。

取得部１５ａは、対象機器のデータを取得する。具体的に、取得部１５ａは、後述する検知処理の対象とするＩｏＴ機器２から、トラフィック情報やデバイスログ情報等の時系列のデータを取得する。ここで取得されたＩｏＴ機器の正常な状態のデータおよび既知の異常な状態のデータは、記憶部１４のログデータ１４ａに格納される。

学習部１５ｂは、既知の正常な状態のデータの特徴を表すモデルを学習する。例えば、学習部１５ｂは、変分オートエンコーダ等の教師なし学習器で実現される。また、ここで学習されたモデルのパラメータは、記憶部１４のモデルパラメータ１４ｂに格納される。

具体的に、学習部１５ｂは、次式（１）に示す損失関数Ｌを最小にするようにモデルのパラメータを最適化することにより、入力されたデータを学習する。

ここで、上記式（１）の第一項はＲｅｃｏｎｓｔｒｕｃｔｉｏｎｌｏｓｓ（以下、Ｒｅｃｌｏｓｓとも記す）と呼ばれる。この第一項は、観測されるデータｘと、データｘを生成する潜在変数ｚの事後確率分布を推定し、さらに潜在変数ｚの確率分布から推定し直したデータｘの確率分布との距離を表す。言い換えれば、観測されるデータｘと、データｘの情報を潜在変数ｚに圧縮した後に復元し直したデータｘとの距離を表す。すなわち、潜在変数ｚによりデータｘの特徴が高精度に抽出されている場合に、値が小さくなる。したがって、値が小さいほど学習されていることを表す指標となる。

また、上記式（１）の第二項はＫＬダイバージェンスと呼ばれる。この第二項は、観測されるデータｘから潜在変数ｚを生成する条件付き確率分布ｑ（ｚ｜ｘ）と、データｘによらない事前確率分布ｐ（ｚ）との距離を表す。

したがって、上記の２つの距離の和で表される損失関数Ｌを最小化することは、２つの距離を同時に最小化することであり、できる限りデータｘによらない潜在変数ｚの確率分布を求めることを意味する。

除外部１５ｃは、学習されたモデルから、既知の異常な状態のデータの特徴と共通する正常な状態のデータの特徴を表す部分を除外する。具体的に、除外部１５ｃは、既知の異常な状態のデータの損失関数に正則化項を付加して最小化することにより、該異常な状態のデータの特徴と共通する正常な状態のデータの特徴を表す部分を除外する。

ここで、既知の異常な状態のデータの損失関数Ｌ_ａｂは、次式（２）のように、右辺第二項に示す正則化項が付加されて定義される。ここで、ａ，Ｎはパラメータである。また、正則化項とは、学習を阻害するために導入される項を意味する。

また、上記式（２）の右辺第一項および第二項は、次式（３）のように書き換えることができる。

図６は、上記式（３）の関数形を例示するグラフである。図６に示すように、関数ｆ（ｘ）は、ｘすなわちＲｅｃｌｏｓｓがａ以下の場合に発散し、Ｒｅｃｌｏｓｓの最小化を阻害する。一方、Ｒｅｃｌｏｓｓがａより大きい場合には、ｆ（ｘ）がほぼｘに等しくなり、正則化項つきの損失関数Ｌ_ａｂは損失関数Ｌのようにふるまうことがわかる。言い換えれば、損失関数Ｌ_ａｂは、Ｒｅｃｌｏｓｓがａ以下となる学習が阻害された損失関数Ｌを意味する。

従って、除外部１５ｃは、異常な状態のデータを、Ｒｅｃｌｏｓｓがａ以下とならないようにして損失関数Ｌ_ａｂを最小化する学習を行うことにより、正常な状態のデータの特徴から、異常な状態の特徴と共通する部分を除外する。このことは、正常な状態のデータの特徴と、異常な状態と共有する特徴を表す部分との距離を所定の値ａより大きく離すことを意味する。すなわち、図４に例示したように、正常な状態のデータの分布から異常な状態のデータの分布を除外することを意味する。

図５の説明に戻る。判定部１５ｄは、取得されたデータから、異常な状態のデータの特徴と共通する正常な状態のデータの特徴を表す部分が除外されたモデルに基づく既知の正常な状態のデータの特徴と異なる特徴が抽出された場合に、異常な状態と判定する。また、判定部１５ｄは、異常な状態と判定した場合に、警報等を出力部１２に出力する。例えば、判定部１５ｄは、アラームを発出したりエラーメッセージを表示したりするように出力部１２を制御する。これにより、ネットワーク３に接続された多数のＩｏＴ機器２の異常の検知が容易になる。

［検知処理］
次に、図７を参照して、本実施形態に係る検知装置１による検知処理について説明する。図７は、検知処理手順を示すフローチャートである。図７のフローチャートは、例えば、検知処理の開始を指示する操作入力があったタイミングで開始される。

取得部１５ａが、対象機器のデータを取得して、ログデータ１４ａとして記憶部１４に格納する（ステップＳ１）。次に、学習部１５ｂが、記憶部１４に格納されているログデータ１４ａのうち、正常な状態のデータを学習し、正常な状態のデータの特徴を表すモデルのモデルパラメータを特定する（ステップＳ２）。また、除外部１５ｃが、学習されたモデルから、既知の異常な状態のデータの特徴と共通する部分を除外する（ステップＳ３）。その際、除外部１５ｃは、既知の異常な状態のデータの損失関数に正則化項を付加して最小化することにより、該異常な状態のデータと共有する正常な状態のデータの特徴を表す部分を除外する。

また、取得部１５ａが最新のデータを取得する（ステップＳ４）とともに、判定部１５ｄが、取得されたデータの特徴を抽出する。この特徴が、異常な状態のデータの特徴と共通する部分が除外されたモデルに基づく正常な状態のデータの特徴と異ならない場合に（ステップＳ５，Ｎｏ）、判定部１５ｄは、ステップＳ４に処理を戻す。一方、この特徴が正常な状態のデータの特徴と異なる場合に（ステップＳ５，Ｙｅｓ）、判定部１５ｄは、データが異常な状態と判定する（ステップＳ６）。これにより、一連の検知処理が終了する。

以上、説明したように、本実施形態の検知装置１において、取得部１５ａが、対象機器のデータを取得する。また、学習部１５ｂが、既知の正常な状態のデータの特徴を表すモデルを学習する。また、除外部１５ｃが、学習されたモデルから、既知の異常な状態のデータの特徴と共通する正常な状態のデータの特徴を表す部分を除外する。そして、判定部１５ｄが、取得されたデータから既知の正常な状態のデータの特徴と異なる特徴が抽出された場合に、異常な状態と判定する。

これにより、検知装置１は、正常な状態を表すモデルに既知の異常な状態をフィードバックして、正常な状態と特徴を共有する異常な状態を誤って正常な状態と判定することを防止することができる。例えば、既知の脅威情報に感染したログデータ１４ａや過去に検知に失敗したログデータ１４ａ等の既知の異常な状態のデータを用いて学習することにより、異常検知の精度を向上させることができる。このように、教師なし学習を用いた異常検知において、正常な状態と部分的に特徴を共有する異常な状態の誤検知を防止することができる。したがって、ＩｏＴ機器２に対する脅威を高精度に検知できる。

［実施例］

次に、図８〜図１０を参照して、検知装置１の学習部１５ｂが、変分オートエンコーダで実現されている実施例について説明する。図８に例示するように、変分オートエンコーダは、教師なし学習器として、標準的な手書き数字の画像データセットであるＭＮＩＳＴが入力されると、各数字の画像のピクセル位置分布を学習し、各数字を再構成したデータを出力する。

また、本実施例において、検知装置１に、１，７を除いた０から９までの手書き数字を正常な状態のデータとして学習させる。この場合に、検知装置１は、学習していない手書き数字１，７を異常な状態のデータと判定しなければならない。

図９は、従来の正常な状態のデータのみを学習した場合における、学習回数すなわちエポック数と、学習の程度を表す指標であるＲｅｃｏｎｓｔｒｕｃｔｉｏｎｌｏｓｓとの関係を示す図である。ただし、最終のエポック数を５０とした。この場合、図９に例示するように、１，７について、それ以外の数字と比較してＲｅｃｏｎｓｔｒｕｃｔｉｏｎｌｏｓｓが有意に大きいと言うことはできず、学習されていること、すなわち異常の検知に失敗していることを意味する。これは、１，７が単純な形状であって、正常な状態を意味する他の数字と特徴を部分的に共有しているためと考えることができる。

これに対し、図１０は、本実施例の検知装置１における、エポック数とＲｅｃｏｎｓｔｒｕｃｔｉｏｎｌｏｓｓとの関係を示す図である。ただし、最終のエポック数を５０、上記式（２）のａ＝１２０、Ｎ＝１５とした。この場合、図１０に例示するように、１，７について、それ以外の数字と比較してＲｅｃｏｎｓｔｒｕｃｔｉｏｎｌｏｓｓが有意に大きく、学習されていないことがわかる。これは、異常の検知に成功していることを意味する。特に１，７のＲｅｃｏｎｓｔｒｕｃｔｉｏｎｌｏｓｓがおよそａ＝１２０であり、正則化項が期待どおりに機能していることがわかる。

また、１，７以外の数値についても、学習の収束速度がやや遅くなっているものの、従来の正常な状態のデータのみの学習と同程度に学習が進んでいることがわかる。すなわち、既知の異常な状態と共通する特徴が除外された正常な状態の特徴によっても、正常な状態を再構成できることがわかる。これは、既知の異常な状態と共通する特徴が除外された正常な状態の特徴によっても、正常な状態を正しく識別できることを意味する。このように、上記実施形態の検知装置１により、既知の異常の状態のデータが正常な状態のデータと特徴の一部を共有している場合にも、誤検知を防止できることが確認された。

［プログラム］
上記実施形態に係る検知装置１が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、検知装置１は、パッケージソフトウェアやオンラインソフトウェアとして上記の検知処理を実行する検知プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の検知プログラムを情報処理装置に実行させることにより、情報処理装置を検知装置１として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の検知処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、検知装置１は、ＩｏＴ機器２の時系列データを入力とし、異常検知結果を出力する検知処理サービスを提供するサーバ装置として実装される。この場合、検知装置１は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の検知処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、検知装置１と同様の機能を実現する検知プログラムを実行するコンピュータの一例を説明する。

図１１に示すように、検知プログラムを実行するコンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、図１１に示すように、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、検知プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した検知装置１が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、検知プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１検知装置
１１入力部
１２出力部
１３通信制御部
１４記憶部
１５制御部
１５ａ取得部
１５ｂ学習部
１５ｃ除外部
１５ｄ判定部

Claims

対象機器のデータを取得する取得部と、
既知の正常な状態のデータの特徴を表すモデルを学習する学習部と、
学習された前記モデルから、既知の異常な状態のデータの特徴と共通する前記正常な状態のデータの特徴を表す部分を除外する除外部と、
取得されたデータから、前記部分が除外されたモデルに基づく既知の正常な状態のデータの特徴と異なる特徴が抽出された場合に、異常な状態と判定する判定部と、
を備えることを特徴とする検知装置。
前記除外部は、前記既知の異常な状態のデータの損失関数に正則化項を付加して最小化することにより、該異常な状態のデータの特徴と共通する前記正常な状態のデータの特徴を表す部分を除外することを特徴とする請求項１に記載の検知装置。
検知装置で実行される検知方法であって、
対象機器のデータを取得する取得工程と、
既知の正常な状態のデータの特徴を表すモデルを学習する学習工程と、
学習された前記モデルから、既知の異常な状態のデータの特徴と共通する前記正常な状態のデータの特徴を表す部分を除外する除外工程と、
取得されたデータから、前記部分が除外されたモデルに基づく既知の正常な状態のデータの特徴と異なる特徴が抽出された場合に、異常な状態と判定する判定工程と、
を含んだことを特徴とする検知方法。
コンピュータに、
対象機器のデータを取得する取得ステップと、
既知の正常な状態のデータの特徴を表すモデルを学習する学習ステップと、
学習された前記モデルから、既知の異常な状態のデータの特徴と共通する前記正常な状態のデータの特徴を表す部分を除外する除外ステップと、
取得されたデータから、前記部分が除外されたモデルに基づく既知の正常な状態のデータの特徴と異なる特徴が抽出された場合に、異常な状態と判定する判定ステップと、
を実行させることを特徴とする検知プログラム。