JP2019101781A - 検知システム、学習方法及び学習プログラム - Google Patents

Abstract

【課題】生成モデルの潜在変数にDisentangleな表現を獲得させる際の学習コストを抑制する。【解決手段】生成部１４１は、異常検知に用いられる生成モデルであって、確率変数で表される複数の潜在変数を基にデータを生成する生成モデルを用いて、検知対象物の正常状態の所定のデータからデータを繰り返し生成する。また、更新部１４２ａは、生成部１４１によってデータが生成されるたびに、潜在変数がDisentangleな表現を獲得するように潜在変数を更新する。また、停止部１４２ｂは、更新部１４２ａによって潜在変数が所定回数だけ更新されたときに、潜在変数間の相互情報量の分散が所定値以上である場合、生成部１４１によるデータの生成の繰り返しを停止する。【選択図】図２

Description

本発明は、検知システム、学習方法及び学習プログラムに関する。

従来、正常状態のデータを学習データとして、教師なし深層学習により生成モデルの学習を行い、当該生成モデルを用いて異常データの検知を行うアノマリ型の異常検知システムが知られている（例えば、非特許文献１を参照）。生成モデルの学習方法としては、潜在変数に分散表現を獲得させる方法が知られている。

また、近年では、潜在変数にDisentangleな表現を獲得させる学習方法が注目されている。このような方法を用いて潜在変数にDisentangleな表現を獲得させることで、観測できないデータに対する予言（Zero-shot Transfer）が可能となる。

Jinwon An, Sungzoon Cho, "Variational Autoencoder based Anomaly Detection using Reconstruction Probability" [online]、[平成２９年１１月２７日検索]、インターネット（http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf）

しかしながら、従来の技術には、生成モデルの潜在変数にDisentangleな表現を獲得させる際の学習コストを抑制することが困難な場合があるという問題がある。例えば、確率変数で表される潜在変数にDisentangleな表現を獲得させる学習方法は、乱数の影響を受けるため、潜在変数がDisentangleな表現を獲得できず、失敗する確率が非常に高いことが知られている。このため、特に学習を繰り返し行う場合、学習コストが膨大になる場合がある。

一方で、潜在変数がDisentangleな表現を獲得できているか否かを学習の途中で判断する手法は知られていないため、生成モデルの潜在変数にDisentangleな表現を獲得させる際の学習コストを抑制することは困難な場合がある。

本発明の検知システムは、異常検知に用いられる生成モデルであって、確率変数で表される複数の潜在変数を基にデータを生成する生成モデルを用いて、検知対象物の正常状態の所定のデータからデータを繰り返し生成する生成部と、前記生成部によってデータが生成されるたびに、前記潜在変数がDisentangleな表現を獲得するように前記潜在変数を更新する更新部と、前記更新部によって前記潜在変数が所定回数だけ更新されたときに、前記潜在変数間の相互情報量の分散が所定値以上である場合、前記生成部によるデータの生成の繰り返しを停止する停止部と、を有することを特徴とする。

本発明によれば、生成モデルの潜在変数にDisentangleな表現を獲得させる際の学習コストを抑制することができる。

図１は、第１の実施形態に係る検知システムの構成の一例を示す図である。 図２は、第１の実施形態に係る検知装置の構成の一例を示す図である。 図３は、Disentangleな表現を獲得した潜在変数について説明するための図である。 図４は、ＶＡＥについて説明するための図である。 図５は、実験における学習データの一例を示す図である。 図６は、実験結果のグラフの一例を示す図である。 図７は、実験結果のグラフの一例を示す図である。 図８は、実験結果のグラフの一例を示す図である。 図９は、実験結果のグラフの一例を示す図である。 図１０は、第１の実施形態に係る検知装置の学習処理の流れを示すフローチャートである。 図１１は、第１の実施形態に係る検知装置の学習処理の流れを示すフローチャートである。 図１２は、第１の実施形態に係る検知装置の検知処理の流れを示すフローチャートである。 図１３は、学習プログラムを実行するコンピュータの一例を示す図である。

以下に、本願に係る検知システム、学習方法及び学習プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

［第１の実施形態の構成］
まず、図１を用いて、第１の実施形態に係る検知システムの構成について説明する。図１は、第１の実施形態に係る検知システムの構成の一例を示す図である。図１に示すように、検知システム１は、検知装置１０、ゲートウェイ２０、機器３０を有し、ゲートウェイ２０は外部ネットワーク４０と接続されている。

検知装置１０は、機器３０に関する正常状態のデータ及び検知対象のデータを取得し、取得した正常状態のデータの学習及び取得した検知対象のデータの異常検知を行う。例えば、検知装置１０は、機器３０と外部ネットワーク４０との通信であって、ゲートウェイ２０を通過する通信のログ等を取得する。また、機器３０は、例えば監視カメラやウェアラブルデバイスのようなＩｏＴ機器であってもよい。例えば、機器３０が監視カメラである場合、検知装置１０は、監視カメラの解像度を変化させたときのトラフィックデータを正常状態のデータとして取得することができる。

次に、図２を用いて、検知装置１０の構成について説明する。図２は、第１の実施形態に係る検知装置の構成の一例を示す図である。図２に示すように、検知装置１０は、入出力部１１、通信部１２、記憶部１３及び制御部１４を有する。

入出力部１１は、ユーザからのデータの入力を受け付ける。入出力部１１は、例えば、マウスやキーボード等の入力装置、及びディスプレイやタッチパネル等の表示装置を含む。通信部１２は、ネットワークを介して、他の装置との間でデータ通信を行う。例えば、通信部１２はＮＩＣ（Network Interface Card）である。通信部１２は、例えばゲートウェイ２０との間でデータ通信を行う。

記憶部１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部１３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１３は、検知装置１０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。さらに、記憶部１３は、プログラムの実行で用いられる各種情報を記憶する。また、記憶部１３は、学習済みモデルＤＢ１３１を有する。学習済みモデルＤＢ１３１は、学習済みの生成モデルのパラメータ等を記憶する。

制御部１４は、検知装置１０全体を制御する。制御部１４は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部１４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１４は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部１４は、生成部１４１、学習部１４２及び検知部１４３を有する。また、学習部１４２は、更新部１４２ａ及び停止部１４２ｂを有する。

生成部１４１は、異常検知に用いられる生成モデルであって、確率変数で表される複数の潜在変数を基にデータを生成する生成モデルを用いて、入力されたデータから出力データを生成する。

［学習部］
学習部１４２は、確率変数で表される複数の潜在変数を基にデータを生成する生成モデルの学習を、正常状態にある所定の機器に関するデータを学習データとして、潜在変数がDisentangleな表現を獲得するように行う。

学習部１４２は、一例として、非特許文献１に記載されたＶＡＥ（Variational Autoencoder）という手法に対し、潜在変数がDisentangleな表現を獲得するような学習を行うように変更を加えた手法を用いて学習を行う。従来のＶＡＥは、オートエンコーダに基づく手法であり、潜在変数として確率分布が仮定されていることを特徴としている。

学習部１４２による生成モデルの学習が行われる場合、生成部１４１は、生成モデルを用いて、検知対象物の正常状態の所定のデータからデータを繰り返し生成する。その際、更新部１４２ａは、生成部１４１によってデータが生成されるたびに、潜在変数がDisentangleな表現を獲得するように潜在変数を更新する。また、停止部１４２ｂは、更新部１４２ａによって潜在変数が所定回数だけ更新されたときに、潜在変数間の相互情報量の分散が所定値以上である場合、生成部１４１によるデータの生成の繰り返しを停止する。

また、学習部１４２による生成モデルの学習が行われる場合、まず、生成部１４１は、潜在変数を用いた計算における乱数を生成するための初期値（ランダムシード）を設定する。そして、生成部１４１は、データの生成の繰り返しを開始し、データの生成の繰り返しが停止した場合、ランダムシードを再設定し、さらにデータの生成の繰り返しを開始する。

ここで、例として、ある図形が所定の位置に所定のスケールで表示された画像データを学習データとして、従来のＶＡＥを用いて生成モデルの学習を行う場合を考える。この場合、学習によって決定された潜在変数ｚ_０が図形の水平方向の位置とスケールを表し、潜在変数ｚ_１が図形の水平方向の位置と垂直方向の位置とスケールを表し、潜在変数ｚ_２が図形の水平方向の位置と垂直方向の位置を表す、といったことが起こる場合がある。つまり、この場合、図形の水平方向の位置がｚ_０、ｚ_１及びｚ_２によって表され、図形の垂直方向の位置がｚ_１及びｚ_２によって表され、図形のスケールがｚ_０及びｚ_１によって表される。これは、従来のＶＡＥでは、学習データに含まれる１つの意味が複数の潜在変数で表される分散表現を獲得するように学習を行っているためである。

ここで、従来のＶＡＥを用いて学習された生成モデルを用いて画像データを生成することを考える。このとき、例えば、学習データとして用いられた全ての画像データにおいて、図形が中央より右側に位置していた場合、従来のＶＡＥを用いて学習された生成モデルでは、図形が左端に位置するような画像データを生成することができない場合がある。これは、分散表現を獲得するように学習を行う従来のＶＡＥでは、観測できないデータに対する予言（Zero-shot Transfer）が困難であるためである。

これに対し、本実施形態の手法では、学習データに含まれる１つの意味が複数の１つの潜在変数で表されるDisentangleな表現を獲得するように学習を行うため、観測できないデータに対する予言が可能となる。例えば、ある図形が所定の位置に所定のスケールで表示された画像データを学習データとして、本実施形態の手法を用いて生成モデルの学習を行った場合、ｚ_０が図形の水平方向の位置を表し、ｚ_１が図形の垂直方向の位置を表し、ｚ_２が図形のスケールを表すようにすることができる。この場合、例えば、ｚ_０の値を学習データには存在しなかった範囲の値に変更することで、図形の位置が生成モデルによって生成される画像における図形の水平方向の位置を、学習データには存在しなかった位置に設定することができる。

図３は、Disentangleな表現を獲得した潜在変数について説明するための図である。図３の軸１５１及び軸１５２は、それぞれ異なる潜在変数の値である。また、領域１５３は学習データが観測できた領域である。各点１５５は、観測された学習データを表している。領域１５４は学習データが観測できなかった領域である。このとき、本実施形態の手法では、軸１５１及び軸１５２自体を学習し、それぞれの潜在変数はDisentangleな表現を獲得するため、領域１５４の学習データの予言、すなわちZero-shot Transferが可能となる。

図４は、ＶＡＥについて説明するための図である。図４に示すように、従来のＶＡＥの生成モデルは、オートエンコーダである。また、従来のＶＡＥは、ｉｎ層に入力された学習データを基にエンコーダｑ_φ（ｚ｜ｘ）により確率変数で表される潜在変数ｐ（ｚ）を生成し、ｐ（ｚ）から確率的に決定されたｚを基にデコーダｐ_θ（ｘ｜ｚ）により出力データを生成し、ｏｕｔ層に出力する。

ここで、エンコーダｑ_φ（ｚ｜ｘ）、潜在変数ｐ（ｚ）、及びデコーダｐ_θ（ｘ｜ｚ）は、いずれも分布を仮定するものである。また、エンコーダｑ_φ（ｚ｜ｘ）と潜在変数ｐ（ｚ）との間は確率的であるため、逆誤差伝搬が不可能である。一方、潜在変数ｐ（ｚ）とデコーダｐ_θ（ｘ｜ｚ）との間は決定的であるため、逆誤差伝搬が可能である。

また、従来のＶＡＥは、ｌｏｇｐ（ｘ）の再構成誤差項からＫＬ ｄｉｖｅｒｇｅｎｃｅによるｐ（ｚ）の束縛を表す正則化項を引いた変分下限の部分を目的関数として、当該目的関数が最大化されるように学習を行う。

潜在変数がDisentangleな表現を獲得するためには、確率分布で表される潜在変数間の独立の度合いを大きくすることや、確率分布で表される潜在変数間の相互情報量を小さくすることが考えられる。そこで、本実施形態において、学習部１４２は、ＶＡＥの目的関数の最大化を、（１）式の右辺の最大化に置き換えた手法を用いて学習を行う。ただし、Ｉは相互情報量、β及びηはユーザによって決められる定数である。

βを大きくした場合、間接的に確率分布で表される潜在変数間の独立の度合いが大きくなる。また、（１）式の右辺を最大化すると、Ｉ（ｚ_ｉ；ｚ_ｊ）を小さくすることになるため、確率分布で表される潜在変数間の相互情報量が小さくなる。つまり、更新部１４２ａは、潜在変数間の相互情報量が小さくなるように潜在変数を更新する。具体的に、更新部１４２ａは、パラメータθ及びφを更新する。

本実施形態の検知装置１０を用いて実験を行った際の結果について説明する。図５は、実験における学習データの一例を示す図である。図５の画像データは、人工的に生成したものであり、図５の画像データは、楕円形のモノクロ画像に対してｘ ｐｏｓｉｔｉｏｎ（１６パターン）、ｙ ｐｏｓｉｔｉｏｎ（１６パターン）、スケール（４０パターン）、回転（４０パターン）を振って人工的に生成したものである。図５に示す６４枚の画像データは実験における学習データの一部であり、実際には図示しない画像データも学習データとして用いている。また、実験では、β＝１、η＝１０００を用いた。

入出力部１１は、学習部１４２による学習の結果をグラフとして表示することができる。ユーザは、入出力部１１によって表示されたグラフを見て、潜在変数がDisentangleな表現を獲得したか否かの評価を行うことができる。図６は、実験結果のグラフの一例を示す図である。図６のグラフ５０、５１、５２、５３、５４及び５５は、入出力部１１によって出力されたものである。

図６のグラフ５０、５１、５２、５３、５４及び５５は、それぞれ潜在変数ｚ_０、ｚ_１、ｚ_２、ｚ_３、ｚ_４、ｚ_５に対応し、学習データの図形の位置を少しずつ変化させたとき各位置に対応するｐ（ｚ_ｉ｜ｘ）＝Ｎ（μ_ｉ，σ_ｉ）のμ_ｉをプロットしたものである。グラフ５０、５１、５２、５３、５４及び５５において、μ_ｉが大きい値である場合は黒い点でプロットし、μ_ｉが小さい値である場合は灰色の点でプロットしている。グラフ５０、５１、５２、５３、５４及び５５の横軸はｘ ｐｏｓｉｔｉｏｎ（例えば、２，４，…，３０，３２の１６パターン）に対応し、縦軸はｙ ｐｏｓｉｔｉｏｎ（例えば、２，４，…，３０，３２の１６パターン）に対応している。

例えば、潜在変数ｚ_３に対応するグラフ５３では、横軸の値が小さいほど黒い点が多くなり、横軸の値が大きいほど灰色の点が多くなっている。一方、グラフ５３の縦軸方向では大きな模様の変化は見られない。これより、潜在変数ｚ_３の値が大きいほどｘ ｐｏｓｉｔｉｏｎが小さくなること、及び、潜在変数ｚ_３の値がｙ ｐｏｓｉｔｉｏｎに影響を与えないことがいえる。つまり、グラフ５３から、潜在変数ｚ_３が「楕円形のｘ方向の位置」という意味を持っていることがいえる。同様に、潜在変数ｚ_５に対応するグラフ５５から、潜在変数ｚ_５が「楕円形のｙ方向の位置」という意味を持っていることがいえる。

このように、実験では、入出力部１１によって出力されたグラフの縞模様のでき方から、学習部１４２による学習によって、ｘ方向とｙ方向の意味が潜在変数として分離して抽出されていることがわかる。これより、本実施形態によれば、それぞれの潜在変数はDisentangleな表現を獲得するため、学習データが観測できなかった領域の学習データの予言、すなわちZero-shot Transferが可能となる。

ここで、図７、８及び９を用いて、潜在変数がDisentangleな表現を獲得する場合、潜在変数間の相互情報量が小さくなることを説明する。図７、８及び９は、実験結果のグラフの一例を示す図である。図７、８及び９は、βにそれぞれ異なる値を設定した場合の実験結果である。入出力部１１は、生成モデルに正常状態におけるデータが入力された際の、複数の潜在変数間の相互情報量を出力する。

図７のグラフ６０、６１、６２、６３、６４及び６５から、グラフ６１に対応する潜在変数ｚ_１、及びグラフ６５に対応する潜在変数ｚ_５が、Disentangleな表現を獲得できていることがいえる。また、相互情報量を表すグラフ６００に示すように、相互情報量の最大値は、潜在変数ｚ_１（番号：１）と潜在変数ｚ_５（番号：５）との間の相互情報量であり、０．０１程度である（グラフ６００の（１ ５））。

また、図８のグラフ７０、７１、７２、７３、７４及び７５から、グラフ７１に対応する潜在変数ｚ_１、グラフ７２に対応する潜在変数ｚ_２、及びグラフ７４に対応する潜在変数ｚ_４がDisentangleな表現を獲得できていることがいえる。ただし、図７と図８を比較すると、図７の方が模様の形状がよりはっきりと表れているので、図８の場合よりも図７の場合の方が、よりDisentangleな表現を獲得できている。また、相互情報量を表すグラフ７００に示すように、相互情報量の最大値は、潜在変数ｚ_１（番号：１）と潜在変数ｚ_２（番号：２）との間の相互情報量であり、０．１２程度である（グラフ７００の（１ ２））。

また、図９の場合、グラフ８０、８１、８２、８３、８４及び８５から、Disentangleな表現を獲得できていないことがいえる。また、相互情報量を表すグラフ８００に示すように、相互情報量の最大値は、潜在変数ｚ_０（番号：０）と潜在変数ｚ_４（番号：４）との間の相互情報量であり、０．５５程度である（グラフ８００の（０ ４））。

このように、潜在変数がDisentangleな表現を獲得する場合、潜在変数間の相互情報量が小さくなるため、相互情報量は、潜在変数がDisentangleな表現を獲得したか否かを評価する指標となる。

また、潜在変数がDisentangleな表現を獲得している場合、潜在変数間の相互情報量の分散が小さくなる傾向がある。ここで、図７の実験結果に示される相互情報量の分散は約７．８×１０^−６である。また、図８の実験結果に示される相互情報量の分散は約１．０×１０^−３である。また、図９の実験結果に示される相互情報量の分散は約２．７×１０^−２である。このように、潜在変数がDisentangleな表現を獲得しているほど、相互情報量の分散は小さくなる。

このため、停止部１４２ｂは、更新部１４２ａによって潜在変数が所定回数だけ更新されたときに、潜在変数間の相互情報量の分散が所定値以上である場合、生成部１４１によるデータの生成の繰り返しを停止する。これにより、学習部１４２は、繰り返しの途中であっても、潜在変数がDisentangleな表現を獲得する見込みがない場合、学習を停止することができる。なお、本実施形態の検知装置１０において、潜在変数がDisentangleな表現を獲得することができなかった場合、Ｌｏｓｓを小さくできたとしても、学習は失敗である。

また、潜在変数がDisentangleな表現を獲得するか否かは、潜在変数を用いた計算において使用される乱数の影響を受ける。このため、停止部１４２ｂが学習を停止した場合、生成部１４１は、ランダムシードを再設定し、さらにデータの生成の繰り返しを開始する。これにより、検知装置１０は、失敗した場合と異なる乱数を使用した学習を行うことが可能となる。

検知部１４３は、検知対象データと生成部１４１によって生成されたデータとの類似度が所定値未満である場合、検知対象データを異常と検知する。なお、検知部１４３による検知が行われる場合、生成部１４１は、生成モデルを用いて、所定の検知対象データからデータを生成する。

ここで、学習部１４２による学習の繰り返しについて、具体例を挙げて説明する。まず、学習部１４２は、セット数を１８、試験回数を１０、エポック数を１０００、分散の閾値を１．０×１０^−４と設定する。ここで、セット数は、生成部１４１がランダムシードを設定し、繰り返しを開始する回数である。つまり、検知装置１０は、１８通りのランダムシードで学習を行うことができる。また、エポック数は、検知装置１０が学習を繰り返す回数である。また、学習の繰り返し数が試験回数に達した場合、停止部１４２ｂは、潜在変数間の相互情報量の分散を計算し、分散が閾値以上である場合は繰り返しを停止する。また、最終的に学習が成功したか否かは、潜在変数間の相互情報量自体の小ささ及び分散の小ささの両方で判断することができる。

ここで、１８通りのランダムシードのうち、２通りのランダムシードで学習が成功することとする。当然、学習開始時には、いくつのランダムシードで学習が成功するか及び何通りのランダムシードで学習が成功するかは不明である。なお、例えば、停止部１４２ｂは、潜在変数間の相互情報量の分散を、ビンサイズ２のジャックナイフ法を使って計算することができる。

ここで、全通りの学習が行われる場合、セット数が１８、エポック数が１０００なので、検知装置１０は、１８×１０００＝１８，０００回のデータの生成及び潜在変数の更新を行うことになる。

一方、停止部１４２ｂによる繰り返しの停止が行われる場合、セット数が１８、試験回数が１０、エポック数が１０００なので、１８通りのランダムシードのうち、２通りのランダムシードでは繰り返し数が１０００回となり、１６通りのランダムシードでは繰り返し数が１０回となる。

このため、停止部１４２ｂによる繰り返しの停止が行われる場合、検知装置１０は、（２×１０００）＋（１６×１０）＝２，１６０回のデータの生成及び潜在変数の更新を行うことになる。このため、停止部１４２ｂによる繰り返しの停止が行われる場合、停止部１４２ｂによる繰り返しの停止が行われない場合と比べて、学習コストは約１／９となる。

［検知部］
学習部１４２による生成モデルの学習は、ｉｎ層に入力された学習データとｏｕｔ層で出力されるデータとがなるべく同一になるように行われる。このため、学習済みの生成モデルのｉｎ層に検知対象のデータを入力した際に、当該検知対象のデータが正常状態のものであればｏｕｔ層から入力データと類似したデータを出力することができる。一方、検知対象のデータが異常データであればｏｕｔ層から入力データと類似しないデータが出力される。検知部１４３が、生成モデルのこのような性質を利用して検知を行う。

［第１の実施形態の処理］
図１０を用いて検知装置１０の学習部１４２の処理について説明する。図１０は、第１の実施形態に係る検知装置の学習処理の流れを示すフローチャートである。図１０に示すように、まず、学習部１４２には正常状態のデータが入力される（ステップＳ１１）。そして、学習部１４２は、潜在変数がDisentangleな表現を獲得するように生成モデルの学習を行う（ステップＳ１２）。そして、学習部１４２は、学習済みの生成モデルを学習済みモデルＤＢ１３１に保存する（ステップＳ１３）。

図１１を用いて検知装置１０の学習処理について詳しく説明する。図１１は、第１の実施形態に係る検知装置の学習処理の流れを示すフローチャートである。図１１に示すように、学習部１４２は、まず、セット数、試験回数、エポック数を設定し（ステップＳ１２１）、入力された正常状態のデータを取得する（ステップＳ１２２）。次に、学習部１４２は、ランダムシードを設定し、データの生成回数を０に初期化する（ステップＳ１２３）。

そして、生成部１４１は、生成モデルを用いて、正常状態のデータから出力データを生成する（ステップＳ１２４）。ここで、更新部１４２ａは、生成モデルの潜在変数をDisentangleな表現を獲得するように更新する（ステップＳ１２５）。具体的には、更新部１４２ａは、（１）式に示すように、ＶＡＥの目的関数に正則化項の重みβや相互情報量Ｉ（ｚ_ｉ；ｚ_ｊ）を小さくする項が追加された目的関数を用いて、誤差が最小化されるように潜在変数を更新することで、潜在変数にDisentangleな表現を獲得させることができる。

ここで、データの生成回数がエポック数でない場合（ステップＳ１２６、Ｎｏ）、かつ、データの生成回数が試験回数でない場合（ステップＳ１２７、Ｎｏ）、処理がステップＳ１２４に戻され、生成部１４１は、生成モデルを用いて、正常状態のデータから出力データを生成する。なお、データの生成回数が試験回数でない場合には、データの生成回数が試験回数未満である場合と、データの生成回数が試験回数を超えた場合とが含まれる。

つまり、ステップＳ１２４及びステップＳ１２５は、データの生成回数がエポック数と一致するか（ステップＳ１２６、Ｙｅｓ）、又は、データの生成回数が試験回数と一致する（ステップＳ１２７、Ｙｅｓ）まで繰り返される。

データの生成回数がエポック数である場合（ステップＳ１２６、Ｙｅｓ）、かつ、ランダムシードの設定回数がセット回数である場合（ステップＳ１２９、Ｙｅｓ）、検知装置１０は学習処理を終了する。一方、データの生成回数がエポック数である場合（ステップＳ１２６、Ｙｅｓ）、かつ、ランダムシードの設定回数がセット回数でない場合（ステップＳ１２９、Ｎｏ）、処理がステップＳ１２３に戻され、学習部１４２は、ランダムシードを再設定し、データの生成回数を０に初期化する。

また、ステップＳ１２７で、データの生成回数が試験回数である場合（ステップＳ１２８、Ｙｅｓ）、停止部１４２ｂは、潜在変数間の相互情報量の分散を計算し、分散が閾値以上であるか否かを判定する（ステップＳ１２８）。分散が閾値以上でない場合（ステップＳ１２８、Ｎｏ）、学習が成功するとみなされ、処理がステップＳ１２４に戻され、生成部１４１は、生成モデルを用いて、正常状態のデータから出力データを生成する。

一方、分散が閾値以上である場合（ステップＳ１２８、Ｙｅｓ）、学習が失敗するとみなされ、処理がステップＳ１２９に進められる。そして、ランダムシードの設定回数がセット回数である場合（ステップＳ１２９、Ｙｅｓ）、検知装置１０は学習処理を終了する。一方、ランダムシードの設定回数がセット回数でない場合（ステップＳ１２９、Ｎｏ）、処理がステップＳ１２３に戻され、学習部１４２は、ランダムシードを再設定し、データの生成回数を０に初期化する。

図１２を用いて検知装置１０の検知部１４３の処理について説明する。図１２は、第１の実施形態に係る検知装置の検知処理の流れを示すフローチャートである。図１２に示すように、まず、検知部１４３には検知対象のデータが入力される（ステップＳ２１）。そして、検知部１４３は、学習済みモデルＤＢ１３１に保存された生成モデルを用いて、出力データを生成する（ステップＳ２２）。ここで、検知対象のデータと出力データとの類似度が所定値以上である場合（ステップＳ２３、Ｙｅｓ）、検知部１４３は検知対象のデータを異常と検知せず、処理を終了する。一方、検知対象のデータと出力データとの類似度が所定値以上でない場合（ステップＳ２３、Ｎｏ）、検知部１４３は検知対象のデータを異常と検知する（ステップＳ２４）。

［第１の実施形態の効果］
生成部１４１は、異常検知に用いられる生成モデルであって、確率変数で表される複数の潜在変数を基にデータを生成する生成モデルを用いて、検知対象物の正常状態の所定のデータからデータを繰り返し生成する。また、更新部１４２ａは、生成部１４１によってデータが生成されるたびに、潜在変数がDisentangleな表現を獲得するように潜在変数を更新する。また、停止部１４２ｂは、更新部１４２ａによって潜在変数が所定回数だけ更新されたときに、潜在変数間の相互情報量の分散が所定値以上である場合、生成部１４１によるデータの生成の繰り返しを停止する。このように、検知装置１０は、潜在変数が所定回数だけ更新された段階で、その学習が成功するか失敗するかを判断し、失敗すると判断した場合は繰り返しを停止することができる。このため、本実施形態の検知システム１は、生成モデルの潜在変数にDisentangleな表現を獲得させる際の学習コストを抑制することができる。

生成部１４１は、潜在変数を用いた計算における乱数を生成するための初期値を設定し、データの生成の繰り返しを開始し、データの生成の繰り返しが停止した場合、初期値を再設定し、さらにデータの生成の繰り返しを開始する。潜在変数がDisentangleな表現を獲得できるか否かは、学習時に使用される乱数に影響される。本実施形態の検知システム１は、ランダムシードを変更することで、繰り返しが開始されるたびに異なる乱数を使った学習を行うことができる。

更新部１４２ａは、潜在変数間の相互情報量が小さくなるように潜在変数を更新する。これにより、本実施形態の検知システム１は、生成モデルの潜在変数がDisentangleな表現を獲得できるようになる。

生成部１４１は、生成モデルを用いて、所定の検知対象データからデータを生成する。このとき、検知部１４３は、検知対象データと生成部１４１によって生成されたデータとの類似度が所定値未満である場合、検知対象データを異常と検知する。これにより、本実施形態の検知システム１は、生成モデルの性質を利用した異常の検知を行うことが可能となる。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
一実施形態として、検知装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の検知を実行する学習プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の学習プログラムを情報処理装置に実行させることにより、情報処理装置を検知装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

また、検知装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の検知に関するサービスを提供する検知サーバ装置として実装することもできる。例えば、検知サーバ装置は、検知対象のデータを入力とし、検知結果を出力とする検知サービスを提供するサーバ装置として実装される。この場合、検知サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の検知に関するサービスを提供するクラウドとして実装することとしてもかまわない。

図１３は、学習プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、検知装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、検知装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤにより代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０ 検知装置
１１ 入出力部
１２ 通信部
１３ 記憶部
１４ 制御部
２０ ゲートウェイ
３０ 機器
４０ 外部ネットワーク
１４１ 生成部
１４２ 学習部
１４２ａ 更新部
１４２ｂ 停止部
１４３ 検知部

Claims (6)

1. 異常検知に用いられる生成モデルであって、確率変数で表される複数の潜在変数を基にデータを生成する生成モデルを用いて、検知対象物の正常状態の所定のデータからデータを繰り返し生成する生成部と、
   前記生成部によってデータが生成されるたびに、前記潜在変数がDisentangleな表現を獲得するように前記潜在変数を更新する更新部と、
   前記更新部によって前記潜在変数が所定回数だけ更新されたときに、前記潜在変数間の相互情報量の分散が所定値以上である場合、前記生成部によるデータの生成の繰り返しを停止する停止部と、
   を有することを特徴とする検知システム。
2. 前記生成部は、前記潜在変数を用いた計算における乱数を生成するための初期値を設定し、データの生成の繰り返しを開始し、データの生成の繰り返しが停止した場合、前記初期値を再設定し、さらにデータの生成の繰り返しを開始することを特徴とする請求項１に記載の検知システム。
3. 前記更新部は、前記潜在変数間の相互情報量が小さくなるように前記潜在変数を更新することを特徴とする請求項１又は２に記載の検知システム。
4. 前記生成部は、前記生成モデルを用いて、所定の検知対象データからデータを生成し、
   前記検知対象データと前記生成部によって生成されたデータとの類似度が所定値未満である場合、前記検知対象データを異常と検知する検知部をさらに有することを特徴とする請求項１から３のいずれか１項に記載の検知システム。
5. コンピュータによって実行される学習方法であって、
   異常検知に用いられる生成モデルであって、確率変数で表される複数の潜在変数を基にデータを生成する生成モデルを用いて、検知対象物の正常状態の所定のデータからデータを繰り返し生成する生成工程と、
   前記生成工程によってデータが生成されるたびに、前記潜在変数がDisentangleな表現を獲得するように前記潜在変数を更新する更新工程と、
   前記更新工程によって前記潜在変数が所定回数だけ更新されたときに、前記潜在変数間の相互情報量の分散が所定値以上である場合、前記生成工程によるデータの生成の繰り返しを停止する停止工程と、
   を含んだことを特徴とする学習方法。
6. コンピュータに、
   異常検知に用いられる生成モデルであって、確率変数で表される複数の潜在変数を基にデータを生成する生成モデルを用いて、検知対象物の正常状態の所定のデータからデータを繰り返し生成する生成ステップと、
   前記生成ステップによってデータが生成されるたびに、前記潜在変数がDisentangleな表現を獲得するように前記潜在変数を更新する更新ステップと、
   前記更新ステップによって前記潜在変数が所定回数だけ更新されたときに、前記潜在変数間の相互情報量の分散が所定値以上である場合、前記生成ステップによるデータの生成の繰り返しを停止する停止ステップと、
   を実行させることを特徴とする学習プログラム。