JP2023142779A - 精度監視システム、精度監視方法、および、精度監視プログラム - Google Patents

Abstract

【課題】設計者のノウハウに依らず、予測モデルの運用時に発生するコンセプトドリフトを安定して検出すること。
【解決手段】 予測モデル監視システム２は、運用システム１の各機器から取得される学習データ３２Ａと、その学習データ３２Ａを学習した予測モデル３１Ａと、運用システム１の運用時に取得した運用データ３３Ｂとを収集するデータ収集部３と、予測モデル３１Ａと運用データ３３Ｂとの間のコンセプトドリフトを検出するドリフト検出部６２を構築するドリフト検出ロジック構築部５とを備える。ドリフト検出部６２は、学習時の異常率よりも運用時の異常率が高い状態が継続したときに、運用時の運用システム１にコンセプトドリフトが発生した旨を出力する。
【選択図】図３

Description

本発明は、精度監視システム、精度監視方法、および、精度監視プログラムに関する。

制御システムなどの計測データの予測値を出力する予測モデルは、過去の計測データから機械学習される。予測モデルの精度（予測精度）とは、予測モデルの予測値と、実際に未来に計測される実測値との適合度合いを示すものであり、予測値が実測値に近づくほど、高い精度と言える。一般に予測精度は学習直後が最も精度が高く、運用中は徐々に精度が劣化していく。

特許文献１では機械学習モデルの一種である予測モデルにおいて、一定の条件を満たしたときに運用データを用いて予測モデルの再学習を行うことで、予測精度を維持することが提案されている。特許文献１は、運用中の予測精度をなるべく少ない計算コストで維持するために、運用中に取得したデータ(運用データ)を使用して再学習した場合の予測精度を計算する。そして、再学習後に予測精度の向上が見込まれる場合、もしくは運用中の予測精度が閾値以下の場合に再学習を行う。

その予測モデルの再学習条件として、運用中の予測精度に対して閾値を設定し、予測精度が閾値を超えたとき（モデルの精度劣化を検出したとき）という条件が使われている。
しかし、この条件では瞬間的な精度劣化を捉えるだけであり、長期的な精度劣化の傾向を捉えることができず、ノイズや外れ値のような瞬間的な精度劣化にも反応してしまう。仮に瞬間的な精度劣化を契機として機械学習モデルの再学習を行っても、長期的な予測精度は変化しない。

一方、非特許文献１には、機械学習モデルの予測モデルとは別の一種である分類モデルを対象として、コンセプトドリフト検出技術を用いて、長期的なモデル精度を評価する手法が記載されている。分類モデルとは、入力されたデータを、ある属性に分類するモデルである。コンセプトドリフトとは、機械学習モデルが学習したシステムのデータ入出力関係が時間に応じて変化することである。非特許文献１は、コンセプトドリフトの中でも機械学習モデルにおけるモデル精度の低下、というデータ変化を検出する。

特開２０２１-１８４１３９号公報

Joao Gama et al.「Learning with Drift Detection」，Brazilian Symposium on Artificial Intelligence(SBIA 2004) ，Pages286-295

前記したように、コンセプトドリフトの発生によりモデル精度が劣化するので、コンセプトドリフトの発生を適切に検出することが重要である。

図１７は、予測モデル９５の学習時の説明図である。
生産システム９２は、入力データ９１と、作業員９４から入力される操作量とに応じて、生産量９３などの計測データを出力する。
予測モデル９５は、入力データ９１と、作業員９４から入力される操作量と、生産量９３との関係を学習した結果である。

図１８は、予測モデル９５の運用時の説明図である。
予測モデル９５は、作業員９４の代わりに操作量を生産システム９２に入力するとともに、その操作量における生産システム９２の生産量９３を予測した生産量の予測値９６を出力する。
よって、予測モデル９５の精度９７とは、生産量９３と、生産量の予測値９６との差分が小さいほど高いものとして計算される。
ここで、予測モデル９５自体は学習時から運用時に変化しなくても、予測モデル９５の周辺が変化することで、結果として精度９７が劣化することもある。予測モデル９５の周辺の変化とは、生産システム９２の装置劣化、学習時には存在しない傾向の新たな入力データ９１の発生などである。

このように、学習時から運用時に発生した変化は、コンセプトドリフトの発生によるものである。コンセプトドリフトの発生による予測モデル９５の精度劣化に対応するために、運用中の予測モデル９５の精度を維持するためのしくみが必要である。
しかし、非特許文献１は機械学習モデルの一種である分類モデルを対象としており、予測モデル９５に対して直接は適用できない。そのため、予測モデル９５の予測結果を分類モデルの出力結果と同様の形式に変換するロジックを、設計者が案件に応じて構築するため、設計者のノウハウに依存してしまっていた。

そこで、本発明は、設計者のノウハウに依らず、予測モデルの運用時に発生するコンセプトドリフトを安定して検出することを主な課題とする。

前記課題を解決するために、本発明の精度監視装置は、以下の特徴を有する。
本発明は、運用システムの各機器から取得される学習データと、その学習データを学習した予測モデルと、前記運用システムの運用時に取得した運用データとを収集するデータ収集部と、
前記予測モデルと前記運用データとの間のコンセプトドリフトを検出するドリフト検出部を構築するドリフト検出ロジック構築部とを備えており、
前記ドリフト検出ロジック構築部が、異常検知モデルとコンセプトドリフト検出部とを含む前記ドリフト検出部を構築し、
前記異常検知モデルが、前記学習データおよび前記運用データそれぞれについて、前記予測モデルが出力する予測値との間で定義される精度指標の頻度に応じて、正常値または異常値に分類する分類ロジックに沿って、前記学習データのうちの異常値の割合を示す学習時の異常率および前記運用データのうちの異常値の割合を示す運用時の異常率を計算して出力するモデルであり、
前記コンセプトドリフト検出部が、前記異常検知モデルが出力する前記運用データの異常率を、正しくない分類がなされたエラー率として入力し、運用時の前記運用システムにコンセプトドリフトが発生したか否かを出力する処理部であり、
前記ドリフト検出部が、前記学習時の異常率よりも前記運用時の異常率が高い状態が継続したときに、運用時の前記運用システムにコンセプトドリフトが発生した旨を出力することを特徴とする。
その他の手段は、後記する。

本発明によれば、設計者のノウハウに依らず、予測モデルの運用時に発生するコンセプトドリフトを安定して検出することができる。

本実施形態に関する予測モデルの学習時に用いられる各データの説明図である。 本実施形態に関する予測モデルの運用時に用いられる各データの説明図である。 本実施形態に関する精度監視システムの全体構成図である。 本実施形態に関する予測モデル監視システムのハードウェア構成図である。 本実施形態に関するデータ収集部の処理を示すフローチャートである。 本実施形態に関するドリフト検出ロジック構築部の処理を示すフローチャートである。 本実施形態に関する学習時精度指標計算部の処理の詳細を示すフローチャートである。 本実施形態に関する学習時における絶対誤差と頻度との関係図である。 本実施形態に関する運用時に予測モデルが精度劣化した場合における絶対誤差と頻度との関係図である。 本実施形態に関する異常検知モデル学習部の処理の詳細を示すフローチャートである。 本実施形態に関するドリフト指標とドリフト判定基準との説明図である。 本実施形態に関するドリフト判定基準作成部の処理の詳細を示すフローチャートである。 本実施形態に関する精度監視部の処理を示すフローチャートである。 本実施形態に関する運用時精度指標計算部の処理を示すフローチャートである。 本実施形態に関するドリフト検出部の処理を示すフローチャートである。 本実施形態に関するシステムデータ入出力部の説明図である。 予測モデルの学習時の説明図である。 予測モデルの運用時の説明図である。

本発明を実施するための形態を、図面を参照しながら詳細に説明する。

まず、図１および図２を参照して、本実施形態で用いられる主要なデータの概要を説明する。
図１は、予測モデル３１Ａの学習時に用いられる各データの説明図である。
データ収集部３は、図３の運用システム１の各機器から予測モデル３１Ａの学習時の計測データを学習データ３２Ａとして収集するとともに、その学習データ３２Ａから学習された予測モデル３１Ａも収集する。
精度指標２３Ａは、予測モデル３１Ａと学習データ３２Ａとの間の精度を測定するための指標である。ここで、使用する精度指標２３Ａは、図８の絶対誤差や二乗値、L1ノルムやL2ノルムなど、目的変数と予測結果の差を正負の符号関係なく定量的に評価できるものならば、どれを使用しても良い。
本実施形態では一例として、予測モデル３１Ａの予想値と学習データ３２Ａの実測値との間の絶対誤差を想定する。絶対誤差の数値が大きいほど、精度指標２３Ａが低い（劣化傾向にある）と評価される。

異常検知モデル２４Ａは、予測モデル３１Ａの出力を分類モデルの出力として（分類問題として）扱うために、学習データ３２Ａを正常値と異常値という２つに分類するモデルである。このように異常検知モデル２４Ａの分類ロジックを実装することで、これまで設計者が案件に応じて用い、設計者のノウハウに依存した個別の分類ロジックを用いなくても済む。
異常検知モデル２４Ａは、学習データ３２Ａを正常値と異常値という２つに分類できるものであれば、Isolation ForestやOne-Class SVM（Support Vector Machine）、Local Outlier Factorなど、任意のモデルを採用できる。本実施形態の異常検知モデル２４Ａは、Isolation Forestを想定する。Isolation Forestでは学習パラメータとして、学習データ３２Ａに含まれる異常値の割合を「異常率」として指定する。
異常検知モデル２４Ａは、学習データ３２Ａおよび運用データ３３Ｂそれぞれについて、予測モデル３１Ａが出力する予測値との間で定義される精度指標２３の頻度に応じて、正常値または異常値に分類する分類ロジックを計算する。これにより、異常検知モデル２４Ａは、学習データ３２Ａのうちの異常値の割合を示す学習時の異常率および運用データ３３Ｂ（図２）のうちの異常値の割合を示す運用時の異常率を計算して出力するモデルである。

エラー率２５Ａは、正しくない分類がされた確率であり、例えば、異常検知モデル２４Ａが出力する異常率である。エラー率２５Ａは、分類モデルのデータとして図２のＣＤ検出部２８Ｂに入力できるデータ形式である。ドリフト指標２６Ａは、非特許文献１ではエラー率２５Ａの平均値およびエラー率２５Ａの標準偏差の組み合わせを示す統計データであり、エラー率２５Ａの代わりに、ＣＤ検出部２８Ｂに入力できるデータ形式である。
ドリフト判定基準２７Ａは、学習時におけるドリフト指標２６Ａの数値であり、予測モデル３１Ａの予測精度を示す。

図２は、予測モデル３１Ａの運用時に用いられる各データの説明図である。
図２のデータのうち、符号の末尾「Ａ」のデータである予測モデル３１Ａ、異常検知モデル２４Ａ、および、ドリフト判定基準２７Ａは、図１の学習時に計算したデータを用いる。一方、符号の末尾「Ｂ」のデータである運用データ３３Ｂ、精度指標２３Ｂ、エラー率２５Ｂ、ドリフト指標２６Ｂ、および、ＣＤ検出部２８Ｂは、運用時に用意するデータを用いる。

データ収集部３は、図３の運用システム１の各機器から予測モデル３１Ａの運用時の計測データを運用データ３３Ｂとして収集する。
精度指標２３Ｂは、予測モデル３１Ａと運用データ３３Ｂとの間の精度を測定するための指標である。エラー率２５Ｂは、異常検知モデル２４Ａが出力する運用データ３３Ｂの異常率である。ドリフト指標２６Ｂは、ドリフト指標２６Ａと同様に、エラー率２５Ｂの統計データである。

ドリフト検出部６２は、異常検知モデル２４Ａ、および、ＣＤ検出部２８Ｂを有しており、予測モデル３１Ａと運用データ３３Ｂとの間のコンセプトドリフトを検出する。つまり、ドリフト検出部６２は、運用時の精度指標２３Ｂの入力を受け、運用時にコンセプトドリフトを検出したか否かを示すドリフト検出結果（ＣＤ検出部２８Ｂの出力結果）を出力する。また、ドリフト検出部６２は、運用時の予測モデル３１Ａの予測精度がドリフト判定基準２７Ａによりも高いときには、ＣＤ検出部２８Ｂによりコンセプトドリフトが発生したとする出力を、コンセプトドリフトが発生していないという出力に修正してもよい。さらに、ドリフト検出部６２は、異常検知モデル２４Ａの出力結果を併せて出力してもよい。
ドリフト検出部６２は、例えば、学習時の異常率よりも運用時の異常率が高い状態が継続したときに、運用時の運用システム１にコンセプトドリフトが発生した旨を出力する。

ＣＤ検出部２８Ｂは、非特許文献１のように、分類モデルを対象として運用データ３３Ｂから精度劣化を伴うコンセプトドリフトを検出する手段として構成される。ＣＤ検出部２８Ｂは、異常検知モデル２４Ａが出力する運用データ３３Ｂの異常率を、正しくない分類がなされたエラー率２５として入力し、運用時の運用システム１にコンセプトドリフトが発生したか否かを出力する処理部である。
ＣＤ検出部２８Ｂは、エラー率２５Ｂまたはドリフト指標２６Ｂを計算することで、運用時にコンセプトドリフトを検出したか否かを示すドリフト検出結果を出力する。また、ＣＤ検出部２８Ｂは、ドリフト判定基準２７Ａと運用時のドリフト指標２６Ｂとの比較結果に応じて、ドリフト検出結果を適宜修正してもよい。
なお、本実施形態では、ＣＤ検出部２８Ｂとして、非特許文献１に記載されているDrift Detection Methodを想定する。なお、精度劣化を伴うコンセプトドリフトを検出する技術であれば、Early Drift Detection Method、HDDMs（drift diffusion models）など任意の手法をＣＤ検出部２８Ｂに採用できる。

以下、ＣＤ検出部２８Ｂに対してデータ入力するモデルが、従来の分類モデルと同様に、予測モデル３１Ａの出力を受けた異常検知モデル２４Ａを適用できる理由を説明する。
ＣＤ検出部２８Ｂでは、従来の分類モデルの出力値として、２つの分類結果（正解または失敗）で示す二項分布などのデータを受け付ける。ＣＤ検出部２８Ｂは、受け付けた分類結果の失敗確率（エラー率）から計算したドリフト指標をもとに、コンセプトドリフトを検出する。

一方で、予測モデル３１Ａの出力は、浮動小数点数型式などの正負の符号や小数点が含むこともあり得る連続値の数値である。そして、二項分布では求めることができるエラー率やドリフト指標が、連続値の場合では存在しない。
よって、異常検知モデル２４Ａは、予測モデル３１Ａが出力する連続値を、二項分布などの分類結果を示すデータに変換し、その変換後のデータのエラー率２５Ｂを出力する。なお、予測精度が劣化するほど、エラー率２５Ｂの数値が増加する。

そして、ＣＤ検出部２８Ｂは、分類結果が反映されたエラー率２５Ｂまたはドリフト指標２６Ｂから、従来の分類モデルと同様に、コンセプトドリフトを検出できる。なお、ドリフト指標２６Ｂは、例えば、正常または異常という２つの結果で出力される二項分布である。換言すると、異常検知モデル２４Ａは、予測モデル３１Ａの出力結果をドリフト指標２６Ｂによって分類することで、ＣＤ検出部２８Ｂが対応可能なデータを生成できる。

図３は、精度監視システムの全体構成図である。精度監視システムは、監視される側の運用システム１と、監視する側の予測モデル監視システム２とがネットワークで接続されて構成される。
予測モデル監視システム２は、一般的なＰＣ（精度監視装置）などローカル環境で実現する方法、または、クラウドサービスなどネットワーク経由で実現する方法のどちらでもよい。また、予測モデル監視システム２と運用システム１との接続方法、および、予測モデル監視システム２とインターフェイス部７との接続方法は、ローカル環境で構築しても、ネットワーク経由で構築しても良い。
予測モデル監視システム２は、データ収集部３と、記憶部４と、ドリフト検出ロジック構築部５と、精度監視部６とを有する。
ドリフト検出ロジック構築部５は、学習時精度指標計算部５１と、異常検知モデル学習部５２と、ドリフト判定基準作成部５３とを有する。精度監視部６は、運用時精度指標計算部６１と、ドリフト検出部６２とを有する。

運用システム１は、予測モデル３１Ａを活用したシステムである。データ収集部３は運用システム１から以下の必要なデータを取得し、記憶部４に格納する。
・運用中の予測モデル３１Ａ
・予測モデル３１Ａの学習に用いた学習データ３２Ａ
・運用システム１の稼働中に取得した運用データ３３Ｂ

記憶部４は予測モデル監視システム２内部の各構成要素で必要なデータ及びインターフェイス部７への出力に必要なデータを格納する。ドリフト検出ロジック構築部５は記憶部４に格納されたデータを用いてドリフト検出部６２を構築する。
精度監視部６は、記憶部４に格納されたデータを用いて、運用中の予測モデル３１Ａが精度劣化しているか否かを検出する。つまり、精度監視部６は、ドリフト検出ロジック構築部５が構築したドリフト検出部６２を用いて、運用システム１の運用時における予測モデル３１Ａの予測精度の劣化を検出する。具体的には、精度監視部６は、運用データ３３Ｂと予測モデル３１Ａの予測結果とをもとに運用時の精度指標２３を計算し、その計算した精度指標２３を異常検知モデル２４Ａに入力することで、運用時の運用システム１にコンセプトドリフトが発生したか否かをＣＤ検出部２８Ｂに出力させる。
インターフェイス部７は、ドリフト検出ロジック構築部５のパラメータを入力させるとともに、予測モデル監視システム２のデータを表示することが可能な入出力手段である。

図４は、予測モデル監視システム２のハードウェア構成図である。
予測モデル監視システム２は、ＣＰＵ９０１と、ＲＡＭ９０２と、ＲＯＭ９０３と、ＨＤＤ９０４と、通信Ｉ／Ｆ９０５と、入出力Ｉ／Ｆ９０６と、メディアＩ／Ｆ９０７とを有するコンピュータ９００として構成される。
通信Ｉ／Ｆ９０５は、外部の通信装置９１５と接続される。入出力Ｉ／Ｆ９０６は、入出力装置９１６と接続される。メディアＩ／Ｆ９０７は、記録媒体９１７からデータを読み書きする。さらに、ＣＰＵ９０１は、ＲＡＭ９０２に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部を制御する。そして、このプログラムは、通信回線を介して配布したり、ＣＤ－ＲＯＭ等の記録媒体９１７に記録して配布したりすることも可能である。

図５は、データ収集部３の処理を示すフローチャートである。
データ収集部３は、予測モデル３１Ａと、その予測モデル３１Ａを学習した際の学習データ３２Ａとが記憶部４に存在するか否かを確認する（Ｓ１０１）。データが存在しない場合、データ収集部３は、運用システム１から予測モデル３１Ａとその学習データ３２Ａとを取得する（Ｓ１０２）。次に、データ収集部３は、運用システム１から常に最新の運用データ３３Ｂを取得する（Ｓ１０３）。最後に、データ収集部３は、Ｓ１０２，Ｓ１０３で取得したデータを記憶部４へ格納する（Ｓ１０４）。

図６は、ドリフト検出ロジック構築部５の処理を示すフローチャートである。このフローチャートはインターフェイス部７からの入力により開始される。なお、インターフェイス部７は他システムと連携し、ドリフト検出ロジック構築部５の処理開始信号を取得しても良い。
まず、学習時精度指標計算部５１は、学習データ３２Ａにおける予測モデル３１Ａの精度指標２３Ａを計算する（Ｓ２０１）。
次に、異常検知モデル学習部５２は、計算した精度指標２３Ａを使い、異常検知モデル２４Ａを学習する（Ｓ２０２）。
最後に、ドリフト判定基準作成部５３は、学習データ３２Ａと異常検知モデル２４Ａとを用いて学習時におけるドリフト指標２６Ａを計算し、ドリフト指標２６Ａを用いてドリフト判定基準２７Ａを作成する（Ｓ２０３）。

図７は、学習時精度指標計算部５１の処理（Ｓ２０１）の詳細を示すフローチャートである。
まず、学習時精度指標計算部５１は、予測モデル３１Ａと学習データ３２Ａとを記憶部４から取得する（Ｓ３０１）。次に、学習時精度指標計算部５１は、学習データ３２Ａの中から学習時の説明変数を抽出し、その説明変数を予測モデル３１Ａへ入力することで、学習時における予測モデル３１Ａの予測結果を取得する（Ｓ３０２）。
その後、学習時精度指標計算部５１は、学習データ３２Ａの中から学習時の目的変数を抽出し、その目的変数とＳ３０２の予測結果とを用いて精度指標２３Ａを計算する（Ｓ３０３）。

図８、図９を用いて異常検知モデル学習部５２がドリフト検出部６２の構築で果たす役割を示す。
図８は、学習時における絶対誤差と頻度との関係図である。
異常検知モデル２４Ａは、発生頻度が低い異常値ＤＡ５と、その他の正常値ＤＡ１－ＤＡ４とに学習データ３２Ａを分類する方法を学習する。そして、図８の学習時には図９の運用時よりも、異常検知モデル２４Ａは、一般的には低い異常率を出力する。なお、異常率は、全データ（正常値ＤＡ１－ＤＡ４、異常値ＤＡ５）の頻度に対する異常値ＤＡ５の頻度の割合である。
また、予測モデル３１Ａは、予測モデル３１Ａが出力する予測値と、学習データ３２Ａの実測値との間の絶対誤差がなるべく少なくなるように学習されている。よって、図８では、異常値ＤＡ５は、正常値ＤＡ１－ＤＡ４よりも大きな絶対誤差のデータである。

図９は、運用時に予測モデルが精度劣化した場合における絶対誤差と頻度との関係図である。
図９では、異常検知モデル２４Ａは、発生頻度が低い異常値ＤＢ５と、その他の正常値ＤＢ１－ＤＢ４とに運用データ３３Ｂを分類する。つまり、異常検知モデル２４Ａは、学習データ３２Ａの分類ロジックと、運用データ３３Ｂの分類ロジックとで、同じロジックを用いる。
しかし、異常値ＤＢ５の頻度は、図８の異常値ＤＡ５の頻度よりも高いので、図９の運用時には、異常検知モデル２４Ａは、図８の異常率よりも約２倍の高い異常率を出力する。高い異常率は、予測モデル３１Ａが運用データ３３Ｂに対して不適合であり、予測モデル３１Ａの精度が学習時よりも劣化したことを示す。

このように、学習データ３２Ａに適合して学習された予測モデル３１Ａを評価する異常検知モデル２４Ａは、学習データ３２Ａとはデータ傾向が異なる（コンセプトドリフトした）運用データ３３Ｂに対しては、高い異常率を出力する。この異常率をエラー率２５Ｂとして用いることで、非特許文献１のようなＣＤ検出部２８Ｂを予測モデル３１Ａに適用することが可能である。
予測モデル監視システム２は、予測モデル３１Ａを分類モデルとしてＣＤ検出部２８Ｂに適用可能とするため、ＣＤ検出部２８Ｂの前処理部として異常検知モデル２４Ａを構築する。これにより、設計者による分類ロジックのカスタマイズが不要となるので、設計者のノウハウに依らない精度劣化検出が可能となり、均一な予測モデル監視性能を実現できる。

図１０は、異常検知モデル学習部５２の処理（Ｓ２０２）の詳細を示すフローチャートである。
まず、異常検知モデル学習部５２は、使用する異常検知モデル２４Ａの学習パラメータを記憶部４から取得する（Ｓ４０１）。
次に、異常検知モデル学習部５２は、学習時精度指標計算部５１で計算した精度指標２３Ａを用いて異常検知モデル２４Ａの学習を行う（Ｓ４０２）。その後、異常検知モデル学習部５２は、異常検知モデル２４Ａを記憶部４に格納する（Ｓ４０３）。

以下、ドリフト判定基準作成部５３がドリフト検出部６２の構築で果たす役割を示す。ＣＤ検出部２８Ｂは、運用データ３３Ｂから精度劣化を伴うコンセプトドリフトを検出する。そのため、運用システム１で稼働中の予測モデル３１Ａが学習時よりも高い精度を示していても、運用データ３３Ｂの中で精度劣化しているとコンセプトドリフトとして検出するが、一般に運用時の精度が学習時の精度よりも高いときに精度劣化を伴うコンセプトドリフトと検出することは適切ではないことが多い。
そこで、ドリフト判定基準作成部５３を用いてドリフト判定基準２７Ａを作成することで、学習時よりも精度が高いときにドリフト検出部６２がコンセプトドリフトを検出することを防止する。

非特許文献１のようなＣＤ検出部２８Ｂでは、運用データ３３Ｂを処理することでドリフト指標２６Ｂを計算し、ドリフト指標２６Ｂの推移を統計的に処理してコンセプトドリフト検出を行っている。例えば、非特許文献１ではエラー率２５Ｂの平均値と標準偏差をドリフト指標２６Ｂとしている。予測モデル監視システム２は、学習時におけるドリフト指標２６Ａを計算し、ドリフト検出部６２の処理におけるドリフト判定基準２７Ａとすることで、運用時の精度が学習時よりも高い精度ときに、コンセプトドリフトを検出しないことができる。

図１１は、ドリフト指標２６Ａとドリフト判定基準２７Ａとの説明図である。
図１１ではドリフト指標２６Ａの平均値をドリフト判定基準２７Ａとしているが、最大値、中央値などを使用しても良い。

図１２は、ドリフト判定基準作成部５３の処理（Ｓ２０３）の詳細を示すフローチャートである。
まず、ドリフト判定基準作成部５３は、精度指標２３Ａの計算結果と学習した異常検知モデル２４Ａとを用いて、エラー率２５Ａを計算する（Ｓ５０１）。次に、ドリフト判定基準作成部５３は、計算したエラー率２５Ａを用いてドリフト検出部６２で使用するＣＤ検出部２８Ｂに合わせたドリフト指標２６Ａを計算する（Ｓ５０２）。最後に、ドリフト判定基準作成部５３は、ドリフト指標２６Ａからドリフト判定基準２７Ａとなる数値（平均値、最大値など）を計算し、その計算結果を記憶部４に格納する（Ｓ５０３）。

図１３は、精度監視部６の処理を示すフローチャートである。
まず、精度監視部６は、運用時における予測モデル３１Ａの精度指標２３Ｂを計算し（Ｓ６０１）、計算した精度指標２３Ｂと記憶部４から取得したデータとからドリフト検出部６２でドリフトを検出する（Ｓ６０２）。
次に、精度監視部６は、精度監視部６で処理した以下に例示するデータを記憶部４へ格納する（Ｓ６０３）。
・運用時精度指標計算部６１で計算した運用時の精度指標２３Ｂ
・ドリフト検出部６２で計算したコンセプトドリフト検出結果

次に、精度監視部６は、精度監視終了の信号入力があるか否かを確認する（Ｓ６０４）。精度監視終了の信号は、運用システム１が停止したときや、インターフェイス部７によって入力される。精度監視終了の信号入力があれば、精度監視部６の処理を終了する。
精度監視終了の信号入力がなければ、精度監視部６は、記憶部４に格納されている運用データ３３Ｂが更新されたか否かを確認する（Ｓ６０５）。運用データ３３Ｂが更新されていなければＳ６０４に戻り、運用データ３３Ｂが更新されていればＳ６０１に戻る。

図１４は、運用時精度指標計算部６１の処理（Ｓ６０１）を示すフローチャートである。
この図１４は、図７に示した学習時精度指標計算部５１で記載していた学習データ３２Ａの処理（Ｓ３０１～Ｓ３０３）を、運用データ３３Ｂの処理（Ｓ７０１～Ｓ７０３）に置き換えたものである。
運用時精度指標計算部６１は、予測モデル３１Ａと運用データ３３Ｂとを記憶部４から取得する（Ｓ７０１）。運用時精度指標計算部６１は、運用時の説明変数を予測モデル３１Ａに入力し、予測結果を取得する（Ｓ７０２）。運用時精度指標計算部６１は、運用時の目的変数と予測結果とから精度指標２３Ｂを計算する（Ｓ７０３）。

図１５は、ドリフト検出部６２の処理を示すフローチャートである。
まず、ドリフト検出部６２は、ドリフト検出に必要な情報を記憶部４から取得する（Ｓ８０１）。Ｓ８０１の必要な情報は、異常検知モデル２４Ａ、運用データ３３Ｂ、ドリフト判定基準２７Ａである。
次に、ドリフト検出部６２は、運用時精度指標計算部６１で計算した精度指標２３Ｂの計算結果を異常検知モデル２４Ａへ入力し、エラー率２５Ｂを計算する（Ｓ８０２）。
次に、ドリフト検出部６２は、エラー率２５Ｂを用いて、ＣＤ検出部２８Ｂで使用するドリフト指標２６Ｂを計算する（Ｓ８０３）。

次に、ドリフト検出部６２は、ドリフト指標２６ＢをＣＤ検出部２８Ｂに入力する（Ｓ８０４）。次に、ドリフト検出部６２は、ＣＤ検出部２８Ｂによって、コンセプトドリフトを検出したか否かを確認する（Ｓ８０５）。検出した場合はＳ８０６へ進み、検出しなかった場合はＳ８０７に進む。

Ｓ８０６に進んだ場合はドリフト指標２６Ｂがドリフト判定基準２７Ａよりも大きいか否かを比較する（Ｓ８０６）。ドリフト指標２６Ｂがドリフト判定基準２７ＡＢよりも小さい場合、運用中の予測モデル精度２７Ｂは学習時の予測モデル精度２７Ａよりも高いため、Ｓ８０７へ進み、精度劣化の検出結果を「検出なし」とする。これにより、コンセプトドリフト技術が検出した偽陽性（false positive）の「検出あり」の結果を、「検出なし」として正しく修正できる。
一方、ドリフト指標２６Ｂがドリフト判定基準２７Ａよりも大きい場合、運用中の予測モデル精度は学習時よりも低いためＳ８０８へ進み、精度劣化の検出結果を「検出あり」とする。
ドリフト検出部６２は、精度劣化の検出結果をシステムデータ入出力部１５から出力し、処理を終了する。

図１６は、システムデータ入出力部１５の説明図である。
ドリフト検出部６２は、システムデータ入出力部１５を介して運用時の精度指標２３を計算した結果を、図１６の時系列グラフとして画面表示するとともに、その時系列グラフに、コンセプトドリフトが発生した時点（下記の時刻t3）を示す情報も併せて表示する。
システムデータ入出力部１５では、記憶部４に格納されているデータの出力と、予測モデル監視システム２のパラメータを記憶部４に入力することができる。記憶部４に格納されているデータとしては、表示タブにあるように、予測モデル３１Ａの精度指標２３Ｂ、学習データ３２Ａ、運用データ３３Ｂ、エラー率２５Ｂなどのパラメータ、ドリフト指標２６Ｂ、エラー率２５Ｂなどがある。図１６の構成例では、精度劣化検出時における精度指標２３Ｂを表示している。
図１６ではグラフとして表示しているが、時系列の表形式など表示方法は自由に決めてよい。また、予測モデル監視システム２のデータを処理し、その結果を表示しても良い。図１６の構成例では、精度指標２３の傾きを用いて精度劣化開始点を算出し、グラフ上に表示している。パラメータ入力の例としては、異常検知モデル２４Ａとして想定したIsolation Forestの学習パラメータ（異常率）などがある。

以下、図１６のグラフ上の特徴的な点について説明する。
時刻t1は、精度指標の外れ値を示している。ドリフト検出部６２は、このような外れ値やノイズのような瞬間的な精度劣化は検出しないため、時刻t1では精度劣化を検出しない。
時刻t2は、予測モデルの精度劣化開始時刻を示している。時刻t2を求める方法は、先述の通り精度指標２３Ｂの傾きを用いるなどの方法がある。
時刻t3は、ドリフト検出部６２によって予測モデルの精度劣化を検出したことを示している。ドリフト検出部６２は、長期的な精度劣化を検出可能である。ドリフト検出部６２は、時刻t2から継続的に精度劣化が発生したときに、時刻t3において精度劣化を検出し、システムデータ入出力部１５へ出力する。

以上説明した本実施形態の予測モデル監視システム２は、予測モデル３１Ａ向けのドリフト検出部６２をドリフト検出ロジック構築部５で構築する。ドリフト検出部６２の異常検知モデル２４Ａは、設計者のノウハウに依らない分類モデル向けのＣＤ検出部２８Ｂの適用を可能とする。
これにより、長期的な精度劣化検出が可能になり、予測モデルの精度維持を目的とした再学習が効率的に行える。また、予測モデルの再学習要否の条件が明確化されることで、予測モデルのメンテナンス作業に関する説明性向上と効率化が可能である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、本発明の予測モデル監視システム２を他システムと連携させることなどが考えられる。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

さらに、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの広義のプロセッサデバイスを用いてもよい。
また、上述した予測モデル監視システム２の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実行される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。

１ 運用システム
２ 予測モデル監視システム（精度監視装置）
３ データ収集部
４ 記憶部
５ ドリフト検出ロジック構築部
６ 精度監視部
７ インターフェイス部
１５ システムデータ入出力部
２３ 精度指標
２４Ａ 異常検知モデル
２５ エラー率
２６ ドリフト指標
２７Ａ ドリフト判定基準
２８Ｂ ＣＤ検出部（コンセプトドリフト検出部）
３１Ａ 予測モデル
３２Ａ 学習データ
３３Ｂ 運用データ
５１ 学習時精度指標計算部
５２ 異常検知モデル学習部
５３ ドリフト判定基準作成部
６１ 運用時精度指標計算部
６２ ドリフト検出部

Claims (7)

1. 運用システムの各機器から取得される学習データと、その学習データを学習した予測モデルと、前記運用システムの運用時に取得した運用データとを収集するデータ収集部と、
   前記予測モデルと前記運用データとの間のコンセプトドリフトを検出するドリフト検出部を構築するドリフト検出ロジック構築部とを備えており、
   前記ドリフト検出ロジック構築部は、異常検知モデルとコンセプトドリフト検出部とを含む前記ドリフト検出部を構築し、
   前記異常検知モデルは、前記学習データおよび前記運用データそれぞれについて、前記予測モデルが出力する予測値との間で定義される精度指標の頻度に応じて、正常値または異常値に分類する分類ロジックに沿って、前記学習データのうちの異常値の割合を示す学習時の異常率および前記運用データのうちの異常値の割合を示す運用時の異常率を計算して出力するモデルであり、
   前記コンセプトドリフト検出部は、前記異常検知モデルが出力する前記運用データの異常率を、正しくない分類がなされたエラー率として入力し、運用時の前記運用システムにコンセプトドリフトが発生したか否かを出力する処理部であり、
   前記ドリフト検出部は、前記学習時の異常率よりも前記運用時の異常率が高い状態が継続したときに、運用時の前記運用システムにコンセプトドリフトが発生した旨を出力することを特徴とする
   精度監視装置。
2. 前記精度監視装置は、さらに、前記ドリフト検出ロジック構築部が構築した前記ドリフト検出部を用いて、前記運用システムの運用時における前記予測モデルの予測精度の劣化を検出する精度監視部を有しており、
   前記精度監視部は、前記運用データと前記予測モデルの予測結果とをもとに運用時の前記精度指標を計算し、その計算した前記精度指標を前記異常検知モデルに入力することで、運用時の前記運用システムにコンセプトドリフトが発生したか否かを前記コンセプトドリフト検出部に出力させることを特徴とする
   請求項１に記載の精度監視装置。
3. 前記ドリフト検出ロジック構築部は、さらに、学習時の前記予測モデルの予測精度を示すドリフト判定基準を作成して、そのドリフト判定基準を前記ドリフト検出部に含めることとし、
   前記ドリフト検出部は、運用時の前記予測モデルの予測精度が前記ドリフト判定基準によりも高いときには、前記コンセプトドリフト検出部によりコンセプトドリフトが発生したとする出力を、コンセプトドリフトが発生していないという出力に修正することを特徴とする
   請求項２に記載の精度監視装置。
4. 前記ドリフト検出部は、運用時の前記精度指標を計算した結果を時系列グラフとして画面表示するとともに、その時系列グラフに、コンセプトドリフトが発生した時点を示す情報も併せて表示することを特徴とする
   請求項２に記載の精度監視装置。
5. 請求項１ないし請求項４のいずれか１項に記載の精度監視装置と、前記運用システムの各機器とを有することを特徴とする
   精度監視システム。
6. 精度監視装置は、データ収集部と、ドリフト検出ロジック構築部とを備えており、
   前記データ収集部は、運用システムの各機器から取得される学習データと、その学習データを学習した予測モデルと、前記運用システムの運用時に取得した運用データとを収集し、
   前記ドリフト検出ロジック構築部は、前記予測モデルと前記運用データとの間のコンセプトドリフトを検出するドリフト検出部を構築し、
   前記ドリフト検出ロジック構築部は、異常検知モデルとコンセプトドリフト検出部とを含む前記ドリフト検出部を構築し、
   前記異常検知モデルは、前記学習データおよび前記運用データそれぞれについて、前記予測モデルが出力する予測値との間で定義される精度指標の頻度に応じて、正常値または異常値に分類する分類ロジックに沿って、前記学習データのうちの異常値の割合を示す学習時の異常率および前記運用データのうちの異常値の割合を示す運用時の異常率を計算して出力するモデルであり、
   前記コンセプトドリフト検出部は、前記異常検知モデルが出力する前記運用データの異常率を、正しくない分類がなされたエラー率として入力し、運用時の前記運用システムにコンセプトドリフトが発生したか否かを出力する処理部であり、
   前記ドリフト検出部は、前記学習時の異常率よりも前記運用時の異常率が高い状態が継続したときに、運用時の前記運用システムにコンセプトドリフトが発生した旨を出力することを特徴とする
   精度監視方法。
7. コンピュータを、請求項１ないし請求項４のいずれか１項に記載の精度監視装置として機能させるための精度監視プログラム。

Images