JP2023074114A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】モデルの妥当性の検証をより容易に実現可能とする。【解決手段】情報処理装置は、記憶制御部と、選択部と、更新部と、を含む。記憶制御部は、出力データに対する影響度がそれぞれ算出される複数の変数を含む入力データを入力して出力データを出力するモデルであって、１以上の第１入力データそれぞれを用いて更新されたモデルの識別情報と、モデルの更新の履歴と、を含む１以上の履歴情報を記憶部に記憶させる。選択部は、第２入力データを用いた更新の対象とする対象モデルを、１以上の履歴情報に含まれる識別情報で識別されるモデルから選択する。更新部は、対象モデルを初期値として、第２入力データを用いて更新後のパラメータを推定する転移学習により、対象モデルを更新する。【選択図】図１

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

工場またはプラントの監視システムにおける予測モデルおよび異常検知モデルなど、連続的に更新される機械学習モデルにおいて、モデルの妥当性検証および要因解析の観点から安定したモデル更新が求められる場合がある。更新前のモデルを機械学習モデルの学習時に考慮することで、安定したモデル更新を可能にする技術が提案されている。

現実の監視システムで得られるデータでは、製造設備の運転状況の切り替え、および、センサの故障などによって、意図せず一時的にデータの分布が大きく変化する場合がある。

M. Takada et al.,"Transfer Learning via $ell_1$ Regularization", Advances in Neural Information Processing Systems （NeurIPS2020）, 33, 14266-14277.

しかしながら、従来技術では、意図せず一時的にデータの分布が大きく変化するような特別な期間を考慮していないため、この期間の前後でモデルが示す要因が大きく変化し、モデルの妥当性検証または要因解析が難しくなるという問題があった。

実施形態の情報処理装置は、記憶制御部と、選択部と、更新部と、を含む。記憶制御部は、出力データに対する影響度がそれぞれ算出される複数の変数を含む入力データを入力して出力データを出力するモデルであって、１以上の第１入力データそれぞれを用いて更新されたモデルの識別情報と、モデルの更新の履歴と、を含む１以上の履歴情報を記憶部に記憶させる。選択部は、第２入力データを用いた更新の対象とする対象モデルを、１以上の履歴情報に含まれる識別情報で識別されるモデルから選択する。更新部は、対象モデルを初期値として、第２入力データを用いて更新後のパラメータを推定する転移学習により、対象モデルを更新する。

実施形態の情報処理システムのブロック図。 入力データの一例を示す図。 モデルのパラメータの一例を示す図。 モデル推定処理のフローチャート。 モデル更新処理のフローチャート。 可視化処理のフローチャート。 影響度の算出例を示す図。 対象外期間の推定例を示す図。 可視化情報を表示する表示画面の一例を示す図。 実施形態にかかる情報処理装置のハードウェア構成図。

以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。

本実施形態にかかる情報処理装置は、例えば、以下のような機能を備える。これにより、意図せず一時的にデータの分布が大きく変化するような場合であっても、モデルの妥当性検証および要因解析をより容易に実現することが可能となる。
・過去に更新したモデルおよび更新の履歴（学習履歴）を記憶する機能
・新たなデータを用いて、記憶されたモデルそれぞれの評価値を算出する機能
・記憶されたモデルの中から最適なモデルを選択し、更新の対象とする機能
・一時的に意図しないデータが得られた期間を判定する機能

図１は、本実施形態の情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。図１に示すように、情報処理システムは、情報処理装置１００と、管理システム２００とが、ネットワーク３００を介して接続された構成となっている。

情報処理装置１００および管理システム２００それぞれは、例えばサーバ装置として構成することができる。情報処理装置１００および管理システム２００は、物理的に独立した複数の装置（システム）として実現されてもよいし、物理的に１つの装置内にそれぞれの機能が構成されてもよい。後者の場合、ネットワーク３００は備えらえなくてもよい。情報処理装置１００および管理システム２００の少なくとも一方は、クラウド環境上で構築されてもよい。

ネットワーク３００は、例えば、ＬＡＮ（ローカルエリアネットワーク）およびインターネットなどのネットワークである。ネットワーク３００は、有線ネットワークおよび無線ネットワークのいずれであってもよい。情報処理装置１００と、管理システム２００とは、ネットワーク３００を介することなく、コンポーネント間の直接的な有線接続または無線接続を用いてデータを送受信してもよい。

管理システム２００は、情報処理装置１００が処理するモデル、および、モデルの学習（推定）および解析などに用いられるデータを管理するシステムである。管理システム２００は、記憶部２２１と、通信制御部２０１と、を備えている。

記憶部２２１は、管理システム２００で実行される各種処理で用いられる各種情報を記憶する。例えば記憶部２２１は、モデルの推定に用いる入力データなどを記憶する。記憶部２２１は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

モデルは、複数の変数（説明変数）を含む入力データを入力して推論結果である出力データ（目的変数）を出力するモデルであり、学習用の入力データを用いた機械学習により学習（更新）される機械学習モデルである。複数の変数それぞれは、出力データに対する影響度がそれぞれ算出可能な変数である。モデルは、例えば、線形回帰モデル、多項式回帰モデル、ロジスティック回帰モデル、ポアソン回帰モデル、一般化線形モデル、および、一般化加法モデルなどである。モデルは、これらに限られるものではない。

モデルは、目的変数および説明変数を含む入力データを用いて学習することにより推定される。目的変数は、例えば、品質特性、不良率、並びに、良品および不良品のいずれかを示す情報などである。説明変数は、その他のセンサ値、加工条件などの設定値、および、制御値などである。

通信制御部２０１は、情報処理装置１００などの外部装置との間の通信を制御する。例えば通信制御部２０１は、入力データを情報処理装置１００に送信する。

上記各部（通信制御部２０１）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

情報処理装置１００は、記憶部１２１と、入力デバイス１２２と、ディスプレイ１２３と、通信制御部１０１と、記憶制御部１０２と、受付部１０３と、予測部１０４と、評価部１０５と、選択部１０６と、更新部１０７と、生成部１１１と、表示制御部１１２と、を備えている。

記憶部１２１は、情報処理装置１００で実行される各種処理で用いられる各種情報を記憶する。例えば記憶部１２１は、更新部１０７により更新されたモデルのパラメータ、および、更新されたモデルの学習履歴などを記憶する。記憶部１２１は、フラッシュメモリ、メモリカード、ＲＡＭ、ＨＤＤ、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

入力デバイス１２２は、ユーザなどにより情報を入力するためのデバイスである。入力デバイス１２２は、例えば、キーボードおよびマウスである。ディスプレイ１２３は、情報を出力する出力デバイスの一例であり、例えば液晶ディスプレイである。入力デバイス１２２およびディスプレイ１２３は、例えばタッチパネルのように一体化されてもよい。

通信制御部１０１は、管理システム２００などの外部装置との間の通信を制御する。例えば通信制御部１０１は、管理システム２００から入力データなどを受信する。

図２は、入力データの一例を示す図である。入力データは、データ期間と、日時と、説明変数と、目的変数と、を含む。データ期間は、複数のデータ（説明変数、目的変数）が取得された期間（日時の範囲）を示す。日時は、複数のデータそれぞれが取得された日時を示す。図２に示すように、入力データは、複数の説明変数を含みうる。

図１に戻り、記憶制御部１０２は、更新されたモデルのパラメータを記憶部１２１に記憶する。図３は、モデルのパラメータの一例を示す図である。図３のモデルは、複数の説明変数それぞれに乗じられる係数βをパラメータとする回帰モデルの例である。

図１に戻り、記憶制御部１０２は、さらに、１以上の入力データ（第１入力データ）それぞれを用いて更新されたモデルの識別情報と、モデルの学習履歴と、を含む１以上の履歴情報を記憶部１２１に記憶する。

履歴情報それぞれは、例えば、モデルＭと、モデルＭの学習履歴と、の組（Ｍ，Ｈ）のように表される。なお「Ｍ」はモデルの識別情報の一例である。以下では、識別情報Ｍで識別されるモデルのことをモデルＭという場合がある。

学習履歴は、モデルＭが、過去に推定または更新されたモデルのうちいずれのモデルを対象として更新されたかを示す情報である。学習履歴は、例えば、更新に用いられた入力データのデータ期間の履歴により表される。学習履歴の表現方法はこれに限られない。例えば、学習履歴は、更新の対象としたモデル（対象モデル）の識別情報の履歴により表されてもよい。また、学習履歴は、データ期間の履歴と、対象モデルの識別情報の履歴と、の両方を含んでもよい。

記憶制御部１０２は、例えば１回目からＮ回目（Ｎは２以上の整数）の複数の更新それぞれに対応する履歴情報の集合である集合Ｓ＝｛（Ｍ_１，Ｈ_１），・・・，（Ｍ_Ｎ，Ｈ_Ｎ）｝を記憶部１２１に記憶する。記憶制御部１０２は、次の更新の対象とする対象モデルの選択時、および、選択された対象モデルを用いたモデルの更新時（学習時）に、必要に応じて履歴情報の読み出しおよび履歴情報の書き込みを行う。

受付部１０３は、各種情報の入力を受け付ける。例えば受付部１０３は、通信制御部２０１および通信制御部１０１を介して管理システム２００から受信された複数の入力データを受け付ける。入力データは、例えば、説明変数Ｘと目的変数Ｙとの対からなるデータＤ＝（Ｘ，Ｙ）と、データＤが取得された期間を示すデータ期間ｈと、を含む。なお、複数の説明変数が用いられる場合、説明変数Ｘは、例えば、複数の説明変数それぞれを要素とするベクトルを表すと解釈することができる。

受付部１０３は、入力されたデータＤおよびデータ期間ｈを、予測部１０４および更新部１０７に入力する。予測部１０４に入力されたデータＤは、履歴情報に含まれる各モデルに対する目的変数の予測に用いられる。更新部１０７は、例えばデータＤおよびデータ期間ｈを使用して、対象モデルのパラメータを更新（学習）する。

予測部１０４は、履歴情報に含まれる識別情報で識別される１以上のモデルそれぞれについて、入力されたデータＤ（第２入力データ）を用いて目的変数を予測する。例えば予測部１０４は、記憶部１２１の履歴情報に含まれる各モデルＭ_１，・・・，Ｍ_Ｎに対して、説明変数Ｘに対する目的変数Ｙの予測値Ｙ＾を予測する。

評価部１０５は、予測部１０４により予測される予測値Ｙ＾を用いて、モデルそれぞれの予測の精度を表す評価値を求める。評価値は、選択部１０６が更新の対象とする対象モデルを選択するために用いられる。

例えば評価部１０５は、それぞれのモデル（モデルＭ_１，・・・，Ｍ_Ｎ）に対して、目的変数Ｙと予測部１０４で得られた予測値Ｙ＾とから平均二乗誤差を評価値として算出する。評価値は、平均二乗誤差に限られず、例えば、決定係数および平均絶対誤差などの、他の基準で算出される値であってもよい。算出された各モデルの評価値は選択部１０６に入力される。

選択部１０６は、更新の対象とする対象モデルを、履歴情報に含まれるモデルから選択する。例えば選択部１０６は、他のモデルより予測の精度が高いことを示す評価値を有するモデルを、更新の対象として選択する。

例えば評価値が平均二乗誤差または平均絶対誤差の場合、選択部１０６は、最も小さい評価値を有するモデルを対象モデルとして選択する。評価値が決定係数の場合、選択部１０６は、最も大きい評価値を有するモデルを対象モデルとして選択する。以下では、選択された対象モデルをＭ_ｂｅｓｔとし、対象モデルＭ_ｂｅｓｔの学習履歴をＨ_ｂｅｓｔとする。

更新部１０７は、モデルの更新を行う。更新部１０７は、２回目以降の学習時には、過去に学習したモデルを用いた転移学習を利用したモデル更新を行う。最初の学習時には、過去に学習したモデルが存在しないため、更新部１０７は、過去に学習したモデルを用いない方法によりモデルを学習する。

例えば更新部１０７は、選択部１０６により選択された対象モデルを初期値として、入力されたデータＤを用いてモデルのパラメータを推定する転移学習により、対象モデルのパラメータを更新する。より具体的には、更新部１０７は、選択部１０６より入力されたモデルＭ_ｂｅｓｔと、受付部１０３より入力されたデータＤと、を用いて転移学習を行い、モデルを更新する。更新後のモデルをＭ_ｎｅｗとする。更新部１０７は、受付部１０３より入力されたデータ期間ｈを、学習履歴Ｈ_ｂｅｓｔに追加してＨ_ｎｅｗとする。更新部１０７は、記憶制御部１０２を用いて、更新後のモデルおよび履歴情報（Ｍ_ｎｅｗ，Ｈ_ｎｅｗ）を記憶部１２１に記憶させる。

更新部１０７は、モデルの学習（更新）で利用される学習パラメータ（ハイパーパラメータ）および記憶部１２１に記憶するモデルの個数の最大値を示す閾値（最大モデル数）を予め設定してもよい。最大モデル数は、例えば記憶制御部１０２による記憶部１２１の記憶領域の管理に用いられる。

記憶制御部１０２は、予め定められた条件に従い記憶部１２１に記憶されている履歴情報の一部を削除する機能を備えてもよい。例えば記憶制御部１０２は、記憶部１２１に記憶されているモデルの総数が過大とならないように、モデルの更新後に削除処理を行う。削除処理では、記憶制御部１０２は、記憶部１２１に記憶されている履歴情報の集合Ｓ＝｛（Ｍ_１，Ｈ_１），・・・，（Ｍ_Ｎ，Ｈ_Ｎ）｝を入力し、集合の大きさ（集合に含まれる履歴情報の個数）が最大モデル数より大きいとき（条件の一例）、最も古い履歴情報（Ｍ_１，Ｈ_１）を削除する。記憶制御部１０２は、削除後の集合Ｓ_－１＝｛（Ｍ_２，Ｈ_２），・・・，（Ｍ_Ｎ，Ｈ_Ｎ）｝を記憶部１２１を記憶する。

上記のように、予測部１０４は、記憶部１２１に記憶されるモデルそれぞれについて目的変数を予測する。従って、最大モデル数が大きくなると、予測のための処理負荷が増加する。一方、意図せず一時的にデータの分布が大きく変化する可能性がある期間より前の期間に対応する履歴情報が記憶されていない場合、適切なモデルが選択できない状況が生じうる。従って、最大モデル数は、処理負荷、および、一時的にデータの分布が大きく変化する可能性がある期間の長さなどを考慮して決定されてもよい。

生成部１１１は、ディスプレイ１２３などに表示するための可視化情報を生成する。例えば生成部１１１は、記憶部１２１に記憶された履歴情報のうち、ユーザ等により指定された履歴情報に含まれる識別情報で識別されるモデル（指定モデル）の属性を表す属性情報を、可視化情報として生成する。

例えば受付部１０３は、入力デバイス１２２などを用いてユーザにより指定された指定モデルを受け付ける。以下では、指定モデルをＭ_ｓとし、モデルＭ_ｓの学習履歴をＨ_ｓとする。

属性情報はどのような情報であってもよいが、例えば以下のような情報（Ａ１）～（Ａ４）である。
（Ａ１）目的変数に対する各説明変数の影響度
（Ａ２）指定モデルのパラメータのうち、指定モデルを更新するときに選択された対象モデルに対して変化したパラメータ
（Ａ３）指定モデルの更新に用いられた１以上の入力データそれぞれが得られた期間（データ期間の履歴）
（Ａ４）入力データが指定モデルの更新に用いられなかった期間を表す対象外期間

例えば生成部１１１は、指定モデルＭ_ｓのパラメータを参照して、指定モデルＭ_ｓの予測に寄与する説明変数を抽出し、抽出した説明変数のリストを属性情報として生成する（Ａ１）。

また、生成部１１１は、学習履歴Ｈ_ｓを参照して、モデルＭ_ｓの１つ前のモデル（Ｍ_ｓの更新元のモデル）を特定する。生成部１１１は、特定したモデルのパラメータと指定モデルＭ_ｓのパラメータとを比較し、変化したパラメータを求める。生成部１１１は、変化したパラメータを示す属性情報を生成する（Ａ２）。

また、生成部１１１は、学習履歴Ｈ_ｓを参照して、指定モデルの更新に用いられた入力データが得られた期間を示す属性情報を生成する（Ａ３）。

また、生成部１１１は、学習履歴Ｈ_ｓを参照して、入力データが指定モデルの更新に用いられていない空白期間を特定し、特定した期間を表す対象外期間を属性情報として生成する（Ａ４）。

なお、意図せずデータの分布が大きく変化していない平時には、通常は最新のモデル（最も新しい期間の入力データで学習されたモデル）が対象モデルとして選択される。一方、意図せずデータの分布が大きく変化したような場合には、最新のモデルが選択されない可能性がある。このような場合、直近の１以上の期間は、対応する入力データがモデルの更新に用いられない空白期間になる。また、モデル更新後の学習履歴は、直近の１以上の期間を含まない履歴となる。言い換えると、学習履歴に含まれる期間が不連続となる。生成部１１１は、このような空白期間を対象外期間として特定することができる。

表示制御部１１２は、ディスプレイ１２３に対する各種情報の表示（可視化）を制御する。例えば表示制御部１１２は、生成部１１１により生成された属性情報（可視化情報）をディスプレイ１２３に表示する。

上記各部（通信制御部１０１、記憶制御部１０２、受付部１０３、予測部１０４、評価部１０５、選択部１０６、更新部１０７、生成部１１１、および、表示制御部１１２）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

以下では、ある製品ＰＡの製造装置に関する品質管理を行う情報処理システムを用いた例を主に説明する。製品ＰＡは、例えば濃度がある閾値未満の場合に不良品となる製品である。製造装置が備える、ある濃度センサにより検出される濃度センサ値が、製品ＰＡの品質の監視のために用いられる。

また、製造装置は、この濃度センサ以外にも、電流センサ、温度センサ、および、他の濃度センサなどの様々なセンサを備える。本実施形態では、これらのセンサによるセンサ値を入力データ（説明変数）として、監視対象である濃度センサ値（目的変数）を予測して出力データとして出力するモデルが構築される。このモデルは、予測に対する各入力データの影響度を提示可能なモデルである。影響度を用いて品質に関わる要因を分析することで、例えば歩留まりの改善に取り組むことが可能となる。以下では、モデルの学習方法として非特許文献１で述べられる技術であるＴｒａｎｓｆｅｒ Ｌａｓｓｏ（Least Absolute Shrinkage and Selection Operator）技術を用いた例を示す。

図４は、実施形態のモデル推定処理の一例を示すフローチャートである。モデル推定処理は、更新の元となる最初のモデルを推定するための処理である。

更新部１０７は、更新部１０７で用いる学習パラメータと、記憶部１２１に記憶する最大モデル数と、を設定する（ステップＳ１０１）。例えばＴｒａｎｓｆｅｒ Ｌａｓｓｏ技術では、正則化パラメータおよび遷移パラメータが、学習パラメータとして設定される。

受付部１０３は、初期データと、データ期間と、の入力を管理システム２００から受け付ける（ステップＳ１０２）。初期データは、データ期間ｈ_１（例えば１ヵ月）内に得られた、目的変数Ｙ_１となる濃度センサ値、および、説明変数Ｘ_１となるその他のセンサ値を含むデータＤ_１＝（Ｘ_１，Ｙ_１）である。初期データのデータ形式は、例えば図２で示した入力データのデータ形式と同様である。

更新部１０７は、設定された学習パラメータに従い、入力されたデータＤ_１を用いてモデルを学習する（ステップＳ１０３）。Ｔｒａｎｓｆｅｒ Ｌａｓｓｏ技術では、更新部１０７は、ｙを目標値、Ｘをモデルの入力データとして、ｙ＝Ｘβとなるような係数β＝｛β_１，・・・，β_ｐ｝を学習する。ｐは、説明変数Ｘおよび係数βの要素の数である。各係数β_１，・・・，β_ｐは、対応する説明変数（各センサのセンサ値）の、目的変数である濃度センサに対する影響度に相当する。

Ｔｒａｎｓｆｅｒ Ｌａｓｓｏ技術では、Ｌａｓｓｏ回帰による学習法で最初のモデルが学習される。学習したモデルを新規モデルＭ_１とする。

更新部１０７は、モデルＭ_１の学習履歴をＨ_１＝［ｈ_１］として、モデルＭ_１と、学習履歴Ｈ_１とを含む履歴情報を記憶部１２１に記憶する（ステップＳ１０４）。また、更新部１０７は、係数β＝｛β_１，・・・，β_ｐ｝と、係数それぞれに対応するセンサ名とを、モデルＭ_１の情報（パラメータ）として記憶部１２１に記憶する。上記の図３が、このようにして記憶されるパラメータの例である。

図５は、実施形態のモデル更新処理の一例を示すフローチャートである。モデル更新処理は、図４により推定された最初のモデルを元に、モデルを更新する処理である。更新されたモデルに対して、新たに得られた入力データを用いてさらにモデル更新処理が繰り返し実行されうる。

受付部１０３は、モデルの更新に用いる入力データＤ_ｔと、データ期間ｈ_ｔと、の入力を管理システム２００から受け付ける（ステップＳ２０１）。入力データＤ_ｔは、データ期間ｈ_ｔ（例えば１ヵ月）内に得られた、目的変数Ｙ_ｔとなる濃度センサ値、および、その他のセンサ値である説明変数Ｘ_ｔを含むデータである。

次に、予測部１０４は、記憶部１２１に記憶されているすべてのモデルＭ_１，・・・，Ｍ_Ｎおよび学習履歴Ｈ_１，・・・，Ｈ_Ｎを記憶部１２１から読み出す。予測部１０４は、読み出した各モデルについて、説明変数Ｘ_ｔを入力したときの出力データである、目的変数Ｙ_ｔの予測値Ｙ＾_ｔを算出する（ステップＳ２０２）。Ｔｒａｎｓｆｅｒ Ｌａｓｓｏ技術では、モデルＭ_ｋの（１≦ｋ≦Ｎ）予測値Ｙ＾_ｔ ^ｋは、Ｙ＾_ｔ ^ｋ＝Ｘβ^ｋにより算出される。

次に、評価部１０５は、各モデルの予測値を用いて、各モデルの評価値を算出する（ステップＳ２０３）。例えば評価値として平均二乗誤差を用いる場合、評価部１０５は、以下の（１）式により、モデルＭ_ｋの評価値Ｅ_ｋを算出する。

選択部１０６は、モデルＭ_１，・・・，Ｍ_Ｎそれぞれの評価値Ｅ_１，・・・，Ｅ_Ｎを参照し、最もよい評価値に対応するモデルを、更新の対象モデルＭ_ｂｅｓｔとして選択する（ステップＳ２０４）。

更新部１０７は、選択された対象モデルを入力データを用いて学習する（ステップＳ２０５）。例えば更新部１０７は、対象モデルＭ_ｂｅｓｔと、対象モデルＭ_ｂｅｓｔに対応した学習履歴Ｈ_ｂｅｓｔと、を選択部１０６から入力する。また、更新部１０７は、データＤ_ｔ＝（Ｘ_ｔ，Ｙ_ｔ）およびデータ期間ｈ_ｔを、受付部１０３から入力する。更新部１０７は、データＤ_ｔ＝（Ｘ_ｔ，Ｙ_ｔ）とモデルＭ_ｂｅｓｔとを用いて、Ｔｒａｎｓｆｅｒ Ｌａｓｓｏ技術に基づくモデル更新を行い、更新後のモデルＭ_ｎｅｗを求める。また更新部１０７は、学習履歴をＨ_ｎｅｗ＝［Ｈ_ｂｅｓｔ，ｈ_ｔ］のように更新する。

記憶制御部１０２は、更新されたモデルＭ_ｎｅｗと学習履歴Ｈ_ｎｅｗとを含む履歴情報を記憶部１２１に記憶する（ステップＳ２０６）。

次に、記憶制御部１０２は、記憶部１２１に記憶されている履歴情報の集合を記憶部１２１から読み出す。記憶制御部１０２は、記憶部１２１から入力された履歴情報の集合に含まれるモデルの数が最大モデル数より大きいか否かを判定する（ステップＳ２０７）。最大モデル数は、例えば図４のステップＳ１０１で設定される。

モデル数が最大モデル数より大きい場合（ステップＳ２０７：Ｙｅｓ）、記憶制御部１０２は、履歴情報の集合から、最も古いモデルと、最も古いモデルに対応する学習履歴を削除し、削除後の履歴情報の集合を記憶部１２１に入力して置き換える（ステップＳ２０８）。

次に、可視化情報（属性情報）を生成して可視化する可視化処理について説明する。図６は、可視化処理の一例を示すフローチャートである。

例えば表示制御部１１２は、記憶部１２１内に記憶されたモデルのうち可視化するモデルを選択するための選択画面をディスプレイ１２３に表示する。ユーザは、入力デバイス１２２を用いて可視化するモデルを選択する。以下では、選択されたモデルを指定モデルＭ_ｓとし、指定モデルＭ_ｓの学習履歴をＨ_ｓとする。

受付部１０３は、上記のように選択（指定）された指定モデルＭ_ｓを受け付ける（ステップＳ３０１）。以降、生成部１１１により、指定モデルＭ_ｓの属性情報（可視化情報）が生成され、表示制御部１１２により属性情報がディスプレイ１２３などに可視化される。

属性情報は、例えば上記の（Ａ１）～（Ａ４）に示す情報である。複数の属性情報のうち、可視化する属性情報をユーザ等が選択可能としてもよい。（Ａ１）～（Ａ４）の属性情報を可視化する場合、それぞれ以下のステップＳ３０２～ステップＳ３０５が実行される。これらのステップの実行順序は図６に示す順序に限られない。また、例えば可視化する属性情報として選択されなかった場合などには、これらのステップの一部は省略されてもよい。

生成部１１１は、影響度を表す可視化情報を生成する（ステップＳ３０２）。例えば生成部１１１は、指定モデルＭ_ｓの予測に寄与する説明変数を抽出する。Ｔｒａｎｓｆｅｒ Ｌａｓｓｏ技術では、予測に寄与する変数は係数βが０でない変数であり、係数βの大きさ（絶対値）が影響度となる。

図７は、影響度の算出例を示す図である。図７は、指定モデルＭ_ｓのパラメータが、図３に示す係数βであるときの影響度の算出例を示す。図７に示すように、値が０である係数βについては影響度が算出されなくてもよい。

図６に戻り、生成部１１１は、モデルの変化を表す可視化情報を生成する（ステップＳ３０３）。例えば生成部１１１は、指定モデルＭ_ｓの学習履歴Ｈ_ｓを参照して、指定モデルＭ_ｓの更新前のモデルＭ_ｓ－１を特定する。生成部１１１は、モデルＭ_ｓ－１に対する、指定モデルＭ_ｓの変化を算出する。Ｔｒａｎｓｆｅｒ Ｌａｓｓｏ技術によるモデルでは、指定モデルＭ_ｓとモデルＭ_ｓ－１との間の係数ごとの差をモデルの変化とする。

生成部１１１は、学習履歴Ｈ_ｓを参照して、指定モデルＭ_ｓの更新に用いられた入力データが得られた期間を示す可視化情報を生成する（ステップＳ３０４）。

生成部１１１は、対象外期間を表す可視化情報を生成する（ステップＳ３０５）。例えば生成部１１１は、学習履歴Ｈ_ｓを参照して連続していない期間を判定し、判定した期間を対象外期間とする。図８は、対象外期間の推定例を示す図である。図８では、記号「〇」が設定されたデータ期間が、入力データが得られた期間を示す。この例では、生成部１１１は、２０２０年４月および２０２０年５月を対象外期間として推定する。

表示制御部１１２は、生成された可視化情報をディスプレイ１２３などに可視化する（ステップＳ３０６）。図９は、可視化情報を表示する表示画面９０１の一例を示す図である。

グラフ９１１は、各説明変数の影響度を表す。グラフ９１２は、前回のデータ期間（７月）に対する今回のデータ期間（１０月）でのモデルの変化を表す。モデルの変化は、例えば、変化した係数βに対応するセンサごとに、その係数βの変化の量によって表される。グラフ９１３は、学習履歴（データ期間の履歴）および対象外期間とともに、各期間での目的変数の変化を表す。グラフ９１４は、今回のデータ期間での目的変数の変化を表す。

なお図９の表示画面９０１は一例であり、可視化情報の可視化方法はこれに限られない。例えば、図９に示す各グラフのうち、ユーザなどにより指定された属性情報に対応するグラフのみが可視化されてもよい。

以上説明したとおり、本実施形態によれば、意図せず一時的にデータの分布が大きく変化するような場合であっても、モデルの妥当性検証および要因解析などをより容易に実現可能となる。

次に、実施形態にかかる情報処理装置のハードウェア構成について図１０を用いて説明する。図１０は、実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。

実施形態にかかる情報処理装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

実施形態にかかる情報処理装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

実施形態にかかる情報処理装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、実施形態にかかる情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態にかかる情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

実施形態にかかる情報処理装置で実行されるプログラムは、コンピュータを上述した情報処理装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 情報処理装置
１０１ 通信制御部
１０２ 記憶制御部
１０３ 受付部
１０４ 予測部
１０５ 評価部
１０６ 選択部
１０７ 更新部
１１１ 生成部
１１２ 表示制御部
１２１ 記憶部
１２２ 入力デバイス
１２３ ディスプレイ
２００ 管理システム
２０１ 通信制御部
２２１ 記憶部
３００ ネットワーク

Claims (11)

1. 出力データに対する影響度がそれぞれ算出される複数の変数を含む入力データを入力して前記出力データを出力するモデルであって、１以上の第１入力データそれぞれを用いて更新されたモデルの識別情報と、前記モデルの更新の履歴と、を含む１以上の履歴情報を記憶部に記憶させる記憶制御部と、
   第２入力データを用いた更新の対象とする対象モデルを、１以上の前記履歴情報に含まれる識別情報で識別されるモデルから選択する選択部と、
   前記対象モデルを初期値として、前記第２入力データを用いて更新後のパラメータを推定する転移学習により、前記対象モデルを更新する更新部と、
   を備える情報処理装置。
2. 前記履歴情報に含まれる識別情報で識別される１以上の前記モデルそれぞれについて、前記第２入力データを用いて前記出力データを予測する予測部と、
   前記出力データに基づいて、前記モデルそれぞれの予測の精度を表す評価値を求める評価部と、をさらに備え、
   前記選択部は、他のモデルより予測の精度が高いことを示す前記評価値を有するモデルを前記対象モデルとして選択する、
   請求項１に記載の情報処理装置。
3. 前記モデルは、複数の説明変数を含む入力データを入力し、目的変数である出力データを出力する回帰モデルであり、
   前記評価値は、平均二乗誤差、決定係数、および、平均絶対誤差のいずれかである、
   請求項２に記載の情報処理装置。
4. 前記記憶制御部は、前記履歴情報の数が閾値より大きい場合に、前記記憶部に記憶されている履歴情報の一部を削除する、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記履歴情報のうち指定された前記履歴情報に含まれる識別情報で識別されるモデルである指定モデルの属性を表す属性情報を生成する生成部と、
   前記属性情報を可視化する表示制御部と、をさらに備える、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記生成部は、前記影響度を前記属性情報として生成する、
   請求項５に記載の情報処理装置。
7. 前記生成部は、前記指定モデルのパラメータのうち、前記指定モデルを更新するときに選択された前記対象モデルに対して変化したパラメータを示す前記属性情報を生成する、
   請求項５に記載の情報処理装置。
8. 前記履歴情報は、前記指定モデルの更新に用いられた１以上の前記第１入力データそれぞれが得られた期間をさらに含み、
   前記生成部は、前記期間を示す前記属性情報を生成する、
   請求項５に記載の情報処理装置。
9. 前記履歴情報は、前記指定モデルの更新に用いられた１以上の前記第１入力データそれぞれが得られた期間をさらに含み、
   前記生成部は、前記履歴情報に基づいて、前記第１入力データが前記指定モデルの更新に用いられなかった期間を表す対象外期間を示す前記属性情報を生成する、
   請求項５に記載の情報処理装置。
10. 情報処理装置で実行される情報処理方法であって、
    出力データに対する影響度がそれぞれ算出される複数の変数を含む入力データを入力して前記出力データを出力するモデルであって、１以上の第１入力データそれぞれを用いて更新されたモデルの識別情報と、前記モデルの更新の履歴と、を含む１以上の履歴情報を記憶部に記憶させる記憶制御ステップと、
    第２入力データを用いた更新の対象とする対象モデルを、１以上の前記履歴情報に含まれる識別情報で識別されるモデルから選択する選択ステップと、
    前記対象モデルを初期値として、前記第２入力データを用いて更新後のパラメータを推定する転移学習により、前記対象モデルを更新する更新ステップと、
    を含む情報処理方法。
11. コンピュータに、
    出力データに対する影響度がそれぞれ算出される複数の変数を含む入力データを入力して前記出力データを出力するモデルであって、１以上の第１入力データそれぞれを用いて更新されたモデルの識別情報と、前記モデルの更新の履歴と、を含む１以上の履歴情報を記憶部に記憶させる記憶制御ステップと、
    第２入力データを用いた更新の対象とする対象モデルを、１以上の前記履歴情報に含まれる識別情報で識別されるモデルから選択する選択ステップと、
    前記対象モデルを初期値として、前記第２入力データを用いて更新後のパラメータを推定する転移学習により、前記対象モデルを更新する更新ステップと、
    を実行させるためのプログラム。

Images