JP2022015275A - 設定管理装置、設定管理方法、及び、設定管理プログラム - Google Patents

Abstract

【課題】前処理設定と、前処理設定に対応する学習履歴とを対応させて記録したい。【解決手段】設定管理装置１０は、入力情報に対応する出力情報を推論するプログラムである学習モデルを学習させるために用意されたデータである学習用生データに対する前処理の設定を示す情報である前処理設定と、前処理設定に基づいて学習用生データを加工したデータである前処理済データを用いて学習モデルを学習させることによって生成された学習済モデルの精度を示す評価指標とを対応させて記録する履歴記録部１４を備える。【選択図】図１

Description

本開示は、設定管理装置、設定管理方法、及び、設定管理プログラムに関する。

ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）により時系列データの予測又は異常検知等を試みる際、前処理を実施することがある。前処理は、生データを加工することによってＡＩに入力するデータを作成する処理のことである。

特開２０１８－０６３５５３号公報

前処理の設定によって、学習済モデルの精度が変わることがある。そのため、前処理の設定と、学習履歴とを対応させて蓄積することが望ましい。しかしながら、特許文献１の技術によれば、前処理の設定を蓄積する機能がない。学習履歴は、具体例として、訓練データ又はテストデータと、学習済モデルと、学習済モデルの評価指標とである。

本開示は、前処理設定と、前処理設定に対応する学習履歴とを対応させて記録することを目的とする。

本開示に係る設定管理装置は、
入力情報に対応する出力情報を推論するプログラムである学習モデルを学習させるために用意されたデータである学習用生データに対する前処理の設定を示す情報である前処理設定と、前記前処理設定に基づいて前記学習用生データを加工したデータである前処理済データを用いて前記学習モデルを学習させることによって生成された学習済モデルの精度を示す評価指標とを対応させて記録する履歴記録部を備える。

本開示に係る設定管理装置は、履歴記録部を備える。履歴記録部は、前処理設定と、前処理設定に対応する学習済モデルの評価指標とを記録する。評価指標は、前処理設定に対応する学習履歴である。
従って、本開示に係る設定管理装置によれば、前処理設定と、前処理設定に対応する学習履歴とを対応させて記録することができる。

実施の形態１に係る設定管理装置１０の構成例。 実施の形態１に係る設定管理装置１０のハードウェア構成例。 実施の形態１に係る設定管理装置１０の動作例を示すフローチャート。 実施の形態１に係る設定画面８０の実施例。 実施の形態１に係る前処理設定の実施例。 実施の形態１に係る学習指示の実施例。 実施の形態１に係る学習モデルの実施例。 実施の形態１に係る学習用生データの実施例。 実施の形態１に係るハイパーパラメータの実施例。 実施の形態１に係る前処理済データの実施例。 実施の形態１に係る学習済モデルの実施例。 実施の形態１に係る評価指標の実施例。 実施の形態１に係る履歴情報の実施例。 実施の形態１に係る比較情報の実施例。 先行技術に係る識別情報付与システムの構成図。 先行技術に係る学習データベースの構成図。 実施の形態１の変形例に係る設定管理装置１０のハードウェア構成例。 実施の形態２に係る設定管理装置１０の構成例。 実施の形態２に係る設定探索部２１の動作例を示すフローチャート。 実施の形態２に係る探索情報の実施例。 実施の形態２に係る前処理設定値ｄ１に対応する履歴情報の実施例。 実施の形態２に係る前処理設定値ｄ２に対応する履歴情報の実施例。 実施の形態２に係るｄ［ｉ］の具体例。 実施の形態２に係るｄ［２］に対応する履歴情報の実施例。 実施の形態２に係るａ［２］の実施例。 実施の形態２に係る探索結果情報の実施例。 実施の形態３に係る設定管理装置１０の構成例。 実施の形態３に係る設定管理装置１０の動作例を示すフローチャート。 実施の形態３に係る履歴取得条件の実施例。 実施の形態３に係る履歴情報の実施例。 実施の形態３に係る前処理グラフの実施例。 実施の形態３に係る評価用生データの実施例。 実施の形態３に係る予測値グラフの実施例。

実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。

実施の形態１．
以下、本実施の形態について、図面を参照しながら詳細に説明する。

＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る設定管理装置１０の構成例を示している。設定管理装置１０は、本図に示すように、設定入力部１１と、学習制御部１２と、履歴管理部１３と、履歴記録部１４と、履歴比較部１５とを備える。

設定入力部１１は、前処理設定をユーザから受け付け、受け付けた前処理設定を学習制御部１２と、履歴管理部１３とに出力する。このとき、設定入力部１１は、ユーザに対して時系列データの前処理設定を入力する画面を提供してもよい。ユーザは、コンピュータであってもよい。
設定入力部１１は、学習制御部１２から学習用生データを受け付ける。

前処理は、データを解析する前に、データを解析する前に解析するデータを加工することである。前処理の具体例を以下に示す。
前処理の一例である移動平均は、１０分間の電圧の平均値を計算する際に用いられる。
前処理の一例である欠損データ処理は、データが欠損している時間の値を線形補完する際に用いられる。
前処理の一例である正規化は、全データの中で最大値が１となるように全データを当初の最大値で割る際に用いられる。

学習制御部１２は、学習指示と、学習モデルと、学習用生データと、ハイパーパラメータとをユーザから受け付け、前処理設定を設定入力部１１から受け付ける。前処理設定は、学習用生データに対する前処理の設定を示す情報である。前処理の設定は、具体例として、前処理の手法を選択すること、又は、前処理の手法に関するパラメータの値を決めることである。
学習制御部１２は、学習指示がある場合において、学習モデルと、学習用生データと、ハイパーパラメータとを用いて学習モデルを学習させることによって学習済モデルを生成し、生成した学習済モデルに対応する評価指標を生成し、かつ、学習済モデルと、学習用生データと、ハイパーパラメータと、評価指標とを履歴管理部１３に出力する。学習制御部１２は、学習モデルに対応するハイパーパラメータを受け付け、かつ、ハイパーパラメータを用いて学習済モデルを生成する。
学習制御部１２は、複数の前処理設定を受け付け、複数の学習済モデルを生成し、複数の評価指標を生成してもよい。このとき、複数の前処理設定と、複数の学習済モデルと、複数の評価指標とのそれぞれの数は同じである。また、複数の前処理設定それぞれは、互いに異なる複数の学習済モデルそれぞれと対応する。複数の学習済モデルそれぞれは、互いに異なる複数の評価指標それぞれと対応する。
また、学習制御部１２は、学習用生データを設定入力部１１に出力する。
学習指示は、学習制御部１２に学習モデルを学習させる指示の有無を示す情報である。
学習モデルは、機械学習又はＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）のアルゴリズムを実装したプログラムである。学習モデルは、入力情報に対応する出力情報を推論するプログラムである。入力情報は、学習モデル又は学習済モデルに入力するデータである。出力情報は、学習モデル又は学習済モデルが推論した結果である。
ハイパーパラメータは、学習モデルに対応し、かつ、機械学習又はＡＩのアルゴリズムの挙動を制御するパラメータの情報である。情報は、文字情報であってもよい。
学習用生データは、学習モデルを学習させるために用意されたデータであり、前処理を実行されていないデータである。
学習済モデルは、学習済みパラメータが組み込まれたプログラムである。学習済モデルは、前処理済データを用いて学習モデルを学習させることによって生成される。
学習済みパラメータは、学習モデルのパラメータであって、学習モデルを学習させることによって得られるパラメータである。
評価指標は、学習済モデルによる予測の正解率等、学習済モデルの精度を示す。学習済モデルの精度は、学習済モデルの出力の適切さの度合いであり、典型的には、評価指標によって計測される。評価指標は、予測結果と呼ばれることもある。評価指標は、学習済モデルが前処理済データを用いて推論することによって予測した結果を表現する情報を含んでもよい。前処理済データは、学習用生データに対して前処理設定に基づいて前処理を実行することによって得られるデータである。前処理済データは、前処理設定に基づいて学習用生データを加工したデータである。

履歴管理部１３は、設定入力部１１から前処理設定を受け付け、学習用生データと、学習済モデルと、ハイパーパラメータと、評価指標とを学習制御部１２から受け付け、受け付けた情報を用いて履歴情報を生成する。履歴管理部１３は、生成した履歴情報を履歴記録部１４に出力する。
履歴情報は、前処理設定と、前処理設定に基づいて生成された前処理済データを用いて生成された学習済モデルに対応する評価指標とを対応させた情報である。履歴情報は、学習済モデルと、ハイパーパラメータと、学習用生データと、前処理設定と、評価指標等を含んでもよい。また、履歴情報は、データを示す情報として、データのパスを示す情報を含んでもよい。

履歴記録部１４は、１つ以上の履歴情報を履歴管理部１３から受け付け、受け付けた１つ以上の履歴情報を記録し、受け付けた１つ以上の履歴情報を履歴比較部１５に出力する。記録することは、保持すること又は蓄積することと同義であることもある。履歴記録部１４は、前処理設定と、評価指標とを対応させて記録する。履歴記録部１４は、ハイパーパラメータと、評価指標とを対応させて記録してもよい。履歴記録部１４は、複数の前処理設定それぞれと、複数の前処理設定それぞれに対応する複数の評価指標それぞれとを対応させて記録してもよい。

履歴比較部１５は、履歴記録部１４から１つ以上の履歴情報を受け付ける。履歴比較部１５は、複数の履歴情報を受け付けた場合において、比較情報を生成する。比較情報は、複数の履歴情報と、複数の履歴情報間の差異とを示す。比較情報は、比較情報を画面に表示するための情報を含んでもよい。

図２は、本実施の形態に係る設定管理装置１０のハードウェア構成例を示している。設定管理装置１０は、コンピュータから成る。設定管理装置１０は、複数のコンピュータから成ってもよい。

コンピュータは、本図に示すように、プロセッサ１０１と、メモリ１０２と、補助記憶装置１０３と、入出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４と、通信装置１０５と等のハードウェアを備えるコンピュータである。これらのハードウェアは、信号線１０９を介して互いに接続されている。

プロセッサ１０１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ１０１は、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
設定管理装置１０は、プロセッサ１０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１０１の役割を分担する。

メモリ１０２は、典型的には、揮発性の記憶装置である。メモリ１０２は、主記憶装置又はメインメモリとも呼ばれる。メモリ１０２は、具体例として、ＲＡＭ（Ｒａｎｄｏｍ
Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。メモリ１０２に記憶されたデータは、必要に応じて補助記憶装置１０３に保存される。

補助記憶装置１０３は、典型的には、不揮発性の記憶装置である。補助記憶装置１０３は、具体例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はフラッシュメモリである。補助記憶装置１０３に記憶されたデータは、必要に応じてメモリ１０２にロードされる。
メモリ１０２と、補助記憶装置１０３とは、一体的に構成されていてもよい。

入出力ＩＦ１０４は、入力装置及び出力装置が接続されるポートである。入出力ＩＦ１０４は、具体例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。

通信装置１０５は、レシーバ及びトランスミッタである。通信装置１０５は、具体例として、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。

設定管理装置１０の各部は、他の装置等と通信する際に、通信装置１０５を適宜用いてもよい。
設定管理装置１０の各部がデータを受け付ける場合、設定管理装置１０の各部は、入出力ＩＦ１０４を介してデータを受け付けても良く、また、通信装置１０５を介してデータを受け付けてもよい。

補助記憶装置１０３は、設定管理プログラムを記憶している。設定管理プログラムは、設定管理装置１０が備える各部の機能をコンピュータに実現させるプログラムである。設定管理プログラムは、複数のファイルから成ってもよい。設定管理プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。設定管理装置１０が備える各部の機能は、ソフトウェアにより実現される。

設定管理プログラムを実行する際に用いられるデータと、設定管理プログラムを実行することによって得られるデータと等は、記憶装置に適宜記憶される。設定管理装置１０の各部は、適宜記憶装置を利用する。記憶装置は、具体例として、メモリ１０２と、補助記憶装置１０３と、プロセッサ１０１内のレジスタと、プロセッサ１０１内のキャッシュメモリとの少なくとも１つから成る。なお、データと、情報とは、同等の意味を有することもある。記憶装置は、コンピュータと独立したものであってもよい。
メモリ１０２の機能と、補助記憶装置１０３の機能とのそれぞれは、他の記憶装置によって実現されてもよい。

履歴記録部１４は、記憶装置から成る。

設定管理プログラムは、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。設定管理プログラムは、プログラムプロダクトとして提供されてもよい。

＊＊＊動作の説明＊＊＊
設定管理装置１０の動作手順は、設定管理方法に相当する。また、設定管理装置１０の動作を実現するプログラムは、設定管理プログラムに相当する。

図３は、設定管理装置１０の動作の一例を示すフローチャートである。
以下、衛星の電源電圧を示す時系列データである学習用生データを前処理した上で衛星の状態の異常を検知するＡＩを製作する場合に対応する例を交えながら設定管理装置１０の動作手順を説明する。他の実施の形態においても、本例を適宜交えながら説明する。

（ステップＳ１０１：前処理情報入力処理）
ユーザは、設定画面８０を用いて設定入力部１１に前処理設定を入力する。設定画面８０は、ユーザが前処理設定を入力する際に用いられる。
図４は、設定画面８０の実施例を示している。本例において、設定画面８０は、前処理済データ欄８１と、前処理設定入力欄８５とを有する。前処理済データ欄８１は、学習用前処理済データ欄とも呼ばれる。前処理設定入力欄８５は、前処理設定入力欄とも呼ばれる。

前処理済データ欄８１は、前処理済データを示す。前処理済データ欄８１は、グラフ８２を有する。

グラフ８２は、前処理済データをグラフ形式により描画した折れ線グラフである。グラフ８２の横軸は時刻を示し、グラフ８２の縦軸は電力を示す。

前処理設定入力欄８５は、前処理の各項目の値を入力することと、入力した値を確定することとに用いられるフォームである。前処理設定入力欄８５は、項目名８６と、項目入力８７と、確定ボタン８８とを有する。各辺が点線で表示されている四角形は、説明のために便宜的に表示している仮想的な図形である。

項目名８６は、「名称」と、「移動平均間隔」と、「正規化有無」等の項目を示す。「名称」は、前処理の設定に付けられた名称を示す。「移動平均間隔」は、移動平均を計算する間隔を示す。「正規化有無」は、学習用生データに対する正規化の有無を示すフラグを示す。

項目入力８７は、項目名８６のそれぞれに対応する。

確定ボタン８８は、ユーザが入力した情報を確定することに用いられる。

図５は、前処理設定の実施例を示している。本例において、前処理設定は、前処理を識別する情報として、「名称」と、「正規化有無」と、「移動平均間隔」との項目を有する。

設定入力部１１は、前処理設定を履歴管理部１３に出力する。

（ステップＳ１０２：学習情報入力処理）
ユーザは、学習指示と、学習モデルと、学習用生データと、ハイパーパラメータとを学習制御部１２に入力する。

図６は、学習指示の実施例を示している。本例において、学習指示は、「学習実施有無」という項目を有する。「学習実施有無」はフラグを示す。学習指示の有無は、「有」又は「無」という値により示される。

図７は、学習モデルの実施例を示している。本例は、参考文献１に示されるリカレントニューラルネットワークである。

［参考文献１］
巣籠悠輔．“詳解 ディープラーニング ＴｅｎｓｏｒＦｌｏｗ・Ｋｅｒａｓによる時系列データ処理”．株式会社 マイナビ出版，２０１７年５月

図８は、学習用生データの実施例を示している。本例は、日時と各日時における衛星の電源電圧との組を１秒間隔で示している。日時と電源電圧とは、カンマにより区切られている。また、日時と電源電圧との組は、Ｎ個存在するものとする。

図９は、ハイパーパラメータの実施例を示している。本例において、ハイパーパラメータは、「ステップ数」と、「バイアスｂ初期値」と、「バイアスｃ初期値」との項目を有する。「ステップ数」は、ｘ（ｔ）に、一度に格納するデータの個数を示す。ｘ（ｔ）は、学習用生データからのリカレントニューラルネットワークによる学習モデルへの入力である。なお、「バイアスｂ初期値」のｂは、図７におけるバイアスベクトルを指す。「バイアスｃ初期値」は、「バイアスｂ初期値」と同様である。
具体例として、「ステップ数」が２である場合、連続する２秒分のデータ、即ち、連続して取得された電源電圧の値２つを示す［５．０ ４．０］をｘ（ｔ）に格納する。

（ステップＳ１０３：前処理実行処理）
学習制御部１２は、前処理設定と、学習用生データとに基づいて前処理済データを生成する。具体例として、学習制御部１２は、前処理設定と、電源電圧の時系列の学習用生データとに基づいて前処理済データを生成する。

（ステップＳ１０４：学習処理）
学習制御部１２は、前処理済データと、学習モデル等を用いてＡＩの分野における学習を実行することにより学習済モデルを生成する。

図１０は、前処理済データの実施例を示している。本例において、前処理済データは、学習用生データの電圧値から１０分間隔の移動平均値を計算し、その移動平均値の最大値（５Ｖ）により各時刻の移動平均値を除すことにより、電圧の最大値が１となるように正規化することによって生成されたものである。即ち、本例において、前処理済データは、正規化電圧値を持つ時系列のデータ列である。

（ステップＳ１０５：評価指標算出処理）
学習制御部１２は、学習モデルの学習が終了した後で、生成した学習済モデルに対応する評価指標を算出する。
学習制御部１２は、学習済モデルと、ハイパーパラメータと、評価指標とを履歴管理部１３に出力する。学習済モデルは、学習済みモデルを構成するパラメータを含む。

図１１は、学習済モデルの実施例を示している。本例において、学習済モデルは、学習済モデルを識別する情報としてモデル名を有し、かつ、リカレントニューラルネットワーク特有の情報として、重み関数とバイアスとを有する。

図１２は、評価指標の実施例を示している。本例において、評価指標は、「正解率」と、「適合率」と、「再現度」と、「特異度」と、「Ｆ値」と、「誤差曲線」との項目を有する。

（ステップＳ１０６：履歴情報生成処理）
履歴管理部１３は、履歴情報を生成し、生成した履歴情報を履歴記録部１４に出力する。

図１３は、履歴情報の実施例を示している。本例において、履歴情報は、「学習済モデル」と、「ハイパーパラメータ」と、「学習用生データ」と、「前処理設定」と、「評価指標」との項目を有する。

（ステップＳ１０７：比較情報生成処理）
履歴比較部１５は、履歴記録部１４から複数の履歴情報を受け付け、受け付けた複数の履歴情報を用いて比較情報を生成する。履歴比較部１５は、受け付けた複数の履歴情報と、受け付けた複数の履歴間の差異とを表示する情報を生成する。

図１４は、比較情報の実施例を示している。本例において、比較情報は、図１３に示す項目を表示し、「履歴１」と「履歴２」とを２列に並べて表示し、かつ、「差異」を表示する情報を含む。「履歴１」と、「履歴２」とは、複数の履歴情報に当たる。「差異」は、「履歴１」と、「履歴２」との間の差異の有無を示す。

＊＊＊実施の形態１の効果の説明＊＊＊
以上のように、本実施の形態に係る設定管理装置１０によれば、履歴記録部１４が履歴情報を記録する。履歴情報は、前処理設定と、前処理設定に対応する学習履歴とを対応させた情報でもある。ここで、学習履歴は、具体例として、学習用生データと、学習済モデルと、学習済モデルの評価指標とである。
従って、本実施の形態に係る設定管理装置１０は、前処理設定と、前処理設定に対応する学習履歴とを対応させて記録することができる。

ここで、特許文献１の課題等を説明する。
図１５は、特許文献１に係る識別情報付与システムの構成を示している。本図を用いて、特許文献１に係る課題を具体的に説明する。特許文献１は、ＡＩ学習の精度と学習履歴の組を識別して管理するための技術を開示している。
本技術において、学習依頼者は、学習依頼者システムの学習データ入力装置を介して、学習サービス提供システムの学習装置に学習を依頼する。このとき、学習履歴は、学習データベースに蓄積される。

図１６は、特許文献１に係る学習データベースの構成を示している。ここで、学習データ入力装置には前処理設定の入力機能がない。また、学習データベースには前処理設定を蓄積する機能がない。そのため、前処理の設定と学習履歴との複数の組を比較することができなかった。
しかしながら、本実施の形態に係る設定管理装置１０によれば、前処理の設定と学習履歴との複数の組を比較することができる。

＊＊＊他の構成＊＊＊
＜変形例１＞
図１７は、本変形例に係る設定管理装置１０のハードウェア構成例を示している。
設定管理装置１０は、本図に示すように、プロセッサ１０１とメモリ１０２と補助記憶装置１０３との少なくとも１つに代えて、処理回路１０８を備える。
処理回路１０８は、設定管理装置１０が備える各部の少なくとも一部を実現するハードウェアである。
処理回路１０８は、専用のハードウェアであっても良く、また、メモリ１０２に格納されるプログラムを実行するプロセッサであってもよい。

処理回路１０８が専用のハードウェアである場合、処理回路１０８は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらの組み合わせである。
設定管理装置１０は、処理回路１０８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１０８の役割を分担する。

設定管理装置１０において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。

処理回路１０８は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
プロセッサ１０１とメモリ１０２と補助記憶装置１０３と処理回路１０８とを、総称して「プロセッシングサーキットリー」という。つまり、設定管理装置１０の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
他の実施の形態に係る設定管理装置１０についても、本変形例と同様の構成であってもよい。

実施の形態２．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
図１８は、本実施の形態に係る設定管理装置１０の構成例を示している。本図に示すように、設定管理装置１０は、設定探索部２１を備える。

設定探索部２１は、探索情報に基づいて精度が最も高い学習済モデルに対応する前処理設定を探索する。探索情報は、履歴記録部１４から履歴情報を探索することに用いられる。設定探索部２１は、複数の学習済モデルの中から探索モデルとして学習済モデルを複数の評価指標に基づいて探索し、探索モデルに対応する前処理設定を選択してもよい。設定探索部２１は、典型的には、最適な評価指標に対応する学習済モデルを探索する。最適な評価指標は、具体例として、評価指標全ての中で最も値が大きい指標である。
設定探索部２１は、最適前処理設定を出力装置に出力してもよい。最適前処理設定は、精度が最も高い学習済モデルに対応する前処理設定である。
具体例として、まず、設定探索部２１は、分割数Ｎと、２つのバージョン番号ｖ１及びｖ２とをユーザから受け付け、２つのバージョン番号ｖ１及びｖ２を用いて履歴記録部１４から２つの履歴情報に対応する２つの前処理設定を取得する。次に、設定探索部２１は、取得した２つの前処理設定値の間を等間隔に分割し、２つの前処理設定値の間を分割する点と２つの前処理設定値とのそれぞれに対応する学習済モデルの精度を算出する。次に、設定探索部２１は、算出した精度の中で最も高い精度に対応する学習済モデルに対応する前処理設定値を出力する。ここで、前処理設定値は、前処理設定に示される値である。前処理設定値は、ベクトル値であってもよい。

＊＊＊動作の説明＊＊＊
図１９は、設定探索部２１の動作の一例を示すフローチャートである。本フローチャートの説明において、設定探索部２１は、分割数Ｎと、２つのバージョン番号とをユーザから受け付け、最適前処理設定を生成し、生成した最適前処理設定を出力する。

（ステップＳ２０１：探索情報入力処理）
ユーザは、入力装置を用いて探索情報を設定探索部２１に入力する。探索情報は、具体例として、分割数Ｎと、２つのバージョン番号ｖ１及びｖ２とから成る。Ｎと、ｖ１と、ｖ２とは、変数名である。

図２０は、探索情報の実施例を示している。本例において、ユーザは、分割数Ｎとして１０を入力し、２つのバージョン番号としてｖ１及びｖ２を入力する。

（ステップＳ２０２：履歴情報取得処理）
設定探索部２１は、履歴記録部１４から前処理設定値ｄ１を取得する。前処理設定値ｄ１は、バージョンｖ１の前処理設定に含まれる前処理の設定値である。

図２１は、前処理設定値ｄ１に対応する履歴情報の実施例を示している。本例において、前処理設定値ｄ１は、移動平均間隔の値であり、かつ、１０分である。

（ステップＳ２０３：履歴情報取得処理）
設定探索部２１は、履歴記録部１４から前処理設定値ｄ２を取得する。前処理設定値ｄ２は、バージョンｖ１の前処理設定に含まれる前処理の設定値である。

図２２は、前処理設定値ｄ２に対応する履歴情報の実施例を示している。本例において、前処理設定値ｄ２は、移動平均間隔の値であり、かつ、２０分である。
前処理設定値ｄ１と、前処理設定値ｄ２とは、前処理設定以外同じである。

（ステップＳ２０４：初期化処理）
設定探索部２１は、変数ｉを０に初期化する。変数ｉは、反復回数に対応する変数である。

（ステップＳ２０５：ｄ［ｉ］算出処理）
設定探索部２１は、［数式１］に従ってｄ［ｉ］を算出する。なお、ｄ１はｄ［０］と対応しており、ｄ２はｄ［Ｎ］と対応している。

［数式１］
ｄ［ｉ］＝ｄ１＋（（ｄ２－ｄ１）＊ｉ）／Ｎ

なお、ステップＳ２０５からステップＳ２０８までの処理は、反復処理である。本反復処理において、設定探索部２１は、変数ｉの値を０からＮまでの範囲で値を１刻みで変化させ、各ｉについて、前処理設定値がｄ［ｉ］であるときにおけるａ［ｉ］を算出するよう学習制御部１２に指示する。ａ［ｉ］は、ｄ［ｉ］に対応する学習済モデルの精度を示す。
図２３は、ｄ［ｉ］のｄ１及びｄ２に具体的な値を代入した例を示している。本例において、分割数Ｎは１０である。

（ステップＳ２０６：ａ［ｉ］算出処理）
設定探索部２１は、学習制御部１２に精度ａ［ｉ］を算出させるため、学習指示と、履歴情報とを学習制御部１２に送る。

図２４は、ｄ［２］に対応する履歴情報の実施例を示している。移動平均間隔の値以外は、他のｄ［ｉ］に対応する履歴情報と同じである。

図２５は、ａ［２］の実施例を示している。本例において、設定探索部２１は、ａ［ｉ］として正解率を用いている。設定探索部２１は、ａ［ｉ］として適合率等の値を用いてもよく、また、ａ［ｉ］として複数の値から算出された値を用いてもよい。

（ステップＳ２０７：判定処理）
設定探索部２１は、ｉの値がＮの値以下であるか否かを判定する。
ｉの値がＮの値以下である場合、設定探索部２１は、ステップＳ２０８に進む。それ以外の場合、設定探索部２１は、ステップＳ２０９に進む。

（ステップＳ２０８：加算処理）
設定探索部２１は、変数ｉの値を１つ増やす。

（ステップＳ２０９：出力処理）
まず、設定探索部２１は、ｉの値が０からＮまでの範囲においてａ［ｉ］の値を比較し、ｉ_ｍａｘを求める。ｉ_ｍａｘは、ｉの値が所定の範囲においてａ［ｉ］の値が最大となるｉの値を示す。次に、設定探索部２１は、ｄ［ｉ_ｍａｘ］を含む情報を出力装置に出力する。ｄ［ｉ_ｍａｘ］は、最大のａ［ｉ］に対応する。

図２６は、探索結果情報の実施例を示している。探索結果情報は、具体例として、ｉと、ａ［ｉ］と、ｄ［ｉ］とを含む。本例において、ｉ_ｍａｘは５であり、ａ［ｉ_ｍａｘ］は０．５であり、ｄ［ｉ_ｍａｘ］の値は１５である。

＊＊＊実施の形態２の効果の説明＊＊＊
以上のように、本実施の形態に係る設定管理装置１０は、設定探索部２１を備える。設定探索部２１は、所定の範囲において、精度が最も高い学習済モデルに対応する前処理設定を探索する。
従って、本実施の形態に係る設定管理装置１０は、精度が高い学習済モデルを生成することにつながる前処理設定を探索することができる。また、本実施の形態に係る設定管理装置１０は、前処理設定と学習履歴との組を複数比較することと、良好な精度を達成する前処理設定を探索することができる。

＜変形例２＞
ステップＳ２０９において、ｉ_ｍａｘが複数存在する、即ち、複数のｉにおいてａ［ｉ］が最大となる場合に、設定探索部２１は、複数のｉ_ｍａｘそれぞれに対応する複数の前処理設定値を出力してもよく、他の評価指標を用いて複数のｉ_ｍａｘから１つの値を選択し、選択した値に対応する１つの前処理設定値を出力してもよい。

＜変形例３＞
設定探索部２１は、図１９に示すフローチャートの実行後にｄ［ｉ_ｍａｘ］の周辺を探索してもよい。設定探索部２１がａ［ｉ_ｍａｘ］よりも高い精度に対応する前処理設定値をｄ［ｉ_ｍａｘ］の周辺において発見した場合に、設定探索部２１は、発見された前処理設定値の中で最も高い精度に対応する前処理設定値を出力する。

実施の形態３．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。

＊＊＊構成の説明＊＊＊
図２７は、本実施の形態に係る設定管理装置１０の構成例を示している。本図に示すように、設定管理装置１０は、評価比較部３１と、評価制御部３２とを備える。

評価比較部３１は、履歴取得条件と、評価用生データと、履歴情報とをユーザから受け付け、評価指示と、学習済モデルと、評価用データと、前処理グラフ情報とを生成し、生成した評価指示と学習済モデルと評価用データとを評価制御部３２に出力し、生成した前処理グラフ情報を出力装置に出力する。履歴取得条件は、評価比較部３１が履歴情報を履歴記録部１４から取得する際の検索条件である。履歴取得条件は、履歴情報取得条件とも呼ばれる。評価用生データは、少なくとも１つの実測値を含むデータであって、学習済モデルの精度を評価することに用いられるデータである。評価用データは、評価用生データに対して前処理を実施したデータである。評価指示は、評価制御部３２に評価をさせる指示の有無を示す情報である。評価用データは、評価用前処理済データとも呼ばれる。前処理グラフ情報は、評価指標と、前処理設定値との関係を示すグラフを表示する情報を示す。
また、評価比較部３１は、予測値を評価制御部３２から受け付け、予測値グラフ情報を生成し、生成した予測値グラフ情報を出力装置に出力する。予測値は、学習済モデルが推論することによって求める値であり、入力に対応する出力として予測される値である。予測値グラフ情報は、予測値と、実測値との関係を示すグラフを表示する情報を示す。なお、図２７において、前処理グラフ情報と、予測値グラフ情報とをまとめてグラフ情報と表記してある。
評価比較部３１は、複数の前処理設定の中から１つの前処理設定を選択設定として選択し、評価用生データを受け付ける。評価比較部３１が前処理設定を選択することには、ユーザがある前処理設定を選択するよう評価比較部３１指示することが含まれる。評価比較部３１は、選択設定に基づいて評価用生データを加工することにより評価用データを生成し、少なくとも１つの実測値と少なくとも１つの予測値との関係を示すグラフを表示する情報を生成する。少なくとも１つの予測値は、評価用データを用いて選択設定に対応する学習済モデルによって推論した結果であって、少なくとも１つの実測値に対応する結果である。具体例として、予測値に対応する時刻と、実測値に対応する時刻とが同じである場合、当該予測値と、当該実測値とは対応している。また、少なくとも１つの実測値それぞれは、互いに異なる少なくとも１つの予測値それぞれに対応する。
出力装置は、前処理グラフ又は予測値グラフを生成してもよい。前処理グラフは、前処理グラフ情報に対応するグラフである。予測値グラフは、予測値グラフ情報に対応するグラフである。

評価制御部３２は、評価指示と、学習済モデルと、評価用データとを評価比較部３１から受け付け、予測値を求め、求めた予測値を評価比較部３１に出力する。評価制御部３２は、少なくとも１つの予測値を求める。
評価比較部３１は、履歴情報内の前処理設定値及び予測値の関係と、評価用データ内の実測値及び予測値の関係とを表示してもよい。

＊＊＊動作の説明＊＊＊
図２８は、設定管理装置１０の動作の一例を示すフローチャートである。

（ステップＳ３０１：条件入力処理）
ユーザは、入力装置を用いて履歴取得条件を評価比較部３１に入力する。以下、本フローチャートの説明において、履歴取得条件は、特に断りがない限り、本ステップにおいてユーザが入力したものを指す。

図２９は、履歴取得条件の実施例を示している。評価比較部３１は、ワイルドカードに対応する情報以外の情報が一致する履歴情報を履歴記録部１４から取得する。

（ステップＳ３０２：履歴情報取得処理）
評価比較部３１は、履歴記録部１４から履歴取得条件に対応する履歴情報を取得する。以下、本フローチャートの説明において、履歴情報は、特に断りがない限り、本ステップにおいて評価比較部３１が取得したものを指す。

図３０は、評価比較部３１が取得した履歴情報の実施例を示している。本例において、評価比較部３１は、前処理設定値である移動平均間隔が１分ずつ異なる履歴情報を１０個取得する。

（ステップＳ３０３：前処理グラフ情報生成処理）
評価比較部３１は、履歴情報から評価指標と前処理設定値とを取得し、取得した評価指標と前処理設定値とを用いて前処理グラフ情報を生成し、生成した前処理グラフ情報を出力装置に出力する。本例において、評価指標は正解率であり、前処理設定値は移動平均間隔である。前処理グラフ情報は、ユーザが前処理設定又は履歴情報を選択することができるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対応する情報を含んでもよい。

図３１は、前処理グラフの実施例を示している。本グラフにおいて、横軸は前処理設定値を示し、縦軸は精度を示す。本グラフは、プロットされた点をスムーズな曲線で結ぶことによって生成されている。

また、ユーザは、履歴取得条件に加えて評価用生データを評価比較部３１に入力することもできる。ユーザが評価用生データを入力した場合、評価比較部３１は、実測値と予測値との時間変化を示すグラフを表示する情報を生成する。評価用生データは、学習済モデルを評価する際に用いられるデータであり、かつ、学習用生データと同様のデータである。

図３２は、評価用生データの実施例を示している。本図の見方は、図８の見方と同様である。

（ステップＳ３０４：設定選択処理）
ユーザは、前処理グラフが表示された画面等を参照し、履歴情報の前処理設定を適宜選択する。本ステップにおいて選択された前処理設定は、選択設定に当たる。以下、本フローチャートの説明において、前処理設定は、特に断りがない限り、本ステップにおいて選択されたものを指す。

（ステップＳ３０５：評価用データ生成処理）
評価比較部３１は、評価用生データをユーザから受け付け、受け付けた評価用生データに対して前処理設定に対応する前処理を実施することによって評価用データを生成し、かつ、生成した評価用データを評価制御部３２に出力する。
評価比較部３１は、評価指示を生成し、生成した評価指示と、前処理設定に対応する学習済モデルとを評価制御部３２に出力する。

（ステップＳ３０６：予測処理）
評価制御部３２は、評価用データと学習済モデルとを評価比較部３１から受け取り、受け取った評価用データと学習済モデルとを用いて評価用データに対応する予測値を求め、求めた予測値を評価比較部３１に出力する。この際、評価制御部３２は、少なくとも１つの実測値に対応する少なくとも１つの予測値を求める。具体例として、評価制御部３２は、評価用生データに示されている全ての時刻それぞれにおける電力値を予測する。

（ステップＳ３０７：予測値グラフ情報生成処理）
評価比較部３１は、予測値と、評価用生データの実測値とを用いて予測値グラフ情報を生成し、生成した予測値グラフ情報を出力装置に出力する。

図３３は、予測値グラフの実施例を示している。本グラフは、実測値と予測値との時間変化の実施例でもある。本グラフにおいて、横軸は時刻を示し、縦軸は電力値を示す。本グラフは、実測値と予測値とをそれぞれプロットした上で、プロットされた点をスムーズな曲線によって結ぶことによって生成されている。

＊＊＊実施の形態３の効果の説明＊＊＊
以上のように、本実施の形態に係る設定管理装置１０は、評価比較部３１を備える。評価比較部３１は、前処理グラフと、予測値グラフとを表示する情報を生成する。
従って、本実施の形態に係る設定管理装置１０よれば、ユーザは、複数の前処理設定の優劣と、実測値及び予測値の差異の様子とを視覚的に認識することができる。

＊＊＊他の実施の形態＊＊＊
前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

また、実施の形態は、実施の形態１から３で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。フローチャート等を用いて説明した手順は、適宜変更されてもよい。

１０ 設定管理装置、１１ 設定入力部、１２ 学習制御部、１３ 履歴管理部、１４ 履歴記録部、１５ 履歴比較部、２１ 設定探索部、３１ 評価比較部、３２ 評価制御部、８０ 設定画面、８１ 前処理済データ欄、８２ グラフ、８５ 前処理設定入力欄、８６ 項目名、８７ 項目入力、８８ 確定ボタン、１０１ プロセッサ、１０２ メモリ、１０３ 補助記憶装置、１０４ 入出力ＩＦ、１０５ 通信装置、１０８ 処理回路、１０９ 信号線。

Claims (7)

1. 入力情報に対応する出力情報を推論するプログラムである学習モデルを学習させるために用意されたデータである学習用生データに対する前処理の設定を示す情報である前処理設定と、前記前処理設定に基づいて前記学習用生データを加工したデータである前処理済データを用いて前記学習モデルを学習させることによって生成された学習済モデルの精度を示す評価指標とを対応させて記録する履歴記録部を備える設定管理装置。
2. 前記学習モデルと、前記学習用生データと、前記前処理設定とを受け付け、前記学習用生データと、前記前処理設定とを用いて前記前処理済データを生成し、前記学習モデルと、生成した前処理済データとを用いて前記学習済モデルを生成し、前記学習済モデルに対応する評価指標を生成する学習制御部を備える請求項１に記載の設定管理装置。
3. 前記学習制御部は、前記学習モデルに対応するハイパーパラメータを受け付け、かつ、前記ハイパーパラメータを用いて前記学習済モデルを生成し、
   前記履歴記録部は、前記ハイパーパラメータと、前記評価指標とを対応させて記録する請求項２に記載の設定管理装置。
4. 前記学習制御部は、複数の前記前処理設定を複数の前処理設定として受け付け、複数の前記学習済モデルを複数の学習済モデルとして生成し、複数の前記評価指標を複数の評価指標として生成し、
   前記複数の前処理設定と、前記複数の学習済モデルと、前記複数の評価指標とのそれぞれの数は同じであり、
   前記複数の前処理設定それぞれは、互いに異なる前記複数の学習済モデルそれぞれと対応し、
   前記複数の学習済モデルそれぞれは、互いに異なる前記複数の評価指標それぞれと対応し、
   前記履歴記録部は、前記複数の前処理設定それぞれと、前記複数の前処理設定それぞれに対応する複数の評価指標それぞれとを対応させて記録し、
   前記設定管理装置は、前記複数の学習済モデルの中から探索モデルとして学習済モデルを前記複数の評価指標に基づいて探索し、前記探索モデルに対応する前処理設定を選択する設定探索部を備える請求項２又は３に記載の設定管理装置。
5. 前記複数の前処理設定の中から１つの前処理設定を選択設定として選択し、少なくとも１つの実測値を含むデータであって、前記学習済モデルの精度を評価することに用いられるデータである評価用生データを受け付け、前記選択設定に基づいて前記評価用生データを加工することにより評価用データを生成する評価比較部と、
   前記評価用データを用いて前記選択設定に対応する学習済モデルによって推論した結果であって、前記少なくとも１つの実測値に対応する結果である少なくとも１つの予測値を求める評価制御部と
   を備え、
   前記評価比較部は、前記少なくとも１つの実測値と前記少なくとも１つの予測値との関係を示すグラフを表示する情報を生成し、
   前記少なくとも１つの実測値それぞれは、互いに異なる前記少なくとも１つの予測値それぞれに対応する請求項４に記載の設定管理装置。
6. 履歴記録部が、入力情報に対応する出力情報を推論するプログラムである学習モデルを学習させるために用意されたデータである学習用生データに対する前処理の設定を示す情報である前処理設定と、前記前処理設定に基づいて前記学習用生データを加工したデータである前処理済データを用いて前記学習モデルを学習させることによって生成された学習済モデルの精度を示す評価指標とを対応させて記録する設定管理方法。
7. コンピュータに、
   入力情報に対応する出力情報を推論するプログラムである学習モデルを学習させるために用意されたデータである学習用生データに対する前処理の設定を示す情報である前処理設定と、前記前処理設定に基づいて前記学習用生データを加工したデータである前処理済データを用いて前記学習モデルを学習させることによって生成された学習済モデルの精度を示す評価指標とを対応させて記録させる設定管理プログラム。

Images