JP2023184233A - モデル学習システム及び方法 - Google Patents

Abstract

【課題】モデル学習の遅延回復と過剰なリソース量の割当回避の両方を実現する。
【解決手段】システムが、機械学習モデルの学習の都度に、複数種類の計算リソースの各々について、当該機械学習モデルの学習に割り当てられている計算リソース量であるリソース割当量を取得し、且つ、複数種類の計算リソースの各々について、当該機械学習モデルの学習に使用される計算リソース量であるリソース使用量を監視する。システムが、機械学習モデルの今回の学習に要する時間を推定し、当該推定された時間が、当該機械学習モデルの過去の学習に要した時間よりも長いか否かの判定である時間判定を行う。当該時間判定の結果が真の場合、システムが、複数種類の計算リソースの少なくとも一つについて今回の学習におけるリソース割当量を増加させる。
【選択図】 図１

Description

本発明は、概して、機械学習モデルの学習に関する。

コンピュータシステムにおいては、仮想化技術を利用してハードウェアリソース（ＣＰＵ（Central Processing Unit）／メモリ／ストレージ）などを持つ仮想サーバやネットワークといったデジタルインフラをインターネット経由でオンデマンドで提供するＩａａＳ（Infrastructure as a Service）と呼ばれるサービスが存在し、リソースの使用量や使用時間などの状況に応じてユーザへ課金を行う例が一般的である。

また、コンピュータシステムにおいては、リソース量の増加（典型的には、スケールアウト及び／又はスケールアップ）、及び／又は、リソース量の減少（典型的には、スケールイン及び／又はスケールダウン）が行われ得る。

また、特許文献１には、リソースの使用量を抑えて、仮想マシンの迅速な切り替えを可能にする情報処理装置が記載されている。

特開２０２０－６４５６７号公報

昨今、各種データを分析し予測する方法として、機械学習、特にニューラルネットワークを用いたディープラーニングが広く利用されている。機械学習により得られるモデルを用いてデータの予測を実行する場合、予測精度を保つためには最新データに基づくモデルの再学習が必要となる。

ここで、一例として、ＩａａＳにおける機械学習のモデル再学習に時間がかかる場合を取り上げる。例えば、１週間ごとに新たなデータを入力して再学習を必要とする機械学習のモデルにおいて、モデルの再学習が遅延して数日かかってしまうと、その間に当該モデルの活用機会を失ってしまうことになる。あらかじめモデル再学習にリソース量を大きく割り当てることで遅延を発生させないことは期待できるかもしれないが、過剰なリソース量の割り当てという別の課題が生じ得る。

特許文献１には、このような課題もその課題の解決手段も開示も示唆もされていない。

本発明はこうした背景に鑑みてなされたものであり、モデル学習の遅延回復と過剰なリソース量の割当回避の両方を実現することを目的とする。

モデル学習システムが、機械学習モデルの学習の都度に、複数種類の計算リソースの各々について、当該機械学習モデルの学習に割り当てられている計算リソース量であるリソース割当量を取得し、且つ、複数種類の計算リソースの各々について、当該機械学習モデルの学習に使用される計算リソース量であるリソース使用量を監視する。モデル学習システムが、機械学習モデルの今回の学習に要する時間を推定し、当該推定された時間が、当該機械学習モデルの過去の学習に要した時間よりも長いか否かの判定である時間判定を行う。当該時間判定の結果が真の場合、モデル学習システムが、当該時間判定の結果が真の場合、複数種類の計算リソースの少なくとも一つについて今回の学習におけるリソース割当量を増加させる。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

本発明によれば、モデル学習の遅延回復と過剰なリソース量の割当回避の両方を実現することができる。

本発明の一実施形態に係るモデル学習システムの構成例を示す図である。 学習履歴テーブルの一例を示す図である。 学習リソーステーブルの一例を示す図である。 実行コストテーブルの一例を示す図である。 モデル学習処理のフローチャートの例である。 学習監視処理のフローチャートの例である。 学習制御処理のフローチャートの例である。 モデル情報画面の一例を示す図である。

以下の説明では、「インターフェース装置」は、一つ以上のインターフェースデバイスで良い。当該一つ以上のインターフェースデバイスは、下記のうちの少なくとも一つで良い。
・一つ以上のＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェースデバイス。Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェースデバイスは、Ｉ／Ｏデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するＩ／Ｏインターフェースデバイスは、通信インターフェースデバイスで良い。少なくとも一つのＩ／Ｏデバイスは、ユーザインターフェースデバイス、例えば、キーボードおよびポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでも良い。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ））であっても良いし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Ｈｏｓｔ Ｂｕｓ Ａｄａｐｔｅｒ））であっても良い。

また、以下の説明では、「メモリ」は、一つ以上のメモリデバイスであり、典型的には主記憶デバイスで良い。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであっても良いし不揮発性メモリデバイスであっても良い。

また、以下の説明では、「永続記憶装置」は、一つ以上の永続記憶デバイスである。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）であり、具体的には、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。

また、以下の説明では、「記憶装置」は、メモリと永続記憶装置の少なくともメモリで良い。

また、以下の説明では、「プロセッサ」は、一つ以上のプロセッサデバイスである。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなマイクロプロセッサデバイスであるが、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような他種のプロセッサデバイスでも良い。少なくとも一つのプロセッサデバイスは、シングルコアでも良いしマルチコアでも良い。少なくとも一つのプロセッサデバイスは、プロセッサコアでも良い。少なくとも一つのプロセッサデバイスは、処理の一部または全部を行うハードウェア回路（例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））といった広義のプロセッサデバイスでも良い。

また、以下の説明では、「ｙｙｙ部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサによって実行されることで実現されても良いし、一つ以上のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）によって実現されても良いし、それらの組合せによって実現されても良い。プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置および／またはインターフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされても良い。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置が行う処理としても良い。プログラムは、プログラムソースからインストールされても良い。プログラムソースは、例えば、プログラム配布計算機又は計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であっても良い。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしても良い。

また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のデータでも良いし（例えば、構造化データでも良いし非構造化データでも良いし）、入力に対する出力を発生するニューラルネットワーク、遺伝的アルゴリズムやランダムフォレストに代表されるような学習モデルでも良い。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」と言うことができる。また、以下の説明において、テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されても良いし、二つ以上のテーブルの全部又は一部が一つのテーブルであっても良い。

また、以下の説明において、「モデル」は、機械学習モデルであり、例えば、ニューラルネットワークで良い。

以下、発明を実施するための形態について図面を用いて詳細に説明する。

図１は、本発明の一実施形態に係るモデル学習システム１の構成例を示している。

同図に示すように、モデル学習システム１は、インターフェース装置１０１、記憶装置１０２及びプロセッサ１０３を備えた物理的なコンピュータシステムでもよいし、物理的なコンピュータシステムに基づく論理的なコンピュータシステム（例えば、仮想マシン又はクラウドコンピューティングシステム）でもよい。インターフェース装置１０１に、ユーザ装置３と通信ネットワーク２を介して通信可能に接続されている。通信ネットワーク２は、無線方式又は有線方式の通信手段であり、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、専用線、各種公衆通信網等である。ユーザ装置３は、パーソナルコンピュータやスマートフォンといった情報処理端末で良い。モデル学習システム１がサーバの一例で良くユーザ装置３がクライアントの一例で良い。

記憶装置１０２に、プロセッサ１０３によりアクセスされるデータやプロセッサ１０３により実行されるコンピュータプログラムが格納される。記憶装置１０２に格納されるデータとして、例えば、学習履歴テーブル４００、学習リソーステーブル４１０及び実行コストテーブル６００がある。記憶装置１０２に格納されるコンピュータプログラムとして、例えば、後述の学習実行部１２を実現するためのコンピュータプログラムと、後述の学習監視部１０、学習制御部１１及び情報出力部１３を実現するためのコンピュータプログラムとがある。学習監視部１０及び学習制御部１１を実現するためのコンピュータプログラムと、情報出力部１３を実現するためのコンピュータプログラムとは別々のプログラムでもよい。

プロセッサ１０３が記憶装置１０２に格納されている一つ以上のコンピュータプログラムを実行することにより、学習監視部１０、学習制御部１１、学習実行部１２、及び情報出力部１３といった機能が実現される。学習監視部１０は、モデル学習のリソース使用量と実行時間（学習時間）を収集する。学習制御部１１は、モデル学習の遅延時に学習遅延を回復するための制御を行う。情報出力部１３は、モデルに関する情報であるモデル情報をユーザ装置３に表示する（モデル情報の表示用の情報をユーザ装置３に送信する）。

学習実行部１２は、指定されたリソース割当量の範囲のリソース使用量でモデル学習を実行する。学習実行部１２は、例えば、ＩａａＳを用いて実現されるデジタルインフラで良い。学習実行部１２は、リソース量の増加又は減少の指示に従い、モデル学習に必要なリソース使用量を制御する（例えば、ＩａａＳにおける仮想マシンのＣＰＵの割り当てを増やしたり、メモリの割り当てを減らしたりする）。

インターフェース装置１０１、記憶装置１０２及びプロセッサ１０３のうちの少なくとも一部が、モデル学習に使用される複数種類の計算リソースの一例でよい。具体的には、例えば、記憶装置１０２は、メモリを含み、プロセッサ１０３は、複数のＣＰＵコアを有する一つ以上のＣＰＵを含んでよく、複数種類の計算リソースは、メモリとＣＰＵでよい。モデル学習に使用される計算リソースとして、ポートや通信帯域といったリソースが採用されてもよい。

学習監視部１０は、モデルの学習の都度に、複数種類の計算リソースの各々について、当該モデルのリソース割当量（当該モデルの学習に割り当てられている計算リソース量）を取得し、且つ、複数種類の計算リソースの各々について、当該モデルのリソース使用量（当該モデルの学習に使用される計算リソース量）を監視する。学習制御部１１は、当該モデルの今回の学習に要する時間を推定し、当該推定された時間が、当該モデルの過去の学習に要した時間（学習履歴テーブル４００から特定される時間）よりも長いか否かの判定である時間判定を行う。当該時間判定の結果が真の場合、学習制御部１１は、今回の学習での複数種類の計算リソースのリソース使用量を基にボトルネックの計算リソース種類を特定し、当該特定された計算リソース種類の計算リソースについて今回の学習におけるリソース割当量を増加させる（例えば、学習実行部１２に、当該モデルについてリソース使用量の増加を指示する）。

このモデル学習システム１によれば、今回の学習に要すると推定された時間が過去の学習時間よりも長いと判定された場合に学習のためのリソース割当量が増加するため、モデル学習の遅延回避を実現することができ、且つ、このようなリソース割当量の増加が可能であるためあらかじめ過剰なリソース量を割り当てておくことは不要である。

なお、推定された学習時間は過去の履歴としての学習時間と比較されるが、この技術的意義の一例は次の通りである。すなわち、同一モデルの学習に使用される訓練データのサイズは学習によって大きく変わることは少ないと考えられる。そのため、推定された学習時間の比較対象として過去の学習時間を採用することで、効率的に、今回の学習に遅延が生じるか否かを判定することができる。

以下、本実施形態を詳細に説明する。なお、以下、説明の便宜上、モデルの精度を「学習精度」と呼ぶ。

図２は、学習履歴テーブル４００の一例を示す。

同図に示すように、学習履歴テーブル４００は、モデル毎の過去の学習の履歴を表す。例えば、学習履歴テーブル４００は、モデル学習毎にレコードを有する。レコードは、モデル名４０１、Ｅｐｏｃｈ４０２、学習精度４０３、日時４０４、時間４０５、データ数４０６、ＣＰＵ４０７及びメモリ４０８といった情報を保持する。一つのモデル学習を例に取る。

モデル名４０１は、モデル学習の対象のモデルの名前を表す。Ｅｐｏｃｈ４０２は、モデル学習におけるエポックの回数を表す。すなわち、本実施形態では、モデル学習に訓練データ群が使用されるが、一の訓練データが繰り返し入力される。一の訓練データの入力を含んだ学習が「エポック」である。既定の回数（エポック数）のエポックが行われた場合に、学習が終了する。具体的には、例えば、学習監視部１０は、モデルの学習の都度に、下記を行うようになっている。
・当該学習について初めてのエポックの開始を当該学習の開始と判定する。
・当該学習の開始後、当該学習について規定されたエポック数分のエポックが完了していないことを、当該モデルの学習中と判定する。
・当該学習の開始後、当該学習について規定されたエポック数分のエポックが完了したことを、当該モデルの学習の終了と判定する。

学習精度４０３は、学習を終了したモデルの学習精度を表す。例えば、学習精度の要素として、正解率、損失及び他の要素の少なくとも一つが採用されてよい。本実施形態では、学習精度は、正解率及び損失で定義される。また、「学習の終了」は、下記のうちのいずれかに該当することでよい。
・既定のエポック数分のエポックが行われること。
・学習精度が収束したこと（既定のエポック数分のエポックが行われていなくても学習が終了するケースの一例）。

日時４０４は、レコードが記憶された日時（モデル学習の開始日時）を表す。時間４０５は、学習開始時と学習終了時の日時の差、すなわち、モデル学習に要した時間を表す。データ数４０６は、モデル学習に使用した訓練データを構成するデータ要素数を表す。例えば、訓練データが、複数の画像ファイルの集合の場合、データ数は、画像のファイルの数でよい。

ＣＰＵ４０７は、モデル学習に割り当てられたＣＰＵ割当量を表す。メモリ４０８は、モデル学習に割り当てられたメモリ割当量を表す。ＣＰＵ割当量及びメモリ割当量がリソース割当量の一例である。

図３は、学習リソーステーブル４１０の一例を示す。

同図に示すように、学習リソーステーブル４１０は、モデル毎に当該モデルの今回の学習の状況を表す。例えば、学習リソーステーブル４１０は、エポック毎にレコードを有する。レコードは、モデル名４１１、日時４１９、Ｅｐｏｃｈ４１２、学習精度４０３、ＣＰＵ１４１、メモリ４１５、時間４１６、遅延４１７及びリソース４１８といった情報を保持する。一つのエポックを例に取る。

モデル名４０１は、学習対象のモデルの名前を表す。Ｅｐｏｃｈ４０２は、今回の学習において当該エポックが何回目のエポックであるかを表す。学習精度４０３は、学習中のモデルの学習精度（本実施形態では、正解率及び損失）を表す。ＣＰＵ４１４は、モデルの学習に伴うＣＰＵ使用量（例えば、ＣＰＵ使用率及び／又はＣＰＵ使用時間）を表す。メモリ４１５は、学習処理に伴うメモリ使用量（例えば、メモリ使用率及び／又はメモリ使用量）を表す。時間４１６は、学習開始時と測定時の日時の差、すなわち、モデル学習に要している時間を表す。

遅延４１７は、時間４１６を基に推定された学習時間（今回の学習に要すると推定された時間）が同じモデルの過去の学習時間と比べて長い（遅延している）かどうかを示す値である。例えば遅延ありの場合は値が「あり」であり、遅延なしの場合は値が「なし」である。

リソース４１８は、学習に対するＣＰＵ割当量やメモリ割当量といったリソース割当量を表す。例えば、リソース４１８の値は、ＣＰＵコア数（ＣＰＵ割当量の一例）とメモリサイズ（メモリ割当量）のペアであるリソース量ペアである。

図４は、実行コストテーブル６００の一例を示す。

同図に示すように、実行コストテーブル６００は、複数種類の計算リソースのコストを表す。例えば、実行コストテーブル６００は、リソース量ペア毎にレコードを有する。レコードは、割当リソース６０１及びコスト６０２といった情報を保持する。一つのリソース量ペアを例に取る。

割当リソース６０１は、当該ペアにおけるＣＰＵ割当量とメモリ割当量とを表す。また、コスト６０２は、当該ペアについて単位時間あたりのリソース利用コスト（実行コスト）を表す。

続いて、以上の構成からなるモデル学習システム１において行われる処理の例を説明する。

図５は、モデル学習処理のフローチャートである。

まず、学習実行部１２は、例えばユーザ装置３からの操作に応答して、学習対象のモデル（例えばニューラルネットワーク）を定義する（ステップ８０１）。ここで、モデルの定義は、学習実行時のモデル作成でもよいし、作成済のモデルの取り込みでも良い。

次に、学習実行部１２は、例えばユーザ装置３からの操作に応答して、ステップ８０１で定義されたモデルのエポック数（学習の繰り返しの回数）を指定する（ステップ８０２）。例えば、ニューラルネットワークの学習においては、学習精度を向上させるために、同一の訓練データの入力によるモデル学習を繰り返すことが一般的である。１回の訓練データの入力でのモデル学習が「エポック」である。ステップ８０２では、このエポックの数が指定される。

次に、学習実行部１２は、学習対象のモデルに訓練データを入力するモデル学習を実行する（ステップ８０３）。つまり、学習実行部１２は、１回のエポックを実行し、エポック数（例えばメモリに記憶されているカウント値）を更新（１インクリメント）する。

次に、学習実行部１２は、更新後のエポック数がステップ８０２で指定したエポック数に達したかどうかを判定する（ステップ８０４）。ステップ８０４の判定結果が偽の場合、処理がテップ８０３に戻る。ステップ８０４の判定結果が真の場合、学習対象のモデルの学習が終了する。

図６は、学習監視処理のフローチャートである。学習監視部１０は、モデル学習処理の実行を契機として、学習実行部１２から呼び出され、学習監視処理を開始する。例えば、呼び出されるタイミングは、図５に示したモデル学習処理の開始時、ステップ８０３の完了時（エポックの完了時）、及び、モデル学習処理の終了時である。

学習実行部１２から呼び出された学習監視部１０は、まずモデル学習処理の開始時かどうかを判定する（ステップ３０１）。

ステップ３０１の判定結果が真の場合は、学習監視部１０は、当該学習対象のモデルについて、学習リソーステーブル４１０に、日時４１９（学習開始日時）を記録し、データ数（入力された訓練データにおけるデータ要素数）をメモリに格納する（ステップ３０２）。学習監視部１０は、学習実行部１２に対してリソース割当量の設定を指示する（ステップ３０８）。ここで、ステップ３０８における「リソース割当量」とは、例えば、ＣＰＵ“４コア”及びメモリ“４ＧＢ”といったリソース量ペアでよい。リソース割当量は、実行コストの観点で選択されても良いし、過去の学習実績からの統計的な演算（例えば、当該学習対象のモデルの過去のデータ数４０６、ＣＰＵ４０７及びメモリ４０８のそれぞれの回帰分析）から得られる推定値に基づいて選択されても良い。なお、ステップ３０８は、学習監視処理とは独立して、モデル学習開始時に実行されても良い。

ステップ３０１の判定結果が偽の場合は、学習監視部１０は、学習実行部１２から、モデル学習処理のリソース使用量（ＣＰＵ使用量及びメモリ使用量）とリソース割当量（ＣＰＵ割当量及びメモリ割当量）を取得する（ステップ３０３）。ここで、リソース使用量は、取得時点の値でも良いし、１回前のエポックから測定時までの間のリソース使用量の統計値（例えば平均値又は最大値）でも良い。統計値が平均値の場合は、学習処理のリソース使用量の実態に近いため有用である。学習監視部１０は、学習実行部１２から、学習中のモデルの名前（モデル名）、現時点のエポック数（カウント値）、及び学習精度といった情報を取得する（ステップ３０４）。学習監視部１０は、モデル学習の終了時かどうかを判定する（ステップ３０５）。

ステップ３０５の判定結果が真の場合は、学習監視部１０は、学習対象のモデルの日時４１９と現在日時との差からモデルの学習時間を算出し、さらに、当該モデルのエポック毎のＣＰＵ４１４及びメモリ４１５からＣＰＵ割当量とメモリ割当量の統計値（例えば平均値）を算出する。学習監視部１０は、取得済みのモデル名４０１、Ｅｐｏｃｈ４０２（エポック数）、学習精度４０３、データ数４０６と共に、日時４０４、時間４０５（算出された学習時間）、ＣＰＵ４０７（ＣＰＵ割当量の算出された統計値）及びメモリ（メモリ割当量の算出された統計値）を学習履歴テーブル４００に記録する（ステップ３０６）。

ステップ３０５の判定結果が偽の場合は、学習監視部１０は、日時４１９と現在日時の差からモデルの学習時間を算出し、取得済みのモデル名４１１、Ｅｐｏｃｈ４１２、学習精度４１３、リソース使用量（ＣＰＵ４１４及びメモリ４１５）及びリソース４１８と共に、時間４１６を学習リソーステーブル４１０に記録する（ステップ３０７）。

以上のように、学習監視部１０は、モデルの学習の都度に、学習対象のモデルのモデル精度を監視（例えば、エポックの都度にモデル精度を取得）するようになっている。学習が完了した場合、当該モデルのモデル精度やデータ数等が学習履歴テーブル４００に記録される。

図７は、学習制御処理のフローチャートである。

学習制御部１１は、学習監視部１０と同様に、モデル学習処理の実行を契機として、学習実行部１２から呼び出される。例えば、呼び出されるタイミングは、図５に示したモデル学習処理の開始時、ステップ８０３の完了時（エポックの完了時）、及び、モデル学習処理の終了時である。

学習実行部１２から呼び出された学習制御部１１は、学習リソーステーブル４１０から、学習中のモデル（モデル名４１１）の全てのレコードにおける時間４１６、Ｅｐｏｃｈ４１２、リソース使用量（ＣＰＵ４１４及びメモリ４１５）及び学習精度４１３を取得する（ステップ５０１）。

続いて、学習制御部１１は、学習履歴テーブル４００から、当該モデルの過去のモデル学習に対応した時間４０５及び学習精度４０３を取得する（ステップ５０２）。

続いて、学習制御部１１は、ステップ５０１にて取得した学習精度が収束しているかどうかの判定である収束判定を行う（ステップ５０３）。ステップ５０３の収束判定の結果が真の場合に、学習制御部１１は、学習実行部１２に対してモデル学習を中止（終了）するように指示する（ステップ５０９）。ステップ５０３の収束判定の結果が偽の場合は、学習制御部１１は、モデル学習を継続することを決定する（例えば、学習実行部１２に特段の指示を送信しない）（ステップ５０８）。ここで、学習精度が収束しているとは、学習精度４１３の変動が小さく収まっていることでよく、例えば、下記のうちのいずれかでよい。
・ステップ５０１にて取得した最新のエポックに対応の学習精度４１３（例えば正解率）と、一つ前のエポック（最新のＥｐｏｃｈ４１２より一つ小さいＥｐｏｃｈ４１２）に対応の学習精度４１３（例えば正解率）との差が、閾値よりも小さい。
・最新のエポックからあらかじめ指定した数遡ったエポックまでの期間での学習精度４１３（例えば正解率）の範囲（最大値と最小値の差）が閾値より小さい。このように学習精度が収束している場合にモデル学習を終了することで（具体的には、後述のステップ５０５の判定を行うことなくモデル学習を終了することで）、モデル学習の遅延回避と実行コストの削減という効果が得られる。

ステップ５０３の収束判定の結果が偽の場合に、学習制御部１１は、学習中のモデルの学習時間を推定する（ステップ５０４）。ここで、学習時間の推定方法としては、例えば、ステップ５０１にて取得した最新の時間４１６を最新のＥｐｏｃｈ４１２で除算して得られるエポックごとの平均学習時間に対して最新のエポック数（カウント値）を乗算することで得られた値を、今回のモデル学習に要する時間の推定値とする方法がある。以上のように、学習制御部１１は、今回の学習において、エポック毎の学習精度４１３を基に収束判定（ステップ５０３）を行い、最新のＥｐｏｃｈ４１２（カウント値）と最新のエポックまでに要した時間４１６とを基に今回の学習に要する時間を推定する。このように、エポック毎に取得された情報を、収束判定と学習時間推定に利用することができる。

続いて、学習制御部１１は、ステップ５０４で推定された学習時間が、ステップ５０２で取得した過去の時間４０５よりも長いかどうかの判定である時間判定、つまり、学習処理が遅延しているかどうかの判定を行う（ステップ５０５）。ステップ５０５の時間判定の結果が真の場合に、学習処理に割り当てるリソース割当量を増やすために、学習制御部１１は、学習実行部１２に対してリソース割当量を増加するよう指示する（ステップ５１０）。

ここで、今回の学習に要する推定時間と比較される過去の学習時間は、当該モデルの全ての過去の時間４０５のうちの少なくとも一つに基づいて良く、例えば、当該モデルの過去の時間４０５のうち最も長い時間４０５でも良いし、当該モデルの過去の時間４０５の平均値でもよい。また、当該モデルの過去の時間４０５の平均値μと標準偏差σに基づいて統計的に外れた範囲（μ＋３σ以上など）に含まれる推定学習時間が遅延とみなされても良い。

また、ここで、リソース割当量の増加については、例えば、閾値よりも使用率の高いＣＰＵ及びメモリに対する割当量をあらかじめ設定した値で増加するのでも良いし、実行コストの低い方のＣＰＵあるいはメモリの割当量を増加するのでも良い。実行コストに基づいてリソース割当量を増やすことは、実行コストテーブル６００を参照して行われても良い。

また、ここで、学習制御部１１は、ステップ５０５の時間判定の結果が真の場合に、今回の学習での複数種類の計算リソースのリソース使用量（本実施形態では、当該学習中のモデルの各エポックに対応のＣＰＵ４１４及びメモリ４１５）を基に、ボトルネックの計算リソース種類を特定してよい。例えば、ＣＰＵ４１４及びメモリ４１５のうち閾値を超えている方に対応した計算リソース、ＣＰＵ４１４及びメモリ４１５のいずれも閾値を超えていれば閾値との差が大きい方の使用率に対応した計算リソースが、ボトルネックの計算リソース種類の計算リソースでよい。学習制御部１１は、当該特定された計算リソース種類の計算リソースについて、ステップ５１０において、今回の学習におけるリソース割当量を増加させてよい。これにより、効率的なリソース割当量の増加が期待される。

ステップ５０５の時間判定の結果が偽の場合は、学習制御部１１は、ステップ５０１にて取得した最新の学習精度４１３が、ステップ５０２で取得した過去の学習実績における学習精度よりも高いかどうかの判定である精度判定を行う（ステップ５０６）。ステップ５０６の精度判定の結果が真の場合に、学習制御部１１は、学習処理に割り当てるリソース量を減らすために、学習制御部１１は、学習実行部１２に対してリソース割当量を減少するよう指示する（ステップ５０７）。これにより、リソース割当量の最適化が期待できる。

ここで、最新の学習精度４１３と比較される過去の学習精度は、当該モデルの全ての過去の学習精度４０３のうちの少なくとも一つに基づいて良く、例えば、過去の学習実績での最も高い学習精度４０３でも良いし、過去の学習実績での学習精度４０３の平均値でも良い。

また、ここで、リソース割当量の減少については、例えば、閾値よりも使用率の低いＣＰＵ及びメモリについての割当量をあらかじめ設定した値に削減するのでも良いし、実行コストの低い方のＣＰＵあるいはメモリの割当量を削減するのでも良い。実行コストに基づいてリソース割当量を減らすことは、実行コストテーブル６００を参照して行われても良い。例えば、学習制御部１１は、複数種類の計算リソースのうちいずれの種類の計算リソースのリソース割当量を維持することが最もコストが減るかを特定し、特定された種類以外の種類の計算リソースのリソース割当量を減少させてよい。具体的には、例えば、現在のリソース量ペアが、ＣＰＵ“８コア”及びメモリ“８ＧＢ”の場合、図４に例示の実行コストテーブル６００によれば、メモリ“８ＧＢ”を維持しＣＰＵコア数を減らすよりもＣＰＵ“８コア”を維持しメモリを減らす方がコストが下がる。このため、リソース割当量を減少する指示は、ＣＰＵ“８コア”及びメモリ“８ＧＢ”をＣＰＵ“８コア”及びメモリ“４ＧＢ”に変更する指示である。これにより、リソース割当量を適切に減らすことが期待できる。

ステップ５０７の後、上述したステップ５０８を経て、学習制御処理が終了する。また、テップ５０６の精度判定の結果が偽の場合も、上述のステップ５０８を経て、学習制御処理が終了する。

学習制御処理において、学習制御部１１は、ステップ５０５の時間判定で比較される少なくとも一方の時間を、今回の学習に使用される訓練データの量と当該過去の学習に使用された訓練データの量との差分に基づき調整してよい。例えば、学習制御部１１は、当該モデルの過去の学習に要した時間（例えば時間４０５の統計値）、及び／又は、ステップ５０４で推定された時間を、今回の学習に使用される訓練データの量（ステップ３０２で記録され学習制御部１１により取得されたデータ数）と当該過去の学習に使用された訓練データの量（例えばデータ数４０６の統計値）との差分に基づき調整してよい。ステップ５０５の時間判定は、調整された推定時間が過去の学習時間よりも長いか否か、ステップ５０４で推定された時間が過去の調整後の学習時間よりも長いか否か、又は、調整された推定時間が過去の調整後の学習時間よりも長いか否かの判定でよい。学習時間の長さは、データ数（訓練データの量）の大きさに依存するが、時間判定で比較される少なくとも一方の学習時間が、今回のデータ数と過去のデータ数との差を基に調整されるので、学習遅延が生じているかどうかの判定の正確性の向上が期待できる。

図９は、モデル情報画面の一例を示す図である。

情報出力部１３が、モデル情報（モデルの学習状態に関する情報でありステップ５０５の時間判定の結果に基づく情報を含んだ情報）を表示する（例えば、ユーザ装置３に、モデル情報の表示用情報を送信する）。モデル情報画面７００は、モデル情報の表示画面であり、モデル情報は、モデルの学習状態を表す。このモデル情報画面７００により、ユーザは、モデルの学習状態を把握することができる。

具体的には、例えば、情報出力部１３が、学習リソーステーブル４１０と学習履歴テーブル４００から取得した情報に基づき、モデル情報を生成し表示する。モデル情報は、一つ以上のモデル（例えばユーザから指定された一つ以上のモデル）の各々について、モデル名７０１、学習状態７０２、終了予定日時７０３、実行状態７０４、及び実行制御７０５といった情報を有する。

モデル名７０１は、モデル名を表す。

学習状態７０２は、モデルの学習状態（例えば、学習中、学習完了）を表す。学習履歴テーブル４００にモデル名が記録されており学習リソーステーブル４１０にモデル名が記録されていないモデルの学習状態７０２は、“学習完了”であり、学習履歴テーブル４００にモデル名が記録されているか否かに関わらず学習リソーステーブル４１０にモデル名が記録されているモデルの学習状態７０２は“学習中”である。

終了予定日時７０３は、学習リソーステーブル４１０に基づいて推定された学習時間（ステップ５０４で推定された学習時間）の終了日時を表す。

実行状態７０４は、学習中のモデルの学習時間が遅延しているかどうかを表す。具体的には、ステップ５０５の時間判定の結果が真の場合に実行状態７０４は“遅延”であり、ステップ５０５の時間判定の結果が偽の場合に実行状態７０４は“順調”で良い。

実行制御７０５は、学習制御部１１によってリソース割当量が増減された場合の情報である。例えば、ステップ５１０が行われその内容がＣＰＵ割当量増加の場合に実行制御７０５は“ＣＰＵスケールアップ”で良く、ステップ５０７が行われその内容がＣＰＵ割当量減少の場合に実行制御７０５は“ＣＰＵスケールダウン”で良い。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶部、又は、ＩＣカード、ＳＤカード、ＤＶＤ、ＢＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。

１：モデル学習システム １０：学習監視部 １１：学習制御部

Claims (10)

1. 機械学習モデルの学習の都度に、複数種類の計算リソースの各々について、当該機械学習モデルの学習に割り当てられている計算リソース量であるリソース割当量を取得し、且つ、前記複数種類の計算リソースの各々について、当該機械学習モデルの学習に使用される計算リソース量であるリソース使用量を監視する学習監視部と、
   前記機械学習モデルの今回の学習に要する時間を推定し、当該推定された時間が、当該機械学習モデルの過去の学習に要した時間よりも長いか否かの判定である時間判定を行い、当該時間判定の結果が真の場合、前記複数種類の計算リソースの少なくとも一つについて前記今回の学習におけるリソース割当量を増加させる学習制御部と
   を備えるモデル学習システム。
2. 前記学習監視部は、前記機械学習モデルの学習の都度に、当該機械学習モデルのモデル精度を監視し、
   前記学習制御部は、
   前記今回の学習においてモデル精度が収束しているか否かの判定である収束判定を行い、
   当該収束判定の結果が真の場合、前記今回の学習を終了し、
   当該収束判定の結果が偽の場合、前記今回の学習に要する時間を推定する、
   請求項１に記載のモデル学習システム。
3. 前記学習監視部は、前記機械学習モデルの学習の都度に、
   当該学習について初めてのエポックの開始を当該学習の開始と判定し、
   当該学習の開始後、当該学習について規定されたエポック数分のエポックが完了していないことを前記機械学習モデルの学習中と判定し、
   当該学習の開始後、当該学習について規定されたエポック数分のエポックが完了したことを前記機械学習モデルの学習の終了と判定し、
   前記学習制御部は、前記今回の学習において、エポック毎のモデル精度を基に前記収束判定を行い、最新のエポック数と最新のエポックまでに要した時間とを基に前記今回の学習に要する時間を推定する、
   請求項２に記載のモデル学習システム。
4. 前記学習制御部は、
   前記時間判定の結果が偽の場合、前記今回の学習におけるモデル精度が当該機械学習モデルの過去の学習におけるモデル精度よりも高いか否かの判定である精度判定を行い、
   当該精度判定の結果が真の場合、前記複数種類の計算リソースのコストを基に、リソース割当量の減少対象の計算リソース種類を決定し、当該決定された計算リソース種類の計算リソースについて前記今回の学習におけるリソース割当量を減少させる、
   請求項１に記載のモデル学習システム。
5. 前記精度判定の結果が真の場合、前記学習制御部は、前記複数種類の計算リソースのうちいずれの種類の計算リソースのリソース割当量を維持することが最もコストが減るかを特定し、特定された種類以外の種類の計算リソースのリソース割当量を減少させる、
   請求項４に記載のモデル学習システム。
6. 前記学習制御部は、前記時間判定で比較される少なくとも一方の時間を、前記今回の学習に使用される訓練データの量と当該過去の学習に使用された訓練データの量との差分に基づき調整する、
   請求項１に記載のモデル学習システム。
7. 前記機械学習モデルの学習状態に関する情報であり前記時間判定の結果に基づく情報を含んだ情報であるモデル情報を表示する情報出力部
   を更に備える請求項１に記載のモデル学習システム。
8. 前記学習制御部は、前記時間判定の結果が真の場合、前記今回の学習での前記複数種類の計算リソースのリソース使用量を基にボトルネックの計算リソース種類を特定し、当該特定された計算リソース種類の計算リソースについて前記今回の学習におけるリソース割当量を増加させる、
   請求項１に記載のモデル学習システム。
9. 機械学習モデルの学習の都度に、複数種類の計算リソースの各々について、コンピュータが、当該機械学習モデルの学習に割り当てられている計算リソース量であるリソース割当量を取得し、且つ、前記複数種類の計算リソースの各々について、当該機械学習モデルの学習に使用される計算リソース量であるリソース使用量を監視し、
   コンピュータが、前記機械学習モデルの今回の学習に要する時間を推定し、
   コンピュータが、当該推定された時間が、当該機械学習モデルの過去の学習に要した時間よりも長いか否かの判定である時間判定を行い、
   当該時間判定の結果が真の場合、コンピュータが、前記複数種類の計算リソースの少なくとも一つについて前記今回の学習におけるリソース割当量を増加させる、
   モデル学習方法。
10. 機械学習モデルの学習の都度に、複数種類の計算リソースの各々について、当該機械学習モデルの学習に割り当てられている計算リソース量であるリソース割当量を取得し、且つ、前記複数種類の計算リソースの各々について、当該機械学習モデルの学習に使用される計算リソース量であるリソース使用量を監視し、
    前記機械学習モデルの今回の学習に要する時間を推定し、
    当該推定された時間が、当該機械学習モデルの過去の学習に要した時間よりも長いか否かの判定である時間判定を行い、
    当該時間判定の結果が真の場合、前記複数種類の計算リソースの少なくとも一つについて前記今回の学習におけるリソース割当量を増加させる、
    ことをコンピュータに実行させるコンピュータプログラム。

Images