JP2022178916A - 機械学習システム、機械学習プログラム、及び、機械学習方法 - Google Patents

Abstract

【課題】機械学習システムにおいて複数のノードで分散して実行される機械学習処理の効率向上を図る。【解決手段】機械学習処理の実行を制御する制御ノード２は、機械学習処理の少なくとも一部分である部分処理の入力データと、前記部分処理に含まれる順序付けられた複数の処理の実行状態を実行ノード３ごとに管理するための管理情報５０とを各ノードからアクセス可能な記憶領域４、５に格納し、各実行ノード３は、前記記憶領域４、５に格納された前記入力データ及び前記管理情報５０に基づく前記部分処理の実行において、各処理から出力される出力データ４０と、各処理の実行状態を設定した前記管理情報５０とを前記記憶領域４、５に格納し、前記制御ノード２は、第１実行ノード３の管理情報５０における各処理の実行状態と前記第１実行ノード３の複数の出力データ４０とに基づき、前記第１実行ノード３において未完了の処理を第２実行ノード３に実行させる。【選択図】図７

Description

本発明は、機械学習システム、機械学習プログラム、及び、機械学習方法に関する。

機械学習システム（例えばクラスタ）が備える複数のノードに機械学習の部分処理を並列に実行させる技術が知られている。複数のノードは、例えば、仮想化技術によってクラスタ上に分散して配置される。部分処理は、例えば、機械学習処理のうちの並列に実行可能な処理、例えばタスクであってよく、「並列タスク」又は「並列ジョブ」と称されてもよい。

機械学習システムでは、複数のノードのそれぞれにより実行された部分処理の処理結果を統合して利用することで、機械学習処理を実現することができる。

特開２０１２－１６００１４号公報 国際公開第２０１３／０７３００５号パンフレット 米国特許公開第２０１６／００６２９００号 米国特許公開第２０１６／０００４５６３号

しかしながら、上述した機械学習システムでは、複数のノードのそれぞれに分散して実行させるタスクのうちの少なくとも１つが重複して実行される場合があり、機械学習処理の分散（並列）実行の処理効率が低下することがある。

１つの側面では、本発明は、機械学習システムにおいて複数のノードで分散して実行される機械学習処理の効率向上を図ることを目的とする。

１つの側面では、機械学習システムは、機械学習処理の少なくとも一部分である部分処理をそれぞれが実行する複数の実行ノードと、前記機械学習処理の実行を制御する制御ノードと、前記制御ノード及び前記複数の実行ノードのそれぞれからアクセス可能な記憶領域と、を備えてよい。前記制御ノードは、前記部分処理の入力データと、前記部分処理に含まれる順序付けられた複数の処理の実行状態を前記実行ノードごとに管理するための管理情報と、を前記記憶領域に格納してよい。前記複数の実行ノードのそれぞれは、前記記憶領域に格納された前記入力データ及び前記管理情報に基づく前記部分処理の実行において、前記複数の処理の各々から出力される出力データと、前記複数の処理の各々の実行状態を設定した前記管理情報と、を前記記憶領域に格納してよい。前記制御ノードは、前記複数の実行ノードのうちの第１実行ノードの前記管理情報における前記複数の処理の各々の実行状態と、前記記憶領域に格納された前記第１実行ノードの複数の前記出力データとに基づき、前記第１実行ノードにおいて未完了の処理を、前記第１実行ノードとは異なる第２実行ノードに実行させてよい。

１つの側面では、機械学習システムにおいて複数のノードで分散して実行される機械学習処理の効率を向上させることができる。

第１実施形態の比較例に係る機械学習システムの一例を説明するための図である。 機械学習モデルの交差検証処理の一例を説明するための図である。 機械学習システムにおけるＫ分割交差検証処理の一例を説明するための図である。 第１実施形態に係る機械学習システムの動作例を説明するための図である。 第１実施形態に係る機械学習システムの動作例を説明するための図である。 第１実施形態に係る機械学習システムの動作例を説明するための図である。 第１実施形態に係る機械学習システムの動作例を説明するための図である。 第１実施形態に係る機械学習システムの機能構成例を示すブロック図である。 第１実施形態に係るマスタノードによるジョブ実行処理の動作例を説明するためのフローチャートである。 第１実施形態に係るノードによるタスク実行処理の動作例を説明するためのフローチャートである。 第１実施形態に係るマスタノードによる障害検出処理の動作例を説明するためのフローチャートである。 第２実施形態の比較例に係る機械学習システムの一例を説明するための図である。 第２実施形態に係る機械学習システムの動作例を説明するための図である。 第２実施形態に係る機械学習システムの動作例を説明するための図である。 第２実施形態に係る機械学習システムの機能構成例を示すブロック図である。 第２実施形態に係るマスタノードによるジョブ実行処理の動作例を説明するためのフローチャートである。 図１６に示すステージ完了処理の動作例を説明するためのフローチャートである。 コンピュータのハードウェア構成例を示すブロック図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。

〔１〕第１実施形態
〔１－１〕機械学習システムについて
図１は、第１実施形態の比較例に係る機械学習システム１００の一例を説明するための図である。図１に示すように、機械学習システム１００は、例示的に、マスタノード１１０、及び、複数（図１の例では４つ）のワーカノード１２０を備えてよく、これらの複数のノードによりクラスタを形成してよい。

例えば、マスタノード１１０は、機械学習モデルを構築（訓練）するための機械学習処理のジョブをスケジュールするジョブスケジューラ１１１を備え、各ワーカノード１２０に対してモデル構築の実行を指示する。

ワーカノード１２０（ワーカノード＃０～＃３）のそれぞれは、マスタノード１１０からの指示に従いモデル構築用のパイプライン（パイプライン＃０～＃３）を実行する。パイプラインは、機械学習処理の少なくとも一部分である部分処理の一例である。例えば、ワーカノード１２０は、パイプラインの実行において、タスクスケジューラによって１以上のサブタスク１２１を実行する。

機械学習システム１００は、例えば、機械学習モデルの交差検証処理のように、入力データを分割して複数のモデルを構築する場合、複数のワーカノード１２０でモデル構築用のパイプラインを並列実行することによって、機械学習処理の高速化を実現できる。この場合、各ワーカノード１２０で実行されるサブタスク１２１は、例えば、入力データに対する「データ変換」、変換したデータを用いた「モデル訓練」、モデルに対する「モデル評価」等の処理を含んでよい。

図２は、機械学習モデルの交差検証処理の一例を説明するための図である。モデル交差検証処理は、複数のワーカノード１２０に機械学習の部分処理を並列に実行させる並列実行（並列分散）処理の一例であり、クロスバリデーション（Cross Validation）と称されてもよい。

図２では、Ｋ＝５の場合のＫ分割交差検証処理を例示する。Ｋ分割交差検証処理は、入力データ２１０を５（Ｋ）分割して得られる５つのデータブロックのうちの、１個を判定用データ（Evaluation Data；或いは評価用データ（Validation Data））とし、残りの４個（Ｋ－１個）を訓練用データ（Training Data）として利用する手法である。なお、図２の例では、判定用データを「判定データ」、訓練用データを「訓練データ」と表記する。Ｋ分割交差検証処理は、訓練用データで作成されたモデル（一例として、判定モデル）に対して判定用データを適用することで、予測結果（Prediction）を取得する。

ここで、Ｋ分割交差検証処理では、各ブロックデータを１回ずつ判定用データとして利用するために、判定用データとなるブロックデータを変化させて、５（Ｋ）回に亘って機械学習が実行される。

図２の例では、第１回の処理において、１番目のデータブロック２２１を判定用データ（図２中、「Ｅ」と表記）、２番目～５番目のデータブロック２２２～２２５を訓練用データ（図２中、「Ｔ」と表記）としたデータセット２２０によるモデルの訓練によって、予測結果（図２中、「Ｐ」と表記）２２６が得られる。また、第２回の処理において、２番目のデータブロック２３２を判定用データ、１番目、３番目～５番目のデータブロック２３１、２３３～２３５を訓練用データとしたデータセット２３０によるモデルの訓練によって、予測結果２３６が得られる。さらに、第３回の処理において、３番目のデータブロック２４３を判定用データ、１番目、２番目、４番目、５番目のデータブロック２４１、２４２、２４４、２４５を訓練用データとしたデータセット２４０によるモデルの訓練によって、予測結果２４６が得られる。また、第４回の処理において、４番目のデータブロック２５４を判定用データ、１番目～３番目、５番目のデータブロック２５１～２５３、２５５を訓練用データとしたデータセット２５０によるモデルの訓練によって、予測結果２５６が得られる。そして、第５回の処理において、５番目のデータブロック２６５を判定用データ、１番目～４番目のデータブロック２６１～２６４を訓練用データとしたデータセット２６０によるモデルの訓練によって、予測結果２６６が得られる。なお、図２の例では、予測結果を「予測データ」と表記する。

そして、Ｋ分割交差検証処理では、各訓練において得られた予測結果２２６～２６６を結合して結合予測データ（Concat Prediction Data）２７０を取得する。

このように、Ｋ分割交差検証処理によれば、図２に例示するように、１つの入力データ２１０を利用した機械学習処理をＫ個の部分処理として並列に実行でき、機械学習処理を効率化できる。

ここで、図２に例示する第１回～第５回の５（Ｋ）個のタスク（繰り返し処理）には、相互に依存関係がないため、それぞれのタスクが独立したワーカノード１２０によって並列に実行可能である。

図３は、機械学習システム１００におけるＫ分割交差検証処理の一例を説明するための図である。機械学習システム１００において、マスタノード１１０は、機械学習処理のジョブ受理後に、ジョブ定義（例えばプログラムのアノテーション）から並列実行可能なタスク部分及び後処理タスク部分を判断する。

マスタノード１１０は、ワーカノード１２０の使用可能リソース状況（例えば、ＣＰＵ（Central Processing Unit）及びＲＡＭ（Random Access Memory）等）に従って、並列実行可能タスク及びタスク実行用コンテナの配置を決定する。コンテナは、例えば、ワーカノード１２０上でタスクを実行するためのプロセスと捉えられてもよい。マスタノード１１０は、ワーカノード１２０にタスク実行のためのコンテナの起動を指示する。図３の例では、マスタノード１１０は、入力データ２１０を用いた交差検証処理のジョブを５（Ｋ）個の並列タスクに分割し、ワーカノード＃０～＃４のそれぞれに並列タスク実行のためのコンテナ２２８、２３８、２４８、２５８、２６８の起動を指示する。当該指示は、入力データ２１０の配布を含む。

ワーカノード＃０～＃４は、対応するコンテナ２２８、２３８、２４８、２５８、２６８の起動及び実行において、図２に示す対応する第１回～第５回の処理をパイプラインとして並列に実行する。

マスタノード１１０は、ワーカノード１２０のコンテナでのタスク実行完了を待ち合わせ、全ての並列タスクの実行完了後に、実行結果を結合するために、判定結果を結合する後処理タスクを実行する。例えば、マスタノード１１０は、後処理タスクにおいて、予測結果２２６、２３６、２４６、２５６、２６６を集約し、結合予測データ２７０を生成して、パラメータ等の算出に利用する。また、マスタノード１１０は、ジョブ実行の完了後に、コンテナの停止及び削除をワーカノード１２０に指示する。

ここで、図１に示す機械学習システム１００において、パイプラインの処理中に、クラスタを形成するノードのうちの少なくとも１つ、例えばワーカノード１２０に障害が発生した場合を想定する。

ワーカノード１２０（例えばワーカノード＃０）に異常が発生した場合、ワーカノード＃０における並列タスクが完了せず、機械学習処理が正常に完了しなくなる。そこで、例えば、マスタノード１１０は、全てのワーカノード１２０に指示した並列タスクの実行指示をキャンセルし、実行指示を再発行する。クラスタを形成するノードの数に比例して、ワーカノード１２０の障害発生によりパイプライン処理が中断する可能性が高くなる。

このように、並列して実行されるパイプライン（部分処理）のうちの少なくとも１つに異常が発生すると、当該パイプラインを他のワーカノード１２０に実行させることにより機械学習処理の処理時間が増加することになる。或いは、機械学習処理自体が正常に完了せず、機器学習処理機能の正常動作が困難となる。また、複数のワーカノード１２０で同一の処理が実行されることで、クラスタのＣＰＵ、ＲＡＭ等のリソースが無駄に利用されることになる。換言すれば、機械学習処理の分散（並列）実行の処理効率が低下することになる。

そこで、第１実施形態では、機械学習システムにおいて複数のノードで分散して実行される機械学習処理の効率を向上させる手法を説明する。

〔１－２〕第１実施形態に係る機械学習システムの説明
まず、第１実施形態に係る機械学習システム１について説明する。図４～図７は、第１実施形態に係る機械学習システム１の動作例を説明するための図である。図４～図７に示すように、機械学習システム１は、マスタノード２、複数のノード３、共有ストレージ４、及び、共有ＤＢ（Database）５を備えてよい。

以下、機械学習システム１は、入力データを５（Ｋ）個に分割して得られるデータセットごとに、交差検証用の機械学習モデルを構築するための並列実行パイプラインを実行するものとする。交差検証処理は、入力データを分割して得られる複数のデータのうちの訓練用データと評価用データとの組み合わせがノード３間で互いに異なるように複数のデータを利用してモデルの機械学習を行なう処理である。

マスタノード２は、機械学習処理の実行を制御する制御ノードの一例である。マスタノード２は、受信したジョブに応じた制御を行なうジョブスケジューラ２０Ａと、交差検証を用いる機械学習処理のジョブに応じてジョブスケジューラ２０Ａにより起動され、交差検証処理を実行するコンテナ２０Ｂとを備えてよい。

コンテナ２０Ｂは、タスク２０Ｃ及びタスク２０Ｄを備えてよい。タスク２０Ｃは、入力データを所定の並列数に分割し、複数のノード３のそれぞれに並列タスクの実行（各モデル構築）を指示してよい（図４の破線矢印参照）。タスク２０Ｄは、複数のノード３のそれぞれによる並列タスク完了した場合、共有ストレージ４に格納された複数の出力データに基づき、機械学習処理、例えば後処理タスクを実行してよい（図４の実線矢印参照）。

複数のノード３は、機械学習処理の少なくとも一部分である部分処理をそれぞれが実行する複数の実行ノードの一例である。ノード３は、例えばワーカノードであり、タスク２０Ｃからの指示に応じて自ノード３でのタスク（パイプライン）の実行を制御するタスクスケジューラ３０Ａと、タスクスケジューラ３０Ａにより起動され、タスクを実行するコンテナ３０Ｂとを備えてよい。

ノード３が実行するパイプラインでは、サブタスク３０Ｃ～３０Ｅ（図４では「サブタスク＃０」～「サブタスク＃２」と表記）が実行されてよい。

サブタスク＃０は、データ３０Ｆを入力され、データ３０Ｆを変換して得られるデータ３０Ｇを出力する「データ変換」タスクである。サブタスク＃１は、サブタスク＃０の出力であるデータ３０Ｇを入力され、データ３０Ｇを利用した訓練により得られる機械学習モデル（例えば判定モデル）をデータ３０Ｈとして出力する「モデル生成」タスクである。サブタスク＃２は、サブタスク＃１の出力であるデータ３０Ｈ（機械学習モデル）を入力され、データ３０Ｈの評価を行ない得られる評価結果（予測結果；判定結果）をデータ３０Ｉとして出力する「モデル評価（判定）」タスクである。

共有ストレージ４は、マスタノード２及び複数のノード３のそれぞれに共有される記憶（ストレージ）領域である。共有ストレージ４は、例えば、マスタノード２及び複数のノード３のそれぞれからアクセス可能な種々の装置であってよく、一例として、クラスタを形成するノードの１つであってもよいし、クラスタとは別体のストレージ装置であってもよい。

第１実施形態では、各ノード３は、パイプラインの各ステージ（サブタスク３０Ｃ～３０Ｅ）において入力されるデータ及び出力されるデータ（データ３０Ｆ～３０Ｉ；以下、「入出力データ」と表記する場合がある）を共有ストレージ４に格納する。図４には、ノード＃０及び＃１のデータ３０Ｆ～３０Ｉと同一の入出力データ４０が共有ストレージ４に格納される例を示している。例えば、背景（網掛け、斜線等）が同一であるデータ３０Ｆ～３０Ｉと入出力データ４０との組は、同一のデータである。なお、ノード＃２～＃４のデータ３０Ｆ～３０Ｉについても、入出力データ４０として共有ストレージ４に格納されてよい。

図５の説明に移り、例えば、ノード３は、各サブタスク３０Ｃ～３０Ｅにデータが入力される都度、及び、各サブタスク３０Ｃ～３０Ｅからデータが出力される都度、当該データを共有ストレージ４に格納してよい。

なお、図５に示すデータ３０Ｇ（３０Ｈ）のように、前後するサブタスク＃０及び＃１間（＃１及び＃２間）では、前段のサブタスク＃０（＃１）の出力と後段のサブタスク＃１（＃２）の入力とが同一のデータになることがある。このように、サブタスクの入力及び出力のデータが重複する場合は、重複を排除した１つの入出力データ（図５の例ではデータ３０Ｇ、３０Ｈ等）が共有ストレージ４に格納されてよい。

共有ＤＢ５は、ノード３ごとのパイプラインの各ステージにおけるサブタスクの進捗状況を示す進捗管理情報５０を格納するＤＢである。共有ＤＢ５は、例えば、マスタノード２及び複数のノード３のそれぞれからアクセス可能な種々の装置により実現されてよい。例えば、共有ＤＢ５は、クラスタを形成するノードの１つにより実現されてもよいし、クラスタとは別体のストレージ装置により実現されてもよい。また、共有ＤＢ５は、共有ストレージ４と共通のノード又はストレージ装置により実現されてもよい。

換言すれば、共有ストレージ４及び共有ＤＢ５は、マスタノード２及び複数のノード３のそれぞれからアクセス可能な記憶領域の一例である。当該「記憶領域」は、図５に例示するように互いに異なるノード又はストレージ装置であってもよいし、同一のノード又はストレージ装置であってもよい。

進捗管理情報５０は、パイプラインに含まれる順序付けられた複数の処理（サブタスク３０Ｃ～３０Ｅ）の実行状態を入力データ２１ａごとに管理するための管理情報の一例である。例えば、進捗管理情報５０は、ノード３ごとに、複数のサブタスク３０Ｃ～３０Ｅの各々の出力データ２１ｂの共有ストレージ４における格納位置に関する情報と、複数のサブタスク３０Ｃ～３０Ｅの各々の進捗状況を示す情報と、を含んでよい。

図５に示すように、進捗管理情報５０は、例示的に、「パイプライン」、「タスク」、「入力」、「出力」、及び、「状態」の項目を含んでよい。「パイプライン」は、ジョブ及びパイプラインの識別情報の一例であり、例えば、第１ジョブの並列タスクを実行する第１ノード（ノード＃０）を示す“Job1-1”等であってよい。「タスク」は、サブタスク３０Ｃ～３０Ｅの識別情報の一例である。

「入力」及び「出力」のそれぞれは、当該「タスク」において入力されるデータ及び出力されるデータの識別情報の一例である。「入力」及び「出力」のそれぞれには、共有ストレージ４に格納された当該データの格納位置に関する情報が設定されてよい。格納位置に関する情報としては、例えば、ファイルポインタ、ファイルパス、ファイル名等が挙げられる。図５の例では、「データ変換」のタスク３０Ｃの入出力データとして、「入力」は“file1-1”であり、「出力」は“file1-2”である。

「状態」は、当該「タスク」の進捗状況を示す情報の一例である。「状態」には、例えば、「タスク」の完了を示す“完了（Complete）”、「タスク」の処理中を示す“処理中（Processing）”、「タスク」が未実行であることを示す“未実行（Pending）”等が設定されてよい。

なお、図５には、進捗管理情報５０がテーブル形式である場合を例に挙げるが、これに限定されるものではなく、ＤＢ、配列等の種々のデータ形式であってもよい。また、進捗管理情報５０に含まれる情報の少なくとも一部は、共有ストレージ４に格納される入出力データ４０に付加されてもよい。或いは、進捗管理情報５０に含まれる情報の少なくとも一部は、例えば、共有ストレージ４における入出力データ４０のファイル名、ファイルパス等に含められてもよい。共有ストレージ４における入出力データ４０からサブタスク３０Ｃ～３０Ｅの進捗情報を取得可能である場合、進捗管理情報５０及び共有ＤＢ５が機械学習システム１から省略される構成が許容されてもよい。

ノード３は、マスタノード２からモデル構築開始の実行指示（図５の破線矢印参照）に応じて実行するパイプラインにおいて、各ステージの進捗に関する情報を共有ＤＢ５に保存する。

なお、進捗管理情報５０には、マスタノード２により、各ノード３に実行させる複数のステージ（サブタスク３０Ｃ～３０Ｅ）のエントリが設定されてよい。一例として、マスタノード２は、進捗管理情報５０に対して、ノード３ごとに、ノード３に実行させるタスクと、入力データ（例えば１番目のステージ）とに応じたエントリを生成してよい。また、マスタノード２は、タスクが実行されていないエントリの「状態」に“未実行”を設定してよい。

例えば、ノード３は、サブタスク３０Ｃ～３０Ｅを開始する際に、進捗管理情報５０における実行対象のタスクのエントリについて、「状態」を“処理中”に設定してよい。

ノード３は、サブタスク３０Ｃ～３０Ｅが完了する都度、進捗管理情報５０の対応する「タスク」のエントリに、出力データに応じた「出力」を設定するとともに、「状態」を“完了”に設定する。また、ノード３は、次に実行する「タスク」の「入力」に、完了した「タスク」の「出力」と同じ情報を設定する。さらに、ノード３は、サブタスクが完了したことをマスタノード２に通知してよい（図５の実線矢印参照）。

以上のように、マスタノード２は、パイプラインの入力データ２１ａと、進捗管理情報５０と、を共有ストレージ４及び共有ＤＢ５に格納する。

また、複数のノード３のそれぞれは、共有ストレージ４及び共有ＤＢ５に格納された入力データ２１ａ及び進捗管理情報５０に基づくパイプラインの実行において、共有ストレージ４及び共有ＤＢ５にデータを格納する。例えば、ノード３は、複数のサブタスク３０Ｃ～３０Ｅの各々から出力される出力データ２１ｂと、複数のサブタスク３０Ｃ～３０Ｅの各々の実行状態を設定した進捗管理情報５０と、を共有ストレージ４及び共有ＤＢ５に格納する。

次に、パイプライン実行中のノード３に障害が発生した場合を想定する。例えば、図６に示すように、ノード＃０のサブタスク３０Ｅの実行中にノード＃０に障害が発生し、サブタスク３０Ｅの処理が中断した場合を例に挙げて説明する。ノード＃０は、複数のサブタスク３０Ｃ～３０Ｅのうちのいずれかの処理の実行中に障害が発生した第１実行ノードの一例である。

なお、障害発生時点では、共有ストレージ４にはノード＃０に対応する入出力データ４０としてデータ３０Ｆ、３０Ｇ、３０Ｈが格納されており、共有ＤＢ５の進捗管理情報５０には、サブタスク３０Ｅの「状態」が“処理中”に設定されているものとする。

図６に例示するように、マスタノード２は、ノード＃０の障害発生を検出すると、フェイルオーバ先のノード＃５に、ノード＃０で中断された（未完了の）サブタスク３０Ｅの引き継ぎを実行させるためのコンテナ３０Ｂを起動させる。ノード＃５は、並列タスクを実行する複数のノード＃０～＃４とは異なるノード３であり、第２実行ノードの一例である。

ノード＃５は、コンテナ３０Ｂを起動し、ノード＃０が最後に共有ストレージ４に格納した入出力データ４０を利用して、ノード＃０において中断されたステージからジョブ処理（サブタスク３０Ｅ）を実行する。ノード＃５は、サブタスク３０Ｅの結果となるデータ３０Ｉを共有ストレージ４に格納する。

次に、図７を参照して、ノード３に障害が発生した場合の詳細な動作の一例を説明する。ノード＃０は、サブタスク３０Ｄが完了してからサブタスク３０Ｅの処理の開始後までの期間において、データ３０Ｈを共有ストレージ４に格納する。また、ノード＃０は、サブタスク３０Ｅの処理を開始する際に、進捗管理情報５０のサブタスク３０Ｅのエントリに対して「状態」を“処理中”に設定し（矢印Ａ参照）、共有ＤＢ５に格納する（矢印Ｂ参照）。その後、サブタスク３０Ｅの処理中にノード＃０に障害が発生したとする。

マスタノード２は、ノード＃０の障害発生を検出すると、共有ＤＢ５を参照して、ノード＃０のサブタスク３０Ｅが処理中であることを検出し、代替となるノード＃５に対して、ノード＃０の中断されたジョブ処理の実行（切り替え）を指示する（矢印Ｃ参照）。例えば、マスタノード２は、ノード＃５に対して、ノード＃０の進捗管理情報５０の情報を含む、並列タスクの実行指示を送信してよい。当該実行指示は、ノード＃５において、コンテナ３０Ｂの起動指示として扱われてよい。

ノード＃５は、コンテナ３０Ｂを起動すると、切り替え元（フェイルオーバ元）であるノード＃０の進捗管理情報５０を参照する（矢印Ｄ参照）。ノード＃５は、例えば、「状態」が“完了”であるステージ（サブタスク３０Ｃ、３０Ｄ）をスキップして、「状態」が“処理中”であるステージ（サブタスク３０Ｅ）を特定し、サブタスク３０Ｅの「入力」のデータ３０Ｈを共有ストレージ４から取得する。すなわち、ノード＃５は、マスタノード２から受信した情報が示す進捗管理情報５０における未完了の処理から順に、ノード＃０が担当する並列タスク（パイプライン）を実行する。

そして、ノード＃５は、データ３０Ｈに基づきサブタスク３０Ｅを実行し、サブタスク３０Ｅの完了後に、「出力」のデータ３０Ｉを共有ストレージ４に格納するとともに（矢印Ｅ参照）、マスタノード２に処理の完了を通知する（実線矢印参照）。

なお、ノード＃５は、他のノード＃１～＃４と同様に、サブタスク３０Ｃ～３０Ｅの開始及び完了の都度、進捗管理情報５０を更新してよい。例えば、ノード＃５は、ノード＃０に対応する進捗管理情報５０を更新してもよいし、ノード＃０に対応する進捗管理情報５０を無効化した上でノード＃５に対応する進捗管理情報５０を生成し更新してもよい。

このように、第１実施形態に係るマスタノード２は、ノード＃０の進捗管理情報５０における複数のサブタスクの各々の実行状態と、共有ストレージ４に格納されたノード＃０の出力データとに基づき、ノード＃０において未完了の処理をノード＃５に実行させる。

以上のように、第１実施形態に係る機械学習システム１によれば、複数のノード３の各々は、パイプライン処理中に、タスク実行の進捗情報及び入出力データ４０を共有ＤＢ５及び共有ストレージ４に定期に保存することができる。これにより、パイプライン処理中に障害発生によってノード３が停止した場合であっても、他のノード３が共有ＤＢ５及び共有ストレージ４から障害発生したタスクの進捗情報及び入出力データ４０（入力データ）を読み出して、未完了タスクから処理を継続できる。換言すれば、障害が発生したノード３が実行する未完了の処理を他のノード３が適切に引き継ぐことができる。

これにより、ノード３の障害発生による機械学習処理の処理時間の増加を抑制することができる。また、フェイルオーバ先のノード３は、障害ノード３で処理が完了したステージ（サブタスク３０Ｃ、３０Ｄ）の実行をスキップし、未完了のステージ（サブタスク３０Ｅ）に限定して処理を実行できる。このように、不要な処理の実行を抑制できるため、クラスタのＣＰＵ、ＲＡＭ等のリソースの無駄な利用を抑制できる。従って、機械学習処理の分散（並列）実行の処理効率を向上させることができる。

〔１－３〕機械学習システムの機能構成例
次に、第１実施形態に係る機械学習システム１の機能構成例を説明する。図８は、第１実施形態に係る機械学習システム１の機能構成例を示すブロック図である。図８に示すように、機械学習システム１は、例示的に、マスタノード２、複数のノード３、共有ストレージ４、及び、共有ＤＢ５を備えてよい。共有ストレージ４及び共有ＤＢ５は、図４～図７の例と同様に、それぞれ入出力データ４０及び進捗管理情報５０を格納してよい。

（マスタノード２の機能構成例）
マスタノード２は、メモリ部２１、ジョブ制御部２２、異常検出部２３、及び、ノード制御部２４を備えてよい。

ジョブ制御部２２、異常検出部２３、及び、ノード制御部２４は、制御部２５の一例である。図４～図７に例示するジョブスケジューラ２０Ａ及びコンテナ２０Ｂの機能は、ジョブ制御部２２、異常検出部２３、及び、ノード制御部２４の少なくとも一部の機能により実現されてよい。

メモリ部２１は、記憶領域の一例であり、マスタノード２による処理に用いられる種々の情報を記憶する。図８に示すように、メモリ部２１は、例示的に、入力データ２１ａ、複数の出力データ２１ｂ、及び、処理済データ２１ｃを記憶可能であってよい。

ジョブ制御部２２は、ジョブの実行指示を受け付け、実行指示におけるジョブ定義に基づき、機械学習システム１におけるジョブの実行を制御する。

例えば、ジョブ定義が並列実行可能なジョブを示す場合、ジョブ制御部２２は、クラスタのリソースの空き状況等に基づき並列タスクを実行させるノード３を特定する。そして、ジョブ制御部２２は、ノード３の数に応じて、実行指示に含まれる入力データ２１ａを分割し、各ノード３に実行させる並列タスクの最初のステージ（サブタスク３０Ｃ）の入出力データ４０（入力データ）として共有ストレージ４に格納してよい。入力データ２１ａの分割数Ｋは、例えば、並列タスクを実行させるノード３の数と同じであってもよいし、異なってもよい。

また、ジョブ制御部２２は、分割した入力データ２１ａを各ノード３が処理するための進捗情報としてノード３ごとの進捗管理情報５０を生成して共有ＤＢ５に格納し、各ノード３に対して、並列タスクの実行指示（コマンド）を送信する。進捗管理情報５０には、例えば、各ノード３に実行させる複数のステージのエントリが設定されてよい。実行指示には、ノード３ごとの進捗管理情報５０に関する情報が含まれてよい。進捗管理情報５０に関する情報とは、ノード３の進捗管理情報５０そのものであってもよいし、共有ＤＢ５におけるノード３の進捗管理情報５０を特定する情報であってもよい。

上述したジョブ制御部２２の処理は、図４に示すタスク２０Ｃの処理の一例である。また、ジョブ制御部２２は、図４に示すタスク２０Ｄの処理の一例として、各ノード３から並列タスクの完了（最後のステージの完了）を通知されると、後処理タスクを実行し、ジョブの実行指示に対して完了を応答してよい。

例えば、ジョブ制御部２２は、後処理タスクにおいて、共有ストレージ４から最後のステージの入出力データ４０を取得し、出力データ２１ｂとしてメモリ部２１に格納してよい。そして、ジョブ制御部２２は、複数の出力データ２１ｂに基づく所定の処理（後処理）を実行することで処理済データ２１ｃを生成し、メモリ部２１に格納してよい。

異常検出部２３は、並列タスクを実行させる複数のノード３のそれぞれにおける異常の発生を検出する。ノード３の異常の発生の検出手法としては、既知の種々の手法が利用されてよい。一例として、マスタノード２は、各ノード３との間のハートビート（Heartbeat）通信の停止を検出した場合に、ハートビート通信が停止したノード３の異常発生を検出してよい。或いは、マスタノード２は、ノード３のハードウェア（ＨＷ）若しくはソフトウェア（ＳＷ）、又は、ノード３以外の監視装置又は監視プログラムからの、ノード３の異常発生を通知する信号を受信した場合に、ノード３の異常発生を検出してもよい。

ノード制御部２４は、異常検出部２３により異常発生が検出されたノード３（以下、「障害ノード３」と表記する）による未完了の並列タスクを処理の引き継ぎ先のノード３（以下、「代替ノード３」と表記する）に引き継ぐ制御を行なう。

例えば、ノード制御部２４は、共有ＤＢ５から障害ノード３の進捗管理情報５０を取得し、全ステージの実行が完了していない場合に、代替ノード３に対して、並列タスクの実行指示（コマンド）を送信する。実行指示には、ジョブ制御部２２がノード３に送信する実行指示と同様に、進捗管理情報５０に関する情報が含まれてよい。

（ノード３の機能構成例）
ノード３は、メモリ部３１、タスク制御部３２、進捗管理部３３、及び、応答部３４を備えてよい。

タスク制御部３２、進捗管理部３３、及び、応答部３４は、制御部３５の一例である。図４～図７に例示するタスクスケジューラ３０Ａ及びコンテナ３０Ｂの機能は、タスク制御部３２、進捗管理部３３、及び、応答部３４の少なくとも一部の機能により実現されてよい。

メモリ部３１は、記憶領域の一例であり、ノード３による処理に用いられる種々の情報を記憶する。図８に示すように、メモリ部３１は、例示的に、複数の入出力データ３１ａを記憶可能であってよい。

タスク制御部３２は、マスタノード２からタスク（並列タスク）の実行指示を受け付け、実行指示に応じて、ノード３におけるタスクの実行を制御する。例えば、タスク制御部３２は、実行指示で指定される複数のステージを、進捗管理情報５０のエントリ順に実行する。

ステージの実行において、タスク制御部３２は、例えば、共有ＤＢ５から進捗管理情報５０を取得し、未実行のステージ（サブタスク）に対応する入出力データ３１ａ（入力データ）を共有ストレージ４から取得する。そして、タスク制御部３２は、取得した入出力データ３１ａに基づき未実行のサブタスクを実行し、サブタスクの実行結果である入出力データ３１ａ（出力データ）を共有ストレージ４に格納する。

進捗管理部３３は、タスク制御部３２によるステージの処理の実行状態に応じて、進捗管理情報５０を更新する。例えば、進捗管理部３３は、ステージの処理が実行される際に、進捗管理情報５０の実行対象のステージのエントリの「状態」を“処理中”に設定し、当該ステージの処理が完了すると、エントリの「状態」を“完了”に設定する。

応答部３４は、タスク制御部３２によるステージの処理が完了する都度、マスタノード２に対して、ステージの処理の実行完了を通知する。

〔１－４〕機械学習システムの動作例
次に、図９～図１１を参照して、上述した第１実施形態に係る機械学習システム１の動作例を説明する。

〔１－４－１〕ジョブ実行処理
図９は、第１実施形態に係るマスタノード２によるジョブ実行処理の動作例を説明するためのフローチャートである。

図９に例示するように、ジョブ制御部２２は、ユーザが使用するコンピュータ等からジョブの実行指示を取得し（ステップＳ１）、実行指示のジョブ定義に基づき、並列実行可能なタスクがあるか否かを判定する（ステップＳ２）。

並列実行可能タスクがある場合（ステップＳ２でＹＥＳ）、ジョブ制御部２２は、実行指示に含まれる入力データ２１ａを分割し、分割した入力データ２１ａを入出力データ４０として共有ストレージ４に格納する（ステップＳ３）。入力データ２１ａの分割数Ｋは、例えばノード３（ワーカノード）の数等に基づいて決定されてもよい。

ジョブ制御部２２は、分割した入力データ２１ａを処理するための進捗管理情報５０を生成し、共有ＤＢ５に格納する（ステップＳ４）。また、ジョブ制御部２２は、共有ＤＢ５の進捗管理情報５０に関する情報を含むタスクの実行指示（コマンド）を各ノード３に送信する（ステップＳ５）。

ジョブ制御部２２は、全てのノード３から全ステージの実行完了の応答（通知）を受信すると、共有ストレージ４から全てのノード３の入出力データ４０（出力データ２１ｂ）を取得する（ステップＳ６）。そして、ジョブ制御部２２は、出力データ２１ｂに基づき後処理を実行し、処理結果を出力して（ステップＳ７）、ジョブ実行処理が終了する。例えば、ジョブ制御部２２は、処理結果の出力として、処理済データ２１ｃをメモリ部２１に格納してよい。

一方、ステップＳ２において、並列実行可能タスクがない場合（ステップＳ２でＮＯ）、ジョブ制御部２２は、実行指示に含まれる入力データ２１ａを分割し、分割した入力データ２１ａを入出力データ４０として共有ストレージ４に格納する。また、ジョブ制御部２２は、分割したデータを処理するための進捗管理情報５０を共有ＤＢ５に格納する（ステップＳ８）。そして、ジョブ制御部２２は、進捗管理情報５０に基づき、各ステージを順番に実行し（ステップＳ９）、ジョブ実行処理が終了する。

〔１－４－２〕タスク実行処理
図１０は、第１実施形態に係るノード３（ワーカノード）によるタスク実行処理の動作例を説明するためのフローチャートである。

図１０に例示するように、タスク制御部３２は、マスタノード２からタスクの実行指示を取得する（ステップＳ１１）。

タスク制御部３２は、例えば、実行指示に含まれる進捗管理情報５０に関する情報に基づき、未実行の最小ステージ番号を変数ｉに設定し、最終ステージ番号を定数Ｉｍａｘに設定する（ステップＳ１２）。未実行の最小ステージ番号は、例えば、進捗管理情報５０のエントリのうちの、状態が未設定であるエントリの番号、又は、状態に“処理中”が設定されたエントリの番号であってよい。また、最終ステージ番号は、進捗管理情報５０のエントリのうちの最終エントリの番号であってよい。

タスク制御部３２は、共有ＤＢ５の進捗管理情報５０からｉ番目のステージの状態を取得し（ステップＳ１３）、ｉ番目のステージの状態が“完了”か否かを判定する（ステップＳ１４）。ｉ番目のステージの状態が“完了”である場合（ステップＳ１４でＹＥＳ）、処理がステップＳ２０に移行する。

一方、ｉ番目のステージの状態が“完了”ではない場合（ステップＳ１４でＮＯ）、タスク制御部３２は、共有ストレージ４からｉ番目のステージの入出力データ４０（入力データ）を取得する（ステップＳ１５）。

進捗管理部３３は、共有ＤＢ５の進捗管理情報５０における、ｉ番目のステージの状態を“処理中”に設定する（ステップＳ１６）。

タスク制御部３２は、ｉ番目のステージの処理を実行し、実行結果である出力データを入出力データ４０として共有ストレージ４に格納する（ステップＳ１７）。

進捗管理部３３は、共有ＤＢ５の進捗管理情報５０における、ｉ番目のステージの状態を“完了”に設定する（ステップＳ１８）。

応答部３４は、マスタノード２にｉ番目のステージの実行完了を通知（応答）する（ステップＳ１９）。

タスク制御部３２は、ｉ＝Ｉｍａｘかを判定し（ステップＳ２０）、ｉ＝Ｉｍａｘの場合（ステップＳ２０でＹＥＳ）、換言すれば、最終ステージの実行が完了した場合、タスク実行処理が終了する。

ｉ＝Ｉｍａｘではない場合（ステップＳ２０でＮＯ）、タスク制御部３２は、ｉに１を加算（インクリメント）し（ステップＳ２１）、処理がステップＳ１３に移行する。

〔１－４－３〕障害検出処理
図１１は、第１実施形態に係るマスタノード２による障害検出処理の動作例を説明するためのフローチャートである。

図１１に例示するように、異常検出部２３は、ノード３（ワーカノード）の障害の発生を検出する（ステップＳ３１）。

ノード制御部２４は、共有ＤＢ５から障害ノード３の進捗管理情報５０を取得し（ステップＳ３２）、全ステージの実行が完了しているか否かを判定する（ステップＳ３３）。例えば、ノード制御部２４は、障害ノード３の進捗管理情報５０における最終ステージのエントリの状態が“完了”か否かを判定してよい。

少なくとも１つのステージの実行が完了していない場合（ステップＳ３３でＮＯ）、ノード制御部２４は、共有ＤＢ５における障害ノード３の進捗管理情報５０に関する情報を含む実行指示を代替ノード３に送信し（ステップＳ３４）、障害検出処理が終了する。実行指示を受信した代替ノード３は、図１０に例示するタスク実行処理を実行する。このとき、代替ノード３は、障害ノード３の進捗管理情報５０において未実行の最小ステージ番号から順に、図１０に例示する処理に従ってタスクを実行する。

一方、全ステージの実行が完了している場合（ステップＳ３３でＹＥＳ）、ノード制御部２４は、例えば、ノード３の状態を管理する情報において、障害ノード３の状態を異常として管理し（ステップＳ３５）、障害検出処理が終了する。

〔２〕第２実施形態
〔２－１〕機械学習システムについて
図１２は、第２実施形態の比較例に係る機械学習システム３００の一例を説明するための図である。図１２では、機械学習システム３００が機械学習モデルのパラメータの最適化を行なう場合を例に挙げる。

マスタノード３１０は、同一の入力データ３１１を複数のワーカノード３２０のそれぞれに入力する。

複数のワーカノード３２０（ワーカノード＃０～＃３）のそれぞれは、複数のサブタスク３２１の実行において、同一の入力データ３１１に対して、互いに異なる機械学習用パラメータ（パラメータ＃０～＃３）を利用して機械学習モデルを作成する。

マスタノード３１０は、各ワーカノード３２０が生成した機械学習モデルの精度評価を実施し、最適な（最良な）モデルの選択３１２を実施する。このように、第２実施形態では、並列実行パイプラインは、入力データ２１ａと、複数のノード３間で互いに異なるパラメータと、を利用して機械学習モデルの最適化を行なうパラメータ最適化処理である。

ここで、複数のワーカノード３２０により並列実行されるパイプラインでは、同一のタスク処理が繰り返し実行され、クラスタのＣＰＵ、ＲＡＭ等のリソースが無駄に利用されることがある。換言すれば、機械学習処理の分散（並列）実行の処理効率が低下する場合がある。

そこで、第２実施形態では、機械学習システムにおいて複数のノードで分散して実行される機械学習処理の効率を向上させる手法を説明する。

〔２－２〕第２実施形態に係る機械学習システムの説明
まず、第２実施形態に係る機械学習システム１’について説明する。図１３及び図１４は、第２実施形態に係る機械学習システム１’の動作例を説明するための図である。

図１３及び図１４に示すように、機械学習システム１’は、第１ノードの一例であるマスタノード２’、複数の第２ノードの一例である複数のノード３、記憶装置の一例である共有ストレージ４、及び、共有ＤＢ５を備えてよい。なお、以下の説明において、特に言及しない構成、機能及び処理については、第１実施形態と同様である。

以下、機械学習システム１’は、機械学習モデルの最適化を実行するための並列実行パイプラインを、同一の入力データを利用して実行するものとする。

また、図１３に示すように、「データ変換」のステージ（サブタスク３０Ｃ）では、入力データ３０Ｆ、及び、「データ変換」の処理内容の双方がパイプライン（ノード３）間で同一である。換言すれば、パラメータ最適化処理では、複数のステージのうちの先頭から１以上のステージが複数のノード３間で互いに同一である。

このため、第２実施形態では、複数のノード３のうちのいずれか１つのノード＃０のパイプラインにおけるサブタスク３０Ｃの変換結果（出力データ３０Ｇ）を、複数のノード３のうちの残りのノード＃１～＃３のパイプラインで共有可能である。ここで、ノード＃０は、複数のノード３のうちの複数のステージを実行する第１実行ノードの一例である。一方、ノード＃１～＃３は、複数のノード３のうちのノード＃０とは異なる１以上の第２実行ノードの一例である。

そこで、第２実施形態では、マスタノード２’は、ジョブスケジューラ２０Ａ’及びコンテナ２０Ｂ’のタスク２０Ｃ’により、ノード＃０のサブタスク３０Ｃの出力データ３０Ｇを、ノード＃０～＃３で利用できるように制御する。例えば、マスタノード２’は、出力データ３０Ｇを共有ストレージ４を介してノード＃０～＃３で共有する。

このように、第２実施形態では、複数のノード３が実行するパイプラインに同一の処理が含まれる場合に、パイプライン処理の過程で生成される中間データを他のノード３で流用できるようにする。

これにより、ノード＃０～＃３でのサブタスク３０Ｃの実行、換言すれば、不要な処理の実行を抑制できるため、クラスタのＣＰＵ、ＲＡＭ等のリソースの無駄な利用を抑制できる。従って、機械学習処理の分散（並列）実行の処理効率を向上させることができる。

例えば、図１４に示すように、マスタノード２’のジョブスケジューラ２０Ａ’は、ノード＃０に対してモデル構築開始の実行指示を送信する（矢印Ａ参照）。実行指示は、第１実施形態に係る実行指示と同様であってよく、例えば、進捗管理情報５０に関する情報を含んでよい。

ノード＃０は、第１実施形態と同様に、共有ＤＢ５の進捗管理情報５０に対して、パイプラインの各実行ステージのエントリの情報を更新する（矢印Ｂ参照）。

マスタノード２’は、ノード＃０によるパイプライン間で共通のサブタスク３０Ｃの実行が完了すると、ノード＃０以外のノード３のそれぞれの進捗管理情報５０におけるサブタスク３０Ｃのエントリを、ノード＃０の処理結果と同様に更新する（矢印Ｃ参照）。以下の説明では、便宜上、ノード＃０以外のノード３として、ノード＃１を例に挙げるが、ノード＃２及び＃３についても同様である。例えば、マスタノード２’は、ノード＃１の進捗管理情報５０に対して、サブタスク３０Ｃの「出力」をノード＃０の変換結果“file1-2”に更新し、「状態」を“完了”に設定してよい。

マスタノード２’は、ノード＃１（ノード＃０以外のノード３のそれぞれ）に対してモデル構築開始の実行指示を送信する（矢印Ｄ参照）。

このように、マスタノード２’は、ノード＃０による先頭から１以上のステージの完了を検出した場合、ノード＃１～＃３に対して、ノード＃０の進捗管理情報５０に基づき更新したノード＃１～＃３の進捗管理情報５０の情報を送信する。

ノード＃１は、実行指示に応じて、共有ＤＢ５からノード＃１のパイプラインの進捗管理情報５０を取得する（符号Ｅ参照）。進捗管理情報５０では、「データ変換」のステージであるサブタスク３０Ｃが完了しているため、ノード＃１は、未完了である「モデル訓練」のステージ（サブタスク３０Ｄ）から処理を実行する（矢印Ｆ参照）。換言すれば、ノード＃１（＃１～＃３）は、マスタノード２’から受信した情報が示す進捗管理情報５０における先頭から１以上のステージに続くステージから順に、並列タスクを実行する。

以上のように、ノード＃０～＃３のそれぞれの処理は、第１実施形態と同様に、進捗管理情報５０に従って実行されてよい。

〔２－３〕機械学習システムの機能構成例
次に、第２実施形態に係る機械学習システム１’の機能構成例を説明する。図１５は、第２実施形態に係る機械学習システム１’の機能構成例を示すブロック図である。図１５に示すように、機械学習システム１’は、例示的に、マスタノード２’、複数のノード３、共有ストレージ４、及び、共有ＤＢ５を備えてよい。なお、複数のノード３、共有ストレージ４、及び、共有ＤＢ５は、第１実施形態と同様であってよい。

マスタノード２’は、メモリ部２１、ジョブ制御部２２’、異常検出部２３、及び、ノード制御部２４’を備えてよい。なお、マスタノード２’は、異常検出部２３を備えない構成が許容されてもよい。

ジョブ制御部２２’、異常検出部２３、及び、ノード制御部２４’は、制御部２５’の一例である。図１３及び図１４に例示するジョブスケジューラ２０Ａ’及びコンテナ２０Ｂ’の機能は、ジョブ制御部２２’、異常検出部２３、及び、ノード制御部２４’の少なくとも一部の機能により実現されてよい。

ジョブ制御部２２’は、ジョブの実行指示を受け付け、実行指示におけるジョブ定義に基づき、機械学習システム１におけるジョブの実行を制御する。

例えば、ジョブ定義が並列実行可能なジョブを示す場合、ジョブ制御部２２’は、クラスタのリソースの空き状況等に基づき並列タスクを実行させるノード３を特定する。そして、ジョブ制御部２２’は、最適化パラメータのセットを決定し、入力データ２１ａを入出力データ４０（入力データ）として共有ストレージ４に格納してよい。

また、ジョブ制御部２２’は、同一の入力データ２１ａを各ノード３が処理するための進捗情報としてノード３ごとの進捗管理情報５０を生成して共有ＤＢ５に格納する。そして、ジョブ制御部２２’は、複数のノード３のうちのいずれか１つの代表ノード３を選択し、選択した代表ノード３に対して、並列タスクの実行指示（コマンド）を送信する。実行指示は、第１実施形態に係る実行指示と同様であってよい。なお、ジョブ制御部２２’は、例えば、ノード３の識別番号が小さいノード３、処理性能が高い（割り当てられたリソース量が多い）ノード３等を代表ノード３として選択してよい。上述したジョブ制御部２２’の処理は、図１３に示すタスク２０Ｃ’の処理の一例である。

ノード制御部２４’は、代表ノード３による、所定のステージの実行完了応答の受信に応じて、当該所定のステージから先のステージの実行を代表ノード３以外のノード３に開始させる制御を行なう。所定のステージとしては、第２実施形態では、「データ変換」ステージ（サブタスク３０Ｃ）が挙げられるが、これに限定されるものではなく、ジョブ定義に応じた種々のステージが挙げられる。所定のステージは、複数のステージであってもよい。

例えば、ノード制御部２４’は、所定のステージの実行完了応答を受信すると、代表ノード３以外の１以上のノード３のそれぞれについて、共有ＤＢ５の進捗管理情報５０を代表ノード３の進捗管理情報５０に応じて更新する。例えば、ノード制御部２４’は、代表ノード３以外の１以上のノード３のそれぞれの進捗管理情報５０における所定のステージ以前の「状態」を“完了”に設定し、所定のステージの「出力」に代表ノード３の所定のステージの出力データの情報を設定する。

そして、ノード制御部２４’は、代表ノード３以外の１以上のノード３のそれぞれに対して、並列タスクの実行指示（コマンド）を送信する。実行指示は、第１実施形態に係る実行指示と同様であってよい。

〔２－４〕機械学習システムの動作例
次に、図１６及び図１７を参照して、上述した第２実施形態に係る機械学習システム１’の動作例を説明する。以下の説明において、既述の処理と同一の符号（ステップ）を付した処理は、既述の処理と同様であるため、説明を省略する。

〔２－４－１〕ジョブ実行処理
図１６は、第２実施形態に係るマスタノード２’によるジョブ実行処理の動作例を説明するためのフローチャートである。図１６は、図９のステップＳ３～Ｓ５をステップＳ４１～Ｓ４５に置き換え、ステップＳ８をステップＳ４６に置き換えたものである。

図１６に例示するように、ジョブ制御部２２’は、並列実行可能タスクがある場合（ステップＳ２でＹＥＳ）、最適化パラメータのセットを決定する（ステップＳ４１）。

ジョブ制御部２２’は、実行指示に含まれる入力データ２１ａを入出力データ４０として共有ストレージ４に格納する（ステップＳ４２）。

ジョブ制御部２２’は、同一の入力データ２１ａを処理するための進捗管理情報５０を生成し、共有ＤＢ５に格納する（ステップＳ４３）。また、ジョブ制御部２２’は、共有ＤＢ５の進捗管理情報５０に関する情報を含むタスクの実行指示（コマンド）を代表ノードに送信する（ステップＳ４４）。実行指示を受信した代表ノード３は、図１０に例示するタスク実行処理を実行する。

そして、ノード制御部２４’は、ステージ完了処理を実行し（ステップＳ４５）、処理がステップＳ６に移行する。

一方、並列実行可能タスクがない場合（ステップＳ２でＮＯ）、ジョブ制御部２２’は、実行指示に含まれる入力データ２１ａを入出力データ４０として共有ストレージ４に格納する。また、ジョブ制御部２２’は、入力データ２１ａを処理するための進捗管理情報５０を共有ＤＢ５に格納する（ステップＳ４６）。

〔２－４－２〕ステージ完了処理
図１７は、図１６のステップＳ４５に示すステージ完了処理の動作例を説明するためのフローチャートである。

図１７に例示するように、ノード制御部２４’は、代表ノード３から、代表ノード３の所定ステージの実行完了の応答を受信すると（ステップＳ５１）、共有ＤＢ５から、代表ノード３の進捗管理情報５０を取得する（ステップＳ５２）。

ノード制御部２４’は、共有ＤＢ５から、代表ノード３以外の他の各ノード３の進捗管理情報５０を取得し、他の各ノード３に未実行のタスクがあるか否かを判定する（ステップＳ５３）。

他のノード３に未実行のタスクがない場合（ステップＳ５３でＮＯ）、処理が終了する。一方、他の各ノード３に未実行のタスクがある場合（ステップＳ５３でＹＥＳ）、ノード制御部２４’は、未実行タスクの進捗管理情報５０を代表ノード３の進捗管理情報５０に応じて更新する（ステップＳ５４）。

そして、ノード制御部２４’は、共有ＤＢ５における進捗管理情報５０に関する情報を含む実行指示を他の各ノード３のそれぞれに送信し（ステップＳ５５）、ステージ完了処理が終了する。実行指示を受信した他の各ノード３は、図１０に例示するタスク実行処理を実行する。このとき、各ノード３は、代表ノード３の進捗管理情報５０に応じて更新された進捗管理情報５０において未実行の最小ステージ番号から順に、図１０に例示する処理に従ってタスクを実行する。なお、代表ノード３は、図１６のステップＳ４４で受信した実行指示に従い、図１０に例示するタスク実行処理を実行している。このため、ステップＳ５５では、代表ノード３と他の各ノード３とが並行して互いに異なるタスクを実行することになる。

〔３〕ハードウェア構成例
第１実施形態に係るマスタノード２、第２実施形態に係るマスタノード２’、並びに、第１及び第２実施形態に係るノード３のそれぞれを実現する装置は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、マスタノード２及び２’、並びに、ノード３のそれぞれの機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、マスタノード２及び２’、並びに、ノード３の機能のうちの少なくとも一部は、クラウド環境により提供されるＨＷリソース及びネットワーク（ＮＷ）リソースを用いて実現されてもよい。

図１８は、コンピュータ１０のＨＷ構成例を示すブロック図である。マスタノード２及び２’、並びに、ノード３は、互いに同様のＨＷ構成を備えてよい。以下、マスタノード２及び２’、並びに、ノード３のそれぞれの機能を実現するＨＷリソースとして、コンピュータ１０を例に挙げて説明する。マスタノード２及び２’、並びに、ノード３のそれぞれの機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図１８に例示するＨＷ構成を備えてよい。

図１８に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ、メモリ１０ｂ、記憶部１０ｃ、ＩＦ（Interface）部１０ｄ、Ｉ／Ｏ（Input / Output）部１０ｅ、及び読取部１０ｆを備えてよい。

プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｉで相互に通信可能に接続されてよい。なお、プロセッサ１０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。

プロセッサ１０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ；Integrated Circuit）が挙げられる。なお、プロセッサ１０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。

メモリ１０ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｂとしては、例えばＤＲＡＭ（Dynamic RAM）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。

記憶部１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｃとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。

なお、図８及び図１５に示すメモリ部２１及び３１、共有ストレージ４、並びに、共有ＤＢ５のうちの少なくとも１つは、メモリ１０ｂ及び記憶部１０ｃの一方又は双方が有する記憶領域により実現されてよい。

また、記憶部１０ｃは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｇ（機械学習プログラム）を格納してよい。例えば、マスタノード２又は２’のプロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図８又は図１５に例示するマスタノード２又は２’（例えば制御部２５又は２５’）としての機能を実現できる。また、例えば、ノード３（ワーカノード）のプロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図８又は図１５に例示するノード３（例えば制御部３５）としての機能を実現できる。

ＩＦ部１０ｄは、ネットワークの一方又は双方との間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｄは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。例えば、マスタノード２又は２’、ノード３、共有ストレージ４及び共有ＤＢ５のそれぞれは、ＩＦ部１０ｄ及び図示しないネットワークを介して、相互に通信可能に接続されてよい。また、例えば、プログラム１０ｇは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｃに格納されてもよい。

Ｉ／Ｏ部１０ｅは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。

読取部１０ｆは、記録媒体１０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｆは、記録媒体１０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｈにはプログラム１０ｇが格納されてもよく、読取部１０ｆが記録媒体１０ｈからプログラム１０ｇを読み出して記憶部１０ｃに格納してもよい。

記録媒体１０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。

上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、Ｉ／Ｏ部１０ｅ及び読取部１０ｆの少なくとも一方は、省略されてもよい。

〔４〕その他
上述した第１及び第２実施形態に係る技術は、以下のように変形、変更して実施することができる。

例えば、図８に示すマスタノード２が備える各処理機能２２～２５、図１５に示すマスタノード２’が備える各処理機能２２’～２５’、図８又は図１５に示すノード３が備える各処理機能３２～３５は、それぞれ任意の組み合わせで併合してもよく、分割してもよい。

また、第１実施形態及び第２実施形態は、組み合わせて適用されてもよい。例えば、第２実施形態に係る機械学習システム１’において、少なくとも１つのノード３に障害が発生した場合、マスタノード２’の異常検出部２３及びノード制御部２４’は、第１実施形態係るマスタノード２の異常検出部２３及びノード制御部２４として動作してよい。一例として、マスタノード２’のノード制御部２４’は、障害ノード３における中断ステージ以降の処理を代替ノード３に実行させてよい。

第１及び第２実施形態では、機械学習の分散処理におけるノード３の数が、それぞれ５及び４である場合を例に挙げたが、これに限定されるものではなく、例えば、入力データ２１ａのデータ規模等の種々の条件に応じて増減してもよい。

また、機械学習システム１又は１’では、例えば、ノード３を実現する構成の種類、例えば汎用サーバ、基幹サーバ等に応じて、ノード３の障害発生率は変化する。このため、異常検出部２３によるノード３の異常の検出手法、及び、ノード制御部２４’によるフェイルオーバ手法は、ノード３の障害発生率に応じて決定されてもよい。

〔５〕付記
以上の第１及び第２実施形態に関し、さらに以下の付記を開示する。

（付記１）
機械学習処理の少なくとも一部分である部分処理をそれぞれが実行する複数の実行ノードと、
前記機械学習処理の実行を制御する制御ノードと、
前記制御ノード及び前記複数の実行ノードのそれぞれからアクセス可能な記憶領域と、を備え、
前記制御ノードは、
前記部分処理の入力データと、前記部分処理に含まれる順序付けられた複数の処理の実行状態を前記実行ノードごとに管理するための管理情報と、を前記記憶領域に格納し、
前記複数の実行ノードのそれぞれは、
前記記憶領域に格納された前記入力データ及び前記管理情報に基づく前記部分処理の実行において、前記複数の処理の各々から出力される出力データと、前記複数の処理の各々の実行状態を設定した前記管理情報と、を前記記憶領域に格納し、
前記制御ノードは、
前記複数の実行ノードのうちの第１実行ノードの前記管理情報における前記複数の処理の各々の実行状態と、前記記憶領域に格納された前記第１実行ノードの複数の前記出力データとに基づき、前記第１実行ノードにおいて未完了の処理を、前記第１実行ノードとは異なる第２実行ノードに実行させる、
機械学習システム。

（付記２）
前記管理情報は、前記実行ノードごとに、前記複数の処理の各々の前記出力データの前記記憶領域における格納位置に関する情報と、前記複数の処理の各々の進捗状況を示す情報と、を含む、
付記１に記載の機械学習システム。

（付記３）
前記第１実行ノードは、前記複数の処理のうちのいずれかの処理の実行中に障害が発生した実行ノードであり、
前記第２実行ノードは、前記複数の実行ノードとは異なる実行ノードであり、
前記制御ノードは、前記第１実行ノードの障害の発生を検出した場合、前記第２実行ノードに対して、前記第１実行ノードの前記管理情報の情報を送信し、
前記第２実行ノードは、受信した情報が示す前記管理情報における前記未完了の処理から順に、前記第１実行ノードが担当する前記部分処理を実行する、
付記１又は付記２に記載の機械学習システム。

（付記４）
前記複数の実行ノードのそれぞれが実行する前記部分処理は、前記入力データを分割して得られる複数のデータのうちの訓練用データと評価用データとの組み合わせが前記実行ノード間で互いに異なるように前記複数のデータを利用してモデルの機械学習を行なう交差検証処理である、
付記３に記載の機械学習システム。

（付記５）
前記複数の実行ノードのそれぞれが実行する前記部分処理は、前記複数の処理のうちの先頭から１以上の処理が前記複数の実行ノード間で互いに同一であり、
前記第１実行ノードは、前記複数の実行ノードのうちの前記複数の処理を実行する実行ノードであり、
前記第２実行ノードは、前記複数の実行ノードのうちの前記第１実行ノードとは異なる１以上の実行ノードであり、
前記制御ノードは、前記第１実行ノードによる前記先頭から１以上の処理の完了を検出した場合、前記第２実行ノードに対して、前記第１実行ノードの前記管理情報に基づき更新した前記第２実行ノードの前記管理情報の情報を送信し、
前記第２実行ノードは、受信した情報が示す前記管理情報における前記先頭から１以上の処理に続く処理から順に、前記部分処理を実行する、
付記１又は付記２に記載の機械学習システム。

（付記６）
前記複数の実行ノードのそれぞれが実行する前記部分処理は、前記入力データと、前記複数の実行ノード間で互いに異なるパラメータと、を利用して機械学習モデルの最適化を行なうパラメータ最適化処理である、
付記５に記載の機械学習システム。

（付記７）
前記制御ノードは、前記複数の実行ノードのそれぞれによる前記部分処理が完了した場合、前記記憶領域に格納された複数の前記出力データに基づき、前記機械学習処理を実行する、
付記１～付記６のいずれか１項に記載の機械学習システム。

（付記８）
機械学習処理の少なくとも一部分である部分処理をそれぞれが実行する複数の実行ノードと、前記機械学習処理の実行を制御するコンピュータと、前記コンピュータ及び前記複数の実行ノードのそれぞれからアクセス可能な記憶領域と、を備える機械学習システムにおける前記コンピュータに、
前記部分処理の入力データと、前記部分処理に含まれる順序付けられた複数の処理の実行状態を前記実行ノードごとに管理するための管理情報と、を前記記憶領域に格納し、
前記記憶領域に格納された前記入力データ及び前記管理情報に基づく前記部分処理の実行において、前記複数の処理の各々から出力される出力データと、前記複数の処理の各々の実行状態を設定した前記管理情報と、が前記複数の実行ノードのそれぞれにより格納された前記記憶領域を参照し、
前記複数の実行ノードのうちの第１実行ノードの前記管理情報における前記複数の処理の各々の実行状態と、前記記憶領域に格納された前記第１実行ノードの複数の前記出力データとに基づき、前記第１実行ノードにおいて未完了の処理を、前記第１実行ノードとは異なる第２実行ノードに実行させる、
処理を実行させる、機械学習プログラム。

（付記９）
前記管理情報は、前記実行ノードごとに、前記複数の処理の各々の前記出力データの前記記憶領域における格納位置に関する情報と、前記複数の処理の各々の進捗状況を示す情報と、を含む、
付記８に記載の機械学習プログラム。

（付記１０）
前記第１実行ノードは、前記複数の処理のうちのいずれかの処理の実行中に障害が発生した実行ノードであり、
前記第２実行ノードは、前記複数の実行ノードとは異なる実行ノードであり、
前記コンピュータに、
前記第１実行ノードの障害の発生を検出した場合、前記第２実行ノードに対して、前記第１実行ノードの前記管理情報の情報を送信する、
処理を実行させ、
前記第２実行ノードは、受信した情報が示す前記管理情報における前記未完了の処理から順に、前記第１実行ノードが担当する前記部分処理を実行する、
付記８又は付記９に記載の機械学習プログラム。

（付記１１）
前記複数の実行ノードのそれぞれが実行する前記部分処理は、前記入力データを分割して得られる複数のデータのうちの訓練用データと評価用データとの組み合わせが前記実行ノード間で互いに異なるように前記複数のデータを利用してモデルの機械学習を行なう交差検証処理である、
付記１０に記載の機械学習プログラム。

（付記１２）
前記複数の実行ノードのそれぞれが実行する前記部分処理は、前記複数の処理のうちの先頭から１以上の処理が前記複数の実行ノード間で互いに同一であり、
前記第１実行ノードは、前記複数の実行ノードのうちの前記複数の処理を実行する実行ノードであり、
前記第２実行ノードは、前記複数の実行ノードのうちの前記第１実行ノードとは異なる１以上の実行ノードであり、
前記コンピュータに、
前記第１実行ノードによる前記先頭から１以上の処理の完了を検出した場合、前記第２実行ノードに対して、前記第１実行ノードの前記管理情報に基づき更新した前記第２実行ノードの前記管理情報の情報を送信する、
処理を実行させ、
前記第２実行ノードは、受信した情報が示す前記管理情報における前記先頭から１以上の処理に続く処理から順に、前記部分処理を実行する、
付記８又は付記９に記載の機械学習プログラム。

（付記１３）
前記複数の実行ノードのそれぞれが実行する前記部分処理は、前記入力データと、前記複数の実行ノード間で互いに異なるパラメータと、を利用して機械学習モデルの最適化を行なうパラメータ最適化処理である、
付記１２に記載の機械学習プログラム。

（付記１４）
前記コンピュータに、
前記複数の実行ノードのそれぞれによる前記部分処理が完了した場合、前記記憶領域に格納された複数の前記出力データに基づき、前記機械学習処理を実行する、
処理を実行させる、付記８～付記１３のいずれか１項に記載の機械学習プログラム。

（付記１５）
機械学習処理の少なくとも一部分である部分処理をそれぞれが実行する複数の実行ノードと、
前記機械学習処理の実行を制御する制御ノードと、
前記制御ノード及び前記複数の実行ノードのそれぞれからアクセス可能な記憶領域と、を備え、
前記制御ノードは、
前記部分処理の入力データと、前記部分処理に含まれる順序付けられた複数の処理の実行状態を前記実行ノードごとに管理するための管理情報と、を前記記憶領域に格納し、
前記複数の実行ノードのそれぞれは、
前記記憶領域に格納された前記入力データ及び前記管理情報に基づく前記部分処理の実行において、前記複数の処理の各々から出力される出力データと、前記複数の処理の各々の実行状態を設定した前記管理情報と、を前記記憶領域に格納し、
前記制御ノードは、
前記複数の実行ノードのうちの第１実行ノードの前記管理情報における前記複数の処理の各々の実行状態と、前記記憶領域に格納された前記第１実行ノードの複数の前記出力データとに基づき、前記第１実行ノードにおいて未完了の処理を、前記第１実行ノードとは異なる第２実行ノードに実行させる、
機械学習方法。

（付記１６）
前記管理情報は、前記実行ノードごとに、前記複数の処理の各々の前記出力データの前記記憶領域における格納位置に関する情報と、前記複数の処理の各々の進捗状況を示す情報と、を含む、
付記１５に記載の機械学習方法。

（付記１７）
前記第１実行ノードは、前記複数の処理のうちのいずれかの処理の実行中に障害が発生した実行ノードであり、
前記第２実行ノードは、前記複数の実行ノードとは異なる実行ノードであり、
前記制御ノードは、前記第１実行ノードの障害の発生を検出した場合、前記第２実行ノードに対して、前記第１実行ノードの前記管理情報の情報を送信し、
前記第２実行ノードは、受信した情報が示す前記管理情報における前記未完了の処理から順に、前記第１実行ノードが担当する前記部分処理を実行する、
付記１５又は付記１６に記載の機械学習方法。

（付記１８）
前記複数の実行ノードのそれぞれが実行する前記部分処理は、前記入力データを分割して得られる複数のデータのうちの訓練用データと評価用データとの組み合わせが前記実行ノード間で互いに異なるように前記複数のデータを利用してモデルの機械学習を行なう交差検証処理である、
付記１７に記載の機械学習方法。

（付記１９）
前記複数の実行ノードのそれぞれが実行する前記部分処理は、前記複数の処理のうちの先頭から１以上の処理が前記複数の実行ノード間で互いに同一であり、
前記第１実行ノードは、前記複数の実行ノードのうちの前記複数の処理を実行する実行ノードであり、
前記第２実行ノードは、前記複数の実行ノードのうちの前記第１実行ノードとは異なる１以上の実行ノードであり、
前記制御ノードは、前記第１実行ノードによる前記先頭から１以上の処理の完了を検出した場合、前記第２実行ノードに対して、前記第１実行ノードの前記管理情報に基づき更新した前記第２実行ノードの前記管理情報の情報を送信し、
前記第２実行ノードは、受信した情報が示す前記管理情報における前記先頭から１以上の処理に続く処理から順に、前記部分処理を実行する、
付記１５又は付記１６に記載の機械学習方法。

（付記２０）
前記制御ノードは、前記複数の実行ノードのそれぞれによる前記部分処理が完了した場合、前記記憶領域に格納された複数の前記出力データに基づき、前記機械学習処理を実行する、
付記１５～付記１９のいずれか１項に記載の機械学習方法。

１、１’ 機械学習システム
１０ コンピュータ
２、２’ マスタノード
２０Ａ、２０Ａ’ ジョブスケジューラ
２０Ｂ、２０Ｂ’、３０Ｂ コンテナ
２０Ｃ、２０Ｄ タスク
２１、３１ メモリ部
２１ａ 入力データ
２１ｂ 出力データ
２１ｃ 処理済データ
２２、２２’ ジョブ制御部
２３ 異常検出部
２４、２４’ ノード制御部
２５、２５’、３５ 制御部
３ ノード
３０Ａ タスクスケジューラ
３０Ｃ～３０Ｅ サブタスク
３０Ｆ～３０Ｉ データ
３１ａ、４０ 入出力データ
３２ タスク制御部
３３ 進捗管理部
３４ 応答部
４ 共有ストレージ
５ 共有ＤＢ
５０ 進捗管理情報

Claims (7)

1. 機械学習処理の少なくとも一部分である部分処理をそれぞれが実行する複数の実行ノードと、
   前記機械学習処理の実行を制御する制御ノードと、
   前記制御ノード及び前記複数の実行ノードのそれぞれからアクセス可能な記憶領域と、を備え、
   前記制御ノードは、
   前記部分処理の入力データと、前記部分処理に含まれる順序付けられた複数の処理の実行状態を前記実行ノードごとに管理するための管理情報と、を前記記憶領域に格納し、
   前記複数の実行ノードのそれぞれは、
   前記記憶領域に格納された前記入力データ及び前記管理情報に基づく前記部分処理の実行において、前記複数の処理の各々から出力される出力データと、前記複数の処理の各々の実行状態を設定した前記管理情報と、を前記記憶領域に格納し、
   前記制御ノードは、
   前記複数の実行ノードのうちの第１実行ノードの前記管理情報における前記複数の処理の各々の実行状態と、前記記憶領域に格納された前記第１実行ノードの複数の前記出力データとに基づき、前記第１実行ノードにおいて未完了の処理を、前記第１実行ノードとは異なる第２実行ノードに実行させる、
   機械学習システム。
2. 前記管理情報は、前記実行ノードごとに、前記複数の処理の各々の前記出力データの前記記憶領域における格納位置に関する情報と、前記複数の処理の各々の進捗状況を示す情報と、を含む、
   請求項１に記載の機械学習システム。
3. 前記第１実行ノードは、前記複数の処理のうちのいずれかの処理の実行中に障害が発生した実行ノードであり、
   前記第２実行ノードは、前記複数の実行ノードとは異なる実行ノードであり、
   前記制御ノードは、前記第１実行ノードの障害の発生を検出した場合、前記第２実行ノードに対して、前記第１実行ノードの前記管理情報の情報を送信し、
   前記第２実行ノードは、受信した情報が示す前記管理情報における前記未完了の処理から順に、前記第１実行ノードが担当する前記部分処理を実行する、
   請求項１又は請求項２に記載の機械学習システム。
4. 前記複数の実行ノードのそれぞれが実行する前記部分処理は、前記複数の処理のうちの先頭から１以上の処理が前記複数の実行ノード間で互いに同一であり、
   前記第１実行ノードは、前記複数の実行ノードのうちの前記複数の処理を実行する実行ノードであり、
   前記第２実行ノードは、前記複数の実行ノードのうちの前記第１実行ノードとは異なる１以上の実行ノードであり、
   前記制御ノードは、前記第１実行ノードによる前記先頭から１以上の処理の完了を検出した場合、前記第２実行ノードに対して、前記第１実行ノードの前記管理情報に基づき更新した前記第２実行ノードの前記管理情報の情報を送信し、
   前記第２実行ノードは、受信した情報が示す前記管理情報における前記先頭から１以上の処理に続く処理から順に、前記部分処理を実行する、
   請求項１又は請求項２に記載の機械学習システム。
5. 前記制御ノードは、前記複数の実行ノードのそれぞれによる前記部分処理が完了した場合、前記記憶領域に格納された複数の前記出力データに基づき、前記機械学習処理を実行する、
   請求項１～請求項４のいずれか１項に記載の機械学習システム。
6. 機械学習処理の少なくとも一部分である部分処理をそれぞれが実行する複数の実行ノードと、前記機械学習処理の実行を制御するコンピュータと、前記コンピュータ及び前記複数の実行ノードのそれぞれからアクセス可能な記憶領域と、を備える機械学習システムにおける前記コンピュータに、
   前記部分処理の入力データと、前記部分処理に含まれる順序付けられた複数の処理の実行状態を前記実行ノードごとに管理するための管理情報と、を前記記憶領域に格納し、
   前記記憶領域に格納された前記入力データ及び前記管理情報に基づく前記部分処理の実行において、前記複数の処理の各々から出力される出力データと、前記複数の処理の各々の実行状態を設定した前記管理情報と、が前記複数の実行ノードのそれぞれにより格納された前記記憶領域を参照し、
   前記複数の実行ノードのうちの第１実行ノードの前記管理情報における前記複数の処理の各々の実行状態と、前記記憶領域に格納された前記第１実行ノードの複数の前記出力データとに基づき、前記第１実行ノードにおいて未完了の処理を、前記第１実行ノードとは異なる第２実行ノードに実行させる、
   処理を実行させる、機械学習プログラム。
7. 機械学習処理の少なくとも一部分である部分処理をそれぞれが実行する複数の実行ノードと、
   前記機械学習処理の実行を制御する制御ノードと、
   前記制御ノード及び前記複数の実行ノードのそれぞれからアクセス可能な記憶領域と、を備え、
   前記制御ノードは、
   前記部分処理の入力データと、前記部分処理に含まれる順序付けられた複数の処理の実行状態を前記実行ノードごとに管理するための管理情報と、を前記記憶領域に格納し、
   前記複数の実行ノードのそれぞれは、
   前記記憶領域に格納された前記入力データ及び前記管理情報に基づく前記部分処理の実行において、前記複数の処理の各々から出力される出力データと、前記複数の処理の各々の実行状態を設定した前記管理情報と、を前記記憶領域に格納し、
   前記制御ノードは、
   前記複数の実行ノードのうちの第１実行ノードの前記管理情報における前記複数の処理の各々の実行状態と、前記記憶領域に格納された前記第１実行ノードの複数の前記出力データとに基づき、前記第１実行ノードにおいて未完了の処理を、前記第１実行ノードとは異なる第２実行ノードに実行させる、
   機械学習方法。

Images