JP2022532739A - タスクマイグレーション方法、装置、電子機器および記憶媒体 - Google Patents

Abstract

本出願はデータ処理の分野に関するタスクマイグレーション方法、装置、電子機器および記憶媒体を開示する。その中の方法は、ユーザが提出したタスクを取得するステップと、前記タスクがＨａｄｏｏｐタスクであり、タスク変換が必要であると決定された場合、前記タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換するステップと、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出するステップと、を含むことができる。本出願の前記解決策を適用すると、ユーザの作業量を低減し、処理効率などを向上させることができる。【選択図】図１

Description

本出願は、出願日が２０２０年０３月０５日であり、出願番号が２０２０１０１４７１７２７であり、発明の名称が「タスクマイグレーション方法、装置、電子機器および記憶媒体」である中国特許出願の優先権を主張する。
本出願はコンピュータアプリケーション技術に関し、特に、データ処理の分野のタスクマイグレーション方法、装置、電子機器および記憶媒体に関する。

Ｓｐａｒｋモデルの計算力と性能はいずれもＨａｄｏｏｐモデルより優れている。Ｈａｄｏｏｐは、クラスターの威力を十分に利用して高速演算と記憶を行う分散型システムであり、Ｓｐａｒｋは高速で、大容量のデータ処理のための汎用エンジンである。

従来の方式では、多くのオフラインタスクはいずれもＨａｄｏｏｐモデルを使用して作成および実行し、Ｓｐａｒｋモデルの利点を考慮すると、Ｈａｄｏｏｐタスクのマイグレーション、すなわちＨａｄｏｏｐタスクをＳｐａｒｋタスクに変換を実現できることが望まれる。

現在の処理方式では、通常、業務開発者が手動でタスクの変換を行う必要があるが、このような方式は、業務開発者に大きな作業量が必要であり、効率が低い。

これに鑑みて、本出願はタスクマイグレーション方法、装置、電子機器および記憶媒体を提供する。

タスクマイグレーション方法は、
ユーザが提出したタスクを取得するステップと、
前記タスクがＨａｄｏｏｐタスクであり、タスク変換が必要であると決定された場合、前記タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換するステップと、
変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出するステップと、を含む。

本出願の好ましい実施例によれば、前記タスク変換が必要であると決定されるステップは、
サーバに要求することによって前記ユーザが予め作成した配置を取得するステップと、
前記配置に基づいてタスク変換が必要であるか否かを決定するステップと、を含む。

本出願の好ましい実施例によれば、当該方法は、
前記タスクがＨａｄｏｏｐタスクからＳｐａｒｋタスクへの変換を指示するＨａｄｏｏｐ２Ｓｐａｒｋタスクである場合、前記タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換するステップと、
変換結果を予め設定されたツールキットに注入し、前記Ｓｐａｒｋクラスターに提出するステップと、をさらに含む。

本出願の好ましい実施例によれば、当該方法は、
前記タスクがＨａｄｏｏｐタスクであり、タスク変換が不要であると決定された場合、前記タスクをＨａｄｏｏｐクラスターに提出するステップと、
前記タスクがＳｐａｒｋタスクである場合、前記タスクを前記Ｓｐａｒｋクラスターに提出するステップと、をさらに含む。

本出願の好ましい実施例によれば、前記変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出するステップは、
変換結果を予め設定されたツールキットに注入し、ＳｐａｒｋタスクをＳｐａｒｋクラスターに提出するステップを含み、
前記Ｓｐａｒｋタスクは予め設定された処理を経た後に、Ｈａｄｏｏｐロジックと等価なマッピングｍａｐとリデュースｒｅｄｕｃｅ処理を実現する。

タスクマイグレーション装置は、タスク取得ユニットおよびタスク処理ユニットを含み、
前記タスク取得ユニットは、ユーザが提出したタスクを取得するために用いられ、
前記タスク処理ユニットは、前記タスクがＨａｄｏｏｐタスクであり、タスク変換が必要であると決定された場合、前記タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換し、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出するために用いられる。

本出願の好ましい実施例によれば、前記タスク処理ユニットは、サーバに要求することによって前記ユーザが予め作成した配置を取得し、前記配置に基づいてタスク変換が必要であるか否かを決定するために用いられる。

本出願の好ましい実施例によれば、前記タスク処理ユニットは、さらに、前記タスクがＨａｄｏｏｐタスクからＳｐａｒｋタスクへの変換を指示するＨａｄｏｏｐ２Ｓｐａｒｋタスクである場合、前記タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換し、変換結果を予め設定されたツールキットに注入し、前記Ｓｐａｒｋクラスターに提出するために用いられる。

本出願の好ましい実施例によれば、前記タスク処理ユニットは、さらに、前記タスクがＨａｄｏｏｐタスクであり、タスク変換が不要であると決定された場合、前記タスクをＨａｄｏｏｐクラスターに提出し、前記タスクがＳｐａｒｋタスクである場合、前記タスクを前記Ｓｐａｒｋクラスターに提出するために用いられる。

本出願の好ましい実施例によれば、前記タスク処理ユニットは、さらに、変換結果を予め設定されたツールキットに注入し、ＳｐａｒｋタスクをＳｐａｒｋクラスターに提出し、前記Ｓｐａｒｋタスクは予め設定された処理を経た後に、Ｈａｄｏｏｐロジックと等価なマッピングｍａｐとリデュースｒｅｄｕｃｅ処理を実現するために用いられる。

電子機器では、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されたメモリと、を含み、
前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが上記に記載の方法を実行することができる。

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体では、前記コンピュータ命令は、前記コンピュータに上記に記載の方法を実行させる。

上記の出願の一つの実施例は以下のような利点または有益な効果を有する。ユーザが提出したＨａｄｏｏｐタスクをＳｐａｒｋタスクに直接に変換することができるため、ユーザがゼロコストのタスクマイグレーションを実現することができ、さらに、ユーザの作業量を低減し、処理効率を向上させることができ、また、ユーザが自分のニーズに基づいてタスク変換を行うか否かを柔軟に配置することができ、ユーザの異なるシナリオのニーズなどを満たすことができ、また、計算力がより強く、性能がより良いＳｐａｒｋモデルを使用してｍａｐとｒｅｄｕｃｅ処理を完成することができ、ユーザのオフライン計算ニーズなどをより良く満たすことができ、また、タスク変換が不要であるＨａｄｏｏｐタスクおよびＳｐａｒｋタスクなどの既存の他のタスクの処理に影響を与えず、良好な互換性などを有する。上記選択可能な方式が有する他の効果は、以下で具体的な実施例を併せて説明する。

図面は、本出願をより良く理解するためのものであり、本出願を限定しない。
本出願の前記タスクマイグレーション方法の第１の実施例のフローチャートである。 本出願の前記タスクマイグレーション方法の第２の実施例のフローチャートである。 本出願の前記提出されたＳｐａｒｋタスクの処理プロセスの概略図である。 本出願の前記タスクマイグレーション装置４００の実施例の構成の構造概略図である。 本出願の実施例の前記方法に係る電子機器のブロック図。

以下、図面に基づいて、本出願の例示のな実施例を表現する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の表現では、よく知られた機能と構造の表現は省略される。

また、本明細書の用語「及び／又は」は、関連対象の関連関係のみを説明するものであり、３種類の関係が存在可能であることを表し、例えば、Ａ及び／又はＢは、Ａのみが存在するか、Ａ及びＢが同時に存在するか、Ｂのみが存在するという３つの場合を表すことができる。符号「／」は、一般的に前後の関連対象が「又は」の関係であることを表すことを理解されたい。

図１は本出願の前記タスクマイグレーション方法の第１の実施例のフローチャートである。図１に示すように、以下の具体的な実現方式を含む。

１０１では、ユーザが提出したタスクを取得する。

１０２では、前記タスクがＨａｄｏｏｐタスクであり、タスク変換が必要であると決定された場合、タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換する。

１０３では、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出する。

本実施例では、ユーザ（例えば、業務開発者）が提出したタスクを取得した後に、まず、タスクのタイプを決定することができ、Ｈａｄｏｏｐタスクである場合、さらに、タスク変換が必要であるか否かを決定することができる。既存の処理方式に従って、ユーザがオフラインタスクのクライアントを使用してＨａｄｏｏｐタスクを提出した後に、Ｈａｄｏｏｐクラスターに直接に提出することができるが、本実施例では、クライアントはユーザが提出したＨａｄｏｏｐタスクを傍受し、さらに、タスク変換が必要であるか否かを決定する。

好ましい実現方式として、クライアントは、サーバに要求することによってユーザが予め作成した配置を取得し、前記配置に基づいてタスク変換が必要であるか否かを決定することができる。例えば、サーバに要求してＳｐａｒｋ方式で実行するかどうかのフラグビットを取得することができ、当該タスクが管理プラットフォームでＳｐａｒｋ方式で実行するようにユーザによって選択されることを当該フラグビットが表示した場合、タスク変換が必要であると決定され、それ以外の場合、タスク変換が不要であると決定される。

したがって、タスク変換が必要であると決定された場合、Ｈａｄｏｏｐタスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換することができる。すなわちクライアントは傍受されたＨａｄｏｏｐタスクを解析し、Ｈａｄｏｏｐ命令をＳｐａｒｋ命令に変換することができる。具体的な変換方式は、設定の変換規則に従って変換するなどのように、予め設定することができる。

その後、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出することができる。好ましい実現方式として、前記ツールキットはｍｒｔｏｏｌｓ．ｊａｒツールキットであってもよい。ｍｒｔｏｏｌｓ．ｊａｒツールキットをＳｐａｒｋ ａｐｐとして、ＳｐａｒｋタスクをＳｐａｒｋクラスターに提出することができる。

Ｓｐａｒｋクラスターに提出するＳｐａｒｋタスクは予め設定された処理を経た後に、Ｈａｄｏｏｐロジックと等価なマッピング（ｍａｐ）よリデュース（ｒｅｄｕｃｅ）処理を実現する。

具体的には、Ｓｐａｒｋクラスターに到着するツールキットは、Ｓｐａｒｋコンテキスト（ｃｏｎｔｅｘｔ）を初期化することを担当することができ、先後にｍａｐ段階のＨａｄｏｏｐストリーミング（ＨａｄｏｏｐＳｔｒｅａｍｉｎｇ）演算子、シャッフル（ｓｈｕｆｆｌｅ）段階の再パーティションおよびパーティション内でソート（ｒｅｐａｒｔｉｔｉｏｎＡｎｄＳｏｒｔＷｉｔｈｉｎＰａｒｔｉｔｉｏｎｓ）演算子およびｒｅｄｕｃｅ段階のＨａｄｏｏｐＳｔｒｅａｍｉｎｇ演算子などを経て、Ｈａｄｏｏｐロジックと等価なｍａｐとｒｅｄｕｃｅ処理を実現する。Ｓｐａｒｋモデルは特有のメモリモデル和Ｋｒｙｏシリアル化などの方式を使用して、中央処理装置（ＣＰＵ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の計算をより速く、より節約することを実現することができる。

以上の説明から分かるように、本実施例の前記方法では、ユーザが提出したＨａｄｏｏｐタスクをＳｐａｒｋタスクに直接に変換することができるため、ユーザがゼロコストのタスクマイグレーションを実現することができ、さらに、ユーザの作業量を低減し、処理効率を向上させることができ、また、ユーザが自分のニーズに基づいてタスク変換を行うか否かを柔軟に配置することができ、ユーザの異なるシナリオのニーズなどを満たすことができ、また、計算力がより強く、性能がより良いＳｐａｒｋモデルを使用してｍａｐとｒｅｄｕｃｅ処理を完成することができ、ユーザのオフライン計算ニーズなどをより良く満たすことができる。

ユーザが提出したタスクは、Ｈａｄｏｏｐタスク以外に、ＨａｄｏｏｐタスクからＳｐａｒｋタスクに変換するＨａｄｏｏｐ２ＳｐａｒｋタスクおよびＳｐａｒｋタスクなどであってもよい。

以上の説明されたことは、いずれも、ユーザが提出したタスクがＨａｄｏｏｐタスクであり、タスク変換が必要であると決定された場合の処理方式である。ユーザが提出したタスクがＨａｄｏｏｐタスクであり、タスク変換が不要であると決定された場合、直接にタスクをＨａｄｏｏｐクラスターに提出することができる。ユーザが提出したタスクがＳｐａｒｋタスクである場合、直接にタスクをＳｐａｒｋクラスターに提出することができる。

ユーザが提出したタスクがＨａｄｏｏｐ２Ｓｐａｒｋタスクである場合、タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換し、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出することができる。Ｈａｄｏｏｐ２ＳｐａｒｋタスクはＨａｄｏｏｐタスクからＳｐａｒｋタスクへ変換を指示するタスクであるため、サーバに要求することによってユーザが予め作成した配置を取得し、前記配置に基づいてタスク変換が必要であるか否かを決定するの処理を実行する必要がない。前述したように、好ましい実現方式として、前記ツールキットはｍｒｔｏｏｌｓ．ｊａｒツールキットであってもよい。ｍｒｔｏｏｌｓ．ｊａｒツールキットをＳｐａｒｋ ａｐｐとして、ＳｐａｒｋタスクをＳｐａｒｋクラスターに提出することができる。Ｓｐａｒｋクラスターに提出するＳｐａｒｋタスクは予め設定された処理を経た後に、Ｈａｄｏｏｐロジックと等価なｍａｐとｒｅｄｕｃｅ処理を実現することができる。

以上の説明から分かるように、本実施例の前記方法はタスク変換が不要であるＨａｄｏｏｐタスクおよびＳｐａｒｋタスクなどの既存の他のタスクの処理に影響を与えず、良好な互換性などを有する。

上記の説明を総合すると、図２は本出願の前記タスクマイグレーション方法の第２の実施例のフローチャートである。図２に示すように、以下の具体的な実現方式を含む。

２０１では、ユーザが提出したタスクを取得する。

ユーザが予めサーバの管理プラットフォームに登録およびタスク配置などを行うことができ、例えば、管理プラットフォームにＨａｄｏｏｐタスクをＳｐａｒｋ方式で実行するように選択することができる。

また、ユーザは実際のニーズに応じて、Ｈａｄｏｏｐタスク、Ｈａｄｏｏｐ２ＳｐａｒｋおよびＳｐａｒｋタスクを含むなど、異なるタイプのタスクを提出することができる。

２０２では、ユーザが提出したタスクのタイプを決定し、Ｓｐａｒｋタスクである場合、２０３を実行し、Ｈａｄｏｏｐタスクである場合、２０４を実行し、Ｈａｄｏｏｐ２Ｓｐａｒｋである場合、２０７を実行する。

２０３では、タスクをＳｐａｒｋクラスターに提出し、その後にプロセスを終了する。

ユーザが提出したＳｐａｒｋタスクについて、既存の方式でＳｐａｒｋクラスターに提出することができる。

２０４では、サーバに要求することによってユーザが予め作成した配置を取得する。

２０５では、前記配置に基づいてタスク変換が必要であるか否かを決定し、そうでない場合、２０６を実行し、そうである場合、２０７を実行する。

例えば、サーバに要求してＳｐａｒｋ方式で実行するかどうかのフラグビットを取得することができ、当該タスクが管理プラットフォームでＳｐａｒｋ方式で実行するようにユーザによって選択されることを当該フラグビットが表示した場合、タスク変換が必要であると決定され、それ以外の場合、タスク変換が不要であると決定される。

２０６では、タスクをＨａｄｏｏｐクラスターに提出し、その後にプロセスを終了する。

ユーザが提出したＨａｄｏｏｐタスクについて、タスク変換が不要であると決定された場合、既存の方式でＨａｄｏｏｐクラスターに提出することができる。

２０７では、タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換する。

２０８では、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出し、その後にプロセスを終了する。

変換結果を予め設定されたツールキットに注入し、ＳｐａｒｋタスクをＳｐａｒｋクラスターに提出することができる。前記ツールキットはｍｒｔｏｏｌｓ．ｊａｒツールキットであってもよい、ｍｒｔｏｏｌｓ．ｊａｒツールキットをＳｐａｒｋ ａｐｐとして、ＳｐａｒｋタスクをＳｐａｒｋクラスターに提出することができる。

Ｓｐａｒｋクラスターに提出するＳｐａｒｋタスクは予め設定された処理を経た後に、Ｈａｄｏｏｐロジックと等価なｍａｐとｒｅｄｕｃｅ処理を実現する。

図３は本出願の前記提出されたＳｐａｒｋタスクの処理プロセスの概略図である。図３に示すように、Ｓｐａｒｋクラスターに到着するツールキットは、Ｓｐａｒｋコンテキストを初期化することを担当することができ、先後にｍａｐ段階のＨａｄｏｏｐＳｔｒｅａｍｉｎｇ演算子、ｓｈｕｆｆｌｅ段階のｒｅｐａｒｔｉｔｉｏｎＡｎｄＳｏｒｔＷｉｔｈｉｎＰａｒｔｉｔｉｏｎｓ演算子和ｒｅｄｕｃｅ段階のＨａｄｏｏｐＳｔｒｅａｍｉｎｇ演算子などを経て、Ｈａｄｏｏｐロジックと等価なｍａｐとｒｅｄｕｃｅ処理を実現し、すなわちタスクの出力とＨａｄｏｏｐクラスター中のタスクの出力は同じであり、最終的に取得された結果を出力する。

なお、前述の各方法の実施例について、簡単に説明するために、それらを一連の動作の組み合わせとして表現するが、当業者は、本出願が説明された動作の順次によって制限されないことを理解することができるため、本出願に基づいて、いくつかのステップは、他の順次または同時に行うことができる。次に、当業者は、明細書に説明された実施例がいずれも好ましい実施例に属し、関する動作とモジュールが必ずも本出願に必修ではないことを理解することができる。

上記の実施例では、各実施例に対する説明はそれ自体に重点があり、ある実施例に詳細に説明されてない部分は、他の実施例の関連説明を参照することができる。

つまり、本出願方法の実施例の前記解決策を採用し、ユーザが提出したＨａｄｏｏｐタスクをＳｐａｒｋタスクに直接に変換することができるため、ユーザがゼロコストのタスクマイグレーションを実現することができ、さらに、ユーザの作業量を低減し、処理効率を向上させることができ、また、ユーザが自分のニーズに基づいてタスク変換を行うか否かを柔軟に配置することができ、ユーザの異なるシナリオのニーズなどを満たすことができ、また、計算力がより強く、性能がより良いＳｐａｒｋモデルを使用してｍａｐとｒｅｄｕｃｅ処理を完成することができ、ユーザのオフライン計算ニーズなどをより良く満たすことができ、また、タスク変換が不要であるＨａｄｏｏｐタスクおよびＳｐａｒｋタスクなどの既存の他のタスクの処理に影響を与えず、良好な互換性などを有する。

以上は方法の実施例に関する説明であり、以下は、装置の実施例によって、本出願の前記解決策についてさらに説明する。

図４は本出願の前記タスクマイグレーション装置４００の実施例の構成構造概略図である。図４に示すように、タスク取得ユニット４０１およびタスク処理ユニット４０２を含む。

タスク取得ユニット４０１は、ユーザが提出したタスクを取得するために用いられる。

タスク処理ユニット４０２は、取得されたタスクがＨａｄｏｏｐタスクであり、タスク変換が必要であると決定された場合、タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換し、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出するために用いられる。

好ましい実現方式として、タスク処理ユニット４０２はサーバに要求することによってユーザが予め作成した配置を取得し、前記配置に基づいてタスク変換が必要であるか否かを決定することができる。例えば、サーバに要求してＳｐａｒｋ方式で実行するかどうかのフラグビットを取得することができ、当該タスクが管理プラットフォームでＳｐａｒｋ方式で実行するようにユーザによって選択されることを当該フラグビットが表示した場合、タスク変換が必要であると決定され、それ以外の場合、タスク変換が不要であると決定される。

したがって、タスク変換が必要であると決定された場合、タスク処理ユニット４０２は、Ｈａｄｏｏｐタスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換することができる。

その後、タスク処理ユニット４０２は、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出することができる。好ましい実現方式として、前記ツールキットはｍｒｔｏｏｌｓ．ｊａｒツールキットであってもよい。ｍｒｔｏｏｌｓ．ｊａｒツールキットをＳｐａｒｋ ａｐｐとして、ＳｐａｒｋタスクをＳｐａｒｋクラスターに提出することができる。Ｓｐａｒｋクラスターに提出するＳｐａｒｋタスクは予め設定された処理を経た後に、Ｈａｄｏｏｐロジックと等価なｍａｐとｒｅｄｕｃｅ処理を実現する。

具体的には、Ｓｐａｒｋクラスターに到着するツールキットは、Ｓｐａｒｋコンテキストを初期化することを担当することができ、先後にｍａｐ段階のＨａｄｏｏｐＳｔｒｅａｍｉｎｇ演算子、ｓｈｕｆｆｌｅ段階のｒｅｐａｒｔｉｔｉｏｎＡｎｄＳｏｒｔＷｉｔｈｉｎＰａｒｔｉｔｉｏｎｓ演算子和ｒｅｄｕｃｅ段階のＨａｄｏｏｐＳｔｒｅａｍｉｎｇ演算子などを経て、Ｈａｄｏｏｐロジックと等価なｍａｐとｒｅｄｕｃｅ処理を実現する。

ユーザが提出したタスクは、Ｈａｄｏｏｐタスク以外に、ＨａｄｏｏｐタスクからＳｐａｒｋタスクに変換するＨａｄｏｏｐ２ＳｐａｒｋタスクおよびＳｐａｒｋタスクなどであってもよい。

ユーザが提出したタスクがＨａｄｏｏｐ２Ｓｐａｒｋタスクである場合、タスク処理ユニット４０２はタスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換し、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出することができる。

ユーザが提出したタスクがＨａｄｏｏｐタスクであり、タスク変換が不要であると決定された場合、タスク処理ユニット４０２は、タスクをＨａｄｏｏｐクラスターに提出することができる。ユーザが提出したタスクがＳｐａｒｋタスクである場合、タスク処理ユニット４０２はタスクをＳｐａｒｋクラスターに提出することができる。

図４に示す装置の実施例の具体的な作業プロセスは前述方法の実施例の関連説明を参照し、ここでは省略する。

つまり、本出願装置の実施例の前記解決策を採用し、ユーザが提出したＨａｄｏｏｐタスクをＳｐａｒｋタスクに直接に変換することができるため、ユーザがゼロコストのタスクマイグレーションを実現することができ、さらに、ユーザの作業量を低減し、処理効率を向上させることができ、また、ユーザが自分のニーズに基づいてタスク変換を行うか否かを柔軟に配置することができ、ユーザの異なるシナリオのニーズなどを満たすことができ、また、計算力がより強く、性能がより良いＳｐａｒｋモデルを使用してｍａｐとｒｅｄｕｃｅ処理を完成することができ、ユーザのオフライン計算ニーズなどをより良く満たすことができ、また、タスク変換が不要であるＨａｄｏｏｐタスクおよびＳｐａｒｋタスクなどの既存の他のタスクの処理に影響を与えず、良好な互換性などを有する。

本出願の実施例によれば、本出願は電子機器および読み取り可能な記憶媒体をさらに提供する。

図５に示すように、それは本出願の実施例の前記方法に係る電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

図５に示すように、当該電子機器は、一つ又は複数のプロセッサＹ０１と、メモリＹ０２と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に基づいて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施方式では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、部分的な必要な操作（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図５では、一つのプロセッサＹ０１を例とする。

メモリＹ０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中、前記メモリには、少なくとも一つのプロセッサによって実行される命令を記憶して、前記少なくとも一つのプロセッサが本出願により提供される前記方法を実行することができるようにする。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータが本出願により提供される前記方法を実行するためのコンピュータ命令を記憶する。

メモリＹ０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例における前記方法に対応するプログラム命令／モジュールように、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられる。プロセッサＹ０１は、メモリＹ０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の方法の実施例における前記方法を実現する。

メモリＹ０２は、ストレージプログラム領域とストレージデータ領域とを含むことができ、その中、ストレージプログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータ領域は、電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリＹ０２は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも一つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリＹ０２は、プロセッサＹ０１に対して遠隔に設置されたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介して電子機器に接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定しない。

電子機器は、入力装置Ｙ０３と出力装置Ｙ０４とをさらに含むことができる。プロセッサＹ０１、メモリＹ０２、入力装置Ｙ０３、及び出力装置Ｙ０４は、バス又は他の方式を介して接続することができ、図５では、バスを介して接続することを例とする。

入力装置Ｙ０３は、入力された数字又は文字情報を受信することができ、及び前記方法を実現する電子機器のユーザ設置及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、指示杆、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置Ｙ０４は、ディスプレイデバイス、補助照明デバイス、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ、発光ダイオードディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定しない。いくつかの実施方式では、ディスプレイデバイスは、タッチスクリーンであってもよい。

本明細書で説明されるシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、特定用途向け集積回路、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令、高レベルのプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することを含む。本明細書に使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイ）を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、陰極線管又は液晶ディスプレイモニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、ブロックチェーンネットワークと、インターネットとを含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。

上記に示される様々な形式のプロセスを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

上記の具体的な実施方式は、本出願に対する保護範囲の制限を構成するものではない。当業者は、設計要求と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれなければならない。

Claims (12)

1. タスクマイグレーション方法であって、
   ユーザが提出したタスクを取得するステップと、
   前記タスクがＨａｄｏｏｐタスクであり、タスク変換が必要であると決定された場合、前記タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換するステップと、
   変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出するステップと、を含む、
   タスクマイグレーション方法。
2. 前記タスク変換が必要であると決定されるステップは、
   サーバに要求することによって前記ユーザが予め作成した配置を取得するステップと、
   前記配置に基づいてタスク変換が必要であるか否かを決定するステップと、を含む、
   請求項１に記載のタスクマイグレーション方法。
3. 当該方法は、
   前記タスクがＨａｄｏｏｐタスクからＳｐａｒｋタスクへの変換を指示するＨａｄｏｏｐ２Ｓｐａｒｋタスクである場合、前記タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換するステップと、
   変換結果を予め設定されたツールキットに注入し、前記Ｓｐａｒｋクラスターに提出するステップと、をさらに含む、
   請求項１に記載のタスクマイグレーション方法。
4. 当該方法は、
   前記タスクがＨａｄｏｏｐタスクであり、タスク変換が不要であると決定された場合、前記タスクをＨａｄｏｏｐクラスターに提出するステップと、
   前記タスクがＳｐａｒｋタスクである場合、前記タスクを前記Ｓｐａｒｋクラスターに提出するステップと、をさらに含む、
   請求項１に記載のタスクマイグレーション方法。
5. 前記変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出するステップは、
   変換結果を予め設定されたツールキットに注入し、ＳｐａｒｋタスクをＳｐａｒｋクラスターに提出するステップを含み、
   前記Ｓｐａｒｋタスクは予め設定された処理を経た後に、Ｈａｄｏｏｐロジックと等価なマッピング（ｍａｐ）とリデュース（ｒｅｄｕｃｅ）処理を実現する、
   請求項１に記載のタスクマイグレーション方法。
6. タスクマイグレーション装置であって、
   タスク取得ユニットおよびタスク処理ユニットを含み、
   前記タスク取得ユニットは、ユーザが提出したタスクを取得するために用いられ、
   前記タスク処理ユニットは、前記タスクがＨａｄｏｏｐタスクであり、タスク変換が必要であると決定された場合、前記タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換し、変換結果を予め設定されたツールキットに注入し、Ｓｐａｒｋクラスターに提出するために用いられる、
   タスクマイグレーション装置。
7. 前記タスク処理ユニットは、サーバに要求することによって前記ユーザが予め作成した配置を取得し、前記配置に基づいてタスク変換が必要であるか否かを決定するために用いられる、
   請求項６に記載のタスクマイグレーション装置。
8. 前記タスク処理ユニットは、さらに、前記タスクがＨａｄｏｏｐタスクからＳｐａｒｋタスクへの変換を指示するＨａｄｏｏｐ２Ｓｐａｒｋタスクである場合、前記タスク中のＨａｄｏｏｐパラメータをＳｐａｒｋで認識可能なパラメータに変換し、変換結果を予め設定されたツールキットに注入し、前記Ｓｐａｒｋクラスターに提出するために用いられる、
   請求項６に記載のタスクマイグレーション装置。
9. 前記タスク処理ユニットは、さらに、前記タスクがＨａｄｏｏｐタスクであり、タスク変換が不要であると決定された場合、前記タスクをＨａｄｏｏｐクラスターに提出し、前記タスクがＳｐａｒｋタスクである場合、前記タスクを前記Ｓｐａｒｋクラスターに提出するために用いられる、
   請求項６に記載のタスクマイグレーション装置。
10. 前記タスク処理ユニットは、さらに、変換結果を予め設定されたツールキットに注入し、ＳｐａｒｋタスクをＳｐａｒｋクラスターに提出し、前記Ｓｐａｒｋタスクは予め設定された処理を経た後に、Ｈａｄｏｏｐロジックと等価なマッピング（ｍａｐ）とリデュース（ｒｅｄｕｃｅ）処理を実現するために用いられる、
    請求項６に記載のタスクマイグレーション装置。
11. 電子機器であって、
    少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサに通信接続されたメモリと、を含み、
    前記メモリに前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサにより実行されると、前記少なくとも一つのプロセッサが請求項１～５のいずれかの一つに記載の方法を実行する、
    電子機器。
12. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、前記コンピュータに請求項１～５のいずれかの一つに記載の方法を実行させる、
    コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体。

Images