JP2011103106A - ジョブ管理計算機、及び、ジョブ管理方法 - Google Patents

ジョブ管理計算機、及び、ジョブ管理方法 Download PDF

Info

Publication number
JP2011103106A
JP2011103106A JP2009258724A JP2009258724A JP2011103106A JP 2011103106 A JP2011103106 A JP 2011103106A JP 2009258724 A JP2009258724 A JP 2009258724A JP 2009258724 A JP2009258724 A JP 2009258724A JP 2011103106 A JP2011103106 A JP 2011103106A
Authority
JP
Japan
Prior art keywords
file
data
information
job management
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009258724A
Other languages
English (en)
Inventor
Hideaki Abe
秀彰 阿部
Masaaki Hosouchi
昌明 細内
Tetsushi Tsukamoto
哲史 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009258724A priority Critical patent/JP2011103106A/ja
Publication of JP2011103106A publication Critical patent/JP2011103106A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】既存システムにおけるプログラムをグリッド・コンピューティング環境へ移行する際の、プログラムの変更を低減する。
【解決手段】複数のデータを含む複数のファイルの各々を、複数のグリッドコンピュータに配置することによって、前記ファイルを処理するジョブを前記グリッドコンピュータに実行させる、ジョブ管理計算機であって、前記ファイルは、前記複数のデータのデータ形式を含み、前記ジョブ管理計算機は、一つの前記ジョブが処理する第1の前記ファイルを取得し、前記第1のファイルに含まれる前記複数のデータを、種別毎に分割し、前記分割されたデータに、前記第1のファイルに含まれる前記データ形式を付加することによって、複数の第2の前記ファイルを作成し、前記作成された複数の第2のファイルを、前記グリッドコンピュータに実行させるために配置する。
【選択図】図1

Description

本発明は、ジョブ管理計算機に関し、特に、グリッド・コンピューティング環境へのジョブの移行におけるジョブ管理計算機に関する。
社会インフラを構築する基幹系システムの中には、数百万件の個別データを、ループ構造を持つ更新プログラムによって長時間処理するジョブが存在する。従来は、このようなジョブは、メインフレームと呼ばれる計算機によって処理されていた。しかし、近年ではジョブが処理する重要なプログラムを、オープン環境においても実行できるように移行する場合が多い。そして、この移行に際し、ジョブの処理を高速化させることによって、ジョブを短時間で完了させる方法が考えられている。ジョブを短時間で完了させる方法には、安価な計算機を多数並べたグリッド・コンピューティング環境を利用し、このグリッド・コンピューティング環境下で、実行するジョブの多重度を上げる方法がある(例えば、特許文献1参照)。
特開2007−102789号公報
従来のグリッド・コンピューティング環境を管理する方法には、データ・レコード(以下、ファイルと記載)を定期的にデータ・リポジトリに記憶したり、データ・リポジトリを複数の分散データ・リポジトリに分割したりする方法がある。しかし、これらの従来の方法は、既存のプログラムを極力変更せずに、プログラムをグリッド・コンピューティング環境へスムーズに移行するためのファイルの分割方法が考慮されていない。
従来技術を用いた場合、プログラムの実行環境を変える際に、ファイルへのアクセス方法及びジョブの起動方法等が異なるために、プログラムを変更する必要があった。特に多重することなく実行されていたジョブの多重度を上げるために、ファイルも多重度に合わせて分割する必要がある。しかし、ファイルを無条件に分割するとデータ形式情報が変わるために既存のプログラムの改造が必要になる。
また、グリッド・コンピューティング環境において、ジョブを多重化させる際に、分割されたファイルが確実に実行されたことをスケジュール管理するために、多重化された個々のジョブと分割後のファイルを関連付けて管理する必要がある。
本発明の代表的な一形態によると、複数のデータを含む複数のファイルの各々を、複数のグリッドコンピュータに配置することによって、前記ファイルを処理するジョブを前記グリッドコンピュータに実行させる、ジョブ管理計算機であって、前記ファイルは、前記複数のデータのデータ形式を含み、前記ジョブ管理計算機は、一つの前記ジョブが処理する第1の前記ファイルを取得し、前記第1のファイルに含まれる前記複数のデータを、種別毎に分割し、前記分割されたデータに、前記第1のファイルに含まれる前記データ形式を付加することによって、複数の第2の前記ファイルを作成し、前記作成された複数の第2のファイルを、前記グリッドコンピュータに実行させるために配置する。
本発明の一実施形態によると、プログラムを変更せずに、ファイルをグリッド・コンピューティングに移行できる。
本発明の実施形態の分割される前後のファイルを示す説明図である。 本発明の実施形態のグリッド・コンピューティング環境の構成を示すブロック図である。 本発明の実施形態の移行元システムから移行先システムへのファイル移行を示す説明図である。 本発明の実施形態のファイル及びデータ形式情報の移行処理を示すフローチャートである。 本発明の実施形態のファイルを示す説明図である。 本発明の実施形態のファイルの具体例を示す説明図である。 本発明の実施形態のファイルを店情報毎に分割した場合を示す説明図である。 本発明の実施形態のファイルを店情報毎に分割した場合の具体例を示す説明図である。 本発明の実施形態のファイルを口座情報毎に分割した場合を示す説明図である。 本発明の実施形態のファイルを口座情報毎に分割した場合の具体例を示す説明図である。 本発明の実施形態のファイル分割処理を示すフローチャートである。 本発明の実施形態のファイル配置処理を示すフローチャートである。 本発明の実施形態の分割されたファイルと、実行サーバと、ジョブとを含むファイル配置管理テーブルを示す。
本発明の概要を以下に説明する。
課題を解決するために、本発明では、移行前のシステムから移行先のシステムであるグリッド・コンピューティング環境へファイルを移行する際に、移行前のデータ形式を示す情報も一緒にファイルに取り込み、グリッド・コンピューティング環境において取り込まれたデータ形式情報と分割すべき検索情報とを入力して、データ形式情報と検索条件とによって分割すべきファイルを検索する。さらに、本発明では、検索条件を満たしたデータは別ファイルに出力され、データ形式情報をヘッダとして付加され、新規なファイルが作成される。
本発明は、前述の構成によって、分割後のファイルのデータ形式が分割前のデータ形式と同じになり、かつファイル間でデータ形式を統一でき、既存のプログラムの改造を極力抑えられる。そして、本発明は、グリッド・コンピューティング環境へのスムーズな移行を実現可能とするファイル分割を特徴とする。
また、分割した際に作成されるファイルのファイル名称を所定の名称規則によって決めることによって、ファイル名称が一意に決まる。この結果、グリッド・コンピューティング環境において、ジョブを多重化させる際に、分割後のファイルと多重化したジョブを1対1に対応付けてスケジュール管理することを容易にする。
本発明の具体的な実施形態を以下に説明する。
図1は、本発明の実施形態の分割される前後のファイルを示す説明図である。
図1に示すファイル110は、本発明による分割前のファイルである。ファイル110は、データ形式情報301と、データ302と、end部とを含む。データ302には、複数のデータが格納され、データ形式情報301は、データ302に格納されたデータの形式を示す。end部は、ファイル110におけるデータの末尾を示す。
メインフレーム等の計算機は、ファイル110を読み込み、ファイル110内に含まれるデータ302を引数として、ジョブに含まれるプログラムを実行する。
ファイル110は、分割後に、ファイル1(113)、ファイル2(114)、・・・、及びファイルn(115)となる。nは、正の整数であり、分割数である。以後において、ファイル1(113)、ファイル2(114)、・・・、及びファイルn(115)を、総称してファイルnと記載する。
ファイルnには、ファイル110のデータ形式情報301と同じデータ形式情報が各々付加される。ファイル1(113)、ファイル2(114)、・・・、及びファイルn(115)には、データ形式情報301が各々付加され、データ302が分割されたデータ3021、データ3022、・・・、及びデータ302nが含まれる。以後において、分割されたファイルnにおけるデータ形式情報をデータ形式情報301n、データをデータ302nと記載する。
なお、分割されたファイルnには、一意なファイル名称も付加される。そのため、前述のような分割方法によって、本発明は、多重化したジョブのスケジュール管理を容易にすることができる。
図2は、本発明の実施形態のグリッド・コンピューティング環境の構成を示すブロック図である。
本発明のグリッド・コンピューティング環境は、グリッド環境システム100と、外部記憶装置102と、複数の実行サーバ101と、通信路109とを備える。通信路109は、グリッド管理システム100と実行サーバ101とを接続し、LAN、WAN、又はインターネットのいずれのネットワークであってもよい。
グリッド管理システム100は、CPU116と主記憶装置119と入出力インタフェース107と通信インタフェース108とを備える計算機である。なお、管理者が後述する検索情報112を入力するためのキーボード又はマウスなどの入力装置を備えてもよく、ファイルの分割結果などを確認するためのディスプレイ又はプリンタなどの出力装置を備えてもよい。
グリッド管理システム100は、入出力インタフェース107を介して、外部記憶装置102とデータを送受信する。また、グリッド管理システム100は、通信インタフェース108、通信路109、及び、実行サーバ101に備わる通信インタフェース117を介して、実行サーバ101と通信する。なお、外部記憶装置102は、グリッド環境システム100に備わる記憶装置であってもよい。
実行サーバ101は、グリッド管理システム100と同じく、CPU118と、主記憶装置121と、入出力インターフェース120と、通信インタフェース117とを備える計算機である。入出力インタフェース120を介して外部記憶装置102とデータを送受信する。実行サーバ101は、複数存在し、各々がグリッド管理システム100、及び外部記憶装置102と接続される。実行サーバ101は、グリッド管理システム100と同じく、グリッド・コンピューティング環境である。
グリッド管理システム100における主記憶装置119には、変換制御モジュール205、ファイル分割モジュール103、ファイル配置モジュール104、及びジョブスケジュールモジュール105と、ファイル配置管理テーブル106が格納される。各モジュールは、CPU116によって実行される。また、ファイル配置管理テーブル106は、テーブル形式であり、ファイル配置モジュール104及びジョブスケジュールモジュール105によって、参照及び更新される。
主記憶装置119の変換制御モジュール205は、後述するように、グリッド管理システム100に転送されたファイルを、グリッド管理システム100に対応するように変換する。ファイル分割モジュール103は、後述するファイルを分割する処理を実行するモジュールである。ファイル配置モジュール104は、後述するファイルを実行サーバ101に配置するモジュールである。ジョブスケジュールモジュール105は、実行サーバ101に配置されたファイルの実行をスケジュールするモジュールである。ファイル配置管理テーブル106は、ファイル配置モジュール104又はジョブスケジュールモジュール105によって更新される。
外部記憶装置102には、ファイル110、データ形式情報111、検索情報112、及びファイルn(ファイル1(113)、ファイル2(114)、・・・、ファイルn(115))が格納される。検索情報112は、ファイル分割モジュール103によって読み出される。なお、データ形式情報111は、ファイル110のデータ形式を示し、図1に示すデータ形式情報301と同じ値を示すファイルである。
外部記憶装置102に格納される検索情報112は、キーと、種別情報と、ファイル名称規則とを含む。検索情報112は、グリッド管理システム100の管理者によって、あらかじめ格納される。
検索情報112におけるキー及び種別情報は、ファイル110を分割するための情報であり、データ302をどの種別毎に分割するかを示す。分割する具体的な手順は、後述する。
ファイル名称規則は、分割されたファイルnの各々に付されるファイル名称の規則を示す。ファイル名称の規則は、例えば、1回の分割作業において、一意なファイル名称を定める規則でもよい。また、例えば、一月などの一定期間において、一意なファイル名称を定める規則でもよい。
図3は、本発明の実施形態の移行元システムから移行先システムへのファイル移行を示す説明図である。
図3に示すシステムA200は、CPU204とメモリとを備える計算機であり、外部記憶装置201と接続される。また、システムA200とグリッド管理システム100とは、通信路208を介して接続される。通信路208は、LAN、WAN、又はインターネットのいずれのネットワークであってもよい。システムA200は、ファイルの移行元のシステムであり、例えば、メインフレームである。グリッド管理システム100は、ファイルの移行先のシステムであり、例えば、オープン環境によって実装された計算機である。
システムA200は、ファイル202に含まれるデータを引数として、ジョブに含まれるプログラムに入力し、ジョブを実行する。ファイル202は、図1に示すファイル110に相当し、システムA200において実行されるジョブは、単一のジョブであり、多重していない。プログラムは、ファイル202に含まれる複数のデータを各々処理するため、ループ構造を持つ。
ファイル202及びデータ形式情報203は、外部記憶装置201からシステムA200によって呼び出され、システムA200のメモリに展開される。データ形式情報203は、ファイル202に含まれるデータのデータ形式を示す。ファイル202とデータ形式情報203とは、別々に、外部記憶装置201に格納される。
データ形式情報301及びデータ302は、グリッド管理システム100に備わる変換制御モジュール205によって、グリッド管理システム100(オープン環境)においても対応可能なファイル206及びデータ形式情報207に変換される。変換制御モジュール205は、あらかじめグリッド管理システム100に備わる。
図4は、本発明の実施形態のファイル202及びデータ形式情報203の移行処理を示すフローチャートである。
移行処理が開始されると(S100)、システムA200は、外部記憶装置201からファイル202を読み込み、移行元であるシステムA200から移行先であるグリッド管理システム100へ、ファイル202を転送する。そして、変換制御モジュール205によって、ファイル202は、グリッド管理システム100のOS等に対応するファイル206に変換される(S101)。
同じく、システムA200は、外部記憶装置201からファイル202のデータ形式情報203を読み込み、移行元のシステムA200から移行先であるグリッド管理システム100へ、データ形式情報203を転送する。そして、変換制御モジュール205によって、データ形式情報203は、グリッド管理システム100のOS等に対応するデータ形式情報207に変換される(S102)。
次に、グリッド管理システム100は、変換されたファイル206とデータ形式情報207とを外部記憶装置102に格納する(S103)。外部記憶装置102に格納されたファイル206及びデータ形式情報207は、図2に示すファイル110及びデータ形式情報111に相当する。S103の後、移行処理が終了する(S104)。
ここで、ファイル110及びファイルnの分割前後を、具体的な例を用いて説明する。
図5Aは、本発明の実施形態のファイル110を示す説明図である。
本実施形態におけるファイル110は、データ形式情報301に、例えば店Gr情報及び全体構成を示す情報が含まれる。データ形式情報301は、データ302に含まれる情報に共通した情報が含まれ、図2に示すデータ形式情報111、及び、図3に示すデータ形式情報207と同じ内容である。
また、ファイル110は、データ302に、例えば店情報及び口座情報を含む。データ302には、ジョブに含まれるプログラムの引数となるデータが、複数個含まれる。そして、ファイル110の最後に、ファイル110の末端であることを示すend情報が含まれる。本実施形態のデータ302は、店1情報に、口座情報がm個含まれ、店2情報に、口座情報がk個含まれる。
店Gr情報には、データ302に格納されるデータの共通した属性が入る。例えば、データ302に格納されるデータが、関東地方に存在する店と、各々の店に所属する口座に関する情報である場合、店Gr情報には、関東地方を示す値が格納される。全体情報は、データ302にどのような値がどのように格納されるかを示し、例えば、店情報と口座情報とが格納されること、及び、店情報と口座情報とがどのような形式によって格納されるかを示す。
図5Bは、本発明の実施形態のファイル110の具体例を示す説明図である。
図5Bに示すファイル110は、図5Aに示す概念図を具体的なファイル形式によって実装する例である。ファイル110は、各々のカラムがカンマによって区切られるCSV形式である。図5Bには、ファイル110が、CSV形式によって実装される場合を示すが、データベースを用いて実装されてもよい。
本実施形態のファイル110における一つ目のカラムには、店Gr情報が格納され、二つ目のカラムには、全体構成が格納され、三つめのカラムから後のカラムには、店情報と口座情報とが交互に格納される。そして、最後のカラムにend情報が格納される。一つ目のカラムと二つ目のカラムとがデータ形式情報301を示し、三つ目のカラムから後のカラムがデータ302を示す。
図5Bに示す二つ目のカラムには、データ302に、店情報及び口座情報が格納されることと格納される形式とを、一意に示す値が格納される。なお、図5Bに示す店Gr情報及び全体情報は、各々1カラムずつによって示すが、各々の情報は、複数のカラムによって示されてもよい。このため、全体情報は、例えば、店情報を示す一意の値が1であり、口座情報を示す一意の値が2である場合、店情報と口座情報とが交互に格納される形式を、「1,2i+j,2,2i+j+1」(i:初期値=0から始まる正の整数、j:データ302の開始カラムの位置)のように示されてもよい。
なお、データ形式情報301に格納されるデータの意味については、システムA200、グリッド管理システム100、及び実行サーバ101に格納されるプログラムに、あらかじめ格納されているものとする。
図6Aは、本発明の実施形態のファイル110を店情報毎に分割した場合を示す説明図である。
図6Aは、図5Aに示すファイル110を、店情報毎に分割した結果であるファイル1(113)及びファイル2(114)の概念図を示す。データ302は、店1情報及び店2情報によって分割され、分割されたデータに、図5Aに示すデータ形式情報301が各々付加される。
ここで、検索情報112に含まれるキー及び種別情報は、ファイル1(113)及びファイル2(114)を取得するために、店情報を示す値である。例えば、キーには、店情報が入るカラムの場所を示す値が含まれ、種別情報には、店情報を示す一意の値が含まれる。そして、グリッド管理システム100は、検索情報112に含まれるキー及び種別情報を読み込み、同じ店情報を示すカラムごとに、データ302を分割する。
図6Bは、本発明の実施形態のファイル110を店情報毎に分割した場合の具体例を示す説明図である。
図6Bは、図6Aに示す概念図を、CSV形式によって実装したファイル1(113)及びファイル2(114)を示す図である。本実施形態において、店情報には、店1情報と店2情報との二つのみであるため、分割されたファイルnは二つである(すなわち、n=2)。
図7Aは、本発明の実施形態のファイル110を口座情報毎に分割した場合を示す説明図である。
図7Aは、図5Aに示すファイル110を、口座情報毎に分割した場合のファイル1(113)〜ファイルn(115)の概念図を示す。データ302は、口座情報毎に分割され、分割されたデータに、図5Aに示すデータ形式情報301が各々付加される。
ここで、検索情報112に含まれるキー及び種別情報は、ファイル1(113)及びファイル2(114)を取得するために、口座情報を示す値である。例えば、キーには、口座情報が入るカラムの場所を示す値が含まれ、種別情報には、口座情報を示す一意の値が含まれる。そして、グリッド管理システム100は、検索情報112に含まれるキー及び種別情報を読み込み、口座情報を示すカラムごとに、データ302を分割する。
図7Bは、本発明の実施形態のファイル110を口座情報毎に分割した場合の具体例を示す説明図である。
図7Bは、図7Aに示す概念図をCSV形式によって実装したファイル1(113)〜ファイルn(115)を示す図である。本実施形態において、口座情報は、店1情報にm個、店2情報にk個があるため、分割されたファイルnは、m+k個である(すなわち、n=m+k)。
図8は、本発明の実施形態のファイル分割処理を示すフローチャートである。
グリッド管理システム100は、ファイル分割モジュール103を開始させる(S200)と、ファイル分割モジュール103によって、入出力インタフェース107を介して外部記憶装置102から分割前のファイル110と、データ形式情報111と、分割条件である検索情報(キー、種別情報、ファイル名称規則)112とを読み込む(S201)。
次に、グリッド管理システム100は、ファイル110を検索情報(キー、種別情報)112によって検索して、キー及び種別情報が示す条件に一致したデータを取得する(S202)。
例えば、図5Aに示すファイル110を店情報によって分割する場合、検索情報112のキーは、前述の図6Bにおいて示した例を用いて、"2i+j"(j:データ302の開始カラムの位置)と示されてもよい。また、検索情報112の種別情報が、店情報を示す、"1"と示されてもよい。グリッド管理システム100は、検索情報(キー、種別情報)=(2i+j,1)によって、データ302において、店情報が連続して同じ値である店情報と口座情報との組み合わせを検索し、取得する。
また、例えば、図5Aに示すファイル110を口座情報によって分割する場合は、検索情報112のキーは、前述の図6Bにおいて示した例を用いて、"2i+j+1"(j:データ302の開始カラムの位置)と示されてもよい。また、検索情報112の種別情報が、店情報を示す、"2"と示されてもよい。グリッド管理システム100は、検索情報(キー、種別情報)=(2i+j+1,2)によって、データ302において、口座情報が連続して同じ値である店情報と口座情報との組み合わせを検索し、取得する。なお、本実施形態においては、口座情報は一意であるため、店情報と口座情報との組み合わせは、m+k個取得される。
そして、グリッド管理システム100は、取得された各々のデータにデータ形式情報111を付加する(S203)。データ形式情報111を付加されたデータに、検索情報112のファイル名称規則に従い、一意のファイル名称を付加し、ファイル名称を付加されたファイルn(ファイル1(113)〜ファイルn(115))を外部記憶装置102に格納する(S204)。
次に、グリッド管理システム100は、すべてのデータ302が分割済みか否かを確認し(S205)、分割済である場合、分割処理を終了する(S206)。
S205において、すべてのデータを分割済みか否かを確認して、分割が済んでいないデータがあれば、再度S202に戻る。
グリッド管理システム100は、図8に示すファイルを分割する処理が終了した後、分割されたファイルnを各実行サーバ101に配置する。
図9は、本発明の実施形態のファイル配置処理を示すフローチャートである。
グリッド管理システム100は、図2に示すファイル配置モジュール104を起動すると(S300)、分割されたファイルnの数と実行サーバ101の数とをファイル配置モジュール104に入力する(S301)。そして、各実行サーバ101にファイルnを各々配置する(S302)。
次に、グリッド管理システム100は、配置された実行サーバ101のサーバ名とファイルnのファイル名称との組み合わせを、主記憶装置119におけるファイル配置管理テーブル106に格納する(S303)。これによって、ファイルnは、後述のジョブID402と一意に関連付けられる。
グリッド管理システム100は、すべてのファイルnの配置が完了したか否かを判定し(S304)、配置が完了していないファイルnがある場合、S302を繰り返す。そして、すべてのファイルnの配置が完了した場合、処理を終える(S305)。
図10は、本発明の実施形態の分割されたファイルnと、実行サーバ101と、ジョブとを含むファイル配置管理テーブル106を示す。
ファイル配置管理テーブル106によって、ファイルnは、多重化されたジョブに1対1に対応付けられる。ファイル配置管理テーブル106は、ジョブによって処理されるべきファイルの識別子をファイルID400に示し、ファイルが配置される実行サーバ101の識別子をサーバID401に示し、実行されるジョブの識別子をジョブID402に示す。
図9に示す処理によって、ファイル配置管理テーブル106のサーバID401及びジョブID402の各レコードに、ファイルID400の各値が配置されるため、分割されたファイルnと多重化したジョブが1対1に対応付けられる。
図9に示す処理の結果、グリッド管理システム100に備わるジョブスケジュールモジュール105は、ファイル配置管理テーブル106を参照し、グリッドジョブを実行させる。このとき、各ファイルnに付されたデータ形式情報301は、システムA200におけるデータ形式情報203と同じ内容であるため、グリッドジョブによって実行されるプログラムは、システムA200において実行されたプログラムの内容と同じでよい。
本発明によれば、既存のメインフレーム等のシステムにおいて稼動していたプログラムをグリッド・コンピューティング環境に移行する際に、ジョブのプログラム改造を極力無くし、移行工数や移行後の動作確認コストの削減と信頼性及び性能(高速化)を確保することが可能になる。また、日々の運用に合わせ多重度を容易に変更することができる。
なお、本実施形態において示されたファイル110は、一例に過ぎず、データ形式情報301によってデータ302のデータの配列の形式が表現できれば、どのような形式でもよい。
100 グリッド管理システム
101 実行サーバ
102、201 外部記憶装置
103 ファイル分割モジュール
104 ファイル配置モジュール
105 ジョブスケジュールモジュール
106 ファイル配置管理テーブル
107、120 入出力インタフェース
108、117 通信インタフェース
109、208 通信路
110、202、206 ファイル
111、203、301、207 データ形式情報
112 検索情報
113 ファイル1
114 ファイル2
115 ファイルn
116、118、204 CPU
119、121 主記憶装置
200 システムA
205 変換制御モジュール
302、3021、3022、302n データ
400 ファイルID
401 サーバID
402 ジョブID

Claims (6)

  1. 複数のデータを含む複数のファイルの各々を、複数のグリッドコンピュータに配置することによって、前記ファイルを処理するジョブを前記グリッドコンピュータに実行させる、ジョブ管理計算機であって、
    前記ファイルは、前記複数のデータのデータ形式を含み、
    前記ジョブ管理計算機は、
    一つの前記ジョブが処理する第1の前記ファイルを取得し、
    前記第1のファイルに含まれる前記複数のデータを、種別毎に分割し、
    前記分割されたデータに、前記第1のファイルに含まれる前記データ形式を付加することによって、複数の第2の前記ファイルを作成し、
    前記作成された複数の第2のファイルを、前記グリッドコンピュータに実行させるために配置することを特徴とするジョブ管理計算機。
  2. 前記ジョブ管理計算機は、前記作成された複数の第2のファイルと、複数の前記グリッドコンピュータとが、1対1になるように、前記第2のファイルを前記グリッドコンピュータに配置することを特徴とする請求項1に記載のジョブ管理計算機。
  3. 前記ジョブ管理計算機は、
    前記複数の第2のファイルに、各々一意のファイル名称を付加し、
    前記一意のファイル名称が付加された第2のファイルと、前記第2のファイルが配置される前記グリッドコンピュータとの組み合わせを保持することを特徴とする請求項1に記載のジョブ管理計算機。
  4. 複数のデータを含む複数のファイルの各々を、複数のグリッドコンピュータに配置することによって、ジョブ管理計算機が、前記ファイルを処理するジョブを前記グリッドコンピュータに実行させる、ジョブ管理方法であって、
    前記ファイルは、前記複数のデータのデータ形式も含み、
    前記ジョブ管理方法は、
    前記ジョブ管理計算機が、一つの前記ジョブが処理する第1の前記ファイルを取得し、
    前記ジョブ管理計算機が、前記第1のファイルに含まれる前記複数のデータを、種別毎に分割し、
    前記ジョブ管理計算機が、前記分割されたデータに、前記第1のファイルに含まれる前記データ形式を付加することによって、複数の第2の前記ファイルを作成し、
    前記ジョブ管理計算機が、前記作成された複数の第2のファイルを、前記グリッドコンピュータに実行させるために配置することを特徴とするジョブ管理方法。
  5. 前記ジョブ管理方法は、前記ジョブ管理計算機が、前記作成された複数の第2のファイルと、複数の前記グリッドコンピュータとが、1対1になるように、前記第2のファイルを前記グリッドコンピュータに配置することを特徴とする請求項4に記載のジョブ管理方法。
  6. 前記ジョブ管理方法は、
    前記ジョブ管理計算機が、前記複数の第2のファイルに、各々一意のファイル名称を付加し、
    前記ジョブ管理計算機が、前記一意のファイル名称が付加された第2のファイルと、前記第2のファイルが配置される前記グリッドコンピュータとの組み合わせを保持することを特徴とする請求項4に記載のジョブ管理方法。
JP2009258724A 2009-11-12 2009-11-12 ジョブ管理計算機、及び、ジョブ管理方法 Pending JP2011103106A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009258724A JP2011103106A (ja) 2009-11-12 2009-11-12 ジョブ管理計算機、及び、ジョブ管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009258724A JP2011103106A (ja) 2009-11-12 2009-11-12 ジョブ管理計算機、及び、ジョブ管理方法

Publications (1)

Publication Number Publication Date
JP2011103106A true JP2011103106A (ja) 2011-05-26

Family

ID=44193407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009258724A Pending JP2011103106A (ja) 2009-11-12 2009-11-12 ジョブ管理計算機、及び、ジョブ管理方法

Country Status (1)

Country Link
JP (1) JP2011103106A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11303905B2 (en) 2018-11-21 2022-04-12 Fujitsu Limited Information processing system and information processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11303905B2 (en) 2018-11-21 2022-04-12 Fujitsu Limited Information processing system and information processing method

Similar Documents

Publication Publication Date Title
JP7122713B2 (ja) 機械学習又は推論のための計算機システム及び方法
CN110196871B (zh) 数据入库方法和系统
JP5342087B2 (ja) 計算機システム及びデータ管理方法
US10338958B1 (en) Stream adapter for batch-oriented processing frameworks
CN111324610A (zh) 一种数据同步的方法及装置
US11256576B2 (en) Intelligent scheduling of backups
GB2508599A (en) Software version management when downgrading software
CN104462269A (zh) 一种异构数据库数据交换方法及系统
WO2013038489A1 (ja) 計算機システム、クライアント計算機の管理方法及び記憶媒体
JP2009181546A (ja) コーディネータサーバ、データ割当方法及びプログラム
US20120290626A1 (en) Converting two-tier resource mapping to one-tier resource mapping
CN113760847A (zh) 日志数据处理方法、装置、设备及存储介质
US20230267046A1 (en) Fileset partitioning for data storage and management
JP2015114951A (ja) 業務形式化プログラム、業務形式化方法及び業務形式化装置
EP4040323A1 (en) Transaction management device, transaction management program, and transaction management method
US11200213B1 (en) Dynamic aggregation of data from separate sources
JP2011103106A (ja) ジョブ管理計算機、及び、ジョブ管理方法
WO2022188573A1 (en) Soft deletion of data in sharded databases
JP7381290B2 (ja) 計算機システム及びデータの管理方法
JP6138701B2 (ja) 分散計算方法及び分散計算システム
US8990612B2 (en) Recovery of a document serving environment
US9158767B2 (en) Lock-free indexing of documents
JP2016126474A (ja) 定義ファイル生成プログラム、定義ファイル生成方法、および情報処理装置
EP4339774A1 (en) Automatic generation of container images
US9185163B2 (en) Receiving individual documents to serve

Legal Events

Date Code Title Description
A521 Written amendment

Effective date: 20120309

Free format text: JAPANESE INTERMEDIATE CODE: A523