JP2004062603A - 並列処理システム、サーバ、並列処理方法、プログラム、及び、記録媒体 - Google Patents

Abstract

【課題】処理端末装置に稼働状況、処理能力等に応じて並列処理に係る処理を実行させ、並列処理の効率性及び高速性を向上させることができる並列処理システム等を提供する。
【解決手段】マスタ２は、割付処理を割り付ける際、スレーブ７毎に処理制限時間（タイムアウト時間）を設定し、当該処理制限時間内に割付処理の実行結果が送信されなかった場合、他のスレーブ７に当該割付処理を割り付け実行させる。また、マスタ２は、スレーブ７毎の処理履歴等を保持し、この処理履歴等を参照して、あるいは、事前に入力されたスレーブ７毎の処理能力（ＣＰＵ能力等）に応じて、スレーブ７毎に処理制限時間を設定する。マスタ２は、スレーブ７毎に処理能力に応じて処理制限時間（タイムアウト時間）を設定するので、一律の処理制限時間を設定する場合と比較して、無駄な待ち時間を減ずることができる。
【選択図】　図３

Description

【０００１】
【発明の属する技術分野】
本発明は、１の処理を複数の処理端末装置に分散して処理する並列処理システム等に関する。より詳細には、処理端末装置に並列処理への参加を募集する並列処理システム等に関する。
【０００２】
【従来の技術】
従来、一般の並列処理システムは、並列処理専用の複数の処理端末装置を設け、これらの処理端末装置に並列処理を実行させるものである。また、一般ＯＡ用途に用いられているパーソナルコンピュータ等の端末装置の未使用時間等を利用するボランティア端末装置参加型の並列処理システム（例えば、バイオ計算等）が幾つか存在する。
【０００３】
【発明が解決しようとする課題】
しかしながら、このようなシステムでは、基本的に膨大な計算資源に対し、処理端末装置側から処理データを取りに行き、実行結果を返す仕組みであり、処理端末装置の状態、処理能力等とは無関係であり、指示した処理結果がいつ返って来るか分からないので、納期付きの処理実行はできないという問題点がある。また、決められた処理のみ実行可能で、外部からの並列処理実行依頼を容易に実行することはできないという問題点がある。
【０００４】
また、従来の並列処理システムでは、同一の処理体系、演算体系を採るＣＰＵを対象としたものしかなく、制御機器や携帯電話機、情報家電等、互いに異なる処理体系、演算体系を採る演算装置を有する機器を対象とした並列処理手段はない。
【０００５】
本発明は、以上の点に鑑みてなされたものであり、処理端末装置に稼働状況、処理能力等に応じて並列処理に係る処理を実行させ、並列処理の効率性及び高速性を向上させることができる並列処理システム等を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前述した目的を達成するために第１の発明は、複数の処理端末装置と、１又は複数のサーバと、がネットワークを介して接続され、前記サーバに入力された依頼処理を並列処理により処理する並列処理システムであって、前記サーバは、前記依頼処理から、必要に応じて当該依頼処理を分割して、割付処理を生成し、前記処理端末装置に当該割付処理を割り付け送信し実行させる処理割付手段と、前記処理端末装置から所定の制限時間内に前記割付処理の実行結果が返信されなかった場合、別の処理端末装置に当該割付処理を割り付け送信し実行させる再割付手段と、を具備し、前記処理端末装置は、前記サーバから送られた前記割付処理を実行する割付処理実行手段と、前記割付処理の実行結果を前記サーバに送信する割付処理結果送信手段と、を具備することを特徴とする並列処理システムである。
【０００７】
また、前記サーバは、さらに、前記処理端末装置毎の処理能力に基づいて、前記制限時間を設定する制限時間設定手段と、を具備することが望ましい。
また、前記サーバは、さらに、前記処理端末装置毎の処理の履歴を保持する保持手段と、前記処理の履歴に基づいて前記処理能力を算出する処理能力算出手段と、を具備することが望ましい。
また、前記サーバは、前記処理端末装置に対して、ブロードキャスト通信により、前記並列処理への参加募集を行い、前記参加募集に対して参加応募している処理端末装置に前記割付処理を割り付け送信し実行させることが望ましい。
【０００８】
第１の発明では、ネットワークを介してあるいは直接サーバに依頼処理が入力されると、サーバは、依頼処理から、必要に応じて当該依頼処理を分割して、割付処理を生成し、処理端末装置に対して、当該割付処理を割り付け送信し実行させ、処理端末装置から所定の制限時間内に割付処理の実行結果が返信されなかった場合、別の処理端末装置に当該割付処理を割り付け送信し実行させる。
処理端末装置は、当該割付処理を実行し、実行結果をサーバに送信する。サーバは、割付処理の実行結果を依頼処理毎の実行結果に集約する。
【０００９】
「サーバ」は、サーバコンピュータ等であり、処理端末装置としてのスレーブを制御する「マスタ」として機能する。サーバは、ネットワークを介してあるいは直接サーバに入力された処理（「依頼処理」）から「割付処理」を生成して処理端末装置に割り付け、実行させる。尚、サーバは、割付処理を生成する際、必要に応じて依頼処理を分割する。また、サーバは、分散化が可能である。
【００１０】
「処理端末装置」は、コンピュータ等であり、サーバから割り付けられた処理（割付処理）を実行する。処理端末装置は、サーバとしてのマスタにより制御される「スレーブ」として機能する。
【００１１】
「処理」（「依頼処理」あるいは「割付処理」）は、処理依頼要求、処理プログラム、処理データ等である。
「制限時間」は、処理端末装置に割付処理を割り付け実行させる際、サーバが設定する処理制限時間、タイムアウト時間である。
「処理の履歴」は、処理端末装置における処理実績、処理時間、平均処理時間等である。サーバは、この処理の履歴を処理端末装置毎に処理履歴テーブル等としてデータベースに保持する。サーバは、この処理の履歴に基づいて上記の制限時間を算出することができる。
【００１２】
第１の発明では、処理端末装置から所定の制限時間内に割付処理の実行結果が返信されない場合、サーバは、別の処理端末装置に当該割付処理を割り付け実行させるので、処理端末装置が処理途中で利用不可になった場合、あるいは、故障等により処理実行不可能になった場合であっても、並列処理を継続することが可能であり、耐障害性が向上する。また、処理端末装置の個々の状態、処理の状況等を管理する必要がない。
【００１３】
また、サーバは、予め調査、記録した処理端末装置の処理能力（ＣＰＵ能力等）、あるいは、処理の履歴から算出した処理端末装置の処理能力（ＣＰＵ能力等）に基づいて、処理端末装置毎に制限時間を設定する。すなわち、サーバは、処理端末装置毎に処理能力に応じて処理制限時間（タイムアウト時間）を設定するので、一律の処理制限時間（タイムアウト時間）を設定する場合と比較して、無駄な待ち時間を減じて、並列処理全体として処理の高速化が可能である。
【００１４】
また、サーバは、ブロードキャスト通信等により複数の処理端末装置全体に対して並列処理への参加募集を行い、また、サーバが複数の分散サーバから構成される場合、処理端末装置は、ブロードキャスト通信等により複数の分散サーバ全体に対して並列処理への参加応募を行うことができる。この場合、個々の処理端末装置の状態管理を行う必要がなく、また、サーバ（分散サーバ）、処理端末装置の双方共、相手を意識することなく指示、応答等を行うことが可能である
【００１５】
第２の発明は、複数の処理端末装置にネットワークを介して接続され、入力された依頼処理を並列処理により処理する１又は複数のサーバであって、前記依頼処理から、必要に応じて当該依頼処理を分割して、割付処理を生成し、前記処理端末装置に当該割付処理を割り付け送信し実行させる処理割付手段と、前記処理端末装置から所定の制限時間内に前記割付処理の実行結果が返信されなかった場合、別の処理端末装置に当該割付処理を割り付け送信し実行させる再割付手段と、を具備することを特徴とするサーバである。
【００１６】
第２の発明は、第１の発明の並列処理システムで用いられるサーバに関する発明である。
【００１７】
第３の発明は、複数の処理端末装置にネットワークを介して接続され、入力された依頼処理を並列処理により処理する１又は複数のサーバが、実行する並列処理方法であって、前記依頼処理から、必要に応じて当該依頼処理を分割して、割付処理を生成し、前記処理端末装置に当該割付処理を割り付け送信し実行させる処理割付工程と、前記処理端末装置から所定の制限時間内に前記割付処理の実行結果が返信されなかった場合、別の処理端末装置に当該割付処理を割り付け送信し実行させる再割付工程と、を具備することを特徴とする並列処理方法である。
【００１８】
第３の発明は、第２の発明のサーバにより実行される並列処理方法に関する発明である。
【００１９】
第４の発明は、コンピュータを第２の発明のサーバとして機能させるプログラムである。
第５の発明は、コンピュータを第２の発明のサーバとして機能させるプログラムを記録した記録媒体である。
【００２０】
上述のプログラムをＣＤ−ＲＯＭ等の記録媒体に保持させて流通させてもよいし、このプログラムを通信回線を介して送受することもできる。
【００２１】
【発明の実施の形態】
以下に、添付図面を参照しながら、本発明に係る並列処理システム等の好適な実施形態について詳細に説明する。なお、以下の説明及び添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００２２】
図１は、本発明の第１の実施の形態に係る並列処理システム１００の概略構成を示す図である。
【００２３】
図１に示すように、並列処理システム１００は、管理者１のマスタ２、複数の依頼者４−１、４−２、…の端末装置５−１、５−２、…、スレーブ群６等が、ネットワーク９を介して接続されて構成される。
【００２４】
ネットワーク９は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、社内ＬＡＮ等のネットワークであり、有線、無線を問わない。
【００２５】
管理者１は、並列処理システム１００を管理する管理者であり、マスタ２を有する。マスタ２は、「サーバ」としてのサーバコンピュータ等であり、処理受付機能１３、参加募集機能１４、処理割付機能１５、実行結果取得機能１６、処理履歴管理機能１８等を有する。マスタ２は、複数の分散マスタ３−１、３−２、…により構成することもできる。
【００２６】
処理受付機能１３は、依頼者４−１、４−２、…の端末装置５−１、５−２、…から処理の依頼を受付ける。例えば、処理受付機能１３は、ＷＥＢ（Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ）サーバとしての機能を有し、端末装置５からＷＥＢページに入力された処理を依頼処理として受け付けることができる。また、処理受付機能１３は、端末装置５からＷＥＢページ等によりネットワーク９を介して依頼処理を受付けるだけでなく、マスタ２に直接入力された処理を依頼処理として受け付けることができる。
【００２７】
参加募集機能１４は、スレーブ群６の各スレーブ７−１、７−２、…に対して、並列処理への参加を募集する。処理割付機能１５は、依頼された処理（依頼処理）から割付処理を生成してスレーブ７−１、７−２、…に割付ける。実行結果取得機能１６は、スレーブ７−１、７−２、…から割付処理の実行結果を取得する。処理履歴管理機能１８は、処理割付の履歴、スレーブ群６の各スレーブ７−１、７−２、…における処理履歴（割付処理の種類、処理開始日時、処理終了日時等）及び当該処理履歴から導出される情報等（処理実績、処理時間、平均処理時間等）を有する処理履歴テーブルを保持する。
【００２８】
依頼者４−１、４−２、…は、処理を依頼する依頼者であり、それぞれ、端末装置５−１、５−２、…を有する。端末装置５−１、５−２…は、ネットワーク９を介して、マスタ２に処理を依頼し、スレーブ群６から処理の実行結果を受信し取得する実行結果取得機能１７を有する。尚、端末装置５−１、５−２、…は、パーソナルコンピュータ、携帯情報端末（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ
Ａｓｓｉｓｔａｎｔ）等である。
【００２９】
スレーブ群６は、複数の「処理端末装置」としてのスレーブ７−１、７−２…を有する。スレーブ７−１、７−２、…は、並列処理専用のコンピュータ等の端末装置、あるいは、未使用時間等に係る空き資源、リソースを有する場合に並列処理に参加するパーソナルコンピュータ等のボランティア端末装置である。スレーブ７−１、７−２、…は、パーソナルコンピュータ、携帯情報端末（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）、携帯電話機、演算装置を有する機器等である。
【００３０】
スレーブ７−１、７−２、…は、それぞれ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ・キー等の外部メモリ８−１、８−２、…を有するようにしてもよい。スレーブ７−１、７−２、…（又は、外部メモリ）は、参加応募機能１１、処理実行機能１２等を有する。
尚、スレーブ７には、参加応募機能１１、処理実行機能１２等を有する外部メモリを設けてもよいし、外部メモリを設けずスレーブ７内に参加応募機能１１、処理実行機能１２等を設けるようにしてもよい。
【００３１】
参加応募機能１１は、マスタ２から並列処理への参加募集が行われると、自身の稼働状況等から並列処理へ参加できるだけの空き資源、リソースが残存しているかどうかを判断し、参加する場合は、マスタ２に対して参加応募の旨を応答する。尚、スレーブ７は、自身の稼働状況、利用状況等を常時監視することもできる。
処理実行機能１２は、マスタ２等から受け取った処理プログラムにより所定の処理を実行する。
【００３２】
スレーブ７として、例えば、情報家電、携帯電話等を用いる場合、ＣＰＵの処理体系の相違により、受け取った処理プログラム等をそのままスレーブ上では実行できないことがある。この場合、スレーブ上で実行可能な処理体系に演算コード等を変換する機能（ＣＰＵ命令変換機能）をスレーブ７側またはマスタ２側に設けることにより、スレーブ上での当該処理プログラム等の実行を可能とすることができる。
【００３３】
次に、図２乃至図５を参照しながら、並列処理システム１００の処理手順について説明する。
【００３４】
まず、図２及び図４を参照しながら、マスタ２が有する処理受付機能１３、参加募集機能１４、処理割付機能１５、及び、スレーブ７−１、７−２、…が有する参加応募機能１１等による処理について説明する。
【００３５】
尚、「処理」の区別のため必要に応じて、端末装置５−１、５−２、…から依頼された処理を「依頼処理」と呼び、スレーブ７−１、７−２、…に分配、割り付けられた処理を「割付処理」と呼ぶ。
【００３６】
図２は、処理受付機能１３、参加募集機能１４、処理割付機能１５、処理履歴管理機能１８、参加応募機能１１等に係る処理の概略を示す図である。
図４は、処理受付機能１３、参加募集機能１４、処理割付機能１５、処理履歴管理機能１８、参加応募機能１１等に係る処理の手順を示すフローチャートである。
【００３７】
依頼者４−１、４−２、…の端末装置５−１、５−２、…は、依頼処理（依頼処理Ａ、Ｂ、…）の処理依頼をマスタ２に行い、当該依頼処理の処理プログラム及び処理データをマスタ２に送信する（ステップ４０１）。
【００３８】
尚、スレーブ７（又はその外部メモリ）には、予め、参加応募機能１１等と共に、処理実行機能１２に係る処理プログラム及び処理データを記憶させ、端末装置５−１、５−２、…は、処理プロクラム及び処理データを送ることなく、マスタ２に処理Ａ、Ｂ、…の処理依頼のみ行ってもよい。あるいは、スレーブ７（又はその外部メモリ）に、予め、参加応募機能１１等と共に、処理実行機能１２に係る処理プログラム及び処理データの一部を記憶させ、残りの処理プログラム及び処理データに関しては、端末装置５−１、５−２、…が依頼処理Ａ、Ｂ、…の処理依頼を行う際にマスタ２に送信するようにしてもよい。
【００３９】
マスタ２は、各依頼者４−１、４−２、…の端末装置５−１、５−２、…からの依頼処理を受信し、受付ける（ステップ４０２）。
図２に示すように、例えば、マスタ２は、依頼者４−１の端末装置５−１から依頼処理Ａを受付け（ステップ４１−１）、依頼者４−２の端末装置５−２から依頼処理Ｂを受付け（ステップ４１−２）、処理受付テーブル３１を作成する。処理受付テーブル３１は、端末装置と依頼処理とを対応付ける。
【００４０】
ここで、処理受付機能１３にＷＥＢサーバとしての機能を設けることにより、マスタ２は、端末装置５からＷＥＢページに入力された処理を依頼処理として受け付けることができる。
尚、ステップ４０１〜ステップ４０２の処理を随時行うようにすることができる。
【００４１】
マスタ２は、ブロードキャスト通信で、スレーブ群６の全てのスレーブ７−１、７−２、…に対して並列処理への参加を募集する（ステップ４０３）。
スレーブ７−１、７−２、…は、自身の稼働状況から並列処理へ参加できるだけの空き資源、リソースが残存しているかどうかを判断し、参加する場合は、マスタ２に対して参加応募の旨を応答する（ステップ４０４）。
図２に示すように、例えば、マスタ２からの参加募集の打診があると（ステップ４２）、スレーブ７−１、７−２、７−４（スレーブ７−３は、参加応募せず）は、それぞれ、参加応募を行う（ステップ４３−１、４３−２、４３−４）。
【００４２】
マスタ２は、端末装置５−１、５−２、…から送られた依頼処理から割付処理を生成し、参加応募の旨の応答があったスレーブ７−１、７−２、…に割り付ける（ステップ４０５）。尚、マスタ２は、必要に応じて依頼処理を分割して割付処理を生成する。
図２に示すように、例えば、マスタ２は、依頼処理Ａを割付処理Ａ１と割付処理Ａ２に分割し、依頼処理Ｂを割付処理Ｂとして、参加応募したスレーブ７−１、７−２、７−４（スレーブ７−３は、参加応募せず）に対して、それぞれ、割付処理Ａ１、割付処理Ａ２、割付処理Ｂを割り付け、処理割付テーブル３２を作成する（ステップ４４）。処理割付テーブル３２は、スレーブと割付処理とを対応付ける。
【００４３】
マスタ２は、処理を割り付けたスレーブ７毎に、処理制限時間（タイムアウト時間）を設定する（ステップ４０６）。
図２に示すように、例えば、マスタ２は、処理履歴テーブル３３（スレーブ７毎の処理実績、処理時間、平均処理時間等）を参照して、あるいは、事前調査により入力されたスレーブ７毎の処理能力（ＣＰＵ能力等）に基づいて、処理制限時間の設定時間を定め、処理割付テーブル３２に対応付けて記録する（ステップ４５）。
【００４４】
マスタ２は、割付処理を割り付けた各スレーブ７−１、７−２、…に、割付処理に係る処理プログラム、処理データ等を送信し、処理を分配する（ステップ４０７）。
図２に示すように、例えば、マスタ２は、スレーブ７−１に割付処理Ａ１に係る処理プログラム、処理データ等を送信し、スレーブ７−２に割付処理Ａ２に係る処理プログラム、処理データ等を送信し、スレーブ７−４に割付処理Ｂに係る処理プログラム、処理データ等を送信する（ステップ４６−１、４６−２、４６−４）。
尚、端末装置５−１、５−２、…からの処理受付の状況に応じて、ステップ４０３〜ステップ４０７の処理を随時行うようにすることができる。
【００４５】
尚、ブロードキャスト通信では、同一データリンク内の全ノード（ネットワークに接続されているコンピュータ等の機器）に対して情報を送信することができるので、マスタ２は、ブロードキャスト通信により同一データリンク内のスレーブ群６全体に対して、並列処理への参加募集を行い、スレーブ７は、ブロードキャスト通信により同一データリンク内のマスタ２（分散マスタ３）全体に対して、参加応募を行うことができる。
【００４６】
次に、図３及び図５を参照しながら、スレーブ７−１、７−２、…が有する処理実行機能１２、マスタ２が有する実行結果取得機能１６、処理履歴管理機能１８、端末装置５−１、５−２、…が有する実行結果取得機能１７等による処理について説明する。
図３は、処理実行機能１２、実行結果取得機能１６、実行結果取得機能１７、処理履歴管理機能１８等に係る処理の概略を示す図である。
図５は、処理実行機能１２、実行結果取得機能１６、実行結果取得機能１７、処理履歴管理機能１８等に係る処理の手順を示すフローチャートである。
【００４７】
スレーブ７−１、７−２…は、マスタ２から割付処理に係る処理プログラム、処理データを受け取る（ステップ５０１）。
図２に示すように、例えば、スレーブ７−１、７−２、７−４は、割付処理Ａ１、Ａ２、Ｂに係る処理プログラム、処理データ等を受け取る（ステップ４６−１、４６−２、４６−４）。
尚、予め、処理プログラムや処理データがスレーブ７−１、７−２、…内や外部メモリ等に記憶されている場合には、スレーブ７−１、７−２、…は、マスタ２から処理実行依頼のみを受信する。
【００４８】
スレーブ７−１、７−２…は、受け取った処理プログラムを起動し、割付処理を実行する（ステップ５０２）。
図３に示すように、例えば、スレーブ７−１、７−２、７−４は、それぞれ、割付処理に係る処理プログラムＡ１、Ａ２、Ｂを起動し、割付処理Ａ１、Ａ２、Ｂを実行する（ステップ４７−１、４７−２、４７−４）。
【００４９】
スレーブ７−１、７−２…は、処理プログラム終了後、処理プログラムの実行結果（割付処理の実行結果）をマスタ２に送信する（ステップ５０３）。
図３に示すように、例えば、スレーブ７−１、７−２、７−４は、それぞれ、実行結果ａ１、ａ２，ｂ（割付処理の実行結果）をマスタ２に送信する（ステップ４８−１、４８−２、４８−４）。
マスタ２は、スレーブ７−１、７−２…から割付処理の実行結果を受信し、処理割付テーブル３２に対応付けて記録する（ステップ５０４）。
【００５０】
マスタ２は、依頼処理毎に、処理制限時間（タイムアウト時間）を経過し、スレーブ７から実行結果を受信していない割付処理があるかどうかを判定し（ステップ５０５）、該当する割付処理が残存している場合（ステップ５０５のＹｅｓ）、スレーブ群６に対して並列処理への参加募集を行い、参加応募した別のスレーブ７−１、７−２、…に、同じ処理を割振り、実行させる（ステップ４０３〜ステップ４０７）。
例えば、図３に示すように、処理制限時間（タイムアウト時間）７０秒を経過した時点で、スレーブ７−２に割り付けた割付処理Ａ２の実行結果を受信しなかった場合、マスタ２は、スレーブ群６に対して並列処理への参加募集を行う（ステップ５３）。
【００５１】
尚、スレーブ７から実行結果を受信することなく処理制限時間（タイムアウト時間）が経過した場合とは、割付処理実行中のスレーブから所定の期限（例えば、処理実行開始後、１日経過、３０秒経過、７０秒経過、５０秒経過）までに実行結果を受信しなかった場合、その他、割付処理実行中のスレーブが正常動作していないと認められる場合、スレーブが利用できなくなった場合等である。
【００５２】
マスタ２は、依頼処理毎に、処理制限時間（タイムアウト時間）を経過し、スレーブ７から実行結果を受信していない割付処理があるかどうかを判定し（ステップ５０５）、該当する割付処理がない場合（ステップ５０５のＮｏ）、割付処理の実行結果を依頼処理毎に集約し、処理受付テーブル３１に対応付けて記録する（ステップ５０６）。
図３に示すように、例えば、マスタ２は、割付処理毎の実行結果ａ１、ａ２、ｂを依頼処理毎の実行結果Ａ、Ｂに集約する（ステップ４９）。
【００５３】
マスタ２は、依頼処理毎に取得した実行結果を対応する依頼者４−１、４−２、…の端末装置５−１、５−２、…に送信し（ステップ５０７）、端末装置５−１、５−２、…は、依頼した処理の実行結果を受け取る（ステップ５０８）。
図３に示すように、例えば、マスタ２は、依頼処理Ａの実行結果Ａを端末装置５−１に送信し（ステップ５０−１）、依頼処理Ｂの実行結果Ｂを端末装置５−２に送信する（ステップ５０−２）。
【００５４】
また、図３に示すように、スレーブ７−１、７−２、…は、マスタ２に実行結果を送信せずに、直接、依頼者４−１、４−２、…の端末装置５−１、５−２、…に実行結果を送信してもよい（ステップ５１）。さらに、スレーブ７−１、７−２、…は、ブロードキャスト通信により、ネットワーク９に実行結果を送出し、マスタ２（分散マスタ３）もしくは端末装置５が必要に応じて当該実行結果を受信するようにしてもよい。
【００５５】
マスタ２は、処理割付の履歴、スレーブ群６の各スレーブ７−１、７−２、…における処理履歴（割付処理の種類、処理開始日時、処理終了日時等）及び当該処理履歴から導出される情報等（処理実績、処理時間、平均処理時間等）を有する処理履歴テーブル３３を更新する（ステップ５０９）
例えば、図３に示すように、マスタ２は、スレーブ７−１、７−４から実行結果を受信した場合、処理履歴テーブル３３の当該スレーブに対応する処理履歴を更新する（ステップ５２）。
【００５６】
マスタ２は、並列処理を終了する時は、参加応募したスレーブ７−１、７−２、…に対して、終了指示を送り、当該終了指示を受けたスレーブ７−１、７−２、…は、参加応募、割付処理の実行等を終了する。
【００５７】
尚、上記のステップ４０１〜ステップ４０７、ステップ５０１〜ステップ５０９に係る処理は、依頼処理毎、割付処理毎に独立、平行して実行することができる。例えば、ステップ５０５の処理において、ある時点において、依頼処理Ａに係る割付処理の実行結果の全てを受信した場合、依頼処理Ｂに係る割付処理の実行結果の全てを受信していない場合であっても、依頼処理Ａに関しては、ステップ５０６以降の処理を進めることができる。
【００５８】
以上説明したように、本発明の第１の実施の形態によれば、マスタ２は、各依頼者４の端末装置５から処理の依頼（依頼処理）を受付け、ブロードキャスト通信によりスレーブ群６全体に対して並列処理への参加募集を行う。スレーブ７は、自身の稼働状況から並列処理へ参加できるだけの空き資源、リソースが残存しているかどうかを判断し、並列処理へ参加する場合は、マスタ２に対して参加応募の旨を応答する。マスタ２は、参加応募したスレーブ７に処理を割振り、割振った処理（割付処理）を送信する。スレーブ７は、マスタ２から受け取った割付処理を実行し、処理終了後、実行結果をマスタ２又は依頼者４側の端末装置５に送信し、マスタ２あるいは端末装置５は、実行結果を受け取る。
【００５９】
このように、マスタ２（サーバ）は、必要に応じて随時並列処理への参加を募集し、スレーブ７（処理端末装置）は、稼働状況等に応じて並列処理に参加するので、マスタ２は、スレーブ７の稼働状況等を管理する必要がなく、参加応募したスレーブ７に割付処理を割り当てることにより、効率的かつ高速な並列処理を実現することができる。従って、スレーブ７は、並列処理への途中参加が可能である。
【００６０】
マスタ２は、割付処理を割り付ける際、スレーブ７毎に処理制限時間（タイムアウト時間）を設定し、当該処理制限時間内に割付処理の実行結果が送信されなかった場合、他のスレーブ７に当該割付処理を割り付け実行させる。
従って、スレーブ７が処理途中で利用不可になった場合、あるいは、故障等により処理実行不可能になった場合であっても、並列処理を継続することが可能であり、耐障害性が向上する。すなわち、マスタ２は、処理途中において、スレーブを処理から脱落させることが可能である。
【００６１】
また、処理制限時間内に実行結果を送信しなかったスレーブ７（以下、「先に割り付けたスレーブ７」という）の割付処理を他のスレーブ７（以下、「後に割り付けたスレーブ７」という）に割り付けた場合、マスタ２は、先に割り付けたスレーブ７に対して割付処理の実行を終了するように指示してもよいし、あるいは、そのまま放置し、先に割り付けたスレーブ７、後に割り付けたスレーブ７のいずれかから先に送信された実行結果を受信し、後に他方の実行結果が送信された場合はこれを捨象するようにしてもよい。この場合、マスタ２は、スレーブ７の状態、処理の状況等を管理する必要がない。
【００６２】
また、マスタ２は、スレーブ７毎の処理履歴等を保持し、この処理履歴等を参照して、あるいは、事前に入力されたスレーブ７毎の処理能力（ＣＰＵ能力等）に応じて、スレーブ７毎に処理制限時間（タイムアウト時間）を設定する。
従って、マスタ２は、スレーブ７毎に処理能力に応じて処理制限時間（タイムアウト時間）を設定するので、一律の処理制限時間（タイムアウト時間）を設定する場合と比較して、無駄な待ち時間を減ずることができる。
【００６３】
例えば、ある割付処理を実行するのに、高性能ＣＰＵを有するスレーブでは１０秒で終了するが、低性能ＣＰＵを有するスレーブでは６０秒を要する場合、仮に、処理制限時間（タイムアウト時間）を一律に７０秒とした場合、高性能ＣＰＵを有するスレーブが割付処理の処理開始後１５秒経過した時点で処理不可となると、マスタ２は、５５秒間の待ち時間を経てから、ようやく、他のスレーブに対して当該割付処理を割り付けることになる。
しかしながら、高性能ＣＰＵを有するスレーブの処理制限時間（タイムアウト時間）を１５秒、低性能ＣＰＵを有するスレーブの処理制限時間（タイムアウト時間）を７０秒とすることで、無駄な待ち時間を減じて、並列処理全体として処理の高速化が可能である。
【００６４】
また、処理端末装置として、ボランティア端末装置、すなわち、一般ＯＡ用途に用いられているパーソナルコンピュータ等の未使用時間等に係る空き資源を利用可能であり、膨大な計算量を要する処理等に係る並列処理を実現することができる。この場合、企業等のパーソナルコンピュータを多数抱えているサイトでは、安価に高速計算機環境を取得できると共に、ボランティア端末装置（スレーブ）の更新毎に計算機環境も自動更新されるため、新たに計算環境を構築することなく高速化が図られる。
【００６５】
尚、図４、図５等に示す処理を行うプログラムはＣＤ−ＲＯＭ等の記録媒体に保持させて流通させてもよいし、このプログラムを通信回線を介して送受することもできる。
【００６６】
次に、本発明の第２の実施の形態について説明する。
図６は、本発明の第２の実施の形態に係る並列処理システム２００の概略構成を示す図である。
【００６７】
前述の第１の実施の形態では、マスタ２は、端末装置５からネットワーク９を介して処理の依頼（依頼処理）を受付け、当該依頼処理を並列処理により処理するが、第２の実施の形態では、依頼処理は、直接マスタ２に入力される。すなわち、マスタ２の処理受付機能１３は、ＷＥＢページ等によりネットワーク９を介して依頼処理を受付けるだけでなく、マスタ２に直接入力された処理を依頼処理として受け付けることができる。
【００６８】
第１の実施の形態では、端末装置５からネットワークを９を介してマスタ２に並列処理を依頼することができるので、リモートからの並列処理の依頼、処理実行結果の取得が可能となる。例えば、多数の並列処理専用コンピュータをセンタ内に構築し、リモートからの運用が可能となる。
一方、第２の実施の形態では、割付処理及び割付処理毎の実行結果は、ネットワーク９上を流れるが、依頼処理全体及び依頼処理毎の実行結果は、ネットワーク９上を流れることがないので、安全性、機密性を向上することができる。
【００６９】
次に、並列処理システムにおける、ブロードキャスト通信による通信処理の詳細を説明する。
上記の第１の実施の形態及び第２の実施の形態に示した並列処理システムでは、マスタとスレーブ、端末装置等との間の通信に関しては、ブロードキャスト通信を用いて、通信データ、情報の授受（参加募集、参加応募、処理割付、実行結果の送信、実行結果の取得等）が行われる。
【００７０】
図７は、上述のマスタ２及びスレーブ７におけるブロードキャスト通信による通信処理の概略を示す図である。
尚、所定の通信処理に関する送信元と送信先のポート番号は、異なる場合があるが、説明の容易のため、所定の通信処理の種類毎にポート番号が設定され、送信元と送信先のポート番号は、同一であるものとして説明する。
【００７１】
図７に示すように、マスタ２には、２０００番ポート、２００１番ポート、２００２番ポート、２００３番ポート、２００４番ポート、…が設定され、スレーブ７−１には、２０００番ポート、２００１番ポート、スレーブ７−２には、２０００番ポート、２００２番ポート、スレーブ７−３には、２０００番ポート、２００３番ポート、スレーブ７−４には、２０００番ポート、２００４番ポート、…が設定される。
【００７２】
２０００番ポートは、マスタ２及び全てのスレーブ７の間の通信（例えば、参加募集）に関する通信ポートである。
２００１番ポートは、マスタ２とスレーブ７−１との間の通信（例えば、参加応募）に関する通信ポートである。
２００２番ポートは、マスタ２とスレーブ７−２との間の通信（例えば、参加応募）に関する通信ポートである。
２００３番ポートは、マスタ２とスレーブ７−３との間の通信（例えば、参加応募）に関する通信ポートである。
２００４番ポートは、マスタ２とスレーブ７−４との間の通信（例えば、参加応募）に関する通信ポートである。
【００７３】
マスタ２は、全てのスレーブ７に対して通信データを送信する場合（例えば、並列処理への参加募集を行う場合）、送信先ポート番号２０００を通信データに付加して、当該通信データをブロードキャスト通信によりネットワーク９に送出する。スレーブ７−１、７−２、７−３、７−４、…は、ポート番号２０００が設定されているので、当該通信データ（送信先ポート番号２０００）を受信する（ステップ１００１）。
【００７４】
スレーブ７−１は、マスタ２に対して通信データを送信する場合（例えば、並列処理への参加応募を行う場合）、送信先ポート番号２００１を通信データに付加して、当該通信データをブロードキャスト通信によりネットワーク９に送出する。マスタ２は、ポート番号２００１が設定されているので、当該通信データ（送信先ポート番号２００１）を受信する（ステップ１００２）。
【００７５】
同様にして、スレーブ７−２、７−４は、マスタ２に対して通信データを送信する場合、それぞれ、送信先ポート番号２００２、２００４を通信データに付加して、当該通信データをブロードキャスト通信によりネットワーク９に送出し、マスタ２は、ポート番号２００２、２００４が設定されているので、当該通信データ（送信先ポート番号２００２、２００４）を受信する（ステップ１００３、ステップ１００４）。
【００７６】
上記の説明では、参加募集、参加応募に関する通信処理を例としてあげたが、その他、割付処理の送受信、割付処理の実行結果の送受信等に関する通信処理に関しても、当該通信処理の種類毎に、必要に応じて、マスタ２、スレーブ７、端末装置５にポート番号を設定し、ポート番号を付加した通信データをブロードキャスト通信でネットワーク９に送出することにより、マスタ２及びスレーブ７、端末装置５の間で通信データの授受を行い、並列処理を実現することができる。尚、マスタ２が分散化、多重化されている場合は、同一の指示、同一の応答であっても、早着優先で処理するようにすればよい。
【００７７】
以上、添付図面を参照しながら、本発明に係る並列処理システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７８】
【発明の効果】
以上、詳細に説明したように本発明によれば、処理端末装置に稼働状況、処理能力等に応じて並列処理に係る処理を実行させ、並列処理の効率性及び高速性を向上させることができる並列処理システム等を提供することができる。
【図面の簡単な説明】
【図１】第１の形態に係る並列処理システム１００の概略構成を示す図
【図２】処理受付、参加募集、参加応募、処理割付、処理履歴管理等に係る処理の概略を示す図
【図３】処理実行、実行結果取得、処理履歴管理等に係る処理の概略を示す図
【図４】処理受付、参加募集、参加応募、処理割付、処理履歴管理等に係る処理の手順を示すフローチャート
【図５】処理実行、実行結果取得、処理履歴管理等に係る処理の手順を示すフローチャート
【図６】第２の実施の形態に係る並列処理システム２００の概略構成を示す図
【図７】ブロードキャスト通信による通信処理の概略を示す図
【符号の説明】
１００………並列処理システム
２００………並列処理システム
１………管理者
２………マスタ
３（３−１、３−２、…）………分散マスタ
４（４−１、４−２、…）………依頼者
５（５−１、５−２、…）………端末装置
６………スレーブ群
７（７−１、７−２、…）………スレーブ
９………ネットワーク
１１………参加応募機能
１２………処理実行機能
１３………処理受付機能
１４………参加募集機能
１５………処理割付機能
１６………実行結果取得機能（マスタ）
１７………実行結果取得機能（端末装置）
１８………処理履歴管理機能
３１………処理受付テーブル
３２………処理割付テーブル
３３………処理履歴テーブル

Claims (14)

1. 複数の処理端末装置と、１又は複数のサーバと、がネットワークを介して接続され、前記サーバに入力された依頼処理を並列処理により処理する並列処理システムであって、
   前記サーバは、
   前記依頼処理から、必要に応じて当該依頼処理を分割して、割付処理を生成し、前記処理端末装置に当該割付処理を割り付け送信し実行させる処理割付手段と、
   前記処理端末装置から所定の制限時間内に前記割付処理の実行結果が返信されなかった場合、別の処理端末装置に当該割付処理を割り付け送信し実行させる再割付手段と、
   を具備し、
   前記処理端末装置は、
   前記サーバから送られた前記割付処理を実行する割付処理実行手段と、
   前記割付処理の実行結果を前記サーバに送信する割付処理結果送信手段と、
   を具備することを特徴とする並列処理システム。
2. 前記サーバは、さらに、
   前記処理端末装置毎の処理能力に基づいて、前記制限時間を設定する制限時間設定手段と、
   を具備することを特徴とする請求項１に記載の並列処理システム。
3. 前記サーバは、さらに、
   前記処理端末装置毎の処理の履歴を保持する保持手段と、
   前記処理の履歴に基づいて前記処理能力を算出する処理能力算出手段と、
   を具備することを特徴とする請求項２に記載の並列処理システム。
4. 前記サーバは、
   前記処理端末装置に対して、ブロードキャスト通信により、前記並列処理への参加募集を行い、前記参加募集に対して参加応募している処理端末装置に前記割付処理を割り付け送信し実行させることを特徴とする請求項１から請求項３のいずれかに記載の並列処理システム。
5. 複数の処理端末装置にネットワークを介して接続され、入力された依頼処理を並列処理により処理する１又は複数のサーバであって、
   前記依頼処理から、必要に応じて当該依頼処理を分割して、割付処理を生成し、前記処理端末装置に当該割付処理を割り付け送信し実行させる処理割付手段と、
   前記処理端末装置から所定の制限時間内に前記割付処理の実行結果が返信されなかった場合、別の処理端末装置に当該割付処理を割り付け送信し実行させる再割付手段と、
   を具備することを特徴とするサーバ。
6. 前記処理端末装置毎の処理能力に基づいて、前記制限時間を設定する制限時間設定手段を具備することを特徴とする請求項５に記載のサーバ。
7. 前記処理端末装置毎の処理の履歴を保持する保持手段と、
   前記処理の履歴に基づいて前記処理能力を算出する処理能力算出手段と、
   を具備することを特徴とする請求項６に記載のサーバ。
8. 前記処理端末装置に対して、ブロードキャスト通信により、前記並列処理への参加募集を行い、前記参加募集に対して参加応募している処理端末装置に前記割付処理を割り付け送信し実行させることを特徴とする請求項５から請求項７のいずれかに記載のサーバ。
9. 複数の処理端末装置にネットワークを介して接続され、入力された依頼処理を並列処理により処理する１又は複数のサーバが、実行する並列処理方法であって、
   前記依頼処理から、必要に応じて当該依頼処理を分割して、割付処理を生成し、前記処理端末装置に当該割付処理を割り付け送信し実行させる処理割付工程と、
   前記処理端末装置から所定の制限時間内に前記割付処理の実行結果が返信されなかった場合、別の処理端末装置に当該割付処理を割り付け送信し実行させる再割付工程と、
   を具備することを特徴とする並列処理方法。
10. 前記処理端末装置毎の処理能力に基づいて、前記制限時間を設定する制限時間設定工程を具備することを特徴とする請求項９に記載の並列処理方法。
11. 前記処理端末装置毎の処理の履歴を保持する保持工程と、
    前記処理の履歴に基づいて前記処理能力を算出する処理能力算出工程と、
    を具備することを特徴とする請求項１０に記載の並列処理方法。
12. 前記処理端末装置に対して、ブロードキャスト通信により、前記並列処理への参加募集を行い、前記参加募集に対して参加応募している処理端末装置に前記割付処理を割り付け送信し実行させることを特徴とする請求項９から請求項１１のいずれかに記載の並列処理方法。
13. コンピュータを請求項５から請求項８のいずれかに記載のサーバとして機能させるプログラム。
14. コンピュータを請求項５から請求項８のいずれかに記載のサーバとして機能させるプログラムを記録した記録媒体。

Images