JP2015036963A - 情報処理システム、情報処理システムの制御方法および制御装置の制御プログラム - Google Patents

Abstract

【課題】情報処理システムにおいて統計情報の取得時間を短縮する。
【解決手段】複数のサーバ４と、複数のサーバ４を制御する制御ノード２とを備えた情報処理システム１において、制御ノード２は、複数のサーバ４のうちのいずれかを集約サーバ４−２として選択する選択部を備え、複数のサーバ４の各々は、集約サーバ４−２として選択されると、複数のサーバ４のそれぞれから個別統計情報３２を回収する回収部と、個別統計情報３２を集約して集約統計情報３３を生成する集約部とを有する。
【選択図】図１

Description

本件は、情報処理システム、情報処理システムの制御方法および制御装置の制御プログラムに関する。

近年、スーパーコンピュータに代表されるHigh Performance Computing（ＨＰＣ）システムなどの情報処理システムの開発が進んでいる。
図１４に、このような情報処理システム２０１のシステム構成を模式的に示す。
情報処理システム２０１は、制御ノード２０２、ジョブ管理サーバ２０３、複数のサーバ２０４−１〜４−ｉ（ｉは２以上の整数）、管理用端末２０５、及び複数の計算ノード２０６−１〜２０６−ｊ（ｊは２以上の整数）を備える。ここで、例えば、ｉは３０００、ｊは８００００である。

制御ノード２０２、ジョブ管理サーバ２０３、サーバ２０４−１〜２０４−ｉ、管理用端末２０５、及び計算ノード２０６−１〜２０６−ｊは、ＩｎｆｉｎｉＢａｎｄ（登録商標）やLocal Area Network（ＬＡＮ）などのネットワークにより相互に接続されており、相互に通信可能である。
制御ノード２０２は、制御サーバとも呼ばれ、情報処理システム２０１全体の管理及び構成を行なうサーバである。制御ノード２０２は、情報処理システム２０１に関するあらゆる管理を担い、後述するファイルシステム２４１や、システム構成、ジョブ、ユーザの管理を行なう。制御ノード２０２は、管理用端末２０５経由で、システム管理者からの各種操作を受け付けたり、情報処理システム２０１の状態の監視などを行なう。

ジョブ管理サーバ２０３は、サーバ機能を備えた情報処理装置であり、情報処理システム２０１で実行される全ジョブを管理する。
本情報処理システム２０１においては、後述する計算ノード２０６−１〜２０６−ｊのユーザがジョブを実行すると、そのジョブがジョブ管理サーバ２０３に登録され、ジョブが実行される。

サーバ２０４−１〜２０４−ｉは、それぞれ、同様の構成を有し、大量のデータを格納しているサーバであり、情報処理システム２０１の分散ファイルシステム２４１を構築している。分散ファイルシステム２４１は、情報処理システム２０１で実行される各種処理に用いられるデータや、処理の結果得られたデータ、システムの統計情報やシステムログ等の履歴データを記憶している。

サーバ２０４−１〜２０４−ｉに対しては、ファイルシステム２４１のクライアントである後述する計算ノード２０６−１〜２０６−ｊによってデータの読み書きが行なわれる。
管理用端末２０５は、システム管理者が、情報処理システム２０１の管理や保守の作業に用いる情報処理装置である。

計算ノード２０６−１〜２０６−ｊは、サーバ機能を備えた情報処理装置であり、主として各種演算処理を実行する。計算ノード２０６−１〜２０６−ｊは、同様の構成を有し、集合的に計算ノード群２４２を構成している。
計算ノード２０６−１〜２０６−ｊは、ネットワークを介してサーバ２０４−１〜２０４−ｉに接続されている。計算ノード２０６−１〜２０６−ｊは、ファイルシステム２４１のクライアントとしてサーバ２０４−１〜２０４−ｉのデータにアクセスし、当該データを使用して各種処理を行ない、処理結果をサーバ２０４−１〜２０４−ｉに書き込む。

このような大規模な分散ファイルシステム２４１においては、情報処理システム２０１で実行されるジョブの統計情報などの統計情報が収集される。このような統計情報は、システム管理者にとって、トラブル発生時の原因究明、システムの運用状況確認等を行なう上で有用なデータである。
情報処理システム２０１のトラブルはシステムの運用中に発生し、かつ情報処理システム２０１のユーザの利用状況はリアルタイムに変化する。このため、ユーザからトラブルの報告があった場合や、システム管理者がシステムの異常に気付いた際に、システム管理者はできるだけ迅速にファイルシステム２４１の統計情報を確認し、トラブルや異常の原因を特定することが望ましい。すなわち、情報処理システム２０１で取得される統計情報にはリアルタイム性が求められる。

特開平１１−１７５３７３号公報 特開２００３−１４０９５８号公報

しかし、ＨＰＣのような大規模システムでは、例えばクライアント（計算ノード２０６）の数が数万台、サーバ２０４の数が数千台であり、大規模な数のノード（情報処理装置）が存在する。このため、制御ノード２０２が、各サーバ２０４から統計情報を回収し、これらが集計されてシステム管理者が集計した統計情報を確認できるようになるまでに、かなりの時間がかかる。

したがって、ＨＰＣ分野で利用されるような大規模な分散ファイルシステム２４１を使用してジョブ運用が行なわれる状況では、トラブルの原因をリアルタイムで特定しようとしても、統計情報の取得に時間がかかってしまう。
例えば、クライアント（計算ノード）２０６が１００００台存在する場合、１台のサーバ２０４が１クライアントから統計情報を回収する時間を０．０１秒とすると、１００００クライアントの統計情報の回収には、１００００×０．０１＝１００秒かかる。

つまり、統計情報を取得した時点で既に１００秒の遅延が発生しており、統計情報をリアルタイムで得ることができず、トラブルの原因特定が困難となる。
加えて、各サーバ２０４が取得した統計情報を、制御ノード２０２が回収して集計する時間もかかるので、統計情報の取得までに、最終的に数分〜数十分の時間がかかってしまう。

又、システムの規模が大規模になるほど、統計情報を回収し、回収した統計情報を集計するための制御ノード２０２の処理負荷が高くなり、制御ノード２０２のメモリやＣＰＵ、ディスク、制御ノード２０２−サーバ２０４間の通信帯域など、多くの資源が消費される。
さらに、システム規模が大きくなるほど、情報処理システム１０１に存在するサーバ２０４の故障数も増え、故障等により応答できないサーバ２０４に対処する必要も生じ、統計情報の取得にさらに時間を要するようになる。

上記課題に鑑みて、１つの側面では、本発明は、情報処理システムにおいて統計情報の取得時間を短縮することを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の１つとして位置付けることができる。

このため、複数の情報処理装置と、前記複数の情報処理装置を制御する制御装置とを備えた情報処理システムが提供され、該情報処理システムにおいて、前記制御装置は、前記複数の情報処理装置のうちのいずれかを集約装置として選択する選択部を備え、前記複数の情報処理装置の各々は、集約装置として選択されると、前記複数の情報処理装置のそれぞれから履歴情報を回収する回収部と、前記履歴情報を集約して集約情報を生成する集約部と、を有する。

又、複数の情報処理装置と、前記複数の情報処理装置を制御する制御装置とを備えた情報処理システムの制御方法が提供され、該方法において、前記制御装置が、複数の情報処理装置のうちのいずれかを集約装置として選択し、前記制御装置が、前記複数の情報処理装置のそれぞれから履歴情報を収集し、前記制御装置が、前記複数の情報処理装置のそれぞれから収集した履歴情報を集約した集約情報を、前記集約装置に生成させる。

さらに、複数の情報処理装置を制御する制御装置の制御プログラムが提供され、該制御プログラムは、前記制御装置に、複数の情報処理装置のうちのいずれかを集約装置として選択させ、前記複数の情報処理装置のそれぞれから履歴情報を収集させ、前記複数の情報処理装置のそれぞれから収集した履歴情報を集約した集約情報を、前記集約装置に生成させる処理を実行させる。

開示の技術によれば、情報処理システムにおいて統計情報の取得時間を短縮することができる。

実施形態の一例としての情報処理システムのシステム構成を模式的に示す図である。 実施形態の一例としての情報処理システムにおける制御ノードのシステム構成を模式的に示す図である。 実施形態の一例としての情報処理システムにおけるサーバのシステム構成を模式的に示す図である。 実施形態の一例としての情報処理システムで使用されるノードリストを例示する図である。 実施形態の一例としての情報処理システムで使用されるサーバリストを例示する図である。 実施形態の一例としてのサーバが生成する個別統計情報を例示する図である。 実施形態の一例としての情報処理システムで使用されるジョブ情報を例示する図である。 実施形態の一例としての情報処理システムで使用されるジョブ統計情報を例示する図である。 実施形態の一例としての制御ノードの統計情報取得部の集約サーバ選択部の動作を模式的に示す図である。 実施形態の一例としての情報処理システムにおける統計情報収集時の動作を模式的に示す図である。 実施形態の一例としての情報処理システムにおける選択された集約サーバ候補の非応答時の動作を模式的に示す図である。 実施形態の一例としての情報処理システム全体の動作を模式的に示す図である。 実施形態の一例としての情報処理システム全体の動作を模式的に示すフローチャートである。 大規模情報処理システムのシステム構成を模式的に示す図である。

以下、図面を参照して、本実施形態の一例としての情報処理システム、情報処理システムの制御方法、及び制御装置の制御プログラムを説明する。
（Ａ）システム構成
最初に、図１〜図８を参照して、情報処理システム１の構成について説明する。
図１は、実施形態の一例としての情報処理システム１のシステム構成を示す図である。

情報処理システム１は、スーパーコンピュータなどの大規模情報処理システムであり、例えば数千〜数万台を超える多数の情報処理装置から構成されている。例えば、情報処理システム１は、天気予報、津波の到達予測、心筋のシミュレーションなど、膨大な演算処理を必要とする複雑な処理に用いられる。
情報処理システム１は、制御ノード（制御装置）２、ジョブ管理サーバ（管理装置）３、複数のサーバ（情報処理装置）４−１〜４−ｎ（ｎは２以上の整数）、管理用端末５、及び複数の計算ノード（クライアント装置）６−１〜６−ｍ（ｍは２以上の整数）を備える。ここで、例えば、ｎは３０００、ｍは８００００である。

制御ノード２、ジョブ管理サーバ３、サーバ４−１〜４−ｎ、管理用端末５、及び計算ノード６−１〜６−ｍは、ＩｎｆｉｎｉＢａｎｄやＬＡＮなどのネットワークにより相互に接続されており、相互に通信可能である。
制御ノード２は、制御サーバとも呼ばれ、情報処理システム１全体の管理及び構成を行なうサーバである。制御ノード２は、情報処理システム１に関するあらゆる管理を担い、ファイルシステム４１や、システム構成、ジョブ、ユーザの管理を行なう。後述する制御ノード２は、管理用端末５経由で、システム管理者からの各種操作を受け付けたり、情報処理システム１の状態の監視などを行なう。

運用中の制御ノード２は、情報処理システム１に１台存在する。制御ノード２からの全ての操作は管理者及び管理者に準じたユーザのみが行なうことが可能で、一般ユーザは制御ノード２から操作を行なうことはできない。
又、後述するように、制御ノード２は、ローテーション間隔（ｔ１；第１の時間間隔）おきに、サーバ４−１〜４−ｎのうちのいずれかを、統計情報を集約する集約サーバ（収集装置）の候補（以下、単に「集約サーバ候補」とも呼ぶ）として選択する。なお、制御ノード２の詳細な構成及び機能については図２を参照して後述する。

このため、制御ノード２はファイルシステム４１を構成するサーバ４のInternet Protocol（ＩＰ）アドレスが列挙されたサーバリスト３１を有し、このサーバリスト３１を用いて集約サーバ候補を選択する。
ジョブ管理サーバ３は、サーバ機能を備えた情報処理装置であり、情報処理システム１で実行される全ジョブを管理し、これらジョブの情報をジョブ情報３４として有している。ジョブ管理サーバ３は、制御ノード２からのジョブ情報問い合わせに応答して、ジョブ情報３４をジョブ管理サーバ３に送信する。ジョブ管理サーバ３としては、一般的なサーバコンピュータを用いることができる。

本情報処理システム１においては、後述する計算ノード６−１〜６−ｍのユーザがジョブを実行すると、そのジョブがジョブ管理サーバ３に登録され、ジョブが実行される。
サーバ４−１〜４−ｎは、それぞれ、同様の構成を有し、大量のデータを格納しているサーバであり、情報処理システム１の分散ファイルシステム４１を構築している。サーバ４−１〜４−ｎの詳細な構成及び機能については図３を参照して後述する。

分散ファイルシステム４１は、情報処理システム１で実行される各種処理に用いられるデータや、処理の結果得られたデータ、システムの統計情報やシステムログ等の履歴データを記憶している。
サーバ４−１〜４−ｎに対しては、ファイルシステム４１のクライアントである後述する計算ノード６−１〜６−ｍによってデータの読み書きが行なわれる。

又、サーバ４−１〜４−ｎは、回収間隔（ｔ２；第２の時間間隔）毎に、個別統計情報３２を保存する。さらに、制御ノード２によってサーバ４のうちのいずれかが集約サーバ４として選択（指定）され、各サーバ４は、保存した個別統計情報３２を、この集約サーバ４に転送する。
ここで、統計情報とは、ファイルシステム４１に対して行なわれる各種アクティビティを記録している情報である。ファイルシステム４１に対して行なわれるアクティビティには、例えば、ファイルの書き込み、ファイルの読み込み、ファイルの作成又は削除、ファイルデータの同期、更新、属性変更など、ファイルやディレクトリに関するあらゆる操作が含まれる。

統計情報は、ファイルシステム４１の起動後からの累積データとして記録されており、個別統計情報３２は、この統計情報３２から、回収間隔における統計情報を切り出す（抽出する）ことにより生成される。個別統計情報３２の詳細については、図６を用いて後述する。
管理用端末５は、システム管理者が、情報処理システム１の管理や保守の作業に用いる情報処理装置である。例えば、ファイルシステム４１で問題が発生した際に、システム管理者は、管理用端末５を用いて、ファイルシステム４１の負荷の状況やファイルアクセスの傾向を確認するためにファイルシステム４１の集約統計情報３３を確認する。集約統計情報３３については後述する。

管理用端末５としては、例えば一般的なパーソナルコンピュータ（Personal Computer；ＰＣ）を用いることができる。
計算ノード６−１〜６−ｍは、サーバ機能を備えた情報処理装置であり、主として各種演算処理を実行する。計算ノード６−１〜６−ｍは、同様の構成を有し、集合的に計算ノード群４２を構成している。

計算ノード６−１〜６−ｍは、ネットワークを介してサーバ４−１〜４−ｎに接続されている。計算ノード６−１〜６−ｍは、ファイルシステム４１のクライアントとしてサーバ４−１〜４−ｎのデータにアクセスし、当該データを使用して各種処理を行ない、処理結果をサーバ４−１〜４−ｎに書き込む。このため、以降、計算ノード６−１〜６−ｍを、クライアント６−１〜６−ｍとも称することがある。

計算ノード６−１〜６−ｍとしては、一般的なサーバコンピュータを用いることができる。
なお、以下、サーバを示す符号としては、複数のサーバのうち１つを特定する必要があるときには符号４−１〜４−ｎを用いるが、任意のサーバを指すときには符号４を用いる。

又、以下、計算ノード（クライアント）を示す符号としては、複数の計算ノードのうち１つを特定する必要があるときには符号６−１〜６−ｍを用いるが、任意の計算ノードを指すときには符号６を用いる。
情報処理システム１においては、ファイルシステム４１の規模が大きくなるほどサーバ４の数も増え、ファイルシステム４１のクライアント（計算ノード５）の数も増える。

図２は、実施形態の一例としての情報処理システム１における制御ノード２のシステム構成を模式的に示す図である。
制御ノード２は、Central Processing Unit（ＣＰＵ）１１、メモリ１２、ディスクドライブ１３、Network Interface Card（ＮＩＣ）１４、及びInput/Output Interface（Ｉ／Ｏ Ｉ／Ｆ）１５を備える。

ＣＰＵ１１は、種々の制御や演算を行なう処理装置であり、後述するメモリ１２やディスクドライブ１３に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。ＣＰＵ１１としては、例えば、公知のＣＰＵを用いることができる。
メモリ１２は、ＣＰＵ１１が実行するプログラムや種々のデータや、ＣＰＵ１１の動作により得られたデータ等を一時的に格納する。メモリ１２としては、例えば、Random Access Memory（ＲＡＭ）などの公知のメモリを用いることができる。

ディスクドライブ１３は、データを記憶するための記憶領域を有する記憶装置であり、例えば、ノードリスト３０及びサーバリスト３１のほか、プログラムやデータを格納している。ディスクドライブ１３としては、公知のHard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）などを用いることができる。ノードリスト３０及びサーバリスト３１については、それぞれ図４及び図５を用いて後述する。

ＮＩＣ１４は、ＬＡＮ等のネットワークを介して制御ノード２をネットワークに接続するためのネットワークアダプタであり、例えば、ＬＡＮカードである。
Ｉ／Ｏ Ｉ／Ｆ１５は、制御ノード２を外部の機器に接続するためのインタフェースであり、例えば、Universal Serial Bus（ＵＳＢ）アダプタである。
制御ノード２には、Ｉ／Ｏ Ｉ／Ｆ１５を介して、媒体リーダ１６やディスプレイ１７が接続されている。

媒体リーダ１６は、ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ等）、Ｂｌｕ Ｒａｙなどの記録媒体１９の読み書きを行なうドライブ装置である。図２では媒体リーダ１６が制御ノード２の外付けのドライブとして表示されているが、媒体リーダ１６が制御ノード２に内蔵されていてもよい。

ディスプレイ１７は、種々の情報を表示可能な表示装置であり、例えば、液晶ディスプレイやCathode Ray Tube（ＣＲＴ）である。図２ではディスプレイ１７が制御ノード２の外付けのディスプレイとして表示されているが、ディスプレイ１７が制御ノード２に内蔵されていてもよい。
ＣＰＵ１１は、例えば、ディスクドライブ１３に格納されている不図示のプログラムを実行することにより、統計情報取得部１８として機能する。

統計情報取得部１８は、サーバ４のうちのいずれかを集約サーバ４として選択すると共に、管理用端末５経由でシステム管理者からの統計情報取得指示を受け、集約サーバ４からクライアント６毎の集計統計情報３３を取得して、管理用端末５に転送する。
統計情報取得部１８は、集約サーバ選択部（選択部）１８１、集約サーバ通知部（通知部）１８２、統計情報取得依頼部１８３、統計情報受信部１８４、ジョブ情報取得部１８５、及び統計情報出力部（送信部）１８６を備える。

集約サーバ選択部１８１は、所定のローテーション間隔（ｔ１）毎に、サーバリスト３１に基づいて、サーバ４のうちのいずれかを集約サーバ候補として選択する。集約サーバ選択部１８１は、サーバリスト３１の先頭から順にサーバ４を集約サーバ候補として選択する。
ここで、ローテーション間隔は、情報処理システム１におけるジョブの運用状況に応じて管理者が決定する。例えば、システム管理者はローテーション間隔として１０分を設定する。

なお、厳密には、集約サーバ選択部１８１は、サーバリスト３１を用いて複数のサーバ４の中から集約サーバ４の「候補」を選択する。そして、その候補のサーバ４が応答可能である（すなわち、故障等が発生していない）ときに、そのサーバ４が集約サーバとして機能する。しかし、以下の説明では、簡潔を期するために、集約サーバ選択部１８１が選択する集約サーバ候補４を単に「集約サーバ４」とも呼ぶ。

集約サーバ候補として選択したサーバ４からの応答がなければ、集約サーバ選択部１８１は、サーバリスト３１の次のサーバ４を集約サーバ候補として選択する。なお、サーバリスト３１の最後のサーバ４を選択すると、集約サーバ選択部１８１は、サーバリスト３１の先頭に戻って先頭のサーバ４を選択する。
集約サーバ通知部１８２は、集約サーバ選択部１８１が選択した集約サーバ４の候補に対して、集約サーバ４として選択された旨の通知を行なう。この通知に対し、選択したサーバ４から応答がなければ、集約サーバ選択部１８１はサーバリスト３１の次のサーバ４を集約サーバ候補として選択する。この選択は、集約サーバ４の候補から応答があるまで繰り返される。

集約サーバ候補のサーバ４から応答があると、集約サーバ通知部１８２は、選択された集約サーバ４を特定する情報（本例ではＩＰアドレス）を、全サーバ４に通知する。
統計情報取得依頼部１８３は、管理用端末５経由でシステム管理者から統計情報取得指示を受信し、集約サーバ４に統計情報取得依頼を送信する。
統計情報受信部１８４は、後述する集約サーバ４の統計情報送信部２８６から、クライアント６毎に集計された集約統計情報３３を受け取る。

ジョブ情報取得部１８５は、ジョブ管理サーバ３から、情報処理システム１で実行されるジョブに関するジョブ情報３４を取得する。なお、ジョブ情報３４については、図７を参照して後述する。
統計情報出力部１８６は、後述するノードリスト３０と、ジョブ情報取得部１８５が取得したジョブ情報３４とを基に、統計情報受信部１８４が取得した集約統計情報３３から、ジョブ毎の統計情報であるジョブ統計情報３５（図８参照）を集計し、管理用端末５に送信する。

システム管理者は、統計情報取得指示の出力結果として、このジョブ統計情報３５を管理用端末５から閲覧することにより、情報処理システム１の運用状況を把握することができる。
なお、統計情報取得部１８、集約サーバ選択部１８１、集約サーバ通知部１８２、統計情報取得依頼部１８３、統計情報受信部１８４、ジョブ情報取得部１８５、及び統計情報出力部１８６としての機能を実現するためのプログラム（制御装置の制御プログラム）は、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータ（制御装置）はその記録媒体１９から媒体リーダ１６を介してプログラムを読み取って内部記録装置又は外部記録装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体１９）に記録しておき、その記憶装置から通信経路を介してコンピュータ（制御装置）に提供してもよい。

統計情報取得部１８、集約サーバ選択部１８１、集約サーバ通知部１８２、統計情報取得依頼部１８３、統計情報受信部１８４、ジョブ情報取得部１８５、及び統計情報出力部１８６としての機能を実現する際には、ディスクドライブ１３に格納されたプログラムがコンピュータ（制御装置）のマイクロプロセッサ（本実施形態では制御ノード２のＣＰＵ１１）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータ（制御装置）が読み取って実行してもよい。

図３は、実施形態の一例としての情報処理システム２におけるサーバ４のシステム構成を模式的に示す図である。
サーバ４は、ＣＰＵ２１、メモリ２２、ディスクドライブ２３、ＮＩＣ２４、及びＩ／Ｏ Ｉ／Ｆ２５を備える。
ＣＰＵ２１は、種々の制御や演算を行なう処理装置であり、後述するメモリ２２やディスクドライブ２３に格納されたＯＳやプログラムを実行することにより、種々の機能を実現する。ＣＰＵ２１としては、例えば、公知のＣＰＵを用いることができる。

メモリ２２は、後述する個別統計情報３２のほか、ＣＰＵ２１が実行するプログラムや種々のデータや、ＣＰＵ２１の動作により得られたデータ等を一時的に格納する。メモリ２２としては、例えば、ＲＡＭなどの公知のメモリを用いることができる。
ディスクドライブ２３は、データを記憶するための記憶領域を有する記憶装置であり、例えば、後述する集約統計情報３３のほか、プログラムやデータを格納している。ディスクドライブ２３としては、公知のＨＤＤやＳＳＤなどを用いることができる。

ＮＩＣ２４は、ＬＡＮ等のネットワークを介してサーバ４をネットワークに接続するためのネットワークアダプタであり、例えば、ＬＡＮカードである。
Ｉ／Ｏ Ｉ／Ｆ２５は、サーバ４を外部の機器に接続するためのインタフェースであり、例えば、ＵＳＢアダプタである。
サーバ４には、Ｉ／Ｏ Ｉ／Ｆ２５を介して、媒体リーダ２６やディスプレイ２７が接続されている。

媒体リーダ２６は、ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ等）、Ｂｌｕ Ｒａｙなどの記録媒体２９の読み書きを行なうドライブ装置である。図３では媒体リーダ２６がサーバ４の外付けのドライブとして表示されているが、媒体リーダ２６がサーバ４に内蔵されていてもよい。

ディスプレイ２７は、種々の情報を表示可能な表示装置であり、例えば、液晶ディスプレイやＣＲＴである。図３ではディスプレイ２７がサーバ４の外付けのディスプレイとして表示されているが、ディスプレイ２７がサーバ４に内蔵されていてもよい。
ＣＰＵ２１は、例えば、ディスクドライブ２３に格納されている不図示のプログラムを実行することにより、統計情報管理部２８として機能する。

統計情報管理部２８は、サーバ４の個別統計情報３２を作成すると共に、自サーバ４が集約サーバ４である場合に、他サーバ４から個別統計情報３２を受け取り、集約統計情報３３を生成する。統計情報管理部２８は、統計情報生成部２８１、統計情報回収部（回収部）２８２、受信部２８３、集約サーバ判定部２８４、統計情報集約部（集約部）２８５、及び統計情報送信部２８６を備える。

統計情報生成部２８１は、所定の回収間隔（ｔ２）経過後に、当該回収間隔におけるクライアント（計算ノード）６毎の自サーバ４へのアクセスのアクティビティを記録した個別統計情報３２を生成する。個別統計情報３２については、図６を用いて後述する。
各サーバ４は、ファイルシステム４１のサービスが起動した時点からの累積の統計情報を保持しており、統計情報生成部２８１は、この累積統計情報から、所定時間（回収間隔）における統計情報３２を切り出し（抽出し）て、個別統計情報３２を生成する。

統計情報回収部２８２は、自サーバ４が集約サーバ４である場合に、回収間隔（ｔ２）毎に、他のサーバ４に対し個別統計情報転送依頼を発行して、他のサーバ４から個別統計情報３２を回収する。
ここで、回収間隔とは、統計情報回収部２８２が他のサーバ４に対して個別統計情報転送依頼を発行する時間間隔を指す。この回収間隔は、ジョブの運用状況に応じて管理者が決定する。例えば、管理者は、ジョブ運用中に制御ノード２からジョブ統計情報３５を参照して、実行されるジョブの実行時間の傾向から回収間隔を決定する。

例えば、実行されるジョブが３０分程度で終了することが多い場合、３０分間以内の統計情報集約が必要となることが多いと考えられ、回収間隔に３０分以内の値が設定される。
受信部２８３は、制御ノード２から通知される集約サーバ４のＩＰアドレスを受信する。又、受信部２８３は、制御ノード２から統計情報取得依頼を受信する。

集約サーバ判定部２８４は、受信部２８３が受信した集約サーバ４のＩＰアドレスに基づいて、自サーバ４が集約サーバ４であるかどうかを判定する。
統計情報集約部２８５は、自サーバ４が集約サーバ４である場合、自サーバ４の統計情報生成部２８１が生成した個別統計情報３２と、他サーバ４から受け取った個別統計情報３２とを集約し、ファイルシステム４１全体の集約統計情報３３（図６参照）を生成する。

統計情報送信部２８６は、受信部２８３が制御ノード２から統計情報取得依頼を受信すると、統計情報集約部２８５が生成した集約統計情報３３を管理ノード２に送信する。
なお、統計情報管理部２８、統計情報生成部２８１、統計情報回収部２８２、受信部２８３、集約サーバ判定部２８４、統計情報集約部２８５、及び統計情報送信部２８６としての機能を実現するためのプログラム（情報処理装置の制御プログラム）は、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータ（情報処理装置）はその記録媒体２９から媒体リーダ２６を介してプログラムを読み取って内部記録装置又は外部記録装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体２９）に記録しておき、その記憶装置から通信経路を介してコンピュータ（情報処理装置）に提供してもよい。

統計情報管理部２８、統計情報生成部２８１、統計情報回収部２８２、受信部２８３、集約サーバ判定部２８４、統計情報集約部２８５、及び統計情報送信部２８６としての機能を実現する際には、ディスクドライブ２３に格納されたプログラムがコンピュータ（情報処理装置）のマイクロプロセッサ（本実施形態ではサーバ４のＣＰＵ２１）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータ（情報処理装置）が読み取って実行してもよい。

図４は、実施形態の一例としての情報処理システム１で使用されるノードリスト３０を例示する図である。
ノードリスト３０は、情報処理システム１に存在する全ノード（制御ノード２、ジョブ管理サーバ３、サーバ４、管理用端末５、計算ノード６等）を列挙するテーブルである。
ノードリスト３０は、ノードＩＤ３０１と、ＩＰアドレス３０２とを対応付けている。

ノードＩＤ３０１は、ノードを一意に識別するノードＩＤを示す。ノードＩＤとしては、例えば、ノード名が用いられる。
ＩＰアドレス３０２は、ノードのＩＰアドレスを示す。
図５は、実施形態の一例としての情報処理システム１で使用されるサーバリスト３１を例示する図である。

サーバリスト３１は、情報処理システム１に存在するサーバ４のＩＰアドレスを列挙するテーブルである。
なお、図５の例ではサーバ４のＩＰアドレスしか図示されていないが、サーバ４のＩＰアドレスと共にサーバ４のＩＤ（名称等）が列挙されていてもよい。
図６は、実施形態の一例としてのサーバ４が生成する個別統計情報３２を例示する図である。

個別統計情報３２は、この個別統計情報３２を生成したサーバ４に接続する各クライアント６が行なったファイルシステム４１に対する各種アクティビティに関する統計情報を含む。この統計情報は、クライアント６毎の統計値として集計される。
図６の例では、個別統計情報３２には、ＩＰＡＤＤＲ、ＯＰＥＮ、ＣＬＯＳＥ、ＵＮＬＩＮＫ、ＭＫＤＩＲ、ＲＭＤＩＲ、ＲＥＮＡＭＥ、ＧＥＴＡＴＴＲ、ＳＥＴＡＴＴＲ、及びＳＴＡＴＦＳの各エントリが含まれる。

なお、個別統計情報３２として出力されるエントリは数十種類あるが、簡潔を期するため図６には代表的なエントリのみを図示している。
本例では、ＩＰＡＤＤＲは、ジョブを実行したクライアント（計算ノード）６のＩＰアドレスを示す。
ＯＰＥＮは、ジョブによってファイルがオープンされた回数を示す。

ＣＬＯＳＥは、ジョブによってファイルがクローズされた回数を示す。
ＵＮＬＩＮＫは、ジョブによってファイルが削除された回数を示す。
ＭＫＤＩＲは、ジョブによってディレクトリが作成された回数を示す。
ＲＭＤＩＲは、ジョブによってディレクトリが削除された回数を示す。
ＲＥＮＡＭＥは、ジョブによってファイル又はディレクトリがリネームされた回数を示す。

ＧＥＴＡＴＴＲは、ジョブによってファイル又はディレクトリの属性が読み出された回数を示す。
ＳＥＴＡＴＴＲは、ジョブによってファイル又はディレクトリの属性が設定された回数を示す。
ＳＴＡＴＦＳは、ジョブによって、ファイルシステム４１のステータスが確認された回数を示す。

ここで、上記のエントリのうち、一般に統計情報は、ＯＰＥＮ、ＣＬＯＳＥ、ＵＮＬＩＮＫ、ＭＫＤＩＲ、ＲＭＤＩＲ、ＲＥＮＡＭＥ、ＧＥＴＡＴＴＲ、ＳＥＴＡＴＴＲ、及びＳＴＡＴＦＳを指す。
なお、集約サーバ４は、各サーバ４が集計した個別統計情報３２を足し合わせることで、集計統計情報３３を生成するので、集計統計情報３３は、図６の個別統計情報３２と同様のデータを有する。このため、集計統計情報３３についてはその図示並びに説明を省略する。

図７は、実施形態の一例としての情報処理システム１で使用されるジョブ情報３４を例示する図である。
ジョブ情報３４は、情報処理システム１で実行されるジョブに関する情報であり、ジョブ情報取得部１８５によって、ジョブ管理サーバ３から取得される。
図７の例では、ジョブ情報３４には、ＪＯＢ ＩＤ、ＪＯＢ ＮＡＭＥ、ＪＯＢ ＴＹＰＥ、ＪＯＢ ＭＯＤＥＬ、ＲＥＴＲＹ ＮＵＭ、ＳＵＢ ＪＯＢ ＮＵＭ、ＵＳＥＲ、ＧＲＯＵＰ、ＲＥＳＯＵＲＣＥ ＵＮＩＴ、ＲＥＳＯＵＲＣＥ ＧＲＯＵＰ、ＬＡＳＴ ＳＴＡＴＥ、ＳＴＡＴＥ ＲＵＮ、ＮＯＤＥ ＮＵＭ（ＡＬＬＯＣ）、ＮＯＤＥ ＮＵＭ（ＵＳＥ）、ＮＯＤＥ ＩＤ（ＵＳＥ）３４１、ＴＯＦＵ ＣＯＯＲＤＩＮＡＴＥ（ＵＳＥ）の各エントリが含まれる。

本例では、ＪＯＢ ＩＤは、情報処理システム１上で実行されるジョブを一意に特定するためのジョブＩＤである。前述のように、ジョブＩＤは、各ジョブに対しジョブ管理サーバ３によって割り当てられる。
ＪＯＢ ＮＡＭＥは、ジョブを実行したユーザ等によって指定されたジョブの名称を示す。

ＪＯＢ ＴＹＰＥは、ジョブの種類を示し、例えば、ジョブがバッチジョブであることを示す「ＢＡＴＣＨ」などが使用される。
ＪＯＢ ＭＯＤＥＬは、ジョブのモデルであり、例えば、ジョブがバルクジョブ（１台の計算ノードで複数のジョブを実行する）であることを示す「ＢＵ」などが使用される。
ＲＥＴＲＹ ＮＵＭは、ジョブのリトライ回数を示す。

ＳＵＢ ＪＯＢ ＮＵＭは、ジョブが実行するサブジョブの数を示す。
ＵＳＥＲは、ジョブを実行したジョブ実行ユーザのユーザ名を示す。
ＧＲＯＵＰは、ジョブを実行したユーザが所属するグループを示す。
ＲＥＳＯＵＲＣＥ ＵＮＩＴは、ジョブの実行単位であるリソースユニットの名称を示す。

ＲＥＳＯＵＲＣＥ ＧＲＯＵＰは、リソースユニットのグループ名を示す。
ＬＡＳＴ ＳＴＡＴＥは、ジョブの以前のステータス（準備中、実行中等）を示す。例えば、「ＲＮＡ」はジョブが準備中であったことを示す。
ＳＴＡＴＥは、ジョブの以前のステータス（準備中、実行中等）を示す。例えば、「ＲＵＮ」はジョブが実行中であることを示す。

ＮＯＤＥ ＮＵＭ（ＡＬＬＯＣ）は、ジョブに割り当てられる計算ノード６の数を示す。
ＮＯＤＥ ＮＵＭ（ＵＳＥ）は、ジョブに使用される計算ノード６の数を示す。
ＮＯＤＥ ＩＤ（ＵＳＥ）３４１は、ジョブに使用される計算ノード６のＩＤを示す。ここに記載される計算ノード６のノードＩＤは、図４に列挙されているＩＤに対応する。このノードＩＤは、前述の制御ノード２の統計情報出力部１８６によって、クライアント６毎のジョブ統計情報３５を生成する際に使用される。

ＴＯＦＵ ＣＯＯＲＤＩＮＡＴＥ（ＵＳＥ）は、ジョブに使用される計算ノード６の座標を示す。この座標は例示に過ぎず、情報処理システム１の実装によっては、使用されないこともあれば、別の座標系が使用されることもある。
なお、図７のジョブ情報３４は例示に過ぎず、情報処理システム１やジョブ管理サーバ３の構成や実装などに応じて、ジョブ管理サーバ３から取得されるジョブ情報３４の形式等が適宜変更されてもよい。

図８は、実施形態の一例としての情報処理システム１で使用されるジョブ統計情報３５を例示する図である。
ジョブ統計情報３５は、情報処理システム１で実行されている全ジョブについて、ジョブ毎の各種情報や統計情報を含む。
図８の例では、ジョブ統計情報３５には、ＪＯＢ＿ＩＤ、ＪＯＢ＿ＮＡＭＥ、ＵＳＥＲ、ＧＲＯＵＰ、ＯＰＥＮ、ＣＬＯＳＥ、ＵＮＬＩＮＫ、ＭＫＤＩＲ、ＲＭＤＩＲ、ＲＥＮＡＭＥ、ＧＥＴＡＴＴＲ、ＳＥＴＡＴＴＲ、及びＳＴＡＴＦＳの各エントリが含まれる。

なお、ジョブ統計情報３５として出力されるエントリは数十種類あるが、簡潔を期するため図８には代表的なエントリのみを図示している。
本例では、ＪＯＢ＿ＩＤは、情報処理システム１上で実行されるジョブを一意に特定するためのジョブＩＤである。ジョブＩＤは、ジョブ毎にジョブ管理サーバ３によって割り当てられる。

ＪＯＢ＿ＮＡＭＥは、ジョブを実行したユーザ等によって指定され、ジョブの名称を示す。ジョブの名称は、図７に図示したジョブ情報３４から、ジョブＩＤを基に取得される。
ＵＳＥＲは、ジョブを実行したジョブ実行ユーザのユーザ名を示す。
ＧＲＯＵＰは、ジョブを実行したユーザが所属するグループを示す。

ＯＰＥＮは、ファイルシステム４１の全体で、ジョブによってファイルがオープンされた回数を示す。
ＣＬＯＳＥは、ファイルシステム４１の全体で、ジョブによってファイルがクローズされた回数を示す。
ＵＮＬＩＮＫは、ファイルシステム４１の全体で、ジョブによってファイルが削除された回数を示す。

ＭＫＤＩＲは、ファイルシステム４１の全体で、ジョブによってディレクトリが作成された回数を示す。
ＲＭＤＩＲは、ファイルシステム４１の全体で、ジョブによってディレクトリが削除された回数を示す。
ＲＥＮＡＭＥは、ファイルシステム４１の全体で、ジョブによってファイル又はディレクトリがリネームされた回数を示す。

ＧＥＴＡＴＴＲは、ファイルシステム４１の全体で、ジョブによって属性が読み出された回数を示す。
ＳＥＴＡＴＴＲは、ファイルシステム４１の全体で、ジョブによって属性が設定された回数を示す。
ＳＴＡＴＦＳは、ファイルシステム４１の全体で、ジョブによって、ファイルシステム４１のステータスが確認された回数を示す。

なお、図８のジョブ統計情報３５は例示に過ぎず、情報処理システム１や制御ノード２の構成や実装などに応じて、ジョブ統計情報３５の形式等が適宜変更されてもよい。
（Ｂ）システム動作
以下、図９〜図１３を参照して、情報処理システム１の動作について説明する。
図９は、実施形態の一例としての制御ノード２の統計情報取得部１８の集約サーバ選択部１８１の動作を模式的に示す図（ステップＳ１〜Ｓ５）である。

図９は、集約サーバ選択部１８１が、ローテーション間隔（ｔ１）として１０分おきにサーバリスト３１から集約サーバ４を選択する例を示す。
ステップＳ１において、集約サーバ選択部１８１はサーバリスト３１の先頭に記載されているＩＰアドレスが割り振られているサーバ４を、集約サーバ４として選択する。
ステップＳ１の１０分後、ステップＳ２において、集約サーバ選択部１８１はサーバリスト３１の２番目に記載されているＩＰアドレスが割り振られているサーバ４を、集約サーバ４として選択する。

ステップＳ２の１０分後、ステップＳ３において、集約サーバ選択部１８１はサーバリスト３１の３番目に記載されているＩＰアドレスが割り振られているサーバ４を、集約サーバ４として選択する。
ステップＳ３の１０分後、ステップＳ４において、集約サーバ選択部１８１はサーバリスト３１の最後（本例では４番目）に記載されているＩＰアドレスが割り振られているサーバ４を、集約サーバ４として選択する。

ステップＳ４の１０分後、ステップＳ５において、集約サーバ選択部１８１はサーバリスト３１の先頭に戻り、先頭に記載されているＩＰアドレスが割り振られているサーバ４を、集約サーバ４として選択する。
又、図９の例では、サーバリスト３１に４つのＩＰアドレスが記載されていたが、サーバリスト３１に記載されているＩＰアドレスの個数は４以外であってもよい。

図１０は、実施形態の一例としての情報処理システム１における統計情報収集時の動作を模式的に示す図（ステップＳ１１〜Ｓ１６）である。
ステップＳ１１において、制御ノード２の統計情報取得部１８の集約サーバ選択部１８１が、サーバリスト３１から集約サーバ候補（本例ではサーバ４−１）を選択する。
ステップＳ１２において、統計情報取得部１８の集約サーバ通知部１８３が、ステップＳ１１で集約サーバ選択部１８１が選択した集約サーバ候補のサーバ４に、集約サーバ候補通知を送信する。

ステップＳ１３において、集約サーバ候補のサーバ４の受信部２８３が、集約サーバ候補通知を受信して、制御ノード２に応答を返す。
次にステップＳ１４において、統計情報取得部１８の集約サーバ通知部１８３は、全サーバ４に対し、集約サーバ通知として、ステップＳ１１で選択した集約サーバ４のＩＰアドレスを通知する。

ステップＳ１５において、集約サーバ４以外の各サーバ４の統計情報送信部２８６は、自サーバ４の統計情報生成部２８１が集計し、メモリ２２に記憶している個別統計情報３２を集約サーバ４−１に転送する。
ステップＳ１６において、集約サーバ４−１の統計情報集約部２８５は、自サーバ４のメモリ２２に記憶している個別統計情報３２と、ステップＳ１５で回収した個別統計情報３２とをクライアント６毎に合算し、クライアント６毎の集約統計情報３３を作成する。

なお、前述のように、集約サーバ４−１が生成する集約統計情報３３は、クライアント（計算ノード）６のＩＰアドレス毎の統計情報である。このため、制御ノード２のジョブ情報取得部１８５は、例えば前述のノードリスト３０とジョブ情報３４とを用いて、同じジョブを実行している全ての計算ノード５の統計情報の値を足し合わせることにより、ジョブ統計情報３５を生成する。

図１１は、実施形態の一例としての情報処理システム１における選択された集約サーバ候補４の非応答時の動作を模式的に示す図（ステップＳ２１〜Ｓ２８）である。
ステップＳ２１において、制御ノード２の統計情報取得部１８の集約サーバ選択部１８１が、サーバリスト３１から集約サーバ候補（本例ではサーバ４−２）を選択する。
ステップＳ２２において、統計情報取得部１８の集約サーバ通知部１８３が、ステップＳ２１で集約サーバ選択部１８１が選択した集約サーバ候補のサーバ４に、集約サーバ候補通知を送信する。

ステップＳ２３において、集約サーバ選択部１８１は、ステップＳ２２で集約サーバ候補通知を送信した集約サーバ候補４−２からの応答を待機するが、集約サーバ候補４−２から応答が返されない。
例えば、集約サーバ候補通知を送信した後、所定時間内に応答を受信しない場合には、ステップＳ２４において、集約サーバ選択部１８１が、サーバリスト３１から次の集約サーバ候補（本例ではサーバ４−３）を選択する。

ステップＳ２５において、集約サーバ通知部１８３が、ステップＳ２４で集約サーバ選択部１８１が選択した集約サーバ候補のサーバ４−３に、集約サーバ候補通知を送信する。
ステップＳ２６において、集約サーバ候補４−３の受信部２８３が、集約サーバ候補通知を受信して、制御ノード２に応答を返す。

次に、制御ノード２の集約サーバ通知部１８３は、全サーバ４に対し、集約サーバ通知として、ステップＳ２４で選択した集約サーバ４のＩＰアドレスを通知する。
ステップＳ２７において、サーバ４−２，４−３以外のサーバ４の統計情報送信部２８６は、自サーバ４の統計情報生成部２８１が集計し、メモリ２２に記憶している個別統計情報３２を集約サーバ４−３に転送する。しかしサーバ４−２は故障等が発生しているため、個別統計情報３２を転送することができない。

ステップＳ２８において、集約サーバ４の統計情報集約部２８５は、自サーバ４のメモリ２２に記憶している個別統計情報３２と、ステップＳ２７で回収した個別統計情報３２とをクライアント６毎に合算し、サーバ４−２以外の統計情報を除く、クライアント６毎の集約統計情報３３を作成する。
図１２は、実施形態の一例としての情報処理システム１全体の動作を模式的に示す図（ステップＳ３１〜Ｓ４９）である。

ステップＳ３１において、制御ノード２の集約サーバ選択部１８１が、サーバリスト３１から複数のサーバ４のうちのいずれか（本例ではサーバ４−１）を集約サーバ４として選択し、集約サーバ通知部１８２が、サーバ４−１に集約サーバ候補通知を送信する。
ステップＳ３２において、サーバ４−１の受信部２８３が集約サーバ候補通知を受信して、制御ノード２に対して応答を返す。

次にステップＳ３３において、制御ノード２の集約サーバ通知部１８２が、全サーバ４に対して集約サーバのＩＰアドレスを、集約サーバ通知として送信する。
ステップＳ３４〜Ｓ３６において、サーバ４−１〜４−ｎの統計情報生成部２８１が、自サーバ４にアクセスするクライアント６毎の個別統計情報３２を生成する。なお、ステップＳ３４〜Ｓ３６は、ステップＳ３１〜Ｓ３３の前又は後に行なわれても、ステップＳ３１〜Ｓ３３の実行中に行なわれてもよい。又、ステップＳ３４〜Ｓ３６は、サーバ４−１〜４−ｎによって任意の順序で実行される。

そして、ステップＳ３７において、集約サーバ４−１の統計情報回収部２８２が、他サーバ４に対し、個別統計情報３２を転送するように依頼する。そして、集約サーバ４−１以外のサーバ４の統計情報送信部２８６が、集約サーバ４に個別統計情報３２を転送し、転送された個別統計情報３２を、集約サーバ４の受信部２８３が受信する。
ステップＳ３８において、集約サーバ４−１の統計情報集約部２８５が、ステップＳ３４で自サーバ４の統計情報回収部２８２が集計した個別統計情報３２と、ステップＳ２７で回収した個別統計情報３２とをクライアント６毎に合算し、集約統計情報３３を作成する。

ステップＳ３１からローテーション間隔（ｔ１）が経過すると、ステップＳ３９において、制御ノード２の集約サーバ選択部１８１が、サーバリスト３１から次のサーバ４（本例ではサーバ４−２）を集約サーバ４として選択する。そして、集約サーバ通知部１８２が、サーバ４−２に集約サーバ候補通知を送信する。
ステップＳ４０において、サーバ４−２の受信部２８３が集約サーバ候補通知を受信して、制御ノード２に対して応答を返す。

次にステップＳ４１において、制御ノード２の集約サーバ通知部１８２が、全サーバ４に対して集約サーバのＩＰアドレスを、集約サーバ通知として送信する。
ステップＳ４２〜Ｓ４４において、サーバ４−１〜４−ｎの統計情報生成部２８１が、自サーバ４にアクセスするクライアント６毎の個別統計情報３２を生成する。ここでも、ステップＳ４２〜Ｓ４４は、ステップＳ３９〜Ｓ４１の前又は後に行なわれても、ステップＳ３９〜Ｓ４１の実行中に行なわれてもよい。又、ステップＳ４２〜Ｓ４４は、サーバ４−１〜４−ｎによって任意の順序で実行される。

次に、上記ステップＳ３７〜Ｓ４４が繰り返され、サーバ４が順に集約サーバ４として選択され、集約サーバ４によって個別統計情報３２の回収及び収集が行なわれる。
任意のタイミングのステップＳ４５において、システム管理者が管理用端末５を使用して、統計情報の取得を指示すると、管理用端末５から制御ノード２に、統計情報取得指示が送信される。

この指示を受けて、ステップＳ４６において、制御ノード２の統計情報取得依頼部１８３が、集約サーバ４（本例ではサーバ４−１）に、統計情報取得依頼を送信する。
ステップＳ４７において、集約サーバ４の受信部２８３がステップＳ４６で送信された統計情報取得依頼を受信し、統計情報送信部２８６が、ステップＳ３８で集約した集約統計情報３３を制御ノード２に送信する。

ステップＳ４８において、制御ノード２の統計情報受信部１８４が集約サーバ４から集約統計情報３３を受信する。そしてジョブ情報取得部１８５が、ジョブ管理サーバ３からジョブ情報３４を取得し、統計情報出力部１８６が、ノードリスト３０とジョブ情報３４とを使用して、ジョブ統計情報３５を生成してシステム管理用端末５に送信する。
ステップＳ４９において、システム管理用端末５は、ジョブ統計情報３５を不図示の画面に表示することで、システム管理者にジョブ統計情報３５を提示する。

図１３は、実施形態の一例としての情報処理システム１全体の動作を模式的に示すフローチャート（ステップＳ５１〜Ｓ５５，Ｓ６１〜Ｓ６６，Ｓ７１〜Ｓ７７）である。
最初に、制御ノード２の処理を説明する。ステップＳ５１〜Ｓ５５は制御ノード２で反復的に実行される処理である。
まず、ステップＳ５２において、制御ノード２の集約サーバ選択部１８１が、サーバリスト３１から複数のサーバ４のうちのいずれかを集約サーバ候補として選択する。

次に、ステップＳ５３において、集約サーバ通知部１８２が、ステップＳ５２で選択したサーバ４に集約サーバ候補通知を送信する。
ステップＳ５４において、制御サーバ通知部１８２が、ステップＳ５２で集約サーバ候補通知を送信したサーバ４からの応答の受信を待機する。
ステップＳ５４でサーバ４からの応答を受信した場合（ステップＳ５４のＹＥＳルート参照）、ステップＳ５５において、制御ノード２の集約サーバ通知部１８２が、全サーバ４に対して集約サーバのＩＰアドレスを、集約サーバ通知として送信する。

一方、ステップＳ５４でサーバ４からの応答を受信しなかった場合（ステップＳ５４のＮＯルート参照）、ステップＳ５２において、制御ノード２の集約サーバ選択部１８１が、サーバリスト３１の次のサーバ４を集約サーバ候補として選択し、ステップＳ５３〜Ｓ５５の処理を繰り返す。
その後、ローテーション間隔（ｔ１）の経過後に、ステップＳ５１に戻り、ステップＳ５２において制御ノード２の集約サーバ選択部１８１が、サーバリスト３１の次のサーバ４を集約サーバ４として選択し、ステップＳ５３〜Ｓ５５の処理を繰り返す。

次に、サーバ４の処理を説明する。ステップＳ６１〜Ｓ６６はサーバ４で反復的に実行される処理であり、前述のステップＳ５１〜Ｓ５５の処理と独立して実行される。
ステップＳ６２において、各サーバ４の統計情報生成部２８１が、自サーバ４にアクセスするクライアント６毎の個別統計情報３２を生成する。
ステップＳ６２の前又は後、或いはステップＳ６２と並行して、ステップＳ６３において、ステップＳ５２で集約サーバとして選択されたサーバ４の受信部２８３が、集約サーバ候補通知を受信して、制御ノード２に対して応答を返す。

ステップＳ６４において、サーバ４の集約サーバ判定部２８４が、自サーバ４が集約サーバ４であるかどうかを判定する。例えば、集約サーバ判定部２８４は、ステップＳ６３で受信したＩＰアドレスと自身のＩＰアドレスとを比較し、２つのＩＰアドレスが一致する場合に、自サーバ４が集約サーバ４であると判定する。
自サーバ４が集約サーバ４ではない場合（ステップＳ６４のＮＯルート参照）、ステップＳ６５において、統計情報送信部２８６は、ステップＳ６２で生成した個別統計情報３２を、ステップＳ６３で通知された集約サーバ４に送信する。

一方、自サーバ４が集約サーバ４である場合（ステップＳ６４のＹＥＳルート参照）、ステップＳ６６において、受信部２８３が他サーバ４から個別統計情報３２を受け取る。そして、統計情報集約部２８５が、ステップＳ６２で生成した自身の個別統計情報３２と、他サーバ４から受信した個別統計情報３２とを足し合わせて、集約統計情報３３を生成する。

次に、上記ステップＳ６１〜Ｓ６６が繰り返され、各サーバ４が集計期間（ｔ２）毎に個別統計情報３２を回収し、集約サーバ４が集約統計情報３３を生成する。
次に、任意のタイミングで実行されるステップＳ７１〜７７の処理を説明する。ステップＳ７１〜Ｓ７７は、前述のステップＳ５１〜Ｓ５５、ステップＳ６１〜Ｓ６６の処理とは独立したタイミングで実行される。

任意のタイミングで、ステップＳ７１において、システム管理者が管理用端末５を使用して、統計情報の取得を指示し、管理用端末５から統計情報取得指示が送信される。
この指示を受けて、ステップＳ７２において、制御ノード２の統計情報取得依頼部１８３が、統計情報取得依頼を集約サーバ４に送信する。
ステップＳ７３において、集約サーバ４の受信部２８３が、ステップＳ７２で送信された統計情報取得依頼を受信する。そして、ステップＳ７４において、統計情報送信部２８６が、ステップＳ６６で集約した集約統計情報３３を制御ノード２に送信する。

ステップＳ７５において、制御ノード２の統計情報受信部１８４が集約サーバ４から集約統計情報３３を受信する。
ステップＳ７６において、ジョブ情報取得部１８５が、ジョブ管理サーバ３からジョブ情報３４を取得する。統計情報出力部１８６が、ノードリスト３０とジョブ情報３４とを使用して、ジョブ統計情報３５を生成する
ステップＳ７７において、統計情報出力部１８６は、ステップＳ７６で生成したジョブ統計情報３５をシステム管理用端末５の不図示のディスプレイに出力する。

（Ｃ）効果
従来、図１４に示したように、制御ノード２０２が各サーバ２０４に統計情報取得依頼を発行して、統計情報を集め、クライアント毎の統計情報に集約していたので、統計情報の取得まで長い時間がかかっていた。
一方、上記の実施形態の一例としての情報処理システム１においては、制御ノード２の集約サーバ選択部１８１が複数のサーバ４の中から集約サーバ４を選択して、集約サーバ通知部１８２が当該サーバ４に、制御サーバ４として選択された旨を、集約サーバ候補通知により通知する。通知を受けたこの集約サーバ４の統計情報集約部２８５が、各サーバ４が収集したクライアント毎の個別統計情報３２を予め回収しておく。その後、管理用端末５から制御ノード２に統計情報取得依頼を送信した時に、この集約済みのクライアント毎の統計情報が集約サーバ４の統計情報送信部２８６によって送信され、管理用端末５にジョブ統計情報３５が出力される。

このため、制御ノード２０２が全サーバ２０４に統計情報の取得を直接指示した後に、各サーバ２０４が個々に統計情報を集めて制御ノード２０２に送る従来の手法よりも、統計情報の収集時間を大幅に短縮できる。
例えば、クライアント数が１００００の場合、従来手法では、各サーバが、１００００の統計情報ファイルから統計情報を算出していた。一方、上記の実施形態の一例としての情報処理システム１においては、各サーバ４の統計情報生成部２８１が、個別統計情報３２を回収間隔（ｔ２）毎に予め算出しておくので、統計情報の時間が大幅に短縮される。

又、制御ノード２の集約サーバ選択部１８１が、ローテーション間隔（ｔ１）毎に集約サーバ４をローテーションするため、集約統計情報３３を生成する集約サーバ４のＣＰＵ負荷及びメモリ負荷が、サーバ４間で分散される。
又、集約サーバ選択部１８１は、集約サーバ４として選択したサーバ４が応答しない場合には、故障したサーバ４を除外して別のサーバ４を集約サーバ４として選択するので、統計情報取得処理の冗長性及び対故障性が担保される。

さらに、各サーバ４の個別統計情報３２が集約サーバ４に集約されるので、制御ノード２０２で統計情報の集約を行なう従来の手法に比べ、制御ノード２のＣＰＵ負荷及びメモリ負荷を低減することができる。制御ノード２は情報処理システム１全体を管理する重要なノードであるため、メモリ１２やＣＰＵ１１の負荷低減は、情報処理システム１のパフォーマンスの向上につながる。

このように、集約統計情報３３が迅速に収集されるので、統計情報取得の指示後に統計情報を集約する従来の手法よりも、システム管理者がよりリアルタイム性の高い統計情報を利用できるようになる。
（Ｄ）その他
なお、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。

例えば、上記の実施形態においては、集約サーバ４の統計情報回収部２８２が、他サーバ４に対し、個別統計情報３２を転送するように依頼していたが、統計情報回収部２８２からの依頼がなくても他サーバ４の統計情報送信部２８６が定期的に個別統計情報３２を転送してもよい。
又、上記の実施形態においては、集約サーバ選択部１８１が１０分間隔で集約サーバ４を選択していたが、集約サーバ４を選択するローテーション間隔は、例えば、情報処理システム１の運用状況等に応じて、システム管理者が任意に設定することができる。

或いは、上記の実施形態においては、統計情報としてファイルシステム４１に対する各クライアント６のアクティビティの回数を収集していたが、統計情報としてファイルシステム４１に対する各クライアント６のアクティビティの割合や作業時間などを収集してもよい。或いは、統計情報として各ノードのＣＰＵ使用率、メモリ使用量、ディスク使用量、ネットワーク帯域などを収集してもよい。

又、上記の実施形態においては、集約サーバ選択部１８１が、サーバリスト３１から順に集約サーバ４を選択したが、集約サーバ選択部１８１は、サーバ４のＣＰＵ、メモリ、ネットワーク負荷等に応じてサーバ４に重み付けをしたうえで、集約サーバ４を選択してもよい。
或いは、上記の実施形態においては、集約サーバ通知部１８２が、集約サーバ候補４に集約サーバ候補通知を送信し、当該集約サーバ候補４から応答を受けた後に、全てのサーバ４に対し、集約サーバ４のアドレスを集約サーバ通知として送信していた。しかし、集約サーバ通知部１８２が、集約サーバ候補通知と集約サーバ通知とをまとめてもよい。例えば、集約サーバ通知部１８２が集約サーバ通知のみを送信してもよい。

（Ｅ）付記
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の情報処理装置と、前記複数の情報処理装置を制御する制御装置とを備えた情報処理システムにおいて、
前記制御装置は、
前記複数の情報処理装置のうちのいずれかを集約装置として選択する選択部を備え、
前記複数の情報処理装置の各々は、
集約装置として選択されると、前記複数の情報処理装置のそれぞれから履歴情報を回収する回収部と、
前記履歴情報を集約して集約情報を生成する集約部と、を有する
ことを特徴とする情報処理システム。

（付記２）
前記制御装置は、前記集約情報の送信依頼を受けると、前記集約装置によって生成された前記集約情報を送信する送信部をさらに備える
ことを特徴とする付記１記載の情報処理システム。
（付記３）
前記複数の情報処理装置はそれぞれ、複数のクライアント装置によってアクセスされ、
前記複数の情報処理装置の各々は、
前記複数のクライアント装置のそれぞれからの該情報処理装置へのアクセス状況を前記履歴情報として生成する情報生成部をさらに備える
ことを特徴とする付記１又は２記載の情報処理システム。

（付記４）
前記選択部は、第１の時間間隔毎に、前記複数の情報処理装置のうちのいずれかを順に前記集約装置として選択する
ことを特徴とする付記１〜３のいずれか１項に記載の情報処理システム。
（付記５）
前記回収部は、第２の時間間隔毎に、前記複数の情報処理装置のそれぞれから前記履歴情報を回収する
ことを特徴とする付記１〜４のいずれか１項に記載の情報処理システム。

（付記６）
前記選択部による前記集約装置の選択と、前記回収部による前記履歴情報の収集とは非同期に行なわれる
ことを特徴とする付記５記載の情報処理システム。
（付記７）
複数の情報処理装置と、前記複数の情報処理装置を制御する制御装置とを備えた情報処理システムの制御方法において、
前記制御装置が、複数の情報処理装置のうちのいずれかを集約装置として選択し、
前記制御装置が、前記複数の情報処理装置のそれぞれから履歴情報を収集し、
前記制御装置が、前記複数の情報処理装置のそれぞれから収集した履歴情報を集約した集約情報を、前記集約装置に生成させることを特徴とする情報処理システムの制御方法。

（付記８）
前記集約情報の送信依頼を受けると、前記集約装置によって生成された前記集約情報を送信する
ことを特徴とする付記７記載の情報処理システムの制御方法。
（付記９）
前記複数の情報処理装置はそれぞれ、複数のクライアント装置によってアクセスされ、
前記複数の情報処理装置の各々によって、前記複数のクライアント装置のそれぞれからの該情報処理装置へのアクセス状況が前記履歴情報として生成される
ことを特徴とする付記７又は８記載の情報処理システムの制御方法。

（付記１０）
前記選択時に、第１の時間間隔毎に、前記複数の情報処理装置のうちのいずれかを順に前記集約装置として選択する
ことを特徴とする付記７〜９のいずれか１項に記載の情報処理システムの制御方法。
（付記１１）
前記前記集約装置によって、第２の時間間隔毎に、前記複数の情報処理装置のそれぞれから前記履歴情報が収集される
ことを特徴とする付記７〜１０のいずれか１項に記載の情報処理システムの制御方法。

（付記１２）
前記集約装置の選択と、前記履歴情報の収集とは非同期に行なわれる
ことを特徴とする付記１１記載の情報処理システムの制御方法。
（付記１３）
複数の情報処理装置を制御する制御装置の制御プログラムにおいて、
前記制御装置に、
複数の情報処理装置のうちのいずれかを集約装置として選択させ、
前記複数の情報処理装置のそれぞれから履歴情報を収集させ、
前記複数の情報処理装置のそれぞれから収集した履歴情報を集約した集約情報を、前記集約装置に生成させる処理を実行させることを特徴とする制御装置の制御プログラム。

（付記１４）
前記集約情報の送信依頼を受けると、前記集約装置によって生成された前記集約情報を送信する
処理を前記制御装置に実行させることを特徴とする付記１３記載の制御装置の制御プログラム。

（付記１５）
前記複数の情報処理装置はそれぞれ、複数のクライアント装置によってアクセスされ、
前記複数の情報処理装置の各々によって、前記複数のクライアント装置のそれぞれからの該情報処理装置へのアクセス状況が前記履歴情報として生成される
ことを特徴とする付記１３又は１４記載の制御装置の制御プログラム。

（付記１６）
前記選択時に、第１の時間間隔毎に、前記複数の情報処理装置のうちのいずれかを順に前記集約装置として選択する
処理を前記制御装置に実行させることを特徴とする付記１３〜１５のいずれか１項に記載の制御装置の制御プログラム。

（付記１７）
前記集約装置によって、第２の時間間隔毎に、前記複数の情報処理装置のそれぞれから前記履歴情報が収集される
ことを特徴とする付記１３〜１６のいずれか１項に記載の制御装置の制御プログラム。
（付記１８）
前記集約装置の選択と、前記履歴情報の収集とは非同期に行なわれる
ことを特徴とする付記１７記載の制御装置の制御プログラム。

（付記１９）
制御装置によって、集約装置として選択されると、複数の情報処理装置のそれぞれから履歴情報を回収する回収部と、
前記履歴情報を集約して集約情報を生成する集約部と、
を備えることを特徴とする情報処理装置。

（付記２０）
複数の情報処理装置のうちのいずれかを前記集約装置として選択する選択部と、
前記複数の情報処理装置のうちの前記１つの情報処理装置に前記集約装置として選択した旨を通知する通知部と、
を備えることを特徴とする制御装置。

１ 情報処理システム
２ 制御ノード（制御装置）
３ ジョブ管理サーバ（管理装置）
４−１〜４−ｎ サーバ（情報処理装置）
４ 集約サーバ（集約装置）
５ 管理用端末
６−１〜６−ｍ 計算ノード（クライアント装置）
１８ 統計情報取得部
１８１ 集約サーバ選択部（選択部）
１８２ 集約サーバ通知部（通知部）
１８３ 統計情報取得依頼部
１８４ 統計情報受信部
１８５ ジョブ情報取得部
１８６ 統計情報出力部（送信部）
２８ 統計情報管理部
２８１ 統計情報生成部
２８２ 統計情報回収部（回収部）
２８３ 受信部
２８４ 集約サーバ判定部
２８５ 統計情報集約部（集約部）
２８６ 統計情報送信部
３１ サーバリスト
３２ 個別統計情報（統計情報）
３３ 集約統計情報（集計情報）
３４ ジョブ情報
３５ ジョブ統計情報

Claims (8)

1. 複数の情報処理装置と、前記複数の情報処理装置を制御する制御装置とを備えた情報処理システムにおいて、
   前記制御装置は、
   前記複数の情報処理装置のうちのいずれかを集約装置として選択する選択部を備え、
   前記複数の情報処理装置の各々は、
   集約装置として選択されると、前記複数の情報処理装置のそれぞれから履歴情報を回収する回収部と、
   前記履歴情報を集約して集約情報を生成する集約部と、を有する
   ことを特徴とする情報処理システム。
2. 前記制御装置は、前記集約情報の送信依頼を受けると、前記集約装置によって生成された前記集約情報を送信する送信部をさらに備える
   ことを特徴とする請求項１記載の情報処理システム。
3. 前記複数の情報処理装置はそれぞれ、複数のクライアント装置によってアクセスされ、
   前記複数の情報処理装置の各々は、
   前記複数のクライアント装置のそれぞれからの該情報処理装置へのアクセス状況を前記履歴情報として生成する情報生成部をさらに備える
   ことを特徴とする請求項１又は２記載の情報処理システム。
4. 前記選択部は、第１の時間間隔毎に、前記複数の情報処理装置のうちのいずれかを順に前記集約装置として選択する
   ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理システム。
5. 前記回収部は、第２の時間間隔毎に、前記複数の情報処理装置のそれぞれから前記履歴情報を回収する
   ことを特徴とする請求項１〜４のいずれか１項に記載の情報処理システム。
6. 前記選択部による前記集約装置の選択と、前記回収部による前記履歴情報の収集とは非同期に行なわれる
   ことを特徴とする請求項５記載の情報処理システム。
7. 複数の情報処理装置と、前記複数の情報処理装置を制御する制御装置とを備えた情報処理システムの制御方法において、
   前記制御装置が、複数の情報処理装置のうちのいずれかを集約装置として選択し、
   前記制御装置が、前記複数の情報処理装置のそれぞれから履歴情報を収集し、
   前記制御装置が、前記複数の情報処理装置のそれぞれから収集した履歴情報を集約した集約情報を、前記集約装置に生成させることを特徴とする情報処理システムの制御方法。
8. 複数の情報処理装置を制御する制御装置の制御プログラムにおいて、
   前記制御装置に、
   複数の情報処理装置のうちのいずれかを集約装置として選択させ、
   前記複数の情報処理装置のそれぞれから履歴情報を収集させ、
   前記複数の情報処理装置のそれぞれから収集した履歴情報を集約した集約情報を、前記集約装置に生成させる処理を実行させることを特徴とする制御装置の制御プログラム。

Images