JP2011193106A - 分散処理システム、管理サーバ及び装置 - Google Patents

Abstract

【課題】一つのサービスの処理を複数の拠点に分散配置する際，インターネットなどを介して通信する場合にもセキュアなシステムを構築する。
【解決手段】ネットワークである公衆網２に接続されたクライアント端末１、複数のローカルサービス処理拠点３、データセンタ４、及び管理サーバ５からなるシステム構成を備える。各VPN装置３４、４４が、確立済みVPNの通信状況と，新たな VPNを使った通信要求の有無を監視する。管理サーバ５は、各VPN装置の他のVPN装置との通信状況を収集する。VPNを使った通信要求が有った場合、データセンタ４とローカルサービス処理拠点３共にVPN接続数に余裕があれば，必要なVPNを確立する。もしVPN接続数が上限に達していれば，不要なVPN接続を切断した上，必要なVPNを確立する。
【選択図】図１

Description

本発明は情報処理システムに係り、特に分散拠点間でセキュア通信路を確立し、分散処理を実現する技術に関する。

クラウドコンピューティングの普及する中，単一のデータセンタに処理を集中させるだけでなく，広域分散した資源と連携させる要求が増大している。

例えば、アカマイ・テクノロジーズ社(以下、アカマイ社)では，世界中に設置されたサーバを高速ネットワークで接続した上で，この高速ネットワークとキャッシュサーバを組み合わせ，ユーザからのアクセス要求に対して最適なサーバを自動で判別し、目的とするコンテンツを高速に提供するEdgePlatformと呼ばれるシステムを有している。技術的には，アカマイ社のDNS(Domain Name System)サーバが，ユーザの使っているIP(Internet Protocol)アドレスにより、利用しているISP(Internet Service Provider)内など近傍のサーバを割り当てることで，遠距離にあるサーバまでアクセスする必要のないシステムを実現している（特許文献１参照）。これにより，広域分散配置されたクライアント端末とデータセンタとの間の地理的距離、あるいはネットワーク的距離による通信レイテンシに伴う応答時間増大を抑制している。

また、特許文献２には，クライアント端末の近傍にローカルサーバを配置し，クライアント端末からの処理要求に対し，もし可能であればローカルサーバで実行し，そうでなければデータセンタに処理要求を送りデータセンタで処理をおこなう技術が記載されている。

米国特許７５２３１８１ 特開２００２−３１２３１２号公報

上述したように、データセンタの計算資源とネットワーク上に広域分散した計算資源と連携させる要求が増大している。例えば、Web/AP(Web Application)などの前段処理を、ネットワークを介した多数の分散拠点の計算資源に置き、DB（Database）などの後段処理をデータセンタの計算資源に分散配置する場合などである。しかし、公衆網などのネットワークを介して多数の分散拠点にデータセンタとの連携処理を配置するようになると，分散拠点とデータセンタとの間に多数のセキュア通信路を確保する必要がある。そのため、VPN(Virtual Private Network)などのセキュア通信路が利用される。しかし、VPN装置ではセキュア通信路を確立し続けることを前提とするため，実装上の性能−コストのトレードオフからセキュア通信路の数に上限がある。

本発明の目的は、一つのサービスを構成する複数の処理を分散配置する際，両者がインターネットなどの公衆網を介して通信する場合にも，セキュアなシステムを構築することが可能なセキュア通信路を用いた分散処理システム，管理サーバおよび装置を提供することにある。

また、本発明の目的は、セキュア通信路の数の上限を緩和するとともに，数の上限によりシステム上のサービスが阻害されない分散処理システム、管理サーバおよび装置を提供することにある。

上記の目的を達成するため、本発明においては、クライアント端末から要求されたサービスを実現する複数の処理を実行するシステムであって、複数の処理を公衆網などのネットワークを介して接続される複数の計算資源に分散配置し、ネットワーク上に複数の計算資源間のセキュア通信路を形成し，複数の処理を実行するために必要な通信をセ形成したセキュア通信路を介して行う構成の分散処理システムを提供する。

また、上記の目的を達成するため、本発明においては、クライアント端末から要求されたサービスを実現する複数の処理を実行させる管理サーバであって、処理部と、記憶部と、公衆網などのネットワークに接続されるインタフェース部とを備え、処理部は、ネットワークを介して接続される複数の計算資源に複数の処理を分散配置し、ネットワーク上に複数の計算資源間のセキュア通信路を形成し，複数の処理を実行するために必要な通信をセキュア通信路を介して行うよう制御する構成の管理サーバを提供する。

更に、上記の目的を達成するため、本発明においては、公衆網などのネットワークに接続される計算資源の内部に設置されるセキュア通信装置であって、ネットワークに接続されるインタフェース部と、インタフェース部を介して計算資源と他の計算資源との間でセキュア通信路を確立する処理部を備え、処理部は、インタフェース部を介して確立済みのセキュア通信路の通信状況と、計算資源を利用するため、確立していないセキュア通信路を使った新たな通信要求の有無を監視する構成のセキュア通信装置を提供する。

すなわち、上記の目的を達成するため、本発明においては、利用可能数に上限のあるセキュア通信路に対し、時分割利用により上限を大きく見せるとともに、上限が問題とならないようにアプリケーションなどのサービスを実現する処理を配置する。

本発明によれば、一つのサービスを構成する複数の処理を分散配置する際，両者がインターネットなどの公衆網を介して通信する場合にも，セキュアなシステムを構築することが可能なセキュア通信路を用いた分散処理が可能となる。

また、セキュア通信路の数の上限を緩和するとともに，数の上限によりシステム上のサービスが阻害されない分散処理が可能となる。

第１の実施例の分散処理システムの全体構成の一例を示す図である。 第１の実施例に係る、前段処理計算機と後段処理計算機の分散処理を説明するための図である。 第１の実施例に係る、前段処理計算機と後段処理計算機の分散処理を説明するための図である。 第１の実施例に係る、管理サーバの構成の一例を示す図である。 第１の実施例に係る、データセンタの前段処理計算機の構成の一例を示す図である。 第１の実施例に係る、遅延測定部の構成の一例を示す図である。 第１の実施例に係る、VPN装置の構成の一例を示す図である。 第１の実施例に係る、遅延管理テーブルの一例を示す図である。 第１の実施例に係る、サービス管理テーブルの一例を示す図である。 第１の実施例に係る、計算資源管理テーブルの一例を示す図である。 第１の実施例に係る、VPN資源管理テーブルの一例を示す図である。 第１の実施例に係る、計算資源管理テーブルの一例を示す図である。 第１の実施例に係る、データセンタ処理状況管理テーブルの一例を示す図である。 第１の実施例に係る、管理サーバにおけるローカルサービス拠点への前段処理移行手順の一例を示すフロー図である。 第１の実施例に係る、管理サーバにおけるローカルサービス拠点への前段処理移行手順の一例を示すフロー図である。 第２の実施例の分散処理システムの全体構成の一例を示す図である。 第２の実施例に係る、VPN装置の構成の一例を示す図である。 第２の実施例に係る、VPN装置の管理ポートでの入出力項目の一例を示す図である。 第２の実施例に係る、サービス管理テーブルの一例を示す図である。 第２の実施例に係る、計算資源管理テーブルの一例を示す図である。 第２の実施例に係る、データセンタ処理状況管理テーブルの一例を示す図である。 第２の実施例に係る、VPN接続監視テーブルの一例を示す図である。 第２の実施例に係る、VPN接続優先度テーブルの一例を示す図である。 第２の実施例に係る、管理サーバにおけるローカルサービス拠点への前段処理移行手順の一例を示すフロー図である。 第２の実施例に係る、管理サーバにおけるローカルサービス拠点への前段処理移行手順の一例を示すフロー図である。 第２の実施例に係る、管理サーバにおけるローカルサービス拠点への前段処理移行手順の一例を示すフロー図である。 第２の実施例に係る、管理サーバにおけるローカルサービス拠点への前段処理移行手順の一例を示すフロー図である。 第２の実施例に係る、管理ノードによるコネクション未確立通信発生通知に対応する処理手順の一例を示すフロー図である。 第３の実施例の分散処理システムの全体構成の一例を示す図である。 第３の実施例に係る、管理サーバの構成の一例を示す図である。 第３の実施例に係る、ローカルサービス処理拠点の前段処理計算機の構成の一例を示す図である。 第３の実施例に係る、ローカルサービス処理拠点処理状況管理テーブルの一例を示す図である。 第３の実施例に係る、管理サーバによる不要前段処理の削除処理の一例を示すフロー図である。

本明細書ではセキュア通信路として、IPsec(Security Architecture for Internet Protocol)のVPN(Virtual Private Network)を例示し、セキュア通信装置としてVPN装置を用いて説明を行うが、これに限定するものでなく、公衆網などのネットワークにセキュアな通信路を構成できる技術であれば良いことは言うまでもない。

本発明の好適な実施態様の分散処理システムにおいては、後で図面を用いて詳述するように、公衆網に接続されたクライアント端末、計算資源であるデータセンタと複数のローカルサービス処理拠点、及び管理サーバからなるシステム構成を備える。複数のローカルサービス処理拠点とデータセンタ内部の各VPN装置が、確立済みVPNの通信状況、すなわち通信量，通信頻度，最終通信時刻などや，既配置アプリケーションによる確立していないVPNを使った通信要求の有無を監視する。

一方、管理サーバでは，通信頻度や通信レイテンシなどを指標として、ローカルサービス処理拠点に新たに前段処理を配置すべきか，配置するとしたらデータセンタとの間にVPN接続が必要になるかをチェックする。そのため、管理サーバは、各VPN装置のデータセンタや他のVPN装置との通信状況を収集する。

そして、VPNを使った通信要求が有った場合、データセンタとローカルサービス処理拠点共にVPN接続数に余裕があれば，必要なVPNを確立する。もしVPN接続数が上限に達していれば，不要なVPN接続を切断した上，必要なVPNを確立する。または、不要なVPN接続がない，あるいは，どれかと入れ替えるとスラッシングが発生しそうな場合，ローカルサービス処理拠点の既配置アプリケーションのいずれかを，データセンタまたは他のローカルサービス処理拠点にマイグレーション（移行）し，サービス要求元であるクライアント端末を含めて経路を再設定する。

更に、そのローカルサービス処理拠点とデータセンタの間で、不要なVPNの切断を含め、VPNを確立できるか判定し，確立できるのならそのローカルサービス処理拠点に新たに処理を配置した上，クライアント端末からの処理要求がそのローカルサービス処理拠点に行けるよう設定する。確立できないようなら，他のローカルサービス処理拠点への配置を試みるか，他のローカルサービス処理拠点への配置をあきらめデータセンタへ配置するなどして，クライアント端末の処理要求の宛先を設定する。以下、本発明の種々の実施例を図面に従い説明する。

図１は、第１の実施例の分散処理システムの構成を示す図である。同図において、１はクライアント端末、２はネットワークである公衆網、３はローカルサービス処理拠点、４はデータセンタ、５は管理サーバをそれぞれ示している。クライアント端末１は公衆網２などのネットワーク経由で、希望するサービス提供を受けることができる。なお、クライアント端末は通常のパーソナルコンピュータ（PC）などのコンピュータと同様の構成を有しており、ここではその内部構成は省略する。クライアント端末１からのサービス要求に対応し、本実施例の分散処理システムは、ローカルサービス処理拠点３とデータセンタ４が計算資源としてその処理内容に応じて処理分担を行う。

ローカルサービス処理拠点３の内部は、図示の通りファイアウオール３１を介して、前段処理を実行する前段処理計算部として機能する、複数の前段処理計算機３３が接続されている。また、複数の前段処理計算機３３には、VPN接続確立部３５が機能するセキュア通信装置であるVPN装置３４が接続される。ファイアウオール３１とVPN装置３４はそれぞれライン３７、３８経由で公衆網２に接続される。またファイアウオール３１には遅延測定部３２が接続されている。

一方、データセンタ５は複数のサービス処理グループを内蔵し、また、ファイアウオール４１、遅延測定部４２、負荷分散装置４３、VPN接続確立部４４１が機能するセキュア通信装置であるVPN装置４４を備えている。また、各サービス処理グループ４５は、それぞれ負荷分散装置４３にネットワーク４５１を経由して接続され、処理監視部４５３を内蔵し、前段処理を実行する前段処理計算部である前段処理計算機４５２を備える。更に、前段処理計算機４５２にネットワーク４５４を介して接続され、後段処理を実行する後段処理計算部である後段計算機４５５を内蔵する。また、ファイアウオール４１とセキュア通信装置であるVPN装置４４はそれぞれライン４６、４７を介して公衆網２に接続される。

管理サーバ５は、ライン５８、ライン５９を介して、複数のローカルサービス処理拠点３、データセンタ４内の全てのコンポーネントと接続されている。また、管理サーバ５は、その機能ブロックとして、後で詳述する処理配置管理部５１、遅延管理部５２、サービス管理部５３、計算資源管理部５４、VPN資源管理部５５、処理状況管理部５６を備えており、ライン５７を介して公衆網２に接続される。

図２Ａ、図２Ｂはローカルサービス処理拠点３、データセンタ４内の、前段処理計算機３３、４５２、後段処理計算機４５５によって実行される処理の一例を示している。クライアント端末１からのサービス要求に対し、本実施例の分散処理システムにおいて、図２Ａは前段処理と後段処理をおこなう場合、図２Ｂは前段処理で完結する場合をそれぞれ示している。ここでサービスを構成する前段処理としては、例えば，ウェブ（Web）処理やアプリケーション（AP）処理が挙げられ、後段処理としてはデータベース（DB）処理などが挙げられる。

図２Ａの場合、クライアント端末１がサービス要求２０１を送出すると、分散処理システム中のローカルサービス処理拠点３内の前段処理計算機３３、あるいはデータセンタ４内の前段処理計算機４５３において前段処理が実行され、必要とされる後段処理を実行するための後段処理要求２０３がデータセンタ４内の後段処理計算機４５５に送出される。後段処理の結果は、後段処理応答２０４を前段処理計算機３３、４５３に送出し、前段処理計算機３３からサービス応答２０２がクライアント端末１に戻される。一方、図２Ｂの場合においては、クライアント端末１からのサービス要求２０１に対し、前段処理が前段処理計算機３３や４５３にて実行することによりサービス要求２０１に対するサービス応答２０２が可能となるため、後段処理要求がなされることはない。

以下、クライアント端末から要求されるサービスを構成する前段処理と後段処理の具体例を説明する。例えば、本実施例に係る分散処理システムが監視システムに適用される場合、前段処理としては、監視カメラによる撮影映像に画像処理を施し、異常の有無を検知する処理と、監視カメラ等への簡単なアクションの指示生成がある。一方、この監視システムの後段処理としては、前段処理で異常が検知され場合、通知された異常に対する詳細解析と，複雑なアクションの指示生成がある。

図２Ａのサービス要求２０１としては、監視要求があり、通常、監視カメラによる撮影映像と併せて送信されることとなる。一方、後段処理要求３０３として、前段処理による異常検出の通知を監視カメラによる撮影映像と併せて送信する。また、後段処理応答２０４としては、クライアント端末１で行うべき複雑なアクションの指示があり、サービス応答２０２としては、クライアント端末１がブザーを鳴らすなどするべきとのアクションの指示がある。

また、サービスを構成する前段処理と後段処理の他の具体例として、Web３層構成におけるサービスの分散処理がある。一般的なWeb３層構成では、３つの層で構成され、その一つは、ウェブブラウザからHTTP（HyperText Transfer Protocol）によるアクセス要求を分散処理するWebサーバ層、HTTPトランザクションの一貫性を保持し、システム固有の処理を行いバックエンドで動作するデータベースなどの検索/加工処理などを司るWebアプリケーション層、及びシステムのデータや管理情報を司るデータベース層からなる。

このWeb３層構成において、前段処理は、ウェブブラウザからのHTTPによるアクセス要求を分散処理するWebサーバ層と、HTTPトランザクションの一貫性を保持し、システム固有の処理を行い、バックエンドで動作するデータベースなどの検索/加工処理などを司るWebアプリケーション層である。一方、後段処理は、システムのデータや管理情報を司るデータベース層である。この構成において、図２Ａのサービス要求２０１は、ウェブブラウザからのHTTPによるアクセス要求、後段処理要求２０３は、SQLなどのデータベースの操作処理要求、後段処理応答２０４は検索結果などのデータベースの操作処理結果、サービス応答２０２は画面表示のためのHTML（HyperText Markup Language）などである。

図３に図１の分散処理システムの管理サーバ５の内部構成の一例を示した。通常のコンピュータと同様、内部バス５０１に処理部であるプロセッサ５０２、インタフェース部であるネットワークインタフェース５０３、及び記憶部を構成するメモリ５０４が接続されている。メモリ５０４には、プロセッサ５０２が実行する各種のプログラムと各プログラムが利用する各種のテーブルが記憶されている。すなわち、図１に示した各管理部５２〜５６、５１に対応する遅延管理プログラム５１０、サービス管理プログラム５１１、計算資源管理プログラム５１２、ＶＰＮ資源管理プログラム５１３、処理状況管理プログラム５１４、処理配置管理プログラム５１５が記憶され、遅延管理テーブル５０５、サービス管理テーブル５０６、計算資源管理テーブル５０７、ＶＰＮ資源管理テーブル５０８、データセンタ処理状況管理テーブル５０９が形成される。すなわち、一例を説明するなら、遅延管理部５２は、実行される遅延管理プログラム５１０と、その実行に利用する遅延管理テーブル５０５とに対応し、サービス管理部５３は、実行されるサービス管理プログラム５１１とサービス管理テーブルに対応する。

図４にデータセンタ４のサービス処理グループ４５内の前段処理計算機４５２の内部構成の一例を示した。同図においても、通常のコンピュータ構成を有しており、内部バス４５６に処理部であるプロセッサ４５７と、それぞれネットワーク４５１、４５４に接続される複数のネットワークインタフェース４５８と、記憶部であるメモリ４５９が接続されており、メモリ４５９にはプロセッサ４５７で実行される処理監視プログラム４６０、前段処理プログラム４６２が記憶され、処理監視テーブル４６１が蓄積される。

図５にローカルサービス処理拠点３、及びデータセンタ４における遅延測定部３２、４２の内部構成の一例を示した。同図において、遅延測定部３２を例示して説明するが、遅延測定部４２も全く同一の構成を有している。遅延測定部３２は、内部バス３２１に処理部であるプロセッサ３２２、インタフェース部であるネットワークインタフェース３２３、及び記憶部であるメモリ３２４が接続されている。そして、メモリ３２４には、プロセッサ３２２で実行される遅延測定プログラム３２５が記憶されている。

図６にローカルサービス処理拠点３及びデータセンタ４に内蔵されるセキュア通信装置であるVPN装置３４、４４の内部構成の一例を示した。同図において、VPN装置３４を例示して説明するが、VPN装置４４も全く同一の構成を有している。VPN装置３４は、内部バス３４１に接続された処理部であるプロセッサ３４２、インタフェース部であるネットワークインタフェース３４３、記憶部であるメモリ３４４が接続され、メモリ３４４には図１のVPN接続確立部３５に対応し、プロセッサ３４２で実行されるVPN接続確立プログラム３４５が記憶されている。

以上、図１に示した本実施例の分散処理システムの全体構成と主要構成要素の内部構成の一例を図面に従い説明した。続いて、本実施例の分散処理システムにおいて使用される各種のテーブル類の内容を例示する。

図７、図８、図９Ａ、図９Ｂ、図１０Ａ，図１０Ｂに本実施例に利用する各種テーブルの一例を図示した。すなわち、図７は、管理サーバ５の遅延管理部５２が管理する遅延管理テーブル５０５を、図８は同じくサービス管理部５３が管理するサービス管理テーブル５０６を、図９Ａは計算資源管理部５４が管理する計算資源管理テーブル５０７を、図９ＢはVPN資源管理部５５が管理するVPN資源管理テーブル５０８を、図１０Ａはデータセンタ４の一つのサービス処理グループ４５内の前段処理計算機４５２で動作する処理監視部４５３が管理する処理監視テーブル４６１を、図１０Ｂは管理サーバ５の処理状況管理部５６が管理するデータセンタ処理状況管理テーブル５０９の一例を示している。

図７において、管理サーバ５の遅延管理部５２の遅延管理テーブル５０５は、４つの各クライアント端末１に対して、それぞれデータセンタ４、複数のローカルサービス処理拠点３との間の遅延データを蓄積している。この蓄積データは、管理サーバ５の遅延管理部５２が定期的に，ローカルサービス処理拠点３やデータセンタ４のそれぞれの遅延測定部３２、４２に対し，クライアント端末１を指定して，そのクライアント端末１との通信レイテンシを測定するよう指示する。指示を受けた各遅延測定部３２、４２は，指定されたクライアント端末１との間で通信レイテンシを測定し、その測定結果を管理サーバ５に通知する。なお、通信レイテンシの測定は、通常のICMP（Internet Control Message Protocol）などを利用して実行できることは言うまでもない。管理サーバ５の遅延管理部５２は，測定結果の通知を受けて，測定結果を遅延管理テーブル５０５に記憶する。

図８において、サービス管理部５３が管理するサービス管理テーブル５０６は、サービス種別５０６１に対応して、前段処理‐後段処理間のセキュア通信要否５０６２、前段処理実行位置５０６３、後段処理実行位置５０６４を蓄積する。セキュア通信要否５０６２については，サービス提供者がサービスを登録する際に，そのサービスを構成する前段処理と後段処理との間にセキュア通信が必要かどうかを登録する。前段処理実行位置５０６３については，データセンタ４に関してはサービス処理グループ４５単位，ローカルサービス処理拠点３に関しては前段処理計算機３３単位で登録する。後段処理実行位置５０６４については，データセンタ４のサービス処理グループ４５単位で登録する。

図９Ａにおいて、計算資源管理部５４の管理する計算資源管理テーブル５０７は、データセンタ４のサービス処理グループ４５単位，および，ローカルサービス処理拠点３の前段処理計算機３３単位でエントリを持ち、計算資源５０７１に対応して計算資源使用するサービス５０７２を保存する。

図９Ｂにおいて、VPN資源管理部５５が管理するVPN資源管理テーブル５０８を示す。本実施例のシステムにおいて、上述したIPsecのトンネルモードでVPN装置３４、４４を動作させる。ローカルサービス処理拠点３の前段処理計算機３３の二つの計算機の両方で同一サービスが動く場合には現コネクション数は１となり、それぞれで別サービスが動く場合には現コネクション数は２となる。すなわち、VPN資源管理テーブル５０８においては、各VPN装置５０８１に対し、現コネクション数５０８３は、そのローカルサービス処理拠点３で実行しているサービス数となる。同テーブル５０８において、５０８２、５０８４はそれぞれ子ネックション数上限、VPN利用サービスを示している。

図１０Ａにおいて、処理監視部４５３が管理する処理監視テーブル４６１は、サービス種別４６１１に対応して、サービス要求発行元４６１２、過去１０分間のサービス要求数４６１３、過去１０分間のサービス要求に対する後段処理発生数４６１４、セッション継続中４６１５をそれぞれ保存する。

図１０Ｂにおいて、管理サーバ５の処理状況管理部５６が管理するデータセンタ処理状況管理テーブル５０９を示している。同図においては、一例としてサービス処理グループ４５のあるひとつの前段処理計算機４５２の場合を示している。
各前段処理計算機４５２の処理監視部４５３では，どのサービス要求発行元からどのサービス種別に対し、過去一定時間（例えば10分間）の間に何個サービス要求を受け付け，それに対し何個の後段処理が発生したか，また，そのサービスに関しそのサービス要求発行元との間でセッションが継続中であるかどうかを監視する。テーブル５０９においては、各サービス種別５０９１に対して、サービス要求発行元５０９２、過去１０分間のサービス要求数５０９３、過去１０分間の後段処理発生数５０９４、これら両者の商が閾値０．５以下か否か５０９５、両者の差分５０９６、セッション継続中５０９７を示している。

管理サーバ５の処理状況管理部５６は，データセンタ４の各前段処理計算機４５２の処理監視部４５３の上述したテーブル４６１を収集した上で、サービス種別×サービス要求発行元で集計し，上述した図１０Ｂのテーブル５０９を作成する。セッション継続中５０９７の欄については，集約する処理監視テーブル４６１のエントリにひとつでもYesがあればYes、そうでなければNoとする。

以上、本実施例のシステムおよびその要部の構成と、各種テーブル一例を説明したが、続いて本実施例の分散処理システムのサービス登録時と、サービス削除時の動作処理について説明する。

本システムのサービス登録時の処理手順は、クライアント端末１等からのサービス登録依頼で開始され、以下の流れとなる。

１）管理サーバ５は、図３、図９Ａで示した計算資源管理テーブル５０７で，データセンタ４のサービス処理グループ４５の空きをひとつ確保し，当該サービスを登録する。もし空きがなければ，サービス登録失敗で終了する。

２）次に、当該サービス処理グループ４５の前段処理計算機群４５２に対し前段処理を配置するとともに、当該サービス処理グループ４５の後段処理計算機４５５に対し後段処理を配置する。なお，計算機に前段処理または後段処理を配置するとは，各処理をおこなうプログラムおよびデータをインストールし、実行を開始することを指す。なお，一台の計算機に配置された各処理は，複数サービス要求元からの複数サービス要求に対応する処理を実行できるものとする。

３）図３、図８に示したサービス管理テーブル５０６において，新しくエントリを作成して当該サービスを登録し，(b)５０６２をサービスの要件に応じて設定し、さらに(c)５０６３、および(d)５０６４を当該サービス処理グループ４５に設定する。

４）データセンタ４の負荷分散装置４３に対し，当該サービスへの要求が，当該サービス処理グループ４５の前段処理計算機群４５２に振り分けられるよう設定する。

５）各クライアント端末１からの当該サービスの要求が，データセンタ４に対して発行されるように設定する。この設定は、通常のDNS(Domain Name System)の設定などで行うことができる。

次に本システムのサービス削除時の処理手順は以下の流れとなる。

１）データセンタ４の負荷分散装置４３に対し，当該サービスへの要求をどこにも振り分けないよう設定する。

２）サービス管理テーブル５０６の当該サービスのエントリを参照し，当該サービスの前段処理および後段処理をおこなっている計算機群からそれらを削除の上，サービス管理テーブル５０６の当該エントリを削除する。

３）計算資源管理テーブル５０７に対し，当該サービスを削除するよう更新する。

４）更に、VPN資源管理テーブル５０８を参照し，当該サービスの利用しているVPNコネクションを切断する。さらに，VPN資源管理テーブル５０８に対し，当該サービスを削除するよう更新する。

次に、図１１、図１２を用いて、本実施例の管理サーバ５の機能部の一つである処理配置管理部５１の処理フローをより具体的に説明する。この処理配置管理部５１も他の機能部同様、プロセッサ５０２による処理配置管理プログラム５１５の実行により実現されることは言うまでもない。

図１１、図１２は、管理サーバ５の処理配置管理部５１によるローカルサービス処理拠点３への前段処理移行手順を示すフロー図である。図１１のフローが開始されると、図１０Ｂに示したデータセンタ処理状況管理テーブル５０９の内、（ｆ）＝Yes、（ｈ）＝Noであるエントリの集合をキュー（Ｑ）に設定する（ステップ１１０１、以下括弧内ステップ省略）。なおこのキューはプロセッサ５０２の処理状況に応じて、メモリ５０４内に適宜設定される。そして、キューが空集合かを判断（１１０２）、空集合の場合（Yes）、一定時間待つ（１１０３）。キューが空集合で無い場合（No）、キューの内で（ｇ）５０９６が最大であるサービス種別をＡと設定する（１１０４）。

そして、図７に示した遅延管理テーブル５０５から、設定されたＡのサービス種別５０９１に該当する（ｃ）５０９２の要求発行元に対応する列を読み出し、その中で遅延最小のデータセンタ４、又はローカルサービス処理拠点３をＢと設定する（１１０５）。続いて、Ｂがデータセンタ４に設定されたか否かを判断し（１１０６）、データセンタ４で無い場合（No）、サービス管理テーブル５０６内で、サービス種別５０６１がＡの（ｂ）５０９１に対応するエントリをＣとする（１１０７）。そして、Ｃの（ｃ）５０６３がＢの前段処理計算機を含むか判断する（１１０８）。含む場合、処理フローは図１２の丸Ｅに移る。含まない場合には、図９Ａの計算資源管理テーブル５０７を参照し、Ｂに属する前段処理計算機で未使用のものが無いか判断し（１１０９）、ある場合に、その一つを選択しＤとする（１１１０）。

続いて、サービス管理テーブル５０６のＣの（ｂ）５０６２を参照し、セキュア通信が不要か判断する（１１１１）。不要の場合（No）、処理フローは図１２の丸Ｆに移る。セキュア通信が必要な場合（Yes）には、図９ＢのVPN資源管理テーブル５０８のデータセンタ４のVPN装置４４に対応するエントリで、コネクション数上限（α）＞現コネクション数か、かつ、VPN資源管理テーブル５０８のＢのVPN装置４４に対応するエントリで、コネクション数上限（β）＞現コネクション数かを判断し（１１１２）、Yesの場合、図１２の丸Ｇに移る。

なお、ステップ１１０６でYesの場合、ステップ１１０９でYesの場合、及びステップ１１１２でNoの場合、キューからＡのサービス種別を取り除き（１１１３）、ステップ１１０２に戻る。

次に、図１２に移り、丸Ｅ、丸Ｆ、丸Ｇの処理フローについて順次説明する。図１２において、まず、丸Ｅのステップ１２０１において、Ａのデータセンタ処理状況管理テーブル５０９の(c)５０９２のクライアント端末からの以降のＡの(b)５０９１のサービス要求に対し，既にＡの(b)５０９１の前段処理が配置されているＢの前段処理計算機３３で前段処理をおこなってよいか，管理者に確認する。その確認結果ｘ（１２０２）がYesか判断し（１２０３）、Yesの場合、Ａの(c)５０９２のクライアント端末１に対し，以降のＡの(b)５０９１のサービス要求をＢに対して発行するよう設定する。

また、丸Ｆのステップ１２０５において、Ａの(c)５０９２のクライアント端末からの以降のＡの(b)５０９１のサービス要求に対し，Ｄで前段処理で処理してよいか，管理者に確認する。その確認結果ｘ（１２０６）がYesか判断し（１２０７）、Yesの場合、ＤにＡの（b)５０９１の前段処理を配置し，後段処理との間を非セキュア通信路で通信するよう設定する（１２０８）。そして、サービス管理テーブル５０６および計算資源管理テーブル５０７を更新する（１２０９）。また、Ａの(c)５０９２のクライアント端末に対し，以降のＡの(b)５０９１のサービス要求をＤに対して発行するよう設定する。

更に、丸Ｇのステップ１２１１において、Ａの(c)のクライアント端末からの以降のＡの(b)のサービス要求に対し，Ｄで前段処理で処理してよいか，管理者に確認する。その確認結果ｘ（１２１２）がYesか判断し（１２１３）、Yesの場合、計算資源管理テーブル５０７を参照してわかるＡの(b)５０９１の使用するデータセンタ４のサービス処理グループ４５と，Ｄの間にセキュア通信路を確立するよう，データセンタ４のVPN装置４４とＢのVPN装置３４の接続確立部４４１、３５を設定する（１２１４）。そして、ＤにＡの(b)５０９１の前段処理を配置し，後段処理との間をセキュア通信路で通信するよう設定する（１２１５）。また、サービス管理テーブル５０６，計算資源管理テーブル５０７、およびVPN資源管理テーブル５０８を更新する（１２１６）。更に、Ａの(c)５０９２のクライアント端末に対し，以降のＡの(b)５０９１のサービス要求をＤに対して発行するよう設定する（１２１７）。その後、丸Ｈを介して、キューからＡを取り除き（１１１３）、ローカルサービス処理拠点３への前段処理移行手順処理フローが終了する。

続いて、分散処理システムの第２の実施例について、図１３〜図２０を用いて詳述する。以下の説明においては、図１〜図１２で説明した実施例１と共通の部分説明は省略し、両者の差分についての説明を行うことにする。また、図面において、共通の番号が振られたブロック等は同一物を示していることは言うまでもない。

図１３に、第２の実施例の分散処理システムの全体構成の一例を示した。図１３において、図１に示したシステム構成との差異は、ローカルサービス処理拠点３及びデータセンタ４におけるVPN装置３４、４４の内部構成と機能である。本実施例のVPN装置３４、４４はそれぞれその内部に、VPN接続確立部３５、４４１に加え、VPN通信監視部３９、４４２、及びVPN接続優先度テーブル４０、４４３を備えている。図３〜図５に示した管理サーバ４、前段処理計算機４５、遅延測定部３２、４２の内部構成も同一であり、管理サーバ５の遅延管理部５２が有する遅延管理テーブル５０５、更には処理監視部４５３の処理監視テーブル４６１、処理状況管理部５６のデータセンタ処理状況管理テーブル５０９の構成・内容も同じであるので、ここでは図示・説明を省略する。

図１４に本実施例のVPN装置１４００の構成の一例を示した。同図において、内部バス１４０１には、プロセッサ１４０２、ネットワークインタフェース１４０３、メモリ１４０４が接続されている。本実施例のVPN装置１４００は、図６に示した構成に加え、図１３に示したVPN通信監視部とVPN接続優先度テーブルに対応する構成が新たに追加されている。ここで、VPN通信監視部３９、４４２とは、VPN通信監視プログラム１４０６がプロセッサ１４０２で動作し、VPN接続監視テーブル１４０７を形成することで実現される。すなわち、各VPN通信を監視し、その通信状況をVPN接続監視テーブル１４０７に設定する。また、VPN接続確立プログラム１４０６によってVPNのコネクションが設定されていない通信の発生を検出し，コネクション未確立通信発生として管理用ポート１４１０から管理サーバ５に通知する。なお、１４０９は複数のネットワークインタフェースで形成されるVPN通信ポートを示している。

図１５に、このVPN装置１４００の管理用ポート１４１０での入出力項目の一例を示した。各入力項目１５０１に各出力項目１５０２が対応する。その内容は図示のとおりであるが、例えばVPN接続設定要求の入力項目１５０１に対しては、そのVPN接続設定成否が出力項目１５０２とされる。

図１６、図１７Ａ、図１７Ｂに、本実施例の図１３のサービス管理部５３のサービス管理テーブル５０６、計算資源管理部５４の計算資源管理テーブル５０７、VPN資源管理部５５のVPN資源管理テーブル５０８の一例を示した。テーブル構成そのものは、実施例１の図８、図９Ａ、図９Ｂに示したテーブル５０６、５０７、５０８と同一であるがそのテーブルの内容に違いがあるので図示した。図１７Ａ、図１７Ｂそれぞれにおいて、ローカルサービス処理拠点1にはサービス１、サービス２、サービス３が配置されているが，ローカルサービス処理拠点1のVPN装置３４のコネクション数上限により，サービス１とサービス２しかデータセンタ４との間のVPNコネクションを確立できていない状態を示している。なお、VPN装置３４をIPsecのトンネルモードで動作させる。図１７ＢのVPN資源管理テーブル５０８のVPN利用サービス５０８４に，現時点でVPNコネクションがはられていないものも含まれる点が，実施例1との違いである。

図１８Ａ、図１８Ｂに、それぞれ図１３のVPN装置３４のVPN接続監視部３９における、図１４のVPN接続監視テーブル１４０７とVPN接続優先度テーブル１４０８の一例を示した。VPN接続監視テーブル１４０７のテーブルのエントリ数は、コネクション数上限である。VPN通信監視部３９は、VPNコネクション確立処理や，VPN装置３４を経由する通信を監視し，上記のテーブ１４０７ルを作成する。また、VPN接続優先度テーブル１４０８では、テーブルのエントリ数はコネクション数上限となる。

次に、本実施例の管理サーバ５の機能部の一つである処理配置管理部５１のローカルサービス処理拠点３への前段処理移行手順の処理フローを図１９Ａ、図１９Ｂ、図１９Ｃ、図１９Ｄを用いてより具体的に説明する。この処理配置管理部５１も他の機能部同様、プロセッサ５０２による処理配置管理プログラム５１５の実行により実現されることは第１の実施例と同様である。なお、図１９Ａ、図１９Ｂ、図１９Ｃの処理配置管理部５１によるローカルサービス処理拠点３への前段処理移行手順の処理フローにおいて、ステップ１１０１〜ステップ１１１２、及びステップ１２０１〜ステップ１２０３までの処理は第１の実施例と同一であるので、ここでは説明は省略する。なお、ステップ１１１２でNo判断された場合、本実施例においては、ステップ１１１３に移る実施例１と異なり、丸Ｉへ分岐するが、後で図１９Ｄを用いて説明する。

図１９Ｃのステップ１２１３において、管理者からＤで前段処理して良いと確認できた場合、Ｄとデータセンタ４の間のVPN接続を、他のVPN接続要求による置き換えを禁止するか否かを管理者に確認し（１２１８）。確認の結果の変数ｙ（１２１９）が提示される。続いて、処理配置管理部５１は、図１７Ａに例示した計算資源管理テーブル５０７を参照してわかるＡの(b)の使用するデータセンタ４のサービス処理グループ４５と，Ｄの間にセキュア通信路を確立するよう，データセンタ４のVPN装置４４とＢのVPN装置３４の接続確立部３５を設定する（１２２０）。

続いて、ＢのVPN装置３のVPN接続優先度テーブル４０の空きエントリのひとつと，データセンタ４のVPN装置４４のVPN接続優先度テーブル４４３の空きエントリのひとつに，新しいセキュア通信路を登録し，優先度を変数ｙの値に設定（１２２１）。また、ＤにＡの(b)の前段処理を配置し，後段処理との間をセキュア通信路で通信するよう設定（１２２２）する。更に、実施例１同様、サービス管理テーブル５０６、計算資源管理テーブル５０７、およびVPN資源管理テーブル５０８を更新（１２２３）。そして、Ａの(c)のクライアント端末１に対し、以降のＡの(b)のサービス要求をＤに対して発行するよう設定する（１２２４）。

図１９Ｄに、先のステップ１１１２でNoと判断され場合の処理を示した。同図において、まずステップ１１１３において、VPN資源管理テーブルのデータセンタのVPN装置に対応するエントリでコネクション数上限（α）＞ 現コネクション数、且つVPN資源管理テーブルのＢのVPN装置に対応するエントリでコネクション数上限（β）＝現コネクション数か判断される。

その判断結果がYesの場合、ＢのVPN装置３４のVPN接続監視テーブル１４０７およびVPN接続優先度テーブル１４０８を読み出し、バッファ領域であるＢＶにＢのVPN装置３４のVPN接続監視テーブル１４０７の内容を、ＢＰにＢのVPN装置３４のVPN接続優先度テーブル１４０８の内容をエントリする（１１１４）。また、ＢＲに上記のＢＶのエントリのうち，(a)(b)の組のＢＰエントリの接続優先度が低で，かつ，(d)が現在時刻の30秒以内でないものうち，(d)が最も古いものをセットする（１１１５）。

続いて、セットされたＢＲが存在しないか否かを判断し（１１１６）、存在する場合、Ａの(c)のクライアント端末１からの以降のＡの(b)のサービス要求に対し，Ｄの前段処理で処理してよいか，管理者に確認する（１１１７）。その確認結果ｘ（１１１８）がYesか否か判断し（１１１９）、Yesの場合に上記のＢＲに相当するVPNコネクションを切断した上，ＢのVPN装置３４のVPN接続優先度テーブル１４０８、およびデータセンタ４のVPN装置４４のVPN接続優先度テーブル４４３から当該エントリを削除する（１１２０）。

一方、ステップ１１１３で、Noと判断された場合、ステップ１１２１において、VPN資源管理テーブルのデータセンタのVPN装置に対応するエントリでコネクション数上限（α）＝現コネクション数、且つVPN資源管理テーブルのＢのVPN装置に対応するエントリでコネクション数上限（β）＞ 現コネクション数か判断される（１１２１）。

その判断結果がYesの場合、データセンタ４のVPN装置４４のVPN接続監視テーブル１４０７およびVPN接続優先度テーブル１４０８を読み出し、ＤＶにデータセンタ４のVPN装置４４のVPN接続監視テーブル１４０７の内容をエントリし、ＤＰにデータセンタ４のVPN装置４４のVPN接続優先度テーブル１４０８の内容をエントリする（１１２２）。そして、ＤＲに上記のＤＶのエントリのうち、(a)(b)の組のＤＰエントリの接続優先度が低で，かつ，(d)が現在時刻の30秒以内でないものうち，(d)が最も古いものをセットする（１１２３）。

続いて、ステップ１１１７〜１１２０同様、セットされたＢＲが存在しないか否かを判断し（１１２４）、存在する場合、Ａの(c)のクライアント端末１からの以降のＡの(b)のサービス要求に対し，Ｄの前段処理で処理してよいか，管理者に確認する（１１２５）。その確認結果ｘ（１１２６）がYesか否か判断し（１１２７）、Yesの場合に上記のＤＲに相当するVPNコネクションを切断した上，ＢのVPN装置３４のVPN接続優先度テーブル１４０８、およびデータセンタ４のVPN装置４４のVPN接続優先度テーブル４４３から当該エントリを削除する（１１２８）。

一方、ステップ１１２１において、Noと判断された場合に、ＢのVPN装置３４のVPN接続監視テーブル１４０７およびVPN接続優先度テーブル１４０８を読み出し，ＢＶにＢのVPN装置のVPN接続監視テーブル１４０７の内容をエントリし、ＢＰにＢのVPN装置３４のVPN接続優先度テーブル１４０８をエントリする（１１２９）。そして、ＢＲにＢＶのエントリのうち，(a)(b)の組のＢＰエントリの接続優先度が低で，かつ，(d)が現在時刻の30秒以内でないものうち，(d)が最も古いものをセットする（１１３０）。

更に、データセンタ４のVPN装置４４のVPN接続監視テーブル１４０７およびVPN接続優先度テーブル１４０８を読み出し、ＤＶにデータセンタ４のVPN装置４４のVPN接続監視テーブル１４０７の内容，ＤＰにデータセン４タのVPN装置４４のVPN接続優先度テーブル１４０８の内容をセットする（１１３１）。そして、ＤＲに上記のＤＶのエントリのうち，(a)(b)の組のＤＰエントリの接続優先度が低で，かつ，(d)が現在時刻の30秒以内でないものうち，(d)が最も古いものをセットする（１１３２）。

続いて、ＢＲまたはＤＲが存在しないか判断し（１１３３）、存在する場合、ステップ１１１７〜１１２０、或いはステップ１１２５〜１１２８と同様のステップ１１３４〜１１３７を実行する。各ステップ１１２０、１１２８、１１３７での削除が終了した場合、処理フローの丸Ｊ、すなわち図１９Ｃに示したステップ１２１８に移る。

続いて、本実施例における管理ノードである管理サーバ５が各VPN装置３４、４４からコネクション未確立通信発生通知を受信した場合の処理手順について説明する。

まず、ステップ２００１において、上記の通知を受けると、適当な領域を使って、srcをコネクション未確立通信発生通知に含まれる通信元を、dstをコネクション未確立通信発生通知に含まれる通信先とする（２００２）。続いて、サービス管理テーブル５０６の(b)が要で，かつ，「(c)∋srcかつ(d)∋dst」、
または「(c)∋dstかつ(d)∋src」であるエントリが存在するか否かを判断する（２００３）。そして、Yesの場合、領域Ｃにコネクション未確立通信発生通知を送信したVPN装置をセットする。また、ＣＶに当該ＣのVPN通信監視部３９のVPN接続監視テーブル１４０７の内容を、またＣＰに当該ＣのVPN接続優先度テーブル１４０８の内容をエントリする（２００４）。

ここで、VPN資源管理テーブル５０８のＣに対応するエントリで，コネクション数上限＞現コネクション数か否かを判断し（２００５）、Noの場合、ＣＲに上記のＣＶのエントリのうち，(a)(b)の組のＣＰエントリの接続優先度が低のもののうち，(d)が最も古いものをセットする（２００６）。

そして、ＣＲが存在しないか否かを判断する（２００７）。ここで、存在しない場合は、ＣＲにＣＶのエントリのうち、（ｄ）が最も古いものをセットする（２００８）。そして、ＣＲに相当するVPNコネクションを切断した上，ＣのVPN接続優先度テーブル１４０８、およびＣＶの(b)の属するデータセンタ４ないしローカルサービス処理拠点３のVPN装置のVPN接続優先度テーブル１４０７から当該エントリを削除する。さらに，VPN資源管理テーブル５０８を更新する（２００９）。

最後に、srcとdstの間にセキュア通信路を確立するよう，該当するVPN装置の接続確立部を設定し，さらにそれらのVPN装置のVPN接続優先度テーブル１４０８に対し新しいセキュア通信路を優先度=低で登録する。さらに，VPN資源管理テーブル５０８を更新する（２０１０）。

図２１〜図２５を用いて、第３の実施例の分散処理システムを説明する。以下の説明において、図１〜図２０で説明した実施例１、２と共通の部分説明は省略し、それらとの差分についての説明を行うこととする。また、図面において、共通の番号が振られたブロック等は同一物を示している。

図２１に、第３の実施例の分散処理システムの全体構成の一例を示した。図２１において、図１３に示したシステム構成との差異は、各ローカルサービス処理拠点３におけるローカルサービス処理拠点３内の各前段処理計算機３３に、データセンタ４の前段処理計算機４５２同様、機能ブロックである処理監視部３３１を内蔵していること、及び管理サーバ５にローカルサービス処理拠点処理状況管理テーブル５１６を新たに内蔵したことにある。

他の点において本実施例のシステム構成は、図１３に示したシステム構成と共通する。すなわち、サービス処理部グループ４５、の前段処理計算機４５２、各遅延測定部３２、４２、遅延測定部の遅延管理テーブル５０５、サービス管理部５３のサービス管理テーブル５０６、計算資源管理部５４の計算資源管理テーブル５０７、VPN資源管理部５５のVPN資源管理テーブル５０８、処理状況管理部５６のデータセンタ処理状況管理テーブル５０９、VPN接続監視部のVPN接続監視テーブル１４０７とVPN接続優先度テーブル１４０８等は共通する。また、同様にサービス登録時の処理手順、サービス削除時の処理手順、図１４に示したVPN装置の内部構成、図１５に示したVPN装置の管理用ポートでの入出力項目、及び図１９Ａ〜図１９Ｄ、図２０に示した各処理手順も共通するので、ここでは説明を省略する。

図２２に本実施例の管理サーバ５の構成の一例を示す。上述したように、メモリ５０４内に、処理状況管理プログラム５１４によって管理されるデータセンタ処理状況管理テーブル５１６が形成されている。

図２３に本実施例のローカルサービス処理拠点３内の各前段処理計算機３３の構成の一例を図示した。同図の構成は、図４に示したデータセンタ４内の各サービス処理グループ４５の前段処理計算機４５２と同一の構成を有している。すなわち、内部バス３３２に処理部であるプロセッサ３３３と、それぞれファイアウオール３１、VPN装置３４接続される複数のネットワークインタフェース３３４と、記憶部であるメモリ３３５が接続されており、メモリ３３５にはプロセッサ３３３で実行される処理監視プログラム３３６、前段処理プログラム３３７が記憶され、処理監視テーブル３３８が蓄積される。

この処理監視テーブル３３８の内容は、実施例１において図１０を用いて説明した、データセンタ４のサービス処理グループ４５の前段処理計算機４５２内の処理監視部４５３が管理する処理監視テーブル４６１と同一の構成を有するため、ここでは説明を省略する。すなわち、本実施例においては、データセンタ４の各前段処理計算機４５２と各ローカルサービス拠点３の各前段処理計算機３３が、図１０に示した構成の処理監視テーブルを形成する。

図２４は、本実施例における管理サーバ５の処理状況管理部５６が管理するローカルサービス処理拠点処理状況管理テーブル５１６の一例を示した。同図において、前段処理位置５１６１が追加された他は、実施例１において図１０Ｂを用いて説明したデータセンタ処理状況管理テーブル５０９の内容とほぼ同一となる。図２２に示した管理サーバ５の処理状況管理部５６を構成する処理状況管理プログラム５１４は、各ローカルサービス処理拠点３の各前段処理計算機３３の処理監視部３３１の処理監視テーブル３３８を収集した上で、その前段処理位置５１６１である複数のローカルサービス処理拠点３３毎に、該当するサービス種別５１６２で集計し，図２４に示したローカルサービス処理拠点処理状況管理テーブル５１６を作成する。また、(h)セッション継続中５１６７の欄については，集約する処理監視テーブル３３８のエントリにひとつでもYesがあればYes，そうでなければNoとする。

図２５を用いて、本実施例における分散処理システムにおける、管理サーバ５の処理配置管理部５１による、ローカルサービス拠点３からの不要な前段処理の削除手順を説明する。

同図において、まずステップ２５０１において、図２４に示したローカルサービス処理拠点処理状況管理テーブル５１６のうち， (h)=Noであるエントリの集合をＰにエントリする。そして、Ｐが空集合か否かをチェックし（２５０２）、空集合の場合（Yes）は一定時間待つ（２５０３）。空集合でない場合（No）、Ｐの一要素を選択し、Ａにセットする（２５０４）。そして、Ａの(f)５１６５がNo、または(d)５１６３が閾値３以下かを判断する（２５０５）。

判断結果がYesの場合、遅延管理テーブル５０５を参照し，Ａの(a)が遅延最小であるクライアント端末群に対し，以降のＡの(b)のサービス要求をデータセンタ４に対して発行するよう設定する（２５０６）。また、Ｂにサービス管理テーブル５０６のうち、Ａの(b)に対応する内容をセットする（２５０７）。さらに、ＣにＢの(c)のうち，Ａの(a)の前段処理計算機をセットする（２５０８）。

次に、Ｂの(b)５０６２が要か否かを判定し（２５０９）、Yesの場合に、ＣとＢの(d)の間のVPNコネクションを切断した上，VPN資源管理テーブル５０８を更新し，Ａの(a)のVPN装置３４のVPN接続優先度テーブル１４０８およびデータセンタ４のVPN装置４４のVPN接続優先度テーブル１４０８から当該エントリを削除する（２５１０）。最後に、ＣからＡの(b)の前段処理の実行を停止、、さらに、プログラムおよびデータを削除した上，サービス管理テーブル５０６および計算資源管理テーブル５０７を更新する（２５１１）。

以上、本発明の種々の実施例を図面に従い詳述したが、本発明は上述した実施例に限定されることが無いことはいうまでもない。例えば、以上の実施例の説明にあっては、公衆網を用いた分散処理システムを前提とした。これは、データセンタの外で処理しようとすると，インターネットなどの公衆網を介してＤＢと通信することになり，この通信を盗聴される危険がある。また，ＤＢが非武装地帯（DeMilitarized Zone：ＤＭＺ）なしに公衆網と接続されるため，ＤＢが悪意のある者から公衆網経由で攻撃される危険が高いため、特に本発明の分散処理システムが有効となるからである。しかしながら、以上詳述した本発明が、公衆網以外の専用線によるセキュアな通信を利用する分散処理システムにも適用可能であることは言うまでもなく、その様なシステムにも適用可能である。

本発明は情報処理システムに係り、特に分散拠点間でセキュア通信路を確立し、分散処理を実現する技術として極めて有用である。

１…クライアント端末
２…公衆網
３…ローカルサービス処理拠点
３１、４１…ファイアウオール
３２、４２…遅延測定部
３３、４５２…前段処理計算機
３３１、４５３…処理監視部
３４、４４…VPN装置
３５、４４１…VPN接続確立部
３９、４４２…VPN通信監視部
４０、４４３…VPN接続優先度テーブル
４…データセンタ
４３…負荷分散装置
４５１、４５４…ネットワーク
４５５…後段処理計算機
４６１…処理監視テーブル
５…管理サーバ
５１…処理配置管理部
５２…遅延管理部
５３…サービス管理部
５４…計算資源管理部
５５…VPN資源管理部
５６…処理状況管理部
５０５…遅延管理テーブル
５０６…サービス管理テーブル
５０７…計算資源管理テーブル
５０８…VPN資源管理テーブル
５０９…データサービス処理拠点処理状況管理テーブル
５１６…ローカルサービス処理拠点処理状況管理テーブル。

Claims (20)

1. クライアント端末から要求されたサービスを実現する複数の処理を実行するシステムであって、
   ネットワークを介して接続される複数の計算資源に前記複数の処理を分散配置し、
   前記ネットワーク上に複数の前記計算資源間にセキュア通信路を形成し，前記複数の処理を実行するために必要な通信の少なくとも一部を前記セキュア通信路を介して行う、
   ことを特徴とする分散処理システム。
2. 請求項１に記載の分散処理システムであって、
   前記ネットワークに接続され、複数の前記計算資源を管理する管理サーバを備え、
   前記管理サーバは、
   複数の前記計算資源間に前記セキュア通信路を形成できるかどうかに基づき、前記複数の処理を複数の前記計算資源に配置する、
   ことを特徴とする分散処理システム。
3. 請求項２に記載の分散処理システムであって、
   前記管理サーバは、
   前記サービスを要求する前記クライアント端末と複数の前記計算資源群との通信遅延、或いは通信頻度に基づき、前記複数の処理を複数の前記計算資源に配置する、
   ことを特徴とする分散処理システム。
4. 請求項２に記載の分散処理システムであって、
   前記管理サーバは、
   前記セキュア通信路を介した通信状況、およびセキュア通信路確立要求を監視し，
   前記セキュア通信路確立要求に対し，既に複数の前記計算機資源間に確立されている前記セキュア通信路を切断した上で，前記セキュア通信路確立要求に対するセキュア通信路を確立する、
   ことを特徴とする分散処理システム。
5. 請求項４に記載の分散処理システムであって、
   前記管理サーバは、
   接続している前記セキュア通信路を切断する際，前記通信状況に基づき、切断するセキュア通信路を選択する、
   ことを特徴とする分散処理システム。
6. 請求項４に記載の分散処理システムであって、
   前記管理サーバは、
   接続している前記セキュア通信路を切断する際，前記通信状況と、前記セキュア通信路に設定された優先度に基づき，切断するセキュア通信路を選択する、
   ことを特徴とする分散処理システム。
7. 請求項２に記載の分散処理システムであって、
   複数の前記計算資源各々は、
   他の前記計算資源との間に確立されている前記セキュア通信路を用いない通信の発生を検出した際，当該発生を前記管理サーバに通知する、
   ことを特徴とする分散処理システム。
8. 請求項１に記載の分散処理システムであって、
   複数の前記計算資源各々は前記セキュア通信路を確立するセキュア通信装置を備え、
   前記セキュア通信装置は、
   確立済みのセキュア通信路の通信状況と、確立していないセキュア通信路を使った新たな通信要求の有無を監視する、
   ことを特徴とする分散処理システム。
9. 請求項１に記載の分散処理システムであって、
   複数の前記計算資源は、前段処理計算部と後段処理計算部とを備えたデータセンタと、前段処理計算部を備えたローカルサービス処理拠点とから構成され、
   前記データセンタの前記前段処理計算部は処理監視部を備え、
   前記処理監視部は、
   要求された前記サービスの要求発行元、サービス要求数、及び前記サービスに対する前記後段処理計算部での後段処理発生数を蓄積するテーブルを管理する、
   ことを特徴とする分散処理システム。
10. 請求項９に記載の分散処理システムであって、
    前記ローカルサービス処理拠点の前記前段処理計算部は処理監視部を備え、
    前記処理監視部は、
    要求された前記サービスの要求発行元、サービス要求数、及び前記サービスに対する前記後段処理発生数を蓄積するテーブルを管理し、
    前記管理サーバは、
    前記データセンタ及び前記ローカルサービス処理拠点の前記テーブルの内容を受信し、処理状況管理テーブルとして管理する、
    ことを特徴とする分散処理システム。
11. クライアント端末から要求されたサービスを実現する複数の処理を実行させる管理サーバであって、
    処理部と、記憶部と、ネットワークに接続されるインタフェース部とを備え、
    前記処理部は、前記ネットワークを介して接続される複数の計算資源に前記複数の処理を分散配置し、前記ネットワーク上に複数の前記計算資源間のセキュア通信路を形成し，前記複数の処理を実行するために必要な通信を前記セキュア通信路を介して行うよう制御する、
    ことを特徴とする管理サーバ。
12. 請求項１１に記載の管理サーバであって、
    前記処理部は、
    複数の前記計算資源間に前記セキュア通信路を形成できるかどうかに基づき、前記複数の処理を複数の前記計算資源に配置する、
    ことを特徴とする管理サーバ。
13. 請求項１１に記載の管理サーバであって、
    前記処理部は、
    前記サービスを要求する前記クライアント端末と複数の前記計算資源群との通信遅延、或いは通信頻度に基づき、前記複数の処理を複数の前記計算資源に配置する、
    ことを特徴とする管理サーバ。
14. 請求項１１に記載の管理サーバであって、
    前記処理部は、
    前記セキュア通信路を介した通信状況、およびセキュア通信路確立要求を監視し，
    前記セキュア通信路確立要求に対し，既に複数の前記計算機資源間に確立されている前記セキュア通信路を切断した上で，前記セキュア通信路確立要求に対するセキュア通信路を確立可能である、
    ことを特徴とする管理サーバ。
15. 請求項１４に記載の管理サーバであって、
    前記処理部は、
    接続している前記セキュア通信路を切断する際，監視していた前記通信状況に基づき、切断するセキュア通信路を選択する、
    ことを特徴とする管理サーバ。
16. 請求項１４に記載の管理サーバであって、
    前記処理部は、
    接続している前記セキュア通信路を切断する際，監視していた前記通信状況と前記セキュア通信路に設定された優先度に基づき，切断するセキュア通信路を選択する、
    ことを特徴とする管理サーバ。
17. 請求項１１に記載の管理サーバであって、
    前記処理部は、
    一つの前記計算資源から他の前記計算資源に前記処理を配置する際に、当該計算資源間にセキュア通信路の確立可否を検討し、確立できなければ前記処理の配置を中止する、
    ことを特徴とする管理サーバ。
18. ネットワークに接続される計算資源の内部に設置されるセキュア通信装置であって、
    前記ネットワークに接続されるインタフェース部と、
    前記インタフェース部を介して前記計算資源と他の計算資源との間でセキュア通信路を確立する処理部を備え、
    前記処理部は、
    前記インタフェース部を介して確立済みのセキュア通信路の通信状況と、前記計算資源を利用するため、確立していないセキュア通信路を使った新たな通信要求の有無を監視する、
    ことを特徴とするセキュア通信装置。
19. 請求項１８に記載のセキュア通信装置であって、
    前記処理部は、
    前記セキュア通信路が確立された前記計算資源と、前記他の計算資源と、その確立時刻と、最終通信時刻を蓄積するテーブルを管理する、
    ことを特徴とするセキュア通信装置。
20. 請求項１８に記載のセキュア通信装置であって、
    前記処理部は、
    前記計算資源と前記他の計算資源との間で確立された前記セキュア通信路の接続優先度を蓄積するテーブルを管理する、
    ことを特徴とするセキュア通信装置。

Images