JP2012164166A

JP2012164166A - 情報処理システム

Info

Publication number: JP2012164166A
Application number: JP2011024489A
Authority: JP
Inventors: Kazuhiro Kusano; 和寛草野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2011-02-08
Filing date: 2011-02-08
Publication date: 2012-08-30

Abstract

【課題】データ転送にかかる時間やコスト、利用者による作業の手間を抑制すること。
【解決手段】本発明の情報処理システムは、記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた記憶装置１１０，２１０をそれぞれ有する利用者端末１００と計算サーバ２００とをネットワークＮを介して接続して備え、利用者端末１００は、計算サーバ２００による所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末１００側の記憶装置１１０に対して記憶すると共に、当該利用者端末１００側の記憶装置１１０内のデータを計算サーバ２００側の記憶装置２１０にレプリケーションする機能を備える。
【選択図】図８

Description

本発明は、情報処理システムにかかり、特に、利用者端末と、当該利用者端末に入力されたデータに基づいて所定の計算処理を行ってその計算結果を利用者端末に出力する計算サーバと、がネットワークを介して接続された情報処理システムに関する。

計算機の性能向上に伴い、コンピュータシミュレーションなども計算精度の向上や大規模化が進んでおり、その計算に必要な入力データや出力データも非常に大きなものになってきている。そして、近年では、実際の計算処理はネットワーク上の計算機で行うクラウド技術が注目されており、大規模な計算センタも増えてきている。このため、外部の大規模な計算センタを利用して大規模な計算処理を実行する機会も今後はさらに増えていくと考えられる。なお、上述したクラウド技術に関連する技術として、ネットワーク上にデータを記憶するサービスを提供するネットワークストレージシステムが特許文献１に開示されている。

特開２００３−２９６１７９号公報

上述したようにネットワーク上の計算サーバが提供するような外部のサービスを利用して計算処理を実行する場合には、計算を実行する計算サーバに入力データを転送して実行した後、実行結果の出力データを再び転送する必要がある。すると、このような入出力データの転送には、転送するデータサイズに比例した時間とコストの増加や、利用者の転送作業による手間が必要となる、という問題が生じる。

このため、本発明の目的は、上述した課題である、ネットワーク上の計算機にて計算処理を行う場合における、データ転送にかかる時間やコストの増加、及び、利用者による作業の手間、を抑制することにある。

本発明の一形態である情報処理システムは、
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた記憶装置をそれぞれ有する利用者端末と計算サーバとをネットワークを介して接続して備え、
前記利用者端末は、前記計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側の記憶装置に対して記憶すると共に、当該利用者端末側の記憶装置内のデータを前記計算サーバ側の記憶装置にレプリケーションする機能を備えた、
という構成を取る。

また、本発明の他の形態である利用者端末は、
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた利用者端末側記憶装置を有し、
ネットワークを介して接続された計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側記憶装置に対して記憶すると共に、当該利用者端末側記憶装置内のデータを前記計算サーバが有する計算サーバ側記憶装置にレプリケーションする機能を備えた、
利用者端末。
という構成を取る。

また、本発明の他の形態であるプログラムは、
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた利用者端末側記憶装置を有する利用者端末に、
ネットワークを介して接続された計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側記憶装置に対して記憶すると共に、当該利用者端末側記憶装置内のデータを前記計算サーバが有する計算サーバ側記憶装置にレプリケーションする機能を実現させる、
という構成を取る。

また、本発明の他の形態である計算サーバは、
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する重複排除機能を備えた利用者端末側記憶装置を有する利用者端末にネットワークを介して接続され、
前記重複排除機能を備えた計算サーバ側記憶装置を有する計算サーバであって、
前記利用者端末に入力されることにより前記利用者端末側記憶装置に記憶され、当該利用者端末側記憶装置から前記計算サーバ側記憶装置にレプリケーションされた前記入力データに基づいて予め設定された計算処理を行い、当該計算処理の結果を表す出力データを計算サーバ側記憶装置に記憶すると共に、当該計算サーバ側記憶装置内のデータを前記利用者端末側記憶装置にレプリケーションする機能を備えた、
という構成を取る。

また、本発明の他の形態であるプログラムは、
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する重複排除機能を備えた利用者端末側記憶装置を有する利用者端末にネットワークを介して接続され、
前記重複排除機能を備えた計算サーバ側記憶装置を有する計算サーバに、
前記利用者端末に入力されることにより前記利用者端末側記憶装置に記憶され、当該利用者端末側記憶装置から前記計算サーバ側記憶装置にレプリケーションされた前記入力データに基づいて予め設定された計算処理を行い、当該計算処理の結果を表す出力データを計算サーバ側記憶装置に記憶すると共に、当該計算サーバ側記憶装置内のデータを前記利用者端末側記憶装置にレプリケーションする機能を実現させる、
という構成を取る。

また、本発明の他の形態である情報処理方法は、
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた記憶装置をそれぞれ有する利用者端末と計算サーバとがネットワークを介して接続された情報処理システムにて、
前記利用者端末が、前記計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側の記憶装置に対して記憶すると共に、当該利用者端末側の記憶装置内のデータを前記計算サーバ側の記憶装置にレプリケーションする、
という構成を取る。

本発明は、ネットワーク上の計算機にて計算処理を行う場合における、データ転送にかかる時間やコスト、及び、利用者による作業の手間、を抑制することができる。

本発明の実施形態１における情報処理システムの構成を示すブロック図である。図１に開示した重複排除システムによるデータ記憶時の様子を示す図である。図１に開示した重複排除システムによるデータ記憶時の様子を示す図である。図１に開示した重複排除システムによるデータ記憶時の様子を示す図である。図１に開示したユーザ情報管理部に登録されているデータの一例を示す図である。図１に開示した情報処理システムの動作を示すシーケンス図である。本発明の情報処理システムの他の構成を示すブロック図である。本発明の付記１における情報処理システムの構成を示す図である。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図７を参照して説明する。図１は、情報処理システムの構成を示すブロック図である。図２乃至図４は、重複排除システムにおけるデータ記録時の様子を説明するための図である。図５は、ユーザ情報管理部に記憶されているデータの一例を示す図である。図６は、情報処理システムの動作を示すシーケンス図である。図７は、情報処理システムの他の構成を示す図である。

［動作］
本実施形態における情報処理システムは、計算機資源を利用者に提供するサービスに利用されるシステムであり、ネットワークＮを介して、計算サービス利用クライアント１と、計算サーバ２及び計算サービス管理装置３と、が接続されて構成されている。

上記計算サービス利用クライアント１（以下、「クライアント１」とも呼ぶ。）は、サービスを利用する利用者が操作する情報処理端末である。また、上記計算サーバ２は、計算機自体の処理能力をサービスとして提供する情報処理装置であり、具体的には、上記クライアント１からの入力データに応じて所定の計算処理を実行し、計算処理結果をクライアント１に返す、というサービスを提供する。また、上記計算サービス管理装置３は、計算サーバ２とクライアント１との間に配置された情報処理装置であり、計算サーバ２にて提供されるサービスを利用するクライアント１を管理する機能を有する。以下、各装置１，２，３について詳述する。

上記計算サービス利用クライアント１（利用者端末）は、装備された演算装置にプログラムが組み込まれることで構築された、ファイル管理部１１と、実行管理クライアント部１２と、ユーザ認証部１３と、を備えている。また、計算サービス利用クライアント１は、データを記憶する記憶装置と、同一のデータ内容のデータを重複して記憶することを排除する処理を行う演算装置に構築された処理部と、による重複排除システム１０を備えている。この重複排除システム１０は、記憶対象となるデータと同一のデータ内容の他のデータが既に記憶装置に記憶されている場合には、記憶対象となるデータを重複して記憶せず、既に記憶されている他のデータを記憶対象となるデータとして参照する、という機能を有する。

ここで、重複排除システム１０による記憶するデータの重複排除の様子を、図２乃至図４を参照して説明する。なお、図２では、重複排除システム１０が、複数台の記憶装置を装備している場合を説明するが、記憶装置を１台のみ装備していてもよい。

重複排除システム１０は、まず、記憶対象となるデータＡの入力を受けると（図３の矢印Ｙ１参照）、図２及び図３の矢印Ｙ２に示すように、当該データＡを、所定容量（例えば、６４ＫＢ）のブロックデータＤに分割する。そして、このブロックデータＤのデータ内容に基づいて、当該データ内容を代表する固有のハッシュ値Ｈを算出する（図３の矢印Ｙ３）。例えば、ハッシュ値Ｈは、予め設定されたハッシュ関数を用いて、ブロックデータＤのデータ内容から算出する。

続いて、重複排除システム１０は、ブロックデータＤのハッシュ値Ｈを用いて、当該ブロックデータＤが既に重複排除システム１０内に格納されているか否かを調べる。具体的には、まず、既に格納されているブロックデータＤは、後述するように、そのハッシュ値Ｈが含まれた格納位置を表すコンテンツアドレスＣＡが、コンテンツアドレス管理テーブルＭＦＩに登録されている。従って、格納前に算出したブロックデータＤのハッシュ値Ｈがコンテンツアドレス管理テーブルＭＦＩ内に存在していない場合には、まだ同一内容のブロックデータＤが記憶されていないと判断できる。一方で、ハッシュ値Ｈがコンテンツアドレス管理テーブルＭＦＩ内に存在している場合には、既に同一内容のブロックデータＤが記憶されていると判断できる（図３の矢印Ｙ４）。

続いて、重複排除システム１０は、まだ同一のブロックデータＤが記憶されていないと判断されたブロックデータＤを、予め設定された圧縮ルールに従って圧縮し、図３の矢印Ｙ５に示すように、複数の所定の容量のフラグメントデータに分割する。例えば、図２の符号Ｄ１〜Ｄ９に示すように、９つのフラグメントデータ（分割データ４１）に分割する。さらに、データ格納処理部１１は、分割したフラグメントデータのうちいくつかが欠けた場合であっても、元となるブロックデータを復元可能なよう冗長データを生成し、上記分割したフラグメントデータ４１に追加する。例えば、図２の符号Ｄ１０〜Ｄ１２に示すように、３つのフラグメントデータ（冗長データ４２）を追加する。これにより、９つの分割データ４１と、３つの冗長データ４２とにより構成される１２個のフラグメントデータからなるデータセット４０を生成する。

続いて、重複排除システム１０は、生成されたデータセットを構成する各フラグメントデータを、記憶装置に形成された各記憶領域に、それぞれ分散して格納する。例えば、図２に示すように、１２個のフラグメントデータＤ１〜Ｄ１２を生成した場合には、１２個の各記憶領域内にそれぞれ形成したデータ格納ファイルに、各フラグメントデータＤ１〜Ｄ１２を１つずつそれぞれ格納する（図３の矢印Ｙ６参照）。

また、重複排除システム１０は、上述したように記憶装置に格納したフラグメントデータＤ１〜Ｄ１２の格納位置、つまり、当該フラグメントデータＤ１〜Ｄ１２にて復元されるブロックデータＤの格納位置を表す、コンテンツアドレスＣＡを生成して管理する。具体的には、格納したブロックデータＤの内容に基づいて算出したハッシュ値Ｈの一部（ショートハッシュ）（例えば、ハッシュ値Ｈの先頭８Ｂ（バイト））と、論理格納位置を表す情報と、を組み合わせて、コンテンツアドレスＣＡを生成する（図３の矢印Ｙ７）。そして、重複排除システム１０は、記憶対象データのファイル名などの識別情報と、コンテンツアドレスＣＡとを関連付けてファイルシステムで管理すると共に、コンテンツアドレス管理テーブルＭＦＩに、生成したコンテンツアドレスＣＡの新規エントリを追加する。

上記のようにして、重複排除システム１０内に格納された各ブロックデータＤ（data）の様子を図４に示す。この図に示すように、ブロックデータ（data）は、符号Ｍ１−Ｍ３に示すメタデータとして記憶された各コンテンツアドレスＣＡにて参照されており、さらに各コンテンツアドレスＣＡ自体が格納されているメタデータＭ１−Ｍ３も他のコンテンツアドレスＣＡ（メタデータＭ４−Ｍ５）にて参照され、ツリー構造にて格納されている。これにより、図４に示す上位階層のコンテンツアドレスＣＡの参照先をたどっていくことで、目的のブロックデータＤつまりファイルを読み出すことができる。

また、重複排除システム１０は、記憶対象データのブロックデータＤのハッシュ値Ｈが既にコンテンツアドレス管理テーブルＭＦＩに存在している場合、つまり、既に同一内容のブロックデータＤが格納されている場合には、格納前のブロックデータＤのハッシュ値Ｈと一致したハッシュ値が含まれるコンテンツアドレスＣＡを、コンテンツアドレス管理テーブルＭＦＩから取得する。そして、このコンテンツアドレスＣＡを、記憶対象データのブロックデータＤの格納先を表すコンテンツアドレスＣＡとする。これにより、コンテンツアドレスＣＡにて参照される既に格納されているデータが、記憶要求されたブロックデータＤとして参照されることとなり、当該記憶要求にかかるブロックデータＤ自体を重複して記憶する必要がなくなる。例えば、図４の符号Ｍ４に示すメタデータ内の一方のコンテンツアドレスＣＡの参照先と、符号Ｍ５のメタデータ内のコンテンツアドレスＣＡの参照先とは、それぞれが異なるファイルのブロックデータのはずであるが、データ内容が同一であるため、参照先（符号Ｍ３）が同一となり、重複記憶が排除されている。

以上のように、重複排除システム１０は、記憶対象となるデータを小さなブロックサイズに分割し、そのブロックを既に保存されているブロックと比較して、他と重複しないユニークなブロックだけを圧縮して保存している。そして、既に同じ内容のブロックが存在すると判定された場合には、そのブロックが保存されている位置を表す情報（コンテンツアドレスＣＡ）を記録することで、データの重複記録を排除でき、実際に保存するデータ量を削減することができる。つまり、重複排除システム１０は、利用者から計算サーバ２による計算に必要な入力データが入力されると、当該入力データの重複排除を行いつつ、当該入力データを圧縮して記憶する。

そして、重複排除システム１０は、上述したように入力データの重複排除を行いつつ記憶すると、当該重複排除システム１０に記憶されたデータを、計算サーバ２が装備する重複排除システム２０にレプリケーションする機能を有する。このとき、重複排除システム１０は、入力データの記憶により更新された差分データを計算サーバ２の重複排除システム２０に送信してレプリケーションする。つまり、入力データ自体が記憶された場合には、当該入力データ自体とこれを参照するコンテンツアドレス等の差分データを計算サーバ２の重複排除システム２０に送信し、入力データが重複排除された場合には当該入力データとして既に記憶されているデータを参照するコンテンツアドレス等の差分データを計算サーバ２の重複排除システム２０に送信する。なお、上記レプリケーションは、例えば、重複排除システム１０内に記憶されるデータが更新された直後に実行されるとよいが、そのタイミングは任意に設定可能である。

さらに、計算サービス利用クライアント１の重複排除システム１０は、後述するように、計算サーバ２の重複排除システム２０の内容がレプリケーションされるが、かかるレプリケーションにて送信された差分データをクライアント１の重複排除システム１０に反映する。これにより、クライアント１は、レプリケーションされた重複排除システム２０内から更新された差分データを参照して、計算サーバ２による計算結果である出力データを特定し、当該出力データを圧縮状態から復元することで、利用することができる。

また、上記計算サービス利用クライアント１の上記ファイル管理部１１は、計算サーバ２が提供するサービスを利用する上で計算に必要な入力データなどを管理する。また、実行管理クライアント部１２は、計算サーバ２での実行方法を指定し、実行状態の監視機能などを提供する。また、上記ユーザ認証部１３は、計算サーバ２を利用する際に計算サービス管理装置３に対して利用者の認証を行う。

次に、上記計算サーバ２について説明する。計算サーバ２は、図１に示すように、サービス提供にかかる計算処理を行うプロセッサエレメント２２と、計算時に利用する記憶領域である共有作業領域２１と、利用者からの入力データあるいは利用者に対する出力データを保持する重複排除機能を備えたファイルシステムである重複排除システム２０と、を備えている。

そして、計算サーバ２が備える重複排除システム２０は、上述した計算サービス利用クライアント１が有する重複排除システム１０と同様の機能を有している。つまり、重複排除システム２０は、データを記憶する記憶装置と、同一のデータ内容のデータを重複して記憶することを排除する処理を行う演算装置に構築された処理部と、により構成されており、記憶対象となるデータと同一のデータ内容の他のデータが既に記憶装置に記憶されている場合には、さらに記憶対象となるデータを重複して記憶せず、既に記憶されている他のデータを記憶対象となるデータとして参照する、という機能を有する。つまり、重複排除システム２０は、計算サーバ２にて計算された出力データの重複排除を行いつつ、当該出力データを圧縮して記憶する。

また、重複排除システム２０は、上記計算サービス利用クライアント１が有する重複排除システム１０と相互にレプリケーションすることにより、当該クライアント１側の重複排除システム１０と同一のデータが格納される。例えば、計算サーバ２側の重複排除システム２０は、クライアント１側の重複排除システム１０とレプリケーションすることにより、当該クライアント１に入力された入力データが記憶されることとなる。そして、重複排除システム２０内の入力データを圧縮状態から復元することで、当該入力データを利用してサービス提供にかかる計算を行うことができる。また、同様に、重複排除システム２０は、計算結果である出力データを重複排除システム１０内に重複排除して記憶した直後に、クライアント１側の重複排除システム１０とレプリケーションを行うことで、上記出力データを圧縮状態でクライアント１側の重複解除システム１０に送信することができる。

次に、上記計算サービス管理装置３について説明する。計算サービス管理装置３は、上述した計算サーバ１で利用者が計算を実行できるようにするための機能を提供する。具体的に、計算サービス管理装置３は、装備された演算装置にプログラムが組み込まれることで構築された、利用者のデータとその転送を管理するユーザファイル管理部３１と、利用者に関する情報を管理するユーザ情報管理部３２と、計算サーバ１での実行を管理する実行管理部３３と、サービスに対する利用者の課金情報を管理する課金システム部３４と、利用者の認証を行うユーザ認証部３５と、を備えている。

なお、図５は、ユーザ情報管理部３２に登録される情報の一例を示す。図５の例では、利用者のユーザＩＤとパスワード、利用者毎に対応した計算サーバ２側の重複排除システム２０の情報（ファイル）と当該利用者が操作するクライアント１側の重複排除システム１０の情報（リモートサイト）、それに利用者の計算処理の実行状況、がエントリとして存在している。この他に、計算サーバ２で提供するサービスによって課金情報や過去の利用情報などを保持することも考えられる。上述したように登録された利用者情報を用いることで、ユーザ認証部３５にて計算サーバ２を利用する利用者の認証を行うことが可能となる。

［動作］
次に、上述した情報処理システムの動作を、図６のシーケンス図を参照して説明する。まず、利用者が計算サーバ１を利用する場合、最初に利用者情報の登録を行う。まず、上述した図５に示すように、利用者の情報を計算サーバ２のユーザ情報管理部３２に登録し、その利用者に重複排除システム２０を割り当て、さらにユーザ情報管理部３２に登録する。なお、計算サーバ２側の重複排除システム２０は、運用方針により複数用意して利用者単位に割り当てを行ってもよい。以上のように利用者情報を登録することで、ユーザ認証部１３，３５で利用者の認証を行うことが可能となり、利用者が計算サーバ２を利用する準備が完了する。

そして、利用者が実際に計算サーバ２を利用してサービス提供を受ける際には、利用者は計算サービス利用クライアント１を操作して計算サービス管理装置３にアクセスし、ユーザ認証部１３を用いてユーザ認証を行う。すると、計算サービス管理装置３は、ユーザ認証や課金処理を行い、利用者に対してサービスを利用可能とする。

続いて、利用者が計算サービス利用クライアント１を用いて計算サーバ２を利用した計算を依頼すると、計算サービス管理装置３が利用者に対する適切な資源の割り当てやファイルシステムの設定などの管理を行う。

そして、利用者は、計算サービス利用クライアント１に対して、計算サーバ２側で実行される計算に必要な入力データを入力する（ステップＳ１）。すると、入力データは、重複排除システム１０内に重複排除されつつ圧縮されて保存される（ステップＳ２）。そして、利用者が実行方法の詳細などを指定した後、実行準備ができたことを実行管理クライアント１２で通知する。これをうけて、重複排除システム１０に保存されたデータが、計算サーバ２の重複排除システム２０へコピーするレプリケーション機能が動き始める（ステップＳ３）。この実行はファイル管理部１１が管理する。なお、ファイル管理部１１は、計算サーバ２による計算処理の実行の監視やファイルの管理を行う。

以上のようにして、計算で利用する入力データは、利用者側の重複排除システム１０に保存された後、レプリケーションにより、対応した重複排除システム２０に同一内容のデータが格納される（ステップＳ４）。これにより、計算サーバ２は、重複排除システム２０内のデータに対して、通常のファイルと同様にアクセスが可能となっている。つまり、計算サーバ２は、計算に必要な入力データを重複排除システム１０，２０間のレプリケーションにより行うことで、差分転送といった効率的なデータ転送を用いて、要求された計算に必要な利用者からの入力データを受け付けることができる。従って、通常のデータ転送を行う場合と比較して転送データ量を削減することができる。さらに、重複排除システム１０にはデータが圧縮して格納されているため、より転送データ量を削減することができる。また、利用者による入力データの転送操作が不要となり、利用者にとってサービスの利用が容易となる。

続いて、計算サーバ２は、レプリケーションにより重複排除システム２０に格納された利用者からの入力データを読み出し、圧縮状態を解除して計算に利用する。なお、重複排除システム２０に保存してある入力データは、当該重複排除システム２０が元のファイルへの復元を行うので、入力データをアクセスするために特別な前処理は不要である。

そして、計算サーバ２は、プロセッサエレメント２２にて共有作業領域２１を利用して、入力データに基づく計算処理を実行する（ステップＳ５）。計算サーバ２は、計算処理終了後に利用者が指定した計算結果である出力データを、重複排除システム２０に保存する。すると、出力データは、計算サーバ２の重複排除システム２０内に重複排除されつつ圧縮されて保存される（ステップＳ６）。

上記出力データの保存を契機に、計算サーバ２では、重複排除システム２０に保存されたデータをクライアント１の重複排除システム１０へコピーするレプリケーション機能が動き始める（ステップＳ７）。すると、計算サーバ２にて計算された出力データは、計算サーバ２側の重複排除システム２０に保存された後、レプリケーションにより、かかる計算を依頼した利用者が操作するクライアント１の重複排除システム１０に、同一内容のデータが格納される（ステップＳ８）。

そして、クライアント１は、重複排除システム１０内のデータに対して、通常のファイルと同様にアクセスが可能となっている。つまり、クライアント１は、計算結果である出力データを、重複排除システム１０，２０間のレプリケーションにより行うことで、差分転送といった効率的なデータ転送を用いて受け付けることができる。従って、通常のデータ転送を行う場合と比較して転送データ量を削減することができる。さらに、重複排除システム２０にはデータが圧縮して格納されているため、より転送データ量を削減することができる。また、計算サーバ２側でも出力データの特別な転送操作や処理が不要となり、構成の簡略化を図ることができる。

その後、利用者は、レプリケーションにより重複排除システム１０に格納された計算サーバ２からの出力データを読み出し、圧縮状態を解除して計算結果を利用する。なお、重複排除システム１０に保存されているデータは、同様に重複排除されて圧縮されているので、ユーザ認証部１３による認証を行い、ファイル管理部１１の機能を利用して参照する必要がある。これにより、第三者が自由に出力データをアクセスすることができないことになるので、データの安全性も高い。

以上のように、本実施形態における情報処理システムによると、利用者側と計算サーバ側とにそれぞれ装備された重複排除システム１０，２０間でレプリケーションすることで、当該重複排除システム１０，２０の内容をコピーし、入力データや出力データの受け渡しを行うことができる。その結果、利用者が計算サーバ２のファイルシステムに入力データなどを転送する作業は不要になる。さらに、大規模な計算を行う場合、入力データや出力データも大きなサイズになることが多く、そのようなデータを転送する場合、データ量に比例した時間が必要であり、また、転送量を削減するためにデータの圧縮を行う場合には、転送前の圧縮処理と転送後に元に戻す処理を行う必要があるが、重複排除機能を利用するとデータの圧縮や転送の作業は不要となる。

さらに、重複排除システム１０，２０に保存した転送データは重複排除され、圧縮して保存されているため、元の入力データや出力データより転送サイズが小さくなる。転送サイズが小さくなることは、転送にかかる時間など転送コストが削減されることになる。そして、利用者が計算サーバ２を利用して計算を何度も実行する場合には、利用者は重複排除システム１０と計算サーバ２の重複排除システム２０に保存された過去の入力データと出力データをベースに、次の実行の入力データに対して重複排除を適用するため、重複排除される可能性が高くなり、結果としてデータ転送が必要なデータ量がさらに小さくなる。

［変形例］
本実施形態における情報処理システムの変形例を、図７を参照して説明する。利用者が計算サーバ２を利用する際に、利用者が通常利用しているファイルシステムからデータを転送する必要があるシステム構成の場合が考えられる。

この場合に、利用者と計算サーバ２を接続するネットワークＮは内部ネットワークとなる。そして、図７の計算サーバ２は、プロセッサエレメント２２と共有作業領域２１、重複排除システム２０を備えており、利用者の依頼した計算を実行する。この実行を制御する計算サービス管理装置３は、ユーザファイル管理部３１と実行管理部３３からなり、特に、利用者の認証や課金などの処理は行わない。利用者側は、重複排除システム１０とファイル管理部１１から構成される計算サービス利用クライアント１を利用する。

この場合も、利用者側の重複排除システム１０と計算サーバ２側の重複排除システム２０とで、その内容をコピーするためにレプリケーションを実行する設定を行うことで、効率的なデータ転送が可能となる。また、転送量を削減するためにデータの圧縮を行った場合に必要な計算サーバ側で元に戻す処理が不要になる。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理システムの構成の概略を、図８を参照して説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた記憶装置１１０，２１０をそれぞれ有する利用者端末１００と計算サーバ２００とをネットワークＮを介して接続して備え、
前記利用者端末１００は、前記計算サーバ２００による所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末１００側の記憶装置１１０に対して記憶すると共に、当該利用者端末１００側の記憶装置１１０内のデータを前記計算サーバ２００側の記憶装置２１０にレプリケーションする機能１０１を備えた、
情報処理システム。

（付記２）
付記１に記載の情報処理システムであって、
前記利用者端末は、前記入力データの入力を受け付けて当該入力データを利用者端末側の記憶装置に対して記憶したときに、当該利用者端末側の記憶装置内のデータを前記計算サーバ側の記憶装置にレプリケーションする、
情報処理システム。

（付記３）
付記１又は２に記載の情報処理システムであって、
前記計算サーバは、当該計算サーバ側の記憶装置にレプリケーションされた前記入力データに基づいて予め設定された計算処理を行って当該計算処理の結果を表す出力データを計算サーバ側の記憶装置に記憶すると共に、当該計算サーバ側の記憶装置内のデータを前記利用者端末側の記憶装置にレプリケーションする機能を備えた、
情報処理システム。

（付記４）
付記３に記載の情報処理システムであって、
前記計算サーバは、前記出力データを計算サーバ側の記憶装置に記憶したときに、当該計算サーバ側の記憶装置内のデータを前記利用者端末側の記憶装置にレプリケーションする、
情報処理システム。

（付記５）
付記１乃至４のいずれかに記載の情報処理システムであって、
前記各記憶装置は、所定のデータを分割した分割データを前記記憶対象となるデータとして記憶する、
情報処理システム。

（付記６）
付記１乃至５のいずれかに記載の情報処理システムであって、
前記各記憶装置は、前記記憶対象となるデータを予め設定されたルールに従って圧縮して記憶し、当該圧縮状態のままレプリケーションし、記憶された前記記憶対象データの読み出し時に圧縮状態から復元する機能を有する、
情報処理システム。

（付記７）
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた利用者端末側記憶装置を有し、
ネットワークを介して接続された計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側記憶装置に対して記憶すると共に、当該利用者端末側記憶装置内のデータを前記計算サーバが有する計算サーバ側記憶装置にレプリケーションする機能を備えた、
利用者端末。

（付記８）
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた利用者端末側記憶装置を有する利用者端末に、
ネットワークを介して接続された計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側記憶装置に対して記憶すると共に、当該利用者端末側記憶装置内のデータを前記計算サーバが有する計算サーバ側記憶装置にレプリケーションする機能を実現させるためのプログラム。

（付記９）
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する重複排除機能を備えた利用者端末側記憶装置を有する利用者端末にネットワークを介して接続され、
前記重複排除機能を備えた計算サーバ側記憶装置を有する計算サーバであって、
前記利用者端末に入力されることにより前記利用者端末側記憶装置に記憶され、当該利用者端末側記憶装置から前記計算サーバ側記憶装置にレプリケーションされた前記入力データに基づいて予め設定された計算処理を行い、当該計算処理の結果を表す出力データを計算サーバ側記憶装置に記憶すると共に、当該計算サーバ側記憶装置内のデータを前記利用者端末側記憶装置にレプリケーションする機能を備えた、
計算サーバ。

（付記１０）
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する重複排除機能を備えた利用者端末側記憶装置を有する利用者端末にネットワークを介して接続され、
前記重複排除機能を備えた計算サーバ側記憶装置を有する計算サーバに、
前記利用者端末に入力されることにより前記利用者端末側記憶装置に記憶され、当該利用者端末側記憶装置から前記計算サーバ側記憶装置にレプリケーションされた前記入力データに基づいて予め設定された計算処理を行い、当該計算処理の結果を表す出力データを計算サーバ側記憶装置に記憶すると共に、当該計算サーバ側記憶装置内のデータを前記利用者端末側記憶装置にレプリケーションする機能を実現させるためのプログラム。

（付記１１）
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた記憶装置をそれぞれ有する利用者端末と計算サーバとがネットワークを介して接続された情報処理システムにて、
前記利用者端末が、前記計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側の記憶装置に対して記憶すると共に、当該利用者端末側の記憶装置内のデータを前記計算サーバ側の記憶装置にレプリケーションする、
情報処理方法。

（付記１２）
付記１１に記載の情報処理方法であって、
前記計算サーバが、当該計算サーバ側の記憶装置にレプリケーションされた前記入力データに基づいて予め設定された計算処理を行って当該計算処理の結果を表す出力データを計算サーバ側の記憶装置に記憶すると共に、当該計算サーバ側の記憶装置内のデータを前記利用者端末側の記憶装置にレプリケーションする、
情報処理方法。

１計算サービス利用クライアント
１０重複排除システム
１１ファイル管理部
１２実行管理クライアント部
１３ユーザ認証部
２計算サーバ
２０重複排除システム
２１共有作業領域
２２プロセッサエレメント
３計算サービス管理装置
３１ユーザファイル管理部
３２ユーザ情報管理部
３３実行管理部
３４課金システム部
３５ユーザ認証部
１００利用者端末
１０１レプリケーション機能
１１０記憶装置
２００計算サーバ
２１０記憶装置

Claims

記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた記憶装置をそれぞれ有する利用者端末と計算サーバとをネットワークを介して接続して備え、
前記利用者端末は、前記計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側の記憶装置に対して記憶すると共に、当該利用者端末側の記憶装置内のデータを前記計算サーバ側の記憶装置にレプリケーションする機能を備えた、
情報処理システム。
請求項１に記載の情報処理システムであって、
前記利用者端末は、前記入力データの入力を受け付けて当該入力データを利用者端末側の記憶装置に対して記憶したときに、当該利用者端末側の記憶装置内のデータを前記計算サーバ側の記憶装置にレプリケーションする、
情報処理システム。
請求項１又は２に記載の情報処理システムであって、
前記計算サーバは、当該計算サーバ側の記憶装置にレプリケーションされた前記入力データに基づいて予め設定された計算処理を行って当該計算処理の結果を表す出力データを計算サーバ側の記憶装置に記憶すると共に、当該計算サーバ側の記憶装置内のデータを前記利用者端末側の記憶装置にレプリケーションする機能を備えた、
情報処理システム。
請求項３に記載の情報処理システムであって、
前記計算サーバは、前記出力データを計算サーバ側の記憶装置に記憶したときに、当該計算サーバ側の記憶装置内のデータを前記利用者端末側の記憶装置にレプリケーションする、
情報処理システム。
請求項１乃至４のいずれかに記載の情報処理システムであって、
前記各記憶装置は、所定のデータを分割した分割データを前記記憶対象となるデータとして記憶する、
情報処理システム。
請求項１乃至５のいずれかに記載の情報処理システムであって、
前記各記憶装置は、前記記憶対象となるデータを予め設定されたルールに従って圧縮して記憶し、当該圧縮状態のままレプリケーションし、記憶された前記記憶対象データの読み出し時に圧縮状態から復元する機能を有する、
情報処理システム。
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた利用者端末側記憶装置を有し、
ネットワークを介して接続された計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側記憶装置に対して記憶すると共に、当該利用者端末側記憶装置内のデータを前記計算サーバが有する計算サーバ側記憶装置にレプリケーションする機能を備えた、
利用者端末。
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する重複排除機能を備えた利用者端末側記憶装置を有する利用者端末にネットワークを介して接続され、
前記重複排除機能を備えた計算サーバ側記憶装置を有する計算サーバであって、
前記利用者端末に入力されることにより前記利用者端末側記憶装置に記憶され、当該利用者端末側記憶装置から前記計算サーバ側記憶装置にレプリケーションされた前記入力データに基づいて予め設定された計算処理を行い、当該計算処理の結果を表す出力データを計算サーバ側記憶装置に記憶すると共に、当該計算サーバ側記憶装置内のデータを前記利用者端末側記憶装置にレプリケーションする機能を備えた、
計算サーバ。
記憶対象となるデータと同一のデータ内容である既に記憶されている他のデータを、前記記憶対象となるデータとして参照することにより重複記憶を排除する機能を備えた記憶装置をそれぞれ有する利用者端末と計算サーバとがネットワークを介して接続された情報処理システムにて、
前記利用者端末が、前記計算サーバによる所定の計算処理に必要な情報である入力データの入力を受け付けて当該入力データを利用者端末側の記憶装置に対して記憶すると共に、当該利用者端末側の記憶装置内のデータを前記計算サーバ側の記憶装置にレプリケーションする、
情報処理方法。