JP2001028594A - データ複製方法およびデータ複製プログラムを記録した記録媒体 - Google Patents

データ複製方法およびデータ複製プログラムを記録した記録媒体

Info

Publication number
JP2001028594A
JP2001028594A JP11200015A JP20001599A JP2001028594A JP 2001028594 A JP2001028594 A JP 2001028594A JP 11200015 A JP11200015 A JP 11200015A JP 20001599 A JP20001599 A JP 20001599A JP 2001028594 A JP2001028594 A JP 2001028594A
Authority
JP
Japan
Prior art keywords
node
data
nodes
duplication
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11200015A
Other languages
English (en)
Other versions
JP3545267B2 (ja
Inventor
Takao Yamashita
高生 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP20001599A priority Critical patent/JP3545267B2/ja
Publication of JP2001028594A publication Critical patent/JP2001028594A/ja
Application granted granted Critical
Publication of JP3545267B2 publication Critical patent/JP3545267B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 クライアントの要求する新しさのデータを容
易に提供することができ、かつ、低コストで実現可能と
する。 【解決手段】 複製ノードと、クライアント・ノード
と、フロントエンド・ノードとを有する。フロントエン
ド・ノードは、複製ノードに更新要求を行うとともに、
クライアント・ノードが要求する新しさのデータを取得
するために必要な複製ノード(以下、読み出し複製ノー
ドという)を一つまたは複数選択し読み出し要求を行
う。そして、読み出したデータ、または、トランザクシ
ョン・ログに基づいて、前記各複製ノードが更新を処理
する方法と同じ方法により、全ての読み出し複製ノード
に施されている更新内容を反映したデータを生成し、こ
のデータを前記クライアント・ノードに応答する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データ複製方法お
よびデータ複製プログラムを記録した記録媒体に関し、
特にネットワーク上で使用される判断支援システム、お
よび、判断支援システムと協調して動作するディレクト
リ・サービス等に適用されるデータ複製方法およびデー
タ複製プログラムを記録した記録媒体に関するものであ
る。
【0002】
【従来の技術】近年のネットワークの発展に伴う分散環
境の拡大およびノード数の増大によって、ディレクトリ
・サービス、移動端末情報、ネットワーク管理情報、判
断支援システム等のデータ管理が重要となってきてい
る。これらでは、銀行のオンライン処理のように、トラ
ンザクションおよびその構成要素であるオペレーション
の厳密な一貫性制御の重要性が低い反面、各トランザク
ションに対する応答時間やスループットの重要性が高く
なっている。
【0003】このような特性を持つデータでは、(1)
トランザクションを発行するアプリケーションが一貫性
を維持するために必要な処理順序や依存関係を把握して
いる場合、(2)トランザクションの応答および応答結
果を用いたアプリケーションの動作結果によってデータ
の異常が検知できる場合、(3)ほとんどのトランザク
ション間に衝突が無く、衝突があった場合でもアンドゥ
(undo)によって取り消しを行うことが可能である場合
が多い。
【0004】そこで、このような特性を利用して、文献
(J.Gray,P.Helland,P.O'Neil,andD.Shasha著,“The d
angers of replication and a solution,”Proceedings
ofACM SIG-MOD International Conference on Managem
ent of Data,pp.173-182)に述べられているレイジー・
グループ・レプリケーション(Lazy group replicatio
n)や現在の多くのデータベース・システムに実装され
ている非同期更新によるデータ・レプリケーション機能
によって応答時間やスループットの改善と弱一貫性の制
御を行うことが行われている。
【0005】レイジー・グループ・レプリケーションや
多くの市販データベース・システムに実装されている非
同期更新では、ネットワークに接続された複数の計算機
で同じデータ・オブジェクトを管理し、更新および読み
出し要求を処理することによって応答時間やスループッ
トを改善している。しかし、同じデータ・オブジェクト
を管理している計算機の数が増加するにつれて、更新が
全てのデータを管理する計算機に反映されるための時間
が増大するためにクライアントが取得したデータの新し
さが重要となってくる。
【0006】例えば、このような技術の応用例として
は、ある商品の販売個数を提供し、この情報に基づいて
商品の生産個数の決定を支援する判断支援システム等が
ある。この場合、十分に新しい情報に基づいて生産個数
を決めなければ、大量の在庫を抱えることになる。
【0007】また、別の応用例としては、計算機ネット
ワーク上での移動端末の位置情報管理等がある。計算機
ネットワーク上で、移動端末に対して通信を行うときに
は、その移動端末の接続されているネットワーク上での
位置を把握する必要がある。この位置情報は、通常分散
されて管理されている。すなわち、接続を行った移動端
末は、その接続を行った位置の位置管理システムやそれ
以外の位置の位置管理システムに自分の位置の登録を行
う。このような環境下において、移動端末と通信を行う
計算機とが古い位置情報を取得すると、実際の位置との
差が大きくなり、現在の位置を正確に把握することが困
難となる。したがって、従来より、ある時間内のデータ
を提供するシステムが求められていた。
【0008】以上の観点から、従来においては以下のよ
うな技術がある。 (1)レイジー・レプリケーション(lazy replicatio
n)(文献:R.Ladin,“Lazy replication:Exploiting th
e semantics of distributed services”,Proceedings
of the Workshop on Management of Replicated Data,p
p.31-34,1990、文献:R.Ladin,“Providing high availa
bility using lazy replication”,ACM Transaction Co
mputer Systems,Vol.10,pp.360-391,November 1992)
【0009】このレイジー・レプリケーションは、オペ
レーションの一貫性として、カジュアル・オペレーショ
ン(casual operation)、フォースト・オペレーション
(forced operation)およびイミディエイト・オペレー
ション(immediate operation)を提供するデータ複製方
式である。更新要求は非同期に複製ノードに伝搬され
る。
【0010】(2)ピービー・キャスト(pbcast)(文
献:K.Birman,“BUILDING SECURE ANDRELIABLE NETWORK
APPLICATI0NS”,MANNING Publisher,1996)
【0011】このピービー・キャストは、メッセージの
伝搬方式であり、更新要求の伝搬に用いた場合の伝搬方
法は以下のようになる。まず、更新要求を受け取ったノ
ードは、「funout」と呼ばれる定数で決まる個数だけ、
複製ノードをランダムに選択し、更新要求を送信する。
すでに同じ更新要求を受信したノードは、他の複製ノー
ドには、更新要求を伝搬しない。
【0012】
【発明が解決しようとする課題】しかしながら、従来技
術を用いた場合、複製ノードから提供されるデータの新
しさは、システム的に決っているため、 ・負荷が高くなる等して、システムの状態が変化すると
クライアントの要求する新しさのデータを提供すること
ができなくなる、 ・新しさの要求がアプリケーションの種類によって異な
る場合やアプリケーションのおかれた状態に依存する場
合、全ての要求を満たすようにするためには、最も高い
新しさの要求に応じたシステム設計をしなければなら
ず、システム全体のコストを高めてしまう、といった問
題が発生する。
【0013】本発明は、このような課題を解決するため
のものであり、クライアントの要求する新しさのデータ
を容易に提供することができ、かつ、低コストで実現可
能なデータ複製方法およびデータ複製プログラムを記録
した記録媒体を提供することを目的とする。
【0014】
【課題を解決するための手段】このような目的を達成す
るために、本発明に係るデータ複製方法は、通信ネット
ワークに計算機が複数接続されており、計算機上には、
データを管理するプロセスが一つまたは複数動作してお
り、前記プロセスの管理するデータは全て同一であり、
全てのデータを管理するプロセスがマスタ、すなわち管
理するデータの更新を受付け、自プロセスのデータを変
更して、他のプロセスに更新を伝搬していくプロセスで
あり、各プロセスが管理するデータの更新は、非同期に
行われることによって、前記データがしだいに複製ノー
ドに更新されていくデータ複製方法において、前記デー
タを管理する複数の複製ノードと、前記データの更新と
読み出しとを要求するクライアント・ノードと、このク
ライアント・ノードからの要求を仲介し前記複製ノード
に対して要求を行うフロントエンド・ノードとを有す。
【0015】(a)前記複数の複製ノードは、一つまた
は複数のグループに分割され、前記各グループに含まれ
る複製ノードは、更新経路を表す論理的な木構造で接続
されており、ある複製ノードに更新要求が伝搬されたと
き、この複製ノードは、前記木構造上で隣接する複製ノ
ードのうち、前記更新要求を伝搬してきたノード以外の
全てのノードに対して更新要求を伝搬する。
【0016】(b)前記フロントエンド・ノードは、前
記クライアント・ノードからの更新要求に対して、前記
複製ノードの各グループにおける一つの複製ノードに更
新要求を行うとともに、前記クライアント・ノードから
の読み出し要求に対して、前記クライアント・ノードが
要求する新しさのデータを取得するために必要な複製ノ
ード(以下、読み出し複製ノードという)を一つまたは
複数選択し、この読み出し複製ノードに対して読み出し
要求を行い、前記読み出し複製ノードから読み出したデ
ータ、または、前記読み出し複製ノードにおけるトラン
ザクション・ログに基づいて、前記各複製ノードが更新
を処理する方法と同じ方法により、全ての読み出し複製
ノードに施されている更新内容を反映したデータを生成
し、このデータを前記クライアント・ノードに応答する
ものである。
【0017】また、本発明に係るデータ複製方法は、そ
の他の態様として以下に示す構成も含む。
【0018】すなわち、前記フロントエンド・ノード
は、前記クライアント・ノードが要求する新しさと等し
い時間以内に更新を伝搬することのできる複製ノードの
集合を、前記複製ノードの範囲内発信ノード集合と定義
し、この範囲内発信ノード集合が他の複製ノードの範囲
内発信ノード集合の部分集合でない複製ノードを既約複
製ノードと定義し、この既約複製ノードのうち、他の既
約複製ノードの範囲内発信ノード集合に含まれていない
複製ノードを範囲内発信ノード集合に含むものを必須複
製ノードと定義し、木構造の中から、必須複製ノード
を、読み出し複製ノードとして選択し、選択された必須
複製ノードの範囲内発信ノード集合に含まれていない複
製ノードを削除して最小の部分木を構成し、同様にして
必須複製ノードを算出して読み出し複製ノードに加える
操作を繰り返し、前記部分木のうちの少なくとも一つの
複製ノードの範囲内発信ノード集合が、前記部分木の全
てのノードを含むまで上述の操作を繰り返すことにより
読み出し複製ノードを算出する手段であってもよい。
【0019】また、前記フロントエンド・ノードは、木
構造上で隣接する複製ノード間において、それぞれの範
囲内発信ノード集合を交換し、自ノードの範囲内発信ノ
ードの集合と隣接ノードから受け取った範囲内発信ノー
ドの集合を用いて、前記既約複製ノードおよび前記必須
複製ノードを算出する手段であってもよい。
【0020】さらに、前記クライアント・ノードが要求
する新しさは、最新度として定義され、所定の確率p
で、現在から時間T前までの更新を反映しているとき
に、確率pの最新度はTであると定義されていてもよ
い。
【0021】一方、本発明に係るデータ複製プログラム
を記録した記録媒体は、通信ネットワークに計算機が複
数接続されており、計算機上には、データを管理するプ
ロセスが一つまたは複数動作しており、前記プロセスの
管理するデータは全て同一であり、全てのデータを管理
するプロセスがマスタ、すなわち管理するデータの更新
を受付け、自プロセスのデータを変更して、他のプロセ
スに更新を伝搬していくプロセスであり、各プロセスが
管理するデータの更新は、非同期に行われることによっ
て、前記データがしだいに複製ノードに更新されていく
データ複製プログラムを記録した記録媒体において、前
記データを管理する複数の複製ノードと、前記データの
更新と読み出しとを要求するクライアント・ノードと、
このクライアント・ノードからの要求を仲介し前記複製
ノードに対して要求を行うフロントエンド・ノードとを
有す。
【0022】(a)前記複数の複製ノードは、一つまた
は複数のグループに分割され、前記各グループに含まれ
る複製ノードは、更新経路を表す論理的な木構造で接続
されており、ある複製ノードに更新要求が伝搬されたと
き、この複製ノードは、前記木構造上で隣接する複製ノ
ードのうち、前記更新要求を伝搬してきたノード以外の
全てのノードに対して更新要求を伝搬する。
【0023】(b)前記フロントエンド・ノードは、前
記クライアント・ノードからの更新要求に対して、前記
複製ノードの各グループにおける一つの複製ノードに更
新要求を行うとともに、前記クライアント・ノードから
の読み出し要求に対して、前記クライアント・ノードが
要求する新しさのデータを取得するために必要な複製ノ
ード(以下、読み出し複製ノードという)を一つまたは
複数選択し、この読み出し複製ノードに対して読み出し
要求を行い、前記読み出し複製ノードから読み出したデ
ータ、または、前記読み出し複製ノードにおけるトラン
ザクション・ログに基づいて、前記各複製ノードが更新
を処理する方法と同じ方法により、全ての読み出し複製
ノードに施されている更新内容を反映したデータを生成
し、このデータを前記クライアント・ノードに応答する
ものである。
【0024】また、本発明に係るデータ複製プログラム
を記録した記録媒体は、その他の態様として以下に示す
構成も含む。
【0025】すなわち、前記フロントエンド・ノード
は、前記クライアント・ノードが要求する新しさと等し
い時間以内に更新を伝搬することのできる複製ノードの
集合を、前記複製ノードの範囲内発信ノード集合と定義
し、この範囲内発信ノード集合が他の複製ノードの範囲
内発信ノード集合の部分集合でない複製ノードを既約複
製ノードと定義し、この既約複製ノードのうち、他の既
約複製ノードの範囲内発信ノード集合に含まれていない
複製ノードを範囲内発信ノード集合に含むものを必須複
製ノードと定義し、木構造の中から、必須複製ノード
を、読み出し複製ノードとして選択し、選択された必須
複製ノードの範囲内発信ノード集合に含まれていない複
製ノードを削除して最小の部分木を構成し、同様にして
必須複製ノードを算出して読み出し複製ノードに加える
操作を繰り返し、前記部分木のうちの少なくとも一つの
複製ノードの範囲内発信ノード集合が、前記部分木の全
てのノードを含むまで上述の操作を繰り返すことにより
読み出し複製ノードを算出する手段であってもよい。
【0026】また、前記フロントエンド・ノードは、木
構造上で隣接する複製ノード間において、それぞれの範
囲内発信ノード集合を交換し、自ノードの範囲内発信ノ
ードの集合と隣接ノードから受け取った範囲内発信ノー
ドの集合を用いて、前記既約複製ノードおよび前記必須
複製ノードを算出する手段であってもよい。
【0027】さらに、前記クライアント・ノードが要求
する新しさは、最新度として定義され、所定の確率p
で、現在から時間T前までの更新を反映しているとき
に、確率pの最新度はTであると定義されていてもよ
い。
【0028】
【発明の実施の形態】次に、本発明の一つの実施の形態
について図を用いて説明する。図1は、本発明に係るネ
ットワークおよびネットワークに接続された計算機を示
す。同図に示すように、計算機1は、インターフェース
を介してネットワーク2に接続され、データの複製等の
種々の制御を行う中央処理装置(CPU)、データおよ
び本発明に係る通信制御プログラムおよびアプリケーシ
ョン・プログラム等を記憶保持するランダム・アクセス
・メモリ(RAM)およびハードディスク・ドライブ
(HDD)を有する。データ等は複数の計算機1に分散
して記憶保持され、各計算機1には後述の種々のプロセ
スが働いている。したがって、本発明はネットワーク・
システムとして提供できるとともに、記録媒体に記録し
た状態で提供することもできる。
【0029】図2は、ネットワーク上に分散する複数の
プロセスを模式的に示したものである。同図に示すよう
に、各プロセスはその働きに応じて3種類に分類され
る。データを管理するプロセスである複製ノードと、デ
ータの更新およびデータの読み出し要求を行うプロセス
であるクライアント・ノードと、クライアント・ノード
からの要求を仲介して複数の複製ノードに対して要求
(更新要求、読み出し要求等)を出すプロセスであるフ
ロントエンド・ノードとである。各複製ノードは、同一
のデータ・オブジェクトを管理している。
【0030】(1)クライアントノードは、読み出し要
求と更新要求を行う。読み出し要求は、フロントエンド
・ノードに対して、読み出しを行いたいデータ・オブジ
ェクトと、必要とするデータの新しさである最新度とを
指定することにより行われる。更新要求は、フロントエ
ンド・ノードに対して、更新したいデータ・オブジェク
トと更新後の値を指定することにより行われる。
【0031】(2)複製ノードは、複数が集まって一つ
のグループを構成し、ネットワーク上には一以上のグル
ープが存在する。各グループに含まれる複製ノードは、
更新経路を示す論理的な木構造によって接続され、デー
タ更新操作と読み出し操作と読み出し複製ノード計算と
を行う。データ更新操作は、フロントエンド・ノードま
たは他の複製ノードからの更新要求を受信し、自ノード
のデータを更新して、隣接する複製ノードのうち、更新
要求を送信した複製ノード以外に対して更新要求を伝搬
することにより行われる。読み出し操作は、フロントエ
ンド・ノードからの読み出し操作に対して、自ノードが
管理するデータやトランザクション・ログと、それらに
付与されたタイムスタンプと、をフロントエンド・ノー
ドに返答することにより行われる。
【0032】(3)フロントエンド・ノードは、データ
更新操作と読み出し操作と読み出し複製ノード計算とを
行う。データ更新操作は、クライアント・ノードからの
更新要求を、グループ分けした複製ノードの各グループ
に含まれる1つの複製ノードに対して、更新要求を送信
することにより行われる。読み出し操作は、クライアン
ト・ノードからの読み出し要求で指定された最新度を満
す読み出しノード集合を選択し、この集合に含まれる各
読み出しノードに読み出し要求を送信し、結果として受
信したデータやトランザクション・ログとそれらに付与
されたタイムスタンプに基づいて、読み出し要求を行っ
た複製ノードのデータに反映されている全ての更新を反
映したデータを生成し、クライアント・ノードに返答す
ることにより行われる。読み出し複製ノード計算は、複
製ノードと協調して読み出し複製ノードを算出すること
により行われる。詳細は後述する。
【0033】なお、フロントエンド・ノードの読み出し
動作は、アプリケーションによって異なる。例えば、従
来例での述べた移動端末の位置情報の場合について説明
すると次のようになる。移動端末の位置情報の場合、複
数の位置から更新が行われた場合に最も新しい情報が正
しい情報となるため、各複製ノードにおける通常の更新
では、データに割り当てられた更新時のタイムスタンプ
を基にして、最も新しいタイムスタンプを持ったデータ
を現在の値として用いる。フロントエンド・ノードは、
各複製ノードにおける更新処理と同じ処理を行う。よっ
て、移動端末の例では、複数の複製ノードからデータ
と、そのデータに割り当てられたタイムスタンプとを取
得して、最も新しいタイムスタンプを持つデータを現在
のデータとしてクライアント・ノードに送信する。
【0034】ここで読み出し複製ノードの算出方法につ
いて述べる。
【0035】まず、クライアント・ノードが要求する取
得データの新しさの定義として、最新度を定義する。次
に、ある複製ノードから他の複製ノードヘの更新遅れを
推測する方法について述べる。最後に、推測された更新
遅れに基づいてクライアント・ノードの要求する最新度
を満たす読み出し複製ノードの算出方法について述べ
る。
【0036】(1)最新度の定義 持願平11−047076号「データ複製システムおよ
びデータ複製プログラムを記録した記録媒体」に定義さ
れている最新度と同様に、取得したデータがどの程度の
最近のデータであるかをあらわすパラメータである最新
度を、確率pで現在から時間Tp 前までの更新を反映し
ている時、確率pの最新度がTp であると定義する。
【0037】(2)更新遅れの推測 ここでは、ある複製ノードから他の複製ノードヘの更新
遅れを推定する方法について述べる。文献「統計的方法
II推測」(渡辺洋、芝祐順著、新曜社発行)に述べられ
ているように、今n個の旧標本の順序統計をX(1),X
(2),X(3),…,X(n)とする。m個の新標本Y(1),Y
(2),Y(3),…,Y(m)をとり、両標本の全てに順序づ
けを行うと、新標本の取り方として可能な組合わせは、
n+mnである。したがって、それぞれの生じる確率は、
1/n+mnである。ある一つの更新の伝搬の遅れについ
て考えると、m=1であるため、今、確率pでの2つの
複製ノード間の遅れdp は、dp =Xi である。ただ
し、Xi<dp ≦Xi+1であり、iはi/(n+1)<p
≦(i+1)/(n+1)を満たす整数である。
【0038】(3)用語の定義 ここでは、後述の「読み出し複製ノードの算出方法」の
説明の際に用いられる用語について定義を行う。
【0039】「読み出し複製ノード」…フロントエンド
・ノードがクライアント・ノードの要求する最新度を満
たすようなデータを提供するために、読み出し要求を発
行する複製ノードのことである。また、この読み出し複
製ノードの集合を読み出し複製ノード集合と呼ぶ。
【0040】「範囲内発信ノード」…複製ノードiか
ら、複製ノードjに対して、クライアント・ノードが要
求する範囲内の最新度で更新が伝搬するとき、iをjの
範囲内発信ノードと呼ぶ。また、範囲内発信ノードの集
合を範囲内発信ノード集合と呼ぶ。この範囲内発信ノー
ドであるか否かの判断は、上記の更新遅れの推測によっ
て行うものとする。
【0041】「既約複製ノード」…各複製ノードiの範
囲内発信ノードの集合をOi としたとき、任意のj(i
≠j)について
【0042】
【数1】
【0043】であるとき、iを既約複製ノードと呼ぶ。
「必須複製ノード」…既約複製ノードの中で、r∈Oi
であり、かつ、任意のj(j≠i)について、
【0044】
【数2】
【0045】であるrが存在するとき、iを必須複製ノ
ードと呼ぶ。
【0046】
【実施例】[読み出し複製ノードの算出方法の実施例
1]本読み出し複製ノードの算出方法の実施例では、 ・各ノードは、識別子を持つ、 ・各フロントエンド・ノードは、フラッディング(送信
ノード以外の隣接ノードにデータを送出する)等の技術
によって、トポロジー情報および各複製ノードの範囲内
発信ノード集合の情報を持つ、 ・フロントエンド・ノードが、読み出し複製ノード集合
を算出する、ものとする。
【0047】本実施例では、最初の木構造Tから、ノー
ドおよび枝を削除しながら、木構造を再構築していき、
読み出し複製ノードを算出していく。このとき、再構築
された木構造をTS とし、初期値はTS =Tである。ま
た、本実施例では、以下の1.〜4.の手続きをTS
のノードのうち、TS に含まれる全てのノードを範囲内
発信ノード集合とするものが存在しない間繰り返し、最
後に5.の手続きを実行する。
【0048】1.TS について既約複製ノード集合を算
出する。 2.既約複製ノードの中から同一の範囲内発信ノード集
合を持つものがあれば、一つを残して他を削除する。 3.必須複製ノードを算出する。 4.必須複製ノードの範囲内発信ノードではない複製ノ
ードで構成される最小の木TS を構成する。 5.TS 内のノードのうち、TS に含まれる全てのノー
ドを範囲内発信ノード集合とするものを読み出し複製ノ
ードに加える。
【0049】図3に、本実施例のアルゴリズムを示す。
同図において、各変数は以下の通りである。
【0050】A:全複製ノードの集合である。 R:読み出し複製ノード集合である。初期値はR=
{φ}であり、φは空集合を意味する。 V:Rに含まれる読み出し複製ノードの範囲内発信ノー
ドの集合である。初期値はV={φ}である。
【0051】S:木構造TS に含まれる複製ノードの集
合である。初期値はS=Aである。 C:TS に含まれる既約複製ノードの集合である。 M:必須複製ノードの集合である。 Oi :複製ノードiの範囲内発信ノード集合である。ま
た、関数constructMinimumTree(nodes)は、ノード集合n
odesを含む最小の部分木を作成する関数である。
【0052】アルゴリズムの詳細について説明する。
【0053】まず、同図に示すように、全複製ノード集
合A,読み出し複製ノード集合R,集合Rに含まれる読
み出し複製ノードの範囲内発信ノード集合V,木構造T
S に含まれる複製ノード集合Sを設定する。次いで、
(1)に示すように、集合Aから集合Vを除いた集合
(以下、集合A\Vという)内における全ての複製ノー
ドiについて、(2)〜(9)に示す演算を繰り返す。
ここで、複製ノードiの範囲内発信ノード集合Oi は、
集合A\Vと等しくない。
【0054】(2)集合S中の全ての複製ノードiにつ
いて、範囲内発信ノード集合Oi に集合Oi \Vを代入
する。 (3)既約複製ノード集合Cに、複製ノードiからなる
集合を代入する。ここで、複製ノードiは集合Sの要素
であり、かつ、集合Sに含まれる全ての複製ノードjに
関して範囲内発信ノード集合Oj は範囲内発信ノード集
合Oi を部分集合として持たない。
【0055】(4)集合Cの要素である全ての複製ノー
ドi,j(ただし、i≠j)について、範囲内発信ノー
ド集合Oi=Ojであれば、既約複製ノード集合Cに集合
C\{j}を代入する。 (5)集合Mに、複製ノードiからなる集合を代入す
る。ここで、集合A\Vに存在する複製ノードjと、集
合Cに含まれる全ての複製ノードk(ただし、k≠i)
とに関して、複製ノードjが範囲内発信ノード集合Oi
に含まれかつ範囲内発信ノード集合Ok に含まれないと
いう条件を満たす。
【0056】(6)読み出し複製ノード集合Rに、読み
出し複製ノード集合Rと必須複製ノード集合Mとの和集
合を代入する。 (7)集合Vに、集合Vと複製ノードiからなる集合と
の和集合を代入する。ここで、複製ノードiは範囲内発
信ノード集合Oj の要素であり、かつ、複製ノードjは
必須複製ノード集合Mの要素である。
【0057】(8)集合TS に、集合A\Vに関数cons
tructMinimumTreeを施した結果を代入する。 (9)集合Sに、集合TS 中の複製ノードの集合を代入
する。
【0058】以上のように(1)〜(9)の演算を繰り
返した後、(10)に示す演算を行う。 (10)読み出し複製ノード集合Rに、読み出し複製ノ
ード集合Rと複製ノードiの集合との和集合を代入す
る。ここで、範囲内発信ノード集合Oi は集合A\Vに
等しい。
【0059】次に、実施例1に係るアルゴリズムを用い
た具体例について説明する。図4(a)は、この例で用
いられる更新伝搬のための木構造T0 を示す。また、ク
ライアントが要求する最新度を確率pでTpとし、各リ
ンクにおける遅延時間は等しく、1リンクの遅延はクラ
イアントの要求を満たすが、2リンク以上の遅延はクラ
イアントの要求を満たさないものとする。最初の繰り返
しでは、黒色および梨地の丸印のノードが既約複製ノー
ドとなる。すなわち、ノード2,3,4,5,6,7,
10,12,13,14,16,17,20,21およ
び22は既約複製ノードである。
【0060】このうち、黒色の丸印は必須複製ノードで
ある。すなわち、ノード2,7,10,14,17およ
び22は必須複製ノードである。ノード2はノード1を
唯一含むため必須複製ノードである。同様にノード7は
ノード8および9を唯一含み、ノード10はノード11
を唯一含み、ノード14はノード15を唯一含み、ノー
ド17はノード18および19を含み、ノード22はノ
ード23および24を唯一含むため、何れも必須複製ノ
ードである。また、同図中のROn は、複製ノードnの
範囲内発信ノード集合である。
【0061】次に、本アルゴリズムは、必須複製ノード
に含まれていないノードで構成される最小の部分木を構
成する。この段階において、必須複製ノードに含まれて
いないノードは、4,5,12および20である。よっ
て、最小の部分木は図4(b)に示されるように、ノー
ド4,5,12,13および20で構成される部分木と
なる。
【0062】ここでさらに、部分木を用いて同様の操作
で既約複製ノードを算出すると、ノード4,12および
13となる。このうちノード4はノード5を唯一含み、
ノード13はノード20を唯一含むため、ノード4およ
び13が必須複製ノードとなる。この段階で全てのノー
ドが必須複製ノードによってカバーされたことになり、
本アルゴリズムは必須複製ノードであるノード2,4,
7,10,13,14,17および22を、クライアン
トの要求する最新度を満たすための読み出し複製ノード
集合として、アルゴリズムは終了する。
【0063】[読み出し複製ノードの算出方法の実施例
2]本実施例においても、各複製ノードは識別子をも
ち、各ノードがTS に含まれるか否かを示すフラグ変数
としてin_tree_flagを管理し、以下の操作
を繰り返す。in_tree_flagの初期値は、i
n_tree_flag=ONである。
【0064】1.ツリー上の各ノードは、自ノードの識
別子をフラッディングによって、ほかの全てのノードに
通知する。 2.ツリー上のノードヘの経路のなかに、2つ以上の隣
接ノードが含まれているときには、in_tree_f
lag=ONとする。 3.自ノードiの範囲内発信ノード集合Oi が、ツリー
上の全てのノードを含んでいる時、フラッディングによ
って全てのツリー上のノードに計算終了を通知する。 4.自ノードiのOi を自ノード識別子とともに隣接複
製ノードに送信する。 5.既約複製ノードの判別 ・全ての隣接複製ノードjについて
【0065】
【数3】
【0066】ならば、既約複製ノードである。 ・受信したOj にOi⊂Ojを満たすものが一つでも存在
すれば、既約複製ノードではない。 ・いくつかについてOi=Oj、それ以外は
【0067】
【数4】
【0068】ならば、判断待ち状態となる。 6.自ノードが既約複製ノードか否かの判断がつき、か
つ、隣接ノードjにO i=Ojなるものが存在すれば、複
製ノードは、同じOi を持つ隣接複製ノードに判断結果
を送信する。 7.複数の既約複製ノードの範囲内発信ノード集合が同
一であるとき、最も大きな識別子を持つ複製ノードが代
表で既約複製ノードとなる。
【0069】8.必須複製ノードの判別 ・既約複製ノードでない複製ノードは、既約複製ノード
からのメッセージを伝達することによって、既約複製ノ
ードでない複製ノードを縮退させた木構造上での隣接す
る既約複製ノード間で範囲内発信ノード集合を交換す
る。 ・複製ノードiが、既約複製ノードであり、全ての隣接
ノードのOj の和集合に含まれない要素をOi がもって
いるとき、複製ノードiは、必須複製ノードである。必
須複製ノードは、識別子を全てのフロントエンドノード
に通知する。
【0070】9.必須複製ノードは、Oi をフラッディ
ングする。それ以外は、空集合をフラッディングする。
受信した範囲内発信ノード集合に含まれているノード
は、in_tree_flag=OFFとする。含まれ
ていないノードは、in_tree_flag=ONと
する。
【0071】
【発明の効果】以上説明したように本発明は、通信ネッ
トワークに計算機が複数接続されており、計算機上に
は、データを管理するプロセスが一つまたは複数動作し
ており、前記プロセスの管理するデータは全て同一であ
り、全てのデータを管理するプロセスがマスタ、すなわ
ち管理するデータの更新を受付け、自プロセスのデータ
を変更して、他のプロセスに更新を伝搬していくプロセ
スであり、各プロセスが管理するデータの更新は、非同
期に行われることによって、前記データがしだいに複製
ノードに更新されていくデータ複製方法において、前記
データを管理する複数の複製ノードと、前記データの更
新と読み出しとを要求するクライアント・ノードと、こ
のクライアント・ノードからの要求を仲介し前記複製ノ
ードに対して要求を行うフロントエンド・ノードとを有
し、複製ノードおよびフロントエンド・ノードが以下の
ような構成をしている。
【0072】(a)前記複数の複製ノードは、一つまた
は複数のグループに分割され、前記各グループに含まれ
る複製ノードは、更新経路を表す論理的な木構造で接続
されており、ある複製ノードに更新要求が伝搬されたと
き、この複製ノードは、前記木構造上で隣接する複製ノ
ードのうち、前記更新要求を伝搬してきたノード以外の
全てのノードに対して更新要求を伝搬する。
【0073】(b)前記フロントエンド・ノードは、前
記クライアント・ノードからの更新要求に対して、前記
複製ノードの各グループにおける一つの複製ノードに更
新要求を行うとともに、前記クライアント・ノードから
の読み出し要求に対して、前記クライアント・ノードが
要求する新しさのデータを取得するために必要な複製ノ
ード(以下、読み出し複製ノードという)を一つまたは
複数選択し、この読み出し複製ノードに対して読み出し
要求を行い、前記読み出し複製ノードから読み出したデ
ータ、または、前記読み出し複製ノードにおけるトラン
ザクション・ログに基づいて、前記各複製ノードが更新
を処理する方法と同じ方法により、全ての読み出し複製
ノードに施されている更新内容を反映したデータを生成
し、このデータを前記クライアント・ノードに応答す
る。
【0074】したがって、本発明は、負荷が高くなる等
して、システムの状態が変化しても、クライアントの要
求する新しさのデータを提供することができる。また、
新しさの要求がアプリケーションの種類によって異なる
場合やアプリケーションのおかれた状態に依存する場合
においても、低コストでシステムを構成することができ
る。
【図面の簡単な説明】
【図1】 本発明に係るネットワークおよび計算機を示
す構成図である。
【図2】 更新要求および読み出し要求を受けた際の各
ノードの関係を示す説明図である
【図3】 実施例1のアルゴリズムを示す説明図であ
る。
【図4】 実施例1のアルゴリズムを用いた場合の具体
例を示す説明図である。
【符号の説明】
1…計算機、2…ネットワーク、3…更新開始ノード、
4…読み出し複製ノード。

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 通信ネットワークに計算機が複数接続さ
    れており、計算機上には、データを管理するプロセスが
    一つまたは複数動作しており、前記プロセスの管理する
    データは全て同一であり、全てのデータを管理するプロ
    セスがマスタ、すなわち管理するデータの更新を受付
    け、自プロセスのデータを変更して、他のプロセスに更
    新を伝搬していくプロセスであり、各プロセスが管理す
    るデータの更新は、非同期に行われることによって、前
    記データがしだいに複製ノードに更新されていくデータ
    複製方法において、 前記データを管理する複数の複製ノードと、前記データ
    の更新と読み出しとを要求するクライアント・ノード
    と、このクライアント・ノードからの要求を仲介し前記
    複製ノードに対して要求を行うフロントエンド・ノード
    とを有し、 (a)前記複数の複製ノードは、一つまたは複数のグル
    ープに分割され、前記各グループに含まれる複製ノード
    は、更新経路を表す論理的な木構造で接続されており、
    ある複製ノードに更新要求が伝搬されたとき、この複製
    ノードは、前記木構造上で隣接する複製ノードのうち、
    前記更新要求を伝搬してきたノード以外の全てのノード
    に対して更新要求を伝搬し、 (b)前記フロントエンド・ノードは、 前記クライアント・ノードからの更新要求に対して、前
    記複製ノードの各グループにおける一つの複製ノードに
    更新要求を行うとともに、 前記クライアント・ノードからの読み出し要求に対し
    て、前記クライアント・ノードが要求する新しさのデー
    タを取得するために必要な複製ノード(以下、読み出し
    複製ノードという)を一つまたは複数選択し、 この読み出し複製ノードに対して読み出し要求を行い、 前記読み出し複製ノードから読み出したデータ、また
    は、前記読み出し複製ノードにおけるトランザクション
    ・ログに基づいて、前記各複製ノードが更新を処理する
    方法と同じ方法により、全ての読み出し複製ノードに施
    されている更新内容を反映したデータを生成し、このデ
    ータを前記クライアント・ノードに応答することを特徴
    とするデータ複製方法。
  2. 【請求項2】 請求項1において、 前記フロントエンド・ノードは、 前記クライアント・ノードが要求する新しさと等しい時
    間以内に更新を伝搬することのできる複製ノードの集合
    を、前記複製ノードの範囲内発信ノード集合と定義し、 この範囲内発信ノード集合が他の複製ノードの範囲内発
    信ノード集合の部分集合でない複製ノードを既約複製ノ
    ードと定義し、 この既約複製ノードのうち、他の既約複製ノードの範囲
    内発信ノード集合に含まれていない複製ノードを範囲内
    発信ノード集合に含むものを必須複製ノードと定義し、 木構造の中から、必須複製ノードを、読み出し複製ノー
    ドとして選択し、 選択された必須複製ノードの範囲内発信ノード集合に含
    まれていない複製ノードを削除して最小の部分木を構成
    し、 同様にして必須複製ノードを算出して読み出し複製ノー
    ドに加える操作を繰り返し、 前記部分木のうちの少なくとも一つの複製ノードの範囲
    内発信ノード集合が、前記部分木の全てのノードを含む
    まで上述の操作を繰り返すことにより読み出し複製ノー
    ドを算出する手段であることを特徴とするデータ複製方
    法。
  3. 【請求項3】 請求項2において、 前記フロントエンド・ノードは、 木構造上で隣接する複製ノード間において、それぞれの
    範囲内発信ノード集合を交換し、自ノードの範囲内発信
    ノードの集合と隣接ノードから受け取った範囲内発信ノ
    ードの集合を用いて、前記既約複製ノードおよび前記必
    須複製ノードを算出する手段であることを特徴とするデ
    ータ複製方法。
  4. 【請求項4】 請求項1において、 前記クライアント・ノードが要求する新しさは、最新度
    として定義され、 所定の確率pで、現在から時間T前までの更新を反映し
    ているときに、確率pの最新度はTであると定義されて
    いることを特徴とするデータ複製方法。
  5. 【請求項5】 通信ネットワークに計算機が複数接続さ
    れており、計算機上には、データを管理するプロセスが
    一つまたは複数動作しており、前記プロセスの管理する
    データは全て同一であり、全てのデータを管理するプロ
    セスがマスタ、すなわち管理するデータの更新を受付
    け、自プロセスのデータを変更して、他のプロセスに更
    新を伝搬していくプロセスであり、各プロセスが管理す
    るデータの更新は、非同期に行われることによって、前
    記データがしだいに複製ノードに更新されていくデータ
    複製プログラムを記録した記録媒体において、 前記データを管理する複数の複製ノードと、前記データ
    の更新と読み出しとを要求するクライアント・ノード
    と、このクライアント・ノードからの要求を仲介し前記
    複製ノードに対して要求を行うフロントエンド・ノード
    とを有し、 (a)前記複数の複製ノードは、一つまたは複数のグル
    ープに分割され、前記各グループに含まれる複製ノード
    は、更新経路を表す論理的な木構造で接続されており、
    ある複製ノードに更新要求が伝搬されたとき、この複製
    ノードは、前記木構造上で隣接する複製ノードのうち、
    前記更新要求を伝搬してきたノード以外の全てのノード
    に対して更新要求を伝搬し、 (b)前記フロントエンド・ノードは、 前記クライアント・ノードからの更新要求に対して、前
    記複製ノードの各グループにおける一つの複製ノードに
    更新要求を行うとともに、 前記クライアント・ノードからの読み出し要求に対し
    て、前記クライアント・ノードが要求する新しさのデー
    タを取得するために必要な複製ノード(以下、読み出し
    複製ノードという)を一つまたは複数選択し、 この読み出し複製ノードに対して読み出し要求を行い、 前記読み出し複製ノードから読み出したデータ、また
    は、前記読み出し複製ノードにおけるトランザクション
    ・ログに基づいて、前記各複製ノードが更新を処理する
    方法と同じ方法により、全ての読み出し複製ノードに施
    されている更新内容を反映したデータを生成し、このデ
    ータを前記クライアント・ノードに応答することを特徴
    とするデータ複製プログラムを記録した記録媒体。
  6. 【請求項6】 請求項5において、 前記フロントエンド・ノードは、 前記クライアント・ノードが要求する新しさと等しい時
    間以内に更新を伝搬することのできる複製ノードの集合
    を、前記複製ノードの範囲内発信ノード集合と定義し、 この範囲内発信ノード集合が他の複製ノードの範囲内発
    信ノード集合の部分集合でない複製ノードを既約複製ノ
    ードと定義し、 この既約複製ノードのうち、他の既約複製ノードの範囲
    内発信ノード集合に含まれていない複製ノードを範囲内
    発信ノード集合に含むものを必須複製ノードと定義し、 木構造の中から、必須複製ノードを、読み出し複製ノー
    ドとして選択し、 選択された必須複製ノードの範囲内発信ノード集合に含
    まれていない複製ノードを削除して最小の部分木を構成
    し、 同様にして必須複製ノードを算出して読み出し複製ノー
    ドに加える操作を繰り返し、 前記部分木のうちの少なくとも一つの複製ノードの範囲
    内発信ノード集合が、前記部分木の全てのノードを含む
    まで上述の操作を繰り返すことにより読み出し複製ノー
    ドを算出する手段であることを特徴とするデータ複製プ
    ログラムを記録した記録媒体。
  7. 【請求項7】 請求項6において、 前記フロントエンド・ノードは、 木構造上で隣接する複製ノード間において、それぞれの
    範囲内発信ノード集合を交換し、自ノードの範囲内発信
    ノードの集合と隣接ノードから受け取った範囲内発信ノ
    ードの集合を用いて、前記既約複製ノードおよび前記必
    須複製ノードを算出する手段であることを特徴とするデ
    ータ複製プログラムを記録した記録媒体。
  8. 【請求項8】 請求項5において、 前記クライアント・ノードが要求する新しさは、最新度
    として定義され、 所定の確率pで、現在から時間T前までの更新を反映し
    ているときに、確率pの最新度はTであると定義されて
    いることを特徴とするデータ複製プログラムを記録した
    記録媒体。
JP20001599A 1999-07-14 1999-07-14 データ複製方法およびデータ複製プログラムを記録した記録媒体 Expired - Fee Related JP3545267B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20001599A JP3545267B2 (ja) 1999-07-14 1999-07-14 データ複製方法およびデータ複製プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20001599A JP3545267B2 (ja) 1999-07-14 1999-07-14 データ複製方法およびデータ複製プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001028594A true JP2001028594A (ja) 2001-01-30
JP3545267B2 JP3545267B2 (ja) 2004-07-21

Family

ID=16417393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20001599A Expired - Fee Related JP3545267B2 (ja) 1999-07-14 1999-07-14 データ複製方法およびデータ複製プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3545267B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006112430A1 (ja) * 2005-04-18 2006-10-26 Turbo Data Laboratories Inc. 情報処理システムおよび情報処理方法
KR100824047B1 (ko) 2006-11-03 2008-04-22 고려대학교 산학협력단 모바일 애드혹 네트워크 망에서의 보증시간 기반의 데이터전송 방법 및 그 시스템
WO2010106991A1 (ja) * 2009-03-19 2010-09-23 株式会社ココリンク データの複製管理方法及びシステム
WO2014010014A1 (ja) * 2012-07-09 2014-01-16 株式会社Murakumo ツリー構造の管理方法、情報処理システム、及び、プログラム
JP2014186382A (ja) * 2013-03-21 2014-10-02 Fujitsu Ltd 情報処理システム、情報処理装置を制御する制御プログラム及び情報処理システムの制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863441A (ja) * 1994-08-26 1996-03-08 Hitachi Ltd 並列システムの運用方法
JP2000242620A (ja) * 1999-02-24 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> データ複製システムおよびデータ複製プログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863441A (ja) * 1994-08-26 1996-03-08 Hitachi Ltd 並列システムの運用方法
JP2000242620A (ja) * 1999-02-24 2000-09-08 Nippon Telegr & Teleph Corp <Ntt> データ複製システムおよびデータ複製プログラムを記録した記録媒体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006112430A1 (ja) * 2005-04-18 2006-10-26 Turbo Data Laboratories Inc. 情報処理システムおよび情報処理方法
US8024531B2 (en) 2005-04-18 2011-09-20 Turbo Data Laboratories, Inc. Information processing system and information processing method
JP4995724B2 (ja) * 2005-04-18 2012-08-08 株式会社ターボデータラボラトリー 情報処理システムおよび情報処理方法
KR101188761B1 (ko) 2005-04-18 2012-10-10 가부시키가이샤 터보 데이터 라보라토리 정보 처리 시스템 및 정보 처리 방법
KR100824047B1 (ko) 2006-11-03 2008-04-22 고려대학교 산학협력단 모바일 애드혹 네트워크 망에서의 보증시간 기반의 데이터전송 방법 및 그 시스템
WO2010106991A1 (ja) * 2009-03-19 2010-09-23 株式会社ココリンク データの複製管理方法及びシステム
JP4719318B2 (ja) * 2009-03-19 2011-07-06 株式会社Murakumo データの複製管理方法及びシステム
US8423507B2 (en) 2009-03-19 2013-04-16 Murakumo Corporation Method and system for managing replication of data
WO2014010014A1 (ja) * 2012-07-09 2014-01-16 株式会社Murakumo ツリー構造の管理方法、情報処理システム、及び、プログラム
JPWO2014010014A1 (ja) * 2012-07-09 2016-06-20 株式会社Murakumo ツリー構造の管理方法、情報処理システム、及び、プログラム
US9571299B2 (en) 2012-07-09 2017-02-14 Murakumo Corporation Method for managing tree structure, information processing system, and medium
JP2014186382A (ja) * 2013-03-21 2014-10-02 Fujitsu Ltd 情報処理システム、情報処理装置を制御する制御プログラム及び情報処理システムの制御方法

Also Published As

Publication number Publication date
JP3545267B2 (ja) 2004-07-21

Similar Documents

Publication Publication Date Title
CN111723160B (zh) 一种多源异构增量数据同步方法及系统
US9081841B2 (en) Asynchronous distributed garbage collection for replicated storage clusters
US20190196728A1 (en) Distributed storage system-based data processing method and storage device
US7783607B2 (en) Decentralized record expiry
CN106815218B (zh) 数据库访问方法、装置和数据库系统
US7693882B2 (en) Replicating data across the nodes in a cluster environment
US20090012932A1 (en) Method and System For Data Storage And Management
US8380663B2 (en) Data integrity in a database environment through background synchronization
CN106934048A (zh) 数据在线迁移方法、代理节点
CN113360456B (zh) 数据归档方法、装置、设备以及存储介质
US7792966B2 (en) Zone control weights
CN115599807A (zh) 一种数据存取方法、装置、应用服务器及存储介质
CN113885797B (zh) 一种数据存储方法、装置、设备及存储介质
CN110532123A (zh) HBase系统的故障转移方法及装置
CN105956046A (zh) 一种字典的更新方法、系统和服务器
JP2001028594A (ja) データ複製方法およびデータ複製プログラムを記録した記録媒体
US7949632B2 (en) Database-rearranging program, database-rearranging method, and database-rearranging apparatus
CN111212138B (zh) 一种跨站点存储系统及数据信息访问方法
JP3421270B2 (ja) データ複製システムおよびデータ複製プログラムを記録した記録媒体
CN117472918B (zh) 数据处理方法、系统、电子设备及存储介质
CN117614973B (zh) 一种基于多云架构的文件存储方法
JP2000020374A (ja) レプリケーション制御システム
CN113890875B (zh) 任务分配方法及装置
US11604768B2 (en) Optimizing resources in a disaster recovery cleanup process
JP2023546818A (ja) データベースシステムのトランザクション処理方法、装置、電子機器、及びコンピュータプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040407

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110416

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees