JP2012238122A

JP2012238122A - 分散データ管理システムおよび方法

Info

Publication number: JP2012238122A
Application number: JP2011105712A
Authority: JP
Inventors: Tomohiro Hasegawa; 知洋長谷川; Takashi Menjo; 崇毛受; Seiji Matsumura; 聖司松村; Hiroki Akama; 浩樹赤間; Masashi Yamamuro; 雅司山室
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-05-10
Filing date: 2011-05-10
Publication date: 2012-12-06
Anticipated expiration: 2031-05-10
Also published as: JP5570469B2

Abstract

【課題】時々刻々と発生する時系列データ（データストリーム）をネットワーク上で収集・蓄積し、利用者の目的に合った形のデータ処理を無停止で実行可能にする。
【解決手段】分散データ管理システムにおける追記部(Q)が自身の状態を追記クライアント(AC)に通知し、追記部(Q)が停止する必要がある場合に、追記クライアント(AC)にスイッチオーバーを通知し、当該通知を受け取った追記クライアント(AC)は情報部(I)から別の追記部(Q)の接続情報を払い出してもらい、当該別の追記部(Q)と処理を継続する。このとき、現在のIPアドレス以外のIPアドレスのサーバへのスイッチオーバー、または、情報部（I）から指定されたIPアドレスへのスイッチオーバー、または、スイッチオーバーせずに、指定時間が経過するまでもしくは指定状態に変化するまで追記を保留する。
【選択図】図１

Description

本発明は、分散データ管理システムおよび方法に係り、特に、Webカメラやセンシング機器、GPS機能付き携帯端末などから時々刻々と発生する時系列データ（データストリーム）をネットワーク上で収集・蓄積し、利用者の目的に合った形で処理を実行して結果を提供する無停止分散データ管理システムおよび方法に関するものである。

追記クライアントからの接続要求に応じて追記部の払い出しを行い、系内のプロセス構成を管理する情報部と、追記クライアントから追記されたデータを受け取り、キューイングする追記部と、キューから取り出したレコードに対して多様な処理を行うフィルタ部が分散配置されているネットワーク環境において、負荷分散やスケールアウト、可用性の向上を目的とした分散データ管理方式がある（例えば、非特許文献１参照）。非特許文献１の方式では、追記部、フィルタ部のそれぞれを分散するプロセス構成で実現し、各サーバには当該サーバ内の追記部やフィルタ部を管理するポートマッパを1プロセス配置し、情報部が系内のプロセス構成を記録したプロセス構成情報をマルチキャストし、ポートマッパ経由で系内の全プロセスに配信し、プロセスの生存状況や新規プロセスの追加状況を確認する。追記部では追記クライアントから入力されたレコードに対して管理用のレコードIDおよび時刻印を付与した後でキューにレコードを蓄積し、フィルタ部では情報部からのマルチキャストで受信したプロセス構成情報の中から接続可能な追記部の一覧を取得し、自律的分散データ取得処理（例えばラウンドロビンアルゴリズムなど）によって追記部を1つ選択して接続し、キューから情報源IDとともにレコードを取得（Pull）し、情報源IDに応じて決められた処理を行うというステップを繰り返す。

このように非特許文献1の方式では、フィルタ部が自ら都合の良いタイミングで追記部からデータを取得（Pull）して処理を行うため、自らのタイミングでプロセスを終了することができ、また新しいフィルタ部を任意のタイミングで追加して系に参加させることもできる。そのため、予め新しいフィルタ部を追加しておいて動作中の（古い）フィルタ部を停止させれば、処理の流れを停止させることなくフィルタ部の入れ替え（スイッチオーバー）が可能となる。

「追記・参照型データ管理システムの設計と評価」，赤間他，情報処理学会論文誌 Vol.49 No.2，2008年2月，pp749-764．

しかしながら、上記の非特許文献1の方式は、追記クライアントからデータの書き込みを受けている追記部では、追記クライアントからのデータ書き込みが止まらない限り追記部を停止させたり、別の追記部へ書き込み先を切り替え（スイッチオーバーさせ）たりすることができない（OSのバージョンアップやパッチ適用に伴うサーバの計画停止に対応できない）。

また、追記部には追記クライアントからのデータ書き込みを抑止する手段がないため、追記部を動作させているサーバの空きメモリ容量が不足している状況で追記クライアントからデータサイズが大きいデータの書き込みがあるとサーバ異常やサーバ停止を引き起こすことも考えられる。

本発明の目的は、Webカメラやセンシング機器、GPS機能付き携帯端末などから時々刻々と発生する時系列データ（データストリーム）をネットワーク上で収集・蓄積し、利用者の目的に合った形のデータ処理を無停止で実行可能な分散データ管理システムを実現することである。

本発明は、上記目的を達成するために、
Webカメラやセンシング機器、GPS機能付き携帯端末などの時系列データを時々刻々と発生させる情報源からデータ受け付けて追記する追記クライアント（AC）と、
データ記憶装置を具備し、追記クライアント（AC）から追記されたデータを受け取ってキューイングする追記部（Q）と、
追記部（Q）からデータを取得して予め定義された処理を実行するフィルタ部（F）と、
追記クライアント（AC）からの接続要求に応じて追記部（Q）の払い出しを行う情報部（I）が存在するネットワーク環境において、
追記クライアント（AC）は、接続要求手段により情報部（I）に接続要求を行い、情報源IDとともに接続先となる追記部（Q）の接続情報（IPアドレス、ポート番号など）を取得し、データ送信手段により追記部（Q）にデータを追記し、
追記部（Q）は、追記クライアント（AC）から送信されたデータをデータ受付手段により受け取り、管理用のレコードIDおよび時刻印を付与した後でデータ記憶装置にFIFO順に蓄積し、
フィルタ部（F）は、データ取得手段により自律的分散データ取得処理（例えばラウンドロビンアルゴリズムなど）を行って追記部（Q）を1つ選択し、追記部（Q）のデータ記憶装置から情報源IDとともにデータを取得（Pull）し、データ処理手段により情報源IDごとに予め定義された処理を行うステップを繰り返し、
情報部（I）は、接続要求受付手段により追記クライアント（AC）からの接続要求を受け付け、未使用の追記部（Q）の中から少なくとも1つ以上の追記部（Q）を選択し、1つの情報源IDと前記少なくとも1つ以上の追記部（Q）の接続情報（IPアドレス、ポート番号など）を返却し、
追記部（Q）が状態通知手段により追記クライアント（AC）からのデータ受付時に追記クライアント（AC）に自身（追記部（Q））あるいは自身が動作するサーバの状態を通知することで、Webカメラやセンシング機器、GPS機能付き携帯端末などから時々刻々と発生する時系列データ（データストリーム）をネットワーク上で収集・蓄積し、利用者の目的に合った形で処理を実行して結果を提供する無停止分散データ管理システムを提供する。

以上説明したように、本発明（請求項１、２）によれば、Webカメラやセンシング機器、GPS機能付き携帯端末などから時々刻々と発生する時系列データ（データストリーム）をネットワーク上の追記部（Q）で収集・蓄積し、フィルタ部（F）が利用者の目的に合った形で処理を実行して結果を提供する無停止分散データ管理システムを実現することができる。

また、本発明（請求項３，４）によれば、追記部（Q）が追記クライアント（AC）からのデータ受付時に追記クライアント（AC）に対して追記部（Q）がスイッチオーバー状態であることを通知することで、追記クライアント（AC）は新たな追記部（Q）の払い出し要求を行い、払い出された追記部（Q）に対してデータの追記を再開することで無停止分散データ管理システムを実現することができる。

また、本発明（請求項５）によれば、追記部（Q）が追記クライアント（AC）からのデータ受付時に追記クライアント（AC）に対して追記部（Q）がデータ受付待機状態であることを通知することで、追記クライアント（AC）は指定された条件を満たすまで追記部（Q）に対するデータ追記を待機するため、追記部（Q）が動作しているサーバのメモリあふれなどによるサーバ異常やサーバ停止を抑止した無停止分散データ管理システムを実現することができる。

本発明の一実施形態の無停止分散データ管理システムの構成図である。本発明の一実施形態の無停止分散データ管理システムの構成例である。本発明の一実施形態の追記クライアント(AC)の動作のフローチャートである。本発明の一実施形態の追記部(Q)の動作のフローチャートである。本発明の一実施形態のフィルタ部（F）の動作のフローチャートである。本発明の一実施形態の情報部（I）の動作のフローチャートである。

以下、本発明の実施形態を図面を参照して説明する。

図１は、本発明の一実施形態の無停止分散データ管理システムの構成図である。

同図に示す無停止分散データ管理システムは、追記クライアント(AC)１００、追記部（Q）２００、フィルタ部（F）３００、情報部（I）４００から構成される。

追記クライアント（AC）１００は、接続要求部１１０、データ送信部１２０を有し、追記部２００はデータ受付部２１０、データ記憶装置２２０、状態通知部２３０を有し、フィルタ部（F）３００はデータ取得部３１０、データ処理部３２０を有し、情報部（I）４００は接続要求受付部４１０を有する。

本実施形態の無停止分散データ管理システムは、追記クライアント(AC)１００がWebカメラやセンシング機器、GPS機能付き携帯端末などの時系列データを時々刻々と発生させる情報源からデータを受け取り、接続要求部１１０から情報部（I）４００に対して接続要求を行った結果、払い出された追記部（Q）２００にデータ送信部１２０がデータを追記する。追記部（Q）２００では、データ受付部２１０が、追記クライアント（AC）１００から追記されたデータを例えばキューなどとして実装されたデータ記憶装置２２０にFIFO順にキューイングする。フィルタ部（F）３００は、データ取得部３１０でデータ記憶装置２２０からデータを取得し、データ処理部３２０において情報源IDごとに予め定義された処理を実行するステップを繰り返す。

尚、本実施形態の分散データ管理システムは、追記部（Q）２００の各プロセスが自身が管理するデータ記憶装置２２０を保持しているが、データ記憶装置を追記部（Q）プロセスの外部に配置することも可能である。また、情報部（I）４００、追記クライアント（AC１００）、追記部（Q）２００、フィルタ部（F）３００を複数配置した構成とすることも可能である。

図２は、本発明の一実施形態の無停止分散データ管理システムの構成例である。

追記部（Q）２００は物理サーバ上に1プロセス配置することも複数プロセス配置することも可能である。フィルタ部（F）３００も物理サーバ上に1プロセス配置することも複数プロセス配置することも可能である。また、追記部（Q）２００とフィルタ部（F）３００のプロセスを同一サーバ上に混在して配置することも可能である。

各物理サーバ上にポートマッパ（P）なるプロセスを配置して追記部（Q）２００およびフィルタ部（F）３００を管理し、管理下にある追記部（Q）２００およびフィルタ部（F）３００の各プロセスに対して各種命令（例えば、起動、停止、生存確認、指定コマンド実行など）を通知する構成とすることも可能である。

また、本実施形態では情報部（I）４００を異なる物理サーバ上に配置した例を示しているが、追記部（Q）２００やフィルタ部（F）３００と同一サーバ上に配置した構成とすることも可能である。

図３は、本発明の一実施形態の追記クライアント（AC）の動作のフローチャートである。

同図のフローチャートでは、追記クライアント（AC）１００が接続要求部１１０により情報部（I）４００に接続要求を行う際の動作とデータ送信部１２０により追記部（Q）２００へデータを追記する際の動作を示す。

ステップ１０１）追記クライアント（AC）１００の接続要求部１１０は、情報部（I）４００に追記部（Q）払い出しの接続要求を行う。

ステップ１０２）追記クライアント(AC)１００のデータ送信部１２０は、情報源IDとともに情報部（I）４００から追記部（Q）の接続情報（IPアドレス、ポート番号など）を取得する。

ステップ１０３）情報源からのデータが存在しなければ、ステップ１０３を繰り返し、データが存在すれば次のステップへ進む。

ステップ１０４）追記クライアント(AC)１００のデータ送信部１２０は、情報源IDとともに追記部（Q）２００にデータを追記する。

ステップ１０５）追記部（Q）２００からスイッチオーバー状態通知があれば次のステップへ進み、なければステップ１０９へ進む。

ステップ１０６）スイッチオーバー状態通知を受け取った際にスイッチオーバー先のIPアドレスの通知があれば次のステップへ進み、なければステップ１０８へ進む。

ステップ１０７）スイッチオーバー先のIPアドレスを通知して情報部（I）４００に接続要求を行い、ステップ１０２へ戻る。

ステップ１０８）接続要求部１１０は、スイッチオーバー状態を通知してきた追記部（Q）２００のIPアドレスを指定して情報部（I）４００に接続要求を行い、ステップ１０２へ戻る。

ステップ１０９）追記部（Q）２００からデータ受付待機状態通知があれば次のステップへ進み、なければステップ１０３へ戻る。

ステップ１１０）指定された時間経過後もしくは指定されたサーバ状態に変化するまで（例えば、指定された空きメモリ容量になるまで）待機し、ステップ１０３へ戻る。

次に、追記部（Q）２００に関する動作について説明する。

図４は、本発明の一実施形態の追記部（Q）の動作のフローチャートである。

追記部（Q）２００がデータ受付部２１０により追記クライアント（AC）１００からデータを受け付けてデータ記憶装置２２０に蓄積する際の動作と、状態通知部２３０により追記クライアント（AC）１００からのデータ受付時に追記クライアント（AC）１００に自身（追記部（Q）２００）あるいは自身が動作するサーバの状態を通知する際の動作を示す。

ステップ２０１）データ受付部２１０は、自身のデータ記憶装置２２０に空きがあれば次のステップへ進み、なければステップ２０７へ進む。

ステップ２０２）データ受付部２１０は、追記クライアント（AC）１００から情報源IDとともに追記されたデータを受け取る。

ステップ２０３）データ受付部２１０は、管理用のレコードIDを付与する。

ステップ２０４）データ受付部２１０は、受け取り時の時刻印を付与する。

ステップ２０５）データ受付部２１０は、データをFIFO順にデータ記憶装置２２０に蓄積する。

ステップ２０６）コマンドなどを通じて停止命令が通知されていれば終了し、通知されていなければステップ２０８へ進む。

ステップ２０７）エラーログを出力するなどの例外処理を実行してステップ２０1に戻る。

ステップ２０８）スイッチオーバー状態であれば次のステップへ進み、スイッチオーバー状態でなければステップ２１３へ進む。

ステップ２０９）スイッチオーバー先のIPアドレスの通知があれば次のステップへ進み、なければステップ２１１へ進む。当該ステップ２０９〜ステップ２１２の処理がスイッチオーバー先サーバのIPアドレス指定がある場合の処理（請求項３に対応）となる。

ステップ２１０）追記クライアント（AC）１００にスイッチオーバー先のIPアドレスを指定してスイッチオーバー状態を通知しステップ２１２に進む。

ステップ２１１）追記クライアント(AC)１００に自身のIPアドレスを指定してスイッチオーバー情報を通知する。

ステップ２１２）自身のデータ記憶装置２２０にレコードが存在しなければ終了し、存在すればステップ２１２を繰り返す。

ステップ２１３）データ受付待機状態であれば次のステップへ進み、データ受付待機状態でなければステップ２０１へ戻る。

ステップ２１４）追記クライアント（AC）１００にデータ受付待機状態を通知し、ステップ２０１へ戻る。当該ステップのデータ受付待機状態通知の処理（請求項５に対応）となる。

次に、フィルタ部(F)３００の動作について説明する。

図５は、本発明の一実施形態のフィルタ部(F)の動作のフローチャートである。

フィルタ部（F）３００がデータ取得部３１０により自律的分散データ取得処理（例えばラウンドロビンアルゴリズムなど）を行って追記部（Q）２００を1つ選択し、追記部（Q）２００のデータ記憶装置２２０から情報源IDと共にデータを取得（Pull）する際の動作とデータ処理部３１０により取得したデータに対して情報源IDごとに予め定義された処理を行う際の動作を示す。

ステップ３０１）データ取得部３１０は、自律的分散データ取得処理（例えばラウンドロビンアルゴリズムなど）により追記部（Q）２００を1つ選択する。

ステップ３０２）当該追記部（Q）２００のデータ記憶装置２２０にレコードがあれば次のステップへ進み、なければステップ３０１へ戻る。

ステップ３０３）データ取得部３１０は、当該追記部（Q）２００のデータ記憶装置２２０から情報源IDとともにFIFO順にデータを取得する。

ステップ３０４）データ処理部３２０は、取得したデータに対して情報源IDごとに予め定義された処理を行う。

ステップ３０５）コマンドなどを通じて停止命令が通知されていれば終了し、通知されていなければステップ３０１へ戻る。

次に、情報部(I)４００の動作について説明する。

図６は、本発明の一実施形態における情報部(I)の動作のフローチャートである。

以下に、情報部（I）４００が接続要求受付部４１０により追記クライアント（AC）１００から接続要求を受け付け、少なくとも1つ以上の追記部（Q）の接続情報と1つの情報源IDを返却する際の動作を示す。

ステップ４０１）接続要求受付部４１０は、追記クライアント（AC）１００からの接続要求があれば次のステップへ進み、なければステップ４０１に戻る。なお、接続要求としては、
（１）追記部(Q)２００のIPアドレス指定の接続要求；
（２）スイッチオーバー先のIPアドレス指定の接続要求；
（３）IPアドレス指定無しの接続要求；
がある。

ステップ４０２）第1の追記部（Q）２００_１のIPアドレスを通知した接続要求であれば次のステップへ進み、そうでなければステップ４０４へ進む。

ステップ４０３）接続要求が上記の（１）である場合は、第1の追記部（Q）２００_１のIPアドレス以外で動作する第2の追記部（Q）２００_２の少なくとも1つ以上の接続情報と1つの情報源IDを追記クライアント（AC）１００に返却し、ステップ４０１へ戻る。

ステップ４０４）スイッチオーバー先のIPアドレスを通知した接続要求であれば次のステップへ進み、そうでなければステップ４０６へ進む。

ステップ４０５）接続要求が上記(２)である場合は、通知されたIPアドレスで動作する第2の追記部（Q）２００_２の少なくとも1つ以上の接続情報と1つの情報源IDを追記クライアント（AC）１００に返却し、ステップ４０１へ戻る。

ステップ４０６）接続要求が上記(３)である場合は、未使用の追記部（Q）２００_ｎのうち少なくとも1つ以上の接続情報と1つの情報源IDを追記クライアント（AC）１００に返却し、ステップ４０１へ戻る。

なお、上記の分散データ管理システムの追記クライアント（AC）１００、追記部（Q）２００、フィルタ部（F）３００、情報部(I)４００の各々が有する構成要素の動作をプログラムとして構築し、コンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

１００追記クライアント(AC)
１１０接続要求部
１２０データ送受信部
２００追記部（Q）
２１０データ受付部
２２０データ記憶装置
２３０状態通知部
３００フィルタ部（F）
３１０データ取得部
３２０データ処理部
４００情報部(I)
４１０接続要求受付部

Claims

時系列データを時々刻々と発生させる情報源からデータ受け付けて追記する追記クライアント（AC）と、
データ記憶装置を具備し、追記クライアント（AC）から追記されたデータを受け取ってキューイングする追記部（Q）と、
前記追記部（Q）からデータを取得して予め定義された処理を実行するフィルタ部（F）と、
前記追記クライアント（AC）からの接続要求に応じて追記部（Q）の払い出しを行う情報部（I）が存在するネットワーク環境における分散データ管理システムであって、
前記追記クライアント（AC）は、
前記情報部（I）に接続要求を行い、情報源IDとともに接続先となる追記部（Q）の接続情報（IPアドレス、ポート番号など）を取得する接続要求手段と、
前記情報源からデータを受け付けて情報源IDとともに前記追記部（Q）にデータを追記するデータ送信手段と、を具備し、
前記追記部（Q）は、
前記追記クライアント（AC）によって追記されたデータを受け取って管理用のレコードIDを付与するとともに、受け取りの時刻印を付与し、データをFIFO順にデータ記憶装置にキューイングするデータ受付手段と、
前記追記クライアント（AC）からのデータ受付時に追記クライアント（AC）に自身（追記部（Q））あるいは自身が動作するサーバの状態を通知する状態通知手段と、
を具備し、
前記フィルタ部（F）は、
少なくとも1つ以上の追記部（Q）から自律的分散データ取得処理を行って追記部（Q）を1つ選択し、該追記部（Q）のデータ記憶装置から情報源IDとともにデータを取得（Pull）するデータ取得手段と、
取得した前記データに対して情報源ID毎に予め定義された処理を実行するデータ処理手段と、を具備し、
前記情報部（I）は、
前記追記クライアントからの接続要求を受け付け、未使用の追記部（Q）の中から少なくとも1つ以上の追記部（Q）を選択し、1つの情報源IDと前記少なくとも1つ以上の追記部（Q）の接続情報を返却する接続要求受付手段を具備する
ことを特徴とする無停止分散データ管理システム。
時系列データを時々刻々と発生させる情報源からデータ受け付けて追記する追記クライアント（AC）と
データ記憶装置を具備し、追記クライアント（AC）から追記されたデータを受け取ってキューイングする追記部（Q）と、
前記追記部（Q）からデータを取得して予め定義された処理を実行するフィルタ部（F）と、
前記追記クライアント（AC）からの接続要求に応じて前記追記部（Q）の払い出しを行う情報部（I）が存在するネットワーク環境において、
前記追記クライアント（AC）は、接続要求手段により前記情報部（I）に接続要求を行い、情報源IDとともに接続先となる追記部（Q）の接続情報（IPアドレス、ポート番号など）を取得し、データ送信手段により該追記部（Q）にデータを追記し、
前記追記部（Q）は、前記追記クライアント（AC）から送信されたデータをデータ受付手段により受け取り、管理用のレコードIDおよび時刻印を付与した後でデータ記憶装置にFIFO順に蓄積し、
前記フィルタ部（F）は、データ取得手段により自律的分散データ取得処理を行って追記部（Q）を1つ選択し、該追記部（Q）のデータ記憶装置から情報源IDとともにデータを取得（Pull）し、データ処理手段により情報源IDごとに予め定義された処理を行うステップを繰り返し、
前記情報部（I）は、接続要求受付手段により前記追記クライアント（AC）からの接続要求を受け付け、未使用の追記部（Q）の中から少なくとも1つ以上の追記部（Q）を選択し、1つの情報源IDと前記少なくとも1つ以上の追記部（Q）の接続情報（IPアドレス、ポート番号など）を返却し、
前記追記部（Q）は、状態通知手段により前記追記クライアント（AC）からのデータ受付時に該追記クライアント（AC）に自身（追記部（Q））あるいは自身が動作するサーバの状態を通知する
ことを特徴とする分散データ管理方法。
第1の追記部（Q）に対してスイッチオーバー命令を通知すると、
前記第1の追記部（Q）がスイッチオーバー状態へ移行し、前記追記クライアント（AC）からの次回のデータ追記時に前記追記部の状態通知手段により該第1の追記部（Q）から該追記クライアント（AC）に対して自身（追記部（Q））のIPアドレスと該第1の追記部（Q）がスイッチオーバー状態であることを通知し、
通知を受けた追記クライアント（AC）が、前記情報部（I）に対して前記接続要求手段により第1の追記部（Q）のIPアドレスを通知して新たな接続要求を行い、
前記情報部（I）は、前記接続要求受付手段により前記追記クライアント（AC）から通知された第1の追記部（Q）のIPアドレス以外で動作する第2の追記部（Q）の少なくとも1つ以上の接続情報と1つの情報源IDを追記クライアント（AC）に返却し、
前記第2の追記部（Q）の払い出しを受けた追記クライアント（AC）が、該第2の追記部（Q）に対して前記データ送信手段によりデータ追記を再開する
請求項２記載の分散データ管理方法。
第1の追記部（Q）に対してスイッチオーバー命令を通知する際に併せてスイッチオーバー先のIPアドレスを指定すると、
前記第1の追記部（Q）がスイッチオーバー状態へ移行し、前記追記クライアント（AC）からの次回のデータ追記時に前記追記部の状態通知手段により該第1の追記部（Q）から該追記クライアント（AC）に対してスイッチオーバー先のIPアドレスと該第1の追記部（Q）がスイッチオーバー状態であることを通知し、
通知を受けた前記追記クライアント（AC）が、前記情報部（I）に対して前記接続要求手段によりスイッチオーバー先のIPアドレスを通知して新たな接続要求を行い、
前記情報部（I）は、前記接続要求受付手段により追記クライアント（AC）から通知されたIPアドレスで動作する第2の追記部（Q）の少なくとも1つ以上の接続情報（IPアドレス、ポート番号など）と1つの情報源IDを追記クライアント（AC）に返却し、
前記第2の追記部（Q）の払い出しを受けた追記クライアント（AC）が、該第2の追記部（Q）に対して前記データ送信手段によりデータ追記を再開する
請求項２記載の分散データ管理方法。
第1の追記部（Q）に対してデータ受付待機命令を通知すると、
前記第1の追記部（Q）がデータ受付待機状態へ移行し、前記追記クライアント（AC）からの次回のデータ追記時に前記追記部の状態通知手段により第1の追記部（Q）から追記クライアント（AC）に対して第1の追記部（Q）がデータ受付待機状態であることを通知し、
通知を受けた追記クライアント（AC）が、指定された時間経過後あるいは指定されたサーバ状態に変化した後で前記第1の追記部（Q）に対してデータ追記を再開する
請求項２記載の分散データ管理方法。