JP2002132563A - 分散型計算機システムにおける重複配置複製データの複製方式 - Google Patents

Abstract

(57)【要約】 【課題】 外部識別子と内部識別子との関係を各計算機
間で送受信しなくても各計算機に配置された複製データ
を一致化させること。 【解決手段】 計算機間で共通の外部識別子に、外部識
別子固有の連番とデータ値を付加したマスタデータ１０
４を送信データ１０７としてマスタ配置計算機１０１か
らレプリカ配置計算機１０３に送信し、レプリカ配置計
算機１０３が、送信データ１０７を１回目に受信したと
きには、送信データ１０７に含まれる外部識別子を識別
子変換処理機構１１１を用いて内部識別子に変換し、こ
の内部識別子を連番の値に対応づけて連番並びの対応表
１１０に格納し、同じ連番を含む送信データ１０７を再
度受信したときには、連番に対応した内部識別子を連番
並びの対応表１１０から取り出し、この内部識別子に対
応したデータ格納エリアのデータ値を送信データに含ま
れるデータ値で更新する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、分散型計算機シス
テムに係り、特に、分散して配置された複数の計算機を
ネットワークを介して互いに接続し、各計算機間で情報
の授受を行なうに際して、各計算機に重複して配置され
た複製データを計算機間で一致させるに好適な分散型計
算機システムに関する。

【０００２】

【従来の技術】分散配置された複数の計算機がネットワ
ークを介して互いに接続された分散型計算機システムに
おいては、システムの特性に応じたプログラムを各計算
機に分散して配置したり、あるいはプログラムが必要と
するデータを各計算機に分散して配置する構成が採用さ
れている。この場合、プログラムと、このプログラムが
必要とするデータが配置される計算機が常に同じ計算機
であるとは限らない。例えば、計算機として、情報入力
を司る入力計算機と、入力計算機に関する情報を表示す
る表示計算機とからなる分散型計算機システムの場合、
入力計算機に入力されたデータは、入力計算機に配置さ
れた入力処理プログラムにより、入力計算機上のデータ
として更新されるが、このデータを表示する表示処理プ
ログラムは表示計算機に配置されるといったケースが一
般的である。このように、プログラムと、このプログラ
ムが必要とすデータは、必ずしも同一の計算機に配置さ
れるわけではなく、別の計算機に配置されることもあ
る。このような場合、ある計算機に配置されたプログラ
ムはネットワークを介したリモート処理によって、他の
計算機に配置されているデータをアクセスすることがで
きる。

【０００３】一方、１つの入力計算機に複数の表示用計
算機が接続され、入力計算機上でデータが頻繁に更新さ
れるようなシステムにおいては、システムの処理性や応
答性を向上させる目的で、入力計算機上のデータを必要
とするプログラムが配置されている他の計算機上にもデ
ータを重複させて配置し、入力計算機上のデータが更新
されたときに、データが更新されるごとあるいは一定の
周期で、更新されたデータの内容を、他の計算機上に重
複して配置された複製データに一致化（レプリケーショ
ン）する方式が採用されている。複数の計算機間で複製
データの一致化処理を行なうと、プログラムがデータを
アクセスする都度発生したり、ネットワークを介したリ
モート処理によって発生したりするネットワーク上のデ
ータ伝送時間やネットワーク通信手続きを低減できると
いうメリットがある。

【０００４】計算機システムにおけるプログラムからの
データアクセスは、データを特定する識別子を用いて行
なわれることが一般的である。

【０００５】ここで、識別子とは、名称など、人間が認
識し易く、分散型計算機システムの各計算機間で共通な
識別子である外部識別子を指す。一方、データベースな
どに格納されたデータを識別するためのもう１つの識別
子として、ある計算機におけるデータの物理的格納位置
情報を示す内部識別子（アドレス）がある。この内部識
別子は、データ管理機能の中に隠蔽され、プログラムは
直接使用しないことが一般的である。

【０００６】プログラムからのデータアクセスは、プロ
グラムから指定された外部識別子を内部識別子に変換す
る機能を有する識別子変換処理機構によって、プログラ
ムで指定され外部識別子を内部識別子に変換し、変換さ
れた内部識別子にしたがってデータアクセスが実施され
る。このように、プログラムからのデータアクセスは、
その過程において、識別子変換処理機構による外部識別
子から内部識別子への変換にオーバーヘッドがかかる。
このため、特に、高速なデータアクセスを必要とす場合
は、予め、何らかの手段によって、外部識別子に対応す
る内部識別子を求めておき、プログラムからのデータア
クセス時に、直接、内部識別子を用いてデータアクセス
をすることも一般的である。

【０００７】例えば、同一の外部識別子のデータに何度
もアクセスする場合、最初のデータアクセスの際には、
プログラムにしたがって外部識別子でアクセスするが、
その際にデータ管理機構によって変換された内部識別子
を得ることで、次のアクセスからは、内部識別子を用い
てアクセスすることもできる。

【０００８】このような、データアクセスの方法は、分
散型計算機システムにおいて、重複して配置した複製デ
ータの一致化においても同様であり、データを一致化す
る頻度が低い場合には、外部識別子を用いてデータの一
致化を行なっても時間的性能上の問題は生じない。しか
し、データを一致化する頻度が高い場合は、内部識別子
を用いてデータの一致化を行なわないと、性能的に問題
となることがある。

【０００９】特に、内部識別子のデータ形式や値は、デ
ータ管理機能によって決定されるため、データ管理機構
の違いや、データの構造、データの配置方法によっては
計算機間で内部識別子が異なっている可能性がある。

【００１０】また、データのバージョンが変った際に
は、内部識別子の値も変更されることが一般的である。
このため、計算機間に重複して配置された複製データを
一致化するに際して、内部識別子を用いて行なわなけれ
ば性能的に問題となる場合には、分散型計算機システム
内の各計算機における内部識別子の値や形が統一されて
いることが条件になり、分散型計算機システム内の各計
算機のデータ管理機構が同一であることと、それぞれの
計算機におけるデータのバージョンが統一されているこ
とが必要になる。このことは、データバージョン変更も
各計算機で一斉に実施しなくてはならないことを意味す
る。なお、この種の技術に関連するものとしては、例え
ば、特開平７−３３４２０９号公報が挙げられる。

【００１１】

【発明が解決しようとする課題】従来の分散型計算機シ
ステムにおいては、処理時間の短縮を図るとともに、各
計算機に重複して配置された複製データを一致化するた
めに、複製元データを有する計算機（送信側計算機）か
ら、複製データを有する計算機（受信側計算機）に対し
て、データの一致化を行なうために送信する送信データ
として、内部識別子とデータ値とを組にしたものを用い
る構成が採用されている。この場合、送信データを受信
した計算機（受信側計算機）上のプログラムは送信デー
タ内の内部識別子を用いてデータベースをアクセスし、
データベースのデータを、送信されたデータ値で更新す
るようになっている。このような形態でデータの一致化
処理が行なえるためには、送信側計算機と受信側計算機
において、外部識別子と内部識別子との対応が同一であ
ることが条件となる。

【００１２】しかし、内部識別子の値やデータ型は、各
計算機が有しているデータ管理機構に依存し、計算機ご
とに異なっているのが一般的である。

【００１３】したがって、データのバージョンやデータ
管理機構が計算機ごとで異なる場合など、内部識別子の
値やデータ型が異なる計算機間で、各計算機に重複して
配置された複製データの一致化を内部識別子にしたがっ
て行なおうとすると、送信側計算機において複製データ
を一致化するための送信データを作成する際に、受信側
計算機のデータ構造やデータベースのバージョンに依存
する内部識別子を知っておく必要がある。これを行なう
ためには、受信側計算機の外部識別子と内部識別子との
対応表を送信側計算機に事前に送付することが余儀なく
される。

【００１４】しかも、内部識別子はデータのバージョン
が変更されるとその値も変るため、受信側計算機の外部
識別子と内部識別子との対応表は、データのバージョン
が変るたびに送信側計算機に送信しなくてはならず、そ
のデータ量は、データベースに保持するデータレコード
数に依存するが、たいていの場合は、非常に大きなデー
タ量となる。そのため、このような送信は、データのバ
ージョンを切替る際に実施することが一般的であり、こ
のため、送信用計算機と受信側計算機のデータのバージ
ョンは同時に切替る必要がある。しかし、送信用計算機
と受信側計算機においてデータのバージョンを同時に切
替ることは、分散型計算機システムの構成や運用上の非
常に大きな制約となる。

【００１５】なお、各計算機に重複して配置された複製
データの一致化を行なうに際して、その送信データとし
て、内部識別子を用いずに外部識別子を用いる方法もあ
る。しかし、この方法では、データ一致化処理を実行毎
に、外部識別子を内部識別子に変換する処理を実施しな
ければならず、計算機システムの性能上の問題が生じ
る。

【００１６】本発明の目的は、外部識別子と内部識別子
との関係を送信側計算機と受信側計算機との間で送受信
しなくても各計算機に配置された複製データを一致化さ
せることができる分散型計算機システムにおける重複配
置複製データの複製方式とこのシステムにおける複製デ
ータ一致化方法を提供することにある。

【００１７】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、複数の計算機をネットワークを介して互
いに接続し、各計算機間で情報の授受を行う分散型計算
機システムにおいて、前記複数の計算機間で共通の外部
識別子に外部識別子固有の連番とデータ値を付加した複
製元データを生成して送信データとしてネットワークに
送出する送信側計算機と、前記送信データを前記ネット
ワークを介して受信して複製データとして格納する受信
側計算機とを備え、前記受信側計算機は、前記外部識別
子固有の連番とこの連番に対応したデータの物理的格納
位置を示す内部識別子を格納する連番並びの対応表と、
前記送信データの受信時に、前記送信データに含まれる
連番に対応した内部識別子を前記連番並びの対応表から
抽出し、この内部識別子に対応したデータ格納エリアの
データ値を前記送信データに含まれるデータ値で更新す
ることを特徴とする分散型計算機システムにおける重複
配置複製データの複製方式を構成したものである。

【００１８】前記分散型計算機システムにおける重複配
置複製データの複製方式を構成するに際しては、前記受
信側計算機の識別子変換処理機構として、前記送信デー
タの受信時に、前記送信データに含まれる連番に対応し
た内部識別子が前記連番並びの対応表に格納されていな
いことを条件に前記送信データに含まれる外部識別子を
識別子変換処理機構を用いて内部識別子に変換し、この
内部識別子を前記送信データに含まれる連番に対応づけ
て前記連番並びの対応表に格納するとともに、この内部
識別子に対応したデータ格納エリアに前記送信データに
含まれるデータ値を格納し、前記送信データに含まれる
連番に対応した内部識別子が前記連番並びの対応表に格
納されていることを条件に前記送信データに含まれる連
番に対応した内部識別子を前記連番並びの対応表から抽
出し、この内部識別子に対応したデータ格納エリアのデ
ータ値を前記送信データに含まれるデータ値で更新する
機能を有するものを用いることができる。

【００１９】前記各分散型計算機システムにおける重複
配置複製データの複製方式を構成するに際しては、以下
の要素を付加することができる。

【００２０】（１）前記送信側計算機は、前記送信デー
タにデータのバージョン情報を付加して送信してなり、
前記受信側計算機は、前記送信側計算機からの送信デー
タの受信時に前記送信データに含まれるデータのバージ
ョン情報と前記送信データの受信より前に前記送信側計
算機で生成された複製元データに関するバージョン情報
とを比較して両者の内容が異なりバージョンが変更され
たと判定したときに前記連番並びの対応表を初期化する
初期化手段を備えてなる。

【００２１】（２）前記送信側計算機は、前記送信デー
タにデータのバージョン情報を付加して送信してなり、
前記受信側計算機は、前記送信側計算機からの送信デー
タの受信時に前記送信データに含まれるデータのバージ
ョン情報と前記送信データの受信より前に前記送信側計
算機で生成された複製元データに関するバージョン情報
とを比較して両者の内容が異なりバージョンが変更され
たと判定したときに、バージョン変更時であっても、旧
バージョンの内部識別子と新バージョンの内部識別子と
の対応関係が明示的である場合には、前記対応関係に従
って新たに連番並びの対応表を作成する対応表作成手段
を備えてなる。

【００２２】また、本発明は、分散型計算機システムに
用いられる計算機共通の外部識別子に外部識別子固有の
連番とデータ値を付加した複製元データを生成して送信
データとして送信する送信側計算機と、前記送信データ
を受信して複製データとして格納するとともに前記外部
識別子固有の連番とこの連番に対応したデータの物理的
格納位置を示す内部識別子を格納する連番並びの対応表
を有する受信側計算機とをネットワークを介して接続
し、前記送信側計算機と前記受信側計算機との間で情報
の授受を行うに際して、前記受信側計算機は、前記送信
データの受信時に、前記送信データに含まれる連番に対
応した内部識別子を前記連番並びの対応表から抽出し、
この内部識別子に対応したデータ格納エリアのデータ値
を前記送信データに含まれるデータ値で更新することを
特徴とする分散型計算機システムにおける複製データ一
致化方法を採用したものである。

【００２３】前記複製データ一致化方法を採用するに際
しては、前記受信側計算機として、前記送信データの受
信時に、前記送信データに含まれる連番に対応した内部
識別子が前記連番並びの対応表に格納されていないこと
を条件に前記送信データに含まれる外部識別子を内部識
別子に変換し、この内部識別子を前記送信データに含ま
れる連番に対応づけて前記連番並びの対応表に格納する
とともに、この内部識別子に対応したデータ格納エリア
に前記送信データに含まれるデータ値を格納し、前記送
信データに含まれる連番に対応した内部識別子が前記連
番並びの対応表に格納されていることを条件に前記送信
データに含まれる連番に対応した内部識別子を前記連番
並びの対応表から抽出し、この内部識別子に対応したデ
ータ格納エリアのデータ値を前記送信データに含まれる
データ値で更新する機能を有するものを用いることがで
きる。

【００２４】前記複製データ一致化方法を採用するに際
しては、以下の要素を付加することができる。

【００２５】（１）前記送信側計算機は、前記送信デー
タにデータのバージョン情報を付加して送信し、前記受
信側計算機は、前記送信側計算機からの送信データの受
信時に前記送信データに含まれるデータのバージョン情
報と前記送信データの受信より前に前記送信側計算機で
生成された複製元データに関するバージョン情報とを比
較して両者の内容が異なりバージョンが変更されたと判
定したときに前記連番並びの対応表を初期化する。

【００２６】（２）前記送信側計算機は、前記送信デー
タにデータのバージョン情報を付加して送信し、前記受
信側計算機は、前記送信側計算機からの送信データの受
信時に前記送信データに含まれるデータのバージョン情
報と前記送信データの受信より前に前記送信側計算機で
生成された複製元データに関するバージョン情報とを比
較して両者の内容が異なりバージョンが変更されたと判
定したときに、バージョン変更時であっても、旧バージ
ョンの内部識別子と新バージョンの内部識別子との対応
関係が明示的である場合には、前記対応関係に従って新
たに連番並びの対応表を作成する。

【００２７】前記した手段によれば、送信側計算機が付
与する外部識別子固有の連番は、受信側計算機のデータ
構造やデータ保存状態に依存せずに作成できるため、送
信側計算機で受信側計算機とは独立に送信データを作成
することは可能になる。すなわち、連番は、外部識別子
ごとにユニークで、かつ外部識別子に対してデータのバ
ージョンごとに一意となる。例えば、１から連続する自
然数のような連続した番号で作成されるため、受信側計
算機のデータ構造やデータ捕集状態に依存せずに作成す
ることができる。また受信側計算機においては、データ
のバージョン情報が同一であるため、送信データに含ま
れる外部識別子を内部識別子に一度変換処理するだけ
で、二度目以降は、連番に対応した内部識別子を用いて
受信側計算機のデータ値を更新することができ、各計算
機に重複して配置され複製データの一致化を高速に行な
うことが可能になる。

【００２８】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて説明する。図１は本発明の一実施形態を示す
分散型計算機システムの全体構成図である。図１におい
て、分散型計算機システムは、入力計算機のような複製
元データを有する送信側計算機（以下、マスタ配置計算
機と呼ぶ。）１０１と、表示計算機のような複製データ
を有する受信側計算機（以下、レプリカ配置計算機と呼
ぶ。）１０３群を備え、マスタ配置計算機１０１と各レ
プリカ配置計算機１０３はネットワーク１０５を介して
互いに接続され、各計算機間で情報の授受が行なわれる
とともに、各計算機上に複製データが重複して配置され
るようになっている。

【００２９】マスタ配置計算機１０１は、複製元のデー
タである複製元データ（以下、マスタデータと呼ぶ。）
１０２を生成し、生成したマスタデータ１０２を送信デ
ータ１０７としてネットワークを１０５に送出する送信
側計算機として構成されている。具体的には、マスタ配
置計算機１０１は、マスタデータ１０２を格納するデー
タベース１０２ａを備えているとともに、マスタデータ
１０２を基に送信データ１０７を生成する送信側一致化
処理機構１０６を備えて構成されている。

【００３０】レプリカ配置計算機１０３群は、＃１〜＃
ｎのレプリカ配置計算機１０３から構成されており、各
レプリカ配置計算機１０３は、送信データ１０７を処理
する受信側一致化処理機構１０９、各レプリカ配置計算
機１０３に重複して配置された複製データ（以下、レプ
リカデータと呼ぶ。）１０４を格納するデータベース１
０４ａを備えて構成されている。なお、レプリカ配置計
算機１０３は、１台であっても複数台であっても構わな
い。またマスタ配置計算機１０１も、元データが異なる
場合には複数台となっても本発明に何ら影響を及ぼさな
い。ただし、本実施形態では、マスタ配置計算機１０１
が１台であるものとして説明する。

【００３１】マスタ配置計算機１０１は、マスタデータ
１０２を基に送信データ１０７を送信するに際しては、
マスタ配置計算機１０１・レプリカ配置計算機１０３間
で共通の外部識別子に、外部識別子固有の連番とデータ
値を付加したマスタデータ１０２を生成し、生成したマ
スタデータ１０２を送信データ１０７に変換するととも
に、＃１〜＃ｎの送信データ１０７にデータのバージョ
ン情報３０１を付加した送信パケット１０８を生成し、
この送信パケット１０８を、ネットワーク１０５を介し
て各レプリカ配置計算機１０３に送信するようになって
いる。

【００３２】このとき、送信側一致化処理機構１０６
は、マスタデータ１０２上のデータの外部識別子ごと
に、連番と呼ぶ外部識別子ごとにユニーク（１対１の関
係）で、１から始まる自然数で、かつデータのバージョ
ンごとに一意となる番号を作成する。この番号は、例え
ば、マスタ配置計算機１０１上のデータの格納アドレス
などから簡単に求めることができる。

【００３３】さらに、送信側一致化処理機構１０６は、
レプリカデータ１０４を一致化するタイミングにおい
て、マスタデータ１０２上で更新が発生したデータの外
部識別子ごとに、外部識別子と、この外部識別子に対応
した連番、データ値をまとめ、送信データ１０７を作成
する。さらに、前回、一致化タイミング以降に行なわれ
た複数のマスタデータ１０２の更新に対応する送信デー
タ１０７を求め、これらまとめた送信データ１０７群に
データのバージョン情報３０１を付加した送信パケット
１０８を作成し、この送信パケット１０８を、ネットワ
ーク１０５を介して、レプリカ配置計算機１０３群に送
信する。

【００３４】なお、本発明は、このときの送信方式とし
て、同報送信方式とするかあるいは個別送信方式とする
かについては独立であり、また異常時の処理方法および
回復方法とは独立であるため、ここではその詳細につい
ては言及しない。

【００３５】また、本実施形態では、マスタ配置計算機
１０１から送信された送信データ１０７が各レプリカ配
置計算機１０３に確実に届くことを前提としている。

【００３６】一方、各レプリカ配置計算機１０３の受信
側一致化処理機構１０９は、送信データ１０７に含まれ
る外部識別子を内部識別子に変換する識別子変換処理機
構１１１と、連番とともにこの連番に対応したデータの
物理的格納位置を示す内部識別子（アドレス）を格納す
る連番並びの対応表１１０を備えて構成されている。

【００３７】識別子変換処理機構１１１は、送信パケッ
ト１０８の受信時（送信データ１０７の受信時）に、送
信データ１０７に含まれる連番に対応した内部識別子が
連番並びの対応表１１０に格納されていないことを条件
に、送信データ１０７に含まれる外部識別子を内部識別
子に変換し、この内部識別子を送信データ１０７に含ま
れる連番に対応づけて連番並びの対応表１１０に格納
し、それ以外のとき、すなわち送信データ１０７に含ま
れる連番に対応した内部識別子が連番並びの対応表１１
０に格納されていることを条件に、送信データ１０７に
含まれる連番に対応した内部識別子を連番並びの対応表
１１０から抽出し、この内部識別子に対応したデータ格
納エリア（データベース１０４ａのデータ格納エリア）
に格納されているデータを、送信データ１０７に含まれ
るデータ値で更新するように構成されている。

【００３８】さらに、受信側一致化処理機構１０９は、
送信パケット１０８の受信時に、送信データ１０７に含
まれるデータのバージョン情報３０１と送信データ１０
７の受信より前にマスタ配置計算機１０１で生成された
複製元データに関するバージョン情報とを比較し、両者
の内容が異なりバージョンが変更されたと判定したとき
に、連番並びの対応表１０１の内容を初期化する初期化
手段としての機能を備えて構成されている。さらに、受
信側一致化処理機構１０９は、後述するように、送信パ
ケット１０８の受信時に、送信データ１０７に含まれる
データのバージョン情報３０１と送信データ１０７の受
信より前にマスタ配置計算機１０１で生成された複製元
データに関するバージョン情報とを比較し、両者の内容
が異なりバージョンが変更されたと判定したときに、バ
ージョン変更時であっても、旧バージョンの内部識別子
と新バージョンの内部識別子との対応関係が明示的であ
る場合には、この対応関係にしたがって新たなに連番並
びの対応表１１０を作成する対応表作成手段としての機
能を備えて構成されている。

【００３９】具体的には、受信側一致化処理機構１０９
は、送信パケット１０８の受信時に、各送信データ１０
７単位に、連番並びの対応表１１０を参照して、レプリ
カ配置計算機１０３上のレプリカデータ１０４を更新す
るようになっている。連番並びの対応表１１０は、マス
タ配置計算機１０１で定めた連番の順番で並べられた連
番と、この連番に対応し、レプリカ配置計算機１０３上
のレプリカデータ１０４の内部識別子との対応関係と、
マスタ計算機１０１上のマスタデータ１０２におけるデ
ータのバージョン情報３０２を格納するためのテーブル
として構成されている。この連番並びの対応表１１０の
内容は、一致化処理機構１０９によって、初期状態が作
成されるとともに、データのバージョンが変更された場
合にその内容がクリアされるようになっている。

【００４０】また、識別子変換処理機構１１１は、全て
の計算機において共通なデータ型と値を持つ外部識別子
を各計算機内部のデータ構造やデータのバージョンに依
存する内部識別子に変換するようになっている。これら
は、所謂ファイル管理システムあるいはデータベース管
理システムが有する外部識別子と内部識別子をハッシュ
構造やＢ−Ｔｒｅｅ構造として格納したインデックステ
ーブル（あるいはＩＳＡＭ構成ファイル）に該当する。

【００４１】次に、マスタ配置計算機１０１上でマスタ
データ１０２の更新があり、この更新により、全てのレ
プリカ配置計算機１０３のレプリカデータ１０４を一致
化する際の処理手順を以下に説明する。

【００４２】まず、図２を用いて、レプリカ配置計算機
１０３上で、受信側一致化処理機構１０９がレプリカデ
ータ１０４をマスタデータ１０２と一致化するための送
信パケット１０８を受信した際の処理とデータの流れを
説明する。

【００４３】マスタ配置計算機１０１から送信された送
信パケット１０８を受信側一致化処理機構１０９が受信
すると、受信側一致化処理機構１０９は送信パケット１
０８中の送信データ１０７を１つ取り出す。そして取り
出したデータ中の連番２０３を用いて連番並びの対応表
１１０を参照する。このとき、連番並びの対応表１１０
上に連番２０３の値に対応する内部識別子が格納されて
いない場合、すなわち連番２０３を初めて受信したとき
には、送信データ１０７に含まれる外部識別子２０１
を、識別子変換処理機構１１１を用いて内部識別子２０
２に変換する。次に、連番並びの対応表１１０上の送信
データ１０７中の連番２０３に対応する内部識別子の項
目に、変換した内部識別子２０２の値を格納するととも
に、格納した内部識別子を用いて、レプリカデータ１０
４上の内部識別子２０２に対応するデータ値を、送信デ
ータ１０７中のデータ値２０５で更新する。すなわち、
データベース１０４ａのうち内部識別子２０３に対応し
たデータ格納エリアにデータ値２０５を格納する。

【００４４】一方、送信データ１０７を受信したとき
に、この送信データ１０７に含まれる連番２０３の値に
対応する内部識別子が連番並びの対応表１１０に格納さ
れていた場合、すなわち、一度受信した連番２０３を持
つ送信データ１０７を２回目以降受信したときには、外
部識別子２０１から内部識別子２０２への変換を行なわ
ずに、連番２０３の値に対応する内部識別子を連番並び
の対応表１１０から抽出し、その内部識別子２０４を用
いてレプリカデータ１０４上の内部識別子に対応するデ
ータ値を、送信データ中のデータ値２０５で更新する。

【００４５】このように、本実施形態においては、デー
タのバージョンが変更されていない期間中において、初
めて連番２０３を受信したときに、識別子変換処理機構
１１１によって求めた内部識別子２０２を連番並びの対
応表１１０上に格納しておくことにより、一度受信した
連番２０３を２回目以降、再度受信した際には、再び、
識別子変換処理機構１１１による識別子変換処理を行な
う必要がなくなるため、レプリカデータ１０４を高速に
更新することができる。

【００４６】次に、データのバージョンが変った際の処
理とデータの流れについて説明する。まず、図３を用い
て、マスタ配置計算機１０１側のデータのバージョン
（バージョン情報３０１）が変ったときの処理とデータ
の流れについて説明する。

【００４７】レプリカ配置計算機１０３は、送信パケッ
ト１０８を受信したときに、マスタ配置計算機１０１上
のデータのバージョン変更を検出するために、受信側一
致化処理機構１０９に対してマスタ配置計算機１０１の
データのバージョン情報３０１を保持させる。受信側一
致化処理機構１０９は、送信パケット１０８のデータの
バージョン情報３０１とレプリカ配置計算機１０３上に
あるマスタ配置計算機のデータのバージョン情報（送信
パケット１０８の受信より前にマスタ配置計算機１０１
で生成されたマスタデータに関するバージョン情報）３
０２との比較処理３０３によって、マスタ配置計算機１
０１のデータのバージョンが変更されたか否かを判定す
る。このとき、両者のバージョン情報の内容が異なりバ
ージョン情報が不一致であると判定したときには、マス
タ配置計算機１０１のデータのバージョンが変更された
と判定する。マスタ配置計算機１０１のデータのバージ
ョンが変更された場合には、受信した連番３０６と外部
識別子３０８との対応関係がデータのバージョン変更前
と変化している可能性があるため、一旦、連番並びの対
応表１１０の内容を初期化３０４し、受信側一致化処理
機構１０９のマスタ配置計算機１０１におけるデータの
バージョン情報３０２を更新する。連番並びの対応表１
１０を初期化した場合、送信パケット１０８に含まれる
送信データ１０７の連番３０６を、初めて受信した連番
とみなす処理を行なう。すなわち、外部識別子３０８
を、識別子変換処理機構１１１を用いて内部識別子３０
７に変換する。このとき、バージョン変更に伴う処理と
しては、マスタ配置計算機１０１のデータの識別子によ
って３つの場合がある。

【００４８】１つ目は、マスタ配置計算機１０１および
レプリカ配置計算機１０３の両方に存在する外部識別子
を有するデータのバージョンが変更された場合である。
この場合、バージョンの変更に伴って外部識別子に関連
するデータの追加・削除がないため、識別子変換処理機
構１１１を用いて外部識別子３０８を内部識別子３０７
に変換し、この内部識別子３０７を、クリアされた連番
並びの対応表１１０の連番３０６に対応した項に格納す
るとともに、格納した内部識別子３０７を用いてレプリ
カデータ１０４上の内部識別子３０７に対応するデータ
値を、送信データ１０７中のデータ値３０９で更新す
る。

【００４９】２つ目は、マスタ配置計算機１０１のデー
タのバージョン変更で新たに追加されたデータ、つま
り、マスタ配置計算機１０１にのみ存在するがレプリカ
配置計算機１０３上に存在しないデータが存在する場合
である。この場合、マスタ配置計算機１０１から送信さ
れたデータはレプリカ配置計算機１０３上には存在しな
いデータであるため、このデータは破棄する。そして、
連番並びの対応表１１０上に、レプリカデータ１０４の
更新を行なわないことを示す情報として、例えば、０な
どの何らかの値を内部識別子３０７の値として格納す
る。

【００５０】３つ目は、マスタ配置計算機１０１のデー
タのバージョン変更に伴って削除されたデータ（外部識
別子に関連するデータ）の場合である。この場合、削除
されたデータはマスタ配置計算機１０１から送信される
ことはない。このため、バージョン変更に伴う処理がレ
プリカ配置計算機１０３によって実行されることはな
い。

【００５１】次に、図４を用いて、レプリカ配置計算機
１０３側のデータのバージョンが変ったときの処理とデ
ータの流れについて説明する。レプリカ配置計算機１０
３のデータのバージョンが変更になった場合には、レプ
リカ配置計算機１０３は連番並びの対応表１１０を初期
化する。連番並びの対応表１１０が初期化された場合、
送信データ１０７に含まれる連番４０２を初めて受信し
たときの処理が行なわれる。このときの処理として、次
の３つの場合が存在する。

【００５２】１つ目は、バージョン変更に伴うデータが
マスタ配置計算機１０１とレプリカ配置計算機１０３の
両方に存在する場合である。この場合、バージョンの変
更の前後でデータ（外部識別子）に変更がないため、識
別子変換処理機構１１１を用いて外部識別子４０４を内
部識別子４０３に変換し、変換して得られた内部識別子
４０３を連番並びの対応表１１０の連番４０２に対応し
た内部識別子の項に格納する。

【００５３】２つ目は、レプリカ配置計算機１０３にお
けるデータのバージョンの変更時に、レプリカ配置計算
機１０３上でデータが削除されているが、マスタ配置計
算機１０１ではまだデータが存在する場合である。この
場合、マスタ配置計算機１０１からレプリカ配置計算機
１０３に対してデータ更新に伴う送信データ１０７が送
信されてきても、レプリカ配置計算機１０３ではもはや
不要なデータであるため、このデータはレプリカ配置計
算機１０３によって破棄される。そして、レプリカ配置
計算機１０３は、マスタ配置計算機１０１のデータのバ
ージョンが変更されたときと同様に、連番並びの対応表
１１０上に、レプリカデータ１０４の更新を行なわない
ことを示す情報として、０などの何らかの値を内部識別
子４０３の値として格納する。

【００５４】３つ目は、レプリカ配置計算機１０３にお
けるデータのバージョンの変更時に、レプリカ配置計算
機１０３上に新たに追加されたデータが存在する場合で
ある。この場合、このデータはマスタ配置計算機１０１
上には存在しないデータであるため、このデータがマス
タ配置計算機１０１からレプリカ配置計算機１０３に送
信されることはない。

【００５５】また、レプリカ配置計算機１０３のデータ
のバージョンが変更になった場合、連番並びの対応表１
１０を更新する方法としては、次のような方法も考えら
れる。

【００５６】すなわち、レプリカ配置計算機１０３にお
いて、バージョン変更前の内部識別子とバージョン変更
後の内部識別子との対応関係が明示的である場合には、
連番並びの対応表１１０の中に、レプリカ配置計算機１
０３におけるデータのバージョン変更前の内部識別子
（以下、単に前バージョン内部識別子と呼ぶ。）がすで
に格納されている項は、前バージョン内部識別子とレプ
リカ配置計算機１０３のデータのバージョン変更後の内
部識別子（以下、単に後バージョン内部識別子と呼
ぶ。）との対応関係がわかっていることから、後バージ
ョン内部識別子で置き換えることができる。このこと
は、レプリカ配置計算機１０３の連番並びの対応表１１
０を、すでに内部識別子が決まっている連番全てについ
て一気に更新することができる。

【００５７】一般的に、データのバージョン変更時にお
いては、データ値を引き継ぐことが多く、しかも前バー
ジョン内部識別子と後バージョン内部識別子との対応関
係が明示的である場合が多いので、レプリカ配置計算機
１０３の連番並びの対応表１１０のうち、すでに内部識
別子が決まっている連番全てのついて一気に更新する方
法を採用することができる。この方法を用いれば、連番
並びの対応表１１０のうち、すでに作成され部分につい
ては識別子変換機構１１１を用いて外部識別子を内部識
別子に変換することなく、新たな連番並びの対応表１１
０を更新することができることから、レプリカ配置計算
機１０３におけるデータのバージョン変更後のデータ一
致化作業をより高速に行なうことができる。

【００５８】ここで、「どのような状況」にあるとき
に、「前バージョン内部識別子と後バージョン内部識別
子との対応関係が明示的である場合」となる具体例につ
いて説明する。

【００５９】一般的にデータベースの更新が生じた場
合、データベースの全てのデータ構造を更新することは
稀であり、通常、新規にデータレコードとそれに対応し
た外部識別子を追加したり、不要になったデータレコー
ドとそれに対応した外部識別子を削除することが多い。
この場合、特に、データレコードの追加、つまり外部識
別子の追加の場合には、これまでデータレコードに新た
にデータレコードが追加されたことになるので、今まで
のデータの内部識別子には変化はなく、新たに追加され
データに関連する内部識別子が追加されるだけである。
このとき、連番並びの対応表１１０の内容を全て初期化
することは得策ではない。そこで、連番並びの対応表１
１０の内容はそのままにし、追加した外部識別子に対応
する連番を連番並びの対応表１１０に追加することによ
り、新たに連番並びの対応表１１０を作成する手間を省
くことができる。

【００６０】このように、前バージョン内部識別子と後
バージョン内部識別子との対応関係が明示的である場合
として、 （１）データレコード追加に伴う外部識別子の追加 （ただしデータを格納する最大数以内の追加の場合） （２）データレコードの削除に伴う外部識別子の削除 （ただし、削除した外部識別子と対応する連番は欠番と
する場合）などが考えられる。

【００６１】しかし、データ構造の大きな変化、例えば
欠番とした連番をつめるなどの変化が生じた場合は、上
記の方法では対応することができない。このような場合
には、データバージョンに枝番を付加し、この枝番の変
化をデータベースの構造の変化が少ない場合、例えば新
規外部識別子の追加などの場合に行ない、データバージ
ョン番号は、データベースが大きく変化した場合、例え
ば欠番の連番をつめるような場合に行なうと決めてお
き、受信したデータバージョン番号の変化の場合は、連
番並びの対応表１１０の初期化を実行し、枝番の変化の
場合は、連番並びの対応表１１０を初期化することなく
使用するようにするなどの方法が考えられる。そしてこ
れらの方法を採用することにより、より高速にデータの
一致化作業を行なうことができる。

【００６２】前記実施形態においては、マスタ配置計算
機１０１を１台を設けた場合について述べたが、図５に
示すように、それぞれ別々のデータを管理する複数のマ
スタ配置計算機として、＃１〜＃ｎのマスタ配置計算機
１０１を用いることもできる。この場合、各レプリカ配
置計算機１０３には、マスタ配置計算機１０１の数に対
応した連番並びの対応表１１０を設け、＃１〜＃ｎのマ
スタ配置計算機１０１からのデータをそれぞれ＃１〜＃
ｎの連番並びの対応表１１０に格納する。

【００６３】本実施形態においては、データ管理機構が
異なる計算機構においても、各計算機に重複して配置さ
れた複製データを高速に一致化することができる。

【００６４】また、前記実施形態においては、マスタ配
置計算機１０１とレプリカ配置計算機１０３のデータの
バージョンが混在している場合においても適応可能であ
り、各計算機に重複して配置された複製データの一致化
処理を高速に実現することができるため、データのバー
ジョンアップをそれぞれの計算機で独立に行なうことが
できる。

【００６５】

【発明の効果】以上説明したように、本発明によれば、
受信側計算機のデータ構造やデータ保存状態に依存せず
に、送信側計算機で受信側計算機とは独立に送信データ
を作成することができるため、外部識別子と内部識別子
との関係を送信側計算機と受信側計算機との間で送受信
しなくても各計算機に配置された複製データを一致化さ
せることができる。さらに、データのバージョン情報が
同一であるときには、送信データに含まれる外部識別子
を内部識別子に一度変換処理するだけで、二度以降は、
連番に対応した内部識別子を用いて受信側計算機のデー
タ値を更新することができ、各計算機に重複して配置さ
れ複製データの一致化を高速に行なうことが可能にな
る。

【図面の簡単な説明】

【図１】本発明の一実施形態を示す分散型計算機システ
ムの全体構成および送信データの構造を説明するための
図である。

【図２】レプリカ配置計算機におけるデータの処理とデ
ータの流れを説明するための図である。

【図３】マスタ配置計算機のデータのバージョンを変更
したときの処理とデータの流れを説明するための図であ
る。

【図４】レプリカ配置計算機のデータのバージョンを変
更したときの処理とデータの流れを説明するための図で
ある。

【図５】本発明の他の実施形態を示す分散型計算機シス
テムの全体構成図である。

【符号の説明】

１０１ マスタ配置計算機 １０２ マスタデータ １０２ａ データベース １０３ レプリカ配置計算機 １０４ レプリカデータ １０４ａ データベース １０５ ネットワーク １０６ 送信側一致化処理機構 １０７ 送信データ １０８ 送信パケット １０９ 受信側一致化処理機構 １１０ 連番並びの対応表 １１１ 識別子変換処理機構

───────────────────────────────────────────────────── フロントページの続き (71)出願人 000006013 三菱電機株式会社 東京都千代田区丸の内二丁目２番３号 (71)出願人 000005234 富士電機株式会社 神奈川県川崎市川崎区田辺新田１番１号 (72)発明者 二瓶 展之 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか事業所内 (72)発明者 中田 祐司 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか事業所内 (72)発明者 廣田 敦彦 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所大みか事業所内 (72)発明者 古山 良一 愛知県名古屋市東区東新町１番地 中部電 力株式会社本店内 (72)発明者 小笠原 史久 愛知県名古屋市東区東新町１番地 中部電 力株式会社本店内 (72)発明者 久世 泰人 愛知県名古屋市東区東新町１番地 中部電 力株式会社本店内 (72)発明者 鈴木 英之 愛知県名古屋市東区東新町１番地 中部電 力株式会社本店内 (72)発明者 清島 義雄 東京都府中市東芝町１番地 株式会社東芝 府中事業所内 (72)発明者 有本 雅昭 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 鈴木 立夫 神奈川県川崎市川崎区田辺新田１番１号 富士電機株式会社内 Ｆターム(参考） 5B045 BB47 DD17 5B082 AA01 GA02 GA05 GA14 HA03

Claims (8)

【特許請求の範囲】
1. 【請求項１】 複数の計算機をネットワークを介して互
   いに接続し、各計算機間で情報の授受を行う分散型計算
   機システムにおいて、 前記複数の計算機間で共通の外部識別子に外部識別子固
   有の連番とデータ値を付加した複製元データを生成して
   送信データとしてネットワークに送出する送信側計算機
   と、前記送信データを前記ネットワークを介して受信し
   て複製データとして格納する受信側計算機とを備え、前
   記受信側計算機は、前記外部識別子固有の連番とこの連
   番に対応したデータの物理的格納位置を示す内部識別子
   を格納する連番並びの対応表と、前記送信データの受信
   時に、前記送信データに含まれる連番に対応した内部識
   別子を前記連番並びの対応表から抽出し、この内部識別
   子に対応したデータ格納エリアのデータ値を前記送信デ
   ータに含まれるデータ値で更新することを特徴とする分
   散型計算機システムにおける重複配置複製データの複製
   方式。
2. 【請求項２】 複数の計算機をネットワークを介して互
   いに接続し、各計算機間で情報の授受を行う分散型計算
   機システムにおいて、 前記複数の計算機間で共通の外部識別子に外部識別子固
   有の連番とデータ値を付加した複製元データを生成して
   送信データとしてネットワークに送出する送信側計算機
   と、前記送信データを前記ネットワークを介して受信し
   て複製データとして格納する受信側計算機とを備え、前
   記受信側計算機は、前記外部識別子固有の連番とこの連
   番に対応したデータの物理的格納位置を示す内部識別子
   を格納する連番並びの対応表と、前記送信データの受信
   時に、前記送信データに含まれる連番に対応した内部識
   別子が前記連番並びの対応表に格納されていないことを
   条件に前記送信データに含まれる外部識別子を識別子変
   換処理機構を用いて内部識別子に変換し、この内部識別
   子を前記送信データに含まれる連番に対応づけて前記連
   番並びの対応表に格納するとともに、この内部識別子に
   対応したデータ格納エリアに前記送信データに含まれる
   データ値を格納し、前記送信データに含まれる連番に対
   応した内部識別子が前記連番並びの対応表に格納されて
   いることを条件に前記送信データに含まれる連番に対応
   した内部識別子を前記連番並びの対応表から抽出し、こ
   の内部識別子に対応したデータ格納エリアのデータ値を
   前記送信データに含まれるデータ値で更新することを特
   徴とする分散型計算機システムにおける重複配置複製デ
   ータの複製方式。
3. 【請求項３】 前記送信側計算機は、前記送信データに
   データのバージョン情報を付加して送信してなり、前記
   受信側計算機は、前記送信側計算機からの送信データの
   受信時に前記送信データに含まれるデータのバージョン
   情報と前記送信データの受信より前に前記送信側計算機
   で生成された複製元データに関するバージョン情報とを
   比較して両者の内容が異なりバージョンが変更されたと
   判定したときに前記連番並びの対応表を初期化する初期
   化手段を備えてなることを特徴とする請求項１または２
   に記載の分散型計算機システムにおける重複配置複製デ
   ータの複製方式。
4. 【請求項４】 前記送信側計算機は、前記送信データに
   データのバージョン情報を付加して送信してなり、前記
   受信側計算機は、前記送信側計算機からの送信データの
   受信時に前記送信データに含まれるデータのバージョン
   情報と前記送信データの受信より前に前記送信側計算機
   で生成された複製元データに関するバージョン情報とを
   比較して両者の内容が異なりバージョンが変更されたと
   判定したときに、バージョン変更時であっても、旧バー
   ジョンの内部識別子と新バージョンの内部識別子との対
   応関係が明示的である場合には、前記対応関係に従って
   新たに連番並びの対応表を作成する対応表作成手段を備
   えてなることを特徴とする請求項１または２に記載の分
   散型計算機システムにおける重複配置複製データの複製
   方式。
5. 【請求項５】 分散型計算機システムに用いられる計算
   機共通の外部識別子に外部識別子固有の連番とデータ値
   を付加した複製元データを生成して送信データとして送
   信する送信側計算機と、前記送信データを受信して複製
   データとして格納するとともに前記外部識別子固有の連
   番とこの連番に対応したデータの物理的格納位置を示す
   内部識別子を格納する連番並びの対応表を有する受信側
   計算機とをネットワークを介して接続し、前記送信側計
   算機と前記受信側計算機との間で情報の授受を行うに際
   して、前記受信側計算機は、前記送信データの受信時
   に、前記送信データに含まれる連番に対応した内部識別
   子を前記連番並びの対応表から抽出し、この内部識別子
   に対応したデータ格納エリアのデータ値を前記送信デー
   タに含まれるデータ値で更新することを特徴とする分散
   型計算機システムにおける複製データ一致化方法。
6. 【請求項６】 分散型計算機システムに用いられる計算
   機共通の外部識別子に外部識別子固有の連番とデータ値
   を付加した複製元データを生成して送信データとして送
   信する送信側計算機と、前記送信データを受信して複製
   データとして格納するとともに前記外部識別子固有の連
   番とこの連番に対応したデータの物理的格納位置を示す
   内部識別子を格納する連番並びの対応表を有する受信側
   計算機とをネットワークを介して接続し、前記送信側計
   算機と前記受信側計算機との間で情報の授受を行うに際
   して、前記受信側計算機は、前記送信データの受信時
   に、前記送信データに含まれる連番に対応した内部識別
   子が前記連番並びの対応表に格納されていないことを条
   件に前記送信データに含まれる外部識別子を識別子変換
   処理機構を用いて内部識別子に変換し、この内部識別子
   を前記送信データに含まれる連番に対応づけて前記連番
   並びの対応表に格納するとともに、この内部識別子に対
   応したデータ格納エリアに前記送信データに含まれるデ
   ータ値を格納し、前記送信データに含まれる連番に対応
   した内部識別子が前記連番並びの対応表に格納されてい
   ることを条件に前記送信データに含まれる連番に対応し
   た内部識別子を前記連番並びの対応表から抽出し、この
   内部識別子に対応したデータ格納エリアのデータ値を前
   記送信データに含まれるデータ値で更新することを特徴
   とする分散型計算機システムにおける複製データ一致化
   方法。
7. 【請求項７】 前記送信側計算機は、前記送信データに
   データのバージョン情報を付加して送信し、前記受信側
   計算機は、前記送信側計算機からの送信データの受信時
   に前記送信データに含まれるデータのバージョン情報と
   前記送信データの受信より前に前記送信側計算機で生成
   された複製元データに関するバージョン情報とを比較し
   て両者の内容が異なりバージョンが変更されたと判定し
   たときに前記連番並びの対応表を初期化することを特徴
   とする請求項５または６に記載の分散型計算機システム
   における複製データ一致化方法。
8. 【請求項８】 前記送信側計算機は、前記送信データに
   データのバージョン情報を付加して送信し、前記受信側
   計算機は、前記送信側計算機からの送信データの受信時
   に前記送信データに含まれるデータのバージョン情報と
   前記送信データの受信より前に前記送信側計算機で生成
   された複製元データに関するバージョン情報とを比較し
   て両者の内容が異なりバージョンが変更されたと判定し
   たときに、バージョン変更時であっても、旧バージョン
   の内部識別子と新バージョンの内部識別子との対応関係
   が明示的である場合には、前記対応関係に従って新たに
   連番並びの対応表を作成することを特徴とする請求項５
   または６に記載の分散型計算機システムにおける複製デ
   ータ一致化方法。