JP2010049697A - データ処理装置及びデータベース管理方法 - Google Patents

データ処理装置及びデータベース管理方法 Download PDF

Info

Publication number
JP2010049697A
JP2010049697A JP2009235879A JP2009235879A JP2010049697A JP 2010049697 A JP2010049697 A JP 2010049697A JP 2009235879 A JP2009235879 A JP 2009235879A JP 2009235879 A JP2009235879 A JP 2009235879A JP 2010049697 A JP2010049697 A JP 2010049697A
Authority
JP
Japan
Prior art keywords
data
database
storage area
area
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009235879A
Other languages
English (en)
Other versions
JP5002636B2 (ja
Inventor
Kota Yamaguchi
浩太 山口
Shigetoshi Hayashi
重年 林
Junko Katsumata
純子 勝又
Taichi Ishikawa
太一 石川
Hiroshi Yamakawa
山川  洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Software Engineering Co Ltd
Hitachi Ltd
Original Assignee
Hitachi Software Engineering Co Ltd
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Software Engineering Co Ltd, Hitachi Ltd filed Critical Hitachi Software Engineering Co Ltd
Priority to JP2009235879A priority Critical patent/JP5002636B2/ja
Publication of JP2010049697A publication Critical patent/JP2010049697A/ja
Application granted granted Critical
Publication of JP5002636B2 publication Critical patent/JP5002636B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】外部記憶装置上で多重書き又は複製されたデータベース領域の一方を切り離し、物理的な複製データベースを作成する場合に、トランザクション処理を継続したまま、複製データベースの一貫性を維持できるようにする。また、複製元のデータベースをアクセスしていたアプリケーションプログラムを変更せずに、物理的な複製データベースをアクセス可能とする。
【解決手段】外部記憶装置108〜109上で多重書き又は複製されたデータベース領域の一方を切り離す際に、データベース管理システム101が一貫性のとれた状態のデータを外部記憶装置108〜110に書き出し、複製データベース領域を切り離すタイミングをコントロールする。また、複製元データベースの物理定義情報を元に複製データベースアクセスのために必要となる新たな物理定義情報を動的に追加し、複製元データベースをアクセスするか複製先データベースをアクセスするか選択する。
【選択図】図1

Description

本発明は大量のデータベースアクセストランザクションを管理するオンラインデータベース管理システムに関するものである。特にデータベースをSAN(Storage Area Network)配下のストレージ装置に格納し、24時間連続サービスを行う業務処理における、データベースアクセス方式に関する。
大量のトランザクション処理を行うオンライン業務においては、大量データの集計や一括登録等の日次、週次、月次処理、あるいはデータベースのバックアップや再編性など定期的なバッチ処理が必要となる。これら処理はオンラインサービスで使用するデータベースへの一括アクセスを伴うため、オンライン業務処理への影響が大きく、24時間連続サービス運転の妨げとなっている。
その解決策としては、例えば特許文献1特許文献2に見られるように、LAN/WAN上に複数のデータベース管理システムを配置し、オンライン業務で使用するデータベースの更新内容を別のデータベース管理システムにネットワークを通して適時伝送して反映し、オンライン業務のデータベースの複製を持つ方法が知られている。前記のようなバッチ処理を複製側データベースで行う事により、オンライン業務側への負荷集中を排除でき、バッチ処理と並行してオンラインサービスを継続できる。
近年、磁気ディスク装置など複数のストレージ装置を専用の高速ネットワークで有機的に結合したSAN(Storage Area Network)構成が普及し始めている。この構成では任意の論理ボリュームを複数の論理ボリュームに高速コピーする機能、任意の論理ボリュームを正ボリュームとし、他の複数の論理ボリュームを副ボリュームとしてデータの多重書き込みを行う機能、多重書き込み状態の論理ボリュームを任意の時点で切り離し、正・副独立したボリュームとしてアクセスできる機能、任意の論理ボリュームを正ボリューム、別の論理ボリュームを副ボリュームとし、多重書き込みを再開して双方のデータの差分だけを正ボリュームから副ボリュームに反映する差分反映機能などをストレージ装置が提供している。また、SAN上に接続された複数のCPU装置から、そのネットワーク内の任意のストレージ製品に対し、CPU装置とストレージ装置が直結されている場合と同様に、入出力を行うことが可能である。
こうした接続形態におけるデータベースアクセスの応用例としては、例えば、特許文献3に記載されているバックアップ方法がある。この方式ではオンライン業務側のデータベースを格納した論理ボリュームを別の論理ボリュームに高速コピーしてデータベースの複製を作る事が可能となり、これをオンライン業務のデータベース障害に備えたバックアップにできる。
一方、こうして作成された複製データベースは物理的なコピーであり、これらをデータベースとしてアクセスするためには、データベース管理システム側に複製データベースアクセスのための情報が必要になる。このため、米国Microsoft Corporation社のデータベース管理システムであるSQL Server 2000では、オンライン業務側と同一データベース定義情報をもったデータベース管理システムを、複製データベース対応に各々別々に起動する方法で対処している(非特許文献1)
特開平8−185346号公報 特開2000−112801号公報 特開2000−347811号公報
日経オープンシステム 2001年6月(no.99)P266
しかしながら、従来の技術ではデータベースを格納している論理ボリュームを物理的にコピーして作成される複製データベースを用い、オンライン業務と独立してバッチ業務を並行実行させるための問題を解決することについては記載されていない。このため特にSAN環境において、ストレージ装置側が持つ高速コピー機能などの付加機能を十分に活用できていない。
すなわち、トランザクション単位に行われるデータベース更新の一貫性を保持した状態で、論理ボリュームの複製ができなければならない。このためには、データベース管理システムのトランザクション管理及び、主記憶装置上のデータキャッシュ管理と同期した複製作成タイミングが必要である。また、複製された論理ボリューム上のデータベースを複製元のデータベース管理システムでも別のデータベース管理システムでも任意に選択してアクセスできなければならない。さらに、バッチ処理でアクセスするデータベース群と論理ボリューム単位に複製させる複製データベース群の集合は必ずしも一致しない。このため、バッチ処理でアクセスするデータベース群として任意の複製データベース群を一意に選択できなければならない。
本発明によるデータ処理装置は、主記憶装置上のデータキャッシュ領域にある未書き出しデータ、及び仕掛かり中の全トランザクションによる更新データを該外部記憶装置に一括して書き出すと共に、新たに発生したトランザクションによる更新を一時的に禁止又は待たせるか、その更新をデータキャッシュ上にのみ行って、外部記憶への書き出しを遅延させる第1のデータ同期化手段と、該第1の同期化手段の状態にあるデータ更新を再開させる第1のデータ同期化解除手段を備える。すなわち、データベースを格納した論理ボリュームを多重書き状態にしてオンライン業務を実行し、任意の時点で該データベースに対して、データ同期化手段1を動作させ、これが完了した後、直ちに該論理ボリュームの多重書き状態を解除する指示をストレージ装置に指示して論理ボリュームを切り離し、切り離し完了と同時に直ちに第1のデータ同期化解除手段を動作させる一連の操作が可能となる。これにより、切り離された論理ボリュームは、第1のデータ同期化手段を動作させた時点の一貫性のとれたデータベースになる。一般に論理ボリュームの切り離し動作は、ストレージ装置内の状態変更だけで短時間に終了するため、第1のデータ同期化手段作動から第1のデータ同期化解除手段作動までの間に発生したトランザクションによるデータ更新の禁止又は待ち状態も短時間であり、オンライン業務に与える影響は少ない。また、データ更新をデータキャッシュ上にのみ行い、外部記憶への書き出しを遅延させる場合、キャッシュ領域の容量が十分にあれば、オンライン業務からのデータ更新は継続できる。これら新たに発生したトランザクションの扱いは、第1のデータ同期化手段の選択オプションであり、オンライン業務の状況に応じて選択できる。
次に、本発明によるデータ処理装置は、仕掛かり中の全トランザクションの完了を待って主記憶装置上のデータキャッシュ領域にある全データ消去し、その間新たに発生したトランザクションからのアクセスを一時的に禁止又は待たせる第2のデータ同期化手段と、該第2の同期化手段の状態にあるデータアクセスを再開させる第2のデータ同期化解除手段を備える。すなわち、バッチ処理によるデータ更新完了後、該データベースの複製元だったオンライン業務側の該データベースに対して、第2のデータ同期化手段を動作させ、これが完了した後、直ちにバッチ処理側データベース格納論理ボリュームを正状態、オンライン業務側データベース格納論理ボリュームを副状態とした多重書き状態を設定する指示をストレージ装置に指示して両論理ボリュームを多重アクセス状態とし、その完了と同時に直ちにデータ同期化解除手段2を動作させる一連の操作が可能となる。これによりバッチ処理で更新した一貫性のとれたデータベースをオンライン業務側に反映でき、オンライン業務側のデータベースアクセスキャッシュは一旦消去されるため、データベース実体との整合性が維持できる。また、独立した論理ボリュームに対する多重書き指示はストレージ装置内の状態変更のみであり、一般に短時間で完了する。正ボリュームから副ボリュームへの差分データの反映はオンライン業務を継続しながら、ストレージ装置内で非同期に実行される。従って、第2のデータ同期化手段作動から第2のデータ同期化解除手段作動までの間に発生したトランザクションのデータベースアクセス禁止又は待ち状態も短時間であり、オンライン業務に与える影響は少ない。
さらに、本発明によるデータ処理装置は、データベースが格納されたストレージ領域アクセスのためにデータベース管理システムに登録されている第1の物理定義情報を元に、該データベースの名称や構造情報などストレージ領域のアクセスパスに依存しない共通情報部は複写し、ストレージ領域へのアクセスパス情報部のみ別の任意のストレージ領域へのアクセス情報に書き換え、さらに複写元の第1の物理定義情報の名称を記憶した新たな名称の第2の物理定義情報を動的に追加できる物理定義情報動的複写手段と、新たに作成した第2の物理定義情報を自データベース管理システム内、又は別のデータベース管理システムに登録できる物理定義情報動的登録手段と、第2の物理定義情報の中に第1の物理定義情報の名称が記憶されている場合は、第1の物理定義情報に従って実行されるアプリケーションプログラムからのデータベースアクセス要求を第2の物理定義情報に従って実行するように切り替えるアクセス対象振り分け手段を備える。これにより、複製された論理ボリューム上のデータベースを複製元のデータベース管理システムでも別のデータベース管理システムでも任意に選択してアクセス可能となる。
さらに、本発明によるデータ処理装置は、新たに追加した第2の物理定義情報に任意の世代識別子を付与できる物理定義情報動的複写手段と、一つ以上の該物理定義情報群を世代識別子又は新たに追加した第2の物理定義情報の名称によって選択してアクセス対象データベースを振り分けるアクセス対象振り分け手段と、データベースをアクセスするクライアント単位に世代識別子又は新たに追加した物理定義情報名称を指定できるアクセス対象設定手段と、世代識別子又は新たに追加した物理定義情報名称が設定されていないクライアントからの全てのアクセス要求を、一律特定の世代識別子が指定されたものと判断させるカレントアクセス世代設定手段を備える。これにより、バッチ処理でアクセスするデータベース群として任意の複製データベース群を一意に選択できるようになる。
以上、説明したように、本発明によれば、データベースを格納している論理ボリュームを物理的にコピーして作成される複製データベースを用い、オンライン業務と独立してバッチ業務を並行実行させることができる。特にSAN環境において、ストレージ装置側が持つ高速コピー機能などの付加機能を活用し、オンライン業務への影響を最小限に抑える事ができる。
本発明のデータ処理装置の本発明に係る機能構成の一実施例である。 本発明のデータ同期化手段及びデータ同期化解除手段を説明するタイムチャートである。 本発明のデータ同期化手段のフローチャートである。 本発明のデータ同期化解除手段のフローチャートである。 本発明のデータ同期化手段及びデータ同期化解除手段を説明するタイムチャートである。 本発明のデータ同期化手段のフローチャートである。 本発明のデータ同期化解除手段のフローチャートである。 多重書き機構、多重書き解除機構の装置構成図である。 本発明のデータキャッシュ領域を介した外部記憶装置への入出力動作に関するステータスマトリクスである。 本発明のデータキャッシュの状態遷移図である。 複製データベースの表・インデクス格納領域管理情報の定義形式例である。 本発明の物理定義情報の複写・登録に係る手段のフローチャートである。 複製データベースをアクセスするプログラムの実行管理テーブルのデータ形式例である。 図11および図12の定義情報に基づき複製データベースをアクセスする動作の説明図である。 本発明のアクセス対象設定手段で、クライアントに係る動作のフローチャートである。 本発明のアクセス対象設定手段で、データベース管理システムに係る動作のフローチャートである。 本発明のアクセス対象振り分け手段のフローチャートである。 本発明のカレントアクセス世代設定手段のフローチャートである。 オンライン取引処理システムと分析等の業務目的別システムとの間をデータレプリケーションで接続したシステム全体の構成図である。 レプリカデータベース2122、及び履歴データベース2124の作成処理の流れである。 各種業務用データベース作成処理の流れである。 オンライン取引処理システムと分析等の業務目的別システムとの間をデータ同期化手段と、物理定義情報動的複写手段と、アクセス対象振り分け手段と、アクセス対象設定手段を使って連携したシステム全体の構成図である。 マスタデータベースの複製データベース2417、2419、2421及び、履歴データベースの複製データベース2425、2427、2429の作成処理の流れである。
以下、本発明の実施形態について図面を用いて説明する。
まず、図1を用いて本発明の概要について説明する。図1は、本発明のデータ処理装置の本発明に係る機能構成の一実施例である。該データベース管理システム101は、データベースアクセス要求を発行するクライアント102と103の要求、または管理者による各種運用操作のための命令104を受け付け、データベースに定義されている表・インデクスの情報を記憶する外部記憶装置上の定義情報ファイル105からアクセス対象の表・インデクスの領域情報を取得し、主記憶装置106を介し、SAN(Storage Area Network)107上に構築したデータベースをアクセスする。データベース108は、ストレージ装置により、多重化管理されている。データベース108は、ストレージ操作111により複製データベース109と110に切り離したり、差分反映が可能である。
該データベース管理システム101のデータベース運用操作部112は、ストレージ操作111に対応し、主記憶装置106上のデータキャッシュ領域にある未書き出しデータ、及び仕掛かり中の全トランザクションによる更新データを該外部記憶装置107に一括して書き出すと共に、新たに発生したトランザクションによる更新を一時的に禁止又は待たせるか、その更新を主記憶装置106上のデータキャッシュ上にのみ行って、外部記憶への書き出しを遅延させるデータ同期化手段1(113)と、該同期化手段1の状態にあるデータ更新を再開させるデータ同期化解除手段1と、仕掛かり中の全トランザクションの完了を待って主記憶装置106上のデータキャッシュ領域にある全データ消去し、その間新たに発生したトランザクションからのアクセスを一時的に禁止又は待たせるデータ同期化手段2(114)と、該同期化手段1の状態にあるデータ更新を再開させるデータ非同期化手段1(115)と、該同期化手段2の状態にあるデータアクセスを再開させるデータ非同期化手段2(116)と、複製データベースをアクセスするための新しい物理定義情報を、複製元のデータベースの物理定義情報から作成する物理定義情報動的複写手段117と、作成した物理定義情報を自データベースの定義情報ファイル109または、物理定義登録情報ファイル118を介して他データベース管理システム119の定義情報ファイル120に、新たな物理定義情報名称で登録する物理定義情報動的登録手段121と、クライアント102、103または管理者104からの複製データベースの任意の選択を可能にするために、新たに追加した物理定義情報に世代識別子を付与できる物理定義世代管理手段122と、世代識別子または、新たに追加した物理定義情報名称が指定されないクライアントからの全てのアクセス要求を、一律特定の世代識別子が指定されたものと判断させるカレントアクセス世代設定手段123を含む。
また、クライアント102と103には、アクセス目的のデータベースの世代識別子を記述したクライアント環境定義ファイル124と125の内容を、データベース管理システムに連絡するクライアントアクセス対象設定手段126と127を有し、該データベース管理システム101のデータベースアクセス処理部128は、受け付けプログラム毎に、多重化されたデータベースのいづれかをアクセス先として設定するアクセス対象設定手段129と、データアクセス時に129により設定された情報に従い、ストレージ装置のアクセス先を振り分けるアクセス対象振り分け手段130を含む。
第一の実施例
次に第一の実施例について説明する。
図2は、本発明のデータ同期化手段及びデータ同期化解除手段を説明するタイムチャートである。これは、図1に示されるデータベースシステムにおいて、データ同期化手段1(201)およびデータ同期化解除手段1(202)が、トランザクションA(203)、B(204)に対して、どのように動作するかについての経時変化を示している。ある時刻において、データベースシステムにデータ同期化手段1(201)の要求があると、主記憶装置(205)上のデータキャッシュに対して、データ同期化手段1(201)が実行され、それ以降、主記憶装置(205)上の特定のデータキャッシュは、同期化開始状態となる。同期化開始状態以前に発生したトランザクションA(203)は、データベースの同期化開始状態の後も、任意に主記憶装置(205)へ更新情報を書き出すことができ、さらに外部記憶装置(206)への書き込みも可能である。同期化開始状態後に発生したトランザクションB(204)は、データキャッシュが同期化開始状態であるため、図9に示されるデータキャッシュへの書き込み権限に応じて、データキャッシュに対する挙動が決定され、また、外部記憶装置(206)への書き込みは禁止された状態となる。トランザクションA(203)の完了後、トランザクションA(203)による主記憶上の更新データ及びデータキャッシュ上に滞留していた未書き出しデータが外部記憶装置(206)に強制的に書き込まれ、データキャッシュは、同期化開始状態から同期化中状態となり、データ同期化手段1(201)の処理が終了する。また、同期化状態中のトランザクションB(204)のデータキャッシュに対する動作についても、図9に示されている。その後、図8に示される多重書き機構を有する外部記憶装置C、D(206)は、ストレージ領域切り離し要求により、図8に示される多重書き解除機構とともに、切り離され、外部記憶装置Dは、外部記憶装置Cに対する整合性のとれた複製として使用することが即座に可能となる。ストレージ領域切り離し要求の完了後、データ同期化解除要求(202)により、データキャッシュの同期化中状態が解除される。同期化中状態解除後、トランザクションB(204)は、データキャッシュへのアクセスが再開され、主記憶領域への書き込み、及び外部記憶装置Cへの書き込みを任意に行うことが可能となる。
図3は、本発明のデータ同期化手段のフローチャートである。ステップ301で、主記憶上のデータキャッシュを同期化開始状態とする。ステップ302で、仕掛かり中のトランザクションがあるかどうか判定する。仕掛かり中のトランザクションがある場合、ステップ303で、仕掛かり中の全トランザクションの完了を待つ。仕掛かり中のトランザクションがない場合、ステップ304で、データキャッシュの全更新データを外部記憶装置に書き出す。ステップ305で、データキャッシュの同期化開始状態を解除する。ステップ306で、データキャッシュを同期化中状態に変更し、データ同期化手段1の処理を終了する。
図4は、本発明のデータ同期化解除手段のフローチャートである。ステップ401で、同期化中状態であるか判定する。同期化中でない場合、データ同期化解除手段1の処理を終了する。同期化中である場合、ステップ402で、保留中の仕掛かり中のトランザクションがあるかどうか判定する。仕掛かり中のトランザクションがある場合、ステップ403で、データキャッシュへの更新データの書き込みを再開させる。仕掛かり中のトランザクションがない場合は、次の処理に移る。ステップ404で、データキャッシュの同期化中状態を解除し、データ同期化解除手段1の処理を終了する。
図5は、本発明の他のデータ同期化手段及びデータ同期化解除手段を説明するタイムチャートである。これは、図1に示されるデータベースシステムにおいて、データ同期化手段2(501)およびデータ同期化解除手段2(502)が、トランザクションA(503)、B(504)に対して、どのように動作するかについての経時変化を示している。ある時刻において、データベースシステムにデータ同期化手段2(501)の要求があると、主記憶装置(505)上の特定のデータキャッシュに対して、データ同期化手段2(501)が実行され、それ以降、主記憶装置(505)上のデータキャッシュは、同期化状態となる。同期化状態以前に発生したトランザクションA(503)は、データベースの同期化状態の後も、任意に主記憶装置(505)上のデータキャッシュへ更新情報を書き出すことができる、さらに外部記憶装置(506)への書き込みも可能である。同期化状態後に発生したトランザクションB(504)は、データキャッシュが同期化状態であるため、図9に示されるデータキャッシュへの書き込み権限に応じて、データキャッシュに対する挙動が決定され、データキャッシュに対するアクセスすらも禁止される。トランザクションA(503)の完了後、主記憶上データキャッシュの全データが消去され、データ同期化手段2(501)の処理が終了する。また、トランザクションA(503)の完了後の同期化状態中のトランザクションB(504)のデータキャッシュに対する動作は、完了以前と変化はない。その後、図8に示される多重書き機構を有する外部記憶装置C、D(506)は、多重書き状態再開要求により、図8に示される多重書き状態に復帰し、外部記憶装置Cは、外部記憶装置Dの更新が反映された整合性のとれた複製として使用することが即座に可能となる。ストレージ領域多重書き再開要求の完了後、データ同期化解除手段2(502)により、データキャッシュは、同期化状態が解除される。同期化状態解除後、トランザクションB(504)は、データキャッシュへのアクセスが再開され、主記憶領域への書き込み、及び外部記憶装置Cへの書き込みを任意に行うことが可能となる。この時、多重書き状態が再開されているため、外部記憶装置Dにも更新データが二重書きされる。
図6は、本発明の他のデータ同期化手段のフローチャートである。ステップ601で、主記憶上のデータキャッシュを同期化状態とする。ステップ602で、仕掛かり中のトランザクションがあるかどうか判定する。仕掛かり中のトランザクションがある場合、ステップ603で、仕掛かり中の全トランザクションの完了を待つ。仕掛かり中のトランザクションがない場合、ステップ604で、主記憶上のデータキャッシュの全データを消去する。ステップ605で、データキャッシュの同期化状態を解除されるまで維持し、データ同期化手段2の処理を終了する。
図7は、本発明の他のデータ同期化解除手段のフローチャートである。ステップ701で、同期化状態であるか判定する。同期化状態でない場合、データ同期化解除手段2の処理を終了する。同期化状態である場合、ステップ702で、保留中の仕掛かり中のトランザクションがあるかどうか判定する。仕掛かり中のトランザクションがある場合、ステップ703で、データキャッシュへの更新データの書き込みを再開させる。仕掛かり中のトランザクションがない場合は、次の処理に移る。ステップ704で、データキャッシュの同期化状態を解除し、データ同期化解除手段2の処理を終了する。
図8(a)は、多重書き機構の装置構成図である。この装置は、多重書き機構801、多重書き再開機構802、データ格納領域803から構成される。多重書き要求があった場合、多重書き機構801により、データ格納領域Cに書き込まれたデータが、データ格納領域Dに対しても反映される状態となる。また、多重書き再開要求があった場合、多重書き再開機構802により、独立にアクセスされていた複数のデータ領域が、多重書き状態が再開される。
図8(b)は、多重書き解除機構の装置構成図である。この装置は、多重書き解除機構(切り離し機構)804、独立アクセス機構805、データ格納領域806から構成される。多重書き状態解除要求があった場合、多重書き解除機構804により、ストレージ領域は、切り離され、データ格納領域Cに書き込まれたデータを、データ格納領域Dに反映する処理を中止し、さらに独立アクセス機構805により、それぞれのデータ格納領域に、独立にデータを書き込むことが可能な状態となる。
図9は、本発明のデータキャッシュ領域を介した外部記憶装置への入出力動作に関するステータスマトリクスを示している。a〜fまでは、データキャッシュの状態を示しており、発生したトランザクションの属性により、データキャッシュが、そのトランザクションに対して、どのようなにふるまうかを示している。状態aは、図2及び図5の通常状態に、状態b、状態cは、図2の同期化開始状態に、状態dは図2の同期化中状態に、状態e、状態fは、図5の同期化状態に相当する。図中のステータスが許可の場合、トランザクションは、データキャッシュを介して、外部記憶装置にアクセスが可能である。禁止の場合、トランザクションは、データキャッシュにアクセスできない。保留の場合、トランザクションは、データキャッシュの状態が遷移した後、アクセス可能となるまで待ちとなることを示している。
図10は、本発明のデータキャッシュの状態遷移図である。a〜fは、それぞれ図9に示すデータキャッシュの状態に対応している。また、1〜5は、それぞれ遷移の種類を図している。遷移1の契機は、データ同期化手段1が実行された時である。遷移2の契機は、仕掛かり中トランザクションが完了し、データキャッシュ上の更新データが外部記憶装置に書き出された時(b→d、c→d)、もしくは、データ同期化解除手段1が実行された時(b→a、c→a)である。遷移3の契機は、同期化解除手段1が実行された時である。遷移4の契機は、データ同期化手段2が実行された時(a→e、a→f)である。遷移5の契機は、仕掛かり中のトランザクションが完了し、データキャッシュ上の全データが消去され、データ同期化解除手段2が実行された時である。
以上で第一実施例の説明を終わるが、最後にこの効果についてまとめておく。データ同期化手段1及びデータ同期化解除手段1により、オンライン業務側のトランザクション処理への影響を最小限に抑えて、一貫性のとれた複製データベースを作成するタイミングを作れる。また、データ同期化手段2及びデータ同期化解除手段2は複製データベースをバッチ処理で更新し、それをオンライン業務側に反映する場合に、オンライン業務側のトランザクション処理への影響を最小限に抑えて、バッチ処理で更新したデータベースをオンライン側に複製できる。以上により、第一実施例では、外部記憶装置上で多重書き又は複製されたデータベース領域の一方を切り離し、物理的な複製データベースを作成する場合に、トランザクション処理を継続したまま、複製データベースの一貫性を維持できる。また、複製されたデータベースと複製元データベースを再度多重書き状態に復帰する場合にも、トランザクション処理を継続したまま、データベースの一貫性を維持できる。
第二の実施例
次に第二の実施例について説明する。
本例は、第一の実施例によって物理的に複製されたデータを、複製元の表・インデクス定義を使用して複製データベースとしてアクセスする例である。
図11は、複製データベースに作成されている表またはインデクスをアクセスするための格納領域管理情報の定義形式の例を示している。一般にデータベースには複数のデータ格納領域が用意され、表またはインデクス定義時は、表またはインデクスを作成するデータ格納領域名を指定する。表・インデクス名称と領域名の対応が表・インデクス格納領域管理テーブル(1101)に登録される。本例では、表Table1(1102)とTable1に付随するインデクスIdx1(1103)は領域aに定義されている。データ格納領域をアクセスするために必要となる物理情報は、物理定義情報管理テーブル(1104)に登録されている。領域のデータベース名、ページサイズやページ数は、物理情報共通部(1105)に設定されている。データベース管理システム内で任意に定義されるデータ格納領域名称に対する、実際のストレージ装置上のアクセスパスの情報は、アクセスパス情報部(1106)に設定される。複製領域の場合、アクセスパス情報部に、複製元領域名、複製数、世代識別子、ステータスを設定する。複製数は、複製の元となった領域にだけ設定する。世代識別子は、同じ領域から複製される複数の複製領域を識別するための情報である。ステータスには、カレントとサブの二つの状態があり、クライアントから複製領域を選択するための特別な要求が指定されない場合に、一律にカレント状態の領域がアクセスされる。本例では、複製元の領域aの複製領域は二つあり、領域aにカレントのステータスが設定されている(1107)。領域bは、領域aの複製であり、世代識別子は1、ステータスはサブである(1108)。また、領域cは、領域aの複製であり、世代識別子は2、ステータスはサブである(1109)。
図12は、本発明の物理定義情報動的複写(117)手段と、物理定義情報動的登録手段(121)と、物理定義世代管理手段(122)のフローチャートである。ステップ1201で、物理情報複写要求か登録要求かを判定する。登録要求の場合、新規領域の登録情報ファイルを入力し(ステップ1202)、物理定義情報管理テーブル(1104)に登録し(ステップ1203)、処理を終了する。複写要求の場合、ステップ1204で、図11の物理定義情報管理テーブル(1104)から指定された複写元領域をサーチする。指定領域名が定義されていなければ、エラーを報告する(ステップ1205)。ステップ1206で、指定複写元の物理定義情報を取得する。ステップ1207で、自データベース内の複写要求か、他データベースへの複写要求かを判定する。自データベース内の複
写要求であれば、ステップ1208で、複写元領域に既に複製領域が存在するか判定する。指定された複製元領域に複製領域が一つもなければ、アクセスパス情報部(1106)の複製領域情報として、複製元領域名に自領域名、複製数に1、世代識別子に0、ステータスにカレント状態を設定する(ステップ1209)。既に複製領域が定義されていれば、複製数をインクリメントするだけである(ステップ1210)。新たに登録する領域の物理情報共通部(1105)は、複写元領域の物理定義情報から複写する(ステップ1211)。アクセスパス情報部(1106)に、複製元領域名、任意に指定される複製領域の世代識別子、ステータスにサブ状態、アクセスパス名に指定される新たなアクセスパス名を設定する(ステップ1212)。作成した物理定義情報を物理定義情報管理テーブル(1104)に登録し処理を終了する(ステップ1213)。他データベースへの複写要求の場合、ステップ1213で、他データベース用新規領域の物理領域登録情報ファイル(118)を作成する。ステップ1214で、指定された他データベース環境へ登録情報を転送し、処理を終了する。
図13は、複製データベースをアクセスするプログラムのプログラム実行管理テーブルのデータ形式の例である。プログラム実行管理テーブル(1301)は、各プログラム毎に、クライアント単位または管理者の運用操作命令に指定される、複製データベースの物理領域アクセスオプション(1302)を保持する(1303)。領域直接要求の場合、領域直接指定フラグにONが設定される。世代アクセス要求の場合、世代アクセス指定フラグにONが設定され、世代識別子に要求世代識別子が設定される。
図14は、複数の複製領域が存在する場合、図11と図13に示した管理テーブルを使用して、要求によりアクセス領域を振り分ける方式を示している。データベース108と、108の世代識別子1の複製データベース109と、108の世代識別子2の複製データベース110がある場合、クライアント1(102)と、クライアント2(103)と、運用操作命令(104)からのデータベースのアクセス要求が、クライアントアクセス対象設定手段(126、127)、アクセス対象設定手段(129)、及びアクセス対象振り分け手段(130)によって、指定データベースに振り分けられる例である。
クライアント1(102)はクライアント実行環境ファイル(124)に世代アクセス指定をしていない。このため、クライアント1がアクセスしたい領域は、カレントの状態の領域である。クライアントアクセス対象設定手段(126)は、クライアント実行環境ファイル(124)に世代アクセス指定が無いため、データベース連絡領域には、複製アクセスのための情報は何も設定しない。データベースアクセス処理部(128)のアクセス対象設定手段(129)では、プログラム実行管理テーブルに、プログラム名UAPSELとプロセス番号0001を設定するが、複製アクセスのための情報はないため、直接指定フラグと世代指定フラグはOFFのままである(1401)。データベースアクセス処理部(128)は、プログラムの要求に従い、表Table1またはインデクスIdx1のページ位置を決定し、データベースのページアクセスを行う。アクセス対象振り分け設定手段(130)が行う対象振り分け処理では、表Table1またはインデクスIdx1の格納領域を表・ンデクス格納領域情報管理テーブル(1101)からサーチし、定義領域名aを取得する。該プログラムの実行管理テーブルの物理アクセスオプションは何も設定されていないため、格納領域aのカレント状態の領域を物理定義情報テーブル(1104)からサーチする。この結果、アクセス対象物理領域は領域a(1107)に決定し、複製元データベース108をアクセスする。
クライアント2(103)は、クライアント実行環境ファイル(125)に世代アクセス指定として世代識別子1を指定している。クライアントアクセス対象設定手段(127)は、データベース連絡領域に世代アクセス要求と、世代識別子1を設定する。データベースアクセス処理部(128)のアクセス対象設定手段(129)では、プログラム実行管理テーブルに、プログラム名UAPSELとプロセス番号0002を設定し、世代指定フラグをONにし、指定された世代識別子1を設定する(1402)。データベースアクセス処理部(128)は、プログラムの要求に従い、表Table1またはインデクスIdx1のページ位置を決定し、データベースのページアクセスを行う。アクセス対象振り分け設定手段(130)が行う対象振り分け処理では、世代指定フラグがONであるため、表Table1またはインデクスIdx1の格納領域aの複製領域でかつ、世代識別子が1である領
域を物理定義情報テーブル(1104)からサーチする。この結果、対象物理領域は領域b(1108)に決定し、複製世代1の複製データベース109をアクセスする。
運用操作命令(103)は、命令のパラメタに対象領域名cを直接指定している。データベースアクセス処理部(128)のアクセス対象設定手段(129)では、プログラム実行管理テーブルに、プログラム名再編成とプロセス番号0003を設定し、直接指定フラグをONにする(1403)。データベースアクセス処理部(128)は、命令の要求に従い、表Table1またはインデクスIdx1のページ位置を決定し、データベースのページアクセスを行う。アクセス対象振り分け設定手段(130)が行う対象振り分け処理では、格納領域名cの物理定義情報を物理定義情報テーブル(1104)からサーチする。この結果、対象物理領域は領域c(1109)に決定し、複製世代2の複製データベース110をアクセスする。
また、運用操作命令(103)で、命令のパラメタに複製アクセス情報を指定しない場合は、カレント領域を、世代識別子を指定した場合は、指定世代の領域をアクセスできる。
データベースアクセス処理部(128)では、表またはアクセスデータ単位に排他制御を行うが、排他資源にアクセス対象振り分け設定手段(130)で決定する実際のアクセス領域名または、アクセス領域の世代識別子を付与することで、複製データベース間での排他競合の発生を排除できる。
図15は、本発明のアクセス対象設定手段のクライアント環境に係る動作(126,127)のフローチャートである。ステップ1501で、プログラムの実行環境にクライアント環境定義ファイルが存在するか判断する。ファイルが存在しなければ処理を終了する。ファイルが存在していれば、ステップ1502でクライアント環境定義ファイルを入力する。ステップ1503で、ファイル内に世代アクセス情報が設定されているか判断する。世代アクセス情報が設定されていなければ、処理を終了する。世代アクセス情報が設定されている場合は、データベース連絡領域に、世代指定アクセス要求と、世代識別子を設定し、処理を終了する。
図16は、本発明のアクセス対象設定手段(129)のデータベース管理システム内の動作に係るフローチャートである。ステップ1601で、トランザクション開始処理か否かを判定する。開始処理でなければ、処理を終了する。開始処理であれば、プログラム実行管理テーブル(1301)のエントリを割り当てる。ステップ1602で、エントリの初期化を行う。ステップ1604で、世代アクセス要求か否かを判定する。世代アクセス要求でなければ、ステップ1605で、領域直接指定か否かを判定する。領域直接指定でなければ、物理領域アクセスオプション情報を設定しないで処理を終了する。この場合、このプログラムはカレント状態の物理領域をアクセスする指定となる。ステップ1604で、世代アクセス要求であれば、物理領域アクセスオプション情報の世代指定フラグをONにし、指定された世代識別子を設定し、処理を終了する。ステップ1605で、領域直接指定であれば、物理領域アクセスオプション情報の領域直接指定フラグをONにし、処理を終了する。
図17は、本発明のアクセス対象振り分け設定手段(130)のフローチャートである。ステップ1701で、物理定義情報管理テーブル(1104)から指定された領域名の物理定義情報を取得する。ステップ1702で、該プログラムのプログラム実行管理情報(1301)の物理領域アクセスオプションが、領域直接指定か否かを判断する。領域直接指定であれば処理を終了する。領域直接指定でなければ、ステップ1703で、該領域の複製数の設定があるか否かを判定する。複製数の設定がなければ、複製領域はないので処理を終了する。複製数が設定されている場合は、ステップ1704で世代アクセス指定か否かを判定する。世代アクセス指定であれば、ステップ1705で、物理定義情報管理テーブル(1104)から、指定された領域名が複製元領域名である物理定義情報を取得する。ステップ1706で、取得した物理定義情報の世代識別子が、プログラム実行管理情報(1301)の世代識別子と一致するか否かを判定する。世代識別子が一致する場合は、処理を終了する。世代識別子が一致しない場合は、ステップ1707で、物理定義情報管理テーブル(1104)の全ての物理定義情報をサーチしたか判定する。未判定の物理定義情報がまだ存在する場合は、次の物理定義情報を処理する。全ての物理定義情報のサーチが終了している場合は、指定領域に対し、指定された世代識別子の複製領域は定義されていない。この場合、ステップ1708で、物理定義情報管理テーブル(1104)から、指定された領域名が複製元領域名であり、かつステータス状態がカレントである物理定義情報を取得し、処理を終了する。ステップ1704で、世代アクセス指定でない場合は、カレントアクセスなので、ステップ1708で、物理情報管理テーブル(1104)から、指定された領域名が複製元領域名であり、かつステータス状態がカレントである物理定義情報を取得し、処理を終了する。
図18は、本発明のカレントアクセス世代設定手段(123)のフローチャートである。ステップ1801で、物理定義情報管理テーブル(1104)から、指定された領域名が複製元領域名であり、かつステータスがカレント状態である物理定義情報を取得する。ステップ1802で、指定された領域名が複製元領域名であり、かつ新しくカレント状態とする複製世代の世代識別子を持つ物理定義情報をサーチする。ステップ1803で、新しくカレント状態とする世代の物理定義情報が存在するか判定する。領域が存在しない場合、ステップ1804でエラー報告を行い処理を終了する。領域が存在する場合、ステップ1805で、現在のカレント領域の物理定義情報のステータスをサブ状態に変更する。ステップ1806で、新しくカレントとなる領域の物理定義情報のステータスをカレント状態に変更する。ステップ1807で、カレント世代を変更する領域がまだ指定されているか判定する。変更対象領域がまだ存在する場合は、次の領域を処理する。指定された全ての領域の変更処理が終了すると処理を終了する。クライアントのアクセス対象を複製データベースに対し、一括して変更できる。
以上で第二実施例の説明を終わるが、最後にこの効果についてまとめておく。本実施例の物理定義情報動的複写手順、物理定義情報動的登録手順では、複製されたデータベースの物理定義情報を任意の時点で作成できる。また、アクセス対象振り分け手順により、複写元か複写先のどちらかの物理定義情報を元にアクセス対象データベースを振り分ける事ができる。これにより、複製された論理ボリューム上のデータベースを複製元のデータベース管理システムでも別のデータベース管理システムでも任意に選択してアクセスできる。さらに、本実施例の物理定義情報動的複写手順、物理定義情報動的登録手順では、新たに作成した物理定義情報に世代識別子を付与でき、アクセス対象振り分け手順では該世代識別子又は物理定義情報の名称によりアクセス対象データベースを振り分ける事ができる。
また、アクセス対象設定手順では、世代識別子又は新たに作成した物理定義情報名称により、任意のデータベースを選択できる。これにより、バッチ処理でアクセスするデータベース群と論理ボリューム単位に複製させる複製データベース群の集合が一致しない場合でも、アクセスするデータベース群として任意の複製データベース群を一意に選択できる。
第三の実施例
次に第三の実施例について説明する。
オンライン取引処理システムでの最新データを使って顧客分析や収益管理やレポーティングなどを実行する業務において、オンライン取引処理システムからデータを抽出し分析等の業務目的別システムで利用する場合の運用方式について、以下、本発明の実施例について説明する。
まず、従来の運用方式を図19、図20、図21で説明する。
図19は、オンライン取引処理システムと分析等の業務目的別システムとの間をデータレプリケーションで接続したシステム全体の構成図である。システムはオンライン取引入力環境2101とオンライン取引処理環境2102とデータレプリケーション環境2103とオンライン取引データレプリカ環境2104と業務目的別データベース作成バッチ処理環境2105と各種業務実行環境2106から構成される。各環境の構成は以下のとおりである。
オンライン取引入力環境2101は、オンライン取引を入力する複数のクライアント計算機2111によって構成される。オンライン取引処理環境2102は、オンライン取引の要求を受け付け実行するアプリケーション管理用計算機2112と、オンライン取引データを管理するデータベース管理用計算機2113と、データベース管理用計算機2113がオンライン取引データを格納するストレージ装置2114とストレージ装置2114内のマスタデータベース2115と、データベース管理用計算機2113でのオンライン取引データ格納処理の更新ログを格納するストレージ装置2116とストレージ装置2116内の更新ログ2117、によって構成される。
データレプリケーション環境2103は、更新ログ2117を元にオンライン取引によるマスタデータベースの更新データを抽出し反映側に送信する更新情報抽出用計算機2118と、更新データを受信しオンライン取引データレプリカ環境2104への反映を実行する更新情報反映用計算機2119、によって構成される。
オンライン取引データレプリカ環境2104は、更新データを元にオンライン取引データのレプリカや取引履歴データを管理するデータベース管理用計算機2120と、データベース管理用計算機2120がオンライン取引データのレプリカを格納するストレージ装置2121とストレージ装置2121内のレプリカデータベース2122と、データベース管理用計算機2120がオンライン取引の履歴データを格納するストレージ装置2123とストレージ装置2123内の履歴データベース2124、によって構成される。
業務目的別データベース作成バッチ処理環境2105は、レプリカデータベース2122と履歴データベース2124を元に、各種業務実行環境2106で必要な業務目的別の各種データベースを作成するためのバッチ処理実行用計算機2125と、顧客分析用データベース作成用バッチ2126と収益管理データベース作成用バッチ2127とレポーティング用データベース作成用バッチ2128で構成される。
各種業務実行環境2106は、顧客分析用データベース2129を使った顧客分析システム2130と、収益管理用データベース2131を使った収益管理システム2132と、レポーティング用データベース2133を使ったレポーティングシステム2134から構成される。
図20は、レプリカデータベース2122、及び履歴データベース2124の作成処理の流れである。ユーザは更新情報抽出用計算機2118に対し、更新情報抽出開始コマンドを投入する(ステップ2201)。更新情報抽出用計算機2118は、更新ログ2117から未反映更新ログの先頭位置を検索し(ステップ2202)、更新ログ2117に未反映更新ログが存在するかどうかを判定する(ステップ2203)。未反映更新ログが存在する場合、更新情報抽出用計算機2118は更新ログ2117から更新ログの抽出を行なう(ステップ2204)。さらに更新情報抽出用計算機2118は、抽出した更新ログを更新情報反映用計算機2119に送信する(ステップ2205)。更新情報反映用計算機2119は、送信されてきた更新ログを受信し(ステップ2206)、レプリカデータベース2122の更新SQL及び、履歴データベース2124への更新履歴追加SQLを組み立てる(ステップ2207)。次に更新情報反映用計算機2119は、レプリカデータベース2122の更新SQLをデータベース管理用計算機2120に対して実行する(ステップ2208)。最後に更新情報反映用計算機2119は、履歴データベース2124への更新履歴追加SQLをデータベース管理用計算機2120に対して実行する(ステップ2209)。ステップ2204からステップ2209の手順を、未反映更新ログが無くなるまで繰り返す事で、レプリカデータベース2122、及び履歴データベース2124が作成される。未反映更新ログが存在しない場合(ステップ2203)、更新情報抽出用計算機2118に対して更新情報抽出終了コマンドが投入されたかどうかを確認(ステップ2210)し、更新情報抽出終了コマンドが投入されていなければ、また未反映更新ログの確認を行なう(ステップ2202、2203)。更新情報抽出用計算機2118に対して更新情報抽出終了コマンドが投入されると(ステップ2210)、一連の処理を終了する。
図21は、各種業務用データベース作成処理の流れである。業務目的別データベース作成バッチ2126、2127、2128の実行中は、データの一貫性を保証する為、レプリカデータベース2122及び履歴データベース2124の追加更新処理を停止する必要がある。先ずユーザは、業務目的別データベース作成バッチ2126、2127、2128の実行前に、更新情報抽出用計算機2118に対して更新情報抽出終了コマンドを投入し(ステップ2301)、レプリカデータベース2122及び履歴データベース2124の追加更新処理を停止する。次にユーザは、バッチ処理実行用計算機に対し、顧客分析用データベース作成バッチ2126、収益管理用データベース作成バッチ2127、そしてレポーティング用データベース作成バッチの実行を開始する(ステップ2302、2303、2304)。これによりレプリカデータベース2122及び履歴データベース2124の一貫性を保証した状態で、各種業務用データベース2129、2131、2133を作成できる。しかし業務目的別データベース作成バッチ2126、2127、2128全てが終了するまで、更新情報抽出用計算機2118は、更新ログ2117の抽出を開始できない為(ステップ2305)、ストレージ装置2116内の更新ログ2117は蓄積され続ける。ユーザは、業務目的別データベース作成バッチ2126、2127、2128全てが終了した事を確認し、更新情報抽出用計算機2118に対して更新情報抽出再開コマンドを投入する(ステップ2306)。
従来の運用方式の場合、次のような課題がある。オンライン取引処理システムからの更新情報抽出及びオンライン取引データレプリカ環境への更新情報反映のためにCPUやメモリのリソースを必要とする。インターネット等を使った24時間サービスで営業時間が拡大しオンライン取引量が増大すると、図19のマスタデータベース2115とレプリカデータベース2122のデータ量が増大し、図19のバッチ処理実行用計算機2125における、図21の業務目的別バッチ実行ステップ2302、2303、2304の実行時間が長くなる。これにより、図19の各種業務実行環境2106での分析等の業務開始時刻や業務可能時間を制限する。さらに、オンライン取引量の拡大は、図19のログ2117のサイズ増大になり、図21のステップ2305で図19の業務目的別データベース作成バッチ2126、2127、2128全てが終了するまで、ログ2117には更新情報が蓄積され続けることから、ストレージ装置2116のリソースを圧迫する。加えて、図19の業務目的別データベース作成バッチ2126、2127、2128の実行に順序性がある場合や競合が発生する場合は、並行したバッチ実行が困難であり、前述の図21の業務目的別バッチ実行ステップ2302、2303、2304の実行時間が長くなる問題を大きくする。また、図19の顧客分析システム2130において顧客分析用データベース2129がレプリカデータベース2122の集計結果である場合に、集計結果を元に関連する詳細データを保持するレプリカデータベース2122にアクセスするといったドリルスルーを行う場合、レプリカデータベースが集計時点から更新されておりデータの不一致が起こるといった問題がある。
次に、本実施例の運用方式を図22、図23で説明する。
図22はオンライン取引処理システムと分析等の業務目的別システムとの間をデータ同期化手段と、物理定義情報動的複写手段と、アクセス対象振り分け手段と、アクセス対象設定手段を使って連携したシステム全体の構成図である。システムはオンライン取引入力環境2401とオンライン取引処理環境2402と業務目的別データベース作成バッチ処理環境2405と各種業務実行環境2406から構成される。各環境の構成は以下のとおりである。
オンライン取引入力環境2401は、オンライン取引を入力する複数のクライアント計算機2411によって構成される。オンライン取引処理環境2402は、オンライン取引の要求を受け付け実行するアプリケーション管理用計算機2412と、オンライン取引データを管理するデータベース管理用計算機2413と、ファイバーチャネルなどのネットワーク(例えば、Storage Area Network)で接続されたストレージ装置群で、データベース管理用計算機2413がオンライン取引データを格納するストレージ装置2414、2416、2418、2420とストレージ装置内の論理ボリュームに割当てたマスタデータベース2415と複製データベース2417、2419、2421とデータベース管理用計算機2413がオンライン取引の履歴データを格納するストレージ装置2422、2424、2426、2428とストレージ装置内の論理ボリュームに割当てた履歴データベース2423と複製データベース2425、2427、2429によって構成される。ここで、複製データベース2417、2419、2421はマスタデータベース2415の多重書きの関係にあり、複製データベース2425、2427、2429は履歴データベース2423の多重書きの関係にある。
業務目的別データベース作成バッチ処理環境2405は、複製データベース2417、2419、2421、2425、2427、2429を元に、各種業務実行環境2406で必要な業務目的別の各種データベースを作成するためのバッチ処理実行用計算機2430と、顧客分析用データベース作成用バッチ2431と収益管理データベース作成用バッチ2432とレポーティング用データベース作成用バッチ2433で構成される。
各種業務実行環境2406は、顧客分析用データベース2434を使った顧客分析システム2435と、収益管理用データベース2436を使った収益管理システム2437と、レポーティング用データベース2438を使ったレポーティングシステム2439から構成される。各種業務目的別データベース2434、2436、2438は、ファイバーチャネルなどのネットワーク(例えば、Storage Area Network)で接続されたストレージ装置群でも良い。
図23はマスタデータベースの複製データベース2417、2419、2421及び、履歴データベースの複製データベース2425、2427、2429の作成処理の流れである。マスタデータベースの複製データベース2417、2419、2421は、多重書きの関係にあるマスタデータベース2415と同じ内容となっている。また、履歴データベースの複製データベース2425、2427、2429は、多重書きの関係にある履歴データベース2423と同じ内容となっている。まずユーザはデータベース管理用計算機2413に対し、データ同期化コマンドを投入する(ステップ2501)。次にデータベース管理用計算機2413に対し、マスタデータベースの複製データベース2417、2419、2421との多重書き解除コマンドを投入する(ステップ2502、2503、2504)。
次にデータベース管理用計算機2413に対し、履歴データベースの複製データベース2425、2427、2429との多重書き解除コマンドを投入する(ステップ2505、2506、2507)。これによりマスタデータベースの複製データベース2417、2419、2421及び履歴データベースの複製データベース2425、2427、2429は一貫性を保証した状態で多重書きを解除できる。次にデータベース管理用計算機2413に対し、データ同期化解除コマンドを投入する(ステップ2508)。最後にバッチ処理実行用計算機2430に対し、顧客分析用データベース作成バッチ2431、収益管理用データベース作成バッチ2432、そしてレポーティング用データベース作成バッチ2433の実行開始コマンドを投入し(ステップ2509、2510、2511)、各種業務用データベース2434、2436、2438を作成する。
以上で第三実施例の説明を終わるが、最後にこの効果についてまとめておく。
本実施例での運用方式の場合、次のような効果がある。オンライン取引業務への影響を最小に押えて、業務目的別データベースを作成するためのオンライン取引データや取引履歴データベースのレプリカを作成するためにCPUリソースを必要とせず、図19でのデータレプリケーションのためのプログラム実行用のメモリも必要としない。インターネット等を使った24時間サービスで営業時間が拡大しオンライン取引量が増大しても、図23のステップ2501から2508までのDB同期化と多重化解除を任意の時刻に実行することができるので、図22の業務目的別データベース作成バッチ2431、2432、2433も任意の時刻に実行することができる。また、オンライン取引データや取引履歴データベースのレプリカを使って多重化することで、業務目的別データベース作成バッチ2431、2127、2128の実行で独立性を確保できるので競合が発生することはなく、並列に実行することでバッチ実行時間を短くすることも出来る。また、図22の顧客分析システム2435において顧客分析用データベース2434がオンライン取引データのレプリカの集計結果である場合に、集計結果を元に関連する詳細データを保持するマスタデータベースにアクセスするといったドリルスルーを行う場合、集計時点でのマスタデータベースの複製を使うことでデータの一貫性を確保できる。
101、119 データベース管理システム(DBMS)
107 SAN(Storage Area Network)
108、109、110、105、120 外部記憶装置
106 主記憶装置

Claims (3)

  1. データを格納するストレージ領域を多重に持ち、同一データを多重書き可能な多重書き機構と、多重書きされた領域を任意の時点で切り離して各々別の管理領域として独立した読み書きを可能とする多重書き解除機構と、各々の領域に格納されているデータを相互にコピー可能な物理コピー機構を有する外部記憶装置上のデータベース管理システムにおいて、
    主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中の全トランザクションによる更新データを該外部記憶装置に一括して書き出すと共に、新たに発生したトランザクションによる更新をデータキャッシュ上にのみ行って、外部記憶装置への書き出しを遅延させるデータ同期化手段と、
    前記未書き出しデータ及び仕掛かり中の全トランザクションによる更新データを前記外部記憶装置に一括して書き出した後、前記多重書き機構により該更新データの多重書きがなされたストレージ領域の多重書きの解除を前記外部記憶装置に要求する手段と、
    前記新たに発生したトランザクションによる更新をデータキャッシュ上にのみ行い前記外部記憶装置への書き出しを遅延させる状態から前記外部記憶装置への更新の多重書きを再開させるデータ同期化解除手段と、
    を有することを特徴とするデータ処理装置。
  2. データを格納する第1のストレージ領域及び第2のストレージ領域を少なくとも有し、該第1のストレージ領域及び第2のストレージ領域に同一データを多重書き可能な多重書き機構と、前記多重書きされた第1のストレージ領域及び第2のストレージ領域を任意の時点で切り離して別々のストレージ領域として独立した読み書きを可能とする多重書き解除機構と、各々の領域に格納されているデータを相互にコピー可能な物理コピー機構を有する外部記憶装置上のデータベース管理システムにおいて、
    第1のタイミングと判断した場合に、主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中のトランザクションによる更新データを前記多重書きが設定されている第1のストレージ領域と第2のストレージ領域に書き出し、前記第1のタイミング以降に生成されたトランザクションによるデータの更新を前記データキャッシュ上で行い、前記第1のストレージ領域と第2のストレージ領域への該データキャッシュ上のデータの書き出しを待たせるデータ同期化手段と、
    前記主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中のトランザクションによる全ての更新データについて、前記第1のストレージ領域と前記第2のストレージ領域への書き出しを完了した場合、前記第1のストレージ領域と前記第2のストレージ領域とにおける多重書きの設定解除を要求する手段と、
    前記第1のタイミング以降に生成されたトランザクションによるデータの更新を前記データキャッシュ上で行って前記データキャッシュ上のデータの前記外部記憶装置への書き出しを待たせる状態にあったトランザクションについて、前記第1のストレージ領域へのデータ更新を再開させるデータ同期化解除手段と、を有するデータ処理装置。
  3. データを格納するストレージ領域として第1のストレージ領域及び第2のストレージ領域を少なくとも有し、該第1のストレージ領域及び第2のストレージ領域に同一データを多重書き可能な多重書き機構と、前記多重書きされた第1のストレージ領域及び第2のストレージ領域を任意の時点で切り離して別々のストレージ領域として独立した読み書きを可能とする多重書き解除機構と、各々の領域に格納されているデータを相互にコピー可能な物理コピー機構を有する外部記憶装置上のデータベース管理システムおけるデータベース管理方法において、
    第1のタイミングと判断した場合に、主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中のトランザクションによる更新データを前記多重書きが設定されている第1のストレージ領域と第2のストレージ領域に書き出し、
    前記第1のタイミング以降に生成されたトランザクションによるデータの更新を前記データキャッシュ上で行って前記データキャッシュ上のデータの前記外部記憶への書き出しを待たせ、
    前記主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中のトランザクションによる更新データの全てについて、前記第1のストレージ領域と前記第2のストレージ領域に書き出しを完了した場合、前記第1のストレージ領域と前記第2のストレージ領域とにおける多重書きの設定を解除し、
    前記多重書きの設定を解除した後、前記データキャッシュ上で更新が行われて、前記データ外部記憶装置への書き出しを待たせた状態にある前記第1のタイミング以降に生成されたトランザクションによる更新データについて、前記第1のストレージ領域へのデータ更新を再開させることを特徴とするデータベース管理方法。
JP2009235879A 2009-10-13 2009-10-13 データ処理装置及びデータベース管理方法 Expired - Fee Related JP5002636B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009235879A JP5002636B2 (ja) 2009-10-13 2009-10-13 データ処理装置及びデータベース管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009235879A JP5002636B2 (ja) 2009-10-13 2009-10-13 データ処理装置及びデータベース管理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001192171A Division JP2003006020A (ja) 2001-06-26 2001-06-26 複製データベースアクセス装置とそのアクセス方法

Publications (2)

Publication Number Publication Date
JP2010049697A true JP2010049697A (ja) 2010-03-04
JP5002636B2 JP5002636B2 (ja) 2012-08-15

Family

ID=42066672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009235879A Expired - Fee Related JP5002636B2 (ja) 2009-10-13 2009-10-13 データ処理装置及びデータベース管理方法

Country Status (1)

Country Link
JP (1) JP5002636B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02292641A (ja) * 1989-05-02 1990-12-04 Hitachi Ltd データベース管理方法
JPH0667944A (ja) * 1992-08-24 1994-03-11 Hitachi Ltd データベース管理方式
JP2000507014A (ja) * 1996-03-19 2000-06-06 イーエムシー コーポレイション マルチホスト意志決定支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02292641A (ja) * 1989-05-02 1990-12-04 Hitachi Ltd データベース管理方法
JPH0667944A (ja) * 1992-08-24 1994-03-11 Hitachi Ltd データベース管理方式
JP2000507014A (ja) * 1996-03-19 2000-06-06 イーエムシー コーポレイション マルチホスト意志決定支援システム

Also Published As

Publication number Publication date
JP5002636B2 (ja) 2012-08-15

Similar Documents

Publication Publication Date Title
US6983277B2 (en) Method and system of database management for replica database
KR100926880B1 (ko) Dbms에서의 데이터 복제 방법 및 시스템
JP4741371B2 (ja) システム、サーバ装置及びスナップショットの形式変換方法
US7698319B2 (en) Database system management method, database system, database device, and backup program
JP5516575B2 (ja) データ挿入システム
US11263236B2 (en) Real-time cross-system database replication for hybrid-cloud elastic scaling and high-performance data virtualization
US8086810B2 (en) Rapid defragmentation of storage volumes
US10353872B2 (en) Method and apparatus for conversion of virtual machine formats utilizing deduplication metadata
EP1734450A2 (en) Storage system and replication creation method thereof
US20080256137A1 (en) Method and system for data processing with data replication for the same
US20060236049A1 (en) Remote copy system and remote copy method
JP2005031716A (ja) データバックアップの方法及び装置
JP2007041859A (ja) ファイル管理プログラム、ファイル管理装置、ファイル管理方法
CN103597440A (zh) 用于创建克隆文件的方法以及采用该方法的文件系统
KR100936238B1 (ko) 파일 입출력과 복제의 균형적 수행을 위한 지연복제 시스템및 방법
US20140337594A1 (en) Systems and methods for collapsing a derivative version of a primary storage volume
US7117329B2 (en) Method of managing generation of backup data and storage control device used therefor
JP2004318288A (ja) データ処理方法および装置ならびにその処理プログラム
US7194486B2 (en) Method and system for data processing with data replication for the same
CN112334891A (zh) 用于搜索服务器的集中式存储
US20140067776A1 (en) Method and System For Operating System File De-Duplication
US20070233972A1 (en) Methods and apparatus for transferring content to multiple destinations
US11809385B1 (en) Efficient data backup in a distributed storage system
JP5002636B2 (ja) データ処理装置及びデータベース管理方法
JP2004252957A (ja) 分散ファイルシステムのファイルレプリケーション方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5002636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees