JP2010049697A - データ処理装置及びデータベース管理方法 - Google Patents
データ処理装置及びデータベース管理方法 Download PDFInfo
- Publication number
- JP2010049697A JP2010049697A JP2009235879A JP2009235879A JP2010049697A JP 2010049697 A JP2010049697 A JP 2010049697A JP 2009235879 A JP2009235879 A JP 2009235879A JP 2009235879 A JP2009235879 A JP 2009235879A JP 2010049697 A JP2010049697 A JP 2010049697A
- Authority
- JP
- Japan
- Prior art keywords
- data
- database
- storage area
- area
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】外部記憶装置108〜109上で多重書き又は複製されたデータベース領域の一方を切り離す際に、データベース管理システム101が一貫性のとれた状態のデータを外部記憶装置108〜110に書き出し、複製データベース領域を切り離すタイミングをコントロールする。また、複製元データベースの物理定義情報を元に複製データベースアクセスのために必要となる新たな物理定義情報を動的に追加し、複製元データベースをアクセスするか複製先データベースをアクセスするか選択する。
【選択図】図1
Description
まず、図1を用いて本発明の概要について説明する。図1は、本発明のデータ処理装置の本発明に係る機能構成の一実施例である。該データベース管理システム101は、データベースアクセス要求を発行するクライアント102と103の要求、または管理者による各種運用操作のための命令104を受け付け、データベースに定義されている表・インデクスの情報を記憶する外部記憶装置上の定義情報ファイル105からアクセス対象の表・インデクスの領域情報を取得し、主記憶装置106を介し、SAN(Storage Area Network)107上に構築したデータベースをアクセスする。データベース108は、ストレージ装置により、多重化管理されている。データベース108は、ストレージ操作111により複製データベース109と110に切り離したり、差分反映が可能である。
次に第一の実施例について説明する。
図2は、本発明のデータ同期化手段及びデータ同期化解除手段を説明するタイムチャートである。これは、図1に示されるデータベースシステムにおいて、データ同期化手段1(201)およびデータ同期化解除手段1(202)が、トランザクションA(203)、B(204)に対して、どのように動作するかについての経時変化を示している。ある時刻において、データベースシステムにデータ同期化手段1(201)の要求があると、主記憶装置(205)上のデータキャッシュに対して、データ同期化手段1(201)が実行され、それ以降、主記憶装置(205)上の特定のデータキャッシュは、同期化開始状態となる。同期化開始状態以前に発生したトランザクションA(203)は、データベースの同期化開始状態の後も、任意に主記憶装置(205)へ更新情報を書き出すことができ、さらに外部記憶装置(206)への書き込みも可能である。同期化開始状態後に発生したトランザクションB(204)は、データキャッシュが同期化開始状態であるため、図9に示されるデータキャッシュへの書き込み権限に応じて、データキャッシュに対する挙動が決定され、また、外部記憶装置(206)への書き込みは禁止された状態となる。トランザクションA(203)の完了後、トランザクションA(203)による主記憶上の更新データ及びデータキャッシュ上に滞留していた未書き出しデータが外部記憶装置(206)に強制的に書き込まれ、データキャッシュは、同期化開始状態から同期化中状態となり、データ同期化手段1(201)の処理が終了する。また、同期化状態中のトランザクションB(204)のデータキャッシュに対する動作についても、図9に示されている。その後、図8に示される多重書き機構を有する外部記憶装置C、D(206)は、ストレージ領域切り離し要求により、図8に示される多重書き解除機構とともに、切り離され、外部記憶装置Dは、外部記憶装置Cに対する整合性のとれた複製として使用することが即座に可能となる。ストレージ領域切り離し要求の完了後、データ同期化解除要求(202)により、データキャッシュの同期化中状態が解除される。同期化中状態解除後、トランザクションB(204)は、データキャッシュへのアクセスが再開され、主記憶領域への書き込み、及び外部記憶装置Cへの書き込みを任意に行うことが可能となる。
図5は、本発明の他のデータ同期化手段及びデータ同期化解除手段を説明するタイムチャートである。これは、図1に示されるデータベースシステムにおいて、データ同期化手段2(501)およびデータ同期化解除手段2(502)が、トランザクションA(503)、B(504)に対して、どのように動作するかについての経時変化を示している。ある時刻において、データベースシステムにデータ同期化手段2(501)の要求があると、主記憶装置(505)上の特定のデータキャッシュに対して、データ同期化手段2(501)が実行され、それ以降、主記憶装置(505)上のデータキャッシュは、同期化状態となる。同期化状態以前に発生したトランザクションA(503)は、データベースの同期化状態の後も、任意に主記憶装置(505)上のデータキャッシュへ更新情報を書き出すことができる、さらに外部記憶装置(506)への書き込みも可能である。同期化状態後に発生したトランザクションB(504)は、データキャッシュが同期化状態であるため、図9に示されるデータキャッシュへの書き込み権限に応じて、データキャッシュに対する挙動が決定され、データキャッシュに対するアクセスすらも禁止される。トランザクションA(503)の完了後、主記憶上データキャッシュの全データが消去され、データ同期化手段2(501)の処理が終了する。また、トランザクションA(503)の完了後の同期化状態中のトランザクションB(504)のデータキャッシュに対する動作は、完了以前と変化はない。その後、図8に示される多重書き機構を有する外部記憶装置C、D(506)は、多重書き状態再開要求により、図8に示される多重書き状態に復帰し、外部記憶装置Cは、外部記憶装置Dの更新が反映された整合性のとれた複製として使用することが即座に可能となる。ストレージ領域多重書き再開要求の完了後、データ同期化解除手段2(502)により、データキャッシュは、同期化状態が解除される。同期化状態解除後、トランザクションB(504)は、データキャッシュへのアクセスが再開され、主記憶領域への書き込み、及び外部記憶装置Cへの書き込みを任意に行うことが可能となる。この時、多重書き状態が再開されているため、外部記憶装置Dにも更新データが二重書きされる。
次に第二の実施例について説明する。
本例は、第一の実施例によって物理的に複製されたデータを、複製元の表・インデクス定義を使用して複製データベースとしてアクセスする例である。
写要求であれば、ステップ1208で、複写元領域に既に複製領域が存在するか判定する。指定された複製元領域に複製領域が一つもなければ、アクセスパス情報部(1106)の複製領域情報として、複製元領域名に自領域名、複製数に1、世代識別子に0、ステータスにカレント状態を設定する(ステップ1209)。既に複製領域が定義されていれば、複製数をインクリメントするだけである(ステップ1210)。新たに登録する領域の物理情報共通部(1105)は、複写元領域の物理定義情報から複写する(ステップ1211)。アクセスパス情報部(1106)に、複製元領域名、任意に指定される複製領域の世代識別子、ステータスにサブ状態、アクセスパス名に指定される新たなアクセスパス名を設定する(ステップ1212)。作成した物理定義情報を物理定義情報管理テーブル(1104)に登録し処理を終了する(ステップ1213)。他データベースへの複写要求の場合、ステップ1213で、他データベース用新規領域の物理領域登録情報ファイル(118)を作成する。ステップ1214で、指定された他データベース環境へ登録情報を転送し、処理を終了する。
域を物理定義情報テーブル(1104)からサーチする。この結果、対象物理領域は領域b(1108)に決定し、複製世代1の複製データベース109をアクセスする。
データベースアクセス処理部(128)では、表またはアクセスデータ単位に排他制御を行うが、排他資源にアクセス対象振り分け設定手段(130)で決定する実際のアクセス領域名または、アクセス領域の世代識別子を付与することで、複製データベース間での排他競合の発生を排除できる。
また、アクセス対象設定手順では、世代識別子又は新たに作成した物理定義情報名称により、任意のデータベースを選択できる。これにより、バッチ処理でアクセスするデータベース群と論理ボリューム単位に複製させる複製データベース群の集合が一致しない場合でも、アクセスするデータベース群として任意の複製データベース群を一意に選択できる。
次に第三の実施例について説明する。
オンライン取引処理システムでの最新データを使って顧客分析や収益管理やレポーティングなどを実行する業務において、オンライン取引処理システムからデータを抽出し分析等の業務目的別システムで利用する場合の運用方式について、以下、本発明の実施例について説明する。
図19は、オンライン取引処理システムと分析等の業務目的別システムとの間をデータレプリケーションで接続したシステム全体の構成図である。システムはオンライン取引入力環境2101とオンライン取引処理環境2102とデータレプリケーション環境2103とオンライン取引データレプリカ環境2104と業務目的別データベース作成バッチ処理環境2105と各種業務実行環境2106から構成される。各環境の構成は以下のとおりである。
図22はオンライン取引処理システムと分析等の業務目的別システムとの間をデータ同期化手段と、物理定義情報動的複写手段と、アクセス対象振り分け手段と、アクセス対象設定手段を使って連携したシステム全体の構成図である。システムはオンライン取引入力環境2401とオンライン取引処理環境2402と業務目的別データベース作成バッチ処理環境2405と各種業務実行環境2406から構成される。各環境の構成は以下のとおりである。
本実施例での運用方式の場合、次のような効果がある。オンライン取引業務への影響を最小に押えて、業務目的別データベースを作成するためのオンライン取引データや取引履歴データベースのレプリカを作成するためにCPUリソースを必要とせず、図19でのデータレプリケーションのためのプログラム実行用のメモリも必要としない。インターネット等を使った24時間サービスで営業時間が拡大しオンライン取引量が増大しても、図23のステップ2501から2508までのDB同期化と多重化解除を任意の時刻に実行することができるので、図22の業務目的別データベース作成バッチ2431、2432、2433も任意の時刻に実行することができる。また、オンライン取引データや取引履歴データベースのレプリカを使って多重化することで、業務目的別データベース作成バッチ2431、2127、2128の実行で独立性を確保できるので競合が発生することはなく、並列に実行することでバッチ実行時間を短くすることも出来る。また、図22の顧客分析システム2435において顧客分析用データベース2434がオンライン取引データのレプリカの集計結果である場合に、集計結果を元に関連する詳細データを保持するマスタデータベースにアクセスするといったドリルスルーを行う場合、集計時点でのマスタデータベースの複製を使うことでデータの一貫性を確保できる。
107 SAN(Storage Area Network)
108、109、110、105、120 外部記憶装置
106 主記憶装置
Claims (3)
- データを格納するストレージ領域を多重に持ち、同一データを多重書き可能な多重書き機構と、多重書きされた領域を任意の時点で切り離して各々別の管理領域として独立した読み書きを可能とする多重書き解除機構と、各々の領域に格納されているデータを相互にコピー可能な物理コピー機構を有する外部記憶装置上のデータベース管理システムにおいて、
主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中の全トランザクションによる更新データを該外部記憶装置に一括して書き出すと共に、新たに発生したトランザクションによる更新をデータキャッシュ上にのみ行って、外部記憶装置への書き出しを遅延させるデータ同期化手段と、
前記未書き出しデータ及び仕掛かり中の全トランザクションによる更新データを前記外部記憶装置に一括して書き出した後、前記多重書き機構により該更新データの多重書きがなされたストレージ領域の多重書きの解除を前記外部記憶装置に要求する手段と、
前記新たに発生したトランザクションによる更新をデータキャッシュ上にのみ行い前記外部記憶装置への書き出しを遅延させる状態から前記外部記憶装置への更新の多重書きを再開させるデータ同期化解除手段と、
を有することを特徴とするデータ処理装置。 - データを格納する第1のストレージ領域及び第2のストレージ領域を少なくとも有し、該第1のストレージ領域及び第2のストレージ領域に同一データを多重書き可能な多重書き機構と、前記多重書きされた第1のストレージ領域及び第2のストレージ領域を任意の時点で切り離して別々のストレージ領域として独立した読み書きを可能とする多重書き解除機構と、各々の領域に格納されているデータを相互にコピー可能な物理コピー機構を有する外部記憶装置上のデータベース管理システムにおいて、
第1のタイミングと判断した場合に、主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中のトランザクションによる更新データを前記多重書きが設定されている第1のストレージ領域と第2のストレージ領域に書き出し、前記第1のタイミング以降に生成されたトランザクションによるデータの更新を前記データキャッシュ上で行い、前記第1のストレージ領域と第2のストレージ領域への該データキャッシュ上のデータの書き出しを待たせるデータ同期化手段と、
前記主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中のトランザクションによる全ての更新データについて、前記第1のストレージ領域と前記第2のストレージ領域への書き出しを完了した場合、前記第1のストレージ領域と前記第2のストレージ領域とにおける多重書きの設定解除を要求する手段と、
前記第1のタイミング以降に生成されたトランザクションによるデータの更新を前記データキャッシュ上で行って前記データキャッシュ上のデータの前記外部記憶装置への書き出しを待たせる状態にあったトランザクションについて、前記第1のストレージ領域へのデータ更新を再開させるデータ同期化解除手段と、を有するデータ処理装置。 - データを格納するストレージ領域として第1のストレージ領域及び第2のストレージ領域を少なくとも有し、該第1のストレージ領域及び第2のストレージ領域に同一データを多重書き可能な多重書き機構と、前記多重書きされた第1のストレージ領域及び第2のストレージ領域を任意の時点で切り離して別々のストレージ領域として独立した読み書きを可能とする多重書き解除機構と、各々の領域に格納されているデータを相互にコピー可能な物理コピー機構を有する外部記憶装置上のデータベース管理システムおけるデータベース管理方法において、
第1のタイミングと判断した場合に、主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中のトランザクションによる更新データを前記多重書きが設定されている第1のストレージ領域と第2のストレージ領域とに書き出し、
前記第1のタイミング以降に生成されたトランザクションによるデータの更新を前記データキャッシュ上で行って前記データキャッシュ上のデータの前記外部記憶への書き出しを待たせ、
前記主記憶装置上のデータキャッシュ領域にある未書き出しデータ及び仕掛かり中のトランザクションによる更新データの全てについて、前記第1のストレージ領域と前記第2のストレージ領域に書き出しを完了した場合、前記第1のストレージ領域と前記第2のストレージ領域とにおける多重書きの設定を解除し、
前記多重書きの設定を解除した後、前記データキャッシュ上で更新が行われて、前記データ外部記憶装置への書き出しを待たせた状態にある前記第1のタイミング以降に生成されたトランザクションによる更新データについて、前記第1のストレージ領域へのデータ更新を再開させることを特徴とするデータベース管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009235879A JP5002636B2 (ja) | 2009-10-13 | 2009-10-13 | データ処理装置及びデータベース管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009235879A JP5002636B2 (ja) | 2009-10-13 | 2009-10-13 | データ処理装置及びデータベース管理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001192171A Division JP2003006020A (ja) | 2001-06-26 | 2001-06-26 | 複製データベースアクセス装置とそのアクセス方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010049697A true JP2010049697A (ja) | 2010-03-04 |
JP5002636B2 JP5002636B2 (ja) | 2012-08-15 |
Family
ID=42066672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009235879A Expired - Fee Related JP5002636B2 (ja) | 2009-10-13 | 2009-10-13 | データ処理装置及びデータベース管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5002636B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02292641A (ja) * | 1989-05-02 | 1990-12-04 | Hitachi Ltd | データベース管理方法 |
JPH0667944A (ja) * | 1992-08-24 | 1994-03-11 | Hitachi Ltd | データベース管理方式 |
JP2000507014A (ja) * | 1996-03-19 | 2000-06-06 | イーエムシー コーポレイション | マルチホスト意志決定支援システム |
-
2009
- 2009-10-13 JP JP2009235879A patent/JP5002636B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02292641A (ja) * | 1989-05-02 | 1990-12-04 | Hitachi Ltd | データベース管理方法 |
JPH0667944A (ja) * | 1992-08-24 | 1994-03-11 | Hitachi Ltd | データベース管理方式 |
JP2000507014A (ja) * | 1996-03-19 | 2000-06-06 | イーエムシー コーポレイション | マルチホスト意志決定支援システム |
Also Published As
Publication number | Publication date |
---|---|
JP5002636B2 (ja) | 2012-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6983277B2 (en) | Method and system of database management for replica database | |
KR100926880B1 (ko) | Dbms에서의 데이터 복제 방법 및 시스템 | |
JP4741371B2 (ja) | システム、サーバ装置及びスナップショットの形式変換方法 | |
US7698319B2 (en) | Database system management method, database system, database device, and backup program | |
JP5516575B2 (ja) | データ挿入システム | |
US11263236B2 (en) | Real-time cross-system database replication for hybrid-cloud elastic scaling and high-performance data virtualization | |
US8086810B2 (en) | Rapid defragmentation of storage volumes | |
US10353872B2 (en) | Method and apparatus for conversion of virtual machine formats utilizing deduplication metadata | |
EP1734450A2 (en) | Storage system and replication creation method thereof | |
US20080256137A1 (en) | Method and system for data processing with data replication for the same | |
US20060236049A1 (en) | Remote copy system and remote copy method | |
JP2005031716A (ja) | データバックアップの方法及び装置 | |
JP2007041859A (ja) | ファイル管理プログラム、ファイル管理装置、ファイル管理方法 | |
CN103597440A (zh) | 用于创建克隆文件的方法以及采用该方法的文件系统 | |
KR100936238B1 (ko) | 파일 입출력과 복제의 균형적 수행을 위한 지연복제 시스템및 방법 | |
US20140337594A1 (en) | Systems and methods for collapsing a derivative version of a primary storage volume | |
US7117329B2 (en) | Method of managing generation of backup data and storage control device used therefor | |
JP2004318288A (ja) | データ処理方法および装置ならびにその処理プログラム | |
US7194486B2 (en) | Method and system for data processing with data replication for the same | |
CN112334891A (zh) | 用于搜索服务器的集中式存储 | |
US20140067776A1 (en) | Method and System For Operating System File De-Duplication | |
US20070233972A1 (en) | Methods and apparatus for transferring content to multiple destinations | |
US11809385B1 (en) | Efficient data backup in a distributed storage system | |
JP5002636B2 (ja) | データ処理装置及びデータベース管理方法 | |
JP2004252957A (ja) | 分散ファイルシステムのファイルレプリケーション方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120424 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120521 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5002636 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |