JP2006004031A - データ処理方法およびシステム並びにストレージ装置方法およびその処理プログラム - Google Patents

データ処理方法およびシステム並びにストレージ装置方法およびその処理プログラム Download PDF

Info

Publication number
JP2006004031A
JP2006004031A JP2004177747A JP2004177747A JP2006004031A JP 2006004031 A JP2006004031 A JP 2006004031A JP 2004177747 A JP2004177747 A JP 2004177747A JP 2004177747 A JP2004177747 A JP 2004177747A JP 2006004031 A JP2006004031 A JP 2006004031A
Authority
JP
Japan
Prior art keywords
database
data
checkpoint
primary
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004177747A
Other languages
English (en)
Inventor
Jun Nagasawa
じゅん 長澤
Nobuo Kawamura
信男 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004177747A priority Critical patent/JP2006004031A/ja
Priority to US10/932,117 priority patent/US20060004839A1/en
Publication of JP2006004031A publication Critical patent/JP2006004031A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1658Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G06F11/1662Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1471Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094Redundant storage or storage space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1474Saving, restoring, recovering or retrying in transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80Database-specific techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】
大量データベースシステムでは、バックアップの作成にも膨大な時間を要するため、バックアップを頻繁に作成することは困難である。しかし、バックアップ作成時点から時間が経過するほど、データベースの回復に必要な更新ログの量が増加し、障害回復時間が膨大となることが問題となっている。
また、SAN構成で複数データベースの多重書きを行っているシステムにおいては、外部記憶装置の機能ではデータベースの論理的な障害は検知できないため、障害の状態も複製データベースに反映してしまうという問題がある。
【解決手段】
任意の時刻を基準として作成した複製データベースに対して、データベースのチェックポイントに連動して更新ログの情報を反映することで、複製データベースを再作成することなく、複製データベース作成時点よりも現在のデータベース状態に近い複製データベースを作成する手段を提供する。
【選択図】 図1

Description

本発明はデータの複製を生成するデータ処理技術に関するものである。
従来の大量データベースシステムでは、定期的なバックアップ運用が必要であるが、この処理はオンラインサービスで使用するデータベースへの一括アクセスを伴うため、オンライン業務への影響が大きく、24時間連続でサービスを提供する際の妨げになっている。また、データベースの規模に伴い、バックアップ取得時間が膨大になることも問題となっている。これを解決する一つの手段としては、前回のバックアップ取得時点から更新された部分のみバックアップを取得する差分バックアップが提供されている。このような差分バックアップの技術は特許文献1に開示されている。
また、近年普及し始めているSAN(Storage Area Network)構成、すなわち磁気ディスク装置など複数の外部記憶装置を専用の高速ネットワークで有機的に結合した構成を活用し、オンライン業務のデータベースの複製を持つ方法が知られている。この構成では任意の論理ボリュームを複数の論理ボリュームに高速コピーする機能、任意の論理ボリュームを正ボリュームとし、他の複数の論理ボリュームを副ボリュームとしてデータの多重書き込みを行う機能、多重書き込み状態の論理ボリュームを任意の時点で切り離し、正・副独立したボリュームとしてアクセスできる機能などを外部記憶装置が提供している。
特開平07-160559号公報
従来のデータベースシステムでは、データベースに障害が発生した場合、データベースのバックアップと更新ログを用いて障害発生前のデータベース状態に回復する。ところが、大量データベースを扱う更新負荷の高いシステムでは、バックアップの作成にも膨大な時間を要するため、バックアップを頻繁に作成することは困難である。これを解決する手段として差分バックアップが提供されているが、これが有効となるのはデータの更新範囲が限定される業務の場合である。
また、データベースのバックアップ作成時点から時間が経過するほど、データベースの回復に必要な更新ログの量が増加し、障害復旧時間も膨大となることが問題となっている。
また、SAN構成で複数データベースの多重書きを行っているシステムにおいては、外部記憶装置の機能ではデータベースの論理的な障害は検知できないため、データベース障害の状態も複製データベースに反映してしまう。複製データベースをバックアップの目的で使用するためには、定期的にディスクを切り離す必要があるが、再度データベースの状態と同期を取るためにはディスク全体のコピーを行う必要があり、これに要する時間も膨大であり頻繁には実行できない。
本発明では、バックアップの取得及び複製データベースの切り離し機会を増やすことなく、データベース障害発生時の回復時間を削減することを目的とする。
上記課題を解決するために、ある任意の時刻を基準として作成した複製データベースに対して、データベースのチェックポイントに連動して更新ログの情報を反映することで、複製データベースを再作成することなく、複製データベース作成時点よりも現在のデータベース状態に近い複製データベースを作成するものである。
本発明によれば、データベースの回復に必要な更新ログの量が最小限に抑えられ、障害時におけるデータベースの回復運用が短時間で実行可能である。
以下、本発明の実施例を図面に基づいて詳細に説明する。
(実施形態1)
図1は、本発明における第一実施例である情報処理装置の構成を示すものである。本実施例では、バス15で接続された情報処理装置10と外部記憶装置16で実現されており、情報処理装置10は、CPU12、メモリ11、ディスプレイ13、キーボード14で備えている。メモリ11上のオンラインアプリケーション112は、データベース管理システム111を介して外部記憶装置16上のデータベース162にアクセスするものである。データベース162の更新内容は、更新ログファイル164に更新履歴情報として記録するとともに、ディスク制御処理部161上の多重書き処理部1611によって複製データベース163に反映することができる。また多重書き機構1611は任意の時点で多重書き(ミラーリングともいう)を解除でき、複製データベース163を、データベース管理システム111を介してデータベース162とは独立したデータベースとして読み書き可能にすることもできる。データベース管理システム111は、オンラインアプリケーション112の処理要求を行うオンライン業務処理部1111と、更新ログファイル164の内容を監視するログ監視処理部1112を含む。ログ監視処理部1112は、データベースのチェックポイントを取得するチェックポイント取得処理部11121と、チェックポイント管理テーブル1113に情報を登録するチェックポイント管理テーブル登録処理部11122、チェックポイントに連動し、複製データベース163の状態をデータベース162の状態に合わせる複製データベース追付き処理部11123を含む。複製データベース追付き処理部11123には、対象チェックポイント取得処理部111231と、追付き更新ログ取得処理部111232と、追付き更新ログ反映処理部111233を含む。以上の各処理部やシステムは、プログラムやオブジェクト、プロセス、スレッドで実現可能であり、ハードウェアでも実現が可能である。業務プログラムとして、オンラインアプロケーション112を例に説明したが、オンラインに限定されるものではなく、データベースをアクセスするプログラム一般に適用可能である。他の実施例についても同様である。情報処理装置10と外部記憶装置16は別装置の例を示しているが、同一装置でも実現可能である。
図2は、本実施例の通常運用におけるデータベース162と複製データベース163の状態遷移の概要を示す図である。本実施例のデータベース管理システム111では、多重書き処理部1611によって、データベース28を複製データベース213に反映させている(状態1)。ここで、外部記憶装置16に対しディスクの切り離し21を要求することで、複製データベース213をバックアップファイルとして使用する。ディスクの切り離し後、オンラインアプリケーション22のデータベースアクセス処理により、データベース29が更新される(状態2)。また、この際のデータベースの更新履歴情報は、更新ログ217に出力される。次に、データベース管理システム111は、チェックポイント取得処理25を実行すると共に複製データベース追付き処理を実行し、更新ログ217を用いて複製データベース214を更新することで、データベース29の状態に合わせる(状態2)。以後同様に、データベース管理システム111は、チェックポイント取得処理を実行すると共に複製データベース追付き処理を実行し、複製データベースの状態をデータベースの状態に合わせていく。
図3は、本実施例の障害発生時の運用におけるデータベース162と複製データベース163の状態遷移の概要を示す図である。チェックポイント37の時点では、データベース38の状態に合わせて、複製データベース311は更新されている(状態5)。その後、オンラインアプリケーション34のデータベースアクセス処理により、データベース39が更新される(状態6)。また、この際のデータベースの更新履歴情報は、更新ログ314に出力される。ここで、オンラインアプリケーション35の処理中にデータベース310に障害が発生した場合(31)、運用対象をデータベース310から複製データベース311に切り替える(32)。次に、チェックポイント37以降の更新ログ314を用いて通常のデータベースの回復処理を行い、複製データベース311を最新のデータベース状態312に更新する(状態6)。この作業により、オンライン業務の運用再開が可能である(33)。障害発生時に実行中であったオンラインアプリケーション35は再度実行し(36)、業務を続行する。本実施例では、チェックポイントの度に、データベース162を追加もしくは更新により生成される更新履歴情報を複製データベースに反映する例について説明した。所定回数のチェックポイントをカウントし、所定回数のチェックポイントごとに、その間に蓄積された更新履歴情報を複製データベースに反映することも可能である。本例ではチェックポイントのタイミングで更新履歴情報を複製データベースに反映するが、データベース管理システムやデータベースをアクセスするプログラムから反映要求を受信することにより複製データベースに反映することも可能である。
図4は、図2の状態遷移図に従い実行されたデータベースアクセスの更新ログファイル40の構成、及び内容を示している。更新ログファイル40のレコードは、トランザクションを構成する個々のオペレーション単位に時系列に並んでいる。各オペレーションの実行結果は、更新時刻41、更新ログ番号42、トランザクションID43、オペレーションコード44、そして更新情報45が含まれる。更新情報45は、表名称451、列数452、そして列数452個の列情報453が含まれる。列情報453は、列名称4531、データ長4532、更新前データ4533、そして更新後データ4534が含まれる。
図5は、図2の状態遷移図に従い実行されたチェックポイントの管理テーブルの内容を示している。チェックポイント管理テーブルのレコードは、チェックポイント単位に時系列で並んでいる。チェックポイント管理テーブルには、チェックポイント番号51、そのチェックポイントにおける最初の更新ログ番号を示す開始更新ログ番号52、最後のログ番号を示す最終更新ログ53が含まれる。追付き対象チェックポイントリスト54には、複製データベース追付き処理実行時、複製データベースに反映すべきチェックポイントの番号が時系列順に格納される。追付き開始ログ番号55には、追付き対象チェックポイントリスト54中先頭のチェックポイントの開始更新ログ番号が格納される。また、追付き最終ログ番号56には、追付き対象チェックポイントリスト54中最後のチェックポイントの最終更新ログ番号が格納される。
図6は、図2の状態遷移図に従い更新されたデータベースの構成と更新内容を示している。外部記憶装置60には、データベースを格納する論理ボリューム61と、複製データベースを格納する論理ボリューム62が含まれる。データベースを格納する論理ボリューム61には、データベースに対して最後に処理したチェックポイント番号611が格納される。複製データベースを格納する論理ボリューム62には、複製データベースに対して最後に処理したチェックポイント番号621が格納される。
図7は、本実施例におけるユーザの運用手順を示している。まずユーザは、データベースと複製データベースのディスクを二重化し、状態を一致させる(ステップ71)。その後、ディスクを切り離し、複製データベースをバックアップとして使用する(ステップ72)。次にオンライン業務を実行する(ステップ73)。業務実行中に障害が発生した場合(ステップ74)、運用対象を複製データベースに切り替え(ステップ75)、通常のデータベースの再開始処理を行う(ステップ76)。これによりシステムは再開始可能であり、オンライン業務を続行する。オンライン業務が停止した場合は、システムを停止する(ステップ77)。
図8は、データベース管理システムの処理概要を示している。オンライン業務処理部81は、トランザクション受付(ステップ811)、更新ログ出力(ステップ812)、トランザクション終了処理(ステップ813)を行う。システム起動中の間、この処理を繰返し行う(ステップ814)。一方、ログ監視処理部82では、オンライン業務処理部81が出力した更新ログの状態を監視し(ステップ821)、更新ログの出力量及び前回のチェックポイント処理時刻からの経過時間などの条件に伴い、データベースのチェックポイント取得処理を行う(ステップ822)。また、これと同時に処理中のチェックポイント情報をチェックポイント管理テーブルに登録する処理(ステップ823)と、複製データベースの追付き処理を行う(ステップ824)。
図9は、複製データベース追付き処理の流れを示している。複製データベース追付き処理9は、実行したチェックポイントの番号94を入力情報とし、追付き対象となるチェックポイントを取得するステップ91と、追付き対象となる更新ログ番号を取得するステップ92と、追付き対象となる更新ログを複製データベースに反映するステップ93から成る。
図10は、追付きの対象となるチェックポイント番号を取得する処理の流れを示している。対象チェックポイント取得処理10は、実行したチェックポイントの番号108を入力情報とし、先ず複製データベース102から最終チェックポイント番号を読み込む(ステップ101)。次に、チェックポイント管理テーブルから1エントリを取得(ステップ103)、最終エントリかを判定し(ステップ104)、最終エントリであれば終了する。取得したチェックポイント管理テーブルのエントリからチェックポイント番号51を取得し(ステップ105)、ステップ101で取得した複製データベースのチェックポイント番号と入力情報のチェックポイント番号108の範囲内かを判定(ステップ106)、範囲外であればステップ103に戻る。範囲内の場合は、追付き対象チェックポイントリスト54にステップ105で求めたチェックポイント番号を追加し(ステップ107)、ステップ103に戻る。
図11は、追付き対象チェックポイントリスト54とチェックポイント管理テーブルから、追付きの対象となる更新ログ番号を取得する処理の流れを示している。追付き対象更新ログ取得処理11は、先ず追付き対象チェックポイントリスト54から1エントリを取得(ステップ111)、最終エントリかを判定し(ステップ112)、最終エントリであれば終了する。次に、チェックポイント管理テーブルから1エントリを取得(ステップ113)、最終エントリかを判定する(ステップ114)。追付き対象チェックポイントリスト54には存在するチェックポイント番号が必ず格納されているため、最終エントリであればエラー処理を行い終了する(ステップ1110)。取得したチェックポイント管理テーブルのエントリから、チェックポイント番号51を取得し(ステップ115)、ステップ111で求めた追付き対象チェックポイントリストのチェックポイント番号と一致するか判定する(ステップ116)。一致しない場合、ステップ113に戻る。一致する場合、追付き対象チェックポイントリストの先頭エントリである場合は(ステップ117)、ステップ115で求めたエントリの開始更新ログ番号52を追付き開始ログ番号55に設定する(ステップ118)。また、ステップ115で求めたエントリの最終更新ログ番号53を追付き最終ログ番号56に設定し(ステップ119)、ステップ111へ戻る。
図12は、追付き対象となる更新ログを複製データベースに反映する処理の流れを示している。追付き更新ログ反映処理部12は、更新ログファイル125から1レコードを読み出す(ステップ121)。全て読み出したどうかを判定し(ステップ122)、全て読み出していれば終了する。ステップ121で読み出した更新ログ番号が、追付き対象範囲内か判定し(ステップ123)、範囲外であればステップ121へ戻る。範囲内の場合は、更新ログの内容を複製データベースに反映し(ステップ124)、ステップ121へ戻る。
(実施形態2)
以下に、複製データベース追付き処理を、外部記憶装置側で行う実施例について説明する。
図13は、本発明における第二実施例である情報処理装置の構成を示す。本実施例では、バス135で接続された情報処理装置130と外部記憶装置136で実現されており、情報処理装置130は、CPU132、メモリ131、ディスプレイ133、キーボード134で構成されている。メモリ131上のオンラインアプリケーション1312は、データベース管理システム1311を介して外部記憶装置136上のデータベース1362にアクセスするものである。データベース1362の更新内容は、更新ログファイル1364に更新履歴情報として記録するとともに、ディスク制御処理部1361上の多重書き処理部13611によってリアルタイムに複製データベース1363に反映することができる。また多重書き機構13611は任意の時点で多重書きを解除でき、複製データベース1363を、データベース管理システム1311を介してデータベース1362とは独立したデータベースとして読み書き可能にすることもできる。データベース管理システム1311は、オンラインアプリケーション1312の処理要求を行うオンライン業務処理部13111と、更新ログファイル1364の内容を監視するログ監視処理部13112を含む。ログ監視処理部13112は、データベースのチェックポイントを取得するチェックポイント取得処理部131121と、チェックポイント契機を外部記憶装置136のディスク制御処理部1361に通知するチェックポイント契機通知処理部131122を含む。ディスク制御処理部1361は、チェックポイント管理テーブル13614に情報を登録するチェックポイント管理テーブル登録処理部13612と、複製データベース追付き処理部13613を含んでおり、更新ログファイル1364の更新内容を複製データベース1363へ反映する。複製データベース追付き処理部13613は、DB−ディスク変換テーブル1365を参照し、データベース1362や複製データベース1363、更新ログファイル1364の論理位置とディスク上のブロックの対応付けを行う。
図14は、DB-ディスクブロック変換テーブルの構成を示している。図14に示すように、DB-ディスクブロック変換テーブル1365は、データベース領域1362を識別するデータベース領域ID1401と、そのデータベースIDで識別されるデータベース領域が複数ファイルで構成される場合のファイル順序番号を示すファイルID1402と、前記データベース領域を構成するブロックの長さを示すブロック長1403と、前記データベース領域の構成ファイルが確保されている論理ボリュームを識別する為の情報である論理ボリュームID1404と、論理ボリュームIDで認識される論理ボリュームがマッピングされている外部記憶装置を識別する為の番号であるディスク制御装置番号1405と、そのディスク制御装置番号で識別される外部記憶装置の磁気ディスク装置の中で、前記論理ボリュームがマッピングされている磁気ディスク装置のドライブ番号を識別する為の情報である物理デバイスID1406と、その物理デバイスIDで識別される磁気ディスク装置上での該当ファイルの相対的な位置を示す相対位置1407とを格納している。
図15は、第二実施例における複製データベース追付き処理の概要を示している。ログ監視処理部151は、更新ログの状態を監視し(ステップ1511)、更新ログの出力量及び前回のチェックポイント処理時刻からの経過時間などの条件に伴い、データベースのチェックポイント取得処理を行う(ステップ1512)。また、これと同時にチェックポイント契機の通知処理を行う(ステップ1513)。一方、ハードディスク制御処理部152では、チェックポイント契機が通知された時点で、チェックポイント管理テーブル登録処理(ステップ1521)と、複製データベース追付き処理を実行する(ステップ1522)。
(実施形態3)
以下は、本発明の第二実施例において、データベースの更新ログではなく、外部記憶装置の更新ログを用いて、複製データベース追付き処理を行う実施例について説明する。
図16は、本発明における第三実施例である情報処理装置の構成を示すものである。本実施例では、バス165で接続された情報処理装置160と外部記憶装置166で実現されており、情報処理装置160は、CPU162、メモリ161、ディスプレイ163、キーボード164で構成されている。メモリ161上のオンラインアプリケーション1612は、データベース管理システム1611を介して外部記憶装置166上のデータベース1662にアクセスするものである。データベース1662の更新内容は、更新ログファイル1664に更新履歴情報として記録するとともに、ディスク制御処理部1661上の多重書き処理部16611によってリアルタイムに複製データベース1663に反映することができる。また多重書き機構16611は任意の時点で多重書きを解除でき、複製データベース1663を、データベース管理システム1611を介してデータベース1662とは独立したデータベースとして読み書き可能にすることもできる。なお、外部記憶装置166のディスクの更新内容は全てディスク更新ログ1666に記録される。
データベース管理システム1611は、オンラインアプリケーション1612の処理要求を行うオンライン業務処理部16111と、更新ログファイル1664の内容を監視するログ監視処理部16112を含む。ログ監視処理部16112は、データベースのチェックポイントを取得するチェックポイント取得処理部161121と、チェックポイント契機を外部記憶装置166のディスク制御処理部1661に通知するチェックポイント契機通知処理部161122を含む。ディスク制御処理部1661は、チェックポイント管理テーブル16614に情報を登録するチェックポイント管理テーブル登録処理部16612と、複製データベース追付き処理部16613を含む。チェックポイント管理テーブル登録処理部16612は、チェックポイント管理テーブル16614に、処理中のチェックポイント番号と、ディスク更新ログ1666の該当するログ番号を登録する。また、複製データベース追付き処理部16613は、DB−ディスク変換テーブル1665を参照し、データベース1662や複製データベース1663の論理位置とディスク上のブロックの対応付けを行い、チェックポイント管理テーブル16614に登録されたディスク更新ログ1666のログ番号の中から、データベース1662に関する更新内容を複製データベース1663へ反映する。このようにすることにより、チェックポイントとその次のチェックポイントとの間に出力された更新ログ情報を抽出することが可能となり、これを用いて更新内容を複製データベース1663へ反映することが可能となる。
図17は、ディスク更新ログの構成を示している。ディスク更新ログ170には、更新した時刻を示す更新時刻171、更新したディスク上のブロックを示すブロックID172、更新後のデータを示す更新後データ173が含まれる。
第一実施例のシステム構成を示す図である。 第一実施例の通常運用におけるデータベースの状態遷移を示す図である。 第一実施例の障害発生時におけるデータベースの状態遷移を示す図である。 第一実施例の更新ログファイルの構成を示す図である。 第一実施例のチェックポイント管理テーブルを示す図である。 第一実施例のデータベースの構成を示す図である。 第一実施例のユーザ運用手順を示す図である。 第一実施例のデータベース管理システムの処理概要を示す図である。 第一実施例の複製データベース追付き処理を示す図である。 第一実施例の対象チェックポイント取得処理を示す図である。 第一実施例の追付き更新ログ取得処理を示す図である。 第一実施例の追付き更新ログ反映処理を示す図である。 第二実施例のシステム構成を示す図である。 第二実施例のDB−ディスクブロック変換テーブルの構成を示す図である。 第二実施例の複製データベース追付き処理概要を示す図である。 第三実施例のシステム構成を示す図である。 第三実施例のディスク更新ログの構成を示す図である。
符号の説明
10…情報処理装置、11…メモリ、111…データベース管理システム、16…外部記憶装置、161…ディスク制御処理部、1611…多重書き機構、162…データベース、163…複製データベース、164…更新ログファイル。

Claims (10)

  1. 正データベースと副データベースとを有し、トランザクション処理を利用した該正データベースのデータ操作により生成されるログ情報を利用して該副データベースを生成するデータベース管理システムにおけるデータ処理方法において、
    前記トランザクション処理におけるデータベースの回復タイミングであるチェックポイントを検出した場合、該チェックポイント以前に生成された前記ログ情報に基づいたデータ操作を前記副データベースに処理することにより前記正データベースから前記副データベースへの複写を実現することを特徴とするデータ処理方法。
  2. 前記チェックポイントを検出する度に、該検出したチェックポイントの直前のチェックポイントから該検出したチェックポイントまでに生成された前記ログ情報に基づいたデータ操作を前記副データベースに処理することにより前記正データベースから前記副データベースへの複写を実現することを特徴とする請求項1記載のデータ処理方法。
  3. 正データベースと副データベースとを格納し、トランザクション処理を利用した該正データベースのデータ操作により生成されるログ情報を利用して該副データベースを生成するストレージ装置におけるデータ処理方法において、
    前記トランザクション処理におけるデータベースの回復タイミングであるチェックポイントのタイミングを受信し、該チェックポイントの受信に応じて、該チェックポイントの直前のチェックポイントから該チェックポイント以前に生成された前記ログ情報に基づいたデータ操作を前記副データベースに処理することにより前記正データベースから前記副データベースへの複写を実現することを特徴とするデータ処理方法。
  4. 正データと副データとを格納し、該正データのデータ操作により生成されるログ情報を利用して該副データを生成するストレージ装置におけるデータ処理方法において、
    前記正データを副データに反映する反映タイミングを受信し、該反映タイミングの受信に応じて、該反映タイミングの直前の反映タイミングから該反映タイミング以前に生成された前記ログ情報に基づいたデータ操作を前記副データに処理することにより前記正データから前記副データへの複写を実現することを特徴とするデータ処理方法。
  5. 正データベースと副データベースとを有し、トランザクション処理を利用した該正データベースのデータ操作により生成されるログ情報を利用して該副データベースを生成するデータベース管理システムにおいて、
    前記トランザクション処理におけるデータベースの回復タイミングであるチェックポイントのタイミングを検出する手段と、該チェックポイントを検出した場合、該チェックポイントの直前のチェックポイントから該チェックポイント以前に生成された前記ログ情報に基づいたデータ操作を前記副データベースに処理することにより前記正データベースから前記副データベースへの複写を実現する手段とを備えたことを特徴とするデータベース管理システム。
  6. 正データベースと副データベースとを格納し、トランザクション処理を利用した該正データベースのデータ操作により生成されるログ情報を利用して該副データベースを生成するストレージ装置において、
    前記トランザクション処理におけるデータベースの回復タイミングであるチェックポイントのタイミングを受信する手段と、該チェックポイントの受信に応じて、該反映タイミングの直前の反映タイミングから該反映タイミング以前に生成された前記ログ情報に基づいたデータ操作を前記副データベースに処理することにより前記正データベースから前記副データベースへの複写を実現する手段とを備えたことを特徴とするストレージ装置。
  7. 正データと副データとを格納し、該正データのデータ操作により生成されるログ情報を利用して該副データを生成するストレージ装置において、
    前記正データを副データに反映する反映タイミングを受信する手段と、該反映タイミングの受信に応じて、該反映タイミングの直前の反映タイミングから該反映タイミング以前に生成された前記ログ情報に基づいたデータ操作を前記副データに処理することにより前記正データから前記副データへの複写を実現する手段とを備えたことを特徴とするストレージ装置。
  8. 正データベースと副データベースとを有し、トランザクション処理を利用した該正データベースのデータ操作により生成されるログ情報を利用して該副データベースを生成するデータベース管理システムを機能するためのデータ処理プログラムにおいて、
    前記トランザクション処理におけるデータベースの回復タイミングであるチェックポイントのタイミングを検出するステップと、該チェックポイントを検出した場合、該検出したチェックポイント以前に生成された前記ログ情報に基づいたデータ操作を前記副データベースに処理することにより前記正データベースから前記副データベースへの複写を実現するステップとを有することを特徴とするデータ処理プログラム。
  9. 正データベースと副データベースとを格納し、トランザクション処理を利用した該正データベースのデータ操作により生成されるログ情報を利用して該副データベースを生成するストレージ装置を機能するためのデータ処理プログラムにおいて、
    前記トランザクション処理におけるデータベースの回復タイミングであるチェックポイントのタイミングを受信するステップと、該チェックポイントの受信に応じて、該チェックポイント以前に生成された前記ログ情報に基づいたデータ操作を前記副データベースに処理することにより前記正データベースから前記副データベースへの複写を実現するステップとを有することを特徴とするデータ処理プログラム。
  10. 正データと副データとを格納し、該正データのデータ操作により生成されるログ情報を利用して該副データを生成するストレージ装置を機能するためのデータ処理プログラムにおいて、
    前記正データを副データに反映する反映タイミングを受信するステップと、該反映タイミングの受信に応じて、該反映タイミングの直前の反映タイミングから該反映タイミング以前に生成された前記ログ情報に基づいたデータ操作を前記副データに処理することにより前記正データから前記副データへの複写を実現するステップとを有することを特徴とするデータ処理プログラム。
JP2004177747A 2004-06-16 2004-06-16 データ処理方法およびシステム並びにストレージ装置方法およびその処理プログラム Pending JP2006004031A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004177747A JP2006004031A (ja) 2004-06-16 2004-06-16 データ処理方法およびシステム並びにストレージ装置方法およびその処理プログラム
US10/932,117 US20060004839A1 (en) 2004-06-16 2004-09-02 Method and system for data processing with data replication for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004177747A JP2006004031A (ja) 2004-06-16 2004-06-16 データ処理方法およびシステム並びにストレージ装置方法およびその処理プログラム

Publications (1)

Publication Number Publication Date
JP2006004031A true JP2006004031A (ja) 2006-01-05

Family

ID=35515301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004177747A Pending JP2006004031A (ja) 2004-06-16 2004-06-16 データ処理方法およびシステム並びにストレージ装置方法およびその処理プログラム

Country Status (2)

Country Link
US (1) US20060004839A1 (ja)
JP (1) JP2006004031A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007200114A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd データベース回復方法及び計算機システム
JP2007317017A (ja) * 2006-05-26 2007-12-06 Nec Corp ストレージシステム及びデータ保護方法とプログラム
JP2008077287A (ja) * 2006-09-20 2008-04-03 Hitachi Ltd データベース管理システム、記憶装置システム、データ回復方法及び情報処理システム
JP2020095322A (ja) * 2018-12-10 2020-06-18 Necソリューションイノベータ株式会社 分散ファイル装置、フェイルオーバ方法、プログラム及び記録媒体

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047067A (ja) * 2006-08-21 2008-02-28 Ricoh Co Ltd カプセル化文書管理装置、カプセル化文書管理方法及びカプセル化文書管理プログラム
WO2008157186A1 (en) * 2007-06-13 2008-12-24 Kace Networks, Inc. Cross-enterprise it information sharing platform
US8682853B2 (en) * 2008-05-16 2014-03-25 Paraccel Llc System and method for enhancing storage performance in analytical database applications
US8078655B2 (en) * 2008-06-04 2011-12-13 Microsoft Corporation Generation of database deltas and restoration
US8108636B2 (en) * 2008-12-31 2012-01-31 Decho Corporation Providing backups using a portable storage device
US8266453B2 (en) * 2008-12-31 2012-09-11 Decho Corporation Obtaining backups using a portable storage device
US8170997B2 (en) * 2009-01-29 2012-05-01 Microsoft Corporation Unbundled storage transaction services
US8930321B2 (en) * 2010-06-30 2015-01-06 Microsoft Corporation Logical recovery with unbundled transaction services
US8639861B1 (en) 2011-03-31 2014-01-28 Emc Corporation Pseudo writing system and method
US8732342B1 (en) 2011-03-31 2014-05-20 Emc Corporation I/O scheduling system and method
US8543544B2 (en) * 2012-01-06 2013-09-24 Apple Inc. Checkpoint based progressive backup
US9003162B2 (en) 2012-06-20 2015-04-07 Microsoft Technology Licensing, Llc Structuring storage based on latch-free B-trees
US11762849B2 (en) * 2013-01-14 2023-09-19 Mastercard International Incorporated Systems and methods for managing offline database access
US9424288B2 (en) * 2013-03-08 2016-08-23 Oracle International Corporation Analyzing database cluster behavior by transforming discrete time series measurements
US10373065B2 (en) 2013-03-08 2019-08-06 Oracle International Corporation Generating database cluster health alerts using machine learning
US9519591B2 (en) 2013-06-22 2016-12-13 Microsoft Technology Licensing, Llc Latch-free, log-structured storage for multiple access methods
US9514211B2 (en) 2014-07-20 2016-12-06 Microsoft Technology Licensing, Llc High throughput data modifications using blind update operations

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262070A (ja) * 1994-03-21 1995-10-13 Internatl Business Mach Corp <Ibm> 更新システム及び関連する方法
JP2004094710A (ja) * 2002-09-02 2004-03-25 Hitachi Ltd 記憶サブシステムのデータ二重化方法およびシステム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5280611A (en) * 1991-11-08 1994-01-18 International Business Machines Corporation Method for managing database recovery from failure of a shared store in a system including a plurality of transaction-based systems of the write-ahead logging type
US5729742A (en) * 1995-02-27 1998-03-17 International Business Machines Corporation System and method for enabling multiple computer systems to share a single sequential log
US5852715A (en) * 1996-03-19 1998-12-22 Emc Corporation System for currently updating database by one host and reading the database by different host for the purpose of implementing decision support functions
US6014674A (en) * 1996-11-14 2000-01-11 Sybase, Inc. Method for maintaining log compatibility in database systems
US5864849A (en) * 1996-12-16 1999-01-26 Lucent Technologies Inc. System and method for restoring a multiple checkpointed database in view of loss of volatile memory
US6353836B1 (en) * 1998-02-13 2002-03-05 Oracle Corporation Method and apparatus for transferring data from the cache of one node to the cache of another node
US6732123B1 (en) * 1998-02-23 2004-05-04 International Business Machines Corporation Database recovery to any point in time in an online environment utilizing disaster recovery technology
US6092085A (en) * 1998-03-24 2000-07-18 International Business Machines Corporation Method and system for improved database disaster recovery
US6226651B1 (en) * 1998-03-27 2001-05-01 International Business Machines Corporation Database disaster remote site recovery
US6144999A (en) * 1998-05-29 2000-11-07 Sun Microsystems, Incorporated Method and apparatus for file system disaster recovery
US6122640A (en) * 1998-09-22 2000-09-19 Platinum Technology Ip, Inc. Method and apparatus for reorganizing an active DBMS table
US7305421B2 (en) * 2001-07-16 2007-12-04 Sap Ag Parallelized redo-only logging and recovery for highly available main memory database systems
US7412460B2 (en) * 2003-06-19 2008-08-12 International Business Machines Corporation DBMS backup without suspending updates and corresponding recovery using separately stored log and data files
US7234075B2 (en) * 2003-12-30 2007-06-19 Dell Products L.P. Distributed failover aware storage area network backup of application data in an active-N high availability cluster
US7334002B2 (en) * 2004-02-27 2008-02-19 Microsoft Corporation System and method for recovery units in databases

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262070A (ja) * 1994-03-21 1995-10-13 Internatl Business Mach Corp <Ibm> 更新システム及び関連する方法
JP2004094710A (ja) * 2002-09-02 2004-03-25 Hitachi Ltd 記憶サブシステムのデータ二重化方法およびシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007200114A (ja) * 2006-01-27 2007-08-09 Hitachi Ltd データベース回復方法及び計算機システム
JP2007317017A (ja) * 2006-05-26 2007-12-06 Nec Corp ストレージシステム及びデータ保護方法とプログラム
JP2008077287A (ja) * 2006-09-20 2008-04-03 Hitachi Ltd データベース管理システム、記憶装置システム、データ回復方法及び情報処理システム
JP2020095322A (ja) * 2018-12-10 2020-06-18 Necソリューションイノベータ株式会社 分散ファイル装置、フェイルオーバ方法、プログラム及び記録媒体
JP7164175B2 (ja) 2018-12-10 2022-11-01 Necソリューションイノベータ株式会社 分散ファイル装置、フェイルオーバ方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
US20060004839A1 (en) 2006-01-05

Similar Documents

Publication Publication Date Title
US11599557B2 (en) System and method for persistence and replication of changes to a data store
JP2006004031A (ja) データ処理方法およびシステム並びにストレージ装置方法およびその処理プログラム
CN101243446B (zh) 从数据库镜像进行在线页还原
CN101604335B (zh) 用于自动数据库或文件系统维护和修复的系统和方法
US10235375B1 (en) Persistent file system objects for management of databases
JP5124989B2 (ja) ストレージシステム及びデータ保護方法とプログラム
JP4839091B2 (ja) データベース回復方法及び計算機システム
US8219850B1 (en) Data processing recovery system and method spanning multiple operating system
JP6362685B2 (ja) オンライン・ホット・スタンバイ・データベースのためのレプリケーション方法、プログラム、および装置
US8775386B2 (en) Device and method for generating copy of database
US7788453B2 (en) Redirection of storage access requests based on determining whether write caching is enabled
US7987158B2 (en) Method, system and article of manufacture for metadata replication and restoration
CN101361047B (zh) 用于存储系统中的数据保护的方法和系统
JP6048038B2 (ja) 情報処理装置,プログラム,情報処理方法
US7827144B1 (en) Methods of reading and writing data
CN110249321A (zh) 用于从分布式数据源中捕获变更数据以供异构目标使用的系统和方法
US8015155B2 (en) Non-disruptive backup copy in a database online reorganization environment
US7216210B2 (en) Data I/O system using a plurality of mirror volumes
CN104937556A (zh) 恢复数据库的页面
WO2016115217A1 (en) Data backup method and apparatus
JP4428887B2 (ja) データベースシステム
US10866756B2 (en) Control device and computer readable recording medium storing control program
JP7007017B2 (ja) ストレージシステム、制御方法、及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100511