JP2012038002A - Journal data management method and journal data management unit - Google Patents
Journal data management method and journal data management unit Download PDFInfo
- Publication number
- JP2012038002A JP2012038002A JP2010176028A JP2010176028A JP2012038002A JP 2012038002 A JP2012038002 A JP 2012038002A JP 2010176028 A JP2010176028 A JP 2010176028A JP 2010176028 A JP2010176028 A JP 2010176028A JP 2012038002 A JP2012038002 A JP 2012038002A
- Authority
- JP
- Japan
- Prior art keywords
- journal data
- journal
- data
- data management
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、ジャーナルデータを管理する技術に関する。 The present invention relates to a technique for managing journal data.
メモリ装置上のデータや外部記憶装置上(ファイル上)のデータに対して更新トランザクション処理を行う際に、障害が発生した時にデータ復旧することを目的として、更新履歴を表すジャーナルデータ(更新に係る差分データ)を外部記憶装置上にジャーナルファイルとして保存する方法がある。 Journal data representing update history (related to update) for the purpose of recovering data when a failure occurs when update transaction processing is performed on data on a memory device or data on an external storage device (on a file) There is a method of saving difference data) as a journal file on an external storage device.
また、特許文献1によれば、システムを冗長化した場合の現用系計算機システムのメモリ及びファイルのデータを待機系計算機システムに復旧するジャーナルデータ反映方法の技術が開示されている。
しかしながら、このような技術を実現する計算機システムが長時間連続運転される場合には、保存されるジャーナルデータの量が膨大となる。 However, when a computer system that realizes such a technique is operated continuously for a long time, the amount of journal data to be stored becomes enormous.
そこで現在では、定期的にジャーナルデータのダンプデータを生成して適宜記憶し、ダンプデータが最後に生成された後の更新履歴をジャーナルデータとして保存することにより、保存すべきジャーナルデータの量を削減する手法が採用されている。 Therefore, the amount of journal data to be saved is reduced by periodically generating dump data of journal data and storing it as appropriate, and saving the update history after the dump data was last generated as journal data. This technique is adopted.
また、特許文献2によれば、チェックポイントにおけるディスク出力データ量を抑えることにより、チェックポイントでのデータベースアプリケーションからのアクセス性能劣化を抑え、障害復旧時の復旧時間短縮化を実現する技術が開示されている。
Further, according to
ここで、更新頻度が高いデータに前述した従来技術を適用する場合、保存されるジャーナルデータ量が膨大になることを回避するために、定期的なダンプデータの生成周期を短くすることや、ジャーナルデータ量が一定値を超過した場合にダンプデータを生成することが考えられる。 Here, when applying the above-described conventional technique to data with high update frequency, in order to avoid an enormous amount of journal data to be saved, the periodic dump data generation cycle can be shortened, It is conceivable to generate dump data when the amount of data exceeds a certain value.
しかしながら、ダンプデータの生成周期の短縮により、ある一定期間内におけるダンプデータの生成回数が増加することになり、一般的にダンプデータ生成はデータの読み取りや外部記憶装置への書き込みから構成されるため、計算機システムの処理負荷が高くなるという問題がある。 However, because the dump data generation cycle is shortened, the number of dump data generations within a certain period will increase, and dump data generation generally consists of reading data and writing to an external storage device. There is a problem that the processing load of the computer system becomes high.
本発明は、上記を鑑みてなされたものであり、計算機システムの処理負荷を軽減可能なジャーナルデータ管理方法及びジャーナルデータ管理装置を提供することを課題とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a journal data management method and a journal data management apparatus that can reduce the processing load of a computer system.
請求項1に記載のジャーナルデータ管理方法は、コンピュータにより行うジャーナルデータ管理方法において、第1記憶手段に記憶されている所定のデータが更新された場合に、前記更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込むステップと、前記書き込まれたジャーナルデータと同じジャーナルデータが前記ジャーナルファイルに存在するか否かを検索し、存在する場合には以前に書き込まれたジャーナルデータを削除するステップと、を有することを特徴とする。
The journal data management method according to
本発明にあっては、第1記憶手段に記憶されている所定のデータが更新された場合に、その更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込み、書き込まれたジャーナルデータと同じジャーナルデータがジャーナルファイルに存在するか否かを検索して、存在する場合には以前に書き込まれたジャーナルデータを削除するため、保存されるジャーナルデータ量が削減し(適正化され)、ダンプデータの生成頻度が低下して、計算機システムの処理負荷を軽減することができる。 In the present invention, when predetermined data stored in the first storage means is updated, journal data relating to the update is additionally written to the journal file of the second storage means, and the written journal Searches whether the same journal data as the data exists in the journal file, and if so, deletes the previously written journal data, reducing the amount of journal data to be saved (optimized) The generation frequency of dump data is reduced, and the processing load on the computer system can be reduced.
請求項2に記載のジャーナルデータ管理装置は、第1記憶手段に記憶されている所定のデータが更新された場合に、前記更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込むジャーナルデータ保存手段と、前記書き込まれたジャーナルデータと同じジャーナルデータが前記ジャーナルファイルに存在するか否かを検索し、存在する場合には以前に書き込まれたジャーナルデータを削除するジャーナルデータ削除手段と、を有することを特徴とする。
The journal data management apparatus according to
本発明にあっては、第1記憶手段に記憶されている所定のデータが更新された場合に、その更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込み、書き込まれたジャーナルデータと同じジャーナルデータがジャーナルファイルに存在するか否かを検索して、存在する場合には以前に書き込まれたジャーナルデータを削除するため、保存されるジャーナルデータ量が削減し(適正化され)、ダンプデータの生成頻度が低下して、計算機システムの処理負荷を軽減することができる。 In the present invention, when predetermined data stored in the first storage means is updated, journal data relating to the update is additionally written to the journal file of the second storage means, and the written journal Searches whether the same journal data as the data exists in the journal file, and if so, deletes the previously written journal data, reducing the amount of journal data to be saved (optimized) The generation frequency of dump data is reduced, and the processing load on the computer system can be reduced.
本発明によれば、計算機システムの処理負荷を軽減可能なジャーナルデータ管理方法及びジャーナルデータ管理装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the journal data management method and journal data management apparatus which can reduce the processing load of a computer system can be provided.
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。 Hereinafter, an embodiment for carrying out the present invention will be described with reference to the drawings. However, the present invention can be implemented in many different modes and should not be construed as being limited to the description of the present embodiment.
図1は、本実施の形態に係るジャーナルデータ管理システムの全体接続構成を示す図である。このジャーナルデータ管理システムは、計算機システム内で動作するジャーナルデータ管理装置1aと、冗長化された計算機システム内で動作するジャーナルデータ管理装置1bと、ユーザネットワーク4を介して全てのジャーナルデータ管理装置に通信可能に接続されたユーザ端末2と、同様に保守系ネットワーク5を介して全てのジャーナルデータ管理装置に通信可能に接続された保守端末3とで構成されている。
FIG. 1 is a diagram showing an overall connection configuration of a journal data management system according to the present embodiment. This journal data management system includes a journal
なお、図1では、ジャーナルデータ管理装置を2つ配備させた構成が示されているが、計算機システムが更に冗長化されている場合には、更に多くのジャーナルデータ管理装置を冗長化された各計算機システム内に配備することも可能である。同様に、ユーザ端末2や保守端末3をそれぞれ複数台配備することも可能である。また、図1では、本実施の形態で説明する発明に関係しない構成要素等は省略している。
FIG. 1 shows a configuration in which two journal data management devices are provided. However, when the computer system is further redundant, more journal data management devices are provided for each redundant configuration. It is also possible to deploy in a computer system. Similarly, a plurality of
次に、図2乃至図5を参照しながら、ジャーナルデータ管理装置1aの機能について説明する。図2は、ジャーナルデータ管理装置1aの機能ブロック構成を示している。なお、図2では、本実施の形態で説明する発明に関係する部分のみを概念的に示している。
Next, functions of the journal
このジャーナルデータ管理装置1aは、メモリ装置13に記憶されたデータや外部記憶装置14に記憶されたジャーナルファイルを管理するジャーナルデータ保存部11及びジャーナルデータ削除部12と、メモリ上の記憶装置であるメモリ装置13と、ハードディスク上の保存装置である外部記憶装置14とで構成されている。
The journal
メモリ装置13は、所定のデータを記憶する機能を有している。このように記憶されるデータの一例を図3に示す。例えば、Aaの要素には1というデータが、Abの要素には0というデータが記憶されている。このデータは、計算機システムに対してユーザ端末2や保守端末3からデータの更新要求があった場合に、その更新要求に係るジャーナルデータ(更新に係る差分データ)に基づいて、それまで記憶されていたデータが更新(新規追加、変更、削除等)された状態に反映されることになる。また、このようなジャーナルデータの一例を図4に示す。このジャーナルデータは、Aaの要素を0から1に変更したいという更新履歴であり、要素と履歴とから構成されている。
The
外部記憶装置14は、複数のジャーナルデータをファイル化したジャーナルファイルを保存する機能を有している。このように保存されるジャーナルファイルの一例を図5に示す。このジャーナルファイルは、ジャーナルデータが保存された順番で付与された番号とジャーナルデータの要素及び履歴とから構成されている。例えば、1の番号のジャーナルデータは、Aaの要素について1から0に変更したいという更新履歴を表している。なお、このようなジャーナルファイルはメモリ装置13のデータ復旧の際に利用されるため、外部記憶装置14は、メモリ装置13と物理的に異なる機器(例えば、計算機システム内のハードディスクや、LAN等の通信ネットワークを介して接続されたストレージ装置等)であることが望ましい。
The
ジャーナルデータ保存部11は、CPU等により実現される処理機能部であって、メモリ装置13に記憶されている所定のデータが更新された場合に、その更新に係るジャーナルデータを外部記憶装置14のジャーナルファイルに追加的に書き込む機能を有している。
The journal
ジャーナルデータ削除部12は、同様にCPU等により実現される処理機能部であって、ジャーナルデータ保存部11によって書き込まれたジャーナルデータと同じジャーナルデータがジャーナルファイルに存在するか否かを検索し、存在する場合には以前に書き込まれた古いジャーナルデータを削除する機能を有している。
The journal
次に、図5及び図6を参照しながら、ジャーナルデータ管理装置1aの動作について説明する。図6は、ジャーナルデータ管理装置1aの動作フローを示す図である。
Next, the operation of the journal
最初に、メモリ装置13のデータについて更新があった際、ジャーナルデータ保存部11により、更新に要したジャーナルデータが外部記憶装置14のジャーナルファイルに書き込まれ、保存される(S1)。例えば、図5に示したように、4の番号のジャーナルデータ(Aaの要素について0から1に変更したいという更新履歴)がジャーナルファイルに書き込まれる。
First, when the data in the
次に、ジャーナルデータ削除部12により、S1で追加されたジャーナルデータの要素の値(4の番号のAa)が、ジャーナルファイルに追加されたジャーナルデータ(4の番号のAa)以外の要素の値と一致するジャーナルデータが検索され、一致する要素の値がある場合には、その行のジャーナルデータ(1の番号のジャーナルデータ)が削除され、一致する要素の値がない場合には、何も処理されない(S2)。
Next, the journal
以上の処理によって更新されたジャーナルファイルを図7に示す。図5に示したジャーナルファイルと比べて、1の番号で保存されていた同一要素のジャーナルデータが削除されることになる。
The journal file updated by the above processing is shown in FIG. Compared with the journal file shown in FIG. 5, the journal data of the same element stored with the
本実施の形態によれば、ジャーナルデータが外部記憶装置14に保存される際に、更新に係るジャーナルデータと同一要素のジャーナルデータを削除するため、ダンプデータの生成回数を削減させ、計算機システムの負荷を軽減することができる。
According to the present embodiment, when the journal data is stored in the
また、本実施の形態によれば、ジャーナルデータが外部記憶装置14に保存される際に、更新に係るジャーナルデータと同一要素のジャーナルデータを削除するため、障害発生時にジャーナルデータによるメモリ装置13のデータの復旧時間を短縮することができる。
Further, according to the present embodiment, when journal data is stored in the
最後に、本実施の形態で説明したジャーナルデータ管理装置1aをプログラムとして光記憶装置や磁気記憶装置等の記録媒体に読出可能に記録し、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作をジャーナルデータ管理装置1aとして機能させることができるのは勿論である。
Finally, the journal
1a、1b…ジャーナルデータ管理装置1a(計算機システム)
2…ユーザ端末
3…保守端末
4…ユーザネットワーク
5…保守系ネットワーク
11…ジャーナルデータ保存部(ジャーナルデータ削除手段)
12…ジャーナルデータ削除部(ジャーナルデータ削除手段)
13…メモリ装置(第1記憶手段)
14…外部記憶装置(第2記憶手段)
S…ステップ
1a, 1b ... Journal
2 ...
12 ... Journal data deletion section (journal data deletion means)
13: Memory device (first storage means)
14: External storage device (second storage means)
S ... Step
Claims (2)
第1記憶手段に記憶されている所定のデータが更新された場合に、前記更新に係るジャーナルデータを第2記憶手段のジャーナルファイルに追加的に書き込むステップと、
前記書き込まれたジャーナルデータと同じジャーナルデータが前記ジャーナルファイルに存在するか否かを検索し、存在する場合には以前に書き込まれたジャーナルデータを削除するステップと、
を有することを特徴とするジャーナルデータ管理方法。 In a journal data management method performed by a computer,
A step of additionally writing journal data related to the update to a journal file of the second storage means when predetermined data stored in the first storage means is updated;
Searching for whether or not the same journal data as the written journal data exists in the journal file, and deleting the previously written journal data if there exists;
A journal data management method characterized by comprising:
前記書き込まれたジャーナルデータと同じジャーナルデータが前記ジャーナルファイルに存在するか否かを検索し、存在する場合には以前に書き込まれたジャーナルデータを削除するジャーナルデータ削除手段と、
を有することを特徴とするジャーナルデータ管理装置。 Journal data storage means for additionally writing the journal data relating to the update to the journal file of the second storage means when the predetermined data stored in the first storage means is updated;
Searching for whether or not the same journal data as the written journal data exists in the journal file, and if there is, journal data deleting means for deleting the previously written journal data;
A journal data management apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010176028A JP5344711B2 (en) | 2010-08-05 | 2010-08-05 | Journal data management method and journal data management apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010176028A JP5344711B2 (en) | 2010-08-05 | 2010-08-05 | Journal data management method and journal data management apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012038002A true JP2012038002A (en) | 2012-02-23 |
JP5344711B2 JP5344711B2 (en) | 2013-11-20 |
Family
ID=45849963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010176028A Active JP5344711B2 (en) | 2010-08-05 | 2010-08-05 | Journal data management method and journal data management apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5344711B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5955550A (en) * | 1982-09-22 | 1984-03-30 | Fujitsu Ltd | Processing system optimum to collection of history information |
JPH03222046A (en) * | 1990-01-29 | 1991-10-01 | Nec Corp | Overflow prevention system for log file |
JP2007072847A (en) * | 2005-09-08 | 2007-03-22 | Nec Corp | Information processing system, separation hiding device, separation control method and program |
JP2008077287A (en) * | 2006-09-20 | 2008-04-03 | Hitachi Ltd | Database management system, storage device system, data recovery method and information processing system |
-
2010
- 2010-08-05 JP JP2010176028A patent/JP5344711B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5955550A (en) * | 1982-09-22 | 1984-03-30 | Fujitsu Ltd | Processing system optimum to collection of history information |
JPH03222046A (en) * | 1990-01-29 | 1991-10-01 | Nec Corp | Overflow prevention system for log file |
JP2007072847A (en) * | 2005-09-08 | 2007-03-22 | Nec Corp | Information processing system, separation hiding device, separation control method and program |
JP2008077287A (en) * | 2006-09-20 | 2008-04-03 | Hitachi Ltd | Database management system, storage device system, data recovery method and information processing system |
Also Published As
Publication number | Publication date |
---|---|
JP5344711B2 (en) | 2013-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151030B1 (en) | Method for prediction of the duration of garbage collection for backup storage systems | |
US20150213100A1 (en) | Data synchronization method and system | |
JP2009075672A (en) | Access controller for controlling access to file using access control list | |
CN101460930A (en) | Maintenance of link level consistency between database and file system | |
US10628298B1 (en) | Resumable garbage collection | |
JP2007241486A (en) | Memory system | |
US10366052B2 (en) | Identifying partial update for tape file system | |
WO2018133762A1 (en) | File merging method and apparatus | |
US20170123689A1 (en) | Pipelined Reference Set Construction and Use in Memory Management | |
CN103501319A (en) | Low-delay distributed storage system for small files | |
WO2012151912A1 (en) | Method and device for operating data of memory database | |
US20150032693A1 (en) | System, information processing apparatus, method for controlling the same, and non-transitory computer-readable medium | |
CN112800019A (en) | Data backup method and system based on Hadoop distributed file system | |
JP5719083B2 (en) | Database apparatus, program, and data processing method | |
US11023324B2 (en) | Harmonization of failure domains in a distributed system | |
CN107798063A (en) | Snap processing method and snapshot processing unit | |
CN105808451B (en) | Data caching method and related device | |
CN106980618A (en) | File memory method and system based on MongoDB distributed type assemblies frameworks | |
JP5344711B2 (en) | Journal data management method and journal data management apparatus | |
JP2016162245A (en) | Storage control device, storage control method, and storage control program | |
KR20160074587A (en) | Checkpointing a collection of data units | |
CN104462108A (en) | Database structure object processing method and device | |
CN104298467A (en) | p2p (peer to peer) cache file management method and device | |
JP2006139696A (en) | Data restoration method and data restoration program | |
JP5222171B2 (en) | Database management method and database management system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130625 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5344711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |