JP2010092109A - 一括登録されるデータに係る情報システム、方法、およびプログラム - Google Patents
一括登録されるデータに係る情報システム、方法、およびプログラム Download PDFInfo
- Publication number
- JP2010092109A JP2010092109A JP2008258786A JP2008258786A JP2010092109A JP 2010092109 A JP2010092109 A JP 2010092109A JP 2008258786 A JP2008258786 A JP 2008258786A JP 2008258786 A JP2008258786 A JP 2008258786A JP 2010092109 A JP2010092109 A JP 2010092109A
- Authority
- JP
- Japan
- Prior art keywords
- log
- data
- database
- transport path
- records
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】正システムは、正側データベースと、外部装置から複数のレコードのデータを一括登録する手段と、ログ搬送路を通じて複数のレコードのデータを一括登録する処理の実行を示す一括登録ログを副システムに通知する手段と、データ搬送路を通じて一括登録された複数のレコードのデータを副システムに転送する手段と、を備え、副システムは、取得したログが一括登録ログであったときに、データ搬送路を通じて一括登録の対象である複数のレコードのデータを取得する手段と、一括登録の対象である複数のレコードのデータを副側データベースに一括反映する手段と、を備える。
【選択図】図4
Description
(1)正システムと副システムとの間のデータ搬送量が大幅に削減可能である。
(2)データベースの二重化運用を継続した状態で副システムの活用が可能である。すなわち、このシステムでは、正システムが現用系システムとして動作中に、副システムも活性状態にある。したがって、副システムのデータが、参照業務などに関連するシステムから利用可能である。ここで、参照業務とは、データを更新することなく、読み出して利用する業務をいう。
(3)両システムのデータベースの物理構造、例えば、ディスクボリュームの配置に柔軟性がある。例えば、正システムと副システムとが、互いに遠隔で、異なる物理構造のディスクに構築可能である。また、両システムの論理構造にも柔軟性がある。例えば、それぞれ異なるパス名を有する領域に両システムを構築可能である。
(a)二重化システムを停止して、副システムで正システムと同様の一括登録を実行する。
(b)二重化システムが実装しているジョブ連携機能などを利用して、副システムで正システムと同様の一括登録を実行する。ただし、いずれの運用によっても、ユーザは正システムと副システムとで、同様の操作を繰り返す必要があり、手順が煩雑となっている。
本情報システムは、正システムで発生したログを副システムに搬送することによってデータベースを二重化するシステムである。データベースは、応用プログラムに対して、通常、以下の機能を提供する。
(1)行と呼ばれるレコードの書き込み、レコード内のデータの更新、検索機能が提供される。この機能では、例えば、レコードの書き込みともに、ログが生成される。生成されたログは、正システムにおけるデータベースの更新記録として保存されるともに、ログ搬送路を通じて副システムに搬送される。副システムに搬送されたログは、副システム側にて、データベースの更新に利用される。
(2)レコード単位でのデータベースへの書き込み以外に、複数のレコードを含むファイル単位での一括登録機能、すなわち、ロード機能が提供される。ロード機能では、レコードごとにログを取得しつつ、データベースにデータを書き込むという処理は実行されない。ロード機能では、入力ファイル内の複数のレコードが一括してデータベースに書き込まれる。このとき、レコード単位でのログの取得がなされないため、ロード機能の実行中に、エラーが発生すると、その時点までに書き込まれたデータを救済することはできない。すなわち、ロード機能での実行エラーが発生すると、最初からロード機能をやり直す必要がある。また、レコード単位でのログの取得がなされないため、ログを搬送することによって、正システムでの書き込みを副システムに反映することができない。
(3)ロード機能による一括登録の二重化
そこで、本情報システムでは、正システムでのログの発生を伴わないデータベースへのデータの一括登録機能においても、データベースの二重化を実現する。
(A)ロード機能の性能を維持できなくなる。更新ログを取得するオーバヘッドが処理対象の行(レコード)単位に発生する。
(B)ロード機能による更新結果を副システムに反映する時間が大幅に遅延する。副システムの二重化システムによるデータベース更新を更新ログで行うため、行(レコード)ごとに必要なデータベースの更新コスト(行を格納したページを再読み込みするなど)が必要となる。そのため、副システムでの更新ログ反映時間が、正システムでのロード機能の処理時間よりも多く必要となり、システム間のデータの差異が一時的に拡大する事象が発生する。この技術では、二重化の目的が、短時間での障害からの復旧である場合、障害発生時のデータロスト量が増加し、負荷分散の場合には、参照するデータの最新性が損なわれる結果となる。
(1)ロード機能の実行が開始すると、正システムは、ロード機能の開始を示す操作ログを取得する。正システムは、ロード機能の開始を示す操作ログ(一括登録ログに相当)を、ログ搬送路を通じて副システムに転送する。
(2)次に、正システムは、入力ファイルから、データベース(複写元データベース)への格納データを所定の纏まりで取得し、データベースに格納する。このとき、正システムは、データベースの格納データおよびその格納データの格納に伴う更新ログを所定の纏まりで取得する。ここで、所定の纏まりとは、データベースに格納される複数の行からなる纏まりである。通常は、正システムは、データベースのページ単位にデータベースに格納される格納データを取得する。正システムは、取得したページ単位の格納データおよび更新ログを、ログ搬送路を通じて副システムに転送する。
(3)正システムは、ロード機能の終了を示す操作ログを取得する
次に、副システムの動作を説明する。以下の項目(4)〜(6)は、図4の中の副システムの処理(4)〜(6)に対応する。
(4)副システムは、ログ搬送路を通じて(1)の操作ログを取得する。副システムが、ロード機能の開始を示す操作ログを認識すると、副システムは、データベースへの反映方式を纏まった単位での格納方式に切り替える。
(5)副システムは、ログ搬送路を通じて(2)のページ単位の格納データおよび操作ログを取得する。そして、副システムは、ページ単位の格納データを基に、データベース(複写先データベース)を一括更新する。
(6)副システムが、(3)のロード機能の終了を示す操作ログを認識すると、反映方式
をログ単位の適用方式に切り戻す。
(1)ロード機能に伴う格納データに関連する操作ログA
(2)格納データのデータベースへの格納
(3)ロード機能に伴う格納データに関連する操作ログB
(4)SQLによる更新ログ
この場合に、操作ログA、BおよびSQLによる更新ログは、ログ搬送路11を通じて正システムから副システムに転送されるため、副システム側では、ログ搬送路11を通じて受け取った操作ログA、Bおよび更新ログの順に、データベースへ反映する。このような処理により、忠実に、正システムでのロード機能によるデータベースへの格納結果を副システムのデータベースに反映できる。
正側データベースに相当)と、ロード機能を有するデータベース管理システム(DBMS)2と、二重化システム3とを含み、ログ搬送路5を通じて副システムに接続される。データベース1は、例えば、ハードディスクから構成される。DBMS2と、二重化システム3とは、コンピュータがコンピュータプログラムを実行することで実現される。このコンピュータは、例えば、CPU、メモリ、ハードディスク、通信インターフェース、着脱可能記憶媒体駆動装置等を含む。このコンピュータは、通信インターフェースを通じて外部のコンピュータ、サーバと通信可能である。また、このコンピュータは、着脱可能記憶媒体を通じて、データを読み込み可能である。さらに、ログ搬送路5は、例えば、ハードディスクの1つであり、副システム側のハードディスクへの複写機能を有するものを用いることができる。
有するものということができる。
<効果>
上述のように、開示の技術は、複写元データベースの更新結果であるログを複写先データベースに搬送して適用するデータベースの二重化方式を採用しているシステムに適用される。そして、開示の技術は、本方式の特徴を活かしたまま、二重化システムであることを意識することなく、ロード機能を利用したデータベース運用を二重化することが可能となる。すなわち、データベースのロード機能のように、操作ログによって、二重化がなされない機能について、正システムと副システムで個別にロード機能を実行することなく、正システムでものロード機能によるデータの更新が、副システムに反映される。その場合に、逐一、行単位に操作ログを作成することなく、ロード機能の開始を示すログ、終了を
示すログ、および、ページ構造のデータの転送によって、副システムにて更新データが復元される。その結果、ロード機能の効率低下を抑制した上で、副システムへの更新データの反映を実現できる。このように、従来はロード機能ごとに必要であった副システムでのセットアップや運用が不要となるため、データベース運用の利便性が向上する。
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
2、12 DBMS
3、13 二重化システム
4 入力ファイル
5、15 ログ搬送路
Claims (4)
- ログ搬送路で接続された正システムと副システムとを有する情報システムであり、
前記正システムは、
正側データベースと、
前記正側データベースにおいてレコード単位でデータを処理する正側レコード処理手段と、
前記正側レコード処理手段によってデータが処理されたときに、その処理結果をログに記録するログ記録手段と、
前記ログ記録手段に記録されたログを、前記ログ搬送路を通じて前記副システムに転送する手段と、
外部装置から複数のレコードのデータを一括登録する手段と、
前記複数のレコードのデータを一括登録する処理の実行を示す一括登録ログを、ログ搬送路を通じて前記副システムに通知する手段と、
前記一括登録された複数のレコードのデータを、データ搬送路を通じて前記副システムに転送する手段と、を備え、
前記副システムは、
副側データベースと、
前記ログ搬送路を通じて前記正システムからログを取得する手段と、
前記取得したログにしたがって、前記副側データベースにおいてレコード単位でデータを処理する副側レコード処理手段と、
前記取得したログが一括登録ログであったときに、前記データ搬送路を通じて前記一括登録の対象である複数のレコードのデータを取得する手段と、
前記一括登録の対象である複数のレコードのデータを副側データベースに一括反映する手段と、を備える情報システム。 - 前記ログ搬送路と前記データ搬送路とが同一種類の通信手段を含む請求項1に記載の情報システム。
- ログ搬送路で接続された正システムと副システムとを有する情報システムが実行する情報処理の方法であり、
前記正システムが、
正側データベースにおいてレコード単位でデータを処理する正側レコード処理ステップと、
前記正側レコード処理ステップにてデータが処理されたときに、その処理結果をログに記録するログ記録ステップと、
前記ログ記録ステップにて記録されたログを、前記ログ搬送路を通じて前記副システムに転送するステップと、
外部装置から複数のレコードのデータを一括登録するステップと、
前記複数のレコードのデータを一括登録するステップの実行を示す一括登録ログを、ログ搬送路を通じて前記副システムに通知するステップと、
前記一括登録された複数のレコードのデータを、データ搬送路を通じて前記副システムに転送するステップと、を実行し、
前記副システムが、
前記ログ搬送路を通じて前記正システムから取得したログにしたがって、副側データベースにおいてレコード単位でデータを処理する副側レコード処理ステップと、
前記取得したログが一括登録ログであったときに、前記データ搬送路を通じて前記一括登録の対象である複数のレコードのデータを取得するステップと、
前記一括登録の対象である複数のレコードのデータを副側データベースに一括反映するステップと、を実行する情報処理の方法。 - ログ搬送路で接続された正システムと副システムとを有する情報システムで実行されるプログラムであり、
前記正システムのコンピュータに、
正側データベースにおいてレコード単位でデータを処理する正側レコード処理ステップと、
前記正側レコード処理ステップにてデータが処理されたときに、その処理結果をログに記録するログ記録ステップと、
前記ログ記録ステップにて記録されたログを、前記ログ搬送路を通じて前記副システムに転送するステップと、
外部装置から複数のレコードのデータを一括登録するステップと、
前記複数のレコードのデータを一括登録するステップの実行を示す一括登録ログを、ログ搬送路を通じて前記副システムに通知するステップと、
前記一括登録された複数のレコードのデータを、データ搬送路を通じて前記副システムに転送するステップと、を実行させるためのプログラム部分と、
前記副システムのコンピュータに、
前記ログ搬送路を通じて前記正システムから取得したログにしたがって、副側データベースにおいてレコード単位でデータを処理する副側レコード処理ステップと、
前記取得したログが一括登録ログであったときに、前記データ搬送路を通じて前記一括登録の対象である複数のレコードのデータを取得するステップと、
前記一括登録の対象である複数のレコードのデータを副側データベースに一括反映するステップと、を実行させるためのプログラム部分とを含む、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008258786A JP5365128B2 (ja) | 2008-10-03 | 2008-10-03 | 一括登録されるデータに係る情報システム、方法、およびプログラム |
US12/569,656 US20100088287A1 (en) | 2008-10-03 | 2009-09-29 | Information system, method and recording medium having program recorded thereon relating to collectively registered data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008258786A JP5365128B2 (ja) | 2008-10-03 | 2008-10-03 | 一括登録されるデータに係る情報システム、方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010092109A true JP2010092109A (ja) | 2010-04-22 |
JP5365128B2 JP5365128B2 (ja) | 2013-12-11 |
Family
ID=42076586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008258786A Active JP5365128B2 (ja) | 2008-10-03 | 2008-10-03 | 一括登録されるデータに係る情報システム、方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20100088287A1 (ja) |
JP (1) | JP5365128B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234333A (ja) * | 2011-04-28 | 2012-11-29 | Fujitsu Ltd | クラスタシステム、同期制御方法、サーバ装置および同期制御プログラム |
JP2015001754A (ja) * | 2013-06-13 | 2015-01-05 | 富士通株式会社 | プログラム、情報処理システムおよびデータ更新制御方法 |
JP2016194808A (ja) * | 2015-03-31 | 2016-11-17 | オムロン株式会社 | プログラマブルロジックコントローラ、データ収集装置、データベースアクセス方法およびデータベースアクセスプログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9137191B2 (en) | 2011-03-17 | 2015-09-15 | Microsoft Technology Licensing, Llc | Messaging for notification-based clients |
US9043283B2 (en) * | 2011-11-01 | 2015-05-26 | International Business Machines Corporation | Opportunistic database duplex operations |
US9448887B1 (en) * | 2015-08-22 | 2016-09-20 | Weka.IO Ltd. | Distributed erasure coded virtual file system |
US11262912B2 (en) * | 2017-11-13 | 2022-03-01 | Weka.IO Ltd. | File operations in a distributed storage system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305449A (ja) * | 1996-05-16 | 1997-11-28 | Hitachi Ltd | データベース管理システム |
JP2002123416A (ja) * | 2000-10-17 | 2002-04-26 | Japan Research Institute Ltd | ロード状況監視方法およびロード状況監視システムに用いられるクライアントを制御するプログラム |
JP2006318020A (ja) * | 2005-05-10 | 2006-11-24 | Fujitsu Ltd | レプリケーションプログラム及びデータベースシステム |
JP2007233543A (ja) * | 2006-02-28 | 2007-09-13 | Hitachi Ltd | データベース管理システム、ストレージ装置、ディザスタリカバリシステム及びデータベースのバックアップ方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5592660A (en) * | 1991-03-04 | 1997-01-07 | Fujitsu Limited | Database management system to alternately perform retrieval process and updating process |
US6029178A (en) * | 1998-03-18 | 2000-02-22 | Bmc Software | Enterprise data movement system and method which maintains and compares edition levels for consistency of replicated data |
JP3004008B1 (ja) * | 1998-10-20 | 2000-01-31 | 三菱電機株式会社 | 更新履歴管理装置及び更新履歴管理方法 |
KR100450400B1 (ko) * | 2001-12-26 | 2004-09-30 | 한국전자통신연구원 | 안전 기억 장치가 없는 환경을 위한 이중화 구조의 주 메모리 상주 데이터베이스 관리시스템 및 그 데이터 일치성 제어방법 |
US8121978B2 (en) * | 2002-11-15 | 2012-02-21 | Sybase, Inc. | Database system providing improved methods for data replication |
US7461230B1 (en) * | 2005-03-31 | 2008-12-02 | Symantec Operating Corporation | Maintaining spatial locality of write operations |
JP2006293850A (ja) * | 2005-04-13 | 2006-10-26 | Hitachi Ltd | リモートコピーシステムおよびリモートコピー方法 |
US7953698B2 (en) * | 2006-08-03 | 2011-05-31 | Sybase, Inc. | Replication system with methodology for replicating stored procedure calls |
US8676749B2 (en) * | 2008-07-31 | 2014-03-18 | Sybase, Inc. | Statement logging in databases |
-
2008
- 2008-10-03 JP JP2008258786A patent/JP5365128B2/ja active Active
-
2009
- 2009-09-29 US US12/569,656 patent/US20100088287A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305449A (ja) * | 1996-05-16 | 1997-11-28 | Hitachi Ltd | データベース管理システム |
JP2002123416A (ja) * | 2000-10-17 | 2002-04-26 | Japan Research Institute Ltd | ロード状況監視方法およびロード状況監視システムに用いられるクライアントを制御するプログラム |
JP2006318020A (ja) * | 2005-05-10 | 2006-11-24 | Fujitsu Ltd | レプリケーションプログラム及びデータベースシステム |
JP2007233543A (ja) * | 2006-02-28 | 2007-09-13 | Hitachi Ltd | データベース管理システム、ストレージ装置、ディザスタリカバリシステム及びデータベースのバックアップ方法 |
Non-Patent Citations (2)
Title |
---|
CSNH200700136006; 山田 和司: 'レプリケーション機能を用いた分散システム構築' 技報 UNISYS TECHNOLOGY REVIEW 第15巻,第1号, 19950531, p.100-118, 日本ユニシス株式会社 * |
JPN6013012311; 山田 和司: 'レプリケーション機能を用いた分散システム構築' 技報 UNISYS TECHNOLOGY REVIEW 第15巻,第1号, 19950531, p.100-118, 日本ユニシス株式会社 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012234333A (ja) * | 2011-04-28 | 2012-11-29 | Fujitsu Ltd | クラスタシステム、同期制御方法、サーバ装置および同期制御プログラム |
JP2015001754A (ja) * | 2013-06-13 | 2015-01-05 | 富士通株式会社 | プログラム、情報処理システムおよびデータ更新制御方法 |
JP2016194808A (ja) * | 2015-03-31 | 2016-11-17 | オムロン株式会社 | プログラマブルロジックコントローラ、データ収集装置、データベースアクセス方法およびデータベースアクセスプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20100088287A1 (en) | 2010-04-08 |
JP5365128B2 (ja) | 2013-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5365128B2 (ja) | 一括登録されるデータに係る情報システム、方法、およびプログラム | |
US7260695B2 (en) | Scanning modified data during power loss | |
US8689047B2 (en) | Virtual disk replication using log files | |
US7971011B2 (en) | Remote copy method and storage system | |
JP5178822B2 (ja) | データベースマネジメントシステム(dbms)におけるデータ複製方法およびシステム | |
US7017003B2 (en) | Disk array apparatus and disk array apparatus control method | |
US7788453B2 (en) | Redirection of storage access requests based on determining whether write caching is enabled | |
US8539147B2 (en) | Apparatus and method for controlling storage system | |
JP2005301497A (ja) | ストレージ管理装置、リストア方法及びそのプログラム | |
JP2004303025A (ja) | 情報処理方法及びその実施システム並びにその処理プログラム並びにディザスタリカバリ方法およびシステム並びにその処理を実施する記憶装置およびその制御処理方法 | |
JP2016522514A (ja) | オンライン・ホット・スタンバイ・データベースのためのレプリケーション方法、プログラム、および装置 | |
WO2012162173A2 (en) | Asynchronous replication in a distributed storage environment | |
US7216210B2 (en) | Data I/O system using a plurality of mirror volumes | |
WO2018076633A1 (zh) | 一种远程数据复制方法、存储设备及存储系统 | |
US10176035B2 (en) | System, information processing device, and non-transitory medium for storing program for migration of virtual machine | |
JP2002183088A (ja) | オンラインシステム回復方法及びその実施装置並びにその処理プログラムを記録した記録媒体 | |
US20090248760A1 (en) | Backup method of computer system | |
US20140172802A1 (en) | Information processor and backup method | |
US20050187989A1 (en) | Version management system, version management server device, and storage device control unit | |
JPH10326220A (ja) | ファイルシステムおよびファイル管理方法 | |
JP5465401B2 (ja) | ファイル管理方法、装置及びプログラム | |
CN111813668B (zh) | 复盘软件程序执行过程的方法、存储介质、设备及系统 | |
JP4122724B2 (ja) | データの複製方法及び情報処理システム | |
JP7050707B2 (ja) | ストレージ制御装置、ストレージシステム、ストレージ制御方法、及び、ストレージ制御プログラム | |
JP2007179552A (ja) | 情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5365128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |