JP2014215680A - Database system - Google Patents

Database system Download PDF

Info

Publication number
JP2014215680A
JP2014215680A JP2013090397A JP2013090397A JP2014215680A JP 2014215680 A JP2014215680 A JP 2014215680A JP 2013090397 A JP2013090397 A JP 2013090397A JP 2013090397 A JP2013090397 A JP 2013090397A JP 2014215680 A JP2014215680 A JP 2014215680A
Authority
JP
Japan
Prior art keywords
unit
engine program
engine
data
replica
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013090397A
Other languages
Japanese (ja)
Inventor
大河 片山
Taiga Katayama
大河 片山
圭 山地
Kei Yamaji
圭 山地
基孝 金松
Mototaka Kanematsu
基孝 金松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2013090397A priority Critical patent/JP2014215680A/en
Publication of JP2014215680A publication Critical patent/JP2014215680A/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a database system which synchronizes databases at a higher speed.SOLUTION: A master-slave database system includes a master device having a master database and a replica device having a replica database. The master device receives a query from a client, generates a first engine program including processing for compiling the query to decide a non-definite value, and updates the master database. The master device generates a second engine program by use of the value decided in the first engine program, and transmits it to the replica device. The replica device executes the second engine program received from the master device, to update a replica database file.

Description

本発明の実施形態は、データベースシステムに関する。   Embodiments described herein relate generally to a database system.

災害時などでハードディスクの故障によるデータ損失を防ぐために、遠隔地にリアルタイムにバックアップを確保することが注目されている。通常のバックアップでは、一定時間を経たデータ復旧が行えるが、障害発生時にもダウンタイムなく復旧し、データが更新される度に、リアルタイムで別サーバへ更新データを複製するレプリケーションが注目されている。   In order to prevent data loss due to hard disk failure in the event of a disaster or the like, securing backups in real time in remote locations has attracted attention. With normal backup, data can be recovered after a certain period of time. However, replication that recovers without downtime even when a failure occurs and replicates the updated data to another server in real time whenever the data is updated has attracted attention.

レプリケーションでは、別サーバを同じネットワーク内、もしくは遠隔地に設置して、リアルタイムでデータをコピーする。   In replication, another server is installed in the same network or at a remote location, and data is copied in real time.

そのため、データベースを高速に同期することが求められ、サーバ間の通信内容が重要である。   Therefore, it is required to synchronize the database at high speed, and the communication content between servers is important.

しかし、従来の技術では同期の高速化に問題があった。   However, the conventional technique has a problem in speeding up the synchronization.

特開２０１０−２７７３４８号公報JP 2010-277348 A 特開２００６−１４６５８０号公報JP 2006-146580 A

本発明が解決しようとする課題は、データベース間の同期をより高速化することのできるデータベースシステムを提供することである。   The problem to be solved by the present invention is to provide a database system capable of further speeding up synchronization between databases.

実施形態のデータベースシステムは、マスターデータベースを有するマスター装置とレプリカデータベースを有するレプリカ装置から成るマスタースレーブ型のデータベースシステムであって、
前記マスター装置は、
クライアントからクエリを受信するクエリ受信部と、
前記クエリ受信部が受信したクエリを受け取り、クエリをコンパイルし非決定的な値を決定する処理を含む第１エンジンプログラムを生成するコンパイラ層処理部と、
前記コンパイラ層処理部から第１エンジンプログラムを受け取り、前記第１エンジンプログラムで決定した値を用いた第２エンジンプログラムを生成するとともに、前記第１エンジンプログラムを実行してマスターデータベースファイルを更新処理する第１エンジン層処理部と、
前記第２エンジンプログラム、前記第１エンジンプログラムで決定した値を記録する第１レプリケーションデータ管理部と、
前記各部から取得したデータを所定の通信手順に従って前記レプリカ装置に送信するための信号を生成して送信するとともに、前記レプリカ装置から受信した信号をデータに変換して前記各部に送信する第１データ送受信部とを備え、
前記レプリカ装置は、
前記マスター装置から受け取った前記第２エンジンプログラムを格納する第２レプリケーションデータ管理部と、
前記第２エンジンプログラムを実行してレプリカデータベースファイルを更新処理する第２エンジン層処理部と、
前記各部から取得したデータを所定の通信手順に従って前記マスター装置に送信するための信号を生成して送信するとともに、前記マスター装置から受信した信号をデータに変換して前記各部に送信する第２データ送受信部とを備える。 The database system of the embodiment is a master-slave type database system comprising a master device having a master database and a replica device having a replica database,
The master device is
A query receiver for receiving queries from clients;
A compiler layer processing unit that receives the query received by the query receiving unit and generates a first engine program including processing for compiling the query and determining a non-deterministic value;
The first engine program is received from the compiler layer processing unit, a second engine program using a value determined by the first engine program is generated, and the master database file is updated by executing the first engine program. A first engine layer processing unit;
A first replication data management unit for recording a value determined by the second engine program and the first engine program;
First data for generating and transmitting a signal for transmitting the data acquired from each unit to the replica device according to a predetermined communication procedure, and converting the signal received from the replica device to data and transmitting the data to each unit With a transceiver
The replica device
A second replication data management unit for storing the second engine program received from the master device;
A second engine layer processing unit that executes the second engine program to update the replica database file;
Second data for generating and transmitting a signal for transmitting data acquired from each unit to the master device according to a predetermined communication procedure, and converting a signal received from the master device to data and transmitting the data to each unit A transmission / reception unit.

マスタースレーブ型のデータベースシステムの一例を示す図である。It is a figure which shows an example of a master slave type database system. 本発明の実施形態に係るマスター装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the master apparatus which concerns on embodiment of this invention. 本発明の実施形態に係るレプリカ装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the replica apparatus which concerns on embodiment of this invention. エンジンプログラムの一例を示す図である。It is a figure which shows an example of an engine program. マスター装置におけるエンジン層処理部でのレプリケーション処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the replication process in the engine layer process part in a master apparatus. レプリカ装置におけるエンジン層処理部でのレプリケーション処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the replication process in the engine layer process part in a replica apparatus. エンジン層処理部でのレプリケーション実行時のマスター装置とレプリカ装置とのデータ送受信の例を示すシーケンス図である。It is a sequence diagram which shows the example of the data transmission / reception with the master apparatus and replica apparatus at the time of the replication execution in an engine layer process part.

以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In the drawings, the same portions are denoted by the same reference numerals, and redundant description is omitted.

まず、本実施形態で用いる主要な用語について説明する。   First, main terms used in the present embodiment will be described.

「レプリケーション」とは、あるデータベースとまったく同じ内容の複製（レプリカ）を別のコンピュータ上に作成し、内容を同期させる機能をいう。データベース単位以外にも、必要な部分のみのレプリケーションが可能である。設定されたタイミングで同期が行われる。   “Replication” refers to a function of creating a replica (replica) having exactly the same contents as a database on another computer and synchronizing the contents. In addition to database units, only necessary parts can be replicated. Synchronization is performed at the set timing.

「エンジンプログラム」とは、クエリをコンパイルして生成されるものであって、SQL実行エンジンで実行されるプログラムをいう。   The “engine program” is a program that is generated by compiling a query and executed by the SQL execution engine.

「非決定的なクエリ」とは、実行時に定まる関数を含んだクエリをいう。例えば、SQLのデータ操作言語で、データを関係に追加する命令であるINSERTや、現在時刻を求める関数であって、関数が呼び出された瞬間の時刻を返す命令であるSYSDATEを含むクエリがある。   “Non-deterministic query” refers to a query including a function determined at the time of execution. For example, in the SQL data manipulation language, there are queries including INSERT which is an instruction for adding data to a relation, and SYSDATE which is a function for obtaining the current time and returning the time when the function is called.

「マスタースレーブ型レプリケーション」とは、すべてのサーバがマスターでありスレーブである構成をとるマルチマスター型レプリケーションとは異なり、マスター１台に対して、スレーブ複数台の構成で、実際のデータベースへの書き込み処理（更新処理）は、バックにあるマスターサーバ側で処理され、データベースの読み込み処理は、フロントのスレーブサーバで処理する。したがって、スレーブデータベースは検索用途に限定される。   “Master-slave replication” is different from multi-master replication in which all servers are masters and slaves, and writing to the actual database with a configuration of multiple slaves for one master. The process (update process) is processed on the master server side in the back, and the database read process is processed on the front slave server. Therefore, the slave database is limited to search applications.

図１は、マスタースレーブ型のデータベースシステムの一例を示す図である。図１に示すように、データベースシステム１は、１又は複数のクライアント３０と、マスター装置１０と、１又は複数のレプリカ装置２０で構成され、クライアント３０とマスター装置１０は例えばネットワーク４０を介して接続されている。また、マスター装置１０とレプリカ装置２０は通信可能に接続されている。   FIG. 1 is a diagram illustrating an example of a master-slave database system. As shown in FIG. 1, the database system 1 includes one or more clients 30, a master device 10, and one or more replica devices 20. The client 30 and the master device 10 are connected via a network 40, for example. Has been. Further, the master device 10 and the replica device 20 are connected to be communicable.

クライアント３０は、データベースシステム１のデータベース機能を利用する端末装置である。クライアント３０からのデータベースの変更はマスター装置１０にのみ可能である。マスター装置１０とレプリカ装置２０とは、マスタースレーブ型の関係になっている。   The client 30 is a terminal device that uses the database function of the database system 1. Only the master device 10 can change the database from the client 30. The master device 10 and the replica device 20 have a master-slave type relationship.

マスター装置１０はマスターデータベースを有し、レプリカ装置２０はレプリカデータベースを有している。マスターデータベースの更新に応じて、マスター装置１０は、レプリカ装置２０にレプリカデータベースをマスターデータベースに同期させる。   The master device 10 has a master database, and the replica device 20 has a replica database. In response to the update of the master database, the master device 10 causes the replica device 20 to synchronize the replica database with the master database.

データベースシステム１において、マスター装置１０がクライアント３０からのトランザクション（セットで実行されるべき１つ以上の更新処理の集まり）の開始を示すＢＥＧＩＮコマンドを受信したときが同期処理の開始である。マスター装置１０が該トランザクションを確定して該トランザクションの終了を示すＣＯＭＭＩＴコマンドをクライアント３０から受信し、該コマンドに応じてマスターデータベース及びレプリカデータベースの両方のデータベースファイルの更新が完了したとき、同期処理の終了となる。尚、トランザクションの処理を終了させるコマンドとして、他には処理を取り消すＲＯＬＬＢＡＣＫがある。   In the database system 1, the synchronization process starts when the master device 10 receives a BEGIN command indicating the start of a transaction (a collection of one or more update processes to be executed in a set) from the client 30. When the master device 10 confirms the transaction and receives a COMMIT command indicating the end of the transaction from the client 30 and updates of the database files of both the master database and the replica database are completed according to the command, the synchronization processing End. As another command for ending transaction processing, there is ROLLBACK for canceling processing.

クライアント３０は、汎用のコンピュータ（例えばパーソナルコンピュータ（ＰＣ）等）と、同コンピュータ上で動作するソフトウェアとを用いて実現される。コンピュータとしては、タブレット端末や移動体通信端末等も含む。   The client 30 is realized using a general-purpose computer (for example, a personal computer (PC)) and software that operates on the computer. Examples of the computer include a tablet terminal and a mobile communication terminal.

マスター装置１０は、汎用のコンピュータ（例えばパーソナルコンピュータ（ＰＣ）等）と、同コンピュータ上で動作するソフトウェアとを用いて実現される。コンピュータとしては、ＣＡＤ（Computer Aided Design）やＣＡＥ（Computer Aided Engineering）に好適なエンジニアリングワークステーション（ＥＷＳ）等も含む。   The master device 10 is realized using a general-purpose computer (for example, a personal computer (PC) or the like) and software that operates on the computer. The computer includes an engineering workstation (EWS) suitable for CAD (Computer Aided Design) and CAE (Computer Aided Engineering).

本実施形態においては、マスター装置１０及びレプリカ装置２０のいずれにおいても、エンジン層処理部でレプリケーション処理を実行する機能を有する。   In the present embodiment, both the master device 10 and the replica device 20 have a function of executing a replication process in the engine layer processing unit.

図２は、本発明の実施形態に係るマスター装置の概略構成を示すブロック図である。   FIG. 2 is a block diagram showing a schematic configuration of the master device according to the embodiment of the present invention.

図２に示すように、本実施形態に係るマスター装置１０は、主として、クエリ受信部１００、コンパイラ層処理部１１０、エンジン層処理部１２０、ページャ層処理部１３０、レプリケーションデータ管理部１４０、データ送受信部１５０、データベース部１６０から構成されている。   As shown in FIG. 2, the master device 10 according to the present embodiment mainly includes a query receiving unit 100, a compiler layer processing unit 110, an engine layer processing unit 120, a pager layer processing unit 130, a replication data management unit 140, and data transmission / reception. Part 150 and database part 160.

クエリ受信部１００は、ネットワーク４０を経由してクライアント３０に接続されるとともに、コンパイラ層処理部１１０に接続している。コンパイラ層処理部１１０は、エンジン層処理部１２０に接続している。エンジン層処理部１２０は、ページャ層処理部１３０に接続している。ページャ層処理部１３０は、データベース部１６０に接続している。エンジン層処理部１２０は、レプリケーションデータ管理部１４０及びデータ送受信部１５０に接続している。データ送受信部１５０は、直接又はネットワーク（図示しない）を介して各レプリカ装置２０に接続している。   The query receiving unit 100 is connected to the client 30 via the network 40 and is also connected to the compiler layer processing unit 110. The compiler layer processing unit 110 is connected to the engine layer processing unit 120. The engine layer processing unit 120 is connected to the pager layer processing unit 130. The pager layer processing unit 130 is connected to the database unit 160. The engine layer processing unit 120 is connected to the replication data management unit 140 and the data transmission / reception unit 150. The data transmitting / receiving unit 150 is connected to each replica apparatus 20 directly or via a network (not shown).

クエリ受信部１００は、クライアント３０からネットワーク４０を経由して送信されたクエリを受信する。クエリ受信部１００は、受信したクエリをコンパイラ層処理部１１０に送る。   The query receiving unit 100 receives a query transmitted from the client 30 via the network 40. The query receiving unit 100 sends the received query to the compiler layer processing unit 110.

コンパイラ層処理部１１０は、クエリ受信部１００が受信したクエリを受け取り、コンパイラ層におけるクエリの処理を行う。コンパイラ層処理部１１０は、コンパイラ部１１１を有している。   The compiler layer processing unit 110 receives the query received by the query receiving unit 100 and performs query processing in the compiler layer. The compiler layer processing unit 110 has a compiler unit 111.

コンパイラ部１１１は、クエリをパースしてコンパイルし、第１エンジンプログラムを生成する。クエリ、第１エンジンプログラムは、レプリケーションデータ管理部１４０に記録させる。   The compiler unit 111 parses and compiles the query to generate a first engine program. The query and the first engine program are recorded in the replication data management unit 140.

第1エンジンプログラムは、マスター装置１０が実行するプログラムであってＳＱＬをコンパイルしたものである。   The first engine program is a program executed by the master device 10 and is a compilation of SQL.

エンジン層処理部１２０は、コンパイラ部１１１から第１エンジンプログラムを受け取り、第１エンジンプログラムを実行する。詳細は後述する。   The engine layer processing unit 120 receives the first engine program from the compiler unit 111 and executes the first engine program. Details will be described later.

エンジン層処理部１２０は、エンジンプログラム実行部１２１とレプリケーション実行部１２２を有している。エンジンプログラム実行部１２１は、いわばＳＱＬ実行エンジンであって、データベースファイルに書き込むためのデータを生成し、書込み命令の発行等を行う。具体的には、エンジンプログラム実行部１２１は、クエリの第１エンジンプログラムを実行し、データベース部１６０のマスターデータベースファイルを更新する。さらに、エンジンプログラム実行部１２１は第２エンジンプログラムを生成する。第２エンジンプログラムは、ＳＱＬをコンパイルしたものでレプリカ装置２０が実行するプログラムである。第２エンジンプログラムは、第１エンジンプログラム中の不要なコードを間引いている。すなわち、第１エンジンプログラムでは非決定的な値を決定する処理を含んでおり、非決定的な値が決定後にその決定した値を用いて第２エンジンプログラムが生成される。第２エンジンプログラムは、決定したデータと共にレプリケーションデータ管理部１４０に記録される。   The engine layer processing unit 120 includes an engine program execution unit 121 and a replication execution unit 122. The engine program execution unit 121 is a so-called SQL execution engine, generates data to be written in the database file, and issues a write command. Specifically, the engine program execution unit 121 executes the first engine program for the query and updates the master database file in the database unit 160. Further, the engine program execution unit 121 generates a second engine program. The second engine program is a program compiled by SQL and executed by the replica device 20. In the second engine program, unnecessary codes in the first engine program are thinned out. That is, the first engine program includes a process for determining a non-deterministic value, and the second engine program is generated using the determined value after the non-deterministic value is determined. The second engine program is recorded in the replication data management unit 140 together with the determined data.

レプリケーション実行部１２２は、レプリケーションデータ管理部１４０に記録された第２エンジンプログラムを、後述するように、マスター装置１０がＣＯＭＭＩＴコマンドをクライアント３０から受信したタイミングでレプリカ装置２０に送信する。また、レプリケーション実行部１２２は、更新処理を終え不要となった第２エンジンプログラムをレプリケーションデータ管理部１４０から削除する。   The replication execution unit 122 transmits the second engine program recorded in the replication data management unit 140 to the replica device 20 at the timing when the master device 10 receives the COMMIT command from the client 30 as will be described later. In addition, the replication execution unit 122 deletes the second engine program that has become unnecessary after the update process from the replication data management unit 140.

ページャ層処理部１３０は、ページャ層でのクエリの処理を行う。   The pager layer processing unit 130 performs query processing in the pager layer.

レプリケーションデータ管理部１４０は、第２エンジンプログラムや、第１エンジンプログラムで決定した値を記録する。   The replication data management unit 140 records a value determined by the second engine program or the first engine program.

データ送受信部１５０は、各部から取得したデータを所定の通信手順に従ってレプリカ装置２０に送信するための信号を生成して送信する。また、データ送受信部は、レプリカ装置２０から受信した信号をデータに変換して各部に送信する。   The data transmitting / receiving unit 150 generates and transmits a signal for transmitting the data acquired from each unit to the replica device 20 according to a predetermined communication procedure. Further, the data transmitting / receiving unit converts the signal received from the replica device 20 into data and transmits the data to each unit.

データベース部１６０は、データを一定のルールで蓄積し、必要に応じて取り出して提供する。データベース部１６０は、マスターデータベースとなるマスターデータベースファイルを記憶している。尚、データベース部１６０は、必ずしもマスター装置１０内に設けられている必要はなく、マスター装置１０に接続された別の装置内に設けてもよい。   The database unit 160 accumulates data according to a certain rule, and retrieves and provides the data as necessary. The database unit 160 stores a master database file serving as a master database. Note that the database unit 160 is not necessarily provided in the master device 10 and may be provided in another device connected to the master device 10.

図３は、本発明の実施形態に係るレプリカ装置の概略構成を示すブロック図である。図３に示すように、本実施形態に係るレプリカ装置２０は、主として、エンジン層処理部２１０、ページャ層処理部２２０、レプリケーションデータ管理部２３０、データ送受信部２４０、データベース部２５０から構成されている。レプリカ装置２０は、クライアント３０からのクエリはマスター装置１０で既にコンパイルされているので、コンパイル部を備えていない。   FIG. 3 is a block diagram showing a schematic configuration of the replica device according to the embodiment of the present invention. As shown in FIG. 3, the replica device 20 according to the present embodiment mainly includes an engine layer processing unit 210, a pager layer processing unit 220, a replication data management unit 230, a data transmission / reception unit 240, and a database unit 250. . Since the query from the client 30 has already been compiled by the master device 10, the replica device 20 does not include a compiling unit.

レプリカ装置２０の各部の機能は、マスター装置１０の各部の機能と基本的には同様である。   The function of each part of the replica device 20 is basically the same as the function of each part of the master device 10.

エンジン層処理部２１０は、マスター装置１０から第２エンジンプログラムを受け取り、この第２エンジンプログラムを実行する。   The engine layer processing unit 210 receives the second engine program from the master device 10 and executes the second engine program.

ページャ層処理部２２０は、データベース部２５０に対してデータの入出力を行うものである。   The pager layer processing unit 220 inputs / outputs data to / from the database unit 250.

レプリケーションデータ管理部２３０は、第２エンジンプログラムを格納するものである。   The replication data management unit 230 stores the second engine program.

データ送受信部２４０は、各部から取得したデータを所定の通信手順に従ってマスター装置１０に送信するための信号を生成して送信するとともに、マスター装置１０から受信した信号をデータに変換して各部に送信する。   The data transmission / reception unit 240 generates and transmits a signal for transmitting data acquired from each unit to the master device 10 according to a predetermined communication procedure, and converts the signal received from the master device 10 into data and transmits the data to each unit. To do.

データベース部２５０は、データを一定のルールで蓄積し、必要に応じて取り出し可能で、レプリカデータベースとなるレプリカデータベースファイルを記憶する。   The database unit 250 stores data according to a certain rule, can be taken out as necessary, and stores a replica database file serving as a replica database.

＜エンジンプログラム＞
図４は、エンジンプログラムの一例を示す図である。図４に示す例では、次のクエリを処理するものである。 <Engine program>
FIG. 4 is a diagram illustrating an example of an engine program. In the example shown in FIG. 4, the next query is processed.

INSERT INTO ttt VALUES (random(), ‘ABCDE’);
このクエリは、テーブル名tttにVALUES 句の値、すなわちrandom()の値を挿入するものである。 INSERT INTO ttt VALUES (random (), 'ABCDE');
This query inserts the value of the VALUES clause into the table name ttt, that is, the value of random ().

係るクエリをコンパイルすると、図４（ａ）に示す第１エンジンプログラムがコンパイラ部１１１で生成され、図４（ｂ）に示す第２エンジンプログラムがエンジンプログラム実行部１２１で生成される。   When such a query is compiled, the first engine program shown in FIG. 4A is generated by the compiler unit 111, and the second engine program shown in FIG. 4B is generated by the engine program execution unit 121.

第１エンジンプログラムのFunctionステップでrandom()の値が決定し、MakeRecordステップでデータが生成される。決定したデータは、レプリケーションデータ管理部１４０に記録される。   The value of random () is determined in the Function step of the first engine program, and data is generated in the MakeRecord step. The determined data is recorded in the replication data management unit 140.

一方、レプリカ装置２０が受信する第２エンジンプログラムでは、非決定的な関数の値が決定しており、INSERT文による処理は１回の実行で１行を挿入するもので、レプリカ装置２０では、１処理ずつ実行される。   On the other hand, in the second engine program received by the replica device 20, the value of a nondeterministic function is determined, and the processing by the INSERT statement inserts one row in one execution. Each process is executed.

＜エンジン層処理部でのレプリケーション＞
次に、以上のように構成されたデータベースシステムのエンジン層処理部でのレプリケーションについて説明する。 <Replication in engine tier processing unit>
Next, replication in the engine layer processing unit of the database system configured as described above will be described.

マスター装置１０において、エンジン層処理部１２０でレプリケーションを実行すると判定された場合に、エンジン層レプリケーション処理が実行される。   In the master device 10, when the engine layer processing unit 120 determines to execute replication, engine layer replication processing is executed.

図５は、マスター装置におけるエンジン層処理部でのレプリケーション処理の流れを示すフローチャートである。   FIG. 5 is a flowchart showing the flow of replication processing in the engine layer processing unit in the master device.

まず、コンパイラ層処理部１１０は、クライアント３０からクエリを受け付ける（ステップＳ５１）。次に、コンパイラ層処理部１１０のコンパイラ部１１１は、クエリをコンパイルする（ステップＳ５２）。   First, the compiler layer processing unit 110 receives a query from the client 30 (step S51). Next, the compiler unit 111 of the compiler layer processing unit 110 compiles the query (step S52).

次に、エンジン層処理部１２０での処理に移行し、クエリがＣＯＭＭＩＴコマンドか否かを判定する（ステップＳ５３）。レプリカの更新は、トランザクション（BEGINからCOMMITの間）単位で行われ、COMMITがくるまでは、それまでの（INSERT文などの）各第２エンジンプログラムをレプリケーションデータ管理部２３０に記憶しておく。     Next, the process proceeds to processing in the engine layer processing unit 120, and it is determined whether or not the query is a COMMIT command (step S53). The replica is updated in units of transactions (between BEGIN and COMMIT), and each second engine program (such as an INSERT statement) until that time is stored in the replication data management unit 230 until COMMIT is received.

ステップＳ５３でＹｅｓであれば、レプリケーション実行部１２２は、レプリケーションデータ管理部１４０に記録されている第２エンジンプログラムをレプリカ装置２０へ送信する（ステップＳ５４）。     If Yes in step S53, the replication execution unit 122 transmits the second engine program recorded in the replication data management unit 140 to the replica device 20 (step S54).

一方、クエリがＣＯＭＭＩＴコマンドでなければ（ステップＳ５３でＮｏ）、クエリがトランザクションを取り消すＲＯＬＬＢＡＣＫコマンドか否かを判定する（ステップＳ５７）。     On the other hand, if the query is not a COMMIT command (No in step S53), it is determined whether the query is a ROLLBACK command for canceling the transaction (step S57).

ＲＯＬＬＢＡＣＫコマンドであれば（ステップＳ５７でＹｅｓ）、次に、レプリケーション実行部１２２は、これまで記録した第２エンジンプログラムをレプリケーションデータ管理部１４０から削除する（ステップＳ５５）。     If the command is a ROLLBACK command (Yes in step S57), the replication execution unit 122 then deletes the second engine program recorded so far from the replication data management unit 140 (step S55).

次いで、エンジンプログラム実行部１２１がクエリの第１エンジンプログラムを実行し、データベース部１６０のマスターデータベースファイルを更新する（ステップＳ５６）。     Next, the engine program execution unit 121 executes the first engine program for the query, and updates the master database file in the database unit 160 (step S56).

ステップＳ５７の判定でＲＯＬＬＢＡＣＫコマンドでなければ（ステップＳ５７でＮｏ）、エンジンプログラム実行部１２１は、クエリの第１エンジンプログラムを実行しつつ、第２エンジンプログラムをレプリケーションデータ管理部１４０に記録する（ステップＳ５８）。     If the ROLLBACK command is not determined in step S57 (No in step S57), the engine program execution unit 121 records the second engine program in the replication data management unit 140 while executing the first engine program of the query (step S57). S58).

ステップＳ５６の処理後あるいはステップＳ５８の処理後は、クライアント３０から次のクエリを受け付けるべく、ステップＳ５１に戻る。     After the process of step S56 or the process of step S58, the process returns to step S51 to accept the next query from the client 30.

図６は、レプリカ装置におけるエンジン層処理部でのレプリケーション処理の流れを示すフローチャートである。     FIG. 6 is a flowchart showing the flow of replication processing in the engine layer processing unit in the replica apparatus.

レプリケーション実行部２１２が、マスター装置１０から第２エンジンプログラムを受信し、レプリケーションデータ管理部２３０に記録する（ステップＳ６１）。     The replication execution unit 212 receives the second engine program from the master device 10 and records it in the replication data management unit 230 (step S61).

次に、エンジンプログラム実行部２１１が第２エンジンプログラムを実行し、データベース部２５０のレプリカデータベースファイルを更新する（ステップＳ６２）。     Next, the engine program execution unit 211 executes the second engine program, and updates the replica database file in the database unit 250 (step S62).

以上のステップＳ６１〜Ｓ６２をクエリ数分だけ繰り返す。   The above steps S61 to S62 are repeated for the number of queries.

図７は、エンジン層処理部でのレプリケーション実行時のマスター装置とレプリカ装置とのデータ送受信の例を示すシーケンス図である。   FIG. 7 is a sequence diagram illustrating an example of data transmission / reception between the master device and the replica device at the time of executing replication in the engine layer processing unit.

クライアント３０からトランザクション開始文であるＢＥＧＩＮコマンドがマスター装置１０に送信される（ステップＳ７０１）。すると、コンパイラ層処理部１１０はレプリカ装置２０にＢＥＧＩＮコマンドを送信する（ステップＳ７０２）。この送信に要する時間はｔｓｅｎｄである。 A BEGIN command, which is a transaction start statement, is transmitted from the client 30 to the master device 10 (step S701). Then, the compiler layer processing unit 110 transmits a BEGIN command to the replica device 20 (step S702). The time required for this transmission is t send .

ＢＥＧＩＮコマンドを受信したレプリカ装置２０は、ＢＥＧＩＮコマンドを処理（ステップＳ７０３）し、トランザクションを開始する。   The replica device 20 that has received the BEGIN command processes the BEGIN command (step S703) and starts a transaction.

コンパイラ層処理部１１０もＢＥＧＩＮコマンドを処理し、トランザクションを開始する（ステップＳ７０４）。   The compiler layer processing unit 110 also processes the BEGIN command and starts a transaction (step S704).

ＢＥＧＩＮコマンドを処理したレプリカ装置２０は、ＢＥＧＩＮコマンドを処理したことをマスター装置１０に通知する（ステップＳ７０５）。この送信に要する時間はｔｓｅｎｄである。 The replica device 20 that has processed the BEGIN command notifies the master device 10 that the BEGIN command has been processed (step S705). The time required for this transmission is t send .

次に、クライアント３０からＩＮＳＥＲＴ１コマンドがマスター装置１０に送信される（ステップＳ７０６）。   Next, an INSERT1 command is transmitted from the client 30 to the master device 10 (step S706).

コンパイラ層処理部１１０は、ＩＮＳＥＲＴ１コマンドをコンパイルし、第１エンジンプログラムを生成する（ステップＳ７０７）。エンジン層処理部１２０は、第１エンジンプログラムを実行しつつ、第２エンジンプログラムを生成し、レプリケーションデータ管理部１４０に記憶させる（ステップＳ７０８）。ＩＮＳＥＲＴ１が非決定的なクエリである場合には、エンジン層処理部１２０は非決定的な関数の値が決定した値を用いて第２エンジンプログラムを生成する。   The compiler layer processing unit 110 compiles the INSERT1 command and generates a first engine program (step S707). The engine layer processing unit 120 generates the second engine program while executing the first engine program, and stores it in the replication data management unit 140 (step S708). When INSERT1 is a nondeterministic query, the engine layer processing unit 120 generates a second engine program using a value determined by a nondeterministic function value.

さらに、クライアント３０からＩＮＳＥＲＴ２コマンドがマスター装置１０に送信される（ステップＳ７０９）。上記ＩＮＳＥＲＴ１と同様に、コンパイラ層処理部１１０は、ＩＮＳＥＲＴ２コマンドをコンパイル（ステップＳ７１０）し、エンジン層処理部１２０は、第１エンジンプログラムを実行しつつ、第２エンジンプログラムを生成し、レプリケーションデータ管理部１４０に記憶させる（ステップＳ７１１）。ＩＮＳＥＲＴ２が非決定的なクエリである場合には、エンジン層処理部１２０は非決定的な関数の値が決定した値を用いて第２エンジンプログラムを生成する。   Further, the INSERT2 command is transmitted from the client 30 to the master device 10 (step S709). Similar to the above INSERT1, the compiler layer processing unit 110 compiles the INSERT2 command (step S710), and the engine layer processing unit 120 generates the second engine program while executing the first engine program, and manages the replication data. The data is stored in the unit 140 (step S711). When INSERT2 is a non-deterministic query, the engine layer processing unit 120 generates the second engine program using the value determined by the non-deterministic function value.

次に、クライアント３０からマスター装置１０にＣＯＭＭＩＴコマンドが送信される（ステップＳ７１２）。   Next, a COMMIT command is transmitted from the client 30 to the master device 10 (step S712).

コンパイラ層処理部１１０は、レプリケーションデータ管理部１４０に記憶された第２エンジンプログラムを、データ送受信部１５０を介してレプリカ装置２０に送信する（ステップＳ７１３）。ここでは、第２エンジンプログラムは、ＩＮＳＥＲＴクエリを予めコンパイルしたものである。この第２エンジンプログラムの送信に要する時間はｔｄａｔａである。 The compiler layer processing unit 110 transmits the second engine program stored in the replication data management unit 140 to the replica device 20 via the data transmission / reception unit 150 (step S713). Here, the second engine program is a pre-compiled INSERT query. The time required for transmitting the second engine program is t data .

レプリカ装置２０は、マスター装置１０から第２エンジンプログラムを受信すると、ＩＮＳＥＲＴクエリをコンパイルすることを要しないので直ちにＩＮＳＥＲＴコマンドの処理を行う（ステップＳ７１４）。レプリカ装置２０のエンジン層処理部２１０においてＩＮＳＥＲＴコマンドの処理に要する時間は、ＩＮＳＥＲＴコマンドのエンジン層処理部２１０で処理に要する時間をｔｅｎｇｉｎｅとし、処理されたクエリ数をｎとすると、ｔｅｎｇｉｎｅ×ｎである。 When the replica device 20 receives the second engine program from the master device 10, it does not need to compile the INSERT query, and immediately executes the INSERT command (step S714). The time required for the processing of the INSERT command in the engine layer processing unit 210 of the replica device 20 is t engine × where the time required for processing by the engine layer processing unit 210 of the INSERT command is t engine and the number of processed queries is n. n.

レプリカ装置２０は、ＩＮＳＥＲＴコマンドの処理を終了すると、マスター装置１０に処理終了を通知する（ステップＳ７１５）。この通知送信に要する時間はｔｓｅｎｄである。 When the replica device 20 finishes the processing of the INSERT command, the replica device 20 notifies the master device 10 of the end of the processing (step S715). The time required for this notification transmission is t send .

レプリカ装置２０から処理終了の通知を受けたマスター装置１０のエンジン層処理部１２０は、レプリカ装置２０にＣＯＭＭＩＴコマンドを送信する（ステップＳ７１６）。このＣＯＭＭＩＴコマンドの送信に要する時間はｔｓｅｎｄである。 The engine layer processing unit 120 of the master device 10 that has received the processing end notification from the replica device 20 transmits a COMMIT command to the replica device 20 (step S716). The time required for transmitting this COMMIT command is t send .

次に、エンジン層処理部１２０は、ＣＯＭＭＩＴコマンドを処理して（ステップＳ７１８）、クライアント３０とマスター装置１０間でのトランザクションは終了する。   Next, the engine layer processing unit 120 processes the COMMIT command (step S718), and the transaction between the client 30 and the master device 10 ends.

一方、レプリカ装置２０もＣＯＭＭＩＴコマンドを処理して（ステップＳ７１７）、マスター装置１０とレプリカ装置２０間でのトランザクションは終了する。   On the other hand, the replica device 20 also processes the COMMIT command (step S717), and the transaction between the master device 10 and the replica device 20 ends.

次に、レプリカ装置２０は、エンジン層処理部１２０に適用完了の通知を送信する（ステップＳ７１９）。この通知送信に要する時間はｔｓｅｎｄである。 Next, the replica device 20 transmits a notification of application completion to the engine layer processing unit 120 (step S719). The time required for this notification transmission is t send .

以上で、エンジン層処理部１２０でのレプリケーション処理は終了する。   Thus, the replication process in the engine layer processing unit 120 ends.

係るエンジン層処理部１２０，２１０でのレプリケーション処理において、レプリケーションのために追加で必要となる時間は、ｔｓｅｎｄ＋ｔｄａｔａ＋ｔｅｎｇｉｎｅ×ｎとなる。第２エンジンプログラムの送信に要する時間は、決定された値の大きさに依存するがさほど増えることはない。 In the replication processing in the engine layer processing units 120 and 210, the additional time required for replication is t send + t data + t engine × n. The time required for transmission of the second engine program does not increase so much depending on the magnitude of the determined value.

以上説明したように、本実施形態によれば、レプリカ装置におけるコンパイルを省略することができるのでレプリケーション処理の高速化が図られる。   As described above, according to the present embodiment, since the compilation in the replica apparatus can be omitted, the replication process can be speeded up.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

１・・・データベースシステム
１０・・・マスター装置
２０・・・レプリカ装置
３０・・・クライアント
４０・・・ネットワーク
１００・・・クエリ受信部
１１０・・・コンパイラ層処理部
１１１・・・コンパイラ部
１２０、２１０・・・エンジン層処理部
１２１、２１１・・・エンジンプログラム実行部
１２２、２１２・・・レプリケーション実行部
１３０、２２０・・・ページャ層処理部
１４０、２３０・・・レプリケーションデータ管理部
１５０、２４０・・・データ送受信部
１６０、２５０・・・データベース部 DESCRIPTION OF SYMBOLS 1 ... Database system 10 ... Master apparatus 20 ... Replica apparatus 30 ... Client 40 ... Network 100 ... Query receiving part 110 ... Compiler layer process part 111 ... Compiler part 120 210, engine layer processing units 121, 211 ... engine program execution units 122, 212 ... replication execution units 130, 220 ... pager layer processing units 140, 230 ... replication data management unit 150, 240: Data transmission / reception unit 160, 250 ... Database unit

Claims (7)

マスターデータベースを有するマスター装置とレプリカデータベースを有するレプリカ装置から成るマスタースレーブ型のデータベースシステムであって、
前記マスター装置は、
クライアントからクエリを受信するクエリ受信部と、
前記クエリ受信部が受信したクエリを受け取り、クエリをコンパイルし非決定的な値を決定する処理を含む第１エンジンプログラムを生成するコンパイラ層処理部と、
前記コンパイラ層処理部から第１エンジンプログラムを受け取り、前記第１エンジンプログラムで決定した値を用いた第２エンジンプログラムを生成するとともに、前記第１エンジンプログラムを実行してマスターデータベースファイルを更新処理する第１エンジン層処理部と、
前記第２エンジンプログラム、前記第１エンジンプログラムで決定した値を記録する第１レプリケーションデータ管理部と、
前記各部から取得したデータを所定の通信手順に従って前記レプリカ装置に送信するための信号を生成して送信するとともに、前記レプリカ装置から受信した信号をデータに変換して前記各部に送信する第１データ送受信部とを備え、
前記レプリカ装置は、
前記マスター装置から受け取った前記第２エンジンプログラムを格納する第２レプリケーションデータ管理部と、
前記第２エンジンプログラムを実行してレプリカデータベースファイルを更新処理する第２エンジン層処理部と、
前記各部から取得したデータを所定の通信手順に従って前記マスター装置に送信するための信号を生成して送信するとともに、前記マスター装置から受信した信号をデータに変換して前記各部に送信する第２データ送受信部とを備える
データベースシステム。 A master-slave type database system comprising a master device having a master database and a replica device having a replica database,
The master device is
A query receiver for receiving queries from clients;
A compiler layer processing unit that receives the query received by the query receiving unit and generates a first engine program including processing for compiling the query and determining a non-deterministic value;
The first engine program is received from the compiler layer processing unit, a second engine program using a value determined by the first engine program is generated, and the master database file is updated by executing the first engine program. A first engine layer processing unit;
A first replication data management unit for recording a value determined by the second engine program and the first engine program;
First data for generating and transmitting a signal for transmitting the data acquired from each unit to the replica device according to a predetermined communication procedure, and converting the signal received from the replica device to data and transmitting the data to each unit With a transceiver
The replica device
A second replication data management unit for storing the second engine program received from the master device;
A second engine layer processing unit that executes the second engine program to update the replica database file;
Second data for generating and transmitting a signal for transmitting data acquired from each unit to the master device according to a predetermined communication procedure, and converting a signal received from the master device to data and transmitting the data to each unit A database system comprising a transmission / reception unit. 前記クエリ受信部は、クライアントからネットワークを経由して送信されたクエリを受信する請求項１記載のデータベースシステム。   The database system according to claim 1, wherein the query receiving unit receives a query transmitted from a client via a network. 前記第１エンジン層処理部は、
クエリの前記第１エンジンプログラムを実行するとともに、前記第２エンジンプログラムを生成するエンジンプログラム実行部と、
前記第２エンジンプログラムを前記レプリカ装置に送信するレプリケーション実行部を有している請求項１又は請求項２記載のデータベースシステム。 The first engine tier processor is
An engine program execution unit that executes the first engine program of the query and generates the second engine program;
The database system according to claim 1, further comprising a replication execution unit that transmits the second engine program to the replica device. 前記第１エンジンプログラムにおいて非決定的な値を決定する処理で決定したデータは、前記第１レプリケーションデータ管理部に記録される請求項３記載のデータベースシステム。   4. The database system according to claim 3, wherein the data determined by the process of determining a non-deterministic value in the first engine program is recorded in the first replication data management unit. 前記第２エンジンプログラムは、決定したデータと共に前記第１レプリケーションデータ管理部に記録される請求項４記載のデータベースシステム。   The database system according to claim 4, wherein the second engine program is recorded in the first replication data management unit together with the determined data. 前記レプリケーション実行部は、更新処理を終え不要となった前記第２エンジンプログラムを前記第１レプリケーションデータ管理部から削除する請求項５記載のデータベースシステム。   The database system according to claim 5, wherein the replication execution unit deletes the second engine program that has become unnecessary after completing the update process from the first replication data management unit. 前記マスター装置は、クエリを処理し、物理コピーによるページャ層レプリケーション処理を行うページャ層処理部を備え、
前記レプリカ装置は、物理コピーによるページャ層レプリケーション処理を行うページャ層処理部を備える請求項３乃至請求項６のいずれか１項に記載のデータベースシステム。 The master device includes a pager layer processing unit that processes a query and performs pager layer replication processing by physical copy.
The database system according to claim 3, wherein the replica device includes a pager layer processing unit that performs pager layer replication processing by physical copy.
JP2013090397A 2013-04-23 2013-04-23 Database system Pending JP2014215680A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013090397A JP2014215680A (en) 2013-04-23 2013-04-23 Database system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013090397A JP2014215680A (en) 2013-04-23 2013-04-23 Database system

Publications (1)

Publication Number Publication Date
JP2014215680A true JP2014215680A (en) 2014-11-17

Family

ID=51941412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013090397A Pending JP2014215680A (en) 2013-04-23 2013-04-23 Database system

Country Status (1)

Country Link
JP (1) JP2014215680A (en)

Similar Documents

Publication Publication Date Title
JP7068454B2 (en) Efficient propagation of diff values
US9471590B2 (en) Method and apparatus for replicating virtual machine images using deduplication metadata
US9141685B2 (en) Front end and backend replicated storage
US8260742B2 (en) Data synchronization and consistency across distributed repositories
KR100462839B1 (en) Method for database synchronization and conflict resolution between clients and server of mobile system
KR101662212B1 (en) Database Management System providing partial synchronization and method for partial synchronization thereof
CN109918229B (en) Database cluster copy construction method and device in non-log mode
US10067999B2 (en) High-performance database replication systems and methods
US20130166505A1 (en) Monitoring replication lag between geographically dispersed sites
CN106933703A (en) A kind of method of database data backup, device and electronic equipment
CN105183860A (en) Data synchronization method and system
US9998544B2 (en) Synchronization testing of active clustered servers
US11748215B2 (en) Log management method, server, and database system
JP6196389B2 (en) Distributed disaster recovery file synchronization server system
CN105574026B (en) Method and device for supporting transaction of non-relational database
Truica et al. Asynchronous Replication in Microsoft SQL Server, PostgreSQL and MySQL
CN110121712B (en) Log management method, server and database system
JP2001034518A (en) Master-slave relation information synchronization system in decentralized database
JP6251965B2 (en) Information system and database recovery method
JP2014215680A (en) Database system
CN116821232A (en) Data synchronization method and related device
CN114490570A (en) Production data synchronization method and device, data synchronization system and server
CN111522688B (en) Data backup method and device for distributed system
KR101748913B1 (en) Cluster management method and data storage system for selecting gateway in distributed storage environment
JP2016149049A (en) Information processor, information processing system, and pair data updating method and program