JP2018180933A - Database cooperation system, database cooperation method, and program - Google Patents

Database cooperation system, database cooperation method, and program Download PDF

Info

Publication number
JP2018180933A
JP2018180933A JP2017079545A JP2017079545A JP2018180933A JP 2018180933 A JP2018180933 A JP 2018180933A JP 2017079545 A JP2017079545 A JP 2017079545A JP 2017079545 A JP2017079545 A JP 2017079545A JP 2018180933 A JP2018180933 A JP 2018180933A
Authority
JP
Japan
Prior art keywords
database
data
processing unit
identification information
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017079545A
Other languages
Japanese (ja)
Other versions
JP6967870B2 (en
Inventor
泰斗 鈴木
Yasuto Suzuki
泰斗 鈴木
貴志 奥谷
Takashi Okuya
貴志 奥谷
明弘 小出
Akihiro Koide
明弘 小出
泰広 加茂下
Yasuhiro Kamoshita
泰広 加茂下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2017079545A priority Critical patent/JP6967870B2/en
Publication of JP2018180933A publication Critical patent/JP2018180933A/en
Application granted granted Critical
Publication of JP6967870B2 publication Critical patent/JP6967870B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a database cooperation system, a database cooperation method, and a program that improve data update speed.SOLUTION: A database cooperation system includes an optimization processing unit that instructs a first database system including a first database to logically sort data associated with identification information in order of the identification information and store the data in the first database; and a parallel database processing unit that instructs a second database system including a second database to read the logically sorted data from the first database according to the instruction of the optimization processing unit and store the logically sorted data in the second database.SELECTED DRAWING: Figure 1

Description

本発明は、データベース連携システム、データベース連携方法、およびプログラムに関する。   The present invention relates to a database linkage system, a database linkage method, and a program.

従来、投稿文に対して設定された画像の情報をバリューとしてキーバリュー型のデータベースに記憶した場合に、画像の情報の集計結果などを容易に検索することを可能としたデータベース管理装置の発明が開示されている（特許文献１参照）。   In the prior art, there is provided a database management apparatus capable of easily searching for aggregation results of image information when information of an image set for a post text is stored as a value in a key-value type database. It is disclosed (refer patent document 1).

特開２０１２−１４６０５８号公報JP, 2012-146058, A

しかしながら、キーバリュー型のデータベースを使用する場合、膨大な数のデータを記憶させようとした場合に所要時間が長くなり過ぎ、例えば一日一回の更新に間に合わないような場面が生じ得る。   However, in the case of using a key-value type database, the required time may be too long when storing a huge number of data, for example, a situation may occur where it is not in time for updating once a day.

本発明は、このような事情を考慮してなされたものであり、データの更新速度を向上させることができるデータベース連携システム、データベース連携方法、およびプログラムを提供することを目的の一つとする。   The present invention has been made in consideration of such circumstances, and it is an object of the present invention to provide a database linkage system, a database linkage method, and a program capable of improving the data update speed.

本発明の一態様は、識別情報に対応付けられたデータを、前記識別情報順に論理的にソートして第１データベースに格納するように、前記第１データベースを含む第１データベースシステムに指示する最適化処理部と、前記第１データベースから、前記最適化処理部の指示によって論理的にソートされたデータを読み出して、第２データベースに格納するように、前記第２データベースを含む第２データベースシステムに指示する並列格納処理部と、を備え、前記第２データベースシステムは、複数のサーバを有し、同じ識別情報に対応付けられたデータを一つのサーバに格納する分散データベースシステムであり、各サーバと識別情報との対応関係を示すリストを参照し、前記並列格納処理部により指示されたデータの格納先のサーバを決定する、データベース連携システムである。   One aspect of the present invention is optimally directed to a first database system including the first database such that data associated with identification information is logically sorted in the order of the identification information and stored in the first database. A second database system including the second database so as to read data logically sorted by the instruction of the optimization processing unit from the first processing unit and the second processing unit and store the read data in the second database; The second database system is a distributed database system having a plurality of servers and storing data associated with the same identification information in one server; With reference to the list indicating the correspondence with the identification information, the server of the storage destination of the data instructed by the parallel storage processing unit is determined. To, is a database cooperation system.

本発明の一態様によれば、データの更新速度を向上させることができるデータベース連携システム、データベース連携方法、およびプログラムを提供することができる。   According to an aspect of the present invention, it is possible to provide a database linkage system, a database linkage method, and a program capable of improving the data update speed.

データベース連携システム１００の使用環境の一例を示す図である。FIG. 2 is a diagram showing an example of a use environment of the database linkage system 100. 第１データベースシステム２００の機能について説明するための図である。FIG. 2 is a diagram for explaining functions of a first database system 200. 第２データベースシステム３００の機能について説明するための図である。It is a figure for demonstrating the function of the 2nd database system 300. FIG. データベース連携システム１００によって実行される処理の流れの一例を示すフローチャートである。5 is a flowchart showing an example of the flow of processing executed by the database linkage system 100.

以下、図面を参照し、本発明のデータベース連携システム、データベース連携方法、およびプログラムの実施形態について説明する。データベース連携システムは、一以上のプロセッサによって実現される。データベース連携システムは、各種ネットワークサービスにおけるユーザＩＤ（識別情報）に対して種々のデータが対応付けられたデータの組（以下、ユーザデータと称する）を第１データベースに蓄積し、定期的に第２データベースにコピーするシステムである。第２データベースは、第１データベースよりも柔軟な増設が可能なものであり、膨大なデータを格納するのに適していると共に、ユーザデータの利用者にとって参照が容易な形式でデータを保持可能なものである。   Hereinafter, embodiments of a database linkage system, a database linkage method, and a program according to the present invention will be described with reference to the drawings. The database linkage system is realized by one or more processors. The database linkage system stores in the first database a set of data (hereinafter referred to as user data) in which various data are associated with user IDs (identification information) in various network services, and periodically the second It is a system to copy to a database. The second database can be expanded more flexibly than the first database, is suitable for storing a large amount of data, and can hold data in a format easy for users of user data to refer to It is a thing.

図１は、データベース連携システム１００の使用環境の一例を示す図である。この環境において、一以上の端末装置１０と、サービスサーバ２０と、データベース連携システム１００と、第１データベースシステム２００と、第２データベースシステム３００とがネットワークＮＷに接続されている。ネットワークＮＷは、インターネットやプロバイダ、専用回線、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）などを含む。なお、図１に示す全ての構成要素の組み合わせが相互に通信可能である必要はなく、ネットワークＮＷは、一部にローカルなネットワークを含んでもよい。   FIG. 1 is a diagram showing an example of a use environment of the database linkage system 100. As shown in FIG. In this environment, one or more terminal devices 10, a service server 20, a database linkage system 100, a first database system 200, and a second database system 300 are connected to the network NW. The network NW includes the Internet, a provider, a dedicated line, a wide area network (WAN), a local area network (LAN), and the like. Note that the combination of all the components shown in FIG. 1 need not be able to communicate with each other, and the network NW may partially include a local network.

端末装置１０は、スマートフォンやタブレット端末、パーソナルコンピュータなどである。サービスサーバ２０は、ウェブサーバやアプリサーバなど、各種のネットワークサービスを提供するサーバである。端末装置１０では、ブラウザやアプリケーションプログラムなどが起動することでサービスサーバ２０と通信し、各種のサービスを受けることができる。   The terminal device 10 is a smartphone, a tablet terminal, a personal computer or the like. The service server 20 is a server that provides various network services such as a web server and an application server. The terminal device 10 can communicate with the service server 20 by activating a browser, an application program or the like, and can receive various services.

このサービスにおいて、ユーザＩＤが入力されることで、メンバー限定のサービスが提供される。ユーザＩＤの登録の際には、ユーザの属性情報（年齢、性別、職業、趣味など）が登録される場合がある。また、ユーザがユーザＩＤを入力してサービスを受ける際に、サービス提供ログがサービスサーバ２０によって収集される。データベース連携システム１００は、ユーザＩＤに対応付けられた属性情報やサービス提供ログを、ユーザデータとして一次的に第１データベースシステム２００に格納させ、次いで第２データベースシステム３００にコピーする。また、特定のＣｏｏｋｉｅに対応付けられた情報も同様に、ユーザデータとして扱われてよい。すなわち、特定のＣｏｏｋｉｅ自体がユーザＩＤとして扱われてよい。   In this service, by inputting a user ID, a service limited to members is provided. At the time of registration of the user ID, user's attribute information (age, gender, occupation, hobbies, etc.) may be registered. Also, when the user inputs a user ID and receives a service, the service provision log is collected by the service server 20. The database linkage system 100 causes the first database system 200 to temporarily store, as user data, attribute information and a service provision log associated with the user ID, and then copies the attribute information and the service provision log to the second database system 300. Also, information associated with a specific cookie may be treated as user data as well. That is, a specific cookie itself may be treated as a user ID.

データベース連携システム１００は、例えば、最適化処理部１１０と、並列格納処理部１２０とを備える。これらの機能部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラムを実行することにより実現される。   The database cooperation system 100 includes, for example, an optimization processing unit 110 and a parallel storage processing unit 120. These functional units are realized, for example, by a processor such as a central processing unit (CPU) executing a program.

最適化処理部１１０は、ユーザデータを、ユーザＩＤ順に論理的にソートして第１データベース２２０に格納するように、第１データベースシステム２００（第１データベースマネジメントシステム（以下、ＤＢＭＳ）２１０）に指示する。   The optimization processing unit 110 instructs the first database system 200 (the first database management system (hereinafter, DBMS) 210) to logically sort the user data in the order of user IDs and store the user data in the first database 220. Do.

並列格納処理部１２０は、第１データベース２２０から、最適化処理部１１０の指示によって論理的にソートされたユーザデータを読み出して、第２データベース３２０に格納するように、第２データベースシステム３００（第２ＤＢＭＳ３１０）に指示する。   The parallel storage processing unit 120 reads the user data logically sorted by the instruction of the optimization processing unit 110 from the first database 220 and stores the user data in the second database 320 (second database system 300 (second 2) instruct the DBMS 310).

第１データベースシステム２００は、第１ＤＢＭＳ２１０と、第１データベース２２０とを備える。第１ＤＢＭＳ２１０は、例えば、スキーマ定義が不要な分散ファイルシステムを提供する。第１ＤＢＭＳ２１０は、構造管理やメタデータの保持などを行う“ｎａｍｅｎｏｄｅ”によって管理される。第１ＤＢＭＳ２１０は、Ｈａｄｏｏｐなどのオープンソースによって実現されるものであってよい。第１データベース２２０はｎ個のサーバにより実現される分散データベースである（ｎは任意の自然数）。各サーバは、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置を含む。   The first database system 200 includes a first DBMS 210 and a first database 220. The first DBMS 210 provides, for example, a distributed file system which does not require schema definition. The first DBMS 210 is managed by "namenode" which performs structure management, retention of metadata, and the like. The first DBMS 210 may be realized by open source such as Hadoop. The first database 220 is a distributed database implemented by n servers (n is an arbitrary natural number). Each server includes a storage device such as a hard disk drive (HDD) or a flash memory.

第２データベースシステム３００は、第２ＤＢＭＳ３１０と、第２データベース３２０とを備える。第２ＤＢＭＳ３１０は、例えば、構造化されたキーバリュー型データストアとしての分散ファイルシステムを提供する。第２ＤＢＭＳ３１０において、キーは複数の値にマッピングされ、これらは列ファミリーとしてグルーピングされる。列ファミリーは事後的に追加可能である。さらに、列は特定のキーにのみ追加されるので、どの列ファミリーにおいても異なるキーは任意の列数を持つことができる。第２ＤＢＭＳは、Ｃａｓｓａｎｄｒａなどのオープンソースによって実現されるものであってよい。第２データベース３２０はｍ個のサーバにより実現される分散データベースである（ｍは任意の自然数、ｎ＞ｍ）。各サーバは、ＨＤＤやフラッシュメモリなどの記憶装置を含む。   The second database system 300 includes a second DBMS 310 and a second database 320. The second DBMS 310 provides, for example, a distributed file system as a structured key-value data store. In the second DBMS 310, keys are mapped to multiple values, which are grouped as column families. Column families can be added later. Furthermore, different columns can have any number of columns in any column family, since columns are only added to a particular key. The second DBMS may be realized by open source such as Cassandra. The second database 320 is a distributed database implemented by m servers (m is an arbitrary natural number, n> m). Each server includes a storage device such as an HDD or a flash memory.

なお、第１データベースシステム１００、第２データベースシステム２００共にデータの冗長化がなされているが、これについての説明は省略する。   In addition, although redundancy of data is made | formed by the 1st database system 100 and the 2nd database system 200, the description about this is abbreviate | omitted.

また、データベース連携システム１００は、第１データベースシステム２００または第２データベースシステム３００のいずれかに統合されてもよい。   Also, the database linkage system 100 may be integrated into either the first database system 200 or the second database system 300.

図２は、第１データベースシステム２００の機能について説明するための図である。図示するように、第１ＤＢＭＳ２１０は、ユーザデータをキャッシュなどに蓄積しておき、最適化処理部１１０からの指示があったタイミングで、図示する順に処理を実行する。   FIG. 2 is a diagram for explaining the function of the first database system 200. As shown in FIG. As illustrated, the first DBMS 210 stores user data in a cache or the like, and executes processing in the illustrated order at the timing when an instruction from the optimization processing unit 110 is given.

まず、第１ＤＢＭＳ２１０は、個別処理を行う。個別処理において、第１ＤＢＭＳ２１０は、ユーザデータ毎にバリデーションやフィルタリング処理を行う。   First, the first DBMS 210 performs individual processing. In the individual processing, the first DBMS 210 performs validation and filtering processing for each user data.

次に、第１ＤＢＭＳ２１０は、最適化処理を行う。最適化処理において、第１ＤＢＭＳ２１０は、ユーザデータをユーザＩＤ順に論理的にソートする。論理的にソートするとは、物理的な格納場所を変えるのではなく、物理アドレスに対応付けられた論理アドレスと、第１ＤＢＭＳ２１０が把握する論理構造との対応関係を並び替えることを意味する。更に、第１ＤＢＭＳ２１０は、第２データベース３２０におけるユーザＩＤとサーバの対応関係に応じて、第２データベース３２０におけるサーバごとにユーザＩＤをグループ化してもよい。   Next, the first DBMS 210 performs optimization processing. In the optimization process, the first DBMS 210 logically sorts user data in order of user ID. To sort logically means to rearrange the correspondence between the logical address associated with the physical address and the logical structure grasped by the first DBMS 210 rather than changing the physical storage location. Furthermore, the first DBMS 210 may group the user ID for each server in the second database 320 according to the correspondence between the user ID in the second database 320 and the server.

次に、第１ＤＢＭＳ２１０は、ユーザＩＤをハッシュ化し、第１データベース２２０における、ハッシュ値に応じた格納先のサーバにユーザデータを格納する。ユーザデータは、例えば、ユーザＩＤに対して、データと、データが収集された時刻を示すタイムスタンプとが対応付けられた形式で第１データベース２２０に格納される。この結果、同じユーザＩＤに対応付けられたユーザデータは、同じサーバに格納される。なお、図２に示す一連の処理の対象となるユーザデータは、例えば、タイムスタンプが、前回更新したユーザデータに付与されていたタイムスタンプよりも新しい日時を示すユーザデータである。   Next, the first DBMS 210 hashes the user ID, and stores the user data in the server of the storage destination corresponding to the hash value in the first database 220. The user data is stored in the first database 220, for example, in a form in which data and a time stamp indicating the time when the data was collected are associated with the user ID. As a result, user data associated with the same user ID is stored in the same server. The user data to be subjected to the series of processes shown in FIG. 2 is, for example, user data indicating a date and time when the time stamp is newer than the time stamp given to the previously updated user data.

図３は、第２データベースシステム３００の機能について説明するための図である。図示するように、第２ＤＢＭＳ３１０は、並列格納処理部１２０からの指示があったタイミングで、第２データベース３２０の各サーバにユーザデータを分散させて格納する。   FIG. 3 is a diagram for explaining the function of the second database system 300. As shown in FIG. As illustrated, the second DBMS 310 distributes and stores user data in each server of the second database 320 at the timing when an instruction from the parallel storage processing unit 120 is received.

第２ＤＢＭＳ３１０は、第２データベース３２０の各サーバに対応したチャネルを有する並列Ｉ／Ｏ３１２を備える。第２ＤＢＭＳ３１０は、第１データベース２２０からユーザデータを順次読み出して、ユーザデータに含まれるユーザＩＤに対応するサーバの識別情報を、ユーザＩＤ−サーバ対応リスト３１４を参照して取得する。そして、取得したサーバの識別情報に対応する並列Ｉ／Ｏ３１２のチャネルに対して、データの格納を指示する。これによって、ユーザデータが行方向および列方向に容易に参照可能であり、レコードの追加が容易なデータ群が作成される。   The second DBMS 310 includes parallel I / O 312 having a channel corresponding to each server of the second database 320. The second DBMS 310 sequentially reads out user data from the first database 220, and acquires server identification information corresponding to the user ID included in the user data with reference to the user ID-server correspondence list 314. Then, storage of data is instructed to the channel of the parallel I / O 312 corresponding to the acquired identification information of the server. By this, user data can be easily referred to in the row direction and the column direction, and a data group in which records can be easily added is created.

ここで、第２ＤＢＭＳ３１０を実現するための一例である、オープンソースのＣａｓｓａｎｄｒａは、レコードの追加は容易であるが、膨大なデータを繰り返し格納する処理が比較的遅いという特性がある。この特性は、サーバに対応したチャネルを探索して切り替える処理に依存すると考えられる。この点、実施形態のデータベース連携システム１００では、予め第２ＤＢＭＳ３１０におけるデータ処理に適した形にユーザデータを纏め上げるため、上記の特性を緩和し、データの更新速度を向上させることができる。例えば、第２ＤＢＭＳ３１０が第１データベース２２０からユーザデータを読み出す際に、一定量のユーザは同じユーザＩＤを有することが予め分かっていれば、その間、並列Ｉ／Ｏ３１２のチャネルを固定してユーザデータをサーバに転送することができるからである。   Here, the open source Cassandra, which is an example for realizing the second DBMS 310, is characterized in that it is easy to add a record, but the process of repeatedly storing a huge amount of data is relatively slow. It is considered that this characteristic depends on processing for searching and switching a channel corresponding to the server. In this regard, in the database cooperation system 100 according to the embodiment, since the user data are collected in advance in a form suitable for data processing in the second DBMS 310, it is possible to ease the above-mentioned characteristics and improve the data update speed. For example, when the second DBMS 310 reads user data from the first database 220, if it is known in advance that a certain amount of users have the same user ID, the channel of the parallel I / O 312 is fixed and user data is fixed during that time. It is because it can be transferred to the server.

また、第１データベース２２０は、第２データベース３２０よりも多くのサーバで構成される。従って、第１データベース２２０にユーザデータを格納するために、サーバごとにユーザＩＤ順に論理ソートする処理は、第２データベース３２０に対して同様の処理を行う場合よりも処理負荷が低くなる。このため、最適化処理は、第２データベース３２０ではなく第１データベース２２０に対して行う方が迅速に完了する。   Also, the first database 220 is configured with more servers than the second database 320. Therefore, in order to store user data in the first database 220, the processing of logically sorting in order of user ID for each server has a lower processing load than the case where the same processing is performed on the second database 320. Therefore, the optimization process is completed more quickly if it is performed on the first database 220 instead of the second database 320.

図４は、データベース連携システム１００によって実行される処理の流れの一例を示すフローチャートである。まず、最適化処理部１１０が、ユーザデータの更新タイミングが到来したか否かを判定する（Ｓ１００）。ユーザデータの更新タイミングが到来すると、最適化処理部１１０は、第１ＤＢＭＳ２１０に対して最適化処理を指示する（Ｓ１０２）。   FIG. 4 is a flowchart showing an example of the flow of processing executed by the database linkage system 100. First, the optimization processing unit 110 determines whether the user data update timing has arrived (S100). When the user data update timing arrives, the optimization processing unit 110 instructs the first DBMS 210 to perform optimization processing (S102).

次に、最適化処理部１１０は、第１ＤＢＭＳ２１０から最適化処理の完了通知がなされたか否かを判定する（Ｓ１０４）。完了通知がなされると、最適化処理部１１０は、並列格納処理部１２０に対して処理開始許可を通知する。並列格納処理部１２０は、第２ＤＢＭＳ３１０に対して並列格納処理を指示する（Ｓ１０６）。このようにして、最適化処理部１１０と並列格納処理部１２０は、同じ周期で処理を実行する。   Next, the optimization processing unit 110 determines whether or not the completion notification of the optimization processing has been made from the first DBMS 210 (S104). When the completion notification is made, the optimization processing unit 110 notifies the parallel storage processing unit 120 of processing start permission. The parallel storage processing unit 120 instructs the second DBMS 310 to perform parallel storage processing (S106). Thus, the optimization processing unit 110 and the parallel storage processing unit 120 execute processing in the same cycle.

以上説明した本発明のデータベース連携システム、データベース連携方法、およびプログラムの実施形態によれば、ユーザＩＤに対応付けられたデータを、ユーザＩＤ順に論理的にソートして第１データベース２２０に格納するように、第１データベースシステム２００に指示する最適化処理部１１０と、第１データベース２２０から、最適化処理部１１０の指示によって論理的にソートされたデータを読み出して、［複数のサーバを有し、同じユーザＩＤに対応付けられたデータを一つのサーバに格納する分散データベースであり、各サーバに格納されたデータのユーザＩＤのリストを参照し、並列格納処理部１１０により指示されたデータの格納先のサーバを決定する第２データベースシステム３００］に指示する並列格納処理部１２０と、を備えることにより、データの更新速度を向上させることができる。   According to the embodiment of the database linkage system, the database linkage method, and the program of the present invention described above, the data associated with the user ID is logically sorted in the user ID order and stored in the first database 220 In the optimization processing unit 110 instructing the first database system 200 and the first database 220, the data logically sorted by the instruction of the optimization processing unit 110 is read out, [having a plurality of servers, A distributed database that stores data associated with the same user ID in one server, refers to a list of user IDs of data stored in each server, and a storage destination of data instructed by the parallel storage processing unit 110 Parallel storage processing unit 120 instructing the second database system 300 to determine , By providing the can improve the update speed of the data.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。   As mentioned above, although the form for carrying out the present invention was explained using an embodiment, the present invention is not limited at all by such an embodiment, and various modification and substitution within the range which does not deviate from the gist of the present invention Can be added.

１００ データベース連携システム
１１０ 最適化処理部
１２０ 並列格納処理部
２００ 第１データベースシステム
２１０ 第１ＤＢＭＳ
２２０ 第１データベース
３００ 第２データベースシステム
３１０ 第２ＤＢＭＳ
３２０ 第２データベース 100 Database linkage system 110 Optimization processing unit 120 Parallel storage processing unit 200 First database system 210 First DBMS
220 first database 300 second database system 310 second DBMS
320 Second Database

Claims (5)

識別情報に対応付けられたデータを、前記識別情報順に論理的にソートして第１データベースに格納するように、前記第１データベースを含む第１データベースシステムに指示する最適化処理部と、
前記第１データベースから、前記最適化処理部の指示によって論理的にソートされたデータを読み出して、第２データベースに格納するように、前記第２データベースを含む第２データベースシステムに指示する並列格納処理部と、を備え、
前記第２データベースシステムは、複数のサーバを有し、同じ識別情報に対応付けられたデータを一つのサーバに格納する分散データベースシステムであり、各サーバと識別情報との対応関係を示すリストを参照し、前記並列格納処理部により指示されたデータの格納先のサーバを決定する、
データベース連携システム。 An optimization processing unit that instructs the first database system including the first database to logically sort the data associated with the identification information in the order of the identification information and store the data in the first database;
Parallel storage processing for instructing a second database system including the second database to read data logically sorted by the instruction of the optimization processing unit from the first database and store the data in the second database With the department,
The second database system is a distributed database system which has a plurality of servers and stores data associated with the same identification information in one server, and refers to a list showing correspondence between each server and identification information And determining a server for storing data instructed by the parallel storage processing unit,
Database linkage system. 前記第１データベースは、前記第２データベースよりも多い複数のサーバを有し、同じ識別情報に対応付けられたデータを一つのサーバに格納する分散データベースである、
請求項１記載のデータベース連携システム。 The first database is a distributed database that has a plurality of servers more than the second database, and stores data associated with the same identification information in one server.
The database cooperation system according to claim 1. 前記最適化処理部と前記並列格納処理部は、同じ周期で処理を実行する、
請求項１または２記載のデータベース連携システム。 The optimization processing unit and the parallel storage processing unit execute processing in the same cycle,
The database cooperation system according to claim 1 or 2. コンピュータが、
識別情報に対応付けられたデータを、前記識別情報順に論理的にソートして第１データベースに格納するように、前記第１データベースを含む第１データベースシステムに指示する最適化処理と、
前記第１データベースから、前記最適化処理部の指示によって論理的にソートされたデータを読み出して、第２データベースに格納するように、前記第２データベースを含む第２データベースシステムに指示する並列格納処理と、を実行し、
前記第２データベースシステムは、複数のサーバを有し、同じ識別情報に対応付けられたデータを一つのサーバに格納する分散データベースシステムであり、各サーバと識別情報との対応関係を示すリストを参照し、前記並列格納処理部により指示されたデータの格納先のサーバを決定するものである、
データベース連携方法。 The computer is
Optimization processing for instructing a first database system including the first database to logically sort data associated with identification information in the order of the identification information and store the data in the first database;
Parallel storage processing for instructing a second database system including the second database to read data logically sorted by the instruction of the optimization processing unit from the first database and store the data in the second database And
The second database system is a distributed database system which has a plurality of servers and stores data associated with the same identification information in one server, and refers to a list showing correspondence between each server and identification information And determining the server of the storage destination of the data instructed by the parallel storage processing unit,
Database linkage method. コンピュータに、
識別情報に対応付けられたデータを、前記識別情報順に論理的にソートして第１データベースに格納するように、前記第１データベースを含む第１データベースシステムに指示する最適化処理と、
前記第１データベースから、前記最適化処理部の指示によって論理的にソートされたデータを読み出して、第２データベースに格納するように、前記第２データベースを含む第２データベースシステムに指示する並列格納処理と、を実行させ、
前記第２データベースシステムは、複数のサーバを有し、同じ識別情報に対応付けられたデータを一つのサーバに格納する分散データベースシステムであり、各サーバと識別情報との対応関係を示すリストを参照し、前記並列格納処理部により指示されたデータの格納先のサーバを決定するものである、
プログラム。 On the computer
Optimization processing for instructing a first database system including the first database to logically sort data associated with identification information in the order of the identification information and store the data in the first database;
Parallel storage processing for instructing a second database system including the second database to read data logically sorted by the instruction of the optimization processing unit from the first database and store the data in the second database And let
The second database system is a distributed database system which has a plurality of servers and stores data associated with the same identification information in one server, and refers to a list showing correspondence between each server and identification information And determining the server of the storage destination of the data instructed by the parallel storage processing unit,
program.
JP2017079545A 2017-04-13 2017-04-13 Database linkage system, database linkage method, and program Active JP6967870B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017079545A JP6967870B2 (en) 2017-04-13 2017-04-13 Database linkage system, database linkage method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017079545A JP6967870B2 (en) 2017-04-13 2017-04-13 Database linkage system, database linkage method, and program

Publications (2)

Publication Number Publication Date
JP2018180933A true JP2018180933A (en) 2018-11-15
JP6967870B2 JP6967870B2 (en) 2021-11-17

Family

ID=64276680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017079545A Active JP6967870B2 (en) 2017-04-13 2017-04-13 Database linkage system, database linkage method, and program

Country Status (1)

Country Link
JP (1) JP6967870B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041574A (en) * 2011-07-21 2013-02-28 Hitachi Ltd Information processing system operation management device, operation management method and operation management program
JP2014078085A (en) * 2012-10-09 2014-05-01 Fujitsu Ltd Execution control program, execution control method and information processor
WO2015037205A1 (en) * 2013-09-11 2015-03-19 日本電気株式会社 Data processing system, data processing method, and program recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041574A (en) * 2011-07-21 2013-02-28 Hitachi Ltd Information processing system operation management device, operation management method and operation management program
JP2014078085A (en) * 2012-10-09 2014-05-01 Fujitsu Ltd Execution control program, execution control method and information processor
WO2015037205A1 (en) * 2013-09-11 2015-03-19 日本電気株式会社 Data processing system, data processing method, and program recording medium

Also Published As

Publication number Publication date
JP6967870B2 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
US11288282B2 (en) Distributed database systems and methods with pluggable storage engines
US20230126005A1 (en) Consistent filtering of machine learning data
US11669510B2 (en) Parallel processing of disjoint change streams into a single stream
US20190057101A1 (en) Efficient deletion of archive records after expiration of a tenant-defined retention period
US10366053B1 (en) Consistent randomized record-level splitting of machine learning data
US11100420B2 (en) Input processing for machine learning
US9996593B1 (en) Parallel processing framework
US9767040B2 (en) System and method for generating and storing real-time analytics metric data using an in memory buffer service consumer framework
JP6720626B2 (en) Removal of outdated items in curated content
CN106030573A (en) Implementation of semi-structured data as a first-class database element
CN110019267A (en) A kind of metadata updates method, apparatus, system, electronic equipment and storage medium
JP6383110B2 (en) Data search method, apparatus and terminal
WO2020211367A1 (en) Data crawling method and apparatus, computer device and storage medium
WO2014117295A1 (en) Performing an index operation in a mapreduce environment
JP2014078085A (en) Execution control program, execution control method and information processor
US10831709B2 (en) Pluggable storage system for parallel query engines across non-native file systems
WO2015001596A1 (en) Series data parallel analysis infrastructure and parallel distributed processing method therefor
US9747295B1 (en) Updating a large dataset in an enterprise computer system
Serbanescu et al. A formal method for rule analysis and validation in distributed data aggregation service
JP6967870B2 (en) Database linkage system, database linkage method, and program
Ruldeviyani et al. Enhancing query performance of library information systems using NoSQL DBMS: Case study on library information systems of Universitas Indonesia
JP5519832B1 (en) Recommendation system, recommendation server, recommendation method, and recommendation program
US20180032270A1 (en) Preventing write amplification during frequent data updates
US11494382B2 (en) Optimization of first set of ordered items
US20240004868A1 (en) Deferred computation of entity states in a software platform

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211026

R150 Certificate of patent or registration of utility model

Ref document number: 6967870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350