JP2010044571A - Database device, data management method and program therefore - Google Patents

Database device, data management method and program therefore Download PDF

Info

Publication number
JP2010044571A
JP2010044571A JP2008208003A JP2008208003A JP2010044571A JP 2010044571 A JP2010044571 A JP 2010044571A JP 2008208003 A JP2008208003 A JP 2008208003A JP 2008208003 A JP2008208003 A JP 2008208003A JP 2010044571 A JP2010044571 A JP 2010044571A
Authority
JP
Japan
Prior art keywords
data
partition
access frequency
database
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008208003A
Other languages
Japanese (ja)
Inventor
Ikuo Shirakawa
育男 白川
Yukiharu Imafuku
幸春 今福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Wave Corp
Original Assignee
NTT Data Wave Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Wave Corp filed Critical NTT Data Wave Corp
Priority to JP2008208003A priority Critical patent/JP2010044571A/en
Publication of JP2010044571A publication Critical patent/JP2010044571A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a database device which prevents an increase in costs due to requirement for storing/searching large-scale data, and increases efficiency in storage/search processing. <P>SOLUTION: A data group to be less frequently accessed is usually stored in a backup database 106, and restored in a restoration database 108 for use as necessary. The backup database 106 is equipped with a storage medium whose storage capacity can be increased as a storage medium, while the restoration database 108 is equipped with only an expensive storage medium such as a high-speed disk device whose storage capacity cannot be easily increased. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、記憶領域が論理的に分割されたパーティションを複数有し、それら複数のパーティションそれぞれに、異なるデータ群を格納するデータベース装置及びデータ管理方法ならびにそのプログラムに関する。   The present invention relates to a database apparatus, a data management method, and a program for storing a plurality of partitions in which a storage area is logically divided and storing different data groups in each of the plurality of partitions.

公共機関や企業で扱う情報の量は、年々飛躍的に増加している。そして、それらの情報を保存管理および検索できるシステムとしてデータベースが利用されており、関連するデータベースの技術として、特許文献1〜特許文献3の技術が開示されている。ここで、特許文献1には、データベース容量の大規模化に伴ってデータベース格納領域を追加する場合に当該追加したデータベース格納領域へのデータの再配置を行なう技術が開示されており、この技術において、データの分割にハッシュマップを用いる方法が示されている。また特許文献2には、大規模データベースへの追加処理を行う際に、既存データに影響を及ぼさないようにすると共に、異常終了時の復旧処理を軽減する技術が開示されている。また特許文献3には、アクセス頻度の高いデータ保存領域を分割・再編成する方法が開示されている。
特開2000−276382号公報 特開2001−142752号公報 特開平6−139119号公報
The amount of information handled by public institutions and companies is increasing dramatically year by year. A database is used as a system capable of storing and managing such information, and the techniques of Patent Documents 1 to 3 are disclosed as related database techniques. Here, Patent Document 1 discloses a technique for rearranging data in an added database storage area when adding a database storage area as the database capacity increases. A method of using a hash map for data division is shown. Patent Document 2 discloses a technique for reducing the recovery process at the time of abnormal termination while preventing the existing data from being affected when performing an addition process to a large-scale database. Patent Document 3 discloses a method of dividing / reorganizing a data storage area with high access frequency.
JP 2000-276382 A JP 2001-142752 A JP-A-6-139119

ここで、大量の情報の保存・検索において問題となるのが、保存データの量が大量である場合、そのデータ保存コストが増大すること、また保存・検索の処理時間が大きくなることである。またデータ量が大量である場合、障害対策としてのバックアップとリカバリの処理時間も増大し、運用コストが増加する。   Here, the problem in storing / retrieving a large amount of information is that when the amount of stored data is large, the data storage cost increases and the processing time of the storage / retrieval increases. In addition, when the amount of data is large, the backup and recovery processing time as a countermeasure against the failure also increases, and the operation cost increases.

そこでこの発明は、大規模データの保存・検索要求に対するコストの増大を防ぎ、保存・検索処理の効率を上げることのできるデータベース装置及びデータ管理方法ならびにそのプログラムを提供することを目的としている。   SUMMARY OF THE INVENTION An object of the present invention is to provide a database apparatus, a data management method, and a program thereof that can prevent an increase in cost for a large-scale data storage / retrieval request and increase the efficiency of the storage / retrieval process.

上記目的を達成するために、本発明は、記憶領域が論理的に分割されたパーティションを複数有し、それら複数のパーティションそれぞれに、異なるデータ群を格納するデータベース装置であって、アクセス頻度が閾値未満のデータ群をそれぞれ格納する複数の前記パーティションを有し記憶容量の増量できる低アクセス頻度記憶手段と、前記アクセス頻度が前記閾値以上のデータ群をそれぞれ格納する複数の前記パーティションを有する高アクセス頻度記憶手段と、前記低アクセス頻度記憶手段のパーティションに格納されたデータを一時的に記憶する復元データ記憶領域を有する、記憶容量が限られた復元データ記憶手段と、前記パーティションの識別情報と、当該パーティションの前記高アクセス頻度記憶手段または前記低アクセス頻度記憶手段の何れかにおける記憶位置とを対応付けて記憶するパーティション位置記憶手段と、新たな処理対象のデータ入力に基づいて、当該新たな処理対象のデータに関する処理を行う前記パーティションの識別情報を特定するパーティション識別情報特定手段と、前記特定したパーティション識別情報が前記低アクセス頻度記憶手段の記憶位置を示す場合に、当該記憶位置に基づいて前記低アクセス頻度記憶手段の該当パーティション内のデータ群を前記復元データ記憶領域の復元パーティションに一時復元する低アクセスデータ群復元手段と、前記特定したパーティション識別情報に基づいて、前記高アクセス頻度記憶手段の高アクセスデータ記憶領域または前記復元データ記憶手段の前記復元データ記憶領域の何れかのパーティションに対し、前記新たな処理対象のデータに関する処理を行う記憶データ処理手段と、を備えることを特徴とするデータベース装置である。   In order to achieve the above object, the present invention provides a database device having a plurality of partitions in which a storage area is logically divided and storing different data groups in each of the partitions, and the access frequency is a threshold value. A low access frequency storage means having a plurality of partitions each storing less than a data group and capable of increasing storage capacity, and a high access frequency having a plurality of partitions storing data groups each having an access frequency equal to or greater than the threshold value A storage means, a restored data storage area having a restored data storage area for temporarily storing data stored in a partition of the low access frequency storage means, a storage capacity limited storage data, identification information of the partition, and The high access frequency storage means of the partition or the low access frequency Identifying identification information of the partition that performs processing related to the new processing target data based on the data input of the new processing target based on the partition position storage unit that stores the storage position in association with any of the storage units Partition identification information specifying means, and when the specified partition identification information indicates the storage location of the low access frequency storage means, the data group in the corresponding partition of the low access frequency storage means based on the storage location Low access data group restoring means for temporarily restoring to the restored partition of the restored data storage area, and the high access data storage area of the high access frequency storage means or the restoration of the restored data storage means based on the specified partition identification information Any partition of the data storage area To a database system, characterized in that it comprises a storage data processing means for performing processing on the data of the new processing target.

また本発明は、上述のデータベース装置が、前記パーティションのうち、前記新たな処理対象のデータに関する処理に基づくアクセスを行ったパーティションを記憶するアクセス履歴記憶手段と、前記アクセスを行ったパーティション内のデータ群のみを、バックアップ装置へバックアップするバックアップ手段と、を備えることを特徴とする。   Further, according to the present invention, the database apparatus described above includes an access history storage unit that stores a partition that has been accessed based on the processing related to the new data to be processed, and data in the partition that has performed the access. Backup means for backing up only the group to a backup device.

また本発明は、記憶領域が論理的に分割されたパーティションを複数有し、それら複数のパーティションそれぞれに、異なるデータ群を格納するデータベース装置であって、新たな処理対象のデータ入力に基づいて、当該新たな処理対象のデータに関する処理を行うパーティションの識別情報を特定するパーティション識別情報特定手段と、前記特定したパーティション識別情報に基づいて、データ記憶手段のパーティションに対し、前記新たな処理対象のデータに関する処理を行う記憶データ処理手段と、前記新たな処理対象のデータに関する処理に基づくアクセスを行ったパーティションを記憶するアクセス履歴記憶手段と、前記アクセスを行ったパーティション内のデータ群のみを、バックアップ装置へバックアップするバックアップ手段と、を備えることを特徴とするデータベース装置である。   Further, the present invention is a database device that has a plurality of partitions in which the storage area is logically divided, and stores a different data group in each of the plurality of partitions, based on a new data input to be processed, Partition identification information specifying means for specifying identification information of a partition performing processing related to the new processing target data, and the new processing target data for the partition of the data storage means based on the specified partition identification information A storage data processing means for performing processing relating to, an access history storage means for storing a partition that has been accessed based on the processing relating to the new data to be processed, and a backup device that stores only a data group in the accessed partition Backup to backup The stage is a database system, characterized in that it comprises a.

また本発明は、上述のデータベース装置が、前記パーティションへの最終アクセス時からの経過期間が当該経過期間の閾値を超えたか否かを判定するアクセス期間判定手段と、前記経過期間がその閾値を超えた場合には、当該経過期間が閾値を超えた前記パーティションを一括削除する一括削除手段と、を備えることを特徴とする。   Further, the present invention provides an access period determination means for determining whether or not the elapsed period from the last access to the partition exceeds a threshold of the elapsed period, and the elapsed period exceeds the threshold. In this case, it is characterized by comprising: batch deleting means for collectively deleting the partitions whose elapsed period exceeds a threshold value.

また本発明は、上述のデータベース装置において、前記記憶データ処理手段は、前記新たな処理対象のデータに関する処理を行う前記パーティションの識別情報が複数に渡る場合には、それら複数のパーティションに対して並列に、該新たな処理対象のデータに関する処理を行うことを特徴とする。   According to the present invention, in the above-described database device, the storage data processing means may be configured to execute parallel processing on the plurality of partitions when there are a plurality of pieces of identification information of the partition that performs processing related to the new processing target data. In addition, a process related to the new data to be processed is performed.

また本発明は、上述のデータベース装置が、前記新たな処理対象のデータ入力に基づいて、当該データを処理データ記憶手段へ一時記録する一時記録手段と、前記記憶データ処理手段は、前記処理データ記憶手段に一時記録された前記新たな処理対象のデータに関する処理を行うことを特徴とする。   Further, according to the present invention, the above-described database device temporarily records the data in the processing data storage unit based on the new data to be processed, and the stored data processing unit stores the processing data storage The processing relating to the new data to be processed temporarily recorded in the means is performed.

また本発明は、記憶領域が論理的に分割されたパーティションを複数有し、それら複数のパーティションそれぞれに、異なるデータ群を格納するデータベース装置におけるデータ管理方法であって、前記データベース装置の記憶容量の増量できる低アクセス頻度記憶手段が、アクセス頻度が閾値未満のデータ群をそれぞれ格納する複数の前記パーティションを有し、前記データベース装置の高アクセス頻度記憶手段が、前記アクセス頻度が前記閾値以上のデータ群をそれぞれ格納する複数の前記パーティションを有し、前記データベース装置の復元データ記憶手段が、前記低アクセス頻度記憶手段のパーティションに格納されたデータを一時的に記憶する復元データ記憶領域を有し、前記データベース装置のパーティション位置記憶手段が、前記パーティションの識別情報と、当該パーティションの前記高アクセス頻度記憶手段または前記低アクセス頻度記憶手段の何れかにおける記憶位置とを対応付けて記憶し、前記データベース装置のパーティション識別情報特定手段が、新たな処理対象のデータ入力に基づいて、当該新たな処理対象のデータに関する処理を行う前記パーティションの識別情報を特定し、前記データベース装置の低アクセスデータ群復元手段が、前記特定したパーティション識別情報が前記低アクセス頻度記憶手段の記憶位置を示す場合に、当該記憶位置に基づいて前記低アクセス頻度記憶手段の該当パーティション内のデータ群を前記復元データ記憶領域の復元パーティションに一時復元し、前記データベース装置の記憶データ処理手段が、前記特定したパーティション識別情報に基づいて、前記高アクセス頻度記憶手段の高アクセスデータ記憶領域または前記復元データ記憶手段の前記復元データ記憶領域の何れかのパーティションに対し、前記新たな処理対象のデータに関する処理を行うことを特徴とするデータベース管理方法である。   The present invention is also a data management method in a database apparatus that has a plurality of partitions in which a storage area is logically divided, and stores different data groups in each of the plurality of partitions, the storage capacity of the database apparatus being The low access frequency storage means that can increase the volume has a plurality of the partitions each storing a data group whose access frequency is less than a threshold value, and the high access frequency storage means of the database device is a data group whose access frequency is the threshold value or more. A plurality of partitions for storing data, and a restoration data storage means of the database device has a restoration data storage area for temporarily storing data stored in the partition of the low access frequency storage means, The partition location storage means of the database device is The partition identification information and the storage location of the partition in either the high access frequency storage means or the low access frequency storage means are stored in association with each other. Based on the data input of the processing target, identification information of the partition that performs processing related to the new processing target data is specified, and the low-access data group restoration unit of the database device determines that the specified partition identification information is the low When the storage location of the access frequency storage means is indicated, the data group in the corresponding partition of the low access frequency storage means is temporarily restored to the restoration partition of the restoration data storage area based on the storage location, and the storage of the database device The data processing means Based on the partition identification information, a process related to the new data to be processed is performed on any partition of the high access data storage area of the high access frequency storage means or the restored data storage area of the restored data storage means This is a database management method characterized by the above.

また本発明は、上述のデータベース管理方法において、前記データベース装置のアクセス履歴記録手段が、前記パーティションのうち、前記新たな処理対象のデータに関する処理に基づくアクセスを行ったパーティションをアクセス履歴記憶手段へ記録し、前記データベース装置のバックアップ手段が、前記アクセスを行ったパーティション内のデータ群のみを、バックアップ装置へバックアップすることを特徴とする。   According to the present invention, in the database management method described above, the access history recording unit of the database device records, in the access history storage unit, a partition that is accessed based on the process related to the new processing target data. The backup unit of the database apparatus backs up only the data group in the accessed partition to the backup apparatus.

また本発明は、アクセス頻度が閾値未満のデータ群をそれぞれ格納する複数のパーティションを有し記憶容量の増量できる低アクセス頻度記憶手段と、前記アクセス頻度が前記閾値以上のデータ群をそれぞれ格納する複数のパーティションを有する高アクセス頻度記憶手段と、前記低アクセス頻度記憶手段のパーティションに格納されたデータを一時的に記憶する復元データ記憶領域を有する、記憶容量が限られた復元データ記憶手段と、前記パーティションの識別情報と、当該パーティションの前記高アクセス頻度記憶手段または前記低アクセス頻度記憶手段の何れかにおける記憶位置とを対応付けて記憶するパーティション位置記憶手段と、を備えた、前記パーティションそれぞれに、異なるデータ群を格納するデータベース装置のコンピュータを、新たな処理対象のデータ入力に基づいて、当該新たな処理対象のデータに関する処理を行う前記パーティションの識別情報を特定するパーティション識別情報特定手段、前記特定したパーティション識別情報が前記低アクセス頻度記憶手段の記憶位置を示す場合に、当該記憶位置に基づいて前記低アクセス頻度記憶手段の該当パーティション内のデータ群を前記復元データ記憶領域の復元パーティションに一時復元する低アクセスデータ群復元手段、前記特定したパーティション識別情報に基づいて、前記高アクセス頻度記憶手段の高アクセスデータ記憶領域または前記復元データ記憶手段の前記復元データ記憶領域の何れかのパーティションに対し、前記新たな処理対象のデータに関する処理を行う記憶データ処理手段、として機能させるためのプログラムである。   The present invention also includes a low access frequency storage means having a plurality of partitions each storing a data group having an access frequency less than a threshold and capable of increasing the storage capacity, and a plurality of data groups each storing the data group having the access frequency equal to or greater than the threshold A high-access-frequency storage unit having a partition, a restored-data storage unit having a limited storage capacity, and a restored-data storage area that temporarily stores data stored in the partition of the low-access frequency storage unit, Each of the partitions, comprising partition identification information and partition location storage means for storing the partition in association with the storage location of either the high access frequency storage means or the low access frequency storage means of the partition, A database device that stores different data groups. A partition identification information identifying means for identifying identification information of the partition that performs processing related to the new data to be processed based on data input of the new processing target, and the identified partition identification information is the low access frequency A low access data group restoring means for temporarily restoring a data group in a corresponding partition of the low access frequency storage means to a restored partition of the restored data storage area based on the storage position when indicating a storage position of the storage means; Based on the identified partition identification information, the processing related to the new data to be processed for any partition in the high access data storage area of the high access frequency storage means or the restored data storage area of the restored data storage means Storage data processing means for performing Is a program to function.

また本発明は、上記各手段に加え、前記データベース装置のコンピュータを、さらに、前記パーティションのうち、前記新たな処理対象のデータに関する処理に基づくアクセスを行ったパーティションを記憶するアクセス履歴記憶手段、前記アクセスを行ったパーティション内のデータ群のみを、バックアップ装置へバックアップするバックアップ手段、として機能させるためのプログラムである。   In addition to the above-described means, the present invention further includes an access history storage means for storing the computer of the database device, and further storing, among the partitions, a partition that has been accessed based on a process related to the new data to be processed. This is a program for causing only the data group in the accessed partition to function as backup means for backing up to a backup device.

本発明によれば、低頻度でアクセスされるデータ群は、通常は低アクセス頻度記憶手段に格納されており、必要な時のみ復元データ記憶手段に復元されて利用される。そして、低アクセス頻度記憶手段は記憶媒体として記憶容量を増量することができる記憶媒体を備えることのできるデータベースであり、復元データ記憶手段は、高速ディスク装置などの高価で容易に増量することのできない記憶媒体のみを備えたものである。これにより、大量な低頻度なアクセスのデータについては、安価で容易に増量できる記録媒体を備えた低アクセス頻度記憶手段に記録しておき、必要なときのみ復元データ記憶手段に復元し、また高アクセス頻度記憶手段の容量は一定の容量以下に保つこととなるので、高価な記録媒体を増量する必要がなくなり、膨大なデータの管理におけるコストの低減を行なうことができる。   According to the present invention, the data group accessed at low frequency is normally stored in the low access frequency storage means, and is restored to the restored data storage means and used only when necessary. The low access frequency storage means is a database that can be provided with a storage medium that can increase the storage capacity as a storage medium, and the restored data storage means cannot be increased easily because of high cost such as a high-speed disk device. Only a storage medium is provided. As a result, a large amount of infrequently accessed data is recorded in a low access frequency storage means having a recording medium that can be easily increased at a low cost, and is restored to the restored data storage means only when necessary. Since the capacity of the access frequency storage means is kept below a certain capacity, it is not necessary to increase the amount of expensive recording media, and the cost for managing enormous data can be reduced.

また本発明によれば、アクセス履歴記憶手段が、アクセス(データ更新等)を行なったデータを格納するパーティションについて、アクセス有無の情報をアクセス「無」から「有」に変更して記憶している。そしてバックアップ・リカバリ処理部は、パーティション管理部の保持するパーティション管理テーブルからアクセス有無の情報が「有」と登録されているパーティション名を読み取り、そのパーティション名に対応するパーティション内のデータをバックアップ装置に書き込む処理を行なう。これにより、高アクセス頻度記憶部に格納されている全てのパーティションのデータをバックアップ処理しなくて済むため、バックアップ処理に係る時間および能力を軽減することができる。   Further, according to the present invention, the access history storage means stores the access presence / absence information for the partition storing the accessed data (data update or the like) by changing the access status from “No” to “Yes”. . Then, the backup / recovery processing unit reads the partition name for which access status information is registered as “Yes” from the partition management table held by the partition management unit, and stores the data in the partition corresponding to the partition name to the backup device. Write process. As a result, it is not necessary to back up the data of all the partitions stored in the high access frequency storage unit, so that the time and capacity related to the backup processing can be reduced.

また本発明によれば、データ検索において、データ検索の開始要求に複数の検索対象の情報が記録されている場合には特定するパーティションキー値が複数となり、これにより複数の異なるパーティションから検索処理を行なう必要のある場合がある。このような場合には、データ検索処理部は、複数のパーティションそれぞれを並列に検索処理する。これにより膨大なデータ量の中から検索を行う場合において、1つのパーティションの中から順次検索を行う場合に比べて、複数にデータ分割された各パーティションの中から並列に検索を行うため、検索時の検索処理を短時間で行なうことができる。   Further, according to the present invention, in the data search, when a plurality of search target information is recorded in the data search start request, a plurality of partition key values are specified, and thereby search processing is performed from a plurality of different partitions. You may need to do it. In such a case, the data search processing unit searches each of the plurality of partitions in parallel. As a result, when searching from an enormous amount of data, the search is performed in parallel from each partition divided into multiple data, compared to when searching sequentially from one partition. The search process can be performed in a short time.

以下、本発明の一実施形態によるデータベース装置を図面を参照して説明する。
図1は同実施形態によるデータベース装置の構成を示すブロック図である。
この図において、符号1はデータベース装置である。そして、データベース装置1は、データ更新部101、パーティション管理部102(パーティション位置記憶手段、アクセス履歴記憶手段)、更新用ワークデータ処理部103(一時記録手段)、高アクセス頻度データベース104(高アクセス頻度記憶手段)、バックアップ・リカバリ処理部105(バックアップ手段)、バックアップデータベース106(低アクセス頻度記憶手段)、データ復元処理部107、復元データベース108(復元データ記憶手段)、データ検索処理部109を備えている。
Hereinafter, a database apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of the database apparatus according to the embodiment.
In this figure, reference numeral 1 denotes a database device. The database apparatus 1 includes a data update unit 101, a partition management unit 102 (partition location storage unit, access history storage unit), an update work data processing unit 103 (temporary recording unit), and a high access frequency database 104 (high access frequency). Storage means), a backup / recovery processing unit 105 (backup means), a backup database 106 (low access frequency storage means), a data restoration processing unit 107, a restoration database 108 (restored data storage means), and a data search processing unit 109. Yes.

そして、データ更新部101は、新規に受け付けたデータのデータベースへの更新の処理等を行なう。またパーティション管理部102は、データの格納先となるパーティションを有するデータベースを特定するための情報や、データの書き込み等の更新が行なわれたパーティションの情報等を記憶する。また更新用ワークデータ処理部103はデータ更新部101が処理するデータをデータベース内に一時的に格納し、データベースへ格納する処理を行なう。また、高アクセス頻度データベース104は、データのうち、高頻度でアクセスされるデータを記憶し、バックアップデータベース106は、高頻度または低頻度でアクセスされる両方のデータを記憶し、復元データベース108は、低頻度でアクセスされるデータが一時的にバックアップデータベース106から復元される記憶領域を有している。   Then, the data update unit 101 performs a process of updating the newly received data to the database. Further, the partition management unit 102 stores information for specifying a database having a partition that is a data storage destination, information on a partition that has been updated such as data writing, and the like. The update work data processing unit 103 temporarily stores data to be processed by the data update unit 101 in the database, and stores the data in the database. The high access frequency database 104 stores data that is frequently accessed, the backup database 106 stores both data that is accessed frequently or infrequently, and the restoration database 108 includes: It has a storage area where data accessed at low frequency is temporarily restored from the backup database 106.

そして、本実施形態によるデータベース装置1内の各データベースは、記憶領域が論理的に分割されたパーティションを複数有し、それら複数のパーティションそれぞれに、異なるデータ群を格納している。そしてデータベース装置1は、アクセス頻度が閾値未満のデータ群をそれぞれ格納する複数の前記パーティションを主にバックアップデータベース106が記憶し、当該記憶容量が増量できるよう構成されている。またバックアップデータベースには高頻度でアクセスされるデータを格納するパーティションのバックアップ用にも利用される。また高アクセス頻度データベース104は、アクセス頻度が閾値以上のデータ群をそれぞれ格納する複数のパーティションを有している。また、復元データベース108は、バックアップデータベース106のパーティションに格納されたデータを一時的に記憶する復元データ記憶領域を有し、記憶容量が限られた記憶装置を備えている。また、パーティション管理部102は、パーティションの識別情報(パーティションID)と、当該パーティションの高アクセス頻度データベース104または復元データベース108の何れかにおける記憶位置とを対応付けて記憶している。   Each database in the database apparatus 1 according to the present embodiment has a plurality of partitions whose storage areas are logically divided, and stores a different data group in each of the plurality of partitions. The database device 1 is configured such that the backup database 106 mainly stores a plurality of the partitions storing data groups whose access frequencies are less than a threshold, and the storage capacity can be increased. The backup database is also used for backing up partitions that store frequently accessed data. In addition, the high access frequency database 104 has a plurality of partitions for storing data groups whose access frequencies are equal to or higher than a threshold value. Further, the restoration database 108 has a restoration data storage area for temporarily storing data stored in the partition of the backup database 106, and includes a storage device having a limited storage capacity. Further, the partition management unit 102 stores the partition identification information (partition ID) and the storage location of the partition in either the high access frequency database 104 or the restoration database 108 in association with each other.

そして、更新用ワークデータ処理部103(パーティション識別情報特定手段)またはデータ検索処理部109(パーティション識別情報特定手段)が、新たな処理対象のデータ入力に基づいて、当該新たな処理対象のデータに関する処理を行うパーティションの識別情報(パーティションキー値)を特定する。そして、データ復元処理部107(低アクセスデータ群復元手段)は、特定したパーティション識別情報がバックアップデータベース106の記憶位置を示すと判定した場合には、当該記憶位置に基づいてバックアップデータベース106の該当パーティション内のデータ群を、データ復元処理部107の復元パーティションに一時復元する。また更新用ワークデータ処理部103(記憶データ処理手段)またはデータ検索処理部109(記憶データ処理手段)は、特定したパーティション識別情報に基づいて、高アクセス頻度データベース104の高アクセスデータ記憶領域または復元データベース108の復元データ記憶領域の何れかのパーティションに対し、新たな処理対象のデータに関する処理を行う。   The update work data processing unit 103 (partition identification information specifying unit) or the data search processing unit 109 (partition identification information specifying unit) relates to the new processing target data based on the new processing target data input. Identify identification information (partition key value) of the partition to be processed. When the data restoration processing unit 107 (low access data group restoring means) determines that the specified partition identification information indicates the storage location of the backup database 106, the corresponding partition of the backup database 106 is based on the storage location. Is temporarily restored to the restoration partition of the data restoration processing unit 107. Further, the update work data processing unit 103 (stored data processing unit) or the data search processing unit 109 (stored data processing unit) performs the high access data storage area or restoration of the high access frequency database 104 based on the specified partition identification information. For any partition in the restored data storage area of the database 108, processing related to new data to be processed is performed.

次に、パーティション管理部が記憶するデータテーブルについて説明する。
図2はパーティション管理テーブルのデータ例を示す図である。
図2で示すパーティション管理テーブルは、パーティション管理部102が記憶しているものであり、パーティション名称、パーティションキー値、データベース種別、更新有無の各情報を記憶している。ここで、パーティションキー値とは、データを格納するパーティションを特定するための情報であり、例えば、パーティションが、西暦2008年,2007年,2006年のデータを記憶する領域として分かれている場合には、入力されたデータに関する西暦情報がパーティションキー値として取得され、そのパーティションキー値に基づいて、パーティションが特定されることとなる。またデータベース種別は、対応するパーティション名称で示されるパーティションの記憶領域を有するデータベース(高アクセス頻度データベース104または復元データベース108)を特定する情報である。なお、アクセスが低頻度なデータの格納するパーティションは、通常はバックアップデータベース106に格納されているが、そのデータへのアクセス時には、当該データの格納されたパーティション内の全体のデータが、バックアップデータベース106から復元データベース108内に一時的に復元される。
Next, a data table stored in the partition management unit will be described.
FIG. 2 is a diagram illustrating an example of data in the partition management table.
The partition management table shown in FIG. 2 is stored by the partition management unit 102, and stores information such as partition name, partition key value, database type, and update presence / absence. Here, the partition key value is information for specifying a partition for storing data. For example, when the partition is divided as an area for storing data of the years 2008, 2007, and 2006. The AD information about the input data is acquired as a partition key value, and the partition is specified based on the partition key value. The database type is information for specifying a database (the high access frequency database 104 or the restoration database 108) having the storage area of the partition indicated by the corresponding partition name. The partition storing data with low access frequency is normally stored in the backup database 106. However, when accessing the data, the entire data in the partition storing the data is stored in the backup database 106. Are temporarily restored in the restoration database 108.

図3は更新用ワークデータ処理部で一時記憶するデータ例を示す図である。
この図が示すように、更新用ワークデータ処理部103では、データ更新部101が受け付けた新たな処理対象のデータが一時記録される。なお図3に示す例では、新たな処理対象のデータが、販売データである場合の例を示しており、例えば、処理番号(No)、取引年月日、取引先、販売担当者、販売した商品の品番、販売数量、販売金額、データ更新済みフラグが対応付けられて記録される。ここで、図3で示すような販売データでは、パーティションキー値として、例えば取引年月日が利用される。各データベースにおいて記録されているパーティションが、取引年月日の西暦によって別れている場合には、処理対象のデータから取引年月日がパーティションキー値として読み取られ、その情報から西暦を特定する。そして、その西暦に対応するパーティションに対して処理(書き込み、更新、読み込み等)を行なう。またこの他、パーティションキー値が商品の品番であり、パーティションが品番毎に分割されていても良いし、パーティションキー値が取引先の情報となり、パーティションが取引先毎に分割されていてもよい。なお、更新用ワークデータ処理部103のデータベースに処理対象のデータが一時的に格納されるため、処理対象として入力を受け付けたデータに基づくデータベースの書き込みや更新などの処理に障害が発生した場合でも、そのデータを容易に復旧可能となる。
FIG. 3 is a diagram showing an example of data temporarily stored in the update work data processing unit.
As shown in the figure, the update work data processing unit 103 temporarily records new processing target data received by the data update unit 101. The example shown in FIG. 3 shows an example in which the new data to be processed is sales data. For example, the processing number (No), transaction date, supplier, sales representative, sold The product number, sales quantity, sales amount, and data updated flag are recorded in association with each other. Here, in the sales data as shown in FIG. 3, for example, the transaction date is used as the partition key value. When the partition recorded in each database is separated by the transaction date, the transaction date is read from the data to be processed as a partition key value, and the year is specified from the information. Then, processing (writing, updating, reading, etc.) is performed on the partition corresponding to the year. In addition, the partition key value may be the product number of the product, and the partition may be divided for each product number, or the partition key value may be information on the business partner, and the partition may be divided for each business partner. Note that because the data to be processed is temporarily stored in the database of the update work data processing unit 103, even if a failure occurs in processing such as writing or updating the database based on the data received as the processing target. The data can be easily recovered.

図4はデータアクセス時の処理概要を示す図である。
この図が示すように、更新用ワークデータ処理部103は、自身で保持するデータベース内に一時的に格納されたデータに関する処理を行なう。そして、その際、格納されたデータからパーティションキー値を特定し、そのパーティションキー値に対応してパーティション管理テーブルに記録されているパーティション名と、そのパーティションの記憶領域を有するデータベース(高アクセス頻度データベース104または復元データベース108)を取得する。そして、更新用ワークデータ処理部103は、特定したパーティション名とそのパーティションの記憶領域を有するデータベース先から、新たな処理対象のデータについて処理を行なうパーティションを特定し、そのパーティションに対して該新たな処理対象のデータの新規書き込み、または更新、または読み出しの処理を行なう。なお、パーティション名に対応するデータベースの記憶領域における論理位置は、例えばパーティション管理部102で記憶されており、その情報に基づいてデータベースの記憶領域における論理位置をパーティションの記憶領域の開始位置と判断すればよい。
FIG. 4 is a diagram showing an outline of processing at the time of data access.
As shown in this figure, the update work data processing unit 103 performs processing related to data temporarily stored in a database held by itself. At that time, the partition key value is identified from the stored data, and the partition name recorded in the partition management table corresponding to the partition key value and the database having the storage area of the partition (high access frequency database) 104 or the restoration database 108). Then, the update work data processing unit 103 specifies a partition to be processed for the new data to be processed from the database destination having the specified partition name and the storage area of the partition, and the new work data is processed for the partition. Processing for new writing, updating, or reading of data to be processed is performed. The logical position in the database storage area corresponding to the partition name is stored in, for example, the partition management unit 102. Based on the information, the logical position in the database storage area is determined as the start position of the partition storage area. That's fine.

また、更新用ワークデータ処理部103は、新たな処理対象のデータのパーティションキー値に対応するパーティション名や、そのパーティションの記憶領域を有するデータベースが記録されていない場合には、その新たな処理対象のデータが、低アクセス頻度のデータ群としてバックアップデータベース106に記録されていると判定し、データ復元部107にデータ復元要求を行う。このデータ復元要求には、新たな処理対象のデータのパーティションキー値が格納されている。そして、データ復元処理部107は、データ復元要求に格納されているパーティションキー値から、バックアップデータベース106内のパーティションを特定し、そのパーティションに格納されている圧縮されたデータ群を解凍処理し、復元データベース108に書き込むことにより、復元データベース108において、バックアップデータベース106に格納されていたパーティション内のデータを復元する。   In addition, the update work data processing unit 103, when the database having the partition name corresponding to the partition key value of the new data to be processed and the storage area of the partition is not recorded, Is stored in the backup database 106 as a data group with low access frequency, and a data restoration request is made to the data restoration unit 107. This data restoration request stores the partition key value of the new data to be processed. The data restoration processing unit 107 identifies a partition in the backup database 106 from the partition key value stored in the data restoration request, decompresses the compressed data group stored in the partition, and restores the data. By writing to the database 108, the data in the partition stored in the backup database 106 is restored in the restoration database 108.

つまり、低頻度でアクセスされるデータ群は、通常はバックアップデータベース106に格納されており、必要な時のみ復元データベース108に復元されて利用される。ここで、バックアップデータベース106は記憶媒体として記憶容量を増量することができる記憶媒体を備えることのできるデータベースである。例えば、安価で増量できる磁気テープなどを複数備えることができる。他方、高アクセス頻度データベース104や復元データベース108は、高速ディスク装置などの高価で容易に増量することのできない記憶媒体のみを備えたものである。そして、大量な低頻度なアクセスのデータについては、上記のような安価で容易に増量できる記録媒体を備えたバックアップデータベース106に記録しておき、必要なときのみ復元データベース108に復元し、また高アクセス頻度データベース104の容量は一定の容量以下に保つこととなるので、高価な記録媒体を増量する必要がなくなり、これにより、膨大なデータの管理におけるコストの低減を行なうことができる。   That is, the data group accessed at a low frequency is normally stored in the backup database 106 and is restored to the restoration database 108 and used only when necessary. Here, the backup database 106 is a database that can include a storage medium that can increase the storage capacity as a storage medium. For example, a plurality of magnetic tapes that can be increased in price at a low price can be provided. On the other hand, the high access frequency database 104 and the restoration database 108 include only a storage medium such as a high-speed disk device that is expensive and cannot be easily increased. A large amount of infrequently accessed data is recorded in the backup database 106 having a recording medium that can be easily increased at a low price as described above, and is restored to the restoration database 108 only when necessary. Since the capacity of the access frequency database 104 is kept below a certain capacity, it is not necessary to increase the amount of expensive recording media, thereby reducing the cost in managing enormous data.

また、高アクセス頻度データベース104においては、高頻度にアクセスされるデータを記憶しているが、データベースの障害によるデータ毀損等を回避するため、これらのデータについてもバックアップを行なう必要がある。従って、バックアップ・リカバリ処理部105は、高アクセス頻度データベース104内のパーティションに格納されているデータを、バックアップデータベース106に書き込む処理を行なう。ここで、更新用ワークデータ処理部103は、高アクセス頻度データベース104に対して更新処理を行なったデータを格納するパーティションについて、その更新有無を登録するため、パーティション管理テーブル(図2)の更新有無の情報を更新「無」から「有」に変更する。そしてバックアップ・リカバリ処理部105は、パーティション管理部102の保持するパーティション管理テーブル(図2)から、更新有無の情報が「有」と登録されているパーティション名を読み取り、そのパーティション名に対応する高アクセス頻度データベースのパーティション内のデータをバックアップデータベース106に書き込む処理を行なう。これにより、高アクセス頻度データベース104に格納されている全てのパーティションのデータをバックアップ処理しなくて済むため、バックアップ処理に係る時間および能力を軽減することができる。   The high access frequency database 104 stores frequently accessed data. However, in order to avoid data damage due to a database failure, it is necessary to back up these data. Therefore, the backup / recovery processing unit 105 performs a process of writing the data stored in the partition in the high access frequency database 104 to the backup database 106. Here, the update work data processing unit 103 registers the update presence / absence of the partition storing the data subjected to the update process for the high access frequency database 104, so that the partition management table (FIG. 2) is updated. Update the information from “No” to “Yes”. Then, the backup / recovery processing unit 105 reads the partition name in which the update presence / absence information is registered as “present” from the partition management table (FIG. 2) held by the partition management unit 102, and stores the high name corresponding to the partition name. A process of writing data in the partition of the access frequency database to the backup database 106 is performed. As a result, it is not necessary to back up the data of all the partitions stored in the high access frequency database 104, so that the time and capacity related to the backup processing can be reduced.

図5はデータベース装置の処理フローを示す第1の図である。
この図が示すように、まず、データベース装置1においては、データ更新部101が新たな処理対象のデータの入力を受け付け(ステップS501)、更新用ワークデータ処理部103の保持するデータベースに一時格納する(ステップS502)。すると更新用ワークデータ処理部103は、入力を受け付けた処理対象のデータからパーティションキー値を特定し(ステップS503)、そのパーティションキー値に対応付けられてパーティション管理部102に記録されているパーティション管理テーブルから、パーティション名称とデータベース種別を取得する(ステップS504)。そして更新用ワークデータ処理部103は、パーティション名称とデータベース種別に基づいて、処理対象のデータの書き込みまたは読み取りを行なうパーティションの記憶領域の論理位置を特定する。そして、処理対象のデータのパーティションキー値に基づいて、パーティションを特定できたか否かを判定し(ステップS505)、パーティションを特定できた場合には、当該処理対象のデータに対して要求された処理(処理対象データの新規書き込み、更新、読み取りなど)を行なう(ステップS506)。
FIG. 5 is a first diagram showing a processing flow of the database apparatus.
As shown in this figure, first, in the database apparatus 1, the data updating unit 101 receives an input of new data to be processed (step S501), and temporarily stores it in the database held by the update work data processing unit 103. (Step S502). Then, the update work data processing unit 103 identifies the partition key value from the processing target data that has received the input (step S503), and the partition management recorded in the partition management unit 102 in association with the partition key value. A partition name and a database type are acquired from the table (step S504). Then, the update work data processing unit 103 specifies the logical position of the storage area of the partition where the data to be processed is written or read based on the partition name and the database type. Based on the partition key value of the data to be processed, it is determined whether or not the partition has been specified (step S505). If the partition has been specified, the processing requested for the data to be processed is requested. (New writing, updating, reading, etc. of processing target data) is performed (step S506).

またパーティション管理テーブルに記録されている情報に基づいてパーティションを特定できない場合には、バックアップデータベース106に格納されている低アクセス頻度のデータであると判定し、データ復元処理部107にパーティションキー値を格納したデータ復元要求を行なう(ステップS507)。そして、更新用ワークデータ処理部103は、復元データベース108においてデータ復元された後、その復元されたパーティション内に格納されてデータに対して、要求された処理(処理対象データの新規書き込み、更新、読み取りなど)を行なう(ステップS508)。この処理は、当該パーティションにおける処理対象データの新規書き込み、更新、読み取りなどである。そして、更新用ワークデータ処理部103は、データ更新した場合には、その更新したデータを格納するパーティションの名称に対応付けてパーティション管理テーブルに記録される更新有無の情報を「無」から「有」へ書き換える(ステップS509)。   If the partition cannot be identified based on the information recorded in the partition management table, it is determined that the data is the low access frequency data stored in the backup database 106, and the partition key value is stored in the data restoration processing unit 107. A request for restoring the stored data is made (step S507). The update work data processing unit 103 restores the data in the restoration database 108, and then stores the requested data in the restored partition (the new write / update of the processing target data, Reading etc.) (step S508). This processing includes new writing, updating, reading of processing target data in the partition. Then, when updating the data, the update work data processing unit 103 changes the information indicating whether or not the update is recorded in the partition management table in association with the name of the partition storing the updated data from “No” to “Yes”. To "" (step S509).

次に、処理対象のデータに関する処理が終了したかを判定し(ステップS510)、終了した場合には、更新用ワークデータベース103がバックアップ・リカバリ処理部105へバックアップ処理を要求する(ステップS511)。するとバックアップ・リカバリ処理部105は、パーティション管理テーブルにおいて更新有無の情報が「有」となっているパーティション名とデータベース種別とを読み取り、それらパーティション名とデータベース種別に基づいて、バックアップ対象のパーティションを特定する(ステップS512)。そして、バックアップ・リカバリ処理部105は、バックアップ対象と特定したパーティション内のデータを高アクセス頻度データベース104または復元データベース108から読み取って、バックアップデータベース106へ格納する(ステップS513)。なお、バックアップ・リカバリ処理部105は、バックアップするデータを圧縮処理する。   Next, it is determined whether the processing related to the data to be processed has been completed (step S510). If the processing has been completed, the update work database 103 requests the backup / recovery processing unit 105 for backup processing (step S511). Then, the backup / recovery processing unit 105 reads the partition name and database type in which the update presence / absence information is “present” in the partition management table, and identifies the backup target partition based on the partition name and database type. (Step S512). Then, the backup / recovery processing unit 105 reads the data in the partition identified as the backup target from the high access frequency database 104 or the restoration database 108 and stores it in the backup database 106 (step S513). The backup / recovery processing unit 105 compresses data to be backed up.

バックアップ処理が終了すると、次に、更新用ワークデータ処理部103は、データ更新部101からパーティション内の全てのデータの削除の要求が有るかを判定し(ステップS514)、ある場合にはその指定されたパーティション内のデータを当該パーティションごと、高アクセス頻度データベース104または復元データベース108から削除する(ステップS515)。すると、更新用ワークデータ処理部103は、削除したパーティションの名称とそれに対応する各カラムをパーティション管理テーブルから削除して、パーティション管理部102で記憶するパーティション管理テーブルを更新する。またデータ削除の要求が無い場合には、次に、パーティション管理部102が、保存期間の過ぎたパーティションがバックアップデータベース106に有るかを判定する(ステップS516)。そして、保存期間の過ぎたパーティションがバックアップデータベース106にある場合には、パーティション管理部102は、パーティション内のデータを当該パーティションごと、バックアップデータベース106から削除する(ステップS517)。なお、保存期間は、パーティションが作成された日時から現在日時までの経過期間が、パーティション管理部102で記憶しているパーティション有効期間を超えているかの比較によって判定すればよい。   When the backup process is completed, the update work data processing unit 103 determines whether there is a request to delete all data in the partition from the data update unit 101 (step S514). The data in the partitioned partition is deleted from the high access frequency database 104 or the restoration database 108 for each partition (step S515). Then, the update work data processing unit 103 deletes the name of the deleted partition and the corresponding columns from the partition management table, and updates the partition management table stored in the partition management unit 102. If there is no data deletion request, the partition management unit 102 next determines whether the backup database 106 has a partition whose retention period has passed (step S516). If there is a partition whose retention period has passed in the backup database 106, the partition management unit 102 deletes the data in the partition for each partition from the backup database 106 (step S517). Note that the retention period may be determined by comparing whether the elapsed period from the date and time when the partition was created to the current date and time exceeds the partition valid period stored in the partition management unit 102.

図6はデータベース装置の処理フローを示す第2の図である。
次に図6を用いてデータ検索時におけるデータベース装置の処理フローについて説明する。
まず、データ検索処理部109がデータ検索の開始要求を受け付ける(ステップS601)。するとデータ検索処理部109は、入力を受け付けた検索対象のデータからパーティションキー値を特定し(ステップS602)、そのパーティションキー値に対応付けられてパーティション管理部102に記録されているパーティション管理テーブルから、パーティション名称とデータベース種別を取得する(ステップS603)。そして更新用ワークデータ処理部103は、パーティション名称とデータベース種別に基づいて、検索対象のデータの記録されたパーティションの記憶領域の論理位置を特定する。また、データ検索処理部109は、検索対象のデータのパーティションキー値に基づいて、パーティションを特定できたか否かを判定し(ステップS604)、パーティションを特定できた場合には、当該検索対象のデータの検索処理を行なう(ステップS605)。またパーティション管理テーブルに記録されている情報に基づいてパーティションを特定できない場合には、バックアップデータベース106に格納されている低アクセス頻度のデータであると判定し、データ復元処理部107にパーティションキー値を格納したデータ復元要求を行なう(ステップS606)。
FIG. 6 is a second diagram showing the processing flow of the database device.
Next, a processing flow of the database apparatus at the time of data search will be described using FIG.
First, the data search processing unit 109 receives a data search start request (step S601). Then, the data search processing unit 109 identifies the partition key value from the search target data that has received the input (step S602), and from the partition management table recorded in the partition management unit 102 in association with the partition key value. The partition name and the database type are acquired (step S603). Then, the update work data processing unit 103 identifies the logical position of the storage area of the partition in which the search target data is recorded, based on the partition name and the database type. Further, the data search processing unit 109 determines whether or not the partition can be specified based on the partition key value of the search target data (step S604), and when the partition can be specified, the search target data The search process is performed (step S605). If the partition cannot be identified based on the information recorded in the partition management table, it is determined that the data is the low access frequency data stored in the backup database 106, and the partition key value is stored in the data restoration processing unit 107. A request to restore the stored data is made (step S606).

そして、更新用ワークデータ処理部103は、復元データベース108においてデータ復元された後、その復元されたパーティション内に格納されてデータに対して、検索処理を行なう(ステップS607)。ここで、データ検索において、データ検索の開始要求に複数の検索対象の情報が記録されている場合には特定するパーティションキー値も複数となり、これにより複数の異なるパーティションから検索処理を行なう必要のある場合がある。このような場合には、データ検索処理部109は、複数のパーティションそれぞれを並列に検索処理する。これにより膨大なデータ量の中から検索を行う場合において、1つのパーティションの中から順次検索を行う場合に比べて、複数にデータ分割された各パーティションの中から並列に検索を行うため、検索時の検索処理を短時間で行なうことができる。そして検索処理部109は検索結果を出力する(ステップS608)。   Then, the work data processing unit for update 103 restores the data in the restoration database 108, and then searches the data stored in the restored partition (step S607). Here, in the data search, when a plurality of pieces of search target information are recorded in the data search start request, there are a plurality of partition key values to be specified, which makes it necessary to perform a search process from a plurality of different partitions. There is a case. In such a case, the data search processing unit 109 searches each of the plurality of partitions in parallel. As a result, when searching from an enormous amount of data, the search is performed in parallel from each partition divided into multiple data, compared to when searching sequentially from one partition. The search process can be performed in a short time. Then, the search processing unit 109 outputs the search result (step S608).

なお、上述のデータベース装置1においては、高アクセス頻度データベース104と復元データベース108とが一つずつ備えられている場合の例について説明しているが、データ量に応じて、高アクセス頻度データベース104と復元データベース108とを複数備えるようにしても良い。この場合、更新用ワークデータ処理部103は、特定したパーティションキー値に基づいて、パーティションの格納されている、複数のうちの、何れかの高アクセス頻度データベース104または復元データベース108に対して処理を行なう。またバックアップデータベース106から低アクセス頻度のデータが復元される場合にも、データ復元処理部107が、複数のうちの、何れかの復元データベース108に対してパーティションの復元処理を行なう。   In the database device 1 described above, an example in which one high access frequency database 104 and one restoration database 108 are provided has been described. However, depending on the amount of data, the high access frequency database 104 and A plurality of restoration databases 108 may be provided. In this case, the update work data processing unit 103 performs processing on any one of the high access frequency database 104 or the restoration database 108 stored in the partition, based on the specified partition key value. Do. Also, when data with low access frequency is restored from the backup database 106, the data restoration processing unit 107 performs partition restoration processing on any one of the restoration databases 108.

以上、本発明の実施形態について説明したが、上述の処理によれば、低頻度でアクセスされるデータ群は、通常はバックアップデータベース106に格納されており、必要な時のみ復元データベース108に復元されて利用される。そして、バックアップデータベース106は記憶媒体として記憶容量を増量することができる記憶媒体を備えることのできるデータベースであり、復元データベース108は、高速ディスク装置などの高価で容易に増量することのできない記憶媒体のみを備えたものである。これにより、大量な低頻度なアクセスのデータについては、安価で容易に増量できる記録媒体を備えたバックアップデータベース106に記録しておき、必要なときのみ復元データベース108に復元し、また高アクセス頻度データベース104の容量は一定の容量以下に保つこととなるので、高価な記録媒体を増量する必要がなくなり、膨大なデータの管理におけるコストの低減を行なうことができる。   Although the embodiment of the present invention has been described above, according to the above-described processing, the data group accessed at low frequency is normally stored in the backup database 106 and restored to the restoration database 108 only when necessary. Used. The backup database 106 is a database that can be provided with a storage medium that can increase the storage capacity as a storage medium, and the restoration database 108 is only a storage medium that is expensive and cannot be easily increased, such as a high-speed disk device. It is equipped with. As a result, a large amount of infrequently accessed data is recorded in the backup database 106 having a recording medium that can be increased easily at a low cost, and is restored to the restoration database 108 only when necessary. Since the capacity of 104 is kept below a certain capacity, it is not necessary to increase the amount of expensive recording media, and the cost for managing enormous data can be reduced.

また本発明によれば、更新用ワークデータ処理部103が、更新処理を行なったデータを格納するパーティションについて、パーティション管理テーブルの更新有無の情報を更新「無」から「有」に変更して記憶している。そしてバックアップ・リカバリ処理部105は、パーティション管理部102の保持するパーティション管理テーブル(図2)から更新有無の情報が「有」と登録されているパーティション名を読み取り、そのパーティション名に対応するパーティション内のデータをバックアップデータベース106に書き込む処理を行なう。これにより、高アクセス頻度データベース104に格納されている全てのパーティションのデータをバックアップ処理しなくて済むため、バックアップ処理に係る時間および能力を軽減することができる。   Further, according to the present invention, the update work data processing unit 103 changes the update management information in the partition management table from update “No” to “Yes” for the partition that stores the updated data, and stores it. is doing. Then, the backup / recovery processing unit 105 reads the partition name in which the update presence / absence information is registered as “present” from the partition management table (FIG. 2) held by the partition management unit 102, and stores the partition name corresponding to the partition name. Is written into the backup database 106. As a result, it is not necessary to back up the data of all the partitions stored in the high access frequency database 104, so that the time and capacity related to the backup processing can be reduced.

また本発明によれば、データ検索において、データ検索の開始要求に複数の検索対象の情報が記録されている場合には特定するパーティションキー値が複数となり、これにより複数の異なるパーティションから検索処理を行なう必要のある場合がある。このような場合には、データ検索処理部109は、複数のパーティションそれぞれを並列に検索処理する。これにより膨大なデータ量の中から検索を行う場合において、1つのパーティションの中から順次検索を行う場合に比べて、複数にデータ分割された各パーティションの中から並列に検索を行うため、検索時の検索処理を短時間で行なうことができる。   Further, according to the present invention, in the data search, when a plurality of search target information is recorded in the data search start request, a plurality of partition key values are specified, and thereby search processing is performed from a plurality of different partitions. You may need to do it. In such a case, the data search processing unit 109 searches each of the plurality of partitions in parallel. As a result, when searching from an enormous amount of data, the search is performed in parallel from each partition divided into multiple data, compared to when searching sequentially from one partition. The search process can be performed in a short time.

なお、上述のデータベース装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。   The database apparatus described above has a computer system inside. Each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。   The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

データベース装置の構成を示すブロック図である。It is a block diagram which shows the structure of a database apparatus. パーティション管理テーブルのデータ例を示す図である。It is a figure which shows the example of data of a partition management table. 更新用ワークデータ処理部で一時記憶するデータ例を示す図である。It is a figure which shows the example of data temporarily stored in the work data processing part for an update. データアクセス時の処理概要を示す図である。It is a figure which shows the process outline at the time of data access. データベース装置の処理フローを示す第1の図である。It is a 1st figure which shows the processing flow of a database apparatus. データベース装置の処理フローを示す第2の図である。It is a 2nd figure which shows the processing flow of a database apparatus.

符号の説明Explanation of symbols

1・・・データベース装置
101・・・データ更新部
102・・・パーティション管理部
103・・・更新用ワークデータ処理部
104・・・高アクセス頻度データベース
105・・・バックアップ・リカバリ処理部
106・・・バックアップデータベース
107・・・データ復元処理部
108・・・復元データベース
109・・・データ検索処理部
DESCRIPTION OF SYMBOLS 1 ... Database apparatus 101 ... Data update part 102 ... Partition management part 103 ... Update work data processing part 104 ... High access frequency database 105 ... Backup / recovery processing part 106 ... Backup database 107: data restoration processing unit 108 ... restoration database 109 ... data search processing unit

Claims (10)

記憶領域が論理的に分割されたパーティションを複数有し、それら複数のパーティションそれぞれに、異なるデータ群を格納するデータベース装置であって、
アクセス頻度が閾値未満のデータ群をそれぞれ格納する複数の前記パーティションを有し記憶容量の増量できる低アクセス頻度記憶手段と、
前記アクセス頻度が前記閾値以上のデータ群をそれぞれ格納する複数の前記パーティションを有する高アクセス頻度記憶手段と、
前記低アクセス頻度記憶手段のパーティションに格納されたデータを一時的に記憶する復元データ記憶領域を有する、記憶容量が限られた復元データ記憶手段と、
前記パーティションの識別情報と、当該パーティションの前記高アクセス頻度記憶手段または前記低アクセス頻度記憶手段の何れかにおける記憶位置とを対応付けて記憶するパーティション位置記憶手段と、
新たな処理対象のデータ入力に基づいて、当該新たな処理対象のデータに関する処理を行う前記パーティションの識別情報を特定するパーティション識別情報特定手段と、
前記特定したパーティション識別情報が前記低アクセス頻度記憶手段の記憶位置を示す場合に、当該記憶位置に基づいて前記低アクセス頻度記憶手段の該当パーティション内のデータ群を前記復元データ記憶領域の復元パーティションに一時復元する低アクセスデータ群復元手段と、
前記特定したパーティション識別情報に基づいて、前記高アクセス頻度記憶手段の高アクセスデータ記憶領域または前記復元データ記憶手段の前記復元データ記憶領域の何れかのパーティションに対し、前記新たな処理対象のデータに関する処理を行う記憶データ処理手段と、
を備えることを特徴とするデータベース装置。
A database device having a plurality of partitions in which a storage area is logically divided, and storing different data groups in each of the plurality of partitions,
A low access frequency storage means having a plurality of partitions each storing a data group whose access frequency is less than a threshold, and capable of increasing the storage capacity;
High access frequency storage means having a plurality of the partitions each storing a data group having the access frequency equal to or higher than the threshold;
A restored data storage means having a limited storage capacity, having a restored data storage area for temporarily storing data stored in the partition of the low access frequency storage means;
Partition position storage means for storing the partition identification information and the storage position of the partition in either the high access frequency storage means or the low access frequency storage means in association with each other;
Partition identification information specifying means for specifying identification information of the partition for performing processing related to the new processing target data based on the new processing target data input;
When the specified partition identification information indicates the storage location of the low access frequency storage means, the data group in the corresponding partition of the low access frequency storage means is used as the restoration partition of the restoration data storage area based on the storage location. A low-access data group restoring means for temporarily restoring;
On the basis of the specified partition identification information, with respect to any partition of the high access data storage area of the high access frequency storage means or the restored data storage area of the restored data storage means, the new processing target data Stored data processing means for performing processing;
A database apparatus comprising:
前記パーティションのうち、前記新たな処理対象のデータに関する処理に基づくアクセスを行ったパーティションを記憶するアクセス履歴記憶手段と、
前記アクセスを行ったパーティション内のデータ群のみを、バックアップ装置へバックアップするバックアップ手段と、
を備えることを特徴とする請求項1に記載のデータベース装置。
Among the partitions, an access history storage unit that stores a partition that has been accessed based on the processing related to the new processing target data;
Backup means for backing up only the data group in the accessed partition to a backup device;
The database apparatus according to claim 1, further comprising:
記憶領域が論理的に分割されたパーティションを複数有し、それら複数のパーティションそれぞれに、異なるデータ群を格納するデータベース装置であって、
新たな処理対象のデータ入力に基づいて、当該新たな処理対象のデータに関する処理を行うパーティションの識別情報を特定するパーティション識別情報特定手段と、
前記特定したパーティション識別情報に基づいて、データ記憶手段のパーティションに対し、前記新たな処理対象のデータに関する処理を行う記憶データ処理手段と、
前記新たな処理対象のデータに関する処理に基づくアクセスを行ったパーティションを記憶するアクセス履歴記憶手段と、
前記アクセスを行ったパーティション内のデータ群のみを、バックアップ装置へバックアップするバックアップ手段と、
を備えることを特徴とするデータベース装置。
A database device having a plurality of partitions in which a storage area is logically divided, and storing different data groups in each of the plurality of partitions,
Partition identification information specifying means for specifying identification information of a partition that performs processing related to the new processing target data based on the new processing target data input;
Based on the specified partition identification information, storage data processing means for performing processing related to the new data to be processed for the partition of the data storage means;
Access history storage means for storing a partition that has been accessed based on the processing related to the new processing target data;
Backup means for backing up only the data group in the accessed partition to a backup device;
A database apparatus comprising:
前記パーティションへの最終アクセス時からの経過期間が当該経過期間の閾値を超えたか否かを判定するアクセス期間判定手段と、
前記経過期間がその閾値を超えた場合には、当該経過期間が閾値を超えた前記パーティションを一括削除する一括削除手段と、
を備えることを特徴とする請求項1から請求項3の何れかに記載のデータベース装置。
Access period determination means for determining whether or not the elapsed period from the last access to the partition exceeds a threshold of the elapsed period;
When the elapsed period exceeds the threshold, batch deletion means for collectively deleting the partitions whose elapsed period exceeds the threshold;
The database apparatus according to any one of claims 1 to 3, further comprising:
前記記憶データ処理手段は、前記新たな処理対象のデータに関する処理を行う前記パーティションの識別情報が複数に渡る場合には、それら複数のパーティションに対して並列に、該新たな処理対象のデータに関する処理を行う
ことを特徴とする請求項1から請求項4の何れかに記載のデータベース装置。
The storage data processing means, when there are a plurality of pieces of identification information of the partition that performs processing related to the new processing target data, processes related to the new processing target data in parallel to the plurality of partitions. The database apparatus according to any one of claims 1 to 4, wherein:
前記新たな処理対象のデータ入力に基づいて、当該データを処理データ記憶手段へ一時記録する一時記録手段と、
前記記憶データ処理手段は、前記処理データ記憶手段に一時記録された前記新たな処理対象のデータに関する処理を行う
ことを特徴とする請求項1から請求項5の何れかに記載のデータベース装置。
Temporary recording means for temporarily recording the data in the processing data storage means based on the new processing target data input;
The database apparatus according to any one of claims 1 to 5, wherein the storage data processing unit performs processing related to the new processing target data temporarily recorded in the processing data storage unit.
記憶領域が論理的に分割されたパーティションを複数有し、それら複数のパーティションそれぞれに、異なるデータ群を格納するデータベース装置におけるデータ管理方法であって、
前記データベース装置の記憶容量の増量できる低アクセス頻度記憶手段が、アクセス頻度が閾値未満のデータ群をそれぞれ格納する複数の前記パーティションを有し、
前記データベース装置の高アクセス頻度記憶手段が、前記アクセス頻度が前記閾値以上のデータ群をそれぞれ格納する複数の前記パーティションを有し、
前記データベース装置の復元データ記憶手段が、前記低アクセス頻度記憶手段のパーティションに格納されたデータを一時的に記憶する復元データ記憶領域を有し、
前記データベース装置のパーティション位置記憶手段が、前記パーティションの識別情報と、当該パーティションの前記高アクセス頻度記憶手段または前記低アクセス頻度記憶手段の何れかにおける記憶位置とを対応付けて記憶し、
前記データベース装置のパーティション識別情報特定手段が、新たな処理対象のデータ入力に基づいて、当該新たな処理対象のデータに関する処理を行う前記パーティションの識別情報を特定し、
前記データベース装置の低アクセスデータ群復元手段が、前記特定したパーティション識別情報が前記低アクセス頻度記憶手段の記憶位置を示す場合に、当該記憶位置に基づいて前記低アクセス頻度記憶手段の該当パーティション内のデータ群を前記復元データ記憶領域の復元パーティションに一時復元し、
前記データベース装置の記憶データ処理手段が、前記特定したパーティション識別情報に基づいて、前記高アクセス頻度記憶手段の高アクセスデータ記憶領域または前記復元データ記憶手段の前記復元データ記憶領域の何れかのパーティションに対し、前記新たな処理対象のデータに関する処理を行う
ことを特徴とするデータベース管理方法。
A data management method in a database apparatus that has a plurality of partitions in which a storage area is logically divided and stores different data groups in each of the plurality of partitions,
The low access frequency storage means capable of increasing the storage capacity of the database device has a plurality of the partitions each storing a data group whose access frequency is less than a threshold value,
The high access frequency storage means of the database device has a plurality of the partitions each storing a data group having the access frequency equal to or higher than the threshold,
The restoration data storage means of the database device has a restoration data storage area for temporarily storing data stored in the partition of the low access frequency storage means,
The partition position storage means of the database device stores the identification information of the partition in association with the storage position of either the high access frequency storage means or the low access frequency storage means of the partition,
The partition identification information specifying means of the database device specifies the identification information of the partition that performs processing related to the new processing target data based on the new processing target data input,
When the specified partition identification information indicates the storage location of the low access frequency storage unit, the low access data group restoration unit of the database device stores the location in the corresponding partition of the low access frequency storage unit based on the storage location. Temporarily restore the data group to the restoration partition of the restoration data storage area,
Based on the specified partition identification information, the storage data processing means of the database device is assigned to any partition in the high access data storage area of the high access frequency storage means or the restored data storage area of the restored data storage means. On the other hand, the database management method characterized by performing the process regarding the said new process target data.
前記データベース装置のアクセス履歴記録手段が、前記パーティションのうち、前記新たな処理対象のデータに関する処理に基づくアクセスを行ったパーティションをアクセス履歴記憶手段へ記録し、
前記データベース装置のバックアップ手段が、前記アクセスを行ったパーティション内のデータ群のみを、バックアップ装置へバックアップする
ことを特徴とする請求項7に記載のデータベース管理方法。
The access history recording means of the database device records, in the access history storage means, a partition that is accessed based on the processing related to the new processing target data among the partitions,
The database management method according to claim 7, wherein the backup unit of the database device backs up only the data group in the accessed partition to the backup device.
アクセス頻度が閾値未満のデータ群をそれぞれ格納する複数のパーティションを有し記憶容量の増量できる低アクセス頻度記憶手段と、
前記アクセス頻度が前記閾値以上のデータ群をそれぞれ格納する複数のパーティションを有する高アクセス頻度記憶手段と、
前記低アクセス頻度記憶手段のパーティションに格納されたデータを一時的に記憶する復元データ記憶領域を有する、記憶容量が限られた復元データ記憶手段と、
前記パーティションの識別情報と、当該パーティションの前記高アクセス頻度記憶手段または前記低アクセス頻度記憶手段の何れかにおける記憶位置とを対応付けて記憶するパーティション位置記憶手段と、を備えた、前記パーティションそれぞれに、異なるデータ群を格納するデータベース装置のコンピュータを、
新たな処理対象のデータ入力に基づいて、当該新たな処理対象のデータに関する処理を行う前記パーティションの識別情報を特定するパーティション識別情報特定手段、
前記特定したパーティション識別情報が前記低アクセス頻度記憶手段の記憶位置を示す場合に、当該記憶位置に基づいて前記低アクセス頻度記憶手段の該当パーティション内のデータ群を前記復元データ記憶領域の復元パーティションに一時復元する低アクセスデータ群復元手段、
前記特定したパーティション識別情報に基づいて、前記高アクセス頻度記憶手段の高アクセスデータ記憶領域または前記復元データ記憶手段の前記復元データ記憶領域の何れかのパーティションに対し、前記新たな処理対象のデータに関する処理を行う記憶データ処理手段、
として機能させるためのプログラム。
A low access frequency storage means having a plurality of partitions each storing a data group whose access frequency is less than a threshold, and capable of increasing the storage capacity;
High access frequency storage means having a plurality of partitions each storing a data group with the access frequency equal to or higher than the threshold;
A restored data storage means having a limited storage capacity, having a restored data storage area for temporarily storing data stored in the partition of the low access frequency storage means;
Each partition comprising: partition identification information; and partition location storage means for storing the partition in association with either the high access frequency storage means or the low access frequency storage means of the partition. A database device computer for storing different data groups,
Partition identification information specifying means for specifying identification information of the partition that performs processing related to the new processing target data based on the data input of the new processing target;
When the specified partition identification information indicates the storage location of the low access frequency storage means, the data group in the corresponding partition of the low access frequency storage means is used as the restoration partition of the restoration data storage area based on the storage location. Low access data group restoration means for temporary restoration,
On the basis of the specified partition identification information, with respect to any partition of the high access data storage area of the high access frequency storage means or the restored data storage area of the restored data storage means, the new processing target data Stored data processing means for processing,
Program to function as.
請求項9の各手段に加え、前記データベース装置のコンピュータを、さらに、
前記パーティションのうち、前記新たな処理対象のデータに関する処理に基づくアクセスを行ったパーティションを記憶するアクセス履歴記憶手段、
前記アクセスを行ったパーティション内のデータ群のみを、バックアップ装置へバックアップするバックアップ手段、
として機能させるためのプログラム。
In addition to each means of claim 9, the database device computer further comprises:
An access history storage means for storing a partition that has been accessed based on the processing related to the new data to be processed among the partitions;
Backup means for backing up only the data group in the accessed partition to a backup device,
Program to function as.
JP2008208003A 2008-08-12 2008-08-12 Database device, data management method and program therefore Pending JP2010044571A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008208003A JP2010044571A (en) 2008-08-12 2008-08-12 Database device, data management method and program therefore

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008208003A JP2010044571A (en) 2008-08-12 2008-08-12 Database device, data management method and program therefore

Publications (1)

Publication Number Publication Date
JP2010044571A true JP2010044571A (en) 2010-02-25

Family

ID=42015910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008208003A Pending JP2010044571A (en) 2008-08-12 2008-08-12 Database device, data management method and program therefore

Country Status (1)

Country Link
JP (1) JP2010044571A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014197418A (en) * 2010-10-21 2014-10-16 クアルコム,インコーポレイテッド Searching multiple data sources using mobile computing device
WO2018061158A1 (en) * 2016-09-29 2018-04-05 株式会社日立製作所 Computer system and computer system control method
JP7456271B2 (en) 2020-05-07 2024-03-27 株式会社リコー Information processing device, information processing method and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099421A (en) * 2004-09-29 2006-04-13 Fujitsu Ltd Electronic document storage device, program and electronic document referring device
JP2006164211A (en) * 2004-11-12 2006-06-22 Nec Corp System, method and program for storage management
JP2007316995A (en) * 2006-05-26 2007-12-06 Hitachi Ltd Storage system and data management method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099421A (en) * 2004-09-29 2006-04-13 Fujitsu Ltd Electronic document storage device, program and electronic document referring device
JP2006164211A (en) * 2004-11-12 2006-06-22 Nec Corp System, method and program for storage management
JP2007316995A (en) * 2006-05-26 2007-12-06 Hitachi Ltd Storage system and data management method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014197418A (en) * 2010-10-21 2014-10-16 クアルコム,インコーポレイテッド Searching multiple data sources using mobile computing device
WO2018061158A1 (en) * 2016-09-29 2018-04-05 株式会社日立製作所 Computer system and computer system control method
JP7456271B2 (en) 2020-05-07 2024-03-27 株式会社リコー Information processing device, information processing method and program

Similar Documents

Publication Publication Date Title
US8838541B2 (en) Data processing apparatus and method of processing data
CN108319654B (en) Computing system, cold and hot data separation method and device, and computer readable storage medium
US10360182B2 (en) Recovering data lost in data de-duplication system
EP2780796B1 (en) Method of and system for merging, storing and retrieving incremental backup data
CN103902623B (en) Method and system for the accessing file in storage system
JP5023018B2 (en) Storage system and data management method
JP5449524B2 (en) Computer, processing method thereof and computer system
CN102779180A (en) Operation processing method of data storage system and data storage system
EP2759942A1 (en) Computer system, file management method and metadata server
CN102722536B (en) Method and device for realizing snapshot based on distributed file system
US7668875B2 (en) Data storage device, method of rearranging data and recording medium therefor
CN102629247A (en) Method, device and system for data processing
CN108604165A (en) Storage device
US20190332701A1 (en) System and Method for Efficiently Updating a Secondary Index Associated with a Log-Structured Merge-Tree Database
US10613988B2 (en) Purging storage partitions of databases
WO2014157244A1 (en) Storage control device, storage control method, and storage control program
CN110888837A (en) Object storage small file merging method and device
WO2014157243A1 (en) Storage control device, control method for storage control device, and control program for storage control device
CN109683825A (en) A kind of storage system online data compression method, device and equipment
CN105512325A (en) Multi-version data index renewing, deleting and establishing method and device
JP2010044571A (en) Database device, data management method and program therefore
CN100447758C (en) Snapshot management method for logic disk
US11803525B2 (en) Selection and movement of data between nodes of a distributed storage system
CN110874182B (en) Processing method, device and equipment for strip index
CN102541957A (en) Method and device for operating data files on basis of data flow magnetic tapes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130514