JP2012150632A - データ照合装置 - Google Patents
データ照合装置 Download PDFInfo
- Publication number
- JP2012150632A JP2012150632A JP2011008554A JP2011008554A JP2012150632A JP 2012150632 A JP2012150632 A JP 2012150632A JP 2011008554 A JP2011008554 A JP 2011008554A JP 2011008554 A JP2011008554 A JP 2011008554A JP 2012150632 A JP2012150632 A JP 2012150632A
- Authority
- JP
- Japan
- Prior art keywords
- data
- collation
- database
- backup
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】検索対象のデータをデータベース上のデータと照合すること。
【解決手段】データベースを保持する全体制御部と、全体制御部に保持されているデータベースが分割された分割データベースを保持して、検索対象のデータを分割データベース上のデータと照合する複数の照合部とを備え、各照合部は、自身以外の照合部が保持している分割データベースが更に分割されたデータを分散してバックアップしており、全体制御部は、各照合部に分散されて保持されているデータのバックアップ状況を示すバックアップデータテーブルを保持している。
【選択図】図1
【解決手段】データベースを保持する全体制御部と、全体制御部に保持されているデータベースが分割された分割データベースを保持して、検索対象のデータを分割データベース上のデータと照合する複数の照合部とを備え、各照合部は、自身以外の照合部が保持している分割データベースが更に分割されたデータを分散してバックアップしており、全体制御部は、各照合部に分散されて保持されているデータのバックアップ状況を示すバックアップデータテーブルを保持している。
【選択図】図1
Description
本発明は、データ照合装置に関する。特に、本発明は、検索対象のデータをデータベース上のデータと照合するデータ照合装置に関する。
指紋や顔等の照合処理は、データ照合装置を利用して行われるデータ照合装置は、データベースによって管理されているデータの中から所望のデータを検索する装置である。以下の説明において、データベース上のデータは、ファイルデータと称する。また、検索対象となるデータは、検索データと称する。また、ファイルデータの中から検索データと一致するデータを検索する処理は、照合処理と称する。
図7は、既知のデータ照合システム900の利用環境の一例を示す。既知のデータ照合システム900の基本構成は、サーバ等の上位装置とデータ照合装置、及びそれらを繋ぐLAN(Local Area Network)、ファイバーチャネル、専用バス等のインターフェースから成るものとする。また、上位装置920は、外部装置930に接続されており、検索データを逐次受信できる状態にある。また、上位装置920の内部は、CPU(Central Processing Unit)やメモリを備えており、上位装置920のメモリの中には、ファイルデータが配置されている。
照合のシーケンスは、以下の要領である。まず、外部装置930において検索データが生成され上位装置920に送られる。上位装置920が外部装置930から検索データを受信すると、データ照合装置910に対し検索データ及びファイルデータを転送し、照合指示を行う。続いて、データ照合装置910は、上位装置920に指示された照合処理が終了すると、上位装置920に対し照合結果を返す。最後に上位装置920が外部装置930に照合結果を渡す。
図8は、データ照合装置910における照合処理のパフォーマンスの既知の向上策を示す。これまで、データ照合装置における照合処理パフォーマンス向上策として、特許文献1において次のような手法を用いている。上位装置920より複数の照合部配下のメモリに対し、ファイルデータを均等割りしたものをあらかじめ転送しておき、その後に照合させるデータ(検索データ)を転送し複数CPUで一斉に照合処理を実行させる。これにより処理が並列化されデータ照合装置910全体のパフォーマンスを向上することができる。
このようなCPUやメモリが同時並列に処理を行う構成においては、一部のCPUやメモリに障害が発生した場合に、障害CPUの切り離し処理、及びファイルデータの再転送が必要となり時間が掛かる問題がある。
図9、10は、障害が発生した時の照合処理の停止時間を極小化させる既知の策を示す。障害発生時の照合処理停止時間を極小化させる策として、特許文献2に記載のある次のような手法を用いている。各照合部配下のメモリにあるファイルデータを、均等なデータサイズに分割し、自身以外の照合部配下のメモリに分散バックアップする(図9参照)。そして、あるCPUに障害が発生した際に、分散バックアップしておいたデータを用いて、障害発生直後から照合を継続させる(図10参照)。このようにして、均等分散の効果により、照合処理停止時間を最小限に抑えられる。
特許文献2に記載の手法により、照合部の配下のファイルデータについてN+1の構成をとることが可能となり、信頼性を向上することができる。しかしながら、ある照合部で障害が発生してしまうと多重構成がない状況に戻る問題があり、これを再構築するためには再び上位装置からファイルデータを転送し直す必要がある。
上記課題を解決するために、本発明の第1の形態によると、検索対象のデータをデータベース上のデータと照合するデータ照合装置であって、データベースを保持する全体制御部と、全体制御部に保持されているデータベースが分割された分割データベースを保持して、検索対象のデータを分割データベース上のデータと照合する複数の照合部とを備え、各照合部は、自身以外の照合部が保持している分割データベースが更に分割されたデータを分散してバックアップしており、全体制御部は、各照合部に分散されて保持されているデータのバックアップ状況を示すバックアップデータテーブルを保持している。
なおまた、上記のように発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
以上の説明から明らかなように、この発明においては、CPU障害発生時により消失したファイルデータの多重化構成を、欠損した部分のみのコピー操作で復活できるため多重構成復帰の時間を極小化でき、二重障害のリスクを低減させることができる。また、CPUが2つになるまでファイルデータの多重化構成を維持できるため、高い信頼性を継続することができる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は、特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
本発明では、課題であるファイルデータ多重化構成の消失を上位装置とのI/Oを介すことなく復活させ、多重構成を維持する。
図1は、一実施形態に係るデータ照合装置110の利用環境の一例を示す。データ照合装置110内の全体制御部配下のメモリに、分散バックアップしたファイルデータのテーブル(以下、バックアップファイルデータテーブル)を照合部毎に作成し、1つのファイルデータにつき以下の情報を管理する。
[A] バックアップ元のファイルデータの照合部番号(図中の0〜nに当たる値)
[B] バックアップ元のファイルデータの照合部内データID(図中の0〜mに当たる値)
[C] バックアップ元のファイルデータの分割情報
[D] バックアップ先の照合部番号(図中の0〜nに当たる値)
[A] バックアップ元のファイルデータの照合部番号(図中の0〜nに当たる値)
[B] バックアップ元のファイルデータの照合部内データID(図中の0〜mに当たる値)
[C] バックアップ元のファイルデータの分割情報
[D] バックアップ先の照合部番号(図中の0〜nに当たる値)
図2は、照合部0に障害が発生し縮退が起きた状態を示す。上記のバックアップファイルデータテーブルがある状態で、仮に照合部0に障害が発生し縮退が起きたとする。まず、照合部1〜nに分散しておいたバックアップファイルデータを用いて照合を継続し、照合結果を上位装置に返す。そして、処理が空いたタイミングで消失したファイルデータ及びバックアップファイルデータを再構成し、ファイルデータの多重構成を復活させる。多重構成の復活の手順は、消失したファイルデータの再構成、消失したバックアップファイルデータの再構成、の2段階から成る。
図3、4は、消失したファイルデータを再構成する手順を示す。以下は、ファイルデータ P0−0を再構成する手順を例に述べる。まず、バックアップファイルデータテーブル 照合部0〜nの内容を検索し、[A]が0、[B]が0のエントリをチェックする。そして、検索されたバックアップファイルデータを結合し、空いているファイルデータ領域に消失したファイルデータを再構成する(図3)。そして、確保した照合部のバックアップファイルデータ内に”ファイルデータ P0−0“のバックアップが存在する場合は、他の照合部へ移動させる(図4)。そして、バックアップファイルデータテーブルを更新する。
図5は、消失したバックアップファイルデータを再構成する手順を示す。図6は、ファイルデータの多重構成が復帰した状態を示す。まず、照合部0のバックアップFテーブルを参照し、[A][B][C]からバックアップ元ファイルデータのアドレスとデータ長を特定する。そして、[A][D]以外の照合部配下にファイルデータを再配置するスペースを確保する。そして、特定したアドレスから確保したスペースへファイルデータを転送する(図5)。そして、バックアップファイルデータテーブルを更新する。
この操作を、照合部0の持っていたバックアップファイルデータ全てに対して実行することで、データの欠損のみを回復させる。そして、図10に示すように、ファイルデータの多重構成が復帰する。線で結んでいるデータがそれぞれ対応する復帰ファイルデータ/バックアップファイルデータを示している。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
110 データ照合装置
120 上位装置
120 上位装置
Claims (4)
- 検索対象のデータをデータベース上のデータと照合するデータ照合装置であって、
データベースを保持する全体制御部と、
前記全体制御部に保持されているデータベースが分割された分割データベースを保持して、前記検索対象のデータを前記分割データベース上のデータと照合する複数の照合部と
を備え、
前記各照合部は、自身以外の照合部が保持している分割データベースが更に分割されたデータを分散してバックアップしており、
前記全体制御部は、前記各照合部に分散されて保持されているデータのバックアップ状況を示すバックアップデータテーブルを保持している
ことを特徴とするデータ照合装置。 - 前記全体制御部は、前記照合部のいずれかに障害が発生して、当該障害が発生した照合部に保持されていた分割データベース上の一部のデータが消失した場合、前記バックアップデータテーブルにおける障害が発生した照合部の内容を検索して、前記消失したデータに対応するエントリをチャックして、検索されたデータを結合して、空いているデータ領域に消失したデータを再構成する
ことを特徴とする請求項1に記載のデータ照合装置。 - 前記全体制御部は、障害が発生した照合部が消失したデータをバックアップしていた場合、当該消失したデータのバックアップデータを、他の照合部へ移動させる
ことを特徴とする請求項2に記載のデータ照合装置。 - 前記全体制御部は、当該障害が発生した照合部にバックアップされていたデータが消失した場合、前記バックアップデータテーブルにおける障害が発生した照合部の内容を参照して、バックアップ元のデータのアドレスとデータ長を特定して、障害が発生した照合部以外の照合部へデータを再配置する
ことを特徴とする請求項1から3のいずれか一項に記載のデータ照合装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011008554A JP2012150632A (ja) | 2011-01-19 | 2011-01-19 | データ照合装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011008554A JP2012150632A (ja) | 2011-01-19 | 2011-01-19 | データ照合装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012150632A true JP2012150632A (ja) | 2012-08-09 |
Family
ID=46792820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011008554A Pending JP2012150632A (ja) | 2011-01-19 | 2011-01-19 | データ照合装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012150632A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000076110A (ja) * | 1998-08-28 | 2000-03-14 | Hitachi Ltd | 分散ファイルシステムにおける回復処理システム |
JP2005099911A (ja) * | 2003-09-22 | 2005-04-14 | Dainippon Printing Co Ltd | ネットワークを利用したデータ保管システム |
JP2010182141A (ja) * | 2009-02-06 | 2010-08-19 | Nec Corp | データ処理装置及びデータ処理方法 |
JP2010191558A (ja) * | 2009-02-17 | 2010-09-02 | Nec Corp | ストレージシステム |
-
2011
- 2011-01-19 JP JP2011008554A patent/JP2012150632A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000076110A (ja) * | 1998-08-28 | 2000-03-14 | Hitachi Ltd | 分散ファイルシステムにおける回復処理システム |
JP2005099911A (ja) * | 2003-09-22 | 2005-04-14 | Dainippon Printing Co Ltd | ネットワークを利用したデータ保管システム |
JP2010182141A (ja) * | 2009-02-06 | 2010-08-19 | Nec Corp | データ処理装置及びデータ処理方法 |
JP2010191558A (ja) * | 2009-02-17 | 2010-09-02 | Nec Corp | ストレージシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9195392B2 (en) | Distributed storage method, apparatus, and system | |
EP2787446B1 (en) | Distributed storage method, device and system | |
CN106776130B (zh) | 一种日志恢复方法、存储装置和存储节点 | |
WO2018000812A1 (zh) | 数据存储方法及装置 | |
US7685459B1 (en) | Parallel backup | |
US7788303B2 (en) | Systems and methods for distributed system scanning | |
US8527459B2 (en) | System and method for data replication between heterogeneous databases | |
US10936545B1 (en) | Automatic detection and backup of primary database instance in database cluster | |
US20100199123A1 (en) | Distributed Storage of Recoverable Data | |
JP2010079886A (ja) | 拡張可能な2次ストレージシステムと方法 | |
CN103942112A (zh) | 磁盘容错方法、装置及系统 | |
US10613923B2 (en) | Recovering log-structured filesystems from physical replicas | |
US20170212902A1 (en) | Partially sorted log archive | |
US8543864B2 (en) | Apparatus and method of performing error recovering process in asymmetric clustering file system | |
US8639968B2 (en) | Computing system reliability | |
JP2015528957A (ja) | 分散ファイルシステム、ファイルアクセス方法及びクライアントデバイス | |
US9483485B1 (en) | Restore database from backup system where full and incremental backups are performed simultaneously | |
CN106027638A (zh) | 一种基于混合编码的hadoop数据分发方法 | |
US7478275B1 (en) | Method and apparatus for performing backup storage of checkpoint data within a server cluster | |
US7668846B1 (en) | Data reconstruction from shared update log | |
JP6251965B2 (ja) | 情報システムおよびデータベース復旧方法 | |
JP2012150632A (ja) | データ照合装置 | |
JP2017142664A (ja) | データ処理装置、データ処理システム、データ処理方法及びデータ処理プログラム | |
US10726046B2 (en) | Object storage system with ordered parallel replication | |
US9916372B1 (en) | Folded-hashtable synchronization mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140107 |