JP2007156844A - データ登録・検索システムおよびデータ登録・検索方法 - Google Patents
データ登録・検索システムおよびデータ登録・検索方法 Download PDFInfo
- Publication number
- JP2007156844A JP2007156844A JP2005351316A JP2005351316A JP2007156844A JP 2007156844 A JP2007156844 A JP 2007156844A JP 2005351316 A JP2005351316 A JP 2005351316A JP 2005351316 A JP2005351316 A JP 2005351316A JP 2007156844 A JP2007156844 A JP 2007156844A
- Authority
- JP
- Japan
- Prior art keywords
- data
- registration
- search
- unit
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】第1の記憶部にデータを登録し、第1、第2の記憶部からデータを検索することで、第1の記憶部から前記第2の記憶部へとデータを移行させる前後双方でのデータ検索を可能とする。
【選択図】図1
Description
ここで、インデックスのサイズがほぼ均等になるようにキーワードをブロックに割り付けることで、インデックス作成を伴う登録処理を高速化する技術が公開されている(特許文献1参照)。
上記に鑑み、本発明は登録処理の高速化を図ったデータ登録・検索システムおよびデータ登録・検索方法を提供することを目的とする。
図1は本発明の一実施形態に係るデータベースシステムを表すブロック図である。
データベースシステムは、データの登録、検索等の処理を行うシステムであり、データ利用システム100とデータ管理システム200に区分される。
データ利用システム100は、データ管理システム200にデータの登録、検索等の処理を要求し、その処理結果を受け取るコンピュータ・システムである。このコンピュータ・システムは、例えば、単一、複数のコンピュータから構成することができる。
データ管理システム200は、データ管理部210,登録用DB(データベース)220,検索用DB(データベース)230、データ移行部240,登録用DB管理部250,検索用DB管理部260を有する。データベースとして、登録用DB220,検索用DB230の双方を有することから、データの登録の高速化が可能となる。なお、この詳細は後述する。
データ検索部212は,DBからデータを検索する。この検索に際し、データ検索部212は,登録用DB220および検索用DB230の双方からデータを検索する。この結果、登録用DB220,検索用DB230のいずれにデータが登録された状態でも、データの検索が可能となる。
データ削除部214は、DBからデータを削除する。この削除に際し、データ削除部214は,登録用DB220および検索用DB230の双方からデータを検索する。この結果、登録用DB220,検索用DB230のいずれにデータが登録された状態でも、データの削除が可能となる。
新たなデータは登録用DB220に登録されることから、登録処理の高速化がなされる。登録用DB220から検索用DB230への移行処理によって、登録用DB220内の登録されたデータが削減されることから、登録時の処理(例えば、インデックスの作成)の量が低減されるからである。言い換えれば、DBを区分することで、登録処理の高速化が図られ、しかもデータベースの内部構成によらず、汎用的に適用可能である。なお、登録用DB220,検索用DB230は別個あるいは単一のハードウェアの何れで構成しても差し支えない。
図2〜図4はそれぞれ、登録対象データ、スキーマ・データ、およびインデックス・データの一例を表す模式図である。なお、これらの例ではデータとしてXMLデータを用いているが、データの形式がXML以外であっても差し支えない。
また、図2の登録対象データのIDの情報が配置される場所のパス、例えば、「/person/@id」を別途保持する。このパスはXPathによって表現できる。なお、XPathとはXML Path Languageの略であり、W3Cにより標準化されたXMLデータを検索するための仕様である。XPathにより、XMLデータの階層構造の一部を指定できる。
図3に示すスキーマ・データは、図2の登録対象データのスキーマを示し、データの項目としての、「ファーストネーム(firstname)」、「ラストネーム(lastname)」、連絡先(contact)としての、「電子メールアドレス(email)」および「住所(address)」がどのように配列されているか、そのデータ項目の表現形式(「string」等を表している。
即ち、図4は、それぞれのデータ項目がその登録対象データのどこ(何行目)に配置されるかを表している。例えば、データ項目「ファーストネーム(firstname)」は図3の登録対象データ(ID:「87055710」)の3行目に配置される。インデックス・データによってデータ項目の配置が判ることから、登録対象データの全部の検索が不要となり、データの検索が高速化する。
また、検索用DB管理部260は,検索用DB230を管理するものであり、データ登録部261,データ検索部262,データ更新部263,データ削除部264を有する。登録用DB管理部250と検索用DB管理部260はそれぞれ、管理対象が登録用DB220および検索用DB230である以外は実質的には同様の構成である。
なお、登録用DB管理部250と検索用DB管理部260は登録用DB220および検索用DB230を個別に管理するものであるが、登録用DB220等の個別的な管理を行わないのであれば省略することも可能である。
データ検索部252およびデータ検索部262はそれぞれ,登録用DB220および検索用DB230からデータを検索する。
データ更新部253およびデータ更新部263はそれぞれ,登録用DB220および検索用DB230のデータを更新する。
データ削除部254およびデータ削除部254はそれぞれ,登録用DB220および検索用DB230からデータを削除する。
図5は、本実施形態に係るデータベースシステムの動作手順の一例を表すフロー図である。
データの登録、更新時には(ステップS11)、登録用DB220のみに登録、更新された登録対象データが配置され、データの移行(ステップS13)によって、全ての登録対象データが検索用DB230に移行する。即ち、検索用DB230からすれば、データが移行されなければ、データの登録、更新が完了したことにはならないことになる。
しかしながら、登録用DB220を補完的に用いることで、データの登録、更新を速やかに行い、しかもデータの移行の前後に依らず、データの検索を可能としている(ステップS12、S14)。
以下、データの登録、更新、削除、検索、移行の詳細を説明する。なお、データの削除に関しては、データの移行の影響を受けない(データの削除は移行すべきデータの消滅に結びつく)。
図6は、ステップS11でのデータの登録の詳細な手順を表すフロー図である。
1)データ登録部211が、登録されるデータ自体とこの登録対象データを指定する登録要求を受領する(ステップS21)。
この登録対象データの指定は、そのデータのIDの情報またはIDが配置される場所のパスの情報によって行える。このパスはXPathを用いて指定することができる。このパスを登録されるデータ自体とは別個の、設定ファイル等で指定してもよい。なお、IDが登録データに含まれるときは、IDの指定を省略してもよい。
同一のデータの2重登録を防止するためである。DBを分離したことで、登録用DB220および検索用DB230それぞれで同一のデータが登録される可能性が生じている。
データの同一性はIDが同一か否かで判断できる。データの内容自体が同一であったとしても、IDが異なれば別のデータだからである。
登録要求を受け付けると、データ登録部211は、登録に先だって、IDの情報またはそのパスの情報に従って、登録用DB220および検索用DB230の両方を検索する。
登録するデータの項目がインデックスに登録済であれば、インデックス上、その項目が記述されている箇所(例えば、行)に、インデックス情報が追加される。登録するデータの項目がインデックスに未登録であれば、インデックスにその項目が追加される(例えば、インデックスへの行の追加)。
図7は、ステップS11でのデータの更新の詳細な手順を表すフロー図である。
1)データ更新部213が、更新データと更新対象データとを指定された更新要求を受領する(ステップS31)。
この更新対象データの指定は、そのデータのIDの情報またはIDが配置される場所のパスの情報によって行える。このパスはXPathを用いて指定することができる。このパスを登録されるデータ自体とは別個の、設定ファイル等で指定してもよい。なお、IDが更新データに含まれるときは、IDの指定を省略してもよい。
DBを分離したことで、登録用DB220および検索用DB230のいずれにもデータが登録されている可能性が生じている。
4)検索用DB230に更新されるデータが存在するときは、検索用DB230から更新対象データを削除し、登録用DB220に更新データを登録する(ステップS35,S36)。
図8は、ステップS11でのデータの削除の詳細な手順を表すフロー図である。
1)データ削除部214が、削除対象データを指定された削除要求を受領する(ステップS41)。
この削除対象データの指定は、そのデータのIDの情報またはIDが配置される場所のパスの情報によって行える。このパスはXPathを用いて指定することができる。このパスは、設定ファイル等で指定してもよい。
DBを分離したことで、登録用DB220および検索用DB230のいずれにもデータが登録されている可能性が生じている。
データが削除されるときは、削除されるデータのインデックスも削除される。即ち、インデックス全体から、削除されるデータに含まれる項目が記述されている箇所(例えば、行)が検索される。そして、その箇所に記述された削除対象のデータのインデックス情報が削除される。
図9は、ステップS12,S14でのデータの検索の詳細な手順を表すフロー図である。
1)データ検索部212が、検索対象データを指定された検索要求を受領する(ステップS51)。
この検索対象データの指定は、そのデータのIDの情報またはIDが配置される場所のパスの情報によって行える。このパスはXPathを用いて指定することができる。このパスは、設定ファイル等で指定してもよい。
DBを分離したことで、登録用DB220および検索用DB230のいずれにもデータが登録されている可能性が生じている。
図10は、ステップS13でのデータの移行の詳細な手順を表すフロー図である。
1)登録用DB220から検索用DB230にデータを移行する(ステップS61,S62)。具体的には、登録用DB220内のデータを削除し、同じデータを検索用DB230に登録する。ここでは1件ずつデータを移行するものとする。但し、複数件のデータを纏めて移行することも可能である。
インデックスからの情報の削除は、インデックスの項目中の情報の削除によって行われる。
インデックスの情報の変更は、インデックスの項目中の情報の変更によって行われる。
スキーマ情報が登録用DB220および検索用DB230の双方に存在することで、データの追加、削除の度にスキーマ情報を追加、削除する手間を省くことができる。
4)インデックスを処理する(ステップS66)。
必要であれば、データ移行後に、インデックスの処理がなされる。例えば、登録用DB220からデータを削除したときに、インデックスのごみ(無効なデータ)が残る場合は、登録用DB220のインデックスを削除する。また、登録用DB220へのインデックスの削除処理に換えて、インデックスの初期化を行ってもよい。例えば、登録用DB220のインデックス生成用のインスタンスを削除した後に、このインスタンスを再構築する。
また、データの移行は、スケジューラ機能等を用いて、周期的、定期的に行える。例えば、深夜など、利用が少ない時間にデータを定期的に移行させることができる。
本発明の実施形態は上記の実施形態に限られず拡張、変更可能であり、拡張、変更した実施形態も本発明の技術的範囲に含まれる。
上記実施形態は、データの例として、XMLデータを挙げて、説明しているが、蓄積、検索するデータはXMLデータに限られない。
Claims (5)
- データを記憶する第1の記憶部と、
データを記憶する第2の記憶部と、
データを前記第1の記憶部に登録するデータ登録部と、
前記第1、第2の記憶部からデータを検索するデータ検索部と、
前記第1の記憶部から前記第2の記憶部へとデータを移行させるデータ移行部と、
を具備することを特徴とするデータ登録・検索システム。 - 前記第1、第2の記憶部から更新対象データを検索し、検索されたデータを更新するデータ更新部
をさらに具備することを特徴とする請求項1記載のデータ登録・検索システム。 - 前記第1、第2の記憶部から削除対象データを検索し、検索されたデータを削除するデータ削除部
をさらに具備することを特徴とする請求項1記載のデータ登録・検索システム。 - 前記データが、このデータを識別する識別情報またはこの識別情報の存在場所を表すパス情報を含む
ことを特徴とする請求項1記載のデータ登録・検索システム。 - データを記憶する第1、第2の記憶部を用いるデータ登録・検索方法であって、
前記第1の記憶部にデータを登録するステップと、
前記第1、第2の記憶部からデータを検索するステップと、
前記第1の記憶部から前記第2の記憶部へとデータを移行させるステップと、
を具備することを特徴とするデータ登録・検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005351316A JP4825504B2 (ja) | 2005-12-05 | 2005-12-05 | データ登録・検索システムおよびデータ登録・検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005351316A JP4825504B2 (ja) | 2005-12-05 | 2005-12-05 | データ登録・検索システムおよびデータ登録・検索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007156844A true JP2007156844A (ja) | 2007-06-21 |
JP4825504B2 JP4825504B2 (ja) | 2011-11-30 |
Family
ID=38241132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005351316A Expired - Fee Related JP4825504B2 (ja) | 2005-12-05 | 2005-12-05 | データ登録・検索システムおよびデータ登録・検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4825504B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010072862A (ja) * | 2008-09-17 | 2010-04-02 | Symantec Corp | インテリジェント・コンテンツのインデックス付け実行技術 |
US10133820B2 (en) | 2007-06-29 | 2018-11-20 | Veritas Technologies Llc | Techniques for performing intelligent content indexing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04312188A (ja) * | 1991-04-11 | 1992-11-04 | Chubu Nippon Denki Software Kk | データ収集システム |
JP2004178180A (ja) * | 2002-11-26 | 2004-06-24 | Canon Inc | 全文検索情報の登録及び検索方式 |
JP2005122755A (ja) * | 2004-11-15 | 2005-05-12 | Hitachi Software Eng Co Ltd | 帳票データ保存管理システム |
-
2005
- 2005-12-05 JP JP2005351316A patent/JP4825504B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04312188A (ja) * | 1991-04-11 | 1992-11-04 | Chubu Nippon Denki Software Kk | データ収集システム |
JP2004178180A (ja) * | 2002-11-26 | 2004-06-24 | Canon Inc | 全文検索情報の登録及び検索方式 |
JP2005122755A (ja) * | 2004-11-15 | 2005-05-12 | Hitachi Software Eng Co Ltd | 帳票データ保存管理システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10133820B2 (en) | 2007-06-29 | 2018-11-20 | Veritas Technologies Llc | Techniques for performing intelligent content indexing |
JP2010072862A (ja) * | 2008-09-17 | 2010-04-02 | Symantec Corp | インテリジェント・コンテンツのインデックス付け実行技術 |
Also Published As
Publication number | Publication date |
---|---|
JP4825504B2 (ja) | 2011-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105630865B (zh) | 用于内存列式存储的n比特压缩版本化列数据阵列 | |
CN105630864B (zh) | 存储行标识符值的字典的强制排序 | |
CN105630409B (zh) | 使用存储器内阵列和盘上页结构的双重数据存储 | |
EP3170106B1 (en) | High throughput data modifications using blind update operations | |
US9639542B2 (en) | Dynamic mapping of extensible datasets to relational database schemas | |
US9256607B2 (en) | Efficient file access in a large repository using a two-level cache | |
US8738572B2 (en) | System and method for storing data streams in a distributed environment | |
US7752226B1 (en) | Reverse pathname lookup by inode identifier | |
US8527556B2 (en) | Systems and methods to update a content store associated with a search index | |
US7467163B1 (en) | System and method to manipulate large objects on enterprise server data management system | |
US8706710B2 (en) | Methods for storing data streams in a distributed environment | |
US7376658B1 (en) | Managing cross-store relationships to data objects | |
US9378216B2 (en) | Filesystem replication using a minimal filesystem metadata changelog | |
US20060059204A1 (en) | System and method for selectively indexing file system content | |
US7720869B2 (en) | Hierarchical structured abstract file system | |
US20170255709A1 (en) | Atomic updating of graph database index structures | |
US20060106849A1 (en) | Idle CPU indexing systems and methods | |
US20170255708A1 (en) | Index structures for graph databases | |
JP2004038960A (ja) | ファイルシステムフィルタドライバのためのファイルネームを管理するシステム及び方法 | |
WO2018097846A1 (en) | Edge store designs for graph databases | |
KR20110010736A (ko) | 계층적 데이터의 페이징 | |
US7844596B2 (en) | System and method for aiding file searching and file serving by indexing historical filenames and locations | |
CN106874329A (zh) | 数据库表索引的实现方法和装置 | |
CN108256019A (zh) | 数据库主键生成方法、装置、设备及其存储介质 | |
JP4825504B2 (ja) | データ登録・検索システムおよびデータ登録・検索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110221 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110816 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110912 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |