JP2022185581A - 個別データ検索サービスを提供する方法、コンピュータ装置、およびコンピュータプログラム - Google Patents
個別データ検索サービスを提供する方法、コンピュータ装置、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2022185581A JP2022185581A JP2022088502A JP2022088502A JP2022185581A JP 2022185581 A JP2022185581 A JP 2022185581A JP 2022088502 A JP2022088502 A JP 2022088502A JP 2022088502 A JP2022088502 A JP 2022088502A JP 2022185581 A JP2022185581 A JP 2022185581A
- Authority
- JP
- Japan
- Prior art keywords
- search
- individual data
- documents
- volume
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000002546 full scan Methods 0.000 claims abstract description 6
- 239000000463 material Substances 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004941 influx Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1727—Details of free space management performed by the file system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2452—Query translation
- G06F16/24522—Translation of natural language queries to structured queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
(外1)
など)を区分せずに検索する機能、片仮名と平仮名を区分せずに検索する機能(Kana Type insensitive)などが含まれてよい。
310:文書保存部
320:並列検索部
Claims (20)
- コンピュータ装置で実行される個別データ検索方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
前記個別データ検索方法は、
前記少なくとも1つのプロセッサにより、ユーザと関連する個別データに該当する検索対象文書をブロック単位のボリュームに圧縮して保存する段階、および
前記少なくとも1つのプロセッサにより、検索要請に対応する複数のボリュームを並列にフルスキャン検索する段階
を含む、個別データ検索方法。 - 前記保存する段階は、
前記検索対象文書を一定サイズのブロック単位で集めて圧縮することによって圧縮ボリュームを生成する段階
を含む、請求項1に記載の個別データ検索方法。 - 前記保存する段階は、
新規文書が流入する場合、前記新規文書を前記検索対象文書からなる増分ボリュームに付け足す段階、および
前記増分ボリュームを一定サイズのブロック単位に圧縮して圧縮ボリュームを生成する段階
を含む、請求項1に記載の個別データ検索方法。 - 前記保存する段階は、
前記圧縮ボリュームが生成された後に既存の文書が削除される場合、前記既存の文書に対する削除情報をマーキングする段階
をさらに含み、
前記マーキングされた文書は、検索結果から除外すること
を特徴とする、請求項3に記載の個別データ検索方法。 - 前記検索する段階は、
転置索引資料構造は使用せず、前記ブロック単位の圧縮ボリュームに対するフルスキャン方式によってクエリと部分一致する文書を検索すること
を特徴とする、請求項1に記載の個別データ検索方法。 - 前記検索する段階は、
前記複数のボリュームを並列にデコードする段階、および
前記デコードされたボリュームを対象に文字列ファインド(find)を並列に実行する段階
を含む、請求項1に記載の個別データ検索方法。 - 前記保存する段階は、
サーバの二重化のために、複数のホストに前記個別データに対する複製ボリュームを保存する段階
を含む、請求項1に記載の個別データ検索方法。 - 前記検索する段階は、
前記検索要請に含まれたクエリと前記複数のボリューム内の文書をユニコード正規化する段階、および
正規化された文字列を利用して照合(collation)検索を行う段階
を含む、請求項1に記載の個別データ検索方法。 - 前記保存する段階は、
前記検索対象文書をユニコード正規化する段階
を含み、
前記検索する段階は、
前記検索要請に含まれたクエリをユニコード正規化する段階、および
正規化された文字列を利用して照合検索を行う段階
を含む、請求項1に記載の個別データ検索方法。 - 前記保存する段階は、
変換文字位置を示すオフセットと該当の位置の原本文字を含む変換テーブルを生成する段階
さらに含む、請求項9に記載の個別データ検索方法。 - 請求項1~10のうちのいずれか一項に記載の個別データ検索方法をコンピュータ装置に実行させるためのコンピュータプログラム。
- コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサは、
ユーザと関連する個別データに該当する検索対象文書をブロック単位のボリュームに圧縮して保存する文書保存部、および
検索要請に対応する複数のボリュームを並列にフルスキャン検索する並列検索部
を含む、コンピュータ装置。 - 前記文書保存部は、
前記検索対象文書を一定サイズのブロック単位で集めて圧縮することによって圧縮ボリュームを生成すること
を特徴とする、請求項12に記載のコンピュータ装置。 - 前記文書保存部は、
新規文書が流入する場合、前記新規文書を前記検索対象文書からなる増分ボリュームに付け足し、
前記増分ボリュームを一定サイズのブロック単位に圧縮して圧縮ボリュームを生成すること
を特徴とする、請求項12に記載のコンピュータ装置。 - 前記文書保存部は、
前記圧縮ボリュームが生成された後に既存の文書が削除される場合、前記既存の文書に対する削除情報をマーキングし、
前記マーキングされた文書は、検索結果から除外すること
を特徴とする、請求項14に記載のコンピュータ装置。 - 前記並列検索部は、
転置索引資料構造は使用せず、前記ブロック単位の圧縮ボリュームに対するフルスキャン方式によってクエリと部分一致する文書を検索すること
を特徴とする、請求項12~15のうちのいずれか一項に記載のコンピュータ装置。 - 前記並列検索部は、
前記複数のボリュームを並列にデコードし、
前記デコードされたボリュームを対象に文字列ファインドを並列に実行すること
を特徴とする、請求項12~15のうちのいずれか一項に記載のコンピュータ装置。 - 前記並列検索部は、
前記検索要請に含まれたクエリと前記複数のボリューム内の文書をユニコード正規化し、
正規化された文字列を利用して照合検索を行うこと
を特徴とする、請求項12~15のうちのいずれか一項に記載のコンピュータ装置。 - 前記文書保存部は、
前記検索対象文書をユニコード正規化し、
前記並列検索部は、
前記検索要請に含まれたクエリをユニコード正規化し、
正規化された文字列を利用して照合検索を行うこと
を特徴とする、請求項12~15のうちのいずれか一項に記載のコンピュータ装置。 - 前記文書保存部は、
変換文字位置を示すオフセットと該当の位置の原本文字を含む変換テーブルを生成すること
を特徴とする、請求項19に記載のコンピュータ装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210071229A KR102592785B1 (ko) | 2021-06-02 | 2021-06-02 | 개별 데이터 검색 서비스를 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
KR10-2021-0071229 | 2021-06-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022185581A true JP2022185581A (ja) | 2022-12-14 |
JP7377915B2 JP7377915B2 (ja) | 2023-11-10 |
Family
ID=84438719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022088502A Active JP7377915B2 (ja) | 2021-06-02 | 2022-05-31 | 個別データ検索サービスを提供する方法、コンピュータ装置、およびコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7377915B2 (ja) |
KR (1) | KR102592785B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09134364A (ja) * | 1995-11-08 | 1997-05-20 | Fujitsu Ltd | 情報検索システム |
JPH1027183A (ja) * | 1997-04-11 | 1998-01-27 | Hitachi Ltd | データ登録方法および装置 |
WO2015145647A1 (ja) * | 2014-03-27 | 2015-10-01 | 株式会社日立製作所 | ストレージ装置とデータ処理方法及びストレージシステム |
CN106528846A (zh) * | 2016-11-21 | 2017-03-22 | 广州华多网络科技有限公司 | 一种检索方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196646A (ja) | 2012-03-22 | 2013-09-30 | Toshiba Corp | メモリ制御装置、データ記憶装置及びメモリ制御方法 |
KR101727508B1 (ko) * | 2015-07-28 | 2017-04-18 | 서울과학기술대학교 산학협력단 | 하둡 기반 하드웨어 압축 고속화 장치 및 방법 |
-
2021
- 2021-06-02 KR KR1020210071229A patent/KR102592785B1/ko active IP Right Grant
-
2022
- 2022-05-31 JP JP2022088502A patent/JP7377915B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09134364A (ja) * | 1995-11-08 | 1997-05-20 | Fujitsu Ltd | 情報検索システム |
JPH1027183A (ja) * | 1997-04-11 | 1998-01-27 | Hitachi Ltd | データ登録方法および装置 |
WO2015145647A1 (ja) * | 2014-03-27 | 2015-10-01 | 株式会社日立製作所 | ストレージ装置とデータ処理方法及びストレージシステム |
CN106528846A (zh) * | 2016-11-21 | 2017-03-22 | 广州华多网络科技有限公司 | 一种检索方法及装置 |
Non-Patent Citations (1)
Title |
---|
宇野毅明ほか: "「2.情報爆発時代のための新しい超高速アルゴリズム」", 情報処理, vol. 49, no. 8, JPN6023024852, 15 August 2008 (2008-08-15), pages 897 - 903, ISSN: 0005087585 * |
Also Published As
Publication number | Publication date |
---|---|
JP7377915B2 (ja) | 2023-11-10 |
KR102592785B1 (ko) | 2023-10-23 |
KR20220162963A (ko) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210311912A1 (en) | Reduction of data stored on a block processing storage system | |
KR102007070B1 (ko) | 메모리 관리 시의 중복 제거를 위해서 기준 세트로 기준 블록을 취합하는 기법 | |
JP6596102B2 (ja) | コンテンツ連想シーブに存在している基本データエレメントからデータを導出することによるデータの無損失削減 | |
US9576024B2 (en) | Hierarchy of servers for query processing of column chunks in a distributed column chunk data store | |
US7464247B2 (en) | System and method for updating data in a distributed column chunk data store | |
US7447839B2 (en) | System for a distributed column chunk data store | |
US8214388B2 (en) | System and method for adding a storage server in a distributed column chunk data store | |
US7921132B2 (en) | System for query processing of column chunks in a distributed column chunk data store | |
US7457935B2 (en) | Method for a distributed column chunk data store | |
US11363296B2 (en) | Lossless reduction of data by using a prime data sieve and performing multidimensional search and content-associative retrieval on data that has been losslessly reduced using a prime data sieve | |
US7921087B2 (en) | Method for query processing of column chunks in a distributed column chunk data store | |
KR20130049111A (ko) | 분산 처리를 이용한 포렌식 인덱스 방법 및 장치 | |
EP4150766A1 (en) | Exploiting locality of prime data for efficient retrieval of data that has been losslessly reduced using a prime data sieve | |
JP6726690B2 (ja) | 基本データシーブを用いて無損失削減されたデータに対する多次元検索、コンテンツ連想的な取出し、ならびにキーワードベースの検索および取出しの実行 | |
US11663177B2 (en) | Systems and methods for extracting data in column-based not only structured query language (NoSQL) databases | |
CN108475508B (zh) | 音频数据和保存在块处理存储系统中的数据的简化 | |
US20220066994A1 (en) | Efficient retrieval of data that has been losslessly reduced using a prime data sieve | |
JP7377915B2 (ja) | 個別データ検索サービスを提供する方法、コンピュータ装置、およびコンピュータプログラム | |
US11494093B2 (en) | Method and apparatus for processing data of in-memory database |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7377915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |