JP2014521176A - インデックス構築方法、検索方法、検索デバイス、および検索システム - Google Patents
インデックス構築方法、検索方法、検索デバイス、および検索システム Download PDFInfo
- Publication number
- JP2014521176A JP2014521176A JP2014520505A JP2014520505A JP2014521176A JP 2014521176 A JP2014521176 A JP 2014521176A JP 2014520505 A JP2014520505 A JP 2014520505A JP 2014520505 A JP2014520505 A JP 2014520505A JP 2014521176 A JP2014521176 A JP 2014521176A
- Authority
- JP
- Japan
- Prior art keywords
- index segment
- segment
- primary
- index
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000010276 construction Methods 0.000 title claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
それぞれのプリセット期間内で取得されたデータを一次インデックスセグメントにそれぞれ構築して、それぞれのプリセット期間が終わった後で、構築された一次インデックスセグメントを一次インデックスセグメントセットにマージするステップと、
一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージして、大きなインデックスセグメントセットを取得するステップと、
検索サービスを提供するために、一次インデックスセグメントセット内の一次インデックスセグメントまたは大きなインデックスセグメントセット内の大きなインデックスセグメントを検索デバイスに送信するステップと
を含む。
それぞれのプリセット期間内で取得されたデータを一次インデックスセグメントにそれぞれ構築して、それぞれのプリセット期間が終わった後で、構築された一次インデックスセグメントを一次インデックスセグメントセットにマージするように構成された構築モジュールと、
構築モジュールによって取得された一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージして、大きなインデックスセグメントセットを取得するように構成された第1のマージモジュールと、
検索サービスを提供するために、構築モジュールによって取得された一次インデックスセグメントセット内の一次インデックスセグメントまたは第1のマージモジュールによって取得された大きなインデックスセグメントセット内の大きなインデックスセグメントを検索デバイスに送信するように構成された送信モジュールと
を含む。
それぞれのプリセット期間ごとに、インデックス構築デバイスから第1のレベルのインデックスセグメントを取得して、取得された第1のレベルのインデックスセグメントを第1のレベルのインデックスセグメントセットにマージするステップと、
第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを複写して、複写された第1のレベルのインデックスセグメントを対応する第2のレベルのインデックスセグメントにマージして、第2のレベルのインデックスセグメントセットを取得するステップと、
第1のレベルのインデックスセグメントセット内の第1のレベルのインデックスセグメントと第2のレベルのインデックスセグメントセット内の第2のレベルのインデックスセグメントとに従って、検索サービスを提供するステップと
を含む。
それぞれのプリセット期間ごとに、インデックス構築デバイスから第1のレベルのインデックスセグメントを取得して、取得された第1のレベルのインデックスセグメントを第1のレベルのインデックスセグメントセットにマージするように構成された取得モジュールと、
取得モジュールによって取得された第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを複写して、複写された第1のレベルのインデックスセグメントを対応する第2のレベルのインデックスセグメントにマージして、第2のレベルのインデックスセグメントセットを取得するように構成された第2のマージモジュールと、
取得モジュールによって取得された第1のレベルのインデックスセグメントセット内の第1のレベルのインデックスセグメントと第2のマージモジュールによって取得された第2のレベルのインデックスセグメントセット内の第2のレベルのインデックスセグメントとに従って、検索サービスを提供するように構成された検索モジュールと
を含む。
インデックス構築デバイスは上記のインデックス構築デバイスであり、
検索デバイスは上記の検索デバイスである。
101:それぞれのプリセット期間内で取得されたデータを一次インデックスセグメントにそれぞれ構築して、それぞれのプリセット期間が終わった後で、構築された一次インデックスセグメントを一次インデックスセグメントセットにマージするステップ、
102:一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージして、大きなインデックスセグメントセットを取得するステップ、および
103:検索サービスを提供するために、一次インデックスセグメントセット内の一次インデックスセグメントまたは大きなインデックスセグメントセット内の大きなインデックスセグメントを検索デバイスに送信するステップ。
201:それぞれのプリセット期間内で取得されたデータを一次インデックスセグメントにそれぞれ構築するステップ。
それぞれのプリセット期間ごとに、そのそれぞれのプリセット期間の前に構築された一次インデックスセグメントを一次インデックスセグメントセットから削除するステップ。
は、インデックスデータを検査するために、1個のインデックスセグメントは、md5検査値をさらに含むことが可能である。md5検査値は、インデックスセグメントのすべてのバイトのmd5値を指す。
連続番号および完全であるかどうかの符号を搬送する、検索デバイスから送信されたインデックスセグメントアプリケーションを受信するステップと、
アプリケーション内で搬送された連続番号および完全であるかどうかの符号に従って、一次インデックスセグメントセットの一次インデックスセグメントまたは大きなインデックスセグメントセットの大きなインデックスセグメントである、対応するインデックスセグメントを検索デバイスに送信するステップと
を特に含む。
アプリケーション内で搬送された連続番号値がヌルである場合、バックアップされたインデックスセグメントを読み取って、バックアップされたインデックスセグメントを検索デバイスに送信するステップ、
または、アプリケーション内で搬送された連続番号値が非ヌルであり、かつアプリケーションが不完全であるという符号を搬送する場合、アプリケーション内で搬送された連続番号値と同じ連続番号値を有するインデックスセグメントを検索デバイスに送信するステップ、
または、アプリケーション内で搬送された連続番号値が非ヌルであり、かつアプリケーションが完全であるという符号を搬送する場合、アプリケーション内で搬送された連続番号値の次の連続番号値である連続番号値を有するインデックスセグメントを検索デバイスに送信するステップ
を特に含む。
それぞれのプリセット期間内で取得されたデータを一次インデックスセグメントにそれぞれ構築して、それぞれのプリセット期間が終わった後で、構築された一次インデックスセグメントを一次インデックスセグメントセットにマージするように構成された構築モジュール501と、
構築モジュール501によって取得された一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージして、大きなインデックスセグメントセットを取得するように構成された第1のマージモジュール502と、
検索サービスを提供するために、構築モジュール501によって取得された一次インデックスセグメントセット内の一次インデックスセグメントまたは第1のマージモジュール502によって取得された大きなインデックスセグメントセット内の大きなインデックスセグメントを検索デバイスに送信するように構成された送信モジュール503と
を含む。
構築モジュール501が構築された一次インデックスセグメントを一次インデックスセグメントセットにマージした後で、それぞれのプリセット期間ごとに、そのそれぞれのプリセット期間の前に構築された一次インデックスセグメントを一次インデックスセグメントセットから削除するように構成された削除モジュール504
をさらに含む。
第1のマージモジュール502が、構築モジュール501によって取得された一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージして、大きなインデックスセグメントセットを取得した後で、大きなインデックスセグメントセット内のそれぞれの大きなインデックスセグメントをバックアップするように構成されたバックアップモジュール505
をさらに含む。
したがって、第1のマージモジュール502が構築モジュール501によって取得された一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージするとき、マージされた後の大きなインデックスセグメントの連続番号値は、マージするときの一次インデックスセグメントの連続番号値および大きなインデックスセグメントの連続番号値のうち、大きい方の連続番号値であり、
したがって、図8を参照すると、送信モジュール503は、
連続番号値および完全であるかどうかの符号を搬送する、検索デバイスから送信されたインデックスセグメントアプリケーションを受信するように構成された第1の受信ユニット503aと、
第1の受信ユニット503aによって受信されたアプリケーション内で搬送された連続番号値および完全であるかどうかの符号に従って、一次インデックスセグメントセットの一次インデックスセグメントまたは大きなインデックスセグメントセットの大きなインデックスセグメントである対応するインデックスセグメントを検索デバイスに送信するように構成された第1の送信ユニット503bと
を特に含む。
901:それぞれのプリセット期間ごとに、インデックス構築デバイスから第1のレベルのインデックスセグメントを取得して、取得された第1のレベルのインデックスセグメントを第1のレベルのインデックスセグメントセットにマージするステップ、
902:第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを複写して、複写された第1のレベルのインデクスセグメントを対応する第2のレベルのインデックスセグメントにマージして、第2のレベルのインデックスセグメントセットを取得するステップ、および
903:第1のレベルのインデックスセグメントセット内の第1のレベルのインデックスセグメントと第2のレベルのインデックスセグメントセット内の第2のレベルのインデックスセグメントとに従って、検索サービスを提供するステップ。
1001:それぞれのプリセット期間ごとに、連続番号値および完全であるかどうかの符号を搬送するインデックスセグメントアプリケーションをインデックス構築デバイスに送信するステップ。
T=Tinsert_to_segment+Tcopy_segment+Treload_segment
である。
それぞれのプリセット期間ごとに、インデックス構築デバイスから第1のレベルのインデックスセグメントを取得して、取得された第1のレベルのインデックスセグメントを第1のレベルのインデックスセグメントセットにマージするように構成された取得モジュール1201と、
取得モジュール1201によって取得された第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを複写して、複写された第1のレベルのインデックスセグメントを対応する第2のレベルのインデックスセグメントにマージして、第2のレベルのインデックスセグメントセットを取得するように構成された第2のマージモジュール1202と、
取得モジュール1201によって取得された第1のレベルのインデックスセグメントセット内の第1のレベルのインデックスセグメントと前記第2のマージモジュール1202によって取得された第2のレベルのインデックスセグメントセット内の第2のレベルのインデックスセグメントとに従って、検索サービスを提供するように構成された検索モジュール1203と
を含む。
それぞれのプリセット期間ごとに、連続番号値および完全であるかどうかの符号を搬送するインデックスセグメントアプリケーションをインデックス構築デバイスに送信するように構成された第2の送信ユニット1201aと、
第2の送信ユニット1201aによって送信された連続番号値および完全であるかどうかの符号に従ってインデックス構築デバイスによって送信されたインデックスセグメントを受信して、受信されたインデックスセグメントを第1のレベルのインデックスセグメントと見なして、第1のレベルのインデックスセグメントを対応する第2のレベルのインデックスセグメントにマージするように構成された第2の受信ユニット1201bと
を特に含む。
502 第1のマージモジュール
503 送信モジュール
503a 第1の受信ユニット
503b 第1の送信ユニット
504 削除モジュール
505 バックアップモジュール
1201 取得モジュール
1201a 第2の送信ユニット
1201b 第2の受信ユニット
1202 第2のマージモジュール
1203 検索モジュール
1401 インデックス構築デバイス
1402 検索デバイス
Claims (19)
- それぞれのプリセット期間内で取得されたデータを一次インデックスセグメントにそれぞれ構築して、それぞれのプリセット期間が終わった後で、前記構築された一次インデックスセグメントを一次インデックスセグメントセットにマージするステップと、
前記一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、前記複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージして、大きなインデックスセグメントセットを取得するステップと、
検索サービスを提供するために、前記一次インデックスセグメントセット内の前記一次インデックスセグメントまたは前記大きなインデックスセグメントセット内の前記大きなインデックスセグメントを検索デバイスに送信するステップと
を含むインデックス構築方法。 - 前記一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、前記複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージする前記ステップが、
前記一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを今度は時間系列に従って複写して、前記複写された一次インデックスセグメントを前記対応する大きなインデックスセグメントにマージするステップであって、前記対応する大きなインデックスセグメントが、前記大きなインデックスセグメントセット内にあり、かつ空メモリに隣接する大きなインデックスセグメントである、マージするステップ
を特に含む、請求項1に記載の方法。 - 前記構築された一次インデックスセグメントを対応する大きなインデックスセグメントにマージした後で、前記方法が、
それぞれのプリセット期間ごとに、前記それぞれのプリセット期間の前に構築された一次インデックスセグメントを前記一次インデックスセグメントセットから削除するステップ
をさらに含む、請求項1に記載の方法。 - 前記一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、前記複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージして、大きなインデックスセグメントセットを取得する前記ステップの後に、前記方法が、
前記大きなインデックスセグメントセット内のそれぞれの大きなインデックスセグメントをバックアップするステップ
をさらに含む、請求項1から3のいずれか一項に記載の方法。 - 前記一次インデックスセグメントおよび前記大きなインデックスセグメントのそれぞれが、連続番号値および完全であるかどうかの符号を含み、
前記一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、前記複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージするとき、マージされた後の前記大きなインデックスセグメントの連続番号値が、マージするときの、前記一次インデックスセグメントの連続番号値および前記大きなインデックスセグメントの連続番号値のうちの、大きい方の連続番号値であり、
検索サービスを提供するために、前記一次インデックスセグメントセット内の前記一次インデックスセグメントまたは前記大きなインデックスセグメントセット内の前記大きなインデックスセグメントを検索デバイスに送信する前記ステップが、
連続番号値および完全であるかどうかの符号を搬送する、前記検索デバイスから送信されたインデックスセグメントアプリケーションを受信するステップと、
前記アプリケーション内で搬送された前記連続番号値および完全であるかどうかの前記符号に従って、前記一次インデックスセグメントセットの一次インデックスセグメントまたは前記大きなインデックスセグメントセットの大きなインデックスセグメントである対応するインデックスセグメントを前記検索デバイスに送信するステップと
を特に含む、請求項4に記載の方法。 - 前記アプリケーション内で搬送された前記連続番号値および完全であるかどうかの前記符号に従って、対応するインデックスセグメントを前記検索デバイスに送信する前記ステップが、
前記アプリケーション内で搬送された前記連続番号値がヌルである場合、バックアップされたインデックスセグメントを読み取って、前記バックアップされたインデックスセグメントを前記検索デバイスに送信するステップと、
前記アプリケーション内で搬送された前記連続番号値が非ヌルであり、かつ前記アプリケーションが不完全であるという符号を搬送する場合、前記アプリケーション内で搬送された前記連続番号値と同じ連続番号値を有するインデックスセグメントを前記検索デバイスに送信するステップと、
前記アプリケーション内で搬送された前記連続番号値が非ヌルであり、かつ前記アプリケーションが完全であるという符号を搬送する場合、前記アプリケーション内で搬送された前記連続番号値の次の連続番号値である連続番号値を有するインデックスセグメントを前記検索デバイスに送信するステップと
を特に含む、請求項5に記載の方法。 - それぞれのプリセット期間内で取得されたデータを一次インデックスセグメントにそれぞれ構築して、それぞれのプリセット期間が終わった後で、前記構築された一次インデックスセグメントを一次インデックスセグメントセットにマージするように構成された構築モジュールと、
前記構築モジュールによって取得された前記一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、前記複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージして、大きなインデックスセグメントセットを取得するように構成された第1のマージモジュールと、
検索サービスを提供するために、前記構築モジュールによって取得された前記一次インデックスセグメントセット内の前記一次インデックスセグメントまたは前記第1のマージモジュールによって取得された前記大きなインデックスセグメントセット内の前記大きなインデックスセグメントを検索デバイスに送信するように構成された送信モジュールと
を含むインデックス構築デバイス。 - 前記第1のマージモジュールが、マージによって前記構築モジュールによって取得された前記一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを今度は時間系列に従って複写して、前記複写された一次インデックスセグメントを、前記大きなインデックスセグメントセット内の大きなインデックスセグメントであり、かつ空メモリに隣接する対応する大きなインデックスセグメントにマージするように特に構成される、請求項7に記載のデバイス。
- 前記デバイスが、
前記構築モジュールが前記構築された一次インデックスセグメントを前記一次インデックスセグメントセットにマージした後で、それぞれのプリセット期間ごとに、前記それぞれのプリセット期間の前に構築された一次インデックスセグメントを前記一次インデックスセグメントセットから削除するように構成された削除モジュール
をさらに含む、請求項7に記載のデバイス。 - 前記デバイスが、
前記第1のマージモジュールが、前記構築モジュールによって取得された前記一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、前記複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージして、大きなインデックスセグメントセットを取得した後で、前記大きなインデックスセグメントセット内のそれぞれの大きなインデックスセグメントをバックアップするように構成されたバックアップモジュール
をさらに含む、請求項7から9のいずれか一項に記載のデバイス。 - 前記構築モジュールによって構築された前記一次インデックスセグメントおよびマージによって前記第1のマージモジュールによって取得された前記大きなインデックスセグメントのそれぞれが、連続番号値および完全であるかどうかの符号を含み、
前記第1のマージモジュールが前記構築モジュールによって取得された前記一次インデックスセグメントセット内のそれぞれの一次インデックスセグメントを複写して、前記複写された一次インデックスセグメントを対応する大きなインデックスセグメントにマージするとき、マージされた後の前記大きなインデックスセグメントの連続番号値が、マージするときの前記一次インデックスセグメントの連続番号値および前記大きなインデックスセグメントの連続番号値のうちの、大きい方の連続番号値であり、
送信モジュールが、
連続番号値および完全であるかどうかの符号を搬送する、前記検索デバイスから送信されたインデックスセグメントアプリケーションを受信するように構成された第1の受信ユニットと、
前記第1の受信ユニットによって受信された前記アプリケーション内で搬送された前記連続番号値および完全であるかどうかの前記符号に従って、前記一次インデックスセグメントセットの一次インデックスセグメントまたは前記大きなインデックスセグメントセットの大きなインデックスセグメントである対応するインデックスセグメントを前記検索デバイスに送信するように構成された第1の送信ユニットと
を特に含む、請求項10に記載のデバイス。 - 前記第1の受信ユニットによって受信された前記アプリケーション内で搬送された前記連続番号値がヌルである場合、バックアップされたインデックスセグメントを読み取って、前記バックアップされたインデックスセグメントを前記検索デバイスに送信し、前記第1の受信ユニットによって受信された前記アプリケーション内で搬送された前記連続番号値が非ヌルであり、かつ前記アプリケーションが不完全であるという符号を搬送する場合、前記アプリケーション内で搬送された前記連続番号値と同じ連続番号値を有するインデックスセグメントを前記検索デバイスに送信し、前記第1の受信ユニットによって受信された前記アプリケーション内で搬送された前記連続番号値が非ヌルであり、かつ前記アプリケーションが完全であるという符号を搬送する場合、前記アプリケーション内で搬送された前記連続番号値の次の連続番号値である連続番号値を有するインデックスセグメントを前記検索デバイスに送信するように前記第1の送信ユニットが特に構成される、請求項11に記載のデバイス。
- それぞれのプリセット期間ごとに、インデックス構築デバイスから第1のレベルのインデックスセグメントを取得して、前記取得された第1のレベルのインデックスセグメントを第1のレベルのインデックスセグメントセットにマージするステップと、
前記第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを複写して、前記複写された第1のレベルのインデックスセグメントを対応する第2のレベルのインデックスセグメントにマージして、第2のレベルのインデックスセグメントセットを取得するステップと、
前記第1のレベルのインデックスセグメントセット内の前記第1のレベルのインデックスセグメントおよび前記第2のレベルのインデックスセグメントセット内の前記第2のレベルのインデックスセグメントに従って、検索サービスを提供するステップと
を含む検索方法。 - 前記第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを複写して、前記複写された第1のレベルのインデックスセグメントを対応する第2のレベルのインデックスセグメントにマージする前記ステップが、
前記第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを今度は時間系列に従って複写して、前記複写された第1のレベルのインデックスセグメントを、前記第2のレベルのインデックスセグメントセット内にあり、かつ空メモリに隣接する第2のレベルのインデックスセグメントである対応する第2のレベルのインデックスセグメントにマージするステップ
を特に含む、請求項13に記載の方法。 - 前記第1のレベルのインデックスセグメントおよび前記第2のレベルのインデックスセグメントのそれぞれが、連続番号値および完全であるかどうかの符号を含み、
それぞれのプリセット期間ごとに、インデックス構築デバイスから第1のレベルのインデックスセグメントを取得する前記ステップが、
それぞれのプリセット期間ごとに、連続番号値および完全であるかどうかの符号を搬送するインデックスセグメントアプリケーションを前記インデックス構築デバイスに送信するステップであって、前記連続番号値が、既に存在したインデックスセグメントの連続番号値のうちの最大連続番号値であるか、またはヌルである、送信するステップと、
前記連続番号値および完全であるかどうかの前記符号に従って前記インデックス構築デバイスによって送信された前記インデックスセグメントを受信して、前記受信されたインデックスセグメントを第1のレベルのインデックスセグメントと見なすステップと
を特に含み、
前記第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを複写して、前記複写された第1のレベルのインデックスセグメントを対応する第2のレベルのインデックスセグメントにマージするとき、マージされた後の前記第2のレベルのインデックスセグメントの連続番号値が、マージするときの前記第1のレベルのインデックスセグメントの連続番号値および前記第2のレベルのインデックスセグメントの連続番号値のうちの、大きい方の連続番号値である、請求項13または14に記載の方法。 - それぞれのプリセット期間ごとに、インデックス構築デバイスから第1のレベルのインデックスセグメントを取得して、前記取得された第1のレベルのインデックスセグメントを第1のレベルのインデックスセグメントセットにマージするように構成された取得モジュールと、
前記取得モジュールによって取得された前記第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを複写して、前記複写された第1のレベルのインデックスセグメントを対応する第2のレベルのインデックスセグメントにマージして、第2のレベルのインデックスセグメントセットを取得するように構成された第2のマージモジュールと、
前記取得モジュールによって取得された前記第1のレベルのインデックスセグメントセット内の前記第1のレベルのインデックスセグメントおよび前記第2のマージモジュールによって取得された前記第2のレベルのインデックスセグメントセット内の前記第2のレベルのインデックスセグメントに従って、検索サービスを提供するように構成された検索モジュールと
を含む検索デバイス。 - 前記第2のマージモジュールが、前記第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを今度は時間系列に従って複写して、前記複写された第1のレベルのインデックスセグメントを、前記第2のレベルのインデックスセグメントセット内にあり、かつ空メモリに隣接する第2のレベルのインデックスセグメントである対応する第2のレベルのインデックスセグメントにマージするように特に構成される、請求項16に記載のデバイス。
- 前記取得モジュールによって取得された前記第1のレベルのインデックスセグメントおよび前記第2のマージモジュールによって取得された前記第2のレベルのインデックスセグメントのそれぞれが、連続番号値および完全であるかどうかの符号を含み、
前記取得モジュールが、
それぞれのプリセット期間ごとに、連続番号値および完全であるかどうかの符号を搬送するインデックスセグメントアプリケーションを前記インデックス構築デバイスに送信するように構成された第2の送信ユニットと、
前記第2の送信ユニットによって送信された前記連続番号値および完全であるかどうかの前記符号に従って前記インデックス構築デバイスによって送信された前記インデックスセグメントを受信して、前記受信されたインデックスセグメントを第1のレベルのインデックスセグメントと見なして、前記第1のレベルのインデックスセグメントを対応する第2のレベルのインデックスセグメントにマージするように構成された第2の受信ユニットと
を特に含み、
前記第2のマージモジュールが、前記取得モジュールによって取得された前記第1のレベルのインデックスセグメントセット内のそれぞれの第1のレベルのインデックスセグメントを複写して、前記複写された第1のレベルのインデックスセグメントを前記対応する第2のレベルのインデックスセグメントにマージするとき、マージされた後の前記第2のレベルのインデックスセグメントの連続番号値が、マージするときの前記第1のレベルのインデックスセグメントの連続番号値および前記第2のレベルのインデックスセグメントの連続番号値のうちの、大きい方の連続番号値である、請求項16または17に記載のデバイス。 - 1個のインデックス構築デバイスおよび2個以上の検索デバイスを含む検索システムであって、
前記インデックス構築デバイスが、請求項7から12のいずれか一項に記載のインデックス構築デバイスであり、
前記検索デバイスが、請求項16から18のいずれか一項に記載の検索デバイスである、検索システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110204879.8 | 2011-07-21 | ||
CN201110204879.8A CN102890682B (zh) | 2011-07-21 | 2011-07-21 | 构建索引的方法、检索方法、装置及系统 |
PCT/CN2012/076767 WO2013010414A1 (zh) | 2011-07-21 | 2012-06-12 | 构建索引的方法、检索方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014521176A true JP2014521176A (ja) | 2014-08-25 |
JP5823037B2 JP5823037B2 (ja) | 2015-11-25 |
Family
ID=47534189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014520505A Active JP5823037B2 (ja) | 2011-07-21 | 2012-06-12 | インデックス構築方法、検索方法、検索デバイス、および検索システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US8914379B2 (ja) |
JP (1) | JP5823037B2 (ja) |
CN (1) | CN102890682B (ja) |
AP (1) | AP2014007431A0 (ja) |
WO (1) | WO2013010414A1 (ja) |
ZA (1) | ZA201400873B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101744017B1 (ko) * | 2016-03-11 | 2017-06-07 | 주식회사 지앤클라우드 | 실시간 검색을 위한 데이터 인덱싱 방법 및 장치 |
JP2022534215A (ja) * | 2019-05-23 | 2022-07-28 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ハイブリッド・インデックス作成方法、システム、プログラム |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103207907B (zh) * | 2013-03-28 | 2016-06-29 | 新浪网技术(中国)有限公司 | 一种索引文件合并方法及装置 |
CN103399915A (zh) * | 2013-07-31 | 2013-11-20 | 北京华易互动科技有限公司 | 一种搜索引擎索引文件的优化读取方法 |
CN106408320A (zh) * | 2015-07-31 | 2017-02-15 | 北京奇虎科技有限公司 | 广告索引构建方法和装置、广告检索方法和系统 |
CN106445953A (zh) * | 2015-08-07 | 2017-02-22 | 北京奇虎科技有限公司 | 广告创意信息检索方法和系统 |
US10303887B2 (en) | 2015-09-14 | 2019-05-28 | T0.Com, Inc. | Data verification methods and systems using a hash tree, such as a time-centric merkle hash tree |
WO2019010228A1 (en) | 2017-07-03 | 2019-01-10 | Medici Ventures, Inc. | DECENTRALIZED NEGOTIATION SYSTEM FOR FAIR ORDERING AND MATCHING OF TRANSACTIONS RECEIVED AT MULTIPLE NETWORK NODE AND CORRELATED BY MULTIPLE NETWORK NODES IN A DECENTRALIZED NEGOTIATION SYSTEM |
CN107609190A (zh) * | 2017-10-11 | 2018-01-19 | 南京南瑞继保电气有限公司 | 一种海量电力设备快速检索服务的实现方法 |
WO2019113197A1 (en) | 2017-12-05 | 2019-06-13 | Walmart Apollo, Llc | System and method for an index search engine |
CN108418746B (zh) * | 2018-02-13 | 2020-06-12 | 论客科技(广州)有限公司 | 一种邮件同步方法、装置与计算机可读存储介质 |
CN109753447A (zh) * | 2019-01-14 | 2019-05-14 | 北京星际荣耀空间科技有限公司 | 一种运载火箭遥测数据实时缓存系统及方法 |
US11308084B2 (en) | 2019-03-13 | 2022-04-19 | International Business Machines Corporation | Optimized search service |
CN111814003B (zh) * | 2019-04-12 | 2024-04-23 | 伊姆西Ip控股有限责任公司 | 用于建立元数据索引的方法、电子设备和计算机程序产品 |
CN111782659B (zh) * | 2020-07-10 | 2023-10-17 | 东北大学 | 数据库索引创建方法、装置、计算机设备和存储介质 |
CN117688013B (zh) * | 2024-02-01 | 2024-04-30 | 北方健康医疗大数据科技有限公司 | 一种基于缓存索引的主索引生成方法、装置、设备及介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852822A (en) * | 1996-12-09 | 1998-12-22 | Oracle Corporation | Index-only tables with nested group keys |
US6631373B1 (en) * | 1999-03-02 | 2003-10-07 | Canon Kabushiki Kaisha | Segmented document indexing and search |
US6516337B1 (en) * | 1999-10-14 | 2003-02-04 | Arcessa, Inc. | Sending to a central indexing site meta data or signatures from objects on a computer network |
US6675205B2 (en) * | 1999-10-14 | 2004-01-06 | Arcessa, Inc. | Peer-to-peer automated anonymous asynchronous file sharing |
US7496559B2 (en) * | 2002-09-03 | 2009-02-24 | X1 Technologies, Inc. | Apparatus and methods for locating data |
CN100458779C (zh) * | 2005-11-29 | 2009-02-04 | 国际商业机器公司 | 扩展索引的方法 |
CN100495400C (zh) * | 2006-09-01 | 2009-06-03 | 北大方正集团有限公司 | 一种全文检索系统的索引在线更新方法 |
US20080071732A1 (en) * | 2006-09-18 | 2008-03-20 | Konstantin Koll | Master/slave index in computer systems |
JP4148529B2 (ja) * | 2006-12-28 | 2008-09-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | データベースにおける索引の整合性をチェックするためのシステム、方法およびプログラム |
US20090193406A1 (en) * | 2008-01-29 | 2009-07-30 | James Charles Williams | Bulk Search Index Updates |
CN101295323B (zh) * | 2008-06-30 | 2011-11-02 | 腾讯科技(深圳)有限公司 | 一种用于索引更新的处理方法和系统 |
CN101414277B (zh) * | 2008-11-06 | 2010-06-09 | 清华大学 | 一种基于虚拟机的按需增量恢复容灾系统及方法 |
WO2010082207A1 (en) * | 2009-01-16 | 2010-07-22 | Sanjiv Agarwal | Dynamic indexing while authoring |
CN101989301B (zh) * | 2010-10-22 | 2012-05-23 | 复旦大学 | 一种支持多数据源的索引维护方法 |
-
2011
- 2011-07-21 CN CN201110204879.8A patent/CN102890682B/zh active Active
-
2012
- 2012-06-12 JP JP2014520505A patent/JP5823037B2/ja active Active
- 2012-06-12 US US14/234,058 patent/US8914379B2/en active Active
- 2012-06-12 AP AP2014007431A patent/AP2014007431A0/xx unknown
- 2012-06-12 WO PCT/CN2012/076767 patent/WO2013010414A1/zh active Application Filing
-
2014
- 2014-02-05 ZA ZA2014/00873A patent/ZA201400873B/en unknown
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101744017B1 (ko) * | 2016-03-11 | 2017-06-07 | 주식회사 지앤클라우드 | 실시간 검색을 위한 데이터 인덱싱 방법 및 장치 |
JP2022534215A (ja) * | 2019-05-23 | 2022-07-28 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ハイブリッド・インデックス作成方法、システム、プログラム |
JP7410181B2 (ja) | 2019-05-23 | 2024-01-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ハイブリッド・インデックス作成方法、システム、プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2013010414A1 (zh) | 2013-01-24 |
AP2014007431A0 (en) | 2014-02-28 |
CN102890682A (zh) | 2013-01-23 |
CN102890682B (zh) | 2017-08-01 |
US8914379B2 (en) | 2014-12-16 |
US20140156671A1 (en) | 2014-06-05 |
ZA201400873B (en) | 2015-10-28 |
JP5823037B2 (ja) | 2015-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5823037B2 (ja) | インデックス構築方法、検索方法、検索デバイス、および検索システム | |
CN106933503B (zh) | 在基于哈希的存储系统中从异步到同步复制的一致转变 | |
US10452271B2 (en) | Reconstructing in-memory indices in a distributed data storage system | |
CN106484877B (zh) | 一种基于hdfs的文件检索系统 | |
US10248356B2 (en) | Using scratch extents to facilitate copying operations in an append-only storage system | |
JP5996088B2 (ja) | 暗号ハッシュ・データベース | |
EP2863310B1 (en) | Data processing method and apparatus, and shared storage device | |
US9547706B2 (en) | Using colocation hints to facilitate accessing a distributed data storage system | |
US20140181030A1 (en) | Identifying data items | |
US9772783B2 (en) | Constructing an index to facilitate accessing a closed extent in an append-only storage system | |
US10310904B2 (en) | Distributed technique for allocating long-lived jobs among worker processes | |
US9405643B2 (en) | Multi-level lookup architecture to facilitate failure recovery | |
US11461140B2 (en) | Systems and methods for controller-worker architecture for searching a storage system | |
CN102169507A (zh) | 一种分布式实时搜索引擎 | |
CN106599308A (zh) | 一种分布式元数据管理方法及系统 | |
CN113168404B (zh) | 用于在分布式数据库系统中复制数据的系统和方法 | |
US9720607B2 (en) | Append-only storage system supporting open and closed extents | |
US20180165345A1 (en) | Data processing device, computer-readable recording medium having recorded therein data processing program and data processing method | |
CN104462389A (zh) | 基于分级存储的分布式文件系统实现方法 | |
JP2020506444A (ja) | 期限切れバックアップ処理方法及びバックアップサーバ | |
US11782878B2 (en) | Systems and methods for searching deduplicated data | |
CN111371583B (zh) | 服务器的扩容方法及装置、服务器、存储介质 | |
KR101035857B1 (ko) | 데이터 관리 방법 및 그 시스템 | |
OA17269A (en) | Index constructing method, search method, device and system. | |
CN117725046A (zh) | 集群的数据迁移方法、装置、存储介质以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5823037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |