JPH0696124A

JPH0696124A - 情報検索装置

Info

Publication number: JPH0696124A
Application number: JP4269776A
Authority: JP
Inventors: Norie Maenaka; 紀江前中; Motohiko Matsuda; 元彦松田; Mitsuru Arai; 三鉉新井
Original assignee: Sumitomo Metal Industries Ltd
Current assignee: Nippon Steel Corp
Priority date: 1992-09-11
Filing date: 1992-09-11
Publication date: 1994-04-08

Abstract

(57)【要約】【目的】複数のプロセッサ要素それぞれに備えられて
いるローカルメモリ及び各プロセッサ要素を相互に結合
する通信路等の資源を有効利用して効率的且つ迅速に処
理可能な情報検索装置の提供を目的とする。【構成】各プロセッサ要素P1, P2…のローカルメモリ
LM１, LM２…には、検索の対象となる文字列であるドキ
ュメントデータを複数文字にて構成される任意のデータ
量に分割してそれぞれ割り当てて記憶させ、それらのド
キュメントデータ長と同じデータ長で、検索文字列50が
１文字ずつずれている複数の検索用パターン61, 62…を
用意し、それらのとドキュメントデータとの比較をそれ
ぞれのプロセッサ要素P1, P2…で行うようにする。そし
て、各プロセッサ要素P1, P2…はそれぞれでの比較結果
を示すために、検索用パターン61, 62…の数と同一ビッ
ト数のマッチングフラグ71, 72…を備え、それらの内容
を隣接するプロセッサ要素P1, P2…へ通信することを反
復して最終的に一致検出を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、並列計算機を利用した
情報検索装置に関し、より具体的には、フルテキストの
パターン検索を並列計算機を利用して行う情報検索装置
に関する。

【０００２】

【従来の技術】フルテキスト検索方式は、検索の対象と
なる文字列としての大量のドキュメントデータを対象と
して行われる場合、膨大な処理時間を必要として実用的
ではなかった。しかし、並列計算機の高処理能力による
処理時間の短縮により、フルテキスト検索方式は実用的
になり、現在では種々の手法が提案されている。

【０００３】それらの内の一つとして、情報処理学会論
文誌vol. 33 No. 3, pp397-404に開示されている手法が
ある。ここでは、複数のプロセッサ要素にて構成され、
それら全てのプロセッサ要素が同一の命令列を同時に実
行するSIMD(Single Instruction Multiple Data strea
m) 方式の並列計算機によりフルテキスト検索を行う場
合の手法が開示されている。まず、ドキュメントデータ
をそれぞれのプロセッサ要素に１文字ずつ割り当てる。
そして、それぞれのプロセッサ要素に割り当てられてい
る１文字と検索文字列の各文字とを比較し、比較結果を
それぞれ１ビットのデータとして保持する。このように
して得られた各プロセッサ要素での比較結果を１ビット
ずつホスト計算機に通信して最終的に検索文字列と一致
する文字列がドキュメントデータ中に存在するか否かを
検出する。

【０００４】

【発明が解決しようとする課題】このように従来は、検
索文字列との一致を判断するために、各プロセッサ要素
での比較結果を通信で得るのであるが、各プロセッサ要
素にドキュメントデータを１文字ずつ割り当てているた
め、一致判断のために必要な比較結果は最大で検索文字
列数に等しい数のプロセッサ要素間にまたがる。従っ
て、検索文字列が長くなればなるほど通信回数も増加
し、処理時間を要することになる。

【０００５】また、各プロセッサ要素においてドキュメ
ントデータを記憶するためのレジスタ（ローカルメモ
リ）が１ビット以上（たとえば、16ビットあるいは32ビ
ット)の容量を有する場合、各プロセッサ要素について
１文字ずつのドキュメントデータを割り当てているた
め、本来であれば１文字以上の比較を同時に行うことが
可能であるにも拘わらず１文字ずつの比較しか出来ない
ため、レジスタの資源が無駄になる。

【０００６】更に、プロセッサ要素間の通信路には１ビ
ット以上の容量があるにも拘わらず、比較結果を１ビッ
トずつ通信しているため通信路の資源が無駄になる。

【０００７】本発明は以上のような事情に鑑みてなされ
たものであり、複数のプロセッサ要素それぞれに備えら
れているローカルメモリ及び各プロセッサ要素を相互に
結合する通信路等の資源を有効利用して効率的且つ迅速
に処理可能な情報検索装置の提供を目的とする。

【０００８】

【課題を解決するための手段】まず、本発明の情報検索
装置では、各プロセッサ要素のローカルメモリには、検
索の対象となる文字列であるドキュメントデータを複数
文字にて構成される任意のデータ量に分割してそれぞれ
割り当てて記憶させる。

【０００９】また、一つのプロセッサ要素に複数文字の
ドキュメントデータが格納されている場合、その格納さ
れたドキュメントデータの各文字と検索文字列の各文字
とを単純に比較していては無駄な比較が多く、且つ比較
した後のパターン一致判定の処理も煩雑で時間を要す
る。従って、格納されたドキュメントデータ長と同じデ
ータ長で、検索文字列が１文字ずつずれている複数の比
較用パターンを用意し、それらのパターンとドキュメン
トデータとの比較をそれぞれのプロセッサ要素で行うよ
うにする。

【００１０】そして、各プロセッサ要素はそれぞれでの
比較結果を示すために、比較用パターンの数と同一ビッ
ト数のフラグを備え、このフラグの内容を隣接するプロ
セッサ要素へ通信することを反復して最終的に一致検出
を行う。

【００１１】

【作用】本発明の情報検索装置ではまず、各プロセッサ
要素にはドキュメントデータが複数文字の任意のデータ
量ずつ割り当てられる。この各ローカルメモリに格納さ
れたドキュメントデータ長と同じデータ長で、検索文字
列が１文字ずつずれている複数の比較用パターンを用意
してそれらの各パターンとの比較が行われる。そして、
各プロセッサ要素での比較結果を示すために備えられて
いるフラグの内容を隣接するプロセッサ要素へ通信する
ことを反復して最終的に一致検出が行われる。

【００１２】

【実施例】以下、本発明をその実施例を示す図面に基づ
いて詳述する。

【００１３】図１のブロック図は本発明に係る情報検索
装置の構成を示しており、更にそのローカルメモリにド
キュメントデータが割り当てられた状態を模式的に示し
ている。

【００１４】図１において、参照符号10はホスト計算機
であり、装置全体の制御を司る。また参照符号P1, P2…
Pmはそれぞれプロセッサ要素であり、これらは順に通信
バス11により接続されており、また最終段のプロセッサ
要素Pmが初段のプロセッサ要素P1に通信バス11により接
続されることにより、全体としてループ状にネットワー
ク結合されている。なお、参照符号LM１, LM２…LMｍは
それぞれプロセッサ要素P1, P2…Pmに備えられたローカ
ルメモリである。

【００１５】図１に示されているように、ドキュメント
データは複数のプロセッサ要素P1,P2…Pmに対して任意
長（ｎバイト）に分割して割り当てられ、各プロセッサ
要素P1, P2…Pmそれぞれに備えられているローカルメモ
リLM１, LM２…LMｎに格納されている。

【００１６】上述のように、各プロセッサ要素Pi(iは１
〜ｍ) は、自身が格納しているｎバイトのドキュメント
データに連続した直後のドキュメントデータを格納して
いるプロセッサ要素、即ち次段のプロセッサ要素Pi＋1
(ｉがｍである場合は１) と、連続した直前のドキュメ
ントデータを格納しているプロセッサ要素、即ち前段の
プロセッサ要素Pi−1(ｉが１である場合はｍ) とに通信
バス11によるネットワークにより結合されている。従っ
て、図１に示されている例では、ドキュメントデータは
「ａｂｃｄｅ…ｊｋｌｍｎｏ…ｗｘｙｚ１２…８９０ｇ
ｈｉ…ｐｑｒ」であり、これらのドキュメントデータが
ローカルメモリLM１には「ａｂｃｄｅ…ｊｋｌ」，ロー
カルメモリLM２には「ｍｎｏ…ｗｘｙ」，ローカルメモ
リLM３には「ｚ１２…８９０」，ローカルメモリLMｍに
は「ｇｈｉ…ｐｑｒ」というように分割して配置されて
いる。

【００１７】各プロセッサ要素P1, P2…Pmには検索対象
であるデータ長ｓの検索文字列がホスト計算機10から送
信される。各プロセッサ要素P1, P2…Pmではそれぞれに
割り当てられているドキュメントデータのデータ長 (ｎ
バイト) と同一データ長の検索用パターン群を作成す
る。

【００１８】ここで、検索用パターンとは、データ長が
ｎバイトの変数領域のｎバイト目に検索文字列の先頭バ
イトを割り当てたパターンから、変数領域の１バイト目
に検索文字列の最終バイトを割り当てたパターンまで
の、１バイトずつずれているパターンの集合であり、合
計でｍ＝ｓ＋ｎ−１ある。

【００１９】図２の模式図に検索文字列及び検索用パタ
ーン群の具体例を示す。なお、図２に示されている例で
は、ドキュメントデータ長が検索文字列よりも短い場合
を示している。図２において、参照符号50は検索文字列
を示しており、この例では「ａｂｃｄｅ」の５文字、即
ち５（＝ｓ）バイトの文字列である。また、参照符号60
は検索用パターン群を示しており、この例では上述のよ
うに「ｓ＋ｎ−１」＝「５＋４−１」＝８個のそれぞれ
４バイトのパターンで検索用パターン61, 62…68にて構
成される。

【００２０】なお、図２に示されているように、各検索
用パターン61, 62…68の変数中の検索文字列50のいずれ
の文字も割り当てられない部分にはドントケア文字
(＊：ワイルドカード）がセットされ、任意の文字に対
して一致したもと見做される。

【００２１】各プロセッサ要素P1, P2…Pmは、ドキュメ
ントデータそれぞれについて各検索用パターン61, 62…
68のビット数ｎと同一ビット数で且つ各検索用パターン
61,62…68と先頭ビットから順に各１ビットが対応付け
られたマッチングフラグを備えている。

【００２２】各プロセッサ要素P1, P2…Pmでは、各検索
用パターン61, 62…68について、それぞれのローカルメ
モリLM１, LM２…LMｎに格納されているｎバイトのドキ
ュメントデータと比較し、いずれかの検索用パターンと
一致しているか否かが調べられる。この結果、一致して
いる検索用パターンに対応したフラグのビットが立てら
れる。

【００２３】図３は、各プロセッサ要素P1, P2…Pmに備
えられているローカルメモリLM１,LM２…LMｎにそれぞ
れ４（＝ｎ）バイトのドキュメントデータが割り当てら
れている状態及びそれぞれのローカルメモリLM１, LM２
…LMｎに備えられているマッチングフラグ71, 72…を示
す模式図である。

【００２４】図３では、４個のローカルメモリLM１, LM
２, LM３, LM４にそれぞれドキュメントデータが「ｃａ
ｂｃ」，「ｄｅｃａ」，「ｅｄａｂ」，「ｃｄｅｆ」の
４ビットずつ割り当てられており、それぞれが検索用パ
ターン群60の各検索用パターン61, 62…68と比較され
る。そして、各ローカルメモリLM１, LM２, LM３, LM４
にはそれぞれマッチングフラグ71, 72, 73, 74が備えら
れている。

【００２５】それぞれのプロセッサ要素P1(P2, P3, P4)
ではそれぞれに備えられているローカルメモリLM１ (LM
２, LM３, LM４) に割り当てられているドキュメントデ
ータと検索用パターン群60の各検索用パターン61, 62…
68とを比較し、一致した場合にはその検索用パターン6
1, 62…68に対応するマッチングフラグ71(72, 73, 74)
のビットを”１”に、一致しなかった場合は”０”にそ
れぞれセットする。

【００２６】図３に示されている例ではたとえば、ロー
カルメモリLM１では、それに割り当てられているドキュ
メントデータ「ｃａｂｃ」と一致する検索用パターンは
「＊ａｂｃ」のパターンを有する検索用パターン63のみ
である。従って、ローカルメモリLM１のマッチングフラ
グ71の第３ビットのみが”１”に、他の各ビットは”
０”にそれぞれセットされる。また、ローカルメモリLM
２では、それに割り当てられているドキュメントデータ
「ｄｅｃａ」と一致する検索用パターンは「＊＊＊ａ」
及び「ｄｅ＊＊」のパターンを有する検索用パターン6
1, 67である。従って、ローカルメモリLM２のマッチン
グフラグ72の第１及び第７ビットが”１”に、他の各ビ
ットは”０”にそれぞれセットされる。

【００２７】同様に、ローカルメモリLM３では、マッチ
ングフラグ73の第２及び第８ビットが”１”に、他の各
ビットは”０”にそれぞれセットされ、ローカルメモリ
LM４では、マッチングフラグ74の第６ビットが”１”
に、他の各ビットは”０”にそれぞれセットされる。な
お、以下の説明では、マッチングフラグの各ビットの内
のいずれかのビットが”１”にセットされている場合
に、そのマッチングフラグはマッチング情報を有すると
いう。

【００２８】次に、図４の模式図に示されているよう
に、各プロセッサ要素P1, P2, P3, P4はそれぞれのロー
カルメモリLM１, LM２, LM３, LM４においてマッチング
情報を有するフラグの内、検索文字列50の最終バイト、
即ちこの例では「ｅ」を含まないパターンの部分のフラ
グ情報のみ、即ち図４に示されている例では上半部の４
ビットを次段のプロセッサ要素P2, P3, P4に送信する。
そして、各プロセッサ要素P2, P3, P4では、前段のプロ
セッサ要素P1, P2, P3から受け取った４ビットのフラグ
の情報をその各ビットに対応している検索用パターンの
最終文字に続く文字から始まる検索用パターンに対応し
ているビットの位置までシフトさせて論理積をとる。

【００２９】図４においては、それぞれのプロセッサ要
素P2, P3, P4内の各マッチングフラグ72, 73, 74の左側
には前段から送信されてきたマッチングフラグのビット
が、右側には論理積をとった結果がそれぞれ示されてい
る。

【００３０】いまたとえばこの時点で、論理積をとった
部分の内で検索文字列50の最終文字が含まれていないパ
ターンに対応したビットが含まれていた場合には、更に
その部分を次段のプロセッサ要素P2, P3, P4に送信し、
データをシフトさせて論理積をとる処理を反復する。こ
の処理は、論理積をとった部分の内で検索文字列50の最
終文字が含まれていないパターンに対応したビットが含
まれなくなるまで反復される。

【００３１】次段のプロセッサ要素P2, P3, P4へ送信す
るデータが無くなった時点で、マッチングフラグの内の
検索文字列50の最終文字を含む検索用パターンに対応し
たフラグビットが”１”にセットされているプロセッサ
要素 (図４に示されている例ではP2, P4) に関しては検
索文字列50と一致した文字列が存在する位置をホスト計
算機10が全体のドキュメントデータ中から一意に決定す
るために充分な情報がホスト計算機10へ送信される。

【００３２】ホスト計算機10は、各プロセッサ要素P1,
P2…Pmから送信されて来る情報に基づいてドキュメント
データ中から検索文字列50と一致した文字列の位置を計
算し、文字列検索が完了する。

【００３３】上述の実施例では、各プロセッサ要素P1,
P2…PmのローカルメモリLM１, LM２…LMｎに割り付けら
れているドキュメントデータ長ｎが検索文字列50のデー
タ長ｓよりも短い例について説明したが、逆にドキュメ
ントデータ長ｎが検索文字列50のデータ長ｓよりも長い
場合の検索用パターン群の一例を図５の模式図に示す。

【００３４】検索文字列50が各検索用パターン61, 62…
68の中に完全に入っている場合には、検索文字列50の両
側にドントケア文字「＊」をセットすることにより、上
述の実施例と同様に処理することが可能である。

【００３５】

【発明の効果】以上に詳述した如く本発明の情報検索装
置ではまず、各プロセッサ要素にはドキュメントデータ
が複数文字の任意のデータ量ずつ割り当てられるので、
検索文字列との一致判断に必要な比較結果は最大で「検索文字列数」／「プロセッサ要素に割り当てられた
ドキュメントデータの文字列数」だけ離れていることになり、通信回数が削減される。

【００３６】また、格納されたドキュメントデータ長と
同じデータ長で、検索文字列が１文字ずつずれている複
数の比較用パターンを用意してそれらの各パターンとの
比較が行われるので、比較処理の回数が削減される。

【００３７】更に、各プロセッサ要素での比較結果を示
すために備えられているフラグの内容を隣接するプロセ
ッサ要素へ通信することを反復して最終的に一致検出を
行うので、通信資源を有効利用出来る。

【図面の簡単な説明】

【図１】本発明に係る情報検索装置の構成を示すブロッ
ク図と共に示すローカルメモリにドキュメントデータが
割り当てられた状態を示す模式図である。

【図２】検索文字列及び検索用パターン群の具体例を示
す模式図である。

【図３】各プロセッサ要素に備えられているローカルメ
モリにそれぞれドキュメントデータが割り当てられてい
る状態及びそれぞれのローカルメモリに備えられている
マッチングフラグを示す模式図である。

【図４】本発明装置の動作説明のための模式図である。

【図５】ドキュメントデータ長が検索文字列のデータ長
よりも長い場合の検索用パターン群の一例を示す模式図
である。

【符号の説明】

10 ホスト計算機 11 通信バス P1, P2… プロセッサ要素 LM１, LM２… ローカルメモリ 50 検索文字列 60 検索用パターン群 61, 62… 検索用パターン 71, 72… マッチングフラグ

Claims

【特許請求の範囲】

【請求項１】複数のプロセッサ要素と、前記各プロセ
ッサ要素に備えられたローカルメモリと、前記各プロセ
ッサ要素をループ状に接続する通信バスと、前記各プロ
セッサ要素を管理するホスト計算機とを備えた並列計算
機の前記各ローカルメモリに分散配置された検索の対象
となる文字列中から所与の文字列を検索文字列として検
索すべくなした情報検索装置において、前記各ローカルメモリは、前記検索の対象となる文字列
を任意のデータ量に分割して保持すべくなしてあり、前記各プロセッサ要素は、前記ホスト計算機から与えら
れた検索文字列を１字ずつずらせた複数の検索用パター
ンを作成する手段と、これらの検索用パターンとローカ
ルメモリに分割保持している検索の対象となる文字列と
を比較する手段と、いずれの検索用パターンと一致した
かを示す検索結果情報を保持するフラグ手段と、フラグ
手段に保持された検索結果情報を隣接プロセッサに伝送
する手段とを有し、前記各プロセッサ要素間で、それぞれのフラグ手段に保
持されている検索結果情報を隣接するプロセッサ要素へ
伝送する処理を反復することにより、検索の対象となる
文字列と検索文字列とが一致しているか否かを検出すべ
くなしてあることを特徴とする情報検索装置。