JP2001312517A - インデクス生成装置及び文書検索装置 - Google Patents

Abstract

(57)【要約】 【課題】 文書データベースのインデクスデータファイ
ルの容量を圧縮する。 【解決手段】 文書データベースに格納されている文書
から文字列を抽出し、その文字列に係る文書番号と、そ
の文書の各々における出現位置を求め、それら文書番号
又はそれら出現位置、若しくはその両方において、差分
データ化して記録しインデクスとする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書データベース
に格納される文書データを、ユーザ設定の検索条件によ
り検索する文書検索装置において、ユーザが入力する任
意の文字列を内部に含む文書を高速に検索するために予
めインデクスを作成するインデクス生成装置に関し、さ
らに当該インデクスを利用する文書検索装置に関する。

【０００２】

【従来の技術】文書データベースに格納される文書デー
タに対し、様々な検索作業を行なう文書検索装置におい
ては、従来、予め文書データに関するインデクスを生成
するのが一般的である。ユーザが設定する任意の文字列
を含む文書を、効率よく高速にて捜し出すためである。
なお、インデクスは、文書データとは別のデータ構造体
を構成するものである。

【０００３】上記のインデクスを生成する装置（インデ
クス生成装置）は、一般的に、以下のようにして、イン
デクスを形成する。 文書データベースに格納される文書データから、予め
想定されるあらゆる部分文字列を抽出する。 その抽出と同時に、その部分文字列の出現する文書の
識別符号（識別番号、識別子、等）、及びその文書内で
の出現位置（相対アドレス、オフセット、等）をも抽出
する。 上記の部分文字列と、上記の文書識別符号及び文
書内出現位置とを、組み合わせ、想定されるあらゆる部
分文字列に関して、記録する。

【０００４】上記のインデクスを利用すれば、元データ
である文書データに直接アクセスすることなく、検索対
象の任意の部分文字列を含む文書及びその出現位置を、
高速にかつ効率よく判別することができる。

【０００５】しかしながら、上記のインデクス生成装置
は、想定される全ての部分文字列に関して、出現する文
書の識別符号とその文書内部での出現位置とを、全て記
録するのだから、検索作業の大きな補助手段たり得ると
はいえ、インデクスそのものの全体情報量が膨大なもの
になりがちである。そして、その結果として、インデク
スであるデータ構造体を格納する各種メモリ容量が、莫
大になってしまう。

【０００６】

【発明が解決しようとする課題】本発明は、上記の従来
からのインデクスが備える、高速かつ高効率の検索性を
保持しつつ、さらに、容量が大幅に削減されるインデク
スを生成する装置を提供することを目的とする。加え
て、当該インデクス生成装置及びインデクスを利用す
る、文書検索装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、上記の目的を
達成するためになされたものである。本発明に係る請求
項１記載のインデクス生成装置は、文書データベースに
格納されている複数又は１つの文書から、任意の文字列
を内部に含む文書を検索する際に用いるインデクス・デ
ータを生成する装置である。そのインデクス生成装置に
おいて、上記文書データベースに格納される文書から複
数の部分文字列を抽出する文字列抽出手段と、上記の抽
出された部分文字列の個々において、上記の抽出された
部分文字列が出現する文書の識別番号を抽出する出現文
書抽出手段と、上記の抽出された部分文字列の個々にお
いて、上記の出現文書抽出手段により抽出された１つ又
は複数の文書識別番号を数値配列とし、その数値配列を
差分値による表現形態に変換し、その差分値で表現され
る数値配列をバイナリ表記の可変長データとして記録し
てインデクスを構成する第１のデータとする、出現文書
差分記録手段と、上記の抽出された部分文字列が出現す
る各文書においてその文書における出現位置を上記の第
１のデータと関連させて記録してインデクスを構成する
第２のデータとする、出現位置記録手段とを備える。

【０００８】本発明に係る請求項２記載のインデクス生
成装置は、文書データベースに格納されている複数又は
１つの文書から、任意の文字列を内部に含む文書を検索
する際に用いるインデクス・データを生成する装置であ
る。そのインデクス生成装置において、上記文書データ
ベースに格納される文書から複数の部分文字列を抽出す
る文字列抽出手段と、上記の抽出された部分文字列の個
々において、上記の抽出された部分文字列が出現する文
書の識別番号を記録してインデクスを構成する第１のデ
ータとする、出現文書記録手段と各文書において、上記
の抽出された部分文字列の個々につき、その出現位置を
抽出する出現位置抽出手段と、各文書において、上記の
抽出された部分文字列の個々につき、上記の出現位置抽
出手段により抽出された１つ又は複数の出現位置を数値
配列とし、その数値配列を差分値による表現形態に変換
し、その差分値で表現される数値配列をバイナリ表記の
可変長データとして上記の第１のデータと関連させて記
録してインデクスを構成する第２のデータとする、出現
位置差分記録手段とを備える。

【０００９】本発明に係る請求項３記載のインデクス生
成装置は、文書データベースに格納されている複数又は
１つの文書から、任意の文字列を内部に含む文書を検索
する際に用いるインデクス・データを生成する装置であ
る。そのインデクス生成装置において、上記文書データ
ベースに格納される文書から複数の部分文字列を抽出す
る文字列抽出手段と、上記の抽出された部分文字列の個
々において、上記の抽出された部分文字列が出現する文
書の識別番号を抽出する出現文書抽出手段と、上記の抽
出された部分文字列の個々において、上記の出現文書抽
出手段により抽出された１つ又は複数の文書識別番号を
数値配列とし、その数値配列を差分値による表現形態に
変換し、その差分値で表現される数値配列をバイナリ表
記の可変長データとして記録してインデクスを構成する
第１のデータとする、出現文書差分記録手段と、各文書
において、上記の抽出された部分文字列の個々につき、
その出現位置を抽出する出現位置抽出手段と、各文書に
おいて、上記の抽出された部分文字列の個々につき、上
記の出現位置抽出手段により抽出された１つ又は複数の
出現位置を数値配列とし、その数値配列を差分値による
表現形態に変換し、その差分値で表現される数値配列を
バイナリ表記の可変長データとして上記の第１のデータ
と関連させて記録してインデクスを構成する第２のデー
タとする、出現位置差分記録手段とを備える。

【００１０】本発明に係る請求項４記載の文書検索装置
は、請求項１乃至請求項３に記載のインデクス生成装置
を含む、文書検索装置である。

【００１１】

【発明の実施の形態】以下において、図面を参照しつつ
本発明に係る好適な実施形態を説明する。

【００１２】図１は、本発明に係るインデクス生成シス
テム（装置）及び文書検索システム（装置）として稼動
し得る、計算機システム２の１つの形態である。本発明
として動作する計算機は、構成や能力において特に限定
されない。図１の計算機システム２は、表示部４、入力
部６、本体部８を備える。さらに、図示していないが、
本体部８には、例えばＣＰＵを備えるマザーボードなど
からなる処理部１２と、ハードディスクなどからなるメ
モリ部１０とが、含まれる。

【００１３】実施の形態１．図２、図１０、図１１は、
本発明に係るインデクス生成システムの概略機能を示す
ブロック図である。これらの図のブロックにより表され
る機能は、主として処理部１２及びメモリ部１０にて実
現されるものである。

【００１４】まず、図２に示される第１のインデクス生
成システム１４は、（１）多数の文書データを記録する
文書データベース１６と、（２）文書データベース１６
に記録される文書から文字列を抽出する手段（以下、文
字列抽出手段という。）１８と、（３）上記（２）にて
抽出された文字列が含まれる文書の識別番号を後述のイ
ンデクス２０に記録する出現文書記録手段２６と、
（４）文書各々に対して上記（２）の文字列の出現位置
を抽出する出現位置抽出手段２２と、（５）上記（４）
にて抽出した出現位置を差分数値データとして下記のイ
ンデクス２０に記録する出現位置差分記録手段２４と、
（６）抽出された文字列に係る文書識別番号データと、
文書各々に対しての出現位置差分データとが、記録され
るインデクス２０とを有する。

【００１５】ここで、文書データベース１６及びインデ
クス２０は、メモリ部１０に格納されるものであり、文
字列抽出手段１８、出現文書記録手段２６、出現位置抽
出手段２２、出現位置差分記録手段２４は、処理部１２
を構成する。

【００１６】図３は、図２に示した第１のインデクス生
成システム１４を構成する出現位置差分記録手段２４に
係る処理の概略内容を表すフロー図である。上記で述べ
たようにこの出現位置差分記録手段２４は、出現位置抽
出手段２２から文字列の出現位置を表す数値配列を受け
取り、処理を行う。

【００１７】次に、図３フロー図の説明をする。

【００１８】ステップＳ０２；受け取った各々の文字列
に関する出現位置を表す数値配列において、その配列の
要素を昇順に並べ替える。

【００１９】ステップＳ０４；昇順に並べ替えられた数
値配列において、まず、最初の要素はそのままの値とす
る。続いて、Ｋ番目（Ｋ＞２）の要素と（Ｋ−１）番目
の要素との差分を計算し、差分値を新たなＫ番目の要素
とする。即ち、数値配列を、差分値による表現に置き換
える。

【００２０】ステップＳ０６；差分値表現に置き換えら
れた数値配列は、次のステップＳ０８にてバイナリ（２
進数）表記による可変長データの形態で記録される。よ
って、ステップＳ０６で、差分値表現に置き換えられた
数値配列に対し、配列の各要素をバイナリ表記で記録す
るのに必要なビット数を計算する。配列の各要素に関
し、算出されたビット数と各要素データ（バイナリ表
記）とを合わせて、可変長のデータを構築する。

【００２１】ステップＳ０８；可変長データとなった文
字列に関する出現位置を表す数値配列を、インデクスと
して記録する。

【００２２】以上が、出現位置差分記録手段２４に係る
処理内容である。

【００２３】例えば、出現位置差分記録手段２４が、出
現位置抽出手段２２から、ある特定の文字列の出現位置
を表す数値配列として、（１，２０，３００，５００，
１００００）なるデータを受け取ったとする。ステップ
Ｓ０４により差分数値配列は、（１，１９，２８０，２
００，９５００）となる。これをバイナリ表記すると、
（１，１００１１，１０００１１０００，１１００１０
００，１００１０１０００１１１００）となり、３７ビ
ット（＝１＋５＋９＋８＋１４）の領域があれば上記数
値配列が記録され得る。

【００２４】但し、可変長データにおいてはデータ長を
付加して記録する必要がある。数値配列の要素の最大数
値を、２³²とすると、３２ビットまでのデータ長を取り
得るから、データ長を記録する領域として各要素につき
５ビットが必要である。 ３２＝２⁵ であるからである。これを考慮すると、 ３７＋５×５＝６２ となり、６２ビットあれば、データ長も含めた完全な上
記数値配列が記録される。

【００２５】現在一般に利用される計算機においては、
１つの整数値を記録するときは、４バイト（３２ビッ
ト）の領域が用いられる。この場合、上記データ（１，
２０，３００，５００，１００００）の記録のために
は、２０バイト（１６０ビット）の領域が必要になる。
従って、上記例のように、差分データがあまり大きくな
らない数値配列においては、生成されるインデクスに必
要なメモリ領域は、大幅に圧縮可能となる。

【００２６】≪文書データ例を利用しての、インデクス
生成システム及び文書検索システムの動作の説明≫続い
て、文章データベース１６に格納される１つの文書デー
タを例示して、本発明に係る実施形態である第１のイン
デクス生成システム１４の動作を説明する。併せて、そ
の第１のインデクス生成システム１４により生成された
インデクス２０を利用する文書検索システム４０の動作
を説明する。

【００２７】文書データベース１６には、図５のような
文書（文書１）が格納されているものとする。

【００２８】先ず、図２における文字列抽出手段１８に
よって、図５の文書１から、図６のような文字列が抽出
される。文字列抽出手段１８は、この抽出では連続する
２文字の文字列を抽出している。従って、生成されるイ
ンデクス２０も２文字の文字列に関するものであるが、
上記文字数は勿論、２文字に限定されるものではない。

【００２９】図６の各々の文字列に対し、それが出現す
る各々の文書について、出現位置抽出手段２２は、出現
位置の数値配列を抽出する（図７）。図７に示されるよ
うに「出願」という文字列に対しては、（２８，１７，
８）という数値配列が抽出される。

【００３０】そして、上記数値配列は、出現位置差分記
録手段２４によりインデクスへの記録へと向けられるの
であるが、先ず、数値配列が昇順に並べ替えられて（図
３ステップＳ０２）、図８の配列となる。「出願」とい
う文字列に着目すると、数値配列（８，１７，２８）
は、差分数値配列となって（図３ステップＳ０４）
（８，９，１１）となる。これが図３ステップＳ０６に
てバイナリ表記されると、（１０００，１００１，１０
１１）となり、 ・差分数値自体を表すビット列１０００１００１１０１
１と、 ・差分数値配列の各要素のデータ長を表すビット列００
１００００１００００１００とを得る。 これら可変長データはインデクス２０に記録される。

【００３１】上記のビット列の記録に必要なビット数の
総和は、 ４×３＋５×３＝２７ となる。各配列の要素毎に３２ビット（４バイト）ずつ
割り当てる場合に比べて、記録に要するビット数（総
和）が小さくなっている。

【００３２】上記のように生成されたインデクス２０に
対し、 ・「国内出願」という文字列を用いて文書検索を行なう
ときの文書検索システム４０の動作を、図４において説
明する。ここで、文書データベース１６及びインデクス
２０は、メモリ部１０に格納される。検索条件入力手段
４２、文字列抽出手段１８、インデクス照合手段４４、
検索結果構築手段４６、検索結果表示手段４８は、メモ
リ部１０を構成するものである。

【００３３】まず、検索条件入力手段４２がまず「国内
出願」という文字列を受け付ける。文字列抽出手段１８
はここから２文字の連続する文字列を全て抽出し、図９
のような位置データを含む部分文字列データを得る。

【００３４】インデクス照合手段４４は、図９のデータ
をインデクス２０と照合し文書中に「国内出願」という
文字列があるか否か検索する。検索条件として入力した
文字列から抽出される部分文字列（図９参照）全部に関
して、ある文書中に出現する相対的な位置と、検索条件
文字列中に出現する相対的な位置とが、一致すれば、そ
の文書中には存在することになる。図８の内容を有する
インデクス２０では、２６文字目から４文字において、
図９のデータ（文字列）と相対的位置が一致する。

【００３５】インデクス照合手段４４により得られる出
現位置（及び文書番号）と、文書データベース１６中に
含まれる情報とを用いて、検索結果構築手段４６が検索
結果テキストを形成する。このとき、文書データベース
１６から引用される情報としては、例えば、 ・当該文書タイトル、 ・検索対象文字列の周辺の文字列 などである。これら情報を検索結果として併せて表示す
ることは、操作者が現実に閲覧を希望する文書を確定す
る一助になり得る。形成された検索結果テキストは検索
結果表示手段４８により、表示部４で表示される。

【００３６】≪実施の形態１．の効果について≫そもそ
も文書においては、文字列の偏在性や局所性が見て取れ
るのが、一般的である。例えば、図５に示される例は、
情報量の大きい文書の一部分であるが、その一部分にお
いても「出願」という単語（部分文字列）が数回（３
回）登場し然もその位置も極めて近い。従って、部分文
字列の出現位置に係るインデクスを差分を表す可変長デ
ータで表現すると、可変長データそのものが小さい値と
なり、従ってそのデータ長が短くなる傾向がうかがえ
る。

【００３７】従って、インデクス２０においては、従来
技術のインデクスよりも大きくその容量が圧縮され得
る。

【００３８】実施の形態２．以上の実施の形態１．にお
いては、個々の文書内での出現位置に関して、差分を表
す可変長データによりインデクス２０を構築している。
部分文字列に関するインデクス２０においては、文書識
別番号もインデクスデータの一要素として必ず備えられ
ているのであるが、この文書識別番号については各文書
に付されている番号がそのままインデクスとして格納さ
れている。

【００３９】実施の形態２．に係る第２のインデクス生
成システム１４’においては、各文書に付されている文
書識別番号に関して差分を表す可変長データによりイン
デクスを構築する。実施の形態２．に係るインデクス生
成システム１４’の概略機能を表すブロック図を、図１
０に示す。図１０において、出現文書抽出手段２８及び
出現文書差分記録手段３０は出現文書インデクス生成に
関して、実施の形態１．の（図２の）出現位置抽出手段
２２及び出現位置差分記録手段２４と、同じ動作を行な
う。但し、個々の文書内での出現位置に関しては、各文
書に対して文字列抽出手段１８が抽出する出現位置デー
タをそのまま、出現位置記録手段３２がインデクス２
０’に格納する。

【００４０】実施の形態２．におけるインデクス２０’
においても、容量の圧縮化効果が得られる。例えば、日
刊の新聞に対して、発行日付を追って文書識別番号を付
するとする。すると、文書識別番号を軸として眺めてい
くと文字列の偏在性や局所性が見て取れるのは明白であ
る。つまり、ある事件に係る単語（文字列）は幅を持っ
たある時期に集中するからである。

【００４１】実施の形態３．実施の形態３．に係る第３
のインデクス生成システム１４”においては、各文書に
付されている文書識別番号、及び個々の文書内での出現
位置の両方に関して、差分を表す可変長データによりイ
ンデクス２０”を構築する。図１１において、実施の形
態３．に係るインデクス生成システム１４’の概略機能
を表すブロック図を示す。

【００４２】実施の形態３．におけるインデクス２０”
においては、実施の形態１．における圧縮効果と実施の
形態２．における圧縮効果と両方得られるため、より大
きな容量圧縮となる。

【００４３】

【発明の効果】本発明に係る請求項１記載のインデクス
生成装置により、インデクスデータを格納する媒体の容
量の圧縮化が実現できる。特に、文書識別番号を軸とし
て眺めて、文字列の偏在性や局所性が見て取れる文書群
においては顕著である。

【００４４】本発明に係る請求項１記載のインデクス生
成装置により、従来技術のインデクスデータファイルよ
りも大きくその容量が圧縮されたインデクスデータファ
イルが得られる。

【００４５】本発明に係る請求項３記載のインデクス生
成装置により、請求項１記載のインデクス生成装置によ
るインデクスデータ圧縮効果と、請求項２記載のインデ
クス生成装置によるインデクスデータ圧縮効果との、両
方が得られる。

【００４６】本発明に係る請求項４記載の文書検索装置
を利用すると、媒体の容量を大幅に圧縮できる。しか
も、従来どおりの高速性が保証される。

【図面の簡単な説明】

【図１】 本発明に係る実施形態を稼動する計算機シス
テムの例の模式図である。

【図２】 本発明に係る第１のインデクス生成システム
の概略機能を示すブロック図である。

【図３】 出現位置差分記録手段にか係る処理内容を表
すフロー図である。

【図４】 本発明に係る文書検索装置の概略機能を示す
ブロック図である。

【図５】 文書データベースの例である。

【図６】 文字列抽出手段により抽出される文字列であ
る。

【図７】 出現位置抽出手段により抽出される出現位置
の数値配列である。

【図８】 並べ替えられた図７の数値配列である。

【図９】 入力データから作成される文字列の例であ
る。

【図１０】 本発明に係る第１のインデクス生成システ
ムの概略機能を示すブロック図である。

【図１１】 本発明に係る第１のインデクス生成システ
ムの概略機能を示すブロック図である。

【符号の説明】

２ 計算機システム、 ４ 表示部、 ６ 入力部、
８ 本体部、 １０ メモリ部、 １２ 処理部、 １
４、１４’、１４” インデクス生成システム、１６
文書データベース、 １８ 文字列抽出手段、 ２０、
２０’２０”インデクス、 ２２ 出現位置抽出手段、
２４ 出現位置差分記録手段、 ２６ 出現文書記録
手段、 ２８ 出現文書抽出手段、 ３０ 出現文書差
分記録手段、 ３２ 出現位置記録手段、 ４０ 文書
検索装置、 ４２ 検索条件入力手段、 ４４ インデ
クス照合手段、 ４６ 検索結果構築手段、 ４８ 検
索結果表示手段。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 文書データベースに格納されている複数
   又は１つの文書から、任意の文字列を内部に含む文書を
   検索する際に用いるインデクス・データを生成する装置
   において、 上記文書データベースに格納される文書から複数の部分
   文字列を抽出する文字列抽出手段と、 上記の抽出された部分文字列の個々において、上記の抽
   出された部分文字列が出現する文書の識別番号を抽出す
   る出現文書抽出手段と、 上記の抽出された部分文字列の個々において、上記の出
   現文書抽出手段により抽出された１つ又は複数の文書識
   別番号を数値配列とし、その数値配列を差分値による表
   現形態に変換し、その差分値で表現される数値配列をバ
   イナリ表記の可変長データとして記録してインデクスを
   構成する第１のデータとする、出現文書差分記録手段
   と、 上記の抽出された部分文字列が出現する各文書において
   その文書における出現位置を上記の第１のデータと関連
   させて記録してインデクスを構成する第２のデータとす
   る、出現位置記録手段とを備える、インデクス生成装
   置。
2. 【請求項２】 文書データベースに格納されている複数
   又は１つの文書から、任意の文字列を内部に含む文書を
   検索する際に用いるインデクス・データを生成する装置
   において、 上記文書データベースに格納される文書から複数の部分
   文字列を抽出する文字列抽出手段と、 上記の抽出された部分文字列の個々において、上記の抽
   出された部分文字列が出現する文書の識別番号を記録し
   てインデクスを構成する第１のデータとする、出現文書
   記録手段と各文書において、上記の抽出された部分文字
   列の個々につき、その出現位置を抽出する出現位置抽出
   手段と、 各文書において、上記の抽出された部分文字列の個々に
   つき、上記の出現位置抽出手段により抽出された１つ又
   は複数の出現位置を数値配列とし、その数値配列を差分
   値による表現形態に変換し、その差分値で表現される数
   値配列をバイナリ表記の可変長データとして上記の第１
   のデータと関連させて記録してインデクスを構成する第
   ２のデータとする、出現位置差分記録手段とを備える、
   インデクス生成装置。
3. 【請求項３】 文書データベースに格納されている複数
   又は１つの文書から、任意の文字列を内部に含む文書を
   検索する際に用いるインデクス・データを生成する装置
   において、 上記文書データベースに格納される文書から複数の部分
   文字列を抽出する文字列抽出手段と、 上記の抽出された部分文字列の個々において、上記の抽
   出された部分文字列が出現する文書の識別番号を抽出す
   る出現文書抽出手段と、 上記の抽出された部分文字列の個々において、上記の出
   現文書抽出手段により抽出された１つ又は複数の文書識
   別番号を数値配列とし、その数値配列を差分値による表
   現形態に変換し、その差分値で表現される数値配列をバ
   イナリ表記の可変長データとして記録してインデクスを
   構成する第１のデータとする、出現文書差分記録手段
   と、 各文書において、上記の抽出された部分文字列の個々に
   つき、その出現位置を抽出する出現位置抽出手段と、 各文書において、上記の抽出された部分文字列の個々に
   つき、上記の出現位置抽出手段により抽出された１つ又
   は複数の出現位置を数値配列とし、その数値配列を差分
   値による表現形態に変換し、その差分値で表現される数
   値配列をバイナリ表記の可変長データとして上記の第１
   のデータと関連させて記録してインデクスを構成する第
   ２のデータとする、出現位置差分記録手段とを備える、
   インデクス生成装置。
4. 【請求項４】 請求項１乃至請求項３に記載のインデク
   ス生成装置を含む、文書検索装置。