JP2000322416A - 文書検索装置 - Google Patents
文書検索装置Info
- Publication number
- JP2000322416A JP2000322416A JP11126319A JP12631999A JP2000322416A JP 2000322416 A JP2000322416 A JP 2000322416A JP 11126319 A JP11126319 A JP 11126319A JP 12631999 A JP12631999 A JP 12631999A JP 2000322416 A JP2000322416 A JP 2000322416A
- Authority
- JP
- Japan
- Prior art keywords
- word
- document
- appearance frequency
- search
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 複数の単語が条件に指定された場合の文書検
索を高速に行う。 【解決手段】 検索エンジンの登録アルゴリズムは、登
録対象となる文書を形態素解析器により単語に分解し、
それぞれの単語の単語出現頻度ＴＦ及び文書出現頻度Ｄ
Ｆを集計する処理と、可変長文字列である登録単語を固
定長数値に変換する処理と、各単語毎に文書ＩＤとＴＦ
の組、日付とＤＦの組をインデックスに保存する処理と
を有し、検索アルゴリズムは、検索条件に指定された単
語を単語ＩＤに変換する処理と、インデックスから単語
ＩＤに付いての文書ＩＤとＴＦ，ＤＦを取得する処理
と、インデックスから取得した各文書ＩＤに付いてスコ
アを計算する処理と、文書ＩＤをスコアの降順に並べ変
える処理とを有する。
索を高速に行う。 【解決手段】 検索エンジンの登録アルゴリズムは、登
録対象となる文書を形態素解析器により単語に分解し、
それぞれの単語の単語出現頻度ＴＦ及び文書出現頻度Ｄ
Ｆを集計する処理と、可変長文字列である登録単語を固
定長数値に変換する処理と、各単語毎に文書ＩＤとＴＦ
の組、日付とＤＦの組をインデックスに保存する処理と
を有し、検索アルゴリズムは、検索条件に指定された単
語を単語ＩＤに変換する処理と、インデックスから単語
ＩＤに付いての文書ＩＤとＴＦ，ＤＦを取得する処理
と、インデックスから取得した各文書ＩＤに付いてスコ
アを計算する処理と、文書ＩＤをスコアの降順に並べ変
える処理とを有する。
Description
【０００１】
【発明の属する技術分野】本発明は、複数キーワードに
よる文書検索装置に関する。
よる文書検索装置に関する。
【０００２】
【従来の技術】従来の全文検索エンジン（文書検索装
置）の検索アルゴリズムは大きく二つの手法に分けられ
る。一つは文書を直接検索する方法であり、もう一つは
事前に文書に対してインデックスファイルを作成してお
く方法である。前者の方法では、検索条件に指定された
文字列と文書中の文字を直接比較照合することによって
検索を行う。後者の方法では、事前に単語単位に文書の
管理番号と単語の位置情報をインデックスファイルに保
存しておき、検索時には指定された単語をキーとしてイ
ンデックスファイルから文書の管理番号を取り出すこと
で、高速に文書を参照することが可能である。一般的に
検索速度は前者に比べ後者の方法が高速である。
置）の検索アルゴリズムは大きく二つの手法に分けられ
る。一つは文書を直接検索する方法であり、もう一つは
事前に文書に対してインデックスファイルを作成してお
く方法である。前者の方法では、検索条件に指定された
文字列と文書中の文字を直接比較照合することによって
検索を行う。後者の方法では、事前に単語単位に文書の
管理番号と単語の位置情報をインデックスファイルに保
存しておき、検索時には指定された単語をキーとしてイ
ンデックスファイルから文書の管理番号を取り出すこと
で、高速に文書を参照することが可能である。一般的に
検索速度は前者に比べ後者の方法が高速である。
【０００３】このようなアルゴリズムを持つ全文検索エ
ンジンを利用して複数の単語を条件に指定した検索を行
う場合には、文書中にある単語が出現する回数（単語出
現頻度：Term Frequency、以下、ＴＦと略称する）と、
ある単語に対して、その単語を含む文書が出現する回数
（文書出現頻度：Document Frequency、以下、ＤＦと
略称する）を検索時に計算して、検索結果として得られ
た文書のスコアを求め、文書のランキングを行う。
ンジンを利用して複数の単語を条件に指定した検索を行
う場合には、文書中にある単語が出現する回数（単語出
現頻度：Term Frequency、以下、ＴＦと略称する）と、
ある単語に対して、その単語を含む文書が出現する回数
（文書出現頻度：Document Frequency、以下、ＤＦと
略称する）を検索時に計算して、検索結果として得られ
た文書のスコアを求め、文書のランキングを行う。
【０００４】
【発明が解決しようとする課題】上記したように、従来
の全文検索エンジンのインデックスでは、単語と文書管
理番号、単語の位置情報のみを管理している。そのた
め、ランキングに必要なＴＦ，ＤＦの値を直接インデッ
クスから求めることができない。ランキングを行うため
には、指定された文字列の含まれている文書を検索する
処理とは別に、ＴＦとＤＦを算出するための検索を行う
必要がある。
の全文検索エンジンのインデックスでは、単語と文書管
理番号、単語の位置情報のみを管理している。そのた
め、ランキングに必要なＴＦ，ＤＦの値を直接インデッ
クスから求めることができない。ランキングを行うため
には、指定された文字列の含まれている文書を検索する
処理とは別に、ＴＦとＤＦを算出するための検索を行う
必要がある。
【０００５】また、ランキングの対象となる文書（検索
にヒットした文書）や検索条件の単語数が多くなると、
スコア計算のために実行される検索回数は検索結果文書
数と検索指定単語の積に比例して増加する。
にヒットした文書）や検索条件の単語数が多くなると、
スコア計算のために実行される検索回数は検索結果文書
数と検索指定単語の積に比例して増加する。
【０００６】従って、従来の検索エンジンを利用して複
数の単語を条件に指定した検索を行う場合には、検索に
要する時間が極端に増加してしまうという問題が発生す
る。
数の単語を条件に指定した検索を行う場合には、検索に
要する時間が極端に増加してしまうという問題が発生す
る。
【０００７】本発明は、複数の単語が条件に指定された
場合の文書検索を高速に行える文書検索装置を提供する
ことを目的とする。
場合の文書検索を高速に行える文書検索装置を提供する
ことを目的とする。
【０００８】
【課題を解決するための手段】上記目的を達成するため
に、本発明の文書検索装置は、複数の登録文書に関して
予め算出された、単語毎の単語出現頻度及び文書出現頻
度をもっているインデックス情報と、検索条件として指
定された１個以上の単語の単語出現頻度（ＴＦ）及び文
書出現頻度（ＤＦ）を前記インデックス情報から取得
し、取得した単語出現頻度及び文書出現頻度に基づい
て、登録文書をランキングして検索結果として出力する
検索手段とを備える。
に、本発明の文書検索装置は、複数の登録文書に関して
予め算出された、単語毎の単語出現頻度及び文書出現頻
度をもっているインデックス情報と、検索条件として指
定された１個以上の単語の単語出現頻度（ＴＦ）及び文
書出現頻度（ＤＦ）を前記インデックス情報から取得
し、取得した単語出現頻度及び文書出現頻度に基づい
て、登録文書をランキングして検索結果として出力する
検索手段とを備える。
【０００９】この文書検索装置によれば、登録文書に関
する単語毎のＴＦ，ＤＦが予め（典型的には、文書登録
時に）計算されてインデックス情報として保持されてい
るので、検索時にＴＦ，ＤＦを計算する手間が省け、検
索速度が向上する。
する単語毎のＴＦ，ＤＦが予め（典型的には、文書登録
時に）計算されてインデックス情報として保持されてい
るので、検索時にＴＦ，ＤＦを計算する手間が省け、検
索速度が向上する。
【００１０】好適な実施形態では、可変長文字列である
単語を固定長数値の単語ＩＤに変換し、この単語ＩＤに
よって単語を識別する。これにより、インデックス情報
内のデータへのアクセス速度が高まり、検索速度が向上
する。
単語を固定長数値の単語ＩＤに変換し、この単語ＩＤに
よって単語を識別する。これにより、インデックス情報
内のデータへのアクセス速度が高まり、検索速度が向上
する。
【００１１】好適な実施形態では、インデックス情報に
は、各単語について日付別のＤＦが保持されており、検
索手段は、検索条件として日付範囲を指定されたときに
は、指定された日付範囲のＤＦをインデックス情報から
取得し、これを登録文書のランキングに用いる。これに
より、日付の条件指定が行われたときの検索を高速に行
うことができる。
は、各単語について日付別のＤＦが保持されており、検
索手段は、検索条件として日付範囲を指定されたときに
は、指定された日付範囲のＤＦをインデックス情報から
取得し、これを登録文書のランキングに用いる。これに
より、日付の条件指定が行われたときの検索を高速に行
うことができる。
【００１２】好適な実施形態では、インデックス情報
は、登録文書別に各登録文書に含まれる単語を示した文
書関連情報と、単語別に各単語が含まれる文書とＴＦと
ＤＦを示した単語関連情報とを有している。そして、検
索手段は、検索条件として文字列が指定された場合に
は、指定された文字列を単語に分解し、分解した各単語
についてのＴＦとＤＦをインデックス情報内の単語関連
情報から取得し、取得したＴＦ及びＤＦに基づいて登録
文書をランキングするする。一方、検索条件として登録
文書が指定された場合には、指定された登録文書に含ま
れる単語をインデックス情報内の文書関連情報によって
識別し、識別した各単語についてのＴＦとＤＦをインデ
ックス情報内の単語関連情報から取得し、取得したＴＦ
及びＤＦに基づいて登録文書をランキングする。これに
より、特に、登録文書が条件として指定された場合の単
語の抽出処理が簡単になり、検索速度が向上する。
は、登録文書別に各登録文書に含まれる単語を示した文
書関連情報と、単語別に各単語が含まれる文書とＴＦと
ＤＦを示した単語関連情報とを有している。そして、検
索手段は、検索条件として文字列が指定された場合に
は、指定された文字列を単語に分解し、分解した各単語
についてのＴＦとＤＦをインデックス情報内の単語関連
情報から取得し、取得したＴＦ及びＤＦに基づいて登録
文書をランキングするする。一方、検索条件として登録
文書が指定された場合には、指定された登録文書に含ま
れる単語をインデックス情報内の文書関連情報によって
識別し、識別した各単語についてのＴＦとＤＦをインデ
ックス情報内の単語関連情報から取得し、取得したＴＦ
及びＤＦに基づいて登録文書をランキングする。これに
より、特に、登録文書が条件として指定された場合の単
語の抽出処理が簡単になり、検索速度が向上する。
【００１３】本発明は典型的にはコンピュータにより実
施することができるが、そのためのコンピュータプログ
ラムは、ディスク型ストレージ、半導体メモリおよび通
信ネットワーク信号などの各種の媒体を通じてコンピュ
ータにインストールまたはロードすることができる。
施することができるが、そのためのコンピュータプログ
ラムは、ディスク型ストレージ、半導体メモリおよび通
信ネットワーク信号などの各種の媒体を通じてコンピュ
ータにインストールまたはロードすることができる。
【００１４】
【００１５】以下、本発明の実施の形態を添付図面に従
って説明する。以下に説明する実施形態はコンピュータ
のソフトウェアにより実施されるものであるが、本発明
は必ずしもコンピュータで実施しなければならないわけ
ではなく、専用ハードウェアロジック回路によっても、
又はそれらの組み合わせによっても実施することができ
る。
って説明する。以下に説明する実施形態はコンピュータ
のソフトウェアにより実施されるものであるが、本発明
は必ずしもコンピュータで実施しなければならないわけ
ではなく、専用ハードウェアロジック回路によっても、
又はそれらの組み合わせによっても実施することができ
る。
【００１６】図１は、本発明の一実施形態にかかるコン
ピュータが実行する文書登録処理の基本説明図である。
文書登録処理は、文書検索を行う前に行われるものであ
るものである。
ピュータが実行する文書登録処理の基本説明図である。
文書登録処理は、文書検索を行う前に行われるものであ
るものである。
【００１７】検索エンジンにおける文書登録処理は以下
のような流れで行われる。まず、（１）登録対象となる
多数の文書の各々１を形態素解析器により単語に分解
し、各文書１内でのそれぞれの単語の出現頻度ＴＦと、
それぞれの単語を含む文書の数（文書出現頻度）ＤＦを
集計する。次に、（２）可変長文字列である各単語を、
固定長数値の単語ＩＤに変換する。固定長数値の単語Ｉ
Ｄへの変換により、検索エンジンのインデックス５のデ
ータアクセスが高速化されることになる。（１）、
（２）の処理により、各文書１ごとに、その文書１に含
まれる全ての単語の単語ＩＤとＴＦのリスト２ができ
る。次に、（３）各単語毎に（各単語ＩＤ毎に）、その
単語が含まれる文書の文書ＩＤと単語出現頻度ＴＦの組
のリスト３と、登録処理を行った日付とその日付で集計
したその単語の文書出現頻度ＤＦの組のリスト４とを作
成して、それらのリスト３、４をインデックス５に保存
する。ここで、文書出現頻度ＤＦを日付単位で管理する
のは日付条件指定の場合の検索を高速化するためであ
る。
のような流れで行われる。まず、（１）登録対象となる
多数の文書の各々１を形態素解析器により単語に分解
し、各文書１内でのそれぞれの単語の出現頻度ＴＦと、
それぞれの単語を含む文書の数（文書出現頻度）ＤＦを
集計する。次に、（２）可変長文字列である各単語を、
固定長数値の単語ＩＤに変換する。固定長数値の単語Ｉ
Ｄへの変換により、検索エンジンのインデックス５のデ
ータアクセスが高速化されることになる。（１）、
（２）の処理により、各文書１ごとに、その文書１に含
まれる全ての単語の単語ＩＤとＴＦのリスト２ができ
る。次に、（３）各単語毎に（各単語ＩＤ毎に）、その
単語が含まれる文書の文書ＩＤと単語出現頻度ＴＦの組
のリスト３と、登録処理を行った日付とその日付で集計
したその単語の文書出現頻度ＤＦの組のリスト４とを作
成して、それらのリスト３、４をインデックス５に保存
する。ここで、文書出現頻度ＤＦを日付単位で管理する
のは日付条件指定の場合の検索を高速化するためであ
る。
【００１８】図２は文書検索処理の基本説明図である。
【００１９】検索エンジンにおける検索処理は以下のよ
うな流れで行われる。まず、（１）検索条件６として指
定された単語（キーワード）を固定長数値の単語ＩＤに
変換する。次に、（２）その単語ＩＤを検索キーにし
て、インデックス５から、その単語ＩＤについての文書
ＩＤとＴＦ，ＤＦを取得する。ＤＦは検索条件５で指令
された日付範囲分のみ取得する。そして、（３）インデ
ックス５から取得した各文書ＩＤについてスコアを計算
する。ここで、スコアとは文書の重要度を示す数値であ
り、その計算方法は後述する。最後に、（４）文書ＩＤ
をスコアの降順に並べ変えて文書をランキングし、検索
結果７とする。
うな流れで行われる。まず、（１）検索条件６として指
定された単語（キーワード）を固定長数値の単語ＩＤに
変換する。次に、（２）その単語ＩＤを検索キーにし
て、インデックス５から、その単語ＩＤについての文書
ＩＤとＴＦ，ＤＦを取得する。ＤＦは検索条件５で指令
された日付範囲分のみ取得する。そして、（３）インデ
ックス５から取得した各文書ＩＤについてスコアを計算
する。ここで、スコアとは文書の重要度を示す数値であ
り、その計算方法は後述する。最後に、（４）文書ＩＤ
をスコアの降順に並べ変えて文書をランキングし、検索
結果７とする。
【００２０】以上のように、この実施形態にかかる検索
エンジンは、可変長文字列である登録単語を固定数値化
することにより、検索エンジンのインデックス５のデー
タアクセスを高速化する。また、文書の登録時に予め各
単語についてのＴＦ，ＤＦを求めておき、これを検索エ
ンジンのインデックス５で管理する。また、文書検索は
既に求められているＴＦ，ＤＦをインデックス５から取
得することによって行う。さらに、ＤＦを日付単位のフ
ァイルで保存しておくことにより、日付の条件指定が行
われた場合の検索を高速に行う。
エンジンは、可変長文字列である登録単語を固定数値化
することにより、検索エンジンのインデックス５のデー
タアクセスを高速化する。また、文書の登録時に予め各
単語についてのＴＦ，ＤＦを求めておき、これを検索エ
ンジンのインデックス５で管理する。また、文書検索は
既に求められているＴＦ，ＤＦをインデックス５から取
得することによって行う。さらに、ＤＦを日付単位のフ
ァイルで保存しておくことにより、日付の条件指定が行
われた場合の検索を高速に行う。
【００２１】図３は検索エンジンにおける単語から単語
ＩＤへの変換処理の説明図、図４は文書登録処理の具体
例を示す説明図である。
ＩＤへの変換処理の説明図、図４は文書登録処理の具体
例を示す説明図である。
【００２２】図３、図４を参照して、検索エンジンのイ
ンデックス５の構造を説明する。
ンデックス５の構造を説明する。
【００２３】検索エンジンのインデックス５は、図３に
示すような単語から単語ＩＤへの変換を行うための対応
関係を保持する変換テーブル１０と、図４に示すような
文書毎に単語ＩＤとＴＦを管理するＫＶＦテーブル１６
と、単語毎にＴＦとＤＦを管理するＷＶＦテーブル１８
とを備えている。
示すような単語から単語ＩＤへの変換を行うための対応
関係を保持する変換テーブル１０と、図４に示すような
文書毎に単語ＩＤとＴＦを管理するＫＶＦテーブル１６
と、単語毎にＴＦとＤＦを管理するＷＶＦテーブル１８
とを備えている。
【００２４】変換テーブル１０は、ＳＫＴ（Sorted Key
Table；単語をハッシュ関数１４にかけて得られたキー
コードをソートして持っているテーブル）１１、ＷＰＴ
Ｍ（Word Pointer Table Map；前のＳＫＴ内の各キーコ
ードを次のＷＰＴＬ内の単語ＩＤへ結び付けるためのＷ
ＰＴＬへのポインタをもっているテーブル）１２、及び
ＷＰＴＬ（Word Pointer Table List；単語ＩＤが登録
されているテーブル）１３を有する。
Table；単語をハッシュ関数１４にかけて得られたキー
コードをソートして持っているテーブル）１１、ＷＰＴ
Ｍ（Word Pointer Table Map；前のＳＫＴ内の各キーコ
ードを次のＷＰＴＬ内の単語ＩＤへ結び付けるためのＷ
ＰＴＬへのポインタをもっているテーブル）１２、及び
ＷＰＴＬ（Word Pointer Table List；単語ＩＤが登録
されているテーブル）１３を有する。
【００２５】ＫＶＦテーブル１６は、文書ＩＤ毎のＫＶ
Ｆ（Keyword Vector Files；文書毎の単語ＩＤとＴＦを
保持するファイル）１７を有する。
Ｆ（Keyword Vector Files；文書毎の単語ＩＤとＴＦを
保持するファイル）１７を有する。
【００２６】ＷＶＦテーブル１８は、単語ＩＤ毎のＷＶ
Ｆ（Word Vector Files；単語毎のＴＦとＤＦを保持す
るファイル）を有する。ＷＶＦは、これは単語ＩＤ毎の
ＴＬ（TF List ;単毎に文書ＩＤとＴＦの組を保持する
リストであり、図１のリスト３に相当する）１９と、単
語ＩＤ毎のＤＬ（DL List ;単語毎に日付とＤＬの組を
保持するリストであり、図１のリスト４に相当する）２
０とから構成される。
Ｆ（Word Vector Files；単語毎のＴＦとＤＦを保持す
るファイル）を有する。ＷＶＦは、これは単語ＩＤ毎の
ＴＬ（TF List ;単毎に文書ＩＤとＴＦの組を保持する
リストであり、図１のリスト３に相当する）１９と、単
語ＩＤ毎のＤＬ（DL List ;単語毎に日付とＤＬの組を
保持するリストであり、図１のリスト４に相当する）２
０とから構成される。
【００２７】図３に示すように、単語の単語ＩＤへの変
換は次の手順で行われる。
換は次の手順で行われる。
【００２８】まず、単語（例えば「情報」、「サービ
ス」など）をハッシュ関数１４にかけてキーコード（例
えば「key001」、「kay002」など）を計算する。次に、
計算したキーコード（例えば「key001」）に該当するキ
ーコードを変換テーブル１０のＳＫＴ１１から選び、そ
の選んだキーコードに対応するポインタ（例えば、「of
fset001」）をＷＰＴＭ１２から取得し、そして、その
取得したポインタが指すＷＰＴＬ１３内の場所から単語
ＩＤ（例えば「002」）を取得する。こうして、例えば
単語「情報」が単語ＩＤ「002」に変換される。
ス」など）をハッシュ関数１４にかけてキーコード（例
えば「key001」、「kay002」など）を計算する。次に、
計算したキーコード（例えば「key001」）に該当するキ
ーコードを変換テーブル１０のＳＫＴ１１から選び、そ
の選んだキーコードに対応するポインタ（例えば、「of
fset001」）をＷＰＴＭ１２から取得し、そして、その
取得したポインタが指すＷＰＴＬ１３内の場所から単語
ＩＤ（例えば「002」）を取得する。こうして、例えば
単語「情報」が単語ＩＤ「002」に変換される。
【００２９】図４に示すように、検索エンジンにおける
文書登録処理は以下のような手順で行われる。
文書登録処理は以下のような手順で行われる。
【００３０】まず、登録対象となる文書に文書ＩＤを付
与し（ステップＳ１）、その登録文書を形態素解析器に
より単語単位に分解する（Ｓ２）。次に、分解された各
単語をハッシュ関数によって固定長数値（キーコード）
に変換し、そのキーコードを用いてインデックス内の変
換テーブル（図３、参照番号１０）から単語ＩＤを取得
する（Ｓ３）。変換テーブルに単語が登録されていない
場合、新たに単語ＩＤを発行し、変換テーブルに登録す
る。次に、その登録文書における各単語のＴＦを求め
て、その文書ＩＤについての単語ＩＤとＴＦの組のリス
ト１５を作り（Ｓ４）、このリスト１５をＫＶＦテーブ
ル１５に一つのＫＶＦ１６として登録する（Ｓ６）。ま
た、各単語についてのＴＦとＤＦをＷＶＦテーブル１８
に登録する（Ｓ５）。すなわち、各単語ＩＤ毎に、その
登録文書の文書ＩＤと各単語のＴＦを、各単語ＩＤをも
つＴＬ１９に登録し、かつ、日付と各単語についての登
録文書のＤＦを、各単語ＩＤをもつＤＬ２０へ登録す
る。
与し（ステップＳ１）、その登録文書を形態素解析器に
より単語単位に分解する（Ｓ２）。次に、分解された各
単語をハッシュ関数によって固定長数値（キーコード）
に変換し、そのキーコードを用いてインデックス内の変
換テーブル（図３、参照番号１０）から単語ＩＤを取得
する（Ｓ３）。変換テーブルに単語が登録されていない
場合、新たに単語ＩＤを発行し、変換テーブルに登録す
る。次に、その登録文書における各単語のＴＦを求め
て、その文書ＩＤについての単語ＩＤとＴＦの組のリス
ト１５を作り（Ｓ４）、このリスト１５をＫＶＦテーブ
ル１５に一つのＫＶＦ１６として登録する（Ｓ６）。ま
た、各単語についてのＴＦとＤＦをＷＶＦテーブル１８
に登録する（Ｓ５）。すなわち、各単語ＩＤ毎に、その
登録文書の文書ＩＤと各単語のＴＦを、各単語ＩＤをも
つＴＬ１９に登録し、かつ、日付と各単語についての登
録文書のＤＦを、各単語ＩＤをもつＤＬ２０へ登録す
る。
【００３１】以上の登録処理が登録対象の全ての文書に
ついて繰り返され、検索エンジンのインデックスが準備
される。
ついて繰り返され、検索エンジンのインデックスが準備
される。
【００３２】図５は、複数の単語を指定した場合の文書
検索処理の第１の具体例を示す説明図である。この例
は、ある文字列（複数の単語から構成される）が検索条
件としてユーザより指定された場合を示し、以下の処理
が行われる。
検索処理の第１の具体例を示す説明図である。この例
は、ある文字列（複数の単語から構成される）が検索条
件としてユーザより指定された場合を示し、以下の処理
が行われる。
【００３３】まず、検索条件の文字列を形態素解析器に
より単語単位に分解する（Ｓ１１）。次に、分解された
すべての単語を、インデックスの変換テーブル（図３、
参照番号１０）を用いて、単語ＩＤに変換する（Ｓ１
２）。次に、インデックスのＷＶＦテーブル１８から、
各単語ＩＤについての文書ＩＤとＴＦ及びＤＦを取得す
る（Ｓ１３）。すなわち、各単語ＩＤのＴＬ１９から文
書ＩＤとＴＦを取得し、各単語ＩＤのＤＬ２０から検索
条件で指定された日付範囲のＤＦを取得する。次に、ス
テップＳ１３で取得した文書ＩＤの各々について、以下
の計算式を用いてスコア（ｓｃｏｒｅ）の計算を行う。
より単語単位に分解する（Ｓ１１）。次に、分解された
すべての単語を、インデックスの変換テーブル（図３、
参照番号１０）を用いて、単語ＩＤに変換する（Ｓ１
２）。次に、インデックスのＷＶＦテーブル１８から、
各単語ＩＤについての文書ＩＤとＴＦ及びＤＦを取得す
る（Ｓ１３）。すなわち、各単語ＩＤのＴＬ１９から文
書ＩＤとＴＦを取得し、各単語ＩＤのＤＬ２０から検索
条件で指定された日付範囲のＤＦを取得する。次に、ス
テップＳ１３で取得した文書ＩＤの各々について、以下
の計算式を用いてスコア（ｓｃｏｒｅ）の計算を行う。
【００３４】
【数１】 ここで、上記計算式内の「ＴＦ」は、条件に合致するＴ
Ｆ（つまり、各文書ＩＤ毎に、ＴＬ１９から取得したＴ
Ｆを集計した値）である。上記計算式内の「ＤＦ」は、
条件に合致するＤＦ（つまり、各文書ＩＤ毎に、その文
書に含まれる単語のＤＬ２０から取得したＤＦを集計し
た値）である。また、上記計算式内の「ＮＤＯＣ」は、
検索対象となる文書数（つまり、ＴＬ１９から取得した
文書ＩＤの個数）である。
Ｆ（つまり、各文書ＩＤ毎に、ＴＬ１９から取得したＴ
Ｆを集計した値）である。上記計算式内の「ＤＦ」は、
条件に合致するＤＦ（つまり、各文書ＩＤ毎に、その文
書に含まれる単語のＤＬ２０から取得したＤＦを集計し
た値）である。また、上記計算式内の「ＮＤＯＣ」は、
検索対象となる文書数（つまり、ＴＬ１９から取得した
文書ＩＤの個数）である。
【００３５】各文書のスコアを計算した後、文書ＩＤを
スコアの降順に並べて検索結果とする（Ｓ１５）。
スコアの降順に並べて検索結果とする（Ｓ１５）。
【００３６】図６は、複数単語を指定した場合の文書検
索処理の第２の具体例を示す説明図である。この例は、
ある登録文書（多数の単語を含んでいる）が検索条件と
して指定された場合を示し、以下の処理が行われる。
索処理の第２の具体例を示す説明図である。この例は、
ある登録文書（多数の単語を含んでいる）が検索条件と
して指定された場合を示し、以下の処理が行われる。
【００３７】インデックスのＫＶＦテーブル１６から、
検索条件として指定された文書ＩＤに含まれている単語
ＩＤとＴＦのリストを取得する（Ｓ２１）。このとき、
指定された文書ＩＤに含まれている単語全てのＩＤを取
得するのではなく、出現頻度（ＴＦ）の高い所定個数
（例えば３０個）の単語をその登録文書を特徴づける単
語とみなし、その３０単語の単語ＩＤをＫＶＦテーブル
１６から抽出する。ＫＶＦテーブル１６では、出現頻度
（ＴＦ）の順に単語ＩＤがソートされているので、上位
３０単語を抽出すれば良い。次に、抽出した各単語ＩＤ
毎に、インデックスのＷＶＦテーブル１８から、文書Ｉ
ＤとＴＦと指定日付範囲のＤＦを取得する（Ｓ２２）。
すなわち、各単語ＩＤのＴＬ１９から文書ＩＤとＴＦを
取得し、各単語ＩＤのＤＬ２０から指定日付範囲のＤＦ
を取得する。次に、ステップＳ２２で取得した文書ＩＤ
の各々について、上述した計算式を用いてスコア（ｓｃ
ｏｒｅ）の計算を行う（Ｓ２３）。そして、文書ＩＤを
スコアの降順に並べて検索結果とする（Ｓ２４）。
検索条件として指定された文書ＩＤに含まれている単語
ＩＤとＴＦのリストを取得する（Ｓ２１）。このとき、
指定された文書ＩＤに含まれている単語全てのＩＤを取
得するのではなく、出現頻度（ＴＦ）の高い所定個数
（例えば３０個）の単語をその登録文書を特徴づける単
語とみなし、その３０単語の単語ＩＤをＫＶＦテーブル
１６から抽出する。ＫＶＦテーブル１６では、出現頻度
（ＴＦ）の順に単語ＩＤがソートされているので、上位
３０単語を抽出すれば良い。次に、抽出した各単語ＩＤ
毎に、インデックスのＷＶＦテーブル１８から、文書Ｉ
ＤとＴＦと指定日付範囲のＤＦを取得する（Ｓ２２）。
すなわち、各単語ＩＤのＴＬ１９から文書ＩＤとＴＦを
取得し、各単語ＩＤのＤＬ２０から指定日付範囲のＤＦ
を取得する。次に、ステップＳ２２で取得した文書ＩＤ
の各々について、上述した計算式を用いてスコア（ｓｃ
ｏｒｅ）の計算を行う（Ｓ２３）。そして、文書ＩＤを
スコアの降順に並べて検索結果とする（Ｓ２４）。
【００３８】以上説明した実施形態によれば、複数の単
語を指定した場合の検索に要する時間を短縮できる。検
索条件に指定した単語（キーワード）の個数が多くなる
ほど、その効果が高くなる。例えば、発明者らが実施し
た試験では、キーワード数が５ワードの場合に、従来の
検索エンジンに比較して検索速度が１．８倍に向上し、
また、キーワード数が１５ワードの場合には、従来の検
索エンジンに比較して検索速度が５２．６倍に向上する
という結果が得られた。
語を指定した場合の検索に要する時間を短縮できる。検
索条件に指定した単語（キーワード）の個数が多くなる
ほど、その効果が高くなる。例えば、発明者らが実施し
た試験では、キーワード数が５ワードの場合に、従来の
検索エンジンに比較して検索速度が１．８倍に向上し、
また、キーワード数が１５ワードの場合には、従来の検
索エンジンに比較して検索速度が５２．６倍に向上する
という結果が得られた。
【図面の簡単な説明】
【図１】本発明の一実施形態における文書登録処理の基
本説明図である。
本説明図である。
【図２】文書検索処理の基本説明図である。
【図３】同実施形態の単語から単語ＩＤへの変換処理の
説明図である。
説明図である。
【図４】文書登録処理の具体例を示す説明図である。
【図５】文書検索処理の第１の具体例を示す説明図であ
る。
る。
【図６】文書検索処理の第２の具体例を示す説明図であ
る。
る。
１ 登録文書 ５ インデックス ７ 検索結果 １０ 変換テーブル １６ ＫＶＦテーブル １８ ＷＶＦテーブル １９ ＴＬ ２０ ＤＬ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 竜也 東京都江東区豊洲三丁目３番３号 株式会 社エヌ・ティ・ティ・データ内 (72)発明者 川辺 義宏 東京都中野区本町１−32−２ ハーモニー タワー10Ｆ (72)発明者 磯部 則和 東京都中野区本町１−32−２ ハーモニー タワー10Ｆ Ｆターム(参考） 5B075 ND03 NK02 NK13 NK54 PP02 PP03 PP12 PP22 PQ02 PQ75 QP05 QS01 UU06
Claims (5)
- 【請求項１】 複数の登録文書に関して予め算出され
た、単語毎の単語出現頻度及び文書出現頻度をもってい
るインデックス情報と、 検索条件として指定された１個以上の単語の単語出現頻
度及び文書出現頻度を前記インデックス情報から取得
し、取得した単語出現頻度及び文書出現頻度に基づい
て、登録文書をランキングして検索結果として出力する
検索手段と、を備えた文書検索装置。 - 【請求項２】 前記インデックス情報や前記検索手段に
おいて各単語を識別するために、可変長文字列である単
語を固定長数値の単語ＩＤに変換する変換手段を更に備
えた請求項１記載の文書検索装置。 - 【請求項３】 前記インデックス情報には、各単語につ
いて日付別の文書出現頻度が保持されており、 前記検索手段は、検索条件として日付範囲を指定された
ときには、指定された日付範囲の文書出現頻度を前記イ
ンデックス情報から取得して、登録文書のランキングに
用いる、請求項１記載の文書検索装置。 - 【請求項４】 前記インデックス情報は、登録文書別に
各登録文書に含まれる単語を示した文書関連情報と、単
語別に各単語が含まれる文書と単語出現頻度と文書出現
頻度を示した単語関連情報とを有しており、 前記検索手段は、（１） 前記検索条件として文字列が
指定された場合には、指定された文字列を単語に分解
し、分解した各単語についての単語出現頻度と文書出現
頻度を前記インデックス情報内の前記単語関連情報から
取得し、（２） 前記検索条件として登録文書が指定さ
れた場合には、指定された登録文書に含まれる単語を前
記インデックス情報内の前記文書関連情報によって識別
し、識別した各単語についての単語出現頻度と文書出現
頻度を前記インデックス情報内の前記単語関連情報から
取得し取得した単語出現頻度及び文書出現頻度に基づい
て登録文書をランキングする、請求項１記載の文書検索
装置。 - 【請求項５】 複数の登録文書に関して予め算出され
た、単語毎の単語出現頻度及び文書出現頻度をもってい
るインデックス情報と、 検索条件として指定された１個以上の単語の単語出現頻
度及び文書出現頻度を前記インデックス情報から取得
し、取得した単語出現頻度及び文書出現頻度に基づい
て、登録文書をランキングして検索結果として出力する
検索手段と、を備えた文書検索装置として、コンピュー
タを機能させるためのプログラムを記録したコンピュー
タ読取可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12631999A JP3558267B2 (ja) | 1999-05-06 | 1999-05-06 | 文書検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12631999A JP3558267B2 (ja) | 1999-05-06 | 1999-05-06 | 文書検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000322416A true JP2000322416A (ja) | 2000-11-24 |
| JP3558267B2 JP3558267B2 (ja) | 2004-08-25 |
Family
ID=14932255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12631999A Expired - Fee Related JP3558267B2 (ja) | 1999-05-06 | 1999-05-06 | 文書検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3558267B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007323274A (ja) * | 2006-05-31 | 2007-12-13 | Hitachi Electronics Service Co Ltd | 情報提供装置、情報提供方法及び情報提供プログラム |
| WO2008154823A1 (fr) * | 2007-06-21 | 2008-12-24 | Tencent Technology (Shenzhen) Company Limited | Procédé, système et dispositif de recherche |
| JP2009042968A (ja) * | 2007-08-08 | 2009-02-26 | Nec Corp | 情報選別システム、情報選別方法及び情報選別用プログラム |
| US7509314B2 (en) | 2004-03-05 | 2009-03-24 | Oki Electric Industry Co., Ltd. | Document retrieval system recognizing types and values of numeric search conditions |
| JP2017068399A (ja) * | 2015-09-29 | 2017-04-06 | 日本電気株式会社 | 情報処理装置、電子ホワイトボードの検索方法、及びプログラム |
| CN107132993A (zh) * | 2016-02-26 | 2017-09-05 | 高德软件有限公司 | 一种将数据写入内存的方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06195381A (ja) * | 1992-12-25 | 1994-07-15 | Mitsubishi Electric Corp | データ検索装置 |
| JPH07319895A (ja) * | 1994-05-20 | 1995-12-08 | Toshiba Corp | 文書検索装置及び文書検索方法 |
| JPH07319891A (ja) * | 1994-05-26 | 1995-12-08 | Fuji Xerox Co Ltd | 文書登録検索システム |
| JPH0822470A (ja) * | 1994-07-05 | 1996-01-23 | Toshiba Corp | 資料作成支援システム |
| JPH0877178A (ja) * | 1994-09-01 | 1996-03-22 | Ibm Japan Ltd | 情報検索システム及び方法 |
| JPH09297766A (ja) * | 1996-05-01 | 1997-11-18 | N T T Data Tsushin Kk | 類似文書検索装置 |
| JPH1049549A (ja) * | 1996-05-29 | 1998-02-20 | Matsushita Electric Ind Co Ltd | 文書検索装置 |
| JPH1125108A (ja) * | 1997-07-02 | 1999-01-29 | Matsushita Electric Ind Co Ltd | 関連キーワード自動抽出装置、文書検索装置及びこれらを用いた文書検索システム |
| JP2000172701A (ja) * | 1998-12-04 | 2000-06-23 | Fujitsu Ltd | 文書データ提供装置、文書データ提供システム、文書データ提供方法及び文書データを提供するプログラムを記録した記録媒体 |
-
1999
- 1999-05-06 JP JP12631999A patent/JP3558267B2/ja not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06195381A (ja) * | 1992-12-25 | 1994-07-15 | Mitsubishi Electric Corp | データ検索装置 |
| JPH07319895A (ja) * | 1994-05-20 | 1995-12-08 | Toshiba Corp | 文書検索装置及び文書検索方法 |
| JPH07319891A (ja) * | 1994-05-26 | 1995-12-08 | Fuji Xerox Co Ltd | 文書登録検索システム |
| JPH0822470A (ja) * | 1994-07-05 | 1996-01-23 | Toshiba Corp | 資料作成支援システム |
| JPH0877178A (ja) * | 1994-09-01 | 1996-03-22 | Ibm Japan Ltd | 情報検索システム及び方法 |
| JPH09297766A (ja) * | 1996-05-01 | 1997-11-18 | N T T Data Tsushin Kk | 類似文書検索装置 |
| JPH1049549A (ja) * | 1996-05-29 | 1998-02-20 | Matsushita Electric Ind Co Ltd | 文書検索装置 |
| JPH1125108A (ja) * | 1997-07-02 | 1999-01-29 | Matsushita Electric Ind Co Ltd | 関連キーワード自動抽出装置、文書検索装置及びこれらを用いた文書検索システム |
| JP2000172701A (ja) * | 1998-12-04 | 2000-06-23 | Fujitsu Ltd | 文書データ提供装置、文書データ提供システム、文書データ提供方法及び文書データを提供するプログラムを記録した記録媒体 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7509314B2 (en) | 2004-03-05 | 2009-03-24 | Oki Electric Industry Co., Ltd. | Document retrieval system recognizing types and values of numeric search conditions |
| JP2007323274A (ja) * | 2006-05-31 | 2007-12-13 | Hitachi Electronics Service Co Ltd | 情報提供装置、情報提供方法及び情報提供プログラム |
| WO2008154823A1 (fr) * | 2007-06-21 | 2008-12-24 | Tencent Technology (Shenzhen) Company Limited | Procédé, système et dispositif de recherche |
| JP2009042968A (ja) * | 2007-08-08 | 2009-02-26 | Nec Corp | 情報選別システム、情報選別方法及び情報選別用プログラム |
| JP2017068399A (ja) * | 2015-09-29 | 2017-04-06 | 日本電気株式会社 | 情報処理装置、電子ホワイトボードの検索方法、及びプログラム |
| CN107132993A (zh) * | 2016-02-26 | 2017-09-05 | 高德软件有限公司 | 一种将数据写入内存的方法及装置 |
| CN107132993B (zh) * | 2016-02-26 | 2021-02-02 | 阿里巴巴（中国）有限公司 | 一种将数据写入内存的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3558267B2 (ja) | 2004-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9619565B1 (en) | Generating content snippets using a tokenspace repository | |
| US9195738B2 (en) | Tokenization platform | |
| JP3636941B2 (ja) | 情報検索方法と情報検索装置 | |
| US8180785B2 (en) | Method and system for searching numerical terms | |
| JP3143079B2 (ja) | 辞書索引作成装置と文書検索装置 | |
| KR101157693B1 (ko) | 토큰스페이스 저장소와 함께 사용하기 위한 멀티-스테이지질의 처리 시스템 및 방법 | |
| US8171029B2 (en) | Automatic generation of ontologies using word affinities | |
| JPH11120203A (ja) | データベースを合併する方法およびデータベースからドキュメントを検索する装置 | |
| JP5273735B2 (ja) | テキスト要約方法、その装置およびプログラム | |
| JPH0628403A (ja) | 文書検索装置 | |
| JP2008117351A (ja) | 検索システム | |
| JP2000322416A (ja) | 文書検索装置 | |
| JP2004192546A (ja) | 情報検索方法、装置、プログラム、および記録媒体 | |
| JP2004054882A (ja) | 類義語検索装置、方法、プログラム及び記憶媒体 | |
| JP3081093B2 (ja) | 索引作成方法およびその装置と文書検索装置 | |
| Culpepper et al. | Language independent ranked retrieval with NeWT | |
| JP2519129B2 (ja) | マルチキ―ワ―ド情報検索処理方式および検索ファイル作成装置 | |
| JPH06325091A (ja) | 類似度評価型データベース検索装置 | |
| KR20020054254A (ko) | 사전구조를 이용한 한국어 형태소 분석방법 | |
| JP2002117043A (ja) | 文書検索装置、文書検索方法およびその方法を実施するためのプログラムを記録した記録媒体 | |
| JPH10177575A (ja) | 語句抽出装置および方法、情報記憶媒体 | |
| JPH09212523A (ja) | 全文検索方法 | |
| JP2000339342A (ja) | 文書検索方法および文書検索装置 | |
| JPH04262460A (ja) | 情報検索装置 | |
| JP2001092831A (ja) | 文書検索装置及び文書検索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040514 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |