JP2001142887A

JP2001142887A - 文書検索方法および文書検索装置およびプログラム記録媒体

Info

Publication number: JP2001142887A
Application number: JP31953199A
Authority: JP
Inventors: Hideki Nishimura; 英樹西村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-11-10
Filing date: 1999-11-10
Publication date: 2001-05-25

Abstract

(57)【要約】【課題】文書データベースから分割されたグループに
対する各文書データの特徴をどの程度検索結果に反映す
るかをユーザが柔軟に調整できる文書検索方法および文
書検索装置およびプログラム記録媒体を提供する。【解決手段】文書データ分割部２により複数の文書デ
ータを複数のグループに分割した後、キーワード入力部
１１により指定された１つ以上のキーワードについて、
全文書データに対する第１単純重要度および分割された
自グループに対する第２単純重要度を単純重要度計算部
３により文書データ毎に計算する。そして、パラメータ
入力部１２により第１,第２単純重要度に重み付けをす
るためのパラメータを指定し、第１,第２単純重要度と
指定されたパラメータにより各文書データの複合重要度
を複合重要度計算部４により計算し、計算された複合重
要度に従って、検索結果出力部５により全文書データの
検索を行い、検索結果を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、文書データ集合
からキーワードによって文書を検索する文書検索方法お
よび文書検索装置およびプログラム記録媒体に関する。

【０００２】

【従来の技術】従来、大量の文書から目的の文書を探す
ために、様々な文書検索方法が関発されている。また、
効率の高い検索を行うため、検索の精度と再現率の向上
についていろいろな検索モデルや手法が提案されてい
る。その文書検索方法の１つとして、ベクトル空間モデ
ル等で採用されているＴＦＩＤＦ(Term Frequency Inve
rse Document Frequency)法による文書スコアの計算方
法は、キーワードＫに対する文書Ｆの重要度が、Ｆ内に
おけるＫの出現頻度(ＴＦ:Term Frequency)と、全文書
数をＮ,キーワードＫを少なくとも１つ含む文書数をＸ
としたときのlog(Ｎ／Ｘ)(ＩＤＦ:Inverse Document Fr
equency)に比例すると決める手法であり、キーワードＫ
に対する文書Ｆの重要度Ｗ(Ｆ,Ｋ)は、

【数１】で表される。このＴＦＩＤＦ法による文書スコアの計算
方法は、単語に自動的に重要度を設定し、検索精度を向
上させる手法として一般によく使われている。

【０００３】上記ＴＦＩＤＦ法は、母集団の文書の多く
に含まれている単語は一般性が高く、少数の文書にしか
含まれていない単語はそれらの文書の特徴を表す度合い
が高いという性質に着目している。

【０００４】例えば、特許文書を対象にすると、「発
明」、「課題」等の単語はほとんど全ての特許文書に含
まれている単語であり特許検索時にはほとんど意味をな
さないが、「検索」等は、ある特定の分野の特許文書に
しか出てこない単語であり、特許検索時には重要な単語
であると考えるものである。

【０００５】ところで、文書検索において、対象の文書
はテキスト情報が抽出可能であればなんでもよい。例え
ば、電子メールとワープロ文書からは共にテキスト情報
が抽出可能であるため、単一の文書データベースに格納
可能である。しかしながら、電子メールとワープロ文書
では性質がかなり異なり、例えば、電子メールには「Ｄ
ａｔｅ」等の単語が必ず含まれるが、ワープロ文書には
必ずしも含まれない。つまり、「Ｄａｔｅ」等の単語は
電子メールでは全てのメールに含まれる単語のため電子
メール内での重要度は低い。ところが、文書データベー
ス全体としては、全ての文書に「Ｄａｔｅ」が含まれる
わけではないため、ワープロ文書と併せた集合に対して
ＴＦＩＤＦ法を適用すると、重要度が比較的高く計算さ
れる可能性がある。

【０００６】逆に、ワープロ文書内に「Ｄａｔｅ」が含
まれることはあまりなく、もし含まれていた場合には、
「Ｄａｔｅ」はそのワープロ文書に対してかなり重要な
キーワードである可能性が高い。したがって、本来は前
述の重要度よりも高く計算されるべきなのに、そのよう
にならない。つまり、同じ単語「Ｄａｔｅ」が、ワープ
ロ文書に出現する場合と電予メールに出現する場合とで
は、重要さにおいて意味が異なるにも関わらず、単純な
ＴＦＩＤＦ法ではその区別を全く行わないという問題が
ある。

【０００７】そこで、電子メールとワープロ文書等を別
々のデータベースとして構築し、各データベース毎に独
立に文書の重要度を計算し、各データベースの検索結果
をあとで足し合わせることが考えられる。このようにす
ると、文書の種類毎に単語の特殊性を考慮することにな
り、特殊な単語で検索したときの検索精度が向上する。
例えば、特開平７−３１１７７７号公報では、複数の異
種データベースに対し、各データベース毎に検索を実行
し、全てのデータベースからの検索結果を足し合わせ
て、重複を除去した上でユーザに検索結果を提示する。
そうして、各データベース毎に独立に文書の重要度を計
算するので、「Ｄａｔｅ」のような特殊なキーワードの
重要度がデータベース毎に適切に計算される。

【０００８】

【発明が解決しようとする課題】しかしながら、一般的
には、「Ｄａｔｅ」等の特殊な単語以外の電子メールや
ワープロ文書に同じように用いられる単語の場合には、
特開平７−３１１７７７号公報の手法によると、分割さ
れたデータベース毎に文書に含まれる単語の分布が偶然
に偏った場合に、キーワードの重要性が不適切に計算さ
れることがある。すなわち、特殊なキーワードでないに
もかかわらず、特定の分割データベースに対してたまた
ま重要であると計算され、その分割データベースで検索
された結果すべての重要度を必要以上に高くしてしま
い、その結果、他の分割データベースの検索結果を下位
の方へ埋もれさせることになる。したがって、一般的に
は、やはり文書全体を対象としてＴＦＩＤＦ法を適用す
るべきであり、特開平７−３１１７７７号公報のような
手法をすべての場合に適用することは好ましくない。

【０００９】そこで、この発明の目的は、文書データベ
ースから分割されたグループに対する各文書の特徴をど
の程度検索結果に反映するかをユーザが柔軟に調整でき
る文書検索方法を提供することにある。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、この発明の文書検索方法は、複数の文書データから
キーワードによって文書を検索する文書検索方法であっ
て、１つ以上のキーワードを指定するステップと、上記
複数の文書データを複数のグループに分割するステップ
と、上記指定された１つ以上のキーワードについて、上
記全文書データに対する第１単純重要度および上記分割
された自グループに対する第２単純重要度を上記文書デ
ータ毎に計算するステップと、上記第１,第２単純重要
度に重み付けをするためのパラメータを指定するステッ
プと、上記各文書データの上記第１,第２単純重要度お
よび上記指定されたパラメータに基づいて、上記各文書
データの複合重要度を計算するステップと、上記計算さ
れた各文書データの複合重要度に従って上記全文書デー
タについて検索を行って、その検索結果を出力するステ
ップとを有することを特徴としている。

【００１１】上記文書検索方法によれば、上記複数の文
書データを複数のグループに分割した後、指定された１
つ以上のキーワードについて、全文書データに対する第
１単純重要度および上記分割された自グループに対する
第２単純重要度を文書データ毎に計算する。そして、上
記第１,第２単純重要度に重み付けをするためのパラメ
ータを指定した後、上記計算された２種類の第１,第２
単純重要度と指定されたパラメータにより各文書データ
の複合重要度を計算し、計算された複合重要度に従って
全文書データの検索を行って、その検索結果を出力す
る。したがって、ユーザが指定するパラメータによっ
て、文書データ毎に計算された全文書データに対する第
１単純重要度および分割された自グループ(分割された
個々の種類の文書データ)に対する第２単純重要度の重
み付けを任意に変えることにより、どのように第１,第
２単純重要度を上記各文書データの最終的な複合重要度
に影響させるかをユーザが柔軟に調整できる。

【００１２】また、一実施形態の文書検索方法は、上記
各文書データの複合重要度を計算するステップにおい
て、上記指定されたパラメータをα,βとし、上記第１
単純重要度をＡとし、上記第２単純重要度をＢとして、複合重要度＝ αＡ＋βＢにより上記各文書データの複合重要度を計算することを
特徴としている。

【００１３】上記実施形態の文書検索方法によれば、上
記パラメータをα,βの２つとすることにより、もっと
も一般的な指定が可能である。例えば、２次元平面上の
１点を指定するユーザインターフェース等によりαとβ
を別々に指定することも可能であるし、β＝１に固定
し、αのみを変化させるという方法もある。また、β＝
(１−α)のように定義して、α＝０〜１の範囲で自由に
変化させることによって、複合重要度の計算を調整する
ことができ、スライダーによるユーザインターフェース
の実装に便利である。

【００１４】また、一実施形態の文書検索方法は、上記
各文書データの複合重要度を計算するステップにおい
て、上記指定されたパラメータを角度θとし、上記第１
単純重要度をＡとし、上記第２単純重要度をＢとして、複合重要度＝Ａcosθ＋Ｂsinθ により上記各文書データの複合重要度を計算することを
特徴としている。

【００１５】上記実施形態の文書検索方法によれば、上
記パラメータを角度θにすることで、角度データを与え
て、複合重要度計算を調整することができ、ジョグダイ
ヤルによるユーザインターフェースの実装に便利であ
る。また、単純なユーザインターフェースであるにも関
わらず、角度θによっては、各項(Ａcosθ,Ｂsinθ)の
値が負の値となることもあり、上記全文書データまたは
自グループに対する各文書データの特徴を負の影響を与
えるものとすることが可能である。

【００１６】また、一実施形態の文書検索方法は、、上
記各文書データの複合重要度を計算するステップにおい
て、上記指定されたパラメータをγとし、Ａ×γ ＞Ｂである文書データの複合重要度を０とすることを特徴と
している。

【００１７】上記実施形態の文書検索方法によれば、複
合重要度の計算に算術式だけでなく、論理式を使うこと
ができる。典型的には、ある条件により計算式を切り替
えたり、複合重要度を０とし、検索結果の一部をマスク
する。また、第１単純重要度Ａが第２単純重要度Ｂより
も大きいということは、結局のところ自グループ内での
特徴が薄いことを意味する。このように、Ａ×γ＞Ｂで
ある文書データの複合重要度を０にすることによって、
自グループ内での特徴が比較的薄いと判断される文書を
マスクする効果があり、特徴的な文書だけに検索結果を
絞りたいときに有効である。上記γは比例定数を表すパ
ラメータであり、γの値を変更することによって、マス
クされる文書の数を調整することができる。

【００１８】また、一実施形態の文書検索方法は、上記
各文書データの複合重要度を計算するステップにおい
て、上記指定されたパラメータをγとし、Ａ×γ ＜Ｂである文書データの複合重要度を０とすることを特徴と
している。

【００１９】上記実施形態の文書検索方法によれば、同
様に、第１単純重要度Ａが第２単純重要度Ｂよりも小さ
いということは、結局のところ自グループ内での特徴が
強いことを意味する。このように、Ａ×γ＜Ｂである文
書データの複合重要度を０にすることによって、自グル
ープ内での特徴が比較的強いと判断される文書をマスク
する効果があり、特徴的な文書は必要なく、そのような
文書を検索結果から排除したいときに有効である。上記
γは比例定数を表すパラメータであり、γの値を変更す
ることによって、マスクされる文書の数を調整すること
ができる。

【００２０】また、一実施形態の文書検索方法は、、上
記パラメータγが１であることを特徴としている。

【００２１】上記実施形態の文書検索方法によれば、Ａ
×γ＞Ｂ、かつ、パラメータγが１のときは、自グルー
プに対する第２単純重要度よりも全体に対する第１単純
重要度の方が大きい文書のみを検索結果として出力す
る。逆に、Ａ×γ＜Ｂ、かつ、パラメータγ＝１のとき
は、文書全体に対する第１単純重要度のよりも自グルー
プに対する第２単純重要度の方が大きい文書のみを検索
結果として出力する。

【００２２】また、一実施形態の文書検索方法は、上記
第１,第２単純重要度を上記文書データ毎に計算するス
テップにおいて、計算された上記各文書データの第１,
第２単純重要度を上記パラメータに対応づけて記憶し
て、上記各文書データの複合重要度を計算するステップ
において、上記パラメータの変更に従って、変更後のパ
ラメータに対応する上記記憶された第１,第２単純重要
度を用いて、上記各文書データの複合重要度の計算を行
うことを特徴としている。

【００２３】上記実施形態の文書検索方法によれば、記
憶されたすでに計算済みの第１,第２単純重要度から複
合重要度を計算することで、複合重要度の計算を高速に
行うことができる。ユーザが小刻みに操作できるスライ
ダーまたはジョグダイヤル等をユーザインターフェース
として実装する場合には、リアルタイムに複合重要度が
計算され、検索結果を高速に出力できる。

【００２４】また、この発明の文書検索装置は、複数の
文書データからキーワードによって文書を検索する文書
検索装置であって、１つ以上のキーワードを指定するキ
ーワード指定手段と、上記複数の文書データを複数のグ
ループに分割する文書データ分割手段と、上記指定され
た１つ以上のキーワードについて、上記全文書データに
対する第１単純重要度および上記分割された自グループ
に対する第２単純重要度を上記文書データ毎に計算する
単純重要度計算手段と、上記第１,第２単純重要度に重
み付けをするためのパラメータを指定するパラメータ指
定手段と、上記各文書データの上記第１,第２単純重要
度および上記指定されたパラメータに基づいて、上記各
文書データの複合重要度を計算する複合重要度計算手段
と、上記計算された各文書データの複合重要度に従って
上記全文書データについて検索を行って、その検索結果
を出力する検索結果出力手段とを備えたことを特徴とし
ている。

【００２５】上記構成の文書検索装置によれば、上記文
書データ分割手段により複数の文書データを複数のグル
ープに分割した後、上記キーワード指定手段により指定
された１つ以上のキーワードについて、全文書データに
対する第１単純重要度および上記分割された自グループ
に対する第２単純重要度を単純重要度計算手段により文
書データ毎に計算する。そして、上記パラメータ指定手
段により第１,第２単純重要度に重み付けをするための
パラメータを指定した後、上記計算された２種類の第
１,第２単純重要度と指定されたパラメータにより各文
書データの複合重要度を複合重要度計算手段により計算
し、計算された複合重要度に従って上記検索結果出力手
段により全文書データの検索を行って、その検索結果を
出力する。したがって、ユーザが指定するパラメータに
よって、文書データ毎に計算された全文書データに対す
る第１単純重要度および分割された自グループ(分割さ
れた個々の種類の文書データ)に対する第２単純重要度
の重み付けを任意に変えることにより、どのように第
１,第２単純重要度を上記各文書データの最終的な複合
重要度に影響させるかをユーザが柔軟に調整できる。

【００２６】また、この発明のプログラム記録媒体は、
１つ以上のキーワードを指定するステップと、複数の文
書データを複数のグループに分割するステップと、上記
指定された１つ以上のキーワードについて、上記全文書
データに対する第１単純重要度および上記分割された自
グループに対する第２単純重要度を上記文書データ毎に
計算するステップと、上記第１,第２単純重要度に重み
付けをするためのパラメータを指定するステップと、上
記各文書データの上記第１,第２単純重要度および上記
指定されたパラメータに基づいて、上記各文書データの
複合重要度を計算するステップと、上記計算された各文
書データの複合重要度に従って上記全文書データについ
て検索を行って、その検索結果を出力するステップとを
有する制御プログラムを記録したことを特徴としてい
る。

【００２７】上記プログラム記録媒体によれば、記録さ
れた制御プログラムをマイクロコンピュータ等の情報処
理装置に読み込んで、その制御プログラムを実行するこ
とによって、上記複数の文書データを複数のグループに
分割した後、指定された１つ以上のキーワードについ
て、全文書データに対する第１単純重要度および上記分
割された自グループに対する第２単純重要度を文書デー
タ毎に計算し、上記第１,第２単純重要度に重み付けを
するためのパラメータを指定し、上記計算された２種類
の第１,第２単純重要度と指定されたパラメータにより
各文書データの複合重要度を計算し、計算された複合重
要度に従って全文書データの検索を行って、その検索結
果を出力する。したがって、ユーザが指定するパラメー
タによって、文書データ毎に計算された全文書データに
対する第１単純重要度および分割された自グループ(分
割された個々の種類の文書データ)に対する第２単純重
要度の重み付けを任意に変えることにより、どのように
第１,第２単純重要度を上記各文書データの最終的な複
合重要度に影響させるかをユーザが柔軟に調整できる。
また、このような文書検索方法を特定の一台の情報処理
装置に内蔵した形態のみならず、特定の情報処理装置か
ら上記文書検索方法を実行する制御プログラムを切り離
して独立した記録媒体の形態にすることによって、保
存,運搬および流通させることが可能となる。

【００２８】

【発明の実施の形態】以下、この発明の文書検索方法お
よび文書検索装置およびプログラム記録媒体を図示の実
施の形態により詳細に説明する。

【００２９】図１はこの発明の実施の一形態の文書検索
方法を用いた文書検索装置の概略ブロック図であり、１
は対象の文書データベースに対して複数の文書データの
単語とその他の付加情報を整理する文書データ入力部、
２は上記文書データ入力部１により整理された文書デー
タを所定の基準によって分割する文書データ分割手段と
しての文書データ分割部、３は入力された１つ以上のキ
ーワードに基づいて、文書データ毎に、全文書データに
対するＴＦＩＤＦによる文書の第１単純重要度Ａおよび
同種類の文書データ群に対するＴＦＩＤＦによる文書の
第２単純重要度Ｂを計算する単純重要度計算手段として
の単純重要度計算部、４は入力されたパラメータに基づ
いて、上記単純重要度計算部３により計算された第１,
第２単純重要度Ａ,Ｂをもとに最終的な複合重要度を計
算する複合重要度計算手段としての複合重要度計算部、
５は上記複合重要度計算部４により計算された複合重要
度に基づいて検索を行い、その検索結果を出力する検索
結果出力手段としての検索結果出力部である。また、１
１は１つ以上のキーワードを指定するキーワード指定手
段としてのキーワード入力部、１２は上記第１,第２単
純重要度Ａ,Ｂに重み付けをするためのパラメータを指
定するパラメータ指定手段としてのパラメータ入力部で
ある。

【００３０】以後、サンプルの文書集合を対象にして、
上記文書検索装置の動作を詳細に説明する。ここで、文
書はコンピュータ上のファイルとなっており、ディレク
トリ等によりジャンル情報を得ることができ、文書集合
をファイル名のリストという形式で扱えるものとする。
また、ジャンル情報が異なるものを分割の基準とする
が、これに限らず、他のいかなる基準で文書を分割して
よい。

【００３１】まず、上記構成の文書検索装置の文書デー
タ入力部１における動作を詳細に説明する。

【００３２】図１において、文書データ入力部１は、文
書集合から上記各文書データに対して、文書名、文書が
含んでいる単語、ジャンル情報等の文書データを取り出
して整理し、データベース化を行う。まず、文書集合か
ら文書を１つずつ取り出して、取り出した文書を解析
し、文書毎に単語の出現頻度を調べる。この解析方法に
ついては、公知の技術を用いることにし、特に制限しな
い。次に、不要語辞書を用いて「そして、しかし、こ
の」等の不要語を除去した後、ジャンル名とともに文書
テーブルに、文書の要素として追加する。これらの処理
を文書集合の全ての文書に対して行う。単語の後にある
「()」の中の数字は、その単語の出現数を表している。
その結果として、文書テーブル(図２に示す)を得る。

【００３３】なお、説明を簡単にするために各文書とも
単語の種類や単語数が極端に少ない例にしているが、実
際の文書では当然のことながら単語の種類や出現頻度は
多種,多数になる。

【００３４】次に、文書データ分割部２における動作を
詳細に説明する。

【００３５】上記文書データ分割部２は、文書データ入
力部１によってデータベース化された文書データをグル
ープに振り分ける。ここでは分割基準テーブル(図３に
示す)のように、ジャンル名によって、グループ分けす
ることにし、文書データを２つのグループに分ける。

【００３６】上記文書テーブル(図２に示す)の全てのデ
ータに対して、文書データを１つずつ取り出す。例え
ば、「メニューチョコプリン加熱(５)、牛乳(５)
チョコ(２)、」が取り出される。次に、分割基準テーブ
ル(図３に示す)を参照し、グループを決定する。分割基
準テーブル(図３に示す)に従って、「メニューチョコ
プリン加熱(５)、牛乳(５)、チョコ(２)、」のグルー
プをＧ１と決定する。

【００３７】そして、グループ文書テーブル(図４に示
す)に、決定されたグループとともに文書データを追加
する。「メニューチョコプリン加熱(５)、牛乳
(５)、チョコ(２)、」の場合、グループ文書テーブル
(図４に示す)に追加する。上記文書テーブル(図２に示
す)の全ての文書データに対してグループ分けを行うま
で、以上の処理を繰り返す。

【００３８】その結果として、グループ文書テーブル
(図４に示す)を得る。なお、図中、順番の項は、文書デ
ータの数を数えやすくするために上から順に数字を振っ
たものである。

【００３９】次に、単純重要度計算部３における動作を
詳細に説明する。

【００４０】上記単純重要度計算部３は、文書データ分
割部２によって分割された文書データに対して、単純重
要度を計算する。単純重要度とは、文書に対するあるキ
ーワードに対する関連度のことで、文書検索システムに
おいて一般的にはＴＦＩＤＦ法により計算されるものが
多い。また、一般的に検索システムに対して複数のキー
ワードが指定されるので、この場合の単純重要度とは、
それぞれのキーワードに対するＴＦＩＤＦの値を要素と
したベクトルデータとなる。なお、ＴＦＩＤＦ法では一
般に、

【数２】によって関連度を決定する(文書Ｆ、キーワードＫ)。

【００４１】上記単純重要度計算部３では、グループ文
書テーブル(図４に示す)の各文書に対して、(１)グルー
プの項を考慮しない全文書データに対する第１単純重要
度Ａと、(２)グループの項を考慮した同一グループの文
書データ集合における第２単純重要度Ｂの２つの値を計
算する。

【００４２】上記(２)の場合は、ＴＦＩＤＦの式におけ
る「全文書数」は同一グループの文書数となり、「Ｋで
のヒット件数」は同一グループにおけるＫでのキーワー
ドのヒット件数となる。

【００４３】以後、検索キーとして、キーワード「牛
乳」が指定されたものとして説明し、単純重要度は１次
のベクトルすなわちスカラーのデータとして表現するこ
ととする。例えば、グループ文書テーブル(図４に示す)
の文書データ「Ｇ１チョコプリン加熱(５)、牛乳
(５)、チョコ(２)、」を選択する。

【００４４】この文書データには、単語「牛乳」が５回
出現する。また、キーワード「牛乳」を含む文書の数
は、グループＧ１で３０、グループＧ２で１の合計３１
文書であるとする。全文書数１０００、グループＧ１の
文書数３００、グループＧ２の文書数７００であるの
で、文書データ「Ｇ１チョコプリン加熱(５)、牛乳
(５)、チョコ(２)、」の全文書データに対する第１単純
重要度Ａは、第１単純重要度Ａ＝５×log(１０００／３１)＝２５.０
５７９ (比例定数となるので底は何でもよいが、ここでは２と
した)となり、同一グループの文書集合に対する第２単
純重要度Ｂは、第２単純重要度Ｂ＝５×log(３００／３０)＝１６.６０
９６ (底は同じく２)となる。同様に、「Ｇ２免疫牛乳免
疫(４)、牛乳(２)、抗体(２)、」の場合は、第１単純重要度Ａ＝２×log(１０００／３１)＝１０.０
２３２第２単純重要度Ｂ＝２×log(７００／１)＝１８.９０２
４となる。結果として、単純重要度テーブル(図５に示す)
が得られる。

【００４５】次に、複合重要度計算部４における動作を
図６のフローチャートを参照しながら詳細に説明する。
上記複合重要度計算部４は、外部からパラメータαを受
け取り、パラメータαにしたがって各文書の最終的な複
合重要度を計算する。ここでは一例として、最終的な重
要度を「(１−α)×(全体に対するＴＦＩＤＦの値)＋α
×(グループ内でのＴＦＩＤＦの値)」とし、入力される
パラメータαとして、α＝０,０.５,０.６,０.７,０.
９,１について考える。

【００４６】入力されるパラメータαを１次元としたの
で、スライダー等によるユーザインターフェースの実装
が考えられる。

【００４７】まず、ステップＳ１０１でパラメータαを
外部から入力する。例えば、α＝０となる。次に、ステ
ップＳ１０２〜Ｓ１０４を単純重要度テーブルの全ての
データに対して行う。

【００４８】次に、ステップＳ１０２に進み、単純重要
度テーブル(図５に示す)の１つのデータを選択する。例
えば、「チョコプリン２５.０５７９１６.６０９
６」を選択する。

【００４９】次に、ステップＳ１０３に進み、「(１−
α)×(全体に対するＴＦＩＤＦの値)＋α×(グループ内
でのＴＦＩＤＦの値)」に従って、最終的な複合重要度
を計算する。「チョコプリン２５.０５７９１６.６
０９６」の場合には、複合重要度＝１×２５.０５７９
＋０×１６.６０９６＝２５.０５７９となる。そして、
ステップＳ１０４で、計算された複合重要度を文書名と
共に複合重要度テーブル(図７に示す)に記録する。

【００５０】次に、ステップＳ１０５に進み、全文書デ
ータに対してステップＳ１０２〜Ｓ１０４を行ったと判
定すると、この複合重要度計算処理を終了する一方、全
文書データに対してステップＳ１０２〜Ｓ１０４を行っ
ていないと判定すると、ステップＳ２に戻り、ステップ
Ｓ１０２〜Ｓ１０４を繰り返す。

【００５１】このようにして、複合重要度テーブル(図
７に示す)が得られる。すなわち、α＝０のときは、全
体に対するＴＦＩＤＦの値をそのまま重要度とする。こ
の場合、結局、分割を行わずに通常のＴＦＩＤＦ法を使
った検索と全く同じ重要度となる。なお、見やすさのた
め、複合重要度が０の文書データに対しては表記を省略
し、また、複合重要度の高い順にソートして表記した。

【００５２】また、α＝０.５,０.６,０.７,０.９,１の
とき、同様の計算を行うことによって、複合重要度テー
ブル(図８〜図１２)が得られる。グループＧ２の文書
「免疫牛乳」がグループＧ２内で特徴的であるために、
パラメータαの値を変化させていくことによって、徐々
に順位を上げていくのがわかる。なお、パラメータα＝
１のときは、結局、グループ内で個別に検索したときの
ＴＦＩＤＦの値と同じとなる(特開平７−３１１７７７
号公報の方法)。

【００５３】次に、検索結果出力部５における動作を説
明する。

【００５４】上記検索結果出力部５は、複合重要度計算
部４により計算された複合重要度テーブルに対し、文書
名と重要度を関連付けて表示する。この場合、文書名と
重要度の関連付けの方法は、公知の技術を用いることと
し、特に制限しない。例えば、単純に複合重要度が０よ
り大きいものを降順で出力すればよい。

【００５５】以上のように、入力するパラメータαが異
なると、出力結果が異なる場合があると共に、パラメー
タα＝０のときは、各文書を区別せずに文書集合全体に
対して単純なＴＦＩＤＦ法による検索を行うことにな
る。ところが、パラメータα＝１のときは、各文書をジ
ャンルによって区別し、ジャンル内での文書の特異性に
着目することによって、ジャンル「事典」において、キ
ーワード「牛乳」に関して特異性があると認識された文
書「免疫牛乳」が検索結果のうち最適なものと出力され
る。

【００５６】上記パラメータαは、ユーザが自由に入力
することができるので、第１,第２単純重要度Ａ,Ｂの重
み付けを調整して、ジャンルによる文書の特徴を出す検
索と、全体の中からの一様な検索を連続的に切り替えて
行うことができる。

【００５７】なお、単純重要度の計算において、ＴＦＩ
ＤＦ法による計算を行ったが、単純重要度の計算はＴＦ
ＩＤＦ法に限定するわけではなく、文書数とヒット数の
いずれか、または両方を重要度の計算に使用している一
般の単純重要度計算式に対して適用可能である。例え
ば、単純重要度の計算に、

【数３】を用いてよい。また、複合重要度の計算において「(１
−α)×(全体に対するＴＦＩＤＦの値)＋α×(グループ
内でのＴＦＩＤＦの値)」としたが、これに限定するも
のでなく、他の任意の式を指定してよい。全体に対する
ＴＦＩＤＦの値をＡとし、グループ内でのＴＦＩＤＦの
値をＢとすると、例えば、パラメータを角度θとし、
「Ａ×cosθ＋Ｂ×sinθ」という式にすれば、ジョグシ
ャトルのような単純なユーザインターフェースを連続的
に操作することによって、各単純重要度を負の要素とし
て扱うことも可能である。

【００５８】また、同じく複合重要度の計算において、
算術式を用いるもの以外に、論理式を用いることもでき
る。例えば、パラメータγを導入し、Ａ×γ＜Ｂのとき０Ａ×γ≧Ｂのとき αＡ＋βＢまたはＡcosθ＋Ｂs
inθ というようにすれば、「Ａ×γ＜Ｂ」のときは複合重要
度が０となり、この部分にマスクをかけることになる。

【００５９】ある文書の第１単純重要度Ａ,Ｂに関し
て、ＡがＢに比較して大きいということは、その文書が
自グループにおいて特徴が薄いことを示し、ＡがＢに比
較して小さいということは、特徴が強いことを示してい
る。

【００６０】したがって、「Ａ×γ＜Ｂのときは０」
は、比較的グループに特徴的な文書の複合重要度が０に
なるので、キーワード「牛乳」に対するメニューデータ
のように検索結果の文書が大量になることが分かってい
る文書に絞り、事典データ等の特徴的な文書を排除した
い場合に用いることができる。パラメータγは比例定数
であり、マスクする文書数を調整することになる。特
に、パラメータγ＝１のときは、グループ内でのＴＦＩ
ＤＦ値よりも全体に対するＴＦＩＤＦの値の方が大きい
文書のみを検索結果として出力することになる。

【００６１】逆に、例えば、Ａ×γ＞Ｂのとき０Ａ×γ≦Ｂのとき αＡ＋βＢまたはＡcosθ＋Ｂs
inθ というようにすれば、比較的グループに特徴の薄い文書
の重要度が０になるので、キーワード「牛乳」に対する
「免疫牛乳」等の特徴的な文書に絞り、メニューデータ
等が大量に存在することが分かっているものを排除した
い場合に用いることができる。特に、パラメータγ＝１
のときは、グループ内でのＴＦＩＤＦ値の方が全体に対
するＴＦＩＤＦの値のよりも大きい文書のみを検索結果
として出力することになる。

【００６２】また、この実施形態では、単純重要度とし
て１次元のベクトルデータ(スカラーデータ)を扱った
が、２次元以上のベクトルデータを用いることもでき
る。このときは、複合重要度の計算のときに、ベクトル
として「αＡ＋βＢまたはＡcosθ＋Ｂsinθ」等の計算
を行った後に計算結果ベクトルの長さを計算するなど、
最終的にスカラーに変換すればよい。

【００６３】また、複合重要度計算部４の代わりに、パ
ラメータの変化に追従して自動的に複合重要度を再計算
し、リアルタイムに検索結果を変化させる複合重要度計
算部を用いてもよい。この場合の複合重要度計算部の動
作のフローチャートを図１３に示しており、ステップＳ
１１１〜Ｓ１１５は、図６のステップＳ１０１〜Ｓ１０
５の動作と同じであり、説明を省略する。

【００６４】そして、ステップＳ１１６で、指定された
パラメータαを入力する。

【００６５】次に、ステップＳ１１７に進み、パラメー
タαが変化しているか否かを判定して、前回のパラメー
タαと比べ変化していると判定した場合、ステップＳ１
１２に戻り、複合重要度テーブルの更新を行う。一方、
ステップＳ１１７でパラメータが変化していないと判定
した場合は、ステップＳ１１６に戻り、パラメータαを
調べ続ける。

【００６６】この結果、複合重要度テーブルがリアルタ
イムで更新されることになり、検索結果がリアルタイム
に変化するので、検索を一回実行した後は、パラメータ
を自由に変化させるだけで、様々な検索結果を高速に出
力できるので便利である。

【００６７】また、図１４〜図１６に具体的なユーザイ
ンターフェースを示しており、文書全体に対する文書の
第１単純重要度Ａとし、同種類の文書データ群(自グル
ープ)に対する文書の第２単純重要度Ｂとする。

【００６８】図１４は、スライダーによる実装であり、
この場合、複合重要度αＡ＋βＢ、特にβ＝１−αとし
た場合に有効である。

【００６９】図１５は、ジョグダイヤルによる実装であ
り、この場合、複合重要度＝Ａcosθ＋Ｂcosθとした場
合に有効である。

【００７０】図１６は、２次元平面のパッド等を用いた
実装であり、この場合、複合重要度＝αＡ＋βＢにおい
て、αとβを同時に指定することができる。

【００７１】また、図１７は、ＡとＢの値によって複合
重要度の計算式を切り替える場合の条件を模式的に示し
ている。ただし、Ａは文書全体に対する第１単純重要
度、Ｂは同種類の文書集合に対する第２単純重要度であ
る。直線(Ｂ＝Ａ×γ)がＡ軸に近づくほど(Ｂが０に近
づく)その文書が自グループ内で一般的で、直線(Ｂ＝Ａ
×γ)がＢ軸に近づくほど(Ａが０に近づく)自グループ
内で特徴的であることになる。図１７では、「Ａ×γ＞
Ｂのとき、複合重要度０」であることを示している。

【００７２】このように、ユーザがパラメータを指定す
ることにより、文書データ毎に計算された全文書データ
に対する第１単純重要度Ａおよび分割された自グループ
(分割された個々の種類の文書データ)に対する第２単純
重要度Ｂの重み付けを変えて、どのように第１,第２単
純重要度Ａ,Ｂを各文書データの最終的な複合重要度に
影響させるかをユーザが柔軟に調整することができる。

【００７３】また、上記各文書データの複合重要度の計
算において、指定されたパラメータをα,βとし、複合重要度＝ αＡ＋βＢにより各文書データの複合重要度を計算することによっ
て、例えば、２次元平面上の１点を指定するユーザイン
ターフェース等によりαとβを別々に指定することも可
能であるし、β＝１に固定し、αのみを変化させるとい
う方法もある。

【００７４】また、上記各文書データの複合重要度の計
算において、指定されたパラメータをγとし、Ａ×γ ＞Ｂ (またはＡ×γ ＜Ｂ) である文書データの複合重要度を０とすることによっ
て、複合重要度の計算に算術式だけでなく、論理式を使
うことができ、検索結果の一部をマスクできる。また、
第１単純重要度Ａが第２単純重要度Ｂよりも大きいとい
うことは、結局のところ自グループ内での特徴が薄いこ
とを意味し、Ａ×γ＞Ｂ(またはＡ×γ＜Ｂ)である文書
データの複合重要度を０にすることによって、自グルー
プ内での特徴が比較的薄いと判断される文書をマスクす
る効果があり、特徴的な文書だけに検索結果を絞りたい
ときに有効である。

【００７５】上記実施の形態では、文書データ入力部
１,文書データ分割部２,単純重要度計算部３,複合重要
度計算部４,検索結果出力部５,キーワード入力部１１お
よびパラメータ入力部１２を備えた文書検索装置につい
て説明したが、この発明による制御プログラムの一部ま
たは全部をフロッピーディスク等のプログラム記録媒体
に保管して、必要に応じて上記制御プログラムをパーソ
ナルコンピュータ等の情報処理装置に読み込んで、実行
させてもよい。

【００７６】

【発明の効果】以上より明らかなように、この発明の文
書検索方法および文書検索装置およびプログラム記録媒
体によれば、種々の分割基準で分割可能な大量の文書集
合に対して、文書全体に対しての検索結果および分割さ
れたグループごとの検索結果を用いることによって、分
割されたグループ内での文書の特徴を反映した検索を行
うことができ、また、反映させる度合いをユーザが自由
に決定することができる。特に、反映させる度合いをス
ライダー等を用いてリアルタイムに変化させることによ
り、検索結果の把握が容易になる。

【図面の簡単な説明】

【図１】図１はこの発明の実施の一形態の文書検索方
法を用いた文書検索装置の概略ブロック図である。

【図２】図２は上記文書検索方法の文書テーブルを示
す説明図である。

【図３】図３は分割基準テーブルを示す説明図であ
る。

【図４】図４はグループ文書テーブルを示す説明図で
ある。

【図５】図５は単純重要度テーブルを示す説明図であ
る。

【図６】図６は複合重要度計算における動作のフロー
チャートである。

【図７】図７はパラメータαが０のときの重要度テー
ブルを示す説明図である。

【図８】図８はパラメータαが０.５のときの重要度
テーブルを示す説明図である。

【図９】図９はパラメータαが０.６のときの重要度
テーブルを示す説明図である。

【図１０】図１０はパラメータαが０.７のときの重
要度テーブルを示す説明図である。

【図１１】図１１はパラメータαが０.９のときの重
要度テーブルを示す説明図である。

【図１２】図１２はパラメータαが１のときの重要度
テーブルを示す説明図である。

【図１３】図１３は複合重要度計算における動作を示
すフローチャートである。

【図１４】図１４はスライダーによるユーザインター
フェースの例を示す模式図である。

【図１５】図１５はジョグダイヤルによるユーザイン
ターフェースを示す模式図である。

【図１６】図１６は２次元平面パッドによるユーザイ
ンターフェースを示す模式図である。

【図１７】図１７は複合重要度計算における論理式条
件を示す模式図である。

【符号の説明】

１…文書データ入力部、２…文書データ分割部、３…単純重要度計算部、４…複合重要度計算部、５…検索結果出力部、１１…キーワード入力部、１２…パラメータ入力部。

Claims

【特許請求の範囲】

【請求項１】複数の文書データからキーワードによっ
て文書を検索する文書検索方法であって、１つ以上のキーワードを指定するステップと、上記複数の文書データを複数のグループに分割するステ
ップと、上記指定された１つ以上のキーワードについて、上記全
文書データに対する第１単純重要度および上記分割され
た自グループに対する第２単純重要度を上記文書データ
毎に計算するステップと、上記第１,第２単純重要度に重み付けをするためのパラ
メータを指定するステップと、上記各文書データの上記第１,第２単純重要度および上
記指定されたパラメータに基づいて、上記各文書データ
の複合重要度を計算するステップと、上記計算された各文書データの複合重要度に従って上記
全文書データについて検索を行って、その検索結果を出
力するステップとを有することを特徴とする文書検索方
法。
【請求項２】請求項１に記載の文書検索方法におい
て、上記各文書データの複合重要度を計算するステップにお
いて、上記指定されたパラメータをα,βとし、上記第
１単純重要度をＡとし、上記第２単純重要度をＢとし
て、複合重要度＝ αＡ＋βＢにより上記各文書データの複合重要度を計算することを
特徴とする文書検索方法。
【請求項３】請求項１に記載の文書検索方法におい
て、上記各文書データの複合重要度を計算するステップにお
いて、上記指定されたパラメータを角度θとし、上記第
１単純重要度をＡとし、上記第２単純重要度をＢとし
て、複合重要度＝Ａcosθ＋Ｂsinθ により上記各文書データの複合重要度を計算することを
特徴とする文書検索方法。
【請求項４】請求項２または３に記載の文書検索方法
において、上記各文書データの複合重要度を計算するステップにお
いて、上記指定されたパラメータをγとし、Ａ×γ ＞Ｂである文書データの複合重要度を０とすることを特徴と
する文書検索方法。
【請求項５】請求項２または３に記載の文書検索方法
において、上記各文書データの複合重要度を計算するステップにお
いて、上記指定されたパラメータをγとし、Ａ×γ ＜Ｂである文書データの複合重要度を０とすることを特徴と
する文書検索方法。
【請求項６】請求項４または５に記載の文書検索方法
において、上記パラメータγが１であることを特徴とする文書検索
方法。
【請求項７】請求項１乃至６のいずれか１つに記載の
文書検索方法において、上記第１,第２単純重要度を上記文書データ毎に計算す
るステップにおいて、計算された上記各文書データの第
１,第２単純重要度を上記パラメータに対応づけて記憶
して、上記各文書データの複合重要度を計算するステップにお
いて、上記パラメータの変更に従って、変更後のパラメ
ータに対応する上記記憶された第１,第２単純重要度を
用いて、上記各文書データの複合重要度の計算を行うこ
とを特徴とする文書検索方法。
【請求項８】複数の文書データからキーワードによっ
て文書を検索する文書検索装置であって、１つ以上のキーワードを指定するキーワード指定手段
と、上記複数の文書データを複数のグループに分割する文書
データ分割手段と、上記指定された１つ以上のキーワードについて、上記全
文書データに対する第１単純重要度および上記分割され
た自グループに対する第２単純重要度を上記文書データ
毎に計算する単純重要度計算手段と、上記第１,第２単純重要度に重み付けをするためのパラ
メータを指定するパラメータ指定手段と、上記各文書データの上記第１,第２単純重要度および上
記指定されたパラメータに基づいて、上記各文書データ
の複合重要度を計算する複合重要度計算手段と、上記計算された各文書データの複合重要度に従って上記
全文書データについて検索を行って、その検索結果を出
力する検索結果出力手段とを備えたことを特徴とする文
書検索装置。
【請求項９】１つ以上のキーワードを指定するステッ
プと、複数の文書データを複数のグループに分割するステップ
と、上記指定された１つ以上のキーワードについて、上記全
文書データに対する第１単純重要度および上記分割され
た自グループに対する第２単純重要度を上記文書データ
毎に計算するステップと、上記第１,第２単純重要度に重み付けをするためのパラ
メータを指定するステップと、上記各文書データの上記第１,第２単純重要度および上
記指定されたパラメータに基づいて、上記各文書データ
の複合重要度を計算するステップと、上記計算された各文書データの複合重要度に従って上記
全文書データについて検索を行って、その検索結果を出
力するステップとを有する制御プログラムを記録したこ
とを特徴とするプログラム記録媒体。