JP2004178421A

JP2004178421A - 文書検索装置、文書検索方法、プログラムおよび記録媒体

Info

Publication number: JP2004178421A
Application number: JP2002345970A
Authority: JP
Inventors: Hideo Ito; 秀夫伊東
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-11-28
Filing date: 2002-11-28
Publication date: 2004-06-24
Anticipated expiration: 2022-11-28
Also published as: JP4179858B2

Abstract

【課題】ユーザが指定あるいは入力した適合文書が少数の場合でも、適切な関連語が得られる文書検索装置を提供する。
【解決手段】この文書検索装置は、検索要求を入力する入力部１０と、文書を記憶する文書データベース３０から検索要求に適合する文書を検索し、この検索結果を検索結果記憶部４０へ記憶する文書検索部２０と、検索結果中の適合文書を指定する文書指定部５０と、指定された適合文書から語句の集合を求める語句抽出部６０と、語句の集合中から検索結果記憶部４０に記憶された文書に出現する語句を選定する関連語選定部７０とを備えている。ここで選定された語句を元の検索要求に追加して、再度、検索して、検索要求の精度を向上させ、適切な文書を検索できるようにした。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、文書検索装置、文書検索方法、プログラムおよび記録媒体に関し、具体的には、ユーザに指定された適合文書を用いて適合性フィードバックを行うときに検索要求を拡張する技術に関する。
【０００２】
【従来の技術】
近年では、作成される文書または参照可能な文書は、今後ともますます増大していくことが見込まれる。このような膨大な文書群の中からユーザの所望する適切な文書を探し出すことが困難な状態となっている。
このため大量の文書群から適切な文書を効率よく、しかも早く取り出すための技術として文書検索技術が広く研究されている。
【０００３】
この検索技術の１つとして、検索要求に対し文書群中の各文書がその検索要求を満たす度合い（以下、適合度という）を求め、適合度が大きい順に文書をランキングして出力する文書ランキング検索システムが提案されている（例えば、特許文献１、非特許文献１参照）。ここで検索要求は、自然言語文や単語や複合語等の語句で表現される場合が多く、また適合度は、文書中で検索要求中に含まれる語句が多く出現するほど大きな値とする等で与えられる。
【０００４】
実際には、検索結果のうち上位にランクされた文書群がユーザの指定した要求を満たす文書（以下、適合文書という）というわけではない。
このため、システム自身による検索結果の分析またはユーザによる検索結果の評価を反映させて、検索結果にフィードバックをかけながら検索を繰り返し、徐々に検索結果をユーザの求めるものに近づけていく（適合性フィードバック）システムが開発されている。
【０００５】
その多くは、ユーザによって検索結果の文書に評価を与えて検索語の重要度を示す重みを操作したり、適合文書から新たな検索語（以下、関連語という）を抽出し、それらを元の検索要求に加えて、再度文書の検索を試みるという手法を用いている。この手法として、例えば、特許文献２や非特許文献２の適合性フィードバックおよび特許文献３のレリバンスフィードバックが提案されている。
【０００６】
また、検索結果の上位文書の中から適合文書を指定するのではなく、予め用意した適合文書そのものをシステムに与え、上記同様に利用することも適合性フィードバックの一種と見なせる。
一方、検索結果の上位文書群（例えば、上位１〜１０の文書群）を適合文書と見なし、上記同様に利用する手法は擬似適合性フィードバックと呼ばれている。しかし、上位文書群の多くが実際には非適合文書で占められていた場合には、不適切な検索語が追加されることになり、再度検索した場合にはさらに不適切な検索結果を増やすことになり、逆効果になってしまう場合が多い。
【０００７】
【特許文献１】
特開平１１−２２４２６４号公報
【特許文献２】
特開２０００−２４２６４６号公報
【特許文献３】
特開平０９−１５３０５１号公報
【非特許文献１】
Ｋ．ＳｐａｒｃｋＪｏｎｅｓ，Ｓ．Ｗａｌｋｅｒ，ａｎｄＳ．Ｅ．Ｒｏｂｅｒｔｓｏｎ，”Ａｐｒｏｂａｂｉｌｉｓｔｉｃｍｏｄｅｌｏｆｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ：Ｄｅｖｅｌｏｐｍｅｎｔａｎｄｓｔａｔｕｓ”，ＴＲ４４６，ＣａｍｂｒｉｄｇｅＵｎｉｖｅｒｓｉｔｙＣｏｍｐｕｔｅｒＬａｂｏｒａｔｏｒｙ，Ｓｅｐｔｅｍｂｅｒ１９９８．
ｈｔｔｐ：／／ｃｉｔｅｓｅｅｒ．ｎｊ．ｎｅｃ．ｃｏｍ／ｊｏｎｅｓ９８ｐｒｏｂａｂｉｌｉｓｔｉｃ．ｈｔｍｌ
【非特許文献２】
ＣｈｒｉｓＢｕｃｋｌｙ，ＧｅｒａｒｄＳａｌｔｏｎａｎｄＪａｍｅｓＡｌｌｅｎ，”ＴｈｅＥｆｆｅｃｔｏｆＡｄｄｉｎｇＲｅｌｅｖａｎｃｅＩｎｆｏｒｍａｔｉｏｎｉｎａＲｅｌｅｖａｎｃｅＦｅｅｄｂａｃｋＥｎｖｉｒｏｎｍｅｎｔ”，ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆＳＩＧＩＲ’９４，１９９４，ｐｐ．２９２−３００
【０００８】
【発明が解決しようとする課題】
さて、上述のような適合性フィードバックを行う場合、ユーザは検索結果の文書の内容をいちいち表示させて内容を確かめるという作業をしなければならないため、ユーザに大きな負荷をかけることになる。したがって、ユーザは検索結果から１つ乃至少量の適合文書を与えてくれるのが実情であろう。
【０００９】
また、適合文書から選択した関連語を新たに検索要求に追加してユーザの所望する適切な文書を検索する適合性フィードバックでは、以下の手順で適合文書から関連語候補を抽出する場合が多い。
【００１０】
（１）単語分割などにより適合文書から語句の集合を求める。
（２）各語句に対して関連語としての望ましさ（以下、関連度という）を計算する。
（３）関連度が大きい順に関連語候補として提示する。
（４）この関連語候補の中から関連語をユーザが選択するか、または、システムが自動的に選択する。
【００１１】
ここで、上述のように抽出された関連語候補をユーザに提示したとしても、提示された関連語の中から有効なものを見分けることは困難であるので、多くのシステムでは自動的に選択するようにしている。
また、抽出したすべての語句を関連語としないのは、関連語が多すぎて検索効率あるいは精度の低下につながる場合が多いので、抽出された語句のうち一部の語句を関連語として選択する必要があるためである。
【００１２】
この各語句に対して与えられる関連度は、以下の要因を基に定義される場合が多い。
（Ａ）適合文書内に何回出現したかを表す適合文書内頻度、
（Ｂ）いくつの適合文書に出現したかを表す局所的文書頻度（Ｌ）、
（Ｃ）いくつの検索対象文書に出現したかを表す大局的文書頻度（Ｇ）、
（Ｄ）適合文書の数（Ｒ）、
（Ｅ）検索対象文書の数（Ｎ）。
特に、多くの適合文書に共通に用いられる語句が適切な（検索精度を向上させる）関連語である場合が多いと考えられるため、関連語を適切に選択するためには要因（Ｂ）が不可欠なものである。
【００１３】
例えば、従来、語句ｔの関連度ＴＳＶ（ｔ）として次の式１が提案されている。
ＴＳＶ（ｔ）＝ｗ（ｔ）×（Ｌ（ｔ）／Ｒ−Ｇ（ｔ）／Ｎ）・・・式１
ここで、ｗ（ｔ）は、語句ｔが出現する文書に対して与えるスコアであり、このスコアが大きい順に文書が順序付けられる。
上記の式１で計算される関連度ＴＳＶ（ｔ）は、適合文書に与えられるスコアの期待値と非適合文書に与えられる期待値の差であり、この値の大きい語句ほど適合文書と非適合文書を弁別する効果が高い。
【００１４】
上述のようにユーザが検索結果から選択した適合文書の数が、または予めユーザが用意した適合文書の数が少数、例えば１つであった場合には、上記（Ｂ）を基にした関連度ＴＳＶにおける適合文書のスコアの期待値は、一定値となってしまい、適切な関連語が得られなくなってしまう。
【００１５】
本発明は、上述の実情を考慮してなされたものであって、ユーザが指定あるいは入力した適合文書が少数（特に１つ）の場合でも、適切な関連語が得られるようにする文書検索装置、文書検索方法、文書検索装置の機能を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１は、検索要求を入力する入力部と、文書を記憶する文書データベースから前記検索要求に適合する文書を検索し、この検索結果を検索結果記憶部へ記憶する文書検索部と、前記検索結果中の適合文書を指定する文書指定部と、前記指定された適合文書から語句の集合を求める語句抽出部と、前記語句の集合中から前記検索結果記憶部に記憶された文書に出現する語句を選定する関連語選定部とを備えることを特徴とする。
また、本発明の請求項２は、検索要求を入力する入力部と、文書を記憶する文書データベースから前記検索要求に適合する文書を検索し、この検索結果を検索結果記憶部へ記憶する文書検索部と、適合文書を入力する文書入力部と、前記入力された適合文書から語句の集合を求める語句抽出部と、前記語句の集合中から前記検索結果記憶部に記憶された文書に出現する語句を選定する関連語選定部とを備えることを特徴とする。
【００１７】
また、本発明の請求項３は、請求項１または２に記載の文書検索装置において、前記関連語選定部は、前記語句抽出部で抽出された各語句と前記検索結果記憶部に記憶された文書の中から選択された所定数の文書との関連度が大きいものから関連語を選定するようにしたことを特徴とする。
また、本発明の請求項４は、請求項３に記載の文書検索装置において、前記関連度は、前記語句抽出部で抽出された語句ｗの適合文書内頻度をＲ_ｗ、語句ｗの局所的文書頻度をＬ_ｗ、前記検索結果記憶部から選択された文書の数をＲとして、（１＋ｌｏｇ_２（Ｒ_ｗ））×Ｌ_ｗ／Ｒによって計算することを特徴とする。
また、本発明の請求項５は、請求項３に記載の文書検索装置において、前記関連度は、語句ｗの適合文書内頻度をＲ_ｗ、語句ｗの局所的文書頻度をＬ_ｗ、前記検索結果記憶部から選択された文書の数をＲ、語句ｗの大局的文書頻度をＧ_ｗ、検索対象の文書総数をＮとして、（１＋ｌｏｇ_２（Ｒ_ｗ））×（Ｌ_ｗ／Ｒ−Ｇ_ｗ／Ｎ）によって計算することを特徴とする。
【００１８】
また、本発明の請求項６は、請求項１乃至５のいずれかに記載の文書検索装置において、前記関連語選定部で選定した関連語を元の検索要求に追加して、その変更された検索要求を基に再度、前記文書検索部により検索して、検索要求の精度を向上させるようにしたことを特徴とする。
【００１９】
また、本発明の請求項７は、入力された検索要求に基づき文書を検索し、その検索結果中から適合文書を指定し、指定された適合文書から抽出した語句の内、検索結果中の文書に多く出現する語句を選定し、その選定した語句を元の検索要求に加えて、再度、検索して、検索要求の精度を向上させるようにしたことを特徴とする。
また、本発明の請求項８は、入力された検索要求に基づき文書を検索し、入力した適合文書から抽出した語句の内、検索結果中の文書に多く出現する語句を選定し、その選定した語句を元の検索要求に加えて、再度、検索して、検索要求の精度を向上させるようにしたことを特徴とする。
【００２０】
また、本発明の請求項９は、コンピュータに、請求項１乃至６のいずれかに記載の文書検索装置の機能を実行させるためのプログラムである。
また、本発明の請求項１０は、請求項９に記載の文書検索プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２１】
以上の構成により、ユーザが指定する適合文書が少数（１つとなる場合が多い）であっても、より適切な関連語が得られるので再度の検索結果によってユーザの所望する文書が見つかる度合いが向上する。
【００２２】
【発明の実施の形態】
以下、図面を参照して、本発明の文書検索装置に係る好適な実施形態を説明する。
＜実施形態１＞
図１は、本実施形態１に係る文書検索装置の機能構成を示すブロック図である。
図１において、文書検索装置は、入力部１０、文書検索部２０、文書データベース（ＤＢ）３０、検索結果記憶部４０、文書指定部５０、語句抽出部６０、関連語選定部７０を少なくとも備えている。
【００２３】
入力部１０は、ユーザがキーボード等により、文書データベース３０中からユーザの所望する文書を検索するための文字列からなる検索要求を入力する。
この文字列が文書検索部２０で扱う検索式の形式でなく、自然言語文のような場合には、単語辞書をもちいて形態素解析して単語に分割し、文書検索部２０で扱う検索式へ変換する。この単語辞書は、少なくとも各単語の表記、品詞等から構成されている。
また、入力された文字列が文書の特徴をあらわすキーワードの組み合わせからなる場合も区切り記号や文字種等により分割して、文書検索部２０で扱う検索式へ変換する。
例えば、図２のような入力画面において、検索式を「経済ａｎｄ政治」当のように入力し、検索ボタンを押下する。
【００２４】
文書検索部２０は、入力部１０から渡された検索式を用いて、文書ＤＢ３０をランキング検索し、所定の文書数分の文書情報を検索結果記憶部４０へ出力する。
ランキング検索は、例えば、文書ごとに次のような式２を用いてスコアを計算し、そのスコアが大きい順に文書群をソートすることによって求めることができる。
【００２５】
ｓｃｏｒｅ＝ Σ_ｗｓｃｏｒｅ（ｗ）・・・式２
ここで、Σ_ｗは、検索式中のすべての検索語ｗについてのスコアｓｃｏｒｅ（ｗ）を加算することを意味している。
ｓｃｏｒｅ（ｗ）＝ｔｆ（ｗ）＊（１＋ｌｏｇ_２（Ｎ／ｄｆ（ｗ）））
ｔｆ（ｗ）＝検索語ｗがスコアを計算中の文書に出現する出現頻度、
Ｎ＝文書ＤＢ３０に登録された文書数、
ｄｆ（ｗ）＝文書ＤＢ３０中の検索語ｗを含む文書数。
【００２６】
また、文書検索部２０は、関連語選定部７０で生成された新しい検索式に対して再度文書検索を実施する。
【００２７】
文書ＤＢ３０は、検索対象となる文書を保持する文書情報と、その文書中に含まれている各単語の単語統計情報から構成される（図３参照）。
例えば、文書情報には、各文書に対して、文書識別子（ＩＤ）、文書名、書誌事項（作成者、作成日、発行所等）、文書実体へのポインタ等の情報が保持される。
また、単語統計情報には、単語ごとに、単語の表記およびこの単語が文書ＤＢ３０中のいくつの文書に出現したかを示す出現頻度等の統計情報を保持している。
【００２８】
検索結果記憶部４０は、検索結果のうち、スコアの高い文書から順に所定の数の文書に関する情報を記憶する。
例えば、文書に関する情報としてスコアおよび文書ＩＤを記憶する。または、スコアと文書の内容自体を記憶させるようにしてもよい。
【００２９】
文書指定部５０は、検索結果記憶部４０に記憶されている検索結果を一覧としてディスプレイ等の表示装置へ図４に示すように出力する。図４の一覧表には、スコアと文書名とがランク順に表示されている。
ユーザは、この一覧表示から文書の内容を表示させて内容を確認し、所望の文書に近い文書（以下、適合文書という）をチェックボックスへチェックを入れることによって１つ以上指定する（図４では、黒色の四角で選択していることを示した）。
次に、文書指定部５０は、ユーザが「関連語抽出」ボタンを押下すると、選択された適合文書の文書ＩＤを語句抽出部６０へ渡す。
【００３０】
語句抽出部６０は、文書指定部５０から渡された適合文書の文書ＩＤを参照して文書ＤＢ３０から文書の内容を取り出す。
次に、この文書を形態素解析して得た品詞情報に基づき、例えば、名詞・サ変名詞・未登録語等の自立語類を抽出して、検索式に出現した語句以外の語句を求める。形態素解析では、単語辞書に登録されている最短一致した単語に分割する。
【００３１】
また、語句抽出部６０では、語句を抽出する際に、文書内の出現頻度を計数して、頻度表を作成して一時的に記憶する。例えば、適合文書から語句Ａ、Ｂ、Ｃが求められた場合、次のような頻度表を作成する。
【００３２】
【表１】

【００３３】
さらに、適合文書が複数個指定された場合には、計数された適合文書内頻度は各語句に対してそれぞれの文書の適合文書内頻度を総計した値とする。
次に、語句抽出部６０で抽出された語句は、関連語選定部７０へ渡される。
関連語選定部７０は、検索結果記憶部４０に記憶されている検索結果中のランクの上位文書群（例えば、上位１０文書、以下この文書群を擬似適合文書という。この擬似適合文書にはユーザの指定した適合文書は含まないものとする）に関し、語句抽出部６０で抽出された語句がいくつの擬似適合文書に出現するかを計数し、先の頻度表に局所的文書頻度として追加して一時的に記憶する。
【００３４】
【表２】

【００３５】
次に、関連語選定部７０は、上記頻度表を基に語句ごとに式３によって関連度を計算する。
【００３６】
関連度＝（１＋ｌｏｇ_２（Ｒ_ｗ））×Ｌ_ｗ／Ｒ・・・式３
Ｒ_ｗ＝語句ｗの適合文書内頻度、
Ｌ_ｗ＝語句ｗの局所的文書頻度、
Ｒ＝擬似適合文書の数。
【００３７】
表２について、関連度を計算して、頻度表を表３のように更新する。
【００３８】
【表３】

【００３９】
最後に、関連語選定部７０は、更新された頻度表の語句の関連度を大きい順にソートし、所定の個数（関連度の上位２０語程度）を関連語として選定し、選定した語句を新たな検索語として検索式へ追加する。この検索式への追加は、論理演算ＯＲによって、元の検索式に追加する。
例えば、上記の場合、元の検索式が「ＸａｎｄＹ」であり、１語だけを関連語とする場合には、新しい検索式は「（ＸａｎｄＹ）ｏｒＢ」となる。
【００４０】
関連語選定部７０は、新しい検索式を検索要求として、文書検索部２０へ渡す。
文書検索部２０は、この新しい検索式で再度ランキング検索することによって、新たな検索結果を検索結果記憶部４０へ記憶する。
以上の操作をユーザの所望する文書が見つかるまで繰り返す。
【００４１】
特に、検索対象文書数が膨大な場合、あるいは、検索要求の表現が不適切な場合は、検索結果の上位には、非常に少数の適合文書しか見つからない場合は多い。
この場合、ユーザが指定する適合文書は少数（１つとなる場合が多い）となるが、以上のように本実施形態を構成することによって、適切な関連語が得られるので再度の検索結果によってユーザの所望する文書が見つかる度合いが向上する。
【００４２】
文書長の短い文書群に対して、本実施形態１によって評価実験を行ったところ、表４のような結果となった。
【００４３】
【表４】

【００４４】
上記の表４を見ると、ユーザが１つの適合文書を与えた場合、適合性フィードバックよりも本実施形態１の方の平均適合率がよいことが分かる。この精度の向上が極僅かであるのは、文書の長さが短いためで、関連語を選択する余地が少ないことに原因があるものと見られる。
また、ユーザが２つの適合文書を与えた場合には、本実施形態１による効果はあまり見られない。
【００４５】
文書長が適度に長い文書群に対して、同様に評価実験を行ったところ、表５のような結果となった。
【００４６】
【表５】

【００４７】
上記の表５を見ると、ユーザが１つの適合文書を与えた場合、適合性フィードバックよりも本実施形態１の方の平均適合率が７％よいことが分かる。また、ユーザが２つの適合文書を与えた場合には、本実施形態１による精度の向上は極僅かである。
【００４８】
次に、このように構成された実施形態１の動作について、図５のフローチャートに基づいて説明する。
まず、図２のような入力画面において、ユーザがキーボード等により、文書データベース３０を検索するための検索要求を入力する（ステップＳ１０）。
この検索要求が自然言語文のような場合には、単語辞書をもちいて形態素解析して単語に分割し、検索式へ変換する。
また、入力された文字列が文書の特徴をあらわすキーワードの組み合わせからなる場合も区切り記号や文字種等により分割して、検索式へ変換する。
【００４９】
入力された検索式を用いて、文書ＤＢ３０をランキング検索し、スコアの高い方から所定の文書数分のスコアおよび文書ＩＤを検索結果記憶部４０へ出力する（ステップＳ２０）。
ランキング検索は、例えば、文書ごとに上述の式２を用いてスコアを計算し、そのスコアの大きい順に文書群をソートすることによって求めることができる。
【００５０】
検索結果記憶部４０に記憶されている検索結果を図４のような一覧としてディスプレイ等の表示装置へ出力し、ユーザがこの一覧から文書の内容を確認して、所望の文書を見つけた場合（ステップＳ３０の「有」）には、処理を終了する。一方、一覧中に所望の文書がない場合（ステップＳ３０の「無」）には、一覧の中から所望の文書に近い文書のチェックボックスへチェックを入れることによって１つ以上指定して、ユーザが「関連語抽出」ボタンを押下する（ステップＳ４０）。
【００５１】
ユーザから指定された適合文書の文書ＩＤを参照して文書ＤＢ３０から文書の内容を取り出して、形態素解析して得た品詞情報に基づき、例えば、名詞・サ変名詞・未登録語等の自立語類を抽出して、検索式に出現した語句以外の語句を求める（ステップＳ５０）。形態素解析では、単語辞書に登録されている最短一致した単語に分割し、各語句に対して、文書内の出現頻度を計数して、頻度表を作成して一時的に記憶する。
さらに、適合文書が複数個指定された場合には、計数された適合文書内頻度は各語句に対してそれぞれの文書の適合文書内頻度を総計した値とする。
【００５２】
次に、検索結果記憶部４０に記憶されている検索結果中のランクの上位文書群（ユーザが指定した適合文書を含まない擬似適合文書）に関し、ステップＳ５０で抽出された語句がいくつの文書に出現するかを計数し、上述の式３によって各語句の関連度を求めて大きい順にソートし、所定の個数（関連度の上位２０語程度）を関連語として選定し、選定した語句を新たな検索語として検索式へ追加して、ステップＳ３０へ戻り、ユーザの所望する文書が見つかるまで上記の操作を繰り返す（ステップＳ６０）。この検索式への追加は、論理演算ＯＲによって、元の検索式に追加する。
【００５３】
＜実施形態２＞
たくさんの文書に出現するような語句では、文書を弁別する力がないことは明白であるから、このような語句（検索語）を検索式に追加しても、所望の文書を効率よく得ることはできない。
本実施形態２では、このような弁別力のない語句を関連語として選定しないように、上記の式３で表される関連度の精度を向上させるようにした。
【００５４】
いま、擬似適合文書に出現する語句ｗについて考える。この語句ｗがいくつの非適合文書に出現するのかを示す文書頻度の期待値（Ｈ）が大きいということは、語句ｗは検索対象の文書中に偏在することなく存在していると考えられる。
したがって、語句ｗがいくつの擬似適合文書に出現するのかを示す文書頻度の期待値をＴとした場合、（Ｔ−Ｈ）の値が大きいほど語句ｗには弁別力があるといえる。
【００５５】
本実施形態２では、この（Ｔ−Ｈ）を用いて関連語を選定するようにした。
ここで、期待値Ｔは、次の式で近似される。

【００５６】
また、期待値Ｈは、次の式で近似される。
Ｈ＝（語句ｗが非適合文書に出現する文書頻度）／（非適合文書の数）
ここで、非適合文書の数は、擬似適合文書の数と比べて非常に大きいので、大数の法則を当てはめれば、期待値Ｈは更に次のように近似される。

【００５７】
本実施形態２では、上記期待値をスコアへ変換して、語句ｗの関連度を次の式４で定義した。これにより、式４の関連度の値が大きいほど検索結果のランキングにおいて、適合文書と非適合文書とをスコア的に弁別する力を計測できるようになった。
【００５８】
関連度＝（１＋ｌｏｇ_２（Ｒ_ｗ））×（Ｌ_ｗ／Ｒ−Ｇ_ｗ／Ｎ）・・・式４
Ｒ_ｗ＝語句ｗの適合文書内頻度、
Ｌ_ｗ＝語句ｗの局所的文書頻度、
Ｒ＝擬似適合文書の数、
Ｇ_ｗ＝語句ｗの大局的文書頻度、
Ｎ＝検索対象の文書総数。
【００５９】
図６は、本実施形態２に係る文書検索装置の機能構成を示すブロック図であり、同図において、上述した実施形態１と同一の部分については、同一の符号を付して、その説明を省略する。図６において、実施形態１と異なる点は、関連語選定部７０において出現頻度計算部８０を有するところである。
【００６０】
出現頻度計算部８０は、関連語選定部７０から起動され、文書ＤＢ３０の単語統計情報を参照して、与えられた単語が文書ＤＢ３０のいくつの文書に出現するかを表す出現頻度（大局的文書頻度）を出力する。
または、関連語選定部７０から与えられた単語を含む文書検索を行って、その検索件数を出力するようにしてもよい。
【００６１】
本実施形態２の関連語選定部７０では、各語句に対して出現頻度計算部８０によって大局的文書頻度を計算して、頻度表を表６のように更新する。
例えば、上述の表２に語句Ａ，Ｂ，Ｃの大局的文書頻度を追加すると表６のようになる。
【００６２】
【表６】

【００６３】
次に、各語句の関連度を上記式４によって求め、前述同様、関連語を選択する。
文書総数（Ｎ）を１００００としたときの関連度を式４で求めると表７のように求められる。
【００６４】
【表７】

【００６５】
以上のように本実施形態２を構成することによって、より適切な関連語が得られるので再度の検索結果によってユーザの所望する文書が見つかる度合いが向上する。
【００６６】
＜実施形態１および実施形態２の変形例＞
実施形態１および実施形態２では、検索要求に対する検索結果の中から適合文書を指定していたが、本変形例では予め用意しておいた文書の内容を適合文書のサンプルとして指定できるようにした。
図７と図８は、それぞれ実施形態１と実施形態２に対応する本変形例の機能構成を示すブロック図であり、上述した実施形態１および実施形態２と同一の部分については、同一の符号を付して、その説明を省略する。図７と図８において異なる点は、文書指定部５０の替わりに文書入力部９０とした点である。
【００６７】
文書入力部９０は、検索結果記憶部４０に記憶されている検索結果を一覧としてディスプレイ等の表示装置へ図９に示すように出力する。図９の一覧表には、図４と同様にスコアと文書名とがランク順に表示されている。
ユーザは、この一覧表示から文書の内容を表示させることによって内容を確認し、所望している文書に近い文書がない場合には、予め用意した適合文書のサンプルを画面下方のテキストボックスへ取り込んで、「関連語抽出」ボタンを押下する。文書入力部９０は、このテキストボックスに入力されたテキストを適合文書として語句抽出部６０へ渡す。
【００６８】
または、図１０のような「適合文書指定」ボタンを用意し、ユーザがこのボタンを押下したときに、適合文書が格納されているファイル名等をユーザに指定させて、適合文書を入力するようにしてもよい。
【００６９】
次に、このように構成された本変形例の動作について、図１１のフローチャートに基づいて説明する。
まず、図２のような入力画面において、ユーザがキーボード等により、文書データベース３０を検索するための検索要求を入力する（ステップＳ１１０）。
この検索要求が自然言語文のような場合には、単語辞書をもちいて形態素解析して単語に分割し、検索式へ変換する。
また、入力された文字列が文書の特徴をあらわすキーワードの組み合わせからなる場合も区切り記号や文字種等により分割して、検索式へ変換する。
【００７０】
入力された検索式を用いて、文書ＤＢ３０をランキング検索し、スコアの高い方から所定の文書数分のスコアおよび文書ＩＤを検索結果記憶部４０へ出力する（ステップＳ１２０）。
ランキング検索は、例えば、文書ごとに上述の式２を用いてスコアを計算し、そのスコアの大きい順に文書群をソートすることによって求めることができる。
【００７１】
検索結果記憶部４０に記憶されている検索結果を図９のような一覧としてディスプレイ等の表示装置へ出力し、ユーザがこの一覧から文書の内容を確認して、所望の文書を見つけた場合（ステップＳ１３０の「有」）には、処理を終了する。
一方、一覧表示中に所望の文書がない場合（ステップＳ１３０の「無」）には、適合文書を図９に示したようなテキストボックスへ読み込むか、または、図１０に示したような「適合文書指定」ボタンを押下して適合文書を読み込むかして、「関連語抽出」ボタンを押下する（ステップＳ１４０）。
【００７２】
ユーザから指定された適合文書の内容を取り出して、形態素解析して得た品詞情報に基づき、例えば、名詞・サ変名詞・未登録語等の自立語類を抽出して、検索式に出現した語句以外の語句を求める（ステップＳ１５０）。形態素解析では、単語辞書に登録されている最短一致した単語に分割し、各語句に対して、文書内の出現頻度を計数して、頻度表を作成して一時的に記憶する。
さらに、適合文書が複数個指定された場合には、計数された適合文書内頻度は各語句に対してそれぞれの文書の適合文書内頻度を総計した値とする。
【００７３】
次に、検索結果記憶部４０に記憶されている検索結果中のランクの上位文書群（擬似適合文書）に関し、ステップＳ１５０で抽出された語句がいくつの文書に出現するかを計数し、上述の式３によって関連度を求める。
または、文書ＤＢ３０の単語に関する統計情報を参照することによって、抽出した語句の大局的文書頻度を取り出し、上述の式４によって関連度を求めるようにしてもよい。
【００７４】
求めた各語句の関連度を大きい順にソートし、所定の個数（関連度の上位２０語程度）を関連語として選定し、選定した語句を新たな検索語として検索式へ追加して、ステップＳ１３０へ戻り、再度検索し、ユーザの所望する文書が見つかるまで上記の操作を繰り返す（ステップＳ１６０）。この検索式への追加は、論理演算ＯＲによって、元の検索式に追加する。
【００７５】
以上のように本変形例を構成することによって、適切な適合文書を予め用意しておくことができるので、より適切な関連語を選定することができ、再度の検索結果によってユーザの所望する文書が見つかる度合いが向上する。
【００７６】
＜実施形態３＞
本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の文書検索装置を構成する各機能をそれぞれプログラム化し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、コンピュータに搭載したＣＤ−ＲＯＭドライブのような媒体駆動装置にこのＣＤ−ＲＯＭ等を装着して、これらのプログラムをコンピュータのメモリあるいは記憶装置に格納し、それを実行することによって、本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
【００７７】
なお、プログラムを格納する記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリ等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。
【００７８】
また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。
【００７９】
市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等の通信網を介して接続されたサーバコンピュータの記憶装置に格納しておき、通信網を通じて他のコンピュータに転送することもできる。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。なお、コンピュータでは、可搬型の記録媒体上のプログラム、または転送されてくるプログラムを、コンピュータに接続した記録媒体にインストールし、そのインストールされたプログラムを実行することによって上述した実施形態の機能が実現される。
【００８０】
【発明の効果】
以上説明したように本発明によれば、ユーザが指定する適合文書が少数（１つとなる場合が多い）となった場合でも、より適切な関連語が得られるので再度の検索結果によってユーザの所望する文書が見つかる度合いが向上する。
【図面の簡単な説明】
【図１】実施形態１に係る文書検索装置の機能構成を示すブロック図である。
【図２】検索式の入力画面例である。
【図３】文書データベースのデータ構造例である。
【図４】検索結果の一覧表示および適合文書の指定例である。
【図５】実施形態１の動作を示すフローチャートである。
【図６】実施形態２に係る文書検索装置の機能構成を示すブロック図である。
【図７】実施形態１の変形例の機能構成を示すブロック図である。
【図８】実施形態２の変形例の機能構成を示すブロック図である。
【図９】検索結果の一覧表示および適合文書の入力例である。
【図１０】検索結果の一覧表示および適合文書の指定例である。
【図１１】実施形態１および実施形態２の変形例の動作を示すフローチャートである。
【符号の説明】
１０…入力部、２０…文書検索部、３０…文書データベース（ＤＢ）、４０…検索結果記憶部、５０…文書指定部、６０…語句抽出部、７０…関連語選定部、８０…出現頻度計算部、９０…文書入力部。

Claims

検索要求を入力する入力部と、文書を記憶する文書データベースから前記検索要求に適合する文書を検索し、この検索結果を検索結果記憶部へ記憶する文書検索部と、前記検索結果中の適合文書を指定する文書指定部と、前記指定された適合文書から語句の集合を求める語句抽出部と、前記語句の集合中から前記検索結果記憶部に記憶された文書に出現する語句を選定する関連語選定部とを備えることを特徴とする文書検索装置。
検索要求を入力する入力部と、文書を記憶する文書データベースから前記検索要求に適合する文書を検索し、この検索結果を検索結果記憶部へ記憶する文書検索部と、適合文書を入力する文書入力部と、前記入力された適合文書から語句の集合を求める語句抽出部と、前記語句の集合中から前記検索結果記憶部に記憶された文書に出現する語句を選定する関連語選定部とを備えることを特徴とする文書検索装置。
請求項１または２に記載の文書検索装置において、前記関連語選定部は、前記語句抽出部で抽出された各語句と前記検索結果記憶部に記憶された文書の中から選択された所定数の文書との関連度が大きいものから関連語を選定するようにしたことを特徴とする文書検索装置。
請求項３に記載の文書検索装置において、前記関連度は、前記語句抽出部で抽出された語句ｗの適合文書内頻度をＲ_ｗ、語句ｗの局所的文書頻度をＬ_ｗ、前記検索結果記憶部から選択された文書の数をＲとして、（１＋ｌｏｇ_２（Ｒ_ｗ））×Ｌ_ｗ／Ｒによって計算することを特徴とする文書検索装置。
請求項３に記載の文書検索装置において、前記関連度は、語句ｗの適合文書内頻度をＲ_ｗ、語句ｗの局所的文書頻度をＬ_ｗ、前記検索結果記憶部から選択された文書の数をＲ、語句ｗの大局的文書頻度をＧ_ｗ、検索対象の文書総数をＮとして、（１＋ｌｏｇ_２（Ｒ_ｗ））×（Ｌ_ｗ／Ｒ−Ｇ_ｗ／Ｎ）によって計算することを特徴とする文書検索装置。
請求項１乃至５のいずれかに記載の文書検索装置において、前記関連語選定部で選定した関連語を元の検索要求に追加して、その変更された検索要求を基に再度、前記文書検索部により検索して、検索要求の精度を向上させるようにしたことを特徴とする文書検索装置。
入力された検索要求に基づき文書を検索し、その検索結果中の適合文書を指定し、指定された適合文書から抽出した語句の内、検索結果中の文書に多く出現する語句を選定し、その選定した語句を元の検索要求に加えて、再度、検索して、検索要求の精度を向上させるようにしたことを特徴とする文書検索方法。
入力された検索要求に基づき文書を検索し、入力した適合文書から抽出した語句の内、検索結果中の文書に多く出現する語句を選定し、その選定した語句を元の検索要求に加えて、再度、検索して、検索要求の精度を向上させるようにしたことを特徴とする文書検索方法。
コンピュータに、請求項１乃至６のいずれかに記載の文書検索装置の機能を実行させるためのプログラム。
請求項９に記載の文書検索プログラムを記録したコンピュータ読み取り可能な記録媒体。