JP2004029906A

JP2004029906A - 文書検索装置および方法

Info

Publication number: JP2004029906A
Application number: JP2002181203A
Authority: JP
Inventors: Katsunori Yoshiji; 芳地　克典; Takeshi Nagamine; 永峯　猛志; Akio Yamashita; 山下　明男; Yasushi Seiki; 清木　康; Hisafumi Yoshida; 吉田　尚史
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-06-21
Filing date: 2002-06-21
Publication date: 2004-01-29

Abstract

【課題】検索語と索引語の両方について拡張データベースを使って上位・下位・関連概念に拡張し、柔軟性を持った検索を行う。
【解決手段】検索要求受付部２０１は、検索語指定部２０１ａ、検索語拡張指定部２０１ｂ、索引語拡張指定部２０１ｃを含んでいる。検索語指定部２０１ａは、ユーザが指定した検索語を入力する。検索語拡張指定部２０１ｂではその検索語をどのように拡張するかを指定する。索引語拡張指定部２０１ｃではインデックスに保存される単語でどの拡張データベースで拡張された単語を検索対象とするかを指定する。固有表現拡張部２０２は検索語、検索語拡張指定、索引語拡張指定を受け取り、検索語を検索語拡張指定に基づき拡張する。検索部２０４は拡張された検索語と索引語拡張指定を受け取り、これらを用いてインデックスから検索する。
【選択図】　図１４

Description

【０００１】
【発明の属する技術分野】
この発明は、索引語に関係付けられた文書を検索語を指定して検索する文書検索技術に関し、とくに、検索語や索引語を所望の態様で拡張し、漏れのない検索を簡易に行えるようにしたものである。
【０００２】
【従来の技術】
従来、検索語を何らかの方法を使って拡張し文書検索に役立てる方法が提案されている。例えば検索用に入力されたカテゴリに対して、それをキー語に展開したり（例．カテゴリ語を「コンピュータ」として、キー語を「ＯＳ、ソフトウエア、ＣＰＵ」に展開する。特開平７―１２１５５２号公報）、一度文書に対して検索語で検索を行い、ヒットした文書に含まれる語集合で再検索を行う関連文書検索がある。また、人手で、関連語グループを作成しておき、検索語が関連語グループ内の語集合内に存在する場合、そのグループ内の語集合で検索を行う形式のものも提案されている（特開平９―４４５０６号公報）。検索語の上位、下位、横の関係語による拡張を行い、検索を行う方式も提案されている（特開平１―２０１７２３号公報）。
【０００３】
特開平３−１２２７６８号公報では、シソーラスを用いて関連索引語の一覧を作成し、ユーザに表示してどれを索引語として登録させるか選択させることが提案されている。
【０００４】
特開平３−１２３９７１号公報では、予め文書から単語の関係を抽出した検索語コネクションを用いて関連索引語の一覧を作成し、ユーザに表示してどれを索引語として登録させるか選択させることが提案されている。
【０００５】
また、検索語の展開には、固定的なシソーラス辞書を用いたり（特開平１―２０１７２３号公報）、人手で作成した関連語辞書を用いて行っている。関連検索の場合は種となる文書を指定して、その文書中に含まれる単語を用いて展開している。
【０００６】
しかしながら、従来の方法では、検索語に対する上位・下位・関連語への拡張は行うものの、拡張した単語と、対象文書中の単語の表現や概念レベルが異なっていると検索できない場合があった。
【０００７】
特開平３−１２２７６８号公報の手法や特開平３−１２３９７１号公報の手法では、文書毎に索引語の登録時に人手により拡張する索引語を選択しなければならない。
【０００８】
また、関連辞書を用いて行う場合、既に存在するシソーラス辞書の対象とするドメインに入力すべき文書の範囲も限られ、一般的な文書の検索に対応できない問題があった。
【０００９】
また、人手で関連語辞書を作成するのは、非常に労力を要し、対象とする分野を限っても、日々増えつづける語に対応することは困難である。
【００１０】
【発明が解決する課題】
この発明は、以上の事情を考慮してなされたものであり、ユーザが指定した拡張方法等を指定したうえで検索語を入力するだけで漏れのない文書検索を行う技術を提供することを目的としている。
【００１１】
【課題を解決するための手段】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
【００１２】
この発明の一例によれば、検索語や索引語片方だけでなく両方とも上位概念、下位概念、関連語に展開する。また、その展開の程度や拡張方法を使用者が指定することが出来る。検索語と索引語両方を拡張することにより非常に抽象度の高い検索や、非常に具体性の高い検索を行うことが出来るようになる。なお、検索語は検索時にユーザ等により指定されるものであり、索引語は検索に用いる文書のメタデータである。以下では、文書と検索語との関係付けをインデックスと呼ぶこともある。
【００１３】
検索に用いる単語は通常の形態素解析の結果だけでなく、固有名詞抽出技術を用い、固有名の正規化により表現の揺れを吸収したり、検索の際のコスト付けにも固有名に対しては一般名詞よりコストを重く与え、情報量が高いと考えられる固有名に重心を置いた検索が出来る。
【００１４】
関連語データベースは固有名詞抽出技術を用いて、文書や辞書などから固有名詞を抽出し、その中におけるキー語となるエントリをユーザがあらかじめ指定しておくことにより、エントリ以外のカテゴリの単語はエントリの属性となるように関連語データベースを作成する。
【００１５】
固有表現には人名、地名、組織名、日付、時間、金額などがあり、これについて上位概念、下位概念、関連概念などの拡張を行う。
拡張には例えば次のようなものがある。
人名：属する組織、上司・部下、趣味、住所、友人
地名：行政区域の包含関係、その他を代表する物、人
組織名：業種上位下位、会社系列上位下位、属する人物、所在地、産出物
日付：時間的前後関係、包含関係
時間：時間的前後関係、包含関係
金額：通貨表現
専門用語：上位下位の専門用語、関連する人物、
製品名：ラインナップ名、上位下位機種、メーカ、使用技術、構成部品
【００１６】
さらに、この発明を説明する。この発明の一側面によれば、文書検索装置に：検索語を入力する入力手段と；その検索語の概念を拡張する方向と深さを指定する入力手段と；対象文書側の索引語の概念を拡張する方向と深さを指定する入力手段と；検索語および索引語を拡張するのに用いる拡張データベースを記憶する記憶手段と；索引語と結び付けられた文書を格納する記憶手段と；上記拡張データベースを使って上記検索語および上記索引語を拡張する拡張手段と；拡張された検索語および拡張された索引語を突き合わせて文書の検索を行う検索手段とを設けるようにしている。
【００１７】
この構成においては、索引語および検索語の双方についてユーザの指定した拡張が可能となり、漏れのない検索を簡易に行うことができる。
【００１８】
この構成において、上記検索手段は、拡張された索引語の集合に概念レベルや出現頻度に基づいたコスト付けを行い、上記拡張された検索語との突き合わせを行うようにすることが好ましい。
【００１９】
このようにすれば、拡張された検索語および索引語により漏れなく検索を行えるとともに。コスト付けにより、ユーザの視点に立った絞り込みも可能になる。
【００２０】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【００２１】
この発明の上述の側面およびこの発明の他の側面は特許請求の範囲に記載され、以下実施例を用いて詳細に説明される。また、この発明の上述以外の目的についても以下から容易に理解される。
【００２２】
【発明の実施の形態】
以下、この発明の実施例について説明する。この実施例は、文書登録装置、文書検索装置および拡張データベース生成装置を含んでいる。もちろん、文書登録装置、文書検索装置および拡張データベース生成装置を個別に構成してもよいし、組み合わせて構成してもよい。
【００２３】
以下では、実施例の文書登録装置、文書検索装置および拡張データベース生成装置について順に説明する。文書登録装置は、検索対象としたい文書群を実施例の検索システムに登録するために用いられる。文書検索装置は、登録した文書を検索するために用いられる。拡張データベース生成装置は検索語や索引語を拡張するためのデータベースを生成するために用いられる。
【００２４】
［文書登録装置］
図１は、文書登録装置１０を全体として示しており、この図において、文書登録装置１０は、文書受付部１０１、固有表現拡張部１０２、拡張データベース１０３、拡張語登録部１０４およびインデックス記憶部１０５を含んで構成されている。
【００２５】
ユーザは登録したい文書を文書受付部１０１へ渡す。文書受付部１０１はユーザより受け取った文書を２の固有表現拡張部１０２へ渡す。固有表現拡張部１０２は受け取った文書から、固有表現を抽出し、拡張データベース１０３を使って、抽出された固有表現に対してその拡張語と拡張方法を獲得する。抽出された拡張語と拡張方法は拡張語登録部１０４に渡され、インデックス記憶部１０５に文書のＩＤと関連付けられて登録される。固有表現拡張部１０２は一般名詞も抽出し、同様に処理する。ここで「固有表現」は、人名、組織名、地名等の固有名詞や日時、価格（通貨）等の重要語句を指す。
【００２６】
たとえば、文書として「富士ゼロックスが３月７日に赤坂で新機種についてプレス発表をした」（「富士ゼロックス」は商標である）という記事があるとする。この文書中に「富士ゼロックス」、「赤坂」、「３月７日」が含まれているとする。以下では、これらの固有表現に限定して説明を行うが、一般名詞についても従来の全文検索同様、文書から抽出しインデックスへ登録する。
【００２７】
拡張データベース１０３は複数のテーブルから成る。各テーブルは基本語と拡張語の対のリストから成る。その拡張の意味にあわせて、各テーブルに分類されている。各テーブルには図２〜図１０に示すような情報が保持されている。
【００２８】
固有表現拡張部１０２は拡張データベース１０３（図２〜図１０）を使用して、単語を基本語から拡張語に拡張する。
【００２９】
上例では上位概念展開用と下位概念展開用を用意したが、上位概念展開用のテーブルを拡張語から基本語へと逆に展開することにより、一つのテーブルで上位概念、下位概念両方に展開することができる。この例を図１１に示す。
【００３０】
拡張の例としては、あるテーブルによって拡張された拡張語を基本語として、同じまたは別のテーブルを使用し拡張を繰り返すことが考えられる。また、そのときに何回拡張するか等を明示的に与えることも可能である。
【００３１】
以下の例では、上位概念、下位概念を表わすテーブルによって拡張された拡張語はさらに同テーブルを用いて上位概念、または下位概念に拡張される。例えば、”富士ゼロックス”の上位概念は「組織名業種上位概念テーブル」により”ＯＡ機器メーカー”であることが求まる。さらに”ＯＡ機器メーカー”の業種上位概念を得たければ、同テーブルを使用することにより”製造業”を得ることができる。
【００３２】
また、以下の例では、上位・下位を持たない関連テーブルによって拡張される基本語は一回のみの拡張とする。
【００３３】
また拡張された回数に応じて、その拡張語に重み付けを行ってもよい。以下の例では、重みｗは拡張された回数ｎをもとに
【数１】
ｗ＝１／（ｎ＋１）×１０　　　　　　――――（式１）
で計算される。ｗが１よりも小さくなる場合はｗは１とする。ｗの取る値は１〜１０の間の実数となる。
【００３４】
また重み付けの別の例として１文書におけるその単語の出現頻度をもとに重みを計算してもよいし、上記の重みとの組み合わせで計算してもよい。
【００３５】
固有表現拡張部は文書１に含まれる「富士ゼロックス」、「赤坂」、「３月７日」を抽出し、上記の拡張データベースを利用して、固有表現を拡張語へ拡張する。それぞれの固有表現は図１２に示すように拡張される。図１２において「拡張方法」には、拡張データベースのどのテーブルを使用したかが記述される。この例ではテーブル名が直接記述されているが、対応するＩＤ番号を別途設けそれらを記述してもよい。文書中に直接含まれている単語については拡張方法を「オリジナル」としてその単語そのものを拡張語とする。
【００３６】
固有表現拡張部１０２は基本語と拡張語と重みと拡張方法及び文書ＩＤを拡張語登録部１０４に渡す。拡張語登録部１０４は受け取った文書ＩＤ、重み、拡張語、拡張方法を拡張語と拡張方法をキーとして、文書ＩＤおよび重みが求まるようにインデックス記憶部１０５に登録する。インデックス記憶部１０５に登録されたインデックスの例（インデックス１）を図１３に示す。
【００３７】
なお、ここでは固有名にのみ着目しているが、一般的な全文検索同様、一般名詞をキーとして文書ＩＤを得るように登録することも可能である。
【００３８】
［文書検索装置］
つぎにユーザから検索要求を受け付け、文書を検索する文書検索装置２０について説明する。
【００３９】
図１４は文書検索装置２０を全体として示しており、この図において、文書検索装置２０は、検索要求受付部２０１、固有表現拡張部２０２、拡張データベース２０３、検索部２０４、インデックス記憶部２０５および検索結果提示部２０６等を含んで構成されている。
【００４０】
ユーザは検索要求として検索語指定と検索語拡張指定と索引語拡張指定を検索要求受付部２０１で行う。検索語はユーザが欲する文書に関連があると思われる単語であり、ユーザが指定する。もちろん、自然文を受け付けてその自然文から検索語を抽出してもよい。検索要求受付部２０１は、検索語指定部２０１ａ、検索語拡張指定部２０１ｂ、索引語拡張指定部２０１ｃを含んでいる。検索語指定部２０１ａは、ユーザが指定した検索語を入力する。検索語拡張指定部２０１ｂではその検索語を拡張データベース２０３使用してどのように拡張するかを指定する。指定の方法としては、複数の拡張テーブルの組み合わせや、上位・下位関係を持つ拡張テーブルについては上位または下位方向に何回拡張するかを指定できる。よく利用されると考えられる拡張の態様に、ユーザが理解しやすい名称を付して拡張をパッケージ化してもよい。
【００４１】
たとえば、ある検索語をある拡張テーブル１を使用して拡張し、その結果得られた拡張語を別の拡張テーブル２で更に拡張したい場合は、「拡張テーブル１：拡張テーブル２」といったようにテーブル名を連ねて与える。また、ある検索語を上位クラスに拡張するために、上位クラスに拡張するための拡張テーブルを何回適用するかを指定できる。回数を指定しない場合は拡張可能な限り繰り返したり、あらかじめ定められた回数を繰り返すなどとしてもよい。
【００４２】
検索語拡張指定を指定しない場合は、拡張はせずに検索語そのもののみで検索、または拡張可能なすべての拡張テーブルを指定したことにしてもよい。予めデフォルトの拡張テーブルを決定しておいてもよい。検索語拡張指定は各検索語ごとに指定できる。
【００４３】
索引語拡張指定部２０１ｃではインデックスに保存される単語でどの拡張データベースで拡張された単語を検索対象とするかを指定する。検索語拡張指定は各検索語ごとに指定できる。
【００４４】
指定の方法としては、検索語拡張指定同様、拡張テーブルの組み合わせや、上位・下位関係を持つ拡張テーブルについては上位または下位方向に何回拡張するかを指定できる。
【００４５】
とくに指定しない場合は、拡張されていない索引語のみ、または拡張されているすべての索引語を検索対象に指定したことにしてもよい。予めデフォルトの拡張テーブルを決定しておいてもよい。索引語に予め属性を付与しておき、その属性毎に索引を拡張してを行うようにしてもよい。検索語毎に索引語拡張指定を行うようにしてもよい。例えば、所定の検索語についてはマッピングする索引語の拡張を有効にし、他の検索語についてはマッピングする索引語の拡張を無効にするようにしてもよい。
【００４６】
また、索引語拡張指定は先の検索語拡張指定の制限を受けてもよい。たとえば検索語拡張指定で検索語を「組織名業種上位概念テーブル」で拡張した場合、その検索語に対する索引語拡張指定は「組織名業種上位概念テーブル」または「組織名業種下位概念テーブル」を自動的に選択してもよい。それらの制限をルールとしてあらかじめ与えておくことも可能とする。
【００４７】
以下に検索の例を示す。
【００４８】
たとえば、「３月に品川あたりで複写機メーカーが新製品の展示会を行った」という曖昧な情報をユーザが入手し、その記事を検索したいと思い、検索語として「リコー　ａｎｄ　品川　ａｎｄ　３月」（「リコー」は商標である）を与えるとする。
【００４９】
ユーザは複写機メーカの一例として「リコー」を思いつくが、あいまいなので検索語拡張指定では、組織名業種で１つ上の上位概念への拡張を意味する「組織名業種上位概念テーブル」を指定し、「品川」も曖昧と判断し「地名上位概念テーブル」を指定する。「３月」は正確であると判断しとくに拡張は指定しない。索引語拡張指定はとくにここでは指定しないことにする。この場合、すべての拡張方法で拡張された索引語を検索対象とする。
【００５０】
固有表現拡張部２０２は検索語、検索語拡張指定、索引語拡張指定を受け取り、検索語を検索語拡張指定に基づき拡張する。ここでは「リコー」は「組織名業種上位概念テーブル」によって「ＯＡ機器メーカー」に拡張され、同テーブルによってさらにその拡張語である「製造業」に拡張される。拡張語はｏｒで結ばれる。「品川」は「地名上位概念テーブル」によって「東京」とその拡張語である「関東」さらに「日本」に拡張されｏｒで結ばれる。
【００５１】
検索部２０４は拡張された検索語「（リコー　ｏｒ　ＯＡ機器メーカー　ｏｒ製造業）　ａｎｄ　（品川　ｏｒ　東京　ｏｒ　関東　ｏｒ　日本）　ａｎｄ３月」と索引語拡張指定を受け取り、これらを用いてインデックスから検索する。
【００５２】
索引語拡張指定は拡張方法を問わずすべての索引語が検索対象として指定されているので、拡張方法を問わず検索する。図１３のインデックスを検索した場合、図１５の内容が検索される。
【００５３】
検索結果提示部２０６は検索結果として文書ＩＤを受け取り、それに対応するタイトルまたは概要等をユーザに提示する。この例では、図示しないが文書ＩＤとそれに対応づけられた本文、タイトル等を含むデータベースが別に存在するものとする。
【００５４】
このように、ユーザが指定した検索語を直接含まない文書についても関連があると思われる文書を検索することが可能である。またインデックスにはあらかじめ拡張された索引語が登録されているため検索時に索引語を拡張することがなく高速に検索が可能である。
【００５５】
次は、検索結果をランキングして提示する場合の例である。検索結果提示部２０６において、インデックスに含まれる拡張語と検索語を拡張した拡張語の重みをもとに検索された文書をランキングを行う。
【００５６】
上記の拡張された検索語「（リコー　ｏｒ　ＯＡ機器メーカー　ｏｒ　製造業）　ａｎｄ　（品川　ｏｒ　東京　ｏｒ　関東　ｏｒ　日本）　ａｎｄ　３月」のそれぞれの検索語に対して、拡張された回数に応じて次のように重み付けをする。この重み付けの例は、式（１）を用いて計算したものである。
【表１】
「（リコー：（１／１）＊１０　ｏｒ　ＯＡ機器メーカー：（１／２）＊１０　ｏｒ　製造業：（１／３）＊１０）　ａｎｄ　（品川：（１／１）＊１０　ｏｒ東京：（１／２）＊１０　ｏｒ　関東：（１／３）＊１０　ｏｒ　日本：（１／４）＊１０）　ａｎｄ　３月：（１／１）　＊１０」
【００５７】
「リコー」はオリジナルであるので拡張回数は０回、式（１）によると重みは（１／１）＊１０＝１０となる。また、「東京」は「品川」から一回拡張されているので（１／２）＊１０＝５となる。
【００５８】
この重み付けされた検索語によって検索された文書のスコアＤｗは以下のように計算される。
【数２】
Ｄｗ＝Σｉ（ｗｏｒｄ［ｉ］．ｋｗ×ｗｏｒｄ［ｉ］．ｉｗ）――――（式２）
【００５９】
ここでｗｏｒｄ［ｉ］はユーザが指定した検索語（拡張語を含む）と検索された文書に共通に含まれる単語である。ｗｏｒｄ［ｉ］．ｋｗはｗｏｒｄ［ｉ］の検索語側の重みであり、ｗｏｒｄ［ｉ］．ｉｗは索引語側の重みである。
【００６０】
具体的に上記の重み付けされた検索語と図１３のインデックスから検索された文書１は図１６に示すように計算される。
【００６１】
文書１のスコアは（１０．８９＋２５＋５＋８．２５＋１６．５＋５０）＝１１５．６４となる。このスコアの計算方法に従えば、ユーザが与えた検索語そのものを含む文書はより高いスコアを、その拡張が繰り返された拡張語で検索された場合はより低いスコアとなる。
【００６２】
たとえば、文書２としてリコーが３月１０日に品川で新製品の展示会をしたと言う記事がインデックス１（図１３）に加えて登録されている場合（図１７）、上記の検索要求では、文書１よりも高いスコアが与えられる。文書２のスコアは図１８に示すように（１０．８９＋２５＋１００＋５＋８．２５＋１６．５＋１００＋５０）＝３１５．６４となる。
【００６３】
また、文書３として、富士通が３月１２日に横浜で新製品の展示会を行った記事が図１９に示すようにインデックスに登録されている場合、文書１よりも低いスコアが与えられる。図２０に示すように文書３のスコアは（１０．８９＋５＋８．２５＋５０）＝７４．１４となる。
【００６４】
検索結果提示部１０６はこれらの文書のスコアでランキングを行い、図２１に示すようにユーザに提示することが可能である。
【００６５】
次は検索結果を分類して提示する構成例を説明する。例として、ユーザは富士ゼロックスに関する概要を知りたいと思い、検索検索語として「富士ゼロックス」を与えるとする。検索語拡張指定はとくにここでは指定しないことにする。この場合、適応可能な拡張テーブルで拡張された拡張語を使用するとする。
【００６６】
固有表現拡張部２０２は検索語、検索語拡張指定、索引語拡張指定を受け取り、検索語を検索語拡張指定に基づき拡張する。ここでは「富士ゼロックス」は図２〜図１０の拡張データベースによって以下のように拡張される。検索部２０４は拡張された検索語と索引語拡張指定と受け取り、これらを用いてインデックスから検索を行う。索引語拡張指定はここではオリジナルの単語のみを検索するように指定してあるものとする。
【００６７】
既に、登録されている文書として、図２３に示すような文書４〜９が登録されているインデックスがあるとする。これらの文書から作成されるインデックスは図２４に示すようになる。ここでは索引語拡張指定としてオリジナルのみを指定しているので拡張された拡張語については省略してある。
【００６８】
拡張された検索語、（富士ゼロックス　ｏｒ　製造業　ｏｒ　ＯＡ機器メーカー　ｏｒ　富士フィルム　ｏｒ　ゼロックス　ｏｒ　ＦＸＬＩ　ｏｒ　赤坂　ｏｒ　富士太郎　ｏｒ　コピー機　ｏｒ　プリンター）で検索される単語は図２５に示すようなものになったとする（富士ゼロックス、富士フィルム、ゼロックスおよびＦＸＬＩは商標である）。
【００６９】
検索部４は、図２６に示すような文書ＩＤとそれを検索した検索語と検索語の拡張方法を検索結果提示部２０６へ送る。検索結果提示部２０６は拡張方法毎に文書ＩＤを図２７に示すように提示する。
【００７０】
以上の様に提示することにより、富士ゼロックスに関する情報が、業種上位、系列上位、場所、人、産出物の各カテゴリに分類されて提供される。たとえば業種上位カテゴリに分類される文書４はＯＡ機器メーカーの勢力関係を説明する文書であるので富士ゼロックスを含む業種の関係が分かる。また場所カテゴリに分類される文書は富士ゼロックスと関連のある赤坂の情報を得ることができる。またオリジナルカテゴリは検索語そのもを含む文書９が分類される。
【００７１】
索引語拡張指定を行った場合、検索結果提示部は、上記の各カテゴリを更に索引語拡張指定で指定されたカテゴリに分類して表示する。たとえば、検索語指定でオリジナルカテゴリを指定し、索引語拡張指定で組織名業種下位カテゴリとオリジナルカテゴリと組織名業種上位カテゴリを指定した場合、図２８に示すように、検索語拡張指定で指定された拡張方法であるオリジナルカテゴリが索引語拡張指定で指定された３つのカテゴリに分類される。この時、検索語として「ＯＡ機器メーカー」が与えられていたとすると、文書Ａは「リコー」「富士ゼロックス」等を含む文書（業種上位テーブルにより「ＯＡ機器メーカー」が拡張語としてインデックスに登録されている）となり、文書Ｂは「ＯＡ機器メーカー」を直接含む文書となる。文書Ｃは「製造業」を含む文書（業種下位テーブルにより「製造業」が「ＯＡ機器メーカ」拡張されて登録されている）となる。
【００７２】
１つの文書が複数の拡張方法によって拡張された検索語によって検索された場合、そのまま複数のカテゴリに分類してもよいし、ある拡張方法によって拡張された拡張語をもっとも多く含むならば、そのカテゴリに分類してもよい。
【００７３】
たとえば、先ほどの拡張された検索語、（富士ゼロックス　ｏｒ　製造業　ｏｒ　ＯＡ機器メーカー　ｏｒ　富士フィルム　ｏｒ　ゼロックス　ｏｒ　ＦＸＬＩ　ｏｒ　赤坂　ｏｒ　富士太郎　ｏｒ　コピー機　ｏｒ　プリンター）で検索するとして、新たな文書１０が「富士フィルム」、「プリンター」、「コピー機」を含む場合、文書１０は系列上位概念テーブルによって拡張された「富士フィルム」と産出物属性テーブルによって拡張された「プリンター」と「コピー機」によって検索される。この場合、文書１０は「系列上位カテゴリ」と「産出物カテゴリ」の両方に分類できる。また、「プリンター」と「コピー機」を二つ含むので数の最も多いカテゴリを優先し、「産出物カテゴリ」のみに分類することも可能である。
【００７４】
分類されたカテゴリ内で、さきほどのように拡張語の重みを利用してランキングしてもよい。
【００７５】
［拡張データベース生成装置］
拡張データベースの構成としては以下の３つを想定している。
（１）汎化（ｇｅｎｅｒａｌｉｚａｔｉｏｎ）を表すデータ構造（後述の手法３）
（２）集約化（ａｇｇｒｅｇａｔｉｏｎ）を表すデータ構造（後述の手法４）
（３）関連（ａｓｓｏｃｉａｔｉｏｎ）を表すデータ構造（後述の手法１、２、５）
以下では、拡張データベース生成手法のそれぞれについて説明する。
【００７６】
［手法１］
手法１は、定型文書から拡張データベースを作成する（関連語に関する拡張データベースの作成例）ものである。
【００７７】
文書として、図２９に示すようなＳＧＭＬでフォーマットされた会社情報に関するファイルがあるとする。１ファイルに１つの会社情報が記載されているとする。重要語抽出モジュールとして、固有表現抽出部がある。固有表現抽出部は受け取った文書から会社名、地名、人名、数値表現を抽出し、そのカテゴリの判定を行う。またここでは単なる名詞の判定なども含むものとする。
【００７８】
図３０は、図２９に示すような定型文書から拡張データベースを作成する拡張データベース生成装置３０を全体として示している。図３０において、拡張データベース生成装置３０は、定型文書受付部３０１、文書抽出部３０２、重要語句抽出部３０３、関係置き換え部３０４、関係置き換え表記憶部３０５、拡張データベース生成部３０６および拡張データベース３０７等を含んで構成されている。定型文書受付部３０１は定型文書を受け付け、文書抽出部３０２に送る。文書抽出部３０２は各タグとタグ付けされた文を抽出し、抽出された文を重要語句抽出部３０３に送る。重要語句抽出部３０３は、受け取った文を解析し、図３１に示すように固有表現を抽出する。関係置き換え部３０４は抽出結果を受け取り、元のタグとそれぞれの結果を組み合わせて図３２に示すようなテーブルを作成する。さらに関係置き換え部３０４は図３３に示すような関係置き換え表を参照しながら、属性を置き換える。置き換え結果は図３４に示すようになる。
【００７９】
拡張データベース生成部３０６は置きかえられた属性を受け取り拡張データベースにデータを格納する。この時、エントリ属性を持つ「富士ゼロックス」と他の属性を持つ単語を対にして、属性別に用意したテーブルに図３５に示すように格納する。
【００８０】
［手法２］
手法２は、非定型文書から拡張データベースを作成する（関連語に関する拡張データベースの作成例）ものである。非定型文書として図３６に示すような例を考える。図３７は、図３６に示すような非定型文書から拡張データベースを作成する拡張データベース生成装置４０を全体として示している。図３７において、拡張データベース生成装置４０は、定型文書受付部４０１、重要語句抽出部４０３、関係置き換え部４０４、関係置き換え表記憶部４０５、拡張データベース生成部４０６および拡張データベース４０７、エントリ指定部４０８等を含んで構成されている。
【００８１】
定型文書受付部４０１は定型文書を受け付け、重要語句抽出部４０３に送る。重要語句抽出部４０３は受け取った文を解析し、固有表現および名詞を抽出する。例えば、図３８に示すように抽出を行う。タグによる情報はないので、図３９に示すようにＮＵＬＬをタグ情報として追加し、３つ組みを構成する。３つ組の抽出情報は関係置き換え部４０４へ送る。関係置き換え部４０４は、図４１に示すような関係置き換え表を参照しながら、図４２に示すように属性を置き換える。
【００８２】
エントリ指定部４０８はユーザーに何をエントリとするかを促す。エントリとして指定されたもの以外はエントリの関連語となる。ユーザが「ＡＢＣ電器産業」をエントリに指定した場合、
【表２】
「ＡＢＣ電器産業：会社名属性」→「ＡＢＣ電器産業：会社名属性＆エントリ」
のように置き換える。複数個指定することも可能である。
【００８３】
また、エントリの候補としてユーザが任意の文字列を入力することもできる。たとえば、「電子株主総会」、「ネット投票」を入力した場合、
【表３】
「電子株主総会」→「電子株主総会：そのた属性＆エントリ」
「ネット投票」→「ネット投票：そのた属性＆エントリ」
を新たに追加する。
【００８４】
特にユーザからの指定がない場合は、デフォルト指定に従い、エントリを決定する。たとえば、デフォルト指定は図４２に示すようになる。
【００８５】
まず、会社名属性が存在する場合は、該当する項目すべてをエントリにする。上記の例では、図４３に示すように変更する。もし会社名属性がない場合は次の候補の人名属性をエントリにする。
【００８６】
ＨＴＭＬのようにＨＥＡＤタグやＨ１タグなどのように明示的に示されている場合は、自動的にこれをエントリとしても良い。
【００８７】
また、エントリを指定する別の方法として、すべての固有表現や名詞をそれぞれエントリにしてもよい。
【００８８】
ここでは、ユーザが「ＡＢＣ電器産業」をエントリとして指定し、また新たに「電子株主総会」を入力したとする。
【表４】

と変更または追加され、拡張データベース生成部４０６へ送られる。拡張データベース生成部４０６は拡張データベース４０７にデータを格納する。この時、エントリ属性を持つ「ＡＢＣ電器産業」と「電子株主総会」はそれぞれエントリとなる。ＡＢＣ電器産業がエントリとなる場合、電子株主総会はその他属性テーブルへ格納され、電子株主総会がエントリとなる場合はＡＢＣ電器産業は会社名属性テーブルへ格納される。
【００８９】
新しく拡張データベースに追加される情報としては「ＡＢＣ電器産業」をエントリとした場合は、図４５のように新しくデータベースに登録される。
【００９０】
非定型文書内に同じ単語が繰り返し出現している場合、出現回数を関連度とすることも出来る。（例えば上の例で「佐藤太郎」が３回出現していた場合、「佐藤太郎」のエントリである「ＡＢＣ電器産業」との関連度は他の１回しか出現していない関連語と比較して３倍関連度が高く設定される。この関連度は一文書を処理するだけに留まらず、他の文書を同様に処理したときに同じエントリと拡張語の組合せが存在すれば、出現頻度は累積され関連度が増加する。この関連度は検索する際に利用され、関連度の高い拡張語で検索された文書に対して高いスコアを与えることにより、得られた検索結果に対してスコアリングが可能となる。
【００９１】
また、上記の例のすべての例は１文書内に共起する単語についての拡張データベースの作成方法となっているが、１文書を段落や文や文節等の任意の範囲に分割し、上記の例を適用することも可能である。
【００９２】
［手法３］
手法３は、拡張データベースを作成する（汎化構造を持つデータからの拡張データベースの作成例）ものである。
【００９３】
既に世の中には様々なシソーラスデータが存在する。教科書の目次、企業の組織図、行政区分地名、様々な進化系図などである。これらのデータは本システムに以下のように取り込むことが可能である。
【００９４】
例えば図４６のような地名シソーラスがある場合、親ノードを基本語、子ノードを拡張語として、ルートノードの”東京都”から全てのエッジに対して処理を行い、再帰的に末端のノードまで繰り返すと地名データベースの図４７に示すような下位概念テーブルが作成できる。
【００９５】
手順としてはつぎのようになる。
ステップ１：ルートとなるノードから選択する。
ステップ２：そのノードと子ノードをそれぞれ基本語と対象語としてデータベースのテーブルに格納する。ステップ３：その子ノードに対して再帰的にステップ１、ステップ２を子ノードが存在する限り繰り返す。
【００９６】
一般的にシソーラスの場合は下位概念テーブルの基本語と拡張語を入れ替えるだけで上位概念テーブルが生成できる。この例を図４８に示す。
【００９７】
［手法４］
手法４は、シソーラスから拡張データベースを作成する（集約化構造を持つデータからの拡張データベースの作成例）ものである。
【００９８】
図４９に示すような集約化の構造をもつデータからも拡張データベースを手法３と同様の方法を用いて作成することが出来る。この例を図５０（部分概念テーブル）および図５１（全体概念テーブル）に示す
【００９９】
［手法５］
手法５は、関係ネットワークから拡張データベースを作成するものである。
【０１００】
シソーラス以外にもネットワーク構造のようなものも拡張テーブルに取り込むことが出来る。例えば、このようなデータは電子メール送着信記録などから生成することが出来る。図５２に示す例はメールを双方でやり取りした各人を結んだ関係図である。この例では全てのノードに対してエッジで結ばれた隣り合うノードを拡張語としている。
【０１０１】
つぎの手順を行うことにより図５３に示すメール関係テーブルを生成できる。ステップ１：任意のノードを選択する。
ステップ２：そのノードと直接（距離１）つながっているノードを、それぞれ基本語と対象語としてデータベースのテーブルに格納する。
ステップ３：ステップ１、ステップ２をすべてのノードに対して行う。
【０１０２】
以上で実施例の説明を終了する。なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、上述の例では、拡張テーブルのテーブル名（拡張の方向）等を用いてユーザが索引語の拡張の態様を指定しているが、インデックスを複数用意してインデックスの識別子を用いて拡張の態様を指定するようにしてもよい。
【０１０３】
【発明の効果】
以上説明したように、この発明によれば、検索語や索引語をユーザの指定により拡張することにより簡易に漏れのない検索を行える。
【図面の簡単な説明】
【図１】この発明の実施例の文書登録装置を示すブロック図である。
【図２】上述実施例を用いる組織名業種上位概念テーブルの例を示す図である。
【図３】上述実施例を用いる組織名系列上位概念テーブルの例を示す図である。
【図４】上述実施例を用いる組織名系列下位概念テーブルの例を示す図である。
【図５】上述実施例を用いる組織名場所属性テーブルの例を示す図である。
【図６】上述実施例を用いる組織名人属性テーブルの例を示す図である。
【図７】上述実施例を用いる組織名産出物属性テーブルの例を示す図である。
【図８】上述実施例を用いる地名上位概念テーブルの例を示す図である。
【図９】上述実施例を用いる地名下位概念テーブルの例を示す図である。
【図１０】上述実施例を用いる日付上位概念テーブルの例を示す図である。
【図１１】テーブルでの表引きの態様を説明する図である。
【図１２】基本語を拡張する例を示す図である。
【図１３】インデックスの例を説明する図である。
【図１４】上述実施例の文書検索装置を示すブロック図である。
【図１５】上述実施例の検索結果の例を示す図である。
【図１６】検索語の重み付けを説明する図である。
【図１７】インデックスの他の例を説明する図である。
【図１８】文書のスコアの例を説明する図である。
【図１９】インデックスの他の例を説明する図である。
【図２０】文書のスコアの他の例を説明する図である。
【図２１】文書のスコアの順序を説明する図である。
【図２２】拡張の具体例を説明する図である。
【図２３】文書の例を説明する図である。
【図２４】インデックスの他の例を説明する図である。
【図２５】検索された単語の例を説明する図である。
【図２６】検索結果提示部へ送られるデータの例を説明する図である。
【図２７】検索結果の提示例を説明する図である。
【図２８】検索結果の他の提示例を説明する図である。
【図２９】拡張データベース生成に用いる定型文書の例を説明する図である。
【図３０】実施例の拡張データベース生成装置を示すブロック図である。
【図３１】拡張データベース生成の例を説明する図である。
【図３２】拡張データベース生成の例を説明する図である。
【図３３】拡張データベース生成の例を説明する図である。　拡張データベース生成の例を説明する図である。
【図３４】拡張データベース生成の例を説明する図である。
【図３５】拡張データベース生成に用いる非定型文書の例を説明する図である。
【図３６】実施例の他の拡張データベース生成装置を示すブロック図である。
【図３７】拡張データベース生成の例を説明する図である。
【図３８】拡張データベース生成の例を説明する図である。
【図３９】拡張データベース生成の例を説明する図である。
【図４０】拡張データベース生成の例を説明する図である。
【図４１】拡張データベース生成の例を説明する図である。
【図４２】拡張データベース生成の例を説明する図である。
【図４３】拡張データベース生成の例を説明する図である。
【図４４】拡張データベース生成の例を説明する図である。
【図４５】拡張データベース生成の例を説明する図である。
【図４６】拡張データベース生成の他の手法を説明する図である。
【図４７】上述の他の手法で生成されたテーブルの例を説明する図である。
【図４８】上述の他の手法で生成された他のテーブルの例を説明する図である。
【図４９】拡張データベース生成のさらに他の手法を説明する図である。
【図５０】上述の他の手法で生成されたテーブルの例を説明する図である。
【図５１】上述の他の手法で生成されたテーブルの例を説明する図である。
【図５２】拡張データベース生成のさらに他の手法を説明する図である。
【図５３】上述の他の手法で生成されたテーブルの例を説明する図である。
【符号の説明】
１０　　　文書登録装置
２０　　　文書検索装置
３０　　　拡張データベース生成装置
４０　　　拡張データベース生成装置
１０１　　　文書受付部
１０２　　　固有表現拡張部
１０３　　　拡張データベース
１０４　　　拡張語登録部
１０５　　　インデックス記憶部
１０６　　　検索結果提示部
２０１　　　検索要求受付部
２０１ａ　　　検索語指定部
２０１ｂ　　　検索語拡張指定部
２０１ｃ　　　索引語拡張指定部
２０２　　　固有表現拡張部
２０３　　　拡張データベース
２０４　　　検索部
２０５　　　インデックス記憶部
２０６　　　検索結果提示部
３０１　　　定型文書受付部
３０２　　　文書抽出部
３０３　　　重要語句抽出部
３０４　　　関係置き換え部
３０５　　　関係置き換え表記憶部
３０６　　　拡張データベース生成部
３０７　　　拡張データベース
４０１　　　非定型文書受付部
４０３　　　重要語句抽出部
４０４　　　関係置き換え部
４０５　　　関係置き換え表記憶部
４０６　　　拡張データベース生成部
４０７　　　拡張データベース
４０８　　　エントリ指定部

Claims

検索語を入力する入力手段と、
その検索語の概念を拡張する方向と深さを指定する入力手段と、
対象文書側の索引語の概念を拡張する方向と深さを指定する入力手段と、
検索語および索引語を拡張するのに用いる拡張データベースを記憶する記憶手段と、
索引語と結び付けられた文書を格納する記憶手段と、
上記拡張データベースを使って上記検索語および上記索引語を拡張する拡張手段と、
拡張された検索語および拡張された索引語を突き合わせて文書の検索を行う検索手段とを有することを特徴とする文書検索装置。
上記検索手段は、拡張された索引語の集合に概念レベルや出現頻度に基づいたコスト付けを行い、上記拡張された検索語との突き合わせを行う請求項１記載の文書検索装置。
検索された結果を関連度と概念の拡張方法に従って秩序付けて表示する表示制御手段をさらに有する請求項１または２記載の文書検索装置。
前記拡張データベースを構築する為に、汎化また集約化の形態をもって構築されたデータから拡張データベースを構築する手段をさらに有する請求項１、２または３記載の文書検索装置。
前記拡張データベースを構築する為に、データから、ユーザがエントリとなるカテゴリを指定することにより、関連語に関する拡張データベースを作成する手段をさらに有する請求項１、２、３または４記載の文書検索装置。
扱う単語を唯一に対象を特定できる固有名詞や、定量的に扱うことの出来る数量を表す単語を一般名詞よりコストを重くする請求項２記載の文書検索装置。
ユーザが特定した検索語を入力する検索語入力手段と、
ユーザが特定した検索語から他の検索語を導出する態様を入力する検索語導出態様入力手段と、
元の索引語から他の索引語を導出する態様を入力する索引語導出態様入力手段と、
上記ユーザが特定した検索語、および、上記検索語導出態様入力手段により指定された態様で上記ユーザが特定した検索語から導出された他の検索語と、上記元の索引語、および、上記索引語導出態様入力手段により指定された態様で上記元の索引語から導出された他の索引語とを突き合わせて文書の検索を行う検索手段とを有することを特徴とする文書検索装置。
ユーザが特定した検索語を入力する検索語入力手段と、
元の索引語から他の索引語を導出する態様を入力する索引語導出態様入力手段と、
上記ユーザが特定した検索語と、上記元の索引語、および、上記索引語導出態様入力手段により指定された態様で上記元の索引語から導出された他の索引語とを突き合わせて文書の検索を行う検索手段とを有することを特徴とする文書検索装置。
ユーザが特定した検索語を入力する検索語入力手段と、
検索対象の文書と索引語との間の対応関係を複数とおり記憶する文書索引語対応関係記憶手段と、
検索に使用する１または複数の検索対象の文書と索引語との間の対応関係を指定する文書索引語対応関係指定手段と、
上記ユーザが特定した検索語と、上記文書索引語対応関係指定手段で指定された検索対象の文書と索引語との間の対応関係とを用いて、文書の検索を行う検索手段とを有することを特徴とする文書検索装置。
単語と拡張語と拡張方法との対応関係を記述する拡張データベースを記憶する手段と、
文書から基礎となる索引語を抽出する手段と、
抽出した索引語から上記拡張データベースを参照して拡張した索引語を決定する手段と、
上記文書と、上記基礎となる索引語との関係、ならびに文書と、上記拡張した索引語および拡張方法との関係からなる文書検索用索引データを記憶する手段とを有することを特徴とする文書検索用索引データ生成装置。
文書を入力する手段と、
文書から所定の語句を抽出する手段と、
１の文書から抽出された語句に対する上記１の文書から抽出された他の語句の関係を決定する手段と、
上記語句と、上記他の語句と、上記他の語句の関係とを記述して上記関係の下で上記１の語句から上記他の語句を導出するテーブルを生成する手段とを有することを特徴とする関連語句導出用データ作成装置。
上記文書に含まれるタグにより上記関係を決定する請求項１１記載の関連語句導出用データ作成装置。
上記所定の語句を抽出するときに用いられる辞書に当該語句の属性が規定され、上記属性に基づいて上記関係を決定する請求項１１記載の関連語句導出用データ作成装置。
語句の間の構造を記述する情報を入力する手段と、
語句の間の構造を記述する情報から語句および語句の間の関係を抽出する手段と、
抽出された語句および語句の間の関係から１の語句に対する他の語句の関係を決定する手段と、
上記１の語句と上記他の語句と上記他の語句との関係を記述して上記関係の下で上記１の語句から上記他の語句を導出するテーブルを生成する手段とを有することを特徴とする関連語句導出用データ作成装置。
ユーザが特定した検索語を入力する検索語入力ステップと、
ユーザが特定した検索語から他の検索語を導出する態様を入力する検索語導出態様入力ステップと、
元の索引語から他の索引語を導出する態様を入力する索引語導出態様入力ステップと、
上記ユーザが特定した検索語、および、上記検索語導出態様入力ステップにより指定された態様で上記ユーザが特定した検索語から導出された他の検索語と、上記元の索引語、および、上記索引語導出態様入力ステップにより指定された態様で上記元の索引語から導出された他の索引語とを突き合わせて文書の検索を行う検索ステップとを有することを特徴とする文書検索方法。
ユーザが特定した検索語を入力する検索語入力ステップと、
ユーザが特定した検索語から他の検索語を導出する態様を入力する検索語導出態様入力ステップと、
元の索引語から他の索引語を導出する態様を入力する索引語導出態様入力ステップと、
上記ユーザが特定した検索語、および、上記検索語導出態様入力ステップにより指定された態様で上記ユーザが特定した検索語から導出された他の検索語と、上記元の索引語、および、上記索引語導出態様入力ステップにより指定された態様で上記元の索引語から導出された他の索引語とを突き合わせて文書の検索を行う検索ステップとをコンピュータに実行させるために用いられることを特徴とする文書検索用コンピュータプログラム。