JP2009128967A

JP2009128967A - 文書検索装置

Info

Publication number: JP2009128967A
Application number: JP2007300175A
Authority: JP
Inventors: Hiroshi Umeki; 宏梅基
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2007-11-20
Filing date: 2007-11-20
Publication date: 2009-06-11
Anticipated expiration: 2027-11-20
Also published as: JP5228451B2

Abstract

【課題】入力されたキーワードに基づいて複数の電子文書が検索された場合に、キーワードの示す対象や事柄の存否を考慮した順位にて検索結果が出力されるようにする。
【解決手段】文書格納手段１に格納されている電子文書について、構文解析手段２が文を解析して構文の係り受け構造を求め、意味解析手段３が構文解析結果から意味表現を求め、知識解析手段４が文脈情報や事象関係を含むような知識表現を意味表現から求める。そして、索引抽出手段５が知識表現から索引語を抽出すると共に、当該索引語が表す対象の存在に関する文脈情報を抽出して索引語の重み値を求め、索引語と重み値とを対応付けて索引格納手段６に電子文書毎に格納する。検索手段７は、入力されたキーワードを索引語に含む文書格納手段１中の各文書を、その索引語の重み値が大きい順に表示する。
【選択図】図１

Description

本発明は、入力されたキーワードに基づいて電子文書を検索する文書検索装置およびプログラムに関する。

多数の電子文書を記憶している文書サーバから、利用者により入力されたキーワードに合致する電子文書を検索し、その検索結果を利用者に提示することが行われている。
このような文書検索に係る発明として、特許文献１には、単語の係り受け関係や主語述語関係から指定された単語の修飾度を算出する方法が提案されており、算出された単語の修飾度を利用して検索結果のランキングを行っている。
また、非特許文献１には、仮定や否定の表現と共起する索引語の重要度を減らす手法が提案されており、例えば「Ａ会社は倒産しなかった」の場合、否定表現「ない」と共起する単語「Ａ会社」や「倒産」の重要度を減らすことで、このテキストが検索結果の上位に現れることを防いでいる。

特開２００３−２６３４２５号公報小松香爾、"情報検索システムにおける言語処理技術の利用"、経営論集、2003、第13巻第1号、p.105-114

非特許文献１に記載の手法によると、単に仮定や否定などの特定の表現と共起するだけで索引語の重要度が下がってしまうという問題がある。
例えば、「腫瘍が拡大していません。」という文を含む文書Ａと、「腫瘍が見られません。」という文を含む文書Ｂがあり、利用者がキーワード「腫瘍」の存在に着目した検索を行いたい場合を想定する。この場合、文書Ａでは「拡大している」という事態は否定されているが「腫瘍」そのものは存在していることが表明されており、一方で、文書Ｂでは、実際には「腫瘍」が無かったことが表明されている。したがって、文書Ａはランキングの上位にくることが期待され、文書Ｂは検索対象から外れるか、若しくはランキングの下位にくることが期待される。

しかしながら、文書Ａ及び文書Ｂのいずれにおいても「腫瘍」が否定の表現と共起しているため、上記のような望ましい検索結果が得られない。また、例えば、「腫瘍の可能性が高いと思われます。」という文を含む文書Ｃの場合は、「腫瘍」の存在は不確定であるため、文書Ａと文書Ｂの中間の結果であることが期待されるが、この場合も望ましい検索結果が得られない。

本発明は、上記従来の事情に鑑みなされたものであり、入力されたキーワードに基づいて複数の電子文書が検索された場合に、キーワードの示す対象や事柄の存否を考慮した順位にて検索結果が出力されるようにすることを目的としている。

請求項１に記載の本発明は、検索対象となる複数の電子文書を格納する文書格納手段と、電子文書中の名詞と当該名詞に対応する述語との係り受け構造の解析を少なくとも行う第１の解析手段と、前記述語が肯定表現あるいは否定表現であるかの解析を少なくとも行う第２の解析手段と、前記述語が前記名詞で表現される対象の状態変化を表す概念か当該対象の存否を表す概念かの解析を少なくとも行う第３の解析手段と、前記第１乃至第３の解析手段による解析結果に基づいて、前記述語が前記対象の状態変化を表す概念の場合は、第１の重み値を前記名詞について設定し、前記対象の存否を表す概念の場合は、肯定表現であれば第２の重み値を前記名詞について設定し、否定表現であれば第１および第２の重み値より低い第３の重み値を前記名詞について設定する索引抽出手段と、電子文書と該電子文書中の名詞および当該名詞の重み値とを対応付けて格納する索引格納手段と、利用者に入力された名詞に基づいて前記文書格納手段から検索される複数の電子文書を、各電子文書中の当該名詞に係る前記索引格納手段に格納された重み値に従って順位付けした検索結果を出力する検索手段と、を備えたことを特徴とする文書検索装置である。

請求項２に記載の本発明は、請求項１に記載の文書検索装置において、前記第２の解析手段は、前記述語が内容に不確実性が含まれるモーダル表現であるかを表す情報を知識表現情報に含めて出力し、前記索引抽出手段は、前記述語が前記対象の存否を表す概念の場合は、モーダル表現であれば第２の重み値と第３の重み値との中間的な重み値を前記名詞について取得することを特徴とする。

請求項３に記載の本発明は、請求項１又は請求項２に記載の文書検索装置において、前記第３の解析手段は、電子文書中の名詞に対応する述語が特定されず、当該名詞で表現される対象が存在する可能性に関する表現の語が特定された場合は、当該対象の存在を表す概念として予め規定された語を当該名詞に対応する述語として補完することを特徴とする。

請求項５に記載の本発明は、コンピュータを、検索対象となる複数の電子文書を格納する文書格納手段と、電子文書中の名詞と当該名詞に対応する述語との係り受け構造の解析を少なくとも行う第１の解析手段と、前記述語が肯定表現あるいは否定表現であるかの解析を少なくとも行う第２の解析手段と、前記述語が前記名詞で表現される対象の状態変化を表す概念か当該対象の存否を表す概念かの解析を少なくとも行う第３の解析手段と、前記第１乃至第３の解析手段による解析結果に基づいて、前記述語が前記対象の状態変化を表す概念の場合は、第１の重み値を前記名詞について設定し、前記対象の存否を表す概念の場合は、肯定表現であれば第２の重み値を前記名詞について設定し、否定表現であれば第１および第２の重み値より低い第３の重み値を前記名詞について設定する索引抽出手段と、電子文書と該電子文書中の名詞および当該名詞の重み値とを対応付けて格納する索引格納手段と、利用者に入力された名詞に基づいて前記文書格納手段から検索される複数の電子文書を、各電子文書中の当該名詞に係る前記索引格納手段に格納された重み値に従って順位付けした検索結果を出力する検索手段として機能させるための文書検索プログラムである。

請求項１に記載の文書検索装置によると、入力されたキーワードに基づいて複数の電子文書が検索された場合に、キーワードの示す対象や事柄が実際に存在したかを考慮した順位にて検索結果が出力される。

請求項２に記載の文書検索装置によると、キーワードの示す対象や事柄が実際に存在したかだけでなく、存在の確からしさについても考慮した順位にて検索結果が出力される。

請求項３に記載の文書検索装置によると、名詞に対応する述語が省略されている場合にも適用することができる。

請求項４に記載の文書検索プログラムによると、上記作用効果を奏する文書検索装置をコンピュータを利用して実現することができる。

本発明を、以下に例示する一実施形態に基づいて具体的に説明する。
図１は、本例に係る文書検索装置の機能ブロック図を示している。
本例の文書検索装置は、検索対象の電子文書を格納する文書格納手段１、文を解析して構文の係り受け構造を求める構文解析手段２、構文解析結果から意味表現を求める意味解析手段３、文脈情報や事象関係を含むような知識表現を意味表現から求める知識解析手段４、索引語と存在に関する文脈情報との関係を知識表現から抽出する索引抽出手段５、索引語と文脈情報との関係を格納する索引格納手段６、利用者からキーワードを入力として受け取り、文脈情報を考慮した形で文書を検索して表示する検索手段７、を備えている。

文書格納手段１は、図２に示すように、各文書を識別する文書ＩＤと、該文書の実体である文書データと、を対応付けて格納している。
図３は、本例の文書格納手段１に検索対象として格納されている文書を例示しており、「腫瘍が拡大していません。」を内容とした文書Ａ、「腫瘍が見られません。」を内容とした文書Ｂ、「腫瘍の可能性が高いと思われます。」を内容とした文書Ｃが格納されている。

構文解析手段２は、文書格納手段１に格納されている各文書に対して、文もしくは節ごとに構文解析し、少なくとも構文構成要素の係り受け構造を求める。なお、「増市博・大熊智子、“Lexical Functional Grammarに基づく実用的な日本語解析システムの構築”、自然言語処理、2003、Vol.10、No.2、pp.79-109」（文献１）に述べられている構文解析技術を用いることで、入力文から、構文構成要素の係り受け構造とともに、主語や目的語などといった文法的役割を含めた述語項構造も併せて得ることができる。
本例では、構文解析手段２により第１の解析手段を構成しているが、電子文書中の名詞と当該名詞に対応する述語との係り受け構造を解析できればよく、他の構成により第１の解析手段を実現してもよい。

意味解析手段３は、構文解析手段２で得られた構文の係り受け構造から、構文構成要素の意味表現を求める。ここで、上記文献１に述べられてるＬＦＧ解析システムの結果には、文の入れ子構造や、述語と主語・目的語等の関係などが含まれており、「R. Crouch、“Packed rewriting for mapping semantics to KR”、In Proceedings of the Sixth International Workshop on Computational Semantics、2005」（文献２）に述べられている意味解析技術を用いることで、入力文に対応する文脈つきの一階述語論理式を得ることができる。なお、上記意味解析技術は英語のテキストを入力とするものだが、「H. Umemoto、“Implementing a Japanese semantic parser based on Glue approach”、In Proceedings of The 20th Pacific Asia Conference on Language、In formation and Computation、2006」（文献３）には、日本語に対する同様の意味解析技術が述べられている。
本例では、意味解析手段３により第２の解析手段を構成しているが、述語が肯定表現あるいは否定表現であるかを解析できればよく、他の構成により第２の解析手段を実現してもよい。

図４は、意味解析手段３で求めた意味表現を示している。
（１）は文書Ａの文「腫瘍が拡大していません。」から得た意味表現を示す論理式である。論理式の第１項は、文脈を表しており、１番目の論理式の文脈「t」は常に真であることを、２番目の論理式の文脈「ctx(拡大する:0)」は「拡大していません」の表現に対応することをそれぞれ表している。論理式の第２項は述語を表しており、第３項以降は述語に対応する項を表している。また、数字を含む述語や項は、文字列ラベルで表される実体を指しており、例えば「拡大する:0」は「拡大する（している）」という或る状態を、「腫瘍:0」は「腫瘍」という或る対象をそれぞれ指すことになる。
（２）は文書Ｂの文「腫瘍が見られません。」から得た論理式、（３）は文書Ｃの文「腫瘍の可能性が高いと思われます。」から得た論理式である。なお、文書Ｃに係る論理式では、文脈を表す第１項がいずれも「ctx(思われる:0)」となっており、各述語が「思われる」という文脈における表現であることを示している。
ここで、本例では各論理式の最終項にて肯定表現、否定表現、モーダル表現（可能性や推測といった内容に不確実性を含むことを表した表現）のいずれであるかを示しており、（１）および（２）の論理式はいずれも「ぬ」が設定されて否定表現、（３）の論理式は「可能性」が設定されてモーダル表現であることが分かる。

知識解析手段４は、意味解析手段３で得られた意味表現から、上記文献２に述べられている知識解析技術を用いることで、文脈つきで概念を要素とする知識表現を求める。
図５は、知識解析手段４で求めた知識表現を示しており、（１）は文書Ａに対応する知識表現、（２）は文書Ｂに対応する知識表現、（３）は文書Ｃに対応する知識表現を示している。なお、知識表現の第１項は意味表現と同様に文脈を表し、第２項以降の要素は特定の実体を表すような概念とそれらの対応関係が記述されている。
本例では、知識解析手段４により第３の解析手段を構成しているが、述語によって表される概念が、対応する名詞で表現される対象の状態変化を表す概念か当該対象の存否を表す概念かを解析できればよく、他の構成により第３の解析手段を実現してもよい。
ここで、文書Ｃの意味表現（図４（３））では、「腫瘍」という対象に係る述語が特定されていないが、「腫瘍」が存在する可能性に関する表現の語である「可能性」（「確率」「蓋然性」などでもよい）が特定されているため、対象の存在を表す概念の述語として予め規定された「存在」を補完して知識表現を求めている。

索引抽出手段５は、知識解析手段４で得られた知識表現から、索引語を存在に関する文脈情報とともに抽出する。つまり、動詞などで表される出来事のタイプと、断定の表現や、書き手が可能性や推測といった文が内容の不確実性を含むことを表したモーダル表現などの文脈情報から、出来事の主体を索引語として抽出し、索引語が指し示す対象や事象などが実際に存在したかどうかの確実さを示す情報を、または、不確実な場合にはその不確実性を示す情報を、存在に関する文脈情報として抽出する。

図５（１）に示した文書Ａの知識表現の場合、文脈c1のもとで「拡大している」出来事の主体が「腫瘍」であることが表されているが、「拡大している」のように、主体の状態変化を表す概念の出来事であれば、文脈がどうあれ（肯定表現、否定表現に関わらず）主体は存在することが暗黙の前提として保証される。このため、「拡大」「移動」「変色」等の、主体の状態変化を表す概念の述語（動詞など）のタイプについては、文脈に関わらず主体が存在するというルールを索引抽出手段５に設定しておく。このルールを知識解析手段４で得られた知識表現に対して適用することで、文書Ａの知識表現から「腫瘍」は存在することが分かる。そこで、上記出来事の主体（対象）を表す名詞「腫瘍」を索引語として抽出し、存在に関する文脈情報として「存在する」を抽出する。

図５（２）に示した文書Ｂの知識表現の場合、「観察」出来事から、その主体が存在することが推測される。ここでは「観察」「検出」「存在」等の、主体の存否を表す概念の述語（動詞など）のタイプについては、主体が存在することが言えるというルールを索引抽出手段５に設定しておく。このルールを知識解析手段４で得られた知識表現に対して適用することで、文書Ｂの知識表現から「腫瘍」は文脈c2の基で存在することが分かる。しかし、文脈c2は「見られない」という否定の表現であり、「存在する」の主体の「腫瘍」はこの文脈では存在しないことになる。したがって、上記出来事の主体（対象）を表す名詞「腫瘍」を索引語として抽出し、存在に関する文脈情報として「存在しない」を抽出する。
図５（３）に示した文書Ｃの知識表現の場合、文脈c3の基で「腫瘍」が「存在する」ので、索引語として「腫瘍」を、存在に関する文脈情報として「存在の可能性が高い」を抽出する。

索引格納手段６は、索引抽出手段５で得られた索引語と文脈情報の関係を格納する。
本例では、図６に示すように、各文書を識別する文書ＩＤと、該文書から抽出した索引語と、当該索引語に係る文脈情報に基づく重み値と、を対応付けた索引情報を格納している。重み値は、文脈情報「存在する」（肯定表現）を最大値とし、以下、「存在の可能性が高い」（モーダル表現）、「存在しない」（否定表現）の順に値を小さくしている。すなわち、重み値は、索引語で示される対象の存在を肯定する表現ならば最大値、否定する表現ならば最小値、可能性を示す表現であるモーダル表現ならば中間値となる。本例では、索引抽出手段５が文脈情報の抽出と共にその重み値を求めているが、文脈情報の種類（肯定表現、モーダル表現、否定表現）と重み値との対応情報を索引格納手段６に持たせることで、索引格納手段６側で重み値を求めるようにしてもよい。
なお、検索手段７による検索を行う前に、文書格納手段８に格納されている文書に対して、これまで述べてきたような解析・抽出処理を行っており、その結果が索引格納手段６に格納してある。

検索手段７は、利用者からキーワードを入力として受け取り、索引格納手段７から入力キーワードと索引語が一致する索引情報を検索する。そして、検索された索引情報に該当する文書格納手段１中の各文書を、索引語に係る重み値が大きい順に出力する。
つまり、キーワードとして「腫瘍」が入力された場合は、文書Ａ、文書Ｃ、文書Ｂという順番で出力される。

本例では、文書格納手段１に格納されている各文書について、文書検索がなされる前に索引語に係る重み値を求めて索引格納手段６に格納しておき、文書検索の結果を、索引格納手段６に格納されている索引語に係る重み値に従った順位にて出力しているが、例えば、索引格納手段６に索引語と文脈情報とを対応付けて格納しておき、文書検索を行った後に該当する文脈情報から重み値を求めて出力順に反映させてもよく、また例えば、文書検索を行った後に文脈情報を取得して重み値を求めて出力順に反映させてもよい。

また、構文解析手段２、意味解析手段３、知識解析手段４に代えて、文を単語のレベルで解析する文解析手段を設けてもよい。
すなわち、文解析手段が、第１の解析手段として、名詞・動詞など単語の品詞の係り受け構造を抽出し、第２の解析手段として、事実の断定表現や、可能性や推測といった内容に不確実性を含むことを表したモーダル表現など表す情報を抽出し、第３の解析手段として、述語の概念が、対応する名詞で表現される対象の状態変化を表す概念か当該対象の存否を表す概念かを表す情報を抽出する。そして、索引抽出手段５が、動詞などで表される出来事のタイプ、断定の表現や書き手が可能性や推測といった内容の不確実性を含むことを表したモーダル表現などの文脈情報から、出来事の主体を単語の品詞情報などから推定して索引語として抽出し、索引語が指し示す対象や事象などが実際に存在したかどうかの確実さを示す情報を、又は、不確実な場合はその確からしさを、存在に関する文脈情報として抽出すればよい。
このように、単語レベルの解析のみを行うことで検索の精度は低下するが、解析に必要な時間や記憶容量、必要なデータなどの計算資源を削減することができる。

図７は、本例の文書検索装置の主要なハードウェア構成を示している。
すなわち、本例の文書検索装置は、各種演算処理を行うＣＰＵ、ＣＰＵの作業領域となるＲＡＭ、基本的な制御プログラムを記憶するＲＯＭ、本発明に係る各機能を実現するためのプログラム等を記憶するＨＤＤ、利用者に対する情報を表示出力する液晶ディスプレイや利用者からの情報の入力を受け付けるマウス・キーボード等の機器とのインターフェースである入出力Ｉ／Ｆ、他の装置との間で通信を行うインターフェースである通信Ｉ／Ｆ、等のハードウェア資源を有するコンピュータで構成されている。
そして、本発明に係るプログラムをＨＤＤから読み出してＲＡＭに展開し、これをＣＰＵにより実行させることで、本発明に係る各機能手段を、文書検索装置のコンピュータに実現している。

なお、本発明に係るプログラムは、例えば、当該プログラムを記憶したＣＤ−ＲＯＭ等の外部記憶媒体を配布する形式や、ネットワークを介して配信する形式により、本発明の実施者に提供される。
また、本発明に係る文書検索装置の各機能手段は、本例のようなソフトウェア構成により実現する態様に限られず、専用のハードウエアモジュールで構成してもよい。
また、本発明に係る文書検索装置の各機能手段は、本例のように１台のコンピュータに設ける態様に限られず、複数台のコンピュータに分散して設けてもよい。

本発明の一実施形態に係る文書検索装置の機能ブロック図である。本発明の一実施形態に係る文書データの格納例を示す図である。本発明の一実施形態に係る検索対象の文書を例示する図である。本発明の一実施形態に係る意味解析処理の結果を例示する図である。本発明の一実施形態に係る知識解析処理の結果を例示する図である。本発明の一実施形態に係る索引情報を説明する図である。本発明の一実施形態に係る文書検索装置のハードウェア構成図である。

符号の説明

１：文書格納手段、
２：構文解析手段、
３：意味解析手段、
４：知識解析手段、
５：索引抽出手段、
６：索引格納手段、
７：検索手段

Claims

検索対象となる複数の電子文書を格納する文書格納手段と、
電子文書中の名詞と当該名詞に対応する述語との係り受け構造の解析を少なくとも行う第１の解析手段と、
前記述語が肯定表現あるいは否定表現であるかの解析を少なくとも行う第２の解析手段と、
前記述語が前記名詞で表現される対象の状態変化を表す概念か当該対象の存否を表す概念かの解析を少なくとも行う第３の解析手段と、
前記第１乃至第３の解析手段による解析結果に基づいて、前記述語が前記対象の状態変化を表す概念の場合は、第１の重み値を前記名詞について設定し、前記対象の存否を表す概念の場合は、肯定表現であれば第２の重み値を前記名詞について設定し、否定表現であれば第１および第２の重み値より低い第３の重み値を前記名詞について設定する索引抽出手段と、
電子文書と該電子文書中の名詞および当該名詞の重み値とを対応付けて格納する索引格納手段と、
利用者に入力された名詞に基づいて前記文書格納手段から検索される複数の電子文書を、各電子文書中の当該名詞に係る前記索引格納手段に格納された重み値に従って順位付けした検索結果を出力する検索手段と、
を備えたことを特徴とする文書検索装置。
前記第２の解析手段は、前記述語が内容に不確実性が含まれるモーダル表現であるかを表す情報を知識表現情報に含めて出力し、
前記索引抽出手段は、前記述語が前記対象の存否を表す概念の場合は、モーダル表現であれば第２の重み値と第３の重み値との中間的な重み値を前記名詞について取得することを特徴とする請求項１に記載の文書検索装置。
前記第３の解析手段は、電子文書中の名詞に対応する述語が特定されず、当該名詞で表現される対象が存在する可能性に関する表現の語が特定された場合は、当該対象の存在を表す概念として予め規定された語を当該名詞に対応する述語として補完することを特徴とする請求項１又は請求項２に記載の文書検索装置。
コンピュータを、
検索対象となる複数の電子文書を格納する文書格納手段と、
電子文書中の名詞と当該名詞に対応する述語との係り受け構造の解析を少なくとも行う第１の解析手段と、
前記述語が肯定表現あるいは否定表現であるかの解析を少なくとも行う第２の解析手段と、
前記述語が前記名詞で表現される対象の状態変化を表す概念か当該対象の存否を表す概念かの解析を少なくとも行う第３の解析手段と、
前記第１乃至第３の解析手段による解析結果に基づいて、前記述語が前記対象の状態変化を表す概念の場合は、第１の重み値を前記名詞について設定し、前記対象の存否を表す概念の場合は、肯定表現であれば第２の重み値を前記名詞について設定し、否定表現であれば第１および第２の重み値より低い第３の重み値を前記名詞について設定する索引抽出手段と、
電子文書と該電子文書中の名詞および当該名詞の重み値とを対応付けて格納する索引格納手段と、
利用者に入力された名詞に基づいて前記文書格納手段から検索される複数の電子文書を、各電子文書中の当該名詞に係る前記索引格納手段に格納された重み値に従って順位付けした検索結果を出力する検索手段として機能させるための文書検索プログラム。