JP2017117311A - 文書検索方法、文書検索プログラムおよび文書検索装置 - Google Patents

Abstract

【課題】正しい分類結果に基づいた検索を行うこと。【解決手段】文書検索装置１００は、評価部１２０を有する。評価部１２０は、文書データに含まれる文章の位置および前記文章のサイズに基づき、文書データに含まれる各文章について、文章の見出し文らしさを評価し、文章の見出し文らしさの評価結果を基にして、文書データに含まれる文章が見出し文であるか、内容文であるかを判別する。【選択図】図１

Description

本発明は、文書検索方法等に関する。

文書ＤＢ（Data Base）に格納された複数の文書から、検索対象の文書に類似する文書を検索する従来技術がある。図１５は、従来技術を説明するための図である。図１５において文書１０Ａを検索対象の文書とし、文書１０Ｂを文書ＤＢに格納されたある文書とする。従来技術では、文書１０Ａおよび文書１０Ｂに含まれる単語と、単語の出現頻度等を基にして、文章１０Ａおよび文章１０Ｂを単語ベクトル化する。図１５に示す例では、文書１０Ａは、ベクトル１５ａに単語ベクトル化される。文書１０Ｂは、ベクトル１５ｂに単語ベクトル化される。

従来技術は、ベクトル１５ａとベクトル１５ｂとのベクトル距離を比較して、文書１０Ａと文書１０Ｂとの類似度を算出する。従来技術は、文書ＤＢに格納された他の文書についても同様に単語ベクトル化を行い、文書１０Ａとの類似度を算出する。従来技術は、類似度が閾値以上となる文書を、検索対象の文書１０Ａに類似する文書として検索する。

特開２００８−１２９８９４号公報 特開２００９−１４５９６３号公報 特開２００１−１４３２６号公報 特開平１１−２５００７０号公報 特開２０１４−２２２５４２号公報

しかしながら、上述した従来技術では、正しい分類結果に基づいた検索を行うことができないという問題がある。

図１６は、従来技術の問題点を説明するための図である。例えば、図１６において、文書１０Ａと文書１０Ｂとは、表題、目次が類似しており、文書の形式が類似していると言える。一方、文書１０Ａと文書１０Ｃとは、内容記述が類似しており、文書の内容が類似しているといえる。

以下の説明では、表題、目次の他に、サマリページなど、文書のフォーマットが類似することを「形式的に類似する」と表記する。一方、記述内容、トピックが同じ文書など、文書の内容が類似することを「内容的に類似する」と表記する。

従来技術のように、単純に文書全体で類似度の計算を行うと、形式的に類似する文書と、内容的に類似する文書とを判別して検索することができない。例えば、図１６に示す例では、文書１０Ａおよび文書１０Ｂの類似度と、文書１０Ａおよび文書１０Ｃの類似度は、どちらも高スコアになりやすい。

このため、例えば、「内容的に類似している文書を検索したい」という利用者の要求に対し、内容的に類似する文書だけでなく、形式的に類似した文書も合わせて出力されてしまい、適切に文書検索を行うことができない。

１つの側面では、本発明は、正しい分類結果に基づいた検索を行うことができる文書検索方法、文書検索プログラムおよび文書検索装置を提供することを目的とする。

第１の案では、コンピュータは、下記の処理を実行する。コンピュータは、文書データに含まれる文章の位置および前記文章のサイズに基づき、文書データに含まれる各文章について、文章の見出し文らしさを評価する。コンピュータは、文章の見出し文らしさの評価結果を基にして、文書データに含まれる文章が見出し文であるか、内容文であるかを判別する。

正しい分類結果に基づいた検索を行うことができる。

図１は、本実施例１に係る文書検索装置の構成を示す機能ブロック図である。 図２は、文書ＤＢのデータ構造の一例を示す図である。 図３は、文書データの一例を示す図である。 図４は、モデル構築用文書ＤＢのデータ構造の一例を示す図である。 図５は、文章構造ＤＢのデータ構造の一例を示す図である。 図６は、見出し文らしさＤＢのデータ構造の一例を示す図である。 図７は、評価部の処理を説明するための図である。 図８は、判定部の処理を説明するための図である。 図９は、本実施例１に係る文書検索装置の処理手順を示すフローチャートである。 図１０は、本実施例２に係る文書検索装置の構成を示す機能ブロック図である。 図１１は、本実施例２に係る文章構造ＤＢのデータ構造の一例を示す図である。 図１２は、本実施例２に係る文書検索装置の処理手順を示すフローチャートである。 図１３は、実験結果を説明するための図である。 図１４は、文書検索プログラムを実行するコンピュータの一例を示す図である。 図１５は、従来技術を説明するための図である。 図１６は、従来技術の問題点を説明するための図である。

以下に、本願の開示する文書検索方法、文書検索プログラムおよび文書検索装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例１に係る文書検索装置の構成を示す機能ブロック図である。図１に示すように、この文書検索装置１００は、文書ＤＢ１０１と、モデル構築用文書ＤＢ１０２と、文章構造ＤＢ１０３と、見出し文らしさＤＢ１０４と、文章構造抽出部１１０と、評価部１２０とを有する。また、文書検索装置１００は、重み算出部１３０と、検索文書入力部１４０と、比較文書入力部１５０と、判別部１６０と、類似度算出部１７０とを有する。

文書ＤＢ１０１は、比較対象となる複数の文書の情報を格納する記憶部である。図２は、文書ＤＢのデータ構造の一例を示す図である。図２に示すように、この文書ＤＢ１０１は、文書ＩＤと、文書データとを対応付ける。文書ＩＤは、文書を一意に識別する情報である。文書データは、文書のデータである。

図３は、文書データの一例を示す図である。図３に示す文書データは、文書ＩＤ「１」の文書データである。例えば、この文書データには、文章「目的」、文章「文書間の類似度を計算する」、文章「・・・」が含まれる。

モデル構築用文書ＤＢ１０２は、予め準備された文書について、文書に含まれる文章が、見出し文であるのか、内容文であるのかを予め定義した情報を格納する記憶部である。例えば、見出し文は、表題、目次等に対応する文章を示す。内容文は、見出し文に該当しない文章であり、例えば、記述内容の文章に対応する。

図４は、モデル構築用文書ＤＢのデータ構造の一例を示す図である。図４に示すように、このモデル構築用文書ＤＢ１０２は、文章とラベルとを対応付ける。文章は、文書に含まれる文章に対応する。ラベルは、文章が見出し文であるか、内容文であるかを識別する情報である。例えば、ラベルが「１」である場合には、文章が見出し文であることを示す。ラベルが「０」である場合には、文章が内容文であることを示す。図４に示す例では、文章「目的」が見出し文であり、文章「文書間の類似度を計算する」が内容文であることが示される。

文章構造ＤＢ１０３は、文書に含まれる各文章の構造の情報を格納する記憶部である。図５は、文章構造ＤＢのデータ構造の一例を示す図である。図５に示すように、この文章構造ＤＢ１０３は、文書ＩＤと、文章構造とを対応付ける。文書ＩＤは、文書を一意に識別する情報である。文章構造は、文章の構造に関する情報である。文章の構造に関する情報は、例えば、文書上の文章の位置やフォントサイズの情報が含まれる。

例えば、図５の１行目のレコードについて説明する。文書ＩＤ「１」に含まれる文章「目的」の先頭の位置は、基準位置から「１」つ後ろの位置である。文章「目的」のフォントサイズは「２４」である。

図５の２行目のレコードについて説明する。文書ＩＤ「１」に含まれる文章「文書間の類似度を計算」の先頭の位置は、基準位置から「２」つ後ろの位置である。文章「文書間の類似度を計算」のフォントサイズは「２０」である。

見出し文らしさＤＢ１０４は、文章の見出し文らしさの情報を格納する記憶部である。図６は、見出し文らしさＤＢのデータ構造の一例を示す図である。図６に示すように、この見出し文らしさＤＢ１０４は、文書ＩＤと文書構造と見出し文らしさとを対応付ける。文書ＩＤは、文書を一意に識別する情報である。文章構造は、文章の構造に関する情報である。見出し文らしさは、見出し文らしさを数値化したものであり、数値が大きいほど、より見出し文らしいことを意味する。見出し文らしさを算出する処理は後述する。

図１の説明に戻る。文章構造抽出部１１０は、文書ＤＢ１０１に格納された文書データを取得し、取得した文書データに含まれる各文章に対して構造解析を実行することで、文章の構造に関する情報を抽出する処理部である。文章の構造に関する情報には、文書上の文章の位置や、文章のフォントサイズが含まれる。

文章構造抽出部１１０は、文章を含む文書の文書ＩＤと、文章構造の情報を、文書構造ＤＢ１０３に格納する。また、文章構造抽出部１１０は、文書ＩＤと、文章構造の情報とを、評価部１２０に出力する。文章構造抽出部１１０は、文書ＤＢ１０１に格納された各文書データについて、上記処理を繰り返し実行する。

評価部１２０は、文書データに含まれる文章の位置、文章のフォントサイズ、文字数、記号の有無に基づいて、文章の見出し文らしさを評価する処理部である。評価部１２０は、評価結果を、見出し文らしさＤＢ１０４に格納する。

例えば、評価部１２０は、式（１）に基づいて、文章の見出し文らしさｙを算出する。式（１）において、ｘ１は、文章の位置の相対値を示す。ｘ２は、文章のフォントサイズの相対値を示す。ｘ３は、文章の文字数の逆数により求められる値である。ｘ４は、文章の先頭に記号が含まれるか否かにより決定される値である。ａ、ｂ、ｃ、ｄは、後述する重み算出部１３０により通知される重みである。

ｙ＝ａｘ１＋ｂｘ２＋ｃｘ３＋ｄｘ４・・・（１）

ｘ１について説明する。評価部１２０は、式（２）に基づいて、ｘ１の値を算出する。

ｘ１＝（種別数＋１−相対順位）／種別数・・・（２）

図７は、評価部の処理を説明するための図である。図７に示す例では、文書データ１６に文章１６ａ、１６ｂ、１６ｃ、１６ｄが含まれる。ここでは一例として、評価部１２０が、文章１６ａのｘ１の値を算出する場合について説明する。

式（２）の「種別数」は、文書データ１６に、文章の開始位置が、何種類あるかを示す数である。図７に示す例では、文章１６ａの開始位置と、文章１６ｂの開始位置が含まれ、文章１６ｂ〜１６ｄの開始位置は同じである。このため、種別数は「２」となる。

式（２）の「相対順位」は、見出し文らしさを算出する文章１６ａの位置と、他の文章１６ｂ〜１６ｄの相対位置に基づき決定される順位である。例えば、文章１６ａの先頭位置を「１」とし、文章１６ｂ〜１６ｄの先頭位置を「２」とする。この場合には、文章１６ａの位置が他の文章１６ｂ〜１６ｄと比較して最も先頭に位置しているため、文章１６ａの相対順位は「１」となる。

ｘ２について説明する。評価部１２０は、式（３）に基づいて、ｘ２の値を算出する。

ｘ２＝（種別数＋１−相対順位）／種別数・・・（３）

式（３）の「種別数」は、文書データ１６で用いられるフォントサイズの種別数を示すものである。図７において、例えば、文章１６ａのフォントサイズが「２４」であり、文章１６ｂ〜１６ｄのフォントサイズが「２０」である場合には、種別数は「２」となる。

式（３）の「相対順位」は、見出し文らしさを算出する文章１６ａのフォントサイズが、他の文章１６ｂ〜１６ｄのフォントサイズと比較して、何番目に大きいフォントサイズであるかを示す順位である。例えば、文章１６ａのフォントサイズが、他の文章１６ｂ〜１６ｄのフォントサイズと比較して一番大きい場合には、文書１６ａの相対順位は「１」となる。

ｘ３について説明する。評価部１２０は、式（４）に基づいて、ｘ３の値を算出する。式（４）に含まれる文字数は、見出し文らしさを算出する文章１６ａの文字数「３」となる。

ｘ３＝（文字数）^１／４・・・（４）

ｘ４について説明する。評価部１２０は、下記の条件に基づいて、ｘ４の値を特定する。評価部１２０は、文章１６ａに所定の記号が含まれている場合には、ｘ４の値を「１」とする。評価部１２０は、文章１６ａに所定の記号が含まれていない場合には、ｘ４の値を「０」に設定する。所定の記号は「・」等であり、利用者に予め設定される。

上記に示す例では、評価部１２０は、文章１６ａに対する見出し文らしさを算出する例を説明したが、文章１６ｂ〜１６ｄ、その他の文章についても、同様に見出し文らしさを算出する。

重み算出部１３０は、上述した評価部１２０が利用する重みａ、ｂ、ｃ、ｄを算出する処理部である。重み算出部１３０は、下記の第１制約条件および第２制約条件に近づくように、重みａ、ｂ、ｃ、ｄの値を変更しつつ、重回帰分析を行い、重みａ、ｂ、ｃ、ｄの最適値を探索する。重み算出部１３０は、算出した重みａ、ｂ、ｃ、ｄの情報を、評価部１２０に出力する。

第１制約条件：モデル構築用文書ＤＢ１０２に含まれる、見出し文の文章に対して、式（１）による値が、１に近づく。
第２制約条件：モデル構築用文書ＤＢ１０２に含まれる、内容文の文章に対して、式（１）による値が、０に近づく。

検索文書入力部１４０は、検索対象となる文書データの入力を受け付ける処理部である。また、検索文書入力部１４０は、検索対象となる文書データの入力を受け付けた場合に、上述した文章構造抽出１１０および評価部１２０と同様の処理を実行し、文書データに含まれる各文章の見出し文らしさを算出する。

検索文書入力部１４０は、検索対象となる文書データに関する情報を、判別部１６０に出力する。例えば、検索対象となる文書データに関する情報は、検索対象となる文書データに含まれる各文章と、各文章の見出し文らしさとを含む。以下の説明では適宜、検索対象となる文書データを、検索文書データと表記する。

比較文書入力部１５０は、比較対象になる文書データに関する情報を、判別部１６０に出力する処理部である。例えば、比較文書入力部１５０は、文章構造ＤＢ１０３から、未選択の文書ＩＤを選択し、選択した文書ＩＤに紐付く文章構造のデータを、判別部１６０に出力する。以下の説明では適宜、比較対象となる文書データを、比較文書データと表記する。

判別部１６０は、検索文書データに関する情報と、比較文書データに関する情報とを基にして、検索文書データおよび比較文書データの文章について、見出し文であるか、内容文で有るかを判別する処理部である。以下において、判別部１６０の処理を具体的に説明する。

判別部１６０は、検索文書データに含まれる文章のうち、見出し文らしさが閾値以上となる文章を、見出し文候補文章として選択する。また、判別部１６０は、比較文書データに含まれる文章のうち、見出し文らしさが閾値以上となる文章を、見出し文候補文章として選択する。

判別部１６０は、検索文書データに含まれる各見出し文候補文章と、比較文書データに含まれる各見出し文候補文章とを比較し、編集距離が閾値未満となる見出し文候補文章のペアが存在するか否かを判定する。判別部１６０は、編集距離が閾値未満となる見出し文候補文章のペアが存在する場合には、ペアとなる見出し文候補文章を、見出し文であると特定する。判別部１６０は、見出し文であると特定した文章以外を、内容文として特定する。

ここで、編集距離は、文章同士がどの程度一致するかを示す距離であり、一文字異なる毎に、編集距離に１が加算される。文章同士が完全一致する場合には、編集距離は「０」となる。理想的には、判別部１６０は、編集距離が「０」となる見出し文候補文章を、見出し文であると特定しても良い。編集距離は、一致度合いの一例である。

図８は、判定部の処理を説明するための図である。図８に示す例では、検索文書データ２０に、見出し文候補文章２１，２２，２３，２４，２５，２６，２７が含まれるものとする。また、比較文書データ４０に、見出し文候補文章４１，４２，４３，４４，４５，４６，４７が含まれるものとする。

判別部１６０は、見出し文候補文章２１と見出し文候補文章４１とを比較すると、各見出し文候補文章２１，４１のペアの編集距離が「０」となる。このため、判別部１６０は、見出し文候補文章２１と見出し文候補文章４１とを、見出し文であると特定する。判別部１６０は、他の見出し文候補文章２２〜２７、４２〜４７についても同様に、見出し文であると特定する。

判別部１６０は、見出し文と特定しなかった他の文章は、内容文であると判定する。例えば、判別部１６０は、検索文書データ２０の文章２８，２９，３０，３１を内容文と判定する。判別部１６０は、比較文書データ４０の文章４８、４９を内容文と判定する。

判別部１６０は、判別結果の情報を類似度算出部１７０に出力する。判別結果の情報には、検索文書データに含まれる各文章と、各文章が見出し文であるか、内容文であるかを示す情報が含まれる。また、判別結果の情報には、比較文書データに含まれる各文章と、各文章が見出し文であるか、内容文であるかを示す情報が含まれる。

判別部１６０は、比較文書入力部１５０から、新たな比較文書データに関する情報を取得する度に、既に取得している検索文書データと、新たな比較文書データとを基にして、比較文書データの文章が見出し文であるか内容文であるかを判別する。

類似度算出部１７０は、判別部１６０の判別結果の情報を基にして、形式的な類似度と、内容的な類似度とをそれぞれ算出する処理部である。

類似度算出部１７０が、形式的な類似度を算出する処理について説明する。類似度算出部１７０は、検索文書データの各見出し文と、比較文書データの各見出し文とを比較し、一致する見出し文の数を、形式的な類似度として算出する。

類似度算出部１７０が、内容的な類似度を算出する処理について説明する。類似度算出部１７０は、検索文書データに含まれる内容文について、単語と単語の出現回数とを基にして、検索文書データのベクトルを求める。また、類似度算出部１７０は、比較文書データに含まれる内容文について、単語と単語の出現回数とを基にして、比較文書データのベクトルを求める。類似度算出部１７０は、検索文書データのベクトルと、比較文書データのベクトルとを比較して、ベクトル間のコサイン距離を求め、求めたコサイン距離を、内容的な類似度として算出する。

類似度算出部１７０は、内容的な類似度が第１閾値以上である場合には、検索文書データと、比較文書データとが、内容的に類似すると判定する。一方、類似度算出部１７０は、内容的な類似度が第１閾値未満であり、かつ、形式的な類似度が第２閾値以上である場合には、検索文書データと、比較文書データとが、形式的に類似すると判定する。類似度算出部１７０は、内容的な類似度が第１閾値未満であり、かつ、形式的な類似度が第２閾値未満である場合には、検索文書データと、比較文書データとが、類似していないと判定する。

類似度算出部１７０は、各比較文書データについて、上記処理を繰り返し実行し、各比較文書データが、内容的に類似しているのか、形式的に類似しているのか、類似していないのかを判定し、各比較文書データを分類する。例えば、類似度算出部１７０は、形式的に類似する比較文書データの組と、内容的に類似する比較文書データの組とを区別して、表示装置等に出力してもよい。

次に、本実施例１に係る文書検索装置１００の処理手順について説明する。図９は、本実施例１に係る文書検索装置の処理手順を示すフローチャートである。図９に示すように、この文書検索装置１００の比較文書入力部１５０は、未選択の比較文書データが存在するか否かを判定する（ステップＳ１０１）。未選択の比較文書データが存在しない場合には（ステップＳ１０１，Ｎｏ）、文書検索装置１００は処理を終了する。

一方、比較文書入力部１５０は、未選択の比較文書データが存在する場合には（ステップＳ１０１，Ｙｅｓ）、未選択の比較文書データを選択する（ステップＳ１０２）。文書検索装置１００の判別部１６０は、見出し文らしさが閾値以上となる文章間の編集距離を計算する（ステップＳ１０３）。判別部１６０は、編集距離が閾値未満の文章を見出し文と判定し、見出し文以外の文章を内容文として判別する（ステップＳ１０４）。

文書検索装置１００の類似度算出部１７０は、検索文書データと、比較文書データとの間で、形式的な類似度と、内容的な類似度を計算する（ステップＳ１０５）。類似度算出部１７０は、内容的な類似度が第１閾値以上である場合には（ステップＳ１０６，Ｙｅｓ）、検索文書データと、比較文書データとが内容的に類似していると判定し（ステップＳ１０７）、ステップＳ１０１に移行する。

一方、類似度算出部１７０は、内容的な類似度が第１閾値未満である場合には（ステップＳ１０６，Ｎｏ）、ステップＳ１０８に移行する。類似度算出部１７０は、形式的な類似度が第２閾値以上である場合には（ステップＳ１０８，Ｙｅｓ）、検索文書データと、比較文書データとが形式的に類似していると判定し（ステップＳ１０９）、ステップＳ１０１に移行する。

一方、類似度算出部１７０は、形式的な類似度が第２閾値未満である場合には（ステップＳ１０８，Ｎｏ）、検索文書データと、比較文書データとが類似していないと判定し（ステップＳ１１０）、ステップＳ１０１に移行する。

次に、本実施例１に係る文書検索装置１００の効果について説明する。文書検索装置１００は、文書データに含まれる文字の位置およびフォントサイズに基づき、文書データに含まれる文章について、見出し文らしさを評価し、評価結果を基にして、文章が見出し文であるか内容文であるかを判別する。このため、正しい分類結果に基づいた検索を行うことができる。例えば、検索対象となる文書データに内容的に類似する文書データと、形式的に類似する文書データとを区別して、利用者に通知することができる。

文書検索装置１００によれば、検索文書データに含まれる見出し文らしい文章と、比較文書データに含まれる見出し文らしい文章とを比較し、比較した文章の編集距離に基づいて、検索文書データおよび比較文書データに含まれる見出し文らしい文章が、見出し文であるか否かを判別する。これにより、検索文書データおよび比較文書データに含まれる文章が、見出し文であるのか内容文であるのかを正確に判定することができる。

文書検索装置１００によれば、例えば、文書データに含まれる文章が前方に位置するほど、文章はより見出し文らしいと評価する。また、文書検索装置１００によれば、文書データに含まれる文章のサイズが大きいほど、前記文章はより見出し文らしいと評価する。このため、より正確に見出し文となる文章を特定することができる。

文書検索装置１００によれば、検索文書データの見出し文と比較文書データの見出し文との形式的な類似度を算出し、検索文書データの内容文と比較文書データの内容文との内容的な類似度を算出し、類似度の情報を出力する。このため、検索文書データに類似する比較文書データが、内容的に類似するものなのか、形式的に類似するものなのかを、利用者が把握することができる。

ところで、上述した実施例１では、文書検索装置１００の類似度算出部１７０は、検索文書データと、比較文書データとが、内容的に類似しているのか、形式的に類似しているのか、類似していないのかを判定していたが、これに限定されるものではない。例えば、類似度算出部１７０は、内容的な類似度が、第１閾値以上であり、かつ、形式的な類似度が、第２閾値以上である場合には、検索文書データと、比較文書データとが、形式的にも内容的にも類似していると判定し、出力しても良い。

次に、本実施例２に係る文書検索装置の構成について説明する。図１０は、本実施例２に係る文書検索装置の構成を示す機能ブロック図である。図１０に示すように、この文書検索装置２００は、文書ＤＢ２０１と、モデル構築用文章ＤＢ２０２と、文章構造ＤＢ２０３と、文章構造抽出部２１０と、評価部２２０と、重み算出部２３０とを有する。また、文書検索装置２００は、検索文書入力部２４０と、比較文書入力部２５０と、類似度算出部２６０とを有する。

文書ＤＢ２０１は、比較対象となる複数の文書の情報を格納する記憶部である。例えば、文書ＤＢ２０１のデータ構造は、図２で説明した文書ＤＢ１０１のデータ構造と同様であるため、説明を省略する。

モデル構築用文章ＤＢ２０２は、予め準備された文書について、文書に含まれる文章が、見出し文であるのか、内容文であるのかを予め定義した情報を格納する記憶部である。モデル構築用文章ＤＢ２０２のデータ構造は、図４で説明したモデル構築用文章ＤＢ１０２のデータ構造と同様であるため、説明を省略する。

文章構造ＤＢ２０３は、文書に含まれる各文章と、文章が見出し文であるか、内容文であるかの情報を格納する記憶部である。図１１は、本実施例２に係る文章構造ＤＢのデータ構造の一例を示す図である。図１１に示すように、この文章構造ＤＢ２０３は、文書ＩＤと、文章と、ラベルとを対応付ける。文書ＩＤは、文書を一意に識別する情報である。文章は、文書に含まれる文章に対応する。ラベルは、文章が見出し文であるか、内容文であるかを識別する情報である。例えば、ラベルが「１」である場合には、文章が見出し文であることを示す。ラベルが「０」である場合には、文章が内容文であることを示す。図１１に示す例では、文章「目的」が見出し文であり、文章「文書間の類似度を計算する」が内容文であることが示される。

文章構造抽出部２１０は、文書ＤＢ２０１に格納された文書データを取得し、取得した文書データに含まれる各文章に対して構造解析を実行することで、文章の構造に関する情報を抽出する処理部である。文章の構造に関する情報は、文書上の文章の位置や、文章のフォントサイズが含まれる。

文章構成抽出部２１０は、文書ＩＤと、文章構造の情報とを、評価部２２０に出力する。

評価部２２０は、文書データに含まれる文章の位置、文章のフォントサイズ、文字数、記号の有無に基づいて、文章の見出し文らしさを評価する処理部である。評価部２２０が、文章の見出し文らしさを評価する処理は、実施例１で説明した評価部１２０と同様である。

評価部２２０は、文章の見出し文らしさを評価する処理を実行した後に、見出し文らしさと閾値との比較により、文章が見出し文であるのか、内容文であるのかを判別する。評価部２２０は、見出し文らしさが閾値以上である文章を、見出し文であると判定する。評価部２２０は、見出し文らしさが閾値未満である文章を、内容文であると判定する。評価部２２０は、文書に含まれる各文章について上記の処理を繰り返し実行し、処理結果を、文章構造ＤＢ２０３に格納する。

重み算出部２３０は、評価部２２０が利用する重みａ、ｂ、ｃ、ｄを算出する処理部である。重み算出部２３０の処理は、実施例１で説明した重み算出部１３０の処理と同様である。

検索文書入力部２４０は、検索対象となる文書データの入力を受け付ける処理部である。また、検索文書入力部２４０は、検索対象となる文書データの入力を受け付けた場合に、上述した文章構造抽出２１０および評価部２２０と同様の処理を実行し、文書データに含まれる各文章が、見出し文であるか、内容文であるかを判別する。

検索文書入力部２４０は、検索対象となる文書データに関する情報を、類似度算出部２６０に出力する。例えば、検索対象となる文書データに関する情報は、検索対象となる文書データに含まれる各文章と、各文章が見出し文であるのか、内容文であるかの情報を含む。以下の説明では適宜、検索対象となる文書データを、検索文書データと表記する。

比較文書入力部２５０は、比較対象になる文書データに関する情報を、類似度算出部２６０に出力する処理部である。例えば、比較文書入力部２５０は、文章構造ＤＢ２０３から、未選択の文書ＩＤを選択し、選択した文書ＩＤに紐付く各文章および文章が見出し文であるのか、内容文であるのかの情報を、類似度算出部２６０に出力する。以下の説明では適宜、比較対象となる文書データを、比較文書データと表記する。

類似度算出部２６０は、検索文書データと、比較文書データとを基にして、形式的な類似度と、内容的な類似度とをそれぞれ算出する処理部である。

類似度算出部２６０が、形式的な類似度を算出する処理について説明する。類似度算出部２６０は、検索文書データの各見出し文と、比較文書データの各見出し文とを比較し、一致する見出し文の数を、形式的な類似度として算出する。

類似度算出部２６０が、内容的な類似度を算出する処理について説明する。類似度算出部２６０は、検索文書データに含まれる内容文について、単語と単語の出現回数とを基にして、検索文書データのベクトルを求める。また、類似度算出部２６０は、比較文書データに含まれる内容文について、単語と単語の出現回数とを基にして、比較文書データのベクトルを求める。類似度算出部２６０は、検索文書データのベクトルと、比較文書データのベクトルとを比較して、ベクトル間のコサイン距離を求め、求めたコサイン距離を、内容的な類似度として算出する。

類似度算出部２６０は、内容的な類似度が第１閾値以上である場合には、検索文書データと、比較文書データとが、内容的に類似すると判定する。一方、類似度算出部２６０は、内容的な類似度が第１閾値未満であり、かつ、形式的な類似度が第２閾値以上である場合には、検索文書データと、比較文書データとが、形式的に類似すると判定する。類似度算出部２６０は、内容的な類似度が第１閾値未満であり、かつ、形式的な類似度が第２閾値未満である場合には、検索文書データと、比較文書データとが、類似していないと判定する。

類似度算出部２６０は、各比較文書データについて、上記処理を繰り返し実行し、各比較文書データが、内容的に類似しているのか、形式的に類似しているのか、類似していないのかを判定し、各比較文書データを分類する。例えば、類似度算出部２６０は、形式的に類似する比較文書データの組と、内容的に類似する比較文書データの組とを区別して、表示装置等に出力してもよい。

次に、本実施例２に係る文書検索装置２００の処理手順について説明する。図１２は、本実施例２に係る文書検索装置の処理手順を示すフローチャートである。図１２に示すように、この文書検索装置２００の比較文書入力部２５０は、未選択の比較文書データが存在するか否かを判定する（ステップＳ２０１）。未選択の比較文書データが存在しない場合には（ステップＳ２０１，Ｎｏ）、文書検索装置２００は処理を終了する。

一方、比較文書入力部２５０は、未選択の比較文書データが存在する場合には（ステップＳ２０１，Ｙｅｓ）、未選択の比較文書データを選択する（ステップＳ２０２）。

文書検索装置２００の類似度算出部２６０は、検索文書データと、比較文書データとの間で、形式的な類似度と、内容的な類似度とを計算する（ステップＳ２０３）。類似度算出部２６０は、内容的な類似度が第１閾値以上である場合には（ステップＳ２０４，Ｙｅｓ）、検索文書データと、比較文書データとが内容的に類似していると判定し（ステップＳ２０５）、ステップＳ２０１に移行する。

一方、類似度算出部２６０は、内容的な類似度が第１閾値未満である場合には（ステップＳ２０４，Ｎｏ）、ステップＳ２０６に移行する。類似度算出部２６０は、形式的な類似度が第２閾値以上である場合には（ステップＳ２０６，Ｙｅｓ）、検索文書データと、比較文書データとが形式的に類似していると判定し（ステップＳ２０７）、ステップＳ２０１に移行する。

一方、類似度算出部２６０は、形式的な類似度が第２閾値未満である場合には（ステップＳ２０６，Ｎｏ）、検索文書データと、比較文書データとが類似していないと判定し（ステップＳ２０８）、ステップＳ２０１に移行する。

次に、本実施例２に係る文書検索装置２００の効果について説明する。文書検索装置２００は、文章の見出し文らしさと閾値との比較により、文章が見出し文であるか、内容文であるかを判別しておき、判別結果を基にして、形式的な類似度と内容的な類似度を算出する。実施例１の場合と比較して、見出し文らしい文章同士を比較して、見出し文であるか否かを判別する処理を省略するため、計算コストを抑止しつつ、正しい分類結果に基づいた検索を行うことができる。

続いて、発明者の実験結果について説明する。発明者は、下記の条件１〜３のそれぞれについて、類似する文書データを検索する実験を行った。
条件１：従来技術により、検索文書データに類似する比較文書データを検索。
条件２：実施例２の文書検索装置２００を用いて検索文書データと「内容的に類似する」比較文書データを検索。
条件３：実施例１の文書検索装置１００を用いて検索文書データと「内容的に類似する」比較文書データを検索。

図１３は、実験結果を説明するための図である。図１３では、一例として、検索された比較文書データのうち、類似度が上位５０件に入る比較文書データについて、実際に、内容的に類似するものの件数と、形式的に類似するものの件数と、類似しないものの件数との関係を示す。

条件１では、３１件が内容的に類似する比較文書データであり、１１件が形式的に類似する比較文書データであり、８件が非類似の比較文書データであった。このため、適切に内容的に類似する文書データを検出できた割合は「３１／５０＝６２％」となる。

条件２では、３９件が内容的に類似する比較文書データであり、１件が形式的に類似する比較文書データであり、１０件が非類似の比較文書データであった。このため、適切に内容的に類似する文書データを検出できた割合は「３９／５０＝７８％」となる。

条件３では、４４件が内容的に類似する比較文書データであり、２件が形式的に類似する比較文書データであり、４件が非類似の比較文書データであった。このため、適切に内容的に類似する文書データを検出できた割合は「４４／５０＝８８％」となる。

図１３の実験結果に示すように、従来技術と比較して、文書検索装置１００，２００は、適切に文書データを検出可能であることがわかる。

次に、上記実施例に示した文書検索装置１００，２００と同様の機能を実現する文書検索プログラムを実行するコンピュータの一例について説明する。図１４は、文書検索プログラムを実行するコンピュータの一例を示す図である。

図１４に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、評価プログラム３０７ａ、判別プログラム３０７ｂ、類似度算出プログラム３０７ｃを有する。ＣＰＵ３０１は、評価プログラム３０７ａ、判別プログラム３０７ｂ、類似度算出プログラム３０７ｃを読み出してＲＡＭ３０６に展開する。

評価プログラム３０７ａは、評価プロセス３０６ａとして機能する。判別プログラム３０７ｂは、判別プロセス３０６ｂとして機能する。類似度算出プログラム３０７ｃは、類似度算出プロセス３０６ｃとして機能する。

評価プロセス３０６ａの処理は、評価部１２０，２２０の処理に対応する。判別プロセス３０６ｂの処理は、判別部１６０の処理に対応する。類似度算出プロセス３０６ｃの処理は、類似度算出部１７０，２６０の処理に対応する。

なお、評価プログラム３０７ａ、判別プログラム３０７ｂ、類似度算出プログラム３０７ｃについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ〜３０７ｃを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータが実行する文書検索方法であって、
文書データに含まれる文章の位置および前記文章のサイズに基づき、前記文書データに含まれる各文章について、前記文章の見出し文らしさを評価し、
前記文章の見出し文らしさの評価結果を基にして、前記文書データに含まれる文章が見出し文であるか、内容文であるかを判別する
処理を実行することを特徴とする文書検索方法。

（付記２）前記判別する処理は、第１文書データに含まれる見出し文らしい文章と、第２文書データに含まれる見出し文らしい文章とを比較し、比較した文章の一致度合いに基づいて、前記第１文書データおよび前記第２文書データに含まれる見出し文らしい文章が、見出し文であるか否かを判別することを特徴とする付記１に記載の文書検索方法。

（付記３）前記評価する処理は、前記文書データに含まれる文章が前方に位置するほど、前記文章はより見出し文らしいと評価することを特徴とする付記１または２に記載の文書検索方法。

（付記４）前記評価する処理は、前記文書データに含まれる文章のサイズが大きいほど、前記文章はより見出し文らしいと評価することを特徴とする付記１、２または３に記載の文書検索方法。

（付記５）第１文書データに含まれる見出し文と第２文書データに含まれる見出し文との第１類似度を算出し、前記第１文書データに含まれる内容文と前記第２文書データに含まれる内容文との第２類似度を算出し、算出した前記第１類似度および前記第２類似度の情報を出力する処理を更に実行することを特徴とする付記１〜４のいずれか一つに記載の文書検索方法。

（付記６）コンピュータに、
文書データに含まれる文章の位置および前記文章のサイズに基づき、前記文書データに含まれる各文章について、前記文章の見出し文らしさを評価し、
前記文章の見出し文らしさの評価結果を基にして、前記文書データに含まれる文章が見出し文であるか、内容文であるかを判別する
処理を実行させることを特徴とする文書検索プログラム。

（付記７）前記判別する処理は、第１文書データに含まれる見出し文らしい文章と、第２文書データに含まれる見出し文らしい文章とを比較し、比較した文章の一致度合いに基づいて、前記第１文書データおよび前記第２文書データに含まれる見出し文らしい文章が、見出し文であるか否かを判別することを特徴とする付記６に記載の文書検索プログラム。

（付記８）前記評価する処理は、前記文書データに含まれる文章が前方に位置するほど、前記文章はより見出し文らしいと評価することを特徴とする付記６または７に記載の文書検索プログラム。

（付記９）前記評価する処理は、前記文書データに含まれる文章のサイズが大きいほど、前記文章はより見出し文らしいと評価することを特徴とする付記６、７または８に記載の文書検索プログラム。

（付記１０）第１文書データに含まれる見出し文と第２文書データに含まれる見出し文との第１類似度を算出し、前記第１文書データに含まれる内容文と前記第２文書データに含まれる内容文との第２類似度を算出し、算出した前記第１類似度および前記第２類似度の情報を出力する処理を更に実行することを特徴とする付記６〜９のいずれか一つに記載の文書検索プログラム。

（付記１１）文書データに含まれる文章の位置および前記文章のサイズに基づいて、前記文書データに含まれる各文章について、前記文章の見出し文らしさを評価し、評価結果を基にして、前記文書データに含まれる文章が見出し文であるか、内容文であるかを判別する評価部
を有することを特徴とする文書検索装置。

（付記１２）第１文書データに含まれる見出し文らしい文章と、第２文書データに含まれる見出し文らしい文章とを比較し、比較した文章の一致度合いに基づいて、前記第１文書データおよび前記第２文書データに含まれる見出し文らしい文章が、見出し文であるか否かを判別する判別部を更に有することを特徴とする付記１１に記載の文書検索装置。

（付記１３）前記評価部は、前記文書データに含まれる文章が前方に位置するほど、前記文章はより見出し文らしいと評価することを特徴とする付記１１または１２に記載の文書検索装置。

（付記１４）前記評価部は、前記文書データに含まれる文章のサイズが大きいほど、前記文章はより見出し文らしいと評価することを特徴とする付記１１、１２または１３に記載の文書検索装置。

（付記１５）第１文書データに含まれる見出し文と第２文書データに含まれる見出し文との第１類似度を算出し、前記第１文書データに含まれる内容文と前記第２文書データに含まれる内容文との第２類似度を算出し、算出した前記第１類似度および前記第２類似度の情報を出力する類似度算出部を更に有することを特徴とする付記１１〜１４のいずれか一つに記載の文書検索装置。

１００，２００ 文書検索装置
１１０，２１０ 文章構造抽出部
１２０，２２０ 評価部
１３０，２３０ 重み算出部
１６０ 判別部
１７０，２６０ 類似度算出部

Claims (7)

1. コンピュータが実行する文書検索方法であって、
   文書データに含まれる文章の位置および前記文章のサイズに基づき、前記文書データに含まれる各文章について、前記文章の見出し文らしさを評価し、
   前記文章の見出し文らしさの評価結果を基にして、前記文書データに含まれる文章が見出し文であるか、内容文であるかを判別する
   処理を実行することを特徴とする文書検索方法。
2. 前記判別する処理は、第１文書データに含まれる見出し文らしい文章と、第２文書データに含まれる見出し文らしい文章とを比較し、比較した文章の一致度合いに基づいて、前記第１文書データおよび前記第２文書データに含まれる見出し文らしい文章が、見出し文であるか否かを判別することを特徴とする請求項１に記載の文書検索方法。
3. 前記評価する処理は、前記文書データに含まれる文章が前方に位置するほど、前記文章はより見出し文らしいと評価することを特徴とする請求項１または２に記載の文書検索方法。
4. 前記評価する処理は、前記文書データに含まれる文章のサイズが大きいほど、前記文章はより見出し文らしいと評価することを特徴とする請求項１、２または３に記載の文書検索方法。
5. 第１文書データに含まれる見出し文と第２文書データに含まれる見出し文との第１類似度を算出し、前記第１文書データに含まれる内容文と前記第２文書データに含まれる内容文との第２類似度を算出し、算出した前記第１類似度および前記第２類似度の情報を出力する処理を更に実行することを特徴とする請求項１〜４のいずれか一つに記載の文書検索方法。
6. コンピュータに、
   文書データに含まれる文章の位置および前記文章のサイズに基づき、前記文書データに含まれる各文章について、前記文章の見出し文らしさを評価し、
   前記文章の見出し文らしさの評価結果を基にして、前記文書データに含まれる文章が見出し文であるか、内容文であるかを判別する
   処理を実行させることを特徴とする文書検索プログラム。
7. 文書データに含まれる文章の位置および前記文章のサイズに基づいて、前記文書データに含まれる各文章について、前記文章の見出し文らしさを評価し、評価結果を基にして、前記文書データに含まれる文章が見出し文であるか、内容文であるかを判別する評価部
   を有することを特徴とする文書検索装置。

Images