JP2007286961A - 文書属性抽出装置及び文書属性抽出プログラム - Google Patents

Abstract

【課題】 文書との関連度に基づいて、文書属性を抽出する文書属性抽出装置及び文書属性抽出プログラムを得る。
【解決手段】 文字が記述された文書を解析して文字が記述されている文字記述領域を決定するレイアウト解析手段と、属性定義情報が格納された属性定義ＤＢと、上記属性定義ＤＢに格納された属性定義情報を用いて、上記レイアウト解析手段で決定された文字記述領域内から文書属性を抽出する文書属性抽出手段と、文書属性が抽出された文字記述領域に応じて、上記文書属性抽出手段で抽出された文書属性と上記文書との関連度を判定する属性関連度判定手段と、上記属性関連度判定手段で判定された関連度に基づいて、上記文書属性抽出手段で抽出された文書属性から所定の文書属性のみを出力する出力手段とを備えるようにした。
【選択図】 図１

Description

この発明は、コンピュータで読取可能な文書・イメージ中に記述された固有表現や日時・組織名等の特定文字列を文書属性として自動抽出する文書属性抽出技術に関するものである。

インターネットを通じて発信される文書数は膨張の一途であり、世界各地のニュースから掲示板・個人のブログまで多種多様である。企業においては、社内に存在する多量の文書を電子化して一元管理・共有化するファイリングシステムが活用されている。このような膨大かつ多様な情報の中からユーザが特定情報を調査するには、キーワード入力により全文検索を実行し、ヒットした文書のタイトル、ヒット位置周辺文字列等を数十件ずつ表示する汎用的な検索エンジン・検索サイトの利用が主であった。そのため、ユーザは各ヒット文書をリスト上位から順に閲覧して内容を確認する必要があった。このような調査方法では、例えば、ある地域における事象や、特定期間の製品情報の調査などを目的として、地名・製品名等をキーワードに指定して検索した場合、関連性の低い文書でも該当地名・製品名が記述されているとヒットするために、内容確認のための閲覧文書数が膨大となり、効率的に調査できない課題があった。そこで、これを改善して文書を効率的に管理するために、地名・作成者・会社名等の固有表現や日付・製品名等の文字列を文書属性（メタ情報）として自動抽出し、各文書に付与するための手法が従来提案されてきた。

例えば、従来、文書イメージ中の決められた領域内に記載された文字列を属性として自動抽出する方法がある。例えば、特開２００２−５５９８５公報（特許文献１）に開示された従来技術１では、文書属性抽出の際、入力文書イメージに加えて予めユーザが作成した文書属性抽出シートを使用する。文書属性入力シートには抽出する属性（文書のタイトル、作成者、企業・組織名等）の記載頁、記載領域、フォント、文字サイズ等を記入する。紙文書をスキャンするときは、文書属性抽出シートを紙文書の表紙にしてスキャンする。文書管理処理アプリケーションは、スキャンされたシートを識別及び解析し、そのシートに設定された文書属性種類及び各種文書属性の記載位置ＩＤと、エリア情報ＤＢ内の情報とを元にして、シートの後にスキャンされた紙文書から文書属性を抽出し、その紙文書のイメージ文書に付与する。

また、例えば、記載位置情報を使用せずに属性抽出する方法としては、例えば「テキストからの情報抽出（情報処理 40巻4号 P370〜373）」（非特許文献１）に開示された従来技術２がある。この従来技術２では、情報抽出の対象となる文書やその文字列をもとに情報抽出パターンを用意しておき、文書とのパターンマッチングにより情報を抽出する。例えば、「＠企業」の情報抽出パターンは「（固有名詞）または（カタカナ列）または（アルファベット列）」と文字列「株式会社」の組合せで定義する。本パターンを文書と照合することで、文書中から文字列「ＸＹＺ株式会社」を抽出することが可能となる。

特開２００２−５５９８５号公報（第３−７頁、第２図） 情報処理学会誌「情報処理」、40巻4号、1999年4月、P.370−373

上記従来技術１は、属性毎の記入領域が不定である文書には無効であり、また属性の記入領域が既知であっても異なる文書毎に文書属性抽出シートを作成する必要があった。また、領域内の文字列の内容を解析せずに属性抽出するため、例えば企業・組織名と作成者の記入位置を誤って記述した文書に対しては作成者属性に企業・組織名の文字列を登録するなど、正しく属性を抽出できないという問題があった。

また、上記従来技術２では、属性抽出時に記載位置情報を使用しないため、同一の情報抽出パターンで異なる記入領域の文書からの属性抽出が可能であるが、文書全体の内容を考慮せず、局所的な文字列パターンのみを考慮して属性を抽出するために、例えば文書中に広告や他の文書・情報の見出しなど、本文と関連のない内容が記述された文書を入力すると、本来は抽出を抑制したい広告や他の文書・情報の見出しからも属性を抽出してしまい、そのために属性検索で該当文書をノイズとして出力してしまうという問題があった。

この発明は上記のような問題を解決するためになされたもので、文書との関連度に基づいて、文書属性を抽出する文書属性抽出装置及び文書属性抽出プログラムを得ることを目的とする。

この発明に係る文書属性抽出装置は、文字が記述された文書を解析して文字が記述されている文字記述領域を決定するレイアウト解析手段と、属性定義情報が格納された属性定義ＤＢと、上記属性定義ＤＢに格納された属性定義情報を用いて、上記レイアウト解析手段で決定された文字記述領域内から文書属性を抽出する文書属性抽出手段と、文書属性が抽出された文字記述領域に応じて、上記文書属性抽出手段で抽出された文書属性と上記文書との関連度を判定する属性関連度判定手段と、上記属性関連度判定手段で判定された関連度に基づいて、上記文書属性抽出手段で抽出された文書属性から所定の文書属性のみを出力する出力手段とを備えるようにしたものである。

また、この発明に係る文書属性抽出プログラムは、文字が記述された文書を解析して文字が記述されている文字記述領域を決定するレイアウト解析手段と、属性定義情報を用いて、上記レイアウト解析手段で決定された文字記述領域内から文書属性を抽出する文書属性抽出手段と、文書属性が抽出された文字記述領域に応じて、上記文書属性抽出手段で抽出された文書属性と上記文書との関連度を判定する属性関連度判定手段と、上記属性関連度判定手段で判定された関連度に基づいて、上記文書属性抽出手段で抽出された文書属性から所定の文書属性のみを出力する出力手段としてコンピュータを機能させるようにしたものである。

この発明によれば、文字記述領域に応じて判定した文書属性と文書との関連度に基づいて、文書属性を出力するようにしたことにより、文書属性は、文字記述領域に応じて判定された関連度に基づいて出力されるので、文書との関連度の低い文書属性の抽出を抑制することができる効果がある。

実施の形態１．
図１は、本発明の実施の形態１における文書属性抽出装置の構成を示す構成図であり、本発明の説明に必要な部分のみを示している。
図１において、文書属性抽出装置は、入力手段１、レイアウト解析手段２、文書属性抽出手段３、属性関連度判定手段４、出力手段５、属性定義ＤＢ６および属性関連度定義ＤＢ７で構成されている。

入力手段１は、コンピュータ読取可能な文書を取得して所定領域に格納する。このコンピュータ読取可能な文書は、少なくとも文字が記述され、文字列、図面、イメージ等で構成された文書である。例えばコンピュータで動作するワープロソフトを用いて作成した文書ファイル、ＣＡＤソフトを用いて作成した図面ファイル、仕様・形式が公開されておりビューアを用いて閲覧することができるＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（eXtensible Markup Language）、ＰＤＦ（Portable Document Format）形式のファイル、ビットマップ等のイメージファイルなどがある。また、入力手段１の実現は、電子化されていない紙文書からビットマップ等の電子文書に変換するスキャナのほか、電子化された文書をコンピュータのハードディスクあるいは不揮発性記憶装置から文書を取得し、所定領域として、例えば、本発明を構成するコンピュータの指定フォルダに格納するソフトウエアで実現できる。

レイアウト解析手段２は、上記入力手段１で取得された文書を解析し、文字が記述されている１又は複数の文字記述領域を決定する。この文字記述領域が文書属性抽出の対象となる領域であり、ここでは、文書中に存在する文字の文字コードとその位置座標、および線分位置座標を解析して、各位置座標を用いて文書を複数の領域に領域分割して文字記述領域を決定すると共に、各文字記述領域に対応する文字を抽出する。

属性定義ＤＢ６は、属性定義情報が格納されている。ここでは、上記入力手段１で取得された文書から文書属性を抽出するための属性定義情報として、文字列の品詞を用いて属性を定義した属性抽出ルールが格納されている。属性抽出ルールは、ユーザが用途に応じて作成、変更可能に構成されている。

文書属性抽出手段３は、上記属性定義ＤＢ６に格納された属性定義情報を用いて、上記レイアウト解析手段２で決定された文字記述領域内から文書属性を抽出する。ここでは、上記入力手段１で取得された文書の文字列に形態素解析処理を実行し、その結果に対して上記属性定義ＤＢ６に格納された属性抽出ルールを用いた照合処理を行い、上記レイアウト解析手段２で決定された文字記述領域内から文書属性を抽出して出力する。

属性関連度定義ＤＢ７は、文字記述領域と文書との関連度とを定義する属性関連度定義情報が格納されている。ここでは、文字記述領域の条件と、当該条件に合致する場合にその文字記述領域と文書との関連度とを定義する属性関連度定義情報が格納されている。

属性関連度判定手段４は、文書属性が抽出された文字記述領域に応じて、上記文書属性抽出手段３で抽出された文書属性と上記文書との関連度を判定する。ここでは、上記属性関連度定義ＤＢ７に格納された属性関連度定義情報を用いて、上記文書属性抽出手段３で抽出された文書属性と上記文書との関連度を判定する。

出力手段５は、上記属性関連度判定手段４で判定された関連度に基づいて、上記文書属性抽出手段３で抽出された文書属性から所定の文書属性のみを出力する。ここでは、上記属性関連度判定手段４で判定された関連度に基づいて、上記文書属性抽出手段３で抽出された文書属性から上記入力手段１で取得された文書と関連のある文書属性のみを出力する。

上記入力手段１、レイアウト解析手段２、文書属性抽出手段３、属性関連度判定手段４及び出力手段５は、専用の電子回路を構成することで実現できる他、予め、上記入力手段１、レイアウト解析手段２、文書属性抽出手段３、属性関連度判定手段４及び出力手段５の処理内容を記述したプログラムをコンピュータシステムのメモリに格納し、当該コンピュータシステムにおける中央演算装置（以下ＣＰＵ）が上記プログラムを実行することによっても実現できる。さらに、属性定義ＤＢ６、属性関連度定義ＤＢ７はコンピュータで読取可能なファイル形式で実現でき、本体システムに内部バスあるいはネットワークにより接続された不揮発性記憶装置あるいはハードディスクに記憶される。

図２は、文書属性抽出装置の文書属性抽出処理の流れを表すフローチャートである。以下、図２を用いて処理の流れを説明する。
はじめに、入力手段１がコンピュータ読取可能な文書を取得する（Ｓ１００）。図３は、入力手段１が取得した文書の一例を示す説明図である。ここでは、文書としてＰＤＦファイルを用いる。図３では、エアコン発売のニュースリリースを文書の上部に、テレビ他の最新ニュースリリース一覧を下部に記述する。

続いて、レイアウト解析手段２が上記入力手段１で取得された文書のレイアウトを解析し、文字が記述されている文字記述領域を決定する（Ｓ２００）。まず、入力手段１が取得した文書から文字の文字コードとその位置座標を抽出する。抽出方法は、ＰＤＦのように仕様が公開されているファイルは、仕様に従い解析することで可能である。一方、仕様が公開されていないワープロソフト等で作成された文書は、文書を作成したアプリケーションからの印刷処理によってＰＤＦファイルを作成し、ＰＤＦを用いた文書解析により文字コード及び位置座標を抽出する。ビットマップ等のイメージファイルでは、公知である文字認識技術を用いることでイメージ内に記述された文字コードを抽出する。文書中に文字が記載されていても文字コードが埋め込まれていない、画像イメージのみのＰＤＦファイルに対しては、文書を画像処理可能なビットマップファイル等に変換した後、文字認識技術を用いて抽出する。

図４は、図３に示した文書から抽出された文字コードと位置座標の一例を示す説明図である。図４では、抽出した各文字と、その頁番号、および各文字座標（文字の位置座標）をｓｘ、ｓｙ、ｗ、ｈで記述する。ｓｘは各文字の外接矩形の左上点のＸ座標を示し、ｓｙは外接矩形左上点のＹ座標を、ｗは左上点からの横方向の幅を、ｈは左上点からの高さを示す。

次に、レイアウト解析手段２は文書中の線分の位置座標を抽出する。線分抽出も文字抽出と同様に、ＰＤＦを解析することで可能である。また、文書を画像処理可能なビットマップファイル等に変換した後、公知の処理である画像２値化処理を行い、画像内の黒画素の縦方向および横方向の連結成分を抽出し、各連結成分の縦横比を求め、縦横比が予め既定する閾値より大きな連結成分を線分と判定して抽出することでも可能である。図５は、図３に示した文書から抽出された線分の抽出結果の一例を示す説明図である。図５では、抽出した線分に番号（線番号）を付与し、線分座標（線分の位置座標）を図４と同様に頁番号および矩形座標ｓｘ、ｓｙ、ｗ、ｈを用いて記述する。

次に、レイアウト解析手段２は、抽出した文字座標と線分座標を用いて文書を頁毎に領域分割し、文字が記述されている文字記述領域を決定すると共に、各文字記述領域に対応する文字（文字列）を決定する。文字記述領域の決定方法は、（１）文書内の近接する文字同士を同一領域に統合していき、（２）線分で囲まれる領域を単一領域として抽出し、（３）他のどの線分とも交差しない線分を領域の境界線と位置付けて領域分割を行う。処理（１）から（３）の優先度を（２）＞（３）＞（１）として、抽出領域が重複する場合は優先度の高い結果に決定する。（１）では近接する文字外接矩形座標のシティブロック距離をそれぞれ算出して、距離の近い文字同士から次々に統合する。統合後の領域の外接矩形は、領域内の各文字の外接矩形を延長した際の最外矩形で囲まれる領域とする。

図６は、図４に示す文字座標から（１）の処理で抽出した領域の一例を示す説明図である。（１）の処理では、４１、４２、４３、４４、４５の５つの領域を抽出し、当該領域内の文字（文字列）を抽出する。

図７は、図４に示す文字座標と図５に示す線分座標から（２）の処理で抽出した領域の一例を示す説明図である。（２）の処理では図５に示す線分座標で囲まれる領域を算出し、４６の領域を抽出し、当該領域内の文字（文字列）を抽出する。

（３）の処理では図５に示す線分座標から交差しない線分を抽出して、その線分を領域の境界線と決定するが、図５に示す線分は全て交差するために、（３）の処理で領域は抽出しない。図６、図７に示す領域抽出結果と、各処理の優先度とから、レイアウト解析手段２は最終的に４１，４２，４３，４６を文字記述領域として決定する。また、各文字記述領域に対応する文字を抽出する。

次に、文書属性抽出手段３が属性抽出処理を行う（Ｓ３００）。図８は、属性定義ＤＢ６に格納された属性抽出ルールの一例を示す説明図である。図８に示した属性抽出ルールには、「日付」、「所在地」、「組織名」、「社長」の属性に関する抽出ルールが記述されている。例えば、属性「日付」２１は、２〜４桁の数字２２と、記号２３と、１〜２桁の数字２４と、記号２５と、１〜２桁の数字２６の組合せで定義される。また、属性「日付」２７は、２〜４桁の数字２８と、文字「年」２９と、１〜２桁の数字３０と、文字「月」３１と、１〜２桁の数字３２と、文字「日」３３の組合せで定義される。属性「社長」は、構成文字の品詞および付加情報が［名詞−固有名詞−人名］からなり、かつ文字列「社長」の近くにある文字列であると定義される。

図９は、文書属性抽出手段３の処理の流れを示すフローチャートである。図９を用いて文書属性抽出手段３の具体的な処理動作について説明する。

文書属性抽出手段３は、レイアウト解析手段２が抽出した文字記述領域内の文字の文字コードを用いて形態素解析処理を行う（Ｓ３１０）。形態素解析処理は日本文解析の公知の技術であるので詳細な動作の説明は省略するが、自然文を意味のある最小の単位に分解する処理である。文書属性抽出手段３は形態素解析処理によって文章を意味のある最小の単位の文字列（以下、最小文字列と呼ぶ）に分け、各文字列に対して品詞を割り当てる。

図１０および図１１は、図３に示す文書に対する文書属性抽出手段３の形態素解析処理の結果の一例を示す説明図である。図１０は領域４１、４２、４３の、図１１は領域４６の形態素解析結果を示す。図１０、１１に示すように、形態素解析処理の結果、各最小文字列に品詞および必要に応じた付加情報１〜３が付加される。付加情報１は、文字列の品詞が名詞である場合には、一般名詞、固有名詞等の名詞の種類を示す。付加情報２は文字列の品詞が名詞で、かつ付加情報１が固有名詞である場合には、固有名詞の種類を示す。例えば、組織、地域、人名等である。さらに必要な場合は付加情報３が付加される。付加情報３は例えば、付加情報２が「人名」のとき「姓」または「名」が付加される。

続いて、文書属性抽出手段３は属性抽出ルール照合処理を行う（Ｓ３２０）。具体的には、図１０、図１１に示した形態素解析結果に対して、図８に示した属性抽出ルールとの照合を行い、属性抽出ルールと一致する文字、品詞および付加情報１〜３を有する文字列にその属性を割り当てる。

例えば、「日付」の属性を割り当てる場合、図８の「日付」２１、２７に表す組合せと一致する組合せからなる文字列を図１０、図１１に示した形態素解析結果から抽出する。まず、「数字２〜４桁」（２２または２８）となる文字列を検索する。図１０の文頭１〜４文字「２００５」が「数字２〜４桁」（２２または２８）の文字列に当てはまるため、「２００５」を抽出する。続いて、「２００５」に続く文字が「記号」２３または「年」２９であるかを判定する。図１０では、「２００５」に続いて「年」が出現するので、ここまで「日付」２７の照合に成功して「年」を抽出する。以下、文書属性抽出手段３は「日付」２７との照合を行い、「日」３３まで抽出したところで全ての照合に成功し、文字列「２００５年１２月１６日」を属性「日付」２７に割り当てる。

同様に他の属性についても、図８の属性抽出ルールに従って文字列に属性を割り当てる。例えば、「組織名」の属性を割り当てる場合は、品詞−付加情報１−付加情報２が［名詞−固有名詞−組織］となる文字列を抽出して割り当てる。図１２は、図１０に示した形態素解析結果に対して属性を割り当てた属性抽出結果の一例を示す説明図である。図１２に示すように、文書属性抽出手段３は、属性「日付」を文字列「２００５年１２月１６日」に、属性「組織名」を文字列「○×電機」に、属性「所在地」を文字列「東京都千代田区○○○１−１−１」に、属性「社長」を文字列「○田×男」に割り当てる。

同様に図１３は、図１１に示した形態素解析結果に対して属性を割り当てた属性抽出結果の一例を示す説明図である。図１３に示すように、文書属性抽出手段３は、属性「日付」を文字列「２００５−１２−１０」、「２００５−１２−１」、「２００５−１１−２０」、「２００５−１１−１」に割り当てる。以降、属性を割り当てた文字列を属性値と称する。

その後、文書属性抽出手段３は、属性を割り当てた結果を出力する（Ｓ３３０）。

次に、属性関連度判定手段４が、図２に示す関連度判定処理を実施する（Ｓ４００）。属性関連度判定手段４は、属性関連度定義ＤＢ７に格納された属性関連度定義情報を用いて、抽出された文書属性の属性値と文書との関連度を算出する。

図１４は、属性関連度定義ＤＢ７に格納された属性関連度定義情報の一例を示す説明図である。図１４では、文字記述領域の条件と、当該条件に合致する場合にその文字記述領域と文書との関連度とを定義する属性関連度定義情報が格納されている。文字記述領域の条件として、登録文字列に「広告」「最新ニュース」「関連ニュース」を、領域をそれぞれ（１００，３０）と登録している。（１００，３０）とは、各領域の原点から領域の幅１００％以内、領域の高さ３０％以内に存在する条件（指定位置）を示す。また、文字記述領域と文書との関連度として、２０を登録している。ここでは、この関連度を文字記述領域から抽出した文書属性の属性値に割り当てる関連度の値として用いる。関連度は値が大きいほど関連性が高く、値はユーザが適宜変更可能である。

即ち、図１４では、文字記述領域の条件として、登録文字列が文字記述領域内の指定位置に存在する場合に、この文字記述領域から抽出された文書属性の属性値と文書との関連度を２０に設定することが定義されている。

まず、属性関連度判定手段４は、レイアウト解析手段２で決定した文字記述領域について、図１４に示す領域（指定位置）内に図１４に示す登録文字列が存在するか否かを判定し、存在する場合は、図１４に示す文字記述領域と文書との関連度に基づいて、その文字記述領域から抽出された文書属性の属性値に、上記関連度を割り当てる。

例えば、図６、図７に示す各領域４１、４２、４３、４６について、図１０、図１１に示す領域４１、４２、４３、４６について、図１４に示す登録文字列が図１４に示す領域（指定位置）に存在するか否かを判定する。登録文字列が存在しない場合には、その文字記述領域（領域４１、４２、４３、４６）から抽出された文書属性の属性値に関連度１００を割り当てる。領域４１には図１４に示す登録文字列が存在しないので、領域４１から抽出した文書属性の属性値に関連度１００を対応付ける。同様に領域４２、４３、４６を調査すると、領域４６に文字列「最新ニュース」が存在する。そこで領域４６から抽出した属性値（図１３に示す属性値全て）に関連度２０を割り当てる。その結果、属性関連度判定手段４は図１２に示す属性値に対しては関連度１００を割り当て、図１３に示す属性値には関連度２０を割り当て、属性値の関連度判定結果として出力する。

次に、出力手段５が、上記属性関連度判定手段４で判定された関連度に基づいて、上記文書属性抽出手段３で抽出された文書属性から所定の文書属性のみを出力する（Ｓ５００）。出力手段５は、所定の文書属性として、例えば、属性関連度判定手段４の属性値の関連度判定結果から関連度の高い文書属性を出力する。ここで、出力する関連度の閾値を５０とすると、出力手段５は、図１２に示す文書属性のみを出力し、図１３に示す文書属性を出力しない。

以上のように、実施の形態１の文書属性抽出装置によれば、文書を解析して文字記述領域を決定し、当該文字記述領域に応じて、上記文書から抽出された文書属性と上記文書との関連度を判定し、当該判定された関連度に基づいて、文書属性を出力するようにしたことにより、文書属性は、文字記述領域に応じて判定された関連度に基づいて出力されるので、文書との関連性の高い文字記述領域から抽出された文書属性のみが出力され、文書との関連性の低い文字記述領域から抽出された文書属性が出力されないようにすることができる。例えば、広告掲載領域等の、文書と直接関連の低い領域から文書属性が出力されることを抑えることができる。

また、実施の形態１の文書属性抽出装置によれば、文字記述領域内の文字列に形態素解析処理を実行し、当該形態素解析処理結果と、品詞を用いて属性を定義した属性定義情報とを照合して文書属性を抽出するようにしたことにより、位置座標を用いずに文書属性が抽出されるので、文書属性の記入位置が異なる文書からも文書属性を抽出することができる。

また、実施の形態１の文書属性抽出装置によれば、文字記述領域と文書との関連度とを定義する属性関連度定義情報が格納された属性関連度定義ＤＢ６を備え、当該属性関連度定義ＤＢ６に格納された属性関連度定義情報を用いて、文書属性と文書との関連度を判定するようにしたことにより、ユーザが属性関連度定義の作成、変更等を容易に行うことができる。

なお、実施の形態１においては、図１４に示すように、属性関連度定義情報に文字記述領域と文書との関連度を登録し、この関連度を文字記述領域から抽出した文書属性の属性値に割り当てる関連度の値として用いる場合について説明したが、文書属性の属性値に割り当てる関連度は、文書属性が抽出された文字記述領域に応じて判定されればよく、例えば、文字記述領域と文書との関連度を用いた関数によって算出された値であっても良い。

実施の形態２．
実施の形態１では、属性関連度判定手段が、属性関連度定義ＤＢに格納された文字記述領域と文書との関連度とを定義する属性関連度定義情報を用いて、文書属性と文書との関連度を判定する場合について説明したが、属性関連度判定手段の他の実施の形態について説明する。

本実施の形態において、属性関連度判定手段は、属性関連度定義情報を用いずに文書属性と文書との関連度を判定することが可能であり、本実施の形態における文書属性抽出装置の構成は、例えば、図１に示した文書属性抽出装置の構成から属性定義ＤＢ６を除いた構成であっても良い。

本実施の形態において、属性関連度判定手段４は、文字記述領域内の文字数、上記文書属性抽出手段で抽出された文書属性の文字数及び個数を用いて、文書属性抽出手段３で抽出された文書属性と文書との関連度を判定するように構成されている。

次に、本実施の形態の動作を説明する。
本実施の形態における文書属性抽出装置の文書属性抽出処理の流れを表すフローチャートは、前述の実施の形態１と共通であり、図２に示したフローチャートにおいて、Ｓ１００、Ｓ２００、Ｓ３００は、前述の実施の形態１と同様に処理する。

Ｓ４００で、関連度判定処理を実施する際に、本実施の形態において、属性関連度判定手段４は、文字記述領域内の文字数、当該文字記述領域内から抽出された文書属性の文字数及び個数を用いて、文書属性と文書との関連度を判定する。例えば、下記式（１）により、文書属性の文書との関連度αを算出する。

上記式（１）において、αは関連度、Ｌ_inは、文書属性ｉ（ｉ＝１は日付、ｉ＝２は地名など種類を表す）のｎ番目に出現する文書属性の属性値の文字数、Ｎは文字記述領域内に出現する文書属性ｉの属性値数、Ｍは文字記述領域内全文字数である。αはＮが一定の場合は、ΣＬ_inが大きいほど小さく、ΣＬ_inが一定の場合はＮが大きいほど小さな値をとる。これにより、属性値となった文字数が同一の場合は、属性値の個数が多いほど関連度が小さくなる。

いま、図１２および図１３で抽出した属性値に対して、上記式（１）を用いて、関連度αを算出する。
はじめに、領域４１に対して日付属性の関連度αを算出すると、Ｍ＝３４、Ｎ＝１、ΣＬ＝１１よりα＝３．１、組織名はＮ＝１、Ｌ＝１５であるのでα＝８．５、所在地はＮ＝１、Ｌ＝１５よりα＝２．３、領域４２は文書属性が存在せず、領域４３は組織名がＭ＝４４、Ｎ＝１、ΣＬ＝４よりα＝１１、社長もＮ＝１、ΣＬ＝４よりα＝１１、領域４６では日付がＭ＝９３、Ｎ＝４、ΣＬ＝３８よりα＝０．６１となる。

例えば、上記式（１）のように、文書属性と文書との関連度を判定する数式として、属性値となった文字数が同一の場合は、属性値の個数が多いほど関連度αが小さくなる関数を用いることにより、属性関連度判定手段４にて、特定領域に同一の文書属性が多数存在する場合に、それを排除することができる。例えば、文字記述領域が広告であって領域内に地名が多く存在する場合や、文字記述領域が関連情報の見出しであって人名・日付が多く存在する場合などに、これら文書属性の関連度を低下させ、排除することができる。

次に、Ｓ５００で、出力手段５が、上記属性関連度判定手段４で判定された関連度に基づいて、上記文書属性抽出手段３で抽出された文書属性から所定の文書属性のみを出力する。例えば、出力手段５は、α＝１．０を閾値として、これ以下の文書属性を切り捨てる。その結果、出力手段５は、図１２の属性値を全て出力し、図１３の属性値の出力を抑制する。

以上のように、実施の形態２の文書属性抽出装置によれば、文字記述領域に応じて、上記文書から抽出された文書属性と上記文書との関連度を判定するものとして、文字記述領域内の文字数、文書属性の文字数及び個数を用いて、文書属性と文書との関連度を判定するようにしたことにより、特定領域に多く存在する同一の文書属性の抽出を抑制することができるので、文書と直接関連の低い広告等の文字記述領域から文書属性が出力されることを抑えることができる。

本発明の実施の形態１による文書属性抽出装置の構成を示す説明図である 本発明の実施の形態１による文書属性抽出処理の流れを表すフローチャートである。 文書の一例を示す説明図である。 文書から抽出された文字コードと位置座標の一例を示す説明図である。 文書から抽出された線分の抽出結果の一例を示す説明図である。 抽出した領域の一例を示す説明図である。 抽出した領域の一例を示す説明図である。 属性抽出ルールの一例を示す説明図である。 文書属性抽出手段３の処理の流れを示すフローチャートである。 形態素解析処理の結果の一例を示す説明図である。 形態素解析処理の結果の一例を示す説明図である。 属性抽出結果の一例を示す説明図である。 属性抽出結果の一例を示す説明図である。 属性関連度定義情報の一例を示す説明図である。

符号の説明

１ 入力手段、 ２ レイアウト解析手段、 ３ 文書属性抽出手段、 ４ 属性関連度判定手段、 ５ 出力手段、 ６ 属性定義ＤＢ、 ７ 属性関連度定義ＤＢ。

Claims (5)

1. 文字が記述された文書を解析して文字が記述されている文字記述領域を決定するレイアウト解析手段と、
   属性定義情報が格納された属性定義ＤＢと、
   上記属性定義ＤＢに格納された属性定義情報を用いて、上記レイアウト解析手段で決定された文字記述領域内から文書属性を抽出する文書属性抽出手段と、
   文書属性が抽出された文字記述領域に応じて、上記文書属性抽出手段で抽出された文書属性と上記文書との関連度を判定する属性関連度判定手段と、
   上記属性関連度判定手段で判定された関連度に基づいて、上記文書属性抽出手段で抽出された文書属性から所定の文書属性のみを出力する出力手段と
   を備えたことを特徴とする文書属性抽出装置。
2. 上記属性定義ＤＢは、文字列の品詞を用いて属性を定義した属性定義情報が格納され、
   上記文書属性抽出手段は、上記レイアウト解析手段で決定された文字記述領域内の文字列に形態素解析処理を実行し、当該形態素解析処理結果と上記属性関連度定義ＤＢに格納された属性関連度定義情報とを照合して文書属性を抽出する
   ことを特徴とする請求項１に記載の文書属性抽出装置。
3. 文字記述領域と文書との関連度とを定義する属性関連度定義情報が格納された属性関連度定義ＤＢを備え、
   上記属性関連度判定手段は、上記属性関連度定義ＤＢに格納された属性関連度定義情報を用いて、上記文書属性抽出手段で抽出された文書属性と上記文書との関連度を判定することを特徴とする請求項１に記載の文書属性抽出装置。
4. 上記属性関連度判定手段は、文字記述領域内の文字数、上記文書属性抽出手段で抽出された文書属性の文字数及び個数を用いて、上記文書属性抽出手段で抽出された文書属性と上記文書との関連度を判定することを特徴とする請求項１に記載の文書属性抽出装置。
5. 文字が記述された文書を解析して文字が記述されている文字記述領域を決定するレイアウト解析手段と、
   属性定義情報を用いて、上記レイアウト解析手段で決定された文字記述領域内から文書属性を抽出する文書属性抽出手段と、
   文書属性が抽出された文字記述領域に応じて、上記文書属性抽出手段で抽出された文書属性と上記文書との関連度を判定する属性関連度判定手段と、
   上記属性関連度判定手段で判定された関連度に基づいて、上記文書属性抽出手段で抽出された文書属性から所定の文書属性のみを出力する出力手段と
   してコンピュータを機能させるための文書属性抽出プログラム。

Images