JP2006040058A

JP2006040058A - 文書分類装置

Info

Publication number: JP2006040058A
Application number: JP2004220666A
Authority: JP
Inventors: Hideo Kawamura; 秀男川村; Yasuhiro Okada; 康裕岡田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-07-28
Filing date: 2004-07-28
Publication date: 2006-02-09

Abstract

【課題】従来の文書ベクトルによる文書分類装置は、備考や付記の単語も文書ベクトルに累積するため誤った分類が行われたり、また、異なる視点を重視する分類を行う場合には、単語テーブルの属性ベクトル値の変更などの操作が必要である。
【解決手段】文書が蓄積された文書データベースからユーザが指示した検索キーワードで文書を検索し、検索した文書を出力する文書検索手段、前記文書検索手段により出力された文書の記載内容から文字列を抽出し、該文字列から所定の属性抽出定義に基づき属性語とこの属性語の属性名との属性を抽出し出力する属性抽出手段、前記属性抽出手段が出力する属性と前記文書の記載内容および検索キーワードに基づいて文書ベクトルを生成し、文書ベクトル間の距離により文書を複数のカテゴリに分類する文書分類手段を備える。
【選択図】図１

Description

本発明は、文書データベースから検索した電子文書をユーザが重視する内容で分類する文書分類装置に関するものである。

従来から、文書を蓄積して検索・閲覧に供する文書管理システムにおいてユーザの所望する文書をすばやく得るために文書を分類する方法があった。

例えば、特開平１１−２８２８５９号公報では、文書より特定単語を抽出し、該特定単語に付与した属性ベクトルに基づいて文書ベクトルを生成し、文書を分類する方法が開示されている。

以下、特開平１１−２８２８５９号公報の動作について説明する。
まず、予め単語テーブルに登録され、単語毎に属性ベクトルが付与されている特定単語を文書から抽出する。属性ベクトルには例えば、「部署Ａ度」, 「部署B度」, 「部署C度」, 「商品度」, 「依頼度」, 「危険度」の成分があり、単語に応じて各成分に0.0〜1.0の値が付与されている。次に文書から抽出した各単語の属性ベクトルを各成分、「部署Ａ度」, 「部署B度」, 「部署C度」, 「商品度」, 「依頼度」, 「危険度」毎に累積して文書全体の文書ベクトルを算出する。この文書ベクトルと分類先の標準ベクトルとの類似度を算出し、最も類似度が高い標準ベクトルの分類先へ文書を格納する。ここで類似度は前記文書ベクトルと標準ベクトル間で内積を求めることで行う。これにより文書に適した分類先に格納することができる。

特開平１１−２８２８５９号公報

従来例に示す文書分類では、文書中の備考や付記の単語についても同様に文書ベクトルに累積してしまうため、誤った分類先に分類が行われたり、分類先を異なる視点例えば「商品度」を重視する場合には、単語テーブルの属性ベクトル値を変更するなどの操作が必要であるという問題があった。

本発明の文書分類装置は、文書が蓄積された文書データベースからユーザが指示した検索キーワードで文書を検索し、検索した文書を出力する文書検索手段、前記文書検索手段により出力された文書の記載内容から文字列を抽出し、該文字列から所定の属性抽出定義に基づき属性語とこの属性語の属性名との属性を抽出し出力する属性抽出手段、前記属性抽出手段が出力する属性と前記文書の記載内容および検索キーワードに基づいて文書ベクトルを生成し、文書ベクトル間の距離により文書を複数のカテゴリに分類する文書分類手段を備える。

本発明の文書分類装置によれば、ユーザの入力する検索キーワードから得る検索結果の文書から生成した文書ベクトル間の距離で文書分類を行う際に、ユーザの入力する検索キーワードから得る属性語を用いるので、検索キーワードに内在するユーザの重視する内容で文書分類できる。

実施の形態１．
図1は本発明の構成を示すブロック図である。図1において、１は文書と文書に付与した文書番号を格納する文書データベース、２はユーザから検索キーワードを入力し、前記文書データベース１から前記検索キーワードと合致する文書を検索し、その文書番号と前記検索キーワードを出力する文書検索手段、３は前記文書検索手段２が出力する文書番号から文書を前記文書データベース１より得て、検索キーワードを含む文字列から属性名と属性語を抽出・出力する属性抽出手段、４は属性名毎に生成された文書ベクトルに基づき文書毎に文書ベクトルを生成し、各文書ベクトル間の距離に基づいて文書を分類・出力する文書分類手段、５は前記文書分類結果を図示しないモニタなどに表示する形態に変換する分類表示手段である。

図２は本実施の形態の動作を説明するフローチャートである。図３はユーザが文書検索手段２に入力する検索キーワード例である。図中の１０はユーザが入力した検索キーワード文字列例である。図４から図８は図３の検索キーワード１０で文書検索手段２が文書データベース１から検索した文書例である。図９は属性抽出手段３が検索文書から抽出した文字列例である。図中で２０は検索文書内文字列で、２１は文書番号、２２は文書番号２１の文書内文字列、２３は属性名「部品」の文字列例である。図１０は属性抽出手段３が文書から単語を抽出するために用いる単語リストの例である。図中２４はカンマ記号で区切られた単語リスト例である。

図１１は属性抽出手段３が前記図１０に示す単語リストにおける単語の各文書における出現頻度を求めた例である。図中２５は文書中の文字列、２６は検索された文書番号、２７は文書番号３１の単語２００３／１１／１２の出現頻度である。図１２は属性抽出手段３が属性抽出に用いる属性語テーブルである。図中３０は属性語テーブル、３１は属性の名前、３２は属性の単語、３３は部品を表す部品名、３４は前記３３の属性の名前である。

図１３は属性抽出手段３が属性抽出に用いる属性抽出ルールである。図中４０は属性抽出ルール、４１は属性の名前、４２は該属性を構成する文字列、４３は該構成文字４２の先頭に接続する接頭文字列がある場合は接頭文字列と該構成文字列とを連結した連結文字列を属性語として抽出するルール、４４は該構成文字４２の最後に接続する接尾語文字列がある場合は該構成文字列と接尾語文字列とを連結した連結文字列を属性語とするルール、４５は＊部分に構成文字列が合致する場合に該文字列を属性語として抽出するルール、４６は属性の名前が「費用」、４７は属性名「費用」の接頭語、４８は属性名「費用」の構成文字、４９は属性名「費用」の接尾語である。
前記属性語テーブル３０と属性抽出ルール４０とで、属性抽出定義を構成する。

図１４は属性抽出手段３が図４から図８の文書から抽出した単語リストから属性抽出を行った結果の例である。図中の５０は属性抽出結果、５１は属性名「県名」に含まれる属性語および文書内の出現頻度、５２は属性名「費用」の含まれる属性語および文書内の出現頻度、５３は属性名「部品名」に含まれる属性語および文書内の出現頻度、５４は属性名「日付」に含まれる属性語および文書内の出現頻度、５５は属性名「原因」に含まれる属性語および文書内の出現頻度、５６は属性語以外の文書内単語である非属性語および文書内の出現頻度である。

図１５は属性抽出手段３が図３の検索キーワード文字列１０から抽出した属性例である。図中６０は検索キーワード１０の単語「Ａ００１」、６１は単語「Ａ００１」に対応する属性名である「部品名」、６２は検索キーワード１０の単語「原因」、６３は単語「原因」に対応する属性名である「原因」、６４は検索キーワード１０の単語「故障」、６５は単語「故障」に対応する属性語がないことを意味する非属性語、６６は検索キーワード１０の単語「部品」、６７は単語「部品」に対応する属性語がないことを意味する非属性語である。

図１６は文書分類手段４が文書ベクトルより求めた文書間の距離値テーブルである。図中７０は文書間距離テーブル、７１は文書1と文書４３間の距離、７２は文書３１と文書４３間の距離である。図１７は分類表示手段５の動作を説明する図である。図中で７５は分類表示手段５が図示しないモニタなどに表示するためにデータ処理して得た表示形態の例、７６は文書番号と文書名、７７は文書１と文書４３間の距離の長さ、７８~８１はクラスタ間距離に基づいて描画した直線である。

本実施の形態の動作を図2のフローチャートを用いて説明する。
ステップＳ１００で文書検索手段２はユーザより検索キーワードを入力する。ここでは図３に示す検索キーワード１０を入力したとする。ステップＳ１０１で文書検索手段２は文書データベース１より前記検索キーワード１０を含む文書の文書番号を出力するとともに前記検索キーワード１０を出力する。ここでは図４から図８の５文書が検索されたとする。
ステップＳ１０２では属性抽出手段３は前記文書検索手段２の出力した文書検索結果である文書番号に基づく文書から属性語を抽出する。

属性語の抽出ではまず前記文書検索結果の文書から文字列を抽出する。文字列抽出方法は文書種類に適したフィルタリングを行うことで文字列のみ抽出する。また前記文字列抽出では、文書にあらかじめ記入された単語、例えば「障害報告シート」などの文字列は除外するようにする。文字列抽出後の文字列は例えば図９に示すようになる。次に装置内のメモリに格納した図１０に示す一般的な単語の単語リストに合致する単語を前記文字列から抽出し、出現頻度を文書毎に求める。例えば前記文書検索結果では図１１のようになる。この前記単語リストから属性語を抽出する。

属性語の抽出は属性抽出定義である図１２の属性語テーブル３０と図１３の属性語抽出ルール４０に基づいて行う。単語からの属性抽出は図１２の属性語テーブル３０により行う。図１２の属性語で表した単語列に合致する該文書中の図１１の単語リストに対してその語の意味を表す属性名を付与する。例えば図９に示す前記文書検索結果の文書番号１の文字列「Ａ００１」２３は図１２の属性語テーブル３０の文字列「Ａ００１」３３と一致することから、属性名を「部品」３４、属性語として「Ａ００１」３３として付与する。属性語抽出ルール４０は「費用」や「日付」などの単語と属性名とを一意に対応できない場合に適用するものであり、例えば「費用」４６では接頭語に「金額」４７が付与された構成文字４２に接尾語として「円」４９が付与されたものに属性名「費用」を付与する。

属性抽出手段３は前記文書検索手段２で得た全文書の単語リストから属性語テーブル３０，属性抽出ルール４０を適用して属性語を抽出する。例えば図１４に示すように、前記検索文書からは属性名「県名」５１，属性名「費用」５２，属性名「部品名」５３，属性名「日付」５４，属性名「原因」５５と属性語以外の文書内の単語である非属性語５６を抽出し出現数をカウントした頻度表５０を作成し出力する。

同様に属性抽出手段３は前記文書検索手段２が出力する検索キーワード１０についても属性抽出を行う。検索キーワード「A001の故障原因に関係する部品」１０から図１０の単語リスト２４により単語抽出を行い、属性語テーブル３０および属性抽出ルール４０により属性語を抽出し、図１５に示す結果を得る。例えば前記検索キーワード１０からは単語「A001」６０は属性名「部品名」６１、単語「原因」６２は属性名「原因」６３、単語「故障」６４は非属性語として「故障」６５、単語「部品」６６は非属性語として「部品」６７を得る。

ステップＳ１０３で文書分類手段４は前記属性抽出手段３の結果から文書毎に文書ベクトルを生成し、各文書ベクトル間の距離に基づいて文書を分類する。まず文書分類手段４は前記属性抽出結果である頻度表５０から属性名毎に文書ベクトルを生成する。文書ベクトルは式１で求める。

Ｖi=属性名1ベクトル＋属性名2ベクトル＋・・・＋属性名nベクトル＋非属性ベクトル
・・・式１
ここでＶiはi番目の文書ベクトルである。

属性名1ベクトルから属性名ｎベクトルは前記頻度表５０から得る。例えば文書１の前記頻度表５０から得られる属性名ベクトルを式２に示す。
Ｖ県名=(1,0,0)
Ｖ費用=(1,0,0,0)
Ｖ部品名=(1,0)
Ｖ日付=(1,0,0,0,0)
Ｖ原因=(1,1,1,2,0,0,0,0,0,0,0)
Ｖ非属性語=(0,0,0,0,0,1,0,0,0,0,0,0,0,0,3,0,0,3,3,1,1,1,1,0,0,0,0)
・・・式２

すなわち文書１の文書ベクトルは式３となる。
Ｖ１=((1,0,0), (1,0,0,0), (1,0), (1,0,0,0,0), (1,1,1,2,0,0,0,0,0,0,0),
(0,0,0,0,0,1,0,0,0,0,0,0,0,0,3,0,0,3,3,1,1,1,1,0,0,0,0))
・・・式３

次に文書ベクトルiと文書ベクトルjの文書ベクトル間距離を属性名毎に次の式４で求める。

Ｄij=ΣＷｎ・ｆ（Ｖki, Ｖkj）・・・式４
ここでDijは文書ベクトルiと文書ベクトルjの文書ベクトル間距離、Ｗｎは属性名毎の重み、ｆ（a,b）はベクトルa,b間の距離を求める距離関数、Ｖkiは文書iの属性名ｋベクトル、Ｖkjは文書jの属性名kベクトルである。

ここで上記式における重みＷｎは属性抽出手段３が検索キーワード１０から求めた属性語に基づいて算出する。検索キーワードから得た属性語（属性名「部品名」６１、属性名「原因」６３）についてあらかじめ定めた重みについて一定値を加算した値を用いる。例えば上記例では重みＷｎは次の式５となる。

n =県名の場合Ｗ＝１．０
n =費用の場合Ｗ＝１．０
n =部品名の場合Ｗ＝１．０ + α
n =日付の場合Ｗ＝１．０
n =原因の場合Ｗ＝１．０ + α
n =非属性語の場合Ｗ＝１．０
・・・式５
ここでαは予め定めた正の値である。

前記αを１．０とし、前記距離関数ｆ（）をユークリッド距離とした場合の各文書間の距離を図１６に示す。この各文書ベクトル間距離Dijに基づいて文書分類を行う。文書分類方法は例えば文献「パソコンによるデータ解析入門」P170-173に記述されたクラスタ分析手法により行う。具体的には次の処理を行う。まず文書１と最も近い文書を探索する。図１６より文書４３の距離7.62（７１）であることがわかる。次に文書1および文書４３と最も近い文書を探索する。図１６より文書３１が5.48（７２）であることがわかる。同様に最も近い文書を探索し、文書間距離の短い順に記述すると（文書１，文書４３，文書３１，文書２０，文書５５）となる。また各クラスタ間の距離は次の式６ようになる。

クラスタ文書１−クラスタ文書４３＝7.62
クラスタ（文書１，文書４３）−クラスタ文書３１＝5.48
クラスタ（文書１，文書４３，文書３１）−クラスタ文書２０＝4.8
クラスタ（文書１，文書４３，文書３１，文書２０）−クラスタ文書５５＝5.10
・・・式６

文書分類手段４は文書分類結果を文書間距離の短い順に出力し、各クラスタ間距離を出力する。

ステップＳ１０４では分類表示手段５は前記文書分類手段４の文書分類結果に基づいて文書分類表示の形式に処理を行う。本実施の形態では文書分類表示の形態を例えば図１７に示すようなデンドログラム表示７５とする。デンドログラム表示７５は文書間距離の短い順に文書番号・文書名７６を表示し、前記クラスタ間距離で直線を描画する。例えば文書４３からの直線７８の長さ７７は文書４３と文書１を含むクラスタとの距離で、この距離に対応する長さ７７で水平に直線７８を描画する。同様に直線７９から直線８１までを前記クラスタ間を距離の長さで水平線を描画する。次に隣接するクラスタの直線と交差するまで上方に垂直線を描く。

以上のように本実施の形態を用いると、検索キーワードから得る属性語に基づいて、検索結果の文書から生成した文書ベクトル間の距離を求める際に重みづけを行ったことで、検索キーワードに内在するユーザが重視する内容で文書分類できる。

実施の形態２．
実施の形態１で文書分類手段４は費用や日付などの属性名である数値表現についても頻度による文書ベクトルを生成するようにしていたが、本実施の形態では該属性語を数値表現として文書ベクトルを生成するようにした。
図１８は本実施の形態を説明する図で属性抽出手段３の属性抽出結果である。図において、８５は属性抽出結果である各属性語の文書毎の頻度表、８６は属性名「費用」について数値表現としたもの、８７は属性名「日付」について数値表現としたものである。

文書分類手段４の動作を説明する。実施の形態１と同様に前記属性抽出手段３の結果から文書毎に文書ベクトルを生成し、各文書ベクトル間の距離に基づいて文書を分類する。
まず文書分類手段４は属性抽出手段３の属性抽出結果である前記頻度表８５から属性名毎に文書ベクトルを生成する。文書ベクトルは式７で求める。本実施の形態ではさらに、数値表現可能な属性語、例えば属性名「費用」８６、属性名「日付」８７についてその属性語の出現頻度ではなく、その数値表現とする。例えば「費用」の場合「円」を除いた数字列、「日付」の場合「西暦4桁」＋「月2桁」＋「日2桁」表記とする８桁の数値とする。

Ｖi=属性名1ベクトル＋属性名2ベクトル＋・・・＋属性名nベクトル＋非属性ベクトル
・・・式７
ここでＶiはi番目の文書ベクトルである。

属性名1ベクトルから属性名ｎベクトルは前記頻度表８５から得る。例えば文書１の前記頻度表から得られる属性名ベクトルを次式に示す。

Ｖ県名=(1,0,0)
Ｖ費用=(200000)
Ｖ部品名=(1,0)
Ｖ日付=(20020822)
Ｖ原因=(1,1,1,2,0,0,0,0,0,0,0)
Ｖ非属性語=(0,0,0,0,0,1,0,0,0,0,0,0,0,0,3,0,0,3,3,1,1,1,1,0,0,0,0)
・・・式８
すなわち文書１の文書ベクトルは次の式９となる。

Ｖ１=((1,0,0), (200000), (1,0), (20020822), (1,1,1,2,0,0,0,0,0,0,0),
(0,0,0,0,0,1,0,0,0,0,0,0,0,0,3,0,0,3,3,1,1,1,1,0,0,0,0))
・・・式９
以降の処理は実施の形態１と同様である。

本実施の形態によれば、文書分類手段４は費用や日付などの数値表現される属性語を数値表現のまま文書ベクトルとすることで、属性の大きさに基づいて文書分類ができるようになるため、ユーザが意図する文書分類と近くなることが期待できる。

実施の形態３．
実施の形態１では文書内の全ての文字列を対象にして文書分類するようにしていたが、本実施の形態では検索キーワードより属性名と属性語を抽出し、該属性語に合致する文書内の文字列近傍の文字列のみから文書ベクトルを生成するようにした形態である。
図１９は未記入の「障害報告シート」の例である。図において９０は原因欄名、９１は原因記入欄である。図２０は属性語および該属性語と対応付けた文字列抽出対象欄名を記述した属性語取得テーブルである。図において９５は属性名、９６は属性名に対応する抽出範囲欄名である。図２１は図４〜図８に示す「障害報告シート」の原因欄記載の文字列である。図２２は原因記載欄の文字列より得た属性抽出手段３の属性抽出結果である。

属性抽出手段３の動作を説明する。検索キーワード１０から得た属性語と図２０の属性語取得テーブルにより図１９に示す「障害報告シート」の属性語抽出範囲を求める。検索キーワード１０が図３の例の場合、検索キーワード１０から得られる属性名と属性語は図１５のようになり、該検索キーワード１０に含まれる属性語である属性名「部品名」６１と属性名「原因」６３に対応する記入欄を図２０の属性語取得テーブルより得る。本実施の形態の場合、図２０にある属性名「原因」属性語６３のみ属性名「原因」６３に該当するので、属性名「原因」９０の記入欄「原因」９１に記載の文字列である図２１の文字列より実施の形態１と同様に属性語を得る。本実施の形態による属性語抽出結果は図２２のようになる。

なお本実施の形態では検索キーワードから得た属性語から抽出すべき領域を記入欄名から得ていたが、定型文書の場合座標値としてもよい。

本実施の形態では属性抽出手段３は検索キーワードから得る属性語に基づいて、ユーザが意図する文字列のみから文書ベクトルを生成するようにしたので、不要な記載が記述されていたとしてもユーザが重視する内容で文書分類できる。

実施の形態４．
実施の形態３では検索キーワードから得た属性名と属性語に基づいて、属性抽出する文字列を特定するようにしたが、本実施の形態では検索キーワードから得た属性名と属性語のみを出力するようにした形態を示す。

図２３は本実施の形態における属性抽出手段３の出力例である。
属性抽出手段３の動作を説明する。属性抽出手段３は実施の形態１と同様に文書検索手段２の検索した文書から属性抽出を行い、図１４に示す頻度表５０を作成し出力する。次に検索キーワード１０から得た属性名と属性語のみを出力する。検索キーワード１０が図３の例の場合、検索キーワード１０から得られる属性は図１５のようになり、該検索キーワードに含まれる属性名「部品名」６１，属性名「原因」６３を図１４に示す属性抽出結果から抽出し、図２３の属性抽出結果を得る。

本実施の形態によれば、属性抽出手段３は検索キーワードから得る属性名と属性語のみを文書から抽出するようにしたので、不要な記載が記述されていたとしてもユーザが重視する内容で文書分類できる。

ユーザが入力する検索キーワードを加味して文書データベースから検索した電子文書を分類するので、ユーザの重視する内容を反映することができ、文書管理システムに適用することで、ユーザの所望する文書をすばやく得ることができる。

本発明の実施の形態１による構成図。実施の形態１の動作を説明するフローチャート。文書検索手段に入力する検索キーワード例の説明図。文書検索結果例１（文書番号１）を示す説明図。文書検索結果例２（文書番号２０）を示す説明図。文書検索結果例３（文書番号３１）を示す説明図。文書検索結果例４（文書番号４３）を示す説明図。文書検索結果例５（文書番号５５）を示す説明図。文字列抽出例を示す説明図。単語リスト例を示す説明図。文書毎の単語頻度例を示す説明図。属性抽出手段の動作を説明するための属性語テーブル例を示す図。属性抽出手段の動作を説明するための属性語抽出ルール例を示す図。属性抽出手段の出力例を示す説明図。入力検索キーワードからの属性語抽出例を示す説明図。各文書間距離例を示す説明図。分類表示手段表示例を示す説明図。数値属性を得た頻度表の説明図。「障害報告シート」の記入欄を説明する図。属性取得テーブルの例を示す説明図。原因欄から得た文字列例を示す説明図。原因欄から得た文字列から得た属性抽出例を示す説明図。検索キーワードから得た属性のみ出力した属性抽出例を示す説明図。

符号の説明

１文書データベース、２文書検索手段、３属性抽出手段、４文書分類手段、５分類表示手段。

Claims

文書が蓄積された文書データベースからユーザが指示した検索キーワードで文書を検索し、検索した文書を出力する文書検索手段、前記文書検索手段により出力された文書の記載内容から文字列を抽出し、該文字列から所定の属性抽出定義に基づき属性語とこの属性語の属性名との属性を抽出し出力する属性抽出手段、前記属性抽出手段が出力する属性と前記文書の記載内容および検索キーワードに基づいて文書ベクトルを生成し、文書ベクトル間の距離により文書を複数のカテゴリに分類する文書分類手段を備えたことを特徴とする文書分類装置。
前記文書分類手段の結果を表示形態に変換し出力する分類表示手段をさらに備えたことを特徴とする請求項１記載の文書分類装置。
文書分類手段は、数値表現可能な属性語を数値表現で文書ベクトルを生成するようにしたことを特徴とする請求項１又は２記載の文書分類装置。
属性抽出手段は、ユーザが指示した検索キーワードから属性名と属性語を抽出し、前記属性名と属性語に基づいて前記文書検索手段の出力する文書から抽出する属性名と属性語の抽出範囲を定め、この範囲内からの属性名と属性語を抽出するようにした請求項１乃至３の何れかに記載の文書分類装置。
属性抽出手段は、ユーザが指示した検索キーワードから属性名と属性語を抽出し、前記文書検索手段の出力する文書から前記検索キーワードの属性名と属性語のみを属性抽出するようにしたことを特徴とする請求項１乃至３の何れかに記載の文書分類装置。