JP2010218010A - 文書分類装置およびプログラム - Google Patents

Abstract

【課題】文書分類の基準となる判定文の品質を向上させることを可能とする。
【解決手段】文書分類部３１は、分類対象文書格納部２２に格納されている文書中に判定文に類似する文が含まれている場合、当該文書を識別するための文書ＩＤ、当該判定文に対応づけて分類判定文格納部２３に格納されている判定文ＩＤおよび分類ＩＤを対応づけて分類ログ格納部２５に格納する。入出力部３３は、ユーザの操作に応じて正解分類ＩＤを入力する。判定文修正部３６は、分類ログ格納部２５に格納された分類ＩＤおよび入力された正解分類ＩＤが同一でない場合、分類ログ格納部２５に格納された文書ＩＤ、判定文ＩＤ、分類ＩＤおよび入力された正解分類ＩＤを出力する。判定文更新部３７は、ユーザの操作に応じて、分類ログ格納手段に格納された判定文ＩＤに対応づけて分類判定文格納部２３に格納されている分類ＩＤを、入力された正解分類ＩＤに更新する。
【選択図】 図２

Description

本発明は、分類判定の基準となる判定文との類似度により文書を分類する文書分類装置およびプログラムに関する。

近年、大量の文書群を自動分類する文書分類装置が知られている。文書分類装置に適用される文書分類方式として、例えば文書の分類分野に対応して設けられた分類基準となる判定文および分類対象となる文書（分類対象文書）を比較し、これらの類似度に基づいて当該分類対象文書の分類分野が決定される方式がある。

このような文書分類装置に関連して、例えばアンケートのように特定分野において様々な設問事項を選択肢や自由記述によって記述された文書データのうち、自由記述された回答内容に対して回答内容を分析し、分類する技術（以下、先行技術と表記）が開示されている（例えば、特許文献１を参照）。この先行技術によれば、対象となる分類カテゴリがある程度限定されたアンケートのような文書集合に対して、分類時に着目する点を規定する分類ルールを予め与えておき、さらに、分類カテゴリ毎に設定された分類基準文となる文書をサンプルデータとして与えたときに自動的にクラスタリングする事で、大量の学習用文書を必要とした自動分類を、少ないサンプルデータで自動分類することができる。

特開２００１−３１２５０１号公報

上記したように、先行技術によれば、予め定められた分類基準となる判定文（分類基準文）と分類対象文書との比較により、当該分類対象文書の分類分野が決定される。

つまり、先行技術は、単語の出現傾向が類似しているような場合であっても、分類対象文書に判定文における特定の概念が含まれるか否かにより分類される。したがって、先行技術は、単語の出現傾向が類似し、単語ベクトルにより分類することが困難な文書集合における文書分類に適している。

また、先行技術においては、分類の基準（つまり、判定文）をユーザの分類目的に合わせて設定することが可能である。よって、先行技術においては、ユーザの分類目的に適応した文書分類を行うことができる。

ところで、先行技術においては、予め設定された判定文に基づいて分類対象文書が分類されるため、当該判定文の品質により文書の分類精度が決定される。つまり、分類精度の高い文書分類を行うためには、品質の高い判定文を予め用意しておくことが好ましい。

しかしながら、品質の高い判定文を予め設定しておくことは困難であるため、当該判定文の品質を向上させるような仕組みが必要である。

そこで、本発明の目的は、文書分類の基準となる判定文の品質を向上させることが可能な文書分類装置およびプログラムを提供することにある。

本発明の１つの態様によれば、文字列からなる文を含む文書を格納する文書格納手段と、前記文書格納手段に格納されている文書を分類するための基準となる文字列を含む判定文、当該判定文を識別するための判定文識別情報および当該判定文に対応する分類分野を識別するための分類識別情報を予め対応づけて格納する判定文格納手段と、前記文書格納手段に格納されている文書中に前記判定文格納手段に格納されている判定文に類似する文が含まれているかを、当該文書および判定文に含まれる文字列に基づいて判定する第１の判定手段と、前記判定文に類似する文が含まれていると判定された場合、前記文書格納手段に格納されている文書を識別するための文書識別情報、当該判定文に対応づけて前記判定文格納手段に格納されている判定文識別情報および分類識別情報を対応づけて格納する分類ログ格納手段と、ユーザの前記文書の分類を修正する操作に応じて、前記文書格納手段に格納されている文書が分類される分類分野を識別するための正解分類識別情報を入力する入力手段と、前記分類ログ格納手段に格納された分類識別情報および前記入力された正解分類識別情報が同一であるかを判定する第２の判定手段と、前記分類識別情報および前記正解分類識別情報が同一でないと判定された場合、前記分類ログ格納手段に格納された文書識別情報、判定文識別情報、分類識別情報および前記入力された正解分類識別情報を出力する出力手段と、前記ユーザによる前記判定文の分類を修正する操作に応じて、前記分類ログ格納手段に格納された判定文識別情報に対応づけて前記判定文格納手段に格納されている分類識別情報を前記入力された正解分類識別情報に更新する更新手段とを具備することを特徴とする文書分類装置とこの装置を実現するプログラムが提供される。

また、本発明の他の態様によれば、文字列からなる文を含む文書を格納する文書格納手段と、前記文書格納手段に格納されている文書を分類するための基準となる文字列を含む判定文、当該判定文を識別するための判定文識別情報および当該判定文に対応する分類分野を識別するための分類識別情報を予め対応づけて格納する判定文格納手段と、前記文書格納手段に格納されている文書中に前記判定文格納手段に格納されている判定文に類似する文が含まれているかを、当該文書および判定文に含まれる文字列に基づいて判定する第１の判定手段と、前記判定文に類似する文が含まれていると判定された場合、前記文書格納手段に格納されている文書を識別するための文書識別情報、当該判定文に対応づけて前記判定文格納手段に格納されている判定文識別情報および分類識別情報を対応づけて格納する分類ログ格納手段と、ユーザの前記文書の分類を修正する操作に応じて、前記文書格納手段に格納されている文書が分類される分類分野を識別するための正解分類識別情報を入力する入力手段と、前記分類ログ格納手段に格納された分類識別情報および前記入力された正解分類識別情報が同一であるかを判定する第２の判定手段と、前記分類識別情報および前記正解分類識別情報が同一でないと判定された場合、前記分類ログ格納手段に格納された判定文識別情報に対応づけて前記判定文格納手段に格納されている分類識別情報を前記入力された正解分類識別情報に更新する更新手段とを具備することを特徴とする文書分類装置とこの装置を実現するプログラムが提供される。

本発明によれば、文書分類の基準となる判定文の品質を向上させることを可能とする。

本発明の第１の実施形態に係る文書分類装置のハードウェア構成を示すブロック図。 図１に示す文書分類装置３０の主として機能構成を示すブロック図。 図２に示す分類対象文書格納部２２のデータ構造の一例を示す図。 図２に示す分類判定文格納部２３のデータ構造の一例を示す図。 分類判定文格納部２３に格納されている判定文に対する形態素解析結果の一例を示す図。 図２に示す分類結果格納部２４のデータ構造の一例を示す図。 図２に示す分類ログ格納部２５のデータ構造の一例を示す図。 分類結果修正部３４による修正処理が実行された後の分類結果格納部２４のデータ構造の一例を示す図。 分類結果修正部３４によって正解分類ＩＤが追加された後の分類ログ格納部２５のデータ構造の一例を示す図。 図２に示す判定文修正部３６による文書に対する構文解析結果の一例を示す図。 本実施形態に係る文書分類装置３０の処理手順を示すフローチャート。 図２に示す文書分類部３１の処理手順を示すフローチャート。 図２に示す類似度判定部３２の処理手順を示すフローチャート。 図２に示す修正結果解析部３５の処理手順を示すフローチャート。 図２に示す判定文修正部３６の処理手順を示すフローチャート。 ユーザに対して表示される判定文の確認修正画面１００の一例を示す図。 ユーザに対して表示される判定候補文の登録画面２００の一例を示す図。 図２に示す判定文更新部３７の処理手順を示すフローチャート。 分類判定文格納２３の更新処理が実行された後の分類判定文格納部２３のデータ構造の一例を示す図。 本発明の第２の実施形態に係る文書分類装置の主として機能構成を示すブロック図。 図２０に示す関連ＩＤ格納部２６のデータ構造の一例を示す図。 本実施形態においてユーザに対して表示される判定文の確認修正画面３００の一例を示す図。

以下、図面を参照して、本発明の各実施形態について説明する。なお、本明細書において「分類」とは、対象となる文書を分類することを指し、「判定文の属性」というのは、判定文に関連づけられた分類識別情報やその他の属性情報（例えば頻度や日付などの履歴情報）のことを指している。

［第１の実施形態］
まず、図１および図２を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態に係る文書分類装置のハードウェア構成を示すブロック図である。図１に示すように、コンピュータ１０は、例えばハードディスクドライブ（ＨＤＤ：Hard Disk Drive）のような外部記憶装置２０と接続されている。この外部記憶装置２０は、コンピュータ１０によって実行されるプログラム２１を格納する。コンピュータ１０および外部記憶装置２０は、文書分類装置３０を構成する。

図２は、図１に示す文書分類装置３０の主として機能構成を示すブロック図である。図２に示すように、文書分類装置３０は、文書分類部３１、類似度判定部３２、入出力部３３、分類結果修正部３４、修正結果解析部３５、判定文修正部３６および判定文更新部３７を含む。

本実施形態において、これらの各部３１乃至３７は、図１に示すコンピュータ１０が外部記憶装置２０に格納されているプログラム２１を実行することにより実現されるものとする。このプログラム２１は、コンピュータ読み取り可能な記憶媒体に予め格納して頒布可能である。また、このプログラム２１が例えばネットワークを介してコンピュータ１０にダウンロードされても構わない。

また、文書分類装置３０は、分類対象文書格納部２２、分類判定文格納部２３、分類結果格納部２４および分類ログ格納部２５を含む。本実施形態において、分類対象文書格納部２２、分類判定文格納部２３、分類結果格納部２４および分類ログ格納部２５は、例えば外部記憶装置２０に格納される。

分類対象文書格納部２２には、文書分類装置３０による分類の対象となる文書（分類対象文書）が格納される。分類対象文書格納部２２には、複数の文書が格納される。分類対象文書格納部２２に格納されている文書は、例えば文字列からなる文を含む。また、分類対象文書格納部２２に格納されている文書には、当該文書を識別するための文書ＩＤ（文書識別情報）が付与されている。なお、文書ＩＤは、分類対象文書格納部２２に格納されている文書の各々に対して例えば１から順に付与される。

分類判定文格納部２３には、分類対象文書格納部２２に格納されている文書を分類するための基準となる判定文が格納されている。この分類判定文格納部２３に格納されている判定文は、文字列を含む。

分類判定文格納部２３には、判定文、当該判定文を識別するための判定文ＩＤ（判定文識別情報）および当該判定文に対応する分類分野を識別するための分類ＩＤ（分類識別情報）が予め対応づけて格納されている。

分類判定文格納部２３には、上記した判定文、判定文ＩＤおよび分類ＩＤ以外に、例えば当該判定文を利用するか否かを示す利用フラグ等が格納される。この分類判定文格納部２３の詳細については後述する。

また、分類判定文格納部２３には、当該分類判定文格納部２３に格納されている判定文の形態素解析結果が予め格納されている。この判定文の形態素解析結果には、当該判定文を識別するための判定文ＩＤおよび当該判定文に含まれる単語（文字列）が対応づけて含まれる。

文書分類部３１は、分類対象文書格納部２２に格納されている文書（群）を、分類判定文格納部２３に格納されている判定文および分類ＩＤに基づいて分類する。文書分類部３１は、分類結果に基づいて、文書ＩＤ、分類ＩＤまたは判定文ＩＤを分類結果格納部２４および分類ログ格納部２５に格納する。

類似度判定部３２は、分類対象文書格納部２２に格納されている文書中に、分類判定文格納部２３に格納されている判定文に類似する文が含まれているか否かを判定する。

このとき、類似度判定部３２は、分類対象文書格納部２２に格納されている文書および分類判定文格納部２３に格納されている判定文に対して構文解析を実行する。これにより、類似度判定部３２は、分類対象文書格納部２２に格納されている文書および分類判定文格納部２３に格納されている判定文を構成する単語の情報（文字列）を取得する。

類似度判定部３２は、分類対象文書格納部２２に格納されている文書に含まれる文中の文字列および分類判定文格納部２３に格納されている判定文に含まれる文字列に基づいて判定処理を実行する。類似度判定部３２は、判定結果を文書分類部３１に渡す。この類似度判定部３２による判定結果は、文書分類部３１による文書の分類処理において用いられる。

文書分類部３１による文書の分類処理において、分類対象文書格納部２２に格納されている文書は、当該文書中に分類判定文格納部２３に格納されている判定文に類似する文が含まれていると類似度判定部３２によって判定場合には当該判定文に対応づけて分類判定文格納部２３に格納されている分類ＩＤによって識別される分類分野に分類される。

分類結果格納部２４には、文書分類部３１による分類結果が格納される。例えば類似度判定部３２によって文書中に判定文に類似する文が含まれていると判定された場合（つまり、分類できる場合）、分類結果格納部２４には分類結果として当該文書を識別するため文書ＩＤおよび当該文書ＩＤによって識別される文書が分類された分類分野を識別するための分類ＩＤが対応づけて格納される。一方、類似度判定部３２によって文書中に判定文に類似する文が含まれていないと判定された場合（つまり、分類できない場合）、分類結果格納部２４には分類結果として当該文書を識別するための文書ＩＤが格納される。

分類ログ格納部２５には、文書分類部３１による分類処理のログ情報（分類ログ）が格納される。例えば類似度判定部３２によって文書中に判定文に類似する文が含まれていると判定された場合、分類ログ格納部２５には分類ログとして当該文書を識別するための文書ＩＤ、当該文書ＩＤによって識別される文書が分類された分類分野を識別するための分類ＩＤおよび当該分類に用いられた判定文を識別するための判定文ＩＤが対応づけて格納される。この判定文ＩＤは、文書ＩＤによって識別される文書中に判定文に類似する文が含まれていると類似度判定部３２によって判定された場合の当該判定文を識別するための識別子である。一方、類似度判定部３２によって文書中に判定文に類似する文が含まれていないと判定された場合、分類ログ格納部２５には分類ログとして当該文書を識別するための文書ＩＤが格納される。

入出力部３３は、分類結果格納部２４に格納されている分類結果を出力する。これにより、入出力部３３は、分類結果をユーザに対して例えば提示し、当該分類結果の確認を求める。

入出力部３３は、ユーザによる文書の分類を修正する操作に応じて、分類結果に対する例えば分類分野の修正内容を示す修正情報を入力する。この修正情報には、例えば分類結果格納部２４に格納されている文書ＩＤによって識別される文書が分類されるべき分類分野（ユーザによって指定された分類分野）を識別するための分類ＩＤ（以下、正解分類ＩＤと表記）が含まれる。

つまり、ユーザは、入出力部３３によって出力された分類結果を参照して、当該分類結果が適切ならば当該分類結果の修正は行わず、当該分類結果が不適切であれば正解分類ＩＤを指定して当該分類結果を修正する。

分類結果修正部３４は、文書ＩＤに対応づけて分類結果格納部２４に格納されている分類ＩＤを入出力部３３によって入力された修正情報に含まれている正解分類ＩＤに修正する。

また、分類結果修正部３４は、入出力部３３によって入力された修正情報に含まれている正解分類ＩＤを、分類ログ格納部２５に格納されている文書ＩＤ、分類ＩＤおよび判定文ＩＤに対応づけて当該分類ログ格納部２５に格納する。

修正結果解析部３５は、分類判定文格納部２３および分類ログ格納部２５に格納されている各情報等を解析する処理を実行する。修正結果解析部３５は、文書ＩＤに対応づけて分類ログ格納部２５に格納されている分類ＩＤおよび正解分類ＩＤが同一であるか否かを判定する。修正結果解析部３５は、文書ＩＤに対応づけて分類ログ格納部２５に判定文ＩＤが格納されているか否かを判定する。また、修正結果解析部３５は、分類ログ格納部２５に格納されている判定文ＩＤによって識別される判定文の正解率（後述する）が予め定められた値（閾値）を下回るか否かを判定する。

修正結果解析部３５は、上記した各判定処理の判定結果に基づいて、判定文修正部３６および判定文更新部３７を呼び出す。

修正結果解析部３５は、文書ＩＤに対応づけて分類ログ格納部２５に判定文ＩＤが格納されていると判定された場合、分類ログ格納部２５に格納された文書ＩＤを判定文修正部３６に渡す。また、修正結果解析部３５は、分類ログ格納部２５に格納されている判定文ＩＤによって識別される判定文の正解率が閾値を下回らないと判定された場合、分類ログ格納部２５に格納された文書ＩＤ、判定文ＩＤ、分類ＩＤおよび正解分類ＩＤを判定文修正部３６に渡す。

修正結果解析部３５は、分類ログ格納部２５に格納されている分類ＩＤおよび正解分類ＩＤが同一であると判定された場合、分類ログ格納部２５に格納された判定文ＩＤ、分類ＩＤおよび正解分類ＩＤと、後述する正解モード「正解」および利用モード「利用オン」とを判定文更新部３７に渡す。また、修正結果解析部３５は、分類ログ格納部２５に格納されている判定文ＩＤによって識別される判定文の正解率が閾値を下回ると判定された場合、分類ログ格納部２５に格納された判定文ＩＤ、分類ＩＤおよび正解分類ＩＤと、正解モード「誤り」および利用モード「利用オフ」とを判定文更新部３７に渡す。

上記したように、正解モードには、「正解」および「誤り」が含まれる。また、利用モードには、「利用オン」および「利用オフ」が含まれる。

判定文修正部３６は、修正結果解析部３５から渡された判定文ＩＤによって識別される判定文に対する形態素解析結果を分類判定文格納部２３から取得する。これにより、判定文修正部３６は、修正結果解析部３５から渡された判定文ＩＤによって識別される判定文を構成する単語の情報（文字列）を取得する。

判定文修正部３６は、取得された単語をキーワードとして、分類判定文格納部２３から判定文を検索する。このとき、判定文修正部３６は、修正結果解析部３５から渡された分類ＩＤおよび正解分類ＩＤ（分類ログ格納部２５に格納された分類ＩＤおよび正解分類ＩＤ）に対応づけて分類判定文格納部２３に格納されている判定文を検索する。

判定文修正部３６は、修正結果解析部３５から渡された文書ＩＤ、判定文ＩＤおよび検索された判定文（関連判定文）を識別するための判定文ＩＤ（関連判定文ＩＤ）等の情報を、入出力部３３を介して出力する。判定文修正部３６は、出力された情報に対するユーザによる修正文の分類を修正する操作に応じて、修正結果解析部３５から渡された判定文ＩＤ、分類ＩＤおよび正解分類ＩＤと、正解モードおよび利用モードとを判定文更新部３７に渡す。判定文更新部３７に渡される正解モードおよび利用モードは、出力された情報に対するユーザの操作に応じて決定される。

また、判定文修正部３６は、修正結果解析部３５から渡された文書ＩＤによって識別される文書に対する構文解析処理を実行する。判定文修正部３６は、構文解析結果に対して後述する判定文候補生成ルールを適用することで、上記した文書を分類するための基準となる判定文の候補となる文（以下、判定候補文と表記）を生成する。判定文修正部３６は、生成された判定候補文を、入出力部３３を介して出力する。判定文修正部３６は、出力された判定候補文に対するユーザによる修正文の分類を修正する操作に応じて、修正結果解析部３５から渡された判定文ＩＤ、分類ＩＤおよび正解分類ＩＤと、正解モード（正解）、利用モード（利用オン）および当該判定候補文とを判定文更新部３７に渡す。

判定文更新部３７は、修正結果解析部３６および判定文修正部３６から渡された判定文ＩＤ、分類ＩＤ、正解分類ＩＤ、正解モードおよび利用モードに基づいて、分類判定文格納部２３を更新する。

上記した文書分類部３１、類似度判定部３２、修正結果解析部３５、判定文修正部３６および判定文更新部３７の各処理の詳細については後述する。

図３は、図２に示す分類対象文書格納部２２のデータ構造の一例を示す。図３に示すように、分類対象文書格納部２２には、文書を識別するための文書ＩＤに対応づけて当該文書が格納されている。文書ＩＤは、分類対象文書格納部２２に格納されている文書の各々に対して付与されている識別子である。

図３に示す例では、分類対象文書格納部２２には、文書ＩＤ「００１」に対応づけて文書「新製品の資料を作成し、プレゼンテーションを実施した。活発な質疑が行われ、プレゼンは好評だった。今後、新製品の新聞発表についても検討することになった。」が格納されている。

分類対象文書格納部２２には、文書ＩＤ「００２」に対応づけて文書「新製品の「ＸＸＸ」売れ行きが好調なので、他社動向について調査した。今のところ、新製品に関連し他社からの新聞発表などは行われていないが、Ａ社では「ＸＸＸ」についての調査を実施している模様。」が格納されている。

分類対象文書格納部２２には、文書ＩＤ「００３」に対応づけて文書「新製品の「ＹＹＹ」に関連し、ライバル他社の商品と調査し、プレゼンテーションした。特にＢ社製品について印刷機能が好評だった。」が格納されている。

分類対象文書格納部２２には、文書ＩＤ「００４」に対応づけて文書「新製品の「ＹＹＹ」について、購入者を対象としたアンケートを集計した。他社製品と比較して、印刷機能が便利という声が最も多かった。」が格納されている。

分類対象文書格納部２２には、文書ＩＤ「００５」に対応づけて文書「新製品の「ＺＺＺ」についての購入者のアンケート調査を実施し、プレゼンテーション機能が好評であるとのデータが得られた。一方、作図機能については不満が少なくない。」が格納されている。

図４は、図２に示す分類判定文格納部２３のデータ構造の一例を示す。なお、図４においては、文書分類装置３０の稼動開始前の分類判定文格納部２３、つまり、初期状態の分類判定文格納部２３のデータ構造の一例が示されている。なお、図４においては、分類判定文格納部２３に格納されている判定文に対する形態素解析結果については省略されている。この判定文に対する形態素解析結果の一例については後述する。

図４に示すように、分類判定文格納部２３には、判定文ＩＤ、分類ＩＤ、判定文、出現頻度および利用フラグが対応づけて予め格納されている。

判定文ＩＤは、文書を分類するための基準となる判定文を識別するための識別子である。分類ＩＤは、判定文に対応する分類分野を識別するための識別子である。判定文に類似する文を含む文書は、当該判定文に対応づけられている分類ＩＤによって識別される分類分野に分類される。

出現頻度は、例えば過去の正解事例において、当該出現頻度に対応づけられている判定文が出現した分類分野毎の回数を示す。つまり、出現頻度は、当該出現頻度に対応づけられている判定文に類似する文を含む文書が最終的に分類された分類分野（つまり、上記した正解分類ＩＤによって識別される分類分野）毎の回数を示す。なお、出現頻度は、分類判定文格納部２３の初期状態では例えばユーザによって予め定められた値が入力されている。

利用フラグは、当該利用フラグに対応づけられている判定文を利用するか否かを示す。利用フラグには、判定文を利用する旨を示す利用フラグ「１」（第１の利用フラグ）および判定文を利用しない旨を示す利用フラグ「０」（第２の利用フラグ）が含まれる。

なお、分類判定文格納部２３には、判定文の正解数、誤り数および正解率が格納されるが、文書分類装置３０の稼動開始前（つまり、初期状態）においては、これらについては分類判定文格納部２３には格納されていない。正解数は、判定文に応じて分類された分類分野が正解した数を示す。誤り数は、判定文に応じて分類された分類分野が誤りであった数を示す。正解率は、正解数／（正解数＋誤り数）によって算出される数値である。これらの値は、文書分類装置３０の稼動後に格納されることになる。

図４に示す例では、分類判定文格納部２３には、判定文ＩＤ「０００１」、分類ＩＤ「Ａ００１」、判定文「新製品をプレゼンテーションする」、出現頻度（Ａ００１）「３」、出現頻度（Ｂ００１）「０」、出現頻度（Ｂ００２）「１」、出現頻度（Ｂ００３）「０」および利用フラグ「１」が対応づけて格納されている。

分類判定文格納部２３には、判定文ＩＤ「０００２」、分類ＩＤ「Ａ００１」、判定文「新製品の機能を紹介する」、出現頻度（Ａ００１）「２」、出現頻度（Ｂ００１）「０」、出現頻度（Ｂ００２）「１」、出現頻度（Ｂ００３）「０」および利用フラグ「１」が対応づけて格納されている。

分類判定文格納部２３には、判定文ＩＤ「０００３」、分類ＩＤ「Ｂ００１」、判定文「他社動向を調査する」、出現頻度（Ａ００１）「０」、出現頻度（Ｂ００１）「４」、出現頻度（Ｂ００２）「０」、出現頻度（Ｂ００３）「０」および利用フラグ「１」が対応づけて格納されている。

分類判定文格納部２３には、判定文ＩＤ「０００４」、分類ＩＤ「Ｂ００１」、判定文「機能に注目する」、出現頻度（Ａ００１）「０」、出現頻度（Ｂ００１）「３」、出現頻度（Ｂ００２）「１」、出現頻度（Ｂ００３）「０」および利用フラグ「１」が対応づけて格納されている。

分類判定文格納部２３には、判定文ＩＤ「０００５」、分類ＩＤ「Ｂ００２」、判定文「アンケートで調査する」、出現頻度（Ａ００１）「０」、出現頻度（Ｂ００１）「１」、出現頻度（Ｂ００２）「５」、出現頻度（Ｂ００３）「２」および利用フラグ「１」が対応づけて格納されている。

分類判定文格納部２３には、判定文ＩＤ「０００６」、分類ＩＤ「Ｂ００２」、判定文「機能が好評だ」、出現頻度（Ａ００１）「１」、出現頻度（Ｂ００１）「１」、出現頻度（Ｂ００２）「４」、出現頻度（Ｂ００３）「０」および利用フラグ「１」が対応づけて格納されている。

分類判定文格納部２３には、判定文ＩＤ「０００７」、分類ＩＤ「Ｂ００３」、判定文「機能を測定する」、出現頻度（Ａ００１）「０」、出現頻度（Ｂ００１）「１」、出現頻度（Ｂ００２）「１」、出現頻度（Ｂ００３）「４」および利用フラグ「１」が対応づけて格納されている。

また、分類判定文格納部２３には、判定文ＩＤ「０００８」、分類ＩＤ「Ｂ００３」、判定文「機能を評価する」、出現頻度（Ａ００１）「０」、出現頻度（Ｂ００１）「３」、出現頻度（Ｂ００２）「３」、出現頻度（Ｂ００３）「４」および利用フラグ「０」が対応づけて格納されている。

図５は、前述した分類判定文格納部２３に格納されている判定文に対する形態素解析結果の一例を示す。

図５に示すように、分類判定文格納部２３に格納されている判定文に対する形態素解析結果には、当該判定文を識別するための判定文ＩＤに対応づけて当該判定文に含まれる単語（文字列）が含まれる。なお、図５においては、上記した図４に示す分類判定文格納部２３に格納されている各判定文に対する形態素解析結果について示されている。また、図５においては、判定文に含まれる例えば名詞および動詞が示されている。

図５に示す例では、判定文に対する形態素解析結果には、判定文ＩＤ「０００１」に対応づけて単語「新製品」および「プレゼンテーション」が含まれている。これによれば、判定文ＩＤ「０００１」によって識別される判定文には、単語「新製品」および「プレゼンテーション」が含まれることが示されている。

判定文に対する形態素解析結果には、判定文ＩＤ「０００２」に対応づけて単語「新製品」、「機能」および「紹介」が含まれている。

判定文に対する形態素解析結果には、判定文ＩＤ「０００３」に対応づけて単語「他社動向」および「調査」が含まれている。

判定文に対する形態素解析結果には、判定文ＩＤ「０００４」に対応づけて単語「機能」および「注目」が含まれている。

判定文に対する形態素解析結果には、判定文ＩＤ「０００５」に対応づけて単語「アンケート」および「調査」が含まれている。

判定文に対する形態素解析結果には、判定文ＩＤ「０００６」に対応づけて単語「機能」および「好評」が含まれている。

判定文に対する形態素解析結果には、判定文ＩＤ「０００７」に対応づけて単語「機能」および「測定」が含まれている。

また、判定文に対する形態素解析結果には、判定文ＩＤ「０００８」に対応づけて単語「機能」および「評価」が含まれている。

図６は、図２に示す分類結果格納部２４のデータ構造の一例を示す。図６に示すように、分類結果格納部２４には、文書分類部３１による分類結果として文書ＩＤおよび分類ＩＤが対応づけて格納される。この分類ＩＤは、文書ＩＤによって識別される文書が分類された分類分野を識別するための識別子である。

図６に示す例では、分類結果格納部２４には、文書ＩＤ「００１」および分類ＩＤ「Ａ００１」が対応づけて格納されている。これによれば、文書ＩＤ「００１」によって識別される文書が分類ＩＤ「Ａ００１」によって識別される分類分野に分類されたことが示されている。

分類結果格納部２４には、文書ＩＤ「００２」および分類ＩＤ「Ｂ００１」が対応づけて格納されている。

分類結果格納部２４には、文書ＩＤ「００３」および分類ＩＤ「Ｂ００２」が対応づけて格納されている。

分類結果格納部２４には、文書ＩＤ「００４」格納されている。この場合、文書ＩＤ「００４」に対応づけて分類ＩＤが格納されていない。これによれば、文書ＩＤ「００４」によって識別される文書中に分類判定文格納部２３に格納されている判定文に類似する文が含まれていないため、当該文書は分類することができないことが示されている。この場合、文書ＩＤ「００４」に対応する分類ＩＤは、分類結果格納部２４には格納されない。

また、分類結果格納部２４には、文書ＩＤ「００５」および分類ＩＤ「Ｂ００２」が対応づけて格納されている。

図７は、図２に示す分類ログ格納部２５のデータ構造の一例を示す。図７に示すように、分類ログ格納部２５には、上記した分類ログとして文書ＩＤ、分類ＩＤおよび判定文ＩＤが対応づけて格納される。

文書ＩＤおよび分類ＩＤについては、上記した分類結果格納部２４に格納される文書ＩＤおよび分類ＩＤと同様である。判定文ＩＤは、文書ＩＤによって識別される文書を分類ＩＤによって識別される分類分野に分類する際に用いられた判定文を識別するための識別子である。つまり、文書ＩＤによって識別される文書中には、当該文書ＩＤに対応づけられている判定文ＩＤによって識別される判定文に類似する文が含まれている。

なお、図７に示すように、分類ログ格納部２５には、正解分類ＩＤが格納される。この正解分類ＩＤは、上記したようにユーザによる文書の分類を修正する操作に応じて入出力部３３によって入力された後、分類ログ格納部２５に格納される。図７においては、正解分類ＩＤが格納される前の分類ログ格納部２５のデータ構造を示している。

図７に示す例では、分類ログ格納部２５には、文書ＩＤ「００１」、分類ＩＤ「Ａ００１」および判定文ＩＤ「０００１」が対応づけて格納されている。これによれば、文書ＩＤ「００１」によって示される文書中に判定文ＩＤ「０００１」によって識別される判定文に類似する文が含まれているため、当該文書が分類ＩＤ「Ａ００１」によって識別される分類分野に分類されたことが示されている。

分類ログ格納部２５には、文書ＩＤ「００２」、分類ＩＤ「Ｂ００１」および判定文ＩＤ「０００３」が対応づけて格納されている。

分類ログ格納部２５には、文書ＩＤ「００３」、分類ＩＤ「Ｂ００２」および判定文ＩＤ「０００６」が対応づけて格納されている。

分類ログ格納部２５には、文書ＩＤ「００４」が格納されている。この場合、文書ＩＤ「００４」に対応づけて分類ＩＤおよび判定文ＩＤが格納されていない。これによれば、文書ＩＤ「００４」によって識別される文書中に分類判定文格納部２３に格納されている判定文に類似する文が含まれていないため、当該文書は分類することができないことが示されている。この場合、文書ＩＤ「００４」に対応する分類ＩＤおよび判定文ＩＤは、分類ログ格納部２５には格納されない。

また、分類ログ格納部２５には、文書ＩＤ「００５」、分類ＩＤ「Ｂ００２」および判定文ＩＤ「０００５」が対応づけて格納されている。

図８は、分類結果修正部３４による修正処理が実行された後の分類結果格納部２４のデータ構造の一例を示す。ここでは、上記した図６に示す分類結果格納部２４に対して修正処理が実行されたものとする。

図８に示す例では、分類結果格納部２４には、文書ＩＤ「００１」および分類ＩＤ「Ａ００１」が対応づけて格納されている。

分類結果格納部２４には、文書ＩＤ「００２」および分類ＩＤ「Ｂ００１」が対応づけて格納されている。

分類結果格納部２４には、文書ＩＤ「００３」および分類ＩＤ「Ｂ００１」が対応づけて格納されている。

分類結果格納部２４には、文書ＩＤ「００４」および分類ＩＤ「Ｂ００２」が対応づけて格納されている。

また、分類結果格納部２４には、文書ＩＤ「００５」および分類ＩＤ「Ｂ００２」が対応づけて格納されている。

図８に示す例においては、上記した図５に示す分類結果格納部２４に対して、文書ＩＤ「００３」に対応づけられている分類ＩＤが「Ｂ００２」から「Ｂ００１」に修正されている。また、文書ＩＤ「００４」によって識別される文書が分類される分類分野を識別する分類ＩＤ（正解分類ＩＤ）として、分類ＩＤ「Ｂ００２」が追加されている。

図９は、分類結果修正部３４によって正解分類ＩＤが追加（格納）された後の分類ログ格納部２５のデータ構造の一例を示す。ここでは、上記した図７に示す分類ログ格納部２５に対して正解分類ＩＤが追加されたものとする。また、上記した図６に示す分類結果格納部２４が図８に示す分類結果格納部２４に修正されたているものとする。

図９に示す例では、分類ログ格納部２５には、文書ＩＤ「００１」、分類ＩＤ「Ａ００１」、判定文ＩＤ「０００１」および正解分類ＩＤ「Ａ００１」が対応づけて格納されている。上記した図６および図８に示すように分類結果格納部２４において、文書ＩＤ「００１」に対応づけられている分類ＩＤ「Ａ００１」は修正されていないため、当該分類ＩＤ「Ａ００１」が正解分類ＩＤとなる。

分類ログ格納部２５には、文書ＩＤ「００２」、分類ＩＤ「Ｂ００１」、判定文ＩＤ「０００３」および正解分類ＩＤ「Ｂ００１」が対応づけて格納されている。上記した文書ＩＤ「００１」と同様に、分類結果格納部２４において文書ＩＤ「００２」に対応づけられている分類ＩＤ「Ｂ００１」は修正されていないため、当該分類ＩＤ「Ｂ００１」が正解分類ＩＤとなる。

分類ログ格納部２５には、文書ＩＤ「００３」、分類ＩＤ「Ｂ００２」、判定文ＩＤ「０００６」および正解分類ＩＤ「Ｂ００１」が対応づけて格納されている。分類結果格納部２４において、文書ＩＤ「００３」に対応づけられている分類ＩＤ「Ｂ００２」が「Ｂ００１」に修正されているため、修正後の分類ＩＤ「Ｂ００１」が正解分類ＩＤとなる。

分類ログ格納部２５には、文書ＩＤ「００４」に対応づけて正解分類ＩＤ「Ｂ００２」が格納されている。分類結果格納部２４において、文書ＩＤ「００４」に対応づけて分類ＩＤ「Ｂ００２」が追加されているため、当該分類ＩＤ「Ｂ００２」が正解分類ＩＤとなる。

また、分類ログ格納部２５には、文書ＩＤ「００５」、分類ＩＤ「Ｂ００２」および、文ＩＤ「０００５」および正解分類ＩＤ「Ｂ００２」が対応づけて格納されている。上記した文書ＩＤ「００１」および「００２」と同様に、分類結果格納部２４において文書ＩＤ「００５」に対応づけられている分類ＩＤ「Ｂ００２」は修正されていないため、当該分類ＩＤ「Ｂ００２」が正解分類ＩＤとなる。

図１０は、上記した図２に示す判定文修正部３６による文書（に含まれる文）に対する構文解析結果の一例を示す。図１０においては、上記した図３に示す文書ＩＤ「００４」によって識別される文書の１文目「新製品の「ＹＹＹ」について、購入者を対象としたアンケートを集計した。」についての構文解析結果が示されている。

図１０に示すように、構文解析結果には、文節ＩＤ毎に、単語、品詞、係り受け関係および係り先が対応づけて含まれる。文節ＩＤは、構文解析の対象となる文書を構成する文節を識別するための識別子である。単語は、当該単語に対応づけられている文節ＩＤによって識別される文節に含まれる文字列（単語）を示す。品詞は、当該品詞に対応づけられている単語の品詞を示す。係り受け関係は、当該係り受け関係に対応づけられている文節ＩＤによって識別される文節と他の文節との係り受け関係を示す。係り先は、当該係り先に対応づけられている文節ＩＤによって識別される文節の係り先となる文節を識別するための文節ＩＤを示す。

図１０に示す例では、構文解析結果には、文節ＩＤ「１」に対応づけて単語「新製品」、品詞「名詞」、係り受け関係「の」および係り先「２」が含まれている。

この文節ＩＤ「１」についての構文解析結果によれば、当該構文解析の対象となる文（ここでは、「新製品の「ＹＹＹ」について、購入者を対象としたアンケートを集計した。」）を構成する文節「新製品の」の単語「新製品」は名詞であり、当該単語「新製品」が係り受け関係「の」で係り先「２」（文節ＩＤ「２」）によって識別される文節に係る旨が解析されている。

なお、文節ＩＤ「１」によって識別される文節以外の文節についても同様であるため、その詳しい説明は省略する。

次に、図１１のフローチャートを参照して、本実施形態に係る文書分類装置３０の処理手順について説明する。

まず、文書分類部３１は、分類判定文格納部２３に格納されている判定文に基づいて、分類対象文書格納部２２に格納されている文書を分類する（ステップＳ１）。このとき、類似度判定部３２は、分類対象文書格納部２２に格納されている文書中に、分類判定文格納部２３に格納されている判定文に類似する文が含まれているか否かを判定する。文書分類部３１は、類似度判定部３２によって文書中に判定文に類似する文が含まれていると判定された場合、当該判定文に対応づけて分類判定文格納部２３に格納されている分類ＩＤによって識別される分類分野に当該文書を分類する。

文書分類部３１は、分類結果を分類結果格納部２４に格納する（ステップＳ２）。文書分類部３１は、文書を識別するための文書ＩＤおよび当該文書が分類された分類分野を識別するための分類ＩＤを分類結果格納部２４に格納する。

また、文書分類部３１は、分類ログを分類ログ格納部２５に格納する。文書分類部３１は、文書を識別するための文書ＩＤ、当該文書が分類された分類分野を識別するための分類ＩＤおよび当該分類に用いられた判定文、つまり、当該文書に含まれる文に類似する判定文を識別するための判定文ＩＤを分類ログ格納部２５に格納する。

入出力部３３は、分類結果格納部２４に格納された分類結果を出力する。これにより、入出力部３３は、分類結果（文書ＩＤおよび分類ＩＤ）をユーザに対して提示する（ステップＳ３）。

入出力部３３は、提示された分類結果に対するユーザによる文書の分類を修正する操作に応じて、当該分類結果に対する修正内容を示す修正情報を入力する。この修正情報は、例えば入出力部３３によって出力された文書ＩＤによって識別される文書が分類されるべき分類分野を識別するための分類ＩＤ（正解分類ＩＤ）を含む。

つまり、ユーザは、入出力部３３によって出力（提示）された分類ＩＤによって識別される分類分野が当該入出力部３３によって出力された文書ＩＤによって識別される文書に対して適切でないと判断した場合には、当該分類分野とは異なる分類分野を識別するための正解分類ＩＤを指定することができる。

分類結果修正部３４は、入出力部３３によって出力された文書ＩＤ（分類結果格納部２４に格納されている文書ＩＤ）に対応づけて分類結果格納部２４に格納されている分類ＩＤを、入出力部３３によって入力された正解分類ＩＤに修正する（ステップＳ４）。

また、分類結果修正部３４は、入出力部３３によって出力された文書ＩＤおよび分類ＩＤに対応づけて入出力部３３によって入力された正解分類ＩＤを分類ログ格納部２５に格納する。

修正結果解析部３５、判定文修正部３６および判定文更新部３７は、分類ログ格納部２５および分類判定文格納部２３を参照して、当該分類判定文格納部２３の更新処理を実行する（ステップＳ５）。この分類判定文格納部２３の更新処理の詳細については後述する。

次に、図１２のフローチャートを参照して、図２に示す文書分類部３１の処理手順について説明する。

まず、文書分類部３１は、分類処理の対象となる文書（以下、対象文書と表記）を識別するための対象文書ＩＤ（ＤＩＤ：Document ID）の初期値として対象文書ＩＤ＝０とする（ステップＳ１１）。

次に、文書分類部３１は、対象文書ＩＤ（の値）を対象文書ＩＤ＋１とする（ステップＳ１２）。つまり、この段階での対象文書ＩＤは１である。

ここで、文書分類部３１は、対象文書ＩＤが分類対象文書格納部２２に格納されている文書ＩＤの最大値以下であるか否かを判定する（ステップＳ１３）。

対象文書ＩＤが文書ＩＤの最大値以下でないと判定された場合（ステップＳ１３のＮＯ）、文書分類部３１の処理は終了される。

一方、対象文書ＩＤが文書ＩＤの最大値以下であると判定された場合（ステップＳ１３のＹＥＳ）、文書分類部３１は、当該対象文書ＩＤによって識別される対象文書を分類対象文書格納部２２から取り出す（ステップＳ１４）。

文書分類部３１は、対象文書の分類に用いられる判定文（以下、対象判定文と表記）を識別するための対象判定文ＩＤ（ＳＩＤ：Sentence ID）の初期値として対象判定文ＩＤ＝０とする（ステップＳ１５）。

次に、文書分類部３１は、対象判定文ＩＤ（の値）を対象判定文ＩＤ＋１とする（ステップＳ１６）。

文書分類部３１は、対象判定文ＩＤが分類判定文格納部２３に格納されている判定文ＩＤの最大値以下であるか否かを判定する（ステップＳ１７）。

対象判定文ＩＤが判定文ＩＤの最大値以下であると判定された場合（ステップＳ１７のＹＥＳ）、文書分類部３１は、当該対象判定文ＩＤによって識別される対象判定文を分類判定文格納部２３から取り出す（ステップＳ１８）。

文書分類部３１は、取り出された対象文書および対象判定文を類似度判定部３２に渡す。類似度判定部３２では、対象文書中に対象判定文と類似する文が含まれるか否かが判定される。文書分類部３１は、類似度判定部３２による判定結果を取得する（ステップＳ１９）。なお、類似度判定部３２の処理手順の詳細については後述する。

文書分類部３１は、類似度判定部３２による判定結果が類似（対象文書中に対象判定文と類似する文が含まれる）であるか否かを判定する（ステップＳ２０）。

類似度判定部３２による判定結果が類似でないと判定された場合（ステップＳ２０のＮＯ）、ステップＳ１６に戻って処理が繰り返される。

一方、類似度判定部３２による判定結果が類似であると判定された場合（ステップＳ２０のＹＥＳ）、文書分類部３１は、対象判定文に対応づけて分類判定文格納部２３に格納されている分類ＩＤを当該分類判定文格納部２３から取り出す（ステップＳ２１）。ここで取り出された分類ＩＤは、対象文書が分類される分類分野を識別するための識別子である。

文書分類部３１は、対象文書ＩＤおよび取り出された分類ＩＤを対応づけて分類結果格納部２４に格納する（ステップＳ２２）。

また、文書分類部３１は、対象文書ＩＤ、取り出された分類ＩＤおよび対象判定文ＩＤを対応づけて分類ログ格納部２５に格納する（ステップＳ２３）。

ステップＳ２３の処理が実行されると、上記したステップＳ１２に戻って処理が繰り返される。つまり、図１２に示すステップＳ１２以降の処理は、分類対象文書格納部２２に格納されている全ての文書に対して、文書ＩＤ順に実行される。

一方、ステップＳ１７において対象判定文ＩＤが判定文ＩＤの最大値以下でないと判定された場合、文書分類部３１は、対象文書ＩＤを分類結果格納部２４に格納する（ステップＳ２４）。また、文書分類部３１は、対象文書ＩＤを分類ログ格納部２５に格納する（ステップＳ２５）。

換言すれば、対象文書中に含まれる文の全てが分類判定文格納部２３に格納されているどの判定文にも類似しない場合には、分類結果格納部２４および分類ログ格納部２５には対象文書ＩＤのみが格納される。

次に、図１３のフローチャートを参照して、図２に示す類似度判定部３２の処理手順について説明する。

まず、類似度判定部３２は、文書分類部３１から渡された対象文書および対象判定文を取得する（ステップＳ３１）。

次に、類似度判定部３２は、取得された対象文書および対象判定文を構文解析する（ステップＳ３２）。対象文書および対象判定文に対する構文解析結果は、類似度判定部３２において保持される。なお、類似度判定部３２による構文解析結果は、例えば上記した図１０に示す判定文修正部３６による構文解析結果と同様である。

類似度判定部３２は、対象文書および対象判定文に対する構文解析結果を比較し、当該対象文書および対象判定文の間で一致する自立語を含む文節を特定する（ステップＳ３３）。

類似度判定部３２は、対象文書の特定された文節を含む構文木において、予め定められた置換ルールを適用することにより、部分構文木の置換処理を実行する（ステップＳ３４）。これにより、類似度判定部３２は、対象文書に含まれる文の１つの言い換え表現（言い換え文）を生成する。

類似度判定部３２は、生成された言い換え表現および対象判定文に対する構文解析結果を比較することで、当該言い換え表現および当該対象判定文の類似度を算出する（ステップＳ３５）。

類似度判定部３２は、算出された類似度が予め定められた値（一定値）以上である場合には、対象文書中に対象判定文と類似する文が含まれる旨の判定結果を文書分類部３１に渡す（ステップＳ３６）。

一方、類似度判定部３２は、算出された類似度が一定値以上でない、つまり、当該類似度が一定値以上である文が対象文書中にない場合には、対象文書中に対象判定文と類似する文が含まれない旨の判定結果を文書分類部３１に渡す（ステップＳ３６）。

次に、上記した図１１に示すステップＳ５の分類判定文格納部２３の更新処理について説明する。この分類判定文格納部２３の更新処理においては、修正結果解析部３５、判定文修正部３６および判定文更新部３７の処理が実行される。以下、これらの各処理について説明する。

まず、図１４のフローチャートを参照して、図２に示す修正結果解析部３５の処理手順について説明する。

修正結果解析部３５は、処理の対象となる文書（対象文書）を識別するための対象文書ＩＤ（ＤＩＤ）の初期値として対象文書ＩＤ＝０とする（ステップＳ４１）。

次に、修正結果解析部３５は、対象文書ＩＤ（の値）を対象文書ＩＤ＋１とする（ステップＳ４２）。つまり、この段階での対象文書ＩＤは１である。

ここで、修正結果解析部３５は、対象文書ＩＤが分類対象文書格納部２２に格納されている文書ＩＤの最大値以下であるか否かを判定する（ステップＳ４３）。

対象文書ＩＤが文書ＩＤの最大値以下でないと判定された場合（ステップＳ４３のＮＯ）、修正結果解析部３５の処理は終了される。

一方、対象文書ＩＤが文書ＩＤの最大値以下であると判定された場合（ステップＳ４３のＹＥＳ）、修正結果解析部３５は、当該対象文書ＩＤに対応づけて分類ログ格納部２５に格納されている分類ＩＤおよび正解分類ＩＤが同一（分類ＩＤ＝正解分類ＩＤ）であるか否かを判定する（ステップＳ４４）。このとき、上記したように分類ログ格納部２５に分類ＩＤが格納されていない場合があるが、この場合には分類ＩＤおよび正解分類ＩＤは同一でないと判定される。

分類ＩＤおよび正解分類ＩＤが同一であると判定された場合（ステップＳ４４のＹＥＳ）、修正結果解析部３５は、対象文書ＩＤに対応づけて分類ログ格納部２５に格納されている判定文ＩＤを当該分類ログ格納部２５から取り出す（ステップＳ４５）。また、修正結果解析部３５は、対象文書ＩＤに対応づけて分類ログ格納部２５に格納されている分類ＩＤおよび正解分類ＩＤを当該分類ログ格納部２５から取り出す。

次に、修正結果解析部３５は、判定文更新部３７を呼び出す（ステップＳ４６）。この場合、修正結果解析部３５は、取り出された判定文ＩＤ、分類ＩＤ、正解分類ＩＤ（対象文書ＩＤに対応づけて分類ログ格納部２５に格納されている判定文ＩＤ、分類ＩＤおよび正解分類ＩＤ）、正解モードおよび利用モードを判定文更新部３７に渡す。

正解モードは、ここでは分類ＩＤおよび正解分類ＩＤが同一であるため、取り出された判定文ＩＤによって識別される判定文に基づいて分類された分類結果が正解であることを示す「正解」である。また、利用モードは、同様に分類結果が正解であるため、後の処理においても判定文を利用することを示す「利用オン」である。

修正結果解析部３５によって判定文更新部３７が呼び出されると、当該判定文更新部３７の処理が実行される。この判定文更新部３７の処理については後述する。

判定文更新部３７の処理が実行されると、ステップＳ４２に戻って処理が繰り返される。

一方、ステップＳ４４において分類ＩＤおよび正解分類ＩＤが同一でないと判定された場合、修正結果解析部３５は、対象文書ＩＤに対応づけて判定文ＩＤが分類ログ格納部２５に格納されているか否かを判定する（ステップＳ４７）。

対象文書ＩＤに対応づけて判定文ＩＤが分類ログ格納部２５に格納されていないと判定された場合（ステップＳ４７のＮＯ）、修正結果解析部３５は、判定文修正部３６を呼び出す（ステップＳ４８）。この場合、修正結果解析部３５は、対象文書ＩＤおよび当該対象文書ＩＤに対応づけて分類ログ格納部２５に格納されている正解分類ＩＤを判定文修正部３６に渡す。

修正結果解析部３５によって判定文修正部３６が呼び出されると、修正結果解析部３５によって判定文修正部３６の処理が実行される。この判定文修正部３６の処理については後述する。

判定文修正部３６の処理が実行されると、ステップＳ４２に戻って処理が繰り返される。

一方、ステップＳ４７において対象文書ＩＤに対応づけて判定文ＩＤが分類ログ格納部２５に格納されていると判定された場合、修正結果解析部３５は、当該判定文ＩＤ（によって識別される判定文）に対する正解率を算出する（ステップＳ４９）。修正結果解析部３５は、分類判定文格納部２３を参照して算出処理を実行する。この場合、修正結果解析部３５は、ここでは分類ＩＤおよび正解分類ＩＤが同一でない、つまり、判定文に基づいて分類された分類分野が誤っているため、分類判定文格納部２３に格納されている誤り数を１増加させた場合の正解率を算出する。

正解率は、分類判定文格納部２３に格納されている正解数／（正解数＋誤り数）によって算出される。したがって、例えば分類判定文格納部２３のデータ構造が上記した図４に示すように初期状態である場合には正解数および誤り数はともに０であるため、誤り数を１増加させて正解率を算出した場合、正解率は０．０となる。

次に、修正結果解析部３５は、算出された正解率が予め定められた値（ここでは、αとする）を下回るか否かを判定する（ステップＳ５０）。

算出された正解率がαを下回ると判定された場合（ステップＳ５０のＹＥＳ）、修正結果解析部３５は、判定文更新部３７を呼び出す（ステップＳ５１）。この場合、修正結果解析部３５は、対象文書ＩＤに対応づけて分類ログ格納部２５に格納されている判定文ＩＤ、分類ＩＤ、正解分類ＩＤ、正解モードおよび利用モードを判定文更新部３７に渡す。

正解モードは、ここでは分類ＩＤおよび正解分類ＩＤが同一でないため、対象文書ＩＤに対応づけて分類ログ格納部２５に格納されている判定文ＩＤによって識別される判定文に基づいて分類された結果が誤りである（正解でない）ことを示す「誤り」である。また、利用モードは、同様に分類ＩＤおよび正解分類ＩＤが同一でなく、更に、上記算出された正解率がαを下回っているため、後の処理において判定文を利用しないことを示す「利用オフ」である。

修正結果解析部３５によって判定文更新部３７が呼び出されると、当該判定文更新部３７の処理が実行される。

判定文更新部３７の処理が実行されると、ステップＳ４２に戻って処理が繰り返される。

一方、ステップＳ５０において正解率がαを下回らないと判定された場合、修正結果解析部３５は、修正結果解析部３５は、判定文修正部３６を呼び出す（ステップＳ５２）。この場合、修正結果解析部３５は、対象文書ＩＤ、当該対象文書ＩＤに対応づけて分類ログ格納部２５に格納されている判定文ＩＤ、分類ＩＤおよび正解分類ＩＤを判定文修正部３６に渡す。

修正結果解析部３５によって判定文修正部３６が呼び出されると、修正結果解析部３５によって判定文修正部３６の処理が実行される。判定文修正部３６の処理が実行されると、ステップＳ４２に戻って処理が繰り返される。

上記したように、図１４に示すステップＳ４２以降の処理は、分類対象文書格納部２２に格納されている全ての文書に対して、文書ＩＤ順に実行される。

次に、図１５のフローチャートを参照して、図２に示す判定文修正部３６の処理手順について説明する。この判定文修正部３６の処理は、上記した図１４に示すステップＳ４８およびステップＳ５２において修正結果解析部３５によって当該判定文修正部３６が呼び出された際に実行される。

まず、判定文修正部３６は、修正結果解析部３５から渡された情報を取得する。判定文修正部３６は、取得された情報の中に判定文ＩＤが含まれていない（判定文ＩＤがＮＵＬＬである）か否かを判定する（ステップＳ６１）。

上記したように、図１４に示すステップＳ４８において判定文修正部３６が呼び出された場合には、文書ＩＤ（対象文書ＩＤ）、正解分類ＩＤが修正結果解析部３５から渡される。一方、図１４に示すステップＳ５２において判定文修正部３６が呼び出された場合には、文書ＩＤ、判定文ＩＤ、分類ＩＤおよび正解分類ＩＤが修正結果解析部３５から渡される。

したがって、図１４に示すステップＳ４８において判定文修正部３６が呼び出された場合には、ステップＳ６１においては判定文ＩＤが含まれていない（判定文ＩＤがＮＵＬＬである）と判定される。一方、図１４に示すステップＳ５２において判定文修正部３６が呼び出された場合には、ステップＳ６１においては判定文ＩＤが含まれていると判定される。

ここで、判定文ＩＤが含まれていると判定された場合を想定する（ステップＳ６１のＮＯ）。

判定文修正部３６は、取得された判定文ＩＤ（判定結果解析部３５から渡された判定文ＩＤ）によって識別される判定文に対する形態素解析結果を分類判定文格納部２３から取得する。これにより、判定文修正部３６は、判定結果解析部３５から渡された判定文ＩＤによって識別される判定文を構成する単語を取得する（ステップＳ６２）。

上記した図５を用いて具体的に説明すると、例えば判定文修正部３６によって取得された文書ＩＤが「００３」であって判定文ＩＤが「０００６」である場合、判定文修正部３６は、当該判定文ＩＤ「０００６」に対応づけて形態素解析結果に含まれている単語「機能」および「好評」を取得する。

次に、判定文修正部３６は、取得された単語を含む判定文を分類判定文格納部２３から検索する（ステップＳ６３）。このとき、判定文修正部３６は、取得された分類ＩＤおよび正解分類ＩＤに対応づけて分類判定文格納部２３に格納されている判定文を検索する。このステップＳ６３において検索された判定文を関連判定文、当該判定文を識別するための判定文ＩＤを関連判定文ＩＤと称する。

ここで、上記した図９に示すように、文書ＩＤ「００３」に対応づけて分類ログ格納部２５に格納されている分類ＩＤが「Ｂ００２」、正解分類ＩＤが「Ｂ００１」であり、分類判定文格納部２３が上記した図４に示すデータ構造である場合を想定する。この場合には、判定文修正部３６によって取得された単語「機能」を含み、分類ＩＤ「Ｂ００１」に対応づけられている判定文「機能に注目する」が関連判定文として分類判定文格納部２３から検索される。なお、分類判定文格納部２３において関連判定文「機能に注目する」を識別するための判定文ＩＤ「０００４」が関連判定文ＩＤである。

判定文修正部３６は、取得された文書ＩＤ、判定文ＩＤ、分類ＩＤ、正解分類ＩＤ、検索された関連判定文および関連判定文ＩＤを、入出力部３３を介して予め定められた形式で表示する（ステップＳ６４）。このとき、判定文修正部３６は、取得された文書ＩＤによって識別される文書（の内容）および判定文ＩＤによって識別される判定文を表示する。また、上記した以外にも、例えば取得された判定文ＩＤに対応づけて分類判定文格納部２３に格納されている出現頻度、正解数、誤り数および正解率等が表示される。

このように、判定文に関する各種情報を表示することにより、判定文修正部３６は、ユーザに対して判定文の確認および修正を促す。

ここで、図１６は、図１５に示すステップＳ６４においてユーザに対して表示される判定文の確認および修正を促すための画面（以下、確認修正画面と表記）１００の一例を示す。

図１６に示すように、確認修正画面１００には、文書ＩＤおよび文書内容が表示される。図１６に示す例では、文書ＩＤ「００３」および文書内容「新製品の「ＹＹＹ」に関連し、ライバル他社の商品を調査し、プレゼンテーションした。特にＢ社製品について印刷機能が好評だった。」が表示されている。

確認修正画面１００には、分類ＩＤ「Ｂ００２」および正解分類ＩＤ「Ｂ００１」が表示されている。この分類ＩＤおよび正解分類ＩＤは、判定文修正部３６によって取得された分類ＩＤおよび正解分類ＩＤである。

確認修正画面１００には、判定文に関する情報として、判定文修正部３６によって取得された判定文ＩＤ「０００６」および当該判定文ＩＤによって識別される判定文「機能が好評だ」が表示されている。確認修正画面１００には、この判定文ＩＤ「０００６」（判定文「機能が好評だ」）に対応づけて分類判定文格納部２３に格納されている分類分野毎の出現頻度、正解数、誤り数および正解率が表示されている。

また、確認修正画面１００には、例えば「今後も使う」ボタン１０１、「今後は使わない」ボタン１０２および「分類ＩＤをＢ００１に変更する」ボタン１０３等の処理ボタンが表示されている。ユーザは、この処理ボタン１０１〜１０３を指定することにより、確認修正画面１００に表示されている判定文「機能が好評だ」に対する修正等の指示を行うことができる。なお、「分類ＩＤをＢ００１に変更する」ボタン１０３における分類ＩＤ「Ｂ００１」は正解分類ＩＤである。

確認修正画面１００には、参考情報として、上記した関連判定文ＩＤ「０００４」および関連判定文「機能に注目する」が表示されている。確認修正画面１００には、分類判定文格納部２３において関連判定文に対応づけられている分類ＩＤ「Ｂ００１」および「Ｂ００２」（判定文修正部３６によって取得された分類ＩＤおよび正解分類ＩＤ）が検索対象（である分類ＩＤ）として表示されている。また、確認修正画面１００には、関連判定文に対応づけて分類判定文格納部２３に格納されている分類ＩＤが当該関連判定文に対応づけて表示されている。

なお、確認修正画面１００には、「関連判定文の情報を確認する」ボタン１０４が表示されており、ユーザによって当該ボタン１０４が指定されると、関連判定文に関する情報（例えば出現率または正解率等）が表示される。

再び図１５に戻ると、判定文修正部３６は、判定文更新部３７を呼び出す（ステップＳ６５）。この場合、判定文修正部３６は、取得された判定文ＩＤ、分類ＩＤ、正解分類ＩＤ、正解モードおよび利用モードを判定文更新部３７に渡す。ここでは、判定文修正部３６は、判定文ＩＤとして判定文ＩＤ「０００６」、分類ＩＤとして分類ＩＤ「Ｂ００２」、正解分類ＩＤとして正解分類ＩＤ「Ｂ００１」を判定文更新部３７に渡す。

また、判定文更新部３７に渡される正解モードは、上記した図１６に示す確認修正画面１００に対するユーザの操作に応じて決定される。

具体的には、確認修正画面１００において、ユーザによって「今後も使う」ボタン１０１が指定された場合には、判定文修正部３６は、正解モード「誤り」および利用モード「利用オン」を判定文更新部３７に渡す。

確認修正画面１００において、ユーザによって「今後は使わない」ボタン１０２が指定された場合には、判定文修正部３６は、正解モード「誤り」および利用モード「利用オフ」を判定文更新部３７に渡す。

また、確認修正画面１００において、ユーザによって「分類ＩＤをＢ００１に変更する」ボタン１０３が指定された場合には、判定文修正部３６は、正解モード「正解」および利用モード「利用オン」を判定文更新部３７に渡す。この場合には、判定文更新部３７に渡される分類ＩＤ（判定文ＩＤによって識別される判定文の分類ＩＤ）は、判定文修正部３６によって取得された分類ＩＤ「Ｂ００２」から分類ＩＤ「Ｂ００１」に変更される。また、分類ＩＤが変更されることによって、分類ＩＤおよび正解分類ＩＤが同一となるため、判定文更新部３７に渡される正解モードは「正解」となる。

一方、ステップＳ６１において判定文ＩＤが含まれていないと判定された場合を想定する。

この場合、判定文修正部３６は、取得された文書ＩＤによって識別される文書を分類対象文書格納部２２から取得する。判定文修正部３６は、取得された文書に対して構文解析を実行する（ステップＳ６６）。これにより、判定文修正部３６は、上記した図１０に示すような構文解析結果を取得する。

ここでは、判定文修正部３６が取得された文書に対して構文解析を実行するものとして説明したが、上記したように類似度判定部３２において文書に対して構文解析が実行されているため、当該類似度判定部３２に保持されている構文解析結果を取得する構成であっても構わない。

判定文修正部３６は、取得された構文解析結果に基づいて、新たに分類判定文格納部２３に格納される判定文の候補となる文（判定候補文）を生成する（ステップＳ６７）。判定文修正部３６は、取得された構文解析結果に対して、判定候補文を生成するためのルール（以下、判定候補文生成ルールと表記）を適用することにより判定候補文を生成する。

ここで、判定候補文生成ルールには、例えば「名詞を係り元、動詞、形容詞、形容動詞を係り先とする係り受けを選択し、当該係り元と当該係り先が当該係り元に対応づけられている係り受け関係で係り受けする判定候補文を生成する」というルールが含まれる。なお、判定候補文生成ルールは、ここで説明したルール以外であっても構わない。

この判定候補文生成ルールを上記した図１０に示す構文解析結果に適用した場合には、名詞である「購入者」、当該「購入者」に対応づけられている係り受け関係「を」および当該「購入者」の係り先となる動詞である「する」から、判定候補文「購入者をする」が生成される。この判定候補文「購入者をする」以外にも、同様にして判定候補文「対象とする」および「アンケートを集計する」が生成される。

次に、判定文修正部３６は、生成された判定候補文を、入出力部３３を介して予め定められた形式で表示する（ステップＳ６８）。

このように、生成された判定候補文を表示することにより、ユーザに対して判定候補文の登録を促す。

ここで、図１７は、図１５に示すステップＳ６８においてユーザに対して表示される判定候補文の登録画面２００の一例を示す。

図１７に示すように、登録画面２００には、例えば判定文修正部３６によって取得された文書ＩＤ（図１７示す例では、文書ＩＤ「００４」）および当該文書ＩＤ「００４」によって識別される文書内容「新製品の「ＹＹＹ」について、購入者を対象としたアンケートを集計した。他社製品と比較し、印刷機能が便利という声が最も多かった。」が表示されている。また、登録画面２００には、判定文修正部３６によって取得された正解分類ＩＤ（ここでは、正解分類ＩＤ「Ｂ００２」）が表示されている。

更に、登録画面２００には、判定文の候補（つまり、判定候補文）が表示される。図１７に示す例では、判定候補文として「購入者をする」、「対象とする」、「アンケートを集計する」、「製品と比較する」、「機能が便利だ」および「声が多い」が表示されている。なお、登録画面２００に表示されている「購入者をする」、「対象とする」および「アンケートを集計する」は上記した文書内容における１文目から生成された判定候補文であり、「製品と比較する」、「機能が便利だ」および「声が多い」は上記した文書内容における２文目から生成された判定候補文である。

また、この判定候補文に対応づけて分類ＩＤ（正解分類ＩＤ「Ｂ００２」）および処理内容が表示される。ユーザは、この登録画面２００において判定候補文に対応づけられている処理内容として「判定文に登録」を選択することにより当該判定候補文を分類判定文格納部２３に登録することができる。なお、処理内容には、「判定文に登録」以外に「判定文を登録しない」等が含まれる。

また、登録画面２００には、「分類ＩＤ「Ｂ００２」の他の判定文を表示する」ボタン２０１が表示されている。このボタン２０１がユーザによって指定された場合には、分類ＩＤ（正解分類ＩＤ）「Ｂ００２」に対応づけて分類判定文格納部２３に格納されている判定文が表示される。また、登録画面２００には、当該登録画面２００における登録処理を終了させるための「終了」ボタン２０２が設けられている。

この「終了」ボタン２０２が指定された際に、処理内容「判定文に登録」が選択されている判定候補文が分類判定文格納部２３に登録される。

再び図１５に戻ると、判定文修正部３６は、判定文更新部３７を呼び出す（ステップＳ６９）。この場合、判定文修正部３６は、判定文ＩＤ（ＮＵＬＬ）、分類ＩＤ「Ｂ００２」、正解分類ＩＤ「Ｂ００２」、正解モード「正解」、利用モード「利用オン」および上記した図１７に示す登録画面２００において処理内容として「判定文に登録」が選択された判定候補文（判定文文字列）を判定文更新部３７に渡す。

なお、判定文修正部３６は判定文ＩＤおよび分類ＩＤを修正結果解析部３５から渡されていないため、判定文ＩＤが空であることを示す判定文ＩＤ（ＮＵＬＬ）および正解分類ＩＤと同一の分類ＩＤ「Ｂ００２」が判定文更新部３７に渡される。

次に、図１８のフローチャートを参照して、図２に示す判定文更新部３７の処理手順について説明する。この判定文更新部３７の処理は、上記した図１４に示すステップＳ４６およびステップＳ５１において修正結果解析部３５によって判定文更新部３７が呼び出された際に実行される。また、判定文更新部３７の処理は、図１５に示すステップＳ６５およびステップＳ６９において判定文修正部３６によって判定文更新部３７が呼び出された際に実行される。

まず、判定文更新部３７は、修正結果解析部３５または判定文修正部３６から渡された情報を取得する。

次に、判定文更新部３７は、取得された判定文ＩＤがＮＵＬＬであるか否かを判定する（ステップＳ７１）。

上記したように、図１４に示すステップＳ４６において判定文更新部３７が呼び出された場合には、判定文ＩＤ、分類ＩＤ、正解分類ＩＤ、正解モード「正解」および利用モード「利用オン」が修正結果解析部３５から渡される。

また、図１４に示すステップＳ５１において判定文更新部３７が呼び出された場合には、判定文ＩＤ、分類ＩＤ、正解分類ＩＤ、正解モード「誤り」および利用モード「利用オフ」が修正結果解析部３５から渡される。

また、図１５に示すステップＳ６５において判定文更新部３７が呼び出された場合には、判定文ＩＤ、分類ＩＤ、正解分類ＩＤ、正解モードおよび利用モードが判定文修正部３６にから渡される。なお、このときの正解モードおよび利用モードについては、上記した図１６に示す判定文の確認修正画面１００に対するユーザの操作に応じて異なる。

また、図１５に示すステップＳ６９において判定文更新部３７が呼び出された場合には、判定文ＩＤ（ＮＵＬＬ）、分類ＩＤ、正解分類ＩＤ、正解モード「正解」、利用モード「利用」および判定候補文が判定文修正部３６から渡される。この場合においては、上記したように分類ＩＤおよび正解分類ＩＤは同一である。

したがって、図１５に示すステップＳ６９において判定文更新部３７が呼び出された場合には、ステップＳ７１においては判定文ＩＤがＮＵＬＬであると判定される。一方、図１５に示すステップＳ６９以外（図１４に示すステップＳ４６、ステップＳ５１および図１５に示すステップＳ６５）において判定文更新部３７が呼び出された場合には、ステップＳ７１においては判定文ＩＤがＮＵＬＬでないと判定される。

ここで、判定文ＩＤがＮＵＬＬであると判定された場合を想定する（ステップＳ７１のＹＥＳ）。

この場合、判定文更新部３７は、取得された判定候補文（判定文文字列）を判定文として分類判定文格納部２３に追加（格納）する（ステップＳ７２）。このとき、判定文更新部３７は、判定文（判定候補文）を識別するための判定文ＩＤを、当該判定文に対応づけて分類判定文格納部２３に格納する。

一方、判定文ＩＤがＮＵＬＬでないと判定された場合（ステップＳ７１のＮＯ）、判定文更新部３７には判定候補文が渡されていないのでステップＳ７２の処理は実行されない。

次に、判定文更新部３７は、取得された分類ＩＤおよび取得された判定文ＩＤに対応づけて分類判定文格納部２３に格納されている分類ＩＤ（以下、分類判定文格納部２３の分類ＩＤと表記）が同一であるか否かを判定する（ステップＳ７３）。

ここで、判定文更新部３７によって取得された分類ＩＤおよび分類判定文格納部２３の分類ＩＤが同一でないと判定された場合（ステップＳ７３のＮＯ）を想定する。この場合、判定文更新部３７は、分類判定文格納部２３の分類ＩＤを、取得された分類ＩＤに更新する（ステップＳ７４）。

ここで、判定文更新部３７によって取得された分類ＩＤおよび分類判定文格納部２３の分類ＩＤが同一でない場合とは、例えば上記した図１６に示す確認修正画面１００においてユーザの操作に応じて判定文の分類ＩＤが変更（修正）された場合である。つまり、確認修正画面１００において変更された分類ＩＤが、ステップＳ７４の処理において分類判定文格納部２３に反映される。

また、上記したステップＳ７２において判定候補文が分類判定文格納部２３に追加された場合には、当該判定候補文に対応づけて分類ＩＤは分類判定文格納部２３には格納されていないため、判定文更新部３７によって取得された分類ＩＤおよび分類判定文格納部２３の分類ＩＤが同一でないと判定される。

一方、取得された分類ＩＤおよび分類判定文格納部２３の分類ＩＤが同一であると判定された場合（ステップＳ７３のＹＥＳ）、ステップＳ７４の処理は実行されない。

次に、判定文更新部３７は、取得された判定文ＩＤに対応づけて分類判定文格納部２３に格納されている出現頻度であって、取得された正解分類ＩＤによって識別される分類分野（と同一の分類分野）の出現頻度の値（回数）を１つ加算する（ステップＳ７５）。

判定文更新部３７は、取得された正解モードが「正解」であるか否かを判定する（ステップＳ７６）。

正解モードが「正解」であると判定された場合（ステップＳ７６のＹＥＳ）、判定文更新部３７は、取得された判定文ＩＤに対応づけて分類判定文格納部２３に格納されている正解数を１つ加算する（ステップＳ７７）。

一方、正解モードが「正解」でない、つまり、正解モードが「誤り」であると判定された場合（ステップＳ７６のＮＯ）、判定文更新部３７は、取得された判定文ＩＤに対応づけて分類判定文格納部２３に格納されている誤り数を１つ加算する（ステップＳ７８）。

上記したステップＳ７７またはステップＳ７８の処理が実行されると、判定文更新部３７は、取得された判定部ＩＤによって識別される判定文に対する正解率を算出する（ステップＳ７９）。この正解率は、上記したように正解数／（正解数＋誤り数）により算出される。判定文更新部３７は、算出された正解率を、取得された判定文ＩＤに対応づけて分類判定文格納部２３に格納する。

上記したように、文書分類装置３０の初期状態においては正解数、誤り数および正解率は分類判定文格納部２３には格納されていないが、ステップＳ７７、ステップＳ７８およびステップＳ７９において正解数、誤り数および正解率が分類判定文格納部２３に格納（蓄積）される。

次に、判定文更新部３７は、取得された利用モードが「利用オン」であるか否かを判定する（ステップＳ８０）。

利用モードが「利用オン」であると判定された場合（ステップＳ８０のＹＥＳ）、判定文更新部３７は、取得された判定文ＩＤに対応づけて分類判定文格納部２３に利用フラグ「１」を格納する（ステップＳ８１）。これにより、取得された判定文ＩＤによって識別される判定文は、文書分類処理において用いられる（利用される）。

一方、利用モードが「利用オフ」であると判定された場合（ステップＳ８０のＮＯ）、判定文更新部３７は、取得された判定文ＩＤに対応づけて分類判定文格納２３に利用フラグ「０」を格納する（ステップＳ８２）。これにより、取得された判定文ＩＤによって識別される判定文は、文書分類処理において用いられない（利用されない）。

なお、本実施形態において、利用フラグは上記したように判定文を利用する旨を示す利用フラグ「１」から判定文を利用しない旨を示す利用フラグ「０」には自動的に変更（更新）される。一方、利用フラグ「０」から利用フラグ「１」には、例えばユーザの操作に応じて変更することが可能である。

図１９は、上記した分類判定文格納部２３の更新処理が実行された後の分類判定文格納部２３のデータ構造の一例を示す。

図１９に示すように、分類判定文格納部２３には、判定文ＩＤ、分類ＩＤ、判定文、出現頻度、正解数、誤り数、正解率および利用フラグが対応づけて格納されている。

以下、図１９に示す分類判定文格納部２３について、上記した図４に示す分類判定文格納部２３（初期状態の分類判定文格納部２３）と比較して説明する。

図１９に示す例では、分類判定文格納部２３において判定文ＩＤ「０００１」に対応づけられている分類分野「Ａ００１」の出現頻度が（初期状態の分類判定文格納部２３と比較して）１つ加算されている。また、分類判定文格納部２３において判定文ＩＤ「０００１」に対応づけられている正解数が１つ加算され、正解率「１．０」が当該分類判定文格納２３に格納されている。

同様に、分類判定文格納部２３において判定文ＩＤ「０００３」に対応づけられている分類分野「Ｂ００１」の出現頻度が１つ加算されている。また、分類判定文格納部２３において判定文ＩＤ「０００３」に対応づけられている正解数が１つ加算され、正解率「１．０」が当該分類判定文格納２３に格納されている。

分類判定文格納部２３において判定文ＩＤ「０００５」に対応づけられている分類分野「Ｂ００２」の出現頻度が１つ加算されている。また、分類判定文格納部２３において判定文ＩＤ「０００５」に対応づけられている正解数が１つ加算され、正解率「１．０」が当該分類判定文格納２３に格納されている。

分類判定文格納部２３において判定文ＩＤ「０００６」に対応づけられている分類分野「Ｂ００１」の出現頻度が１つ加算されている。また、分類判定文格納部２３において判定文ＩＤ「０００６」に対応づけられている誤り数が１つ加算され、正解率「０．０」が当該分類判定文格納２３に格納されている。また、分類判定文格納部２３において判定文ＩＤ「０００６」に対応づけられている利用フラグが「１」から「０」に変更されている。

また、分類判定文格納部２３には、新たに判定文ＩＤ「０００９」および判定文「アンケートを集計する」が追加されている。分類判定文格納部２３には、判定文ＩＤ「０００９」に対応づけて分類ＩＤ「Ｂ００２」が格納されている。分類判定文格納部２３には、この判定文ＩＤ「０００９」に対応づけて出現頻度、正解数、誤り数、正解率および利用フラグが格納（追加）されている。この場合、分類ＩＤ「Ｂ００２」によって識別される分類分野の出現頻度が初期値（つまり、０）から１つ加算されている。同様に、正解数が初期値から１つ加算され、これに伴って算出された正解率（ここでは、１．０）が格納されている。

上記したように本実施形態においては、分類対象文書格納部２２に格納されている文書の分類結果をユーザに対して表示し、ユーザの操作に応じて当該分類結果を修正し、当該修正された分類結果に基づいて、分類判定文格納部２３に格納されている判定文に関する各種情報を自動的に更新することができる。

具体的には、分類対象文書格納部２２に格納されている文書、当該文書が分類された分類分野（分類ＩＤ）、当該分類に用いられた判定文（判定文ＩＤ）等がユーザに対して提示し、当該提示された情報に応じたユーザの操作に基づいて当該判定文に対応づけて分類判定文格納部２３に格納されている分類ＩＤを正解分類ＩＤに変更（更新）することができる。

これにより、本実施形態においては、文書分類の基準となる判定文の品質を容易に向上させることが可能となる。

また、本実施形態においては、分類対象文書格納部２２に格納されている文書に対する構文解析結果に基づいて、判定候補文を生成することができる。本実施形態においては、生成された判定候補文のうち、ユーザによって指定された判定候補文が判定文として分類判定文格納部２３に格納される。したがって、本実施形態においては、新たな判定文を自動的に分類判定文格納部２３に追加することができる。

また、本実施形態においては、上記したように分類対象文書格納部２２に格納されている文書、当該文書の分類に用いられた判定文および当該判定文を構成する単語（文字列）を含む判定文（関連判定文）等の情報がユーザに対して表示されるため、当該ユーザはこれらの情報を確認して当該判定文を今後も利用するか否か、または、当該判定文に対応する分類分野等の判断を容易にすることができる。

［第２の実施形態］
次に、図２０を参照して、本発明の第２の実施形態について説明する。図２０は、本実施形態に係る文書分類装置の主として機能構成を示すブロック図である。なお、前述した図２と同様の部分には同一参照符号を付してその詳しい説明を省略する。ここでは、図２と異なる部分について主に述べる。

また、本実施形態に係る文書分類装置のハードウェア構成は、前述した第１の実施形態と同様であるため、適宜、図１を用いて説明する。

図２０に示すように、文書分類装置５０は、判定文修正部５１を含む。本実施形態において、判定文修正部５１は、図１に示すコンピュータ１０が外部記憶装置２０に格納されているプログラム２１を実行することにより実現されるものとする。

また、文書分類装置５０は、関連ＩＤ格納部２６を含む。本実施形態において、関連ＩＤ格納部２６は、例えば外部記憶装置２０に格納される。

関連ＩＤ格納部２６には、分類判定文格納部２３に格納されている判定文に対応する分類分野を識別するための分類ＩＤ毎に、当該分類分野に関連する分類分野（以下、関連分類分野と表記）を識別するための分類ＩＤ（関連分類識別情報）が対応づけて予め格納されている。以下、関連分類識別情報を関連分類ＩＤと称する。

判定文修正部５１は、取得された分類ＩＤおよび正解分類ＩＤ（修正結果解析部３５から渡された分類ＩＤおよび正解分類ＩＤ）に対応づけて関連ＩＤ格納部２６に格納されている関連分類ＩＤを取得する。

判定文修正部５１は、取得された判定文ＩＤ（修正結果解析部３５から渡された判定文ＩＤ）によって識別された判定文に対する形態素解析結果に含まれる単語（つまり、当該判定文に含まれる文字列）を含む判定文であって、当該取得された分類ＩＤ、正解分類ＩＤおよび関連分類ＩＤに対応づけて分類判定文格納部２３に格納されている判定文を検索する。

判定文修正部５１は、検索された判定文を関連判定文として、入出力部３３を介して予め定められた形式で表示する。このとき、関連判定文に加えて、関連判定文を識別するための関連判定文ＩＤが表示される。

前述した第１の実施形態においては、図１５に示すステップＳ６４で説明したように、分類ＩＤおよび正解分類ＩＤに対応づけて分類判定文格納部２３に格納されている判定文が関連判定文としてユーザに対して表示される。これに対して、本実施形態においては、前述した第１の実施形態においてユーザに対して表示される関連判定文に加えて、分類ＩＤおよび正解分類ＩＤに関連する関連分類ＩＤに対応づけて分類判定文格納部２３に格納されている判定文が関連判定文として当該ユーザに対して表示される。

図２１は、図２０に示す関連ＩＤ格納部２６のデータ構造の一例を示す。図２１に示すように、関連ＩＤ格納部２６には、分類ＩＤに対応づけて関連分類ＩＤが格納されている。

関連分類ＩＤは、当該関連分類ＩＤに対応づけられている分類ＩＤによって識別される分類分野の関連分類分野を識別するための識別子である。

図２１に示す例では、関連ＩＤ格納部２６には、分類ＩＤ「Ａ００１」に対応づけて関連分類ＩＤ「Ｂ００１」が格納されている。これによれば、関連分類ＩＤ「Ｂ００１」によって識別される分類分野が、分類ＩＤ「Ａ００１」によって識別される分類分野の関連分類分野であることが示されている。

同様に、関連ＩＤ格納部２６には、分類ＩＤ「Ｂ００１」に対応づけて関連分類ＩＤ「Ｂ００２」および「Ｂ００３」が格納されている。

関連ＩＤ格納部２６には、分類ＩＤ「Ｂ００２」に対応づけて関連分類ＩＤ「Ｂ００１」および「Ｂ００３」が格納されている。

また、関連ＩＤ格納部２６には、分類ＩＤ「Ｂ００３」に対応づけて関連分類ＩＤ「Ｂ００１」および「Ｂ００２」が格納されている。

図２２は、本実施形態においてユーザに対して表示される判定文の確認修正画面３００の一例を示す。なお、前述した図１６に示す確認修正画面１００と同様の部分については、その詳しい説明を省略する。

ここで、判定文修正部５１によって取得された分類ＩＤおよび正解分類ＩＤは、分類ＩＤ「Ｂ００１」および正解分類ＩＤ「Ｂ００２」であるものとする。また、関連ＩＤ格納部２６が上記した図２１に示すデータ構造であるものとすると、判定文修正部５１は、分類ＩＤ「Ｂ００１」および正解分類ＩＤ「Ｂ００２」に対応づけて関連ＩＤ格納部２６に格納されている関連分類ＩＤ「Ｂ００１」、「Ｂ００２」および「Ｂ００３」を取得する。判定文修正部３６は、取得された分類ＩＤ、正解分類ＩＤおよび関連分類ＩＤ（ここでは、分類ＩＤ「Ｂ００１」、「Ｂ００２」および「Ｂ００３」）に対応づけて分類判定文格納部２３に格納されている判定文を関連判定文として検索する。

具体的には、判定文修正部５１によって取得された判定文「機能が好評だ」から「機能」および「好評」という単語が取得された場合、当該「機能」および「好評」を含む判定文であって、分類ＩＤ「Ｂ００１」、「Ｂ００２」および「Ｂ００３」に対応づけて分類判定文格納部２３に格納されている判定文が検索される。この場合、分類判定文格納部２３において分類ＩＤ「Ｂ００１」に対応づけられている判定文「機能に注目する」、分類ＩＤ「Ｂ００３」に対応づけられている判定文「機能を測定する」および分類ＩＤ「Ｂ００３」に対応づけられている判定文「機能を評価する」が関連判定文として検索される。

図２２に示す確認修正画面３００には、関連判定文が検索された分類ＩＤ（検索対象）として上記した分類ＩＤ「Ｂ００１」、「Ｂ００２」および「Ｂ００３」が表示されている。

図２２に示す例では、確認修正画面３００には、前述した図１６に示す確認修正画面１００に表示されている関連判定文ＩＤ「０００４」によって識別される関連判定文「機能に注目する」に加えて、関連判定文ＩＤ「０００７」によって識別される関連判定文「機能を測定する」および関連判定文ＩＤ「０００８」によって識別される関連判定文「機能を評価する」が更に表示されている。

つまり、前述した図１６に示す確認修正画面１００と比較すると、確認修正画面３００には、分類ＩＤ「Ｂ００３」に関わる判定文（関連判定文）が２件追加されて表示されている。換言すれば、ユーザは、前述した第１の実施形態と比較して、より多くの関連判定文（に関する情報）を確認することができる。

また、確認修正画面３００には、関連判定文に対応づけて分類判定文格納部２３に格納されている分類ＩＤが当該関連判定文に対応づけて表示されている。

上記したように本実施形態においては、文書分類処理に用いる判定文の品質を向上させるための参考情報である関連判定文として、判定文修正部５１によって取得された分類ＩＤおよび正解分類ＩＤのみでなく、当該分類ＩＤおよび正解分類ＩＤに対応づけて関連ＩＤ格納部２６に格納されている関連分類ＩＤに対応づけて分類判定文格納部２３に格納されている判定文が表示される。このため、例えば前述した第１の実施形態の場合と比較して、確認修正画面３００により多くの情報が表示されるので当該確認修正画面３００を確認することによりユーザは適切な判断をすることが可能となる。したがって、本実施形態においては、文書分類の基準となる判定文の品質を向上させることができる。

なお、本願発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。

例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組合せてもよい。また、判定文の情報を修正するに際しては、判定文の分類ではなく判定文の属性を修正することによって行なってもよい。更には、ユーザによる判定文の分類を修正する操作に応じて更新するのではなく、分類ログ格納部２５に格納された判定文ＩＤに対応づけて分類判定文格納部２３に格納されている分類ＩＤについて、ユーザに予め入力されていた正解分類ＩＤに更新するようにしてもよい。

１０…コンピュータ、２０…外部記憶装置、２２…分類対象文書格納部、２３…分類判定文格納部、２４…分類結果格納部、２５…分類ログ格納部、２６…関連ＩＤ格納部、３０，５０…文書分類装置、３１…文書分類部、３２…類似度判定部、３３…入出力部、３４…分類結果修正部、３５…修正結果解析部、３６，５１…判定文修正部、３７…判定文更新部。

Claims (7)

1. 文字列からなる文を含む文書を格納する文書格納手段と、
   前記文書格納手段に格納されている文書を分類するための基準となる文字列を含む判定文、当該判定文を識別するための判定文識別情報および当該判定文に対応する分類分野を識別するための分類識別情報を予め対応づけて格納する判定文格納手段と、
   前記文書格納手段に格納されている文書中に前記判定文格納手段に格納されている判定文に類似する文が含まれているかを、当該文書および判定文に含まれる文字列に基づいて判定する第１の判定手段と、
   前記判定文に類似する文が含まれていると判定された場合、前記文書格納手段に格納されている文書を識別するための文書識別情報、当該判定文に対応づけて前記判定文格納手段に格納されている判定文識別情報および分類識別情報を対応づけて格納する分類ログ格納手段と、
   ユーザによる前記文書の分類を修正する操作に応じて、前記文書格納手段に格納されている文書が分類される分類分野を識別するための正解分類識別情報を入力する入力手段と、
   前記分類ログ格納手段に格納された分類識別情報および前記入力された正解分類識別情報が同一であるかを判定する第２の判定手段と、
   前記分類識別情報および前記正解分類識別情報が同一でないと判定された場合、前記分類ログ格納手段に格納された文書識別情報、判定文識別情報、分類識別情報および前記入力された正解分類識別情報を出力する出力手段と、
   前記ユーザによる前記判定文の分類を修正する操作に応じて、前記分類ログ格納手段に格納された判定文識別情報に対応づけて前記判定文格納手段に格納されている分類識別情報を前記入力された正解分類識別情報に更新する更新手段と
   を具備することを特徴とする文書分類装置。
2. 文字列からなる文を含む文書を格納する文書格納手段と、
   前記文書格納手段に格納されている文書を分類するための基準となる文字列を含む判定文、当該判定文を識別するための判定文識別情報および当該判定文に対応する分類分野を識別するための分類識別情報を予め対応づけて格納する判定文格納手段と、
   前記文書格納手段に格納されている文書中に前記判定文格納手段に格納されている判定文に類似する文が含まれているかを、当該文書および判定文に含まれる文字列に基づいて判定する第１の判定手段と、
   前記判定文に類似する文が含まれていると判定された場合、前記文書格納手段に格納されている文書を識別するための文書識別情報、当該判定文に対応づけて前記判定文格納手段に格納されている判定文識別情報および分類識別情報を対応づけて格納する分類ログ格納手段と、
   ユーザによる前記文書の分類を修正する操作に応じて、前記文書格納手段に格納されている文書が分類される分類分野を識別するための正解分類識別情報を入力する入力手段と、
   前記分類ログ格納手段に格納された分類識別情報および前記入力された正解分類識別情報が同一であるかを判定する第２の判定手段と、
   前記分類識別情報および前記正解分類識別情報が同一でないと判定された場合、前記分類ログ格納手段に格納された判定文識別情報に対応づけて前記判定文格納手段に格納されている分類識別情報を前記入力された正解分類識別情報に更新する更新手段と
   を具備することを特徴とする文書分類装置。
3. 解析手段と、判定候補文生成手段とを更に具備し、
   前記分類ログ格納手段は、前記判定文に類似する文が含まれていないと前記第１の判定手段によって判定された場合、前記文書格納手段に格納されている文書を識別するための文書識別情報を格納し、
   前記解析手段は、前記分類ログ格納手段に格納された文書識別情報によって識別される文書に対して構文解析を実行し、
   前記判定候補文生成手段は、前記構文解析結果に基づいて、前記判定文格納手段に格納される判定文の候補となる判定候補文を生成し、
   前記更新手段は、前記ユーザの操作に応じて、前記生成された判定候補文、当該判定候補文を識別するための判定文識別情報および前記入力された正解分類識別情報を対応づけて前記判定文格納手段に格納する
   ことを特徴とする請求項１または請求項２記載の文書分類装置。
4. 前記分類ログ格納手段に格納された判定文識別情報に対応づけて前記判定文格納手段に格納されている判定文を解析することによって、当該判定文に含まれる文字列を取得する解析手段と、
   前記解析手段によって取得された文字列を含む判定文であって、前記分類ログ格納手段に格納された分類識別情報および前記入力された正解分類識別情報に対応づけて前記判定文格納手段に格納されている判定文を、前記判定文格納手段から検索する検索手段と
   を更に具備し、
   前記出力手段は、前記検索された判定文に対応づけて前記判定文格納手段に格納されている判定文識別情報を、関連判定文識別情報として出力する
   ことを特徴とする請求項１または請求項２記載の文書分類装置。
5. 前記判定文格納手段に格納されている判定文に対応する分類分野を識別するための分類識別情報に対応づけて、当該分類分野に関連する関連分類分野を識別するための関連分類識別情報を予め格納する関連識別情報格納手段を更に具備し、
   前記検索手段は、
   前記分類ログ格納手段に格納された分類識別情報および前記入力された正解分類識別情報に対応づけて前記関連識別情報格納手段に格納されている関連分類識別情報を取得する取得手段を含み、
   前記解析手段によって取得された文字列を含む判定文であって、前記取得手段によって取得された関連分類識別情報に対応づけて前記判定文格納手段に格納されている判定文を、前記判定文格納手段から検索する
   ことを特徴とする請求項３記載の文書分類装置。
6. 文字列からなる文を含む文書を格納する文書格納手段と、前記文書格納手段に格納されている文書を分類するための基準となる文字列を含む判定文、当該判定文を識別するための判定文識別情報および当該判定文に対応する分類分野を識別するための分類識別情報を予め対応づけて格納する判定文格納手段と、分類ログ格納手段とを有する外部記憶装置と当該外部記憶装置を利用するコンピュータとから構成される文書分類装置において、前記コンピュータによって実行されるプログラムであって、
   前記コンピュータに、
   前記文書格納手段に格納されている文書中に前記判定文格納手段に格納されている判定文に類似する文が含まれているかを、当該文書および判定文に含まれる文字列に基づいて判定するステップと、
   前記判定文に類似する文が含まれていると判定された場合、前記文書格納手段に格納されている文書を識別するための文書識別情報、当該判定文に対応づけて前記判定文格納手段に格納されている判定文識別情報および分類識別情報を対応づけて前記分類ログ格納手段に格納するステップと、
   ユーザによる前記文書の分類を修正する操作に応じて、前記文書格納手段に格納されている文書が分類される分類分野を識別するための正解分類識別情報を入力するステップと、
   前記分類ログ格納手段に格納された分類識別情報および前記入力された正解分類識別情報が同一であるかを判定するステップと、
   前記分類識別情報および前記正解分類識別情報が同一でないと判定された場合、前記分類ログ格納手段に格納された文書識別情報、判定文識別情報、分類識別情報および前記入力された正解分類識別情報を出力するステップと、
   前記ユーザによる前記判定文の分類を修正する操作に応じて、前記分類ログ格納手段に格納された判定文識別情報に対応づけて前記判定文格納手段に格納されている分類識別情報を前記入力された正解分類識別情報に更新するステップと
   を実行させるためのプログラム。
7. 文字列からなる文を含む文書を格納する文書格納手段と、前記文書格納手段に格納されている文書を分類するための基準となる文字列を含む判定文、当該判定文を識別するための判定文識別情報および当該判定文に対応する分類分野を識別するための分類識別情報を予め対応づけて格納する判定文格納手段と、分類ログ格納手段とを有する外部記憶装置と当該外部記憶装置を利用するコンピュータとから構成される文書分類装置において、前記コンピュータによって実行されるプログラムであって、
   前記コンピュータに、
   前記文書格納手段に格納されている文書中に前記判定文格納手段に格納されている判定文に類似する文が含まれているかを、当該文書および判定文に含まれる文字列に基づいて判定するステップと、
   前記判定文に類似する文が含まれていると判定された場合、前記文書格納手段に格納されている文書を識別するための文書識別情報、当該判定文に対応づけて前記判定文格納手段に格納されている判定文識別情報および分類識別情報を対応づけて前記分類ログ格納手段に格納するステップと、
   ユーザの前記文書の分類を修正する操作に応じて、前記文書格納手段に格納されている文書が分類される分類分野を識別するための正解分類識別情報を入力するステップと、
   前記分類ログ格納手段に格納された分類識別情報および前記入力された正解分類識別情報が同一であるかを判定するステップと、
   前記分類識別情報および前記正解分類識別情報が同一でないと判定された場合、前記分類ログ格納手段に格納された判定文識別情報に対応づけて前記判定文格納手段に格納されている分類識別情報を前記入力された正解分類識別情報に更新するステップと
   を実行させるためのプログラム。

Images