JP2005275757A - 文章分類装置及び文章分類方法 - Google Patents

Abstract

【課題】 文章中に出現する単語及び単語の出現頻度に基づいて文章の種類を識別することができる文章分類装置及び文章分類方法を提供する。
【解決手段】 文章の種類を判別して分類する対象となるべき分類対象文章を読み取る読み取り手段１０１と、読み取られた分類対象文章の種類を判別する基準とすべく、文章中に出現する単語とその出現頻度によって文章を特徴化した特徴化情報２０２に、紹介文章か又は感想文章かの分類情報２０１を付した分類情報付加情報２００をあらかじめ記憶する記憶手段１０２と、読み取られた分類対象文章を分類対象文章中に出現する単語とその出現頻度によって特徴化する特徴化手段１０３と、特徴化手段によって特徴化された分類対象文章が紹介文章か又は感想文章かを、記憶手段に記憶された分類情報付加情報に基づいて判定する判定手段１０４とを備える。
【選択図】 図１

Description

本発明は、文章中に出現する単語などに基づいて文章を分類する文章分類装置及び文章分類方法に関する。

従来から文章中の単語に基づいて文章意図を判定し、文章を文章意図によって分類する文章分類装置及び文章分類方法が存在する。このような文章分類装置及び文章分類方法が下記の特許文献１に開示されている。
特開２００３−１０８５６８号公報（段落０００５）

しかしながら、特許文献１に開示された文章分類装置及び文章分類方法では、文章の書き手の意図は抽出できるが、文章の種類を識別することはできないという問題があった。

本発明は、上記問題を解決するためのものであり、文章中に出現する単語及び単語の出現頻度に基づいて文章の種類を識別することができる文章分類装置及び文章分類方法を提供することを目的とする。

上記目的を達成するために、本発明によれば、文章の種類を判別して分類する対象となるべき分類対象文章を読み取る読み取り手段と、前記読み取り手段によって読み取られた前記分類対象文章の種類を判別する基準とすべく、文章中に出現する単語とその出現頻度によって文章を特徴化した特徴化情報に、紹介文章か又は感想文章かの分類情報を付した分類情報付加情報をあらかじめ記憶する記憶手段と、前記読み取り手段によって読み取られた前記分類対象文章を前記分類対象文章中に出現する単語とその出現頻度によって特徴化する特徴化手段と、前記特徴化手段によって特徴化された前記分類対象文章が、紹介文章か又は感想文章かを前記記憶手段に記憶された前記分類情報付加情報に基づいて判定する判定手段とを備える文章分類装置が提供される。この構成により、文章中に出現する単語及びその出現頻度に基づいて文章の種類を識別することができる。

また、本発明の文章分類装置における判定手段がＳＶＭ手法を用いて判定することは、本発明の好ましい態様である。この構成により、効率よく文章の種類を識別することができる。

また、本発明によれば、文章の種類を判別して分類する対象となるべき分類対象文章を読み取るステップと、読み取られた前記分類対象文章を前記分類対象文章中に出現する単語とその出現頻度によって特徴化するステップと、特徴化された前記分類対象文章が紹介文章か又は感想文章かを、所定の記憶領域に記憶された、文章中に出現する単語とその出現頻度によって文章を特徴化した特徴化情報に紹介文章か又は感想文章かの分類情報を付した分類情報付加情報に基づいて判定するステップとを有する文章分類方法が提供される。この構成により、文章中に出現する単語及びその出現頻度に基づいて文章の種類を識別することができる。

また、本発明の文章分類方法において前記紹介文章か又は感想文章かを判定する際に、ＳＶＭ手法を用いて判定することは、本発明の好ましい態様である。この構成により、効率よく文章の種類を識別することができる。

本発明の文章分類装置及び文章分類方法は、上記構成を有し、文章中に出現する単語及び単語の出現頻度に基づいて文章の種類を識別することができる。

以下、本発明の実施の形態について、図１から図４を用いて説明する。図１は、本発明の実施の形態に係る文章分類装置の構成を示す構成図である。図２は、本発明の実施の形態に係る文章分類装置における分類情報付加情報について説明するための図である。図３は、本発明の実施の形態に係る文章分類装置におけるＳＶＭ（Support Vector Machine）を用いた文章の種類の識別について説明するための図である。図４は、本発明の実施の形態に係る文章分類装置における文章の種類の分類フローについて説明するためのフローチャートである。

まず、本発明の実施の形態に係る文章分類装置の構成について図１を用いて説明する。図１に示すように、文章分類装置１００は、読み取り部１０１、記憶部１０２、特徴化部１０３、判定部１０４から構成されている。なお、これらはバスによってつながれている。また、これら各部の動作を制御するための制御プログラムが所定の不図示の記憶領域又は記憶部１０２に格納されている。また、文章分類装置１００は、外部との情報のやり取りを行うための不図示のインターフェースを有している。また、読み取り部１０１、特徴化部１０３、判定部１０４は、例えばＣＰＵなどに相当し、記憶部１０２は、例えばＨＤＤ、ＲＯＭ、ＲＡＭなどに相当する。

読み取り部１０１は、文章の種類を判別して分類する対象となるべき分類対象文章を読み取る。ここで、分類対象文章とは、例えば公共の施設の紹介文、テーマパークに関する紹介文などの紹介文章や、上述した公共の施設に関する感想文、上述したテーマパークに関する感想文などの感想文章などを言う。しかし、分類対象文章は上述したものに限られず、批判文章など他の種類の文章であってもよい。記憶部１０２は、読み取り部１０１によって読み取られた分類対象文章の種類を判別する基準とすべく、文章中に出現する単語とその出現頻度によって文章を特徴化した特徴化情報に、紹介文章か又は感想文章かの分類情報を付した分類情報付加情報をあらかじめ記憶する。ここで、単語とその出現頻度によって特徴化された特徴化情報に分類情報を付した分類情報付加情報を図２に示す。図２に示すように、分類情報付加情報２００は、分類情報２０１と特徴化情報２０２とから構成されている。

分類情報２０１は、該当する文章が紹介文章であるか感想文章であるかを識別するための情報であって、例えば紹介文章を示すものの場合には分類情報２０１は＋１であり、感想文章を示すものの場合には分類情報２０１は−１である。また、特徴化情報２０２は、単語の種類を示す単語種別情報２０３と単語の出現頻度を示す出現頻度情報２０４とから構成されている。単語種別情報２０３は、例えば品詞を表したものであり、名詞を「３」、動詞を「５」、副詞を「７」などとしたものである。また、出現頻度情報２０４は、例えば該当する文章中に出現する単語数を分母とし、該当する単語の出現回数を分子として算出されたものである。すわなち、文章中に出現する単語数が１０００の場合であって、該当する単語の出現回数が１０であれば、出現頻度情報２０４は１０／１０００＝０．０１である。

なお、分類情報付加情報２００は、図１に示す外部装置１０８によって生成される。具体的には、文章解析部１０５が文章を形態素解析処理により形態素に分解する。このような形態素に分解する方法は、特に限定するものではなく従来から用いられている方法である。次に、頻度算出部１０６が指定された品詞の単語を対象として、その文章中に出現した単語の種類とその単語の出現頻度を算出する。次に、事前特徴化部１０７が文章中に出現する単語とその出現頻度をペアとして特徴化情報２０２を生成し、分類情報２０１を付加し、分類情報付加情報２００を生成する。この生成された分類情報付加情報２００が記憶部１０２に引き渡されて記憶される。なお、外部装置１０８による処理を文章分類装置１００の内部で行うようにしても実施可能である。

特徴化部１０３は、読み取り部１０１によって読み取られた分類対象文章を分類対象文章中に出現する単語とその出現頻度によって特徴化する。この特徴化する処理も上述した外部装置１０８で行われているような手順で行われる。判定部１０４は、特徴化部１０３によって特徴化された分類対象文章が紹介文章か又は感想文章かを、記憶部１０２に記憶された分類情報付加情報２００に基づいて判定する。ここで、判定をする手段としては、例えばＳＶＭが用いられる。ＳＶＭとはパターン認識手法の１つである。具体的に図３を用いて説明する。

ＳＶＭでは、まず、あらかじめ記憶部１０２に記憶されている分類情報付加情報２００をプロットする必要がある。すなわち、既知のデータを学習させる必要がある。プロットの仕方は、まずプロットする空間の次元数を決める。プロットする空間の次元数は単語種別情報２０３の個数により決まる。すなわち、単語種別情報２０３の個数が２個（単語の種類が２種類）であればプロットする空間は２次元空間となる。また、単語種別情報２０３の個数が３個（単語の種類が３種類）であればプロットする空間は３次元空間となり、単語種別情報２０３の個数が３０００個（単語の種類が３０００種類）であればプロットする空間は３０００次元空間となる。

プロットする空間が決まると、出現頻度情報２０４がその空間における値となる。例えば、単語種別情報２０３が「１」と「２」で、それに対応する出現頻度情報２０４が「０．５」と「０．３」の場合、すなわち２次元空間の場合、最初の次元をｘ、次の次元をｙとすれば（ｘ、ｙ）＝（０．５、０．３）となり、２次元空間にプロットされる。また、例えば、単語種別情報２０３が「１」、「２」、「３」で、それに対応する出現頻度情報２０４が「０．２」、「０．１」、「０．５」の場合、すなわち３次元空間の場合、最初の次元をｘ、次の次元をｙ、次の次元をｚとすれば（ｘ、ｙ、ｚ）＝（０．２、０．１、０．５）となり、３次元空間にプロットされる。このように単語種別情報２０３の個数と出現頻度情報２０４の値に基づいて、あらかじめ記憶部１０２に記憶されたデータである分類情報付加情報２００を多次元の空間にプロットすることができる。以上のような方法によって、紹介文章とされたもの及び感想文章とされたものの出現頻度情報２０４の値をプロットする。

プロットされた後に、ＳＶＭでは図３に示すように、識別線３０２と、プロットされたデータ（紹介文章に分類されたものであるデータ３００ａ〜３００ｄと感想文章に分類されたものであるデータ３０１ａ〜３０１ｄ）との間の距離３０３（マージンとも言う）が最大になるような識別線３０２が設定される。このような状態で、特徴化部１０３によって特徴化された分類対象文章のデータ３０４を同様にプロットし、識別線３０２を境界にして、どちらの領域に属するかで紹介文章なのか感想文章なのかを分類する。なお、図３ではわかりやすくするため２次元空間におけるプロットを示しているが、上述したように単語種別情報２０３の個数によってプロットする空間の次元数は変化する。

次に、本発明の実施の形態に係る文章分類装置における文章分類フローについて図４を用いて説明する。読み取り部１０１は、文章の種類を判別して分類する対象となるべき分類対象文章を読み取る（ステップＳ４０１）。特徴化部１０３は、読み取り部１０１によって読み取られた分類対象文章を分類対象文章中に出現する単語とその単語の出現頻度によって特徴化する（ステップＳ４０２）。判定部１０４は、特徴化部１０３によって特徴化された分類対象文章が紹介文章か又は感想文章かを、記憶部１０２に記憶された上述した分類情報付加情報２００に基づいて判定する（ステップＳ４０３）。ここで、判定部１０４において判定する際、上述したＳＶＭによって紹介文章か感想文章かを判定することが望ましい。

本発明に係る文章分類装置及び文章分類方法は、文章中に出現する単語とその出現頻度に基づいて文章の種類を識別することができるため、文章中に出現する単語などに基づいて文章を分類する文章分類装置及び文章分類方法などに有用である。

本発明の実施の形態に係る文章分類装置の構成を示す構成図である。 本発明の実施の形態に係る文章分類装置における分類情報付加情報について説明するための図である。 本発明の実施の形態に係る文章分類装置におけるＳＶＭを用いた文章の種類の識別について説明するための図である。 本発明の実施の形態に係る文章分類装置における文章の種類の分類フローについて説明するためのフローチャートである。

符号の説明

１００ 文章分類装置
１０１ 読み取り部（読み取り手段）
１０２ 記憶部（記憶手段）
１０３ 特徴化部（特徴化手段）
１０４ 判定部（判定手段）
１０５ 文章解析部
１０６ 頻度算出部
１０７ 事前特徴化部
１０８ 外部装置
２００ 分類情報付加情報
２０１ 分類情報
２０２ 特徴化情報
２０３ 単語種別情報
２０４ 出現頻度情報
３００ａ、３００ｂ、３００ｃ、３００ｄ 紹介文章に分類されたデータ（紹介文章に分類された分類情報付加情報）
３０１ａ、３０１ｂ、３０１ｃ、３０１ｄ 感想文章に分類されたデータ（感想文章に分類された分類情報付加情報）
３０２ 識別線
３０３ 距離（マージン）
３０４ 特徴化された分類対象文章のデータ

Claims (4)

1. 文章の種類を判別して分類する対象となるべき分類対象文章を読み取る読み取り手段と、
   前記読み取り手段によって読み取られた前記分類対象文章の種類を判別する基準とすべく、文章中に出現する単語とその出現頻度によって文章を特徴化した特徴化情報に、紹介文章か又は感想文章かの分類情報を付した分類情報付加情報をあらかじめ記憶する記憶手段と、
   前記読み取り手段によって読み取られた前記分類対象文章を前記分類対象文章中に出現する単語とその出現頻度によって特徴化する特徴化手段と、
   前記特徴化手段によって特徴化された前記分類対象文章が、紹介文章か又は感想文章かを前記記憶手段に記憶された前記分類情報付加情報に基づいて判定する判定手段とを、
   備える文章分類装置。
2. 前記判定手段はＳＶＭ手法を用いて判定する請求項１に記載の文章分類装置。
3. 文章の種類を判別して分類する対象となるべき分類対象文章を読み取るステップと、
   読み取られた前記分類対象文章を前記分類対象文章中に出現する単語とその出現頻度によって特徴化するステップと、
   特徴化された前記分類対象文章が紹介文章か又は感想文章かを、所定の記憶領域に記憶された、文章中に出現する単語とその出現頻度によって文章を特徴化した特徴化情報に紹介文章か又は感想文章かの分類情報を付した分類情報付加情報に基づいて判定するステップとを、
   有する文章分類方法。
4. 前記紹介文章か又は感想文章かを判定する際に、ＳＶＭ手法を用いて判定するステップをさらに有する請求項３に記載の文章分類方法。
   

Images