JP2002304400A - 文書分類装置 - Google Patents

Abstract

(57)【要約】 【課題】 文書分類の際に、特定情報のカテゴリ名を強
調して利用できるようにし、特定情報を重視する分類が
欲しい場合に目的に合致した分類を得る。 【解決手段】 文書の分類を行う文書分類装置におい
て、文書データ入力手段１により入力された文書データ
を、言語解析手段２により、解析して複数の文書に含ま
れる語句を得るとともに、情報抽出手段３によって、特
定の情報を抽出する。トークン生成手段４によって、情
報抽出手段３の出力によって言語解析手段２の出力を変
換し、分類計算に用いるトークンを生成する。文書分類
手段５は、トークン生成手段４の出力に基づいて文書を
分類する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書を自動的に分
類する文書分類装置，方法、特に、文書分類技術と情報
抽出技術とを併用する際のトークン生成技術に関し、例
えば、文書処理装置、文書検索装置、文書分類装置、テ
キスト情報分析装置に適用可能なものである。

【０００２】

【従来の技術】近年、ネットワーク技術の普及により、
国内外の膨大な電子化文書へのアクセスが可能になり、
比例して業務上使用すべき情報の量も飛躍的に増大し
た。その中で収集した大量の文書を自動的に意味あるカ
テゴリーに分類する文書分類技術が提案されるようにな
ってきた。文書分類技術が解決しようとする課題には、
以下の２つがある。

【０００３】

【発明が解決しようとする課題】（ａ）検索の効率化：
所望の文書へ迅速にアクセスするために、膨大な検索結
果の文書集合を内容別の部分集合に分割し、作業者の探
索範囲を狭める。 （ｂ）情報群全体の構造の把握：文書集合全体がどのよ
うな内容（個々の部分集合）で構成されているかを把握
する。

【０００４】文書の自動分類を（ａ）の目的で利用した
ものとして、特開平７−３６８９７号公報，特開平１０
−２６０９９１号公報，特開平１０−１７１８２３号公
報，特開平１０−２６０９９１号公報などに記載されて
いるように、文書を、単語を特徴とする文書ベクトルと
みなし、ベクトル間の類似度に基づき自動分類する方法
がある。また、（ｂ）を利用目的としたものとして、特
開平１１−１５８３５号公報があり、同様に類似度測度
に基づき文書を分類することが提案されている。

【０００５】ベクトル間の類似度測度に基づく文書の自
動分類には、大別すると２種類の方法がある。第１の方
法は、カテゴライゼーションあるいはクラシフィケーシ
ョンと呼ばれ、個々の分類対象文書が、予め設定された
カテゴリのカテゴリに属するかを判断し、文書を自動的
に分類する技術である。中でも古典的に知られたものと
してＳａｌｔｏｎらの装置を解説する（Ｉｎｔｒｏｄｕ
ｃｔｉｏｎ ｔｏ ｍｏｄｅｒｎ ｉｎｆｏｒｍａｔｉ
ｏｎ ｒｅｔｒｉｅｖａｌ、 Ｇ．Ｓａｌｔｏｎ ＆
Ｍ．Ｊ．ＭｃＧｉｌｌ， １９８３， Ｎｅｗ Ｙｏｒ
ｋ ＭｃＧｒａｗ Ｈｉｌｌ）。

【０００６】Ｓａｌｔｏｎらの装置では、まず、個々の
文書に含まれる語句を抽出し、各々の文書を、文書集合
全体に現れる語句を次元、当該文書内での語句の出現頻
度をノルムとしたベクトルとして表現する。また、所与
のカテゴリには、そのカテゴリを特徴付けるいくつかの
サンプル文書を与え、同様にサンプル文書の文書ベクト
ルを生成して、それらの合成ベクトル（例えば、重心ベ
クトル）としてカテゴリベクトルを求める。分類は、文
書ベクトル毎に各カテゴリベクトルとの類似度を求め、
もっとも類似度の高いカテゴリを当該文書ベクトルの所
属カテゴリとして計算される。

【０００７】第２の方法はクラスタリングと呼ばれ、分
類対象文書集合の中で各文書ベクトル同士の類似度を計
算し、互いに類似する文書ベクトルからなるいくつかの
部分集合を生成する方法である。代表的なアルゴリズム
の１つであるｋ−ｍｅａｎｓ法では、以下の手順で計算
が実行される。これはｎ個の分類対象文書を事前に与え
たｋ個の部分集合へ分割する方法である。なお、文書ベ
クトルの求め方は、Ｓａｌｔｏｎらの方法と同一であ
る。

【０００８】（１）ｋ個のクラスタ（部分集合）の重心
の初期値をｎ個の文書ベクトルの中から選択する。 （２）ｎ個の各文書ベクトルをもっとも類似するクラス
タ重心を持つクラスタへ帰属させる。 （３）ｋ個の各クラスタについて、含まれる文書ベクト
ルの平均を新たに求め、これを新しいクラスタ重心とす
る。 （４）上記、（２）、（３）を「クラスタ重心の位置が
変化しなくなるまで」等の終了条件を満たすまで繰り返
す。

【０００９】これらの方法は、基本的に文書から抽出し
た語句を用いて構成した空間に文書をベクトルとして布
置し、文書間の類似度を計算することで、分類を行うも
のである。したがって、文書がどのように分類されるか
は、空間を構成する際に用いる語句をどのように扱うか
に大きく左右されることになる。

【００１０】ここで、企業のニュースリリースなどビジ
ネスに関する文書を分類対象とした例を考える場合、特
に企業名や人名，商品名，地名などの特定情報が分類の
観点として重視されることがある。そのため、こうした
特定情報を抽出するために２つの方法が提案されてい
る。

【００１１】まず、ＳＧＭＬやＸＭＬのような構造化文
書の標準に準拠した文書は、文書中に現れる特定の情報
に予めタグが付与されており、このタグをキーとして容
易に抽出・管理できるようになっている。さらに、通常
のテキストから特定情報を自動的に抽出する「情報抽出
技術（ｉｎｆｏｒｍａｔｉｏｎ ｅｘｔｒａｃｔｉｏ
ｎ）」と呼ばれる技術も利用可能である。情報抽出技術
ではヒューリスティックスや確率モデルを用いて、テキ
スト中に含まれる人名（ｅ．ｇ．ワシントン大統領）、
組織名（ｅ．ｇ．米軍）、商品名、地名、日時や金額情
報を識別・抽出するものである（Ｐｒｏｃｅｅｄｉｎｇ
ｓ ｏｆ ｔｈｅ １^st Ｃｏｎｆｅｒｅｎｃｅ ｏｎ
ＩＲＥＸ （Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅ
ｖａｌ ａｎｄ Ｅｘｔｒａｃｔｉｏｎ Ｅｘｅｒｃｉ
ｓｅ）１９９９．Ｔｏｋｙｏ）。いずれの場合も、個々
の特定情報（ワシントン大統領、米軍など）が、それら
が属するカテゴリの識別子（以下カテゴリ名）とともに
抽出されることになる。本特許で言う特定情報の抽出と
は、文法上の解析情報の抽出ではなく、特定の語句群を
上述に示したように日常使用される所属カテゴリ名とと
もに抽出することである。

【００１２】文書分類の際に、このような特定情報の抽
出結果を利用し空間を構成することで、重要な特定情報
を強調して分類を行うことが考えられる。期待される分
類結果として、考えうるものを以下に示す。 （Ｉ）特定情報を含めた分類（例えば、ワシントン大統
領が支配的な特徴となっている分類）。 （II）特定情報を排除した分類（例えば、ワシントン大
統領のような特定情報は、別途問い合わせ文として検索
できるので、特定情報以外の観点で、例えば、スキャン
ダルなどの語句が支配的な分類が欲しいケース）。 （III）個々の特定情報は含めないが特定情報のカテゴ
リレベルでの情報を含めた分類（例えば、大日本銀行な
どの個別的な情報が支配的な特徴となっている分類は欲
しくないが、汚職に関する記述と何らかの企業名が含ま
れていることを特徴とする分類「企業の汚職」が欲しい
ケース）。 （IV）特定情報および特定情報のカテゴリレベルの情報
をともに含めた分類。

【００１３】（１）に関しては、従来技術で説明した通
常の文書分類技術の空間構成で対処することができる
が、情報抽出結果は、通常の語句と同等に扱われるた
め、利用する効果はない。一方、（II）に関しては、従
来技術として、情報抽出技術によって抽出された特定情
報を、文書分類のための空間構成より排除する方式が提
案されている。しかしながら、この方式も空間構成の際
に、情報抽出によるカテゴリーレベルの情報を使用しな
いため（III），（IV）に関しては実現することはでき
ない。（III），（IV）の効果をより詳しく上述の例を
もとに以下に述べる。

【００１４】・カテゴライゼーションの場合 予め設定するカテゴリとして「企業の汚職」を指定する
ために、サンプル文書として「Ａ社」「贈賄」を含む文
書、および「贈賄」「Ｂ社」を含む文書を与えた場合、
その分類結果として何らかの企業名と「贈賄」という語
句を含む分類を得ることはできない。すなわち、従来技
術では、「Ｃ社」もしくは「Ｄ社」と「贈賄」を含む文
書を、そのカテゴリに所属させることはできない。

【００１５】・クラスタリングの場合 「贈賄」「汚職」「賄賂」等の汚職を示す語句と、個々
の企業名ではなく何らかの企業名とが共起している文書
のグループがクラスタリング結果として得られる。従来
技術では、個々の企業名も「贈賄」「汚職」「賄賂」等
の汚職を示す語句と区別なく空間構成に利用されるた
め、「贈賄」「汚職」「賄賂」「Ａ社」を含むグルー
プ、あるいは「贈賄」「汚職」「賄賂」「Ｂ社」を含む
グループが得られやすい。

【００１６】

【課題を解決するための手段】請求項１の発明は、文書
の分類を行う文書分類装置において、文書データを入力
する文書データ入力手段と、前記文書データ入力手段に
より入力された文書データを解析して、文書に含まれる
語句情報を得る言語解析手段と、前記文書データ入力手
段により入力された文書データを解析して、特定の情報
を抽出する情報抽出手段と、前記情報抽出手段の出力に
よって言語解析手段の出力を変換し、分類計算に用いる
トークンを生成するトークン生成手段と、前記トークン
生成手段の出力に基づいて文書を分類する文書分類手段
と、を備えたことを特徴としたものである。

【００１７】請求項２の発明は、文書の分類を行う文書
分類装置において、文書データを入力する文書データ入
力手段と、前記文書データ入力手段により入力された文
書データを解析して、文書に含まれる語句情報を得る言
語解析手段と、前記文書データ入力手段により入力され
た文書データを解析して、特定のカテゴリーに属する情
報をその情報が属するカテゴリーに対応付けて抽出する
情報抽出手段と、前記言語解析手段によって出力された
語句を、前記情報抽出手段によって抽出された情報のカ
テゴリー識別子を用いて置換し、分類計算に用いるトー
クンを生成するトークン生成手段と、前記トークン生成
手段の出力に基づいて文書を分類する文書分類手段と、
を備えたことを特徴としたものである。

【００１８】請求項３の発明は、文書の分類を行う文書
分類装置において、文書データを入力する文書データ入
力手段と、前記文書データ入力手段により入力された文
書データを解析して、文書に含まれる語句情報を得る言
語解析手段と、前記文書データ入力手段により入力され
た文書データを解析して、特定のカテゴリーに属する情
報をその情報が属するカテゴリーに対応付けて抽出する
情報抽出手段と、前記言語解析手段によって出力された
語句に加えて、前記情報抽出手段によって抽出された情
報のカテゴリー識別子を追加して、分類計算に用いるト
ークンを生成するトークン生成手段と、前記トークン生
成手段の出力に基づいて文書を分類する文書分類手段
と、を備えたことを特徴としたものである。

【００１９】請求項４の発明は、請求項１乃至３のいず
れかの発明において、情報抽出手段の出力によって言語
解析手段の出力を変換（あるいは置換）するための規則
を１つ以上保持する情報変換規則記憶手段と、前記情報
変換規則記憶手段に格納された情報変換規則を選択する
情報変換規則選択手段と、を備えたことを特徴としたも
のである。

【００２０】請求項５の発明は、請求項１乃至４のいず
れかにの発明において、情報抽出手段の出力によって言
語解析手段の出力を変換（あるいは置換）するための規
則を保持する情報変換規則記憶手段と、前記情報変換規
則記憶手段に格納された情報変換規則を変更する情報変
換規則変更手段と、を備えたことを特徴としたものであ
る。

【００２１】請求項６の発明は、文書の分類を行う文書
分類方法において、文書データを入力する文書データ入
力ステップと、前記文書データ入力ステップにより入力
された文書データを解析して、文書に含まれる語句情報
を得る言語解析ステップと、前記文書データ入力ステッ
プにより入力された文書データを解析して、特定の情報
を抽出する情報抽出ステップと、前記情報抽出ステップ
によって抽出された特定の情報によって前記言語解析ス
テップによって得た語句を変換し、分類計算に用いるト
ークンを生成するトークン生成ステップと、前記トーク
ン生成ステップによって生成されたトークンに基づいて
文書を分類する文書分類ステップと、から成ることを特
徴としたものである。

【００２２】請求項７の発明は、文書の分類を行う文書
分類方法において、文書データを入力する文書データ入
力ステップと、前記文書データ入力ステップにより入力
された文書データを解析して、文書に含まれる語句情報
を得る言語解析ステップと、前記文書データ入力ステッ
プにより入力された文書データを解析して、特定のカテ
ゴリーに属する情報をその情報が属するカテゴリーに対
応付けて抽出する情報抽出ステップと、前記言語解析ス
テップによって出力された語句を、前記情報抽出ステッ
プによって抽出された情報のカテゴリー識別子を用いて
置換し、分類計算に用いるトークンを生成するトークン
生成ステップと、前記トークン生成ステップによって生
成されたトークンに基づいて文書を分類する文書分類ス
テップと、から成ることを特徴としたものである。

【００２３】請求項８の発明は、文書の分類を行う文書
分類方法において、文書データを入力する文書データ入
力ステップと、前記文書データ入力ステップにより入力
された文書データを解析して、文書に含まれる語句情報
を得る言語解析ステップと、前記文書データ入力ステッ
プにより入力された文書データを解析して、特定のカテ
ゴリーに属する情報をその情報が属するカテゴリーに対
応付けて抽出する情報抽出ステップと、前記言語解析ス
テップによって出力された語句に加えて、前記情報抽出
ステップによって抽出された情報のカテゴリー識別子を
追加して、分類計算に用いるトークンを生成するトーク
ン生成ステップと、前記トークン生成ステップによって
生成されたトークンに基づいて文書を分類する文書分類
ステップと、を有することを特徴としたものである。

【００２４】請求項９の発明は、請求項１乃至３のいず
れかの発明において、情報抽出ステップの出力によって
言語解析ステップの出力を変換（あるいは置換）するた
めの規則を１つ以上保持する情報変換規則記憶ステップ
と、前記情報変換規則記憶ステップに格納された情報変
換規則を選択する情報変換規則選択ステップと、を有す
ることを特徴としたものである。

【００２５】請求項１０の発明は、請求項６乃至８のい
ずれかに記載の文書分類方法において、情報抽出ステッ
プの出力によって言語解析ステップの出力を変換（ある
いは置換）するための規則を保持する情報変換規則記憶
ステップと、前記情報変換規則記憶ステップに格納され
た情報変換規則を変更する情報変換規則変更ステップ
と、を有することを特徴としたものである。

【００２６】請求項１１の発明は、請求項１乃至５のい
ずれかに記載の文書分類装置を作動させ、或いは、請求
項６乃至９のいずれかに記載の文書分類方法を実行する
ためのプログラムを記憶したコンピュータ読み取り可能
な記録媒体である。

【００２７】

【発明の実施の形態】図１は、本発明の一実施形態（請
求項１，２，３）の構成を示す図で、図中、１は文書デ
ータ入力手段、２は言語解析手段、３は情報抽出手段、
４はトークン生成手段、５は文書分類手段で、それぞれ
の構成要素はバスもしくはネットワークを介して接続さ
れており、必要に応じて各々の構成要素の間で文書デー
タや制御情報のやり取りが可能なように構成されてい
る。

【００２８】ここで、特定情報の抽出と、文書分類が重
要になる好適な例として、ニュースリリースを用いて業
界動向を分析する場面を想定する。こうしたニュースリ
リースは、情報検索ロボットやサーチエンジンを用いる
と、インターネットを介して大量に収集することができ
る。収集したニュースリリースにはＩＤが付与され文書
データベースに保持される。以下の文書データベースに
格納されている文書群の例を示す。

【００２９】

【表１】

【００３０】分析対象の文書について、言語解析手段２
は、各文書に含まれる単語や複合語を抽出する。この処
理は、形態素解析等の既知の言語解析アルゴリズムを用
いることができる。下記は、言語解析手段２が、形態素
解析結果のうち分類計算に用いる名詞を出力した例であ
るが、実際には言語解析手段２は、各語句のｉｄを出力
すれば良い。

【００３１】文書ＩＤ１ →高速（名詞，ｉｄ−１），カラー（名詞，ｉｄ−
２），プリンター（名詞，ｉｄ−３），ＸＬ１０００
（固有名詞，ｉｄ−４），株式会社（名詞，ｉｄ−
５），Ａ社（固有名詞，ｉｄ−６），オフィス（名詞，
ｉｄ−７），市場（名詞，ｉｄ−８），投入（名詞，ｉ
ｄ−９），印刷（名詞，ｉｄ−１０），速度（名詞，ｉ
ｄ−１１），販売（名詞，ｉｄ−１２），価格（名詞，
ｉｄ−１３），予定（名詞，ｉｄ−１４），全国（名
詞，ｉｄ−１５），代理店（名詞，ｉｄ−１６）。

【００３２】文書ＩＤ２ →Ｄ（固有名詞，ｉｄ−１７），株式会社（名詞，ｉｄ
−５），中間（名詞，ｉｄ−１８），決算（名詞，ｉｄ
−１９），発表（名詞，ｉｄ−２０），主力（名詞，ｉ
ｄ−２１），高速（名詞，ｉｄ−１１），プリンター
（名詞，ｉｄ−３），ＤＰＬ−Ｘ（固有名詞，ｉｄ−２
２），好調（名詞，ｉｄ−２３），売上高（名詞，ｉｄ
−２４），景気（名詞，ｉｄ−２５），低迷（名詞，ｉ
ｄ−２６），影響（名詞，ｉｄ−２７），企業（名詞，
ｉｄ−２８），投資（名詞，ｉｄ−２９），連続（名
詞，ｉｄ−３０），経常利益（名詞，ｉｄ−３１）。

【００３３】文書ＩＤ３ →株式会社（名詞，ｉｄ−５），Ｃ社（固有名詞，ｉｄ
−３２），オフィス（名詞，ｉｄ−７），高速（名詞，
ｉｄ−１１），プリンター（名詞，ｉｄ−３），ＯＰ−
Ｘ６０（固有名詞，ｉｄ−３３），販売（名詞，ｉｄ−
１２），印刷（名詞，ｉｄ−１０），速度（名詞，ｉｄ
−１１），希望（名詞，ｉｄ−３４），価格（名詞，ｉ
ｄ−１３），予定（名詞，ｉｄ−１４）。

【００３４】文書ＩＤｎ →Ｂ（固有名詞，ｉｄ−３５），株式会社（名詞，ｉｄ
−５），役員（名詞，ｉｄ−３６），人事（名詞，ｉｄ
−３７），発表（名詞，ｉｄ−２０），代表（名詞，ｉ
ｄ−２８），取締役（名詞，ｉｄ−３９），社長（名
詞，ｉｄ−４０），常務（名詞，ｉｄ−４１），ＡＡＡ
（固有名詞，ｉｄ−４２），ＢＢＢ（固有名詞，ｉｄ−
４３），会長（名詞，ｉｄ−４４），就任（名詞，ｉｄ
−４５）。

【００３５】次に、文書集合に対して情報抽出手段３は
特定情報の抽出を行う。情報抽出の第一の方法は、既知
である情報抽出技術を用いるもので、テキスト中から、
例えば、「氏という語の前の未知語列は人名が来る」
「社あるいは株式会社の前の未知語句は企業名である」
などのヒューリスティックス等を用いて以下のような固
有名を自動抽出する技術である。 ・企業名、組織名（Ａ社、Ｂ社、米軍など） ・人名（鈴木一郎など） ・地名（東京都、港区、青山など） ・商品名（ＸＬ−１０００など） ・日付（２０００年４月１日） ・時間（３時間、４０分、９.６０秒など） ・金額（８１００００円、５１２億ドル） ・割合（５％、４割など）

【００３６】また、第２の方法は、構造化文書の場合の
方法である。構造化文書では、例えば、「高速カラープ
リンター「ＸＬ１０００」発売。株式会社Ａ社は２００
０年１月７日より、新型の高速カラープリンター「ＸＬ
１０００」をオフィス市場へ投入する。印刷速度はフル
カラーで毎分２０枚である。販売価格は８２００００円
を予定しており、全国の代理店から販売する予定であ
る。」という文書は以下のような形式で記述される。

【００３７】＜ｄｏｃｕｍｅｎｔ＞ ＜ｈ１＞プレスリリース 高速カラープリンター「ＸＬ
−１０００」発売＜／ｈ１＞ ＜ｐ＞＜ｓｅｎｄｅｒｎａｍｅ＞株式会社Ａ社＜／ｓｅ
ｎｄｅｒｎａｍｅ＞は、＜ｒｅｌｅａｓｅｄａｔｅ＞２
０００年１月７日＜／ｒｅｌｅａｓｅｄａｔｅ＞より、
新型の高速＜ｐｒｏｄｕｃｔｔｙｐｅ＞カラープリンタ
ー＜／ｐｒｏｄｕｃｔｔｙｐｅ＞「＜ｐｒｏｄｕｃｔｎ
ａｍｅ＞ＸＬ−１０００＜／ｐｒｏｄｕｃｔｎａｍｅ
＞」をオフィス市場へ投入する。印刷速度はフルカラー
で毎分２０枚である。販売価格は＜ｐｒｉｃｅ＞８２０
０００円＜／ｐｒｉｃｅ＞を予定しており、全国の代理
店から販売する予定である。＜／ｐ＞ ＜／ｄｏｃｕｍｅｎｔ＞

【００３８】構造化文書では、文書中に現れる重要な語
句が＜ｔａｇｎａｍｅ＞＜／ｔａｇｎａｍｅ＞に挟まれ
る形でタグ付けされているため、このタグを識別子とし
て簡単に特定情報を取り出すことが可能になっている。
上述の例では、企業名（ｓｅｎｄｅｒｎａｍｅ），発売
日（ｒｅｌｅａｓｅｄａｔｅ），商品名（ｐｒｏｄｕｃ
ｔｎａｍｅ），価格（ｐｒｉｃｅ）などのタグが埋め込
まれている。したがって、文書のタグ付けの構造を解析
し、ｓｅｎｄｅｒｎａｍｅのようなタグ名と、株式会社
Ａ社のような値とを対応づけて抽出し、（タグ名，値）
のセットで出力する。これは各文書の＜ｔａｇｎａｍｅ
＞で始まるところから、＜／ｔａｇｎａｍｅ＞で終わる
ところまでの部分を抽出すれば良い。

【００３９】情報抽出手段３により、抽出された情報抽
出結果を表２に示す。

【００４０】

【表２】

【００４１】トークン生成手段４は、情報抽出手段３の
情報抽出結果を用いて言語解析手段２の出力を変換する
機能を果たしている。ここでは、２つの実施例について
説明する。

【００４２】発明が解決しようとする課題の（III） 個々の特定情報は含めないが特定情報のカテゴリレベル
での情報を含めた分類に対応：請求項２の発明では、言
語解析結果の出力のうち、情報抽出結果と同一と判断さ
れるものを、特定情報のカテゴリＩＤ（例えば、企業
名，商品名，あるいは＜ｓｅｎｄｅｒｎａｍｅ＞，＜ｐ
ｒｏｄｕｃｔｎａｍｅ＞）で置き換える処理を行う。動
作を説明すると、まず、トークン生成手段４は、情報抽
出結果と同じ文字列を持つ言語解析結果を検索し、語句
ｉｄをカテゴリｉｄで置き換える。例えば、文書ＩＤ−
１の文書からは、情報抽出手段３により企業名として
「Ａ社」、商品名として「ＸＬ１０００」、日時として
「２０００／１／７」、金額として「８２００００円」
が抽出されている。一方、言語解析手段２からは、「高
速（名詞，ｉｄ−１），カラー（名詞，ｉｄ−２），プ
リンター（名詞，ｉｄ−３），ＸＬ１０００（固有名
詞，ｉｄ−４），株式会社（名詞，ｉｄ−５），Ａ社
（固有名詞，ｉｄ−６），オフィス（名詞，ｉｄ−
７），市場（名詞，ｉｄ−８），投入（名詞，ｉｄ−
９），印刷（名詞，ｉｄ−１０），速度（名詞，ｉｄ−
１１），販売（名詞，ｉｄ−１２），価格（名詞，ｉｄ
−１３），予定（名詞，ｉｄ−１４），全国（名詞，ｉ
ｄ−１５），代理店（名詞，ｉｄ−１６）」が抽出され
ている。ここで、「Ａ社」と「ＸＬ１０００」が共通し
ているため、カテゴリｉｄでの置換を行い、企業名のカ
テゴリｉｄを１０００、商品名のカテゴリｉｄを１００
１とすると、以下のようなデータが得られることにな
る。

【００４３】ｉｄ−１，ｉｄ−２，ｉｄ−３，ｉｄ−１
００１，ｉｄ−５，ｉｄ−１０００，ｉｄ−７，ｉｄ−
８，ｉｄ−９，ｉｄ−１０，ｉｄ−１１，ｉｄ−１２，
ｉｄ−１３，ｉｄ−１４，ｉｄ−１５，ｉｄ−１６

【００４４】同様に各文書を処理し、最終的に、トーク
ン生成手段４は、列方向に文書ＩＤを、行方向に語句も
しくはカテゴリ名であるトークンＩＤを、要素として出
現頻度を持つ、行列を生成する。

【００４５】発明が解決しようとする課題の（IV） 特定情報および特定情報のカテゴリレベルの情報をとも
に含めた分類に対応：請求項３の発明では、言語解析手
段２の出力に情報抽出結果と同一と判断されるものがあ
れば、特定情報のカテゴリＩＤ（例えば、企業名，商品
名，あるいは＜ｓｅｎｄｅｒｎａｍｅ＞，＜ｐｒｏｄｕ
ｃｔｎａｍｅ＞）を、言語解析手段の出力に加える処理
を行う。トークン生成手段４は、情報抽出結果に含まれ
る語句と同じ文字列を持つ言語解析結果があれば、その
度に当該語句のカテゴリーｉｄを付け加える。例えば、
文書ＩＤ−１の文書からは、情報抽出手段３により企業
名として「Ａ社」、商品名として「ＸＬ１０００」、日
時として「２０００／１／７」、金額として「８２００
００円」が抽出されている。一方、言語解析手段から
は、「高速（名詞，ｉｄ−１），カラー（名詞，ｉｄ−
２），プリンター（名詞，ｉｄ−３），ＸＬ１０００
（固有名詞，ｉｄ−４），株式会社（名詞，ｉｄ−
５），Ａ社（固有名詞，ｉｄ−６），オフィス（名詞，
ｉｄ−７），市場（名詞，ｉｄ−８），投入（名詞，ｉ
ｄ−９），印刷（名詞，ｉｄ−１０），速度（名詞，ｉ
ｄ−１１），販売（名詞，ｉｄ−１２），価格（名詞，
ｉｄ−１３），予定（名詞，ｉｄ−１４），全国（名
詞，ｉｄ−１５），代理店（名詞，ｉｄ−１６）」が抽
出されている。ここで、「Ａ社」と「ＸＬ１０００」が
共通しているため、カテゴリｉｄの挿入を行い、企業名
のカテゴリｉｄを１０００、商品名のカテゴリｉｄを１
００１とすると、以下のようなデータが得られることに
なる。

【００４６】ｉｄ−１，ｉｄ−２，ｉｄ−３，ｉｄ−
４，ｉｄ−１００１，ｉｄ−５，ｉｄ−６，ｉｄ−１０
００，ｉｄ−７，ｉｄ−８，ｉｄ−９，ｉｄ−１０，ｉ
ｄ−１１，ｉｄ−１２，ｉｄ−１３，ｉｄ−１４，ｉｄ
−１５，ｉｄ−１６

【００４７】同様に各文書を処理し、最終的にトークン
生成手段４は、列方向に文書ＩＤを、行方向に語句もし
くはカテゴリ名であるトークンＩＤを、要素として出現
頻度を持つ、行列を生成する。

【００４８】なお、この行列を分類計算の高速化や精度
向上のために、様々な変換処理を行うことが提案されて
いるが、本実施例では、以下の３つの方法を実装してい
る。 （１）行列をそのまま利用する方法 （２）各文書の長さや分類対象文書集合内での各トーク
ンの出現頻度を考慮して、要素である出現頻度の値に重
み付けを行う方法 （３）（１）あるいは（２）の行列から文書間の内積行
列を算出し、これに特異値分解を適用して潜在的意味空
間を構成する方法（Ｐｒｏｊｅｃｔｉｏｎｓ ｆｏｒ
ｅｆｆｉｃｉｅｎｔ ｄｏｃｕｍｅｎｔ ｃｌｕｓｔｅ
ｒｉｎｇ， Ｈ．Ｓｃｈｕｔｚｅ ＆ Ｃ．Ｓｉｌｖｅ
ｒｓｔｏｎｅ、 １９９７． Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｆ ＳＩＧＩＲ ９７， ９９７４−８１， ＡＣ
Ｍ）

【００４９】文書分類手段５は、トークン生成手段４に
よる行列の行ベクトルを文書ベクトルと見なし、ベクト
ル間の類似度を用いて文書を分類する。本実施例では、
クラスタリングとカテゴライゼーションの双方を備えて
いる。その動作については従来技術の項で述べた。

【００５０】図２は、本発明の他の実施形態（請求項
４）を説明するための図で、図中、６は情報変換規則選
択手段、７は情報変換規則記憶手段で、情報変換規則記
憶手段７はトークン生成手段４に参照される、情報抽出
手段３の出力を用いてどのように言語解析手段２の出力
を変換するかを記述した変換規則を保持する記憶装置で
ある。各変換規則はｉｄで管理されている。本発明で
は、変換規則に次のようなものが実装されている。ここ
で、言語解析手段２の出力である（語句，品詞）をｔｅ
ｒｍ，ｐａｒｔ＿ｏｆ＿ｓｐｅｅｃｈ情報抽出手段３の
出力である（カテゴリ名，特定情報）をｃａｔｅｇｏｒ
ｙ，ｔｅｒｍとすると、 ・ｒｅｐｌａｃｅ（ａｌｌ＿ｃａｔｅｇｏｒｉｅｓ）言
語解析手段２の出力、情報抽出手段３の出力でｔｅｒｍ
が共通していれば、ｔｅｒｍをｃａｔｅｇｏｒｙに変換
する。 ・ｒｅｐｌａｃｅ（ｃａｔｅｇｏｒｙ）ｔｅｒｍをｃａ
ｔｅｇｏｒｙに変換して良いカテゴリ名を選択できる。
例えば、ｒｅｐｌａｃｅ（製品名）、ｒｅｐｌａｃｅ
（人名）、ｒｅｐｌａｃｅ（企業名）のうち目的によっ
ていくつかを選択することができる。 ・ａｄｄ（ａｌｌ＿ｃａｔｅｇｏｒｉｅｓ）言語解析手
段２の出力、情報抽出手段３の出力でｔｅｒｍが共通し
ていれば、ｔｅｒｍに加えｃａｔｅｇｏｒｙもトークン
生成に利用する。 ・ａｄｄ（ｃａｔｅｇｏｒｙ）ｔｅｒｍに加え追加する
カテゴリ名を選択できる。例えば、ａｄｄ（製品名），
ａｄｄ（人名），ａｄｄ（企業名）のうち目的によって
いくつかを選択することができる。がサポートされてい
る。

【００５１】また、本発明では編集された変換規則を情
報変換規則記憶手段７に保持できるので、それらも情報
変換規則選択手段６の選択対象とすることができる。

【００５２】情報変換規則選択手段６は、情報変換規則
記憶手段７の内部に格納されている規則のうち、トーク
ン生成手段４内で利用したいものをユーザーの入力に基
づき、変換規則のｉｄをトークン生成手段４へ出力する
手段である。トークン生成手段４は、入力された変換規
則のｉｄをもとに、情報変換規則記憶手段７より変換規
則をロードし、トークン生成を行う。

【００５３】図３は、本発明の他の実施形態（請求項
５）を説明するための図で、情報変換規則変更手段８
は、新規に変換規則を編集したり、情報変換規則内に保
持されている変換規則を修正したりする装置である。変
換規則を記述するために利用できる演算子には、請求項
４で記述のｒｅｐｌａｃｅ、ａｄｄのほかに以下のもの
が実装されている。 ・ｎｅｗ（ｎｅｗ＿ｃａｔｅｇｏｒｙ＿ｎａｍｅ，［ｃ
ａｔｅｇｏｒｙ＿ｎａｍｅｓ］）ｃａｔｅｇｏｒｙ＿ｎ
ａｍｅｓに記述したカテゴリ名に属するｔｅｒｍをｎｅ
ｗ＿ｃａｔｅｇｏｒｙ＿ｎａｍｅで与えた新たなカテゴ
リに属するｔｅｒｍとする。（例）ｎｅｗ（行為者，
［企業名，組織名，人名］）カテゴリ名が企業名，組織
名，人名に属するｔｅｒｍをカテゴリ名「行為者」に属
するｔｅｒｍとする。したがって、ｒｅｐｌａｃｅ（行
為者）とすると、企業名、組織名、人名に属するｔｅｒ
ｍがすべて「行為者」のカテゴリｉｄで置換されること
になる。

【００５４】

【発明の効果】以上の説明から明らかなように、本発明
によると以下のような効果がある。文書分類の際に、特
定情報のカテゴリ名を強調して利用できるので、特定情
報を重視する分類が欲しい場合に目的に合致した分類を
得ることができる。

【００５５】情報抽出手段により抽出される特定情報の
カテゴリ名を用いた分類ができるので、個々の特定情報
に左右されない分類を得ることができる。

【００５６】文書分類の際に、情報抽出手段により抽出
される特定情報のカテゴリ名とともに個々の特定情報も
利用するので、個々の特定情報に基づく分類も、カテゴ
リ名に基づく分類も得ることができる。

【００５７】情報変換規則を選択できるので、個々の特
定情報に基づく分類、あるいはカテゴリ名に基づく分類
を、目的に応じて使い分けることができる。

【００５８】情報変換規則を編集できるので、より柔軟
な分類を行うことができる。

【図面の簡単な説明】

【図１】 本発明の一実施形態（請求項１，２，３）の
構成を示す図である。

【図２】 本発明の他の実施形態（請求項４）を説明す
るための図である。

【図３】 本発明の他の実施形態（請求項５）を説明す
るための図である。

【符号の説明】

１…文書データ入力手段、２…言語解析手段、３…情報
抽出手段、４…トークン生成手段、５…文書分類手段、
６…情報変換規則選択手段、７…情報変換規則記憶手
段、８…情報変換規則変更手段。

Claims (11)

【特許請求の範囲】
1. 【請求項１】 文書の分類を行う文書分類装置におい
   て、文書データを入力する文書データ入力手段と、前記
   文書データ入力手段により入力された文書データを解析
   して、文書に含まれる語句情報を得る言語解析手段と、
   前記文書データ入力手段により入力された文書データを
   解析して、特定の情報を抽出する情報抽出手段と、前記
   情報抽出手段の出力によって言語解析手段の出力を変換
   し、分類計算に用いるトークンを生成するトークン生成
   手段と、前記トークン生成手段の出力に基づいて文書を
   分類する文書分類手段と、を備えたことを特徴とする文
   書分類装置。
2. 【請求項２】 文書の分類を行う文書分類装置におい
   て、文書データを入力する文書データ入力手段と、前記
   文書データ入力手段により入力された文書データを解析
   して、文書に含まれる語句情報を得る言語解析手段と、
   前記文書データ入力手段により入力された文書データを
   解析して、特定のカテゴリーに属する情報をその情報が
   属するカテゴリーに対応付けて抽出する情報抽出手段
   と、前記言語解析手段によって出力された語句を、前記
   情報抽出手段によって抽出された情報のカテゴリー識別
   子を用いて置換し、分類計算に用いるトークンを生成す
   るトークン生成手段と、前記トークン生成手段の出力に
   基づいて文書を分類する文書分類手段と、を備えたこと
   を特徴とする文書分類装置。
3. 【請求項３】 文書の分類を行う文書分類装置におい
   て、文書データを入力する文書データ入力手段と、前記
   文書データ入力手段により入力された文書データを解析
   して、文書に含まれる語句情報を得る言語解析手段と、
   前記文書データ入力手段により入力された文書データを
   解析して、特定のカテゴリーに属する情報をその情報が
   属するカテゴリーに対応付けて抽出する情報抽出手段
   と、前記言語解析手段によって出力された語句に加え
   て、前記情報抽出手段によって抽出された情報のカテゴ
   リー識別子を追加して、分類計算に用いるトークンを生
   成するトークン生成手段と、前記トークン生成手段の出
   力に基づいて文書を分類する文書分類手段と、を備えた
   ことを特徴とする文書分類装置。
4. 【請求項４】 請求項１乃至３のいずれかに記載の文書
   分類装置において、情報抽出手段の出力によって言語解
   析手段の出力を変換（あるいは置換）するための規則を
   １つ以上保持する情報変換規則記憶手段と、前記情報変
   換規則記憶手段に格納された情報変換規則を選択する情
   報変換規則選択手段と、を備えたことを特徴とする文書
   分類装置。
5. 【請求項５】 請求項１乃至４のいずれかに記載の文書
   分類装置において、情報抽出手段の出力によって言語解
   析手段の出力を変換（あるいは置換）するための規則を
   保持する情報変換規則記憶手段と、前記情報変換規則記
   憶手段に格納された情報変換規則を変更する情報変換規
   則変更手段と、を備えたことを特徴とする文書分類装
   置。
6. 【請求項６】 文書の分類を行う文書分類方法におい
   て、文書データを入力する文書データ入力ステップと、
   前記文書データ入力ステップにより入力された文書デー
   タを解析して、文書に含まれる語句情報を得る言語解析
   ステップと、前記文書データ入力ステップにより入力さ
   れた文書データを解析して、特定の情報を抽出する情報
   抽出ステップと、前記情報抽出ステップによって抽出さ
   れた特定の情報によって前記言語解析ステップによって
   得た語句を変換し、分類計算に用いるトークンを生成す
   るトークン生成ステップと、前記トークン生成ステップ
   によって生成されたトークンに基づいて文書を分類する
   文書分類ステップと、から成ることを特徴とする文書分
   類方法。
7. 【請求項７】 文書の分類を行う文書分類方法におい
   て、文書データを入力する文書データ入力ステップと、
   前記文書データ入力ステップにより入力された文書デー
   タを解析して、文書に含まれる語句情報を得る言語解析
   ステップと、前記文書データ入力ステップにより入力さ
   れた文書データを解析して、特定のカテゴリーに属する
   情報をその情報が属するカテゴリーに対応付けて抽出す
   る情報抽出ステップと、前記言語解析ステップによって
   出力された語句を、前記情報抽出ステップによって抽出
   された情報のカテゴリー識別子を用いて置換し、分類計
   算に用いるトークンを生成するトークン生成ステップ
   と、前記トークン生成ステップによって生成されたトー
   クンに基づいて文書を分類する文書分類ステップと、か
   ら成ることを特徴とする文書分類方法。
8. 【請求項８】 文書の分類を行う文書分類方法におい
   て、文書データを入力する文書データ入力ステップと、
   前記文書データ入力ステップにより入力された文書デー
   タを解析して、文書に含まれる語句情報を得る言語解析
   ステップと、前記文書データ入力ステップにより入力さ
   れた文書データを解析して、特定のカテゴリーに属する
   情報をその情報が属するカテゴリーに対応付けて抽出す
   る情報抽出ステップと、前記言語解析ステップによって
   出力された語句に加えて、前記情報抽出ステップによっ
   て抽出された情報のカテゴリー識別子を追加して、分類
   計算に用いるトークンを生成するトークン生成ステップ
   と、前記トークン生成ステップによって生成されたトー
   クンに基づいて文書を分類する文書分類ステップと、を
   有することを特徴とする文書分類方法。
9. 【請求項９】 請求項６乃至８のいずれかに記載の文書
   分類方法において、情報抽出ステップの出力によって言
   語解析ステップの出力を変換（あるいは置換）するため
   の規則を１つ以上保持する情報変換規則記憶ステップ
   と、前記情報変換規則記憶ステップに格納された情報変
   換規則を選択する情報変換規則選択ステップと、を有す
   ることを特徴とする文書分類方法。
10. 【請求項１０】 請求項６乃至９のいずれかに記載の文
    書分類方法において、情報抽出ステップの出力によって
    言語解析ステップの出力を変換（あるいは置換）するた
    めの規則を保持する情報変換規則記憶ステップと、前記
    情報変換規則記憶ステップに格納された情報変換規則を
    変更する情報変換規則変更ステップと、を備えたことを
    特徴とする文書分類方法。
11. 【請求項１１】 請求項１乃至５のいずれかに記載の文
    書分類装置を作動させ、或いは、請求項６乃至１０のい
    ずれかに記載の文書分類方法を実行するためのプログラ
    ムを記憶したコンピュータ読み取り可能な記録媒体。