JP2008299524A - 情報分類装置及びプログラム - Google Patents

Abstract

【課題】最尤推定の結果への近さを評価できる情報分類装置及びプログラムを提供する。
【解決手段】与えられた分類項目の各々に、分類対象の情報が属する確率を、分類対象の情報が各分類項目に属する尤度を表す尤度関数を用いて演算し、分類項目ごとの演算の結果である確率の値に基づいて、分類対象となる情報の分類先である分類項目を決定する。このとき、尤度関数の値を、最尤推定の値からの乖離の度合いを表す変数を用いて演算し、当該変数が陽に定義した制御関数によって規定される情報分類装置である。
【選択図】図１

Description

本発明は、情報分類装置及びプログラムに関する。

予め与えられたデータから学習して得られた分類のルールを用い、その後得られたデータの分類を行う技術がある。こうした技術においては、データの背後にあるデータ生成源の真の、あるいは真に近い確率分布を推定することが行われる。かかる確率分布の推定には、混合ガウス分布、隠れマルコフモデル、ベイジアンネットワークなど多くのモデルが検討されている。
Ayanendranath Basu, Ian R. Harris, Nils L. Hjort, M. C. Jones,Robust and Efficient Estimation by Minimising a Density Power Divergence,Biometrika, Vol. 85, No. 3 (Sep., 1998), pp. 549-559, 1998

例えばデータを確率の関数として尤度関数を定義し、当該尤度関数またはその対数である対数尤度関数を考える。そしてこの尤度関数または対数尤度関数を最大化するパラメータを設定する方法（いわゆる最尤推定法）によって確率分布の推定が行われる。

しかし最尤推定法では十分なデータが事前に存在しない場合に、与えられたデータに対して過度に適応してしまい、予測精度が低下する現象があること（汎化誤差が増大する）ことが知られている。一般にこの現象を「過学習」と呼んでいる。

ベイズ統計は、この最尤推定法における過学習を避けることができるが、ベイズ統計では、最尤推定の結果にどれだけ近づいているかという指標が得られない。

本発明は上記実情に鑑みて為されたもので、最尤推定の結果への近さを評価できる情報分類装置及びプログラムを提供することを、その目的の一つとする。

請求項１記載の発明は、情報分類装置であって、与えられた分類項目の各々に、分類対象の情報が属する確率を、分類対象の情報が各分類項目に属する尤度を表す尤度関数を用いて演算する演算手段と、前記分類項目ごとの演算の結果である確率の値に基づいて、前記分類対象となる情報の分類先である分類項目を決定する手段と、を含み、前記演算手段は、前記尤度関数の値を、最尤推定の値からの乖離の度合いを表す変数を用いて演算しており、当該変数が陽に定義した制御関数によって規定されることとしたものである。

請求項２記載の発明は、請求項１記載の情報分類装置であって、前記制御関数は、情報の数が増大するほど、前記尤度関数が最尤推定の値に近接するよう前記変数を規定したものである。

請求項３記載の発明は、請求項１または２に記載の情報分類装置であって、前記演算手段は、前記分類対象の情報と前記分類項目とに関わる複数の情報要素間における関係であって、それぞれ確率が付随した依存関係を表す非循環有向関係を規定する関係情報を参照し、前記依存関係を、前記尤度関数を用いて演算し、当該関係情報に基づいて、与えられた分類項目の各々に、分類対象の情報が属する確率を演算する演算手段であり、前記情報分類装置は、各依存関係に係る前記制御関数の値に基づいて、各依存関係を選択的に削除、維持、または有向関係を反転する手段を含むこととしたものである。

請求項４記載の発明は、プログラムであって、コンピュータを、与えられた分類項目の各々に、分類対象の情報が属する確率を、分類対象の情報が各分類項目に属する尤度を表す尤度関数を用いて演算する演算手段と、前記分類項目ごとの演算の結果である確率の値に基づいて、前記分類対象となる情報の分類先である分類項目を決定する手段と、として動作させ、前記演算手段としての動作では、前記尤度関数の値を、最尤推定の値からの乖離の度合いを表す変数を用いて演算し、当該変数が陽に定義した制御関数によって規定されてなることとしたものである。

請求項１、または４記載の発明によると、陽に定義された制御関数の値によって最尤推定の結果との近さが評価できる。

請求項２記載の発明によると、例えば情報数が多いほど最尤推定に近接するよう定義できる。

請求項３記載の発明によると、依存関係を制御関数の値によって整理することで、依存関係を簡素化できる。

本発明の実施の形態について図面を参照しながら説明する。本実施の形態の情報分類装置は、図１に例示するように、制御部１１と、記憶部１２と、入力部１３と、出力部１４とを含んで構成される。

制御部１１は、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムに従って動作する。この制御部１１は、事前に記憶部１２に蓄積されているデータベースを利用して、入力される情報を、予め定められた分類項目のいずれかに分類する処理を行う。この制御部１１の処理の内容については、後に詳しく述べる。

記憶部１２は、ＲＡＭ（Random Access Memory）やディスクデバイスなどを含んで構成される。この記憶部１２には、制御部１１によって実行されるプログラムが保持される。このプログラムは、例えばＤＶＤ−ＲＯＭなどのコンピュータ可読な記録媒体に格納されて提供されてもよい。その場合、例えばこうしたコンピュータ可読な記録媒体から記憶部１２へプログラムが複写され、制御部１１によって実行される。また、この記憶部１２は制御部１１のワークメモリとしても動作する。

入力部１３は、キーボードやマウスなどを含む。この入力部１３は、また外部の機器から情報の入力を受け入れるインタフェース回路を含んでもよい。本実施の形態では、分類の対象となる情報は、例えばこの入力部１３から入力される。入力部１３は、入力された情報を制御部１１に出力する。

出力部１４は、制御部１１から入力される指示に従って、情報を出力する。この出力部１４は、例えばディスプレイ装置やプリンタなどでよい。

次に、本実施の形態の制御部１１の処理の内容について説明する。以下ではｉ番目の分類項目に情報Ｘが属する確率を、Ｐ（Ｘ＝ｉ）とする。またここでは分類の条件が予め設定されているものとする。例えば「単語ｗを含む」や「作成日時がｄより後である」などの条件である。そして個々の分類の条件ごとに、その分類の条件が満足されたときに各分類項目に属すると判断される確率（尤度）が予め設定されて、記憶部１２に格納されているものとする。

この尤度は、例えば、制御部１１が、予め分類項目のいずれかに分類された学習用情報を受け入れ、当該学習用の情報に基づいて学習の処理を通じて獲得したものであってもよい。このように学習を行う場合、制御部１１は、学習用情報の各々について次の処理を行う。すなわち制御部１１は、学習用情報の一つを注目情報として、注目情報が個々の分類の条件を満足するか否かを調べる。そして、満足していると判断される分類条件Ｃｊについて、当該分類条件を満足したときに、注目情報が属しているｋ番目の分類項目に分類される情報の数Ｎｋを「１」だけインクリメントする。

制御部１１は、すべての学習用情報を注目情報として上記の処理を行った後、ｊ番目（ｊ＝１，２…）の分類条件に関連づけられ、当該分類条件Ｃｊを満足しているときに各分類項目へ分類される情報の数を、学習用情報の総数（標本数）Ｎで除して、分類条件Ｃｊを満足しているときに、ｉ番目の分類項目へ分類される尤度（Ｃｊ，Ｎｉ／Ｎ）を求める。

このように、標本数Ｎに対して、ｉ番目の分類項目に分類されている情報の数がＮｉであるとすると、ｉ番目の分類項目に分類条件Ｃｊを満足する情報が属する確率Ｐ（Ｃｊ，ｉ）の最尤推定値ｐ（Ｃｊ，ｉ）は例えば単に、その頻度として表すことができる。
ｐ（Ｃｊ，ｉ）＝Ｎｉ／Ｎ （１）

また、ベイズ推定によって最尤推定値を決定することもできる。この場合、標本数αのうち、αｉ個のデータがｉ番目の分類項目に属すると事前頻度が設定されているとして、
ｐ（Ｃｊ，ｉ）＝（Ｎｉ＋αｉ）／（Ｎ＋α） （２）
と表すことになる。制御部１１は、これらのように学習用として予め提供される情報（標本）に基づいて得た最尤推定値ｐを記憶しておく。

こうした個々の分類条件についての最尤推定値を用いて、ある情報Ｘがｉ番目の分類項目に属することを表す最尤推定による分布ｐ（Ｘ＝ｉ）（ｉ＝１，２，…）が得られる。

一方、求めるべき確率Ｐ（Ｘ＝ｉ）と、この最尤推定による分布ｐ（Ｘ＝ｉ）とのカルバック距離（Kullback-Leibler Divergence）を内部エネルギーＵとし、シャノンのエントロピーＨ、自由エネルギーＦとの関係は、

と書くことができる。

ここに、β0は、統計物理学における逆温度（温度とボルツマン定数との積ｋＴの逆数）に相当する値である。

規格化したβを、

とおくと、ラグランジュの未定係数法より確率値Ｐ（Ｘ＝ｉ）が、

と演算できる。すなわち、確率値Ｐ（Ｘ＝ｉ）は、最尤推定値ｐ（Ｘ＝ｉ）と、パラメータβとを用いて表現できる。

ここに、学習に用いた情報の総数が多いほど、自由エネルギーＦにおいて最尤推定値からのカルバック距離Ｕが支配的となるべきであり、学習に用いた情報の総数が少ないほどエントロピーＨが支配的となるべきである。すなわち、最尤推定値からのカルバック距離を最小とすれば最尤原理に従うことになり、学習によって得られた確率分布になるべく従うこととなる一方で、エントロピーＨを最大とすればこれは、最大エントロピー原理に従い、つまりはなるべく等確率でちらばる確率分布に従うこととなる。そこで、このβを学習に用いた情報の総数Ｎに従って単調に増加する関数（最尤推定値からの乖離を制御する制御関数）とする。例えば、

として、陽に指数関数を用いて記述する。

なお、

は、制約のない分類項目の数（通常、分類項目の総数から１を引いた値に依存する値）である。また、

は、例えば、状態値の数の対数であってもよい。このように本実施の形態では、βをさらに状態値の数（分類項目の数）に関して単調減少するように構成してもよい。

は、状態値１つあたりの確率値を最尤推定に近接させるか否かの判断に用いるしきい値としての、事前に与えられた情報の数である。すなわち、

と

との積よりも、学習に用いた情報の総数Ｎが大きいほど、βは「１」に近づく。従って、（４）式の表す確率値Ｐ（Ｘ＝ｉ）は、

という、最尤推定の式による結果に近接するよう制御される。

また、

と

との積よりも、学習に用いた情報の総数Ｎが小さくなるほど、βは「０」に近づき、（４）式は、

となる。ここにＺは、分類項目の数（状態数）を表す。つまり制御部１１は、この場合、すべての分類項目に対して等しい確率に分布するという、最大エントロピー原理の結果に近接させるよう尤度関数を制御することになる。

なお、

をβの関数に含めずに、βを状態値の数（分類項目の数）に関して一定（すなわち分類項目の数によらない）となるように構成してもよい。この場合、制御部１１は、βを

のように演算する。ここに、Ｎｃは、確率値を最尤推定に近接させるか否かの判断に用いるしきい値としての、事前に与えられた情報の数である。すなわち、このＮｃよりも、学習に用いた情報の総数Ｎが大きくなるほど、βが「１」に近づき、制御部１１が、尤度関数を最尤推定の形に近接させるよう制御することになる。また、ＮｃよりもＮが小さくなるほど、βが「０」に近づき、制御部１１が、尤度関数を最大エントロピー原理の結果に近接させるよう制御することになる。

さらに本実施の形態において分類条件と、分類項目とを関連づける確率のネットワークは、分類条件や分類項目に関する複数の情報要素をノードとしたベイジアン・ネットワークであってもよい。このベイジアン・ネットワークは、図２に概念的に示すように、各ノードである情報要素間の依存関係を、確率つきのリンクとして設定した、非循環有向グラフを表す情報（関係情報）で規定したものである。

ここでノードには、分類対象として入力される情報や、分類項目に関係する情報が含まれる。例えば、このベイジアン・ネットワークには、「分類対象Ｘの情報が単語ｗを含む」といった、分類条件が説明変数として含まれる。また、このベイジアン・ネットワークには、「分類対象Ｘの情報が分類項目ｎに属する」などといった、分類項目を特定する情報要素が、目的変数として含まれる。

なお、図２の例では、各ノードには、排他的に成立する複数の状態（いずれか一つが成立する複数の状態）が含まれる。例えば、「文書の分類」とのノードには、「分類項目Ｚ１に属する」という状態と、「分類項目Ｚ２に属する」という状態と、…「分類項目Ｚｉに属する」という状態と…と、いったように、複数の状態が含まれる。また、「作成日がｄ日以内」などのノードにも、それぞれ、「成立する（Yes）」と、「成立しない（No）」との各状態が含まれていることとしている。

そして、このベイジアン・ネットワークでは、分類結果を表す目的変数を、依存関係のリンクの元（ルート）として、説明変数としての分類条件へのリンクを設定しておく。そして、各リンクには、リンク先となっている説明変数の表す条件が満足されたときに、リンク元となっている目的変数が表す事象（分類対象の情報Ｘが分類項目ｎに属するという事象）が生じる確率Ｐ（Ｘ＝ｎ）を関連づける。

本実施の形態の情報分類装置は、従って次のように動作する。情報分類装置は、予め設定されているベイジアン・ネットワークでの各リンクに付随する確率を、所与の事前情報（標本）で学習獲得させる。

また情報分類装置は、図３に示すように、例えば標本数Ｎと、予め定められている分類項目の数

と、分類項目１つあたりの標本数に関するしきい値

と、を用い（５）式でβを算出しておく（Ｓ１：β初期化処理）。

情報分類装置は、入力された分類対象の情報に基づいて、ベイジアン・ネットワークに情報要素（説明変数）として含まれる各分類条件を満足しているか否かを調べる（Ｓ２）。そして各分類条件に関わるリンクに付随して、学習により得られた確率（尤度）を取得する（Ｓ３）。

情報分類装置は、取得した尤度と演算したβとを用いて、各分類条件に係るリンクに付随するべき確率Ｐを（４）式を用いて算出する（Ｓ４）。そして、分類の対象となった情報が、各分類項目に属する確率を算出する（Ｓ５）。この演算はベイズの定理もしくは確率伝搬アルゴリズム、接合木アルゴリズム、確率的サンプリングアルゴリズムによって行われるもので、広く知られているので、ここでの詳細な説明を省略する。そして情報分類装置は、属する確率の最も高い分類項目を特定する情報を出力する（Ｓ６）。

また、本実施の形態での分類処理においてベイジアン・ネットワークを利用する場合、このベイジアン・ネットワークは、ナイーブ・ベイズである必要は必ずしもない。すなわち、「分類対象Ｘの情報が単語ｗを含む」場合に、「分類対象Ｘの情報に単語ｗ′が含まれない」確率といったように、分類対象の情報に関わる分類条件の間（つまり説明変数間）に依存関係が設定されていても構わない。

さらにベイジアン・ネットワークでは、個々の標本（学習用情報）が、すべてのリンクに付随する確率（尤度）の学習に用いられるわけではない。例えば、ある説明変数Ｑ１が、別の説明変数Ｑ２に依存する場合に、当該説明変数Ｑ２と学習用情報との関係によっては、当該学習用情報により、説明変数Ｑ１に係るリンクに付随する確率は更新されない。

すなわちベイジアン・ネットワークでは、個々のリンクに関わる確率の学習に用いた標本の数が特定できる。そこで、この標本の数を用いて、リンクごと、さらに条件付確率の条件にあたる条件（状態）ごとに（５）式による最尤推定への近さを表すパラメータβを演算してもよい。本実施の形態では、（５）式のように、最尤推定への近さを表すパラメータβを陽に与えているので、各リンクと条件付確率の各条件についてのパラメータβを陽に演算すればよい。

そして情報分類装置は、各リンクについて算出したパラメータβの値を用いて、所定の処理を実行する。ここで所定の処理は、例えば、学習時の処理として、パラメータβの値が予め定めた上限しきい値を超えているリンクについては、学習を停止してもよい。

また学習の処理が完了したときに、パラメータβの値が予め定めた下限しきい値を下回っているリンクについては、当該リンクについての学習が不足していることを表す情報を出力してもよい。またβが下限しきい値を下回っているリンクを選択的に削除して（つまり、βが下限しきい値を超えているリンクだけを選択的に維持して）、あるいはリンクの向きを反転しβを再更新した後に再評価をしてから削除（リンクを反転させてもなおβが削除の条件を満たしている場合）または維持してベイジアン・ネットワークを更新してもよい。

ここでリンクの向きを反転させるのは次のような理由であり、次のような場合による。すなわち、例えば変数Ｘ１と、変数Ｘ２とから変数Ｘ３へのリンクが設定されているとき、ノードｉへのパラメータβijがリンク元である変数Ｘ１，Ｘ２に内包される各状態のすべての組み合わせ（ｊ）ごとに定義できることとなる。このとき、
Ｐ（Ｘ１，Ｘ２，Ｘ３）＝Ｐ（Ｘ１）Ｐ（Ｘ２）Ｐ（Ｘ３｜Ｘ１，Ｘ２）
となるが、このＰ（Ｘ３｜Ｘ１，Ｘ２）の条件付確率のテーブルが大きくなり、βijが０に近接してしまい、学習が十分でなくなることがある。そこで、変数Ｘ１と、変数Ｘ２とが、変数Ｘ３を条件として独立に近似できるならば（条件付独立）、このベイジアン・ネットワークに含まれるリンクの少なくとも一部を反転させる。例えば、ここでの例では、変数Ｘ３と変数Ｘ２との間のリンクを反転する。すると、Ｘ２のテーブルは元のテーブルより大きくはなるが、Ｘ３のテーブルが小さくなる場合がある。こうした場合に、リンクの向きを反転させる効果がある。

なお、この場合、
Ｐ（Ｘ１，Ｘ２，Ｘ３）＝Ｐ（Ｘ１）Ｐ（Ｘ３｜Ｘ１）Ｐ（Ｘ２｜Ｘ３）
である。

次に、上述の実施の形態に係る情報分類装置を用いた情報分類処理の例について述べる。以下の例は、ベイジアン・ネットワークを利用し、ＵＣＩ（カリフォルニア大学）が提供する機械学習リポジトリデータ（UCI Machine Learning Repository）を用い、ベイズのハイパーパラメータを制御する第１例（図４）と、本実施の形態のように臨界標本数（Ｎｃなど）を指標としパラメータβを陽に与えた第２例（図５）との分類精度の比較をした結果を表すものである。

図４、図５では、縦軸に、最尤推定（ＭＬ）による分類結果に比べたときの良好さの度合い（正の大きい値になるほど良好）を採ったものである。

図４のように、ハイパーパラメータを用いる例では、分類対象の情報の性質によって、ハイパーパラメータの変化に対する分類精度の変化が大きくなってしまい、最尤推定よりも良好な結果が得られるハイパーパラメータの範囲が限定される。すなわち、ロバストネスが低下する。

一方、図５に示す本実施の形態の処理によると、臨界標本数を変化させたときにも比較的広範な値の範囲で最尤推定よりも好ましい分類結果が得られている。

本発明の実施の形態に係る情報分類装置の構成例を表すブロック図である。 本発明の実施の形態に係る情報分類装置が用いるベイジアン・ネットワークの例を表す説明図である。 本発明の実施の形態に係る情報分類装置の動作例を表すフローチャート図である。 ベイズ分類器の分類効率の例を表す説明図である。 本発明の実施の形態に係る情報分類装置の分類効率の例を表す説明図である。

符号の説明

１１ 制御部、１２ 記憶部、１３ 入力部、１４ 出力部。

Claims (4)

1. 与えられた分類項目の各々に、分類対象の情報が属する確率を、分類対象の情報が各分類項目に属する尤度を表す尤度関数を用いて演算する演算手段と、
   前記分類項目ごとの演算の結果である確率の値に基づいて、前記分類対象となる情報の分類先である分類項目を決定する手段と、
   を含み、
   前記演算手段は、前記尤度関数の値を、最尤推定の値からの乖離の度合いを表す変数を用いて演算しており、当該変数が陽に定義した制御関数によって規定されることを特徴とする情報分類装置。
2. 前記制御関数は、情報の数が増大するほど、前記尤度関数が最尤推定の値に近接するよう前記変数を規定することを特徴とする請求項１記載の情報分類装置。
3. 前記演算手段は、
   前記分類対象の情報と前記分類項目とに関わる複数の情報要素間における関係であって、それぞれ確率が付随した依存関係を表す非循環有向関係を規定する関係情報を参照し、前記依存関係を、前記尤度関数を用いて演算し、当該関係情報に基づいて、与えられた分類項目の各々に、分類対象の情報が属する確率を演算する演算手段であり、
   前記情報分類装置は、
   各依存関係に係る前記制御関数の値に基づいて、各依存関係を選択的に削除ないし維持ないし有向関係を反転する手段を含むことを特徴とする請求項１または２に記載の情報分類装置。
4. コンピュータを、
   与えられた分類項目の各々に、分類対象の情報が属する確率を、分類対象の情報が各分類項目に属する尤度を表す尤度関数を用いて演算する演算手段と、
   前記分類項目ごとの演算の結果である確率の値に基づいて、前記分類対象となる情報の分類先である分類項目を決定する手段と、
   として動作させ、
   前記演算手段としての動作では、前記尤度関数の値を、最尤推定の値からの乖離の度合いを表す変数を用いて演算し、当該変数が陽に定義した制御関数によって規定されてなることを特徴とするプログラム。

Images