JP2010272004A - 判別装置及び判別方法、並びにコンピューター・プログラム - Google Patents

Abstract

【課題】 使用する弱仮説数を削減しつつ判別性能を向上させるとともに、学習時間の短縮、判別時の計算量削減、学習結果の可読性向上を実現する。
【解決手段】意見文判別を行なうための弱仮説を、所定次元数の特徴量のノードと、意見文判別結果のノードからなり、直接的影響を及ぼすノード対を矢印で結んだベイジアン・ネットワークで表現し、判別対象ノードの推論確率を当該弱仮説の出力とする。ＢＮ弱仮説は、各特徴量ノードの閾値と、すべての特徴量ノードに値を入力したときに出力ノードの確率推定に必要な条件付確率分布という２種類のパラメーターを持つ。
【選択図】 図３

Description

本発明は、対象物の特徴量を基にそれぞれ判別を行なう複数の弱仮説を用いてブースティングにより判別を行なうとともに、弱仮説をブースティングにより学習する判別装置及び判別方法、並びにコンピューター・プログラムに関する。

サンプル学習によって得られる学習機械は、多数の弱仮説と、これらを組み合わせる結合機（ｃｏｍｂｉｎｅｒ）からなる。ここで、入力に依らず、固定した重みで弱仮説の出力を統合する結合機の一例として、ブースティング（Ｂｏｏｓｔｉｎｇ）が挙げられる。ブースティングは、前に生成した弱仮説の学習結果を使用して間違いを苦手とする学習サンプルの重みを増すように、学習サンプルが従う分布を加工し、この分布に基づき新たな弱仮説の学習を行なう。これにより、不正解が多く判別が難しい学習サンプルの重みが相対的に上昇し、重みが大きい、すなわち判別が難しい学習サンプルを正解させるような弱判別器が逐次選択される。学習における弱仮説の生成は逐次的に行なわれ、後から生成された弱仮説はその前に生成された弱仮説に依存することになる。

ここで、弱仮説に基づいて判別処理を行なう弱判別器は、何らかの特徴量を使用して、入力に対して２値の判定結果を出力する「フィルター」に相当する。一般に、判別器としてブースティングを利用する場合、抽出した特徴量の各次元を独立に閾値判別するタイプの弱仮説が使われることが多い。ところが、弱仮説を多く用いなければ良い性能を出すことができず、学習後に人が弱仮説の構成を把握することを難しく、学習結果の可読性に欠けるという問題がある。また、判別に利用する弱仮説の数は判別時の計算量に影響してしまうため、計算能力の乏しいハードウェアで判別器を実装することは難しい。

また、他の例として、２つの参照画素間の輝度値の差という極めて簡単な特徴量（ピクセル間差分特徴）を使用して対象物か否かを判別するという弱判別器をフィルターとして使用した集団学習装置について提案がなされている（例えば、特許文献１を参照のこと）。同装置によれば、認識性能を犠牲にしつつ対象物の検出処理を高速化することができるが、差分では線形判別できないものは弱仮説で分類することができない。

特開２００５−１５７６７９号公報

本発明の目的は、対象物の特徴量を基にそれぞれ判別を行なう複数の弱仮説を用いてブースティングにより判別を好適に行なうとともに、各弱仮説をブースティングにより好適に学習することができる、優れた判別装置及び判別方法、並びにコンピューター・プログラムを提供することにある。

本発明のさらなる目的は、使用する弱仮説数を削減しつつ判別性能を向上させることができる、優れた判別装置及び判別方法、並びにコンピューター・プログラムを提供することにある。

本発明のさらなる目的は、使用する弱仮説数を削減することで、学習時間の短縮、判別時の計算量削減、学習結果の可読性向上を実現することができる、優れた判別装置及び判別方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
判別対象から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部から入力される２以上の特徴量を各ノードに割り当てたベイジアン・ネットワークとして表現した複数の弱判別器と、前記複数の弱判別器の各々による判別対象の判別結果を結合する結合器からなる判別器と、
を具備することを特徴とする判別装置である。

本願の請求項２に記載の発明は、請求項１に記載の判別装置において、判別器が、弱仮説のベイジアン・ネットワークの判別対象ノードの推論確率を当該弱仮説の出力とするように構成されている。

本願の請求項３に記載の発明は、請求項１に記載の判別装置において、ＢＯＷ（Ｂａｇ Ｏｆ Ｗｏｒｄｓ）又はその他の高次元の特徴量ベクトルを判別対象とする場合において、弱判別器は、前記特徴量抽出部が抽出した高次元の特徴量ベクトルのうち所定次元数以下の前記特徴量を各ノードとするベイジアン・ネットワークで構成される。

本願の請求項４に記載の発明は、請求項１に記載の判別装置において、テキストを判別対象に含み、前記判別器は意見文判別又はその他のテキスト種別の２値判別を行なうように構成されている。

本願の請求項５に記載の発明は、請求項１に記載の判別装置において、判別器が、弱仮説のベイジアン・ネットワークの判別対象ノードの推論確率が所定値を超えるか否かに基づいて当該弱仮説のエラー判定を行なうように構成されている。

本願の請求項６に記載の発明は、請求項１に記載の判別装置において、ブースティングを用いた事前の学習により前記複数の弱判別器がそれぞれ用いる弱仮説及び各弱仮説の重み情報を学習する学習部をさらに備えている。

本願の請求項７に記載の発明は、請求項６に記載の判別装置において、学習部は、１つの弱仮説で利用する特徴量次元数を制限することによって、評価する弱仮説候補数を削減するように構成されている。

本願の請求項８に記載の発明は、請求項６に記載の判別装置において、１つの弱仮説で利用する特徴量次元数を１として、各次元の１次元弱仮説の評価値を算出し、評価値の高い次元から順に弱仮説に必要な特徴量次元数ずつ組み合わせて弱仮説候補を作成するように構成されている。

また、本願の請求項９に記載の発明は、
判別対象から特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで得られる２以上の特徴量を各ノードに割り当てたベイジアン・ネットワークとして表現した複数の弱仮説でそれぞれ判別し、前記複数の弱仮説による判別対象の各判別結果を結合して判別対象を判別する判別ステップと、
を有することを特徴とする判別方法である。

また、本願の請求項１０に記載の発明は、コンピューターを、
判別対象から特徴量を抽出する特徴量抽出部、
前記特徴量抽出部から入力される２以上の特徴量を各ノードに割り当てたベイジアン・ネットワークとして表現した複数の弱判別器と、前記複数の弱判別器の各々による判別対象の判別結果を結合する結合器からなる判別器、
として機能させるためのコンピューター・プログラムである。

本願の請求項１０に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１０に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る判別装置と同様の作用効果を得ることができる。

本発明によれば、対象物の特徴量を基にそれぞれ判別を行なう複数の弱仮説を用いてブースティングにより判別を好適に行なうとともに、各弱仮説をブースティングにより好適に学習することができる、優れた判別装置及び判別方法、並びにコンピューター・プログラムを提供することができる。

また、本発明によれば、使用する弱仮説数を削減しつつ判別性能を向上させることができる、優れた判別装置及び判別方法、並びにコンピューター・プログラムを提供することができる。

また、本発明によれば、使用する弱仮説数を削減することで、学習時間の短縮、判別時の計算量削減、学習結果の可読性向上を実現することができる、優れた判別装置及び判別方法、並びにコンピューター・プログラムを提供することができる。

一般的な弱仮説は、特徴量の各次元を独立に閾値判別するものであり、多くの弱仮説を用いなければよい性能を出すことができない。また、弱仮説を多く用いることに伴って、学習後に人が弱仮説の構成を把握することを難しくなる。これに対し、本願の請求項１、９、１０に記載の発明によれば、ベイジアン・ネットワーク（ＢＮ）を弱仮説として用い、学習サンプルを入力してＢＮ弱仮説で推論を行なう。したがって、判別対象の特徴量を、各次元の特徴量にそれぞれ対応した複数の判別面と比較することから、高い性能を得ることができる。また、本願発明によれば、ＢＮ弱仮説を用いることでブースティングの弱仮説数を削減することができる、学習結果の可読性が向上する、といった効果を奏することができる。

本願の請求項２に記載の発明によれば、弱仮説のベイジアン・ネットワークの判別対象ノードの推論確率を当該弱仮説の出力とし、複数の弱判別器の各々による判別対象の判別結果を結合することで、使用する弱仮説数を削減しつつ判別性能を向上させることができる。

本願の請求項３に記載の発明によれば、弱仮説のベイジアン・ネットワークの特徴量ノードの次元数を制限することで、学習時間の短縮、判別時の計算量削減、学習結果の可読性向上を実現することができる。

本願の請求項４に記載の発明によれば、テキストを判別対象に含み、意見文判別又はその他のテキスト種別の２値判別を行なうことができる。

本願の請求項５に記載の発明によれば、弱仮説のベイジアン・ネットワークの判別対象ノードの推論確率が所定値を超えるか否かに基づいて当該弱仮説のエラー判定を行なうことができる。

本願の請求項６に記載の発明によれば、使用する弱仮説数を削減することで、学習部は、学習時間の短縮、学習結果の可読性向上を実現することができる。

本願の請求項７に記載の発明によれば、１つの弱仮説で利用する特徴量次元数を制限することによって、評価する弱仮説候補数を削減して、学習時間を短縮することができる。

本願の請求項８に記載の発明によれば、１つの弱仮説で利用する特徴量次元数を１として、各次元の１次元弱仮説の評価値を算出し、評価値の高い次元から順に弱仮説に必要な特徴量次元数ずつ組み合わせて弱仮説候補を作成することによって、評価する弱仮説候補数を削減して、学習時間を短縮することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、テキスト判別装置１０の構成を模式的に示した図である。 図２は、判別器１３の内部構成を模式的に示した図である。 図３は、意見文判別のための弱仮説を表現したベイジアン・ネットワークの構成例を示した図である。 図４は、ベイジアン・ネットワークを弱仮説とする弱判別器を、ブースティングを利用して学習するための処理手順を示したフローチャートである。 図５Ａは、弱仮説としてのベイジアン・ネットワークの例を示した図である。 図５Ｂは、弱仮説としてのベイジアン・ネットワークの例を示した図である。 図６は、ベイジアン・ネットワークを弱仮説とするブースティングを利用して意見文判別を行なうための処理手順を示したフローチャートである。 図７は、本発明をテキスト判別に適用した場合の、弱仮説数と性能の関係（２つの特徴量ノードと１つの特徴量ノードの合計３ノードからなるベイジアン・ネットワークを弱仮説とするブースティングの性能）を示した図である。 図８は、ＢＮ弱仮説候補に含まれる最も評価のよいＢＮ弱仮説候補の評価値をあまり低下させることなく、ＢＮ弱仮説候補の数を削減するための処理手順を示したフローチャートである。 図９Ａは、ＢＮ弱仮説候補に含まれる最も評価のよいＢＮ弱仮説候補の評価値をあまり低下させることなく、ＢＮ弱仮説候補の数を削減する方法を説明するための図である。 図９Ｂは、ＢＮ弱仮説候補に含まれる最も評価のよいＢＮ弱仮説候補の評価値をあまり低下させることなく、ＢＮ弱仮説候補の数を削減する方法を説明するための図である。 図１０Ａは、特徴量１次元の弱仮説による判別方法の性能を説明するための図である。 図１０Ｂは、ベイジアン・ネットワークを弱仮説に用いる判別方法の性能を説明するための図である。 図１０Ｃは、特徴量差分を弱仮説に用いる判別方法の性能を説明するための図である。 図１１は、意見文判別を応用したシステムの構成例を模式的に示した図である。 図１２は、情報機器の構成例を示した図である。

以下、本発明をテキスト判別に適用した実施形態について、図面を参照しながら詳細に説明する。

テキスト判別の一例として、入力文が意見文であるか否かを判別する「意見文判別」を挙げることができる。意見文は、ある事について持っている考えを含んだ文章であるが、個人の嗜好が「意見」というかたちで強く込められていることが多い。例えば、「私はチェッカーズが好きです。」という文章には、「好き」という個人の意見が込められているので、「意見文」である。他方、「コンサートは１２月２日です。」という文章は、個人の意見を含まず事実のみを述べたものであるから、「非意見文」である。

図１１には、意見文判別を応用したシステムの構成例を模式的に示している。図示のシステムは、個人が書いた文章から嗜好情報を抽出する嗜好抽出部と、個人の嗜好情報に基づいて嗜好提示などのサービスを提供するサービス提供部で構成される。

嗜好抽出部１１０１では、意見文判別部１１０１Ａが、個人文書データベース１１０１Ｂから個人が書いた文章を一文ずつ取り出して、意見文判別を行ない、意見性が強い文のみを抜き出す。そして、個人嗜好評価部１１０１Ｃは、評価と対象の抽出を行ない、これを個人の嗜好情報として個人嗜好情報データベース１１０１Ｄに逐次登録していく。

他方、サービス提供部１１０２では、一例として、個人の嗜好提示を行なう。個人嗜好判別部１１０２Ａは、個人嗜好情報データベース１１０１Ｄに登録されている各エントリーのＰｏｓｉｔｉｖｅ／Ｎｅｇａｔｉｖｅの判定を行なう。そして、個人嗜好提示部１１０２Ｂは、例えば、個人のブログからの主観文抽出結果として、嗜好のエントリー数に応じてマークを表示する。

日記やブログなどの個人が書いた数多の文章から個人の嗜好を抽出する前処理として、意見文判別を行なうことは有効であると言える。また、個人の書いた文章から抽出された嗜好情報は、単に個人の嗜好を整理して提示（フィードバック）する機能にとどまらず、コンテンツや商品の購入などを推薦する機能など、さまざまなビジネスへ展開することも可能である。前処理に用いる意見文判別の性能が向上すれば、正しい嗜好提示や的確なコンテンツ推薦を行なうことができるのは自明である。

意見文判別部１１０１Ａは、入力文ｓの意見文判別結果ｔを出力する判別器Ｂを含む。この判別器Ｂは、下式（１）のように表すことができる。但し、出力ｔは、入力文が意見文であれば「１」を、非意見文であれば「−１」となる。

図１には、判別器Ｂとして動作するテキスト判別装置１０の構成を模式的に示している。テキスト判別装置１０は、判別対象となるテキストを文単位で入力する入力部１１と、入力文の特徴量を抽出する特徴量抽出部１２と、入力文が持つ特徴量に基づいて入力文が意見文であるか否かを判別する判別器１３と、判別器１３の事前学習を行なう学習部１４で構成される。

入力部１１は、学習時には学習サンプルから、判別時には日記やブログなどの判別対象から、文（ｓｅｎｔｅｎｃｅ）単位で入力文ｓを切り出す。続く特徴量抽出部１２は、入力文ｓから１以上の特徴量ｆを抽出して、判別器１３に供給する。特徴量抽出部１２は、個々の単語毎、又は単語の（音的、統語的、あるいは意味的な）特性毎に入力文で計数された出現頻度の情報を次元の要素とする特徴量ベクトルを出力する。

本発明では、判別器１３として、弱仮説の出力を統合するブースティングを利用する。図２には、判別器１３の内部構成を模式的に示している。図示の判別器１３は、複数の弱判別器２１−１、２１−２、…と、結合器２２からなる。Ａｄａｂｏｏｓｔの場合、結合器は各弱判別器の出力にそれぞれ重みを乗算して重み付き多数決を求める加算器で構成される。

各弱判別器２１−１…は、入力文ｓが持つｄ個の特徴量ｆ⁽¹⁾、ｆ⁽²⁾、…、ｆ^(d)（すなわち、ｄ次元の特徴量ベクトル）に基づいて意見文又は非意見文のいずれであるかを判別する弱仮説をそれぞれ備えており、特徴量抽出部１２（前述）から供給される特徴量ベクトルを自分の弱仮説に照らし合わせて、入力文ｓが意見文であるか否かの推定値を逐次出力する。そして、加算器２２では、これらの弱判別結果の重み付き多数決Ｂ（ｓ）を算出し、判別器１３の判別結果ｔとして出力する。

意見文判別に用いる弱判別器（若しくは、弱判別器が用いる弱仮説）２１−１…と、各弱判別器２１−１…に乗算する重みは、学習部１４が行なうブースティングを用いた事前の学習により取得する。

弱仮説の学習の際には、意見文又は非意見文であるかの２クラスが分別すなわちラベリングされた複数の文が学習サンプルとして用いられ、特徴量抽出部１２で学習サンプル毎に抽出された特徴量ベクトルが各々の弱判別器２１−１…に投入される。そして、弱判別器２１−１…は、意見文及び非意見文それぞれの特徴量に関する弱仮説をあらかじめ学習しておく。すなわち、弱仮説は、学習サンプルを使用した学習を通じて逐次的に生成したものである。かかる学習の過程では、各弱仮説に対する信頼度に応じた重み付き多数決の重みが学習される。一つ一つの弱判別器２１−１…の判別能力は高くないが、複数の弱判別器２１−１…の組み合わせ方によって、結果的に全体としては高い判別能力を持つ判別器１３を構築する。

一方、判別の際には、各弱判別器２１−１…は、入力文ｓが持つ特徴量をあらかじめ学習しておいた弱仮説と比較して、入力文が意見文であるか否かを推定した推定値を確定的又は確率的に出力する。後段の加算器２２は、各弱判別器２１−１…が出力する推定値に、各弱判別器２１−１…に対する信頼度に相当する重みα₁…をそれぞれ乗算し、重み付き多数決の値を出力する。

上述したように複数の弱仮説の出力を統合するブースティングを利用するが、本発明では、弱仮説としてベイジアン・ネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ：ＢＮ）を用いる点に１つの特徴がある。

ここで、ベイジアン・ネットワークは、確率変数の集合をノードとして形成されるネットワーク（確率ネットワーク、因果ネットワークとも呼ぶ）であり、直接的影響を及ぼすノード対を矢印で結んで（例えば、ノードＸからノードＹへの矢印は、ＸがＹに直接的影響を及ぼすことを表す）、因果関係を確率により記述するグラフィカル・モデルの１つである。但し、矢印の方向にサイクルを持たない有向非循環グラフ（ＤＡＧ）である。また、各ノードは、（矢印の根本となる）親ノードが自ノードへ及ぼす影響を定量化した条件付確率分布を持つ。ベイジアン・ネットワークは、不確実な状況下での推論問題に広く利用される表現形式である（周知）。

テキストの意見文判別を行なう場合には、入力文ｓから抽出された１又は２以上の次元の特徴量が、入力文ｓの意見文判別結果に直接的影響を及ぼしたり、次元の異なる特徴量間で直接的影響を及ぼしたり、意見文判別結果が特定の次元の特徴量に直接的影響を及ぼしたりすると考えられる。したがって、意見文判別を行なうための弱仮説を、所定次元数の特徴量及び入力文ｓの意見文判別結果をそれぞれ入力ノードとするとともに、判別対象ノードを出力ノードとし、直接的影響を及ぼすノード対を矢印で結ぶことによって、ベイジアン・ネットワークで表現することができる。そして、弱仮説のベイジアン・ネットワークの判別対象ノードの推論確率を当該弱仮説の出力とする。また、弱仮説のベイジアン・ネットワークの判別対象ノードの推論確率がある値を超えるか否かで、弱仮説のエラー判定を行なうことができる。

以下では、特徴量に相当するノードを「特徴量ノード」、意見文判別結果のノードを「出力ノード」とそれぞれ呼び、これら特徴量ノードと出力ノードの有向非循環グラフで表現された弱仮説を「ＢＮ弱仮説」とも呼ぶことにする。

ＢＮ弱仮説は、各特徴量ノードの閾値と、すべての特徴量ノードに値を入力したときに出力ノードの確率推定に必要な条件付確率分布という２種類のパラメーターを持ち、これらのパラメーターは、ＢＮ弱仮説の評価値を算出するために必要である。

図３には、意見文判別のための弱仮説を表現したベイジアン・ネットワークの構成例を示している。図示の例では、ベイジアン・ネットワークは、２次元の特徴量ノード（ｉｎｐｕｔ１、ｉｎｐｕｔ２）と、判別結果ｔの出力ノード（ｏｕｔｐｕｔ）の３ノードからなり、各特徴量ノードは、それぞれ出力ノードに直接的影響を及ぼす親ノードとして、ＢＮ弱仮説の判定結果である出力ノードに矢印で結ばれている。

そして、図示のＢＮ弱仮説は、各特徴量ノードの閾値と、すべての特徴量ノードに値を入力したときに出力ノードの確率推定に必要な条件付確率分布という２種類のパラメーターを持つ。入力ノードとしての各特徴量ノード（ｉｎｐｕｔ１、ｉｎｐｕｔ２）がともに２値離散ノードの場合、各特徴量ノードの閾値は、以下の表１のように記述することができる。また、各特徴量ノードが離散ノードの場合には、出力ノード確率推定に必要な条件付確率分布は、以下の表２に示すような条件付確率表として記述することができる。

図４には、ＢＮを弱仮説とする弱判別器を、ブースティングを利用して学習するための処理手順をフローチャートの形式で示している。以下、同図を参照しながら、学習部１４においてベイジアン・ネットワークを弱仮説とするブースティングの学習を行なう方法について詳細に説明する。

特徴量抽出部１２は、個々の単語毎、又は単語の（音的、統語的、あるいは意味的な）特性毎に入力文で計数された出現頻度の情報を次元の要素とする特徴量ベクトルを出力する。以下では、特徴量抽出部１２は、ｋ番目の入力文ｓ_kから、ｄ個の特徴量ｆ_k ⁽¹⁾、ｆ_k ⁽²⁾、…、ｆ_k ^(d)、すなわち、下式（２）で表されるｄ次元の特徴量ベクトルε（ｓ_k）を抽出することとする。

特徴量抽出部１２は、例えば入力文の形態素解析結果に基づいて特徴量を抽出することができる。より具体的には、特徴量ベクトルは、登録単語の出現頻度や、品詞の出現頻度、それらのバイグラムなどである。また、自然言語処理で通常用いられるその他のいかなる特徴量を扱うことができ、それらを並列に並べて同時に利用することもできる。

ブースティングの学習の際には、特徴量抽出部１２は、すべての学習サンプルＴから特徴量ベクトルを抽出する。各学習サンプルＴには、意見文又は非意見文であるかの２クラスを分別するための判別ラベルｙがあらかじめ付されている（学習サンプルとなるｋ番目の文ｓ_kが意見文であればｙ_k＝１とし、非意見文であればｙ_k＝−１とする）。学習サンプルＴの総文数がｍであるとすると、特徴量抽出部１２によって特徴量を抽出した後の学習サンプルＴは下式（３）のように表記することができる。

また、学習サンプルＴに含まれる各々のサンプルｓ_kには、意見文判別する際の難易度などを反映したサンプル重みｗ_kが付されている。特徴量抽出後の学習サンプルＴ、すなわち、サンプルｓ_k毎の特徴ベクトルｆ_k及び判別ラベルｙ_kが、サンプル重みｗ_kとともに、入力となる（ステップＳ４１）。

次いで、弱判別器２１−１…として用いる、特徴量の各次元をノードとするＢＮ弱仮説の候補（以下、「ＢＮ弱仮説候補」とする）を複数作成する（ステップＳ４２）。

上述したように、ＢＮ弱仮説は、１又は２以上の次元の特徴量の入力をノードとする「特徴量ノード」と、意見文判別結果をノードとする「出力ノード」からなり、直接的影響を及ぼすノード対を矢印で結んだベイジアン・ネットワークとして表現される（図３を参照のこと）。ステップＳ４２では、単純にすべての構造のベイジアン・ネットワークをＢＮ弱仮説候補として作成するようにしてもよい。しかしながら、２次元の特徴量を利用したベイジアン・ネットワークとして、図５Ａに示すように、複数種類の有向非循環グラフ（ＤＡＧ）が挙げられ、グラフ毎に親ノードとなる特徴量の組み合わせ方に応じて_dＣ₂通りのＢＮ弱仮説候補が考え得る。同様に、３次元の特徴量を利用したベイジアン・ネットワークとして、図５Ｂに示すように、複数種類の有向非循環グラフ（ＤＡＧ）が挙げられ、グラフ毎に親ノードとなる特徴量の組み合わせ方に応じて_dＣ₃通りのＢＮ弱仮説候補が考え得る。要約すると、ｎノードで考え得るＢＮ弱仮説候補の総数は、下式（４）に示すように膨大数となり、全構造をＢＮ弱仮説候補として評価を行なうことは計算コストの面などから現実的でない。

そこで、ステップＳ４２では、全構造をＢＮ弱仮説候補とするのではなく、ＢＮ弱仮説候補数をＬ個に削減することにした。候補数を削減する方法として、例えば、１つのベイジアン・ネットワークで利用する特徴量次元数を制限することや（図５Ａに示したように次元数２、あるいは、図５Ｂに示したように次元数３）、単純にベイジアン・ネットワークをＬ個だけ作成することが挙げられる。また、Ｋ２やＰＣなどの構造学習アルゴリズム（周知）を用いて、学習サンプルをより正しく表現できるネットワーク構造のみをＬ個用意することによっても、ＢＮ弱仮説候補数を削減することができる。以下では、便宜上、図５Ａ中の紙面左端に示した１種類のみに制限して、Ｌ＝_dＣ₂（＝ｄ（ｄ−１）／２）個のＢＮ弱仮説候補を用いることとして説明することにする。

ＢＮ弱仮説の学習方法は、概略的に言うと、ＢＮ弱仮説候補毎の最適なパラメーターの学習（ステップＳ４４）及び学習サンプルＴを用いた評価値の算出（ステップＳ４５）と、サンプル重みの算出（ステップＳ５０）を含んだ処理ループを、必要なＢＮ弱仮説の個数に相当する回数だけ繰り返し実行することである。各回の処理ループでは、算出された評価値に基づいて、最も性能がよいＢＮ弱仮説候補が順次選択されていく。

ステップＳ４２で作成したＬ個のＢＮ弱仮説候補の中から１つを取り出すと（ステップＳ４３）、取り出したＢＮ弱仮説候補について、まず最適なパラメーターを学習する（ステップＳ４４）。

上述したように、ＢＮ弱仮説の場合、評価値を算出するために必要なパラメーターは、各特徴量ノードの閾値と、すべての特徴量ノードに値を入力したときに出力ノードの確率推定に必要な条件付確率分布の２種類である。一般的なブースティングと同様に、ＢＮ弱仮説候補の評価値が最大となるように、これらのパラメーターを求める。各特徴量ノードの閾値は、すべての特徴量ノードで組み合わせ最適なものを全探索して求めることができる。また、条件付確率分布は、一般的なＢＮ条件付確率分布アルゴリズムを用いて求めることができる。

次いで、パラメーターを学習した後のＢＮ弱仮説候補について、全学習サンプルで評価値を算出する（ステップＳ４５）。

ブースティングで、下式（５）に示すようなＬ個の弱仮説候補Ｈ｛ｈ₁，ｈ₂,…，ｈ_L｝の中から最も性能がよい弱仮説候補ｈ^*を選択するために、下式（６）で表されるような評価値Ｅ（ｈ）を弱仮説候補ｈ_l毎に算出する必要がある。但し、下式において、ｈ_lはｌ番目の弱仮説候補を指し、ｌはＬ以下の正の整数とする。

一般的なブースティングの場合、下式（７）に示すように、弱仮説候補ｈ_lに全学習サンプルＴを入力し、出力ｔがラベルｙ_kと等しい（言い換えれば、意見文であるか否かが正しく判別された）サンプルｓ_kのサンプル重みｗ_k ^sを合計した値が、弱仮説候補ｈ_lの評価値Ｅ（ｈ_l）に用いられる。

一般的な弱仮説ｈ_l ^gは、ｄ次元からなる特徴量のうち１次元のみを入力として出力を計算する。下式（８）に示すように、一般的な弱仮説ｈ_l ^gの出力は、入力値である特徴量ｆ_kに符号ｖ_l ^*をかけた値が閾値θ_l ^*を超えるかどうかが用いられる。

但し、上式（８）で利用される符号ｖ^*と閾値θ^*は、下式（９）に示すように、一般的な弱仮説候補ｈ_l ^gの評価値Ｅ（ｈ_l ^g）が最大となるように、評価値算出前に、弱仮説候補ｈ_l ^g毎に独立に求められる。

一般的な弱仮説は、特徴量の各次元を独立に閾値判別するものであり、多くの弱仮説を用いなければよい性能を出すことができない。また、弱仮説を多く用いることに伴って、学習後に人が弱仮説の構成を把握することを難しくなることや、計算能力の乏しいハードウェアで判別器を実装できないなどの問題がある。

これに対し、本発明では、ベイジアン・ネットワーク（ＢＮ）を弱仮説として用い、学習サンプルを入力してＢＮ弱仮説で推論を行なう。具体的には、下式（１０）に示すように、ｋ番目のサンプルｓ_kの特徴量ベクトルｆ_kを入力し、判別結果ｔ_kに割り当てられたノード（ｏｕｔｐｕｔ）の推論確率Ｐ_hl（ｔ_k｜ｆ_k）が最も高い事象（意見文、又は、非意見文）をＢＮ弱仮説候補ｈ_l ^BNの出力とする。このような場合、上述した一般的なアルゴリズムと同様に、上式（７）を用いて各ＢＮ弱仮説候補ｈ_l ^BNの評価値Ｅ（ｈ_l ^BN）を算出することができる。

なお、上式（７）以外のＢＮ弱仮説候補の評価値算出方法（タイプ２）として、出力ノード（ｏｕｔｐｕｔ）のラベルと等しい事象の確率値の全学習サンプルでの重み付き合計値を評価値として用いることもできる。すなわち、下式（１１）に示すように、ｋ番目のサンプルｓ_kの特徴量ベクトルｆ_kに対して、ベイジアン・ネットワークの出力ノード（ｏｕｔｐｕｔ）のラベルと等しい事象ｙ_kとなる確率値Ｐ_hl（ｙ_k｜ｆ_k）を算出し、さらにサンプル毎の重み係数ｗ_k ^sを乗算し、全学習サンプルＴにわたる重み付き確率値の合計値をとり、ＢＮ弱仮説候補ｈ_l ^BNの評価値Ｅ（ｈ_l ^BN）とする。但し、下式（１１）において、全学習サンプルＴのサンプルｓ_kの総数をｍとする。

あるいは、上式（７）以外のＢＮ弱仮説候補の評価値算出方法（タイプ３）として、下式（１２）に示すように、ＢＩＣやＡＩＣなどの情報量基準を用いてＢＮ弱仮説候補ｈ_l ^BNの評価値Ｅ（ｈ_l ^BN）を算出することができ、ＢＮ弱仮説候補ｈ_l ^BNの構造が全学習サンプルをどれだけ正しく評価しているかの指標を利用することもできる。

上式（７）、（１１）、（１２）のいずれを用いるにせよ、ＢＮ弱仮説候補ｈ_l ^BNの評価値Ｅ（ｈ_l ^BN）を算出するためには、各特徴量ノードｊの閾値θ_l ^j*と、すべての特徴量ノードに値を入力したときに出力ノードの確率推定に必要な条件付確率分布Ｄ_l ^*という２種類のパラメーターが必要である。各特徴量ノードがともに離散ノードの場合、各特徴量ノードの閾値θ_l ^j*を表１のように記述し、条件付確率分布Ｄ_l ^*を表２のような条件付確率表として記述することができる（前述）。

ステップＳ４５において上式（７）、（１１）、（１２）のいずれを用いて評価値Ｅ（ｈ_l ^BN）を算出する前に、ステップＳ４４でこれら各特徴量ノードｊの閾値θ_l ^j*と条件付確率分布Ｄ_l ^*という２種類のパラメーターを算出しておく必要がある。一般的なブースティングと同様に、各ＢＮ弱仮説候補ｈ_l ^BNの評価値Ｅ（ｈ_l ^BN）が最大となるように、例えば下式(１３)に従って算出することができる。

上式（１３）において、各特徴量ノードの閾値は、すべての特徴量ノードで組み合わせ最適なものを全探索して求めることができる。また、条件付確率分布は、一般的なＢＮ条件付確率分布アルゴリズムを用いて求めることができる。

ステップＳ４４におけるＢＮ弱仮説候補ｈ_l ^BNのパラメーターの学習と、ステップＳ４５におけるＢＮ弱仮説候補ｈ_l ^BNの評価値Ｅ（ｈ_l ^BN）の算出を、ステップＳ４２で作成したＬ個のＢＮ弱仮説候補すべてについて順次行なう。

そして、すべてのＢＮ弱仮説候補ｈ_l ^BNについて評価値Ｅ（ｈ_l ^BN）の算出を終了すると（ステップＳ４６のＹｅｓ）、これらのうち最も評価値が高いＢＮ弱仮説候補を、ｎ番目の弱判別器２１−ｎとして用いるＢＮ弱仮説として選択する（ステップＳ４７）（但し、ｎは１〜Ｌの整数であり、処理ループの繰り返し回数に相当する）。

次いで、一般的なブースティングの場合と同様に、当該弱判別器２１−ｔに与えるＢＮ弱仮説重みα_nを、選択したＢＮ弱仮説候補の評価値に基づいて設定する（ステップＳ４８）。ｎ番目の弱判別器２１−ｎとして選択したＢＮ弱仮説の評価値をｅ_nとおくと、例えばＡｄａＢｏｏｓｔの場合には下式（１４）を用いてＢＮ弱仮説重みα_nを算出することができる。

ステップＳ４７において選択したＢＮ弱仮説、並びに、ステップＳ８において算出したＢＮ弱仮説重みは、ブースティングの学習結果として逐次記憶される。

上述したような、判別器２１−ｎとして用いるＢＮ弱仮説の選択及び当該弱仮説の重み算出処理Ｓ２〜Ｓ８は、選択したＢＮ弱仮説の総数ｎが所望数に到達するまで、繰り返し行なわれる（ステップＳ４９）。

ここで、次のＢＮ弱仮説を選択するために、ＢＮ弱仮説候補を再度作成する処理（ステップＳ４２）に戻る際には（ステップＳ４９のＮｏ）、ステップＳ７で採用したＢＮ弱仮説に基づいて、学習サンプルＴに含まれる各サンプルｓ_kのサンプル重みｗ_kを更新する（ステップＳ５０）。例えば下式（１５）に示すように、サンプルｓ_k毎の特徴ベクトルｆ_k及び判別ラベルｙ_kと、各サンプルｓ_kについての判別結果ｈ_t（ｆ_k）に基づいて、サンプル重みを算出することができる。

なお、上述したベイジアン・ネットワークを弱仮説とするブースティングの学習の説明では、すべての特徴量ノードが離散値（２値）であることを前提としたが、本発明の要旨は必ずしもこれに限定されるものではない。例えば、１部又は全部の特徴量ノードが多値ノードや連続値ノードであっても、出力ノードの確率を推定することができるのであれば、問題はない。

また、本発明に適用できるブースティング・アルゴリズムは、ＡｄａＢｏｏｓｔ（Ｄｉｓｃｒｅｔｅ ＡｄａＢｏｏｓｔ）に限定されるものではない。例えば、下式（１６）に示すように弱仮説が連続値を出力することで、Ｇｅｎｔｌｅ ＢｏｏｓｔやＲｅａｌ Ｂｏｏｓｔなどのブースティング・アルゴリズムを、同様に本発明に適用することができる。

図４に示した処理手順に従ったブースティングの学習によって、ＢＮ弱仮説からなる所望数の弱判別器を得ることができる。そして、それぞれの弱判別器のＢＮ弱仮説重みを利用することで、意見文判別を行なうことができる。

図６には、ベイジアン・ネットワークを弱仮説とするブースティングを利用して意見文判別を行なうための処理手順をフローチャートの形式で示している。上述したブースティングの学習結果として、弱判別器２１−１…の個数分のＢＮ弱仮説とそのＢＮ弱仮説重みが蓄積されているとする。

まず、特徴量抽出部１２が、判別対象となる入力文から特徴量ベクトルを抽出する（ステップＳ６１）。

次いで、判別器１３は、判別値を０で初期化する（ステップＳ６２）。

ここで、ブースティングの学習によって得られたＢＮ弱仮説のうち１つを取り出す（ステップＳ６３）。

次いで、ステップＳ６１で抽出した特徴量ベクトルのうち、このＢＮ弱仮説を表現するベイジアン・ネットワークの各特徴量ノードに割り当てられた特徴量次元の値を入力する（ステップＳ６４）。

次いで、ベイジアン・ネットワーク推論アルゴリズムを用いて、出力ノードの確率を推定する（ステップＳ６５）。そして、推定された確率値に、該当するＢＮ弱仮説重みを乗算して、ＢＮ弱仮説の出力を計算する（ステップＳ６６）。そして、ステップＳ６６で算出したＢＮ弱仮説の出力を、判別値に加算する（ステップＳ６７）。

ステップＳ６３で取り出したｎ番目のＢＮ弱仮説ｈ_n ^BNの特徴量ノードがともに離散ノードの場合、ステップＳ６５におけるベイジアン・ネットワーク推論アルゴリズムでは、特徴量ノードｊ毎に、入力された特徴量次元の値を対応する閾値θ_n ^j*と大小比較する。そして、条件付確率表Ｄ_n ^*を参照して、特徴量ノードｊ毎の比較結果の組み合わせが示す出力ラベル（入力文が意見文である確率）を得ることができる。この出力ラベルの値に、当該ＢＮ弱仮説ｈ_n ^BNが持つＢＮ弱仮説重みを乗算してＢＮ弱仮説の出力を求めると、これを判別値に加算する。

このようなＢＮ弱仮説の出力計算と判別値への加算を、ブースティングの学習によって得たすべてのＢＮ弱仮説にわたって行なう（ステップＳ６８）。そして、最終的に得られた判別値の符号は、入力文が意見文又は非意見文のいずれであるかを表すことになる。この符号を判別結果として出力して（ステップＳ６９）、当該処理ルーチンを終了する。

図７には、本発明をテキスト判別に適用した場合の、弱仮説数と性能の関係を実線で示している。但し、２つの特徴量ノードと１つの特徴量ノードの合計３ノードからなるベイジアン・ネットワークを弱仮説とするブースティングの性能である。同図では、比較として、特徴量次元毎に独立して閾値判別を行なう一般的な弱仮説における弱仮説数と性能の関係を、点線により併せて示している。

図示のように、一般的な弱仮説では、弱仮説数を１０２４個まで用いても、Ｆ値はあまり向上しない。なお、本発明者は、一般的な弱仮説の個数を８１９２まで実験したが、Ｆ値が０．８５９２を超えることはなかった。これに対し、ベイジアン・ネットワークを弱仮説とする場合には、６個程度の弱仮説のみでよりよいテキスト判別性能を確保することができる。要するに、本発明によれば、従来のアルゴリズムよりも、低い弱仮説数でも十分に高い性能を得ることができる、と言うことができる。

なお、図５Ａ、図５Ｂに示したようにＢＮ弱仮説候補のネットワーク構造を制限しても、特徴量次元数ｄが大きいときには弱仮説候補数Ｌ（＝_dＣ₂（＝ｄ（ｄ−１）／２））も多くなってしまう。図８には、ＢＮ弱仮説候補に含まれる最も評価のよいＢＮ弱仮説候補の評価値をあまり低下させることなく、ＢＮ弱仮説候補の数Ｌを削減する処理手順をフローチャートの形式で示している。

まず、一般的なブースティングのアルゴリズムと同様に、特徴量１次元ずつ１つの弱仮説としたときの、各次元の１次元弱仮説の評価値を算出する（ステップＳ８１）。

次いで、次元毎の１次元弱仮説を、評価値のよいものから順に弱仮説候補をソートして、評価値のよい弱仮説候補同士の組み合わせを作る（ステップＳ８２）。図９Ａには、次元毎の１次元弱仮説を評価値に従ってソートした様子を示している。

そして、１次元弱仮説評価値の高い次元から順に、ＢＮ弱仮説で必要な特徴量次元数ずつ、所定の組み合わせ数のみ弱仮説候補として選択する（ステップＳ８３）。図９Ｂには、特徴量２次元のＢＮ弱仮説候補を作成する場合の、組み合わせを６つまで利用する様子を示している。

特徴量１次元の弱仮説は、図１０Ａに示すように、ある特定の次元（Ｆ１）の特徴量が閾値を超えるか否か（すなわち、同図中で、判別対象の特徴量が判別面のどちら側の空間に存在するか）を単純に判断するに過ぎないため、判別能力は概して低い。これに対し、例えば図５Ａに示したように、ベイジアン・ネットワークを弱仮説とする場合には、２次元の特徴量に対応する特徴量ノードと判別結果に対応する出力ノードの３ノードからなる比較的簡単なネットワーク構造であっても、図１０Ｂに示すように、判別対象の特徴量を、各次元の特徴量にそれぞれ対応した判別面１、２と比較することから、弱仮説レベルでの判別能力に優れている。したがって、同程度の性能であれば、本発明のようにＢＮ弱仮説を用いることでブースティングの弱仮説数を削減することができる。

他方、前述の特許文献１に記載されているような特徴量差分を弱仮説とする判別方法もある。しかしながら、２つの特徴量Ｆ１とＦ２の差分Ｆ１−Ｆ２が閾値を超えるか否かを、すなわち、図１０Ｃに示すような判別空間上で特徴量が判別面のどちら側の空間に存在するかを単純に判断するに過ぎないため、判別能力は概して低い。これに対し、ベイジアン・ネットワークを弱仮説に用いる判別方法は、図５Ａに示したような単純なネットワーク構造であっても、図１０Ｂに示すように各次元の特徴量にそれぞれ対応した判別面１、２を持つことから、弱仮説レベルでの判別能力に優れている。したがって、特徴量差分を弱仮説とする判別方法と比較しても、同程度の性能であれば、本発明のようにＢＮ弱仮説を用いることでブースティングの弱仮説数を削減することができると言うことができる。

なお、本発明に係るテキスト判別装置１０は、例えば、パーソナル・コンピューター（ＰＣ）などの情報機器上で所定のアプリケーションを実施するという形態で実現することができる。図１２には、情報機器の構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０１は、オペレーティング・システム（ＯＳ）が提供するプログラム実行環境下で、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２やハード・ディスク・ドライブ（ＨＤＤ）１２０１に格納されているプログラムを実行する。例えば、上述したような、ベイジアン・ネットワークを弱仮説とするブースティングの学習処理や、ベイジアン・ネットワークを弱仮説とするブースティングの判別処理を、ＣＰＵ１２０１が所定のプログラムを実行するという形態で実現することもできる。

ＲＯＭ１２０２は、ＰＯＳＴ（Ｐｏｗｅｒ Ｏｎ Ｓｅｌｆ Ｔｅｓｔ）やＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）などのプログラム・コードを恒久的に格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２０３は、ＲＯＭ１２０２やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２０１に格納されているプログラムをＣＰＵ１２０１が実行する際にロードしたり、実行中のプログラムの作業データを一時的に保持したりするために使用される。これらはＣＰＵ１２０１のローカル・ピンに直結されたローカル・バス１２０４により相互に接続されている。

ローカル・バス１２０４は、ブリッジ１２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなどの入出力バス１２０６に接続されている。

キーボード１２０８と、マウスなどのポインティング・デバイス１２０９は、ユーザにより操作される入力デバイスである。ディスプレイ１２１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などからなり、各種情報をテキストやイメージで表示する。

ＨＤＤ１２１１は、記録メディアとしてのハード・ディスクを内蔵したドライブ・ユニットであり、ハード・ディスクを駆動する。ハード・ディスクには、オペレーティング・システムや各種アプリケーションなどＣＰＵ１２０１が実行するプログラムをインストールしたり、データ・ファイルなどを保存したりするために使用される。

例えば、ベイジアン・ネットワークを弱仮説とするブースティングの学習処理や、ベイジアン・ネットワークを弱仮説とするブースティングの判別処理を行なうアプリケーションをＨＤＤ１２１１にインストールすることができる。また、図４に示した処理手順に従って学習された複数のＢＮ弱仮説や、各ＢＮ弱仮説の重み係数をＨＤＤ１２１１に保存することができる。また、ブースティングの学習処理に利用する学習サンプルＴをＨＤＤ１２１１に蓄積することができる。

通信部１２１２は、当該情報機器をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークに相互接続するための有線通信又は無線通信インターフェースである。例えば、通信部１２１２を介して、ベイジアン・ネットワークを弱仮説とするブースティングの学習処理や、ベイジアン・ネットワークを弱仮説とするブースティングの判別処理を行なうアプリケーションを、外部サーバ（図示しない）からＨＤＤ１２１１にダウンロードすることができる。また、ブースティングの判別処理に利用する複数のＢＮ弱仮説や各ＢＮ弱仮説の重み係数を、通信部１２１２を介して外部サーバ（図示しない）からＨＤＤ１２１１にダウンロードすることができる。あるいは、当該情報機器上で学習処理により得ることができた複数のＢＮ弱仮説や各ＢＮ弱仮説の重み係数を、通信部１２１２を介して外部ホスト（図示しない）に供給することができる。

以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本発明を意見文判別に適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、設問文の判別や、設問に対する回答文の判別など、意見文判別以外のテキストの種類判別や、さらには画像や音声などテキスト以外を対象物とする判別にも、同様に本発明を適用することができる。

また、本発明に適用できるブースティング・アルゴリズムは、ＡｄａＢｏｏｓｔ（Ｄｉｓｃｒｅｔｅ ＡｄａＢｏｏｓｔ）に限定されるものではない。例えば、弱仮説が連続値を出力することで、Ｇｅｎｔｌｅ ＢｏｏｓｔやＲｅａｌ Ｂｏｏｓｔなどのブースティング・アルゴリズムを、同様に本発明に適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１０…テキスト判別装置
１１…入力部
１２…特徴量抽出部
１３…判別器
１４…学習部
２１…弱判別器
２２…結合器
１１０１…嗜好抽出部
１１０１Ａ…意見文判別部
１１０１Ｂ…個人文書データベース
１１０１Ｃ…個人嗜好評価部
１１０１Ｄ…個人嗜好情報データベース
１１０２…サービス提供部
１１０２Ａ…個人嗜好判別部
１１０２Ｂ…個人嗜好提示部
１２０１…ＣＰＵ
１２０２…ＲＯＭ
１２０３…ＲＡＭ
１２０４…ローカル・バス
１２０５…ブリッジ
１２０６…入出力バス
１２０７…入出力インターフェース
１２０８…キーボード
１２０９…ポインティング・デバイス（マウス）
１２１０…ディスプレイ
１２１１…ＨＤＤ
１２１２…通信部

Claims (10)

1. 判別対象から特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部から入力される２以上の特徴量を各ノードに割り当てたベイジアン・ネットワークとして表現した複数の弱判別器と、前記複数の弱判別器の各々による判別対象の判別結果を結合する結合器からなる判別器と、
   を具備することを特徴とする判別装置。
2. 前記判別器は、弱仮説のベイジアン・ネットワークの判別対象ノードの推論確率を当該弱仮説の出力とする、
   ことを特徴とする請求項１に記載の判別装置。
3. ＢＯＷ（Ｂａｇ Ｏｆ Ｗｏｒｄｓ）又はその他の高次元の特徴量ベクトルを判別対象とし、
   前記弱判別器は、前記特徴量抽出部が抽出した高次元の特徴量ベクトルのうち所定次元数以下の前記特徴量を各ノードとするベイジアン・ネットワークで構成される、
   ことを特徴とする請求項１に記載の判別装置。
4. テキストを判別対象に含み、前記判別器は意見文判別又はその他のテキスト種別の２値判別を行なう、
   ことを特徴とする請求項１に記載の判別装置。
5. 前記判別器は、弱仮説のベイジアン・ネットワークの判別対象ノードの推論確率が所定値を超えるか否かに基づいて当該弱仮説のエラー判定を行なう、
   ことを特徴とする請求項１に記載の判別装置。
6. ブースティングを用いた事前の学習により前記複数の弱判別器がそれぞれ用いる弱仮説及び各弱仮説の重み情報を学習する学習部をさらに備える、
   ことを特徴とする請求項１に記載の判別装置。
7. 前記学習部は、１つの弱仮説で利用する特徴量次元数を制限することによって、評価する弱仮説候補数を削減する、
   ことを特徴とする請求項６に記載の判別装置。
8. 前記学習部は、１つの弱仮説で利用する特徴量次元数を１として、各次元の１次元弱仮説の評価値を算出し、評価値の高い次元から順に弱仮説に必要な特徴量次元数ずつ組み合わせて弱仮説候補を作成する、
   ことを特徴とする請求項６に記載の判別装置。
9. 判別対象から特徴量を抽出する特徴量抽出ステップと、
   前記特徴量抽出ステップで得られる２以上の特徴量を各ノードに割り当てたベイジアン・ネットワークとして表現した複数の弱仮説でそれぞれ判別し、前記複数の弱仮説による判別対象の各判別結果を結合して判別対象を判別する判別ステップと、
   を有することを特徴とする判別方法。
10. コンピューターを、
    判別対象から特徴量を抽出する特徴量抽出部、
    前記特徴量抽出部から入力される２以上の特徴量を各ノードに割り当てたベイジアン・ネットワークとして表現した複数の弱判別器と、前記複数の弱判別器の各々による判別対象の判別結果を結合する結合器からなる判別器、
    として機能させるためのコンピューター・プログラム。