JP2003281545A

JP2003281545A - 情報認識装置およびそのプログラム

Info

Publication number: JP2003281545A
Application number: JP2002076893A
Authority: JP
Inventors: Satoshi Hikita; 聡疋田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-03-19
Filing date: 2002-03-19
Publication date: 2003-10-03

Abstract

(57)【要約】【課題】クラス内変動とクラス間変動とが直交しない
場合にも情報データの認識に有効に働くカーネル補空間
法を提供する。【解決手段】情報データを入力する情報入力部１、情
報入力手段１に入力された情報データに基づきカーネル
関数を用いて計算するカーネル関数計算部２、情報デー
タを表現するベクトル空間の次元の数を削減する次元削
減部３、情報データが分類される少なくとも一つのクラ
スが形成する部分空間の各々の空間の和に対する補空間
を補正して拡張カーネル補空間を生成する拡張カーネル
補空間生成部４、生成された拡張カーネル補空間に前記
認識対象の情報データを写像する拡張カーネル補空間写
像部５および生成された前記拡張カーネル補空間を用い
て認識対象の情報データの情報認識を行う情報認識部６
を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声、文字、画像
データ等におけるパターンデータや文書クラスタリン
グ、データマイニング等における論理データなどのさま
ざまな情報データを認識するための情報認識装置および
そのプログラムに関する。

【０００２】

【従来の技術】本願は、平成１４年１月１５日に同一出
願人、同一発明者により特許出願された情報認識装置と
題する発明をさらに発展させるものである。上記出願で
提案したカーネル補空間法は、クラス内変動のベクトル
（以下、単にクラス内変動と記す）とクラス間変動のベ
クトル（以下、単にクラス間変動と記す）とが直交して
いる場合に有効な方法である。しかし、認識対象のデー
タと適用するカーネル関数によっては、クラス内変動と
クラス間変動とが直交しない場合もあり、このような場
合にカーネル補空間法を適用すると、クラス内変動とク
ラス間変動とが直交しない情報の中に有効な情報があっ
てもこれらを削除してしまう。それゆえ、削除した情報
の中で情報データの認識に有効な情報あってもこれを取
込むことができないという問題点がある。（例えば、DN
Fカーネルでは正例のクラスと負例のクラスの各クラス
内変動と、正例のクラスと負例のクラスとの間のクラス
間変動とは必ず直交するが、RBFカーネルではクラス内
変動とクラス間変動は必ずしも直交しない。）

【０００３】

【発明が解決しようとする課題】本発明は、クラス内変
動とクラス間変動とが直交する場合のみならず直交しな
い場合にも情報データの認識に有効に働くようにカーネ
ル補空間法を拡張することを目的とする。

【０００４】

【課題を解決するための手段】上記課題を解決するため
の新たな方法として、クラス部分空間の和に対する補空
間をクラス内の分散とクラス間の分散とから求めた分散
比で補正した拡張カーネル補空間法を考案した。これに
より、クラス内変動とクラス間変動とが直交しない場合
にも情報データの認識を有効に行うことができる。拡張
カーネル補空間法に次元削減法を組み合わせれば、クラ
ス内変動の中でノイズに近い成分を除去することが可能
となる。

【０００５】本発明の拡張カーネル補空間法による情報
認識装置は、情報データを入力する情報入力手段と、こ
の情報入力手段に入力された情報データに基づきカーネ
ル関数を用いて計算するカーネル関数計算手段と、情報
データが分類される少なくとも一つのクラスが形成する
部分空間の各々の空間の和に対する補空間を補正して拡
張カーネル補空間を生成する拡張カーネル補空間生成手
段と、生成された拡張カーネル補空間を用いて認識対象
の情報データの情報認識を行う情報認識手段と、を備え
たことを特徴とする。

【０００６】上記情報認識装置において、カーネル補空
間生成手段が、クラス内の分散とクラス間の分散とから
求めた分散比で、補空間を補正して拡張カーネル補空間
を生成する。

【０００７】上記情報認識装置において、生成された拡
張カーネル補空間に認識対象の情報データを写像する拡
張カーネル補空間写像手段を備え、情報認識手段が、拡
張カーネル補空間に写像された値を用いて認識対象の情
報データの情報認識を行う。

【０００８】上記情報認識装置において、情報データを
表現するベクトル空間の次元の数を削減する次元削減手
段を備える。

【０００９】上記情報認識装置において、情報データが
パターンデータであり、情報認識手段が、認識対象の情
報データのパターン認識を行う。

【００１０】本発明の拡張カーネル補空間法による情報
認識のためのプログラムは、コンピュータに、情報デー
タを入力し、入力された情報データに基づきカーネル関
数を用いて計算し、情報データが分類される少なくとも
一つのクラスが形成する部分空間の各々の空間の和に対
する補空間を補正して拡張カーネル補空間を生成し、生
成された拡張カーネル補空間を用いて認識対象の情報デ
ータの情報認識を行う、各ステップを実行させることを
特徴とする。

【００１１】上記のように構成することにより、情報入
力手段に入力された情報データの中で、ノイズに近い成
分は次元削減の段階で除かれる。また、直交しない成分
ではあるがクラス内変動とクラス間変動の共通成分につ
いては、上記補空間をクラス内分散に対するクラス間分
散の比で補正した拡張カーネル補空間に写像した未知デ
ータと各クラスとの間の距離で未知データの属するクラ
スを認識する認識処理を行うことにより、クラス内変動
とクラス間変動とが直交しない場合にも、情報データの
認識に有効に働くようにカーネル補空間法を拡張可能と
なる。

【００１２】

【発明の実施の形態】以下、添付図面を参照しつつ本発
明の実施形態について説明する。

【００１３】図１は本発明による情報認識装置の一実施
例の概略ブロック構成図である。図１全体に示す情報認
識装置１０は、情報入力部１、カーネル関数計算部２、
次元削減部３、拡張カーネル補空間生成部４、拡張カー
ネル補空間写像部５、情報認識部６および認識結果出力
部７を有する。

【００１４】情報入力部１は、学習データ入力部１ａと
未知データ入力部１ｂとから構成され、学習データ入力
部１ａから予めクラス毎に学習データを入力して学習さ
せておき、その後、未知データを入力して未知データが
どのクラスに属するのかを認識する。

【００１５】カーネル関数計算部２は入力された学習デ
ータや未知データに基づきカーネル関数を用いてカーネ
ル関数値を計算する。なお、後述するようにカーネル関
数としては、多項式カーネル関数、ＲＢＦカーネル関
数、ＤＮＦカーネル関数等があるが、本実施例では、Ｒ
ＢＦカーネル関数を用いた場合について説明する。

【００１６】次元削減部３は、情報データを表現するベ
クトル空間の次元の数を削減する。

【００１７】拡張カーネル補空間生成部４は、情報デー
タが分類される少なくとも一つのクラスが形成する部分
空間の各々の空間の和に対する補空間を補正して拡張カ
ーネル補空間を生成する。

【００１８】拡張カーネル補空間写像部５は、生成され
た拡張カーネル補空間に認識対象の情報データを写像す
る。

【００１９】情報認識部６は、拡張カーネル補空間に写
像された値を用いて認識対象の情報データの情報認識を
行う。

【００２０】認識結果出力部７は、情報認識部６で認識
された結果、すなわち未知データがどのクラスに属する
のかの認識結果を出力する。

【００２１】情報認識装置１０は、ＣＰＵ、内部記憶
（メモリ）、外部記憶（ハードディスク）、マウスやキ
ーボードなどの入力部、ＣＲＴやプリンタなどの出力
部、外部のコンピュータとデータ通信可能な通信部、お
よびフレキシブルディスクドライブやＣＤドライバ等の
記録媒体の読出／書込部等を有する。以下に記す学習処
理や認識処理を実行するプログラムは記録媒体や外部の
コンピュータを介してメモリに書込まれた後、ハードデ
ィスク（ＨＤ）に格納され、必要に応じてメモリに書込
まれてはＣＰＵにより実行される。

【００２２】図２は本発明の一実施形態の学習処理のフ
ローチャートであり、図３は本発明の一実施形態の認識
処理のフローチャートである。フローチャートにおい
て、Ｓに続く数字はステップ番号を示す。以下、これら
のフローチャートを説明する。

【００２３】情報入力ステップで入力される情報には、
音声、文字、画像データ等におけるパターンデータや文
書クラスタリング、データマイニング等における論理デ
ータなど様々なものが可能であるが、ここでは論理デー
タを例として説明する。

【００２４】データ全体のカーネル関数値を求めるステ
ップでは、適当なカーネル関数を用いて内積の計算を行
う。

【００２５】カーネル関数には、下記の多項式カーネル
（１）の式、ＲＢＦカーネル（２）の式およびＤＮＦカ
ーネル（３）の式などが考えられる。

【００２６】

【数１】

【００２７】

【数２】

【００２８】

【数３】

【００２９】カーネル関数を用いれば、高次元特徴空間
の像を実際に求めることなく内積が計算できる。カーネ
ル関数の種類は、認識対象に応じて適当なものを利用す
ることができる。

【００３０】以下、図２に示す学習処理のフローチャー
トを説明する。学習データを、

【００３１】

【数４】

【００３２】という１次元の縦ベクトルとする。ただ
し、ｌ（Ｌの小文字）は学習データをベクトルで表した
ときの次元数とする。

【００３３】ステップＳ１では、このベクトル形式の学
習データを入力する。

【００３４】ステップＳ２では、以下のように学習デー
タ全体のカーネル関数値を求める。

【００３５】学習データ全体を、

【００３６】

【数５】

【００３７】という行列で表す。ただし、ｎは学習デー
タの個数とする。

【００３８】カーネル関数による内積の値を、

【００３９】

【数６】

【００４０】と表す。

【００４１】データ全体の内積値はカーネル関数によっ
て計算でき、

【００４２】

【数７】

【００４３】という行列で表す。

【００４４】次に、分散正規化係数を求めるステップＳ
３について説明する。ここで，分散正規化係数は、デー
タ空間全体の空間での基底に係る係数を分散で正規化し
たもの（学習データ空間全体の空間の行列の固有値で割
ったもの）と定義しておく。

【００４５】全要素にｌを持つ(ｎ，ｎ)行列を、

【００４６】

【数８】

【００４７】データ全体をカーネル関数φで写像した行
列を、

【００４８】

【数９】

【００４９】平均ベクトルが座標原点（中央）になるよ
うな平行移動したものを、

【００５０】

【数１０】

【００５１】と表すと、これらを使って、特徴空間での
共分散行列を表すと、

【００５２】

【数１１】

【００５３】となり、直接的に非線形変換を行うことな
く表現できる。

【００５４】データ空間全体の空間での係数の基底は、
これを特異値分解したものを使って求めることができ
る。

【００５５】上記の特異値分解は、

【００５６】

【数１２】

【００５７】と書ける。これから、

【００５８】

【数１３】

【００５９】で、分散正規化係数が求まる。

【００６０】次に、ステップＳ４では固有値の大きい順
に指定次元数だけ残す。このような次元削減により、ノ
イズに近い成分が取り除かれる。

【００６１】次にｉをインデックスとして、各クラスに
ついて行っている一つ目のループ中の処理（ステップＳ
５〜Ｓ７）について説明する。

【００６２】ステップＳ５ではｉ＝０とする。

【００６３】ステップＳ６ではｉとクラス数とを比較
し、ｉ＜クラス数のときはステップＳ７に進み、ｉ≧ク
ラス数のときはステップＳ８に進む。

【００６４】次に、ステップＳ７では、以下のように、
ｉ番目のクラスと学習データ全体とのカーネル関数値を
求める。

【００６５】ｉ番目のクラスの学習データを、

【００６６】

【数１４】

【００６７】という行列で表すとする。ただし、ｍはｉ
番目クラスの学習データの個数、ｘ_i,j は、ｉ番目クラスのｊ個目の学習データを表すものとす
る。

【００６８】ｉ番目のクラスとデータ全体との内積をカ
ーネル関数により計算したものを、

【００６９】

【数１５】

【００７０】という行列で表すとする。

【００７１】原点をデータ全体の空間の原点に合わせる
ように平行移動する計算を、

【００７２】

【数１６】

【００７３】で行う。

【００７４】ステップＳ８では、これに、全体空間の基
底をかけて、クラスのデータの分散正規化係数を求める
と、

【００７５】

【数１７】

【００７６】となる。

【００７７】これについても次元削減を行い、固有値の
大きい順に指定次元数だけ残す。この係数行列からクラ
スの平均ベクトルを引くと、

【００７８】

【数１８】

【００７９】となり、ｉ番目のクラスの係数行列をクラ
スの平均ベクトルが原点になるようにしたものが求ま
る。

【００８０】次に、各クラス平均を引いた学習データ全
体の空間での基底を求めるステップについて説明する。

【００８１】上記で求めた、各クラス平均を引いた学習
データを並べた行列を、

【００８２】

【数１９】

【００８３】と表す。ただし、Ｎはクラス数とする。

【００８４】これを特異値分解すると、

【００８５】

【数２０】

【００８６】となり、各クラス平均を引いた学習データ
全体の空間での基底がＵとして求まる。

【００８７】次に、ステップＳ９では、拡張共通補空間
への写像行列を求める。

【００８８】拡張共通補空間は、写像行列、

【００８９】

【数２１】

【００９０】で写像される空間と定義する。ただし、Ｉ
は単位行列とする。

【００９１】これは、クラス内変動とクラス間変動が直
交しているときは、通常の補空間と同等になり、クラス
内変動とクラス間変動が直交していないときはクラス内
分散とクラス間分散の比で、拡張共通補空間内における
２つのデータ間の距離を補正した空間となっている。

【００９２】次に、ステップＳ１０〜１２では、認識処
理で使うために各クラスの拡張共通補空間への写像値を
求める。

【００９３】ステップＳ１０ではｉ＝０とする。

【００９４】ステップＳ１１ではｉとクラス数とを比較
し、ｉ＜クラス数のときはステップＳ１２に進み、ｉ≧
クラス数のときはステップＳ１３に進む。

【００９５】ｉ番目クラスの分散正規化係数の平均ベク
トルは、

【００９６】

【数２２】

【００９７】であるから、これをステップＳ１２では拡
張共通補空間へ写像する。この写像したものは、

【００９８】

【数２３】

【００９９】と表せる。

【０１００】このように、拡張カーネル補空間に写像さ
れた値Ｂ_iは、各クラスのデータを学習データ全体空間
での基底Ｕに係る分散正規化係数Ａ_iで表し、これから
式（１８）でそのクラスの係数の平均ベクトルを引き、
式（２１）で求めた写像行列Ｐでこれを写像して求めら
れる。

【０１０１】次に、ステップＳ１３では、ここまでで求
めた拡張共通補空間への写像行列と各クラスの分散正規
化係数の平均ベクトルの拡張共通補空間へ写像したもの
を保存しておく。

【０１０２】ここまでで図２に示すフローチャートにお
ける学習処理は終わる。

【０１０３】次に、図３に示すフローチャートに従い得
られた共通補空間を用いた認識処理を説明する。

【０１０４】まず、ステップＳ３１では保存しておいた
拡張共通補空間への写像行列と各クラスの分散正規化係
数の平均ベクトルを拡張共通補空間へ写像したものを読
み出す。

【０１０５】次に、ステップＳ３２では認識対象となる
未知データを入力する。

【０１０６】未知データを、

【０１０７】

【数２４】

【０１０８】と表す。

【０１０９】ステップＳ３３では未知データと学習デー
タのカーネル関数値を求める。この関数値は、

【０１１０】

【数２５】

【０１１１】と表せる。

【０１１２】次に、ステップＳ３４では学習データの各
クラスと同様に、未知データの分散正規化係数を求める
と、

【０１１３】

【数２６】

【０１１４】となる。

【０１１５】ステップＳ３４では、さらにこれを拡張共
通補空間へ写像すると、

【０１１６】

【数２７】

【０１１７】と表せる。

【０１１８】ステップＳ３５ではｉ＝０とする。

【０１１９】ステップＳ３６ではｉとクラス数とを比較
し、ｉ＜クラス数のときはステップＳ３７に進み、ｉ≧
クラス数のときはステップＳ３８に進む。

【０１２０】ステップＳ３７では、この未知データと拡
張共通補空間での各クラス（ｉ番目のクラス）との間の
距離、

【０１２１】

【数２８】

【０１２２】を求める。

【０１２３】ステップＳ３６、Ｓ３７の処理により、未
知データと各クラスとの間の距離がクラスの数だけ求ま
り、すなわち未知データとクラスＡとの間の第１距離、
未知データとクラスＢとの間の第２距離、未知データと
クラスＣとの間の第３距離、…のようにクラスの数だけ
求め、その中で最も距離の短いクラスを見つけ、未知デ
ータの属するクラスと判定する。

【０１２４】ステップＳ３８では、最も距離が近いクラ
スに属するものデータと認識する。

【０１２５】最後に、ステップＳ３９では、認識結果を
出力して認識処理が完了する。もちろん認識結果の出力
は、人間が読めるような表示でもよいし、他のルーチン
に渡すデータでもよい。

【０１２６】次に、拡張補空間について具体例をあげて
説明する。

【０１２７】図４は拡張補空間の具体例を示す図であ
り、（Ａ）はクラス内変動とクラス間変動とが直交する
例を示す図であり、（Ｂ）はクラス内変動とクラス間変
動とが直交しない例を示す図である。

【０１２８】図４の（Ａ）に示す例では、クラスＡ、Ｂ
は、ｘ軸と平行な方向でのみ各クラス内変動成分を持
ち、クラスＡ、Ｂ間のクラス間変動成分はｙ軸に平行な
方向のみになっている。この例での拡張補空間はｙ軸に
平行な空間であり、通常の補空間、すなわちｙ軸に平行
な空間と同じである。以下、その理由を述べる。

【０１２９】拡張補空間は、情報データが分類される少
なくとも一つのクラスが形成する部分空間の各々の空間
の和に対する補空間をクラス内の分散とクラス間の分散
とから求めた分散比で補正した空間である。ここで、ｘ
ｙの２次元平面の空間で、ｘ軸に平行な直線を基底ベク
トルとする１つの部分空間ＡまたはＢに対する補空間は
ｙ軸に平行な軸である。上記分散比は各クラスの各軸に
対する分散から下式で求められる。

【０１３０】クラス間分散／（クラス内分散＋クラス間分散）図４の（Ａ）に示されるように、ｘ方向に関しては各
Ａ、Ｂクラス内変動は値（１００％）を有するが、クラ
ス間変動は値を有さないので分散比（＝０／１００）は
値を有さない。一方、ｙ方向に関しては各Ａ、Ｂクラス
内変動は値を有さないが、クラス間変動は値（１００
％）を有するので分散比（＝１００／１００）は値を有
する。したがって、拡張補空間は、補空間をｙ方向のみ
補正したｙ軸に平行な空間となり、これは通常の補空
間、ｙ軸に平行な空間と同じとなる。

【０１３１】図４の（Ｂ）に示す例では、クラスＡ、Ｂ
はｘ軸と平行な方向に加えてｙ軸方向にもノイズ的なク
ラス内変動成分（１０％）を持っている。したがって、
クラス内変動とクラス間変動とが直交していない例とな
っている。この例の場合、通常の補空間は存在しない
が、拡張補空間は、情報データが分類される少なくとも
一つのクラスが形成する部分空間の各々の空間の和に対
する補空間をクラス内の分散とクラス間の分散とから求
めた分散比で補正した空間であるので、図４の（Ｂ）に
示すようにｙ軸に平行な成分に少量のｘ軸成分を加えた
空間になる。以下、その理由を述べる。

【０１３２】図４の（Ｂ）に示されるように、ｘ方向に
関しては各Ａ、Ｂクラス内変動は値（９０％）を有し、
クラス間変動も少量の値（１０％）を有するので分散比
（＝１０／１００）は値を有する。一方、ｙ方向に関し
ても各Ａ、Ｂクラス内変動は少量の値（１０％）を有
し、クラス間変動も値（９０％）を有するので分散比
（＝９０／１００）は大きな値を有する。したがって、
拡張補空間は、補空間をｘ方向を少量（１０％）補正す
るとともにｙ方向を大きく（９０％）補正したｙ軸に平
行な空間に少量のｘ軸方向の成分を有する空間となる。

【０１３３】図５はクラス内分散とクラス間分散から分
散比を求める処理の手順を説明する図であり、（Ａ）は
６次元部分空間のクラスを主成分分析した結果の例を示
す図であり、（Ｂ）は各次元のガウス（正規）分布を示
す図であり、（Ｃ）は次元削減した５次元部分空間にお
ける次元毎のクラス内変動とクラス間変動の分散比を示
す図である。

【０１３４】図５の（Ａ）に示すように、ｘ₁、…、ｘ₆
の６軸を有する６次元部分空間を持つ所定のクラスに属
する多数のデータで主成分分析すると、データのベクト
ル成分がｘ₁、…、ｘ₆の順に多いことが判る。これを指
定数５で次元削減して、図５の（Ｂ）に示すように、ｘ
₁、…、ｘ₅の各軸について正規分布を作成し、各軸にお
けるクラス内変動の分散を調べる。図５の（Ｂ）に示さ
れる山が急峻な程分散が大きく、緩やかな程分散が小さ
い。この結果から、図５の（Ｃ）に示すような、次元
（各軸）毎のクラス内変動とクラス間変動の分散比を求
める。図５の（Ｃ）において、ｘ₁、ｘ₂、ｘ₃の軸はク
ラス内変動とクラス間変動が直交しない成分を有する
が、ｘ₁、ｘ₂の軸はクラス内変動とクラス間変動が直交
する成分のみを有する。

【０１３５】最後に、クラス内分散とクラス間分散の計
算について説明する。

【０１３６】この計算は、クラス内変動の量だけをクラ
ス中心からの相対距離にして並べて特異値分解して、ク
ラス内変動の割合（クラス内分散）だけを求め、次いで
ベクトル毎に全分散からクラス内分散を引算してクラス
間分散を求めて、以下のように行う。

【０１３７】第１段階では、カーネル空間のｎ個の特徴
ベクトルをＸ＝（ｘ₁，…，ｘ_n）で表す。

【０１３８】全平均μ＝１／ｎ・Ｘｌ_n（＝１／ｎ・Σ
ｘ_i）を引いたものを下式（２９）とする。

【０１３９】

【数２９】

【０１４０】第２段階では、Ｘ_Tの特異値分解を式（３
０）とする。

【０１４１】

【数３０】

【０１４２】

【数３１】

【０１４３】第３段階では、クラス平均μ_j＝１／ｎ_j・
ＸＣ_j

【０１４４】

【数３２】

【０１４５】であるので、クラス平均を引いたデータ
は、式（３３）で表される。

【０１４６】

【数３３】

【０１４７】すると、

【０１４８】

【数３４】

【０１４９】が成り立つ。

【０１５０】第４段階では、全分散をＶ_Tを基底とする
座標系で表現したものは、式（３５）で表され、

【０１５１】

【数３５】

【０１５２】と対角になる。

【０１５３】ここで、スケールを変えて単位行列にす
る。

【０１５４】

【数３６】

【０１５５】以上の第１〜第４段階の処理が分散正規化
処理である。

【０１５６】この分散正規化した座標系でＸ_Cは、式
（３７）となる。

【０１５７】

【数３７】

【０１５８】したがって、クラス内分散は、式（３８）
である。

【０１５９】

【数３８】

【０１６０】これは、式（３９）の形をしている。

【０１６１】

【数３９】

【０１６２】（｜ｖ_j≦１｜）各ｕ_jに直交するベクトルｕに対して式（４０）とな
る。

【０１６３】

【数４０】

【０１６４】直交しないベクトルｕに対する固有ベクト
ルは、１より小さい固有値を持つ。したがって、クラス
内変動がクラス間変動に直交する場合は、通常の補空間
と同じになり、直交しない場合は、クラス内分散とクラ
ス間分散とから求めた分散比で補正された空間となる。

【０１６５】以上説明したように、本発明によれば、未
知データと学習データとのカーネル関数値を求め、未知
データを各クラスの拡張共通補空間に写像していくの
で、クラス内変動とクラス間変動が直交しない場合であ
っても、未知データの属するクラスを誤って識別するこ
とがなくなる。

【０１６６】なお、本発明は上記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲で種々変形して
用いることができる。

【０１６７】（付記１）情報データを入力する情報入
力手段と、該情報入力手段に入力された前記情報データ
に基づきカーネル関数を用いて計算するカーネル関数計
算手段と、前記情報データが分類される少なくとも一つ
のクラスが形成する部分空間の各々の空間の和に対する
補空間を補正して拡張カーネル補空間を生成する拡張カ
ーネル補空間生成手段と、生成された前記拡張カーネル
補空間を用いて認識対象の情報データの情報認識を行う
情報認識手段と、を備えたことを特徴とする情報認識装
置。（付記２）前記カーネル補空間生成手段が、前記クラ
ス内の分散と該クラス間の分散とから求めた分散比で、
前記補空間を補正して前記拡張カーネル補空間を生成す
る、付記１に記載の情報認識装置。（付記３）生成された拡張カーネル補空間に前記認識
対象の情報データを写像する拡張カーネル補空間写像手
段を備え、前記情報認識手段が、前記拡張カーネル補空
間に写像された値を用いて前記認識対象の情報データの
情報認識を行う、付記１または２に記載の情報認識装
置。（付記４）前記情報データを表現するベクトル空間の
次元の数を削減する次元削減手段を備えた、付記１乃至
３の何れか１項に記載の情報認識装置。（付記５）前記情報データがパターンデータであり、
前記情報認識手段が、前記認識対象の情報データのパタ
ーン認識を行う、付記１乃至４の何れか１項に記載の情
報認識装置。

【０１６８】（付記６）コンピュータに、情報データ
を入力し、入力された前記情報データに基づきカーネル
関数を用いて計算し、前記情報データが分類される少な
くとも一つのクラスが形成する部分空間の各々の空間の
和に対する補空間を補正して拡張カーネル補空間を生成
し、生成された前記拡張カーネル補空間を用いて認識対
象の情報データの情報認識を行う、各ステップを実行さ
せることを特徴とするプログラム。（付記７）前記カーネル補空間を生成するステップ
が、前記クラス内の分散と該クラス間の分散とから求め
た分散比で、前記補空間を補正して前記拡張カーネル補
空間を生成する、付記６に記載のプログラム。

【０１６９】（付記８）生成された拡張カーネル補空
間に前記認識対象の情報データを写像するステップを備
え、前記情報認識するステップが、前記拡張カーネル補
空間に写像された値を用いて前記認識対象の情報データ
の情報認識を行う、付記６または７に記載のプログラ
ム。

【０１７０】（付記９）前記情報データを表現するベ
クトル空間の次元の数を削減するステップを備えた、付
記６乃至８の何れか１項に記載のプログラム。

【０１７１】（付記１０）前記情報データがパターン
データであり、前記情報認識するステップが、前記認識
対象の情報データのパターン認識を行う、付記６乃至９
の何れか１項に記載のプログラム。

【０１７２】

【発明の効果】以上説明したように本発明によれば、ク
ラス内変動とクラス間変動とが直交する場合のみならず
直交しない場合にも情報データの認識に有効に働くよう
にカーネル補空間法を拡張することが可能となる。

【図面の簡単な説明】

【図１】本発明の概略ブロック構成図である。

【図２】本発明の一実施形態の学習処理のフローチャー
トである。

【図３】本発明の一実施形態の認識処理のフローチャー
トである。

【図４】拡張補空間の具体例を示す図であり、（Ａ）は
クラス内変動とクラス間変動とが直交する例を示す図で
あり、（Ｂ）はクラス内変動とクラス間変動とが直交し
ない例を示す図である。

【図５】クラス内分散とクラス間分散から分散比を求め
る処理の手順を説明する図であり、（Ａ）は６次元部分
空間のクラスを主成分分析した結果の例を示す図であ
り、（Ｂ）は各次元のガウス（正規）分布を示す図であ
り、（Ｃ）は次元削減した５次元部分空間における次元
毎のクラス内変動とクラス間変動の分散比を示す図であ
る。

【符号の説明】

１…情報入力部１ａ…学習データ入力部１ｂ…未知データ入力部２…カーネル関数計算部３…次元削減部４…拡張カーネル補空間生成部５…拡張カーネル補空間写像部６…情報認識部７…認識結果出力部１０…情報認識装置

Claims

【特許請求の範囲】

【請求項１】情報データを入力する情報入力手段と、
該情報入力手段に入力された前記情報データに基づきカ
ーネル関数を用いて計算するカーネル関数計算手段と、
前記情報データが分類される少なくとも一つのクラスが
形成する部分空間の各々の空間の和に対する補空間を補
正して拡張カーネル補空間を生成する拡張カーネル補空
間生成手段と、生成された前記拡張カーネル補空間を用
いて認識対象の情報データの情報認識を行う情報認識手
段と、を備えたことを特徴とする情報認識装置。
【請求項２】前記カーネル補空間生成手段が、前記ク
ラス内の分散と該クラス間の分散とから求めた分散比
で、前記補空間を補正して前記拡張カーネル補空間を生
成する、請求項１に記載の情報認識装置。
【請求項３】生成された拡張カーネル補空間に前記認
識対象の情報データを写像する拡張カーネル補空間写像
手段を備え、前記情報認識手段が、前記拡張カーネル補
空間に写像された値を用いて前記認識対象の情報データ
の情報認識を行う、請求項１または２に記載の情報認識
装置。
【請求項４】前記情報データを表現するベクトル空間
の次元の数を削減する次元削減手段を備えた、請求項１
乃至３の何れか１項に記載の情報認識装置。
【請求項５】コンピュータに、情報データを入力し、
入力された前記情報データに基づきカーネル関数を用い
て計算し、前記情報データが分類される少なくとも一つ
のクラスが形成する部分空間の各々の空間の和に対する
補空間を補正して拡張カーネル補空間を生成し、生成さ
れた前記拡張カーネル補空間を用いて認識対象の情報デ
ータの情報認識を行う、各ステップを実行させることを
特徴とするプログラム。