JP2006085426A - カーネル関数処理装置、カーネル関数処理方法、カーネル関数処理プログラム - Google Patents
カーネル関数処理装置、カーネル関数処理方法、カーネル関数処理プログラム Download PDFInfo
- Publication number
- JP2006085426A JP2006085426A JP2004269492A JP2004269492A JP2006085426A JP 2006085426 A JP2006085426 A JP 2006085426A JP 2004269492 A JP2004269492 A JP 2004269492A JP 2004269492 A JP2004269492 A JP 2004269492A JP 2006085426 A JP2006085426 A JP 2006085426A
- Authority
- JP
- Japan
- Prior art keywords
- kernel function
- kernel
- reference value
- updated
- evaluation reference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】 カーネル関数の対象の状態や状況が異なる場合でも、カーネル関数を適応的に更新させて、対象とする問題に対して十分な表現力を持つこと。
【解決手段】 カーネル関数更新部1では、更新処理部11が教師データ3に基づきパラメータβを算出し、そのパラメータβに基づきカーネル関数を決定すると共に、評価基準値が所定の閾値以下の場合には、パラメータβを更新したカーネル関数を加算することによりカーネル関数を更新する。その際、評価基準値算出部12は教師データ3とカーネル関数とに基づいてグラム行列とそのムーアペンローズ一般逆を算出して評価基準値を算出する。カーネル関数処理部2では、認識結果算出手段21が未知サンプルの入力ベクトル4と教師データ3と更新されたカーネル関数とムーアペンローズ一般逆とに基づき認識結果を算出し、クラスラベル算出手段22がその認識結果に基づいてクラスラベルを算出する。
【選択図】 図1
【解決手段】 カーネル関数更新部1では、更新処理部11が教師データ3に基づきパラメータβを算出し、そのパラメータβに基づきカーネル関数を決定すると共に、評価基準値が所定の閾値以下の場合には、パラメータβを更新したカーネル関数を加算することによりカーネル関数を更新する。その際、評価基準値算出部12は教師データ3とカーネル関数とに基づいてグラム行列とそのムーアペンローズ一般逆を算出して評価基準値を算出する。カーネル関数処理部2では、認識結果算出手段21が未知サンプルの入力ベクトル4と教師データ3と更新されたカーネル関数とムーアペンローズ一般逆とに基づき認識結果を算出し、クラスラベル算出手段22がその認識結果に基づいてクラスラベルを算出する。
【選択図】 図1
Description
本発明は、カーネル関数により処理を行うカーネル関数処理部を有するカーネル関数処理装置、カーネル関数処理方法、カーネル関数処理プログラムに関するものである。
従来、パターン認識装置や、画像処理装置、データ分類装置等においては、カーネル関数を利用することにより、認識処理等の高性能化を図っているものがある。これらの装置においては、利用するカーネル関数として、ガウシアンカーネルや、多項式カーネル等、良く知られたカーネル関数をそのまま利用するか、予め用意した既存の複数のカーネル関数の内から、処理対象や状況に応じてカーネル関数を選択して使用するのが一般的である(例えば、特許文献1〜4参照)。
特開2002−279478号公報
特開2002−190025号公報
特開2000−090274号公報
特開平06−223180号公報
しかし、従来のカーネル関数処理装置では、カーネル関数をそのまま利用するか、予め用意した既存の複数のカーネル関数の内から、処理対象や状況に応じてカーネル関数を選択しているに過ぎず、使われるカーネル関数が、カーネル関数により処理する対象の状態や状況の違いを考慮した形での十分な表現力を持つことを保証できない、という課題がある。
そこで、本発明は、カーネル関数の対象の状態や状況が異なる場合でも、カーネル関数を適応的に更新させて、対象とする問題に対して十分な表現力を持つことができるカーネル関数処理装置、カーネル関数処理方法、カーネル関数処理プログラムを提供することを目的とする。
上記課題を解決するため、本発明では、カーネル関数を加算して更新し、更新されたカーネル関数を用いて処理を行う、構成を採る。
これにより、本発明によれば、カーネル関数を加算して更新し、更新されたカーネル関数を用いて処理を行うので、カーネル関数の対象の状態や状況が異なる場合でも、カーネル関数を適応的に更新させることができ、対象とする問題に対して十分な表現力を持つことができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1に、本発明の実施の形態に係るカーネル関数処理装置の構成を示す。
図1において、実施の形態のカーネル関数処理装置は、評価基準に基づいてカーネル関数を加算して更新するカーネル関数更新部1と、更新されたカーネル関数を用いて、文字や顔画像、音声認識等のパターン認識処理を行うカーネル関数処理部2と、を有している。なお、カーネル関数処理部2がカーネル関数により処理するパターン認識は一例であり、未知関数からベクトルへの線形写像で表されるモデルの逆問題として記述される問題であれば、適用可能である。
カーネル関数更新部1は、教師データ3に基づきパラメータβを算出し、そのパラメータβに基づき初期のカーネル関数を決定すると共に、後述する評価基準値と所定の閾値とを比較し、その評価基準値が所定の閾値以下の場合には、パラメータβを更新しながらカーネル関数を加算して更新する更新処理部11と、教師データ3とカーネル関数とに基づいてグラム行列を算出すると共に、そのムーアペンローズ一般逆を算出して、これらの行列に基づき評価基準値を算出する評価基準値算出部12と、を有している。なお、本実施の形態では、カーネル関数として、ガウシアンカーネル関数を一例に説明する。
また、カーネル関数処理部2は、入力データである未知サンプルの入力ベクトル4と、教師データ3と、カーネル関数更新手段113により更新されることにより、最終的に構成されたカーネル関数と、評価基準値算出部12のG,G+算出手段121により算出されたムーアペンローズ一般逆とに基づき、認識結果を算出する認識結果算出手段21と、算出された認識結果に基づいてクラスラベルを算出するクラスラベル算出手段22と、を有している。尚、認識結果算出手段21は、SVM(Support Vector Machine)等に置き換えてもよい。
次に本装置の動作を、フローチャートを参照して説明する。
図2は、実施の形態におけるカーネル関数更新処理の一例を示すフローチャートである。
まず、カーネル関数更新部1では、初期β算出手段111が、教師データ(yi,xi)(i=1,2,・・・l,yi=クラスラベル(1,・・・C:整数),xi=入力ベクトル(n次元ベクトル))の内、入力ベクトルの共分散行列を算出し、その最大固有値をσ2とし、β=1/(2σ2)として、カーネル関数更新手段113へ出力する(ステップ1000)。
評価基準値算出部12では、まず、G,G+算出手段121が、教師データ3と、カーネル関数更新手段113からの上記(式1)のカーネル関数K(x,x’)とに基づいて、グラム行列(G)を算出すると共に、そのムーアペンローズ一般逆(G+)を算出して、その両行列を評価基準値算出手段122へ出力する(ステップ1200)。
評価基準値算出手段122では、G,G+算出手段121からのグラム行列(G)と、そのムーアペンローズ一般逆(G+)と、教師データ(yi,xi)とに基づいて、次の(式2)の示す評価基準値Jを算出して、比較手段123へ出力する(ステップ1300)。
ここで、本実施の形態では、パターン認識のように、未知関数からベクトルへの線形写像で表されるモデルの逆問題として記述される問題を、カーネル関数の対象としているので、評価基準値Jとしてそのベクトルから線形写像が張る線形部分空間までの距離を用い、その評価基準値Jが所定の閾値以下になるまで、カーネル関数を更新する。
つまり、比較手段123では、評価基準値算出手段122からの上記(式2)の評価基準値Jと、予め定めておいた閾値とを比較して、評価基準値Jが閾値以下であるか否かを判断する(ステップ1400)。
そして、評価基準値Jが閾値以下でない、すなわち評価基準値Jが閾値より大きい場合には(ステップ1400“No”)、比較手段123は、β更新手段112にパラメータβを更新するよう指示を出力する。
すると、β更新手段112は、比較手段123からの指示に基づき、例えば、β=β×1.5等して、パラメータβを更新して、カーネル関数更新手段113へ出力する(ステップ1500)。尚、ここでパラメータβに乗算する係数の1.5は、一例であり、1.5以外、例えば、1.1や2.0であっても勿論良く、さらには、可変にしても勿論良い。
カーネル関数更新手段113では、β更新手段112からの更新されたパラメータβを入力して、例えば、以下の(式3)のようにカーネル関数K(x,x’)を更新して、更新したカーネル関数K(x,x’)を上記ステップ1100の処理後と同様に、評価基準値算出部12のG,G+算出手段121へ出力する(ステップ1600)。
つまり、このステップ1600では、上記(式3)に示すように、現在のカーネル関数K(x,x’)に、現在のパラメータβを1.5倍に更新したガウシアンカーネルを加算することより、カーネル関数K(x,x’)を更新している。カーネル関数の和もカーネル関数になることは、1950年N.Aronszajnによって証明されている。カーネル関数には、1つの再生核ヒルベルト空間が対応する。複数のカーネル関数の総和に対応する再生核ヒルベルト空間は、個々のカーネル関数に対応する再生核ヒルベルト空間全てを包含するため、個々のカーネル関数よりもそれらの和のカーネル関数の方が高い表現力を持つからである。
これにより、例えば、本実施の形態のように、パターン認識問題にカーネル関数を適用した場合は、カーネル関数に対応する再生核ヒルベルト空間に属する未知の関数からラベルベクトルへの線形写像の逆問題として記述できる。ラベルベクトルが線形写像の張る空間に属するようになるまで、和をとるカーネル関数の数を増やすことにより、対象に対して十分な表現力を有するカーネル関数K(x,x’)を構成することが可能となる。
すると、G,G+算出手段121では、再度同様にして、教師データ3と更新された上記(式3)のカーネル関数K(x,x’)とに基づいて、グラム行列(G)を算出すると共に、そのムーアペンローズ一般逆(G+)を算出して、評価基準値算出手段122へ出力し(ステップ1200)、評価基準値算出手段122がグラム行列(G)と、そのムーアペンローズ一般逆(G+)と、教師データ(yi,xi)とに基づいて、評価基準値Jを算出して、比較手段123へ出力し(ステップ1300)、比較手段123は更新されたカーネル関数K(x,x’)に基づく新たな評価基準値Jと、予め定めておいた閾値とを比較して、評価基準値Jが閾値以下であるか否かを判断する(ステップ1400)。
このようなステップ1500→ステップ1600→ステップ1200→ステップ1300→ステップ1400の一連の処理は、比較手段123にて評価基準値Jが閾値以下でないと判断された場合は(ステップ1400“No”)、繰り返し実行され、カーネル関数K(x,x’)が更新される。
一方、比較手段123は、評価基準値Jが閾値以下であると判断した場合(ステップ1400“YES”)、カーネル関数更新手段113と、G,G+算出手段121とへ、それぞれが保持している計算結果を、カーネル関数処理部2へ出力するように指示を出す。
すると、カーネル関数更新手段113と、G,G+算出手段121とは、それぞれ、評価基準値Jが閾値以下である場合のカーネル関数K(x,x’)と、グラム行列(G)のムーアペンローズ一般逆(G+)とをカーネル関数処理部2の認識結果算出手段21へ出力する(ステップ1700)。
ここまでが、カーネル関数更新部1でのカーネル関数更新処理である。
次に、カーネル関数処理部2での未知サンプルの入力データに対するパターン認識処理を説明する。
図3は、カーネル関数処理部2による未知入力データに対するパターン認識の一例を示すフローチャートである。
カーネル関数処理部2では、まず、認識結果算出手段21が、教師データ3と、カーネル関数更新手段113からのカーネル関数K(x,x’)と、G,G+算出手段121からのグラム行列(G)のムーアペンローズ一般逆(G+)と、未知サンプルの入力ベクトル4である未知入力ベクトルxに対して、次の(式4)により、サンプル認識結果f1(x)を算出し、クラスラベル算出手段22へ出力する(ステップ2000)。
クラスラベル算出手段22では、クラスラベル1,・・・,Cの中で、f1(x)に最も近い整数を、パターン認識の結果であるクラスラベルとして出力する(ステップ2100)。
従って、本実施の形態によれば、カーネル関数更新部1が教師データ3とカーネル関数K(x,x’)とに基づく評価基準値を算出して、この評価基準値が所定の閾値以下であるか否かを判断して、この評価基準値が所定の閾値以下になるようにカーネル関数K(x,x’)を更新し、カーネル関数処理部2がその更新されたカーネル関数を用いてパターン認識処理を行うようにしたので、カーネル関数の処理対象である未知サンプルの入力ベクトル4や教師データを生成した未知の関数に応じて、カーネル関数を適応的に更新させて、対象とする問題に対して十分な表現力を持つことができる。
特に、本実施の形態では、カーネル関数を加算することにより更新するようにしたので、未知の関数が属していると想定する関数空間として、極力広いものを仮定できるため、従来用いられていた、カーネル関数を用いた処理よりも理論的整合性が高い、という効果が得られる。
また、本実施の形態では、カーネル関数のパラメータを更新してからカーネル関数を加算して更新するようにしたので、必要十分な表現力を有するカーネル関数を、体系的に得ることができる、という効果が得られる
尚、本実施の形態では、ガウシアンカーネル関数を一例に説明したが、本発明では、これに限定されず、多項式カーネル関数等、ガウシアン以外のカーネル関数でも勿論良く、異なるカーネル関数を用いた場合には、パラメータβの更新ルールも適宜変更等したり、評価基準も別のものでも勿論構わなく、カーネル関数を加算して更新していくものであれば、勿論構わない。
また、本実施の形態では、同一種類のカーネル関数を、そのパラメータβを定数倍して加算して更新するように説明したが、本発明では、これに限らず、カーネル関数の処理対象に応じて、複数のカーネル関数、もしくは、パラメータの異なる同一のカーネル関数、もしくは、複数のカーネル関数とパラメータの異なる同一のカーネル関数からなる集合から二つ以上のカーネル関数を選択して加算してその和をとることにより、カーネル関数を更新するようにしても勿論よい。
また、本実施の形態では、カーネル関数の処理対象として、パターン認識を一例に説明したが、本発明では、これに限らず、カーネル関数を用いて処理可能な、未知関数からベクトルへの線形写像で表されるモデルの逆問題として記述される問題、例えば、画像処理装置や、データ分類装置、関数推定装置等、カーネル関数を用いて処理する装置であれば、適用可能であり、これらの装置において、カーネル関数を対象に応じて適応的に更新することにより、既存のカーネル関数を用いた装置よりも表現力の高いカーネル関数を構成することができる。
なお、本実施の形態では、図1に示すように、カーネル関数処理装置の構成をブロック図により示してハードウエア的に説明したが、本発明では、これに限らず、このカーネル関数処理装置を、CPUと、そのCPUを前述のように実行させるためのプログラムを記憶したハードディスクや、メモリ等の記憶装置を有するPC等の汎用のコンピュータがソフトウエア的に実行するようにしても勿論良い。この場合、前述のカーネル関数処理装置としての機能を果たすためのプログラムは、CD等の記録媒体に記録されていて、その記録媒体から読み出してコンピュータ内の記憶装置にインストールしたり、またはインターネット等のネットワークを介してサーバ等からダウンロードして記憶装置に記憶させる。このようにすれば、PC等の汎用のコンピュータでも、前述のカーネル関数処理装置としての機能を果たすためのプログラムを実行することにより、前述の信号到来方向推定を実行することができる。
本発明のカーネル関数処理装置、カーネル関数処理方法、カーネル関数処理プログラムは、カーネル関数の対象の状態や状況が異なる場合でも、カーネル関数が対象とする問題に対して十分な表現力を持つことができる、という有利な効果を有し、未知関数からベクトルへの線形写像で表されるモデルの逆問題として記述されるパターン認識装置や、画像処理装置、データ分類装置、および関数推定装置あるいはその方法、そのプログラムに有用である。
1 カーネル関数更新部
2 カーネル関数処理部
3 教師データ
4 未知サンプルの入力ベクトル
11 更新処理部
12 評価基準値算出部
21 認識結果算出手段
22 クラスラベル算出手段
111 初期β算出手段
112 β更新手段
113 カーネル関数更新手段
121 G,G+算出手段
122 評価基準値算出手段
2 カーネル関数処理部
3 教師データ
4 未知サンプルの入力ベクトル
11 更新処理部
12 評価基準値算出部
21 認識結果算出手段
22 クラスラベル算出手段
111 初期β算出手段
112 β更新手段
113 カーネル関数更新手段
121 G,G+算出手段
122 評価基準値算出手段
Claims (6)
- カーネル関数を加算することにより更新するカーネル関数更新部と、
更新された前記カーネル関数を用いて処理を行うカーネル関数処理部と、
を有することを特徴とするカーネル関数処理装置。 - 請求項1記載のカーネル関数処理装置において、
前記カーネル関数更新部は、
教師データとカーネル関数とに基づいてグラム行列を算出すると共に、そのムーアペンローズ一般逆を算出して、これらの行列に基づき評価基準値を算出する評価基準値算出部と、
教師データに基づきパラメータを算出し、そのパラメータに基づきカーネル関数を決定すると共に、前記評価基準値と所定の閾値とを比較し、前記評価基準値が所定の閾値以下の場合には、前記パラメータを更新したカーネル関数を加算することによりカーネル関数を更新する更新処理部と、
を有することを特徴とするカーネル関数処理装置。 - 請求項2記載のカーネル関数処理装置において、
前記カーネル関数処理部は、
入力データである未知入力ベクトルと、前記教師データと、前記カーネル関数更新部により更新された前記カーネル関数と、前記評価基準値算出部により算出された前記ムーアペンローズ一般逆とに基づき、サンプル評価値を算出するサンプル評価値算出手段と、
算出された前記サンプル評価値に基づいてクラスラベルを算出するクラスラベル算出手段と、
を有することを特徴とするカーネル関数処理装置。 - 請求項1または請求項2記載のカーネル関数処理装置において、
前記サンプル評価値算出手段は、
SVM(Support Vector Machine )によりサンプル評価値を算出することを特徴とするカーネル関数処理装置。 - カーネル関数を加算することにより更新すると共に、更新されたカーネル関数を用いて処理を行うことを特徴とするカーネル関数処理方法。
- コンピュータに、カーネル関数を加算することにより更新させると共に、更新されたカーネル関数を用いて処理を行わせることを特徴とするカーネル関数処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004269492A JP2006085426A (ja) | 2004-09-16 | 2004-09-16 | カーネル関数処理装置、カーネル関数処理方法、カーネル関数処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004269492A JP2006085426A (ja) | 2004-09-16 | 2004-09-16 | カーネル関数処理装置、カーネル関数処理方法、カーネル関数処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006085426A true JP2006085426A (ja) | 2006-03-30 |
Family
ID=36163887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004269492A Pending JP2006085426A (ja) | 2004-09-16 | 2004-09-16 | カーネル関数処理装置、カーネル関数処理方法、カーネル関数処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006085426A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008084842A1 (ja) * | 2007-01-12 | 2008-07-17 | Nec Corporation | カーネル関数生成方法および装置、データ分類装置 |
-
2004
- 2004-09-16 JP JP2004269492A patent/JP2006085426A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008084842A1 (ja) * | 2007-01-12 | 2008-07-17 | Nec Corporation | カーネル関数生成方法および装置、データ分類装置 |
US8396816B2 (en) | 2007-01-12 | 2013-03-12 | Nec Corporation | Kernel function generating method and device and data classification device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6965690B2 (ja) | ニューラルネットワークの処理速度を向上させるための装置及び方法、並びにその応用 | |
JP6212217B2 (ja) | 機械学習における重みの生成 | |
JP7206476B2 (ja) | 最適化装置、最適化装置の制御方法及び最適化装置の制御プログラム | |
US9703776B2 (en) | Automatic training of a syntactic and semantic parser using a genetic algorithm | |
JP5795743B2 (ja) | 適応的重み付けを用いた様々な文書間類似度計算方法に基づいた文書比較方法および文書比較システム | |
JP6299759B2 (ja) | 予測関数作成装置、予測関数作成方法、及びプログラム | |
JP7059458B2 (ja) | 生成的敵対神経網ベースの分類システム及び方法 | |
WO2022097230A1 (ja) | 予測方法、予測装置及びプログラム | |
JP2020091791A (ja) | 推定装置、最適化装置、推定方法、最適化方法、及びプログラム | |
JP6770709B2 (ja) | 機械学習用モデル生成装置及びプログラム。 | |
WO2022103748A1 (en) | Domain generalized margin via meta-learning for deep face recognition | |
KR102441442B1 (ko) | 그래프 컨볼루션 네트워크 학습 방법 및 장치 | |
JP6928346B2 (ja) | 予測装置、予測方法および予測プログラム | |
JP2006085426A (ja) | カーネル関数処理装置、カーネル関数処理方法、カーネル関数処理プログラム | |
JP2024044583A (ja) | プラント応答推定装置、プラント応答推定方法、及びプログラム | |
JP7231027B2 (ja) | 異常度推定装置、異常度推定方法、プログラム | |
JP2011237989A (ja) | 半導体集積回路の設計装置、その設計方法、及びその設計プログラム | |
JP7464891B2 (ja) | トラフィック変動予測装置、及びトラフィック変動予測方法、並びにトラフィック変動予測プログラム | |
JP7226568B2 (ja) | ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム | |
JP7465497B2 (ja) | 学習装置、学習方法及びプログラム | |
JP7428288B1 (ja) | プラント応答推定装置、プラント応答推定方法、及びプログラム | |
JP2019095894A (ja) | 推定装置、学習装置、学習済みモデル、推定方法、学習方法、及びプログラム | |
JP2006244176A (ja) | 予測におけるパラメータ推定方法、同推定装置、コンピュータプログラム及び記録媒体 | |
US20240211762A1 (en) | Optimizing low precision and sparsity inference without retraining | |
WO2023139755A1 (ja) | モデル学習装置、モデル学習方法、プログラム |