JP2006338123A - 非線形写像学習コンピュータプログラム、および記録媒体 - Google Patents
非線形写像学習コンピュータプログラム、および記録媒体 Download PDFInfo
- Publication number
- JP2006338123A JP2006338123A JP2005159328A JP2005159328A JP2006338123A JP 2006338123 A JP2006338123 A JP 2006338123A JP 2005159328 A JP2005159328 A JP 2005159328A JP 2005159328 A JP2005159328 A JP 2005159328A JP 2006338123 A JP2006338123 A JP 2006338123A
- Authority
- JP
- Japan
- Prior art keywords
- data
- data set
- subroutine
- approximation
- plm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 31
- 238000004590 computer program Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000012886 linear function Methods 0.000 claims abstract description 6
- 238000000611 regression analysis Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000001364 causal effect Effects 0.000 abstract description 4
- 239000013598 vector Substances 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 5
- 238000012628 principal component regression Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
【課題】新たな非線形写像の学習法を提案すること。
【解決手段】p個の説明変量xで説明されるq個の目的変量をyとし、これらのデータがn個得られたとする。このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、複数の線形関数φiで、y=φi(x)と近似して求めるコンピュータプログラムであって、主ルーチンでは、サンプルデータのデータベースの全学習データDを読みだして、サブルーチンPLM-Approx(D)を実行する。サブルーチンPLM-Approx(データ集合D)では、データ集合Dに対して主成分回帰分析法により線形近似し、データ集合Dが近似終了条件を満たすなら終了する。データ集合Dが近似終了条件を満たさないときは、データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する。
【選択図】図1
【解決手段】p個の説明変量xで説明されるq個の目的変量をyとし、これらのデータがn個得られたとする。このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、複数の線形関数φiで、y=φi(x)と近似して求めるコンピュータプログラムであって、主ルーチンでは、サンプルデータのデータベースの全学習データDを読みだして、サブルーチンPLM-Approx(D)を実行する。サブルーチンPLM-Approx(データ集合D)では、データ集合Dに対して主成分回帰分析法により線形近似し、データ集合Dが近似終了条件を満たすなら終了する。データ集合Dが近似終了条件を満たさないときは、データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する。
【選択図】図1
Description
本発明は、事象と事象との間にある因果関係を、事象間にある相関関係としてとらえ、そのような非線形写像を学習するコンピュータプログラム、および記録媒体に関するものである。
従来より、事象と事象との間にある関係を物理則に基づく因果関係としてとらえ、それを数理モデルで表現する研究が数多く行われてきた。
しかし、そのような方法で現実世界で起きる様々な事象を記述しようとすると、
法則やルールが非常に複雑且つ膨大になってしまうという問題や、そもそも因果関係を解きあかすことが非常に困難な問題が多数存在するという問題に直面することになり、結局は現実世界での知的な行動を実現するシステムは構築できないことになってしまう。
このような場合に、因果関係を数理モデルで表現しなくても、「こうすれば、こうなる」という相関関係のみを学習しておけば、現実世界での知的な活動はある程度のレベルまで実現できるはずである。
また、一般的に、そのような相関関係を事象間の非線形写像として考えても良い。
しかし、そのような方法で現実世界で起きる様々な事象を記述しようとすると、
法則やルールが非常に複雑且つ膨大になってしまうという問題や、そもそも因果関係を解きあかすことが非常に困難な問題が多数存在するという問題に直面することになり、結局は現実世界での知的な行動を実現するシステムは構築できないことになってしまう。
このような場合に、因果関係を数理モデルで表現しなくても、「こうすれば、こうなる」という相関関係のみを学習しておけば、現実世界での知的な活動はある程度のレベルまで実現できるはずである。
また、一般的に、そのような相関関係を事象間の非線形写像として考えても良い。
このような相関関係、すなわち非線形写像の学習はセンサ情報と現在の状態から次の行動指令を決定する制御の問題、連続特徴ベクトルから離散クラスラベルへの写像を求めるパターン認識の問題をはじめとして数多くの分野で必要とされる根本的技術である。
これまで提案されてきた非線形写像の学習法は、ニューラルネットワーク(NN)法や、Groupe Method of Data-Handling(GMDH)法、そして、事例そのものを記憶しておくk近傍(k−NN)法、入力空間を再帰的に分割して、その分割を木構造で表し、木の終端ノードに写像先の値を格納しておく方法(回帰木)等が主なものである。(例えば、非特許文献1〜5)
(参考文献1) Rumelhart D. E., Hinton G. E., Williams R. J.: "Learning representations by back-propagation errors," Nature 323(1986), pp. 533-536.
(参考文献2) Ivakhnenko, A.G.: "Polynomial theory of complex systems," EEE Transactions on Systems, Man, and Cybernetics, pp. 364-378, 1971.
(参考文献3) T. Poggio and F. Girosi.: "Networks for approximation and learning," Proceedings of the IEEE, 78(9), pp.1481--1497, September 1990.
(参考文献4) Duda,R.O., Hart,P.E.: "Pattern Classification and Scene Analysis," New York, Wiley, 1973.
(参考文献5) L. Breiman, J. H. Friedman, R. A. Olshen, and C. J. Stone: "Classification and Regression Trees," Chapman & Hall, New York, 1984.
しかし、上述したような従来の手法には次のような問題がある。
(1)NN,GMDH法では、
ネットワークの構築を決定するためのパラメータが多く、複雑な写像を学習する場合、ネットワークの初期重み係数値を適切に設定しないと学習が収束しない。また、収束する場合でも、収束するまでの時間が長い。
データ毎に非線形写像の近似精度が保障できない。
(2)k−NN法では、
入力次元数が大きい場合に、複数の類似事例を検索する(k近傍検索)処理に多大な時間を費やしてしまい写像の計算が高速に行えない。
大量のデータをそのまま記憶しておく必要があり、大量のメモリを消費してしまう。
(3)回帰木では、
回帰木の計算ではデータからのルール発見を主な目的としていたため、一般にルールが複雑化する多次元ベクトル空間を値域とする拡張はほとんど検討されてこなかった。 入力空間の分割方法が多様であり、簡便且つ信頼性の高い手法が存在しない。
このような問題があるため、p次元ベクトルからq次元ベクトルへの一般的な非線形写像の学習が現実の場面で用いられる機会は非常に限られていた。
(1)NN,GMDH法では、
ネットワークの構築を決定するためのパラメータが多く、複雑な写像を学習する場合、ネットワークの初期重み係数値を適切に設定しないと学習が収束しない。また、収束する場合でも、収束するまでの時間が長い。
データ毎に非線形写像の近似精度が保障できない。
(2)k−NN法では、
入力次元数が大きい場合に、複数の類似事例を検索する(k近傍検索)処理に多大な時間を費やしてしまい写像の計算が高速に行えない。
大量のデータをそのまま記憶しておく必要があり、大量のメモリを消費してしまう。
(3)回帰木では、
回帰木の計算ではデータからのルール発見を主な目的としていたため、一般にルールが複雑化する多次元ベクトル空間を値域とする拡張はほとんど検討されてこなかった。 入力空間の分割方法が多様であり、簡便且つ信頼性の高い手法が存在しない。
このような問題があるため、p次元ベクトルからq次元ベクトルへの一般的な非線形写像の学習が現実の場面で用いられる機会は非常に限られていた。
そこで、本発明は、上述の問題点を克服した新たな非線形写像の学習法を提案するものであり、基本的なアイデアは、出力変数としてスカラー量のみを扱うだけでなくベクトル量も扱えるようにすることと、さまざまな調整パラメータを廃して許容される推定誤差に関するパラメータを与えるのみで写像が推定できるようにすることである。
本発明にかかる非線形写像学習コンピュータプログラムは、
p個の説明変量x=(x1,x2,・・・・xp)で説明されるq個の目的変量をy=(y1,y2,・・・・yq)とし、これらのデータがn個得られたとする。このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、
複数の線形関数φiで、
y=φi(x):i=1〜NB(このとき、NBは、入力空間が分割して生成された分割空間の数である。)
と近似して求めるコンピュータプログラムであって、次の主ルーチンとサブルーチンとからなる処理手順から構成されている。
主ルーチン
1.サンプルデータのデータベースの全学習データDを読みだす。
2.サブルーチンPLM-Approx(D)を実行する。
サブルーチンPLM-Approx(データ集合D)
1.データ集合Dに対して主成分回帰分析法により線形近似する。
2.データ集合Dが近似終了条件を満たすなら終了する。
3.データ集合Dが近似終了条件を満たさないときは、
データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する。
4.データ集合D1に対してサブルーチンPLM-Approx(D1)を実行する。
5.データ集合D2に対してサブルーチンPLM-Approx(D2)を実行する。
分割テストサブルーチンSplit-Data(データ集合D,D1,D2)
1.データ集合Dの分布を調べ、分布の幅が最大の次元dmaxを見つける。
2.前記最大の次元dmaxに垂直な超平面により、データ集合Dをデータ数が等しくなるように2つに分割するため、この超平面を表す値xdmax=Cを求め、データ集合D1,D2に分割する。
ここで、近似終了条件は、
1.近似誤差が許容範囲内である。
2.データ数|D|が全学習データに対して十分小さい。
とする。
なお、本発明は次のように表現することもできる。
すなわち、p個の説明変量x=(x1,x2,・・・・xp)で説明されるq個の目的変量をy=(y1,y2,・・・・yq)とし、これらのデータがn個得られたとする.このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、
複数の線形関数φiで、
y=φi(x):i=1〜NB(このとき、NBは、入力空間が分割して生成された分割空間の数である。)
と近似して求めるようにコンピュータを制御する方法であって、次の処理手順からなる制御方法。
1.サンプルデータのデータベースの全学習データDを読みだす。
2.サブルーチンPLM-Approx(D)を実行する。
なお、前記サブルーチンPLM-Approx(データ集合D)は以下の手順からなる。
1.データ集合Dに対して回帰分析法により線形近似する。
2.データ集合Dが近似終了条件を満たすなら終了する。
3.データ集合Dが近似終了条件を満たさないときは、
データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する。
4.データ集合D1に対してサブルーチンPLM-Approx(D1)を実行する。
5.データ集合D2に対してサブルーチンPLM-Approx(D2)を実行する。
なお、前記分割テストサブルーチンSplit-Data(データ集合D,D1,D2)は以下の手順からなる。
1.データ集合Dの分布を調べ、分布の幅が最大の次元dmaxを見つける。
2.前記最大の次元dmaxに垂直な超平面により、データ集合Dをデータ数が等しくなるように2つに分割するため、この超平面を表す値xdmax=Cを求め、データ集合D1,D2に分割する。
ここで、近似終了条件は、
1.近似誤差が許容範囲内である。
2.データ数|D|が全学習データに対して十分小さい。
とする。
また、次のようなコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体である。
すなわち、p個の説明変量x=(x1,x2,・・・・xp)で説明されるq個の目的変量をy=(y1,y2,・・・・yq)とし、これらのデータがn個得られたとする.このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、
複数の線形関数φiで、
y=φi(x):i=1〜NB(このとき、NBは、入力空間が分割して生成された分割空間の数である。)
と近似して求めるコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、次の主ルーチンとサブルーチンとからなるコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
主ルーチン;
1.サンプルデータのデータベースの全学習データDを読みだす手順。
2.サブルーチンPLM-Approx(D)を実行する手順。
サブルーチンPLM-Approx(データ集合D);
1.データ集合Dに対して回帰分析法により線形近似する手順。
2.データ集合Dが近似終了条件を満たすなら終了する手順。
3.データ集合Dが近似終了条件を満たさないときは、
データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する手順。
4.データ集合D1に対してサブルーチンPLM-Approx(D1)を実行する手順。
5.データ集合D2に対してサブルーチンPLM-Approx(D2)を実行する手順。
分割テストサブルーチンSplit-Data(データ集合D,D1,D2);
1.データ集合Dの分布を調べ、分布の幅が最大の次元dmaxを見つける手順。
2.前記最大の次元dmaxに垂直な超平面により、データ集合Dをデータ数が等しくなるように2つに分割するため、この超平面を表す値xdmax=Cを求め、データ集合D1,D2に分割する手順。
ここで、近似終了条件は、
1.近似誤差が許容範囲内である。
2.データ数|D|が全学習データに対して十分小さい。
とする。
p個の説明変量x=(x1,x2,・・・・xp)で説明されるq個の目的変量をy=(y1,y2,・・・・yq)とし、これらのデータがn個得られたとする。このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、
複数の線形関数φiで、
y=φi(x):i=1〜NB(このとき、NBは、入力空間が分割して生成された分割空間の数である。)
と近似して求めるコンピュータプログラムであって、次の主ルーチンとサブルーチンとからなる処理手順から構成されている。
主ルーチン
1.サンプルデータのデータベースの全学習データDを読みだす。
2.サブルーチンPLM-Approx(D)を実行する。
サブルーチンPLM-Approx(データ集合D)
1.データ集合Dに対して主成分回帰分析法により線形近似する。
2.データ集合Dが近似終了条件を満たすなら終了する。
3.データ集合Dが近似終了条件を満たさないときは、
データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する。
4.データ集合D1に対してサブルーチンPLM-Approx(D1)を実行する。
5.データ集合D2に対してサブルーチンPLM-Approx(D2)を実行する。
分割テストサブルーチンSplit-Data(データ集合D,D1,D2)
1.データ集合Dの分布を調べ、分布の幅が最大の次元dmaxを見つける。
2.前記最大の次元dmaxに垂直な超平面により、データ集合Dをデータ数が等しくなるように2つに分割するため、この超平面を表す値xdmax=Cを求め、データ集合D1,D2に分割する。
ここで、近似終了条件は、
1.近似誤差が許容範囲内である。
2.データ数|D|が全学習データに対して十分小さい。
とする。
なお、本発明は次のように表現することもできる。
すなわち、p個の説明変量x=(x1,x2,・・・・xp)で説明されるq個の目的変量をy=(y1,y2,・・・・yq)とし、これらのデータがn個得られたとする.このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、
複数の線形関数φiで、
y=φi(x):i=1〜NB(このとき、NBは、入力空間が分割して生成された分割空間の数である。)
と近似して求めるようにコンピュータを制御する方法であって、次の処理手順からなる制御方法。
1.サンプルデータのデータベースの全学習データDを読みだす。
2.サブルーチンPLM-Approx(D)を実行する。
なお、前記サブルーチンPLM-Approx(データ集合D)は以下の手順からなる。
1.データ集合Dに対して回帰分析法により線形近似する。
2.データ集合Dが近似終了条件を満たすなら終了する。
3.データ集合Dが近似終了条件を満たさないときは、
データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する。
4.データ集合D1に対してサブルーチンPLM-Approx(D1)を実行する。
5.データ集合D2に対してサブルーチンPLM-Approx(D2)を実行する。
なお、前記分割テストサブルーチンSplit-Data(データ集合D,D1,D2)は以下の手順からなる。
1.データ集合Dの分布を調べ、分布の幅が最大の次元dmaxを見つける。
2.前記最大の次元dmaxに垂直な超平面により、データ集合Dをデータ数が等しくなるように2つに分割するため、この超平面を表す値xdmax=Cを求め、データ集合D1,D2に分割する。
ここで、近似終了条件は、
1.近似誤差が許容範囲内である。
2.データ数|D|が全学習データに対して十分小さい。
とする。
また、次のようなコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体である。
すなわち、p個の説明変量x=(x1,x2,・・・・xp)で説明されるq個の目的変量をy=(y1,y2,・・・・yq)とし、これらのデータがn個得られたとする.このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、
複数の線形関数φiで、
y=φi(x):i=1〜NB(このとき、NBは、入力空間が分割して生成された分割空間の数である。)
と近似して求めるコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、次の主ルーチンとサブルーチンとからなるコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
主ルーチン;
1.サンプルデータのデータベースの全学習データDを読みだす手順。
2.サブルーチンPLM-Approx(D)を実行する手順。
サブルーチンPLM-Approx(データ集合D);
1.データ集合Dに対して回帰分析法により線形近似する手順。
2.データ集合Dが近似終了条件を満たすなら終了する手順。
3.データ集合Dが近似終了条件を満たさないときは、
データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する手順。
4.データ集合D1に対してサブルーチンPLM-Approx(D1)を実行する手順。
5.データ集合D2に対してサブルーチンPLM-Approx(D2)を実行する手順。
分割テストサブルーチンSplit-Data(データ集合D,D1,D2);
1.データ集合Dの分布を調べ、分布の幅が最大の次元dmaxを見つける手順。
2.前記最大の次元dmaxに垂直な超平面により、データ集合Dをデータ数が等しくなるように2つに分割するため、この超平面を表す値xdmax=Cを求め、データ集合D1,D2に分割する手順。
ここで、近似終了条件は、
1.近似誤差が許容範囲内である。
2.データ数|D|が全学習データに対して十分小さい。
とする。
図1を参照して例示すると、
例えば、説明変量xと目的変量yがそれぞれ2、3次元ベクトルとして表現されている場合、入力空間が7個の部分空間に分割され、それぞれの分割空間におけるデータ集合に対して線形写像関数が求められているφi(i=1〜7)。
このとき、図2に示したような2分木構造が生成される。
本発明の学習アルゴリズムにより、上記例のように2分木構造のtreeが構築されるので、本アルゴリズムをPaLM-treeと称する。また、構築される木構造のこともPaLM-treeと称することにする。
例えば、説明変量xと目的変量yがそれぞれ2、3次元ベクトルとして表現されている場合、入力空間が7個の部分空間に分割され、それぞれの分割空間におけるデータ集合に対して線形写像関数が求められているφi(i=1〜7)。
このとき、図2に示したような2分木構造が生成される。
本発明の学習アルゴリズムにより、上記例のように2分木構造のtreeが構築されるので、本アルゴリズムをPaLM-treeと称する。また、構築される木構造のこともPaLM-treeと称することにする。
本発明のコンピュータプログラムによれば、以下の効果が得られる。
1.多次元の入出力空間内に散在するデータ集合Dを、局在する入出力の組に分割して局所的な入出力関係を同定するので、データ単位の近似精度が保障でき、さらに、学習が収束するまでの時間を大幅に短縮できる。
2.当てはめ誤差に関する誤差基準を与えるだけで、データ集合Dの分割を決定し、局所的な入出力間の関係を同定するので、学習を制御するパラメータは少なくて済み、パラメータの初期設定値に依存して学習が収束しなくなることはない。
3.学習後において、ある入力状態が過去に経験した事例であるかないかや、学習時に十分な数の事例データを使用して学習されたかどうかを判定できる仕組みを持っているので、新たな入力状態に対して逐次的に学習することや、再学習することが可能である。
1.多次元の入出力空間内に散在するデータ集合Dを、局在する入出力の組に分割して局所的な入出力関係を同定するので、データ単位の近似精度が保障でき、さらに、学習が収束するまでの時間を大幅に短縮できる。
2.当てはめ誤差に関する誤差基準を与えるだけで、データ集合Dの分割を決定し、局所的な入出力間の関係を同定するので、学習を制御するパラメータは少なくて済み、パラメータの初期設定値に依存して学習が収束しなくなることはない。
3.学習後において、ある入力状態が過去に経験した事例であるかないかや、学習時に十分な数の事例データを使用して学習されたかどうかを判定できる仕組みを持っているので、新たな入力状態に対して逐次的に学習することや、再学習することが可能である。
以下に、本発明にかかる非線形写像学習コンピュータプログラムを、各図を参照しながら詳細に説明する。
まず、図2に示したように、本発明によるPaLM-treeの中間ノードには、入力空間の分割に使用される超平面を表す値(dmax、C)(これを、分割基準値という。)が格納されている。終端ノードに到達するまで経由してきた中間ノードの遷移に従って、ある入力情報が入力空間内のある部分領域に分類される。つまり、PaLM-treeの終端ノードは入力空間内のある部分領域を表すことになる。(詳しくは後述する。)
また、終端ノードには、線形近似のための回帰係数行列Bと終端ノードが表す部分領域に含まれるデータ数nが格納されている。
学習後は、新規の入力に対して、まずPaLM-treeのルートノードから順次中間ノードに格納されている分割基準値に基づいて、どの終端ノードに属するかを判定する。
その後、その終端ノードに格納されている回帰係数行列を用いて、その入力値に対応する出力の近似値を生成する。
まず、図2に示したように、本発明によるPaLM-treeの中間ノードには、入力空間の分割に使用される超平面を表す値(dmax、C)(これを、分割基準値という。)が格納されている。終端ノードに到達するまで経由してきた中間ノードの遷移に従って、ある入力情報が入力空間内のある部分領域に分類される。つまり、PaLM-treeの終端ノードは入力空間内のある部分領域を表すことになる。(詳しくは後述する。)
また、終端ノードには、線形近似のための回帰係数行列Bと終端ノードが表す部分領域に含まれるデータ数nが格納されている。
学習後は、新規の入力に対して、まずPaLM-treeのルートノードから順次中間ノードに格納されている分割基準値に基づいて、どの終端ノードに属するかを判定する。
その後、その終端ノードに格納されている回帰係数行列を用いて、その入力値に対応する出力の近似値を生成する。
<主成分回帰分析による線形近似>
入力ベクトルxi= (xi1 ,xi2,・・・・xip)T に対応する出力ベクトルをyi= (yi1 ,yi2,・・・・yip)Tとする。これらのデータ組が n 個得られたとき、全データは、
X = [x1 ・・・ xn ], Y = [y1 ・・・ yn ]
という2つの行列で表現することができる。B をp × q の係数行列としたとき、xi に対する回帰式はB(xi - x) + y と表すことができる。但し, x,y はそれぞれ xi , yi (I = 1・・・・n) の平均ベクトルである。
ここで、
X'= [x1 - x , ・・・ xn - x],
Y'= [y1 - y , ・・・ yn - y]
とし、誤差ベクトル ei = yi - B xi を導入することによって、Y'= BX'+ Eという回帰式が得られる。但し, E= [e1 ,・・・ en ] である。
この式において、X'を特異値分解した行列で置き換えるとY'= B(UDVT) + E という式が得られるため、B = Y'VD-1U と回帰係数を推定できる。この回帰係数の計算法は主成分回帰分析と呼ばれる方法であり、独立なデータ数が入力空間の次元数以下でも破綻することなく実行することができることが知られている。また、特異値分解によって計算された最大特異値と最小特異値の比が大きな値を持つ次元に関して、その特異値を零にすることにより、特徴選択を行うことが可能になるため、このような方法を採用している。
入力ベクトルxi= (xi1 ,xi2,・・・・xip)T に対応する出力ベクトルをyi= (yi1 ,yi2,・・・・yip)Tとする。これらのデータ組が n 個得られたとき、全データは、
X = [x1 ・・・ xn ], Y = [y1 ・・・ yn ]
という2つの行列で表現することができる。B をp × q の係数行列としたとき、xi に対する回帰式はB(xi - x) + y と表すことができる。但し, x,y はそれぞれ xi , yi (I = 1・・・・n) の平均ベクトルである。
ここで、
X'= [x1 - x , ・・・ xn - x],
Y'= [y1 - y , ・・・ yn - y]
とし、誤差ベクトル ei = yi - B xi を導入することによって、Y'= BX'+ Eという回帰式が得られる。但し, E= [e1 ,・・・ en ] である。
この式において、X'を特異値分解した行列で置き換えるとY'= B(UDVT) + E という式が得られるため、B = Y'VD-1U と回帰係数を推定できる。この回帰係数の計算法は主成分回帰分析と呼ばれる方法であり、独立なデータ数が入力空間の次元数以下でも破綻することなく実行することができることが知られている。また、特異値分解によって計算された最大特異値と最小特異値の比が大きな値を持つ次元に関して、その特異値を零にすることにより、特徴選択を行うことが可能になるため、このような方法を採用している。
<分割テスト>
分割位置決定は、Horowits とPavlidisらによるSplit-and-Mergeアルゴリズムによる画像の領域分割法の根底にある考え方、すなわち、分割位置を厳密に決定するのではなく、とりあえず条件を満足するまで分割を行い、後から条件を満足する範囲内で領域をまとめれば、条件を満足する最大の領域が得られるという考え方に基づいた手法を採用している。
PaLM-tree では、各次元についてのデータの分布の幅を調べて、分布の幅が最長の次元を分割する軸として選択し、その分割軸に射影したデータの中央値を分割位置とする方法である。これにより、分割によってデータ数の偏りができるだけ起きないようにしている。
この分割によって得られた領域内のデータに対して回帰計算を行い、回帰誤差が指定された範囲内に収まるまで分割を再帰的に行う。分割が進むと部分領域内のデータ数が減少するが、このとき、データ数が入力空間の次元数以下になったり、データ数が少なすぎて入力変数間に非常に強い相関関係が出てきてしまったりして、一般的な回帰計算手法では計算できなくなるが、PaLM-tree では入力データを特異値分解(SVD) して一般化逆行列を求める回帰計算を行うこと(主成分回帰分析)でこの問題を解決している。
この分割が終了した後に、今度は隣接する部分領域内のデータを統合して、共通の回帰係数で写像が推定できるかどうか、すなわちMerge できるか否かを判定するために再び回帰計算を行う。この計算ではMerge によって新たな部分領域を生成するのではなく、各部分領域における回帰係数を共有化するようにしている。これにより、分割境界付近での写像推定値が不連続になる傾向を抑えている。
分割位置決定は、Horowits とPavlidisらによるSplit-and-Mergeアルゴリズムによる画像の領域分割法の根底にある考え方、すなわち、分割位置を厳密に決定するのではなく、とりあえず条件を満足するまで分割を行い、後から条件を満足する範囲内で領域をまとめれば、条件を満足する最大の領域が得られるという考え方に基づいた手法を採用している。
PaLM-tree では、各次元についてのデータの分布の幅を調べて、分布の幅が最長の次元を分割する軸として選択し、その分割軸に射影したデータの中央値を分割位置とする方法である。これにより、分割によってデータ数の偏りができるだけ起きないようにしている。
この分割によって得られた領域内のデータに対して回帰計算を行い、回帰誤差が指定された範囲内に収まるまで分割を再帰的に行う。分割が進むと部分領域内のデータ数が減少するが、このとき、データ数が入力空間の次元数以下になったり、データ数が少なすぎて入力変数間に非常に強い相関関係が出てきてしまったりして、一般的な回帰計算手法では計算できなくなるが、PaLM-tree では入力データを特異値分解(SVD) して一般化逆行列を求める回帰計算を行うこと(主成分回帰分析)でこの問題を解決している。
この分割が終了した後に、今度は隣接する部分領域内のデータを統合して、共通の回帰係数で写像が推定できるかどうか、すなわちMerge できるか否かを判定するために再び回帰計算を行う。この計算ではMerge によって新たな部分領域を生成するのではなく、各部分領域における回帰係数を共有化するようにしている。これにより、分割境界付近での写像推定値が不連続になる傾向を抑えている。
<近似誤差の許容量>
出力ベクトルを多次元に拡張し、p 次元からq 次元への写像F : Rp →Rq 一般を取り扱えるようにするためには、単純にスカラー値を出力する回帰木を組み合わせるだけでは実現できない。そのため、多次元ベクトルを出力するときの誤差評価を考え直さなければならない。単純に部分領域内での回帰誤差の平均値 1/n Σn i=1 || yi - B xi || を用いた場合には、次に示すような不都合が生じる。Yi はq次元ベクトルであり、一つの部分領域内部で、ある成分は変動が大きく、ある成分は変動が小さいということが一般的に起こりうる。このため、変動の大きさを考慮した誤差評価を行わなければならない。出力ベクトルをyi= (yi1 ,yi2,・・・・yip)T としたとき、yijの偏差をσj と表すものとする。
このとき、
e j = ΣI|| yij - (B xi ) j || /σj
とし、e = Σj e j によって回帰誤差を評価する。これによって、各成分の変動幅の影響を受けにくい分割判定が行える。
出力ベクトルを多次元に拡張し、p 次元からq 次元への写像F : Rp →Rq 一般を取り扱えるようにするためには、単純にスカラー値を出力する回帰木を組み合わせるだけでは実現できない。そのため、多次元ベクトルを出力するときの誤差評価を考え直さなければならない。単純に部分領域内での回帰誤差の平均値 1/n Σn i=1 || yi - B xi || を用いた場合には、次に示すような不都合が生じる。Yi はq次元ベクトルであり、一つの部分領域内部で、ある成分は変動が大きく、ある成分は変動が小さいということが一般的に起こりうる。このため、変動の大きさを考慮した誤差評価を行わなければならない。出力ベクトルをyi= (yi1 ,yi2,・・・・yip)T としたとき、yijの偏差をσj と表すものとする。
このとき、
e j = ΣI|| yij - (B xi ) j || /σj
とし、e = Σj e j によって回帰誤差を評価する。これによって、各成分の変動幅の影響を受けにくい分割判定が行える。
<シミュレーション>
・関数近似性能の検証
ここでは、従来法としてGMDH法、NN法を取り上げて、本発明の非線形写像学習コンピュータプログラムと、関数近似性能を比較した。正しい関数は図3(a)に示しているものである。図3(b),(c),(d)は、各手法のデータ毎の推定誤差を表している。
GMDH法(図3(c))、NN法(図3(d))では、関数の種類によっては近似誤差が1%以内に収束しないものもあったが、本発明によれば、全ての場合においてこの近似誤差条件を満たして学習が収束した(図3(b))。
・関数近似性能の検証
ここでは、従来法としてGMDH法、NN法を取り上げて、本発明の非線形写像学習コンピュータプログラムと、関数近似性能を比較した。正しい関数は図3(a)に示しているものである。図3(b),(c),(d)は、各手法のデータ毎の推定誤差を表している。
GMDH法(図3(c))、NN法(図3(d))では、関数の種類によっては近似誤差が1%以内に収束しないものもあったが、本発明によれば、全ての場合においてこの近似誤差条件を満たして学習が収束した(図3(b))。
・学習時間・近似速度の検証
ここでは、従来法としてk−NN法、NF−GMDH法、NN法を取り上げて、本発明の非線形写像学習コンピュータプログラムと、学習時間・近似速度を比較した。
NF−GMDH法、NN法では、初期重みパラメータの値の設定などが不適切で学習が収束しなかった場合もあった。k−NN法では、一般的には汎化能力を持たせるためには近傍数を多く取る必要があり、その結果として、探索する近傍数が多くなるとBBD−tree内でバックトラックして探索することが多くなるため、近似速度が非常に遅くなる。本発明によれば、近傍事例はPaLM-treeの内部ノードによって高速に検出できるため、このような問題は起こらない。
ここでは、従来法としてk−NN法、NF−GMDH法、NN法を取り上げて、本発明の非線形写像学習コンピュータプログラムと、学習時間・近似速度を比較した。
NF−GMDH法、NN法では、初期重みパラメータの値の設定などが不適切で学習が収束しなかった場合もあった。k−NN法では、一般的には汎化能力を持たせるためには近傍数を多く取る必要があり、その結果として、探索する近傍数が多くなるとBBD−tree内でバックトラックして探索することが多くなるため、近似速度が非常に遅くなる。本発明によれば、近傍事例はPaLM-treeの内部ノードによって高速に検出できるため、このような問題は起こらない。
<応用実験>
この実施例1では、本発明にかかる非線形写像学習コンピュータプログラムをカメラキャリブレーションへ適用した。
ここで扱うカメラは、自由曲面ミラーを搭載した全方位カメラとする。自由曲面ミラーは、画像処理することなく平面(地面や壁)を真上から見たような映像を、単眼カメラに広角レンズを装着したときと同等かそれ以上の視野を歪みなく撮影できるように設計されている。しかし、ミラーをカメラに対して慎重に取り付けないと、期待するような画像は得られず、その形状の特殊性が原因で、画像に非線形な歪みが生じてしまう。そこで、この歪みを除去するために提案手法を使用して、その推定性能を評価した。
図5に示したような環境内で、カメラ12に自由曲面ミラー11を搭載した全方位カメラ10(図6参照)を用いて、この全方位カメラ10のカメラ12によって取得される画像(図7)内の点座標(2次元の入力情報)と実空間中の点座標(3次元の出力情報(ただし、平面上の点であるため実際には2次元の情報となる))の対応関係を事例データとして保存する。保存された事例データを元にして、提案手法を用いて入出力間の関係を求めることにより、画像内の任意の点の座標を入力すれば、その点の実空間中の座標値が出力されるシステムを構築できる。
全事例データ数296個のうち、214個を学習に使用し、残りの82個については、学習によって生成されたPaLM-treeに入力してその推定性能を検証するために用いる。このデータを検証用データと呼ぶことにする。
図8は、画像内で取得された事例データの様子を示している。画像の端などで糸巻き型歪が生じていることが良く分かる。また、カメラの光軸とミラーの軸が傾いて取り付けられているためか、台形状の歪も生じていることが分かる。また、この図の中に提案手法によって分割された入力空間の様子も同時に表示してある。
図9は、学習時に推定された出力結果と実際のデータを重複させて表示させたグラフである。学習は、推定誤差が1%以下になるまで行った。この図を見れば分かるように、正確に推定できていることがわかる。また、図10は検証用データを用いた推定結果を示している。このときの82個の検証データについての平均誤差は約1cmであった。使用したカメラの計測範囲が、カメラを中心として床面上の300×200cmの範囲であることを考慮すると、検証用データを用いた場合においても、正確に推定できていると言える。普通の全方位カメラや、広角レンズを付けたカメラにより取得される画像にも、大抵の場合、非線形な歪みが生じており、このようなカメラについても同様に、提案手法を用いることにより、画像内の座標値と実際の3次元座標値の間の非線形な関係を同定可能であると考えられる。なお、紙面の都合上掲載しなかったが、広角レンズを取り付けたカメラのキャリブレーション問題に提案手法を適用した場合においても、良好な結果が得られている
この実施例1では、本発明にかかる非線形写像学習コンピュータプログラムをカメラキャリブレーションへ適用した。
ここで扱うカメラは、自由曲面ミラーを搭載した全方位カメラとする。自由曲面ミラーは、画像処理することなく平面(地面や壁)を真上から見たような映像を、単眼カメラに広角レンズを装着したときと同等かそれ以上の視野を歪みなく撮影できるように設計されている。しかし、ミラーをカメラに対して慎重に取り付けないと、期待するような画像は得られず、その形状の特殊性が原因で、画像に非線形な歪みが生じてしまう。そこで、この歪みを除去するために提案手法を使用して、その推定性能を評価した。
図5に示したような環境内で、カメラ12に自由曲面ミラー11を搭載した全方位カメラ10(図6参照)を用いて、この全方位カメラ10のカメラ12によって取得される画像(図7)内の点座標(2次元の入力情報)と実空間中の点座標(3次元の出力情報(ただし、平面上の点であるため実際には2次元の情報となる))の対応関係を事例データとして保存する。保存された事例データを元にして、提案手法を用いて入出力間の関係を求めることにより、画像内の任意の点の座標を入力すれば、その点の実空間中の座標値が出力されるシステムを構築できる。
全事例データ数296個のうち、214個を学習に使用し、残りの82個については、学習によって生成されたPaLM-treeに入力してその推定性能を検証するために用いる。このデータを検証用データと呼ぶことにする。
図8は、画像内で取得された事例データの様子を示している。画像の端などで糸巻き型歪が生じていることが良く分かる。また、カメラの光軸とミラーの軸が傾いて取り付けられているためか、台形状の歪も生じていることが分かる。また、この図の中に提案手法によって分割された入力空間の様子も同時に表示してある。
図9は、学習時に推定された出力結果と実際のデータを重複させて表示させたグラフである。学習は、推定誤差が1%以下になるまで行った。この図を見れば分かるように、正確に推定できていることがわかる。また、図10は検証用データを用いた推定結果を示している。このときの82個の検証データについての平均誤差は約1cmであった。使用したカメラの計測範囲が、カメラを中心として床面上の300×200cmの範囲であることを考慮すると、検証用データを用いた場合においても、正確に推定できていると言える。普通の全方位カメラや、広角レンズを付けたカメラにより取得される画像にも、大抵の場合、非線形な歪みが生じており、このようなカメラについても同様に、提案手法を用いることにより、画像内の座標値と実際の3次元座標値の間の非線形な関係を同定可能であると考えられる。なお、紙面の都合上掲載しなかったが、広角レンズを取り付けたカメラのキャリブレーション問題に提案手法を適用した場合においても、良好な結果が得られている
本発明の手法は、学習時間が非常に短いため、外界との相互作用により時々刻々と性能を改善していくような情報システムに応用可能であると考えられる。
また、本発明の手法は、近似速度が早いので、高速な応答が要求されるようなロボット制御にも適用可能であると考えられる。
また、本発明の手法は、近似速度が早いので、高速な応答が要求されるようなロボット制御にも適用可能であると考えられる。
C・・・入力空間の分割に使用される超平面を表す値(dmax)、分割基準値
B・・・線形近似のための回帰係数行列
n・・・終端ノードが表す部分領域に含まれるデータ数
10・・全方位カメラ
11・・自由曲面ミラー
B・・・線形近似のための回帰係数行列
n・・・終端ノードが表す部分領域に含まれるデータ数
10・・全方位カメラ
11・・自由曲面ミラー
Claims (2)
- p個の説明変量x=(x1,x2,・・・・xp)で説明されるq個の目的変量をy=(y1,y2,・・・・yq)とし、これらのデータがn個得られたとする.このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、
複数の線形関数φiで、
y=φi(x):i=1〜NB(このとき、NBは、入力空間が分割して生成された分割空間の数である。)
と近似して求めるコンピュータプログラムであって、次の主ルーチンとサブルーチンとからなる処理手順から構成されている。
主ルーチン;
1.サンプルデータのデータベースの全学習データDを読みだす。
2.サブルーチンPLM-Approx(D)を実行する。
サブルーチンPLM-Approx(データ集合D);
1.データ集合Dに対して回帰分析法により線形近似する。
2.データ集合Dが近似終了条件を満たすなら終了する。
3.データ集合Dが近似終了条件を満たさないときは、
データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する。
4.データ集合D1に対してサブルーチンPLM-Approx(D1)を実行する。
5.データ集合D2に対してサブルーチンPLM-Approx(D2)を実行する。
分割テストサブルーチンSplit-Data(データ集合D,D1,D2);
1.データ集合Dの分布を調べ、分布の幅が最大の次元dmaxを見つける。
2.前記最大の次元dmaxに垂直な超平面により、データ集合Dをデータ数が等しくなるように2つに分割するため、この超平面を表す値xdmax=Cを求め、データ集合D1,D2に分割する。
ここで、近似終了条件は、
1.近似誤差が許容範囲内である。
2.データ数|D|が全学習データに対して十分小さい。
とする。 - p個の説明変量x=(x1,x2,・・・・xp)で説明されるq個の目的変量をy=(y1,y2,・・・・yq)とし、これらのデータがn個得られたとする.このデータの集まりを、データ集合Dとしたとき、説明変量xと目的変量yの間の写像関係Fを、
複数の線形関数φiで、
y=φi(x):i=1〜NB(このとき、NBは、入力空間が分割して生成された分割空間の数である。)
と近似して求めるコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、次の主ルーチンとサブルーチンとからなるコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
主ルーチン;
1.サンプルデータのデータベースの全学習データDを読みだす手順。
2.サブルーチンPLM-Approx(D)を実行する手順。
サブルーチンPLM-Approx(データ集合D);
1.データ集合Dに対して回帰分析法により線形近似する手順。
2.データ集合Dが近似終了条件を満たすなら終了する手順。
3.データ集合Dが近似終了条件を満たさないときは、
データ集合Dに対して分割テストサブルーチンSplit-Data(D,D1,D2)を行い、データ集合DをD1とD2に分割する手順。
4.データ集合D1に対してサブルーチンPLM-Approx(D1)を実行する手順。
5.データ集合D2に対してサブルーチンPLM-Approx(D2)を実行する手順。
分割テストサブルーチンSplit-Data(データ集合D,D1,D2);
1.データ集合Dの分布を調べ、分布の幅が最大の次元dmaxを見つける手順。
2.前記最大の次元dmaxに垂直な超平面により、データ集合Dをデータ数が等しくなるように2つに分割するため、この超平面を表す値xdmax=Cを求め、データ集合D1,D2に分割する手順。
ここで、近似終了条件は、
1.近似誤差が許容範囲内である。
2.データ数|D|が全学習データに対して十分小さい。
とする。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005159328A JP2006338123A (ja) | 2005-05-31 | 2005-05-31 | 非線形写像学習コンピュータプログラム、および記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005159328A JP2006338123A (ja) | 2005-05-31 | 2005-05-31 | 非線形写像学習コンピュータプログラム、および記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006338123A true JP2006338123A (ja) | 2006-12-14 |
Family
ID=37558654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005159328A Pending JP2006338123A (ja) | 2005-05-31 | 2005-05-31 | 非線形写像学習コンピュータプログラム、および記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006338123A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059270A (ja) * | 2012-09-19 | 2014-04-03 | Toshiba Corp | 蓄電池診断装置およびその方法 |
JP2016162306A (ja) * | 2015-03-03 | 2016-09-05 | 国立大学法人 和歌山大学 | 同一人物検出方法及び同一人物検出システム |
-
2005
- 2005-05-31 JP JP2005159328A patent/JP2006338123A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059270A (ja) * | 2012-09-19 | 2014-04-03 | Toshiba Corp | 蓄電池診断装置およびその方法 |
JP2016162306A (ja) * | 2015-03-03 | 2016-09-05 | 国立大学法人 和歌山大学 | 同一人物検出方法及び同一人物検出システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kretzschmar et al. | Information-theoretic compression of pose graphs for laser-based SLAM | |
Kalayeh et al. | Training faster by separating modes of variation in batch-normalized models | |
Ortiz et al. | Bundle adjustment on a graph processor | |
JP6393058B2 (ja) | 情報処理装置、情報処理方法 | |
Mackowiak et al. | Generative classifiers as a basis for trustworthy image classification | |
Deutsch et al. | Zero shot learning via multi-scale manifold regularization | |
JP7086878B2 (ja) | 学習装置、学習方法、プログラムおよび認識装置 | |
Niwa et al. | Spatio-temporal graph localization networks for image-based navigation | |
Roessle et al. | End2End multi-view feature matching using differentiable pose optimization | |
JP7472471B2 (ja) | 推定システム、推定装置および推定方法 | |
Zangeneh et al. | A probabilistic framework for visual localization in ambiguous scenes | |
Gashler et al. | Temporal nonlinear dimensionality reduction | |
JP2006338123A (ja) | 非線形写像学習コンピュータプログラム、および記録媒体 | |
Favorskaya et al. | Image inpainting based on self-organizing maps by using multi-agent implementation | |
Yang et al. | Synthesizing Control Barrier Functions With Feasible Region Iteration for Safe Reinforcement Learning | |
Pitropov et al. | Lidar-mimo: Efficient uncertainty estimation for lidar-based 3d object detection | |
Keesman et al. | Nonlinear set-membership estimation: A support vector machine approach | |
Parisotto | Meta reinforcement learning through memory | |
Botteghi et al. | Low dimensional state representation learning with reward-shaped priors | |
JP7239002B2 (ja) | 物体数推定装置、制御方法、及びプログラム | |
CN116263949A (zh) | 一种重量测量方法、装置、设备及存储介质 | |
Li et al. | Minimization of MRF energy with relaxation labeling | |
Liu | Efficient segmentation and plane modeling of point-cloud for structured environment by normal clustering and tensor voting | |
Dias et al. | Active Gaze Control for Foveal Scene Exploration | |
Hu et al. | ViPNet: An end-to-end 6D visual camera pose regression network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081202 |