JP2006065863A - 画像マッチングのための適応可能な色情報 - Google Patents

Abstract

【課題】２つの信号間の変換の推定を改善するデータ処理方法を提供する。
【解決手段】データを処理する方法が提供される。本方法は、空間の第１のサンプル（１）と第２のサンプル（２）とを比較することにより、信号ペアの集合を提供する工程であって、第１のサンプルおよび第２のサンプルは変換の集合に関連付けられており、各信号ペアが第１および第２のサンプルにおいて実質的に同一な空間の特徴に対応する、工程と、各信号ペアに対して、各サンプルにおける空間の値の差に対応する残差を評価する（５１）工程と、その残差から変換の集合の第１の推定を評価する（５２）工程と、空間における流れの方向を表すテンソル場を推定する（５３）工程であって、テンソル場は空間の少なくとも１点に及ぶ、工程と、第１の推定とテンソル場とから、各信号ペアの残差を再算出する（５４）ことにより、変換の集合の推定を改善する工程とを包含する。
【選択図】 図１

Description

本発明は、２つの信号間の変換の推定を改善するためのデータ処理に関する。各信号は、サンプリングされ、各サンプルは、２つ以上の測定された変量からなると仮定する。例えば、典型的なカラー画像における各ピクセルは、赤、緑、および青の値からなる。

一入力からのサンプルを、もう一方の入力において対応するサンプルにマッチングすることにより、２つの信号間の変換を推定することができる。ＨｏｒｎおよびＳｃｈｕｎｃｋによる「Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃ Ｆｌｏｗ」、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、１７、１８５〜２０４（１９８１年）に記載されているように、例えば、連続するビデオフレーム間の画像の特徴（ｆｅａｔｕｒｅ）をトラッキングすることにより、物体の動作を推定することができる。一画像と別の画像とにおける対応する点をマッチングすることにより、画像内の対応する点が隣接したフレームにおいて同じ輝度または色を有するという仮定の下において、動作場を推定することができる。上記推定の精度は、画像の内容による制限を受ける。例えば、均一な輝度または色を有する画像の領域は、取り得る動作に関する正確な情報を生じない。それは、そのような領域における各点に対して、隣接したビデオフレームにおいて取り得るマッチが多数あるためである。

しかしながら、特徴のない領域において動作場を推定することができるということが、ＨｏｒｎおよびＳｃｈｕｎｃｋにおいて示された。シーンが局所的に平滑な表面からなる場合には、その結果生じる動作場も、局所的に平滑である。この平滑さを制限として用いることにより、確かに、特徴のない領域における動作の推定が、近接するがより画像に特徴のある領域において得られた推定と整合する。平滑さへの制限の影響は、隣接した動作の推定の方向が、互いにほぼ平行であるという条件を課す。本質的に、この方法は、マッチングされる特徴間の幾何的なマッピングの平滑さに制限を課す。

Ｊａｈｎｅらの「Ｓｔｕｄｙ ｏｆ Ｄｙｎａｍｉｃａｌ Ｐｒｏｃｅｓｓｅｓ ｗｉｔｈ Ｔｅｎｓｏｒ−Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｔｅｍｐｏｒａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ｐｐ３２３〜３３６（１９９８年）において、オプティカルフローに対する代わりのアプローチが示されている。ビデオデータの隣接したフレーム間の動作を検出するために、ビデオシーケンスは、（ｘ，ｙ，ｔ）におけるボリュームとして示される。ここで、ｘおよびｙは、ビデオデータの空間の２つの次元であり、ｔは、時間を示す。このアプローチを用いることにより、運動する全ての特徴は、ボリュームにおいて指向性の構造として現れる。例えば、運動する点は、三次元空間において線をトレースし、運動する端は、指向性の面をスイープする。空間の各点において構造テンソルを評価することにより、上記線および面を検出することができる。この構造テンソルは、Ｋｎｕｔｓｓｏｎによる、「Ｒｅｐｒｅｓｅｎｔｉｎｇ Ｌｏｃａｌ Ｓｔｒｕｃｔｕｒｅ ｕｓｉｎｇ Ｔｅｎｓｏｒｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｉｘｔｈ Ｓｃａｎｄｉｎａｖｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ、ｐｐ２４４〜２５１（１９８９年）において定義されている。この文献において、構造テンソルは、行列により表され、その行列の固有値が、信号の局所的な次元の数の関数である。

ＲｏｗｅｉｓおよびＳａｕｌによる、「Ｎｏｎｌｉｎｅａｒ Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ Ｒｅｄｕｃｔｉｏｎ ｂｙ Ｌｏｃａｌｌｙ Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ」、Ｓｃｉｅｎｃｅ、２９０、２３２３〜２３２６ページ（２０００年）において、高次元のデータセットの内部構造を復元する方法が示されている。この方法は、所与のデータ点が、高次元空間における最近接の点の線形結合として表され得るという考えに基づく。より低次元表面にあるデータに対しては、元の軸を少なくとも数個省いた局所座標系を構成するために、隣接した点を用い得る。このプロセスの結果は、元のデータの解釈を容易にする「局所線形埋込み（ｌｏｃａｌ ｌｉｎｅａｒ ｅｍｂｅｄｄｉｎｇ）」である。

ＭｉｌｌｅｒおよびＴｉｅｕによる、「Ｃｏｌｏｕｒ Ｅｉｇｅｎｆｌｏｗｓ： Ｓｔａｔｉｓｔｉｃａｌ Ｍｏｄｅｌｌｉｎｇ ｏｆ Ｊｏｉｎｔ Ｃｏｌｏｕｒ Ｃｈａｎｇｅｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、６０７〜６１４ページ（２００１年）には、周囲の明暗の変化を考慮した画像分析が開示されている。光源に対する特定の画像における所与の色の変化の態様の統計上のモデルが構成されている。これにより、入力画像を考えると、異なった照明下におけるシーンの見かけを予測することができる。画像の見かけの変化（例えば視点の移動により引き起こされる視差）は、考慮されていない。この統計上のモデルは、測光のマッピングに平滑さの制限を課すことと類似する。

本発明の第１の局面によると、（ａ）空間の第１のサンプルと第２のサンプルとを比較することにより、信号ペアの集合を提供することであって、第１および第２のサンプルは変換の集合に関連付けられており、各信号ペアが第１および第２のサンプルにおいて実質的に同一な空間の特徴に対応する、ことと、（ｂ）各信号ペアに対して、各サンプルの特徴の位置における空間の値の差に対応する残差を評価することと、（ｃ）その残差から変換の集合の第１の推定を評価することと、（ｄ）空間における流れの方向を表すテンソル場を推定することであって、そのテンソル場は空間の少なくとも１点に及ぶ、ことと、（ｅ）第１の推定とテンソル場とから、各信号ペアの残差（ｒｅｓｉｄｕａｌ）を再算出することにより、変換の集合の推定を改善することとを包含する、データを処理する方法が提供される。

工程（ｄ）および（ｅ）は、少なくとも１回繰り返され得る。

工程（ａ）は、信号マッチングアルゴリズムを用いて、達成され得る。

残差は、ｄ_ｋ＝ｆ’（ｐ_ｋ）−ｆ”（ｐ_ｋ＋ｔ_ｋ）と等しくあり得る。ここで、ｆ’（ｐ_ｋ）およびｆ”（ｐ_ｋ＋ｔ_ｋ）は、それぞれ点ｐ_ｋおよび点（ｐ_ｋ＋ｔ_ｋ）において測定された、空間において実質的に同一な特徴に対応する信号ペアであり、ｔ_ｋは、変換の集合を表し、ｋは、各信号ペアの指標である。工程（ｃ）は、｜ｄ_ｋ｜_Ｍ＝（ｄ_ｋ ^ＴＭｄ_ｋ）^１／２となるように対称正定値行列Ｍを定義することと、ｔ_ｋに対して｜ｄ_ｋ｜を最小化することとを包含し得る。

テンソル場を推定する工程は、空間の全ての点に対して行われ得て、変換の集合の前推定から得られた既存のテンソルを内挿することにより、テンソルが決定されていない領域のテンソルを決定することを包含し得る。その内挿は、信号ペアの位置から離れるにつれ値が単調に減少する近傍重み関数（ｎｅｉｇｈｂｏｕｒｈｏｏｄ ｗｅｉｇｈｔｉｎｇ ｆｕｎｃｔｉｏｎ）に基づき得る。その近傍重み関数は、ガウス関数であり得る。空間の各点における変換の集合を表す行列Ｍ_ｆを算出するために、そのテンソル場が用いられ得る。行列Ｍ_ｆの固有値は、変換の集合の次元の数と適合するように選択され得る。

この方法は、収束条件が満たされるまで、反復され得る。変換の集合の推定における次元の数は、少なくとも１つの制限を受け得る。この制限は、空間の平滑さ、または二色性モデルの制限であり得る。

この方法は、空間の第１および第２のサンプルが第１および第２の画像であり、空間が、赤−緑−青の色空間であり、変換の集合が、画像の各点における空間の差を表す、データに適用され得る。この方法は、画像データに適用され得て、それにより画像認識または画像予測が提供される。推定されたテンソル場は、第１の画像と第２の画像との間の変換モデルを作成するために用いられ得る。

本発明の第２の局面によると、第１および第２の画像の特徴をマッチングするために第１および第２の視差マップを算出することであって、第１および第２の視差マップが、それぞれ第２の画像に対する第１の画像の視差と、第１の画像に対する第２の画像の視差とに対応する、ことと、第１および第２の視差マップから不整合なエントリを除去することにより、クロスチェックされた第３の視差マップを得ることと、変換の集合の第１の推定として第３の視差マップを用いることにより、本発明の第１の局面に従って第３の視差マップを改善することとを包含する、第１の画像と第２の画像との視差を推定する方法が提供される。

本発明の第３の局面によると、ビデオストリームの実質的に隣接した画像ペアに本発明の第１の局面による方法を適用することであって、画像ペアが赤−緑−青の色空間における第１および第２のサンプルに対応する、ことを包含する、ビデオストリームにおける動作を推定する方法が提供される。このような方法において、実質的に隣接した所与の画像ペアに対して空間の各点に及ぶテンソル場を推定する工程は、ビデオストリームの前画像ペアをマッチングするときにおいて、前テンソル場を用いて現テンソル場を推定することを包含し得る。現テンソル場は、前テンソル場から再帰的に推定され得る。

この方法は、音声認識アルゴリズムの一部としてオーディオデータに適用され得る。

本発明のさらなる局面には、コンピュータを制御することにより上記方法を実行するプログラムと、記憶媒体に記憶された場合の上記プログラムと、通信ネットワークを介した上記プログラムの伝送と、上記方法を実行するようにプログラムされたコンピュータとが含まれる。

本発明のさらなる局面によると、空間の第１のサンプルと第２のサンプルとを比較することにより、信号ペアの集合を提供する手段であって、第１および第２のサンプルは（不明な）変換の集合により関連付けられており、各信号ペアが第１および第２のサンプルにおいて実質的に同一な空間の特徴に対応する、手段と、各信号ペアに対して、各サンプルの特徴の位置における空間の特徴の差に対応する残差を評価する手段と、その残差から変換の集合の第１の推定を評価する手段と、空間における流れの方向を表すテンソル場を推定する手段であって、そのテンソル場は空間の各点に及ぶ、手段と、第１の推定とテンソル場とから、各信号ペアの残差を再算出することにより、変換の集合の推定を改善する手段とを備えた、信号をマッチングする装置が提供される。

本発明は、さらに以下の手段を提供する。

（項目１）
（ａ）空間の第１のサンプル（１）と第２のサンプル（２）とを比較することにより、信号ペアの集合を提供する工程であって、該第１のサンプル（１）および該第２のサンプル（２）は変換の集合に関連付けられており、各信号ペアが該第１および第２のサンプルにおいて実質的に同一な該空間の特徴に対応する、工程と、
（ｂ）各信号ペアに対して、各サンプルの特徴の位置における該空間の値の差に対応する残差を評価する（５１）工程と、
（ｃ）該残差から該変換の集合の第１の推定を評価する（５２）工程と、
（ｄ）該空間における流れの方向を表すテンソル場を推定する（５３）工程であって、該テンソル場は該空間の少なくとも１点に及ぶ、工程と、
（ｅ）該第１の推定と該テンソル場とから、各信号ペアの該残差を再算出する（５４）ことにより、該変換の集合の該推定を改善する工程と
を包含する、データを処理する方法。

（項目２）
工程（ｄ）および（ｅ）を少なくとも１回繰り返すさらなる工程を包含する、項目１に記載の方法。

（項目３）
工程（ａ）が信号マッチングアルゴリズムを用いることを包含する、項目１または２に記載の方法。

（項目４）
上記残差ｄ_ｋがｆ’（ｐ_ｋ）−ｆ”（ｐ_ｋ＋ｔ_ｋ）と等しく、ｆ’（ｐ_ｋ）およびｆ”（ｐ_ｋ＋ｔ_ｋ）は、それぞれ点ｐ_ｋおよび点（ｐ_ｋ＋ｔ_ｋ）において測定された、空間において実質的に同一な特徴に対応する信号ペアであり、ｔ_ｋは上記変換の集合を表し、ｋは各信号ペアの指標である、項目１〜３のいずれか１項に記載の方法。

（項目５）
工程（ｃ）が｜ｄ_ｋ｜_Ｍ＝（ｄ_ｋ ^ＴＭｄ_ｋ）^１／２となるように対称正定値行列Ｍを定義することと、ｔ_ｋに対して｜ｄ_ｋ｜_Ｍを最小化することとを包含する、項目４に記載の方法。

（項目６）
工程（ｄ）が、上記空間における各点に対してテンソル場を推定することを包含する、項目１〜５のいずれか１項に記載の方法。

（項目７）
工程（ｄ）が、上記変換の集合の前推定から得られた既存のテンソルを内挿することにより、テンソルが決定されていない領域のテンソルを決定することを包含する、項目１〜６のいずれか１項に記載の方法。

（項目８）
上記内挿が近傍重み関数に基づき、該近傍重み関数の値は、各信号ペアの位置から離れるにつれて単調に減少する、項目７に記載の方法。

（項目９）
上記近傍重み関数がガウス関数である、項目８に記載の方法。

（項目１０）
上記テンソル場を用いることにより、上記変換の集合を表す行列Ｍ_ｆを上記空間の各点において算出する、項目１〜９のいずれか１項に記載の方法。

（項目１１）
上記行列Ｍ_ｆの固有値が上記変換の集合の次元の数に適合するように選択される、項目１０に記載の方法。

（項目１２）
上記方法が、収束条件が満たされるまで反復される、項目２に記載の方法。

（項目１３）
上記変換の集合における上記推定の次元の数が少なくとも１つの制限を受ける、項目１〜１２のいずれか１項に記載の方法。

（項目１４）
上記制限が空間の平滑さへの制限である、項目１３に記載の方法。

（項目１５）
上記制限が二色性モデルの制限である、項目１３に記載の方法。

（項目１６）
上記空間が赤−緑−青の色空間であり、該空間の上記第１および第２のサンプルが第１および第２の画像であり、上記変換の集合が該画像内の各点における空間の差を表す、項目１〜１５のいずれか１項に記載の方法。

（項目１７）
上記第１および第２の画像が立体画像であり、上記空間の差が視差である、項目１６に記載の方法。

（項目１８）
項目１〜１７のいずれか１項に記載の方法が含まれる、画像を認識する方法。

（項目１９）
項目１〜１７のいずれか１項に記載の方法が含まれる、画像を予測する方法。

（項目２０）
項目１〜１７のいずれか１項に記載の方法が含まれる、第１の画像と第２の画像との間における変換のモデルを作成する方法であって、該モデルが上記推定されたテンソル場を備える、方法。

（項目２１）
第１の画像と第２の画像との視差を推定する方法であって、
第１および第２の画像の対応する特徴のための第１および第２の視差マップを算出することであって、それぞれ、該第１視差マップが第２の画像に対する第１の画像の視差を表し、該第２視差マップが第１の画像に対する第２の画像の視差を表す、ことと、
該第１および第２の視差マップから不整合なエントリを除去することにより、クロスチェックされた第３の視差マップを得ることと、
上記変換の集合の上記第１の推定として該第３の視差マップを用いて項目１〜１５のいずれか１項に記載の方法を実行することにより、該第３の視差マップを改善することと
を包含する、方法。

（項目２２）
項目１〜１７のいずれか１項に記載の方法を実行することを包含するビデオストリームにおける動作を推定する方法であって、上記第１および第２のサンプルが赤−緑−青の色空間のビデオストリームの画像ペアである、方法。

（項目２３）
工程（ｄ）が、上記ビデオストリームの前画像ペアをマッチングするときにおいて評価された前テンソル場を用いて現テンソル場を推定する工程を包含する、項目２２に記載の方法。

（項目２４）
上記現テンソル場が上記前テンソル場から再帰的に推定される、項目２３に記載の方法。

（項目２５）
上記データがオーディオデータである、項目１〜１５のいずれか１項に記載の方法を包含した音声認識アルゴリズム。

（項目２６）
項目１〜２５のいずれか１項に記載の方法を実行するコンピュータを制御するプログラム。

（項目２７）
記憶媒体に格納された項目２６に記載のプログラム。

（項目２８）
通信ネットワークを介した項目２６に記載のプログラムの伝送。

（項目２９）
項目１〜２５のいずれか１項に記載の方法を実行するようにプログラムされたコンピュータ。

（項目３０）
信号をマッチングする装置であって、
（ａ）空間の第１のサンプルと第２のサンプルとを比較することにより、信号ペアの集合を提供する手段であって、該第１のサンプルおよび該第２のサンプルは変換の集合に関連付けられており、各信号ペアが該第１および第２のサンプルにおいて実質的に同一な該空間の特徴に対応する、手段と、
（ｂ）各信号ペアに対して、各サンプルの特徴の位置における該空間の特徴の差に対応する残差を評価する手段と、
（ｃ）該残差を用いて該変換の集合の第１の推定を評価する手段と、
（ｄ）該空間における流れの方向を表すテンソル場を推定する手段であって、該テンソル場は該空間の各点に及ぶ、手段と、
（ｅ）該第１の推定と該テンソル場とから、各信号ペアの該残差を再算出することにより、該変換の集合の該推定を改善する手段と
を備えた、装置。

本発明のより深い理解を目的とし、また、本発明の実施方法を示すために、例として、添付の図を参照する。

以下に説明する方法は、単に一例であり、音声認識などの別の用途にも用いられ得るが、主として、図示した画像のマッチングを参照して説明される。本発明は、概して、いわゆるベクトル値の信号のマッチングに適用可能である。そのような信号は、各点において測定可能な複数の変数を有する入力として考えることができる。例えば、典型的なカラー画像は、各空間位置において、３つの変数、赤と、緑と、青とを有する。本発明の一実施形態の方法は、空間のサンプルの２つの集合（例えば、一シーンから得られた２つの画像）から開始し、２つの画像に対応する特徴を効果的にマッチングする方法を提供する。視点による視野の変化と照明の違いとを含めた種々の理由により、単一の特徴の見かけは、２つの異なったビューで変化し得る。別の用途に加えて、共通の特徴をマッチングすることにより、シーンの変換モデルは、新規な視点により作成され得る画像から定められ得る。そのシーンからの別の画像は認識され得る。また、共通の特徴における動作の推定が推定され得る。

２つのビューにおける対応する特徴の位置を比較することにより、この変換モデルは推定される。この比較を行うために、画像の点は、２つのビューにおいて「マッチ」している必要がある。共通の特徴における見かけの変化は、多次元関数であり、各点を新たな位置および色にマッピングする。位置は、二次元パラメータである。その一方で、色は、三次元パラメータ（赤、緑、青）である。

信号は局所的に不明瞭であり得るために、上記マッピングを正確に推定することは、通常困難である。たとえ正しい解が１つしかない場合においても、取り得る多数のマッピングを区別し得ない。取り得るマッピングの数を低減するために、何らかの方法によりマッピングの選択を制限する必要がある。本発明の実施形態により提供された方法は、新規の形態に制限を課す信号マッチング手順からなる。

次元の数に制限を課す場合には、通常、２つの信号間のマッピングにおける次元の数が信号自身の次元の数よりも低いと想定される。空間マッピングおよび輝度のオフセットにより関連付けられた２つのカラー画像の例を考慮する。輝度のオフセットを三次元の色空間の一次元変換と解釈することができる。この変換のモデルは、構成され得て、空間マッピングの推定に有用に用いられる。色（または、別の従属変数）間の変換はさらに複雑でありうるが、概して、上述した方法により有用なモデルを構成することができる。

本明細書において、用語「空間」は、点の集合を指し、各点は、変数の各集合の値の固有な組み合わせにより決定される。例えば、色空間における各点は、赤、緑、および青の値により決定され得る。

本発明の実施形態の方法と、ＨｏｒｎおよびＳｃｈｕｎｃｋのアルゴリズムとを比較することは、有用である。両方法とも、信号変換の推定を改善するために制限を課す。ＨｏｒｎおよびＳｃｈｕｎｃｋの方法は、変換に対して、空間的に平滑であるという制限を課す。このアプローチでは、バイアスのかけられた解が生じる。それは、根底にある変換が必ずしも平滑でないためである。例としては、変化のない背景を越えて運動する物体により作り出された動作場は、物体の境界において不連続である。本発明の実施形態の方法は、変換の従属変数に制限を課す。特に、その従属変数は、変換に対して整合した変化をする必要がある。

例えば、典型的な画像の従属変数は、各空間位置における、赤、緑、および青の値である。２つの入力信号が、わずかに異なった位置から得られた同一物体のビューであると仮定する。一シーンの点の見かけ上の色は、「表面」と「照明」との色の混合物としてモデル化され得る。所与のシーンの点は、例えば照明の効果により、各ビューにおいて異なった色を有し得るが、両色とも同一の表面および照明要素の混合物である必要がある。本方法により、この制限を実行することができる。信号変換の連続部分および不連続部分の両部分に適用されるということが、このアプローチの利点である。

図１のブロック図は、以下に記載される方法の適用例を図示する。データソース１０から、データサンプル１および２を得る。データソース１０は、例えば視覚可能なシーンであり得、その場合には、サンプル１および２は、そのシーンの画像である。データサンプルドメイン１１は、データソース１０の部分集合である。サンプル１および２は、変換モデル１３を生じるデータ処理１２の影響を受けやすい。変換モデル１３は、前もって未分析データサンプル３を検出する画像認識システム１４を提供するために用いられ得る。もしくは、変換モデル１３を予測システム１５において用いることにより、データソース１０の見かけ上生成されたビューに対応する新規なデータサンプルを作成し得る。

図２ａ〜２ｆは、画像マッチングの一般的なアプローチを図示する。図２ａおよび２ｂは、同一のシーンの異なるビューを表す画像ｆ’とｆ”とを示す。類似した色を有する点を識別することにより、その画像はマッチングされ、その結果の空間の流れが、図２ｃに示される。ここで留意すべきは、流れが平滑であるということである。２つのさらなるビューが図２ｄおよび２ｅに示され、それらは、既に述べたようにマッチングされ得る。しかし、この例において、その結果の空間の流れは平滑でない。

信号マッチングアルゴリズムは、２つの画像間の共通の特徴をマッチングするものと知られるが、本明細書に記載される方法により、算出されたマッピングの精度および完全性が増大する。以下に記載される次元の数への制限を用いることにより、変換の物理学上のモデルと整合したマッピングをすることができるため、精度を改善することができる。不明瞭な領域に対して、次元の数を制限することにより多数の偽の解が除外されるために、完全性を改善することができる。

さらなる制限（例えばＨｏｒｎおよびＳｃｈｕｎｃｋに記載された平滑さへの制限）とこの方法とを組み合わせることができる。後者のさらなる詳細について、以下に記載する。もしくは、その方法は、さらなる制限なしに適用され得る。平滑さへの制限に伴う主要な問題は、その制限を選択的に使う必要があるということである。特に、その推定にバイアスがかかるのを避けるために、深部または動作境界を越えて平滑化を適用するべきではない。このことは、信号マッチング問題を大いに複雑にする。それは、点のマッチングとともに不連続な位置を推定する必要があるためである。対照的に、本明細書に記載の次元の数への制限は、信号変換の連続部分と不連続部分の両部分に適用することができる。

この方法は、既存のマッチングアルゴリズムと簡易に組み合わされ得て、必要に応じてその既存のアルゴリズムを作動または停止することができる。この方法により導入された計算オーバーヘッドは、簡易に管理される。新たな計量は、所与のサンプルペアに対して元のユークリッド距離の計算のコストに相当する定数を追加する。マッチング手順の間において構成される表現は、追加の用途を有し得る。例えば、特定のシーンの２つの画像のマッチングを考慮する場合において、その表現は、任意の新規なビューの提供に用いられ得るシーンの測光上のモデルを構成する。そのことは、さらに正確な結果につながる。

以下に、本発明の特定の実施形態をさらに詳細に記載する。

空間Ｆから得られた値をとる２つの信号は、ｆ’とｆ”として定義される。この２つの信号は、点ｐ_ｋにおいて測定される。ここで、ｋは、サンプルの便宜上の指標（インデックス）である。この実施形態の方法は、次式の形態のマッチング問題を解くこととして見なされ得る。
ｆ’（ｐ_ｋ）←→ｆ”（ｐ_ｋ＋ｔ_ｋ）， ｋ＝１．．．Ｋ ［１］
ここで、ベクトルｔ_ｋは、根底にある変換を定義する。記号←→は、２つの信号がそれぞれ点ｐ_ｋおよび点（ｐ_ｋ＋ｔ_ｋ）においてマッチするということを示す。

本明細書に記載の方法を適用することにより、ベクトル値信号の任意のペアをマッチし得る。また、本明細書に記載の方法は、任意の次元および任意の関数範囲に拡張され得る。しかし、この実施形態は、各信号の領域が点ｐ＝（ｘ，ｙ）からなり、各信号の範囲がｆ’＝（ｒ’，ｇ’，ｂ’）かつｆ”＝（ｒ”，ｇ”，ｂ”）となるような、ＲＧＢ色空間Ｆとなるカラー画像に関して記載する。例えば、ｔ_ｋが各点ｐ_ｋの視差であり、そのシーンにおける２つのビューｆ’およびｆ”のマッピングとして［１］式を解釈することができる。

マッチングアルゴリズムの目的は、根底にある変換ベクトルｔ_ｋを復元することである。これは、ｔ_ｋの取り得る値に対して誤差ｄを最小限にすることにより、達成される。ここで、ｄ_ｋ＝ｆ’（ｐ_ｋ）−ｆ”（ｐ_ｋ＋ｔ_ｋ） ［２］ である。

［２］式は、「残差」ベクトルｄ_ｋの定義を与える。ノルムｄは、通常、ユークリッド距離と等しい。故に、ｄが列ベクトルである場合にはｄ^Ｔはｄの転置ベクトルであり、｜ｄ｜＝（ｄ^Ｔｄ）^１／２である。特に次のタイプの計量を考慮することにより、この実施形態の方法は、この定義の一般化を提供する。
｜ｄ｜_Ｍ＝（ｄ^ＴＭｄ）^１／２ ［３］
ここで、Ｍは対称正定値行列である。特に、Ｍが単位行列である場合には、｜ｄ｜_Ｍは、ユークリッド距離｜ｄ｜になる。しかし、一般的に、行列Ｍは空間Ｆ一面にわたり変化し得る。これは、［２］式に定義された所与の不一致ｄが、Ｆにおけるｆ’およびｆ”の個々の位置により、より小さく見え得るか、またはより大きく見え得るということを意味する。このことの理由は図３ａ〜３ｃに示される。図３ａは、二次元空間Ｆにおける二次元の流れｄ_ｋを図示する。二次元空間の軸は、マッピングの独立な変数を表す。例えば、四角は、矢印により類似した色のマッチングが示されるＲＧＢ色空間Ｆを含むキューブを介したスライスを表し得る。その矢印は、図示された４つの流れベクトルの流れの方向を示す。図３ｂは、二次元空間における一次元の流れ（すべてのベクトルが揃っている）を示す。流れの局所的な次元の数は、空間内において変わり得る。図３ｃは、２つの取り得るマッチを図示し、そのマッチは、破線の矢印として示された残差ベクトルにより示される。残差ベクトルの長さは同じである。従って、通常の測定｜ｄ｜によると、その２つのマッチのもっともらしさは等しい。しかし、その２つの残差の内の１つだけが、図３ｂに示される既存の一次元の局在的な流れと整合する。［３］式の計量が、この残差に対して「短い」長さを生じることは好ましく、それにより、整合したマッチングが選ばれる。

第１の例において、そのアルゴリズムの先の反復からマッチｆ’（ｐ_ｋ）←→ｆ”（ｐ_ｋ＋ｔ_ｋ）が判明した場合において、残差ｄ_ｋの第１のセットを用いて、空間Ｆの各点におけるＭを定義する。この定義は、関連した「残差」ベクトルｄ_ｋに基づく。そのベクトルの各々は、Ｆにおける２つの点ｆ’_ｋおよびｆ”_ｋを関連付ける。
ｆ_ｋ＝（１／２）（ｆ’_ｋ＋ｆ”_ｋ） ［４］
として定義される中点に、ｆ’_ｋ＝ｆ_ｋ−（１／２）ｄ_ｋおよびｆ”_ｋ＝ｆ_ｋ＋（１／２）ｄ_ｋとなるように各残差を関連付けることはもっともである。次いで、判明した残差の各々が、規格化された外積

により形成された対称行列として表される。

この構造テンソル表現は、Ｋｎｕｔｓｓｏｎにより異なる状況において提案されている。実際は、ｄ_ｋは方向を表し、その一方で、Δ_ｋは配向を表す。

図４ａ〜４ｃは、それぞれｄ_ｋとΔ_ｋとして表される局所方向と局所配向との差を示す。図４ａは、サンプリングされた一次元の流れｄ_ｋのベクトル表現である。そのベクトルの平均はゼロである。図４ｂは、同じサンプリングされた流れのテンソル表現Δ_ｋであり、そのテンソルは、元のベクトルの中点に関連付けられる。そのテンソルの平均は、流れを表現する。

次の工程は、Ｆの各点において、その点におけるΔの値に基づいてＭを定義することである。その定義は、通常Ｆにおける点の部分集合のみが関連したテンソルを有するために、必ずしも即座に可能ではない。しかし、ＭｉｌｌｅｒおよびＴｉｅｕにより記載された方法と類似した方法を用いて、不足したテンソルを「補充する」ことは単純である。局所平均

から任意の点ｆにおけるテンソルを得ることができる。ここで、Ｎ_ｋ（ｆ、ｆ_ｋ）は、ｆ_ｋがｆに近い場合には大きな値をとり、離れるにつれてゼロへと単調に減少する「近傍」関数である。所与の分散のガウス曲線は自然な選択である。平均化され、内挿されたテンソル表現Δ_ｆ ^＊が図４ｃに示される。ここでは、各点ｆにおけるテンソルのみしかないが、さらなるテンソルも内挿される。その結果が、図４ａのベクトルを生成する流れの完全な推定である。その近傍関数に幾何情報を組み込むことも可能である。例えば、［４］式のｆ_ｋとの類推によりｐ_ｋが定義されると仮定する。それにより、重みＮ_ｋ（・，・）は、ｐとｐ_ｋとの距離の関数のみならず、対応する値ｆとｆ_ｋとの差の関数であり得る。ｐの近傍の点ｐ_ｋのみにわたり流れの情報が組み込まれるために、この変更により、本方法はより良い保存性を有する。Ｎ_ｋ（・，・）の正確な定義は用途に依存する。

方向は逆であるが、ｄと−ｄとの不一致は、同一配向の流れ構造と整合する。残差ベクトルに直接［６］式の内挿手順を適用する場合において、そのベクトルは互いに相殺する。そのことが、［５］式によるテンソル表現において、ｄおよび−ｄが同一のテンソルをマッピングし、互いに逆の方向が［６］式の流れの同一な推定をサポートするということの理由である。

［６］式を用いて、対応する行列Δ_ｆ ^＊に基づいてＦの各点において行列Ｍ_ｆを推定することができる。その根底の考えは、局所的な流れがＦの部分空間にある場合において、Ｍ_ｆはこの部分空間において測定された距離を「過小評価する」べきであるということである。それにより、流れの部分空間における任意のマッチが支持される傾向になる。それにより、図３ａ〜３ｃに示されるように、信号−信号マッピングにおいて固有な構造を用いる本実施形態の主要な目的が達成される。

行列Ｍ_ｆは、Δ_ｆ ^＊として同じ規格化済みの固有ベクトルを有するように設定される。それは、その固有ベクトルが流れ場の局所的な構造に揃うためである。その局所的な流れの次元の数は、Δ_ｆ ^＊の固有値から推定される。局所的な流れが所要の次元の数を有しない場合において、Ｍ_ｆの固有値は１に設定され、それにより、｜ｄ｜_Ｍは、ユークリッド距離と一致する。局所的な流れが所要の次元の数を有しない場合において、流れを補う固有ベクトルが、適切に低減された固有値に与えられる。詳細な定義は個々のマッチング問題に依存するが、通常、行列Ｍ_ｆはΔ_ｆの連続関数である。

特定の用途において、Ｍ_ｆの定義は物理学上の理由により得る。例えば、２つのカラー画像のマッチングにおいて、Ｓｈａｆｅｒの二色性モデル（Ｓ．Ａ．Ｓｈａｆｅｒによる「Ｕｓｉｎｇ Ｃｏｌｏｒ ｔｏ Ｓｅｐａｒａｔｅ Ｒｅｆｌｅｃｔｉｏｎ Ｃｏｍｐｏｎｅｎｔｓ」、Ｃｏｌｏｒ Ｒｅｓｅａｒｃｈ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ、１０（４）、２１０〜２１８、１９８５年）を用いることができる。このモデルは、２つの要素（材料に特有の「本体」の寄与と、照明に特有の「表面」の寄与）の混合物としての見かけ上の表面を表す。その要素の相対的な割合は、表面の配向および視覚方向に依存する。それにより、同一表面の２つのビューは、同一の二次元部分空間におけるＲＧＢ値を生成する必要があるということになる。概要が上述された方法において、この制限を簡単に課すことができる。

例えば、残りの既存のマッチが与えられた場合におけるマッチの確率ｋを表すために用いられる関数ｐｒ（ｆ_ｋ｜｛ｆ_ｎ，ｎ≠ｋ｝）と、二色性モデルとを考える。Δ_ｋ ^＊の第１と第３の固有値がほぼ等しい場合において、確率は低くあるべきである。それは、この場合が局所構造の不足を示すためである（完全なマッチング｜ｄ_ｋ｜＝０の特別な場合も含まれる）。第１と第３の固有値の差が大きい場合において、確率は高くあるべきであり、その固有値の一方が二色性モデルと整合する。それは、この場合が一次元または二次元の局所構造を示すためである。

確率の定義が与えられた場合において、行列ＭはΔ_ｋ ^＊として同一の固有ベクトルを有するように定められるが、はじめの２つの固有値はｐｒ（ｆ_ｋ｜｛ｆ_ｎ，ｎ≠ｋ｝）に反比例するように定められる。測光上のパラメータは、実際には推定されない。この例は、二色性モデルの次元の数にシンプルに基づくためである。

マッチング方法における流れの表現の実施形態について、以下に記載する。既存の信号マッチングアルゴリズムが提供されると仮定する。通常の計量｜ｄ_ｋ｜を用いたマッチングにおける第１の試行の残差ｄ_ｋにより、流れ場を初期設定する。次いで、上述したように、完全なテンソル場Δ_ｆ ^＊を推定する。第２の反復において、新たな計量｜ｄ_ｋ｜_Ｍを用いることによりマッチングを改善することができる。改善されたマッチングの残差は、もとの流れ場に寄与し、テンソルΔ_ｆ ^＊を再推定する。所与の判定基準を満たすまで、このプロセスを続ける。例えば、Ｍの固有値が適切に定義された場合において、平均誤差

が所与のレベルに低減されるまで、反復を続け得る。もしくは、反復の総回数が制限され得る。

図５は、本発明のさらなる実施形態を構成する反復ステレオマッチングアルゴリズムの第１の２つのパスを模式的に示す。信号ｆ’およびｆ”は、立体画ペアの左側および右側の画像である。明確にするために、異なった画像の点の間のマッチングを図の異なった列（それぞれ２０と２１に示される）に示す。画像の点３１は、整合性のマッチングを示すｆ’およびｆ”を有する閉ループを形成する。従って、この値を用いてＦの最初の推定に寄与する。画像の点３０は、閉ループを有さず、最初の推定の提供に用いられない。流れの表現は、第２の反復（ｋ＝２）において用いられ、その後に、整合性マッチングされた点の数が増加する。閉ループはマッチを示し、画像の点３１は画像の点３１’として変化しないが、その一方で、画像の点３０が画像の点３０’を形成する。次いで、さらなる反復における新たなマッチから流れの場を再算出する。Ｆに向いた矢印は、マッチングステージを通過した残差の色ベクトルを示す。Ｆから外に向いた矢印は、新たなマッチング問題におけるピクセルを比較するために用いられる行列Ｍ_ｆを示す。

立体画ペアの２つの画像間における画像−点の両眼視差は、第１の画像の点を含み、かつ、もう一方の画像における、第１の画像と最も類似した領域に位置するピクセルの領域を定めることにより、推定され得る。このアプローチには２つの問題がある。第１の問題は、画像の不明瞭さ（例えば、特徴のない領域）による混同である。第２の問題は、所与のシーンの点が１つのビューにのみ現れ得るために、２つの入力画像に対して非対称であるということである。取り得る視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）（すなわち、左−右および右−左）を算出し、全ての不整合なエントリを除去することにより、これらの問題に対処することができる。この手順により、希薄であるが、比較的正確な視差マップが得られる。

上記のクロスチェック手順により保持されたマッチを用いることにより、ＦにおけるＲＧＢの流れを推定することができる。これは、整合性のマッチは正しい可能性が高く、また、クロスチェック手順にパラメータが事実上含まれていないために、魅力的である。色の流れが一旦推定されると、上述したように、計量｜ｄ｜_Ｍを用いて視差マップを再算出することできる。固定された反復数回、または収束条件が満たされるまで、このプロセスを続け得る。

さらなる実施形態に従って、入力としてビデオストリームを用いて、上述した両眼の手順を動作推定に適合させることができる。このことは、図６および７に示される。ビデオを一連のフレームｆ^１．．．ｆ^ｎと見なすことができる。立体画ペアの左側および右側画像との類推により隣接したフレームのペアの各々を扱うことができる。しかし、各フレームペアに対して色の流れ場を独立に推定する必要はない。色の流れの各テンソルΔ_ｆ ^＊が、ビデオストリームの間において強い一時的な相関を示すということが想定される。その相関を利用する方法は２つある。

一実施形態において、ｆ^ｎおよびｆ^ｎ−１をマッチングするプロセスは、ｆ^ｎ−１←→ｆ^ｎ−２の対応から算出された流れ場Ｆを利用し得る。このことは、図６において示され、図６では、流れ場４１が、フレームｆ^１およびｆ^２の間において算出され、次いで、フレームｆ^２とｆ^３との間のマッチングに用いられる。同様に、流れ場４２および４３が、次のマッチングに用いられる。もしくは、図７に示されるように、流れ場は、再帰的に推定され得る。それは、ｆ^ｎ←→ｆ^ｎ−１の対応から算出されたテンソルが、ｆ^ｎ−１←→ｆ^ｎ−２からのテンソルと合併され、以下も同様であり、それにより、連続して更新される流れ場４４〜４６が提供されるということを意味する。このアプローチの有利な点は、原則として、より正確かつより完全な流れ場がもたらされるということである。不利な点は、全ての所与のステージにおいて、流れ場の一部が、関連のない情報を有し得るということである。

図８は、本発明の一実施形態を示すフローチャートである。工程５０において、空間からデータサンプルを取得し、工程５１において、残差を評価する。工程５２において、データサンプルの共通した特徴間における変換の第１の推定を得る。工程５３において、テンソル場を推定し、工程５４において、テンソル場を用いて残差を再計算し、それにより、２つの信号間のマッチングの推定を改善する。工程５５において、マッチングのレベルが完全か否かの決定がなされる。これは、十分なレベルのマッチングが達成されたか否か、または、一定回数の反復が行われたか否かに基づき得る。この方法の出力は、マッチされた信号の集合５６である。

上述した方法は、この方法を実行するコンピュータを制御するためのプログラムにおいて実施され得る。記憶媒体（例えば、ハードディスク媒体、フロッピー（登録商標）ディスク媒体、ＣＤまたはＤＶＤの記録媒体、またはフラッシュメモリ記憶製品）にそのプログラムを格納し得る。また、そのプログラムは、通信ネットワーク（例えば、インターネット、または、互いにＬＡＮにおいて接続された一群のコンピュータ）を介して伝送され得る。

図９の概略図は、読取専用メモリ（ＲＯＭ）６１およびランダムアクセスメモリ（ＲＡＭ）６２に結合された中央演算処理装置（ＣＰＵ）６０を示す。ＣＰＵには、入力／出力機構６４を介してデータサンプル６３が提供される。次いで、ＲＯＭ６１の一部であり得るプログラム記憶装置６５により提供された指示に従って、ＣＰＵは、提供されたデータにマッチング手順を施し、入力／出力機構６４を介して、出力（換言すると、マッチされたデータサンプル６６）を提供する。プログラム自身、または、システムへの全ての入力および／または出力は、例えばインターネットであり得る通信ネットワーク６７に／から提供または伝送され得る。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に援用されるべきであることが理解される。

本発明の一実施形態の方法の実行を図示するフロー図である。 図２ａ〜２ｆは、画像マッチングの工程を示す。 図３ａ〜３ｃは、一次元の流れ場と二次元の流れ場との比較を示す。 図４ａ〜４ｃは、一次元の流れを表すベクトルおよびテンソルを示す。 本発明の一実施形態による画像マッチングアルゴリズムを示す。 本発明の一実施形態による動作推定アルゴリズムを示す。 本発明の一実施形態による再帰的な動作推定アルゴリズムを示す。 本発明の一実施形態を構成する方法を示すフローチャートである。 図８の方法を実行する装置のブロック概略図である。

符号の説明

１，２，３，４ データサンプル
１０ データソース
１１ データサンプルドメイン
１２ データ処理
１３ 変換モデル
１４ 認識システム
１５ 予測システム

Claims (30)

1. （ａ）空間の第１のサンプル（１）と第２のサンプル（２）とを比較することにより、信号ペアの集合を提供する工程であって、該第１のサンプル（１）および該第２のサンプル（２）は変換の集合に関連付けられており、各信号ペアが該第１および第２のサンプルにおいて実質的に同一な該空間の特徴に対応する、工程と、
   （ｂ）各信号ペアに対して、各サンプルの特徴の位置における該空間の値の差に対応する残差を評価する（５１）工程と、
   （ｃ）該残差から該変換の集合の第１の推定を評価する（５２）工程と、
   （ｄ）該空間における流れの方向を表すテンソル場を推定する（５３）工程であって、該テンソル場は該空間の少なくとも１点に及ぶ、工程と、
   （ｅ）該第１の推定と該テンソル場とから、各信号ペアの該残差を再算出する（５４）ことにより、該変換の集合の該推定を改善する工程と
   を包含する、データを処理する方法。
2. 工程（ｄ）および（ｅ）を少なくとも１回繰り返すさらなる工程を包含する、請求項１に記載の方法。
3. 工程（ａ）が信号マッチングアルゴリズムを用いることを包含する、請求項１または２に記載の方法。
4. 前記残差ｄ_ｋがｆ’（ｐ_ｋ）−ｆ”（ｐ_ｋ＋ｔ_ｋ）と等しく、ｆ’（ｐ_ｋ）およびｆ”（ｐ_ｋ＋ｔ_ｋ）は、それぞれ点ｐ_ｋおよび点（ｐ_ｋ＋ｔ_ｋ）において測定された、空間において実質的に同一な特徴に対応する信号ペアであり、ｔ_ｋは前記変換の集合を表し、ｋは各信号ペアの指標である、請求項１〜３のいずれか１項に記載の方法。
5. 工程（ｃ）が｜ｄ_ｋ｜_Ｍ＝（ｄ_ｋ ^ＴＭｄ_ｋ）^１／２となるように対称正定値行列Ｍを定義することと、ｔ_ｋに対して｜ｄ_ｋ｜_Ｍを最小化することとを包含する、請求項４に記載の方法。
6. 工程（ｄ）が、前記空間における各点に対してテンソル場を推定することを包含する、請求項１〜５のいずれか１項に記載の方法。
7. 工程（ｄ）が、前記変換の集合の前推定から得られた既存のテンソルを内挿することにより、テンソルが決定されていない領域のテンソルを決定することを包含する、請求項１〜６のいずれか１項に記載の方法。
8. 前記内挿が近傍重み関数に基づき、該近傍重み関数の値は、各信号ペアの位置から離れるにつれて単調に減少する、請求項７に記載の方法。
9. 前記近傍重み関数がガウス関数である、請求項８に記載の方法。
10. 前記テンソル場を用いることにより、前記変換の集合を表す行列Ｍ_ｆを前記空間の各点において算出する、請求項１〜９のいずれか１項に記載の方法。
11. 前記行列Ｍ_ｆの固有値が前記変換の集合の次元の数に適合するように選択される、請求項１０に記載の方法。
12. 前記方法が、収束条件が満たされるまで反復される、請求項２に記載の方法。
13. 前記変換の集合における前記推定の次元の数が少なくとも１つの制限を受ける、請求項１〜１２のいずれか１項に記載の方法。
14. 前記制限が空間の平滑さへの制限である、請求項１３に記載の方法。
15. 前記制限が二色性モデルの制限である、請求項１３に記載の方法。
16. 前記空間が赤−緑−青の色空間であり、該空間の前記第１および第２のサンプルが第１および第２の画像であり、前記変換の集合が該画像内の各点における空間の差を表す、請求項１〜１５のいずれか１項に記載の方法。
17. 前記第１および第２の画像が立体画像であり、前記空間の差が視差である、請求項１６に記載の方法。
18. 請求項１〜１７のいずれか１項に記載の方法が含まれる、画像を認識する方法。
19. 請求項１〜１７のいずれか１項に記載の方法が含まれる、画像を予測する方法。
20. 請求項１〜１７のいずれか１項に記載の方法が含まれる、第１の画像と第２の画像との間における変換のモデルを作成する方法であって、該モデルが前記推定されたテンソル場を備える、方法。
21. 第１の画像と第２の画像との視差を推定する方法であって、
    第１および第２の画像の対応する特徴のための第１および第２の視差マップを算出することであって、それぞれ、該第１視差マップが第２の画像に対する第１の画像の視差を表し、該第２視差マップが第１の画像に対する第２の画像の視差を表す、ことと、
    該第１および第２の視差マップから不整合なエントリを除去することにより、クロスチェックされた第３の視差マップを得ることと、
    前記変換の集合の前記第１の推定として該第３の視差マップを用いて請求項１〜１５のいずれか１項に記載の方法を実行することにより、該第３の視差マップを改善することと
    を包含する、方法。
22. 請求項１〜１７のいずれか１項に記載の方法を実行することを包含するビデオストリームにおける動作を推定する方法であって、前記第１および第２のサンプルが赤−緑−青の色空間のビデオストリームの画像ペアである、方法。
23. 工程（ｄ）が、前記ビデオストリームの前画像ペアをマッチングするときにおいて評価された前テンソル場を用いて現テンソル場を推定する工程を包含する、請求項２２に記載の方法。
24. 前記現テンソル場が前記前テンソル場から再帰的に推定される、請求項２３に記載の方法。
25. 前記データがオーディオデータである、請求項１〜１５のいずれか１項に記載の方法を包含した音声認識アルゴリズム。
26. 請求項１〜２５のいずれか１項に記載の方法を実行するコンピュータを制御するプログラム。
27. 記憶媒体に格納された請求項２６に記載のプログラム。
28. 通信ネットワークを介した請求項２６に記載のプログラムの伝送。
29. 請求項１〜２５のいずれか１項に記載の方法を実行するようにプログラムされたコンピュータ。
30. 信号をマッチングする装置であって、
    （ａ）空間の第１のサンプルと第２のサンプルとを比較することにより、信号ペアの集合を提供する手段であって、該第１のサンプルおよび該第２のサンプルは変換の集合に関連付けられており、各信号ペアが該第１および第２のサンプルにおいて実質的に同一な該空間の特徴に対応する、手段と、
    （ｂ）各信号ペアに対して、各サンプルの特徴の位置における該空間の特徴の差に対応する残差を評価する手段と、
    （ｃ）該残差を用いて該変換の集合の第１の推定を評価する手段と、
    （ｄ）該空間における流れの方向を表すテンソル場を推定する手段であって、該テンソル場は該空間の各点に及ぶ、手段と、
    （ｅ）該第１の推定と該テンソル場とから、各信号ペアの該残差を再算出することにより、該変換の集合の該推定を改善する手段と
    を備えた、装置。

Images