JP2004362572A - 較正された多視点画像シーケンスの圧縮のための動き推定 - Google Patents

Abstract

【課題】 較正された多視点画像シーケンスの圧縮のための動き推定を行う。
【解決手段】 本発明は、基準画像に対する中間画像の複数のテッセルのそれぞれの動きを推定する方法を包含し、この方法は、基準画像を探索することであって、それによって、結果が最良マッチング形状になるテッセルの左上の頂点および右下の頂点にそれぞれ対応する基準画像のエピポーラ線に沿って位置する点を検出する基準画像を探索することと、テッセルの頂点の少なくとも２つのそれぞれの奥行きを推定することと、テッセルの少なくとも２つの頂点の奥行きの推定を使用することであって、それによって、最良マッチング形状に対するテッセルの動きを推定するテッセルの少なくとも２つの頂点の奥行きの推定を使用することとを含む。
【選択図】図１

Description

較正された多視点画像シーケンスの圧縮のための動き推定に関する。

ビデオシーケンスの動き推定は、通常、ブロック動きモデルを使用して行われる。
ほとんどのビデオの規格は、平行移動ブロック動きモデル(translational block motion model)を使用する。
このモデルでは、現フレームのブロックが、そのブロックの可能な平行移動位置に対応する次フレームのピクセルと相関される。
次フレームにおける最良のマッチングブロックの探索が行われる。
現フレームにおいて対応するブロックの位置に対する、次フレームにおいて特定された最良のマッチングブロックのベクトル移動は、ブロックの動きを表す。

平行移動ブロック動きモデル以外のブロック動きモデルが、フレーム間のオブジェクトの回転および透視効果を補償するために提案されている。
これらの他のブロック動きモデルは、より大きなパラメータ空間を探索して、ブロックの平行移動に加えてブロックの形状の変化を説明するので、平行移動ブロック動きモデルよりも正確である。
その変換パラメータは、（ブロック予測誤差を最小にする点で）最良のマッチング形状から直接得られる。
しかしながら、これらの他のブロック動きモデルには、２つのパラメータだけを必要とする単純な平行移動ブロック動きモデルと比較して、より多くのパラメータが必要とされる。

パラメトリックブロックマッチングによると、基準フレームの形状歪みは、現フレームでマッチングされるブロックとパラメータ変換により関係付けられる。
しかしながら、パラメトリックブロックマッチング動き推定方法は、較正された多視点画像シーケンスの場合に存在する幾何学的関係を無視する。
較正された多視点画像シーケンスの例は、回転するターンテーブル上に固定されたオブジェクトを、事前に較正された１台のカメラにより取り込んだ画像シーケンスである。
別の例は、同じ静的シーンを複数台の較正されたカメラにより取り込んだ画像シーケンスである。
これらの画像シーケンスは、オブジェクト／カメラ／画像が既知の幾何学的配列によって関係付けられている点で、一般のビデオシーケンスとは異なる。

多視点画像シーケンスの既知の幾何学的関係を利用して補償性能の改善を達成するために、パラメトリックブロック探索によらない動き推定方法が考案されている。
これらの方法は、内部カメラパラメータおよび外部カメラパラメータが判明すると、ある視点から次の視点への点の移動が、その奥行きのみに依存することを利用する。
これらの方法は、通常、予測されるフレームを正方形ブロックに分割する。
中間視点のブロックが、一定の奥行きＺ_{ｂｌｏｃｋ}を有すると仮定すると、Ｚ_{ｂｌｏｃｋ}を変化させることにより、基準視点内の所与のブロックの移動位置が得られる。
なお、形状間の空間変換を計算する既知の技法は、非特許文献１に開示されている。
また、内部カメラパラメータおよび／または外部カメラパラメータが事前に判明していていない場合にパラメータを推定する技法は、非特許文献２に開示されている。
「Digital Video Processing (A. Murat Tekalp著, 1995)」 「Multiple view geometry in computer vision (Cambridge Univ. Press, R. HartleyおよびA. Zisserman著, 2001)」

最良のマッチングをもたらす奥行きパラメータＺ_{ｂｌｏｃｋ}は、そのブロックの動き記述子(motion descriptor)として選択される。
しかしながら、ブロック内のすべてのピクセルが、同じ奥行きを有するとの仮定は、モデルの確度を制限する。

本発明は一つの態様において、基準画像に対する中間画像の複数のテッセルのそれぞれの動きを推定する方法を包含し、この方法は、基準画像を探索することであって、それによって、結果が最良マッチング形状になる、テッセルの左上の頂点および右下の頂点にそれぞれ対応する基準画像のエピポーラ線に沿って位置する点を検出する、基準画像を探索すること、テッセルの頂点の少なくとも２つのそれぞれの奥行きを推定すること、テッセルの少なくとも２つの頂点の奥行きの推定を使用することであって、それによって、最良マッチング形状に対するテッセルの動きを推定する、テッセルの少なくとも２つの頂点の奥行きの推定を使用すること、とを含む。

本発明の他の態様および利点は、本発明の原理を例によって示す添付図面と共に行われる以下の詳細な説明から明らかになるであろう。

一般に、較正された多数の視点画像（「多視点画像」）の場合、内部カメラパラメータ（例えば、焦点距離、センサのアスペクト比、焦点面のスキュー、およびラジアルレンズ歪み(radial lens distortion)）と、外部動きパラメータ（例えば、基準カメラ位置に対する回転および平行移動）とが、一般に、高精度および高確度で判明しているか、または、一般に容易に得られる。
一般性を失うことなく、基準カメラによって得られる静的シーンの視点と、この基準カメラに対して回転Ｒ１および平行移動ｔ１を受けた別のカメラとによって得られる静的シーンの視点との２つの視点の場合について考える。

それぞれのカメラの内部パラメータをＫ０およびＫ１で表すと、双方のカメラを通じて見えるワールド点Ｘ = (Ｘ，Ｙ，Ｚ，１)の画像は、以下の方程式（１）によって関係付けられる。
(1) x₁ = K₁R₁K₀ ^-1x₀+(K₁t₁)/Z
上記方程式（１）において、x₀は、基準カメラによって形成された画像におけるワールド点Ｘの投影であり、x₁は、別のカメラによって形成された画像におけるワールド点Ｘの投影である。
すべての画像が、カメラの較正に基づいてレンズ歪みの補正を受けているか、または、適用される補正が、較正データから計算可能であると仮定されるので、内部パラメータ行列K₀およびK₁は、非線形レンズ歪みを説明しない。
単に簡略にするためだけの理由から、レンズ歪みは、方程式（１）では考慮されていない。

次に図１を参照して、本発明の画像符号化／復号方法の現在考えられる好ましい実施の形態の方法は、（画像較正後の）４つの基本段階からなる。
これらの４つの段階は、ブロック１０、２０、３０、４０／５０でそれぞれ示され、以下において、それぞれローマ数字Ｉ〜ＩＶによって特定される個別の見出しの後に解説される。
回転するターンテーブル上のオブジェクトの場合、３つの視点のみを較正する必要があることに留意すべきである。
これらの３つの視点とは、すなわち、汎用的な基準視点と同じだけ遠く離れて間隔を置いて配置された２つの視点、および、第１の基準視点からの最小の増分視点(incremental view)を表す１つの中間視点である。
それ以外のすべての視点の回転および平行移動は、この較正から推測することができる。
すべての視点が、同じカメラで撮影される場合、内部カメラパラメータは、すべての視点について同じである。

Ｉ．前処理
図１に示す方法の第１の段階１０は、本明細書では「前処理」と呼ばれ、以下のステップを含む。

１）基準フレームの組が、すべての視点から選択される。
この選択は、視点の組を一様にサンプリングすることによるか、または、視点の組を非一様にサンプリングすることにより行うことができる。
非一様なサンプリングの場合、すべての視点を分析し、例えば、中間視点の個数、または、信頼性のある奥行き推定が得られた視点の個数を最大にする一方で、オクルージョンの結合最小化(joint minimization)を行うような基準に基づいて視点を選び、基準フレームとして使用することにより、基準視点を得ることができる。

２）１つの中間視点Ｉ_ｋを基準視点Ｒ０に関係付ける基本行列Ｆ₁ ^Tが、以下の方程式（２）に従って、基準視点Ｒ０に対するカメラの光学的中心に対応するワールド原点を用いて既知の較正データから計算される。
(2) F₁ ^T = K₁ ^-T［t₁］_xR₁K₀ ^-１

３）この中間視点Ｉ_k（予測される）が、テッセレート(tesselate)される。
最も簡単な正方形のテッセレーション(tesselation)が使用される場合、画像Ｉ_ｋは、単純に、正方形のテッセル(tessel)に分割される。
中間視点Ｉ_ｋのそれぞれのバーテックスポイントx₁に対して、対応する点x₀が基準視点Ｒ０におけるエピポーラ線Ｉ₀ = Ｆ₁x₁に沿って探索される。
点x₁は、エピポーラ線Ｉ₀を全面的にトラバースすることによるか、または、x₁の近傍のエピポーラ線セグメントを単にトラバースすることにより、マッチングさせることができる。
後者の手法により、マッチングの複雑度が低減される。
近傍の情報は、局所的な滑らかさを実現するために使用できるが、実際のマッチング自体は、エピポーラ線に沿って行われる。

４）点の対応付けおよび較正データから、画像化されたx₀およびx₁に対応するワールド点Ｘの奥行きが、方程式（１）から求められる。
この奥行きが、ＸのＺ成分である。

正方形テッセルを使用するのではなく、他の任意のテッセレーション方式を使用することができる。
例えば、良好な点の一致が基準フレームで得られる点に基づいて、中間フレームをテッセレートすることができる。
これらの点は、奥行き推定が最も信頼性を有する点である。
この場合のテッセルは、奥行き推定が信頼性を有する点としての頂点を有するポリゴンである。

ＩＩ．動き推定
図１に示す方法の第２の段階２０は、本明細書では「動き推定」と呼ばれ、以下のステップを含む。

１）図２に示すように、中間視点Ｉ_kの各テッセルは、変換され、その変換されたテッセルの頂点ピクセルの位置を、最良のマッチング形状になる基準フレーム（複数可）Ｒ０、Ｒ１のそれぞれの頂点ピクセルの位置にマッピングすることにより、一般化された形状にされる。
これらのテッセレーションのそれぞれを一般化された形状へどのようにマッピングするかは、各テッセルについて最良の空間変換を単に計算することにより決定することができる。
したがって、あらゆる合成された視点に対して任意の形状内で滑らかさを保証することができる。
この空間変換は、テッセルの頂点またはバーテックスポイントの推定された奥行きＺの関数である。
中間視点Ｉ_ｋと基準視点Ｒ０との間のテッセル変換用の空間変換パラメータが判明すると、中間視点Ｉ_kと基準視点Ｒ０との間の空間変換を計算することができる。
形状間の空間変換を計算する既知の技法は、１９９５年にPrentice Hallによって出版されたA. Murat Tekalp著の「Digital Video Processing」という題名の書籍に記載されている。
上述したように、すべてのフレームについての内部カメラパラメータおよび外部カメラパラメータは、事前に判明している。
しかしながら、内部カメラパラメータおよび／または外部カメラパラメータが事前に判明していていない場合には、例えば、２００１年のCambridge Univ. PressのR. HartleyおよびA. Zisserman著の「Multiple view geometry in computer vision」に記載された技法を使用して、それらのパラメータを推定することができる。
その後、中間フレームＩ_ｋのテッセルの少なくとも２つの頂点の奥行き推定を使用して、そのテッセル内のピクセルの動きを補間することができる。
あるいは、空間変換を明示的に計算することなく、バーテックスポイント（頂点）の奥行き／動きから、テッセル内のピクセルの動きを補間してもよい。
以下に説明するように、静止カメラおよび回転するターンテーブルを使用して取り込まれた画像シーケンスの例示的な実施の形態は、この後者の手法を利用する。

２）変換されたピクセル位置を使用して、当業者に既知の方法で、移動フレーム差分(displaced frame difference）が計算される。

ＩＩＩ．圧縮
２つ以上の基準フレーム（例えば、基準フレームＲ０およびＲ１）を、中間フレームＩ_ｋのテッセルの動き推定に使用することができる。
これは、ＭＰＥＧの双方向動き推定に類似している。

図１に示す方法の第３の段階３０は、本明細書では「圧縮」と呼ばれる。
中間フレームＩ_kの動きが、基準フレーム（複数可）Ｒ０、(Ｒ１)に対して予測されるので、移動フレーム差分を符号化するのに費やされるビットは、別の方法として中間フレームＩ_kを独立に符号化するのに費やされるビットよりも少なくなる。
それによって、符号化が効率的になる。
疎な奥行き推定が行われる場合、符号化のオーバーヘッドは、移動フレーム差分、基準フレーム（複数可）、および較正データを符号化するのに費やされるビットのほかに、テッセレーション（オプション）を符号化するために使用されるビットと、テッセレーションのそれぞれについての空間変換パラメータを符号化するために費やされるビットとを構成する。
移動フレーム差分の圧縮は、既知の画像圧縮アルゴリズム、例えば「Digital Video Processing」という題名の書籍に記載されたアルゴリズムを使用して行うことができ、それによって、圧縮ビットストリームが生成される。

ＩＶ．伸張
図１に示す方法の第４の段階４０は、本明細書では「伸張」と呼ばれ、以下のステップを含む。

１）第１に、圧縮ビットストリームを伸張するために、基準画像が、テッセレーションデータ（疎な奥行き推定の場合）、および較正データと共に伸張される。

２）第２に、中間フレームＩ_kを得るために、中間フレームＩ_kの移動フレーム差分および空間変換パラメータが伸張される。

３）そして、適切な空間変換が適用されて、現テッセルを予測する基準フレームのピクセルが求められ、その結果の値が、移動フレーム差分に追加される。

次に図３を参照して、較正された静止カメラの前に配置された回転式ターンテーブル上で回転するオブジェクトの複数の画像を取り込む場合について、本発明の例示的な実施の形態を以下に説明する。
概観すると、この例示的な実施の形態によれば、予測符号化される中間画像Ｉ_ｋを、例えば８×８ブロックまたは１６×１６ブロックの複数の小さな正方形画像テッセル６０に分割するために、簡単な正方形テッセレーションが使用される。
それぞれの画像テッセル６０について、基準画像（複数可）が探索され、結果が最良マッチング形状（複数可）になる、そのテッセル６０の左上の頂点および右下の頂点にそれぞれ対応する基準画像（複数可）のエピポーラ線（複数可）またはエピポーラ線セグメント（複数可）に沿って位置する点が検出される。
図３に示す例では、基準フレームＲ０において検出される最良マッチング形状は、長方形ブロック７２である。
この基準フレームＲ０の長方形ブロック７２は、予測符号化される現画像のテッセル６０と同じ大きさでなくてもよい。
したがって、予測符号化される現画像のテッセル６０の予測値は、基準フレームＲ０における長方形ブロック７２の隣接するピクセル値から補間することによって得られる。

基準フレームＲ０において特定された最良マッチング形状に対する、予測符号化される現画像のテッセル６０の左上の頂点Ｖ１および右下の頂点Ｖ２の動き（および、したがって暗黙的には奥行きＺ）が、計算される。
予測符号化される現テッセル６０の左上の頂点の元の位置および右下の頂点の元の位置をそれぞれx_Lおよびx_Rと表し、基準画像Ｒ０内の対応する位置をそれぞれx_L'およびx_R'と表すと、対応する動きベクトルのｘ成分は、Δx_L = x_L-x_L'およびΔx_R = x_R-x_R'となる。
予測符号化されるテッセル６０内のピクセルｘの動きは、Δx = Δx_L+(Δx_R-Δx_L)*(x-x_L)/(x_R-x_L)とする直線補間を使用して補間される。

この動き予測／推定モデルは、多視点シーケンスの画像間の既知の幾何学的関係、および、画像とカメラとの既知の幾何学的関係により可能となる。
上述したように、較正されたカメラの内部パラメータおよび外部パラメータは、事前に判明している。
撮影と撮影の間（画像と画像の間）のターンテーブルの回転角θも判明している。
オブジェクトの回転は、ｘ軸方向に沿った画像の移動（すなわち水平方向の移動）のみを引き起こすものと仮定する。
しかしながら、数学的関係の同様の組を使用して、垂直方向の移動も同様に考慮できることが分かる。

次に図４を参照して、回転式ターンテーブル８４上に設置されたオブジェクト８２の画像８０のシーケンスを見ることができる。
画像８０のそれぞれは、ターンテーブル８２が回転角θずつ回転した後に、較正された静止カメラ（図示せず）によって取り込まれた同じオブジェクト８２の異なる視点を構成する。
ここで、θ = ３６０°／Ｎであり、Ｎは、カメラによって取り込まれる異なる画像／視点の個数を表す。
図３に示す例示的な場合では、Ｎは８であり、したがってθ = ４５°である。
したがって、連続したそれぞれの画像８０は、前の画像８０で取り込まれたオブジェクト８２の視点から４５°離れた視点からオブジェクト８２を取り込んだものである。
換言すると、多視点画像シーケンスの連続画像８０は、静止カメラに対する、ターンテーブル８４の連続的にインデックスされた（角度）位置に対応するオブジェクト８２の視点に対応する。

次に図５を参照して、図４に示す多視点画像シーケンスを取り込むのに使用されたカメラ−ターンテーブルの配置に関して存在する幾何学的関係を示す図を見ることができる。
図５において、Ｄは、オブジェクト８２とカメラとの間の距離を表す。
ｆは、カメラレンズの焦点距離を表す。
Ｒ１は、対象となる点Ｐ１とターンテーブル８４の中心Ｃとの間の距離を表す。
θ１は、Ｐ１の角度位置を表す。
θ１＋Δθは、オブジェクト８２が回転角Δθだけ回転した後の同じ対象となる点Ｐ１'の角度位置を表す。
Δθ = ２π／Ｎであり、一定である。
この画像平面では、Ｐ１のｘの投影位置は、(Ｄ>>Ｒ１と仮定すると）以下の方程式（３）によって求められる。
(3) x1 = f/D*(-R1*cosθ1-B)

ターンテーブル８４が回転角Δθを回転した後、対象となる点Ｐ１のｘの新しい投影位置ｘ１'は、以下の式（４）によって求められる。
(4) x1' = f/D*(-R1*cos(θ1+Δθ)-B)

Ｐ１の動きベクトルのｘ成分は、以下の式（５）によって求められる。
(5) Δx1 = x1'-x1 = ｆ/Ｄ*R1*２*sin(Δθ/2)*sin(θ1+Δθ/2)

考察中の例示的な実施の形態において、予測符号化される各画像テッセル用の２つの動きベクトルは伝送される。
一方の動きベクトルは、テッセルの左端用であり、他方の動きベクトルは、テッセルの右端用である。
テッセルは正方形であるので、各テッセルの左上の頂点および右下の頂点の反対側の端に対応する２つの動きベクトルを生成するには、各テッセルの左上の頂点および右下の頂点の動き（および、したがって奥行きＺ）を決定することだけが必要とされる。
Ｐ１およびＰ３が、θで取り込まれた画像またはフレームにおいて予測符号化される所与のテッセルの左上の頂点（端点）および右下の頂点（端点）を表すものと仮定し、Ｐ２が、Ｐ１とＰ３との間の点またはピクセルであると仮定すると、これら３つの点の動きベクトルのｘ成分は、以下の方程式（６）に従って関係付けられる。
(6) (Δx2-Δx1)/(Δx3-Δx1) =
(R2*sin(θ2+Δθ/2)-R1*sin(θ1+Δθ/2))/(R3*sin(θ3+Δθ/2)-R1*sin(θ1+Δθ/2))

テッセル内の任意のピクセルの動きベクトルを計算するために直線補間を使用する場合、Δｘ２を求めるための以下の方程式（７）が得られる。
(7) Δx2 = Δx1+(Δx3-Δx1)*(x2-x1)/(x3-x1)

数式(x2-x1)/(x3-x1)は、以下の方程式（８）によって求めることができる。
(8) (x2-x1)/(x3-x1) = (R2*cosθ2-R1*cosθ1)/(R3*cosθ3-R1*cosθ1)

換言すると、上記方程式（７）は、以下の方程式（９）によって表される仮定に基づいている。
(9) (R2*sin(θ2+Δθ/2)-R1*sin(θ1+Δθ/2))/(R3*sin(θ3+Δθ/2)-R1*sin(θ1+Δθ/2)) = (R2*cosθ2-R1*cosθ1)/(R3*cosθ3-R1*cosθ1)

小さな角度差分Δθ／２を無視すると、上記方程式（９）は、Ｐ２が直線Ｐ１Ｐ３上に位置することを意味している。
このことは、３つのすべての点Ｐ１、Ｐ２、およびＰ３が、画像平面から等距離（すなわち、同じ奥行きＺ）にあるとの仮定よりもはるかに良い近似である。
なお、この仮定は、従来の平行移動のみの動きモデル（すなわち、Δx2 = Δx1 = Δx3)を正当化するためになされる仮定である。
換言すると、２つの動きベクトルが、画像テッセルの左上の頂点および右下の頂点（コーナピクセルまたは端点ピクセル）の奥行きの推定に基づいてその画像テッセルを予測符号化するのに使用される場合、そのテッセルの表面は、１次近似されるのに対して、平行移動のみの動きモデルによると、テッセルの表面は、０次近似しかされない。
テッセルの頂点が、同じ奥行きＺに実際に位置する場合を除くすべての場合において、１次の動き予測／推定モデルは、０次の動き予測／推定モデルよりも正確である。

本発明により、正方形テッセルよりも一般的なテッセレーションが可能になり、多視点画像シーケンスの画像のテッセルの動き／奥行きを、予測符号化されるテッセルの３つ以上の頂点の動き／奥行きの推定に基づいて予測することが可能になる。

本発明の方法は、ソフトウェア、ファームウェア、および／またはハードウェアで実施することができる。
例えば、この方法は、ホストコンピュータのプロセッサ、および／または、レーザプリンタもしくはレーザ印刷システムのような画像形成デバイスのプロセッサにインストールまたはインスタンス化されるソフトウェア（実行可能コード）で実施することができる。
あるいは、この方法は、ＡＳＩＣ（特定用途向け集積回路）またはマイクロコントローラのような専用論理デバイスまたは特別にプログラミングされた論理デバイスで実施することができる。

図６を参照して、この図は、上述した方法を実施する例示的なマシン６１０を示ししている。
このマシン６１０は、プロセッサ６１２およびメモリ６１４を含む。
メモリ６１４は、プロセッサにこの方法を実行するように命令するコード６１６を収容する。
マシン６１０は、コンピュータ、カメラ、プリンタなどであることができる。

本発明は、その最も広い態様においては、いかなる特定の状況にもいかなる特定の用途にも限定されず、逆に、例えば、コンピュータシステム、コンピュータソフトウェア、コーデック、イメージキャプチャシステムなどのあらゆる画像処理の用途に広く適用することができる。

本発明のさまざまな例示の実施の形態を本明細書で説明してきたが、一般に、当業者には理解できる本発明の多くの変形形態、変更形態、および代替的な実施の形態が、特許請求の範囲によって画定されるように本発明に包含されることが理解されるべきである。

本発明による例示的な実施の形態の方法を示すフローチャート図である。 中間フレームを基準フレームの一般化された形状へ空間変換する様子を図的に示す図である。 中間画像の正方形ブロックに対する最良マッチングブロックを求めて、基準画像の長方形探索領域を探索する様子を図的に示す図である。 回転式ターンテーブルの前に配置された静止カメラによって取り込まれる、回転式ターンテーブル上に設置されたオブジェクトの多視点画像シーケンスの図である。 図４に示す多視点画像シーケンスを取り込むのに使用されたカメラ−ターンテーブルの配置に関して存在する幾何学的関係を示す図である。 本発明の一実施の形態による装置の図である。

符号の説明

６０・・・正方形画像テッセル、
７２・・・長方形ブロック、
８２・・・オブジェクト、
８４・・・回転式ターンテーブル、
６１０・・・マシン、
６１２・・・プロセッサ、
６１４・・・メモリ、

Claims (9)

1. 基準画像に対する中間画像の複数のテッセルのそれぞれの動きを推定する方法であって、
   前記基準画像を探索することであって、それによって、結果が最良マッチング形状になる、前記テッセルの左上の頂点および右下の頂点にそれぞれ対応する前記基準画像のエピポーラ線に沿って位置する点を検出する前記基準画像を探索すること（２０）と、
   前記テッセルの前記頂点の少なくとも２つのそれぞれの奥行きを推定すること（２０）と、
   前記テッセルの前記少なくとも２つの頂点の前記奥行きの推定を使用することであって、それによって、前記最良マッチング形状に対する前記テッセルの動きを推定する前記テッセルの前記少なくとも２つの頂点の前記奥行きの推定を使用すること（２０）と
   とを含む方法。
2. 前記基準画像および前記中間画像は、少なくとも１つの内部パラメータを有するカメラによって取り込まれ、
   前記テッセルの前記頂点の少なくとも２つのそれぞれの奥行きを推定することは、前記カメラの前記少なくとも１つの内部パラメータを使用して行われる
   請求項１に記載の方法。
3. 前記画像は、回転角θごとに分離され、
   前記基準画像に対する前記中間画像の回転および平行移動は外部パラメータ
   を含む
   請求項１に記載の方法。
4. 前記テッセルの前記頂点の少なくとも２つのそれぞれの奥行きを推定することは、前記基準画像と前記中間画像との間の幾何学的関係に基づいて行われる
   請求項１に記載の方法。
5. 前記中間画像および前記基準画像は、カメラによって取り込まれて、ターンテーブル上に設置されたオブジェクトを表し、
   該ターンテーブルおよび該カメラは、連続した画像の取り込みの間にθの相対的回転を受ける
   請求項１に記載の方法。
6. 前記基準画像に対する前記中間画像の前記複数のテッセルのそれぞれの動きを推定することは、
   空間変換を使用することであって、それによって、前記テッセルの少なくとも２つの頂点を前記最良マッチング形状の形の対応する点にマッピングする空間変換を使用すること
   をさらに含む
   請求項１に記載の方法。
7. 前記基準画像に対する前記中間画像の前記複数のテッセルのそれぞれの動きを推定することは、
   空間変換を使用することであって、それによって、前記テッセルの形状を前記最良マッチング形状の形に変換する空間変換を使用すること
   をさらに含む
   請求項１に記載の方法。
8. 前記基準画像に対する前記中間画像の前記複数のテッセルのそれぞれの動きを推定することは、
   空間変換を使用することであって、それによって、前記テッセルを一般化された形状に変換する、空間変換を使用すること
   をさらに含む
   請求項１に記載の方法。
9. 前記テッセルの前記少なくとも２つの頂点の対応する奥行きの前記奥行き推定に基づいて、少なくとも２つの動きベクトルを生成すること
   をさらに含む請求項１に記載の方法。

Images