JP2011204230A - 環境に配置された物体の表面上の放物線状湾曲の点を求めるための方法およびシステム - Google Patents

Abstract

【課題】カメラ−物体対と環境との間の相対運動のもとでカメラによって取得された物体の画像のセットから鏡面物体の表面上の放物線状湾曲の点を求めるためのシステムおよび方法を提供する。
【解決手段】方法は、画像のセットにおける各画像の各ピクセルにおける画像勾配の方向を求める。ここで、物体の表面上の同一点に対応する異なる画像からのピクセルが、対応するピクセルを形成する。画像勾配の実質的に一定の方向を有する対応するピクセルは、放物線状湾曲の点を表すピクセルとして選択される。
【選択図】図１

Description

本発明は、包括的には、放物線状湾曲（parabolic curvature）の点を求めることに関し、より詳細には、鏡面物体の表面上の放物線状湾曲の点を求めることに関する。

画像不変量（image invariants）は、カメラおよび／または照明のパラメータの変化によって変化しない物体の画像の特性である。例えば、幾何学的不変量は、物体の異なる部分の見かけのサイズに関係し、したがって、拡散物体、鏡面物体、および透明物体を含めて、表面のあらゆる反射特性を有する物体に等しく有効である。しかしながら、物体の画像から幾何学的不変量を使用するには、画像全体にわたる点対応が識別されるべきである。拡散物体は、測光特徴を有するので、拡散物体の画像から点対応を識別することは、意味のある作業である。しかし、鏡面物体、すなわち、鏡のような反射率を備えた表面を有する物体は、それ自身の外観を有しておらず、それどころか、物体を取り囲む環境の歪んだビューを提示する。

したがって、鏡面物体の画像特徴記述子（image feature descriptor）を使用して点対応を識別することは、困難な課題である。画像特徴記述子は、物体の表面上の同じ点には対応しない、環境の反射と反射との間の対応を見つける。したがって、周囲の環境に対して不変である鏡面物体の測光特性を見つける必要がある。

放物線状湾曲の点は、拡散物体および／または鏡面物体の形状を知覚する上で基本的なものである。これらの点は、表面の幾何学的特性に対応するので、これらの点は、その結果、物体認識、姿勢推定、および形状正則化等のさまざまなマシンビジョンタスクに使用することができる。

したがって、鏡面物体の表面の形状および／または周囲環境についての知識なしで、放物線状湾曲を示す点の周りの鏡面の画像の測光特性を求めることが望まれている。

鏡面物体の表面上の放物線状湾曲の点を求めるための方法を提供することが本主題発明の目的である。

物体の形状および／または周囲環境についての事前の知識なしで放物線状湾曲の点を求めるこのような方法を提供することが本発明のさらなる目的である。

鏡面物体の未較正の画像に基づいて放物線状湾曲の点を求めるこのような方法を提供することが本発明のさらなる目的である。

一定の画像化セットアップのもとでの鏡面物体について、放物線状湾曲の点における画像導関数が、周囲環境から独立した退化（degeneracy）を示すことを実証すること、およびこれらの退化を使用して放物線状湾曲の点を求める方法を提供することが本発明のさらなる目的である。

物体検出、物体認識、および姿勢推定に放物線状湾曲の点を使用するための方法を提供することが本発明のさらなる目的である。

本主題発明は、カメラ−物体対と環境との間の相対運動のもとで、物体の表面の各点に関連付けられた環境の特徴が任意に変化するという認識に由来するものである。一方、放物線状湾曲の点は、鏡面物体の表面に関係しており、したがって、放物線状湾曲のこれらの点に関連付けられた画像勾配の方向は、実質的に一定である。

本発明の１つの実施の形態は、カメラ−物体対と環境との間の相対運動のもとでカメラによって取得された物体の画像のセットから鏡面物体の表面上の放物線状湾曲の点を求めるための方法を開示する。本方法は、画像のセットにおける各画像の各ピクセルにおける画像勾配の方向を求める。ここで、物体の表面上の同一点に対応する異なる画像からのピクセルが、対応するピクセルを形成する。画像勾配の実質的に一定の方向を有する対応するピクセルは、放物線状湾曲の点を表すピクセルとして選択される。

別の実施の形態は、環境に配置された物体の表面上の放物線状湾曲の点を求めるためのシステムを開示する。ここで、物体は、鏡面物体である。本システムは、カメラ−物体対と環境との間の相対運動のもとで物体の画像のセットを取得するように構成されるカメラ−物体対と、画像のセットにおける各画像の各ピクセルにおける画像勾配の方向を求めるように構成されるプロセッサであって、物体の表面上の同一点に対応する異なる画像からのピクセルが、対応するピクセルを形成し、該プロセッサは、画像勾配の実質的に一定の方向を有する対応するピクセルを、放物線状湾曲の点を表すピクセルとして選択する、プロセッサとを備える。

本発明の１つの実施の形態による物体の表面の放物線状湾曲の点を求めるための方法のブロック図である。 本発明の１つの実施の形態による画像形成モデルの概略図である。 放物線状湾曲の点の例である。 放物線状湾曲のデータベースの一例である。 画像勾配を視覚化したものである。 放物点および非放物点における環境反射の一例である。

図１は、環境１３０に配置された物体１１５の表面上の放物線状湾曲の点１１０を求めるための方法１００を示す。この物体は、表面の放物線状湾曲を有する鏡面物体である。放物線状湾曲の点は、表面の点であり、この表面は、１つの方向のみに沿った曲がり（湾曲）を有しない。例えば、物体が円柱である場合、円柱の表面は、円柱の軸から固定距離の点によって形成される。円柱の表面は、例えば、軸に垂直な方向に曲がっている。一方、表面は、円柱の高さに沿った軸に平行な方向での曲がりを有しない。図３（Ａ）には、表面３２０の放物線状湾曲の点３１０の例が示されている。

放物線状湾曲の点は、カメラ−物体対１２５と環境との間の相対運動１７０のもとでカメラ１２０によって取得された物体の画像のセット｛Ｉ_ｊ｝１４０に基づいて求められる。カメラ−物体対において、カメラと物体との間の相対的な姿勢は、維持されている。異なる実施の形態では、カメラ−物体対と環境との間の相対運動は、カメラ−物体対および／または環境を任意に移動させることによって達成される。例えば、１つの実施の形態では、プロジェクターを使用してさまざまなパターンを環境に投影することによって、環境が移動される。方法１００のステップは、該技術分野で知られているようなプロセッサ１０１によって実行される。

図３（Ｂ）〜図３（Ｃ）は、画像のセット１４０および放物線状湾曲の点１１０の一例を示す。通常、放物線状湾曲の点は、物体の表面上の曲線３３０を形成する。この曲線は、本明細書では、放物線状湾曲の曲線と呼ばれる。

画像勾配は、図５（Ａ）〜図５（Ｂ）に示す画像のように、画像におけるピクセルの低い強度値から高い強度値への色の段階的な混合を記述する。数学的には、画像勾配は、２変数関数であり、例えば、画像強度関数である。画像の各点において、この関数は、水平方向および垂直方向におけるピクセルの強度値の導関数によって与えられる成分を有する勾配ベクトルによって求められる。各点において、最大の可能な強度の方向における勾配ベクトル点は、矢印５１０によって示されるように増減する。勾配ベクトルの長さは、その方向における強度の値の変化率に対応する。

本発明の実施の形態は、鏡面物体の画像の画像勾配の方向が放物線状湾曲の点において環境から独立しているという認識に基づいている。画像勾配は、放物線状湾曲の点において常に同じ方向に向いている。詳細には、図３（Ｂ）〜図３（Ｃ）に示すように、画像勾配の方向３４０は、放物線状湾曲の曲線に垂直である（３４０）。

画像の対応するピクセル１４５における画像勾配の方向が方向のセット１５５を形成するように、画像勾配の方向は、画像のセットにおける画像のすべてのピクセルについて求められる（１５０）。これらの対応するピクセルは、物体の表面上の同一点に対応する異なる画像からのピクセル、すなわち、各画像において同じ位置を有するピクセル、によって形成される。

画像勾配の方向のセットにおいて実質的に一定の方向を有する対応するピクセルは、放物線状湾曲の点を表すピクセルとして選択される。したがって、実質的に一定の方向を有する、異なる対応するピクセルは、放物線状湾曲の異なる点を表す。

図６は、放物線状湾曲および非放物線状湾曲の点を有する鏡面物体１１５の画像１４０のフラグメントを示す。非放物線状湾曲上の点を表す画像１４０の対応するピクセル６３５は、任意の方向６４５の画像勾配を有する。一方、放物線状湾曲の点を表す画像１４０の対応するピクセル６２５は、一定の方向６５５の画像勾配を有する。

放物線状湾曲の点
１つの実施の形態では、鏡面物体の形状は、カメラ座標系においてモンジュ−アンペール（Monge-Ampere）の方程式
（ｘ，ｙ，ｆ（ｘ，ｙ））＝（ｘ，ｆ（ｘ））
を使用して定義される。ここで、関数ｆは、２回連続微分可能である。表面上の各点において、曲線に沿った曲率は、接触円の半径の逆数と定義される。この接触円は、その中心が内部法線上に存在する円であり、その円の曲率は、曲線の曲率と同じである。主曲率は、各点におけるさまざまな方向に沿って測定された曲率の最小値および最大値と定義される。主曲率の積は、下式（１）に従ったガウス曲率と定義される。

主曲率の１つがゼロである点は、放物線状湾曲の点である。表面の点ｘにおけるヘッセ行列を下式（２）でと定義する。

このように定義する場合、放物線状湾曲の点は、ランク
ｒａｎｋ［Ｈ（ｘ）］＝１
を有する。

鏡面物体の画像形成
図２は、本発明の１つの実施の形態による画像形成モデルを示す。鏡面物体の表面２１０上で観察される画像は、周囲環境１３０を歪めている。本発明のいくつかの実施の形態は、カメラ１２０を正射影カメラ（orthographic camera）としてモデル化する。すなわち、カメラに入るすべての光線２２０は、主方向と平行である。

ピクセルｘのロケーション２３０における画像勾配は、∇ｆ＝（ｆ_ｘ，ｆ_ｙ）^Ｔであり、表面の法線２４０は、下式（３）である。

各ピクセルにおけるカメラの視野方向ｖは、同じである。すなわち、ｖ＝（０，０，１）^Ｔである。ここで、Ｔは転置演算子である。

完全な鏡面反射率のもとで、ピクセルｘのロケーションにおいてカメラへ反射される光線の方向ｓ（ｘ）は、下式（４）である。

光線ｓ（ｘ）は、３次元空間における単位ベクトルであり、したがって、ｓ＝［ｓｉｎθｃｏｓφ，ｓｉｎθｓｉｎφ，ｃｏｓθ］^Ｔとなるような球面座標Θ（ｘ）＝（θ，φ）で表すことができる。この球面座標は、下式（５）、（６）を介して見つけることができる。

ピクセルｘのロケーションにおいてカメラによって観察される環境は、その環境とピクセルｘのロケーションからの方向ｓ（ｘ）の光線との交点、すなわち、（ｘ，ｆ（ｘ））^Ｔによって定義される。

１つの実施の形態では、環境は、無限遠に設定される。したがって、ピクセルのロケーションへの依存は、抑制され、カメラによって観察される環境は、画像の勾配∇ｆにのみ依存する。この実施の形態は、球Ｓ^２上での環境マップとして、下式を定義する。

そして、この球のオイラー角パラメータ化を選択する。物体内に相互反射がないもとで、ピクセルｘのロケーションにおいて観察された強度Ｉ（ｘ）の前進画像化方程式（forward imaging equation）は、
Ｉ（ｘ）＝Ｅ（Θ（ｘ）） （７）
である。ここで、Θ（ｘ）は、式（５）および（６）に従った、観察された光線のオイラー角である。

上式（７）をピクセルｘについて微分すると、画像勾配が下式（８）に従って求められる。

ここで、∇_ｘＩは、ピクセルｘのロケーションにおける画像勾配であり、∇_ΘＥは、球面座標に対する環境の勾配である。

放物線状湾曲の点の場合、行列Ｈ（ｘ）は、特異（singular）である。したがって、ゼロの固有ベクトルの方向で観察された画像勾配は、ゼロである。そのため、観察された画像勾配は、行列Ｈ（ｘ）の非ゼロの固有値に対応する固有ベクトルの方向に向いている。行列Ｈ（ｘ）は、表面の特性であり、環境から独立している。そこで、画像勾配の方向は、環境から独立しており、放物線状湾曲の点において実質的に一定である。さらに、非ゼロの固有ベクトルは、放物線状湾曲の曲線に垂直な方向に向いている。したがって、放物線状湾曲の点において、画像勾配の方向は、環境から独立しており、放物線状湾曲の曲線に垂直な方向に向いている。

不変量
図２に示すように、鏡面物体の表面（ｘ，ｆ（ｘ））は、滑らかであり、無限遠の環境と共に置かれ、正射影カメラによって観察される。放物線状湾曲の点における画像勾配は、退化し、表面の形状によって規定される単一の方向に沿った値を取る。この退化は、環境から独立しており、この実施の形態に従って不変量と定義される。

不変量は、放物線状湾曲の点におけるゼロの曲率の主方向に起因して生じる。曲率は、主方向ではゼロであるので、定義により、主方向に沿った表面上の微小移動によって、面法線は変化しない。したがって、放物線状湾曲の点において観察された環境は、面法線にのみ依存する。それゆえに、主方向の投影に沿った画像平面上の微小変位によって、観察される環境は、変化しない。したがって、主方向に沿った画像勾配は、ゼロである。

数学的には、不変量は、実施の形態に応じてさまざまな形態で表される。上式（８）に基づくと、点ｘ_０における放物線状湾曲は、
∇_ｘＩ（ｘ_０）＝‖∇_ｘＩ（ｘ_０）‖ｖ （９）
を満たす。ここで、ｖは、非ゼロの固有値を有する行列Ｈ（ｘ_０）の固有ベクトルである。付加的にまたは代替的に、いくつかの実施の形態は、下式（１０）に従って定義された勾配自己相関行列Ｍ（ｘ）を使用して放物線状湾曲の点を求める。

ここで、Ｉ（ｘ；Ｅ）は、環境Ｅ（Θ）のもとでピクセルｘにおいて観察された強度である。式（１０）の総和は、環境のすべての可能なマッピング点にわたって求められる。ただし、放物線状湾曲の点において、
ｒａｎｋ［Ｍ（ｘ_０）］＝１ （１１）
である。

放物面とは対照的に、楕円面および双曲面の勾配自己相関行列Ｍ（ｘ）は、フルランクである。平坦な表面の場合、行列Ｈ（ｘ）は、ゼロ行列であり、画像勾配は、ゼロであり、勾配自己相関行列は、ゼロランクである。

１つの実施の形態では、不変量は、相互反射を考慮に入れない。相互反射は、画像化プロセスを局所的に変更し、画像形成モードを乱す。同様に、画像の解像度は、本発明の実施の形態に影響を与える。低解像度を有する画像の場合、単一ピクセルにおいて観察された表面の湾曲は、放物線状湾曲から逸れる可能性がある。

放物線状湾曲の点の選択
上述したように、本発明の実施の形態は、画像勾配の実質的に一定の方向を有するピクセルに対応する物体の表面上の点を放物線状湾曲の点として選択する。

例えば、１つの実施の形態は、下式（１２）に従って、画像のセット｛Ｉ_ｊ｝における各画像ｊにおいて求められた画像勾配を使用して勾配自己相関行列を求める。

ここで、ｊは、画像のセット｛Ｉ_ｊ｝における画像であり、∇_ｘＩは、画像勾配であり、Ｉ（ｘ）は、ピクセルｘのロケーションにおいて観察された強度であり、Ｔは、転置演算子である。勾配自己相関行列の固有値の比は、放物線状湾曲の点としてピクセルｘを選択するために統計値として使用される。

物体の姿勢
本発明の１つの実施の形態では、放物線状湾曲の点によって、物体の姿勢の決定が容易になる。この実施の形態による姿勢決定方法は、物体の所定の公称姿勢（nominal pose）に対する３次元（３Ｄ）回転パラメータおよび３Ｄ平行移動パラメータを回復する。カメラが正射影である場合、物体の姿勢は、最大で奥行き曖昧性（depth ambiguity）まで回復される。

図４に示すように、放物線状湾曲の点を回転させることによって、放物線状湾曲のテンプレート４１０が求められる。１つの実施の形態では、物体のパラメトリック形式および／または３Ｄモデルが前もって取得される。物体座標における放物線状湾曲の点の３Ｄ位置が、パラメトリック形式を使用して解析的に回復されるか、または物体の３Ｄモデルを使用して数値的に回復される。初期化中、サンプリングされた３Ｄ回転のセットに対して放物線状湾曲の点を回転させ、可視点を画像平面に投影することによって、テンプレートが求められる。

カメラの主軸に沿った物体の回転（θ_ｚ）の結果、画像平面上の放物線状湾曲点の面内回転が生じるので、この実施の形態の一変形は、面外回転（θ_ｘおよびθ_ｙ）のみをデータベータに記憶することを考慮する。これらの回転は、２球上の角度の均一なサンプリングによって行われる。

物体の姿勢は、テンプレートと、該テンプレートを物体の放物線状湾曲の点と位置合わせする最適なユークリッド変換パラメータＳ＝（θ_ｚ，ｔ_ｘ，ｔ_ｙ）とを検索することによって決定される。１つの実施の形態は、チャンファマッチング（chamfer matching）技法を使用して、テンプレートと放物線状湾曲の点との間の類似度を測定する。放物線状湾曲の点と最も類似した放物曲線を有するテンプレートが、ブロックの姿勢として選択される。

姿勢の精度は、データベースに含まれる面外回転の離散セットによって制限される。１つの実施の形態では、姿勢は、反復最近傍点法とガウス−ニュートン最適化とを組み合わせたものを使用して精緻化される。

認識
放物線状湾曲の点によって、可変の姿勢にある異なる物体を認識することが可能になる。物体認識方法は、上述した姿勢決定方法を拡張したものである。各物体について、姿勢決定が繰り返されて、最良の姿勢パラメータが回復される。物体のクラスが、物体の異なるクラスにわたるチャンファコスト関数の最小値に基づいて求められる。

Claims (20)

1. 環境に配置された物体の表面上の放物線状湾曲の点を求めるための方法であって、前記物体は、鏡面反射するものであり、該方法は、
   カメラ−物体対と前記環境との間の相対運動のもとでカメラによって取得された前記物体の画像のセットを得るステップと、
   前記画像のセットにおける各画像の各ピクセルにおける画像勾配の方向を求めるステップであって、前記物体の前記表面上の同一点に対応する異なる画像からのピクセルが、対応するピクセルを形成する、画像勾配の方向を求めるステップと、
   前記画像勾配の実質的に一定の前記方向を有する前記対応するピクセルを、前記放物線状湾曲の点を表すピクセルとして選択するステップと
   を含み、
   該方法の前記ステップは、プロセッサによって実行される方法。
2. 前記放物線状湾曲の前記点における前記表面は、１つの方向にのみ曲がっている請求項１に記載の方法。
3. 前記カメラと前記物体との間の相対的な姿勢は、前記相対運動中に維持される請求項１に記載の方法。
4. 前記カメラ−物体対と前記環境との間の前記相対運動は、前記カメラ−物体対および前記環境の少なくとも一方を任意に移動させることによって達成される請求項１に記載の方法。
5. 前記画像勾配の前記実質的に一定の方向を有する異なる対応するピクセルは、前記放物線状湾曲の異なる点を表す請求項１に記載の方法。
6. 前記表面は、２回連続微分可能である請求項１に記載の方法。
7. 前記カメラは、正射影カメラである請求項１に記載の方法。
8. 前記カメラによって観察される前記環境が前記画像勾配にのみ依存するように、前記環境は、無限遠に設定される請求項１に記載の方法。
9. 

   に従って勾配自己相関行列Ｍ（ｘ）を求めるステップをさらに含み、ここで、ｊは、前記画像のセット｛Ｉ_ｊ｝における前記画像のインデックスであり、∇_ｘＩは、前記画像勾配であり、Ｉ（ｘ）は、ピクセルｘにおける強度であり、Ｔは、転置演算子である請求項１に記載の方法。
10. 前記放物線状湾曲のすべての点を求めるために、前記選択するステップを繰り返すステップをさらに含む請求項１に記載の方法。
11. 前記放物線状湾曲の前記点に基づいて前記物体の姿勢を求めるステップをさらに含む請求項１０に記載の方法。
12. 前記放物線状湾曲の前記点を回転させることによって求められる放物線状湾曲のテンプレートを取得するステップと、
    前記テンプレートを前記放物線状湾曲の点と位置合わせする最適な変換パラメータを求めるステップと
    をさらに含む請求項１１に記載の方法。
13. チャンファマッチング技法を使用して、前記テンプレートと前記放物線状湾曲の前記点との間の類似度を求めるステップをさらに含む請求項１１に記載の方法。
14. ガウス−ニュートン最適化を使用して前記姿勢の推定結果を精緻化するステップをさらに含む請求項１１に記載の方法。
15. 放物線状湾曲の前記点に基づいて前記物体のタイプを求めるステップをさらに含む請求項１０に記載の方法。
16. 環境に配置された物体の表面上の放物線状湾曲の点を求めるためのシステムであって、前記物体は、鏡面物体であり、該システムは、
    カメラ−物体対と前記環境との間の相対運動のもとで前記物体の画像のセットを取得するように構成される該カメラ−物体対と、
    前記画像のセットにおける各画像の各ピクセルにおける画像勾配の方向を求めるように構成されるプロセッサであって、前記物体の前記表面上の同一点に対応する異なる画像からのピクセルが、対応するピクセルを形成し、該プロセッサは、前記画像勾配の実質的に一定の前記方向を有する前記対応するピクセルを、前記放物線状湾曲の点を表すピクセルとして選択する、プロセッサと
    を備えるシステム。
17. 前記カメラ−物体対と前記環境との間の前記相対運動は、前記カメラ−物体対および前記環境の少なくとも一方を任意に移動させることによって達成される請求項１６に記載のシステム。
18. 前記放物線状湾曲の前記点に基づいて前記物体の姿勢を求めることをさらに含む請求項１６に記載のシステム。
19. 放物線状湾曲の前記点に基づいて前記物体のタイプを求めることをさらに含む請求項１６に記載のシステム。
20. 前記放物線状湾曲の前記点における前記表面は、１つの方向にのみ曲がっている請求項１６に記載のシステム。

Images