JP2008116456A - 画像相関変位センサにおける相関関数のピーク位置検出方法 - Google Patents

Abstract

【課題】画像相関変位センサのための相関関数ピーク検出方法を提供する。
【解決手段】相関関数ピーク検出方法は、参照画像及び変位画像を取り込むステップと、複数のオフセット位置で、参照画像と変位画像とを相関させることに基づいて、ピクセル単位の解像度で初期ピーク相関関数値点（ＣＦＶＰ）をサーチするステップとを含む。次いで、１組のＣＦＶＰすべてを、初期ピークＣＦＶＰの周りの解析領域内の各オフセット位置で求めることができる。次いで、解析領域内に含まれるＣＦＶＰに基づいて、予備相関関数のピーク位置がピクセル単位よりも細かいサブピクセル解像度で推定される。最後に、曲線あてはめが行われて、サブピクセル精度で最終的な相関関数のピーク位置を推定し、その際、曲線あてはめは、予備サブピクセル相関関数のピーク位置に基づいてサブピクセル解像度で定位される窓関数及び／又は１組の重み付け因子を適用する。
【選択図】図１

Description

本発明は、画像相関を使用して物体の変位を検出する画像相関変位センサの位置検出方法に関する。

様々な既知のデバイスが、物体の変形及び／又は変位を求めるために、センサアレイによって獲得される画像、及びセンサアレイによって獲得される画像間の相関を使用する。例えば、そのようなデバイスの１つの種類が、すべてＮａｈｕｍに対する特許文献１、特許文献２、特許文献３、及び特許文献４に記載されており、それらの各特許は全体を参照することにより本明細書に組み込まれる。一般に、そのようなデバイスでは、物体を変位又は変形する前に、物体から生じる第１、即ち参照の画像が取り込まれて格納される。次いで、物体を変位又は変形した後、物体から生じる第２、即ち後続の画像が取り込まれて格納される。次いで、第１の画像と第２の画像とが、例えば相関操作によって、ピクセル毎に定量的に比較される。一般に、複数の各比較は、（例えば、様々な比較間で１ピクセル増分だけオフセットを変えることによって）様々な各量だけ互いに関してオフセットされ、又は空間的に並進された第１及び第２の画像を用いて行われる。次いで、相関関数値点を求めるために、相関関数値などの得られた定量比較が、その対応するオフセット量又は空間並進位置に対してプロットされる。第２の画像と第１の画像との最も強い相関を有するオフセットが、相関関数値点のプロットにおいて（ピクセル毎の比較がどのように行われるかに依存して）ピーク又は谷を生成する。ピーク又は谷に対応するオフセット量が、第１の画像と第２の画像との間の変位又は変形の量を表す。

相関関数値点のプロットにおけるピーク又は谷をピクセル単位よりも細かいサブピクセル解像度で推定するための様々な方法が知られている。より正確な方法の１つは、特許文献１に開示され、その特許は、曲線あてはめを使用する様々な方法によって提供される相関のピーク位置推定において、センサアレイのピクセルピッチでの空間的に周期的なサブピクセル誤差がどのように生じることがあるかを説明している。特許文献１は、相関のピーク位置を推定するときにそのような誤差を減少するための様々な方法を教示する。しかしながら、特許文献１の方法が適用された後に、いくらかのレベルの周期的なサブピクセル誤差が残ることがある。全体を参照することにより本明細書に組み込まれるＪｏｎｅｓの特許文献５は、前述した周期的なサブピクセル誤差及びその他の誤差が特徴付けられ且つ補償される方法を教示する。しかしながら、特許文献５の方法に関連する較正コスト及び信号処理の複雑さが存在する。
米国特許第６，８７３，４２２号明細書 米国特許第６，９９０，２５４号明細書 米国特許第６，９９６，２９１号明細書 米国特許第７，０６５，２５８号明細書 米国特許第７，０８５，４３１号明細書

本発明は、前述及びその他の欠点を克服しながら、空間的に周期的なサブピクセル誤差を減少させる画像相関変位センサのための相関ピーク検出方法を対象とする。

本発明によれば、画像相関変位センサにおける相関関数のピーク位置検出方法であって、参照画像を取り込むステップと、変位画像を取り込むステップと、複数のオフセット位置で、前記参照画像と前記変位画像との少なくとも一部に基づいて各相関関数値点（ＣＦＶＰ）を求めることに基づいて、ピクセル単位で初期ピークＣＦＶＰをサーチするステップと、前記初期ピークＣＦＶＰの近傍の解析領域内に含まれるＣＦＶＰすべてを各オフセット位置で求めるステップと、前記初期ピークＣＦＶＰの近傍の前記解析領域内に含まれるＣＦＶＰに基づいて、ピクセル単位より細かい解像度で予備的な相関関数のピーク位置を推定するステップと、最終的な相関関数のピーク位置を推定するために曲線あてはめを行うステップと、を含み、前記曲線あてはめは、予備的な相関関数のピーク位置に基づいて窓関数及び１組の重み付け因子の少なくとも１つによりピクセル単位より細かい解像度で決定されることを特徴とする画像相関変位センサにおける相関関数のピーク位置検出方法が提供される。

本発明の別の態様によれば、ピクセル単位より細かいサブピクセル解像度で行われる相関関数のピーク位置の予備推定は、比較的少数のＣＦＶＰ、例えば４つのＣＦＶＰに基づいていることがある。

本発明の別の態様によれば、相関関数曲線は、様々な実施の形態で、２次元相関関数曲線に関して比較的少数のＣＦＶＰ、例えば２５個未満のＣＦＶＰにあてはめて求めることができる。あるいは２次元相関関数曲線に関して９個のみのＣＦＶＰであてはめて求めることができる。

本発明の別の態様によれば、窓関数及び／又は重み付け因子は、いくつかの変位測定値それぞれに関連する曲線あてはめに関して一般に使用される解析領域の周辺付近のＣＦＶＰが曲線あてはめに及ぼす影響を大幅に弱めるように選択される。重み付け因子は、円錐窓関数、ガウス窓関数、又はジグモイド（ｓｉｇｍｏｉｄ）窓関数などとすることがある。解析領域がサイズＭ＝Ｎ＝５を有する一実施の形態では、重み付け因子は、サブピクセル解像度で行われる相関関数のピーク位置の予備推定の位置に対応する位置（ｘ_ｐ，ｙ_ｐ）での重み付け値１．０と、位置（ｘ_ｐ，ｙ_ｐ）からＭ／２オフセット増分以上の半径での重み付け値０とに対応する円錐窓関数に基づいて求められる。一実施の形態では、窓関数及び／又は重み付け因子は、最小二乗曲線あてはめ関数での２項間の差に適用される。しかしながら、これらの実施形態はそれぞれ例示にすぎず、限定するものではない。

図１に、比較的少数の相関関数値点を使用して相関関数のピーク位置を推定することによって変位を求めるときに、周期的なピクセル単位よりも細かいサブピクセルの誤差がどのように生じるかを説明する。符号１００は、物体の参照画像と物体の第１の後続画像との間の第１の変位に対応する第１の２Ｄ相関関数値点擬似画像１１０を模式的に例示する。また、物体の同じ参照画像と物体の第２の後続画像との間の第２の変位に対応する第２の２Ｄ相関関数値点擬似画像１１０’も模式的に例示する。また、１Ｄ相関関数値大きさプロット１４０も示されている。擬似画像１１０及び１００’、並びにプロット１４０はすべて、以下により詳細に述べるように、図１での水平方向に沿って共通の基準フレームに位置合わせされる。

擬似画像１１０の模式図は、擬似ピクセルの８×８グリッドを示す。各特定の擬似ピクセル位置は、特定のオフセットに対応する相関関数値が求められるときに、変位センサによって提供される参照画像と変位した第１の後続の画像との間の特定の（Ｘ，Ｙ）、即ち（行，列）ピクセルオフセットに対応する。その擬似ピクセルに割り当てられた値は、画像強度値ではなく、対応する相関関数値である。

図１で、ピーク相関関数値点１２０に対応する１つの擬似ピクセルに「Ｘ」が記入されている。その擬似ピクセルは、擬似画像１１０内での極値相関関数値（即ち相関関数ピークに最も近い値）に対応する。様々な既知の画像相関プロセスは、ピーク相関関数値点１２０を検出することから始まる。様々な実施形態で、ピーク相関関数値点１２０の位置を求める操作は、本明細書に組み込まれる特許文献３又は特許文献４に概説されている技法の１つなどの速い又は粗い検索技法を含むことがある。

ここで考慮しているもののような汎用の画像相関変位感知システムでは、最高実用速度での物体の運動を追跡することができる感知システムの能力が所望の機能であることを理解すべきである。これは、変位センサの測定サイクル速度、即ちサンプル速度に依存し、その結果、画像処理、相関、及び最終的なサブピクセル相関ピーク検出操作を行うことができる速度に依存することがある。そのため、様々な実施の形態で、相関操作の数を実用最小値まで低減し、最終的なサブピクセル相関ピーク位置を特に効率的に検出することが重要になることがある。したがって、様々な実施の形態で、サブピクセル解像度で相関ピーク位置を求めるために、最初にピーク相関関数値点１２０が求められ、次いでその近傍にある限られた数の相関関数値点（ＣＦＶＰ）が解析される。この例では、擬似画像１１０に関して、５×５解析領域１３０内の限られた数のＣＦＶＰが解析される。解析領域１３０は、その領域がピーク相関関数値点１２０に中心を取るように選択される。

解析領域１３０は、対応する相関関数のピークを２次元で定位するのに十分なデータを含むが、簡潔かつ明瞭にするために、この論述では、ピーク位置は１次元に沿ってのみ考慮する。特に、１Ｄ相関関数値大きさプロット１４０は、ピーク相関関数値点１２０と同じ解析領域１３０の行（即ち行４）内に位置される擬似ピクセルの値に対応するＣＦＶＰ１５０（それぞれが「点」記号で示されている）を示す。また、相関関数値大きさプロット１４０は、根底にある「真」の相関関数１４５も示し、これは、参照画像及び変位画像が「無限」の解像度を有し、かつ一連のオフセット値で比較することができる場合に求められるものである。真の相関関数１４５の真のピーク位置１６０は点線で示されており、以下でさらに論じる。説明の目的で、ＣＦＶＰ１５０は、根底にある曲線及び／又は真のピーク位置１６０を推定するために、根底にある真の相関関数１４５を離散した点で「サンプリング」したものと考えることもできる。

擬似画像１１０’の模式図は、擬似画像１１０と類似しており、その「プライム符号」付きの番号を付された要素はすべて、擬似画像１１０でのプライム符号の付いていないそれらの相当要素の前述の説明に基づいて理解することができる。擬似画像１１０’に対応して、１Ｄ相関関数値大きさプロット１４０は、ピーク相関関数値点１２０’と同じ解析領域１３０’の行（即ち行４）内に位置される擬似ピクセルの値に対応するＣＦＶＰ１５０’（それぞれが「ｘ」記号で示される）を示す。

擬似画像１１０’を求めるために参照画像に相関される第２の変位画像が、擬似画像１１０を求めるために参照画像に相関される第１の変位画像に関してごくわずかにだけ変位されると仮定すると、第１の変位画像と第２の変位画像とは、ごくわずかにのみ異なっているので、相関関数値大きさプロット１４０に示される根底にある真の相関関数１４５は、擬似画像１１０と共に擬似画像１１０’に対応する。しかしながら、真のピーク位置１６０は、ＣＦＶＰを求めるために使用される第４と第５の水平オフセット位置のほぼ中間にあるので、そのごくわずかな差は、ピーク相関関数値点１２０’をピーク相関関数値点１２０に対して１水平オフセット位置だけシフトさせるのに十分である。その結果、解析領域１３０’（擬似画像１１０に関して使用されるのと同じ手順に従ってピーク相関関数値点１２０’に対して中心を取る）も１水平オフセット位置だけシフトし、解析領域１３０の擬似ピクセル１１２の組を除外し、擬似ピクセル１１３の「新たな」組を含む。これらすべての理由により、それらの根底にある画像変位の間の差がごくわずかになることがある場合でさえ、ＣＦＶＰ１５０’による根底にある真の相関関数１４５のサンプリングは、ＣＦＶＰ１５０によって提供されるものとは大きく異なることがある。その結果、ＣＦＶＰ１５０’に基づく真のピーク位置１６０の推定は、ＣＦＶＰ１５０に基づく推定と異なることがある。推定の差は、ピクセル間隔に比べて小さくなることがある。しかしながら、真のピーク位置１６０のそのような推定の正確性及び／又は頑強性の改良は、それがわずかであっても、画像相関変位センサにとっては多くの用途で重要である。

要約すると、上で説明した離散サンプリングは、参照画像及び変位相関画像の限られた解像度、ＣＦＶＰに対応する水平オフセット位置間のステップの限られた解像度、ピーク相関値点（１２０、１２０’）選択の離散性質などにより、得られる推定相関関数ピーク位置に不正確さをもたらすことがある。これらの不正確さは、相関関数ピーク位置を推定するときに比較的少数のＣＦＶＰが使用されるときに悪化することがある。さらに、これらの不正確さは、真のピーク位置１６０が、ＣＦＶＰを求めるときに使用される水平オフセット位置間のほぼ中央にあるときには常に悪化することがある。周期的なサブピクセル誤差が生じることがあり、これにより、画像相関変位感知システムによって提供される変位測定値の関連する誤差をもたらす。

図１は、相関関数値大きさプロット１４０における一例を示し、この例では、参照画像と変位画像との最良相関に対応する位置が、（例えば乗算型相関関数に関する最良相関位置に対応することがある）最大値ＣＦＶＰに隣接しているが、本発明はそれに限定されないことを理解すべきである。様々な実施の形態で、「差分絶対値和」（ＳＡＤ）タイプの相関関数が有利に使用されることがある。当技術分野で知られているように、ＳＡＤタイプの相関関数は、ピークではなく谷を生成し、そのような場合、参照画像と変位画像との最良相関に対応する位置が最小値ＣＦＶＰに隣接する。したがって、この開示では、真の連続する相関関数の「最良相関」極値に関連付けられる位置は、根底にある相関関数が実際にピークを生成するか谷を生成するかに関わらず、相関関数ピーク位置と呼ぶことがあることを理解されたい。同様に、極値ＣＦＶＰは、ＳＡＤタイプの相関関数によって生成されるものなどの、相関谷に関連付けられる最小値ＣＦＶＰである場合でさえ、ピークＣＦＶＰと呼ぶことがある。

本発明者は、限られた数のＣＦＶＰに適合させるために、特に「差分絶対値和」（ＳＡＤ）相関方法に基づくＣＦＶＰに適合させるときに、相関関数ピーク推定の誤差を減少するのにガウス曲線あてはめが有利となることがあると断定した。例えば、限られた数の点に関して、様々な条件下で、ガウス曲線あてはめは、特許文献１で教示される方法よりもいくぶん小さい誤差を生み出すことがある。しかしながら、ガウス関数をＣＦＶＰに適合させることは、図１を参照して上に概説した系統的で周期的な誤差の類をなくすには十分でない。

上に概説した系統的な誤差を減少するための１つの方法は、曲線あてはめの前に、又はその一部として、ＣＦＶＰに窓関数を適用することである。しかしながら、例えばより多数のサンプル点を使用することがあるか、又は「真の」根底にある曲線の形のより良い知識を有することがある窓関数の様々な研究及び適用とは異なり、実際の相関変位センサでは、いくつかの実用上の考慮事項及び制約が存在することがあり、したがって、操作の独特な組合せが、誤差を減少しながら「真の」相関関数ピーク位置を推定する最も正確な方法を提供し、その一方で比較的高い変位測定速度も可能にすることができる。上で概説した系統的で周期的な誤差の類を減少し、その一方で比較的少数のＣＦＶＰ及び比較的高い変位測定速度の使用も可能にする本発明による操作の１つの例示的な組合せを、以下、式１〜７を参照して説明する。特に、ＣＦＶＰの２次元の組に関して真の２Ｄ相関関数ピーク位置を推定するための１つの例示的な実施形態を以下に概説する。以下に概説する様々な操作は、本発明による画像相関変位センサに関連する信号処理及び制御システム内に含まれる様々な回路及び／又はルーチンで実施されることがある。本発明に関連して使用可能な様々な例示的な信号処理及び制御システムは、本明細書に組み込まれる参考文献に記載されている。

前述したように、限られた数のＣＦＶＰに関して、ガウス曲線あてはめを行うことが有利となることがある。一実施の形態では、根底にある真の相関関数を近似するために使用されるガウス関数ＧＦの形は、

と表されることがある。ここで、σ_ｓ及びσ_ｔは、ガウス関数ＧＦの標準偏差であり、ｓ及びｔは、図２に示して以下で説明するように、変換後のＣＦＶＰ座標である。

図２は、変換後の（ｓ，ｔ）ＣＦＶＰ座標系を示す図式２００を示す。図２は、上述した擬似画像１１０と類似する擬似画像１１０”の模式図を含み、その「ダブルプライム符号」付きの番号を付された要素はすべて、擬似画像１１０でのプライムの付いていないそれらの相当要素の前述の説明に基づいて理解することができる。説明の目的で、（ｘ，ｙ）座標系は、図示されるように、ＣＦＶＰ擬似ピクセルの水平及び垂直オフセット位置に基づいて定義することができる。楕円３１０（誇張して伸ばして図示されている）は、解析領域１３０”内のＣＦＶＰに対応する「ベストフィット」位置に位置された２Ｄガウス関数ＧＦのベースを模式的に表す。ＧＦＶＰ（ｘ，ｙ）座標系と変換後のＣＦＶＰ（ｓ，ｔ）座標系との変換式は、

である。図２に示されるように、位置（ｘ_０，ｙ_０）は、最良適合２Ｄガウス関数ＧＦのベースである楕円３１０の幾何中心に対応し、角度φは、ｘ軸に対する楕円３１０の主軸の回転に対応する。位置（ｘ_０，ｙ_０）は、一般に、サブピクセル解像度で離散オフセット位置間に位置され、理想的には、解析領域１３０”内のＣＦＶＰによってサンプルされた真の２Ｄ相関関数のピークとできるだけ密接に一致する。

実用的な画像相関変位センサでの信号処理は、式１の平方根に関連する複雑さを避けることによって、より高速かつ簡単に行うことができる。したがって、一実施の形態では、関数ＧＦの二乗がＣＦＶＰの二乗に適合されることがある。以下の関数ＧＦ^２が、本明細書で以後ＣＦＶＰ^２と呼ぶＣＦＶＰの二乗に適合されることがある。

関数ＧＦ^２は、ＣＦＶＰ^２の値に適合されるとき、関数ＧＦと同じピーク位置を有する。

解析領域１３０”は、一般に、左下にある擬似ピクセル（ｘ_ｍｉｎ，ｙ_ｍｉｎ）から右上にある（ｘ_{ｍｉｎ＋Ｍ}，ｙ_{ｍｉｎ＋Ｎ}）に広がるＭ×Ｎ領域として特徴付けられることがある。解析領域１３０〜１３０”の前述の説明では、Ｍ＝Ｎ＝５である。ベストフィットパラメータｘ_０及びｙ_０、さらには他のベストフィットパラメータＡ、Ｂ、σ_ｓ、σ_ｔ、及びφも検出するために、最小二乗法が使用されることがある。窓関数を適用せずに解析領域１３０”内で関数ＧＦ^２をＣＦＶＰ^２に適合させるために、以下の最小二乗関数Ｆが定義され、最小にされることがある。

前述の関数Ｆは、２Ｄ相関関数ピークの得られる推定において、図１を参照して上に概説した系統的なサブピクセル誤差を減少する窓関数を実装するように修正されることがある。一実施の形態では、窓関数は、以下のように関数ＦＷで離散重み付け因子Ｗ（ｘ，ｙ）を適用することによって実装されることがある。

関数ＦＷを最小にする最良適合パラメータ（ｘ_０，ｙ_０，Ａ，Ｂ，σ_ｓ，σ_ｔ，φ）は、市販されているソフトウェアライブラリで使用可能な既知の最適化技法及び／又は最適化ルーチンに従って求めることができる。

本発明による様々な実施の形態では、解析領域１３０”に対応する重み付け因子Ｗ（ｘ，ｙ）は、２Ｄ相関関数ピーク位置の予備推定の位置を参照して求められ、その際、相関関数ピーク位置の予備推定は「サブピクセル解像度」で行われる。様々な実施の形態で、相関関数ピーク位置の予備推定は、例えば特許文献１に記載されているような、サブピクセル解像度で相関関数ピークを推定するための方法の１つに従って、ピーク相関関数値点１２０”の近位にある比較的少数のＣＦＶＰを使用して行われる。相関関数ピーク位置の予備「サブピクセル解像度」推定に基づいて窓関数及び／又は関連の重み付け因子Ｗ（ｘ，ｙ）の位置を確立する重要性は、以前には認識されていなかった。本発明者は、本明細書で以後、相関関数ピークの予備サブピクセル解像度推定の位置を位置（ｘ_ｐ，ｙ_ｐ）と呼ぶ。

様々な実施の形態で、窓関数及び／又は重み付け因子は、解析領域１３０”の周辺付近の擬似ピクセルが曲線適合操作に及ぼす影響を大幅に弱めるように選択されることを理解すべきである。様々な実施の形態で、重み付け因子Ｗ（ｘ，ｙ）は、円錐窓関数、ガウス窓関数、又はジグモイド関数などに対応することがある。例として円錐重み付け関数を使用すると、解析領域がサイズＭ＝Ｎ＝５を有する一実施の形態では、重み付け因子は、例えば、位置（ｘ_ｐ，ｙ_ｐ）での重み付け値１．０と、位置（ｘ_ｐ，ｙ_ｐ）から２．５オフセット増分以上の半径での重み付け値０とに対応する窓関数に基づいて求められることがある。すなわち、

に関して

、かつ

である。

上述した特定の重み付け因子は例示にすぎず、限定するものではないことを理解されたい。より一般的には、解析領域１３０”の周辺に隣接する擬似ピクセルが曲線あてはめに及ぼす影響を大幅に弱めるように窓関数及び／又は重み付け因子が選択されるという条件で、様々なタイプの窓関数が適用されることがある。様々な実施の形態で、周辺に隣接する擬似ピクセルに対応する曲線あてはめ項の減衰は、上の例ほどゼロに近づく必要はない。例えば、いくつかの実施の形態では、周辺に隣接する擬似ピクセルに対応する項のいくつかが、最大可能重み付け因子の大きさの１／２程度、又はそれよりも大きい重み付け因子を有することがあり、それでもなお有利な結果を得ることができる。

さらに、式６に示される例では、重み付け因子は、最小二乗最小化関数ＦＷにおける差に適用される。しかしながら、この手法は、実施が単純であるという利点を有するが、例示にすぎず、限定するものではないことを理解すべきである。例えば、いくぶん実施がより複雑であり、且つ／又はいくぶん望ましくない結果を生み出すことはあるが、様々な実施の形態で、適切な個別の重み付け因子を用いて個別の項ＧＦ^２（ｘ，ｙ）及びＣＦＶＰ^２（ｘ，ｙ）、又はさらには項ＧＦ（ｘ，ｙ）及びＣＦＶＰ（ｘ，ｙ）を別個に重み付けすることによって、同様のサブピクセル誤差減少効果が実現されることがある。系統的なサブピクセル誤差の減少に関する同様の利点を提供することがあるこれら及びその他の数学的な代替形態は、当業者に明らかであろう。しかしながら、各場合に、本発明の１つの原理によれば、関連する窓関数及び／又は重み付け因子は、２Ｄ相関関数ピーク値の予備推定の位置を参照して求めるべきであり、その際、相関関数ピーク位置の予備推定はピクセル単位よりも細かいサブピクセル解像度で行われる。

図３は、比較的少数の相関関数値点を使用して、周期的なサブピクセル誤差を減少させながら画像相関変位センサにおいて相関関数ピーク位置を推定するための本発明によるルーチン３００の１つの例示的な実施の形態を示す。ルーチン３００は、ブロック３０５で始まり、参照画像が取り込まれる。ルーチンは、ブロック３１０に続き、変位画像が取り込まれる。

次に、ブロック３１５で、初期ピーク相関関数値点（ＣＦＶＰ）の検索が、参照画像と変位画像との比較に基づいて、ピクセルレベル解像度で行われる。一実施形態では、参照画像と変位画像とは、「差分絶対値和」（ＳＡＤ）相関技法（時として、「差の絶対値」又は「ＡＶＤ」技法とも呼ばれる）を使用して比較されることがある。２次元（２Ｄ）ＳＡＤ ＣＦＶＰは、例えば‘３４９特許に含まれる式２の説明との類似性によって、既知の技法に従って求めることができる。様々な実施の形態で、ピクセルレベル解像度で初期ピーク相関関数値点の位置を求める操作は、本明細書に組み込まれる特許文献３又は特許文献２などに概説される技法の１つなどの、速い、粗い、又はまばらなサーチ技法を備えることがある。

次に、ブロック３２０で、１組のＣＦＶＰすべてが、初期ピークＣＦＶＰの近傍の解析領域内、例えば初期ピークＣＦＶＰに中心を取る解析領域内で求められる、又は特定される。例えば、様々な実施の形態で、ブロック３１５の操作によって特定される初期ピークＣＦＶＰは、図２を参照して上で論じたピーク相関関数値点１２０”に対応することがある。次いで、様々な実施の形態で、解析領域１３０”に対応する解析領域が、初期ピークＣＦＶＰに中心を取るように選択される。解析領域は、前に概説したように、Ｍ×Ｎ擬似ピクセルの領域からなることがある。一実施の形態では、Ｍ＝Ｎ＝５であり、別の実施の形態ではＭ＝Ｎ＝３であり、しかしながら、Ｍ及びＮに関するこれらの値は例示にすぎず、限定するものではないことを理解されたい。解析領域のサイズに関わらず、様々な実施の形態で、ブロック３２０の操作は、解析領域全体にわたって１組のＣＦＶＰすべてを求める。いくつかの実施の形態では、ブロック３１５で初期ピークＣＦＶＰを検出するために行われるサーチの操作が、最終的に求められる初期ピークＣＦＶＰを検出するためにサーチされる領域全体にわたってＣＦＶＰを求めることを含むことを理解されたい。そのような場合、ブロック３２０の操作は、初期ピークＣＦＶＰに中心を取られるように解析領域を特定することに限定されることがあり、含まれるＣＦＶＰは事前に求められている。

次に、ブロック３３０で、解析領域に含まれる、より多くのＣＦＶＰのうちの１つの「相関品質」が評価される。例えば、一実施の形態では、背景又はデフォルトＣＦＶＰの大きさに対する初期ピークＣＦＶＰの大きさの比が求められる。背景又はデフォルトＣＦＶＰの大きさは、「ノイズ」値、すなわち重要でない相関を示す値に対応する。そのような値は、設計（デフォルト値）によって、又は相関ピークから外れていることが確実であるような、初期ピークＣＦＶＰから所定の距離だけ離れた位置で背景ＣＦＶＰ（又はＣＦＶＰの平均）を求めることによって知ることができる。

次に、決定ブロック３４０で、相関品質が妥当な相関関数ピークを示すかどうかが判定される。例えば、前述した「相関品質」比が１０である場合、解析領域は、相関関数ピークを確実に含む。一方、前述した比が１に近い場合、解析領域は、真の相関関数ピークを含まない可能性が高い。実際、ブロック３４０で適用される相関品質基準は、経験及び／又は解析に基づいて決定されることがある。相関品質が解析領域内で妥当な相関関数ピークを示すと決定ブロック３４０で判定された場合、ルーチンはブロック３５０に続く。反対に、相関品質が妥当な相関ピークを示さないと判定された場合、操作はブロック３４５に続き、相関品質誤差メッセージが出力され、ルーチンが終了する。ブロック３３０、３４０、及び３４５は、ルーチン３００の様々な実施の形態では任意選択のものであるか、又は省かれることがあることを理解されたい。ブロック３３０、３４０、及び３４５の操作は、信頼性を高め、且つ／又は本発明による画像相関変位感知システムに関連することがある誤差のリスクを低減する傾向がある機能を提供するが、真の相関関数ピークに関連付けられるＣＦＶＰに基づいて推定される相関関数ピーク位置の最終的な解像度又は精度に対する効果は有さない。

ブロック３５０で、初期ピークＣＦＶＰの近傍の解析領域内に含まれるＣＦＶＰに基づいて、予備相関関数ピーク位置がサブピクセル解像度で推定される。様々な実施の形態で、予備相関関数ピーク位置は、例えば特許文献１に記載されている方法の１つに従って、初期ピークＣＦＶＰ（例えばピークＣＦＶＰ１２０”）の近位にある比較的少数のＣＦＶＰを使用してサブピクセル解像度で推定される。しかしながら、様々な他の実施の形態では、解析領域内に含まれるＣＦＶＰに基づいてサブピクセル解像度で予備相関関数ピーク位置を推定することができる任意の他の現在知られているか、又は将来開発される方法が使用されることもある。

次に、ブロック３６０で、最終的な相関関数ピーク位置をサブピクセル精度で推定するための曲線あてはめが行われ、曲線あてはめは、ブロック３５０の操作によって求められた予備サブピクセル相関関数ピーク位置に基づいてサブピクセル解像度で定位される窓関数及び／又は重み付け因子の適用を含む。例えば、様々な実施の形態で、ブロック３６０の操作は、式１〜７を参照して上で概説した教示に従った方法を実施することができる。次いで、ブロック３７０で、最終的な推定サブピクセル相関関数ピーク位置の座標に基づいて、対応する変位値が求められ、ルーチンが終了する。

本発明による前述の実施の形態は、一般に、変位画像での参照に関する最良相関位置を推定するために相関関数のピークを求めるものとして説明されているが、相関関数の重心を推定することに基づいて最良相関位置を推定することも知られていることを理解すべきである。そのような方法が適用されるとき、図１を参照して本明細書で説明したものと同様の系統的なサブピクセル誤差が、同じ理由から生じることがある。そのような系統的なサブピクセル誤差を減少するために、上で概説したのと同様に、窓関数及び／又は１組の重み付け因子が、重心を推定するために使用されるＣＦＶＰに適用されることがある。したがって、比較的少数のＣＦＶＰを使用するとき、重心推定方法に欠点がある場合があるが、それにも関わらず、様々な実施形態で、本発明の様々な他の態様に関連して使用されることがあり、それでもなお満足な結果を得ることができる。特に、重心推定に基づいたサブピクセル精度での最良相関位置の推定は、予備サブピクセル相関関数ピーク位置に基づいてサブピクセル解像度で定位される窓関数及び／又は（例えば１組のＣＦＶＰを重み付けするための）１組の重み付け因子の適用を含むことがある。

本発明の好ましい実施の形態を例示して説明してきたが、例示して説明した機能構成及び操作順序の多くの変形が、この開示に基づいて当業者に明らかであろう。したがって、本発明の精神及び範囲から逸脱することなく様々な変更を施すことができる。

比較的少数の相関関数値点を使用して相関関数のピーク位置を推定することに基づいて変位を求めるときに、周期的なサブピクセル誤差がどのように生じることがあるかの一例を示す図である。 図３のルーチンで使用可能な曲線あてはめの一実施の形態で使用される変数の変換を示すグラフである。 比較的少数の相関関数値点を使用して、周期的サブピクセル誤差を減少しながら相関関数ピーク位置を推定するための本発明によるルーチンの１つの例示的な実施の形態を示す図である。

符号の説明

１１０ ２Ｄ相関関数値点擬似画像
１２０ ピーク相関関数値点
１３０ 解析領域
１４０ １Ｄ相関関数値大きさプロット
１４５ 「真」の相関関数
１５０ ＣＦＶＰ
１６０ 真のピーク位置

Claims (1)

1. 画像相関変位センサにおける相関関数のピーク位置検出方法であって、
   参照画像を取り込むステップと、
   変位画像を取り込むステップと、
   複数のオフセット位置で、前記参照画像と前記変位画像との少なくとも一部に基づいて各相関関数値点（ＣＦＶＰ）を求めることに基づいて、ピクセル単位で初期ピークＣＦＶＰをサーチするステップと、
   前記初期ピークＣＦＶＰの近傍の解析領域内に含まれるＣＦＶＰすべてを各オフセット位置で求めるステップと、
   前記初期ピークＣＦＶＰの近傍の前記解析領域内に含まれるＣＦＶＰに基づいて、ピクセル単位より細かい解像度で予備的な相関関数のピーク位置を推定するステップと、
   最終的な相関関数のピーク位置を推定するために曲線あてはめを行うステップと、を含み、
   前記曲線あてはめは、予備的な相関関数のピーク位置に基づいて窓関数及び１組の重み付け因子の少なくとも１つによりピクセル単位より細かい解像度で決定されることを特徴とする画像相関変位センサにおける相関関数のピーク位置検出方法。

Images