JP2009282635A - サブピクセル推定装置およびサブピクセル推定方法 - Google Patents

Abstract

【課題】得られた相関値に対して最適なサブピクセル推定モデルを選択して使用することで、精度の高いサブピクセル推定を行うことができるサブピクセル推定装置およびサブピクセル推定方法を提供する。
【解決手段】サブピクセル推定装置１は、２以上の画像を取得し、保持する画像取得部２と、画像のうち互いに対応する画像間の相関値を算出する相関値算出部３と、相関値算出部３により算出された相関値がピークとなるピーク位置を特定し、ピーク位置およびピーク位置の周辺における相関値を特定するピーク位置特定部４と、ピーク位置およびピーク位置の周辺における相関値とサブピクセル推定モデルとの合致度を評価する合致度評価部６と、合致度に基づいてサブピクセル推定モデルを選択するサブピクセル推定モデル選択部７とを備えている。
【選択図】図１

Description

本発明は、画像同士における対応点を探索する際に、サブピクセルレベルの位置対応点を推定するサブピクセル推定装置およびサブピクセル推定方法に関する。

近年、３次元形状の認識等を目的として、３次元映像を撮影する手法が研究されている。カメラによる画像から３次元形状を取得する方法として、例えばステレオカメラのように異なる視点から撮影した２つの画像を用いる方法が知られている。具体的には、これら２つの画像間において対応付けを行い、相互に対応する点から視差を求めて奥行き情報を求める。対応点の探索方法としては、一方の画像である基準画像上の注目点に対して、この注目点を内包するようなウィンドウを設定するとともに、他方の画像である参照画像上にも同サイズのウィンドウを複数設定する。そして、基準画像上のウィンドウと、参照画像上の各ウィンドウ間で相関値を算出して、最も相関値が高い参照画像上のウィンドウを探索することで対応点を探索する。なお、相関値を算出するための関数としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of squared difference)法（２乗残差法）、ＮＣＣ（Normalize cross Correlation）法（正規化相互相関法）等が知られている。

ここで、３次元画像における奥行き分解能を上げるためには、視差の精度を上げればよい。そのためには、ピクセル（画素）レベルよりも細かい精度で対応付けを行えばよい。つまり、サブピクセルレベルでの画素の対応付けを行えばよい。そこで、例えば、ピクセルレベルで求めた相関値をサブピクセル推定モデルに当てはめることで、サブピクセルレベルの対応点を推定する方法が用いられている。なお、相関値をサブピクセル推定モデルに当てはめることをフィッティングという。

例えば、特許文献１には、ピクセルレベルで相関値を求め、これら求めた相関値をサブピクセル推定モデルである直線式又は曲線式に当てはめることによって補間し、画素と画素との間における相関値のピーク位置及びピーク値を推定することで、サブピクセルレベルの対応点を推定する方法が記載されている。また、非特許文献１には、サブピクセルレベルの対応点を推定するために用いるサブピクセル推定モデルである関数が記載されている。特に、４点の相関値を用いてサブピクセルレベルの対応点を推定する、折れ線と放物線の和をとったサブピクセル推定モデルである関数が記載されている。
特開２００１−１９５５９７号公報 新井元基、鷲見和彦、松山隆司，「画像のブロックマッチングにおける相関関数とサブピクセル推定方式の最適化」，情報処理学会 研究報告，May 2004, CVIM-144-5, pp.33-40

上述のように、特許文献１および非特許文献１には、ピクセルレベルで求めた相関値を推定モデルにフィッティングすることで、サブピクセルレベルの対応点の位置を推定する方法が記載されている。しかし、求めた相関値の分布に対して最適のサブピクセル推定モデルが使われているか否かについては、なんら検討がなされていない。すなわち、特許文献１および非特許文献１に記載されているサブピクセル推定モデルが、すべての相関値の分布に対して最適であるということはない。したがって、相関値の分布によっては、これらのサブピクセル推定モデルを用いて対応点の推定を行ったことで、誤った推定を行う可能性があり、逆に視差等の精度が下がってしまうことになる。特に、画像間でノイズ成分が多い場合や相関値の分布が変則的な場合は、相関値とサブピクセル推定モデルとの合致度が低くなるため、最適な推定は困難である。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、得られた相関値に対して最適なサブピクセル推定モデルを選択して使用することで、精度の高いサブピクセル推定を行うことができるサブピクセル推定装置およびサブピクセル推定方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明に係る一態様に係るサブピクセル推定装置は、２以上の画像を取得し、保持する画像取得部と、前記画像のうち互いに対応する画像間の相関値を算出する相関値算出部と、前記相関値算出部により算出した相関値がピークとなるピーク位置を特定し、前記ピーク位置および前記ピーク位置の周辺における相関値を特定するピーク位置特定部と、前記ピーク位置および前記ピーク位置の周辺における相関値とサブピクセル推定モデルとの合致度を評価する合致度評価部と、前記合致度に基づいてサブピクセル推定モデルを選択するサブピクセル推定モデル選択部とを備えている。

これにより、得られた相関値に対して最適なサブピクセル推定モデルを選択して使用することができるので、サブピクセル推定の精度を向上させることができる。

また、上述のサブピクセル推定装置において、前記合致度評価部は、前記サブピクセル推定モデルの形状と、前記ピーク位置および前記ピーク位置の周辺における相関値により形成される形状との類似度により前記合致度を評価することが好ましい。

これにより、形状により明確に類似度を判断することができるため、容易に合致度を評価することができる。

また、上述のサブピクセル推定装置において、前記合致度評価部は、前記サブピクセル推定モデルの形状の規則性を基準として、前記ピーク位置および前記ピーク位置の周辺における相関値により形成される形状との類似度を判断し、前記合致度を評価することが好ましい。

これにより、形状の規則性を用いることで、より容易に類似度を判断することができる。したがって、容易に合致度を評価することができる。

また、上述のサブピクセル推定装置において、前記規則性は、前記サブピクセル推定モデルの任意の位置同士における相関値の大小関係または差に基づいていることが好ましい。

これにより、サブピクセル推定モデル任意の位置における大小関係により類似度を判断するので、容易に類似度を判断することができる。したがって、容易に合致度を評価することができる。

また、上述のサブピクセル推定装置において、前記各任意の位置と前記サブピクセル推定モデルの重心位置との距離は、互いに異なることが好ましい。

これにより、相関値の差が顕著に表れる箇所を用いて類似度を判断するので、容易に判断することができる。したがって、容易に合致度を評価することができる。

また、上述のサブピクセル推定装置において、前記任意の位置は、前記ピーク位置の周辺における外周近傍に対応する位置を含むことが好ましい。

このように、ノイズの影響を受けやすい外周近傍の形状により類似度を判断することから、容易に類似度を判断することができる。したがって、容易に合致度を評価することができる。

また、上述のサブピクセル推定装置において、前記合致度評価部は、前記サブピクセル推定モデルと、前記ピーク位置および前記ピーク位置の周辺における各相関値との差により類似度を判断し、前記合致度を評価することが好ましい。

これにより、各相関値とサブピクセル推定モデルとの差により類似度を判断するので、容易に類似度を判断することができる。したがって、容易に合致度を評価することができる。

また、上述のサブピクセル推定装置において、前記合致度評価部は、前記サブピクセル推定モデルと前記ピーク位置および前記ピーク位置の周辺における相関値とを用いてサブピクセル推定をした結果に応じて、前記合致度を評価することが好ましい。

このように、サブピクセル推定をした結果に応じて合致度を判断するので、より正確に合致度を評価することができる。

また、上述のサブピクセル推定装置において、さらに、複数のサブピクセル推定モデルを保持しているサブピクセル推定モデル保持部を備え、前記合致度評価部は、所定の合致度が得られるまで、前記サブピクセル推定モデル保持部に保持されている前記サブピクセル推定モデルについての前記合致度を順次評価することが好ましい。

このように、サブピクセル推定モデル保持部に保持されているすべてのサブピクセル推定モデルについて合致度を評価せずに、所定の合致度が得られるまでとすることで、処理速度が速くなる。

また、上述のサブピクセル推定装置において、前記合致度評価部は、前記サブピクセル推定モデルのいずれかにおいて所定の合致度が得られなかった場合には、前記所定の合致度が得られなかったサブピクセル推定モデルと比較して、用いる相関値の少ないサブピクセル推定モデルの合致度を評価することが好ましい。

このように、あるサブピクセル推定モデルにおける合致度が低い場合には、そのサブピクセル推定モデルよりも少ない点数により推定を行うサブピクセル推定モデルでの合致度を評価することで、合致度の高いサブピクセル推定モデルをより速く見つけることができるため処理速度が速くなる。

また、上述のサブピクセル推定装置において、前記サブピクセル推定モデルは、１次元モデルであることが好ましい。

これにより、サブピクセル推定モデルに当てはめる点数が減るので、処理速度が速くなる。

また、上述のサブピクセル推定装置において、前記サブピクセル推定モデルは、１次元モデルであって、前記ピーク位置に隣接する位置の相関値のうち大きい方を第２相関値とし、小さい方を第３相関値とし、前記ピーク位置以外であって前記第２相関値を有する位置に隣接する位置の相関値を第４相関値とした場合に、前記第３相関値と前記第４相関値との大小関係により合致度を評価することが好ましい。

これにより、２つの値を減算するだけで、容易に合致度を評価することができる。

また、上述のサブピクセル推定装置において、前記サブピクセル推定モデル選択部は、前記第３相関値が前記第４相関値よりも大きいときは、前記ピーク位置における相関値、前記第２相関値、前記第３相関値および前記第４相関値を用いてサブピクセル推定を行う第１サブピクセル推定モデルを選択し、前記第４相関値が前記第３相関値よりも大きいときは、前記ピーク位置における相関値、前記第２相関値および前記第３相関値を用いてサブピクセル推定を行う第２サブピクセル推定モデルを選択することが好ましい。

これにより、２つのサブピクセル推定モデルのうち最適のものを選択することができるので、最適なサブピクセル推定が可能である。

また、上述のサブピクセル推定装置において、前記第１サブピクセル推定モデルは、等角フィッティングとパラボラフィッティングとの線形和によるものであり、前記第２サブピクセル推定モデルは、等角フィッティングであることが好ましい。

これにより、最適なサブピクセル推定が可能である。

また、上述のサブピクセル推定装置において、前記２つ以上の画像は、ステレオ画像または時系列画像であることが好ましい。

これにより、これらの画像におけるサブピクセル推定による結果から、距離情報や動きベクトル情報等を得ることができる。

また、上述のサブピクセル推定装置において、前記相関値算出部は、周波数分解され、振幅成分が抑制されたウィンドウの画像パターンを用いることで相関値を算出することが好ましい。

このように、周波数成分から振幅成分を抑制することで、画像間の輝度差やノイズの影響を受けにくいため、ロバスト性を有する相関値算出が可能である。したがって、高精度のサブピクセル推定が可能となる。

また、上述のサブピクセル推定装置において、前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかであることが好ましい。

このように、一般的に使用され、すでに確立されている手法により周波数分解を行うので、確実に周波数分解を行うことができる。

また、上述のサブピクセル推定装置において、前記相関値算出部は、位相限定相関法を用いて相関値を算出することが好ましい。

このように、位相限定相関法を用いることで、より高精度な相関値算出が可能となる。したがって、高精度のサブピクセル推定が可能となる。

また、本発明の他の一態様に係るサブピクセル推定方法は、２以上の画像を取得し、保持する工程と、前記画像のうち互いに対応する画像間の相関値を算出する工程と、前記算出された相関値がピークとなるピーク位置を特定し、前記ピーク位置および前記ピーク位置の周辺における相関値を特定する工程と、前記ピーク位置および前記ピーク位置の周辺における相関値とサブピクセル推定モデルとの合致度を評価し、前記合致度が所定の値となるまで、前記サブピクセル推定モデルを順次変更しながら合致度を評価する工程と、前記合致度が所定の値となった場合のサブピクセル推定モデルを用いてサブピクセルレベルの推定を行う工程とを備えている。

これにより、得られた相関値に対して最適なサブピクセル推定モデルを選択して使用することができるので、サブピクセル推定の精度を向上させることができる。

本発明によれば、得られた相関値に対して最適なサブピクセル推定モデルを選択して使用することで、精度の高いサブピクセル推定を行うことができるサブピクセル推定装置およびサブピクセル推定方法を提供することができる。

以下、本発明に係る実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。

まず、本発明の実施形態に係るサブピクセル推定装置の構成について説明する。図１は本実施形態に係るサブピクセル推定装置の構成を示すブロック図である。図１に示すように、サブピクセル推定装置１は、画像取得部２と、相関値算出部３と、相関ピーク位置特定部４と、サブピクセル推定モデル保持部５と、合致度評価部６と、サブピクセル推定モデル選択部７と、サブピクセル推定部８とを有する。以下に、これら、サブピクセル推定装置１の各構成部材について説明する。

画像取得部２は、第１のカメラ９ａおよび第２のカメラ９ｂにより構成されるステレオカメラからの画像を取得し、保持している。ここで、第１のカメラ９ａおよび第２のカメラ９ｂは、被写体を同じタイミングで撮影した左右一対の画像（基準画像と参照画像）をサブピクセル推定装置１に出力する。なお、これら第１のカメラ９ａおよび第２のカメラ９ｂの収差は良好に補正されており、かつこれらは相互に平行に設置されているものとする。このように、第１のカメラ９ａおよび第２のカメラ９ｂを平行に設置することで、平行化された画像が得られる。なお、本実施形態ではステレオカメラとしたが、ステレオカメラの代わりに単眼カメラを用いて、異なる時刻における撮影をすることで、時系列画像を取得することとしてもよい。

相関値算出部３は、画像取得部２に保持されているステレオ画像のうち、基準画像に設定されたテンプレートと対応する参照画像に設定された複数のウィンドウとの相関値を算出する。ここで、テンプレートとは基準画像における一定の領域で区切られた範囲であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。また、ウィンドウとは参照画像において複数生成された、テンプレートと同一の大きさの範囲の領域であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。相関値は、テンプレートとウィンドウとの画像パターンをから求めることができる。例えば、テンプレートといずれかのウィンドウとの相関値を求め、仮に、これらの相関値が低く、これらが対応しないと判断されれば、例えば１画素いずれかの方向にずれた位置に生成されたウィンドウとテンプレートとの相関値を求める。このようにして、相関値がピークの値をとるウィンドウ、つまりテンプレートに対応するウィンドウを求める。なお、時系列画像であれば、先の画像を基準画像とし、後の画像を参照画像とすればよい。

ここで、テンプレートに対応するウィンドウを求める時間を短縮する方法について簡単に説明する。例えば、上述したように、第１のカメラ９ａおよび第２のカメラ９ｂが平行に配置されている場合は、基準画像と参照画像とがほとんど平行に配置されている。そうすると、参照画像上におけるウィンドウは、基準画像上における注目点と同じ高さ位置にあると仮定できるので、この高さ位置のウィンドウについて相関値を求めればよい。また、基準画像と参照画像とがほとんど平行に配置されていて、かつ基準画像と参照画像との視差がある程度分かっている場合は、ウィンドウの設定範囲はさらに限定することができる。このように、ウィンドウの設定範囲を限定することで、相関値を求めるウィンドウの数を抑制できるので、対応するウィンドウを短時間で探索することができる。

また、別の方法としては、多重解像度戦略による探索方法とよばれているものがある。この方法は、一旦、それぞれの画像の解像度を低くして、すなわち画素数を減少させてウィンドウの相関値がピークになる座標を求め、解像度を元に戻してから、ウィンドウの設定範囲を低解像度で求まった座標周辺に絞り込んで相関値を求める方法である。このように、それぞれの画像の解像度を低くすることで、画像パターンの情報を減少させることで相関値を短時間で求めることができる。また、そうして求めた低解像度での相関値がピークである座標付近に、本来の解像度における相関値がピークとなる座標が存在するはずである。このように、対応するウィンドウが存在する範囲を短時間で確定することができるので、対応するウィンドウを短時間で探索することができる。なお、この方法においては、何段階かに分けた複数の低解像度画像を作成して、徐々に探索位置を絞り込んでいってもよい。

次に、具体的な相関値の算出方法について説明する。相関値を求めるための関数としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared Difference)法（２乗残差法）、ＮＣＣ（Normalize cross Correlation）法（正規化相互相関法）等が知られている。例えばＳＡＤ法は、テンプレートおよびウィンドウの輝度値の絶対値による総和を求める関数であって、この関数により与えられた値より、ウィンドウごとの相関値を求めることができる。

次に、上記ＳＡＤ法等に比べてロバスト性を有する相関値演算について説明する。具体的には、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法であり、画像の左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算が実現可能である。画像パターンの周波数分解信号を計算する手法として、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。ここでは、このようなロバスト性を有する相関値演算のうち位相限定相関法（以下、ＰＯＣ法という）について簡単に説明する。

ＰＯＣ法においても、基準画像上にテンプレートを設定し、参照画像上に同じ大きさを持つウィンドウを設定する。そして、参照画像上のウィンドウをずらしながら、テンプレートと各ウィンドウとの相関値（ＰＯＣ値）を計算し、その相関値からテンプレートに対応するウィンドウを求める。まず、基準画像のテンプレートおよび参照画像のウィンドウは、それぞれ２次元離散フーリエ変換され、規格化された後、合成され、２次元逆離散フーリエ変換される。このようにして、相関値であるＰＯＣ値が求められる。また、ＰＯＣ値は画素ごとに離散的に求まるため、ウィンドウ内における画素ごとに類似度を求めることができる。したがって、ウィンドウの範囲を絞り込むことが容易であり、対応点を求める処理も高速でできるという効果を奏する。

なお、ＰＯＣ法以外でも、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて相関値演算を行う方法は知られている。例えばＤＣＴ符号限定相関法（「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」，貴家仁志，首都大学東京 システムデザイン学部 動的画像処理実利用化ワークショップ２００７，２００７．３．８−９参照）等があり、これらを用いて相関値演算を行ってもよい。

相関ピーク位置特定部４は、算出したピクセルレベルの相関値のうち、相関値がピークとなる位置における座標を特定し、その座標位置の相関値およびその周辺の画素に対する相関値も特定する。このようにして、算出されたピーク相関値における座標および相関値、さらにその周辺の画素に対する相関値は、合致度評価部６に送られる。

サブピクセル推定モデル保持部５は、相関ピーク位置特定部４により求めた画素間の相関値を求めるための複数のサブピクセル推定モデルを記憶、保持している。サブピクセル推定モデルとは、相関値算出部３においてピクセルレベルで求めた相関値をもとに、サブピクセルレベルの相関値を推定するための関数である。一般的に、自然画像においては、相関値は滑らかに変化する。すなわち、ある画素の相関値とその周辺の相関値とにはなんらかの関係があり、その値は滑らかに変化するため、この相関値により構成される関数が求まれば、サブピクセルレベルでのピーク値を推定することができる。そこで、サブピクセル推定モデルを、相関値により構成される関数であるとして、サブピクセルレベルの推定が行われている。

具体的には、サブピクセル推定モデルに相関値算出部３で得られた実データである相関値をフィッティングすることで、サブピクセルレベルでの相関値のピーク位置を推定する。このようなサブピクセル推定モデルは、さまざまの種類があり、個々に特徴がある。サブピクセル推定モデル保持部５は、多種類のサブピクセル推定モデルを記憶保持しており、必要に応じてこれらを出力する。サブピクセル推定モデルとしては、折れ線近似（等角フィッティング）によるもの、放物線近似（パラボラフィッティング）によるものおよび折れ線と放物線の和を用いた近似（等角パラボラフィッティング）によるもの（例えば、非特許文献１参照）や、特許文献１に記載された４点の相関値を用いてサブピクセルを求める推定モデル等がある。

ここで、等角フィッティングにおける相関関数は式１で表される。

Ｓ（ｉ）＝ａ｜ｉ−ｉ_０｜＋Ｓ_０ ・・・（１）
式１において、Ｓ（ｉ）はピクセルレベルでの対応点からの水平方向のシフト量ｉに対する相関値であり、ａおよびＳ_０は点ごとに異なる定数である。これらａおよびＳ_０を推定することで、相関関数である式１がピークとなる位置ｉ＝ｉ_０、つまりサブピクセルレベルの変位ｘ_ｓｕｂを推定することができる。具体的には、ピクセルレベルで求めた相関値Ｓ（−１）、Ｓ（０）、Ｓ（１）を用いて、式２に示すように、サブピクセルレベルでの推定値を求めることができる。

なお、ｉはピクセルレベルでの対応点からの水平方向のシフト量であるから、相関関数が折れ線になるという仮定の下では−０．５≦ｉ_０≦０．５であり、ｘ_ｓｕｂは−０．５≦ｘ_ｓｕｂ≦０．５の範囲に限定される。また、信頼度は式３で表される。なお、信頼度とは、推定により求めた対応点の相関値である。

また、パラボラフィッティングにおける相関関数は式４で表される。

Ｓ（ｉ）＝ａ（ｉ−ｉ_０）^２＋Ｓ_０ ・・・（４）
また、式４を用いた、サブピクセルレベルでの推定値は式５で表される。なお、等角フィッティングと同様に、−０．５≦ｘ_ｓｕｂ≦０．５である。

また、等角パラボラフィッティングにおける相関関数は式６で表される。

Ｓ（ｉ）＝ａ（ｉ−ｉ_０）^２＋ｂ｜ｉ−ｉ_０｜＋Ｓ_０ ・・・（６）
また、式４を用いた、サブピクセルレベルでの推定値は式７で表される。

また、信頼度は式８で表される。

なお、等角フィッティングおよびパラボラフィッティングにおいては、３点の相関値を用いてサブピクセルレベルの推定を行うが、等角パラボラフィッティングでは４点の相関値を用いてサブピクセルレベルの推定を行う。

合致度評価部６は、サブピクセル推定モデル保持部５に保持されているサブピクセル推定モデルのうちのいずれかに、ピーク相関値およびその座標とその座標周辺の相関値を当てはめて、サブピクセル推定モデルとの合致度を評価する。上述したように、各サブピクセル推定モデルは個々に特徴がある。したがって、それら実データによる相関値の分布によって、適、不適がある。例えば、フィッティングさせる相関値によっては、誤った推定をする場合がある。そこで、実データである相関値と、使用するサブピクセル推定モデルとがうまく合致するかどうかを確認してからサブピクセル推定を行うことが好ましい。合致度評価部６では、サブピクセル推定モデル保持部５において、記憶されているサブピクセル推定モデルが、フィッティングさせようとしている相関値に適したものかを確認するために、合致度を評価する。つまり、サブピクセル推定モデルと相関値との合致度を評価する。そして、合致度評価部６は、合致度をサブピクセル推定モデル選択部７に指示する。

サブピクセル推定モデル選択部７は、合致度評価部６から送信される合致度が高く、最適であるサブピクセル推定モデルをサブピクセル推定に用いるために選択する。

以下に、具体的な合致度の評価方法について説明する。なお、以下の説明においては、相関値が大きいほど類似度が高いこととする。例えば、サブピクセル推定モデルの形状と、ピーク位置およびピーク位置の周辺における相関値により形成される形状との類似度により合致度を評価することができる。ピーク位置および前記ピーク位置の周辺における相関値により形成される形状とは、ピーク相関値およびその座標周辺の相関値を順次つないだ場合の形状である。

形状の類似性による合致度の評価方法について図２を用いて説明する。図２は形状の類似性による合致度の評価方法について説明するための図である。図２（Ａ）はサブピクセル推定モデルを示す図であり、図２（Ｂ）はサブピクセル推定モデルと相関値との類似性が高い場合を示す図であり、図２（Ｃ）はサブピクセル推定モデルと相関値との類似性が低い場合を示す図である。第１の合致度の評価方法は、ピーク相関値およびその座標周辺の相関値を順次つないだ場合の形状１２（以下、相関値形状という）と、サブピクセル推定モデルの形状との類似性により合致度を評価する。なお、サブピクセル推定モデル１１が放物線形状であるので、相関値形状１２も放物線に近い形状となるようにしている。

図２（Ａ）に示しているように、サブピクセル推定モデル１１は１次元の放物線形状のものを用いた。図２（Ｂ）および図２（Ｃ）には、サブピクセル推定モデル１１とともに、相関値形状１２も表している。ここで、相関値は、１次元であるので画像における縦方向あるいは横方向におけるピーク相関値を含む５点としている。具体的には、ピーク相関値の座標を中心として、１画素および２画素離れた位置の相関値である。サブピクセル推定モデルの形状が、相関値形状に完全に一致しない場合であっても形状の類似度が高ければ、信頼度の高いサブピクセルレベルでの推定は可能である。しかし、形状の類似度が低い場合は、信頼できる推定とはいえない。

図２（Ｂ）に示す相関値形状１２は、サブピクセル推定モデル１１とほぼ重なっており、これらは類似性が高く、合致度が高い。また、図２（Ｃ）に示す相関値形状１２はサブピクセル推定モデル１１とほとんど重なっておらず、これらは類似性が低く、合致度が低い。したがって、図２（Ｂ）に示す相関値形状１２を有する相関値であれば、この放物線近似モデルをサブピクセル推定モデルとして用いることで、正しい推定結果を得ることができる可能性が高い。しかし、図２（Ｃ）に示す相関値形状１２を有する相関値であれば、この放物線近似モデルをサブピクセル推定モデルとして用いた場合には、正しい推定結果を得ることができない。

形状により合致度を評価する場合にさらに具体的な方法としては、例えば、サブピクセル推定モデルにおける規則性を考慮して、その規則性を相関値形状が有するかによって、合致度を評価する方法がある。このように、形状の類似性に対して明確な基準があることで、形状が類似しているか否かを客観的に評価できることから、評価の信頼性が高くなるため好ましい。

そこで、サブピクセル推定モデルの形状の規則性を予め求めておき、サブピクセル推定モデルにフィッティングさせようとしている相関値がその規則性を有するかどうかにより、類似性を判断し、合致度を評価する方法について説明する。図３は形状の規則性により、類似性を判断する方法について説明するための１次元放物線モデルの一例を示す図である。図３に示すサブピクセル推定モデル１３は１次元放物線モデルである。図３において、点ａ、ｂ、ｃ、ｄ、ｅのうち、点ｃがピーク相関値を示している。また、点ａは点ｃから２画素、マイナス側にある点であり、点ｂは点ｃから１画素、マイナス側にある点である。点ｄは点ｃから１画素、プラス側にある点であり、点ｅは点ｃから２画素、プラス側にある点である。これらの点において、図３に示すサブピクセル推定モデル１３においては、点ａは点ｂよりも相関値が低く、点ｂは点ｃよりも相関値が低いという特徴がある。したがって、相関値として、点ａ、ｂ、ｃ、ｄ、ｅを得た場合に、それらの相関値の関係が、点ａは点ｂよりも相関値が低く、点ｂは点ｃよりも相関値が低い場合には、図３に示すサブピクセル推定モデル１３と相関値とは合致度が高いと評価できる。このように、規則性の基準として各点における相関値の高低を用いればよい。

各点における相関値の高低を基準とするだけでなく、点同士の相関値の差も基準としてもよい。例えばサブピクセル推定モデルの重心位置を基準として対称の関係を有する点同士の相関値の関係あるいは重心位置からの距離が異なる点同士の相関値の関係等を用いればよい。具体的には、図３に示した１次元放物線モデルの場合は、その重心位置は点ｃである。そこで、例えば対称関係にある点ａと点ｅとの位置における相関値の差が所定の閾値よりも小さい場合は合致度が高く、閾値以上の場合は合致度が低いこととすればよい。また、同様に、対称関係にある点ｂと点ｃとの位置における相関値の差においても規則性を求めておいてもよい。

また、例えば、重心位置である点ｃからの距離が異なる点同士である点ｂと点ａとの位置における相関値の差が所定の閾値よりも大きい場合は合致度が高く、閾値以下の場合は合致度が低いこととすればよい。このようにすることで、相関値形状とサブピクセル推定モデルとの形状の類似性を明確に判断することができる。

ここで、各点同士の高低差による規則性に基づいて合致度の評価をした場合の具体例を示す。図４は得られた１次元の相関値を示した図である。例えば、図４に示すような相関値が得られた場合に、１１点を用いてフィッティングを行う１次元放物線形状のサブピクセル推定モデルが選択された場合について説明する。１次元放物線形状のサブピクセル推定モデルは、重心位置をピークにそこから離れるにしたがい、相関値は低くなっていく。この規則性を基準として相関値形状とサブピクセル推定モデルの形状の合致度を評価する。図４において、横方向の座標３の相関値は、座標２の相関値よりも小さい。これは前記規則性に反している。そこで、１１点をもとにフィッティングを行う１次元放物線形状のサブピクセル推定モデルとの合致度は低いと評価される。しかし、座標３から座標１１においては規則性に反していないことから、例えば、座標３から座標９までの７点を用いてフィッティングを行う１次元放物線形状のサブピクセル推定モデルとの合致度を評価することが好ましい。

また、形状の類似性を判断する場合に、ウィンドウの重心位置付近ではなく、ウィンドウの外周付近の相関値形状とサブピクセル推定モデルの形状とを比較して判断してもよい。ウィンドウの外周部は相関値が低く、ノイズの影響を受けやすい。このように、ノイズの影響を受けやすいウィンドウの外周部およびその付近の相関値形状とサブピクセル推定モデルの形状とを比較し、類似性を判断することで、類似度を適切に判断することができる。具体的には、ウィンドウ外周部およびその周辺における各点の相関値の大小により判断する。

ここで、ウィンドウの外周付近の規則性に基づいて合致度の評価をした場合の具体例を示す。図５は２次元のサブピクセル推定モデルを示す図である。図５（Ａ）は推定モデルを立体的に表した図であり、図５（Ｂ）は推定モデルにおける相関値を数値で表した図である。図５（Ａ）に示すように、推定モデルは５×５の範囲であって縦方向および横方向において放物線形状を有する。図５（Ｂ）における１マスは１つの画素を示しており、それらにおける相関値が示されている。また、図６は得られた２次元の相関値を示した図である。図６（Ａ）は相関値の分布を立体的に表した図であり、図６（Ｂ）は相関値の分布を数値で表した図である。図６（Ａ）に示すように、相関値は５×５の範囲である。図６（Ｂ）における１マスは１つの画素を示しており、それらにおける相関値が示されている。

図６に示された相関値の形状と図５に示された推定モデルとの形状の類似性を見る場合に、それらの外周部分に着目すると、図５および図６における横方向の左端の列の値が異なっている。このことから、これらは類似度が低いと判断できる。したがってこの推定モデルと相関値とは合致度が低いと評価される。しかし、ウィンドウの内側においては形状が類似していることから、この推定モデルの外周部分を削除し、範囲を３×３とした推定モデルに変更して、合致度を評価することが好ましい。

なお、図５および図６においては、２次元のサブピクセル推定モデルを用いたが、特に２次元モデルを用いなくても、１次元モデルにより評価しても十分に正しい評価ができる上、合致させる点数が減るため処理速度も上がることから好ましい。

次に、サブピクセル推定モデルと、サブピクセル推定モデルにフィッティングさせようとしている相関値との残差により形状の類似性を判断し、合致度を評価する方法について説明する。図７は残差により形状の類似性を判断する方法について説明するための図である。図７（Ａ）は得られた相関値と座標位置との関係を示す図であり、図７（Ｂ）は１次元放物線モデルであるサブピクセル推定モデルと相関値との残差を示す図である。図７（Ａ）に示すように、ピーク相関値を含む相関値が分布していた場合に、これらを１次元放物線モデルであるサブピクセル推定モデルにフィッティングさせるとすると、図７（Ｂ）に示すように、相関値が完全にサブピクセル推定モデル１４と合わない。このとき、相関値を示す各点の座標位置に対するサブピクセル推定モデルの値と、それら点の相関値との差（残差）を求め、その残差の大小により、合致度を評価してもよい。具体的には、各点における残差の閾値を決めておき、各点ごとに残差を検出して閾値を越えた点がある場合には、合致度が低いと評価すればよい。

また、相関値の分布によっては、サブピクセルレベルにおける相関値のピーク位置の範囲をある程度予測できる場合がある。このような場合は、サブピクセル推定モデルによる推定後に、その予想範囲内に推定値が存在するかどうかから、合致度を評価することができる。そこで、推定値が存在し得る範囲を所定範囲として決めておき、推定後に所定範囲内に推定した相関値のピーク位置が存在するかを判断することで、合致度を評価してもよい。

上述のように合致度評価部６はサブピクセル推定モデル保持部５に保持されたサブピクセル推定モデルの合致度の評価を順次行っていく。なお、推定モデル保持部５に保持された全てのサブピクセル推定モデルについて合致度の評価を行うと時間がかかるので、合致度が高いものが見つかれば、残りのサブピクセル推定モデルについては合致度を求めずに、処理を止めることとしてもよい。このようにすることで、推定モデル保持部５に保持された全てのサブピクセル推定モデルについて合致度の評価を行う必要がないので、処理時間が短縮される。なお、合致度は随時、サブピクセル推定モデル選択部に７に指示しておくこととする。

また、どのサブピクセル推定モデルから合致度を評価していくかは、処理スピードを短縮する上で重要である。そこで、選択においては、推定精度が高いサブピクセル推定モデルの優先順位を高く設定することが好ましい。なお、使用する相関値の数の多いサブピクセル推定モデルは精度が高い代わりにノイズに弱いという欠点がある。したがって、例えば初期設定として、４点を用いて推定を行うサブピクセル推定モデルの合致度を評価し、合致度が低い場合には、３点を用いて推定を行うサブピクセル推定モデルに変更する等すればよい。また、時系列画像においては、フレーム間での画像は大きく変わっていないことが多いので、前フレームで使用したサブピクセル推定モデルの優先順位を高く設定することが好ましい。また、画像上で隣接する画素はテクスチャが類似する可能性が高いので隣接画素で用いられたサブピクセル推定モデルの優先順位を高く設定することが好ましい。また、相関値形状のピーク座標が０．５画素ずれているような場合には、サブピクセル推定モデルは相関値形状に合わせて０．５画素分ずれたものを用いればよい。

ここで、より具体的な実施形態の一例として、前記等角フィッティングおよび特許文献１に記載された４点の相関値を用いてサブピクセルを求める推定モデル（以下、４点推定モデルという）の２つのサブピクセル推定モデルをサブピクセル推定モデル保持部５に保持している場合におけるサブピクセル推定モデルの合致度の評価について説明する。

まず、等角フィッティングおよび４点推定モデルにおける推定の方法について、図面を用いて説明する。図８は等角フィッティングについて説明する図である。等角フィッティングは３点を用いてサブピクセルレベルの推定を行う。なお、等角フィッティングに関する式は、前記式１〜式３である。相関ピーク位置特定部４により求めたピーク相関値を第１相関値とし、第１相関値の画素に隣接する２つの画素の相関値のうち大きい方を第２相関値とし、小さい方を第３相関値とする。図８において、第１相関値と第３相関値とを結ぶ直線Ｌ１の傾きの正負を反転させた傾きを持ち、第２相関値を通る直線Ｌ２が示されている。直線Ｌ１と直線Ｌ２とが交わる点がサブピクセルレベルのピーク相関値であると推定される。

図９は４点推定モデルについて説明する図である。４点推定モデルは４点を用いてサブピクセルレベルの推定を行う。なお、４点推定モデルは、等角フィッティングに比べて用いる点数が多く、精度も高い。相関ピーク位置特定部４により求めたピーク相関値を第１相関値とし、第１相関値の画素に隣接する２つの相関値のうち大きい方を第２相関値とし、小さい方を第３相関値とする。さらに、第２相関値の画素と隣接する画素のうち、第１相関値の画素と異なる画素の相関値を第４相関値とする。図９において、第１相関値と第３相関値とを結ぶ直線Ｌ１および第２相関値と第４相関値とを結ぶ直線Ｌ２が交わる点がサブピクセルレベルのピーク相関値であると推定される。

次に、図１０も加えて、サブピクセル推定モデルの合致度の評価について説明する。図１０は４点推定モデルが不適当である場合について説明する図である。まず、相関ピーク位置特定部４は、第１〜第４相関値に基づく４点を特定する。そして、等角フィッティングよりも精度の高い４点推定モデルを用いて、この４点からサブピクセルレベルのピーク相関値を推定する。ここで、例えば上述したように推定値が存在し得る範囲を決めておくことができる。具体的には、この場合のサブピクセル推定位置は第２相関値の位置と第４相関値の位置の間であり、さらに具体的には、座標の−０．５と０との間に位置するはずである。そこで、この範囲を所定範囲として決めておく。

図１０に示すような場合に、４点推定モデルによるサブピクセル推定位置が第１相関値の位置と第３相関値の位置の間となり、前記所定範囲外である。このような場合は、合致度が低いと評価される。つまり、相関値のピーク位置の範囲を予測でき、この範囲にピーク位置がないため合致度が低いと評価される。

また、このように推定値を求める合致度の評価以外にも、４点推定モデルにおいては、第４相関値が第３相関値とほぼ同じ値である場合には、上述したように不適当な推定が行われることがわかっている。したがって、サブピクセル推定を行う前に、第３相関値と第４相関値との差を判断し、その差が一定値以下であれば、合致度が低いと評価してもよい。このようにすることで、さらに処理速度が高くなる。

したがって、まず、４点推定モデルでの合致度を上述のように評価し、合致度が高ければ、サブピクセル推定モデル選択部７は４点推定モデルを選択し、合致度が低ければ等角フィッティングを選択することとすればよい。

なお、４点推定モデルの代わりに、例えば等角パラボラフィッティングのサブピクセル推定モデルをサブピクセル推定モデル保持部５に保持していることとしてもよい。等角パラボラフィッティングについても、４点推定モデルと同様に、４点の相関値を用いて推定を行うため、３点の相関値を用いて推定を行う等角フィッティングに比べて精度が高い。そこで、まず、等角パラボラフィッティングでの合致度を評価し、合致度が高ければ、サブピクセル推定モデル選択部７は等角パラボラフィッティングを選択し、合致度が低ければ等角フィッティングを選択することとすればよい。

なお、等角パラボラフィッティングにおいては、相関ピーク位置特定部４により求めたピーク相関値を第１相関値とし、第１相関値の画素に隣接する２つの相関値のうち大きい方を第２相関値とし、小さい方を第３相関値とする。さらに、第２相関値の画素と隣接する画素のうち、第１相関値の画素と異なる画素の相関値を第４相関値とし、これら第１〜第４相関値の４点を用いてサブピクセルレベルのピーク相関値を推定する。また、合致度の評価方法は、前記４点推定モデルの評価方法と同様とすればよい。なお、等角パラボラフィッティングに関する式は、前記式６〜式８である。

サブピクセル推定部８は、サブピクセル推定モデル選択部７で選択されたサブピクセル推定モデルにピーク相関値およびその座標とその座標周辺の相関値をフィッティングすることで、サブピクセルレベルの位置における相関値を推定する。そして、相関値のサブピクセルレベルにおけるピーク値の座標を推定し、その値を出力する。

次に、本発明の実施形態に係るサブピクセル推定装置の動作について説明する。図１１は本実施形態に係るサブピクセル推定装置の動作を説明するためのフローチャートである。

まず、ステレオ画像が第１のカメラ９ａおよび第２のカメラ９ｂから画像取得部２により取得される（Ｓ１）。なお、取り込む画像は、ステレオ画像でなく時系列画像であってもよい。画像取得部２では取得した画像を保持している。相関値算出部３では、画像取得部２で保持されている画像のうち、それぞれ対応する画像（基準画像および参照画像）を取り込み、基準画像上のテンプレートに対応する参照画像上のウィンドウを探索し、探索したウィンドウの画素ごとに相関値を算出する（Ｓ２）。算出された画素ごとの相関値は、相関ピーク位置特定部４に送られる。相関ピーク位置特定部４では、ピーク相関値およびその座標を特定し（Ｓ３）、さらにその周辺の座標における相関値を特定する。これら、ピーク相関値の座標およびその周辺の座標における相関値は、合致度評価部６に送られる。合致度評価部６では、決められた優先順位に沿って、サブピクセル推定モデル保持部５に保持されたサブピクセル推定モデルと相関値との合致度を評価する（Ｓ４）。合致度が低い場合は、サブピクセル推定モデル保持部５から再び別のサブピクセル推定モデルを選択し（Ｓ６）、再びステップＳ４へと戻る。また、合致度が高い場合は、合致度評価部６は合致度の評価を止める。そして、サブピクセル推定モデル選択部７はその合致度が高いサブピクセル推定モデルをサブピクセル推定部８に指示し、サブピクセル推定部８はサブピクセル推定を行う（Ｓ６）。具体的には、サブピクセルレベルの位置における相関値を推定する。そして、相関値のサブピクセルレベルにおけるピーク値の座標を推定し、その値を出力する。このようにすることで、本実施形態のサブピクセル推定装置は、より正確なサブピクセル推定を行うことができる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本実施形態に係るサブピクセル推定装置の構成を示すブロック図である。 形状の類似性による合致度の評価方法について説明するための図であって、図２（Ａ）はサブピクセル推定モデルを示す図であり、図２（Ｂ）はサブピクセル推定モデルと相関値との類似性が高い場合を示す図であり、図２（Ｃ）はサブピクセル推定モデルと相関値との類似性が低い場合を示す図である。 形状の規則性により、類似性を判断する方法について説明するための１次元放物線モデルの一例を示す図である。 得られた１次元の相関値を示した図である。 ２次元のサブピクセル推定モデルを示す図であって、図５（Ａ）は推定モデルを立体的に表した図であり、図５（Ｂ）は推定モデルにおける相関値を数値で表した図である。 得られた２次元の相関値を示した図であって、図６（Ａ）は相関値の分布を立体的に表した図であり、図６（Ｂ）は相関値の分布を数値で表した図である。 残差により形状の類似性を判断する方法について説明するための図であって、図７（Ａ）は得られた相関値と座標位置との関係を示す図であり、図７（Ｂ）は１次元放物線モデルであるサブピクセル推定モデルと相関値との残差を示す図である。 等角フィッティングについて説明する図である。 ４点推定モデルについて説明する図である。 ４点推定モデルが不適当である場合について説明する図である。 本実施形態に係るサブピクセル推定装置の動作を説明するためのフローチャートである。

符号の説明

１ サブピクセル推定装置
２ 画像取得部
３ 相関値算出部
４ 相関ピーク位置特定部
５ サブピクセル推定モデル保持部
６ 合致度評価部
７ サブピクセル推定モデル選択部
８ サブピクセル推定部
９ａ 第１のカメラ
９ｂ 第２のカメラ
１１、１３、１４ サブピクセル推定モデル
１２ 相関値形状

Claims (19)

1. ２以上の画像を取得し、保持する画像取得部と、
   前記画像のうち互いに対応する画像間の相関値を算出する相関値算出部と、
   前記相関値算出部により算出した相関値がピークとなるピーク位置を特定し、前記ピーク位置および前記ピーク位置の周辺における相関値を特定するピーク位置特定部と、
   前記ピーク位置および前記ピーク位置の周辺における相関値とサブピクセル推定モデルとの合致度を評価する合致度評価部と、
   前記合致度に基づいてサブピクセル推定モデルを選択するサブピクセル推定モデル選択部とを備えたサブピクセル推定装置。
2. 前記合致度評価部は、前記サブピクセル推定モデルの形状と、前記ピーク位置および前記ピーク位置の周辺における相関値により形成される形状との類似度により前記合致度を評価する請求項１に記載のサブピクセル推定装置。
3. 前記合致度評価部は、前記サブピクセル推定モデルの形状の規則性を基準として、前記ピーク位置および前記ピーク位置の周辺における相関値により形成される形状との類似度を判断し、前記合致度を評価する請求項２に記載のサブピクセル推定装置。
4. 前記規則性は、前記サブピクセル推定モデルの任意の位置同士における相関値の大小関係または差に基づいている請求項３に記載のサブピクセル推定装置。
5. 前記各任意の位置と前記サブピクセル推定モデルの重心位置との距離は、互いに異なる請求項４に記載のサブピクセル推定装置。
6. 前記任意の位置は、前記ピーク位置の周辺における外周近傍に対応する位置を含む請求項４または請求項５に記載のサブピクセル推定装置。
7. 前記合致度評価部は、前記サブピクセル推定モデルと、前記ピーク位置および前記ピーク位置の周辺における各相関値との差により類似度を判断し、前記合致度を評価する請求項２に記載のサブピクセル推定装置。
8. 前記合致度評価部は、前記サブピクセル推定モデルと前記ピーク位置および前記ピーク位置の周辺における相関値とを用いてサブピクセル推定をした結果に応じて、前記合致度を評価する請求項１に記載のサブピクセル推定装置。
9. さらに、複数のサブピクセル推定モデルを保持しているサブピクセル推定モデル保持部を備え、
   前記合致度評価部は、所定の合致度が得られるまで、前記サブピクセル推定モデル保持部に保持されている前記サブピクセル推定モデルについての前記合致度を順次評価する請求項１ないし請求項８のいずれかに記載のサブピクセル推定装置。
10. 前記合致度評価部は、前記サブピクセル推定モデルのいずれかにおいて所定の合致度が得られなかった場合には、前記所定の合致度が得られなかったサブピクセル推定モデルと比較して、用いる相関値の少ないサブピクセル推定モデルの合致度を評価する請求項９に記載のサブピクセル推定装置。
11. 前記サブピクセル推定モデルは、１次元モデルである請求項１ないし請求項１０のいずれかに記載のサブピクセル推定装置。
12. 前記サブピクセル推定モデルは、１次元モデルであって、
    前記ピーク位置に隣接する位置の相関値のうち大きい方を第２相関値とし、小さい方を第３相関値とし、前記ピーク位置以外であって前記第２相関値を有する位置に隣接する位置の相関値を第４相関値とした場合に、
    前記第３相関値と前記第４相関値との大小関係により合致度を評価する請求項４または請求項５に記載のサブピクセル推定装置。
13. 前記サブピクセル推定モデル選択部は、前記第３相関値が前記第４相関値よりも大きいときは、前記ピーク位置における相関値、前記第２相関値、前記第３相関値および前記第４相関値を用いてサブピクセル推定を行う第１サブピクセル推定モデルを選択し、
    前記第４相関値が前記第３相関値よりも大きいときは、前記ピーク位置における相関値、前記第２相関値および前記第３相関値を用いてサブピクセル推定を行う第２サブピクセル推定モデルを選択する請求項１２に記載のサブピクセル推定装置。
14. 前記第１サブピクセル推定モデルは、等角フィッティングとパラボラフィッティングとの線形和によるものであり、
    前記第２サブピクセル推定モデルは、等角フィッティングである請求項１３に記載のサブピクセル推定装置。
15. 前記２つ以上の画像は、ステレオ画像または時系列画像である請求項１に記載のサブピクセル推定装置。
16. 前記相関値算出部は、周波数分解され、振幅成分が抑制されたウィンドウの画像パターンを用いることで相関値を算出する請求項１に記載のサブピクセル推定装置。
17. 前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかである請求項１６に記載のサブピクセル推定装置。
18. 前記相関値算出部は、位相限定相関法を用いて相関値を算出する請求項１６に記載のサブピクセル推定装置。
19. ２以上の画像を取得し、保持する工程と、
    前記画像のうち互いに対応する画像間の相関値を算出する工程と、
    前記算出された相関値がピークとなるピーク位置を特定し、前記ピーク位置および前記ピーク位置の周辺における相関値を特定する工程と、
    前記ピーク位置および前記ピーク位置の周辺における相関値とサブピクセル推定モデルとの合致度を評価し、前記合致度が所定の値となるまで、前記サブピクセル推定モデルを順次変更しながら合致度を評価する工程と、
    前記合致度が所定の値となった場合のサブピクセル推定モデルを用いてサブピクセルレベルの推定を行う工程とを備えたサブピクセル推定方法。

Images