JP2009187316A - 対応点探索装置および該方法 - Google Patents

Abstract

【課題】本発明は、対応点探索の演算領域が画像領域と画像外領域とに亘って設定される場合でも誤対応を低減することができる対応点探索装置および該方法を提供する。
【解決手段】本発明の対応点探索装置は、所定の時点に取得された画像に基づいて所定の時点と異なる予測時点における画像を予測画像として生成する画像予測部２１と、予測画像と予測時点に取得された画像とを合成することによって合成画像を生成する画像合成部２２と、２つの画像のうちの一方を基準画像とすると共に他方を参照画像とする場合に、基準画像の注目点に対応する参照画像の対応点を探索する対応点探索部２３とを備え、対応点探索部２３は、基準画像に対応する合成基準画像がある場合には基準画像に代えて合成基準画像を用いると共に、参照画像に対応する合成参照画像がある場合には参照画像に代えて合成参照画像を用いる。
【選択図】図１

Description

本発明は、２つの画像間における互いに対応する点を探索するための対応点探索装置および対応点探索方法に関する。

従来、２つの画像のうちの一方を基準画像とすると共に他方を参照画像とした場合に、前記基準画像における注目点に対応する前記参照画像の対応点を探索するための対応点探索方法が知られている。この対応点探索方法は、画像マッチングとも呼ばれ、コンピュータによる画像の解析、認識および理解等の様々な分野における基本技術として重要である。

例えば、この対応点探索方法は、ＦＡ（Factory automation）におけるロボットの３次元的な視覚、および、車両等の移動体における先行物体の認識や先行物体までの距離計測等において、一組のステレオ画像を用いた対応点探索処理に利用される。また例えば、対応点探索方法は、セキュリティシステムにおける移動体の追尾や顔部位のトラッキング（追跡）等において、一組の動画像を用いた動きベクトル探索処理に利用される。また例えば、バイオメトリクス認証における顔認証や指紋認証および画像検索等において、登録画像と照会画像との比較処理に利用される。

この対応点探索方法は、研究、開発され、様々な手法が提案されているが、例えば、図１７に示すように、基準画像Ｉ１における対応点探索の演算領域となるテンプレートＴＰのサイズ（領域の大きさ）によっては、テンプレートＴＰが基準画像Ｉ１の縁部（端部）近傍位置に設定される場合があり、画像領域を外れた、画像ではない領域（画像外領域）がテンプレートＴＰ内に含まれ、誤対応するおそれが生じる。すなわち、基準画像Ｉ１に対して水平方向にＮ画素ずれた参照画像Ｉ２について対応点探索を行う場合、図１７に示すように、基準画像Ｉ１の注目点Ａに対応する参照画像Ｉ２の対応点は、本来、Ｎ画素ずれた位置である点Ａ’が求まるべきである。しかしながら、基準画像Ｉ１の注目点Ａに対して設定されたテンプレートＴＰ内に画像外領域が含まれると、画像として本来無いエッジが画像領域の輝度値と画像外領域の輝度値との差によって画像領域と画像外領域との境界に生じてしまう。このため、このエッジを含んだ状態で対応点探索が行われることになる。この結果、このエッジの影響、すなわち、画像領域と画像外領域とにおける画像の不連続性の影響によって、基準画像Ｉ１の注目点Ａに対応する参照画像Ｉ２の対応点が参照画像Ｉ２における基準画像Ｉ１と同じ位置である点Ａ”で類似度（相関）が高くなる場合が生じ、誤対応してしまう。

また、対応点探索を行う２つの画像が時系列画像である場合には、さらに、次の誤対応も生じ得る。１フレーム前の画像を基準画像Ｉ１とし、現フレームの画像を参照画像Ｉ２とした場合に、例えば、図１８に示すように、移動体が直進前進運動している場合では、参照画像Ｉ２における対応点探索の演算領域となるウィンドウＷＤが参照画像Ｉ２の縁部（端部）近傍位置に設定される場合があり、画像外領域がウィンドウＷＤ内に含まれ、誤対応するおそれが生じる。すなわち、基準画像Ｉ１の注目点Ａが移動体の直進前進運動によって参照画像Ｉ２の縁部（端部）付近に移動した場合では、図１８に示すように、基準画像Ｉ１の注目点Ａに対応する参照画像Ｉ２の対応点は、本来、直進前進運動の移動速度に応じた位置である点Ａ’が求まるべきである。しかしながら、基準画像Ｉ２に設定されたウィンドウＷＤ内に画像外領域が含まれると、画像として本来無いエッジが画像領域の輝度値と画像外領域の輝度値との差によって画像領域と画像外領域との境界に生じてしまう。このため、このエッジを含んだ状態で対応点探索が行われることになる。この結果、このエッジの影響、すなわち、画像領域と画像外領域とにおける画像の不連続性の影響によって、基準画像Ｉ１の注目点Ａに対応する参照画像Ｉ２の対応点が参照画像Ｉ２における基準画像Ｉ１と同じ位置である点Ａ”で類似度（相関）が高くなる場合が生じ、誤対応してしまう。

このようなケースに類似する場合として、基準画像に写し出された対象物が参照画像に写し出されていない場合があり、このような場合にこの対象物を特徴点とすると、対応点を探索することが困難となる。そこで、例えば、特許文献１に開示の手法では、相関元の画像領域と相関先の候補となる画像領域との相関関係を評価する場合に、オクルージョン（occlusion）の発生の有無が判断され、オクルージョンが発生しているエリアでは、画像領域の画素に対応付けて設定されている重み係数が非オクルージョンエリアよりも小さくされる。これによって、特許文献１に開示の手法は、或る対象物が他の対象物に隠れてしまって一方の画像に写し出された対象物が他方の画像に写し出されていないオクルージョンが発生している撮像画像であっても、マッチングの確実性を図っている。また、特許文献１では、４×４画素領域を周囲へ拡幅することで８×８画素領域を演算対象ブロックとしているが、その［００２６］段落に「撮像画像の四辺の縁部では、演算対象ブロックの周辺領域が有効画素領域からはみ出してしまう事態が生じ得る。この場合は、有効画素領域外の画素を用いて演算対象ブロックを定義するか、或いは、４×４画素の画素ブロックのまま相関性を評価する。」と記載されている。このように、特許文献１では、画像外領域がテンプレートに含まれないように設定されている。このため、特許文献１に開示の手法では、画像領域と画像外領域との間に生じるエッジの影響による誤対応が考慮されておらず、このような誤対応に対処することができない。

また、このようなケースにおける対応点探索方法としては、注目点の周囲にテンプレートを設定した場合にこのテンプレート内に画像外領域を含む場合は、画像領域外を含まない他のテンプレートについて対応点探索を行った結果からこの注目点の対応点を求める手法がある。しかしながら、この手法では、注目点の周囲にテンプレートを設定した場合におけるこの注目点の対応点を実際に求めていないため、誤対応するおそれが生じる。

また、このようなケースにおける対応点探索方法としては、画像領域と画像外領域との境界で画像領域を画像外領域へ折り返してミラー処理を行うことによって、画像外領域を画像領域のデータで埋める手法がある。この手法は、画像領域と画像外領域とにおける不連続性を解消している。しかしながら、この手法は、ミラー処理によって画像領域のデータで埋めた画像外領域の部分において、当然、パターンが逆になるので、反対位相が現れてしまう。このため、対応点が反対側に現れてしまう結果、誤対応するおそれが生じる。
特開２００４−１０２３２３号公報

本発明は、上述の事情に鑑みて為された発明であり、その目的は、対応点探索の演算領域が画像領域と画像外領域とに亘って設定される場合でも誤対応を低減することができる対応点探索装置および対応点探索方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。本発明に対応点探索装置および対応点探索方法では、予測画像が生成され、予測画像に基づいて合成画像が生成され、合成画像を用いることによって対応点探索が行われる。すなわち、本発明に係る一態様では、２つの画像間における互いに対応する点を探索するための対応点探索装置において、所定の時点に取得された画像に基づいて前記所定の時点と異なる予測時点における画像を予測画像として生成する画像予測部と、前記予測画像と前記予測時点に取得された画像とを合成することによって合成画像を生成する画像合成部と、前記２つの画像のうちの一方を基準画像とすると共に他方を参照画像とする場合に、前記基準画像の注目点に対応する前記参照画像の対応点を探索する対応点探索部とを備え、前記対応点探索部は、前記基準画像に対応する、前記画像予測部と前記画像合成部とによって生成された合成基準画像がある場合には、前記基準画像に代えて前記合成基準画像を用いると共に、前記参照画像に対応する、前記画像予測部および前記画像合成部によって生成された合成参照画像がある場合には、前記参照画像に代えて前記合成参照画像を用いることを特徴とする。そして、本発明に係る他の一態様では、２つの画像間における互いに対応する点を探索するための対応点探索方法において、所定の時点に取得された画像に基づいて前記所定の時点と異なる予測時点における画像を予測画像として生成する画像予測工程と、前記予測画像と前記予測時点に取得された画像とを合成することによって合成画像を生成する画像合成工程と、前記２つの画像のうちの一方を基準画像とすると共に他方を参照画像とする場合に、前記基準画像の注目点に対応する前記参照画像の対応点を探索する対応点探索工程とを備え、前記対応点探索工程は、前記基準画像に対応する、前記画像予測工程と前記画像合成工程とによって生成された合成基準画像がある場合には、前記基準画像に代えて前記合成基準画像を用いると共に、前記参照画像に対応する、前記画像予測工程および前記画像合成工程によって生成された合成参照画像がある場合には、前記参照画像に代えて前記合成参照画像を用いることを特徴とする。

このような構成の対応点探索装置および対応点探索方法では、所定の時点に取得された画像に基づいて前記所定の時点と異なる予測時点における画像が予測画像として生成され、前記予測画像と前記予測時点に取得された画像とを合成することによって合成画像が生成される。そして、２つの画像のうちの一方が基準画像とされると共に他方が参照画像とされる場合に、基準画像の注目点に対応する参照画像の対応点が探索される際に、基準画像に対応する合成画像の合成基準画像がある場合には基準画像に代えて合成基準画像が用いられると共に、参照画像に対応する合成画像の合成参照画像がある場合には参照画像に代えて合成参照画像が用いられる。したがって、対応点探索を行う場合に、演算領域が画像外領域を含まないように、予測画像によって合成画像を生成することが可能となる。このため、対応点探索の演算領域が画像領域と画像外領域とに亘って設定される場合でも、誤対応の低減が可能となる。

また、上述の対応点探索装置において、前記画像予測部は、前記予測画像の生成にアフィン変換を用いることを特徴とする。

このような構成の対応点探索装置では、予測画像の生成にアフィン変換が用いられるので、所定の時点に取得した画像に対し、拡大縮小（スケーリング）、回転移動および平行移動を適宜に実行することができ、前記所定の時点と異なる予測時点における最適な予測画像の生成が可能となる。

また、上述の対応点探索装置において、前記アフィン変換のアフィン係数は、前記所定の時点に取得された画像と前記所定の時点と異なる時点に取得された画像に基づいて求められたオプティカルフローに基づいて求められることを特徴とする。

このような構成の対応点探索装置では、アフィン変換のアフィン係数が取得時点の異なる２つの画像に基づいて求められたオプティカルフローに基づいて求められるので、他の外部機器を用いることなく、画像のみからアフィン変換のアフィン係数を求めることが可能となる。

また、上述の対応点探索装置において、前記画像は、移動体に取り付けられた撮影カメラによって取得され、前記アフィン変換のアフィン係数は、前記移動体の操舵による回転角度に関する操舵情報および自走速度に関する速度情報に基づいて求められたオプティカルフローに基づいて求められることを特徴とする。そして、好ましくは、前記操舵情報は、前記移動体に取り付けられた前記移動体の操舵による回転角度を検出する舵角センサによって取得され、前記速度情報は、前記移動体に取り付けられた前記移動体の速度を検出する速度センサによって取得される。

このような構成の対応点探索装置では、操舵情報および速度情報が他の外部機器、例えば舵角センサや速度センサから取得されるので、演算時間の短縮化や演算処理装置の簡単化を図ることができ、また、精度よくアフィン変換のアフィン係数を求めることが可能となる。

また、上述の対応点探索装置において、前記２つの画像は、ステレオカメラによって撮影された１組の画像から成るステレオ画像であることを特徴とする。

この構成によれば、画像領域の縁部（端部）まで精度よく対応点探索を行うことができるステレオ画像の対応点探索装置の提供が可能となる。

また、上述の対応点探索装置において、前記画像合成部は、前記ステレオ画像における１組の画像のそれぞれに対し各合成画像を生成することを特徴とする。

このような構成の対応点探索装置では、ステレオ画像の両画像に対し合成画像が生成されるので、画像領域の縁部（端部）までより精度よく対応点探索を行うことが可能となる。

また、上述の対応点探索装置において、前記２つの画像は、時系列画像のうちの互いに異なる時点に取得された各画像であることを特徴とする。

この構成によれば、画像領域の縁部（端部）まで精度よく対応点探索を行うことができる時系列画像の対応点探索装置の提供が可能となる。

また、上述の対応点探索装置において、前記画像合成部は、前記時系列画像に基づいて得られたオプティカルフローに応じて前記予測画像および前記予測時点に取得された画像を決定することを特徴とする。

このような構成の対応点探索装置では、時系列画像に基づいて得られたオプティカルフローに応じて予測画像および予測時点に取得された画像が決定される。したがって、合成画像の合成対象を適宜に変更することができ、効果的に対応点探索を行うことができる。

また、上述の対応点探索装置において、前記画像予測部は、第１時点よりも過去の時点に取得された画像に基づいて前記第１時点の予測画像を生成し、前記画像合成部は、前記第１時点の予測画像と前記第１時点に取得された第１時点の画像とを合成することを特徴とする。

このような構成の対応点探索装置では、第１時点よりも過去の時点に取得した画像に基づいて第１時点の予測画像が生成され、この第１時点の予測画像と第１時点に取得された第１時点の画像とが合成される。このため、対応点探索が行われる画像が移動体に取り付けられた撮影カメラによって得られた画像である場合に、移動体が前進運動している場合に、より精度よく対応点探索を行うことが可能となる。

また、上述の対応点探索装置において、前記画像予測部は、第１時点に取得された画像に基づいて前記第１時点よりも過去の時点における予測画像を生成し、前記画像合成部は、前記過去の時点における予測画像と前記過去の時点に取得された過去の時点における画像とを合成することを特徴とする。

このような構成の対応点探索装置では、第１時点に取得した画像に基づいて第１時点よりも過去の時点における予測画像が生成され、この過去の予測画像と過去の時点に取得された過去の時点における画像とが合成される。このため、対応点探索が行われる画像が移動体に取り付けられた撮影カメラによって得られた画像である場合に、移動体が後進（後退）運動している場合に、より精度よく対応点探索を行うことが可能となる。

また、上述の対応点探索装置において、前記対応点探索部は、前記基準画像と前記参照画像との相関演算によって行われることを特徴とする。

この構成によれば、前記基準画像と前記参照画像との相関演算によって対応点探索が行われる対応点探索装置が提供される。

また、上述の対応点探索装置において、前記対応点探索部は、演算領域内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応位置を演算することを特徴とする。

このような構成の対応点探索装置では、演算領域内のパターンが周波数分解され、振幅成分を抑制した信号の類似度に基づいて対応位置が演算される。このため、２つの画像間における輝度差やノイズの影響を受けにくいロバストな対応点探索が可能となる。

また、上述の対応点探索装置において、前記周波数分解の手法は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換およびアダマール変換のうちのいずれかであることを特徴とする。

このような構成の対応点探索装置では、周波数分解の手法として、高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換およびアダマール変換のうちのいずれかが用いられる。したがって、既に確立されている手法が用いられるので、確実に周波数分解を行うことが可能となる。

また、上述の対応点探索装置において、前記対応点探索部における対応位置の演算処理は、位相限定相関法であることを特徴とする。

このような構成の対応点探索装置では、対応位置の演算処理に、位相限定相関法（ＰＯＣ）が用いられる。このため、より精度よく対応点探索を行うことが可能となる。

また、上述の対応点探索装置において、前記対応点探索部は、多重解像度戦略を用いることを特徴とする。

多重化解像度戦略を用いる対応点探索では、演算領域に画像外領域が含まれるケースが多い。したがって、この構成によれば、より精度よく対応点探索を行うことができる多重解像度戦略の対応点探索装置の提供が可能となる。

本発明に係る対応点探索装置および対応点探索方法では、対応点探索の演算領域が画像領域と画像外領域とに亘って設定される場合でも、誤対応の低減が可能となる。

以下、本発明に係る実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
（第１の実施形態）
図１は、第１の実施形態における対応点探索システムの概略構成を示す図である。図２は、実施形態の対応点探索システムにおける対応点探索装置の構成を示すブロック図である。

対応点探索システムＳは、２つの画像を撮影すると共に、これら２つの画像間における互いに対応する点を探索するための装置であり、例えば、図１に示すように、１または複数の撮影カメラ２と、対応点探索装置１とを備えて構成される。図１に示す例では、対応点探索システムＳは、１組（１対）の画像から成るステレオ画像を得るべく、１組（２台）の撮影カメラ２−１、２−２から成るステレオカメラを備えている。

なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

撮影カメラ２は、対応点探索を行うための画像を取得する装置である。対応点探索方法は、背景技術で上述したように様々な用途の装置に適用されており、撮影カメラ２は、当該装置の用途等に応じて適宜に配設される。例えば、図１に示すように、先行物体Ｏｂの認識や距離計測を行うべく、撮影カメラ２が車両やロボット等の移動体に搭載されるステレオカメラである場合には、撮影カメラ２−１、２−２は、予め定める基線間隔だけ離間して、かつそれらの各光軸が互いに平行となるように、移動体に配設される。このように撮影カメラ２−１、２−２は、互いに異なる位置から先行物体Ｏｂを撮影できるように配置されている。なお、図１に示す例では、被写体である先行物体Ｏｂとして、自動車Ｏｂ−１、Ｏｂ−２が図１に図示されている。

撮影カメラ２は、先行物体Ｏｂを撮影し、画像を取得すると、この撮影された画像（画像データ）を対応点探索装置１へ伝送路を介して送信する。なお、その通信方式は、有線方式であっても無線方式あってもよい。図１に示すように、撮影カメラ２がステレオカメラである場合には、撮影カメラ２−１、２−２は、対応点探索装置１の制御によって、あるいは、撮影カメラ２−１、２−２間の制御によって、先行物体Ｏｂを同じタイミングで（同期して）撮影し、これら同じタイミングで撮影された左右一組（左右一対）の画像（ステレオ画像）を対応点探索装置１へ出力する。これら左右一組の画像のうちの一方が対応点探索を行うための基準画像とされ、他方がその参照画像とされる。例えば、撮影カメラ２−１で撮影された画像が基準画像とされ、撮影カメラ２−２で撮影された画像が参照画像とされる。

なお、撮影カメラ２は、３台以上であっても良く、また１台であっても良い。撮影カメラ２が３台以上である場合では、そのうちの１台の撮影カメラ２によって撮影された画像が基準画像とされ、他の撮影カメラ２によって撮影された画像が参照画像とされる。また撮影カメラ２が１台である場合では、その撮影カメラ２によって撮影された時系列画像のうち所定のタイミング（時点）で撮影された画像が基準画像とされ、前記所定のタイミングと異なるタイミングで撮影された画像が参照画像とされる。例えば、前記所定のタイミングから所定の時間経過後のタイミングで撮影された画像が参照画像とされる。また例えば、前記所定のタイミングから所定の時間経過前のタイミングで撮影された画像が参照画像とされる。

対応点探索装置１は、撮影カメラ２によって取得された２つの画像間における互いに対応する点を探索する装置である。対応点探索装置１は、例えば、本実施形態では、図２に示すように、本発明の一実施形態にかかる対応点探索プログラムを実装することによってコンピュータ等の情報処理装置によって実現される。対応点探索プログラムは、本発明の一実施形態にかかる対応点探索方法をプログラミングすることによって作成される。なお、対応点探索装置１は、後述の諸機能を備えた、対応点探索システムＳ用に製作された専用の装置であってもよい。対応点探索装置１は、図２に示すように、例えば、中央処理部（ＣＰＵ、Central Processing Unit）１２と、記憶部１３と、例えば液晶ディスプレイや有機ＥＬディスプレイ等の表示部１５と、例えば起動指示やデータ入力を行うための入力部１６と、例えばインターフェースカード等の通信部１７とを備えて構成される。

記憶部１３は、例えば、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）１３ａおよびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の半導体メモリ１３ｂ等の複数の記憶媒体を備えている。また、破線で示すように、対応点探索装置１は、必要に応じてメディアドライブ１４を備えてもよい。メディアドライブ１４は、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスクおよびメモリカード等の可搬性の記録媒体からその中に記録されている情報（データ）を読み出すことができる。なお、この対応点探索部１に対して供給される情報は、前記記録媒体を介して供給される場合に限定されず、ローカルエリアネットワーク（ＬＡＮ、Local Area Network）やインターネット等のネットワークを介して供給されてもよい。したがって、上述では、対応点探索装置１に伝送路（ネットワークを含む）を介して接続された撮影カメラ２によって撮影された画像が対応点探索装置１へ供給されたが、撮影カメラによって撮影された画像が記録媒体等に記憶され、この記録媒体から画像が対応点探索装置１へ供給されてもよい。

図１および図２に示す例では、撮影カメラ２は、通信部１７に通信可能に接続されており、撮影カメラ２で撮影された画像（画像データ）は、通信部１７を介してＣＰＵ１２に入力される。

ＣＰＵ１２は、これら記憶部１３、表示部１５、入力部１６および通信部１７を当該機能に応じて制御することによって、対応点探索装置１０全体を制御するものである。ＣＰＵ１２は、図２に示すように、機能的に、画像予測部２１と、画像合成部２２と、対応点探索部２３とを備えて構成される。

画像予測部２１は、所定の時点に取得された画像に基づいてこの所定の時点と異なる予測時点における画像を予測によって予測画像として生成するものである。本実施形態では、データ取得部２１１と、係数演算部２１２と、予測画像生成部２１３とを備えて構成される。データ取得部２１１は、撮影カメラ２で撮影された画像から係数演算部２１２で用いるデータを取得するものである。係数演算部２１２は、データ取得部２１１で取得されたデータを用いてアフィン変換のアフィン係数を算出するものである。予測画像生成部２１３は、所定の時点に取得された画像に基づいてこの所定の時点と異なる予測時点における画像を、係数演算部２１２で算出したアフィン係数を持つアフィン変換を用いることによって予測し、予測画像として生成するものである。

画像合成部２２は、画像予測部２１で生成された予測画像とこの予測時点に取得された画像とを合成することによって合成画像を生成するものである。より具体的には、画像合成部２２は、本実施形態では、第１時点（例えば現時点）に撮影カメラ２−１によって撮影された第１時点の画像と、第１時点よりも過去の時点に撮影カメラ２−１によって撮影された過去の時点における画像に基づいて画像予測部２１で予測された第１時点の予測画像とを合成する。そして、画像合成部２２は、第１時点（例えば現時点）に撮影カメラ２−２によって撮影された第１時点の画像と、第１時点よりも過去の時点に撮影カメラ２−２によって撮影された過去の時点における画像に基づいて画像予測部２１で予測された第１時点の予測画像とを合成する。このように本実施形態では、画像合成部２２は、撮影カメラ２−１、２−２によってそれぞれ撮影されたステレオ画像における１組の画像のそれぞれに対し各合成画像を生成する。

本実施形態では、このように画像合成部２２によって第１時点の画像と第１時点の予測画像とが合成される。このため、予測画像生成部２１３は、より具体的には、第１時点よりも過去の時点に取得した画像にアフィン変換を用いることで第１時点における画像を予測し、第１時点の予測画像を生成する。したがって、データ取得部２１１は、より具体的には、第１時点よりも過去の時点において撮影カメラ２によって撮影された画像から係数演算部２１２で用いるデータを取得する。

対応点探索部２３は、撮影カメラ２で撮影された２つの画像のうちの一方を基準画像とすると共に他方を参照画像とする場合に、基準画像の注目点に対応する参照画像の対応点を探索するものである。そして、対応点探索部２３は、この対応点探索において、基準画像に対応する、画像予測部２１と画像合成部２２とによって生成された合成基準画像がある場合には、基準画像に代えて合成基準画像を用いると共に、参照画像に対応する、画像予測部２１および画像合成部２２によって生成された合成参照画像がある場合には、参照画像に代えて合成参照画像を用いる。

次に、本実施形態の動作について説明する。図３は、第１の実施形態の対応点探索システムにおける対応点探索装置の動作を示すフローチャートである。

対応点探索システムＳが起動され、その動作が開始されると、撮影カメラ２−１、２−２によってタイミングを合わせて（同期して）先行物体Ｏｂが所定の時間間隔で順次にそれぞれ撮影される。したがって、撮影カメラ２−１によって所定のフレーム周期で順次に撮影された先行物体Ｏｂの時系列画像（時系列画像データ）が取得されると共に、撮影カメラ２−２によって所定のフレーム周期で順次に撮影された先行物体Ｏｂの時系列画像（時系列画像データ）が取得される。そして、それぞれ撮影された各画像（各画像データ）は、順次に、通信部１７から対応点探索装置１に入力され、対応点探索装置１のＣＰＵ１２に通知され、ＣＰＵ１２によって各画像間の対応点探索処理が開始される。

このステレオ画像の対応点探索処理において、まず、図３に示すように、ステップＳ１１では、画像予測部２１のデータ取得部２１１は、撮影カメラ２−１、２−２で撮影された各画像から係数演算部２１２で用いるデータを取得する。予測画像生成部２１３が第１時点の予測画像を第１時点よりも過去の時点に取得した画像にアフィン変換を作用させることによって生成することから、係数演算部２１２は、このアフィン変換のアフィン係数を算出する必要がある。このため、データ取得部２１１は、より具体的には、第１時点よりも過去の時点に取得した２つの画像間の対応点を少なくとも３つ探索する。すなわち、時点ｔにおいて撮影カメラ２−１によって撮影された画像をＩ^１ _ｔとし、時点ｔにおいて撮影カメラ２−２によって撮影された画像をＩ^２ _ｔとする場合に、データ取得部２１１は、撮影カメラ２−１の画像Ｉ^１について、例えば、現時点（現フレームの時点）ｔ０より１フレーム前の時点ｔ−１および２フレーム前の時点ｔ−２の画像Ｉ^１ _ｔ−１、Ｉ^１ _ｔ−２間における対応点探索を行って、少なくとも３つの対応点を含む対応点探索結果ＯＦ^１ _{ｔ（２１）}（少なくとも３つの注目点にそれぞれ対応する少なくとも３つの対応点を含む対応点探索結果ＯＦ^１ _{ｔ（２１）}）を取得すると共に（Ｓ１１−１）、撮影カメラ２−２の画像Ｉ^２について、例えば、現時点（現フレームの時点）ｔ０より１フレーム前の時点ｔ−１および２フレーム前の時点ｔ−２の画像Ｉ^２ _ｔ−１、Ｉ^２ _ｔ−２間における対応点探索を行って、少なくとも３つの対応点を含む対応点探索結果ＯＦ^２ _{ｔ（２１）}（少なくとも３つの注目点にそれぞれ対応する少なくとも３つの対応点を含む対応点探索結果ＯＦ^２ _{ｔ（２１）}）を取得する（Ｓ１１−２）。なお、ＯＦ^１ _{ｔ（２１）}は、撮影カメラ２−１によって撮影された１フレーム前の画像Ｉ^１ _ｔ−１と２フレーム前の画像Ｉ^１ _ｔ−２との間における対応点探索結果であり、ＯＦ^２ _{ｔ（２１）}は、撮影カメラ２−２によって撮影された２フレーム前の画像Ｉ^２ _ｔ−１と２フレーム前の画像Ｉ^２ _ｔ−２との間における対応点探索結果である。

ここで、１フレーム前の画像Ｉ_ｔ−１および２フレーム前の画像Ｉ_ｔ−２のうちの一方、例えば、２フレーム前の画像Ｉ_ｔ−２を基準画像Ｉ１とすると共に、１フレーム前の画像Ｉ_ｔ−１を参照画像Ｉ２とする場合に、基準画像Ｉ１の注目点に対応する参照画像Ｉ２の対応点の対応点探索は、次のように実行される。まず、基準画像Ｉ１で、注目点を中心とする縦横方向にそれぞれＰ画素×Ｑ画素の大きさを持つテンプレートＴＰが設定され、同様に、参照画像Ｉ２にも同じ大きさを持つウィンドウＷＤが設定される。この場合に、ウィンドウＷＤは、参照画像Ｉ２において、基準画像Ｉ１におけるテンプレートＴＰと同じ位置から始めて、所定の方向（例えばステレオ画像では基線長方向（エピポーラ線方向）に或る範囲（０＜ｐ＜ｐｍａｘ））で位置を変えながら、それぞれの位置において相関演算が行われる。その相関演算には、例えば、ＳＡＤ、ＳＳＤおよびＮＣＣ等を用いることができる。そして、相関演算の結果から類似度への変換は、パターン間距離が近いほど類似度が高いので、例えば、（類似度）＝１／（（相関演算の結果）＋１）の変換式が用いられる。なお、一般に、基準画像Ｉ１に設定されるテンプレートＴＰもウィンドウと呼ばれることがあるが、ここでは、対応点探索を実行すべく、基準画像Ｉ１に設定される演算領域をテンプレートＴＰと呼び、参照画像Ｉ２に設定される演算領域をウィンドウと呼ぶこととする。

ＳＡＤ（Sum of Absolute Difference）は、式１に示すように、基準画像Ｉ１のテンプレートＴＰにおける画素の輝度値と、前記テンプレートＴＰの画素位置に対応する位置の、参照画像Ｉ２のウィンドウＷＤにおける画素の輝度値と、の差の絶対値を求めることによって、相関演算を行う手法である。ＳＡＤは、式１に示すように、テンプレートＴＰとウィンドウＷＤとで同じ位置に対応する画素同士における各輝度値の差の絶対値をそれぞれ求めてそれがウィンドウＷＤ内の全画素に亘って加算されることで求められるので、その演算量が少なく、したがって、短時間で対応点探索を行うことができる。

ここで、Ｍ_Ｌ（ｉ，ｊ）は、基準画像Ｉ１のテンプレートＴＰにおける画素位置（ｉ，ｊ）の輝度値であり、Ｍ_Ｒ（ｉ，ｊ）は、参照画像Ｉ２のウィンドウＷＤにおける画素位置（ｉ，ｊ）の輝度値である。ＰおよびＱは、テンプレートＴＰおよびウィンドウＷＤのサイズ（領域の大きさ）を表し、Ｐは、縦の画素数であり、Ｑは、横の画素数である。

そして、このような処理が１画素ずつずらしながら行われ、最も類似度の高いウィンドウ位置にテンプレートＴＰと等しい画像があると判断される。

また、ＳＳＤ（Sum of Squared intensity Difference、２乗残差法）は、式２に示すように、基準画像Ｉ１のテンプレートＴＰにおける画素の輝度値と、前記テンプレートＴＰの画素位置に対応する位置の、参照画像Ｉ２のウィンドウＷＤにおける画素の輝度値と、の差の２乗を求めることによって、相関演算を行う手法である。ＳＳＤは、上述のように画素間の輝度値の差を２乗しているため、比較的サイズの小さいテンプレートＴＰおよびウィンドウＷＤを用いる場合でも、テンプレートＴＰとウィンドウＷＤとの相関をより明確に表すことができる。

また、ＮＣＣ（Normalized Cross Correlation、正規化相互相関法）は、式３に示すように、基準画像Ｉ１のテンプレートＴＰおよび参照画像Ｉ２のウィンドウＷＤのそれぞれにおいて、各点の輝度値から輝度値の平均値を減算し、分散値の類似度で相関演算を行う手法である。ＮＣＣでは、線形な明るさの変化の影響、すなわち、画像の輝度値およびコントラストの線形変化とノイズの影響が低減される。相関値は、−１〜＋１の範囲の値であり、その値が大きい程、テンプレートＴＰとウィンドウＷＤとが類似していることを表している。このため、ＮＣＣでは、式３の最大値を求める処理となる。

ここで、μＭ_Ｌは、基準画像Ｉ１のテンプレートＴＰにおける平均値であり、μＭ_Ｒは、参照画像Ｉ２のウィンドウＷＤにおける平均値である。

また、ロバストな対応点探索手法として、振幅成分を抑制した相関法が知られている。この相関法は、基準画像Ｉ１および参照画像Ｉ２にそれぞれ設定したテンプレートＴＰおよびウィンドウＷＤ内のパターンを周波数分関し、その周波数分解信号から振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う手法である。このため、この対応点探索手法は、輝度変動やノイズの影響を受け難く、高精度に画像間の対応点を探索することができる。

このパターンの周波数分解信号を算出する手法として、高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換およびアダマール変換等が一般的に広く用いられる。これら手法は、既に確立されているので、確実に周波数分解を行うことができ、好適である。これらのうちで、変換にフーリエ変換を用いた位相限定相関法（ＰＯＣ）は、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。また、ＤＣＴ符号限定相関法では、変換に離散コサイン変換を用い、コサイン変換結果の振幅成分を抑制した符合成分のみの相関演算を行う。

以下に、位相限定相関法を例に詳細を説明する。図４は、位相限定相関法のブロック図である。この位相限定相関法では、まず、基準画像Ｉ１と参照画像Ｉ２とに、テンプレートＴＰとウィンドウＷＤ（候補領域）とのペア（組、対）が設定され、それらの間の相関が計算され、その類似度から、正しい領域ペアであるか否かが判定される。図４において、位相限定相関法によって対応点探索を行う装置は、画像に対しフーリエ変換を行うフーリエ変換部３１、３２と、フーリエ変換部３１、３２で得られたフーリエ級数の振幅成分について規格化を行う規格化部３３、３４と、各規格化部３３、３４で得られた各規格結果について合成を行う合成部３５と、合成部３５で得られた合成結果について逆フーリエ変換を行う逆フーリエ変換部３６とを備えて構成される。このような構成の装置において、基準画像Ｉ１のテンプレートＴＰおよび参照画像Ｉ２のウィンドウＷＤは、フーリエ変換部３１およびフーリエ変換部３２にそれぞれ入力され、それぞれフーリエ変換される。これらフーリエ変換された基準画像Ｉ１のテンプレートＴＰおよび参照画像Ｉ２のウィンドウＷＤは、規格化部３３および規格化部３４にそれぞれ入力され、それぞれ規格化される。これら規格化された基準画像Ｉ１のテンプレートＴＰおよび参照画像Ｉ２のウィンドウＷＤは、それぞれ合成部３５に入力され、合成され、逆フーリエ変換部３６において逆フーリエ変換される。数式で表すと、以下のとおりである。

このように位相限定相関法は、２つのフーリエ変換された画像をスペクトルごとに規格化してから合成し、逆フーリエ変換する手法である。

この位相限定相関法で得られるＰＯＣ値は、図５に示すように、画像間（基準画像Ｉ１のテンプレートＴＰと参照画像Ｉ２のウィンドウＷＤ）の移動量の座標に急峻な類似度ピークを持つことが知られており、画像マッチングにおけるロバスト性が高い。このため、より精度よく対応点探索を行うことが可能となる。

図３に戻って、データ取得部２１１は、データが取得されると、そのデータを係数演算部２１２へ通知する。次に、ステップＳ１２では、画像予測部２１の係数演算部２１２は、データ取得部２１１で取得されたデータを用いてアフィン変換のアフィン係数を算出する。すなわち、係数演算部２１２は、撮影カメラ２−１の画像Ｉ^１について、データ取得部２１１で対応点探索を行って取得された、少なくとも３つの対応点を含む対応点探索結果ＯＦ^１ _{ｔ（２１）}を用いてアフィン変換のアフィン係数Ｐ^１ _{Ａ（２１）}を算出すると共に（Ｓ１２−１）、撮影カメラ２−２の画像Ｉ^２について、データ取得部２１１で対応点探索を行って取得された、少なくとも３つの対応点を含む対応点探索結果ＯＦ^２ _{ｔ（２１）}を用いてアフィン変換のアフィン係数Ｐ^２ _{Ａ（２１）}を算出する（Ｓ１２−２）。なお、Ｐ^１ _{Ａ（２１）}は、撮影カメラ２−１によって撮影された１フレーム前の画像Ｉ^１ _ｔ−１と２フレーム前の画像Ｉ^１ _ｔ−２とに基づいて算出されたアフィン係数（アフィンパラメータ）であり、Ｐ^２ _{Ａ（２１）}は、撮影カメラ２−２によって撮影された１フレーム前の画像Ｉ^２ _ｔ−１と２フレーム前の画像Ｉ^２ _ｔ−２とに基づいて算出されたアフィン係数（アフィンパラメータ）である。

より具体的には、係数演算部２１２において、次のように演算処理することによって各対応点探索結果ＯＦ^１ _{ｔ（２１）}、ＯＦ^２ _{ｔ（２１）}から各アフィン係数Ｐ^１ _{Ａ（２１）}、Ｐ^２ _{Ａ（２１）}がそれぞれ求められる。なお、以下の説明では、対応点探索結果ＯＦ^１ _{ｔ（２１）}からアフィン係数Ｐ^１ _{Ａ（２１）}を求める演算処理について説明するが、対応点探索結果ＯＦ^２ _{ｔ（２１）}からアフィン係数Ｐ^２ _{Ａ（２１）}を求める演算処理も同様に説明することができる。

アフィン変換は、或る座標系から他の座標系へ変換する座標変換をいい、或る座標系から他の座標系へ移行する際に、拡大縮小（スケーリング）、回転移動および平行移動が行われる。ここで、基準画像Ｉ１における注目点の座標を（ｘ、ｙ）とし、前記注目点に対応する参照画像Ｉ２の対応点の座標を（Ｘ、Ｙ）とし、アフィン係数Ｐ_Ａをａ，ｂ，ｃ，ｄ，ｅ，ｆとする場合に、アフィン変換は、式５−１および式５−２によって表される。

上述のように、座標変換では、拡大縮小（スケーリング）、回転移動および平行移動が行われ、これら各変換は、同次座標で表現すると、それぞれ式６のように表される。そして、拡大縮小、回転移動および平行移動の関係は、それぞれ式７、式８および式９のように表される。

ここで、Ｓ_ｘおよびＳ_ｙは、拡大縮小におけるｘの倍率およびｙの倍率である。θは、回転移動における回転角である。そして、ｘ_０およびｙ_０は、平行移動におけるｘ方向の移動量およびｙ方向の移動量である。

なお、点［ｘ、ｙ］は、同次座標では［ｘ、ｙ、１］と表現される一方、同次座標における点［Ｘ、Ｙ、Ｗ］は、通常の座標では［Ｘ／Ｗ、Ｙ／Ｗ］となる点を表している。このＷは、倍率を意味し、Ｗ＝０は、無限遠点を表現している。

したがって、対応点探索結果ＯＦ^１ _{ｔ（２１）}における少なくとも３組の注目点と対応点との関係を式６に代入してａ、ｂ、ｃ、ｄ、ｅ、ｆについて解くことによってアフィン係数Ｐ^１ _{Ａ（２１）}（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）が求められる。

また、３つ以上の対応点探索結果が存在する場合は、例えば、最小二乗法が用いられる。対応点探索結果ＯＦ^１ _{ｔ（２１）}における基準画像Ｉ１の３つ以上の注目点（ｘ_１、ｙ_１）、（ｘ_２、ｙ_２）、・・・、（ｘ_ｎ、ｙ_ｎ）に対応する参照画像Ｉ２の３つ以上の対応点が（Ｘ_１、Ｙ_１）、（Ｘ_２、Ｙ_２）、・・・、（Ｘ_ｎ、Ｙ_ｎ）であるとすると、アフィン係数Ｐ^１ _{Ａ（２１）}（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）のａ、ｂ、ｃ、ｄ、ｅ、ｆは、式１０−１および式１０−２を計算することによって求められる。

なお、アフィン係数Ｐ_Ａを求めるための少なくとも３組の注目点と対応点とは、誤対応することなく、信頼のある安定的な対応点を得るべく、画像外領域を含まない領域について対応点探索を実行することが好ましい。

係数演算部２１２は、アフィン係数Ｐ^１ _{Ａ（２１）}、Ｐ^２ _{Ａ（２１）}が算出されると、そのアフィン係数Ｐ^１ _{Ａ（２１）}、Ｐ^２ _{Ａ（２１）}を予測画像生成部２１３へ通知する。次に、ステップＳ１３では、画像予測部２１の予測画像生成部２１３は、所定の時点に取得された画像に基づいてこの所定の時点と異なる予測時点における画像を、係数演算部２１２で算出したアフィン係数Ｐ_Ａを持つアフィン変換を用いることによって予測し、予測画像として生成する。図６は、予測画像の生成方法を説明するための図である。すなわち、予測画像生成部２１３は、撮影カメラ２−１の画像Ｉ^１について、１フレーム前に取得した１フレーム前の画像Ｉ^１ _ｔ−１（図６（Ａ））に、係数演算部２１２で算出したアフィン係数Ｐ^１ _{Ａ（２１）}を持つアフィン変換を作用させることによって、現時点（現フレーム）の予測画像Ｉ^ｐｒｅ１ _ｔ−１（図６（Ｂ））を生成すると共に（Ｓ１３−１）、撮影カメラ２−２の画像Ｉ^２について、１フレーム前に取得した１フレーム前の画像Ｉ^２ _ｔ−１に、係数演算部２１２で算出したアフィン係数Ｐ^２ _{Ａ（２１）}を持つアフィン変換を作用させることによって、現時点（現フレーム）の予測画像Ｉ^ｐｒｅ２ _ｔ−１を生成する（Ｓ１３−２）。

なお、予測画像Ｉ^ｐｒｅ１ _ｔ−１は、画像合成部２２の画像合成を容易に行うために、図６（Ｃ）に示すように、撮影カメラ２−１によって撮影される画像領域に対応する領域ＤＭが抜き取られてものであっても良い。例えば、領域ＤＭにおける輝度値を０とすることによって、撮影カメラ２によって撮影される画像領域に対応する領域ＤＭが抜き取られる。同様に、予測画像Ｉ^ｐｒｅ２ _ｔ−１は、画像合成部２２の画像合成を容易に行うために、撮影カメラ２−２によって撮影される画像領域に対応する領域が抜き取られてものであっても良い。

画像予測部２１の予測画像生成部２１３は、予測画像Ｉ^ｐｒｅ _ｔ−１（予測画像Ｉ^ｐｒｅ１ _ｔ−１、予測画像Ｉ^ｐｒｅ２ _ｔ−１）が生成されると、その予測画像Ｉ^ｐｒｅ _ｔ−１を画像合成部２２へ通知する。次に、ステップＳ１４では、画像合成部２２は、画像予測部２１で生成された予測画像Ｉ^ｐｒｅ _ｔ−１とこの予測時点に取得された画像Ｉ_ｔ０（画像Ｉ^１ _ｔ０、画像Ｉ^２ _ｔ０）とを合成することによって合成画像Ｉ’_ｔ０を生成する。すなわち、画像合成部２２は、撮影カメラ２−１の画像Ｉ^１について、１フレーム前に取得した１フレーム前の画像Ｉ^１ _ｔ−１にアフィン変換を作用させることによって生成した現時点（現フレーム）の予測画像Ｉ^ｐｒｅ１ _ｔ−１に、現時点の画像Ｉ^１ _ｔ０を嵌め込むことによって、現時点の予測画像Ｉ^ｐｒｅ１ _ｔ−１と現時点の画像Ｉ^１ _ｔ０とを合成し、合成画像Ｉ^１’_ｔ０を生成すると共に（Ｓ１４−１）、撮影カメラ２−２の画像Ｉ^２について、１フレーム前に取得した１フレーム前の画像Ｉ^２ _ｔ−１にアフィン変換を作用させることによって生成した現時点の予測画像Ｉ^ｐｒｅ２ _ｔ−１に、現時点の画像Ｉ^２ _ｔ０を嵌め込むことによって、現時点の予測画像Ｉ^ｐｒｅ２ _ｔ−１と現時点の画像Ｉ^２ _ｔ０とを合成し、合成画像Ｉ^２’_ｔ０を生成する（Ｓ１４−２）。現時点の予測画像Ｉ^ｐｒｅ１ _ｔ−１に現時点の画像Ｉ_ｔ０を嵌め込む処理は、現時点の予測画像Ｉ^ｐｒｅ１ _ｔ−１における現時点の画像Ｉ_ｔ０に対応する領域の画素値（輝度値）を、現時点の画像Ｉ_ｔ０における画素値（輝度値）に置き換えることによって実行される。すなわち、この嵌め込み処理は、図６（Ｃ）に示す、現時点の予測画像Ｉ^ｐｒｅ１ _ｔ−１における撮影カメラ２−１によって撮影される画像領域に対応する領域ＤＭに、現時点の画像Ｉ_ｔ０を嵌め込むことによって実行される。

画像合成部２２は、合成画像Ｉ’_ｔ０（合成画像Ｉ^１’_ｔ０、合成画像Ｉ^２’_ｔ０）が生成されると、その合成画像Ｉ’_ｔ０を対応点探索部２３へ通知する。そして、ステップＳ１５では、対応点探索部２３は、撮影カメラ２−１、２−２で撮影された２つの画像のうちの一方を基準画像Ｉ１とすると共に他方を参照画像Ｉ２とする場合に、基準画像Ｉ１の注目点に対応する参照画像Ｉ２の対応点を探索する。そして、対応点探索部２３は、この対応点探索において、基準画像Ｉ１に対応する、画像予測部２１と画像合成部２２とによって生成された合成基準画像Ｉ１’がある場合には、基準画像Ｉ１に代えて合成基準画像Ｉ１’を用いると共に、参照画像Ｉ２に対応する、画像予測部２１および画像合成部２２によって生成された合成参照画像Ｉ２’がある場合には、参照画像Ｉ２に代えて合成参照画像Ｉ２’を用いる。すなわち、本実施形態では、撮影カメラ２−１について合成画像Ｉ^１’_ｔ０が生成されると共に、撮影カメラ２−２について合成画像Ｉ^２’_ｔ０が生成されているので、対応点探索部２３は、例えば、合成画像Ｉ^１’_ｔ０を基準画像Ｉ１とすると共に合成画像Ｉ^２’_ｔ０を参照画像Ｉ２として、基準画像Ｉ１の注目点に対応する参照画像Ｉ２の対応点を探索する。ここで、対応点探索部２３は、ステップＳ１１で説明した各対応点探索手法のいずれかの手法を用いることによって、対応点探索を実行する。そして、対応点探索部２３は、対応点探索システムＳの用途に応じた所定値、例えば、ステレオ画像間の視差ｄ_ｔ０を算出する。

そして、処理がステップＳ１５からステップＳ１１に戻され、ステップＳ１１からステップＳ１５までの各処理が繰り返し実行されることによって、各フレームについて、上述の処理が実行される。

以上説明したように、本実施形態における対応点探索システムＳおよび対応点探索装置１は、２つの画像のうちの一方を基準画像Ｉ１（例えば撮影カメラ２−１によって撮影された画像Ｉ^１）とすると共に他方を参照画像Ｉ２（例えば撮影カメラ２−２によって撮影された画像Ｉ^２）とした場合に、基準画像Ｉ^１を取得した第１時点ｔ０よりも過去の時点ｔ−１、ｔ−２に取得された２つの画像Ｉ^１ _ｔ−１、Ｉ^１ _ｔ−２に基づいて予測された前記第１時点ｔ０の予測基準画像Ｉ^ｐｒｅ１ _ｔ−１を生成すると共に、参照画像Ｉ^２を取得した第２時点（本実施形態ではステレオ画像なので第２時点は第１時点と同じ）ｔ０よりも過去の時点ｔ−１、ｔ−２に取得された２つの画像Ｉ^２ _ｔ−１、Ｉ^２ _ｔ−２に基づいて予測された第２時点（＝第１時点）ｔ０の予測基準画像Ｉ^ｐｒｅ２ _ｔ−１を生成する画像予測部２１と、第１時点ｔ０の予測基準画像Ｉ^ｐｒｅ１ _ｔ−１と第１時点の画像Ｉ^１ _ｔ０とを合成することによって合成基準画像Ｉ^１’_ｔ０を生成すると共に、第２時点（＝第１時点）ｔ０の予測参照画像Ｉ^ｐｒｅ２ _ｔ−１と第２時点（＝第１時点）ｔ０の画像Ｉ^２ _ｔ０とを合成することによって合成参照画像Ｉ^２’_ｔ０を生成する画像合成部２２と、合成基準画像Ｉ^１’_ｔ０の注目点に対応する合成参照画像Ｉ^２’_ｔ０の対応点を探索する対応点探索部２３とを備えている。そして、本実施形態における対応点探索システムＳおよび対応点探索装置１は、上述のように動作するので、対応点探索を行う場合に、例えば、図７に示すように、演算領域（ＴＰ、ＷＤ）が画像外領域を含まないように、予測画像Ｉ^ｐｒｅによって合成画像Ｉ’を生成することが可能となる。このため、対応点探索の演算領域が画像領域と画像外領域とに亘って設定される場合でも、誤対応の低減が可能となる。なお、図７において、斜線で表示されている領域が画像予測部２１の予測画像生成部２１３によって生成された予測画像Ｉ^ｐｒｅの部分を示している。

ここで、図７から分かるように、対応点探索される予測画像Ｉ^ｐｒｅの大きさが撮影カメラ２によって撮影される画像Ｉの周囲に演算領域（テンプレートＴＰ、ウィンドウＷＤ）の大きさに相当する領域を並べた場合における大きさを超えると、演算領域（ＴＰ、ＷＤ）が画像外領域にのみ設定される場合（実際の対応点探索ではこのような演算領域は設定されない）を含むことととなり、無駄な予測画像Ｉ^ｐｒｅの領域が存在することとなる。したがって、予測画像Ｉ^ｐｒｅの大きさは、演算領域の大きさに応じて設定されることが好ましい。予測画像Ｉ^ｐｒｅの大きさは、撮影カメラ２によって撮影される画像Ｉの周囲に演算領域の大きさに相当する領域を並べた場合における大きさ以下に設定することが好ましい。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、画像予測部２１は、予測画像Ｉ^ｐｒｅの生成にアフィン変換を用いている。このため、所定の時点に取得した画像に対し拡大縮小（スケーリング）、回転移動および平行移動を適宜に実行することができ、予測時点における最適な予測画像Ｉ^ｐｒｅの生成が可能となる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、対応点探索を行う対象の２つの画像は、ステレオカメラである撮影カメラ２によって撮影された１組の画像Ｉ^１，Ｉ^２から成るステレオ画像である。このため、画像領域の縁部（端部）まで精度よく対応点探索を行うことができるステレオ画像の対応点探索システムおよび対応点探索装置１の提供が可能となる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、画像合成部２２は、ステレオ画像における１組の画像Ｉ^１ _ｔ０，Ｉ^２ _ｔ０のそれぞれに対し各合成画像Ｉ^１’_ｔ０、Ｉ^２’_ｔ０を生成している。このため、ステレオ画像の両画像Ｉ^１ _ｔ０，Ｉ^２ _ｔ０に対し合成画像Ｉ^１’_ｔ０、Ｉ^２’_ｔ０が生成されるので、例えば、図７（Ａ）に示すように、演算領域であるテンプレートＴＰが画像外領域を含まないように、予測画像Ｉ^ｐｒｅ１ _ｔ−１によって合成画像Ｉ^１’_ｔ０を生成することが可能となると共に、図７（Ｂ）に示すように、演算領域であるウィンドウＷＤが画像外領域を含まないように、予測画像Ｉ^ｐｒｅ２ _ｔ−１によって合成画像Ｉ^２’_ｔ０を生成することも可能となる。したがって、画像領域の縁部（端部）までより精度よく対応点探索を行うことが可能となる。

なお、本実施形態では、このように基準画像Ｉ１および参照画像Ｉ２となるステレオ画像の両画像Ｉ^１ _ｔ０，Ｉ^２ _ｔ０に対し合成画像Ｉ^１’_ｔ０、Ｉ^２’_ｔ０が生成されたが、基準画像Ｉ１となる画像Ｉ^１ _ｔ０に対し合成画像Ｉ^１’_ｔ０のみが生成されてもよい。あるいは、参照画像Ｉ２となる画像Ｉ^２ _ｔ０に対し合成画像Ｉ^２’_ｔ０のみが生成されてもよい。このように構成することによって情報処理が省略され、演算時間の短縮化や演算処理装置の簡単化を図ることが可能となる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、対応点探索部２３は、基準画像Ｉ１と参照画像Ｉ２との相関演算によって行われる。このため、この構成によれば、前記基準画像と前記参照画像との相関演算によって対応点探索が行われる対応点探索システムＳおよび対応点探索装置の提供が可能となる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、対応点探索部２３は、演算領域（テンプレートＴＰおよびウィンドウＷＤ）内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応位置を演算している。このため、２つの画像間における輝度差やノイズの影響を受けにくいロバストな対応点探索が可能となる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、前記周波数分解の手法は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換およびアダマール変換のうちのいずれかである。したがって、既に確立されている手法が用いられるので、確実に周波数分解を行うことが可能となる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、対応点探索部２３における対応位置の演算処理は、位相限定相関法（ＰＯＣ）である。このため、より精度よく対応点探索を行うことが可能となる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、上述したように、ステップＳ１１からステップＳ１５までの各処理が繰り返し実行される。したがって、上述の実施形態において、最初の合成画像Ｉ’_ｔ０は、その１フレーム前の画像Ｉ_ｔ−１に２フレーム前の画像Ｉ_ｔ−２および１フレーム前の画像Ｉ_ｔ−１から得られるアフィン変換を作用させることによって生成される予測画像Ｉ^ｐｒｅ _ｔ−１と現フレームの画像Ｉ_ｔ０とから合成される一方で、次の合成画像Ｉ’_ｔ＋１は、この合成画像Ｉ’_ｔ０に１フレーム前の画像Ｉ_ｔ−１および現時点（現フレーム）の画像Ｉ_ｔ０から得られるアフィン変換を作用させることによって生成される予測画像Ｉ^ｐｒｅ _ｔ＋１と現フレームの画像Ｉ_ｔ＋１とから合成されてもよい。例えば、図８（Ａ）に示すように、最初の合成画像Ｉ’_ｔ−３は、その３フレーム前の画像Ｉ_ｔ−３に４フレーム前の画像Ｉ_ｔ−４および３フレーム前の画像Ｉ_ｔ−３から得られるアフィン変換Ｐ_{Ａ（４３）}を作用させることによって生成される予測画像Ｉ^ｐｒｅ _ｔ−３と２フレーム前の画像Ｉ_ｔ−２とから合成され、次の合成画像Ｉ’_ｔ−２は、図８（Ｂ）に示すように、この合成画像Ｉ’_ｔ−３に３フレーム前の画像Ｉ_ｔ−３および２フレーム前の画像Ｉ_ｔ−２から得られるアフィン変換Ｐ_{Ａ（３２）}を作用させることによって生成される予測画像Ｉ^ｐｒｅ _ｔ−２と１フレームの画像Ｉ_ｔ−１とから合成され、さらに次の合成画像Ｉ’_ｔ−１は、図８（Ｃ）に示すように、この合成画像Ｉ’_ｔ−２に２フレーム前の画像Ｉ_ｔ−２および１フレーム前の画像Ｉ_ｔ−１から得られるアフィン変換Ｐ_{Ａ（２１）}を作用させることによって生成される予測画像Ｉ^ｐｒｅ _ｔ−１と現フレームの画像Ｉ_ｔ０とから合成される。

次に、別の実施形態について説明する。
（第２の実施形態）
第１の実施形態では、対応点探索システムＳおよび対応点探索装置１は、ステレオカメラによって撮影された１組の画像Ｉ^１、Ｉ^２から成るステレオ画像について対応点探索を行ったが、第２の実施形態では、対応点探索システムＳおよび対応点探索装置１は、撮影カメラによって所定の時間間隔（フレーム周期）で順次に撮影された時系列画像のうちの互いに異なる時点に取得された各画像について対応点探索を行うものである。

このため、第２の実施形態における対応点探索システムＳおよび対応点探索装置１は、撮影カメラ２が１台の撮影カメラ、例えば、撮影カメラ２−１によって構成され、ＣＰＵ１２に機能的に構成される画像予測部２１（データ取得部２１１、係数演算部２１２および予測画像生成部２１３）、画像合成部２２および対応点探索部２３が後述のように機能する点を除き、第１の実施形態における対応点探索システムＳおよび対応点探索装置１と同様である。

なお、本実施形態では、撮影カメラ２−１によって撮影された時系列画像について対応点探索が実行されるが、撮影カメラ２−２も備え、撮影カメラ２−２によって撮影された時系列画像についても、本実施形態における対応点探索が実行されてもよい。

図９は、第２の実施形態の対応点探索システムにおける対応点探索装置の動作を示すフローチャートである。

対応点探索システムＳが起動され、その動作が開始されると、１台の撮影カメラ２によって所定のフレーム周期で順次に撮影された先行物体Ｏｂの時系列画像（時系列画像データ）が取得される。そして、各時系列画像（各時系列画像データ）は、順次に、通信部１７から対応点探索装置１に入力され、対応点探索装置１のＣＰＵ１２に通知され、ＣＰＵ１２によって各時系列画像間の対応点探索処理が開始される。

この各時系列画像間の対応点探索処理において、図９に示すように、まず、ステップＳ２１では、画像予測部２１のデータ取得部２１１は、撮影カメラ２で撮影された各時系列画像から係数演算部２１２で用いるデータを取得する。予測画像生成部２１３が所定の時点に取得された画像に基づいてこの所定の時点と異なる予測時点における画像をアフィン変換によって予測することで予測画像として生成することから、係数演算部２１２は、このアフィン変換のアフィン係数を算出する必要がある。このため、データ取得部２１１は、より具体的には、時系列画像のうちの２つの画像間の対応点を少なくとも３つ探索する。本実施形態では、例えば、時点ｔにおいて撮影カメラ２によって撮影された画像をＩ_ｔとする場合に、データ取得部２１１は、例えば、現時点（現フレームの時点）ｔ０より１フレーム前の時点ｔ−１および２フレーム前の時点ｔ−２の画像Ｉ_ｔ−１、Ｉ_ｔ−２間における対応点探索を行って、少なくとも３つの対応点を含む対応点探索結果ＯＦ_{ｔ（２１）}（少なくとも３つの注目点にそれぞれ対応する少なくとも３つの対応点を含む対応点探索結果ＯＦ_{ｔ（２１）}）を取得する。なお、ＯＦ_{ｔ（２１）}は、撮影カメラ２によって撮影された１フレーム前の画像Ｉ_ｔ−１と２フレーム前の画像Ｉ_ｔ−２との間における対応点探索結果である。データ取得部２１１は、この２つの画像Ｉ_ｔ−１、Ｉ_ｔ−２間における対応点探索を、第１の実施形態におけるステップＳ１１で説明した各対応点探索手法のいずれかの手法を用いることによって、実行する。

データ取得部２１１は、データが取得されると、そのデータを係数演算部２１２へ通知する。次に、ステップＳ２２では、画像予測部２１の係数演算部２１２は、第１の実施形態におけるステップＳ１２と同様の処理によって、データ取得部２１１で取得されたデータを用いてアフィン変換のアフィン係数を算出する。すなわち、係数演算部２１２は、データ取得部２１１で対応点探索を行って取得された、少なくとも３つの対応点を含む対応点探索結果ＯＦ_{ｔ（２１）}を用いてアフィン変換のアフィン係数Ｐ_{Ａ（２１）}を算出する。なお、Ｐ_{Ａ（２１）}は、撮影カメラ２によって撮影された１フレーム前の画像Ｉ_ｔ−１と２フレーム前の画像Ｉ_ｔ−２とに基づいて算出されたアフィン係数（アフィンパラメータ）である。

係数演算部２１２は、アフィン係数Ｐ_{Ａ（２１）}が算出されると、そのアフィン係数Ｐ_{Ａ（２１）}を予測画像生成部２１３へ通知する。次に、ステップＳ２３では、画像予測部２１の予測画像生成部２１３は、所定の時点に取得した画像に基づいてこの所定の時点と異なる予測時点における画像を、係数演算部２１２で算出したアフィン係数Ｐ_{Ａ（２１）}を持つアフィン変換を用いることによって予測し、予測画像として生成する。

より具体的には、第１に、予測時点が現時点である場合には、予測画像生成部２１３は、現時点よりも過去の時点に取得した画像に対し現時点の画像をアフィン変換によって予測することで予測画像を生成する。例えば、予測画像生成部２１３は、現時点（現フレーム）ｔ０よりも１フレーム前の時点ｔ−１に取得した画像Ｉ_ｔ−１にアフィン係数Ｐ_{Ａ（２１）}のアフィン変換を作用させることよって現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１を生成する（Ｓ２３−１）。

そして、第２に、予測時点が過去の時点である場合には、予測画像生成部２１３は、現時点に取得した画像に対し過去の時点の画像をアフィン変換によって予測することで予測画像を生成する。例えば、予測画像生成部２１３は、現時点（現フレーム）ｔ０に取得した画像Ｉ_ｔ０にアフィン係数Ｐ^−１ _{Ａ（２１）}のアフィン変換を作用させることよって１フレーム前の時点ｔ−１の予測画像Ｉ^ｐｒｅ _ｔ０を生成する（Ｓ２３−２）。なお、ステップＳ２２の処理によって求めたアフィン係数Ｐ_{Ａ（２１）}は、２フレーム前の画像Ｉ_ｔ−２を基準画像Ｉ１とすると共に１フレーム前の画像Ｉ_ｔ−１を参照画像Ｉ２として求めたものである。したがって、現時点ｔ０の画像Ｉ_ｔ０から過去の時点ｔ−１の予測画像Ｉ^ｐｒｅ _ｔ０を生成するステップＳ２３−２の場合では、アフィン変換は、アフィン係数Ｐ_{Ａ（２１）}の逆行列であるアフィン係数Ｐ^−１ _{Ａ（２１）}とする必要がある。

画像予測部２１の予測画像生成部２１３は、予測画像Ｉ^ｐｒｅ _ｔ−１、Ｉ^ｐｒｅ _ｔ０が生成されると、その予測画像Ｉ^ｐｒｅ _ｔ−１、Ｉ^ｐｒｅ _ｔ０を画像合成部２２へ通知する。次に、ステップＳ２４では、画像合成部２２は、画像予測部２１で生成された予測画像Ｉ^ｐｒｅ _ｔ−１、Ｉ^ｐｒｅ _ｔ０とこの予測画像Ｉ^ｐｒｅ _ｔ−１、Ｉ^ｐｒｅ _ｔ０に対応する画像Ｉ_ｔ０、Ｉ_ｔ−１とを合成することによって合成画像Ｉ’_ｔ０、Ｉ’_ｔ−１を生成する。すなわち、画像合成部２２は、予測画像Ｉ^ｐｒｅ _ｔ−１では、オプティカルフローが消失点から放射状に伸びていることから、この現時点の予測画像Ｉ^ｐｒｅ _ｔ−１に、現時点の画像Ｉ_ｔ０を嵌め込むことによって、現時点の予測画像Ｉ^ｐｒｅ _ｔ−１と現時点の画像Ｉ_ｔ０とを合成し、合成画像Ｉ’_ｔ０を生成すると共に（Ｓ２４−１）、画像合成部２２は、予測画像Ｉ^ｐｒｅ _ｔ０では、オプティカルフローが消失点へ向かって伸びていることから、この１フレーム前の予測画像Ｉ^ｐｒｅ _ｔ０に、１フレーム前の画像Ｉ_ｔ−１を嵌め込むことによって、１フレーム前の予測画像Ｉ^ｐｒｅ _ｔ０と１フレーム前の画像Ｉ_ｔ−１とを合成し、合成画像Ｉ’_ｔ−１を生成する（Ｓ２４−２）。

ここで、このステップＳ２４において、画像合成部２２は、撮影カメラ２と被写体（例えば本実施形態では先行物体Ｏｂ）との相対運動の態様に応じて、合成すべき予測画像Ｉ^ｐｒｅと予測時点に取得された画像Ｉとを判定するように構成されてもよい。このように構成されることによって、合成画像の合成対象を適宜に変更することができ、効果的に対応点探索を行うことができる。

図１０は、オプティカルフローが消失点から放射状に伸びる場合における予測画像の生成および合成画像の生成を説明するための図である。図１０（Ａ）は、予測画像の生成の態様を示し、図１０（Ｂ）は、オプティカルフローを示す。図１１は、オプティカルフローが消失点へ向かって伸びる場合における予測画像の生成および合成画像の生成を説明するための図である。図１１（Ａ）は、予測画像の生成の態様を示し、図１１（Ｂ）は、オプティカルフローを示す。

撮影カメラ２と被写体との相対運動の態様は、例えば、時系列画像から得られるオプティカルフローによって求めることができる。オプティカルフローは、物体の３次元運動に伴って生じる画像上の２次元速度ベクトルの分布であり、例えば、第１時点よりも過去の時点における画像を基準画像Ｉ１とすると共に第１時点の画像を参照画像Ｉ２とした場合に、基準画像Ｉ１の注目点に対応する参照画像Ｉ２の対応点を対応点探索によって探索することで、注目点から対応点へのベクトルとして求められる。より具体的には、オプティカルフローは、例えば、１フレーム前の画像Ｉ_ｔ−１を基準画像Ｉ１とすると共に現時点（現フレーム）の画像Ｉ_ｔ０を参照画像Ｉ２とした場合に、基準画像Ｉ１の注目点に対応する参照画像Ｉ２の対応点を対応点探索によって探索することで、注目点から対応点へのベクトルとして求められる。

このように求めたオプティカルフローが例えば図１０（Ｂ）に示すように消失点ＮＰから放射状に伸びている場合には、撮影カメラ２が被写体に近づくように運動、すなわち、前進運動している場合であるから、図１０（Ａ）に示すように、予測画像生成部２１３は、１フレーム前の画像Ｉ_ｔ−１にアフィン係数Ｐ_{Ａ（２１）}のアフィン変換を作用させることよって現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１を生成し（Ｓ２３−１）、画像合成部２２は、現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１と現時点ｔ０の画像Ｉ_ｔ０とを合成し、合成画像Ｉ’_ｔ０を生成する（Ｓ２４−１）。画像合成部２２は、この現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１における、撮影カメラ２によって撮影される画像領域に対応する領域ＤＭに、現時点ｔ０の画像Ｉ_ｔ０を嵌め込むことによって両画像Ｉ^ｐｒｅ _ｔ−１、Ｉ_ｔ０を合成する。消失点ＮＰは、例えば、オプティカルフローの交点として与えられる。

一方、この求めたオプティカルフローが例えば図１１（Ｂ）に示すように消失点ＮＰへ向かって伸びている場合には、撮影カメラ２が被写体から離れるように運動、すなわち、後進運動している場合であるから、図１１（Ａ）に示すように、予測画像生成部２１３は、１フレーム前の画像Ｉ_ｔ−１にアフィン係数Ｐ_{Ａ（２１）}のアフィン変換を作用させることよって現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１を生成し（Ｓ２３−１）、画像合成部２２は、現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１と現時点ｔ０の画像Ｉ_ｔ０とを合成し、合成画像Ｉ’_ｔ０を生成する（Ｓ２４−１）。画像合成部２２は、この現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１における、撮影カメラ２によって撮影される画像領域に対応する領域ＤＭに、現時点ｔ０の画像Ｉ_ｔ０を嵌め込むことによって両画像Ｉ^ｐｒｅ _ｔ−１、Ｉ_ｔ０を合成する。ただし、この場合（後進時）に、現時点ｔ０の画像Ｉ_ｔ０は、現時点の予測画像Ｉ^ｐｒｅ _ｔ−１より大きいために、合成後の予測画像Ｉ^ｐｒｅ _ｔ−１は、現時点ｔ０の下に隠れてしまい、実質的には現時点ｔ０の画像Ｉ_ｔ０となる。

以上の説明では、過去の画像をベースに予測画像が作成され、そこへ現在の画像を嵌め込むことによって合成画像が作成されたが、図９で説明したように、現在の画像をベースに過去の予測画像が作成され、そこへ過去の画像を嵌め込むことによって合成画像が作成されてもよい。

なお、上述では、撮影カメラ２が前進運動している場合では、図１０に示すように、１フレーム前の画像Ｉ_ｔ−１にアフィン係数Ｐ_{Ａ（２１）}のアフィン変換を作用させることよって現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１が生成され、現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１と現時点ｔ０の画像Ｉ_ｔ０とを合成することによって合成画像Ｉ’_ｔ０が生成されたが、図１２に示すように、撮影カメラ２が前進運動している場合に、合成画像Ｉ’_ｔ０が生成されるだけでなく、さらに、現時点の画像Ｉ_ｔ０にアフィン係数Ｐ^−１ _{Ａ（２１）}のアフィン変換を作用させることよって１フレーム前の予測画像Ｉ^ｐｒｅ _ｔ０も生成され、１フレーム前の予測画像Ｉ^ｐｒｅ _ｔ０と１フレーム前に取得された画像Ｉ_ｔ−１とを合成することによって合成画像Ｉ’_ｔ−１も生成されてもよい。同様に、上述では、撮影カメラ２が後進運動している場合では、図１１に示すように、現時点の画像Ｉ_ｔ０にアフィン係数Ｐ^−１ _{Ａ（２１）}のアフィン変換を作用させることよって１フレーム前の予測画像Ｉ^ｐｒｅ _ｔ０が生成され、１フレーム前の予測画像Ｉ^ｐｒｅ _ｔ０と１フレーム前に取得された画像Ｉ_ｔ−１とを合成することによって合成画像Ｉ’_ｔ−１が生成されたが、図１３に示すように、撮影カメラ２が後進運動している場合に、合成画像Ｉ’_ｔ−１が生成されるだけでなく、さらに、１フレーム前の画像Ｉ_ｔ−１にアフィン係数Ｐ_{Ａ（２１）}のアフィン変換を作用させることよって現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１も生成され、現時点ｔ０の予測画像Ｉ^ｐｒｅ _ｔ−１と現時点ｔ０の画像Ｉ_ｔ０とを合成することによって合成画像Ｉ’_ｔ０も生成されてもよい。このように構成されることによって、運動方向が変更された場合に、運動方向を判定することによって切り換える必要がなくなり、かつ運動方向が変更された時点から予測画像で対応点探索を行うことが可能となる。

なお、合成画像Ｉ’の生成において、予測画像Ｉ^ｐｒｅの大きさが、撮影カメラ２によって撮影される画像領域に対応する領域ＤＭよりも小さい場合には、実測画像Ｉの下に予測画像Ｉ^ｐｒｅが隠れてしまい、合成画像Ｉ’が実質的に実測画像Ｉとなる場合がある。

画像合成部２２は、これら合成画像Ｉ’_ｔ０、Ｉ’_ｔ−１が生成されると、これら合成画像Ｉ’_ｔ０、Ｉ’_ｔ−１を対応点探索部２３へ通知する。そして、ステップＳ２５では、対応点探索部２３は、影カメラ２で撮影された２つの画像のうちの一方を基準画像Ｉ１とすると共に他方を参照画像Ｉ２とする場合に、基準画像Ｉ１の注目点に対応する参照画像Ｉ２の対応点を探索する。そして、対応点探索部２３は、この対応点探索において、基準画像Ｉ１に対応する、画像予測部２１と画像合成部２２とによって生成された合成基準画像Ｉ１’がある場合には、基準画像Ｉ１に代えて合成基準画像Ｉ１’を用いると共に、参照画像Ｉ２に対応する、画像予測部２１および画像合成部２２によって生成された合成参照画像Ｉ２’がある場合には、参照画像Ｉ２に代えて合成参照画像Ｉ２’を用いる。すなわち、本実施形態では、これら合成画像Ｉ’_ｔ０、Ｉ’_ｔ−１が生成されるので、対応点探索部２３は、例えば、合成画像Ｉ’_ｔ−１を基準画像Ｉ１とすると共に合成画像Ｉ’_ｔ０を参照画像Ｉ２として、基準画像Ｉ１の注目点に対応する参照画像Ｉ２の対応点を探索する。ここで、対応点探索部２３は、ステップＳ１１で説明した各対応点探索手法のいずれかの手法を用いることによって、対応点探索を実行する。そして、対応点探索部２３は、対応点探索システムＳの用途に応じた所定値を算出する。

そして、処理がステップＳ２５からステップＳ２２に戻され、ステップＳ２１からステップＳ２５までの各処理が繰り返し実行されることによって、各フレームについて、上述の処理が実行される。

このように動作するので、本実施形態における対応点探索システムＳおよび対応点探索装置１は、対応点探索を行う場合に、例えば、図１４に示すように、演算領域（ＴＰ、ＷＤ）が画像外領域を含まないように、予測画像Ｉ^ｐｒｅによって合成画像Ｉ’を生成することが可能となる。このため、対応点探索の演算領域が画像領域と画像外領域とに亘って設定される場合でも、誤対応の低減が可能となる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、画像合成部２２は、時系列画像に基づいて得られたオプティカルフローに応じて予測画像Ｉ^ｐｒｅおよび予測時点に取得された画像Ｉを決定している。このため、合成画像の合成対象を適宜に変更することができ、効果的に対応点探索を行うことができる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、画像予測部２１は、現時点ｔ０よりも１フレーム前に取得された画像Ｉ_ｔ−１に基づいて現時点の予測画像Ｉ^ｐｒｅ _ｔ−１を生成し、画像合成部２２は、現時点の予測画像Ｉ^ｐｒｅ _ｔ−１と現時点に取得された現時点ｔ０の画像Ｉ_ｔ０とを合成している。このため、対応点探索が行われる画像が移動体に取り付けられた撮影カメラによって得られた画像である場合に、移動体が前進運動している場合に、より精度よく対応点探索を行うことが可能となる。

また、本実施形態における対応点探索システムＳおよび対応点探索装置１では、画像予測部２１は、現時点ｔ０に取得された画像Ｉ_ｔ０に基づいて現時点ｔ０よりも１フレーム前の予測画像Ｉ^ｐｒｅ _ｔ０を生成し、画像合成部２２は、１フレーム前の予測画像Ｉ^ｐｒｅ _ｔ０と１フレーム前に取得された１フレーム前の画像Ｉ_ｔ−１とを合成している。このため、対応点探索が行われる画像が移動体に取り付けられた撮影カメラによって得られた画像である場合に、移動体が後進（後退）運動している場合に、より精度よく対応点探索を行うことが可能となる。

図１４は、撮影カメラの位置と撮影条件との関係を説明するための図である。なお、上述の第１および第２の実施形態では、アフィン変換のアフィン係数Ｐ_Ａは、互いに取得時間の異なる２つの画像間において対応点探索を実行することによって取得された、少なくとも３つの対応点を含む対応点探索結果ＯＦに基づいて求められたが、互いに取得時間の異なる２つの画像に基づいて求められたオプティカルフローに基づいて求められても良い。例えば、対応点探索結果ＯＦにおける注目点および対応点として、オプティカルフローを表すベクトルの始点および終点をそれぞれ用いることによって、アフィン変換のアフィン係数Ｐ_Ａが求められる。この構成によれば、他の外部機器を用いることなく、画像のみからアフィン変換のアフィン係数を求めることが可能となる。

一方、この場合において、画像は、移動体に取り付けられた撮影カメラ２によって取得され、アフィン変換のアフィン係数Ｐ_Ａは、移動体の操舵による回転角度に関する操舵情報および自走速度に関する速度情報に基づいて求められたオプティカルフローに基づいて求められても良い。そして、この操舵情報は、移動体に取り付けられた移動体の操舵による回転角度を検出する舵角センサによって取得されることが好ましく、この速度情報は、移動体に取り付けられた移動体の速度を検出する速度センサによって取得されることが好ましい。この構成によれば、操舵情報および速度情報が他の外部機器、例えば舵角センサや速度センサから取得されるので、演算時間の短縮化や演算処理装置の簡単化を図ることができ、また、精度よくアフィン変換のアフィン係数Ｐ_Ａを求めることが可能となる。

ここで、図１４に示すように、焦点距離ｆで画角θである撮影カメラ２が、路面から高さｈの位置に、前進方向Ｚに対しピッチ方向の傾きφで移動体に取り付けられ、パン方向およびロール方向の傾きが実質的に０であるとする。このような場合では、オプティカルフローの水平成分△ｘおよび垂直成分△ｙは、式１１−１および式１１−２によって表される。
△ｘ＝（ｖｔ（ｙ＋αφ）ｘ／（αｈ））−（α＋ｖｔ（ｙ＋αφ）／（２ｈ））σｔ
・・・（１１−１）
△ｙ＝（ｖｔ（ｙ＋αφ）^２／（αｈ）） ・・・（１１−２）
ここで、ｖは、移動体の速度であり、ｔは、２つの画像間の撮影時間間隔であり、ｙは、撮影カメラ２からＺ方向に離れた路面上の点Ａを表す画像上の点の垂直成分であり、ｘは、撮影カメラ２からＺ方向に離れた路面上の点Ａを表す画像上の点の水平成分であり、αは、画素ピッチをｐとし画素数をＮとすると、α＝ｆ／ｐ＝Ｎ／（２θ）であり、σｔは、操舵による回転角度（σは角速度）である。

図１５は、予測画像の他の生成方法を説明するための図である。また、上述の第１および第２の実施形態では、予測画像生成部２１３によって生成される予測画像Ｉ^ｐｒｅ _ｔ−１は、予測前の元の画像Ｉ_ｔ−１を一括に扱って生成されたが、図１５に示すように、元の画像Ｉ_ｔ−１を複数の画像に分割し（図１５（Ａ））、これら各分割した分割画像ごとにアフィン係数Ｐ^ｎ _{Ａ（２１）}（ｎはｎ番目の分割領域であることを示す）を求め、これら各分割した分割画像Ｉ^ｎ _ｔ−１ごとに予測画像Ｉ^ｐｒｅｎ _ｔ−１を求め、予測前後で位置関係を維持するようにこれらをつなぎ合わせて合成することで、予測画像Ｉ^ｐｒｅ _ｔ−１が生成されても良い（図１５（Ｂ））。各分割画像Ｉ^ｎ _ｔ−１の大きさ（サイズ）は、正方形でも良く、また矩形であっても良く、さらに必ずしも同一である必要はなく異なっていても良い。このように元の画像Ｉ_ｔ−１を分割してから予測画像Ｉ^ｐｒｅ _ｔ−１を生成することによって、１フレームの間で移動量が大きく変動する領域と小さく変動する領域を分割することが可能となり、より正確に予測画像Ｉ^ｐｒｅ _ｔ−１を生成することができる。

なお、この場合においても上述の実施形態と同様に、予測画像Ｉ^ｐｒｅ _ｔ−１は、画像合成部２２の画像合成を容易に行うために、図１５（Ｃ）に示すように、撮影カメラ２によって撮影される画像領域に対応する領域ＤＭが抜き取られてものであっても良い。

図１６は、多重解像度戦略を説明するための図である。また、上述の第１および第２の実施形態において、対応点探索部２３は、多重解像度戦略を用いて対応点探索を実行しても良い。多重解像度戦略を用いた対応点探索は、図１６に示すように、基準画像Ｉ１および参照画像Ｉ２の解像度を低解像度化し、この低解像度の基準画像Ｉ１および参照画像Ｉ２を用いて対応点探索を行い、その解（対応点探索結果）を伝播させながら解像度を元の解像度まで順次に上げる手法である。より具体的には、まず、第１処理として、例えば画素を間引く間引き処理によって基準画像Ｉ１および参照画像Ｉ２の各縮小画像が作成される（低解像度化）。次に、第２処理として、これら基準画像Ｉ１および参照画像Ｉ２の各縮小画像を用いて対応点探索が行われる。次に、第３処理として、この対応点探索によって探索された対応点を含む所定の範囲で参照画像Ｉ２の縮小画像が所定の倍率で拡大されると共に、注目点を含む前記所定の範囲で基準画像Ｉ１の縮小画像が所定の倍率で拡大される（解の伝播）。次に、第４処理として、この拡大された基準画像Ｉ１および参照画像Ｉ２を用いて対応点探索が行われる。次に、第５処理として、元の大きさ（サイズ、解像度）となるまで、第３処理および第４処理を繰り返す。

多重化解像度戦略を用いる対応点探索では、演算領域に画像外領域が含まれるケースが多い。本発明の一実施態様では、上述したように、予測画像が生成され、予測画像に基づいて合成画像が生成され、合成画像を用いることによって対応点探索が行われるので、このような構成の対応点探索システムＳおよび対応点探索装置１では、多重解像度戦略による対応点探索を行う場合に、より精度よく対応点探索を行うことができる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

第１の実施形態における対応点探索システムの概略構成を示す図である。 実施形態の対応点探索システムにおける対応点探索装置の構成を示すブロック図である。 第１の実施形態の対応点探索システムにおける対応点探索装置の動作を示すフローチャートである。 位相限定相関法のブロック図である。 ＰＯＣ値の一例を示すグラフである。 予測画像の生成方法を説明するための図である。 予測画像の大きさを説明するための図である。（Ａ）は、基準画像の場合であり、（Ｂ）は、参照画像の場合である。 合成画像の生成方法を説明するための図である。 第２の実施形態の対応点探索システムにおける対応点探索装置の動作を示すフローチャートである。 オプティカルフローが消失点から放射状に伸びる場合における予測画像の生成および合成画像の生成を説明するための図である。 オプティカルフローが消失点へ向かって伸びる場合における予測画像の生成および合成画像の生成を説明するための図である。 オプティカルフローが消失点から放射状に伸びる場合における他の予測画像の生成および合成画像の生成を説明するための図である。 オプティカルフローが消失点へ向かって伸びる場合における他の予測画像の生成および合成画像の生成を説明するための図である。 他の合成画像の生成方法を説明するための図である。 撮影カメラの位置と撮影条件との関係を説明するための図である。 予測画像の他の生成方法を説明するための図である。 多重解像度戦略を説明するための図である。 ２つの画像間において対応点探索を行った場合における誤対応を説明するための図である。 時系列画像の２つの画像間において対応点探索を行った場合における誤対応を説明するための図である。

符号の説明

Ｓ 対応点探索システム
１ 対応点探索装置
２ 撮影カメラ
１２ ＣＰＵ
２１ 画像予測部
２２ 画像合成部
２３ 対応点探索部
２１１ データ取得部
２１２ 係数演算部
２１３ 予測画像生成部

Claims (17)

1. ２つの画像間における互いに対応する点を探索するための対応点探索装置において、
   所定の時点に取得された画像に基づいて前記所定の時点と異なる予測時点における画像を予測画像として生成する画像予測部と、
   前記予測画像と前記予測時点に取得された画像とを合成することによって合成画像を生成する画像合成部と、
   前記２つの画像のうちの一方を基準画像とすると共に他方を参照画像とする場合に、前記基準画像の注目点に対応する前記参照画像の対応点を探索する対応点探索部とを備え、
   前記対応点探索部は、前記基準画像に対応する、前記画像予測部と前記画像合成部とによって生成された合成基準画像がある場合には、前記基準画像に代えて前記合成基準画像を用いると共に、前記参照画像に対応する、前記画像予測部および前記画像合成部によって生成された合成参照画像がある場合には、前記参照画像に代えて前記合成参照画像を用いること
   を特徴とする対応点探索装置。
2. 前記画像予測部は、前記予測画像の生成にアフィン変換を用いること
   を特徴とする請求項１に記載の対応点探索装置。
3. 前記アフィン変換のアフィン係数は、前記所定の時点に取得された画像と前記所定の時点と異なる時点に取得された画像に基づいて求められたオプティカルフローに基づいて求められること
   を特徴とする請求項２に記載の対応点探索装置。
4. 前記画像は、移動体に取り付けられた撮影カメラによって取得され、
   前記アフィン変換のアフィン係数は、前記移動体の操舵による回転角度に関する操舵情報および自走速度に関する速度情報に基づいて求められたオプティカルフローに基づいて求められること
   を特徴とする請求項２に記載の対応点探索装置。
5. 前記操舵情報は、前記移動体に取り付けられた前記移動体の操舵による回転角度を検出する舵角センサによって取得され、
   前記速度情報は、前記移動体に取り付けられた前記移動体の速度を検出する速度センサによって取得されること
   を特徴とする請求項４に記載の対応点探索装置。
6. 前記２つの画像は、ステレオカメラによって撮影された１組の画像から成るステレオ画像であること
   を特徴とする請求項１に記載の対応点探索装置。
7. 前記画像合成部は、前記ステレオ画像における１組の画像のそれぞれに対し各合成画像を生成すること
   を特徴とする請求項６に記載の対応点探索装置。
8. 前記２つの画像は、時系列画像のうちの互いに異なる時点に取得された各画像であること
   を特徴とする請求項１に記載の対応点探索装置。
9. 前記画像合成部は、前記時系列画像に基づいて得られたオプティカルフローに応じて前記予測画像および前記予測時点に取得された画像を決定すること
   を特徴とする請求項８に記載の対応点探索装置。
10. 前記画像予測部は、第１時点よりも過去の時点に取得された画像に基づいて前記第１時点の予測画像を生成し、
    前記画像合成部は、前記第１時点の予測画像と前記第１時点に取得された第１時点の画像とを合成すること
    を特徴とする請求項９に記載の対応点探索装置。
11. 前記画像予測部は、第１時点に取得された画像に基づいて前記第１時点よりも過去の時点における予測画像を生成し、
    前記画像合成部は、前記過去の時点における予測画像と前記過去の時点に取得された過去の時点における画像とを合成すること
    を特徴とする請求項９に記載の対応点探索装置。
12. 前記対応点探索部は、前記基準画像と前記参照画像との相関演算によって行われること
    を特徴とする請求項１に記載の対応点探索装置。
13. 前記対応点探索部は、演算領域内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応位置を演算すること
    を特徴とする請求項１に記載の対応点探索装置。
14. 前記周波数分解の手法は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換およびアダマール変換のうちのいずれかであること
    を特徴とする請求項１３に記載の対応点探索装置。
15. 前記対応点探索部における対応位置の演算処理は、位相限定相関法であること
    を特徴とする請求項１４に記載の対応点探索装置。
16. 前記対応点探索部は、多重解像度戦略を用いること
    を特徴とする請求項１５に記載の対応点探索装置。
17. ２つの画像間における互いに対応する点を探索するための対応点探索方法において、
    所定の時点に取得された画像に基づいて前記所定の時点と異なる予測時点における画像を予測画像として生成する画像予測工程と、
    前記予測画像と前記予測時点に取得された画像とを合成することによって合成画像を生成する画像合成工程と、
    前記２つの画像のうちの一方を基準画像とすると共に他方を参照画像とする場合に、前記基準画像の注目点に対応する前記参照画像の対応点を探索する対応点探索工程とを備え、
    前記対応点探索工程は、前記基準画像に対応する、前記画像予測工程と前記画像合成工程とによって生成された合成基準画像がある場合には、前記基準画像に代えて前記合成基準画像を用いると共に、前記参照画像に対応する、前記画像予測工程および前記画像合成工程によって生成された合成参照画像がある場合には、前記参照画像に代えて前記合成参照画像を用いること
    を特徴とする対応点探索方法。