JP2015106168A - 視差測定装置、及び、視差測定方法 - Google Patents

Abstract

【課題】本発明は、より正しい視差を、簡便に測定する視差測定装置および視差測定方法を提供することを目的とする。【解決手段】視差測定装置は、対象物を第１の撮像系を用いて撮像された基準画像と、前記対象物を第２の撮像系を用いて撮像され参照画像を取得する画像取得部と、前記基準画像上の注目点に対応する前記参照画像上の対応点を通ると推定される所定の線上の複数の走査点それぞれについて、前記注目点との視差と、前記走査点を含むウィンドウと前記注目点を含むウィンドウとの相関の度合いを示す一致度とを算出する一致度算出部と、前記参照画像について、前記一致度算出部が算出した視差及び一致度に基づいて、前記一致度算出部が算出した一致度のうち、最も高い一致度に対応する前記視差であるピーク視差の確からしさを示す信頼度を算出する信頼度算出部とを備える。【選択図】図６

Description

本発明は、画像同士における対応点探索に関する。

従来から、ステレオ画像の視差（視差角）を測定し、その視差から奥行き（距離）の算出や、カメラの設定補正等が行われている。

視差を算出する際には、２つの画像間で対応点の探索が行われる。探索方法は、まず、例えばステレオカメラのように異なる視点から同一対象物を撮影した２つの画像のうち、一方の画像である基準画像上の注目点に対して、この注目点を内包するようなウィンドウを設定し、他方の画像である参照画像上にも同サイズのウィンドウを複数設定する。そして、基準画像上のウィンドウと、参照画像上の各ウィンドウ間で相関値を算出して、最も相関値が高い参照画像上のウィンドウを探索し、そのウィンドウの重心位置を注目点の対応点として求める。ウィンドウ間の相関値を算出する方法としては、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法と呼ばれる方法が知られている。

このような対応点探索を行う際に、相関値を算出する参照画像上のウィンドウを限定する方法として、エピポーラ線を用いる方法が知られている。エピポーラ線とは、図１に示すように、点Ｏ_Ｌと対象点Ｘとを結ぶ直線（基準画像側のカメラの視線）を参照画像上に投影した線である。Ｏ_Ｌ、Ｏ_Ｒはそれぞれ、基準画像、参照画像を撮影するカメラの投影中心であり、ｅ_Ｌ、ｅ_Ｒはそれぞれ、他方のカメラの投影であり、基準画像上の点Ｘ_Ｌは対象物Ｘの像である。つまり、基準画像側のカメラの視線上に対象点Ｘが存在するので、その視線の投影である参照画像上のエピポーラ線上には、対象点Ｘの像である点Ｘ_Ｒが写っていることになる。従って、エピポーラ線上に複数のウィンドウ（点Ｘ_１、点Ｘ_２等の像それぞれを内包するウィンドウ）を設定し、基準画像上の点Ｘ_Ｌを内包するウィンドウとの相関値を算出し、最も相関値の高いウィンドウを探索すれば対応点として点Ｘ_Ｒを求めることができる。

しかし、注目点が、基準画像中の線状の画像（物体）上の点であって、その線状の物体とエピポーラ線とが重なった場合には、参照画像中のその線状の画像上のいずれの点が対応点であるかの判断がつかない場合が生じ得る。線状の画像とエピポーラ線とが重なった場合には、エピポーラ線上に、相関値が近いウィンドウが複数存在することとなるからである。

そこで、特許文献１には、計測対象物（ワイヤボンディングされたワイヤ）の３次元形状の測定を行う場合に、３台以上のカメラのうちの１台のカメラの画像から、ワイヤの２次元形状を特定し、エピポーラ線とワイヤとが成す角度が直角により近くなるような２台のカメラを選択する方法が記載されている。

また、特許文献２には、３台以上のカメラを用いて取得したステレオ画像中のエッジを結びつけてチェーンにする場合に、画像中のエッジとエピポーラ線とが成す角度が最大の画像を選択し、その画像についてマッチング（対応点探索）を行い、結びつけるエッジを決定する方法が記載されている。

特許第２９４１４１２号公報 特許第４３１３７５８号公報

上述の特許文献１の方法では、まず、計測対象物（ワイヤ）の２次元形状を特定し、ワイヤと各カメラの画像上のエピポーラ線との成す角度に基づいて、適切なカメラの画像（エピポーラ線）を選択する。また、特許文献２では、まず、画像内のエッジを抽出し、エッジとエピポーラ線との成す角度に基づいて適切なカメラの画像（エピポーラ線）を選択する。

このように、適切なエピポーラ線を選択する為には、画像内の測定対象物の形状やエッジを抽出するという計算量の多い処理が必要となる。また、画像（カメラ）を選択したとしても、その画像上のエピポーラ線を算出する際にも誤差が生じ得るので、必ずしも、正しい対応点を探索できるとは限らない。

つまり、視差を算出するためには、多くの計算処理を要するうえに、算出した視差は、必ずしも高精度であるとは限らない。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、より正しい視差を、簡便に測定する視差測定装置および視差測定方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。

本発明の一態様にかかる視差測定装置は、同一の対象物が撮像された基準画像と参照画像とを取得する画像取得部と、前記基準画像上の注目点に対応する前記参照画像上の対応点を通ると推定される所定の線上の複数の走査点それぞれについて、前記注目点との視差と、前記走査点を含むウィンドウと前記注目点を含むウィンドウとの相関の度合いを示す一致度とを算出する一致度算出部と、前記参照画像について、前記一致度算出部が算出した視差及び一致度に基づいて、前記一致度算出部が算出した一致度のうち、最も高い一致度に対応する前記視差であるピーク視差に対する確からしさを示す信頼度を算出する信頼度算出部とを備えることを特徴とする。

また、他の一態様に係る視差測定装置の視差測定方法は、視差測定装置で用いられる視差測定方法であって、同一の対象物が撮像された基準画像と参照画像とを取得する画像取得ステップと、前記基準画像上の注目点に対応する前記参照画像上の対応点を通ると推定される所定の線上の複数の走査点それぞれについて、前記注目点との視差と、前記走査点を含むウィンドウと前記注目点を含むウィンドウとの相関の度合いを示す一致度とを算出する一致度算出ステップと、前記参照画像について、前記一致度算出ステップで算出した視差及び一致度に基づいて、前記一致度算出ステップで算出した一致度のうち、最も高い一致度に対応する前記視差であるピーク視差に対する確からしさを示す信頼度を算出する信頼度算出ステップとを備えることを特徴とする。

このような視差測定装置、及び、視差測定方法では、参照画像中の対応点を通ると推定される線上の複数の走査点について、対応点との視差と、走査点を含むウィンドウと対応点を含むウィンドウとの一致度とを算出し、算出した視差と一致度とに基づいてピーク視差の確からしさを示す信頼度を算出することができる。つまり、参照画像の全体について、対応点探索することなく、１線分上を対応点探索するだけで、すなわち、少ない処理でピーク視差の信頼度を求めることができるので、例えば、後段の処理において視差を用いるか否かの判断が容易となり、後段の処理結果の信頼性を担保できることになる。また、所定の線が、算出誤差を含むような場合（例えば、エピポーラ線）には、その誤差の影響を軽減することが可能となる。

また、上述の視差測定装置において、前記信頼度算出部は、前記一致度算出部が算出した視差を横軸に、前記一致度算出部が算出した視差それぞれに対応する一致度を縦軸とするグラフの形状に基づいて前記信頼度を算出することを特徴とする。

この構成によれば、グラフの形状を判断するだけで、ピーク視差の信頼性を算出できる。

また、上述の視差測定装置において、前記信頼度算出部は、前記グラフの山の高さが大きい程、確からしさの度合いが高くなるように信頼度を算出することを特徴とする。

また、上述の視差測定装置において、前記信頼度算出部は、前記グラフの山における頂点付近のカーブが緩い程、確からしさの度合いが低くなるように信頼度を算出することを特徴とする。

また、上述の視差測定装置において、前記信頼度算出部は、前記グラフの山及び谷が横軸の所定幅内に含まれる数が多い程、確からしさの度合いが高くなるように信頼度を算出することを特徴とする。

これらの構成によれば、グラフの形状を、山の高さ、頂点付近のカーブ、所定幅における山及び谷の数という、簡便な項目（方法）で、簡便にピーク視差の信頼性を算出することができる。

また、上述の視差測定装置において、前記参照画像は、複数であり、前記信頼度算出部は、前記一致度算出部が算出した各参照画像のピーク視差の中央値を求め、各ピーク視差と前記中央値との差の逆数を、各ピーク視差の信頼度として算出することを特徴とする。

この構成によれば、複数の参照画像の信頼度の中央値からの距離に基づいて、簡便に信頼度を算出することができる。

また、上述の視差測定装置において、前記信頼度算出部が算出した前記ピーク視差の信頼度に基づいて、前記対象物に対する視差を算出する選択部を、更に備え、前記選択部は、前記ピーク視差の信頼度が示す確からしさが、所定の度合いよりも高い当該ピーク視差を用いて、前記対象物に対する視差を算出することを特徴とする。

この構成によれば、所定の信頼度よりも高い信頼度のピーク視差を用いて、対象物に対する視差を決定するので、より確からしい（誤差の少ない）視差を決定することができる。

また、上述の視差測定装置において、前記信頼度算出部が算出した前記ピーク視差の信頼度に基づいて、前記対象物に対する視差を算出する選択部を、更に備え、前記参照画像は、複数であり、前記選択部は、各参照画像のピーク視差に対して、各ピーク視差の信頼度に応じた重み付けを行い、重み付けを行ったピーク視差の平均を、前記対象物に対する視差として算出することを特徴とする。

また、上述の視差測定装置において、前記信頼度算出部が算出した前記ピーク視差の信頼度に基づいて、前記対象物に対する視差を算出する選択部を、更に備え、前記参照画像は、複数であり、前記選択部は、各参照画像について、前記一致度算出部が算出した視差と一致度との関係を示す関数を求め、各参照画像のピーク視差の信頼度に応じた重み付けを各関数に行い、重み付けを行った各関数を加算して１つの合成関数を作成し、当該合成関数に基づいて、前記対象物に対する視差を算出することを特徴とする。

この構成によれば、信頼度に応じた重み付けを行って視差を決定するので、より確からしい（誤差の少ない）視差を決定することができる。

また、上述の視差測定装置において、前記所定の線とは、エピポーラ線であることを特徴とする。

この構成によれば、エピポーラ線を探索するので、容易に対応点を探索することができる。

また、他の一態様に係る測距装置は、請求項１〜１０のいずれか一項に記載の視差測定装置と、前記視差測定装置で求められた視差を用いて、前記対象物までの距離を算出する測距部とを備えることを特徴とする。

この構成によれば、より確からしい（誤差の少ない）視差を用いて、対象物までの距離を算出することができるので、より測距の精度を高めることが可能となる。

また、他の一態様に係る撮像装置は、請求項１〜１０のいずれか一項に記載の視差測定装置と、前記基準画像上の前記対象物の画像と、前記参照画像における前記対象物の画像とが互いに一致するように、前記視差測定装置で求められた前記参照画像の視差分、何れかの画素位置を変換する視差補正部とを備えることを特徴とする。

この構成によれば、少ない処理で視差補正を行うことが可能となる。

本発明にかかる対応点探索装置は、より正しい視差を、簡便に測定することができる。

エピポーラ線を説明するための図である。 エピポーラ線と参照画像との関係を説明するための図である。 エピポーラ線と参照画像との関係を説明するための図である。 エピポーラ線と参照画像との関係を説明するための図である。 エピポーラ線と参照画像との関係を説明するための図である。 実施形態における撮像装置の構成を示すブロック図である。 視差と一致度との関係を示すグラフである。 頂点の算出を説明するための図である。 信頼度を算出する方法を説明するための図である。 信頼度を算出する方法を説明するための図である。 信頼度に基づいて、視差を決定する方法を説明するための図である。 図６に視差測定装置が行う視差測定処理のフローチャートである。 実施形態２の測距装置の構成を示すブロック図である。 測距方法を説明するための図である。 実施形態３の撮像装置の構成を示すブロック図である。 図１５に示す撮像装置の撮像ユニットを説明するための図である。 図１５に示す撮像装置の撮像ユニットのフィルタを説明するための図である。 図１５に示す撮像装置の撮像部が出力する画像を説明するための図である。 複数のグラフで信頼度を算出する方法を説明するための図である。 実施形態の視差補正を説明するための図である。

＜実施形態１＞
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
＜概要＞
まず、図２〜５を用いて、エピポーラ線を用いた対応点探索について説明する。

図２は、エピポーラ線を用いた対応点探索を説明するための図であり、図２（ａ）は、基準画像を示し、図２（ｂ）は、参照画像を示す。

基準画像上の点ＡＰを注目点とし、参照画像中の対応点ＣＰを探索する場合を考える。参照画像中の対応点は、図１を用いて上述したように、参照画像上のエピポーラ線上に存在する。従って、実施形態では、参照画像中のエピポーラ線ＥＰ上の或る点を重心（中心）とするウィンドウＷと、基準画像の注目点ＡＰを重心としたウィンドウであるテンプレートＴとの相関値を算出し、次に、エピポーラ線ＥＰ上の或る点から所定数の画素ずらした点を内包するウィンドウＷとテンプレートＴとの相関値を算出し、更に、所定数の画素ずらした点を内包するウィンドウＷとテンプレートＴとの相関値を算出することを繰り返す（以下、この処理を、「エピポーラ線ＥＰを走査する」という。）。そして、算出された相関値が最も高いウィンドウの重心を対応点ＣＰと決定する。つまり、エピポーラ線ＥＰ上の複数の点（以下、「走査点」という。）それぞれを重心とするウィンドウＷと、基準画像の注目点ＡＰを重心としたウィンドウであるテンプレートＴとの相関値をそれぞれ算出し、算出された相関値が最も高いウィンドウの重心を対応点ＣＰと決定する。図２（ｂ）では、破線及び実線の矩形でウィンドウＷを示し、実線の矩形が対応点ＣＰを内包するウィンドウＷを示す。

この場合の、エピポーラ線ＥＰを走査した結果、つまり、エピポーラ線ＥＰ上の各走査点と注目点ＡＰとの視差と、各走査点を重心とするウィンドウＷとテンプレートＴとの相関値との関係を表したグラフを図２（ｃ）に示す。このグラフでは、横軸に視差を示し、縦軸に一致度（相関値）を示す（図３、図４等のグラフも同様である。）。グラフは、予め設定された所定の視差範囲で作成される。一致度が最も高い点に対応する視差が、対応点ＣＰと注目点ＡＰとの視差となる。

次に、図３を参照して、エピポーラ線と参照画像の模様とが重なる場合を考える。図３（ａ）は、基準画像を示し、図３（ｂ）は、参照画像のうち、基準画像のテンプレートＴを囲む破線で示す部分を拡大した画像を示す。

図３のように、被写体が横向きの縞模様であり、且つ、図３（ｂ）のエピポーラ線ＥＰの方向が横向きとなった場合の、エピポーラ線ＥＰを走査した結果を図３（ｃ）に示す。つまり、参照画像中のエピポーラ線ＥＰ上の各走査点を重心とするウィンドウＷと、基準画像の注目点ＡＰを重心としたテンプレートＴとの相関値をそれぞれ算出した結果を、図３（ｃ）のグラフに示す。図３（ｃ）のグラフは、図２（ｃ）のグラフと同様に、エピポーラ線ＥＰ上の各走査点と注目点ＡＰとの視差を横軸に示し、縦軸に一致度（相関値）を示す。図３（ｃ）のグラフでは、一致度が高い点が多数表れ、対応点ＣＰ決定することができない。

ここで、エピポーラ線は、以下の式で表される。
ｘ_１ ^ＴＦｘ_２＝０
ｘ_１は、図１における基準画像上の注目点Ｘ_Ｌであり、ｘ_２は、参照画像上の対応点Ｘ_Ｒを示す。尚、ｘ_１、ｘ_２は、斉次座標であり、Ｔは転置を示す。Ｆは、３×３の行列（基礎行列）である。基礎行列Ｆは、７点以上の投影点から非線形に計算する方法や、８点以上の投影点から線形解法により求める方法が知られている。また、基礎行列Ｆは、キャリブレーションに用いるカメラパラメータから計算可能である。しかし、これらの計算法による基礎行列Ｆを求めるための計算は、画像ノイズや撮影条件に大きく影響を受けることが知られており、高精度の基礎行列Ｆを求めることは難しい。従って、算出したエピポーラ線ＥＰを用いて探索した対応点（視差）も誤差を含むこととなる。

図４、５を用いて、エピポーラ線の算出誤差が、参照画像の状態によって拡大することについて説明する。

図４（ａ）は、基準画像を示し、図４（ｂ）は、参照画像及び視差と一致度のグラフを示す。基準画像上の注目点ＡＰが、基準画像上の線状の物体上の点であり、参照画像上のエピポーラ線ＥＰは、線状の物体とほぼ直角を成すとする。図４（ｂ）の参照画像中の上側のエピポーラ線ＥＰ´が、算出されたエピポーラ線を示し、下側のエピポーラ線ＥＰが、正しいエピポーラ線を示す。

エピポーラ線ＥＰ、エピポーラ線ＥＰ´それぞれを走査した結果を、図４（ｂ）のグラフとして示す。実線のグラフが、算出されたエピポーラ線ＥＰ´を走査した結果を示し、破線のグラフが、正しいエピポーラ線ＥＰを走査した結果を示す。グラフに示すように、エピポーラ線ＥＰ´を用いて求められた注目点ＡＰと対応点ＣＰ´との視差（横軸の「対応点」で示す。）と、正しいエピポーラ線ＥＰを用いて求められた注目点ＡＰと対応点ＣＰとの視差（横軸の「正解」で示す。）との誤差は非常に少ない。つまり、エピポーラ線ＥＰと参照画像の線状の物体とがほぼ直角に交差している場合は、エピポーラ線ＥＰの算出誤差が視差に及ぶ影響は少ないといえる。

次に、図５のように、エピポーラ線と参照画像の線上の物体との成す角度が小さい場合を考える。図５（ａ）は、基準画像を示し、図５（ｂ）は、参照画像及び視差と一致度のグラフを示す。参照画像上のエピポーラ線ＥＰは、線状の物体とほぼ重なるような角度を成すとする。図５（ｂ）の参照画像中のエピポーラ線ＥＰ´が、算出されたエピポーラ線を示し、エピポーラ線ＥＰが、正しいエピポーラ線を示す。

エピポーラ線ＥＰ、エピポーラ線ＥＰ´それぞれを走査した結果を、図５（ｂ）左側のグラフとして示す。図５（ｂ）のグラフは、内容は図４（ｂ）と同様のグラフであるが、説明の便宜上、図４（ｂ）のグラフを回転させたグラフとしており、視差を縦軸に示し、一致度（相関値）を横軸に示す。実線のグラフが、算出されたエピポーラ線ＥＰ´を走査した結果を示し、破線のグラフが、正しいエピポーラ線ＥＰを走査した結果を示す。グラフに示すように、算出されたエピポーラ線ＥＰ´を用いて求められた注目点ＡＰと対応点ＣＰ´との視差（縦軸の「対応点」で示す。）と、正しいエピポーラ線ＥＰを用いて求められた注目点ＡＰと対応点ＣＰとの視差（縦軸の「正解」で示す。）との誤差は大きくなる。つまり、エピポーラ線ＥＰと参照画像の線状の物体とが重なる場合は、エピポーラ線ＥＰの算出誤差が視差に及ぶ影響は大きいといえる。

図２〜５から、エピポーラ線ＥＰが画像の模様と重なる場合は、対応点の確定が難しくなるだけでなく、対応点を確定できる場合であっても、視差の算出誤差は大きくなることが分かる。

実施形態の視差測定装置１００は、算出したエピポーラ線ＥＰ、言い換えれば、エピポーラ線ＥＰから求める視差の信頼度を簡便に求め、求めた信頼度に基づいて、より高精度の視差を算出するものである。

＜構成＞
図６は、実施形態における視差測定装置１００の構成を示すブロック図である。視差測定装置１００は、撮像部１（画像取得部）、視差・一致度計算部２、信頼度算出部３、選択部４、記憶部５、及び、全体制御部６を備える。尚、図６において、実線矢印は、データの流れを示し、破線矢印は、制御を示す。また、白抜き矢印は、参照画像ごとのデータが流れることを示す。

＜全体制御部６＞
全体制御部６は、撮像部１〜記憶部４の各機能部を制御して、対象物の視差を測定させ、測定された視差を記憶部５に記憶させる。

＜撮像部１＞
撮像部１は、第１のカメラＣ１、第２のカメラＣ２、及び、第３のカメラＣ３を備える。これらの３台のカメラは、互いの光軸を適当な距離だけ離間させて設置され、同一の対象物を同じタイミングで撮影した２次元画像を視差・一致度計算部２に出力する。実施形態では、第２のカメラＣ２が出力する画像を基準画像とし、第１のカメラＣ１及び第３のカメラＣ３が出力する各画像を参照画像とする。

尚、図６では、便宜上、３台のカメラを記載しているが、２台以上のカメラを備えていればよい。

また、撮像部１の各カメラは、カメラパラメータ（画像中心、焦点距離、基準カメラに対する姿勢（回転、並進））が既知とする。カメラパラメータ行列は、以下の式（Ａ）の行列の積を予め計算したものであり、式（Ｂ）に示す。

（式Ａ）

（ｘ，ｙ）は、画像の座標系の座標位置であり、（Ｘ，Ｙ，Ｚ）は、世界座標系の座標位置である。左辺の３つの行列のうち、中央の行列は透視変換行列である。世界座標系原点は、投影中心（レンズの主点）であり、Ｙ軸は、レンズの光軸に並行である。また、画像の中心は、投影中心から下ろした垂線の足であり、アスペクト比は、１．０である。ｆはレンズの焦点距離を示す。左側の行列は、内部パラメータ行列であり、ａはアスペクト比を示し、ｓはスキュー比を示し、（ｔ_ｘ，ｔ_ｙ）は画像の中心を示す。右側の行列は、外部パラメータ行列であり、透視変換行列と世界座標の間に挿入する、同次座標変換行列である。

（式Ｂ）

既知の（Ｘ，Ｙ，Ｚ）と（ｘ，ｙ）の組から、カメラパラメータが求められる。この算出には、例えば、次の文献を参照できる。
“A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000

＜視差・一致度計算部２＞
視差・一致度計算部２は、基準画像中の注目点ＡＰに対する参照画像中のエピポーラ線ＥＰ上を走査（探索）する。詳細には、視差・一致度計算部２は、エピポーラ線ＥＰ上の複数の各走査点と注目点ＡＰとの視差を算出し、また、エピポーラ線ＥＰ上の各走査点を重心とするウィンドウＷと、注目点ＡＰを重心とするテンプレートＴとの一致度を算出し、算出した各走査点の視差と一致度とを信頼度算出部３に出力する。また、視差・一致度計算部２は、算出した一致度が最も高い点の視差（ピーク視差）を選択部４に出力する。

視差は、エピポーラ線ＥＰ上に投影された注目点ＡＰと、無限遠の被写体がエピポーラ線上に投影される点との距離を求め、基線長（カメラ／個眼の主点距離）で正規化したものである。尚、視差は、注目点とエピポーラ線上の走査点で測距を行い、その逆数でもよい（測距方法は実施形態２を参照）。

また、一致度（類似度）は、実施形態では、ＮＣＣ（正規化相互相関：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を用いる。ＮＣＣは、以下の式１を用いて類似度Ｒ_ＮＣＣを算出する。算出された類似度Ｒ_ＮＣＣが１に近い程、似ていることを示す。

（式１）

Ｔ（ｉ，ｊ）は、テンプレートＴの画素の輝度値であり、Ｉ（ｉ，ｊ）は、参照画像のウィンドウＷの画素の輝度値である。座標（ｉ，ｊ）は、テンプレートＴの幅をＭ画素、高さをＮ画素としたとき、テンプレートの左上の座標を（０，０）、右下を（Ｍ−１，Ｎ−１）とする場合の座標である。

尚、ＮＣＣの他、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等を用いて類似度を算出してもよい。ＳＡＤは、以下の式２を用いて算出する。

（式２）

ＳＡＤは、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の絶対値の合計であり、値が小さい程、似ていることになる。

また、ＳＤＤは、以下の式３を用いて算出する。

（式３）

ＳＳＤは、テンプレートをラスタスキャンし、同じ位置の画素の輝度値の差の２乗の合計であり、値が小さい程、似ていることになる。

尚、視差・一致度計算部２は、以下のように、ピーク視差を求めてもよい。参照画像上のエピポーラ線ＥＰの走査の結果のグラフ（図２（ｃ）等参照）に基づいて、グラフの頂点に対応する視差（以下、「ピーク視差」という。）を求める。グラフの頂点は、図８に示すように、頂点付近の３点（黒丸で示す）により２次関数近似を行って求める。つまり、頂点付近の３点以上の点を用いて２次関数を求め、求めた２次関数による曲線の頂点（白丸で示す）を求める。求めた頂点に対応する視差が、そのグラフのピーク視差となる。一致度は、エピポーラ線ＥＰ上の走査点ごとに求めるので、走査点の一致度がピーク視差の一致度であるとは限らない。従って、このように２次関数による近似を行うことで、グラフのピーク視差をより高精度に求めることが可能となる。

尚、１つの参照画像に１つのエピポーラ線ＥＰだけではなく、複数の線を走査する場合は、１つの参照画像について複数のグラフが作成される。図１９に、エピポーラ線ＥＰと、エピポーラ線ＥＰに平行な線ＬＮ１、ＬＮ２を走査した例を示す。エピポーラ線ＥＰの走査結果を一点鎖線のグラフで示し、線ＬＮ１の操作結果を２点鎖線のグラフで示し、線ＬＮ２の走査結果を実線のグラフで示す。このように走査線が複数である場合は、複数のグラフから１つの面形状を作成し（図１９の場合は、１つの凸部を有する形状となる。）、その頂点をピーク視差としてもよい。

＜信頼度算出部３＞
次に、信頼度算出部３は、視差・一致度計算部２から取得した各参照画像上のエピポーラ線ＥＰの走査の結果、つまり、エピポーラ線ＥＰ上の各走査点と注目点ＡＰとの視差と一致度（相関値）との関係を表したグラフ（図２（ｃ）等参照）に基づいて、グラフの頂点に対応するピーク視差の信頼度を求める。エピポーラ線ＥＰは参照画像ごとに求められるので、このグラフは、参照画像ごとに作成されることになる。従って、算出される信頼度は、参照画像の信頼度とも言える。尚、頂点が複数ある場合は、相関値が最も高い視差をピーク視差とする。

グラフのピーク視差の信頼度（参照画像の信頼度）は、以下のようにグラフの形状に基づいて算出する。図７に、３つの参照画像それぞれから作成されたグラフの例、グラフａ、グラフｂ、及び、グラフｃを示す。グラフａ、ｂ、ｃそれぞれのピーク視差を、視差Ｄａ、Ｄｂ、Ｄｃとする。

信頼度算出部３は、ピーク視差の信頼度として、各グラフのピーク視差の中央値（メディアン、中位数）からの距離の逆数を算出する。つまり、信頼度の値が大きい程、信頼度が高くなる。中央値は、グラフの個数（ピーク視差の個数）をｎ個とした場合に、ｎが奇数である場合は、ピーク視差を小さい順に並べた場合の中央にある値であり、ｎが偶数である場合は、ｎ／２番目とｎ／２＋１番目のピーク視差の算術平均を中央値とする。

例えば、図４に示すように、エピポーラ線ＥＰが参照画像の模様と重なっていない場合には、エピポーラ線ＥＰの算出誤差があったとしても、ピーク視差は正解の視差に近いが、図５に示すように、エピポーラ線ＥＰが参照画像の模様と重なった場合には、エピポーラ線ＥＰのわずかな算出誤差が、大きな誤差となって視差に現れる。従って、他のピーク視差と大きく外れたピーク視差は、エピポーラ線ＥＰが参照画像の模様と重なっていると推測できる。つまり、中央値からの距離が大きい程、信頼度は低く、その値は小さく算出される。

例えば、図７において、ピーク視差の中央値は、Ｄｂである。そして、グラフａ、ｂ、ｃのピーク視差Ｄａ、Ｄｂ、Ｄｃそれぞれの信頼度Ｒａ、Ｒｂ、Ｒｃは、以下のようになる。尚、分母の小数点以下は、切り上げとする。
Ｒａ＝１÷｜Ｄａ−Ｄｂ｜
Ｒｂ＝１
Ｒｃ＝１÷｜Ｄｃ−Ｄｂ｜
図７では、視差Ｄａ、視差Ｄｂは中央値に近い為、信頼度は高くなり、Ｒｃの信頼度は低くなる。つまり、Ｒｃの値は、Ｒａ、Ｒｂよりも小さくなる。尚、ピーク視差の中央値の代わりに、全ピーク視差の平均値を用いてもよい。

＜変形例１＞
ピーク視差の信頼度を求める方法は、上述の中央値を用いる方法以外でも良い。変形例１の方法は、ピーク視差の信頼度を、グラフの振幅で表す。言い換えれば、グラフの山の高さで表す。例えば、図９に、グラフａ、ｂ、ｃの振幅を、破線の両端矢印で示す。図３で示すように、グラフの山が低い場合は、エピポーラ線ＥＰが参照画像の模様と重なっていることを示し、対応点ＣＰが確定し難く、ピーク視差の信頼度が低いことを示す。一方、図２で示すように、一致度の高低が大きく（山が高く）、グラフの頂点が明確に表れる場合は、エピポーラ線ＥＰが参照画像の模様と重なっていないことを示し、対応点ＣＰが確定できるので、ピーク視差の信頼度は高いことを示す。つまり、振幅が大きい程、信頼度は高いと判断でき、信頼度の値が大きい程、信頼度が高いことになる。

図９では、グラフａの振幅Ａａ及びグラフｂの振幅Ａｂは、グラフｃの振幅Ａｃよりも大きいので、グラフｃの信頼度Ｒｃは、グラフａの信頼度Ｒａ及びグラフｂの信頼度Ｒｂよりも低くなる。つまり、Ｒｃの値は、Ｒａ、Ｒｂよりも小さくなる。

＜変形例２＞
また、グラフの信頼度を、一致度がグラフの頂点から所定割合以内にある（視差の）幅で表してもよい。言い換えれば、グラフの頂点付近のカーブの曲り度合いに基づいて、信頼度を算出する（点線の楕円部分参照）。この場合は、信頼度を幅の逆数とする。

図３（ｃ）で示すように、グラフのカーブの曲がり方が緩い場合は、対応点ＣＰが確定し難く、ピーク視差の信頼度が低いことを示す。一方、図２（ｃ）で示すように、グラフの頂点付近のカーブの曲り方がきつい場合は、グラフの頂点が明確に表れ、対応点ＣＰが確定できるので、ピーク視差の信頼度は高いことを示す。

例えば、図１０に、各グラフの幅を、破線の両端矢印で示す。グラフｃの幅Ｌｃは、グラフｃの頂点の一致度から、振幅ｃの所定割合（両端矢印ｐ）の間にある視差（横軸）の幅である。同様に、グラフａの幅Ｌａは、グラフａの頂点の一致度から、振幅ａの所定割合の間にある視差（横軸）の幅であり、グラフｂの幅Ｌｂは、グラフｂの頂点の一致度から、振幅ｂの所定割合の間にある視差（横軸）の幅である。

図１０では、グラフａの幅Ｌａ及びグラフｂの幅Ｌｂは、グラフｃの幅Ｌｃよりも小さいので、グラフｃの信頼度Ｒｃは、グラフａの信頼度Ｒａ及びグラフｂの信頼度Ｒｂよりも低くなる。グラフの幅の逆数を信頼度とするので、その値が小さい程、信頼度が低いことになり、Ｒｃの値は、Ｒａ、Ｒｂよりも小さくなる。

尚、１つの参照画像の複数の線を走査する場合には、図１９に示すように１つの参照画像について複数のグラフが作成されるので、複数のグラフから１つの面形状を作成し（図１９の場合は、１つの凸部を有する形状となる。）、その振幅や、３次元形状の頂点付近の幅に基づいて、上記変形例１、２と同様にピーク視差の信頼度を求めてもよい。

＜変形例３＞
変形例２のピーク視差の信頼度を求める方法は、ピーク視差の信頼度を、グラフの山及び谷が横軸の所定幅に含まれる数で表す。図２では、図２（ｃ）のグラフを、説明の便宜上、山が１つのグラフとしているが、参照画像の模様によっては、複数の山を有するグラフとなる。つまり、エピポーラ線ＥＰが参照画像の様々な模様と交差している場合には、複数の山ができる。一方、図３で示すように、エピポーラ線ＥＰが参照画像の縞模様と重なっている場合には、グラフが平坦となり、山ができないか、低い山が少数できることになる。従って、グラフの山の数が多い程、信頼度が高いと判断できることになる。

視差測定装置１００は、上述の何れかの方法を採用してもよく、撮影する対象物や背景等を考慮して、最適な、つまり、参照画像の模様に応じて、より正しい信頼度が求まるような方法を採用すればよい。尚、撮像部１が２台のカメラを備え、１対の基準画像と参照画像を出力する場合は、１つのグラフが作成されるので、変形例１又は変形例２の方法で、信頼度を求めることになる。

＜選択部４＞
次に、図６の選択部４について説明する。選択部４は、視差・一致度計算部２から取得した各参照画像のピーク視差と、信頼度算出部３から取得した各参照画像の信頼度から、対象物までの視差を選択（決定）し、記憶部５に出力する。以下、決定した視差を「測定視差」という。

選択部４は、予め定めた所定の信頼度を上回るピーク視差の平均値を測定視差とする。具体的には、選択部４は、信頼度算出部３から取得した信頼度から、所定の信頼度を上回る参照画像を抽出し、抽出された参照画像のピーク視差の平均値を測定視差とする。信頼度算出部３が算出信頼度は、値が大きい程、信頼度が高いので、選択部４は、所定の信頼度を示す閾値よりも大きい値の信頼度の参照画像を抽出する。

例えば、図７のグラフａ、ｂ、ｃにおいて、グラフｃの信頼度Ｒｃが閾値以下であり、グラフａの信頼度Ｒａ及びグラフｂの信頼度Ｒｂが閾値を超える場合は、測定視差Ｚは以下式で求まる。
Ｚ＝（Ｄａ＋Ｄｂ）÷２

尚、参照画像が１つの場合は、ピーク視差の信頼度が所定の信頼度を上回る場合は、そのピーク視差を記憶部５に出力し、信頼度が所定の信頼度以下の場合は、信頼性が無い旨を記憶部５に出力する。

＜変形例１＞
測定視差の決定方法は、上述のような平均値を用いる方法以外の方法でも良い。変形例１の方法は、信頼度に応じた重み付けを用い、重み付き平均により求めるものである。例えば、図７のグラフａ、ｂ、ｃからは、以下の式を用いて測定視差Ｚを求める。
Ｚ＝（Ｄａ×Ｒａ＋Ｄｂ×Ｒｂ＋Ｄｃ×Ｒｃ）÷（Ｒａ＋Ｒｂ＋Ｒｃ）
尚、Ｒａ、Ｒｂ、Ｒｃは、０〜１に正規化されているものとする。

＜変形例２＞
変形例２の方法は、各グラフを表す関数Ｆに、それぞれのグラフの信頼度に応じた重み付けを用い、重み付き加算により求めた１つの関数（グラフ）から測定視差を求めるものである。

図１１に示すように、上段の図に示す３つのグラフから、下段の図に示す１つのグラフを作成し、作成した１つのグラフから、測定視差Ｚとしてピーク視差Ｄａｌｌを求める。エピポーラ線ＥＰ上の各走査点の視差をｄとし、グラフａを表す関数をＦａ（ｄ）、グラフｂを表す関数をＦｂ（ｄ）、グラフｃを表す関数をＦｃ（ｄ）とする。この場合、下段のグラフを表す関数Ｆａｌｌは、以下のように求まる。
Ｆａｌｌ（ｄ）＝Ｆａ（ｄ）×Ｒａ＋Ｆｂ（ｄ）×Ｒｂ＋Ｆｃ（ｄ）×Ｒｃ
このＦａｌｌ（ｄ）で示されるグラフのピーク視差を、測定視差とする。

＜記憶部５＞
記憶部５は、選択部４が選択（決定）した測定視差を、対象物の視差として記憶する。記憶された視差は、視差を利用する処理、例えば、測距処理を行う為に読み出されることになる。

尚、視差・一致度計算部２〜全体制御部６は、例えば、マイクロプロセッサ、メモリおよびその周辺回路を備えるマイクロコンピュータによって構成され、メモリには、対応点探索を行うためのプログラムや、視差測定装置１００全体を制御するための制御プログラム等の各種のプログラム、プログラムの実行に必要なデータ等の各種のデータが記憶され、いわゆるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であるマイクロプロセッサが、メモリに記憶されているプログラムを実行することにより、各機能部の全部又は一部を実現する。

＜動作＞
次に、実施形態の視差測定装置１００の動作について説明する。

図１２は、対象物の視差を求める処理を示すフローチャートである。

全体制御部６は、インターフェース部（不図示）を介して、視差の測定開始の指示を受け付けると、撮像部１に対象物の撮像画像の出力を指示する。
指示を受けた撮像部１は、第１のカメラＣ１、第２のカメラＣ２、及び、第３のカメラＣ３を制御して、同じタイミングで対象物を撮影させ、撮像画像を視差・一致度計算部２に出力する（ステップＳ１０）。

視差・一致度計算部２は、第２のカメラＣ２が撮影した画像を基準画像として、また、第１のカメラＣ１及び第３のカメラＣ３が撮影した画像を参照画像として取得する（ステップＳ１１）。

そして、視差・一致度計算部２は、基準画像上の対象物の像を注目点ＡＰとし、１つの参照画像上のエピポーラ線ＥＰを算出する（ステップＳ１２）。

次に、視差・一致度計算部２は、ステップＳ１２で算出した参照画像のエピポーラ線ＥＰの走査を行う。具体的には、図２（ｂ）に示すように、エピポーラ線ＥＰ上の走査点と基準画像上の注目点ＡＰとの視差を算出し（ステップＳ１３）、エピポーラ線ＥＰ上の走査点を重心とするウィンドウＷと、注目点ＡＰを重心とするテンプレートＴとの一致度を算出する（ステップＳ１４）。次に、エピポーラ線ＥＰ上の点をずらしてウィンドウＷを設定し（ステップＳ１５：Ｎｏ）、そのウィンドウＷとテンプレートＴについて、視差と一致度とを算出することを繰りかえす。エピポーラ線ＥＰの走査が終了すると（ステップＳ１５：Ｙｅｓ）、視差・一致度計算部２は、算出した視差と一致度とを信頼度算出部３に出力し、算出した一致度が最も高い視差を、ピーク視差として選択部４に出力する。

次に、視差・一致度計算部２は、ステップＳ１２からステップＳ１６の処理、つまり、次の参照画像のエピポーラ線ＥＰの算出を行い（ステップＳ１２）、エピポーラ線ＥＰの走査を行う。

視差・一致度計算部２は、全参照画像のエピポーラ線ＥＰの走査を終了すると（ステップＳ１７：Ｙｅｓ）、その旨を全体制御部６に通知する。

通知を受けた全体制御部６は、信頼度算出部３に各参照画像の信頼度の算出を依頼する。依頼を受けた信頼度算出部３は、上述のように、全参照画像の信頼度を算出し、選択部４に出力する（ステップＳ１８）。

全参照画像の信頼度を取得した信頼度算出部３は、取得した信頼度と選択部４から取得したピーク視差とを用いて、上述のように、測定視差を決定し（ステップＳ１９）、記憶部５に記憶させる（ステップＳ２０）。

＜実施形態２＞
実施形態２では、実施形態１の視差測定装置１００を用いた測距装置２００を説明する。

図１３は、測距装置２００の構成を示すブロック図である。測距装置２００は、視差測定装置１００、距離算出部１１０、及び、表示部１２０を備える。

視差測定装置１００は、実施形態１で説明したように、対象物の視差を算出する。

距離算出部１１０は、視差測定装置１００が算出した視差に基づいて、対象物までの距離を算出する。

表示部１２０は、いわゆるディスプレイであり、距離算出部１１０が算出した距離を表示する。

ここで、距離算出部１１０が行う距離の算出について、図１４を用いて説明する。ここでは、ステレオ法による測距方法を説明する。少なくとも焦点距離ｆ、撮像面（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の画素数、１画素の大きさμが相互に等しい２台のカメラ１、２を用い、所定の基線長Ｌだけ左右に離間させて光軸１ａ，２ａを平行に配置して対象物４を撮影したとき、撮像面１ｂ，２ｂ上の視差（ずれ画素数）がｄ（＝ｄ１＋ｄ２）であると、対象物４までの距離Ｄは、斜線を施して示す三角形が相似であることから、
Ｄ：ｆ＝Ｌ：μ×ｄ
の関係があり、
Ｄ＝（Ｌ×ｆ）／（μ×ｄ）・・・（１）
で求めることができる。

従って、距離算出部１１０は、視差測定装置１００が算出した視差をｄとして、式（１）を用いて、物体までの距離を求める。

＜実施形態３＞
実施形態３では、実施形態１の視差測定装置１００の信頼度算出部３で求めた信頼度を用いて、視差補正を行う撮像装置３００を説明する。ここでの視差補正とは、基準画像と参照画像の視差を用いて、参照画像における対象物の画素位置を、基準画像において対応する対象物の画素位置と合わせることをいう。つまり、基準画像上の対象物の画像と、参照画像における対象物の画像とが互いに一致するように、視差測定装置で求められた参照画像の視差分、どちらかの画素位置を変換することをいう。例えば、基準画像と参照画像とを撮像するカメラそれぞれの光軸が平行である場合には、図２０に示すように、参照画像のエピポーラ線ＥＰはｘ軸と平行になる。実線の矩形を基準画像とし、実線の矢印で基準画像の座標系を示す。また、破線の矩形を参照画像とし、破線の矢印で参照画像の座標系を示す。この場合、視差をｄとした場合に、以下の式（２）を用いて、基準座標の座標系の座標位置（ｘ_ｂ，ｙ_ｂ）を、視差ｄ分ずらして、参照画像の各画素の座標位置（ｘ_ｒ，ｙ_ｒ）に変換する。
（ｘ_ｒ，ｙ_ｒ）＝（ｘ_ｂ＋ｄ，ｙ_ｂ） ・・・（２）
図２０の白抜き矢印の下の図で示すように、参照画像が視差ｄ分ずれて、基準画像の座標系に変換される。尚、見易さの観点から、参照画像と基準画像は、Ｙ方向に若干ずらして記載している。

撮像装置３００は、それぞれ単色の基準画像と参照画像とを重ねあわせて、カラーの合成画像を生成する。この際、視差を用いて、参照画像の座標を基準画像に合わせて、各画素の色を決定する。例えば、基準画像の或る画素の色成分を求める場合、上述の式（２）を用いて求めた参照画像の座標位置の画素の色成分を参照する。このようにすることで、色ずれの無いカラー画像が作成できる。

以下、撮像装置３００を、図を用いて説明する。

撮像装置３００が、視差測定装置１００と異なる点は、撮像部１ａがカメラに代えて撮像ユニット１９を備える点と、選択部４に代えて視差補正部４ａを備える点である。従って、撮像部１ａと、視差補正部４ａを説明する。

撮像部１ａは、撮像ユニット１９を備え、撮影された画像を視差・一致度計算部２に出力する。撮像ユニット１９の例を、図１６、１７を用いて説明する。

図１６、図１７に示すように、撮像ユニット１９は、複数の撮像部１１と、複数の撮像部１１それぞれに対応して設けられる複数の撮像光学系１３とを備える。また、図１７に示すように、複数の撮像部１１それぞれに対応して、フィルタ部１２が撮像部１１の受光面の入射光側に備えられている。

複数の撮像光学系１３は、それぞれ、撮像光学系１３に対応する撮像部１１の受光面に被写体の光学像を結像する光学素子である。１個の撮像光学系１３は、その光軸に沿って１または複数の光学レンズを備える。複数の撮像光学系１３は、この図において、各光軸が互いに略平行となるように配列される。従って、複数の撮像光学系１３を介して被写体の光学像をそれぞれ撮像する複数の撮像部１１は、略同じ被写体を写した画像信号を生成することになる。図１６に示す例では、複数の撮像光学系１３は、複数の撮像部１１に対応して２次元マトリクス状に配列されている。図１６には、例として、３行３列に２次元マトリクス状に配列された９個の撮像光学系１３−１１〜１３−３３が示されている。光軸に関し、必ずしも全ての撮像光学系１３が平行である必要はない。

複数の撮像部１１は、それぞれ、撮像光学系１３によって受光面に結像された被写体の光学像を撮像して画像信号を出力する。複数の撮像部１１は、複数の撮像光学系１３に対応し、各撮像面が互いに同一平面となるように配列される。図１７に示す例では、複数の撮像部１１は２次元マトリクス状に配列されている。図１７には、例として、３行３列に２次元マトリクス状に配列された９個の撮像部１１−１１〜１１−３３が示されている。２次元マトリクス状における１行１列の位置に配置された撮像部１１−１１には、２次元マトリクス状における同じ１行１列の位置に配置された撮像光学系１３−１１が対応し、２次元マトリクス状における１行２列の位置に配置された撮像部１１−１２には、２次元マトリクス状における同じ１行２列の位置に配置された撮像光学系１３−１２が対応し、このように２次元マトリクス状における同じ行数（ｎ）および列数（ｍ）の位置に配置された撮像部１１−ｎｍと撮像光学系１３−ｎｍとが互いに対応している（ｎ、ｍは正の整数）。

複数のフィルタ部１２は、それぞれ、入射した光のうち所定の波長範囲の光を透過する光学フィルタ素子である。複数のフィルタ部１２は、複数の撮像部１１に対応し、撮像面の光の入射側に配置される。本実施形態では、撮像光学系１３と撮像部１１との間にフィルタ部１２が配置される。すなわち、フィルタ部１２は、撮像光学系１３の像面側に配置される。尚、フィルタ部１２は、フィルタ部１２−２１が第１赤色フィルタＲ１、フィルタ部１２−２３が第２赤色フィルタＲ２、フィルタ部１２−１２が第１青色フィルタＢ１、フィルタ部１２−３２が、第２青色フィルタＢ２、フィルタ部１２−２２が第０緑フィルタＧ０、フィルタ部１２−１１が第１緑色フィルタＧ１、フィルタ部１２−３１が第３緑フィルタＧ３、フィルタ部１２−３３が、第４緑色フィルタＧ４が配置される。

赤色フィルタは、赤色の波長帯域の光を透過するフィルタであり、緑色フィルタは、緑色の波長帯域の光を透過するフィルタであり、そして、青色フィルタは、青色の波長帯域の光を透過するフィルタである。尚、複数のフィルタ部１２は、図１８に示す態様に限定されるものではなく、他の態様であってもよい。

従って、撮像部１ａは、撮像ユニット１９の撮像部１１それぞれから出力される画像、つまり９つの画像を、視差・一致度計算部２、及び、視差補正部４ａに出力する。撮像部１ａが出力した画像は、図１８に示すような９つの画像となる。図１８において、例えば、「Ｇ１」と記載された矩形は、第１緑色フィルタＧ１が設置された撮像部１１−１１が出力した画像を示す。従って、「Ｇ１」と記載された画像は、Ｇ成分で構成された画像となる。他の矩形も同様である。以下、第１赤色フィルタＲ１を介して撮影された画像を画像Ｒ１、第２赤色フィルタＲ２を介して撮影された画像を画像Ｒ２等というものとする。

視差・一致度計算部２は、第０緑フィルタＧ０を介して撮影された画像Ｇ０を基準画像とし、他の８つの画像を参照画像とする。そして、視差・一致度計算部２は、実施形態１における処理と同様に、参照画像それぞれのエピポーラ線ＥＰを算出し、エピポーラ線ＥＰを走査して算出した視差と一致度とを信頼度算出部３に出力し、また、算出した一致度が最も高い視差を、ピーク視差として視差補正部４ａに出力する。尚、ＲＧＢのうち、ＲとＧ、ＧとＲは、波長が近いため、画像同士で相関があり、色が異なる画像でも対応点探索は可能である。

視差補正部４ａは、画像Ｇ０の各画素のＲＧＢの値を、各参照画像において視差分シフトさせた座標位置の画素（以下、「対応画素」という。）の色成分を用いて決定する。参照画像内における注目点ＡＰの座標位置から、視差分シフトさせた点が対応点ＣＰとなるからである。

視差補正部４ａは、信頼度算出部３から取得した信頼度から、予め定めた所定の信頼度を上回る参照画像を抽出し、抽出した参照画像内の対応画素の色成分の平均値を、画像Ｇ０の色成分とする。

例えば、画像Ｇ０の注目点ＡＰ（画素）のＲ成分（赤色成分）は、参照画像Ｒ１上の対応点ＣＰ（対応画素）のＲ成分と、参照画像Ｒ２上の対応点ＣＰ（対応画素）のＲ成分とから求める。視差補正部４ａは、参照画像Ｒ１の信頼度と、参照画像Ｒ２の信頼度のうち、信頼度が閾値を上回る参照画像の対応点ＣＰのＲ成分の平均値を採用する。

視差補正部４ａは、このように、画像Ｇ０の各画素のＲ成分を画像Ｒ１、Ｒ２から決定し、Ｇ成分（緑色成分）を画像Ｇ０、Ｇ１、Ｇ２、Ｇ３、Ｇ４から決定し、Ｂ成分（青色成分）を画像Ｂ１、Ｂ２から決定する。そして、決定されたＲＧＢの値の画像を合成画像として、記憶部５に記憶する。

＜変形例１＞
画像Ｇ０の色成分の決定方法は、上述のような平均値を用いる方法以外の方法でも良い。変形例１の方法は、信頼度に応じた重み付けを用い、重み付き平均により求めるものである。例えば、参照画像Ｒ１の対応点ＣＰの色成分をＲ_Ｒ１、信頼度Ｑ_Ｒ１とし、参照画像Ｒ２の対応点ＣＰの色成分をＲ_Ｒ２、信頼度Ｑ_Ｒ２とする場合、以下の式を用いて画像Ｇ０の色成分Ｒ_Ｇ０を求める。
Ｒ_Ｇ０＝（Ｑ_Ｒ１×Ｒ_Ｒ１＋Ｑ_Ｒ２×Ｒ_Ｒ２）÷（Ｒ_Ｒ１＋Ｒ_Ｒ２）
尚、Ｑ_Ｒ１、Ｑ_Ｒ２は、０〜１に正規化されているものとする。

＜補足＞
実施形態では、１本のエピポーラ線ＥＰを走査する場合を説明したが、エピポーラ線に平行、又は、所定角度の線上を走査することとしてもよく、これらのうちの複数の線を走査することとしてもよい。また、参照画像の平行化処理を行うことで探索方向を１方向に限定してもよい。平行化に関しては、次の文献を参照できる。
N. Ayache, Artifcial Vision for Mobile Robots: Stereo Vision and Multisensory Perception, MIT Press, Cambridge, MA, U.S.A., 1991
N. Ayache and F. Lustman, Trinocular stereo vision for robotics, IEEE Trans. Pattern Anal. Mach. Intell., 13-1(1991-1), 73-85.
また、実施形態では、グラフを曲線のグラフとしているが、折れ線グラフ、棒グラフ等であってもよい。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

１ １ａ 撮像部
２ 視差・一致度計算部
３ 信頼度算出部
４ 選択部
４ａ 視差補正部
５ 記憶部
６ 全体制御部
１００ 視差測定装置
２００ 測距装置
３００ 撮像装置

Claims (13)

1. 同一の対象物が撮像された基準画像と参照画像とを取得する画像取得部と、
   前記基準画像上の注目点に対応する前記参照画像上の対応点を通ると推定される所定の線上の複数の走査点それぞれについて、前記注目点との視差と、前記走査点を含むウィンドウと前記注目点を含むウィンドウとの相関の度合いを示す一致度とを算出する一致度算出部と、
   前記参照画像について、前記一致度算出部が算出した視差及び一致度に基づいて、前記一致度算出部が算出した一致度のうち、最も高い一致度に対応する前記視差であるピーク視差に対する確からしさを示す信頼度を算出する信頼度算出部と
   を備えることを特徴とする視差測定装置。
2. 前記信頼度算出部は、前記一致度算出部が算出した視差を横軸に、前記一致度算出部が算出した視差それぞれに対応する一致度を縦軸とするグラフの形状に基づいて前記信頼度を算出する
   ことを特徴とする請求項１に記載の視差測定装置。
3. 前記信頼度算出部は、前記グラフの山の高さが大きい程、確からしさの度合いが高くなるように信頼度を算出する
   ことを特徴とする請求項２に記載の視差測定装置。
4. 前記信頼度算出部は、前記グラフの山における頂点付近のカーブが緩い程、確からしさの度合いが低くなるように信頼度を算出する
   ことを特徴とする請求項２に記載の視差測定装置。
5. 前記信頼度算出部は、前記グラフの山及び谷が横軸の所定幅内に含まれる数が多い程、確からしさの度合いが高くなるように信頼度を算出する
   ことを特徴とする請求項２に記載の視差測定装置。
6. 前記参照画像は、複数であり、
   前記信頼度算出部は、前記一致度算出部が算出した各参照画像のピーク視差の中央値を求め、各ピーク視差と前記中央値との差の逆数を、各ピーク視差の信頼度として算出する
   ことを特徴とする請求項１に記載の視差測定装置。
7. 前記信頼度算出部が算出した前記ピーク視差の信頼度に基づいて、前記対象物に対する視差を算出する選択部を、更に備え、
   前記選択部は、前記ピーク視差の信頼度が示す確からしさが、所定の度合いよりも高い当該ピーク視差を用いて、前記対象物に対する視差を算出する
   ことを特徴とする請求項１〜６のいずれか一項に記載の視差測定装置。
8. 前記信頼度算出部が算出した前記ピーク視差の信頼度に基づいて、前記対象物に対する視差を算出する選択部を、更に備え、
   前記参照画像は、複数であり、
   前記選択部は、各参照画像のピーク視差に対して、各ピーク視差の信頼度に応じた重み付けを行い、重み付けを行ったピーク視差の平均を、前記対象物に対する視差として算出する
   ことを特徴とする請求項１〜６のいずれか一項に記載の視差測定装置。
9. 前記信頼度算出部が算出した前記ピーク視差の信頼度に基づいて、前記対象物に対する視差を算出する選択部を、更に備え、
   前記参照画像は、複数であり、
   前記選択部は、各参照画像について、前記一致度算出部が算出した視差と一致度との関係を示す関数を求め、各参照画像のピーク視差の信頼度に応じた重み付けを各関数に行い、重み付けを行った各関数を加算して１つの合成関数を作成し、当該合成関数に基づいて、前記対象物に対する視差を算出する
   ことを特徴とする請求項１〜６のいずれか一項に記載の視差測定装置。
10. 前記所定の線とは、エピポーラ線である
    ことを特徴とする請求項１〜９のいずれか一項に記載の視差測定装置。
11. 請求項１〜１０のいずれか一項に記載の視差測定装置と、
    前記視差測定装置で求められた視差を用いて、前記対象物までの距離を算出する測距部と
    を備えることを特徴とする測距装置。
12. 請求項１〜１０のいずれか一項に記載の視差測定装置と、
    前記基準画像上の前記対象物の画像と、前記参照画像における前記対象物の画像とが互いに一致するように、前記視差測定装置で求められた前記参照画像の視差分、何れかの画素位置を変換する視差補正部と
    を備えることを特徴とする撮像装置。
13. 視差測定装置で用いられる視差測定方法であって、
    同一の対象物が撮像された基準画像と参照画像とを取得する画像取得ステップと、
    前記基準画像上の注目点に対応する前記参照画像上の対応点を通ると推定される所定の線上の複数の走査点それぞれについて、前記注目点との視差と、前記走査点を含むウィンドウと前記注目点を含むウィンドウとの相関の度合いを示す一致度とを算出する一致度算出ステップと、
    前記参照画像について、前記一致度算出ステップで算出した視差及び一致度に基づいて、前記一致度算出ステップで算出した一致度のうち、最も高い一致度に対応する前記視差であるピーク視差に対する確からしさを示す信頼度を算出する信頼度算出ステップと
    を備えることを特徴とする視差測定方法。