JP2015187834A - 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム - Google Patents

Abstract

【課題】測距処理の負荷、及び測距処理のメモリ使用量を抑えて、テクスチャが大きく異なる被写体の境界部分の距離を正確に測距する。【解決手段】基準画像における基準領域と、比較画像における、基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、の一致度を算出する算出手段と、算出手段により算出された、基準画像における所定の基準領域の周辺の基準領域の一致度と、基準画像における所定の基準領域の一致度と、を合成する合成手段と、合成手段により合成された一致度に基づいて、所定の基準領域において撮像されている対象の視差値を導出する導出手段と、を備え、合成手段は、所定の基準領域に隣接する基準領域の輝度値と所定の基準領域の輝度値との変化量に基づいて、所定の基準領域の一致度への所定の基準領域に隣接する基準領域の一致度の合成を禁止または抑制することを特徴とする。【選択図】図１４

Description

本発明は、視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラムに関する。

従来から、ステレオ画像法によって、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、三角測量の原理に基づき、ステレオカメラから物体までの距離を測定する測距方法が知られている。この測距方法により、例えば、自動車間の距離や、自動車と障害物間の距離が測定され、自動車の衝突防止に役立てている。

また、視差値の求め方としては、ステレオマッチング処理が用いられている。このステレオマッチング処理は、ステレオカメラの２つのカメラのうち、一方のカメラによって得られた基準画像内の注目する基準画素に対して、他方のカメラによって得られた比較画像内の複数の対応画素の候補を順次シフトしながら、画像信号が最も類似する画素である対応画素の位置を求めることで、基準画像と比較画像の間の視差値を検出する。一般的には、２つのカメラによって得られた画像信号の輝度値を比較することで、比較する輝度値のコスト値（Ｃｏｓｔ：ここでは「非類似度」）が最も低い画素の位置が求められる。ステレオマッチング処理としては、ブロックマッチング法等が知られている（例えば、特許文献１参照）。

ところが、物体の輝度変化量を示すテクスチャが弱く、抽出すべき特徴が乏しい領域では、ブロックマッチング法では十分な視差値を得ることができない。

非特許文献１には、テクスチャが弱くその領域だけでは十分な２画像間のコスト値（非類似度）が得られないような領域（座標）に対しても、その周辺の領域のコスト値を集約（Ａｇｇｒｅｇａｔｉｏｎ）することにより、視差検出を行うことができるＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法が示されている。一方で、コスト値を集約することにより、テクスチャが大きく異なる被写体の境界部分に誤測距が現れ、実際の被写体の大きさに対して測距結果が膨張したり収縮したりしてしまうという課題があった。測距結果を適用するアプリケーションによっては、上記の様な膨張が問題になる場合がある。例えば、車載ステレオカメラで先行する車両を測距し、自動回避を行わせる様な場合には、実際の車両の大きさよりも大きな車両を認識してしまい、不要な回避制御を行ってしまうという問題に結びつく。

そこで、上記課題に対し、特許文献２では、一旦集約処理（累積加算コストを求める処理）を行った後に、再度コスト値をスキャンして各方向の優先順位を求め、該優先順位に基づいて得られたコスト値を修正する方式が示されている。

しかしながら、測距処理の負荷、及び測距処理のメモリ使用量を抑えて、テクスチャが大きく異なる被写体の境界部分の距離を正確に測距することができなかった。

本発明は、上記に鑑みてなされたものであって、測距処理の負荷、及び測距処理のメモリ使用量を抑えて、テクスチャが大きく異なる被写体の境界部分の距離を正確に測距することができる視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラムを提供することを目的とする。

上述の課題を解決するため、請求項１に係る発明は、第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、の一致度を算出する算出手段と、前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記基準画像における前記所定の基準領域の一致度と、を合成する合成手段と、前記合成手段により合成された一致度に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、を備え、前記合成手段は、所定の基準領域に隣接する基準領域の輝度値と前記所定の基準領域の輝度値との変化量に基づいて、前記所定の基準領域の一致度への前記所定の基準領域に隣接する基準領域の一致度の合成を禁止または抑制することを特徴とする。

本発明によれば、測距処理の負荷、及び測距処理のメモリ使用量を抑えて、テクスチャが大きく異なる被写体の境界部分の距離を正確に測距することができる。

撮像装置から物体までの距離を導き出す原理の説明図である。 （ａ）は基準画像、（ｂ）は（ａ）に対する高密度視差画像、（ｃ）は（ａ）に対するエッジ視差画像を示す概念図である。 （ａ）は基準画像における基準画素を示す概念図、（ｂ）は（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながらシフト量を算出する際の概念図である。 シフト量毎のコスト値を示すグラフである。 合成コスト値を導き出すための概念図である。 視差値毎の合成コスト値を示すグラフである。 （ａ）は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、（ｂ）は自動車の正面を示す概略図である。 物体認識システムの概観図である。 物体認識システムの全体のハードウェア構成図である。 テクスチャが大きく異なる領域の境界付近の画素の例を示す図である。 図１０の画素のコスト値及び経路コスト値の例を示す図である。 図１０の画素のコスト値及び経路コスト値の例を示す図である。 図１０の画素のコスト値及び経路コスト値の例を示す図である。 実施形態の視差値導出装置の主要部の機能ブロック図である。 基準画像の例（ａ）、及び基準画像（ａ）のエッジを示すエッジ情報の例（ｂ）を示す図である。 実施形態の視差値生産方法を示すフローチャートである。 実施形態の視差値導出装置により得られた視差画像の例と、従来のＳＧＭ法により得られた視差画像の例と、を示す図である。 実施形態の変形例４の画素情報の例を示す図である。 本実施形態に係る機器制御システムを車両に搭載した例を示す図である。

以下、図面を用いて、本発明の一実施形態について説明する。

［ＳＧＭ法を用いた測距方法の概略］
まず、図１乃至図６を用いて、ＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法を用いた測距方法の概略について説明する。なお、ＳＧＭ法に関しては、非特許文献（Ａｃｃｕｒａｔｅ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｓｔｅｒｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ａｎｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）に開示されているため、以下では概略を説明する。

（測距の原理）
図１を用いて、ステレオ画像法により、ステレオカメラから物体に対する視差を導き出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、図１は、撮像装置から物体までの距離を導き出す原理の説明図である。また、以下では、説明を簡略化するため、複数の画素からなる所定領域ではなく、一画素単位で説明する。なお、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。

＜視差値算出＞
まず、図１で示される撮像装置１０ａおよび撮像装置１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。なお、図１では、撮像装置１０ａおよび撮像装置１０ｂが平行等位に設置されているものとする。図１において、３次元空間内の物体Ｅ上の点Ｓは、撮像装置１０ａおよび撮像装置１０ｂの同一水平線上の位置に写像される。すなわち、各画像中の点Ｓは、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）および比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）において撮像される。このとき、視差値Δは、撮像装置１０ａ上の座標における点Ｓａ（ｘ，ｙ）と撮像装置１０ｂ上の座標における点Ｓｂ（Ｘ，ｙ）とを用いて、（式１）のように表される。

Δ＝Ｘ−ｘ （式１）

ここで、図１のような場合には、基準画像Ｉａ中の点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａにし、比較画像Ｉｂ中の点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値Δ＝Δａ＋Δｂとなる。

＜距離算出＞
また、視差値Δを用いることで、撮像装置１０ａ、１０ｂと物体Ｅとの間の距離Ｚを導き出すことができる。具体的には、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを含む面から物体Ｅ上の特定点Ｓまでの距離である。図１に示されるように、撮像レンズ１１ａおよび撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、および視差値Δを用いて、（式２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／Δ （式２）

この（式２）により、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなる。

（ＳＧＭ法）
続いて、図２乃至図６を用いて、ＳＧＭ法を用いた測距方法について説明する。なお、図２（ａ）は基準画像、図２（ｂ）は（ａ）に対する高密度視差画像、図２（ｃ）は（ａ）に対するエッジ視差画像を示す概念図である。ここで、基準画像は、物体が輝度によって示された画像である。高密度視差画像は、ＳＧＭ法によって、基準画像から導き出された画像であり、基準画像の各座標における視差値を示した画像である。エッジ視差画像は、従来から用いられているブロックマッチング法によって導き出された画像であり、基準画像のエッジ部のような比較的テクスチャの強い部分のみの視差値を示した画像である。

ＳＧＭ法は、テクスチャが弱い物体に対しても適切に上記視差値を導き出す方法であり、図２（ａ）に示されている基準画像に基づいて、図２（ｂ）に示されている高密度視差画像を導き出す方法である。なお、ブロックマッチング法を用いた場合には、図２（ａ）に示されている基準画像に基づいて、図２（ｃ）に示されているエッジ視差画像が導き出される。図２（ｂ）および図２（ｃ）における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等の詳細な情報を表すことができるため、より詳細な測距を行うことができる。

このＳＧＭ法は、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、さらに、合成非類似度である合成コスト値（Ｓｙｎｔｈｅｓｉｓ Ｃｏｓｔ）を算出することで視差値を導出し、最終的にほぼ全ての画素における視差値を示す視差画像（ここでは、高密度視差画像）を導き出す方法である。なお、ブロックマッチング法の場合は、コスト値を算出する点はＳＧＭ法と同じであるが、ＳＧＭ法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみを導出する。

＜コスト値の算出＞
まず、図３および図４を用いて、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。図３（ａ）は基準画像における基準画素を示す概念図、図３（ｂ）は（ａ）の基準画素に対して比較画像における対応画素の候補を順次シフトしながら（ずらしながら）コスト値を算出する際の概念図である。図４は、シフト量毎のコスト値を示すグラフである。ここで、対応画素は、基準画像内の基準画素に最も類似する比較画像内の画素である。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図３（ａ）に示されているように、基準画像内の所定の基準画素ｐ（ｘ，ｙ）と、この基準画素ｐ（ｘ，ｙ）に対する比較画像内におけるエピポーラ線（Ｅｐｉｐｏｌａｒ
Ｌｉｎｅ）ＥＬ上の複数の対応画素の候補ｑ（ｘ＋ｄ，ｙ）との各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する各対応画素の候補ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと対応画素の候補ｑのシフト量（ずれ量）であり、本実施形態では、画素単位のシフト量が表されている。すなわち、図３では、対応画素の候補ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、対応画素の候補ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。コスト値Ｃの算出方法としては、コスト値Ｃが非類似度を示す場合、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の公知の方法が適用される。

このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、図４に示されているように、シフト量ｄ毎のコスト値Ｃの集まりであるコスト曲線のグラフによって表すことができる。図４では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が０（ゼロ）となるため、最小値を求めることができない。このように、テクスチャが弱い物体の場合には、コスト値Ｃの最小値を求めることは困難になる。

＜合成コスト値の算出＞
次に、図５および図６を用いて、合成コスト値Ｌｓ（ｐ，ｄ）の算出方法について説明する。図５は、合成コスト値を導き出すための概念図である。図６は、視差値毎の合成コスト値を示す合成コスト曲線のグラフである。

本実施形態における合成コスト値の算出方法は、コスト値Ｃ（ｐ，ｄ）の算出だけでなく、所定の基準画素ｐ（ｘ，ｙ）の周辺の画素を基準画素とした場合のコスト値を、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃ（ｐ，ｄ）に集約させて、合成コスト値Ｌｓ（ｐ，ｄ）を算出する。

次に、合成コスト値の算出方法について、より詳細に説明する。合成コスト値Ｌｓ（ｐ，ｄ）を算出するためには、まず、経路コスト値Ｌｒ（ｐ，ｄ）を算出する必要がある。（式３）は、経路コスト値Ｌｒ（ｐ，ｄ）を算出するための式であり、（式４）は、合成コスト値Ｌｓを算出するための式である。

Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，Ｌｒｍｉｎ（ｐ−ｒ）＋Ｐ２｝ （式３）

ここで、（式３）において、ｒは、集約方向の方向ベクトルを示し、ｘ方向およびｙ方向の２成分を有する。ｍｉｎ｛｝は、最小値を求める関数である。Ｌｒｍｉｎ（ｐ−ｒ）は、ｐをｒ方向に１画素シフトした座標において、シフト量ｄを変化させた際のＬｒ（ｐ−ｒ，ｄ）の最小値を示す。

なお、経路コスト値Ｌｒは、（式３）に示されているように再帰的に適用される。また、Ｐ１およびＰ２は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値Δが連続になりやすいようなパラメータになっている。例えば、Ｐ１＝４８、Ｐ２＝９６である。

また、（式３）に示されているように、経路コスト値Ｌｒ（ｐ，ｄ）は、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃに、図５に示されているｒ方向の各画素における各画素の経路コスト値Ｌｒの最小値を加算することで求められる。このように、ｒ方向の各画素における経路コスト値Ｌｒを求めるため、最初は、基準画素ｐ（ｘ，ｙ）のｒ方向の一番端の画素から経路コスト値Ｌｒが求められ、ｒ方向に沿って経路コスト値Ｌｒが求められる。そして、図５に示されているように、８方向のＬｒ_０、Ｌｒ_４５、Ｌｒ_９０、Ｌｒ_１３５、Ｌｒ_１８０、Ｌｒ_２２５、Ｌｒ_２７０、Ｌｒ_３１５が求められ、最終的に（式４）に基づいて、合成コスト値Ｌｓが求められる。

このようにして算出された合成コスト値Ｌｓ（ｐ，ｄ）は、図６に示されているように、シフト量ｄ毎に合成コスト値Ｌｓ（ｐ，ｄ）が示される合成コスト曲線のグラフによって表すことができる。図６では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値Δ＝３として算出される。なお、上記説明ではｒの数を８として説明しているが、これに限られることはない。例えば、８方向を更に２つに分割して１６方向、３つに分割して２４方向等にしてもよい。また、コスト値Ｃは「非類似度」として示されているが、非類似度の逆数としての「類似度」として表されてもよい。この場合、コスト値Ｃの算出方法としては、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）等の公知の方法が適用される。また、この場合、合成コスト値Ｌｓが最小ではなく「最大」となる視差値Δが導出される。なお、非類似度と類似度の両者を含めて、「一致度」として表してもよい。

［本実施形態の具体的な説明］
以下、図面を用いて、本実施形態の具体的な説明を行う。ここでは、自動車に搭載される物体認識システム１について説明する。なお、物体認識システム１は、車両の一例としての自動車だけでなく、車両の他の例として、バイク、自転車、車椅子、農業用の耕運機等に搭載されることができてもよい。また、移動体の一例としての車両だけでなく、移動体の他の例として、ロボット等に搭載されることができてもよい。さらに、ロボットは、移動体だけでなく、ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）において固定設置される工業用ロボット等の装置であってもよい。また、固定設置される装置としては、ロボットだけでなく、防犯用の監視カメラであってもよい。

（実施形態の構成）
まず、図７乃至図９を用いて、本実施形態の全体構成について説明する。

＜外観構成＞
図７および図８を用いて、本実施形態の物体認識システム１の外観構成を説明する。なお、図７（ａ）は本発明の一実施形態に係る物体認識システムを搭載した自動車の側面を表す概略図、図７（ｂ）は自動車の正面を示す概略図である。図８は、物体認識システムの概観図である。

図７（ａ）、（ｂ）に示されているように、本実施形態の物体認識システム１は、撮像装置１０ａ（第１撮像手段）および撮像装置１０ｂ（第２撮像手段）を備えており、撮像装置１０ａおよび撮像装置１０ｂは、自動車の進行方向前方の光景を撮像することができるように設置（第１の撮像位置、第２の撮像位置）される。また、図８に示されているように、物体認識システム１は、本体部２と、本体部２に対して設けられた一対の円筒状の撮像装置１０ａおよび撮像装置１０ｂとによって構成されている。

＜全体のハードウェア構成＞
次に、図９を用いて、物体認識システム１の全体のハードウェア構成について説明する。なお、図９は、物体認識システムの全体のハードウェア構成図である。

図９に示されているように、物体認識システム１は、本体部２において、視差値導出装置３および物体認識装置５を備えている。

このうち、視差値導出装置３は、物体Ｅを撮像して得られた複数の画像から、物体Ｅに対する視差を示す視差値Δを導出し、各画素における視差値Δを示す高密度視差画像を出力する。物体認識装置５は、視差値導出装置３から出力された高密度視差画像に基づいて、撮像装置１０ａ、１０ｂから物体Ｅまでの距離を測定する等の処理を行なう。

ここで、まずは、視差値導出装置３のハードウェア構成について説明する。図９に示されているように、視差値導出装置３は、撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、および画像処理装置３０を備えている。

撮像装置１０ａは、前方の光景を撮像して画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、および画像センサ１３ａを備えている。

撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて物体の像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａおよび絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等によって実現される。

なお、撮像装置１０ｂは、撮像装置１０ａと同じ構成を備えているため、撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、それぞれのレンズ面が互いに同一平面内になるように設置されている。

また、信号変換装置２０ａは、撮像された画像を表すアナログ信号をデジタル形式の画像データに変換するものであり、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２１ａ、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）２２ａ、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２３ａ、およびフレームメモリ２４ａを備えている。

ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。

同様に、信号変換装置２０ｂは、撮像装置１０ｂによって変換されたアナログの画像信号から画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、およびフレームメモリ２４ｂを備えている。

なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、およびフレームメモリ２４ｂは、それぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、およびフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。

さらに、画像処理装置３０は、信号変換装置２０ａおよび信号変換装置２０ｂによって変換された画像データを処理するための装置である。この画像処理装置３０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５および上記各構成要素３１〜３５を図９に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３９を備えている。

このうち、ＦＰＧＡ３１は、集積回路であり、ここでは、ＣＰＵ３２の命令に従って、画像データが表す画像における視差値Δを算出する処理を行う。ＣＰＵ３２は、視差値導出装置３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出装置３の各機能を制御するために実行される画像処理用プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、物体認識装置５における後述Ｉ／Ｆ５５とアドレスバスやデータバス等のバスライン４を介して通信するためのインターフェースである。

続いて、物体認識装置５のハードウェア構成について説明する。図９に示されているように、物体認識装置５は、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ） Ｉ／Ｆ５８および上記各構成要素５１〜５５、５８を図９に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５９を備えている。

このうち、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５、およびバスライン５９は、それぞれ画像処理装置３０におけるＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、Ｉ／Ｆ３５、およびバスライン３９と同様の構成であるため、説明を省略する。なお、Ｉ／Ｆ５５は、画像処理装置３０におけるＩ／Ｆ３５とバスライン４を介して通信するためのインターフェースである。また、ＲＯＭ５３は、ＣＰＵ５２が物体認識装置５の各機能を制御するために実行される物体認識用プログラムを記憶している。ＣＡＮ Ｉ／Ｆ５８は、外部コントローラ等と通信するためのインターフェースであり、例えば、自動車のＣＡＮ等に接続されることができる。

このような構成により、画像処理装置３０のＩ／Ｆ３５からバスライン４を介して物体認識装置５に高密度視差画像が送信されると、物体認識装置５におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、撮像装置１０ａ、１０ｂと物体Ｅとの間の距離Ｚを算出する。

なお、物体認識装置５におけるＣＰＵ５２の命令によってＦＰＧＡ５１が距離Ｚを算出せずに、画像処理装置３０のＣＰＵ３２の命令によってＦＰＧＡ３１が距離Ｚを算出してもよい。

また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ)等である。

（エッジ付近の領域の視差値の算出）
次に、図１０〜図１３を用いて、エッジ付近の領域の視差値の算出について説明する。なお、以降においては、（式３）に代えて以下の（式３’）を基本にして説明する。
Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）
＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）
＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，
Ｌｒｍｉｎ（ｐ−ｒ）＋Ｐ２｝−Ｌｒｍｉｎ（ｐ−ｒ） （式３’）

これは、（式３）の右辺からＬｒｍｉｎ（ｐ−ｒ）を減算したものであり、（式３）と比較してハードウェアの実装上で優位となる。

図１０は、テクスチャが大きく異なる領域の境界付近の画素の例を示す図である。領域５１は、テクスチャが強い領域を示す。領域５２は、テクスチャが弱い領域を示す。画素５３、画素５４、及び画素５５は、同じ水平線上に並んでいる。画素５３は、領域５１と領域５２との境界に近い領域５１の位置にある。画素５４は、領域５１と領域５２との境界に近い領域５２の位置にある。画素５５は、領域５１と領域５２との境界から十分に離れた領域５２の位置にある。図１０の矢印は、水平方向、左から右（図５のｒ_０方向）に経路コストＬｒを算出する場合を示す。

図１１は、図１０の画素５３のコスト値Ｃ（ｐ，ｄ）及び経路コスト値Ｌｒ（ｐ，ｄ）の例を示す図である。画素５３はテクスチャが強いため、コスト値Ｃ（ｐ，ｄ）の波形は、明瞭な最小点を示す大きな振幅を持つ。テクスチャの強い領域のコスト値Ｃを集約した結果、経路コストＬｒ（ｐ，ｄ）もコスト値Ｃと同様の波形を示す。

図１２は、図１０の画素５４のコスト値Ｃ（ｐ，ｄ）及び経路コスト値Ｌｒ（ｐ，ｄ）の例を示す図である。画素５４はテクスチャが弱いため、コスト値Ｃ（ｐ，ｄ）は不明瞭な最小点しか示さない。画素５４の経路コスト値Ｌｒ（ｐ，ｄ）に、画素５３のコスト値Ｃが集約されることで、画素５３の最小点が混入する。これにより、画素５４の経路コスト値Ｌｒ（ｐ，ｄ）は、画素５４のコスト値Ｃの最小値よりも小さな最小値を持つ。したがって、画素５４の視差値が、画素５３の視差値に誤判定されてしまうことになる。

一方、図１３は、図１０の画素５５のコスト値Ｃ（ｐ，ｄ）及び経路コスト値Ｌｒ（ｐ，ｄ）の例を示す図である。画素５５のコスト値Ｃ（ｐ，ｄ）は、画素５４と同じコスト値Ｃ（ｐ，ｄ）の波形を示す。しかしながら、画素５４は領域５１と領域５２との境界から十分に離れているため、画素５４の経路コスト値Ｌｒ（ｐ，ｄ）では、画素５３の最小点が集約の過程で打ち消されている。そのため、画素５５では、正しい視差値を得ることが出来る。

以上、図１０〜図１３で説明したように、テクスチャの強い領域とテクスチャの弱い領域の境界である輝度値の変化量が大きい領域付近（エッジ付近）では、テクスチャの強い領域が膨張した様な視差画像を呈することになる。

上記テクスチャの強い領域の膨張が抑制された視差画像を取得するため、図１３におけるＦＰＧＡ３１は、図１４に示されているように、コスト値算出部３１１、検出部３１２、経路コスト値算出部３１３、合計コスト値算出部３１４及び導出部３１５を備えている。本実施形態の特徴は、検出部３１２により検出されたエッジ情報が、上述のテクスチャの強弱による不具合を是正するのに用いられる点にある。なお、これらは、ＦＰＧＡ３１の回路の一部であるが、上記プログラムが実行されることにより、同じ処理を行うことができるようにしてもよい。

コスト値算出部３１１は、信号変換装置２０ａから比較画像を受け付け、信号変換装置２０ｂから基準画像を受け付ける。コスト値算出部３１１は、図３に示されているように、基準画像で基準とする基準画素ｐ（ｘ，ｙ）について、基準画素ｐ（ｘ，ｙ）の輝度値と、比較画像で比較する比較画素ｑ（ｘ＋ｄ，ｙ）の輝度値との非類似度を示すコスト値Ｃを、基準画素のエピポーラ線に対応する比較画素のエピポーラ線上の画素（例えば、ｑ（ｘ＋ｄ，ｙ），０＜ｄ＜２５）毎に算出する。コスト値算出部３１１は、当該コスト値Ｃを経路コスト値算出部３１３に入力する。

なおコスト値Ｃの具体的な算出方法は任意でよい。コスト値算出部３１１は、例えば基準画素ｐ（ｘ，ｙ）の輝度値と、比較画素ｑ（ｘ＋ｄ，ｙ）の輝度値との差の絶対値によりコスト値Ｃを算出する。

検出部３１２は、基準画像のエッジを示すエッジ画素を検出し、基準画像のエッジ画素を示すエッジ情報ｅを取得する。

図１５は、基準画像の例（ａ）、及び基準画像（ａ）のエッジを示すエッジ情報ｅの例（ｂ）を示す図である。検出部３１２は、例えばＰｒｅｗｉｔｔフィルタやＳｏｂｅｌフィルタを適用することで図１５（ｂ）の様なエッジ情報ｅを取得する。なお、図１５（ｂ）のエッジ情報ｅは、見やすい様に値の大きい部分が黒くなる様に反転させている。

エッジ情報ｅは２値であっても多値であってもよく、経路コスト値算出部３１３の具体的な算出処理に応じて適宜選択してよい。実施形態のエッジ情報ｅは、２値で表現する。例えば、基準画素ｐ（ｘ，ｙ）のエッジ情報が所定値以上の場合または所定値を超える場合、すなわちエッジ画素である場合、ｅ＝１とし、基準画素ｐ（ｘ，ｙ）のエッジ情報が所定値を超えない場合または所定値以下の場合、すなわちエッジ画素でない場合、ｅ＝０とする。検出部３１２は、エッジ情報ｅを経路コスト値算出部３１３に入力する。

経路コスト値算出部３１３は、コスト値算出部３１１からコスト値を受け付け、検出部３１２からエッジ情報ｅを受け付ける。経路コスト値算出部３１３は、図５に示されているように、基準画素ｐ（ｘ，ｙ）の経路コスト値Ｌｒを、基準画素ｐ（ｘ，ｙ）の周辺の画素から基準画素までの経路（例えば、ｒ_０，ｒ_４５，ｒ_９０，ｒ_１３５，ｒ_１８０，ｒ_２２５，ｒ_２７０，ｒ_３１５）毎に、周辺の画素のコスト値に基づいて（式３）により算出（集約）する。

経路コスト値算出部３１３は、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒの算出方法を変更する。具体的には、実施形態の経路コスト値算出部３１３は、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒを下記（式５）により変更する。

Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）
＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）
＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，
Ｌｒｍｉｎ（ｐ−ｒ）＋Ｐ２｝−Ｌｒｍｉｎ（ｐ−ｒ） （ｅ＝０）
Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ） （ｅ＝１） （式５）

すなわち、実施形態の経路コスト値算出部３１３は、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒを、基準画素ｐ（ｘ，ｙ）のコスト値Ｃ（ｐ，ｄ）にする。これにより、エッジ画素では（式４）によるコスト値Ｃの集約が行われなくなる、すなわち合成を禁止するので、エッジ付近（テクスチャが大きく異なる被写体の境界部分）の測距結果が膨張したり収縮したりしてしまう事を防止することができる。経路コスト値算出部３１３は、経路コスト値Ｌｒを合計コスト値算出部３１４に入力する。

合計コスト値算出部３１４は、経路コスト値算出部３１３から経路コスト値Ｌｒを受け付ける。合計コスト値算出部３１４は、基準画素ｐ（ｘ，ｙ）の合成コスト値としての合計コスト値Ｌｓを、経路毎の経路コスト値Ｌｒの和として（式４）により算出する。合計コスト値算出部３１４は、合計コスト値Ｌｓを導出部３１５に入力する。

導出部３１５は、合計コスト値算出部３１４から合計コスト値Ｌｓを受け付ける。導出部３１５は、基準画素ｐ（ｘ，ｙ）の合計コスト値Ｌｓ（ｐ，ｄ）が最小となる比較画像の画素ｑ（ｘ＋ｄ，ｙ）（０＜ｄ＜２５）と、基準画素ｐ（ｘ，ｙ）と、の差により視差値を導出する。導出部３１５は、基準画像の各画素の合計コスト値Ｌｓ（ｐ，ｄ）に基づいて、基準画像の各画素の視差値を示す視差画像を出力する。

＜実施形態の処理＞
次に、実施形態の視差値算出方法について説明する。図１６は、実施形態の視差値生産方法を示すフローチャートである。

まず、図９に示されている撮像装置１０ａは、物体Ｅを撮像してアナログの画像データを生成する（ステップＳ１−１）。同じく、撮像装置１０ｂは、物体を撮像してアナログの画像データを生成する（ステップＳ１−２）。

次に、信号変換装置２０ａは、アナログの画像データを、デジタルの画像データに変換する（ステップＳ２−１）。同じく、信号変換装置２０ｂは、アナログの画像データを、デジタルの画像データに変換する（ステップＳ２−２）。

次に、信号変換装置２０ａは、画像処理装置３０のＦＰＧＡ３１に、変換後のデジタルの画像データを比較画像のデータとして出力する（ステップＳ３−１）。同じく、信号変換装置２０ｂは、画像処理装置３０のＦＰＧＡ３１に、変換後のデジタルの画像データを基準画像のデータとして出力する（ステップＳ３−２）。

次に、ＦＰＧＡ３１の検出部３１２は、基準画像のエッジを示すエッジ画素を検出し、基準画像のエッジ画素を示すエッジ情報ｅを取得する（ステップＳ４−２）。検出部３１２は、エッジ情報ｅを経路コスト値算出部３１３に入力する。

次に、図１４に示されているコスト値算出部３１１は、基準画像で基準とする基準画素ｐ（ｘ，ｙ）について、基準画素ｐ（ｘ，ｙ）の輝度値と、比較画像で比較する比較画素ｑ（ｘ＋ｄ，ｙ）の輝度値との非類似度を示すコスト値Ｃを、基準画素のエピポーラ線に対応する比較画素のエピポーラ線上の画素（例えば、ｑ（ｘ＋ｄ，ｙ），０＜ｄ＜２５）毎に算出する（ステップＳ５）。

次に、経路コスト値算出部３１３は、図５に示されているように、基準画素ｐ（ｘ，ｙ）の経路コスト値Ｌｒを、基準画素ｐ（ｘ，ｙ）の周辺の画素から基準画素までの経路（例えば、ｒ_０，ｒ_４５，ｒ_９０，ｒ_１３５，ｒ_１８０，ｒ_２２５，ｒ_２７０，ｒ_３１５）毎に、周辺の画素のコスト値に基づいて（式３）により算出（集約）する（ステップＳ６）。このとき、経路コスト値算出部３１３は、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒの算出方法を上述の（式５）により変更する。

次に、合計コスト値算出部３１４は、基準画素ｐ（ｘ，ｙ）の合計コスト値Ｌｓを、経路毎の経路コスト値Ｌｒの和として（式４）により算出する（ステップＳ７）。

次に、導出部３１５は、基準画素ｐ（ｘ，ｙ）の合計コスト値Ｌｓ（ｐ，ｄ）が最小となる比較画像の画素ｑ（ｘ＋ｄ，ｙ）（０＜ｄ＜２５）と、基準画素ｐ（ｘ，ｙ）と、の差により視差値を導出する（ステップＳ８）。

視差値導出装置３は、基準画像の各画素について、上述のフローチャートのステップＳ５〜ステップＳ８の処理を行うことにより、基準画像の各画素の視差値を示す視差画像を出力する。

その後、視差値導出装置３は、図９に示されている通信Ｉ／Ｆ３５から、図９の物体認識装置５に視差画像を送信する。当該物体認識装置５により、撮像装置１０ａ，１０ｂと物体Ｅとの間の距離Ｚが算出される。

＜実施形態の主な効果＞
輝度画像の一例（図１７（ａ）及び（ｂ））に対応する従来のＳＧＭ法により得られた視差画像を図１７（ｃ）に、本実施形態の視差値導出装置により得られた視差画像を図１７（ｄ）および（ｅ）に示す。図１７（ｄ）は、検出部３１２における所定値として１００を用いた際の視差画像を示す。また、図１７（ｅ）は、検出部３１２における所定値として５０を用いた際の視差画像を示す。図１７に示されるように、物体認識装置５が認識する物体の例としての物標６０（図１７（ａ）の点線部分、および（ｂ））に対応する領域６１は、従来のＳＧＭ法に比べて本実施形態のものが小さくなっており、特に検出部３１２における所定値が小さいほど小さくなる。

以上説明したように、実施形態の視差値導出装置３では、経路コスト値算出部３１３が、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒを、基準画素ｐ（ｘ，ｙ）のコスト値Ｃ（ｐ，ｄ）にする。これにより、エッジ画素では（式４）によるコスト値Ｃの集約が行われなくなる、すなわち合成を禁止するので、エッジ付近（テクスチャが大きく異なる被写体の境界部分）の測距結果が膨張したり収縮したりしてしまう事を防止することができる。

なお経路コスト値算出部３１３の具体的な算出処理は任意でよい。以下、実施形態の変形例１〜３として、経路コスト値算出部３１３の具体的な算出処理の例について説明する。

＜実施形態の変形例１＞
本変形例１の経路コスト値算出部３１３は、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒを下記（式６）により算出する。

Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）
＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）
＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，
Ｌｒｍｉｎ（ｐ−ｒ）＋Ｐ２｝−Ｌｒｍｉｎ（ｐ−ｒ） （ｅ＝０）
Ｌｒ（ｐ，ｄ）＝０ （ｅ＝１） （式６）

すなわち、本変形例１では、経路コスト値算出部３１３が、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒ（ｐ，ｄ）を０にする。これにより、エッジ画素では、ｄの変化に対してＬｒ（ｐ，ｄ）が全て０なのでＬｒ（ｐ，ｄ）の最小値が無くなる。すなわちエッジ画素の視差は無効となる。しかしながら、エッジ画素の視差を一旦０にしてしまうことで、エッジ画素の周辺の画素の経路コスト値Ｌｒにエッジ画素のコスト値Ｃが集約されない。エッジ画素の視差が検出できなくなってしまうものの、より確実に測距結果が膨張したり収縮したりしてしまう事を防止できるという効果が得られる。

＜実施形態の変形例２＞
次に、実施形態の変形例２について説明する。本変形例２の経路コスト値算出部３１３は、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒを下記（式７）により算出する。

Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）
＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）
＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，
Ｌｒｍｉｎ（ｐ−ｒ）＋ｐ２｝−Ｌｒｍｉｎ（ｐ−ｒ） （ｅ＝０）
Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）
＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）
＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）
＋Ｐ１，Ｌｒｍｉｎ（ｐ−ｒ）＋Ｐ２’｝
−Ｌｒｍｉｎ（ｐ−ｒ） （ｅ＝１）
ただし、Ｐ２’＝Ｐ２／２ （式７）

すなわち、本変形例２では、経路コスト値算出部３１３が、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒ（ｐ，ｄ）を算出するための式を、パラメータＰ２’をＰ２／２とすることにより変更する。Ｐ２’をＰ２よりも小さな値にすることで、ｍｉｎ項の中でＬｒｍｉｎ（ｐ−ｒ）＋Ｐ２’が選択されやすくなる。Ｌｒｍｉｎ（ｐ−ｒ）＋ｐ２’は最後の項Ｌｒｍｉｎ（ｐ−ｒ）で減算されるので、結果としてエッジ画素のコスト値が、エッジ画素の周辺の画素の経路コスト値Ｌｒに集約されないように作用する。すなわち合成を抑制する。

本変形例２では、パラメータＰ２の補正により、エッジ画素のコスト値が、エッジ画素の周辺の画素の経路コスト値Ｌｒに集約されないようにすることで、エッジ部分への影響を小さくすることができる。本変形例２によれば、視差の密度を損なうこと無く（視差を判定できない画素を増加させること無く）、測距結果が膨張したり収縮したりしてしまう事を防止できる。なおパラメータＰ２の具体的な補正方法は、Ｐ２’＝Ｐ２／２に限られず任意でよい。例えばＰ２’＝Ｐ２／３や、Ｐ２’＝０としてもよい。

＜実施形態の変形例３＞
次に、実施形態の変形例３について説明する。本変形例３は、エッジ情報が２値ではなく多値である場合の例である。すなわち検出部３１２は、エッジ画素のエッジの強さを更に検出し、エッジの強さを多値で示すエッジ情報ｅを取得する。検出部３１２は、例えばエッジ情報ｅを０〜７の数値で示す。すなわちエッジ画素は１〜７の値により表され、値が大きい程、エッジが強いことを示す。本変形例３の経路コスト値算出部３１３は、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒを下記（式８）により算出する。

Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）
＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）
＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）＋Ｐ１，
Ｌｒｍｉｎ（ｐ−ｒ）＋ｐ２｝−Ｌｒｍｉｎ（ｐ−ｒ） （ｅ＝０）
Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）
＋ｍｉｎ｛（Ｌｒ（ｐ−ｒ，ｄ），Ｌｒ（ｐ−ｒ，ｄ−１）
＋Ｐ１，Ｌｒ（ｐ−ｒ，ｄ＋１）
＋Ｐ１，Ｌｒｍｉｎ（ｐ−ｒ）＋Ｐ２’｝
−Ｌｒｍｉｎ（ｐ−ｒ） （ｅ＝１）
ただし、Ｐ２’＝Ｐ２／ｅ （式８）

すなわち、本変形例３では、経路コスト値算出部３１３が、基準画素ｐ（ｘ，ｙ）がエッジ画素である場合の経路コスト値Ｌｒ（ｐ，ｄ）を算出するための式を、パラメータＰ２’をＰ２／ｅとすることにより変更する。エッジの強さに応じてＰ２’をより小さな値にすることで、エッジが強い程、ｍｉｎ項の中でＬｒｍｉｎ（ｐ−ｒ）＋Ｐ２’が選択されやすくなる。Ｌｒｍｉｎ（ｐ−ｒ）＋Ｐ２’は最後の項Ｌｒｍｉｎ（ｐ−ｒ）で減算されるので、エッジが強いほど、結果としてエッジ画素のコスト値が、エッジ画素の周辺の画素の経路コスト値Ｌｒに集約されないように作用する。すなわち合成を抑制する。

一般に、距離が変化する被写体には強いエッジが現れる傾向があるため、本変形例３では、変形例２よりも、エッジ部分への影響を小さくすることができる。本変形例３によれば、視差の密度を損なうこと無く（視差を判定できない画素を増加させること無く）、測距結果が膨張したり収縮したりしてしまう事を防止できる。

＜実施形態の変形例４＞
次に実施形態の変形例４について説明する。実施形態の説明では、経路コスト値算出部３１３が、コスト値算出部３１１からコスト値Ｃを受け付け、検出部３１２からエッジ情報ｅを受け付けて、経路コスト値Ｌｒを算出する処理について説明した。本変形例４では、エッジ情報ｅと、基準画像の画素のコスト値Ｃと、を組にした画素情報を、経路コスト値算出部３１３が参照して経路コスト値Ｌｒを算出する例について説明する。本変形例４の説明では、実施形態と異なる箇所について説明する。

検出部３１２は、エッジ情報ｅをコスト値算出部３１１に入力する。コスト値算出部３１１は、検出部３１２から受け付けたエッジ情報ｅと、基準画像の画素のコスト値Ｃと、を組にした画素情報を、基準画像の画素毎に生成する。コスト値算出部３１１は、画素情報を経路コスト値算出部３１３に入力する。

図１８は、実施形態の変形例４の画素情報の例を示す図である。図１８の例は、エッジ情報ｅが１ビットの値（０又は１）、コスト値Ｃが７ビットの値（０〜１２７）をとる場合の画素情報の例である。図１８の例では、エッジ情報ｅを最上位ビット（ｂｉｔ７）としているが、エッジ情報ｅの記憶位置は任意でよい。コスト値Ｃは、シフト量ｄ毎に算出される。そのため、コスト値算出部３１１は、画素（ｘ，ｙ）が同じでシフト量ｄが異なる各々のコスト値に、その座標のエッジ情報ｅを付加することにより、一の画素（ｘ，ｙ）について複数の画素情報を生成する。

経路コスト値算出部３１３は、コスト値算出部３１１から画素情報を受け付ける。経路コスト値算出部３１３は、シフト量ｄ毎に演算を行うため、図１８の画素情報のデータ構成により効率的なメモリアクセスを行うことができ、ひいては処理の高速化を図ることができる。特に、シフト量ｄ毎の演算が、複数のコアで並列に行われる場合、当該複数のコアにエッジ情報ｅが通知されなくても、処理対象の画素情報のエッジ情報ｅを参照することで経路コスト値Ｌｒを算出できる点が効果的である。

なお、経路コスト値算出部３１３が、座標毎に逐次演算を行う場合には、先頭の１ビットにエッジ情報ｅを付与して続くビットに各シフト量ｄのコスト値Ｃを連続して配置してもよい。

＜実施形態の補足＞
上述の実施形態の視差値導出装置を含む機器制御システムについて説明する。

図１９（ａ）は本発明の一実施形態に係る視差値導出装置を搭載した自動車の側面を表す概略図、図１９（ｂ）は自動車の正面を示す概略図である。

図１９（ａ），（ｂ）に示されているように、本実施形態の視差値導出装置３は、撮像装置１０ａ及び撮像装置１０ｂを備えており、撮像装置１０ａ及び撮像装置１０ｂは自動車の進行方向前方の光景を撮像することができるように設置される。

図１９を参照しながら、本実施形態に係る機器制御システム５０を搭載した車両１００について説明する。図１９のうち、図１９（ａ）は、機器制御システム５０を搭載した車両１００の側面図であり、図１９（ｂ）は、車両１００の正面図である。

図１９に示すように、自動車である車両１００は、機器制御システム５０を備えている。機器制御システム５０は、居室空間である車室において設置された視差値導出装置３と、制御装置６と、ステアリングホイール７と、ブレーキペダル８と、を備えている。

視差値導出装置３は、車両１００の進行方向を撮像する撮像機能を有し、例えば、車両１００のフロントウィンドウ内側のバックミラー近傍に設置される。視差値導出装置３は、詳細は後述するが、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、車両１００の進行方向の被写体を撮像できるように本体部２に固定されている。

制御装置６は、視差値導出装置３から受信した視差画像の画像データに基づいて求まる視差値導出装置３から被写体までの距離情報により、各種車両制御を実行する。制御装置５は、車両制御の例として、視差値導出装置３から受信した視差画像の画像データに基づいて、ステアリングホイール７を含むステアリング系統（制御対象）を制御して障害物を回避するステアリング制御、または、ブレーキペダル８（制御対象）を制御して車両１００を減速および停止させるブレーキ制御等を実行する。

このような視差値導出装置３および制御装置６を含む機器制御システム５０のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両１００の運転の安全性を向上することができる。

なお、上述のように、視差値導出装置３は、車両１００の前方を撮像するものとしたが、これに限定されるものではない。すなわち、視差値導出装置３は、車両１００の後方または側方を撮像するように設置されるものとしてもよい。この場合、視差値導出装置３は、車両１００の後方の後続車、または側方を並進する他の車両等の位置を検出することができる。そして、制御装置６は、車両１００の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、制御装置６は、車両１００の駐車時等におけるバック動作において、視差値導出装置３によって検出された車両１００の後方の障害物の視差画像に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。

２ 本体部
３ 視差値導出装置
１０ａ 撮像装置
１０ｂ 撮像装置
２０ａ 信号変換装置
２０ｂ 信号変換装置
３０ 画像処理装置
３１１ コスト値算出部
３１２ 検出部
３１３ 経路コスト値算出部
３１４ 合計コスト値算出部
３１５ 導出部

特開２００６−０９０８９６号公報 特開２０１２−１８１１４２号公報

Ｈｅｉｋｏ Ｈｉｒｓｃｈｍｕｌｌｅｒ， "Ａｃｃｕｒａｔｅ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｓｔｅｒｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ａｎｄ Ｍｕｔｕａｌ． Ｉｎｆｏｒｍａｔｉｏｎ"， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （２００５）．

Claims (16)

1. 第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、の一致度を算出する算出手段と、
   前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記基準画像における前記所定の基準領域の一致度と、を合成する合成手段と、
   前記合成手段により合成された一致度に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出する導出手段と、を備え、
   前記合成手段は、所定の基準領域に隣接する基準領域の輝度値と前記所定の基準領域の輝度値との変化量に基づいて、前記所定の基準領域の一致度への前記所定の基準領域に隣接する基準領域の一致度の合成を禁止または抑制する
   ことを特徴とする視差値導出装置。
2. 第１撮像部により撮像された被写体の像を含む基準画像と、第２撮像部により撮像された前記被写体の像を含む比較画像と、から前記被写体の像の視差を示す視差値を導出する視差値導出装置であって、
   前記基準画像で基準とする基準画素について、前記基準画素の輝度値と、前記比較画像で比較する比較画素の輝度値との非類似度を示すコスト値を、前記基準画素のエピポーラ線に対応する前記比較画素のエピポーラ線上の画素毎に算出するコスト値算出部と、
   前記基準画像のエッジを示すエッジ画素を検出する検出部と、
   前記基準画素の経路コスト値を、前記基準画素の周辺の画素から前記基準画素までの経路毎に、前記周辺の画素のコスト値に基づいて算出し、前記基準画素が前記エッジ画素である場合、前記経路コスト値の算出方法を変更する経路コスト値算出部と、
   前記基準画素の合成コスト値を、前記経路毎の経路コスト値に基づいて算出する合成コスト値算出部と、
   前記基準画素の前記合成コスト値が最小となる前記比較画像の画素と、前記基準画像の前記基準画素と、の差により前記視差値を導出する導出部と、
   を備える視差値導出装置。
3. 前記経路コスト値算出部は、前記基準画素が前記エッジ画素である場合の前記経路コスト値を、前記基準画素のコスト値にする
   請求項２に記載の視差値導出装置。
4. 前記経路コスト値算出部は、前記基準画素が前記エッジ画素である場合の前記経路コスト値を０にする
   請求項２に記載の視差値導出装置。
5. 前記経路コスト値算出部は、前記周辺の画素のコスト値から前記基準画素の前記経路コスト値を算出する算出式により、前記基準画素の前記経路コスト値を算出し、前記基準画素が前記エッジ画素である場合、前記算出式を変更する
   請求項２に記載の視差値導出装置。
6. 前記検出部は、前記エッジ画素のエッジの強さを更に検出し、
   前記経路コスト値算出部は、前記周辺の画素のコスト値から前記基準画素の前記経路コスト値を算出する算出式により、前記基準画素の前記経路コスト値を算出し、前記基準画素が前記エッジ画素である場合、前記エッジ画素のエッジの強さに応じて前記算出式を変更する
   請求項２に記載の視差値導出装置。
7. 前記コスト値算出部は、前記検出部から前記基準画像の画素が前記エッジ画素であるか否かを示すエッジ情報を受け付け、前記エッジ情報と、前記基準画像の画素の前記コスト値と、を組にした画素情報を、前記基準画像の画素毎に出力する
   請求項２乃至６のいずれか１項に記載の視差値導出装置。
8. 前記エッジ情報は、エッジの強さを示す多値の情報である
   請求項７に記載の視差値導出装置。
9. 前記基準画素は、複数の画素を含む所定領域単位で１つ選択され、前記所定領域単位で視差値を導出する
   請求項２乃至８のいずれか１項に記載の視差値導出装置。
10. 請求項１乃至９のいずれか１項に記載の視差値導出装置と、
    前記視差値導出装置によって導出される前記視差値により求まる前記視差値導出装置から前記被写体までの距離情報によって、制御対象を制御する制御装置と、
    を備える機器制御システム。
11. 請求項１乃至９のいずれか１項に記載の視差値導出装置を備える移動体。
12. 前記移動体は、車両又はロボットである請求項１１に記載の移動体。
13. 請求項１乃至９のいずれか１項に記載の視差値導出装置を備えるロボット。
14. 第１撮像部により撮像された被写体の像を含む基準画像と、第２撮像部により撮像された前記被写体の像を含む比較画像と、から前記被写体の像の視差を示す視差値を導出する視差値生産方法であって、
    前記基準画像で基準とする基準画素について、前記基準画素の輝度値と、前記比較画像で比較する比較画素の輝度値との非類似度を示すコスト値を、前記基準画素のエピポーラ線に対応する前記比較画素のエピポーラ線上の画素毎に算出するステップと、
    前記基準画像のエッジを示すエッジ画素を検出するステップと、
    前記基準画素の経路コスト値を、前記基準画素の周辺の画素から前記基準画素までの経路毎に、前記周辺の画素のコスト値に基づいて算出し、前記基準画素が前記エッジ画素である場合、前記経路コスト値の算出方法を変更するステップと、
    前記基準画素の合成コスト値を、前記経路毎の経路コスト値に基づいて算出するステップと、
    前記基準画素の前記合成コスト値が最小となる前記比較画像の画素と、前記基準画像の前記基準画素と、の差により前記視差値を導出するステップと、
    を含む視差値生産方法。
15. コンピュータに、請求項１４に記載の視差値生産方法を実行させるためのプログラム。
16. 第１の撮像位置から撮像された基準画像における基準領域と、第２の撮像位置から撮像された比較画像における、前記基準領域に対応する対応領域を含む指定の範囲内の複数の領域各々と、の一致度を算出する算出手段と、
    前記算出手段により算出された、前記基準画像における所定の基準領域の周辺の基準領域の一致度と、前記基準画像における前記所定の基準領域の一致度とを、所定値との比較結果に応じて合成する合成手段と、
    前記合成手段により合成された一致度に基づいて、前記所定の基準領域において撮像されている対象の視差値を導出して、前記基準画像または前記比較画像中の物体の認識を行う前記物体認識装置に出力する導出手段と、を備え、
    前記導出手段が導出する視差値で示される前記物体認識装置が認識する物体に対応する領域は、前記所定値が小さいほど小さくなる
    ことを特徴とする視差値導出装置。