JP2016109587A

JP2016109587A - 画像処理装置

Info

Publication number: JP2016109587A
Application number: JP2014248228A
Authority: JP
Inventors: 泰樹河野; Yasuki Kono; 正樹増田; Masaki Masuda; 直輝川嵜; Naoteru Kawasaki; 和寿石丸; Kazuhisa Ishimaru
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2014-12-08
Filing date: 2014-12-08
Publication date: 2016-06-20
Anticipated expiration: 2034-12-08
Also published as: JP6158779B2; US20160191890A1; US10033981B2

Abstract

【課題】マッチング精度を高めることができる画像処理装置を提供すること。【解決手段】第１、第２の画像を取得する画像取得ユニット（３）と、第１部分画像を抽出する第１部分画像抽出ユニット（５）と、第２部分画像を順次抽出する第２部分画像抽出ユニット（７）と、第１部分画像と第２部分画像との類似度を判断するマッチングユニット（１３）と、類似度が最も高い第２部分画像を類似部分画像とする類似部分画像設定ユニット（１７）と、第１部分画像及び第２部分画像の輝度を対比する輝度対比ユニット（１５）とを備え、輝度対比ユニットによる対比結果が範囲外である場合、マッチングユニットは、輝度を対比した第１部分画像及び第２部分画像を判断対象から除外することを特徴とする画像処理装置（１）。【選択図】図１

Description

本発明は画像処理装置に関する。

従来、ステレオカメラを用いて２枚の画像を取得し、その２枚の画像に対しマッチングを行い、距離測定を行う技術が知られている。マッチングは一般的に、画像の輝度値を用いて行う。２枚の画像において、同じ物標を撮影した部分同士を対比したとき、それらの輝度値が異なることがある。これは、カメラのレンズの状態、イメージャ誤差、経年劣化等の原因による。この対策として、（１）２枚の画像を比較し、輝度の差分から片方の画像を補正する技術（特許文献１）、（２）画像を局所的に補正してからマッチングを行う技術（特許文献２）が提案されている。

特開２００９−０６９１１４号公報特開２０１１−２４３１９４号公報

しかしながら、特許文献１、２記載の技術では、マッチングの精度を十分に向上させることは困難であった。本発明は、こうした問題にかんがみてなされたものであり、マッチング精度を高めることができる画像処理装置を提供することを目的としている。

本発明の第１局面に係る画像処理装置は、ステレオ画像を構成する第１の画像及び第２の画像を取得する画像取得ユニットと、第１の画像から第１部分画像を抽出する第１部分画像抽出ユニットと、第２の画像から第２部分画像を順次抽出する第２部分画像抽出ユニットと、第１部分画像と第２部分画像との類似度を判断するマッチングユニットと、第２部分画像のうち、類似度が最も高い第２部分画像を、第１部分画像に対応する類似部分画像とする類似部分画像設定ユニットと、第１部分画像及び第２部分画像の輝度を対比する輝度対比ユニットとを備え、輝度対比ユニットによる対比結果が予め設定された範囲の外である場合、マッチングユニットは、輝度を対比した第１部分画像及び第２部分画像を、判断対象から除外する。

この画像処理装置は、輝度対比ユニットによる対比結果が予め設定された範囲の外である場合、第１部分画像及び第２部分画像を、マッチングの対象から除外する。そのため、輝度が正常でない第１部分画像及び第２部分画像の組み合わせについてはマッチングを行わないようにできるので、マッチングを精度よく行うことができる。

本発明の第２局面に係る画像処理装置は、ステレオ画像を構成する第１の画像及び第２の画像を取得する画像取得ユニットと、第１の画像から第１部分画像を抽出する第１部分画像抽出ユニットと、第２の画像から第２部分画像を順次抽出する第２部分画像抽出ユニットと、第１部分画像と第２部分画像との類似度を判断するマッチングユニットと、第２部分画像のうち、類似度が最も高い第２部分画像を、第１部分画像に対応する類似部分画像とする類似部分画像設定ユニットと、第１部分画像及び第２部分画像の輝度を対比する輝度対比ユニットと、第１部分画像及び類似部分画像における輝度の対比結果が予め設定された範囲の外である場合、第１部分画像及び類似部分画像について、前記場合に特有の情報を出力する情報出力ユニットと、を備える。

この画像処理装置は、第１部分画像及び類似部分画像における輝度の対比結果が予め設定された範囲の外である場合、その場合に特有の情報を出力する。例えば、画像処理装置の出力結果を使用する他の装置等は、その情報に応じ、マッチングの結果を適切に使用することができる。

本発明の第３局面に係る画像処理装置は、ステレオ画像を構成する第１の画像及び第２の画像を取得する画像取得ユニットと、第１の画像から第１部分画像を抽出する第１部分画像抽出ユニットと、第２の画像から第２部分画像を順次抽出する第２部分画像抽出ユニットと、第１部分画像と第２部分画像との類似度を判断するマッチングユニットと、第１部分画像及び第２部分画像の輝度を対比する輝度対比ユニットと、マッチングユニットにおける判断結果と、輝度対比ユニットにおける対比結果とに基づき、第２部分画像のうち、第１部分画像に対応するものを判断する類似部分画像設定ユニットと、を備える。

画像処理装置１の構成を表すブロック図である。画像処理装置１が実行する処理を表すフローチャートである。第１部分画像２９及び第２部分画像３１を表す説明図である。画像処理装置１０１の構成を表すブロック図である。画像処理装置１０１が実行する処理を表すフローチャートである。画像処理装置２０１の構成を表すブロック図である。画像処理装置２０１が実行する処理を表すフローチャートである。図８Ａはマッチングにおける類似度とポイントＰ_１との関係を表すグラフであり、図８Ｂは、部分画像輝度比とポイントＰ_２との関係を表すグラフである。

本発明の実施形態を説明する。
＜第１の実施形態＞
１．画像処理装置１の構成
画像処理装置１の構成を図１に基づき説明する。画像処理装置１は車両に搭載される車載装置である。以下では、画像処理装置１を搭載する車両を自車両とする。画像処理装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から成る周知のコンピュータであって、ＲＯＭに記憶されたプログラムにより、後述する処理を実行する。

画像処理装置１は、機能的に、画像取得ユニット３、第１部分画像抽出ユニット５、第２部分画像抽出ユニット７、範囲設定ユニット９、補正ユニット１１、マッチングユニット１３、輝度対比ユニット１５、及び類似部分画像設定ユニット１７を有する。各ユニットが実行する処理は後述する。

自車両は、画像処理装置１に加えて、左カメラ１９、右カメラ２１、走行可能区間認識装置２３、立体物認識装置２５、及び車両制御部２７を備える。左カメラ１９は自車両における左寄りの位置に設けられ、自車両の前方を撮影する。右カメラ２１は自車両における右寄りの位置に設けられ、自車両の前方を撮影する。左カメラ１９と右カメラ２１とはステレオカメラを構成する。左カメラ１９の路面からの高さと、右カメラ２１の路面からの高さとは同じである。

左カメラ１９により撮影した画像（以下、第１の画像とする）と、右カメラ２１により撮影した画像（以下、第２の画像とする）は、画像取得ユニット３に入力される。第１の画像及び第２の画像はステレオ画像を構成する。自車両の前方に存在する１つの物標（例えば、人、車両、自転車、バイク、信号機、路側物、標識等）は、第１の画像及び第２の画像にそれぞれ存在する。左カメラ１９と右カメラ２１とでは左右方向における位置が異なるため、第１の画像における物標の位置と、第２の画像における同一の物標の位置とは異なる（すなわち、視差が生じる）。視差の大きさは、自車両からその物標までの距離に依存する。つまり、自車両から物標までの距離が小さいほど、視差は大きくなる。

２．画像処理装置１が実行する処理
画像処理装置１が実行する処理を図２、図３に基づき説明する。この処理は、所定時間ごとに繰り返し実行される。

図２のステップ１では、画像取得ユニット３が、左カメラ１９から第１の画像を取得するとともに、右カメラ２１から第２の画像を取得する。
ステップ２では、範囲設定ユニット９が、前記ステップ１で取得した第１の画像及び第２の画像の輝度を対比し、以下の式（１）で表される全体輝度比Ｒを算出する。

式（１）Ｒ＝Ｋ_２／Ｋ_１
ここで、Ｋ_１は第１の画像全体における平均輝度である。また、Ｋ_２は、第２の画像全体における平均輝度である。

ステップ３では、範囲設定ユニット９が、前記ステップ２で算出した全体輝度比Ｒに基づき、正常輝度範囲を設定する。正常輝度範囲とは、Ｒ−ｄ_１から、Ｒ+ｄ_２までの輝度の範囲である。ここで、ｄ_１、ｄ_２はそれぞれ正の数である。ｄ_１、ｄ_２は固定値であってもよいし、Ｒに応じて変化する値であってもよい。

ステップ４では、第１部分画像抽出ユニット５が、前記ステップ１で取得した第１の画像から、図３に示すように、第１部分画像２９を抽出する。第１部分画像２９は、第１の画像の一部であって、縦２画素、横２画素の矩形の領域である。

なお、第１部分画像２９の抽出は、後述するステップ１２で肯定判断するまで繰り返し行われる。抽出される第１部分画像２９の位置は、本ステップ４の処理を実行するごとに、第１の画像の中で所定量だけずれてゆく。

ステップ５では、第２部分画像抽出ユニット７が、前記ステップ１で取得した第２の画像から、図３に示すように、第２部分画像３１を抽出する。第２部分画像３１は、第２の画像の一部であって、第１部分画像２９と同様に、縦２画素、横２画素の矩形の領域である。また、第２部分画像３１は、直前の前記ステップ４で抽出された第１部分画像２９と、上下方向における位置が等しい。

なお、第２部分画像３１の抽出は、後述するステップ１０で肯定判断するまで繰り返し行われる。抽出される第２部分画像３１の位置は、本ステップ５の処理を実行するごとに、第１部分画像２９と上下方向における位置が等しいという条件の下で、第２の画像の中で所定量だけずれてゆく。すなわち、第２部分画像３１は、第２の画像の中で少しずつ位置をずらしながら、順次抽出される。

ステップ６では、輝度対比ユニット１５が、直前の前記ステップ４で抽出した第１部分画像の輝度と、直前の前記ステップ５で抽出した第２部分画像の輝度とを対比し、以下の式（２）で表される部分画像輝度比ｒを算出する。

式（２）ｒ＝ｂｋ_２／ｂｋ_１
ここで、ｂｋ_１は第１部分画像における平均輝度である。また、ｂｋ_２は、第２部分画像における平均輝度である。

ステップ７では、前記ステップ６で算出した部分画像輝度比ｒが、前記ステップ３で設定した正常輝度範囲内であるか（すなわち、部分画像輝度比ｒが正常であるか）否かを、輝度対比ユニット１５が判断する。部分画像輝度比ｒが正常である場合はステップ８に進み、正常でない場合はステップ１０に進む。

ステップ８では、補正ユニット１１が、直前の前記ステップ４で抽出した第１部分画像における各画素の輝度と、直前の前記ステップ５で抽出した第２部分画像における各画素の輝度とをそれぞれ補正する。この補正は、レンズの周辺減光に起因する輝度のばらつきを抑制するものである。補正前の第１部分画像、第２部分画像では、周辺減光の影響により、周辺部の輝度は、中心部に比べて低い。本ステップ８の補正により、周辺部の輝度と、中心部の輝度との差を小さくする。補正量は、左カメラ１９、右カメラ２１の特性に応じて、画像における画素の位置ごとに、予め設定されている。

ステップ９では、マッチングユニット１３が、前記ステップ８で補正した後の第１部分画像及び第２部分画像についてマッチングを行い、両者の類似度を判断する。マッチングの方法としては周知の方法の中から適宜選択することができ、例えば以下のようなマッチング方法が挙げられる。

・絶対値差分和（SAD(Sum of Absolute Difference)）：比較領域において、各画素の差分の絶対値の合計で比較する。
・差分二乗和（SSD(Sum of Squared Difference)）：比較領域において、各画素の差分の二乗の合計で比較する。

・ゼロ平均絶対値差分和（ZSAD(Zero-mean Sum of Absolute Differences)）：比較領域をその領域内の平均輝度値で引いたもので、各画素の差分の絶対値の合計で比較する。
・ゼロ平均差分二乗和（ZSSD(Zerso-mean Sum of Squared Differences)）：比較領域をその領域内の平均輝度値で引いたもので、各画素の差分の二乗の合計で比較する。

・局所スケール絶対値差分和（LSAD(Locally scaled Sum of Absolute Differences )）：比較領域をその領域内の平均輝度値の比で補正したもので、各画素の差分の絶対値の合計で比較する。

・局所スケール差分二乗和（LSSD(Locally scaled Sum of Squared Differences )）：比較領域をその領域内の平均輝度値の比で補正したもので、各画素の差分の二乗の合計で比較する。

・正規化相互相関（NCC(Normalized Cross Correlation)）：正規化相関を用いて比較する。
・ゼロ平均正規化相互相関（ZNCC(Zero-mean Normalized Cross Correlation)）：比較領域をその領域内の平均輝度値で引いたもので、正規化相関を用いて比較する。

ステップ１０では、直前の前記ステップ４で抽出された第１部分画像２９と上下方向における位置が等しいという条件の下で、全ての第２部分画像を抽出し終わったか否かを判断する。抽出し終わった場合はステップ１１に進み、未だ抽出し終わっていない場合はステップ５に進む。

ステップ１１では、類似部分画像設定ユニット１７が、直前の前記ステップ４で抽出した第１部分画像について抽出された第２部分画像のうち、前記ステップ９でのマッチングにおける類似度が最も高い第２部分画像を、直前の前記ステップ４で抽出した第１部分画像に対応する類似部分画像として設定する。

ステップ１２では、第１の画像において、全ての第１部分画像を抽出し終わったか否かを判断する。抽出し終わった場合は本処理を終了し、未だ抽出し終わっていない場合はステップ４に進む。

以上の処理により、第１の画像中の第１部分画像と、それに対応する第２の画像中の類似部分画像とが特定される。この第１部分画像と、それに対応する類似部分画像とは、同一の物標を撮影した領域である。

走行可能区間認識装置２３及び立体物認識装置２５は、第１の画像における第１部分画像の位置と、第２の画像における類似部分画像の位置との差（視差）に応じて、自車両から、前方に存在する物標（第１部分画像及びそれに対応する類似分画像として現れている物標）までの距離を算出する。車両制御部２７は、自車両から、前方の物標までの距離に応じて、各種処理（例えば、自動ブレーキ、自動操舵、警報出力等）を行う。

３．画像処理装置１が奏する効果
（１Ａ）画像処理装置１は、第１部分画像及び第２部分画像における部分画像輝度比ｒが正常輝度範囲外である場合、その第１部分画像及び第２部分画像を、マッチングの対象から除外する。そのため、輝度が正常でない第１部分画像及び第２部分画像の組み合わせについてはマッチングを行わないようにできるので、マッチングを精度よく行うことができる。

（１Ｂ）画像処理装置１は、第１の画像と第２の画像との輝度の対比結果に基づき、正常輝度範囲を設定する。そのため、第１の画像及び第２の画像に応じて適切に正常輝度範囲を設定することができる。

（１Ｃ）画像処理装置１は、マッチングの前に、第１部分画像及び第２部分画像の輝度を補正する。その補正は、レンズの周辺減光に起因する輝度のばらつきを抑制するものである。よって、画像処理装置１は、マッチングを一層精度よく行うことができる。
＜第２の実施形態＞
１．画像処理装置１０１の構成
画像処理装置１０１の構成を図４に基づき説明する。画像処理装置１０１の構成は基本的には前記第１の実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。画像処理装置１０１は、さらに情報出力ユニット３３を備える。情報出力ユニット３３の機能は後述する。

２．画像処理装置１０１が実行する処理
画像処理装置１０１が実行する処理を図５に基づき説明する。この処理は、基本的には前記第１の実施形態と同様であるため、共通する処理については説明を省略し、相違点を中心に説明する。

図５のステップ２１〜２５の処理は、前記第１の実施形態におけるステップ１〜５の処理と同様である。
ステップ２６では、補正ユニット１１が、直前の前記ステップ２４で抽出した第１部分画像の輝度と、直前の前記ステップ２５で抽出した第２部分画像の輝度とをそれぞれ補正する。補正の方法は、前記第１の実施形態における前記ステップ８と同様である。

ステップ２７では、マッチングユニット１３が、前記ステップ２６で補正した後の第１部分画像及び第２部分画像についてマッチングを行い、両者の類似度を判断する。マッチングの方法は、前記第１の実施形態における前記ステップ９と同様である。

ステップ２８では、輝度対比ユニット１５が、直前の前記ステップ２７でマッチングを行った第１部分画像及び第２部分画像の輝度を対比し、部分画像輝度比ｒを算出する。部分画像輝度比ｒの算出方法は、前記第１の実施形態における前記ステップ６と同様である。

ステップ２９では、直前の前記ステップ２４で抽出された第１部分画像と上下方向における位置が等しいという条件の下で、全ての第２部分画像を抽出し終わったか否かを判断する。抽出し終わった場合はステップ３０に進み、未だ抽出し終わっていない場合はステップ２５に進む。

ステップ３０では、類似部分画像設定ユニット１７が、直前の前記ステップ２４で抽出した第１部分画像について抽出された第２部分画像のうち、前記ステップ２７でのマッチングにおける類似度が最も高い第２部分画像を、直前の前記ステップ２４で抽出した第１部分画像に対応する類似部分画像として設定する。

ステップ３１では、直前の前記ステップ２４で抽出した第１部分画像と、それに対応する類似部分画像とにおける部分画像輝度比ｒが、前記ステップ２３で設定した正常輝度範囲内であるか（すなわち、部分画像輝度比ｒが正常であるか）否かを、輝度対比ユニット１５が判断する。部分画像輝度比ｒが正常である場合はステップ３３に進み、正常でない場合はステップ３２に進む。

ステップ３２では、情報出力ユニット３３が、異常情報を出力する。異常情報には、部分画像輝度比ｒが異常である、第１部分画像と、それに対応する類似部分画像とを特定する内容が含まれる。また、異常情報には、部分画像輝度比ｒが異常であることを特定可能な内容が含まれる。異常情報は、画像処理装置１０１内に記憶されるとともに、走行可能区間認識装置２３及び立体物認識装置２５に出力される。

ステップ３３では、第１の画像において、全ての第１部分画像を抽出し終わったか否かを判断する。抽出し終わった場合は本処理を終了し、未だ抽出し終わっていない場合はステップ２４に進む。

３．画像処理装置１０１が奏する効果
（２Ａ）画像処理装置１０１は、第１部分画像と、それに対応する類似部分画像とにおける部分画像輝度比ｒが正常輝度範囲外である場合、異常情報を出力する。

走行可能区間認識装置２３及び立体物認識装置２５は、第１の画像における第１部分画像の位置と、第２の画像における類似部分画像の位置との差（視差）を算出し、その視差に応じて処理を行う場合、異常情報の有無に応じて処理の内容を変える。例えば、異常情報がある第１部分画像及び類似部分画像における視差は、異常情報がないものにおける視差よりも、重み付けを軽くする。そのことにより、マッチングに対する信頼性に応じて適切に処理を行うことができる。
＜第３の実施形態＞
１．画像処理装置２０１の構成
画像処理装置２０１の構成を図６に基づき説明する。画像処理装置２０１の構成は基本的には前記第１の実施形態と同様である。

２．画像処理装置２０１が実行する処理
画像処理装置２０１が実行する処理を図７、図８に基づき説明する。この処理は、基本的には前記第１の実施形態と同様であるため、共通する処理については説明を省略し、相違点を中心に説明する。

図７のステップ４１〜４５の処理は、前記第１の実施形態におけるステップ１〜５の処理と同様である。
ステップ４６では、補正ユニット１１が、直前の前記ステップ４４で抽出した第１部分画像における各画素の輝度と、直前の前記ステップ４５で抽出した第２部分画像における各画素の輝度とをそれぞれ補正する。補正の方法は、前記第１の実施形態における前記ステップ８と同様である。

ステップ４７では、マッチングユニット１３が、前記ステップ４６で補正した後の第１部分画像及び第２部分画像についてマッチングを行い、両者の類似度を判断する。マッチングの方法は、前記第１の実施形態における前記ステップ９と同様である。

ステップ４８では、輝度対比ユニット１５が、直前の前記ステップ４７でマッチングを行った第１部分画像及び第２部分画像の輝度を対比し、部分画像輝度比ｒを算出する。部分画像輝度比ｒの算出方法は、前記第１の実施形態における前記ステップ６と同様である。

ステップ４９では、類似部分画像設定ユニット１７が、まず、前記ステップ４７において判断した第１部分画像と第２部分画像との類似度から、ポイントＰ_１を算出する。類似部分画像設定ユニット１７は、類似度を入力すると、それに応じたポイントＰ_１を出力するマップを備えている。類似部分画像設定ユニット１７は、このマップを用いてポイントＰ_１を算出する。上記のマップにおける類似度とポイントＰ_１との関係は、図８Ａに示すように、類似度が高いほど、ポイントＰ_１が大きいという関係である。

次に、類似部分画像設定ユニット１７は、前記ステップ４８において算出した部分画像輝度比ｒから、ポイントＰ_２を算出する。類似部分画像設定ユニット１７は、部分画像輝度比ｒを入力すると、それに応じたポイントＰ_２を出力するマップを備えている。類似部分画像設定ユニット１７は、このマップを用いてポイントＰ_２を算出する。上記のマップにおける部分画像輝度比ｒとポイントＰ_２との関係は、図８Ｂに示すように、部分画像輝度比ｒが前記ステップ４３で設定した正常輝度範囲内であれば最もポイントＰ_２が大きく、正常輝度範囲から離れるほど、ポイントＰ_２が小さくなるという関係である。

最後に、類似部分画像設定ユニット１７は、ポイントＰ_１とポイントＰ_２とを加算して、総合ポイントＰを算出する。
ステップ５０では、直前の前記ステップ４４で抽出された第１部分画像と上下方向における位置が等しいという条件の下で、全ての第２部分画像を抽出し終わったか否かを判断する。抽出し終わった場合はステップ５１に進み、未だ抽出し終わっていない場合はステップ４５に進む。

ステップ５１では、類似部分画像設定ユニット１７が、直前の前記ステップ４４で抽出した第１部分画像について抽出された第２部分画像のうち、前記ステップ４９で算出した総合ポイントＰが最大である第２部分画像を、直前の前記ステップ４４で抽出した第１部分画像に対応する類似部分画像として設定する。

ステップ５２では、第１の画像において、全ての第１部分画像を抽出し終わったか否かを判断する。抽出し終わった場合は本処理を終了し、未だ抽出し終わっていない場合はステップ４４に進む。

以上の処理により、第１の画像中の第１部分画像と、それに対応する第２の画像中の類似部分画像とが特定される。
３．画像処理装置２０１が奏する効果
＜その他の実施形態＞
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。

（１）前記第１〜第３の実施形態において、第１部分画像及び第２部分画像の大きさは、縦２画素、横２画素には限定されず、適宜設定できる。
（２）前記第１〜第３の実施形態において、第１部分画像の抽出は、第１の画像の全体をカバーするように順次行ってもよいし、第１の画像の一部から限定的に抽出してもよい。また、第２部分画像の抽出は、第２の画像の左右方向における全体をカバーするように順次行ってもよいし、第２の画像の左右方向における一部から限定的に抽出してもよい。

（３）前記第１〜第３の実施形態において、第１部分画像及び第２部分画像の輝度を対比するとき、第１部分画像における一部の画素の輝度と、第２部分画像における一部の画素の輝度とを対比してもよい。

（４）前記第１〜第３の実施形態において、正常輝度範囲は、前記第１の実施形態における前記ステップ２、３の処理以外の方法で設定してもよい。例えば、正常輝度範囲は固定された範囲であってもよい。

（５）前記第１〜第３の実施形態において、全体輝度比Ｒを算出するとき、Ｋ_１は、第１の画像における一部の領域の平均輝度であってもよいし、Ｋ_２は、第２の画像における一部の領域の平均輝度であってもよい。

（６）前記第３の実施形態において、類似度とポイントＰ_１との関係は、図８Ａに示すものには限定されず、適宜設定できる。また、部分画像輝度比ｒとポイントＰ_２との関係は、図８Ｂに示すものには限定されず、適宜設定できる。また、ポイントＰ_１とポイントＰ_２とから総合ポイントＰを算出する方法は他の方法であってもよい。例えば、ポイントＰ_１とポイントＰ_２とを乗算して総合ポイントＰを算出してもよい。

（７）画像処理装置１、１０１、２０１は、車載装置でなくてもよい。また、画像処理装置１、１０１、２０１は、物標までの距離を測定する用途以外の用途に用いてもよい。
（８）前記第１〜第３の実施形態において、正常輝度範囲は、以下のように設定してもよい。第１の画像の平均輝度から、第２の画像の平均輝度を差し引いた輝度差Ｄを算出する。そして、輝度差Ｄを含む所定の範囲を、正常輝度範囲とする。

この場合、前記ステップ６、２８、４８において第１部分画像の平均輝度から第２部分画像の平均輝度を差し引いた部分画像輝度差ｂｄを算出し、その部分画像輝度差ｂｄが正常輝度範囲内であれば、前記ステップ７、３１で肯定判断する。また、前記ステップ４９において、部分画像輝度差ｂｄに基づいてポイントＰ_２を算出する。

（９）前記第１〜第３の実施形態において、第１部分画像、第２部分画像の輝度が正常であるか否かは、以下のように判断してもよい。
まず、第１の画像の平均輝度と、第２の画像の平均輝度との大小関係（以下、基準大小関係とする）を取得する。そして、第１部分画像の輝度と第２部分画像の輝度との大小関係が、基準大小関係と一致していれば、第１部分画像、第２部分画像の輝度は正常であると判断する（前記ステップ７、３１で肯定判断し、ステップ４９でポイントＰ_２を高くする）。

一方、第１部分画像の輝度と第２部分画像の輝度との大小関係が、基準大小関係と一致していなければ、第１部分画像、第２部分画像の輝度は異常であると判断する（前記ステップ７、３１で否定判断し、ステップ４９でポイントＰ_２を低くする）。

（１０）前記第１〜第３の実施形態において、右カメラ２１で撮影した画像を第１の画像とし、左カメラ１９で撮影した画像を第２の画像としてもよい。
（１１）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（１２）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、画像処理方法、測距方法等、種々の形態で本発明を実現することもできる。

１、１０１、２０１…画像処理装置、３…画像取得ユニット、５…第１部分画像抽出ユニット、７…第２部分画像抽出ユニット、９…範囲設定ユニット、１１…補正ユニット、１３…マッチングユニット、１５…輝度対比ユニット、１７…類似部分画像設定ユニット、１９…左カメラ、２１…右カメラ、２３…走行可能区間認識装置、２５…立体物認識装置、２７…車両制御部、２９…第１部分画像、３１…第２部分画像、３３…情報出力ユニット

Claims

ステレオ画像を構成する第１の画像及び第２の画像を取得する画像取得ユニット（３）と、
前記第１の画像から第１部分画像を抽出する第１部分画像抽出ユニット（５）と、
前記第２の画像から第２部分画像を順次抽出する第２部分画像抽出ユニット（７）と、
前記第１部分画像と前記第２部分画像との類似度を判断するマッチングユニット（１３）と、
前記第２部分画像のうち、前記類似度が最も高い前記第２部分画像を、前記第１部分画像に対応する類似部分画像とする類似部分画像設定ユニット（１７）と、
前記第１部分画像及び前記第２部分画像の輝度を対比する輝度対比ユニット（１５）と、
を備え、
前記輝度対比ユニットによる対比結果が予め設定された範囲の外である場合、前記マッチングユニットは、輝度を対比した前記第１部分画像及び前記第２部分画像を、判断対象から除外することを特徴とする画像処理装置（１）。
ステレオ画像を構成する第１の画像及び第２の画像を取得する画像取得ユニット（３）と、
前記第１の画像から第１部分画像を抽出する第１部分画像抽出ユニット（５）と、
前記第２の画像から第２部分画像を順次抽出する第２部分画像抽出ユニット（７）と、
前記第１部分画像と前記第２部分画像との類似度を判断するマッチングユニット（１３）と、
前記第２部分画像のうち、前記類似度が最も高い前記第２部分画像を、前記第１部分画像に対応する類似部分画像とする類似部分画像設定ユニット（１７）と、
前記第１部分画像及び前記第２部分画像の輝度を対比する輝度対比ユニット（１５）と、
前記第１部分画像及び前記類似部分画像における輝度の対比結果が予め設定された範囲の外である場合、前記第１部分画像及び前記類似部分画像について、前記場合に特有の情報を出力する情報出力ユニット（３３）と、
を備えることを特徴とする画像処理装置（１０１）。
請求項１又は２に記載の画像処理装置であって、
前記第１の画像と前記第２の画像との輝度の対比結果に基づき、前記範囲を設定する範囲設定ユニット（９）を備えることを特徴とする画像処理装置。
ステレオ画像を構成する第１の画像及び第２の画像を取得する画像取得ユニット（３）と、
前記第１の画像から第１部分画像を抽出する第１部分画像抽出ユニット（５）と、
前記第２の画像から第２部分画像を順次抽出する第２部分画像抽出ユニット（７）と、
前記第１部分画像と前記第２部分画像との類似度を判断するマッチングユニット（１３）と、
前記第１部分画像及び前記第２部分画像の輝度を対比する輝度対比ユニット（１５）と、
前記マッチングユニットにおける判断結果と、前記輝度対比ユニットにおける対比結果とに基づき、前記第２部分画像のうち、前記第１部分画像に対応するものを判断する類似部分画像設定ユニット（１７）と、
を備えることを特徴とする画像処理装置（２０１）。
請求項１〜４のいずれか１項に記載の画像処理装置であって、
前記マッチングの前に、前記第１部分画像及び／又は前記第２部分画像の輝度を補正する補正ユニット（１１）を備えることを特徴とする画像処理装置。
請求項５に記載の画像処理装置であって、
前記補正ユニットは、レンズの周辺減光に起因する輝度のばらつきを抑制するように補正することを特徴とする画像処理装置。