JP2003150937A - 画像処理装置および画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】一対のカラー画像を用いてステレオ画像処理を
行うことで、距離データの信頼性の向上を図る。 【解決手段】ステレオ演算回路６は、同一色の原色画像
対を用いてステレオマッチングを行うことにより、それ
ぞれの原色画像に関する原色視差と、これらの原色視差
に関するシティブロック距離とを算出する。これらの原
色視差およびシティブロック距離は、視差の算出単位と
なる画像領域毎に算出される。融合処理部８は、それぞ
れの原色視差に基づいて、画像領域毎の統一視差を算出
する。それとともに、融合処理手段８は、原色視差およ
びシティブロック距離の少なくとも一方の信頼性を示す
信頼度情報を統一視差に対応付けて出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一対のカラー画像
を用いてステレオ画像処理を行う画像処理装置および画
像処理方法に関する。

【０００２】

【従来の技術】ステレオカメラを用いたステレオ式車外
監視システムが知られている。このシステムでは、一対
のカメラ（ステレオカメラ）から得られる一対の撮像画
像を用いて、ステレオマッチングによって、輝度特性の
相関を有する小領域同士を特定し、両者の相対的なずれ
量より距離データを得る。従来のステレオ式車外監視シ
ステムでは、白黒のイメージセンサ（ＣＣＤやＣＭＯＳ
センサ等）が採用されており、モノクロ画像における輝
度情報を主体に車外の状況を認識していた。

【０００３】

【発明が解決しようとする課題】しかしながら、モノク
ロ画像ではなくカラー画像を入力情報とし、輝度情報の
みならず色情報も用いたステレオ画像処理を行えば、距
離データの信頼性の向上が期待できる。それとともに、
走行状況の認識精度およびより複雑な状況認識も可能に
なる。しかしながら、従来、カラー画像を用いてステレ
オ画像処理を行う際、カラー画像を構成する複数の原色
画像をどのように処理し、どのような情報を抽出するの
かについて、十分な検討が行われていなかった。

【０００４】また、近年、画像処理関連の技術の発達に
伴い、画像を扱う様々な分野でカラー化が進んでおり、
カラーイメージセンサのコストもますます安価になって
いる。そのため、ステレオ式車外監視システムにおいて
も、コスト的な観点からも、カラーイメージセンサの採
用が望まれている。

【０００５】本発明は、かかる事情に鑑みてなされたも
のであり、その目的は、一対のカラー画像を用いてステ
レオ画像処理を行うことで、距離データの信頼性の向上
を図ることである。

【０００６】

【課題を解決するための手段】かかる課題を解決するた
めに、第１の発明は、それぞれが複数の原色画像で構成
された一対のカラー画像を用いて、ステレオマッチング
を行う画像処理装置を提供する。この画像処理装置は、
ステレオ演算手段と融合処理手段とを有する。ステレオ
演算手段は、同一色の原色画像対を用いてステレオマッ
チングを行うことにより、それぞれの原色画像に関する
原色視差と、これらの原色視差に関するシティブロック
距離とを算出する。これらの原色視差およびシティブロ
ック距離は、視差の算出単位となる画像領域毎に算出さ
れる。融合処理手段は、それぞれの原色視差に基づい
て、画像領域毎の統一視差を算出する。それとともに、
融合処理手段は、原色視差およびシティブロック距離の
少なくとも一方の信頼性を示す信頼度情報を統一視差に
対応付けて出力する。

【０００７】ここで、第１の発明において、上記融合処
理手段は、一の画像領域に関する信頼性が高いと判断し
た場合には、この画像領域に関する統一視差を出力する
とともに、一の画像領域に関する信頼性が高くないと判
断した場合には、演算量の低減を図るために、この画像
領域に関する統一視差を出力しないことが好ましい。

【０００８】また、第１の発明において、上記融合処理
手段は、原色視差およびシティブロック距離の少なくと
も一方の信頼性を、所定の評価基準によって評価するこ
とが好ましい。この評価基準は、原色視差のそれぞれの
値が一致するか否かを判断する第１の個別条件を少なく
とも含むことが好ましい。また、この評価基準は、シテ
ィブロック距離のそれぞれが所定の判定しきい値よりも
小さいか否かを判断する第２の個別条件を少なくとも含
むことが好ましい。さらに、この評価基準は、シティブ
ロック距離の総和が、所定の判定しきい値よりも小さい
か否かを判断する第３の個別条件を少なくとも含むこと
が好ましい。

【０００９】また、第１の発明において、上記融合処理
手段は、検出すべき対象物の色に応じて、予め用意され
た複数の評価基準の中からいずれかの評価基準を選択し
て適用することが望ましい。

【００１０】さらに、第１の発明において、それぞれの
原色画像において、位置的に対応する実画素の位置ずれ
の影響を排除した基準画素の輝度値を算出するために、
基準画素と重なっている実画素の輝度値の加重平均によ
って、基準画素の輝度値を算出する補正手段をさらに設
けてもよい。

【００１１】第２の発明は、それぞれが複数の原色画像
で構成された一対のカラー画像を用いて、ステレオマッ
チングを行う画像処理装置を提供する。この画像処理装
置は、補正手段とステレオ演算手段とを有する。補正手
段は、それぞれの原色画像において、位置的に対応する
実画素の位置ずれの影響を排除した基準画素の輝度値を
算出するために、基準画素と重なっている実画素の輝度
値の加重平均によって、基準画素の輝度値を算出する。
また、ステレオ演算手段は、補正手段によって補正され
た同一色の原色画像対を用いてステレオマッチングを行
うことにより、それぞれの原色画像に関する原色視差
を、視差の算出単位となる画像領域毎に算出する。

【００１２】第３の発明は、それぞれが複数の原色画像
で構成された一対のカラー画像を用いて、ステレオマッ
チングを行う画像処理方法を提供する。この画像処理方
法は、同一色の原色画像対を用いてステレオマッチング
を行うことにより、それぞれの原色画像に関する原色視
差と、これらの原色視差に関するシティブロック距離と
を視差の算出単位となる画像領域毎に算出する第１のス
テップと、それぞれの原色視差に基づいて、画像領域毎
の統一視差を算出するとともに、原色視差およびシティ
ブロック距離の少なくとも一方の信頼性を示す信頼度情
報を統一視差に対応付けて出力する第２のステップとを
有する。

【００１３】ここで、上記第２のステップにおいて、一
の画像領域に関する信頼性が高いと判断した場合には、
この画像領域に関する統一視差を出力し、信頼性が高く
ないと判断した場合には、この画像領域に関する統一視
差を出力しないことが好ましい。

【００１４】また、上記第２のステップにおいて、原色
視差およびシティブロック距離の少なくとも一方の信頼
性を、所定の評価基準によって評価することが望まし
い。この評価基準は、原色視差のそれぞれの値が一致す
るか否かを判断する第１の個別条件を少なくとも含むこ
とが好ましい。また、この評価基準は、シティブロック
距離のそれぞれが所定の判定しきい値よりも小さいか否
かを判断する第２の個別条件を少なくとも含むことが好
ましい。さらに、この評価基準は、シティブロック距離
の総和が、所定の判定しきい値よりも小さいか否かを判
断する第３の個別条件を少なくとも含むことが好まし
い。

【００１５】また、上記第２のステップは、検出すべき
対象物の色に応じて、予め用意された複数の評価基準の
中からいずれかの評価基準を選択して適用するステップ
を含んでいてもよい。

【００１６】さらに、第３の発明において、それぞれの
原色画像において、位置的に対応する実画素の位置ずれ
の影響を排除した基準画素の輝度値を算出するために、
基準画素と重なっている実画素の輝度値の加重平均によ
って、基準画素の輝度値を算出する第３のステップをさ
らに設けてもよい。

【００１７】第４の発明は、それぞれが複数の原色画像
で構成された一対のカラー画像を用いて、ステレオマッ
チングを行う画像処理方法を提供する。この画像処理方
法は、それぞれの原色画像において、位置的に対応する
実画素の位置ずれの影響を排除した基準画素の輝度値を
算出するために、基準画素と重なっている実画素の輝度
値の加重平均によって、基準画素の輝度値を算出する第
１のステップと、補正された同一色の原色画像対を用い
てステレオマッチングを行うことにより、それぞれの原
色画像に関する原色視差を、視差の算出単位となる画像
領域毎に算出する第２のステップとを有する。

【００１８】

【発明の実施の形態】（第１の実施形態）図１は、自動
車等の車両に搭載されるステレオ画像処理装置の概略的
なブロック図である。この画像処理装置は、カラー画像
を構成する複数の原色画像（赤画像、緑画像および青画
像）のそれぞれをステレオマッチングの対象とし、原色
画像毎に独立して視差を算出し、その上で、（１）視差
の信頼性を評価し、（２）視差を融合する。このような
視差の評価・融合は、撮像画像に写し出された対象物の
色を考慮した上で行われる。以下、赤画像を「Ｒ画
像」、緑画像を「Ｇ画像」、青画像を「Ｂ画像」とい
う。

【００１９】車両前方を撮像するステレオカメラは、ル
ームミラーの近傍に取り付けられており、ＣＣＤやＣＭ
ＯＳセンサ等のイメージセンサを内蔵した一対のカメラ
１，２で構成されている。それぞれのカメラ１，２は、
車幅方向において所定の間隔（カメラ基線長）で取り付
けられている。基準画像を出力するメインカメラ１は、
車輌の進行方向に向かって右側に取り付けられている。
一方、比較画像を出力するサブカメラ２は、進行方向に
向かって左側に取り付けられている。

【００２０】それぞれのカメラ１，２は、赤緑青（ＲＧ
Ｂ）のそれぞれに別個のイメージセンサを内蔵している
（例えば、３板式カラーＣＣＤ）。メインカメラ１から
出力される基準画像は、実際には、Ｒ画像、Ｇ画像およ
びＢ画像の３つの原色画像によって構成される。同様
に、サブカメラ２から出力される比較画像も、Ｒ画像、
Ｇ画像およびＢ画像の３つの原色画像によって構成され
る。したがって、一対のカメラ１，２が１回の撮影タイ
ミングで出力する画像は合計６枚になる。以下、基準画
像を構成するＲ画像を基準画像（Ｒ）と記す場合があ
る。同様に、基準画像を構成するＧ画像を基準画像
（Ｇ）、Ｂ画像を基準画像（Ｂ）と記すことがある。比
較画像についても、Ｒ，Ｇ，Ｂ画像を、それぞれ、比較
画像（Ｒ）、比較画像（Ｇ）、比較画像（Ｂ）と記すこ
とがある。

【００２１】一対のカメラ１，２の同期が取れている状
態において、それぞれのカメラ１，２から出力されたア
ナログ画像は、後段の回路の入力レンジに合致するよう
に、アナログインターフェース３において調整される。
アナログインターフェース３中のゲインコントロールア
ンプ（ＧＣＡ）３ａは、対になるアナログ画像信号の明
るさバランスを調整する。この調整は、互いに同じ色
（Ｒ，Ｇ，Ｂ）の画像同士で行う。アナログインターフ
ェース３において調整されたアナログ画像対は、Ａ／Ｄ
コンバータ４により、所定の輝度階調（例えば、２５６
階調のグレースケール）のデジタル画像に変換される。

【００２２】補正回路５は、デジタル化された画像対を
構成する６つの原色画像のそれぞれについて、輝度の補
正および画像の幾何学的な変換等を行う。通常、一対の
カメラ１，２の取付位置は、程度の差こそあれ誤差があ
るため、それに起因したずれが左右の画像に存在してい
る。そこで、アフィン変換等を用いて、画像の回転や平
行移動等の幾何学的な変換を行う。これにより、ステレ
オマッチングを行う際の前提となる、画像対における水
平線（エピポーラライン）の一致が保証される。このよ
うな画像処理を経て、メインカメラ１の出力信号から、
一例として、水平方向（ｉ座標方向）が５１２画素（ピ
クセル）、垂直方向（ｊ座標方向）が２００画素（ピク
セル）の基準画像データが生成される。また、サブカメ
ラ２の出力信号から、基準画像データと垂直方向長が同
じで、基準画像データよりも大きな水平方向長の比較画
像データが生成される（一例として、水平方向が６４０
画素（ピクセル）、垂直方向が２００画素（ピクセ
ル））。補正回路５において補正された１フレーム相当
の基準画像データと比較画像データとは、ステレオ演算
回路６に出力される一方、画像データメモリ７に格納さ
れる。

【００２３】ステレオ演算回路６は、基準画像データと
比較画像データとに基づいて、ステレオマッチングを行
い、視差の算出単位となる画像領域（画素ブロック）毎
に視差を算出する。このステレオマッチングは、同一色
の原色画像対に関して別個に行われる。すなわち、Ｒ画
像（基準画像（Ｒ）と比較画像（Ｒ））、Ｇ画像（（基
準画像（Ｇ）と比較画像（Ｇ））、Ｂ画像（基準画像
（Ｂ）と比較画像（Ｂ））のそれぞれについて独立して
行われる。

【００２４】本実施形態では、一例として４×４画素の
画素ブロックを視差の算出単位としている。したがっ
て、１フレーム相当の画像全体では、基準画像に含まれ
る画素ブロックの個数分、すなわち１２８×５０個の視
差が算出され得る。基準画像中の一画素ブロックをステ
レオマッチングの対象とした場合、この対象画素ブロッ
クの輝度特性と相関を有する領域を比較画像を探索する
ことによって特定する。周知のとおり、ステレオ画像に
写し出された対象物（例えば先行車や車線等）までの距
離は、基準画像と比較画像との間における対象物の水平
方向のずれ量（視差）より一義的に特定される。したが
って、比較画像の探索を行う場合、対象画素ブロックの
ｊ座標と同じ水平線（エピポーラライン）上を探索範囲
とすればよい。ステレオ演算回路６は、このエピポーラ
ライン上を一画素ずつシフトしながら、比較画像側の画
素ブロック毎に、対象画素ブロックとの輝度特性の相関
を評価する。

【００２５】画素ブロック間における輝度特性の相関
は、例えば、シティブロック距離を算出することで評価
でき、基本的には、その値が最小となるものが相関を有
する画素ブロックである。そして、互いに相関を有する
（換言すれば、シティブロック距離が最小となる）画素
ブロック間の水平方向のずれ量が視差として出力され
る。なお、シティブロック距離を算出するためのハード
ウェア構成については、特開平５−１１４００９号公報
に開示されているので、必要ならば参照されたい。

【００２６】ステレオ演算回路６は、同一色の原色画像
同士（例えば、基準画像（Ｒ）と比較画像（Ｒ））でス
テレオマッチングを行い、視差とシティブロック距離と
を後段の融合処理部８に出力する。これにより、基準画
像を構成する一つの画素ブロックに関して、３つの視差
（原色視差）と３つのシティブロック距離とが算出され
る。以下、Ｒ画像より算出された原色視差をＮｒ、この
原色視差Ｎｒに関するシティブロック距離（探索範囲内
におけるシティブロック距離の最小値）をＭｒと記す。
同様に、Ｇ画像に関して算出された原色視差およびこの
原色視差に関するシティブロック距離をＮｇ，Ｍｇとそ
れぞれ記し、Ｂ画像より算出された原色視差およびこの
原色視差に関するシティブロック距離をＮｂ，Ｍｇとそ
れぞれ記す。なお、ステレオマッチング処理は、モノク
ロ画像を用いる場合に比べて処理量が増大するため、ス
テレオ演算回路６には十分な処理速度の演算回路を採用
する。

【００２７】融合処理部８は、ある画素ブロックに関し
て、３つの原色視差Ｎｒ，Ｎｇ，Ｎｂとシティブロック
距離Ｍｒ，Ｍｇ，Ｍｂとを用いて信頼性を評価した上で
融合し、その画素ブロックに関する統一的な視差Ｎｉ
（以下、「統一視差Ｎｉ」という）を算出する。このよ
うにして求められた統一視差Ｎｉの１フレーム分の集合
は、画像平面上の位置（ｉ，ｊ）と対応付けた上で、距
離データ（ｉ，ｊ，Ｎｉ）として距離データメモリ１４
に格納される。後述するように、それぞれの統一視差Ｎ
ｉには、原色視差Ｎｒ，Ｎｇ，Ｎｂおよびシティブロッ
ク距離Ｍｒ，Ｍｇ，Ｍｂの信頼性を示す信頼度情報が付
されるため、統一視差Ｎｉは信頼度情報と対応付けられ
た形態で距離データメモリ１４に格納される。

【００２８】マイクロコンピュータ１５（機能的に捉え
た場合、その機能的ブロックである認識部１６）は、道
路形状（直線やカーブ曲率）や車輌前方の立体物（例え
ば先行車）を認識する。この認識は、画像データメモリ
７に格納された画像データと距離データメモリ１４に格
納された距離データとに基づいて行われる。また、図示
していない車速センサや舵角センサからのセンサ情報、
或いはナビゲーション情報等も必要に応じて参照され
る。なお、道路形状の認識や立体物の認識に関する具体
的な手法については、特開平５−２６５５４７号公報に
開示されているので必要ならば参照されたい。これらの
認識結果に基づいて、警報が必要と判定された場合、モ
ニターやスピーカー等の警報装置１７を作動させてドラ
イバーに注意を促す。また、必要に応じて制御装置１８
を制御することにより、ＡＴ（自動変速機）のシフトダ
ウンやエンジン出力の抑制、或いはブレーキの作動とい
った車輌制御が適宜実行される。

【００２９】つぎに、それぞれの原色視差Ｎｒ，Ｎｇ，
Ｎｂを評価・融合して統一視差Ｎｉを算出する処理につ
いて詳述する。融合処理部８は、原色視差Ｎｒ，Ｎｇ，
Ｎｂ相互の一致性を判定し、一致する場合には、これら
の原色視差Ｎｒ，Ｎｇ，Ｎｂに基づいて統一視差Ｎｉを
算出する。その際、統一視差Ｎｉの算出に用いられる原
色視差Ｎｒ，Ｎｇ，Ｎｂは、後述する評価基準に従い、
検出すべき対象物の色を考慮して決定される。例えば、
検出対象物が青を含まない赤緑系の場合、赤の原色視差
Ｎｒと緑の原色視差Ｎｇとの一致性だけを判定する。

【００３０】また、融合処理部８は、上記の融合に際し
て、融合の対象となる入力データの信頼性を評価する。
具体的には、この評価は、ステレオ演算回路６によって
出力された原色視差Ｎｒ，Ｎｇ，Ｎｂと、これらの視差
Ｎｒ，Ｎｇ，Ｎｂを与えるシティブロック距離Ｍｒ，Ｍ
ｇ，Ｍｂとが、検出対象物毎に予め設定された評価基準
を具備しているか否かに基づいて行われる。なお、この
評価基準は、後述するように、図２に示すような評価基
準テーブル１００に記述されている評価基準の内のいず
れかが適用される。

【００３１】このような融合・評価処理を行うべく、融
合処理部８は、予め設定されたプログラムを実行するこ
とにより検出対象物を選定するプロセッサ９と、プログ
ラムおよび各種データが格納されたメモリ１０とを有す
る。メモリ１０は、プログラムおよびデータが固定的に
格納されたＲＯＭと、プロセッサ９のワーク領域等とし
て使用されるＲＡＭとを含む。このメモリ１０に格納さ
れている情報としては、例えば、評価基準テーブル１０
０が挙げられる。

【００３２】図２は、評価基準テーブル１００の一例を
示す図である。この評価基準テーブル１００には、識別
子１０１と、レベル１０２と、評価基準１０３とが対応
付けて記述されている。ここで、評価基準１０３は、評
価処理に際して用いられる基準であり、原色視差Ｎｒ，
Ｎｇ，Ｎｂまたはシティブロック距離Ｍｒ，Ｍｇ，Ｍｂ
に関する少なくとも一つの具体的な条件（以下、「個別
条件」という）を含む。本実施形態では、それぞれの評
価基準は、同図中に〜で記した３種類の個別条件を
含んでいる。ただし、検出対象物の色を考慮した場合、
すべての個別条件を適用するのが適切でないこともある
ので、検出対象物によっては個別条件が１つまたは２つ
のものもある。また、検出対象物の色の相違に対応する
ために、評価基準１０３は、検出対象物の色に含まれる
原色のパラメータ（原色視差Ｎｒ，Ｎｇ，Ｎｂ、シティ
ブロック距離Ｍｒ，Ｍｇ，Ｍｂ）のみで構成されてい
る。換言すれば、検出対象物の色に含まれない原色に関
するパラメータは、その検出対象物の評価基準１０３に
は含まれない。ある評価基準１０３において規定されて
いるすべての個別条件を具備するならば、その評価基準
を具備すると判断する。

【００３３】第１の個別条件（同図の）は、原色視差
Ｎｒ，Ｎｇ，Ｎｂの値の一致性に関する。具体的には、
原色視差Ｎｒ，Ｎｇ，Ｎｂの値を比較し、これらの差が
所定の範囲内であれば、値が一致するものと判断する。
ただし、検出対象物によっては、三原色（ＲＧＢ）をす
べて含むとは限らないので、このような検出対象物に関
しては、色成分に含まれない原色の原色視差は除外し、
残り２つの原色視差の一致性のみを規定している。例え
ば、追い越し禁止センターラインの色は、典型的にはオ
レンジ色であり、青色成分を含んでいない。そのため、
識別子Ｂに関する第１の個別条件から分かるように、赤
の原色視差Ｎｒと緑の原色視差Ｎｇとの一致性（Ｎｒ＝
Ｎｇ）だけで判断する。また、単一の原色しか含まない
検出対象物（例えば、赤信号）に関しては、評価基準と
して、第１の個別条件を規定しない。

【００３４】第２の個別条件（同図の）では、原色毎
に算出されたシティブロック距離Ｍｒ，Ｍｇ，Ｍｂ（最
小シティブロック距離）に基づいて、輝度特性の相関に
関する信頼性を原色毎に個別に判断する。具体的には、
シティブロック距離Ｍｒ，Ｍｇ，Ｍｂが所定の判定しき
い値Ｓｒ，Ｓｇ，Ｓｂよりも小さいことを原色毎に判定
し、すべての原色について肯定判定された場合に第２の
個別条件を具備するものと判断する。なお、これらの判
定しきい値Ｓｒ，Ｓｇ，Ｓｂは、レベル１０２に応じて
異なる値が設定されており、評価基準１０３が厳しくな
るほど、小さな値に設定されている（それゆえ、画素ブ
ロック間における輝度特性の相関性判定がより厳しくな
る）。なお、第１の個別条件と同様に、第２の個別条件
についても、検出対象物の色成分中に存在しない原色の
シティブロック距離Ｍｒ，Ｍｇ，Ｍｂは考慮しない。

【００３５】第３の個別条件（同図の）では、原色毎
に算出されたシティブロック距離Ｍｒ，Ｍｇ，Ｍｂに基
づいて、輝度特性の相関に関する信頼性を、すべての原
色を総合的にみて判断する。具体的には、各原色画像に
関するシティブロック距離Ｍｒ，Ｍｇ，Ｍｂの総和（Ｍ
ｒ＋Ｍｇ＋Ｍｂ）が所定の判定しきい値Ｓｉよりも小さ
い場合に第３の個別条件を具備するものと判断する。な
お、この判定しきい値Ｓｉは、レベル１０２に応じて異
なる値が設定されており、評価基準１０３が厳しくなる
ほど、小さな値に設定されている（それゆえ、画素ブロ
ック間における輝度特性の相関性判定がより厳しくな
る）。なお、第１の個別条件と同様に、第２の個別条件
についても、検出対象物の色成分中に存在しない原色の
シティブロック距離Ｍｒ，Ｍｇ，Ｍｂは考慮されておら
ず、また、単一の原色しか含まない検出対象物に関して
は、第３の個別条件は規定されていない。

【００３６】識別子１０１は、評価基準１０３を特定す
るために用いられ、評価基準１０３毎に個別に付与され
た記号・符号等である。評価基準テーブル１００には、
各種の検出対象物に対応すべく、様々な評価基準１０３
が記述されている。ただし、識別子１０１によって特定
される評価基準１０３は必ずしも１つではなく、レベル
１０２が異なる複数の評価基準１０３が記述されてい
る。どのレベル１０２の評価基準１０３を適用するか
は、検出対象選定部１１によって指定される。

【００３７】レベル１０２は、このレベル１０２に対応
する評価基準１０３を具備する場合に認定される信頼度
の高さである。本実施形態では、それぞれの検出対象物
に対して、評価の厳しさが異なる複数のレベルＨ，Ｍが
用意されており、信頼性がより高いレベルＨの方が、そ
れよりも信頼性が低いレベルＭよりも評価が厳しくなっ
ている。例えば、識別子ＡにおけるレベルＨの評価基準
１０３では、第１の個別条件（同図）として、３つ原
色視差Ｎｒ＝Ｎｇ＝Ｎｂであることが要求されている。
これに対して、識別子ＡにおけるレベルＭの評価条件１
０３では、第１の個別条件（同図）として、原色視差
Ｎｒ，Ｎｇ，Ｎｂの内の２つが一致することが要求され
ており、レベルＨよりも条件が緩和されている。

【００３８】図２に示した例の内、識別子Ａの評価基準
１０３（レベルＨ，レベルＬの双方を含む）は、検出対
象物として特定のものが指定されていないデフォルト時
に適用され、ＲＧＢ各色がほぼ均等に含まれていること
を想定している。識別子Ｂの評価基準１０３は、例え
ば、黄色（或いは、オレンジ色）の追い越し禁止センタ
ーラインを検出する際に適用される。また、識別子Ｃの
評価基準１０３は、例えば、赤信号を検出する際に適用
される。

【００３９】検出対象選定部１１は、現時点で検出すべ
き対象物を選定するとともに、選定された検出対象物に
適したいずれかの評価基準を選定する。検出対象物は、
車両走行時に出現し得るものであり、複数の対象物（例
えば、追い越し禁止センターラインや先行車のリアラン
プ等）が予め設定されている。検出対象選定部１１は、
図示しない車両の速度センサや操舵角センサ等より特定
される走行状況に応じて、いずれかの対象物を検出対象
物として選定する。一方、検出対象物が選択されると、
評価基準テーブル１００に記述されているいずれかの評
価基準１０３が、後述するインデックステーブル１３０
の内容に基づいて選定される。

【００４０】検出対象選定部１１は、予め設定されたプ
ログラムを実行することで検出対象物を選定するマイク
ロコンピュータ１２と、プログラムおよび各種データが
格納されたメモリ１３とを有する。メモリ１３は、プロ
グラムおよびデータが固定的に格納されたＲＯＭと、マ
イクロコンピュータ１２のワーク領域等として使用され
るＲＡＭとを含む。このメモリ１３に格納されている情
報としては、例えば、インデックステーブル１３０、評
価基準指定情報等が挙げられる。

【００４１】図３は、インデックステーブル１３０の一
例を示す図である。このインデックステーブル１３０に
は、検出対象物１３１と、それに最適な評価基準の識別
子１３２とが対応付けて記述されている。この識別子１
３２は、図２に示した評価基準テーブル１００と同一の
符号が用いられ、共通化されている。したがって、イン
デックステーブル１３０側でいずれかの識別子１３２が
特定されると、評価基準テーブル１００に記述された評
価基準も一義的に特定される。

【００４２】評価基準指定情報は、上述した演算処理に
よって選択された検出対象物に最適な評価基準を示す。
この評価基準指定情報は、メモリ１３（ＲＡＭ）におけ
る所定のアドレス領域（以下、「評価基準指定領域」と
いう）に格納・保持されている。そして、適用すべき評
価基準が更新されると、この評価基準指定領域に書き込
まれている情報も速やかに更新される。融合処理部８
は、評価基準指定領域にアクセスすることで、現時点で
適用すべき評価基準を獲得する。

【００４３】図４は、統一視差Ｎｉの算出手順を示すフ
ローチャートである。まず、ステップ１０１において、
ステレオ演算回路６は、画像データメモリ７に格納され
ている基準画像データと比較画像データとを読み出し、
ステレオマッチングを行う。上述したように、ステレオ
マッチングは、Ｒ画像，Ｇ画像，Ｂ画像のそれぞれにつ
いて互いに独立的に行われ、原色視差Ｎｒ，Ｎｇ，Ｎｂ
が別個に算出される。それぞれの原色画像に対して行わ
れるステレオマッチング自体は、モノクロ画像に対して
行われるステレオマッチングと同様である。

【００４４】つぎに、融合処理部８は、メモリ１３の評
価基準指定領域より評価基準指定情報を読み込むととも
に（ステップ１０２）、評価基準テーブル１００を参照
して、読み込んだ評価基準指定情報に対応する評価基準
を取得する（ステップ１０３）。例えば、評価基準指定
情報として識別子Ａが指定されている場合には、図２の
テーブルにおける識別子Ａに関する評価基準ＡH，ＡMの
双方が読み込まれる。ここで、”ＡH”は、識別子Ａで
レベルＨの評価基準を指し、ＡMは、識別子Ａでレベル
Ｍの評価基準を指す。

【００４５】つぎに、融合処理部８は、先のステップ１
０３において指定された評価基準ＡH，ＡMに基づいて、
ステレオマッチングの結果を評価し、一例として３段階
の評価結果（”Ｈ”，”Ｍ”，”Ｌ”）を出力する（ス
テップ１０４）。ここで出力された評価結果は、ある画
素ブロックに関する原色視差Ｎｒ，Ｎｇ，Ｎｂとそれに
関するシティブロック距離Ｍｒ，Ｍｇ，Ｍｂとの信頼性
の度合いを示す信頼度情報として用いられる。ステップ
１０４での評価処理は、レベルの高い評価基準が順番に
行う。例えば、評価基準情報として識別子Ａが指定され
ている場合、まず、高レベルの評価基準ＡHについて判
定する。この評価基準ＡHを具備する場合、すなわち評
価基準ＡHを構成する３つの個別条件をすべて具備する
場合には、評価結果（信頼度）として”Ｈ”（信頼性が
最も高いことを意味する）を確定し、評価基準ＡMに関
する判定は行わない。一方、評価基準ＡHを具備しない
場合には、それよりもレベルの低い評価基準ＡMの判定
に進む。そして、この評価基準ＡMを具備する場合、す
なわち、評価基準ＡMを構成する３つの個別条件をすべ
て具備する場合には、評価結果として”Ｍ”（信頼性が
中位であることを意味する）を確定する。また、評価基
準ＡMを具備しない場合には、評価結果として”Ｌ”
（信頼性が最も低いことを意味する）を確定する。

【００４６】つぎに、融合処理部８は、原色視差Ｎｒ，
Ｎｇ，Ｎｂに基づいて、これらを融合することにより統
一視差Ｎｉを算出する（ステップ１０５）。この融合手
法としては、例えば、原色視差Ｎｒ，Ｎｇ，Ｎｂの値を
比較して、これらの値が一致している場合にはその値を
統一視差Ｎｉとして決定・出力する。また、別の例とし
て、原色視差Ｎｒ，Ｎｇ，Ｎｂの積和演算（加重平均や
算術平均等を含む）によって、統一視差Ｎｉを算出して
もよい。なお、演算量の低減を図るために、融合処理部
８は、ある画素ブロックに関する原色視差Ｎｒ，Ｎｇ，
Ｎｂとシティブロック距離Ｍｒ，Ｍｇ，Ｍｂの信頼性の
度合いを示す信頼度情報より、これらの信頼性が高いと
判断した場合のみ、その画素ブロックに関する統一視差
Ｎｉを出力することが好ましい。換言すれば、これらの
信頼性が高くないと判断した場合には、その画素ブロッ
クに関する統一視差Ｎｉは出力されず、その代わりに無
効データが出力される。

【００４７】なお、ステップ１０５において、上述した
ように原色視差Ｎｒ，Ｎｇ，Ｎｂのすべてを比較すると
は限らず、図２の評価基準１０３における第２の個別条
件と同様に、検出対象物の色に含まれる原色に関する原
色視差Ｎｒ，Ｎｇ，Ｎｂのみを比較対象とすることが好
ましい。また、先のステップ１０４で得られた評価結果
が高い場合だけ（例えば、”Ｈ”または”Ｍ”の場
合）、原色視差Ｎｒ，Ｎｇ，Ｎｂの融合処理を行うよう
にしてもよい。

【００４８】そして、ステップ１０６において、融合処
理部８は、距離データとしての統一視差Ｎｉと、信頼度
情報としての評価結果（”Ｈ”，”Ｍ”，”Ｌ”のいず
れか）とを対応付けて出力する。互いに対応付けられた
統一視差Ｎｉおよび評価結果は、距離データメモリ１４
に格納される。

【００４９】ステレオ演算回路６および融合処理部８
は、処理対象を次の画素ブロックに変更したうえで同様
の処理を繰り返す。１フレーム分の統一視差Ｎｉと評価
結果とを求めることで、距離データメモリ１４には１フ
レーム分の距離データ（ｉ，ｊ，Ｎｉ）が信頼度情報付
で格納される。

【００５０】図５は、評価基準の指定手順を示すフロー
チャートである。まず、ステップ２０１において、検出
対象選定部１１は、図示していない各種センサの検出結
果等に基づいて、車速、加減速の様子、舵角、方向指示
器（あるいは、方向指示器操作レバー）等の走行状況を
検出する。

【００５１】ステップ２０２において、検出対象選定部
１１は、検出された走行状態に基づいて、現時点で検出
すべき対象物を選定する。例えば、右の方向指示器が点
灯（点滅）している場面としては、（１）追い越し、
（２）右折、といった場面が考えられる。追い越しと右
折との区別は、車速、加速状況等を考慮することで可能
である。検出対象選定部１１は、追い越しのために右の
方向指示器が点灯（厳密には点滅）していると判断した
場合には、検出対象物として追い越し禁止のセンターラ
インを選定する。このようなセンターラインを検出対象
物にする理由は、追い越し禁止の区域を走行時に、ドラ
イバによる追い越し操作に対する警告を与えるためであ
る。なお、方向指示器自体についてはランプ切れといっ
た事態も考えられるため、方向指示器の点灯状態ではな
く、方向指示器操作レバーの状態を検出してもよい。ま
た、検出対象選定部１１は、車速、車間距離等を考慮す
ることで前方車両への追突を警戒する必要がある状況で
は、検出対象物として車両のストップランプを選定す
る。ストップランプの点灯状態を検出することで前方車
両の減速が予測でき、ドライバに警告を与えることが可
能となる。

【００５２】つぎに、ステップ２０３において、検出対
象選定部１１は、インデックステーブル１３０を参照し
て、ステップ２０２において選定された検出対象物に対
応付けられている識別子を獲得する。なお、特定の検出
対象物が選定されていない状態では、デフォルト値とし
て識別子Ａ（最も汎用性の高い評価基準を指定）が設定
される。獲得された識別子は、新たな評価基準指定情報
としてメモリ１３（ＲＡＭ）の評価基準指定領域に書き
込まれ、従前の評価基準指定情報が更新される（ステッ
プ２０４）。

【００５３】検出対象選定部１１は、以上のような手順
を繰り返し実行することによって、走行状況に応じた検
出対象を適宜選定するとともに、検出対象物に応じて評
価基準を逐次更新・設定する。

【００５４】このように、本実施形態によれば、個々の
原色画像に関して原色視差Ｎｒ，Ｎｇ，Ｎｂを算出し、
これらに基づいて統一視差Ｎｉを算出するため、信頼性
の高い距離データを算出することができる。従来のモノ
クロ画像をベースとしたステレオ画像処理では、入力情
報に色情報は存在せず、それぞれの原色の輝度の総和が
輝度情報として得られるにすぎない。このため、ある画
像領域において各原色の輝度が急激に変化していたとし
ても、輝度総和が一定である限りは、変動量が互いに相
殺し合うため、原色ベースでの輝度エッジとしては認識
されない。これに対し、本実施形態のように、カラー画
像をベースとしたステレオ画像処理では、カラー画像を
構成する原色毎に撮像画像が得られるため、輝度エッジ
も原色毎に認識でき、原色毎の輝度エッジに起因した原
色視差Ｎｒ，Ｎｇ，Ｎｂを別個に算出できる。その際、
ある画素ブロックに関して算出される３つの原色視差Ｎ
ｒ，Ｎｇ，Ｎｂは、必ずしも同じ値になるとは限らな
い。このような原色視差の不一致は、画素ブロックに対
象物以外の背景部分が含まれてしまうこと、或いは、そ
の背景部分での色成分値が各原色によって異なることに
起因している。例えば、対象物が赤色であり、背景部分
が緑色である場合について考えると、Ｒ画像についての
ステレオ画像認識の結果は、対象物までの距離を反映し
た値となり、背景部分には赤色の成分は含まれていない
ため、背景部分の存在がＲ画像についての認識結果に影
響を与えることはない。しかしながら、背景部分には緑
色の成分が多く含まれているため、Ｇ画像についての認
識結果は、この背景までの距離を反映した値となってし
まう。その結果、緑の原色視差Ｎｇは赤の原色視差Ｎｒ
と一致しなくなる。本実施形態は、このような原色視差
Ｎｒ，Ｎｇ，Ｎｂの不一致が生じ得る点に鑑みなされた
ものであり、原色視差Ｎｒ，Ｎｇ，Ｎｂに基づいて、信
頼度情報付の統一視差Ｎｉを算出する。この信頼度情報
は、視差の融合処理における入力データ（原色視差Ｎ
ｒ，Ｎｇ，Ｎｂおよびシティブロック距離Ｍｒ，Ｍｇ，
Ｍｂ）の信頼性を示しているため、統一視差Ｎｉを利用
する認識部１６において、統一視差Ｎｉの信頼性に応じ
た利用を図ることができる。

【００５５】また、本実施形態では、検出しようとする
対象物の色を考慮した評価基準を設定し、検出対象物の
色が考慮された信頼度情報を生成・出力する。統一視差
Ｎｉの算出する際に、検出対象物の色も考慮することに
よって、より信頼性の高い距離データを算出することが
できる。これは、対象物の色が特徴的なものである場
合、例えば、周囲と比べて著しく異なった色である場合
において特に有効である。

【００５６】さらに、近年急速に価格が下がったカラー
ＣＣＤを使用できるため、画像処理装置の一層のコスト
低減を図ることができる。特に、イメージセンサのカラ
ー化が進んだ今日、白黒のイメージセンサを採用するこ
とはコスト的に却って高くつくという状況も生じつつあ
るが、本実施形態によればかかる不都合を回避すること
ができる。

【００５７】なお、本実施形態は、４色の補色フィルタ
（シアン、マゼンダ、イエロー、グリーン）を用いたカ
ラーカメラを用いた場合でも適用可能である。この補色
フィルタを用いたカラーカメラでは、光の利用効率が高
いため、高解像度化、暗い状況への対応という点で有利
である。ただし、上述した各種回路をそのまま使用する
ためには、このような補色フィルタを採用したカメラで
あっても、出力される画像データをＲＧＢのカラー画像
データに変換する必要がある。

【００５８】また、上述した実施形態では、融合処理部
８および検出対象選定部１１が、他の構成部分とを別個
に設けている。しかしながら、融合処理部８および検出
対象選定部１１は、ハードウエア構成上、必ずしも独立
的に存在している必要はなく、例えば、マイクロコンピ
ュータ１５に所定のプログラムを実行させることでこれ
らを実現してもよい。

【００５９】また、本発明は、評価基準を構成する個別
条件の個数および具体的な内容は、本実施形態に限定さ
れるものではなく、より多くのレベルに分けて評価基準
を用意してもよい。特に、評価基準は、原色視差Ｎｒ，
Ｎｇ，Ｎｂおよびシティブロック距離Ｍｒ，Ｍｇ，Ｍｂ
の双方について規定している必要は必ずしもなく、いず
れか一方であってもよい。さらに、インデックステーブ
ル１３０は、検出対象物１３１と評価基準を特定する識
別子１３２とを対応付けて記述しているが、色と評価基
準とを直接対応付けてもよい。

【００６０】また、上述した実施形態では、信頼度のレ
ベル毎に評価基準を別個に用意しているが、単一の評価
基準を一律に適用してもよい。この場合、この評価基準
をどの程度満たすかによって、信頼度を決定することが
好ましい。

【００６１】また、検出すべき対象物は、撮像画像中の
領域に応じて切り替えてもよい。例えば、画像の上側領
域についてステレオマッチングを行っている間は信号の
赤あるいは標識を検出対象物として設定しておく。そし
て、ステレオマッチングを行う領域が画像の下側部分に
達した場合には、検出対象物をセンターラインに変更す
る。これにより、１フレーム相当の撮像画像において、
種類の異なる検出対象物を同時に検出できる。これによ
り、複数の検出対象物に関する距離データを、効率的か
つ高精度で算出できる。この場合、検出対象選定部１１
は、検出対象物に応じた評価基準を、これを適用する画
像領域を示す”領域指定情報”と対応付けて保持する。
融合処理部８は、融合対象となる原色視差Ｎｒ，Ｎｇ，
Ｎｂが、撮像画像のいずれの部分に関するものであるか
を認識した上で、評価基準を検出対象選定部１１から読
み出す。ただし、上記”領域指定情報”は、必ずしもデ
ータとしての形態をとっている必要はない。すなわち、
メモリ１３への格納順（あるいは、格納領域）、融合処
理部８による読み出し順、演算処理順などを適当に取り
決めておくことで、結果的に領域毎に重み係数が使い分
けられるようにしても構わない。この場合には、この取
り決め自体が、”領域指定情報”に相当する。

【００６２】（第２の実施形態）上述した第１の実施形
態は、３板式カラーＣＣＤを構成する３枚の原色画像上
において、位置的に対応する画素（ピクセル）同士が完
全に同一位置に存在することを前提としている。このよ
うな前提が成立する限り、個々のＣＣＤには、同一の画
像が投影されており、ある画素Ｐ(i,J)を構成する赤画
素Ｃｒ(i,j)、緑画素Ｃｇ(i,j)および青画素Ｃｂ(i,j)
は、投影画像上において完全に同一位置に存在する。と
ころが、ビデオカメラ等に使用される民生用３板式カラ
ーＣＣＤでは、各原色画素Ｃｒ(i,j)，Ｃｇ(i,j)，Ｃｂ
(i,j)の位置を意図的にずらしていることが多い。各原
色画素Ｃｒ(i,j)，Ｃｇ(i,j)，Ｃｂ(i,j)が完全に一致
していると、画素間の境界が視覚上目立ってしまい好ま
しくないからである。そこで、本実施形態は、このよう
な特性を有するイメージセンサを内蔵したカメラ１，２
を採用した場合、意図的に設定された画素ずれの影響を
排除することにより、ステレオマッチングに適した撮像
画像対を生成するものである。なお、第１の実施形態と
同一の構成については、同一の符号を付して個々での説
明を省略する。

【００６３】本実施形態に係るステレオ画像処理装置
は、基本的に、図１に示したブロック図と同一の構成を
有する。ただし、カメラ１，２は、３板式カラーＣＣＤ
を内蔵したものが採用され、各原色画像における画素位
置は互いにずれている。また、補正回路５は、第１の実
施形態で述べた補正機能の他に、ＣＣＤ側で意図的に設
定された画素ずれを原色画像（Ｒ画像，Ｇ画像，Ｂ画
像）毎に補正する機能を備えている。

【００６４】図６は、画素の位置ずれ補正の説明図であ
る。基準画素（補正後の画素）をＣｓ(i,j)とし、補正
の対象となる実画素（補正前の画素）をＣｔ(i,j)とし
た場合、基準画素Ｃｓ(i,j)と重なっている少なくとも
一つの実画素Ｃｔ(i,j)の輝度値を入力とした加重平均
によって、基準画素Ｃｓ(i,j)の輝度値を算出する。例
えば、基準画素Ｃｓ(1,1)の補正後の輝度値は、この基
準画素Ｃｓ(1,1)に含まれる４つの実画素Ｃｔ(1,1)，Ｃ
ｔ(1,2)，Ｃｔ(2,1)，Ｃｔ(2,2)に基づいて算出する。

【００６５】画素ずれ補正は、数式１の加重平均演算で
基準画素Ｃsの輝度値Ｉsを算出することにより行われ
る。なお、同数式において、Ｉｓ(i,j)は基準画素Ｃｓ
(i,j)の輝度値であり、Ｉｔ(i,j)は実画素Ｃｔ(i,j)の
輝度値である。また、ａ1〜ａ4は、基準画素Ｃｓ(i,j)
と実画素Ｃｔ(i,j)との間のずれ量に応じて決定される
重み係数である。なお、このずれ量は、３板式カラーＣ
ＣＤの仕様より既知であるから、重み係数ａ1〜ａ4も一
義的かつ固定的に適用される。

【数１】Ｉｓ(i,j)＝ａ1×Ｉｔ(i,j)＋ａ2×Ｉｔ(i,j+
1)＋ａ3×Ｉｔ(i+1,j)＋ａ4×Ｉｔ(i+1,j+1)）

【００６６】例えば、図６に示すように、実画素Ｃｔ
(i,j)および基準画素Ｃｓ(i,j)が垂直・水平方向共に1/
2画素ずれている場合、数式２の算術平均によって、基
準画素Ｃｓ(i,j)の輝度値が一義的に算出される。

【数２】Ｉｓ(i,j)＝1/4（Ｉｔ(i,j)＋Ｉｔ(i,j+1)＋Ｉ
ｔ(i+1,j)＋Ｉｔ(i+1,j+1)）

【００６７】このような画素の位置ずれ補正、換言すれ
ば、実画素Ｃｔ(i,j)の位置を基準画素Ｃｓ(i,j)の位置
に見かけ上シフトしたことに伴う輝度値補正を、一枚の
原色画像を構成するすべての画素に対して実行する。こ
れにより、３板式カラーＣＣＤの仕様として意図的に設
定されている画素の位置ずれが解消され、ステレオマッ
チングに適した基準画像および比較が象が得られる。そ
の結果、より信頼性の高い距離データを算出することが
できる。それとともに、入手が容易で安価な民生品を用
いることで、ステレオ画像処理装置を安価に実現でき
る。

【００６８】

【発明の効果】本発明では、一対のカラー画像を用いて
ステレオ画像処理を行う際、カラー画像を構成する同一
色の原色画像毎に原色視差を算出する。そして、それぞ
れの原色視差を融合することによって、信頼度情報付で
統一視差を算出する。この信頼度情報は、視差の融合処
理における入力データの信頼性を示しているため、統一
視差を利用する後段の認識部において、統一視差の信頼
性に応じた利用を図ることができる。

【図面の簡単な説明】

【図１】ステレオ画像処理装置の概略的なブロック図

【図２】評価基準テーブルの一例を示す図

【図３】インデックステーブルの一例を示す図

【図４】統一視差の算出手順を示すフローチャート

【図５】評価基準の指定手順を示すフローチャート

【図６】画素の位置ずれ補正の説明図

【符号の説明】

１，２ カメラ ３ アナログインターフェース ４ Ａ／Ｄコンバータ ５ 補正回路 ６ ステレオ演算回路 ７ 画像データメモリ ８ 融合処理部 ９ プロセッサ １０ メモリ １１ 検出対象選定部 １２ マイクロコンピュータ １３ メモリ １４ 距離データメモリ １５ マイクロコンピュータ １６ 認識部 １７ 警報装置 １８ 制御装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ Ｆターム(参考） 2F112 AC03 AC06 BA03 CA05 FA03 FA31 FA35 FA45 5B057 BA13 CA01 CA08 CA13 CA16 CB01 CB08 CB16 CE16 DA15 DB03 DB06 DB09 DC02 5C054 AA01 CA04 EA01 FC04 FC11 FD02 HA30 5L096 AA02 AA06 AA09 BA02 CA05 DA03 FA66 FA69 FA70 GA17 GA40 GA51 HA07

Claims (18)

【特許請求の範囲】
1. 【請求項１】それぞれが複数の原色画像で構成された一
   対のカラー画像を用いて、ステレオマッチングを行う画
   像処理装置において、 同一色の原色画像対を用いてステレオマッチングを行う
   ことにより、それぞれの原色画像に関する原色視差と、
   当該原色視差に関するシティブロック距離とを、視差の
   算出単位となる画像領域毎に算出するステレオ演算手段
   と、 それぞれの原色視差に基づいて、前記画像領域毎の統一
   視差を算出するとともに、前記原色視差および前記シテ
   ィブロック距離の少なくとも一方の信頼性を示す信頼度
   情報を前記統一視差に対応付けて出力する融合処理手段
   とを有することを特徴とする画像処理装置。
2. 【請求項２】前記融合処理手段は、一の画像領域に関す
   る前記信頼性が高いと判断した場合には、当該画像領域
   に関する前記統一視差を出力し、前記信頼性が高くない
   と判断した場合には、当該画像領域に関する前記統一視
   差を出力しないことを特徴とする請求項１に記載された
   画像処理装置。
3. 【請求項３】前記融合処理手段は、前記原色視差および
   前記シティブロック距離の少なくとも一方の信頼性を、
   所定の評価基準によって評価することを特徴とする請求
   項１または２に記載された画像処理装置。
4. 【請求項４】前記評価基準は、前記原色視差のそれぞれ
   の値が一致するか否かを判断する第１の個別条件を少な
   くとも含むことを特徴とする請求項３に記載された画像
   処理装置。
5. 【請求項５】前記評価基準は、前記シティブロック距離
   のそれぞれが所定の判定しきい値よりも小さいか否かを
   判断する第２の個別条件を少なくとも含むことを特徴と
   する請求項３または４に記載された画像処理装置。
6. 【請求項６】前記評価基準は、前記シティブロック距離
   の総和が、所定の判定しきい値よりも小さいか否かを判
   断する第３の個別条件を少なくとも含むことを特徴とす
   る請求項３から５のいずれかに記載された画像処理装
   置。
7. 【請求項７】前記融合処理手段は、検出すべき対象物の
   色に応じて、予め用意された複数の評価基準の中からい
   ずれかの評価基準を選択して適用することを特徴とする
   請求項３から６のいずれかに記載された画像処理装置。
8. 【請求項８】それぞれの原色画像において、位置的に対
   応する実画素の位置ずれの影響を排除した基準画素の輝
   度値を算出するために、前記基準画素と重なっている前
   記実画素の輝度値の加重平均によって、前記基準画素の
   輝度値を算出する補正手段をさらに有することを特徴と
   する請求項１から７のいずれかに記載された画像処理装
   置。
9. 【請求項９】それぞれが複数の原色画像で構成された一
   対のカラー画像を用いて、ステレオマッチングを行う画
   像処理装置において、 それぞれの原色画像において、位置的に対応する実画素
   の位置ずれの影響を排除した基準画素の輝度値を算出す
   るために、前記基準画素と重なっている前記実画素の輝
   度値の加重平均によって、前記基準画素の輝度値を算出
   する補正手段と、 前記補正手段によって補正された同一色の原色画像対を
   用いてステレオマッチングを行うことにより、それぞれ
   の原色画像に関する原色視差を、視差の算出単位となる
   画像領域毎に算出するステレオ演算手段とを有すること
   を特徴とする画像処理装置。
10. 【請求項１０】それぞれが複数の原色画像で構成された
    一対のカラー画像を用いて、ステレオマッチングを行う
    画像処理方法において、 同一色の原色画像対を用いてステレオマッチングを行う
    ことにより、それぞれの原色画像に関する原色視差と、
    当該原色視差に関するシティブロック距離とを、視差の
    算出単位となる画像領域毎に算出する第１のステップ
    と、 それぞれの原色視差に基づいて、前記画像領域毎の統一
    視差を算出するとともに、前記原色視差および前記シテ
    ィブロック距離の少なくとも一方の信頼性を示す信頼度
    情報を前記統一視差に対応付けて出力する第２のステッ
    プとを有することを特徴とする画像処理方法。
11. 【請求項１１】前記第２のステップにおいて、一の画像
    領域に関する前記信頼性が高いと判断した場合には、当
    該画像領域に関する前記統一視差を出力し、前記信頼性
    が高くないと判断した場合には、当該画像領域に関する
    前記統一視差を出力しないことを特徴とする請求項１０
    に記載された画像処理方法。
12. 【請求項１２】前記上記第２のステップにおいて、前記
    原色視差および前記シティブロック距離の少なくとも一
    方の信頼性を、所定の評価基準によって評価することを
    特徴とする請求項１０または１１に記載された画像処理
    方法。
13. 【請求項１３】前記評価基準は、前記原色視差のそれぞ
    れの値が一致するか否かを判断する第１の個別条件を少
    なくとも含むことを特徴とする請求項１２に記載された
    画像処理方法。
14. 【請求項１４】前記評価基準は、前記シティブロック距
    離のそれぞれが所定の判定しきい値よりも小さいか否か
    を判断する第２の個別条件を少なくとも含むことを特徴
    とする請求項１２または１３に記載された画像処理方
    法。
15. 【請求項１５】前記評価基準は、前記シティブロック距
    離の総和が、所定の判定しきい値よりも小さいか否かを
    判断する第３の個別条件を少なくとも含むことを特徴と
    する請求項１２から１４のいずれかに記載された画像処
    理方法。
16. 【請求項１６】前記第２のステップは、検出すべき対象
    物の色に応じて、予め用意された複数の評価基準の中か
    らいずれかの評価基準を選択して適用するステップを含
    むことを特徴とする請求項１２から１５のいずれかに記
    載された画像処理方法。
17. 【請求項１７】それぞれの原色画像において、位置的に
    対応する実画素の位置ずれの影響を排除した基準画素の
    輝度値を算出するために、前記基準画素と重なっている
    前記実画素の輝度値の加重平均によって、前記基準画素
    の輝度値を算出する第３のステップをさらに有すること
    を特徴とする請求項１０から１６のいずれかに記載され
    た画像処理方法。
18. 【請求項１８】それぞれが複数の原色画像で構成された
    一対のカラー画像を用いて、ステレオマッチングを行う
    画像処理方法において、 それぞれの原色画像において、位置的に対応する実画素
    の位置ずれの影響を排除した基準画素の輝度値を算出す
    るために、前記基準画素と重なっている前記実画素の輝
    度値の加重平均によって、前記基準画素の輝度値を算出
    する第１のステップと、 補正された同一色の原色画像対を用いてステレオマッチ
    ングを行うことにより、それぞれの原色画像に関する原
    色視差を、視差の算出単位となる画像領域毎に算出する
    第２のステップとを有することを特徴とする画像処理方
    法。