JP2001069402A

JP2001069402A - ステレオカメラの調整装置

Info

Publication number: JP2001069402A
Application number: JP24252799A
Authority: JP
Inventors: Itaru Seta; 至瀬田
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 1999-08-30
Filing date: 1999-08-30
Publication date: 2001-03-16
Anticipated expiration: 2019-08-30
Also published as: US6987534B1; JP3587506B2; EP1081504A2; EP1081504A3

Abstract

(57)【要約】【課題】ステレオカメラの明るさバランスを自動的に調
整する調整装置を提供すること【解決手段】ステレオカメラの明るさバランスを調整す
る装置は、ゲインコントロールアンプ３ａ、マイクロコ
ンピュータ９とを有する。ゲインコントロールアンプ３
ａは、ステレオカメラから出力された一対の画像の明る
さのバランスをゲインによって調整する。また、マイク
ロコンピュータ９は、ゲインコントロールアンプ３ａか
ら出力された一方の画像中に設定された第１の評価ウイ
ンドウの全体的な輝度の大きさを表す第１の評価値を算
出すると共に、調整手段から出力された他方の画像中に
設定され、かつ、第１の評価ウインドウの輝度特性と相
関を有する領域に設定された第２の評価ウインドウの全
体的な輝度の大きさを表す第２の評価値を算出する。そ
して、マイクロコンピュータ９は、第１の評価値と第２
の評価値との差が小さくなるようにゲインの値を補正す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオカメラの
明るさバランスを自動的に調整する調整装置に関する。

【０００２】

【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た一対の車載カメラ（ステレオカメラ）を用いたステレ
オ式車外監視装置が注目されている。三次元計測技術の
一つであるステレオ法では、一方の画像中の画素ブロッ
クと相関を有する画素ブロックを他方の画像において特
定する（ステレオマッチング）。そして、両者の相対的
なずれ量である視差から、三角測量の原理を用いて距離
データを算出する。したがって、ステレオマッチングの
精度を高めるためには、換言すると、信頼性の高い距離
データを算出するためには、ステレオカメラの明るさバ
ランスが取れていなければならない。

【０００３】この点に関して、特開平５−１１４０９９
号公報および特開平５−２６５５４号公報には、ステレ
オカメラの出力特性の違い等に起因して生じる出力画像
信号のばらつきを、ルックアップテーブル（ＬＵＴ）を
参照して補正する技術が開示されている。画像信号のゲ
インおよびオフセット量を変更するルックアップテーブ
ルは、システムのＲＯＭ中に格納されている。各カメラ
から出力されたアナログ画像信号は、Ａ／Ｄコンバータ
によってデジタル信号に変換された後、ルックアップテ
ーブルによって調整される。これによって、画像信号の
ばらつきが補正されるため、後処理におけるステレオマ
ッチングの精度を向上させることができる。

【０００４】

【発明が解決しようとする課題】上述した従来の技術に
おいては、ステレオカメラの出力特性が一致するような
ルックアップテーブルを製造段階において個別的に設定
し、それを監視装置におけるＲＯＭ等の記憶装置に格納
している。しかしながら、その後の使用環境または経年
変化によって、ステレオカメラの出力特性が初期設定の
状態から徐々にずれてくる。そのため、初期設定でバラ
ンスが取れていたとしても、そのバランスは徐々に崩れ
てくるため、ステレオマッチングの精度が経年的に低下
するおそれがあるという問題がある。

【０００５】そこで、本発明の目的は、ステレオカメラ
の明るさバランスを自動的に調整する調整装置を提供す
ることである。

【０００６】また、本発明の別の目的は、ステレオカメ
ラの明るさバランスを調整することにより、車外監視の
精度の向上を図ることである。

【０００７】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明は、ステレオカメラの明るさバランスを調
整する装置において、ステレオカメラから出力された一
対の画像の明るさのバランスをゲインによって調整する
調整手段と、調整手段から出力された一方の画像中に設
定された第１の評価ウインドウの全体的な輝度の大きさ
を表す第１の評価値を算出すると共に、調整手段から出
力された他方の画像中に設定され、かつ、第１の評価ウ
インドウの輝度特性と相関を有する領域に設定された第
２の評価ウインドウの全体的な輝度の大きさを表す第２
の評価値を算出する算出手段と、第１の評価値と第２の
評価値との差が小さくなるように、ゲインの値を補正す
る補正手段とを有するステレオカメラの調整装置を提供
する。

【０００８】ここで、第２の評価ウインドウの位置は、
ステレオ法の特性上、第１の評価ウインドウの位置に対
して、水平方向にオフセットさせることが好ましい。

【０００９】また、算出手段は、第１の評価ウインドウ
の輝度特性と相関を有する領域を、他方の画像を探索す
ることにより特定し、当該特定された領域に第２の評価
ウインドウを設定することが好ましい。

【００１０】また、上記の構成にステレオ演算手段をさ
らに設けてもよい。このステレオ演算手段は、一方の画
像中の画素ブロック毎に、当該画素ブロックの輝度特性
と相関を有する領域を他方の画像において特定すること
により、当該画素ブロックの距離データを算出する。こ
の場合、算出手段は、第１の評価ウインドウ内の距離デ
ータに基づいて、第１の評価ウインドウの輝度特性と相
関を有する領域を特定し、当該特定された領域に第２の
評価ウインドウを設定することが好ましい。その際、算
出手段は、第１の評価ウインドウ内の複数の距離データ
のうち、出現度数が最も大きな距離データに基づいて、
第１の評価ウインドウの輝度特性と相関を有する領域を
特定してもよい。

【００１１】一方、算出手段は、特定された領域に基づ
いて探索範囲を設定し、当該探索範囲内において第１の
評価ウインドウの輝度特性と相関を有する領域を特定す
ることにより、第２の評価ウインドウを設定してもよ
い。

【００１２】さらに、算出手段は、相関先の特定精度の
向上を図るという観点から、第１の評価ウインドウ内の
距離データのうち、水平方向において輝度エッジを有す
る画素ブロックに係る距離データに基づいて、第２の評
価ウインドウを設定することが好ましい。

【００１３】一方、第１の評価ウインドウを、一方の画
像中の異なる位置に設定された複数の第１の領域で構成
してもよい。この場合、第２の評価ウインドウは、他方
の画像中の異なる位置に設定すると共に、それぞれが第
１の領域と位置的に対応した複数の第２の領域で構成す
る。そして、第２の領域のそれぞれの位置は、第１の領
域を基準として水平方向に異なるオフセット量で設定す
る。この場合、水平方向のオフセット量は、第１の領域
に映し出される立体物までの距離の傾向を考慮して設定
することが望ましい。

【００１４】

【発明の実施の形態】図１は、本実施例にかかる調整装
置を用いたステレオ式車外監視装置のブロック図であ
る。車外の景色を撮像するステレオカメラは、ルームミ
ラーの近傍に取り付けられており、ＣＣＤ等のイメージ
センサを内蔵した一対のカメラ１，２で構成されてい
る。各カメラ１，２は、車幅方向において所定の間隔で
取り付けられている。基準画像を得るためのメインカメ
ラ１は、車輌の進行方向に向かって右側に取り付けられ
ている。一方、比較画像を得るためのサブカメラ２は、
進行方向に向かって左側に取り付けられている。カメラ
対１，２の同期が取れている状態において、各カメラ
１，２から出力されたアナログ画像は、後段の回路の入
力レンジに合致するように、アナログインターフェース
３において調整される。アナログインターフェース３中
のゲインコントロールアンプ（ＧＣＡ）３ａは、一対の
アナログ画像信号の明るさバランスを調整する。各アン
プ３ａのゲインは、マイクロコンピュータ９から出力さ
れたゲイン指示値ＧＳＵＢ，ＧＭＡＩＮに応じた値に設
定される。

【００１５】アナログインターフェース３において調整
されたアナログ画像対は、Ａ／Ｄコンバータ４により、
所定の輝度階調（例えば、256階調のグレースケール）
のデジタル画像に変換される。デジタル化された画像対
（ステレオ画像）は、補正回路５において、輝度の補正
および画像の幾何学的な変換等が行われる。通常、ステ
レオカメラ１，２の取付位置は、程度の差こそあれ誤差
があるため、それに起因したずれが左右の画像に存在し
ている。そこで、アフィン変換等を用いて、画像の回転
や平行移動等の幾何学的な変換を行う。これにより、ス
テレオマッチングを行う際の前提となる、画像対におけ
る水平線の一致が保証される。このような画像処理を経
て、メインカメラ１の出力信号から、水平方向が512画
素、垂直方向が200画素の基準画像データが生成され
る。また、サブカメラ２の出力信号から、基準画像デー
タと垂直方向長が同じで、基準画像データよりも大きな
水平方向長の比較画像データが生成される（一例とし
て、水平方向が640画素、垂直方向が200画素）。基準画
像データおよび比較画像データは、画像データメモリ７
に格納される。

【００１６】ステレオ演算回路６は、基準画像データと
比較画像データとに基づいて距離データを算出する。こ
の距離データは、4×4画素の画素ブロック毎に一つ算出
されるため、一フレームの基準画像全体では128×50個
の距離データが算出され得る。基準画像中の一画素ブロ
ックを対象とした場合、その対象画素ブロックの輝度特
性と相関を有する領域を比較画像を探索することにより
特定する（ステレオマッチング）。周知のとおり、ステ
レオ画像に映し出された対象物までの距離は、ステレオ
画像における視差、すなわち、基準画像と比較画像との
間における水平方向のずれ量として現れる。したがっ
て、比較画像の探索を行う場合、対象画素ブロックのｊ
座標と同じ水平線（エピポーラライン）上を探索すれば
よい。ステレオ演算回路６は、このエピポーラライン上
を一画素ずつシフトしながら、画素ブロック毎に対象画
素ブロックとの相関を評価する。画素ブロック間の相関
は、例えば、シティブロック距離を算出することで評価
でき、基本的には、その値が最小となるものが相関を有
する画素ブロックである。そして、画素ブロック間の視
差が距離データとして出力される。なお、シティブロッ
ク距離を算出するためのハードウェア構成については、
特開平５−１１４００９号公報に開示されているので、
必要ならば参照されたい。以上の手法によって算出され
た一フレーム分の距離データは、距離データメモリ８に
格納される。

【００１７】マイクロコンピュータ９（機能的に捉えた
場合、その機能的ブロックである認識部１０）は、道路
形状（直線やカーブ曲率）や車輌前方の立体物（走行
車）等を認識する。この認識は、画像データメモリ７中
に記憶された画像データと距離データメモリ８に格納さ
れた距離データとに基づいて行われる。また、図示して
いない車速センサや舵角センサからのセンサ情報、或い
はナビゲーション情報等も必要に応じて参照される。道
路形状の認識や立体物の認識に関する具体的な手法につ
いては、特開平５−２６５５４７号公報に開示されてい
るので必要ならば参照されたい。これらの認識結果に基
づいて、警報が必要と判定された場合、モニターやスピ
ーカー等の警報装置１１を作動させてドライバーに注意
を促す。また、必要に応じて制御装置１２を制御するこ
とにより、ＡＴ（自動変速機）のシフトダウンやエンジ
ン出力の抑制、或いはブレーキの作動といった車輌制御
が実行される。

【００１８】（第１の実施例）マイクロコンピュータ９
(機能的に捉えた場合、その機能的ブロックである演算
部１３）は、図２および図３に示したフローチャートに
したがって、ゲインコントロールアンプ３ａのゲインに
関するフィードバック調整を行う。このフローチャート
は、所定期間のサイクル毎に繰り返し実行される。演算
部１３において算出されたメインカメラ１用ゲインコン
トロールアンプ３ａのゲイン指示値（以下、メインゲイ
ン指示値という）ＧＭＡＩＮおよびサブカメラ２用ゲイ
ンコントロールアンプ３ａのゲイン指示値（以下、サブ
ゲイン指示値という）ＧＳＵＢは、Ｄ／Ａコンバータ１
４によってアナログ変換され、変換されたアナログ信号
が各ゲインコントロールアンプ３ａに入力される。

【００１９】まず、演算部１３は、ステップ１におい
て、基準画像中に設定された第１の評価ウインドウＷ１
内に存在する各画素の輝度データＡ１を読み込む。図４
は、第１の評価ウインドウＷ１および後述する第２の評
価ウインドウＷ２の設定位置を説明するための図であ
る。第１の評価ウインドウＷ１は、ｉ−ｊ座標で表され
る基準画像における所定位置（その座標を（ａ，ｂ）と
する）において固定的に設定され、16×16画素の面積を
有している。したがって、このステップにおいて256個
の輝度データＡ１が読み込まれる。なお、本実施例で
は、第１の評価ウインドウＷ１の位置を、基準画像の比
較的中央付近であって、自車輌の20〜30ｍ前方を映し出
す領域に設定している。

【００２０】ステップ１に続くステップ２において、第
１の評価ウインドウＷ１内の距離データに基づいて、第
２の評価ウインドウＷ２が比較画像において特定され
る。上述したように、距離データは、4×4画素の画素プ
ロック毎に一つ算出されるので、第１の評価ウインドウ
Ｗ１内には16個の距離データｄi（ｉは1〜16）が存在し
得る。これらの距離データｄiのヒストグラムを取り、
出現度数の最も多い値(最頻距離値)を両評価ウインドウ
Ｗ１，Ｗ２間の視差χとする。そして、この視差χに基
づいて、第１の評価ウインドウＷ１と同じ面積（16×16
画素）を有する第２の評価ウインドウＷ２が、比較画像
における座標（ａ＋χ，ｂ）において設定される（図４
参照）。つまり、通常、第２の評価ウインドウＷ２は、
第１の評価ウインドウＷ１の位置を基準として水平方向
に視差χ分オフセットして設定される。なお、視差χを
算出する他の手法としては、最頻距離値を用いた場合よ
りも精度が劣る場合があるが、第１の評価ウインドウＷ
１内の複数の距離データｄiの平均値を用いてもよい。

【００２１】このようにして算出された第２の評価ウイ
ンドウＷ２は、輝度特性に関して第１の評価ウインドウ
Ｗ１と相関を有している。ある対象画素ブロックに係る
距離データは、その画素ブロックの相関先（比較画像に
おける相関領域の位置）を示した値であるといえる。つ
まり、距離データが特定されれば、対象画素ブロックの
相関先を特定することができる。したがって、第１の評
価ウインドウＷ１内の各距離データｄiが十分な精度を
有しているならば、上記の手法により算出された視差χ
は、第１の評価ウインドウＷ１の全体的な相関先を示す
ものとして十分に信頼できる値である。

【００２２】なお、第１の評価ウインドウＷ１内の距離
データｄiを参照することなく、第２の評価ウインドウ
Ｗ２の位置を特定することも可能である。この場合、第
１の評価ウインドウＷ１の座標（ａ，ｂ）を基準とし
て、比較画像におけるエピポーラライン（ｊ＝ｂ）上を
ステレオマッチングの方向（本実施例では右方向）に１
画素ずつずらしながら、16×16画素の領域の相関を評価
していく。そして、最も大きな相関を有する領域を第２
の評価ウインドウＷ２として設定する。しかしながら、
この手法は、距離データを参照する上記の手法と比べ
て、第１の評価ウインドウＷ１の相関先を探索するのに
要する演算量が増加してしまう。第１の評価ウインドウ
Ｗ１内に存在する距離データｄiを用いれば、第１の評
価ウインドウＷ１の相関先を少ない演算量で特定するこ
とができる。

【００２３】ステップ２に続くステップ３において、第
２の評価ウインドウＷ２内に存在する256個の輝度デー
タＡ２が読み込まれる。そして、各評価ウインドウＷ
１，Ｗ２の全体的な輝度の大きさを評価するために、第
１の評価ウインドウＷ１の平均輝度ＡＶＥ１と第２の評
価ウインドウＷ２の平均輝度ＡＶＥ２とが算出される
（ステップ４）。平均輝度ＡＶＥ１（またはＡＶＥ２）
は、ステップ１（またはステップ３）において読み込ま
れた256個の輝度データＡ１（またはＡ２）の平均値で
ある。そして、今回のサイクルにおいて算出された平均
輝度ＡＶＥ１，ＡＶＥ２は、マイクロコンピュータ９の
ＲＡＭ中にストアされる（ステップ５）。ストアされた
平均輝度ＡＶＥ１，ＡＶＥ２がそれぞれ30サンプルに達
するまでの各サイクルでは、ステップ６において否定判
定されるため、ステップ１からステップ５までの一連の
手順が繰り返される。

【００２４】各平均輝度ＡＶＥ１，ＡＶＥ２が30サンプ
ル分ストアされると、そのサイクルにおけるステップ６
で肯定判定されるため、ゲイン指示値ＧＭＡＩＮ，ＧＳ
ＵＢの調整手順に移行する（図３のステップ７以降）。
まず、ステップ７において、ストアされた各30サンプル
の平均輝度ＡＶＥ１，ＡＶＥ２に関する相関性（換言す
ればサンプルとしての信頼性）を評価するために、相関
係数Ｒ（correlationcoefficient）が算出される。各サ
ンプルを（ＡＶＥ１_i，ＡＶＥ２_i）（iは１〜３０）で
示すと、下式よりサンプル全体における相関係数Ｒを算
出することができる。ここで、／ＡＶＥ１は、平均輝度
ＡＶＥ１に関する30サンプルの平均値、／ＡＶＥ２は、
平均輝度ＡＶＥ２に関する30サンプルの平均値である。

【００２５】

【数１】

【００２６】このようにして算出された相関係数Ｒは、
常に-1≦Ｒ≦+1の範囲にある。理想的な状態において、
各サンプル点（ＡＶＥ１_i，ＡＶＥ２_i）は、直線ＡＶＥ
２_i＝ｂ＊ＡＶＥ１_i＋ａ上に存在し、この状態における
相関係数Ｒは＋1になる（正の完全相関）。これに対し
て、サンプルがノイズ等の影響を受けている場合、その
影響が大きいほど各サンプル点（AVE1_i，AVE2_i）は散ら
ばっていくため、相関係数Ｒは小さくなっていく。した
がって、相関係数Ｒを算出することにより、ストアされ
たサンプルデータＡＶＥ１_i，ＡＶＥ２_iの信頼性を評価
することができる（ステップ８）。本実施例では、相関
係数Ｒが＋0.99未満の場合、ストアされたデータの信頼
性が低いものと判断する。この場合、不適切な明るさバ
ランス調整を行わないよう、メインゲイン指示値ＧＭＡ
ＩＮおよびサブゲイン指示値ＧＳＵＢの双方の値は変更
しない（ステップ１５）。そして、マイクロコンピュー
タ９中のＲＡＭにストアされた各30サンプルをクリアし
て（ステップ１２）、リターンへ進む。一方、相関係数
Ｒが＋0.99以上の場合は、ストアされたデータは信頼性
を有するものと判断して、ステップ９に進む。

【００２７】ステップ９において、サンプル毎の平均輝
度差の総和ＳＵＭを下式により算出する（1≦ｉ≦3
0）。

【００２８】

【数２】ＳＵＭ＝Σ（ＡＶＥ１_i−ＡＶＥ２_i）

【００２９】平均輝度差の総和ＳＵＭは、メインカメラ
１とサブカメラ２との明るさバランスが完全に取れてい
るならば理論上は0になる。しかしながら、制御の安定
性を考慮して、総和ＳＵＭが所定の範囲内（例えば、-3
500〜+3500）ならば、現在のゲインは適正な状態である
と判断する。この場合は、メインゲイン指示値ＧＭＡＩ
Ｎおよびサブゲイン指示値ＧＳＵＢの双方の値は変更し
ない（ステップ１０，１３，１５）。

【００３０】これに対して、総和ＳＵＭが負の判定しき
い値（-3500）以下の場合（すなわちサブカメラ２から
出力された比較画像の方が明るい場合）、ステップ１０
において肯定判定されるためステップ１１に進む。この
場合、サブゲイン指示値ＧＳＵＢに関しては現在の値に
1が加算され、メインゲイン指示値ＧＭＡＩＮに関して
は現在の値がそのまま用いられる。ゲインの値を加算す
ることにより、サブカメラ２から出力された比較画像は
ゲインの変更前と比較して暗くなるため、カメラ１，２
の明るさのアンバランスが解消する方向に調整される。
これにより、それ以降のサイクルで算出される第１の評
価ウインドウＷ１の平均輝度ＡＶＥ１と第２の評価ウイ
ンドウＷ２の平均輝度ＡＶＥ２との差は小さくなる。そ
して、ステップ１１に続くステップ１２においてストア
されたサンプルデータをクリアした後、リターンへ進
む。

【００３１】なお、現在のサブゲイン指示値ＧＳＵＢに
１を加算すると、サブゲイン指示値ＧＳＵＢが所定の許
容修正範囲（例えば-30〜+30）から逸脱してしまう場合
は、サブゲイン指示値ＧＳＵＢの変更は行わない。この
場合、サブゲイン指示値ＧＳＵＢに1を加算する代わり
に、現在のメインゲイン指示値ＧＭＡＩＮから1を減算
する。ゲインの値を減算することにより、メインカメラ
１から出力された基準画像はゲインの変更前と比べて明
るくなるため、カメラ１，２の明るさのアンバランスが
解消する方向に調整される。なお、どちらのゲイン指示
値ＧＭＡＩＮ，ＧＳＵＢも許容修正範囲から逸脱してし
まうようなケースは、調整不能であると判断して、どち
らの値も変更しない(後述するステップ１４におけるゲ
イン値の変更についても同様)。

【００３２】一方、総和ＳＵＭが正の判定しきい値（+3
500）以上の場合（すなわちサブカメラ２から出力され
た比較画像の方が暗い場合）、ステップ１０で否定判定
され、かつ、ステップ１３で肯定判定されるため、ステ
ップ１４に進む。この場合、サブゲイン指示値ＧＳＵＢ
に関しては現在の値から１が減算され、メインゲイン指
示値ＧＭＡＩＮに関しては現在の値がそのまま用いられ
る。その結果、サブカメラ２から出力された比較画像は
ゲインの変更前と比べて明るくなるため、カメラ１，２
の明るさのアンバランスが解消する方向に調整される。
これにより、第１の評価ウインドウＷ１の平均輝度ＡＶ
Ｅ１と第２の評価ウインドウＷ２の平均輝度ＡＶＥ２と
の差が小さくなる。そして、ステップ１４に続くステッ
プ１２においてストアされたサンプルデータをクリアし
た後、リターンへ進む。

【００３３】なお、現在のサブゲイン指示値ＧＳＵＢか
ら1を減算すると、サブゲイン指示値ＧＳＵＢが許容修
正範囲から逸脱してしまう場合は、サブゲイン指示値Ｇ
ＳＵＢの変更は行わない。この場合、サブゲイン指示値
ＧＳＵＢから1を減算する代わりに、現在のメインゲイ
ン指示値ＧＭＡＩＮに1を加算する。これにより、メイ
ンカメラ１から出力された基準画像が暗くなるため、カ
メラ１，２の明るさのアンバランスが解消する方向に調
整される。

【００３４】以上のようなゲインに関するフィードバッ
ク調整を監視制御と並行して行うことにより、ステレオ
カメラの明るさバランスが適切な状態になるような自動
調整を行うことができる。したがって、経年変化や使用
環境によってステレオカメラの出力特性等が初期設定さ
れた状態から変化した場合であっても、ステレオカメラ
の明るさバランスを適切に調整することができる。そし
て、このような状態で得られた画像信号に基づいて距離
データを算出すれば、距離データの信頼性、換言すれ
ば、車外監視の精度の向上を図ることができる。

【００３５】また、本実施例では、第１の評価ウインド
ウＷ１の相関先である第２の評価ウインドウＷ２の位置
は、第１の評価ウインドウＷ１内に存在する距離データ
に基づいて設定される。そして、この距離データから算
出された位置に第２の評価ウインドウＷ２を設定するこ
とで、ステレオカメラの明るさバランスのずれを精度よ
く検出することができる。上述したように、ある小領域
（画素ブロック）について算出された距離データは、そ
の小領域の相関先を示している。そのため、小領域の集
合である第１の評価ウインドウＷ１内に存在する距離デ
ータの最頻値（最頻距離値）は、第１の評価ウインドウ
Ｗ１の全体的な相関先を表していると考えてよい。これ
により、両評価ウインドウＷ１，Ｗ２は、正常な状態で
は、ほぼ同様の輝度特性を有することが保証される。換
言すると、両評価ウインドウＷ１,Ｗ２間に輝度差が生
じるということは、ステレオカメラの明るさバランスが
ずれていることを意味している。

【００３６】また、第１の評価ウインドウＷ１内の距離
データに基づいて第２の評価ウインドウＷ２を設定する
手法は、第１の評価ウインドウＷ１の相関先を比較画像
全体を探索して特定する手法と比べて、演算量を大幅に
低減することができる。その結果、マイクロコンピュー
タ９の処理能力をそれほど必要とすることなく、車外監
視制御と並行して、リアルタイムで明るさバランスの調
整を行うことができるという効果もある。

【００３７】さらに、本実施例では、ゲイン調整におけ
る基本的な入力パラメータである平均輝度ＡＶＥ１，Ａ
ＶＥ２（サンプルデータ）の信頼性を相関係数Ｒに基づ
いて検証している。そして、それが十分な信頼性を有す
ると判断された場合のみ、ゲイン調整を実行するように
している。したがって、ノイズ等の影響を受けにくく、
適切なゲイン調整を行うことが可能となる。

【００３８】なお、上述した実施例の変形例として、以
下のような手法を用いてもよい。

【００３９】（１）上記の実施例では、第１の評価ウイ
ンドウＷ１内の距離データｄiから視差χを求め、この
視差χに基づいて第２の評価ウインドウＷ２の位置を座
標（ａ＋χ，ｂ）に設定している。つまり、算出された
視差χから第２の評価ウインドウＷ２の位置は一義に決
定される。これに対して、算出された視差χから第２の
評価ウインドウＷ２の探索範囲を設定し、その範囲内に
おいて最も大きな相関を有する領域を第２の評価ウイン
ドウＷ２として設定してもよい。図５は、第２の評価ウ
インドウＷ２の探索範囲を説明するための図である。第
１の評価ウインドウ内の距離データｄiから算出された
視差χに基づいて、基準座標Ｆ（ａ＋χ，ｂ）が特定さ
れる。探索範囲は、基準座標Ｆを基準に設定された所定
幅のエピポーラライン上、すなわち座標（ａ＋χ±Ａ，
ｂ）の範囲とする。ステレオマッチングにおいては、基
準画像中の画素ブロックの相関先は、比較画像における
同一水平線上に存在することが前提となっている。した
がって、この探索範囲を探索することにより、第１の評
価ウインドウＷ１の相関先を特定することができる。こ
の手法は、第１の実施例と比べて相関領域の探索に要す
る演算量は増加する。しかしながら、第１の評価ウイン
ドウＷ１内に存在する距離データの信頼性が十分でない
場合においても、第１の評価ウインドウＷ１の相関先を
適切に特定することができる。

【００４０】（２）上述したように、ステレオマッチン
グは、基準画像における画素ブロックの輝度特性と相関
を有する画素ブロックを特定することにより、距離デー
タを算出する。したがって、輝度特性（特に水平方向の
輝度エッジ）にあまり特徴がない画素ブロックは、ミス
マッチが生じやすく、その画素ブロックに係る距離デー
タの信頼性は高くない場合が多い。このような観点か
ら、第１の評価ウインドウＷ１内の距離データｄiのう
ち信頼性の高いデータ（すなわち、輝度エッジを有する
画素ブロックに係る距離データ）のみを用いて視差χを
算出することが好ましい。図６は、画素ブロックに関す
る水平方向の輝度エッジ（輝度の変化量）の評価手法を
説明するための図である。距離データの算出単位である
画素ブロックにおいて、水平方向において隣接した画素
対の輝度変化量（絶対値）ΔＰ_n（ｎは1〜16）を算出す
る。ただし、一番左側の画素列（Ｐ₁₁，Ｐ₁₂，Ｐ₁₃，Ｐ
₁₄）に関しては、左側に隣接した画素ブロックの一番右
側の画素列から輝度変化量ΔＰを算出する。つぎに、こ
れらの16個の輝度変化量ΔＰのうち、所定の判定しきい
値以上のものの数をカウントする。16個の輝度変化量Δ
Ｐのうちしきい値以上の輝度変化量ΔＰが４つ未満の画
素ブロックは、輝度の特徴があまりなく、それに係る距
離データの信頼性は低いものと判断する（無効距離デー
タ）。一方、しきい値以上の輝度変化量ΔＰが４つ以上
の画素ブロックに係る距離データの信頼性は高いものと
判断する（有効距離データ）。そして、第１の評価ウイ
ンドウＷ１内の距離データｄiのうち、有効距離データ
のみに基づいて、視差χを算出する。このような視差χ
を用いることで、第２の評価ウインドウＷ２をより適切
な位置に設定することができる。したがって、より精度
の高いサンプルデータＡＶＥ１，ＡＶＥ２を算出するこ
とができる。

【００４１】（３）第１の実施例では、第１の評価ウイ
ンドウＷ１を基準画像の所定位置に固定的に設定してい
る。これに対して、このウインドウＷ１の設定位置を可
変にしてもよい。例えば、基準画像中において第１の評
価ウインドウＷ１の設定領域に関する候補をいくつか設
定しておき、最も評価に適した領域を選択して第１の評
価ウインドウＷ１を設定する。一例として、上述した有
効距離データの数が最も大きい領域を第１の評価ウイン
ドウＷ１としてもよい。この手法では、信頼性の高い有
効距離データが存在する領域を第１の評価ウインドウＷ
１として設定しているため、その相関先を的確に特定す
ることができる。

【００４２】（第２の実施例）図７は、第２の実施例に
かかるゲイン調整手順を示したフローチャートの一部で
ある。まず、ステップ２１において、基準画像における
第１の評価ウインドウＷ１を構成するサブ領域Ｒ１，Ｒ
２，Ｒ３（以下、第１の領域という）内の輝度データＡ
１が読み込まれる。そして、ステップ１に続くステップ
２において、比較画像における第２の評価ウインドウＷ
２を構成するサブ領域Ｒ４，Ｒ５，Ｒ６（以下、第２の
領域という）内の輝度データＡ２が読み込まれる。

【００４３】図８は、第１の評価ウインドウＷ１および
第２の評価ウインドウＷ２の設定位置を説明するための
図である。第１の領域Ｒ１〜Ｒ３は、第２の領域Ｒ４〜
Ｒ６とそれぞれ位置的に対応している。ただし、ステレ
オマッチングを考慮して、第２の領域Ｒ４〜Ｒ６の位置
は、第１の領域Ｒ１〜Ｒ３の位置よりもステレオマッチ
ングの方向に若干オフセットして設定されている。各第
２の領域Ｒ４〜Ｒ６のオフセット量は、以下に詳述する
ように、その第１の領域Ｒ１〜Ｒ３内に一般的に映し出
されるであろう対象物までの距離に関する一般的な傾向
を考慮して設定されている。

【００４４】走行状態にある自車輌の前方を監視する通
常の監視状況において、基準画像の比較的上側に設定さ
れた第１の領域Ｒ１およびそれと位置的に対応した比較
画像の第２の領域Ｒ４には、空（無限遠）や比較的遠方
の立体物（例えばビル等）が映し出される傾向がある。
したがって、これらの領域Ｒ１,Ｒ４内において算出さ
れる視差は、比較的小さくなる傾向にある。そこで、画
像上部に映し出される立体物等の距離の傾向を考慮し
て、第２の領域Ｒ４に関するオフセット量は小さめに設
定しておく（オフセット量は０でも可）。例えば、図８
のように、第１の領域Ｒ１に対して第２の領域Ｒ４をス
テレオマッチング方向に15画素分だけオフセットさせ
る。

【００４５】また、画像領域の中側に設定された第２の
領域Ｒ２およびそれと位置的に対応した第２の領域Ｒ５
には、通常、前方を走行中の車等が映し出される傾向が
あるため、この領域内における視差は中程度になる傾向
にある。したがって、このような画像中部に映し出され
る風景の傾向を考慮して、第２の領域Ｒ５に関するオフ
セット量は中程度に設定しておく。これに関する実験結
果から、30〜40ｍ程度の距離を想定することが好まし
い。一例として、図８のように、第１の領域Ｒ２に対し
て第２の領域Ｒ５をステレオマッチング方向に25画素分
だけオフセットさせる。

【００４６】さらに、画像領域の下側に設定された第１
の領域Ｒ３およびそれと位置的に対応した第２の領域Ｒ
６には、通常、道路等の地表が映し出される傾向がある
ため、この領域内における視差は比較的大きくなる傾向
にある。したがって、このような画像下部に映し出され
る景色の傾向を考慮して、第２の領域Ｒ６に関するオフ
セット量は比較的大きめに設定しておく。例えば、図８
のように、第１の領域Ｒ３に対して第２の領域Ｒ６をス
テレオマッチング方向に30画素分だけオフセットさせ
る。

【００４７】このようにして、各領域内に映し出される
対象物までの距離の一般的な傾向を考慮して、各第２の
領域Ｒ４〜Ｒ６をステレオマッチング方向にオフセット
させている。それにより、位置的に対応した基準画像と
比較画像との領域対（例えばＲ１とＲ４）には同様の景
色が映し出されるため、正常な撮像状況では、両領域は
ほぼ同じ輝度状態となる。

【００４８】ステップ２２に続くステップ２３におい
て、第１の評価ウインドウＷ１の平均輝度ＡＶＥ１と第
２の評価ウインドウＷ２の平均輝度ＡＶＥ２とが算出さ
れる。ただし、これに要する演算量を減らすため、第１
の領域Ｒ１〜Ｒ３内において、一水平線おきの輝度デー
タＡ１から平均輝度ＡＶＥ１を算出する。同様の見地か
ら、第２の領域Ｒ４〜Ｒ６内において、１水平線おきの
輝度データＡ２から平均輝度ＡＶＥ２を算出する。今回
のサイクルにおいて算出された平均輝度ＡＶＥ１，ＡＶ
Ｅ２は、マイクロコンピュータ９のＲＡＭ中にストアさ
れる（ステップ２４）。

【００４９】そして、ステップ２５の判断により、30サ
ンプル分の平均輝度ＡＶＥ１，ＡＶＥ２がストアされる
までの各サイクルにおいて、ステップ２１からステップ
２４の手順が繰り返される。そして、平均輝度ＡＶＥ
１，ＡＶＥ２が30サンプル分だけストアされると、その
サイクルにおけるステップ２５から図３のフローチャー
トにおけるステップ７に移行する。それ以降の手順につ
いては第１の実施例と同様であるため、ここでの説明は
省略する。

【００５０】本実施例においても、第１の実施例と同様
に、ステレオカメラの明るさバランスが適切な状態にな
るように自動調整することができるため、車外監視の精
度の向上を図ることができるという効果がある。

【００５１】また、本実施例にかかる手法では、第１の
実施例の場合と異なり、距離データを参照することなく
第２の評価ウインドウＷ２を設定している。したがっ
て、ステレオカメラの明るさずれや位置ずれが比較的大
きい状況（それにより信頼性の高い距離データを算出す
ることができない状況）においても、明るさバランスを
有効に調整することができるという効果がある。このよ
うな状況としては、例えば、出荷時における初期設定段
階、或いはバッテリーバックアップが消失してしまった
場合を含む再調整時が挙げられる。

【発明の効果】このように、本発明では、ステレオカメ
ラの明るさバランスを自動的に調整することができる。
そして、明るさバランスが適切に調整された画像信号に
基づいて距離データを算出すれば、距離データの信頼
性、換言すれば、車外監視の精度の向上を図ることがで
きる。

【図面の簡単な説明】

【図１】実施例にかかる調整装置を用いたステレオ式車
外監視装置のブロック図

【図２】第１の実施例にかかるゲイン調整手順を示した
フローチャートの一部

【図３】図２に続く手順を示したフローチャート

【図４】第１の実施例にかかる第１および第２の評価ウ
インドウの設定位置を説明するための図

【図５】第２の評価ウインドウＷ２の探索範囲を説明す
るための図

【図６】画素ブロックに関する水平方向の輝度エッジ
（輝度の変化量）の評価手法を説明するための図

【図７】第２の実施例にかかるゲイン調整手順を示した
フローチャートの一部

【図８】第２の実施例における第１および第２の評価ウ
インドウの設定位置を説明するための図

【符号の説明】

１メインカメラ、２サブカメラ、
３アナログインターフェース、３ａゲインコント
ロールアンプ、４Ａ／Ｄコンバータ、５
補正回路、６ステレオ演算回路、７
画像データメモリ、８距離データメモリ、
９マイクロコンピュータ、１０認識部、
１１警報装置、１２制御装置、
１３演算部、１４Ｄ／Ａコンバータ、
Ｗ１第１の評価ウインドウ、Ｗ２第２の評価
ウインドウ、Ｒ１，Ｒ２，Ｒ３第１の領域、Ｒ４，Ｒ
５，Ｒ６第２の領域

Claims

【特許請求の範囲】

【請求項１】ステレオカメラの明るさバランスを調整す
る装置において、前記ステレオカメラから出力された一対の画像の明るさ
のバランスをゲインによって調整する調整手段と、前記調整手段から出力された一方の画像中に設定された
第１の評価ウインドウの全体的な輝度の大きさを表す第
１の評価値を算出すると共に、前記調整手段から出力さ
れた他方の画像中に設定され、かつ、前記第１の評価ウ
インドウの輝度特性と相関を有する領域に設定された第
２の評価ウインドウの全体的な輝度の大きさを表す第２
の評価値を算出する算出手段と、前記第１の評価値と前記第２の評価値との差が小さくな
るように、前記ゲインの値を補正する補正手段とを有す
ることを特徴とするステレオカメラの調整装置。
【請求項２】前記第２の評価ウインドウの位置は、前記
第１の評価ウインドウの位置に対して、水平方向にオフ
セットして設定されていることを特徴とする請求項１に
記載されたステレオカメラの調整装置。
【請求項３】前記算出手段は、前記第１の評価ウインド
ウの輝度特性と相関を有する領域を、他方の画像を探索
することにより特定し、当該特定された領域に前記第２
の評価ウインドウを設定することを特徴とする請求項１
に記載されたステレオカメラの調整装置。
【請求項４】一方の画像中の画素ブロック毎に、当該画
素ブロックの輝度特性と相関を有する領域を他方の画像
において特定することにより、当該画素ブロックの距離
データを算出するステレオ演算手段をさらに有し、前記算出手段は、前記第１の評価ウインドウ内の距離デ
ータに基づいて、前記第１の評価ウインドウの輝度特性
と相関を有する領域を特定し、当該特定された領域に前
記第２の評価ウインドウを設定することを特徴とする請
求項１に記載されたステレオカメラの調整装置。
【請求項５】前記算出手段は、前記第１の評価ウインド
ウ内の複数の距離データのうち、出現度数が最も大きな
距離データに基づいて、前記第１の評価ウインドウの輝
度特性と相関を有する領域を特定することを特徴とする
請求項４に記載されたステレオカメラの調整装置。
【請求項６】前記算出手段は、前記特定された領域に基
づいて探索範囲を設定し、当該探索範囲内において前記
第１の評価ウインドウの輝度特性と相関を有する領域を
特定することにより、前記第２の評価ウインドウを設定
することを特徴とする請求項４または５に記載されたス
テレオカメラの調整装置。
【請求項７】前記算出手段は、前記第１の評価ウインド
ウ内の距離データのうち、水平方向において輝度エッジ
を有する画素ブロックに係る距離データに基づいて、前
記第２の評価ウインドウを設定することを特徴とする請
求項４，５または６に記載されたステレオカメラの調整
装置。
【請求項８】前記第１の評価ウインドウは、一方の画像
中の異なる位置に設定された複数の第１の領域で構成さ
れており、前記第２の評価ウインドウは、他方の画像中の異なる位
置に設定されていると共に、それぞれが前記第１の領域
と位置的に対応した複数の第２の領域で構成されてお
り、前記第２の領域のそれぞれの位置は、前記第１の領域を
基準として水平方向に異なるオフセット量で設定されて
いることを特徴とする請求項２に記載されたステレオカ
メラの調整装置。
【請求項９】前記水平方向のオフセット量は、前記第１
の領域に映し出される立体物までの距離の傾向を考慮し
て設定されることを特徴とする請求項８に記載されたス
テレオカメラの調整装置。