JP2002374524A - フェールセーフ機能を有するステレオ式車外監視装置 - Google Patents

Abstract

(57)【要約】 【課題】ステレオ画像に関して、明るさのアンバランス
が生じ、適切にステレオ処理を行うことができないよう
な状況が生じた場合、それを正確に検出することによ
り、確実なフェールセーフを行う。 【解決手段】フェールと判定された場合にフェールセー
フを行うステレオ式車外監視装置において、車外の景色
を撮像することにより、一対の撮像画像を得るステレオ
撮像手段と、ステレオ撮像手段により撮像された一方の
画像領域内に設定された第１の監視領域の全体的な輝度
の大きさと、ステレオ撮像手段により撮像された他方の
画像領域内に設定された第２の監視領域の全体的な輝度
の大きさとを求める算出手段と、第１の監視領域におけ
る輝度の大きさと第２の監視領域における輝度の大きさ
とが異なる場合に、フェールと判定する判定手段とを有
している。そして、他方の画像領域における第２の監視
領域は、一方の画像領域における第１の監視領域と位置
的に対応して設定されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオカメラに
より撮像された画像対に異常が生じた場合に、フェール
セーフを行うステレオ式車外監視装置に関する。

【０００２】

【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た車載カメラを用いたステレオ式車外監視装置が注目さ
れている。この装置は、左右のカメラ（ステレオカメ
ラ）により撮像された画像対から、ある対象物の位置的
なズレ、すなわち視差を求め、三角測量の原理を用い
て、その対象物までの距離（距離情報）を算出する。そ
して、算出された距離に基づいて、走行環境（例えば、
車外の対象物と自車輌との間の距離等）を認識し、必要
に応じて、ドライバーに注意を喚起したり、シフトダウ
ン等の車輌制御を行うものである。

【０００３】このようなステレオ式の車外監視装置を実
用化するにあたっては、装置の安全動作を保証するため
に、フェールセーフ機能を設ける必要がある。この類の
装置で検出すべきフェールの一つとして、ステレオカメ
ラにより撮像された画像対（ステレオ画像）の明るさに
関して、外因によるアンバランスが生じているような状
況が挙げられる。すなわち、ステレオ法による距離の算
出や前方の立体物の認識等に関する精度を確保するた
め、本来、左右画像の明るさはバランスが取れた状態、
すなわち、画像対の全体的な輝度がほぼ同じなるような
状態に設定されている。そのため、何かの外因により画
像対の明るさのバランスがずれると、正常な車外監視を
行うことができない。このような異常状態が生じる外因
としては、例えば、ステレオカメラを構成する一方のカ
メラの視野が目隠しされてしまった場合がある。また、
一方のカメラの光学系（特にレンズ）が汚れている場合
や曇っている場合においても生じ得る。さらに、フロン
トガラスを介して前方の景色を撮像する場合、フロント
ガラスの部分的な汚れや曇り、さらには、雨滴による乱
反射等においても生じることがある。ステレオ式車外監
視装置の安全性を高い次元で確保するという観点でいえ
ば、左右の画像対に関して、明るさのアンバランスが生
じているような状況では、監視制御を一時的に中断させ
るフェールセーフ機能を働かせる必要がある。

【０００４】

【発明が解決しようとする課題】従来、ステレオ式車外
監視装置の実用化において不可欠なフェールセーフ機能
が確立されておらず、装置の安全性を高い次元で確保す
るための課題が残されていた。

【０００５】そこで、本発明の目的は、ステレオ画像に
関して、明るさのアンバランスが生じ、適切にステレオ
処理を行うことができないような状況が生じた場合、そ
れを正確に検出することにより、確実なフェールセーフ
を行い得るステレオ式車外監視装置を提供することであ
る。

【０００６】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明は、フェールと判定された場合にフェール
セーフを行うステレオ式車外監視装置において、車外の
景色を撮像することにより、一対の撮像画像を得るステ
レオ撮像手段と、ステレオ撮像手段により撮像された一
方の画像領域内に設定された第１の監視領域の全体的な
輝度の大きさと、ステレオ撮像手段により撮像された他
方の画像領域内に設定された第２の監視領域の全体的な
輝度の大きさとを求める算出手段と、第１の監視領域に
おける輝度の大きさと第２の監視領域における輝度の大
きさとが異なる場合に、フェールと判定する判定手段と
を有している。そして、他方の画像領域における第２の
監視領域は、一方の画像領域における第１の監視領域と
位置的に対応して設定されている。

【０００７】ここで、他方の画像領域における第２の監
視領域の位置は、一方の画像領域における第１の監視領
域の位置に対して、ステレオマッチングの方向にオフセ
ットしていることが好ましい。これにより、第１および
第２の監視領域に映し出される景色がほぼ同一になるの
で、正常な状態における両者の全体的な輝度は、ほぼ同
じ大きさになる。

【０００８】また、第１の監視領域および第２の監視領
域のそれぞれを、複数の監視領域で構成してもよい。す
なわち、第１の監視領域は、一方の画像領域において異
なる位置に設定されている。また、第２の監視領域は、
他方の画像領域において異なる位置に設定され、それぞ
れが第１の監視領域を構成する監視領域と位置的に対応
した複数の監視領域で構成されている。この場合、各監
視領域のオフセット量が異なることが好ましい。これに
より、各監視領域内に映し出される可能性が高い立体物
の視差に応じて、各監視領域のオフセット量を決定でき
るため、正常な状態における両者の全体的な輝度の大き
さに関する同一性を高めることができる。

【０００９】

【発明の実施の形態】図１は、本実施例にかかるステレ
オ式車外監視装置のブロック図である。ＣＣＤ等のイメ
ージセンサを内蔵した一対のカメラ１，２は、自動車等
の車両の車幅方向において所定の間隔で、ルームミラー
の近傍に取り付けられており、フロントガラスを介して
車両前方の景色を撮像する。車輌の進行方向に向かって
右側に配置されたメインカメラ１は、ステレオ処理を行
う際に必要な基準画像（右画像）を撮像し、左側に配置
されたサブカメラ２は、この処理における比較画像（左
画像）を撮像する。互いの同期している状態において、
カメラ１，２から出力された各アナログ画像は、Ａ／Ｄ
コンバータ３，４により、所定の輝度階調（例えば、２
５６階調のグレースケール）のデジタル画像に変換され
る。デジタル化された画像は、画像補正部５において、
輝度の補正や画像の幾何学的な変換等が行われる。通
常、一対のカメラ１，２の取付位置は、程度の差こそあ
れ誤差があるため、それに起因したずれが左右の画像に
存在している。このずれを補正するために、アフィン変
換等を用いて、画像の回転や平行移動等の幾何学的な変
換が行われる。このようにして補正された基準画像およ
び比較画像は、元画像メモリ８に格納される。

【００１０】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像および比較画像から、画
像中に映し出されたある対象物の三次元位置（自車両か
ら対象物までの距離を含む）を算出する。この距離は、
左右画像における同一対象物の位置に関する相対的なズ
レ（視差）から、三角測量の原理に基づき算出すること
ができる。このようにして算出された画像の距離情報
は、距離データメモリ７に格納される。

【００１１】マイコン９は、元画像メモリ８および距離
データメモリ７に格納された各情報に基づき、車両前方
の道路状態等を認識したり（道路認識部１０）、車両前
方の立体物（走行車）等を認識する（立体物認識部１
１）。そして、処理部１３は、これらの認識部１０，１
１からの情報から警報が必要と判定された場合、モニタ
やスピーカー等の警報装置１９によりドライバーに対し
て注意を促したり、或いは、必要に応じて、各種制御部
１４〜１８を制御する。例えば、ＡＴ（自動変速機）制
御部１４に対して、シフトダウンを実行する旨を指示す
る。また、エンジン制御部１８に対してエンジン出力を
低下する旨指示してもよい。その他にも、アンチロック
ブレーキシステム（ＡＢＳ）制御部１５、トラクション
コントロールシステム（ＴＣＳ）制御部１６、或いは、
各車輪のトルク配分や回転数を制御する車輌挙動制御部
１７に対して、適切な車輌制御を指示することも可能で
ある。

【００１２】さらに、フェール判定部１２は、元画像メ
モリ８に記憶された元画像情報に基づいて、後述するル
ーチンに従ってフェール判定を行う。フェールと判定さ
れている期間、すなわち、後述するフェール判定ルーチ
ンによりフェールフラグＮＧが１にセットされている期
間は、道路や立体物の誤認識にともなう装置の誤動作等
を防ぐために、上述した車輌制御等が一時的に中断され
る。

【００１３】図２は、明るさアンバランスによるフェー
ル判定ルーチンを示したフローチャートである。このフ
ローチャートは、所定の制御周期（例えば１００ｍｓ）
ごとに繰り返し実行される。このルーチンにより、フェ
ールフラグＮＧが１にセットされた場合、フェール判定
部１２は、処理部１３に対してその旨を指示し、処理部
１３は本車外監視装置のフェールセーフを実行する。

【００１４】まず、ステップ１において、ステレオ画像
対（基準画像および比較画像）の輝度状態を調べるため
に、監視領域内の各画素の輝度値が読み出される（ステ
ップ１）。図３は、ステレオ画像対の画像領域中に設定
された監視領域を説明するための図である。基準画像で
ある右画像は、一例として、２００×５１２画素（縦
横）のサイズを有しており、その上領域、中領域、およ
び下領域に、監視領域Ｒ１，Ｒ２，Ｒ３がそれぞれ設定
されている。一方、比較画像である左画像は、一例とし
て、２００×６４０画素（縦横）のサイズを有してお
り、その上領域、中領域、および下領域に、監視領域Ｒ
４，Ｒ５，Ｒ６がそれぞれ設定されている。ここで、画
像の横方向に関して、右画像よりも左画像の方が画素数
が多く設定されている理由は、ステレオマッチングを考
慮しているからである。ステレオ法は、基準画像中のあ
る対象物とマッチングする対象物を、比較画像を探索
し、両画像におけるその対象物の視差（ステレオマッチ
ング方向のオフセット量）から、対象物の三次元的な距
離を求める手法である。カメラから対象物までの距離が
小さいほど、ステレオマッチング方向のオフセット量が
大きくなる。したがって、右画像の右端に位置した対象
物の距離を算出するために、左画像の右端をステレオマ
ッチングの方向に拡張しておく必要がある。

【００１５】監視領域Ｒ１，Ｒ２，Ｒ３は、左画像中の
監視領域Ｒ４，Ｒ５，Ｒ６と「位置的に対応」してい
る。本明細書において、「位置的に対応」とは、左右の
監視領域が完全に同じ位置に設定されている場合はもと
より、ステレオマッチングを考慮して、位置的に若干オ
フセットして設定されている場合も含むという広い意味
で用いている。このオフセット量は、それぞれの監視領
域内に一般的に存在するであろう対象物の視差の傾向を
考慮して決定することが好ましい。例えば、車両の前方
を監視する車外監視において、画像領域の上側に設定さ
れた監視領域Ｒ１，Ｒ４には、通常、空（無限遠）や比
較的遠方の立体物（例えばビル等）が映し出される傾向
がある。したがって、この領域内において算出される視
差は、比較的小さくなる傾向にある。そこで、画像上部
に映し出される立体物等の距離の傾向を考慮して、監視
領域Ｒ１，Ｒ４に関するオフセット量は小さめに設定し
ておく。例えば、図３のように、監視領域Ｒ１に対して
監視領域Ｒ４をステレオマッチング方向に１５画素分だ
けオフセットさせている。また、画像領域の中側に設定
された監視領域Ｒ２，Ｒ５には、通常、前方を走行中の
車等が映し出される傾向があるため、この領域内におけ
る視差は中程度になる傾向にある。したがって、このよ
うな画像中部に映し出される風景の傾向を考慮して、監
視領域Ｒ２，Ｒ５に関するオフセット量は中程度に設定
しておく。これに関する実験結果から、３０〜４０ｍ程
度の距離を想定することが好ましい。一例として、図３
のように、監視領域Ｒ２に対して監視領域Ｒ５をステレ
オマッチング方向に２５画素分だけオフセットさせてい
る。さらに、画像領域の下側に設定された監視領域Ｒ
３，Ｒ６には、通常、道路等の地表が映し出される傾向
があるため、この領域内における視差は比較的大きくな
る傾向にある。したがって、このような画像下部に映し
出される景色の傾向を考慮して、監視領域Ｒ３，Ｒ６に
関するオフセット量は比較的大きめに設定しておく。例
えば、図３のように、監視領域Ｒ３に対して監視領域Ｒ
６をステレオマッチング方向に３０画素分だけオフセッ
トさせている。このようにして、各領域内に映し出され
る景色の距離的な傾向を考慮して、各監視領域をステレ
オマッチング方向にオフセットさせている。それによ
り、位置的に対応した左右の監視領域対が、同一の対象
物を映し出すようにできるため、正常な撮像状況では、
各監視領域対はほぼ同じ輝度状態となる。

【００１６】ステップ１に続くステップ２において、第
１の監視領域の輝度の大きさと第２の監視領域の輝度の
大きさとが算出される。すなわち、右画像領域内の第１
の監視領域Ｒ１，Ｒ２，Ｒ３内に存在する各画素の輝度
値の平均値Ａ１を求める。同様に、左画像領域内の第２
の監視領域Ｒ４，Ｒ５，Ｒ６内に存在する各画素の輝度
値の平均値Ａ２を求める。なお、監視領域内に存在する
すべての画素の輝度値の平均値を求めてもよいが、それ
に伴う演算量の増大を避けるために、本実施例では、そ
の領域内に均一に分散するような画素をサンプルとして
輝度平均値Ａ１，Ａ２を算出している。一例として、縦
方向については４画素ごと、横方向については８画素ご
とにサンプルを抽出し、それらの平均値を、監視領域全
体における輝度の大きさとしている。

【００１７】そして、ステップ３において、第１の監視
領域の輝度平均値Ａ１と第２の監視領域の輝度平均値Ａ
２との差（絶対値）が、所定の判定値以上であるか否か
が判断される（ステップ３）。上述したように、左右の
監視領域内には、ほぼ同一の景色が映し出されている。
したがって、左右の画像の明るさのバランスがとれてい
る正常な状況では、左右の監視領域の輝度平均値Ａ１，
Ａ２は、ほぼ等しくなる。したがって、正常な状況で
は、このステップで否定判定されるため、フェールフラ
グＮＧが０にセットされる（ステップ４）。これによ
り、車外監視に関する通常の制御が継続される。これに
対して、外乱によって明るさのアンバランスが生じた異
常な状況では、このステップにおいて肯定判定され、フ
ェールフラグＮＧが１にセットされる（ステップ５）。
これにより、通常の監視制御を一時的に停止するフェー
ルセーフが実行される。

【００１８】なお、実際の制御においては、車外監視の
信頼性を確保するために、ＮＧフラグの切り換えは所定
のサイクル分だけ継続した場合に行うようにすることが
好ましい。例えば、フェールフラグＮＧを０から１にセ
ットする場合、ステップ３における肯定判定が５サイク
ル（0.5秒）継続した場合に変更する。また、フェール
フラグＮＧを１から０にセットする場合、ステップ３に
おける否定判定が２０サイクル（2.0秒）継続した場合
に変更する。

【００１９】このように、本実施例にかかるフェール判
定では、左右の画像に関する明るさのバランスが取れて
いるか否かをリアルタイムでモニタリングしている。そ
して、このバランスが取れていない場合にフェールと判
定している。これにより、例えば、一方のカメラだけが
目隠しされてしまい正常画像を得られないような状況が
生じたとしても、明るさのバランスをモニタリングする
ことにより、それを的確に検出することができる。ま
た、一方のカメラのレンズやフロントガラス等の部分的
な汚れや曇り、或いは、雨滴による乱反射等によって、
正常画像を得られないような状況においても同様であ
る。その結果、これらの外因による異常画像が生じた場
合であっても、それに的確に対応したフェールセーフを
行えるため、ステレオ式車外監視装置の安全性を高い次
元で確保することができる。

【００２０】また、本実施例では、画像全体を参照する
のではなく、その一部分の画像データに基づいてフェー
ル判定を行っている。したがって、フェール検出をリア
ルタイムで行い得るほどに少ない演算量で、フェール判
定を行うことができる。

【００２１】さらに、各監視領域の設定に関して、その
領域内における視差の傾向を考慮して、左右の監視領域
のオフセット量を決定しているので、フェール判定の精
度を一層向上させることができるという効果もある。

【００２２】

【発明の効果】このように、本発明では、左右の画像の
明るさのバランスがとれずステレオ処理に適さないよう
な状況が発生した場合、それに的確に応答したフェール
セーフを行うことができるため、ステレオ式車外監視装
置の安全性をより高い次元で確保することが可能とな
る。

【図面の簡単な説明】

【図１】実施例にかかるステレオ式車外監視装置のブロ
ック図

【図２】明るさアンバランスによるフェール判定ルーチ
ンを示したフローチャート

【図３】ステレオ画像に設定された監視領域を説明する
ための図

【符号の説明】

１ メインカメラ ２ サブカメラ ３，４ Ａ／Ｄコンバータ ５ 画像補正部 ６ ステレオ画像処理部 ７ 距離画像メモリ ８ 元画像メモリ ９ マイコン １０ 道路認識部 １１ 立体物認識部 １２ フェール判定部 １３ 処理部 １４ ＡＴ制御部 １５ ＡＢＳ制御部 １６ ＴＣＳ制御部 １７ トルクバランス制御部 １８ エンジン制御部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 13/02 Ｈ０４Ｎ 13/02 Ｆターム(参考） 5B057 AA16 AA19 BA02 CA08 CA13 CA16 CH08 DA02 DA07 DA12 DA15 DA16 DB03 DB09 DC08 DC09 DC22 DC33 DC39 5C054 CC05 CH02 EA05 FC01 FC03 FC15 FD02 FE13 FE28 FF07 HA30 5C061 AA21 AB04 AB06 AB08 AB12 5H180 AA01 CC04 LL01 LL04 LL06

Claims (6)

【特許請求の範囲】
1. 【請求項１】フェールと判定された場合にフェールセー
   フを行うステレオ式車外監視装置において、 車外の景色を撮像することにより、一対の撮像画像を得
   るステレオ撮像手段と、 前記一対の撮像画像の画像情報を格納する元画像メモリ
   と、 前記一対の撮像画像における同一対象物の位置に関する
   相対的なズレを算出することにより、距離情報を算出す
   るステレオ画像処理部と、 前記距離情報を格納する距離データメモリと、 前記元画像メモリに格納された画像情報と、前記距離デ
   ータメモリに格納された距離情報とに基づいて、対象物
   を認識する認識部と、 前記認識部からの情報に基づいて、監視制御を行う処理
   部と、 前記元画像メモリに格納された画像情報に基づいて、フ
   ェール判定を行い、フェールと判定した場合、前記処理
   部に対して、監視制御の一時的な中断を指示するフェー
   ル判定部とを有し、 前記フェール判定部は、 前記ステレオ撮像手段により撮像された一方の画像領域
   内に設定された第１の監視領域の全体的な輝度の大きさ
   と、前記ステレオ撮像手段により撮像された他方の画像
   領域内に設定された第２の監視領域の全体的な輝度の大
   きさとを求める算出手段と、 前記第１の監視領域における前記輝度の大きさと前記第
   ２の監視領域における前記輝度の大きさとが異なる場合
   に、フェールと判定する判定手段とを有し、 前記他方の画像領域における前記第２の監視領域は、前
   記一方の画像領域における前記第１の監視領域と位置的
   に対応していることを特徴とするフェールセーフ機能を
   有するステレオ式車外監視装置。
2. 【請求項２】前記他方の画像領域における前記第２の監
   視領域の位置は、前記一方の画像領域における前記第１
   の監視領域の位置に対して、ステレオマッチングの方向
   にオフセットしていることを特徴とする請求項１に記載
   されたフェールセーフ機能を有するステレオ式車外監視
   装置。
3. 【請求項３】前記第１の監視領域は、前記一方の画像領
   域における上下方向の異なる位置に設定された複数の監
   視領域で構成されおり、 前記第２の監視領域は、前記他方の画像領域における上
   下方向の異なる位置に設定されていると共に、それぞれ
   が前記第１の監視領域を構成する前記監視領域と位置的
   に対応した複数の監視領域で構成されており、かつ、 前記監視領域のそれぞれのオフセット量が異なることを
   特徴とする請求項２に記載されたフェールセーフ機能を
   有するステレオ式車外監視装置。
4. 【請求項４】上側の監視領域のオフセット量は、前記上
   側の監視領域よりも下側の監視領域のオフセット量より
   も小さいことを特徴とする請求項３に記載されたフェー
   ルセーフ機能を有するステレオ式車外監視装置。
5. 【請求項５】それぞれの前記監視領域のオフセット量
   は、前記監視領域内に映し出される対象物の視差の傾向
   を考慮した上で設定された一定値であることを特徴とす
   る請求項１から４のいずれかに記載されたフェールセー
   フ機能を有するステレオ式車外監視装置。
6. 【請求項６】前記監視領域の全体的な輝度の大きさは、
   前記監視領域内に存在する画素の輝度平均であることを
   特徴とする請求項１から５のいずれかに記載されたフェ
   ールセーフ機能を有するステレオ式車外監視装置。