JP2002022439A - フェールセーフ機能を有する車外監視装置 - Google Patents

フェールセーフ機能を有する車外監視装置

Info

Publication number
JP2002022439A
JP2002022439A JP2000211835A JP2000211835A JP2002022439A JP 2002022439 A JP2002022439 A JP 2002022439A JP 2000211835 A JP2000211835 A JP 2000211835A JP 2000211835 A JP2000211835 A JP 2000211835A JP 2002022439 A JP2002022439 A JP 2002022439A
Authority
JP
Japan
Prior art keywords
luminance
fail
safe
calculating
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000211835A
Other languages
English (en)
Other versions
JP4953498B2 (ja
Inventor
Masaru Kogure
勝 小暮
Minoru Hiwatari
穣 樋渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2000211835A priority Critical patent/JP4953498B2/ja
Priority to US09/902,576 priority patent/US7619649B2/en
Priority to EP01306022A priority patent/EP1172665B1/en
Publication of JP2002022439A publication Critical patent/JP2002022439A/ja
Application granted granted Critical
Publication of JP4953498B2 publication Critical patent/JP4953498B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】弱逆光等の光の影響により、撮像された画像に
異常が生じた場合に、そのような画像異常を正確に検出
することにより、フェールセーフを確実に行うことであ
る。 【解決手段】フェールと判定された場合にフェールセー
フを行う車外監視装置において、車外の景色を撮像する
一対のカメラ１，２と、マイクロコンピュータ９とを有
する。このマイクロコンピュータ９は、一対のカメラ
１，２により得られたステレオ画像の水平方向における
輝度分布特性を算出する。そして、算出された輝度分布
特性をシャッタースピードにより正規化したパラメータ
に基づいて、フェールを判定する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、弱逆光等の光の影
響により、撮像された画像に異常が生じた場合に、フェ
ールセーフを行う車外監視装置に関する。
【０００２】
【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た車載カメラを用いた車外監視装置が注目されている。
この装置は、車載カメラにより撮像された画像に基づい
て、走行環境（例えば、自車輌から先行車までの距離
等）を認識し、必要に応じて、ドライバーに注意を喚起
したり、シフトダウン等の車輌制御を行う。例えば、ス
テレオ法による距離計測技術を用いて走行状況の認識を
行う場合、一対の撮像画像におけるある対象物の位置的
な差（視差）を求め、三角測量の原理を用いて、先行車
までの距離（距離情報）を算出する。
【０００３】このような車外監視装置を実用化するにあ
たっては、監視装置の安全動作を保証するために、フェ
ールセーフ機能を設ける必要がある。この類の装置で検
出すべきフェールの一つとして、太陽から車載カメラに
直接弱い光が射し込み、先行車が認識不能になるような
撮像状況（弱逆光状況）が挙げられる。
【０００４】例えば、図１４に示すような車輌前方の撮
像画像について考える。弱逆光状況においては、図１５
に示すように、輝度が飽和したリング状の領域（以下、
「逆光円」という）が、撮像画像の一部（同図左側）に
発生する。このような逆光円が画像中に生じると、その
画像領域およびその付近における画素の輝度が飽和レベ
ルに達してしまうため、正しい画像情報を得ることがで
きなくなってしまう。その結果、その領域内に先行車等
が存在していたとしても、それが逆光円によりマスクさ
れてしまうため、正常な車外監視が困難になる。さら
に、逆光円のエッジ（境界部分）は、水平方向の隣接画
素間の輝度変化が大きいので、そのエッジ部において誤
った距離情報が算出されてしまうことがある。
【０００５】図１６は、図１４のような画像を有するス
テレオ画像（基準画像と比較画像）から得られる距離情
報を示した図である。同図において、黒点で示した部分
は、画像の水平方向において互いに隣接した画素間の輝
度変化が大きい部分であり、この部分が距離情報（奥行
き）を有している。逆光円が発生したエリア内は、大半
の画素の輝度が飽和レベルに達しているため、算出され
るべき距離データが算出されない（ロスト状態）。ま
た、逆光円のエッジ部分では、水平方向の輝度変化が大
きいため、誤った距離データが算出されてしまう。車外
監視装置の安全性を高い次元で確保するという観点でい
えば、弱逆光により正しい距離画像が得られないような
状況では、監視制御を一時的に中断させるフェールセー
フを行う必要がある。
【０００６】
【発明が解決しようとする課題】このように、従来、車
外監視装置の実用化において不可欠なフェールセーフ機
能が確立されておらず、車外監視の信頼性を高い次元で
確保するための課題が残されていた。
【０００７】そこで、本発明の目的は、弱逆光等の光の
影響により、撮像画像に異常が生じた場合に、そのよう
な画像異常を正確に検出することにより、確実なフェー
ルセーフを行い得る車外監視装置を提供することであ
る。
【０００８】
【課題を解決するための手段】かかる課題を解決するた
めに、第１の発明は、フェールと判定された場合にフェ
ールセーフを行う車外監視装置において、車外の景色を
撮像する撮像手段と、撮像手段により得られた撮像画像
の水平方向における輝度分布特性を示す輝度分布特性値
を算出する算出手段と、算出手段により算出された輝度
分布特性値をシャッタースピードで正規化したパラメー
タに基づいて、フェールを判定する判定手段とを有する
フェールセーフ機能を有する車外監視装置を提供する。
【０００９】ここで、第１の発明において、輝度分布特
性値は、輝度和最大値または輝度和分散のいずれかであ
ることが好ましい。
【００１０】第２の発明は、フェールと判定された場合
にフェールセーフを行う車外監視装置において、車外の
景色を撮像する撮像手段と、撮像手段により得られた撮
像画像の所定の監視エリア内における輝度エッジに関連
するデータ数を算出する算出手段と、算出手段により算
出されたデータ数に基づいて、フェールを判定する判定
手段とを有するフェールセーフ機能を有する車外監視装
置を提供する。
【００１１】ここで、第２の発明において、輝度エッジ
に関連するデータ数は、輝度エッジ数であることが好ま
しい。また、一対の撮像手段による一対の撮像画像から
得られる距離データ数であってもよい。
【００１２】また、上記の監視エリアは、撮像画像の上
部に設定され、走行時に自車輌前方の先行車が映し出さ
れるエリアであることが好ましい。
【００１３】第３の発明は、フェールと判定された場合
にフェールセーフを行う車外監視装置において、車外の
景色を撮像する撮像手段と、撮像手段により得られた撮
像画像の水平方向において輝度が特定の水平位置に集中
したと考えた場合におけるその水平位置を輝度重心とし
て算出する第１の算出手段と、第１の算出手段により算
出された輝度重心を考慮して、水平方向における輝度分
布状態を評価することにより、フェールを判定する判定
手段とを有するフェールセーフ機能を有する車外監視装
置を提供する。
【００１４】ここで、第３の発明において、輝度重心を
基準とした水平方向における輝度の分布状態を示す輝度
モーメントを算出する第２の算出手段をさらに設けても
よい。この場合、判定手段は、第２の算出手段により算
出された輝度モーメントに基づいて、フェールを判定す
ることが好ましい。
【００１５】第４の発明は、フェールと判定された場合
にフェールセーフを行う車外監視装置において、車外の
景色を撮像する撮像手段と、撮像手段により得られた撮
像画像の水平方向における輝度分布特性を示す輝度分布
特性値をシャッタースピードにより正規化することによ
り、第１のパラメータを算出する第１のパラメータ算出
手段と、撮像画像に設定された監視エリア内の輝度エッ
ジに関連するデータ数を第２のパラメータとして算出す
る第２のパラメータ算出手段と、第１のパラメータと第
２のパラメータとに基づいてフェールを判定する判定手
段とを有するフェールセーフ機能を有する車外監視装置
を提供する。
【００１６】
【発明の実施の形態】図１は、本実施形態に係る車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔（カメラ基線長に相当）で取
り付けられており、車輌前方の景色を撮像する。メイン
カメラ１（右カメラ）は、ステレオ処理を行う際に必要
な基準画像を撮像し、サブカメラ２（左カメラ）は、比
較画像を撮像する。一対のカメラ１，２が互いに同期し
ている状態において、カメラ１，２から出力された各ア
ナログ画像は、Ａ／Ｄコンバータ３，４により、所定の
輝度階調（例えば、256階調のグレースケール）に変換
される。このようにしてデジタル化された画像は、画像
補正部５により、輝度の補正や画像の幾何学的な変換等
が行われる。通常、一対のカメラ１，２の取付位置は、
程度の差こそあれ誤差が存在するため、それに起因した
ずれが左右の画像に存在している。このずれを補正する
ために、アフィン変換等を用いて、画像の回転や平行移
動等の幾何学的な変換が行われる。画像補正部５におい
て補正された１フレーム相当のステレオ画像（基準画像
と比較画像）の輝度データは、元画像メモリ８に格納さ
れる。
【００１７】ステレオ画像処理部６は、画像補正部５に
おいて補正された輝度データに基づき、距離データ（対
象物毎の視差）を算出する。この距離データは、ステレ
オ画像における同一対象物の位置的なずれ（視差）に相
当し、その対象物までの実際の距離は、三角測量の原理
を用いて視差から一意に特定される。このようにして算
出された１フレーム相当の距離データが距離データメモ
リ７に格納される。
【００１８】マイクロコンピュータ９での処理を機能的
に捉えた場合、マイクロコンピュータ９は、道路認識部
１０、立体物認識部１１、フェール判定部１２、および
処理部１３を有する。元画像メモリ８および距離データ
メモリ７に格納された各データに基づき、道路認識部１
０は、自車輌前方の道路形状を認識し、立体物認識部１
１は、自車輌前方の立体物（走行車）を認識する。そし
て、処理部１３は、これらの認識部１０，１１からの情
報に基づき、ドライバーへの警報が必要と判断した場
合、表示装置やスピーカー等の警報装置１９を介してド
ライバーに対して注意を促す。また、処理部１３は、必
要に応じて、各種制御部１４〜１８を制御する。例え
ば、ＡＴ（自動変速機）制御部１４に対して、シフトダ
ウンの実行を指示したり、エンジン制御部１８に対し
て、エンジンの出力低下を指示する。また、アンチロッ
クブレーキシステム（ＡＢＳ）制御部１５、トラクショ
ンコントロールシステム（ＴＣＳ）制御部１６、或い
は、各車輪のトルク配分や回転数を制御する車輌挙動制
御部１７に対して、適切な車輌制御を指示してもよい。
【００１９】さらに、フェール判定部１２は、元画像メ
モリ８に格納された輝度データと距離データメモリ７に
格納された距離データとに基づいて、弱逆光状況の検出
とフェール判定とを行う。フェールと判定されている
間、すなわち、後述するフェールフラグＮＧが「１」の
間は、監視精度の低下に伴う誤動作等を防ぐために、車
輌制御や警報制御が一時的に中断される（フェールセー
フ）。
【００２０】図２および図３は、弱逆光判定ルーチンの
フローチャートである。フェール判定部１２は、このル
ーチンは所定間隔（例えば100ms毎のサイクル）で繰り
返し実行する。このルーチンの具体的な処理の流れを説
明する前に、フェールセーフの介入条件について説明す
る。ステップ１からステップ６までに規定された各条件
は、本実施形態におけるフェールセーフの介入条件であ
る。この介入条件を具備する場合は、撮像画像中に弱逆
光が生じていると判断し、ステップ１２以降の手順に進
む。一方、いずれかのステップにおいて否定判定された
場合は、フェールセーフ介入すべき撮像状況ではないと
判断し、ステップ７以降の手順に進む。
【００２１】後述する説明から分かるように、フェール
判定部１２は、「介入条件」および「解除条件」を判定
し、判定結果に応じてカウンタを適宜インクリメント／
デクリメントする。ここで、「介入条件」は、フェール
セーフを行うべき弱逆光状況になったか否かの判定条件
に相当し、この条件を具備する場合にカウンタのインク
リメントが開始される。フェールセーフは、「介入条
件」を具備するだけでは実行されず、カウンタの値が所
定値に到達した時点で実行される。また、「解除条件」
は、カウンタのインクリメントを中断するか否かの判定
条件に相当する。さらに、本実施形態においては、「介
入条件」を具備することにより開始されたカウンタのイ
ンクリメントは、「介入条件」を具備しない撮像状況に
変わったとしても「解除条件」を具備しない限り継続さ
れるようにしている。
【００２２】なお、本実施形態では、フェールセーフの
介入条件の一例として、以下の６つの判定条件を挙げて
いるが、これらの一つ以上を適宜組み合わせて介入条件
を規定してもよく、それ以外の条件を追加してもよい。
【００２３】［第１の判定条件］先行車が認識されてい
ないこと、すなわち、先行車との車間距離が算出されて
いないこと（ステップ１） 本実施形態に係るフェールセーフの目的は、本来存在す
るはずの先行車をロストしてしまうような逆光状況にお
いてフェールセーフを行うことである。したがって、逆
光円が生じていても先行車が認識されている状況では、
フェールセーフを行う必要はない。そこで、先行車が認
識されていないことをフェールセーフ介入の前提条件と
している。ただし、自車輌前方に先行車が存在しない走
行状況であってもこの判定条件を具備する。そこで、ス
テップ１の条件を具備する場合には、弱逆光状況にある
か否かをさらに判定するためにステップ２に進む。
【００２４】ここで、ステップ１での判定対象となる車
間距離は、ステレオ法による距離計測技術と画像認識技
術とを併用することにより算出される。概略的に説明す
ると、まず、自車輌前方の道路の三次元的な形状を示す
車線モデルを算出する。撮像画像に映し出された左右の
車線（白線）は、道路面の輝度よりも高輝度で、かつ、
道路面との境界において輝度エッジを有する領域として
抽出される。このようにして抽出された車線に関する視
差を、例えば4×4画素の画素ブロック単位で算出する。
車線が映し出されている一画素ブロックに関して、撮像
画像中の二次元的な位置と視差とが特定できれば、周知
の座標変換式より、その車線部分の三次元的な位置（距
離を含む）を算出することができる。つぎに、算出され
た車線の三次元的な分布を所定の区間（セグメント）毎
に直線で近似し、各直線を折れ線状に連結することによ
り、車線モデルが算出される。自車輌前方の先行車は、
左右の車線モデルで挟まれた領域（すなわち道路面）上
に存在する立体物として認識され、その車間距離は、そ
の立体物の視差より算出される。なお、以上の点に関す
る詳細については、本出願人の先願である特願平１１−
２６９５７８号（道路認識手法について開示）または特
開平５−２６５５４７号公報（先行車認識手法について
開示）を参照されたい。
【００２５】［第２の判定条件］シャッタースピードａ
が判定値以下であること（ステップ２） 先行車をロストするような逆光状況においては、通常状
況よりもシャッタースピードが速くなる傾向がある。こ
のような特性に鑑み、適正な判定値（例えば、2000[μs
ec]）を予め設定しておき、シャッタースピードａがこ
の判定値以下になることをフェールセーフ介入の条件と
している。ただし、真夏等のように日差しが強い走行状
況では、通常の状況でもシャッタースピードが著しく速
くなることがある（例えば200[μsec]以下）。そこで、
ステップ１およびステップ２の判定条件を具備する場合
には、弱逆光状況にあるか否かをさらに判定するために
ステップ３に進む。
【００２６】［第３の判定条件］上部輝度飽和率ＬＲ1
が下部輝度飽和率ＬＲ2よりも大きいこと（ステップ
３） 先行車をロストするような逆光状況では、画像上部に逆
光円が発生するため、画像上部の一部が輝度飽和状態と
なる傾向がある。そこで、図４に示すように、基準画像
の上方および下方に上部エリア、下部エリアをそれぞれ
設定し、上部輝度飽和率ＬＲ1が下部輝度飽和率ＬＲ2よ
りも大きいことをフェールセーフ介入の条件としてい
る。ここで、輝度飽和率ＬＲ1，ＬＲ2は、そのエリア内
のトータル画素数に対して、輝度飽和状態（例えば輝度
値が240以上）に達した画素数が占める割合をいう。た
だし、晴天時や陸橋上等のように遮蔽物が存在しない走
行状況では、逆光円が生じていないにも拘わらず、この
条件を具備してしまうことがある。そこで、ステップ１
からステップ３までの判定条件を具備する場合には、弱
逆光状況にあるか否かをさらに判定するためにステップ
４に進む。
【００２７】なお、輝度飽和率ＬＲ1，ＬＲ2の値は走行
状況によって大きく変動する傾向があり、通常走行時に
おいても、下部輝度飽和率ＬＲ2はほぼ０になることも
多い。このような理由により、本実施形態では、各輝度
飽和率ＬＲ1，ＬＲ2に関する判定値は設定しない。
【００２８】［第４の判定条件］先行車エリアの輝度エ
ッジ数ＥＮが判定値よりも小さいこと（ステップ４） 先行車をロストするような逆光状況では、逆光円が存在
する画像領域の輝度エッジ数ＥＮが著しく低下する傾向
がある。ここで、輝度エッジ数ＥＮとは、画像の水平方
向における隣接画素対の輝度変化量が所定値以上のもの
の数をいう。本実施形態では、図５に示すように、基準
画像の上部中央部分（走行時に先行車が映し出されるで
あろう画像領域）に先行車エリアを設定し、このエリア
内の輝度エッジ数ＥＮが適切に設定された判定値よりも
小さいことをフェールセーフ介入の条件としている。た
だし、夜間、トンネル、霧、煙、雪道等の走行時には、
この条件を具備してしまうことがある。そこで、ステッ
プ１からステップ４までの判定条件を具備する場合に
は、弱逆光状況にあるか否かをさらに判定するためにス
テップ５に進む。
【００２９】なお、輝度エッジ数ＥＮの代わりに、先行
車エリア内の距離データの算出数を用いてもよい。ステ
レオマッチングの特性上、輝度エッジ数と距離データの
算出数との間には大きな相関があり、基本的に、輝度エ
ッジ数が多いほど、算出される距離データ数も多くなる
からである。
【００３０】［第５の判定条件］シャッタースピードａ
により正規化された輝度分布特性パラメータが判定条件
を具備すること（ステップ５） まず、図６に示すように、画像の水平方向に配列された
複数の縦短冊状の監視エリアＮiを基準画像の上部に設
定する。画像の上部に関しエリアＮiを設定した理由
は、弱逆光時における輝度状態の特徴は画像上部に強く
出現するからである。この監視エリアＮiは、撮像画像
の水平方向における輝度分布特性を評価するために設け
られたものである。一例として、基準画像のサイズが縦
200画素で横512画素である場合、基準画像を水平方向に
16画素ずつ分割していく。これにより、200×16画素サ
イズの監視エリアＮiが32個設定される。
【００３１】つぎに、監視エリアＮi毎に輝度和Ａiが算
出される。ある監視エリアＮiにおける輝度和Ａiは、そ
の監視エリアＮi内において均一に分布するサンプル画
素の輝度を加算した値（加算値の平均値であってもよ
い）として算出することができる。一例として、水平／
垂直方向ともに4画素ごとにサンプルを抽出し、各サン
プルの輝度を加算した値を輝度和Ａiとする。監視エリ
アＮi内において均一に分布するようなサンプルを用い
れば、その監視エリアＮiの全体的な輝度状態を、少な
い演算量で適切に算出することができる。なお、演算量
を考慮しないのであれば、監視エリアＮi内に含まれる
全画素を演算対象として輝度和Ａiを算出してもよい。
このようにして算出された32個の輝度和Ａiの分布特性
は、画像の水平方向（横方向）の分布特性に相当する。
【００３２】そして、輝度和Ａiに関する輝度分布特性
を示すパラメータ（輝度分布特性値）をシャッタースピ
ードａで正規化する。この輝度分布特性値として、例え
ば、輝度和Ａiのばらつきの程度を示す輝度和分散ＶＡ
Ｒを用いる場合、シャッタースピードａにより正規化さ
れた輝度和分散ＶＡＲ'（以下、「正規化輝度和分散」
という）は下式に基づき算出される。ここで、ａはシャ
ッタースピード、ｎは監視エリアＡiの数（ｎ＝32）、
そしてＡaveは輝度和Ａiの平均値である。
【数１】ＶＡＲ'＝ＶＡＲ／ａ ＶＡＲ2＝｛（Ａ1−Ａave）2＋（Ａ2−Ａave）2＋ ・・・
＋（Ａn−Ａave）2｝／ｎ＝Σ（Ａi2）／ｎ−（ΣＡi／
ｎ）2
【００３３】輝度分布特性パラメータとして正規化輝度
和分散ＶＡＲ'を用いる場合、正規化輝度和分散ＶＡＲ'
が適切に設定された判定値よりも大きいことがフェール
セーフ介入の条件となる。
【００３４】また、輝度分布特性パラメータとして、輝
度和Ａiの最大値（ピーク）を示す輝度和最大値Ａmaxを
用いてもよい。この場合、シャッタースピードａにより
正規化された輝度和最大値Ａmax'（＝Ａmax／ａ）（以
下、「正規化輝度和最大値」という）が適切に設定され
た判定値よりも大きいことがフェールセーフ介入の条件
となる。なお、正規化輝度和分散ＶＡＲ'が判定値より
大きく、かつ、正規化輝度和最大値Ａmax'も判定値より
大きいことをフェールセーフ介入の条件としてもよい。
【００３５】正規化輝度和分散ＶＡＲ'および正規化輝
度和最大値Ａmax'が弱逆光判定に有効な理由を、図７お
よび図８を参照して説明する。図７は、正規化されてい
ない輝度分布特性パラメータ（輝度和分散ＶＡＲ、輝度
和最大値Ａmax）の計測特性図である。この特性は、実
際の走行実験により得られた計測結果である。計測開始
後、約300秒から約340秒までが弱逆光状況である。輝度
和最大値Ａmaxに関する計測結果から分かるように、大
半の時間において輝度和最大値Ａmaxが一定の範囲内に
収まっているため、この計測結果を見る限り、弱逆光に
関する顕著な傾向を見出すことは困難である。一方、輝
度和分散ＶＡＲについて見た場合、計測開始後270秒付
近において特徴的なピークが発生しているが、このピー
クは弱逆光とは無関係に生じたものである。したがっ
て、この輝度和分散ＶＡＲの計測結果を見る限り、弱逆
光時における顕著な傾向を見出すことは困難である。
【００３６】これに対して、図８は、シャッタースピー
ドａで正規化した輝度分布特性パラメータ（正規化輝度
和分散ＶＡＲ'、正規化輝度和最大値Ａmax'）の特性図
である。この特性より、弱逆光状況では、正規化輝度和
最大値Ａmax'および正規化輝度分散ＶＡＲ'の値が著し
く増大するという顕著な傾向を見出すことができる。こ
のことから、これらのパラメータＶＡＲ'，Ａmax'が弱
逆光状態の検出に有効なことが分かる。
【００３７】以上のような理由により、輝度分布特性パ
ラメータＡmax，ＶＡＲがシャッタースピードａの関数
であることを考慮して、これをシャッタースピードａで
正規化したパラメータＡmax'，ＶＡＲ'を弱逆光判定の
判定パラメータとして用いる。そして、パラメータＡma
x'，ＶＡＲ'が判定値よりも大きくなることをフェール
セーフ介入の条件とすれば、フェールセーフ介入に関す
る判定精度の一層の向上を図ることができる。ただし、
晴天時の昼間等では、シャッタースピードは総じて速く
なる傾向があるため、ステップ１からステップ５までの
判定条件を具備する場合には、弱逆光状況にあるか否か
をさらに判定するためにステップ６に進む。
【００３８】［第６の判定条件］輝度モーメントを輝度
総和で割った値が判定値以下であること（ステップ６） このステップ６では、図６に示した監視エリアＮi毎の
輝度和Ａiの分布状態が、ステップ５とは別の観点より
評価される。図９は、通常状況における輝度和Ａiの分
布特性図である。ここで、同図（ａ）は、高速道路の入
り口のように、画像上部全体に空が映し出されているよ
うな走行状況における分布特性の一例を示している。ま
た、同図（ｂ）は、画像中央に積雪していない道路面が
映し出されており、かつ、それ以外の地表部分が積雪し
ている走行状況における分布特性の一例を示したもので
ある。これに対して、図１０は、弱逆光状況における輝
度和Ａiの分布特性図である。弱逆光状況では、高輝度
部分が画像の水平方向における一カ所（逆光円に相当す
る部分）に集中する傾向がある。同図（ａ）は、そのよ
うな高輝度部分が中央に存在する場合の分布特性を示し
ており、同図（ｂ）は、それが右側に存在する場合の分
布特性を示している。
【００３９】このステップ６では、図９に示した分布特
性を示す正常状況と図１０に示した分布特性を有する弱
逆光状況とを区別することが目的である。そのために、
下式で表される「輝度重心ＬＣ」、「輝度モーメントＬ
Ｍ」という概念を導入する。ステップ５の場合と同様
に、ｉは画像左端を基準とした監視エリアＮiの番号（0
〜31）であり、Ａiはｉ番目の監視エリアＮiの輝度和Ａ
iである。
【数２】ＬＣ＝Σ（ｉ×Ａｉ）／ΣＡi ＬＭ＝Σ（｜ｉ−ＬＣ｜×Ａi）
【００４０】ここで、「輝度重心」とは、水平方向の各
輝度和Ａiが一点に集中したと考えた場合におけるその
点の水平位置をいい、輝度和Ａiと水平位置ｉとの積の
総和を輝度和Ａiの総和で割った値である。例えば、図
１１（ａ）に示すように、すべての輝度和Ａiが同じ値
である場合、輝度重心ＬＣは0から31の中間である15.5
となる。また、同図（ｂ）に示すように、Ａ0からＡ15
が0で、Ａ16からＡ31が一定値（≠0）である場合、輝度
重心ＬＣは23.5となる。
【００４１】また、「輝度モーメント」とは、輝度重心
ＬＣから水平位置ｉまでの距離に輝度和Ａiを乗じた値
の総和をいい、輝度重心ＬＣを基準とした水平方向の輝
度和Ａiの分布状態を示す。輝度和Ａiが全体的に小さい
場合、または、輝度重心ＬＣ近傍に輝度が集中している
場合に、輝度モーメントＬＭは小さな値となる。
【００４２】そして、下式に示すように、輝度モーメン
トＬＣを輝度総和ΣＡiで割った値、すなわち、輝度総
和ΣＡiにより正規化された輝度モーメントＬＭ'（以
下、「正規化輝度モーメント」という）を算出する。
【数３】 ＬＭ'＝ＬＭ／ΣＡi ＝Σ（｜ｉ−ＬＣ｜×Ａi）／ΣＡi
【００４３】図１１（ａ）のような分布特性を有する通
常走行時には、輝度が水平方向に全体的に分布している
ので、輝度モーメントＬＭは大きくなる傾向がある。逆
に、図１１（ｃ）のような分布特性を有する逆光時に
は、輝度が輝度重心ＬＣ付近に集中する傾向があるた
め、輝度モーメントＬＭは小さくなる傾向がある。しか
しながら、逆光時であっても、画像全体が明るい場合に
は輝度モーメントＬＭが大きくなるため、通常走行時と
の区別が困難な場合がある。そこで、輝度モーメントＬ
Ｍを輝度和Ａiの総和で割ることにより、輝度の分布状
態のみに依存した正規化輝度モーメントＬＭ'を用い
る。図９および図１０のケースについて考えると、正規
化輝度モーメントＬＭ'は、図９の分布特性では大きく
なる傾向があり、図１０の分布特性では小さくなる傾向
がある。そこで、正規化輝度モーメントＬＭ'を適切に
設定された判定値と比較することにより、図１０の特性
を示す弱逆光状況を検出することができる。
【００４４】なお、下式で示すように、上記の数式３を
変形して、輝度和Ａiの重みを大きくして輝度和Ａiの分
布状態を評価してもよい。
【数４】ＬＭ'＝Σ（｜ｉ−ＬＣ｜×Ａi2）／ΣＡi ＬＣ＝Σ（ｉ×Ａｉ2）／ΣＡi
【００４５】図２に示したステップ１からステップ６ま
でに規定されたすべての条件を具備する場合、すなわ
ち、フェールセーフの介入条件を具備する場合には、弱
逆光状況であると判断され、カウントフラグＦcntが
「１」にセットされる（ステップ１２）。カウントフラ
グＦcntは、カウンタＫが下限値０に到達した場合に
「０」にリセットされ、カウンタＫがインクリメント／
デクリメントされている状態（Ｋ≠０）では、「１」に
設定されている。
【００４６】続くステップ１３において、カウンタＫに
カウントアップ値αがインクリメントされる。このカウ
ンタＫは、図１２のフェール判定ルーチンに示すよう
に、フェールセーフを実行すべきか否かを判定するため
のものである。弱逆光判定ルーチンにおけるカウンタＫ
のインクリメントにより、カウンタＫが上限値Ｋlimに
到達した場合には、ステップ３０の判断を経て、フェー
ルフラグＮＧが「１」がセットされる（ステップ３
１）。一方、カウンタＫが下限値０に到達した場合に
は、ステップ３０，３２の判断を経て、カウントフラグ
Ｆcnt、フェールフラグＮＧが「０」にリセットされる
（ステップ３３，３４）。
【００４７】また、カウンタＫが下限値０から上限値Ｋ
limの範囲内においては、ステップ３０，３２の判断を
経て、カウントフラグＦcnt、フェールフラグＮＧの指
示内容の変更を行うことなく処理を終了する。したがっ
て、フェールセールにより車外監視制御が中断されてい
る状態では（ＮＧ＝「１」）、カウンタＫがデクリメン
トされて下限値０に到達しない限り、車外監視制御は再
開されない（フェールセーフは解除されない）。一方、
車外監視制御が行われている状態では（ＮＧ＝
「０」）、カウンタＫがインクリメントされて上限値Ｋ
limに到達しない限り、フェールセーフは行われない
（車外監視制御が継続される）。
【００４８】このように、フェールセーフの介入条件を
具備するような走行状況になった場合には、カウンタＫ
のインクリメントが開始される。そして、このような走
行状況が所定時間（この時間は上限値Ｋlimとカウント
アップ量αによって決定される）継続した場合に、フェ
ールフラグＮＧが「１」にセットされ、フェールセーフ
の実行が指示される。これにより、車外監視制御が一時
的に中断されるため、弱逆光状況下における監視制御の
信頼性低下を防止することができる。
【００４９】なお、カウントアップ量αの値は、図１３
に示すカウントアップ量設定ルーチンにより決定され、
具体的には、距離分散と左右カメラの輝度差とに応じて
設定される（ステップ２０）。一般に、逆光状況では、
カメラに直接太陽光が入っているため、算出距離のばら
つきが正常状況時よりも大きくなる傾向がある。そこ
で、画像の所定エリア（例えば、画像の垂直方向に延在
するエリア）内における距離分散を求め、この分散が大
きい場合にはカウントアップ量αを大きく設定する。ま
た、逆光状況では、正常状況時よりも左右のカメラの輝
度差が大きくなる傾向があるため、カウントアップ量α
を大きく設定する。
【００５０】つぎに、フェールセーフの介入条件を具備
しない場合、すなわち、図２に示したステップ１からス
テップ６までに規定された各条件を一つでも具備しない
場合は、弱逆光状況ではないと判断される。この場合
は、図３に示したステップ７に進み、カウントフラグＦ
cntが「０」であるか否か、すなわち、カウンタＫがイ
ンクリメント／デクリメントされている状態であるか否
かが判断される。ステップ７において否定判定された場
合（Ｋ＝０）、それ以降の処理を行うことなく本ルーチ
ンを終了する。
【００５１】このように、弱逆光が生じていない正常な
走行状況であり、かつ、カウントＫが下限値０に到達し
ている場合、フェールフラグＮＧは「０」であるから、
車外監視制御が継続される。
【００５２】一方、フェールセーフの介入条件を具備し
ないが、カウンタＫが下限値０でない場合、ステップ７
における肯定判定を経て、ステップ８に進む。ステップ
８からステップ１０は、カウンタＫのカウントアップま
たはカウントダウンのどちらを行うかを判定するフェー
ルセーフの解除条件を規定しており、この解除条件を具
備する場合にはカウントダウンが行われ、解除条件を具
備しない場合にはカウントアップが行われる。なお、こ
の解除条件は上述した介入条件と比べて緩和された条件
となっている。その理由は、解除条件を介入条件よりも
緩和することで、先行車のロストと捕捉とが繰り返され
る状況下におけるフェールセーフのハンチングの発生を
防止するためである。
【００５３】フェールセーフの解除条件として、まず、
シャッタースピードａが3000[μsec]以下であるか否か
が判断される（ステップ８）。このステップ８において
否定判定された場合、すなわち、フェールセーフの解除
条件を具備する場合には、ステップ１１に進み、カウン
タＫからカウントダウン値βがデクリメントされる。
【００５４】一方、ステップ８において肯定判定された
場合は、ステップ９に進み、上述した輝度和分散ＶＡＲ
が判定値以上であるか否かが判断される。強い逆光状況
では、スミヤまたは逆光円により画像に輝度飽和部分が
出現する反面、暗転する部分も出現する。そのため、逆
光状況では輝度和分散ＶＡＲは大きくなる傾向がある。
しかしながら、輝度和分散ＶＡＲは、このような逆光状
況時のみ大きくなるわけではない。例えば、太陽光の強
い快晴時には、日の当たっている部分と日陰とのコント
ラストが強くなるため、輝度和分散ＶＡＲが大きくなる
傾向にある。特に、道路面上にガードレールや街路樹等
の陰がある場合、輝度和分散ＶＡＲは大きくなりやす
い。このような傾向から、正規化輝度和分散ＶＡＲ'よ
りも弱逆光との関連性が低い輝度和分散ＶＡＲを用い、
フェールセーフの解除条件を介入条件よりも緩和するこ
とにより、上述したハンチングの発生を防止する。この
ステップ９において肯定判定された場合、すなわち、フ
ェールセーフの解除条件を具備しない場合には、ステッ
プ１３に進み、カウンタＫのカウントアップが行われ
る。
【００５５】一方、ステップ９において否定判定された
場合は、さらに、白線信頼度が低いか否かが判断される
（ステップ１０）。弱逆光状況であっても、道路面部分
は正常に映し出されており、白線（車線）認識の信頼性
はそれほど低下していないことも多い。そこで、白線認
識の信頼性を解除条件とすることにより、上述したハン
チングの発生を防止することができる。白線の信頼性が
低下している場合には、ステップ１３に進み、カウント
Ｋのカウントアップが行われる。これに対して、白線の
信頼性が低下していない場合、すなわち、フェールセー
フの解除条件を具備する場合には、ステップ１１に進
み、カウンタＫのカウントダウンが行われる。
【００５６】なお、白線の信頼性の算出手法について
は、本出願人の先願である特願平１１−２６９５７８号
公報に開示されている。概略的には、ある撮像画像から
検出された白線の信頼性は、その白線に起因した輝度エ
ッジ数、従前の撮像画像において検出された白線位置と
の関係（連続性）、左右の白線の平行性等に基づいて算
出される。基本的には、輝度エッジ数が多いほど、従前
の白線位置との連続性が高いほど、または、検出された
左右の白線が平行であるほど、白線の信頼性は高くな
る。
【００５７】以上の説明から分かるように、フェールセ
ーフの解除条件（カウンタＫのカウントダウン条件）を
まとめると以下のようになる。 ［解除条件］ １．シャッタースピードａが3000[μsec]よりも大きい
こと ２．シャッタースピードａが3000[μsec]以下の場合に
は、輝度和分散ＶＡＲが判定値よりも小さく、かつ、白
線信頼度が低くないこと
【００５８】このように、本実施形態では、輝度分布特
性パラメータ、輝度エッジ数、上下の輝度飽和率、輝度
モーメント等をモニタリングし、これらのパラメータに
基づき、弱逆光状況の検出を行っている。これにより、
弱逆光状況においてフェールセーフを適切に行うことが
できるため、車外監視装置の安全性をより高い次元で確
保することが可能となる。
【００５９】特に、本実施形態では、画像を分割して画
像の垂直方向に延在する長方形状（縦短冊状）の監視領
域を複数設定し、画像の水平方向（横方向）の輝度分布
特性値（輝度和分散ＶＡＲや輝度和最大値Ａmax）を求
め、この値をシャッタースピードａにより正規化してい
る。これにより、弱逆光との関連性が高いパラメータ
（正規化輝度和分散ＶＡＲ'や正規化輝度和最大値Ａma
x'）を得ることができる。そして、このような正規化さ
れたパラメータＶＡＲ'，Ａmax'を用いてフェールセー
フの介入条件を設定すれば、正規化していない輝度分布
特性パラメータＶＡＲ，Ａmaxを用いる場合よりも、弱
逆光状況の検出精度の向上を図ることができる。
【００６０】また、上述したように、フェールセーフの
解除条件を、弱逆光状況の特徴を忠実に規定した介入条
件よりも緩やかな条件（弱逆光以外の状況も含みうる条
件）に設定している。これにより、先行車等のロストと
捕捉とが繰り返される状況下におけるフェールセーフの
ハンチングの発生を抑制できるため、ドライバーに違和
感を与えるような車輌制御や警報を防止することができ
る。
【００６１】特に、本実施形態では、フェールセーフの
介入条件として正規化された輝度分布特性値ＶＡＲ'，
Ａmax'を用いているのに対して、フェールセーフの解除
条件では、別個のパラメータである輝度分布特性値ＶＡ
Ｒ，Ａmax（正規化されていない）を用いている。ま
た、フェールセーフの解除条件で用いられている白線信
頼度は、フェールセーフの介入条件では用いられていな
い。このように、フェールセーフの介入条件と解除条件
とで異なるパラメータを用いれば、同一パラメータの判
定値を変えるといった一般的な手法と比べて、実際の走
行状況に的確に合致するような条件設定をフレキシブル
に行うことができる。
【００６２】さらに、本実施形態では、左右カメラの輝
度差や算出距離の分散等を考慮して、カウントアップ量
αの値を調整している。これにより、フェールセーフの
介入条件を具備した時点からフェールセーフ実行までの
判定継続時間を可変に設定することができるので、実際
の状況に応じた判定継続時間でフェールセーフを行うこ
とができる。
【００６３】なお、本実施形態では、フェールセーフを
行う状況として、画像に逆光円が生じている弱逆光状況
を例に説明した。弱逆光状況は、本発明に係る検出手法
を適用することにより最も有効に検出し得る典型例であ
るが、それ以外の光学的な影響を受けた画像（例えば、
スミアの発生等）に適用することも可能である。
【００６４】
【発明の効果】このように、本発明では、光学的な影響
などによって、撮像された画像に異常が生じた場合であ
っても、そのような画像異常を正確に検出することがで
きる。したがって、撮像画像に異常が生じたとしても、
それに的確に応答してフェールセーフを行えるため、車
外監視装置の安全性をより高い次元で確保することが可
能となる。
【図面の簡単な説明】
【図１】本実施形態に係る車外監視装置のブロック図
【図２】弱逆光判定ルーチンのフローチャート
【図３】弱逆光判定ルーチンのフローチャート
【図４】上部エリアおよび下部エリアの説明図
【図５】先行車エリアの説明図
【図６】監視エリアの説明図
【図７】輝度分布特性パラメータの計測特性図
【図８】正規化された輝度分布特性パラメータの特性図
【図９】通常状況における輝度和の分布特性図
【図１０】弱逆光状況における輝度和の分布特性図
【図１１】輝度重心の説明図
【図１２】フェール判定ルーチンのフローチャート
【図１３】カウントアップ量設定ルーチンのフローチャ
ート
【図１４】正常な画像の一例を示した図
【図１５】逆光円が発生した異常画像の一例を示した図
【図１６】逆光円により誤った距離情報を含む距離画像
を示した図
【符号の説明】
１ メインカメラ、 ２ サブカメラ、３，
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイクロコンピュータ、
１０ 道路認識部、 １１ 立体物認識部、
１２ フェール判定部、 １３ 処理部、１４
ＡＴ制御部、 １５ ＡＢＳ制御部、１６
ＴＣＳ制御部、 １７ トルクバランス制御
部、１８ エンジン制御部、 １９ 警報装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｖ ５Ｃ０５４ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｅ ５Ｈ１８０ Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ 5/235 5/235 7/18 7/18 Ｊ Ｋ Ｆターム(参考） 2F065 AA02 AA06 BB05 BB15 CC11 DD11 FF05 FF09 HH02 JJ02 JJ05 JJ25 MM02 QQ03 QQ24 QQ38 QQ41 2F112 AC03 AC06 BA01 BA07 CA05 CA12 FA03 FA07 FA21 FA33 FA41 2H002 DB19 DB25 HA04 HA13 JA08 3D044 BA16 BA20 BA21 BB01 BD01 5C022 AA04 AC42 AC69 5C054 AA01 CA04 CC02 CG02 CH01 EA01 EA05 FC03 FC14 FC15 FC16 HA30 5H180 AA01 CC04 LL01 LL04 LL07 LL08 LL09

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】フェールと判定された場合にフェールセー
    フを行う車外監視装置において、 車外の景色を撮像する撮像手段と、 前記撮像手段により得られた撮像画像の水平方向におけ
    る輝度分布を示す輝度分布特性値を算出する算出手段
    と、 前記算出手段により算出された輝度分布特性値をシャッ
    タースピードで正規化したパラメータに基づいて、フェ
    ールを判定する判定手段とを有することを特徴とするフ
    ェールセーフ機能を有する車外監視装置。
  2. 【請求項２】前記輝度分布特性値は、輝度和最大値であ
    ることを特徴とする請求項１に記載されたフェール機能
    を有する車外監視装置。
  3. 【請求項３】前記輝度分布特性値は、輝度和分散である
    ことを特徴とする請求項１に記載されたフェール機能を
    有する車外監視装置。
  4. 【請求項４】フェールと判定された場合にフェールセー
    フを行う車外監視装置において、 車外の景色を撮像する撮像手段と、 前記撮像手段により得られた撮像画像の所定の監視エリ
    ア内における輝度エッジに関連するデータ数を算出する
    算出手段と、 前記算出手段により算出されたデータ数に基づいて、フ
    ェールを判定する判定手段とを有することを特徴とする
    フェールセーフ機能を有する車外監視装置。
  5. 【請求項５】前記データ数は、輝度エッジ数であること
    を特徴とする請求項４に記載されたフェール機能を有す
    る車外監視装置。
  6. 【請求項６】前記データ数は、一対の撮像手段による一
    対の撮像画像から得られる距離データ数であることを特
    徴とする請求項４に記載されたフェール機能を有する車
    外監視装置。
  7. 【請求項７】前記所定の監視エリアは、前記撮像画像の
    上部に設定され、走行時に自車輌前方の先行車が映し出
    されるエリアであることを特徴とする請求項４に記載さ
    れたフェール機能を有する車外監視装置。
  8. 【請求項８】フェールと判定された場合にフェールセー
    フを行う車外監視装置において、 車外の景色を撮像する撮像手段と、 前記撮像手段により得られた撮像画像の水平方向におい
    て輝度が特定の水平位置に集中したと考えた場合におけ
    る当該水平位置を輝度重心として算出する第１の算出手
    段と、 前記第１の算出手段により算出された輝度重心を考慮し
    て、水平方向における輝度分布状態を評価することによ
    り、フェールを判定する判定手段とを有することを特徴
    とするフェールセーフ機能を有する車外監視装置。
  9. 【請求項９】前記輝度重心を基準とした水平方向におけ
    る輝度の分布状態を示す輝度モーメントを算出する第２
    の算出手段をさらに有し、 前記判定手段は、前記第２の算出手段により算出された
    輝度モーメントに基づいて、フェールを判定することを
    特徴とする請求項８に記載されたフェールセーフ機能を
    有する車外監視装置。
  10. 【請求項１０】フェールと判定された場合にフェールセ
    ーフを行う車外監視装置において、 車外の景色を撮像する撮像手段と、 前記撮像手段により得られた撮像画像の水平方向におけ
    る輝度分布特性を示す輝度分布特性値をシャッタースピ
    ードにより正規化することにより、第１のパラメータを
    算出する第１のパラメータ算出手段と、 前記撮像画像に設定された監視エリア内の輝度エッジに
    関連するデータ数を第２のパラメータとして算出する第
    ２のパラメータ算出手段と、 前記第１のパラメータと前記第２のパラメータとに基づ
    いてフェールを判定する判定手段とを有することを特徴
    とするフェールセーフ機能を有する車外監視装置。
JP2000211835A 2000-07-12 2000-07-12 フェールセーフ機能を有する車外監視装置 Expired - Lifetime JP4953498B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000211835A JP4953498B2 (ja) 2000-07-12 2000-07-12 フェールセーフ機能を有する車外監視装置
US09/902,576 US7619649B2 (en) 2000-07-12 2001-07-12 Vehicle front-view monitoring system
EP01306022A EP1172665B1 (en) 2000-07-12 2001-07-12 Vehicle front-view monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000211835A JP4953498B2 (ja) 2000-07-12 2000-07-12 フェールセーフ機能を有する車外監視装置

Publications (2)

Publication Number Publication Date
JP2002022439A true JP2002022439A (ja) 2002-01-23
JP4953498B2 JP4953498B2 (ja) 2012-06-13

Family

ID=18707864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000211835A Expired - Lifetime JP4953498B2 (ja) 2000-07-12 2000-07-12 フェールセーフ機能を有する車外監視装置

Country Status (3)

Country Link
US (1) US7619649B2 (ja)
EP (1) EP1172665B1 (ja)
JP (1) JP4953498B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084959A (ja) * 2003-09-09 2005-03-31 Fuji Heavy Ind Ltd 車外監視装置
JP2008301342A (ja) * 2007-06-01 2008-12-11 Fuji Heavy Ind Ltd 車外監視装置
JP2009176087A (ja) * 2008-01-25 2009-08-06 Fuji Heavy Ind Ltd 車両用環境認識装置
JP2009241648A (ja) * 2008-03-28 2009-10-22 Fuji Heavy Ind Ltd 運転支援装置
DE102009015142A1 (de) 2008-03-27 2009-12-17 Fuji Jukogyo K.K. Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
JP2011180982A (ja) * 2010-03-03 2011-09-15 Denso Corp 区画線検出装置
US8218029B2 (en) 2008-08-26 2012-07-10 Sony Corporation Image taking apparatus, correction circuit and correction method
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
JP2015020584A (ja) * 2013-07-19 2015-02-02 日産自動車株式会社 車両用レーン認識装置
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10238936A1 (de) * 2002-08-24 2004-03-04 Robert Bosch Gmbh Vorrichtung und Verfahren zur Steuerung wenigstens einer Systemkomponente eines informationstechnischen Systems
DE10313002B4 (de) * 2003-03-24 2006-03-23 Daimlerchrysler Ag Fahrzeugumgebungserfassungseinheit
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
US8208022B2 (en) * 2008-06-05 2012-06-26 Lg Electronics Inc. Apparatus and method for removing blooming of camera image
DE102009047437A1 (de) * 2009-12-03 2011-06-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Anpassung von Bildinformationen eines optischen Systems
CN104718562B (zh) * 2012-10-17 2018-07-06 富士通株式会社 图像处理装置以及图像处理方法
JP5666538B2 (ja) * 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
JP5893601B2 (ja) 2013-10-31 2016-03-23 富士重工業株式会社 車両制御システム
JP6183305B2 (ja) 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
JP6132412B2 (ja) 2015-09-24 2017-05-24 株式会社Ｓｕｂａｒｕ 車外環境認識装置
EP3401182B1 (en) * 2017-05-09 2020-09-09 Veoneer Sweden AB Apparatus for lane detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JPH08315285A (ja) * 1995-05-17 1996-11-29 Nippon Signal Co Ltd:The 画像処理装置
JPH09113221A (ja) * 1995-10-17 1997-05-02 Mitsubishi Electric Corp 車載用画像処理装置及びその画像処理方法
JPH11108660A (ja) * 1997-10-03 1999-04-23 Kansei Corp 距離検出装置
JPH11118476A (ja) * 1997-10-16 1999-04-30 Olympus Optical Co Ltd 測距装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4833469A (en) * 1987-08-03 1989-05-23 David Constant V Obstacle proximity detector for moving vehicles and method for use thereof
US4899296A (en) * 1987-11-13 1990-02-06 Khattak Anwar S Pavement distress survey system
JPH04147400A (ja) * 1990-10-11 1992-05-20 Matsushita Electric Ind Co Ltd 車両検出装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP3468428B2 (ja) * 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JPH0789364A (ja) 1993-09-22 1995-04-04 Mitsubishi Motors Corp 自動車の走行制御装置
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
EP1383100A3 (en) * 1996-08-28 2005-02-02 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus and method therefor
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US6760061B1 (en) * 1997-04-14 2004-07-06 Nestor Traffic Systems, Inc. Traffic sensor
US6282478B1 (en) * 1997-07-10 2001-08-28 Aisin Seiki Kabushiki Kaisha Travelling direction correction apparatus
DE19744720A1 (de) * 1997-10-10 1999-04-15 Bosch Gmbh Robert Verfahren und Vorrichtung zur Regelung einer Fahrgeschwindigkeit eines Kraftfahrzeugs
AU1947899A (en) * 1997-12-31 1999-07-19 Gentex Corporation Vehicle vision system
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
US6013911A (en) * 1998-03-02 2000-01-11 Ultra Stereo Labs Inc. Lamp illumination control system and method
US6636257B1 (en) * 1998-08-11 2003-10-21 Honda Giken Kogyo Kabushiki Kaisha Mobile body recognizing apparatus and motor vehicle monitoring apparatus
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
JP3990836B2 (ja) * 1999-03-01 2007-10-17 矢崎総業株式会社 車両用周辺監視装置
JP3352655B2 (ja) 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JPH08315285A (ja) * 1995-05-17 1996-11-29 Nippon Signal Co Ltd:The 画像処理装置
JPH09113221A (ja) * 1995-10-17 1997-05-02 Mitsubishi Electric Corp 車載用画像処理装置及びその画像処理方法
JPH11108660A (ja) * 1997-10-03 1999-04-23 Kansei Corp 距離検出装置
JPH11118476A (ja) * 1997-10-16 1999-04-30 Olympus Optical Co Ltd 測距装置

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
JP4532089B2 (ja) * 2003-09-09 2010-08-25 富士重工業株式会社 車外監視装置
JP2005084959A (ja) * 2003-09-09 2005-03-31 Fuji Heavy Ind Ltd 車外監視装置
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US9191634B2 (en) 2004-04-15 2015-11-17 Magna Electronics Inc. Vision system for vehicle
US9428192B2 (en) 2004-04-15 2016-08-30 Magna Electronics Inc. Vision system for vehicle
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
JP2008301342A (ja) * 2007-06-01 2008-12-11 Fuji Heavy Ind Ltd 車外監視装置
JP2009176087A (ja) * 2008-01-25 2009-08-06 Fuji Heavy Ind Ltd 車両用環境認識装置
DE102009015142A1 (de) 2008-03-27 2009-12-17 Fuji Jukogyo K.K. Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
US8175334B2 (en) 2008-03-27 2012-05-08 Fuji Jukogyo Kabushiki Kaisha Vehicle environment recognition apparatus and preceding-vehicle follow-up control system
JP2009241648A (ja) * 2008-03-28 2009-10-22 Fuji Heavy Ind Ltd 運転支援装置
US8218029B2 (en) 2008-08-26 2012-07-10 Sony Corporation Image taking apparatus, correction circuit and correction method
US8520954B2 (en) 2010-03-03 2013-08-27 Denso Corporation Apparatus for detecting lane-marking on road
JP2011180982A (ja) * 2010-03-03 2011-09-15 Denso Corp 区画線検出装置
JP2015020584A (ja) * 2013-07-19 2015-02-02 日産自動車株式会社 車両用レーン認識装置

Also Published As

Publication number Publication date
EP1172665A3 (en) 2008-04-23
EP1172665A2 (en) 2002-01-16
US7619649B2 (en) 2009-11-17
US20020018119A1 (en) 2002-02-14
JP4953498B2 (ja) 2012-06-13
EP1172665B1 (en) 2011-06-01

Similar Documents

Publication Publication Date Title
JP4953498B2 (ja) フェールセーフ機能を有する車外監視装置
US10860869B2 (en) Time to collision using a camera
CN105835880B (zh) 车道追踪系统
US8041079B2 (en) Apparatus and method for detecting obstacle through stereovision
US9704404B2 (en) Lane detection apparatus and operating method for the same
JP4962581B2 (ja) 区画線検出装置
US8175334B2 (en) Vehicle environment recognition apparatus and preceding-vehicle follow-up control system
CN108437893B (zh) 一种汽车偏离车道的预警方法及装置
US20150278578A1 (en) Object Detection Device and Object Detection Method
JP3312729B2 (ja) フェールセーフ機能を有する車外監視装置
CN105984407B (zh) 一种车后情况监视及警示装置
US20200372794A1 (en) Method of detecting speed using difference of distance between object and monitoring camera
JP4925498B2 (ja) フェールセーフ機能を有する車外監視装置
EP3115930A1 (en) Malfunction diagnosis apparatus
JP3092105B1 (ja) フェールセーフ機能を有する車外監視装置
JP3301995B2 (ja) ステレオ式車外監視装置
CN109389060A (zh) 一种基于视觉的车周碰撞预警方法
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
JP3235831B2 (ja) ステレオ式車外監視装置
CN108230486B (zh) 一种探测路面凹凸的方法及行车记录仪
JP3771729B2 (ja) 交通流計測システム
JP4532089B2 (ja) 車外監視装置
JP7391947B2 (ja) カメラの画像処理デバイスの誤検出を検知するための方法
JP2022027305A (ja) 危険運転検出装置、危険運転検出システム、及び危険運転検出プログラム
JP4794764B2 (ja) 車外監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100928

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120313

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4953498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term