JP2006146754A - 先行車検出方法及び先行車検出装置 - Google Patents
先行車検出方法及び先行車検出装置 Download PDFInfo
- Publication number
- JP2006146754A JP2006146754A JP2004338474A JP2004338474A JP2006146754A JP 2006146754 A JP2006146754 A JP 2006146754A JP 2004338474 A JP2004338474 A JP 2004338474A JP 2004338474 A JP2004338474 A JP 2004338474A JP 2006146754 A JP2006146754 A JP 2006146754A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- headlamp
- preceding vehicle
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Traffic Control Systems (AREA)
- Regulating Braking Force (AREA)
Abstract
【課題】ヘッドランプを点灯して走行する夜間状態の走行環境下において、自車と先行車との車間距離が中遠距離になるときにも、撮影画像から自車と先行車との車間距離を求めて先行車を検出できるようにする。
【解決手段】前記の夜間状態の走行環境下、自車前方の撮影画像の輝度飽和領域から自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出し、このとき、自車と先行車との車間距離によって、自車のヘッドランプ光の先行車での反射位置が上下し、この上下にしたがって自車ヘッドランプ写り込み画像の高さが上下することから、ヘッドランプ光の先行車での反射位置の各高さに対応して記憶した各車間距離に基き、反射位置の検出高さから自車と先行車との実車間距離を求めて先行車を検出する。
【選択図】図2
【解決手段】前記の夜間状態の走行環境下、自車前方の撮影画像の輝度飽和領域から自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出し、このとき、自車と先行車との車間距離によって、自車のヘッドランプ光の先行車での反射位置が上下し、この上下にしたがって自車ヘッドランプ写り込み画像の高さが上下することから、ヘッドランプ光の先行車での反射位置の各高さに対応して記憶した各車間距離に基き、反射位置の検出高さから自車と先行車との実車間距離を求めて先行車を検出する。
【選択図】図2
Description
本発明は、ヘッドランプを点灯して走行する夜間状態の走行環境下において、画像処理によって先行車を検出する先行車検出方法及び先行車検出装置に関する。なお、この出願の夜間状態の走行環境には、いわゆる夜間走行の環境の他、トンネル内走行の環境等のヘッドライトを点灯して走行する種々の環境が含まれるものとする。
従来、ASV(Advanced Safety Vehicles)と呼ばれる先進安全自動車等においては、いわゆるドライバ支援の情報提供等を行なうため、自車前方を撮影する撮像手段として、CCDカメラ等のいわゆる車載カメラを備え、この車載カメラの撮影画像から矩形領域を抽出等の画像処理により、自車前方の先行車を検出することが提案されている(例えば、特許文献1参照)。
一方、ヘッドランプを点灯して走行する夜間状態の走行環境下において、前記の車載カメラの撮影画像の色や輝度の大小(高低)から先行車のストップランプ光、テールランプ光を検出することが提案されている(例えば、特許文献2参照)。なお、ストップランプ光、テールランプ光は、多くの場合、車両後部2個所のリヤコンビネーションランプのストップランプ点灯、テールランプ点灯(スモール点灯)によって発生し、ブレーキ操作時に発生するストップランプ光は、テールランプ光に比して高輝度である。
前記従来のように、撮影画像からの矩形領域の抽出等の複雑な画像処理によって自車前方の先行車を検出する場合、カメラのダイナミックレンジ等に基き、昼と夜間では撮影画像がまったく異なり、十分なダイナミックレンジの撮影画像が得られる昼間は、この画像から自車と先行車との車間距離を推定して先行車を検出できたとしても、ダイナミックレンジが小さくなる夜間は、撮影画像から得られる画像情報が不足して先行車をうまく検出できないことが多く、とくに、自車と先行車との車間距離が中遠距離になって自車のヘッドランプの光が先行車全体を照射しなくなるときに顕著である。
また、夜間状態の走行環境下において、前記の車載カメラの撮影画像の色や輝度の大小から先行車のストップランプ光、テールランプ光を検出する場合も、前記したように撮影画像のダイナミックレンジが小さくなることから、とくに、輝度が低いテールランプ光は検出が容易でない。
すなわち、夜間状態の走行環境下においては、従来、前記の車載カメラ等の撮影手段の撮影画像のダイナミックレンジが小さくなるため、とくに自車と先行車との車間距離が中遠距離になるときに、その撮影画像から、前記車間距離を推定して先行車を確実に検出することができない問題がある。また、先行車のテールランプ光の検出も困難で自車前方の先行車の存在自体を検出できないおそれもある。
その結果、先行車の存在を認識して自車とその先行車との車間距離を推定し、先行車を自動的に確実に検出することができず、さらには、その先行車の減速や停止の状態を検出することもできず、ASV等の夜間状態の走行環境下での画像処理によるドライバ支援の情報提供等が良好に行なえない。
本発明は、夜間状態の走行環境下において、自車と先行車との車間距離が中遠距離になるときにも、前記の車載カメラ等の撮像手段の撮影画像から、自車と先行車との車間距離を求めて先行車を検出できるようにすることを目的とする。また、その影画像から、先行車のテールランプ光を確実に検出できるようにすることも目的とする。さらに、前記の撮像手段の撮影画像から、先行車を認識して自車とその先行車との車間距離を推定し、先行車を自動的に確実に検出できるようにするとともに、その先行車の減速や停止の状態も検出できるようにし、ASV等の夜間状態の走行環境下において、自車と先行車との車間距離が中遠距離になるときにも、画像処理によるドライバ支援の情報提供等が良好に行なえるようにすることを目的とする。
上記した目的を達成するために、本発明の先行車検出方法は、ヘッドランプを点灯して走行する夜間状態の走行環境下、自車前方の撮影画像の輝度飽和領域から自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出し、前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から前記ヘッドランプ光の前記先行車での反射位置の高さを検出し、前記反射位置の各高さに対応して記憶した各車間距離に基き、前記反射位置の検出高さから自車と前記先行車との実車間距離を求めて前記先行車を検出することを特徴としている(請求項1)。
また、本発明の先行車検出方法は、ヘッドランプを点灯して走行する夜間状態の環境下、自車前方の撮影画像の左右方向の2個所からの設定したテールランプ光の画像特徴領域の検出により、自車前方に先行車が存在することを認識して検出することを特徴としている(請求項2)。
さらに、本発明の先行車検出方法は、ヘッドランプを点灯して走行する夜間状態の走行環境下、自車前方の撮影画像の左右の2個所から、設定したテールランプ光の画像特徴領域を検出し、該画像特徴領域の検出により、自車前方に先行車が存在することを認識し、該認識に基き、前記撮影画像の輝度飽和領域から自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出し、前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から前記ヘッドランプ光の前記先行車での反射位置の高さを検出し、前記反射位置の各高さに対応して記憶した各車間距離に基き、前記反射位置の検出高さから自車と前記先行車との実車間距離を求めて前記先行車を検出し、かつ、前記撮影画像の設定面積以上の輝度飽和領域を検出して前記先行車の前記テールランプ光より明るいストップランプ光を認識したときに、該認識に基き、前記先行車が減速又は停止の特定状態であることを検出することを特徴としている(請求項3)。
つぎに、本発明の先行車検出装置は、自車前方を撮影する撮像手段と、前記撮像手段の撮影画像を処理する画像処理装置とを備え、前記画像処理装置に、ヘッドランプを点灯して走行する夜間状態の走行環境下、前記撮像手段の撮影画像の輝度飽和領域から自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出するヘッドランプ画像検出手段と、前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から前記ヘッドランプ光の前記先行車での反射位置の高さを検出する反射位置検出手段と、前記反射位置の各高さに対応して記憶した各車間距離に基き、前記反射位置の検出高さから自車と前記先行車との実車間距離を求めて前記先行車を検出する車間距離演算手段とを設けたことを特徴としている(請求項4)。
また、本発明の先行車検出装置は、自車前方を撮影する撮像手段と、前記撮像手段の撮影画像を処理する画像処理装置とを備え、前記画像処理装置に、ヘッドランプを点灯して走行する夜間状態の走行環境下、前記撮像手段の撮影画像の左右方向の2個所から、設定したテールランプ光の画像特徴領域を検出する画像特徴領域検出手段と、該画像特徴領域検出手段の前記テールランプ光の画像特徴領域の検出により、自車前方に先行車が存在することを認識して検出する存在認識手段とを設けたことを特徴としている(請求項5)。
さらに、本発明の先行車検出装置は、自車前方を撮影する撮像手段と、前記撮像手段の撮影画像を処理する画像処理装置とを備え、前記画像処理装置に、ヘッドランプを点灯して走行する夜間状態の走行環境下、前記撮像手段の撮影画像の左右方向の2個所から、設定したテールランプ光の画像特徴領域を検出する画像特徴領域検出手段と、該画像特徴領域検出手段の前記テールランプ光の画像特徴領域の検出により、自車前方に先行車が存在することを認識する存在認識手段と、該存在認識手段の認識に基き、前記撮像手段の撮影画像から自車のヘッドランプ光が前記先行車で反射して生じる自車ヘッドランプ写り込み画像を検出するヘッドランプ画像検出手段と、前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から前記ヘッドランプ光の前記先行車での反射位置の高さを検出する反射位置検出手段と、前記反射位置の各高さに対応して記憶した各車間距離に基き、前記反射位置の検出高さから自車と前記先行車との実車間距離を求めて前記先行車を検出する車間距離演算手段と、前記撮影画像の設定面積以上の輝度飽和領域を検出して前記先行車の前記テールランプ光より明るいストップランプ光を認識し、該認識に基き、前記先行車が減速又は停止の特定状態であることを検出するストップランプ光認識手段とを設けたことを特徴としている(請求項6)。
まず、請求項1、4の構成によれば、ヘッドランプを点灯して走行する夜間状態の走行環境下、自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像は、自車と先行車との車間距離が、ヘッドランプ光が先行車の一部を照射する中遠距離であっても、十分に明るく、輝度飽和画像になることに着目し、自車前方の撮影画像の輝度飽和領域から前記の自車ヘッドランプ写り込み画像を検出する。
このとき、自車と先行車との車間距離によって、自車のヘッドランプ光の先行車での反射位置が上下し、この上下にしたがって自車ヘッドランプ写り込み画像の高さが上下することから、前記ヘッドランプ光の前記先行車での反射位置の各高さに対応して記憶した各車間距離に基き、反射位置の検出高さから自車と先行車との実車間距離を求めて先行車を検出することができる。
したがって、夜間状態の走行環境下において、自車と先行車との車間距離が中遠距離になるときにも、撮像手段の撮影画像から、自車と先行車との車間距離を求めて先行車を検出することができる。
また、請求項2、5の構成によれば、自車と先行車との車間距離が前記の中遠距離であっても、ヘッドランプを点灯して走行する夜間状態の環境下、先行車のテールランプ光が撮影画像の左右方向の2個所のほぼ同一の高さの位置にほぼ同じ大きさ、形状でほぼ同じ輝度の特徴的な領域として存在することに着目し、この特徴的な画像領域の情報に基き、自車前方の撮影画像の左右方向の2個所から設定したテールランプ光の画像特徴領域を検出することで、先行車のテールランプ光を確実に検出し、自車前方の先行車の存在を認識することができる。
さらに、請求項3、6の構成によれば、前記の撮影画像から設定したテールランプ光の画像特徴領域を検出することにより、先行車のテールランプ光を確実に検出して自車前方の先行車の存在を認識することができ、この認識に基づき、自車ヘッドランプ写り込み画像の高さから自車と先行車との実車間距離を求めて先行車を検出することができ、しかも、ブレーキ操作による先行車のストップランプ光が発生すると、このストップランプ光の画像が前記の撮影画像に設定面積以上の輝度飽和領域として出現し、この設定面積以上の輝度飽和領域の出現を検出して先行車のストップランプ光を認識し、この認識に基き、先行車が減速又は停止の特定状態であることを検出することができる。
したがって、ASV等の夜間状態の走行環境下において、自車と先行車との車間距離が中遠距離になるときにも、画像処理によるドライバ支援の情報提供等を良好に行なうことができる。
つぎに、本発明をより詳細に説明するため、その実施形態について、図1〜図8にしたがって詳述する。
(第1の実施形態)
まず、請求項1、4に対応する第1の実施形態について、図1〜図5を参照して説明する。
まず、請求項1、4に対応する第1の実施形態について、図1〜図5を参照して説明する。
図1は自車1の先行車検出装置のブロック図、図2は図1の先行車検出方法説明用のフローチャートであり、図3は各車間距離の自車ヘッドランプ写り込み画像の説明図、図4は自車のヘッドランプの照射範囲の説明図、図5は先行車のヘッドランプ照射位置と車間距離との関係の説明図である。
そして、図1の自車1は自車前方を撮影する撮像手段としてCCD単眼カメラ等のカメラ2を備え、少なくとも自車1のエンジン動作中は、カメラ2により自車前方を連続的に撮影し、その時々刻々の撮影画像の信号がマイクロコンピュータ構成のECU3に取り込まれる。
また、自車1には走行状態等を監視検出するため車速センサ4等の各種のセンサやヘッドランプスイッチ5等の各種のスイッチが設けられ、これらのセンサやスイッチの信号もECU3に取り込まれる。
つぎに、ECU3に接続されたメモリユニット6は、例えば、予め設定された追従走行制御、自動ブレーキ制御のプログラム等の走行制御の各種プログラムや後述の先行車検出のプログラム等を保持するとともに、カメラ2の撮影画像や各種のセンサやスイッチの信号等を書き換え自在に収集する。
そして、ECU3が形成する走行制御装置は走行モードの選択等にしたがって周知の追従走行制御等を実行し、スロットルユニット7、ブレーキユニット8を制御して自車1の加速、減速を制御し、例えば、先行車と一定の車間距離を保つように、自車1を走行し、車間距離等の制御情報を表示ユニット9に表示してドライバに報知する。
このECU3及びメモリユニット6によりつぎに説明する画像処理装置が形成され、この画像処理装置とカメラ2とによって、本願発明の先行車検出装置が形成される。
そして、この実施形態の前記画像処理装置は、少なくとも前記のエンジン動作中、メモリユニット6に設定された図2の先行車検出のプログラムをECU3が実行することにより、とくにヘッドランプを点灯して走行する夜間状態の環境下に先行車を検出する、ソフトウエア構成のつぎの各手段が設けられる。
(a)ヘッドランプ画像検出手段
この手段は、ヘッドランプを点灯して走行する夜間状態の走行環境下、カメラ2の撮影画像の輝度飽和領域から自車1のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出する。
この手段は、ヘッドランプを点灯して走行する夜間状態の走行環境下、カメラ2の撮影画像の輝度飽和領域から自車1のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出する。
(b)反射位置検出手段
この手段は、前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から自車1のヘッドランプ光の先行車での反射位置の高さを検出する。
この手段は、前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から自車1のヘッドランプ光の先行車での反射位置の高さを検出する。
(c)車間距離演算手段
この手段は、前記反射位置の各高さに対応してメモリユニット6に記憶した各車間距離に基き、前記反射位置の検出高さから自車1と先行車との実車間距離を求めて先行車を検出する。
この手段は、前記反射位置の各高さに対応してメモリユニット6に記憶した各車間距離に基き、前記反射位置の検出高さから自車1と先行車との実車間距離を求めて先行車を検出する。
そして、例えば自車1の走行中に図2のステップA1によりカメラ2の撮影画像を取り込むと、ステップA2に移行し、ヘッドランプ画像検出手段がヘッドランプスイッチ5の信号から自車1のヘッドランプの点、消灯を判別する。
このとき、判別結果が消灯になる自車1のヘッドランプの消灯中は、いわゆる昼間の状態で走行しているため、ステップA2からステップA3に移行し、例えばカメラ2の撮影画像から矩形領域を抽出したり、画像の輪郭線を検出したりして先行車を検出する、従来と同様の周知の画像処理によって先行車を検出する。
一方、図2のステップA2の判別結果が自車1のヘッドランプの点灯中になると、前記の夜間状態の走行環境であることから、ステップA2からステップA4に移行し、つぎのようにして前記のヘッドランプ画像検出手段が自車ヘッドランプ写り込み画像を検出する。
すなわち、夜間状態の走行環境下においては、自車1のヘッドランプ光が先行車で反射すると、例えば図3の(a)、(b)、(c)の撮影画像Pa、Pb、Pcに示すように、自車1と先行車TGとの車間距離によって高さ及び範囲が変化する明るい自車ヘッドランプ写り込み画像αが、カメラ2に撮影される。なお、撮影画像Pa、Pb、Pcは先行車TGが遠、中、近の車間距離の画像である。
そして、自車ヘッドランプ写り込み画像αは、車間距離が中遠距離になり、自車1のヘッドランプの光が例えば図3の(a)、(b)に示すように先行車TG全体を照射しなくなるときにも輝度飽和画像になる。
そのため、ヘッドランプ画像検出手段は、例えば、ヘッドランプのビーム選択(制御)等に基くヘッドランプの照射範囲(主に高さ方向の範囲)を予測し、カメラ2の撮影画像のこの照射範囲の設定面積以上の輝度飽和領域を自車ヘッドランプ写り込み画像αとして検出する。
つぎに、図2のステップA5に移行し、反射位置検出手段により、自車ヘッドランプ写り込み画像αの上限の高さから自車1と先行車TGとの実車間距離を求めて先行車TGを検出する。
すなわち、自車1のヘッドランプの光軸は、通常、自車前方の道路平面を照射するように斜め下向きであり、そのため、図4に示すように、自車1と先行車TG(Z1)、TG(Z2)、TG(Z3)、TG(Z4)との車間距離Z(=Z1、Z2、Z3、Z4:Z1>Z2>Z3>Z4)によって、ヘッドランプ光の反射位置の高さ(上端の高さ)yが変化する。
そして、図5に示すような高さyに対する車間距離Zの特性線zのデータを、種々の実験等によって求め、その結果を、自車1のヘッドランプ光の先行車TGでの反射位置の各高さに対応した車間距離としてメモリユニット6に予め保持しておく。
そして、自車ヘッドランプ写り込み画像αを検出すると、その上端の撮影画像上の高さに、カメラ2の設置高さや撮影倍率等の撮影条件から定まる周知の換算演算を施し、自車ヘッドランプ写り込み画像αの上端の実際の高さ(実高さ)yαを求め、この高さyαに対応する車間距離Zαをメモリユニット6の前記特性線βのデータから求め、この車間距離Zαを実車間距離として算出して推定し、先行車TGを検出する。
つぎに、図2のステップA6に移行し、例えば、算出した実車間距離を図1の表示ユニット9に数値等で表示して先行車TGの検出をドライバ等に報知する。
この場合、自車1のヘッドランプ光が先行車TGの一部を照射する中遠距離であっても、自車1のヘッドランプ光が先行車TGで反射して生じる自車ヘッドランプ写り込み画像αから、自車1と先行車TGとの車間距離を求めて推定し、先行車TGを確実に検出することができる。
(第2の実施形態)
つぎに、請求項2、5に対応する第2の実施形態について、図1及び図6、図7を参照して説明する。
つぎに、請求項2、5に対応する第2の実施形態について、図1及び図6、図7を参照して説明する。
図6は先行車検出方法説明用のフローチャートであり、図7はテールランプ光の画像の説明図である。
そして、この実施形態においては、図1の構成の自車1により、前記の夜間状態の環境下、先行車の後部左右のリヤコンビネーションランプのテールランプ点灯(スモール点灯)によって発生するテールランプ光を検出することで、自車前方に先行車が存在することを認識して検出する。
そのため、図1のメモリユニット6に、図2の先行車検出のプログラムに代えて図6の先行車検出のプログラムを保持し、メモリユニット6とともに画像処理装置を形成する図1のECU3により、そのプログラムを実行することで、画像処理装置にソフトウエア構成のつぎの各手段を設ける。
(d)画像特徴領域検出手段
この手段は、ヘッドランプを点灯して走行する夜間状態の走行環境下、撮像手段としてのカメラ2の撮影画像の左右方向の2個所から、設定したテールランプ光の画像特徴領域を検出する。
この手段は、ヘッドランプを点灯して走行する夜間状態の走行環境下、撮像手段としてのカメラ2の撮影画像の左右方向の2個所から、設定したテールランプ光の画像特徴領域を検出する。
(e)存在認識手段
この手段は、画像特徴領域検出手段のテールランプ光の画像特徴領域の検出により、自車前方に先行車TGが存在することを認識して検出する。
この手段は、画像特徴領域検出手段のテールランプ光の画像特徴領域の検出により、自車前方に先行車TGが存在することを認識して検出する。
そして、自車1の走行中に図6のステップB1によりカメラ2の撮影画像をECU3に取り込むと、ステップB2に移行し、ヘッドランプ画像検出手段がヘッドランプスイッチ5の信号から自車1のヘッドランプの点、消灯を判別する。
このとき、ステップB2からステップB3に移行し、図2のステップA3と同様の昼間の検出処理を行なう。
一方、図2のステップB2の判別結果が自車1のヘッドランプの点灯中になると、前記の夜間状態の走行環境であることから、ステップB2からステップB4に移行し、画像特徴領域検出手段により、つぎのようにして前記の画像特徴領域検出手段がテールランプ光の画像特徴領域を検出する。
すなわち、夜間状態の走行環境下、自車1の前方に走行中の先行車TGが存在すれば、そのテールランプ点灯(スモール点灯)により、先行車TGの後部の左右2個所のリヤコンビネーションランプがテールランプ光を発生する。
このテールランプ光をカメラ2が撮影すると、例えば図7のカメラ2の撮影画像Pdに示すように、この画像Pdの左右方向の2個所のほぼ同じ高さの位置に、例えば、輝度が飽和したほぼ同じ大きさ、形状の特徴的な領域、すなわち、テールランプ光の画像特徴領域βが発生する。
そこで、例えば、(ア)輝度が飽和していること、(イ)ほぼ同じ大きさ(面積)と形状であること、(ウ)同じ高さの位置(y座標位置)にあることを、画像特徴領域βの検出条件としてメモリユニット6に保持し、撮影画像から前記の検出条件に合致する2個所の輝度飽和領域を検出したときに、両領域をテールランプ光の画像特徴領域βとして検出する。
そして、テールランプ光の画像特徴領域βを検出すると、この検出に基づき、存在認識手段により、自車前方に先行車TGが存在することを認識して検出し、図6のステップB4からステップB5を介してステップB6に移行し、例えば、表示ユニット9にキャラクタ図形等で先行車TGの存在をドライバ等に報知する。
この場合、カメラ2の撮影画像の画像特徴領域の検出により、先行車TGが中遠距離に位置するときも、先行車TGのヘッドランプ光や後述のストップランプ光より輝度が低いテールランプ光を確実に検出し、自車1の前方に先行車TGが存在することを認識して検出することができる。
(第3の実施形態)
つぎに、請求項3、6に対応する第3の実施形態について、図1及び図8を参照して説明する。図8は先行車検出方法説明用のフローチャートである。
つぎに、請求項3、6に対応する第3の実施形態について、図1及び図8を参照して説明する。図8は先行車検出方法説明用のフローチャートである。
この実施形態においては、図1の構成の自車1により、前記の夜間状態の環境下、先行車の後部左右のリヤコンビネーションランプのテールランプ点灯(スモール点灯)によって発生するテールランプ光を検出し、自車前方に先行車TGが存在することを認識し、この認識に基き、自車1のヘッドランプ光が先行車TGで反射して生じる自車ヘッドランプ写り込み画像αから、自車1と先行車TGとの車間距離を求めて推定し、先行車TGを確実に検出し、さらに、先行車TGのストップランプ点灯から、先行車TGが減速又は停止の特定状態であることも検出し、ASV等の夜間状態の走行環境下において、画像処理によるドライバ支援の情報提供等が良好に行なえるようにする。
そのため、図1のメモリユニット6に、図8の先行車検出のプログラムを保持し、メモリユニット6とともに画像処理装置を形成する図1のECU3により、そのプログラムを実行することで、画像処理装置にソフトウエア構成のつぎの各手段を設ける。
すなわち、図8の先行車検出のプログラムの実施により、画像処理装置に、前記第1の実施形態のヘッドランプ画像検出手段、反射位置検出手段、車間距離演算手段、及び、前記第2の実施形態の画像特徴領域検出手段、存在認識手段を設け、さらに、つぎのストップランプ光認識手段を設ける。
このストップランプ光認識手段は、カメラ2の撮影画像の設定面積以上の輝度飽和領域を検出して先行車TGのテールランプ光より明るいストップランプ光を認識し、この認識に基き、先行車TGが減速又は停止の特定状態であることを検出する。
そして、これらの手段の動作により、図8の各ステップC1〜C10の処理を行なう。
具体的には、図8のステップC1〜C5の処理は、前記の画像特徴領域検出手段、存在認識手段によって行なわれる図6のステップB1〜B5と同様の処理であり、これらの処理により、第2の実施形態で説明したようにして、前記の夜間状態の環境下、先行車の後部左右のリヤコンビネーションランプのテールランプ点灯(スモール点灯)によって発生するテールランプ光を検出し、自車前方に先行車が存在することを認識する。
また、図8のステップC6〜C8の処理は、前記の先行車の存在の認識に基き、前記のヘッドランプ画像検出手段、反射位置検出手段、車間距離演算手段によって行なわれる図2のステップA4〜A6と同様の処理であり、これらの処理により、第1の実施形態で説明したようにして、自車1のヘッドランプ光が先行車TGで反射して生じる自車ヘッドランプ写り込み画像αから、自車1と先行車TGとの車間距離を求めて推定し、先行車TGを確実に検出する。
さらに、図8のステップC9、C10の処理は、前記のストップランプ光認識手段によって行なわれる処理であり、ブレーキ操作を行うことで先行車TGの後部左右のリヤコンビネーションランプのストップランプが点灯すると、そのストップランプ光の輝度は極めて高く、カメラ2の撮影画像に、前記のテールランプ光の画像と十分に区別できるほどの大きな(大面積)の輝度飽和領域が発生することに着目し、ステップC9により、カメラ2の撮影画像から、実験等によって設定した設定面積以上の輝度飽和領域を検出したときに、先行車TGのテールランプ光より明るいストップランプ光の発生を検出して認識し、この認識に基き、ステップC10により先行車TGが減速又は停止の特定状態であることを検出し、例えば、図1の表示ユニット9にキャラクタ図形等で先行車TGの減速又は停止をドライバ等に報知する。
したがって、この場合は夜間状態の環境下において、カメラ2の画像処理により、自車前方に先行車TGが存在することを認識し、自車1と先行車TGとの車間距離を求めて推定し、先行車TGを確実に検出することができ、しかも、その先行車TGが減速又は停止の特定状態であることも検出することができ、ASV等の夜間状態の走行環境下において、先行車TGが中遠距離に位置するときも、画像処理によるドライバ支援の情報提供等を良好に行なうことができる。
ところで、前記各実施形態の検出結果は、表示ユニット9によってドライバ等に報知するだけでなく、自車1の追従走行制御等に用いてもよいのは勿論である。
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、カメラ2はステレオカメラ等であってもよく、また、先行車TGはストップランプとテールランプとが別個独立に設けられていてもよい。
ところで、自車1の装備部品数を少なくするため、例えば図1のカメラ2を追従走行制御等の他の制御のセンサに兼用する場合にも適用することができる。
1 自車
2 カメラ
3 ECU
6 メモリユニット
TG 先行車
α 自車ヘッドランプ写り込み画像
β テールランプ光の特徴的な画像
2 カメラ
3 ECU
6 メモリユニット
TG 先行車
α 自車ヘッドランプ写り込み画像
β テールランプ光の特徴的な画像
Claims (6)
- ヘッドランプを点灯して走行する夜間状態の走行環境下、
自車前方の撮影画像の輝度飽和領域から自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出し、
前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から前記ヘッドランプ光の前記先行車での反射位置の高さを検出し、
前記反射位置の各高さに対応して記憶した各車間距離に基き、前記反射位置の検出高さから自車と前記先行車との実車間距離を求めて前記先行車を検出することを特徴とする先行車検出方法。 - ヘッドランプを点灯して走行する夜間状態の環境下、
自車前方の撮影画像の左右方向の2個所から、設定したテールランプ光の画像特徴領域を検出し、
該画像特徴領域の検出により、自車前方に先行車が存在することを認識して検出することを特徴とする先行車検出方法。 - ヘッドランプを点灯して走行する夜間状態の走行環境下、
自車前方の撮影画像の左右の2個所から、設定したテールランプ光の画像特徴領域を検出し、
該画像特徴領域の検出により、自車前方に先行車が存在することを認識し、
該認識に基き、前記撮影画像の輝度飽和領域から自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出し、
前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から前記ヘッドランプ光の前記先行車での反射位置の高さを検出し、
前記反射位置の各高さに対応して記憶した各車間距離に基き、前記反射位置の検出高さから自車と前記先行車との実車間距離を求めて前記先行車を検出し、
かつ、前記撮影画像の設定面積以上の輝度飽和領域を検出して前記先行車の前記テールランプ光より明るいストップランプ光を認識したときに、該認識に基き、前記先行車が減速又は停止の特定状態であることを検出することを特徴とする先行車検出方法。 - 自車前方を撮影する撮像手段と、前記撮像手段の撮影画像を処理する画像処理装置とを備え、
前記画像処理装置に、
ヘッドランプを点灯して走行する夜間状態の走行環境下、前記撮像手段の撮影画像の輝度飽和領域から自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出するヘッドランプ画像検出手段と、
前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から前記ヘッドランプ光の前記先行車での反射位置の高さを検出する反射位置検出手段と、
前記反射位置の各高さに対応して記憶した各車間距離に基き、前記反射位置の検出高さから自車と前記先行車との実車間距離を求めて前記先行車を検出する車間距離演算手段とを設けたことを特徴とする先行車検出装置。 - 自車前方を撮影する撮像手段と、前記撮像手段の撮影画像を処理する画像処理装置とを備え、
前記画像処理装置に、
ヘッドランプを点灯して走行する夜間状態の走行環境下、前記撮像手段の撮影画像の左右方向の2個所から、設定したテールランプ光の画像特徴領域を検出する画像特徴領域検出手段と、
該画像特徴領域検出手段の前記テールランプ光の画像特徴領域の検出により、自車前方に先行車が存在することを認識して検出する存在認識手段を設けたことを特徴とする先行車検出装置。 - 自車前方を撮影する撮像手段と、前記撮像手段の撮影画像を処理する画像処理装置とを備え、
前記画像処理装置に、
ヘッドランプを点灯して走行する夜間状態の走行環境下、前記撮像手段の撮影画像の左右方向の2個所から、設定したテールランプ光の画像特徴領域を検出する画像特徴領域検出手段と、
該画像特徴領域検出手段の前記テールランプ光の画像特徴領域の検出により、自車前方に先行車が存在することを認識する存在認識手段と、
該存在認識手段の認識に基き、前記撮像手段の撮影画像から自車のヘッドランプ光が先行車で反射して生じる自車ヘッドランプ写り込み画像を検出するヘッドランプ画像検出手段と、
前記自車ヘッドランプ写り込み画像の高さ方向の画像位置から前記ヘッドランプ光の前記先行車での反射位置の高さを検出する反射位置検出手段と、
前記反射位置の各高さに対応して記憶した各車間距離に基き、前記反射位置の検出高さから自車と前記先行車との実車間距離を求めて前記先行車を検出する車間距離演算手段と、
前記撮影画像の設定面積以上の輝度飽和領域を検出して前記先行車の前記テールランプ光より明るいストップランプ光を認識し、該認識に基き、前記先行車が減速又は停止の特定状態であることを検出するストップランプ光認識手段とを設けたことを特徴とする先行車検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004338474A JP2006146754A (ja) | 2004-11-24 | 2004-11-24 | 先行車検出方法及び先行車検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004338474A JP2006146754A (ja) | 2004-11-24 | 2004-11-24 | 先行車検出方法及び先行車検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006146754A true JP2006146754A (ja) | 2006-06-08 |
Family
ID=36626337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004338474A Withdrawn JP2006146754A (ja) | 2004-11-24 | 2004-11-24 | 先行車検出方法及び先行車検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006146754A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008201226A (ja) * | 2007-02-19 | 2008-09-04 | Toyota Motor Corp | 前照灯制御装置 |
JP2009061812A (ja) * | 2007-09-04 | 2009-03-26 | Hitachi Ltd | 配光等の自動車の制御装置 |
JP2011209961A (ja) * | 2010-03-29 | 2011-10-20 | Kyocera Corp | 車載用撮像装置 |
JP2013166467A (ja) * | 2012-02-15 | 2013-08-29 | Denso Corp | 車両周辺障害物検出装置及び障害物検出システム |
US20140241578A1 (en) * | 2013-02-28 | 2014-08-28 | Fujifilm Corporation | Vehicle-to-vehicle distance calculation apparatus and method |
JP2015185029A (ja) * | 2014-03-25 | 2015-10-22 | 富士重工業株式会社 | 車外環境認識装置 |
JP2016110539A (ja) * | 2014-12-10 | 2016-06-20 | 富士重工業株式会社 | 車外環境認識装置 |
JP2018142268A (ja) * | 2017-02-28 | 2018-09-13 | 株式会社東芝 | 車両画像処理装置、及び、車両画像処理システム |
-
2004
- 2004-11-24 JP JP2004338474A patent/JP2006146754A/ja not_active Withdrawn
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008201226A (ja) * | 2007-02-19 | 2008-09-04 | Toyota Motor Corp | 前照灯制御装置 |
JP2009061812A (ja) * | 2007-09-04 | 2009-03-26 | Hitachi Ltd | 配光等の自動車の制御装置 |
JP4722101B2 (ja) * | 2007-09-04 | 2011-07-13 | 日立オートモティブシステムズ株式会社 | 配光等の自動車の制御装置 |
JP2011209961A (ja) * | 2010-03-29 | 2011-10-20 | Kyocera Corp | 車載用撮像装置 |
JP2013166467A (ja) * | 2012-02-15 | 2013-08-29 | Denso Corp | 車両周辺障害物検出装置及び障害物検出システム |
US20140241578A1 (en) * | 2013-02-28 | 2014-08-28 | Fujifilm Corporation | Vehicle-to-vehicle distance calculation apparatus and method |
US9361528B2 (en) * | 2013-02-28 | 2016-06-07 | Fujifilm Corporation | Vehicle-to-vehicle distance calculation apparatus and method |
JP2015185029A (ja) * | 2014-03-25 | 2015-10-22 | 富士重工業株式会社 | 車外環境認識装置 |
JP2016110539A (ja) * | 2014-12-10 | 2016-06-20 | 富士重工業株式会社 | 車外環境認識装置 |
JP2018142268A (ja) * | 2017-02-28 | 2018-09-13 | 株式会社東芝 | 車両画像処理装置、及び、車両画像処理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4730267B2 (ja) | 車両用視界状況判定装置 | |
US10503985B2 (en) | Pedestrian determination method and determination device | |
US9415718B2 (en) | Vehicular headlight apparatus | |
US10442343B2 (en) | Vehicle exterior environment recognition apparatus | |
JP4496964B2 (ja) | 車両用トンネル検出装置および車両用ライト制御装置 | |
JP5680573B2 (ja) | 車両の走行環境認識装置 | |
JP4702426B2 (ja) | 車両検出装置、車両検出プログラム、およびライト制御装置 | |
US20170144585A1 (en) | Vehicle exterior environment recognition apparatus | |
JP5820843B2 (ja) | 周囲環境判定装置 | |
US9925984B2 (en) | Vehicle approach detection device and vehicle approach detection method | |
JP4900211B2 (ja) | 走行支援装置、車間距離設定方法 | |
WO2019176604A1 (ja) | オートライトシステム | |
JP2008207677A (ja) | 画像処理装置,画像処理方法、及び画像処理システム | |
WO2013172324A1 (ja) | 走行環境検出装置、及び、走行環境検出プログラム | |
JP2014231301A (ja) | 画像処理装置 | |
WO2021094800A1 (ja) | 信号機認識方法及び信号機認識装置 | |
JP2014106200A (ja) | 周辺監視装置及び駐車支援装置 | |
JP2006146754A (ja) | 先行車検出方法及び先行車検出装置 | |
JP2006227876A (ja) | 夜間画像による霧検出装置 | |
JP6354356B2 (ja) | 前方状況判定装置 | |
JP6214290B2 (ja) | 前照灯制御装置 | |
JP5873372B2 (ja) | ヘッドライトの配光制御装置 | |
JP4556597B2 (ja) | 先行車両検出装置 | |
JP2009083824A (ja) | 車両用歩行者検出装置 | |
JP5859897B2 (ja) | 車載カメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080205 |