JP2004364112A - Device for displaying vehicle surroundings - Google Patents

Device for displaying vehicle surroundings Download PDF

Info

Publication number
JP2004364112A
JP2004364112A JP2003162183A JP2003162183A JP2004364112A JP 2004364112 A JP2004364112 A JP 2004364112A JP 2003162183 A JP2003162183 A JP 2003162183A JP 2003162183 A JP2003162183 A JP 2003162183A JP 2004364112 A JP2004364112 A JP 2004364112A
Authority
JP
Japan
Prior art keywords
vehicle
image
warning
display device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003162183A
Other languages
Japanese (ja)
Other versions
JP4176558B2 (en
Inventor
Masato Watanabe
正人 渡辺
Takayuki Tsuji
孝之 辻
Shinji Nagaoka
伸治 長岡
Hiroshi Hattori
弘 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2003162183A priority Critical patent/JP4176558B2/en
Publication of JP2004364112A publication Critical patent/JP2004364112A/en
Application granted granted Critical
Publication of JP4176558B2 publication Critical patent/JP4176558B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle surroundings display device capable of correctly notifying the driver of a vehicle of an operating state of a device. <P>SOLUTION: In this vehicle surroundings display device provided with infrared cameras 2R and 2L capable of photographing the surroundings of the vehicle, an image processing part 11 for determining a warning target object that affects traveling of the vehicle from images caught by the infrared cameras 2R and 2L, and a display control part 12 for simultaneously displaying video photographed by the infrared cameras 2R and 2L and enhanced video showing the warning target object on a display device 9 arranged in front of the driving seat of the self-vehicle when the image processing part 11 detects the warning target object, when the warning target object detected by the image processing part 11 can not be determined, the display control part 12 always displays the video of the infrared cameras 2R and 2L on the display device 8 and performs display based on still picture data (icon) for warning showing an operating state of an image processing unit 1. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
この発明は、自車両の走行に影響を与える警告対象物を表示する車両周辺表示装置に関する。
【0002】
【従来の技術】
従来の車両周辺表示装置は、例えば赤外線カメラ等の撮像手段により捉えられた自車両周辺の画像から、自車両の走行に影響を与える歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する。この装置では、左右一組のステレオカメラが撮影した自車両周辺の画像において温度が高い部分を対象物とすると共に、対象物の視差を求めることにより該対象物までの距離を算出し、これらの対象物の移動方向や対象物の位置から、自車両の走行に影響を与える対象物を検出する。また、自車両の走行に影響を与える対象物を検出した場合、自車両の運転席の前方に配置されたディスプレイに、撮像手段により撮影された自車両周辺の映像の表示と検出された対象物の強調映像の表示を同時に行い、自車両の運転者に検出された対象物の情報を提供する(例えば、特許文献1参照。)。
【0003】
【特許文献1】
特開2001−6096号公報
【0004】
【発明が解決しようとする課題】
ところで、従来技術では、自車両の走行に影響を与える対象物が検出され、自車両の運転席の前方に配置されたディスプレイに表示されることにより、自車両の運転者は、自車両の走行に影響を与える対象物をいち早く認識できるものの、自車両の運転席の前方に配置されたディスプレイに、撮像手段により撮影された自車両周辺の映像の表示と検出された対象物の強調映像の表示が行われるのは、自車両の走行に影響を与える対象物が検出された時のみであるため、ディスプレイに自車両周辺の映像の表示と検出された対象物の強調映像の表示が行われていない場合、装置が正常に動作しているか否かを判断することができないという問題があった。
【0005】
すなわち、例えば自車両の周囲の気温(外気温)が高い場合、あるいは対象となる画像の中に赤外線を発する物体が多数存在する場合等では、赤外線を利用した撮像手段の特徴から、得られた赤外線画像の輝度分布に変化がなく、輝度分布が一様に取得されるため、赤外線を発する物体である歩行者等の対象物の検出が困難となり、自車両周辺の映像及び検出された対象物の強調映像の表示回数が少なくなる場合がある。また、装置に入力される走行速度や回転角情報等、車両の走行状態を示す信号がセンサ等の故障により途絶えた場合も、自車両周辺の映像及び検出された対象物の強調映像の表示は実行されない。従って、自車両の運転者は、ディスプレイに自車両周辺の映像の表示と検出された対象物の強調映像の表示が行われていない場合、自車両の周囲に自車両の走行に影響を与える対象物が存在しないのか、あるいは装置が正常に動作していないのかを判断することができなかった。
【0006】
本発明は、上記課題に鑑みてなされたもので、自車両の運転者に装置の動作状況を正確に通知することができる車両周辺表示装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記課題を解決するために、請求項1の発明に係る車両周辺表示装置は、自車両(例えば実施の形態の自車両20)の周囲を撮影可能な赤外線カメラ(例えば実施の形態の赤外線カメラ2R、2L)と、該赤外線カメラにより捉えられた画像から前記自車両の走行に影響を与える警告対象物を判定する警告対象物判定手段(例えば実施の形態の画像処理部11)と、前記警告対象物判定手段により前記警告対象物が検知された場合、前記自車両の運転席前方に配置された表示装置(例えば実施の形態の表示装置8)に、前記赤外線カメラにより撮影された映像及び前記警告対象物を示す強調映像を同時に表示する警告表示手段(例えば実施の形態の表示制御部12)とを備えた車両周辺表示装置において、前記警告対象物判定手段による前記警告対象物の判定を実行できない場合、前記警告表示手段が、前記赤外線カメラの映像を前記表示装置に常時表示することを特徴とする。
【0008】
以上の構成を備えた車両周辺表示装置は、警告対象物判定手段による判定を実行できない場合でも、警告表示手段が、赤外線カメラの映像を表示装置に常時表示することにより、自車両の運転者に、少なくとも自車両の周囲の状況を確認させることができる。
【0009】
請求項2の発明に係る車両周辺表示装置は、請求項1に記載の車両周辺表示装置において、前記警告表示手段が、前記赤外線カメラの映像の表示と共に、前記警告対象物判定手段の作動状態を示す表示を前記表示装置に対して行うことを特徴とする。
【0010】
以上の構成を備えた車両周辺表示装置は、警告表示手段が、赤外線カメラの映像と警告対象物判定手段の作動状態を示す表示とを、表示装置に一緒に表示することにより、自車両の運転者に、警告対象物判定手段の作動状態を分かりやすい方法により確実に通知し、把握させることができる。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の一実施の形態の車両周辺表示装置の構成を示すブロック図である。図1において、符号1は、赤外線カメラにより捉えられた画像から自車両の走行に影響を与える警告対象物を判定する、CPU(中央演算装置)を備えた車載の画像処理ユニットであって、遠赤外線を検出可能な2つの赤外線カメラ2R、2Lと、当該車両のヨーレートを検出するヨーレートセンサ3と、当該車両の走行速度(車速)を検出する車速センサ4と、ブレーキの操作を検出するためのブレーキセンサ5と、更には自車両の周囲の温度(外気温)を測定する温度センサ6が接続される。これにより、画像処理ユニット1は、車両の周辺の赤外線画像と車両の走行状態あるいは周囲環境を示す信号とから、車両前方の歩行者や動物等を検出し、衝突の可能性が高いと判断したときに警報を発する。
【0012】
また、画像処理ユニット1には、音声で警報を発するためのスピーカ7が接続されると共に、検出された対象物と自車両との衝突する危険性が高いと判定された場合、赤外線カメラ2R、2Lにより撮影された映像を強調表示された対象物映像(強調映像)と共に表示し、衝突の危険性が高い対象物を車両の運転者に認識させるため表示装置8が接続されている。
【0013】
一方、画像処理ユニット1について更に詳細に説明すると、画像処理ユニット1は、入力アナログ映像信号をディジタル信号に変換するA/D変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うCPU(中央演算装置)、CPUが演算途中のデータを記憶するために使用するRAM(Random Access Memory)、CPUが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)、スピーカ7の駆動信号を出力する出力回路を備えた画像処理部11と、画像処理ユニット1が出力する映像信号及び警報用静止画データ(アイコン)の表示に関する制御信号を表示装置8へ出力する表示制御部12と、表示制御部12が警報の内容や画像処理ユニット1の状態に応じて表示装置8へ出力する警報用静止画データを保持する警報用静止画データ記憶部13とを含んでいる。
【0014】
なお、画像処理部11では、赤外線カメラ2R、2L及びヨーレートセンサ3、車速センサ4、ブレーキセンサ5、温度センサ6の各出力信号が、ディジタル信号に変換されて内部のCPUに入力されるように構成されている。
また、表示制御部12には、表示装置8における映像表示領域の位置や輝度を手動で調整するために自車両のコンソールに設けられた、表示位置調整スイッチや輝度調整用ボリューム(いずれも図示せず)が接続されている。
【0015】
また、表示装置8には、具体的には例えば図2に示すフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するHUD(Head Up Display )8aや、自車両の走行状態を数字で表すメータと一体化されたメータ一体Display8b、更には自車両のコンソールに設置されるNAVIDisplay8c等が含まれる。
【0016】
また、図3に示すように、赤外線カメラ2R、2Lは、自車両20の前部に、自車両20の車幅方向中心部に対してほぼ対称な位置に配置されており、2つの赤外線カメラ2R、2Lの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ2R、2Lは、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
また、HUD8aは、自車両20のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【0017】
次に、本実施の形態の動作について図面を参照して説明する。
図4及び図5は、本実施の形態の車両周辺表示装置の画像処理ユニット1による対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット1は、赤外線カメラ2R、2Lの出力信号である赤外線映像を取得して(ステップS1)、A/D変換し(ステップS2)、グレースケール画像を画像メモリに格納する(ステップS3)。なお、ここでは赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
ステップS3においてグレースケール画像が得られたら、次に、赤外線カメラ2Rにより得られた右画像を基準画像とし、その画像信号の濃度値を統計処理することにより、該基準画像のコントラストを算出する(ステップS4)。
【0018】
そして、算出された基準画像のコントラストが所定値より低いか否かを判定する(ステップS5)。
もし、ステップS5において、算出された基準画像のコントラストが所定値以上である場合(ステップS5のNO)、基準画像の2値化処理、すなわち、輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う(ステップS6)。
【0019】
また、赤外線画像から2値化された画像データを取得したら、2値化した画像データをランレングスデータに変換する処理を行う(ステップS7)。ランレングスデータにより表されるラインは、2値化により白となった領域を画素レベルで示したもので、いずれもy方向には1画素の幅を有しており、またx方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【0020】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする(ステップS8)ことにより、対象物を抽出する処理を行う(ステップS9)。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを1つの対象物とみなすことにより、2値化対象物が抽出される。また、2値化対象物の抽出が完了したら、次に、抽出した対象物の重心G、面積S及び外接四角形の縦横比ASPECTを算出する(ステップS10)。
【0021】
ここで、面積Sは、ラベルAの対象物のランレングスデータを(x[i]、y[i]、run[i]、A)(i=0,1,2,・・・N−1)とすると、ランレングスデータの長さ(run[i]−1)を同一対象物(N個のランレングスデータ)について積算することにより算出する。また、対象物Aの重心Gの座標(xc、yc)は、各ランレングスデータの長さ(run[i]−1)と各ランレングスデータの座標x[i]、またはy[i]とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Sで割ることにより算出する。
更に、縦横比ASPECTは、対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。
なお、ランレングスデータは画素数(座標数)(=run[i])で示されているので、実際の長さは「−1」する(1を減算する)必要がある(=run[i]−1)。また、重心Gの位置は、外接四角形の重心位置で代用してもよい。
【0022】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う(ステップS11)。時刻間追跡は、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A、Bを抽出したら、時刻(k+1)で抽出した対象物C、Dと対象物A、Bとの同一性判定を行う。そして、対象物A、Bと対象物C、Dとが同一であると判定されたら、対象物C、Dをそれぞれ対象物A、Bというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の(重心の)位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【0023】
なお、以上説明したステップS4〜ステップS11の処理は、2値化した基準画像(本実施の形態では、右画像)について実行する。
次に、車速センサ4により検出される車速VCAR及びヨーレートセンサ3より検出されるヨーレートYR、更には温度センサ6により検出される自車両20の周囲の温度(外気温)を取得する(ステップS12)。
【0024】
そして、取得された自車両20の周囲の温度(外気温)が所定の温度範囲内か否か、あるいは車速VCARやヨーレートYR等の車両情報の値が所定範囲内か否かを判定することにより、各データが正常か否かを判定する(ステップS13)。
もし、ステップS13において、取得された自車両20の周囲の温度(外気温)が所定の温度範囲内で、かつ車速VCARやヨーレートYR等の車両情報の値が所定範囲内である場合、各データは正常であると判断し(ステップS13のYES)、画像処理ユニット1は、ステップS12において取得されたヨーレートYRを時間積分することにより、自車両20の回頭角θrを算出すると共に、算出された回頭角θrを用いて、自車両20が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う(ステップS14)。
【0025】
ここで、回頭角補正は、時刻kから(k+1)までの期間中に自車両20が例えば左方向に回頭角θrだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔxだけx方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を(X,Y,Z)と表示する。
【0026】
一方、ステップS11とステップS12の処理に平行して、ステップS15〜ステップS17では、対象物と自車両20との距離zを算出する処理を行う。この演算はステップS11、及びステップS12より長い時間を要するため、ステップS11、ステップS12より長い周期(例えばステップS1〜ステップS12の実行周期の3倍程度の周期)で実行される。
まず、基準画像(右画像)の2値化画像によって追跡される対象物の中の1つを選択することにより、右画像から探索画像R1(ここでは、外接四角形で囲まれる領域全体を探索画像とする)を抽出する(ステップS15)。
【0027】
次に、左画像中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(ステップS16)。具体的には、探索画像R1の各頂点座標に応じて、左画像中に探索領域R2を設定し、探索領域R2内で探索画像R1との相関の高さを示す輝度差分総和値C(a,b)を算出し、この総和値C(a,b)が最小となる領域を対応画像として抽出する。なお、この相関演算は、2値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域R2より狭い領域R2aを探索領域として設定する。
【0028】
ステップS16の処理により、基準画像(右画像)中に探索画像R1と、左画像中にこの対象物に対応する対応画像R4とが抽出されるので、次に、探索画像R1の重心位置と対応画像R4の重心位置と視差量Δd(画素数)を求め、これから自車両20と対象物との距離zを算出する(ステップS17)。
【0029】
また、ステップS14による回頭角補正が終了したら、画像内の座標(x,y)及びステップS17において算出された対象物との距離zを実空間座標(X,Y,Z)に変換する(ステップS18)。
ここで、実空間座標(X,Y,Z)は、図3に示すように、赤外線カメラ2R、2Lの取り付け位置の中点の位置(自車両20に固定された位置)を原点Oとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をx、垂直方向をyと定めている。
【0030】
実空間座標が求められたら、次に、同一対象物について、ΔTのモニタ期間内に得られた、回頭角補正後のN個(例えばN=10程度)の実空間位置データ、すなわち時系列データから、対象物と自車両20との相対移動ベクトルに対応する近似直線LMVを求める。
次いで、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(時間ΔT前)の位置座標P(Nー1)=(X(N−1),Y(N−1),Z(N−1))を近似直線LMV上の位置に補正し、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))及びPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を求める。
【0031】
これにより、位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる(ステップS19)。
このようにモニタ期間ΔT内の複数(N個)のデータから対象物の自車両20に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【0032】
また、ステップS19において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う(ステップS20)。なお、警報判定処理は、対象物が、相対速度Vsで自車両20へ接近した場合に、そのまま両者が相対速度Vsを維持して移動すると仮定して、余裕時間以内に両者が衝突するか否かを判定する衝突判定処理や、対象物が、自車両20の車幅αの両側に余裕β(例えば50〜100cm程度とする)を加えた範囲であって、そのまま存在し続ければ進行する自車両20との衝突の可能性がきわめて高い接近判定領域内に存在するか否かを判定する判定処理、更には、対象物が、上述の接近判定領域内へ進入して自車両20と衝突する可能性があるか否かを判定する進入衝突判定処理を行い、検出した対象物と自車両20との衝突の可能性を判定する。
【0033】
もし、ステップS20において、自車両20と検出した対象物との衝突の可能性がないと判定された場合(ステップS20のNO)、ステップS1へ戻り、上述の処理を繰り返す。
また、ステップS20において、自車両20と検出した対象物との衝突の可能性があると判定された場合(ステップS20のYES)、ステップS21の警報出力判定処理へ進む。
【0034】
ステップS21では、ブレーキセンサ5の出力BRから自車両20の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う(ステップS21)。
もし、自車両20の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Gs(減速方向を正とする)を算出し、この加速度Gsが所定閾値GTHより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し(ステップS21のNO)、ステップS1へ戻り、上述の処理を繰り返す。これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【0035】
また、加速度Gsが所定閾値GTH以下であるとき、または自車両20の運転者がブレーキ操作を行っていなければ(ステップS21のYES)、直ちにステップS22の処理へ進み、対象物と接触する可能性が高いので、スピーカ7を介して音声による警報を発する(ステップS22)。
なお、所定閾値GTHは、ブレーキ操作中の加速度Gsがそのまま維持された場合に、対象物と自車両20との距離以下の走行距離で自車両20が停止する条件に対応する値である。
【0036】
また、ステップS22において、スピーカ7を介して音声による警報を発したら、次に、画像処理ユニット1は、図6(a)に示すように、表示制御部12により、例えば赤外線カメラ2Rにより得られる映像信号30と、接近してくる対象物の情報を自車両20の運転者に提供するための対象物の強調映像信号31とを表示装置8へ表示すると共に、映像表示領域の一部に、警報用静止画データ記憶部13に保持された警報用静止画データ(アイコン)の中から選択した「歩行者検出機能動作中」を示す警報用静止画データ(アイコン)32を表示する(ステップS23)。
【0037】
一方、ステップS5において、算出された基準画像のコントラストが所定値より小さい場合(ステップS5のYES)、画像処理ユニット1は対象物検出処理を中止し、図6(b)に示すように、表示制御部12により、例えば赤外線カメラ2Rにより得られる映像信号30を表示装置8へ表示すると共に、映像表示領域の一部に、警報用静止画データ記憶部13に保持された警報用静止画データ(アイコン)の中から選択した「歩行者検出機能非動作中」を示す警報用静止画データ(アイコン)33を表示する(ステップS24)。
【0038】
また、同様に、ステップS13において、取得された自車両20の周囲の温度(外気温)が所定の温度範囲外か、あるいは車速VCARやヨーレートYR等の車両情報の値が所定範囲外である場合、あるいは両方の場合も、いずれかのデータが正常でないと判断し(ステップS13のNO)、画像処理ユニット1は対象物検出処理を中止し、図6(b)に示すように、表示制御部12により、例えば赤外線カメラ2Rにより得られる映像信号30を表示装置8へ表示すると共に、映像表示領域の一部に、警報用静止画データ記憶部13に保持された警報用静止画データ(アイコン)の中から選択した「歩行者検出機能非動作中」を示す警報用静止画データ(アイコン)33を表示する(ステップS24)。
【0039】
なお、上述の画像処理ユニット1による対象物検出・警報動作では、ステップS1からステップS22の処理が画像処理部11の実行する処理に相当し、ステップS23、ステップS24の処理が表示制御部12の実行する処理に相当する。
【0040】
以上説明したように、本実施の形態の車両周辺表示装置は、自車両20の周囲を撮影可能な赤外線カメラ2R、2Lと、該赤外線カメラ2R、2Lにより捉えられた画像から自車両20の走行に影響を与える警告対象物を判定する画像処理部11と、画像処理部11により警告対象物が検知された場合、自車両20の運転席前方に配置された表示装置8に、赤外線カメラ2R、2Lにより撮影された映像及び警告対象物を示す強調映像を同時に表示する表示制御部12とを含む画像処理ユニット1を備え、例えば、自車両20の周囲の気温(外気温)が高い場合や自車両20の走行状態を示す各種センサからの信号が途絶えた場合等、画像処理部11による警告対象物の判定を実行できない場合、表示制御部12が、赤外線カメラ2R、2Lの映像を表示装置8に常時表示すると共に、画像処理ユニット1の作動状態を示す警報用静止画データ(アイコン)による表示を行うことで、自車両の運転者に、少なくとも自車両の周囲の状況を確認させると共に、この時に画像処理部11による警告対象物の判定を実行できていないことを確実に通知し、把握させることができる。
【0041】
また、画像処理ユニット1の作動状態を示す警報用静止画データ(アイコン)による表示を、赤外線カメラ2R、2Lの映像の表示と共に行うことで、警報用静止画データ(アイコン)のみを表示する場合に比較して、自車両の運転者へ、画像処理ユニット1の作動状態をより確実に通知し、把握させることができる。
【0042】
従って、自車両の運転者に、どのような場合でも自車両の周囲の状況を何らかの形で提供すると共に、画像処理ユニット1の作動状態を分かりやすい方法で通知することにより、状況に応じた適切な判断と対応を実行させることができるという効果が得られる。
【0043】
【発明の効果】
以上の如く、本発明の車両周辺表示装置によれば、警告対象物判定手段による判定を実行できない場合でも、警告表示手段が、赤外線カメラの映像を表示装置に常時表示することにより、自車両の運転者に、少なくとも自車両の周囲の状況を確認させることができる。また、警告表示手段が、赤外線カメラの映像と警告対象物判定手段の作動状態を示す表示とを、表示装置に一緒に表示することにより、自車両の運転者に、警告対象物判定手段の作動状態を分かりやすい方法により確実に通知し、把握させることができる。
【0044】
従って、自車両の運転者に、状況に応じた適切な判断と対応を実行させることができるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の一実施の形態の車両周辺表示装置の構成を示すブロック図である。
【図2】車両に備えられた表示装置の具体例を示す図である。
【図3】車両に備えられた赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図4】同実施の形態の車両周辺表示装置の対象物検出・警報動作を示すフローチャートである。
【図5】同実施の形態の車両周辺表示装置の対象物検出・警報動作を示すフローチャートである。
【図6】同実施の形態の車両周辺表示装置の表示装置に表示された映像の表示例を示す図である。
【符号の説明】
1 画像処理ユニット
2R、2L 赤外線カメラ
3 ヨーレートセンサ
4 車速センサ
5 ブレーキセンサ
6 温度センサ
7 スピーカ
8 表示装置
11 画像処理部(警告対象物判定手段)
12 表示制御部(警告表示手段)
13 警報用静止画データ記憶部
20 自車両
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle periphery display device that displays a warning target that affects the traveling of a host vehicle.
[0002]
[Prior art]
A conventional vehicle periphery display device extracts an object such as a pedestrian that affects the traveling of the own vehicle from an image around the own vehicle captured by an imaging unit such as an infrared camera, and outputs the information of the own vehicle. Provide to the driver. In this device, a portion having a high temperature in an image around the host vehicle taken by a pair of left and right stereo cameras is set as a target object, and a distance to the target object is calculated by obtaining a parallax of the target object. From the moving direction of the target object and the position of the target object, the target object that affects the traveling of the host vehicle is detected. In addition, when an object that affects the traveling of the own vehicle is detected, the display of the image around the own vehicle captured by the imaging unit and the detected object are displayed on a display disposed in front of the driver's seat of the own vehicle. Are simultaneously displayed, and information on the detected object is provided to the driver of the vehicle (for example, see Patent Document 1).
[0003]
[Patent Document 1]
JP 2001-6096 A
[Problems to be solved by the invention]
By the way, in the related art, an object that affects the traveling of the own vehicle is detected and displayed on a display disposed in front of a driver's seat of the own vehicle, so that the driver of the own vehicle can drive the own vehicle. Although it is possible to quickly recognize an object that affects the vehicle, a display arranged in front of the driver's seat of the own vehicle displays an image around the own vehicle taken by the imaging means and a highlighted image of the detected object. Is performed only when an object that affects the traveling of the own vehicle is detected, so that an image around the own vehicle and an emphasized image of the detected object are displayed on the display. If not, there is a problem that it cannot be determined whether or not the device is operating normally.
[0005]
That is, for example, when the temperature around the host vehicle (outside air temperature) is high, or when there are many objects that emit infrared light in the target image, the characteristics are obtained from the characteristics of the imaging means using infrared light. Since the luminance distribution of the infrared image does not change and the luminance distribution is uniformly acquired, it becomes difficult to detect an object such as a pedestrian, which is an object that emits infrared light, and an image around the own vehicle and the detected object are detected. May be displayed less frequently. Also, when a signal indicating a traveling state of the vehicle such as traveling speed or rotation angle information input to the device is interrupted due to a failure of a sensor or the like, the display of the image around the own vehicle and the emphasized image of the detected object is not displayed. Not executed. Therefore, when the display of the image around the own vehicle and the display of the emphasized image of the detected object are not performed on the display, the driver of the own vehicle may have an object around the own vehicle that affects the traveling of the own vehicle. It was not possible to determine whether there was an object or the device was not operating properly.
[0006]
The present invention has been made in view of the above problems, and has as its object to provide a vehicle peripheral display device that can accurately notify a driver of a host vehicle of an operation state of the device.
[0007]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, a vehicle periphery display device according to the first aspect of the present invention provides an infrared camera (for example, the infrared camera 2R of the embodiment) capable of photographing the surroundings of the own vehicle (for example, the own vehicle 20 of the embodiment). 2L), a warning target determining unit (for example, the image processing unit 11 of the embodiment) that determines a warning target affecting the traveling of the host vehicle from the image captured by the infrared camera, When the object to be warned is detected by the object determining means, the image taken by the infrared camera and the warning are displayed on a display device (for example, the display device 8 of the embodiment) disposed in front of the driver's seat of the vehicle. In a vehicle peripheral display device provided with a warning display unit (for example, the display control unit 12 of the embodiment) for simultaneously displaying an emphasized image indicating an object, the warning object determination unit may If it can not perform the determination of WARNING object, the warning display means, and displaying constantly the image of the infrared camera to the display device.
[0008]
In the vehicle periphery display device having the above configuration, even when it is not possible to execute the determination by the warning target determination unit, the warning display unit constantly displays the image of the infrared camera on the display device, so that the driver of the own vehicle is provided to the driver of the own vehicle. Thus, at least the situation around the own vehicle can be confirmed.
[0009]
According to a second aspect of the present invention, in the vehicle peripheral display device according to the first aspect, the warning display means displays the image of the infrared camera and displays the operation state of the warning object determination means. The display shown is performed on the display device.
[0010]
In the vehicle periphery display device having the above configuration, the warning display means displays the image of the infrared camera and the display indicating the operation state of the warning target determination means together on the display device, thereby driving the own vehicle. The user can be reliably notified of the operating state of the warning target determination means by an easy-to-understand method and can be made to grasp it.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a vehicle peripheral display device according to one embodiment of the present invention. In FIG. 1, reference numeral 1 denotes an in-vehicle image processing unit provided with a CPU (Central Processing Unit) for determining a warning target affecting the traveling of the vehicle from an image captured by an infrared camera. Two infrared cameras 2R and 2L capable of detecting infrared rays, a yaw rate sensor 3 for detecting a yaw rate of the vehicle, a vehicle speed sensor 4 for detecting a traveling speed (vehicle speed) of the vehicle, and a brake for detecting an operation of a brake. A brake sensor 5 and a temperature sensor 6 for measuring a temperature around the host vehicle (outside air temperature) are further connected. Thereby, the image processing unit 1 detects a pedestrian or an animal in front of the vehicle from the infrared image around the vehicle and a signal indicating the running state of the vehicle or the surrounding environment, and determines that the possibility of collision is high. Raise an alarm sometimes.
[0012]
Further, the image processing unit 1 is connected to a speaker 7 for issuing a warning by voice, and when it is determined that there is a high risk of collision between the detected object and the host vehicle, the infrared camera 2R, A display device 8 is connected to display an image captured by 2L together with the highlighted object image (emphasized image) and to allow the driver of the vehicle to recognize the object having a high risk of collision.
[0013]
On the other hand, the image processing unit 1 will be described in more detail. The image processing unit 1 performs an A / D conversion circuit for converting an input analog video signal into a digital signal, an image memory for storing a digitized image signal, and various arithmetic processing. CPU (Central Processing Unit) to execute, RAM (Random Access Memory) used by the CPU to store data in the middle of calculation, ROM (Read Only Memory) to store programs executed by the CPU, tables, maps, etc., speaker 7 An image processing unit 11 having an output circuit for outputting a drive signal for the display unit, and a display control unit for outputting a control signal relating to display of a video signal output by the image processing unit 1 and alarm still image data (icon) to the display device 8. 12 and the display control unit 12 A warning still image data storage unit 13 for holding warning still image data to be output to the display device 8 according to the state.
[0014]
In the image processing unit 11, the output signals of the infrared cameras 2R and 2L, the yaw rate sensor 3, the vehicle speed sensor 4, the brake sensor 5, and the temperature sensor 6 are converted into digital signals and input to the internal CPU. It is configured.
Further, the display control unit 12 includes a display position adjustment switch and a brightness adjustment volume (both shown in the drawing) provided on the console of the host vehicle for manually adjusting the position and brightness of the image display area on the display device 8. Is connected.
[0015]
Further, the display device 8 specifically includes, for example, a HUD (Head Up Display) 8a that displays information at a position in the front window shown in FIG. , A meter-integrated Display 8b integrated with the meter represented by the symbol, and a NAVI Display 8c installed on the console of the vehicle.
[0016]
Further, as shown in FIG. 3, the infrared cameras 2R and 2L are arranged in front of the host vehicle 20 at positions substantially symmetric with respect to the center of the host vehicle 20 in the vehicle width direction. The optical axes of 2R and 2L are fixed so that the optical axes are parallel to each other and the heights from both roads are equal. Note that the infrared cameras 2R and 2L have a characteristic that the higher the temperature of the target, the higher the output signal level (the higher the luminance).
The HUD 8a is provided so that the display screen is displayed at a position on the front window of the host vehicle 20 where the front view of the driver is not obstructed.
[0017]
Next, the operation of the present embodiment will be described with reference to the drawings.
4 and 5 are flowcharts showing the object detection / warning operation by the image processing unit 1 of the vehicle peripheral display device according to the present embodiment.
First, the image processing unit 1 obtains an infrared image which is an output signal of the infrared cameras 2R and 2L (step S1), performs A / D conversion (step S2), and stores a gray scale image in an image memory (step S1). S3). Here, a right image is obtained by the infrared camera 2R, and a left image is obtained by the infrared camera 2L. Further, in the right image and the left image, the horizontal position of the same object on the display screen is shifted, so that the distance (parallax) to the object can be calculated.
After the grayscale image is obtained in step S3, the right image obtained by the infrared camera 2R is used as a reference image, and the density value of the image signal is statistically processed to calculate the contrast of the reference image ( Step S4).
[0018]
Then, it is determined whether or not the calculated contrast of the reference image is lower than a predetermined value (step S5).
If the calculated contrast of the reference image is equal to or larger than the predetermined value in step S5 (NO in step S5), the reference image is binarized, that is, the area brighter than the luminance threshold ITH is set to “1” (white). Then, a process for setting the dark area to “0” (black) is performed (step S6).
[0019]
Further, when binarized image data is obtained from the infrared image, a process of converting the binarized image data into run-length data is performed (step S7). The line represented by the run-length data indicates, at a pixel level, an area that has been whitened by binarization, and each has a width of one pixel in the y direction and also has a width of one pixel in the x direction. It has the length of a pixel constituting the run-length data.
[0020]
Next, a process of extracting the target object is performed by labeling the target object from the image data converted into the run-length data (step S8) (step S9). That is, a binarized target object is extracted by regarding a line having a portion overlapping in the y direction among the lines converted into run-length data as one target object. When the extraction of the binarized object is completed, next, the center of gravity G, the area S, and the aspect ratio ASPECT of the circumscribed rectangle of the extracted object are calculated (step S10).
[0021]
Here, the area S is obtained by calculating the run length data of the target object of the label A by (x [i], y [i], run [i], A) (i = 0, 1, 2,..., N−1). ), The length (run [i] -1) of the run-length data is calculated by integrating the same object (N run-length data). The coordinates (xc, yc) of the center of gravity G of the object A are represented by the length (run [i] -1) of each run-length data and the coordinates x [i] or y [i] of each run-length data. Are multiplied by each other, and the sum of the multiplications for the same object is calculated by dividing by the area S.
Further, the aspect ratio ASPECT is calculated as a ratio Dy / Dx of the length Dy in the vertical direction and the length Dx in the horizontal direction of the circumscribed rectangle of the object.
Since the run length data is indicated by the number of pixels (the number of coordinates) (= run [i]), the actual length needs to be “−1” (subtract 1) (= run [i]). ] -1). In addition, the position of the center of gravity G may be replaced by the position of the center of gravity of a circumscribed rectangle.
[0022]
After the center of gravity, area, and aspect ratio of the circumscribed rectangle of the object can be calculated, tracking of the object between times, that is, recognition of the same object in each sampling cycle, is performed (step S11). In time tracking, the time at which the time t as the analog quantity is discretized at the sampling cycle is k, and for example, if the objects A and B are extracted at time k, the objects C and D extracted at time (k + 1) The identity with the objects A and B is determined. When it is determined that the objects A and B are the same as the objects C and D, the inter-time tracking is performed by changing the objects C and D to the labels of the objects A and B, respectively.
Further, the position coordinates (of the center of gravity) of each object recognized in this way are stored in the memory as time-series position data, and are used in subsequent arithmetic processing.
[0023]
Note that the processing of steps S4 to S11 described above is performed on the binarized reference image (the right image in the present embodiment).
Next, the vehicle speed VCAR detected by the vehicle speed sensor 4, the yaw rate YR detected by the yaw rate sensor 3, and the temperature around the vehicle 20 (outside air temperature) detected by the temperature sensor 6 are acquired (step S12). .
[0024]
Then, it is determined whether the acquired ambient temperature (outside air temperature) of the vehicle 20 is within a predetermined temperature range, or whether the value of vehicle information such as the vehicle speed VCAR and the yaw rate YR is within a predetermined range. Then, it is determined whether or not each data is normal (step S13).
If it is determined in step S13 that the acquired ambient temperature (outside air temperature) of the vehicle 20 is within a predetermined temperature range and the values of the vehicle information such as the vehicle speed VCAR and the yaw rate YR are within the predetermined range, each data Is determined to be normal (YES in step S13), and the image processing unit 1 calculates the turning angle θr of the own vehicle 20 by time-integrating the yaw rate YR acquired in step S12. Using the turning angle θr, a turning angle correction for correcting a positional shift on the image due to the turning of the host vehicle 20 is performed (step S14).
[0025]
Here, the turning angle correction is performed, for example, when the host vehicle 20 turns to the left by a turning angle θr during the period from time k to (k + 1), on the image obtained by the camera, the image range is Δx in the x direction. Therefore, this is a process for correcting this.
In the following description, the coordinates after the turning angle correction are displayed as (X, Y, Z).
[0026]
On the other hand, in steps S15 to S17, processing for calculating the distance z between the target and the host vehicle 20 is performed in parallel with the processing in steps S11 and S12. Since this calculation requires a longer time than steps S11 and S12, it is executed at a cycle longer than steps S11 and S12 (for example, about three times the execution cycle of steps S1 to S12).
First, by selecting one of the objects tracked by the binarized image of the reference image (right image), the search image R1 (here, the entire area surrounded by the circumscribed rectangle is searched from the right image) Is extracted (step S15).
[0027]
Next, a search area for searching for an image corresponding to the search image R1 (hereinafter, referred to as “corresponding image”) is set from the left image, and a correlation operation is executed to extract a corresponding image (step S16). More specifically, a search region R2 is set in the left image in accordance with each vertex coordinate of the search image R1, and the brightness difference sum value C (a) indicating the level of correlation with the search image R1 in the search region R2. , B) is calculated, and an area where the sum C (a, b) is minimum is extracted as a corresponding image. Note that this correlation operation is performed using a grayscale image instead of a binarized image.
When there is past position data for the same object, a region R2a narrower than the search region R2 is set as a search region based on the position data.
[0028]
By the processing of step S16, the search image R1 is extracted in the reference image (right image) and the corresponding image R4 corresponding to this object is extracted in the left image. The position of the center of gravity of the image R4 and the amount of parallax Δd (the number of pixels) are obtained, and the distance z between the host vehicle 20 and the target object is calculated from this (step S17).
[0029]
After the turning angle correction in step S14 is completed, the coordinates (x, y) in the image and the distance z to the object calculated in step S17 are converted into real space coordinates (X, Y, Z) (step S14). S18).
Here, as shown in FIG. 3, the real space coordinates (X, Y, Z) are obtained by setting the middle point of the mounting positions of the infrared cameras 2R, 2L (the position fixed to the host vehicle 20) as the origin O. The coordinates in the image are defined as x in the horizontal direction and y in the vertical direction with the center of the image as the origin.
[0030]
After the real space coordinates are obtained, N (for example, about N = 10) real space position data after turning angle correction, that is, time series data, obtained for the same object during the monitoring period of ΔT. Then, an approximate straight line LMV corresponding to the relative movement vector between the target object and the own vehicle 20 is obtained.
Next, the latest position coordinates P (0) = (X (0), Y (0), Z (0)) and the position coordinates P (N−1) before (N−1) samples (time ΔT before). = (X (N-1), Y (N-1), Z (N-1)) is corrected to a position on the approximate straight line LMV, and the corrected position coordinates Pv (0) = (Xv (0), Yv (0), Zv (0)) and Pv (N-1) = (Xv (N-1), Yv (N-1), Zv (N-1)).
[0031]
As a result, a relative movement vector is obtained as a vector from the position coordinates Pv (N-1) to Pv (0) (step S19).
As described above, the influence of the position detection error is reduced by calculating the approximate straight line that approximates the relative movement trajectory of the target object with respect to the own vehicle 20 from the plurality (N) of data within the monitoring period ΔT. As a result, it is possible to more accurately predict the possibility of collision with the object.
[0032]
When the relative movement vector is obtained in step S19, next, an alarm determination process for determining the possibility of collision with the detected target is performed (step S20). Note that the warning determination process is performed based on the assumption that when the object approaches the host vehicle 20 at the relative speed Vs, the two move as they are while maintaining the relative speed Vs, and whether the two collide within a margin time. In the collision determination process for determining whether the target object is in a range in which a margin β (for example, about 50 to 100 cm) is added to both sides of the vehicle width α of the host vehicle 20, the target object proceeds if the target object continues to exist. A determination process of determining whether or not the vehicle is in an approach determination area where the possibility of collision with the vehicle 20 is extremely high, and further, the object enters the above-described approach determination area and collides with the host vehicle 20 An approach collision determination process is performed to determine whether or not there is a possibility, and the possibility of a collision between the detected object and the host vehicle 20 is determined.
[0033]
If it is determined in step S20 that there is no possibility of collision between the host vehicle 20 and the detected target (NO in step S20), the process returns to step S1 and repeats the above processing.
If it is determined in step S20 that there is a possibility of collision between the host vehicle 20 and the detected object (YES in step S20), the process proceeds to an alarm output determination process in step S21.
[0034]
In step S21, it is determined whether or not the driver of the host vehicle 20 is performing a brake operation from the output BR of the brake sensor 5, thereby performing an alarm output determination process, that is, determining whether to output an alarm ( Step S21).
If the driver of the vehicle 20 is performing a brake operation, the acceleration Gs (the deceleration direction is assumed to be positive) generated thereby is calculated. If the acceleration Gs is greater than a predetermined threshold GTH, the braking is performed. It is determined that the collision is avoided by the operation, and the alarm output determination processing ends (NO in step S21), and returns to step S1 to repeat the above processing. Thereby, when an appropriate brake operation is being performed, it is possible to prevent a warning from being issued and not to add unnecessary trouble to the driver.
[0035]
Further, when the acceleration Gs is equal to or less than the predetermined threshold GTH, or when the driver of the host vehicle 20 does not perform the brake operation (YES in step S21), the process immediately proceeds to step S22, and the possibility of contact with the object may be obtained. Is high, an alarm by voice is issued via the speaker 7 (step S22).
The predetermined threshold GTH is a value corresponding to a condition that the host vehicle 20 stops at a travel distance equal to or less than the distance between the target object and the host vehicle 20 when the acceleration Gs during the brake operation is maintained as it is.
[0036]
In step S22, when an audio warning is issued via the speaker 7, the image processing unit 1 is obtained by the display control unit 12, for example, by the infrared camera 2R, as shown in FIG. 6A. A video signal 30 and an enhanced video signal 31 of the target object for providing the information of the approaching target object to the driver of the vehicle 20 are displayed on the display device 8 and a part of the video display area is displayed. Alarm still image data (icon) 32 indicating "operating pedestrian detection function" selected from the alarm still image data (icon) stored in alarm still image data storage unit 13 is displayed (step S23). ).
[0037]
On the other hand, in step S5, when the calculated contrast of the reference image is smaller than the predetermined value (YES in step S5), the image processing unit 1 stops the object detection processing and displays the image as shown in FIG. The control unit 12 displays the video signal 30 obtained by, for example, the infrared camera 2R on the display device 8 and also includes, in a part of the video display area, the alarm still image data ( The still image data for warning (icon) 33 indicating “the pedestrian detection function is not operating” selected from the icons) is displayed (step S24).
[0038]
Similarly, in step S13, when the acquired ambient temperature (outside air temperature) of the vehicle 20 is outside the predetermined temperature range, or when the value of vehicle information such as the vehicle speed VCAR or the yaw rate YR is outside the predetermined range. , Or in both cases, it is determined that any of the data is not normal (NO in step S13), and the image processing unit 1 stops the object detection processing, and as shown in FIG. 12, the image signal 30 obtained by, for example, the infrared camera 2R is displayed on the display device 8, and the alarm still image data (icon) held in the alarm still image data storage unit 13 is stored in a part of the image display area. Is displayed, the alarm still image data (icon) 33 indicating "the pedestrian detection function is not operating" selected from (step S24).
[0039]
In the object detection / warning operation of the image processing unit 1 described above, the processing of steps S1 to S22 corresponds to the processing executed by the image processing unit 11, and the processing of steps S23 and S24 is performed by the display control unit 12. This corresponds to the processing to be executed.
[0040]
As described above, the vehicle periphery display device according to the present embodiment includes the infrared cameras 2R and 2L capable of capturing the surroundings of the vehicle 20 and the traveling of the vehicle 20 based on the images captured by the infrared cameras 2R and 2L. An image processing unit 11 that determines a warning target that affects the vehicle, and a display device 8 disposed in front of the driver's seat of the vehicle 20 when the image processing unit 11 detects the warning target. The image processing unit 1 includes a display control unit 12 that simultaneously displays an image captured by 2L and an emphasized image indicating a warning object. For example, when the temperature around the own vehicle 20 (outside air temperature) is high, or when the If the image processing unit 11 cannot determine the object to be warned, for example, when signals from various sensors indicating the running state of the vehicle 20 are cut off, the display control unit 12 controls the infrared cameras 2R and 2L. The video is always displayed on the display device 8 and the display is performed by the alarm still image data (icon) indicating the operation state of the image processing unit 1 so that the driver of the own vehicle can at least know the situation around the own vehicle. At this time, it is possible to reliably notify and grasp that the determination of the warning target by the image processing unit 11 has not been executed at this time.
[0041]
Also, a case where only the alarm still image data (icon) is displayed by displaying the alarm still image data (icon) indicating the operation state of the image processing unit 1 together with the display of the images of the infrared cameras 2R and 2L. It is possible to more reliably notify the driver of the host vehicle of the operation state of the image processing unit 1 and to grasp the driver's operation state as compared with the case of (1).
[0042]
Therefore, in any case, the situation of the surroundings of the own vehicle is provided to the driver of the own vehicle in any form, and the operating state of the image processing unit 1 is notified in an easy-to-understand manner. This makes it possible to execute an appropriate judgment and response.
[0043]
【The invention's effect】
As described above, according to the vehicle periphery display device of the present invention, even when the determination by the warning target object determination unit cannot be performed, the warning display unit constantly displays the image of the infrared camera on the display device, thereby enabling the vehicle to be displayed. The driver can confirm at least the situation around the own vehicle. Also, the warning display means displays the image of the infrared camera and the display indicating the operation state of the warning object determination means together on the display device, so that the driver of the own vehicle can operate the warning object determination means. The status can be reliably notified and grasped by an easy-to-understand method.
[0044]
Therefore, an effect is obtained that the driver of the own vehicle can execute appropriate judgment and response according to the situation.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a vehicle peripheral display device according to an embodiment of the present invention.
FIG. 2 is a diagram showing a specific example of a display device provided in a vehicle.
FIG. 3 is a diagram illustrating attachment positions of an infrared camera, a sensor, a display, and the like provided in the vehicle.
FIG. 4 is a flowchart showing an object detection / warning operation of the vehicle periphery display device of the embodiment.
FIG. 5 is a flowchart showing an object detection / warning operation of the vehicle periphery display device of the embodiment.
FIG. 6 is a diagram showing a display example of an image displayed on the display device of the vehicle periphery display device of the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image processing unit 2R, 2L Infrared camera 3 Yaw rate sensor 4 Vehicle speed sensor 5 Brake sensor 6 Temperature sensor 7 Speaker 8 Display device 11 Image processing unit (warning object determination means)
12. Display control unit (warning display means)
13 Alarm still image data storage unit 20 Own vehicle

Claims (2)

自車両の周囲を撮影可能な赤外線カメラと、該赤外線カメラにより捉えられた画像から前記自車両の走行に影響を与える警告対象物を判定する警告対象物判定手段と、前記警告対象物判定手段により前記警告対象物が検知された場合、前記自車両の運転席前方に配置された表示装置に、前記赤外線カメラにより撮影された映像及び前記警告対象物を示す強調映像を同時に表示する警告表示手段とを備えた車両周辺表示装置において、
前記警告対象物判定手段による前記警告対象物の判定を実行できない場合、前記警告表示手段が、前記赤外線カメラの映像を前記表示装置に常時表示することを特徴とする車両周辺表示装置。
An infrared camera capable of photographing the surroundings of the own vehicle, a warning target determining unit that determines a warning target affecting the traveling of the own vehicle from an image captured by the infrared camera, and the warning target determining unit. When the warning object is detected, a display device arranged in front of the driver's seat of the vehicle, warning display means for simultaneously displaying an image captured by the infrared camera and an enhanced image indicating the warning object. In a vehicle peripheral display device provided with
The vehicle periphery display device, wherein when the warning object determination unit cannot determine the warning object, the warning display unit constantly displays an image of the infrared camera on the display device.
前記警告表示手段が、前記赤外線カメラの映像の表示と共に、前記警告対象物判定手段の作動状態を示す表示を前記表示装置に対して行うことを特徴とする請求項1に記載の車両周辺表示装置。2. The vehicle periphery display device according to claim 1, wherein the warning display unit performs a display indicating an operation state of the warning target determination unit on the display device together with the display of the image of the infrared camera. 3. .
JP2003162183A 2003-06-06 2003-06-06 Vehicle periphery display device Expired - Fee Related JP4176558B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003162183A JP4176558B2 (en) 2003-06-06 2003-06-06 Vehicle periphery display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003162183A JP4176558B2 (en) 2003-06-06 2003-06-06 Vehicle periphery display device

Publications (2)

Publication Number Publication Date
JP2004364112A true JP2004364112A (en) 2004-12-24
JP4176558B2 JP4176558B2 (en) 2008-11-05

Family

ID=34054404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003162183A Expired - Fee Related JP4176558B2 (en) 2003-06-06 2003-06-06 Vehicle periphery display device

Country Status (1)

Country Link
JP (1) JP4176558B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143387A (en) * 2006-12-11 2008-06-26 Fujitsu Ten Ltd Surrounding area monitoring device and surrounding area monitoring method
WO2008078187A2 (en) 2006-12-21 2008-07-03 Toyota Jidosha Kabushiki Kaisha On-vehicle night vision device and on-vehicle night vision method
JP2009067214A (en) * 2007-09-12 2009-04-02 Toyota Motor Corp Obstacle detector
US8144076B2 (en) 2007-09-18 2012-03-27 Denso Corporation Display apparatus for displaying virtual image to driver
WO2013042767A1 (en) 2011-09-21 2013-03-28 本田技研工業株式会社 Apparatus for monitoring surroundings of vehicle
US9514547B2 (en) 2013-07-11 2016-12-06 Denso Corporation Driving support apparatus for improving awareness of unrecognized object
KR101767436B1 (en) * 2015-11-13 2017-08-14 현대오트론 주식회사 Head up display and control method thereof
KR101767437B1 (en) * 2015-11-16 2017-08-14 현대오트론 주식회사 Displaying control apparatus of head up display and method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251198A (en) * 1999-03-01 2000-09-14 Yazaki Corp Periphery monitor device for vehicle
JP2001006096A (en) * 1999-06-23 2001-01-12 Honda Motor Co Ltd Peripheral part monitoring device for vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251198A (en) * 1999-03-01 2000-09-14 Yazaki Corp Periphery monitor device for vehicle
JP2001006096A (en) * 1999-06-23 2001-01-12 Honda Motor Co Ltd Peripheral part monitoring device for vehicle

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143387A (en) * 2006-12-11 2008-06-26 Fujitsu Ten Ltd Surrounding area monitoring device and surrounding area monitoring method
WO2008078187A2 (en) 2006-12-21 2008-07-03 Toyota Jidosha Kabushiki Kaisha On-vehicle night vision device and on-vehicle night vision method
WO2008078187A3 (en) * 2006-12-21 2008-10-30 Toyota Motor Co Ltd On-vehicle night vision device and on-vehicle night vision method
JP2009067214A (en) * 2007-09-12 2009-04-02 Toyota Motor Corp Obstacle detector
US8144076B2 (en) 2007-09-18 2012-03-27 Denso Corporation Display apparatus for displaying virtual image to driver
WO2013042767A1 (en) 2011-09-21 2013-03-28 本田技研工業株式会社 Apparatus for monitoring surroundings of vehicle
US9514547B2 (en) 2013-07-11 2016-12-06 Denso Corporation Driving support apparatus for improving awareness of unrecognized object
KR101767436B1 (en) * 2015-11-13 2017-08-14 현대오트론 주식회사 Head up display and control method thereof
KR101767437B1 (en) * 2015-11-16 2017-08-14 현대오트론 주식회사 Displaying control apparatus of head up display and method thereof

Also Published As

Publication number Publication date
JP4176558B2 (en) 2008-11-05

Similar Documents

Publication Publication Date Title
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
JP5503728B2 (en) Vehicle periphery monitoring device
JP3756452B2 (en) Infrared image processing device
JP4173902B2 (en) Vehicle periphery monitoring device
WO2011043006A1 (en) Control device and vehicle surrounding monitoring device
JP2003150938A (en) Image recognizing device
JP2008027309A (en) Collision determination system and collision determination method
JP4094604B2 (en) Vehicle periphery monitoring device
JP2007323578A (en) Vehicle periphery monitoring device
JP4128562B2 (en) Vehicle periphery monitoring device
JP5292047B2 (en) Vehicle periphery monitoring device
JP4425852B2 (en) Vehicle periphery monitoring device
JP3999088B2 (en) Obstacle detection device
JP4176558B2 (en) Vehicle periphery display device
JP2009075124A (en) Distance detector
JP2004126905A (en) Image processor
JP5291524B2 (en) Vehicle periphery monitoring device
JP3949628B2 (en) Vehicle periphery monitoring device
JP3970876B2 (en) Vehicle periphery monitoring device
JP4943403B2 (en) Vehicle periphery monitoring device
JP4567072B2 (en) Vehicle periphery monitoring device
JP2004362265A (en) Infrared image recognition device
JP3999025B2 (en) Alarm display device
JP2006252566A (en) Moving object detector
JP4358183B2 (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080812

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080820

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140829

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees