JP2006224700A - 車両用死角監視装置及び車両用運転支援システム - Google Patents

車両用死角監視装置及び車両用運転支援システム Download PDF

Info

Publication number
JP2006224700A
JP2006224700A JP2005037422A JP2005037422A JP2006224700A JP 2006224700 A JP2006224700 A JP 2006224700A JP 2005037422 A JP2005037422 A JP 2005037422A JP 2005037422 A JP2005037422 A JP 2005037422A JP 2006224700 A JP2006224700 A JP 2006224700A
Authority
JP
Japan
Prior art keywords
vehicle
driver
blind spot
obstacle
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005037422A
Other languages
English (en)
Other versions
JP4683192B2 (ja
Inventor
Taizo Koide
泰三 小出
Ichiro Yoshida
一郎 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005037422A priority Critical patent/JP4683192B2/ja
Publication of JP2006224700A publication Critical patent/JP2006224700A/ja
Application granted granted Critical
Publication of JP4683192B2 publication Critical patent/JP4683192B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】 死角領域に存在する障害物を運転手により確実に知らしめることが可能な車両用死角監視装置を提供することを目的とする。
【解決手段】 車両用死角監視装置1は、車高の高い車両(例えばトラック)TRに取り付けられており、運転手EYの視界から死角となる車両直前の死角領域BSを車外に設置された車外カメラ3で撮影することによって監視している。一方、車内には運転手EYを撮影する視線カメラ4が設置されており、これによって運転手EYの視線LSが把握されている。そして、死角領域BSに障害物(例えば背の低い子供等)Kが存在する場合には、障害物Kが存在することを知らせるための警告表示DAがフロントウインドシールドWSに表示される。この警告表示DAは、運転手EYの視線LS上の近傍に表示されることから、障害物Kの存在を運転手EYに確実に知らせることができる。
【選択図】 図1

Description

本発明は、運転手の視界から死角となる車外の死角領域の監視を行って障害物が存在する旨の警告を行う車両用死角監視装置、及び当該警告に伴い車両の走行動作を制限する車両用運転支援システムに関する。
車両の死角にある障害物を認識して運転手に知らせる技術は、交通事故をなくすための重要な技術として注目されている。特に、大型トラックのように車高が高い車両の場合、車両の直前が運転手の死角になりやすく、ここに人や物等の障害物があると運転手はそれに気が付かずに交通事故を引き起こしてしまうことがある。
特開2000−185597号公報
そのような死角をなくすため、例えば、トラックにはサイドミラーと同じ部位に車両直前を見る凸型ミラーが取り付けられることがある。しかし、歩行者等が運転手の死角に入り込んでしまう場面は車両が低速状態や停止状態のときに起こり易いのにも関わらず、運転手は、低速状態や停止状態のときは信号や案内板などに気を取られて凸型ミラーの確認を怠りがちであり、凸型ミラーに歩行者等が映っていても、それを見落として事故を引き起こしてしまうおそれがある。
また、車両前方の死角を監視する関連技術として、特許文献1を挙げることができる。特許文献1には、サイドミラーに前方を撮影するカメラを搭載し、前方画像を車内の上下方向の長さが左右に比べて大きいモニタに表示して運転手に知らせる技術が開示されている。しかし、この技術は、カメラが撮影した画像をモニタに表示するのみであり、歩行者等の姿がモニタに表示されてもそれを確認するのが結局は運転手であることから、ミラーを設けた場合と同様に運転手が確認を怠れば事故を引き起こしかねない。しかも、歩行者等の姿がモニタに表示されても、それが車両との関係においてどの位置に該当するのかを運転手が瞬時に把握できない場合があり、このことは運転操作の遅れに繋がることから、死角情報を表示する最善の方法とはいえない。
本発明は、上記問題を鑑みて為されたものであり、死角領域に存在する障害物を運転手により確実に知らしめることが可能な車両用死角監視装置、及びより安全な運転が可能な車両用運転支援システムを提供することを目的とする。
課題を解決するための手段及び発明の効果
上記課題を解決するため、請求項1の車両用死角監視装置は、運転手の視界から死角となる車外の死角領域を撮影する車外撮像手段と、車外撮像手段により得られる画像から死角領域に存在する障害物及びその位置を認識する障害物認識手段と、運転手の目を撮影する運転手撮像手段と、運転手撮像手段により得られる画像から運転手の視線を検出する視線検出手段と、車両のウインドシールドに映像を表示する表示手段と、前記障害物認識手段により前記死角領域に障害物が認識された場合に、ウインドシールドにおける運転手の視線上に当たる位置の近傍に、障害物が存在する旨の警告を表示手段に表示させる表示制御手段と、を備えることを特徴とする。
請求項1の発明によると、運転手の視界から死角となる車外の死角領域を撮影して障害物の認識を行うとともに、運転手の視線を検出して、障害物が存在する旨の警告をウインドシールドにおける運転手の視線上に当たる位置の近傍に表示することにより、死角領域に存在する障害物を運転手に確実に知らしめることができるため、交通事故を未然に防ぐことが可能となる。
請求項2の車両用死角監視装置では、請求項1の車両用死角監視装置において、運転手の視線を基準とする障害物の位置の相対方向を算出する障害物方向算出手段を備え、表示制御手段は、警告として当該相対方向を表示させるように構成できる。これによると、障害物が存在する旨の警告に、運転手の視線を基準とする障害物位置の相対方向が表示されるため、運転手は障害物の存在とともに、車両との関係における障害物の位置を瞬時に把握できる。
請求項3の車両用死角監視装置では、請求項1または2の車両用死角監視装置において、表示制御手段は、警告として車外撮像手段により得られる障害物の画像を表示させるように構成できる。これによると、障害物が存在する旨の警告に、障害物の画像が表示されるため、運転手は障害物の存在とともに、どのような障害物であるかを瞬時に把握できる。
請求項4の車両用死角監視装置では、請求項1ないし3のいずれか1項の車両用死角監視装置において、表示制御手段は、障害物認識手段が複数の障害物を認識した場合に、各々の障害物に対応する警告を表示させるように構成できる。これによると、複数の障害物が存在する場合にそれぞれに応じた警告を表示させるので、運転手は各障害物の存在を適切に把握できる。
請求項5の車両用死角監視装置では、請求項1ないし4のいずれか1項の車両用死角監視装置において、運転手の視線の動きを計測する視線動作計測手段を備え、表示制御手段は、運転手の視線が予め定められた注視方向を向く頻度が基準となる頻度よりも少ない場合に、ウインドシールドにおける運転手の視線上に当たる位置の近傍に、視認が不足している旨の警告を表示手段に表示させるように構成できる。これによると、障害物の有無に関わらず視認が不足している場合に運転手に警告を行うことで、交通事故を未然に防ぐことが可能となるとともに、運転手は視認を怠らないように癖付けられることになる。
請求項6の車両用死角監視装置は、運転手の目を撮影する運転手撮像手段と、運転手撮像手段により得られる画像から運転手の視線を検出する視線検出手段と、運転手の視線の動きを計測する視線動作計測手段と、車両のウインドシールドに映像を表示する表示手段と、運転手の視線が予め定められた注視方向を向く頻度が基準となる頻度よりも少ない場合に、ウインドシールドにおける運転手の視線上に当たる位置の近傍に、視認が不足している旨の警告を表示手段に表示させる表示制御手段と、を備えることを特徴とする。これによると、視認が不足している場合に運転手に警告を行うことで、交通事故を未然に防ぐことが可能となるとともに、運転手は視認を怠らないように癖付けられることになる。
請求項7の車両用死角監視装置では、請求項5または6の車両用死角監視装置において、車両の走行情報を取得する走行情報取得手段を備え、注視方向は、車両の走行情報に応じて設定されるように構成できる。これによると、車両の走行状態に応じた適切な注視箇所を運転手に確認させるようにすることができる。
次に、上記課題を解決するため、請求項8の車両用運転支援システムは、請求項1ないし7のいずれか1項の車両用死角監視装置と、表示制御手段が警告を表示させる場合に車両の走行動作を制限する運転制御装置とを含んで構成されてなること特徴とする。これによると、警告の表示とともに車両の走行動作が制限されるので、交通事故をより確実に防ぐことが可能となる。
(1)車両用死角監視装置
以下、本発明に係る車両用死角監視装置の一実施形態を、図面を参照しながら説明する。本実施形態に係る車両用死角監視装置は、図11及び12に示すように、車高の高い車両(例えばトラック)TRに取り付けられており、運転手EYの視界から死角となる車両直前の死角領域BSを車外に設置された車外カメラ3で撮影することによって監視している。一方、車内には運転手EYを撮影する視線カメラ4が設置されており、これによって運転手EYの視線LSが把握されている。そして、死角領域BSに障害物(例えば背の低い子供等)Kが存在する場合には、図1のコックピット図に示すように、障害物Kが存在することを知らせるための警告表示DAがフロントウインドシールドWSに表示される。この警告表示DAは、運転手EYの視線LS上の近傍に表示されることから、障害物Kの存在を運転手EYに確実に知らせることができる。また、警告表示DAには、車外カメラ3により撮影された障害物Kの画像KDと障害物Kの位置を示す方向矢印ARが含まれていることから、運転手EYは位置等の障害物Kに関する情報を瞬時に把握できる。
また、視線カメラ4によって得られる運転手EYの視線LSは、その動きが計測されており、予め定められた注視方向を向く頻度(例えば回数や時間)が監視されている。注視方向は、例えば車両前方や左右方向、ミラー類などの運転に際して運転手EYが確認すべき方向として定めることができる。そして、視線LSが注視方向を向く頻度が基準頻度よりも少ない場合には、図3に示すように、視認が不足している旨の警告表示VSを表示して、運転手EYに視認を促す。なお、運転手EYが確認すべき方向は、停車時は車両近辺,低速時はそれよりも前方といったように速度等によって異なることから、注視方向は車両TRの走行状態に応じて定められている。
(1−1)装置構成
車両用死角監視装置の構成について説明する。図4は、車両用死角監視装置1のブロック図を示すものである。車両用死角監視装置1は、車外の死角領域BSを撮影する車外カメラ3(車外撮像手段)、運転手EYの目を撮影する視線カメラ4(運転手撮像手段)、フロントウインドシールドWSに映像を表示する表示装置5(表示手段)、通信I/F(インターフェース)6及びこれらが接続された制御回路10を備えている。
車外カメラ3及び視線カメラ4は、CCDカメラで構成され、撮影した映像をビデオ信号として制御回路10に入力する。また、車外カメラ3及び視線カメラ4は、3次元画像を得るべくそれぞれ2台ずつ設置されている
表示装置5は、制御回路10から出力された表示命令に基づいてディスプレイ駆動回路53が液晶パネル51及びバックライト52を駆動する。具体的には、液晶パネル51及びバックライト52は、図7に示すように、フロントウインドシールドWSの下側から車両の内側へ延出するインストルメントパネル91に配設されている。液晶パネル51は、インストルメントパネル91の開口部分に支持されており、ディスプレイ駆動回路53により駆動するとともにバックライト52からの光を受けることで表示画像を表示する。そして、この表示画像は、表示光としてフロントウインドシールドWSに入射され、運転席に着座した運転手EYの目に向けて反射されることで、虚像として運転手EYに捕らえられる。
通信I/F(インターフェース)6は、車内LANとの間のインターフェース機能を有しており、これによってECU(Electronic Control Unit)等の車内にある他の機器との通信が可能となっている。この通信I/F6は、車両の動作を制御する制御系ECUから車速等の走行情報を受けて制御回路10に入力することから、本発明の走行情報取得手段として機能する。なお、車速等の走行情報が車内に取り付けられた種々のセンサ16(車速センサ等)から制御回路10に直接入力される場合には、かかるセンサ16が走行情報取得手段として機能する。
制御回路10は、通常のコンピュータとして構成されており、周知のCPU11,ROM12,RAM13,入出力インターフェース(I/O)14及びこれらの構成を接続するバスライン15が備えられている。CPU11は、ROM12及びRAM13に記憶されたプログラム及びデータにより制御を行う。ROM12は、プログラム格納領域12aとデータ記憶領域12bとを有している。プログラム格納領域12aには、死角監視プログラム12pが格納されている。この死角監視プログラム12pは、RAM13上でワークメモリ13wを作業領域とする形で作動する。他方、データ記憶領域12bには、注視方向データ12dが格納されている。注視方向データ12dは、運転手が視認すべき方向のデータと視認すべき基準頻度のデータ(これらは車速に応じて定められている)として構成されている。データ記憶領域12bには、他にも、死角監視プログラム12pの動作に必要な種々のデータが格納されている。なお、これらのプログラム及びデータは、外部メモリを設けてそれに記憶させてもよい。以上の構成によって、制御回路10は、CPU11により死角監視プログラム12pが起動されると、本発明の障害物認識手段,視線検出手段,表示制御手段,障害物方向算出手段,視線動作計測手段として機能する。
(1−2)装置作動
次に、車両用死角監視装置1の作動について、図5及び図6を参照して説明する。ここで、図5は車両用死角監視装置1のCPU11が実行する死角監視プログラム12pの処理を機能ブロック図として示すものであり、図6は同処理をフローチャートとして示すものである。
死角監視プログラム12pは、障害物認識系処理と視線検出系処理の2つの処理が独立して動作する(すなわち、CPU11が多重処理を行う)。障害物認識系処理では、車外カメラ3から入力された画像データに基づいて障害物Kを認識して警告表示DAを表示する処理を主に行う。また、視線検出系処理では、視線カメラ4から入力された画像データに基づいて運転手EYの視線LSを検出して警告する処理を主に行いつつ、検出した視線のデータ等を障害物認識系処理に提供する。以下、これらの処理についての詳細な説明を行う。
まず、CPU11は、制御系ECUから通信I/F6を介して車両の走行情報の入力を受けており(ステップS1,T1)、車両が低速状態または停止状態である場合に(ステップS2,T2)、以下の処理を開始する。すなわち、車両直前の死角領域BSに歩行者等が現れる等の危険性が生じるのは、車両が低速状態または停止状態の場合であることから、車両が所定の速度以下(例えば40km/h以下:0を含む)である場合に、以下の障害物認識処理及び視線検出処理を行うようになっている。なお、このように構成することで、停止状態からの動き出しという最も危険性の高い場面において有効に警告が行われることになる。
次に、障害物認識処理(ステップS3・S4,障害物認識部71)について説明する。CPU11は、死角領域BSを撮影する2台の車外カメラ3(図12参照)から画像データの入力を受けており、これらを立体視して得られる3次元画像から立体物を把握する(視差計算)。具体的には、地面を基準面として、そこからの立体物を障害物として捕らえる。また、本処理では、このような死角領域BSにおける障害物Kの有無の把握とともに、障害物Kが存在する場合に、車両TR(運転手EY)に対する障害物Kの位置も特定する(例えば、車両TRの右前(運転手EYの直前)に障害物Kが位置するなど)。
次に、視線検出処理(ステップT3,視線検出部72)について説明する。運転手EYの視線LSは、視線カメラ4から得られる画像データの解析によって、まず視線方向(視線ベクトル)を得て、当該視線方向に運転手EYの眼球位置(若しくは頭部位置)を基準とする始点を与えることにより求めることができる。具体的には、2台の視線カメラ4(図1参照)は運転手EYの顔面付近を撮影しており、かかる画像データの入力を受けたCPU11は、顔面の画像から眼球領域を特定するとともに、眼球形状を立体視してその曲率から眼球中心座標を求める。その一方、眼球領域から黒目(瞳孔)領域を特定して黒目中心座標も求める。そして、眼球中心座標から黒目中心座標へと向かう方向を視線方向(視線ベクトル)として定める。そして、眼球の位置座標を始点として、当該始点から視線方向へ延びる直線が視線LSとなる。なお、運転席に着座する運転手の大凡の頭部の位置を予め始点として設定しておき、これから視線LSを求めることもできる。以上のようにして、運転手EYの視線LSが特定される。このようにして特定された視線LSは、障害物認識系処理側にも提供される。
また、視線検出処理(ステップT3,視線検出部72)の後は、警告表示位置算出処理(ステップT4,警告表示位置算出部76)が行われる。これは、後述する警告表示DA,VSの表示位置(視線LSの近傍となる位置)を定めるものである。CPU11は、視線LSがフロントウインドシールドWSに突き当たる位置(以下、突き当たり位置ともいう)を求めて、その近傍を表示位置とする。これには、例えば、ROM12のデータ記憶領域12bに、視野範囲(視線LSの角度範囲)とフロントウインドシールドWSの位置範囲とを関連付けて記憶しておき、視線LSが特定されることで、それに該当するフロントウインドシールドWSの位置が読み出されるようにすることができる。なお、警告表示DA,VSの表示位置は、突き当たり位置に表示してしまうと運転手EYが現在見ているものを覆い隠してしまうことになるので、突き当たり位置の近傍に表示することが好ましい。警告表示DA,VSの表示位置は、突き当たり位置を中心として、例えば視野角20°程度以下となる範囲内の任意の位置とすることができる。このようにして求められた警告表示の表示位置は、障害物認識系処理側にも提供される。
次に、障害物方向算出処理(ステップS5,障害物方向算出部74)について説明する。死角領域BSの障害物Kが認識されると(ステップS4:Yes)、CPU11は、視線検出系処理側(ステップT3,視線検出部72)から提供される視線LSに基づき、視線LSを基準とする障害物Kの相対方向を算出する。具体的には、視線LSから障害物Kへ垂線を結んだ方向を上記相対方向とする。ここで得られた相対方向は、後述する警告表示DAに含まれる方向矢印ARに利用される(図1参照)。
そして、障害物方向算出処理(ステップS5,障害物方向算出部74)の後は、障害物が存在する旨の警告表示処理(ステップS6,表示制御部77(77a))が行われる。CPU11は、障害物Kが存在する旨の警告表示DAを、視線検出系処理側(ステップT4,警告表示位置算出部76)から提供される警告表示位置に表示するように、表示装置5のディスプレイ駆動回路53に対して表示命令を出力する(図1参照)。また、CPU11は、車外カメラ3により撮影された障害物Kの映像を画像KDとして、また障害物方向算出処理(ステップS5,障害物方向算出部74)により得られる相対方向を障害物Kの位置を示す方向矢印ARとして警告表示DAに含めるように表示命令を行う(図1参照)。
なお、上記した障害物認識処理(ステップS3,障害物認識部71)では、死角領域BSに障害物Kが複数存在する場合には、個別に障害物として認識するようになっており、障害物Kが複数認識されると、警告表示処理(ステップS6,表示制御部77(77a))では、各々の障害物Kに対応する複数の警告表示DAがフロントウインドシールドWSに表示される(図2参照)。
次に、視線検出系処理において、運転手EYの視線LSの動作を計測し、注視方向を向く頻度が少ない場合に視認が不足している旨の警告を行う処理について説明する。まず、視線動作計測処理(ステップT5,視線動作計測部75)では、CPU11は、RAM13に視線動作計測メモリを形成して、視線検出部72により検出される視線LSの動作を逐次記憶していく。視線LSの動作は、例えば視線LSが向いた方向、その回数及びその時間などによって特定される。そして視線動作の計測を始めて所定時間を経過したら、CPU11は、ROM12のデータ記憶領域12bに格納されている注視方向データ12dから基準頻度を読み出して、視線LSが定められた注視方向を向く頻度(回数及び時間等)が基準頻度よりも少ない場合に(ステップT6:Yes)、視認が不足している旨の警告表示VSを警告表示位置算出処理(ステップT4,警告表示位置算出部76)により算出された警告表示位置に表示するように(図3参照)、表示装置5のディスプレイ駆動回路53に対して表示命令を出力する(ステップT7,表示制御部77(77b))。なお、注視方向は、上述したように車速に応じて設定されており、車速が低ければ低いほど、車体により近い箇所を確認するように設定され、またその数も多く設定されている。
(2)車両用運転支援システム
以下、本発明に係る車両用運転支援システムの一実施形態を、図面を参照しながら説明する。本実施形態に係る車両用運転支援システム100は、上記した車両用死角監視装置1を利用して、車両の走行動作の制御を行うものである。車両用死角監視装置1についての説明は、上述した通りであるので、図中に同番号を付することで説明を省略する。
図8は、車両用運転支援システム100のブロック図を示すものである。車両用運転支援システム100は、車両用死角監視装置1と車両の走行動作を制御する制御系ECU(Electronic Control Unit)110とが車内LANを介して通信可能に構成されている。制御系ECU110には、エンジンに関する各種制御を行うエンジンECU111やブレーキに関する各種制御を行うブレーキECUが含まれている。
図9は、車両用運転支援システム100において車両用死角監視装置1のCPU11が実行する死角監視プログラム12pの処理を機能ブロック図として示すものであり、図10は同処理をフローチャートとして示すものである。障害物認識系処理に係るステップS1〜S6と視線検出系処理に係るステップT1〜7の処理は、図6に説明した車両用死角監視装置1の処理と同じである。車両用運転支援システム100において、車両用死角監視装置1のCPU11は、死角領域BSに障害物Kが存在する場合に、障害物が存在する旨の警告表示処理(ステップS6,表示制御部77(77a))を行うとともに、制御系ECU110に対して車両の走行動作を制限させる命令(出力)を、通信I/F6により車内LANを介して送信する(ステップS7,表示制御部77(77a))。
制御系ECU110は、車両用死角監視装置1から走行動作の制限命令を受けると、例えば、エンジンECU111がアクセルペダルの操作入力を受けてもエンジンへの燃料供給を停止させることで車両TRの発進又は加速を行わないように作動したり、ブレーキECU112が自動的にブレーキをかけることで車両TRを停止又は減速させるように作動すること等によって車両TRの走行動作を制限する。これにより、死角領域BSに障害物(例えば背の低い子供等)Kが存在する場合において、事故の発生を未然に防ぐことが可能となる。
以上、本発明の実施形態について説明したが、本発明はこれらに限定されず、その要旨を逸脱しない範囲で適宜変更して実施し得るものである。例えば、本実施形態では障害物認識系処理と視線検出系処理の2つの処理を一つの制御回路で行っていたが、これを別々の制御回路に行わせるようにしてもよい。
本発明の車両用死角監視装置により障害物が存在する旨の警告表示がフロントウインドシールドに表示された場合を表す図 図1の変形例 本発明の車両用死角監視装置により視認が不足している旨の警告表示がフロントウインドシールドに表示された場合を表す図 本発明の車両用死角監視装置のブロック図 本発明の車両用死角監視装置が行う処理を表す機能ブロック図 本発明の車両用死角監視装置が行う処理を表すフローチャート 表示装置の説明図 本発明の車両用運転支援システムのブロック図 本発明の車両用運転支援システムが行う処理を表す機能ブロック図 本発明の車両用運転支援システムが行う処理を表すフローチャート 運転手の死角領域に障害物が存在する場合を概略的に表す図 図11の正面図
符号の説明
1 車両用死角監視装置
3 車外カメラ(車外撮像手段)
4 視線カメラ(運転手撮像手段)
5 表示装置(表示手段)
6 通信I/F(走行情報取得手段)
10 制御回路(障害物認識手段,視線検出手段,表示制御手段,障害物方向算出手段,視線動作計測手段)
100 車両用運転支援システム
110 制御系ECU(運転制御手段)
BS 死角領域
DA 警告表示
EY 運転手
LS 視線
WS フロントウインドシールド

Claims (8)

  1. 運転手の視界から死角となる車外の死角領域を撮影する車外撮像手段と、
    前記車外撮像手段により得られる画像から前記死角領域に存在する障害物及びその位置を認識する障害物認識手段と、
    運転手の目を撮影する運転手撮像手段と、
    前記運転手撮像手段により得られる画像から運転手の視線を検出する視線検出手段と、
    車両のウインドシールドに映像を表示する表示手段と、
    前記障害物認識手段により前記死角領域に障害物が認識された場合に、前記ウインドシールドにおける前記運転手の視線上に当たる位置の近傍に、障害物が存在する旨の警告を前記表示手段に表示させる表示制御手段と、
    を備えることを特徴とする車両用死角監視装置。
  2. 前記運転手の視線を基準とする前記障害物の位置の相対方向を算出する障害物方向算出手段を備え、前記表示制御手段は、前記警告として当該相対方向を表示させる請求項1に記載の車両用死角監視装置。
  3. 前記表示制御手段は、前記警告として前記車外撮像手段により得られる前記障害物の画像を表示させる請求項1または2に記載の車両用死角監視装置。
  4. 前記表示制御手段は、前記障害物認識手段が複数の障害物を認識した場合に、各々の障害物に対応する前記警告を表示させる請求項1ないし3のいずれか1項に記載の車両用死角監視装置。
  5. 前記運転手の視線の動きを計測する視線動作計測手段を備え、前記表示制御手段は、前記運転手の視線が予め定められた注視方向を向く頻度が基準となる頻度よりも少ない場合に、前記ウインドシールドにおける前記運転手の視線上に当たる位置の近傍に、視認が不足している旨の警告を前記表示手段に表示させる請求項1ないし4のいずれか1項に記載の車両用死角監視装置。
  6. 運転手の目を撮影する運転手撮像手段と、
    前記運転手撮像手段により得られる画像から運転手の視線を検出する視線検出手段と、
    前記運転手の視線の動きを計測する視線動作計測手段と、
    車両のウインドシールドに映像を表示する表示手段と、
    前記運転手の視線が予め定められた注視方向を向く頻度が基準となる頻度よりも少ない場合に、前記ウインドシールドにおける前記運転手の視線上に当たる位置の近傍に、視認が不足している旨の警告を前記表示手段に表示させる表示制御手段と、
    を備えることを特徴とする車両用死角監視装置。
  7. 車両の走行情報を取得する走行情報取得手段を備え、前記注視方向は、車両の走行情報に応じて設定されてなる請求項5または6に記載の車両用死角監視装置。
  8. 請求項1ないし7のいずれか1項に記載の車両用死角監視装置と、前記表示制御手段が前記警告を表示させる場合に車両の走行動作を制限する運転制御装置とを含んで構成されてなること特徴とする車両用運転支援システム。
JP2005037422A 2005-02-15 2005-02-15 車両用死角監視装置及び車両用運転支援システム Expired - Fee Related JP4683192B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005037422A JP4683192B2 (ja) 2005-02-15 2005-02-15 車両用死角監視装置及び車両用運転支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005037422A JP4683192B2 (ja) 2005-02-15 2005-02-15 車両用死角監視装置及び車両用運転支援システム

Publications (2)

Publication Number Publication Date
JP2006224700A true JP2006224700A (ja) 2006-08-31
JP4683192B2 JP4683192B2 (ja) 2011-05-11

Family

ID=36986435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005037422A Expired - Fee Related JP4683192B2 (ja) 2005-02-15 2005-02-15 車両用死角監視装置及び車両用運転支援システム

Country Status (1)

Country Link
JP (1) JP4683192B2 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176566A (ja) * 2007-01-18 2008-07-31 Matsushita Electric Ind Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム
JP2009163286A (ja) * 2007-12-28 2009-07-23 Toyota Central R&D Labs Inc 運転者支援装置
US7680592B2 (en) 2006-03-14 2010-03-16 Denso Corporation System and apparatus for drive assistance
JP2010120617A (ja) * 2008-11-24 2010-06-03 Denso Corp 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP2010143411A (ja) * 2008-12-18 2010-07-01 Denso Corp ヘッドアップディスプレイ装置
WO2011132388A1 (ja) * 2010-04-19 2011-10-27 本田技研工業株式会社 車両の周辺監視装置
JP2012201165A (ja) * 2011-03-24 2012-10-22 Komatsu Ltd 大型ダンプトラック
JP2013032082A (ja) * 2011-08-01 2013-02-14 Denso Corp 車両用表示装置
US8390440B2 (en) 2008-10-01 2013-03-05 Robert Bosch Gmbh Method for displaying a visual warning signal
WO2013088535A1 (ja) 2011-12-14 2013-06-20 トヨタ自動車株式会社 車両用情報伝達装置
WO2013115241A1 (ja) * 2012-01-31 2013-08-08 株式会社デンソー 車両の運転手の注意を喚起する装置及びその方法
JP2013216315A (ja) * 2013-05-14 2013-10-24 Denso Corp 画像生成装置
JP2014016962A (ja) * 2012-07-11 2014-01-30 Resonant Systems Inc 車両周辺監視システム
US20150360565A1 (en) * 2014-06-11 2015-12-17 Denso Corporation Safety confirmation support system for vehicle driver and method for supporting safety confirmation of vehicle driver
DE102017223827A1 (de) 2016-12-27 2018-06-28 Yazaki Corporation Fahrerbildgebungsvorrichtung
WO2019193819A1 (ja) * 2018-04-02 2019-10-10 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
CN111098783A (zh) * 2018-10-26 2020-05-05 丰田自动车株式会社 车辆用障碍物通知装置
WO2020152737A1 (ja) * 2019-01-21 2020-07-30 三菱電機株式会社 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
JP2020119317A (ja) * 2019-01-24 2020-08-06 株式会社Jvcケンウッド 運転支援制御装置、運転支援制御方法、およびプログラム
CN112046488A (zh) * 2019-06-07 2020-12-08 本田技研工业株式会社 驾驶员状态检测装置
WO2021064229A1 (en) * 2019-10-03 2021-04-08 Orlaco Products B.V. Vehicle display system with wearable display
WO2021153454A1 (en) * 2020-01-29 2021-08-05 Ricoh Company, Ltd. Image display apparatus, image display method, program, and non-transitory recording medium
WO2022244318A1 (ja) * 2021-05-21 2022-11-24 日立Astemo株式会社 車両制御システム、車両制御装置及び車両制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230132A (ja) * 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用障害物検出装置
JPH097100A (ja) * 1995-06-19 1997-01-10 Honda Motor Co Ltd 運転者注視点予測装置及びこれを用いた車両用運転支援システム
JP2001063500A (ja) * 1999-08-26 2001-03-13 Matsushita Electric Works Ltd 車両周辺障害物監視装置
JP2002019491A (ja) * 2000-07-11 2002-01-23 Mazda Motor Corp 車両の表示装置
JP2002083400A (ja) * 2000-09-06 2002-03-22 Honda Motor Co Ltd ドライバの視線領域の適合性を判定する車載情報処理装置
JP2003099899A (ja) * 2001-09-25 2003-04-04 Toyota Central Res & Dev Lab Inc 運転行動危険度演算装置
JP2004255903A (ja) * 2003-02-24 2004-09-16 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置及び車両周辺監視方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230132A (ja) * 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用障害物検出装置
JPH097100A (ja) * 1995-06-19 1997-01-10 Honda Motor Co Ltd 運転者注視点予測装置及びこれを用いた車両用運転支援システム
JP2001063500A (ja) * 1999-08-26 2001-03-13 Matsushita Electric Works Ltd 車両周辺障害物監視装置
JP2002019491A (ja) * 2000-07-11 2002-01-23 Mazda Motor Corp 車両の表示装置
JP2002083400A (ja) * 2000-09-06 2002-03-22 Honda Motor Co Ltd ドライバの視線領域の適合性を判定する車載情報処理装置
JP2003099899A (ja) * 2001-09-25 2003-04-04 Toyota Central Res & Dev Lab Inc 運転行動危険度演算装置
JP2004255903A (ja) * 2003-02-24 2004-09-16 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置及び車両周辺監視方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680592B2 (en) 2006-03-14 2010-03-16 Denso Corporation System and apparatus for drive assistance
JP2008176566A (ja) * 2007-01-18 2008-07-31 Matsushita Electric Ind Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム
JP2009163286A (ja) * 2007-12-28 2009-07-23 Toyota Central R&D Labs Inc 運転者支援装置
US8390440B2 (en) 2008-10-01 2013-03-05 Robert Bosch Gmbh Method for displaying a visual warning signal
JP2010120617A (ja) * 2008-11-24 2010-06-03 Denso Corp 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP2010143411A (ja) * 2008-12-18 2010-07-01 Denso Corp ヘッドアップディスプレイ装置
WO2011132388A1 (ja) * 2010-04-19 2011-10-27 本田技研工業株式会社 車両の周辺監視装置
CN102859567A (zh) * 2010-04-19 2013-01-02 本田技研工业株式会社 车辆周边监视装置
JP2012201165A (ja) * 2011-03-24 2012-10-22 Komatsu Ltd 大型ダンプトラック
JP2013032082A (ja) * 2011-08-01 2013-02-14 Denso Corp 車両用表示装置
US9583002B2 (en) 2011-12-14 2017-02-28 Toyota Jidosha Kabushiki Kaisha Vehicle information transmitting device
WO2013088535A1 (ja) 2011-12-14 2013-06-20 トヨタ自動車株式会社 車両用情報伝達装置
WO2013115241A1 (ja) * 2012-01-31 2013-08-08 株式会社デンソー 車両の運転手の注意を喚起する装置及びその方法
JP2014016962A (ja) * 2012-07-11 2014-01-30 Resonant Systems Inc 車両周辺監視システム
JP2013216315A (ja) * 2013-05-14 2013-10-24 Denso Corp 画像生成装置
US20150360565A1 (en) * 2014-06-11 2015-12-17 Denso Corporation Safety confirmation support system for vehicle driver and method for supporting safety confirmation of vehicle driver
US9493072B2 (en) * 2014-06-11 2016-11-15 Denso Corporation Safety confirmation support system for vehicle driver and method for supporting safety confirmation of vehicle driver
DE102017223827A1 (de) 2016-12-27 2018-06-28 Yazaki Corporation Fahrerbildgebungsvorrichtung
DE102017223827B4 (de) 2016-12-27 2022-05-05 Yazaki Corporation Fahrerbildgebungsvorrichtung
US11170234B2 (en) 2018-04-02 2021-11-09 Jvckenwood Corporation Vehicle display control device, vehicle display system, vehicle display control method, non-transitory storage medium
JP7006460B2 (ja) 2018-04-02 2022-01-24 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
WO2019193819A1 (ja) * 2018-04-02 2019-10-10 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP2019185119A (ja) * 2018-04-02 2019-10-24 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
CN111098783A (zh) * 2018-10-26 2020-05-05 丰田自动车株式会社 车辆用障碍物通知装置
CN111098783B (zh) * 2018-10-26 2023-08-15 丰田自动车株式会社 车辆用障碍物通知装置
WO2020152737A1 (ja) * 2019-01-21 2020-07-30 三菱電機株式会社 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
CN113316529A (zh) * 2019-01-21 2021-08-27 三菱电机株式会社 信息提示装置和信息提示控制方法、以及程序和记录介质
JPWO2020152737A1 (ja) * 2019-01-21 2021-09-09 三菱電機株式会社 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
JP2020119317A (ja) * 2019-01-24 2020-08-06 株式会社Jvcケンウッド 運転支援制御装置、運転支援制御方法、およびプログラム
JP7215191B2 (ja) 2019-01-24 2023-01-31 株式会社Jvcケンウッド 運転支援制御装置、運転支援制御方法、およびプログラム
CN112046488A (zh) * 2019-06-07 2020-12-08 本田技研工业株式会社 驾驶员状态检测装置
JP2020199848A (ja) * 2019-06-07 2020-12-17 本田技研工業株式会社 運転者状態検出装置
WO2021064229A1 (en) * 2019-10-03 2021-04-08 Orlaco Products B.V. Vehicle display system with wearable display
WO2021153454A1 (en) * 2020-01-29 2021-08-05 Ricoh Company, Ltd. Image display apparatus, image display method, program, and non-transitory recording medium
WO2022244318A1 (ja) * 2021-05-21 2022-11-24 日立Astemo株式会社 車両制御システム、車両制御装置及び車両制御方法

Also Published As

Publication number Publication date
JP4683192B2 (ja) 2011-05-11

Similar Documents

Publication Publication Date Title
JP4683192B2 (ja) 車両用死角監視装置及び車両用運転支援システム
JP6540663B2 (ja) 車両システム
JP5099451B2 (ja) 車両周辺確認装置
CN106143309B (zh) 一种车辆盲区提醒方法及系统
JP5863233B2 (ja) 運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両
US20170036601A1 (en) Display device
JP4846426B2 (ja) 車両周囲監視装置
JP6252365B2 (ja) 安全確認支援システム、安全確認支援方法
JP5169884B2 (ja) ヘッドアップディスプレイ装置
US8493199B2 (en) Device and method for approving automatic guidance of a vehicle
US20110199198A1 (en) Method for operating a heads-up display system, heads-up display system
JP4946661B2 (ja) 車両用警報表示装置
JP4992764B2 (ja) 安全確認判定装置および運転教示支援システム
US20140118551A1 (en) Vehicle surrounding-area monitoring apparatus
JP2007249364A (ja) 安全運転支援システム及び安全運転支援装置
JP2010183170A (ja) 車両用表示装置
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
JP2006227811A (ja) 運転支援装置
CN109050405A (zh) 一种多功能增强现实抬头显示系统及方法
JP3941770B2 (ja) 衝突可能性判定装置
JP2006338594A (ja) 歩行者認識装置
JP2009265842A (ja) 車両用警告装置、警告方法
JP2013078151A (ja) 車両用表示装置
CN110758286A (zh) 基于ar-hud增强现实抬头显示汽车侧后方盲点检测系统及方法
JP2007008382A (ja) 視覚情報呈示装置及び視覚情報呈示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4683192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees