JP2005332218A - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP2005332218A
JP2005332218A JP2004150169A JP2004150169A JP2005332218A JP 2005332218 A JP2005332218 A JP 2005332218A JP 2004150169 A JP2004150169 A JP 2004150169A JP 2004150169 A JP2004150169 A JP 2004150169A JP 2005332218 A JP2005332218 A JP 2005332218A
Authority
JP
Japan
Prior art keywords
obstacle
information
display
vehicle
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004150169A
Other languages
English (en)
Other versions
JP4586416B2 (ja
Inventor
Yasunaga Maruyama
泰永 丸山
Takuo Ishiwaka
卓夫 石若
Koichi Kuroda
浩一 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2004150169A priority Critical patent/JP4586416B2/ja
Publication of JP2005332218A publication Critical patent/JP2005332218A/ja
Application granted granted Critical
Publication of JP4586416B2 publication Critical patent/JP4586416B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ドライバが視線を大きく移動させることなく、機器を用いて検出した障害物に関する情報を実際に目視で確認できる自車両周辺の状況に対応付けて把握することができるようにする。
【解決手段】表示制御手段5が、障害物検出手段1で検出した自車両周辺の障害物についての表示情報を作成し、作成した表示情報をサイドミラー等の周辺状況確認手段2上に重なるように表示手段6に表示させる。具体的には、例えば、周辺状況確認手段2で確認可能な障害物についての表示情報として、その障害物の存在を強調させるための障害物強調情報を周辺状況確認手段2で確認できる障害物に対応付けて表示させ、周辺状況確認手段2の死角となる領域に存在する障害物についての表示手段として、死角となる領域に障害物が存在することを報知するための死角報知情報を作成し、周辺状況確認手段2の端部領域上に重ねて表示させる。
【選択図】図1

Description

本発明は、自車両周辺の情報を表示してドライバの運転を支援する運転支援装置に関する。
近年、車両のインテリジェント化が進められる中で、ドライバの運転操作を支援するための様々な技術の研究開発が盛んに行われており、その一つとして、車載カメラやレーザレーダ、ミリ波レーダ等の機器を用いて自車両周辺の障害物を検出し、その情報を車載ディスプレイ等に表示することでドライバに報知して、例えば車線変更等の運転操作を支援するといった試みがなされている(例えば、特許文献1参照。)。
特許文献1には、自車両の後側方を走行する他車両等の障害物を検出し、この障害物の自車両に対する相対距離及び相対速度から障害物と自車両との間の余裕度を算出して、この余裕度に応じた表示形態で、検出した障害物に関する情報を運転席前方に設置された車載ディスプレイに表示するという技術が開示されている。
特開平11−120498号公報
以上のように、特許文献1にて開示される技術では、機器を用いて検出した障害物に関する情報を運転席前方に設置された車載ディスプレイに表示させるようにしているので、ドライバが車載ディスプレイに表示された情報を見てその障害物をサイドミラー等で確認しようとする場合には、ドライバは車載ディスプレイとサイドミラーとの2箇所で視線を大きく移動させる必要が生じる。また、ディスプレイとサイドミラーとでは焦点距離が異なりピント調整が必要となる。そのため、機器を用いて検出した障害物をドライバが実際に目視で確認するのに時間がかかり、ドライバに不安感を与える要因となる。また、車載ディスプレイで情報が表示された障害物が、実際にサイドミラー等で確認されるどの障害物であるのかの対応付けが難しく、ドライバの運転を支援する上で必ずしも適切に情報の提示ができていないという問題があった。
本発明は、以上のような従来技術の有する問題点を解決すべく創案されたものであって、ドライバが視線を大きく移動させることなく、機器を用いて検出した障害物に関する情報を実際に目視で確認できる自車両周辺の状況に対応付けて把握することができ、ドライバの運転操作を適切に支援することができる運転支援装置を提供することを目的としている。
本発明は、自車両周辺の情報を表示してドライバの運転を支援する運転支援装置において、障害物検出手段により検出された自車両周辺の障害物についての表示情報を、自車両周辺の状況をドライバが目視により確認するための周辺状況確認手段上に重ね合わせて表示させるようにした。
本発明に係る運転支援装置によれば、障害物検出手段により検出された自車両周辺の障害物についての表示情報が周辺状況確認手段上に重ね合わせて表示されるので、ドライバは視線を大きく移動させることなく、表示された障害物についての情報を実際に目視で確認できる自車両周辺の状況に対応付けて把握することができ、例えば、車線変更等の運転操作時に自車両周辺を走行する他車両の動き等を的確に把握して、スムーズな運転操作を行うことが可能となる。
以下、本発明を適用した運転支援装置の具体的な実施形態について、図面を参照しながら詳細に説明する。
(第1の実施形態)
図1は、本発明を適用した第1の実施形態の運転支援装置の全体構成を示すブロック図である。この運転支援装置は、障害物検出手段1と、周辺状況確認手段2と、視点位置推定手段3と、設置角度検出手段4と、表示制御手段5と、表示手段6とを備えて構成される。
障害物検出手段1は、自車両に取り付けられた少なくとも1つのセンサを用いて、自車両周辺(主に後側方、後方)の障害物、具体的には、自車両周辺に存在する他車両等の障害物の有無や、その位置、サイズ、自車両に対する相対速度等をリアルタイムで検出するものである。ここで用いるセンサとしては、例えば車載カメラやレーザレーダ、ミリ波レーダ、超音波センサ等が挙げられ、これらの何れを用いてもよく、またこれらを組み合わせて用いるようにしてもよい。なお、これらのセンサを用いて自車両周辺の障害物を検出する具体的手法としては公知の手法を採用すればよく、ここではその手法の詳細については説明を省略する。
周辺状況確認手段2は、ドライバが目視により自車両周辺の状況を確認する手段であり、例えば自車両の左右側方に設置されたサイドミラーや、運転席前方に設置されたバックミラー等がこれに相当する。その他にも、例えばバックビューモニタなどに代表されるカメラとモニタから構成されるドライバの死角領域を表示するシステムも、この周辺状況確認手段2に相当する。
視点位置推定手段3は、運転席シートポジションセンサやカメラ等を用いて自車両のドライバの視線位置を推定するものである。具体的には、この視点位置推定手段3は、例えば、運転席シートポジションセンサによりドライバが着座している運転席シートの前後位置や背もたれ角度、ヘッドレスト位置等を検出し、また、カメラで撮像したドライバの顔画像から視点位置を抽出し、これらの情報を用いて、予め車両毎に設定されている基準視点位置から実際にドライバの視点が存在する位置までの差を算出し、算出した値を自車両のドライバの視点位置Pm(x,y)として出力する。
設置角度検出手段4は、周辺状況確認手段2の設置角度を検出するものである。この設置角度検出手段4は、周辺状況確認手段2が複数ある場合には各周辺状況確認手段2に対してそれぞれ設けられる。例えば、一般的に車両に設置されている左右のサイドミラー及びバックミラーをそれぞれ周辺状況確認手段2として用いる場合、これら左右サイドミラー及びバックミラーそれぞれに設置角度検出手段4が設けられ、これら設置角度検出手段4によって各ミラーの角度が可動中心点からのX方向及びY方向それぞれの変位角θmx,θmyとして検出される。
表示制御手段5は、障害物検出手段1により検出された自車両周辺の障害物についての表示情報を作成し、作成した表示情報を周辺状況確認手段2上に重ねて表示手段6にて表示させるものであり、マイクロコンピュータ等で実行されるソフトウェアとして実現される。また、表示手段6は、例えば自車両の左右サイドミラーやバックミラー等の周辺状況確認手段2に重ね合わせて設置された透過型ELディスプレイやハーフミラーと表示デバイスとを重ね合わせた表示系等であり、表示制御手段5により作成された表示情報を、周辺状況確認手段2上で重ねて表示することが可能なものである。
本実施形態の運転支援装置において、表示制御手段5は、例えば、障害物検出手段1によって自車両周辺を走行する他車両等の障害物が検出された場合には、視点位置推定手段3にて推定されたドライバの視点位置Pm(x,y)と、設置角度検出手段4により検出された周辺情報確認手段2の設置角度情報θmx,θmyとに基づいて、周辺情報確認手段2で確認可能な領域を特定し、障害物検出手段1により検出された障害物の位置情報を用いて、当該障害物が周辺状況確認手段2で確認可能な領域に存在する障害物であるかどうかを判定する。そして、障害物検出手段1により検出された障害物が周辺状況確認手段2で確認可能な領域に存在する障害物であると判断した場合には、表示情報として、当該障害物の存在を強調させるための情報(以下、障害物強調情報という。)を作成し、作成した障害物強調情報を、周辺状況確認手段2で確認される実際の障害物に対応付けたかたちで、周辺状況確認手段2上に重ねて表示手段6にて表示させる。
また、表示制御手段5は、障害物検出手段1により検出された障害物が周辺状況確認手段2の死角となる領域に存在する障害物であると判断した場合には、表示情報として、周辺状況確認手段2の死角となる領域に障害物が存在することを報知するための情報(以下、死角報知情報という。)を作成し、作成した死角報知情報を、周辺状況確認手段2の端部領域上に重なるように、表示手段6にて表示させる。
ここで、本実施形態の運転支援装置において特徴的な表示制御手段5による一連の処理について、周辺状況確認手段2として自車両の左右サイドミラーを用い、障害物検出手段1により検出された自車両後側方の他車両等の障害物の情報をサイドミラー上に重ねて表示させるようにした場合を例に挙げて、図2のフローチャートに沿って具体的に説明する。なお、この図2に示すフローは、各周辺状況確認手段2(本例では左右の2つのサイドミラー)毎に独立して、所定周期(例えば30msec)毎に繰り返し実行されるものである。
本フローがスタートすると、表示制御手段5は、先ず、ステップS101において、障害物検出手段1からの情報を読み込んで、自車両周辺を走行する他車両等の障害物に関する情報(例えば、自車両から障害物までの距離Kl[m]、障害物のサイズKw[cm]、障害物の自車両に対する相対速度Kv[m/s])を取得する。
次に、ステップS102において、ステップS101で取得した障害物に関する情報に基づき、自車両の後側方における所定距離以内に一定サイズ以上の障害物が存在するか否かを判定し、存在すると判断した場合に次のステップS103に進み、存在しないと判断した場合には本フローを終了させる。
ステップS103では、視点位置推定手段3によって推定された、基準視点位置からの変位量であるドライバの視点位置Pm(x,y)を取得する。また、次のステップS104では、設置角度検出手段4によって検出された、サイドミラーの可動中心点からのX方向及びY方向それぞれの変位角であるミラー角度θmx,θmyを取得する。このサイドミラーにおけるミラー角度θmx,θmyの概念を図3に示す。
次に、ステップS105において、ステップS103で取得したドライバの視点位置Pm(x,y)とステップS104で取得したミラー角度θmx,θmyとに基づき、ドライバがサイドミラーで確認可能な自車両後側方の領域(ミラー表示エリア)を特定する。このミラー表示エリアは、ドライバの視点位置Pm(x,y)を基準として、ミラー角度θmx,θmyに応じて定まるサイドミラー上下左右の端点(図3参照)における入射角及び反射角の関係から一意に特定できる。
ドライバの視点位置Pm(x,y)及びミラー角度θmx,θmyとミラー表示エリアとの関係を図4及び図5に示す。図4に示すように、ミラー角度θmx,θmyが一定であれば、ミラー表示エリアはドライバの視点位置Pm(x,y)に応じて一意に特定され、図5に示すように、ドライバの視点位置Pm(x,y)が一定であれば、ミラー表示エリアはミラー角度θmx,θmyに応じて一意に特定されることになる。
次のステップS106からステップS110までの処理は、ステップS102で判定された障害物毎に実施される。すなわち、ステップS102において自車両の後側方における所定距離以内に一定サイズ以上の障害物が複数存在すると判定された場合には、これら複数の障害物毎に、ステップS106からステップS110までの処理が実行されることになる。
先ず、ステップS106では、ステップS102で判定された障害物が、ステップS105で特定されたミラー表示エリア内に存在する障害物であるか否かを判定する。そして、ミラー表示エリア以外の位置に障害物が存在すると判定した場合には、次に、ステップS107において、例えば図6に示すように、サイドミラーの死角となる領域に他車両等の障害物が存在することをドライバに報知するための死角報知情報を作成し、この死角報知情報をサイドミラーの端部領域(例えば下端部)上に重なるように、表示手段6に表示させる制御を行う。
一方、障害物がミラー表示エリア内に存在すると判定した場合には、次に、ステップS108において、ステップS101で取得した当該障害物までの距離Klや、障害物のサイズKwの情報を用い、当該障害物の存在を強調させるための障害物強調情報の表示サイズVeを確定する。ここで、障害物強調情報の表示サイズVeの算出方法としては、例えば、自車両のサイドミラーの特性を表す特性マップに基づいて算出する方法や、下記式(1)を用いて算出する方法等が考えられる。なお、下記式(1)においてVsは視覚係数であり、車両毎に異なる値が予め設定されている。
Ve=Kw/Kl×Vs ・・・(1)
次に、ステップS109において、図7に示すように、ミラー表示エリアに対する障害物の像が占める割合を算出し、算出した割合をサイドミラーの上下、左右それぞれに割り当てて、サイドミラーで障害物の像が映りこむ領域を特定し、これをもとに障害物強調情報のサイドミラー上における表示位置を確定する。
そして、ステップS110において、ステップS108で確定した表示サイズの情報やステップS109で確定した表示位置の情報を用い、例えば、図8に示すような他車両等の障害物を囲む枠といった、障害物の存在を強調させるための障害物強調情報を作成し、この作成した障害物強調情報をサイドミラーに映りこむ障害物に対応付けたかたちで、表示手段6に表示させる制御を行う。
ところで、以上のような障害物強調情報や死角報知情報の表示によって自車両のドライバに自車両周辺の障害物の存在をより的確に把握させ、より効果的に注意を喚起させるには、これら障害物強調情報や死角報知情報の表示形態を、障害物の自車両に対する関係に応じて可変とすることが望ましい。以下、障害物の自車両に対する関係に応じて障害物強調情報の表示形態を決定する処理の具体例について説明する。なお、死角報知情報を表示する場合においても、以下に示す例と同様の処理を行って、障害物の自車両に対する関係に応じて死角報知情報の表示形態(例えば表示色)を決定するようにすれば、自車両のドライバの注意をより効果的に喚起することが可能となる。
先ず、自車両の後側方を走行している他車両のTTC(Time To Collision)に基づいて、当該他車両に関する障害物強調情報の表示形態を決定する例について、図9のフローチャートに沿って説明する。なお、この図9のフローは、図2に示したメインフローにおけるステップS110のサブルーチンに相当するものである。
本フローがスタートすると、表示制御手段5は、先ずステップS201において、図2に示したメインフローのステップS101で取得した他車両(障害物)までの距離Klや、他車両(障害物)の自車両に対する相対速度Kvの情報を用い、TTCの算出を行う。ここで、TTCとは、自車両が隣接車線に車線変更した際に、この隣接車線を走行する他車両に衝突するまでの時間(すなわち、自車両に対する他車両の余裕度)を表すものであり、下記式(2)によって算出される。
TTC=Kl[m]/Kv[m/s] ・・・(2)
次に、ステップS202において、ステップS201で算出したTTCが所定の閾値Tlow以上となっているか否かを判定し、閾値Tlow以上であれば、次のステップS203において、ステップS201で算出したTTCが所定の閾値Thigh以上となっているか否かを判定する。ここで、閾値Tlowと閾値Thighとの関係は、Tlow<Thighである。以上のステップS202及びステップS203の判定により、ステップS201で算出したTTCが閾値Tlow未満か、閾値Tlow以上で且つ閾値Thigh未満か、閾値Thigh以上かの3通りに分類されることになる。
ステップS201で算出したTTCが閾値Tlow未満の場合、すなわちステップS202でNoと判定された場合には、ステップS204において、他車両を囲む枠といった障害物強調情報の表示色を、最も緊急性が高いことを表す赤色に決定する。また、ステップS201で算出したTTCが閾値Tlow以上で且つ閾値Thigh未満の場合、すなわちステップS203でNoと判定された場合には、ステップS205において、他車両を囲む枠といった障害物強調情報の表示色を、緊急性がそれほど高くはないが注意を要することを表す黄色に決定する。また、ステップS201で算出したTTCが閾値Thigh以上の場合、すなわちステップS203でYesと判定された場合には、ステップS206において、他車両を囲む枠といった障害物強調情報の表示色を、緊急性が低いことを表す青色に決定する。
次に、自車両の後側方を走行している他車両の自車両に対する相対速度Kvに基づいて、当該他車両に関する障害物強調情報の表示形態を決定する例について、図10のフローチャートに沿って説明する。なお、この図10のフローは、図2に示したメインフローにおけるステップS110のサブルーチンに相当するものである。
本フローがスタートすると、表示制御手段5は、先ずステップS301において、図2に示したメインフローのステップS101で取得した他車両(障害物)の自車両に対する相対速度Kvをもとに、この相対速度Kvが所定の閾値Khigh以上となっているか否かを判定し、閾値Khigh未満であれば、次のステップS302において、この相対速度Kvが所定の閾値Klow以上となっているか否かを判定する。ここで、閾値Khighと閾値Klowとの関係は、Khigh>Klowである。以上のステップS301及びステップS302の判定により、他車両の自車両に対する相対速度Kvが閾値Khigh以上か、閾値Khigh未満で且つ閾値Klow以上か、閾値Klow未満かの3通りに分類されることになる。
他車両の自車両に対する相対速度Kvが閾値Khigh以上の場合、すなわちステップS301でYesと判定された場合には、ステップS303において、他車両を囲む枠といった障害物強調情報の表示色を、最も緊急性が高いことを表す赤色に決定する。また、他車両の自車両に対する相対速度Kvが閾値Thigh未満で且つ閾値Tlow以上の場合、すなわちステップS302でYesと判定された場合には、ステップS304において、他車両を囲む枠といった障害物強調情報の表示色を、緊急性がそれほど高くはないが注意を要することを表す黄色に決定する。また、他車両の自車両に対する相対速度Kvが閾値Thigh未満の場合、すなわちステップS302でNoと判定された場合には、ステップS305において、他車両を囲む枠といった障害物強調情報の表示色を、緊急性が低いことを表す青色に決定する。
なお、以上は、障害物強調情報として障害物である他車両を囲む枠を表示する場合に、当該他車両のTTCや相対速度Kvに応じて枠の表示色を決定する例を説明したが、障害物強調情報として、例えば図11に示すように、障害物である他車両を囲む枠を点滅させながら表示する場合には、その点滅の速度を他車両のTTCや相対速度Kvに応じて決定するようにしてもよいし、また、障害物強調情報として、例えば図12に示すように、障害物である他車両を囲む枠に進行方向を示す矢印を付加して表示する場合には、その矢印の長さを他車両のTTCや相対速度Kvに応じて決定するようにしてもよい。
また、障害物強調情報としては、以上のような他車両を囲む枠や矢印といったイメージに加えて、他車両の自車両に対する相対速度Kv自体を数値で表示させるようにしてもよい。このように他車両の自車両に対する相対速度Kv自体を数値で表示させることで、ドライバは他車両の状態をより正確に把握することが可能となる。なお、相対速度Kv自体を数値で表示させる場合にも、その表示色等を相対速度Kvの大きさに応じて可変とすれば、ドライバにより効果的に注意を喚起させることが可能となる。
以上説明したように、本実施形態の運転支援装置によれば、障害物検出手段1の情報を用いて表示制御手段5が障害物強調情報や死角報知情報といった障害物についての表示情報を作成し、作成したこれらの情報をサイドミラー等の周辺状況確認手段2上の対応する位置に重なるようにして、この周辺状況確認手段2上に設置された透過型ELディスプレイ等の表示手段6で表示させるようにしているので、ドライバは視線を大きく移動させることなく、これら障害物強調情報や死角報知情報等を実際に目視で確認できる自車両周辺の状況に対応付けて把握することができ、例えば、車線変更等の運転操作時に自車両周辺を走行する他車両の動き等を的確に把握して、スムーズな運転操作を行うことが可能となる。
(第2の実施形態)
次に、本発明を適用した第2の実施形態の運転支援装置について説明する。本実施形態の運転支援装置は、表示制御手段5が、自車両周辺の他車両等の障害物についての表示情報だけでなく、自車両が走行している道路の白線を強調させるための情報(以下、道路白線強調情報という。)を作成して、この道路白線強調情報を実際に周辺状況確認手段2で確認される道路白線に対応付けて表示させるようにした点に特徴を有するものである。なお、その他の構成及び制御概要は上述した第1の実施形態と同様であるので、以下、第1の実施形態と同様の部分については重複した説明を省略し、本実施形態に特徴的な部分についてのみ説明する。
図13は、本実施形態の運転支援装置の全体構成を示すブロック図である。図13に示すように、本実施形態の運転支援装置は、上述した第1の実施形態の構成に加えて、道路白線検出手段7を備えている。
道路白線検出手段7は、車載カメラを用いて自車両周辺の画像を撮像し、撮像した画像に対してエッジ検出等の画像処理を施すことで、自車両が走行している道路の白線を検出するものである。なお、車載カメラで撮像された自車両周辺の画像からエッジ検出等によって道路白線を検出する具体的手法としては公知の手法を採用すればよく、ここではその手法の詳細については説明を省略する。また、障害物検出手段1で車載カメラを用いている場合には、この車載カメラを障害物検出手段1と道路白線検出手段7とで共用するようにしてもよい。
ここで、本実施形態の運転支援装置における表示制御手段5での処理について、周辺状況確認手段2として自車両の左右サイドミラーを用い、障害物検出手段1により検出された自車両後側方の他車両等の障害物の情報、及び道路白線検出手段7により検出された道路白線についての情報をサイドミラー上に重ねて表示させるようにした場合を例に挙げて、図14のフローチャートに沿って具体的に説明する。なお、この図14に示すフローは、先に図2を用いて説明した第1の実施形態のメインフローと同様に、各周辺状況確認手段2(本例では左右の2つのサイドミラー)毎に独立して、所定周期(例えば30msec)毎に繰り返し実行されるものである。
本フローにおいて、ステップS401からステップS410までの処理は、上述した第1の実施形態のメインフロー(図2参照。)におけるステップS101からステップS110までの処理と同様である。但し、本フローにおいては、ステップS402で自車両の後側方における所定距離以内に一定サイズ以上の障害物が存在しないと判断した場合や、ステップS407で死角報知情報を表示させた後、更にはステップS410で障害物強調情報を表示させた後に、本フローを終了させずにステップS411へと処理を移行する。
ステップS411では、表示制御手段5は、道路白線検出手段7からの情報を読み込んで、自車両が走行している道路の白線に関する情報、具体的にはその道路白線の位置を表す位置座標の情報を取得する。
次に、ステップS412において、ステップS411で取得した位置座標を用いて、道路白線検出手段7によって検出された道路白線が、ステップS405で特定されたミラー表示エリア内に存在するか否かを判定し、ミラー表示エリア内に存在する道路白線については、次のステップS413において、この道路白線を強調させるための道路白線強調情報を作成し、この作成した道路白線強調情報をサイドミラーに映りこむ道路白線に対応付けたかたちで、表示手段6に表示させる制御を行う。
具体的には、表示制御手段は、例えば図15に示すように、サイドミラーに映りこむ道路白線に沿ってこの道路白線の視認性を向上させるラインを表示手段6に表示させる。また、例えば図16に示すように、自車両から道路白線までの距離を算出して、この自車両から道路白線までの距離を具体的な数値で表示させるようにしてもよい。
以上説明したように、本実施形態の運転支援装置によれば、自車両が走行している道路の白線を道路白線検出手段7によって検出し、この検出された道路白線のうちでサイドミラー等の周辺状況確認手段2で確認可能な領域(ミラー表示エリア)に存在する道路白線については、表示制御手段5がこの道路白線を強調させるための道路白線強調情報を作成して、作成した道路白線強調情報を障害物強調情報や死角報知情報と共に、サイドミラー等の周辺状況確認手段2上の対応する位置に重なるように表示手段6で表示させるようにしているので、ドライバは視線を大きく移動させることなく、自車両周辺の障害物に加えて自車両の道路上の位置等も的確に把握することができ、よりスムーズな運転操作を行うことが可能となる。また、悪天候時の夜間等、白線を認識しにくいシーンにおいても自車両と白線との位置関係が容易に把握できる。
(第3の実施形態)
次に、本発明を適用した第3の実施形態の運転支援装置について説明する。本実施形態の運転支援装置は、基本的な構成及び制御概要を上述した第1の実施形態と同様とし、表示制御手段5による処理、特に、周辺状況確認手段2上で障害物強調情報を表示させる領域を確定する処理が、上述した第1の実施形態とは若干異なるものである。
本実施形態の運転支援装置において特徴的な表示制御手段5による一連の処理について、周辺状況確認手段2として自車両の左右サイドミラーを用い、障害物検出手段1により検出された自車両後側方の他車両等の障害物の情報をサイドミラー上に重ねて表示させるようにした場合を例に挙げて、図17のフローチャートに沿って具体的に説明する。なお、この図17に示すフローは、先に図2を用いて説明した第1の実施形態のメインフローと同様に、各周辺状況確認手段2(本例では左右の2つのサイドミラー)毎に独立して、所定周期(例えば30msec)毎に繰り返し実行されるものである。
本フローがスタートすると、表示制御手段5は、先ず、ステップS501において、障害物検出手段1からの情報を読み込んで、自車両周辺を走行する他車両等の障害物に関する情報(例えば、自車両から障害物までの距離Kl[m]、障害物のサイズKw[cm]、障害物の自車両に対する相対速度Kv[m/s])を取得する。
次に、ステップS502において、ステップS501で取得した障害物に関する情報に基づき、自車両の後側方における所定距離以内に一定サイズ以上の障害物が存在するか否かを判定し、存在すると判断した場合に次のステップS503に進み、存在しないと判断した場合には本フローを終了させる。
ステップS503では、ステップS501で取得した障害物に関する情報を用いて、当該障害物のエッジ座標TPR,TPLを算出する。そして、ステップS504では、視点位置推定手段3によって推定された、基準視点位置からの変位量であるドライバの視点位置Pm(x,y)を取得する。また、次のステップS505では、設置角度検出手段4によって検出された、サイドミラーの可動中心点からのX方向及びY方向それぞれの変位角であるミラー角度θmx,θmyを取得する。
次に、ステップS506において、予め車両毎に設定されている基準ミラー左端座標P1ml及び基準ミラー右端座標P1mrと、ステップS505で取得したミラー角度θmx(X方向変位角)とに基づいて、サイドミラーの角度調整後におけるミラー左端座標P1ml’及びミラー右端座標P1mr’を算出する。また、同様に、予め車両毎に設定されている基準ミラー上端座標及び基準ミラー下端座標と、ステップS505で取得したミラー角度θmy(Y方向変位角)とに基づいて、サイドミラーの角度調整後におけるミラー上端座標及びミラー下端座標の算出も行う。
サイドミラーの角度調整後における端点座標の算出方法の概念図を図18に示す。例えば、基準ミラー左端座標P1mlのx座標(xl1)が−4、y座標(yl1)が0、基準ミラー右端座標P1mrのx座標(xr1)が0、y座標(yr1)が0、ミラー角度θmxが10°の場合、サイドミラーの角度調整後におけるミラー左端座標P1ml’のx座標(xl2)、y座標(yl2)、サイドミラー角度調整後におけるミラー右端座標P1mr’のx座標(xr2)、y座標(yr2)は、それぞれ以下のように求められる。
xl2=xl1・cos(360−θmx)−yl1・sin(360−θmx)=−3.94
yl2=xl1・sin(360−θmx)+yl1・cos(360−θmx)=0.69
xr2=xr1・cos(360−θmx)−yr1・sin(360−θmx)=3.94
yr2=xr1・sin(360−θmx)+yr1・cos(360−θmx)=−0.69
次に、ステップS507において、ステップS506で算出したサイドミラーの角度調整後における端点座標に基づいて、ミラー左右両端点を通る直線を表すミラー式Fmを算出する。同様に、ミラー上下両端点を通る直線を表すミラー式の算出も行う。また、ステップS508において、ステップS507で算出したミラー式Fmの傾きと、ステップS504で取得したドライバ視点位置Pm(x、y)を用いて、ドライバ視点位置Pm(x、y)を通り直線Fmと直交する直線を表すミラー直交式Fmmを算出する。同様に、ミラー上下方向についてもミラー直交式の算出を行う。
ミラー式Fmの算出方法及びミラー直交式Fmmの算出方法の概念図を図19に示す。例えば、サイドミラーの角度調整後におけるミラー左端座標P1ml’のx座標(xl2)が−3.94、y座標(yl2)が0.69、サイドミラー角度調整後におけるミラー右端座標P1mr’のx座標(xr2)が3.94、y座標(yr2)が−0.69の場合、ミラー式Fmは以下のように表される。
Fm:y=yl2−{(yl2−yr2)/(xl2−xr2)}(xl2−x)=0.69−{(0.69−(−0.69)/(−3.94−3.94)}(−3.94−x)=−0.17x
そして、直線Fmに直交する直線はy=5.88x+bと表され、ドライバ視点位置Pm(x、y)を通り直線Fmと直交する直線を表すミラー直交式Fmmは、以下のように表される。
ミラー直交式Fmm:y=5.88X+37.04
次に、ステップS509において、直線Fmと直線Fmmとの交点の座標Pmcからドライバ視点位置Pm(x、y)までの距離Lpmを用い、直線Fmm上でドライバ視点位置Pm(x、y)からLpm×2の距離に存在する仮想視点位置Pmm(Xt、Yt)の算出を行う。
次に、ステップS510において、ステップS503で算出した障害物のエッジ座標TPR,TPLと、ステップS509で算出した仮想視点位置Pmm(Xt、Yt)とを用い、仮想視点位置Pmm(Xt、Yt)と障害物検出手段1により検出された障害物の各エッジとを結ぶ直線の式Ftr,Ftlをそれぞれ算出する。式Ftr,Ftlの算出方法の概念図を図20に示す。
次に、ステップS511において、ステップS507で算出したミラー式FmとステップS510で算出した式Ftr,Ftlとの交点Pkr,Pklをそれぞれ算出する。交点Pkr,Pklの算出方法の概念図を図21に示す。
次に、ステップS512において、ステップS511で算出した交点Pkr,Pklが、ステップS506で算出したサイドミラーの角度調整後におけるミラー左端座標P1ml’からミラー右端座標P1mr’の範囲内に存在するか否かを判定する。そして、交点Pkr,Pklが何れもサイドミラーの角度調整後におけるミラー左端座標P1ml’からミラー右端座標P1mr’の範囲外である場合には、次に、ステップS513において、例えば図6に示したように、サイドミラーの死角となる領域に他車両等の障害物が存在することをドライバに報知するための死角報知情報を作成し、この死角報知情報をサイドミラーの端部領域(例えば下端部)上に重なるように、表示手段6に表示させる制御を行う。
一方、交点Pkr,Pklの少なくとも何れかがサイドミラーの角度調整後におけるミラー左端座標P1ml’からミラー右端座標P1mr’の範囲内に存在すると判定した場合には、次に、ステップS514において、当該障害物の存在を強調させるための障害物強調情報のサイドミラー上における表示領域を確定する。ここで、交点Pkr,Pklの双方がサイドミラーの角度調整後におけるミラー左端座標P1ml’からミラー右端座標P1mr’の範囲内に存在すると判定した場合には、図22に示すように、交点Pkr,Pklの座標を結んだ範囲を、サイドミラー上における障害物強調情報の表示領域として確定する。また、交点Pkr,Pklの一方、例えば交点Pklのみがサイドミラーの角度調整後におけるミラー左端座標P1ml’からミラー右端座標P1mr’の範囲内に存在すると判定した場合には、図23に示すように、一方の交点Pklの座標とミラー右端座標P1mr’とを結んだ範囲を、サイドミラー上における障害物強調情報の表示領域として確定する。
次に、ステップS515において、ステップS514で確定した表示領域の情報を用い、例えば、図8に示したような他車両等の障害物を囲む枠といった、障害物の存在を強調させるための障害物強調情報を作成し、この作成した障害物強調情報をサイドミラーに映りこむ障害物に対応付けたかたちで、表示手段6に表示させる制御を行う。なお、この障害物強調情報の表示形態は、上述した第1の実施形態と同様に、障害物の自車両に対する関係(TTCや相対速度等)に応じて決定することが望ましい。
以上説明したように、本実施形態の運転支援装置によれば、上述した第1の実施形態と同様に、障害物検出手段1の情報を用いて表示制御手段5が障害物強調情報や死角報知情報といった障害物についての表示情報を作成し、作成したこれらの情報をサイドミラー等の周辺状況確認手段2上の対応する位置に重なるようにして、この周辺状況確認手段2上に設置された透過型ELディスプレイやハーフミラーと表示デバイスとを重ね合わせた表示系等の表示手段6で表示させるようにしているので、ドライバは視線を大きく移動させることなく、これら障害物強調情報や死角報知情報等を実際に目視で確認できる自車両周辺の状況に対応付けて把握することができ、例えば、車線変更等の運転操作時に自車両周辺を走行する他車両の動き等を的確に把握して、スムーズな運転操作を行うことが可能となる。
第1の実施形態の運転支援装置の構成を示すブロック図である。 第1の実施形態の運転支援装置における表示制御手段により実行される処理の流れを示すフローチャートである。 周辺状況確認手段としてのサイドミラーにおけるミラー角度の概念図である。 ドライバの視点位置及びサイドミラーのミラー角度とミラー表示エリアとの関係を説明する図である。 ドライバの視点位置及びサイドミラーのミラー角度とミラー表示エリアとの関係を説明する図である。 サイドミラー上における死角報知情報の表示例を示す図である。 障害物強調情報のサイドミラー上における表示位置を確定する手法の概要を説明する図である。 サイドミラー上における障害物強調情報の表示例を示す図である。 自車両の後側方を走行している他車両のTTCに基づいて当該他車両に関する障害物強調情報の表示形態を決定する処理の流れを示すフローチャートである。 自車両の後側方を走行している他車両の自車両に対する相対速度に基づいて当該他車両に関する障害物強調情報の表示形態を決定する処理の流れを示すフローチャートである。 サイドミラー上における障害物強調情報の他の表示例を示す図である。 サイドミラー上における障害物強調情報の更に他の表示例を示す図である。 第2の実施形態の運転支援装置の構成を示すブロック図である。 第2の実施形態の運転支援装置における表示制御手段により実行される処理の流れを示すフローチャートである。 サイドミラー上における道路白線強調情報の表示例を示す図である。 サイドミラー上における道路白線強調情報の他の表示例を示す図である。 第3の実施形態の運転支援装置における表示制御手段により実行される処理の流れを示すフローチャートである。 サイドミラーの角度調整後における端点座標の算出方法を説明するための概念図である。 ミラー式及びミラー直交式の算出方法を説明するための概念図である。 仮想視点位置と障害物検出手段により検出された障害物の各エッジとを結ぶ直線の式Ftr,Ftlの算出方法を説明するための概念図である。 ミラー式と式Ftr,Ftlとの交点の算出方法を説明するための概念図である。 サイドミラー上における障害物強調情報の表示領域を確定する手法を説明するための概念図である。 サイドミラー上における障害物強調情報の表示領域を確定する手法を説明するための概念図である。
符号の説明
1 障害物検出手段
2 周辺状況確認手段
3 視点位置推定手段
4 設置角度検出手段
5 表示制御手段
6 表示手段
7 道路白線検出手段

Claims (10)

  1. 自車両周辺の情報を表示してドライバの運転を支援する運転支援装置において、
    自車両周辺の障害物を検出する障害物検出手段と、
    自車両周辺の状況をドライバが目視により確認するための周辺状況確認手段と、
    前記障害物検出手段により検出された障害物についての表示情報を作成し、作成した表示情報を、前記周辺状況確認手段上に重ねて表示させる表示制御手段とを備えることを特徴とする運転支援装置。
  2. 前記周辺状況確認手段に重ね合わせて設置された透過型の表示手段を備え、
    前記表示制御手段は、作成した表示情報を、前記表示手段に表示させることを特徴とする請求項1に記載の運転支援装置。
  3. 前記表示制御手段は、前記障害物検出手段により検出された自車両周辺の障害物のうち、前記周辺状況確認手段で確認可能な領域に存在する障害物については、表示情報として当該障害物の存在を強調させるための障害物強調情報を作成し、作成した障害物強調情報を、前記周辺状況確認手段で確認される前記障害物に対応付けて表示させることを特徴とする請求項1又は2に記載の運転支援装置。
  4. 前記表示制御手段は、前記障害物検出手段により検出された自車両周辺の障害物のうち、前記周辺状況確認手段の死角となる領域に存在する障害物については、表示情報として前記周辺状況確認手段の死角となる領域に障害物が存在することを報知するための死角報知情報を作成し、作成した死角報知情報を、前記周辺状況確認手段の端部領域上に重ねて表示させることを特徴とする請求項1又は2に記載の運転支援装置。
  5. 前記表示制御手段は、前記障害物検出手段により検出された自車両周辺の障害物の自車両に対する相対速度に応じて、前記障害物強調情報又は前記死角報知情報の表示形態を決定することを特徴とする請求項3又は4に記載の運転支援装置。
  6. 前記表示制御手段は、前記障害物検出手段により検出された自車両周辺の障害物の自車両に対する相対位置及び相対速度から算出される余裕度に応じて、前記障害物強調情報又は前記死角報知情報の表示形態を決定することを特徴とする請求項3又は4に記載の運転支援装置。
  7. 前記表示制御手段は、前記障害物検出手段により検出された自車両周辺の障害物についての表示情報として、前記障害物強調情報又は前記死角報知情報に加えて前記障害物の自車両に対する相対速度を表す相対速度情報を作成し、作成した相対速度情報を、前記障害物強調情報又は前記死角報知情報と共に前記周辺状況確認手段上に重ねて表示させることを特徴とする請求項3乃至6の何れかに記載の運転支援装置。
  8. 自車両が走行する道路の白線を検出する道路白線検出手段を備え、
    前記表示制御手段は、前記道路白線検出手段により検出された自車両が走行する道路の白線のうち、前記周辺状況確認手段で確認可能な領域に存在する道路白線について、当該道路白線を強調させるための道路白線強調情報を作成し、作成した道路白線強調情報を、前記周辺状況確認手段で確認される前記道路白線に対応付けて表示させることを特徴とする請求項1乃至7の何れかに記載の運転支援装置。
  9. ドライバの視点位置を推定する視点位置推定手段と、
    前記周辺状況確認手段の設置角度を検出する設置角度検出手段とを備え、
    前記表示制御手段は、前記視点位置推定手段により推定されたドライバの視点位置と、前記設置角度検出手段により検出された前記周辺状況確認手段の設置角度とに基づいて、前記周辺状況確認手段で確認可能な領域を特定することを特徴とする請求項3乃至8の何れかに記載の運転支援装置。
  10. 前記視点位置推定手段は、ドライバの着座するシートの位置および角度と、ヘッドレストの位置とに基づいて、ドライバの視点位置を推定することを特徴とする請求項9に記載の運転支援装置。
JP2004150169A 2004-05-20 2004-05-20 運転支援装置 Expired - Fee Related JP4586416B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004150169A JP4586416B2 (ja) 2004-05-20 2004-05-20 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004150169A JP4586416B2 (ja) 2004-05-20 2004-05-20 運転支援装置

Publications (2)

Publication Number Publication Date
JP2005332218A true JP2005332218A (ja) 2005-12-02
JP4586416B2 JP4586416B2 (ja) 2010-11-24

Family

ID=35486836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004150169A Expired - Fee Related JP4586416B2 (ja) 2004-05-20 2004-05-20 運転支援装置

Country Status (1)

Country Link
JP (1) JP4586416B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334566A (ja) * 2006-06-14 2007-12-27 Honda Motor Co Ltd 運転支援装置
JP2008140395A (ja) * 2006-12-04 2008-06-19 Harman Becker Automotive Systems Gmbh 車両の周囲の画像を処理するための装置および方法
JP2013031109A (ja) * 2011-07-29 2013-02-07 Clarion Co Ltd カメラシステム
WO2014158081A1 (en) * 2013-03-27 2014-10-02 Scania Cv Ab A system and a method for presenting information on a windowpane of a vehicle with at least one mirror
JP2014531799A (ja) * 2011-09-06 2014-11-27 ジャガー ランド ローバー リミテッドJaguar Land Rover Limited 車両および車両ドライバのための地形視覚化
WO2016151978A1 (ja) * 2015-03-26 2016-09-29 パナソニックIpマネジメント株式会社 画像処理装置、運転支援システム及び画像処理方法
KR20180041525A (ko) * 2016-10-14 2018-04-24 주식회사 만도 차량의 물체 트래킹 시스템 및 그 제어 방법
JP2018116516A (ja) * 2017-01-19 2018-07-26 トヨタ自動車株式会社 車両の注意喚起装置
JP2018129826A (ja) * 2018-03-12 2018-08-16 Tianma Japan株式会社 立体画像表示装置及び立体画像表示方法
US10237542B2 (en) 2014-04-24 2019-03-19 Nlt Technologies, Ltd. Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07223487A (ja) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用周囲状況表示装置
JP2000071877A (ja) * 1998-08-26 2000-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2000238594A (ja) * 1998-12-25 2000-09-05 Aisin Aw Co Ltd 運転支援装置
JP2000242896A (ja) * 1999-02-19 2000-09-08 Sony Corp モニタ装置
JP2002200936A (ja) * 2000-11-06 2002-07-16 Semiconductor Energy Lab Co Ltd 表示装置及び車両
JP2002335524A (ja) * 1999-09-20 2002-11-22 Matsushita Electric Ind Co Ltd 運転支援装置
JP2003339044A (ja) * 2002-05-20 2003-11-28 Nissan Motor Co Ltd 車両用周辺監視装置
JP2005231605A (ja) * 2004-02-23 2005-09-02 Equos Research Co Ltd 後方確認装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07223487A (ja) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用周囲状況表示装置
JP2000071877A (ja) * 1998-08-26 2000-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2000238594A (ja) * 1998-12-25 2000-09-05 Aisin Aw Co Ltd 運転支援装置
JP2000242896A (ja) * 1999-02-19 2000-09-08 Sony Corp モニタ装置
JP2002335524A (ja) * 1999-09-20 2002-11-22 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002200936A (ja) * 2000-11-06 2002-07-16 Semiconductor Energy Lab Co Ltd 表示装置及び車両
JP2003339044A (ja) * 2002-05-20 2003-11-28 Nissan Motor Co Ltd 車両用周辺監視装置
JP2005231605A (ja) * 2004-02-23 2005-09-02 Equos Research Co Ltd 後方確認装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334566A (ja) * 2006-06-14 2007-12-27 Honda Motor Co Ltd 運転支援装置
JP2008140395A (ja) * 2006-12-04 2008-06-19 Harman Becker Automotive Systems Gmbh 車両の周囲の画像を処理するための装置および方法
JP2013031109A (ja) * 2011-07-29 2013-02-07 Clarion Co Ltd カメラシステム
JP2014531799A (ja) * 2011-09-06 2014-11-27 ジャガー ランド ローバー リミテッドJaguar Land Rover Limited 車両および車両ドライバのための地形視覚化
US10063836B2 (en) 2011-09-06 2018-08-28 Jaguar Land Rover Limited Terrain visualization for a vehicle and vehicle driver
WO2014158081A1 (en) * 2013-03-27 2014-10-02 Scania Cv Ab A system and a method for presenting information on a windowpane of a vehicle with at least one mirror
US10237542B2 (en) 2014-04-24 2019-03-19 Nlt Technologies, Ltd. Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program
WO2016151978A1 (ja) * 2015-03-26 2016-09-29 パナソニックIpマネジメント株式会社 画像処理装置、運転支援システム及び画像処理方法
KR20180041525A (ko) * 2016-10-14 2018-04-24 주식회사 만도 차량의 물체 트래킹 시스템 및 그 제어 방법
JP2018116516A (ja) * 2017-01-19 2018-07-26 トヨタ自動車株式会社 車両の注意喚起装置
JP2018129826A (ja) * 2018-03-12 2018-08-16 Tianma Japan株式会社 立体画像表示装置及び立体画像表示方法

Also Published As

Publication number Publication date
JP4586416B2 (ja) 2010-11-24

Similar Documents

Publication Publication Date Title
JP4846426B2 (ja) 車両周囲監視装置
US10366611B2 (en) Parking support information display method and parking support device
JP6379779B2 (ja) 車両用表示装置
EP1878618B1 (en) Driving support method and apparatus
JP5345350B2 (ja) 車両の運転支援装置
JP6699646B2 (ja) 車両用表示制御装置
US9505346B1 (en) System and method for warning a driver of pedestrians and other obstacles
JP3358709B2 (ja) 車両用運転支援装置
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
JP5389002B2 (ja) 走行環境認識装置
JP5169884B2 (ja) ヘッドアップディスプレイ装置
JP3894322B2 (ja) 車両用視界モニタシステム
JP4715325B2 (ja) 情報表示装置
JP2017033347A (ja) 表示装置
JP4885793B2 (ja) 障害物監視装置
CN111247575A (zh) 车辆驾驶辅助系统、车辆驾驶辅助方法及车辆驾驶辅助程序
WO2017082067A1 (ja) 自動車用画像表示システム
WO2015163205A1 (ja) 車両用表示システム
WO2018235274A1 (ja) 駐車制御方法及び駐車制御装置
JP4586416B2 (ja) 運転支援装置
JPWO2018216184A1 (ja) 駐車制御方法及び駐車制御装置
JP2010076660A (ja) 車両用ミラー角調整装置
JP2008059178A (ja) 運転支援装置およびプログラム
JP2010211380A (ja) 運転支援装置および運転支援方法
JP2016031603A (ja) 車両用表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100823

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees