JP2008280026A - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- JP2008280026A JP2008280026A JP2007312736A JP2007312736A JP2008280026A JP 2008280026 A JP2008280026 A JP 2008280026A JP 2007312736 A JP2007312736 A JP 2007312736A JP 2007312736 A JP2007312736 A JP 2007312736A JP 2008280026 A JP2008280026 A JP 2008280026A
- Authority
- JP
- Japan
- Prior art keywords
- display
- vehicle
- image
- driver
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims 1
- 238000000034 method Methods 0.000 description 41
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 241000756122 Aristida purpurascens Species 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 206010047555 Visual field defect Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Abstract
【課題】運転者の身長、姿勢、座る位置に関わらず、表示装置の適切な位置に道路標示を表示することができる運転支援装置を提供する。
【解決手段】車両前方画像を取得し(S10)、その画像を解析して、画像から道路標示を抽出する(S20)。さらに、抽出した道路標示の車両に対する位置を算出する(S50)。また、運転者の目の位置も検出する(S100)。そして、道路標示の車両に対する位置と運転者の目の位置とに基づいて、ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、S20で抽出した道路標示を表示する。
【選択図】図2
【解決手段】車両前方画像を取得し(S10)、その画像を解析して、画像から道路標示を抽出する(S20)。さらに、抽出した道路標示の車両に対する位置を算出する(S50)。また、運転者の目の位置も検出する(S100)。そして、道路標示の車両に対する位置と運転者の目の位置とに基づいて、ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、S20で抽出した道路標示を表示する。
【選択図】図2
Description
本発明は、車両の運転操作を支援する装置に関し、特に、運転操作に有用な情報を表示することによって運転操作を支援する装置に関する。
地図の道路上の複数の地点に対して、運転者の視点から見た前方の区画線形状を予め記憶装置に記憶しておき、車両が区画線形状を記憶した地点を実際に走行するときに、ヘッドアップディスプレイ上に、運転者の視点から見た前方の区画線を表示する装置が知られている(たとえば、特許文献1)。この装置によれば、運転者は、視界不良時にも、ヘッドアップディスプレイに表示された区画線を参酌することによって、前方の区画線形状を認識することができる。
また、見通しの悪い交差点に進入する際に、現在走行している道路と交差する道路の画像を、ナビゲーション装置のディスプレイに表示させる運転支援装置も知られている(たとえば特許文献2)。
特開2000−211452号公報
特開2007−140992号公報
ところで、複数人が同一の車両を運転することは通常よくあることであり、運転者の身長が異なれば運転者の目の位置は変化し、運転者の視点から見た前方の区画線形状も変化する。また、同じ運転者であっても、座る位置や姿勢が異なれば運転者の視点から見た前方の区画線形状も変化する。しかし、特許文献1に記載の装置では、区画線をヘッドアップディスプレイ上のどの位置に表示するかは予め記憶されており、また、各走行位置における区画線形状も予め設定されている。そのため、運転者の身長や運転者の座る位置、運転者の姿勢によっては、ヘッドアップディスプレイに表示される区画線が、実際の区画線から大きくずれてしまうという問題がある。
また、区画線以外にも、道路上には種々の道路標示が描かれており、それらも運転操作に役立つのであるが、特許文献1において表示されるのは区画線のみであった。また、運転に際しては、道路標示以外にも、車両の外に存在する種々の物体の車両に対する位置を考慮しつつ運転する必要がある。しかし、上述のように、特許文献1において表示されるのは区画線のみであり、区画線以外は、車両の外に存在する物体は表示装置に表示されない。
なお、特許文献2の装置では、見通しの悪い交差点に進入する際、交差する道路の画像(すなわち、車外の画像)が表示されるようになっている。しかし、特許文献2の装置は、ナビゲーション装置のディスプレイにカメラ画像をそのまま表示するだけである。そのため、画像中にどのような物体が写っているか、その物体が実際にはどこに位置するのかなどを運転者が判断する必要がある。
本発明は、この事情に基づいて成されたものであり、その目的とするところは、運転者の身長、姿勢、座る位置に関わらず、表示装置の適切な位置に車外の物体を表示することができる運転支援装置を提供することにある。
その目的を達成するための請求項1に記載の発明は、車両の外に存在する物体を検出して、その検出した物体を車室内に設けられた表示装置に表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両周囲の所定範囲の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から所定の物体を抽出する抽出手段と、前記抽出手段が抽出した物体の車両に対する位置を決定する物体位置決定手段と、前記物体位置決定手段が決定した物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した物体を表示する表示制御手段とを含むことを特徴とする。
このように、上記発明では、運転者の目の位置を検出するとともに、カメラによって撮像された画像中の物体の車両に対する位置を決定し、それらに基づいて、表示装置に表示する物体の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者が見て適切な位置に車外の物体を表示することができる。
請求項2に記載の発明は、請求項1において、前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、前記カメラは、前記車両の前端または後端に設けられて車両側方を含む所定範囲を撮影するものであり、前記抽出手段は、前記車両が当該車両の進行方向に対して交差する方向の見通しが悪い状況で走行しているときに前記カメラによって撮影された画像を解析して、画像から移動物体を抽出するものであり、前記物体位置決定手段は、前記抽出手段が抽出した移動物体の車両に対する位置を決定し、前記表示制御手段は、前記物体位置決定手段が決定した移動物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した物体を表示することを特徴とする。
この請求項2記載の発明によれば、車両の進行方向に対して交差する方向の見通しが悪い状況において上記カメラによって撮影される画像には、運転者にとって死角となる範囲の画像が含まれており、抽出手段ではその画像から移動物体を抽出している。そして、その抽出した移動物体がヘッドアップディスプレイに表示されるので、運転者は、ヘッドアップディスプレイを見ることで、死角となる範囲に移動物体が存在することを認識できる。しかも、ヘッドアップディスプレイにおける移動物体の表示位置を決定するために運転者の目の位置を検出しており、その目の位置と車両に対する移動物体の位置とから移動物体の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者が実際に見た場合の位置と一致する位置に移動物体が表示される。従って、移動物体がどの程度車両に近い位置に存在しているのかを正確に知ることができる。その結果、その移動物体が死角から飛び出してくる危険性を正確に判断できる。
請求項3記載の発明は、請求項1における車外の物体を道路標示とした態様である。すなわち、請求項3に記載の発明は、運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両前方の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から道路標示を抽出する抽出手段と、前記抽出手段が抽出した道路標示の車両に対する位置を決定する道路標示位置決定手段と、前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した道路標示を表示する表示制御手段とを含むことを特徴とする。
このように、上記発明では、運転者の目の位置を実際に検出するとともに、実際の道路標示の車両に対する位置を決定し、それらに基づいて、表示装置に表示する道路標示の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、表示装置に表示される道路標示の位置が適切となる。
請求項4記載の発明は、前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、前記表示制御手段は、前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、前記抽出手段が抽出した道路標示を表示するものであることを特徴とする。
このように、請求項4記載の発明では、実際に検出した運転者の目の位置と、実際の道路標示の車両に対する位置とに基づいて、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なるように、ヘッドアップディスプレイ上に道路標示を表示している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者から見て、実際の道路標示とディスプレイ上の道路標示とが精度よく一致することになる。
上記運転支援装置は、視界が良好なときよりも視界不良時に特に有効である。そこで、請求項5記載のように、上記運転支援装置は、車両の前方の視界が不良か否かを判断する視界判断手段をさらに備え、前記表示制御手段は、前記視界判断手段によって視界が不良であると判断されたことに基づいて、前記抽出手段が抽出した道路標示をヘッドアップディスプレイに表示することが好ましい。このようにすれば、視界判断手段によって自動的に視界が不良か否かを判断しており、視界が不良と判断された場合には、自動的に抽出手段が抽出した道路標示をヘッドアップディスプレイに表示するので、視界不良時の運転操作が容易になる。
また、請求項6記載のように、抽出手段が抽出する道路標示として区画線が含まれることが好ましい。この場合には、ヘッドアップディスプレイ上において、運転者から見て、実際の区画線と重なる位置に、安全な運転操作に特に有用な区画線が表示されることになる。
また、請求項6記載のように、道路標示として区画線を表示する場合、さらに、請求項7記載のように、前記抽出手段は、前記画像から区画線上の複数の代表地点を抽出するものであり、前記道路標示位置決定手段は、前記抽出手段が抽出した複数の代表地点の車両に対する位置を決定するものであり、前記表示制御手段は、前記抽出手段が抽出した代表地点に基づいて、道路に沿って延びる区画線画像を作成して、運転者から見て、実際の区画線上の複数の前記代表地点とヘッドアップディスプレイ上の代表地点とが重なる位置に、前記区画線画像を表示することが好ましい。
このようにすれば、カメラによって撮像された画像から複数の代表地点が抽出できれば、ヘッドアップディスプレイに区画線画像を表示することができる。そのため、視界不良時にも区画線画像を表示できる場合が多くなる。
また、前記目的を達成するための請求項8に記載の発明は、運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両前方の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から予め設定された種類の道路標示または予め設定された種類の道路標識を抽出する抽出手段と、前記抽出手段が抽出した道路標示または道路標識に基づいて、走行中の実際の道路の所定位置に示された場合に運転を補助することが可能な運転補助情報を作成するとともに、その運転補助情報の実際の道路上の位置を決定する運転補助情報決定手段と、その運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記運転補助情報を表示する表示制御手段とを含むことを特徴とする。
このように、上記発明では、抽出手段において、カメラによって撮像された車両の前方の画像から予め設定された種類の道路標示または道路標識を抽出しており、運転補助情報決定手段では、それらに基づいて、走行中の実際の道路の所定位置に示された場合に運転を補助することが可能な運転補助情報を作成するとともに、その運転補助情報の実際の道路情報位置を決定している。そして、表示制御手段では、その運転補助情報を表示装置に表示しており、且つ、その表示位置は、運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて決定している。従って、表示装置には、運転者の身長、姿勢、座る位置が変化したとしても、適切な位置に運転補助情報が表示されることになるので、運転者は表示装置に表示された運転補助情報を参考にすることにより、安全な運転操作が可能となる。
請求項9記載の発明は、前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、前記表示制御手段は、前記運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、前記運転補助情報の実際の道路上の位置とヘッドアップディスプレイ上の表示位置とが重なる位置に、前記運転補助情報を表示するものであることを特徴とする。
このように、請求項9記載の発明では、ヘッドアップディスプレイに運転補助情報を表示しており、その運転補助情報の表示位置は、運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、ヘッドアップディスプレイ上において、運転者から見て、前記運転補助情報の実際の道路上の位置とヘッドアップディスプレイ上の表示位置とが重なる位置としている。従って、運転者の身長、姿勢、座る位置が変化したとしても、ヘッドアップディスプレイの適切な位置に運転補助情報が表示されることになるので、運転者はヘッドアップディスプレイに表示された運転補助情報を参考にすることにより、安全な運転操作が可能となる。
車両周囲を撮影するカメラの画像を解析して移動物体を抽出し、その抽出した移動物体をヘッドアップディスプレイに表示するとしても、表示位置が不適切であると適切な運転支援を行なうことができない。ヘッドアップディスプレイ上における移動物体の表示位置としては、前述の請求項2記載の態様が考えられる。しかし、次の請求項10の態様でもよい。
その請求項10記載の発明は、車両の外に存在する物体を検出して、その検出した物体を、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、運転者の注視点を検出する注視点検出手段と、車両周囲の所定範囲の画像を撮像するカメラと、前記カメラによって撮像された画像を解析して、画像から移動物体を抽出する抽出手段と、前記視線方向検出手段が検出した運転者の注視点に基づいて、前記ヘッドアップディスプレイ上において前記注視点へ向かう運転者の視線上に位置する表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した移動物体を表示する表示制御手段とを含むことを特徴とする。
このようにすれば、移動物体が画像から抽出された場合、運転者の注視点に移動物体が表示されることになる。そのため、運転者は、即座に移動物体の存在を認識することができる。
また、カメラによって車両周囲の画像を撮像し、その撮像した画像をヘッドアップディスプレイに表示することも考えられる。この場合、表示する位置によっては運転支援とはならず、却って運転の邪魔となってしまう恐れがある。そこで、請求項11のようにすることが好ましい。
その請求項11記載の発明は、車両周辺を撮像する車両周辺撮像装置を備え、その車両周辺撮像装置によって撮像した画像を、車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、運転者の目の位置を検出する目位置検出手段と、車両前方を撮像する車両前方撮像装置と、その車両前方撮像装置によって撮像された車両前方の画像を解析して、画像から遮蔽物領域を抽出する抽出手段と、前記抽出手段によって抽出された遮蔽物領域と前記目位置検出手段によって検出された運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て遮蔽物と重なる位置を表示可能範囲に決定して、その表示可能範囲に、前記車両周辺撮像装置によって撮像した画像を表示する表示制御手段とを含むことを特徴とする。
このように、車両周辺撮像装置によって撮像した画像を、ヘッドアップディスプレイ上において、運転者から見て遮蔽物と重なる位置に表示すれば、走行中の道路および交差する道路の状況を確認する際の妨げとならずに、車両周辺撮像装置によって撮像された画像を確認することができる。
(第1実施形態)
以下、本発明の実施の形態を図面に基づいて説明する。図1は、本発明の運転支援装置100の構成を示すブロック図である。なお、本実施形態の運転支援装置100はナビゲーション装置としての機能も備えている。
以下、本発明の実施の形態を図面に基づいて説明する。図1は、本発明の運転支援装置100の構成を示すブロック図である。なお、本実施形態の運転支援装置100はナビゲーション装置としての機能も備えている。
運転支援装置100は、位置検出器101、地図データ入力器106、操作スイッチ群107、リモコンセンサ108、操作リモコン109、送受信機110、メモリ111、表示装置112、音声認識ユニット113、スピーカ114、車両前方撮影装置115、運転者視点検出装置116、ヘッドアップディスプレイ117と、これら各装置が接続されたECU120とを備えている。
位置検出器101は、車両の絶対方位を検出するための地磁気センサ102、車両の相対方位を検出するためのジャイロスコープ103、車両の走行距離を検出する距離センサ104、および衛星からの電波に基づいて車両の位置を測定するグローバルポジショニングシステム(GPS)のためのGPS受信機105を有している。これらのセンサ等102、103、104、105は、いずれも周知のものである。これらのセンサ等102、103、104、105は各々が性質の異なる誤差を持っているため、複数のセンサ等102、103、104、105により各々を補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部で位置検出器101を構成してもよく、更に、図示しないステアリングの回転センサ、各転動輪の車速センサ等を用いてもよい。
地図データ入力器106は、たとえばDVD、CDなどの図示しないディスク型の記憶媒体が装着されるものであり、装着された記憶媒体からデジタル地図データが入力される。このデジタル地図データは、道路データ、背景データ、文字データおよび施設データなどのデータからなるものである。上記道路データには、交差点が見通しの悪い交差点であるか否かを示すデータが含まれている。そして、地図データ入力器106に入力されたデジタル地図データは、ECU120へ出力される。
操作スイッチ群107は、表示装置112と一体になったタッチスイッチもしくは表示装置112の周辺に設けられるメカニカルなスイッチ等からなる。操作リモコン109には、図示しない複数の操作スイッチが設けられ、その操作スイッチの操作により操作スイッチ群107と同様の入力操作が行える。操作リモコン109に入力された入力操作を表す信号は、リモコンセンサ108を介してECU120へ供給される。
メモリ111は、たとえば、メモリカードやハードディスク等の書き込み可能な記憶媒体である。このメモリ111には、ユーザによって設定された自宅位置や、テキストデータ、画像データ、音声データ等の各種データが記憶される。
表示装置112は、たとえば液晶ディスプレイ、有機ELディスプレイによって構成され、たとえば、経路案内のためにセンターコンソールに設けられる。また、計器類を表示する等のためにダッシュボードの運転席前方に設けられてもよい。
送受信機110は、外部と無線通信するための装置であり、道路に敷設されたビーコンや各地のFM放送局を介してVICS(Vehicle Information and Communication System)(登録商標)センタ200と接続可能であり、また、たとえば、携帯電話などの外部表示機器210にも接続可能である。VICSセンタ200は、道路交通情報、気象情報、日付情報、施設情報、広告情報を配信しており、これらの情報が送受信機110に受信される。送受信機110は受信した情報をECU120へ送信する。また、上記ECU120で処理した情報を送受信機110から出力することもできる。
音声認識ユニット113は、マイクおよびマイクに入力された音声を文字データとして認識する認識処理装置を備えたものであり、認識した文字データをECU120へ出力する。スピーカ114は、ECU120から入力された音声出力信号に基づき種々のメッセージを外部に出力する。このスピーカ114から出力されるメッセージとしては、経路案内のためのメッセージ、注意喚起メッセージ、画面操作説明のためのメッセージ、音声認識結果を表すメッセージなどがある。
車両前方撮影装置115はステレオカメラであり、車両前端部または車室内の上部などに設けられる。この車両前方撮影装置115は、ECU120からの指示に従って、車両前方の所定範囲を撮像し、撮像した画像のデータをECU120へ出力する。
運転者視点検出装置116は、目位置検出手段に相当するものであり、ステレオカメラとそのステレオカメラによって撮像された画像を解析する処理装置とからなる。この運転者視点検出装置116のステレオカメラは、運転者が前方を向いているときに運転者の顔が撮影可能な位置、たとえば、ルームミラーの側方などに設けられ、運転者の顔を含む画像データを処理装置へ出力する。処理装置は、供給された画像データを公知の認識処理手法によって解析して、画像内における運転者の目の位置を決定し、さらに、ステレオカメラを基準点とする運転者の目の位置を決定する。
ヘッドアップディスプレイ117は、車両のフロントガラスに映像を映し出す装置であり、本実施形態のヘッドアップディスプレイ117は、フロントガラスのほぼ全範囲にわたり表示が可能となっている。
ECU120は、通常のコンピュータであり、内部には周知のCPU、ROM、RAM、I/Oおよびこれらの構成を接続するためのバスラインを備えている。ROMには、ECU120が実行するためのプログラムが書き込まれており、このプログラムに従ってCPU等が所定の演算処理を実行する。
上記ECU120は、音声認識ユニット113からの情報に基づき、操作者の発声に対する所定の処理および操作スイッチ群107あるいは操作リモコン109の入力操作に対する所定の処理(たとえば、メモリ111への地図データの記憶処理、地図縮尺変更処理、メニュー表示選択処理、目的地設定処理、経路探索実行処理、経路案内開始処理、現在位置修正処理、表示画面変更処理、音量調整処理等)を実行する。また、ECU120で処理された経路案内メッセージ等はスピーカ114から適宜報知される。
ECU120は、上述した各種の処理を実行することに加えて、運転支援のための図2に示す運転支援処理を実行する。次に、この運転支援処理について説明する。なお、この運転支援処理は所定の短周期で繰り返し実行する。
図2において、まず、ステップS10では、車両前方撮影装置115によって車両前方画像を撮像させ、その車両前方画像を取得する。続くステップS20は、抽出手段および視界判断手段に相当する処理であり、ステップS10で取得した車両前方画像を公知の画像解析手法を用いて解析して、視界が不良の画像であるか否かを判断するとともに、画像内から予め設定された種類の道路標示および予め設定された種類の道路標識を抽出する。
視界が不良であるか否かの判断は、たとえば、画像全体に対して画素毎に微分演算によって輝度のエッジ量を算出して、そのエッジ量に基づいて行うことができる。視界が不良である場合には、画像が全体としてぼやけたものとなり、エッジ量が小さくなるからである。
また、このステップS20で抽出する道路標示には、規制標示に分類されるもの、指示標示に分類されるもの(停止線など)があり、また、区画線も含まれる。これらの道路標示を抽出するには、たとえば、ステップS10で取得した画像を二値化処理し、二値化処理後の画像から白色部分を抽出し、抽出した白色部分の形状からその形状が道路標示であるか、および、どの種類の道路標示であるかを判断することによって行う。
また、このステップS20で抽出する道路標識は、後述する基礎情報として利用できる道路標識である。道路標識の抽出は、予め記憶しておいた道路標識の形状が画像内に含まれるか否かに基づいて行う。
続くステップS30では、ステップS20における解析結果が視界不良であるか否かを判断する。この判断が否定判断である場合には、直接、ステップS60へ進む。一方、肯定判断である場合には、ステップS40へ進んで車両前方情報表示をオンに設定する。この車両前方情報表示がオンの場合、車両前方画像から抽出した道路標示をヘッドアップディスプレイ117に表示するモードとなる。
続くステップS50は道路標示位置決定手段に相当する処理であり、自車両を基準点として、ステップS20で抽出した道路標示が示されている位置を算出する。前述のように、車両前方撮影装置115はステレオカメラになっており、2つのカメラによってそれぞれ撮像される画像において、同一の道路標示が抽出される位置の違いから、道路標示が示されている位置を算出する。
なお、道路標示は点ではなく線状の図形であることから、ここでは、道路標示の位置を特定するのに十分なその道路標示上の複数の地点(以下、代表地点という)について、自車両を基準とした位置を算出する。従って、前述のステップS20において、道路標示全体を抽出するのではなく、上記複数の代表地点のみを抽出してもよい。この複数の代表地点は、区画線の場合には区画線上の一定間隔の点となるが、ステップS20において画像不良(視界不良)等の理由によって区画線が不連続にしか抽出されなかった場合には、代表地点間の間隔が一定でなくてもよい。
ステップS60では、ステップS20で抽出した道路標示に、基礎情報として設定されている道路標示が含まれているか否かを判断する。この基礎情報とは、その情報に基づいて(基礎として)運転補助情報を作成することができる情報であり、運転補助情報とは、実際の車両前方には存在しないが、走行中の道路に標示された場合には運転を補助することが可能な情報である。
たとえば、基礎情報としては、紅白の矢印型の固定式視線誘導柱(以下、矢羽根という)がある。この矢羽根は、除雪幅を示すとともに視線誘導標として用いられており、道路に沿って連続的に配置されている。また、各矢羽根は道路の上方の比較的高い位置において道路面に対して垂直に配置され、道路の幅方向における位置は略一定である。この矢羽根を基礎情報とする運転補助情報は、矢羽根から道路に向かって垂線を引いた時に、その垂線が道路と交差する点を利用して作成する道路端標示線である。
ステップS60が否定判断である場合には、直接、ステップS90へ進む。一方、肯定判断である場合には、ステップS70へ進んで運転補助情報表示をオンに設定する。この運転補助情報表示がオンの場合、運転補助情報をヘッドアップディスプレイ117に表示するモードとなる。
続くステップS80は運転補助情報決定手段に相当する処理であり、基礎情報に基づいて運転補助情報を作成するとともに、自車両を基準点として、その運転補助情報の実際の道路上の位置を算出する。前述の矢羽根を例にこのステップS80の処理を具体的に説明すると、まず、画像内において、矢羽根から道路に向かって垂線を引いた時に、その垂線が道路と交差する点を決定する。次いで、この点の実際の道路上の位置を算出する。これを画像から抽出された全ての矢羽根に対して実行する。これによって、道路に沿って連続する道路上の点の実際の位置が複数算出されることになる。次いで、それら複数の点間を直線でつなぐことにより、または、それら複数の点から近似曲線を作成することによって道路端標示線を作成する。
ステップS90では、車両前方情報表示および運転補助情報表示の少なくとも一方がオンに設定されているか否かを判断する。この判断が否定判断である場合には、本ルーチンを終了する。一方、肯定判断である場合には、ステップS100に進んで、運転者視点検出装置116によって運転者の目の位置を検出させ、運転者視点検出装置116から運転者の目の位置を示すデータを取得する。
続くステップS110乃至S120は表示制御手段としての処理であり、まず、ステップS110では、車両前方情報表示がオンの場合には、ステップS50で算出した道路標示の代表地点の位置とステップS100で取得した運転者の目の位置とを結ぶ直線を算出する。次いで、この直線と、フロントガラスを近似するものとして予め記憶してある複数の平面との交点を算出する。そして、ステップS20で抽出した道路標示のヘッドアップディスプレイ117上の表示位置を、この交点を通るように設定する。
図3は、区画線を例にして、このステップS110の処理を概念的に説明する図である。図3において、EがステップS100で取得した目の位置であり、P1〜P6がステップS50で算出した代表地点の位置である。この場合、直線L1〜L6が作成されることになるので交点Q1〜Q6が得られる。そのため、区画線のヘッドアップディスプレイ117上の表示位置は直線M1、M2になる。
さらに、ステップS110では、運転補助情報表示がオンの場合には、上述の道路標示の表示位置を算出したのと同様の方法により、ステップS80で作成した運転補助情報のヘッドアップディスプレイ117上の表示位置を算出する。
そして、ステップS120では、ステップS110で算出した表示位置に、ステップS20で抽出した道路標示を示す画像およびステップS80で作成した運転補助情報を示す画像を表示させるための表示信号をヘッドアップディスプレイ117に出力する。
図4は、ステップS120を実行した後のヘッドアップディスプレイ117を運転者が見た状態を例示する図である。図4に示すように、ヘッドアップディスプレイ117には、運転者から見て、実際の区画線と重なる位置に区画線を示す直線M1、M2が表示されている。
以上、説明した本実施形態によれば、運転者の目の位置を運転者視点検出装置116によって検出するとともに、実際の道路標示の車両に対する位置を算出しており、それらに基づいて、運転者から見て、実際の道路標示とヘッドアップディスプレイ117上の表示とが重なるように、ヘッドアップディスプレイ117上に道路標示を表示している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者から見て、実際の道路標示とディスプレイ上の道路標示とが精度よく一致することになる。
また、本実施形態によれば、ステップS20において視界が不良か否かを判断しており、視界が不良と判断した場合には、自動的に抽出した道路標示をヘッドアップディスプレイ117に表示しているので、視界不良時の運転操作が容易になる。
また、本実施形態によれば、区画線の複数の代表地点から、ヘッドアップディスプレイ117に表示する区画線を作成している。そのため、車両前方画像から複数の代表地点が抽出できれば、ヘッドアップディスプレイ117に区画線画像を表示することができる。そのため、視界不良時にも区画線画像を表示できる場合が多くなる。
また、本実施形態によれば、ヘッドアップディスプレイ117に、実際の車両前方には存在しないが運転を補助することが可能な運転補助情報を表示している。この運転補助情報の表示位置は、車両前方に実際に運転補助情報を表示するとした場合の位置と実際に検出した運転者の目の位置とに基づいて決定しており、運転者から見て、運転補助情報の実際の道路上の位置とヘッドアップディスプレイ117上の表示位置とが重なる位置としている。従って、運転者の身長、姿勢、座る位置が変化したとしても、ヘッドアップディスプレイ117の適切な位置に運転補助情報が表示されることになるので、運転者はヘッドアップディスプレイ117に表示された運転補助情報を参考にすることにより、安全な運転操作が可能となる。
(第2実施形態)
次に、第2実施形態を説明する。図5は、第2実施形態の運転支援装置300の構成を示すブロック図である。第2実施形態の運転支援装置300を第1実施形態の運転支援装置100と比較すると、第2実施形態の運転支援装置300は、車両周辺撮影装置121、リアウィンドシールドディスプレイ122をさらに備えている点、運転者視点検出装置116に代えて、第1運転者視点検出装置123と第2運転者視点検出装置124とを備えている点において、第1実施形態の運転支援装置100と異なる。また、ECU120が実行する運転支援処理の内容も一部相違する。
次に、第2実施形態を説明する。図5は、第2実施形態の運転支援装置300の構成を示すブロック図である。第2実施形態の運転支援装置300を第1実施形態の運転支援装置100と比較すると、第2実施形態の運転支援装置300は、車両周辺撮影装置121、リアウィンドシールドディスプレイ122をさらに備えている点、運転者視点検出装置116に代えて、第1運転者視点検出装置123と第2運転者視点検出装置124とを備えている点において、第1実施形態の運転支援装置100と異なる。また、ECU120が実行する運転支援処理の内容も一部相違する。
車両周辺撮影装置121は、車両前端に備えられて車両の左右の側方をそれぞれ撮影する2つのフロントカメラと、車両後端に備えられて車両の左右の側方をそれぞれ撮影する2つのバックカメラとを含んだ構成である。これらフロントカメラおよびバックカメラはいずれもステレオカメラである。また、これらフロントカメラおよびバックカメラの固定位置は、車両前端または後端であれば、車両幅方向の位置は特に制限はなく、車両の各コーナ部に備えられていてもよいが、この第2実施形態では車両の幅方向中心部に備えられている。
上記フロントカメラおよびバックカメラは、車両の前端または後端に備えられているので、車両の前後方向の中央部付近に位置している運転者の視界に、建造物の壁などの遮蔽物によって死角範囲が生じた場合に、その死角範囲を撮影することが可能である。
リアウィンドシールドディスプレイ122は、車両のリアウィンドを表示面としたヘッドアップディスプレイであり、リアウィンドのほぼ全範囲にわたり、映像表示が可能である。
第1運転者視点検出装置123は、構成および設置位置ともに第1実施形態の運転者視点検出装置116と同じである。第2運転者視点検出装置124は、構成は第1運転者視点検出装置123と同じであり、ステレオカメラとそのステレオカメラによって撮像された画像を解析する処理装置とからなるが、ステレオカメラの設置位置が相違する。第2運転者視点検出装置124のステレオカメラは、運転者が後方を見たときに運転者の顔が撮影可能な位置に設けられている。
次に、第2実施形態においてECU120が実行する運転支援処理を説明する。図6および図7は、その運転支援処理を示すフローチャートである。この運転支援処理は所定の短周期で繰り返し実行する。なお、第1実施形態と同一の処理には同一のステップ番号が付してある。
第2実施形態の運転支援処理においても、まず、ステップS10乃至S50を実行する。そして、ステップS50を実行後、または、ステップS30が否定判断となった場合、第1実施形態では、ステップS60を実行するが、第2実施形態では、ステップS60を実行する前にステップS52を実行する。
ステップS52では、バックカメラ表示条件が成立したか否かを判断する。この条件は、車両が後退中であることである。なお、運転席は車両前後方向の中心よりも車両前端寄りに位置しており、且つ、車両後退中は、運転者は振り返る姿勢で進行方向の左右を確認する必要があることから、車両の後退中は、車両前進中よりも、進行方向に対して交差する方向の見通しが悪い状況にあるといえる。そこで、このステップS52の判断が肯定判断であれば、ステップS54以降を実行して、後退中の運転支援処理を実行する。一方、ステップS52が否定判断であればステップS60へ進む。
ステップS54では、車両周辺撮影装置121のバックカメラをオンにする。そして、ステップS56では、バックカメラによって撮影された画像を解析して、画像中に移動物体が検出できた場合には、画像から移動物体を含む所定形状(たとえば矩形)の領域を抽出する。
そして、ステップS58において、自車両を基準点として、ステップS56で抽出した移動物体の位置を算出する。前述のように、バックカメラはステレオカメラになっており、略同一範囲を撮影する2つのバックカメラによってそれぞれ撮像される画像において、同一の移動物体が抽出される位置の違いから、移動物体の位置を算出する。なお、移動物体は点ではなく、ある大きさを持っているため、移動物体のどの部分の位置を算出するかが問題となるが、たとえば、画像において移動物体の重心となる点や、移動物体の輪郭上の複数点の位置を、移動物体の位置として算出する。また、ステップS58では、移動物体の位置を算出した場合には、情報表示をオンにする。ステップS58を実行後は、ステップ90(図7)へ進む。
ステップS52が否定判断であった場合には、ステップS60乃至S80を実行する。その後、図7のステップS82の判断を実行する。ステップS82では、位置検出器101によって逐次検出される現在位置および地図データ入力器106から入力される地図データに基づいて、現在位置が見通しの悪い交差点に進入する状況かどうかを判断する。
上記ステップS82の判断が肯定判断である場合にはステップS84へ進み、否定判断である場合にはステップS90へ進む。
ステップS84では、車両周辺撮影装置121のフロントカメラをオンにする。そして、ステップS86では、フロントカメラによって撮影された画像を解析して、画像中に移動物体が検出できた場合には、画像から移動物体を含む所定形状(たとえば矩形)の領域を抽出する。その後、ステップS88へ進む。
図8は、車両が見通しの悪い交差点に進入しようとする状況を例示している。この図8において、VAはフロントカメラの視野角を示している。また、この図8の例では、人310が交差点に向けて移動中である。
この図8から分かるように、人310はフロントカメラによって撮影された画像中に含まれることになる。図9は、その画像を概念的に示す図である。一方、車両の運転者は建物320が邪魔になって人310を見ることはできない。このような状況では、ステップS86において、人を含む画像領域330(図9参照)が抽出されることになる。
ステップS88では、自車両を基準点として、ステップS86で抽出した移動物体の位置を算出する。前述のように、フロントカメラもステレオカメラになっており、略同一範囲を撮影する2つのフロントカメラによってそれぞれ撮像される画像において、同一の移動物体が抽出される位置の違いから、移動物体の位置を算出する。なお、移動物体のどの部分の位置を算出するかは、ステップS58と同様である。また、ステップS88においても、移動物体の位置を算出した場合には、情報表示をオンにする。
ステップS90では、情報表示がオンに設定されているか否かを判断する。この判断が否定判断である場合には、本ルーチンを終了する。一方、肯定判断である場合には、ステップS100に進んで、第1運転者視点検出装置123または第2運転者視点検出装置124によって運転者の目の位置を検出させ、その第1または第2運転者視点検出装置123または124から運転者の目の位置を示すデータを取得する。
そして、ステップS112では、画像を表示すべきディスプレイがヘッドアップディスプレイ117であるか、リアウィンドシールドディスプレイ122であるかを決定して、且つ、表示すべき画像の表示位置を算出する。表示すべきディスプレイは、ステップS58にて情報表示がオンになった場合にはリアウィンドシールドディスプレイ122とし、それ以外はヘッドアップディスプレイ117とする。
表示すべき画像の表示位置は、車両前方情報表示がオンの場合、および、運転補助情報表示がオンの場合は、第1実施形態と同じ処理を実行する。フロントカメラまたはバックカメラにて移動物体を検出した場合には、次のようにして表示位置を算出する。すなわち、ステップS58またはS88で算出した移動物体の位置とステップS100で取得した運転者の目の位置とを結ぶ直線を算出する。次いで、この直線と、フロントウィンド(またはリアウィンド)を近似するものとして予め記憶してある複数の平面との交点を算出し、この交点を表示位置とする。
ステップS122では、ステップS112で算出した表示位置に、ステップS20、S58、S88で抽出した画像、または、ステップS80で作成した運転補助情報を示す画像を表示させるための表示信号をヘッドアップディスプレイ117またはリアウィンドシールドディスプレイ122に出力する。
このステップS122にて出力する表示信号の内容の例として、ステップS112にて、画像を表示すべきディスプレイをヘッドアップディスプレイ117に決定し、ステップS56で抽出した画像(移動物体を含む画像)を表示させる場合を説明する。この場合、表示信号の内容は、ステップS56で抽出した画像において、ステップS112の表示位置の算出に用いた点(重心点や輪郭上の点など)がそのステップS112で算出した表示位置となるように、ステップS56で抽出した画像を表示させることを指示する内容となる。
図10および図11は、上の例の表示信号が出力される前と後とを比較して示す図である。図10に示すように、車両が通行中の道路に交差する道路は、建物320に遮蔽されており、運転者からは死角範囲となっている。そのため、フロントガラスに画像が表示されていない状態では、死角範囲に人310がいることは分からない。しかし、図11に示すように、フロントガラスに人310を含む画像が表示されると、死角範囲に人310が存在することを認識できる。
しかも、本実施形態では、人310の表示位置を決定するために運転者の目の位置を検出しており、その目の位置と車両に対する人310の位置とから人310を含む画像の表示位置を決定している。そのため、運転者が変わったり、座る位置や姿勢が変化したとしても、運転者が実際に見た場合の位置と一致する位置に人310が表示される。従って、人310がどの程度車両に近い位置に存在しているのかを正確に知ることができる。その結果、運転者の死角範囲に存在する人310が、死角範囲から飛び出してくる危険性を正確に判断できる。
(第3実施形態)
次に、第3実施形態を説明する。図12は第3実施形態の運転支援装置400の構成を示すブロック図である。第3実施形態の運転支援装置400を第1実施形態の運転支援装置100と比較すると、第3実施形態の運転支援装置400は、車両前方撮影装置115を備えておらず、代わりに、第2実施形態と同じ車両周辺撮影装置121を備えている点において異なり、また、運転者視点検出装置116に代えて、注視点検出装置130を備えている点において異なる。また、ECU120が実行する運転支援処理の内容も相違する。
次に、第3実施形態を説明する。図12は第3実施形態の運転支援装置400の構成を示すブロック図である。第3実施形態の運転支援装置400を第1実施形態の運転支援装置100と比較すると、第3実施形態の運転支援装置400は、車両前方撮影装置115を備えておらず、代わりに、第2実施形態と同じ車両周辺撮影装置121を備えている点において異なり、また、運転者視点検出装置116に代えて、注視点検出装置130を備えている点において異なる。また、ECU120が実行する運転支援処理の内容も相違する。
注視点検出装置130は、運転者の顔を撮影するために車室内に固定されたカメラと、そのカメラによって撮像された画像を解析する処理装置とからなる。この注視点検出装置130における処理装置は、カメラによって撮像された画像を公知の注視点検出手法にて解析して、運転者の注視点すなわち運転者が見ている位置を検出する。
図13は、第3実施形態においてECU120が実行する運転支援処理を示すフローチャートである。この運転支援処理は所定の短周期で繰り返し実行する。なお、第3実施形態では、車両周辺撮影装置121の2つの左右のフロントカメラにて連続的に画像を撮像するとともに、撮像した画像を連続的に解析している。
まず、ステップS200では、上述のように連続的に画像を解析している結果、移動物体を検出したか否かを判断する。この判断が否定判断である場合には処理を終了する。一方、肯定判断である場合には、ステップS210へ進んで、移動物体を左右両方のフロントカメラで検出したか否かを判断する。この判断が否定判断である場合には、直接、ステップS230へ進む。一方、肯定判断である場合には、ステップS220へ進む。ステップS220では、注視点検出装置130を用いて運転者の注視点を検出する。その後、ステップS230へ進む。
ステップS230では、左右いずれのフロントカメラで検出した移動物体の画像をヘッドアップディスプレイ117に表示するかを決定する。前述のステップS210が否定判断である場合には、いずれか一方のフロントカメラのみに移動物体が写っているので、その移動物体が写っている側のフロントカメラの画像を、ヘッドアップディスプレイ117に表示する画像に決定する。一方、ステップS210が肯定判断である場合には、ステップS220で検出した注視点が車両幅方向中心線よりも右方向であるか左方向であるかを判断する。注視点が車両幅方向中心線よりも右方向であれば、右のフロントカメラの画像を表示する画像に決定し、反対に、注視点が車両幅方向中心線よりも左方向であれば、左のフロントカメラの画像を表示する画像に決定する。
続くステップS240では、ステップS230で決定した側のフロントカメラの画像から、移動物体を含む領域を切り出し領域に決定する。この切り出し領域の形状は、移動物体を含んでいればどのような形状でもよいが、ここでは矩形形状とする。
そして、ステップS250では、注視点検出装置130を用いて、運転者の注視点を検出する。なお、ステップS220を実行している場合には、ステップS220における検出結果を用いることにより、このステップS250を省略してもよい。
ステップS260では、ステップS250で検出した注視点に向かう運転者の視線を示す直線を算出する。さらに、その直線と、フロントウィンドを近似するものとして予め記憶してある複数の平面との交点を算出し、この交点を表示位置とする。なお、上記交点をステップS40で決定した切り出し領域のどの部分とするかが問題となるが、たとえば、重心とすることができる。また、移動物体において最も動きの激しい部分としてもよい。
ステップS270では、ステップS260で算出した表示位置に、ステップS240で決定した切り出し領域の画像を表示させるための表示信号をヘッドアップディスプレイ117に出力する。
ここで、第3実施形態においてヘッドアップディスプレイ117にどのような画像が表示されるかを具体例を用いて説明する。たとえば、左側のフロントカメラによって前述の図9に示す画像が撮像されたとする。また、同時に、右側のフロンカメラによって別の人が撮影されたとする。この場合、ステップS210が肯定判断となり、運転者の注視点を検出することになる。注視点が車両幅方向中心線よりも右側である場合、右側のフロントカメラの画像が、表示する画像に決定される。そして、右側のフロントカメラの画像から、人を含むように切り出し領域が決定される。図14は、この切り出し領域の画像の一例である。この切り出し領域の画像は、図15に示すように、運転者の注視点に表示されることになる。
このように、第3実施形態においては、移動物体が画像から抽出された場合、運転者の注視点に移動物体が表示されることになる。そのため、運転者は、即座に移動物体の存在を認識することができる。
(第4実施形態)
次に、第4実施形態を説明する。第4実施形態の運転支援装置は、機械的構成は図5に示す第2実施形態のものと同一であり、ECU120が実行する運転支援処置の内容が相違するのみである。
次に、第4実施形態を説明する。第4実施形態の運転支援装置は、機械的構成は図5に示す第2実施形態のものと同一であり、ECU120が実行する運転支援処置の内容が相違するのみである。
図16は、第4実施形態においてECU120が実行する運転支援処理を示すフローチャートである。この運転支援処理は所定の短周期で繰り返し実行する。なお、第4実施形態では、車両前方撮影装置115に備えられているカメラにて車両前方の所定範囲を連続的に撮像するとともに、車両周辺撮影装置121に備えられている左右のフロントカメラによっても連続的に画像を撮像している。
まず、ステップS300では、車両前方撮影装置115に備えられているカメラによって撮像された前方画像を解析して遮蔽物領域を抽出する。この遮蔽物領域は、前方画像において遮蔽物が写っている領域を忠実に示す必要はなく、前方画像において遮蔽物が写っている領域をはみ出さないように決定すればよい。また、遮蔽物領域の形状は四角形等に予め決定されていてもよい。前方画像から遮蔽物が写っている領域を抽出するための処理としては、たとえば、撮影時間が相前後する前方画像において車両の移動分から推定されるだけ移動している物体を遮蔽物であるとする。
続くステップS310では、運転者視点検出装置116によって運転者の目の位置を検出させ、運転者視点検出装置116から運転者の目の位置を示すデータを取得する。そして、ステップS320では、ステップS300で決定した遮蔽物領域の輪郭と、ステップS310で取得した運転者の目の位置とを結んでできる面と、フロントガラスを近似するものとして予め記憶してある複数の平面との交線によって画定されるフロントガラスの範囲を表示可能範囲とする。
続くステップS330では、ステップS320で決定した表示可能範囲内に入るように表示画像サイズを決定する。そして、ステップS340では、左右のフロントカメラによって撮像された画像を、ステップS320で決定したフロントガラスの表示可能範囲に、ステップS330で決定した表示画像サイズで表示させる信号をヘッドアップディスプレイ117に出力する。
図17は、ステップS340の実行によってフロントガラスに表示される表示例である。この図に示されるように、左右のフロントカメラによって撮像された画像は、運転者から見て壁(遮蔽物)に重畳する位置に表示される。従って、走行中の道路および交差する道路の状況を確認する際の妨げとならずに、フロントカメラによって撮像された画像を確認することができる。
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
たとえば、前述の第1実施形態では、車両前方画像を解析することによって視界不良を判断していたが、車外から天気情報を取得して、その取得した天気情報に基づいて視界不良を判断してもよい。また、ワイパの動作速度から視界不良を判断してもよい。また、乗員が視界不良と判断した場合に操作する入力装置を設け、その入力装置が操作されたことに基づいて視界不良を判断してもよい。
また、前述の実施形態では、フロントガラスを多数の平面で近似していたが、一つまたは複数の局面でフロントガラスを近似してもよい。
100:運転支援装置、 112: 表示装置、 115:車両前方撮影装置(カメラ)、 116:運転者視点検出装置(目位置検出手段)、 117:ヘッドアップディスプレイ、 120:ECU、 121:車両周辺撮影装置、 122:ウィンドシールドディスプレイ、 123:第1運転者視点検出装置、 124:第2運転者視点検出装置、 130:注視点検出装置、 300:運転支援装置、 310:人(移動物体)、 320:建物(遮蔽物)、 330:画像領域、 400:運転支援装置、 S20:抽出手段、視界判断手段、 S50:道路標示位置決定手段、 S80:運転補助情報決定手段、 S110、S120:表示制御手段、 P:代表地点
Claims (11)
- 車両の外に存在する物体を検出して、その検出した物体を車室内に設けられた表示装置に表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両周囲の所定範囲の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から所定の物体を抽出する抽出手段と、
前記抽出手段が抽出した物体の車両に対する位置を決定する物体位置決定手段と、
前記物体位置決定手段が決定した物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した物体を表示する表示制御手段とを含むことを特徴とする運転支援装置。 - 前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、
前記カメラは、前記車両の前端または後端に設けられて車両側方を含む所定範囲を撮影するものであり、
前記抽出手段は、前記車両が当該車両の進行方向に対して交差する方向の見通しが悪い状況で走行しているときに前記カメラによって撮影された画像を解析して、画像から移動物体を抽出するものであり、
前記物体位置決定手段は、前記抽出手段が抽出した移動物体の車両に対する位置を決定し、
前記表示制御手段は、前記物体位置決定手段が決定した移動物体の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した移動物体を表示する
ことを特徴とする請求項1に記載の運転支援装置。 - 運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両前方の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から道路標示を抽出する抽出手段と、
前記抽出手段が抽出した道路標示の車両に対する位置を決定する道路標示位置決定手段と、
前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した道路標示を表示する表示制御手段とを含むことを特徴とする運転支援装置。 - 請求項3において、
前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、
前記表示制御手段は、前記道路標示位置決定手段が決定した道路標示の車両に対する位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、実際の道路標示とヘッドアップディスプレイ上の表示とが重なる位置に、前記抽出手段が抽出した道路標示を表示するものであることを特徴とする運転支援装置。 - 請求項4において、
前記車両の前方の視界が不良か否かを判断する視界判断手段をさらに備え、
前記表示制御手段は、前記視界判断手段によって視界が不良であると判断されたことに基づいて、前記抽出手段が抽出した道路標示を前記表示装置に表示することを特徴とする運転支援装置。 - 請求項4または5において、
前記抽出手段が抽出する道路標示として区画線が含まれることを特徴とする運転支援装置。 - 請求項6において、
前記抽出手段は、前記画像から区画線上の複数の代表地点を抽出するものであり、
前記道路標示位置決定手段は、前記抽出手段が抽出した複数の代表地点の車両に対する位置を決定するものであり、
前記表示制御手段は、前記抽出手段が抽出した代表地点に基づいて、道路に沿って延びる区画線画像を作成して、運転者から見て、実際の区画線上の複数の前記代表地点とヘッドアップディスプレイ上の代表地点とが重なる位置に、前記区画線画像を表示することを特徴とする運転支援装置。 - 運転席前方に設けられた表示装置に車両前方に存在する道路標示を表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両前方の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から予め設定された種類の道路標示または予め設定された種類の道路標識を抽出する抽出手段と、
前記抽出手段が抽出した道路標示または道路標識に基づいて、走行中の実際の道路の所定位置に示された場合に運転を補助することが可能な運転補助情報を作成するとともに、その運転補助情報の実際の道路上の位置を決定する運転補助情報決定手段と、
その運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記表示装置上の表示位置を決定し、その決定した表示位置に前記運転補助情報を表示する表示制御手段とを含むことを特徴とする運転支援装置。 - 請求項8において、
前記表示装置が、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイであり、
前記表示制御手段は、前記運転補助情報決定手段が決定した運転補助情報の実際の道路上の位置と、前記目位置検出手段が検出した運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て、前記運転補助情報の実際の道路上の位置とヘッドアップディスプレイ上の表示位置とが重なる位置に、前記運転補助情報を表示するものであることを特徴とする運転支援装置。 - 車両の外に存在する物体を検出して、その検出した物体を、前記車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、
運転者の注視点を検出する注視点検出手段と、
車両周囲の所定範囲の画像を撮像するカメラと、
前記カメラによって撮像された画像を解析して、画像から移動物体を抽出する抽出手段と、
前記視線方向検出手段が検出した運転者の注視点に基づいて、前記ヘッドアップディスプレイ上において前記注視点へ向かう運転者の視線上に位置する表示位置を決定し、その決定した表示位置に前記抽出手段が抽出した移動物体を表示する表示制御手段とを含むことを特徴とする運転支援装置。 - 車両周辺を撮像する車両周辺撮像装置を備え、その車両周辺撮像装置によって撮像した画像を、車両のフロントガラスに画像を表示するヘッドアップディスプレイに表示する運転支援装置であって、
運転者の目の位置を検出する目位置検出手段と、
車両前方を撮像する車両前方撮像装置と、
その車両前方撮像装置によって撮像された車両前方の画像を解析して、画像から遮蔽物領域を抽出する抽出手段と、
前記抽出手段によって抽出された遮蔽物領域と前記目位置検出手段によって検出された運転者の目の位置とに基づいて、前記ヘッドアップディスプレイ上において、運転者から見て遮蔽物と重なる位置を表示可能範囲に決定して、その表示可能範囲に、前記車両周辺撮像装置によって撮像した画像を表示する表示制御手段とを含むことを特徴とする運転支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007312736A JP2008280026A (ja) | 2007-04-11 | 2007-12-03 | 運転支援装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007104196 | 2007-04-11 | ||
JP2007312736A JP2008280026A (ja) | 2007-04-11 | 2007-12-03 | 運転支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008280026A true JP2008280026A (ja) | 2008-11-20 |
Family
ID=40141194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007312736A Pending JP2008280026A (ja) | 2007-04-11 | 2007-12-03 | 運転支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008280026A (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010120617A (ja) * | 2008-11-24 | 2010-06-03 | Denso Corp | 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置 |
JP2010173619A (ja) * | 2009-02-02 | 2010-08-12 | Denso Corp | ヘッドアップディスプレイ装置 |
JP2010283722A (ja) * | 2009-06-08 | 2010-12-16 | Alpine Electronics Inc | 障害物検出装置および障害物検出方法 |
JP2011155390A (ja) * | 2010-01-26 | 2011-08-11 | Denso Corp | 車載表示装置 |
WO2012164704A1 (ja) * | 2011-06-01 | 2012-12-06 | パイオニア株式会社 | ヘッドアップディスプレイ、ヘッドアップディスプレイの画像表示方法及び画像表示プログラム |
WO2013088510A1 (ja) * | 2011-12-13 | 2013-06-20 | パイオニア株式会社 | 表示装置及び表示方法 |
JP2013216315A (ja) * | 2013-05-14 | 2013-10-24 | Denso Corp | 画像生成装置 |
JP2014037172A (ja) * | 2012-08-13 | 2014-02-27 | Alpine Electronics Inc | ヘッドアップディスプレイの表示制御装置および表示制御方法 |
JP2014054486A (ja) * | 2012-09-14 | 2014-03-27 | Fujitsu Ltd | 注視位置検出装置及び注視位置検出方法 |
JP2014534697A (ja) * | 2011-10-14 | 2014-12-18 | コンチネンタル オートモーティブ システムズ インコーポレイテッドContinental Automotive Systems, Inc. | 車両用のバーチャルディスプレイシステム |
JP2016004481A (ja) * | 2014-06-18 | 2016-01-12 | カルソニックカンセイ株式会社 | 車両用表示装置およびその表示方法 |
WO2016185563A1 (ja) * | 2015-05-19 | 2016-11-24 | 日立マクセル株式会社 | ヘッドマウントディスプレイ、ヘッドアップディスプレイ、及び映像表示方法 |
JPWO2017002209A1 (ja) * | 2015-06-30 | 2017-06-29 | 三菱電機株式会社 | 表示制御装置及び表示制御方法及び表示制御プログラム |
KR20180115140A (ko) * | 2017-04-12 | 2018-10-22 | 현대모비스 주식회사 | 차량/운행정보 통합 디스플레이 방법 및 장치 |
JP2019038373A (ja) * | 2017-08-25 | 2019-03-14 | 株式会社Subaru | 視認補助装置 |
JP2019038372A (ja) * | 2017-08-25 | 2019-03-14 | 株式会社Subaru | 画像表示装置 |
US20190217872A1 (en) * | 2018-01-17 | 2019-07-18 | Toyota Jidosha Kabushiki Kaisha | Display device for a vehicle |
CN113837027A (zh) * | 2021-09-03 | 2021-12-24 | 东风柳州汽车有限公司 | 辅助驾驶的感知方法、装置、设备及存储介质 |
WO2023189956A1 (ja) * | 2022-03-30 | 2023-10-05 | 株式会社小糸製作所 | 画像照射装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001084500A (ja) * | 1999-09-14 | 2001-03-30 | Sumitomo Electric Ind Ltd | 移動体の走行支援装置 |
JP2005067369A (ja) * | 2003-08-22 | 2005-03-17 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2005182306A (ja) * | 2003-12-17 | 2005-07-07 | Denso Corp | 車両用表示装置 |
JP2007041788A (ja) * | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 障害物判断装置及び方法 |
-
2007
- 2007-12-03 JP JP2007312736A patent/JP2008280026A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001084500A (ja) * | 1999-09-14 | 2001-03-30 | Sumitomo Electric Ind Ltd | 移動体の走行支援装置 |
JP2005067369A (ja) * | 2003-08-22 | 2005-03-17 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2005182306A (ja) * | 2003-12-17 | 2005-07-07 | Denso Corp | 車両用表示装置 |
JP2007041788A (ja) * | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 障害物判断装置及び方法 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010120617A (ja) * | 2008-11-24 | 2010-06-03 | Denso Corp | 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置 |
JP2010173619A (ja) * | 2009-02-02 | 2010-08-12 | Denso Corp | ヘッドアップディスプレイ装置 |
JP2010283722A (ja) * | 2009-06-08 | 2010-12-16 | Alpine Electronics Inc | 障害物検出装置および障害物検出方法 |
JP2011155390A (ja) * | 2010-01-26 | 2011-08-11 | Denso Corp | 車載表示装置 |
WO2012164704A1 (ja) * | 2011-06-01 | 2012-12-06 | パイオニア株式会社 | ヘッドアップディスプレイ、ヘッドアップディスプレイの画像表示方法及び画像表示プログラム |
JP2014534697A (ja) * | 2011-10-14 | 2014-12-18 | コンチネンタル オートモーティブ システムズ インコーポレイテッドContinental Automotive Systems, Inc. | 車両用のバーチャルディスプレイシステム |
WO2013088510A1 (ja) * | 2011-12-13 | 2013-06-20 | パイオニア株式会社 | 表示装置及び表示方法 |
JP2014037172A (ja) * | 2012-08-13 | 2014-02-27 | Alpine Electronics Inc | ヘッドアップディスプレイの表示制御装置および表示制御方法 |
JP2014054486A (ja) * | 2012-09-14 | 2014-03-27 | Fujitsu Ltd | 注視位置検出装置及び注視位置検出方法 |
JP2013216315A (ja) * | 2013-05-14 | 2013-10-24 | Denso Corp | 画像生成装置 |
JP2016004481A (ja) * | 2014-06-18 | 2016-01-12 | カルソニックカンセイ株式会社 | 車両用表示装置およびその表示方法 |
JPWO2016185563A1 (ja) * | 2015-05-19 | 2018-05-24 | マクセル株式会社 | ヘッドマウントディスプレイ、ヘッドアップディスプレイ、及び映像表示方法 |
WO2016185563A1 (ja) * | 2015-05-19 | 2016-11-24 | 日立マクセル株式会社 | ヘッドマウントディスプレイ、ヘッドアップディスプレイ、及び映像表示方法 |
US10365490B2 (en) | 2015-05-19 | 2019-07-30 | Maxell, Ltd. | Head-mounted display, head-up display and picture displaying method |
JPWO2017002209A1 (ja) * | 2015-06-30 | 2017-06-29 | 三菱電機株式会社 | 表示制御装置及び表示制御方法及び表示制御プログラム |
DE112015006662T5 (de) | 2015-06-30 | 2018-05-03 | Mitsubishi Electric Corporation | Anzeigesteuervorrichtung, anzeigesteuerverfahren und anzeigesteuerprogramm |
KR20180115140A (ko) * | 2017-04-12 | 2018-10-22 | 현대모비스 주식회사 | 차량/운행정보 통합 디스플레이 방법 및 장치 |
KR102339522B1 (ko) * | 2017-04-12 | 2021-12-16 | 현대모비스 주식회사 | 차량/운행정보 통합 디스플레이 방법 및 장치 |
JP2019038373A (ja) * | 2017-08-25 | 2019-03-14 | 株式会社Subaru | 視認補助装置 |
JP2019038372A (ja) * | 2017-08-25 | 2019-03-14 | 株式会社Subaru | 画像表示装置 |
JP7037896B2 (ja) | 2017-08-25 | 2022-03-17 | 株式会社Subaru | 視認補助装置 |
US20190217872A1 (en) * | 2018-01-17 | 2019-07-18 | Toyota Jidosha Kabushiki Kaisha | Display device for a vehicle |
US11117595B2 (en) * | 2018-01-17 | 2021-09-14 | Toyota Jidosha Kabushiki Kaisha | Display device for a vehicle |
CN113837027A (zh) * | 2021-09-03 | 2021-12-24 | 东风柳州汽车有限公司 | 辅助驾驶的感知方法、装置、设备及存储介质 |
WO2023189956A1 (ja) * | 2022-03-30 | 2023-10-05 | 株式会社小糸製作所 | 画像照射装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008280026A (ja) | 運転支援装置 | |
EP3496069B1 (en) | Travel assistance device and computer program | |
US11511627B2 (en) | Display device and computer program | |
JP4981566B2 (ja) | 運転支援装置および運転支援方法 | |
US20100131190A1 (en) | Navigation apparatus | |
JP2005202678A (ja) | 走行支援装置 | |
JP4946682B2 (ja) | 車両用走行支援装置 | |
JP2006240449A (ja) | 運転支援装置 | |
JP5017242B2 (ja) | 視覚支援装置 | |
JP2009029203A (ja) | 運転支援装置 | |
JP2009211624A (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
KR20080020956A (ko) | 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템 | |
JP2014120111A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP2010026618A (ja) | 車載用ナビゲーション装置及び交差点進入案内方法 | |
JP4797849B2 (ja) | 運転支援画像表示システム及び車載装置 | |
JP2014120114A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP2010134640A (ja) | 情報取得装置 | |
JP6136238B2 (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP2007323333A (ja) | 車両用表示装置、自動車及び運転支援情報表示方法 | |
JP2018173399A (ja) | 表示装置及びコンピュータプログラム | |
JP5156307B2 (ja) | 車載カメラシステム | |
JP2005202787A (ja) | 車両用表示装置 | |
JP2007069756A (ja) | 車両用入力操作規制装置 | |
JP2014120113A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP2008090654A (ja) | 運転操作支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121016 |