JP2008230296A - 車両用運転支援システム - Google Patents

車両用運転支援システム Download PDF

Info

Publication number
JP2008230296A
JP2008230296A JP2007069022A JP2007069022A JP2008230296A JP 2008230296 A JP2008230296 A JP 2008230296A JP 2007069022 A JP2007069022 A JP 2007069022A JP 2007069022 A JP2007069022 A JP 2007069022A JP 2008230296 A JP2008230296 A JP 2008230296A
Authority
JP
Japan
Prior art keywords
image
driver
camera
head
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007069022A
Other languages
English (en)
Inventor
Masatomo Sumimoto
雅友 隅本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2007069022A priority Critical patent/JP2008230296A/ja
Publication of JP2008230296A publication Critical patent/JP2008230296A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】 ドライバーが、頭部や視線の向きにかかわらず、運転支援情報を視覚的に得ることができる運転支援システムを提供すること。
【解決手段】 運転支援システムは、ナビゲーション情報を提供するナビゲーションユニット40と、車両の外部を撮影する撮影カメラ31と、車両のドライバーの頭部に装着され運転支援情報を表示部に表示する頭部装着型表示装置20と、ナビゲーションユニット40から提供されるナビゲーション情報及び撮影された画像の少なくともいずれか一方に基づいて作成される画像を頭部装着型表示装置20に供給する画像処理部10とを備える。ここで、頭部装着型表示装置20の表示部22は、ドライバーの左右いずれか一方の眼前に設けられる。
【選択図】 図1

Description

本発明は、車両用運転支援システムに関する。
ナビゲーション装置などにより提供される運転支援情報は運転時の利便性向上に大きく役立っている。その一方で、そのような運転支援情報を車両のどの部分にどのようにして表示するとよいかが、車両走行における安全性の観点から問題となっている。
例えば、フロントウィンドウに運転支援情報を投影表示する技術が提案されている。しかし、ドライバーは運転中、絶えず顔の向きや視線を動かしているのであり、フロントウィンドウの情報表示部に視線を固定しているわけにはいかない。
これに対し、特許文献1,2は、頭部装着型表示装置(ヘッドマウントディスプレイ、以下「HMD」という。)に運転支援情報を表示することにより、ドライバーの頭の向きにかかわらずドライバーに運転支援情報を提供できるようにした技術が開示されている。とりわけ、特許文献1は、ドライバーの両目を覆う複眼タイプのHMDを開示し(特許文献1の図2を参照)、特許文献2は、ドライバーの片目側にのみ表示装置を有する一眼タイプのHMDを開示している(特許文献2の図3を参照)。
特開平7−294842号公報 特開2006−040123号公報
しかし、実際の運転環境を考慮した場合、特許文献1に開示された複眼タイプのHMDには、両画像の視差によりちらつきが発生しやすく、視認性に劣るという問題がある。
一方の一眼タイプのHMDは、複眼タイプのHMDに比べて軽量かつ装着性に優れる点で有利であろう。しかし、特許文献2の図3に開示されているHMDはドライバーの一方の眼の下部に表示部が位置する構成となっており、ドライバーが運転支援情報を見るためには、その表示部に視線を落とさなくてはならない。すなわち、特許文献2の技術によれば、HMDの採用によってドライバーは頭の向きにかかわらず運転支援情報を得ることはできるけれども、視線は表示部に移さないと運転支援情報を視認することはできないという問題を解決するには至っていない。
本発明は、ドライバーが、頭部や視線の向きにかかわらず、運転支援情報を視覚的に得ることができる運転支援システムを提供することを目的とする。
本発明の一側面によれば、ナビゲーション情報を提供するナビゲーション装置と、車両の外部を撮影する撮影カメラと、車両のドライバーの頭部に装着され運転支援情報を表示部に表示する頭部装着型表示装置と、前記ナビゲーション装置から提供されるナビゲーション情報及び前記撮影カメラにより撮影された画像の少なくともいずれか一方に基づいて作成される画像を前記頭部装着型表示装置に供給する画像処理手段とを備え、前記頭部装着型表示装置の前記表示部は、ドライバーの左右いずれか一方の眼前に設けられることを特徴とする運転支援システムが提供される。
この構成によれば、ドライバーは、頭部や視線の向きを運転方向から移さずに運転支援情報を視認することができる。
本発明の好適な実施形態によれば、前記頭部装着型表示装置の前記表示部は、ドライバーが該表示部の後方の眼によって該表示部越しの実像を視認可能に構成されている。
また、本発明の好適な実施形態によれば、前記頭部装着型表示装置の位置姿勢を検出する検出手段と、ドライバーの視線方向を推定する推定手段とを更に備え、前記画像処理手段は、前記撮影カメラにより撮影された画像を、ドライバーの視点から視認される実像と同じ方向、大きさとなるように、前記検出手段により検出された前記頭部装着表示装置の位置姿勢及び前記推定手段により推定されたドライバーの視線方向に基づき変換する変換手段を有し、前記頭部装着表示装置は、前記変換手段により変換された画像を前記表示部に表示することが好ましい。
この構成によれば、違和感のない画像を提供することができる。
また、本発明の好適な実施形態によれば、ドライバーの顔画像を撮影する顔画像撮影カメラを更に備え、前記推定手段は、前記検出手段により検出された前記頭部装着表示装置の位置姿勢に基づいてドライバーの顔の向きを推定する第1推定手段と、前記顔画像撮影カメラにより撮影されたドライバーの顔画像に基づいて前記第1推定手段が推定した顔の向きに対する視線方向を推定する第2推定手段とを有することが好ましい。
この構成によれば、簡易にドライバーの視線方向を推定することができる。
また、本発明の好適な実施形態によれば、前記画像処理手段は、前記撮影カメラにより撮影された画像から高危険度対象物を抽出する抽出手段と、前記抽出手段が抽出した前記高危険度対象物に識別マークを重畳した画像を、前記頭部装着表示装置に供給する手段とを有することが好ましい。
また、本発明の好適な実施形態によれば、前記抽出手段は、熟練ドライバーの注視行動に基づくモデル、例えばニューラルネットワークや教科学習、を利用して、前記撮影カメラにより撮影された画像から高危険度対象物を抽出することが好ましい。
また、本発明の好適な実施形態によれば、前記撮影カメラは、赤外線カメラであるとよい。また、前記撮影カメラは、ドライバーの視線に対する死角の画像を撮影することが好ましい。
また、本発明の好適な実施形態によれば、前記画像処理手段は、前記撮影カメラにより撮影された画像に高輝度物体が含まれる場合に、該画像の輝度分布の平滑化を行う分光補正手段を更に有するとよい。
また、前記画像処理手段は、前記撮影カメラにより撮影された画像に高速移動物体が含まれる場合に、該移動物体の予測位置を算出し、該予測位置に該移動物体を描画する追従遅れ補正手段を更に有するとよい。
また、前記画像処理手段は、前記撮影カメラにより撮影された画像における、該撮影カメラのレンズ特性に依存して生じる歪みを補正するレンズ歪み補正手段を更に有するとよい。
本発明によれば、ドライバーは頭部や視線の向きにかかわらず、運転支援情報を視覚的に得ることができる。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
図1は、本実施形態に係る運転支援システムの基本構成を示す図である。
図1において、10は画像処理部で、典型的には、図示しないCPU,RAM,ROM等を備えるコンピュータシステムで構成され、図示された画像処理部10内の各ブロックで示される処理が、CPUによって実行される。
本システムは、例えばドライバーズシートのバックレスト30の上部に車両前方に向けて設けられる第1前方撮影カメラ31、例えばインストルメントパネルの上部に車両前方に向けて設けられる第2前方撮影カメラ32、例えばフロントドア下部に車両外側斜め前方に向けて設けられ車両前方の死角を撮影する前方死角撮影カメラ33、例えばリヤダッシュボードの上部に車両後方に向けて設けられる後方死角撮影カメラ34を備え、これらは画像処理部10内のカメラ画像取得部11に接続されている。これらのカメラは、その組み合わせによって車両全周囲の画像を得る全方位カメラを構成することが好ましい。また、個々のカメラはより広い範囲の画像を得るために超広角レンズを備えていることが好ましい。また、第2前方撮影カメラ32、前方死角撮影カメラ33、及び後方死角撮影カメラ34はそれぞれ、夜間撮影も行えるよう、赤外線カメラ(暗視カメラ)であることが望ましい。さらに、照度センサ35が設けられ、この照度センサ35の出力もカメラ画像取得部11に供給される。
20はドライバーDの頭部に装着されるHMDである。このHMDは、図2に示されるような、一眼タイプのHMDで、装着したドライバーの左右いずれか一方の眼の前部に位置する表示部22を有している。この表示部22はシースルー機能を備え、ドライバーは、この表示部22の後方の眼によって表示部22越しの実像を視認可能であるとともに、そこにナビゲーション情報等の情報画像を重畳表示することができる。また、そのようなシースルー機能をオフして、上記したカメラが撮影したカメラ画像に、ナビゲーション情報(運転支援情報)等の情報画像が重畳された複合現実空間画像を表示することもできる。本実施形態では、この表示部22に表示する画像は画像処理部10によって生成される。図3に示されるように、このHMD20を装着したドライバーDは、HMD20がかからない方の眼によってSで示される領域を直接視認する一方、HMD20がかかる他方の眼によって、Sの領域の画像とマッチする複合現実空間画像を視認することができる。
車室内の所定位置(例えば、ドライバーズシート上方のルーフトリム)には検出手段としての位置センサ36が設けられている。この位置センサ36は例えば磁気センサ等で構成され、HMD20の位置姿勢を示す信号を出力するように構成されている。なお、この位置姿勢を示す信号には、位置センサ36を基準とする位置(x,y,z)及び姿勢(roll, pitch, yaw)のパラメータが含まれる。位置センサ36が出力するHMD20の位置姿勢を示す信号は画像処理部10内の視線方向推定部14に入力される。
画像処理部10は、カメラキャリブレーションによって、予め位置センサ36の位置に対する、第1及び第2前方撮影カメラ31,32、前方死角撮影カメラ33、後方死角撮影カメラ34の位置関係を保持しているものとする。よって、画像処理部10は位置センサ36より入力した信号に基づき、第1及び第2前方撮影カメラ31,32、前方死角撮影カメラ33、後方死角撮影カメラ34と、HMD20との位置関係を求めることが可能である。
HMD20には、このHMD20を装着しているドライバーの顔画像を撮影する顔画像撮影カメラ21も取り付けられている。この顔画像撮影カメラ21が撮影したドライバーの顔画像データは、画像処理部10内の視線方向推定部14に供給される。もっとも、この顔画像撮影カメラ21は、HMD20に一体的に取り付けるかわりに、車両のダッシュボード等に取り付けるようにしてもよい。
なお、画像処理部10とHMD20との接続、具体的には、視線方向推定部14と顔画像撮影カメラ21との接続、並びに、画像合成部18と表示部22との接続は、それぞれ、有線でもよいし無線でもよい。
本システムは更に、GPS信号を受信して地図データに基づき経路情報、交通情報等(ナビゲーション情報)を提供するナビゲーションユニット40、車速センサ等の各種センサ類を含む車両状態センサ50を備えている。
画像処理部10は、カメラ画像取得部11及び視線方向14の他に、取得した画像のレンズ歪み(収差)を補正するレンズ歪み補正部12、画像の幾何変換及び画像切り出しを行う幾何変換・切り出し部13、画像の描画位置及びサイズを算出する描画位置・サイズ算出部15、カメラ画像の加工を行うカメラ画像加工処理部16、ナビゲーションユニット40及び車両状態センサ50から入力したデータに基づきナビゲーション情報等の情報画像を作成する情報画像作成部17、及び画像合成部18を備えている。ナビゲーションユニット40及び車両状態センサ50は、画像処理部10の情報画像作成部(2D画像作成部)17に接続されている。
図4は、本実施形態における画像処理部10によるHMD20の画像表示制御処理を示すフローチャートである。
カメラ画像取得部11は、第1及び第2前方撮影カメラ31,32、前方死角撮影カメラ33、後方死角撮影カメラ34からそれぞれ画像データを受信するとともに、照度センサ35からの出力データを順次受信している(ステップS1)。またこれと並行して、視線方向推定部14は、位置センサ36からのHMD20の位置姿勢を示す信号及び、顔画像撮影カメラ21からの顔画像データを受信している(ステップS2)。視線方向推定部14は、位置センサ36からのHMD20の位置姿勢を示す信号からドライバーの顔の向きを推定するとともに、顔画像撮影カメラ21からの顔画像データに基づき、ドライバーの顔の肌領域と瞳領域との像域分離を行いその結果から顔の向きに対する視線方向を推定する。そして、これらの結果から、基準である位置センサ36に対する視線方向を推定する。
上記ステップS1では、例えば、推定された視線方向が車両前方と判断され、照度センサ35からの受信データに基づき照度が所定値より明るいと判断される場合には、第1前方撮影カメラ31と前方死角撮影カメラ33の画像データを取得する。また、推定された視線方向が車両前方と判断され、照度は上記所定値以下に暗いと判断される場合には、第2前方撮影カメラ(赤外線カメラ)32の画像データを取得する。また、推定された視線方向が車両後方と判断されたときは、後方死角撮影カメラ34の画像データを取得する。
次に、レンズ歪み補正部12は、ステップS1で取得した画像データに対して、当該画像データを取得したカメラのレンズ特性に依存して生じる歪み(収差)を補正する(ステップS3)。この補正は例えば、カメラキャリブレーションによって得られる、位置センサ36の位置に対する当該画像データを取得したカメラの位置を示すカメラ内部パラメータに基づいて行われる。
一方、視線方向推定部14は、ステップS2で受信した位置センサ36からのHMD20の位置姿勢を示す信号に基づいて、HMD20の位置姿勢データを、予め行われた位置キャリブレーションによって得られる、センサ・HMD補正パラメータに基づいて補正する(ステップS4)。
次に、幾何変換・切り出し部13は、ステップS3で得られたレンズ歪み補正後の画像データの、HMD20の表示領域に合わせた画像の切り出し及び幾何変換を行う(ステップS5)。具体的には例えば、図8に示すように、ステップS3で得られたレンズ歪み後の画像データから、その画像が、ドライバーの視点から視認される現実空間像Sと同じ方向、大きさになるように、HMD20の位置センサ36に対する位置姿勢及び視線方向推定部14が推定した視線方向に合わせて必要な画像領域を切り出し、アフィン変換を行う。
次に、カメラ画像加工処理部16は、ステップS5での処理後の画像データに対して、グレア対策として、高輝度の物体を認識して、分光画像処理し、輝度分布を平滑にして違和感や不快がないように調光する、分光補正処理を行う(ステップS6)。なお、グレアには、眼球内での光の散乱の程度が増加し、これによって対象物が見えにくくなる減能グレアと、視野内に高輝度の物体があるときに不快に感じやすくなる不快グレアとがあり、両者とも一般に加齢とともに増大する。ステップS6の分光補正処理はこのようなグレアに対処するものである。
図5は、このステップS6の分光補正処理の一例を示すフローチャートである。まず、ステップS5での処理後の画像データに対して、輝度分布分析を行う(ステップS61)。そして、得られた輝度分布に基づいて高輝度物体が存在するかどうかを判定し(ステップS62)、高輝度物体が存在する場合には輝度分布の平滑化を行う(ステップS63)。
次に、カメラ画像加工処理部16は、追従遅れ補正処理を行う(ステップS7)。これは、加齢により移動物を目で追う際の眼球運動が遅くなることに対処するものであり、その具体的処理例を図6のフローチャートに示す。
まず、入力した動画像データから移動物体を抽出し(ステップS71)、そこに高速移動物体が存在するかどうかを判定する(ステップS72)。ここで、高速移動物体が存在する場合には、その移動物体の移動方向、移動速度、及び位置を検出し(ステップS73)、その検出結果に基づいてその移動物体の予測位置を算出する(ステップS74)。その後、移動物体をその予測位置に描画する(ステップS75)。
次に、カメラ画像加工処理部16は、危険対象物検出処理を実行する(ステップS8)。この処理の具体例を図7のフローチャートに示す。
まず、入力した画像データから、歩行者、他車両等の対象物を抽出し(ステップS81)、抽出した対象物の配置パターンを抽出する(ステップS82)。次に、予めメモリに記憶してある熟練ドライバーの注視行動モデルを読み出す(ステップS83)。図9に熟練ドライバーの注視行動モデルの概念図を示す。そして、熟練ドライバーの注視行動モデルに基づくニューラルネットワークあるいは強化学習を構成し、これを利用して、ステップS82で抽出した対象物の配置パターンから、高危険度対象物を抽出する(ステップS84)。
高危険度対象物が抽出された場合にはその画像はカメラ画像としてHMD20の表示部22に表示されることになる。このとき、その画像が高危険度対象物としてドライバーに認知されやすいように、囲み枠線などの識別マークを重畳表示させるとよいであろう。
次に、描画位置・サイズ算出部15は、HMD20の表示部22に表示する2D画像の描画位置およびそのサイズを計算する(ステップS9)。また、情報画像作成部17は、ナビゲーションユニット40及び車両状態センサ50から入力したデータに基づいて作成したナビゲーション情報等の情報画像(2D画像)を作成する。このとき、情報画像作成部17は、ステップS7の追従遅れ補正処理において検出した高速移動物体についてその移動方向を示す矢印画像等を情報画像に含めるようにしても良い。
次に、画像合成部18は、カメラ画像をHMD20の表示部22に表示するかどうかを判断する(ステップS10)。例えば、次の少なくともいずれかの場合には、車両走行上の危険度が相対的に高い状況であり、カメラ画像をHMD20の表示部22に表示すると判断する。
(1)ステップS6の分光補正処理において、ステップS63の輝度分布平滑化が実行された場合。
(2)ステップS7の追従遅れ補正処理において、ステップS73〜S75の処理が実行された場合。
(3)ドライバーの視線方向に死角がある場合。
(4)照度が暗い場合。
画像合成部18は、ステップS10でカメラ画像をHMD20の表示部22に表示すると判断した場合は、ステップS9での計算結果に基づいて、上述のステップS5〜S8の処理で得られたカメラ画像と、情報画像作成部17がナビゲーションユニット40及び車両状態センサ50から入力したデータに基づいて作成したナビゲーション情報等の情報画像(2D画像)とを合成した画像を作成し(ステップS11)、その合成画像をHMD20の表示部22に表示する(ステップS12)。
一方、画像合成部18は、ステップS10でカメラ画像をHMD20の表示部22に表示しないと判断した場合は、情報画像作成部17がナビゲーションユニット40及び車両状態センサ50から入力したデータに基づいて作成したナビゲーション情報等の情報画像(2D画像)のみを描画して(ステップS13)、これをHMD20の表示部22に表示する(ステップS12)。このときのHMD20の表示部22はシースルー機能をオンとし、この表示部22越しの実像をドライバーに提供しつつ、情報画像をHMD20の表示部22に表示する(ステップS12)。
以上説明した画像処理部10によるHMD20の画像表示制御によって、ドライバーに視認される画像の例を図10に示す。
図10の(a)に示される画像において、自車前方には晴天時の空が大きく広がっており、不快グレアが発生しやすい状況である。これに対して、本実施形態では、ステップS6において分光補正処理が施され、輝度分布が平滑化されるので、眩しさが軽減される。
また、同じく(a)において、自車前方左方からバス80が横切るように移動中である。これに対しては、本実施形態では、ステップS7において追従遅れ補正が施され、移動物体であるバス80の位置が補正される。このとき、図示の如く移動方向を示す矢印マーク81を重畳表示するとよい。
図10の(b)では、ナビゲーション情報である「100m先右折」との文字表示及び、そのことを示す矢印による右折マーク82が重畳表示されている。(c)は、ステップS8の危険対象物抽出処理において先行車両が危険対象物と判定され、ドライバーの注意を喚起するために、それに囲み枠線が重畳表示されるとともに、「前方障害物」、「車間確保」とのメッセージが表示されている。この(c)の状態が所定時間経過しても解消されない場合には、(d)に示されるように、音声による警告メッセージを発するようにしてもよい。
ここで、(b)〜(d)に示されるような、ナビゲーション情報である右折マーク82は、ドライバーの視線方向に適合した位置や態様で表示されることが好ましい。一方、(d)に示すように、「5kM前方渋滞1KM」といったナビゲーション情報のうちの交通情報については、ドライバーの視線方向には関係なく、図示のように下方端部などの固定された位置で表示されればよいであろう。
実施形態に係る運転支援システムの基本構成を示す図である。 実施形態におけるHMDの例を示す図である。 実施形態におけるHMDを装着したドライバーに提供される複合現実空間の視野を説明する図である。 実施形態における画像処理部によるHMDの画像表示制御処理を示すフローチャートである。 実施形態における分光補正処理の一例を示すフローチャートである。 実施形態における追従遅れ補正処理の一例を示すフローチャートである。 実施形態における危険対象物抽出処理の一例を示すフローチャートである。 実施形態における幾何変換・切り出し部による処理を説明する図である。 熟練ドライバーの注視行動モデルの概念図である。 画像処理部によるHMDの画像表示制御によって、ドライバーに視認される画像の例を示す図である。
符号の説明
10 画像処理部
11 カメラ画像取得部
12 レンズ歪み補正部
13 幾何変換・切り出し部
14 視線方向推定部
15 描画位置・サイズ算出部
16 カメラ画像加工処理部
17 情報画像作成部
18 画像合成部
20 HMD
31 第1前方撮影カメラ
32 第2前方撮影カメラ
33 前方死角撮影カメラ
34 後方死角撮影カメラ
35 照度センサ
36 位置センサ
40 ナビゲーションユニット
50 車両状態センサ

Claims (13)

  1. ナビゲーション情報を提供するナビゲーション装置と、
    車両の外部を撮影する撮影カメラと、
    車両のドライバーの頭部に装着され運転支援情報を表示部に表示する頭部装着型表示装置と、
    前記ナビゲーション装置から提供されるナビゲーション情報及び前記撮影カメラにより撮影された画像の少なくともいずれか一方に基づいて作成される画像を前記頭部装着型表示装置に供給する画像処理手段と、
    を備え、
    前記頭部装着型表示装置の前記表示部は、ドライバーの左右いずれか一方の眼前に設けられることを特徴とする運転支援システム。
  2. 前記頭部装着型表示装置の前記表示部は、ドライバーが該表示部の後方の眼によって該表示部越しの実像を視認可能に構成されていることを特徴とする請求項1に記載の運転支援システム。
  3. 前記頭部装着型表示装置の位置姿勢を検出する検出手段と、
    ドライバーの視線方向を推定する推定手段と、
    を更に備え、
    前記画像処理手段は、前記撮影カメラにより撮影された画像を、ドライバーの視点から視認される実像と同じ方向、大きさとなるように、前記検出手段により検出された前記頭部装着表示装置の位置姿勢及び前記推定手段により推定されたドライバーの視線方向に基づき変換する変換手段を有し、
    前記頭部装着表示装置は、前記変換手段により変換された画像を前記表示部に表示する
    ことを特徴とする請求項1に記載の運転支援システム。
  4. ドライバーの顔画像を撮影する顔画像撮影カメラを更に備え、
    前記推定手段は、
    前記検出手段により検出された前記頭部装着表示装置の位置姿勢に基づいてドライバーの顔の向きを推定する第1推定手段と、
    前記顔画像撮影カメラにより撮影されたドライバーの顔画像に基づいて前記第1推定手段が推定した顔の向きに対する視線方向を推定する第2推定手段と
    を有することを特徴とする請求項3に記載の運転支援システム。
  5. 前記画像処理手段は、
    前記撮影カメラにより撮影された画像から高危険度対象物を抽出する抽出手段と、
    前記抽出手段が抽出した前記高危険度対象物に識別マークを重畳した画像を、前記頭部装着表示装置に供給する手段と、
    を有することを特徴とする請求項1から4までのいずれか1項に記載の運転支援システム。
  6. 前記抽出手段は、熟練ドライバーの注視行動に基づくモデルを利用して、前記撮影カメラにより撮影された画像から高危険度対象物を抽出することを特徴とする請求項5に記載の運転支援システム。
  7. 前記撮影カメラは、赤外線カメラであることを特徴とする請求項1から6までのいずれか1項に記載の運転支援システム。
  8. 前記撮影カメラは、ドライバーの視線に対する死角の画像を撮影することを特徴とする請求項1から6までのいずれか1項に記載の運転支援システム。
  9. 前記ナビゲーション装置により提供されるナビゲーション情報は、推定されたドライバーの視線方向に適合した態様で表示されることを特徴とする請求項1から8までのいずれか1項に記載の運転支援システム。
  10. 前記ナビゲーション情報は、前記頭部装着表示装置の前記表示部の固定された位置に表示されることを特徴とする請求項1から8までのいずれか1項に記載の運転支援システム。
  11. 前記画像処理手段は、前記撮影カメラにより撮影された画像に高輝度物体が含まれる場合に、該画像の輝度分布の平滑化を行う分光補正手段を更に有することを特徴とする請求項1から10までのいずれか1項に記載の運転支援システム。
  12. 前記画像処理手段は、前記撮影カメラにより撮影された画像に高速移動物体が含まれる場合に、該移動物体の予測位置を算出し、該予測位置に該移動物体を描画する追従遅れ補正手段を更に有することを特徴とする請求項1から11までのいずれか1項に記載の運転支援システム。
  13. 前記画像処理手段は、前記撮影カメラにより撮影された画像における、該撮影カメラのレンズ特性に依存して生じる歪みを補正するレンズ歪み補正手段を更に有することを特徴とする請求項1から12までのいずれか1項に記載の運転支援システム。
JP2007069022A 2007-03-16 2007-03-16 車両用運転支援システム Pending JP2008230296A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007069022A JP2008230296A (ja) 2007-03-16 2007-03-16 車両用運転支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007069022A JP2008230296A (ja) 2007-03-16 2007-03-16 車両用運転支援システム

Publications (1)

Publication Number Publication Date
JP2008230296A true JP2008230296A (ja) 2008-10-02

Family

ID=39903621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007069022A Pending JP2008230296A (ja) 2007-03-16 2007-03-16 車両用運転支援システム

Country Status (1)

Country Link
JP (1) JP2008230296A (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012101720A1 (en) * 2011-01-28 2012-08-02 Sony Corporation Information processing device, alarm method, and program
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012198149A (ja) * 2011-03-22 2012-10-18 Toshiba Corp 単眼ヘッドマウントディスプレイ
JP5632100B2 (ja) * 2011-11-24 2014-11-26 株式会社Nttドコモ 表情出力装置及び表情出力方法
WO2014188704A1 (ja) * 2013-05-21 2014-11-27 株式会社デンソー ドライバステータスモニタ
KR101526795B1 (ko) * 2014-03-19 2015-06-05 현대자동차주식회사 스마트 글래스, 그를 이용한 차량의 사각지대 표시 시스템 및 그 방법
KR101596762B1 (ko) * 2014-12-15 2016-02-23 현대자동차주식회사 스마트 안경을 이용한 차량 위치 안내 방법 및 이를 수행하는 장치
JP2016057814A (ja) * 2014-09-09 2016-04-21 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
KR101621876B1 (ko) 2014-12-16 2016-05-17 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 전조등 제어 방법 및 이를 수행하는 차량
KR20160088717A (ko) * 2015-01-16 2016-07-26 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
KR101657947B1 (ko) * 2015-04-30 2016-09-26 해성옵틱스(주) 오디오 비디오 브리징 시스템이 적용된 차량의 메뉴 제어 장치 및 방법
US9568735B2 (en) 2012-08-07 2017-02-14 Industry-University Cooperation Foundation Hanyang University Wearable display device having a detection function
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2017145645A1 (ja) * 2016-02-25 2017-08-31 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
EP3231668A1 (de) * 2016-04-14 2017-10-18 MAN Truck & Bus AG Fahrzeug, insbesondere nutzfahrzeug, mit einem spiegelersatzsystem
IT201600080989A1 (it) * 2016-08-02 2018-02-02 Andrea Carmagnola Dispositivo di visione periferica installabile su veicoli
CN108571961A (zh) * 2017-12-28 2018-09-25 苏州博田自动化技术有限公司 一种基于机器视觉的农机辅助驾驶导航方法及系统
JP2018181204A (ja) * 2017-04-20 2018-11-15 国立大学法人秋田大学 対象物推定装置
JP2018198422A (ja) * 2017-05-23 2018-12-13 トヨタ自動車株式会社 自律型車両向けの交通状況認知
US10593126B2 (en) 2016-02-18 2020-03-17 National University Corporation Nagoya University Virtual space display system
JP2020067593A (ja) * 2018-10-25 2020-04-30 キヤノン株式会社 撮像装置
JP2020080485A (ja) * 2018-11-13 2020-05-28 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
CN111284498A (zh) * 2018-12-10 2020-06-16 丰田自动车株式会社 驾驶支援装置、系统、方法、可穿戴装置以及存储介质
JP2021026720A (ja) * 2019-08-08 2021-02-22 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206789A (ja) * 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JPH10206787A (ja) * 1997-01-20 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JP2000175176A (ja) * 1998-12-04 2000-06-23 Hitachi Ltd 移動物体の監視方法および画像監視装置
JP2000347692A (ja) * 1999-06-07 2000-12-15 Sanyo Electric Co Ltd 人物検出方法、人物検出装置及びそれを用いた制御システム
JP2003271084A (ja) * 2002-03-15 2003-09-25 Omron Corp 情報提供装置および情報提供方法
JP2006135797A (ja) * 2004-11-08 2006-05-25 Matsushita Electric Ind Co Ltd 車両用周囲状況表示装置
JP2006186884A (ja) * 2004-12-28 2006-07-13 Sony Corp 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP2007004713A (ja) * 2005-06-27 2007-01-11 Canon Inc 画像処理方法、画像処理装置
JP2007049219A (ja) * 2005-08-05 2007-02-22 Denso Corp 車両用周囲監視装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206787A (ja) * 1997-01-20 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JPH10206789A (ja) * 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JP2000175176A (ja) * 1998-12-04 2000-06-23 Hitachi Ltd 移動物体の監視方法および画像監視装置
JP2000347692A (ja) * 1999-06-07 2000-12-15 Sanyo Electric Co Ltd 人物検出方法、人物検出装置及びそれを用いた制御システム
JP2003271084A (ja) * 2002-03-15 2003-09-25 Omron Corp 情報提供装置および情報提供方法
JP2006135797A (ja) * 2004-11-08 2006-05-25 Matsushita Electric Ind Co Ltd 車両用周囲状況表示装置
JP2006186884A (ja) * 2004-12-28 2006-07-13 Sony Corp 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
JP2007004713A (ja) * 2005-06-27 2007-01-11 Canon Inc 画像処理方法、画像処理装置
JP2007049219A (ja) * 2005-08-05 2007-02-22 Denso Corp 車両用周囲監視装置

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012101720A1 (en) * 2011-01-28 2012-08-02 Sony Corporation Information processing device, alarm method, and program
JP2012155654A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
CN102682571A (zh) * 2011-01-28 2012-09-19 索尼公司 信息处理装置、报警方法和程序
US10909759B2 (en) 2011-01-28 2021-02-02 Sony Corporation Information processing to notify potential source of interest to user
US9086566B2 (en) 2011-03-22 2015-07-21 Kabushiki Kaisha Toshiba Monocular head mounted display
JP2012198149A (ja) * 2011-03-22 2012-10-18 Toshiba Corp 単眼ヘッドマウントディスプレイ
JPWO2013077076A1 (ja) * 2011-11-24 2015-04-27 株式会社Nttドコモ 表情出力装置及び表情出力方法
JP5632100B2 (ja) * 2011-11-24 2014-11-26 株式会社Nttドコモ 表情出力装置及び表情出力方法
US9568735B2 (en) 2012-08-07 2017-02-14 Industry-University Cooperation Foundation Hanyang University Wearable display device having a detection function
WO2014188704A1 (ja) * 2013-05-21 2014-11-27 株式会社デンソー ドライバステータスモニタ
KR101526795B1 (ko) * 2014-03-19 2015-06-05 현대자동차주식회사 스마트 글래스, 그를 이용한 차량의 사각지대 표시 시스템 및 그 방법
JP2016057814A (ja) * 2014-09-09 2016-04-21 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
KR101596762B1 (ko) * 2014-12-15 2016-02-23 현대자동차주식회사 스마트 안경을 이용한 차량 위치 안내 방법 및 이를 수행하는 장치
CN106205177A (zh) * 2014-12-15 2016-12-07 现代自动车株式会社 使用智能眼镜提供车辆位置的引导的方法及其设备
US9730010B2 (en) 2014-12-15 2017-08-08 Hyundai Motor Company Method for providing guidance to location of vehicle using smart glasses and apparatus for carrying out the same
KR101621876B1 (ko) 2014-12-16 2016-05-17 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 전조등 제어 방법 및 이를 수행하는 차량
KR20160088717A (ko) * 2015-01-16 2016-07-26 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
KR101867915B1 (ko) * 2015-01-16 2018-07-19 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
US9977243B2 (en) 2015-01-16 2018-05-22 Hyundai Motor Company Method for executing vehicle function using wearable device and vehicle for carrying out the same
KR101657947B1 (ko) * 2015-04-30 2016-09-26 해성옵틱스(주) 오디오 비디오 브리징 시스템이 적용된 차량의 메뉴 제어 장치 및 방법
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10593126B2 (en) 2016-02-18 2020-03-17 National University Corporation Nagoya University Virtual space display system
JPWO2017145645A1 (ja) * 2016-02-25 2018-12-27 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
WO2017145645A1 (ja) * 2016-02-25 2017-08-31 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
CN108701415A (zh) * 2016-02-25 2018-10-23 富士胶片株式会社 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
JP6410987B2 (ja) * 2016-02-25 2018-10-24 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
US20180359429A1 (en) * 2016-02-25 2018-12-13 Fujifilm Corporation Driving assistance device, driving assistance method, and driving assistance program
US11025836B2 (en) 2016-02-25 2021-06-01 Fujifilm Corporation Driving assistance device, driving assistance method, and driving assistance program
EP3231668A1 (de) * 2016-04-14 2017-10-18 MAN Truck & Bus AG Fahrzeug, insbesondere nutzfahrzeug, mit einem spiegelersatzsystem
IT201600080989A1 (it) * 2016-08-02 2018-02-02 Andrea Carmagnola Dispositivo di visione periferica installabile su veicoli
JP2018181204A (ja) * 2017-04-20 2018-11-15 国立大学法人秋田大学 対象物推定装置
JP7007629B2 (ja) 2017-04-20 2022-01-24 国立大学法人秋田大学 対象物推定装置
JP2018198422A (ja) * 2017-05-23 2018-12-13 トヨタ自動車株式会社 自律型車両向けの交通状況認知
CN108571961A (zh) * 2017-12-28 2018-09-25 苏州博田自动化技术有限公司 一种基于机器视觉的农机辅助驾驶导航方法及系统
JP2020067593A (ja) * 2018-10-25 2020-04-30 キヤノン株式会社 撮像装置
JP7305330B2 (ja) 2018-10-25 2023-07-10 キヤノン株式会社 撮像装置
JP2020080485A (ja) * 2018-11-13 2020-05-28 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7163732B2 (ja) 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
CN111284498A (zh) * 2018-12-10 2020-06-16 丰田自动车株式会社 驾驶支援装置、系统、方法、可穿戴装置以及存储介质
JP2021026720A (ja) * 2019-08-08 2021-02-22 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム
CN112428988A (zh) * 2019-08-08 2021-03-02 本田技研工业株式会社 驾驶辅助装置、车辆的控制方法、以及存储介质
JP7158352B2 (ja) 2019-08-08 2022-10-21 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム

Similar Documents

Publication Publication Date Title
JP2008230296A (ja) 車両用運転支援システム
JP5099451B2 (ja) 車両周辺確認装置
KR101579098B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
US8330816B2 (en) Image processing device
KR101631439B1 (ko) 카메라, 및 이를 구비한 차량
JP6410987B2 (ja) 運転支援装置、運転支援方法、及び、運転支援プログラム
JP7014218B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2012169355A1 (ja) 画像生成装置
EP2455927A1 (en) Driving support device, driving support method, and program
JP5516998B2 (ja) 画像生成装置
US20110175752A1 (en) Methods and Apparatuses for Informing an Occupant of a Vehicle of Surroundings of the Vehicle
US20060262140A1 (en) Method and apparatus to facilitate visual augmentation of perceived reality
JP4702348B2 (ja) 車載画像表示装置
JP5093611B2 (ja) 車両周辺確認装置
WO2018146961A1 (ja) 車両用表示制御装置
KR102135857B1 (ko) 화상 표시 장치
JP6471522B2 (ja) カメラパラメータ調整装置
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
JP2010143411A (ja) ヘッドアップディスプレイ装置
JP2012105090A (ja) 駐車支援装置
JP4103518B2 (ja) 車載画像表示装置
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
JP2008285105A (ja) 情報表示装置
KR101428094B1 (ko) 차선이 표시된 측방/후방 영상 제공 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100115

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20101001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111115