JP2005135037A - 車両用情報提示装置 - Google Patents

車両用情報提示装置 Download PDF

Info

Publication number
JP2005135037A
JP2005135037A JP2003368217A JP2003368217A JP2005135037A JP 2005135037 A JP2005135037 A JP 2005135037A JP 2003368217 A JP2003368217 A JP 2003368217A JP 2003368217 A JP2003368217 A JP 2003368217A JP 2005135037 A JP2005135037 A JP 2005135037A
Authority
JP
Japan
Prior art keywords
driver
information
display
information presentation
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003368217A
Other languages
English (en)
Inventor
Takero Hongo
武朗 本郷
Masayuki Okuwa
政幸 大桑
Yuji Uchiyama
祐司 内山
Okombi Bertin
ベルタン オコンビ
Akio Ori
明男 小里
Hidemichi Koumatsu
秀倫 光松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2003368217A priority Critical patent/JP2005135037A/ja
Publication of JP2005135037A publication Critical patent/JP2005135037A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】運転者が情報の内容を既に認識している場合に引き続き情報を提示することによる煩わしさの低減を図るとともに、提示した情報の内容を確実に伝えることである。
【解決手段】車両の周囲の障害物に関する情報を赤外線カメラ111を介して周囲状況検出装置110により検出し、情報提示制御装置150は検出された周囲状況から運転者に提示する情報を選択して、情報表示装置160に警報を表示させる。運転者視認検出装置120は運転者の視線方向と表示位置等との照合により運転者の認知状態を推定し、運転者が表示された警報の内容を認識したと推定される場合に、該警報の表示方法を変更(輝度の低下、表示位置の変更、表示の停止等)する。
【選択図】 図1

Description

車両の周囲の情報を運転者に提示する車両用情報提示装置に関し、特に運転者が認識すべき走行環境中の対象についての情報を、煩わしさが少ないように運転者に提供する車両用情報提示装置に関する。
近年、車両の周囲状況を運転者に提示する車両用情報提示装置が開発されている。この車両用情報提示装置は、車両周囲に存在する物体(障害物、他の車両、歩行者等)の情報をセンサ等により検出し、検出された情報の中から、運転者に伝えるべき情報を選択して、その結果に基づいて、視覚的な表示や聴覚的な音声等によって運転者に情報を提示するシステムである。
このような車両用情報提示装置に採用される視覚的な情報提示手段としては、視認性の向上を図るための表示装置であるヘッドアップディスプレイ(HUD:Head−Up Display)がよく用いられている。ヘッドアップディスプレイは、運転者が前方から視線を離すことなく、各種の情報を同時に視認できるようにした表示装置であり、運転者の視野中心近傍に情報を表示できるため、インストルメントパネル内の表示等に比べて、視線移動量が小さくて済み、情報提示時の安全性を高めることができる。
このような、ヘッドアップディスプレイは、視認性が高く、特に運転者の視野内に表示されるため、表示された情報(警報等)を、既に運転者が認識している場合には、引き続きヘッドアップディスプレイに情報が表示された場合、表示を煩わしく感じる恐れがある。そこで、情報の提示が必要なときのみ適切に表示することが重要となる。
かかる点の対策としては、例えば、特許文献1に記載されているように、車両周囲の状況や車両の状態、天候などから、前方への必要な注意の度合いを判定し、ヘッドアップディスプレイの表示よりも前方への注意が必要な場合には、表示光が目立たないように、輝度を下げたり、表示位置を変更することにより、ヘッドアップディスプレイの表示による前方視界の妨げを低減するものが知られている。
さらに、ヘッドアップディスプレイの表示を、運転者の視点から前方の道路と重なるように配した重畳表示装置も考案されている。これによれば、さらに視点の移動が少なくなるとともに、実際の道路のどこに対応する情報かも容易に伝えることができるというメリットがあり、より安全で使いやすい表示となることが期待できる。しかしながら、実道路と重なることから、実像から運転者が情報を得ることの妨げにならないようにさらに慎重な配慮が必要となる。
また、特許文献2では、運転者の視点の情報から、新たな情報を提示する際、視点周辺の表示を消去してから提示することにより認知を促進する技術が述べられているが、認知した後の煩わしさによる干渉は考慮されていない。
また、特許文献3では、視線の方向を考慮して、より視認しやすい位置に提示することが検討されている。しかしながら、提示位置そのものが情報として意味のあるものについて視点の情報に基づいて提示の仕方を制御する方法については検討なされていない。
また、夜間の歩行者など、ドライバにとって認識しずらい対象物について、ドライバより先に検出できる障害物検出装置からの情報をドライバに伝えて、より遠くから、歩行者の存在を認知するのを支援する装置が検討されているが、ドライバにとって不要な情報が提供されると、煩わしさが増し、かえって運転の妨害になる可能性があり対策が必要となっている。
特許文献4では、検出された注視点を基準として、設定した所定範囲(視野範囲)内に相当する位置に存在するか否かに応じて、その障害物に関する情報提供の提供タイミングを遅延させたり、中止させたりして変更する。これによりドライバの視点が所定範囲内に相当する位置にあった場合、その障害物を認識している可能性が高いからその障害物の情報は、ドライバに提供されず、不要な提示を抑制している。しかし、視点が障害物の位置の近くにあっても、コントラストが低ければ知覚することは困難で、この場合は、ドライバが認識していないにもかかわらず、情報が提示されないという不都合が起こる。また、表示位置は、必ずしも障害物の位置である必要はなく、むしろ、前景から障害物を認識するのを妨げない位置におくこともありえるが、その場合、障害物の方向に視点があったかどうかでは、表示を認識したかどうかは判断がつかず、不適切な提示を行なうことになる。
特許文献5では、フォグランプスイッチまたはワイパースイッチの操作状態などの視認性判定手段を備え、これにより視認性が悪いと判断された時ほど、前記所定値を大きな値に変更することにより、視認性の悪いときにはより遠くの障害物まで表示する方法が示されている。さらに、可視画像のコントラストが所定値より小さいときには視認性が悪いと判断し、前記赤外線撮影装置により撮影された赤外線画像を、前記表示器に表示させることで、前方の視認性が悪いと推定したときには、状況によらず画像が自動的に表示するものが示されている。しかしながら、視点を移して障害物に関して提示した情報をドライバが受け取っても同じように情報が提示されつづけるので煩わしいという問題点が残っている。
特許文献6では、視認性が悪いときは視認性が良好なときに比して、警報が行われ易いようにしているので、視認性の良し悪しに関わらず注意喚起の警報がなされて煩わしい。また、視認性が悪いときにも警報がされるだけで、その物体が何なのかや存在位置の情報がドライバに提供されない。
特開平7−266925号公報 特開平7−325988号公報 特開2002−19491号公報 特開2001−357498号公報 特開2001−71843号公報 特開2000−251200号公報
警報のような重要度や緊急度の高い情報は運転者に確実に伝える必要があるが、運転者にその存在が伝わった後も、同じように表示を継続すると、その表示の持つ注意喚起のための刺激が逆効果になり、運転の妨げになる恐れがある。本発明は、このような従来技術の問題点に鑑みてなされたものであり、運転者が障害物に存在することを報知する場合には、ドライバの視点の位置に応じて、強く注意を喚起する表示を行い、注意を喚起できたと推定した場合には、注意喚起の程度の弱い表示に切り替えることで、不要な注意を喚起する煩わしさの低減を図るとともに、提示した情報の内容を確実に伝えることができる車両用情報提示装置を提供することを目的とする。
通常、夜間自動車をロービームで走行していると、黒い服をきた歩行者については、20〜40mと、停止に必要な距離に比べて近くならないと見つけることができない。赤外線カメラなどを用いることにより、ドライバが検出できる範囲より遠くの歩行者を検出できる技術が知られているが、この検出情報をドライバに提示することにより、夜間の運転をより安全にすることが求められる。ドライバに伝えるべき情報としては
(1)歩行者の存在
(2)歩行者の位置
(3)歩行者の動きの変化
が挙げられる。
このうち(1)については、歩行者の存在を予期していない可能性のあるドライバに、確実に伝えるには、注意を喚起する誘目性の強い提示を行なう必要があるが、逆に存在を認識している運転者に誘目性の強い提示を行なうことは、単に煩わしさをますばかりでなく、より重要な監視を妨げる危険があり、出来るだけ避けることが望ましい。また、(3)については、歩行者がより近い距離にいる状況であるから、よりすばやく対応することが求められており、そのための行動を促す提示を行なう必要があるが、これも(1)と同様、ドライバが認識している場合には逆の効果となる危険がある。(2)については、運転者は、道路や周辺の構造物などとの相対的な位置関係から、走行コースを計画するのに必要であるが、運転者はすでに、その存在は認識しているから、あえて、注意をひきつける誘目性の高い表示を行なう必要はない。また、距離が近づいて、直接視認できるようになれば、表示を継続する必要はないから運転者の混乱を招かないためにも不要な提示は抑制することが望ましい.
本願発明は、これらの障害物に関する情報提示に対する要求を満たすために行なったもので、(1)については、表示位置と、視点位置の間の視角(距離)が、所定値より小さいときには、表示に気がつく確率が高いことを利用して、ドライバの視線の動きをモニタし、表示位置と視点の位置とを照合することで、運転者が表示を認識したか否かを推定し、認識したと推定された場合には、歩行者の位置を提示する誘目性の低い(注意喚起の弱い)提示に切り替えることにより、煩わしさの低減、運転の妨げの防止を実現する。
この視点の位置と表示の位置を比較するとき、人間の眼の動きの特徴として、速い速度で視点の位置を動かしている状態(サッケード)では、眼からの情報を取り込むことが困難で、逆に、ある点近傍に視点がとどまっている停留状態のとき情報が取り込むことが出来るといわれている。したがって、視点の位置と表示の位置とを比較するよりは、視線の停留した点と表示の位置とを比較するほうがより正確に認識したかどうかの推定ができるという効果が得られる。
また、この注意を喚起する情報提示の時間については、長すぎると煩わしさが増し、短すぎると注意を喚起できないことが起こりうる。一般に提示されてから、その表示を知覚できるまでの時間は、およそ150msと言われているから、提示時間を150msとすることにより、ドライバが提示されたとわかった時点で、提示が終了されるから、煩わしさを感じるのを抑制することが出来る。
また、(2)についても、誘目性の低いたとえばコントラストの低い表示にするなどして、不要な注意を喚起しないようにして、運転の妨げにならないようになっている。さらに、対象物の視認性を判定し、ドライバに視認できると判断された場合には、情報提示を中止することで、不要な提示は抑制するができる。
(3)については、周囲状況検出手段の出力を記憶しておき、記憶した状況と新たに検出した状況とを比較して、変化があると認められたとき、それに関する情報を提示できるから、ドライバの注意を喚起し、ドライバのより早い対応行動を誘導することができる。
このように本願発明は、ドライバが注意すべき対象を検出する物体検出の情報をドライバに提示するとともに、その提示した情報を認知したか判断する運転者視認判断の手段をもち、物体検出の出力と、視認判断の出力にもとづき、ドライバに提示する情報を制御することにより、検出された物体に関する情報が、視認されると、その情報の提示の方法を変更(位置がわかるが注意を喚起しない)ことにより、煩わしさを減少させる。また、さらに、ドライバが注意すべき対象の視認性を撮像画像から推定する視認性推定手段を有し、視認性推定手段の出力結果に基づき、ドライバに対して、視認性が低いときにのみ、物体の位置の情報を提示することにより、煩わしさを減少させるものである。
上記目的を達成するために、本願発明の請求項1に記載の車両用情報提示装置は、車両の周囲状況を取得し、取得した周囲状況から運転者に提示する対象を検出する周囲状況検出手段と、前記周囲状況検出手段により検出された対象についての情報を提示する情報提示手段と、運転者の視線方向を検出する運転者視線検出手段と、前記運転者視線検出手段より出力される視線位置と情報提示手段の提示する表示位置とを照合して表示位置に表示した情報が視認されたかを推定する運転者認知状態推定手段と、前記情報提示手段により情報が提示された後、前記運転者認知状態推定手段により運転者が表示を認知したと推定された場合に、前記情報提示手段の情報の提示方法を変更する情報提示制御手段とを備えたことを特徴とする。
なお、前記「情報の提示方法を変更する」には情報の提示を中断しあるいは終了することを含むものとする。周囲状況検出手段により、車両の周囲状況、例えば、歩行者や車両の周囲に存在する構造物や他の車両等の有無や相対位置等が検出される。車両の周囲状況が検出されると、情報提示制御手段は該周囲状況から運転者に提示する情報を選択し、例えば、障害物が近くに存在する場合には運転者に提示する情報としてかかる旨を示す警報情報を選択して情報提示手段に送る。情報提示手段は該情報を視覚的に表示し、運転者に対して該情報を提示する。これにより、運転者は該情報の内容を認識することが可能となる。
該情報の提示後に、運転者視線検出手段により運転者の視線の停留点から、その有効視野内に提示情報が表示されたか否かを判定し、有効視野内に所定時間表示があった場合に、注意喚起がなされたものと判断し、該情報の表示を停止したり、あるいは該情報の表示輝度や発色等を変更(低下)、表示位置を変更させることにより情報の提示方法を変更する。これにより、運転者が該情報により、障害物の存在に関する注意喚起がなされた後に引き続き同じ状態で該情報の提示が続行されることが防止され、該情報の認識後に該情報の提示が続行されることによる煩わしさを感じさせることを低減することができる。
本願発明の請求項2に記載の車両用情報提示装置は、前記情報提示手段は運転者に提示する情報に対応した表示光を出射する表示光投光手段及び該表示光投光手段による表示光を反射して運転者の視点位置に導く光半透過性を有する反射手段とを有するヘッドアップディスプレイであり、その表示が運転者から見て前方道路と重畳して表示されること特徴とする。
ヘッドアップディスプレイは、運転者が前方を視認しながら各種の情報を同時に視認することが可能であり、安全性を高めることができるが、反面、運転者が該情報を認識した後においても該情報の表示が継続されると、運転者の視界内に該情報が存在することから、運転者が煩わしさを感じることがそれだけ多いことになるが、この請求項2に記載の発明では、運転者が表示された情報を認識したと推定される場合には表示方法を変更するようにしているから、かかる煩わしさの低減が顕著であり、特に効果的である。
本願発明の請求項3に記載の車両用情報提示装置は、前記運転者認知状態推定手段は運転者視線検出手段の出力する視線の位置とその時間的な変化の情報をもとに、視点が停留したことを判定する停留点判定手段をもち、停留点判定手段の出力する視点の停留位置と、情報提示手段が出力している各表示の位置とを比較し、その距離があらかじめ定めた距離より大きいか小さいかにより、各表示を運転者が認知したか否かを判断することを特徴とする。
運転者の視線は、一般にサッケードと停留との2種の動きに分類され、視点位置が高速に移動する間は、視野内の情報を認識することが困難といわれている。従って、運転者の視点位置と表示位置とを照合する場合に、サッケード中の視点の位置と照合しても、表示が認識されることはないから、停留している視点位置とだけ、照合するほうが適切である。そのため、視点の位置の時間変化をモニタして、その状態が、停留か否かを判定する停留点判定手段を用いることにより、ドライバが、表示を認識したかどうかの判定がより適切になされることになる。なお、視点位置と表示位置との距離の検出には、視角を用いてももちろん構わない。
本願発明の請求項4に記載の車両用情報提示装置は、前記周囲状況検出手段は車両前方の障害物を検出し、該障害物から自車の走行に影響のある障害物(特に歩行者)を選択し、前記情報提示手段は該警報情報を運転者に提示することを特徴とする。
夜間の視認性の悪い状況下で運転者が歩行者の存在を認識することは、経験的にも、事故統計からも、運転のなかで難度の高い作業と考えられている。近年、近赤外や、遠赤外の肉眼では不可視の波長帯域の画像から、歩行者を認識し、報知することで、運転手を支援するシステムが市販されるようになってきている。本発明はより効果的に歩行者の認識を支援することが期待できる。
本願発明の請求項5に記載の車両用情報提示装置は、前記情報提示制御手段は、前記運転者認知状態推定手段の出力に関わらず、前記周囲状況検出手段から出力される警報情報を、最小150ミリ秒は、運転者の注意を誘導する刺激の強い提示方法で表示することを特徴とする。
本発明の車両用情報提示装置は、周囲状況検出手段により車両の周囲状況として障害物(例えば、ガードレール等の構造物、他の車両、歩行者)が検出されると、周囲状況検出手段は該障害物と自車両との相対位置から危険度を求め、該危険度に応じた警報情報(例えば、危険、注意、安全等)を選択し、情報提示手段は該選択された警報情報を例えばそれぞれに対応するマークを表示等することにより運転者に提示する。
この提示の時間として、運転者が認知するのにかかる時間は、150ミリ秒ほどかかるので、その間は、視線の状態に関わらず提示を継続しても、注意喚起を確実なものとする一方、煩わしさを増すことにはならないから、より適切な情報提示方法となる。
本願発明の請求項6に記載の車両用情報提示装置は、前記情報提示制御手段は、前記運転者認知状態推定手段の出力に基づき運転者が表示を認知したと推定された場合、前記周囲状況検出手段から出力される警報情報を、運転者の注意の誘導をまねかない刺激の弱い提示方法で表示し、その位置のみの確認が容易なように、前記情報提示手段を制御することを特徴とする。
運転者が最初に提示された情報を認識した場合は、その存在を把握できているから、さらに注意喚起を行なう必要はなく、むしろ煩わしく運転のさまたげにさえなりうるため、運転するにあたって、その位置関係を確認するための表示に切り替えるほうがドライバにとって使いやすいといえる。位置関係のみ把握できるようにするには、できるだけ注意喚起を起さない刺激の弱い(誘目性の低い)表示とすべきで、輝度を下げる、寒色系の色に切り替えるなどが妥当で、これにより過度な注意喚起による煩わしさを低減させることが可能になる。
本願発明の請求項7に記載の車両用情報提示装置は、前記周囲状況検出手段は車両前方の障害物を検出し、該障害物から、その動きに変化のあった障害物(特に歩行者)を選択し、前記情報提示制御手段は、前記運転者認知状態推定手段の出力に関わらず、前記周囲状況検出手段から出力されるうごきに変化のあった歩行者警報情報を、最小150ミリ秒は、運転者の注意を誘導する刺激の強い提示方法で表示するように、前記情報提示手段は該警報情報を運転者に提示することを特徴とする。
この構成によれば、運転者が提示された情報を認識した障害物、歩行者について、位置が確認できるだけの表示になっていても、その動き方の変化が生じた場合、再度注意を喚起する強い刺激の提示がなされるから、運転者は再度注意を喚起され、その動きを確認する行動をとるから、歩行者に対する対応がすばやく行なえ安全上有効にすることができる。
本願発明の請求項8に記載の車両用情報提示装置は、前記周囲状況検出手段が検出した運転者に提示すべき対象の視認性を推定する視認性推定手段を有し、視認性推定手段の出力結果に基づき、運転者に対して、視認性が比較的低いときにのみ対象の位置を提示することを特徴とする。
この構成によれば、運転者が注意すべき対象が運転者によって視認性が高い、つまり見やすい場合にはあえて対象の位置を提示しないため、表示による煩わしさをより低減することができる。
以上のように本願発明は、運転者が表示を確認したら、誘目性の低い表示に切り替えて、運転者の不要な注意を引かないようにすることを特徴とし、また、運転者が認識できない距離の場合には対象を表示するが、認識できるようになった場合には表示をしないようにすることを特徴としており、運転者にとっての表示の煩わしさを低減することができるという車両用情報提示装置である。
請求項1に記載の車両用情報提示装置によると、運転者が提示された情報を認識したと推定される場合に、該情報の提示方法を変更するようにしたため、運転者が情報の内容を既に認識し注意を喚起されている場合に引き続き同じ状態で情報の提示を続行することにより、余計な注意を喚起される心理的な煩わしさの低減を図りつつ、運転者に該情報の内容を確実に伝えることができるという効果がある。
請求項2に記載の車両用情報提示装置によると、情報提示手段にヘッドアップディスプレイを使用することで、運転者が前方を視認しながら各種の情報を同時に視認することが可能であり、安全性を高めることができるとともに、運転者が表示された情報を認識したと推定される場合には表示方法を変更することで煩わしさを低減することができる、という効果がある。
請求項3に記載の車両用情報提示装置によると、運転者の視線が停留したことを判定する停留点判定手段を有しており、停留とサッケードを判定しているため、ドライバが表示を認識したかどうかの判定がより適切になされるという効果がある。
請求項4に記載の車両用情報提示装置によると、周囲状況検出手段が検出した障害物から、自車の走行に影響のある障害物を選択し、選択された障害物に対する警報情報を運転者に提示するため、より適切に運転者を支援することができるという効果がある。
請求項5記載の車両用情報提示装置によると、警報情報を少なくとも150msは運転者の注意を誘導する刺激の強い提示方法で提示するため、注意喚起を確実なものにすると共に、煩わしさを増すことの無い適切な情報提示方法にすることができるという効果がある。
請求項6に記載の車両用情報提示装置によると、運転者が表示を認知したと推定された場合には、警報情報を運転者の注意の誘導をまねかない刺激の弱い提示方法で提示し、その位置のみの確認ができるようにするため、過度な注意喚起による煩わしさを低減させることができるという効果がある。
請求項7に記載の車両用情報提示装置によると、動きに変化のあった障害物を選択し、選択された障害物に対し、150msは運転者の注意を誘導する刺激の強い提示方法で提示するようにしたため、運転者は再度注意を喚起され、その動きを確認する行動をとり、歩行者に対する対応がすばやく行なえ安全に対応できるという効果がある。
請求項8に記載の車両用情報提示装置によると、対象の視認性に基づき、視認性が低いときのみ対象に関する情報を提示するようにしているため、より煩わしさを低減することができるという効果がある。
以下、図面を参照しながら本発明の具体的な実施の形態を説明する。尚、本発明は以下の実施例に限定されるものではない。
図1は、本発明の実施例1に係る車両用情報提示装置の構成を示すブロック図である。周囲状況検出装置110は、撮像装置(カメラ)の出力をもとに歩行者や障害物を検出するものである。ただし、撮像装置に限らず、画像センサ、レーダ装置、超音波センサ等、歩行者や障害物等周辺状況を検出するものであれば良い。本実施例では、最も簡便な方法として、遠赤外線カメラ111を車両前方を監視できる位置、例えば車両のラジエターの位置に搭載する。歩行者は温度が高いため、遠赤外画像では背景の道路に比べて明るい領域となるため、所定の形状、大きさをもつ明るい領域を歩行者として認識し、画像上の上下の位置(図2のa)からおよその距離を推定することができる(図2)。
運転者視線検出装置120は、運転者の視線を検出するものであり、具体的には車両に搭載され、目を撮像することで視線を検出する視線検出装置である。例えば、ドライバの顔面に装着するもの、ゴーグルタイプのもの、メガネタイプのものなどもあり、それらを用いることも可能であるが、ドライバにとって装着の違和感を与えないものとして、非接触でドライバの視線を測る装置も知られており、これを用いることができる。原理として、ドライバの顔を捉えるように配置したTVカメラからの画像を処理し、あらかじめ配置した赤外LED光源が、ドライバの眼で反射した像と、ドライバの瞳孔とを抽出し、その位置関係から視線の方向を計測できることが知られており、これを応用することができる(例えば、http://www.a-s-l.com/ets-pc.htm参照)。運転者視線検出装置120は、運転者認知状態推定装置130に視線の位置をリアルタイムに時系列のデータとして送る。
運転者認知状態推定装置130では、送られてきた時系列データを記憶しておき、記憶した視線の位置とその時間的な変化の情報を基に、視線が停留したことを判定する。停留の判定としては、視線の位置の変化の大きさをあらかじめ決められた所定値と比較し、比較値以下であれば「停留」、所定値以上であれば「サッケード」と出力することで実現する。
視認性判定装置140は、可視領域に感度を持つ通常の可視光カメラ141を有し、撮像画像上の歩行者や障害物の視認性を判定するものである。可視光カメラ141は、遠赤外線カメラ111とほぼ同じ画角で、できるだけ接近した位置に搭載し、ほぼ同じ領域を画像として得るように配置されている。視認性判定装置140は、周囲状況検出装置110が検出した歩行者や障害物の位置における画像の明るさを背景と比較し、そのコントラストをあらかじめ人間の視認性と対応させた所定値と比較し、所定値以下であれば「視認性不良」、所定値以上であれば「視認性良好」であると判定する。
なお、遠赤外線カメラ111、撮像装置141からの画像は、いわゆる画像キャプチャーによって取り込み、上記の処理を定期的に繰り返し、実行させることができるようになっている。
情報表示手段160としては、いわゆるヘッドアップディスプレイ(HUD)(図3)を用いることができる。HUDではドライバの視点が車両前方の風景にあるときに、その邪魔にならないように車両の速度などを表示するものが既に商品化されているが、夜間の歩行者の情報等は、むしろ前景と重畳するように配置されたHUDの方が、歩行者の位置などを認識しやすくなる。
情報提示制御装置150は、いわゆるコンピュータを用いプログラムを動かすことで実現することができる。周囲状況検出装置110、運転者認知状態推定装置130、視認性判定装置140から送られる情報を基に、情報表示手段160での表示を制御するものである。情報提示制御装置150に接続された情報表示手段160では、表示位置を指定して表示することができるようになっている。そこで、情報提示制御装置150では、あらかじめ表示位置と、それに対応するドライバの視線との関係を調べておき、換算式あるいはテーブルなどの形で対応が取れるようにしておく。
次に本実施例の具体的な動作を説明する。
歩行者と認識される物体があると周囲状況検出装置110が判断すると、情報提示制御装置150にその存在と位置の情報が送られる。また、視認性判定装置140からは、視認性の情報が情報提示制御装置150に送られる。
情報提示制御装置150は、物体(歩行者)の視認性が「視認性不良」と判断されていたら、ドライバから見て、その物体の位置に相当する視点の位置に、歩行者が存在することを、例えば図4に示すように輝度の明るい丸い枠を情報表示装置170に表示するように指示する。本実施例においては、輝度を高く、コントラストを強く、表示面積を大きく、色を赤あるいは黄色系統で表示させている。
情報提示制御装置150は、情報を提示してから、150msの時間が経過するのをタイマーで監視する。150msが経過したときに運転者認知状態推定装置130からドライバの停留点判定結果出力を確認し、「停留」と判断された場合には、表示位置と停留していると判断された視点の位置(停留位置)との距離が、あらかじめ人間の有効視野に相当するように定められた所定値より大きいか小さいかを比較し、小さければ、表示を輝度の低いものに切り替える。本実施例においては、図5に示すように、輝度を低く、コントラストを弱く、表示面積を小さく、色を青系統で表示させている。
運転者認知状態推定装置130からの出力が、停留と判定していない(「サッケード」と判定された)場合、あるいは、所定値との比較において表示位置と停留位置との距離が所定値よりも大きいと判断された場合には、運転者認知状態推定装置130から送られてくる出力を逐次監視し、認知状態が「停留」となり、停留位置と表示位置との距離が小さくなったら表示を輝度の小さいものに切り替える。
表示位置については、車両が走行するのに応じて、物体の位置(相対位置)が変化してくるため、走行に応じて表示位置を切り替える必要がある。走行に応じ、周囲状況検出装置110は遠赤外線カメラ111の画像を逐次処理することによって、最新の対象の位置を把握することができるため、情報提示制御装置150は、その情報を基に表示位置を更新するようにする。
また、情報提示制御装置150は、視認性判定装置140から送られてくる視認性が、「視認性良好」と判定された場合には表示を中止する。
以上、本発明の実施の形態を説明したが、本発明は上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上、変更されたものについても適用可能である。
例えば、本実施例では視認性判定装置140により視認性を判定し、判定結果に基づいて表示を制御しているが、これを用いなくても構わない。
車両の周囲の状況を運転者に提示する車両用情報提示装置に利用することが可能であり、特に運転者が認識すべき走行環境中の対象についての情報を、煩わしさが少ないように運転者に提供することができる。
本発明の実施例1の構成を示すブロック図。 本発明の実施例1の周囲状況検出装置の概要を示す図。 本発明の実施例1の情報表示装置の例を示す図。 本発明の実施例1での誘目性の高い表示例を示す図。 本発明の実施例1での誘目性の低い表示例を示す図。

Claims (8)

  1. 車両の周囲状況を取得し、取得した周囲状況から運転者に提示する対象を検出する周囲状況検出手段と、
    前記周囲状況検出手段により検出された対象についての情報を提示する情報提示手段と、
    運転者の視線方向を検出する運転者視線検出手段と、
    前記運転者視線検出手段より出力される視線位置と前記情報提示手段の提示する表示位置とを照合して表示位置に表示した情報が視認されたかを推定する運転者認知状態推定手段と、
    前記情報提示手段により情報が提示された後、前記運転者認知状態推定手段により運転者が表示を認知したと推定された場合に、前記情報提示手段の情報の提示方法を変更する情報提示制御手段と
    を備えたことを特徴とする車両用情報提示装置。
  2. 前記情報提示手段は運転者に提示する情報に対応した表示光を出射する表示光投光手段及び該表示光投光手段による表示光を反射して運転者の視点位置に導く光半透過性を有する反射手段とを有するヘッドアップディスプレイであり、
    その表示が運転者から見て前方道路と重畳して表示されること特徴とする請求項1に記載の車両用情報提示装置。
  3. 前記運転者認知状態推定手段は運転者視線検出手段の出力する視線の位置とその時間的な変化の情報をもとに、視点が停留したことを判定する停留点判定手段をもち、
    前記停留点判定手段の出力する視点の停留位置と、前記情報提示手段が出力している各表示の位置とを比較し、その距離があらかじめ定めた値より大きいか小さいかにより、各表示を運転者が認知したか否かを判断することを特徴とする請求項1又は請求項2のいずれか1項に記載の車両用情報提示装置。
  4. 前記周囲状況検出手段は車両前方の障害物を検出し、該障害物から自車の走行に影響のある障害物を選択し、
    前記情報提示手段は該警報情報を運転者に提示することを特徴とする請求項1又は請求項2のいずれか1項に記載の車両用情報提示装置。
  5. 前記情報提示制御手段は、前記運転者認知状態推定手段の出力に関わらず、前記周囲状況検出手段から出力される警報情報を、最小150ミリ秒は、運転者の注意を誘導する刺激の強い提示方法で表示するように、前記情報提示手段を制御する請求項1又は請求項2のいずれか1項に記載の車両用情報提示装置。
  6. 前記情報提示制御手段は、前記運転者認知状態推定手段の出力に基づき運転者が表示を認知したと推定された場合、前記周囲状況検出手段から出力される警報情報を、運転者の注意の誘導をまねかない刺激の弱い提示方法で表示し、その位置のみの確認が容易なように、前記情報提示手段を制御する請求項1又は請求項2のいずれか1項に記載の車両用情報提示装置。
  7. 前記周囲状況検出手段は車両前方の障害物を検出し、該障害物から、その動きに変化のあった歩行者を選択し、
    前記情報提示制御手段は、前記運転者認知状態推定手段の出力に関わらず、前記周囲状況検出手段から出力される動きに変化のあった歩行者警報情報を、最小150ミリ秒は運転者の注意を誘導する刺激の強い提示方法で表示するように、前記情報提示手段を制御することを特徴とする請求項1又は請求項2のいずれか1項に記載の車両用情報提示装置。
  8. 前記周囲状況検出手段が検出した運転者に提示すべき対象の視認性を推定する視認性推定手段を有し、
    前記情報提示制御手段は、前記視認性推定手段の出力結果に基づき、ドライバに対して、視認性が比較的低いときにのみ前記対象の情報を提示するように、前記情報提示制御手段を制御することを特徴とする請求項1乃至請求項7のいずれか1項に記載の車両用情報提示装置。
JP2003368217A 2003-10-29 2003-10-29 車両用情報提示装置 Pending JP2005135037A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003368217A JP2005135037A (ja) 2003-10-29 2003-10-29 車両用情報提示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003368217A JP2005135037A (ja) 2003-10-29 2003-10-29 車両用情報提示装置

Publications (1)

Publication Number Publication Date
JP2005135037A true JP2005135037A (ja) 2005-05-26

Family

ID=34645947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003368217A Pending JP2005135037A (ja) 2003-10-29 2003-10-29 車両用情報提示装置

Country Status (1)

Country Link
JP (1) JP2005135037A (ja)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184854A (ja) * 2004-12-03 2006-07-13 Nissan Motor Co Ltd 情報表示方法、表示制御装置、情報表示装置
JP2006338594A (ja) * 2005-06-06 2006-12-14 Toyota Motor Corp 歩行者認識装置
JP2007087336A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
JP2007280263A (ja) * 2006-04-11 2007-10-25 Denso Corp 運転支援装置
JP2008071062A (ja) * 2006-09-13 2008-03-27 Fujitsu Ten Ltd 運転支援装置および通知方法
US7478873B2 (en) 2005-01-19 2009-01-20 Takata-Petri Ag Safety device
JP2009023565A (ja) * 2007-07-20 2009-02-05 Denso It Laboratory Inc 運転支援装置および運転支援方法
JP2009051338A (ja) * 2007-08-27 2009-03-12 Mazda Motor Corp 車両用運転支援装置
JP2009530695A (ja) * 2006-03-17 2009-08-27 ダイムラー・アクチェンゲゼルシャフト 画像データにおいて重要対象物を識別するための仮想スポットライト
JP2009196630A (ja) * 2008-01-25 2009-09-03 Denso Corp 表示装置
US7602278B2 (en) 2005-01-19 2009-10-13 Takata-Petri Ag Steering wheel assembly for a motor vehicle
JP2010026807A (ja) * 2008-07-18 2010-02-04 Toyota Motor Corp 車両用警報表示制御装置
JP2010123046A (ja) * 2008-11-21 2010-06-03 Toyota Motor Corp 視認支援装置
JP2010120617A (ja) * 2008-11-24 2010-06-03 Denso Corp 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP2010161736A (ja) * 2009-01-09 2010-07-22 Toyota Motor Corp ナイトビジョンシステム
JP2010191793A (ja) * 2009-02-19 2010-09-02 Denso It Laboratory Inc 警告表示装置及び警告表示方法
JP2011114564A (ja) * 2009-11-26 2011-06-09 Toyota Motor Corp 注意喚起システム
JP2011258108A (ja) * 2010-06-11 2011-12-22 Nissan Motor Co Ltd 情報提供装置及び情報提供方法
WO2012077367A1 (ja) 2010-12-08 2012-06-14 トヨタ自動車株式会社 車両用情報伝達装置
JP2012162109A (ja) * 2011-02-03 2012-08-30 Toyota Motor Corp 車両用表示装置
WO2012164729A1 (ja) * 2011-06-02 2012-12-06 トヨタ自動車株式会社 車両用視界支援装置
JP2013216315A (ja) * 2013-05-14 2013-10-24 Denso Corp 画像生成装置
JP2014102743A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 報知制御方法、報知制御装置および報知制御プログラム
JP2015011457A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
DE102014217440A1 (de) 2013-09-04 2015-03-05 Toyota Jidosha Kabushiki Kaisha Warnanzeigenvorrichtung und Warnanzeigeverfahren
WO2015151457A1 (ja) * 2014-03-31 2015-10-08 株式会社デンソー 情報表示システム
US9262924B2 (en) 2014-07-09 2016-02-16 Toyota Motor Engineering & Manufacturing North America, Inc. Adapting a warning output based on a driver's view
JP2016048550A (ja) * 2014-08-27 2016-04-07 トヨタ自動車株式会社 ドライバの注意評価に基づく空間情報の提示
US9505305B2 (en) 2014-03-25 2016-11-29 Fujitsu Ten Limited Vehicle device
JP2017146737A (ja) * 2016-02-16 2017-08-24 トヨタ自動車株式会社 車両用表示装置
JP2018090120A (ja) * 2016-12-05 2018-06-14 株式会社Jvcケンウッド 映像表示装置、及び映像表示方法
JP2018154153A (ja) * 2017-03-15 2018-10-04 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
WO2019049709A1 (ja) * 2017-09-07 2019-03-14 ソニー株式会社 画像処理装置、画像処理方法、および画像表示システム
DE112018001581T5 (de) 2017-03-24 2019-12-19 Panasonic Intellectual Property Management Co., Ltd. Informationsanzeigevorrichtung, Informationsanzeigeverfahren und Aufzeichnungsmedium
JP2020093766A (ja) * 2018-12-05 2020-06-18 パナソニックIpマネジメント株式会社 車両の制御装置、制御システム、及び制御プログラム
JP2020144731A (ja) * 2019-03-08 2020-09-10 株式会社デンソーアイティーラボラトリ 見落し検知装置、見落し検知方法、およびプログラム
CN113401056A (zh) * 2020-03-17 2021-09-17 本田技研工业株式会社 显示控制装置、显示控制方法以及计算机可读取存储介质
US11458841B2 (en) 2020-03-17 2022-10-04 Honda Motor Co., Ltd. Display control apparatus, display control method, and computer-readable storage medium storing program
US11561555B2 (en) 2020-03-16 2023-01-24 Honda Motor Co., Ltd. Control apparatus, system, computer readable storage medium and control method
WO2023146145A1 (ko) * 2022-01-26 2023-08-03 삼성전자 주식회사 전자 장치 및 이의 제어 방법

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184854A (ja) * 2004-12-03 2006-07-13 Nissan Motor Co Ltd 情報表示方法、表示制御装置、情報表示装置
US7602278B2 (en) 2005-01-19 2009-10-13 Takata-Petri Ag Steering wheel assembly for a motor vehicle
US7478873B2 (en) 2005-01-19 2009-01-20 Takata-Petri Ag Safety device
US7605694B2 (en) 2005-01-19 2009-10-20 Takata-Petri Ag Steering wheel assembly for a motor vehicle
JP2006338594A (ja) * 2005-06-06 2006-12-14 Toyota Motor Corp 歩行者認識装置
JP2007087336A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
US7847678B2 (en) 2005-09-26 2010-12-07 Toyota Jidosha Kabushiki Kaisha Vehicle surroundings information output system and method for outputting vehicle surroundings information
JP2009530695A (ja) * 2006-03-17 2009-08-27 ダイムラー・アクチェンゲゼルシャフト 画像データにおいて重要対象物を識別するための仮想スポットライト
JP2007280263A (ja) * 2006-04-11 2007-10-25 Denso Corp 運転支援装置
JP2008071062A (ja) * 2006-09-13 2008-03-27 Fujitsu Ten Ltd 運転支援装置および通知方法
JP2009023565A (ja) * 2007-07-20 2009-02-05 Denso It Laboratory Inc 運転支援装置および運転支援方法
JP2009051338A (ja) * 2007-08-27 2009-03-12 Mazda Motor Corp 車両用運転支援装置
JP2009196630A (ja) * 2008-01-25 2009-09-03 Denso Corp 表示装置
JP2010026807A (ja) * 2008-07-18 2010-02-04 Toyota Motor Corp 車両用警報表示制御装置
JP2010123046A (ja) * 2008-11-21 2010-06-03 Toyota Motor Corp 視認支援装置
JP2010120617A (ja) * 2008-11-24 2010-06-03 Denso Corp 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP2010161736A (ja) * 2009-01-09 2010-07-22 Toyota Motor Corp ナイトビジョンシステム
JP2010191793A (ja) * 2009-02-19 2010-09-02 Denso It Laboratory Inc 警告表示装置及び警告表示方法
JP2011114564A (ja) * 2009-11-26 2011-06-09 Toyota Motor Corp 注意喚起システム
JP2011258108A (ja) * 2010-06-11 2011-12-22 Nissan Motor Co Ltd 情報提供装置及び情報提供方法
WO2012077367A1 (ja) 2010-12-08 2012-06-14 トヨタ自動車株式会社 車両用情報伝達装置
US9140903B2 (en) 2010-12-08 2015-09-22 Toyota Jidosha Kabushiki Kaisha Vehicle information transmitting device
JP2012162109A (ja) * 2011-02-03 2012-08-30 Toyota Motor Corp 車両用表示装置
CN103582906A (zh) * 2011-06-02 2014-02-12 丰田自动车株式会社 车辆用视野辅助装置
JPWO2012164729A1 (ja) * 2011-06-02 2014-07-31 トヨタ自動車株式会社 車両用視界支援装置
US9230178B2 (en) 2011-06-02 2016-01-05 Toyota Jidosha Kabushiki Kaisha Vision support apparatus for vehicle
JP5742937B2 (ja) * 2011-06-02 2015-07-01 トヨタ自動車株式会社 車両用視界支援装置
WO2012164729A1 (ja) * 2011-06-02 2012-12-06 トヨタ自動車株式会社 車両用視界支援装置
CN103582906B (zh) * 2011-06-02 2016-01-20 丰田自动车株式会社 车辆用视野辅助装置
JP2014102743A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 報知制御方法、報知制御装置および報知制御プログラム
US9524644B2 (en) 2012-11-21 2016-12-20 Fujitsu Limited Notification control method and notification control device
JP2013216315A (ja) * 2013-05-14 2013-10-24 Denso Corp 画像生成装置
JP2015011457A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
DE102014217440A1 (de) 2013-09-04 2015-03-05 Toyota Jidosha Kabushiki Kaisha Warnanzeigenvorrichtung und Warnanzeigeverfahren
JP2015049842A (ja) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 注意喚起表示装置及び注意喚起表示方法
US9505305B2 (en) 2014-03-25 2016-11-29 Fujitsu Ten Limited Vehicle device
WO2015151457A1 (ja) * 2014-03-31 2015-10-08 株式会社デンソー 情報表示システム
US10040353B2 (en) 2014-03-31 2018-08-07 Denso Corporation Information display system
JP2015193317A (ja) * 2014-03-31 2015-11-05 株式会社デンソー 情報表示システム
US9262924B2 (en) 2014-07-09 2016-02-16 Toyota Motor Engineering & Manufacturing North America, Inc. Adapting a warning output based on a driver's view
JP2016048550A (ja) * 2014-08-27 2016-04-07 トヨタ自動車株式会社 ドライバの注意評価に基づく空間情報の提示
JP2017146737A (ja) * 2016-02-16 2017-08-24 トヨタ自動車株式会社 車両用表示装置
JP2018090120A (ja) * 2016-12-05 2018-06-14 株式会社Jvcケンウッド 映像表示装置、及び映像表示方法
JP2018154153A (ja) * 2017-03-15 2018-10-04 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
US11260856B2 (en) 2017-03-24 2022-03-01 Panasonic Intellectual Property Management Co., Ltd. Information display device, information display method, and recording medium
DE112018001581T5 (de) 2017-03-24 2019-12-19 Panasonic Intellectual Property Management Co., Ltd. Informationsanzeigevorrichtung, Informationsanzeigeverfahren und Aufzeichnungsmedium
WO2019049709A1 (ja) * 2017-09-07 2019-03-14 ソニー株式会社 画像処理装置、画像処理方法、および画像表示システム
US11004226B2 (en) 2017-09-07 2021-05-11 Sony Corporation Image processing device, image processing method, and image display system for grasping a distance from an obstacle with a smaller visual line shift
JP2020093766A (ja) * 2018-12-05 2020-06-18 パナソニックIpマネジメント株式会社 車両の制御装置、制御システム、及び制御プログラム
JP2020144731A (ja) * 2019-03-08 2020-09-10 株式会社デンソーアイティーラボラトリ 見落し検知装置、見落し検知方法、およびプログラム
JP7145792B2 (ja) 2019-03-08 2022-10-03 株式会社デンソーアイティーラボラトリ 見落し検知装置、見落し検知方法、およびプログラム
US11561555B2 (en) 2020-03-16 2023-01-24 Honda Motor Co., Ltd. Control apparatus, system, computer readable storage medium and control method
CN113401056A (zh) * 2020-03-17 2021-09-17 本田技研工业株式会社 显示控制装置、显示控制方法以及计算机可读取存储介质
US11458841B2 (en) 2020-03-17 2022-10-04 Honda Motor Co., Ltd. Display control apparatus, display control method, and computer-readable storage medium storing program
CN113401056B (zh) * 2020-03-17 2024-05-31 本田技研工业株式会社 显示控制装置、显示控制方法以及计算机可读取存储介质
WO2023146145A1 (ko) * 2022-01-26 2023-08-03 삼성전자 주식회사 전자 장치 및 이의 제어 방법

Similar Documents

Publication Publication Date Title
JP2005135037A (ja) 車両用情報提示装置
JP4353162B2 (ja) 車輌周囲情報表示装置
JP5406328B2 (ja) 車両用表示装置、その制御方法及びプログラム
EP3040809B1 (en) Method and system for controlling a human-machine interface having at least two displays
JP2007087337A (ja) 車輌周囲情報表示装置
JP5718942B2 (ja) 輸送手段の安全な運転を補助する装置及び方法
US9230178B2 (en) Vision support apparatus for vehicle
JP4946661B2 (ja) 車両用警報表示装置
JP2002137653A (ja) 技術装置の操作者の注意力制御方法および装置
JP4970379B2 (ja) 車両用表示装置
JPH07167668A (ja) 走行情報提供装置
JP5817843B2 (ja) 車両用情報伝達装置
US20170220106A1 (en) Image display apparatus
JP2006184854A (ja) 情報表示方法、表示制御装置、情報表示装置
JP2007006006A (ja) 車載情報表示装置及び車両用情報表示方法
JP2006158740A (ja) 運転者状態判定装置
JP2008013070A (ja) 車両用表示装置
TWI522257B (zh) 車用安全系統及其運作方法
JP2004030212A (ja) 車両用情報提供装置
JP4337130B2 (ja) 運転装置の制御装置
JP4337131B2 (ja) 移動体制御装置
JP2023525895A (ja) 応答能力を決定するための方法
JP7287199B2 (ja) 車両用注視誘導装置
US11643012B2 (en) Driving assistance device, driving situation information acquisition system, driving assistance method, and program
KR20140079987A (ko) 헤드업 디스플레이의 이미지를 제어하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090317