JP2011000278A - 視認行動情報提示装置 - Google Patents

Abstract

【課題】 車両の運転開始から運転終了までの所定の期間に亙る運転者の視線配分を的確に評価できるようにする。
【解決手段】 視線検知手段１５は車両の運転者の視線の方向を検知し、記憶手段Ｍ１は前記視線の方向のデータを記憶し、視認行動情報生成手段Ｍ２は運転の開始から終了までの１ドライブサイクル内に記憶手段Ｍ１に記憶されたデータから運転者の視認行動情報を生成し、視認行動情報提示手段Ｍ３は前記視認行動情報をモニタ２８に提示するので、１ドライブサイクルに亙る視線行動情報を客観的に評価して運転者に認識させ、運転者の安全運転に対する意識を高めることが可能となる。しかも１ドライブサイクルの終了後に視線行動情報を提示するので、運転者の運転操作の邪魔になったり、運転者が煩わしさを感じたりすることがない。
【選択図】 図３

Description

本発明は、運転者が車両を運転している間の視線の方向に関する情報を提示する視認行動情報提示装置に関する。

例えば交差点の近傍を複数のエリアに分け、自車が各エリアにあるときの運転者の視線配分を検出し、この実際の視線配分と理想的な視線配分とを比較することで、運転者にアドバイスを提示して安全確認に資する安全確認アドバイス装置が、下記特許文献１により公知である。

特開２００８−２６２３８８号公報

しかしながら上記従来のものは、交差点等の特定位置での視線配分のアドバイスを行うことは可能であるが、運転期間の全域に亙る視線配分のアドバイスを行うことができないだけでなく、運転中に交差点等の特定位置毎にアドバイスが行われるために運転者が煩わしく感じる虞があった。またシステムが運転者の安全行動の評価を行うために、運転者が自らの安全判断を放棄する可能性があるだけでなく、システムの安全基準と運転者が個々に持っている安全基準との間に差が生じたときに、運転者がシステムに対する不信感を抱く可能性があった。またシステムが誤った判断をしたときに、運転者がその判断を鵜呑みにし、かえって安全性を阻害する可能性があった。

本発明は前述の事情に鑑みてなされたもので、車両の運転開始から運転終了までの所定の期間に亙る運転者の視線配分を的確に評価できるようにすることを目的とする。

上記目的を達成するために、請求項１に記載された発明によれば、車両の運転者の視線の方向を検知する視線検知手段と、前記視線検知手段により検知された視線の方向のデータを記憶する記憶手段と、運転の開始から終了までの１ドライブサイクル内に前記記憶手段に記憶されたデータから運転者の視認行動情報を生成する視認行動情報生成手段と、前記視認行動情報生成手段で生成した視認行動情報を前記運転の終了時に提示する視認行動情報提示手段とを備えることを特徴とする視認行動情報提示装置が提案される。

また請求項２に記載された発明によれば、請求項１の構成に加えて、前記視認行動情報は、注視対象領域毎の注視頻度または注視時間を含む情報であり、前記注視頻度および前記注視時間の少なくとも一方に基づいて危険度を算出する危険度算出手段を備え、前記視認行動情報提示手段は、前記視認行動情報生成手段で生成した視認行動情報に加えて前記危険度算出手段で算出した危険度を提示することを特徴とする視認行動情報提示装置が提案される。

また請求項３に記載された発明によれば、請求項１または請求項２の構成に加えて、前記視認行動情報は、運転者の視野における注視頻度分布を含む情報であり、前記視認行動情報提示手段は、前記注視頻度分布を運転者の視野に対応する車両室内の画像に重畳して提示することを特徴とする視認行動情報提示装置が提案される。

また請求項４に記載された発明によれば、請求項３の構成に加えて、前記記憶手段は、車両が走行する道路環境および車両が走行する時間帯の少なくとも一方と運転者の視線の方向とを対応づけて記憶し、前記視認行動情報生成手段は、前記道路環境または前記時間帯毎に前記注視頻度分布を生成可能であることを特徴とする視認行動情報提示装置が提案される。

また請求項５に記載された発明によれば、請求項１〜請求項４の何れか１項の構成に加えて、前記視線検知手段は運転者を撮像するカメラを含み、前記カメラの画像から運転者を識別する運転者識別手段を備え、前記記憶手段は、前記運転者識別手段が識別した運転者毎に視線の方向を記憶することを特徴とする視認行動情報提示装置が提案される。

また請求項６に記載された発明によれば、請求項１〜請求項５の何れか１項の構成に加えて、前記視認行動情報生成手段は、前記１ドライブサイクルの期間から車両が停止している期間を除外することを特徴とする視認行動情報提示装置が提案される。

尚、実施の形態の近赤外線カメラ１３は本発明のカメラに対応する。

請求項１の構成によれば、視線検知手段が運転者の視線の方向を検知し、記憶手段が視線検知手段により検知された視線の方向のデータを記憶し、視認行動情報生成手段が運転の開始から終了までの１ドライブサイクル内に記憶手段に記憶されたデータから運転者の視認行動情報を生成し、視認行動情報提示手段が視認行動情報生成手段で生成した視認行動情報を運転の終了時に提示するので、１ドライブサイクルに亙る視線行動情報を客観的に評価して運転者に認識させ、運転者の安全運転に対する意識を高めることが可能となり、しかも１ドライブサイクルの終了後に視線行動情報を提示するので、運転者の運転操作の邪魔になったり、運転者が煩わしさを感じたりすることがない。

また請求項２の構成によれば、視認行動情報は注視対象領域毎の注視頻度または注視時間を含む情報であり、危険度算出手段が注視頻度および注視時間の少なくとも一方に基づいて危険度を算出し、視認行動情報提示手段が視認行動情報生成手段で生成した視認行動情報に加えて危険度算出手段で算出した危険度を提示するので、運転者は自己の視認行動と、その視認行動の安全性とを同時に把握することができる。

また請求項３の構成によれば、視認行動情報は運転者の視野における注視頻度分布を含む情報であり、視認行動情報提示手段が注視頻度分布を運転者の視野に対応する車両室内の画像に重畳して提示するので、運転者の視線が運転者の視野のどの部分にどの様に分布しているかを即座に把握することができる。

また請求項４の構成によれば、記憶手段が車両が走行する道路環境あるいは車両が走行する時間帯を運転者の視線の方向と対応づけて記憶し、視認行動情報生成手段が道路環境または時間帯毎に注視頻度分布を生成するので、道路環境または時間帯に対応する特定の注視頻度分布を取得することができる。

また請求項５の構成によれば、視線検知手段のカメラで撮像した画像から運転者識別手段が運転者を識別するので、１台の車両を複数の運転者が使用する場合であっても、記憶手段は運転者毎の視線の方向を別個に記憶することができる。

また請求項６の構成によれば、視認行動情報生成手段は１ドライブサイクルの期間から車両が停止している期間を除外して視認行動情報を生成するので、車両が停止している期間の重要度の低い視認行動情報を除外した重要度の高い視認行動情報を生成することができる。

車両の車室前部を後方から見た図。 視線検知手段の構造および機能を説明する模式図。 視認行動情報提示装置の構成を示すブロック図。 モニタに表示された「注視頻度分布図」の一例を示す図。 モニタに表示された「注視状況表」の一例を示す図。 モニタに表示された「交差点安全確認」の一例を示す図。 モニタに表示された「過去の運転との比較」の一例を示す図。 速度：８０ｋｍ／ｈ以上、走行状態：全範囲、走行道路：高速路に対応する「注視頻度分布図」の一例を示す図。 速度：全速度域、走行状態：直進、走行道路：全道路に対応する「注視継続時間分布図」の一例を示す図。 運転者毎の「注視頻度分布図」の表示の説明図。 日にちや時間範囲毎の「注視頻度分布図」の表示の説明図。 視認行動記録ルーチンのフローチャート。 図１２のステップＳ５のサブルーチンのフローチャート。 図１２のステップＳ７のサブルーチンのフローチャート。 視認行動提示ルーチンのフローチャート。 ナビゲーションシステムの地図上に重畳して表示した視線を示す図。 前方カメラ画像に重畳して表示した視線を示す図。

以下、図１〜図１７に基づいて本発明の実施の形態を説明する。

図１に示すように、車両のインストルメントパネル１１の右寄りの位置にステアリングホイール１２が設けられており、ステアリングホイール１２の前方のインストルメントパネル１１に近赤外線カメラ１３と、その左右両側に位置する一対の近赤外線ＬＥＤ１４，１４とが設けられる。近赤外線カメラ１３および近赤外線ＬＥＤ１４，１４は、運転者の視線が指向する方向を検知する視線検知手段１５を構成する。

車両は車内から車外の状況を視認できるように、フロントウインドシールド２１と、左右のフロントドア２２Ｌ，２２Ｒのドアガラス２３Ｌ，２３Ｒとを備えており、フロントウインドシールド２１の車幅方向中央上部にはルームミラー２４が設けられるとともに、左右のフロントドア２２Ｌ，２２Ｒの前部には左右のサイドミラー２５Ｌ，２５Ｒが設けられる。インストルメントパネル１１の車幅方向中央にはナビゲーションシステム２６が設けられるとともに、ステアリングホイール１２の前方のインストルメントパネル１１にメーターパネル２７が設けられる。ナビゲーションシステム２６のモニタ２８は、視認行動情報提示装置のモニタ２８としても用いられる。

図２は視線検知手段１５の構造および機能を模式的に示すもので、近赤外線カメラ１３は、近赤外線ＬＥＤ１４が発した近赤外線が運転者の眼球の角膜に反射した角膜反射点ａと、眼球の瞳孔中心ｂとの二つの点を撮像する。そして角膜反射点ａおよび瞳孔中心ｂの二つの点から角膜中心ｃを推定し、角膜中心ｃと瞳孔中心ｂとを結ぶ線として運転者の視線の方向を検知する。

尚、実施の形態で２個の近赤外線ＬＥＤ１４，１４を備えるのは、各眼球毎に二つの角膜反射点ａ，ａを形成し、それぞれの角膜反射点ａ，ａを用いて二つの視線の方向を検知し、それらの平均を取ることで検知精度を高めるためである。

また近赤外線カメラ１３は運転者の顔全体を撮像するため、その画像に基づいて複数の運転者を識別することができる。

図３に示すように、視認行動情報提示装置の電子制御ユニットＵは、記憶手段Ｍ１と、視認行動情報生成手段Ｍ２と、視認行動情報提示手段Ｍ３と、危険度算出手段Ｍ４と、運転者識別手段Ｍ５とを備える。

前記視線検知手段１５は記憶手段Ｍ１および運転者識別手段Ｍ５に接続され、前記ナビゲーションシステム２６に加えて、イグニッションスイッチ２９および車速センサ３０が視認行動情報生成手段Ｍ２に接続され、前記ナビゲーションシステム２６のモニタ２８に視認行動情報提示手段Ｍ３が接続される。

次に、上記構成を備えた本実施の形態の作用を説明する。

視線検知手段１５が運転者の視線の方向を検知すると、そのデータは記憶手段Ｍ１に記憶される。このとき、記憶手段Ｍ１は、視線検知手段１５が検知した視線の方向のデータを、運転席に着座した運転者の前方の視野に対応づけて記憶する。また視線検知手段１５の近赤外線カメラ１３が運転者の顔を撮像すると、運転者識別手段Ｍ５が運転者の顔を識別し、記憶手段Ｍ１は識別された運転者毎に視線の方向のデータ連続的にを記憶する。

視認行動情報生成手段Ｍ２は記憶手段Ｍ１に記憶された視線の方向のデータに基づいて、「注視頻度分布図」、「注視状況表」、「交差点安全確認」および「過去の運転との比較」の４種類の情報を生成する。これらの情報は運転の開始から終了までの１ドライブサイクル、例えば運転者がイグニッションスイッチ２９をオンしてエンジンを始動してから、イグニッションスイッチ２９をオフしてエンジンを停止させるまでの期間毎に集計される。そして視認行動情報生成手段Ｍ２により生成された情報は、視認行動情報提示手段Ｍ３によりナビゲーションシステム２６のモニタ２８に表示される。

尚、車両が信号待ち等で一時的に停止していることが車速センサ３０で検知された場合、その車両の停止期間は除外して情報が集計される。このとき、エンジンがアイドルストップ制御されても、イグニッションスイッチ２９はオフされていないため、１ドライブサイクルは中断されることなく継続する。

図４は、モニタ２８に表示された「注視頻度分布図」の一例を示すものである。ここでは、１ドライブサイクルにおける視線の方向の頻度が運転者の前方の視野に対応づけて５段階の濃淡で表示されており、色の濃い部分ほど視線の方向の頻度が高いことを示している。

図５は、モニタ２８に表示された「注視状況表」の一例を示すものである。ここでは、注視対象、つまり左右のサイドミラー２５Ｌ，２５Ｒ、ルームミラー２４、メーターパネル２７および左右のドアガラス２３Ｌ，２３Ｒにそれぞれ対応して、注視頻度（１時間当りの注視回数）、最大注視時間（一つの注視対象が連続的に注視された最大時間）および危険度が表示される。この危険度は、図３の危険度算出手段Ｍ４が、注視頻度と、最大注視時間と、その最大注視時間が発生した走行位置（走行位置のデータはナビゲーションシステム２６から取得）とに基づいて判定する。

図６は、モニタ２８に表示された「交差点安全確認」の一例を示すものである。ここでは、１ドライブサイクルの間に通過した各交差点について、自車の正面および左右の３方向の注視頻度あるいは注視時間から前記危険度算出手段Ｍ４が安全確認の度合いを判定し、注視レベルの高低（安全確認の度合いの高低）が色の濃淡で表示されるとともに、注視レベルが著しく低い方向（図６の例では左方向）が赤色で表示される。

図７は、モニタ２８に表示された「過去の運転との比較」の一例を示すものである。ここでは、各注視対象の注視頻度と最大注視時間とが、過去の全てのドライブサイクルの平均値と、今回のドライブサイクルの値とについて対比可能に表示される。

前記図４で説明した「注視頻度分布図」は、１ドライブサイクルにおける全速度域、全走行状態、全道路に対応するものであるが、速度を「Ｖｋｍ／ｈ以上」、「Ｖｋｍ／ｈ以下」、「Ｖａｋｍ／ｈ〜Ｖｂｋｍ／ｈ」のように指定したり、走行状態を「直進」、「右折」、「左折」、「右左折」のように指定したり、走行道路を「一般道」、「高速道路」のように指定したりすることで、その指定条件に対応する「注視頻度分布図」を表示することができる。図８には、速度：８０ｋｍ／ｈ以上、走行状態：全範囲、走行道路：高速路に対応する「注視頻度分布図」が示される。

また「注視頻度分布図」に代えて、注視対象毎の注視時間の分布を示す「注視継続時間分布図」を表示することも可能である。図９には、速度：全速度域、走行状態：直進、走行道路：全道路に対応する「注視継続時間分布図」が示される。

また図１０に示すように、視線検知手段１５の近赤外線カメラ１３で撮像した画像から運転者を特定し、記憶手段Ｍ１に記憶されている複数の運転者の「注視頻度分布図」の何れかを読み出し、その「注視頻度分布図」をモニタ２８に表示することも可能である。

一般に「注視頻度分布図」は１ドライブサイクル毎の情報として表示されるが、図１１に示すように、日にちを指定し、あるいは日にちの範囲を指定し、あるいは一日のうちの時間範囲を指定することで、その期間に対応する「注視頻度分布図」をモニタ２８に表示することも可能である。

次に、図１２〜図１４に基づいて視認行動記録ルーチンのフローチャートについて説明する。

図１２のフローチャートのステップＳ１で近赤外線カメラ１３により運転者の顔の画像を撮像し、ステップＳ２で視線検知手段１５により運転者の視線の方向を検知し、ステップＳ３でナビゲーションシステム２６により自車の走行位置を取得する。続くステップＳ４で走行位置が一時停止交差点であれば、ステップＳ５で前左右確認判定を行う。

図１３のフローチャートは、前記ステップＳ５（前左右確認判定）のサブルーチンを示すもので、ステップＳ１１で交差点の位置を判定し、ステップＳ１２で運転者の注視方向（正面および左右）を分類し、ステップＳ１３で注視頻度および注視継続時間を算出し、ステップＳ１４で自車の進行方向を取得し、ステップＳ１５で交差点別の情報を記録することで、図６に示す「交差点確認」の情報を生成する。

図１２のフローチャートに戻り、ステップＳ６で車速センサ２０で検出した車速が正値で自車が走行中であれば、ステップＳ７で運転者の視認行動記録を取る。

図１５のフローチャートは、前記ステップＳ７（視認行動記録）のサブルーチンを示すもので、ステップＳ２１で視線検知手段１５により運転者の注視対象を判定し、ステップＳ２２で各注視対象毎に注視回数を算出し、ステップＳ２３で各注視対象毎に連続注視時間を算出し、ステップＳ２４で注視回数を経過時間で除算して時間当りの注視回数である注視頻度を算出し、ステップＳ２５で、図４に示す「注視頻度分布図」の情報および図５に示す「注視状況表」の情報を生成する。

次に、図１４に基づいて視認行動提示ルーチンのフローチャートについて説明する。

先ずステップＳ３１でイグニッションスイッチ２９がオフして１ドライブサイクルが終了した後に車両が停止しているとき、ステップＳ３２で運転者の個人認証を行い、ステップＳ３３で運転者の過去の走行データが存在すれば、ステップＳ３４で過去のデータを読み込み、ステップＳ３５で、図７に示す「過去の運転との比較」を表示する。続くステップＳ３６で一時停止交差点を通過していれば、ステップＳ３７で図６に示す「交差点安全確認」を表示し、続くステップＳ３８で図４に示す「注視頻度分布図」、あるいは図５に示す「注視状況表」、あるいは図９に示す「注視継続時間分布図」を表示する。

以上のように、運転の開始から終了までの１ドライブサイクル内に記憶されたデータから運転者の視認行動情報を生成してモニタ２８に表示するので、１ドライブサイクルに亙る視線行動情報を客観的に評価して運転者に認識させ、運転者の安全運転に対する意識を高めることが可能となる。しかも１ドライブサイクルの終了後に視線行動情報を表示するので、その表示が運転者の運転操作の邪魔になったり、運転者が煩わしさを感じたりすることがない。このとき、運転者の視野における注視頻度分布を含む視認行動情報を運転者の視野に対応する車両室内の画像に重畳して表示するので、運転者の視線が運転者の視野のどの部分にどの様に分布しているかを即座に把握することができる。

また注視対象領域毎の注視頻度および注視時間に基づいて危険度を算出し、その危険度を視認行動情報と共に表示するので、運転者は自己の視認行動と、その視認行動の安全性とを同時に把握することができる。更に、車両が走行する道路環境あるいは車両が走行する時間帯を運転者の視線の方向と対応づけて記憶し、道路環境または時間帯毎に注視頻度分布を生成するので、道路環境または時間帯に対応する特定の注視頻度分布を取得することができる。

更にまた、視線検知手段１５の近赤外線カメラ１３で撮像した画像から運転者を識別するので、１台の車両を複数の運転者が使用する場合であっても、運転者毎の視線の方向から運転者毎の視認行動情報を取得することができる。

尚、図１６に示すように、ナビゲーションシステム２６のモニタ２８上の地図に運転者の視線の方向を重畳して表示することができ、図１７に示すように、テレビカメラ（不図示）で撮像した自車の進行方向先方の画像に運転者の視線の方向を重畳して表示することができる。

以上、本発明の実施の形態を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。

例えば、視線検知手段１５は実施の形態の構造に限定されず、任意の構造のものを採用することができる。

また実施の形態では視認行動情報をナビゲーションシステム２６のモニタ２８に表示しているが、専用のモニタに表示しても良い。

１３ 近赤外線カメラ（カメラ）
１５ 視線検知手段
Ｍ１ 記憶手段
Ｍ２ 視認行動情報生成手段
Ｍ３ 視認行動情報提示手段
Ｍ４ 危険度算出手段
Ｍ５ 運転者識別手段

Claims (6)

1. 車両の運転者の視線の方向を検知する視線検知手段（１５）と、
   前記視線検知手段（１５）により検知された視線の方向のデータを記憶する記憶手段（Ｍ１）と、
   運転の開始から終了までの１ドライブサイクル内に前記記憶手段（Ｍ１）に記憶されたデータから運転者の視認行動情報を生成する視認行動情報生成手段（Ｍ２）と、
   前記視認行動情報生成手段（Ｍ２）で生成した視認行動情報を前記運転の終了時に提示する視認行動情報提示手段（Ｍ３）とを備えることを特徴とする視認行動情報提示装置。
2. 前記視認行動情報は、注視対象領域毎の注視頻度または注視時間を含む情報であり、
   前記注視頻度および前記注視時間の少なくとも一方に基づいて危険度を算出する危険度算出手段（Ｍ４）を備え、
   前記視認行動情報提示手段（Ｍ３）は、前記視認行動情報生成手段（Ｍ２）で生成した視認行動情報に加えて前記危険度算出手段（Ｍ４）で算出した危険度を提示することを特徴とする、請求項１に記載の視認行動情報提示装置。
3. 前記視認行動情報は、運転者の視野における注視頻度分布を含む情報であり、
   前記視認行動情報提示手段（Ｍ３）は、前記注視頻度分布を運転者の視野に対応する車両室内の画像に重畳して提示することを特徴とする、請求項１または請求項２に記載の視認行動情報提示装置。
4. 前記記憶手段（Ｍ１）は、車両が走行する道路環境および車両が走行する時間帯の少なくとも一方と運転者の視線の方向とを対応づけて記憶し、
   前記視認行動情報生成手段（Ｍ２）は、前記道路環境または前記時間帯毎に前記注視頻度分布を生成可能であることを特徴とする、請求項３に記載の視認行動情報提示装置。
5. 前記視線検知手段（１５）は運転者を撮像するカメラ（１３）を含み、
   前記カメラ（１３）の画像から運転者を識別する運転者識別手段（Ｍ５）を備え、
   前記記憶手段（Ｍ１）は、前記運転者識別手段（Ｍ５）が識別した運転者毎に視線の方向を記憶することを特徴とする、請求項１〜請求項４の何れか１項に記載の視認行動情報提示装置。
6. 前記視認行動情報生成手段（Ｍ２）は、前記１ドライブサイクルの期間から車両が停止している期間を除外することを特徴とする、請求項１〜請求項５の何れか１項に記載の視認行動情報提示装置。

Images