JP2015138308A - 運転支援装置、運転支援方法及び運転支援プログラム - Google Patents

Abstract

【課題】 運転者の運転状況から適切な警告や診断を与えることができる「運転支援装置、運転支援方法及び運転支援プログラム」を提供する。【解決手段】 本発明の車載装置１００が実行する運転支援プログラム２００は、道路交通情報に関する対象物を撮像する対象物撮像手段２０２と、その対象物に基づき交通情報を取得する交通情報取得手段２０４と、運転者の視線方向を検知する視線方向検知手段２０６と、対象物の位置と視線方向とに基づき運転者が交通情報を視認したか否かを判定する視認判定手段２０８と、運転者が交通情報を視認するまでの視認時間を計測する視認時間計測手段２１０と、交通情報に対応する運転操作を検知する運転操作検知手段２１２と、運転者が交通情報を視認した時点から対応する運転操作が検知されるまでの操作反応時間を計測する操作反応時間計測手段２１４と、視認時間または操作反応時間がそれぞれ所定時間以上であったとき、警告を通知する警告通知手段２１６とを備えている。【選択図】 図４

Description

本発明は、運転手の安全運転を支援する運転支援装置に関し、特に、運転状況に対して、より適切な警告や診断等の通知を行うための警告通知方法に関する。

現在、運転手の安全運転を支援する運転支援技術が注目されている。運転支援技術は、例えば、車載装置等に搭載され、交通事故等を未然に防ぐことができる。このような車載装置は、例えば、運転手の運転状態に基づき、居眠りや運転疲労などによる危険運転を判別することで、その危険運転に対して警告を行うことができる。運転支援に関する技術は、例えば、引用文献１ないし３などに開示されている。

特許文献１には、運転集中度の判定を精度よく行うことを可能とした運転支援装置に関する技術が開示されている。当該運転支援装置では、自車両進路方向の信号機の灯色変化に対する運転者のブレーキ／アクセル操作が期待できる条件下において、当該操作が行われるまでの反応時間に基づいて運転集中度判定を行い、運転集中度の誤判定が生ずるのを防止し、判定精度を向上させている。

特許文献２には、運転特性の変化をより精度よく検出することができる車両情報提供装置及びナビゲーション装置に関する技術が開示されている。当該車両情報提供装置では、取得された変化情報が運転特性の低下を示す場合に、ドライバの運転操作に関して注意を促す提供情報がドライバに提供される。

特許文献３には、運転者がより安全に運転できる様に周囲の障害物に関する警告を提示することができる車両用警報装置に関する技術が開示されている。当該車両用警報装置では、運転者に不快感を与えることなく、また、右折、左折以外の状況でも警報を発することができ、運転者がより安全に運転できる様に周囲の障害物に関する警報を出すことができる。

特開２００９−９９０４８号公報 特開２０１１−２５２７７５号公報 特開平７−１１７５９３号公報

図８は、従来の運転支援装置の動作を説明する図である。従来の運転支援装置では、例えば、信号機が赤色に変化した時点から、運転者がブレーキ操作を行うまでの時間を計測し、これを運転手の反応時間としている。そして、運転支援装置は、計測された反応時間に基づき、例えば反応時間が一致値よりも長ければ、危険の警告を行っている。

しかしながら、従来の運転支援装置では、運転者が信号機の灯色を視認する時点を検出しないため、ブレーキ操作に対応する反応時間が、信号機の視認の遅延よる不注意が原因であるのか（原因１）、あるいは信号機の変化を視認したものの、運転疲労（漠然運転）が原因であるのか（原因２）、その要因を特定することができなかった。その結果、従来の運転支援装置では、運転者に対し必ずしも適切な警告または診断結果を与えることができなかった。

本発明は、このような従来の課題を解決するものであり、運転者の運転状況から適切な警告や診断を与えることができる運転支援装置、運転支援方法及び運転支援プログラムを提供することを目的とする。

本発明に係る運転支援装置は、道路交通情報に関する対象物を撮像する撮像手段と、前記対象物に基づき交通情報を取得する取得手段と、運転者の視線方向を検知する視線方向検知手段と、前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定手段と、前記交通情報が取得された時点から前記判定手段により運転者が前記交通情報を視認したと判定されるまでの視認時間を計測する視認時間計測手段と、運転者が交通情報を視認したと判定されたとき、運転者が交通情報を視認した時点から運転操作に反映されるまでの操作反応時間を計測する操作反応時間計測手段と、前記視認時間および前記操作反応時間の少なくとも一方が所定時間以上であったとき、警告を通知する警告手段とを有する。

本発明の他の運転支援装置は、道路交通情報に関する対象物を撮像する撮像手段と、前記対象物に基づき交通情報を取得する取得手段と、運転者の視線方向を検知する視線方向検知手段と、前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定手段と、前記取得手段が交通情報と取得したとき、前記交通情報が取得された時点から前記判定手段により運転手が前記交通情報を視認したと判定されるまでの視認時間を計測する視認時間計測手段と、前記視認時間が所定時間以上であったとき、警告を通知する警告手段とを有する。

本発明の他の運転支援装置は、道路交通情報に関する対象物を撮像する撮像手段と、前記対象物に基づき交通情報を取得する取得手段と、運転者の視線方向を検知する視線方向検知手段と、前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定手段と、運転者が交通情報を視認したと判定されたとき、運転者が交通情報を視認した時点から運転操作に反映されるまでの操作反応時間を計測する操作反応時間計測手段と、前記反応時間が所定時間以上であったとき、警告を通知する警告手段とを有する。

好ましくは運転支援装置はさらに、前記撮像手段により撮像された対象物の規制に対応する運転操作を検知する運転操作検知手段を含み、前記操作反応時間計測手段は、前記運転操作検知手段により検知された運転操作が検知されるまでの操作反応時間を計測する。好ましくは前記警告手段は、車両の走行中に警告を通知する。好ましくは前記警告手段は、車両の走行が終了したときに警告を通知する。好ましくは運転支援装置はさらに、自車位置に関する位置情報を取得する位置情報取得手段と、計測された視認時間または操作反応時間を記憶する記憶手段と、走行履歴を再現する再現手段とを有し、前記記憶手段は、計測された視認時間または操作反応時間に、前記位置情報を対応付けして記憶し、前記再現手段は、車両の走行経路上に存在する対象物への視認時間または操作反応時間および警告の有無を再現する。好ましくは前記警告手段は、前記記憶手段により順次蓄積された複数の視認時間または操作反応時間の時系列的な変化に基づき警告を通知する。好ましくは前記警告手段は、前記記憶手段により順次蓄積された複数の視認時間または操作反応時間の平均に基づき、警告を通知する。

本発明に係る運転支援方法は、道路交通情報に関する対象物を撮像する撮像ステップと、前記対象物に基づき交通情報を取得する取得ステップと、運転者の視線方向を検知する視線方向検知ステップと、前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定ステップと、前記取得ステップが交通情報と取得したとき、前記交通情報が取得された時点から前記判定ステップにより運転者が前記交通情報を視認したと判定されるまでの視認時間を計測する視認時間計測ステップと、運転者が交通情報を視認したと判定されたとき、運転者が交通情報を視認した時点から運転操作に反映されるまでの操作反応時間を計測する操作反応時間計測ステップと、前記視認時間および前記操作反応時間の少なくとも一方が所定時間以上であったとき、警告を通知する警告ステップとを有する。

本発明に係る運転支援プログラムは、運転を支援する運転支援装置において実行されるものであって、道路交通情報に関する対象物を撮像する撮像ステップと、前記対象物に基づき交通情報を取得する取得ステップと、運転者の視線方向を検知する視線方向検知ステップと、前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定ステップと、前記取得ステップが交通情報と取得したとき、前記交通情報が取得された時点から前記判定ステップにより運転者が前記交通情報を視認したと判定されるまでの視認時間を計測する視認時間計測ステップと、運転者が交通情報を視認したと判定されたとき、運転者が交通情報を視認した時点から運転操作に反映されるまでの操作反応時間を計測する操作反応時間計測ステップと、前記視認時間および前記操作反応時間の少なくとも一方が所定時間以上であったとき、警告を通知する警告ステップとを有する。

本発明によれば、運転者が交通情報を視認したか否かを判定し、視認をするまでの視認時間、および視認から運転操作までの操作反応時間を計測可能にすることで、運転者に対しより適切な警告や診断を提供することができる。

本発明の実施例に係る車載装置の構成を示すブロック図である。 車両の外部に配置される車外カメラの配置例を示す図である。 車両の内部に配置される車内カメラの配置例を示す図である。 本発明の実施例に係る運転支援プログラムの機能的な構成を示すブロック図である。 視認時間が所定時間以上であった場合における警告通知の表示例を示す図である。 操作反応時間が所定時間以上であった場合における警告通知の表示例を示す図である。 本実施例による運転支援プログラムによる運転支援動作を説明するフローチャートである。 本実施例による走行履歴情報の記憶例を説明する図である。 従来の運転支援装置の動作を説明する図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明の運転支援装置は、車両等の移動体上に固定的に搭載されるもの、ユーザーによって移動体に持ち込むことができるもの、あるいは移動体から着脱自在のものいずれの電子装置においても実行されることができる。好ましい態様では、本発明の運転支援装置は、車両の進行方向にある対象物および運転手の視線を撮像する撮像カメラを含み、運転者が対象物を視認したか否かを判定する判定手段を備える。これにより、運転者が交通情報を取得した時点から運転者が交通情報を視認するまでの視認時間、運転者が交通情報を視認した時点から運転操作に反映されるまでの操作反応時間の計測が可能になる。

本発明の運転支援装置は、運転支援機能以外に、ナビゲーション機能、外部から交通情報を受信する機能、車内の通信バスあるいはそれと等価なバスを介して自車の走行情報を取得する機能を備えるものであってもよい。さらに本発明の運転支援装置は、それ自身がナビゲーション機能を実行するための道路地図データを記憶装置に蓄積するものであってもよいし、データ通信手段を介して配信サイトもしくは配信サーバーなどから必要な道路地図データを取得するものであってもよい。以下の説明では、運転支援装置の一例として、車両に搭載された車載装置を例示する。

図１は、本発明の実施例に係る車載装置の構成を示すブロック図である。車載装置１００は、運転支援機能やナビゲーション機能等を備え、進行方向にある道路走行の規制等に関する対象物を撮像する車外カメラや運転者の視線を検知するための車内カメラを含む複数の撮像カメラ１００、自車の位置情報を取得する位置情報取得部１０４、ユーザーからの入力を受け取るユーザー入力部１０６、外部と有線または無線によるデータ通信を可能にするデータ通信部１０８、ディスプレイにナビゲーション画面や運転支援に関する警告や診断等を表示する表示部１１０、音声や警告音を出力する音声出力部１１２、道路地図データや各種プログラムを記憶する記憶部１１４、車内通信バスや外部機器との接続を可能にする外部インターフェース（Ｉ／Ｆ）１１６、各部を制御する制御部１１８を含んで構成される。ここに示される構成は一例であり、車載装置は、必ずしもこのような構成に限定されない。

撮像カメラ１０２は、例えば、車両の外部に設けられた車外カメラと、車両の内部に設置された車内カメラを含む。車外カメラは、車両の進行方向を撮像するものであって、道路交通情報に関する対象物（信号機、道路標識、停止線、踏み切りなど）を撮像することができる。車内カメラは、運転者の視線を検知するため、運転者の顔部分を撮像することができる。

図２は、車両の外部に配置される車外カメラの配置例を示す図である。車外カメラ１４０は、例えば、車両１４２の前方先端部付近に設置され、車両１４２の進行方向を撮像する。撮像された画像は、制御部１１８へ提供され、道路交通情報に関する対象物を特定し、その対象物から交通情報を取得するために用いられる。但し、車外カメラ１４０は、このような配置例に限らず、車両１４０の前方の左右両側の先端部付近に２つまたは複数設置してもよい。複数の撮像カメラを利用した場合、複数の視点により進行方向の対象物を撮像することができるため、対象物までの距離を撮像データから算出することができる。また、本実施例では、車外カメラを用いるが、車内に設置された撮像カメラにより車両の進行方向の対象物を撮像してもよい。

図３は、車両の内部に配置される車内カメラの配置例を示す図である。車内カメラ１５０は、例えば、コラムカバー１５２上に配置される。そして、車内カメラ１５０は、ステアリング１５４の合間を通して、運転手１５６の顔を撮像することができる。撮像された顔画像データは、制御部１１８へ提供され、そこで画像処理が行われ、運転者１５６の視線が検知される。撮像された画像データから顔の輪郭を抽出したり、顔の目や眉毛などを抽出することで、顔や視線の方向を検出することができる。このような検知は、公知の技術を用いて行うことができる。また、車内カメラ１５０は、このような配置例に限らず、ルームミラーやダッシュボードなど、運転者を撮像可能な位置であればどこに配置してもよい。

位置情報取得部１０４は、例えば、ＧＰＳ衛星１３６（図１（Ｂ）を参照）から送信される信号を利用して自車の絶対位置を検出するＧＰＳ受信装置、および／またはジャイロセンサや加速度センサなどから自車の相対位置情報を検出し、これらの検出結果を制御部１１８へ提供する。また、位置情報取得部１０４は、図１（Ｂ）に示すように、ネットワーク１２０を介して位置情報配信サイト（または配信サーバー）１３０にアクセスし、そこから自車位置情報を取得することもできる。この場合、ネットワーク１２０への接続は、データ通信部１０８を介して行われる。

ユーザー入力部１０６は、ユーザーとナビゲーション装置１００との間のインターフェースを提供する。ユーザー入力部１０６は、入力キーデバイス、タッチパネル、音声認識装置などを含むことができる。データ通信部１０８は、ＷｉＦｉ、ＬＡＮ、赤外線通信、電話回線などを利用した有線または無線によるデータ通信を可能にする。

データ通信部１０８は、その機能が車載装置に内蔵されるものでもよいし、携帯電話やスマートフォンなどを外部接続しその通信機能を利用するものであってもよい。上記したように、データ通信部１０８は、図１（Ｂ）に示すようなネットワーク１２０を介して種々のデータ配信サイトに接続することを可能にする。

表示部１１０は、運転手の安全運転を支援するため、運転手の不注意や運転疲労（漠然運転）を警告する警告画面、運転手の運転傾向を診断する診断画面、目的地までの誘導経路を案内するときの道路地図などナビゲーション画面を表示し、好ましくはタッチパネル対応のディスプレイ等を含む。音声出力部１１２は、警告画面、通知画面あるいはナビゲーション画面の表示に併せて、警告音、あるいは誘導経路の案内を出力するスピーカ等を含む。

記憶部１１４は、車載装置１００のナビゲーション動作に必要な道路地図データなどを記憶している。一つの例では、記憶部１１４は、大容量の記憶装置を含み、ここに道路地図データや施設データなどのデータベースを蓄積することができる。他の例では、記憶部１１４は、図１（Ｂ）に示すようにネットワーク１２０を介して道路地図データ配信サイト１３２にアクセスし、そこから必要な道路地図データ等を取得することができる。

記憶部１１４は、さらに、道路交通情報に関する対象物を特定するためのパターン情報、、交通情報とそれに対応する運転操作に関する情報との相関関係等を示す各種対応情報などを記憶する。また、記憶部１１４はさらに、車両の走行履歴や、道路交通情報に関する対象物を視認したときに計測された視認時間や操作反応時間などの履歴データを走行履歴と関連付けして蓄積し、記憶することができる。

外部インターフェース１１６は、外部機器との接続の他に、車内通信バス等に接続され、車両に搭載される加速度センサやジャイロセンサなどの各種センサに接続される。これにより、制御部１１８は、各種センサの出力に基づき、走行速度、走行距離や走行方向などの車両情報を検知することができる。

制御部１１８は、好ましい態様では、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラから構成され、ＲＯＭまたはＲＡＭは、車載装置の各部の動作を制御するための種々のプログラムを格納することができる。本実施例の制御部１１８は、撮像カメラ１０２によって撮像されたデータを画像処理するプロセッサや処理プログラムを包含し、道路交通情報に関する対象物の特定や運転者の視線の検出等を行う。さらに制御部１１８は、運転者による道路交通情報の視認の有無等を判定し、計測される視認時間あるいは操作反応時間に応じて警告や診断を通知する運転支援プログラムを保持する。

本実施例による運転支援プログラムの機能的な構成を図４に示す。運転支援プログラム２００は、図４に示すように、道路交通情報に関する対象物を撮像する対象物撮像手段２０２と、その対象物の撮像データに基づき交通情報を取得する交通情報取得手段２０４と、運転者を撮像した顔画像データから視線方向を検知する視線方向検知手段２０６と、対象物の位置と視線方向とに基づき、運転者が交通情報を視認したか否かを判定する視認判定手段２０８と、交通情報取得手段２０４によって交通情報が取得されたとき、運転者がその交通情報を視認するまでの視認時間を計測する視認時間計測手段２１０と、取得した交通情報に対応する運転操作を検知する運転操作検知手段２１２と、運転者が交通情報を視認した時点から対応する運転操作が検知されるまでの操作反応時間を計測する操作反応時間計測手段２１４と、視認時間または操作反応時間がそれぞれ所定時間以上であったとき、警告が必要であるか否かを判定し、警告が必要である場合には警告等を通知する警告通知手段２１６とを備えている。

対象物撮像手段２０２は、車外カメラを用いて、車両の進行方向に存在する道路交通情報に関する対象物を撮像し、その画像データを生成する。対象物は、例えば、信号機、道路標識、停止線、踏み切りなどである。対象物撮像手段２０２は、運転の開始と共に起動され、あるいは車両が一定速度以上で走行するときに起動される。対象物撮像手段２０２は、車両の前方から一定距離内に存在する対象物を撮像できるように撮像方向や焦点距離等が予め設定される。対象物撮像手段２０２によって撮像された画像データは交通情報取得手段２０４へ提供される。

交通情報取得手段２０４は、対象物撮像手段２０２により撮像された画像データを画像解析することで、対象物である信号機の灯色や道路標識の種別などを特定し、特定された対象物の交通情報を取得する。対象物の特定は、例えば、予め用意されたパターン情報と画像データとのパターンマッチングにより行われる。また、交通情報には、規制の対象となるものとそうでないものとが含まれる。道路標識や停止線などの状態が変化しない対象物でれば、交通情報は一義的であり、従って規制対象か否かも固定的である。他方、信号機や踏切などは、状態が動的に変化するので、その状態に応じて規制対象であるときとそうでないときを含む。例えば、交差点の信号機の灯色が青であれば規制対象でない交通情報であり、灯色が青から黄色、または黄色から赤に変化したとき、あるいは赤が点灯されているときには、交差点で停止する旨の規制対象の交通情報である。踏切の灯色が点灯しているときまたは遮断機が下がっているときには、踏切で停止する旨の規制対象の交通情報が取得される。対象物と、規制対象か否かの交通情報との対応関係は、記憶部１１４に記憶させることができる。また、交通情報取得手段２０４は、上記したように複数の撮像カメラにより対象物を撮像している場合には、画像データから対象物までの距離情報を算出することができる。

視線方向検知手段２０６は、車内カメラにより撮像される運転者の顔画像データに基づき運転者の視線方向を検知する。視線方向検知手段２０６は、顔画像データを各種パターン情報とマッチングすることで、顔の向きや瞳孔の位置に基づきその視線方向を検知する。視線方向検知手段２０６は、好ましくは、一定の基準方向に対して運転者がどの角度の方向に視線を向けているかを検知する。

視認判定手段２０８は、対象物撮像手段２０２により撮像された対象物の方向や位置と、視線方向検知手段２０６により検知された視線方向とに基づき、運転者が交通情報（対象物）を視認したか否かを判定する。視認判定手段２０８は、対象物撮像手段２０２により撮像される画像データに基づき、運転者の視点から見たとき、対象物がどの方向にあるかを特定する。例えば、画像データに含まれる１つまたは複数の画像フレーム内の対象物の位置から、対象物が自車の進行方向または正面を向いた運転者を基準にしてどの角度範囲αの方向に存在するのかを算出する。また、交通情報取得手段２０４が対象物までの距離を算出した場合には、この距離情報に基づき、対象物の角度範囲αをさらに正確に算出するようにしてもよい。視認判定手段２０８は、特定された対象物の方向（角度範囲α）と、検知された運転手の視線方向とが一致したとき、あるいは角度範囲から一定の範囲内に属するとき、運転者が交通情報を視認したと判定する。

視認時間計測手段２１０は、交通情報取得手段２０４により交通情報が取得されたとき、その時点から時間計測を開始し、視認判定手段２０８により運転者が交通情報を視認したと判定されるまでの視認時間を計測する。例えば、視認時間計測手段２１２は、信号機の灯色が赤色に変化した時点から運転者が信号機を確認するまでの視認時間を計測することができる。計測された視認時間が一定時間以上であるとき、運転者の不注意が推定され、警告通知の対象となり得る。

運転操作検知手段２１２は、交通情報取得手段２０４により取得された交通情報に対応する運転操作を検知する。例えば、交通情報取得手段２０４により信号機の灯色の変化（赤色への変化）や一時停止が取得されると、運転操作検知手段２１２は、それらに対応する運転操作として運転者のブレーキ操作を検知することができる。交通情報とそれに対応する運転操作については、上記したように記憶部１１４に記憶された対応情報が参照される。

操作反応時間計測手段２１４は、視認判定手段２０８により運転手が交通情報を視認したと判定された時点から時間計測を開始し、運転操作検知手段２１２により運転手の運転操作が検知されるまでの操作反応時間を計測することができる。例えば、操作反応時間計測手段２１４は、運転手が信号機を確認した時点からブレーキ操作するまでの操作反応時間を計測することができる。ここで、操作反応時間の遅れは、図８に示すように、脳による処理能力の低下により生じるものであり、これは運転疲労（漠然運転）が原因であると推定され、警告および不適正運転の対象となる。操作反応時間は、運転疲労と相関するため、運転時間が長期化した場合、運転者の操作反応時間は長くなる。

警告通知手段２１６は、視認時間または操作反応時間がそれぞれ対応する所定時間以上であったとき、警告を通知することができる。警告は、警告音や警告表示により通知される。警告を判定するための時間は、一般的な視認時間や操作反応時間の分布に基づく判定時間として固定的に設定されてもよいが、これ以外にも、過去に計測された運転者個人の履歴データに基づき、各運転者に応じた判定時間を設定してもよい。さらには、現在の走行時間、あるいは現在の運転期間中に警告対象となる運転が一定回数以上繰り返された場合には、それらを考慮して判定時間を可変するようにしてもよい。

好ましい態様では、警告通知手段２１６は、走行中、視認時間および操作反応時間が計測される度に判定を行い、警告通知を行うことができるが、これ以外にも、一時停止や駐車した際に運転者の運転状況を伝えるための診断を通知するようにしてもよい。この場合、走行中に蓄積された複数の交通情報に対する運転者の視認時間や操作反応時間の平均値、あるいは変化に応じて警告を通知することができる。例えば、交通情報が複数回視認されたとき、それらの視認時間や操作反応時間の平均値が、一般的に適正運転で許容できる時間を越えたとき、その旨を警告したり、視認時間や操作反応時間が長くなる傾向があるとき、その旨を警告することができる。さらに、駐車時など運転走行が終了した後に診断目的の警告通知が行われる場合、警告通知手段２１６は、運転走行時に計測された複数の視認時間や操作反応時間、および／または過去に蓄積された視認時間や操作反応時間を平均し、その運転者による運転走行をトータル的に判断して警告を通知してもよい。なお、警告通知手段２１６による警告を通知するタイミングは、上記以外にも、ユーザー設定により行うことも可能である。

図５は、視認時間が所定時間以上であった場合における警告通知の表示例を示す図である。警告通知手段２１６は、計測された視認時間が所定時間以上であったとき、表示画面２４０の中央部に「危険に気づくのが遅いです。わき見運転に気をつけましょう。」との警告表示２４２を提示する。これにより、運転者は、運転中の不注意に気づくことができ、安全運転を心がけることができる。

図６は、操作反応時間が所定時間以上であった場合における警告通知の表示例を示す図である。警告通知手段２１６は、計測された操作反応時間が所定時間以上であったとき、表示画面２４０の中央部に「運転疲労を起こしています。休憩してください。」との警告表示２４４を提示する。これにより、運転者は、運転疲労（漠然運転）に気づくことができ、休憩が必要であることを自覚することができる。

次に、本実施例による車載装置が運転支援プログラムに従い、警告通知を行う運転支援動作を図７のフローチャートを参照して説明する。ここでは、運転走行中に警告を行う運転支援動作について説明する。

車載装置１００は、エンジンが始動され、運転走行が開始されるとき、制御部１１８は、運転支援プログラムを起動させ、運転支援を開始する。制御部１８０は、これ以外にも、位置情報取得部１０４により取得された自車位置に応じて、車両が交差点や踏み切り手前など、通行規制がある地点に近づいたとき、運転支援プログラム２００を起動してもよい。

運転支援プログラム２００が起動されると、対象物撮像手段２０２は、車外カメラを用いて、車両の進行方向にあり、通行を規制する信号機などの対象物を撮像する（Ｓ１０１）。そして、交通情報取得手段２０４は、撮像された画像データに基づき、例えば、信号機が灯色の変化を抽出し、「停止」すべきとの交通情報を取得する（Ｓ１０２）。規制の対象となる交通情報が取得されると、視認時間計測手段２１０は、視認時間のための計測が開始される。

一方、視線方向検知手段２０６は、規制対象の交通情報が取得されると、車内カメラにより撮像される顔画像に基づき、運転者の視線方向を検知する（Ｓ１０３）。運転者の視線方向は、視線方向検知手段２０６により常時モニタリングされ、検知された視線方向は、視認判定手段２０８へと伝達される。

視認判定手段２０８は、対象物撮像手段２０２により撮像される対象物の方向または位置と視線方向検知手段２０６により検知される視線方向との関係に基づき、運転者が交通情報を視認したか否かを判別する。例えば、運転者の視線が信号機や道路標識等に向けられたとき、運転者の視認動作が行われたと判定する（Ｓ１０４）。

視認判定手段２０８により運転者が交通情報を視認したと判定されると、視認時間計測手段２１０は、交通情報取得手段２０４により交通情報を取得した時点から、視認判定手段２０８により運転者が交通情報を視認したと判定されるまでの視認時間を計測する（Ｓ１０５）。計測された視認時間は、警告通知手段２１６へ提供される。

警告通知手段２１６は、予め設定されている判定時間に基づき、視認時間が所定時間以上であるかを判定することで、運転手の視認動作に遅れがあるか否かを判定する（Ｓ１０６）。視認動作に遅れがある場合には、警告通知手段２１６は、図５に示す警告表示２４２や警告音により、運転者に不注意運転を警告して注意を喚起する。

一方、運転操作検知手段２１２は、規制対象の交通情報に対応する運転操作の有無を検知する（Ｓ１０８）。例えば、交通情報として「停止」との情報が取得された場合には、運転操作検知手段２１２は、対応情報に基づき、「ブレーキ操作」の有無を検知する。また、操作反応時間計測手段２１４は、視認判定手段２０８により運転手が交通情報を視認したと判定された時点から操作反応時間の計測を開始し、運転操作検知手段２１２により運転操作が検知されるまでの操作反応時間を計測する（Ｓ１０９）。計測された操作反応時間は、警告通知手段２１６へ提供される。

警告通知手段２１６は、予め設定されている判定時間に基づき、操作反応時間が判定時間以上であるかを判定し、運転者の運転操作（操作反応動作）に遅れがあるか否かを判定する（Ｓ１１０）。運転操作に遅れがある場合には、警告通知手段２１６は、図６に示すような警告表示２４４や警告音により、運転手に運転疲労（漠然運転）を警告し、休憩が必要なことを通知する。

このように、車載装置１００は、運転操作の遅れが、運転者の不注意によるものであるか、あるいは運転者の運転疲労（漠然運転）によるものであるかを明確に区別し、運転者に、不注意および運転疲労に応じた警告通知を行うことができる。これにより、運転者は、提示された警告通知により、不注意運転や漠然運転に気づくことができ、対応することができる。

上記の動作フローでは、運転走行中に警告通知を行ったが、例えば、計測された視認時間や操作反応時間を順次記憶部に蓄積しておき、自車が一時停止や駐車した際に警告通知を行ってもよい。視認時間や操作反応時間を順次蓄積している場合、複数の視認時間や操作反応時間の時系列的な変化に基づき警告を通知してもよい。

さらに、本実施例の運転支援プログラムは、サンプリングされた視認時間や操作反応時間を、運転手の運転傾向の診断に用いることができる。例えば、複数の期間にわたってサンプリングされた視認時間や操作反応時間の分布を作成し、標準的な運転者の分布と比較することで、運転者の運転診断を行うことができる。運転診断結果として、例えば、「不注意による視認の遅れが多いです。」、「運転疲労（漠然運転）による運転操作の遅れが目立ちます。」などを、運転終了時に提示するようにしてもよい。これにより、運転者は、自己の運転傾向の客観的な評価を得ることができ、今後の運転操作に活かすことができる。

本実施例の運転支援プログラムはさらに、車両の位置情報を取得する位置情報取得手段と、計測された視認時間及び操作反応時間を記憶する記憶手段と、走行履歴を再現する再現手段とを有し、視認時間および操作反応時間が計測されたとき、車両の位置情報を対応付けして記憶し、後に、走行状態を仮想的に再現させることができる。記憶手段は、例えば図７Ａに示すように、走行日時と、当該走行日時に走行したルート、走行ルート上で取得された交通情報、交通情報についての視認時間および操作反応時間、警告の有無等を関連付けしたデータをロギングしこれを蓄積する。例えば、運転終了時に、ナビゲーション画面に、車両の走行ルートを表示させ、走行ルート上に存在した交通情報への視認時間、操作反応時間、および警告の有無等を示し、自己の運転走行を振り返らせることができる。さらに、このようなロギングされた履歴情報は、上記したように運転者の一定期間内における運転診断、あるいは特定ルートにおける運転診断にも利用することができる。

さらに本実施例の運転支援プログラムは、ナビゲーション機能と併用されるものであってもよい。例えば、目的地までのルート探索が成され、当該ルートに沿った案内が行われているとき、交差点の右左折は既知である。このような場合、交通情報取得手段２０４は、信号機の右矢印等の交通情報を取得し、これに関連する運転操作としてウィンカー操作が行われたか否かが運転操作検知手段２１２によって検知されるようにすることができる。

本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形・変更が可能である。

１００：車載装置 １０２：撮像カメラ
１０４：位置情報取得部 １０６：ユーザー入力部
１０８：データ通信部 １１０：表示部
１１２：音声出力部 １１４：記憶部
１１６：外部インターフェース １１８：制御部
１２０：ネットワーク １３０〜１３４：配信サイト
１３６：衛星 １４０：車外カメラ
１４２：車両 １５０：車内カメラ
１５２：コラムカバー １５４：ステアリング
１５６：運転手 ２００：運転支援プログラム
２０２：対象物撮像手段 ２０４：交通情報取得手段
２０６：視線方向検知手段 ２０８：視認判定手段
２１０：視認時間計測時間 ２１２：運転操作検知手段
２１４：操作反応時間計測手段 ２１６：警告通知手段
２４０：表示画面 ２４２、２４４：警告表示

Claims (20)

1. 道路交通情報に関する対象物を撮像する撮像手段と、
   前記対象物に基づき交通情報を取得する取得手段と、
   運転者の視線方向を検知する視線方向検知手段と、
   前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定手段と、
   前記交通情報が取得された時点から前記判定手段により運転者が前記交通情報を視認したと判定されるまでの視認時間を計測する視認時間計測手段と、
   運転者が交通情報を視認したと判定されたとき、運転者が交通情報を視認した時点から運転操作に反映されるまでの操作反応時間を計測する操作反応時間計測手段と、
   前記視認時間および前記操作反応時間の少なくとも一方が所定時間以上であったとき、警告を通知する警告手段と、
   を有する運転支援装置。
2. 道路交通情報に関する対象物を撮像する撮像手段と、
   前記対象物に基づき交通情報を取得する取得手段と、
   運転者の視線方向を検知する視線方向検知手段と、
   前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定手段と、
   前記取得手段が交通情報と取得したとき、前記交通情報が取得された時点から前記判定手段により運転手が前記交通情報を視認したと判定されるまでの視認時間を計測する視認時間計測手段と、
   前記視認時間が所定時間以上であったとき、警告を通知する警告手段と、
   を有する運転支援装置。
3. 道路交通情報に関する対象物を撮像する撮像手段と、
   前記対象物に基づき交通情報を取得する取得手段と、
   運転者の視線方向を検知する視線方向検知手段と、
   前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定手段と、
   運転者が交通情報を視認したと判定されたとき、運転者が交通情報を視認した時点から運転操作に反映されるまでの操作反応時間を計測する操作反応時間計測手段と、
   前記反応時間が所定時間以上であったとき、警告を通知する警告手段と、
   を有する運転支援装置。
4. 運転支援装置はさらに、前記撮像手段により撮像された対象物の規制に対応する運転操作を検知する運転操作検知手段を含み、前記操作反応時間計測手段は、前記運転操作検知手段により検知された運転操作が検知されるまでの操作反応時間を計測する、請求項１または３に記載の運転支援装置。
5. 前記警告手段は、車両の走行中に警告を通知する、請求項１ないし４いずれか１つに記載の運転支援装置。
6. 前記警告手段は、車両の走行が終了したときに警告を通知する、請求項１ないし３に記載いずれか１つに記載の運転支援装置。
7. 運転支援装置はさらに、自車位置に関する位置情報を取得する位置情報取得手段と、計測された視認時間または操作反応時間を記憶する記憶手段と、走行履歴を再現する再現手段とを有し、
   前記記憶手段は、計測された視認時間または操作反応時間に、前記位置情報を対応付けして記憶し、前記再現手段は、車両の走行経路上に存在する対象物への視認時間または操作反応時間および警告の有無を再現する、請求項１ないし３いずれか１つに記載の運転支援装置。
8. 前記警告手段は、前記記憶手段により順次蓄積された複数の視認時間または操作反応時間の時系列的な変化に基づき警告を通知する、請求項７に記載の運転支援装置。
9. 前記警告手段は、前記記憶手段により順次蓄積された複数の視認時間または操作反応時間の平均に基づき、警告を通知する、請求項７に記載の運転支援装置。
10. 道路交通情報に関する対象物を撮像する撮像ステップと、
    前記対象物に基づき交通情報を取得する取得ステップと、
    運転者の視線方向を検知する視線方向検知ステップと、
    前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定ステップと、
    前記取得ステップが交通情報と取得したとき、前記交通情報が取得された時点から前記判定ステップにより運転者が前記交通情報を視認したと判定されるまでの視認時間を計測する視認時間計測ステップと、
    運転者が交通情報を視認したと判定されたとき、運転者が交通情報を視認した時点から運転操作に反映されるまでの操作反応時間を計測する操作反応時間計測ステップと、
    前記視認時間および前記操作反応時間の少なくとも一方が所定時間以上であったとき、警告を通知する警告ステップと、
    を有する運転支援方法。
11. 運転支援方法はさらに、撮像ステップにより撮像された対象物の規制に対応する運転操作を検知する運転操作検知ステップを含み、前記操作反応時間計測ステップは、前記運転操作検知ステップにより検知された運転操作が検知されるまでの操作反応時間を計測する、請求項１０に記載の運転支援方法。
12. 前記警告ステップは、車両の走行中に警告を通知する、請求項１０または１１に記載の運転支援方法。
13. 前記警告ステップは、車両の走行が終了したときに警告を通知する、請求項１０または１１に記載いずれか１つに記載の運転支援方法。
14. 運転支援方法はさらに、自車位置に関する位置情報を取得する位置情報取得ステップと、計測された視認時間または操作反応時間を記憶する記憶ステップと、走行履歴を再現するステップとを有し、
    前記記憶するステップは、計測された視認時間または操作反応時間に、前記位置情報を対応付けして記憶し、前記再現するステップは、車両の走行経路上に存在する対象物への視認時間または操作反応時間および警告の有無を再現する、請求項１０ないし１３いずれか１つに記載の運転支援方法。
15. 前記警告ステップは、前記記憶ステップにより順次蓄積される複数の視認時間または操作反応時間の時系列的な変化に基づき警告を通知する、請求項１３に記載の運転支援方法。
16. 前記警告するステップは、前記記憶ステップにより順次蓄積された複数の視認時間または操作反応時間の平均に基づき、警告を通知する、請求項１３に記載の運転支援方法。
17. 運転を支援する運転支援装置において実行される運転支援プログラムにおいて、
    道路交通情報に関する対象物を撮像する撮像ステップと、
    前記対象物に基づき交通情報を取得する取得ステップと、
    運転者の視線方向を検知する視線方向検知ステップと、
    前記対象物の位置と前記視線方向とに基づき、運転者が交通情報を視認したか否かを判定する判定ステップと、
    前記取得ステップが交通情報と取得したとき、前記交通情報が取得された時点から前記判定ステップにより運転者が前記交通情報を視認したと判定されるまでの視認時間を計測する視認時間計測ステップと、
    運転者が交通情報を視認したと判定されたとき、運転者が交通情報を視認した時点から運転操作に反映されるまでの操作反応時間を計測する操作反応時間計測ステップと、
    前記視認時間および前記操作反応時間の少なくとも一方が所定時間以上であったとき、警告を通知する警告ステップと、
    を有する運転支援プログラム。
    
18. 運転支援プログラムはさらに、撮像ステップにより撮像された対象物の規制に対応する運転操作を検知する運転操作検知ステップを含み、前記操作反応時間計測ステップは、前記運転操作検知ステップにより検知された運転操作が検知されるまでの操作反応時間を計測する、請求項１７に記載の運転支援プログラム。
19. 運転支援プログラムはさらに、自車位置に関する位置情報を取得する位置情報取得ステップと、計測された視認時間または操作反応時間を記憶する記憶ステップと、走行履歴を再現するステップとを有し、
    前記記憶するステップは、計測された視認時間または操作反応時間に、前記位置情報を対応付けして記憶し、前記再現するステップは、車両の走行経路上に存在する対象物への視認時間または操作反応時間および警告の有無を再現する、請求項１７または１８に記載の運転支援プログラム。
20. 前記警告ステップは、前記記憶ステップにより順次蓄積される複数の視認時間または操作反応時間の時系列的な変化に基づき警告を通知する、請求項１７ないし１９いずれか１つに記載の運転支援プログラム。
    

Images