JP2020077220A - 視認対象検知装置、視認対象検知方法、およびプログラム - Google Patents

Abstract

【課題】運転者が視認している対象を適切に検知できる新規な視認対象検知装置を提供する。【解決手段】視認対象検知装置１は、運転者を撮影するカメラ１０と、カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部１１と、カメラにて撮影した画像から運転者の視線を検知する視線検知部１２と、視線検知部１２にて視線が検知できた場合に、当該視線データを記憶する記憶部１５と、視線または顔向きから運転者が視認している視認対象を推定する視認対象推定部１３と、視認対象推定部１３にて推定した視認対象を示す情報を出力する出力部１４とを備える。視認対象推定部１３は、顔向き検知部１１にて検知した顔向きが所定の角度以下のときに、視線検知部１２にて視線が検知できていれば、その視線データに基づいて視認対象を推定し、視線検知部１２にて視線が検知していなければ、記憶部１５に記憶された視線データに基づいて視認対象を推定する。【選択図】図１

Description

本発明は、運転者が視認した対象を検知する技術に関する。

従来から、自動車の運転中に運転者が視認した対象を検知する装置が知られている。例えば、特許文献１は、運転者の顔向きと視線とに基づいて運転者が視認した領域を推定する発明を開示している。

特許文献１に記載された発明は、太陽光やイルミネーション等の光源の影響やメガネ等の影響により、運転者の眼球の位置が検出できないときに、視認領域の推定が困難になることを課題としている。特許文献１では、運転者の顔が所定の方向を見ている滞留時間が所定の時間を超えたときに、顔向きから求められる暫定方向を補正して視認領域を推定する発明であり、このときに用いられる補正値について様々な工夫をしたものである。

特開２０１１−１６４７１２号公報

顔向きと視線とに基づいて運転者が視認した領域を推定する場合、顔向きと視線を検知するデバイスの設置位置や台数の制限から、顔向きに比べると視線の検知範囲の方が狭くなる。一方、検知範囲の広い顔向きに関しては、運転者は、追突を避けるために注視対象の変更に素早く対応するために、スピードメーターやバックミラーを見る時は、顔をほとんど動かさず、目だけを動かすことが、本発明者らのこれまでの研究からわかっている。

上記した特許文献１では、顔向きから視認領域を推定しているが、顔の動かし方には個人差があるので、その違いを補正するためのキャリブレーションが必要である。したがって、視認対象物の推定には、顔向きよりも視線の向きを用いる方が好ましい。

本発明は、上記背景に鑑み、運転者が視認している対象を適切に検知できる新規な視認対象検知装置を提供することを目的とする。

本発明の視認対象検知装置は、運転者を撮影するカメラと、前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、前記視線検知部にて視線が検知できた場合に、当該視線データを記憶する記憶部と、視線または顔向きから運転者が視認している視認対象を推定する視認対象推定部と、前記視認対象推定部にて推定した視認対象を示す情報を出力する出力部とを備え、前記視認対象推定部は、前記顔向き検知部にて検知した顔向きが所定の角度以下のときに、前記視線検知部にて視線が検知できていれば、その視線データに基づいて視認対象を推定し、前記視線検知部にて視線が検知できていなければ、前記記憶部に記憶された視線データに基づいて視認対象を推定する。

本発明によれば、運転者の顔向きが所定の角度以下のときには、運転者の視線を用いて視認対象を推定する。瞬き等により運転者の視線が検知できていない場合に、記憶部に記憶された、以前に検知した視線データのうちの最新の視線データに基づいて、適切に視認対象を推定できる。ここで、「所定の角度」とは、運転者の正面方向を０°として、視線を水平方向（パン方向）へ振った角度で規定される。なお、視線を検知できた場合に、視認対象推定部は、記憶部にいったん記憶された視線データを読み出して用いてもよいし、視線検知部から直接に視線データを受けてもよい。

本発明の視認対象検知装置において、前記視認対象推定部は、前記顔向き検知部にて検知した顔向きが所定の角度より大きいときに、前記視線検知部にて視線が検知できていれば、その視線データと前記顔向きデータとに基づいて視認対象を推定し、前記視認検知部にて視線が検知できていなければ、前記記憶部に記憶された視線データと前記顔向きデータとに基づいて視認対象を推定してもよい。

このように顔向きが所定の角度より大きいときに、視線が検知できていれば、視線データと顔向きのデータとに基づいて視認対象を精度良く推定できる。視線が検知できていなければ、以前に検知した視線データのうちの最新の視線データと、顔データとに基づいて視認対象を推定する。このように、視線が検知できていない場合でも、最後に検知できた視線データを用いることにより、顔向きの個人差の影響を低減した視認対象の推定が可能となる。なお、視線を検知できた場合に、視認対象推定部は、記憶部にいったん記憶された視線データを読み出して用いてもよいし、視線検知部から直接に視線データを受けてもよい。

本発明の視認対象検知装置において、前記視認対象推定部は、前記顔向き検知部にて検知した顔向きが所定の角度より大きいときには、顔向きのデータに基づいて視認対象を推定してもよい。このように顔向きが所定の角度より大きいときには、顔向きに基づいて視認対象を推定できる。

本発明の視認対象検知装置において、前記記憶部には、前記視線検知部にて視線が検知できたか否かを示すデータを記憶してもよい。これにより、記憶部に記憶された視線データが過去に検知された視線データなのか、顔向きデータと共に検知された視線データなのかを区別できる。

本発明の視認対象検知装置において、前記視線検知部は、視線を検知できなかったことを示すフラグを出力する機能を有し、前記視線検知部からフラグを取得したときには、前記記憶部の視線データを更新しない構成としてもよい。なお、記憶部に視線を検知できなかったことを示すデータを記憶する構成にあっては、フラグを取得したときに、記憶部に視線を検知できなかったことを示すデータを記憶してもよい。

このように視線検知部から、視線を検知できなかったことを示すフラグを取得する構成により、視線を検知できなかったことを把握できる。

本発明の視認対象検知方法は、視認対象検知装置によって運転者の視認対象を検知する方法であって、前記視認対象検知装置が、運転者を撮影するカメラにて撮影した画像から運転者の顔向きを検知する顔向き検知ステップと、前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の視線を検知する視線検知ステップと、前記視認対象検知装置が、前記視線検知ステップにて視線が検知できた場合には、記憶部に当該視線データを記憶するステップと、前記視認対象検知装置が、視線または顔向きから運転者が視認している視認対象を推定する視認対象推定ステップと、前記視認対象検知装置が、前記視認対象推定ステップにて推定した視認対象を示す情報を出力するステップとを備え、前記視認対象推定ステップは、前記顔向き検知ステップにて検知した顔向きが所定の角度以下のときに、前記視線検知ステップにて視線が検知できていれば、その視線データに基づいて視認対象を推定し、前記視線検知ステップにて視線が検知できていなければ、前記記憶部に記憶された視線データに基づいて視認対象を推定し、前記顔向き検知ステップにて検知した顔向きが所定の角度より大きいときに、前記視線検知ステップにて視線が検知できていれば、その視線データと前記顔向きデータとに基づいて視認対象を推定し、前記視認検知ステップにて視線が検知できていなければ、前記記憶部に記憶された視線データと前記顔向きデータとに基づいて視認対象を推定する。

本発明のプログラムは、運転者の視認対象を検知するためのプログラムであって、運転者を撮影したカメラ画像から運転者の顔向きを検知する顔向き検知部と、前記カメラ画像から運転者の視線を検知する視線検知部と、に接続されたコンピュータを、前記顔向き検知部から運転者の顔向きデータを取得する顔向きデータ取得手段、前記視線検知部から運転者の視線データを取得する視線データ取得手段、前記視線データ取得手段にて視線データを取得できた場合に、当該視線データを記憶する記憶手段、視線または顔向きから運転者が視認している視認対象を推定する視認対象推定手段、前記視認対象推定手段にて推定した視認対象を示す情報を出力する出力手段、として機能させ、前記視認対象推定手段は、前記顔向きデータ取得手段で取得した顔向きデータが所定の角度以下のときに、前記視線データ取得手段で視線データを取得できていれば、その視線データに基づいて視認対象を推定し、前記視線データ取得手段で視線データを取得できていなければ、前記記憶手段に記憶された視線データに基づいて視認対象を推定し、前記顔向きデータ取得手段で取得した顔向きデータが所定の角度より大きいときに、前記視線データ取得手段で視線データを取得できていれば、その視線データと前記顔向きデータとに基づいて視認対象を推定し、前記視線データ取得手段で視線データを取得できていなければ、前記記憶手段に記憶された視線データと前記顔向きデータとに基づいて視認対象を推定する。

本発明によれば、運転者が視認している対象を適切に検知できるという効果を有する。

実施の形態の視認対象検知装置の構成を示す図である。 車内において視認される対象物の例を示す図である。 第１の実施の形態の視認対象検知装置の動作を示す図である。 （ａ）第１の実施の形態において視認対象推定に用いるデータを示す図である。（ｂ）第２の実施の形態において視認対象推定に用いるデータを示す図である。 第２の実施の形態の視認対象検知装置の動作を示す図である。

以下、本発明の実施の形態の視認対象検知装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の視認対象検知装置１の構成を示す図である。視認対象検知装置１は、自動車の運転者が視認している対象物（視認対象）を検知する装置である。視認対象検知装置１にて、視認対象を検知することにより、運転者が脇見をしていないかどうか、例えば、車線変更や右左折をするときに運転者が適切な安全行動をとったかどうかを判断することができる。

第１の実施の形態の視認対象検知装置１は、カメラ１０と、顔向き検知部１１と、視線検知部１２と、視認対象推定部１３と、出力部１４と、記憶部１５とを備えている。

カメラ１０は近赤外線カメラであり、車室内が暗くなっても安定して運転者を撮影することができる。カメラ１０は、運転者を正面から撮影する位置、例えば、メーターバイザーの下に搭載される。株式会社デンソーが開発した「ドライバーステータスモニタ」のカメラを用いることとしてもよい。

顔向き検知部１１は、カメラ１０にて撮影した運転者の顔画像に基づいて、運転者の顔向きを検知する機能を有する。視線検知部１２は、カメラ１０にて撮影した運転者の目の画像から運転者の視線を検知する機能を有する。視線検知部１２は、運転者の黒目の向いている方向を検知することで運転者の顔に対する視線の方向に、運転者の顔の向きを加味して、運転者の視線がどの方向を向いているかを検知する。視線検知部１２は、運転者の視線を検知できたかどうかを示すフラグを出力する。例えば、運転者の瞬きや外部光の影響等により眼球の画像を取得できなかった場合には、視線を検知できなかったと判断しフラグを立てる。

視認対象推定部１３は、運転者の顔向きおよび視線に基づいて、運転者が視認している対象物を推定する機能を有する。視認対象推定部１３は、運転者の顔向きが所定の角度以下のときには、視線に基づいて視認対象を推定し、運転者の顔向きが所定の角度より大きいときには、視線と顔向きとに基づいて視認対象を推定する。所定の角度は、視認対象推定に、顔向きデータを用いるかどうかを切り替える閾値であり、この閾値は車両に設置されている顔向き検知部１１、視線検知部１２の性能や設置位置によって適切に定められる。本実施の形態において、所定角度は２０°である。視認対象推定部１３の処理の詳細については、後述するフローチャートを用いた動作説明の中で説明する。

出力部１４は、視認対象推定部１３にて推定された視認対象データを、脇見判定装置等の運転支援装置に対して出力する。記憶部１５は、視認対象推定の処理に必要なデータを記憶する機能を有し、本実施の形態においては、視線検知部１２から取得した視線データを記憶する。また、記憶部１５には、視線を検知できたか否かを示すデータも記憶される。視線検知部１２から、視線を検知できなかったことを示すフラグが立てられた場合には、記憶部１５に記憶された視線データは更新されず、視線データを検知できなかったことを示すデータが記憶される。これにより、記憶部１５に記憶されている視線データが過去に検知された視線データなのか、顔向きデータと同時に検知されたデータなのかを区別できる。なお、記憶部１５には、顔向きデータを記憶することとしてもよい。

図２は、車内において視認される対象物の例を示す図である。車内における視認対象の例としては、図２では、ウィンドウシールドディスプレイ、スピードメーター、カーナビゲーション、バックミラー、右ミラー、左ミラー、右側方、左側方を示している。図２に示しているのは一例であり、視認対象検知装置１で視認可能な視認対象はこれらに限られることはない。

なお、図２において、正面の方向にある、ウィンドウシールドディスプレイ、スピードメーター、カーナビゲーション、バックミラー、右ミラーは、視線によって検知できる範囲にある対象物である。そして、この視線による検知範囲を含む全視認対象が顔向きによる検知範囲である。つまり、顔向きを用いた検知範囲の方が、視線を用いた検知範囲よりも広い。

以上、本実施の形態の視認対象検知装置１の構成について説明したが、上記した視認対象検知装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した顔向き検知部１１、視線検知部１２、視認対象推定部１３の各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した視認対象検知装置１の機能が実現される。このようなプログラムも本発明の範囲に含まれる。また、出力部１４の一例は、通信インターフェースである。

図３は、第１の実施の形態の視認対象検知装置１の動作を示す図である。第１の実施の形態の視認対象検知装置１は、カメラ１０によって運転者を撮影する（Ｓ１０）。続いて、視認対象検知装置１は、撮影で得られた画像に基づいて、顔向き検知部１１にて運転者の顔向きを検知すると共に、視線検知部１２にて運転者の視線を検知する（Ｓ１２）。例えば、運転者が瞬きをしていた等の状況により運転者の視線を検知できなかった場合には、視線検知部１２は、視線を検知できなかったことを示すフラグをたてる。

顔向き検知部１１および視線検知部１２は、顔向きデータおよび視線データを視認対象推定部１３に渡す。この際、視線検知部１２は、上述したフラグのデータも渡す。視認対象推定部１３は、視線検知部１２から渡されたフラグに基づいて、視線データを検知できたか否かを判定する（Ｓ１４）。視線データを検知できたと判定された場合には（Ｓ１４でＹＥＳ）、視認対象推定部１３は、記憶部１５に、視線データを検知できたことを示すデータを記憶すると共に、視線データを記憶する。より詳細には、記憶部１５に記憶されている視線データを上書きし、最新の視線データを記憶する（Ｓ１６）。

視線データを検知できなかったと判定された場合には（Ｓ１４でＮＯ）、視認対象推定部１３は、記憶部１５に、視線データを検知できなかったことを示すデータを記憶する（Ｓ１８）。このときは、記憶部１５の視線データの更新を行わず、記憶部１５には以前に取得された視線データが記憶されたままの状態とする。このようにして、記憶部１５には常に最新の視線データ（最後に検知することができたデータ）が記憶される。

次に、視認対象推定部１３は、取得した顔向きデータに基づいて、顔向きが所定角度以下かどうかを判定する（Ｓ２０）。顔向きが所定角度以下の場合には（Ｓ２０でＮＯ）、視線データに基づいて視認対象を推定する（Ｓ２２）。

図４（ａ）は、視線を検知できた場合とできなかった場合のそれぞれにおいて、視認対象推定に用いるデータを示す図である。顔向きが所定角度以下の場合、視線検知ができたときには、検知した視線データで視認対象の推定を行い、視線検知ができなかったときには、記憶部１５に記憶された視線データで視認対象の推定を行う。

顔向きが所定角度以下の場合には、原則として、運転者の視線を検知できると考えられるところ、運転者の視線が検知できていないのは、例えば、運転者が瞬きをしている等の一時的な状況に起因するものであり、視線が検知できないほど運転者の顔が横向きになっているためではないと考えられる。つまり、視線は検知できなくとも、運転者の視線は最新に取得した視線の近傍にあると考えられる。したがって、本実施の形態では、視線が検知できない場合であっても、顔向きが所定角度以下であるとき場合には、視線データに基づいて視認対象を推定する構成を採用することにより、視認対象物の推定を行う。

顔向きが所定角度より大きい場合には（Ｓ２０でＹＥＳ）、顔向きと視線データとに基づいて視認対象を推定する（Ｓ２４）。図４（ａ）に示すように、顔向きが所定角度より大きい場合であって視線検知ができたときには、顔向きデータと検知した視線データとで視認対象の推定を行い、視線検知ができなかったときには、顔向きデータと記憶部１５に記憶された視線データとで視認対象の推定を行う。

従来は、視線データを検知できなかったときには、顔向きに基づいて視認対象を推定していたため、状況や個人差によって顔向きが異なることに起因して、視認対象を精度良く推定することが困難な場合があった。これに対し、本実施の形態では、顔向きのデータに加えて、記憶部１５に記憶されている以前に取得した視線データを用いて視認対象を適切に推定する。

（第２の実施の形態）
次に、第２の実施の形態の視認対象検知装置について説明する。第２の実施の形態の視認対象検知装置の基本的な構成は第１の実施の形態と同じであるが、視認対象推定部１３による推定の処理が異なる。以下、第１の実施の形態と異なる部分を中心に説明する。

図５は、第２の実施の形態の視認対象検知装置の動作を示す図である。第２の実施の形態の視認対象検知装置は、カメラ１０によって運転者を撮影し（Ｓ１０）、撮影した画像から顔向きデータおよび視線データを検知し、視線データを記憶部１５に保存するまでの動作（Ｓ１２〜Ｓ１８）までは、第１の実施の形態の視認対象検知装置１と同じである。

次に、視認対象推定部１３は、取得した顔向きデータに基づいて、顔向きが所定角度以下かどうかを判定する（Ｓ２０）。顔向きが所定角度以下の場合には（Ｓ２０でＮＯ）、視線データに基づいて視認対象を推定する（Ｓ２２）。顔向きが所定角度より大きい場合には（Ｓ２０でＹＥＳ）、顔向きデータに基づいて視認対象を推定する（Ｓ２６）。

図４（ｂ）は、視線を検知できた場合とできなかった場合のそれぞれにおいて、視認対象推定に用いるデータを示す図である。顔向きが所定角度以下であって視線検知ができたときには、検知した視線データで視認対象の推定を行い（Ｓ２２）、視線検知ができなかったときには、記憶部１５に記憶された視線データで視認対象の推定を行う（Ｓ２２）。顔向きが所定角度より大きい場合には（Ｓ２０でＹＥＳ）、顔向きデータに基づいて視認対象を推定する（Ｓ２６）。

顔向きのデータから、視認対象を推定する方法としては、過去のデータを用いた機械学習の手法（例えば、ＳＶＭやベイジアンネット等）を採用することができる。また、発明者らの研究によれば、視線は顔向きの角度よりも若干角度が小さい傾向があることが分かっているので、その関係性に基づいて、顔向きから視線の方向を推定し、視認対象を求めてもよい。

顔向きデータだけを用いる視認対象の推定は、状況や個人差等の誤差を含むが、顔向きデータの処理を工夫することで、顔向きのデータから視認対象を推定することが可能である。特に、記憶部１５に記憶された視線データが古い場合には、古い視線データを用いて視認対象を推定するよりも、顔向きデータのみで視認対象を推定した方が、推定の精度が良い場合もあり得る。

以上、本発明の視認対象検知装置の構成および動作について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態において、検知した視線データを用いて視認対象を推定する場合と、記憶部１５に記憶された過去の視線データを用いて視認対象を推定する場合とで、視認対象推定の方法を変えてもよい。例えば、顔向きが所定の角度より大きく、顔向きデータと視線データとを用いる例において、記憶部１５に記憶された過去の視線データを用いる場合には、顔向きデータと同時に検知できた視線データを用いる場合に比べて、顔向きデータの重みを大きくする処理が考えられる。

上記した実施の形態では、新しい視線データが検知されると、記憶部１５にデータを上書きする例を挙げたが、記憶部に視線データを追加していってもよい。視線の時系列データを記憶しておくことにより、視線を検知できなかった場合に、過去の視線データの動きから視線の方向を推定することができる。

また、上記した第２の実施の形態では、顔向きが所定の角度より大きい場合に（Ｓ１８でＮＯ）、顔向きデータに基づいて視認対象を推定する（Ｓ２４）という例を挙げたが、顔向きが所定の角度より大きいことに加え、記憶部１５に記憶されている視線データが所定の閾値（例えば３秒）以前のデータの場合に、顔向きデータに基づいて視認対象を推定し、視線データが閾値より新しい場合には、顔向きデータと視線データとに基づいて視認対象を推定することとしてもよい。

本発明は、運転者が視認した対象を検知する視認対象検知装置等として有用である。

１ 視認対象検知装置
１０ カメラ
１１ 顔向き検知部
１２ 視線検知部
１３ 視認対象推定部
１４ 出力部
１５ 記憶部

Claims (7)

1. 運転者を撮影するカメラと、
   前記カメラにて撮影した画像から運転者の顔向きを検知する顔向き検知部と、
   前記カメラにて撮影した画像から運転者の視線を検知する視線検知部と、
   前記視線検知部にて視線が検知できた場合に、当該視線データを記憶する記憶部と、
   視線または顔向きから運転者が視認している視認対象を推定する視認対象推定部と、
   前記視認対象推定部にて推定した視認対象を示す情報を出力する出力部と、
   を備え、
   前記視認対象推定部は、
   前記顔向き検知部にて検知した顔向きが所定の角度以下のときに、
   前記視線検知部にて視線が検知できていれば、その視線データに基づいて視認対象を推定し、前記視線検知部にて視線が検知できていなければ、前記記憶部に記憶された視線データに基づいて視認対象を推定する視認対象検知装置。
2. 前記視認対象推定部は、
   前記顔向き検知部にて検知した顔向きが所定の角度より大きいときに、
   前記視線検知部にて視線が検知できていれば、その視線データと前記顔向きデータとに基づいて視認対象を推定し、前記視認検知部にて視線が検知できていなければ、前記記憶部に記憶された視線データと前記顔向きデータとに基づいて視認対象を推定する、請求項１に記載の視認対象検知装置。
3. 前記視認対象推定部は、
   前記顔向き検知部にて検知した顔向きが所定の角度より大きいときに、顔向きのデータに基づいて視認対象を推定する、請求項１に記載の視認対象検知装置。
4. 前記記憶部には、前記視線検知部にて視線が検知できたか否かを示すデータを記憶する請求項１乃至３のいずれかに記載の視認対象検知装置。
5. 前記視線検知部は、視線を検知できなかったことを示すフラグを出力する機能を有し、
   前記視線検知部からフラグを取得したときには、前記記憶部の視線データを更新しない、請求項１乃至４のいずれかに記載の視認対象検知装置。
6. 視認対象検知装置によって運転者の視認対象を検知する方法であって、
   前記視認対象検知装置が、運転者を撮影するカメラにて撮影した画像から運転者の顔向きを検知する顔向き検知ステップと、
   前記視認対象検知装置が、前記カメラにて撮影した画像から運転者の視線を検知する視線検知ステップと、
   前記視認対象検知装置が、前記視線検知ステップにて視線が検知できた場合には、記憶部に当該視線データを記憶するステップと、
   前記視認対象検知装置が、視線または顔向きから運転者が視認している視認対象を推定する視認対象推定ステップと、
   前記視認対象検知装置が、前記視認対象推定ステップにて推定した視認対象を示す情報を出力するステップと、
   を備え、
   前記視認対象推定ステップは、
   前記顔向き検知ステップにて検知した顔向きが所定の角度以下のときに、
   前記視線検知ステップにて視線が検知できていれば、その視線データに基づいて視認対象を推定し、前記視線検知ステップにて視線が検知できていなければ、前記記憶部に記憶された視線データに基づいて視認対象を推定し、
   前記顔向き検知ステップにて検知した顔向きが所定の角度より大きいときに、
   前記視線検知ステップにて視線が検知できていれば、その視線データと前記顔向きデータとに基づいて視認対象を推定し、前記視認検知ステップにて視線が検知できていなければ、前記記憶部に記憶された視線データと前記顔向きデータとに基づいて視認対象を推定する視認対象検知方法。
7. 運転者の視認対象を検知するためのプログラムであって、運転者を撮影したカメラ画像から運転者の顔向きを検知する顔向き検知部と、前記カメラ画像から運転者の視線を検知する視線検知部と、に接続されたコンピュータを、
   前記顔向き検知部から運転者の顔向きデータを取得する顔向きデータ取得手段、
   前記視線検知部から運転者の視線データを取得する視線データ取得手段、
   前記視線データ取得手段にて視線データを取得できた場合に、当該視線データを記憶する記憶手段、
   視線または顔向きから運転者が視認している視認対象を推定する視認対象推定手段、
   前記視認対象推定手段にて推定した視認対象を示す情報を出力する出力手段、
   として機能させ、
   前記視認対象推定手段は、
   前記顔向きデータ取得手段で取得した顔向きデータが所定の角度以下のときに、
   前記視線データ取得手段で視線データを取得できていれば、その視線データに基づいて視認対象を推定し、前記視線データ取得手段で視線データを取得できていなければ、前記記憶手段に記憶された視線データに基づいて視認対象を推定し、
   前記顔向きデータ取得手段で取得した顔向きデータが所定の角度より大きいときに、
   前記視線データ取得手段で視線データを取得できていれば、その視線データと前記顔向きデータとに基づいて視認対象を推定し、前記視線データ取得手段で視線データを取得できていなければ、前記記憶手段に記憶された視線データと前記顔向きデータとに基づいて視認対象を推定するプログラム。

Images