JP2020181281A - 視線方向推定装置、視線方向推定装置の較正方法、およびプログラム - Google Patents

Abstract

【課題】適切に較正を行うことができる視線方向推定装置を提供する。【解決手段】視線方向推定装置１は、運転者を撮影するカメラ１０と、カメラ１０にて撮影した画像に基づいて、運転者の視線の方向を推定する視線方向推定部１１と、車両の周辺の状況に関する周辺情報を取得する周辺情報取得部１４と、周辺情報に基づいて運転者が前方を見ていると判断される期間を決定し、期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正する較正部１３とを備える。【選択図】図１

Description

本発明は、運転者の視線方向を推定する技術に関する。

従来、例えば車両に視線方向推定装置を搭載し、ドライバの視線を計測することにより、脇見運転などに対する警報を発する装置が知られている。このような視線方向推定装置においては、正確な視線計測を行うには、視線方向推定装置の較正が必要である。較正は、装置が算出した視線と実際の視線との間に存在するずれを補正するために行われる。ずれが発生するのは、眼球形状や顔特徴などの個人差や照明や姿勢変化などが視線計測時の画像処理に影響を与えることが一因である。

特許文献１は、視線方向推定装置の較正方法を開示している。特許文献１に記載された発明は、運転者が所定の方向を見る等の作業を行うことなく、視線方向推定装置の較正を行う。具体的には、車両の車幅方向の加速度、ステアリングホイールの回転角度、方向指示器の点灯状態、ウィンカーレバーの位置等に基づいて車両が直進しているかを判定し、直進している場合に、視線方向推定装置の較正を行う。

特許文献２は、特許文献１と同じ出願人に係る文献であり、特許文献１と同様に、車両の走行状態に基づいて、車両が所定の速度以上で直進しているときに、視線方向推定装置の較正を行う。

特開２０１８−１８０６２３号公報 特開２０１７−１２６１５１号公報

上記した特許文献に記載された発明は、車両の走行状態に基づいて運転者が正面を向いていると推定される期間に視線方向推定装置の較正を行うが、車両の走行状態からは運転者が正面を向いているかどうかを判断することは困難である。本発明は、上記背景に鑑み、適切に較正を行うことができる視線方向推定装置を提供することを目的とする。

本発明の視線方向推定装置は、運転者を撮影するカメラと、前記カメラにて撮影した画像に基づいて、運転者の視線の方向を推定する視線方向推定部と、車両の周辺の状況に関する周辺情報を取得する周辺情報取得部と、前記周辺情報に基づいて運転者が前方を見ていると判断される期間を決定し、前記期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正する較正部とを備える。

本発明者らは、運転者が前方を見ているかどうかは、車両の周辺に運転者が注意すべき状況が発生しているかどうか、ということが重要な要素となっていることを見出した。例えば、左右から自転車や歩行者等が飛び出してくる可能性のある道路では、前方だけを注視するのではなく、路肩にも注意を払うべく運転者の視線は前方から外れる。本発明によれば、周辺情報に基づいて運転者が前方を見ていると判断される期間を適切に決定できるので、適切に、視線方向推定装置の較正を行うことができる。

本発明の視線方向推定装置において、前記周辺情報取得部は、車両が走行中の道路の情報を取得し、前記較正部は、前記道路の情報に基づいて、運転者が前方を見ていると判断される期間を決定してもよい。ここで、道路の情報には、道路の種類、車線数、歩道の有無、ガードレールの有無、交差点の有無、横断歩道の有無、道路周辺の情報等、様々な情報が含まれる。

本発明の構成によれば、道路の情報に基づいて、左右から自転車や歩行者等が飛び出してくる可能性があるかどうかを判断し、飛び出しの可能性が小さい場合には、運転者は前方を見ていると判断できる。

本発明の視線方向推定装置において、前記周辺情報取得部は、車両の周辺にある移動物体を検知し、前記較正部は、前記移動物体の情報に基づいて、運転者が前方を見ていると判断される期間を決定してもよい。

このように車両周辺の移動物体を検知することにより、例えば、車両前方を中心とする所定の角度範囲の外側に移動物体があるときには運転者がその方向に視線が行く可能性があるが、所定角度範囲の外側に移動物体がない場合には運転者は前方を見ていると判断できる。

本発明の視線方向推定装置において、前記周辺情報取得部は、Ｖ２Ｘによる通信により周辺にある物体の情報を取得し、前記較正部は、前記周辺にある物体の情報に基づいて、運転者が前方を見ていると判断される期間を決定してもよい。

Ｖ２Ｘは、車両（Ｖｅｈｉｃｌｅ）とモノとの通信の総称であり、車両とネットワーク（Ｖ２Ｎ）、車両と車両（車車間通信：Ｖ２Ｖ）、車両とインフラ（路車間通信：Ｖ２Ｉ）、車両とスマートホンを持った歩行者（Ｖ２Ｐ）を含む。このような通信により、他の交通参加者に関する精度の高い情報を取得できる。

本発明の視線方向推定装置において、前記周辺情報取得部は、先行車両の位置または先行車両の走行速度の情報を取得し、前記較正部は、前記先行車両との車間距離が所定の閾値以下の期間、または、前記先行車両の走行速度が所定の頻度で変化している期間を、運転者が前方を見ている期間であると決定してもよい。

本発明の視線方向推定装置において、前記較正部は、運転者が前方を見ていると判断される期間が、第１の所定時間以内に、第２の所定時間以上あるときに、前記期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正してもよい。この構成により、第２の所定時間以上、前方を見ていると判断される期間の映像が用いられるので、運転者が前方から目を逸らすなどの一時的な事象が起こったとしても、そのようなノイズ事象以外の映像に基づいてロバストな較正を行うことができる。

本発明の視線方向推定装置は、車両の将来の走行経路を予測する経路予測装置、またはナビゲーション装置から走行経路に関する情報を取得する走行経路情報取得部を備え、前記較正部は、所定距離先までの走行経路に所定の閾値以上の曲率を有するカーブを含む場合には、較正処理を行わない構成としてもよい。

走行経路の先にカーブがあるときには、運転者はカーブの先を見ることが想定されるので、その区間では較正処理を行わないことで、間違った較正が行われることを避けることができる。

本発明の視線方向推定装置は、前記較正部にて、運転者が前方を見ていると判断される期間に、前記視線方向推定部にて推定される運転者の視線の方向が前方から所定の閾値以上乖離しているときに、前記視点方向推定装置の故障可能性を報知してもよい。

このように運転者が前方を見ていると判断される期間に運転者の視線の方向が前方から所定の閾値以上乖離しているときには、運転者が脇見をしている可能性もあるが、視線方向推定装置が故障している可能性もあるので、故障可能性を報知することにより、視線方向推定装置を早期に修理することができる。

本発明の視線方向推定装置の較正方法は、カメラによって撮影された画像に基づいて運転者の視線方向を推定する装置の較正方法であって、前記カメラによって運転者を撮影するステップと、車両の周辺の状況に関する周辺情報を取得するステップと、前記周辺情報に基づいて運転者が前方を見ていると判断される期間を決定し、前記期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正するステップとを備える。

本発明のプログラムは、カメラにて撮影した運転者の画像に基づいて、運転者の視線の方向を推定するためのプログラムであって、コンピュータを、前記カメラにて撮影された画像データを取得する手段、前記カメラにて撮影した画像に基づいて、運転者の視線の方向を推定する視線方向推定手段、車両の周辺の状況に関する周辺情報を取得する周辺情報取得手段、前記周辺情報に基づいて運転者が前方を見ていると判断される期間を決定し、前記期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正する較正手段として機能させる。

本発明によれば、運転者に較正のための動作を行わせることなく、適切に、視線方向推定装置の較正を行うことができる。

実施の形態の視線方向推定装置の構成を示す図である。 実施の形態の視線方向推定装置の構成の動作を示す図である。 変形例に係る視線方向推定装置の構成を示す図である。 変形例に係る視線方向推定装置の構成の動作を示す図である。

以下、本発明の実施の形態の視線方向推定装置について図面を参照して説明する。
図１は、実施の形態の視線方向推定装置１の構成を示す図である。視線方向推定装置１は、自動車の運転者が視認している方向を推定する装置である。視線方向推定装置１にて、視認方向を検知することにより、運転者が脇見をしていないかどうか、例えば、車線変更や右左折をするときに運転者が適切な安全行動をとったかどうかを判断することができる。

実施の形態の視線方向推定装置１は、車両に備えられた現在位置検知部２０や周辺監視センサ２１と接続されている。現在位置検知部２０は、ＧＰＳ受信機での受信信号に基づいて車両の現在位置を検知する装置である。周辺監視センサ２１は、車両周辺を撮影する周辺監視カメラ、ＬＩＤＡＲ、超音波センサ等である。現在位置検知部２０および周辺監視センサ２１のいずれも、ここで列挙した装置に限定されるものではない。また、視線方向推定装置１は、地図データベース（以下「地図ＤＢ２２」という）と接続されている。これにより、視認方向推定装置は、地図ＤＢ２２から読み込んだ地図のデータと現在位置検知部２０にて検知された現在位置のデータとから車両が現在走行している道路の情報を取得できる。

実施の形態の視線方向推定装置１は、カメラ１０と、視線方向推定部１１と、出力部１２とを備えている。カメラ１０は近赤外線カメラであり、車室内が暗くなっても安定して運転者を撮影することができる。カメラ１０は、運転者を正面から撮影する位置、例えば、メーターバイザーの下に搭載される。株式会社デンソーが開発した「ドライバーステータスモニタ」のカメラを用いることとしてもよい。

視線方向推定部１１は、カメラ１０にて撮影した運転者の顔画像に基づいて運転者の目の画像から運転者の視線を検知する機能を有する。視線検知部１２は、運転者の黒目の向いている方向を検知することで運転者の顔に対する視線の方向に、運転者の顔の向きを加味して、運転者の視線がどの方向を向いているかを検知する。出力部１２は、視線方向推定部１１にて推定された視線方向のデータを他の機器に出力する。これにより、他の機器は、視線方向のデータを用いて、例えば、脇見運転の判定を行ったり、脇見運転をしているときには警報を出力して注意喚起したりする等の処理を行える。

視線方向推定装置１は、視線方向推定部１１による推定処理の較正を行う機能を有している。運転者の顔画像に基づいて視線方向を推定する処理においては、運転者の画像に基づいて視線の方向を推定するが、運転者の顔や眼球の画像と視線方向との関係は、運転者の眼球形状や顔特徴などの個人差や、照明等の環境や、姿勢変化等の運転者の状態によって影響を受けて変化する。本実施の形態の視線方向推定装置１は、種々の原因によって生じる誤差を補正して視線方向を適切に推定するために、較正部１３を備えている。較正部１３には、周辺情報取得部１４が接続されており、較正部１３は周辺情報取得部１４にて取得した車両に周辺情報に基づいて、較正部１３が較正を行う期間すなわち視線方向推定装置１の較正に用いる運転者の画像を撮影する期間を決定する。

周辺情報取得部１４は、周辺監視センサ２１から車両周辺にある移動物体および静的物体の情報を取得し、車両の周辺にある移動物体や静的物体を把握する。また、周辺情報取得部１４は、現在位置検知部２０から車両の現在位置のデータを取得し、地図ＤＢ２２から読み出した地図において走行している道路を特定する。そして、車両が走行している道路の種類、車線数、歩道の有無、ガードレールの有無、交差点の有無、横断歩道の有無、道路周辺の情報等の道路情報を読み出し、周辺の状況を特定する。また、周辺情報取得部１４は、通信部１５を介して、ネットワーク３０、インフラ３１、他車両３２、あるいは、歩行者が有するスマートホン３３と通信（Ｖ２Ｘ）を行い、他車両３２や歩行者の位置や移動速度等のデータを取得する。こうした通信を利用することにより、他の交通参加者等に関する精度の高い情報を取得できる。

図２は、実施の形態の視線方向推定装置１の較正の動作の一例を示す図である。なお、図２は較正方法を示したものであり、視線方向推定装置１による視線方向の推定は適時行われている。図２で示す較正を行うタイミングは適宜設定することができる。例えば、定期的に行うこととしてもよいし、運転者の顔向きが大きく振られて、前方に戻ったタイミングとしてもよい。

図２に示す視線方向推定装置１の較正について説明する。視線方向推定装置１は、まず、周辺情報取得部１４にて周辺情報を取得する（Ｓ１０）。周辺情報取得部１４は、取得した周辺情報に基づいて、所定の角度範囲の外側に移動物体があるか否かを判定する（Ｓ１１）。ここで、所定の角度範囲とは、例えば、車両前方を０度の方向とし、右側にプラス、左側にマイナスを定義した座標系において、プラスマイナス１０度の範囲である。

所定の角度範囲の外側に移動物体がある場合には（Ｓ１１でＹＥＳ）、視線方向推定装置１は、周辺情報を取得するステップＳ１０に戻る。所定の角度範囲の外側に移動物体がない場合には（Ｓ１１でＮＯ）、視認方向推定装置は、周辺情報取得部１４にて車両の現在位置のデータを取得し（Ｓ１２）、続いて地図ＤＢ２２から地図データを読み出す（Ｓ１３）。視線方向推定装置１は、読み出した地図データにおいて、車両の現在位置周辺の道路のデータを取得し、道路周辺に運転者の視野を遮るような建物があるか否かを判定する（Ｓ１４）。ここでは、建物を例としているが、他に、街路樹のように運転者の視線を遮る可能性のあるものが存在するかどうかを判定してもよい。

運転者の視野を遮る建物がある場合には（Ｓ１４でＹＥＳ）、視線方向推定装置１は、周辺情報を取得するステップＳ１０に戻る。運転者の視野を遮る建物がない場合には（Ｓ１４でＮＯ）、視線方向推定装置１は、カメラ１０にて運転者を撮影した映像を保存する（Ｓ１５）。ここで、保存される映像は、所定の角度範囲の外側に移動物体がなく、運転者の視線を遮る建物がない状況において運転者を撮影した映像である。

視線方向推定装置１は、第１の所定時間内（例えば、１０秒以内）において、第２の所定時間以上（例えば７秒以上）の映像が保存されたか否かを判定する（Ｓ１６）。ここで保存される映像は連続して得られたものでなくてもよい。例えば、最初に３秒の映像が保存された後、移動物体が現れて映像の保存が中断され、その後移動物体がなくなって４秒間の映像の保存が行われたときには、第２の所定時間以上の映像が得られたと判定してもよい。なお、この判定において、運転者の視線を計測できないことに起因して映像の保存が中断された場合には、それまでに保存した映像をリセットすることとしてもよい。運転者の視線を計測できない場合とは、例えば、運転者が顔を大きく動かしたことで、運転者の眼球の画像を得られなかった場合である。このように顔を大きく動かした場合には、視線の基準方向がずれることがあるので、較正に用いる映像に適さない可能性があるためである。

第２の所定時間以上の映像が得られていない場合には（Ｓ１６でＮＯ）、周辺情報を取得するステップＳ１０に戻る。第２の所定時間以上の映像が得られた場合には（Ｓ１６でＹＥＳ）、撮影により得られた映像を用いて較正処理を行う（Ｓ１７）。具体的には、視線方向推定装置１は、画像に映る運転者が見ている方向が前方になるように、視線の基準方向を決定する。

以上、本実施の形態の視線方向推定装置１の構成について説明したが、上記した視線方向推定装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、通信インターフェース等を備えたコンピュータである。上記した視線方向推定部１１、較正部１３、周辺情報取得部１４の各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した視線方向推定装置１の機能が実現される。このようなプログラムも本発明の範囲に含まれる。また、出力部１２の一例は、通信インターフェースである。

本実施の形態の視線方向推定装置１は、所定の角度範囲の外側に移動物体がなく、かつ、運転者の視線を遮る建物がない状況において撮影された映像を用いて視線方向推定装置１の較正を行う。この状況は、移動物体の存在により運転者が所定の角度範囲の外側に注意を払わなくてはいけない状況ではなく、また、運転者の視線を遮る建物もないので建物の陰から他車両や歩行者が飛び出してくるおそれもない。このように運転者が前方を向いている可能性が高い状況で撮影された運転者の映像を用いて、適切に視線方向推定装置１の較正を行うことができる。

また、本実施の形態の視線方向推定装置１は、第２の所定時間以上の映像を用いて較正を行うので、運転者が前方から目を逸らすなどの一時的な事象が起こったとしても、そのようなノイズ事象以外の時間に撮影された映像データにより視線方向推定装置１の較正を行うことができる。また、第２の所定時間以上の映像は、第１の所定時間以内であることが条件となっているので、運転者が正面視と脇見を繰り返し、正面視の時間が累積されて第２の所定時間以上となった場合を除外することができる。

上記した実施の形態では、図２を参照して、周辺情報に基づいて視線方向推定装置の較正を行う時期を決定する一例を示したが、周辺情報取得部は様々な道路情報を取得しているので、上記した例とは異なる情報を用いて較正の時期を決定することが考えられる。例えば、道路の種類が高速道路か一般道かに基づいて、高速道路を走行中に較正を行い、一般道を走行中には較正を行わないものとしてもよい。また、道路のガードレールの有無に基づいて、ガードレールがあるときには、歩行者の飛び出しの可能性が低いので、運転者が前方を向いていると判定して較正を行い、ガードレールがないときには、較正を行わないものとしてもよい。また、前方に交差点があるときには、運転者は横から来る車両に注意をする必要があるので較正を行わず、交差点がないときには較正を行うこととしてもよい。また、横断歩道の有無に基づいて、横断歩道があるときには、歩行者が出てくる可能性があるので、運転者は路肩にも注意を払うと考えられ、較正を行わないものとしてもよい。さらに、上記したような様々な周辺情報を組み合わせて、較正を行う時期を適切に決定してもよい。

また、較正部１３は、較正処理を行う期間の決定に、将来の予測される走行経路の情報を用いてもよい。図３は、変形例に係る視線方向推定装置２の構成を示す図である。視線方向推定装置２は、将来の走行経路の情報を取得する走行経路情報取得部１６を備えている。走行経路情報取得部１６は、進行方向予測装置２３（例えば、特開２０１２−１０８０８４号）で予測される進行方向の情報や、ナビゲーション装置２４に設定された経路の情報を取得したりすることで、自車両の将来の走行経路の情報を取得する。視線方向推定装置２の較正部１３は、例えば、自車両が走行している道路の先にカーブ（例えば、曲率１／１００［ｍ^−１］以上）があるとき、カーブの所定距離（例えば、５００ｍ）だけ手前からカーブを通過するまでは、較正処理を行わないこととする。

図４は、変形例に係る視線方向推定装置２による較正の動作を示す図である。変形例に係る視線方向推定装置２の基本的な動作は、上記した視線方向推定装置１の動作と同じである。視線方向推定装置２は、道路周辺に視野を遮る建物があるか否かの判定（Ｓ１４）において、建物がないと判定された場合（Ｓ１４でＮＯ）、走行経路情報を取得し（Ｓ２０）、走行経路の所定距離先までに所定の曲率以上のカーブがあるか否かを判定する（Ｓ２１）。所定の曲率以上のカーブがない場合には（Ｓ２１でＮＯ）、運転者の映像を保存するステップに移行する（Ｓ１５）。所定の曲率以上のカーブがある場合には（Ｓ２１でＹＥＳ）、運転者の映像を保存することなく、周辺情報を取得するステップＳ１０に戻る。

なお、図４に示す例では、走行経路情報の取得（Ｓ２０）とカーブの有無の判定（Ｓ２１）を、道路周辺に視野を遮る建物があるか否か（Ｓ１４）の後に行っているが、走行経路情報の取得（Ｓ２０）とカーブの有無の判定（Ｓ２１）の処理は、例えば、周辺情報を取得するステップＳ１０の前などの他のタイミングで行ってもよい。要するに、視線方向推定装置２は、曲率が大きいカーブの手前からカーブを通過するまで、運転者の映像の保存を中止すればよい。

走行経路の所定距離先までに所定の曲率以上のカーブがある状況においては、運転者はカーブの先を見ることが想定される。このような運転者の視線が前方から逸れる不適切な状況では、視線方向推定装置２の較正を停止することで誤った較正が行われることを防止できる。なお、この状況には、高速道路の出口のカーブも含まれ、高速道路を降りるときには、高速道路を降りるまでは較正が行われないことになる。

また、周辺情報取得部によって先行車両の位置または先行車両の走行速度の情報を取得し、較正部は、先行車両との車間距離が所定の閾値以下の期間、または、先行車両の走行速度が所定の頻度で変化している期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正してもよい。

この構成により、先行車両に非常に接近した場合や、先行車両の速度が頻繁に変化したり（例えば、３秒に１回以上の頻度で加速と減速を繰り返す場合等）、先行車両との車間距離が急激に狭くなった等の状況において、較正を行うための映像を取得する。先行車両が危険な動きをしているときには、運転者は先行車両を注視すると考えられるので、その期間における運転者の映像に基づくことで、適切に視線方向推定装置を較正することができる。

上記した実施の形態においては、視線方向推定装置の較正の仕方について説明したが、本発明は、視線方向推定装置の故障検知にも応用できる。運転者が前方を見ていると判断される時期に、視線方向推定部にて推定される運転者の視線の方向が前方から所定の閾値以上乖離しているときに、視線方向推定装置の故障可能性を報知することとしてもよい。例えば、運転者が前方を見ていると判断される状況において、視線方向が前方から２０度以上ずれている場合には、視線方向推定装置の故障可能性を報知することで、視線方向推定装置の故障を早期に発見し得る。

１，２ 視線方向推定装置
１０ カメラ
１１ 視線方向推定部
１２ 出力部
１３ 較正部
１４ 周辺情報取得部
１５ 通信部
１６ 走行経路情報取得部
２０ 現在位置検知部
２１ 周辺監視センサ
２２ 地図データベース
２３ 進行方向予測装置
２４ ナビゲーション装置
３０ ネットワーク
３１ インフラ
３２ 他車両
３３ スマートホン

Claims (10)

1. 運転者を撮影するカメラと、
   前記カメラにて撮影した画像に基づいて、運転者の視線の方向を推定する視線方向推定部と、
   車両の周辺の状況に関する周辺情報を取得する周辺情報取得部と、
   前記周辺情報に基づいて運転者が前方を見ていると判断される期間を決定し、前記期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正する較正部と、
   を備える視線方向推定装置。
2. 前記周辺情報取得部は、車両が走行中の道路の情報を取得し、
   前記較正部は、前記道路の情報に基づいて、運転者が前方を見ていると判断される期間を決定する請求項１に記載の視線方向推定装置。
3. 前記周辺情報取得部は、車両の周辺にある移動物体を検知し、
   前記較正部は、前記移動物体の情報に基づいて、運転者が前方を見ていると判断される期間を決定する請求項１または２に記載の視線方向推定装置。
4. 前記周辺情報取得部は、Ｖ２Ｘによる通信により周辺にある物体の情報を取得し、
   前記較正部は、前記周辺にある物体の情報に基づいて、運転者が前方を見ていると判断される期間を決定する請求項１乃至３のいずれかに記載の視線方向推定装置。
5. 前記周辺情報取得部は、先行車両の位置または先行車両の走行速度の情報を取得し、
   前記較正部は、前記先行車両との車間距離が所定の閾値以下の期間、または、前記先行車両の走行速度が所定の頻度で変化している期間を、運転者が前方を見ている期間であると決定する請求項１乃至４のいずれかに記載の視線方向推定装置。
6. 前記較正部は、運転者が前方を見ていると判断される期間が、第１の所定時間以内に、第２の所定時間以上あるときに、前記期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正する請求項１乃至５のいずれかに記載の視線方向推定装置。
7. 車両の将来の走行経路を予測する経路予測装置、またはナビゲーション装置から走行経路に関する情報を取得する走行経路情報取得部を備え、
   前記較正部は、所定距離先までの走行経路に所定の閾値以上の曲率を有するカーブを含む場合には、較正処理を行わない請求項１乃至６のいずれかに記載の視線方向推定装置。
8. 前記較正部にて、運転者が前方を見ていると判断される期間に、前記視線方向推定部にて推定される運転者の視線の方向が前方から所定の閾値以上乖離しているときに、前記視点方向推定装置の故障可能性を報知する請求項１乃至７のいずれかに記載の視線方向推定装置。
9. カメラによって撮影された画像に基づいて運転者の視線方向を推定する視線方向推定装置を較正する方法であって、
   前記カメラによって運転者を撮影するステップと、
   車両の周辺の状況に関する周辺情報を取得するステップと、
   前記周辺情報に基づいて運転者が前方を見ていると判断される期間を決定し、前記期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正するステップと、
   を備える視線方向推定装置の較正方法。
10. カメラにて撮影した運転者の画像に基づいて、運転者の視線の方向を推定するためのプログラムであって、コンピュータを、
    前記カメラにて撮影された画像データを取得する手段、
    前記カメラにて撮影した画像に基づいて、運転者の視線の方向を推定する視線方向推定手段、
    車両の周辺の状況に関する周辺情報を取得する周辺情報取得手段、
    前記周辺情報に基づいて運転者が前方を見ていると判断される期間を決定し、前記期間に撮影された運転者の画像に基づいて、視線方向の推定に用いる基準方向を較正する較正手段、
    として機能させるプログラム。

Images