JP2015207163A - 状態推定装置、および状態推定プログラム - Google Patents

Abstract

【課題】監視対象者の状態を推定する状態推定装置において、監視対象者が視認すべき対象物を視認したかどうかを推定できる注意力推定システムを提供する。
【解決手段】監視対象者の視野内に監視対象者が視認すべき対象物が存在するか否かを判定し、現在における監視対象者の固視微動の傾向を表す固視微動傾向を取得しＳ３１５、Ｓ３３０、対象物が存在しないときにおける監視対象者の固視微動の傾向を表す非存在時傾向を取得するＳ３５０、Ｓ３８０。そして、監視対象者の視野内に監視対象者が視認すべき対象物が存在する場合、固視微動傾向と非存在時傾向との差異を求め、該差異に基づいて監視対象者の状態を推定するＳ３５５、Ｓ３８５。
【選択図】図５

Description

本発明は、監視対象者の状態を推定する状態推定装置、および状態推定プログラムに関する。

上記の状態推定装置として、監視対象者の固視微動を監視し、固視微動の発生頻度がデータベースと一致するかどうかに応じて監視対象者の状態を推定するものが知られている（例えば、特許文献１参照）。

特許第５３０２１９３号公報

上記状態推定装置では、監視対象者が視認すべき対象物を視認したかどうかを推定することが難しいという問題点があった。そこで、このような問題点を鑑み、監視対象者の状態を推定する状態推定装置において、監視対象者が視認すべき対象物を視認したかどうかを推定できるようにすることを本発明の目的とする。

本発明の状態推定装置において、対象物判定手段は監視対象者の視野内に監視対象者が視認すべき対象物が存在するか否かを判定する。また、固視微動傾向取得手段は、現在における監視対象者の固視微動の傾向を表す固視微動傾向を取得し、非存在時傾向取得手段は、対象物が存在しないときにおける監視対象者の固視微動の傾向を表す非存在時傾向を取得する。そして、状態推定手段は、監視対象者の視野内に監視対象者が視認すべき対象物が存在する場合、固視微動傾向と非存在時傾向との差異を求め、該差異に基づいて監視対象者の状態を推定する。

ここで、発明者らは、監視対象者の視野内に監視対象者が視認すべき対象物が存在したときに、監視対象者がこの対象物を視認するか否かによって監視対象者の固視微動の傾向が変化することを発見した。そこで、本発明では、現在における監視対象者の固視微動の傾向を表す固視微動傾向と対象物が存在しないときにおける監視対象者の固視微動の傾向を表す非存在時傾向との差異を求め、この差異に基づいて監視対象者の状態を推定するようにしている。

このような状態推定装置によれば、固視微動の傾向に従って監視対象者の状態を推定するので、監視対象者が視認すべき対象物を視認したかどうかを推定することができる。なお、ここでいう「視認」とは、［１］視認すべき対象物に視線を向ける「注視」である必要は必ずしもなく、視野の一部において対象物を認知していること、［２］視認すべき対象物を認知するための準備・構えが出来ていること、を示す。

また、上記目的を達成するためには、コンピュータを、状態推定装置を構成する各手段として実現するための状態推定プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

本発明が適用された注意力推定システム１の概略構成を示すブロック図である。 制御部１０（ＣＰＵ１１）が実行する注意力推定処理を示すフローチャートである。 注意力推定処理のうちの画像認識処理を示すフローチャートである。 注意力推定処理のうちの記録処理を示すフローチャートである。 注意力推定処理のうちの出力処理を示すフローチャートである。 視対象者の眼球の水平方向の角度を表す眼球水平角度を時系列に従ってサンプリングしたグラフ（ａ）、およびマイクロサッカード発生時の眼球水平角度の変化を示すグラフ（ｂ）である。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された注意力推定システム１は、乗用車等の車両（自車両）に搭載され、監視対象者となる運転者の眼球の固視微動に基づいて運転者の状態が視認すべき対象物を視認した状態であるか否かを認識し、運転者の状態が視認すべき対象物を視認していない状態である場合、警報を行うシステムである。

詳細には注意力推定システム１は、図１に示すように、制御部１０、カメラ２１、照明部２２、舵角センサ２５、車速センサ２６、警報部３１、位置検出部３６、対象物検出部３７、運転支援部４０を備えている。

カメラ２１は、車両の内部において運転者の前方に配置されており、運転者の眼球が撮像範囲内になるよう設定されている。例えば、カメラ２１は運転者が装着するゴーグルの内部において配置され、顔の動きによらず眼球との位置関係が変化しないよう設定されている。

なお、カメラ２１は、眼球の細かな動き（眼球の角度）を撮像できる構成であれば、上記のように配置されている必要はなく、例えば、撮像画像中に監視対象者の顔全体が含まれるように配置されてもよい。また、カメラ２１は、運転者の眼球の固視微動であるマイクロサッカードを検出可能な周期（例えば２００ｆｐｓ（フレーム毎秒）程度のフレームレート）と精度（例えば０．０５度の角度差を検出可能な精度）で撮像可能な高速かつ高精度なカメラとして構成されている。

照明部２２は、カメラ２１のための補助光源として機能し、カメラ２１の撮像範囲内となる運転者の顔に向けて例えば赤外光を照射する。赤外光の照射タイミングについては、常時点灯していてもよいし、カメラ２１による撮像周期と同期するよう、発光タイミングが制御部１０によって制御されるよう構成されていてもよい。

舵角センサ２５は、運転者のハンドル操作によるハンドル位置を検出するセンサであり、周知の舵角センサとして構成されている。舵角センサ２５が検出する舵角は、制御部１０にて認識されるよう設定されている。

車速センサ２６は、自車両の走行速度を検出する周知の車速センサとして構成されている。車速センサ２６は車速の検出結果を制御部１０に送る。
警報部３１は、音や光で運転者に注意を促すための構成であり、例えば、ヘッドアップディスプレイ（ＨＵＤ）やメータに何らかのシンボルを表示させる構成も採用することができる。なお、警報部３１は、制御部１０からの指令を受けて作動する。

また、警報部３１は、制御部１０からの指令を受けて、運転者のシートに埋め込まれたバイブレータが作動することで警報したり、制御部１０からの指令を受けて、車両における空調装置の風量や風向、或いは設定温度を変更することで警報したりするようにしてもよい。

位置検出部３６は、自車両の現在地を検出する機能を有し、現在地の検出結果を位置情報として制御部１０に送る。例えば、位置検出部３６は、ＧＰＳ（全地球測位システム）受信機として構成されていればよい。

対象物検出部３７は、運転者の視野内にある移動物を検出し、移動物の情報を制御部１０に送る。ここで、対象物検出部３７は、例えば、自車両の前方を撮像するカメラおよび画像処理装置として構成されており、カメラによる撮像画像に含まれる各物体のオプティカルフローを求め、このオプティカルフローに基づいて移動物が存在するか否かを判定する。

この構成であれば、移動物の種別を特定する必要がなく、簡素な構成で移動物を検出することができる。なお、対象物検出部３７は、撮像画像から例えばパターンマッチング等の手法を用いて移動物を特定してもよいし、対象物検出部３７は、レーダ装置として構成され、反射波に基づいて移動物を検出するようにしてもよい。

運転支援部４０は、自車両の運転者による運転動作を支援する運転支援装置として構成されている。例えば、運転支援部４０は、自車両のアクセル、ブレーキ、操舵を制御する自動運転装置や、これらの一部を制御することで自車両が車線から逸脱することを抑制するレーンキープアシスト、或いは自車両の走行速度を予め設定された速度に制御するオートクルーズコントロール等の機能を実現する。

制御部１０は、ＣＰＵ１１、およびＲＯＭ、ＲＡＭ等のメモリ１２を備えた周知のコンピュータとして構成されている。ＣＰＵ１１は、メモリ１２に記録されたプログラムに従って後述する各種処理を実施する。なお、制御部１０は、運転支援部４０の作動状態にかかわらず後述する注意力推定処理を実施してもよいし、運転支援部４０の作動時だけに注意力推定処理を実施してもよい。

［本実施形態の処理］
このように構成された注意力推定システム１において、制御部１０は、図２以下に示す注意力推定処理を実施する。注意力推定処理は、例えば注意力推定システム１の電源が投入されると開始される処理であり、その後、一定周期毎に繰り返し実施される処理である。

この処理では、図２に示すように、まず、画像認識処理を実施する（Ｓ１０）。画像認識処理は、カメラ２１から取得した撮像画像から運転者（監視対象者）の眼球の細かな動きを検出する処理である。

画像認識処理では、図３に示すように、まず、カメラ２１による撮像画像を取得する（Ｓ１１０）。続いて、撮像画像中の瞳孔を抽出する（Ｓ１１５）。この処理では、撮像画像内の黒い丸を瞳孔として抽出する。なお、撮像画像中に監視対象者の顔全体が含まれるようカメラ２１を配置している場合には、撮像画像中の眼球の位置を検出し、その中の黒い丸を瞳孔として抽出して位置を記録する。

続いて、角膜反射像を抽出する（Ｓ１２０）。角膜反射像は、瞳孔内において光源から
の光が角膜によって反射された反射光であり、撮像画像中では白い点となる。この白い点の位置を記録する。

そして、瞳孔の位置と角膜反射像の位置との位置関係（それぞれの位置・角度、相対距離等）に従って、視線角度を演算する（Ｓ１２５）。ここでの視線角度は、車両の左右方向と概ね一致する水平方向と、水平方向とは直交する垂直方向との両方を意味する。

続いて、演算した視線角度をメモリ１２に保存し（Ｓ１３０）、視線角加速度を演算する（Ｓ１３５）。視線角加速度は、メモリ１２に保存された過去数フレーム分（各加速度を求めるために十分なフレーム数であり、例えば１０フレーム分等）の視線角度を利用して、視線角度の変化量を時間で除することで求める。

そして、瞬目（瞬き）についても抽出する（Ｓ１４０）。瞬目については、例えば瞳孔が抽出できない場合に瞬目を行っていると認識する。また、上瞼の曲率半径に基づいて瞬目の判断を行ってもよい。

また、瞬目については、その時刻がメモリ１２に記録される。Ｓ１４０の処理が終了すると、画像認識処理を終了する。
次に、図２に戻り、マイクロサッカードを抽出する（Ｓ１５）。この処理では、視線角加速度が基準角速度（例えば、１２００deg/s²）以上であり、かつ視線の移動距離（視線角度の変化が開始してから停止するまでの視線角度の差）が基準距離（例えば、２deg）未満である条件を満たした場合、マイクロサッカードが発生したものとする（図６（ｂ）参照）。

つまり、この処理では、運転者の意図しない十分小さな視線角度の変化であって、かつ視線角速度の大きなものをマイクロサッカードとして抽出している。続いて、位置情報を取得する（Ｓ２０）。この処理では、位置検出部３６によって検出された自車両の現在地の情報を取得する。

続いて、潜在危険位置を抽出する（Ｓ２５）。ここで、潜在危険位置とは、例えば、ブラインドコーナー、左右の確認が困難な交差点、或いは事故が多い場所等、自車両の走行に支障を来す虞がある場所を示し、この潜在危険位置は、メモリ１２において予め記録されている。そして、この処理では、自車両の現在地の付近（例えば半径１００ｍ以内等）に存在する潜在危険位置の情報をメモリ１２から読み出す。

続いて、対象物情報を取得する（Ｓ３０）。この処理では、対象物検出部３７によって検出された対象物の情報を取得する。
そして、車両情報を取得する（Ｓ３５）。ここでの車両情報は、例えば、自車両の速度、舵角等、自車両の走行状態や走行環境を特定するための情報を示す。また、車両情報には、警告灯（ダイアグ）の点灯状態の情報も含む。

続いて、対象物の移動方向を判定する（Ｓ４０）。この処理では、前回の処理の際に検出された対象物の位置の情報等を用いて、対象物の移動方向を特定する。そして、対象物の移動方向が、例えば、対象物が自車両の走行領域外に位置し、かつ自車両の進行方向の中心から遠ざかる方向に移動している場合には、この対象物が存在しないものとして取り扱う。

続いて、自車両の走行状態や走行環境が、予め設定された複数の分類のうちの何れの分類に属するかを判定し、この判定結果に応じて記録条件Ｃｉ（ｉ＝１，２，…，Ｉ）を設定する（Ｓ４５）。例えば、自車両の走行状態や走行環境は、自車両が、高速で走行して
いるか否か、低速で走行しているか否か、停車しているか否か、旋回中であるか否か、警告灯が点灯しているか否か、高速道路を走行しているか、幹線道路を走行しているか、一般道を走行しているか等によって分類すればよい。これらの分類に応じて対応する記録条件Ｃｉを設定する。

続いて、記録処理を実施する（Ｓ５０）。記録処理は、マイクロサッカードの発生状況をその他の条件と対応付けて記録させる処理である。
記録処理では、図４に示すように、監視対象者の視野内に対象物または潜在危険位置が存在するか否かを判定する（Ｓ２１０）。なお、本処理では、潜在危険位置の情報が読み出されていれば、潜在危険位置が存在するものと判定する。

監視対象者の視野内に対象物または潜在危険位置が存在していれば（Ｓ２１０：ＹＥＳ）、注視フラグをセットし（Ｓ２１５）、後述するＳ２２５の処理に移行する。また、監視対象者の視野内に対象物または潜在危険位置が存在していなければ（Ｓ２１０：ＮＯ）、注視フラグを解除する（Ｓ２２０）。

そして、マイクロサッカード情報をメモリ１２に記録させる（Ｓ２２５）。ここで、マイクロサッカード情報には、前回Ｓ２２５の処理が実施されてから今回の処理までにマイクロサッカードが発生したか否かの情報や、マイクロサッカードが発生した場合、その発生時刻等の情報が含まれる。マイクロサッカード情報は、注視フラグの状態や記録条件Ｃｉとともに、これらに対応付けて記録される。

このような処理が終了すると、図２に戻り、出力処理を実施する（Ｓ５５）。出力処理は、マイクロサッカードの発生傾向に基づいて運転者が対象物を視認したか否かを判定し、運転者が対象物を視認していない場合に警報を実施する処理である。

出力処理では、図５に示すように、まず、メモリ１２に蓄積されたマイクロサッカード情報のデータ総量と予め設定されたデータ基準量とを比較する（Ｓ３１０）。ここで、データ基準量は、運転者が対象物を視認したか否かを判定するための必要最低限のデータ量を示す。

データ総量がデータ基準量未満であれば（Ｓ３１０：ＮＯ）、データ量が不十分であるとして、判定を行うことなく出力処理を終了する。また、データ総量がデータ基準量以上であれば（Ｓ３１０：ＹＥＳ）、データ量が充分であるものとして、以下の処理を実施する。

すなわち、マイクロサッカード発生率Ｘを演算する（Ｓ３１５）。この処理では、記録条件Ｃｉに拘わらず、現在から過去に向かって一定時間内（例えば６０秒間程度）のマイクロサッカード発生回数をカウントし、この発生回数をこの一定時間で除することで求める。例えば、図６（Ａ）に示すように、マイクロサッカードの発生時刻（▽印）はマイクロサッカード情報としてメモリ１２に記録されているので、現在から過去に向かって一定時間内に含まれるマイクロサッカードの発生時刻を読み出すことでマイクロサッカード発生回数をカウントすることができる。

続いて、現在の車両状態や車両環境に対応する記録条件Ｃｉ（Ｓ４５の処理で設定された記録条件Ｃｉ）のデータ量とデータ基準量とを比較する（Ｓ３２０）。ここでのデータ基準量は、Ｓ３１０の処理にて説明したデータ基準量と同値であってもよいし、異なる値であってもよい。

記録条件Ｃｉのデータ量がデータ基準量以上であれば（Ｓ３２０：ＹＥＳ）、マイクロ
サッカード発生率Ｘ_ciを演算する（Ｓ３３０）。この処理では、現在設定されている記録条件Ｃｉについてマイクロサッカードに関するデータのみについて、現在から過去に向かって一定時間分（例えば６０秒間程度）のデータを抽出し、これらのデータについてマイクロサッカード発生回数をカウントし、この発生回数をこの一定時間で除することで求める。

続いて、現在を基準に基準時間以内に注視フラグがセットされたか否かを判定する（Ｓ３３５）。基準時間以内（例えば５秒間程度）に注視フラグがセットされていなければ（Ｓ３３５：ＮＯ）、対象物が存在しない場合におけるマイクロサッカードの平均発生率Ｘａを更新する（Ｓ３４０）。つまり、Ｓ３１５の処理にて算出された発生率Ｘ（記録条件Ｃｉで分類しないもの）を含む過去において算出された発生率Ｘの平均値を平均発生率Ｘａとしてメモリ１２に記録させる。

続いて、対象物が存在しない場合におけるマイクロサッカードの平均発生率Ｘ_ciaを更新する（Ｓ３４５）。つまり、Ｓ３３０の処理にて算出された発生率Ｘ_ci（記録条件Ｃｉで分類されたもの）を含む過去において算出された発生率Ｘ_ciの平均値を平均発生率Ｘ_ciaとしてメモリ１２に記録させる。このような処理が終了すると、出力処理を終了する。

また、Ｓ３３５の処理において、基準時間以内に注視フラグがセットされていれば（Ｓ３３５：ＹＥＳ）、選択された記録条件Ｃｉに対応する平均発生率Ｘ_ciaを取得し（Ｓ３５０）、最新のマイクロサッカード発生率Ｘ_ciと平均発生率Ｘ_ciaとを比較する（Ｓ３５５）。

最新のマイクロサッカード発生率Ｘ_ciが平均発生率Ｘ_ciaよりも大きければ（Ｓ３５５：ＹＥＳ）、運転者が対象物を視認したものとして出力処理を終了する。また、最新のマイクロサッカード発生率Ｘ_ciが平均発生率Ｘ_cia以下であれば（Ｓ３５５：ＮＯ）、運転者が対象物を視認していない虞があるものとして、警報部３１に警報を行うよう指示し（Ｓ４００）、出力処理を終了する。

ところで、Ｓ３２０の処理にて、記録条件Ｃｉのデータ量がデータ基準量未満であれば（Ｓ３２０：ＮＯ）、Ｓ３３５の処理と同様に、現在を基準に基準時間以内に注視フラグがセットされたか否かを判定する（Ｓ３７０）。基準時間以内に注視フラグがセットされていなければ（Ｓ３７０：ＮＯ）、Ｓ３４０の処理と同様に、対象物が存在しない場合におけるマイクロサッカードの平均発生率Ｘａを更新する（Ｓ３７５）。このような処理が終了すると、出力処理を終了する。

また、Ｓ３７０の処理において、基準時間以内に注視フラグがセットされていれば（Ｓ３３５：ＹＥＳ）、平均発生率Ｘａを取得し（Ｓ３８０）、最新のマイクロサッカード発生率Ｘと平均発生率Ｘａとを比較する（Ｓ３８５）。

最新のマイクロサッカード発生率Ｘが平均発生率Ｘａよりも大きければ（Ｓ３８５：ＹＥＳ）、運転者が対象物を視認したものとして出力処理を終了する。また、最新のマイクロサッカード発生率Ｘが平均発生率Ｘａ以下であれば（Ｓ３８５：ＮＯ）、運転者が対象物を視認していない虞があるものとして、警報部３１に警報を行うよう指示し（Ｓ４００）、出力処理を終了する。

このような出力処理が終了すると、注意力推定処理を終了する。
［本実施形態による効果］
以上のように詳述した注意力推定システム１において制御部１０は、監視対象者の視野内に監視対象者が視認すべき対象物が存在するか否かを判定する。また、制御部１０は、
現在における監視対象者の固視微動の傾向を表す固視微動傾向を取得し、対象物が存在しないときにおける監視対象者の固視微動の傾向を表す非存在時傾向を取得する。そして、監視対象者の視野内に監視対象者が視認すべき対象物が存在する場合、固視微動傾向と非存在時傾向との差異を求め、該差異に基づいて監視対象者の状態を推定する。

すなわち、図６（ａ）に示すように、監視対象者の視野内に監視対象者が視認すべき対象物が存在しないときよりも、対象物が存在し監視対象者がこの対象物を視認した場合に、監視対象者の固視微動（マイクロサッカード）の傾向が変化（増加）する傾向があることを利用している。つまり、監視対象者の視野内に監視対象者が視認すべき対象物が存在するにも拘わらず、監視対象者の固視微動（マイクロサッカード）の傾向が変化（増加）しない場合には、監視対象者が対象物を視認していない虞があると推定できる。

このような注意力推定システム１によれば、固視微動の傾向に従って監視対象者の状態を推定するので、監視対象者が視認すべき対象物を視認したかどうかを推定することができる。

また、注意力推定システム１において制御部１０は、固視微動の傾向としてマイクロサッカードの発生頻度を取得し、固視微動傾向として取得されるマイクロサッカードの発生頻度が非存在時傾向として取得されるマイクロサッカードの発生頻度よりも高い値になっている場合に、監視対象者が対象物を視認した状態であると推定する。

このような注意力推定システム１によれば、監視対象者が対象物を認識したときにマイクロサッカードの発生頻度が増加する傾向があることを利用しているので、監視対象者が対象物を視認した状態であることを良好に推定することができる。

また、注意力推定システム１において制御部１０は、対象物として移動物が存在するか否かを判定する。
このような注意力推定システム１によれば、歩行者や他車両等、監視対象者が視認すべき移動物の有無に応じて監視対象者の状態を推定することができる。

また、注意力推定システム１において制御部１０は、予め設定された潜在的な危険が存在する潜在危険位置に注意力推定システム１が接近したか否かを判定し、潜在危険位置に注意力推定システム１が接近した場合に、対象物が存在するものと取り扱う。

このような注意力推定システム１によれば、対象物が検出されていない場合であっても、潜在危険位置に接近していれば対象物が存在するものとして取り扱うことができる。なお、「潜在危険位置」としては、例えば、移動物が飛び出す可能性がある場所、転落する可能性がある崖等が挙げられる。

また、注意力推定システム１においては、車両に搭載されており、制御部１０は、車両の運転者を監視対象者として監視する。
このような注意力推定システム１によれば、車両運転中の運転者の状態を推定することができる。なお、上記実施形態のように、自動運転等の運転支援を行う際には、運転者が運転支援部４０を過信してしまうことがあり、運転者の覚醒状態が不安定になりがちであるが、注意力推定システム１においては、このような場合であっても運転者の状態を良好に監視することができる。

また、注意力推定システム１において制御部１０は、固視微動傾向と非存在時傾向との差異に基づいて運転者が対象物を視認したか否かを判定し、運転者が対象物を視認していないと判定された場合に、運転者に対して警報を行う。

このような注意力推定システム１によれば、運転者が対象物を視認していないときに警報を行うことができる。
［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

例えば、上記実施形態においては、対象物検出部３７が、移動物や潜在的な危険を示す位置に接近したときに対象物が存在するものとして処理を行ったが、予め設定された潜在的な危険を形成する物体（例えば、交差点と背の高い壁面との組み合わせ、崖、道路上の窪みや穴等、移動の支障となるもの）をパターンマッチング等の手法を用いて検出し、このような潜在的な危険を形成する物体が存在する場合、対象物が存在すると判定してもよい。また、このときの対象物は移動物に限らない。

また、対象物検出部３７が認識する対象物は自車両外のものに限られない。例えば、警告灯等、自車両内において運転者が認識すべきものを対象物として認識してもよい。
また、上記実施形態においては、マイクロサッカードの発生の有無に応じて処理を行ったが、マイクロサッカード以外の固視微動を利用してもよい。また、上記実施形態においては、固視微動の頻度に基づいて運転者の状態を判断したが、対象物の位置と視線移動方向（マイクロサッカードの跳躍方向）を示すベクトルとの関係等の情報に基づいて運転者の状態を判断してもよい。

［実施形態の構成と本発明の手段との対応関係］
上記実施形態の注意力推定システム１のうちの制御部１０は、本発明でいう状態推定装置に相当する。また、上記実施形態において制御部１０が実施する処理のうちのＳ２１０の処理は、本発明でいう対象物判定手段に相当し、上記実施形態におけるＳ３１５、Ｓ３３０の処理は、本発明でいう固視微動傾向取得手段に相当する。

さらに、上記実施形態におけるＳ３５０、Ｓ３８０の処理は、本発明でいう非存在時傾向取得手段に相当し、上記実施形態におけるＳ３５５、Ｓ３８５の処理は、本発明でいう状態推定手段に相当する。また、上記実施形態におけるＳ４００の処理は、本発明でいう警報手段に相当する。

１…注意力推定システム、１０…制御部、１１…ＣＰＵ、１２…メモリ、２１…カメラ、２２…照明部、２５…舵角センサ、２６…車速センサ、３１…警報部、３６…位置検出部、３７…対象物検出部、４０…運転支援部。

Claims (7)

1. 監視対象者の眼球の固視微動に基づいて前記監視対象者の状態を推定する状態推定装置（注意力推定システム１）であって、
   前記監視対象者の視野内に前記監視対象者が視認すべき対象物が存在するか否かを判定する対象物判定手段（Ｓ２１０）と、
   現在における前記監視対象者の固視微動の傾向を表す固視微動傾向を取得する固視微動傾向取得手段（Ｓ３１５、Ｓ３３０）と、
   前記対象物が存在しないときにおける前記監視対象者の固視微動の傾向を表す非存在時傾向を取得する非存在時傾向取得手段（Ｓ３５０、Ｓ３８０）と、
   前記監視対象者の視野内に前記監視対象者が視認すべき対象物が存在する場合、前記固視微動傾向と前記非存在時傾向との差異を求め、該差異に基づいて前記監視対象者の状態を推定する状態推定手段（Ｓ３５５、Ｓ３８５）と、
   を備えたことを特徴とする状態推定装置。
2. 請求項１に記載の状態推定装置において、
   前記固視微動傾向取得手段および前記非存在時傾向取得手段は、前記固視微動の傾向としてマイクロサッカードの発生頻度を取得し、
   前記状態推定手段は、前記固視微動傾向として取得されるマイクロサッカードの発生頻度が前記非存在時傾向として取得されるマイクロサッカードの発生頻度よりも高い値になっている場合に、前記監視対象者が前記対象物を視認した状態であると推定すること
   を特徴とする状態推定装置。
3. 請求項１または請求項２に記載の状態推定装置において、
   前記対象物判定手段は、前記対象物として移動物が存在するか否かを判定すること
   を特徴とする状態推定装置。
4. 請求項１〜請求項３の何れか１項に記載の状態推定装置において、
   前記対象物判定手段は、予め設定された潜在的な危険が存在する潜在危険位置に当該状態推定装置が接近したか否かを判定し、前記潜在危険位置に当該状態推定装置が接近した場合に、前記対象物が存在するものと取り扱うこと
   を特徴とする状態推定装置。
5. 請求項１〜請求項４の何れか１項に記載の状態推定装置において、
   当該状態推定装置は車両に搭載されており、
   当該車両の運転者を前記監視対象者として監視すること
   を特徴とする状態推定装置。
6. 請求項５に記載の状態推定装置において、
   前記状態推定手段は、前記固視微動傾向と前記非存在時傾向との差異に基づいて前記運転者が前記対象物を視認したか否かを判定し、
   前記運転者が前記対象物を視認していないと判定された場合に、前記運転者に対して警報を行う警報手段（Ｓ４００）、を備えたこと
   を特徴とする状態推定装置。
7. コンピュータを、請求項１〜請求項６の何れか１項に記載の状態推定装置を構成する各手段として機能させるための状態推定プログラム。

Images