JP2019136166A - データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム - Google Patents

Abstract

【課題】前庭動眼反射運動を取得するのに適したデータを識別可能にして、前庭動眼反射運動のモニタリング精度を高めることができるデータ処理装置を提供すること。【解決手段】人をモニタリングするためのデータ処理を行うデータ処理装置であって、前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、前記人の瞳孔運動及び頭部運動を測定する測定部と、該測定部により測定された前記人の頭部運動及び瞳孔運動に係るデータに、前記状態判定部による判定結果を示す識別情報を付与する付与部とを装備する。【選択図】図２

Description

本発明はデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムに関する。

特許文献１には、頭部運動により誘発される前庭動眼反射を利用して、車両の運転者などが眠気を自覚する前の予兆を検出することを目的とする眠気予兆検出装置について開示されている。

特許文献１記載の眠気予兆検出装置は、頭部運動を検出する頭部運動検出手段と、眼球運動を検出する眼球運動検出手段と、前記頭部運動検出手段により検出された頭部運動データに基づいて理想眼球運動角速度を算出する理想眼球運動角速度算出手段と、前記眼球運動検出手段により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出手段と、理想眼球運動角速度と眼球回転角速度とから前庭動眼反射（Ｖｅｓｔｉｂｕｌｏ−Ｏｃｕｌａｒ Ｒｅｆｌｅｘ：ＶＯＲ）を検出し、この前庭動眼反射に基づいて眠気の予兆を判定する眠気予兆判定手段と、を備えている。

［発明が解決しようとする課題］
特許文献１には、自動車運転時を模擬した実験システム、すなわちドライビングシミュレータシステムを用い、スクリーンに投影される前方車両のナンバープレート上部を注視点として固視させるなどの実験タスクを被験者に課した状態で試験を行った結果が開示されている。

しかしながら、前記ドライビングシミュレータシステムを用いた疑似的な実験環境は、実際の車両の走行環境とは大きく異なっている。本発明者は、実際の車両の走行環境（実車環境）で検証を行った結果、実車環境では、前庭動眼反射運動を精度良く取得することが極めて難しいことを見出した。

例えば、眼球運動の中には、前庭動眼反射運動の他に、サッカード運動（衝動性眼球運動ともいう）、及び輻輳性運動などがある。実験環境では、予め定められた前記注視点を固視させるようにすればよいが、実車環境では、路面状況、車両の挙動、及び運転者の頭部や眼などの動きは一定ではなく、前庭動眼反射運動以外の眼球運動も多く発生している。

また、前庭動眼反射運動は頭部運動により誘発される。前記実験環境では、ドライバーシートを振動させて、頭部運動を誘発させているが、実車環境では、必ずしも都合よく、頭部が振動する状態が発生するとは限らない。そのため、眼球運動が前庭動眼反射運動であるのかを精度良く判定することが難しいという課題があった。また、実車環境に限らず、設備等の操作環境や作業環境などの様々な現実環境においても、眼球運動が前庭動眼反射運動であるのかを精度よく判定することが難しいという課題があった。

特許第５２５５０６３号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、現実環境下における前庭動眼反射運動のモニタリング精度を高めることができるデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムを提供することを目的としている。

上記目的を達成するために本開示に係るデータ処理装置（１）は、人をモニタリングするためのデータ処理を行うデータ処理装置であって、
前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、
前記人の瞳孔運動及び頭部運動を測定する測定部と、
該測定部により測定された前記人の頭部運動及び瞳孔運動に係るデータに、前記状態判定部による判定結果を示す識別情報を付与する付与部とを備えていることを特徴としている。

上記データ処理装置（１）によれば、前記付与部により付与される前記識別情報によって、前記測定部で測定された前記データが、前記前庭動眼反射運動の算出に適した前記所定の状態にあるときに測定されたデータであるかどうかを適切に識別することができる。したがって、前記識別情報に基づいて、前記所定の状態にあるときに測定された前記データを用いることで、現実環境における前庭動眼反射運動のモニタリング精度を高めることが可能となる。なお、前記データは、前記人の頭部運動及び瞳孔運動のデータでもよいし、前記人の頭部運動及び瞳孔運動のデータから算出された値（算出値）などでもよい。

また本開示に係るデータ処理装置（２）は、上記データ処理装置（１）において、前記状態判定部により、前記人又は前記物の状態が前記所定の状態にはないと判定された場合に、前記人又は前記物の状態が前記所定の状態になるように介入制御を行う介入制御部を備えていることを特徴としている。

上記データ処理装置（２）によれば、前記介入制御によって、前記人又は前記物を、前記人の前庭動眼反射運動の算出に適した状態、換言すれば、前記前庭動眼反射運動を算出するために用いる前記データのシグナルノイズ（ＳＮ）比が高くなる状態に促すことができる。したがって、現実環境下において、前記所定の状態にはないと判定された場合であっても前記前庭動眼反射運動のモニタリング精度を高めることが可能になる。また不要な前記介入制御を行う必要がなくなるので、省電力化を実現することができる。なお、前記シグナルノイズのシグナルは、前記前庭動眼反射運動による眼球運動を示し、ノイズは、前記前庭動眼反射運動以外の眼球運動（例えば、サッカード運動、輻輳性運動など）を示す。

また本開示に係るデータ処理装置（３）は、上記データ処理装置（１）又は（２）において、前記データと前記識別情報とを用いて、前記前庭動眼反射運動を算出する算出部を備えていることを特徴としている。

上記データ処理装置（３）によれば、前記算出部が、前記データと前記識別情報とを用いて、前記前庭動眼反射運動を算出するので、前記識別情報を用いて前記所定の状態のときに測定された前記データを識別し、該データを用いることにより、現実環境においても前記前庭動眼反射運動を精度良くモニタリングすることができる。

また本開示に係るデータ処理装置（４）は、上記データ処理装置（３）において、前記付与部が、前記所定の状態にある場合に測定された前記データに第１の識別情報を付与し、前記所定の状態にない場合に測定された前記データに第２の識別情報を付与するものであり、
前記算出部が、前記データのうち、前記第１の識別情報が付与された前記データを用いて、前記前庭動眼反射運動を算出するものであることを特徴としている。

上記データ処理装置（４）によれば、前記所定の状態にある場合に測定された前記データに前記第１の識別情報が付与され、前記所定の状態でない場合に測定された前記データに前記第２の識別情報が付与される。そして、前記第１の識別情報が付与された前記データを用いて前記前庭動眼反射運動が算出されるので、前記状態判定部での判定後における前記前庭動眼反射運動のモニタリング精度を確実に高めることができる。

また本開示に係るデータ処理装置（５）は、上記データ処理装置（２）において、前記データと前記識別情報とを用いて、前記前庭動眼反射運動を算出する算出部と、
前記介入制御部により前記介入制御が行われた後、前記測定部により測定された前記データが、前記前庭動眼反射運動の算出に適したデータであるか否かを判定するデータ判定部とを備え、
前記付与部が、前記測定部により測定された前記データのうち、前記データ判定部により前記適したデータと判定された前記データに第１の識別情報を付し、前記適したデータではないと判定された前記データに第２の識別情報を付すものであり、
前記算出部が、前記データのうち、前記第１の識別情報が付与された前記データを用いて、前記前庭動眼反射運動を算出するものであることを特徴としている。

上記データ処理装置（５）によれば、前記介入制御が行われた後に測定された前記データのうち、前記適したデータであると判定された前記データに前記第１の識別情報が付与され、前記適したデータではないと判定された前記データに前記第２の識別情報が付与される。そして、前記第１の識別情報が付与された前記データを用いて前記前庭動眼反射運動が算出されるので、前記介入制御後における前記前庭動眼反射運動のモニタリング精度を確実に高めることができる。

また本開示に係るデータ処理装置（６）は、上記データ処理装置（３）〜（５）のいずれかにおいて、前記算出部により算出された前記前庭動眼反射運動を用いて、前記人の眠気度を判定する眠気判定部を備えていることを特徴としている。

上記データ処理装置（６）によれば、前記眠気判定部により、現実環境下における前記眠気度も精度良く判定することができる。

また本開示に係るデータ処理装置（７）は、上記データ処理装置（６）において、前記眠気判定部により判定された前記眠気度に基づいて、前記人を覚醒させるための制御を行う覚醒制御部を備えていることを特徴としている。

上記データ処理装置（７）によれば、前記覚醒制御部により、前記眠気度に応じて前記人を適切に覚醒させる制御を行うことができる。

また本開示に係るデータ処理装置（８）は、上記データ処理装置（１）〜（７）のいずれかにおいて、前記物が車両であり、前記人が前記車両を運転する運転者であることを特徴としている。

上記データ処理装置（８）によれば、前記物が車両であり、前記人が前記車両を運転する運転者であるので、実車環境において前記運転者の前庭動眼反射運動を精度良く算出することができる。

また本開示に係るデータ処理装置（９）は、上記データ処理装置（８）において、前記状態判定部が、前記データに含まれるノイズ、前記運転者の視線方向、前記車両の走行状態、及び前記車両の進行方向に存在する物体の検出状態のうちの少なくともいずれかに基づいて、前記所定の状態にあるか否かを判定するものであることを特徴としている。

上記データ処理装置（９）によれば、前記所定の状態にあるか否かを、前記車両又は前記運転者の様々な状態に基づいて判定することができるので、実車環境における前庭動眼反射運動のモニタリング精度を高めることが可能となる。なお、前記データに含まれるノイズには、前記前庭動眼反射運動の算出を妨げる眼球や頭部の運動成分が含まれ、例えば、前記前庭動眼反射運動以外の眼球運動の成分が含まれる。

また本開示に係るデータ処理装置（１０）は、上記データ処理装置（８）において、
前記車両の加速度を取得する取得部を備え、
前記状態判定部が
前記取得部で取得された前記車両の加速度と、前記測定部により測定された前記運転者の頭部運動又は瞳孔運動とが所定の関係にある場合に、前記所定の状態にあると判定するものであることを特徴としている。

上記データ処理装置（１０）によれば、前記車両の加速度の変化、換言すれば、前記車両に生じる振動に追従して、前記運転者の頭部運動又は瞳孔運動が測定された場合、前記所定の状態にあると判定することができる。実車環境において前記前庭動眼反射運動が発生しやすい状況で、前庭動眼反射運動を精度良く算出することができる。

また本開示に係るモニタリングシステム（１）は、上記データ処理装置（１）〜（１０）のいずれかと、前記人を含む画像を撮像するカメラとを含み、
前記データ処理装置の前記測定部が、前記カメラから取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を測定するものであることを特徴としている。

上記モニタリングシステム（１）によれば、上記データ処理装置（１）〜（１０）のいずれかと、前記カメラとを含んで構成されているので、上記データ処理装置（１）〜（１０）のいずれかの効果が得られる、様々な現実環境下において導入しやすいシステムを提供することができる。

また本開示に係る覚醒システムは、上記データ処理装置（７）と、該データ処理装置（７）の前記覚醒制御部により制御される覚醒装置とを含んで構成されていることを特徴としている。
上記覚醒システムによれば、前記覚醒制御部により前記覚醒装置が制御されるので、該覚醒装置により前記人を覚醒させることができる。

また本開示に係るデータ処理方法は、人をモニタリングするためのデータ処理方法であって、前記人の瞳孔運動及び頭部運動を測定する測定ステップと、
前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
前記測定ステップにより測定された前記人の頭部運動及び瞳孔運動に係るデータに、前記状態判定ステップにより判定された結果を示す識別情報を付与する付与ステップとを含むステップを実行させることを特徴としている。

上記データ処理方法によれば、前記付与ステップにより付与される前記識別情報によって、前記測定ステップで測定された前記データが、前記前庭動眼反射運動の算出に適した前記所定の状態にあるときに測定されたデータであるかどうかを適切に識別することができる。したがって、前記識別情報に基づいて、前記所定の状態にあるときに測定された前記データを用いることで、現実環境における前庭動眼反射運動のモニタリング精度を高めることが可能となる。

また本開示に係るデータ処理プログラムは、人をモニタリングするためのデータ処理を少なくとも１つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも１つのコンピュータに、
人の瞳孔運動及び頭部運動を測定する測定ステップと、
前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
前記測定ステップにより測定された前記人の頭部運動及び瞳孔運動に係るデータに、前記状態判定ステップにより判定された結果を示す識別情報を付与する付与ステップとを実行させることを特徴としている。

上記データ処理プログラムによれば、前記付与ステップにより付与される前記識別情報によって、前記測定ステップで測定された前記データが、前記前庭動眼反射運動の算出に適した前記所定の状態にあるときに測定されたデータであるかどうかを適切に識別することができる。したがって、前記識別情報に基づいて、前記所定の状態にあるときに測定された前記データを用いることで、現実環境における前庭動眼反射運動のモニタリング精度を高めることが可能なデータ処理を実現することができる。

実施の形態に係るデータ処理装置をモニタリングシステムへ適用させた例を示す概略図である。 実施の形態に係るモニタリングシステムのハードウェア構成の一例を示すブロック図である。 実施の形態に係るデータ処理装置が行う処理動作を示すフローチャートである。

以下、本発明に係るデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムの実施の形態を図面に基づいて説明する。

［適用例］
図１は、実施の形態に係るデータ処理装置をモニタリングシステムへ適用させた例を示す概略図である。
モニタリングシステム１は、車両２に搭載され、車両２の運転者３をモニタリングするためのデータ処理を行うデータ処理装置１０と、運転者３の顔を含む画像を撮像するカメラ２０とを含んで構成されている。

車両２は、自動車であるが、二輪車等の車両であってもよく、車両２の種類は特に限定されない。また、車両２は、自動運転車両であってもよい。自動運転車両は、米国自動車技術会（ＳＡＥ）が提示している自動運転レベルにおけるレベル１（ドライバ支援）、レベル２（部分的自動運転）、レベル３（条件付自動運転）、レベル４（高度自動運転）、及びレベル５（完全自動運転）のうちのいずれのレベルの車両であってもよい。

データ処理装置１０は、少なくとも１つの制御ユニット、及び記憶ユニットを含んで構成されている。前記制御ユニットは、Central Processing Unit（ＣＰＵ）、Graphics processing unit（ＧＰＵ）などの１つ以上のハードウェアプロセッサを含んで構成されている。前記記憶ユニットは、Random Access Memory（ＲＡＭ）、Read Only Memory（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、その他の不揮発性メモリや揮発性メモリなど、半導体素子などによってデータを記憶可能な１つ以上の記憶装置で構成されている。

また、データ処理装置１０は、車両２に搭載されている各種機器、例えば、車載センサ３０、始動スイッチ４０、ナビゲーション装置５０、電子制御ユニット（ＥＣＵ：Electronic Control Unit）６０又は振動装置７０などに接続可能に構成されている。データ処理装置１０は、車載センサ３０で検出された各種の検出データ、始動スイッチ４０のオン、オフ信号などを取得でき、また、ナビゲーション装置５０、電子制御ユニット６０又は振動装置７０などに対して、所定の制御信号などを出力できるようになっている。
また、ナビゲーション装置５０、電子制御ユニット６０又は振動装置７０では、データ処理装置１０から取得した所定の制御信号に基づいて、所定の制御動作が実行されるようになっている。

電子制御ユニット６０には、車両２の駆動部、制動部、操舵部、又はサスペンション部などの各部を制御する１つ以上の電子制御ユニットが含まれている。データ処理装置１０は、ナビゲーション装置５０、電子制御ユニット６０又は振動装置７０と、例えば、ＣＡＮ(Controller Area Network)などの車載ネットワークで相互に通信可能な構成としてもよい。

振動装置７０は、例えば、運転者３の座席シートの下部、背部、又はヘッドレストなどに１つ以上配設され、運転者３の上体又は頭部を上下、前後、又は左右の方向、或いはヨー又はピッチ方向などに所定の周期で連続的又は断続的に振動させることが可能な装置である。

背景技術の欄に記載したように、実車環境では、路面状況、車両の挙動、及び運転者の頭部や眼の動きなどは一定ではない。そのため、運転者の瞳孔運動及び頭部運動を示すデータに、前庭動眼反射運動とは異なる運動成分、例えば、サッカード運動や輻輳性運動などの成分（ノイズ成分）が多く含まれる。その結果、前庭動眼反射運動を検出するためのデータのシグナルノイズ（ＳＮ）比が悪くなりやすく、運転者の前庭動眼反射運動を精度良く検出することが難しかった。なお、前庭動眼反射運動とは、人の頭部運動により誘発される眼球運動であり、頭部の動きの反対方向へ眼球を動かすことで、網膜像のブレを抑制する不随意的眼球運動である。

係る課題を解決すべく、本実施の形態に係るデータ処理装置１０は、前記ＳＮ比が良い状態のデータを識別できるように、運転者３又は車両２の状態が、運転者３の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定し、カメラ２０で撮像された画像を解析して、運転者３の瞳孔運動及び頭部運動を測定し、該測定された運転者３の瞳孔運動及び頭部運動に係るデータに、前記判定の結果を示す識別情報を付与する処理を行う。

前記識別情報が付与される運転者３の瞳孔運動及び頭部運動に係るデータは、運転者３の頭部運動及び瞳孔運動のデータでもよいし、運転者３の頭部運動及び瞳孔運動のデータから算出された値（算出値）などでもよい。例えば、頭部運動及び瞳孔運動の相関関係を示す係数などの算出値に前記識別情報を付与する構成としてもよい。

また、前記所定の状態には、運転者３の頭部が振動しやすい状態、換言すれば、前庭動眼反射運動のシグナル成分、特に変位量が大きくなる状態が含まれる。より具体的には、運転者３の頭部が上下、左右又は前後方向、或いはヨー又はピッチ方向に、変位又は振動しやすい状態などが含まれる。

さらに、前記所定の状態には、前庭動眼反射運動以外の眼球運動、例えば、サッカード運動や輻輳性運動などが生じにくい状態、換言すれば、前庭動眼反射運動のノイズ成分が小さくなる状態が含まれてもよい。より具体的には、車両２が直線道路を走行している状態、又は運転者３が特定の箇所を注視している状態などが含まれてもよい。

そして、データ処理装置１０は、前記識別情報を用いて、前記所定の状態にあるときに測定された前記データと、前記所定の状態でないときに測定された前記データとを識別して、前庭動眼反射運動を算出する。これら処理により、実車環境における前庭動眼反射運動のモニタリング精度が高められるようになっている。

［構成例］
図２は、実施の形態に係るモニタリングシステム１のハードウェア構成の一例を示すブロック図である。
データ処理装置１０は、データ取得部１１、及び制御ユニット１２、記憶ユニット１３を含んで構成されている。

データ取得部１１は、カメラ２０の他、車載センサ３０、始動スイッチ４０、ナビゲーション装置５０、電子制御ユニット６０、及び振動装置７０などに接続され、これら装置との間で各種の信号やデータなどの授受を行うためのインターフェース回路や接続コネクタなどを含んで構成されている。

制御ユニット１２は、状態判定部１２ａ、測定部１２ｂ、付与部１２ｃ、介入制御部１２ｄ、データ判定部１２ｅ、算出部１２ｆ、眠気判定部１２ｇ、及び覚醒制御部１２ｈを含んで構成されている。記憶ユニット１３は、画像記憶部１３ａ、取得データ記憶部１３ｂ、測定データ記憶部１３ｃ、及びプログラム記憶部１３ｄを含んで構成されている。

画像記憶部１３ａには、カメラ２０から取得した運転者の画像データが記憶される。取得データ記憶部１３ｂには、車載センサ３０、ナビゲーション装置５０、又は電子制御ユニット６０などから取得したデータが記憶される。測定データ記憶部１３ｃには、測定部１２ｂで測定された、運転者の瞳孔運動及び頭部運動を示すデータが、画像記憶部１３ａに記憶される各画像と紐付けて記憶される。プログラム記憶部１３ｄには、制御ユニット１２の各部で実行されるデータ処理のプログラム、及び該プログラムの実行や判定処理に必要なデータなどが記憶されている。

制御ユニット１２は、記憶ユニット１３に画像データ、測定データなどを記憶する処理を行い、また、記憶ユニット１３に記憶されたプログラムやデータなどを読み出し、これらプログラムを実行する。制御ユニット１２が、記憶ユニット１３と協働して、これらプログラムを実行することにより、状態判定部１２ａ、測定部１２ｂ、付与部１２ｃ、介入制御部１２ｄ、算出部１２ｆ、データ判定部１２ｅ、眠気判定部１２ｇ、及び覚醒制御部１２ｈの各部の動作が実現される。

カメラ２０は、運転者３の顔を含む画像を撮像する装置であり、例えば、図示しないレンズ部、撮像素子部、光照射部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、例えば、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。

前記撮像素子部は、可視領域の光を受けて撮像画像を形成できるものを含む他、紫外線又は赤外線を受けて撮像画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の赤外線センサを含んで構成されてもよい。

前記光照射部は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどを用いてもよい。前記制御部は、例えば、ＣＰＵ、メモリ、画像処理回路などを含んで構成されている。

前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光（例えば、近赤外線など）を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。カメラ２０は所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮像し、カメラ２０で撮像された画像データがデータ処理装置１０に出力される。

カメラ２０は、１台で構成されているが、２台以上で構成してもよい。また、カメラ２０は、データ処理装置１０と別体（別筐体）で構成してもよいし、データ処理装置１０と一体（同一筐体）で構成してもよい。また、カメラ２０は、単眼カメラでもよいし、ステレオカメラであってもよい。

カメラ２０の車室内での設置位置は、少なくとも運転者３の顔を含む視野を撮像できる位置であれば、特に限定されない。例えば車両２のダッシュボード中央付近の他、ステアリング部分、ステアリングコラム部分、メーターパネル部分、ルームミラー近傍位置、Ａピラー部分、又はナビゲーション装置５０などに設置してもよい。また、カメラ２０の仕様（画角や画素数（縦×横）など）及び位置姿勢（取付角度や所定の原点（ハンドル中央位置など）からの距離など）を含む情報がカメラ２０又はデータ処理装置１０に記憶されてもよい。

車載センサ３０には、車外センサ３１、加速度センサ３２、ジャイロセンサ３３、及び操舵センサ３４などが含まれているが、これら以外のセンサを含んでもよい。

車外センサ３１は、車両２の周辺に存在する対象物を検出するセンサである。前記対象物には、他車両、自転車、人などの移動物体の他、白線など路面標示、ガードレール、中央分離帯、その他、車両２の走行に影響を与える構造物などが含まれてもよい。車外センサ３１は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging（ＬＩＤＡＲ）、及び超音波センサのうち少なくとも１つを含んで構成されている。車外センサ３１で検出された対象物の検出データがデータ処理装置１０に出力される他、電子制御ユニット６０に出力されてもよい。
前記前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。前記レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。前記ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。

加速度センサ３２は、車両２の加速度を検出するセンサであり、ＸＹＺ軸の３方向の加速度を検出する３軸加速度センサを用いてもよいし、２軸、１軸の加速度センサを用いてもよい。３軸加速度センサには、静電容量型の他、ピエゾ抵抗型などの半導体方式の加速度センサを用いてもよい。加速度センサ３２で検出された加速度データが、データ処理装置１０に出力される他、ナビゲーション装置５０又は電子制御ユニット６０に出力されてもよい。

ジャイロセンサ３３は、車両２の回転角速度（例えば、ヨーレート）を検出する角速度センサである。ジャイロセンサ３３で検出された回転角速度の信号がデータ処理装置１０に出力される他、ナビゲーション装置５０又は電子制御ユニット６０に出力されてもよい。

操舵センサ３４は、車両２のステアリングに対する操舵量を検出するセンサであり、例えば、車両２のステアリングシャフトに設けられ、運転者３によりステアリングに与えられる操舵トルク又はステアリングの操舵角を検出する。操舵センサ４３で検出された、運転者３のステアリング操作に応じた信号が、データ処理装置１０に出力される他、電子制御ユニット６０に出力されてもよい。

ナビゲーション装置５０は、図示しない制御部、表示部、音声出力部、操作部、地図データ記憶部、ＧＰＳ受信部などを含んで構成されている。ナビゲーション装置５０は、ＧＰＳ受信部などで計測された車両２の位置情報と地図データ記憶部の地図情報とに基づいて、車両２が走行する道路や車線を割り出し、車両２の現在位置から目的地までの経路などを演算し、該経路を表示部（図示せず）へ表示し、音声出力部（図示せず）から経路案内などの音声出力を行う。ナビゲーション装置５０で求められた、車両２の位置情報、走行道路の情報、又は走行予定経路の情報などがデータ処理装置１０へ出力される構成としてもよい。

覚醒装置８０は、データ処理装置１０の覚醒制御部１２ｈにより制御される装置であり、覚醒制御部１２ｈからの制御信号に基づいて、運転者３を覚醒させるための動作を実行する。覚醒装置８０は、例えば、音又は光などで運転者３に警告を発する警報装置、冷風、温風、又は香気成分や臭気成分を含む気体などを運転者３に吹き付ける空調装置、ステアリングやシートベルトなどを振動させる振動装置などで構成することができる。

次にデータ処理装置１０の各部の構成について説明する。
データ取得部１１で取得したカメラ２０の画像データが、画像記憶部１３ａに記憶される。また、データ取得部１１で取得した車載センサ３０、ナビゲーション装置５０、又は電子制御ユニット６０のデータが、取得データ記憶部１３ｂに記憶される。
状態判定部１２ａは、画像記憶部１３ａ又は取得データ記憶部１３ｂから状態判定に用いるデータを読み出し、読み出したデータを用いて、運転者３又は車両２の状態が、前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する処理を行う。
前記所定の状態には、運転者３の頭部が振動しやすい状態、換言すれば、前庭動眼反射運動のシグナル成分、特に変位量が大きくなる状態が含まれる。より具体的には、運転者３の頭部が上下、左右又は前後方向、或いはヨー又はピッチ方向に、変位又は振動しやすい状態などが含まれる。

また、前記所定の状態には、前庭動眼反射運動以外の眼球運動（例えば、サッカード運動や輻輳性運動など）が生じにくい状態、換言すれば、前庭動眼反射運動のノイズ成分が小さくなる状態が含まれる。より具体的には、車両２が直線道路を走行している状態、又は運転者３が特定の箇所を注視している状態などが含まれる。

状態判定部１２ａで、前記所定の状態にあると判定された場合、前記所定の状態にあることを示す第１の判定信号が測定部１２ｂに出力される。一方、状態判定部１２ａで、前記所定の状態にないと判定された場合、前記所定の状態にないことを示す第２の判定信号が介入制御部１２ｄに出力される。

測定部１２ｂは、状態判定部１２ａから前記第１の判定信号を取得した場合に、カメラ２０で撮像された画像から運転者３の瞳孔運動及び頭部運動を測定する処理を行う。当該測定処理は、例えば、画像のフレーム毎に実行されるが、所定のフレーム間隔毎に実行されるようにしてもよい。その後、測定部１２ｂは、付与部１２ｃに、識別情報の付与を指示する信号（付与指示信号）を出力する。

また、測定部１２ｂは、介入制御部１２ｄから介入実行信号を取得した場合においても運転者３の瞳孔運動及び頭部運動を測定する処理を行う。この場合、測定部１２ｂは、データ判定部１２ｅに対し、測定データが、前庭動眼反射運動の算出に適したデータであるか否かの判定を指示する信号（判定指示信号）を出力する。

測定部１２ｂが行う瞳孔運動の測定処理の一例を説明する。
測定部１２ｂは、まず、テンプレートマッチングによりカメラ２０で撮像された画像から運転者３の顔（顔領域）を検出する。顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。次に、測定部１２ｂは、前記画像から検出された運転者３の顔領域に対して、テンプレートマッチングにより前記顔領域から瞳孔の位置を検出する。前記瞳孔の位置の検出は、予め用意された瞳孔のテンプレート画像を用いてよい。そして、測定部１２ｂは、前記画像のフレーム毎に瞳孔の位置を検出し、これらフレーム毎の瞳孔の位置変化（移動量）から瞳孔運動を測定する。

次に測定部１２ｂが行う頭部運動の測定処理の一例を説明する。
測定部１２ｂは、まず、テンプレートマッチングによりカメラ２０で撮像された画像から運転者３の顔（顔領域）を抽出する。前記顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。また、前記瞳孔運動を測定する処理で検出された運転者３の顔領域のデータを用いてもよい。

次に、測定部１２ｂは、前記画像から検出された運転者３の顔領域に対して、テンプレートマッチングにより前記顔領域から眼の位置を検出する。前記眼の位置の検出は、予め用意された眼のテンプレート画像を用いてよい。眼のテンプレート画像には、目尻と目頭の位置を示す座標が予め紐付けられている。前記目尻と目頭の座標から画像中における運転者３の目尻と目頭の位置を検出することが可能となっている。目尻と目頭の位置は、瞬きなどの眼の開閉動作によっては移動しないため、目尻と目頭の位置変化は頭部運動により動いたものと推定できる。
そして、測定部１２ｂは、前記画像のフレーム毎に運転者３の目尻と目頭の位置を検出し、これらフレーム毎の目尻と目頭の位置変化（移動量）から頭部運動を測定する。

なお、画像から運転者３の目尻と目頭の位置を検出する場合に、二次元の画像データを用いる他、三次元の位置情報を含む距離画像データと組み合わせて検出してもよい。
前記距離画像データを取得するために、例えば、モニタリングシステム１に三次元画像計測部を装備してもよい。該三次元画像計測部は、撮像された画像の各画素に対象物までの距離の値（奥行きに関する情報）を持たせた三次元画像（距離画像）を取得するものである。前記三次元画像計測部は、例えば、ステレオ法などの受動型計測部であってもよいし、光レーダやパターン光などの光を投影する方式の能動型計測部であってもよい。

二次元画像と距離画像とを組み合わせることによって、運転者３の目尻と目頭の位置の変化が、頭部の平行運動（上下、又は左右方向の運動）によるものであるのか、又は回転運動（ヨー又はピッチ方向の運動）によるものであるのかを精度よく検出することが可能になる。この構成により、瞳孔運動及び頭部運動をより正確に測定することが可能となり、前庭動眼反射運動のモニタリング精度をより高めることができる。

また、運転者３の瞳孔運動及び頭部運動の測定処理は、上記した方法に限定されるものではなく、公知の各種手法を採用することもできる。例えば、国際公開第２００６／０５１６０７号パンフレット、特開２００７−２４９２８０号公報に開示されているように、画像のフレーム毎に顔の各器官の特徴点を検出し、顔の各器官の特徴点の位置から顔の向きを求め、これらフレーム毎の顔の向きの変化（移動量）から頭部運動を測定するようにしてもよい。

付与部１２ｃは、測定部１２ｂから前記付与指示信号を取得した場合、測定部１２ｂで測定された運転者３の頭部運動及び瞳孔運動に係るデータに、状態判定部１２ａによる判定結果を示す識別情報を付与する処理を行う。この場合、前記所定の状態にある（算出適）という判定結果を識別するためのラベル（第１のラベル）が付与される。その後、付与部１２ｃは、運転者３の頭部運動及び瞳孔運動に係るデータと識別情報（第１のラベル）とを紐付けた状態で測定データ記憶部１３ｃに記憶する処理を行うとともに、算出部１２ｆに前庭動眼反射運動の算出を指示する信号（算出指示信号）を出力する。

この場合の前記識別情報は、状態判定部１２ａによる判定結果、例えば、前庭動眼反射運動の算出に適した所定の状態にある場合と、該所定の状態にない場合とをコンピュータ上で識別するために付与される情報であれば、その形態は特に限定されない。

また、前記識別情報は、前記所定の状態に応じて重み付けされた重み係数などの情報であってもよい。係る構成によれば、前記所定の状態を前記重み付けによって細かく識別することが可能となる。そして、前記重み付けを加味して前庭動眼反射運動を算出することにより、測定部１２ｂで測定されたデータの一部だけ（前記所定の状態にある場合のデータだけ）ではなく全てのデータを用いて、実車環境に対応した前庭動眼反射運動をモニタリングすることが可能となる。

また、付与部１２ｃは、介入制御部１２ｄにより所定の介入制御が行われた後、測定部１２ｂで測定された運転者３の頭部運動及び瞳孔運動のデータに、データ判定部１２ｅによる判定結果を示す識別情報、例えば判定結果を識別するためのラベルを付与する処理を行う。

より具体的に説明すると、付与部１２ｃは、データ判定部１２ｅから第１の付与指示信号を取得した場合、データ判定部１２ｅで判定した頭部運動及び瞳孔運動のデータに、前庭動眼反射運動の算出に適していることを示す第１のラベルを付与する処理を行う。その後、付与部１２ｃは、運転者３の頭部運動及び瞳孔運動に係るデータと第１のラベルとを紐付けた状態で測定データ記憶部１３ｃに記憶する処理を行うとともに、算出部１２ｆに前庭動眼反射運動の算出を指示する信号（算出指示信号）を出力する。

また、付与部１２ｃは、データ判定部１２ｅから第２の付与指示信号を取得した場合、データ判定部１２ｅで判定した頭部運動及び瞳孔運動のデータに、前庭動眼反射運動の算出に不適であることを示す第２のラベルを付与する処理を行う。その後、付与部１２ｃは、運転者３の頭部運動及び瞳孔運動に係るデータと第２のラベルとを紐付けた状態で測定データ記憶部１３ｃに記憶する処理を行う。

この場合の前記識別情報は、データ判定部１２ｅによる判定結果、例えば、前庭動眼反射運動の算出に適したデータである場合と、適したデータではない場合とをコンピュータ上で識別するために付与される情報であれば、その形態は特に限定されない。

また、前記識別情報は、前庭動眼反射運動の算出に適したデータであるか否かを重み付けする情報であってもよい。係る構成によれば、前記適したデータであるか否かを前記重み付けによって細かく識別することが可能となる。そして、前記重み付けを加味して前庭動眼反射運動を算出することにより、測定部１２ｂで測定されたデータの一部だけ（前記適したデータであると判定されたデータだけ）ではなく全てのデータを用いて、実車環境に対応した前庭動眼反射運動をモニタリングすることが可能となる。

介入制御部１２ｄは、状態判定部１２ａから前記第２の判定信号を取得した場合、運転者３又は車両２の状態が、運転者３の前庭動眼反射運動の算出に適した前記所定の状態になるように介入制御を行うとともに、該介入制御を実行したことを示す介入実行信号を測定部１２ｂに出力する。

介入制御部１２ｄが行う介入制御の一例を説明する。
（１）介入制御部１２ｄが、ナビゲーション装置５０に対し、直線道路を走行するようにルート変更を指示するルート変更信号を出力する介入制御を行う。直線道路を走行している時は、通常、運転者３は前を向いているので、視線が一方向に定まりやすい状態にある。したがって、データ処理装置１０では、前記介入制御により前庭動眼反射運動以外の眼球運動が生じにくい状態で、頭部運動及び瞳孔運動を測定することが可能となる。

前記ルート変更信号は、例えば、車両２の現在地点と該現在地点から所定距離（例えば、５００ｍ）先の走行予定地点とが直線道路上にあるルートに変更させる制御信号でもよい。また、前記ルート変更信号は、例えば、車両２の現在地点から所定距離（例えば、５００ｍ）先の第１の走行予定地点までの直線の延長線と、前記第１の走行予定地点から所定距離（例えば、５００ｍ）先の第２の走行予定地点までの直線とのなす角度が所定の角度より小さくなる道路にルート変更させる制御信号でもよい。

また、ナビゲーション装置５０は、データ処理装置１０から上記ルート変更信号を取得した場合、車両２の走行道路がルート変更信号で指示された条件を満たす直線道路であるか否かを判断する。

ナビゲーション装置５０の設定ルートが前記ルート変更信号で指示された条件を満たしていない場合、ナビゲーション装置５０は、例えば、交差点ごとにルート探索を実行し、前記ルート変更信号で指示された条件に合致するルートに変更する処理を繰り返す。前記介入制御により、車両２の状態を前庭動眼反射運動の算出に適した状態にすることが可能となる。

（２）車外センサ３１により周囲の安全が確認された場合、介入制御部１２ｄが、ナビゲーション装置５０に対し、運転者３に所定の箇所を集中して見るように促す報知信号を出力する制御を行ってもよい。
ナビゲーション装置５０は、データ処理装置１０から上記報知信号を受信した場合、例えば、「前方を注視してください。」といった音声を出力したり、画面に表示したりする制御を実行する。前記介入制御により、運転者３の眼を前庭動眼反射運動の算出に適した状態、すなわち、前方を注視させる状態に誘導することが可能となる。周囲の安全の確認とは、例えば車両２の前方及び後方１００ｍに先行車または後続車が検出されず、車両の周囲５ｍ以内にその他の障害物が検出されないことを指す。ただし周囲の安全の確認方法はこれに限定されない。

（３）介入制御部１２ｄが、ナビゲーション装置５０に対し、運転者３に頭部を動かすように促す報知信号を出力する制御を行ってもよい。
ナビゲーション装置５０は、データ処理装置１０から上記報知信号を受信した場合、例えば、「前方を見たまま頭部を上下又は左右に動かしてください。」といった音声を出力したり、画面に表示したりする制御を実行する。前記介入制御により、運転者３の頭部を前庭動眼反射運動の算出に適した状態、すなわち頭部を振動させる状態に誘導することが可能となる。

（４）介入制御部１２ｄが、振動装置７０に対し、運転者３の座席を上下、左右、前後又はピッチ方向などに所定の周期で振動させるための制御信号を出力する制御を行ってもよい。
振動装置７０は、データ処理装置１０から上記制御信号を受信した場合、例えば、所定期間、運転者３の座席を上下、左右、前後又はピッチ方向に所定の振動周期で振動させる制御を実行する。前記介入制御により、運転者３の頭部を前庭動眼反射運動の算出に適した状態、すなわち、頭部を振動させる状態にすることが可能となる。

（５）介入制御部１２ｄが、サスペンション制御ユニット６１に対し、車両２を振動させやすい状態に制御するための制御信号を出力する制御を行ってもよい。
サスペンション制御ユニット６１は、データ処理装置１０から上記制御信号を受信した場合、例えば、一定期間、アクティブサスペンション機構の減衰力を調整して、車体を上下又は左右などに揺動させやすい状態にする制御を実行する。前記介入制御により、運転者３の頭部を前庭動眼反射運動の算出に適した状態、すなわち、頭部を振動させる状態にすることが可能となる。

なお、介入制御部１２ｄでは、上記（１）〜（５）のいずれかの介入制御を行うように構成してもよいし、車両２又は運転者３の状態に応じて、上記（１）〜（５）のうちの２以上の介入制御を適宜組み合わせて実行するように構成してもよい。

データ判定部１２ｅは、測定部１２ｂから前記判定指示信号を取得した場合、介入制御部１２ｄにより前記介入制御が行われた後に測定部１２ｂで測定されたデータが、前庭動眼反射運動の算出に適したデータであるか否かを判定する。
データ判定部１２ｅが前庭動眼反射運動の算出に適したデータであると判定した場合、データ判定部１２ｅは、付与部１２ｃに第１のラベルの付与を指示する信号（第１の付与指示信号）を出力する。
一方、データ判定部１２ｅが前庭動眼反射運動の算出に適したデータではないと判定した場合、データ判定部１２ｅは、介入制御部１２ｄに前記介入制御を指示する信号（介入指示信号）を出力するとともに、付与部１２ｃに第２のラベルの付与を指示する信号（第２の付与指示信号）を出力する。

データ判定部１２ｅが行う判定処理の一例を説明する。
（１）データ判定部１２ｅは、瞳孔運動及び頭部運動のデータが測定部１２ｂで取得できたか否かを判定する。そもそも、瞳孔運動及び頭部運動のデータが取得できていなければ、前庭動眼反射運動の算出を行うことができない。

そこで、測定部１２ｂでテンプレートマッチングにより瞳孔運動及び頭部運動を測定した場合において、画像から抽出された顔領域と顔のテンプレート画像との類似度、又は画像から抽出された眼領域と眼のテンプレート画像との類似度を判定する。それぞれの類似度が所定の閾値より低い場合は、画像から頭部（眼、すなわち目尻と目頭）の位置、又は瞳孔の位置を適切に取得できていない、すなわち、前庭動眼反射運動の算出に適したデータを取得できていないと判定してもよい。

（２）データ判定部１２ｅは、瞳孔運動のデータが、前庭動眼反射運動以外の眼球運動、すなわちサッカード運動などのノイズ成分を多く含むデータであるか否かを判定してもよい。
例えば、瞳孔の運動量が頭部の運動量よりも大きい場合、又は頭部の移動又は回転方向に追従して瞳孔が移動又は回転している場合など、眼球の回転速度や回転角などの眼球運動が所定の閾値より大きい場合、瞳孔運動のデータには、サッカード運動などのノイズ成分が多く含まれ、前庭動眼反射運動の算出に適した瞳孔運動データではないと判定してもよい。

また、顔の向きが大きく動いたときは、運転者３が一定の方向を集中して見ようとしている状態にはないため、顔の回転速度や回転角などの頭部の運動が所定の閾値より大きい場合、頭部運動のデータにはノイズ成分が多く含まれ、前庭動眼反射運動の算出に適した頭部運動データではないと判定してもよい。

（３）データ判定部１２ｅは、測定部１２ｂで瞳孔運動及び頭部運動を測定しているときの車速データを取得し、該車速データが所定の速度より小さいか否か、又は前記車速データが所定の速度より大きいか否かを判定することにより、測定部１２ｂで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。

一般的に車速が大きい場合、運転者３は前方の狭い範囲を集中して見ている傾向がある。一方で車速が小さい場合、運転者３は周辺の安全を確保するため、広い範囲を随意的に見渡す傾向にある。前庭動眼反射運動を算出する場合、運転者３が狭い範囲を集中して見ている状態での眼球運動及び頭部運動のデータを使用することが好ましい。
そこで、データ判定部１２ｅは、車速データが所定の速度（例えば、徐行速度）より小さい場合、前庭動眼反射運動の算出に適したデータではないと判定する。又は前記車速データが所定の速度より大きい場合、前庭動眼反射運動の算出に適したデータであると判定してもよい。

さらに、データ判定部１２ｅは、所定の速度を閾値にして２値判断するのではなく、眼球運動及び頭部運動のデータに対して車速に応じた重み付けを行ってもよい。例えば、車速が時速０〜２０ｋｍであれば重み係数０．２、時速２０〜４０ｋｍであれば重み係数０．５、時速４０〜６０ｋｍであれば重み係数０．８、時速６０ｋｍ以上であれば重み係数１．０を、眼球運動及び頭部運動のデータに対応付けて記憶し、前記重み係数を加味して前庭動眼反射運動を算出するようにしてもよい。

（４）データ判定部１２ｅは、測定部１２ｂで瞳孔運動及び頭部運動を測定しているときの操舵データを取得し、該操舵データが所定の操舵角より大きいか否かを判定することにより、測定部１２ｂで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。

前庭動眼反射運動を算出する場合、運転者３が前方の狭い範囲を集中して見ている状態での眼球運動及び頭部運動のデータを使用することが好ましい。運転者３が前方の狭い範囲を集中して見ている傾向が高いのは、カーブが連続する道路を走行している場合よりも直線道路を走行している場合である。そこで、データ判定部１２ｅは、操舵データが所定の操舵角より大きい場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。

（５）データ判定部１２ｅは、測定部１２ｂで瞳孔運動及び頭部運動を測定しているときの車両２の位置データ又は走行道路データなどを取得し、車両２が直線道路を走行中であるか否かを判定することにより、測定部１２ｂで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。

運転者３が前方の狭い範囲を集中して見ている傾向が高いのは、カーブが連続する道路を走行している場合よりも直線道路を走行している場合である。そこで、データ判定部１２ｅは、車両２が直線道路を走行していない場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。

（６）データ判定部１２ｅは、測定部１２ｂで瞳孔運動及び頭部運動を測定しているときに、車外センサ３１で取得された周辺監視データを取得し、車両２の周辺に障害物や先行車両などが存在するか否かを判定することにより、測定部１２ｂで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。

車両２に対して相対的に移動している先行車両や障害物などが存在する場合、運転者３は、相対移動している先行車両や障害物を目で追跡する傾向があり、運転者３の眼が能動的に動いている状態にある。眼を能動的に動かしている状態は、前庭動眼反射運動の算出に適した状態にはない。そこで、データ判定部１２ｅは、車両２に対して相対移動している先行車両や障害物などが検出されている場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。

（７）データ判定部１２ｅは、測定部１２ｂで瞳孔運動及び頭部運動を測定しているときの運転者３の視線の向きを取得し、運転者３の視線の向きに基づいて、測定部１２ｂで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。運転者３の顔が撮像された画像から運転者３の視線の向きを検出する方法には、公知の視線検出方法が採用される。

例えば、運転者３が、地平線の方向などの前方の遠い場所を見ている場合、前方を集中して見ている可能性が高いので、例えば、視線の向きが、車両の前方（基準方向）に対して所定角度（例えば、上下±５度、又は左右±５度）以内である場合、前方を集中して見ていると判定してもよい。

また、運転者３が、ナビゲーション装置５０などの車内の操作部や表示部を見ている場合も、狭い範囲を注視している可能性が高い。したがって、例えば、運転者３の視線の向きが、ナビゲーション装置５０などの設置方向である場合、前庭動眼反射運動の算出に適したデータであると判定してもよい。ただし、車内の装備を注視しているときの測定データから前庭動眼反射運動を算出する場合は、安全性の観点から、自動運転レベルが前記ＳＡＥのレベル３以上の自動運転車両などにおいて適用することが好ましい。

（８）データ判定部１２ｅは、測定部１２ｂで測定した頭部運動の運動量（平行移動又は回転移動）に基づいて、前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
前庭動眼反射運動は、運転者３の頭部が運動しなければ発生しない眼球運動である。したがって、データ判定部１２ｅは、測定部１２ｂで測定した頭部運動の運動量（平行移動又は回転移動）が、所定の運動量より小さい場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。

（９）データ判定部１２ｅは、測定部１２ｂで瞳孔運動及び頭部運動を測定しているときの車両の加速度データを取得し、車両２の加速度データに基づいて、測定部１２ｂで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
車両２の上下、左右又は前後方向に所定の加速度が発生している場合、運転者３の頭部が上下、左右又はピッチ方向に運動しやすい状態になる。

したがって、データ判定部１２ｅは、車両２の加速度データが、運転者３の頭部運動が発生しやすい閾値より大きい場合、前庭動眼反射運動の算出に適したデータであると判定してもよい。
また、データ判定部１２ｅは、車両２の加速度データから得られた車両２の振動と頭部運動とが、同じ方向に同等の周波数で振動しているなどの一定の関係にある場合、前庭動眼反射運動の算出に適したデータであると判定する。
車両２の加速度データは、車両２に装備した加速度センサ３２からのデータを用いることができる他、車外センサ３１で認識された物体との距離の時系列変化から車両２の速度を求め、該速度から求めた加速度データを用いてもよい。

なお、データ判定部１２ｅでは、上記（１）〜（９）のいずれかの判定を行うように構成してもよいし、車両２又は運転者３の状態に応じて、上記（１）〜（９）のうちの２以上の判定を適宜組み合わせて実行するように構成してもよい。

算出部１２ｆは、付与部１２ｃから前記算出指示信号を取得した場合、測定データ記憶部１３ｃから、第１のラベルが付与された運転者３の瞳孔運動及び頭部運動のデータを読み出し、これらデータを用いて、前庭動眼反射運動を算出する処理を行う。算出部１２ｆは、算出処理を行った後、前庭動眼反射運動に関する算出データ（パラメータ）を眠気判定部１２ｇに出力する。

算出部１２ｆで算出される前庭動眼反射運動に関するパラメータには、例えば、ＶＯＲゲイン、残差標準偏差、位相差の少なくともいずれかのデータが含まれている。
ＶＯＲゲインは、原理的には頭部の運動（回転角速度）に対する瞳孔の運動（回転角速度）の応答度合を意味し、瞳孔の運動（回転角速度）／頭部の運動（回転角速度）で表すことができる。

例えば、ＶＯＲゲインは、目的変数を眼球回転角速度ｅ（ｔ）、説明変数を理想眼球角速度ｈ（ｔ）と定数項ｄｃとする式［数１］の回帰モデルの係数Ｇとして式［数２］により最小二乗推定して求めることができる。ここで、ε（ｔ）は回帰モデルの残差である。また、τは理想眼球運動に対する眼球運動の遅れ時間である。
眼球回転角速度ｅ（ｔ）は、測定部１２ｂで測定された瞳孔運動データに基づいて眼球運動角を求め、該眼球運動角を微分処理して求めることができる。理想眼球角速度ｈ（ｔ）は、測定部１２ｂで測定された頭部運動データに基づいて頭部運動角を求め、該頭部運動角を微分処理して求めることができる。なお、ＶＯＲゲインは、運転者３の前後、上下、左右、ヨー、及びピッチ方向の少なくとも１つの方向について算出すればよい。

また、残差標準偏差（ＳＤｒｅｓ）は、式［数３］により算出することができる。

なお、ＶＯＲゲインと残差標準偏差は、充分な推定精度が得られるように第１の時間（例えば、数十秒）のデータを１セグメントとし、第１の時間より短い第２の時間のオーバーラップを持たせながら、第２の時間より短い第３の時間毎に各セグメントにおける値を算出してもよい。また、一般的に運転者３が眠気を催すと、ＶＯＲゲインが減少するとともに、残差標準偏差が増加する傾向が見られる。したがって、眠気の予兆を精度よく判定するため、ＶＯＲゲインの減少率などの変化率、又は残差標準偏差の増加率などの変化率を求めてもよい。

眠気判定部１２ｇは、算出部１２ｆから前庭動眼反射運動に関する算出データを取得した場合、取得した前庭動眼反射運動に関する算出データを用いて、運転者３の眠気を判定する。例えば、ＶＯＲゲイン、残差標準偏差、位相差の少なくともいずれかのパラメータを用いて、所定の閾値との比較等を行い、運転者３の眠気度を判定してもよいし、前庭動眼反射運動以外のパラメータも加味して判定してもよい。眠気判定部１２ｇは、運転者３の眠気を判定した後、運転者３の眠気の判定結果（例えば、眠気度）を覚醒制御部１２ｈに出力する。

覚醒制御部１２ｈは、眠気判定部１２ｇから取得した眠気度に基づいて、覚醒装置８０に対し、運転者３を覚醒させるための制御信号を出力する処理を行う。
覚醒装置８０が、例えば、音又は光などで運転者３に警告を発する警報装置で構成されている場合、覚醒制御部１２ｈは、前記警報装置を所定期間作動させる制御信号を前記警報装置に出力する。
また、覚醒装置８０が、冷風、温風、又は香気成分や臭気成分を含む気体などを運転者３に吹き付ける空調装置で構成されている場合、覚醒制御部１２ｈは、前記空調装置を所定期間作動させる制御信号を前記警報装置に出力する。
また、覚醒装置８０が、ステアリングやシートベルトなどを振動させる振動装置で構成されている場合、覚醒制御部１２ｈは、前記振動装置を所定期間作動させる制御信号を前記振動装置に出力する。

また、ナビゲーション装置５０、又は振動装置７０に対し、運転者３を覚醒させるための制御信号を出力する処理を行ってもよい。この場合、前記制御信号には、ナビゲーション装置５０に対して、運転者３を覚醒させるための警告音や警告表示を出力させる制御信号、振動装置７０により座席を所定期間振動させる制御信号などが含まれる。

［動作例］
図３は、実施の形態に係るデータ処理装置１０における制御ユニット１２が行う処理動作を示したフローチャートである。本処理動作は、例えば、車両２の始動スイッチ４０がオンされた後に実行されるようになっている。

ステップＳ１では、制御ユニット１２がカメラ２０を起動させる処理を行う。カメラ２０では、毎秒所定フレーム数の画像が撮像される。制御ユニット１２は、これら撮像された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行する。

ステップＳ２では、データ取得部１１が、カメラ２０、車載センサ３０、又はナビゲーション装置５０からデータを取得する処理を行う。例えば、運転者３を撮像した画像データをカメラ２０から取得する他、車載センサ３０から周辺監視データなどを取得してもよいし、走行道路の形状（直線、カーブなど）などを含む道路データをナビゲーション装置５０から取得してもよい。

ステップＳ３では、状態判定部１２ａが、ステップＳ２で取得したデータを用いて、運転者３又は車両２の状態が、前庭動眼反射運動（ＶＯＲ）の算出に適した所定の状態にあるか否かを判定する。前記所定の状態については、上記説明のとおりである。

ステップＳ３において、状態判定部１２ａが、運転者３又は車両２の状態が前記所定の状態にはないと判断すれば、制御ユニット１２はステップＳ４を実行する。
ステップＳ４では、介入制御部１２ｄが、運転者３又は車両２が前記所定の状態になるように介入制御を行い、次に制御ユニット１２はステップＳ５を実行する。なお、ステップＳ４では、上記説明した（１）〜（５）のいずれかの介入制御を行うように構成してもよいし、車両２又は運転者３の状態に応じて、上記（１）〜（５）のうちの２以上の介入制御を適宜組み合わせて実行するように構成してもよい。

ステップＳ５では、測定部１２ｂが、運転者３の瞳孔運動を測定する処理を行い、次のステップＳ６では、測定部１２ｂが、運転者３の頭部運動を測定する処理を行い、次に制御ユニット１２はステップＳ７を実行する。なお、ステップＳ５、Ｓ６の順序を入れ替えてもよい。

ステップＳ７では、データ判定部１２ｅが、ステップＳ５、Ｓ６で測定された運転者３の瞳孔運動及び頭部運動のデータが前庭動眼反射運動の算出に適用可能であるか否かを判定する。なお、ステップＳ７では、上記説明した（１）〜（９）のいずれかの判定を行うように構成してもよいし、車両２又は運転者３の状態に応じて、上記（１）〜（９）のうちの２以上の判定を適宜組み合わせて実行するように構成してもよい。

ステップＳ７において、データ判定部１２ｅが、前記データが前庭動眼反射運動の算出に適用可能ではないと判断すれば、制御ユニット１２はステップＳ８を実行する。ステップＳ８では、付与部１２ｃが、上記ステップＳ５、６で測定された前記データに、前庭動眼反射運動の算出に適していないこと（算出不適）を示す第２のラベルを付与する処理を行い、その後制御ユニット１２はステップＳ４に戻り、処理を繰り返す。

一方、ステップＳ７において、データ判定部１２ｅが、前記データが前庭動眼反射運動の算出に適用可能であると判断すれば、制御ユニット１２はステップＳ１１を実行する。
ステップＳ１１では、付与部１２ｃが、上記ステップＳ５、６で測定された前記データに、前庭動眼反射運動の算出に適していること（算出適）を示す第１のラベルを付与する処理を行い、次に制御ユニット１２はステップＳ１２を実行する。

また、一方ステップＳ３において、状態判定部１２ａが、運転者３又は車両２の状態が前記所定の状態にあると判断すれば、制御ユニット１２はステップＳ９を実行する。
ステップＳ９では、測定部１２ｂが、運転者３の瞳孔運動を測定する処理を行い、次に制御ユニット１２はステップＳ１０を実行する。瞳孔運動の測定処理は、ステップＳ５と同様の測定処理を行うようになっている。

ステップＳ１０では、測定部１２ｂが、運転者３の頭部運動を測定する処理を行い、次に制御ユニット１２はステップＳ１１を実行する。頭部運動の測定処理は、ステップＳ６と同様の測定処理を行うようになっている。なお、ステップＳ９、Ｓ１０の順序を入れ替えてもよい。

ステップＳ１１では、付与部１２ｃが、上記ステップＳ９、Ｓ１０で測定された前記データに、前庭動眼反射運動の算出に適していること（算出適）を示す第１のラベルを付与する処理を行い、次に制御ユニット１２はステップＳ１２を実行する。

ステップＳ１２では、算出部１２ｆが、第１のラベルが付与された前記データを用いて、前庭動眼反射運動を算出し、次に制御ユニット１２はステップＳ１３を実行する。前庭動眼反射運動の算出データには、ＶＯＲゲイン、残差標準偏差、位相差のうちの少なくともいずれかが含まれる。

ステップＳ１３では、眠気判定部１２ｇが運転者３の眠気度を算出し、次のステップＳ１４では、眠気判定部１２ｇが、眠気度が所定の閾値より小さいか否かを判断する。ステップＳ１４において、眠気判定部１２ｇが、眠気度が所定の閾値以上であると判断すれば、制御ユニット１２はステップＳ１５を実行する。
ステップＳ１５では、覚醒制御部１２ｈが、ナビゲーション装置５０又は振動装置７０に、運転者３を覚醒させるための所定の制御信号を出力する処理を行い、次に制御ユニット１２はステップＳ１６を実行する。

ステップＳ１６では、始動スイッチ４０がオフされたか否かを判断し、始動スイッチ４０がオフされていないと判断すれば、制御ユニット１２はステップＳ２の処理に戻る。一方、ステップＳ１６において、始動スイッチ４０がオフされたと判断すれば、制御ユニット１２はステップＳ１７を実行する。ステップＳ１７では、制御ユニット１２がカメラ２０の駆動を停止し、処理を終える。

［作用・効果］
上記実施の形態に係るデータ処理装置１０によれば、付与部１２ｃにより付与される識別情報（第１のラベルと第２のラベル）によって、測定部１２ｂで測定された前記データが、前庭動眼反射運動の算出に適した前記所定の状態のときに測定されたデータであるかどうかを適切に識別することができる。
したがって、前記識別情報に基づいて、前記所定の状態のときに測定された前記第１のラベルが付与されたデータを用いることで、実車環境であっても前庭動眼反射運動のモニタリング精度を高めることができる。

また、データ処理装置１０によれば、介入制御部１２ｄによる介入制御によって、運転者３の前庭動眼反射運動の算出に適した状態、換言すれば、運転者３又は車両２を、前庭動眼反射運動の算出のためのシグナルノイズ比を高めることができる状態に促すことができる。

また、介入制御が行われた後に測定された前記データのうち、データ判定部１２ｅにより前記適したデータと判定された前記データに、付与部１２ｃにより第１のラベルが付与され、前記適したデータではないと判定された前記データに第２のラベルが付与される。そして、付与部１２ｃにより第１のラベルが付与されたデータを用いて前庭動眼反射運動が算出されるので、前記介入制御が行われた後における前庭動眼反射運動のモニタリング精度をより高めることができる。

また、データ処理装置１０によれば、前記所定の状態にあると判定された場合、換言すれば、前記ＳＮ比が高いと想定される状態では、介入制御部１２ｄによる介入制御を行うことなく、測定部１２ｂで測定された運転者３の瞳孔運動及び頭部運動のデータに、第１のラベルを付与し、前庭動眼反射運動を算出することができ、前記介入制御による運転者３への負担を少なくすることができる。

また、データ処理装置１０によれば、眠気判定部１２ｇを備えているので、実車環境下における運転者３の眠気度を精度良く判定することができ、また、覚醒制御部１２ｈを備えているので、眠気度に応じて運転者３を適切に覚醒させる制御を行うことができる。

また、データ処理装置１０とカメラ２０とを備えたモニタリングシステム１によれば、実車環境下において導入しやすいモニタリングシステムを提供することができる。
また、データ処理装置１０と覚醒装置８０とを備えた覚醒システムにより、実車環境下において、運転者３を適切に覚醒させることができるシステムを提供することができる。

［変形例］
以上、本発明の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。

（変形例１）
データ処理装置１０の制御ユニット１２は、図２に示した各部を全て備えている必要はなく、別の実施の形態では、制御ユニット１２が、少なくとも状態判定部１２ａ、測定部１２ｂ、付与部１２ｃを備えた第１の構成、該第１の構成に介入制御部１２ｄをさらに備えた第２の構成、前記第２の構成にデータ判定部１２ｅをさらに備えた第３の構成、前記第１〜第３の構成のいずれかに算出部１２ｆをさらに備えた第４の構成、前記第４の構成に眠気判定部１２ｇをさらに備えた第５の構成、又は前記第５の構成に覚醒制御部１２ｈをさらに備えた第６の構成によって構成されてもよい。

（変形例２）
図３で説明した制御ユニット１２が行う処理動作において、ステップＳ２とステップＳ３との間に、ステップＳ９の瞳孔運動の測定処理と、ステップＳ１０の頭部運動の測定処理とを実行する。そして、頭部運動の測定処理の後、ステップＳ３の判定処理を行い、ステップＳ３において、前記所定の状態にあると判断した場合に、ステップＳ１１に進み、算出適の第１のラベルを付し、ステップＳ１２以降の処理を行うようにしてもよい。また、この場合、ステップＳ３の状態判定処理に代えて、ステップＳ７のデータ判定処理を実行するようにしてもよい。

（変形例３）
また、ステップＳ７のデータ判定処理では、運転者３の瞳孔運動及び頭部運動のデータが前庭動眼反射運動の算出に適用可能であるか否かを２値判定で行っているが、別の実施の形態では、２値判定ではなく、適用可能な状態に応じた重み付け判定を行うようにしてもよい。そして、ステップＳ８において、重み付けに応じたラベルを付与した後、ステップＳ１２に進み、ステップＳ１２では、重み付けラベルが付与された瞳孔運動及び頭部運動のデータを用いて、前庭動眼反射運動を算出するようにしてもよい。
係る構成を採用した場合、測定部１２ｂで測定された前記データが、前庭動眼反射運動の算出に適したデータであるか否かを前記重み付けによって細かく判定することができる。また、前記重み付けを加味して前庭動眼反射運動を算出することにより、前記データの一部だけではなく全てを用いて、実車環境に対応した前庭動眼反射運動をモニタリングすることができる。

（変形例４）
また、上記実施の形態では、モニタリングシステム１及びデータ処理装置１０が車両２に搭載されている場合について説明したが、モニタリングシステム１及びデータ処理装置１０は、車載用に限定されるものではない。
別の実施の形態では、例えば、モニタリングシステム１及びデータ処理装置１０を工場内や事務所内に設置して、工場内に装備された設備を操作する人、机で所定の作業を行う人などの眠気をモニタリングするシステムなどにも広く適用することができる。この場合、工場内で人が操作する物には、例えば、生産装置などが挙げられる。また、事務所内で人が操作する物には、例えば、パーソナルコンピュータなどの事務機器などが挙げられる。

［付記］
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
（付記１）
人をモニタリングするためのデータ処理を行うデータ処理装置（１０）であって、
前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部（１２ａ）と、
前記人の瞳孔運動及び頭部運動を測定する測定部（１２ｂ）と、
測定部（１２ｂ）により測定された前記人の頭部運動及び瞳孔運動のデータに、状態判定部（１２ａ）による判定結果を示す識別情報を付与する付与部（１２ｃ）とを備えていることを特徴とするデータ処理装置。

（付記２）
データ処理装置（１０）と、
人を含む画像を撮像するカメラ（２０）とを含み、
データ処理装置（１０）の測定部（１２ｂ）が、
カメラ（２０）から取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を測定するものであることを特徴とするモニタリングシステム（１）。

（付記３）
人をモニタリングするためのデータ処理方法であって、
前記人の瞳孔運動及び頭部運動を測定する測定ステップ（ステップＳ５、Ｓ６、またはステップＳ９、Ｓ１０）と、
前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップ（ステップＳ３、またはステップＳ７）と、
前記測定ステップにより測定された前記人の頭部運動及び瞳孔運動を示すデータに、前記状態判定ステップにより判定された結果を示す識別情報を付与する付与ステップ（ステップＳ８、又はステップＳ９）と、を含むステップを実行させることを特徴とするデータ処理方法。

（付記４）
人をモニタリングするためのデータ処理を少なくとも１つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも１つのコンピュータ（１２）に、
人の瞳孔運動及び頭部運動を測定する測定ステップ（ステップＳ５、Ｓ６、またはステップＳ９、Ｓ１０）と、
前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップ（ステップＳ３、またはステップＳ７）と、
前記測定ステップにより測定された前記人の頭部運動及び瞳孔運動を示すデータに、前記状態判定ステップにより判定された結果を示す識別情報を付与する付与ステップ（ステップＳ８、又はステップＳ９）と、を実行させることを特徴とするデータ処理プログラム。

１モニタリングシステム
２ 車両
３ 運転者
１０ データ処理装置
１１ データ取得部
１２ 制御ユニット
１２ａ 状態判定部
１２ｂ 測定部
１２ｃ 付与部
１２ｄ 介入制御部
１２ｅ データ判定部
１２ｆ 算出部
１２ｇ 眠気判定部
１２ｈ 覚醒制御部
１３ 記憶ユニット
１３ａ 画像記憶部
１３ｂ 取得データ記憶部
１３ｃ 測定データ記憶部
１３ｄ プログラム記憶部
２０ カメラ
３０ 車載センサ
３１ 車外センサ
３２ 加速度センサ
３３ ジャイロセンサ
３４ 操舵センサ
４０ 始動スイッチ
５０ ナビゲーション装置
６０ 電子制御ユニット（ＥＣＵ）
６１ サスペンション制御ユニット
７０ 振動装置
８０ 覚醒装置

Claims (14)

1. 人をモニタリングするためのデータ処理を行うデータ処理装置であって、
   前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、
   前記人の瞳孔運動及び頭部運動を測定する測定部と、
   該測定部により測定された前記人の頭部運動及び瞳孔運動に係るデータに、前記状態判定部による判定結果を示す識別情報を付与する付与部とを備えていることを特徴とするデータ処理装置。
2. 前記状態判定部により、前記人又は前記物の状態が前記所定の状態にはないと判定された場合に、前記人又は前記物の状態が前記所定の状態になるように介入制御を行う介入制御部を備えていることを特徴とする請求項１記載のデータ処理装置。
3. 前記データと前記識別情報とを用いて、前記前庭動眼反射運動を算出する算出部を備えていることを特徴とする請求項１又は請求項２記載のデータ処理装置。
4. 前記付与部が、
   前記所定の状態にある場合に測定された前記データに第１の識別情報を付与し、
   前記所定の状態にない場合に測定された前記データに第２の識別情報を付与するものであり、
   前記算出部が、
   前記データのうち、前記第１の識別情報が付与された前記データを用いて、前記前庭動眼反射運動を算出するものであることを特徴とする請求項３記載のデータ処理装置。
5. 前記データと前記識別情報とを用いて、前記前庭動眼反射運動を算出する算出部と、
   前記介入制御部により前記介入制御が行われた後、前記測定部により測定された前記データが、前記前庭動眼反射運動の算出に適したデータであるか否かを判定するデータ判定部とを備え、
   前記付与部が、
   前記測定部により測定された前記データのうち、前記データ判定部により前記適したデータと判定された前記データに第１の識別情報を付し、前記適したデータではないと判定された前記データに第２の識別情報を付すものであり、
   前記算出部が、
   前記データのうち、前記第１の識別情報が付与された前記データを用いて、前記前庭動眼反射運動を算出するものであることを特徴とする請求項２記載のデータ処理装置。
6. 前記算出部により算出された前記前庭動眼反射運動を用いて、前記人の眠気度を判定する眠気判定部を備えていることを特徴とする請求項３〜５のいずれかの項に記載のデータ処理装置。
7. 前記眠気判定部により判定された前記眠気度に基づいて、前記人を覚醒させるための制御を行う覚醒制御部を備えていることを特徴とする請求項６記載のデータ処理装置。
8. 前記物が車両であり、
   前記人が前記車両を運転する運転者であることを特徴とする請求項１〜７のいずれかの項に記載のデータ処理装置。
9. 前記状態判定部が、
   前記データに含まれるノイズ、前記運転者の視線方向、前記車両の走行状態、及び前記車両の進行方向に存在する物体の検出状態のうちの少なくともいずれかに基づいて、前記所定の状態にあるか否かを判定するものであることを特徴とする請求項８記載のデータ処理装置。
10. 前記車両の加速度を取得する取得部を備え、
    前記状態判定部が
    前記車両から取得した該車両の加速度の変化と、前記測定部により測定された前記運転者の頭部運動又は瞳孔運動とが所定の関係にある場合に、前記所定の状態にあると判定するものであることを特徴とする請求項８記載のデータ処理装置。
11. 請求項１〜１０のいずれかの項に記載のデータ処理装置と、
    前記人を含む画像を撮像するカメラとを含み、
    前記データ処理装置の前記測定部が、
    前記カメラから取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を測定するものであることを特徴とするモニタリングシステム。
12. 請求項７記載のデータ処理装置と、
    該データ処理装置の前記覚醒制御部により制御される覚醒装置とを含んで構成されていることを特徴とする覚醒システム。
13. 人をモニタリングするためのデータ処理方法であって、
    前記人の瞳孔運動及び頭部運動を測定する測定ステップと、
    前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
    前記測定ステップにより測定された前記人の頭部運動及び瞳孔運動に係るデータに、前記状態判定ステップにより判定された結果を示す識別情報を付与する付与ステップとを含むステップを実行させることを特徴とするデータ処理方法。
14. 人をモニタリングするためのデータ処理を少なくとも１つのコンピュータに実行させるためのデータ処理プログラムであって、
    前記少なくとも１つのコンピュータに、
    人の瞳孔運動及び頭部運動を測定する測定ステップと、
    前記人又は該人が操作する物の状態が、前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
    前記測定ステップにより測定された前記人の頭部運動及び瞳孔運動に係るデータに、前記状態判定ステップにより判定された結果を示す識別情報を付与する付与ステップとを実行させることを特徴とするデータ処理プログラム。

Images