JP2010273954A - 瞬目計測装置及び瞬目計測方法 - Google Patents

Abstract

【課題】 信頼性の高い瞬目計測装置及び瞬目計測方法を提供する。
【解決手段】 本発明は、計測対象者の瞬目動作に基づいて計測対象者の生体状態を判定するための瞬目計測装置１であって、計測対象者の眼を撮像する撮像部５と、撮像部５により撮像された眼の画像に基づいて、瞬目動作に関する瞬目特徴量を算出し、この瞬目特徴量に基づいて、瞬目動作の種類を判別する瞼開閉計測部７と、を備える。この瞬目計測装置１によれば、眼の撮像画像から瞬目動作に関する瞬目特徴量を算出することにより、この瞬目特徴量に基づいて、例えば計測対象者の疲労状態や覚醒状態等の生体状態を判定することが可能となる。しかも、瞬目動作の種類を判別することで、瞬目動作の種類に応じた適切な瞬目特徴量の評価が可能となるので、結果として装置の判定結果に係る信頼性の向上を図ることができる。
【選択図】 図１２

Description

本発明は、計測対象者の瞬目動作に基づいて計測対象者の生体状態を判定するための瞬目計測装置及び瞬目計測方法に関する。

近年、ＶＤＴ作業等による眼疲労や車の運転等の作業による疲労と、眼の運動との関係が注目を集めている。例えば、特許文献１には、眼性疲労の状態を推定するパラメータとして、瞬目の開始時の速度及び加速度を利用することが記載されている。また、特許文献２には、眼性疲労の状態を推定するパラメータとして、瞬目の回数や頻度を利用することが記載されている。また、非特許文献１には、眠気等による運転者の意識低下状態を検知・推定するためのパラメータとして、瞬目開始から閉眼状態を経て再び開眼するまでの時間（すなわち１回の瞬目動作が完了するまでの時間）を利用することが記載されている。

特開平８−２８９３２７号公報 特許第３３４８９５６号公報 足立和正、他３名、「ドライバの意識低下検知のための動画像処理によるまばたき計測」、電気学会論文誌Ｃ（電子・情報・システム部門誌）、電気学会、２００４年、第１２４巻、第３号、ｐ．７７６−７８３

ところで、特許文献１，２及び非特許文献１に記載された装置は、ＣＣＤカメラにより取得した顔画像に基づいて各パラメータを算出している。しかしながら、現在の一般的なＣＣＤカメラは３０フレーム／秒といった低速での撮像しかできない。この場合、１フレーム当たりの所要時間は約３３ミリ秒である。一方、人間が瞬目に要する時間（瞬目開始から閉眼状態を経て再び開眼するまで）は１００〜３００ミリ秒程度であり、ＣＣＤカメラでは３〜１０フレームの画像しか得られないので、瞬目動作を精度良く計測することは困難である。従って、特許文献１，２又は非特許文献１に記載された装置においては、疲労状態や覚醒状態等の生体状態の判定に関する信頼性が低いという問題があった。

そこで、本発明は、上記した問題点を鑑みてなされたものであり、信頼性の高い瞬目計測装置及び瞬目計測方法を提供することを目的とする。

本発明者らは、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置を用いて瞬目動作を計測することによって、計測対象者の生体状態を効率的に判定する方法について、これまで知られていなかった事実を突き止めた。具体的には、瞬目動作に関する瞬目特徴量として、閉眼時の最大速度、開眼状態から閉眼状態に至るまでの時間、閉眼状態の維持時間、開眼時の最大速度、閉眼状態から開眼状態に至るまでの時間、瞬目前後における閉眼位置及び開眼位置、開眼状態から閉眼状態に至るまでの上眼瞼の縁部の移動量、及び閉眼状態から開眼状態に至るまでの上眼瞼の縁部の移動量等を算出し、疲労状態等の生体状態との相関を比較したところ、瞬目動作の種類によってその判定方法を変更することが必要であることを見出した。

そこで、本発明は、計測対象者の瞬目動作に基づいて計測対象者の生体状態を判定するための瞬目計測装置であって、計測対象者の眼を撮像する撮像手段と、撮像手段により撮像された眼の画像に基づいて、瞬目動作に関する瞬目特徴量を算出する瞬目特徴量算出手段と、瞬目特徴量算出手段により算出された瞬目特徴量に基づいて、瞬目動作の種類を判別する瞬目種類判別手段と、を備えることを特徴とする。

この瞬目計測装置によれば、眼の撮像画像から瞬目動作に関する瞬目特徴量を算出することにより、この瞬目特徴量に基づいて、例えば計測対象者の疲労状態や覚醒状態等の生体状態を判定することが可能となる。しかも、瞬目動作の種類を判別することで、瞬目動作の種類に応じた適切な瞬目特徴量の評価が可能となるので、結果として生体状態等の判定結果に係る信頼性の向上を図ることができる。

また、瞬目特徴量算出手段により算出された瞬目特徴量と瞬目種類判別手段の判別結果とに基づいて、計測対象者の生体状態を判定する生体状態判定手段を更に備えることが好ましい。このような構成によれば、瞬目動作の種類に応じた適切な瞬目特徴量の評価結果に基づいて、計測対象者の生体状態を判定することが可能となるので、生体状態の判定に係る信頼性の向上を図ることができる。

また、瞬目種類判別手段は、瞬目動作が自然瞬目動作であるか随意瞬目動作であるかを判別することが好ましい。人間が無意識に行う自然瞬目動作と意識して行う随意瞬目動作とでは、瞬目動作の特性（瞬目特徴量）が異なるため、これらを区別することで瞬目動作の種類に応じたより適切な瞬目特徴量の評価が可能となる。

また、瞬目特徴量算出手段は、瞬目特徴量として瞬目動作における閉眼速度を算出することが好ましい。或いは、瞬目特徴量算出手段は、瞬目特徴量として瞬目動作における閉眼期間を算出することが好ましい。上述した自然瞬目動作と随意瞬目動作とでは、瞬目動作における閉眼速度（開眼状態から閉眼状態に至る速度）及び閉眼期間に大きな違いが現れるため、瞬目特徴量として閉眼速度又は閉眼期間を算出することにより、信頼性の高い瞬目動作の種類の判別が実現される。

また、瞬目種類判別手段は、瞬目動作が完全瞬目動作であるか不完全瞬目動作であるかを判別することが好ましい。完全に眼を閉じる瞬目動作である完全瞬目動作と完全には眼を閉じない瞬目動作である不完全瞬目動作とでは、瞬目動作の特性（瞬目特徴量）が異なるため、これらを区別することで瞬目動作の種類に応じたより適切な瞬目特徴量の評価が可能となる。

また、瞬目特徴量算出手段は、瞬目特徴量として瞬目動作における上眼瞼位置の変化量を算出することが好ましい。上述した完全瞬目動作と不完全瞬目動作とでは、瞬目動作における上眼瞼位置の変化量に大きな違いが現れるため、瞬目特徴量として閉眼速度又は閉眼期間を算出することにより、信頼性の高い瞬目動作の種類の判別が実現される。

本発明は、計測対象者の瞬目動作から計測対象者の生体状態を判定する瞬目計測方法であって、計測対象者の眼を撮像する撮像工程と、撮像工程において撮像された眼の画像に基づいて、瞬目動作に関する瞬目特徴量を算出する瞬目特徴量算出工程と、瞬目特徴量算出工程において算出された瞬目特徴量に基づいて、瞬目動作の種類を判別する瞬目種類判別工程と、を含むことを特徴とする。

この瞬目計測方法によれば、眼の撮像画像から瞬目動作に関する瞬目特徴量を算出することにより、この瞬目特徴量に基づいて、例えば計測対象者の疲労状態や覚醒状態等の生体状態を判定することが可能となる。しかも、瞬目動作の種類を判別することで、瞬目動作の種類に応じた適切な瞬目特徴量の評価が可能となるので、結果として生体状態等の判定結果に係る信頼性の向上を図ることができる。

本発明によれば、信頼性の高い瞬目計測装置及び瞬目計測方法を提供することができる。

本発明による瞬目計測装置の一実施形態を示す概略図である。 本実施形態において用いられる撮像部の内部構成を示す図である。 光検出部と、アンプ、Ａ／Ｄ変換器、及び瞼抽出処理部との電気的接続関係を示す図である。 （ａ）（ｂ）瞼抽出処理部における、画像データに基づく眼瞼の縁部の検出方法を示す図である。 （ａ）は上眼瞼の縁部の位置の時間変化を示す図であり、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示す図である。 瞬目特徴量の他の例について説明するための図である。 （ａ）は自然瞬目動作における上眼瞼の縁部の位置の時間変化を示す図であり、（ｂ）は自然瞬目動作における上眼瞼の縁部の移動速度の時間変化を示す図である。 （ａ）は随意瞬目動作における上眼瞼の縁部の位置の時間変化を示す図であり、（ｂ）は随意瞬目動作における上眼瞼の縁部の移動速度の時間変化を示す図である。 上眼瞼下降距離と下降時間との関係を示す図である。 上眼瞼下降距離と下降時最大速度との関係を示す図である。 ＶＤＴ作業時間と開眼所要時間との関係を示すグラフである。 瞬目計測装置の動作に関するフローチャートである。 他の実施形態に係る瞬目計測装置の動作に関するフローチャートである。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。尚、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。

図１は、本発明による瞬目計測装置の一実施形態を示す概略図である。図１を参照すると、本実施形態による瞬目計測装置１は、照明２、ダイクロイックミラー３、集光レンズ４、撮像部（撮像手段）５、瞼抽出処理部６、及び瞼開閉計測部（瞬目特徴量算出手段，瞬目種類判別手段，生体状態判定手段）７を備えている。なお、集光レンズ４、撮像部５、瞼抽出処理部６、及び瞼開閉計測部７は、カメラ８の内部に収容されている。

照明２は、計測対象者の眼１００及びその周辺を照らす照明手段であり、例えば赤外光を発生する複数のＬＥＤによって好適に構成される。照明２が眼１００及びその周辺へ赤外光Ｌ１を照射することにより、眼１００及びその周辺において赤外光Ｌ１が反射して光像Ｌ２が生じる。なお、照明２としては赤外光ＬＥＤに限らず他の光源を用いることができるが、高速撮像時には、眼１００の様子などを照らし出すのに充分な光量の可視光を発光すると被験者にとって眩しいため、赤外光源を用いることが好ましい。

ダイクロイックミラー３は、眼１００及びその周辺からの光像Ｌ２を透過して、該光像Ｌ２を撮像部５の光検出部５１に入射させるように配置されている。また、ダイクロイックミラー３は、眼１００と撮像部５とを結ぶ光軸の脇に設置された視標９を計測対象者が視認可能なように、視標９と眼１００とを光学的に結合している。視標９は、例えば可視光を発生するＬＥＤとピンホールマスクとを組み合わせて輝点パターンを発生するように構成されるとよい。ダイクロイックミラー３は、視標９から出射された可視光Ｌ３を眼１００へ向けて反射する。これにより、視標９を計測対象者に提示して眼１００の角膜位置を一定に維持しつつ、眼１００及びその周辺を撮像することができる。なお、視標９とダイクロイックミラー３との間には、ピント調整用のレンズ９ａが設けられていると尚良い。

集光レンズ４は、光像Ｌ２を集光して撮像部５の光検出部５１上に結像させるためのレンズである。集光レンズ４は、ダイクロイックミラー３と撮像部５との間に配置されている。本実施形態の集光レンズ４は、後述する撮像部５が眼１００の全体を含む画像を取得できるように、眼１００の眼窩全体が撮像部５の画角に入るように構成されている。

撮像部５は、眼１００からの光像Ｌ２を撮像するための手段である。撮像部５は、二次元状に配列された複数の画素を含む光検出部５１を有しており、光検出部５１に入射した光像Ｌ２を各画素において電気信号に変換することにより、光像Ｌ２に関する画素毎の入射光量を示す画像データを生成する。撮像部５は、生成した画像データを表示装置や映像出力端子といった出力手段へ出力するとともに、画像データを瞼抽出処理部６に提供する。

瞼抽出処理部６は、撮像部５から提供された画像データに基づいて、該画像データにおける眼瞼の縁部１０１を検出して眼瞼位置情報を生成する。また、瞼開閉計測部７は、瞼抽出処理部６から提供された眼瞼位置情報の時間変化に基づいて、瞼位置の変化量やその移動速度等を瞬目動作に関する特徴量である瞬目特徴量として算出する。瞼抽出処理部６及び瞼開閉計測部７は、例えば電気回路の他、中央演算処理装置やメモリを有するコンピュータ内部でソフトウェアとして実現される。

図２は、本実施形態において用いられる撮像部５の内部構成を示す図である。本実施形態の撮像部５は、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置であり、このような撮像装置としては、例えば浜松ホトニクス製のインテリジェントビジョンシステム（ＩＶＳ）カメラが挙げられる。撮像部５は、光検出部５１、増幅部５３、Ａ／Ｄ変換部５５、及びスイッチ部５７を有している。本実施形態においては、光検出部５１はいわゆるＭＯＳ型の撮像素子であり、二次元状（ｍ行×ｎ列）に配列された複数の画素５１ａを有している。複数の画素５１ａのそれぞれは、入射した光の光量に応じた電荷Ｑを生成する。

増幅部５３は、光検出部５１の行数に対応するｍ個のアンプ５３ａを有している。ｍ個のアンプ５３ａは、それぞれ光検出部５１の画素５１ａの対応する行と電気的に接続されており、ｎ列の画素５１ａから電荷Ｑを順次受け取る。そして、アンプ５３ａは、電荷Ｑを増幅するとともに電荷Ｑを電圧信号である画像信号Ｓ１に変換する。また、ｍ個のアンプ５３ａは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの増幅率制御信号Ｓ３に従って、電荷Ｑを画像信号Ｓ１に変換する際の増幅率を変化させることができる。

Ａ／Ｄ変換部５５は、光検出部５１の行数に対応するｍ個のＡ／Ｄ変換器５５ａを有している。ｍ個のＡ／Ｄ変換器５５ａは、対応するｍ個のアンプ５３ａとそれぞれ電気的に接続されており、電圧信号（アナログ信号）である画像信号Ｓ１をアンプ５３ａから受けてディジタル信号である画像データＳ２に変換する。なお、本実施形態ではディジタル信号に変換された画像データＳ２を撮像部５からの画像データとしているが、アナログ信号である画像信号Ｓ１を撮像部５からの画像データとして用いてもよい。

スイッチ部５７は、光検出部５１の行数に対応するｍ個のスイッチ５７ａを有している。ｍ個のスイッチ５７ａは、対応するｍ個のＡ／Ｄ変換器５５ａと瞼抽出処理部６との間に設けられており、Ａ／Ｄ変換器５５ａと瞼抽出処理部６との接続／非接続を制御する。スイッチ５７ａが接続状態になると、Ａ／Ｄ変換器５５ａからの画像データＳ２が瞼抽出処理部６へ提供される。ｍ個のスイッチ５７ａはそれぞれ瞼抽出処理部６と電気的に接続されており、個別に接続／非接続が制御される。

ここで、光検出部５１及びその周辺回路についてさらに詳しく説明する。図３は、光検出部５１と、アンプ５３ａ、Ａ／Ｄ変換器５５ａ、及び瞼抽出処理部６との電気的接続関係を示す図である。図３を参照すると、光検出部５１は、フォトダイオードといった光電変換素子により構成される複数の画素５１ａを有している。そして、光検出部５１は、複数の画素５１ａに対応する複数のコンデンサ５１ｂ及び複数の読み出し用スイッチ５１ｃを有している。画素５１ａの光電変換素子とコンデンサ５１ｂとは互いに並列に接続されており、光電変換素子及びコンデンサ５１ｂの一端に読み出し用スイッチ５１ｃの一端が接続されている。読み出し用スイッチ５１ｃの他端は、同一行に含まれる他の読み出し用スイッチ５１ｃの他端と共に、アンプ５３ａの入力端に接続されている。読み出し用スイッチ５１ｃは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの制御信号Ｓ４に従って個別に接続／非接続が制御される。アンプ５３ａの出力端はＡ／Ｄ変換器５５ａの入力端と電気的に接続されており、Ａ／Ｄ変換器５５ａの出力端は瞼抽出処理部６の入力端と電気的に接続されている。

図３に示した光検出部５１及びその周辺回路の動作は、次のとおりである。光検出部５１に光像Ｌ２が入射すると、各画素５１ａ毎の光像Ｌ２の入射光量に応じた電荷がコンデンサ５１ｂに蓄積される。制御部からの指示に応じて読み出し用スイッチ５１ｃが各行において順次接続されると、コンデンサ５１ｂに蓄積された電荷Ｑがアンプ５３ａに順次送られる。電荷Ｑは、アンプ５３ａによって電圧信号に変換されるとともに増幅されて画像信号Ｓ１となる。画像信号Ｓ１は、Ａ／Ｄ変換器５５ａによってアナログ信号からディジタル信号へ変換されて画像データＳ２となる。画像データＳ２は、瞼抽出処理部６へ提供される。

なお、瞼抽出処理部６における演算を高速に行うために、例えば撮像部５が各画素５１ａのそれぞれに対応する並列演算回路をさらに有することが好ましい。このような並列演算回路は、例えばＡ／Ｄ変換器５５ａの後段に接続される。

図４（ａ）及び（ｂ）は、瞼抽出処理部６における、画像データＳ２に基づく眼瞼の縁部の検出方法を示す図である。図４（ａ）は画像データＳ２を示しており、画像データＳ２には図１に示した眼１００に対応する画像Ｄ１が含まれている。本実施形態の瞼抽出処理部６は、まず、画像データＳ２において最も暗い暗部領域Ｄ２を抽出する。この暗部領域Ｄ２は、画像データＳ２において眼１００の角膜（もしくは瞳孔）に相当する領域である。暗部領域Ｄ２の抽出は、例えば図４（ａ）に示すように眼瞼の開閉方向（すなわち顔の上下方向）を長手方向とする領域Ａ１及びＡ２を設定し、領域Ａ１及びＡ２における輝度ヒストグラム（輝度分布）の相互比較に基づいて行うとよい。図４（ｂ）は、領域Ａ１及びＡ２における輝度ヒストグラムの一例を示すグラフである。図４（ｂ）において、グラフＧ１は領域Ａ１における輝度ヒストグラムを示しており、グラフＧ２は領域Ａ２における輝度ヒストグラムを示している。瞼抽出処理部６は、図４（ｂ）におけるグラフＧ１及びＧ２を比較することにより、グラフＧ１に含まれる暗部領域Ｄ２を判定することができる。

続いて、瞼抽出処理部６は、暗部領域Ｄ２を通り眼瞼の開閉方向を長手方向とする領域（本実施形態では領域Ａ１）の輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ３、Ｄ４を検出する。本実施形態の瞼抽出処理部６は、図４（ｂ）に示すグラフＧ１において輝度が急激に変化するエッジ部分Ｅ１、Ｅ２を抽出することにより、このような画像部分Ｄ３、Ｄ４を検出する。そして、眼瞼の開閉方向における画像部分Ｄ３、Ｄ４の位置を、眼瞼位置情報として瞼開閉計測部７へ提供する。なお、瞬目の際には上眼瞼の運動量が下眼瞼より大きいので、瞼抽出処理部６は、上眼瞼の縁部（画像部分Ｄ３）を検出して眼瞼位置情報を生成することが好ましい。これにより、眼瞼位置情報をより精度良く生成できる。

また、眼瞼位置に関するその他の判定方法として、例えば、図４（ｂ）に示すグラフＧ１，Ｇ２において、輝度ヒストグラムが急峻に変化するエッジ部分Ｅ１，Ｅ２の位置を相互に比較し、共に任意の範囲内におさまる場合に当該位置を瞼位置として瞼抽出処理部６が判定しても良い。この場合、輝度値ヒストグラム（Ｇ１、Ｇ２）の変化分が、あらかじめ設定された閾値ｔｈと比較されることにより、上眼瞼位置及び下瞼位置を抽出することが可能となる。その他、眼瞼位置を求めるその他の演算方法として、輝度ヒストグラムを時間方向で比較することによって動いた箇所を求める方法や、ブロックマッチング法やHorn―Schunckの手法やLucas―Kanadeの手法等のオプティカルフロー法を用いてもよい。

図５は、眼瞼位置情報の時間変化に基づいて瞼開閉計測部７が瞬目特徴量を算出する際の算出方法の例を示す図である。図５において、（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化（すなわち（ａ）に示すグラフの時間微分値）を示している。まず、瞬目特徴量として開眼状態から閉眼状態に至る速度である閉眼速度、閉眼状態から開眼状態に至る速度である開眼速度、及びこれらに相当する数値を算出する場合について説明する。

なお、図５において、時刻ｔ１は瞬目に置ける閉眼開始タイミングを示し、時刻ｔ２は閉眼完了タイミングを示し、時刻ｔ3は開眼開始タイミングを示し、時刻ｔ4は開眼完了タイミングを示す。また、期間Ｔ６は閉眼期間であり、眼瞼は閉じた状態となっている。この閉眼期間は、図５に示すように、閉眼前後の眼瞼速度がＶth以下の期間と定義する。

例えば、図５（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、瞬目の際の閉眼開始時（時刻ｔ１）から閉眼完了時（時刻ｔ２）までの期間Ｔ５における眼瞼の縁部の最大移動速度を算出し、これを閉眼速度として提示する。同様に、瞼開閉計測部７は、瞬目の際の開眼開始時（時刻ｔ３）から開眼完了時（時刻ｔ４）までの期間Ｔ７における眼瞼の縁部の最大移動速度を算出し、これを開眼速度として提示する。具体的には、瞼開閉計測部７は、図５（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図５（ｂ））を求める。そして、この遷移情報の期間Ｔ５における移動速度の最大値Ｖmax１を、閉眼速度として外部に提示する。同様に、遷移情報の期間Ｔ７における移動速度の最大値Ｖmax２を、開眼速度として外部に提示する。なお、閉眼開始タイミング（時刻ｔ１）及び開眼完了タイミング（時刻ｔ４）は、例えば上眼瞼の速度が図５（ｂ）に示す閾値速度Ｖthを下回る（又は上回る）ことによって知ることができる。また、閉眼完了タイミング（時刻ｔ２）及び開眼開始タイミング（時刻ｔ３）は、例えば上眼瞼の速度が図５（ｂ）に示す閾値速度Ｖthを下回る（又は上回る）ことによって知ることができる。

また、瞼開閉計測部７は、閉眼速度及び開眼速度に相当する数値として、閉眼速度と開眼速度との比、すなわち［開眼速度］／［閉眼速度］もしくは［閉眼速度］／［開眼速度］を算出してもよく、閉眼速度と開眼速度との差、すなわち［開眼速度］−［閉眼速度］もしくは［閉眼速度］−［開眼速度］を算出してもよい。このような数値を採用することにより、個人差や計測バラツキなどの影響を抑えた瞬目特徴量を算出することが可能となる。

瞬目特徴量の他の例について、図６を参照しながら説明する。図６に示すグラフＧ３は瞼位置の遷移（左目盛）であり、グラフＧ４は瞼速度の遷移（右目盛）である。本実施形態に係る瞬目計測装置１は、瞬目時の瞼の詳細な位置情報を計測値として出力できるため、以下のような瞬目特徴量を算出することができる。
１．瞬目前瞼位置：閉眼前における瞼位置、すなわち閉眼前の瞼速度がVth以下の時刻における瞼位置
２．閉眼時瞼位置：閉眼動作と開眼動作との間における瞼位置、すなわち閉眼完了タイミングと閉眼開始タイミングとの間に挟まれた瞼速度がVth以下の時刻における瞼位置
３．瞬目後瞼位置：開眼後における瞼位置、すなわち開眼後の瞼速度がVth以下の時刻における瞼位置
４．閉眼時上眼瞼変化量（Ｈ１）：瞬目前瞼位置と閉眼時瞼位置との差
５．開眼時上眼瞼変化量（Ｈ２）：閉眼時瞼位置と瞬目後瞼位置との差
６．閉眼時１０％時刻（ｔd１０）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の１０％に達した時刻
７．閉眼時５０％時刻（ｔd５０）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の５０％に達した時刻
８．閉眼時９０％時刻（ｔd９０）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の９０％に達した時刻
９．開眼時１０％時刻（ｔe１０）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の１０％に達した時刻
１０．開眼時５０％時刻（ｔe５０）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の５０％に達した時刻
１１．開眼時９０％時刻（ｔe９０）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の９０％に達した時刻

さらに、上記各時刻より、下記の瞬目特徴量を算出することも可能となる。
１２．閉眼時間：（閉眼時１０％時刻（ｔd１０）と閉眼時９０％時刻（ｔd９０）との時間差）
１３．開眼時間：（開眼時１０％時刻（ｔe１０）と開眼時９０％時刻（ｔe９０）との時間差）

また、閉眼／開眼時の特徴を示すために、下記の瞬目特徴量を算出することも可能となる。
１４．閉眼時の比：（ｔd５０−ｔd９０）／（ｔd１０−ｔd５０）
１５．開眼時の比：（ｔe５０−ｔe９０）／（ｔe１０−ｔe５０）
１６．閉眼時の差：（ｔd５０−ｔd９０）−（ｔd１０−ｔd５０）
１７．開眼時の差：（ｔe５０−ｔe９０）−（ｔe１０−ｔe５０）

瞼開閉計測部７は、算出した瞬目特徴量に基づいて、撮像した瞬目動作の種類を判別する。具体的には、瞼開閉計測部７は、瞬目動作の種類毎に特定の瞬目特徴量に対応する判別基準閾値が予め記憶されており、この特定の瞬目特徴量が判別基準閾値以上であるか否かを判定することで瞬目動作の種類の判別を行う。図７及び図８は、瞼開閉計測部７が瞬目動作の種類を判別する際の判別方法の例を示す図である。

図７（ａ）は、人が無意識に行う瞬目動作である自然瞬目動作における上眼瞼の縁部の位置の時間変化を示しており、図７（ｂ）は自然瞬目動作における上眼瞼の縁部の移動速度の時間変化（すなわち（ａ）に示すグラフの時間微分値）を示している。また、図８（ａ）は、人が意識して行う瞬目動作である随意瞬目動作における上眼瞼の縁部の位置の時間変化を示しており、図８（ｂ）は随意瞬目動作における上眼瞼の縁部の移動速度の時間変化を示している。なお、図７及び図８において、実線はＶＤＴ作業前（疲労のない状態）における複数の瞬目動作の計測結果を示しており、破線は１時間程度のＶＤＴ作業後における複数の瞬目動作の計測結果を示している。

ここで、図７を参照して自然瞬目動作におけるＶＤＴ作業前後の差を比較すると、閉眼時の最大速度を過ぎた時点からの速度変化や閉眼状態から開眼状態に至るまでの時間において顕著な差が現れている。一方、図８を参照して随意瞬目動作におけるＶＤＴ作業前後の差を比較すると、開眼時の最大速度や閉眼状態から開眼状態に至るまでの時間において顕著な差が現れている。このことから、特にＶＤＴ作業前後における計測対象者の疲労状態を判定するに際し、自然瞬目動作と随意瞬目動作とでは、瞬目特徴量の傾向に差があることが見出せる。

また、完全に眼を閉じる完全瞬目動作と完全には眼を閉じない不完全瞬目動作とでは、瞬目特徴量の傾向に差があることが分かっている。この完全瞬目と不完全瞬目の判別は、図６において定義している瞬目開閉眼の上眼瞼位置の移動量である、Ｈ１及びＨ２の値を、複数回の瞬目において算出し、その最大値や中央値を完全瞬目時の上眼瞼変化量とすることができる。例えば、その値の９０％程度を完全瞬目と不完全瞬目を切り分ける閾値とすることもできる。

完全瞬目と不完全瞬目の特徴量の違いの一例として、瞬目時の上眼瞼下降距離（瞬目の位置の変化量）と、瞬目の下降に要する時間、及び瞬目下降最大速度との関係を本装置を用いて計測した結果を、図９及び図１０に示した。図９は、瞬目の下降時間と上眼瞼下降距離の関係を示しているが、下降時間は、ほぼ８０〜１２０ミリ秒程度であり、上眼瞼下降距離にはあまり依存しないことがわかる。一方で、図１０に示す瞬目の下降時最大速度と上眼瞼下降距離の関係は、ほぼ比例関係であることがわかる。例えば、目を完全に閉じない不完全瞬目の場合には、上眼瞼下降距離が小さくなるため、その場合の下降時最大速度は小さくなることになる。つまり、不完全瞬目の場合は、瞼が完全に閉じなかったり、閉眼後に完全に開かなかったりすることで、通常の完全瞬目とは異なる瞬目特徴量を示すことになり、完全瞬目とは異なる指標による比較が必要となる。

また、図７及び図８を比較すると、自然瞬目動作と随意瞬目動作とでは、特に閉眼速度Ｖmax１において、その差が顕著に現れていることが見出せる。しかも、閉眼速度Ｖmax１は、ＶＤＴ作業前後においては比較的変化が小さい（計測対象者の疲労状態の影響が少ない）ため、このような閉眼速度Ｖmax１を自然瞬目動作及び随意瞬目動作の判別基準として採用することで、瞬目動作の種類の判別における信頼性の向上が図られる。なお、この場合の判別基準は、閉眼速度Ｖmax１に限られず、その他の瞬目特徴量を用いてもよく、また複数の瞬目特徴量を適切に組み合わせて用いてもよい。

そこで、瞼開閉計測部７では、瞬目特徴量として算出した閉眼速度Ｖmax１が予め記憶された閉眼速度閾値（判別基準閾値）以上であるか否かによって、瞬目動作の種類が自然瞬目動作であるか随意瞬目動作であるかを判別する。また、瞼開閉計測部７では、瞬目動作の種類が随意瞬目動作であると判別された場合に、瞬目特徴量として算出した閉眼時上眼瞼変化量Ｈ１（上眼瞼位置の変化量）が予め記憶された変化量閾値以上であるか否かによって、瞬目動作の種類が完全瞬目動作であるか不完全瞬目動作であるかを判別する。なお、完全瞬目動作及び不完全瞬目動作の判別基準は、閉眼時上眼瞼変化量Ｈ１に限られず、例えば開眼時上眼瞼変化量Ｈ２を用いてもよい。

瞼開閉計測部７は、瞬目動作の種類の判別結果及び瞬目特徴量に基づいて、計測対象者の生体状態を判定する。具体的には、瞼開閉計測部７は、瞬目動作の種類毎に予め設定された瞬目特徴量の評価パターンを有している。瞼開閉計測部７は、判別された瞬目動作の種類の評価パターンと算出した瞬目特徴量とを比較することで、瞬目動作の種類に応じた適切な瞬目特徴量の評価を行い、その評価結果に基づいて計測対象者の生体状態を判定する。このような生体状態としては、疲労状態や眠気に対する覚醒状態の他、意識の集中状態、眼精疾患やアルツハイマー病等の疾患状態等が挙げられる。以下、計測対象者の生体状態として疲労状態を判定する場合について図９を参照して説明する。

図１１は、ＶＤＴ作業時間と開眼所要時間との関係を示すグラフである。図１１には、ＶＤＴ作業直前（疲労なしの状態）、ＶＤＴ作業を３０分継続した直後、及びＶＤＴ作業を６０分継続した直後のそれぞれにおける、閉眼所要時間（図５におけるｔ２−ｔ１）及び開眼所要時間（図５におけるｔ４−ｔ３）の計測結果が示されている。図９を参照すると、ＶＤＴ作業の直前では開眼所要時間が約１５０ミリ秒であるが、ＶＤＴ作業を３０分継続した直後では開眼所要時間が約２００ミリ秒と長くなり、ＶＤＴ作業を６０分継続した直後では開眼所要時間が約２３０ミリ秒と更に長くなった。すなわち、１時間のＶＤＴ作業によって開眼所要時間が１．５倍になったのである。従って、例えば瞬目特徴量として算出された開眼時間を適切に評価することによって、計測対象者の疲労状態の判定をすることが可能となる。

なお、図１１から明らかなように、瞬目動作における開眼動作及び閉眼動作は、その所要時間が５０ミリ秒から２５０ミリ秒程度という極めて高速な現象であり、これらの瞬目特徴量を計測するには、好ましくは、それらの１／１０倍程度（５０ミリ秒の現象を捉える場合には５ミリ秒すなわち２００Ｈｚ）のサンプリング周期での計測が必要となる。このため、従来のＣＣＤカメラ（３０フレーム／秒）では、開眼動作や閉眼動作を高精度かつ正確に計測することは困難であった。上記実施形態では、高いフレームレートを有する撮像装置としてＭＯＳ型の撮像装置を例示したが、これに限定されるものではない。例えば、ＣＣＤカメラの部分読み出し機能（高速部分読み出し）や、まとめ読み出し（ビニング機能）を利用すれば、高フレームレートを実現することが可能となる。

瞬目計測装置１は、このようにして判定された計測対象者の生体状態を外部に提示する。提示先としては、例えば表示装置（ディスプレイ）や各種の疲労軽減装置（ＶＤＴのコントラストや輝度等を調整する装置など）が挙げられる。

図１２は、瞬目計測装置１の動作に関するフローチャートである。図１２に示すように、瞬目計測装置１では、まず撮像工程において、図１に示した眼１００及びその周辺の撮影を撮像部５が行い、画像データを取得する（ステップＳ１）。次に、図４（ａ）に示した暗部領域Ｄ２（黒目部分）を瞼抽出処理部６が抽出し、暗部領域Ｄ２を通り眼瞼の開閉方向を長手方向とする領域Ａ１の輝度ヒストグラム（図４（ｂ））を作成する。そして、瞼抽出処理部６は、この輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ３を検出し、画像部分Ｄ３の位置を示す眼瞼位置情報を作成することで、まぶた位置の検出を行う（ステップＳ２）。続いて、瞼開閉計測部７は、瞬目特徴量算出工程において、眼瞼位置情報の時間変化に基づき瞬目特徴量を算出する（ステップＳ３）。

その後、瞼開閉計測部７は、瞬目特徴量として算出された閉眼時上眼瞼変化量Ｈ１が変化量閾値以上であるか否かを判定する（ステップＳ４）。瞼開閉計測部７は、閉眼時上眼瞼変化量Ｈ１が変化量閾値以上であると判定した場合、撮像した瞬目動作の種類は完全瞬目動作であると判別する（ステップＳ５）。一方、瞼開閉計測部７は、閉眼時上眼瞼変化量Ｈ１が変化量閾値未満であると判定した場合、撮像した瞬目動作の種類は不完全瞬目動作であると判別する（ステップＳ６）。

その後、瞼開閉計測部７は、瞬目種類判別工程において、瞬目特徴量として算出された閉眼速度Ｖmax１が閉眼速度閾値以上であるか否かを判定する（ステップＳ７）。瞼開閉計測部７は、閉眼速度Ｖmax１が閉眼速度閾値以上であると判定した場合、撮像した瞬目動作の種類は自然瞬目動作であると判別する（ステップＳ８）。一方、瞼開閉計測部７は、閉眼速度Ｖmax１が閉眼速度閾値未満であると判定した場合、撮像した瞬目動作の種類は随意瞬目動作であると判別する（ステップＳ９）。

ステップＳ１０において、瞼開閉計測部７は、瞬目動作の種類の判別結果に応じて予め設定された評価方法に従って瞬目特徴量の評価を行う。その後、瞼開閉計測部７は、生体状態判定工程において、瞬目特徴量の評価結果に基づき計測対象者の生体状態を判定する（ステップＳ１１）。

以上説明した瞬目計測装置１によれば、眼の撮像画像から瞬目動作に関する瞬目特徴量を算出することにより、この瞬目特徴量に基づいて、計測対象者の疲労状態や覚醒状態等の生体状態を判定することが可能となる。しかも、瞬目動作の種類を判別することで、瞬目動作の種類に応じた適切な瞬目特徴量の評価が可能となるので、結果として生体状態の判定に係る信頼性の向上を図ることができる。

また、この瞬目計測装置１では、瞬目動作の種類として、瞬目特徴量の傾向が異なる自然瞬目動作と随意瞬目動作とを判別することにより、瞬目動作の種類に応じた適切な瞬目特徴量の評価が可能となる。同様に、瞬目特徴量の傾向が異なる完全瞬目動作と不完全瞬目動作とを判別することで、瞬目動作の種類に応じたより適切な瞬目特徴量の評価が可能となる。

本発明による瞬目計測装置は、上記した実施形態に限られるものではなく、他に様々な変形が可能である。

図１３は、他の実施形態に係る瞬目計測装置の動作に関するフローチャートである。図１３に示すように、この瞬目計測装置では、瞬目特徴量として、「閉眼速度」の代わりに、「閉眼期間」を用いることで、自然瞬目動作と随意瞬目動作とを判別する。計測被験者を用いた複数回の計測において、自然瞬目動作の閉眼期間は、9.8±3.0ミリ秒、随意瞬目動作の閉眼期間は、17.2±4.5ミリ秒であり、本特徴量を用いても、自然瞬目動作と随意瞬目動作との分離が可能となる。その場合は、図１３に示すように、閉眼期間があらかじめ設定した閉眼期間閾値よりも小さい場合に、「自然瞬目動作である」と判断する。ここで、閉眼期間閾値の設定は、予め、随意単発瞬目を複数回計測し、その平均値を随意瞬目の特徴量として求め、その平均値ｔと標準偏差Stから、「開眼期間閾値＝平均値ｔ-標準偏差St」、又は、「自然瞬目平均値と随意瞬目平均値との中央値」などから定め、判断を行う。

以上説明した本実施形態及び他の実施形態に係る瞬目計測装置は、次のような応用が可能である。例えば、ＶＤＴ作業や車の運転、製品検査等に従事する者の眼を計測し、開眼速度又は開眼期間に相当する数値が所定の閾値を越えた場合に警告を発して休息を促す等、疲労度モニタとして応用できる。また、瞬目計測装置により計測される開眼速度又は開眼期間に相当する数値に応じて、環境パラメータ（例えば、ＶＤＴ作業時であれば画面のコントラストや輝度、作業時の部屋の明るさなど）を調整することにより、作業者の疲労度に応じた作業環境の調整を行うことも可能である。また、瞬目計測装置は小型に構成でき且つ非接触計測が可能なので、携帯電話のカメラ機能やパソコンのＷＥＢカメラなどに組み合わせて手軽な健康度計測装置として利用することもできる。

その他、上記実施形態では撮像手段として１ｋＨｚ以上のフレームレートを有する撮像装置（ＩＶＳカメラ）を使用したが、エリアセンサやラインセンサを使用してもよい。ラインセンサを使用する場合、瞬目に伴う眼瞼の位置の変化を検出するために、ラインセンサの長手方向が眼瞼の開閉方向に沿うようにラインセンサを設置するとよい。また、瞬目特徴量は、上述したものに限られない。瞬目特徴量として算出される開眼速度又は開眼速度に相当する数値は上述した３つの数値（最大移動速度、最大移動速度となる時刻を含む所定期間での移動距離、移動速度の半値幅）に限られるものではなく、他の数値を算出／提示してもよい。

１…瞬目計測装置、２…照明、３…ダイクロイックミラー、４…集光レンズ、５…撮像部（撮像手段）、６…瞼抽出処理部、７…瞼開閉計測部（瞬目特徴量算出手段，瞬目種類判別手段，生体状態判定手段）、８…カメラ、９…視標、５１…光検出部、５１ａ…画素、５３…増幅部、５３ａ…アンプ、５５…変換部、５５ａ…変換器、５７…スイッチ部、５７ａ…スイッチ、Ｄ２…暗部領域、Ｅ１，Ｅ２…エッジ部分、Ｌ１…赤外光、Ｌ２…光像、Ｌ３…可視光。

Claims (8)

1. 計測対象者の瞬目動作に基づいて前記計測対象者の生体状態を判定するための瞬目計測装置であって、
   前記計測対象者の眼を撮像する撮像手段と、
   前記撮像手段により撮像された前記眼の画像に基づいて、前記瞬目動作に関する瞬目特徴量を算出する瞬目特徴量算出手段と、
   前記瞬目特徴量算出手段により算出された前記瞬目特徴量に基づいて、前記瞬目動作の種類を判別する瞬目種類判別手段と、
   を備えることを特徴とする瞬目計測装置。
2. 前記瞬目特徴量算出手段により算出された前記瞬目特徴量と前記瞬目種類判別手段の判別結果とに基づいて、前記計測対象者の生体状態を判定する生体状態判定手段を更に備えることを特徴とする請求項１に記載の瞬目計測装置。
3. 前記瞬目種類判別手段は、前記瞬目動作が自然瞬目動作であるか随意瞬目動作であるかを判別することを特徴とする請求項１又は請求項２に記載の瞬目計測装置。
4. 前記瞬目特徴量算出手段は、前記瞬目特徴量として前記瞬目動作における閉眼速度を算出することを特徴とする請求項１〜３の何れか一項に記載の瞬目計測装置。
5. 前記瞬目特徴量算出手段は、前記瞬目特徴量として前記瞬目動作における閉眼期間を算出することを特徴とする請求項１〜３の何れか一項に記載の瞬目計測装置。
6. 前記瞬目種類判別手段は、前記瞬目動作が完全瞬目動作であるか不完全瞬目動作であるかを判別することを特徴とする請求項１〜５の何れか一項に記載の瞬目計測装置。
7. 前記瞬目特徴量算出手段は、前記瞬目特徴量として前記瞬目動作における上眼瞼位置の変化量を算出することを特徴とする請求項１〜６の何れか一項に記載の瞬目計測装置。
8. 計測対象者の瞬目動作に基づいて前記計測対象者の生体状態を判定するための瞬目計測方法であって、
   前記計測対象者の眼を撮像する撮像工程と、
   前記撮像工程において撮像された前記眼の画像に基づいて、前記瞬目動作に関する瞬目特徴量を算出する瞬目特徴量算出工程と、
   前記瞬目特徴量算出工程において算出された前記瞬目特徴量に基づいて、前記瞬目動作の種類を判別する瞬目種類判別工程と、
   を含むことを特徴とする瞬目計測方法。

Images