JP2018061724A

JP2018061724A - 瞬き検出装置

Info

Publication number: JP2018061724A
Application number: JP2016202178A
Authority: JP
Inventors: 理比古吉井; Rihiko Yoshii; 善幸畠山; Yoshiyuki Hatakeyama
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2016-10-14
Filing date: 2016-10-14
Publication date: 2018-04-19
Anticipated expiration: 2036-10-14
Also published as: JP6720821B2

Abstract

【課題】瞬きを時間対開眼度のデータに基づいて検出するとき、開眼度の閾値を通常の瞬きを的確に捉えるに適した比較的低い開眼度に設定すると、眠気を催してきたときの半瞬きを捕捉できない。しかし上記の閾値を高くすると、瞬きではない瞼の雑音的開閉を瞬きと誤判する度合が増大し、特に正常な覚醒状態の判断を誤らせる虞れがあることに対処した瞬き検出装置を提供する【解決手段】開限度が比較的高い閾値と比較的低い閾値の両方を往復して横切ったとき通常の瞬きがあったと判断し、開眼度が比較的低い閾値まで低下することなく比較的高い閾値のみを往復して横切ったとき半瞬きがあったと判断する。【選択図】図１

Description

本発明は、眼の瞬きを検出する装置に係り、特に人の眠気状態を瞬きの態様から検知すべく眼の瞬きを検出する瞬き検出装置に係る。

車両運転中の居眠りによる事故を防止すべく、人の眠気状態を装置により検出することが種々試みられており、眠気検出の一つの手段として眼の瞬きを検出することが知られている。瞬き状態に基づく眠気判断については、瞬きの頻度、瞬き間隔の平均値、瞬き間隔の標準偏差等をパラメータとすることが知られている。更に、上記の如きパラメータに基づいて眠気を表す瞼開閉特徴量を想定し、該瞼開閉特徴量について眠気警報や安全支援制御を発動させる閾値を設定するにしても、そのような閾値を、該瞼開閉特徴量が正常域を一方向に逸脱する境界に設定するだけでなく、該瞼開閉特徴量が正常域を他方向に逸脱する境界にも設定することが、下記の特許文献１において提案されている。これは、人は一般に眠気がさしてくると瞼の動きが鈍くなるが、時にそれに抗して覚醒しようとして瞼を意図的に激しく動かそうとすることに着目したものである。

特開２０１６-１４６９７８号公報

瞬きとは瞼をごく短時間だけ閉じる動作であるが、瞬きの如き瞼の開閉における特徴的動きは、カメラによる眼の領域の撮影或いは眼の近傍への電極の貼着により瞼の動きを逐次追跡して取得した「時間対開眼度」のデータに基づき、開眼度が所定の閾値以下に低下する時点か、その後に開眼度が再び該閾値以上に上昇する時点か、またはこれら両時点を採取することに基づいて判断されている。この場合、上記の閾値は、従来、通常の瞬きを的確に捉えるに適した比較的低い開眼度に設定されている。しかし、人は、眠気を催してくると、半瞬きとも云うべき比較的高い開眼度までしか瞼を閉じない瞬きをし始めるものである。従って、人が眠気を催してきた状態での瞬きをより的確に把握するには、上記の閾値を高くし、通常の瞬きだけでなく半瞬きをも捕捉することが考えられる。しかし、上記の閾値を高くすると、瞼の開閉における真の瞬きではなく、瞬きの検出にとっては雑音となる瞼の不規則な開閉を瞬きと誤判する度合を増大させ、特に正常な覚醒状態の判断を誤らせることが危惧される。

本発明は、瞬きの判定における上記の問題に着目し、正常な覚醒時の瞬きを的確に把握すると共に、人が眠気を催してきて半瞬きを始めたときにはそれをも的確に把握することができる瞬き検出装置を提供することを課題としている。

上記の課題を解決すべく、本発明は、時間対開眼度のデータに基づいて瞬きを検出する瞬き検出装置にして、開限度が比較的低い第一の閾値と開限度が比較的高い第二の閾値とを設定し、開眼度が前記第一の閾値を高より低に横切った後に前記第一の閾値を低より高に横切ったとき通常の瞬きがあったと判断し、開眼度が前記第二の閾値を高より低に横切った後に前記第一の閾値を高より低に横切ることなく前記第二の閾値を低より高に横切ったとき半瞬きがあったと判断することを特徴とする瞬き検出装置を提案するものである。

前記半瞬きがあったとの判断は、前記時間対開眼度のデータを時間的に微分することにより得られた時間対開眼速度のデータに基づき、開眼速度が所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切ることにより確認されるようになっていてよい。

或いはまた、前記半瞬きがあったとの判断は、前記時間対開眼速度のデータを更に時間的に微分することにより得られた時間対開眼加速度のデータに基づき、開眼加速度が所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切り、更に所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切ることにより確認されるようになっていてもよい。

上記の如く、時間対開眼度のデータに基づいて瞬きを検出する瞬き検出装置において、開限度が比較的低い第一の閾値と開限度が比較的高い第二の閾値とを設定し、開眼度が前記第一の閾値を高より低に横切った後に前記第一の閾値を低より高に横切ったとき通常の瞬きがあったと判断し、開眼度が前記第二の閾値を高より低に横切った後に前記第一の閾値を高より低に横切ることなく前記第二の閾値を低より高に横切ったとき半瞬きがあったと判断するようになっていれば、開眼度が前記第一の閾値以下に下がるような正常な瞬きが行われるときには、それを雑音的瞼開閉より明確に隔たる比較的低い前記第一の閾値により的確に把握しつつ、半瞬きが生じるような状況では、比較的高い前記第二の閾値の設定によりそれを逃がすことなく捕捉し、人の覚醒の度合いを、正常な覚醒時にも眠気を催してきたときに、瞬きにより的確に判断することができる。

開眼度が単に前記第二の閾値を高から低に横切った後に低から高へ横切ったということでは、前記第二の閾値は比較的高く設定されることから、瞬きの判断は雑音的瞼開閉により誤判断となりやすいとの懸念があるが、半瞬きがあったとの判断が、前記時間対開眼度のデータを時間的に微分することにより得られた時間対開眼速度のデータに基づき、開眼速度が所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切ることにより確認されるようになっていれば、瞬きに伴う開眼速度の変化の特徴の検証により、半瞬きをより的確に判断することができる。

更に前記半瞬きがあったとの判断が、前記時間対開眼速度のデータを更に時間的に微分することにより得られた時間対開眼加速度のデータに基づき、開眼加速度が所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切り、更に所定の正の閾値を低より高に横切った後に該正の閾値を高より低に横切り、更に所定の負の閾値を高より低に横切った後に該負の閾値を低より高に横切ることにより確認されるようになっていれば、瞬きに伴う開眼速度の変化の特徴より一層際立った瞬きに伴う開眼加速度の変化の特徴の検証により、半瞬きをより一層的確に判断することができる。

カメラによる眼の撮影または眼の近傍に貼着された電極等より得られた瞼開閉の時間的変化を示す電気信号をローパスフィルタリングして得られた時間対開眼度のデータの一例を示すグラフである。瞬きに現れる時間対開眼度、時間対開眼速度、時間対開眼加速度の特徴を示すグラフである。時間対開眼度のデータに基づいて通常の瞬きおよび半瞬きをその開始時点および終了時点として把握する信号処理の過程を示すフローチャートである。図３に示すフローチャートの一部の変更箇所を示す部分図であり、図３に示す信号処理に時間対開眼速度または時間対開眼加速度に基づく確認処理を追加する要領を示す図である。時間対開眼速度のデータに基づいて半瞬きをその開始時点および終了時点として把握する信号処理の過程を示すフローチャートである。時間対開眼加速度のデータに基づいて半瞬きをその開始時点および終了時点として把握する信号処理の過程を示すフローチャートである。

人の眼をカメラにより撮影し、或いは眼の近傍に電極を貼着する等により得られた瞼開閉の時間的変化の電気信号をローパスフィルタリングすれば、図１に例示する如き時間対開眼度のデータが得られる。そして、かかる時間対開眼度のデータに対し、雑音的瞼開閉より明確に隔たる比較的低い開眼度であって人の覚醒時の正常な瞬きにおける開眼度の変化により確実に横切られるような閾値Ｇfを設定しておけば、図に深い窪みＤ1、Ｄ3として現れるような開眼度の変化時点を時点Ｔ2とＴ3の対として採取することにより、覚醒時に現れる正常な瞬き状態を的確に把握することができる。

一方、人が眠気を催してきて図に浅い窪みＤ2として示すような半瞬きが現れると、かかる開眼度の変化は閾値Ｇfによっては検出されないが、かかる半瞬きを検出できるような比較的高い閾値Ｇmを設定しておけば、閾値Ｇmは雑音的瞼開閉を識別する点では閾値Ｇfに比して劣るものではあるが、半瞬きが発生したときには、それを時点Ｔ1とＴ2の対として採取することができる。

瞬きにおける開眼度の変化は、典型的には、図２の上段に示す如く、下向きの加速度を伴う下向きの速度にて開眼度を加速度的に下げる第一の過程Ｃ1、Ａbまで加えた下向き加速度を０まで戻しつつ下向き速度が最大値Ｖbとなるまで開眼度を下げる第二の過程Ｃ2、下向き速度に上向きの加速度を加えて下向き速度を最大値Ｖbより減じつつ開眼度を下げる第三の過程Ｃ3、Ａsまで加えた上向き加速度を０まで戻しつつ下向き速度を漸減させて開眼度を最小値に軟到着させる第四の過程Ｃ4、瞼に上向きの加速度を加えて開眼度を最小値より立ち上げる第五の過程Ｃ5、Ａsまで加えた上向き加速度を０まで戻しつつ上向き速度が最大値Ｖsとなるまで開眼度を上げる第六の過程Ｃ6、上向き速度に下向きの加速度を加えて上向き速度を最大値Ｖsより下げつつ開眼度を上げる第七の過程Ｃ7、Ａbまで加えた下向き加速度を０まで戻しつつ上向き速度を漸減させて瞬きを終える第八の過程Ｃ8よりなっている。

上記の如き２通りの閾値ＧfおよびＧmの設定により通常の瞬きおよび半瞬きを検出する瞬き検出操作は、図３のフローチャートに示す如き要領により行われてよい。かかるフローチャートに示される如きコンピュータによるデジタル演算処理は、数十ミリセカンド程度の微細周期にて繰り返し行われるものである。

瞬き検出装置の作動が開始されると、ステップ（Ｓ）１にてカメラや電極等により瞼の開眼度Ｇが検出され、得られた時間対開眼度の経過を示す電気信号はステップ２にて雑音的信号変化を除去するローパスフィルタリングを施され、図１に例示する如き時間対開眼度のデータとされる。次いで信号処理はステップ３へ進み、フラグＦ1が１であるか否かが判断される。この種のフラグは装置の作動の開始時に０にリセットされるものであり、この場合、フラグＦ1は後述のステップ５において１にセットされるので、それまでステップ３の答はノー（Ｎ）であり、信号処理はステップ４へ進む。

ステップ４においては、開眼度Ｇが図１にＧmとして示すごとき閾値以上であるか否かが判断される。瞬きが行われておらず或いは瞬きの途中であっても開眼度がまだＧm以下に下がっていないときには、答はイエス（Ｙ）であり、その間信号処理はステップ５をバイパスしてステップ６へ進む。一方、瞬きが行われ、開眼度Ｇが閾値Ｇmを横切って低下すれば、そのときステップ４の答はイエスからノーに転じ、信号処理はステップ５へ進む。ステップ５においては、フラグＦ1が１にセットされ、その瞬間の時刻Ｔが時点Ｔ1として記憶され、信号処理はステップ６へ進む。

ステップ６においては、フラグＦ4が１であるか否かが判断される。フラグＦ4は後述のステップ１５において１にセットされるので、それまでステップ６の答はノーであり、信号処理はこれよりステップ１へ戻り、更に開眼度の検出が続けられる。この場合、更に検出された時間対開眼度のローパスフィルタリングされたデータを得て信号処理がステップ３へ進むと、ステップ３の答はイエスとなるので、信号処理はこれよりステップ７へ進み、フラグＦ2が１であるか否かが判断される。フラグＦ2は後述のステップ１０において１にセットされるので、それまでステップ７の答はノーであり、信号処理はステップ８へ進む。

ステップ８においては、開眼度Ｇが図１にＧfとして示すごとき閾値以上であるか否かが判断される。開眼度Ｇが閾値Ｇmを下向きに横切った後であっても、瞬きの途中であって開眼度がまだＧf以下に下がっていないときには、答はイエスであり、信号処理はステップ９へ進み、開眼度Ｇが閾値Ｇm以上であるか否かが判断される。信号処理がステップ９に至るのは開眼度Ｇが閾値Ｇm以下となった後であるので、当分の間、ステップ９の答はノーであり、信号処理はこれよりステップ６へ進み、その答は依然ノーであることによって信号処理はステップ１へ戻り、更に開眼度の検出が続けられる。

瞬きが図１の窪みＤ1の如く閾値Ｇf横切って閉じる通常の瞬きであれば、信号処理がステップ９をノーへ進んでいる内にやがてステップ８の答はイエスかたノーに転じ、これより信号処理はステップ１０へ進み、フラグＦ2は１にセットされ、その瞬間の時刻Ｔが時点Ｔ2として記憶される。これよりステップ６を経てステップ１へ戻った信号処理は、以後ステップ７よりステップ１１へ進むようになる。

ステップ１１においては、フラグＦ3が１であるか否かが判断される。フラグＦ3は後述のステップ１３において１にセットされるので、それまでステップ１１の答はノーであり、信号処理はステップ１２へ進む。ステップ１２においては、開眼度Ｇが閾値Ｇf以上であるか否かが判断される。瞬きが図１の窪みＤ1の如く閾値Ｇf横切って大きく閉じた後開く通常の瞬きであれば、ステップ１２の答は暫くノーであり、その間信号処理はステップ６を経てステップ１へ戻るが、やがて開眼度Ｇが閾値Ｇf以上に復したところで、ステップ１２の答はノーからイエスに転じ、そのとき信号処理はステップ１３へ進み、その瞬間の時刻Ｔが時点Ｔ3として記憶される。またここでフラグＦ3は１にセットされるので、これよりステップ６を経てステップ１へ戻った信号処理は、以後ステップ１１よりステップ１４へ進むようになる。

ステップ１４においては、開眼度Ｇが閾値Ｇm以上であるか否かが判断される。瞬きが図１の窪みＤ1の如く閾値Ｇf横切って大きく閉じた後閾値Ｇf横切って開き、更に閾値Ｇm横切って開く通常の瞬きであれば、ステップ１４の答は当初は暫くノーであり、その間、信号処理はステップ６を経てステップ１へ戻るが、やがてステップ１４の答はノーからイエスに転じるので、そのとき信号処理はステップ１５へ進み、その瞬間の時刻Ｔが時点Ｔ4として記憶される。更にまた、このときフラグＦ4は１にセットされるので、これよりステップ６へ進んだ信号処理は、ステップ６の答がイエスとなることによってステップ１６に至る。

しかし、一方、瞬きが図１に窪みＤ2にて示す如く閾値Ｇmを横切って閉じるが閾値Ｇfを横切るほどには閉じない半瞬きであるときには、ステップ８の答がイエスからノーに転じる前にステップ９の答がノーからイエスに転じる。このときには、信号処理はステップ１７へ進み、フラグＦcが１にセットされ、その瞬間の時刻ＴがＴ2として記憶され、信号処理はこれよりステップ１６へ進む。

ステップ１６においては、サフィックスｎが装置の作動開始時にリセットされた０より始まって１だけ増分され、次いで信号処理はステップ１８へ進み、フラグＦcが１であるか否かが判断される。ここでフラグＦcが０のままであれば、それは閾値Ｇfを横切って閉じる通常の瞬きがあったことを示し、フラグＦcが１にセットされていれば、それは閾値Ｇmを横切って閉じる半瞬きがあったこを示す。そこで、ステップ１８の答がノーであるときには、信号処理はステップ１９へ進み、時点Ｔ2がｎ番目の瞬きの開始時点Ｔns（nは上記のサフィックス）とされ、時点Ｔ3がｎ番目の瞬きの終了時点Ｔneとされる。一方、ステップ１８の答がイエスであるときには、信号処理はステップ２０へ進み、時点Ｔ1がｎ番目の瞬きの開始時点Ｔnsとされ、時点Ｔ2がｎ番目の瞬きの終了時点Ｔneとされる。信号処理がステップ１９へ進んだときには、続くステップ２１にてフラグＦ1，Ｆ2，Ｆ3，Ｆ4が０にリセットされ、信号処理がステップ２０へ進んだときには、続くステップ２２にてフラグＦ1，Ｆ2，Ｆcが０にリセットされ、信号処理はステップ２３へ進む。

ステップ２３においては、上記のサフィックスnが所定の限界値nfに達したか否かが判断される。瞬きの状態に基づく覚醒或いは眠気の度合の判断は、或る所定数にわたる瞬きの頻度、瞬き間隔の平均値、瞬き間隔の標準偏差等に基づいて行われる。サフィックスnの値は観測すべき瞬きの数を定めるものであり、所定数nの瞬きが観測されるまではステップ２３の答がノーであることによって、瞬きの開始時点Ｔnsおよび終了時点Ｔneを求める信号処理は、サフィックスnを逐次増大させつつそれが所定数nfに達するまで繰り返される。

以上の図３のフローチャートに示す信号処理は、半瞬きについてもその開始時点Ｔnsおよび終了時点Ｔneを開眼度が所定の閾値を横切ることによって求めるものであるが、瞼の閉じ量が小さい半瞬きを開眼度によって判断するには、開眼度の閾値を上げておかなければならないので、瞬きではない雑音的瞼の開閉を瞬きと誤判断する度合が高くならざるを得ない。そこで開眼度によって半瞬きが検出されたときには、更に瞼開閉の速度の変化や更には加速度の変化の態様に基づいてより正確に半瞬きを確認することが考えられる。図４はそのために図３のフローチャートに加えるべき修正を当該箇所について示す部分図である。図４において、ステップ１、３、１８、２３は図１におけるステップ１、３、１８、２３であり、ステップ２−１は図１におけるステップ２の一部変更であり、ステップ２４は図５または図６に示すサブルーチンである。かかるサブルーチンによる信号処理は、図３のフローチャートによるメインルーチンにおける次の瞬き検出の信号処理に並行して実行されてよい。

図３に示す信号処理に図５に示すサブルーチンＡの信号処理が付加される場合には、ステップ２−１にては開眼度Ｇのローパスフィルタリングされたデータが記憶され、サブルーチンＡの信号処理が開始されると、ステップ１０１においてステップ２−１にて記憶された時点Ｔ1〜Ｔ2間の開眼度Ｇを時間的に微分し、時間対開眼速度を表わす微分値ｆ(Ｔ)が算出される。その時間的経過は図２の中段に示すようなものとなる。

信号処理はこれよりステップ１０２へ進み、フラグＦ11が１であるか否かが判断される。フラグＦ11は後述のステップ１０４にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ１０２の答はノーであり、信号処理はステップ１０３へ進み、微分値ｆ(Ｔ)が所定の閾値Ｖd以上であるか否かが判断される。閾値Ｖdは図２の中段に示す如き負の値である。当初は答はイエスであり、信号処理はステップ１０４をバイパスしてステップ１０５へ進み、フラグＦ14が１であるか否かが判断される。フラグＦ14は後述のステップ１１３にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ１０５の答はノーであり、信号処理はこれよりステップ１０２へ戻る。

瞼の下向きの速度が増大し、それが閾値Ｖd以下に下がる（下向きの速度としては上がる）と、ステップ１０３の答はイエスからノーに転じるので、信号処理はステップ１０４へ進み、フラグＦ11は１にセットされ、この瞬間の時刻が時点Ｔ1として記憶される。これより信号処理はステップ１０５を経てステップ１０２へ戻るが、フラグＦ11が１にセットされたことにより、以後信号処理はステップ１０２よりステップ１０６へ進むようになる。

ステップ１０６においては、フラグＦ12が１であるか否かが判断される。フラグＦ12は後述のステップ１０８にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ１０６の答はノーであり、信号処理はステップ１０７へ進み、微分値ｆ(Ｔ)が所定の閾値Ｖd以上であるか否かが判断される。閾値Ｖdが図２の中段に示す如き適当な負の値に設定されていれば、暫くは答はノーであり、信号処理はステップ１０５を経てステップ１０２へ戻るが、やがて時点Ｔ2にて開眼速度は閾値Ｖdを横切って上昇（下向き速度としては減小）し、ステップ１０７の答はノーからイエスに転じるので、ここで信号処理はステップ１０８へ進み、フラグＦ12は１にセットされ、この瞬間の時刻が時点Ｔ2として記憶される。これより信号処理はステップ１０５を経てステップ１０２へ戻るが、フラグＦ12が１にセットされたことにより、以後信号処理はステップ１０６よりステップ１０９へ進むようになる。

ステップ１０９においては、フラグＦ13が１であるか否かが判断される。フラグＦ13は後述のステップ１１１にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ１０９の答はノーであり、信号処理はステップ１１０へ進み、微分値ｆ(Ｔ)が所定の閾値Ｖu以上であるか否かが判断される。閾値Ｖuが図２の中段に示す如き適当な正の値に設定されていれば、暫くは答はノーであり、信号処理はステップ１０５を経てステップ１０２へ戻るが、やがて時点Ｔ3にて開眼速度は閾値Ｖuを横切って上昇し、ステップ１１０の答はノーからイエスに転じるので、ここで信号処理はステップ１１１へ進み、フラグＦ13は１にセットされ、この瞬間の時刻が時点Ｔ3として記憶される。これより信号処理はステップ１０５を経てステップ１０２へ戻るが、フラグＦ13が１にセットされたことにより、以後信号処理はステップ１０９よりステップ１１２へ進むようになる。

ステップ１１２においては、微分値ｆ(Ｔ)が閾値Ｖu以上であるか否かが判断される。暫くは答はイエスであり、信号処理はステップ１０５を経てステップ１０２へ戻るが、やがて時点Ｔ4にて開眼速度は閾値Ｖuを横切って低下し、ステップ１１２の答はイエスからノーに転じので、ここで信号処理はステップ１１３へ進み、フラグＦ14は１にセットされ、この瞬間の時刻が時点Ｔ4として記憶される。

以上で開眼速度が閾値Ｖdを横切る時点Ｔ1、Ｔ2および閾値Ｖuを横切る時点Ｔ3、Ｔ4が得られる。またフラグＦ14が１にセットされるので、これより信号処理はステップ１０５よりステップ１１４へ進む。ステップ１１４においては、開眼速度の谷に当たる時点Ｔ1、Ｔ2の中間値がこのｎ番目の瞬き（半瞬き）の開始時点Ｔnsとされ、開眼速度の山に当たる時点Ｔ3、Ｔ4の中間値がその終了時点Ｔnsとされる。信号処理はこれよりステップ１１５へ進み、フラグＦ11，Ｆ12，Ｆ13，Ｆ14を０にリセットして終了する。

図３に示す信号処理に図６に示すサブルーチンＢの信号処理が付加される場合にも、ステップ２−１にては開眼度Ｇのローパスフィルタリングされたデータが記憶され、サブルーチンＢの信号処理が開始されると、ステップ２０１においてステップ２−１にて記憶された時点Ｔ1〜Ｔ2間の開眼度Ｇを時間的に２階微分し、時間対開眼加速度を表わす微分値ｇ(Ｔ)が算出される。その時間的経過は図２の下段に示すようなものとなる。

信号処理はこれよりステップ２０２へ進み、フラグＦ21が１であるか否かが判断される。フラグＦ21は後述のステップ２０４にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ２０２の答はノーであり、信号処理はステップ２０３へ進み、２階微分値ｇ(Ｔ)が所定の閾値Ａd以上であるか否かが判断される。閾値Ａdは図２の下段に示す如き負の値である。当初は答はイエスであり、信号処理はステップ２０４をバイパスしてステップ２０５へ進み、フラグＦ28が１であるか否かが判断される。フラグＦ28は後述のステップ２２５にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ２０５の答はノーであり、信号処理はこれよりステップ２０２へ戻る。

瞼の下向きの加速度が増大し、それが閾値Ａd以下に下がる（下向きの加速度としては上がる）と、ステップ２０３の答はイエスからノーに転じるので、信号処理はステップ２０４へ進み、フラグＦ21は１にセットされ、この瞬間の時刻が時点Ｔ1として記憶される。これより信号処理はステップ２０５を経てステップ２０２へ戻るが、フラグＦ21が１にセットされたことにより、以後信号処理はステップ２０２よりステップ２０６へ進むようになる。

ステップ２０６においては、フラグＦ22が１であるか否かが判断される。フラグＦ22は後述のステップ２０８にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ２０６の答はノーであり、信号処理はステップ２０７へ進み、２階微分値ｇ(Ｔ)が所定の閾値Ａd以上であるか否かが判断される。閾値Ａdが図２の下段に示す如き適当な負の値に設定されていれば、暫くは答はノーであり、信号処理はステップ２０５を経てステップ２０２へ戻るが、やがて時点Ｔ2にて開眼加速度は閾値Ａdを横切って上昇（下向き加速度としては減小）し、ステップ２０７の答はノーからイエスに転じるので、ここで信号処理はステップ２０８へ進み、フラグＦ22は１にセットされ、この瞬間の時刻が時点Ｔ2として記憶される。これより信号処理はステップ２０５を経てステップ２０２へ戻るが、フラグＦ22が１にセットされたことにより、以後信号処理はステップ２０６よりステップ２０９へ進むようになる。

ステップ２０９においては、フラグＦ23が１であるか否かが判断される。フラグＦ23は後述のステップ２１１にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ２０９の答はノーであり、信号処理はステップ２１０へ進み、２階微分値ｇ(Ｔ)が所定の閾値Ａu以上であるか否かが判断される。閾値Ａuが図２の下段に示す如き適当な正の値に設定されていれば、暫くは答はノーであり、信号処理はステップ２０５を経てステップ２０２へ戻るが、やがて時点Ｔ3にて開眼加速度は閾値Ａuを横切って上昇し、ステップ２１０の答はノーからイエスに転じるので、ここで信号処理はステップ２１１へ進み、フラグＦ23は１にセットされ、この瞬間の時刻が時点Ｔ3として記憶される。これより信号処理はステップ２０５を経てステップ２０２へ戻るが、フラグＦ23が１にセットされたことにより、以後信号処理はステップ２０９よりステップ２１２へ進むようになる。

ステップ２１２においては、フラグＦ24が１であるか否かが判断される。フラグＦ24は後述のステップ２１４にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ２１２の答はノーであり、信号処理はステップ２１３へ進み、２階微分値ｇ(Ｔ)が所定の閾値Ａu以上であるか否かが判断される。閾値Ａuが図２の下段に示す如き適当な正の値に設定されていれば、暫くは答はイエスであり、信号処理はステップ２０５を経てステップ２０２へ戻るが、やがて時点Ｔ4にて開眼加速度は閾値Ａuを横切って低下し、ステップ２１３の答はイエスからノーに転じるので、ここで信号処理はステップ２１４へ進み、フラグＦ24は１にセットされ、この瞬間の時刻が時点Ｔ4として記憶される。これより信号処理はステップ２０５を経てステップ２０２へ戻るが、フラグＦ24が１にセットされたことにより、以後信号処理はステップ２１２よりステップ２１５へ進むようになる。

ステップ２１５においては、フラグＦ25が１であるか否かが判断される。フラグＦ25は後述のステップ２１７にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ２１５の答はノーであり、信号処理はステップ２１６へ進み、２階微分値ｇ(Ｔ)が所定の閾値Ａu以上であるか否かが判断される。閾値Ａuが図２の下段に示す如き適当な正の値に設定されていれば、暫くは答はノーであり、信号処理はステップ２０５を経てステップ２０２へ戻るが、やがて時点Ｔ5にて開眼加速度は閾値Ａuを横切って増大し、ステップ２１６の答はノーからイエスに転じるので、ここで信号処理はステップ２１７へ進み、フラグＦ25は１にセットされ、この瞬間の時刻が時点Ｔ5として記憶される。これより信号処理はステップ２０５を経てステップ２０２へ戻るが、フラグＦ25が１にセットされたことにより、以後信号処理はステップ２１５よりステップ２１８へ進むようになる。

ステップ２１８においては、フラグＦ26が１であるか否かが判断される。フラグＦ26は後述のステップ２２０にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ２１８の答はノーであり、信号処理はステップ２１９へ進み、２階微分値ｇ(Ｔ)が所定の閾値Ａu以上であるか否かが判断される。閾値Ａuが図２の下段に示す如き適当な正の値に設定されていれば、暫くは答はイエスであり、信号処理はステップ２０５を経てステップ２０２へ戻るが、やがて時点Ｔ6にて開眼加速度は閾値Ａuを横切って低下し、ステップ２１９の答はイエスからノーに転じるので、ここで信号処理はステップ２２０へ進み、フラグＦ26は１にセットされ、この瞬間の時刻が時点Ｔ6として記憶される。これより信号処理はステップ２０５を経てステップ２０２へ戻るが、フラグＦ26が１にセットされたことにより、以後信号処理はステップ２１８よりステップ２２１へ進むようになる。

ステップ２２１においては、フラグＦ27が１であるか否かが判断される。フラグＦ27は後述のステップ２２３にて１にセットされ、それまでは０にリセットされているので、差し当たりステップ２２１の答はノーであり、信号処理はステップ２２２へ進み、２階微分値ｇ(Ｔ)が所定の閾値Ａd以上であるか否かが判断される。閾値Ａdが図２の下段に示す如き適当な負の値に設定されていれば、暫くは答はイエスであり、信号処理はステップ２０５を経てステップ２０２へ戻るが、やがて時点Ｔ7にて開眼加速度は閾値Ａdを横切って低下（下向き加速度としては増大）し、ステップ２２２の答はイエスからノーに転じるので、ここで信号処理はステップ２２３へ進み、フラグＦ27は１にセットされ、この瞬間の時刻が時点Ｔ7として記憶される。これより信号処理はステップ２０５を経てステップ２０２へ戻るが、フラグＦ27が１にセットされたことにより、以後信号処理はステップ２２１よりステップ２２４へ進むようになる。

ステップ２２４においては、２階微分値ｇ(Ｔ)が所定の閾値Ａd以上であるか否かが判断される。閾値Ａdが図２の下段に示す如き適当な正の値に設定されていれば、暫くは答はノーであり、信号処理はステップ２０５を経てステップ２０２へ戻るが、やがて時点Ｔ8にて開眼加速度は閾値Ａdを横切って増大（下向き加速度としては減小）し、ステップ２２４の答はノーからイエスに転じるので、ここで信号処理はステップ２２５へ進み、フラグＦ28は１にセットされ、この瞬間の時刻が時点Ｔ8として記憶される。これより信号処理はステップ２０５へ進み、フラグＦ28が１にセットされたことにより、これより信号処理はステップ２２６へ進む。

以上で開眼加速度が閾値Ａdを横切る時点Ｔ1、Ｔ2、閾値Ｖuを横切る時点Ｔ3、Ｔ4、再度閾値Ｖuを横切る時点Ｔ5、Ｔ6、再度閾値Ａdを横切る時点Ｔ7、Ｔ8が得られる。ステップ２２６においては、開眼加速度の最初の谷に当たる時点Ｔ1、Ｔ2の中間値と最初の山に当たる時点Ｔ3、Ｔ4の中間値が、このｎ番目の瞬き（半瞬き）の開始時点Ｔnsとされ、開眼加速度の２番目の山に当たる時点Ｔ5、Ｔ6の中間値と２番目の谷に当たる時点Ｔ7、Ｔ8の中間値が、その終了時点Ｔnsとされる。信号処理はこれよりステップ２２７にてフラグＦ21，Ｆ22，Ｆ23，Ｆ24，Ｆ25，Ｆ26，Ｆ27，Ｆ28を０にリセットして終了する。

以上に於いては本発明をいくつかの実施例について詳細に説明したが、かかる実施例について本発明の範囲内にて種々の変更が可能であることは当業者にとって明らかであろう。

Claims

時間対開眼度のデータに基づいて瞬きを検出する瞬き検出装置にして、開限度が比較的低い第一の閾値と開限度が比較的高い第二の閾値とを設定し、開眼度が前記第一の閾値を高より低に横切った後に前記第一の閾値を低より高に横切ったとき通常の瞬きがあったと判断し、開眼度が前記第二の閾値を高より低に横切った後に前記第一の閾値を高より低に横切ることなく前記第二の閾値を低より高に横切ったとき半瞬きがあったと判断することを特徴とする瞬き検出装置。