JP2008073335A

JP2008073335A - 覚醒低下検出装置及び覚醒低下検出プログラム

Info

Publication number: JP2008073335A
Application number: JP2006257664A
Authority: JP
Inventors: Sunao Hatakeyama; 直畠山
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2006-09-22
Filing date: 2006-09-22
Publication date: 2008-04-03

Abstract

【課題】覚醒度の指標を設定することによって覚醒度を推定し、覚醒低下をより精度よく、段階的に検出する覚醒低下検出装置及び覚醒低下検出プログラムを提供する。
【解決手段】覚醒低下検出装置１０は、画像撮像部１２、瞬目検出部１４、瞬目判定部１６、履歴情報記憶部１７、及び覚醒低下判定部１８を含んで構成される。画像撮像部１２は被検出者の顔を撮像し、瞬目検出部１４は画像撮像部１２が撮像した画像から瞬目を検出する。履歴情報記憶部１７は、瞬目に関する情報を記憶する。瞬目判定部１６は瞬目検出部１４が検出した瞬目から瞬目群発と長時間閉眼を判定し、覚醒低下判定部１８は、瞬目判定部１６が判定した瞬目群発の生起時間から長時間閉眼の生起時間までの時間間隔を指標として、覚醒の低下を判定する。
【選択図】図１

Description

本発明は、覚醒の低下を検出する覚醒低下検出装置及び覚醒低下検出プログラムに関する。

従来、瞬きを検出することにより覚醒の低下を判定する技術として、単位時間あたりの瞬き回数を計測し、計測した瞬き回数と予め設定した瞬き回数とを比較することで居眠りを検出する居眠り運転防止装置（例えば、特許文献１参照。）、瞬き時間が所定時間以上の瞬き回数が単位時間あたりに所定回数以上の場合に居眠りと判定する居眠り検出器（例えば、特許文献２又は特許文献３参照。）が知られている。

また、所定時間以上の瞬きの時間を一定時間ごとに積算して得られた積算瞬き時間が閾値を超えたときに居眠りと判定する居眠り検出器（例えば、特許文献４参照。）、瞬き回数、瞬き時間が所定時間以上の瞬き回数及び瞬き時間が所定時間以下の瞬き回数のそれぞれに応じた評点を付けてその合計点で覚醒レベルを算出する居眠り運転警報装置（例えば、特許文献５参照。）なども知られている。
特開昭６１−１７５１２９号公報特開昭６３−２１６１９３号公報特開昭６３−２５８２２６号公報特開平６−２１９１８１号公報実開昭６２−２０３７３１号公報

しかしながら、従来の瞬目頻度や積算瞬目時間などによって覚醒低下を検出する手法では、個々の瞬目特徴量を用いて覚醒低下を検出しているが、瞬目の時間分布までは考慮されていない。

例えば、図２に示すように単位時間に同じ回数の瞬目が生起したとしても、同図（Ｂ）のように短い瞬目が平均的な間隔で散発した場合と、同図（Ａ）のように瞬目が短い間隔で群発した後に長い閉眼時間を伴う瞬目が生起した場合では、瞬目頻度が同じであってもその覚醒レベルは異なると考えられる。従って、特許文献１の居眠り運転防止装置は、瞬目頻度と閾値とを単に比較しているので、単位時間内の瞬目頻度の偏りに現れるような覚醒レベルの低下を判別することができないという問題点がある。

また、特許文献２及び特許文献３の居眠り検出器は、長時間閉眼を伴う瞬きの頻度を用いて、覚醒が低下した後の状態は判別することが可能だが、覚醒低下を段階的に捉えることはできないという問題点がある。このことは特許文献４の居眠り検出器も同様である。

更に、特許文献５の居眠り運転警報装置は、瞬き回数から瞬目頻度を、瞬目持続時間から長時間閉眼を、瞬目間時間間隔から瞬目群発を検出し、それらの重み付け加算値によって覚醒レベルを推定している。しかし、瞬目頻度、長時間閉眼、瞬目間時間間隔などの瞬目特徴量は、覚醒レベルに対して単調な関数では表されない。従って、居眠り運転警報装置は、これらの出現頻度を重み付け加算しても、覚醒レベルを精度よく推定できないという問題点がある。

本発明は、上記問題点を解決するために成されたものであり、覚醒低下をより精度よく検出する覚醒低下検出装置及び覚醒低下検出プログラムを提供することを目的とする。

上記目的を達成するために、請求項１記載の覚醒低下検出装置は、被検出者の瞬目を検出する瞬目検出手段と、前記瞬目検出手段により検出された瞬目から、該瞬目とその直前の瞬目との瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目とを判定する瞬目判定手段と、前記瞬目群発の瞬目と前記長時間閉眼を伴う瞬目の履歴情報から前記被検出者の覚醒低下を判定する覚醒低下判定手段と、を備えている。

請求項１記載の発明によれば、瞬目群発と長時間閉眼に注目することにより、瞬目群発の瞬目と長時間閉眼を伴う瞬目の履歴情報から覚醒低下を検出することができる。

請求項２記載の覚醒低下検出装置は、請求項１記載の覚醒低下検出装置において、前記覚醒低下判定手段は、前記瞬目群発の瞬目から前記長時間閉眼を伴う瞬目までの時間に基づいて覚醒低下度を判定することを特徴とする。

請求項２記載の発明によれば、瞬目群発と長時間閉眼までの時間間隔を指標とすることによって、より詳細な覚醒低下度を検出することができる。

請求項３記載の覚醒低下検出装置は、請求項１記載の覚醒低下検出装置において、前記覚醒低下判定手段は、前記瞬目群発の瞬目から前記長時間閉眼を伴う瞬目までの時間が予め定めた閾値未満のときに覚醒が低下したと判定することを特徴とする。

請求項３記載の発明によれば、瞬目群発の瞬目から長時間閉眼を伴う瞬目までの時間と閾値を比較することにより、覚醒が低下したことを検出することができる。なお、閾値を複数定めれば、覚醒の低下を段階的に検出できる。

請求項４記載の覚醒低下検出プログラムは、コンピュータを、被検出者の瞬目を検出する瞬目検出手段、前記瞬目検出手段により検出された瞬目から、該瞬目とその直前の瞬目との瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目とを判定する瞬目判定手段、及び前記瞬目群発の瞬目と前記長時間閉眼を伴う瞬目の履歴情報から前記被検出者の覚醒低下を判定する覚醒低下判定手段、として機能させる。

請求項４記載の発明によれば、瞬目群発と長時間閉眼に注目することにより、瞬目の時間分布の違いを考慮した覚醒低下を検出するようにコンピュータを機能させることができる。

以上説明したように、本発明によれば、より精度よく覚醒低下を検出することができるという効果が得られる。

以下、図面を参照して本発明の実施の形態を説明する。図１には、本実施の形態に係る覚醒低下検出装置１０のブロック図が示されている。

図１に示すように、覚醒低下検出装置１０は、被検出者の顔を撮影するＣＣＤカメラ等からなる画像撮像部１２と、画像撮像部１２により生成される画像を処理して瞬目の検出等を行うパーソナル・コンピュータ２０と、を備えている。

上記パーソナル・コンピュータ２０は、ＣＰＵ、後述する図４のフローチャートで示す覚醒低下検出装置１０の制御ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ及びこれらを接続するバスを含んで構成される。

このパーソナル・コンピュータ２０は、機能的には図１に示すように、画像撮像部１２が撮像した画像を処理して瞬目を検出する瞬目検出部１４と、瞬目検出部１４が検出した瞬目から瞬目群発の瞬目と長時間閉眼を伴う瞬目を判定する瞬目判定部１６、瞬目に関する履歴情報記憶する履歴情報記憶部１７、瞬目判定部１６の判定結果から覚醒低下を判定する覚醒低下判定部１８を備えている。

瞬目検出部１４は、被検出者の瞬目を検出するが、その検出方法は特定の方法に限定するものではなく、公知のいかなる方法でもよい。本実施の形態では瞬目検出部１４は、被検出者の眼画像を処理して眼の開度を計測し、この開度に基づいて眼の開閉を判断して瞬目を検出する。

瞬目判定部１６は、瞬目検出部１４により検出された瞬目の中から、瞬目群発の瞬目と長時間閉眼を伴う瞬目とを判定する。ここで、瞬目群発の瞬目とは、瞬目とその直前に起こった瞬目との時間間隔（瞬目間間隔）が所定時間以下で起こった瞬目をいう。また、長時間閉眼とは、一回の瞬きの開始から終了までの時間長が所定時間以上のものをいう。

瞬目判定部１６は、瞬目群発の判定については、前回の瞬目情報を記憶しておき、前回の瞬目生起時刻と今回の瞬目生起時刻の差が閾値以下であれば、瞬目群発であると判定する。また、瞬目判定部１６は、長時間閉眼の判定については、瞬目持続時間を計測し、その持続時間が閾値以上であれば長時間閉眼が生起したと判定する。瞬目判定部１４で判定した瞬目に関する履歴情報は、履歴情報記憶部１７に保存される。

履歴情報記憶部１７には、瞬目群発を判定するための前回の瞬目終了時刻、長時間閉眼を判定するための瞬目開始時刻、覚醒低下を判定するための瞬目群発の生起時刻等が蓄積される。

覚醒低下判定部１８は、瞬目群発の瞬目の生起時間と長時間閉眼を伴う瞬目の生起時間を管理し、ある判定基準に基づいて覚醒の低下を判定する。例えば、長時間閉眼が生起したとき、長時間閉眼を伴う瞬目の直前に生起した瞬目群発について以下の計算を行う。

ΔＴ＝Ｔ（長時間閉眼）−Ｔ（直前の瞬目群発）・・・式（１）
ただし、Ｔ(Ａ)は事象Ａの生起した時刻を表す。ここで、式（１）で算出したΔＴ、即ち、直前の瞬目群発の生起時刻から長時間閉眼の生起時刻までの時間間隔を覚醒度の指標とし、ΔＴの長さに基づいて覚醒の低下を判定する。

この判定基準は、瞬目に関する以下の考え方に基づく。瞬目とは覚醒中のまぶたの一時的閉開のことをいい、視界に対する認識能力の低下をリセットし、視覚に関する認識能力を維持する機能がある。よって、瞬目の群発は、このような認識能力の低下を何度も瞬きすることによって防止する機能がある。一方、長時間閉眼は、認識能力の低下を防止しようとする機能が失われ、覚醒の低下してしまった状態を示す。

そこで、瞬目群発が発生してから長時間閉眼が発生するまでの時間間隔を監視することによって、直接的に覚醒維持機能の低下を判定することができる。この手法を使うことにより、従来の手法では判別できないような場合でも、覚醒度を判別することが可能である。

例えば、図３に示すような場合、同図（Ａ）及び（Ｂ）においては、単位時間内の瞬目頻度、長時間瞬目の頻度及び瞬目持続時間の積算値は全て同じである。従って、このような従来の指標を用いて（Ａ）と（Ｂ）の両状態の覚醒度を判別することはできない。これに対して、本実施の形態では、瞬目の群発が生起してから長時間閉眼が生起するまでの時間間隔ΔＴを指標としているため、両状態の覚醒度の判別が可能である。

即ち、図３（Ａ）ではΔＴが比較的長いため、覚醒度はやや低下したと判定し、図３（Ｂ）ではΔＴが短いため、覚醒度は低下したと判定する。このように、ΔＴを指標として覚醒度の低下を判定する。

次に、本実施の形態における覚醒低下検出装置１０の制御ルーチンを、図４に示したフローチャートに沿って説明する。この制御ルーチンは、上述のようにパーソナル・コンピュータ２０のＲＯＭに記憶され、ＣＰＵによって実行される。そして、図１に示すパーソナル・コンピュータ２０の各構成部が以下のステップに従って処理を実行する。

先ず、ステップ１００において初期設定を行う。具体的には、瞬目検出部１４が個々の瞬目を識別するための番号であるｉを０に設定する。

ステップ１１０では、瞬目検出部１４が閉眼が開始したか否かを判定する。この判定は次のように行う。図５は瞬目検出部１４が検出した瞬目を時系列で表したグラフである。このグラフにおいて、瞬目が検出された時に閉眼が開始したと判断され、この時刻が瞬目開始時刻Ｔｓとなる。閉眼が開始された場合にはステップ１２０に進み、開始されていない場合にはステップ１４０に進む。

ステップ１２０では、瞬目検出部１４が今回の瞬目を識別する番号ｉに１を加算する。ステップ１３０では、瞬目検出部１４が今回の瞬目開始時刻Ｔs(i)を履歴情報記憶部１７に記憶した後、ステップ１４０に進む。

ステップ１４０では、瞬目検出部１４が閉眼が終了したか否かを判定する。この判定はステップ１１０の閉眼の開始の判定と逆であり、図５のグラフにおいて、瞬目が検出されなくなった時に閉眼が終了したと判断され、この時刻が瞬目終了時刻Ｔｅとなる。閉眼が終了した場合にはステップ１５０に進む。閉眼が終了しない場合、即ち、閉眼の開始時でも終了時でもない場合には、ステップ１１０に戻って以上の処理を繰り返す。

ステップ１５０では、閉眼が終了したので、瞬目検出部１４が今回の瞬目終了時刻Ｔe(i)を履歴情報記憶部１７に記憶し、ステップ１６０に進む。

ステップ１６０では、瞬目判定部１６が今回の瞬目が瞬目群発の瞬目であったか否かを判定する。この判定では、履歴情報記憶部１７に記憶された今回の瞬目終了時刻Ｔe(i)から前回の瞬目終了時刻Ｔe(i-1)を減算した減算値と、閾値βとが比較される。

そして、瞬目判定部１６は、上記減算値がβより小さい場合は、瞬目群発の瞬目と判定してステップ１７０に進み、上記減算値がβより小さくない場合は、瞬目群発の瞬目ではないと判定してステップ１８０に進む。

ステップ１７０では、瞬目判定部１６が今回の瞬目終了時刻Ｔe(i)を瞬目群発終了時刻Ｔｇとして、これを履歴情報記憶部１７に記憶する。

ステップ１８０では、瞬目判定部１６は、今回の瞬目が長時間閉眼か否かを判定するために閉眼持続時間を算出する。図５に示すように、この閉眼持続時間Ｔdurは、履歴情報記憶部１７に記憶された瞬目終了時刻Ｔe(i)から瞬目開始時刻Ｔs(i)を減算することによって算出される。

ステップ１９０では、瞬目判定部１６が今回の瞬目が長時間閉眼を伴う瞬目であったか否かを判定する。この判定では、今回の瞬目の閉眼持続時間Ｔdurと閾値αとが比較される。

瞬目判定部１６は、Ｔdurがαより大きくない場合は、長時間閉眼ではないと判定し、ステップ１１０に戻る。そして、次のステップ１１０からは、次の瞬目を判定するための処理が繰り返される。

また、瞬目判定部１６は、Ｔdurがαより大きい場合は、長時間閉眼と判定してステップ２００に進む。

ステップ２００では、覚醒低下判定部１８が覚醒低下の判定処理を行うため、上述の式（１）に従って、覚醒度の指標となるΔＴを算出する。このΔＴは、履歴情報記憶部１７に記憶された今回の長時間閉眼を伴う瞬目の終了時刻Ｔe(i)（ステップ１５０で記憶）から直前の瞬目群発終了時刻Ｔｇ（ステップ１７０で記憶）を減算することによって算出される。

ステップ２１０では、覚醒低下判定部１８が覚醒が低下しているか否かを判定する。この判定では、上述のΔＴと閾値γとが比較される。

覚醒低下判定部１８は、ΔＴがγより小さくない場合には、覚醒は低下していないと判定し、ステップ１１０に戻って次の瞬目を判定するために以上の処理を繰り返す。

また、覚醒低下判定部１８は、ΔＴがγより小さい場合には、覚醒が低下していると判定して一連の覚醒低下検出処理を終了する。

なお、本実施の形態の覚醒低下検出装置１０は、覚醒低下を判定するための１つの閾値を設定し、覚醒が低下しているか否かの２値を判定しているが、複数の閾値を設定することによって覚醒度の低下を複数段階で判定してもよい。

また、覚醒低下検出装置１０は、ΔＴが小さくなるに従って、覚醒度が低下すると判定してもよい。

以上のように、本実施の形態では、瞬目群発と長時間閉眼に着目し、その時間間隔を指標とすることによって、瞬目の時間分布を考慮した覚醒度の違いをより詳細に精度よく検出することができる。また、本実施の形態では、瞬目の頻度や閉眼時間の積算値を使用しないため、単位時間瞬目を計測することによって生じる時間遅れがなく、より敏感に覚醒低下を検出することができる。

本発明に係る覚醒低下検出を示すブロック図である。瞬目頻度が同じでも覚醒度が異なる例を示す図である。瞬目群発から長時間閉眼までの経過時間を覚醒度の指標とする例を示す図である。本発明に係る覚醒低下検出装置の制御の流れを示すフローチャートである。瞬目の時系列データを示すグラフである。

符号の説明

１０覚醒低下検出装置
１２画像撮像部
１４瞬目検出部
１６瞬目判定部
１７履歴情報記憶部
１８覚醒低下判定部
２０パーソナル・コンピュータ

Claims

被検出者の瞬目を検出する瞬目検出手段と、
前記瞬目検出手段により検出された瞬目から、該瞬目とその直前の瞬目との瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目とを判定する瞬目判定手段と、
前記瞬目群発の瞬目と前記長時間閉眼を伴う瞬目の履歴情報から前記被検出者の覚醒低下を判定する覚醒低下判定手段と、
を備えた覚醒低下検出装置。
前記覚醒低下判定手段は、前記瞬目群発の瞬目から前記長時間閉眼を伴う瞬目までの時間に基づいて覚醒低下度を判定する請求項１記載の覚醒低下検出装置。
前記覚醒低下判定手段は、前記瞬目群発の瞬目から前記長時間閉眼を伴う瞬目までの時間が予め定めた閾値未満のときに覚醒が低下したと判定する請求項１記載の覚醒低下検出装置。
コンピュータを、
被検出者の瞬目を検出する瞬目検出手段、
前記瞬目検出手段により検出された瞬目から、該瞬目とその直前の瞬目との瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目とを判定する瞬目判定手段、及び
前記瞬目群発の瞬目と前記長時間閉眼を伴う瞬目の履歴情報から前記被検出者の覚醒低下を判定する覚醒低下判定手段、
として機能させるための覚醒低下検出プログラム。