JP2023181913A - 瞬き検知装置及び瞬き検知方法 - Google Patents

Abstract

【課題】人が上又は下を向くときの動きと瞬きとを精度よく判別することができる瞬き検知装置を提供する。【解決手段】瞬き検知装置３０は、人の瞼を含む画像を取得する画像取得部と、取得した画像に基づいて瞼の動きに関する情報を出力する瞬き検知部３２と、瞬き検知部３２が取得した瞼の動きに関する情報に基づいて、人が上又は下を向くときの動きと瞬きとを判別する判別部４０とを備える。【選択図】図１

Description

本開示は、瞬き検知装置及び瞬き検知方法に関する。

従来より、運転者の目を撮像した画像から得られる瞬目の発生パターンを示す瞬目波形から、運転者の覚醒状態を判定する技術が存在する。

例えば、特許文献１には、判定対象者の目を含む領域を撮像する撮像手段と、撮像手段により撮像された画像に基づいて、目の開度を検出する開度検出手段と、開度検出手段によって検出された目の開度に基づいて、目の開度に関する標準の閾値より小さい閾値を用いて求められる群発性瞬目に関する瞬目特徴量、瞬目回数に関する瞬目特徴量、一定時間における開眼状態の長さに関する瞬目特徴量、一定時間における閉眼状態の長さに関する瞬目特徴量等から選択した複数種類の瞬目特徴量を抽出する特徴量抽出手段で構成された眠気判定装置が開示されている。

また、特許文献２には、対象者の瞬目に基づく瞬目波形データを入力する瞬目波形入力手段と、対象者が高覚醒状態である時の瞬目波形データを瞬目波形入力手段により入力し、該瞬目波形データに基づいて対象者の標準の瞬目波形特徴量を算出する標準瞬目波形特徴量算出手段と、入力した瞬目波形データに基づいて識別対象の瞬目波形特徴量を算出する識別対象瞬目波形特徴量算出手段と、標準の瞬目波形特徴量を用いて識別対象の瞬目波形特徴量を補正することにより、共通のパターンモデルに入力するための瞬目識別特徴量を算出する瞬目識別特徴量算出手段と、を備えた瞬目種別識別装置が開示されている。

特許第５２１０７７３号公報 特許第５１８９８９３号公報

しかしながら、特許文献１、２では、運転者が瞬きをした場合であっても、運転者が計器を確認する際に単に下向きに視線を移したと誤判別したり、運転者が計器を確認する際に単に下向きに視線を移した場合であっても、瞬きをしたと誤判別したりすることがある。このため、従来技術では、瞬きを精度よく判別することができないという課題がある。

そこで、本開示は、人が上又は下を向くときの動きと瞬きとを精度よく判別することができる瞬き検知装置及び瞬き検知方法を提供することを目的とする。

本開示の一態様に係る瞬き検知装置は、人の瞼を含む画像を取得する画像取得部と、取得した前記画像に基づいて瞼の動きに関する情報を取得する瞬き検知部と、前記瞬き検知部が取得した前記瞼の動きに関する情報に基づいて、人が上又は下を向くときの動きと瞬きとを判別する判別部とを備える。

本開示の瞬き検知装置及び瞬き検知方法によれば、人が上又は下を向くときの動きと瞬きとを精度よく判別することができる。

図１は、実施の形態に係る瞬き検知システムを示すブロック図である。 図２は、瞬目波形と分類と内容との関係を示す図である。 図３は、開始フレームと終了フレームと分類との関係を示す図である。 図４は、ピーク周波数と割合との関係を示す図である。 図５は、実施の形態に係る瞬き検知システムのフローチャートである。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

以下、実施の形態について、図面を参照しながら具体的に説明する。

（実施の形態）
＜構成及び機能＞
まず、瞬き検知システム１の構成及び機能について図１～図４を用いて説明する。

図１は、実施の形態に係る瞬き検知システム１を示すブロック図である。図２は、瞬目波形と分類と内容との関係を示す図である。図３は、開始フレームと終了フレームと分類との関係を示す図である。図４は、ピーク周波数と割合との関係を示す図である。

図１に示すように、瞬き検知システム１は、移動体を操縦している操縦者である人の瞼の状態から、人の覚醒状態を判定し、判定した結果を出力することができる。具体的には、瞬き検知システム１は、人が上又は下を向くときの動きと瞬きとを判別することで、人の覚醒状態を判定し、判定した結果を出力することができる。人が上又は下を向くときの動きとは、人の目線の移動（計器等の確認）に伴う瞼の微小な動きのことである。ここで、移動体は、例えば、自動車及び電車等の車両、航空機、船舶等のように、操縦者の操縦によって移動することが可能である。

瞬き検知システム１は、撮像部１０と、目特徴点抽出部２０と、瞬き検知装置３０と、表示装置５０とを備えている。

［撮像部１０］
撮像部１０は、移動体に設けられ、移動体の操縦席に存在する操縦者である人の目を撮像することが可能である。撮像部１０は、移動体に固定され、人の目を撮像し続けることで、人の瞼を含んだ画像を取得することができる。つまり、画像には、少なくとも人の瞼が写されている。本実施の形態の画像には、人の瞼を含んだ目が写されている。撮像部１０は、画像取得部の一例であってもよい。撮像部１０は、取得した画像を目特徴点抽出部２０に出力する。

［目特徴点抽出部２０］
目特徴点抽出部２０は、撮像部１０が撮像した画像を取得すると、取得した画像に基づいて人の目を表す目の領域を抽出する。つまり、目特徴点抽出部２０は、取得した画像に基づいて、目の輪郭を抽出する。例えば、目特徴点抽出部２０は、人の瞼（上眼瞼及び下眼瞼）の特徴点、人の眼球の特徴点等の目の輪郭を抽出することで、人の瞼及び人の眼球等を特定することができる。目特徴点抽出部２０は、抽出した人の目の輪郭、つまり目の特徴点を示す情報を瞬き検知装置３０に出力する。目特徴点抽出部２０は、画像取得部の一例であってもよい。

［瞬き検知装置３０］
瞬き検知装置３０は、目特徴点抽出部２０から取得した目の特徴点を示す情報に基づいて、操縦者の目の瞬きを検出することで、人の覚醒状態を判別することができる。

具体的には、瞬き検知装置３０は、開眼率算出部３１と、瞬き検知部３２と、判別部４０と、指標算出部３６と、覚醒判別部３７とを有している。

開眼率算出部３１は、人の瞼を含む画像に基づいた目の輪郭の変化から目の開眼率を算出する。ここで、目の輪郭の変化は、目の輪郭における上端、下端、左端及び右端の変化で示される。

具体的には、開眼率算出部３１は、目特徴点抽出部２０から目の特徴点を示す情報を取得すると、目の特徴点を示す情報に基づいて、目が開いている度合いを示す開眼率を算出する。開眼率は、目の特徴点を示す情報に示される目の輪郭における上端、下端、左端及び右端のそれぞれの座標から、閉眼時における｜上端－下端｜／｜左端－右端｜を用いて算出した値と、開眼時における｜上端－下端｜／｜左端－右端｜を用いて算出した値とを正規化することで算出される。開眼率は、人の目を一定時間サンプリングすることで得られる。開眼率算出部３１は、一定時間のサンプリング後に、撮像部１０が取得した画像のフレームごとに開眼率を算出する。

また、開眼率は、人の両目を用いて算出されてもよく、左目又は右目を用いて算出されてもよい。また、開眼率算出部３１は、目の全開時の上眼瞼と下眼瞼との距離に対する、目の特徴点を示す情報に示された上眼瞼の特徴点と下眼瞼の特徴点との距離の割合に基づいて開眼率を算出してもよい。例えば、目が全開のときは開眼率１００％となり、目が閉眼のときは開眼率０％となる。

また、撮像部１０が操縦者の目を予め撮像することで、開眼率を設定しておいてもよく、メモリ等の記憶部に所定の開眼率が予め記憶されていてもよい。開眼率算出部３１は、算出した開眼率を瞬き検知部３２に出力する。

また、開眼率算出部３１は、目特徴点抽出部２０が抽出した目の特徴点を画像に重畳した情報としての目の特徴点を示す情報を目特徴点抽出部２０から取得してもよい。この場合、開眼率算出部３１は、画像取得部の一例であってもよい。

瞬き検知部３２は、画像から得られた開眼率の変化に基づいた瞼の動きに関する情報を取得する。具体的には、瞬き検知部３２は、人の瞼を含む画像に基づいた目の輪郭の変化から算出された目の開眼率によって、人の瞼に関する動作を検知する。瞬き検知部３２は、検知した人の瞼に関する動作である瞼の動きに関する情報を取得するため、取得した瞼の動きに関する情報に基づいて、人の目の瞼の動きに応じた瞬目波形を生成する。例えば、瞬き検知部３２は、図２に示すように、瞬きをした場合の開眼率の変化として、目を閉じ始める画像の１フレーム前の開始フレームから、目を開き切った最初の終了フレームまでの経過時間に応じた瞬目波形を生成する。また、瞬き検知部３２は、人が上又は下を向くときの開眼率の変化として、人が上又は下を向き始めて瞼が上方又は下方に移動し始めた画像の１フレーム前の開始フレームから、人が上又は下を向き終えて瞼が元の位置に戻ったときの終了フレームまでの経過時間に応じた瞬目波形を生成する。瞬き検知部３２は、生成した瞬目波形を判別部４０に出力する。

瞬き検知部３２が生成した瞬目波形は、図２及び図３のように分類することができる。具体的には、内容が瞬き（単なる瞬き）の場合では開始フレームから終了フレームまで視線が前を向いているため、瞬目波形が三角波状となり、開始フレームから終了フレームまでの期間が短い「１．瞬き」と分類できる。また、内容が移動体における計器確認の場合では視線が上又は下を向いているが、目を閉じていないため、瞬目波形が方形波状となるため、開始フレームから終了フレームまでの期間が「１．瞬き」よりも長い「２．上向き又は下向き」と分類できる。また、内容が計器確認を伴い瞬きの場合では視線が上又は下を向ける際、又は視線を戻す際に瞬きをしているため、瞬目波形が方形波状と三角波状の合成波となるため、「２．上向き又は下向き」と同様の長さの期間である「３．上向き又は下向きながらの瞬き」と分類できる。

図３で示す数値はあくまでも一例であり、図３の開示に限定されない。このため、分類「２．上向き又は下向き」は、分類「３．上向き又は下向きながらの瞬き」よりも開始フレームから終了フレームまでの期間が長い場合もあれば、期間が短い場合もあり、期間が同じ場合もある。

判別部４０は、瞼の動きに関する情報に基づいて人が上又は下を向くときの動きと瞬きとを判別する。具体的には、判別部４０は、瞼の動きに関する情報に基づいて瞬き検知部３２が生成した瞬目波形を周波数分析した周波数分布（周波数分析で得られたスペクトル）から、人が上又は下を向くときの動きと瞬きとを判別する。周波数分布は、図４に示すように、瞬きの動きに応じたピーク周波数（又は周波数）と、ピーク周波数の割合との関係で示される。例えば、判別部４０は、図４に示すように、周波数分布におけるピーク周波数上（横軸）のピーク値と、ピーク周波数上においてピーク値が占める割合（縦軸）とに基づいて、人が上又は下を向くときの動きと瞬きとを判別する。

具体的には、図１に示すように、判別部４０は、周波数分析部４１と、周波数分布算出部４２と、瞬き分類部４３とを有している。

周波数分析部４１は、瞬き検知部３２から瞬目波形を取得すると、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等を用いて、取得した瞬目波形を周波数成分に変換したＦＦＴ波形を生成して周波数分布算出部４２に出力する。

周波数分布算出部４２は、周波数分析部４１からＦＦＴ波形を取得すると、ＦＦＴ波形からピーク周波数を検出し、検出したピーク周波数をヒストグラム化した周波数分布を生成する。

このように、周波数分析部４１がＦＦＴ用いて瞬目波形をＦＦＴ波形に変換し、周波数分布算出部４２がＦＦＴ波形からピーク周波数を検出することで、判別部４０は、図４に示すような、瞼の動きに関する情報に基づく瞬目波形を周波数分析した周波数分布を生成することができる。図４の周波数分布は、あくまでも一例である。

瞬き分類部４３は、周波数分布算出部４２が生成した周波数分布に基づいて、人が上又は下を向くときの動きと瞬きとを分類する。具体的には、瞬き分類部４３は、周波数分布におけるピーク値と、ピーク周波数上においてピーク値が占める割合とを抽出し、人が上又は下を向くときの動きと瞬きとを分類する。

図４の破線で示した、人が瞬きをせずに上又は下を向きながら視線を移したとき（上向き又は下向き）の周波数分布と、図４の一点鎖線で示した、人が瞬きをしたときの周波数分布と、図４の実線で示した、人が上又は下を向くときに視線を移しながら瞬き（上向き又は下向きながら瞬き）をしたとき周波数分布とは、それぞれ異なっている。このため、瞬き分類部４３は、周波数分布におけるピーク値の閾値（周波数閾値）と、ピーク値に対する割合の閾値（割合閾値）とを設定することで、人が上又は下を向くときの動きと瞬きとを分類する。

例えば、図４に示すように、瞬き分類部４３は、周波数分布におけるピーク値が第１周波数閾値以上第２周波数閾値未満であり、かつ、割合が第１割合閾値以上第２割合閾値未満であれば、瞬き（単なる瞬き）であると分類する。瞬き分類部４３が瞬きと分類すると、判別部４０は、人が視線を移さずに瞬きしたと判別する。

また、瞬き分類部４３は、周波数分布におけるピーク値が第３周波数閾値以上第４周波数閾値未満であり、かつ、割合が第３割合閾値以上第４割合閾値未満であれば、人が上又は下を向くときの動きである上向き又は下向きと分類する。瞬き分類部４３が上向き又は下向きと分類すると、判別部４０は、人が瞬きをせずに上又は下を向きながら視線を移したと判別する。つまり、人が上又は下を向くときの動きとは、人が瞬きをせずに上又は下を向きながら視線を移した動きである。

また、瞬き分類部４３は、周波数分布におけるピーク値が第５周波数閾値以上第６周波数閾値未満であり、かつ、割合が第５割合閾値以上第６割合閾値未満であれば、上向き又は下向きながらの瞬きと分類する。瞬き分類部４３が上向き又は下向きながらの瞬きと分類すると、判別部４０は、人が上又は下を向くときに視線を移しながら瞬きしたと判別する。

単なる瞬きの場合は、開始フレームから終了フレームまでの期間が短いため、図４に示すように、周波数分布におけるピーク周波数上（横軸）のピーク値は大きくなる傾向にある。このため、第１周波数閾値及び第２周波数閾値は、第３周波数閾値、第４周波数閾値、第５周波数閾値及び第６周波数閾値よりも大きく設定され、第１割合閾値及び第２割合閾値は、第３割合閾値、第４割合閾値、第５割合閾値及び第６割合閾値よりも大きく設定されてもよい。また、第３周波数閾値及び第４周波数閾値は、第５周波数閾値及び第６周波数閾値よりも大きく設定され、第３割合閾値及び第４割合閾値は、第５割合閾値及び第６割合閾値よりも大きく設定されてもよい。

判別部４０が判別した、人が上又は下を向くときの動きは、人の目線の移動（計器等の確認）に伴う瞼の微小な動きである。また、判別部４０が判別した瞬きには、人が視線を移さずに瞬きすることと、人が上又は下を向くときに視線を移しながら瞬きすることとが含まれる。ここで、人が視線を移さずに瞬きするとは、人が前方を見ている場合に、人が前方を見ながら瞬きすることである。

また、判別部４０は、図２の瞬目波形の特徴テーブルを図示しない記憶部に記憶しておいてもよい。瞬目波形の特徴テーブルは、予め記憶されていてもよく、判別部４０が上述の判別をすることで瞬目波形の特徴テーブルを生成して記憶部に記憶してもよい。この場合、判別部４０は、瞬目波形を取得すると、記憶部に記憶されている瞬目波形の特徴テーブルと照らし合わせることで、人が瞬きをせずに上又は下を向きながら視線を移した動き、単なる瞬き、人が上又は下を向くときに視線を移しながらの瞬きのいずれかを分類してもよい。

判別部４０は、人が瞬きをせずに上又は下を向きながら視線を移した動き、単なる瞬き、人が上又は下を向くときに視線を移しながらの瞬きのいずれかを、瞬き分類部４３が分類した結果として指標算出部３６に出力する。

指標算出部３６は、瞬き分類部４３が分類した結果を取得すると、取得した結果に応じて、眠気レベルである人の覚醒度を検知するための指標を算出する。指標算出部３６は、算出した指標を覚醒判別部３７に出力する。

覚醒判別部３７は、指標算出部３６が算出した指標を用いて、判別部４０が判別した結果に基づいた、人の覚醒状態を判別する。

具体的には、覚醒判別部３７は、判別部４０が判別した結果が瞬き（上向き又は下向きながらの瞬き、及び、人が視線を移さずに瞬き）であるとき、指標算出部３６が算出した指標を用いて、人の覚醒状態を判別する。例えば、覚醒判別部３７は、所定期間において瞬きと判別された回数、頻度等の瞬きの傾向つまり時系列に基づいて、人の覚醒状態を判別する。例えば、覚醒判別部３７は、指標算出部３６が算出した指標と、所定期間において瞬きと判別された回数、頻度等とを照らし合わせることで、瞬きと判別された回数、頻度等が第１規定値以上であれば、覚醒状態が低く眠気レベルが高いと判別してもよい。また、覚醒判別部３７は、瞬きと判別された回数、頻度等が第１規定値未満第２規定値以上であれば、覚醒状態が中程度で眠気レベルも中程度と判別してもよい。また、覚醒判別部３７は、瞬きと判別された回数、頻度等が第２規定値未満であれば、覚醒状態が高く眠気レベルが低いと判別してもよい。覚醒判別部３７は、このように人の覚醒状態を判別した結果を表示装置５０に出力する。

［表示装置５０］
表示装置５０は、覚醒判別部３７が判別した結果である人の覚醒状態を示す情報を表示するモニタである。表示装置５０は、覚醒判別部３７が判別した結果に応じて人の覚醒状態を示す情報を表示する。これにより、操縦者の覚醒状態を報知することができる。

＜処理動作＞
次に、瞬き検知システム１の処理動作について図５を用いて説明する。

図５は、実施の形態に係る瞬き検知システム１のフローチャートである。

まず、図５に示すように、撮像部１０は、人の目を撮像し続けることで、人の瞼を含んだ画像を取得することができる（Ｓ１１）。撮像部１０は、取得したこの画像を目特徴点抽出部２０に出力する。

次に、目特徴点抽出部２０は、撮像部１０から画像を取得すると、取得した画像に基づいて人の目の輪郭を抽出する（Ｓ１２）。目特徴点抽出部２０は、目の特徴点を示す情報を瞬き検知装置３０に出力する。

次に、瞬き検知装置３０の開眼率算出部３１は、人の瞼を含む画像に基づいた目の輪郭の変化から目の開眼率を算出する（Ｓ１３）。開眼率算出部３１は、算出した開眼率を瞬き検知部３２に出力する。

次に、瞬き検知部３２は、画像に基づいて算出された開眼率を開眼率算出部３１から取得すると、開眼率の変化として人の瞼に関する動作を検知することで（Ｓ１４）、図２に示すような、人の瞼に関する動作である瞼の動きに関する情報に基づいて、人の目の瞼の動きに応じた瞬目波形を生成する。瞬き検知部３２は、生成した瞬目波形を判別部４０に出力する。

次に、判別部４０の周波数分析部４１は、瞬き検知部３２から瞬目波形を取得すると、ＦＦＴ等を用いて、取得した瞬目波形を周波数成分に変換したＦＦＴ波形を生成する（Ｓ１５）。周波数分析部４１は、生成したＦＦＴ波形を周波数分布算出部４２に出力する。

次に、周波数分布算出部４２は、周波数分析部４１からＦＦＴ波形を取得すると、ＦＦＴ波形からピーク周波数を検出し、図４に示すように、検出したピーク周波数をヒストグラム化した周波数分布を生成する（Ｓ１６）。

次に、瞬き分類部４３は、周波数分布算出部４２が生成した周波数分布に基づいて、人が上又は下を向くときの動きと瞬きとを分類する（Ｓ１７）。つまり、瞬き分類部４３は、図２に示すように、人が瞬きをせずに上又は下を向きながら視線を移した動き、単なる瞬き、人が上又は下を向くときに視線を移しながらの瞬きのいずれであるかを分類する。瞬き分類部４３が分類することで、画像に応じて分類した、図３を得ることができる。瞬き分類部４３は、図３のように分類した結果を指標算出部３６に出力する。

次に、指標算出部３６は、瞬き分類部４３が分類した結果に応じて、眠気レベルである人の覚醒度を検知するための指標を算出する（Ｓ１８）。指標算出部３６は、算出した指標を覚醒判別部３７に出力する。

次に、覚醒判別部３７は、指標算出部３６が算出した指標を用いて、人の覚醒状態を判別する（Ｓ１９）。具体的には、覚醒判別部３７は、人が瞬きをせずに上又は下を向きながら視線を移した動き、単なる瞬き、及び、人が上又は下を向くときに視線を移しながらの瞬きにおいて、人の覚醒状態を判別する。覚醒判別部３７は、判別した覚醒状態の結果を表示装置５０に出力する。

次に、表示装置５０は、覚醒判別部３７が判別した結果に応じて人の覚醒状態を示す情報を表示する（Ｓ２０）。

そして、瞬き検知システム１は、図５の処理動作を終了する。

なお、図５のステップＳ１５～Ｓ１７の代わりに、瞬き検知装置３０の判別部４０は、瞬き検知部３２から瞬目波形を取得すると、当該瞬目波形と記憶部に記憶されている瞬目波形の特徴テーブルと照らし合わせることで、人が瞬きをせずに上又は下を向きながら視線を移した動き、単なる瞬き、人が上又は下を向くときに視線を移しながらの瞬きのいずれかを分類してもよい。

＜作用効果＞
次に、本実施の形態における瞬き検知装置３０及び瞬き検知方法の作用効果について説明する。

上述したように、本実施の形態に係る瞬き検知装置３０は、人の瞼を含む画像を取得する画像取得部と、取得した画像に基づいて人の瞼の動きに関する情報を取得する瞬き検知部３２と、瞬き検知部３２が取得した瞼の動きに関する情報に基づいて、人が上又は下を向くときの動きと瞬きとを判別する判別部４０とを備える。

これによれば、瞬き検知装置３０は、判別部４０が瞼の動きに関する情報に基づいて、人が上又は下を向くときの動きと、瞬きとを精度よく判別することができる。

また、本実施の形態に係る瞬き検知方法は、人の瞼を含む画像を取得することと、取得した画像に基づいて人の瞼の動きに関する情報を取得することと、取得した瞼の動きに関する情報に基づいて、人が上又は下を向くときの動きと瞬きとを判別することとを含む。

この瞬き検知方法においても、上述と同様の作用効果を奏する。

また、本実施の形態に係る瞬き検知装置３０において、判別部４０は、瞼の動きに関する情報に基づいて周波数分析した周波数分布から、人が上又は下を向くときの動きと瞬きとを判別する。

これによれば、瞼の動きから周波数分布を算出することができるため、算出された周波数分布から、人が上又は下を向くときの動きと瞬きとを精度よく判別することができる。

また、本実施の形態に係る瞬き検知装置３０において、周波数分布は、瞬きの動きに応じたピーク周波数と、ピーク周波数の割合との関係で示される。そして、判別部４０は、周波数分布におけるピーク周波数上のピーク値と、ピーク周波数上においてピーク値が占める割合とに基づいて、人が上又は下を向くときの動きと瞬きとを判別する。

これによれば、例えば、周波数分布におけるピーク値と割合との閾値を設定することで、人が上又は下を向くときの動きと瞬きとを、より精度よく判別することができる。

また、本実施の形態に係る瞬き検知装置３０において、瞼の動きに関する情報には、人が上又は下を向くときの動きが含まれている。そして、判別部４０は、瞼の動きに関する情報に基づいて人が上又は下を向くときの動きと判別した場合、人が瞬きをせずに上又は下を向きながら視線を移したと判別する。

これによれば、人が瞬きをせずに上又は下を向きながら視線を移したと判別したものを、瞼の動きに関する情報から除外することができる。このため、人が上又は下を向くときの動きと瞬きとを、より精度よく判別することができる。

また、本実施の形態に係る瞬き検知装置３０において、判別部４０が判別した瞬きには、人が視線を移さずに瞬きすることと、人が上又は下を向くときに視線を移しながら瞬きすることとを含む。

これによれば、人が視線を移さずに瞬きすることと、人が上又は下を向くときに視線を移しながら瞬きすることとを判別することができる。このため、人が上又は下を向くときの動きと、人が視線を移さずに瞬きすることと、人が上又は下を向くときに視線を移しながら瞬きすることとを、より精度よく判別することができる。

また、本実施の形態に係る瞬き検知装置３０において、人が瞬きをせずに上又は下を向きながら視線を移したときの周波数分布と、人が瞬きをしたときの周波数分布と、人が上又は下を向くときに視線を移しながら瞬きをしたとき周波数分布とは、それぞれ異なっている。

これによれば、それぞれ異なる周波数分布に分けることができるため、人が上又は下を向くときの動きと、人が視線を移さずに瞬きすることと、人が上又は下を向くときに視線を移しながら瞬きすることとを、より精度よく判別することができる。

また、本実施の形態に係る瞬き検知装置３０は、さらに、判別部４０が判別した結果に基づいて、人の覚醒状態を判別する覚醒判別部３７を備える。

これによれば、判別部４０が判別した結果に応じて覚醒状態を精度よく判別することができるようになる。

また、本実施の形態に係る瞬き検知装置３０において、瞬き検知部３２は、人の瞼の画像に基づいた目の輪郭の変化から算出された目の開眼率によって人の瞬きを検知する。そして、目の輪郭の変化は、目の輪郭における上端、下端、左端及び右端の変化で示される。

これによれば、目の開眼率を精度よく検知することができるため、人の瞬きを精度よく検知することができる。

（その他の変形例）
以上、本開示に係る瞬き検知装置及び瞬き検知方法について、上記実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を実施の形態に施したものも、本開示の範囲に含まれてもよい。

例えば、上記各実施の形態に係る瞬き検知装置は、典型的に集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

また、上記各実施の形態に係る瞬き検知方法はコンピュータに実行させるためのプログラムにより実現されてもよく、瞬き検知装置は瞬き検知方法をコンピュータに実行させるためのプログラムを記憶部に有していてもよい。

以下に、上記各実施の形態に基づいて説明した瞬き検知装置及び瞬き検知方法の特徴を示す。

＜技術１＞
人の瞼を含む画像を取得する画像取得部と、
取得した前記画像に基づいて瞼の動きに関する情報を取得する瞬き検知部と、
前記瞬き検知部が取得した前記瞼の動きに関する情報に基づいて、人が上又は下を向くときの動きと瞬きとを判別する判別部とを備える
瞬き検知装置。

＜技術２＞
前記判別部は、前記瞼の動きに関する情報に基づいて周波数分析した周波数分布から、人が上又は下を向くときの動きと瞬きとを判別する
技術１に記載の瞬き検知装置。

＜技術３＞
前記周波数分布は、瞬きの動きに応じたピーク周波数と、前記ピーク周波数の割合との関係で示され、
前記判別部は、前記周波数分布における前記ピーク周波数上のピーク値と、前記ピーク周波数上において前記ピーク値が占める割合とに基づいて、人が上又は下を向くときの動きと瞬きとを判別する
技術２に記載の瞬き検知装置。

＜技術４＞
前記瞼の動きに関する情報には、人が上又は下を向くときの動きが含まれ、
前記判別部は、前記瞼の動きに関する情報に基づいて人が上又は下を向くときの動きと判別した場合、人が瞬きをせずに上又は下を向きながら視線を移したと判別する
技術２に記載の瞬き検知装置。

＜技術５＞
前記判別部が判別した瞬きには、人が視線を移さずに瞬きすることと、人が上又は下を向くときに視線を移しながら瞬きすることとを含む
技術２～４のいずれか１に記載の瞬き検知装置。

＜技術６＞
人が瞬きをせずに上又は下を向きながら視線を移したときの周波数分布と、人が瞬きをしたときの周波数分布と、人が上又は下を向くときに視線を移しながら瞬きをしたとき周波数分布とは、それぞれ異なっている
技術５に記載の瞬き検知装置。

＜技術７＞
さらに、前記判別部が判別した結果に基づいて、人の覚醒状態を判別する覚醒判別部を備える
技術１～６のいずれか１に記載の瞬き検知装置。

＜技術８＞
前記瞬き検知部は、人の瞼の前記画像に基づいた目の輪郭の変化から算出された目の開眼率によって人の瞬きを検知し
目の輪郭の変化は、目の輪郭における上端、下端、左端及び右端の変化で示される
技術１～７のいずれか１に記載の瞬き検知装置。

＜技術９＞
人の瞼を含む画像を取得することと、
取得した前記画像に基づいて人の瞼の動きに関する情報を取得することと、
取得した前記瞼の動きに関する情報に基づいて、人が上又は下を向くときの動きと瞬きとを判別することとを含む
瞬き検知方法。

なお、上記の実施の形態に対して当業者が思い付く各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

本開示は、移動体を操縦する操縦者の瞬きを検出して眠気を判定する装置等に利用可能である。

１０ 撮像部（画像取得部）
２０ 目特徴点抽出部（画像取得部）
３０ 瞬き検知装置
３１ 開眼率算出部（画像取得部）
３２ 瞬き検知部
３７ 覚醒判別部
４０ 判別部

Claims (9)

1. 人の瞼を含む画像を取得する画像取得部と、
   取得した前記画像に基づいて瞼の動きに関する情報を取得する瞬き検知部と、
   前記瞬き検知部が取得した前記瞼の動きに関する情報に基づいて、人が上又は下を向くときの動きと瞬きとを判別する判別部とを備える
   瞬き検知装置。
2. 前記判別部は、前記瞼の動きに関する情報に基づいて周波数分析した周波数分布から、人が上又は下を向くときの動きと瞬きとを判別する
   請求項１に記載の瞬き検知装置。
3. 前記周波数分布は、瞬きの動きに応じたピーク周波数と、前記ピーク周波数の割合との関係で示され、
   前記判別部は、前記周波数分布における前記ピーク周波数上のピーク値と、前記ピーク周波数上において前記ピーク値が占める割合とに基づいて、人が上又は下を向くときの動きと瞬きとを判別する
   請求項２に記載の瞬き検知装置。
4. 前記瞼の動きに関する情報には、人が上又は下を向くときの動きが含まれ、
   前記判別部は、前記瞼の動きに関する情報に基づいて人が上又は下を向くときの動きと判別した場合、人が瞬きをせずに上又は下を向きながら視線を移したと判別する
   請求項２に記載の瞬き検知装置。
5. 前記判別部が判別した瞬きには、人が視線を移さずに瞬きすることと、人が上又は下を向くときに視線を移しながら瞬きすることとを含む
   請求項２～４のいずれか１項に記載の瞬き検知装置。
6. 人が瞬きをせずに上又は下を向きながら視線を移したときの周波数分布と、人が瞬きをしたときの周波数分布と、人が上又は下を向くときに視線を移しながら瞬きをしたとき周波数分布とは、それぞれ異なっている
   請求項５に記載の瞬き検知装置。
7. さらに、前記判別部が判別した結果に基づいて、人の覚醒状態を判別する覚醒判別部を備える
   請求項１～４のいずれか１項に記載の瞬き検知装置。
8. 前記瞬き検知部は、人の瞼の前記画像に基づいた目の輪郭の変化から算出された目の開眼率によって人の瞬きを検知し
   目の輪郭の変化は、目の輪郭における上端、下端、左端及び右端の変化で示される
   請求項１～４のいずれか１項に記載の瞬き検知装置。
9. 人の瞼を含む画像を取得することと、
   取得した前記画像に基づいて人の瞼の動きに関する情報を取得することと、
   取得した前記瞼の動きに関する情報に基づいて、人が上又は下を向くときの動きと瞬きとを判別することとを含む
   瞬き検知方法。

Images