JP2022138279A - 目開閉判定装置および目開閉判定方法 - Google Patents

Abstract

【課題】撮影された顔画像に基づく目の開閉状態の判定精度を良好とすることができる目開閉判定装置および目開閉判定方法を提供する。【解決手段】目開閉判定装置１００における映像取得部１０は、カメラ６０から映像データを取得する。顔向き検出部２０は、映像取得部１０によって取得された映像データにおける顔画像に基づいて、顔の向きを検出する。目画像抽出部３０は、映像取得部１０によって取得された映像データにおける顔画像に基づいて、目の領域を含む目画像を抽出する。目開閉判定部４０は、目画像から取得される目の開き量、開眼基準値および閉眼基準値に基づいて目の開閉状態を判定する。目開閉判定部４０は、顔の向きに応じた複数の開眼基準値および閉眼基準値を有し、顔向き検出部２０によって検出された顔の向きに基づいて、開眼基準値および閉眼基準値を切り替える。【選択図】図１

Description

本発明は、目開閉判定装置および目開閉判定方法に関する。

例えば車両に搭載されるドライバーモニター等では、車室内を撮影して運転者を含む映像を記憶装置に記憶する。撮影された車室内の映像は、例えば運転者の顔が向いている方向などの運転状況や、車室内における搭乗者の行動を確認することなどに用いられる。

例えば特許文献１には、目の開閉状態を検出する従来の検出装置が記載されている。この検出装置は、顔向き検出部、目検出部および開閉度算出部を備える。顔向き検出部は、カメラにより撮影された人の顔の画像である顔画像に基づいて、人の顔の向きを検出する。目検出部は、顔画像に基づいて、人の目の大きさを検出する。開閉度算出部は、顔画像における人の目の大きさに基づく人の目の開き具合を示す開閉度を、検出された人の顔の向きに基づいて人の顔を正面から見たときの値に補正して算出する。

特開２０１０－１３４４９０号公報

特許文献１では、顔の向きに応じて目の開閉度を算出した値で補正することが記載されている。本発明者は、顔の向きが左右方向に振れた場合に、同じ目の開度であってもまぶたの起伏などの影響によって目の開き量の実測値が算出値とは異なることに気づき、目の開閉状態の判定精度を高める上で改善の余地があると考えた。また本発明者は、カメラが顔の前方斜め上に設置されていると、顔が左右方向に振れた場合に、目の開き量の実測値が大きく変化し目の開閉状態の判定精度が低下することがあることに気づいた。

本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、撮影された顔画像に基づく目の開閉状態の判定精度を良好とすることができる目開閉判定装置および目開閉判定方法を提供することにある。

本発明のある態様は目開閉判定装置である。目開閉判定装置は、カメラから映像データを取得する映像取得部と、前記映像取得部によって取得された映像データにおける顔画像に基づいて、顔の向きを検出する顔向き検出部と、前記映像取得部によって取得された映像データにおける顔画像に基づいて、目の領域を含む目画像を抽出する目画像抽出部と、前記目画像から取得される目の開き量、開眼基準値および閉眼基準値に基づいて目の開閉状態を判定する目開閉判定部と、を備え、前記目開閉判定部は、顔の向きに応じた複数の前記開眼基準値および前記閉眼基準値を有し、前記顔向き検出部によって検出された顔の向きに基づいて、前記開眼基準値および前記閉眼基準値を切り替える。

また本発明の別の態様は目開閉判定装置における目開閉判定方法である。この目開閉判定方法は、カメラから映像データを取得する映像取得ステップと、前記映像取得ステップによって取得された映像データにおける顔画像に基づいて、顔の向きを検出する顔向き検出ステップと、前記映像取得ステップによって取得された映像データにおける顔画像に基づいて、目の領域を含む目画像を抽出する目画像抽出ステップと、前記目画像から取得される目の開き量、開眼基準値および閉眼基準値に基づいて目の開閉状態を判定する目開閉判定ステップと、を備え、前記目開閉判定ステップは、顔の向きに応じた複数の前記開眼基準値および前記閉眼基準値を有し、前記顔向き検出ステップによって検出された顔の向きに基づいて、前記開眼基準値および前記閉眼基準値を切り替える。

本発明によれば、撮影された顔画像に基づく目の開閉状態の判定精度を良好とすることができる。

実施形態に係る目開閉判定装置を含む映像処理装置の構成を示すブロック図である。 顔の向きについて説明するための模式図である。 図３（ａ）は目が開いている状態の目画像を示す模式図であり、図３（ｂ）は目が閉じている状態を示す模式図である。 開眼基準値および閉眼基準値について説明するための模式図である。 顔の向きに応じて変化する目の開き量について説明するための模式図である。 両目または片目による目の開閉状態の判定について説明するための模式図である。 目開閉判定装置における目の開閉状態の判定処理の手順を示すフローチャートである。

以下、本発明を好適な実施の形態をもとに図１から図７を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。

（実施形態）
図１は、実施形態に係る目開閉判定装置１００を含む映像処理装置１１０の構成を示すブロック図である。映像処理装置１１０は、例えばドライバーモニターであり、車両に搭載され、車両の車室内の乗員を時間的に連続して撮影する。映像処理装置１１０は撮影した映像を記録するようにしてもよいし、記録せずに破棄してもよい。

映像処理装置１１０は、例えば車両のフロントガラスの下方におけるダッシュボード上や、バックミラーなどに配置される。映像処理装置１１０は、例えば車両に搭乗している運転者を被撮像体として含む映像を撮影し、撮影された被撮像体の顔全体または目などの顔の部位を画像認識する。

映像処理装置１１０は、カメラ６０、記録部７０、外部出力部８０および目開閉判定装置１００等を備える。目開閉判定装置１００は、顔画像の映像データに基づいて顔の向きを検出する。目開閉判定装置１００は、各目の領域を切り出した目画像から目の開き量を求め、開眼基準値および閉眼基準値に基づいて、映像データに含まれる目の開閉状態を判定する。目開閉判定装置１００は、開眼基準値から閉眼基準値を差し引いた差分値を１００％とし、差分値に対する目の開き量の割合である目の開閉度を求めて、目の開閉状態を判定する。

カメラ６０は、例えばＣＭＯＳセンサーやＣＣＤセンサー等の検出器を有する撮像装置であり、車両に搭乗している例えば運転者を被撮像体として含む映像を撮影する。カメラ６０は、時間的に連続して映像データを取得し、後述する映像取得部１０へ送出する。

記録部７０は、例えばＳＤカードやＵＳＢメモリ等の着脱可能な媒体や、ハードディスクなどであり、後述する映像取得部１０で取得された映像データを記録し、削除することができるものとする。記録部７０は、映像処理装置１１０に着脱可能に構成されていてもよく、この場合、映像処理装置１１０から取り外し、別のＰＣ等で映像データを再生等することができる。

外部出力部８０は、記録部７０に記録された映像データ、および目開閉判定装置１００によって判定された目の開閉状態のデータ等を外部装置へ出力する。尚、外部出力部８０は、目開閉判定装置１００によって検出された運転者の顔の向きに関するデータ等を外部装置へ出力するようにしてもよい。

目開閉判定装置１００は、映像取得部１０、顔向き検出部２０、目画像抽出部３０および目開閉判定部４０を有する。目開閉判定装置１００は、例えばＣＰＵなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部１０１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、目開閉判定装置１００で実行するコンピュータプログラムや一時的な処理データ等を記憶する。また記憶部１０１は、撮影された映像から被撮像体の顔や目等を認識するための認識用辞書などを記憶している。

映像取得部１０は、カメラ６０から映像データを取得してデータ圧縮等の処理を行い、顔向き検出部２０、目画像抽出部３０および記録部７０へ出力する。尚、映像取得部１０は、カメラ６０を含んで構成されていてもよい。

顔向き検出部２０は、記憶部１０１に記憶された認識用辞書や学習型の演算モデルなどに基づいて、映像取得部１０から入力された映像データにおける顔の部分を認識する。記憶部１０１に記憶した認識用辞書には、顔の各部位に関する形状データ等が含まれており、顔向き検出部２０は、映像データに表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって顔の部位を認識する。顔向き検出部２０は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像から顔の部分を認識することができ、例えばニューラルネットワークによる学習型の演算モデルによって顔の部分を認識する手法などを用いてもよい。

顔向き検出部２０は、認識された顔の部位等のデータに基づいて、被撮像体の顔の向きを検出する。図２は顔の向きについて説明するための模式図である。図２には、例えば運転者の顔を車両の前側から見た状態が表されており、車両の前方向をＸ軸方向、車両の左方向をＹ軸方向、車両の上方向をＺ軸方向としている。また、Ｘ軸回りの回転をロール（ローリング）、Ｙ軸回りの回転をピッチ（ピッチング）、Ｚ軸回りの回転をヨー（ヨーイング）とする。

映像データにおける顔の向きは、ピッチングおよびヨーイングによって変化する。即ち、顔の向きについてピッチングを検出することによって、被撮像体が上下方向に顔の向きを変化させたことがわかる。また、顔の向きについてヨーイングを検出することによって、被撮像体が左右方向に顔の向きを変化させたことがわかる。

顔向き検出部２０は、例えば図２に示す左右の目の上まぶたの輪郭線を結ぶ線Ｌ１の上下への動きによってピッチ角を検出する。また、顔向き検出部２０は、鼻の中心線Ｌ２や、左右の目尻の位置Ｐ１およびＰ２などの動きによってヨー角を検出する。顔向き検出部２０は、これらの部位のほか、眉、鼻、口等の顔の各部位の移動に基づいて顔のピッチ角およびヨー角を検出することができる。尚、顔向き検出部２０は、顔の向きの検出に関して様々な技術分野において開発されてきた公知の技術を用いることができる。

目画像抽出部３０は、記憶部１０１に記憶された認識用辞書や学習型の演算モデルなどに基づいて、映像取得部１０から入力された映像データにおける各目の部分を認識し、各目の領域を切り出した目画像を抽出する。目画像抽出部３０は、映像データに表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって目の部分を認識する。目画像抽出部３０は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像から目の部位を認識することができ、例えばニューラルネットワークによる学習型の演算モデルによって顔や目等を認識する手法などを用いてもよい。

目開閉判定部４０は、目画像抽出部３０によって抽出された各目の目画像に基づいて、目の開き量Ｔを算出し、開眼基準値および閉眼基準値に基づいて目の開閉状態を判定する。目開閉判定部４０は、開眼基準値から閉眼基準値を差し引いた差分値を１００％とし、差分値に対する目の開き量Ｔの割合である目の開閉度を求めることによって、目の開閉状態を判定する。

図３（ａ）は目が開いている状態の目画像を示す模式図であり、図３（ｂ）は目が閉じている状態を示す模式図である。図３（ａ）は目が完全に開いた状態を示しており、この状態における目の開き量Ｔにマージンを持たせてやや小さい値とした開眼基準値を設定する。また、図３（ｂ）は目が完全に閉じた状態を示しており、この状態における目の開き量Ｔにマージンを持たせてやや大きい値とした閉眼基準値を設定する。

目開閉判定部４０は、目の開き量Ｔを目の高さ方向の寸法に基づいて算出する。目の開き量Ｔは、上まぶたの輪郭線と下まぶたの輪郭線との間の距離のうち最も大きい値とする。目開閉判定部４０は、例えば、目頭から目尻までの間を２等分して横方向の中央位置を定め、中央位置における上まぶたの輪郭線と下まぶたの輪郭線との間の距離を目の開き量Ｔとしてもよい。尚、目の開き量Ｔは、実際の寸法を用いても良いし、正規化した値などを用いてもよい。

図４は、開眼基準値および閉眼基準値について説明するための模式図である。目開閉判定部４０は、最初にデフォルト設定の開眼基準値および閉眼基準値を用いて、時々刻々取得される目画像において算出される目の開き量Ｔを、開眼状態のデータと、閉眼状態のデータとに振り分ける。

目開閉判定部４０は、開眼状態のデータの平均値および閉眼状態のデータの平均値を算出し、各平均値にマージンを取って開眼基準値ＳＴ１および閉眼基準値ＳＴ２とする。例えば、開眼基準値ＳＴ１および閉眼基準値ＳＴ２を定期的に更新することによって、運転者や周囲環境（明るさなど）に合わせて、適切な基準値に設定することができる。

目の開閉度は、目の開き量Ｔが開眼基準値であるときを１００％とし、閉眼基準値であるときを０％とする。目開閉判定部４０は、開眼基準値から閉眼基準値を差し引いた差分値を１００％とし、差分値に対する目の開き量Ｔの割合を算出して目の開閉度とする。なお、目の開き量Ｔが開眼基準値を超える場合や、閉眼基準値より小さい場合は、開眼基準値、閉眼基準値をそれぞれの上限値、下限値となるように目の開き量Ｔを置き換えて算出することで目画像の認識時の誤差などを抑制し、安定した開閉度の算出が可能になる。また目開閉判定部４０は、開眼基準値から閉眼基準値までを例えば１０等分し、目の開閉度を多段階で評価するようにしてもよい。

目開閉判定部４０は、顔向き検出部２０から入力された被撮像体の顔の向きに応じて、開眼基準値ＳＴ１および閉眼基準値ＳＴ２を切り替える。図５は、顔の向きに応じて変化する目の開き量について説明するための模式図である。正面から見た左目の輪郭と左斜め前から見た左目の輪郭とでは、全く同じ左目の開度であったとしても上下のまぶたなどの起伏形状などに応じて目の開き量Ｔが変化する。

目の開き量Ｔは、Ｚ軸回りに被撮像体の顔が回転し、顔の向きのヨー角が変化したときに、正面から見たときよりもやや小さく変化することが考えられる。また例えば被撮像体の顔を前方斜め上から撮影した場合には、上まぶたなどの影響を受けやすく、顔の向きのヨー角が変化することによって目の開き量Ｔの変化がより顕著になることが考えられる。

目開閉判定部４０は、顔の向きに応じて開眼基準値ＳＴ１および閉眼基準値ＳＴ２の設定を変化させる。目開閉判定部４０は、例えば、顔の向きのヨー角変化が大きくなるほど、開眼基準値ＳＴ１を小さい値に設定する。また目開閉判定部４０は、顔の向きのヨー角変化が大きくなるほど、閉眼基準値ＳＴ２を大きい値に設定する。目開閉判定部４０は、顔の向きのヨー角変化に応じて例えば数段階の開眼基準値ＳＴ１および閉眼基準値ＳＴ２を設定してもよい。尚、目開閉判定部４０は、閉眼基準値ＳＴ２については、顔の向きのヨー角変化の影響が小さいと仮定し、設定を一定として、開眼基準値ＳＴ１のみ設定を変化させてもよい。

次に目開閉判定部４０の両目または片目による目の開閉状態の判定の動作について説明する。図６は、両目または片目による目の開閉状態の判定について説明するための模式図である。目開閉判定部４０は、顔の向きが大きく変化し、片側の目に対する開閉状態の判定が困難であると判断した場合に、もう片側の目に対してのみ開閉状態を判定する。目開閉判定部４０は、顔の向きが大きく変化し、片側の目が隠れて見えない場合や片側の目の輪郭線が判別不能となっている場合などに、目の開閉度が片側の目に対して不定となり、開閉状態の判定が困難であると判断する。

目開閉判定部４０は、片側の目に対してのみ開閉状態を判定している状態で、両目に対して開閉状態の判定が可能であると判断した場合に、両目による開閉状態の判定に戻す。目開閉判定部４０は、目の開閉度が不定となっていた片側の目に対して開閉度が算出可能となってから所定時間後（例えば１秒後）に、両目による開閉状態の判定に戻すようにしてもよい。

次に目開閉判定装置１００の動作について、目の開閉状態の判定処理に基づいて説明する。図７は、目開閉判定装置１００における目の開閉状態の判定処理の手順を示すフローチャートである。目開閉判定装置１００の映像取得部１０は、カメラ６０から映像データを取得する（Ｓ１）。顔向き検出部２０は、映像取得部１０から入力された映像データにおける顔の部分を認識し、被撮像体の顔の向きを検出する（Ｓ２）。また、目画像抽出部３０は、映像取得部１０から入力された映像データにおける各目の部分を認識し、各目の領域を切り出した目画像を抽出する（Ｓ３）。

目開閉判定部４０は、顔向き検出部２０によって検出された顔の向きに基づいて、開眼基準値ＳＴ１および閉眼基準値ＳＴ２を切り替える（Ｓ４）。目開閉判定部４０は、切り替えた開眼基準値ＳＴ１および閉眼基準値ＳＴ２の差分値に対する目の開き量Ｔの割合を算出して目の開閉状態を判定し（Ｓ５）、処理を終了する。

目開閉判定装置１００は、例えば数段階といった複数の開眼基準値ＳＴ１および閉眼基準値ＳＴ２を有し、顔の向きに基づいて開眼基準値ＳＴ１および閉眼基準値ＳＴ２を切り替えることによって、撮影された顔画像に基づく目の開閉状態の判定精度を良好とすることができる。

被撮像体の顔を前方斜め上から撮影した映像データを用いて目の開閉状態を判定する場合、目の形やまぶたの形状等は人それぞれ個人差があるため、顔の向きのヨー角が変化すると目の開閉度の基準値が変化し、目の開閉状態を正確に判定することが出来ない場合がある。目開閉判定装置１００は、顔の向きのヨー角変化に応じて、開眼基準値ＳＴ１および閉眼基準値ＳＴ２を切り替えることによって、顔画像に基づく目の開閉状態の判定精度を高めることができる。

目開閉判定装置１００は、顔の向きが大きく変化し、一方の目画像について開閉状態の判定が困難であると判断した場合に、他方の目画像に基づいて目の開閉状態を判定することで、目の開閉状態の判定を継続しつつ精度の劣化を抑制することができる。

目開閉判定装置１００は、他方の目に対してのみ開閉状態を判定している状態で、両目に対して開閉状態の判定が可能であると判断した場合に、両目に基づく目の開閉状態の判定に戻す。

目開閉判定装置１００は、目の開閉度が不定となっていた片側の目に対して開閉度が算出可能となってから所定時間後（例えば１秒後）に、両目による開閉状態の判定に戻すようにしてもよい。目の開閉度が不定となっていた片側の目に対して開閉度が算出可能となった映像フレームから、両目による開閉状態の判定に戻す切り替えの動作を即座に行うと、被撮像体の顔の向きが安定しない場合などに後続するフレームにおいて再び片側の目の開閉度が不定となり判定の結果が安定しなくなることがある。

このため、目開閉判定装置１００は、一方の目の開閉度が不定になった瞬間には、正しく目の開閉度を算出している他方の目による開閉状態の判定に切り替え、再び両目による判定に戻る際には、一方の目の開閉度が算出可能となってから所定時間後に切り替えるようにする。

また目開閉判定装置１００は、再び両目による判定に戻る際には、瞬きによって目が閉じられた後に開いた状態となったときに、片側の目による目の開閉状態の判定から、両目による目の開閉状態の判定に切り替えるようにしてもよい。瞬きを検出する目は、片目または両目同時かは特に限定されない。目開閉判定装置１００は、目の瞬きが検出されることによって、より安定したタイミングで両目の開閉状態を算出することができていると評価することができるので、切り替え後における目の開閉状態の判定を確実に行うことができる。

目の開閉度は、メガネレンズの映り込みや光の反射に対しても正しく算出できない場合がある。目開閉判定装置１００は、メガネレンズの映り込みや光の反射で片側の目に対して開閉度が算出できない場合でも、もう片側の目がメガネレンズによる影響がなければ、影響がない側の目のみで目の開閉度を算出して目の開閉状態の判定が可能となる。尚、目開閉判定装置１００は、映像データにおける前フレームから目の位置を推測し、目の位置付近に輝度の高い画素がある場合に、メガネレンズの映り込みや光の反射が存在していると判断することができる。

（変形例）
目開閉判定装置１００は、例えば１時間や１日毎などの定期的に開眼基準値ＳＴ１および閉眼基準値ＳＴ２を更新するようにしてもよい。目開閉判定装置１００の目開閉判定部４０は、例えば現在の開眼基準値および閉眼基準値を用いて、時々刻々取得される目画像において算出される目の開き量Ｔを、開眼状態のデータと、閉眼状態のデータとに振り分ける。それぞれの基準値は各時間帯に関連付けして記憶部１０１等に記憶させてもよい。

目開閉判定部４０は、開眼状態のデータの平均値および閉眼状態のデータの平均値を算出し、各平均値にマージンを取って、新たな開眼基準値ＳＴ１および閉眼基準値ＳＴ２に更新する。目開閉判定装置１００は、定期的に開眼基準値ＳＴ１および閉眼基準値ＳＴ２を更新することによって、運転者が入れ替わった際に、新たな運転者に対して目の開閉状態の判定精度を良好とすることができる。

目開閉判定装置１００は、定期的に開眼基準値ＳＴ１および閉眼基準値ＳＴ２を更新することによって、夜、曇り、晴天、長いトンネル等での光量変化による目の開き量Ｔの身体的な変化に対応して、開眼基準値ＳＴ１および閉眼基準値ＳＴ２を正しく設定することができる。

目開閉判定装置１００は、顔の向きのヨー角変化に対応して複数の開眼基準値ＳＴ１および閉眼基準値ＳＴ２を設定する例を示したが、ピッチ角およびロール角の変化に対しても複数の開眼基準値ＳＴ１および閉眼基準値ＳＴ２を設定するようにしてもよい。また目開閉判定装置１００は、ヨー角変化、ピッチ角変化およびロール角変化のいずれか２つ以上による組み合わせ、組み合わせた各角度変化に対して、それぞれ複数の開眼基準値ＳＴ１および閉眼基準値ＳＴ２を設定するようにしてもよい。

次に上述の実施形態および変形例に係る目開閉判定装置１００および目開閉判定方法の特徴を説明する。
目開閉判定装置１００は、映像取得部１０、顔向き検出部２０、目画像抽出部３０および目開閉判定部４０を備える。映像取得部１０は、カメラ６０から映像データを取得する。顔向き検出部２０は、映像取得部１０によって取得された映像データにおける顔画像に基づいて、顔の向きを検出する。目画像抽出部３０は、映像取得部１０によって取得された映像データにおける顔画像に基づいて、目の領域を含む目画像を抽出する。目開閉判定部４０は、目画像から取得される目の開き量、開眼基準値および閉眼基準値に基づいて目の開閉状態を判定する。目開閉判定部４０は、顔の向きに応じた複数の開眼基準値および閉眼基準値を有し、顔向き検出部２０によって検出された顔の向きに基づいて、開眼基準値および閉眼基準値を切り替える。これにより、目開閉判定装置１００は、撮影された顔画像に基づく目の開閉状態の判定精度を良好とすることができる。

また目開閉判定部４０は、一方の目画像について目の開閉状態の判定が困難である場合に、他方の目画像に基づいて目の開閉状態を判定する。これにより、目開閉判定装置１００は、目の開閉状態の判定における精度の劣化を抑制することができる。

また目開閉判定部４０は、一方の目画像について目の開閉状態の判定が可能である状態に変化した場合に、他方の目画像に基づいて目の開閉状態を判定する状態から両方の目画像に基づいて目の開閉状態を判定する状態に戻す。これにより、目開閉判定装置１００は、目の開閉状態の判定精度を良好とすることができる。

また目開閉判定部４０は、目の瞬きを検出した後に、両方の目画像に基づいて目の開閉状態を判定する状態に戻す。これにより、目開閉判定装置１００は、正確に両目の開閉状態を算出することができていると評価し、切り替え後における目の開閉状態の判定を確実に行うことができる。

目開閉判定装置１００における目開閉判定方法は、映像取得ステップ、顔向き検出ステップ、目画像抽出ステップおよび目開閉判定ステップを備える。映像取得ステップは、カメラから映像データを取得する。顔向き検出ステップは、映像取得ステップによって取得された映像データにおける顔画像に基づいて、顔の向きを検出する。目画像抽出ステップは、映像取得ステップによって取得された映像データにおける顔画像に基づいて、目の領域を含む目画像を抽出する。目開閉判定ステップは、目画像から取得される目の開き量、開眼基準値および閉眼基準値に基づいて目の開閉状態を判定する。目開閉判定ステップは、顔の向きに応じた複数の開眼基準値および閉眼基準値を有し、顔向き検出ステップによって検出された顔の向きに基づいて、開眼基準値および閉眼基準値を切り替える。この目開閉判定方法によれば、撮影された顔画像に基づく目の開閉状態の判定精度を良好とすることができる。

以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。

１０ 映像取得部、 ２０ 顔向き検出部、 ３０ 目画像抽出部、
４０ 目開閉判定部、 ６０ カメラ、 １００ 目開閉判定装置。

Claims (5)

1. カメラから映像データを取得する映像取得部と、
   前記映像取得部によって取得された映像データにおける顔画像に基づいて、顔の向きを検出する顔向き検出部と、
   前記映像取得部によって取得された映像データにおける顔画像に基づいて、目の領域を含む目画像を抽出する目画像抽出部と、
   前記目画像から取得される目の開き量、開眼基準値および閉眼基準値に基づいて目の開閉状態を判定する目開閉判定部と、
   を備え、
   前記目開閉判定部は、顔の向きに応じた複数の前記開眼基準値および前記閉眼基準値を有し、前記顔向き検出部によって検出された顔の向きに基づいて、前記開眼基準値および前記閉眼基準値を切り替えることを特徴とする目開閉判定装置。
2. 前記目開閉判定部は、一方の目画像について目の開閉状態の判定が困難である場合に、他方の目画像に基づいて目の開閉状態を判定することを特徴とする請求項１に記載の目開閉判定装置。
3. 前記目開閉判定部は、前記一方の目画像について目の開閉状態の判定が可能である状態に変化した場合に、前記他方の目画像に基づいて目の開閉状態を判定する状態から両方の目画像に基づいて目の開閉状態を判定する状態に戻すことを特徴とする請求項２に記載の目開閉判定装置。
4. 前記目開閉判定部は、目の瞬きを検出した後に、前記両方の目画像に基づいて目の開閉状態を判定する状態に戻すことを特徴とする請求項３に記載の目開閉判定装置。
5. カメラから映像データを取得する映像取得ステップと、
   前記映像取得ステップによって取得された映像データにおける顔画像に基づいて、顔の向きを検出する顔向き検出ステップと、
   前記映像取得ステップによって取得された映像データにおける顔画像に基づいて、目の領域を含む目画像を抽出する目画像抽出ステップと、
   前記目画像から取得される目の開き量、開眼基準値および閉眼基準値に基づいて目の開閉状態を判定する目開閉判定ステップと、
   を備え、
   前記目開閉判定ステップは、顔の向きに応じた複数の前記開眼基準値および前記閉眼基準値を有し、前記顔向き検出ステップによって検出された顔の向きに基づいて、前記開眼基準値および前記閉眼基準値を切り替えることを特徴とする目開閉判定方法。

Images