JP2019082743A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】低画質の顔画像又は近赤外光を使用した顔画像であっても、高精度にまぶた形状を検出できるようにすること。【解決手段】顔画像から切り出された正規化画像の縦方向において、画素毎に明るさの変化の大きさを検出することで、眼と上まぶたとの間の第１境界線の最上点である第１端点の座標及び眼と下まぶたとの間の第２境界線の最下点である第２端点の座標を推定する明暗変化検出部１１３と、正規化画像における、眼の目頭の座標及び目尻の座標を推定するまぶた基準位置推定部１１４と、正規化画像において、第１端点及び第２端点を通る直線上から選択された複数の座標の各々、目頭の座標及び目尻の座標から、複数の近似曲線を生成する近似曲線生成部と、生成された複数の近似曲線から、第１境界線として最も好適な近似曲線を選択する形状決定部１１６とを備える。【選択図】図１

Description

本発明は、情報処理装置及び情報処理方法に関し、特に、顔画像からまぶたの形状を決定する情報処理装置及び情報処理方法に関する。

近年、自動車及び電車の運転手の居眠りによる事故が問題視されている。これに対し、カメラ画像から運転手の眼の開き度合い（以後、開眼度という）を検出し、居眠りを監視することが有効である。従来、カメラで撮像した運転手の顔画像から眼の位置を検出し、眼付近の明暗のエッジを解析することでまぶたの位置及び形状を推定し、開眼度を判定する技術が提案されている。例えば、特許文献１に記載された装置は、顔画像の水平方向のエッジ及び垂直方向のエッジを抽出し、それらの位置関係からまぶたの位置を推定し、開眼度を判定している。また、特許文献２に記載された装置は、顔画像からエッジを抽出し、まぶたを曲線近似することで、眼鏡を掛けた状態でも精度良く開眼度を判定している。特許文献３に記載された装置は、顔画像から白眼領域を抽出し、アイシャドー等化粧に頑健な開眼度の判定を実現している。

特許第４１３７９６９号公報 特許第４８２５７３７号公報 特許第４６２３０４４号公報

しかしながら、コスト、処理量、環境の影響（暗い環境）により、顔画像が低画質の場合は、エッジの抽出及び白眼領域の抽出が難しい。

また、暗い環境下では人の眼に見えない近赤外光を補助光として使用するのが有効である。しかしながら、近赤外光を使用した場合は、白眼領域と黒眼領域との区別が難しい。
さらに、低画質の場合には、眼の検出位置に誤差が生じる。例えば、低画質の場合には、眼の位置を検出する上では、眉と眼の明暗の変化を利用するものがあるが、眼の存在領域を示すものに限られ、目尻や目頭等の位置の正確な検出は難しい。

そこで、本発明はこのような事情を鑑みてなされたもので、本発明の目的は、低画質の顔画像又は近赤外光を使用した顔画像であっても、高精度にまぶた形状を検出できるようにすることである。

本発明の第１の態様に係る情報処理装置は、人物の顔の画像である顔画像から、眼が存在する領域である眼存在領域を特定する眼存在領域特定部と、前記顔画像から、前記眼存在領域の画像を切り出し、当該切り出された画像を予め定められたサイズの正規化画像に変換する正規化処理部と、前記正規化画像の縦方向において、画素毎に明るさの変化の大きさを検出することで、前記眼と上まぶたとの間の第１境界線の最上点である第１端点の座標及び前記眼と下まぶたとの間の第２境界線の最下点である第２端点の座標を推定する明暗変化検出部と、前記正規化画像における、前記眼の目頭の座標及び前記眼の目尻の座標を推定するまぶた基準位置推定部と、前記正規化画像において、前記第１端点及び前記第２端点を通る直線上から選択された複数の座標の各々、前記目頭の座標及び前記目尻の座標から、複数の第１近似曲線を生成する近似曲線生成部と、前記複数の第１近似曲線から、前記第１境界線として最も好適な第１近似曲線を選択し、当該選択された第１近似曲線を前記上まぶたの形状として決定する形状決定部と、を備えることを特徴とする。

本発明の第２の態様に係る情報処理装置は、人物の顔の画像である顔画像から、眼が存在する領域である眼存在領域を特定する眼存在領域特定部と、前記顔画像から、前記眼存在領域の画像を切り出し、当該切り出された画像を予め定められたサイズの正規化画像に変換する正規化処理部と、前記正規化画像の縦方向において、画素毎に明るさの変化の大きさを検出することで、前記眼と上まぶたとの間の第１境界線の最上点である第１端点の座標及び前記眼と下まぶたとの間の第２境界線の最下点である第２端点の座標を推定する明暗変化検出部と、前記正規化画像における、前記眼の目頭の座標及び前記眼の目尻の座標を推定するまぶた基準位置推定部と、前記正規化画像において、前記第１端点及び前記第２端点を通る直線上から選択された複数の座標の各々、前記目頭の座標及び前記目尻の座標から、複数の第１近似曲線を生成する近似曲線生成部と、前記複数の第１近似曲線から、前記第１境界線として最も好適な第１近似曲線を選択することで、前記第１境界線における最上点を確定した確定端点の座標を決定する近似曲線選択部と、前記正規化画像において、前記目頭の座標を通る縦方向に延びる直線から選択された複数の第１選択座標の各々、前記目尻の座標を通る縦方向に延びる直線上から選択された複数の第２選択座標の各々、及び、前記確定端点の座標から、近似曲線である複数の補正曲線を生成する補正曲線生成部と、前記複数の補正曲線から、前記第１境界線として最も好適な補正曲線を選択し、当該選択された補正曲線を前記上まぶたの形状として決定する形状決定部と、を備えることを特徴とする。

本発明の第１の態様に係る情報処理方法は、人物の顔の画像である顔画像から、眼が存在する領域である眼存在領域を特定し、前記顔画像から、前記眼存在領域の画像を切り出し、当該切り出された画像を予め定められたサイズの正規化画像に変換し、前記正規化画像の縦方向において、画素毎に明るさの変化の大きさを検出することで、前記眼と上まぶたとの間の第１境界線の最上点である第１端点の座標及び前記眼と下まぶたとの間の第２境界線の最下点である第２端点の座標を推定し、前記正規化画像における、前記眼の目頭の座標及び前記眼の目尻の座標を推定し、前記正規化画像において、前記第１端点及び前記第２端点を通る直線上から選択された複数の座標の各々、前記目頭の座標及び前記目尻の座標から、複数の第１近似曲線を生成し、前記複数の第１近似曲線から、前記第１境界線として最も好適な第１近似曲線を選択し、当該選択された第１近似曲線を前記上まぶたの形状として決定することを特徴とする。

本発明の第２の態様に係る情報処理方法は、人物の顔の画像である顔画像から、眼が存在する領域である眼存在領域を特定し、前記顔画像から、前記眼存在領域の画像を切り出し、当該切り出された画像を予め定められたサイズの正規化画像に変換し、前記正規化画像の縦方向において、画素毎に明るさの変化の大きさを検出することで、前記眼と上まぶたとの間の第１境界線の最上点である第１端点の座標及び前記眼と下まぶたとの間の第２境界線の最下点である第２端点の座標を推定し、前記正規化画像における、前記眼の目頭の座標及び前記眼の目尻の座標を推定し、前記正規化画像において、前記第１端点及び前記第２端点を通る直線上から選択された複数の座標の各々、前記目頭の座標及び前記目尻の座標から、複数の第１近似曲線を生成し、前記複数の第１近似曲線から、前記第１境界線として最も好適な第１近似曲線を選択することで、前記第１境界線における最上点を確定した確定端点の座標を決定し、前記正規化画像において、前記目頭の座標を通る縦方向に延びる直線から選択された複数の第１選択座標の各々、前記目尻の座標を通る縦方向に延びる直線上から選択された複数の第２選択座標の各々、及び、前記確定端点の座標から、近似曲線である複数の補正曲線を生成し、前記複数の補正曲線から、前記第１境界線として最も好適な補正曲線を選択し、当該選択された補正曲線を前記上まぶたの形状として決定することを特徴とする。

本発明の一態様によれば、明るさの変化の大きい点を基準に複数の近似曲線を生成し、各曲線を比較評価して、眼とまぶたとの間の境界線を決定することで、低画質の顔画像又は近赤外光を使用した顔画像であっても、高精度にまぶた形状を検出することができる。

実施の形態１〜３に係る開眼度検出装置の構成を概略的に示すブロック図である。 （Ａ）及び（Ｂ）は、低解像度のカメラで撮像された顔画像を説明するための概略図である。 実施の形態１における眼存在領域を説明するための概略図である。 （Ａ）及び（Ｂ）は、実施の形態１における明暗変化検出部で使用されるフィルタを示す概略図である。 実施の形態１において、二重まぶた上に座標が特定された例を示す概略図である。 実施の形態１において、上まぶたに対して複数の近似曲線を生成する方法を示す概略図である。 図実施の形態１に係る開眼度検出装置における処理を示すフローチャートである。 （Ａ）及び（Ｂ）は、実施の形態２におる領域の算出方法を示す概略図である。 実施の形態４に係る開眼度検出装置の構成を概略的に示すブロック図である。 実施の形態４において運転手が横方向を向いている場合の眼付近の画像の一例を示す概略図である。 実施の形態５に係る開眼度検出装置の構成を概略的に示すブロック図である。 実施の形態５において、上まぶたの補正曲線の生成を説明するための概略図である。 実施の形態６に係る居眠り度検出装置の構成を概略的に示すブロック図である。 （Ａ）及び（Ｂ）は、実施の形態１〜５に係る開眼度検出装置のハードウェア構成の一例を示す概略図である。

実施の形態１．
図１は、実施の形態１に係る情報処理装置としての開眼度検出装置１００の構成を概略的に示すブロック図である。
開眼度検出装置１００は、まぶた形状検出装置１１０と、開眼度算出部１３０とを備える。

図２（Ａ）は、低解像度のカメラで撮像された顔画像ＦＩを示している。
顔画像ＦＩには、上まぶたｅｌｕ、下まぶたｅｌｂ、二重まぶたｅｌｓ及びまゆ毛ｅｂｒが含まれている。図２（Ｂ）は、顔画像ＦＩ内の上まぶたｅｌｕ、下まぶたｅｌｂ、二重まぶたｅｌｓ及びまゆ毛ｅｂｒの位置を示す概略図である。
図２（Ａ）に示されているように、低解像度のカメラで撮像された顔画像ＦＩにおいては、輝度の明暗の変化は確認できても、エッジとして認識するのは難しい。
まぶた形状検出装置１１０は、低画質の顔画像ＦＩであっても、高精度にまぶた形状を検出する。

まぶた形状検出装置１１０は、眼存在領域特定部１１１と、正規化処理部１１２と、明暗変化検出部１１３と、まぶた基準位置推定部１１４と、近似曲線生成部１１５と、形状決定部１１６とを備える。

眼存在領域特定部１１１は、開眼度検出対象となる人物（以下、説明の簡略化のため運転手とする）の顔の画像である顔画像を表す低解像度の顔画像データＩｍが与えられ、顔画像データＩｍで表される顔画像の中から、運転手の眼が存在する領域である眼存在領域を特定する。そして、眼存在領域特定部１１１は、特定された眼存在領域を示すデータである眼存在領域データＤｍを生成する。そして、眼存在領域特定部１１１は、眼存在領域データＤｍを顔画像データＩｍと共に正規化処理部１１２に与える。

具体的には、眼存在領域特定部１１１は、運転手の顔画像を表す顔画像データＩｍが与えられ、その顔画像の中から運転手の左側の眼、右側の眼又はその両方の眼の眼存在領域を特定し、特定された眼存在領域を示す眼存在領域データＤｍを生成する。

顔画像データＩｍは、例えば、ＲＧＢカメラ、グレースケールカメラ又は赤外光カメラで撮像されたカラー画像又はグレースケール画像のデータである。顔画像データＩｍでは、運転手の顔上部（頭部、おでこ）が顔画像の上側、顔下部（口、顎）が顔画像の下側に写っている。
また、顔画像データＩｍにおいては、画像左上の点を画像座標系の原点とし、原点右向きをｘ座標方向、原点下向きをｙ座標方向とする。
運転手の左側の眼は、顔画像に正対したときに顔の左側に位置する眼であり、運転手の右側の眼は、顔画像に正対したときに顔の右側に位置する眼である。以下、説明を簡単にするため、眼存在領域データＤｍは、運転手の右側の眼の存在領域を示すものとする。

眼存在領域について、図３を参照しながら説明する。
眼存在領域とは、顔画像における各眼が存在すると思われる領域である。具体的には、図３に示されているように、眼存在領域Ｄｒは、目尻ｅｏｕｔ、目頭ｅｉｎ、上まぶたの端点ｅｔｏｐ、下まぶたの端点ｅｂｏｔを含む領域である。
ここで、眼存在領域は、以下の第１の条件と、第２の条件とを満たす領域である。
第１の条件は、両目、眉、鼻及び口を顔のパーツとした場合に、片方の眼のみを含み、他のパーツを含まないことである。但し、眉が部分的に含まれていてもよい。
第２の条件は、眼存在領域を矩形領域とした場合に、その矩形領域の重心Ｍｇが、目尻ｅｏｕｔ、目頭ｅｉｎ、上まぶたの端点ｅｔｏｐ、下まぶたの端点ｅｂｏｔにより囲まれる領域内に含まれていることである。

図３は、眼存在領域Ｄｒを矩形領域として表現した一例を示している。例えば、眼存在領域Ｄｒを矩形領域として表現する場合、眼存在領域データＤｍは、その矩形領域の重心Ｍｇの座標と、矩形領域の幅Ｍｗ及び高さＭｈとで表されるデータである。
また、眼存在領域データＤｍは、矩形領域の左上端の点の座標と、右下端の点の座標との組み合わせであってもよい。また、或いは、眼存在領域が円形の領域である場合、眼存在領域データＤｍは、その円形領域の中心点の座標と、半径との組み合わせであってもよい。
以下、説明を簡単にするため、眼存在領域Ｄｒを矩形領域とし、矩形領域の重心Ｍｇの座標（Ｍｇｘ、Ｍｇｙ）と、矩形領域の幅Ｍｗ及び高さＭｈとを眼存在領域データＤｍとする。

眼存在領域Ｄｒは、例えば、特許文献１に示されるように、顔の中で検出しやすい特徴的な部分である鼻孔を検出し、鼻孔の位置に基づいて設定されてもよい。また、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）を用いた統計学的な処理により、おおよその目尻及び目頭の位置を検出し、眼存在領域が設定されてもよい。本実施の形態においては、眼存在領域Ｄｒの設定方法については、特別限定はしない。

図１に示されている正規化処理部１１２は、眼存在領域データＤｍと顔画像データＩｍとを与えられ、顔画像データＩｍで表される顔画像から、眼存在領域データＤｍで示される眼存在領域の画像を切り出す。そして、正規化処理部１１２は、切り出された画像を予め定められたサイズの正規化画像に変換する。そして、正規化処理部１１２は、その正規化画像を表す正規化画像データＩｎを生成する。さらに、正規化処理部１１２は、正規化画像データＩｎと、正規化画像データＩｎにおける眼の存在領域を示す正規化眼存在領域データＤｎを明暗変化検出部１１３及びまぶた基準位置推定部１１４に与える。

正規化処理部１１２が画像サイズを変換する際には、まず、眼存在領域の画像を切出した後、拡大又は縮小処理を行う。例えば、眼存在領域の矩形の幅をＭｗ、高さをＭｈとし、正規化後の画像の幅をＮｗ、高さをＮｈとすると、拡大又は縮小の倍率は、ｘ軸方向にＮｗ／Ｍｗ倍、ｙ軸方向にＮｈ／Ｍｈ倍となる。このとき、予め幅Ｍｗと高さＭｈとの比及び幅Ｎｗと高さＮｈとの比を揃えておくと、正規化前の画像と正規化後の画像とで縦横比が変化しない。そのため、Ｍｗ＝αＭｈ（αは定数）、Ｎｗ＝αＮｈと設定しておくことが望ましい。αの値は、例えば、α＝２．５が好ましい。また、正規化後の画像の幅、高さは、例えば、Ｎｗ＝２０、Ｎｈ＝５０が好ましい。

画像の拡大又は縮小には、例えば、バイリニア補間、バイラテラル補間又はニアレストネイバー補間を使用してもよく、本実施の形態においては特に限定しない。ここでは、バイリニア補間を使用して拡大又は縮小処理が行われるものとする。

また、正規化画像データＩｎで示される正規化画像は、元画像の眼存在領域を切出し、画像サイズを変換したものとなっているため、正規化眼存在領域データＤｎは、正規化画像の中心座標Ｎｇと、幅Ｎｗ及び高さＮｈで定義される。中心座標Ｎｇは、正規化画像上における中心座標であり、Ｎｇ（Ｎｇｘ、Ｎｇｙ）＝（Ｎｗ／２、Ｎｈ／２）で定義される。

明暗変化検出部１１３は、正規化画像データＩｎで表される正規化画像に対し、顔画像の縦方向の明暗の変化の大きさを算出して、明暗変化データＥｎを生成する。そして、明暗変化検出部１１３は、明暗変化データＥｎを、正規化画像データＩｎとともに、まぶた基準位置推定部１１４及び近似曲線生成部１１５へ供給する。

例えば、明暗変化検出部１１３は、正規化画像データＩｎで表される正規化画像のｙ軸方向において、画素毎に明るさの変化の大きさを検出することで、運転手の眼と上まぶたとの間の境界線（第１境界線）の最上点である第１端点の座標、及び、運転手の眼と下まぶたとの間の境界線（第２境界線）の最下点である第２端点の座標を推定する。実施の形態１では、明暗変化検出部１１３は、正規化画像において、上の画素からの明るさの低下の度合いが最も大きい画素の座標を第１端点の座標とし、下の画素からの明るさの低下の度合いが最も大きい画素の座標を第２端点の座標とする。そして、明暗変化検出部１１３は、推定された第１端点の座標及び第２端点の座標を示す明暗変化データＥｎを生成して、このデータをまぶた基準位置推定部１１４及び近似曲線生成部１１５に与える。

明暗の変化を抽出するために、明暗変化検出部１１３は、例えば、図４（Ａ）及び（Ｂ）に示されているフィルタを用いる。
図４（Ａ）に示されている５×５のフィルタＥｂｆは、ｙ軸方向に明暗が暗から明に変化する点を抽出するフィルタの一例である。フィルタＥｂｆは、下まぶた付近の明暗の変化を抽出する第２フィルタである。
フィルタＥｂｆにおける中心位置（第２注目画素）を、図４（ａ）に示されている「３」の位置とすると、正規化画像上の点（ｎｘ、ｎｙ）をその中心位置としてフィルタＥｂｆを適用した場合、フィルタＥｂｆの評価値Ｅｂｖは、下記の（１）式で算出される。なお、Ｉｎ（ｘ、ｙ）は、正規化画像データＩｎにおける座標（ｘ、ｙ）における輝度値を示す。

フィルタＥｂｆは、（１）式の右辺の一項目の領域（第４領域）が大きく（５×４＝２０画素分）、二項目の領域（第３領域）が小さく（５×１＝５画素分）なるように設計されている。これは、下まぶた周辺の明暗の変化を観察した際に、下まぶたの下側（ｙ軸方向側）の領域は、比較的輝度の明暗変化が小さく、眼の開閉に伴う変化が少ない領域となる。一方で、下まぶたの上側（ｙ軸方向と逆方向側）の領域は、瞳の存在及び眼の開閉の影響を受け、輝度の明暗の変化が大きい領域となる。すなわち、眼の状態に依らず安定して下まぶたの明暗を検出するには、フィルタＥｂｆが好適である。

図４（Ｂ）に示されている５×５フィルタＥｔｆは、ｙ軸方向に明暗が明から暗に変化する点を抽出するフィルタの一例である。フィルタＥｔｆは、上まぶた付近の明暗の変化を抽出する第１フィルタである。
フィルタＥｔｆにおける中心位置（第１注目画素）を、図４（Ｂ）に示されている「２３」の位置とすると、正規化画像上の点（ｎｘ、ｎｙ）をその中心位置としてフィルタＥｔｆを適用した場合、フィルタＥｔｆの評価値Ｅｔｖは、下記の（２）式で算出される。

フィルタＥｔｆは、フィルタＥｂｆにおける上下を反転させたフィルタとなっており、（２）式の右辺の一項目の領域（第２領域）が大きく、二項目の領域（第１領域）が小さくなるように設計されている。これは、前述した下まぶたの場合と同様であり、上まぶた周辺の明暗の変化を観察した際に、上まぶたの上側（ｙ軸方向と逆方向側）の領域は、比較的輝度の明暗の変化が小さく、眼の開閉に伴う変化が少ない領域となる。一方で、上まぶたの下側（ｙ軸方向）の領域は、瞳の動きや眼の開閉の影響を受け、輝度の明暗の変化が大きい領域となる。そのため、眼の状態に依らず安定して上まぶたの明暗を検出するには、フィルタＥｔｆが好適である。

明暗変化検出部１１３は、前述した２種類のフィルタを正規化画像データＩｎの各画素に適用することで、各画素において、２種類の輝度値の明暗変化の度合いを示す評価値Ｅｔｖと、評価値Ｅｂｖとを得る。ここで、評価値Ｅｔｖは、ｙ軸方向に明暗が明から暗への変化の大きさ、即ち、ｙ軸方向における明るさの低下の度合いを示し、評価値Ｅｂｖは、ｙ軸方向に明暗が暗から明への変化の大きさ、即ち、ｙ軸方向とは反対方向における明るさの低下の度合いを示す。

明暗変化の評価値Ｅｔｖにおいて最大値をとる点の座標をＥｎｔ（Ｅｎｔｘ、Ｅｎｔｙ）とし、評価値Ｅｂｖにおいて最大値をとる点の座標をＥｎｂ（Ｅｎｂｘ、Ｅｎｂｙ）とする。明暗変化検出部１１３は、座標Ｅｎｔを、運転手の眼と上まぶたとの間の境界線の最上点である第１端点の座標と推定し、座標Ｅｎｂを、運転手の眼と下まぶたとの間の境界線の最下点である第２端点の座標と推定して、これらの２つの点の座標を示す明暗変化データＥｎを、まぶた基準位置推定部１１４及び近似曲線生成部１１５に与える。

ここで、座標Ｅｎｔ及び座標Ｅｎｂは、眼存在領域Ｄｒに含まれる明暗変化の中で、上まぶたの端点及び下まぶたの端点として尤もらしい位置を示す座標となる。しかし、座標Ｅｎｔに関しては、上まぶたの上にある二重まぶた、つけまつげ若しくはアイシャドー等の化粧、又は、前髪の影響を受けるため、座標点が上まぶたよりｙ軸の上方向に外れることがある。

図５は、座標Ｅｎｔが、二重まぶたｅｌｓ上に位置する一例を示す概略図である。
例えば、図５においては、上まぶたｅｌｕ上の点ではなく二重まぶたｅｌｓ上の点で、フィルタの評価値Ｅｔｖが最大値をとることがある。この場合の処理については、形状決定部１１６にて対応するため、後述する。
以下の説明では、座標Ｅｎｔが、二重まぶたｅｌｓ上の点であるものとして説明する。

図１に示されているまぶた基準位置推定部１１４は、正規化画像データＩｎと、正規化眼存在領域データＤｎと、明暗変化データＥｎとを与えられ、まぶた上に存在する基準点の位置であるまぶた基準位置を少なくとも２点算出する。例えば、まぶた基準位置推定部１１４は、正規化画像データＩｎで表される正規化画像における、目頭の座標及び目尻の座標を推定する。そして、まぶた基準位置推定部１１４は、その基準点の正規化画像上の座標を示す座標データＦｎを生成する。そして、まぶた基準位置推定部１１４は、その座標データＦｎを近似曲線生成部１１５に与える。

まぶた基準位置となる点は、例えば、目尻及び目頭に対応する点が好ましい。顔画像が運転手の正面顔を捉えている場合、目尻及び目頭のｙ軸における位置は、下まぶたの下端とほぼ同じ位置に存在すると推定することができる。そのため、明暗変化データＥｎにおける座標Ｅｎｂのｙ座標（Ｅｎｂｙ）から目尻と目頭のｙ座標を推定することができる。

図５に、座標Ｅｎｂのｙ座標から、目尻と目頭のｙ座標を決定した場合の、各点の位置関係の一例を示している。
例えば、目尻の座標を座標Ｅｎｏ（Ｅｎｏｘ、Ｅｎｏｙ）、目頭の座標を座標Ｅｎｉ（Ｅｎｉｘ、Ｅｎｉｙ）とし、正規化眼存在領域データＤｎで示される正規化画像における眼存在領域の右端のｘ座標をＥｎｄｘとすると、目頭の座標Ｅｎｉ＝（０、Ｅｎｂｙ）、目尻の座標Ｅｎｏ＝（Ｅｎｄｘ、Ｅｎｂｙ）となる。ここで、正規化画像の幅が幅Ｎｗであるため、目尻の座標Ｅｎｏ＝（Ｎｗ、Ｅｎｂｙ）となる。
そして、まぶた基準位置推定部１１４は、目尻の推定座標Ｅｎｏ及び目頭の推定座標Ｅｎｉを、まぶた基準位置の座標として推定し、これらの座標を示す座標データＦｎを生成する。

図１に示されている近似曲線生成部１１５は、正規化画像データＩｎと、明暗変化データＥｎと、まぶた基準位置データＦｎとから、まぶたに対して複数の近似曲線を生成し、複数の近似曲線の各々を示すパラメータの集合を含むパラメータデータＧｎを形状決定部１１６に与える。

例えば、近似曲線生成部１１５は、正規化画像データＩｎで表される正規化画像において、明暗変化データＥｎで示される第１端点の座標Ｅｎｔ及び第２端点の座標Ｅｎｂを通る直線上から選択された複数の座標の各々、まぶた基準位置データＦｎで示される目尻の座標Ｅｎｏ及び目頭の座標Ｅｎｉから、複数の近似曲線（第１近似曲線）を生成する。実施の形態１では、近似曲線生成部１１５は、第１端点の座標Ｅｎｔ及び第２端点の座標Ｅｎｂ間の線分から複数の座標を選択する。そして、近似曲線生成部１１５は、これらの複数の近似曲線の各々を示すパラメータの集合を含むパラメータデータＧｎを形状決定部１１６に与える。近似に使用する曲線は、例えば、２次以上の曲線である。
本実施の形態では、目尻の推定座標Ｅｎｏと目頭の推定座標Ｅｎｉのｙ座標を第２端点の座標Ｅｎｂと等しいと仮定していることから、下まぶたの曲線Ｃｂは直線となる。そのため、以下の説明では、上まぶたの近似曲線の生成について説明する。

図６は、上まぶたに対して複数の近似曲線を生成する方法を示す概略図である。
一般的に、上まぶたの近似曲線とは、まぶた上に位置するまぶた基準点（目尻及び目頭の座標）と、上まぶたの端点ｅｔｏｐとを通過する曲線のことである。すなわち、まぶた基準点と、上まぶたの端点ｅｔｏｐとが正しく推定できていれば、近似曲線を正確に求めることができる。
しかし、前述したとおり、上まぶたを検出するために明暗変化により特定された座標Ｅｎｔは、上まぶた上に位置しているとは限らず、アイシャドー又は二重まぶた上に位置している可能性がある。ここでは、説明上、座標Ｅｎｔは、二重まぶた上に位置していると仮定している。
そのため、近似曲線生成部１１５は、まぶた基準点と、上まぶたの端点ｅｔｏｐとを通る近似曲線の候補となる曲線として、図６に示す複数の近似曲線Ｃｕ（ｉ）を生成する。ここで、ｉ＝１，２，３，・・・，Ｎである。Ｎは、候補となる近似曲線の本数であり、２以上の整数である。

各近似曲線は、通過する３点の座標Ｃｕｐａ（ｉ）、座標Ｃｕｐｂ及び座標Ｃｕｐｃ（ｉ）を使用して定義される。
座標Ｃｕｐａ（ｉ）は、生成される複数の曲線に対し、曲線ごとに選択される。例えば、座標Ｃｕｐａ（ｉ）は、座標Ｅｎｂと、座標Ｅｎｔとを通る直線ｌ上の点から複数選択される。具体的には、直線ｌ上で、Ｅｎｔｙ≦ｙ≦Ｅｎｂｙを満たす点をＮ個選択し、点群Ｐとする。そして、点群Ｐに含まれる各点Ｐ（ｉ） （ｉ∈１，２，・・・，Ｎ）が座標Ｃｕｐａ（ｉ）として設定される。なお、各点Ｐ（ｉ）は、例えば、等間隔となるように選択されればよい。

座標Ｃｕｐｂ及び座標Ｃｕｐｃに関しては、生成される複数の曲線で、共通の座標が選択される。例えば、座標Ｃｕｐｂ及び座標Ｃｕｐｃは、まぶた基準位置データＦｎに基づいて設定される。この場合、近似曲線生成部１１５は、座標Ｃｕｐｂ＝座標Ｅｎｉ、座標Ｃｕｐｃ＝座標Ｅｎｏと設定する。

また、座標Ｃｕｐａ（ｉ）のｘ座標及びｙ座標は、（Ｃｕｐａ（ｉ）ｘ、Ｃｕｐａ（ｉ）ｙ）とし、座標Ｃｕｐｂのｘ座標及びｙ座標は、（Ｃｕｐｂｘ、Ｃｕｐｂｙ）とし、座標Ｃｕｐｃのｘ座標及びｙ座標は、（Ｃｕｐｃｘ、Ｃｕｐｃｙ）とする。なお、Ｃｕｐｂｘ＜Ｃｕｐａ（ｉ）ｘ＜Ｃｕｐｃｘとする。

まぶた形状は、装置に入力される顔画像の顔の向きに応じて、左右非対称なことがあるため、近似曲線は、座標Ｃｕｐａ（ｉ）よりもｘ座標が小さい部分の曲線Ｃｕｌ（ｉ）と、大きい部分の曲線Ｃｕｒ（ｉ）とを別々に設定し、２つの曲線をセットで１つの曲線Ｃｕ（ｉ）とする。
近似曲線としては、例えば、二次関数を使用する。二次関数を定義するためには、例えば、二次関数の頂点となる点と、それ以外に二次関数が通過する点とを特定すればよい。以下の説明では、二次関数を近似曲線として説明する。

曲線Ｃｕｌ（ｉ）は、座標Ｃｕｐａ（ｉ）を頂点とし、座標Ｃｕｐｂを頂点以外に通過する点とする。曲線Ｃｕｌ（ｉ）を示す二次関数を下記の（３）式とすると、各パラメータは、下記の（４）式により求めることができる。

同様に、曲線Ｃｕｒ（ｉ）は、座標Ｃｕｐａ（ｉ）を頂点とし、座標Ｃｕｐｃを頂点以外に通過する点とする。曲線Ｃｕｒ（ｉ）を示す二次関数を下記の（５）式とすると、各パラメータは、下記の（６）式により求めることができる。

上記により生成した複数の曲線Ｃｕ（ｉ）及び曲線Ｃｂを示すパラメータは、パラメータデータＧｎとして、形状決定部１１６に与えられる。
パラメータデータＧｎは、各曲線のパラメータの集合を含む。例えば、パラメータデータＧｎは、曲線の種類である「二次関数」、曲線の数である「上まぶたＮ個、下まぶた１個」、まぶた基準点（目尻の座標Ｅｎｏ及び目頭の座標Ｅｎｉ）及び座標Ｅｎｂ、並びに、各曲線のパラメータの集合を含む。パラメータの集合は、上記の例では、上まぶたの近似曲線のパラメータａｂｌ（ｉ），ｂｂｌ（ｉ），ｃｂｌ（ｉ），ａｃｒ（ｉ），ｂｃｒ（ｉ）及びｃｃｒ（ｉ）、並びに、下まぶたの直線パラメータである。下まぶたの直線パラメータは、まぶた基準点（目尻の座標Ｅｎｏ及び目頭の座標Ｅｎｉ）及び座標Ｅｎｂの内の何れか１点のｙ座標の値である。目尻の推定座標Ｅｎｏ及び目頭の推定座標Ｅｎｉのｙ座標と、座標Ｅｎｂのｙ座標とが等しいと仮定していることから、下まぶたの直線は、ｘ軸に平行な直線となるので、基準点（目尻の座標Ｅｎｏ及び目頭の座標Ｅｎｉ）及び座標Ｅｎｂの内、何れか１点のｙ座標の値が直線パラメータとして含まれていればよい。

形状決定部１１６は、複数の近似曲線のパラメータを含むパラメータデータＧｎを与えられ、各パラメータが表す近似曲線上の画素値を評価し、上まぶた及び下まぶたの形状を表す形状パラメータＨｎを算出する。そして、形状決定部１１６は、形状パラメータＨｎを開眼度算出部１３０に与える。
例えば、形状決定部１１６は、パラメータデータＧｎで示される複数の近似曲線から、運転手の眼と上まぶたとの境界線として最も好適な近似曲線を選択することで、選択された近似曲線を上まぶたの形状として決定する。実施の形態１では、また、形状決定部１１６は、パラメータデータＧｎに含まれている下まぶたの直線パラメータであるまぶた基準点（目尻の座標Ｅｎｏ及び目頭の座標Ｅｎｉ）及び第２端点の座標Ｅｎｂにより、下まぶたの形状を決定する。実施の形態１では、目尻の座標Ｅｎｏ及び目頭の座標Ｅｎｉ間の線分を下まぶたの形状とする。そして、形状決定部１１６は、決定された上まぶたの形状と、下まぶたの形状とから、運転手の眼の形状を示すパラメータを算出し、算出されたパラメータを示す形状パラメータＨｎを開眼度算出部１３０に与える。

形状パラメータＨｎは、例えば、正規化画像における目尻及び目頭間の距離ｅｗと、上まぶたの端点ｅｔｏｐ及び下まぶたの端点ｅｂｏｔ間の距離ｅｈとの比の値ｅｐ（＝ｅｈ／ｅｗ）が好ましい。または、形状パラメータＨｎは、上まぶた及び下まぶたに対してそれぞれ１つずつ近似曲線のパラメータを特定したものでもよい。さらに、形状パラメータＨｎは、近似曲線のパラメータではなく、まぶた基準点の座標、上まぶたの端点ｅｔｏｐの座標及び下まぶたの端点ｅｂｏｔの座標を含むものでもよい。その他には、形状パラメータＨｎは、上まぶた及び下まぶたの近似曲線の曲率をそれぞれ１つずつ表すものでもよい。
以下の説明では、目尻及び目頭間の距離ｅｗと、上まぶたの端点ｅｔｏｐ及び下まぶたの端点ｅｂｏｔ間の距離ｅｈとの比の値ｅｐを形状パラメータＨｎとする。

まぶたの形状を特定するためには、複数の近似曲線から、まぶたとして尤もらしい近似曲線を、上まぶた及び下まぶたに関してそれぞれ１つずつ選択する必要がある。本実施の形態では、眼と下まぶたとの間の境界線の曲線は一意に設定済みであるため、上まぶたに対して生成された複数の近似曲線から１つの曲線が選択される。

上まぶたに対して生成された複数の近似曲線から、１つの近似曲線を選択するにあたって、眼と上まぶたとの間の境界線上を通る近似曲線と、アイシャドー又は二重まぶた上を通る近似曲線との違いを説明する。
上まぶた付近には、眼球との段差及びまつ毛の生え際が存在するため、眼と上まぶたとの間の境界線上の画素の輝度値は、アイシャドー又は二重まぶた上の画素の輝度値と比べて小さくなる傾向がある。また、この傾向は、上まぶたと下まぶたを比較した場合も同様で、眼と上まぶたとの間の境界線上の画素の輝度値は、眼と下まぶたとの間の境界線上の画素の輝度値と比較して小さくなる傾向がある。

この傾向を利用して、形状決定部１１６は、上まぶたに対して複数生成された近似曲線において、各々の近似曲線上の画素の輝度値の平均値を求めて、平均値が最も低い曲線を選択することで、眼と上まぶたとの間の境界線として最も好適な近似曲線を選択することができる。
上記のように、形状決定部１１６は、近似曲線の中から上まぶたとして尤もらしい曲線Ｃｕ（ｉｕ）を選択し、座標Ｃｕｐａ（ｉｕ）を上まぶたの端点ｅｔｏｐとして設定する。下まぶたの端点ｅｂｏｔは、下まぶたの曲線Ｃｂの端点、すなわち座標Ｅｎｂが設定される。

形状決定部１１６は、目尻及び目頭間の距離ｅｗ＝Ｎｗと、上まぶたの端点と下まぶたの端点との距離ｅｈ＝Ｎｄとの比の値ｅｐ＝ｅｈ／ｅｗを、形状パラメータＨｎとして開眼度算出部１３０に与える。なお、値Ｎｄは、下記の（７）式により求めることができる。

開眼度算出部１３０は、与えられた形状パラメータＨｎと、メモリ１３１に予め保存してある参照形状パラメータＨｓとを比較し、運転手の開眼度Ｋｎを算出する。
ここで、開眼度Ｋｎは、運転手の眼の開き度合いを示すもので、例えば、定常時の眼の開き度合いを開眼度１００％として、０％から１００％の値で表すのが好ましい。

メモリ１３１には、参照形状パラメータＨｓとして、運転手の定常時の目尻及び目頭間距離ｅｗｓと、上まぶたの端点ｅｔｏｐ及び下まぶたの端点ｅｂｏｔの距離ｅｈｓとの比の値ｅｐｓ＝ｅｈｓ／ｅｗｓを保持している。
開眼度算出部１３０は、この参照形状パラメータＨｓと、与えられた形状パラメータＨｎとを比較して、下記の（８）式により開眼度Ｋｎを算出する。
Ｋｎ＝１００×ｅｐ／ｅｐｓ （８）

なお、実施の形態１におけるまぶた形状検出装置１１０は、眼と下まぶたとの間の境界線を直線であると仮定しているが、曲線と仮定してもよい。その場合、まぶた基準位置推定部１１４は、目尻及び目頭の座標を、座標Ｅｎｂの代わりに、例えば、正規化画像の中心座標Ｎｇのｙ座標Ｎｇｙを用いて算出する。または、眼存在領域の算出で、眼存在領域特定部１１１が前述のＡＡＭを使用した場合、目尻及び目頭の特徴点の座標を得ることができるため、まぶた基準位置推定部１１４は、その座標を目尻及び目頭の座標として使用する。
また、近似曲線生成部１１５は、直線ｌ上から近似曲線が通過する複数の点を選択する際に、上まぶたはＥｎｔｙ≦ｙ≦Ｅｎｉｙの範囲で選択し、下まぶたはＥｎｉｙ≦ｙ≦Ｅｎｂｙから選択することで、上まぶた用の複数の近似曲線と下まぶた用の複数の近似曲線を生成する。
そして、形状決定部１１６は、上記と同様の方法で、上まぶた用の複数の近似曲線から、眼と上まぶたとの間の境界線として最も好適な近似曲線を決定し、下まぶた用の複数の近似曲線から、眼と上まぶたとの間の境界線として最も好適な近似曲線を決定してもよい。
但し、下まぶたは、上まぶたと比較して近似曲線上の輝度値の評価値に関して、曲線間で差が出にくいため、形状決定部１１６は、座標Ｅｎｉ、座標Ｅｎｏ及び座標Ｅｎｂを通る曲線を近似曲線として選択してもよい。

なお、実施の形態１におけるまぶた形状検出装置１１０では、明暗変化検出部１１３は、眼存在領域に含まれる全ての画素に対して明暗変化を抽出するフィルタ処理を行ったが、必ずしも全ての画素に対して実施する必要はない。
例えば、明暗変化検出部１１３は、正規化画像に含まれる画素のうち、ｘ＝Ｎｇｘ、Ｎｇｙ−Ｎｈ／４≦ｙ≦Ｎｇｙ＋Ｎｈ／４の条件を満たす点のみに、フィルタ処理を行ってもよい。まぶた形状検出装置１１０に与えられる顔画像が正面顔の場合には、まぶたの上下の端点ｅｔｏｐ、ｅｂｏｔは、基本的には、目尻と目頭との間の中心点を通りｙ軸に平行な直線上に位置すると仮定することができる。そのため、明暗変化検出部１１３は、上記条件を満たす点を探索するだけでまぶたの上下端点の推定座標Ｅｎｔ、Ｅｎｂを求めることができる。このようにフィルタ処理を実施する画素数を限定することで、処理時間を短縮することができる。

また、フィルタ処理を実施する画素を、目尻と目頭との間の中心点を通りｙ軸に平行な直線上にのみ限定するのではなく、Ｎｇｘ−Ｎｗ／４≦ｘ≦Ｎｇｘ＋Ｎｗ／４の範囲内でｙ軸に平行な直線を複数選択し、明暗変化検出部１１３がそれらの直線上の画素に対してフィルタ処理を実施してもよい。複数の直線に対してフィルタ処理を行うことで、入力される顔画像が正面画像ではない場合でも、座標Ｅｎｔ及び座標Ｅｎｂを精度良く算出しつつ、処理時間を短縮することができる。

図７は、実施の形態１に係る開眼度検出装置１００における処理を示すフローチャートである。
図７に示されているフローチャートは、例えば、開眼度検出装置１００に顔画像データＩｍが入力されることで開始される。

眼存在領域特定部１１１は、顔画像データＩｍで表される顔画像から眼存在領域を特定し、特定された眼存在領域を示す眼存在領域データＤｍを生成する（Ｓ１０）。そして、眼存在領域特定部１１１は、生成された眼存在領域データＤｍを、顔画像データＩｍとともに、正規化処理部１１２に与える。

正規化処理部１１２は、眼存在領域データＤｍに基づいて、顔画像データＩｍで表される顔画像から眼存在領域を切り出し、切り出された画像を予め与えられた画像サイズに変換することで、変換後の正規化画像を表す正規化画像データＩｎを生成するとともに、正規化画像データＩｎにおける眼存在領域を示す正規化眼存在領域データＤｎを生成する（Ｓ１１）。そして、正規化処理部１１２は、正規化画像データＩｎ及び正規化眼存在領域データＤｎを明暗変化検出部１１３に与える。

明暗変化検出部１１３は、正規化画像データＩｎの縦方向（ｙ座標方向）の明暗の変化の大きさを算出し、明暗変化データＥｎを生成する（Ｓ１２）。そして、明暗変化検出部１１３は、明暗変化データＥｎを、まぶた基準位置推定部１１４に与え、明暗変化データＥｎ及び正規化画像データＩｎを近似曲線生成部１１５に与える。

まぶた基準位置推定部１１４は、明暗変化データＥｎに基づいて、まぶた上に存在する基準点の位置を少なくとも２点算出し、算出された基準点の正規化画像上の座標を示す座標データＦｎを生成する（Ｓ１３）。そして、まぶた基準位置推定部１１４は、座標データＦｎを近似曲線生成部１１５に与える。

近似曲線生成部１１５は、正規化画像データＩｎと、明暗変化データＥｎと、まぶた基準位置データＦｎとから、まぶたに対して複数の近似曲線を生成し、複数の近似曲線の各々のパラメータを含むパラメータデータＧｎを生成する（Ｓ１４）。そして、形状決定部１１６へ出力する。

形状決定部１１６は、パラメータデータＧｎに含まれる複数のパラメータで示される複数の近似曲線上の画素値の特徴量を算出する（Ｓ１５）。

形状決定部１１６は、各近似曲線の特徴量を比較評価し、最もまぶたらしい近似曲線を選択する（Ｓ１６）。

形状決定部１１６は、選択された近似曲線から上まぶた及び下まぶたの形状を表す形状パラメータＨｎを算出する（Ｓ１７）。そして、形状決定部１１６は、算出された形状パラメータＨｎを開眼度算出部１３０に与える。

開眼度算出部１３０は、形状パラメータＨｎと、メモリ１３１に予め保存してある参照形状パラメータＨｓとを比較し、運転手の開眼度Ｋｎを算出する（Ｓ１８）。

以上のように構成された実施の形態１におけるまぶた形状検出装置１１０は、明暗変化の大きな点からまぶたの基準位置を推定し、明暗変化の大きな点と、推定された基準位置とで定められる領域に含まれる点から複数の近似曲線を求め、複数の近似曲線上の画素値の特徴量を比較評価することで、低画質の顔画像でエッジが検出できない場合でも、精度良くまぶたの形状を検出することができる。

以上のように構成された実施の形態１におけるまぶた形状検出装置１１０は、まぶたの明暗変化を抽出するために上下非対称のフィルタを使用することで、低画質の顔画像であっても、開いている又は閉じているといった眼の状態に依らず、まぶたの位置を推定することができる。このため、精度良くまぶたの形状を検出することができる。

以上のように構成された実施の形態１におけるまぶた形状検出装置１１０は、まぶた形状の近似曲線を、基準点を境に左右個別に設定することで、左右非対称なまぶた形状に対しても精度良くまぶた形状を検出することができる。

以上のように構成された実施の形態１におけるまぶた形状検出装置１１０は、複数生成された近似曲線に対し、画素の輝度値の平均値を曲線間で比較評価し、最も輝度値の平均値が小さい曲線を、上まぶたを通過する近似曲線として選択することで、顔画像に写る人物がアイシャドーをしている場合、又は、顔画像に写る人物が二重まぶたの場合でも精度良くまぶた形状を検出することができる。

以上のように構成された実施の形態１における開眼度検出装置１００は、明暗変化の大きな点からまぶたの基準位置を推定し、明暗変化の大きな点と、推定された基準位置とで定められる領域に含まれる点から複数の近似曲線を求め、複数の近似曲線上の画素値の特徴量を比較評価することで、低画質の顔画像でエッジが検出できない場合でも、精度良くまぶたの形状を検出することができる。さらに、開眼度検出装置１００は、検出されたまぶたの形状と、予め登録してある形状を比較することで、低画質の顔画像に対して眼の開き度合いを精度良く検出することができる。

実施の形態２．
図１に示されているように、実施の形態２に係る開眼度検出装置２００は、まぶた形状検出装置２１０と、開眼度算出部１３０とを備える。
実施の形態２に係る開眼度検出装置２００は、まぶた形状検出装置２１０を除いて、実施の形態１に係る開眼度検出装置１００と同様に構成されている。

実施の形態２におけるまぶた形状検出装置２１０は、眼存在領域特定部１１１と、正規化処理部１１２と、明暗変化検出部２１３と、まぶた基準位置推定部１１４と、近似曲線生成部２１５と、形状決定部２１６とを備える。
実施の形態２におけるまぶた形状検出装置２１０は、明暗変化検出部２１３、近似曲線生成部２１５及び形状決定部２１６を除いて、実施の形態１におけるまぶた形状検出装置１１０と同様に構成されている。

実施の形態１に係る開眼度検出装置１００は、近似曲線を生成する際に、座標Ｅｎｔと座標Ｅｎｂとを結ぶ直線ｌ上の、Ｅｎｂｙ≦ｙ≦Ｅｎｔｙを満たす点から、複数の点を選択して近似曲線を生成している。実施の形態２に係る開眼度検出装置２００は、近似曲線に使用する点の範囲を限定することで処理時間を低減させる。

明暗変化検出部２１３は、正規化画像データＩｎに対し、顔画像の縦方向の明るさの変化の大きさを算出することで、明暗変化データＥｎを生成する。そして、明暗変化検出部２１３は、明暗変化データＥｎを、正規化画像データＩｎとともに、まぶた基準位置推定部１１４及び近似曲線生成部２１５へ供給する。
明暗変化データＥｎは、座標Ｅｎｔ及び座標Ｅｎｂの座標データと、明暗変化（明から暗）が大きかった領域（第１選択領域）Ｒｎｔ及び明暗変化（暗から明）が大きかった領域（第２選択領域）Ｒｎｂとを示すデータである。

領域Ｒｎｔと領域Ｒｎｂは、フィルタの評価値に応じて決定される。具体的には、明暗変化検出部２１３は、フィルタＥｔｆに対する閾値ＴＨｔｆ及びフィルタＥｂｆに対する閾値ＴＨｂｆを用いて、フィルタＥｔｆの評価値が閾値ＴＨｔｆ以上の領域を領域Ｒｎｔとし、フィルタＥｂｆの評価値が閾値ＴＨｂｆ以上の領域を領域Ｒｎｂとする。このとき、領域Ｒｎｔ及び領域Ｒｎｂは、明暗変化（明から暗）が最大となる点の座標Ｅｎｔと明暗変化（暗から明）が最大となる点の座標Ｅｎｂとを結んだ直線ｌ上の画素に対して求める。

図８（Ａ）及び（Ｂ）は、領域Ｒｎｔの算出方法を示す概略図である。
図８（Ａ）には、座標Ｅｎｔ付近の各画像におけるフィルタＥｔｆの評価値と直線ｌとが示されている。
ここでは、閾値ＴＨｔｆ＝１００とし、フィルタＥｔｆの評価値が閾値ＴＨｔｆ以上である領域Ｒｎｔに属する画素には、ハッチング又はクロスハッチングが施されている。

明暗変化検出部２１３は、座標Ｅｎｔを起点とし、まずは直線ｌ上をｙ軸方向（図の下方向）に走査する。そして、図８（Ｂ）に示されているように、明暗変化検出部２１３は、フィルタＥｔｆの評価値が、はじめて閾値ＴＨｔｆを下回る画素の直前に走査した画素を領域Ｒｎｔの下端の画素Ｒｎｔｂとする。図８（Ｂ）に示されている例では、座標Ｅｎｔから直線ｌに沿ってｙ軸方向に走査すると、フィルタＥｔｆの評価値が１５０、１２４及び４６の順に得られる。このとき、評価値が１２４から４６に移ったところではじめて閾値ＴＨｔｆを下回る。そのため、明暗変化検出部２１３は、フィルタＥｔｆの評価値が１２４の画素を領域Ｒｎｔの下端の画素Ｒｎｔｂとする。

続いて、明暗変化検出部２１３は、直線ｌ上をｙ軸逆方向（図の上方向）に走査する。そして、明暗変化検出部２１３は、フィルタＥｔｆの評価値がはじめて閾値ＴＨｔｆを下回る画素の直前に走査した画素を領域Ｒｎｔの上端の画素Ｒｎｔｔとする。図８の例では、座標Ｅｎｔから直線ｌに沿ってｙ軸逆方向に走査すると、フィルタＥｔｆの評価値が１００、９０、３１と得られる。このとき、出力値が１００から９０に移ったところではじめて閾値Ｔｈｔｆを下回る。そのため、フィルタＥｔｆの評価値が１００の画素を領域Ｒｎｂの上端の画素Ｒｎｔｔとする。

同様に、明暗変化検出部２１３は、座標Ｅｎｂと閾値ＴＨｂｆに基づいて領域Ｒｎｂの上端の画素Ｒｎｂｔと下端の画素Ｒｎｂｂを得る。

領域Ｒｎｔは、例えば、画素Ｒｎｔｔと画素Ｒｎｔｂに対応する座標のｙ座標で示されるものとする。同様に、領域Ｒｎｂは、例えば、画素Ｒｎｂｔと画素Ｒｎｂｂに対応する座標のｙ座標で示されるものとする。

領域Ｒｎｔ及び領域Ｒｎｂを定めるための閾値ＴＨｔｆ及び閾値ＴＨｂｆは、予め定数で定義されていてもよく、また、フィルタＥｔｆ及びフィルタＥｂｆの評価値の最大値及び最小値を利用して求められてもよい。
例えば、下記の（９）式及び（１０）式より、閾値ＴＨｔｆ及び閾値ＴＨｂｆが求められてもよい。
ＴＨｔｆ＝α×（ＦｎｔＭａｘ−ＦｎｔＭｉｎ）＋ＦｎｔＭｉｎ （９）
ＴＨｂｆ＝β×（ＦｎｂＭａｘ−ＦｎｂＭｉｎ）＋ＦｎｂＭｉｎ （１０）
ここで、値ＦｎｔＭａｘは、眼存在領域の画素に対してフィルタＥｔｆにより処理した際の評価値の最大値である。値ＦｎｔＭｉｎは、その最小値である。
同様に、値ＦｎｂＭａｘは、眼存在領域の画素に対してフィルタＥｂｆにより処理した際の評価値の最大値である。値ＦｎｂＭｉｎは、その最小値である。
また、α及びβは、それぞれのフィルタの評価値の最大値の何割以上の値であれば明暗変化が大きいかを判断するための係数であり、予め定められているものとする。例えば、α＝β＝０．５と設定されているものとする。

近似曲線生成部２１５は、正規化画像データＩｎと、明暗変化データＥｎと、まぶた基準位置データＦｎとから、まぶたに対して複数の近似曲線を生成し、複数の近似曲線の各々を示すパラメータの集合を含むパラメータデータＧｎを形状決定部２１６に与える。

近似曲線生成部２１５は、座標Ｃｕｐａ（ｉ）を選択する際に、上まぶたであれば領域Ｒｎｔから、下まぶたであれば領域Ｒｎｂから選択し、近似曲線を生成する。このように明暗変化の大きい領域を通過するように近似曲線を生成することで、実施の形態１と比較して、近似曲線生成部２１５は、近似曲線の数を低減することができ、処理時間を短縮することができる。

なお、形状決定部２１６は、実施の形態１と同様に、上まぶたに対応する複数の近似曲線（第１近似曲線）から、眼と上まぶたとの間の境界線として最も好適な近似曲線を選択する。
また、形状決定部２１６は、下まぶたに対応する複数の近似曲線（第２近似曲線）から、眼と下まぶたとの間の境界線として最も好適な近似曲線を選択する。近似曲線の生成及び選択の仕方は、上まぶたの場合と同様である。
そして、形状決定部２１６は、決定された上まぶたの形状及び下まぶたの形状から、実施の形態１と同様に、目尻及び目頭間の距離ｅｗ＝Ｎｗと、上まぶたの端点と下まぶたの端点との距離ｅｈ＝Ｎｄとの比の値ｅｐ＝ｅｈ／ｅｗを、形状パラメータＨｎとして開眼度算出部１３０に与える。

実施の形態２に係るまぶた形状検出装置２１０は、明暗変化の大きい領域を通過するように近似曲線を生成するため、少ない処理時間でまぶたの形状を検出することができる。

実施の形態３．
図１に示されているように、実施の形態３に係る開眼度検出装置３００は、まぶた形状検出装置３１０と、開眼度算出部１３０とを備える。
実施の形態３に係る開眼度検出装置３００は、まぶた形状検出装置３１０を除いて、実施の形態１に係る開眼度検出装置１００と同様に構成されている。

実施の形態３におけるまぶた形状検出装置３１０は、眼存在領域特定部１１１と、正規化処理部１１２と、明暗変化検出部３１３と、まぶた基準位置推定部１１４と、近似曲線生成部１１５と、形状決定部１１６とを備える。
実施の形態３におけるまぶた形状検出装置３１０は、明暗変化検出部３１３を除いて、実施の形態１におけるまぶた形状検出装置１１０と同様に構成されている。

実施の形態１に係る開眼度検出装置１００は、眼存在領域の中で明暗変化の大きい点を２点（明から暗、暗から明）求め、明暗変化データＥｎを生成しているが、この場合、眼存在領域の全ての画素に対してフィルタ処理が必要なため、処理負荷が大きい。実施の形態２に係る開眼度検出装置２００は、眼存在領域内に複数の直線を設定し、各直線上にて明暗変化の大きい点を２点求める。そして、開眼度検出装置２００は、各直線上で求められた２点の距離を算出し、距離の最も大きい２点の座標を示す明暗変化データＥｎを生成する。これにより、フィルタ処理する画素を直線上の画素に限定できる上に、顔向き変化によるまぶた形状の変化や個人差に頑健なまぶた形状検出を行うことができる。

明暗変化検出部３１３は、正規化画像データＩｎで表される正規化画像の縦方向における明るさの変化の大きさを算出することで、明暗変化データＥｎを生成する。例えば、明暗変化検出部３１３は、正規化画像において、縦方向に延びる予め定められた複数の直線を設定し、複数の直線に含まれる各々の直線上で、上の画素からの明るさの低下の度合いが最も大きい第１候補画素の座標と、下の画素からの明るさの低下の度合いが最も大きい第２候補画素の座標との距離を算出する。そして、明暗変化検出部３１３は、算出された距離が最も大きい第１候補画素の座標及び第２候補画素の座標を特定し、特定された第１候補画素の座標を第１端点の座標Ｅｎｔ、特定された第２候補画素の座標を第２端点の座標Ｅｎｂとする。
そして、明暗変化検出部３１３は、明暗変化データＥｎを、正規化画像データＩｎとともに、まぶた基準位置推定部１１４及び近似曲線生成部１１５へ供給する。

明暗変化検出部３１３は、正規化画像データＩｎで表される正規化画像上に複数の直線を設定する。ここでは、説明を簡単にするために、ｙ軸に平行な直線を３本設定する場合を例にして説明する。直線ｌ（１）をｘ＝Ｎｇｘ−Ｎｗ／４、直線ｌ（２）をｘ＝Ｎｇｘ、及び、直線ｌ（３）をｘ＝Ｎｇｘ＋Ｎｗ／４とする。

明暗変化検出部３１３は、まず、各直線に沿ってフィルタＥｔｆ及びフィルタＥｂｆの処理を実行する。次に、直線毎にフィルタの評価値が最大となる点を求める。ここでは、ｌ（ｋ） （ｋ∈｛１，２，３｝）においてフィルタＥｔｆの評価値が最大となった点の座標を第１候補画素の座標Ｅｎｔ（ｋ）、フィルタＥｂｆの評価値が最大となった点の座標を第２候補画素の座標Ｅｎｆ（ｋ）とする。

次に、明暗変化検出部３１３は、各直線で座標Ｅｎｔ（ｋ）と座標Ｅｎｂ（ｋ）との間の距離ｄ（ｋ）を算出する。距離は、例えばユークリッド距離を用いる。ここでは、各直線がｙ軸に平行なためｄ（ｋ）＝Ｅｎｂｙ（ｋ）−Ｅｎｔｙ（ｋ）で求められる。ここで、値Ｅｎｂｙ（ｋ）は、座標Ｅｎｂ（ｋ）のｙ座標であり、値Ｅｎｔｙ（ｋ）は、座標Ｅｎｔ（ｋ）のｙ座標である。

明暗変化検出部３１３は、求めた距離ｄ（ｋ）の中から距離が最大となるものを選択し（選択された距離に対応するｋをＫとする）、座標Ｅｎｔ（Ｋ）及び座標Ｅｎｂ（Ｋ）を示す明暗変化データＥｎを生成する。

なお、実施の形態３においては、直線の本数を３本と設定したが、本数に特に制限はない。また、直線としてｙ軸に平行な直線を選択したが、これに限るものではなく、任意の直線を設定して良い。

以上のように構成された実施の形態３に係るまぶた形状検出装置３１０は、フィルタ処理する画素を直線上の画素に限定できるため、処理時間を短縮することができる。また、２種類の明暗変化が大きい点の距離が最も大きくなる２点を選択することにより、まぶたの上端点及び下端点に近い２点を選択することができるため、近似曲線生成部１１５にて生成する近似曲線の形状が、本来のまぶた形状に近しい形状となる。このため、より精度良くまぶた形状を検出することができる。

実施の形態４．
図９は、実施の形態４に係る開眼度検出装置４００の構成を概略的に示すブロック図である。
開眼度検出装置４００は、まぶた形状検出装置４１０と、開眼度算出部１３０とを備える。実施の形態４に係る開眼度検出装置４００は、まぶた形状検出装置４１０を除いて、実施の形態１に係る開眼度検出装置１００と同様に構成されている。

実施の形態４におけるまぶた形状検出装置４１０は、眼存在領域特定部１１１と、正規化処理部１１２と、明暗変化検出部４１３と、まぶた基準位置推定部１１４と、近似曲線生成部１１５と、形状決定部１１６とを備える。
実施の形態４におけるまぶた形状検出装置４１０は、明暗変化検出部４１３を除いて、実施の形態１におけるまぶた形状検出装置１１０と同様に構成されている。また、実施の形態４における明暗変化検出部４１３には、運転手の顔の向きを示す顔向き情報Ｈｄが外部から与えられる。

実施の形態３に係る開眼度検出装置３００は、正規化画像上の複数の直線において２種類の明暗変化の大きい点の距離を算出し、最も距離の大きい直線上の２点を使用することで、フィルタ処理を適用する画素を限定している。実施の形態４に係る開眼度検出装置４００は、顔向き情報Ｈｄを用いることで、複数の直線の中から、明暗変化の抽出に使用すべき直線を特定することで、更なる処理時間の短縮を行う。

図１０は、運転手が横方向を向いている場合の眼付近の画像の一例を示す概略図である。
図２に示されている、運転手が正面を向いている場合の眼付近の画像の一例とは異なり、運転手が横方向を向いている場合には、検出すべきまぶたの上端点の座標Ｅｎｔ及び下端点の座標Ｅｎｂが眼存在領域の左側に寄る傾向がある。このような、まぶたの上端点の座標Ｅｎｔ及び下端点の座標Ｅｎｂの横方向（ｘ軸方向）への偏りは、主に水平方向の顔向きの変化により生じる。そのため、明暗変化検出部４１３は、顔向き情報Ｈｄに基づいて、明暗変化を抽出する直線を決定することで、実施の形態３における明暗変化検出部３１３のように、複数の直線に対してフィルタ処理を実施する必要がなくなる。

明暗変化検出部４１３は、正規化画像データＩｎで表される正規化画像の縦方向における明るさの変化の大きさを算出することで、明暗変化データＥｎを生成する。例えば、明暗変化検出部４１３は、正規化画像において、縦方向に延びる予め定められた複数の直線を設定し、複数の直線から、人物の顔の向きに基づいて、１つの直線を選択する。そして、明暗変化検出部４１３は、選択された直線上で、上の画素からの明るさの低下の度合いが最も大きい画素の座標を第１端点の座標Ｅｎｔとし、下の画素からの明るさの低下の度合いが最も大きい画素の座標を第２端点の座標Ｅｎｂとする。
そして、明暗変化検出部４１３は、明暗変化データＥｎを、正規化画像データＩｎとともに、まぶた基準位置推定部１１４及び近似曲線生成部１１５へ供給する。

明暗変化検出部４１３は、正規化画像データＩｎで表される正規化画像において複数の直線を設定する。ここでは、説明を簡単にするために、ｙ軸に平行な直線を３本設定する場合を例にして説明する。直線ｌ（１）をｘ＝Ｎｇｘ−Ｎｗ／４、直線ｌ（２）をｘ＝Ｎｇｘ、及び、直線ｌ（３）をｘ＝Ｎｇｘ＋Ｎｗ／４とする。

そして、明暗変化検出部４１３は、水平方向の顔向き情報Ｈｄに基づいて、フィルタ処理すべき直線を選択する。ここでは、顔向き情報Ｈｄは、運転手の顔の向きを、正面向きを０度とし、右方向を向いている場合を正の方向の回転角、左方向を向いている場合を負の方向の回転角で示すものとする。図１０は、右方向を向いている場合、つまり正の方向を向いている状態を示している。

明暗変化検出部４１３は、例えば、顔向き情報Ｈｄで示される顔の向き（回転角）に対して、閾値ＴＨｆｄｐと閾値ＴＨｆｄｎとを設け（ＴＨｆｄｐ＞ＴＨｆｄｎ）、Ｈｄ≧ＴＨｆｄｐの場合は直線ｌ（１）を選択し、ＴＨｆｄｐ＜Ｈｄ＜ＴＨｆｄｎの場合は直線ｌ（２）を選択し、Ｈｄ≦Ｔｈｆｄｎの場合は直線ｌ（３）を選択する。

そして、明暗変化検出部４１３は、選択した直線に対しフィルタ処理を行い、２種類の明暗変化の（明から暗、暗から明）大きい点の座標を示す明暗変化データＥｎを生成する。

実施の形態４におけるまぶた形状検出装置４１０は、顔向き情報Ｈｄを用いることで、複数の直線の中から、明暗変化の抽出に使用すべき直線を選択することができるため、フィルタ処理の回数を低減し、処理時間を短縮することができる。

実施の形態５．
図１１は、実施の形態５に係る開眼度検出装置５００の構成を概略的に示すブロック図である。
開眼度検出装置５００は、まぶた形状検出装置５１０と、開眼度算出部１３０とを備える。実施の形態５に係る開眼度検出装置５００は、まぶた形状検出装置５１０を除いて、実施の形態１に係る開眼度検出装置１００と同様に構成されている。

実施の形態５におけるまぶた形状検出装置５１０は、眼存在領域特定部１１１と、正規化処理部１１２と、明暗変化検出部１１３と、まぶた基準位置推定部１１４と、近似曲線生成部１１５と、近似曲線選択部５１７と、補正曲線生成部５１８と、形状決定部５１６とを備える。
実施の形態５におけるまぶた形状検出装置５１０は、形状決定部５１６での処理の点、並びに、近似曲線選択部５１７及び補正曲線生成部５１８がさらに設けられている点を除いて、実施の形態１におけるまぶた形状検出装置１１０と同様に構成されている。

近似曲線選択部５１７は、実施の形態１における形状決定部１１６と同様の処理により、複数の近似曲線のパラメータを含むパラメータデータＧｎから、各パラメータが表す近似曲線上の画素値を評価し、上まぶたの端点ｅｔｏｐ及び下まぶたの端点ｅｂｏｔの座標を特定する。そして、近似曲線選択部５１７は、上まぶたの端点ｅｔｏｐの座標Ｃｕｐａ（ｉｕ）、下まぶたの端点ｅｂｏｔの座標Ｅｎｂ、目尻の座標Ｅｎｏ及び目頭の座標Ｅｎｉを示す形状パラメータデータＯｎを生成して、それを補正曲線生成部５１８に与える。ここで、上まぶたの端点ｅｔｏｐを、確定端点ともいう。

補正曲線生成部５１８は、与えられた形状パラメータデータＯｎから、目尻及び目頭の位置を補正するための近似曲線である複数の補正曲線を生成し、生成された複数の補正曲線の各々のパラメータを含む補正曲線パラメータデータＰｎを形状決定部５１６に与える。

補正曲線生成部５１８の動作を詳しく説明する。
図１２は、上まぶたの補正曲線の生成を説明するための概略図である。
近似曲線選択部５１７により上まぶたの端点ｅｔｏｐの座標Ｃｕｐａ（ｉｕ）及び下まぶたの端点ｅｂｏｔの座標Ｅｎｂは算出されているが、目頭の座標Ｅｎｉ及び目尻の座標Ｅｎｏは、座標Ｅｎｂを元に推定された値であり、精度に欠けたものである。そこで、補正曲線生成部５１８は、座標Ｅｎｏ及び座標Ｅｎｏを補正するための近似曲線である補正曲線を生成する。

各補正曲線は、曲線を通過する３点の座標Ｐｕｐａ、座標Ｐｕｐｂ（ｉ）及び座標Ｐｕｐｃ（ｉ）を使用して定義される。座標Ｐｕｐｂ（ｉ）は、第１選択座標ともいい、座標Ｐｕｐｃ（ｉ）は、第２選択座標ともいう。
座標Ｐｕｐａは、生成される複数の曲線で、共通の点である。ここでは、座標Ｐｕｐａは、上まぶたの端点ｅｔｏｐの座標Ｃｕｐａ（ｉｕ）が使用される。
座標Ｐｕｐｂ（ｉ）及び座標Ｐｕｐｃ（ｉ）は、生成される複数の曲線に対し、曲線毎に選択される。なお、座標Ｐｕｐａのｘ座標及びｙ座標は、（Ｐｕｐａｘ、Ｐｕｐａｙ）＝（Ｃｕｐａ（ｉｕ）ｘ，Ｃｕｐａ（ｉｕ）ｙ）である。座標Ｐｕｐｂ（ｉ）のｘ座標及びｙ座標は、（Ｐｕｐｂ（ｉ）ｘ、Ｐｕｐｂ（ｉ）ｙ）である。座標Ｐｕｐｃ（ｉ）のｘ座標及びｙ座標は、（Ｐｕｐｃ（ｉ）ｘ、Ｐｕｐｃ（ｉ）ｙ）である。なお、Ｐｕｐｂｘ（ｉ）＜Ｐｕｐａｘ＜Ｐｕｐｃｘ（ｉ）である。

座標Ｐｕｐｂ（ｉ）は、座標Ｅｎｉを通る直線ｌ（１）上の点から複数選択される。具体的には、直線ｌ（１）上で、Ｅｎｉｙ−ｍｇｉｎ≦ｙ≦Ｅｎｉｙ＋ｍｇｉｎを満たす点がＭ（Ｍは２以上の整数）個選択され、選択された点を点群Ｐｉｎとする。そして、点群Ｐｉｎに含まれる各点Ｐｉｎ（ｉ） （ｉ∈１，２，・・・，Ｍ）がＰｕｐｂ（ｉ）として設定される。なお、値ｍｇｉｎは、予め定められた定数である。また、ｌ（１）は、例えば、ｘ＝Ｅｎｉｘで表される直線である。なお、各点Ｐｉｎ（ｉ）は、等間隔となるように選択されればよい。

座標Ｐｕｐｃ（ｉ）は、座標Ｅｎｏを通る直線ｌ（３）上の点から複数選択される。具体的には、直線ｌ（３）上で、Ｅｎｏｙ−ｍｇｏｕｔ≦ｙ≦Ｅｎｏｙ＋ｍｇｏｕｔを満たす点がＭ個選択され、選択された点を点群Ｐｏｕｔとする。そして、点群Ｐｏｕｔに含まれる各点Ｐｏｕｔ（ｉ） （ｉ∈１，２，・・・，Ｍ）がＰｏｕｔ（ｉ）として設定される。なお、値ｍｇｏｕｔは、予め定められた定数である。また、ｌ（３）は、例えば、ｘ＝Ｅｎｏｘで表される直線である。なお、各点Ｐｏｕｔ（ｉ）は、等間隔となるように選択されればよい。

座標Ｐｕｐａは、端点ｅｔｏｐの座標値を用いて設定され、座標Ｐｕｐａのｘ座標Ｐｕｐａｘ＝ｅｔｏｐｘ、そのｙ座標Ｐｕｐａｙ＝ｅｔｏｐｙとする。

まぶた形状は、装置に入力される顔画像の顔の向きに応じて、左右非対称なことがある。このため、１つの補正曲線Ｐｕ（ｉ）は、座標Ｐｕｐａのｘ座標よりも、ｘ座標が小さい部分の曲線Ｐｕｌ（ｉ）と、ｘ座標が大きい部分の曲線Ｐｕｒ（ｉ）との２つの曲線により構成される。
補正曲線としては、例えば、二次関数が使用される。二次関数は、例えば、二次関数の頂点となる点と、それ以外に二次関数が通過する点とを特定することで、一意に定義できる。以下の説明では、二次関数を補正曲線として説明する。

曲線Ｐｕｌ（ｉ）は、座標Ｐｕｐａを頂点とし、座標Ｐｕｐｂ（ｉ）を頂点以外に通過する点とする。
曲線Ｐｕｌ（ｉ）を示す二次関数を下記の（１１）式とすると、各パラメータは、下記の（１２）式により求めることができる。

同様に、曲線Ｐｕｒ（ｉ）は、座標Ｐｕｐａを頂点とし、座標Ｐｕｐｃ（ｉ）を頂点以外に通過する点とする。
曲線Ｐｕｒ（ｉ）を示す二次関数を下記の（１３）式とすると、各パラメータは、下記の（１４）式により求めることができる。

上記により生成された複数の曲線Ｐｕ（ｉ）及び曲線Ｃｂを示すパラメータは、補正曲線パラメータデータＰｎとして形状決定部５１６に与えられる。
補正曲線パラメータデータＰｎは、各曲線のパラメータの集合を含む。例えば、補正曲線パラメータデータＰｎは、曲線の種類である「二次関数」、曲線の数である「上まぶたＭ個、下まぶた１個」、まぶた基準点（目尻の座標Ｅｎｏ及び目頭の座標Ｅｎｉ）及び座標Ｅｎｂ、並びに、各曲線のパラメータの集合を含む。パラメータの集合は、上記の例では、上まぶたの補正曲線のパラメータａｂｌ（ｉ）、ｂｂｌ（ｉ）、ｃｂｌ（ｉ）、ａｃｒ（ｉ）、ｂｃｒ（ｉ）及びｃｃｒ（ｉ）、並びに、下まぶたの直線パラメータである。下まぶたの直線パラメータは、まぶた基準点（目尻の座標Ｅｎｏ及び目頭の座標Ｅｎｉ）及び座標Ｅｎｂの内の何れか１点のｙ座標の値である。

図１１に示されている形状決定部５１６は、複数の補正曲線のパラメータを含む補正曲線パラメータデータＰｎを与えられ、各パラメータが表す補正曲線上の画素値を評価し、上まぶた及び下まぶたの形状を表す形状パラメータＨｎを算出する。そして、形状決定部５１６は、形状パラメータＨｎを開眼度算出部１３０に与える。

まぶたの形状を特定するためには、入力として与えられる複数の補正曲線から、まぶたとして尤もらしい補正曲線を、上まぶた及び下まぶたに関してそれぞれ１つずつ選択する必要がある。本実施の形態では、下まぶたの曲線は一意に設定済みであるため、上まぶたに対して生成された複数の補正曲線から、眼と上まぶたとの間の境界線として最も好適な１つの補正曲線が選択される。

形状決定部５１６は、実施の形態１における形状決定部１１６と同様に、複数の補正曲線の各々において、補正曲線上の画素の輝度値の平均値を求めて、平均値が最も低い曲線を選択することで上まぶたを通過する補正曲線を選択する。
上記のように、形状決定部５１６は、補正曲線の中から上まぶたとして尤もらしい曲線Ｐｕ（ｉｕ）を選択し、座標Ｐｕｐｂ（ｉｕ）を目頭の座標、Ｐｕｐｃ（ｉｕ）を目尻の座標とする。

ここで、目頭の座標Ｐｕｐｂ（ｉｕ）のｘ座標の値は、目頭の推定座標Ｅｎｉのｘ座標の値であり、目頭の座標Ｐｕｐｂ（ｉｕ）のｙ座標の値は、補正曲線Ｐｕ（ｉｕ）に目頭の推定座標Ｅｎｉのｘ座標の値を代入することにより求めることができる。
また、目尻の座標Ｐｕｐｃ（ｉｕ）のｘ座標の値は、目尻の推定座標Ｅｎｏのｘ座標の値であり、目尻の座標Ｐｕｐｂ（ｉｕ）のｙ座標の値は、補正曲線Ｐｕ（ｉｕ）に目尻の推定座標Ｅｎｏのｘ座標の値を代入することにより求めることができる。
さらに、座標Ｐｕｐａのｘ座標の値は、パラメータｂｃｒ（ｉ）又はパラメータｂｂｌ（ｉ）であり、座標Ｐｕｐａのｙ座標の値は、パラメータｃｂｌ（ｉ）又はパラメータｃｃｒ（ｉ）である。

そして、形状決定部５１６は、目尻及び目頭間の距離ｅｗ＝Ｌｗと、上まぶたの端点と下まぶたの端点との距離ｅｈ＝Ｌｄとの比の値ｅｐ＝ｅｈ／ｅｗを形状パラメータＨｎとして開眼度算出部１３０に与える。なお、値Ｌｗは、下記の（１５）式により求めることができる。また、値Ｌｄは、下記の（１６）式により求めることができる。

以上のように、実施の形態５におけるまぶた形状検出装置５１０では、近似曲線の利用により算出した上まぶたの端点及び下まぶたの端点から、再度補正曲線を複数生成し、目尻及び目頭の位置を補正することで、精度の良いまぶた形状検出が可能である。

実施の形態６．
図１３は、実施の形態６に係る居眠り度検出装置６００の構成を概略的に示すブロック図である。
居眠り度検出装置６００は、開眼度検出装置１００〜５００と、居眠り度算出部６０１とを備える。
居眠り度検出装置６００は、顔画像データＩｍが一定の間隔で連続的に入力され、運転手の居眠り度Ｑｎを出力する。顔画像データＩｍは、例えば、１秒間に３０フレーム与えられ、居眠り度Ｑｎは、顔画像データＩｍが新しく入力される毎に更新され、出力される。
開眼度検出装置１００〜５００は、実施の形態１〜５に記載された何れかの開眼度検出装置１００〜５００であればよい。実施の形態１〜５に記載された何れかの開眼度検出装置１００〜５００で算出された開眼度Ｋｎが居眠り度算出部６０１に与えられる。

居眠り度は、眠気の程度を示す値である。例えば、カロリンスカ眠気尺度（ＫＳＳ）によって表される居眠り度は、１（非常にはっきり目覚めている）から９（とても眠い）の９段階で表される数値により、眠気の程度が示される。他には、前記９段階に加えて、１０（寝ている）を加えた１０段階の数値で眠気の程度が示されてもよい。以降の説明では、一例として、居眠り度を、１０段階の数値を基準に考え、段階的でなく連続的な値として定義する。例えば、１．１及び５．４等の小数点を使って表される数値も含まれるものとする。なお、居眠り度の数値は、上記の９段階又は１０段階に限定されるものではなく、例えば、表情判定法では、居眠り度は、１〜５の数値で示される。

居眠り度算出部６０１は、開眼度Ｋｎを与えられ、過去Ｎｑフレーム分の開眼度Ｋｎから運転手の居眠り度Ｑｎを算出する。
例えば、居眠り度算出部６０１は、過去Ｎｑフレーム分に対しＰＥＲＣＬＯＳ（Ｐｅｒｃｅｎｔａｇｅ ｏｆ Ｅｙｅｌｉｄ Ｃｌｏｓｕｒｅ）を算出し、居眠り度を算出する。ＰＥＲＣＬＯＳは、例えば、過去Ｎｑフレームに含まれる閉眼状態のフレームＣｆの数Ｎｑｃの割り合いで表され、ＰＥＲＣＬＯＳ＝Ｎｑｃ／Ｎｑで算出される。
ここで、閉眼状態とは、例えば、開眼度Ｋｎが閾値Ｋｎｈ以下であるフレームがＮｑｃｈ継続して観測された状態である。例えば、Ｎｑ＝５，４００、Ｋｎｈ＝５０、Ｎｑｃｈ＝５が用いられる。

そして、居眠り度Ｑｎは、下記の（１７）式によって算出される。
Ｑｎ＝ｆｑ（ＰＥＲＣＬＯＳ） （１７）

（１７）式において、ｆはＰＥＲＣＬＯＳを変数とした任意の関数であり、例えば、一次関数、二次関数、又は、ニューラルネットを使用した非線形関数が用いられる。ここでは、居眠り度は、１〜１０の数値で示されると仮定されているため、ｆは、１〜１０の数値を算出することのできる任意の関数を用いることができる。例えば、１〜１０の数値を算出することのできる関数ｆとして、下記の（１８）式又は（１９）式で表される関数を用いることができる。

但し、Ｓｉｇｍｏｉｄ（ａ、ｘ）はシグモイド関数であり、下記の（２０）式で定義される。
Ｓｉｇｍｏｉｄ（ａ、ｘ）＝１／（１＋ｅｘｐ（−ａｘ）） （２０）

（１８）式又は（１９）式における各パラメータ（α１〜αＮＮ、β等）は過去の実験データから統計的に算出される。例えば、居眠り度を計測する実験において、カロリンスカ眠気尺度を用いた居眠り度の評価を行い、同時にＰＥＲＣＬＯＳの計測を行うことで、居眠り度とＰＥＲＣＬＯＳとの関係性を取得することができる。このようにして取得されたデータに基づいて、ＰＥＲＣＬＯＳから居眠り度を尤もらしく算出するパラメータを特定し、特定されたパラメータを上記（１８）式又は（１９）式に適用すればよい。

ニューラルネットは、入力変数と結果の対応関係を関数としてモデル化する手法である。ニューラルネットを使用すると、実験データで得られたＰＥＲＣＬＯＳと居眠り度の対応関係を関数として取得することができる。即ち、入力として得られるＰＥＲＣＬＯＳに対し尤もらしい居眠り度を出力する関数が得られる。
但し、過去のデータと同じデータが、実際の利用シーンで得られるとは限らない。この場合は、１〜１０以外の出力が得られる可能性がある。これに対しては、上記（１８）式に示されているように、１０よりも大きい値が得られた場合には、出力を１０にし、０よりも小さい値が得られた場合には、出力を０にすることで、対応することができる。

また、過去Ｎｑフレームに対するＰＥＲＣＬＯＳをＰＥＲＣＬＯＳ（１）、過去２×Ｎｑ〜Ｎｑフレームに対するＰＥＲＣＬＯＳをＰＥＲＣＬＯＳ（２）、・・・、過去ＮＮ×Ｎｑ〜（ＮＮ−１）×Ｎｑに対するＰＥＲＣＬＯＳをＰＥＲＣＬＯＳ（ＮＮ）とし、下記の（２１）式によってＱｎを算出してもよい。

ここで、（２１）式におけるＰＥＲＣＬＯＳについて説明する。例えば、現在のフレームをＦ（ｋ）とし、Ｎｑを９００、ＮＮ＝１０とする。
この場合、Ｆ（ｋ）〜Ｆ（ｋ−８９９）を対象に算出されたＰＥＲＣＬＯＳがＰＥＲＣＬＯＳ（１）となる。
また、Ｆ（ｋ−９００）〜Ｆ（ｋ−１７９９）を対象に算出されたＰＥＲＣＬＯＳがＰＥＲＣＬＯＳ（２）となる。
また、Ｆ（ｋ−１８００）〜Ｆ（ｋ−２６９９）を対象に算出されたＰＥＲＣＬＯＳがＰＥＲＣＬＯＳ（３）となる。
以下同様にして、Ｆ（ｋ−８１００）〜Ｆ（ｋ−８９９９）を対象に算出されたＰＥＲＣＬＯＳがＰＥＲＣＬＯＳ（１０）となる。

なお、上記の説明では、ＰＥＲＣＬＯＳをｆｑの変数とし、Ｑｎを算出したが、開眼度Ｋｎから、閉眼状態が起きる間隔、瞬きの頻度及び瞬きの間隔等、任意の特徴を抽出して、ｆｑの変数としてもよい。

以上のように構成することで、精度の高い開眼度検出結果を使用して、運転手の眠気の程度を精度よく推定することができる。

以上に記載された開眼度検出装置１００〜５００及び居眠り度検出装置６００の一部又は全部は、例えば、図１４（Ａ）に示されているように、メモリ１５０と、メモリ１５０に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１５１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。

また、開眼度検出装置１００〜５００及び居眠り度検出装置６００の一部又は全部は、例えば、図１４（Ｂ）に示されているように、単一回路、復号回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路１５２で構成することもできる。

以上に記載された実施の形態１〜５では、開眼度Ｋｎを開眼度検出装置１００〜５００の出力としているが、このような例に限定されず、例えば、形状パラメータＨｎを出力としてもよい。このような場合には、まぶた形状検出装置１１０〜５１０が、情報処理装置として機能する。
また、実施の形態６では、居眠り度Ｑｎを出力する居眠り度検出装置６００が、情報処理装置として機能する。

１００，２００，３００，４００，５００ 開眼度検出装置、 ６００ 居眠り度検出装置、 ６０１ 居眠り度算出部、 １１０，２１０，３１０，４１０，５１０ まぶた形状検出装置、 １３０ 開眼度算出部、 １１１ 眼存在領域特定部、 １１２ 正規化処理部、 １１３，２１３，３１３，４１３ 明暗変化検出部、 １１４ まぶた基準位置推定部、 １１５，２１５ 近似曲線生成部、 １１６，５１６ 形状決定部、 ５１７ 近似曲線選択部、 ５１８ 補正曲線生成部、 １５０ メモリ、 １５１ プロセッサ、 １５２ 処理回路。

Claims (17)

1. 人物の顔の画像である顔画像から、眼が存在する領域である眼存在領域を特定する眼存在領域特定部と、
   前記顔画像から、前記眼存在領域の画像を切り出し、当該切り出された画像を予め定められたサイズの正規化画像に変換する正規化処理部と、
   前記正規化画像の縦方向において、画素毎に明るさの変化の大きさを検出することで、前記眼と上まぶたとの間の第１境界線の最上点である第１端点の座標及び前記眼と下まぶたとの間の第２境界線の最下点である第２端点の座標を推定する明暗変化検出部と、
   前記正規化画像における、前記眼の目頭の座標及び前記眼の目尻の座標を推定するまぶた基準位置推定部と、
   前記正規化画像において、前記第１端点及び前記第２端点を通る直線上から選択された複数の座標の各々、前記目頭の座標及び前記目尻の座標から、複数の第１近似曲線を生成する近似曲線生成部と、
   前記複数の第１近似曲線から、前記第１境界線として最も好適な第１近似曲線を選択し、当該選択された第１近似曲線を前記上まぶたの形状として決定する形状決定部と、を備えること
   を特徴とする情報処理装置。
2. 前記明暗変化検出部は、前記正規化画像において、上の画素からの明るさの低下の度合いが最も大きい画素の座標を前記第１端点の座標とし、下の画素からの明るさの低下の度合いが最も大きい画素の座標を前記第２端点の座標とすること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記明暗変化検出部は、前記正規化画像において、縦方向に延びる予め定められた複数の直線を設定し、当該複数の直線に含まれる各々の直線上で、上の画素からの明るさの低下の度合いが最も大きい第１候補画素の座標と、下の画素からの明るさの低下の度合いが最も大きい第２候補画素の座標との距離を算出し、算出された距離が最も大きい第１候補画素の座標及び第２候補画素の座標を、それぞれ前記第１端点の座標及び前記第２端点の座標とすること
   を特徴とする請求項１に記載の情報処理装置。
4. 前記明暗変化検出部は、前記正規化画像において、縦方向に延びる予め定められた複数の直線を設定し、当該複数の直線から、前記人物の顔の向きに基づいて、１つの直線を選択し、当該選択された直線上で、上の画素からの明るさの低下の度合いが最も大きい画素の座標を前記第１端点の座標とし、下の画素からの明るさの低下の度合いが最も大きい画素の座標を前記第２端点の座標とすること
   を特徴とする請求項１に記載の情報処理装置。
5. 前記明暗変化検出部は、前記第１端点の座標を推定するための第１フィルタと、前記第２端点の座標を推定するための第２フィルタとを用いており、
   前記第１フィルタは、前記正規化画像において、第１注目画素を中心として、当該第１注目画素の横方向に複数の画素を含む第１領域に含まれる画素の輝度値の平均値を、当該第１領域の上に接し、当該第１領域と横方向の画素数は同じであるが、当該第１領域よりも縦方向の画素数が多い第２領域に含まれる画素の輝度値の平均値から引いた値を、当該第１注目画素の評価値として算出し、当該算出された評価値を、上の画素からの明るさの低下の度合いとするものであり、
   前記第２フィルタは、前記正規化画像において、第２注目画素を中心として、当該第２注目画素の横方向に複数の画素を含む第３領域に含まれる画素の輝度値の平均値を、当該第３領域の下に接し、当該第３領域と横方向の画素数は同じであるが、当該第３領域よりも縦方向の画素数が多い第４領域に含まれる画素の輝度値の平均値から引いた値を、当該第２注目画素の評価値として算出し、当該算出された評価値を、下の画素からの明るさの低下の度合いとするものであること、
   を特徴とする請求項２から４の何れか一項に記載の情報処理装置。
6. 前記まぶた基準位置推定部は、前記第２端点の座標の縦方向における軸の値と、前記正規化画像の横方向における一方の端の横方向における軸の値とを、前記目頭の座標とし、前記第２端点の座標の縦方向における軸の値と、前記正規化画像の横方向における他方の端の横方向における軸の値とを前記目尻の座標とし、
   前記形状決定部は、前記目頭の座標及び前記目尻の座標間の線分を前記下まぶたの形状とすること
   を特徴とする請求項１から５の何れか一項に記載の情報処理装置。
7. 前記近似曲線生成部は、前記正規化画像において、前記第１端点及び前記第２端点間の線分から前記複数の座標を選択すること
   を特徴とする請求項１から６の何れか一項に記載の情報処理装置。
8. 前記明暗変化検出部は、前記正規化画像において、前記第１端点及び前記第２端点を通る直線上の座標の内、前記第１端点を含み、前記第１フィルタの評価値が予め定められた値以上となっている座標からなる第１選択領域を特定し、
   前記近似曲線生成部は、前記第１選択領域から前記複数の座標を選択すること
   を特徴とする請求項５に記載の情報処理装置。
9. 前記明暗変化検出部は、前記正規化画像において、前記第１端点及び前記第２端点を通る直線上の座標の内、前記第２端点を含み、前記第２フィルタの評価値が予め定められた値以上となっている座標からなる第２選択領域を特定し、
   前記近似曲線生成部は、前記第２選択領域から複数の座標を選択し、前記第２選択領域から選択された複数の座標の各々、前記目頭の座標及び前記目尻の座標から、複数の第２近似曲線を生成し、
   前記形状決定部は、前記複数の第２近似曲線から、前記第２境界線として最も好適な第２近似曲線を選択し、当該選択された第２近似曲線を前記下まぶたの形状とすること
   を特徴とする請求項８に記載の情報処理装置。
10. 前記形状決定部は、前記複数の第２近似曲線の内、前記正規化画像において、前記第２近似曲線上の画素の輝度値の平均値が最も小さい第２近似曲線を、前記第２境界線として最も好適と判断すること
    を特徴とする請求項９に記載の情報処理装置。
11. 前記第１近似曲線は、前記目頭の座標を通り、前記選択された複数の座標の内の１つの座標を頂点とする二次関数と、前記目尻の座標を通り、当該１つの座標を頂点とする二次関数とにより特定されること
    を特徴とする請求項１から１０の何れか一項に記載の情報処理装置。
12. 前記形状決定部は、前記複数の第１近似曲線の内、前記正規化画像において、前記第１近似曲線上の画素の輝度値の平均値が最も小さい第１近似曲線を、前記第１境界線として最も好適と判断すること
    を特徴とする請求項１から１１の何れか一項に記載の情報処理装置。
13. 人物の顔の画像である顔画像から、眼が存在する領域である眼存在領域を特定する眼存在領域特定部と、
    前記顔画像から、前記眼存在領域の画像を切り出し、当該切り出された画像を予め定められたサイズの正規化画像に変換する正規化処理部と、
    前記正規化画像の縦方向において、画素毎に明るさの変化の大きさを検出することで、前記眼と上まぶたとの間の第１境界線の最上点である第１端点の座標及び前記眼と下まぶたとの間の第２境界線の最下点である第２端点の座標を推定する明暗変化検出部と、
    前記正規化画像における、前記眼の目頭の座標及び前記眼の目尻の座標を推定するまぶた基準位置推定部と、
    前記正規化画像において、前記第１端点及び前記第２端点を通る直線上から選択された複数の座標の各々、前記目頭の座標及び前記目尻の座標から、複数の第１近似曲線を生成する近似曲線生成部と、
    前記複数の第１近似曲線から、前記第１境界線として最も好適な第１近似曲線を選択することで、前記第１境界線における最上点を確定した確定端点の座標を決定する近似曲線選択部と、
    前記正規化画像において、前記目頭の座標を通る縦方向に延びる直線から選択された複数の第１選択座標の各々、前記目尻の座標を通る縦方向に延びる直線上から選択された複数の第２選択座標の各々、及び、前記確定端点の座標から、近似曲線である複数の補正曲線を生成する補正曲線生成部と、
    前記複数の補正曲線から、前記第１境界線として最も好適な補正曲線を選択し、当該選択された補正曲線を前記上まぶたの形状として決定する形状決定部と、を備えること
    を特徴とする情報処理装置。
14. 開眼度算出部をさらに備え、
    前記形状決定部は、前記決定された上まぶたの形状と、前記目頭の座標と、前記目尻の座標と、前記第２端点とから、前記眼の形状を示す形状パラメータを算出し、
    前記開眼度算出部は、前記形状パラメータに基づいて、前記眼の開き度合いである開眼度を算出すること
    を特徴とする請求項１から１３の何れか一項に記載の情報処理装置。
15. 前記開眼度に基づいて、前記人物の眠気の程度である居眠り度を算出する居眠り度算出部をさらに備えること
    を特徴とする請求項１４に記載の情報処理装置。
16. 人物の顔の画像である顔画像から、眼が存在する領域である眼存在領域を特定し、
    前記顔画像から、前記眼存在領域の画像を切り出し、当該切り出された画像を予め定められたサイズの正規化画像に変換し、
    前記正規化画像の縦方向において、画素毎に明るさの変化の大きさを検出することで、前記眼と上まぶたとの間の第１境界線の最上点である第１端点の座標及び前記眼と下まぶたとの間の第２境界線の最下点である第２端点の座標を推定し、
    前記正規化画像における、前記眼の目頭の座標及び前記眼の目尻の座標を推定し、
    前記正規化画像において、前記第１端点及び前記第２端点を通る直線上から選択された複数の座標の各々、前記目頭の座標及び前記目尻の座標から、複数の第１近似曲線を生成し、
    前記複数の第１近似曲線から、前記第１境界線として最も好適な第１近似曲線を選択し、当該選択された第１近似曲線を前記上まぶたの形状として決定すること
    を特徴とする情報処理方法。
17. 人物の顔の画像である顔画像から、眼が存在する領域である眼存在領域を特定し、
    前記顔画像から、前記眼存在領域の画像を切り出し、当該切り出された画像を予め定められたサイズの正規化画像に変換し、
    前記正規化画像の縦方向において、画素毎に明るさの変化の大きさを検出することで、前記眼と上まぶたとの間の第１境界線の最上点である第１端点の座標及び前記眼と下まぶたとの間の第２境界線の最下点である第２端点の座標を推定し、
    前記正規化画像における、前記眼の目頭の座標及び前記眼の目尻の座標を推定し、
    前記正規化画像において、前記第１端点及び前記第２端点を通る直線上から選択された複数の座標の各々、前記目頭の座標及び前記目尻の座標から、複数の第１近似曲線を生成し、
    前記複数の第１近似曲線から、前記第１境界線として最も好適な第１近似曲線を選択することで、前記第１境界線における最上点を確定した確定端点の座標を決定し、
    前記正規化画像において、前記目頭の座標を通る縦方向に延びる直線から選択された複数の第１選択座標の各々、前記目尻の座標を通る縦方向に延びる直線上から選択された複数の第２選択座標の各々、及び、前記確定端点の座標から、近似曲線である複数の補正曲線を生成し、
    前記複数の補正曲線から、前記第１境界線として最も好適な補正曲線を選択し、当該選択された補正曲線を前記上まぶたの形状として決定すること
    を特徴とする情報処理方法。

Images