JP2006209582A - 開眼度推定装置および開眼度推定方法 - Google Patents

Abstract

【課題】開眼度と無関係な個人差の影響を排除しつつ、開眼度を適切に推定可能な、開眼度推定装置および開眼度推定方法を提供する。
【解決手段】画像処理コンピュータ２０は、大別して、開眼度検出部２７と辞書作成部２８とを備える。前処理部２７３は、目領域画像をベクトル化して目領域画像に係る特徴ベクトルを生成する。投影部２７４は、開眼度の識別用の部分空間に、前処理部２７３によって生成された対象ベクトルを射影する。開眼度計算部２７５は、開眼度の識別用の部分空間への対象ベクトルの射影点に基づいて、対象画像に含まれる目の開眼度を推定する。
【選択図】図２

Description

本発明は、開眼度を推定する開眼度推定装置および開眼度推定方法に関する。

従来より、人物の顔を撮影した複数の顔画像の中から、最も目の開いた顔画像を人手で選択することが行われている。例えば、運転免許証に掲載される顔画像は、複数の顔画像の中から、最も目の開いた顔画像を人手で選択することにより得られている。しかし、このような人手による選択作業は煩雑であるため、開眼度を自動的に推定して、複数の顔画像の中から、最も目の開いた顔画像を自動的に選択できるようにすることが望まれている。

なお、開眼度を自動的に推定する技術としては、例えば、特許文献１および特許文献２の技術が知られている。特許文献１の技術では、目領域画像の縦方向の連続黒色画素数から開眼度を推定しており、特許文献２の技術では、目領域画像に含まれる水平エッジの割合から開眼度を推定している。

特開平６−３２１５４号公報 特開２０００−１５８１６号公報

しかし、特許文献１の技術は、目の大きさ等の個人差の影響を受けやすく、開眼度を適切に推定できないという問題がある。また、特許文献２の技術は、推定精度が不充分であり、やはり、開眼度を適切に推定できないという問題がある。

本発明は、これらの問題を解決するためになされたもので、開眼度と無関係な個人差の影響を排除しつつ、開眼度を適切に推定可能な、開眼度推定装置および開眼度推定方法を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、人物の目の開眼度を推定する開眼度推定装置であって、目領域画像をベクトル化して目領域画像に係る特徴ベクトルを生成するベクトル化手段と、開眼度の推定対象となる目を含む目領域画像である対象画像に係る特徴ベクトルである対象ベクトルを、開眼度の識別用の部分空間に射影する射影手段と、前記部分空間への前記対象ベクトルの射影点に基づいて、前記対象画像に含まれる目の開眼度を推定する推定手段とを備える。

請求項２の発明は、請求項１に記載の開眼度推定装置において、開眼度の推定に先立って、開き具合に関する状態が既知の目を含む目領域画像である学習画像に係る特徴ベクトルである学習ベクトルを学習させることにより、前記部分空間を生成する。

請求項３の発明は、請求項２に記載の開眼度推定装置において、前記部分空間の生成にあたって、複数の学習画像に係る学習ベクトルの前記部分空間への射影点の配列順序に、学習画像に含まれる目の開き具合に関する状態についての順序が反映される。

請求項４の発明は、請求項１ないし請求項３のいずれかに記載の開眼度推定装置において、前記ベクトル化手段は、目領域画像における輝度値を所定方向に積分して得られるヒストグラムの極値近傍の特徴量に基づいて、目領域画像をベクトル化する。

請求項５の発明は、請求項２または請求項３に記載の開眼度推定装置において、前記推定手段が、学習ベクトルの前記部分空間への射影点の分布と、前記対象ベクトルの前記部分空間への射影点との相対的な位置関係に基づいて、開眼度を推定する。

請求項６の発明は、人物の目の開眼度を推定する開眼度推定方法であって、目領域画像をベクトル化して目領域画像に係る特徴ベクトルを生成するベクトル化工程と、開眼度の推定対象となる目を含む目領域画像である対象画像に係る特徴ベクトルである対象ベクトルを、開眼度の識別用の部分空間に射影する射影工程と、前記部分空間への前記対象ベクトルの射影点に基づいて、前記対象画像に含まれる目の開眼度を推定する推定工程とを備える。

請求項１ないし請求項６の発明によれば、開眼度と無関係な個人差の影響を排除しつつ、開眼度を適切に推定可能である。

請求項２または請求項３の発明によれば、開き具合が異なる目の画像に係る特徴ベクトルが部分空間により適切に分離されるので、開眼度推定装置が開眼度をより適切に推定可能となる。

請求項３の発明によれば、部分空間が、目の開き具合に関する状態についての順序を反映したものとなるので、開眼度をより適切に推定可能となる。

請求項４の発明によれば、特徴ベクトルが少ない次元で目の状態を的確に反映しているので、開眼度を容易に推定可能となる。

請求項５の発明によれば、開眼度が学習結果を適切に反映したものとなる。

本発明の第１実施形態および第２実施形態に係る開眼度推定装置１Ａ，１Ｂは、人物の目を含む画像（以下では、「目領域画像」とも称する）から、人物の目の開き具合を開眼度として推定する。このような開眼度の推定は、開き具合に関する状態が既知の目を含む複数の目領域画像を、開眼度推定装置１Ａ，１Ｂにあらかじめ学習させておくことにより実現される。

以下では、このような開眼度推定装置１Ａ，１Ｂの構成および動作について説明するが、説明にあたっては、開眼度の推定対象となる目を含む目領域画像を「対象画像」と称し、上述の学習のために与えられる目領域画像を「学習画像」と称する。

｛１ 第１実施形態｝
＜１．１ ハードウエア構成＞
図１は、本発明の第１実施形態に係る開眼度推定装置１Ａのハードウエア構成を示すブロック図である。

図１に示すように、開眼度推定装置１Ａは、画像入力装置１０と画像処理コンピュータ２０とを備える。画像入力装置１０は、例えば、デジタルカメラやスキャナであり、画像を生成して出力する。画像処理コンピュータ２０は、少なくともＣＰＵ２１およびメモリ２２を備えるコンピュータであり、インストールされた開眼度推定プログラム２３を実行することにより、入力された画像から開眼度を推定する。画像入力装置１０と画像処理コンピュータ２０とは、通信可能に接続され、画像入力装置１０から画像処理コンピュータ２０へは、画像処理コンピュータ２０の処理対象となる画像（画像データ）が与えられる。なお、画像が記録された記録媒体を画像処理コンピュータ２０に読み取らせて画像処理コンピュータ２０に画像を与えることや、電気通信回線を経由して画像処理コンピュータ２０に画像を与えることも妨げられない。

＜１．２ 画像処理コンピュータの機能的構成＞
図２は、画像処理コンピュータ２０の機能的構成を示すブロック図である。図２における、開眼度検出部２７（顔領域検出部２７１・開眼度推定部２７２（前処理部２７３・投影部２７４・開眼度計算部２７５）・出力部２７６）および辞書作成部２８（前処理部２８１・部分空間生成部２８２・射影部２８３・開眼度計算式算出部２８４）は、画像処理コンピュータ２０が開眼度推定プログラム２３を実行することにより実現される機能を示す機能的ブロックである。もちろん、これらの機能を、専用の画像処理プロセッサによってハードウエア的に実現してもよい。

図２に示すように、画像処理コンピュータ２０は、大別して、開眼度検出部２７と辞書作成部２８とを備える。以下では、これらの開眼度検出部２７および辞書作成部２８について、より詳細に説明する。

＜１．２．１ 開眼度検出部＞
開眼度検出部２７は、基底ベクトルデータベース２５および開眼度データベース２６を参照して、入力された人物の画像から開眼度を推定する。開眼度検出部２７は、入力された人物の画像の中の顔領域を検出する顔領域検出部２７１と、顔領域の画像から開眼度を推定する開眼度推定部２７２と、開眼度推定部２７２が推定した開眼度を出力する出力部２７６とを備える。

顔領域検出部２７１における顔領域の検出方法は制限されないが、例えば、テンプレートマッチング等の検出方法を採用可能である。開眼度推定部２７２は、以下で説明する前処理部２７３、投影部２７４および開眼度計算部２７５を備えて構成される。出力部２７６は、例えば、画像処理コンピュータ２０に設けられたディスプレイに開眼度を視認可能に表示する。

○前処理部；
前処理部２７３は、顔領域の画像の中の、目を含む目領域を推定し、目領域画像をベクトル化して目領域画像に係る特徴ベクトルを生成する。これにより、開眼度検出部２７に人物の画像が入力されると、開眼度の推定対象となる目を含む目領域画像である対象画像に係る特徴ベクトル（以下では、「対象ベクトル」とも称する）が、前処理部２７３において生成されることになる。なお、目領域の推定には、例えば、固有目テンプレートを用いたテンプレートマッチング等の方法を採用可能である。

ここで、目領域画像のベクトル化について、図３を参照しながら説明する。図３に示すように、目領域画像ＥＩのベクトル化にあたっては、目領域画像ＥＩに設定された投影軸ＡＸ（図３では、矩形の目領域画像ＥＩにおける横方向の中心線）に目領域画像ＥＩの輝度値を投影して、輝度値投影ヒストグラムHI(x)が導出される。すなわち、矩形の目領域画像ＥＩの横方向をx軸方向、縦方向をy軸方向とするxy座標系を定義し、目領域画像ＥＩの座標(x,y)における輝度値をI(x,y)とすれば、式（１）に示される輝度値投影ヒストグラムHI(x)が、目領域画像ＥＩのベクトル化にあたって導出される。この輝度値投影ヒストグラムHI(x)は、投影軸ＡＸ（中心線y=y₀）を中心とする±δy₀の範囲の輝度値I(x,y)を、投影軸ＡＸと垂直な方向に積分して得られている。

さらに、目領域画像ＥＩのベクトル化にあたっては、輝度値投影ヒストグラムHI(x)の極値近傍の特徴量が算出され、特徴ベクトルの成分として採用される。より具体的には、輝度値投影ヒストグラムHI(x)の極小値を与えるxをx₀として、式（２）で示される極小値P₁と、式（３）で示される、輝度値投影ヒストグラムHI(x)のx=x₀における凹凸状態P₂とが、特徴ベクトルの成分として採用される。加えて、目領域画像ＥＩのx=x₀における黒画素数P₃も特徴ベクトルの成分として採用される。

このようにして得られる、式（４）に示す３次元の特徴ベクトルは、少ない次元で目の状態を的確に反映しているので、画像処理コンピュータ２０の処理負荷を軽減するという点で有利であり、開眼度を推定することを容易ならしめるという利点を有している。しかし、式（４）に示す特徴ベクトルに代えて、他の特徴ベクトル、例えば、目領域画像ＥＩの各画素の輝度値をラスタスキャン順に並べた特徴ベクトルを採用することも妨げられない。

なお、目領域画像の明るさの差の影響を排除するため、上述のベクトル化に先立って輝度値の正規化を行うことが望ましい。すなわち、目領域画像のエネルギーを「１」とする正規化、換言すれば、式（５）に示すような、目領域画像の各画素の輝度値をラスタスキャン順に並べた特徴ベクトルxのユークリッドノルムを「１」とする正規化を行うことが望ましい。

○投影部；
投影部２７４は、開眼度の識別用の部分空間に、前処理部２７３によって生成された対象ベクトルを射影する。当該部分空間は、基底ベクトルデータベース２５に格納されている基底ベクトルによって張られ、開き具合が異なる目を含む目領域画像に係る特徴ベクトルを分離可能な部分空間となっているとともに、目の個人差の影響を排除した部分空間となっている。したがって、開き具合が異なる目を含む目領域画像に係る特徴ベクトルを当該部分空間に射影すると、射影点は目の開き具合によって大きく変化するのに対して、開き具合が同程度だが人物が異なる目を含む目領域画像に係る特徴ベクトルを当該部分空間に射影しても、射影点が人物によって大きく変化することはない。

なお、当該部分空間の次元は制限されないが、以下では、当該部分空間が、ひとつの基底ベクトルwによって張られる１次元の部分空間であるとして説明を進める。したがって、投影部２７４による当該部分空間への対象ベクトルxへの射影点は、式（６）に示すように、特徴判別軸となる基底ベクトルwへの対象ベクトルxの射影点p（内積）として表される。

○開眼度計算部；
開眼度計算部２７５は、開眼度の識別用の部分空間への対象ベクトルxの射影点pに基づいて、対象画像に含まれる目の開眼度を推定する。より具体的には、開眼度計算部２７５は、学習済の学習画像に係る特徴ベクトル（以下では、「学習ベクトル」とも称する）の部分空間への射影点の分布と、対象ベクトルの部分空間への射影点との相対的な位置関係に基づいて開眼度を算出することにより、学習結果を適切に反映した開眼度を得ている。

なお、開眼度rは、さらに具体的には、式（７）に示す開眼度計算式に基づいて計算されるが、開眼度計算式を具体的に決定するために必要なパラメータM,mは、部分空間への学習ベクトルの射影点の分布範囲を特定するパラメータとなっており、開眼度データベース２６に格納されている。したがって、開眼度計算部２７５は、開眼度rの算出にあたって、開眼度データベース２６を参照してパラメータM,mの読み込みを行い、パラメータM,mによって具体的に決定される開眼度計算式に基づいて、連続的な値をとる開眼度rの計算を行う。

＜１．２．２ 辞書作成部＞
辞書作成部２８は、入力された学習画像に基づいて、基底ベクトルデータベース２５および開眼度データベース２６を構築する。基底ベクトルデータベース２５および開眼度データベース２６は、学習画像に対する学習結果を蓄積した辞書となっている。なお、辞書作成部２８は、以下で説明する前処理部２８１、部分空間生成部２８２、射影部２８３および開眼度計算式算出部２８４を備えている。

○前処理部；
前処理部２８１は、開眼度検出部２７の前処理部２７３と同様に、学習画像をベクトル化して学習画像に係る学習ベクトルを生成する。なお、前処理部２８１には、複数の人物についての、状態が異なる目を含む学習画像が入力されるので、以下では、前処理部２８１が生成する学習ベクトルを、状態を示すインデックスiおよび人物を示すインデックスjを用いて、x_i ^(j)と表記する。

○部分空間生成部；
部分空間生成部２８２は、前処理部２８１が生成した学習ベクトルx_i ^(j)を学習して、開眼度の識別用の部分空間を生成する。より具体的には、部分空間生成部２８２は、前処理部２８１が生成した学習ベクトルx_i ^(j)に基づいて、当該部分空間を張る基底ベクトルを生成し、生成した基底ベクトルを基底ベクトルデータベース２５へ格納する。なお、基底ベクトルの生成には、線形サポートベクトルマシンや判別分析等の、学習ベクトルx_i ^(j)の集合を目の開き具合に応じて分離する各種手法を利用可能であるが、ここでは、線形サポートベクトルマシンを利用する方法を例として、基底ベクトルの生成について説明する。

まず、説明の便宜上、学習画像は、目が完全に開いた状態に対応する開眼クラスＣ₀(i=0とする)と、目が完全に閉じた状態に対応する閉眼クラスＣ₁（i=1とする）との２つのクラスに分類可能であるとする。

この場合、部分空間生成部２８２は、学習ベクトルx_i ^(j)を与えられると、特徴ベクトルx_i ^(j)の学習を行い、学習ベクトルx_i ^(j)の集合に含まれる開眼クラスＣ₀の特徴ベクトルおよび閉眼クラスＣ₁の特徴ベクトルを分離する分離超平面を決定する。そして、部分空間生成部２８２は、決定した分離超平面の法線ベクトルwを、基底ベクトルとして基底ベクトルデータベース２５に格納する。

このような分離超平面の決定は、周知のように、式（８）に示す制約条件の元で、式（９）に示すような目的関数を最小とする２次計画問題に帰着される。

式（８）におけるy_j ⁽ⁱ⁾は、人物iのj番目の学習画像のクラスラベルを表しており、目が開いた状態ではy_j ⁽ⁱ⁾=+1となり、目が閉じた状態ではy_j ⁽ⁱ⁾=-1となる。また、式（８）における写像φは、カーネルトリックに用いられる写像を意味している。なお、式（９）の右辺第２項はソフトマージンの項と呼ばれ、定数Ｃは、間違いの大きさの程度の許容範囲を制御する定数である。そして、この２次計画問題を解くことによって得られる分離超平面Ｈは、ベクトルｂをバイアスベクトルとして、式（１０）で表される。

以上により、開眼度推定装置１Ａは、開き具合に関する状態が既知の目を含む目領域画像に係る特徴ベクトルを学習して、開眼度の識別用の部分空間を生成したことになる。当該部分空間は、開き具合の異なる目の画像に係る特徴ベクトルを適切に分離可能であるので、当該部分空間を用いることにより、開眼度推定装置は、開眼度を適切に推定可能となる。

○射影部；
先述したように、開眼度計算部２７５は、学習ベクトルの部分空間への射影点の分布を、開眼度の計算に利用している。したがって、開眼度推定装置１Ａでは、開眼度の推定に先立って、識別用の部分空間への学習ベクトルの射影点をあらかじめ調べておく必要ある。そこで、射影部２８３では、式（１１）にしたがって、前処理部２８１が生成した特徴ベクトルx_i ^(j)について、基底ベクトルデータベース２５を参照して部分空間への射影を行い、射影点p_i ^(j)を導出する。

○開眼度計算式算出部；
開眼度計算式算出部２８４は、射影部２８３で導出した射影点p_i ^(j)に基づいて、開眼度rを計算するための開眼度計算式を決定する。この開眼度計算式は、学習ベクトルx_i ^(j)の部分空間への射影点p_i ^(j)の特徴判別軸上の分布の中で、対象ベクトルの射影点pがどのあたりに位置しているかによって、開眼度rを計算することができるような算出式となっている。より具体的には、開眼度計算式算出部２８４は、射影点p_i ^(j)の分布の両端すなわち射影点p_i ^(j)の最大値Mと最小値mを式（１２）および式（１３）にしたがって算出し、開眼度データベース２６に格納する。これにより、開眼度計算部２７５が使用する開眼度計算式がパラメータM,mにより具体的に決定されたことになる。

なお、上記説明から明らかなように、開眼度推定装置１Ａでは、学習画像における目の開き具合は２つに分離されているに過ぎないが、算出する開眼度rは連続的なパラメータとなっている。

また、開眼度計算式によって算出される開眼度rは、一般に０と１との間をとり、値が大きくなるほど、目が開いた状態に近いことを意味しているが、学習画像の数が少ない場合や、学習画像に含まれる目と状態が大きく異なる目の開眼度rを算出した場合には、開眼度rが０と１との間に含まれない場合もある。このような場合、当該目を含む目領域画像（対象画像）を学習画像に含めて辞書作成部２８に再学習をさせることにより、開眼度rを０と１との間に収めることができる。もちろん、これらの場合のみならず、対象画像が与えられるごとに、与えられた対象画像を学習画像に含めて辞書作成部２８に再学習をさせるようにすることも妨げられない。

＜１．３ 動作＞
以下では、開眼度推定装置１Ａの動作について、開眼度検出部２７により開眼度を検出する場合と、辞書作成部２８により辞書を作成する場合とに分けて順次説明する。

＜１．３．１ 開眼度の検出＞
図４は、開眼度を検出する場合の開眼度推定装置１Ａの動作を示すフローチャートである。

図４に示すように、画像入力装置１０から人物の画像が入力されると（ステップＳ１０１）、顔領域検出部２７１により、当該画像から顔領域が検出され（ステップＳ１０２）、前処理部２７３により、顔領域の画像から目領域が推定され、目領域画像が生成される（ステップＳ１０３）。ステップＳ１０３において生成された目領域画像は、開眼度の推定対象となる目を含む目領域画像（対象画像）となる。

続いて、前処理部２７３により、対象画像の輝度の正規化が行われた後に（ステップＳ１０４）、対象画像がベクトル化され（ステップＳ１０５）、対象画像に係る対象ベクトルが投影部２７４により開眼度の識別用の部分空間に射影される（ステップＳ１０６）。これにより、開眼度の推定の基礎となる射影点が得られたことになる。

そして、ステップＳ１０７では、開眼度計算部２７５により、射影点に基づいて開眼度rが開眼度計算式を用いて計算され、開眼度の検出に係る動作が完了する。

このような開眼度の検出動作では、目の個人差の影響を排除した部分空間へ対象ベクトルを射影し、その射影点に基づいて開眼度を計算しているので、目の開眼状態と無関係な個人差の影響を排除しつつ、開眼度を適切に特定可能である。

＜１．３．２ 辞書の作成＞
図５は、開眼度の推定に先立って実行される、辞書を作成する場合の動作、すなわち、辞書作成部２８による基底ベクトルデータベース２５および開眼度データベース２６の構築に係る動作を示すフローチャートである。

図５に示すように、画像入力装置１０から目領域画像（学習画像）が入力されると（ステップＳ２０１）、前処理部２８１により学習画像の輝度の正規化が行われた後に（ステップＳ２０２）、学習画像がベクトル化される（ステップＳ２０３）。

続いて、部分空間生成部２８２により学習ベクトルに基づく基底ベクトルが生成されて、開眼度の識別用の部分空間が生成され（ステップＳ２０４）、射影部２８３により学習ベクトルがステップＳ２０４で生成された部分空間へ射影される（ステップＳ２０５）。

さらに続いて、開眼度計算式算出部２８４により、パラメータM,mが算出され、ステップＳ１０７で用いる開眼度計算式が具体的に決定される（ステップＳ２０６）。

そして、ステップＳ２０７では、ステップＳ２０４で生成された部分空間を張る基底ベクトルおよびステップＳ２０６で生成された開眼度計算式を具体的に決定するパラメータM,mが、それぞれ、基底ベクトルデータベース２５および開眼度データベース２６に格納され、辞書の作成が完了する。

｛第２実施形態｝
本発明の第２実施形態に係る開眼度推定装置１Ｂは、第１実施形態に係る開眼度推定装置１Ａと類似の構成を有する。したがって、開眼度推定装置１Ａの構成に関する図１および図２の説明は、開眼度推定装置１Ｂについても当てはまる。

しかし、開眼度推定装置１Ｂは、開眼度推定装置１Ａと異なり、開眼度の識別用の部分空間の生成にあたって、同一人物の目を含む複数の学習画像に係る学習ベクトルの当該部分空間への射影点の配列順序に、学習画像に含まれる目の開き具合に関する状態についての順序が反映される。したがって、当該部分空間は、目領域画像に含まれる目の開き具合を一定方向（例えば、閉じた状態から開いた状態）に変化させてゆくと、当該目領域画像に係る特徴ベクトルの射影点の位置も一定方向に変化してゆくような部分空間となっており、開眼度をより適切に推定するために有効な部分空間となっている。以下では、当該部分空間の生成について説明するが、説明にあっては、目の開き具合に関する状態についての配列順序を考慮したこのような部分空間を「順序付け保存部分空間」と称する。

＜２．１ 順序付け保存部分空間の生成＞
図６は、順序付け保存部分空間の生成に係る開眼度推定装置１Ｂの動作を示すフローチャートである。以下、図６のフローチャートにそって、開眼度推定装置１Ｂにおける順序付け保存部分空間の生成について説明する。なお、開眼度推定装置１Ｂにおいても、学習画像が開眼クラスＣ₀と閉眼クラスＣ₁とに分類可能であるとともに、順序付け保存部分空間の次元は１次元であるとする。また、開眼クラスＣ₀に属する学習画像と閉眼クラスＣ₁に属する学習画像とは同数であるとする。

図６に示すように、画像入力装置１０から目領域画像（学習画像）が入力されると（ステップＳ３０１）、前処理部２８１により学習画像の輝度の正規化が行われた後に（ステップＳ３０２）、学習画像がベクトル化される（ステップＳ３０３）。

続いて、基底ベクトルeによって張られる順序付け保存部分空間への学習ベクトルの射影点のクラス間分散S_bおよびクラス内分散S_wが計算される（ステップＳ３０４およびステップＳ３０５）。

クラス間分散S_bおよびクラス内分散S_wの計算にあたっては、まず、クラスＣ₀に属する学習ベクトルの射影点の平均値m₀（式（１４）参照）およびクラスＣ₁に属する学習ベクトルの射影点の平均値m₁（式（１５）参照）が算出される。

ここで、学習ベクトルX_i ^(j)は、人物jの状態iの学習画像に係る特徴ベクトルであり、基底ベクトルeは、順序付け保存部分空間を張る基底ベクトルである。また、Ｎ₀は学習画像数、Ｋは状態数、Ｐは人物数である。さらに、式（１４）におけるΣ⁰および式（１５）におけるΣ¹は、それぞれ、クラスＣ₀に属する学習ベクトルおよびクラスＣ₁に属する学習ベクトルについて和をとることを意味している。このようにして得られた平均値m₀およびm₁を用いれば、全学習ベクトルの射影点の平均値mは、式（１６）で表される。

これらの平均値m，m₀およびm₁を用いれば、クラス間分散S_bおよびクラス内分散S_w（クラスＣ₀のクラス内分散とクラスＣ₁のクラス内分散との和）は、それぞれ、式（１７）および式（１８）で表される。

続くステップＳ３０６の順序付け保存部分空間の生成にあたっては、式（１９）に示す目的関数f(e)を最小化するような基底ベクトルeを定めることにより、基底ベクトルeによって張られる順序付け保存部分空間が決定される。式（１９）における高さデータh_i ^(j)は、学習ベクトルX_i ^(j)の基礎となった学習画像に含まれる目の開き具合に関する状態と対応する量であり、例えば、目の縦方向の高さである。なお、式（１９）では、高さデータh_i ^(j)は、状態iに関して昇べき順になっているものとしている。

なお、式（１９）における最小化は、（１）クラス内分散S_wをできる限り小さくし（第１項）、（２）クラス間分散S_bをできる限り大きくし（第２項）、（３）高さデータh_i ^(j)についての順序関係を同一人物jの中でできる限り壊さないようにする（第３項）、という３点を考慮した基底ベクトルeの最適化を行うことに相当している。

なお、このような最適化に代えて、制約条件

の元で、式（２１）に示す目的関数f(e)を最小化するような最適化問題を解くようにしてもよい。式（２０）および式（２１）に示す最適化問題は、式（１９）の最適化では目の開き具合に関する状態と対応する量（高さデータh_i ^(j)）が具体的に知られていなければならないのに対して、目の開き具合に関する状態と対応する量の順序関係（式（２０））のみがわかっている場合でも解くことができる。

第２実施形態のこのような開眼度推定装置１Ｂにおいても、開眼度推定装置１Ａと同様に、目の開眼状態と無関係な個人差の影響を排除しつつ、開眼度を適切に推定可能である。

｛変形例｝
上述の説明では、学習画像および学習ベクトルが２クラスに分類される場合について説明したが、３クラス以上に分類される場合も同様に扱うことができる。

本発明の第１実施形態および第２実施形態に係る開眼度推定装置１Ａ，１Ｂのハードウエア構成を示すブロック図である。 画像処理コンピュータ２０の機能的構成を示すブロック図である。 目領域画像ＥＩのベクトル化について説明する図である。 開眼度を検出する場合の開眼度推定装置１Ａの動作を示すフローチャートである。 開眼度の推定に先立って実行される、辞書を作成する場合の開眼度推定装置１Ａの動作を示すフローチャートである。 順序付け保存部分空間の生成に係る開眼度推定装置１Ｂの動作を示すフローチャートである。

符号の説明

１０ 画像入力装置
２０ 画像処理コンピュータ
２３ 開眼度推定プログラム
２５ 基底ベクトルデータベース
２６ 開眼度データベース
２７ 開眼度検出部
２８ 辞書作成部
２７１ 顔領域検出部
２７２ 開眼度推定部
２７３ 前処理部
２７４ 投影部
２７５ 開眼度計算部
２７６ 出力部
２８１ 前処理部
２８２ 部分空間生成部
２８３ 射影部
２８４ 開眼度計算式算出部

Claims (6)

1. 人物の目の開眼度を推定する開眼度推定装置であって、
   目領域画像をベクトル化して目領域画像に係る特徴ベクトルを生成するベクトル化手段と、
   開眼度の推定対象となる目を含む目領域画像である対象画像に係る特徴ベクトルである対象ベクトルを、開眼度の識別用の部分空間に射影する射影手段と、
   前記部分空間への前記対象ベクトルの射影点に基づいて、対象画像に含まれる目の開眼度を推定する推定手段と、
   を備えることを特徴とする開眼度推定装置。
2. 請求項１に記載の開眼度推定装置において、
   開眼度の推定に先立って、開き具合に関する状態が既知の目を含む目領域画像である学習画像に係る特徴ベクトルである学習ベクトルを学習させることにより、前記部分空間を生成することを特徴とする開眼度推定装置。
3. 請求項２に記載の開眼度推定装置において、
   前記部分空間の生成にあたって、複数の学習画像に係る学習ベクトルの前記部分空間への射影点の配列順序に、学習画像に含まれる目の開き具合に関する状態についての配列順序が反映されることを特徴とする開眼度推定装置。
4. 請求項１ないし請求項３のいずれかに記載の開眼度推定装置において、
   前記ベクトル化手段は、目領域画像における輝度値を所定方向に積分して得られるヒストグラムの極値近傍の特徴量に基づいて、目領域画像をベクトル化することを特徴とする開眼度推定装置。
5. 請求項２または請求項３に記載の開眼度推定装置において、
   前記推定手段が、学習ベクトルの前記部分空間への射影点の分布と、前記対象ベクトルの前記部分空間への射影点との相対的な位置関係に基づいて、開眼度を推定することを特徴とする開眼度推定装置。
6. 人物の目の開眼度を推定する開眼度推定方法であって、
   目領域画像をベクトル化して目領域画像に係る特徴ベクトルを生成するベクトル化工程と、
   開眼度の推定対象となる目を含む目領域画像である対象画像に係る特徴ベクトルである対象ベクトルを、開眼度の識別用の部分空間に射影する射影工程と、
   前記部分空間への前記対象ベクトルの射影点に基づいて、前記対象画像に含まれる目の開眼度を推定する推定工程と、
   を備えることを特徴とする開眼度推定方法。
   

Images