JP2017202038A - 判別装置、判別方法、および判別プログラム - Google Patents

Abstract

【課題】被写体の顔が傾いているいないにかかわらず、安定的に、目の候補領域のうち、眉の領域と目の領域とを判別する。【解決手段】 コンピュータが、被写体の顔が写る画像を取得し、前記画像から、人間の目の特徴を有する複数の候補領域を検出し、前記複数の候補領域各々における、前記画像の空間周波数における高周波成分を抽出し、前記複数の候補領域それぞれの前記高周波成分の量に基づき、前記複数の候補領域の各々について、前記目に対応するであろう領域と眉に対応するであろう領域を判別し、判別した結果を出力する処理を実行することを特徴とする目と眉の判別方法。【選択図】図１

Description

本発明は、被写体の目と眉を判別する技術に関する。

画像から被写体の目の領域を検出する技術がある。そして、この目の領域を検出する技術は、様々な技術に利用されている。様々な技術として、例えば、近赤外光源および近赤外カメラを利用して、角膜反射法により、被写体である人物の視線を検出する技術がある（例えば、非特許文献１）。

角膜反射法は、近赤外線光源を用いて角膜上に反射を発生させた状態で画像を撮影し、当該画像から目の領域を検出する。そして、角膜反射法は、目の領域から特定した角膜反射の中心位置と瞳孔の中心位置との位置関係から、被写体の視線を検出する。

ここで、被写体の目の領域を検出する技術としては、例えば、テンプレートマッチングや目の特徴情報を利用する方法が知られている。しかし、テンプレートマッチング等を利用する方法では、眉毛等の目以外の領域も検出されてしまう。そこで、テンプレートマッチング等により目の候補領域を特定した後に、目以外の顔のパーツ（鼻や口）との位置関係から、目の候補領域のうち、目の領域を特定する方法がある。

また、目以外の顔のパーツを利用する方法以外の方法として、目の領域のヒストグラムと眉毛の領域のヒストグラムの形状が異なることに着目して、目領域と眉領域を区別する処理装置もある（例えば、特許文献１）。

特開平０８−３００９７８号公報

大野健彦ら、眼球形状モデルに基づく視線測定システム―視線入力デバイスの実現に向けて―、情報処理学会研究報告２００１−ＨＩ−９３、２００１、ｐｐ４７−５４

例えば、マスクを着用している被写体の画像や、被写体の顔の一部がフレームアウトしている画像からは、鼻や口などのそのほかの顔のパーツを検出することができない。したがって、目以外の顔のパーツとの位置関係を用いて、目の候補領域から、目の領域を特定することができない。

また、特許文献１の手法においては、目以外の顔のパーツは不要であるが、画像に写る被写体の顔が傾いている場合（被写体が首をかしげている場合等）に、目の領域と眉毛の領域とを区別する精度が低下するという問題がある。

そこで、実施例に開示の技術は、被写体の顔が傾いているいないにかかわらず、安定的に、目の候補領域のうち、眉の領域と目の領域とを判別することを目的とする。

本実施例に開示の技術は、一つの側面では、コンピュータが、被写体の顔が写る画像を取得し、前記画像から、人間の目の特徴を有する複数の候補領域を検出し、前記複数の候補領域各々における、前記画像の空間周波数における高周波成分を抽出し、前記複数の候補領域それぞれの前記高周波成分の量に基づき、前記複数の候補領域の各々について、前記目に対応するであろう領域と眉に対応するであろう領域を判別し、判別した結果を出力する処理を実行することを特徴とする目と眉の判別方法に関する。

本実施例に開示の技術は、安定的に、目の候補領域のうち、眉の領域と目の領域とを判別して、目の領域の検出精度を向上させるという効果を奏する。

図１は、実施例１に係る判別装置の機能ブロック図である。 図２は、テンプレートの一例である。 図３Ａおよび図３Ｂは、高周波成分の量と、目領域としての確からしさとの関係を説明するための図である。 図４は、候補領域を管理する候補領域情報管理テーブルのデータ構成例である。 図５は、実施例１に係る判別処理のフローチャートである。 図６は、実施例２に係る判別装置の機能ブロック図である。 図７Ａおよび図７Ｂは、エッジの方向を説明するための説明図である。 図８は、エッジの方向を管理するエッジ方向管理テーブルのデータ構成例である。 図９は、実施例２に係る判別処理のフローチャートである。 図１０は、実施例３に係る判別装置の機能ブロック図である。 図１１は、変換テーブルのデータ構成例である。 図１２は、実施例３に係る判別処理のフローチャートである。 図１３Ａおよび図１３Ｂは、従来技術の問題点を説明するための図である。 図１４Ａおよび図１４Ｂは、顔が傾いたときの顔画像およびエッジ抽出結果である。 図１５は、判別装置のハードウェア構成である。

以下に、本発明に関する検出技術の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

［実施例１］
実施例１は、被写体の顔画像から目の候補領域を検出し、各候補領域の高周波成分に基づき、眉に対応するであろう領域と目に対応するであろう領域を判別する。なお、眉に対応するであろう領域（眉領域）と判断された候補領域が除外された候補領域の情報は、その後、非特許文献１に開示された視線検出技術に利用される。

また、視線検出技術以外にも、眉領域を除外された目の候補領域の情報は、目領域を監視する事で、被写体の瞬きを検出する技術にも利用される。瞬きを検出する技術は、例えば、被写体であるドライバーの眠気検知などに適用され得る。さらに、眉領域を除外された目の候補領域の情報は、目領域の位置変化を監視する事で、被写体のうなずきや顔の向きの変化を検出する技術にも利用される。当該技術は、例えば、体が不自由な人とのコミュニケーションツールなどに適用され得る。

図１は、実施例１に係る判別装置の機能ブロック図である。判別装置１は、被写体の顔画像から目の候補領域を検出し、画像の空間周波数における高周波成分の量に基づき、眉に対応するであろう候補領域（眉領域）を判別するとともに、目領域である可能性が高い候補領域を判別する。なお、高周波成分は、被写体側からの反射率の変化を示し、例えば、エッジや高輝度の孤立画素などとして検出される。

例えば、判別装置１が視線検出のための目領域を判別する場合には、判別装置１は、近赤外光が照射された被写体を撮影するカメラと接続され、カメラから取得した画像を処理対象とする。さらに、判別装置１が視線検出のための目領域を判別する場合には、判別装置１は、被写体の瞳孔位置および近赤外光の角膜反射位置を特定する他の装置や他のアルゴリズムに、処理結果を出力する。他の装置やアルゴリズムは、判別装置１が検出した目領域である可能性が高い候補領域内を処理対象として、瞳孔位置および角膜反射位置を特定する処理を行う。

判別装置１は、取得部１１、候補領域検出部１２、抽出部１３、算出部１４、判定部１５、出力部１６、記憶部１７を含む。取得部１１は、カメラから被写体の顔が写る画像を取得する。なお、カメラが近赤外カメラである場合、画像は近赤外画像である。

候補領域検出部１２は、画像から、人間の目の特徴情報に基づき、被写体の目領域の候補となる候補領域を検出する。通常、候補領域は、左右の目おのおのに関わる２つと、それ以外にも目の特徴情報を有する領域（例えば眉領域）が、候補領域として検出される。

候補領域を検出する方法としては、例えば、以下の方法が知られている。まず、第一の方法は、画像から、虹彩の特徴である暗い円形領域を検出し、その円形領域を含む領域を候補領域として設定する方法である。

具体的には、候補領域検出部１２は、画像の輝度情報を利用して、閾値以下の輝度を有する画素を特定する。さらに、特定された画素をグループ化する。そして、候補領域検出部１２は、グループ化された各領域の形状が略円形かを判定する。円形か否かの判定には、例えば、Ｗｉｌｈｅｌｍ Ｂｕｒｇｅｒら、「Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」、ｐｐ２２４−２２５や、村本健一郎ら、「領域および厳格戦による降雪雪片の形状特徴解析」、電子情報通信学会論文誌、１９９３年５月、Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ、Ｎｏ．５、ｐｐ．９４９−９５８に開示された技術を用いることができる。

グループ化された領域の形状が略円形であることが判定された場合には、候補領域検出部１２は、当該領域を基準に矩形領域を設定する。例えば、矩形領域は、略楕円の中心を重心とし、長辺（Ｘ軸方向）として略楕円の直径の３倍、短辺（Ｙ軸方向）として略楕円の直径を有する。また、例えば、矩形領域は、略楕円の大きさに依存せず、予め設定された大きさの矩形領域であってもよい。

第二の方法は、テンプレートマッチングにより、目の候補領域を検出する。候補領域検出部１２は、画像を所定の大きさの矩形領域に分割し、各矩形領域の代表輝度値を算出する。なお、代表輝度値は、各矩形領域に含まれる画素の平均値などが採用される。

候補領域検出部１２は、例えば、図２に示すテンプレートを利用する。図２は、テンプレートの一例である。

顔画像では、両目の部分が暗く、鼻や頬が明るく撮影されため、テンプレートは、上段左が閾値よりも代表輝度値が小さい矩形領域、上段中央が代表輝度値が閾値以上の矩形領域、上段右が閾値よりも代表輝度値が小さい矩形領域、下段左が代表輝度値が閾値以上の矩形領域、下段右が代表輝度値が閾値以上の矩形領域となっている。そして、このテンプレートに当てはまる領域が特定された場合に、候補領域検出部１２は、上段左の矩形領域と上段右の矩形領域を、候補領域として検出する。

第三の方法は、画像が視線検出用の近赤外画像である場合に、眼球に近赤外光の角膜反射が発生することを利用して、角膜反射の特徴を使って、候補領域を検出する方法である。候補領域検出部１２は、角膜反射の特徴である、高輝度の画素の集合を検出する。例えば、輝度値が０から２５６を取りうる場合に、輝度値が２００以上である画素の集合を検出する。そして、画素の集合の中心を基準に、矩形領域を設定し、この矩形領域を候補領域とする。ただし、集合に含まれる画素数が所定値以上である場合には、角膜反射ではない他の物体（例、白い衣類等）であるとして、その集合を除外してもよい。

なお、目の候補領域の検出方法としては、これら第一の方法から第三の方法以外の方法が採用されてもよい。また、第一の方法から第三の方法のいずれかのみを候補領域検出部１２が実行することとしてもよいし、複数を組み合わせて実行するものとしてもよい。

このように、種々の目の候補領域の検出方法が採用され得るが、例えば、第一の方法においても、眉部分の中に輝度が低い円形領域が検出されると、眉部分に候補領域が設定される。また、第二の方法においても、左右の眉部分が、テンプレートと合致して、左右の眉部分に候補領域が設定される。さらに、第三の方法においても、眉部分に一部肌が見える部分が存在すると、その部分が高輝度の画素の集合として検出されるため、眉部分に候補領域が設定される。よって、候補領域が、眉に相当する領域なのか、目に相当する領域なのかを判別する必要がある。

次に、抽出部１３は、複数の候補領域各々について、高周波成分を抽出する。高周波成分として、例えば、エッジや高輝度の孤立画素（白い点）が抽出される。エッジを抽出する場合には、ｓｏｂｅｌフィルタやｃａｎｎｙフィルタが用いられる。また、高輝度の孤立画素を抽出する場合には、特徴点抽出の一手法であるＦａｓｔ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）が用いられる。

算出部１４は、複数の候補領域それぞれの高周波成分の量を算出する。抽出部１３が高輝度成分としてエッジを抽出する場合、算出部１４は、例えば、各候補領域のエッジ量を算出する。なお、エッジ量は、エッジとして抽出された画素の数である。さらに、算出部１４は、エッジ量からエッジ密度を算出する。エッジ密度は、処理対象の候補領域に含まれる全画素とエッジ量との割合である。例えば、以下の式１により算出される。なお、エッジ密度は、０から１の間の値となり、大きな値ほど、エッジ量が多いことを示す。

一方、抽出部１３が高輝度成分として高輝度の孤立画素を抽出する場合、算出部１４は、例えば、各候補領域の高輝度の孤立画素数を算出する。さらに、算出部１４は、孤立画素数から孤立画素の密度を算出する。孤立画素の密度は、処理対象の候補領域に含まれる全画素と孤立画素数との割合である。例えば、以下の式２により算出される。なお、孤立画素の密度は、０から１の間の値となり、大きな値ほど、孤立画素数が多いことを示す。

次に、判定部１５は、複数の候補領域のそれぞれが、目に対応する領域であるか、眉に対応する領域（眉領域）であるかを判定する。判定部１５は、予め設定された閾値と、高周波成分の密度とを比較する。閾値は、事前の学習により決定される値であって、目と眉を区別するのに適切な値が設定される。例えば、閾値は、０．２である。

ここで、高周波成分の量と、目領域としての確からしさとの関係を説明する。図３Ａおよび図３Ｂは、高周波成分の量と、目領域としての確からしさとの関係を説明するための図である。

図３Ａには、画像の一部（以下、顔画像１００）が示されている。また、図３Ａには、候補領域検出部１２が、被写体の顔画像１００の中から、目の候補領域として候補領域１０１乃至１０４を検出した様子が示されている。

さらに、図３Ｂには、抽出部１３が、顔画像１００における各候補領域１０１乃至１０４を対象に、高周波成分としてエッジを抽出したエッジ画像１１０が示されている。なお、図３Ａにおける候補領域１０１は、図３Ｂにおける候補領域１１１に対応し、図３Ａにおける候補領域１０２は、図３Ｂにおける候補領域１１２に対応し、図３Ａにおける候補領域１０３は、図３Ｂにおける候補領域１１３に対応し、図３Ａにおける候補領域１０４は、図３Ｂにおける候補領域１１４に対応する。

図３Ａおよび図３Ｂに示されるように、眉に対応する候補領域１１３および１１４からは、目に対応する候補領域１１１および１１２と比較して、より多くのエッジが検出される。つまり、エッジ密度が所定値（閾値）以上となる。したがって、判定部１５は、予め設定された閾値と、高周波成分の量（または密度）とを比較することで、候補領域各々について、眉領域であるかを判別することができる。なお、高周波成分として、高輝度の孤立画素が抽出された場合にも、眉領域からはより多くの孤立画素が検出されることとなるため、候補領域の孤立画素の密度が所定値（閾値）以上である場合に、当該候補領域は眉に対応すると判別することができる。

次に、出力部１６は、判定部１５の判定結果を出力する。例えば、出力部１６は、複数の候補領域のうち、眉領域を除外した候補領域の情報を、出力する。図３Ａおよび図３Ｂに示される候補領域１０１乃至１０４のうち、眉領域である１０３および１０４を除外した候補領域（１０１および１０２）の情報が出力される。なお、出力先は、例えば、視線検出のための瞳孔位置や角膜反射位置を検出するアルゴリズムや装置である。

記憶部１７は、判別装置１が実行する各種処理に必要な情報を記憶する。例えば、記憶部１７は、候補領域として検出された領域に関する候補領域情報や、各種閾値情報を記憶する。

図４は、候補領域を管理する候補領域情報管理テーブルのデータ構成例である。候補領域情報管理テーブルのデータは、記憶部１７に記憶される。

候補領域情報管理テーブルは、候補領域ＩＤ、各候補領域の位置情報（右上座標、左上座標、右下座標、左下座標）、判定結果を対応付けて記憶する。候補領域ＩＤは、各候補領域を識別する情報である。各候補領域の位置情報は、画像における各候補領域の位置の情報である。判定結果は、判定部１５による判定結果が格納される。例えば、判定部１５が、眉領域であると判定した場合には「０」が、眉領域ではない（目領域である可能性が高い）と判定した場合には「１」が格納される。

図４は、候補領域１０１乃至１０３の判定が終了し、候補領域１０４の判定結果が得られる前の候補領域情報管理テーブルを示す。つまり、候補領域１０１および１０２には、判定結果「１」が、候補領域１０３には、判定結果「０」が格納され、候補領域１０４の判定結果は「空（Ｎｕｌｌ）」である。

図５は、実施例１に係る判別処理のフローチャートである。まず、取得部１１は、カメラから処理対象の画像を取得する（Ｏｐ．１）。次に、候補領域検出部１２は、画像から目の候補領域を検出する（Ｏｐ．２）。候補領域の検出処理については、上記第一の方法乃至第三の方法のいずれかもしくは複数、または、その他公知の手法が利用される。さらに、候補領域検出部１２は、検出した各候補領域の情報を、候補領域情報管理テーブル（記憶部１７）に格納する。ただし、Ｏｐ．２の時点では、全ての候補領域について、判定結果は空（Ｎｕｌｌ）である。

なお、処理対象の画像には、被写体の顔の少なくとも一部が写っていることが前提となるが、処理Ｏｐ．２に先駆けて、判別装置１は、顔検出等の技術により顔が写った画像であるかを判定し、顔が写った画像である場合に、Ｏｐ．２以降の処理を実行してもよい。

抽出部１３は、各候補領域内の高周波成分を抽出する（Ｏｐ．３）。例えば、エッジや高輝度の孤立画素が、上記方法のいずれか、またはその他公知の手法により抽出される。

算出部１４は、高周波成分が抽出された各候補領域のうち、いずれかを処理対象として、高周波成分の量を算出する（Ｏｐ．４）。例えば、算出部１４は、エッジ量を求め、さらに、エッジ密度を算出する。または、算出部１４は、高輝度の孤立画素数を求め、さらに、孤立画素の密度を算出する。

次に、判定部１５は、高周波成分の量が閾値よりも大きいかを判定する（Ｏｐ．５）。そして、高周波成分の量が閾値よりも大きい場合には（Ｏｐ．５ＹＥＳ）、判定部１５は、処理対象の候補領域は眉領域であるとして、候補領域情報管理テーブルの判定結果に「０」を格納する（Ｏｐ．６）。一方、高周波成分の量が閾値以下である場合には（Ｏｐ．５ＮＯ）、判定部１５は、処理対象の候補領域は眉領域ではないとして、候補領域情報管理テーブルの判定結果に「１」を格納する（Ｏｐ．７）。

次に、判定部１５は、全ての候補領域の処理が終了したかを判定し（Ｏｐ．８）、全ての候補領域についての処理が終了するまで、Ｏｐ．４乃至Ｏｐ．８の処理を繰り返す（Ｏｐ．８ＮＯ）。全ての候補領域について処理が終了した場合（Ｏｐ．８ＹＥＳ）、出力部１６は、処理結果を出力する（Ｏｐ．９）。例えば、出力部１６は、管候補領域情報管理テーブルにおいて、判定結果が「１」となっている候補領域の情報を、他のアルゴリズムまたは他の装置へ出力する。

以上のように、実施例１に係る判別装置１は、各候補領域の高周波成分の量に基づき、目領域としては不適切な領域（例えば眉領域）を判別することができるため、目領域の検出精度を向上させることができる。引いては、目領域としては不適切な領域（例えば眉領域）を除外して、後段の処理に目領域を出力することができるため、後段の処理の精度を向上させることができる。

さらに、目の候補領域を検出する際に、目と類似する眉領域も検出してしまうという従来の課題を、高周波成分の量に着目して眉領域である可能性が高い候補領域を削除することで、解決する。よって、判別装置１は、目の候補領域を検出する技術の精度に寄らず、眉領域を除外した検出結果を生成し、出力することができる。

［実施例２］
実施例２は、高周波成分としてエッジを抽出するとともに、エッジの方向を考慮して、目の候補領域の中から、目と眉を判別する。図６は、実施例２に係る判別装置の機能ブロック図である。判別装置２は、判別装置１と同様に、目と眉を判別するが、特定の方向のエッジの密度を利用する。

判別装置２は、取得部１１、候補領域検出部１２、抽出部２３、特定部２０、算出部２４、判定部１５、出力部１６、記憶部２７を含む。なお、実施例１における判別装置１と同様の機能を有する処理部には、同一の名称および符号を付し、説明を省略する。よって、以下では、抽出部２３、特定部２０、算出部２４、記憶部２７について説明する。

抽出部２３は、実施例２における高周波成分として、エッジを抽出する。このとき、抽出部２３は、ラべリング処理を実行することで、各エッジを形成するエッジ画素をグループ化する。

具体的には、抽出部２３は、エッジ画素として検出された各画素のそれぞれを処理対象として、処理対象のエッジ画素に隣接する各周辺画素（８画素）に他のエッジ画素が存在するかを判定する。存在する場合には、抽出部２３は、自画素と他のエッジ画素とを一つのエッジを形成する画素として連結する処理を繰り返すことで、エッジの端点を検索する。ただし、互いにすでに連結済みである場合には、連結処理は実行されない。そして、端点の検索までに連結されたエッジ画素を、一つのエッジを形成する画素としてグループ化する。

なお、あるエッジ画素の周辺画素８画素のうち、３画素以上がエッジ画素である場合には、処理対象のエッジ画素が２つ以上のエッジの交点であるため、抽出部２３は、２つ以上のエッジに分割する。なお、分割された各エッジには、当該エッジ画素（交差点）が含まれる。

特定部２０は、抽出部２３が抽出したエッジの方向を特定するとともに、全候補領域における全エッジの向きから、支配的なエッジの向きを特定する。なお、支配的なエッジの向きは、以下、方向Ａとする。

図７Ａおよび図７Ｂは、エッジの方向を説明するための説明図である。まず、抽出部２３は、ラべリング処理により、図７Ａに示す画素ａ１乃至ａ３を一本のエッジａを形成するエッジ画素としてグループ化する。また、抽出部２３は、画素ｂ１乃至ｂ６を一本のエッジｂを形成するエッジ画素としてグループ化する。抽出部２３は、画素ｃ１乃至ｃ７を一本のエッジｃを形成するエッジ画素としてグループ化する。

次に、特定部２０は、各エッジの方向を判定する。各エッジに含まれる各エッジ画素について、当該エッジ画素を囲む８画素のうち、他のエッジ画素が存在する方向の角度を求める。例えば、エッジａのエッジ画素ａ１については、エッジ画素ａ１を囲む８画素のうち、右上４５°に他のエッジ画素ａ２が存在する。よって、特定部２０は、エッジ画素ａ１について、角度４５°を求める。同様に、エッジ画素ａ２についても、４５°が求められる。

さらに、エッジ画素ａ３については、左下に画素ａ２が存在するため、角度としては、２２５°が求められるが、本実施例においては、１８０°以上の角度については、１８０°を除算する。よって、エッジ画素ａ３についても、同様に４５°が求められる。

次に、特定部２０は、同一のエッジを形成する各エッジ画素に対して求められた角度の平均を求める。エッジａに関しては、平均値４５°が求められる。

次に、特定部２０は、平均値から、各エッジの方向を決定する。図７Ｂは、エッジの平均角度と方向の対応関係を示す図である。なお、図７Ｂの例では、エッジの方向として、８つの方向を定義している。例えば、平均角度が４５°のエッジａについては、もっとも近い方向ＩＩＩが、エッジの方向として特定される。なお、図７Ｂにおける破線を境界として、特定部２０は、隣接する２つの方向のいずれに属するかを判断する。例えば、平均角度が１０°の場合には、対応するエッジの方向はＩとなる。

図８は、エッジの方向を管理するエッジ方向管理テーブルのデータ構成例である。エッジ方向管理テーブルは、候補領域ＩＤ、エッジＩＤ、エッジ画素ＩＤ、位置情報、エッジ方向を対応付けて記憶する。つまり、エッジ方向管理テーブルは、エッジ画素ごとに、エッジ方向を管理する。

候補領域ＩＤは、各候補領域を識別する情報である。エッジＩＤは、エッジを識別する情報である。エッジ画素ＩＤは、エッジ画素を識別する情報である。位置情報は、エッジ画素の位置（座標）である。エッジ方向は、各エッジ画素が含まれるエッジの方向を示す情報である。

例えば、エッジ画素ａ１を例に説明する。なお、エッジ画素ａ１が含まれるエッジａは、図３に示す候補領域１０１から抽出されたものとする。この場合、候補領域ＩＤ「１０１」、エッジＩＤ「ａ」、エッジ画素ＩＤ「ａ１」が対応付けて記憶される。さらに、エッジ画素ａ１の位置情報として、座標（ｘａ１，ｙａ１）も格納される。また、エッジａのエッジ方向「ＩＩＩ」が特定されると、エッジａに含まれるエッジ画素ａ１乃至ａ３の各々にエッジ方向「ＩＩＩ」が対応付けて、格納される。

以上の通り、特定部２０によって、各エッジの方向が特定されるとともに、各エッジに含まれるエッジ画素に対しても当該方向が対応付けて管理される。そして、各エッジ画素に対して方向が決定されると、特定部２０は、支配的なエッジの向き（方向Ｘ）を特定する。

例えば、特定部２０は、エッジ方向管理テーブルを参照しながら、方向Ｉ乃至ＶＩＩＩそれぞれについて、各方向に対応付けられているエッジ画素の個数を計数し、最も多くのエッジ画素が計上された方向を、支配的なエッジの向き（方向Ｘ）とする。なお、方向Ｘを特定する際には、特定部２０は、各エッジがいずれの候補領域から抽出されたものであるかは考慮しない。つまり、エッジ方向管理テーブル全体を対象にして、一つの方向Ｘが決定される。

また、特定部２０が方向Ｘを特定する際には、エッジ画素を計数する代わりに、エッジそのものの本数を、各々の方向について、計数してもよい。そして、特定部２０は、最も多くの本数が計数された方向を、支配的なエッジの向き（方向Ｘ）とする。

次に、実施例２における判別装置２の算出部２４は、特定された方向Ｘに対応するエッジ画素の量およびエッジ密度を算出する。例えば、方向Ｘが方向Ｉである場合、算出部２４は、エッジ方向管理テーブルを参照し、候補領域ごとに、エッジ方向に「Ｉ」を有するエッジ画素の数を計数する。さらに、算出部２４は、式１と同様に、エッジ方向に「Ｉ」を有するエッジ画素の数を、対応する候補領域の全画素数で割ることで、各候補領域のエッジ密度を算出する。

記憶部２７は、実施例１と同様に、候補領域情報管理テーブルや各種処理に必要な情報を記憶するとともに、エッジ方向管理テーブル（図８）も併せて記憶する。

図９は、実施例２に係る判別処理のフローチャートである。なお、実施例１における判別処理と同様の処理については、同一の符号を付し、説明を簡略化する。まず、取得部１１は、カメラから処理対象の画像を取得する（Ｏｐ．１）。候補領域検出部１２は、画像から目の候補領域を検出する（Ｏｐ．２）。

抽出部２３は、各候補領域のエッジを抽出する（Ｏｐ．２１）。エッジ抽出の際、先述のラべリング処理が実行される。特定部２０は、各エッジの方向を特定するとともに、全候補領域におけるエッジの向きから、支配的なエッジの向き（方向Ｘ）を特定する（Ｏｐ．２２）。

次に、算出部２４は、各候補領域のうち、いずれかを処理対象として、方向Ｘのエッジのエッジ密度を算出する（Ｏｐ．２３）。判定部１５は、エッジ密度が閾値よりも大きいかを判定する（Ｏｐ．２４）。なお、閾値は、例えば、０．２である。

そして、エッジ密度が閾値よりも大きい場合には（Ｏｐ．２４ＹＥＳ）、判定部１５は、処理対象の候補領域は眉領域であるとして、候補領域情報管理テーブルの判定結果に「０」を格納する（Ｏｐ．６）。一方、エッジ密度が閾値以下である場合には（Ｏｐ．２４ＮＯ）、判定部１５は、処理対象の候補領域は眉領域でないとして、候補領域情報管理テーブルの判定結果に「１」を格納する（Ｏｐ．７）。

次に、判定部１５は、全ての候補領域の処理が終了したかを判定し（Ｏｐ．８）、全ての候補領域についての処理が終了するまで、Ｏｐ．２３、２４、Ｏｐ．６乃至Ｏｐ．８の処理を繰り返す（Ｏｐ．８ＮＯ）。全ての候補領域について処理が終了した場合（Ｏｐ．８ＹＥＳ）、出力部１６は、処理結果を出力する（Ｏｐ．９）。

以上のように、実施例２にかかる判別装置２は、エッジの方向を考慮して、支配的なエッジの方向Ｘについて、エッジの密度を算出する。なお、まつ毛は、一般的に縦方向のエッジとして検出されることがおおく、眉は、一般的に横方向のエッジとして検出されることが多い。さらに、一般的に、まつ毛よりも眉の方が多い。そこで、単純にエッジの量を利用するよりも、眉であろうエッジの量（密度）で、目と眉を判別する事で、判別装置２は、判別の精度を向上させることができる。

さらに、判別装置２は、エッジ密度の算出の対象とするエッジ方向として、一律に水平方向（例えば、図７Ｂの方向Ｉ）を横方向を設定するのではなく、画像ごとに、支配的な方向Ｘを特定する。例えば、被写体が首をかしげるまたは、カメラが傾いて被写体を撮影している場合などであっても、判別装置２は、被写体が撮影された状況における横方向に相当する方向を、都度、特定する。よって、判別装置２は、被写体とカメラとの位置関係によって、被写体が首をかしげているような状態で画像が撮影されたとしても、本来の横方向に相当する方向Ｘに対して、エッジ密度を求めることができる。

［実施例３］
実施例３は、実施例２に加えて、被写体とカメラとの距離に応じて、判定部による判定のロジックを切り替える。具体的には、実施例３における判定部は、被写体とカメラの距離が比較的近い場合には、実施例２と同様の判定処理を行うが、被写体とカメラの距離が比較的遠い場合には、以下説明する他の判定処理を実行する。

図１０は、実施例３に係る判別装置の機能ブロック図である。判別装置３は、取得部１１、候補領域検出部１２、抽出部２３、特定部２０、距離判定部３０、算出部３４、判定部３５、出力部１６、記憶部３７を含む。なお、実施例１における判別装置１および実施例２における判別装置２と同様の機能を有する処理部には、同一の名称および符号を付し、説明を省略する。よって、以下では、距離判定部３０、算出部３４、判定部３５、記憶部３７について説明する。

距離判定部３０は、画像に写る被写体とカメラとの距離を取得するとともに、被写体とカメラの距離が予め設定された閾値Ｔｈ１よりも小さいか判定する。そして、距離判定部３０は、判定結果を、算出部３４へ出力する。

なお、閾値Ｔｈ１は、例えば、８０（ｃｍ）である。例えば、閾値Ｔｈ１は、事前の実験により、適切な値が設定される。例えば、様々な距離で撮影された被写体の画像を収集し、眉の毛がエッジとして撮影されず、眉全体が一つの低輝度領域として撮影されるようになる距離が、閾値として設定される。

また、被写体とカメラの距離の判定方法は従来の手法が適用される。例えば、距離判定部３０は、画像から被写体の顔幅（ピクセル）を取得し、変換テーブルを参照することで、距離（ｃｍ）を判定する。なお、距離判定部３０が顔幅を取得する際には、顔領域の検出処理で検出された顔領域の幅を計測してもよいし、目の候補領域を含む高輝度領域（例えば、輝度が１８０以上）を顔領域と推測し、当該高輝度領域の幅を計測してもよい。

図１１は、変換テーブルのデータ構成例である。変換テーブルは、顔幅の範囲と距離とを対応付けて記憶する。なお、変換テーブルは、予め、様々な距離で被写体を撮影した画像を収集し、学習処理を行う事で、生成される。図１１の例では、例えば、顔幅が、５０ピクセルから９９ピクセルの間であれば、被写体とカメラとの距離は８０ｃｍと判定される。

次に、算出部３４は、距離が閾値Ｔｈ１よりも小さい場合には、実施例２同様、各候補領域について、特定部２０が特定した方向Ｘのエッジ密度を算出する。一方、算出部３４は、距離が閾値Ｔｈ１以上である場合には、各候補領域について、方向Ｘに対して垂直の方向Ｙのエッジ密度を算出する。例えば、方向Ｘが図７Ｂにおける方向Ｉである場合は、方向Ｙは方向Ｖとなる。よって、算出部３４は、方向Ｖを持つエッジのエッジ密度を算出する。

判定部３５は、距離が閾値Ｔｈ１よりも小さい場合には、実施例２同様、実施例２における閾値（以下、閾値Ｔｈ２とする）と方向Ｘのエッジ密度とを比較して、閾値Ｔｈ２よりもエッジ密度が大きい場合、対応する候補領域は眉領域であると判定する。一方、距離が閾値Ｔｈ１以上である場合には、判定部３５は、閾値Ｔｈ３と方向Ｙのエッジ密度とを比較して、閾値Ｔｈ３よりもエッジ密度が小さい場合、対応する候補領域は眉領域であると判定する。なお、閾値Ｔｈ２は、例えば、実施例２と同様に、０．２である。また、閾値Ｔｈ３は、例えば、０．１である。閾値Ｔｈ３は、事前の学習により決定される値であって、目と眉を区別するのに適切な値が設定される。

例えば、カメラと被写体が比較的遠い場合、画像において、被写体の眉の毛は、エッジとして現れない。つまり、眉全体が一つの低輝度領域として現れる可能性が高い。よって、眉に対応する候補領域には、眉全体の輪郭がエッジとして残る。一方、目に対応する候補領域には、目の輪郭に加え、白目と黒目の境界もエッジとして残る。このとき、眉の輪郭や目の輪郭部分のエッジは、カメラと被写体が正対している状態での横方向となることが予測される一方で、白目と黒目の境界のエッジは縦方向となる。

したがって、実施例３における判別装置３は、支配的な方向Ｘ（例えば、方向Ｉ）と垂直な方向Ｙ（例えば、方向Ｖ）のエッジの密度を利用することで、眉と目の判別を図る。具体的には、垂直な方向Ｙのエッジ密度は、目に対応する候補領域においては大きく、眉に対応する候補領域おいては小さいことが予測されるため、判定部３５は、エッジ密度が閾値Ｔｈ３よりも小さい候補領域を、眉に対応する候補領域として判定する。

記憶部３７は、実施例１および２と同様に、候補領域情報管理テーブル、エッジ方向管理テーブル、各種処理に必要な閾値情報を記憶するとともに、変換テーブル（図１１）も併せて記憶する。

図１２は、実施例３に係る判別処理のフローチャートである。なお、実施例１および実施例２における判別処理と同様の処理については、同一の符号を付し、説明を簡略化する。まず、取得部１１は、カメラから処理対象の画像を取得する（Ｏｐ．１）。候補領域検出部１２は、画像から目の候補領域を検出する（Ｏｐ．２）。

抽出部２３は、各候補領域のエッジを抽出する（Ｏｐ．２１）。特定部２０は、各エッジの方向を特定するとともに、全候補領域におけるエッジの向きから、支配的なエッジの向き（方向Ｘ）を特定する（Ｏｐ．２２）。

次に、距離判定部３０は、例えば、変換テーブルを利用して、被写体とカメラとの距離を取得する（Ｏｐ．３０）。そして、距離判定部３０は、距離が閾値Ｔｈ１よりも小さいかを判定する（Ｏｐ．３１）。

距離が閾値Ｔｈ１よりも小さい場合は（Ｏｐ．３１ＹＥＳ）、算出部３４は、各候補領域のうち、いずれかを処理対象として、方向Ｘのエッジのエッジ密度を算出する（Ｏｐ．２３）。判定部３５は、エッジ密度が閾値Ｔｈ２よりも大きいかを判定する（Ｏｐ．２４）。

そして、エッジ密度が閾値Ｔｈ２よりも大きい場合には（Ｏｐ．２４ＹＥＳ）、判定部３５は、処理対象の候補領域は眉領域であるとして、候補領域情報管理テーブルの判定結果に「０」を格納する（Ｏｐ．６）。一方、エッジ密度が閾値Ｔｈ２以下である場合には（Ｏｐ．２４ＮＯ）、判定部３５は、処理対象の候補領域は眉領域ではないとして、候補領域情報管理テーブルの判定結果に「１」を格納する（Ｏｐ．７）。

次に、判定部３５は、全ての候補領域の処理が終了したかを判定し（Ｏｐ．８）、全ての候補領域についての処理が終了するまで、Ｏｐ．２３、２４、Ｏｐ．６乃至Ｏｐ．８の処理を繰り返す（Ｏｐ．８ＮＯ）。

一方、距離が閾値Ｔｈ１以上の場合は（Ｏｐ．３１ＮＯ）、算出部３４は、各候補領域のうち、いずれかを処理対象として、方向Ｘに垂直な方向Ｙをもつエッジのエッジ密度を算出する（Ｏｐ．３２）。判定部３５は、エッジ密度が閾値Ｔｈ３よりも小さいかを判定する（Ｏｐ．３３）。

そして、エッジ密度が閾値Ｔｈ３よりも小さい場合には（Ｏｐ．３３ＹＥＳ）、判定部３５は、処理対象の候補領域は眉領域であるとして、候補領域情報管理テーブルの判定結果に「０」を格納する（Ｏｐ．３４）。一方、エッジ密度が閾値Ｔｈ３以上である場合には（Ｏｐ．３３ＮＯ）、判定部３５は、処理対象の候補領域は眉領域ではないとして、候補領域情報管理テーブルの判定結果に「１」を格納する（Ｏｐ．３５）。

次に、判定部３５は、全ての候補領域の処理が終了したかを判定し（Ｏｐ．３６）、全ての候補領域についての処理が終了するまで、Ｏｐ．３２乃至Ｏｐ．３６の処理を繰り返す（Ｏｐ．３６ＮＯ）。

Ｏｐ．８において、全ての候補領域について処理が終了した場合（Ｏｐ．８ＹＥＳ）、または、Ｏｐ．３６において、全ての候補領域について処理が終了した場合（Ｏｐ．３６ＹＥＳ）、出力部１６は、処理結果を出力する（Ｏｐ．９）。

以上のように、実施例３に係る判別装置３は、被写体とカメラとの距離に応じて、２種類の判定方法を切り替えることで、目と眉の判別精度を向上させる。

［従来技術と比較した効果］
ここで、実施例１乃至実施例３に係る判別装置と、特許文献１に係る従来技術との違いを、説明する。図１３Ａおよび図１３Ｂは、従来技術の問題点を説明するための図である。

図１３Ａに示すように、特許文献１に開示された従来技術においては、顔が写った画像２００に対して、所定の大きさの矩形領域２０１が順次設定される。そして、矩形領域２０１内の画素を対象に、輝度ヒストグラムが生成される。なお、ヒストグラムは、画像の水平方向の位置ごとに、輝度が所定値よりも低い画素（低輝度画素）の画素数分布を表す。

例えば、眉のあたりに設定された矩形領域２０２のヒストグラムは、画像２００のように顔の傾きがない状態であれば、水平方向全体の位置に渡って、低輝度画素の分布が多いことを示すヒストグラムとなる。一方で、目の辺りに設定された矩形領域２０３のヒストグラムは、水平方向中央のあたり（黒目のあたり）に低輝度画素の分布が多いヒストグラムとなる。そこで、従来技術は、ヒストグラムの形状が、矩形領域２０２は横に広い山形になるのに対して、矩形領域２０３は幅の狭い山型になるという違いを利用して、眉と目を判別する。

しかし、図１３Ｂのように、被写体の顔が傾いている場合には、眉や目を適切に含む矩形が設定されにくい。なぜなら、画像の水平方向に、順次、矩形領域２１１が設定されるためである。例えば、矩形領域２１１の設定方向を水平以外にも斜めや、様々な角度にすることも考えられるが、処理負荷が増加するため、現実的ではない。

よって、図１３Ｂの状態における矩形領域２１２と矩形領域２１３のヒストグラムは、図１３Ａにおける矩形領域２０２と矩形領域２０３のヒストグラムのように、目と眉を区別できる特徴を有さない。つまり、従来技術では、顔が傾いたときに、目と眉の判別が困難となる。

一方、実施例１乃至実施例３に係る判別方法は、目の特徴情報を有する候補領域を抽出するとともに、各候補領域の高周波成分の量（密度）に基づき、目に対応する候補領域と眉に対応する候補領域の判別が行われる。

図１４Ａおよび図１４Ｂは、顔が傾いたときの顔画像およびエッジ抽出結果である。図１４Ａは、顔が傾いた状態で撮影された画像の一部（顔画像１２０）であって、当該顔画像１２０に対して目の特徴情報を有する候補領域の抽出処理を行った結果である候補領域１２１乃至１２４が示されている。ただし、候補領域の設定方向（矩形の長辺が設定される方向）は、図３Ａと同様に、画像の水平方向である。なお、図３Ａおよび図３Ｂとの比較を容易にするため、図１４Ａは、顔画像１２０として、図３Ａに示す顔画像１００を斜めにした画像を使用している。そのため、顔が傾いて撮影されたときの本来の顔画像には、顔画像１２０における左上および右下の白色の各領域に、それらの顔の部分に対応する撮影画像が存在する。

図１４Ｂには、顔画像１２０における各候補領域１２１乃至１２４を対象に、高周波成分としてエッジを抽出した結果であるエッジ画像１３０が示されている。なお、エッジ画像１３０に設定された候補領域１３１乃至１３４は、顔画像１２０における候補領域１２１乃至１２４に対応する。

ここで、候補領域１２１乃至１２４各々における、高周波成分（エッジ）の密度は、図１４Ｂにおける候補領域１３１乃至１３４に示される通り、眉に対応する候補領域において大きく、目に対応する領域において小さい。したがって、実施例１乃至３に係る判別方法は、顔の傾きに依存することなく、目と眉を判別することができる。

［判別装置の適用例］
判別装置１乃至判別装置３は、視線検出システムの一部として適用され得る。例えば、視線検出システムは、判別装置１乃至判別装置３からの入力を受けて、目領域から瞳孔および角膜反射を検出する。そして、視線検出システムは、瞳孔の位置および角膜反射の位置に基づき、視線情報（被写体の視線位置および方向）を検出する。

視線情報は、例えば、ドライバーの安全運転支援や、店舗におけるマーケティングに活用される。視線情報を解析する事で、ドライバーが各方面に注意を配っているか、客はどのような商品に注目しているかが推察される。

［ハードウェア構成例］
判別装置１乃至判別装置３のハードウェア構成例について説明する。なお、ここでは、判別装置１乃至判別装置３を、視線検出システムの一部として適用した例を用いて説明を行うが、これに限定されるものではない。

図１５は、判別装置のハードウェア構成である。なお、図１５には、判別装置を含む視線検出システム１０全体のハードウェア構成例を示している。つまり、判別装置１乃至判別装置３単体で機能する場合には、実線で記したハードウェアコンポーネントを含む。一方、判別装置１乃至３が視線検出システム１０の一部として機能する場合には、視線検出システム１０は、実線で記したハードウェアコンポーネントおよび破線で記したハードウェアコンポーネントを含む。

視線検出システム１０に含まれる判別装置１乃至判別装置３は、ハードウェア構成として、プロセッサー１００１、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１００２、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１００３、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）１００４、通信装置１００５、入力装置１００８、表示装置１００９、媒体読取装置１０１０を有する。さらに、視線検出システム１０は、インターフェース回路１０１２、光源１００６、カメラ１００７を有する。

プロセッサー１００１、ＲＯＭ１００２、ＲＡＭ１００３、ＨＤＤ１００４、通信装置１００５、入力装置１００８、表示装置１００９、媒体読取装置１０１０、インターフェース回路１０１２はバス１０１１を介して相互に接続されている。そして、プロセッサー１００１による制御下で相互にデータの送受信を行うことができる。

実施例１乃至３に係る判別処理のプログラムおよび視線検出処理にかかるプログラムは、判別装置１乃至３または視線検出システム１０が読み取り可能な記録媒体に記録される。記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。光ディスクには、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ）、Ｃｏｍｐａｃｔ Ｄｉｓｃ − Ｒｅｃｏｒｄａｂｌｅ／ＲｅＷｒｉｔａｂｌｅ（ＣＤ−Ｒ／ＲＷ）などがある。光磁気記録媒体には、Ｍａｇｎｅｔｏ − Ｏｐｔｉｃａｌ ｄｉｓｋ（ＭＯ）などがある。半導体メモリには、ＲＯＭ、ＲＡＭ、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（スタティックＲＡＭ）、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）などがある。

各実施例に係る処理が記述されたプログラムを流通させる場合には、例えば、当該プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売されることが考えられる。そして、媒体読取装置１０１０が、当該プログラムを記録した記録媒体から、該プログラムを読み出す。プロセッサー１００１は、読み出されたプログラムをＨＤＤ１００４若しくはＲＯＭ１００２、ＲＡＭ１００３に格納する。

プロセッサー１００１は判別装置１乃至３全体の動作制御を司る。プロセッサーは、例えば、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）などの電子回路を含む。

そして、プロセッサー１００１が、本実施例に関わる処理が記述されたプログラムをそれが格納された記録媒体（例えばＨＤＤ１００４）から読み出して実行することで、プロセッサー１００１は、判別装置１乃至３における候補領域検出部１２、抽出部１３（２３）、算出部１４（２４、３４）、判定部１５（３５）、特定部２０、距離判定部３０として機能する。なお、プロセッサー１００１は、記録媒体から読み出されたプログラムをＲＡＭ１００３にロードし、ＲＡＭ１００３にロードされたプログラムを実行してもよい。

通信装置１００５は、プロセッサー１００１の制御の下、取得部１１として機能する。ＨＤＤ１００４は、各種情報を記憶し、プロセッサー１００１の制御下で記憶部１７（２７、３７）として機能する。各種情報は、プログラム同様、プロセッサー１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されても良い。さらに、処理の過程で一時的に生成および保持される各種情報は、例えば、ＲＡＭ１００３に格納される。

入力装置１００８は、各種入力を受け付ける。入力装置１００８は、例えばキーボードやマウスである。表示装置１００９は、各種情報を表示する。表示装置１００９は、例えばディスプレイである。

このように、図１、図６および図１０に示した各機能部は、プロセッサー１００１およびメモリ（ＨＤＤ１００４、ＲＯＭ１００２、ＲＡＭ１００３）を含むハードウェアによって実現される。そして、プロセッサー１００１が、メモリに格納されたプログラムを読み出して、実行する事で、図５、図９および図１２に示す判別処理が実行される。

また、本実施例に係る処理は、クラウド上で実行される場合もある。この場合、光源１００６およびカメラ１００７が、被写体が存在する空間に配置される。そして、カメラ１００７から画像を受信した判別装置１乃至３（１つ以上のサーバ）が、図５、図９および図１２に示す判別処理を実行する。

１、２、３ 判別装置
１１ 取得部
１２ 候補領域検出部
１３、２３ 抽出部
１４、２４、３４ 算出部
１５、３５ 判定部
１６ 出力部
１７、２７、３７ 記憶部
２０ 特定部
３０ 距離判定部
１０ 視線検出システム
１００１ プロセッサー
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ ＨＤＤ
１００５ 通信装置
１００６ 光源
１００７ カメラ
１００８ 入力装置
１００９ 表示装置
１０１０ 媒体読取装置
１０１１ バス
１０１２ インターフェース回路

Claims (8)

1. コンピュータが、
   被写体の顔が写る画像を取得し、
   前記画像から、人間の目の特徴を有する複数の候補領域を検出し、
   前記複数の候補領域各々における、前記画像の空間周波数における高周波成分を抽出し、
   前記複数の候補領域それぞれの前記高周波成分の量に基づき、前記複数の候補領域の各々について、前記目に対応するであろう領域と眉に対応するであろう領域を判別し、
   判別した結果を出力する、
   処理を実行することを特徴とする目と眉の判別方法。
2. 前記高周波成分は、エッジおよび高輝度の独立画素の少なくとも一方であることを特徴とする請求項１に記載の目と眉の判別方法。
3. 前記コンピュータが、
   前記高周波成分として、前記複数の候補領域それぞれから、複数のエッジを抽出し、
   前記複数のエッジの方向のうち、支配的な第一の方向を決定し、
   前記複数の領域各々における前記第一の方向に関連するエッジの密度に基づき、前記判別する処理を行うことを特徴とする請求項１に記載の目と眉の判別方法。
4. 前記コンピュータが、
   前記被写体と、前記画像を撮影したカメラとの距離を算出し、
   前記距離が閾値以下である場合に、前記エッジ密度に基づき、前記判別する処理を行うことを特徴とする請求項３に記載の目と眉の判別方法。
5. 前記コンピュータが、
   前記距離が前記閾値よりも大きい場合に、前記第一の方向と垂直関係にある第二の方向に関連する他のエッジ密度に基づき、前記判別する処理を行うことを特徴とする請求項４に記載の目と眉の判別方法。
6. 前記コンピュータが、
   前記候補領域のうち、前記眉に対応するであろう領域を除外した候補領域を対象に、前記被写体の視線を検出する処理
   を実行することを特徴とする請求項１乃至５に記載の目と眉の判別方法。
7. 被写体の顔が写る画像を取得する取得部と、
   前記画像から、人間の目の特徴を有する複数の候補領域を検出する候補領域検出部と、
   前記複数の候補領域各々における、前記画像の空間周波数における高周波成分を抽出する抽出部と
   前記複数の候補領域それぞれの前記高周波成分の量に基づき、前記複数の候補領域の各々について、前記目に対応するであろう領域と眉に対応するであろう領域を判別する判定部と、
   判別した結果を出力する出力部とを有することを特徴とする目と眉の判別装置。
8. コンピュータに、
   被写体の顔が写る画像を取得し、
   前記画像から、人間の目の特徴を有する複数の候補領域を検出し、
   前記複数の候補領域各々における、前記画像の空間周波数における高周波成分を抽出し、
   前記複数の候補領域それぞれの前記高周波成分の量に基づき、前記複数の候補領域の各々について、前記目に対応するであろう領域と眉に対応するであろう領域を判別し、
   判別した結果を出力する、
   処理を実行させるための目と眉の判別プログラム。