JP2009193357A - 輪郭検出方法、輪郭検出装置および輪郭検出プログラム - Google Patents

Abstract

【課題】顔器官の輪郭検出を高効率かつ高精度に行う。
【解決手段】輪郭パラメータＬ，Ｒ，Ｔ，Ｂを、左目の輪郭における目尻と目頭と上頂点と下頂点に対応させるように初期設定する。輪郭パラメータＬ，Ｒ，Ｔ，Ｂに基づいて左目を近似するための輪郭線Ｏを生成する。輪郭線Ｏの上部分は、輪郭パラメータＴを共通の変曲点として有し輪郭パラメータＬを終端点として有する曲線Ｏ１と、輪郭パラメータＲを終端点として有する曲線Ｏ２によって構成される。輪郭線Ｏの下部分は、輪郭パラメータＢを共通の変曲点として有し輪郭パラメータＬを終端点として有する曲線Ｏ３と、輪郭パラメータＲを終端点として有する曲線Ｏ４によって構成される。
【選択図】図１５

Description

本発明は、輪郭検出方法、輪郭検出装置および輪郭検出プログラムに関し、特に顔器官の輪郭を検出する輪郭検出方法、輪郭検出装置および輪郭検出プログラムに関する。

画像データに含まれる人物の目の特徴点を検出する手法として、まず目頭と目尻を検出し、目頭と目尻を結ぶ直線の垂直二等分線上の領域からまぶたの頂点を検出する手法が提案されている（特許文献１、参照）。一方、断片的な多項式で表される複数の曲線からなる動的輪郭線モデル（スネーク）を画像データにおけるエッジに追従させる手法が提案されている。
特開２００７−２１３３７７号公報 特表平５−５０８９５１号公報

前者の構成においては、目頭と目尻が精度よく検出されることがまぶたの頂点の検出の条件となるため、目頭と目尻の部分に髪の毛などがかかっていたりした場合には、目頭と目尻のみならずまぶたの頂点も検出することができなくなるという問題がある。また、目の輪郭の形状が、上下のまぶたの頂点を結んだ直線に関して線対称であることを前提としており、実際には非対称の顔器官の輪郭を精度よく近似することはできないという問題もあった。一方、後者の構成によれば、どのような形状の輪郭にも追従することが可能であるが、動的輪郭線モデルを構成する曲線の個数が多くなりすぎた場合、輪郭を検出するための演算処理負担が増大し、また検出した輪郭を特定するパラメータのデータ量も増大するという問題があった。

本発明は、前記課題にかんがみてなされたもので、顔器官の輪郭検出を高効率かつ高精度に行う輪郭検出方法、輪郭検出装置および輪郭検出プログラムを提供する。

前記課題を解決するために、前記画像データの異なる位置に３点を配置する。そして、当該３点のうち水平方向の両外側に位置する２点をそれぞれ終端点とする一対の２次曲線によって前記顔器官の輪郭の少なくとも一部を近似する。この一対の２次曲線は、前記３点のうち残る１点を共通の変曲点としており、当該変曲点にて互いに接続する。さらに、前記２次曲線の前記輪郭への近似性を評価する評価値を算出し、当該評価値に基づいて前記近似性を向上させる前記変曲点と前記終端点の位置を探索する。これにより、前記２次曲線を前記輪郭に近似させることができる。前記３点の位置によって前記輪郭に近似する曲線を表現することができ、効率よく前記輪郭を検出することができる。また、前記３点の位置は特に制限されないため、非対称形状の前記輪郭にも近似させることができる。

さらに、前記終端点を共通とし、前記変曲点が異なるもう一対の前記２次曲線を合わせた二対の前記２次曲線によって前記顔器官の全体の輪郭を近似することにより、前記顔器官の閉じた前記輪郭を近似することができる。また、二対の前記２次曲線のうち、一対を上に凸とし、もう一対を下に凸とすることにより、目や口の前記輪郭の検出に適した曲線形状を形成することができる。

さらに、前記近似性が向上するようにまず前記終端点を移動させ、その後、前記近似性が向上するように前記変曲点を移動させるようにしてもよい。このようにすることにより、前記輪郭における前記変曲点に対応する部分よりも前記終端点に対応する部分の位置が安定的な前記輪郭の検出を効率よく行うことができる。口や目の水平方向両外側の位置は比較的安定しているため、口や目の前記輪郭の検出を効率よく行うことができる。さらに、探索方法の好適な例として、まず前記終端点および前記変曲点を所定距離移動させたときに前記近似性を最も向上させる前記終端点および前記変曲点の位置を探索する。そして、当該位置を中心として前記終端点および前記変曲点を前記所定距離よりも少ない距離移動させたときに前記近似性を最も向上させる前記終端点および前記変曲点の位置を探索する。これにより、前記終端点および前記変曲点の好適な位置を徐々に絞り込んでいくことができる。

さらに、探索方法の好適な例として、まず前記終端点および前記変曲点を所定方向に移動させたときに前記近似性を最も向上させる前記終端点および前記変曲点の位置を探索し、その後、当該位置を中心として前記終端点および前記変曲点を前記所定方向とは異なる方向に移動させたときに前記近似性を最も向上させる前記終端点および前記変曲点の位置を探索するようにしてもよい。このようにすることにより、種々の方向に前記終端点および前記変曲点を移動させることができ、探索が冗長となることが防止できる。

さらに、本発明の技術的思想は、具体的な輪郭検出方法にて具現化されるのみならず、当該方法を輪郭検出装置において具現化することもできる。すなわち、上述した輪郭検出方法が行う各工程に対応する手段を有する輪郭検出装置としても本発明を特定することができる。むろん、上述した輪郭検出装置がプログラムを読み込んで上述した各手段を実現する場合には、当該各手段に対応する機能を実行させるプログラムや当該プログラムを記録した各種記録媒体においても本発明の技術的思想が具現化できることは言うまでもない。なお、本発明の輪郭検出装置は、単一の装置のみならず、複数の装置によって分散して存在可能であることはいうまでもない。例えば、輪郭検出装置が有する各手段が、パーソナルコンピュータ上で実行されるプリンタドライバと、プリンタの双方において分散することも可能である。また、プリンタ等の印刷装置に本発明の輪郭検出装置の各手段を包含させることも可能である。

以下、下記の順序に従って本発明の実施形態を説明する。
１．輪郭検出装置の構成：
２．輪郭検出処理の流れ：
２−１．左目の輪郭検出：
２−２．右目の輪郭検出：
３．変形例：
３−１．変形例１：
３−２．変形例２：
３−３．変形例３：
３−４．変形例４：
３−５．変形例５：

１．輪郭検出装置の構成
図１は、本発明の一実施形態にかかる輪郭検出装置を具体的に実現するコンピュータの構成を示している。同図において、コンピュータ１０はＣＰＵ１１とＲＡＭ１２とＲＯＭ１３とハードディスクドライブ（ＨＤＤ）１４と汎用インターフェイス（ＧＩＦ）１５とビデオインターフェイス（ＶＩＦ）１６と入力インターフェイス（ＩＩＦ）１７とバス１８とから構成されている。バス１８は、コンピュータ１０を構成する各要素１１〜１７の間でのデータ通信を実現するものであり、図示しないチップセット等によって通信が制御されている。ＨＤＤ１４には、オペレーティングシステム（ＯＳ）を含む各種プログラムを実行するためのプログラムデータ１４ａが記憶されており、当該プログラムデータ１４ａをＲＡＭ１２に展開しながらＣＰＵ１１が当該プログラムデータ１４ａに準じた演算を実行する。

また、ＨＤＤ１４には、デジタルスチルカメラやスキャナによって画像入力された画像データ１４ｅと、後述するパターンマッチングにおいて使用する多数の顔テンプレート１４ｂと目テンプレート１４ｃと口テンプレート１４ｄが記憶されている。ＧＩＦ１５は、例えばＵＳＢ規格に準じたインターフェイスを提供するものであり、外部のプリンタ２０をコンピュータ１０に接続させている。ＶＩＦ１６はコンピュータ１０を外部のディスプレイ４０に接続し、ディスプレイ４０に画像を表示するためのインターフェイスを提供する。ＩＩＦ１７はコンピュータ１０を外部のキーボード５０ａとマウス５０ｂに接続し、キーボード５０ａとマウス５０ｂからの入力信号をコンピュータ１０が取得するためのインターフェイスを提供する。

図２は、コンピュータ１０において実行されるプログラムのソフトウェア構成を示している。同図において、オペレーティングシステム（ＯＳ）Ｐ１と輪郭検出アプリケーションＰ２とプリンタドライバＰ３が実行されている。ＯＳ Ｐ１は各プログラム間のインターフェイスを提供し、プリンタドライバＰ３はプリンタ２０を制御するための処理を実行する。輪郭検出アプリケーションＰ２は、顔検出部Ｐ２ａと顔器官検出部Ｐ２ｂと輪郭検出部Ｐ２ｃとから構成されている。さらに、輪郭検出部Ｐ２ｃは傾き補正部Ｐ２ｃ１とサンプリング部Ｐ２ｃ２とスカラー変換部Ｐ２ｃ３と変換関数設定部Ｐ２ｃ４とパラメータ探索部Ｐ２ｃ５と評価値算出部Ｐ２ｃ６とから構成されている。輪郭検出アプリケーションＰ２を構成する各モジュールＰ２ａ〜Ｐ２ｃが実行する処理の詳細については後述する輪郭検出処理の流れとともに説明する。

２．輪郭検出処理の流れ
図３は、輪郭検出処理の流れを示している。ステップＳ１００においては、顔検出部Ｐ２ａが輪郭検出の対象とする画像データ１４ｅをＨＤＤ１４から取得する。本実施形態において輪郭検出の対象とする画像データ１４ｅは、各画素が示す色がＲＧＢ各チャネルの階調値の組み合わせ（ＲＧＢ色空間におけるベクトル）で表現されたビットマップデータである。後述する図面において、便宜的に２値の画像が示される場合があるが、実際には多階調のカラー画像データが処理の対象となる。なお、画像データ１４ｅは、ＨＤＤ１４に記憶されている段階で圧縮されていてもよいし、他の色空間で各画素の色が表現されていてもよい。これらの場合、画像データ１４ｅの展開や色空間の変換を実行して、顔検出部Ｐ２ａがＲＧＢビットマップデータの画像データ１４ｅを取得する。なお、画像データ１４ｅはＨＤＤ１４に記憶されているものに限らず、例えばデジタルスチルカメラやメモリカード等に記憶されているものであってもよい。ディスプレイ４０に表示されたＵＩ画面を参照してキーボード５０ａやマウス５０ｂを操作することにより、輪郭検出処理の対象とする画像データ１４ｅが指定される。ステップＳ１１０においては、顔検出部Ｐ２ａが画像データ１４ｅに含まれる顔を検出する。

図４は、ステップＳ１１０において行われる顔検出の様子を模式的に示している。同図において、顔検出部Ｐ２ａがＨＤＤ１４から取得した複数の顔テンプレート１４ｂが示されている。本実施形態においては、画像データ１４ｅと各顔テンプレート１４ｂとのパターンマッチングを行うことにより、画像データ１４ｅから顔を検出する。各顔テンプレート１４ｂは一定の大きさ画像データであり、それぞれ顔が含まれている。各顔テンプレート１４ｂに含まれる顔の大きさおよび位置（中央）は、ほぼ一定となるように規格化されている。また、多様な顔が検出できるように、種々の顔が各顔テンプレート１４ｂに含まれている。顔テンプレート１４ｂとのパターンマッチングを行うにあたっては、画像データ１４ｅにおいて矩形状の比較領域ＣＡを生成し、当該比較領域ＣＡの位置と大きさと回転角度を変えながら、比較領域ＣＡの内側の画像と各顔テンプレート１４ｂの画像との類似性を評価する。

そして、類似性が一定の基準を満足するとき、顔が存在すると判定し、そのときの比較領域ＣＡの位置と大きさと回転角度を取得する。なお、本実施形態において、比較領域ＣＡは３０度ずつ回転されるものとする。画像データ１４ｅにおいて回転している顔は、対応する角度だけ比較領域ＣＡを回転させたときにマッチングすることとなる。画像データ１４ｅの全体に比較領域ＣＡを移動させることにより、画像データ１４ｅの不特定の位置に存在する単数または複数の顔が存在する比較領域ＣＡの位置と大きさと回転角度を取得することができる。なお、本実施形態では、単一の顔が検出されたものとして以下説明する。

ステップＳ１２０において、顔検出部Ｐ２ａは、顔テンプレート１４ｂとマッチングする比較領域ＣＡの位置と大きさと回転角度に基づいて、当該比較領域ＣＡに含まれる領域の画像を画像データ１４ｅから顔画像データＦＤとして抽出する。このとき、顔画像データＦＤの大きさが一定の大きさとなるように解像度変換が行われる。本実施形態においては、１００×１００画素の大きさとなるように、顔画像データＦＤの画素が内挿または間引きされる。また、画像データ１４ｅにおける顔の回転角に対応して比較領域ＣＡが回転されている場合には、この回転を解消するように顔画像データＦＤを回転させる。ただし、比較領域ＣＡの回転角は３０度ずつであるため、顔画像データＦＤにおいて、±１５度の範囲で顔の回転角が残存し得ることとなる。また、各顔テンプレート１４ｂに含まれる顔の大きさおよび位置が規格化されているため、これとマッチングする顔画像データＦＤにおける顔の位置や大きさもほぼ一定となる。以上のようにして、顔画像データＦＤが得られると、ステップＳ１３０において顔器官検出部Ｐ２ｂが顔器官としての目および口を検出する。

図５は、ステップＳ１３０において顔器官を検出する様子を模式的に示している。顔器官検出部Ｐ２ｂは、ＨＤＤ１４から多数の目テンプレート１４ｃと口テンプレート１４ｄを取得し、これらと顔画像データＦＤとのパターンマッチングを行う。ここでも顔画像データＦＤにおいて矩形状の比較領域ＣＡを生成し、比較領域ＣＡの位置を変更していきながら比較領域ＣＡの内側の画像と各目テンプレート１４ｃや各口テンプレート１４ｄとの類似性を比較していく。ただし、顔画像データＦＤにおける顔の位置や大きさもほぼ一定であり、顔の回転角も３０度単位で補正されているため、当該顔に含まれる目や口の大きさや回転角には大きなずれはないと考えることができる。従って、ここでは比較領域ＣＡの大きさや回転角を変更することなく、パターンマッチングを行うことができる。なお、本実施形態において目テンプレート１４ｃの大きさは２５×２５画素の大きさに規格化されており、目を検出す際の比較領域ＣＡの大きさも２５×２５画素に固定される。また、各目テンプレート１４ｃに含まれる目の位置（中央）および大きさも規格化されているため、各目テンプレート１４ｃとマッチングする比較領域ＣＡにおける目の大きさや位置もほぼ一定となると考えることができる。正面から撮影した顔の場合、通常、左右の目と口が存在する比較領域ＣＡの位置が検出されることとなる。本明細書および図面において、左右（ＬＲ）とは図面を正面から見たときの左右を意味するものとする。従って、現実の顔における左右とは反対となる。なお、左右の目が検出できるように、目テンプレート１４ｃには左目のものと右目のものが多数含まれている。

図６は、左右の目と口が存在する比較領域ＣＡが検出された顔画像データＦＤの様子を示している。同図において、左右の目を中央に含む矩形状の比較領域ＣＡ１，ＣＡ２と、口を含む比較領域ＣＡ３が検出されている。以上のようにして、各顔器官の検出が完了すると、ステップＳ１４０において、輪郭検出部２ｃの傾き補正部Ｐ２ｃ１が左右の目を中央に含む比較領域ＣＡ１，ＣＡ２の重心の座標を算出し、当該重心同士を結んだ直線の水平線に対する傾きＳを算出する。上述したように、顔検出の段階で３０度単位の回転角補正がなされているため、ここでは基本的に±１５度以内の角度に対応した傾きＳが算出されることとなる。ステップＳ１５０においては、傾き補正部Ｐ２ｃ１が顔画像データＦＤから比較領域ＣＡ１，ＣＡ２に属する領域をそれぞれ左目画像データＬＥと右目画像データＲＥとして抽出する。このとき、左目画像データＬＥと右目画像データＲＥに対してステップＳ１４０にて算出した傾きＳに応じた傾き補正を行う。

図７は、ステップＳ１５０において傾き補正部Ｐ２ｃ１が実行する傾き補正の様子を概念的に示している。同図において、矩形状の比較領域ＣＡの上辺と下辺を傾きＳに応じて傾斜させ、傾斜後の比較領域ＣＡ（破線で図示）に属する画素を抽出する。比較領域ＣＡの上辺と下辺が傾きＳに応じて傾斜しているため、抽出された各画素列の位置がずれることとなる。そして、抽出した各画素列の上端・下端位置を揃えることにより、矩形状とし、左目画像データＬＥと右目画像データＲＥを得る。これにより、左目画像データＬＥと右目画像データＲＥに含まれる目の傾きを解消することができ、左目画像データＬＥと右目画像データＲＥにおいて目をほぼ水平とすることができる。なお、本来の画像から画素の位置をずらしているため、輪郭の滑らかさが不正確になったり、目の形状がいびつとなることも考えられるが、±１５度以内に対応する量の傾きを調整するに過ぎないため、問題とはならない。以上のようにして左目画像データＬＥと右目画像データＲＥが得られると、左目画像データＬＥと右目画像データＲＥをスカラー量Ｚの画像データに変換する処理をステップＳ２００にて実行する。なお、左目画像データＬＥと右目画像データＲＥにおける鉛直方向の位置をｙと表し、水平方向の位置をｘと表すとともに、それぞれ左上隅をｘ＝ｙ＝０とする。

図８は、ステップＳ２００にて実行するスカラー変換処理（スカラー量マップ取得手段）の流れを示している。左目画像データＬＥと右目画像データＲＥは各画素がＲＧＢ階調（ＲＧＢベクトル）を有する画像データであるが、スカラー変換処理では、左目画像データＬＥと右目画像データＲＥを各画素がスカラー量Ｚの情報を有する画像データに変換する処理を実行する。まず、ステップＳ２１０において、サンプリング部Ｐ２ｃ２が顔画像データＦＤの一部の画素をサンプリングする。

図９は、ステップＳ２１０におけるサンプリングの様子を示している。顔画像データＦＤにおいて左右の目を含む比較領域ＣＡの左下隅と右下隅を結ぶ線分Ｌ１と、左右の比較領域ＣＡの間において線分Ｌ１を２等分する鉛直方向の線分Ｌ２が示されている。線分Ｌ２の長さは比較領域ＣＡの幅と同じとされている。線分Ｌ１，Ｌ２は所定の幅を有しており、線分Ｌ１，Ｌ２に対応する位置の画素を本実施形態のサンプリングの対象とする。線分Ｌ１，Ｌ２は、目の下の略一定の高さの位置と、左右の目の間の位置に対応している。このような位置からサンプリングすることにより、顔の輪郭外や目や眉毛や鼻の穴や口などの色の画素はサンプリングされなくなり、基本的に肌色の画素のみをサンプリングすることができる。また、線分Ｌ１，Ｌ２の双方からサンプリングを行うようにしているため、仮に線分Ｌ１，Ｌ２の一部に眼鏡のフレームや前髪などの肌色以外の画素が含まれたとしても、後述する統計指標への影響を抑えることができる。むろん、ある程度、肌色のみに絞り込むことができればよく、例えば頬や額等の他の領域からサンプリングを行うようにしてもよい。

サンプリング部Ｐ２ｃ２は、サンプリング対象の画素のＲＧＢ階調を取得し、ＲＧＢ階調の平均μ（μ_R，μ_G，μ_B）と分散・共分散行列Ｓを統計指標として算出する（平均値算出手段）。平均μは、ＲＧＢ各チャネルごとに階調の相加平均を算出することによって得ることができる。また、分散・共分散行列Ｓは下記の（１）式によって定義される。

前記の（１）式において、Ｓ_R，Ｓ_G，Ｓ_BはＲＧＢ各チャネルについての分散を示しており、Ｓ_RG，Ｓ_GB，Ｓ_RBはＲ−Ｇ，Ｇ−Ｂ，Ｒ−Ｂ間の共分散を示している。

図１０は、ステップＳ２１０におけるサンプリングによって得られる平均μ（μ_R，μ_G，μ_B）と分散Ｓ_R，Ｓ_G，Ｓ_Bをグラフによって示している。本発明において、サンプリングされた画素が示す色の３次元のＲＧＢ色空間における分布は正規分布Ｎ（μ，Ｓ）であると仮定しており、ＲＧＢ階調分布がそれぞれ平均μ（μ_R，μ_G，μ_B）を中心とした正規分布Ｎ_R（μ_R，Ｓ_R），Ｎ_G（μ_G，Ｓ_G），Ｎ_B（μ_B，Ｓ_B）と仮定されている様子が図示されている。平均μ（μ_R，μ_G，μ_B）は、検出された顔において最も標準的な肌色を示し、分散Ｓ_R，Ｓ_G，Ｓ_Bは肌色を示す各チャネルの階調のばらつきの程度を示している。通常、分散Ｓ_R，Ｓ_G，Ｓ_Bはそれぞれ異なる大きさとなるが、平均μ（μ_R，μ_G，μ_B）に各分散Ｓ_R，Ｓ_G，Ｓ_Bの平方根（標準偏差）を加減算した値で囲まれた範囲の確率は６８．２％となる。

なお、本明細書において”肌色”とは、絶対的な色彩値が特定される特定色を意味するのではなく、平均μ（μ_R，μ_G，μ_B）の付近に分布する色を意味する。従って、処理対象の顔に応じて”肌色”が意味する絶対色が変動することとなる。平均μと分散行列Ｓが得られると、ステップＳ２２０において、スカラー変換部Ｐ２ｃ３は、各画素がＲＧＢ階調を有する左目画像データＬＥと右目画像データＲＥを取得する。なお、以降の処理は左目画像データＬＥと右目画像データＲＥのそれぞれについて行われるが、左目画像データＬＥに対する処理を例に挙げて説明する。

ステップＳ２３０において、スカラー変換部Ｐ２ｃ３は、左目画像データＬＥから一つの画素を順次選択し、選択した画素のＲＧＢ階調（ｒ，ｇ，ｂ）を下記の（２）式に代入することよってマハラノビス平方距離Ｄ_M ²に変換する。

なお、前記の（２）式において、Δｒは（ｒ−μ_R）であり、Δｇは（ｇ−μ_G）であり、Δｂは（ｂ−μ_B）である。マハラノビス平方距離Ｄ_M ²は、上述した肌色のサンプリングによって得られた標準的な肌色を示す平均μ（μ_R，μ_G，μ_B）と、選択した画素のＲＧＢ階調（ｒ，ｇ，ｂ）とのＲＧＢ色空間における平方距離（ＲＧＢ階調値のずれ量）に対応する指標値であり、その大きさはＲＧＢ色空間における色のずれ方向に依存しない。すなわち、マハラノビス平方距離Ｄ_M ²が同じであれば、平均μ（μ_R，μ_G，μ_B）からの色ずれ方向が異なっていても、確率的には同程度の差を有していると考えることができ、以下においてＲＧＢ色空間における色ずれ方向を無視した処理を行うことができる。

図１１は、ＲＧＢ色空間（ＲＧ平面）におけるマハラノビス平方距離Ｄ_M ²の等値線を示している。同図において、横軸はＲ階調（ｒ）を示し、縦軸はＧ階調（ｇ）を示している。等値線は、ＲＧＢ各チャネルの分散Ｓ_R，Ｓ_G，Ｓ_Bの相違に起因して、略楕円状となっている。平均μ（μ_R，μ_G）においてマハラノビス平方距離Ｄ_M ²が０となり、ＲＧ平面において平均μ（μ_R，μ_G）から離れるほどマハラノビス平方距離Ｄ_M ²が大きくなっている。そのため、左目画像データＬＥに含まれる肌色とは異なる白目や黒目の画素は、肌色の画素よりもマハラノビス平方距離Ｄ_M ²が大きくなる。このように、画素の色を示すベクトルとしてのＲＧＢ階調（ｒ，ｇ，ｂ）が、標準的な肌色とのＲＧＢ階調値のずれ量を示すスカラーとしてのマハラノビス平方距離Ｄ_M ²に変換することができる。左目画像データＬＥのすべての画素についてマハラノビス平方距離Ｄ_M ²への変換が完了すると、左目画像データＬＥはマハラノビス平方距離Ｄ_M ²の画像データＤ_M ²（ｘ，ｙ）に変換されたこととなる。

ステップＳ２４０において、スカラー変換部Ｐ２ｃ３は、左目画像データＬＥの画素を順次選択し、選択した画素のマハラノビス平方距離Ｄ_M ²を下記の（３）式で示す変換関数に代入することによりスカラー量Ｚに変換していく。

前記の（３）式においてα、ｕは前記変換関数の変換特性を決定付けるパラメータである。本実施形態では、α＝１に固定し、ｕの初期値を３とする。

図１２は、前記変換関数の変換特性を示している。同図において、横軸は変換前のマハラノビス平方距離Ｄ_M ²を示し、縦軸は変換後のスカラー量Ｚを示している。また、ある左目画像データＬＥの変換前のマハラノビス平方距離Ｄ_M ²の分布と、変換後のスカラー量Ｚの分布も示している。スカラー量Ｚは、マハラノビス平方距離Ｄ_M ²が０のとき−１となり、マハラノビス平方距離Ｄ_M ²がパラメータｕのとき０となる非線形関数によって表される。ここで、横軸のマハラノビス平方距離Ｄ_M ²において、パラメータｕ＝３を中心とした領域を第２領域Ａ２と表し、第２領域Ａ２よりもマハラノビス平方距離Ｄ_M ²の値が大きくなる領域を第１領域Ａ１と表すものとする。この第２領域Ａ２においては、変換関数の傾きが他の領域よりも急となっており、マハラノビス平方距離Ｄ_M ²の単位変動に応じたスカラー量Ｚの変動量が他の領域よりも大きくなっている。第２領域Ａ２よりもマハラノビス平方距離Ｄ_M ²が大きくなる第１領域Ａ１においては、変換後のスカラー量Ｚが次第に１に飽和していくような変換特性を有している。第２領域Ａ２は、肌色に対応したマハラノビス平方距離Ｄ_M ²の領域と、非肌色に対応したマハラノビス平方距離Ｄ_M ²の領域との間に設定されるのが望ましい。この第２領域Ａ２の位置は、パラメータｕによって設定されるが、初期のパラメータｕ＝３は以下の根拠に基づいて設定されている。

図１３は、マハラノビス平方距離Ｄ_M ²と確率分布の関係をグラフによって示している。同図において、横軸はマハラノビス平方距離Ｄ_M ²を示している。一方、縦軸は、ステップＳ２１０にてサンプリングした肌色の画素のＲＧＢ階調の平均μ（μ_R，μ_G，μ_B）と分散・共分散行列Ｓによって定義される正規分布Ｎ（μ，Ｓ）における確率分布（下側確率）を示している。同図に示すようにマハラノビス平方距離Ｄ_M ²は、ｎ次元カイ二乗分布に従う。本実施形態では、ＲＧＢの階調値で表されるカラー画像を処理の対象としており、３次元カイ二乗分布（実線で図示）によって各マハラノビス平方距離Ｄ_M ²に対応する確率を推定することができる。マハラノビス平方距離Ｄ_M ²＝３のとき、下側確率が約６０％となっている。すなわち、肌色を示す画素のうち約６０％が、マハラノビス平方距離Ｄ_M ²が３以下となるということが分かる。マハラノビス平方距離Ｄ_M ²が３を超えてくると、その画素が肌色を示すことが疑わしくなっていくということが推測できる。すなわち、マハラノビス平方距離Ｄ_M ²が３を超えてくる付近の領域が、肌色に対応したマハラノビス平方距離Ｄ_M ²の領域と、非肌色に対応したマハラノビス平方距離Ｄ_M ²の領域との間の領域であると推定できる。そのため、本実施形態では、パラメータｕの初期値を３とし、マハラノビス平方距離Ｄ_M ²が３となる付近の領域を第２領域Ａ２と設定している。なお、モノクロ画像の場合には、マハラノビス平方距離Ｄ_M ²が１次元カイ二乗分布（破線で図示）に従う。

図１２において示した前記変換関数による変換前のマハラノビス平方距離Ｄ_M ²の分布においては、マハラノビス平方距離Ｄ_M ²＝０を中心とした肌色の分布Ｇ１と左目画像データＬＥに含まれる白（白目）の分布Ｇ２と黒（黒目、眉等）の分布Ｇ３が存在する。これに対して変換後のスカラー量Ｚの分布においては、肌色の分布Ｇ１はスカラー量Ｚ＝−１を中心として分布し、左目画像データＬＥに含まれる白の分布Ｇ２と黒の分布Ｇ３は分布全体が１にほぼ飽和した値に変換されている。また、平均μ（μ_R，μ_G，μ_B）が示す標準的な肌色と比較して明るめの肌色や暗めの肌色は、パラメータｕの初期値である３付近に位置しており、傾きが急な第２領域Ａ２に存在することとなる。

以上説明した変換関数によって、左目画像データＬＥのすべての画素のマハラノビス平方距離Ｄ_M ²をスカラー量Ｚに変換することにより、左目画像データＬＥをスカラー量Ｚの画像データＺ（ｘ，ｙ）に変換することができる。以下、スカラー量Ｚの画像データＺ（ｘ，ｙ）に変換された左目画像データＬＥ，右目画像データＲＥをＺマップとも表記するものとする。なお、Ｚマップはスカラー量マップに相当する。なお、マハラノビス平方距離Ｄ_M ²も肌色らしさを示す指標として使用することが可能であるが、上述した変換関数による変換したスカラー量Ｚによれば、肌色らしいか否かをより明瞭に判別することができる。

ステップＳ２５０において、変換関数設定部Ｐ２ｃ４は、スカラー量Ｚが所定の閾値Ｔｈ１を超える画素を計数し、当該閾値Ｔｈ１を超える画素の個数比率（面積比率）が所定の閾値Ｔｈ２を超えているか否かを判定する。本実施形態では、閾値Ｔｈ１＝０．６とし、閾値Ｔｈ２＝３３％とする。図１２において、閾値Ｔｈ１＝０．６を破線で示しており、閾値Ｔｈ１＝０．６を超える画素は、飽和しているとみなし、肌色らしくない色であると判断する。また、白の分布Ｇ２と黒の分布Ｇ３も、閾値Ｔｈ１＝０．６を超える画素に該当することとなる。すなわち、閾値Ｔｈ１による閾値判定によって左目画像データＬＥの各画素が肌色らしいか肌色らしくないかを判定することができる。閾値Ｔｈ１を超える画素の比率が大きいほど、肌色らしくない画素の左目画像データＬＥにおける面積比率が大きくなるということが言える。

ここで、左目画像データＬＥは、左目とその周辺の領域の画像を示すものであり、左目画像データＬＥにおいて左目が占める面積は、左目画像データＬＥとマッチングする目テンプレート１４ｃと同様となる。上述したとおり目テンプレート１４ｃにおいては目の大きさが規格化されているため、左目画像データＬＥにおける目の大きさも目テンプレート１４ｃにて規格化された目の大きさと同様となると考えることができる。従って、Ｚマップにおいて、肌色らしくない画素が占める面積比率も一定の傾向を有すると考えることができる。本実施形態では、肌色らしくない画素が占める面積比率が閾値Ｔｈ２＝３３％を超えることが妥当であると仮定し、肌色らしくない画素が占める面積比率が閾値Ｔｈ２＝３３％以下である場合には、変換関数設定部Ｐ２ｃ４がステップＳ２６０において上述した変換関数のパラメータｕを変更する。パラメータｕは、正規分布Ｎ（μ，Ｓ）を仮定した場合の推測値であるため、本実施形態のように実際の面積比率に基づく妥当性によって調整するのが望ましい。なお、本実施形態における閾値Ｔｈ１，閾値Ｔｈ２は一例であり、異なる値を採用してもよい。また、面積比率の妥当な範囲を閾値Ｔｈ２だけでなく、上限値と下限値によって規定するようにしてもよい。

ステップＳ２６０においては、パラメータｕをもとの値の４倍に変更し、ステップＳ２４０に戻る。そして、ステップＳ２５０において、変更したパラメータｕを前記の（３）式に適用し、再度、左目画像データＬＥのマハラノビス平方距離Ｄ_M ²をスカラー量Ｚに変換して、再度、Ｚマップを得る。ステップＳ２５０においては、同様にＺマップにおいて肌色らしくない画素の面積比率の妥当性を判定し、妥当でなければ再度パラメータｕを４倍する。以上の処理を繰り返して実行することにより、肌色らしくない画素の面積比率の妥当となるまで、変換関数を最適化してくことができる。

本実施形態では、パラメータｕを順次大きくしていくため、変換関数による変換特性が図１２において破線で示すように推移していく。すなわち、傾きが急となる第２領域Ａ２をマハラノビス平方距離Ｄ_M ²が大きくなる方向にシフトさせていくことができる。これにともなって、第１領域Ａ１の幅が狭められることとなる。このようにすることにより、肌色のばらつきが顔についても、適切な変換関数を設定することができる。ステップＳ２５０において、スカラー量Ｚが閾値Ｔｈ１を超える画素の比率が所定の閾値Ｔｈ２を超えていると判定した場合には、パラメータｕの変更を行うことなくスカラー変換処理を終了させ、各画素のＲＧＢ階調がスカラー量Ｚの階調値に変換された左目画像データＬＥ（Ｚマップ）をパラメータ探索部Ｐ２ｃ５に出力する。なお、本実施形態では、パラメータｕを変更するようにしたが、第１領域Ａ１と第２領域Ａ２の範囲を調整するためにパラメータαも変更してもよい。第１領域Ａ１を広くするためにはパラメータαを大きくし、第２領域Ａ２を広くするためにはパラメータαを小さくすればよい。むろん、パラメータｕを大きめに設定し、徐々に小さく変更していってもよい。

図１４は、各画素がスカラー量Ｚ（ｘ，ｙ）で表されるＺマップの一例を示している。同図において、左目画像データＬＥの鉛直断面と水平断面におけるスカラー量Ｚ（ｘ，ｙ）を示している。鉛直断面において、黒目に対応する部分はスカラー量Ｚ（ｘ，ｙ）が１に近い値となっており、それ以外の肌色に対応する部分は−１〜０付近の間の値となっている。目の輪郭を構成する黒目と肌色との境界においては、鉛直方向の勾配が大きい値となっている。一方、水平断面において、黒目と白目に対応する部分はともにスカラー量Ｚが１に近い値となっており、それ以外の肌色に対応する部分は−１に近い値となっている。目の輪郭を構成する白目と肌色との境界における水平方向の勾配が大きい値となっているが、黒目と白目の境界においては勾配が極めて小さくなっている。以上においては、左目画像データＬＥをＺマップに変換する処理を例に挙げて説明したが、同様の処理を右目画像データＲＥについても実行し、右目画像データＲＥもＺマップに変換されている。

２−１．左目の輪郭検出
ここまでは、左目画像データＬＥと右目画像データＲＥに対して共通する処理を実行するが、次のステップＳ１６０（図３）から左目画像データＬＥに対して特有の処理を実行する。ステップＳ１６０において、パラメータ探索部Ｐ２ｃ５は、左目画像データＬＥを変換したＺマップを取得する。ステップＳ１７０において、パラメータ探索部Ｐ２ｃ５は、Ｚマップにおいて目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂを初期設定する。

図１５は、左目のＺマップにおける輪郭パラメータＬ，Ｒ，Ｔ，Ｂを示している。輪郭パラメータＬ，Ｒ，Ｔ，Ｂは、左目の輪郭における目尻と目頭と上頂点と下頂点に対応しており、それぞれ水平方向と鉛直方向の座標によってＬ（ｘ_L，ｙ_L），Ｒ（ｘ_R，ｙ_R），Ｔ（ｘ_T，ｙ_T），Ｂ（ｘ_B，ｙ_B）と表される。輪郭パラメータＬ，Ｒ，Ｔ，Ｂの初期値が設定できると、左目を近似するための輪郭線Ｏ（第１近似曲線）を生成することができる（第１近似手段）。本実施形態において、輪郭線Ｏは、左上部分の曲線Ｏ１と、右上部分の曲線Ｏ２と、左下部分の曲線Ｏ３と、左下部分の曲線Ｏ４によって近似される。各曲線Ｏ１〜Ｏ４は下記の（４）式で表される。

前記の（４）式において、曲線Ｏ１は輪郭パラメータＴの座標を変曲点とし、輪郭パラメータＬの座標を通過する上に凸の２次曲線で表される。ａ₁，ａ₂は正であり、ａ₃，ａ₄は負とする。曲線Ｏ２は輪郭パラメータＴの座標を変曲点とし、輪郭パラメータＲの座標を通過する上に凸の２次曲線で表される。一方、曲線Ｏ３は輪郭パラメータＢの座標を変曲点とし、輪郭パラメータＬの座標を通過する下に凸の２次曲線で表される。曲線Ｏ４は輪郭パラメータＢの座標を変曲点とし、輪郭パラメータＲの座標を通過する下に凸の２次曲線で表される。輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標を定めると、曲線Ｏ１〜Ｏ４が一意に定まるため、輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標を初期設定することにより、輪郭線Ｏの位置および形状が初期設定されることとなる。なお、輪郭パラメータＬ，Ｒ，Ｔおよび輪郭パラメータＬ，Ｒ，Ｂのそれぞれ３点の組み合わせの位置関係に注目すると、輪郭パラメータＬ，Ｒの座標が水平方向の両外側に位置する終端点に相当し、輪郭パラメータＴ，Ｂの座標が共通の変曲点に相当する。以上のような輪郭線Ｏを配置するために、輪郭パラメータＬ，Ｒ，Ｔ，Ｂの初期値は、少なくともｘ_L＜ｘ_T＜ｘ_R，ｘ_L＜ｘ_B＜ｘ_R，ｙ_T＜ｙ_L＜ｙ_B，ｙ_T＜ｙ_R＜ｙ_Bが満足されていればよい。本実施形態では、図１５に図示するように左目画像データＬＥの中央鉛直線に対して左右対称、かつ、中央よりやや下の水平線に対して上下対称に設定する。また、目テンプレート１４ｃにて規格化された目の輪郭（破線で図示）よりもやや外側に輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標の初期値を設定する。

以上のようにＺマップにて輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標の初期値が設定されると、ステップＳ１８０においてパラメータ探索部Ｐ２ｃ５と評価値算出部Ｐ２ｃ６が最適な輪郭パラメータＬ，Ｒ，Ｔ，Ｂの探索処理を行う。パラメータ探索部Ｐ２ｃ５が輪郭パラメータＬ，Ｒ，Ｔ，Ｂを更新し、当該更新した輪郭パラメータＬ，Ｒ，Ｔ，Ｂを評価値算出部Ｐ２ｃ６に出力すると、評価値算出部Ｐ２ｃ６は下記の評価値Ｖを算出し、当該評価値Ｖをパラメータ探索部Ｐ２ｃ５に返す。そして、パラメータ探索部Ｐ２ｃ５は評価値Ｖを最大とする輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標を探索する。

図１６は、評価値Ｖの概念を模式的に説明している。図１６において、輪郭線Ｏ上において長さｄｌを有する微小線要素と、当該微小線要素の法線単位ベクトルｐが示されている。曲線Ｏ１〜Ｏ４が前記の（４）式によって特定できるため、任意の微小線要素についての法線単位ベクトルｐを求めることができる。なお、法線単位ベクトルｐは内側方向が正となるようにする。すなわち、曲線Ｏ１，Ｏ２上の微小線要素の法線単位ベクトルｐのｙ成分は下方向を正とし、反対に曲線Ｏ３，Ｏ４上の微小線要素の法線単位ベクトルｐのｙ成分は上方向を正とする。また、曲線Ｏ１，Ｏ３上の微小線要素の法線単位ベクトルｐのｘ成分は右方向を正とし、反対に曲線Ｏ２，Ｏ４上の微小線要素の法線単位ベクトルｐのｘ成分は左方向を正とする。勾配ベクトルｇは下記の（５）式で表される。

前記の（５）式において、勾配ベクトルｇは、水平方向の勾配と鉛直方向の勾配によって与えられ、肌色らしさを示すスカラー量Ｚ（ｘ，ｙ）の変動が激しい領域ほど大きくなる。評価値算出部Ｐ２ｃ６は、以上説明した法線単位ベクトルｐと勾配ベクトルｇを使用し、下記の（６）式によって輪郭線Ｏの輪郭への近似性を評価する評価値Ｖを算出する。

前記の（６）式において、評価値Ｖは微小線要素に関する法線単位ベクトルｐと勾配ベクトルｇの内積（微少評価値）を輪郭線Ｏに沿って線積分（合計）することにより求められる。ただし、輪郭線Ｏの下側部分の曲線Ｏ３，Ｏ４に関する積分値に対して、輪郭線Ｏの上側部分の曲線Ｏ１，Ｏ２に関する積分値を２倍に重み付けしている。法線単位ベクトルｐと勾配ベクトルｇの内積は、法線単位ベクトルｐと勾配ベクトルｇが同じ方向であり、かつ、勾配ベクトルｇが大きいほど大きい値となる。従って、輪郭線Ｏを構成する各微小線要素がスカラー量Ｚ（ｘ，ｙ）の勾配方向に直交し、かつ、勾配が大きいほど評価値Ｖが大きい値となる。

スカラー量Ｚ（ｘ，ｙ）の勾配は、肌色らしさが変動する程度であると考えることができるため、評価値Ｖが大きいと、輪郭線Ｏが肌色らしさの変動が大きい領域を通過していると評価することができる。すなわち、評価値Ｖが大きいと、輪郭線Ｏが肌色らしさの変動が大きくなる目の輪郭を通過していると考えることができる。特に、スカラー量Ｚ（ｘ，ｙ）は、肌色であることが疑わしい第２領域Ａ２において変動が激しくなるように変換されているため、肌色でない目の輪郭付近では、勾配が極端に大きくなる。一方、図１２で示したように白の分布Ｇ２と黒の分布Ｇ３は、双方とも１に近い値に飽和しており、白目と黒目の境界であってもスカラー量Ｚ（ｘ，ｙ）の勾配は小さいものとなる。すなわち、マハラノビス平方距離Ｄ_M ²において白の分布Ｇ２と黒の分布Ｇ３が異なる値を示していても、変換関数によってスカラー量Ｚに変換することにより、白の分布Ｇ２と黒の分布Ｇ３のマハラノビス平方距離Ｄ_M ²の差を微少なものに変換することができ、これらの間でスカラー量Ｚの勾配を生じなくさせることができる。従って、白目と黒目の境界について評価値Ｖが大きくなることが防止でき、白目と黒目の境界と目の輪郭を明確に区別することができる。なお、概念的な理解を容易とするために、連続的な画像平面上において評価値Ｖや勾配ベクトルｇや法線ベクトルｎが算出されるように説明したが、現実には離散的な画像平面において等価な演算が行われることとなる。以下に説明する探索処理（探索手段、輪郭検出手段）においては、評価値Ｖを大きくさせる輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標を探索していく。

図１７は、探索処理における探索の手順を模式的に説明している。同図において、輪郭パラメータＬ，Ｒ，Ｔ，Ｂの移動パターンが示されており、当該移動パターンが第１〜４フェーズから構成されている。第１フェーズにおいては、現在の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標（ａ）から対角４方向に２画素分ずれた４座標（ｂ，ｃ，ｄ，ｅ）に輪郭パラメータＬ，Ｒ，Ｔ，Ｂを移動させる。第２フェーズにおいては、現在の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標（ａ）から鉛直水平方向に２画素分ずれた４座標（ｂ，ｃ，ｄ，ｅ）に輪郭パラメータＬ，Ｒ，Ｔ，Ｂを移動させる。第３フェーズにおいては、現在の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標（ａ）から対角４方向に１画素分ずれた４座標（ｂ，ｃ，ｄ，ｅ）に輪郭パラメータＬ，Ｒ，Ｔ，Ｂを移動させる。第４フェーズにおいては、現在の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標（ａ）から鉛直水平方向に１画素分ずれた４座標（ｂ，ｃ，ｄ，ｅ）に輪郭パラメータＬ，Ｒ，Ｔ，Ｂを移動させる。第４フェーズが完了した時点で探索処理を終了する。

図１８は、各フェーズにおける詳細な探索手順を示している。まず直前のフェーズ（第１フェーズにおいては初期値）によって決定された現在の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標（ａ）を中心として、図１７に示す移動パターンにしたがって輪郭パラメータＬ，Ｒ，Ｔ，Ｂを移動させる。輪郭パラメータＬ，Ｒ，Ｔ，Ｂを同時に移動させるのではなく、Ｌ→Ｒ→Ｔ→Ｂの順で移動させる。まず現在の輪郭パラメータＬ，Ｒ，Ｔ，Ｂを評価値算出部Ｐ２ｃ６に出力し、評価値Ｖ_aを算出する。次に輪郭パラメータＲ，Ｔ，Ｂを固定し、輪郭パラメータＬを現在の座標（ａ）のまわりの４座標（ｂ，ｃ，ｄ，ｅ）に順次移動させる。このとき輪郭パラメータＬが移動するごとに、輪郭パラメータＬ，Ｒ，Ｔ，Ｂを評価値算出部Ｐ２ｃ６に出力し、評価値Ｖ_a，Ｖ_b，Ｖ_c，Ｖ_d，Ｖ_eを算出する。なお、４座標（ｂ，ｃ，ｄ，ｅ）への移動順序はどのようなものであってもよい。以上のようにして４座標（ａ，ｂ，ｃ，ｄ，ｅ）の輪郭パラメータＬについての評価値Ｖ_a，Ｖ_b，Ｖ_c，Ｖ_d，Ｖ_eが得られると、評価値Ｖ_a，Ｖ_b，Ｖ_c，Ｖ_d，Ｖ_eに基づいて評価値Ｖを極大化させる輪郭パラメータＬの座標（ｈ）を予測する。

まず、現在の輪郭パラメータＬの座標（ａ）を通過する線分ｂ−ａ−ｃに関する評価値Ｖ_a，Ｖ_b，Ｖ_cを通る２次曲線を算出し、当該２次曲線を極大化させる座標を算出する。なお、当該２次曲線が上に凸であり、かつ、変曲点が線分ｂ−ａ−ｃの間にある場合のみ、前記２次曲線を極大化させる座標が算出できる。前記２次曲線を極大化させる座標（ｆ）が算出できない場合には、端の評価値Ｖ_b，Ｖ_cのうち大きい方の座標（ｂ）または座標（ｃ）を座標（ｆ）とする。そして、線分ｂ−ａ−ｃに平行かつ座標（ｆ）を通過する直線ｌ１を生成する。次に、現在の輪郭パラメータＬの座標（ａ）を通過し、線分ｂ−ａ−ｃに直交する線分ｄ−ａ−ｅに関する評価値Ｖ_a，Ｖ_d，Ｖ_eを通る２次曲線を算出し、当該２次曲線を極大化させる座標（ｇ）を同様の手順で算出する。そして、線分ｄ−ａ−ｅに平行かつ座標（ｇ）を通過する直線ｌ２を生成する。

以上のようにして直線ｌ１，ｌ２が生成できると、これらの交点の座標を輪郭パラメータＬの座標（ｈ）として算出する。この座標（ｈ）が算出できると、輪郭パラメータＬを座標（ｈ）に移動させ、そのときの評価値Ｖ_hを算出する。以上のようにして、６個の評価値Ｖ_a，Ｖ_b，Ｖ_c，Ｖ_d，Ｖ_e，Ｖ_hが算出できると、これらのうち最も大きいものに対応する座標を当該フェーズにおける最適な輪郭パラメータＬの座標として決定する。輪郭パラメータＬについて最適な座標が決定すると、次に輪郭パラメータＲについて同様の処理を行って最適な座標を決定する。さらに、輪郭パラメータＴ，Ｂについて順に同様の処理を行って最適な座標を決定し、当該フェーズを終了させ、次のフェーズに移行する。第４フェーズが完了した段階で、最終的に輪郭パラメータＬ，Ｒ，Ｔ，Ｂを確定させる。

以上説明したように、探索の初期の第１，２フェーズにおいては広範囲に輪郭パラメータＬ，Ｒ，Ｔ，Ｂを移動させるため、輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標をおおまかに目尻、目頭、上頂点、下頂点に近づけさせることができる。さらに、探索の後期の第３，４フェーズにおいては狭い範囲で局所的に輪郭パラメータＬ，Ｒ，Ｔ，Ｂを移動させるため、より目尻、目頭、上頂点、下頂点に収束するように輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標を微調整することできる。ただし、第１〜４フェーズにおける探索距離は、左目画像データＬＥの大きさに応じて設定されるべきであり、左目画像データＬＥが大きくなるのに応じて探索距離も大きくするのが望ましい。徐々に探索距離を短くすればよく、４フェーズ以上の探索を行うようにしてもよい。また、輪郭パラメータＬ，Ｒ，Ｔ，Ｂの初期値を中央からやや下よりに設定しているため、眉の黒と肌色との輪郭を誤検出することが防止できる。また、初期の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標によって妥当な形状の輪郭線Ｏを設定し、各フェーズにおいて少しずつ輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標を全体的に移動させるようにしているため、輪郭線Ｏの形状が極端に異常な形状となることもない。例えば、輪郭パラメータＬのみを集中的に移動させることにより、輪郭パラメータＬが黒目と白目の境界等に収束するようなことが防止できる。また、評価値Ｖは、勾配ベクトルｇに対する直交性を輪郭線Ｏの全体について評価するため、輪郭パラメータＬ，Ｒ，Ｔ，Ｂの一点が異常な点に収束することが防止できる。

さらに、輪郭パラメータＬ，Ｒ，Ｔ，Ｂの初期値を目テンプレート１４ｃにて規格化された目の輪郭よりもやや外側に設定しているため、基本的にはフェーズの進行とともに輪郭パラメータＬ，Ｒ，Ｔ，Ｂが内側に移動し、最適な座標に収束することとなる。従って、探索の際に輪郭パラメータＬ，Ｒ，Ｔ，Ｂの位置関係が逆転することが防止できる。輪郭パラメータＬ，Ｒ，Ｔ，Ｂはそれぞれ独立して移動するため、左目の輪郭が上下非対称、左右非対称であっても、４個の２次曲線Ｏ１〜Ｏ４によって精度よくフィッティングすることができる。さらに、輪郭パラメータＬ，Ｒ，Ｔ，ＢをＬ→Ｒ→Ｔ→Ｂの順で移動させることにより、まぶたの状態によって大きく位置が変動しがちな輪郭パラメータＴ，Ｂよりも先に、位置が安定する輪郭パラメータＬ，Ｒを探索することができ、全体の探索精度や探索効率を向上させることができる。また、探索の過程で、輪郭パラメータＬ，Ｒ，Ｔ，Ｂの位置関係がｘ_L＜ｘ_T＜ｘ_R，ｘ_L＜ｘ_B＜ｘ_Rを満足しなくなった場合や、目の縦横比（ＬＲ間とＴＢ間の距離の比）が明らかに異常となった場合には探索をエラー終了させてもよい。なお、目の表情によっては、ｙ_B＜ｙ_R，ｙ_B＜ｙ_Lとなることも考えられ、その場合はａ₃，ａ₄の符号が探索の途中で正に反転することとなる。なお、一定の評価値Ｖに到達した時点で探索を終了させ、そのときの輪郭パラメータＬ，Ｒ，Ｔ，Ｂを出力してもよい。

なお、図１４に示すように目の輪郭線に対応する領域においては、常に、輪郭の内側に向かってスカラー量Ｚ（ｘ，ｙ）が増加する。すなわち、輪郭線上の微少線要素においては勾配ベクトルｇが常に内側を向くこととなる。一方、法線ベクトルｎの符号も、常に曲線Ｏ１〜Ｏ４の内側方向が正となるように定義されているため、スカラー量Ｚ（ｘ，ｙ）の勾配方向と曲線Ｏ１〜Ｏ４の対応関係を一定に保つことができる。すなわち、輪郭パラメータＴの座標が目の下側の輪郭線上に収束したり、輪郭パラメータＢの座標が目の上側の輪郭線上に収束することが防止できる。また、下側の輪郭線は上側の輪郭線と比較して曖昧となりがちであるため、評価値Ｖにおいて下側の輪郭線よりも上側の輪郭線を重視することにより、曖昧な下側の輪郭線の影響によって全体の検出精度が低下することが防止できる。また、スカラー量Ｚ（ｘ，ｙ）は、目の付近からサンプリングした肌色画素の平均μ（μ_R，μ_G，μ_B）を基準として算出されるため、撮影条件や被写体の（絶対的な意味での）肌色に依存することなく輪郭を検出することができる。

２−２．右目の輪郭検出
以上のようにして、左目の輪郭が検出できると、最終的に探索された輪郭パラメータＬ，Ｒ，Ｔ，ＢをＲＡＭ１２に記憶し、引き続き右目の輪郭検出を実行する。ステップＳ１９０（図３）において、パラメータ探索部Ｐ２ｃ５は、右目画像データＲＥを変換したＺマップを取得する。ステップＳ１９２において、パラメータ探索部Ｐ２ｃ５は、右目のＺマップにおいて目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂを初期設定する。ここでは、ＲＡＭ１２から左目の輪郭を示す輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標を読み出し、輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標に基づいて、右目の近似するための輪郭パラメータＬ，Ｒ，Ｔ，Ｂの初期設定を行う。

図１９Ａは、ステップＳ１８０で探索された左目についての輪郭パラメータＬ，Ｒ，Ｔ，Ｂを示している。左目のＺマップにおいて輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標が特定されることによって、左目の輪郭への近似性の高い第１近似曲線としての輪郭線Ｏを一意に特定することができる。図１９Ｂでは、ステップＳ１９２にて右目のＺマップに初期設定される輪郭パラメータＬ，Ｒ，Ｔ，Ｂ、および、当該輪郭パラメータＬ，Ｒ，Ｔ，Ｂによって一意に特定される第２近似曲線としての輪郭線Ｏを示している。同図に示すように、右目の輪郭線Ｏが左目の輪郭線Ｏに対して、中央の鉛直線に関し左右対称となるように右目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂが初期設定されている。なお、探索後の左目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標をＬ（ｘ_L，ｙ_L），Ｒ（ｘ_R，ｙ_R），Ｔ（ｘ_T，ｙ_T），Ｂ（ｘ_B，ｙ_B）で表すと、初期設定される右目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標はＬ（２５−ｘ_R，ｙ_R），Ｒ（２５−ｘ_L，ｙ_L），Ｔ（２５−ｘ_T，ｙ_T），Ｂ（２５−ｘ_B，ｙ_B）で表すことができる。すなわち、ｘの座標を左右反転した値（２５−ｘ）に置き換えるとともに、輪郭パラメータＬ，Ｒの左右の位置関係を交換する。

以上のようにして、右目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂが初期設定できると、ステップＳ１９４にて、（第２）探索処理を実行する。ここでは、ステップＳ１８０において行った左目についての処理と同様の処理を行うため、説明を省略する。ステップＳ１９４における探索処理においては、ステップＳ１８０にて探索された左目の輪郭に左右対称となる輪郭線Ｏから探索を開始することができる。同一人物の左右の目は対称に近い輪郭形状を有していると推定することができるため、現実に近い形状から探索を開始させることができる。また、表情の変化に伴う左右の目の状態も似ていると考えることができる。すなわち、特に意識しない限り、左右のまぶたは同時に開閉されることとなる。この点からも、現実に近い形状から探索を開始させることができるということができる。現実に近い形状から探索を開始させることができるため、探索において右目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂが移動すべき距離を短くすることができ、例えば第３フェーズから探索処理を開始しても、適切な位置に輪郭パラメータＬ，Ｒ，Ｔ，Ｂが移動させることができる。そのため、輪郭検出における処理負荷を軽減させることも可能である。

以上のように右目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの探索が完了すると、ステップＳ１９６において、左右の目の最終的な輪郭パラメータＬ，Ｒ，Ｔ，Ｂによって規定された輪郭線Ｏを左右の目の輪郭として出力する。以上のようにして検出された輪郭線Ｏは、例えば顔の表情判定やピント判定に利用することができる。また、輪郭線Ｏの形状に応じた画像処理を実行し、プリンタドライバＰ３およびプリンタ２０によって印刷を実行させるようにしてもよい。また、画像データ１４ｅに輪郭線Ｏを対応付けて記憶し、画像データ１４ｅを管理するようにしてもよい。

３．変形例
３−１．変形例１
図２０は、変形例にかかる輪郭検出処理の流れを模式的に示している。本変形例においては、輝度階調で各画素が表されたモノクロ画像データ１４ｅが輪郭検出の対象となっている。本変形例においては、上述した実施形態と同様に肌色の輝度を有する画素をサンプリングし、その正規分布Ｎ（μ，Ｓ）を得ておく。そして、左目画像データＬＥの各画素の輝度階調についてマハラノビス平方距離Ｄ_M ²を算出することにより、マハラノビス平方距離Ｄ_M ²に変換する。本変形例では、１次元の正規分布Ｎ（μ，Ｓ）を考えればよいため、マハラノビス平方距離Ｄ_M ²は各画素の輝度階調と平均輝度階調μとの偏差の絶対値を分散Ｓで割った値がマハラノビス平方距離Ｄ_M ²となる。さらに、各画素の偏差Ｄを前記の（３）式によって表される変換関数に代入することにより、スカラーＺ（ｘ，ｙ）の画像データ（Ｚマップ）に変換する。このときのパラメータｕは１とする。以上のようにしてＺマップが得られると、前実施形態と同様に評価値Ｖを算出することが可能となり、同様の探索を行うことが可能となる。本変形例において、輝度階調のみに関する１次元正規分布Ｎ（μ，Ｓ）を仮定しており、図１３において破線で示すようにパラメータｕ＝１は６８．２％のパーセント点に相当する。

３−２．変形例２
本変形例においては、評価値Ｖを下記の（７）式によって定義する。

すなわち、輪郭線Ｏの全体について均等な重み付けを行って、評価値Ｖを算出することとしている。このようにすることにより、上輪郭と下輪郭を同等に評価することができる。さらに、評価値Ｖを下記の（８）式によって定義するようにしてもよい。

前記の（８）式においては、輪郭線Ｏに関する積分をするにあたり、水平方向の位置ｘに応じた重みｗ（ｘ）が積算される。

図２１は、重みｗ（ｘ）の一例を示している。同図において、重みｗ（ｘ）は水平方向の中央において、他の部分よりも重みを大きくしている。このようにすることにより、目の輪郭のうち水平方向中央の部分については、輪郭線Ｏの近似精度を向上させることができる。正面から顔を撮影した場合、目の輪郭のうち水平方向中央の部分がはっきりと撮影されるため、確実に目の上下の頂点の位置を検出することができる。

３−３．変形例３
本変形例においては、評価値Ｖを下記の（９）式によって定義する。

前記の（９）式において、Ｏ_uは上側輪郭線（曲線Ｏ１，Ｏ２）を示し、Ｏ_lは下側輪郭線（曲線Ｏ３，Ｏ４）を示し、ｋは任意の定数を示し、Ｑは多数の目テンプレート１４ｃに含まれる目の平均面積を示している。前記の（９）式の第２項は、上側輪郭線Ｏ_uと下側輪郭線Ｏ_lによって囲まれた面積が、目テンプレート１４ｃに含まれる目の平均面積に等しいか否かを評価する項となっている。予め目テンプレート１４ｃとのパターンマッチングを行っているため、上側輪郭線Ｏ_uと下側輪郭線Ｏ_lによって囲まれた面積は、目テンプレート１４ｃに含まれる目の平均面積に近くなるのが妥当である。前記の（９）式の第２項によれば、上側輪郭線Ｏ_uと下側輪郭線Ｏ_lによって囲まれた面積の妥当性を評価することができ、輪郭検出の精度を向上させることができる。

３−３．変形例３
以上においては、目の輪郭検出を例示したが、他の顔器官の輪郭を同様の手法によって検出することも可能である。例えば、口の輪郭を検出する場合も、同様の手法で肌色の分布を調査し、スカラー量Ｚを算出することができる。この場合、唇を示す赤めの画素や歯を示す白い画素に対応するスカラー量Ｚが１に収束させられるとともに、肌色と非肌色の境界付近の傾きが急となるスカラー量Ｚへの変換が行われることとなる。従って、唇と歯の境界を輪郭として誤検出することなく、口の輪郭を精度よく検出することができる。また、口の輪郭も４本の２次曲線Ｏ１〜Ｏ４によって正確に近似することができる。

３−４．変形例４
図２２は、ステップＳ１９２（図３）にて右目のＺマップに初期設定される輪郭パラメータＬ，Ｒ，Ｔ，Ｂ、および、当該輪郭パラメータＬ，Ｒ，Ｔ，Ｂによって一意に特定される輪郭線Ｏの変形例を示している。同図に示すように、左目の輪郭線Ｏに対して左右対称となる輪郭線（破線で図示）よりもわずかに大きくなるように右目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂが初期設定されている。探索後の左目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標をＬ（ｘ_L，ｙ_L），Ｒ（ｘ_R，ｙ_R），Ｔ（ｘ_T，ｙ_T），Ｂ（ｘ_B，ｙ_B）で表すと、本変形例で初期設定される右目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂの座標はＬ（２５−ｘ_R−２，ｙ_R），Ｒ（２５−ｘ_L＋２，ｙ_L），Ｔ（２５−ｘ_T，ｙ_T＋２），Ｂ（２５−ｘ_B，ｙ_B−２）で表される。このようにすることにより、左右対称となる輪郭線に対して２画素ずつ外側の位置から探索を開始するように輪郭パラメータＬ，Ｒ，Ｔ，Ｂの初期設定を設定することができる。ステップＳ１３０における顔器官の検出によって検出される左右の目の位置がばらつくことも考えられるため、当該ばらつきが吸収できるように右目の輪郭線Ｏを大きめに設定するようにしてもよい。右目の輪郭線Ｏを大きめに設定しておけば、輪郭パラメータＬ，Ｒ，Ｔ，Ｂを内側に向かって移動させる間に最適な座標に収束させることができ、探索の際に輪郭パラメータＬ，Ｒ，Ｔ，Ｂの位置関係が逆転することが防止できる。

３−５．変形例５
上述した実施形態では左目の輪郭検出を先に行うようにしたが、信頼性の高い方の目の輪郭を先に探索し、当該探索結果に基づいて、他方の目の輪郭の輪郭パラメータＬ，Ｒ，Ｔ，Ｂを初期設定するのが望ましい。例えば、顔が正面を向いていない場合、一方の目の方がデジタルスチルカメラに近い位置に位置することとなるため、大きく撮影されることとなる。この場合、大きく撮影された目の輪郭検出を行う方が、もう一方の小さく撮影された目の輪郭検出を行うよりも、信頼性の高い輪郭を検出することができる。従って、ステップＳ１３０の顔器官検出において比較領域ＣＡ１，ＣＡ２（本変形例では、比較領域ＣＡ１，ＣＡ２の大きさを固定せず、変更しながらパターンマッチングを行うものとする。）が大きくなった方の目を先に輪郭検出するのが望ましい。さらに、ステップＳ１１０の顔検出において、顔向きも検出し、当該顔向きにおいて正面に近い側の目を先に輪郭検出するようにしてもよい。

図２３は、信頼性の高い方の目の輪郭を先に探索する場合に、信頼性の高い方の目を判定する様子を模式的に示している。同図において、顔器官の検出（ステップＳ１３０）が完了した状態の顔画像データＦＤの一例を示している。同図の例では、顔が左方向を向いており、左目の比較領域ＣＡ１よりも右目の比較領域ＣＡ２の方が大きく検出されている。この場合、大きい方の右目の比較領域ＣＡ２の方が目の輪郭が鮮明に表れていると考えることができる。従って、右目について信頼性の高い輪郭検出を先に行い、その結果に基づいて、左目の輪郭パラメータＬ，Ｒ，Ｔ，Ｂを初期設定することができる。

なお、以上においては左右両目の輪郭検出を行うものを例示したが、いずれか一方の目の輪郭を検出するのに本発明の輪郭検出方法を適用できることはいうまでもない。また、本発明の輪郭検出方法は、コンピュータ上で実行されるものに限られず、例えばプリンタやデジタルスチルカメラやスキャナ等の画像機器にて実行されてもよい。プリンタにて本発明の輪郭検出方法を行えば、印刷の際に輪郭に応じた画像処理を実行することができる。また、デジタルスチルカメラにて本発明の輪郭検出方法を行えば、各種撮影制御を輪郭に応じて行うことができる。

輪郭検出装置のハードウェア構成を示すブロック図である。 輪郭検出装置のソフトウェア構成を示すブロック図である。 輪郭検出処理の流れを示すフローチャートである。 顔検出の様子を示す図である。 顔器官検出の様子を示す図である。 顔器官検出後の顔画像データを示す図である。 傾き補正の様子を示す図である。 スカラー変換処理の流れを示すフローチャートである。 サンプリングの様子を示す図である。 サンプリングによって得られるヒストグラムである。 マハラノビス平方距離の等値線を示すグラフである。 変換関数による変換特性を示すグラフである。 マハラノビス平方距離と確率分布の関係を示すグラフである。 Ｚマップの一例を示す図である。 Ｚマップにおける輪郭パラメータを示す図である。 評価値を説明する図である。 探索処理における探索手順を示す模式図である。 探索処理の詳細手順を示す模式図である。 右目のＺマップにおける輪郭パラメータを示す図である。 変形例にかかる輪郭検出処理を示す模式図である。 変形例にかかる重みの一例を示すグラフである。 右目のＺマップにおける輪郭パラメータの変形例を示す図である。 左右の目の輪郭検出順序を決定する様子を説明する図である。

符号の説明

１０…コンピュータ、１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…ＨＤＤ、１４ａ…プログラムデータ、１４ｂ…顔テンプレート、１４ｃ…目テンプレート、１４ｄ…口テンプレート、１４ｅ…画像データ、１５…ＧＩＦ、１６…ＶＩＦ、１７…ＩＩＦ、１８…バス、２０…プリンタ、４０…ディスプレイ、５０ａ…キーボード、５０ｂ…マウス、Ｐ１…ＯＳ、Ｐ２…輪郭検出アプリケーション、Ｐ２ａ…顔検出部、Ｐ２ｂ…顔器官検出部、Ｐ２ｃ…輪郭検出部、Ｐ２ｃ１…傾き補正部、Ｐ２ｃ２…サンプリング部、Ｐ２ｃ３…スカラー変換部、Ｐ２ｃ４…変換関数設定部、Ｐ２ｃ５…パラメータ探索部、Ｐ２ｃ６…評価値算出部、Ｐ３…プリンタドライバ。

Claims (8)

1. 画像データに含まれる顔器官の輪郭を検出する輪郭検出方法であって、
   前記画像データの異なる位置に配置された３点のうち水平方向の両外側に位置する２点をそれぞれ終端点とし、残る１点を共通の変曲点とし、当該変曲点にて互いに接続する一対の２次曲線によって前記顔器官の輪郭の少なくとも一部を近似し、
   前記２次曲線の前記輪郭への近似性を評価する評価値を算出し、当該評価値に基づいて前記近似性を向上させる前記変曲点と前記終端点の位置を探索することを特徴とする輪郭検出方法。
2. 前記終端点を共通とし、前記変曲点が異なるもう一対の前記２次曲線を合わせた二対の前記２次曲線によって前記顔器官の前記輪郭の全体を近似することを特徴とする請求項１に記載の輪郭検出方法。
3. 一対の前記２次曲線が上に凸であり、もう一対の前記２次曲線が下に凸であることを特徴とする請求項２に記載の輪郭検出方法。
4. 前記近似性が向上するように前記終端点を移動させ、その後、前記近似性が向上するように前記変曲点を移動させることを特徴とする請求項１から請求項３のいずれか一項に記載の輪郭検出方法。
5. 前記終端点および前記変曲点を所定距離移動させたときに前記近似性を最も向上させる前記終端点および前記変曲点の位置を探索し、その後、当該位置を中心として前記終端点および前記変曲点を前記所定距離よりも少ない距離移動させたときに前記近似性を最も向上させる前記終端点および前記変曲点の位置を探索することを特徴とする請求項１から請求項４のいずれか一項に記載の輪郭検出方法。
6. 前記終端点および前記変曲点を所定方向に移動させたときに前記近似性を最も向上させる前記終端点および前記変曲点の位置を探索し、その後、当該位置を中心として前記終端点および前記変曲点を前記所定方向とは異なる方向に移動させたときに前記近似性を最も向上させる前記終端点および前記変曲点の位置を探索することを特徴とする請求項１から請求項５のいずれか一項に記載の輪郭検出方法。
7. 画像データに含まれる顔器官の輪郭を検出する輪郭検出装置であって、
   前記画像データの異なる位置に配置された３点のうち水平方向の両外側に位置する２点をそれぞれ終端点とし、残る１点を共通の変曲点とし、当該変曲点にて互いに接続する一対の２次曲線によって前記顔器官の輪郭の少なくとも一部を近似する近似手段と、
   前記２次曲線の前記輪郭への近似性を評価する評価値を算出し、当該評価値を向上させる前記変曲点と前記終端点の位置を探索する探索手段とを具備することを特徴とする輪郭検出装置。
8. 画像データに含まれる顔器官の輪郭を検出する機能をコンピュータに実行させるコンピュータ読み取り可能な輪郭検出プログラムであって、
   前記画像データの異なる位置に配置された３点のうち水平方向の両外側に位置する２点をそれぞれ終端点とし、残る１点を共通の変曲点とし、当該変曲点にて互いに接続する一対の２次曲線によって前記顔器官の輪郭の少なくとも一部を近似する近似機能と、
   前記２次曲線の前記輪郭への近似性を評価する評価値を算出し、当該評価値を向上させる前記変曲点と前記終端点の位置を探索する探索機能とをコンピュータに実行させることを特徴とするコンピュータ読み取り可能な輪郭検出プログラム。

Images