JP2007272435A - 顔特徴抽出装置及び顔特徴抽出方法 - Google Patents

Abstract

【課題】似顔絵を描写するには、その前提として各顔パーツの特徴を高い精度にて捉えることが求められる。従来技術では、この各顔パーツの特徴を高精度にて検出する技術について必ずしも十分に応えるものではなかった。
【解決手段】顔画像データから瞳の形状を特定する為に用いられる、演算量が膨大な円形分離度フィルタの処理の前に、コントラストフィルタを採用することによって、目の形状にほぼ等しい探索範囲を作成し、円形分離度フィルタの適用範囲を大幅に縮小する。
【選択図】図２

Description

本発明は、似顔絵作成装置等に適用される、人物の顔の特徴を点と線よりなる特徴データとして機械的に抽出する装置及び方法に適用して好適な技術に関する。

従来、似顔絵を機械的に作成する方法及び装置が種々提案されている。似顔絵を機械的に作成できれば、アミューズメント分野での利用や、通信の分野への応用が期待できる。
例えば、予め漫画家或はイラストレータが表現する個性的な「画風」の顔パーツをデータベース化しておき、対象人物の顔を撮影し、顔の特徴を機械的にデータ化した後、特徴が平均値からどのようにどれだけ離れているかを数値化し、これをデータベースと照合し、得られた顔パーツを組み合わせることにより、機械的に似顔絵を作成することができる（特許文献２参照のこと）。
また、カメラ付き携帯電話で所有者自身の顔を撮影した後、似顔絵を自動生成すれば、携帯電話同士の通信或は通話に高い付加価値を付与することが期待できる。
特許３１３９６１７号公報 特開２０００−１５５８３６号公報 三宅哲夫，春田誠司，堀畑聡，"顔の向きに依存しない特徴量を用いた注視判定法"，電子情報通信学会，D-II vol.J86-D-II No.12 pp.1737-1744(2003.12) 福井和広, 山口修, "形状抽出と照合の組み合わせによる顔特徴点抽出",電子情報通信学会，D-II vol.J80-D-II No.8 pp.2170-2177(1997.08) 若杉 智和，山口 修，福井 和広，"パターンエネルギーを導入した動的輪郭モデルによる唇輪郭抽出"，電子情報通信学会 D-II，Vol.J88-D2 No.9 pp.1857 - 1865 (2005.09) J.J.Atick and A.N.Redlich, "What does the retina know about natural scenes?" Neural Computation, Vol.4, pp.196-210 (1992). 福井 和広，"複数視点画像を用いた顔画像認識，" 精密工学会 画像応用技術専門委員会研究報告 vol.19, No.3, pp.1-10, 2004 CANNY, J., 1986. A Computational Approach to Edge Detection. IEEE Transaction on Pattern Analysis and Machine Intelligence. Vol.PAMI-8, No.6, pp.679-697.

従来、顔特徴の輪郭抽出は、顔検出や視線の検出、人間とコンピュータのユーザインターフェースなどのアプリケーションを実現するため広く研究されている。黒目の位置による注視判定法（非特許文献１）や、パターン照合による顔特徴抽出（非特許文献２）、パターンエネルギーによる口輪郭抽出（非特許文献３）などが挙げられる。しかしこれらは位置や形状を抽出するのみで、似顔絵を描写する上で必要な情報や精度については不足している。
似顔絵を描写するには、その前提として各顔パーツの特徴を高い精度にて捉えることが求められる。従来技術では、この各顔パーツの特徴を高精度にて検出する技術について必ずしも十分に応えるものではなかった。
顔の特徴を正確に捉えられないと、結局は不正確な特徴から作成された似顔絵が本人と似ても似つかないものになってしまい、需要に応えられるものになり得ない。
人物の顔の特徴を捉えるには、写真画像データから得るのが通例だが、この写真画像データの質は千差万別である。特に一般需要に耐え得るには、例えば携帯電話に付属するカメラの画質程度で十分に機能を発揮する必要がある。これは画像データの輝度や顔に当る照明の具合等がまちまちになることを意味する。すなわち、顔特徴抽出装置は、画像データの品質のバラツキに対しても強く、確実に顔特徴を捉える性能が求められる。

本発明はかかる点に鑑みてなされたものであり、千差万別ある人物の顔特徴に依存せず、照明条件などの制約をできるだけ排除し、手作業による調整作業なく自動処理を実現する、入力される顔画像データから自動的に顔器官の特徴点を正確且つ迅速に抽出する装置及び方法を提供することを目的とする。

上記課題を解決するための本発明は、
カラー顔画像データを得る画像入力部と、
前記画像入力部から得られるカラー顔画像データを白黒変換して白黒顔画像データを出力する白黒変換部と、
前記白黒顔画像データの低輝度部分を抜粋するコントラストフィルタと、
前記コントラストフィルタにて抜粋された前記白黒顔画像データの低輝度領域から瞳形状を探索して、瞳中心座標を含む瞳特徴データを出力する分離フィルタと
よりなることを特徴とする顔特徴抽出装置としたものである。

顔画像データから瞳の形状を特定する為に用いられる円形分離度フィルタは演算処理が膨大であり、処理速度の低下の大きな要因となっていた。そこで、コントラストフィルタを採用することによって、目の形状にほぼ等しい探索範囲を作成し、円形分離度フィルタの適用範囲を大幅に縮小させることができる。このことは処理速度の高速化に大きく寄与するものである。

目の特徴を探索するに当り、滑らかな曲線近似を実現するために、上まぶたを瞳中心から極座標展開する。これによりベジエ曲線等で近似し易くなり、少ない演算処理で容易に目の輪郭を抽出することができる。

眉は部分毎に輝度がまちまちで、一様な閾値でエッジ検出を試みても検出誤りを減らすことができない。そこで、眉の輪郭を短冊状に分割する処理と、格子状に分割する処理とをそれぞれ行い、短冊状に分割した領域からエッジを抽出した結果を格子状分割処理によって得た輝度平均を用いて補正することにより、眉全体の自然な輪郭抽出が可能になる。

口の色に特化した色情報変換式の係数を最適なものに定めることにより、口輪郭を高精度に抽出することができる。

鼻において最も捉え易い特徴である鼻の穴を先ず検出し、その重心を求めることにより、正確な特徴を捉えることができる。

顔の輪郭をトレースする起点を口の両端から得ることにより、首の存在等による検出誤りもなく、適切な輪郭抽出処理の起点を設定できる。

耳と思しき領域内に肌色が存在するか否かを検出することで、画像データ中の耳の存在の有無と輪郭抽出処理を迅速且つ的確に実施することができる。

本発明により、顔画像データから各顔パーツの特徴を正確に抽出するための基準である瞳の輪郭形状を、迅速且つ的確に捉えることができる。

以下、本発明の実施の形態を、図１〜図２１を参照して説明する。
［目次］
本発明の実施の形態については、以下の順に説明を行う。
１．全体構成
２．瞳抽出部
３．目輪郭抽出部
４．眉輪郭抽出部
５．口輪郭抽出部
６．鼻輪郭抽出部
７．顔輪郭抽出部
７．１．口真横輪郭点抽出部
７．２．目真横輪郭点抽出部
７．３．顎輪郭データ抽出部
７．４．口目元間輪郭データ抽出部
８．耳輪郭抽出部

［１．全体構成］
図１は、本発明の第１の実施の形態に係る顔特徴抽出装置の機能ブロック図である。
顔特徴抽出装置１００は、例えばパソコンとこれに読み込まれ実行されるプログラムである。勿論、パソコン用プログラムに留まらず、携帯電話のファームウェアとして組み込む、或は遊戯施設に設置される写真撮影機等に組み込むことも可能である。
本実施形態のプログラムは単一のプログラムとすることもできるが、ここでは説明を容易にするために、図１の各ブロックは単一の実行ファイルであるものとする。すなわち、顔特徴抽出装置１００の実体は、複数のプログラムの集合体と、これを実行するパソコン等の情報処理装置である。
各プログラム同士は周知の名前付きソケット（ＦＩＦＯ）の技術を用いてデータの送受信を行う。勿論、プログラム同士のデータ送受信方法は名前付きソケットに限られず、ＴＣＰ／ＩＰのローカルＩＰアドレスを用いる通信方法など、プロセス間通信方法は多種多様存在し、本実施形態はそれらに限定されるものではない。

画像入力部１０１は、所定の手法にて人物の顔のカラー画像データを取得する。カラー画像データを取得する手段は何でも良い。本実施形態においては、例えば周知のＣＣＤカメラやＣＭＯＳカメラ、或は既に撮影済みの顔画像データそのものである。
但し、本実施形態において、幾つか制約がある。
一つは、顔画像データはカラーであることが必要である。これは後述の口輪郭抽出処理と耳輪郭抽出処理において色情報が必須だからである。
もう一つは、画像データの中心に大きく人物の顔が写っている、いわゆる顔写真であることが必要である。これは後述の瞳中心抽出処理において瞳を特定する領域を限定する際に必要だからである。
もっとも、本実施形態に係る装置は人物の顔から特徴を抽出するためにあるので、入力される顔画像データは特徴を抽出し易い状態の画像データであることが求められるので、以上の条件は自ずとクリアされることとなるであろう。
なお、本実施形態において画像入力部１０１は周知のＲＧＢ形式画像データを出力するものとする。
また、後述の各顔パーツの特徴抽出処理によって得られる「輪郭データ」は、顔パーツ上の複数の特徴点と、特徴点同士を結ぶ曲線よりなる。

白黒変換部１０２は画像入力部１０１からカラーの顔画像データを読み込み、白黒の顔画像データに変換する。後述する各顔パーツの輪郭抽出処理に利用するためである。
瞳抽出部１０３は瞳抽出プログラムである。画像入力部１０１から白黒変換部１０２を通じて白黒の顔画像データを読み込み、所定の処理にて入力画像データ中の瞳中心と輪郭の座標データを抽出する。
瞳抽出部１０３が瞳の座標データを得たら、プロセス間通信により、目輪郭抽出部１０４、眉輪郭抽出部１０５、口輪郭抽出部１０６、鼻輪郭抽出部１０７へ二つの瞳中心座標データを渡す。

目輪郭抽出部１０４は目輪郭抽出プログラムである。
白黒変換部１０２から白黒画像データを受信し、瞳抽出部１０３から二つの瞳中心座標データを受信し、これらを基に所定の処理にて目輪郭データを抽出する。
目輪郭抽出部１０４が二つの目輪郭データを得たら、瞳中心座標データと目輪郭データを顔特徴データファイル１１０へ書き込むと共に、プロセス間通信により、顔輪郭抽出部１０８と耳輪郭抽出部１０９に目の両端座標データを渡す。

眉輪郭抽出部１０５は眉輪郭抽出プログラムである。白黒変換部１０２から白黒画像データを受信し、瞳抽出部１０３から二つの瞳中心座標データを受信し、これらを基に所定の処理にて眉輪郭データを抽出する。
眉輪郭抽出部１０５が二つの眉輪郭データを得たら、眉輪郭データを顔特徴データファイル１１０へ書き込む。

口輪郭抽出部１０６は口輪郭抽出プログラムである。画像入力部１０１からカラー画像データを受信し、瞳抽出部１０３から二つの瞳中心座標データを受信し、これらを基に所定の処理にて口輪郭データを抽出する。
口輪郭抽出部１０６が口輪郭データを得たら、プロセス間通信により、顔輪郭抽出部１０８へ口輪郭データを渡すと共に、口輪郭データを顔特徴データファイル１１０へ書き込む。

鼻輪郭抽出部１０７は鼻輪郭抽出プログラムである。白黒変換部１０２から白黒画像データを受信し、瞳抽出部１０３から二つの瞳中心座標データを受信し、これらを基に所定の処理にて鼻輪郭データを抽出する。
鼻輪郭抽出部１０７が鼻輪郭データを得たら、プロセス間通信により、耳輪郭抽出部１０９へ鼻輪郭データを渡すと共に、鼻輪郭データを顔特徴データファイル１１０へ書き込む。

顔輪郭抽出部１０８は顔輪郭抽出プログラムである。白黒変換部１０２から白黒画像データを受信し、目輪郭抽出部１０４から二つの目の両端座標データを受信し、口輪郭抽出部１０６から口輪郭データを受信し、これらを基に所定の処理にて顔輪郭データを抽出する。
顔輪郭抽出部１０８が顔輪郭データを得たら、プロセス間通信により、耳輪郭抽出部１０９へ鼻輪郭データを渡すと共に、顔輪郭データを顔特徴データファイル１１０へ書き込む。
顔輪郭抽出部１０８は目輪郭抽出部１０４と口輪郭抽出部１０６の両方の処理が終わることにより、初めて実質的な演算処理が実行できるものである。

耳輪郭抽出部１０９は耳輪郭抽出プログラムである。画像入力部１０１からカラー画像データを受信し、目輪郭抽出部１０４から二つの目輪郭データを受信し、顔輪郭抽出部１０８から顔輪郭データを受信し、鼻輪郭抽出部１０７から鼻輪郭データを受信し、これらを基に所定の処理にて耳輪郭データを抽出する。
耳輪郭抽出部１０９が二つの耳輪郭データを得たら、耳輪郭データを顔特徴データファイル１１０へ書き込む。
耳輪郭抽出部１０９は目輪郭抽出部１０４と鼻輪郭抽出部１０７と顔輪郭抽出部１０８の三つの処理が終わることにより、初めて実質的な演算処理が実行できるものである。

顔特徴データファイル１１０は例えばリレーショナルデータベースであっても良いし、カンマ区切り形式のテキストファイルであっても良い。
瞳輪郭データ、目輪郭データ、眉輪郭データ、口輪郭データ、鼻輪郭データ、顔輪郭データ、耳輪郭データが格納され、所定のアプリケーションにて利用可能になっていれば何でも良い。

以上、各プログラムは処理を行うに必要なデータをプロセス間通信により得ると、直ちに実行を開始する。各プログラムは各々が独立して並列動作可能であり、処理の順番は必要なデータにのみ依存するものである。

［２．瞳抽出部］
図２は、瞳抽出部１０３の機能ブロック図である。
瞳抽出部１０３は、瞳探索ウインドウ設定部２０２、コントラストフィルタ２０３、改良円形分離度フィルタ２０４よりなる。
瞳探索ウインドウ設定部２０２は、白黒画像データ２０１の横幅ｗ及び縦高さｈのうち、
３／１０ｗ〜７／１０ｗ
４／１０ｈ〜６／１０ｈ
の範囲（ウインドウ）を瞳探索範囲に設定する。
入力される画像データはある程度正規化されている顔写真であることを想定した、処理速度及び精度向上のための探索範囲限定処理である。
図３（ａ）が瞳探索ウインドウ設定部２０２によって限定された白黒画像データのサンプル、図３（ｂ）がコントラストフィルタ２０３によって二値化された白黒画像データのサンプルである。
なお、図３以降に示す画像のサンプル等は、実際には情報処理装置内部のメモリ上に展開されるデータを図示したものであることに注意されたい。

コントラストフィルタ２０３は、上記処理にてウインドウ範囲内に限定された白黒画像データについて、輝度について二値化処理を施す。コントラストフィルタ２０３は例えば非特許文献４にて公知である。
顔の白黒画像データが取り得る値は０〜２５５であるが、単純に所定の輝度値、例えば５０から切り分けてしまうと、ほくろ等の小さな暗部を検出してしまう。その結果は瞳探索処理の際のノイズとして演算処理の高速化を妨げるので、まとまった面積を持つ瞳の探索処理に適さない。そこで、まとまった面積を持つ輝度の領域を緩く検出する技術として、コントラストフィルタを用いる。０〜２５５の輝度をそのまま０Ｈｚ〜２５５Ｈｚとみなし、数式１に示すコントラストフィルタのフーリエ変換の核関数に代入する。

閾値となる遮断周波数ｆ０は実験等に基づいて所定の値を決める。本実施形態では５０としている。コントラストフィルタを通過したデータは緩やかな特性のローパスフィルタと概ね等しい特性となり、暗い領域の中でもまとまった領域の画素データのみフィルタを通過する。
コントラストフィルタ２０３によって、白黒画像データは輝度の低い領域において二値化される。二値化された低輝度の範囲が、瞳探索範囲となる。このように瞳探索範囲を更に絞ることにより、後続の分離度フィルタの演算量が抑えられるので、処理速度の大幅な向上が期待できる。

改良円形分離度フィルタ２０４は、コントラストフィルタ２０３によって探索範囲が限定された白黒画像データに対して、円形の強い分離度を備える形状を探索するフィルタである。本実施形態では更に、瞳にストロボが写り込んで瞳中心が光ってしまうことに起因する、円形分離度フィルタにおける誤認識を防ぐために、中心部分をフィルタの評価対象から外した、いわば中空形状の円形分離度フィルタを採用している。この技術に関しては非特許文献５を参照されたい。

図３（ｃ）は基本的な円形分離度フィルタの一例であり、図３（ｄ）は本実施形態において採用している、中空形状の改良円形分離度フィルタ２０４である。すなわち、改良円形分離度フィルタ２０４は、図３（ｄ）のような形状のフィルタをメモリ上の画像データにかけるようなイメージで、領域内の画素データ群を選択して、選択した画素データ群に対して演算処理を行う処理である。
改良円形分離度フィルタ２０４によって瞳の中心と半径が判明し、図３（ｅ）に示すような、中心を伴う特徴点を作成することができる。

顔画像データから瞳の形状を特定する為に円形分離度フィルタを使用する技術は従来より公知であったが、分離度フィルタは演算処理が膨大であり、処理速度の低下の大きな要因となっていた。
本実施形態においては、限定した探索範囲から更にコントラストフィルタを採用することによって、円形分離度フィルタの適用範囲を大幅に縮小させることができる。このことは処理速度の高速化に大きく寄与するものである。
また、本実施形態では探索範囲の縮小処理にコントラストフィルタを採用したが、コントラストフィルタに限らず、種々の縮小処理が考えられる。
（１）人物の顔画像データから肌色を検出してガウス混合分布を求めた後、画素毎に肌色の尤度を求め、尤度を評価の対象とすることもできる。白黒画像データ２０１と異なり、画素データが肌であるか瞳を含む目であるかによって、画素毎にはっきり分けられるので、肌色尤度の低い領域だけを見ればコントラストフィルタ以上の精度が期待できる。
（２）瞳探索ウインドウ設定部２０２にて探索範囲を限定した白黒画像データ２０１を更に縦１０横４０程度の矩形領域に分割し、矩形領域毎の平均輝度を算出する。瞳に含まれる領域は平均輝度が低くなる。最も低い輝度を中心に、目と思しき大きさの矩形領域群を瞳探索範囲とする。演算量が少ないので、瞳が存在すると思しき領域を大まかに推定するには高速な処理となる。
以上に記したように、瞳の輝度或は色に関する情報からこれを含む領域へ探索範囲を狭める処理であれば何でも良い。

［３．目輪郭抽出部］
図４は、目輪郭抽出部１０４の機能ブロック図である。
目探索ウインドウ設定部４０４は、白黒画像データ４０２と瞳中心座標４０１を受け、目を探索する範囲（ウインドウ）を設定する。前述の瞳探索ウインドウ設定部２０２と同様の、処理速度及び精度向上のための探索範囲限定処理である。
目探索ウインドウ設定部４０４によって限定された白黒画像データ４０２は、極座標展開部４０５に入力される。極座標展開部４０５は、瞳中心座標４０１から左右の目を回転してスキャンして、極座標展開を行う。極座標展開は、目の内側の−４５°の地点から開始し、２２５°の地点まで行う。この処理は、目の上まぶたを極座標展開した画像データである。
一方、目探索ウインドウ設定部４０４によって限定された白黒画像データ４０２は、エッジ検出部４０６にも入力される。エッジ検出部４０６は、目周辺白黒画像データ４０２に対して、エッジ検出処理に基づく輪郭点候補を出力する。エッジ検出処理は、入力される画像データを輝度について微分し、微分値を閾値４０７と比較して、閾値４０７より大きな値を出力する。エッジ検出部４０６は閾値４０７を所定範囲内にて変化させつつ閾値４０７と微分値を比較して、閾値４０７毎に輪郭点候補データを出力する。
制御点決定部４０８は、閾値４０７毎の輪郭点候補データを読み込み、輪郭点の平均値を算出して得た輪郭点群を領域の左右から見て行き、両端位置を制御点として決定する。この制御点は目の両端に相当する。
ベジエ曲線設定部４０９は、極座標展開した白黒画像データ４０２を制御点を起点としてベジエ曲線を仮に設定する。
分離度計算部４１０は、仮に設定されたベジエ曲線の両脇の画素データ群の輝度平均を計算し、その比である分離度を算出する。
一時記憶部４１１はベジエ曲線設定部４０９のパラメータと算出された分離度との組を一時記憶する。
ベジエ曲線設定部４０９から一時記憶部４１１までの処理を、ベジエ曲線設定部４０９におけるパラメータを変えながら何度か行い、分離度が一番高かったベジエ曲線が最適ベジエ曲線である。最適ベジエ曲線決定部４１２は一時記憶部４１１内のベジエ曲線候補群の分離度を見て、最適ベジエ曲線を選択する。これが上まぶたの近似曲線となる。
一方、瞳輪郭座標４０３と制御点決定部４０８から得られる制御点は下まぶた配置部４１３に入力され、下まぶたを機械的に決定する。下まぶたは、以下のように決定する。
- 目尻の点をｅ０とする。
- 目頭の点をｅ６とする。
- ｅ０とｅ６を結ぶ線分を設定する。
- 瞳の中心点から瞳の半径だけ下がった点をｅ３とする。
- ｅ０とｅ３の間に、横方向に等間隔にてｅ１とｅ２を設定する。
- ｅ０とｅ３の縦方向の距離の１／４を、ｅ０とｅ６を結ぶ線分から下げた位置をｅ１の縦方向の位置として、ｅ１を設定する。
- ｅ０とｅ３の縦方向の中点をｅ２の縦方向の位置として、ｅ２を設定する。
- ｅ３とｅ６の間に、横方向に等間隔にてｅ４とｅ５を設定する。
- ｅ３とｅ６の縦方向の距離を７：３に内分した位置をｅ４の縦方向の位置として、ｅ４を設定する。
- ｅ３とｅ６の縦方向の距離の１／４を、ｅ０とｅ６を結ぶ線分から下げた位置をｅ５の縦方向の位置として、ｅ５を設定する。
- ｅ０、ｅ１、ｅ２、ｅ３、ｅ４、ｅ５、ｅ６を曲線近似する。
以上のようにして得られた上まぶたと下まぶたの特徴データが、目輪郭データ４１４となる。

目の輪郭は、まつ毛などにより輪郭がはっきりしている場合が多く、輝度による輪郭抽出は極めて有効である。しかし、入力画像によっては輝度の強弱や変化の幅が異なり、全ての顔画像に対して共通のパラメータによるエッジの抽出は難しい。特に目の上側と下側では差が大きい。よって、輝度の強弱の影響を受け難い抽出と、目らしい配置の評価が求められる。
画像の全体的な明るさ（絶対的な輝度）は一定でないとしても、輪郭を境にはっきりと輝度に差がある（相対的な輝度差）ことは確かである。よって、瞳抽出処理と同様に、輝度による分離度で評価するのが有効であると考える。そして目らしさを実現するために、ある特定の曲線を維持しながらの抽出を行うことにする。
目の輪郭において、個人の特徴が現れやすいのは上側であるといえる。よって、本実施形態においては上まぶたの特徴点を抽出した後に、下側の特徴点を機械的に配置する。
上まぶたは瞳を中心に極座標系で解析する。目の輪郭点は瞳を中心に放射状に存在しているので、極座標展開することで処理しやすくする。図５（ａ）で示すように、先に求めた瞳の中心から左側の目は反時計回り、右側の目は時計回りに展開する。このとき上まぶた全体が連続で表示されるように、目の内側方向を基準に−４５°の地点からスタートさせる。
瞳を中心に極座標系として展開したときの結果が図５（ｂ）となる。これを見て分かるように、上まぶたの輪郭は下に凸の曲線を成す。この輪郭を正確に抽出して直交座標に再変換することで、目の特徴点を抽出することができる。

滑らかな曲線近似を実現するために、極座標展開後の目の境界設定をベジエ曲線(Bezier curve)で行う。ベジエ曲線はパラメトリック曲線の一つで、 ｎ次ベジエ曲線は、ｎ＋１個の制御点Ｐ０，．．．Ｐｎから、数式１で表される式によって与えられる。

ここでＢ^ｎ _ｉ（ｔ）は数式２で表され、ｔの定義域は０≦ｔ≦１となる。

図５（ｃ）は三次ベジエ曲線の例である。制御点Ｐ０とＰ３が本実施形態における目の両端である。制御点Ｐ１とＰ２を経験的な一定の法則にて変化させ、分離度を計算する。
なお、本実施形態では目輪郭近似曲線としてベジエ曲線を採用したが、本実施形態はこれに限られるものではなく、曲線近似の手法は種々のものが適用され得る。

最適解は、設定したベジエ曲線を境界とした上方と下方の領域において輝度を分析し、そのときの分離度で評価する。制御点Ｐ１及びＰ２を経験的な一定の法則で変化させ、分離度を計算する。一連の変化の中で、最も分離度が大きくなったときの曲線を目の輪郭が抽出できていると決定し、直交座標に再変換して目の上側の特徴点とする。図５（ｄ）（ｅ）にベジエ曲線により抽出した結果例を示す。

本実施形態では、目の特徴を探索するに当り、滑らかな曲線近似を実現するために、上まぶたを瞳中心から極座標展開する。これによりベジエ曲線等で近似し易くなり、少ない演算処理で容易に目の輪郭を抽出することができる。

［４．眉輪郭抽出部］
図６は、眉輪郭抽出部１０５の機能ブロック図である。
眉探索ウインドウ設定部６０３は、白黒画像データ６０２と瞳中心座標６０１を受け、眉を探索する範囲（ウインドウ）を設定する。前述の瞳探索ウインドウ設定部２０２及び目探索ウインドウ設定部４０４と同様の、処理速度及び精度向上のための探索範囲限定処理である。
設定された探索ウインドウ範囲内の白黒画像データ６０２は、短冊状分割部６０４と格子状分割部６０８にそれぞれ入力される。
短冊状分割部６０４は入力される画像データを縦方向の短冊状に１２分割する。分割の数はこれに限られるものではなく、装置の処理速度と検出精度とのトレードオフで決定される。図７（ａ）は画像データが短冊状分割部６０４によって分割される有様を模式的に示すものである。
エッジ検出部６０５は短冊状分割部６０４にて分割された画像データを短冊状領域の境界線毎にエッジ検出を行う。エッジ検出処理の内容は、「Cannyエッジフィルタ」等と呼ばれる、非特許文献６の論文より公知の手法を用いる。このエッジ検出処理を、複数の閾値毎に行い、作成した二値の画素データの集合体よりなるエッジデータを出力する。図７（ｂ）はエッジ検出部６０５にて閾値を変えつつエッジを検出する有様を模式的に示すものである。
エッジ候補点抽出部６０６は複数のエッジ候補点から輪郭部分に相当するものと思われる点、すなわち輪郭候補点を短冊領域の境界線毎に抽出する。図７（ｃ）に一例を示す。先ず、短冊領域の境界線上に存在するエッジ点につき、下側から上側に向かってエッジ点を探索する。上側に向かって最初に見つかったエッジ点が、その短冊領域の境界線上における輪郭候補点となる。これを上側からも行う。そして、エッジ検出部６０５にて複数の閾値毎にエッジ検出したエッジデータ毎に処理を行う。図７（ｂ）においては閾値の異なる７つのエッジデータを得ているので、７つのエッジデータを１１本の境界線について上下に輪郭候補点を抽出する。
平均点抽出部６０７は境界線毎、また閾値毎の、複数の輪郭候補点から平均を取り（以下「平均輪郭候補点」）、これを出力する。図７（ｄ）に平均点抽出部６０７に入力される輪郭候補点全ての一例を、図７（ｅ）に平均点抽出部６０７によって出力される、境界線毎の輪郭候補点群の平均点の一例を示す。

一方、格子状分割部６０８は入力される白黒画像データ６０２を縦４、横６の格子状に２４分割する。分割する矩形ブロックの数はこれに限られるものではなく、装置の処理速度と検出精度とのトレードオフで決定される。次いで、分割された領域毎に輝度の平均を取る。図８（ａ）に元の白黒画像データ６０２の一例を、図８（ｂ）に格子状分割部６０８によって処理された画像データの一例を示す。モザイク処理と呼ばれる周知の画像処理と同様のものである。実際の装置では情報処理装置のメモリ内に矩形ブロック毎の輝度平均値が格納されることとなる。
境界ブロック選定部６０９は、得られた矩形ブロック毎の輝度平均値と画像データを用いて、以下の経験的法則を用いて眉の境界部分を含む小ブロックを選定する。

（１） 分割領域を相対的に分析するために、全体の平均輝度（ＡＶＥ）と標準偏差（ＳＤ）を求め、ＡＶＥ±ＳＤの範囲以上の輝度を肌候補とし、以下を眉候補とする。
（２） 一番上の領域に眉候補があった場合、それは髪であるとする。また、髪候補に隣り合う眉候補も髪候補として排除する。
（３） （１）及び（２）で決定した髪・肌領域を除いた部分で再び平均と標準偏差を求め、（１）（２）と同様領域を決定していく。
（４） 未決定の領域において、そこと周囲との輝度差が、全体の眉と肌領域における輝度差の５０％以上あった場合は、それぞれ眉と肌領域の境界であると決定する。

図８（ｃ）にエッジ検出にて得られた全ての抽出点の一例を、図８（ｄ）に平均値の一例を示す。

眉輪郭候補点仮決定部６１０は、平均点抽出部６０７から得られた平均輪郭候補点と、境界ブロック選定部６０９から得られた眉の境界部分を含む小ブロックを得て、平均輪郭候補点の修正を行う。すなわち、眉の境界部分でないと思しき座標に平均輪郭候補点が存在する場合は、これを破棄する。破棄した平均輪郭候補点は、再度エッジ検出部６０５から得たエッジから作成する。
眉輪郭内平均輝度算出部６１１は、仮決定した眉輪郭候補点によって囲まれる範囲の平均輝度を算出する。これは眉全体の平均輝度を意味する。
眉輪郭修正部６１２は、平均輝度以下の画素が仮決定した眉輪郭候補点によって囲まれる範囲の外にあったら、その画素も眉に含めるように輪郭形状を修正する処理を行う。
以上の手順を経て、最終的に眉輪郭データ６１３が作成される。
なお、眉探索ウインドウ設定部６０３にて設定したウインドウを、境界ブロック選定部６０９にて予め狭めておいてから短冊状分割部６０４以降の処理を行うと、平均点抽出部６０７から得たデータはそのまま眉輪郭データ６１３を作成する際の眉輪郭候補点として利用できる。

図８（ｅ）に各所の範囲内のみにて平均を求めて作成した眉輪郭点の一例を、図８（ｆ）に複数平均を採用した眉輪郭点の一例を示す。

画像により眉や肌の輝度には大きく差があり、適切な値を推測するのは非常に困難である。眉は個人差が大きく、輪郭がはっきりしない場合や部分的に影ができているなどの要因から、１つの閾値では全体を完全に眉と肌を分離することは不可能である。よって肌と眉を輝度によって抽出するためには、局地的に分析することが重要であると考える。その閾値を定量的に求め、最適な特徴点を抽出する。

眉の輪郭が１つの閾値で二値化できない、またはエッジの抽出ができないのは、眉の輝度分布が一様ではないからである。同じ閾値の中で眉の輪郭が正確に現れているのは部分的であり、閾値の変化によってそれは変化していく。しかし逆に考えると、部分的であれ眉の輪郭が正確に現れる閾値を推測できれば、全体の輪郭抽出が可能になる。

同一画像内で眉の輪郭を一定のエッジの強さで抽出することは困難である。そこで、部分的に異なるエッジの強さを分析するために、図７（ａ）に示されるように、眉の探索領域を横方向に１２分割する。そして、図７（ｂ）のようにCannyのエッジ抽出法によりエッジの強さを何種類か変化させ、図７（ｃ）のように分割したそれぞれの地点で輪郭点を拾っていく。エッジが抽出できた場合のみで座標の平均を計算し、この時点での輪郭点候補とする。図７（ｄ）は抽出した輪郭点候補の一例であり、抽出した全ての輪郭点を表し、図７（ｅ）はそれらの平均値である。

前述の短冊状分割に基づく輪郭候補点作成方法を眉探索領域の縦方向全体で探索してしまうと、ホクロや影などのノイズを抽出してしまう恐れがある。これを防ぐために、予め眉が存在するであろう範囲を推定しておき、探索開始位置を変化させることで、誤抽出を削減する手法をとる。
眉探索領域を６×４に分割し、それぞれの平均輝度を計算する。図８（ｂ）に結果例を示しているが、ここから分かるように中央付近に低輝度群が存在しており、これを眉領域と推定できる。また周囲に存在する高輝度群は肌領域と推定することができ、こうしてエッジの探索開始位置を事前に変えることができる。輝度分析は経験的法則により行い、最終的に各地点での探索範囲、及び眉の横幅を推定する。このとき、髪領域として決定した部分が大部分を占めているなど抽出に支障が出る結果になった場合は、この時点で一旦抽出を保留し、片側の結果を参考にする。入力画像によっては片方の眉が隠れていたとして、もう片方ははっきり現れている場合がある。眉が現れていない部分はもう片方の状態を反映する。両側の眉が隠れていた場合は抽出不可能として平均眉の座標を配置する。

輪郭点候補を決定した後、上下の点に囲まれた範囲で平均輝度を求める。大まかではあるが平均点抽出部６０７で抽出した候補点の範囲における平均を求めることで、眉の輝度に対応することができると考える。具体的には平均（ＡＶＥ）と標準偏差（ＳＤ）からＡＶＥ±ＳＤの範囲内にある部分を、境界ブロック選定部６０９で決めた探索開始位置と同様に探索し眉領域とする。
ここでの問題点は、平均点抽出部６０７でエッジの強さを変化させたことによって、現れる輪郭点の座標位置が一定の範囲に収まるとは限らず、輪郭点からは外れた肌や眉の中央に設定されてしまう場合がある。そこで平均輝度を算出する際、隣り合う分割領域も計算に入れ、より眉領域らしい値を算出する。図８（ｆ）が適応例であるが、その部分のみの計算結果である図８（ｅ）より、両側を引き連れた結果の方が輪郭抽出精度が高いことが分かる。

以上に記したように、眉の輪郭を短冊状に分割する処理と、格子状に分割する処理とをそれぞれ行い、短冊状に分割した領域からエッジを抽出した結果を格子状分割処理によって得た輝度平均を用いて補正することにより、眉全体の自然な輪郭抽出が可能になる。

眉輪郭データの作成は上記に留まらず、以下のような応用例が可能である。
（１）上記実施形態は白黒画像データ６０２に対して評価を行ったが、人物の顔画像データから肌色を検出してこの尤度を求め、尤度を評価の対象とすることもできる。この場合、白黒画像データ６０２と異なり、画素データが肌であるか眉であるかによって、画素毎にはっきり分けられるので、エッジ抽出が正確になるメリットがある。

［５．口輪郭抽出部］
図９は、口輪郭抽出部１０６の機能ブロック図である。
口探索ウインドウ設定部９０３は、カラー画像データ９０２と瞳中心座標９０１を受け、口を探索する範囲（ウインドウ）を設定する。前述の瞳探索ウインドウ設定部２０２、目探索ウインドウ設定部４０４及び眉探索ウインドウ設定部６０３と同様の、処理速度及び精度向上のための探索範囲限定処理である。
Ｑ'演算部はカラー画像データ９０２の各画素データに対し、以下の数式３にて演算処理を行い、Ｑ'を算出する。

ここでＱ'とは、ＲＧＢカラー画像データをＹＩＱカラー画像データに変換する際の、Ｑを算出する式の、元のＧに係数αを与えたものである。
算出されたＱ'はほぼ両極化された値となるので、二値化部９０６にて閾値９０７と比較して二値化する。閾値９０７はＱ'が０〜２５５の値をとることから、中間の１２８を設定する。
口ドット数総和演算部９０８は二値化部９０６にて口であると思しき画素データを数える。
定数更新部９０５はαを０．０２だけ減じて再度Ｑ'演算部に与え、繰り返し演算を行う。
こうして、αの変化に対する口画素データ数とそのときの二値化データが一時記憶部９０９に格納される。
二階微分部９１０は一時記憶部９０９内の口画素データ数の変化の変化を算出する。
α最適値判定部９１１は二階微分部９１０の演算結果を見て、最も口を適切に抽出したと思しきαを判定し、そのときの二値化データを口輪郭データの元として選択する。
選択された二値化データは収縮・膨張処理部９１２にて細かいノイズが除去され、口領域データとなる。
外形近似部９１３は口領域データの外形を曲線近似する。
曲線近似は図１０に示すように、唇の両端Ｌ１及びＬ２と、鼻筋を通る唇の上側の中点Ｌ３と、下側の中点Ｌ４を基準に、唇を四つの領域に分割し、それぞれを三次関数曲線にて近似する。
内側輪郭近似部９１５は白黒画像データ９１４を口領域データにて切り抜くように選択し、得られたデータに対し、エッジ抽出にて低輝度輪郭部分を抽出する。
以上の手順にて、口領域データの外形と内側低輝度輪郭部分とを近似処理した結果が、口輪郭データ９１６となる。

口が含まれるおおよその領域候補を、先に求めてある瞳の中心位置から限定する。瞳中心距離を１としたときに、幅１．５、高さ１．０の矩形を両目の中央点から０．７下に移動した位置の範囲である。
本実施形態では、この領域におけるＹＩＱ変換の際に、Ｑ要素における緑（以下「Ｇ」と略す）の値を係数を用いて変化させる。これは係数αの値によって意図的に緑成分の強い画像にすることで、赤（以下「Ｒ」）および青（以下「Ｂ」）の弱い部分を削除し、雑音除去の効果がある。結果として顔領域内において赤色成分の強い唇領域のみが検出される。
幾つかの画像データのサンプルを対象に、試験的にαの変化と変換した画素データ数の数を比較すると、αが最適解の付近で画素データ数の変化量が大きくなっていることがわかった。
そこで、αを減少させながら画素データ数を計数し、変化量の変化量が探索領域画素数の１．０％を超える直前のαを最適解と決定する。

以上に記したように、口の色に特化した色情報変換式の係数を最適なものに定めることにより、口輪郭を高精度に抽出することができる。

［６．鼻輪郭抽出部］
図１１は、鼻輪郭抽出部１０７の機能ブロック図である。
鼻探索ウインドウ設定部１１０４は、白黒画像データ１１０３と瞳中心座標１１０２と口座標１１０１とを受け、鼻を探索する範囲（ウインドウ）を設定する。前述の瞳探索ウインドウ設定部２０２、目探索ウインドウ設定部４０４、眉探索ウインドウ設定部６０３及び口探索ウインドウ設定部９０３と同様の、処理速度及び精度向上のための探索範囲限定処理である。
具体的には、例えば
- 瞳の間隔を１として、
- 口の中心点から０．３３上側をウインドウ下端、
- 瞳同士を結ぶ線分から０．２５上側をウインドウ上端
と設定した後、設定したウインドウの下半分のみを輪郭抽出に用いる。
図１２（ａ）に顔画像データに対するウインドウの設定を表す。
二値化部１１０５はウインドウ内の画素データの輝度を閾値１１０６と比較し、低輝度部分を抽出する。
重心検出部１１０７は得られた画像データから低輝度部分の重心を算出する。これは左右の鼻の穴の中心に該当する。
一時記憶部１１０８は重心を一時記憶すると共に、閾値１１０６を更新させる。
こうして閾値１１０６を所定範囲内にて振りながら画像データ中の低輝度部分の重心を検出し、それぞれ一時記憶部１１０８にて記憶する。
次に、重心平均算出部１１０９は得られた重心から平均値を算出する。こうして、左右の鼻の穴の間に位置する中心点を得る。この中心点を通る縦の線（以下「中心線」）を中心に、小鼻を検出する。小鼻エッジ検出・補正部１１１０はエッジ検出にて小鼻の輪郭データを検出した後、中心線を基準に平均して、左右対称の小鼻輪郭データを得る。その後、左右の小鼻輪郭の下端を結ぶ線分と中心線との交点を、鼻の最下点とする。こうして、鼻最下点と小鼻輪郭データ１１１１が得られる。
図１２（ｂ）にエッジ検出処理による小鼻輪郭データの抽出結果を表す。
鼻筋推定部１１１２は、鼻の最下点と小鼻輪郭データと瞳中心座標１１０２を基準に、鼻の上半分を含む鼻筋を適当な値にて推定する。
以上の処理にて得られた、鼻最下点と小鼻輪郭と鼻筋が、鼻輪郭データ１１１３となる。
図１２（ｃ）に鼻輪郭の抽出結果を表す。

鼻の輪郭は他の器官に比べて輪郭がはっきりせず、エッジ検出にて完全な抽出を目指そうとすると誤抽出の可能性も高くなってしまう。何より、似顔絵ツールでの鼻の描写において必要な点は限られていると言ってよく、残りの点は機械的に配置することで十分な抽出となる。
似顔絵描写ツールにおける鼻の描写について必要な点は、鼻の最下点と、横の輪郭のみと言える。残りの点は眉の内側の特徴点から機械的に配置していく。
鼻の領域で輝度変化が一番大きいと言えるのは、鼻の穴を含めた下の部分である。ある閾値１１０６で二値化すると鼻の穴を中心に輝度分布が現れる。入力画像に依らない抽出をするために、何種類か閾値１１０６を変化させ、低輝度群の重心をそれぞれ計算していき、それらの平均を求めることで鼻の下側部分を求めることができる。二値化対象部分は、ウインドウ設定範囲において下半分の領域である。本実施形態では、０〜２５５迄の値を取る白黒画像データ１１０３に対して、閾値１１０６を５０から１５０まで５ずつ変化させていき、閾値１１０６以下の重心平均を求め、鼻の最下点を設定する。
鼻の横側は、中心点に対して対称に現れていることを利用し、ウインドウ設定範囲において領域エッジの強さを変化させつつ、左右の座標を平均させる。エッジの検出は瞳抽出及び眉輪郭抽出にて説明した処理と同じである。

以上に記したように、鼻において最も捉え易い特徴である鼻の穴を先ず検出し、その重心を求めることにより、正確な特徴を捉えることができる。

［７．顔輪郭抽出部］
図１３は、顔輪郭抽出部１０８の機能ブロック図である。
顔輪郭データの抽出処理は、顔の両端の点を基準に、上下方向へ輪郭をなぞるような処理となる。
先ず、口座標データ１３０１から口重心特定部１３０４にて口の重心を特定し、口重心座標データを得る。なお、この際に鼻輪郭抽出処理の鼻探索ウインドウ設定部１１０４にて利用した口の中心を利用することもできる。
次に口両端走査線設定部１３０５にて、口重心座標を通過する真横の線を口両端走査線として設定する。
口真横輪郭点抽出部１３０６は、口両端走査線上の画素データに対してエッジ抽出と平均を取って、口両端走査線上の顔の輪郭との交点を見つける。この点が顎基準点となる。顎基準点は殆どの場合、首よりも上側に位置するので、顎輪郭抽出処理の起点として、また目両端迄の顔側面に沿った輪郭抽出処理の起点としても適切である。なお、平均処理の際は抽出した数種類の顎輪郭点の分布から大きく外れている点を取り除くことで、誤検出を防ぐ。口真横輪郭点抽出部１３０６の内部詳細は後述する。
顎探索ウインドウ設定部１３０７は顎基準点を用いて白黒画像データ１３０２に対して顎の輪郭を探索するためのウインドウを設定する。
顎探索ウインドウ設定部１３０７は、白黒画像データ１３０２と顎基準点を受け、顎を探索する範囲（ウインドウ）を設定する。前述の瞳探索ウインドウ設定部２０２、目探索ウインドウ設定部４０４、眉探索ウインドウ設定部６０３、口探索ウインドウ設定部９０３及び鼻探索ウインドウ設定部１１０４と同様の、処理速度及び精度向上のための探索範囲限定処理である。
顎輪郭データ抽出部１３０８は、ウインドウ内の画素データに対し、エッジ検出を行った後、放物線近似による平均処理にて顎輪郭データを抽出する。顎輪郭データ抽出部１３０８の内部詳細は後述する。

一方、目両端座標データ１３０３と白黒画像データ１３０２から目両端走査線設定部１３０９にて目両端座標データ１３０３を通過する真横の線を目両端走査線として設定する。
目真横輪郭点抽出部１３１０は、目両端走査線上の画素データに対してエッジ抽出と平均を取って、目両端走査線上の顔の輪郭との交点を見つける。この点が目真横輪郭点となる。いわば「こめかみ」に相当する点である。目真横輪郭点は後述の額輪郭データ作成処理の起点として利用される。但し、頭髪にて本来の目真横輪郭点が隠れてしまう可能性が多々あるので、後述の補正処理によって補正する。
口目元間探索ウインドウ設定部１３１１は、白黒画像データ１３０２と顎基準点と目真横輪郭点を受け、顎基準点から目真横輪郭点迄の顔輪郭を探索する範囲（ウインドウ）を設定する。前述の瞳探索ウインドウ設定部２０２、目探索ウインドウ設定部４０４、眉探索ウインドウ設定部６０３、口探索ウインドウ設定部９０３、鼻探索ウインドウ設定部１１０４及び顎探索ウインドウ設定部１３０７と同様の、処理速度及び精度向上のための探索範囲限定処理である。
口目元間輪郭データ抽出部１３１２は、ウインドウ内の画素データに対し、エッジ検出を行った後、放物線近似による平均処理にて口目元間輪郭データを抽出する。口目元間輪郭データ抽出部１３１２の内部詳細は後述する。
目真横輪郭点補正部１３１３は、口目元間輪郭データに基づいて目真横輪郭点を補正する。具体的には、目両端走査線と口目元間輪郭データによる線との交点を、真の目真横輪郭点として採用し直す。
以上の手順にて、口目元間輪郭データ１３１４が得られる。

機械的特徴点配置部１３１５は、口目元間輪郭データ１３１４のうちの補正された目真横輪郭点を起点に、額の推定処理を行う。すなわち、この処理はどのような顔特徴の人物の顔面画像データを与えても、一様に均一な額を作り上げる処理である。
図２１に機械的特徴点配置部１３１５の動作の概略を記す。
- 瞳間距離をＸとする。
- 瞳の中心を通過する線分の中心から上方へ伸びる縦線について、Ｙ＝１．５Ｘとし、その点を額の頂点とする。
- 目尻から水平に引いた直線と顔輪郭との交点をＳ１とする。
- 眉尻から水平に引いた直線と顔輪郭との交点をＳ２とする。
- Ｓ１とＳ２の垂直距離をＵとする。
- Ｓ２から更に垂直距離がＵ離れている顔輪郭との交点をＳ３とする。
- Ｓ３を通る水平線とＹとの交点よりなる垂直距離Ｔについて、Ｔ＝Ｙ−２Ｕとする。
- Ｔについて、上から１／２０Ｔ、１／９Ｔ、１／９Ｔ、下から１／３Ｔ、１／３Ｔと区切る。
- 瞳の中心を通過する線分の中心からＳ１迄の距離をＷとする。
- Ｗについて、目真横輪郭点から１／２０Ｗ、１／２０Ｗと区切り、額中心から１／４Ｗ、１／５Ｗ、１／５Ｗと区切る。
- ＷとＴについて上記のように分割した線同士の交点の外枠を額輪郭特徴点として、これを通過する曲線によって輪郭形状を近似する。近似曲線としては、例えば三次式スプライン曲線等を用いる。

以上の処理によって得られた顎輪郭データ、口目元間輪郭データ１３１４、額輪郭データ１３１６が、顔輪郭データ１３１７として出力される。

なお、顔輪郭抽出部１０８の処理は、抽出精度を上げるために、白黒データの代わりに、肌色を検出してその尤度をガウス混合モデルにて近似処理した肌色尤度マップを作成し、肌色領域を二値化した後、口真横輪郭点を肌色領域の輪郭部分から得ることもできる。

以上に記したように、顔の輪郭をトレースする起点を口の両端から得ることにより、首の存在等による検出誤りもなく、適切な輪郭抽出処理の起点を設定できる。

［７．１．口真横輪郭点抽出部］
図１４は、口真横輪郭点抽出部１３０６の機能ブロック図である。
口両端走査線１４０１上の画素データは、エッジ検出処理部１４０２によって閾値１４０３を変えつつエッジ検出処理が行われる。
得られたエッジは、口真横輪郭候補点１４０４として一時記憶される。
一時記憶された口真横輪郭候補点１４０４は、ノイズ排除部１４０５によって大幅に平均値から外れている点を排除する。
ノイズ排除部１４０５によってフィルタリングされた口真横輪郭候補点１４０４は、平均値算出部１４０６によって平均値が算出される。
得られた点が、口真横輪郭点座標データ１４０７となる。

［７．２．目真横輪郭点抽出部］
図１５は、目真横輪郭点抽出部１３１０の機能ブロック図である。
目両端走査線１５０１上の画素データは、エッジ検出処理部１５０２によって閾値１５０３を変えつつエッジ検出処理が行われる。
得られたエッジは、目真横輪郭候補点１５０４として一時記憶される。
一時記憶された目真横輪郭候補点１５０４は、ノイズ排除部１５０５によって大幅に平均値から外れている点を排除する。
ノイズ排除部１５０５によってフィルタリングされた目真横輪郭候補点１５０４は、平均値算出部１５０６によって平均値が算出される。
得られた点が、目真横輪郭点座標データ１５０７となる。

［７．３．顎輪郭データ抽出部］
図１６は、顎輪郭データ抽出部１３０８の機能ブロック図である。
顎探索ウインドウ内の画素データ１６０１は、エッジ検出処理部１６０３によって閾値１６０４を変えつつエッジ検出処理が行われる。
得られたエッジは、顎輪郭候補点群１６０５として一時記憶される。
一方、口真横輪郭候補点１６０２は初期の矩形ウインドウ開始点１６０８として記憶され、矩形ウインドウ設定部１６０６に与えられる。
矩形ウインドウ設定部１６０６は矩形ウインドウ開始点１６０８から一時記憶されている顎輪郭候補点群１６０５に対して顎をトレースするように斜め下方向に矩形ウインドウを設定し、処理対象データである顎輪郭候補点群１６０５を限定する。
放物線近似部１６０７は矩形ウインドウ設定部１６０６によって限定された顎輪郭候補点群１６０５に対し、最小二乗法によって近似した放物線を設定する。そして、近似した放物線と矩形ウインドウとの交点を次の矩形ウインドウ開始点１６０８に設定する。
矩形ウインドウ設定部１６０６と放物線近似部１６０７の処理を左右の口真横輪郭候補点から開始して合計六箇所の近似処理を行うことで、最終的に顎輪郭データ１６０９を得る。
図１７は、エッジ検出した顎探索ウインドウ内データに対し、矩形ウインドウを設定する様子を模式的に示す図である。顎探索ウインドウ１７０１内に、矩形ウインドウ１７０２が口真横輪郭候補点１７０３から設定される。

［７．４．口目元間輪郭データ抽出部］
図１８は、口目元間輪郭データ抽出部１３１２の機能ブロック図である。
口目元間探索ウインドウ内データ１８０１は、エッジ検出処理部１８０３によって閾値１８０４を変えつつエッジ検出処理が行われる。
得られたエッジは、口目元間輪郭候補点群１８０５として一時記憶される。
一方、口真横輪郭候補点１８０２は初期の矩形ウインドウ開始点１８０７として記憶され、矩形ウインドウ設定部１８０６に与えられる。
矩形ウインドウ設定部１８０６は矩形ウインドウ開始点１８０７から一時記憶されている口目元輪郭候補点群１８０５に対して口から目元迄をトレースするように上方向に矩形ウインドウを設定し、処理対象データである口目元間輪郭候補点群１８０５を限定する。
放物線近似部１８０８は矩形ウインドウ設定部１８０６によって限定された口目元間輪郭候補点群１８０５に対し、最小二乗法によって近似した放物線を設定する。そして、近似した放物線と矩形ウインドウとの交点を次の矩形ウインドウ開始点１８０７に設定する。
矩形ウインドウ設定部１８０６と放物線近似部１８０８の処理を左右の口真横輪郭候補点１８０２から開始して合計六箇所の近似処理を行うことで、最終的に口目元間輪郭データ１８０９を得る。
図１９は、エッジ検出した口目元間探索ウインドウ内データに対し、矩形ウインドウを設定する様子を模式的に示す図である。
口目元間探索ウインドウ１９０１に対し、矩形ウインドウ１９０２が口真横輪郭候補点１９０３を起点に設定される。

［８．耳輪郭抽出部］
図２１は、耳輪郭抽出部１０９の機能ブロック図である。
耳探索ウインドウ設定部２１０５は、カラー画像データ２１０１と目両端座標２１０２と鼻最下点座標２１０３と顔輪郭データ３１０４を受け、耳を探索する範囲（ウインドウ）を設定する。このウインドウ設定は、前述の瞳探索ウインドウ設定部２０２、目探索ウインドウ設定部４０４、眉探索ウインドウ設定部６０３、口探索ウインドウ設定部９０３、鼻探索ウインドウ設定部１１０４、顎探索ウインドウ設定部１３０７及び口目元間探索ウインドウ設定部１３１１とは処理の意味が異なり、処理速度及び精度向上ではなく、画像内に耳が存在するか否かを判断し、あればその輪郭を耳として取り扱うための探索範囲設定処理である。
判定部２１０６はウインドウ範囲内に肌色の画素データがまとまった状態で存在するか否かを見る。なければ、それは頭髪によって耳が隠れており抽出不能であるので、これ以上何もせずに抽出処理を終了２１０７する。
ウインドウ範囲内に肌色領域があれば、肌色領域二値化部２１０８によって肌色領域を二値化する。これは肌色と思しきサンプルデータをカラー画像データから抽出した後、周知のＨＳＶ変換を施し、色相(Hue)及び彩度(Saturation)についてヒストグラムを生成し、ガウス混合モデル化して肌色モデルを作成した後、入力画素データについて肌色モデルと照合し、肌色の尤度を導き、得られた尤度を閾値と比較して肌色であるか否かを出力する処理である。
トレース処理部２１０９は、二値化された領域内データの輪郭を曲線近似にてトレースする。得られたデータは耳輪郭データ２１１０となる。

以上に記したように、耳と思しき領域内に肌色が存在するか否かを検出することで、画像データ中の耳の存在の有無と輪郭抽出処理を迅速且つ的確に実施することができる。

本発明の一実施の形態による顔特徴抽出装置の概略ブロック図である。 瞳抽出部の概略ブロック図である。 瞳抽出部による画像処理を示す図である。 目輪郭抽出部の概略ブロック図である。 目輪郭抽出部による画像処理を示す図である。 眉輪郭抽出部の概略ブロック図である。 眉輪郭抽出部による画像処理を示す図である。 眉輪郭抽出部による画像処理を示す図である。 口輪郭抽出部の概略ブロック図である。 口輪郭抽出部による画像処理を示す図である。 鼻輪郭抽出部の概略ブロック図である。 鼻輪郭抽出部による画像処理を示す図である。 顔輪郭抽出部の概略ブロック図である。 口真横輪郭点抽出部の概略ブロック図である。 目真横輪郭点抽出部の概略ブロック図である。 顎輪郭データ抽出部の概略ブロック図である。 顎輪郭データ抽出部による画像処理を示す図である。 口目元間輪郭データ抽出部の概略ブロック図である。 口目元間輪郭データ抽出部による画像処理を示す図である。 額推定処理を示す図である。 耳輪郭抽出部の概略ブロック図である。

符号の説明

１００…顔特徴抽出装置、１０１…画像入力部、１０２…白黒変換部、１０３…瞳抽出部、１０４…目輪郭抽出部、１０５…眉輪郭抽出部、１０６…口輪郭抽出部、１０７…鼻輪郭抽出部、１１０…顔特徴データファイル、１０８…顔輪郭抽出部、１０９…耳輪郭抽出部

Claims (3)

1. カラー顔画像データを得る画像入力部と、
   前記画像入力部から得られるカラー顔画像データを白黒変換して白黒顔画像データを出力する白黒変換部と、
   前記白黒顔画像データの低輝度部分を抜粋するコントラストフィルタと、
   前記コントラストフィルタにて抜粋された前記白黒顔画像データの低輝度領域から瞳形状を探索して、瞳中心座標を含む瞳特徴データを出力する分離フィルタと
   よりなることを特徴とする顔特徴抽出装置。
2. 前記顔特徴抽出装置は更に、
   前記白黒顔画像データを前記瞳中心座標から極座標展開して極座標画像データを得る極座標展開部と、
   前記極座標画像データの輝度のエッジを曲線近似する曲線近似部と
   よりなる目輪郭抽出部と、
   前記白黒顔画像データを前記瞳中心座標を基準に眉の探索範囲を決定する眉探索範囲設定部と、
   前記眉の探索範囲内の前記白黒顔画像データを縦方向に分割する短冊状分割部と、
   前記眉の探索範囲内の前記白黒顔画像データを複数の矩形状ブロックに分割する格子状分割部と、
   前記短冊状に分割された前記白黒顔画像データのエッジを前記矩形状ブロック毎の輝度平均にて補正するエッジ補正部と
   よりなる眉輪郭抽出部と、
   前記カラー顔画像データの色成分データを係数を変更しつつ変換する変換演算部と、
   前記係数の変化と前記変換演算部の結果得られる画素データ群の数の変化を対比して、前記係数の最適値を求める最適係数判定部と
   よりなる口輪郭抽出部と、
   前記白黒顔画像データの低輝度領域の重心平均を算出する重心平均算出部と
   よりなる鼻輪郭抽出部と、
   前記口輪郭抽出部にて得られた口輪郭データから口の重心を特定する口重心特定部と、
   前記口の重心を含む横方向の走査線を設定し、顔輪郭と交わる点を探索する口真横輪郭点探索部と
   よりなる顔輪郭抽出部と、
   耳が存在すると思しき領域を特定する耳探索ウインドウ設定部と、
   前記耳探索ウインドウ設定部にて設定されたウインドウ内に肌色があるか否か検出する肌色検出部と、
   前記肌色検出部の検出結果から輪郭を抽出する輪郭トレース部と
   よりなる耳輪郭抽出部と
   よりなることを特徴とする請求項１記載の顔特徴抽出装置。
3. 白黒顔画像データの低輝度部分をコントラストフィルタにて抜粋した後、
   前記抜粋された前記白黒顔画像データの低輝度領域から分離フィルタにて瞳形状を探索して、瞳中心座標を含む瞳特徴データを出力する
   ことを特徴とする、顔特徴抽出方法。