JP2004265431A

JP2004265431A - 顔抽出方法

Info

Publication number: JP2004265431A
Application number: JP2004110880A
Authority: JP
Inventors: Hiromichi Enomoto; 洋道榎本; Naruatsu Takizawa; 成温滝澤; Hirotetsu Ko; 博哲洪; Madoka Kawai; まどか河合
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2004-04-05
Filing date: 2004-04-05
Publication date: 2004-09-24

Abstract

【課題】ネガフィルムやポジフィルム等のカラー原画像から、人手を介さず完全に自動で且つ精度よく人の顔を抽出する顔抽出方法を提供するとともに、ニューラルネットワークをいくつかの教師データにより学習させることによって、それぞれの入力値に対して最適な重み係数を選択することができ、高い認識率を確保することができるようにすることである。
【解決手段】画像から人の顔を抽出するための抽出方法において、人の顔の形状に相当する顔候補領域を決定し、前記顔候補領域内の特徴量から顔領域を決定する際に、前記候補領域内で、特徴量を求め、該特徴量をニューラルネットワークに入力し、顔領域を決定するようにした。
【選択図】図１９

Description

本発明は、カメラなどで人を撮影したネガフィルムやポジフィルムなどのカラー原画像から顔の部分を抽出する顔抽出方法に関する。

カメラで撮影したネガフィルムを陽画に焼付ける場合のように、カラー原画像を複写材料に複写する場合、適切な露光量で複写することが大切であり、特に人を撮影したカラー写真の場合には、人の顔の色が適正になるように焼付けると一般に写真を見た人に与える感じが良く、写真の質を高めることになる。

写真撮影の場合、撮影条件が常に一定であればその撮影条件に応じた適切な露光量で焼付けを行えばよいが、実際には逆光で撮影された原画像やストロボを用いて撮影された原画像等が１本のフィルムの中に混在していることがある。このため、質の良い写真を得るためには原画像ごとに焼付け時の露光量を変更するのが好ましく、この焼付け時の露光量を決めるのに、人が入った写真の場合には人の顔の色に着目するのが便利である。顔の色は肌色であることが前もってわかっているため、焼付けられた後の写真における人の顔の色が肌色になるように露光量を決めることができるからである。

このように人の顔の色を基準として焼付け時の露光量を決定する方法は従来から知られており、カラーフィルムの現像、焼付けの一部作業を自動化する場合に利用されている。

たとえば、カラーフィルムの原画像中の顔領域をオペレータがライトペンで指定して人の顔の濃度データを抽出し、この抽出した濃度データに基づいて顔の色が適正に焼付けられるように露光量を決定する方法がすでに知られている。

また、原画像中の人の顔を抽出する方法として、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔とする方法が知られている（特許文献１、特許文献２、特許文献３参照）。これは、カラー原画像を多数の測光点に分割するとともに各測光点をＲ（赤）、Ｇ（緑）、Ｂ（青）の３色に分解して測光し、測光データから計算した各測光点の色が肌色範囲内か否かを判断し、肌色範囲と判断された測光点のクラスタ（群）を顔の濃度データとする方法である。

さらに、特許文献４には、測光したデータを色相値（Ｈ）、彩度値（Ｓ）に変換し、Ｈ、Ｓの２次元ヒストグラムを作成し、このヒストグラムを単峰の山に分割し、原画像の各画素が分割された山のどれに属するかを判断して画素を分割することにより顔の候補領域を抽出し、顔候補領域の輪郭、内部構造から人か否かを判断する方法が開示されている。

特開昭５２−１５６６２４号公報特開昭５３−１４５６２１号公報特開昭５３−１４５６２２号公報特開平４−３４６３３３号公報

上述のオペレータが顔領域をライトペンで指定する方法の場合には、カラー原画像中の顔領域を間違いなく抽出することができるが、画像毎にオペレータがライトペンで顔領域を指定しなければならないため、焼付け作業に時間がかかるという問題がある。また、この方法の場合、オペレータが介在しない完全な無人化（自動化）は不可能である。

一方、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔とする方法の場合には、地面、木の幹、洋服等の肌色または肌色に近似した色をした顔以外の部位も顔の濃度データとして抽出されてしまい、精度に欠けるという問題がある。また、フィルム種、光源によって、顔を抽出できない場合もあるという問題がある。

そして、特許文献４に開示された方法の場合には、顔と手、顔と顔が接触している場合などでは、肌色領域の形状が複雑になり、顔だけを検出することができない場合があるという問題がある。

本発明は上記の点にかんがみてなされたもので、ネガフィルムやポジフィルム等のカラー原画像から、人手を介さず完全に自動で且つ精度よく人の顔を抽出する顔抽出方法を提供するとともに、ニューラルネットワークをいくつかの教師データにより学習させることによって、それぞれの入力値に対して最適な重み係数を選択することができ、高い認識率を確保することができるようにすることを目的とする。

本発明は上記の目的を達成するために、たとえば、画像から人の顔を抽出するための抽出方法において、人の顔の形状に相当する顔候補領域を決定し、前記顔候補領域内の特徴量から顔領域を決定する際に、前記候補領域内で、特徴量を求め、該特徴量をニューラルネットワークに入力し、顔領域を決定するようにした。

また、本発明は、画像から人の顔の輪郭を抽出することにより顔候補領域を検出するようにした。

さらに、本発明は、画像から人の顔を抽出するための抽出方法において、顔の様々な形状をした複数のテンプレートを用意しておき、このテンプレートと画像とのマッチング度を計算し、マッチング度の最も高いテンプレートを選択し、最も高かったマッチング度が予め定めたしきい値以上であれば、選択されたテンプレート内の領域を顔候補領域とするようにした。

本発明によれば、ネガフィルムやポジフィルム等のカラー原画像から、人手を介さず完全に自動で且つ精度よく人間の顔を抽出することができる。

また、本発明によれば、ニューラルネットワークをいくつかの教師データにより学習させることにより、それぞれの入力値に対して最適な重み係数を選択することができ、高い認識率を確保することができるという効果がある。

また、測定システム等の環境の違いによる認識率低下が発生した場合にも、いくつかの教師データを加えることにより簡単に微調整が可能であるという効果もある。

以下本発明を図面に基づいて説明する。

図１は、本発明による顔抽出方法を用いた顔領域抽出装置のブロック図である。

フィルム１はカラー原画像が記録されたフィルムであり、ネガフィルムであってもポジフィルムであってもかまわない。ポジ画像から肌色を抽出するときはポジの測光値から直接肌色を抽出すればよく、ネガ画像から肌色を抽出するときはネガの測光値をポジに変換して肌色を抽出してもよいし、ネガの測光値から直接肌色を抽出してもよい。スキャナ２はフィルム１のカラー原画像を光学的に読取り、色分解して各画素のＢ（青）、Ｇ（緑）、Ｒ（赤）値を得ることができる。このＢＧＲ値は、増幅器３で増幅された後にＡ／Ｄ変換器４でデジタルデータに変換されてＣＰＵ５に入力される。ＣＰＵ５では、後述する顔抽出のための各処理を実行する。

図２は、本発明による顔抽出方法の第１の実施例のフローチャートである。

まず、スキャナ２によって得られた各画素のＢＧＲ値から、明度、色相、彩度、色度、（Ｂ−Ｒ）、（Ｇ−Ｒ）といった色の特徴量を求め（Ａ−１）、これらの色の特徴量が予め定めた範囲内に入っていれば、対象画素が肌色であると判定する（Ａ−２）。もちろん、ネガ画像のＢＧＲ値から肌色を抽出する場合と、ポジ画像のＢＧＲ値から肌色を抽出する場合とでは、特徴量について予め定める範囲が異なる。また、求めた色の特徴量をニューラルネットワークの入力値として、肌色か否かを判定してもかまわない。

次に、肌色と判定された画素から成る画像に対してエッジ抽出を行なう（Ａ−３）。エッジ抽出方法としては、たとえば、対象画素を中心として、周囲８画素の明度平均を取り、その平均値と対象画素の明度との差が所定値よりも大きければ、対象画素をエッジ画素とし、エッジ画素であるか否かで２値化する。ここでは、このようにして得た画像をエッジ画像という。

ステップ（Ａ−４）では、まず、サイズ、長軸／短軸（ｌａ／ｌｂ）の比率の異なる複数の楕円あるいは円形の顔テンプレート（図３参照）を作成する。これらの顔テンプレートは予め作成しておき記憶装置６に記憶させておいてもよい。顔テンプレートは、楕円ないしは円の輪郭か否かで２値化されている。実際の顔の輪郭は、正確な楕円ないしは円でないために、顔テンプレートの輪郭は、数画素、好ましくは２〜３画素の幅をもたせて、実際の顔の輪郭とのマッチング度を上げてもよい。

ステップ（Ａ−４）では、続いて、エッジ画像と顔テンプレートのマッチング度を求める。マッチング度の求め方は、既存の手法を用いる。たとえば、数１で表されるような手法でマッチング度ｍ（ｕ，ｖ）を求める。

数１において、ｆは対象画像を表し、ｔは顔テンプレートを表し、Ｓはｔ（ｘ，ｙ）の値域を表す。ｆ’、ｔ’はそれぞれｆ（ｘ＋ｕ，ｙ＋ｖ）、ｔ（ｘ，ｙ）のＳ内での平均を表す。

このような手法で、数種類の顔テンプレートを用いてマッチングを行ない、最もよく一致するテンプレートを対象画素に対して求め（Ａ−４）、マッチング度が予め定めたしきい値以上であれば、対象画素を中心として、最もよく一致する顔テンプレートで囲まれる領域を顔候補領域であると判定する（Ａ−６）。

また、演算回数を減らすために、最初に大まかな走査として、一定の大きさの顔テンプレートを１画素ずつ、あるいは、何画素かおきにずらしていって、マッチング度を求め、マッチング度が所定値以上の対象画素に対してのみ、大きさの違うテンプレートをあてはめて、最適な候補領域を決定してもよい。

図２に示した第１の実施例によれば、顔の輪郭を抽出しているために、たとえば顔と手、顔と顔が接触しているような画像であっても顔単体だけを正確に抽出することができるという効果がある。

また、肌色領域の抽出にあたり肌色とみなす色の範囲を広く設定すれば、フィルムの種類や光源の違いをカバーすることができる。

さらに、肌色の範囲を、ネガ画像用、ポジ画像用にそれぞれ設定することでネガ画像からでも、ポジ画像からでも顔の抽出が可能になるという効果もある。

なお、図２に示した第１の実施例では肌色領域の抽出を行ってから顔テンプレートとのマッチング度を求めたが、本発明はこれに限らず、対象画像全体を( 肌色抽出することなしに) 明度画像に変換し、その後に、第１の実施例と同じ手法で顔候補領域を決定してもよい。

また、図２に示した第１の実施例ではエッジであるか否かで２値化した画像とエッジの顔テンプレートとのマッチングを行ったが、本発明はこれに限らず、肌色領域抽出後、肌色であるか否かで２値化した画像と、肌色か否かで２値化した顔テンプレートとのマッチングを行ってもよい。

ところで、第１の実施例によって顔候補領域と判定された部分を顔とみなしても十分であるが、画像によっては顔ではない部分を顔候補領域と判定してしまう場合がある。そこで、以下では第１の実施例で顔候補領域と判定された複数の部分をさらに絞り込み、実際に顔である部分を確実に抽出する方法について説明する。

図４は、本発明による顔抽出方法の第２の実施例のフローチャートである。

まず、第１の実施例によって判定された顔候補領域内で目のある領域（目候補領域）を推定し設定する（Ｂ−１）。このとき、画像が縦である場合（図５（ａ）参照）と横である場合（図５（ｂ）参照）のそれぞれに対して推定する。この推定方法としては、たとえば、画像の向きが縦の場合には顔候補領域の上半分と下半分を目候補領域に設定し、一方、画像の向きが横の場合には顔候補領域の右半分と左半分を目候補領域に設定する。すなわち、顔候補領域に対して、上半分、下半分、右半分、左半分を目候補領域と設定する。この目候補領域の設定方法は、もっと狭く設定してもかまわない。たとえば、画像の向きが縦の場合、図６に示すように、顔候補領域の下端の高さを０、上端の高さを１としたとき、高さが０．５〜０．８の範囲を目候補領域と設定してもよい。

次に、それぞれの目候補領域内で、図７に示すような明度に関するヒストグラムを作成する（Ｂ−２）。ここでは、明度を８ビットで表した場合について説明する（明度０：０、明度１００：２５５）。まず明度領域（０〜２５５）を均等に８分割して、それぞれの明度領域内での出現頻度を求める。黒目の部分は明度が低いので、ヒストグラムは少なくとも黒目の明度の部分と肌色の明度の部分にピークを有する（図７参照）。ここでは明度のヒストグラムを作成したが、本発明はこれに限らず、明度の代わりに彩度、色相、色度を用いてもかまわない。

さて、こうして作成したヒストグラムの形状認識手法の１つとして、以下のような手法がある。まず、肌色の領域と思われる明度範囲（たとえば８ビットで９６以上）で最大のピーク（第１のピーク）を探す。次に所定値よりも低い明度範囲で最大のピーク（第２のピーク）を探す。この所定値は、測定機器を用いていくつかの目のサンプルを測光し経験的に求める。（第２のピークの頻度）／（第１のピークの頻度）の値を計算し、この値を特徴量とする（Ｂ−３）。

この特徴量が所定範囲内であれば（Ｂ−４）、このヒストグラムの形状は顔を表していると判断する。ステップ（Ｂ−４）における所定範囲は、目候補領域の大きさによって異なるため、それぞれのケースごとに最適範囲を求めておかなければならない。

このようにして、それぞれの目候補領域ごとに判断を行ない、目と判断される領域があれば、その顔候補領域は顔であると判定し（Ｂ−４）、目と判断される領域がなければ、顔でないと判定される。

また、図４に示した第２の実施例では、ステップ（Ｂ−１）で目候補領域を設定し、ステップ（Ｂ−２）でその目候補領域内の明度のヒストグラムを作成したが、本発明はこれに限らず、たとえば、目候補領域を設定せずに、顔候補領域全体で明度のヒストグラムを作成して顔であるか否かの判定を行うようにしてもよい。

図４に示した第２の実施例によれば、顔候補領域内に複数の目設定領域を設定することにより、画像の向きの違いに対応することができる。

また、言い換えれば、この手法により自動的に画像の向きを判定することができるという効果もある。

なお、図４に示した第２の実施例では明度の１次元のヒストグラムを作成したが、本発明はこれに限らず、たとえば、明度と色相とを軸にした２次元ヒストグラムを作成し、肌色を表す領域のピークを第１ピーク、目の黒を表す領域のピークを第２ピークとして第２の実施例と同じ手法で判定するようにしてもよいし、明度と彩度の２次元ヒストグラムや、色相と彩度の２次元ヒストグラムを用いてもよい。

図８は、本発明による顔抽出方法の第３の実施例のフローチャートである。

まず、第１の実施例によって判定された顔候補領域内の画像を明度に変換する（Ｃ−１）。本実施例では顔候補領域内の画像を明度に変換するものとして説明するが、本発明は明度画像でなく色度画像、色相画像、彩度画像に変換してもかまわない。

次に、顔候補領域の大きさを基準サイズに合わせるために拡大、縮小を行い、顔候補領域のサイズを規格化する（Ｃ−２）。そして、規格化された顔候補領域に対して２次元フーリエ変換を行う（Ｃ−３）。

ここで、このフーリエ変換の結果において、そのパワースペクトラムを最も大きなピーク値で規格化しておく。そして、実際に顔を表すいくつかのパターン（以下「顔の基準データ」という）に対して同様に２次元フーリエ変換を行ったものを予め記憶装置６に記憶させておくことにより用意しておき、顔候補領域のフーリエ変換結果と顔の基準データフーリエ変換結果との間でマッチングをとり、このマッチング度の最も高い値を特徴量とする（Ｃ−４）。

そして、この特徴量がしきい値以上であれば（Ｃ−５）、その顔候補領域は顔であると判定する（Ｃ−６）。

ところで、図８に示した第３の実施例ではステップ（Ｃ−３）で２次元フーリエ変換を行ったが、本発明はこれに限らず、１次元フーリエ変換を行ってもよい。ただし、この場合には、顔の基準データとして、正面顔、横向き顔について、それぞれ画像の向きが上、下、右、左の条件を組み合わせたパターンを準備する必要がある。

図８に示した第３の実施例によれば、顔候補領域の抽出の不正確さにより顔の部位（目や口）の位置がずれてしまったような場合にも、その影響を受けにくく、顔の高い抽出率が得られるという効果がある。

なお、図８に示した第３の実施例では２次元フーリエ変換を行ったが、本発明は２次元フーリエ変換を行わなくても、周波数特性に準ずるものであればかまわない。たとえば、次に示すような方法であってもかまわない。

まず、画像の横軸、縦軸をそれぞれｘ軸、ｙ軸とし、ｘ軸上ｘ０の位置の明度の値をｙ軸に沿って加算しｘ０での値とする明度のｘ軸への投影と、同様に明度のｙ軸への投影とを行なう。そして、ｘ軸への投影とｙ軸への投影のそれぞれについてそれぞれのピーク値で規格化し、このデータと実際に顔画像から同様にして得られた基準データとの間でマッチングを取り、しきい値より高ければ顔と判断する。もちろん、明度画像でなくてもよく、色相、色度、彩度等の色を表す特徴量のｘ軸、ｙ軸への投影を用いればよい。

この場合、２次元フーリエ変換に比べて計算時間が短くてすむので、高速に処理することができるという効果がある。

図９は、本発明による顔抽出方法の第４の実施例のフローチャートである。

まず、第１の実施例によって判定された顔候補領域内の各画素の色相、明度を求め（Ｄ−１）、色相、明度の２次元空間の共分散楕円の面積を求め、これを特徴量とする（Ｄ−２）。

ステップ（Ｄ−２）で求めた共分散楕円の面積が所定範囲内であれば（Ｄ−３）、その顔候補領域は顔であると判定する（Ｄ−４）。

なお、共分散楕円の代わりに、色空間（Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊等）での分散楕円体の体積、色相の分散、明度の分散、彩度の分散を特徴量としてもかまわない。あるいはこれらの少なくとも2 つ以上を組み合わせて判断すればより認識率が上がる。

図９に示した第４の実施例によれば、画像の向きに関係なく特徴抽出することができる。

また、図４に示した第２の実施例で求められた特徴量を組み合わせて判断すれば、より認識率を上げることができる。

図１０は本発明による顔抽出方法の第５の実施例のフローチャートである。

まず、第１の実施例によって判定された顔候補領域を小領域に分割する（Ｅ−１）。分割方法として、以下の（１）〜（３）の３つの方法が考えられる。
（１）顔候補領域に外接する長方形を３×３の長方形に分割し、顔候補領域と重なっている領域を小領域とする。上段３つの小領域を上の小領域、下段の真ん中の小領域を下の小領域、中段と下段の両端の小領域を横の小領域とする（図１１（ａ）参照）。
（２）顔候補領域に外接する長方形を対角線状に４つの三角形に分割し、顔候補領域と重なっている領域を小領域とする。左右の領域を横の小領域とする（図１１（ｂ）参照）。
（３）顔候補領域に外接する長方形の４つの辺近傍と、候補領域とが重なっている領域を小領域とする。左右の領域を横の小領域とする（図１１（ｃ）参照）。

次に、特徴量として各小領域での色の分布量を求める（Ｅ−２）。色の分布量としては以下の種類が考えられる。
・色相、明度の２次元空間の共分散楕円の面積。
・色空間（Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊等）での分散楕円体の体積。
・色相の分散。
・明度の分散。
・彩度の分散。

ここでは、目や口や髪の生え際に相当する小領域では色の分布量が大きく、ほほに相当する小領域では色の分布量が小さいことを利用して顔の認識を行う。すなわち、上下の領域（上、下の小領域）のそれぞれの分布量もしくは分布量の平均が、左右の領域（横の小領域）のそれぞれの分布量もしくは分布量の平均より大きいとき（Ｅ−３）にその顔候補領域は顔であると判定する（Ｅ−４）。そして、この作業を画像を９０°ずつ回転させて行なう。

ある一方向についての条件を式であらわすと数２のようになる。数２において、v(X1) は小領域X1での色の分布量を表している。

ここで、X1: (x,y)=上の小領域、下の小領域であり、X2: (x,y)=横の小領域である。

なお、上、下の小領域のそれぞれの色の分布量もしくは分布量の平均があるしきい値以上、横の小領域のそれぞれの色の分布量もしくは分布量の平均があるしきい値以下、この二つの条件をともに満たすとき、もしくは、どちらかを満たすときにその顔候補領域は顔であると判定する方法もある。この場合も作業を９０°ずつ回転させて行なう。この場合のある一方向について条件を式であらわすと数３のようになる。数３において、v(X1) は小領域X1での色の分布量を表している。

図１０に示した第５の実施例によれば、顔の部位ごとの特徴を生かして認識するため認識率が高いという効果がある。

なお、図１０に示した第５の実施例では特徴量として色の分布量を用いたが、特徴量として、小領域の平均色の顔候補領域全体の平均色に対する色の差の量と、方向とを用いる方法もある（図１２参照）。ここで、この方法について説明する。

まず、第５の実施例と同様に顔候補領域を小領域に分割し、特徴量として、小領域の平均色の顔候補領域全体の平均色に対する色の差の量と方向を求める。目や髪を判断する際には明度、口を判断する際には色相を用いるとよい。

差としては以下の種類が考えられる。
・色相、明度の２次元空間での二つの平均色の差ベクトル。
・色空間（Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊等）での二つの平均色の差ベクトル。
・色相の平均の差。
・明度の平均の差。
・彩度の平均の差。

平均の計算方法としては以下の種類が考えられる。
・小領域内で均一な平均。
・小領域の中央に重みをつけた平均。

ここでは、目や口や髪の生え際に相当する小領域で小領域の平均色と候補領域の平均色との色の差の方向がそれぞれ黒、赤、黒の方向であるとき、顔と認識する。具体的には、以下の３つの条件を同時にもしくはいずれかを満たしているとき、その顔候補領域は顔であると判定する。
（１）上の小領域の顔候補領域の平均色に対するそれぞれの色の差方向もしくは色の差の平均の方向が明度が小さくなる方向であること。
（２）下の小領域の顔候補領域の平均色に対するそれぞれの色の差方向もしくは色の差量の平均方向が肌色から赤の方向であること。
（３）横の小領域の顔候補領域の平均色に対するそれぞれの色の差量もしくは色の差量の平均があるしきい値より小さいこと。

そして、この作業を画像を９０°ずつ回転させて行なう。

また、図１０に示した第５の実施例では特徴量として色の分布量を用いたが、特徴量として空間周波数的性質を用いる方法もある（図１３参照）。ここで、この方法について説明する。

まず、第５の実施例と同様に顔候補領域を小領域に分割し、特徴量として空間周波数的性質の値を求める。

空間周波数の対象としては以下の種類が考えられる。
・色相。
・明度。
・彩度。

そして、特徴量およびその求め方としては以下の種類が考えられる。
・２次元フーリエ変換を行い、高周波領域内での応答の積分値と空間周波数領域全体での応答の積分値との割合を特徴量とする。
・２次元フーリエ変換を行いパワースペクトラムを求め、高周波領域でのピークの高さを特徴量とする。
・四方の隣接する画素との差の平均値のヒストグラムを求め、差の平均値が所定値以上である画素の割合を特徴量とする。

ここでは、目や口や髪の生え際に相当する小領域で特徴量が大きいとき、その顔候補領域は顔であると判定する。すなわち、上、下の小領域の特徴量よりも横の小領域の特徴量が大きいときその顔候補領域は顔であると判定する。やはり、この作業は画像を９０°ずつ回転させて行なう。

図１４は本発明による顔抽出方法の第６の実施例のフローチャートである。

まず、第１の実施例によって判定された顔候補領域のサイズに基づいて目の大きさを推定し、図１５（ａ）に示すような目のテンプレートおよび図１５（ｂ）に示すような眼鏡をかけた目のテンプレートを作成する（Ｆ−１）。

そして、顔候補領域内の対象画像を目を表す画像であるか否かで２値化する（Ｆ−２）。通常どおりに明度、彩度、色相等の色情報で目を表す黒画素を検出してもかまわないが、次に示す手法の方が好ましい。
（１）まず、顔候補領域内で肌色画素の明度の平均を求める。
（２）この平均値との差（もちろん、目を表す画素の方が小さくなる）がしきい値以上である場合に目を表す黒画素であると判定する。

こうすることで、顔の明るさの違いによる目の黒画素の明るさの違いをカバーすることができる。

ステップ（Ｆ−２）で２値化された顔候補領域に対して、垂直方向、水平方向にそれぞれの目テンプレートを走査させ（図１５（ａ）参照）、最も高いマッチング度を求め、これを特徴量とする（Ｆ−３）。

そして、この特徴量がしきい値以上であれば（Ｆ−４）、その顔候補領域は顔であると判定する（Ｆ−５）。

図１４に示した第６の実施例によれば、対象者が眼鏡をかけているかどうかの判定が可能であり、また、画像の向きの判定も可能となる効果がある。

図１６は本発明による顔抽出方法の第７の実施例のフローチャートである。

本実施例では、図１４に示した第６の実施例の処理を行った後に、目のほかに口に関しても判断を行う。従って、ステップ（Ｇ−１）〜（Ｇ−４）は図１４に示したフローチャートと同様なので説明は省略する。

ステップ（Ｇ−５）では、目の位置情報から口の位置を推定する。たとえば、両目の位置がともに顔の上半分にあった場合、口の位置は、顔の下半分にあると推定する。また、両目の位置が共に顔の右半分にあった場合、口の位置は、顔の左半分にあると推定する。また、通常行なわれているように、両目を結ぶ線分の中点からの距離で口の位置を推定すればより高い検出精度が得られる。

次に、口の候補領域に対して、色情報から口が存在するかどうかを判定する。具体的には、たとえば、ＢＧＲ信号を８ビット（０〜２５５）で表し、顔候補領域全体でＧ−Ｒを計算し、その平均値を求める。次に、口の候補領域に対して同様にＧ−Ｒを計算し、この計算した値と先に求めた平均値との差を求め、この差がしきい値以上であれば口画素としてカウントする。

そして、口画素の割合（口の画素とカウントされた画素数／顔候補領域内の全画素数）を求め、これを第２の特徴量とする（Ｇ−６）。

この第２の特徴量が所定範囲内であれば（Ｇ−７）、口であると判定し、この顔候補領域は顔であると判定する（Ｇ−８）。各しきい値はそれぞれ測定機器を用いて経験的に求めればよい。また、Ｇ−Ｒの代わりに他の色情報、たとえば明度、色相、彩度、色度を用いてもかまわない。

図１６に示した第７の実施例によれば、口の位置が顔の領域のどの部分にあるかがわかり、画像の向きを判定することができる。また、より精度の高い顔抽出ができるという効果もある。

なお、図１６に示した第７の実施例では目のほかに口を検出することにより、顔であるか否かを判定したが、本発明はこれに限らず、たとえば、目のほかに髪を検出し顔であるかどうかを判定してもよい。以下に、具体的に説明する。

目の位置が決定したら、その目の位置情報から髪の位置を推定する。具体的には、図１７のように、たとえば両目が顔候補領域の上半分にある場合、両目を結ぶ線より上の境界領域を髪候補領域と推定し、この領域内で髪を示す黒画素をカウントする。また、両目が顔候補領域の右半分にある場合、両目を結ぶ線より右の境界領域を髪候補領域と推定する。

そして、髪画素の割合（黒画素数／髪候補領域の面積）がしきい値以上であれば髪があると判定し、この顔候補領域は顔であると判定する。ここで、顔候補領域のサイズを数画素拡張してから髪を検出すると、より検出精度が上がる。

この場合には、髪の領域が顔の上半分にあるか、下半分にあるか、左半分にあるか、あるいは右半分にあるかで、画像の向きを判定することができるという効果がある。

また、図１６に示した第７の実施例では目のほかに口を検出することにより、顔であるか否かを判定したが、本発明はこれに限らず、目のほかに首を検出して顔であるかどうかを判定してもよい。以下に、具体的に説明する。

目の位置が決定したら、その目の位置情報から首の位置を推定する。図１７のように、たとえば両目が顔候補領域の上半分にある場合、下１／３を首候補領域とする。下半分というように更に広い領域に限定してもかまわない。

次に、顔候補領域のサイズを３〜４画素拡張し、首候補領域と接触する領域で、首を表す肌色の画素をカウントする。首画素の割合（カウント数／顔の候補領域の面積）がしきい値以上であれば首であると判定し、この顔候補領域は顔であると判定する。

図１８は本発明による顔抽出方法の第７の実施例のフローチャートである。

本実施例は顔候補領域内でマッチドフィルタを用いて、その顔候補領域が顔であるか否かを判定するものである。

まず、第１の実施例によって判定された顔候補領域内の画像を明度画像に変換する（Ｈ−１）。次に、顔テンプレート画像を作成する。この画像は明度画像で、目、鼻、口が備わり、顔の向きも正面、横向きで上、下、左、右の画像の向きにそれぞれ対応したものが好ましい。また、いくつかの大きさの異なるテンプレートを作成しておくことが好ましい。これらの顔テンプレート画像は予め作成しておき、記憶装置６に記憶させておいてもよい。また、本実施例では、この顔テンプレート画像に対して２次元フーリエ変換を行うので、予め２次元フーリエ変換を行っておき、その結果を記憶装置６に記憶させておいてもよい。

そして、ステップ（Ｈ−１）の明度画像に対して２次元フーリエ変換を行ない（Ｈ−２）、このステップ（Ｈ−２）の結果の実部と、顔テンプレート画像の２次元フーリエ変換結果の実部とを足し合わせ（Ｈ−３）、さらに、ステップ（Ｈ−２）の結果の虚部と、顔テンプレート画像の２次元フーリエ変換結果の虚部とを足し合わせる（Ｈ−４）。

次に、足し合わせた結果得られた実部と虚部とを逆フーリエ変換し（ここまでの過程をマッチドフィルタをかけるという）、この値を特徴量とする（Ｈ−５）。

逆フーリエ変換した値は、マッチング度が高いほど大きくなるので、この特徴量がしきい値以上であれば（Ｈ−６）、その顔候補領域は顔であると判定する。

なお、図１８に示した第７の実施例では、顔候補領域内の画像を明度画像に変換したが、これを、色相画像や彩度画像にしてもかまわない。

図１８に示した第７の実施例によれば、周波数特性を利用しているため、顔の各部位の個人差による位置の違いに対する許容度が高いという効果がある。

図１９は本発明による顔抽出方法の第８の実施例のフローチャートである。

本実施例は、顔候補領域内で顔の各部位の特徴量をニューラルネットワークに入力し、その顔候補領域が顔であるか否かを判定するものである。

まず、他の実施例において説明した顔の各部位の特徴量を求める（Ｊ−１）。この特徴量としては目のマッチング度、口画素の割合、髪画素の割合、首画素の割合などが挙げられる。そして、これらの値をニューラルネットワークに入力する（Ｊ−２）。

用いるニューラルネットワークは、入力層、中間層、出力層から成る３層構造で、それぞれの要素数は、たとえば４、３、１とする。ニューラルネットワークにおける教師データは、正面顔、横向き顔と、画像の向きが上、下、右、左の組み合わせをカバーするように、それぞれのパターンについて作成しておく。教師データの出力は顔であれば１、そうでなければ０とする。ニューラルネットワークには、上記２×４＝８パターンについて、それぞれの教師データを用いてバックプロパゲーション法によって学習させ、各係数が決定されている。また、用いるニューラルネットワークの構成は、中間層の数が２層以上であってもかまわないし、また、中間層の要素数も３でなくてもかまわず、最も認識率が高くなるように決定すればよい。

このようにして求められた出力層からの出力がしきい値以上であれば（Ｊ−３）、その顔候補領域は顔であると判定する（Ｊ−４）。

なお、ニューラルネットワークへの入力として、色を表すパラメータ、たとえば、明度、色相、彩度等を用いてもかまわない。

また、この抽出方法を組み込んだ機器を出荷した際、環境の違いにより、微調整が必要な場合には、新たにいくつかの教師データを加えることにより微調整をするようにすればよい。

図１９に示した第８の実施例によれば、ニューラルネットワークをいくつかの教師データにより学習させることにより、それぞれの入力値に対して最適な重み係数を選択することができ、高い認識率を確保することができるという効果がある。

本発明による顔抽出方法は、カラー原画像を複写材料に複写する際の露光量を求めるためだけではなく、その他各種の画像処理に用いることができることは言うまでもない。また、本発明は抽出対象を顔以外のものにすることも可能である。

本発明による顔抽出方法を用いた顔領域抽出装置のブロック図である。本発明による顔抽出方法の第１の実施例のフローチャートである。顔テンプレートの一例を示す図である。本発明による顔抽出方法の第２の実施例のフローチャートである。顔候補領域内で目候補領域を設定する際の説明図であり、（ａ）は縦画像の例、（ｂ）は横画像の例である。顔候補領域内で目候補領域を設定する際の説明図である。明度に関するヒストグラムである。本発明による顔抽出方法の第３の実施例のフローチャートである。本発明による顔抽出方法の第４の実施例のフローチャートである。本発明による顔抽出方法の第５の実施例のフローチャートである。顔候補領域を小領域に分割する際の説明図であり、（ａ）、（ｂ）、（ｃ）は３つの分割方法のそれぞれに対応した説明図である。特徴量として、小領域の平均色の顔候補領域全体の平均色に対する色の差の量と、方向とを用いる方法の説明図である。特徴量として、空間周波数的性質を用いる方法の説明図である。本発明による顔抽出方法の第６の実施例のフローチャートである。目テンプレートの例を示す図であり、（ａ）は目テンプレートとその走査方向について説明する図であり、（ｂ）は眼鏡をかけた目テンプレートの例を示す図である。本発明による顔抽出方法の第７の実施例のフローチャートである。髪候補領域と首候補領域を推定する場合の説明図である。本発明による顔抽出方法の第７の実施例のフローチャートである。本発明による顔抽出方法の第８の実施例のフローチャートである。

符号の説明

１フィルム
２スキャナ
３増幅器
４Ａ／Ｄ変換器
５ＣＰＵ
６記憶装置

Claims

画像から人の顔を抽出するための抽出方法において、人の顔の形状に相当する顔候補領域を決定し、前記顔候補領域内の特徴量から顔領域を決定する際に、前記候補領域内で、特徴量を求め、該特徴量をニューラルネットワークに入力し、顔領域を決定することを特徴とする顔抽出方法。
前記特徴量として、目を表す特徴量と、口を表す特徴量と、髪を表す特徴量と、首を表す特徴量とを用いることを特徴とする請求項１に記載の顔抽出方法。
請求項１または２に記載の顔抽出方法を組み込んだ機器を出荷後、前記ニューラルネットワークにおける新たな教師データを入力することにより微調整可能なことを特徴とする顔認識装置。
画像から人の顔の輪郭を抽出することにより顔候補領域を検出することを特徴とする請求項１または２に記載の顔抽出方法。
画像から人の顔を抽出するための抽出方法において、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度の最も高いテンプレートを選択し、最も高かったマッチング度が予め定めたしきい値以上であれば、選択されたテンプレート内の領域を顔候補領域とすることを特徴とする請求項１または２に記載の顔抽出方法。