JP2005157964A - 顔画像検出方法 - Google Patents

Abstract

【課題】 顔の特徴を抽出するテンプレートを極端に減らすことができ、明るさ、顔の向き、大きさの変化にロバストな顔画像検出を行う。
【解決手段】 撮像装置により撮像されたカラー画像の画素密度を所定の画素密度に統一させるべく画素密度変換処理を行う画素密度変換処理ステップＳ１と、画素密度変換処理された画像を、肌色情報の標準偏差を基にして設定した閾値に基づいて２値化する２値化処理ステップＳ２と、２値化した画像から両目を検出し、検出された両目の情報に基づいて顔領域の候補を特定し、特定された顔領域候補から特徴点を抽出する特徴点抽出処理ステップＳ３と、特徴点抽出処理された顔領域候補に含まれる情報から顔かどうかの判断を行う認識処理ステップＳ４とを備える。
【選択図】 図１

Description

本発明は、ビデオカメラやスチルカメラなどの撮像装置から得られるカラー画像から人間の顔画像を検出する顔画像検出方法に関する。

従来、デジタル画像中から人間の顔画像を検出する際に、肌色の領域やその上方に髪の毛があるかどうかを色で検出する方法がある（例えば下記の特許文献１参照）。
特開２０００-１８７７２１号公報（図１）

上述した従来の顔画像検出方法では、デジタル画像の中から肌色領域を抽出して、例えばその上部に髪の毛である黒があるか、あるいは肌色領域の中に顔の特徴があるかなどを検出していた。

そして他の方法においても顔の特徴を抽出するために、様々なサイズのテンプレートを用意してパターンマッチングを繰り返すために多くの処理を必要としていた。
しかしながら、自然界には肌色に類する色はたくさんあり、明るさなども含めると色空間においてどこまでを肌色とするかが課題であった。

そこで、本発明は上述した点に鑑みてなされたもので、顔の特徴を抽出するテンプレートを極端に減らすことができ、明るさ、顔の向き、大きさの変化にロバストな顔画像検出を行うことができる顔画像検出方法を提供することを目的とする。

上記目的を達成するために、本発明に係る顔画像検出方法は、撮像装置により撮像されたカラー画像の画素密度を所定の画素密度に統一させるべく画素密度変換処理を行う画素密度変換処理ステップと、前記画素密度変換処理された画像を、肌色情報の標準偏差を基にして設定した閾値に基づいて２値化する２値化処理ステップと、前記２値化した画像から両目を検出し、検出された前記両目の情報に基づいて顔領域の候補を特定し、前記特定された顔領域候補から特徴点を抽出する特徴点抽出処理ステップと、前記特徴点抽出処理された前記顔領域候補に含まれる情報から前記画像が顔かどうかの判断を行う認識処理ステップとを備えたものである。

この構成を備えることにより、顔を含む画像をあらかじめ決まったサイズに統一し、肌色情報の標準偏差を基に２値化を行うことによって顔の特徴を際立たせ、顔の特徴を抽出するテンプレートを極端に減らすことができ、撮像中の照明の明るさ、色温度、顔の大きさ、顔の向きが変わっても高速かつ安定した顔の検出を行うことができる。

また、前記認識処理ステップは、前記顔領域の左右対称度を前記画像が顔かどうかの判断に用いるものである。

この構成を備えることにより、顔の認識精度を高めることができる。

本発明の顔画像検出方法によれば、顔を含む画像をあらかじめ決まったサイズに統一し、肌色情報の標準偏差を基に２値化を行うことによって顔の特徴を際立たせ、顔の特徴を抽出するテンプレートを極端に減らすことができ、明るさ、顔の向き、大きさの変化にロバストな顔画像の検出を行うことができる。

本発明の実施の形態について図面を参照して説明する。図１は、本発明の実施の形態に係る顔画像検出方法の概略的な処理内容を示すフローチャートである。本実施の形態に係る顔画像検出方法は、図１に示すように、図示しない撮像装置により撮像されたカラー画像の画素密度を所定の画素密度に統一させるべく画素密度変換処理を行う画素密度変換処理ステップＳ１と、画素密度変換処理された画像を、肌色情報の標準偏差を基にして設定した閾値に基づいて２値化する２値化処理ステップＳ２と、２値化した画像から両目を検出し、検出された両目の情報に基づいて顔領域の候補を特定し、特定された顔領域候補から特徴点を抽出する特徴点抽出処理ステップＳ３と、特徴点抽出処理された顔領域候補に含まれる情報から顔かどうかの判断を行う認識処理ステップＳ４とを備えている。

以下、各処理ステップについて詳細に説明する。まず、デジタルスチルカメラなどの撮像装置から得られるカラー画像に対して画素密度変換処理を行う（ステップＳ１）。デジタルスチルカメラなどの撮像装置から得られる画像は、カメラの性能や撮影条件によって大きく画素密度が変わってしまい、テンプレートマッチングを行うためのテンプレートを多数用意しなければならないという不都合が生じるので画素密度を合わせておく必要がある。ステップＳ１での画素密度変換処理では、横長の画像も縦長の画像も同様に扱うが、画像の処理時間と精度を考慮し長手方向の画素数を所定の画素数、例えば３８０に統一する。

次に、画素密度変換処理が行われた画像に対して２値化処理を行う（ステップＳ２）。人間の顔画像を検出する際に、必ずしも色情報を必要とせず、白黒２値の画像からでも検出が可能である。そこで、顔画像を検出する際の特徴を抽出し、かつメモリーコストを抑え、処理量を減らして高速化に寄与するように、２値化処理を実施する。ただし、２値化処理は、閾値の設定によって多くの情報が失われることにもなるため、いかに必要な情報だけを残すかが大きなポイントとなる。つまり、２値化の閾値の設定が重要となる。

そこで、人間の顔の特徴を浮き彫りにするために、肌色の部分を除き、目、鼻、口を残すようにするため、肌色を抽出し、その階調を閾値にすることを考える。以下、図２に示すフローチャートに従って２値化処理の具体的な処理内容について述べる。

ステップＳ２１：肌色抽出
撮影条件によってはホワイトバランスが大きく崩れていることがあるので、顔の肌色を確実に抽出するには色空間における肌色の範囲をかなり広くとる必要がある。しかし、肌色の範囲を広げれば画像中に含まれる他の物体色までも含むことになるので、顔が存在する確率が高い画像中央付近からのみ肌色を抽出することにより、その影響を少しでも減らすことにする。抽出する肌色の範囲については、演算の簡略化のため、色相Ｈ、彩度Ｓ、明るさＶを使用する。

ここで、色相Ｈ、彩度Ｓ、明るさＶの求め方を以下に示す。
画素のＲＧＢ値を、それぞれ８ビット（２５５レベル）で表すとき、
vRed：Redの値、
vGreen：Greenの値、
vBlue：Blueの値
とし、この中の最大値、最小値をＭｘ、Ｍｎとすると、色相Ｈ、彩度Ｓ、明るさＶは、次のようにして求められる。

彩度Ｓ：
Ｓ＝（Ｍｘ−Ｍｎ）／Ｍｘ （Ｍｘ≠０）の場合
Ｓ＝０ （Ｍｘ＝０）の場合

色相Ｈ：
ｒｃ＝（Ｍｘ−ＶRed）／（Ｍｘ−Ｍｎ）
ｇｃ＝（Ｍｘ−ＶGreen）／（Ｍｘ−Ｍｎ）
ｂｃ＝（Ｍｘ−ＶBlue）／（Ｍｘ−Ｍｎ）
Ｍｘ＝vRedのとき Ｈ＝ｂｃ−ｇｃ
Ｍｘ＝vGreenのとき Ｈ＝２+ｒｃ−ｂｃ
Ｍｘ＝vBlueのとき Ｈ＝４+ｇｃ−ｒｃ
Ｈ＝Ｈ×６０；
Ｈ＜０ Ｈ＝Ｈ＋３６０
ただし、Ｓ≠０で、Ｓ＝０のとき Ｈ＝O

明るさＶ：
Ｖ＝Ｍｘ
肌色の範囲は、照明条件によるばらつきを考慮して定める。

ステップＳ２２：肌色標準偏差の算出
肌色抽出（ステップＳ２１）で抽出した肌色の明るさＶの平均値Ｖｍを求めるとともに、抽出した色の数をＮとし、式（１）に示す標準偏差σを求める。

ステップＳ２３：閾値の決定
閾値Ｖｓについては、式（１）で求めた肌色の標準偏差σを目安とし、式（２）に示すように、定数Ｋによって若干特徴を強調するよう調整する。

ステップＳ２４：２値化
上記のようにして決定された閾値に基づいて画素密度変換処理が行われた画像に対して２値化処理を行う。

次に、図２に示す流れに従って画像の２値化処理を施した後は、図１に戻って特徴点抽出処理が行われる（ステップＳ３）。この特徴点抽出処理は、図３に示すフローチャートに従って行われる。本実施の形態では、特徴点の抽出として、顔の特徴となる目、鼻、口、髪の毛を考え、その中でも大きなポイントとなる目に注目し、目を抽出することにより、顔の場所、サイズ、角度を求めるようにした。

ステップＳ３１：まず、目テンプレートマッチングが行われる。目を抽出する際に問題となる点は、デジタルスチルカメラなどで撮影される画像は、免許証やパスポートなどのような証明写真と異なり画像の中の顔の大きさが統一されているわけではなく、目の大きさも一様ではないということである。このため、本実施の形態では、図４（ａ）〜（ｃ）に示すように、大、中、小の大きさの異なる目のテンプレートを３つ用意した。これによって、抽出対象画像の一部と照らし合わせ、マッチング度を求めていく。そして、あらかじめ定めた閾値を超える場所についてはメモリに記憶していく。そして、テンプレートの大きさごとに調べる範囲を定めてマッチング度の高いものだけを残して目の場所を求める。

ステップＳ３２：次に、両目検出を行う。上記処理で残された目の場所を探索し、まず、見つかった目の場所を右目と仮定して、そのテンプレートの大きさから左目を探す。この際に顔の向き、傾き、個人差を許容させるため、テンプレートの大きさごとに、図５に示すように探索範囲を定める。これによって、顔の向き、傾きをある程度許容できるようになる。探索範囲内から最も距離が短いものを選択し、検出の始点となる右目候補と、ここで検出された左目候補の座標を求める。そして、その検出結果を基に顔領域候補を決定する。

ステップＳ３３：次に、顔領域候補特定を行う。図６に示す顔領域において、検出された両目の間隔Ｗ、角度θに基づいて存在するであろう顔の大きさ、位置、角度を推測し、アフィン変換によって顔領域を求める。特徴抽出は顔でなくても実画像の中にたくさん存在し、それらすべてについて詳細に特徴を調べていくと処理時間が長くなるため、大まかに調べて顔領域の候補を決めていく。具体的には、（ａ）肌色含有率、（ｂ）毛髪存在率、（ｃ）眉間存在率を、後述するようにそれぞれ調べ、これらがある閾値を超えるか否かを調べることで顔領域候補を特定していく。

ただし、帽子などを被っていて毛髪存在率が低いような場合もあるので、特定するための合計ポイントの閾値を低めに設定することによって、なるべく多くの候補を選択しておく。

（ａ）肌色含有率
図６の長方形で示されるような顔領域の中で、ＨＳＶ色空間上であらかじめ設定された肌色領域に含まれる肌色画素Ｄｓをカウントし、顔領域全体の画素数Ｎｆとの比を求めるようにして、式（３）に従って肌色含有率Ｆｓｒを求める。

（ｂ）毛髪存在率
次に、図６に示す両目の距離Ｗを基にして顔領域を切り出して示す図７において、顔領域の中で両目を結んだ線よりやや上方の長方形の領域（横幅：（Ｗ＋２・Ｗ／２）、縦幅：Ｗ）の頭部領域総画素数Ｎｂａに関して、黒画素（毛髪）Ｄｈがどの程度あるかを示す毛髪存在率Ｆｈｒを式（４）に従って求める。

（ｃ）眉間存在率
また、目と目の間の眉間領域の総画素数Ｎｂａに白画素Ｄｂがどのくらいあるかを示す眉間存在率Ｆｂｒを式（５）に従って調べる。

ステップＳ３４：次に、特徴抽出を行う。顔領域の候補が決まってもこれらの条件に当てはまる部分は実画像では多数存在するので、次のようにして、更に特徴を抽出し、ポイント化して顔としての確からしさを上げる。

（ｄ）顔パターンとのマッチング度
検出する顔のサイズは多様であるため、これらすべての顔パターンを用意することはせず、顔領域とテンプレートの両目の距離から拡大率、角度を求め、式（６）に示すアフィン変換によって座標を求めながら、２値化された実画像との排他的論理和を取るようにして高速なマッチングを行うことで、式（７）に示す顔パターンマッチング度Ｆｍを求める。

（ｅ）対称度
顔領域を水平方向に中心から折り返したときに、どの程度一致するかを顔領域の左右対称度としており、対称度Ｆｓｙｍを式（８）に従って求める。

（ｆ）総合点
式（９）に示すように、上記式（７）、（８）の値に、式（３）の結果を合計して総合点Ｆｔとし、検出された顔領域の中で重なりあった領域の取捨選択に利用する。

次に、図１に戻って認識処理を行う（ステップＳ４）。認識は、顔領域候補について各顔領域の特徴ポイントを求め、これらを閾値と比較してふるいにかけていく。つまり、式（３）、（７）〜（９）の結果が、式（１０）を満足する場合に顔領域とする。なお、式（１０）において、Ｉは恒真命題を意味する記号である。この式（１０）に示すように、認識処理ステップは、肌色含有率Ｆｓｒ、対称度Ｆｓｙｍ、顔パターンマッチング度Ｆｍ及び総合点Ｆｔがそれぞれ閾値との比較条件を満たす場合に顔かどうかを判断する。

なお、顔の周辺には、場合によってはたくさんの顔領域が残るのでこの中から総合点の最も高いものを正しい顔領域として選択する。

本発明によれば、顔を含む画像をあらかじめ決まったサイズに統一し、肌色情報の標準偏差を基に２値化を行うことによって顔の特徴を際立たせ、顔の特徴を抽出するテンプレートを極端に減らすことができ、撮像中の照明の明るさ、色温度、顔の大きさ、顔の向きが変わっても高速かつ安定した顔の検出を行うことができるので、本発明は顔画像検出装置に適用できる。

本発明の実施の形態に係る顔画像検出方法の概略的な処理内容を示すフローチャートである。 本発明の実施の形態に係るもので、図１の２値化処理の内容を示すフローチャートである。 本発明の実施の形態に係るもので、図１の特徴点抽出処理の内容を示すフローチャートである。 本発明の実施の形態で用いる目の検出用テンプレートを示す図である。 本発明の実施の形態における両目検出探索範囲を示す図である。 本発明の実施の形態における顔領域を示す図である。 本発明の実施の形態における顔領域の切り出しを示す図である。

符号の説明

Ｓ１ 画素密度変換処理ステップ
Ｓ２ ２値化処理ステップ
Ｓ３ 特徴点抽出処理ステップ
Ｓ４ 認識処理ステップ

Claims (2)

1. 撮像装置により撮像されたカラー画像の画素密度を所定の画素密度に統一させるべく画素密度変換処理を行う画素密度変換処理ステップと、
   前記画素密度変換処理された画像を、肌色情報の標準偏差を基にして設定した閾値に基づいて２値化する２値化処理ステップと、
   前記２値化した画像から両目を検出し、検出された前記両目の情報に基づいて顔領域の候補を特定し、前記特定された顔領域候補から特徴点を抽出する特徴点抽出処理ステップと、
   前記特徴点抽出処理された前記顔領域候補に含まれる情報から前記画像が顔かどうかの判断を行う認識処理ステップとを、
   備えた顔画像検出方法。
2. 前記認識処理ステップは、前記顔領域の左右対称度を前記画像が顔かどうかの判断に用いる請求項１に記載の顔画像検出方法。
   

Images