JP2007249525A - 撮像装置及び顔領域抽出方法 - Google Patents

Abstract

【課題】既存のハードウェアを用いて顔領域を高速且つ高精度に抽出する。
【解決手段】固体撮像素子から出力される撮像画像３１の中に存在する人物顔画像の領域を抽出する撮像装置の顔領域抽出方法において、顔パターンと撮像画像とのパターンマッチング処理を実行して撮像画像中の顔領域候補３０ａ，３０ｂ，３０ｃを抽出し、顔領域候補３０ａ，３０ｂ，３０ｃが存在する位置の撮像画像の測光データから顔領域候補３０ａ，３０ｂ，３０ｃが真の顔領域であるか否かを判定する。
【選択図】図３

Description

本発明はデジタルビデオカメラやデジタルスチルカメラ等の撮像装置に係り、特に、撮像画像中の顔領域の検出精度を高くすることができる撮像装置及び顔領域抽出方法に関する。

近年の撮像装置は、景色を背景にした人物を被写体とした場合に、人物の顔に焦点を合わせるフォーカス処理や、顔の肌色が綺麗に写るように露出調整処理やホワイトバランス補正処理を自動的に行う機能を搭載する様になってきている。

例えばデジタルスチルカメラでは、静止画像を撮像する前に固体撮像素子から動画状態で次々と取り込まれる撮像データを解析して画像中の顔が存在する領域を抽出して顔領域に焦点を合わせ、顔の肌色が綺麗に写るように露出調整やオートホワイトバランス補正を自動的に行う様になっている。

撮像画像中の顔領域を抽出する方法には、パターンマッチング法と、肌色検出法の２つがある。

パターンマッチング法とは、人間の顔を正面から見たパターンや横から見たパターン、大人の顔パターンや幼児の顔パターンなど各種の顔パターンを撮像装置内のメモリに保持しておき、この顔パターンを用い顔パターンに一致する画像領域をパターンマッチングによって撮像画像中から抽出する方法である。

肌色検出法とは、１画面の撮像画像を例えば８×８＝６４の領域に分割し、各分割領域毎のＲ（赤）Ｇ（緑）Ｂ（青）の積算データにより各分割領域の色相を求め、色相が肌色となる分割領域内に顔が存在すると判定する方法である。

顔領域を抽出する場合、精度良く抽出する必要がある。顔領域を誤抽出してしまうと、本来は顔でない部分を顔としてフォーカス処理をしてしまうため被写体人物に焦点のあっていない画像（いわゆるピンぼけ画像）が撮像されてしまい、露光不良，ホワイトバランス不良が発生して、被写体人物の顔が不自然な色になってしまう。

例えば、パターンマッチング法では、背景中の木の葉の模様が光線の具合によって顔パターンに一致し誤抽出される場合がある。また、肌色検出法では、本来は人の顔であるのに、口紅の色や、眼鏡の色に惑わされて人の顔でないと誤判定されたり、肌色に似た色の背景画像があるとそれが顔であると誤抽出される場合がある。

尚、顔領域を抽出する従来方法に関連するものとして、下記特許文献１，２，３などがある。

特開２００１―１１９６２２号公報 特開２００３―１０７５５５号公報 特開２００５―３１８５５４号公報

パターンマッチング法によって顔領域を抽出する場合、撮像装置内に用意しておく顔パターンの種類を多くし、パターンマッチングで用いる各顔パターンのマッチング対象画像に対する相対的拡大率，縮小率を細かく変化させながらマッチング処理すれば、顔領域の検出精度は向上する。しかし、そのための演算処理負荷は増大し、短時間でマッチング処理するには、高性能で高価な演算処理装置が必要になるという問題がある。

肌色検出法によって顔領域を抽出する場合、上述した８×８＝６４より更に細かな分割領域の色相を求めることで、顔領域の検出精度は向上する。しかし、これも上記同様に演算処理負荷が増大し、短時間に顔領域を抽出するには、高性能で高価な演算処理装置が必要になってしまう。

本発明の目的は、高価な演算処理装置を必要とせずに、既存のデジタルカメラ等に用いられている演算処理装置によって高精度，高速に顔領域を抽出することができる撮像装置及び顔領域検出方法を提供することにある。

本発明の撮像装置は、固体撮像素子から出力される撮像画像の中に存在する人物顔画像の領域を抽出する撮像装置において、顔パターンと前記撮像画像とのパターンマッチング処理を実行し該撮像画像中の顔領域候補を抽出する顔抽出手段と、該顔抽出手段が求めた前記顔領域候補が存在する位置の前記撮像画像の測光データから該顔領域候補が真の顔領域であるか否かを判定する肌色検出手段とを備えることを特徴とする。

本発明の撮像装置は、固体撮像素子から出力される撮像画像の中に存在する人物顔画像の領域を抽出する撮像装置において、撮像画像を複数の分割領域に分割し各分割領域毎の測光データから肌色の存在領域を顔領域候補として抽出する肌色検出手段と、前記撮像画像中の前記顔領域候補が存在する範囲に対して顔パターンを用いたパターンマッチング処理を行い真の顔領域を抽出する顔抽出手段とを備えることを特徴とする。

本発明の撮像装置では、前記パターンマッチング処理の対象とする前記撮像画像が該撮像画像を縮小した縮小画像であることを特徴とする。

本発明の撮像装置の顔領域抽出方法は、固体撮像素子から出力される撮像画像の中に存在する人物顔画像の領域を抽出する撮像装置の顔領域抽出方法において、顔パターンと前記撮像画像とのパターンマッチング処理を実行して該撮像画像中の顔領域候補を抽出し、該顔領域候補が存在する位置の前記撮像画像の測光データから該顔領域候補が真の顔領域であるか否かを判定することを特徴とする。

本発明の撮像装置の顔領域抽出方法は、固体撮像素子から出力される撮像画像の中に存在する人物顔画像の領域を抽出する撮像装置の顔領域抽出方法において、撮像画像を複数の分割領域に分割し、各分割領域毎の測光データから肌色の存在領域を顔領域候補として抽出し、前記撮像画像中の前記顔領域候補が存在する範囲に対して顔パターンを用いたパターンマッチング処理を行って真の顔領域を抽出することを特徴とする。

本発明の撮像装置の顔領域抽出方法では、前記パターンマッチング処理の対象とする前記撮像画像が該撮像画像を縮小した縮小画像であることを特徴とする。

本発明によれば、肌色検出法またはパターンマッチング法のいずれか一方を先に行って顔領域候補を抽出し、この顔領域候補に対して他方の方法で真の顔領域が否かを判定するため、既存のハードウェアを用いて高速且つ高精度に顔領域を抽出することができる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置の機能ブロック図である。本実施形態の撮像装置は、被写界からの入射光を取り込み結像する撮影レンズ１１と、この入射光の結像面に受光面が配置されたＣＣＤイメージセンサ，ＣＭＯＳイメージセンサ等の固体撮像素子１２と、固体撮像素子１２から出力される画像データを相関二重サンプリング処理や利得調整処理，アナログ／デジタル変換処理するアナログフロントエンド（ＡＦＥ）プロセッサ１３とを備える。

更にこの撮像装置は、アナログフロントエンドプロセッサ１３から出力される撮像画像データを並列に取り込む信号処理部１４及び顔抽出部１５と、信号処理部１４に接続された画像データ格納メモリ１６とを備え、顔抽出部１５が抽出した顔情報が信号処理部１４に出力される構成になっている。

信号処理部１４は、内部に測光データ格納メモリ１７を備え、アナログフロントエンドプロセッサ１３から取り込んだデジタルの撮像画像データを、一旦、画像データ格納メモリ１６に格納して、各種画像処理を施す。

例えば、信号処理部１４は、撮像画像データに対してオフセット処理やガンマ補正処理，ＲＧＢ／ＹＣ変換処理等を施し、更にＪＰＥＧ画像に圧縮するなどした画像データを図示しない記録メディアに出力して保存したり、スルー画像として撮像装置背面などに搭載される図示しない液晶表示部に表示させたりする。

信号処理部１４は図示しない肌色検出手段を備え、画像データ格納メモリ１６に格納した１画面の撮像画像データを例えば８×８＝６４の分割領域に分割し、各分割領域毎のＲ（赤色信号），Ｇ（緑色信号），Ｂ（青色信号）の積算値を算出することで各分割領域毎の色相を求め、これらの色相データ等を測光データ格納メモリ１７に格納すると共に、色相が肌色であるか否かの判定を行う。

そして、顔抽出部１５から送られてくる顔情報に基づいて、詳細は後述する様に顔領域の抽出処理を行うと共に、抽出した顔領域の色相データ等に基づいて露光調整，ホワイトバランス補正等を行い、更に、撮影レンズ１１に対しフォーカス位置の制御指示を行う。

顔抽出部１５は、アナログフロントエンドプロセッサ１３から取り込んだ撮像画像データを間引き処理するなどして縮小画像データを生成する前処理部１８と、この縮小画像データを格納する縮小画像データ格納メモリ１９と、予め用意された各種の顔パターンデータを格納する顔パターンデータ格納メモリ２０とを備え、パターンマッチング処理で検出した顔領域候補の座標データを顔情報として信号処理部１４に通知する。

図２は、図１で説明した撮像装置が行う顔抽出処理の処理手順を示すフローチャートである。顔抽出部１５は、先ずステップＳ１で、撮像画像データをアナログフロントエンドプロセッサ１３から取り込み、ステップＳ２で、前処理部１８が縮小画像データを生成する。パターンマッチング処理は、縮小画像データを用いた方が、縮小しない全画素の撮像画像データを用いて行うより、精度良くまた高速に処理ができる。

次のステップＳ３では、使用する顔パターン２５をメモリ２０から取り出してパターンマッチング処理を行う。このパターンマッチング処理では、先ず、顔パターン２５を縮小画像データ３１（図３参照）上で走査し、顔パターン２５と縮小画像データ３１中の部分画像との類似度が閾値以上あるか否かを求め、閾値以上ある部分画像を顔領域候補３０（図２）とし、その縮小画像データ３１上での座標を求める。

１画面の縮小画像データ３１の走査が終わると、次に、顔パターン２５を縮小画像データ３１に対して相対的に所定倍率だけ拡大（または縮小）した顔パターン２６（図２）を生成し、この拡大した顔パターン２６を縮小画像データ３１上で走査して再びパターンマッチング処理を行う。

用意された顔パターンが複数ある場合には全ての顔パターンに対して上述したパターンマッチング処理を繰り返し、得られた顔領域候補を示す座標データを全てメモリ（１９，２０でも良く、その他のメモリでも良い。）内に保存しておく。

図３に示す例では、３つの矩形枠で囲まれる顔領域候補３０ａ，３０ｂ，３０ｃが抽出されている。顔領域候補３０ａは、背景に写っている大仏の顔であり、顔領域候補３０ｂは、撮影対象の人物の顔であり、顔領域候補３０ｃは、光線の具合によって顔パターンに類似してしまった木の葉である。

次のステップＳ４では、ステップＳ３のパターンマッチング処理により得られた顔領域候補３０（３０ａ，３０ｂ，３０ｃ）の座標データを顔情報として信号処理部１４の肌色検出手段に通知する。

肌色検出手段は、ステップＳ５において、通知された顔領域候補３０ａ，３０ｂ，３０ｃとメモリ１７内の測光データ（色相データ）とを比較し、顔領域候補３０ａ，３０ｂ，３０ｃの色相を調べ、色相が肌色である顔領域候補３０ｂを顔領域であると決定し（ステップＳ６）、この顔抽出処理を終了する。

図３に示す例では、大仏の顔（顔領域候補３０ａ）は、灰色の様な色をしているため肌色ではないと判定され、木の葉（顔領域候補３０ｃ）は、緑色をしているため肌色ではないと判定される。

撮像装置の測光領域として複数に分割された既存の測光領域（上述した８×８＝６４の領域）を使用する場合、必ずしも顔候補領域とこれに重なる測光領域とは一致しない。例えば、図３の顔候補領域３０ａは、４つの分割領域にまたがり、且つ４つの分割領域の全範囲より小さい。また、本当の顔候補が示す被写体が人物顔であった場合でも、その測光領域内に肌色以外の要素（ロ紅等）が含まれていると、正確な色相を示すことができない場合がある。

肌色だけで顔領域を決定する場合には、色相値から肌色らしさを判定する閾値を一般的な肌色範囲よりも広くとる必要があり、これが誤抽出の原因になっている。

しかし、本実施形態の顔抽出方法で用いる肌色検出法では、顔領域候補は輝度成分を用いたパターンマッチングによって決められるため、この顔領域候補が人物顔らしいか、あるいはパターンマッチング誤検出による偽情報であるかだけを判断すれば十分であり、肌色と判定する色相範囲を広くとる必要はない。また、顔領域候補以外の領域の色相判定を行う必要もなくなる。

このため、本実施形態の顔抽出方法は、既存のハードウェアを使用するだけで、コストアップ無しに顔領域の誤検出による制御不良（フォーカス不良，露光不良，ホワイトバランス不良等）を削減することが可能となる。

以上述べた様に、本実施形態によれば、パターンマッチング処理で得られた顔領域をそのまま顔領域として決定するのではなく、顔領域候補とし、顔領域候補の中から真の顔領域を測光データから判定するため、既存のデジタルカメラに搭載されているハードウェアを利用して高精度，高速に顔領域を抽出することができる。

上述した実施形態では、パターンマッチングにより顔候補を抽出し、その中から真の顔領域の抽出を肌色検出により行ったが、逆に、肌色検出により顔候補を図１の信号処理部１４が抽出し、抽出した顔候補を顔抽出部１５に通知することで、撮像画像（縮小画像）の顔候補近傍に対して顔抽出部１５がパターンマッチング処理を行い真の顔領域を決定する実施形態とすることも可能である。この場合、パターンマッチングする範囲が狭まるため、高速且つ高精度に顔領域の正否を判定可能となる。

従来のパターンマッチング法と肌色検出法とを夫々撮像画像の全領域に対して実行し両者が共に顔領域であると判定した顔領域候補を真の顔領域として抽出するのでは、高精度の顔抽出が可能になる一方、処理速度が遅くなり、リアルタイムな顔領域抽出を既存のハードウェアで行うには処理負荷が大きくなり過ぎる。

しかし、本発明の実施形態のように、パターンマッチング処理と肌色検出処理の一方を他方の処理の前に行って後で行う処理の処理範囲を狭めることで、高精度と高速性の両立を図ることが可能となる。

本発明に係る顔領域抽出方法は、既存のハードウェアを用いて顔領域を高精度且つ高速に抽出することができるため、デジタルカメラに搭載すると有用である。

本発明の一実施形態に係る撮像装置の機能ブロック図である。 図１に示す撮像装置が行う顔領域抽出処理の処理手順を示すフローチャートである。 図２で説明する顔領域抽出処理の補足説明図である。

符号の説明

１４ 信号処理部
１５ 顔抽出部
１６ 画像データ格納メモリ
１７ 測光データ格納メモリ
１８ 前処理部
１９ 縮小画像データ格納メモリ
２０ 顔パターンデータ格納メモリ
２５，２６ 顔パターン
３０ 顔領域候補
３０ａ，３０ｃ 間違った顔領域候補
３０ｂ 正しい顔領域候補
３１ 縮小画像データ

Claims (6)

1. 固体撮像素子から出力される撮像画像の中に存在する人物顔画像の領域を抽出する撮像装置において、顔パターンと前記撮像画像とのパターンマッチング処理を実行し該撮像画像中の顔領域候補を抽出する顔抽出手段と、該顔抽出手段が求めた前記顔領域候補が存在する位置の前記撮像画像の測光データから該顔領域候補が真の顔領域であるか否かを判定する肌色検出手段とを備えることを特徴とする撮像装置。
2. 固体撮像素子から出力される撮像画像の中に存在する人物顔画像の領域を抽出する撮像装置において、撮像画像を複数の分割領域に分割し各分割領域毎の測光データから肌色の存在領域を顔領域候補として抽出する肌色検出手段と、前記撮像画像中の前記顔領域候補が存在する範囲に対して顔パターンを用いたパターンマッチング処理を行い真の顔領域を抽出する顔抽出手段とを備えることを特徴とする撮像装置。
3. 前記パターンマッチング処理の対象とする前記撮像画像が該撮像画像を縮小した縮小画像であることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 固体撮像素子から出力される撮像画像の中に存在する人物顔画像の領域を抽出する撮像装置の顔領域抽出方法において、顔パターンと前記撮像画像とのパターンマッチング処理を実行して該撮像画像中の顔領域候補を抽出し、該顔領域候補が存在する位置の前記撮像画像の測光データから該顔領域候補が真の顔領域であるか否かを判定することを特徴とする撮像装置の顔領域抽出方法。
5. 固体撮像素子から出力される撮像画像の中に存在する人物顔画像の領域を抽出する撮像装置の顔領域抽出方法において、撮像画像を複数の分割領域に分割し、各分割領域毎の測光データから肌色の存在領域を顔領域候補として抽出し、前記撮像画像中の前記顔領域候補が存在する範囲に対して顔パターンを用いたパターンマッチング処理を行って真の顔領域を抽出することを特徴とする撮像装置の顔領域抽出方法。
6. 前記パターンマッチング処理の対象とする前記撮像画像が該撮像画像を縮小した縮小画像であることを特徴とする請求項４または請求項５に記載の撮像装置の顔領域抽出方法。

Images