JP2007249526A - 撮像装置及びその顔領域抽出方法 - Google Patents

Abstract

【課題】既存のデジタルカメラ等で用いているパターンマッチング用データメモリを用いて高精度に顔領域を検出する。
【解決手段】固体撮像素子から次々と連続して出力される撮像画像の中に存在する人物顔画像の領域を顔パターンとのパターンマッチング処理により抽出する撮像装置の顔領域抽出方法において、撮像画像を縮小したマッチング用縮小画像（ステップＳ２）と顔パターンとのパターンマッチング処理（ステップＳ３）によって顔領域候補３０を抽出し、該撮像画像に後続する撮像画像（ステップＳ５）から顔領域候補３０の存在範囲を含む部分領域を切り出し、該部分領域の画像（ステップＳ７）を用いてパターンマッチング処理（ステップＳ８）を行い顔領域３４を抽出する。
【選択図】図２

Description

本発明はデジタルビデオカメラやデジタルスチルカメラ等の撮像装置に係り、特に、撮像画像中の顔領域の検出精度を高くすることができる撮像装置及びその顔領域抽出方法に関する。

近年の撮像装置は、景色を背景にした人物を被写体とした場合に、人物の顔に焦点を合わせるフォーカス処理や、顔の肌色が綺麗に写るように露出調整処理やホワイトバランス補正処理を自動的に行う機能を搭載する様になってきている。

例えばデジタルスチルカメラでは、静止画像を撮像する前に固体撮像素子から動画状態で次々と取り込まれる撮像データを解析し画像中の顔が存在する領域を抽出して顔領域に焦点を合わせ、顔の肌色が綺麗に写るように露出調整やオートホワイトバランス補正を自動的に行う様になっている。

撮像画像中の顔領域を抽出する方法としてパターンマッチング法が多く採用されている。パターンマッチング法とは、人間の顔を正面から見たパターンや横から見たパターン、大人の顔パターンや幼児の顔パターンなど各種の顔パターンを撮像装置内のメモリに保持しておき、この顔パターンを用い顔パターンに一致する部分画像領域を撮像画像の中から抽出する方法である。

顔領域を抽出する場合、精度良く抽出する必要がある。顔領域を誤抽出してしまうと、本来は顔でない部分を顔としてフォーカス処理をしてしまうため被写体人物に焦点のあっていない画像（いわゆるピンぼけ画像）が撮像されてしまい、露光不良，ホワイトバランス不良が発生して、被写体人物の顔が不自然な色になってしまう。例えば、背景中の木の葉の模様が光線の具合によって顔パターンに一致し誤抽出されたり、衣服のシワの具合が顔パターンに似たとき顔として誤抽出される場合がある。

尚、顔領域を抽出する従来技術に関連するものとして、下記特許文献１，２，３などがある。

特開２００１―１１９６２２号公報 特開２００３―１０７５５５号公報 特開２００５―３１８５５４号公報

パターンマッチング法によって顔領域を抽出する場合、固体撮像素子から出力される撮像画像データを小容量のパターンマッチング用データメモリに縮小して格納し、縮小した撮像画像データを用いて行う。

しかし、近年の様に多画素化が進展した固体撮像素子では数百万画素以上を搭載しており、既存のデジタルカメラ等で通常用いられるパターンマッチング用データメモリに縮小画像を格納するとかなりの縮小率になってしまい、顔領域の検出精度が低下してしまうという問題が生じる。この問題は、パターンマッチング用データメモリを大容量化すれば解決するが、一方でデジタルカメラ等の製造コストを上昇させてしまうという別の問題を生じさせる。

本発明の目的は、既存のデジタルカメラ等で用いているパターンマッチング用データメモリを用いて高精度に顔領域を検出できる撮像装置及びその顔領域検出方法を提供することにある。

本発明の撮像装置及びその顔領域抽出方法は、固体撮像素子から次々と連続して出力される撮像画像の中に存在する人物顔画像の領域を顔パターンとのパターンマッチング処理により抽出する際に、前記撮像画像を縮小したマッチング用縮小画像と前記顔パターンとのパターンマッチング処理によって顔領域候補を抽出し、該撮像画像に後続する前記撮像画像から前記顔領域候補の存在範囲を含む部分領域を切り出し、該部分領域の画像を用いてパターンマッチング処理を行い顔領域を抽出することを特徴とする。

本発明の撮像装置及びその顔領域抽出方法は、前記パターンマッチング処理する前記部分領域の画像が前記パターンマッチング用縮小画像の縮小率より小さな縮小率で縮小されていることを特徴とする。

本発明の撮像装置及びその顔領域抽出方法は、前記顔領域候補を抽出するパターンマッチング処理で得られた顔情報を利用して前記顔領域を抽出するパターンマッチング処理で用いる顔パターンを選択することを特徴とする。

本発明の撮像装置及びその顔領域抽出方法は、前記顔領域候補の大きさが所定閾値以上の場合には該顔領域候補を前記顔領域として前記部分領域の画像を用いたパターンマッチング処理をスキップすることを特徴とする。

本発明によれば、顔領域候補とされた撮像画像の部分領域に対して再度拡大した部分画像を用いてパターンマッチング処理により顔領域を抽出するため、既存のハードウェアをそのまま利用し且つ顔領域の検出精度を向上させることができる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置の機能ブロック図である。本実施形態の撮像装置は、被写界からの入射光を取り込み結像する撮影レンズ１１と、この入射光の結像面に受光面が配置されたＣＣＤイメージセンサ，ＣＭＯＳイメージセンサ等の固体撮像素子１２と、固体撮像素子１２から出力される画像データを相関二重サンプリング処理や利得調整処理，アナログ／デジタル変換処理するアナログフロントエンド（ＡＦＥ）プロセッサ１３とを備える。

更にこの撮像装置は、アナログフロントエンドプロセッサ１３から出力される撮像画像データを並列に取り込む信号処理部１４及び顔抽出部１５と、信号処理部１４に接続された画像データ格納メモリ１６とを備え、顔抽出部１５が抽出した顔情報が信号処理部１４に出力される構成になっている。

信号処理部１４は、内部に測光データ格納メモリ１７を備え、アナログフロントエンドプロセッサ１３から取り込んだデジタルの撮像画像データを、一旦、画像データ格納メモリ１６に格納して、各種画像処理を施す。

例えば、信号処理部１４は、撮像画像データに対してオフセット処理やガンマ補正処理，ＲＧＢ／ＹＣ変換処理等を施し、更にＪＰＥＧ画像に圧縮するなどした画像データを図示しない記録メディアに出力して保存したり、スルー画像として撮像装置背面などに搭載される図示しない液晶表示部に表示させたりする。

また、信号処理部１４は、画像データ格納メモリ１６に格納した１画面の撮像画像データを例えば８×８＝６４の分割領域に分割し、各分割領域毎のＲ（赤色信号），Ｇ（緑色信号），Ｂ（青色信号）の積算値を求め、この積算値から求めた色相等の測光データを、測光データ格納メモリ１７に格納する。

そして、顔抽出部１５から送られてくる顔情報に基づいて、露光量調整や、画像データ格納メモリ１６に格納されている撮像画像のホワイトバランス補正等を行い、更に、撮影レンズ１１に対しフォーカス位置の制御指示を行う。

顔抽出部１５は、アナログフロントエンドプロセッサ１３から取り込んだ撮像画像データを間引き処理するなどして縮小画像データを生成する前処理部１８と、この縮小画像データを格納する縮小画像データ格納メモリ（パターンマッチング用データメモリ）１９と、予め用意された各種の顔パターンデータを格納する顔パターンデータ格納メモリ２０とを備え、パターンマッチング処理で検出した顔領域の座標データを顔情報として信号処理部１４に通知する。

図２は、顔抽出部１５が行う顔抽出処理の処理手順を示すフローチャートである。固体撮像素子１２からは、第１フレーム画像，第２フレーム画像，第３フレーム画像，…と、次々と撮像画像データが出力されている。

顔抽出部１５は、先ずステップＳ１で、第１フレームの撮像画像データをアナログフロントエンドプロセッサ１３から取り込み、ステップＳ２で、前処理部１８が縮小画像データを生成する。

この縮小画像データの縮小率は、撮像画像データを縮小画像データ格納メモリ１９に格納できる値とする。本実施形態の撮像装置では、縮小画像データ格納メモリ１９として既存のデジタルカメラ等に搭載されるメモリを用いているため、数百万画素以上を搭載した固体撮像素子から出力される撮像画像データであれば、かなりの縮小率で縮小した画像がメモリ１９に格納される。

次のステップＳ３では、使用する顔パターン２５をメモリ２０から取り出してパターンマッチング処理を行う。このパターンマッチング処理では、先ず、顔パターン２５を縮小画像データ３１（図３参照）上で走査し、顔パターン２５と縮小画像データ３１中の部分画像との類似度が閾値以上あるか否かを求め、閾値以上ある部分画像を顔領域候補とし、この部分画像の縮小画像データ３１上での座標を求め、顔領域候補格納メモリ３０（図２）に保存する。

１画面の縮小画像データ３１の走査が終わると、次に、顔パターン２５を縮小画像データ３１に対して相対的に所定倍率だけ拡大（または縮小）した顔パターン２６（図２）を生成し、この拡大した顔パターン２６を縮小画像データ３１上で走査して再びパターンマッチング処理を行う。

用意された顔パターンが複数ある場合には全ての顔パターンに対して上述したパターンマッチング処理を繰り返し、得られた顔領域候補を示す座標データをメモリ３０内に保存しておく。

図３に示す例では、矩形枠３０ａ，３０ｂで囲まれる顔領域候補が抽出されている。顔領域候補３０ａは、真の人物画像の顔領域候補であるが、顔領域候補３０ｂは、ステップＳ２で生成したパターンマッチング用縮小画像の縮小率が大きいため、木の葉の模様を顔画像として誤抽出したものである。

次のステップＳ４では、ステップＳ３で顔領域候補が抽出されたか否かを判定し、顔領域候補が抽出されなかった場合には、後述のステップＳ１０に進み、顔領域が検出されなかった旨を信号処理部１４に通知し、この処理を終了する。

図３に示す例では、顔領域候補３０ａ，３０ｂが存在するため、ステップＳ４で、顔領域候補が検出されたと判定される。この場合には、ステップＳ５に進み、顔抽出部１５は次フレーム（この例では第２フレーム）の撮像画像データをＡＦＥプロセッサ１３から取り込むと共に、１番目の顔領域候補３０ａのデータ（座標データ）をメモリ３０から取り込む（ステップＳ６）。

そして、ステップＳ７では、図３に示す様に、次フレームの撮像画像３２から、顔領域候補３０ａの存在範囲より少し広い部分領域３３を切り出し、この部分領域３３の画像データを画像データ格納メモリ１９に格納できる縮小率で間引き処理し、これをパターンマッチング用画像とする。縮小しなくてもメモリ１９に格納できるのであれば、そのまま部分領域３３の画像をメモリ１９に格納する。

次のステップＳ８では、ステップＳ７で生成した画像データと顔パターン２５，２６等とのパターンマッチング処理を行う。このステップＳ８におけるパターンマッチング処理は、顔領域候補３０ａを抽出したステップＳ３におけるパターンマッチング処理における顔情報（顔の大きさ，正面顔か横顔か，顔が斜めになっているか等）を利用できるため、使用する顔パターンをこの顔情報に合わせて選択し、テンプレート参照量を削減する。これにより、高速にマッチング処理を行うことができる。

ステップＳ８でのマッチング処理では、ステップＳ２で生成したパターンマッチング用縮小画像より縮小率が小さいパターンマッチング用縮小画像を用いて顔領域を探すため、高精度に顔領域３４ａ（図３参照）の抽出が可能となる。抽出された顔領域の座標データはメモリ３４に格納される。

次のステップＳ９では、メモリ３０内に次の顔領域候補が残っているか否かを判定する。次の顔領域候補がない場合には、ステップＳ１０に進み、次の顔領域候補が残っている場合には、ステップＳ５に戻る。

図３に示す例では、顔領域候補３０ｂが残っているため、ステップＳ５において、次フレーム（この例では第３フレーム）の撮像画像を取り込み、ステップＳ６で顔領域候補３０ｂの座標データを取り込む。そして、ステップＳ７で、顔領域候補３０ｂより少し広めの部分領域の画像を第３フレーム撮像画像から切り出し、これを間引き処理して画像データ格納メモリ１９に格納する。

顔領域候補３０ｂは誤抽出された顔領域候補であるため、ステップＳ８でパターンマッチング処理を行っても、顔領域は抽出されないことになる。

以上のステップＳ５〜Ｓ９を繰り返し、得られた顔領域の座標データを顔情報として信号処理部１４に通知し（ステップＳ１０）、この顔抽出処理を終了する。

信号処理部１４は、顔抽出部１５から通知された顔情報に基づき、フォーカス処理，露光量調整，ホワイトバランス補正処理等を実行する。これにより、人物に焦点の合った画像を撮像でき、人の顔色が綺麗な肌色となるように撮像できる。

以上述べた様に、本実施形態によれば、フレーム間の同時性が失われるというデメリットを蒙るが、既存のハードウェアをそのまま利用し顔情報の検出精度を向上できるという効果が得られる。１秒間に３０フレームの撮像画像が固体撮像素子から出力されるため、フレーム間の同時性が失われるといってもその時間差は僅かであり、高速移動している人物を撮像するとき以外のデメリットは極めて小さい。

ステップＳ３で得られた顔領域候補の大きさが小さい場合には、ステップＳ２で得られたパターンマッチング用縮小画像より大きなパターンマッチング用縮小画像を用いて顔領域の抽出を行えば、顔の検出精度は向上する。

しかし、ステップＳ２で得られた縮小画像で得られた顔領域候補がある程度の大きさ以上であれば、より大きな縮小画像で顔領域を検出するメリット（検出率向上）は小さくなる。

このため、ステップＳ３で得られた顔領域候補の大きさが所定閾値より大きい場合にはステップＳ４〜Ｓ９は行わずにスキップし顔領域候補をそのまま顔領域として信号処理部１４に通知し、所定閾値より小さな顔領域候補に対してのみステップＳ４〜Ｓ９を実行する構成とすることでも良い。

本発明に係る顔領域抽出方法は、既存のハードウェアを用いて顔領域を高精度に抽出することができるため、デジタルカメラ等に搭載すると有用である。

本発明の一実施形態に係る撮像装置の機能ブロック図である。 図１に示す顔抽出部が行う顔領域抽出処理の処理手順を示すフローチャートである。 図２で説明する顔領域抽出処理の補足説明図である。

符号の説明

１４ 信号処理部
１５ 顔抽出部
１６ 画像データ格納メモリ
１７ 測光データ格納メモリ
１８ 前処理部
１９ 縮小画像データ格納メモリ
２０ 顔パターンデータ格納メモリ
２５，２６ 顔パターン
３０ 顔領域候補の座標データ格納メモリ
３０ａ 正しい顔領域候補
３０ｂ 間違った顔領域候補
３１ 第１フレーム画像
３２ 第２フレーム画像
３３ 顔領域候補の存在範囲より少し広い部分画像領域
３４ 顔領域の座標データ格納領域

Claims (8)

1. 固体撮像素子から次々と連続して出力される撮像画像の中に存在する人物顔画像の領域を顔パターンとのパターンマッチング処理により抽出する撮像装置において、前記撮像画像を縮小したマッチング用縮小画像と前記顔パターンとのパターンマッチング処理によって顔領域候補を抽出すると共に該撮像画像に後続する前記撮像画像から前記顔領域候補の存在範囲を含む部分領域を切り出し該部分領域の画像を用いてパターンマッチング処理を行い顔領域を抽出する顔抽出手段を備えることを特徴とする撮像装置。
2. 前記パターンマッチング処理する前記部分領域の画像が前記パターンマッチング用縮小画像の縮小率より小さな縮小率で縮小されていることを特徴とする請求項１に記載の撮像装置。
3. 前記顔領域候補を抽出するパターンマッチング処理で得られた顔情報を利用して前記顔領域を抽出するパターンマッチング処理で用いる顔パターンを選択することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記顔領域候補の大きさが所定閾値以上の場合には該顔領域候補を前記顔領域として前記部分領域の画像を用いたパターンマッチング処理をスキップすることを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
5. 固体撮像素子から次々と連続して出力される撮像画像の中に存在する人物顔画像の領域を顔パターンとのパターンマッチング処理により抽出する撮像装置の顔領域抽出方法において、前記撮像画像を縮小したマッチング用縮小画像と前記顔パターンとのパターンマッチング処理によって顔領域候補を抽出し、該撮像画像に後続する前記撮像画像から前記顔領域候補の存在範囲を含む部分領域を切り出し、該部分領域の画像を用いてパターンマッチング処理を行い顔領域を抽出することを特徴とする撮像装置の顔領域抽出方法。
6. 前記パターンマッチング処理する前記部分領域の画像が前記パターンマッチング用縮小画像の縮小率より小さな縮小率で縮小されていることを特徴とする請求項５に記載の撮像装置の顔領域抽出方法。
7. 前記顔領域候補を抽出するパターンマッチング処理で得られた顔情報を利用して前記顔領域を抽出するパターンマッチング処理で用いる顔パターンを選択することを特徴とする請求項５または請求項６に記載の撮像装置の顔領域抽出方法。
8. 前記顔領域候補の大きさが所定閾値以上の場合には該顔領域候補を前記顔領域として前記部分領域の画像を用いたパターンマッチング処理をスキップすることを特徴とする請求項５乃至請求項７のいずれかに記載の撮像装置の顔領域抽出方法。

Images