JP2010021916A

JP2010021916A - 画像処理装置

Info

Publication number: JP2010021916A
Application number: JP2008182400A
Authority: JP
Inventors: Takashi Matsuoka; 孝松岡
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2008-07-14
Filing date: 2008-07-14
Publication date: 2010-01-28
Anticipated expiration: 2028-07-14
Also published as: JP5189913B2; US20100008548A1; US8325997B2

Abstract

【課題】被写体画像からサイズの大きい顔を迅速に検出する。
【解決手段】撮像装置の画像処理回路１８は被写体画像から人の顔を検出してＡＷＢやＡＥ、ＡＦを実行する。顔を検出する際に、相対的に大サイズの顔を検出する処理と相対的に中サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を複数回繰り返し、その後に相対的に中サイズの顔を検出する処理を実行してその検出結果を出力し、その後に相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を複数回繰り返し、その後に相対的に小サイズの顔を検出する処理を実行してその検出結果を出力する。
【選択図】図１

Description

本発明は画像処理装置、特に、撮影して得られた被写体画像から人の顔を検出する技術に関する。

デジタルカメラ等で撮影して得られた被写体画像から人の顔を検出する技術が知られている。例えば、下記の特許文献１には、被写体画像から顔画像を検出し、顔画像に対応させて、円形、四角形、または楕円形のアイコンを画像に重畳して表示することが開示されている。顔を検出する際には、画像の中から人の目を検出するとともに目以外の顔の器官（主要パーツ）である特徴点を抽出することが記載されている。

特開２００８−９８７５５号公報

一般に、被写体画像から人の顔を検出する場合、検出すべき顔のサイズと検出に要する処理時間との間には負の相関がある。すなわち、検出すべき顔のサイズが小さいほど検出に要する処理時間は増大し、検出すべき顔のサイズが大きいほど検出に要する処理時間は短くなる。

一方、人物までの距離が近いほどその人物の被写体画像中の顔のサイズは増大し、距離が遠く顔のサイズが小さい場合よりも検出の優先度は高くなる。

そこで、人の顔を検出する場合には、処理時間を要するものの検出の必要性が相対的に高いサイズの大きな顔をまず検出し、次に、サイズが中程度の顔を検出し、最後にサイズが小さい顔を検出するように処理し、その結果を検出結果として出力することが考えられる。

しかしながら、まずサイズの大きな顔を検出しようとして検出できず、次にサイズが中程度の顔を検出する処理に移行した後に被写体画像にサイズの大きな顔が出現したような場合を想定すると（デジタルカメラをパンした場合やズームインした場合等）、サイズが中程度の顔を検出する処理ではこの顔を検出できず、次にサイズが小さい顔を検出する処理に移行しても未だに顔を検出できず、次の検出周期に移行して再びサイズの大きな顔を検出する処理において初めて検出に成功し、その後のサイズの中程度の顔を検出する処理及びサイズの小さい顔を検出する処理を経た後に始めて検出結果として出力されることになるので、結果としてサイズの大きな顔を検出して出力するタイミングが遅れることになる。

顔検出の結果は、従来技術のようにアイコンを被写体画像に重畳表示する他に、ＡＥ（自動露出制御）やＡＦ（自動焦点制御）、ＡＷＢ（自動ホワイトバランス）等の制御にも用いることができるから、顔検出タイミングの遅れは、これらＡＥやＡＦ、ＡＷＢの制御の遅れを生じる原因になる。顔検出回路あるいは顔検出エンジンのＣＰＵの処理速度を高速化して、検出周期を短くすることも効果的であるが、ＣＰＵの処理負荷が増大し、あるいはコストが増大する。

本発明の目的は、サイズの大きな顔を迅速に検出することができる撮像装置を提供することにある。

本発明は、被写体画像から人の顔を検出する画像処理装置であって、被写体画像を撮像する撮像手段と、前記被写体画像から前記顔を検出する検出手段であって、少なくとも前記顔として相対的に大サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を複数回繰り返し、その後に相対的に小サイズの顔を検出する処理を実行してその検出結果を出力する検出手段とを有する。

本発明の１つの実施形態では、前記検出手段は、前記顔として相対的に大サイズの顔を検出する処理と相対的に中サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を複数回繰り返し、その後に相対的に中サイズの顔を検出する処理を実行してその検出結果を出力し、その後に相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を複数回繰り返し、その後に相対的に小サイズの顔を検出する処理を実行してその検出結果を出力する。また、前記検出手段は、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を３回繰り返し、その後に相対的に中サイズの顔を検出する処理を実行してその検出結果を出力し、その後に相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を３回繰り返し、その後に相対的に小サイズの顔を検出する処理を実行してその検出結果を出力する。

また、本発明は、被写体画像から人の顔を検出する画像処理装置であって、被写体画像を撮像する撮像手段と、前記被写体画像から前記顔を検出する検出手段であって、少なくとも前記顔として相対的に大サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力し、その後に相対的に小サイズの顔を検出する処理を実行してその検出結果を出力し、その後に再び相対的に大サイズの顔を検出する処理を実行してその結果を出力し、その後に再び相対的に小サイズの顔を検出する処理を実行してその結果を出力する検出手段とを有する。

本発明の１つの実施形態において、前記検出手段は、前記顔として相対的に大サイズの顔を検出する処理と相対的に中サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力し、その後に相対的に中サイズの顔を検出する処理を実行してその検出結果を出力する処理を２回繰り返し、その後に相対的に大サイズの顔を検出する処理を実行してその結果を出力し、その後に相対的に小サイズの顔を検出する処理を実行してその結果を出力する処理を２回繰り返す。

また、本発明の他の実施形態において、前記検出手段は、被写体画像の左右両端の所定領域をマスキングして処理対象から除外しつつ顔を検出するものであり、複数の前記大サイズの顔を検出する処理のいずれかにおいてマスキングを実行せずに顔を検出する。

また、本発明は、被写体画像から人の顔を検出する画像処理装置であって、被写体画像を撮像する撮像手段と、前記被写体画像から前記顔を検出する検出手段であって、少なくとも前記顔として相対的に大サイズの顔を検出する処理と相対的に中サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、被写体画像の左右両端の所定領域をマスキングして相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を３回繰り返し、その後に被写体画像の左右両端の所定領域をマスキングして相対的に中サイズの顔を検出する処理を実行してその検出結果を出力し、その後に被写体画像の左右両端の所定領域をマスキングして相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を２回繰り返し、その後にマスキングすることなく相対的に大サイズの顔を検出する処理を実行してその検出結果を出力し、その後に被写体画像の左右両端の所定領域をマスキングして相対的に小サイズの顔を検出する処理を実行してその検出結果を出力する検出手段とを有する。

本発明によれば、被写体画像からサイズの大きな顔を迅速に検出することができる。

以下、図面に基づき本発明の実施形態について、撮像装置としてデジタルカメラを例にとり説明する。但し、本発明はデジタルカメラに限定されるものではなく、他の撮像装置、例えばビデオカメラにも適用可能である。

図１に、本実施形態におけるデジタルカメラの構成を示す。レンズとして総括的に示す撮影光学系１０は、詳細には撮影レンズ、絞り及びメカシャッタを含む。撮影レンズは、さらにフォーカスレンズ、ズームレンズ及びアイリスを含む。撮影光学系１０の各レンズやシャッタは、ＡＥ／ＡＦ制御部２２からの指令に従ってモータやドライバにより駆動される。

撮像素子１２は、撮影光学系１０により結像された被写体画像を電気信号に変換し、Ｒ、Ｇ、Ｂの各画像信号として出力する。撮像素子１２は、ＣＣＤセンサやＣＭＯＳセンサから構成され、蓄積電荷がタイミングジェネレータ（ＴＧ）からのタイミング信号に応じて順次読み出される。

アナログフロントエンド（ＡＦＥ）１４は、アナログ信号処理部であり、アナログ画像信号に対して増幅、ゲイン調整、リセット時の電圧値と信号出力時の電圧値の差分をとることで固定パターン雑音を除去する相関２重サンプリング（ＣＤＳ）処理を行う。

ＡＤ変換器１６は、アナログフロントエンド（ＡＦＥ）１６から供給された画像信号をデジタル信号に変換する。

画像処理回路１８は、ＣＰＵを含み、機能ブロックとして公知のゲイン補正、ガンマ補正、同時化処理、ＲＧＢ−ＹＣ分離、ノイズ低減処理、エッジ強調処理、ＪＰＥＧ圧縮処理の各ブロックを含み、入力信号に対してゲイン補正やガンマ補正、同時化処理等を実行してＹ信号とＣ信号の画像データを生成する。ゲイン補正は、入力されたＲＡＷデータ（ＲＧＢ画像化前の空間的に不完全なサンプリングデータ）の各チャンネル毎に異なるゲインを補正してグレーバランスを合わせるものである。ガンマ補正は、ＣＣＤ等の撮像素子の特性をＬＣＤの入出力特性に合わせるものである。同時化処理は、Ｂａｙｅｒ配列の単板ＣＣＤからＲＧＢ３画像を生成するものである。生成された画像データはメモリカード２０に格納される。また、圧縮画像データに所定の伸長処理を実行して非圧縮の画像データを生成する。非圧縮の画像データは、撮影済みの画像としてＬＣＤ２４に表示される。さらに、画像処理回路１８は、ＬＣＤ２４に表示するプレビュー画像を生成するための回路や被写体画像から顔画像を検出する回路、及びＡＷＢ（オートホワイトバランス）回路を有する。ＬＣＤ２４の代わりに有機ＥＬを用いてもよい。

ＡＥ／ＡＦ制御部２２は、ＣＰＵを含み、ＡＥ（自動露出制御）及びＡＦ（自動焦点制御）に必要な物理量を算出する。具体的には、画像信号から被写体の輝度を検出し、また、被写体までの距離を検出する。被写体の輝度から適正露出が決定され、絞り値、シャッタ速度、ＩＳＯ感度が決定される。

画像処理回路１８は、単一のプロセッサで構成される他、システム全体を制御するＭＰＵと、そのサブプロセッサとして画像データを高速で処理するＤＩＰ（デジタルイメージプロセッサ）とから構成されていてもよい。

図２に、画像処理回路１８の機能ブロックの一部を示す。画像処理回路１８は、プレビュー画像生成部１８ａ、顔検出部１８ｂ、ＡＷＢ部１８ｃを有する。プレビュー画像生成部１８ａは、既述した各処理によりプレビュー画像を作成してＬＣＤ２４に出力する。プレビュー画像は、画像データを間引きして得られる画像である。顔検出部１８ｂは、被写体画像としてのプレビュー画像から人の顔を検出する。顔を検出する方法は任意であり、被写体画像から人の目を検出する、あるいは目以外の顔の特徴部分（鼻や口や髪の毛、顔の輪郭形状）を検出する、頭部の楕円形状を検出する等である。これらを互いに組み合わせて検出してもよい。また、プレビュー画像から肌色部分を抽出し、顔のテンプレートと肌色部分の画像とのマッチング度を求め、マッチングの高い部分を顔として検出してもよい。このように、顔検出方法自体は任意であるが、本実施形態における顔検出部１８ｂは、従来のようにサイズが大きな顔からサイズが中程度の顔、さらにはサイズが小さな顔の順に検出してその結果を出力するのではなく、特定の順序にしたがって顔を検出する。顔の検出順序についてはさらに後述する。顔検出部１８ｂは、顔の検出結果をＡＷＢ部１８ｃおよびＡＥ／ＡＦ制御部２２に出力する。ＡＷＢ部１８ｃは、顔検出部１８ｂで検出された顔の部位における画像信号のＲ／Ｇ及びＢ／Ｇの分布に基づいて光源を判定する。判定された光源からＲ，Ｇ，Ｂ各信号に対するゲイン値が決定される。ＡＥ／ＡＦ制御部２２は、顔検出部１８ｂで検出された顔の部位における輝度及び顔までの距離を検出して適正露出や適正フォーカス値を決定する。

ＡＥ／ＡＦ制御部２２のＡＦ制御としては、検出された顔にフォーカスを合わせながら追従（トラッキング）する顔ＡＦ、マルチＡＦ、画面中央部の被写体にフォーカスを合わせて追従するエリアトラッキングＡＦのいずれかを選択的に切り替えてフォーカス制御を行ってもよい。測距方法はコントラスト検出法あるいは位相検出法等のいずれでもよい。マルチＡＦの測距点数も任意であり、３点、５点、７点のいずれでも、あるいはそれ以上の測距点数でもよい。

なお、画像処理回路１８は、この他にもＲＯＭやＥＥＰＲＯＭ、ＲＡＭ等の各種メモリを有する。ＲＯＭは画像処理回路１８のＣＰＵが実行するＯＳを含む制御プログラムや各種データを格納する。顔検出部１８ｂで実行される顔検出処理もこの制御プログラムにより実行される。ＥＥＰＲＯＭにはユーザ設定データが格納される。ＲＡＭはＣＰＵのワーキングメモリとして動作する。

図３に、顔検出部１８ｂでの顔検出処理を模式的に示す。顔検出部１８ｂは、プレビュー画像から顔を検出する際に、検出すべき顔のサイズを大、中、小と３階層に分け、これらを所定の順序で検出する。大、中、小はもちろん相対的なものであり、例えば画素数で６０〜２４０を大、４０〜６０を中、３０〜４０を小と設定する。また、プレビュー画像が例えば横３２０画素×縦２４０画素である場合、左右の両端の所定エリアにマスクをかけて（マスキング）、プレビュー画像の略中央のエリアである横２４０画素×縦２４０画素の領域を顔検出の探索対象領域とする。但し、全ての顔検出処理をマスキングされた領域のみに限定するのは望ましくない。被写体画像の端部に人の顔が存在する場合もあり得るからである。もちろん、全てマスキングを行わず、プレビュー画像の全てのエリアを顔検出の探索対象領域としてもよい。マスキングは、単に左右両端の所定エリアを探索対象から除外するだけでよい。

図３において、まず、顔検出部１８ｂは、プレビュー画像の左右両端にマスキングを施した上で大サイズの顔を検出する。検出方法は上述したとおりであり、例えば被写体画像から肌色部分を抽出し、顔のテンプレートと肌色部分の画像とのマッチング度を求め、マッチングの高い部分を顔として検出する。大サイズの顔を検出する際には、大サイズのテンプレートを用意する。そして、顔検出結果を出力する（第１検出ステップ）。検出結果は、例えば検出した顔のサイズと検出位置である。顔検出結果を出力した後、再び、プレビュー画像にマスキングを施した上で大サイズの顔を検出し、顔検出結果を出力する（第２検出ステップ）。仮に、この検出ステップで大サイズの顔が検出された場合、さらに検出された顔に追従するようにトラッキング制御を行う。すなわち、検出した顔部分が移動した場合にも、この移動した顔を引き続き検出する。トラッキング制御は、例えば検出した顔位置の周辺をパターンマッチングで探索する、あるいは動きベクトルを算出してこの動きベクトルに基づいて顔を追従する等である。検出した顔に追従してＡＥ、ＡＦを行う技術は公知である。追従できない場合には所定回数（例えば５回）だけリトライを行い、リトライに失敗した場合にはトラッキング制御を中止し、再び顔検出のアルゴリズムに復帰する。次に、再度、プレビュー画像にマスキングを施した上で大サイズの顔を検出し、顔検出結果を出力する（第３検出ステップ）。

大サイズの顔の検出処理を合計３回繰り返した後、プレビュー画像にマスキングを施した上で中サイズの顔を検出する。中サイズの顔を検出する際には、中サイズのテンプレートを用意する。そして、顔検出結果を出力する（第４検出ステップ）。仮に、この検出ステップで中サイズの顔が検出された場合、検出された顔に追従するようにトラッキング制御を行う。追従できない場合には所定回数だけリトライを行う、リトライに失敗した場合には再び顔検出のアルゴリズムに復帰する。次に、プレビュー画像にマスキングを施した上で再び大サイズの顔を検出する。そして、顔検出結果を出力する（第５検出ステップ）。次に、プレビュー画像にマスキングを施した上で再び大サイズの顔を検出する。そして、顔検出結果を出力する（第６検出ステップ）。次に、プレビュー画像にマスキングを施すことなく、つまり３２０画素×２４０画素の全てを探索の対象として大サイズの顔を検出する。そして、顔検出結果を出力する（第７検出ステップ）。この第７検出ステップでマスキングを施さないのは、それ以前の各検出ステップでマスキングを施した領域、つまり左右の端部に顔画像が存在する場合もあるからである。仮に、この検出ステップで大サイズの顔が検出された場合、検出された顔に追従するようにトラッキング制御を行う。追従できない場合には所定回数だけリトライを行い、リトライに失敗した場合にはトラッキング制御を中止して再び顔検出のアルゴリズムに復帰する。なお、検出した顔に追従する場合には、マスキングを施さずに実行することは言うまでもない。すなわち、追従の範囲はプレビュー画像全体である。最後に、プレビュー画像にマスキングを施した上で小サイズの顔を検出する。そして、顔検出結果を出力する（第８検出ステップ）。この検出ステップで小サイズの顔が検出された場合、検出された顔に追従するようにトラッキング制御を行う。追従できない場合には所定回数だけリトライを行い、リトライに失敗した場合には再び顔検出のアルゴリズムに復帰する。第８検出ステップを実行した後は、再び第１検出ステップに戻り、同様の検出処理を繰り返す。

このように、顔検出部１８ｂは、第１検出ステップから第８検出ステップの順に顔検出処理を行う。第１、第２、第３検出ステップでは大サイズの顔を検出し、第４検出ステップでは中サイズの顔を検出する。第５、第６、第７検出ステップでは再び大サイズの顔を検出し、第８ステップでは小サイズの顔を検出する。また、第１〜第６、第８検出ステップのいずれもプレビュー画像の左右両端にマスキングをかけて顔検出し、第７検出ステップではプレビュー画像の左右両端にマスキングをかけずに顔検出する。

図４に、本実施形態における顔検出処理を示す。また、図５に、比較のため従来の顔検出処理を示す。従来においては、ある検出周期Ｔにおいて大サイズの顔から小サイズの顔まで検出し、その検出結果を出力している。そして、次の検出周期Ｔにおいて再び大サイズの顔から小サイズの顔まで検出し、その検出結果を出力する。したがって、仮に検出周期Ｔの中で、大サイズの顔を検出できずに中サイズの顔の検出に移行した後に被写体画像に大サイズの顔が出現したような場合には、この検出周期Ｔでは大サイズの顔の検出結果を出力することができず、次の検出周期Ｔが完了した時点でのみ当該大サイズの顔の検出結果が得られることになる。

一方、本実施形態では図４に示すように、検出周期Ｔにおいて第１検出ステップ、第２検出ステップを実行し、次の検出周期Ｔにおいて第３検出ステップ、第４検出ステップを実行し、次の検出周期Ｔで第５検出ステップ、第６検出ステップを実行し、次の検出周期Ｔで第７検出ステップ、第８検出ステップを実行する。第１検出ステップ〜第３検出ステップではいずれも大サイズの顔を検出するとともに、各検出ステップが完了した時点でその検出結果を出力するため、たとえ第１検出ステップの後に被写体画像に大サイズの顔が出現したような場合でも、第２検出ステップあるいは第３検出ステップで当該大サイズの顔を検出してその結果を迅速に出力することが可能である。

図６に、本実施形態と従来技術における顔検出の出力タイミングを示す。時間ｔ１で大サイズの顔が被写体画像に出現したものとする。従来技術では２Ｔ後に顔検出が出力される。一方、本実施形態では３／４Ｔ後に顔検出が出力される。

また、本実施形態では、第１検出ステップ〜第６検出ステップ及び第８検出ステップではプレビュー画像にマスキングを施し、顔検出の探索範囲をプレビュー画像の中央エリアに限定しているため、中央エリアに存在する顔を効率的かつ迅速に検出することが可能であるとともに、第７検出ステップではマスキングをかけずにプレビュー画像全体を探索範囲としているため、端部に位置する顔も確実に検出することができる。既述したように、大サイズの顔を検出する場合には中サイズあるいは小サイズの顔を検出する場合に比べて処理時間は短くて済む。したがって、第７検出ステップで大サイズの顔を検出する際にマスキングをかけなくても処理時間が大きく増大することはない。すなわち、マスキングをかけないで処理するタイミングは、大サイズの顔を検出する場合に限定するのが望ましい。また、マスキングをかけないで処理するタイミングは、第１〜第８検出ステップを１つの処理サイクルとした場合に、大サイズの顔を検出する複数のステップのいずれかで実行すればよいが、できるだけ終わりに近いステップで行うのが望ましい。具体的には、第１〜第３検出ステップではなく、第５〜第７検出ステップで行うのが望ましく、第６あるいは第７検出ステップで行うのがより望ましく、第７検出ステップで行うのが最も望ましい。

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく種々の変形が可能である。

例えば、本実施形態では、図４に示すように、
第１検出ステップ：大サイズ検出
第２検出ステップ：大サイズ検出
第３検出ステップ：大サイズ検出
第４検出ステップ：中サイズ検出
第５検出ステップ：大サイズ検出
第６検出ステップ：大サイズ検出
第７検出ステップ：大サイズ検出
第８検出ステップ：小サイズ検出
としたが、図７に示すように、
第１検出ステップ：大サイズ検出
第２検出ステップ：中サイズ検出
第３検出ステップ：大サイズ検出
第４検出ステップ：中サイズ検出
第５検出ステップ：大サイズ検出
第６検出ステップ：小サイズ検出
第７検出ステップ：大サイズ検出
第８検出ステップ：小サイズ検出
としてもよい。この場合においても、各検出ステップ毎に検出結果を出力することは言うまでもない。また、第７検出ステップにおいてマスキングをかけず、それ以外の検出ステップではマスキングをかけることが望ましい。

また、これ以外にも、中サイズの顔検出は行わず、
第１検出ステップ：大サイズ検出
第２検出ステップ：大サイズ検出
第３検出ステップ：大サイズ検出
第４検出ステップ：小サイズ検出
第５検出ステップ：大サイズ検出
第６検出ステップ：大サイズ検出
第７検出ステップ：大サイズ検出
第８検出ステップ：小サイズ検出
とすることも可能であり、あるいは小サイズの顔検出は行わず、
第１検出ステップ：大サイズ検出
第２検出ステップ：大サイズ検出
第３検出ステップ：大サイズ検出
第４検出ステップ：中サイズ検出
第５検出ステップ：大サイズ検出
第６検出ステップ：大サイズ検出
第７検出ステップ：大サイズ検出
第８検出ステップ：中サイズ検出
とすることも可能である。いずれの場合においても、第７検出ステップでマスキングをかけないのが望ましい。

さらに、第１〜第８検出ステップを１つの処理サイクルとするのではなく、より簡易的に第１〜第６検出ステップを１つの処理サイクルとして、
第１検出ステップ：大サイズ検出
第２検出ステップ：大サイズ検出
第３検出ステップ：中サイズ検出
第４検出ステップ：大サイズ検出
第５検出ステップ：大サイズ検出
第６検出ステップ：小サイズ検出
としてもよく、あるいは、
第１検出ステップ：大サイズ検出
第２検出ステップ：大サイズ検出
第３検出ステップ：小サイズ検出
第４検出ステップ：大サイズ検出
第５検出ステップ：大サイズ検出
第６検出ステップ：小サイズ検出
としてもよい。これらの場合においては、第５検出ステップでマスキングをかけないのが望ましい。

本実施形態において、各検出ステップは、プレビュー画像のうちの探索対象範囲を全て処理するステップである。本実施形態では、ある特定のサイズの顔（大サイズの顔）を検出する処理を探索対象範囲の全てについて行い、その結果をその都度出力するとともに、顔が検出できなかった場合にも、引き続き同じサイズの顔を検出する処理を実行する、あるいは１検出ステップをおいて再び同じサイズの顔を検出する処理を実行するものといえる。本実施形態では、大サイズの顔を優先度が高いとみなして大サイズの顔を迅速に検出しているが、ユーザの設定により、中程度のサイズ、あるいは小サイズの顔を優先的に検出することも可能であろう。中程度のサイズの顔を優先的に検出する場合、例えば以下のような処理になる。

第１検出ステップ：中サイズ検出
第２検出ステップ：中サイズ検出
第３検出ステップ：中サイズ検出
第４検出ステップ：大サイズ検出
第５検出ステップ：中サイズ検出
第６検出ステップ：中サイズ検出
第７検出ステップ：中サイズ検出
第８検出ステップ：小サイズ検出
但し、顔検出の結果をＡＥ，ＡＦ，ＡＷＢに用いる場合には、一般に大サイズの顔を優先的に検出するのが望ましい。

実施形態の全体構成図である。図１における画像処理回路の詳細ブロック図である。実施形態の顔検出処理を示す説明図である。実施形態の顔検出処理と結果出力タイミングの説明図である。従来技術の顔検出処理と結果出力タイミングの説明図である。実施形態の従来装置の結果出力タイミングの相違を示す説明図である。他の実施形態の顔検出処理と結果出力タイミングの説明図である。

符号の説明

１０撮影光学系、１２撮像素子、１４アナログフロントエンド（ＡＦＥ）、１６ＡＤ変換器、１８画像処理回路、２０メモリカード、２２ＡＥ／ＡＦ制御部、２４ＬＣＤ。

Claims

被写体画像から人の顔を検出する画像処理装置であって、
被写体画像を撮像する撮像手段と、
前記被写体画像から前記顔を検出する検出手段であって、少なくとも前記顔として相対的に大サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を複数回繰り返し、その後に相対的に小サイズの顔を検出する処理を実行してその検出結果を出力する検出手段と、
を有することを特徴とする画像処理装置。
請求項１記載の装置において、
前記検出手段は、前記顔として相対的に大サイズの顔を検出する処理と相対的に中サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を複数回繰り返し、その後に相対的に中サイズの顔を検出する処理を実行してその検出結果を出力し、その後に相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を複数回繰り返し、その後に相対的に小サイズの顔を検出する処理を実行してその検出結果を出力することを特徴とする画像処理装置。
請求項２記載の装置において、
前記検出手段は、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を３回繰り返し、その後に相対的に中サイズの顔を検出する処理を実行してその検出結果を出力し、その後に相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を３回繰り返し、その後に相対的に小サイズの顔を検出する処理を実行してその検出結果を出力することを特徴とする画像処理装置。
被写体画像から人の顔を検出する画像処理装置であって、
被写体画像を撮像する撮像手段と、
前記被写体画像から前記顔を検出する検出手段であって、少なくとも前記顔として相対的に大サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力し、その後に相対的に小サイズの顔を検出する処理を実行してその検出結果を出力し、その後に再び相対的に大サイズの顔を検出する処理を実行してその結果を出力し、その後に再び相対的に小サイズの顔を検出する処理を実行してその結果を出力する検出手段と、
を有することを特徴とする画像処理装置。
請求項４記載の装置において、
前記検出手段は、前記顔として相対的に大サイズの顔を検出する処理と相対的に中サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、相対的に大サイズの顔を検出する処理を実行してその検出結果を出力し、その後に相対的に中サイズの顔を検出する処理を実行してその検出結果を出力する処理を２回繰り返し、その後に相対的に大サイズの顔を検出する処理を実行してその結果を出力し、その後に相対的に小サイズの顔を検出する処理を実行してその結果を出力する処理を２回繰り返すことを特徴とする画像処理装置。
請求項１〜５のいずれかに記載の装置において、
前記検出手段は、被写体画像の左右両端の所定領域をマスキングして処理対象から除外しつつ顔を検出するものであり、複数の前記大サイズの顔を検出する処理のいずれかにおいてマスキングを実行せずに顔を検出することを特徴とする画像処理装置。
被写体画像から人の顔を検出する画像処理装置であって、
被写体画像を撮像する撮像手段と、
前記被写体画像から前記顔を検出する検出手段であって、少なくとも前記顔として相対的に大サイズの顔を検出する処理と相対的に中サイズの顔を検出する処理と相対的に小サイズの顔を検出する処理を有し、まず、被写体画像の左右両端の所定領域をマスキングして相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を３回繰り返し、その後に被写体画像の左右両端の所定領域をマスキングして相対的に中サイズの顔を検出する処理を実行してその検出結果を出力し、その後に被写体画像の左右両端の所定領域をマスキングして相対的に大サイズの顔を検出する処理を実行してその検出結果を出力する処理を２回繰り返し、その後にマスキングすることなく相対的に大サイズの顔を検出する処理を実行してその検出結果を出力し、その後に被写体画像の左右両端の所定領域をマスキングして相対的に小サイズの顔を検出する処理を実行してその検出結果を出力する検出手段と、
を有することを特徴とする画像処理装置。