JP2005215750A - 顔検知装置および顔検知方法 - Google Patents

Abstract

【課題】 顔検知の精度を保持しつつ、処理時間の短縮を図る。
【解決手段】 デジタルカメラ１０１等で撮影された画像から被写体の顔領域を抽出する顔検知手段１０６として、画像データと撮影条件等の画像データに関連する付属情報とから、画像領域内の合焦領域情報を取得する手段１０７と、前記合焦領域情報に基づいて該画像領域内で顔検知領域を決定する手段１１０と、画像領域全体ではなく、部分的に顔検知処理を実行する手段１１１とを備える。
【選択図】 図１

Description

本発明は、静止画像データから被写体を抽出する手段、特に人物画像の顔を検知する顔検知装置および方法に関する。

近年、デジタルスチルカメラやデジタルビデオカメラなどが急速に普及してきている。それに伴い、これら撮像機器により撮影した画像を高画質化処理するツールなどの需要も増加している。
高画質化処理においては、例えば画像に対して顔検知処理を実行し、人の顔がある場合にはその人の顔を基準として補正量を決定する方法が広く知られている。
しかしながら、高画質化処理に要する処理時間のうち顔検知処理の処理時間が大半を占めており、その処理時間の短縮が求められていた。

顔検知の効率を向上させる手段は既にいくつか提案されている。
例えば下記特許文献１では、撮影装置において、撮影モードや被写体倍率に基づいて画像全体に渡る画素間引き処理を行ったり、検知のためのブロック分割数を切り替える手法を提案している。これにより顔検知精度を撮影画像毎に変更し、処理効率を向上させている。
特開２００３−１６３８２７号公報

ところで、上記特許文献１に記載の発明では、画像全体に対して顔検知処理を行っているため、画像のデータ量の増加に伴って顔検知処理の領域も大幅に増加し、処理時間も長くなってしまうという問題がある。また、処理時間を短縮するために間引き数を多くすると検知精度を落とすという問題が生じる。
本発明は上記問題に鑑みてなされたものであり、より効率的に顔検知処理を行うことによって、検知精度を保持しつつ、処理時間の短縮を図ることを目的とするものである。

上記目的を達成するため、本発明の顔検知装置は、画像データおよび該画像データに関連する付属情報に基づいて該画像から被写体の顔領域を抽出する顔検知装置において、前記付属情報に基づいて前記画像の画像領域内での顔検知領域を決定する手段と、決定された顔検知領域内で顔検知処理を実行する手段とを備えることを特徴とする。顔検知領域を決定するための付属情報は、例えば、画像撮影時の合焦領域情報またはアシスト情報である。

本発明によれば、撮影条件等の付属情報を用いて顔検知のための領域を決定するようにしたため、顔を検知するまでの処理時間が短縮できる。加えて、顔検知結果に基づいて画像処理を行うようなシステムでは、顔検知処理の短縮により、システム全体の処理時間を短縮することができる。

以下、本発明の実施態様を列挙する。
［実施態様１］
画像から被写体の顔領域を抽出する顔検知手段において、
画像データおよび前記画像データに関連する付属情報とから、画像領域内の合焦領域情報を取得する手段と、
前記合焦領域情報に基づいて該画像領域内での顔検知領域を決定する手段と、
顔検知処理を実行する手段と、
を備えることを特徴とする顔検知装置。
［実施態様２］
前記合焦領域情報に対応する被写体距離情報を取得する手段と、
前記被写体距離情報に基づいて、前記合焦領域情報に優先度を決定する手段と、
前記優先度に基づいて顔検知領域を決定する手段と、
を備えることを特徴とする実施態様１記載の顔検知装置。
［実施態様３］
画像から被写体の顔領域を抽出する顔検知装置において、
画像データおよび前記画像データに関連する付属情報とから、撮影時のアシストモード情報を取得する手段と、
前記アシストモード情報に基づいて顔検知領域を決定し、顔検知処理を実行する手段と、
を備えることを特徴とする顔検知装置。

［実施態様４］
実施態様１〜３に記載の顔検知装置を含む画像処理装置と、デジタルスチルカメラと、表示部とからなる画像処理システム。
［実施態様５］
前記顔検知領域を決定する手段は、前記合焦領域情報である「測距枠数」および「使用した測距枠」に基づき、前記顔検知領域の座標値を算出する手段であることを特徴とする実施態様１〜２のいずれかに記載の顔検知装置。
［実施態様６］
前記顔検知領域を決定する手段は、前記合焦領域情報である「座標値」に基づき、前記顔検知領域の座標値を算出する手段であることを特徴とする実施態様１〜２のいずれかに記載の顔検知装置。

［実施態様７］
前記優先度を決定する手段は、前記被写体距離情報のうち被写体距離の近距離に位置するものほど優先度を高く決定することを特徴とする実施態様２に記載の顔検知装置。
［実施態様８］
前記アシストモード情報は、撮影条件を示す文字列情報であって、前記文字列情報に基づき前記顔検知領域を決定する手段を具備し、前記顔検知領域を決定する手段は、前記アシストモードで表示されたガイド表示中、人物撮影を指定する領域を前記顔検知領域とする手段であることを特徴とする実施態様３に記載の顔検知装置。
［実施態様９］
画像から被写体の顔領域を抽出する顔検知方法において、
画像データおよび前記画像データに関連する付属情報とから、画像領域内の合焦領域情報を取得するステップと、
前記合焦領域情報に基づいて該画像領域内での顔検知領域を決定するステップと、
該顔検知領域において顔検知処理を実行するステップと、
を有することを特徴とする顔検知方法。

以下、添付図面を参照しながら本発明の好適な実施例を詳細に説明する。
［実施例１］
本発明の顔検知手段は、例えば図１に示すような画像処理システムに適用される。
図１の画像処理システム１００は、デジタルスチルカメラ（以下、ＤＳＣと記す）１０１、画像処理装置１０４、表示部１１５を含む構成からなる。

ＤＳＣ１０１は、撮影時の条件を設定する撮影条件設定部１０２と撮影動作時に撮影画像データを記録する記録部１０３から構成される。
撮影条件設定部１０２は、撮影動作に必要な各種の撮影条件の設定を行う。ユーザーはＤＳＣ１０１に設けられたボタンを操作することにより撮影シーン、ホワイトバランスモード、フラッシュ発光／非発光などの各種条件を設定可能である。
記録部１０３は、撮影画像データに加えて撮影時の条件を付属情報として含む画像データを作成して記録保持する。
なお、記録媒体はＤＳＣ１０１に内蔵されているメモリでも良いし、着脱可能な外部メディアのようなものでも良い。

前記画像データを記録する際の画像ファイルフォーマットは、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）に準拠し、図２に示すような撮影条件データである付属情報を記録するタグ領域２０１と撮影画像データを記録する画像データ領域２０２から構成される。

タグ領域２０１において、撮影条件データは先頭から所定のオフセット位置から記録され、例えば図中のＴａｇＮｏ．＝０〜６の内容を含む。
ＴａｇＮｏ．＝０は、撮影シーンタイプに関する情報である。ＤＳＣにおいて「風景」モードで撮影した場合、ＴａｇＮｏ．＝０には「風景モード」であることを示す値が格納される。ここで、撮影シーンタイプは上記に限定されるものでなく、「標準」、「人物」、「夜景」といった別の指定も可能である。
ＴａｇＮｏ．＝１は、ホワイトバランスに関する情報である。ＤＳＣにおいて「ホワイトバランス自動」で撮影した場合、ＴａｇＮｏ．＝１にはホワイトバランスを自動設定したことを示す値が格納される。ホワイトバランスがマニュアル設定の場合には、マニュアル設定であることを示す値が格納される。
ＴａｇＮｏ．＝２は、露出モードに関する情報である。ＤＳＣにおいて「露出自動」で撮影した場合、ＴａｇＮｏ．＝２にはパラメータ露出を自動制御設定にしたことを示す値が格納される。「露出マニュアル」や「オートブラケット」といった設定の場合には、それらを示す値が格納される。
ＴａｇＮｏ．＝３は、フラッシュに関する情報である。ＤＳＣにおいて「フラッシュ発光」で撮影した場合、ＴａｇＮｏ．＝３にはフラッシュを発光したことを示す値が格納される。その他、フラッシュ発光の「自動発光モード」や「赤目軽減モード」等、詳細な情報を示す値が格納されることもある。

ＴａｇＮｏ．＝４は、合焦領域に関する情報である。ＤＳＣにおいて撮影時の合焦制御に使用した「測距枠数」、「使用した測距枠」、「測距枠毎の被写体距離」の情報を示す値が格納される。
撮影時の合焦制御については、本発明の主旨ではないため詳細な説明は省略するが、例えば予め設けられた合焦評価領域について撮影画像のぼけ量を算出し、該ぼけ量が最小となるようにレンズ位置を制御する。このような合焦制御については、例えば上記特許文献１に記載されている。
また、図３に示すようにユーザー操作により合焦評価位置３０１を自在に移動し、該合焦評価位置に基づいて合焦評価領域を決定し、合焦制御する方法も知られている。
前記合焦評価領域の決定には、人物またはそれに近いものを主要被写体とすることが多く、特にユーザー操作により合焦評価領域を決定する場合は、ユーザーは人物に合焦するように合焦評価領域を決定する傾向がある。
図４はＤＳＣの背面に配置された液晶モニタ４０１の表示画面例である。ＤＳＣが予め備える測距枠は、例えば図に示すような枠４０２により示され、実際の合焦制御に使用された測距枠は強調された枠４０３により示される。

ＴａｇＮｏ．＝５は、ＤＳＣのメーカ名を示す情報であり、メーカ名を示す文字列情報が格納される。
ＴａｇＮｏ．＝６は、ＤＳＣの型名を示す情報であり、型名を示す文字列情報が格納される。

図１に戻って、画像処理装置１０４は、例えばパーソナルコンピュータからなり所定のアプリケーションソフトウェアの起動により、ＤＳＣ１０１から画像データを取得し、補正処理を施して表示部１１５に出力処理する。このため、画像処理装置１０４は入力部１０５、データ解析部１０６、補正処理決定部１１２、補正処理実行部１１３、および出力部１１４を備えており、各部１０５〜１１４の機能は前記アプリケーションの起動により実現される。

入力部１０５は、ＤＳＣ１０１が画像処理装置１０４に接続されるとそれを自動的に認識し、画像データの読み込みを開始する。なお、ユーザー指示を受け付けた後に画像データを読み込むような構成でも構わない。
データ解析部１０６は、画像データに付加された付属情報を取得する付属情報取得部１０７と、画像データからヒストグラムを作成して画像の特徴を解析するヒストグラム解析部１０８と、本発明の特徴である顔検知処理部１０９とから構成される。

付属情報取得部１０７は、撮影時に取得した撮影条件データで、例えば撮影シーンタイプ、ホワイトバランス、露出モード、フラッシュ、合焦領域等に関する情報を取得する。
ヒストグラム解析部１０８は、画像データに対してヒストグラムを作成し、統計的手法を用いて画像の特徴量を算出する。特徴量とは、例えば、画像の平均輝度、輝度分散、および平均彩度を示す。
顔検知処理部１０９は、画像データに対して、顔検知処理を実行するための領域を決定する決定部１１０と、該決定部の結果に基づいて顔検知処理を実行する実行部１１１とから構成される。
決定部１１０は、前記付属情報に含まれる合焦領域情報に基づいて該画像領域内での顔検知領域を決定し、後述する実行部１１１で実行可能なように設定する。詳細な説明については後述する。
実行部１１１は前記設定された領域について顔検知処理を実行する。顔検知処理については様々な方法が提案されているが、例えば一方の眼を検出し、該一方の眼に基づいて両眼対候補を生成して顔パターンを認識する構成により顔検知する。

補正処理決定部１１２は、前記データ解析部１０６で得られた解析結果に基づいて画像補正アルゴリズムを決定する。例えば、付属情報取得部１０７と顔検知処理部１０９から補正処理内容と補正手順を決定し、ヒストグラム解析部１０８から画像の輝度分布の特徴を取得して前記補正処理内容それぞれに適した補正パラメータを算出する。補正処理内容としては、階調補正処理、コントラスト補正処理、カラーバランス処理、彩度補正処理、輪郭強調処理等が挙げられる。

補正処理実行部１１３は、前記補正処理決定部１１２で決定された画像補正アルゴリズムに従い画像データに対して画像補正処理を施す。
出力部１１４は、前記補正処理実行部１１３により補正処理された画像データを表示部に表示可能な形態へと変換し、表示部１１５へと出力する。
表示部１１５は、前記出力部１１４より入力された画像を所望の形態で出力表示する。

次に、本実施例における画像処理装置１０４の動作について、図５のフローチャートを参照しながら説明する。
ステップ５０１では、ＤＳＣ１０１が接続されると画像処理装置１０４は画像データの読み込みを開始する。
ステップ５０２では、ステップ５０１で読み込んだ画像データに対してヒストグラムを作成し、特徴量を算出する。特徴量とは、前述の通り平均輝度や輝度分散等を示す。
ステップ５０３では、ステップ５０１で読み込んだ画像データから撮影時の条件を示す付属情報を取得する。
前記付属情報は撮影後にアプリケーション等を用いて書き込むことも可能である。

ステップ５０４では、ステップ５０３で取得した付属情報のうち、合焦領域情報に基づいて顔検知領域を設定する。後述のステップ５０５〜５０６で顔検知できずに再度該ステップに戻った場合は、既に設定した顔検知領域以外の領域を顔検知領域として再設定する。例えば、１度目の顔検知領域は合焦領域の範囲内とし、２度目は前記合焦領域を除く領域を顔検知領域として画像の左上から顔検知処理を開始する。

ステップ５０５では、ステップ５０４で設定された顔検知領域に基づいて顔検知処理を実行する。但し、人物「あり」と判定した場合、すなわち顔が検知された場合は、その時点で該ステップを終了し、ステップ５０６へ進む。
ステップ５０６では、ステップ５０５で人物「あり」と判定されたか、もしくは画像全体の顔検知処理が終了した場合にステップ５０７へ進む。それに対して、人物「なし」で、画像全体に対して顔検知処理を実行していない場合は、ステップ５０４へ進み、再度顔検知領域を設定する。

ステップ５０７では、ステップ５０３〜５０６で取得した撮影時の付属情報と顔検知の結果に基づいて補正処理内容を選択し、ステップ５０２で取得した画像特徴量に基づいて補正処理量を決定する。
補正処理内容選択では、付属情報に含まれる撮影シーンタイプ、ホワイトバランス、露出モード、フラッシュ等の組み合わせに基づいて、階調補正処理、コントラスト補正処理、カラーバランス処理、彩度補正処理、輪郭強調処理等のどの処理を行うかを選択する。

本実施例の画像処理装置１０４は、ステップ５０５の結果で人物「あり」と判定され、かつ、撮影シーンタイプが「標準」の場合には画像データを撮影シーンタイプ「人物」と認識して補正処理内容を決定する。これは、できるだけ被写体にあった補正処理を適用するためである。
また、撮影シーンタイプの内容に関わらず、顔検知の結果、人物「あり」と判定された場合には常に人物用の補正処理を適用するような構成にしても構わない。

補正処理内容が決定すると、次に付属情報、および画像特徴量から補正目標値を決定し、補正実行時のパラメータを算出する。
前記補正目標値は、付属情報の組み合わせによって決まるそれぞれの処理内容毎に予め定めておくもので、好ましくは、画像処理装置内にテーブルとして保持しておく。もしくは、特徴量から数式で算出するようにしても良い。
前記補正実行時のパラメータは、補正目標値から算出するもので、例えば階調補正におけるガンマ値の算出は以下の数式から算出可能である。該数式は図６から導くことができる。

上記式において、Ｘ_ｍａｘは入力信号の最大値、Ｙ_ｍａｘは出力信号の最大値、Ｘは適当な中間レベルの入力信号、Ｙは適当な中間レベルの出力信号である。
ステップ５０８では、ステップ５０７により決定した補正処理内容とパラメータに従って、画像補正処理を実行する。

次に、ステップ５０４の顔検知領域設定処理の一例として、合焦領域情報に基づく顔検知領域の設定方法について図７のフローチャートを用いて説明する。
ステップ７０１では、ステップ５０３（図５参照）で取得した付属情報のうち合焦領域情報を取得する。本実施例において、合焦領域情報とは、「測距枠数」および「使用した測距枠」である。
ステップ７０２では、取得した合焦領域情報の「測距枠数」から測距枠位置を求め、「使用した測距枠」により実際に合焦制御に使用した領域を顔検知領域と定め、各座標値を算出する。
例えば「測距枠数＝３」から図８に示すような３つの測距枠位置を求め、「使用した測距枠＝中央」により図８に示す強調された枠８０１の領域を顔検知領域とする。

ここで、前記３つの測距枠位置は前述したタグ領域２０１に含まれるメーカ名、型名から求めることが可能で、好ましくは、各ＤＳＣのメーカ名、型名ごとに測距枠位置情報を補正処理装置内に保持しておく。
もしくは「測距枠数」から画像データを分割して測距枠位置を概算し、「使用した測距枠」から顔検知領域を決定する。例えば、図９に示すように「測距枠数＝９」、「使用した測距枠＝中央」では、測距枠数に基づいて画像データの領域を分割し（破線９０１）、「使用した測距枠」から顔検知領域（斜線部）９０２を決定することが可能である。
また、図１０に示すように、顔検知領域が予め表示装置内１０４で定めているサイズとなるように測距枠サイズ１００１の上下左右方向にオフセット値１００２をプラス、もしくはマイナスしてサイズ変更することも可能である。
なお、前記顔検知領域は撮影画像データの解像度に対する比率を用いて決定することで、撮影時の画像サイズに対して柔軟に対応することが可能である。
以上の処理により顔検知領域と定められた位置に対して、顔検知の開始位置８０２、横幅８０３、高さ８０４のそれぞれを算出する。
ステップ７０３では、ステップ７０２で算出した顔検知領域を顔検知処理で実行可能なように設定する。

本実施例によれば、ＤＳＣで撮影する際、人物である可能性が高いものに対して合焦制御していることを利用し、合焦領域情報に基づいて顔検知領域を決定することにより顔検知を効率良く実行することができる。
さらに、顔検知の効率化により画像補正処理全体の処理時間短縮が可能となる。
すなわち、本実施例によれば、画像データおよび前記画像データに関連する付属情報とから、画像領域内の合焦領域情報を取得する手段と、前記合焦領域情報に基づいて該画像領域内での顔検知領域を決定する手段と、顔検知処理を実行する手段により顔検知を行う。

［実施例２］
実施例２は、実施例１で説明した顔検知領域の設定に際して、合焦領域情報のうち「使用した測距枠」が複数ある場合の顔検知領域の設定方法に係るものである。
実施例２のシステム構成を図１１に示す。図１１において、実施例１で説明したものと共通のものについては同じ付番で示し、異なるものについてのみ説明する。
実施例２の画像処理システム１１００は、ＤＳＣ１０１、画像処理装置１１０１、表示部１１５を含む構成からなる。

実施例２におけるデータ解析部１１０２は、実施例１とは異なる顔検知処理部１１０３を備えている。
顔検知処理部１１０３のうち、顔検知領域を決定する決定部１１０４は、実施例１で示した「測距枠数」、「使用した測距枠」に加え、「測距枠ごとの被写体距離」情報に基づいて顔検知領域を決定することにより、「使用した測距枠」が複数ある場合でも対応可能となっている。

次に、本実施例２の特徴である、顔検知領域の設定方法について図１２を参照して説明する。図１２は、図５のステップ５０４の顔検知領域設定処理の第２の例を示している。
ステップ１２０１では、ステップ５０３（図５参照）で取得した付属情報のうち合焦領域に関する情報を取得する。合焦領域に関する情報とは、「測距枠数」、「使用した測距枠」、および「測距枠ごとの被写体距離」である。
ステップ１２０２では、取得した合焦領域情報の「測距枠数」から測距枠位置を求め、「使用した測距枠」により実際に合焦制御に使用した領域を顔検知候補領域と定める。さらに、本実施例２の特徴として「測距枠ごとの被写体距離」に基づいて前記顔検知候補領域に優先度をつける。

例えば「測距枠数＝９」から図１３に示すような測距枠位置１３０１を求め、「使用した測距枠＝左、中央、右、右上」により強調された枠の領域１３０２を顔検知候補領域とする。さらに前記使用された測距枠中、「測距枠ごとの被写体距離」が「右上＜右＜左＜中央」であった場合には、前記被写体距離に基づいて顔検知候補領域の優先度を決定する。
すなわち、上記例によれば、まず最初に、被写体距離が最小である右上の測距枠位置を顔検知領域として指定して次のステップに進み、ステップ５０６（図５参照）で解析終了（人物「あり」の判定、もしくは画像全体の解析終了）でなければ、次は測距枠位置の右を顔検知領域として次のステップに進む。もし、ステップ５０６で再び解析終了でなければ、左、中央の順で同様に処理を実行する。
ステップ１２０３では、ステップ１２０２で算出された顔検知領域情報を顔検知処理で使用可能なように設定する。

上記の通り本実施例２によれば、ＤＳＣでの撮影時に人物を主被写体として合焦制御している可能性が高いことと、人物が風景より近距離に位置する可能性が高いことを利用し、合焦情報に基づいて顔検知領域を決定することで効率良く顔検知できる。
すなわち、本実施例２によれば、画像データおよび前記画像データに関連する付属情報とから、画像の合焦領域情報を取得する手段と、前記合焦領域情報に対応する被写体距離情報を取得する手段と、前記被写体距離情報に基づいて、前記合焦領域情報に優先度を決定する手段と、前記優先度に基づいて顔検知領域を決定し、顔検知処理を実行する手段により顔検知を行う。

［実施例３］
本実施例３は、合焦領域情報以外の撮影条件データに基づいて顔検知領域を設定する方法に係るものである。
本実施例３のシステム構成を図１４に示す。実施例１で説明したものと共通のものについては同じ付番で示し、異なるものについてのみ説明する。
本実施例３のＤＳＣ１４０１において、撮影条件設定部１４０２は、実施例１のＤＳＣ１０１で可能な撮影シーンタイプの設定に加えて、さらに詳細なアシストモードを設定できる構成になっている。

例えば、図１５はＤＳＣ１４０１の背面に配置された液晶モニタ１５０１の表示画面例である。撮影者は液晶モニタ１５０１に表示されたガイド表示１５０２に従って撮影を行う。
本実施例３でのガイド表示１５０２は、画面右に人物の型、左背景に建物等を撮影する際の水平位置確認のための補助線表示を示している。
図１６は実際の撮影時のイメージ図である。ユーザーは前記ガイド表示１５０２に従って撮影している様子が分かる。
撮影された画像データは実施例１と同様のフォーマットで記録されるが、タグ領域２０１(図２参照）にはアシストモードを使用したことと、アシストモードの種類を含めてアシストモード情報として記録される。
例えば、図１５、１６のアシストモードであれば「左背景」を示す文字列が記録される。

本実施例３の画像処理装置１４０３において、データ解析部１４０４は、実施例１の構成とは異なる付属情報取得部１４０５と、顔検知処理部１４０６を備える。付属情報取得部１４０５は、実施例１で取得した合焦領域情報の変わりに、前記アシストモード情報を取得する。
顔検知処理部１４０６は、実施例１とは異なる決定部１４０７を備え、該決定部１４０７により前記付属情報に含まれるアシストモード情報に基づいて該画像領域内での顔検知領域を決定する。

次に、本実施例３における画像処理装置１４０３の動作について、図１７のフローチャートを参照しながら説明する。実施例１と同様のものについては簡単に説明する。
ステップ１７０１では、ＤＳＣ１４０１が接続されると画像処理装置１４０３は画像データの読み込みを開始する。
ステップ１７０２では、ステップ１７０１で読み込んだ画像データに対してヒストグラムを作成し、特徴量を算出する。
ステップ１７０３では、ステップ１７０１で読み込んだ画像データから撮影時、もしくは撮影後に付加された付属情報を取得する。ここで、本実施例３では実施例１および実施例２で取得した合焦領域情報の代わりに、アシストモード情報を取得する。
ステップ１７０４では、ステップ１７０３で取得した付属情報のうち、アシストモード情報に基づいて顔検知領域を設定する。後述のステップ１７０５〜１７０６で顔検知できずに再度該ステップに戻った場合は、既に設定した顔検知領域以外の領域を顔検知領域として再設定する。

ステップ１７０５では、ステップ１７０４で設定された顔検知領域に基づいて顔検知処理を実行する。但し、顔が検知されて人物「あり」と判定した場合は、その時点で該ステップを終了し、ステップ１７０６へ進む。
ステップ１７０６では、ステップ１７０５で人物「あり」と判定されたか、もしくは画像全体の顔検知処理が終了した場合にはステップ１７０７へ進む。
人物「なし」で、画像全体に対して顔検知を実行していない場合は、ステップ１７０４へ進み、再度顔検知領域を設定する。
ステップ１７０７では、ステップ１７０２〜１７０６により取得した撮影時の付属情報に基づいて補正処理内容を選択し、画像特徴量、および顔検知結果に基づいて補正処理量を決定する。
補正処理内容が決定すると、次に付属情報、および画像特徴量から補正目標値を決定し、補正実行時のパラメータを算出する。
ステップ１７０８では、ステップ１７０７により決定した補正処理内容とパラメータに従って、画像補正処理を実行する。

次に、実施例３の特徴である、ステップ１７０４における顔検知領域の設定方法について図１８のフローチャートを用いて説明する。
ステップ１８０１では、ステップ１７０３（図１７参照）で取得した付属情報のうちアシストモードに関する情報を取得する。
ステップ１８０２では、取得したアシストモード情報から人物の顔のある可能性の高い領域を顔検知領域と定め、各座標値を算出する。
例えば「アシストモード＝左背景」から図１９に示すような顔検知領域（斜線部）１９０１を定める。
ここで、前記顔検知領域は前述したタグ領域２０１(図２参照）に含まれるメーカ名、型名から算出可能で、好ましくは、ＤＳＣのメーカ毎のアシストモード情報とアシストモードに対する顔検知領域を補正処理装置内に保持しておく。
なお、本実施例３では大まかな位置（斜線部１９０１）を顔検知領域として指定したが、より厳密に例えばアシスト表示内の人物型の顔領域を最初の顔検知領域と設定する構成にしても構わない。
ステップ１８０３では、ステップ１８０２で算出された顔検知領域情報を顔検知処理で使用可能なように設定する。

上記の通り実施例３によれば、アシストモードでは、表示されたガイド表示に従って人物の顔が写っている可能性が高いことを利用し、ガイド表示中の人物の位置情報に基づいて顔検知領域を決定することで効率良く処理できる。すなわち、本実施例３によれば、画像データおよび前記画像データに関連する付属情報とから、撮影時のアシストモード情報を取得する手段と、前記アシストモード情報に基づいて顔検知領域を決定し、顔検知処理を実行する手段により顔検知を行う。

［実施例４］
実施例４は、実施例１で説明した合焦領域に関する情報が「座標値」により示される場合に係るものである。
実施例４におけるシステム構成を図２０に示し、実施例１で説明したものと共通のものについては同じ付番で示し、異なるものについてのみ説明する。
本実施例４において、ＤＳＣは撮影時の条件の１つである合焦領域に関する情報を「座標値」により示す。
すなわち、実施例１で示した付属情報であるＴａｇＮｏ．＝４には合焦制御に使用した領域の中央に相当する座標値（Ｘ，Ｙ）が格納される。

実施例４におけるデータ解析部２００１は、実施例１とは異なる顔検知処理部２００２を備えている。
顔検知処理部２００２うち、顔検知領域を決定する決定部２００３は、前記「座標値」に基づき顔検知領域を決定する。

以下、本実施例４における顔検知領域の設定方法について説明する。
画像処理装置はＤＳＣにより格納された付属情報から前記合焦制御に使用した領域の座標値を取得する。
次に、取得した座標値を中心とする正方領域を算出し、該正方領域を顔検知領域として決定する。
前記正方領域は、表示装置内で予め定めているサイズとなるように算出され、撮影画像データの解像度に対する比率に比例して決定することで、撮影時の画像サイズに対して柔軟に対応することが可能である。
なお、前記正方領域に代えて、取得した座標値を中心とした半径Ｒの円、または図８〜１０に符号８０１、９０２、１００１で示すような長方形の領域などの領域を用いてもよい。
以上の処理により顔検知領域を設定し、顔検知処理を実行する。
上記の通り本実施例４によれば、付属情報である合焦制御に使用した領域の座標値から顔検知領域を決定することで顔検知処理を効率良く実行できる。

本発明の一実施例に係る顔検知手段を適用した画像処理システムの構成を示すブロック図である。 図１におけるＤＳＣ（デジタルスチルカメラ）の画像ファイルフォーマットを説明するための図である。 図１におけるＤＳＣにおいてユーザー操作により合焦評価領域を移動させている様子を説明する図である。 図１におけるＤＳＣの背面に配置された液晶モニタの表示画面例を説明する為の図である。 図１の画像処理装置の動作を説明するためのフローチャートである。 図５における補正処理時のガンマ値の算出を説明する図である。 図５における顔検知領域設定時の詳細動作を説明するフローチャートである。 測距枠と画像データの関係を示す図である。 測距枠数に基づいて分割し、測距位置を用いて顔検知領域を決定することを説明する図である。 測距枠にオフセット値を足して顔検知領域とすることを説明する図である。 本発明の第２の実施例に係る顔検知手段を適用した画像処理システムの構成を示すブロック図である。 図１１のシステムにおける顔検知領域設定時の動作を説明するフローチャートである。 図１１のシステムにおける測距枠と画像データの関係を示す図である。 本発明の第３の実施例に係る顔検知手段を適用した画像処理システムの構成を示すブロック図である。 図１４のシステムにおけるアシストモード使用時のＤＳＣの背面に配置された液晶モニタに表示されたガイド表示を説明する図である。 アシストモードを使用して撮影した場合の、液晶モニタの画面表示例を説明する図である。 図１４のシステムにおける画像処理装置の動作を説明するためのフローチャートである。 図１４のシステムにおける顔検知領域設定時の動作を説明するフローチャートである。 図１４のシステムにおける、顔検知領域を説明する図である。 本発明の第４の実施例に係る顔検知手段を適用した画像処理システムの構成を示すブロック図である。

符号の説明

１００ 画像処理システム
１０４ 画像処理装置
１０９ 顔検知処理部
４０２ 測距枠
４０３ 実際に合焦制御に使用した測距領域

Claims (11)

1. 画像データおよび該画像データに関連する付属情報に基づいて該画像から被写体の顔領域を抽出する顔検知装置において、
   前記付属情報に基づいて前記画像の画像領域内での顔検知領域を決定する手段と、
   決定された顔検知領域内で顔検知処理を実行する手段と、
   を備えることを特徴とする顔検知装置。
2. 前記顔検知領域を決定する手段は、前記付属情報から合焦領域情報を取得する手段を備え、該合焦領域情報に基づいて前記顔検知領域を決定することを特徴とする請求項１に記載の顔検知装置。
3. 前記該合焦領域情報が「測距枠数」および「使用した測距枠」を含むことを特徴とする請求項２に記載の顔検知装置。
4. 前記該合焦領域情報が合焦領域に関する「座標値」を含み、前記顔検知領域を決定する手段は、該「座標値」に基づいて、前記顔検知領域の座標値を算出することを特徴とする請求項２または３に記載の顔検知装置。
5. 前記合焦領域情報が被写体距離情報を含み、前記顔検知領域を決定する手段は、前記顔検知領域を複数の領域候補の中から選択する場合の優先度を前記被写体距離情報に基づいて決定することを特徴とする請求項２〜４のいずれか１つに記載の顔検知装置。
6. 前記顔検知領域を決定する手段は、前記被写体距離が短いほど優先度を高く決定することを特徴とする請求項５に記載の顔検知装置。
7. 前記顔検知領域を決定する手段は、前記付属情報から撮影時のアシストモード情報を取得する手段を備え、該アシストモード情報に基づいて前記顔検知領域を決定することを特徴とする請求項１に記載の顔検知装置。
8. 前記アシストモード情報は、撮影条件を示す文字列情報であり、前記顔検知領域を決定する手段は、前記文字列情報に基づき前記アシストモードで表示されたガイド表示中、人物撮影を指定する領域を前記顔検知領域に決定することを特徴とする請求項７に記載の顔検知装置。
9. 請求項１〜８のいずれか１つに記載の顔検知装置を含む画像処理装置と、デジタルスチルカメラと、表示部とからなることを特徴とする画像処理システム。
10. 画像データおよび該画像データに関連する付属情報に基づいて該画像から被写体の顔領域を抽出する顔検知方法において、
    前記付属情報の少なくとも一部を取得する第１ステップと、
    第１ステップで取得された情報に基づいて前記画像の画像領域内での顔検知領域を決定する第２ステップと、
    該顔検知領域において顔検知処理を実行する第３ステップと、
    を有することを特徴とする顔検知方法。
11. 前記付属情報は、前記第１ステップで取得される情報として、前記画像領域内の合焦領域情報および撮影時のアシストモード情報の少なくとも一方を含むことを特徴とする請求項１０に記載の顔検知方法。

Images