JP2008205838A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 被写体の状態を判別して自動撮影機能を有する撮像装置において、被写体が複数存在する場合でも自動撮影を有効に機能させる。
【解決手段】 撮像により得られた画像中から例えば人物を被写体として検出し、被写体の情報として例えばその数を求める。そして、数が多いほど、自動撮影を行うために被写体が満たすべき状態の設定を緩和する。これにより、被写体の数が多い場合に自動撮影機能が有効に機能しないといった事態の発生を抑制することができる。
【選択図】 図７

Description

本発明は、撮像画像中の顔を検出し、検出結果に応じて撮影方法を変更する撮像装置及びその制御方法に関する。

笑顔または目開きといった、被写体中の人物の顔の状態を検出し、笑顔の瞬間や目を開いている瞬間を撮影可能な撮像システムが知られている。また、特許文献１には、被写体が所望の表情になったり所望のポーズを取った際に自動撮影を行うシステムを開示している。

特開２００４-２９４４９８号公報

しかしながら、例えば複数の人物が被写体に含まれる場合、これらのシステムを用いた撮影は容易でない。例えば、１０名の人物が被写体に含まれる場合、例えば全員が（自然に）笑ったり、全員が（自然に）目をつむるタイミングはそれほど頻繁に発生しない。

さらに、全員が笑っており、かつ目を開いた状態のように、複数の条件が重なるタイミングは更に少なくなる。従って、自動撮影されるまでに長時間待たされたり、場合によっては自動撮影機能が役に立たない場合があった。特許文献１においては、人物が複数存在する場合のこのような問題に関して何ら考慮されていない。

本発明はこのような従来技術の課題に鑑みてなされたものであり、被写体の状態を判別して自動撮影機能を有する撮像装置において、被写体が複数存在する場合でも自動撮影を有効に機能させることの可能な撮像装置及びその制御方法を提供することを目的とする。

上述の目的は、被写体を撮像し、画像を生成する撮像手段と、画像から予め定めた種類の被写体を検出する被写体検出手段と、検出された被写体についての情報に基づいて、検出された被写体に関して検出すべき状態を決定する検出状態決定手段と、検出された被写体について、決定された状態にあるか否かを判別し、決定された状態にあると判別された場合に、撮像手段に撮像指示を出力する判別手段とを有し、被写体についての情報が、被写体の数もしくは被写体の向きについての情報であることを特徴とする撮像装置によって達成される。

また、上述の目的は、被写体を撮像し、画像を生成する撮像手段を有する撮像装置の制御方法であって、画像から予め定めた種類の被写体を検出する被写体検出ステップと、検出された被写体についての情報に基づいて、検出された被写体に関して検出すべき状態を決定する検出状態決定ステップと、検出された被写体について、決定された状態にあるか否かを判別し、決定された状態にあると判別された場合に、撮像手段に撮像指示を出力する判別ステップとを有し、被写体についての情報が、被写体の数もしくは被写体の向きについての情報であることを特徴とする撮像装置の制御方法によっても達成される。

このような構成により、本発明によれば、被写体の状態を判別して自動撮影機能を有する撮像装置において、被写体が複数存在する場合でも自動撮影を有効に機能させることが可能になる。

以下、添付図面を参照して、本発明を例示的且つ好適な実施形態に基づき詳細に説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラの構成例を示す図である。

撮像素子１０１は、オートフォーカス機構を備えたレンズ群１００が撮像面に結像する像を電気信号に変換し、画像データを生成する。撮像部１０２は、撮像素子１０１に読み取りタイミングなどを送信する。また撮像部１０２は、撮像素子１０１で取得した画像データに対してホワイトバランス処理や色補間処理等の予め定めた処理を適用してカラー画像データを生成し、さらに所定のフォーマット（例えばＪＰＥＧフォーマット）の画像ファイルを生成する。画像ファイルは記憶部１０８に転送する。

記憶部１０８は、例えば半導体メモリである。被写体検出部１０３は、半導体メモリに書き込まれた画像ファイルに対し、顔検出等の被写体検出処理を適用する。被写体検出処理の詳細は、後述する。状態値取得部１０４は、被写体検出部１０３の検出結果から、被写体に係る情報を取得する。ここで、被写体に係る情報には、被写体数、被写体のサイズ、被写体の向きなどが含まれる。被写体に係る情報を取得する具体的な処理については、後述する。記録部１１０は記憶部１０８に転送された画像ファイルを例えばメモリカードのような記録媒体に記録する。また、記録部１１０は、再生モードにおいては、記録媒体に記録された画像ファイルを読み出し、記憶部１０８に転送する。

検出状態決定手段としての表情検出モード制御部１０５は、被写体に係る情報を基に、表情検出モードを決定し、設定する。本実施形態において表情検出モードには笑顔検出モード等が含まれる。笑顔検出モードは、被写体が笑っている際に撮影を行うモードである。表情検出部１０６は、表情検出モード制御部１０５で設定された表情検出モードに応じて被写体の表情を検出する。表情検出処理の詳細は、後述する。表情検出部１０６は、表情検出モードに従った表情が検出された際に、撮像部１０２に対して撮像命令を送信する。画像表示部１０９は、記憶部１０８に記憶された画像を表示する。画像表示部１０９は、LCDを始めとする表示装置を備える。

次に、本実施形態のデジタルカメラの全体的な処理の流れについて、図２のフローチャートを用いて説明する。
Ｓ２００で撮像部１０２は、撮像素子１０１よりプレビュー画像用のデータを取得し、記憶部１０８に展開する。ここで、プレビュー画像は、撮像素子１０１で取得可能な最高解像度よりも低い解像度でよい。ただし、被写体検出部１０３における被写体検出に支障が出ない程度の解像度であることが好ましい。

次に、Ｓ２０１において、被写体検出部１０３は、記憶部１０８に格納されたプレビュー画像全体に対して被写体検出処理を行なう。被写体検出部１０３は、画像中から特定の種別の被写体、例えば人物の検出を行う。人物の検出は、例えば多層神経回路網またはサポートベクターマシンによるパターン検出など、公知の顔検出技術を用いることで実現できる。

本実施形態に適用可能な顔検出技術の一例について、図３を参照して説明する。
この例では、階層的な処理によって顔検出が行われ、入力画像は、低次特徴検出層３００、中次特徴検出層３０１、目・口検出層３０２および顔検出層３０３に順番に処理されて最終的に顔が検出される。

低次特徴検出層３００は、画像中のエッジ特徴を検出する層である。中次特徴検出層３０１は、目頭のコーナーライクな特徴や、まぶたあるいは唇の線分エッジを検出する層である。目・口検出層３０２は、目または口といった高次特徴を検出する層である。最後に、顔検出層３０３が、目および口の検出結果から、顔を検出する。

このような、低次特徴から高次特徴へと階層的に検出する公知の顔検出技術については、M.Matsugu,K.Mori,et.al, ”Convolutional Spiking Neural Network Model for Robust Face Detection”, 2002, Internatinal Conference On Neural Information Processing (ICONIP02)を参照されたい。

図２の説明に戻って、Ｓ２０２で撮像部１０２は、被写体検出部１０３によって顔が検出されたかどうか判定する。顔が検出されなかった場合、Ｓ２００に戻って撮像部１０２は再度プレビュー画像を取得する。

一方、顔が検出された場合、Ｓ２０３において状態値取得部１０４は、被写体検出部１０３による顔検出結果から、被写体に係る情報（状態値）を取得する。本実施形態では、被写体に係る情報として、検出された顔の個数を用いる。顔の個数は、被写体検出部１０３から取得することができる。

なお、被写体検出部１０３は、検出された顔のうち、顔領域サイズが所定閾値以上のもののみを検出された顔として計数する。これは、主要な被写体として存在する顔のみを計数するためである。なお、検出された顔を計数するかどうか、つまり主被写体と見なすかどうかを決定する顔領域サイズの閾値は、一例として次のようにして求めることができる。

まず、検出された顔の各々の顔領域サイズS_i(i：検出顔個数i=１,２・・・ｎ)より、顔領域サイズの平均値S_meanと標準偏差σを求める。そして、S_mean-σを顔領域サイズの所定閾値とする。よって、検出された顔のうち、S_mean-σ以上の顔領域サイズが計数され、状態値取得部１０４へ与えられる。

ここで、本実施形態における顔領域サイズの定義について、図４を参照して説明する。
図４（ａ）に示すモデル顔４０は、顔の模式図を示している。ここで、図４（ｂ）における顔領域Ａ ４０３は、右目特徴点４００と左目特徴点４０１を頂点とし、口特徴点４０２を通る辺を有する４角形領域で囲まれる領域で規定される。このように、顔と特徴部位、すなわち目または口を基準として顔領域を定めることで、画像中の顔の大きさを反映した顔領域を設定することができる。ここで、目および口といった顔の特徴部位の位置は、図３における目・口検出層３０２の検出結果から特定することができる。

また、図４（ｃ）は顔領域の別の規定例を示す。図４（ｃ）における顔領域Ｂ ４０４は、顔領域Ａ ４０３を上下左右方向に拡張した領域である。この上下方向の拡張は、例えば図５（ａ）に示すように、顔領域Ａ ４０３を、両目を結ぶ線分に対して垂直でかつ頭部方向にa_upper[pixel]、かつ口特徴点４０２を通る辺に垂直かつ顎方向にa_under[pixel]である。また、左右方向の拡張は、図５（ｂ）に示すように、左目または右目と口特徴のＹ座標を結んだ線分に対して直角で顔領域Ａ ４０３の左右外側方向にb[pixel]である。

定数a_upper、a_underおよびbに値を設定することで、目・口の全体と、眉を含んだ顔領域を設定することができる。なお、これら定数a_upper、a_underおよびbは、図４（ｂ）における顔領域Ａ ４０３のサイズに比例させた値としてもよい。本実施形態においては特に断りがない限り、顔領域Ｂ ４０４を用いる。従って、顔領域サイズは、顔領域Ｂ ４０４の頂点座標４０５ａ〜４０５ｄを求めることによって算出可能である。

図２の説明に戻る。Ｓ２０４において、表情検出モード制御部１０５は、状態値取得部１０４が取得した被写体に係る情報（状態値）に基づき、表情検出モードを決定し、設定する。本実施形態において表情検出モードは、被写体のどのような表情を検出するかを特定する。本実施形態において状態値取得部１０４は検出かつ計数された顔の個数を状態値として取得するので、表情検出モード制御部１０５においても、この顔の個数に基づいて表情検出モードを設定する。

図６は、本実施形態において表情検出モード制御部１０５が行う表情検出モード変更処理を説明するためのフローチャートである。
Ｓ６００で、表情検出モード制御部１０５は、状態値取得部１０４が取得した状態値を基に、表情検出モードを決定する。この処理の詳細は後述する。次に、Ｓ６０１で、表情検出モード制御部１０５は、初期表情検出モードとして、現在設定されている表情検出モードを取得する。現在設定されている表情検出モードは、本実施形態のデジタルカメラで出荷時に設定されるモード、あるいはユーザが初期値として設定したモードである。

次に、Ｓ６０２で表情検出モード制御部１０５は、現在設定されている表情検出モードと、Ｓ６００で決定された表情検出モードを比較する。比較の結果、等しくなければ、Ｓ６０３において、表情検出モード制御部１０５は表情検出モードをＳ６００で決定したモードへ変更する。一方、比較の結果、表情検出モードが等しい場合、表情検出モード制御部１０５は表情検出モードを変更せずに処理を終了する。

ここで、図６のＳ６００における表情検出モード判定処理の内容について、図７に示すフローチャートを用いて説明する。
本実施形態において検出する被写体の表情の種類、即ち表情検出モードの種類は、笑顔と目開きの２つとするが、これらには限定されない。なお、目開きでない場合には目瞑りであると考えられるので、目瞑りの検出も可能である。

ここで、被写体検出部１０３によって検出され、かつ上述の条件を満たして計数された顔の個数をＮ（Ｎは０以上の整数）とする。このＮは、状態値取得部１０４を通じて表情検出モード制御部１０５へ与えられる。

Ｓ７００で、表情検出モード制御部１０５は、Ｎ＝１かどうか調べる。そして、Ｎ＝１の時、つまり主被写体が１名である場合、表情検出モード制御部１０５はＳ７０１で笑顔および目開き（目が閉じてないこと）を同時に満たすことを検出する目開きおよび笑顔検出モードを決定する。主被写体が１名の場合、目が開いている状態かつ笑っている瞬間の表情を取得しやすいのでこのように決定する。

次に、Ｓ７０２において、Ｎが１＜Ｎ≦Th（Ｔｈは２以上の整数）である場合について説明する。ここで、Thは閾値で、所定値を経験的に設定する。１＜Ｎ≦Thのとき、表情検出モード制御部１０５は、目開きのみを満たすことを検出するモードを決定する（Ｓ７０４）。主被写体が複数人存在し、主被写体全員が同時に目を開けかつ笑顔である瞬間の画像を取得することは、Ｎ＝１の時よりも困難になる。しかし、写真としては、一般的に被写体が目を開ける状態が望まれる。よって、この場合、表情検出モード制御部１０５は、目開きのみを満たすことを検出するモードを決定し、設定する（Ｓ７０３）。
つまり、個々の主被写体が、目を開いていることを満たす画像を取得するモードである。

Th＜Ｎである場合、つまり集合写真のように主被写体が多数存在する場合、表情検出モード制御部１０５は、目開きと笑顔のいずれかを満たすことを検出するモードを決定する（Ｓ７０４）。集合写真を撮るシーンにおいて、全員が目開きかつ笑顔である瞬間や、全員が目開きである表情を被写体全員に渡り、同時に検出し撮像することは困難である。よって、Th＜Ｎの場合、条件を更に緩和するため、目開きと笑顔のいずれかを満たすことを検出するモードを決定し、設定する。
つまり、個々の主被写体が、少なくとも目を開いているか、笑っているかのいずれかを満たす画像を取得するモードである。

図２に戻り、Ｓ２０５で表情検出部１０６は、Ｓ２０４において表情検出モード制御部１０５が設定した表情検出モードと、被写体検出部１０３から取得した主被写体の顔領域の位置に関する情報に従って、プレビュー画像中の主被写体の表情検出を実行する。上述の通り、本実施形態で検出する表情は、目開きおよび笑顔である。表情検出部１０６は、それぞれの表情を公知技術を用いて検出する。

例えば目開きは、顔領域中の白目または黒目の部分を検出することにより、検出することができる。あるいは、目の上下まぶたをエッジ探索により検出し、まぶたの開度より目開きを検出する手法を用いても良い。また、笑顔検出は、公知技術、例えば特開２００５−５６３８８号公報に開示されている方法を用いて行うことができる。なお、本実施形態では説明及び理解を容易にするため、表情として笑顔のみを検出しているが、他の表情、例えば怒っている表情や泣いている表情など、喜怒哀楽を示す表情を検出し、自動撮影の条件として用いても良い。表情検出部１０６は、被写体の顔位置の移動に対応するため、オプティカルフロー等の公知技術を用いて顔の画面内追尾を行うことができる。

Ｓ２０６で表情検出部１０６は、全ての主被写体が、設定された表情検出モードの状態を満たした画像が取得できたかを、Ｓ２０５における検出結果から判別する。状態が満たされていない主被写体がある場合、撮像部１０２にプレビュー画像を依頼する（Ｓ２０７）。そして、再取得したプレビュー画像に対して表情検出部１０６で表情検出を行う。このように、表情検出モードに対応した状態を全ての主被写体が満たした画像が取得されるまで、Ｓ２０５〜Ｓ２０７の処理を繰り返し実行する。

画像取得、表情検出及び撮像判定の各処理の例を、図８及び図９を用いて説明する。
図８は、取得した画像から検出された顔の表情の時間変化例を示している。時刻t_０で検出された顔の表情は、両目が開き（目開き）かつ無表情（笑顔でない）である。次に、時刻t_１では、両目が閉じ（目瞑り）かつ無表情である。時刻t_２では、目瞑りかつ笑顔になり、時刻t_３では、目開きかつ笑顔である。

表情が図８に示すように変化したとすると、撮像タイミング、すなわちシャッターチャンスは、表情検出モードが、目開きかつ笑顔の検出モード（本実施形態ではＮ＝１の時）であれば時刻t_３近辺の時刻であると考えられる。

図８の表情変化をグラフで表現したのが、図９の表情遷移図である。
図９に示す表情遷移図の横軸は時間（プレビュー画像の取得タイミング）、縦軸は笑顔および目開き検出処理の結果から判定可能な表情を示している。つまり、表情遷移図の状態線１は、目瞑りあるいは目開きの時間変化を示している。また、表情遷移図の状態線２は、笑顔であるか無表情（笑顔でない）かの時間変化を示している。

目開きかつ笑顔検出モードが設定されている場合、撮像タイミングは、図９中のT_１である。このように、図９中のT_１に示す状態が取得できるまで、Ｓ２０５〜Ｓ２０７の処理を繰り返し実行する。

条件に合致した表情検出結果が得られたと判別されると、すなわち、本実施形態において図９のT_１に示す状態が得られると、表情検出部１０６は、撮像部１０２に撮像指示を出力する。これに応答して、撮像部１０２は、記録用画像の撮像処理を行う（Ｓ２０８）。

撮像部１０２は撮像された画像に上述したような画像処理を適用し、予め定められたフォーマット（例えばＪＰＥＧフォーマット）の画像ファイルを作成し、記憶部１０８に転送する。次に、記録部１１０は、記憶部１０８に格納された画像ファイルを、メモリカードのような記録媒体に記録する（Ｓ２０９）。記憶部１０８に格納された画像ファイルは、確認のため画像表示部１０９が表示する（Ｓ２１０）。

以上説明したように、本実施形態によれば、撮影画像中に存在する主被写体の数、例えば人物の数を検出する。そして、主被写体の数に応じて、検出すべき主被写体の状態に関する条件を動的に変更する。具体的には、主被写体の数が多いほど容易な条件となるようにする。

例えば主被写体が人物であり、検出すべき被写体の状態が顔の表情である場合、主被写体の数が多いほど、全ての主被写体が満足すべき表情についての条件を緩和する。これにより、検出すべき主被写体の状態に関する条件が固定で、かつ主被写体の数が多くなると満足が困難になる条件である場合に、自動撮影がなかなか行われないといった問題を抑制することができる。また、本実施形態ではこのような動的な条件変更を装置が自動で行うため、ユーザの負担を軽減することができる。

なお、本実施形態においては、表情に関する条件を複数同時に満たすモード（笑顔かつ目開き）を、主被写体が１つの場合にのみ設定したが、２つ以上の場合に設定しても良い。上述の説明における閾値Ｔｈの値は、満たすべき条件の難易度や、被写体の数に対する難易度の変化度合等によって適宜定めることができる。

また、集合写真のように、撮影の目的を被写体が意識している場合には、個々の被写体の意識が高いため、それ以外の場合と比較して条件を満足する可能性が高くなる。そのため、閾値Ｔｈの値をユーザが動的に変更可能に構成し、撮影状況に応じて調整可能にしてもよい。この場合、ユーザは、撮像装置の機能を最大限に活用しながら手間を省くことが可能である。

さらに、主被写体として計数された顔の全てが設定モードを満たした際に自動撮影するのではなく、主被写体の中で顔領域が所定値以上のサイズを有する上位所定数（例えば５番目まで）の顔について条件を満たした際に自動撮影するようにしてもよい。

また、特にＮが大きい場合、プレビュー画像の再取得回数が多くなるに従って、条件を満たすべき主被写体の数を減少させるように構成することも可能である。このように構成することで、なかなか撮影が行われないといった状況の発生を抑制することが可能になる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
本実施形態は、主被写体として計数された顔の各々について、個別の表情検出モードを設定することを特徴とする。本実施形態に係る撮像装置は第１の実施形態において説明したデジタルカメラと同じ構成であってよく、図２のＳ２０４において実施する表情検出モード変更処理のみが異なる。従って、以下では本実施形態に特徴的な表情検出モード変更処理についてのみ説明する。

図１０は、第２の実施形態に係るデジタルカメラにおける表情検出モード変更処理を説明するフローチャートである。
本実施形態では、被写体検出部１０３が主被写体として計数したＮ個の顔について、個々の顔領域を特定する情報と、その向きに関する情報が状態値として状態値取得部１０４から表情検出モード制御部１０５へ与えられる。

Ｓ１０００で、表情検出モード制御部１０５は、状態値取得部１０４から状態値が与えられた顔の全てについて表情検出モードの設定を完了したか否か調べる。全てについて表情検出モード設定が終了したならば処理を終了する。一方、未処理の顔が残っている場合、Ｓ１００１へ進む。

Ｓ１００１で、表情検出モード制御部１０５は、状態値取得部１０４から与えられる顔の向き情報を基に、各顔に対する表情検出モードを判定する。この処理の詳細は後述する。次に、Ｓ１００２で、表情検出モード制御部１０５は、決定した表情検出モードを、処理対象の顔に対して設定する。

図１１は、図１０のＳ１００１で行う表情検出モード判定処理を説明するフローチャートである。
Ｓ１１００およびＳ１１０１は、顔のパン方向角度θとチルト方向角度φが０であるかチェックし、顔の向き判定処理を行う。パン方向角度θとチルト方向角度φは、図１２に示す通りである。

ここで、パン方向角度θとチルト方向角度φは、例えば被写体検出部１０３において、ある特定角度を向いた顔の検出に特化した顔検出器を複数用意し、この特定角度の顔検出器の出力を基に求めることができる。そして、状態値取得部１０４は、被写体検出部１０３が求めた、主被写体毎のパン方向角度θとチルト方向角度φを、対応する顔領域を特定する情報、例えば顔領域の位置情報とともに、状態値として表情検出モード制御部１０５へ供給する。

図１３は、被写体検出部１０３において、主被写体の顔の向きを求める処理を模式的に示した図である。
異なるパン方向角度θとチルト方向角度φに対応したｎ個の顔検出器１３００−１〜１３００−ｎを用意し、各検出器の出力をＯiとする(i=１, ２ ・・・ n）。顔検出器１３００−１〜１３００−ｎは、それぞれ異なる、ある特定のパン方向角度θとチルト方向角度φの顔に対して最大出力が得られるように構成されている。

図１３に示す入力顔１３０１は、真正面を向いているので、θ=０°かつφ=０°である。この場合、θ=０°かつφ=０°に対応した顔検出器１３００−１の出力が最も高い値を示す。一方、正面向きでない顔、一例としてθ=１５°かつφ=０°の顔が入力された場合、顔検出器１３００−１の出力が最も高い値を示す。なお、顔検出器が直接対応していない角度については、複数の顔検出器の値に基づいて推定することができる。例えばθ=１０°かつφ=０°といった向きの顔に対しては、θ=１５°かつφ=０°に対応した顔検出器１３００−２の出力が最も強く、次いでθ=０°かつφ=０°に対応した顔検出器１３００−１の出力が強くなる。そして、他の顔検出器の出力はこれら２つの出力に対して大幅に小さくなる。従って、顔検出器１３００−１及び１３００−２の出力値の関係に基づいた内挿演算により、θ=１０°かつφ=０°の向きが推定される。

上述したように、図１１の処理フローチャートは、画像中で検出され、かつ被写体検出部１０３において主被写体として計数された顔の各々に対して適用される。
Ｓ１１００及びＳ１１０１のいずれかに合致しない場合、即ち、正面向きの顔でない場合、Ｓ１１０３において、目開きのみを検出するモードが、処理対象の顔に対して設定される。一方、正面向きの顔である場合、目開きかつ笑顔を検出するモードが処理対象の顔に対して設定される。

表情検出部１０６は、表情検出モード制御部１０５から、主被写体の顔領域の位置についての情報とともに、対応する表情検出モード設定を受け取る。そして、プレビュー画像中の主被写体について個々に設定された表情の検出を行い、全ての主被写体が設定を満足する表情となったならば撮像部１０２に対して撮像指示を出力する。

なお、本実施形態においては、図２のＳ２０５〜Ｓ２０７の処理を所定回数繰り返しても条件が満足されない場合には、Ｓ２０１に戻って再度被写体検出処理から行う。これにより、被写体の顔の向きの変化に対応して動的に最適なモード設定を行うことができる。さらに、表情検出部１０６は、被写体の顔位置の移動に対応するため、オプティカルフロー等の公知技術を用いて顔の画面内追尾を行うことができる。

以上説明したように、本実施形態によれば、主被写体の顔の向きに応じ、個々の主被写体について検出すべき表情の設定を変更する。これにより、顔の向きの変化による表情の誤検出を防止することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態に係るデジタルカメラは、主被写体が予め定めた数以上である場合、全員の目開きのみを検出するモードを設定する。そして、所定枚数の画像を自動撮像した後、被写体の状態に基づいて１つを選択することを特徴とする。

第３の実施形態と第１の実施形態の異なる部分は、図２の処理フローチャートにおける撮像処理（Ｓ２０８）と記憶処理（Ｓ２０９）の内容であるため、これら相違する処理についてのみ説明する。

図１４は、第３の実施形態における撮像処理と記憶処理について説明するフローチャートである。
表情検出部１０６から撮像指示を受けると、Ｓ１４０１で撮像部１０２は、主被写体の人数Ｎをチェックする。１≦Ｎ≦Thであった場合、第１の実施形態で説明したとおり、記録用画像の撮像処理を行なう（Ｓ１４０２）。そして、生成した画像ファイルを記録部１１０によって記録媒体へ記録する（Ｓ１４０３）。

一方、Ｓ１４０１でTh＜Ｎであった場合、複数回連続して撮像する。具体的には、まずＳ１４０４で撮像部１０２は、１枚目の撮像処理を行ない、画像ファイルを生成する。このとき、保存する画像の画質は、Ｓ１４０２で撮像する記録用画像と等しい。次に、Ｓ１４０５において、生成した画像ファイルを記憶部１０８に一時記憶する。Ｓ１４０６で撮像部１０２は、所定枚数の連続撮影が完了したか判定する。ここで、連続して撮像する画像の所定枚数は、予め経験的に算出した値を設定する。なお、画像を連続して撮像する枚数は、被写体人数Ｎの値に応じて変化させてもよい。

所定枚数の連続撮像が終了すると、Ｓ１４０７において、取得した画像群に含まれる被写体について、表情検出部１０６により所定の表情の検出を行う。本実施形態では所定の表情は笑顔である。

次に、Ｓ１４０８で表情検出部１０６は、表情検出の結果に基づいて、連続撮像した画像群から、保存する画像として最適な画像を選択する。具体的には、例えば笑顔と判定された顔個数Ｎ_smileが最大である画像を、最適な画像として選択する。

次に、Ｓ１４０９において、記録部１１０が、表情検出部１０６によって選択された画像ファイルのみを記憶媒体に記録する。
このとき、記録部１１０は、選択された画像ファイル以外の画像ファイルを記憶部１０８から削除する。なお、選択された最適画像は、第１の実施形態と同様、画像表示部１０９によって表示される。

このように、本実施形態によれば、主被写体の数が閾値以上である場合、第１の実施形態で説明したように全被写体の目開き検出をトリガーとして自動撮影を行うが、その際複数の画像を連続的に撮像する。そして、複数の画像の中から、主被写体の表情に基づいて最適な画像を選択する。例示したように笑顔の被写体数が最も多い画像を選択すれば、例えば全員が目開きかつ笑顔となるのを待って自動撮影するのは現実的でない被写体数である場合でも、目開きかつ笑顔の被写体が多く含まれる画像を自動撮影することが可能となる。

（変形例）
なお、本実施形態において、連続撮像した画像群から実際に記録する画像を選択する処理を、ユーザに行なわせるようにしてもよい。その際、図１４のＳ１４０７における表情検出処理は行なわない。すなわちＳ１４０６の終了後、直ちにＳ１４０８へ移行する。Ｓ１４０８において、画像表示部１０９は、ユーザが画像選択を行うためのユーザインタフェースを表示し、ユーザの選択指示の入力を待つ。

図１５は、本変形例において画像表示部１０９が表示するユーザインタフェースの例と、デジタルカメラの外観例を示す図である。
デジタルカメラ１５００の背面には、LCD等から成る表示部１５０１、ＧＵＩ中のカーソル移動を指示するためのカーソル部１５０２が設けられている。画像表示部１０９は、画像選択処理を行う際、まず取得された画像群のうち、時系列的に最も古い画像を表示部１５０１に表示させる。

ユーザがカーソル部１５０２の右カーソルボタン１５０６を押下すると、画像表示部１０９は、表示中の画像の次に撮像された画像を、左カーソルボタン１５０７が押下されると、表示中の画像の前に撮像された画像を、表示部１５０１に表示させる。そして、決定ボタン１５０５が押された際に表示中の画像が最適画像として選択されたものとして記録部１１０により記録処理を行なわせる。上述の通り、記録部１１０は記録時に他の画像群を記憶部１０８から削除する。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
第１の実施形態においては、主被写体の数に応じて表情検出モードを変更したが、本実施形態は、経過時間に応じて表情検出モードを変更する点を特徴とする。

つまり、所定時間経過するまでは比較的厳しい条件に対応したモードを設定し、所定時間経過しても自動撮影ができない、すなわち設定された条件が満たされない場合には、条件を緩和する。より具体的には、最初は目開きおよび笑顔を同時に検出するモードを設定し、所定時間経過しても自動撮影ができなかった場合には、例えば目開きのみ検出するモードに設定を変更する。

例えば、本実施形態を第１の実施形態に適用した場合、図２のＳ２０５以降の処理が、図１６のフローチャートに示す処理になる。ただし、第１の実施形態と異なり、１＜Ｎ≦Ｔｈの場合でも、当初は目開きかつ笑顔を検出するモードが設定されるものとする。あるいは、図２におけるＳ２０３及びＳ２０４の処理を省き、初期値としてＮの値にかかわらず目開きかつ笑顔を検出するモードが設定されるものとしてもよい。

Ｓ１６０１において、表情検出部１０６は、目開きおよび笑顔を検出するモードに従って、プレビュー画像中の全ての主被写体に対して、目開きかつ笑顔であるかの検出を行う。このとき、最初に表情検出を開始する時刻をｔ＝０に設定する。

Ｓ１６０２で表情検出部１０６は、全ての主被写体において所望の表情、すなわち目開きかつ笑顔が検出されたかどうかの判定を行う。ここで、所望の表情が全ての主被写体において検出された判断された場合は、第１の実施形態と同様、表情検出部１０６から撮像部１０２へ撮像指示を与え、Ｓ２０８〜Ｓ２１０の処理を実行する。

一方、Ｓ１６０２において、１つ以上の主被写体において所望の表情が検出出来なかった場合、表情検出部１０６はＳ１６０３で経過時間を判定する。表情検出部１０６は、最初に表情検出を開始した時刻からの経過時間を所定値と比較し、所定時間が経過したか判定する。この所定値は、目開きかつ笑顔を同時に検出するモードによる自動撮影を試みる許容時間であり、予め経験的に設定される。また、この固定値は、主被写体の数Ｎが応じて動的に変更されてもよい。例えばＮが多いほど長い時間とする。

Ｓ１６０３において、所定時間が経過していない場合は、Ｓ１６０５で撮像部１０２によるプレビュー画像再取得を行う。一方、所定時間経過した場合、表情検出部１０６はその旨を表情検出モード制御部１０５へ通知する。

表情検出モード制御部１０５は、この通知に応答して、表情検出モードを、より緩い条件に対応するモードに変更する（Ｓ１６０４）。例えば、目開きかつ笑顔検出モードから目開きのみの検出モードに変更する。
その後は、第１の実施形態と同様、Ｓ２０５以降の処理を実行する。

なお、Ｓ２０５〜Ｓ２０８の処理を繰り返し、さらに所定時間経過しても全ての主被写体に対して目開き顔が検出できなかった場合には、Ｓ２０５における表情検出処理の結果に関わらず、強制的にＳ２０８へ進んで自動撮像するようにしてもよい。さらに、表情検出モードを変更する判断材料は、表情検出処理の開始からの経過時間でなく、表情検出を行った回数や、プレビュー画像の再取得回数であってもよい。

また、ここでは初期のモード設定を１段階緩和する例のみを説明したが、多段階に渡って順次表情検出の条件を緩和するように構成しても良い。また、検出すべき表情の種類を減らす以外に、条件を満たすべき主被写体の数を減じることによって条件を緩和するようにしても良い。

以上説明したように、本実施形態によれば、被写体が多人数の場合においても、最も理想的な条件が満たされないか試行したあとで、状況に応じて順次条件を緩和する。従って、いつまで経っても自動撮影が行われないといった問題の発生を抑制しながら、可能な範囲で理想的な画像の取得を行うことが可能となる。

本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラの構成例を示す図である。 本発明の第１の実施形態に係るデジタルカメラの全体的な処理の流れについて示すフローチャートである。 本発明の第１の実施形態で利用可能な顔検出技術を示す図である。 本発明の第１の実施形態における顔領域サイズの定義の例を示す図である。 本発明の第１の実施形態における顔領域サイズの定義の別の例を示す図である。 本発明の第１の実施形態における表情検出モード変更処理を示すフローチャートである。 本発明の第１の実施形態における表情検出モード判定処理を示すフローチャートである。 顔の表情の時間変化例を示す図である。 図８に対応する表情遷移図である。 本発明の第２の実施形態に係るデジタルカメラにおける表情検出モード変更処理を示すフローチャートである。 本発明の第２の実施形態における表情検出モード判定処理を示すフローチャートである。 本発明の第２の実施形態において顔の向きを示すパン方向およびチルト方向の角度を示す図である。 本発明の第２の実施形態における主被写体の顔の向きを求める処理を模式的に示した図である。 本発明の第３の実施形態における撮像処理と記憶処理について示すフローチャートである。 本発明の第３の実施形態の変形例において表示されるユーザインタフェースの例と、デジタルカメラの外観例を示す図である。 本発明の第４の実施形態に係るデジタルカメラの主要な処理の流れについて示すフローチャートである。

Claims (8)

1. 被写体を撮像し、画像を生成する撮像手段と、
   前記画像から予め定めた種類の被写体を検出する被写体検出手段と、
   前記検出された被写体についての情報に基づいて、前記検出された被写体に関して検出すべき状態を決定する検出状態決定手段と、
   前記検出された被写体について、前記決定された状態にあるか否かを判別し、前記決定された状態にあると判別された場合に、前記撮像手段に撮像指示を出力する判別手段とを有し、
   前記被写体についての情報が、前記被写体の数もしくは前記被写体の向きについての情報であることを特徴とする撮像装置。
2. 前記検出状態決定手段が、前記検出された被写体の複数に対して検出すべき状態を決定するとともに、前記検出された被写体の数が多いほど、前記検出すべき状態の内容を緩和することを特徴とする請求項１記載の撮像装置。
3. 前記検出状態決定手段が、前記検出された被写体の各々について個別に検出すべき状態を決定するとともに、前記向きが正面でない被写体に対しては、前記向きが正面の被写体よりも緩和した内容の前記検出すべき状態を決定することを特徴とする請求項１記載の撮像装置。
4. 前記検出された被写体が予め定めた数よりも多い場合、前記撮像手段が前記撮像指示に応答して複数回連続して撮像を行うとともに、
   前記撮像手段により得られたの複数の画像の各々から検出された被写体の状態に基づいて、前記複数の画像から１つを選択する選択手段をさらに有することを特徴とする請求項１記載の撮像装置。
5. 前記選択手段が、前記複数の画像のうち、予め定めた状態にある被写体を最も多く含む画像を選択することを特徴とする請求項４記載の撮像装置。
6. 前記検出状態決定手段が、前記検出された被写体の複数に対して検出すべき状態を決定するとともに、予め定めた時間が経過しても前記判別手段により前記撮像指示が出力されない場合には、前記検出すべき状態の内容を緩和することを特徴とする請求項１記載の撮像装置。
7. 前記予め定めた種類が人物であり、前記検出すべき状態が、目開き状態及び顔の表情の少なくとも一方であることを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
8. 被写体を撮像し、画像を生成する撮像手段を有する撮像装置の制御方法であって、
   前記画像から予め定めた種類の被写体を検出する被写体検出ステップと、
   前記検出された被写体についての情報に基づいて、前記検出された被写体に関して検出すべき状態を決定する検出状態決定ステップと、
   前記検出された被写体について、前記決定された状態にあるか否かを判別し、前記決定された状態にあると判別された場合に、前記撮像手段に撮像指示を出力する判別ステップとを有し、
   前記被写体についての情報が、前記被写体の数もしくは前記被写体の向きについての情報であることを特徴とする撮像装置の制御方法。

Images