JP2007074141A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 被写体に応じたよりきめ細かな撮影制御及び画像処理の制御が可能な撮像装置を提供すること。
【解決手段】 被写体情報記憶部１２３に、被写体の分類と、撮影制御情報とを対応付けて記憶する。そして、本撮影前に取得した撮影画像中に含まれる被写体を、被写体検出部１２１により検出し、検出された被写体を分類部１２２で分類する。そして、被写体情報記憶部１２３から対応する撮影制御情報を読み出し、この撮影制御情報を用いて、本撮影時の撮影条件を制御する。
【選択図】 図１

Description

本発明は、被写体検出手段や被写体認識手段によって、被写体を検出あるいは予め登録してある被写体との照合を行い、その結果に基づいて予め記憶されているカメラ設定条件や制御パラメータに基づくカメラ制御を行う装置・手法に関するものである。

近年、撮影画像の中から特定の被写体を検出する被写体検出・認識技術が実現化されつつある。またこの被写体検出・認識技術のデジタルカメラへの応用する技術も提案されている。例えば、特許文献１では、撮影画像から顔画像を検出した場合、自動的に人物撮影モードに移行するデジタルカメラが提案されている。また、特許文献１では、複数人数の人物が検出された場合には検出された人物の距離あるいはデフォーカス量を測定し、全員が被写界深度に入るように絞り制御を行うことも開示されている。

また、特許文献２では、被写体の動き、距離、撮影倍率、顔の検出有無、時刻等の条件に応じて、スポーツモードやポートレートモード等の複数の撮影モードの中から最適な撮影モードを自動的に設定するカメラが提案されている。

さらに、特許文献３では、顔画像について、人種、年齢、性別のいずれかについて推論処理し、推論結果に基づいて顔画像への補正内容を決定することで、被写体に適した画像補正（例えば肌色調整）を行なうことが提案されている。

特開２００３−０９２６９９号公報 特開２００３−３４４８９１号公報 特開２００４−２４６４５６号公報

これらの従来技術はそれぞれに利点を有しているが、被写体に適した撮影パラメータの設定という観点からすると、改良の余地がある。例えば、まだ瞳孔の制御が未熟な赤ん坊の撮影時には、ストロボ光を照射しないで撮影を行ないたいとする。この場合、特許文献１記載のデジタルカメラでは、顔画像の検出により人物撮影モードに設定されることになるが、ストロボの使用有無に関して制御はなされていない。

また、特許文献２記載のカメラでも、顔画像が検出され、撮影倍率が予め定められた値Ｃより大きければ、ポートレートモードに自動設定設定され。しかし、特許文献２記載のカメラでは、被写体の瞳にキャッチライトを入れるため、ポートレートモードではストロボが強制発光される。撮影倍率が値Ｃ以下であればノーマルモードとなるが、その際には明るさに応じたストロボ発光がなされる。

また、特許文献３記載の発明は、撮影後の画像に対する補正・調整を目的としたものであるため、撮影時のストロボ発光に関する制御については何ら考慮されていない。従って、これら特許文献に記載の技術では、赤ん坊が被写体である場合にストロボ発光を行なわないという制御は実現できない。

また、特許文献１〜３に記載されるような、被写体の検出結果や、検出された被写体の分類結果に基づく撮影モードの変更や画像処理の変更では、一般被写体に対する代表的な適正撮影モードの選択や画像処理が限度である。つまり、被写体のより詳細な区別に基づく（例えば個人別の）制御を行なうことは出来ない。例えば「同世代の女性の中でも特に色が白くそれでいて派手目が好き」な特定人の撮影時には、露出条件はややオーバー目（＋０．８ＥＶ程度）で撮影し、補正条件は肌色部分はやや赤みをつけ、美肌モードをやや強めにするといった制御は出来ない。また、「顔のほほの部分にそばかすがある」特定人を撮影する際には、そのエリアだけは傷補正をやや強めにかけ、全体のコントラストは一般より弱くするといった制御も出来ない。このように、個々の被写体に特有な撮影条件やパラメータを用いた撮影、並びに画像処理を行うことは不可能であった。

また、上述の特許文献１〜３では、人物が被写体である場合を主眼としており、例えば山・花・動物といった人物以外の被写体の撮影又は撮影画像に対しては、特に撮影条件や画像処理条件の制御は行なわれない。

さらに撮影時に複数の被写体が存在した場合に、どの被写体あるいはどのグループを基準にして撮影モードを設定したり画像処理を行ったりするかについては触れられていない。

撮影時に複数の被写体が存在した場合の対処として、予め特定のルールを設定して置くことが考えられる。例えば「赤ん坊を抱いた母親」が被写体として検出された場合には、赤ん坊を優先した撮影条件での撮影や画像処理をするといったルールである。しかし、「赤ん坊を抱いた母親」を撮影する場合でも、このルールに基づかない撮影、画像処理の実施を希望する場合もある。従って、ルールが定まっていても、それを少なくとも一時的に無効とすることが可能であることが好ましい。

また撮影条件、画像処理の設定を固定して様々な被写体の撮影を行いたい場合、カメラが被写体検出した情報を基に自動的に撮影条件や画像処理条件を設定することを中止させたい場合も存在する。

本発明は、このような従来技術の問題点に鑑みなされたものであり、被写体に応じたよりきめ細かな撮影制御及び画像処理の制御が可能な撮像装置及びその制御方法を提供することを目的とする。

上述の目的は、被写体の分類と、撮影制御情報とを対応付けて記憶する記憶手段と、本撮影前に取得した撮影画像中に含まれる被写体を検出する検出手段と、検出された被写体を分類し、記憶手段から対応する撮影制御情報を読み出す分類手段と、読み出した撮影制御情報を用いて、本撮影時の撮影条件を制御する制御手段とを有することを特徴とする撮像装置によって達成される。

また、上述の目的は、特定の被写体と、撮影制御情報とを対応付けて記憶する記憶手段と、本撮影前に取得した撮影画像中に含まれる被写体を検出する検出手段と、検出された被写体が、特定の被写体であるかどうかを認識し、特定の被写体であれば、記憶手段から対応する撮影制御情報を読み出す認識手段と、読み出した撮影制御情報を用いて、本撮影時の撮影条件を制御する制御手段とを有することを特徴とする撮像装置によっても達成される。

また、上述の目的は、被写体の分類と、撮影制御情報とを対応付けて記憶する記憶手段を有する撮像装置の制御方法であって、本撮影前に取得した撮影画像中に含まれる被写体を検出する検出ステップと、検出された被写体を分類し、記憶手段から対応する撮影制御情報を読み出す分類ステップと、読み出した撮影制御情報を用いて、本撮影時の撮影条件を制御する制御ステップを有することを特徴とする撮像装置の制御方法によっても達成される。

また、上述の目的は、特定の被写体と、撮影制御情報とを対応付けて記憶する記憶手段を有する撮像装置の制御方法であって、本撮影前に取得した撮影画像中に含まれる被写体を検出する検出ステップと、検出された被写体が、特定の被写体であるかどうかを認識し、特定の被写体であれば、記憶手段から対応する撮影制御情報を読み出す認識ステップと、読み出した撮影制御情報を用いて、本撮影時の撮影条件を制御する制御ステップとを有することを特徴とする撮像装置の制御方法によっても達成される。

このような構成により、本発明によれば、被写体に応じたよりきめ細かな撮影制御及び画像処理の制御が可能となる。

以下、図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラの構成例を示すブロック図である。

図１において、本実施形態のデジタルカメラは、カメラ本体１０１、撮影レンズ１０２からなる。撮影レンズ１０２内にはフォーカスレンズ等の結像光学系１０３と絞り１０４が設けられている。主ミラー１０５、サブミラー１０６、焦点検出部１０７、シャッター１０８、撮像素子１０９はカメラ本体１０１に設けられる。ＡＤ変換部１１０は、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子１０９からの画像信号をＡＤ変換する。撮像処理部１１１は、ＡＤ変換部１１０の出力する画像データを基に、画素情報の各種補正、ＲＧＢ値からＹＣ値への変換、ホワイトバランス処理、ガンマ補正処理、信号補間処理等々を行う。記録部１１２は、撮像処理部１１１が処理した画像データを、例えばメモリカード等の記録媒体に記録する。ファインダ光学系１１３は、撮影レンズ１０２からの光学像を光学ファインダへ導く。

測光部１１４は、ファインダ光学系１１３内にあり、被写体の明るさを測定する。露出制御部１１５は、測光部１１４の測光結果を基に、絞り１０４やシャッター１０８を制御して露出制御を行う。ストロボ部１１６はストロボの充電・発光を行う。撮影モード設定部１１７は、ポートレートモードあるいはアクションモードといった撮影モードや、発光禁止モードあるいはスローシンクロモードといったストロボ発光モードを設定するための入力装置である。一般にはダイヤルやボタンが用いられる。入力部１１８は、不図示のメインスイッチやレリーズスイッチ等である。制御部１１９は、例えばＣＰＵとその制御プログラムを格納するＲＯＭ、ワークエリアとして使用するためのＲＡＭを含み、制御プログラムを実行することによりデジタルカメラを構成する各部を制御する。上述のカメラ本体１０１から制御部１１９までを撮影部とする。

被写体検出部１２１は、被写体画像内に所定の被写体が存在するか否かを検出する。なお、被写体画像としては、撮影部によって本撮影された画像、ライブビュー（電子ビューファインダ）モード等で本撮影前に撮影部によって撮影された画像、又は撮影部以外から取得した画像のいずれであってもよい。

分類部１２２は、被写体検出部１２１によって検出された被写体を、予め定められたカテゴリー又は分類項目のいずれかに分類する。被写体制御情報記憶部１２３は、分類部１２２による分類、あるいは後述する被写体認識部１２５によって特定被写体と認識された内容、に対応した撮影制御情報を格納する。

被写体情報記憶部１２４は被写体画像の中から特定被写体を認識・照合するための情報を格納する。被写体認識部１２５は、被写体情報記憶部１２４に格納された情報を基に、被写体画像より特定の被写体が存在するか否かを認識・照合する。無効部１２６は、撮影制御情報記憶部１２３に記憶される撮影制御情報の利用の有効／無効情報を記憶する。この有効／無効情報は、例えば入力部１１８に含まれるスイッチの操作により設定される。選択部１２７は、被写体検出部１２１によって検出された被写体が複数存在した場合に、ユーザーによる入力部１１８の操作に応じて所定の被写体を選択する。

表示部１２９は、例えばＬＣＤであり、デジタルカメラの各種設定を閲覧又は設定するためのメニュー画面、各種メッセージ、撮影画像等の表示に用いられる。また、上述した電子ビューファインダとしても機能する。

図２は、被写体の分類と対応する撮影制御情報とを記憶した撮影制御情報テーブルの例を示す図である。図２のテーブルは、撮影制御情報記憶部１２３内に格納されている。
同図において、第１段階の分類項目（分類１）は、人・動物・乗り物・・・等の大まかな被写体の種別である。そして、第２段階での分類項目（分類２）は、第１分類を細分化した分類である。すなわち、図２の例では、分類１が「人」の場合には性別であり、「動物」の場合には犬/猫・鳥・馬・・・等々である。また、分類１が「乗り物」の場合にはレーシングカー・列車（蒸気機関車）・飛行機・船・・・等々である。分類１が「人」の場合は、さらに第３段階の分類項目（分類３）として、年齢が性別（分類２）毎に設けられている。人の性別や年齢を判別する方法としては、例えば、細井聖、瀧川えりな、川出雅人による「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」、第８回画像センシングシンポジウム講演論文集、画像センシング技術研究会、２００２年７月、に開示されているものがある。なお、図２の例では年齢を１０才刻みで分類しているが、これは一例であり、例えば２０〜４０才はひとまとめにするなどしてもよい。

また、撮影制御情報（設定１〜）としては、露出補正情報・露出制御プログラム線図・ストロボ発光の有無・ストロボ調光制御量・自動焦点制御方式・美肌モード・コントラスト・色、等々がある。

なお、図２に示す分類項目及び撮影制御情報は一例であり、他の分類項目や撮影制御情報が用いられても良い。また、分類項目、撮影制御情報ともに、ユーザーがその内容と種別を設定、変更可能に構成される。ユーザーは例えば入力部１１８を操作し、メニュー画面を用いて分類項目や撮影制御情報の設定、変更を行なうことができる。

図１０は、図２に示すテーブルの変更をユーザーが行なうためのユーザーインタフェース画面の例を示す図である。図１０の画面は入力部１１８の操作により表示される。図１０において、左列は項目であり、入力部１１８に含まれる方向キー９１〜９４のうち、上下キー９１、９３の操作によりいずれか１項目が選択される。図１０では「露出補正」項目が選択されている。

そして、左右キー９２、９４の操作により、選択されている項目の設定値が変更される。図１０の例では、左右キー９２、９４の操作により、露出補正値が予め定められたステップで増減する。また、ＳＥＴボタン９５の押下により、選択項目の削除が、ＦＵＮＣボタン９６の押下により、新規項目の追加が可能である。新規項目の追加が指示された場合、図示しない新規項目設定画面において、予め定められた項目候補の中から追加する項目とその値を選択することになる。

例えば女の赤ちゃん（０〜１才とする）が、被写体検出手段１２１により被写体画像から検出されると、分類部１２２によって、分類１−「人」、分類２−「女性」、分類３−「０〜１才」と分類され、対応する制御条件が「設定１０」となる。ここでは、「設定１０」の撮影制御情報として、露出補正＋０．８段・ストロボオフ・美肌処理中レベル・肌色重視の現像、等が登録されている。また、航空機が被写体検出部１２１により検出されると、分類部１２２によって分類１−「乗り物」、分類２−「航空機」と分類され、「設定２５」が制御条件となる。ここでは、高速（ＴＶ（シャッタースピード）優先気味）プログラム線図、ストロボオフ、マルチＡＦかつ無限優先の被写体追尾を行い、コントラストを若干強調する、等が撮影制御情報となる。

次に、本実施形態のデジタルカメラの動作について、図３のフローチャートを用いて説明する。
まず制御部１１９は、入力部１１８に含まれる不図示のレリーズスイッチが半押しされたかどうかを判定する（Ｓ１００）。

Ｓ１００にてレリーズスイッチの半押しが検出されると、次に被写体検出部１２１にて被写体の検出を行う（Ｓ１０１）。すなわち、所謂電子ビューファインダを実現する際に行なうように、本撮影前にシャッター１０８を開き、撮影光学系１０３を介して撮像素子１０９に結像した被写体像を画像信号として取り出す。そして、この画像信号をＡＤ変換部１１０によってデジタル画像データに変換し、撮像処理部１１１にて現像処理を行い、被写体画像を得る。なお、撮像処理部１１１において、表示部１２９の解像度に合わせて縮小した表示用画像を被写体画像として生成しても良い。

この被写体画像に対し、被写体情報記憶部１２４に格納される情報に基づき、被写体検出部１２１で被写体検出を行なう。また、被写体の位置情報も併せて検出する。被写体検出部１２１が被写体を検出する方法に特に制限はないが、例えば、被写体画像のエッジ成分を抽出し、被写体の種類毎に登録された特徴点データやパターンなどを用いてパターンマッチングを行なうことによって検出できる。もちろん、色情報を用いたマッチングなど他の方法を併用することも可能である。なお、ここで検出される被写体は、人物のみでなく、図２において分類１で示される対象すべてを検出する。

Ｓ１０２にて被写体が検出された場合には、今度は複数の被写体が検出されたかどうかを判断する（Ｓ１０４）。
Ｓ１０４にて、複数の被写体が検出されない、すなわち被写体が１つのみ検出された場合には、Ｓ１０５に進み、分類部１２３によって被写体を分類する。そして、分類結果に応じた撮影制御情報（制御パラメータ）を読み出し（Ｓ１０６）、Ｓ１１０へと進む。

一方、Ｓ１０４にて複数の被写体が検出された場合は、Ｓ１０７に進み、分類部１２２にて複数の被写体のそれぞれを分類し（Ｓ１０７）、それぞれの被写体の分類結果に応じた撮影制御情報の読み出しを行う（Ｓ１０８）。その際に、例えば複数の人物を撮影した場合にはもちろん複数の被写体検出と判断されるが、その他にも人物と列車（蒸気機関車）であったり、鳥と船であっても複数の被写体検出と判断される。

そして、各被写体の分類結果に応じて、予め定められたルールに則って、最終的な撮影制御情報の決定を行う（Ｓ１０９）。この予め定められたルールとしては、例えば以下のようなものを例示することができる。
・それぞれの被写体分類に対応する撮影制御情報の平均値を用いる。
・各撮影制御情報における値のうち、最も多く登場する値を用いる。
・特定の被写体の組み合わせに対応する撮影制御情報を予め記憶しておき、その値を用いる。
・分類毎に重み付け係数を設定しておき、重み付けを反映した演算結果を用いる。
・分類毎に優先順位を付与しておき、優先順位のもっとも高い分類の撮影制御情報を用いる。
なお、これらのルールは、撮影制御情報（撮影制御パラメータ）の種類毎に定めることが可能である。

そして検出された被写体の位置情報を用いて、ＡＦ領域及び測光領域を設定する。さらにＳ１０９で決定された撮影制御情報、あるいはＳ１０６で読み出された撮影制御情報に従い、露出制御・ＡＦ制御・ストロボ制御・現像パラメータ／アルゴリズムの設定等の撮影準備動作を行う（Ｓ１１０）。

その後、ユーザーが不図示のレリーズスイッチを全押しし、本撮影の指示を行なったかどうかをチェックする（Ｓ１１１）。Ｓ１１１にてレリーズスイッチが全押しされていない場合には、Ｓ１００に戻って上述の処理を繰り返す。

Ｓ１１１にてレリーズスイッチの全押しが検出されると、制御部１１９はＳ１１０までの撮影準備動作で取得した情報を基に撮像部の各構成要素を制御し、本撮影動作を行う（Ｓ１１２）。

本撮影が終了すると、本撮影画像データに対して被写体検出部１２１を適用して再度被写体検出を行う（Ｓ１１３）。これは、被写体が動いている場合はＳ１０１にて検出された被写体の位置情報と、本撮影時の被写体の位置とが一致しない場合があるためである。そして、被写体が存在しない場合には（Ｓ１１４，Ｙ）、撮像処理部１１１にて通常の現像処理を行い（Ｓ１１５）、被写体が存在した場合には（Ｓ１１４，Ｎ）、Ｓ１１０にて使用した撮影制御情報及びＳ１１３で検出された被写体の位置情報に基づいて現像処理を行う（Ｓ１１６）。

また、Ｓ１０１にて被写体検出を行った結果、分類１に該当する被写体がないと判断された場合には（Ｓ１０２，Ｎ）、通常の撮影準備動作を行う（Ｓ１０３）。そして、ユーザーが不図示のレリーズスイッチを全押しし、本撮影の指示を行なったかどうかをチェックする（Ｓ１１８）。レリーズスイッチの全押しが検出されると、制御部１１９はＳ１０３の撮影準備動作で取得した情報を基に撮像部の各構成要素を制御し、本撮影動作を行う（Ｓ１１９）。そしてステップＳ１１６に進む。
そして、現像した画像データを記録部１１２で記録し（Ｓ１１７）、一連の動作を終了する。

以上のように本実施形態によれば、予め被写体の種類やその詳細な分類に応じて撮影処理や撮影画像に対する画像処理を制御する撮影制御情報を登録しておく。そして、被写体画像から予め定められた被写体を検出し、検出された被写体に対応する撮影制御情報を用いて撮影処理を行なう。このため、被写体に応じて適切な撮影や画像処理を行なうことが可能となる。

また、撮影画像中に被写体が複数検出された場合にも、予め定めた、優先度や頻度等の特定のルールに基づいて、適切な撮影並びに画像処理が実行されるように撮影制御情報を設定することが可能である。

なお、本実施形態では、ライブビュー表示（電子ビューファインダ表示）に用いる画像を被写体画像として用いる場合を説明したが、上述のように、被写体画像としては他の方法で取得した画像を利用可能である。すなわち、本撮影前に取得した、撮影画像に相当する画像であれば、画像の取得部位や取得方法は任意である。例えば撮影光学系と等価な画像情報を得られる別の光学系からの被写体画像を基に被写体検出を行ってもよい。

また、使用する被写体画像も表示用画像に限定されない。例えばリサイズしない画像であっても被写体検出用にリサイズした画像であっても、被写体画像として用いることができる。更に、被写体検出は撮影画像の全領域に対して行っても、特定領域に限定して行ってもよい。

また、撮影制御情報は、図２に示された撮影制御情報に限定されない。本撮影時の撮影条件（撮影動作）を制御するための情報や、本撮影画像に対する画像処理（現像処理等）を制御するための情報であれば、パラメータやアルゴリズムを含む、どのような情報であってもよい。

＜第２の実施形態＞
第１の実施形態は、被写体画像から被写体を検出、分類し、分類結果に基づいて撮影及び画像処理を制御するものであった。本実施形態は、被写体画像から検出された被写体が予め登録されている特定の被写体であるか否かを認識、照合し、予め登録した被写体に対して設定された撮影制御情報を用いて撮影及び画像処理を制御する。

図４は、本実施形態において用いる撮影制御情報テーブルの例を示す図である。この撮影制御情報もまた撮影制御情報記憶部１２３に記憶しておく。また、本実施形態では、第１の実施形態よりもさらに被写体を細かく認識し、被写体が特定の人物であるかどうか判定するので、被写体情報記憶部１２４には、顔認識を行なうための情報（例えば特徴点データなど）が個人別に記憶されている。この顔認識用の情報は、過去に撮影した画像から予め他のアプリケーション等で生成し、登録しておく。

図４に示す撮影制御情報テーブルには、個人名（分類１）に対応して、本人との関係および複数検出時の優先度、撮影制御情報（撮影制御パラメータ）が登録されている。このテーブルを基に、検出され認識された被写体に対応した撮影制御パラメータを読み出し、設定する。

優先度は、本人に対しては最高優先度である優先度１とし、その家族である妻・子供１・子供２に対しては優先度２、父・母は優先度３とし、その他友人は優先度４、学校関係者・会社関係の人は優先度５と設定している。また、優先度はさらに細分化可能であり、例えば優先度２−１は優先度２−２よりも高い優先度を有する。

また、ここで、子供２はまだ生まれて間もない赤ん坊であるとする。そのため、撮影制御パラメータとしては露出補正＋０．３段、まだあまり動くことができないのでＡＶ優先プログラム線図とし、ストロボはオフ、美肌モードは弱くかけて肌色優先の絵づくりを行う、といった値に設定されている。

また、本実施形態では個人毎に撮影制御パラメータを登録可能であるため、個人に特有の例えば傷・ほくろ部分の補正パラメータ（傷補正パラメータ）が含まれており、撮影後の画像処理において傷補正パラメータに基づく画像補正を行なう。従って、傷やほくろが目立たない画像が得られる。

また、個人の好みを反映することも可能である。ここで、人物Ｈは派手目な色調が好きであるため、すべての撮影制御パラメータが派手目な色調を実現するように設定されている。
以上のように、図４に示すテーブルを用いる事で、登録された被写体が認識・照合された場合には、被写体毎に登録された撮影制御情報に基づく撮影制御・現像処理がなされる。

図４における各項目に登録された値は、ユーザーによって設定・変更可能である。また、値だけでなく、登録人物名・本人との関係・優先度、あるいは諸々の撮影制御情報の項目についても追加、削除及び修正することが可能である。

図５（ａ）は、被写体画像の１例である。この画像には登録人物が２名（人物Ｃ（子供１）と人物Ｆ（母））、未登録人物が１名存在している。
これらの被写体と撮影制御情報との関係を図５（ｂ）に示す。
人物Ｃ（子供１）は露出補正＋０．３段、動きが活発なのでシャッタースピード優先プログラム線図（ＴＶ優先Ｐ）、ストロボはオン、ＡＦはマルチＡＦで追尾、弱い美肌モード、やや肌色中心の絵作りが設定される。また、特に傷補正等の特別な処理はなしと設定されている。

人物Ｆ（母親）は、露出補正＋０．２段、ポートレート風に撮影したいので絞り優先プログラム線図（ＡＶ優先Ｐ）、ストロボはオン、ＡＦはカメラ設定（その時点での設定値に従う）、中程度の美肌モード、やや肌色中心の絵作りが設定される。また、傷補正としてしわを目立たなくするための処理が設定される。特に目じりのしわにはやや強めの傷補正を行う。

未登録人物については、女性で年齢が１０歳から２０歳の間であろうと検出されたので、図２の設定１２が選択されている。すなわち、露出補正＋０．３段、ＡＶ優先Ｐ、ストロボはオン、ＡＦはカメラ設定、コントラストは若い女性用、中程度の美肌モード、やや肌色中心の絵作りが設定される。若い女性に対しては、若い女性の顔用画質パラメータを使用することで、顔部の肌を滑らかに表現する。また色補正は、例えば白味がかった肌は僅かに赤味が強い傾向があるので、ＣｒゲインをＣｂゲインより弱く設定することで赤味を抑えた肌色再現を行なう。また、若い世代に対しては、色を強くすることで健康的な肌色再現を行なう。年齢の高い世代に対しては、肌色を少し抑えることにより自然な肌色再現を行なう。黄味がかった肌や黒味がかった肌に対してもその色に最適な画質パラメータを予め用意する。

このように、図５（ａ）に示すような被写体画像に対しては、図５（ｂ）に示すような撮影制御情報が読み出されることとなる。なお、後述するように、複数の登録被写体が検出された場合には、個々の登録被写体に対応する撮影制御情報から、最終的に用いる撮影制御情報の決定を行なう。

図６は、第２の実施形態のデジタルカメラの動作を示すフローチャートである。図６において、図３と同じ処理には同じ参照数字を付してある。
図６において、第１の実施形態と同様、Ｓ１００〜Ｓ１０２において、被写体検出及び被写体の有無についての判断を行なう。Ｓ１０１にて被写体検出を行った結果、該当する被写体がないと判断された場合には（Ｓ１０２，Ｎ）、通常の撮影準備動作を行う（Ｓ１０３）。そしてＳ１１１へ進む。

Ｓ１０２にて被写体が検出された場合には、次に被写体情報記憶部１２４より予め登録されている被写体情報を読み出し（Ｓ２０４）、被写体の認識・照合を行う（Ｓ２０５）。ここでは、例えば、個人別に登録されている特徴点データと、被写体画像から検出された顔画像中の特徴点とを順次照合することにより、顔認識を行なう。なお、顔認識に関しては様々な方法が知られており、本発明においても任意の顔認識技術を利用することが可能である。

Ｓ２０５にて照合した結果、登録された被写体がいないと判断された場合には（Ｓ２０６，Ｎ）、第１の実施形態で説明したような、被写体の分類と分類結果に基づいた撮影制御情報の読み出しを行う（Ｓ１０５〜Ｓ１０６）。なお、図６では被写体が複数ある場合の処理について記載していないが、複数の被写体が検出されている場合にはＳ１０７〜Ｓ１０９で説明した処理を行ない、最終的な撮影制御情報を決定する。

一方、Ｓ２０６において登録された被写体があると判断された場合には、Ｓ２０９で、登録された被写体が複数検出されたかどうかを判断する。登録された被写体が１つだけ検出された場合（Ｓ２０９，Ｎ）には、登録された被写体に対応した予め設定されている撮影制御情報を読み出し（Ｓ２１０）、Ｓ１１０へ進む。

Ｓ２０９にて登録された被写体が複数検出された場合には、図４のテーブルから個々の優先順位を読み出し（Ｓ２１１）、最も優先順位の高い被写体に対応する撮影制御情報の読み出しを行う（Ｓ２１２）。
そしてＳ１０６、Ｓ１２１又はＳ２１０で読み出されたれた撮影制御情報に従い、露出制御・ＡＦ制御・ストロボ制御・現像パラメータ／アルゴリズムの設定等の撮影準備動作を行う（Ｓ１１０）。

その後、ユーザーが不図示のレリーズスイッチを全押しし、本撮影の指示を行なったかどうかをチェックする（Ｓ１１１）。Ｓ１１１にてレリーズスイッチが全押しされていない場合には、Ｓ１００に戻って上述の処理を繰り返す。

Ｓ１１１にてレリーズスイッチの全押しが検出されると、制御部１１９はＳ１１０までの撮影準備動作で取得した情報を基に撮像部の各構成要素を制御し、本撮影動作を行う（Ｓ１１２）。以後は第１の実施形態と同様に処理を行なう。

また、Ｓ１０１にて被写体検出を行った結果、分類１に該当する被写体がないと判断された場合には（Ｓ１０２，Ｎ）、通常の撮影準備動作を行う（Ｓ１０３）。そして、ユーザーが不図示のレリーズスイッチを全押しし、本撮影の指示を行なったかどうかをチェックする（Ｓ１１８）。レリーズスイッチの全押しが検出されると、制御部１１９はＳ１０３の撮影準備動作で取得した情報を基に撮像部の各構成要素を制御し、本撮影動作を行う（Ｓ１１９）。そしてステップＳ１１６に進む。
そして、現像した画像データを記録部１１２で記録し（Ｓ１１７）、一連の動作を終了する。

従って、図５（ａ）の被写体画像が得られたとすると、Ｓ１０１にて被写体３名が検出されるため、Ｓ２０４、Ｓ２０５で、被写体３名のうち２名が登録された被写体であることが判別される。そして、Ｓ２０６、Ｓ２０９、Ｓ２１１と進み、最も優先度の高い人物Ｃ（子供１）の撮影制御情報が選択され、Ｓ２１２で読み出される。そして、露出補正＋０．３、ＴＶ優先Ｐ、ストロボはオン、ＡＦはマルチＡＦが撮影準備が行なわれる（Ｓ１１０）。本撮影の指示があれば、ストロボ撮影を行ない（Ｓ１１２）、撮影画像に対し、弱い美肌モード、やや肌色中心の絵作りを行うような画像処理（現像処理）が実行される（Ｓ１１５）。

以上のように本実施形態によれば、個人別に撮影制御情報を登録しておき、登録された個人が被写体画像に含まれる場合には、その特定の個人に対応して登録された撮影制御情報に基づいて撮影や画像処理を実行する。そのため、分類によって撮影制御情報を決定するよりもさらにきめ細かな撮影制御を行なうことが可能である。

また、登録された被写体が検出されない場合には、第１の実施形態と同様に分類に応じた撮影制御情報を適用するため、登録された被写体が検出されなくても、適切な撮影及び画像処理を行なうことができる。

また、登録された被写体には優先度が付与してあるため、同一画像中に複数の登録済み被写体が検出された場合でも、優先度の高い被写体に最適な撮影制御及び画像処理制御を行うことが可能となる。

また、本実施形態においても第１の実施形態と同様、本撮影前に取得した、撮影画像に相当する画像であれば、任意の方法で取得した画像を被写体画像として利用可能である。また、使用する被写体画像も表示用画像に限定されない。更に、被写体検出は撮影画像の全領域に対して行っても、特定領域に限定して行ってもよい。

また、撮影制御情報は、図４や図２に示された撮影制御情報に限定されない。撮影を制御するための情報や、本撮影画像の現像処理等の画像処理を制御するための情報であれば、パラメータやアルゴリズムを含む、どのような情報であってもよい。

また本実施形態では、登録された被写体が複数検出された場合には、登録者の優先度によって撮影制御情報を択一的に決定するようにしている。しかし、登録された被写体が複数検出された場合の撮影制御情報決定方法はこの方法に限定されない。

例えば、同じ上位優先度２を有する優先度２−１と優先度２−２の登録被写体が検出された場合には、撮影制御情報（の値又は強度）を平均化して用いることができる。ただし、露出制御方法のように平均化できない項目については、優先度の高い個人に設定された値を用いるようにすることができる。
また、例えば異なる上位優先度を有する、優先度２−１と優先度４−２の登録被写体が検出・認識・照合された場合にはこれらの優先度を反映した重み付け平均を用いることができる。

また、本実施形態では一般の被写体より登録被写体の優先度を高くしているが、撮影頻度等の条件によって逆転したり、一般被写体と登録被写体で共通の優先度を設け、検出された全ての被写体中で最も優先度の高い被写体の撮影制御情報を用いても良い。あるいは、また各撮影制御情報の項目毎に、最も多くの被写体に適した設定を用いるようにしてもよい。

＜第３の実施形態＞
第１及び第２の実施形態では、撮像装置が被写体を検出し、検出した被写体を分類又は識別し、分類又は識別結果に従って自動的に撮影制御情報を設定するものであった。これに対し本実施形態では、第１及び第２の実施形態で撮像装置が自動的に行なっていた処理にユーザーが介入することを許すものである。

本実施形態に係る撮像装置としてのデジタルカメラの動作を、図７及び図８のフローチャートを参照して説明する。図７、図８において、図３、図６と同じ処理ステップには同じ参照数字を付した。
まず制御部１１９は、入力部１１８に含まれる不図示のレリーズスイッチが半押しされたかどうかを判定する（Ｓ１００）。

Ｓ１００にてレリーズスイッチの半押しが検出されると、次に制御部１１９は被写体検出を無効にするモードが設定されているか否か、すなわち被写体に応じた撮影制御を行うか否かの判断を行う（Ｓ３０１）。本実施形態では初期設定で被写体に応じた撮影制御を行うように設定されているが、入力部１１８に不図示の被写体検出無効スイッチが設けられており、ユーザーが当該スイッチを用いて被写体検出の禁止及び禁止解除を設定することができる。被写体検出の禁止が設定された場合、無効部１２６にその旨が登録され、制御部１１９は被写体検出を利用した撮影制御や画像処理制御を行なわない。

Ｓ３０１にて被写体検出の禁止が設定されていると判断されると、通常の撮影準備動作を行い（Ｓ１０３）、Ｓ１１１に進む。
Ｓ３０１にて被写体検出が有効であると判断されると、次に第１の実施形態と同様、Ｓ１０１〜Ｓ１０２において、被写体検出及び被写体の有無についての判断を行なう。Ｓ１０１にて被写体検出を行った結果、該当する被写体がないと判断された場合には（Ｓ１０２，Ｎ）、通常の撮影準備動作を行う（Ｓ１０３）。そしてＳ１１８へ進む。

Ｓ１０２にて被写体が検出された場合には、登録されている撮影制御情報を利用する被写体を、ユーザーの意思によって設定モードとなっているかどうかを判断する（Ｓ３０５）。この、ユーザーによる被写体の選択を行なうかどうかは、予め入力部１１８によって設定されているものとする。

Ｓ３０５にて、ユーザーに選択させるモードが設定されていると判断された場合には、図９に示すように、被写体画像を、被写体の選択をユーザーが行えるようなユーザーインタフェース画面に含めて表示部１２９に表示する。この際、その中央部付近の被写体を選択して（Ｓ３０６）、選択した被写体が識別できるように特定のマーク９０や、検出された被写体の輪郭等を強調表示する（Ｓ３０７）。

そして、入力部１１８から、次の被写体の選択指示（図９では方向キー９２又は９４の押下）か、現在選択中の被写体の選択決定指示（図９ではＳＥＴボタン９５の押下）の入力を待つ（Ｓ３０８）。次の被写体の選択指示が入力された場合には、被写体画像内で検出された他の被写体を選択し（Ｓ３０９）、Ｓ３０７へ戻る。

以下Ｓ３０７からＳ３０９の動作を繰り返す。その際に選択すべき新たな被写体がなくなった場合には、初めの中央部被写体に戻るものとする。また被写体が１つしかない場合には、同じ被写体を選択する。

Ｓ３０８にて選択決定指示が入力された場合には、Ｓ３１０に進み、被写体情報記憶部１２４より予め登録されている被写体情報を読み出し（Ｓ３１０）、選択された被写体の認識、照合を行う（Ｓ３１１）。ここでの処理はＳ２０４、Ｓ２０５と同様である。

選択された被写体が登録された被写体であるか否かの判断を行い（Ｓ３１２）、登録された被写体であると判断された場合には、Ｓ２１０に進み、登録された被写体の撮影制御情報を読み出す。

Ｓ３１２にて登録された被写体ではないと判断された場合には、Ｓ３１４に進む。そして、選択された被写体を第１の実施形態のＳ１０５、Ｓ１０６と同様にして、分類部１２２で分類し（Ｓ３１４）、分類結果に応じた撮影制御情報を読み出し（Ｓ３１５）、Ｓ１１０へ進む。

Ｓ３０５で、ユーザーに被写体を選択させるモードが設定されていないと判断された場合には、Ｓ２０４〜Ｓ２０５において、第２の実施形態と同様にして被写体の認識・照合を行う。
そして、照合した結果、登録された被写体がいないと判断された場合には（Ｓ２０６，Ｎ）、第１の実施形態で説明したような、被写体の分類と分類結果に基づいた撮影制御情報の読み出しを行う（Ｓ１０５〜Ｓ１０６）。なお、図６では被写体が複数ある場合の処理について記載していないが、複数の被写体が検出されている場合にはＳ１０７〜Ｓ１０９で説明した処理を行ない、最終的な撮影制御情報を決定する。

Ｓ２０６にて登録された被写体が存在すると判断された場合には、Ｓ３２２に進み、登録された被写体に対応付けて記憶されている撮影制御情報の利用を無効とする設定がなされているかどうかを判断する。この、登録された被写体に対応した撮影制御情報を利用するか否かの設定は、予め入力部１１８によって設定されているものとする。撮影制御情報を利用しないとの設定がなされている場合には（Ｓ３２２，Ｙ）、Ｓ１０５へ進み、上述した処理を行なう。

一方、Ｓ３２２にて、登録された被写体の撮影制御情報を使用するとの設定がなされていると判断された場合には、Ｓ２０９〜Ｓ２１２で第２の実施形態と同様にして撮影制御情報の決定、読み出し処理を行ない、Ｓ１１０へ進む。
そしてＳ１０６、Ｓ２１２、Ｓ２１０又はＳ３１５で読み出されたれた撮影制御情報に従い、露出制御・ＡＦ制御・ストロボ制御・現像パラメータ／アルゴリズムの設定等の撮影準備動作を行う（Ｓ１１０）。

その後、ユーザーが不図示のレリーズスイッチを全押しし、本撮影の指示を行なったかどうかをチェックする（Ｓ１１１）。Ｓ１１１にてレリーズスイッチが全押しされていない場合には、Ｓ１００に戻って上述の処理を繰り返す。

Ｓ１１１にてレリーズスイッチの全押しが検出されると、制御部１１９はＳ１１０までの撮影準備動作で取得した情報を基に撮像部の各構成要素を制御し、本撮影動作を行う（Ｓ１１２）。そして、検出された被写体に対応して記憶されている撮影制御情報、を利用した画像処理の禁止が設定されているかどうかを判断する（Ｓ３２９）。この設定は、被写体検出の禁止設定と同じであって良いため、Ｓ３０１と同様にして判断することができる。

Ｓ３２９にて、被写体に対応した撮影制御情報の利用が禁止されていると判断された場合には、Ｓ１１６に進み、通常の現像処理を行い、現像した画像データを記録部１１２に記録し（Ｓ１１７）、一連の動作を終了する。

Ｓ３２９にて、被写体検出に対応した撮影制御情報の利用が許可されていると判断された場合には、Ｓ１１３に進み、以後第１の実施形態と同様の処理を行なう。

以上のように、本実施形態によれば、第１及び第２の実施形態による効果に加え、ユーザーが自分の意志で撮影や画像処理を制御することができる。

具体的には、
・被写体検出自体の有効、無効（すなわち、検出された被写体に対応した撮影制御情報の利用の有効、無効）
・優先度や頻度等、予め定められたルールに基づく撮影制御情報の決定の有効、無効
に関し、ユーザーの設定が可能であるため、ユーザーの好みにあった撮影制御情報の利用を実現することができる。

特に、入力部１１８に無効スイッチや無効モード設定スイッチ等を設けることによって、撮影時に簡単に特定の機能を無効あるいは有効にすることが可能となる。例えばユーザーが被写体情報に応じない撮影を行いたい場合、あるいはユーザーが選択した被写体に最適な撮影制御情報を利用した撮影を設定したい場合、その場で被写体検出の禁止を設定したり、被写体をユーザーが選択するモードを設定することができる。

なお、本実施形態では、被写体検出の有効／無効の設定を、入力部の被写体検出無効スイッチにより設定するものとして説明した。しかし、他の方法で設定するように構成してもよい。例えば、被写体検出無効スイッチを押しつづけている間だけ被写体検出を無効とする様にしても良い。この場合、被写体検出無効スイッチを押しながらレリーズボタンを半押し、全押しすることで、被写体検出を無効とした撮影が行なわれ、レリーズを全押しする前に無効スイッチをオフすると、被写体検出と検出結果に基づく撮影制御が有効となる。あるいは、カスタムファンクション機能を利用して、カメラ内の不揮発性メモリに被写体検出の無効／有効を設定しても、同様の効果を得ることができる。

また本実施形態では、ユーザーにより被写体を選択させる際、被写体画像中の中央部で検出された被写体から順に選択、提示するようにしている。しかし、これを右あるいは左から順番に選択、提示するようにしても、あるいは被写体認識・照合後にその登録されている被写体に付随した優先順番に従って順番に設定するようにしても、同様の効果を得ることができる。

さらに、ユーザーによる被写体選択の際に、そのやり方として択一的に選択するのではなく、複数の被写体を選択可能としても良い。この場合、複数の被写体に対応した撮影制御情報から、他の実施形態で説明したようなルールに従って最終的な撮影制御情報を求めればよい。また、ユーザーによる被写体選択時に、そのユーザーによる被写体選択の情報を無効にするスイッチ/モード等を設ける事によって、一時的に選択した被写体を変えるようにすれば、同様の効果を得るとともに更に使いやすい操作感も得ることができる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの構成例を示すブロック図である。 第１の実施形態における分類部１２２が分類する項目の例および、各分類項目の値に応じた撮影制御パラメータの例を表す図である。 本発明の第１の実施形態に係るデジタルカメラの動作を説明するフローチャートである。 第２の実施形態において用いる撮影制御情報テーブルの例を示す図である。 （ａ）は被写体画像の例を示す図、（ｂ）は（ａ）の被写体画像に対応する撮影制御情報を示す図である。 本発明の第２の実施形態に係るデジタルカメラの動作を説明するフローチャートである。 、 本発明の第３の実施形態に係るデジタルカメラの動作を説明するフローチャートである。 本発明の第３の実施形態において、ユーザーが被写体選択を行なう際に表示されるユーザーインタフェースの例を示す図である。 本発明の実施形態において、ユーザーが撮影制御情報テーブルを修正する際に表示されるユーザーインタフェースの例を示す図である。

Claims (13)

1. 被写体の分類と、撮影制御情報とを対応付けて記憶する記憶手段と、
   本撮影前に取得した撮影画像中に含まれる被写体を検出する検出手段と、
   前記検出された被写体を分類し、前記記憶手段から対応する前記撮影制御情報を読み出す分類手段と、
   前記読み出した撮影制御情報を用いて、前記本撮影時の撮影条件を制御する制御手段とを有することを特徴とする撮像装置。
2. 特定の被写体と、撮影制御情報とを対応付けて記憶する記憶手段と、
   本撮影前に取得した撮影画像中に含まれる被写体を検出する検出手段と、
   前記検出された被写体が、前記特定の被写体であるかどうかを認識し、前記特定の被写体であれば、前記記憶手段から対応する前記撮影制御情報を読み出す認識手段と、
   前記読み出した撮影制御情報を用いて、前記本撮影時の撮影条件を制御する制御手段とを有することを特徴とする撮像装置。
3. 前記記憶手段が、被写体の分類と撮影制御情報とを対応付けて記憶するとともに、
   前記検出された被写体を分類し、前記記憶手段から対応する前記撮影制御情報を読み出す分類手段とをさらに有し、
   前記制御手段が、前記検出された被写体に前記特定の被写体が含まれていない場合には、前記分類手段により読み出した前記撮影制御情報を用いて前記本撮影時の撮影条件を制御することを特徴とする請求項２記載の撮像装置。
4. 前記記憶手段が、前記被写体の分類に対応した優先度を記憶し、
   前記被写体が複数検出された場合、前記分類手段が読み出した、前記被写体の各々に対応する前記撮影制御情報から、最終的に用いる撮影制御情報を決定する第１の決定手段をさらに有し、
   前記第１の決定手段が、前記優先度に応じた重み付けに基づいて、前記最終的に用いる撮影制御情報を決定することを特徴とする請求項１又は請求項３記載の撮像装置。
5. 前記第１の決定手段が、最も高い前記優先度を有する被写体の分類に対応した、前記撮影制御情報を、前記最終的に用いる撮影制御情報として決定することを特徴とする請求項４記載の撮像装置。
6. 前記記憶手段が、前記特定の被写体に対応した優先度を記憶し、
   前記特定の被写体が複数検出された場合、前記認識手段が読み出した、前記特定の被写体の各々に対応する前記撮影制御情報から、最終的に用いる撮影制御情報を決定する第２の決定手段をさらに有し、
   前記第２の決定手段が、前記優先度に応じた重み付けに基づいて、前記最終的に用いる撮影制御情報を決定することを特徴とする請求項２乃至請求項４のいずれか１項に記載の撮像装置。
7. 前記第２の決定手段が、前記特定の被写体のうち、優先度の最も高いものに対応した前記撮影制御情報を前記最終的に用いる撮影制御情報として決定することを特徴とする請求項６記載の撮像装置。
8. 前記被写体が複数検出された場合に、前記撮影画像を、ユーザーが前記検出された被写体を確認及び選択可能に表示する表示手段をさらに有し、
   前記制御手段が、前記ユーザーによって選択された被写体に対応する前記撮影制御情報を用いて前記本撮影時の撮影条件を制御することを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
9. 前記撮影制御情報が、さらに前記本撮影により撮影された画像の処理を制御する情報を含むことを特徴とする請求項１乃至請求項８のいずれか１項に記載の撮像装置。
10. 前記記憶手段に記憶される情報をユーザーが変更可能であることを特徴とする請求項１乃至請求項９のいずれか１項に記載の撮像装置。
11. 前記撮影画像が、電子ビューファインダ用に作成された表示用画像であることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の撮像装置。
12. 被写体の分類と、撮影制御情報とを対応付けて記憶する記憶手段を有する撮像装置の制御方法であって、
    本撮影前に取得した撮影画像中に含まれる被写体を検出する検出ステップと、
    前記検出された被写体を分類し、前記記憶手段から対応する前記撮影制御情報を読み出す分類ステップと、
    前記読み出した撮影制御情報を用いて、前記本撮影時の撮影条件を制御する制御ステップを有することを特徴とする撮像装置の制御方法。
13. 特定の被写体と、撮影制御情報とを対応付けて記憶する記憶手段を有する撮像装置の制御方法であって、
    本撮影前に取得した撮影画像中に含まれる被写体を検出する検出ステップと、
    前記検出された被写体が、前記特定の被写体であるかどうかを認識し、前記特定の被写体であれば、前記記憶手段から対応する前記撮影制御情報を読み出す認識ステップと、
    前記読み出した撮影制御情報を用いて、前記本撮影時の撮影条件を制御する制御ステップとを有することを特徴とする撮像装置の制御方法。

Images