JP2015080134A - 撮像装置 - Google Patents

Abstract

【課題】 複数の被写体領域が存在する場合に、それぞれの被写体領域が好適な状態である画像を生成すること。
【解決手段】 被写体像を撮像して画像データを生成する撮像部と、撮像部により生成された画像データに対する画像処理を行う画像処理部と、画像データにより示される画像の特徴量を算出し、特徴量に基づいて特定領域を検出する領域検出部と、領域検出部により複数の特定領域を検出した場合に、複数の特定領域のそれぞれにおける特徴量に基づいて、生成する画像データの数を決定する決定部と、撮像部と画像処理部との少なくとも一方を制御して、決定部により決定した数の画像データを生成させる制御部とを備える。
【選択図】 図１

Description

本発明は、撮像装置に関する。

従来、焦点調節に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体抽出の手法を用いた焦点調節を行う撮像装置が開示されている。特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節を行うことを可能としている。

特開２００９−０６９７４８号公報

ところで、被写界内に複数の被写体が存在する場合、上述した被写体抽出の手法により複数の特定領域（例えば、被写体領域や注目領域など）が抽出される。このような場合には、ユーザが撮影対象としている特定領域を判定することは難しく、一般的に、至近側の特定領域をＡＦ対象としている。しかし、一概に至近側の特定領域をＡＦ対象とするのが正しくない場合もある。

本発明は、前記の点に鑑みてなされたものであり、複数の特定領域が存在する場合に、それぞれの特定領域が好適な状態である画像を生成することを目的とする。

本発明の撮像装置は、被写体像を撮像して画像データを生成する撮像部と、前記撮像部により生成された画像データに対する画像処理を行う画像処理部と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて特定領域を検出する領域検出部と、前記領域検出部により複数の前記特定領域を検出した場合に、複数の前記特定領域のそれぞれにおける前記特徴量に基づいて、生成する画像データの数を決定する決定部と、前記撮像部と前記画像処理部との少なくとも一方を制御して、前記決定部により決定した数の前記画像データを生成させる制御部とを備える。

なお、前記決定部は、複数の前記特定領域のそれぞれにおける前記特徴量を比較し、比較結果に基づいて、前記画像データの数を決定しても良い。

また、前記決定部は、前記撮像部による連写の回数を決定し、前記制御部は、前記撮像部を制御して、前記決定部により決定した回数の連写を実行させることにより、複数の前記画像データを生成させても良い。

また、前記決定部は、複数の前記特定領域のそれぞれにおける焦点調節情報と深度情報との少なくとも一方に基づいて、前記回数を決定しても良い。

また、前記決定部は、複数の前記特定領域のそれぞれにおける動き情報と、前記画像の動き情報との少なくとも一方に基づいて、前記回数を決定しても良い。

また、前記決定部は、前記撮像部において予め設定される解像度情報に基づいて、前記回数を決定しても良い。

また、前記制御部は、前記撮像部を制御して前記回数の連写を実行させる際に、少なくとも露光量およびホワイトバランス調整量を同一の条件としても良い。

また、前記決定部は、前記画像処理部による画像加工の条件を決定し、前記制御部は、前記画像処理部を制御して、前記決定部により決定した条件にしたがって画像加工を実行させることにより、複数の前記画像データを生成させても良い。

また、前記画像処理部は、前記画像加工として、前記領域検出部により検出した複数の前記特定領域のうち、少なくとも１つの前記特定領域に対して、画像の明るさを調整する処理を施しても良い。

また、前記画像処理部は、前記画像加工として、前記領域検出部により検出した複数の前記特定領域のうち、少なくとも１つの前記特定領域に対して、逆コンボリューションによるピント修復処理を施しても良い。

また、前記画像処理部による前記画像加工の条件を記憶する記憶部をさらに備え、前記画像加工の条件には、前記画像加工が施された画像データの存在の有無と、前記画像加工の内容との少なくとも一方が含まれても良い。

また、前記領域検出部は、人物の顔検出、ペット検出、テンプレートマッチング、ラベリング、ユーザによる指定の少なくとも１つに基づいて前記特定領域を検出しても良い。

本発明によれば、複数の特定領域が存在する場合に、それぞれの特定領域が好適な状態である画像を生成することができる。

レンズ鏡筒１０と、撮像装置２０と、記憶媒体４０との構成を示すブロック図である。 自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。 自動検出モード実行時のＣＰＵ２６の動作を示すフローチャート（続き）である。 自動検出モード実行時のＡＦについて説明する図である。 連写について説明する図である。 画像加工について説明する図である。

以下、実施形態について図面を参照して詳細に説明する。

実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。

撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。

レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されても良いし、撮像装置２０と一体であっても良い。

撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、不図示の撮像素子を備え、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。

レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像部２１における不図示の撮像素子の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（レンズの位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。

撮像装置２０において、撮像部２１は、例えば、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を撮像素子内でデジタル信号に変換して出力する撮像素子を備えても良い。また、例えば、撮像部２１は、撮像素子およびＡ／Ｄ変換部を備え、撮像素子はレンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換してＡ／Ｄ変換部に出力し、Ａ／Ｄ変換部は、撮像素子によって変換された電気信号をデジタル化して、デジタル信号として出力する構成としても良い。なお、撮像素子は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像部２１は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる記録用の画像を、通信部２８を介して記憶媒体４０に出力する。一方、撮像部２１は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に出力する。

画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、抽出したマスクに関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。

表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。

ＣＰＵ２６は、領域検出部３１、決定部３２、制御部３３の各部を備え、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。各部の具体的な動作については後述する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。

操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。

通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。

記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。

撮像装置２０は、撮影時に、焦点調節情報に基づいて特定領域（例えば、主要被写体領域や注目領域など）を検出する通常モードの他に、自動で特定領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、特定領域を自動で継続的に検出し、検出した特定領域の情報に基づいて、各部を制御するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。

以下、特定領域として主要被写体領域を検出する自動検出モード実行時のＣＰＵ２６の動作について、図２および図３のフローチャートを参照して説明する。図２および図３のフローチャートでは、被写界内に複数の被写体などの特定領域が存在する場合を考慮した処理を行う。

ステップＳ１０１において、ＣＰＵ２６は、制御部３３により撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。

ステップＳ１０２において、ＣＰＵ２６は、制御部３３により画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。

ステップＳ１０３において、ＣＰＵ２６は、領域検出部３１によりマスク抽出処理を行う。マスク抽出処理とは、画像における特徴量を算出し、特徴量に基づくかたまり（マスク）に基づいて主要被写体領域を検出するための一手法である。例えば、画像における特徴量から評価値を求め、同じ評価値の連続領域を求めることによりマスク抽出を行う。マスク抽出の手法はどのような方法であっても良い。また、マスク抽出の具体的な方法は公知技術と同様であるため説明を省略する。

ステップＳ１０４において、ＣＰＵ２６は、ステップＳ１０３で実行したマスク抽出処理の結果に基づき、領域検出部３１により評価の高い上位３つのマスクを選定する。なお、ステップＳ１０３で実行したマスク抽出処理と独立に、または、連動して、人物の顔検出、ペット検出、テンプレートマッチングなどが実行されている場合、ＣＰＵ２６は、これらの処理の結果も加味して、上位３つのマスクを選定する。以下では、図４Ａに示す３つのマスク（Ｍ１，Ｍ２，Ｍ３）が選定された場合を例に挙げて説明する。なお、本実施形態では、評価の高い上位３つのマスクを選定する例を示すが、適切な数であれば、選定されるマスクは３つでなくても良い。また、選定されるマスクの数は、操作部２７を介したユーザ操作により指定可能であっても良い。

ステップＳ１０５において、ＣＰＵ２６は、被写体情報を記録する。ＣＰＵ２６は、ステップＳ１０３で実行したマスク抽出処理の結果と、ステップＳ１０４で選定した３つのマスクについての情報を、被写体情報としてバッファメモリ部２４や記憶部２５等に記録する。被写体情報には、ステップＳ１０３のマスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、各マスクの順位などの情報が含まれる。

ステップＳ１０６において、ＣＰＵ２６は、制御部３３により主要被写体領域を設定する。ＣＰＵ２６は、ステップＳ１０４で選定した３つのマスクに対応する領域を主要被写体領域として設定する。

ステップＳ１０７において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ１０８に進む。一方、所定の時間を経過しても撮影指示が行われないと判定すると、ＣＰＵ２６は、上述したステップＳ１０２に戻り、次のスルー画像を対象としてステップＳ１０２以降の処理を行う。なお、撮影指示は、操作部２７のシャッタボタンを介したユーザ操作により行われる。このユーザ操作は、いわゆる半シャッタと全シャッタの何れであっても良い。操作部２７のシャッタボタンは、例えば、２段階のスイッチを有し、１段階目まで押圧（半押し）される場合が半シャッタであり、２段階目まで押圧（全押し）される場合が全シャッタである。

ステップＳ１０８において、ＣＰＵ２６は、制御部３３によりステップＳ１０６で設定した主要被写体領域の情報に基づいて、ＡＥおよびＡＷＢを実行する。なお、上述したように、ステップＳ１０６では３つのマスクに対応する領域が主要被写体領域として設定されている。ＣＰＵ２６は、ステップＳ１０５で説明した被写体情報に基づき、３つのマスクの情報から明るさを参照し、１つのＡＥ値およびＡＷＢ値を決定する。

ステップＳ１０９において、ＣＰＵ２６は、制御部３３によりコントラストＡＦを実行する。ＣＰＵ２６は、鏡筒制御部１４を介してレンズ駆動部１２を制御し、ＡＦレンズ１１を、所定の開始位置から所定の方向に移動しつつ、ステップＳ１０６で設定した３つの主要被写体領域におけるコントラスト評価値をそれぞれ取得する。この結果、ＣＰＵ２６は、図４Ｂに示すように、３つのマスク（Ｍ１，Ｍ２，Ｍ３）のそれぞれについてコントラスト評価値を取得することができる。

ステップＳ１１０において、ＣＰＵ２６は、ステップＳ１０９で実行したコントラストＡＦの結果に基づいて、制御部３３により３つのピークを算出する。この結果、ＣＰＵ２６は、図４Ｂに示すように、３つのマスク（Ｍ１，Ｍ２，Ｍ３）のそれぞれについて、ピークを算出する。以下では、マスクＭ１のピークをＭ１ＦＰ、マスクＭ２のピークをＭ２ＦＰ、マスクＭ３のピークをＭ３ＦＰと称する。

ステップＳ１１１において、ＣＰＵ２６は、決定部３２により撮影条件を決定する。ここで、撮影条件には、ピントを変えて実行する連写の回数と、画像加工の条件とが含まれる。決定部３２は、各マスクの特徴量に基づいて、それぞれのマスクに対応する被写体領域が好適な状態である画像を生成するための撮影条件を決定する。撮影条件の決定については、図３に示すフローチャートを参照して詳細に説明する。

ステップＳ２０１において、決定部３２は、マスクの動き情報に基づいて、マスクの動きが大きいか否かを判定する。決定部３２は、マスクの動きが大きいと判定するとステップＳ２０２に進む。一方、マスクの動きが大きくないと判定すると、決定部３２は、後述するステップＳ２０４に進む。なお、マスクの動きが大きいか否かは、３つのマスク（Ｍ１，Ｍ２，Ｍ３）のそれぞれについて、複数のスルー画像間での位置変化（経時変化）を求めることにより判定される。位置変化は、ステップＳ１０５で説明した被写体情報に基づいて求めることができ、位置変化を示す値と所定の閾値とを比較することにより、動きが大きいか否かを判定することができる。そして、３つのマスクのうち、少なくとも１つのマスクについて、マスクの動きが大きい場合に、決定部３２は、マスクの動きが大きいと判定する。

なお、上述したようにマスクの動きが大きいか否かを判定する代わりに、画像の動き情報を用いても良い。例えば、撮像装置２０自体の動きを、不図示のセンサや生成した画像に基づいて求めることにより画像の動き情報を取得し、取得した画像の動き情報が所定の閾値より大きい場合には、ピントを変えて連写を実行しても好適な結果は得られないのでステップＳ２０２に進み、取得した画像の動き情報が所定の閾値より小さい場合には、ピントを変えて連写を実行することにより効果を得られる可能性があるので後述するステップＳ２０４に進む構成としても良い。

ステップＳ２０２において、決定部３２は、動きが最少のマスクのフラグを１とする。マスクの動きが大きい場合、ピントを変えて連写を実行しても好適な結果は得られない。そこで、このような場合には連写を行わずに１回のみ撮影を実行する。また、ＡＦについては、３つのマスクのうち、ピーク位置がＡＦレンズ１１の光軸上で真ん中であるマスクＭ２のピークＭ２ＦＰに基づいて行う。したがって、マスクＭ２に基づく撮影のみを行うことを示すように、決定部３２は、連写に関するフラグをＭ１ＦＬＧ：０、Ｍ２ＦＬＧ：１、Ｍ３ＦＬＧ：０とする。

ステップＳ２０３において、決定部３２は、画像加工のフラグをＯＮにする。ここで、画像加工とは、連写を実行する代わりに、デジタル的な手法で被写体領域を好適な状態に加工するものである。画像加工には明るさの調整やピント回復処理などが含まれる。詳細については後述する。決定部３２は、後段で画像加工を行うことを示すように、画像加工に関するフラグをＤＯＦ＿ＦＬＧ：１とする。決定部３２は、ステップＳ２０３の処理を終えると、後述するステップＳ１１２に進む。

ステップＳ２０４において、決定部３２は、Ｍ１ＦＰ−Ｍ２ＦＰ＜ＤＯＦであるか否かを判定する。決定部３２は、Ｍ１ＦＰ−Ｍ２ＦＰ＜ＤＯＦであると判定するとステップＳ２０５に進む。一方、Ｍ１ＦＰ−Ｍ２ＦＰ≧ＤＯＦであると判定すると、決定部３２は、後述するステップＳ２０６に進む。なお、Ｍ１ＦＰおよびＭ２ＦＰは、ステップＳ１１０で説明したマスクＭ１およびマスクＭ２のピークである。また、ＤＯＦは、ＡＦレンズ１１の現レンズ位置での焦点深度（図４Ｂ深度ｄに例示）を示す。焦点深度は、ＡＦレンズ１１のレンズ位置と不図示の絞りにおける絞り値により定まるものであり、記憶部２５等にテーブルなどの形で予め記憶されている。Ｍ１ＦＰ−Ｍ２ＦＰ＜ＤＯＦである場合とは、Ｍ１ＦＰおよびＭ２ＦＰが深度内である場合である。この場合には、マスクＭ１およびマスクＭ２の両方に合焦するため、ピントを変えて連写を実行する必要はない。一方、Ｍ１ＦＰ−Ｍ２ＦＰ≧ＤＯＦである場合とは、Ｍ１ＦＰおよびＭ２ＦＰが深度外である場合である。この場合には、マスクＭ１およびマスクＭ２の何れかにのみ合焦するため、ピントを変えて連写を実行することにより効果を得られる可能性がある。

ステップＳ２０５において、決定部３２は、マスクＭ１に基づく撮影とマスクＭ２に基づく撮影とを集約し、ピーク位置がＡＦレンズ１１の光軸上で真ん中寄りであるマスクＭ２に基づく撮影のみを行うことを示すように、連写に関するフラグをＭ１ＦＬＧ：０、Ｍ２ＦＬＧ：１とする。決定部３２は、ステップＳ２０５の処理を終えると、後述するステップＳ２０９に進む。

ステップＳ２０６において、決定部３２は、予め定められた撮影解像度＞ＶＧＡ（６４０×４８０ドット）であるか否かを判定する。決定部３２は、撮影解像度＞ＶＧＡであると判定するとステップＳ２０７に進む。一方、撮影解像度≦ＶＧＡであると判定すると、決定部３２は、後述するステップＳ２０８に進む。なお、撮影解像度とは、撮像装置２０において予め設定された解像度である。この撮影解像度は、操作部２７を介したユーザ操作により予め選択される。撮影解像度＞ＶＧＡである場合とは、相対的に高解像である場合である。この場合には、ピントを変えて連写を実行することにより、それぞれのマスクに対応する被写体について好適な合焦状態を実現することができる。一方、撮影解像度≦ＶＧＡである場合とは、相対的に低解像である場合である。この場合には、ピントを変えて連写を実行しても、それぞれのマスクに対応する被写体には十分な違いが出ず、無駄な連写となる。なお、ここでは、閾値の一例としてＶＧＡを例に挙げるが、解像限界はこの例に限定されない。また、解像限界は、操作部２７を介したユーザ操作により指定可能であっても良い。

ステップＳ２０７において、決定部３２は、マスクＭ１に基づく撮影とマスクＭ２に基づく撮影とを分離し、マスクＭ１に基づく撮影とマスクＭ２に基づく撮影との両方を行うことを示すように、フラグをＭ１ＦＬＧ：１、Ｍ２ＦＬＧ：１とする。決定部３２は、ステップＳ２０７の処理を終えると、後述するステップＳ２０９に進む。

ステップＳ２０８において、決定部３２は、マスクＭ１に基づく撮影とマスクＭ２に基づく撮影とを集約し、マスクＭ２に基づく撮影のみを行うことを示すように、連写に関するフラグをＭ１ＦＬＧ：０、Ｍ２ＦＬＧ：１とする。

ステップＳ２０９において、決定部３２は、Ｍ２ＦＰ−Ｍ３ＦＰ＜ＤＯＦであるか否かを判定する。決定部３２は、Ｍ２ＦＰ−Ｍ３ＦＰ＜ＤＯＦであると判定するとステップＳ２１０に進む。一方、Ｍ２ＦＰ−Ｍ３ＦＰ≧ＤＯＦであると判定すると、決定部３２は、後述するステップＳ２１１に進む。なお、Ｍ２ＦＰおよびＭ３ＦＰは、ステップＳ１１０で説明したマスクＭ２およびマスクＭ３のピークである。また、ＤＯＦについては、ステップＳ２０４と同様である。Ｍ２ＦＰ−Ｍ３ＦＰ＜ＤＯＦである場合とは、Ｍ２ＦＰおよびＭ３ＦＰが深度内である場合である。この場合には、マスクＭ２およびマスクＭ３の両方に合焦するため、ピントを変えて連写を実行する必要はない。一方、Ｍ２ＦＰ−Ｍ３ＦＰ≧ＤＯＦである場合とは、Ｍ２ＦＰおよびＭ３ＦＰが深度外である場合である。この場合には、マスクＭ２およびマスクＭ３の何れかにのみ合焦するため、ピントを変えて連写を実行することにより効果を得られる可能性がある。

ステップＳ２１０において、決定部３２は、マスクＭ２に基づく撮影とマスクＭ３に基づく撮影とを集約し、ピーク位置がＡＦレンズ１１の光軸上で真ん中寄りであるマスクＭ２に基づく撮影のみを行うことを示すように、連写に関するフラグをＭ２ＦＬＧ：１、Ｍ３ＦＬＧ：０とする。決定部３２は、ステップＳ２１０の処理を終えると、後述するステップＳ１１２に進む。

ステップＳ２１１において、決定部３２は、予め定められた撮影解像度＞ＶＧＡ（６４０×４８０ドット）であるか否かを判定する。決定部３２は、撮影解像度＞ＶＧＡであると判定するとステップＳ２１２に進む。一方、撮影解像度≦ＶＧＡであると判定すると、決定部３２は、後述するステップＳ２１３に進む。なお、撮影解像度およびＶＧＡについては、ステップＳ２０６と同様である。

ステップＳ２１２において、決定部３２は、マスクＭ２に基づく撮影とマスクＭ３に基づく撮影とを分離し、マスクＭ２に基づく撮影とマスクＭ３に基づく撮影との両方を行うことを示すように、フラグをＭ２ＦＬＧ：１、Ｍ３ＦＬＧ：１とする。決定部３２は、ステップＳ２１２の処理を終えると、後述するステップＳ１１２に進む。

ステップＳ２１３において、決定部３２は、マスクＭ２に基づく撮影とマスクＭ３に基づく撮影とを集約し、マスクＭ２に基づく撮影のみを行うことを示すように、連写に関するフラグをＭ２ＦＬＧ：１、Ｍ３ＦＬＧ：０とする。決定部３２は、ステップＳ２１３の処理を終えると、後述するステップＳ１１２に進む。

以上説明したステップＳ２０１からステップＳ２１３の処理により、決定部３２は、撮影条件を決定する。具体的な撮影条件としては、連写を実行する、または、連写を実行しない位置を示すフラグと、画像加工の条件を示すフラグとが定められる。

なお、撮影条件の決定に際して、決定部３２は、３つのマスク（Ｍ１，Ｍ２，Ｍ３）のそれぞれのピークが深度内であるか否かを判定し、深度内である場合には該当するピークに基づく焦点位置を１つのポイントに集約する条件を決定し、深度外である場合にはそれぞれの焦点位置で撮影を行う連写の条件を決定する。

また、決定部３２は、時間の節約、メモリなどの記録容量の節約の観点から、連写の回数をできるだけ少なくすることを優先する。また、決定部３２は、上述の例において、ピーク位置がＡＦレンズ１１の光軸上で真ん中寄りであるマスクＭ２を優先的に選択する例を示した（ステップＳ２０５，ステップＳ２１０参照）が、上述した連写の回数に基づき、不要に連写の回数が増えない場合には、ピーク位置がＡＦレンズ１１の光軸上で端側に存在するマスクＭ１またはマスクＭ３を優先的に選択しても良い。この場合、ピントの違いが相対的に大きい複数の画像を生成することができる。

また、ステップＳ１０４において選定されるマスクが３つでない場合についても同様に、それぞれのピークが深度内であるか否かを判定し、深度内である場合には該当するピークに基づく焦点位置を１つのポイントに集約する条件を決定し、深度外である場合にはそれぞれの焦点位置で撮影を行う連写の条件を決定すれば良い。

ステップＳ１１２において、ＣＰＵ２６は、ステップＳ１１１で決定した撮影条件のうち、連写に関するフラグに基づいて、制御部３３により各部を制御して撮影を実行する。なお、ＡＥ値およびＡＷＢ値については、ステップＳ１０８で決定した値を用いて連写を行う。つまり、複数回の連写において、ＡＥおよびＡＷＢは同一の条件となる。このようにＡＥおよびＡＷＢの条件を揃えることにより、連写により生成された複数の画像に違和感が発生するのを抑えることができる。

ＣＰＵ２６は、制御部３３により鏡筒制御部１４を介してレンズ駆動部１２を制御し、ＡＦレンズ１１を、第１の焦点位置に移動する。第１の焦点位置は、フラグが１である焦点位置のうち、撮影開始時のＡＦレンズ１１に最も近い位置でも良いし、最至近位置でも良いし、マスクの評価が最も高い位置でも良い。そして、ＣＰＵ２６は、制御部３３により撮像部２１の各部を制御して１回目の撮影を行う。そして、第２の焦点位置が存在する場合には、第２の焦点位置にＡＦレンズ１１を移動し、その位置で撮影を行う。第２の焦点位置とは、第１の焦点位置が撮影開始時のＡＦレンズ１１に最も近い位置である場合には、次に近い位置であり、第１の焦点位置が最至近位置である場合には、次に至近の位置であり、第１の焦点位置がマスクの評価が最も高い位置である場合には、次の評価が高い位置である。第３の焦点位置についても同様である。なお、ＣＰＵ２６は、各焦点位置での撮影により生成した画像データを、バッファメモリ部２４に一時的に記憶する。

図５は、Ｍ１ＦＬＧ：０、Ｍ２ＦＬＧ：１、Ｍ３ＦＬＧ：１である場合に生成される画像の例を示す。撮影１枚目では、マスクＭ２に基づく焦点位置Ｍ２ＦＰで撮影が行われ、画像Ｉａが生成される。画像Ｉａにおいては、マスクＭ１およびマスクＭ２に対応する部分のピントが合い、マスクＭ３に対応する部分のピントは合わない状態である。一方、撮影２枚目では、マスクＭ３に基づく焦点位置Ｍ３ＦＰで撮影が行われ、画像Ｉｂが生成される。画像Ｉｂにおいては、マスクＭ１およびマスクＭ２に対応する部分のピントは合わず、マスクＭ３に対応する部分のピントが合っている状態である。

なお、ＣＰＵ２６は、連写に際して焦点位置を移動するたびに、制御部３３により表示部２３を制御し、撮影対象となるマスクに対応する被写体領域の情報を視認可能に表示しても良い。例えば、ＣＰＵ２６は、被写体領域に枠などを表示することにより、撮影対象となるマスクに対応する被写体領域を視認可能に表示することができる。なお、この枠は、被写体領域の形状に応じたものであっても良いし、矩形や円形など所定の形状であっても良い。また、線の太さ、濃淡、色などはどのようなものであっても良い。いずれにせよ、このような表示を行うことにより、ユーザは、現時点で撮影対象となっているマスク、または、マスクに対応する被写体領域を、容易に把握することができる。

さらに、ＣＰＵ２６は、連写に際して音声出力やランプなどを用いてユーザに対する報知を行っても良い。例えば、１回目の撮影開始から「ピーピーピー」等の連続的な音声を出力し、２回目の撮影タイミングで「カシャ」等のシャッタ音を出力することにより、連写時に発生しやすい手ぶれを抑制することができる。また、例えば、「Ｘ回の連写を行います。」などの音声案内を行っても良い。さらに、ランプや表示部２３への情報表示などを行うことにより、ユーザに対する報知を行っても良い。

ステップＳ１１３において、ＣＰＵ２６は、ステップＳ１１１で決定した撮影条件のうち、画像加工に関するフラグに基づいて、画像加工がありか否かを判定する。ＣＰＵ２６は、画像加工ありと判定するとステップＳ１１４に進む。一方、画像加工なしと判定すると、ＣＰＵ２６は、後述するステップＳ１１５に進む。

ステップＳ１１４において、ＣＰＵ２６は、ステップＳ１１１で決定した撮影条件のうち、画像加工に関するフラグに基づいて、制御部３３により画像処理装置２２を制御して画像加工を行う。画像加工には、ステップＳ２０３で説明したように、明るさの調整やピント回復処理などが含まれる。明るさの調整については、ＣＰＵ２６は、画像処理装置２２を制御して、該当するマスクに対応する被写体領域に階調カーブなどの明るさ調整を施し、被写体領域を最適な明るさに調整する。ピント回復処理については、ＣＰＵ２６は、画像処理装置２２を制御して、例えば、該当するマスクに対応する被写体領域にラプラシアンフィルタを適用した後にゲインを乗じ、フィルタ適用前の画像データと合成することにより逆コンボリューションを施し、被写体領域を先鋭化する。なお、何れについても画像加工の具体的な方法はどのようなものであっても良い。また、処理部分と非処理部分との境界に段差が発生しないように、境界部分にフィルタ処理などを施しても良い。

図６は、画像加工により生成される画像の例を示す。図６の例では、画像加工前の画像Ｉｃに対して画像加工が施され、画像Ｉｄが生成される。画像加工前の画像Ｉｃにおいては、マスクＭ１およびマスクＭ２に対応する部分のピントが合い、マスクＭ３に対応する部分のピントは合わない状態である。一方、画像加工後の画像Ｉｄにおいては、マスクＭ３に対応する部分のピントが回復され、マスクＭ１からマスクＭ３に対応する部分のピントが合っている状態である。

ステップＳ１１５において、ＣＰＵ２６は、タグ情報を作成する。タグ情報には、連写を行ったか否かを含む連写に関する情報や、画像加工を行ったか否かを含む画像加工に関する情報が含まれる。タグ情報を後述する画像の記録時に付加して記録することにより、ユーザは、撮像装置２０内または撮像装置２０外での再生時に、撮影に関する情報を適宜確認することができる。

ステップＳ１１６において、ＣＰＵ２６は、連写により生成した画像とタグ情報とを関連付けて、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。なお、連写により複数の画像データを生成した場合には、タグ情報により相互に関連付けして記録するのが好ましい。また、画像加工により生成した画像データについては、画像加工前の画像データとともに、画像加工に関する情報を含むタグ情報を記録することにより、画像加工前後の２つの画像を記録する必要はない。さらに、記録の前に表示部２３等を介して、記録内容をユーザに確認する構成としても良い。

以上説明したように、本実施形態によれば、被写体像を撮像して画像データを生成する撮像部と、生成された画像データに対する画像処理を行う画像処理部と、画像データにより示される画像の特徴量を算出し、特徴量に基づいて特定領域（例えば、被写体領域や注目領域など）を検出する領域検出部とを備え、領域検出部により複数の特定領域を検出した場合に、複数の特定領域のそれぞれにおける特徴量に基づいて、生成する画像データの数を決定し、撮像部と画像処理部との少なくとも一方を制御して、決定した数の画像データを生成させる。したがって、上述の構成により、複数の特定領域が存在する場合に、それぞれの特定領域が好適な状態である画像を生成することができる。そして、ユーザは、生成された複数の画像データのうち、所望のものを選択することが可能である。

また、本実施形態によれば、撮像部による連写の回数を決定し、決定した回数の連写を実行させることにより、シーケンシャルに双方（３つ以上でも可）の特定領域に合焦させ各々撮影露光し、複数の画像データを生成させる。したがって、それぞれ異なる特定領域にピントの合った複数の画像データを生成することができる。

また、本実施形態によれば、複数の特定領域のそれぞれにおける焦点調節情報と深度情報との少なくとも一方に基づいて、連写の回数を決定する。したがって、不要に撮影回数を増やすことなく、適切な数の画像データを生成することができる。

また、本実施形態によれば、複数の特定領域のそれぞれにおける動き情報と、画像の動き情報との少なくとも一方に基づいて、連写の回数を決定する。したがって、不要な連写を回避し、効果のある場合のみ連写を実行することができる。

また、本実施形態によれば、撮像部おいて予め設定される解像度情報に基づいて、連写の回数を決定する。したがって、不要な連写を回避し、効果のある場合のみ連写を実行することができる。

また、本実施形態によれば、撮像部を制御して連写を実行させる際に、少なくとも露光量およびホワイトバランス調整量を同一の条件とする。したがって、生成された複数の画像データの雰囲気を揃えることができるため、ユーザに与える違和感を抑えることができる。

また、本実施形態によれば、画像処理部による画像加工の条件を決定し、画像処理部を制御して、決定した条件にしたがって画像加工を実行させることにより、複数の画像データを生成させる。したがって、画像加工で対応できるものに関しては、連写の代わりに画像加工を実行することにより、それぞれ異なる特定領域が好適に表現された複数の画像データを、デジタル的な手法で生成することができる。

また、本実施形態によれば、画像処理部は、画像加工として、領域検出部により検出した複数の特定領域のうち、少なくとも１つの特定領域に対して、画像の明るさを調整する処理を施す。したがって、焦点位置を変えて連写を行わなくとも、それぞれの特定領域が十分な明るさを有する複数の画像データを生成することができる。

また、本実施形態によれば、画像処理部は、画像加工として、領域検出部により検出した複数の特定領域のうち、少なくとも１つの特定領域に対して、逆コンボリューションによるピント修復処理を施す。したがって、焦点位置を変えて連写を行った場合と同様に、それぞれ異なる特定領域にピントの合った複数の画像データを生成することができる。

また、本実施形態によれば、画像処理部による画像加工に関する情報を記憶する記憶部をさらに備え、画像加工に関する情報には、画像加工が施された画像データの存在の有無と、画像加工の内容との少なくとも一方が含まれる。したがって、記憶容量を節約しつつ、ユーザにも画像加工に関する情報を報知することが可能となる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

上記の実施形態では、自動検出モードにおいて、複数の特定領域（例えば、被写体領域や注目領域など）に対応する処理を行う例を示したが、本発明はこの例に限定されない。例えば、複数の特定領域に対応するモードと、特に対応しないモードとを切り替え可能に有しても良い。また、例えば、複数の特定領域に対応するモードを、既存の撮影モードと連動して実行する構成としても良い。例えば、人物モード、夜景ポートレートモード、マクロ撮影モード、オート撮影モードなどの撮影モードなどにおいては、複数の特定領域に対応するモードによる処理が有用である。逆に、風景モードなどにおいては、複数の特定領域に対応するモードによる処理は効果が期待できない。

また、上記の実施形態では、マスクの動きが大きい場合にのみ画像加工を行う例を示したが、本発明はこの例に限定されない。例えば、マスクの数が多く、すべてのマスクに対応して連写を行うのは好ましくない場合に、一部のマスクに対応して連写を行い、間を埋めるように画像加工で対応する構成としても良い。

また、上記の実施形態では、選定されたそれぞれのマスクについて、コントラストＡＦによりピークを算出する例を示したが、本発明はこの例に限定されない。例えば、選定された複数のマスクの情報を比較し、同一とみなせるマスクについては、何れかのマスクについてのみピークを算出すれば良い。

また、上記の実施形態の処理に、操作部２７を介したユーザ指定を適宜組み合わせる構成としても良い。例えば、マスク抽出処理により複数のマスクが抽出された場合に、操作部２７を介したユーザ指定によりいくつかのマスクを選択し、選択した複数のマスクについて連写を実行しても良いし、選択した複数のマスクを対象として、ステップＳ２０１からステップＳ２１３で説明した撮影条件の決定処理を行う構成としても良い。

また、上記の実施形態においては、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。

また、上記の実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に間欠して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。このような処理を行うことにより、処理負荷を軽減することができる。

２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ

Claims (12)

1. 被写体像を撮像して画像データを生成する撮像部と、
   前記撮像部により生成された画像データに対する画像処理を行う画像処理部と、
   前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて特定領域を検出する領域検出部と、
   前記領域検出部により複数の前記特定領域を検出した場合に、複数の前記特定領域のそれぞれにおける前記特徴量に基づいて、生成する画像データの数を決定する決定部と、
   前記撮像部と前記画像処理部との少なくとも一方を制御して、前記決定部により決定した数の前記画像データを生成させる制御部と
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記決定部は、複数の前記特定領域のそれぞれにおける前記特徴量を比較し、比較結果に基づいて、前記画像データの数を決定する
   ことを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記決定部は、前記撮像部による連写の回数を決定し、
   前記制御部は、前記撮像部を制御して、前記決定部により決定した回数の連写を実行させることにより、複数の前記画像データを生成させる
   ことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記決定部は、複数の前記特定領域のそれぞれにおける焦点調節情報と深度情報との少なくとも一方に基づいて、前記回数を決定する
   ことを特徴とする撮像装置。
5. 請求項３または請求項４に記載の撮像装置において、
   前記決定部は、複数の前記特定領域のそれぞれにおける動き情報と、前記画像の動き情報との少なくとも一方に基づいて、前記回数を決定する
   ことを特徴とする撮像装置。
6. 請求項３から請求項５の何れか１項に記載の撮像装置において、
   前記決定部は、前記撮像部において予め設定される解像度情報に基づいて、前記回数を決定する
   ことを特徴とする撮像装置。
7. 請求項３から請求項６の何れか１項に記載の撮像装置において、
   前記制御部は、前記撮像部を制御して前記回数の連写を実行させる際に、少なくとも露光量およびホワイトバランス調整量を同一の条件とする
   ことを特徴とする撮像装置。
8. 請求項１から請求項７の何れか１項に記載の撮像装置において、
   前記決定部は、前記画像処理部による画像加工の条件を決定し、
   前記制御部は、前記画像処理部を制御して、前記決定部により決定した条件にしたがって画像加工を実行させることにより、複数の前記画像データを生成させる
   ことを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記画像処理部は、前記画像加工として、前記領域検出部により検出した複数の前記特定領域のうち、少なくとも１つの前記特定領域に対して、画像の明るさを調整する処理を施す
   ことを特徴とする撮像装置。
10. 請求項８または請求項９に記載の撮像装置において、
    前記画像処理部は、前記画像加工として、前記領域検出部により検出した複数の前記特定領域のうち、少なくとも１つの前記特定領域に対して、逆コンボリューションによるピント修復処理を施す
    ことを特徴とする撮像装置。
11. 請求項８から請求項１０の何れか１項に記載の撮像装置において、
    前記画像処理部による前記画像加工の条件を記憶する記憶部をさらに備え、
    前記画像加工の条件には、前記画像加工が施された画像データの存在の有無と、前記画像加工の内容との少なくとも一方が含まれる
    ことを特徴とする撮像装置。
12. 請求項１から請求項１１の何れか１項に記載の撮像装置において、
    前記領域検出部は、人物の顔検出、ペット検出、テンプレートマッチング、ラベリング、ユーザによる指定の少なくとも１つに基づいて前記特定領域を検出する
    ことを特徴とする撮像装置。

Images