JP2014175734A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 ＨＤＲ動画撮影時の撮像評価値の検出精度を改善する撮像装置およびその制御方法を提供する。
【解決手段】 １枚の合成画像を生成するために用いる露出の異なる複数の画像の少なくとも２つから撮像評価値を検出する。検出した複数の撮像評価値から、撮像装置の動作を制御するために用いる撮像評価値を、予め定められた条件に基づいて選択する。
【選択図】 図１

Description

本発明は、撮像装置及びその制御方法に関し、特に、ダイナミックレンジを拡大した動画像を撮影可能な撮像装置及びその制御方法に関する。

従来、一般的なデジタルカメラに使われている撮像素子（ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなど）のダイナミックレンジ（出力値で表現可能な入力輝度の範囲）が銀塩フィルムに比べ狭いという問題があった。撮像素子のダイナミックレンジより広いダイナミックレンジを有する画像を得る方法として、ＨＤＲ(High Dynamic Range)と呼ばれる技術が知られている。ＨＤＲは、同一シーンを露光量を異ならせて撮影した複数枚の画像（例えば、オーバー露出画像とアンダー露出画像等）を合成して１枚の画像（ＨＤＲ画像）を生成する手法である（特許文献１）。

また、近年では、1フレーム期間の撮影時に複数の異なる露出の画像を撮影することが可能なイメージセンサを用いてＨＤＲ画像を生成する技術が提案されており、動画撮影時のＨＤＲ画像生成への適用についても言及されている（特許文献２）。

特開平１１−１６４１９５号公報 特開２０１１−２４４３０９号公報

複数枚の画像を合成してフレーム画像を作成するＨＤＲ動画撮影において、撮影に必要な撮像評価値を合成画像から検出すると、撮像評価値の反映タイミングが遅くなってしまう。この問題は、特許文献１記載のような、露出の異なる複数の画像を複数フレーム期間で取得する構成ではもちろん、特許文献２に記載されているような、１フレーム期間内に露出の異なる複数の画像を取得可能な構成であっても存在する。なお、撮像評価値とは、例えばAF（自動焦点検出）評価値、AE（自動露出制御）評価値、WB（ホワイトバランス）評価値などである。

例えば、HDR動画の撮影中にAF評価値に基づくAF制御動作を行う場合を考える。この場合、合成画像から検出したAF評価値を用いてAF制御動作を行う構成にすると、AF評価値を反映するタイミングが画像合成後になるため、被写体の動きに対するAFの応答性が悪くなる。そのため、合成前の画像を用いてAF評価値の検出、反映を行うことが望ましい。

しかしながら、合成前の画像（例えば露出量の多い高露出画像と、露出量の少ない低露出画像）の一方を常に用いて撮像評価値を検出する構成では、露出量と撮影シーンとの関係により、合成前の画像からは精度のよい撮像評価値を検出できない場合がある。例えば、夜景をバックに人物を撮影するような非常に暗いシーンでは、低露出画像からは精度良く撮像評価値が検出できない。また、撮影シーンが十分に明るく、撮影シーンのダイナミックレンジが広いために、被写体が黒つぶれもしくは白飛びしている場合、高露出画像からは撮像評価値を精度良く検出できない。
逆光シーン（主被写体の背景が非常に明るいシーン）や、トンネルシーン（背景が暗く、主被写体の占有面積が小さいシーン）などでも同様の問題が起きる。

本発明はこのような従来技術の課題に鑑みなされたものであり、ＨＤＲ動画撮影時の撮像評価値の検出精度を改善する撮像装置およびその制御方法を提供することを目的とする。

上述の目的は、撮像装置であって、動画を撮影する撮像手段と、１枚の合成画像を生成するために用いる露出の異なる複数の画像を撮影するように、撮像手段に露出条件を設定する設定手段と、撮像手段から得られる、露出の異なる複数の画像の少なくとも２つから、撮像評価値を検出する評価値検出手段と、評価値検出手段によって検出された複数の撮像評価値から、撮像装置の動作を制御するために用いる撮像評価値を、予め定められた条件に基づいて選択する選択手段と、選択手段が選択した撮像評価値に基づいて、撮像装置の動作を制御する制御手段と、を有することを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、ＨＤＲ動画撮影時の撮像評価値の検出精度を改善する撮像装置およびその制御方法を提供することができる。

本発明の第１の実施形態に係る撮像装置の機能構成例を示すブロック図 本発明の第１の実施形態に係る撮像装置におけるHDR動画撮影時の動作タイミングを説明するためのタイミングチャート 本発明の第１の実施形態に係る撮像装置のＨＤＲ動画撮影に係る動作を説明するためのフローチャート 本発明の第２の実施形態に係る撮像装置の機能構成例を示すブロック図 本発明の第２の実施形態に係る撮像装置のＨＤＲ動画撮影に係る動作を説明するためのフローチャート 本発明の第２の実施形態に係る撮像装置における撮像評価値の選択例を示す図 本発明の第３の実施形態に係る撮像装置の撮像素子の構成例を示す図 図７における単位画素の構成例を示す図 本発明の第３の実施形態に係る撮像装置のＨＤＲ動画撮影に係る動作を説明するためのフローチャート 本発明の第３の実施形態に係る撮像装置のＨＤＲ動画撮影時の垂直走査部の動作を説明するためのタイミングチャート 本発明の第３の実施形態に係る撮像装置のＨＤＲ動画撮影に係る動作を説明するためのフローチャート 本発明の第３の実施形態に係る撮像装置においてヒストグラムを用いて撮像評価値を選択動作を説明するための図 本発明の第４の実施形態に係る撮像装置のＨＤＲ動画撮影に係る動作を説明するためのフローチャート

以下、本発明の例示的な実施形態を、添付図面に基づいて詳細に説明する。なお、以下の実施形態は単なる例示であり、本発明は実施形態に記載した特有の構成に限定されない。

（第１の実施形態）
本明細書において、撮像評価値とは、撮像装置の制御や、撮影された画像に対する補正等を行う際に必要なパラメータであり、撮影された画像から取得するパラメータである。例えば、AF（自動焦点検出）評価値や、WB（ホワイトバランス）評価値、AE（自動露出制御）評価値などが代表的な撮像評価値であるが、これらに限定されない。

AF評価値とは、被写体に光学系を合焦させるための評価値であり、主にフォーカスレンズの位置を制御する際に必要である。
WB評価値とは、撮影画像の色調を補正するための評価値であり、現像処理に必要なパラメータである。
AE評価値とは、撮影時の露出条件を自動的に調整するための評価値であり、主に、絞り、シャッタースピード、および感度の設定に用いられる。

図１は、本実施形態の撮像装置の機能構成例を示すブロック図である。
レンズ１０１は光学系を構成するレンズ群であり、合焦距離を調節するためのフォーカスレンズが含まれている。フォーカスレンズは光軸方向に沿って位置が変更可能であり、システム制御部１０８が、撮像評価値検出部１０７によって検出されたAF評価値を基に、レンズ駆動制御部１０６を通じてフォーカスレンズの位置を制御する。

レンズ１０１を通じて入射した光は、CCDまたはCMOSイメージセンサ等で構成された撮像素子１０２の結像面上に被写体の光学像として結像される。
撮像素子１０２は各画素に入射した光を電荷に変換し、被写体の光学像を画素ごとに電気信号に変換して出力する。

撮像信号処理部１０３は、撮像素子１０２から出力された電気信号にA/D変換などの信号処理を適用し、画像データとして出力する。なお、撮像信号処理部１０３は、撮像素子１０２の周辺回路として組み込まれてもよい。

撮像評価値検出部１０７は撮像信号処理部１０３が出力する画像データから所定の撮像評価値を検出する。その際、システム制御部１０８から出力されるタイミングにおいて、HDR処理される前の、高露出画像および低露出画像から撮像評価値を検出し、一方を選択する（詳細については後述する）。

そして、システム制御部１０８は、検出された撮像評価値のうちAF評価値に基づいてレンズ１０１（フォーカスレンズ）の制御量を決定し、この制御量をレンズ駆動制御部１０６に出力する。
レンズ駆動制御部１０６は、システム制御部１０８からの制御量に基づいて、レンズ１０１に含まれるフォーカスレンズを光軸方向に駆動し、レンズ１０１の合焦距離を調整する。

フレームメモリ１１３は、映像信号処理部１０４に入力された画像データを記憶する。フレームメモリ１１３に記憶された画像データに対して、映像信号処理部１０４は所定の処理を施してHDR画像を生成し、表示部１０５に表示可能な画像信号として出力する。
映像信号処理部１０４は、撮像素子１０２から出力された動画のフレームごとに、あるいは所定数のフレームごとに画像信号を出力する。

システム制御部１０８は例えばＣＰＵ（Central Processing Unit）などのプログラマブルプロセッサであり、ＲＯＭなどに記憶されたプログラムに従って撮像装置全体を制御する。具体的には、システム制御部１０８は、レンズ駆動制御部１０６、撮像素子１０２、撮像信号処理部１０３、映像信号処理部１０４、撮像評価値検出部１０７の処理を制御する。また、システム制御部１０８は、表示部１０５、外部入出力端子部１０９、操作部１１０、記憶部１１１、電源部１１２を制御する。

外部入出力端子部１０９は、撮像装置に外部機器を接続するための外部インタフェースであり、例えばHDMIやUSB等の規格に準拠したコネクタが設けられている。
操作部１１０は、ユーザが撮像装置に対して指示や設定を行うための入力デバイス群である。操作部１１０にはレリーズボタン、記録／再生モード切り替えスイッチ、方向キー、決定／実行キー、メニューボタンなど、撮像装置が一般的に備えるボタン、キーなどが含まれる。なお、タッチパネルや音声入力など、ハードウェアキーを有さない入力方法を実現するための構成も操作部１１０に含まれる。

記憶部１１１は記録媒体を有し、撮影された動画像や静止画像を記録媒体に記録する。記録媒体は例えば半導体メモリカードのような着脱可能なタイプであっても、内蔵ドライブのような固定タイプであっても、その両方であってもよい。
電源部１１２は、例えば２次電池と電源回路を有し、撮像装置の各部を駆動するための電源を供給する。

次に、本実施形態におけるＨＤＲ動画の生成処理について説明する。なお、動画撮影は記録用の動画撮影に限らず、撮影スタンバイ時に表示部１０５に表示するために撮影されるライブビュー画像の撮影も含む。また、本実施形態では、説明および理解を容易にするため、露光量の異なる２枚の画像を合成して１枚のHDR画像（動画フレーム）を生成するものとするが、３枚以上の画像を用いて１枚のHDR画像を生成する構成であってもよい。なお、以下の説明では、適正露出よりも多い露出で撮影されたオーバー露出の画像をHigh画像、適正露出で撮影された画像をMiddle画像、適正露出よりも少ない露出で撮影されたアンダー露出の画像をLow画像と呼ぶ。

図２は本実施形態の撮像装置におけるHDR動画撮影時の動作タイミングを説明するためのタイミングチャートである。ここでは、HDR動画のフレームレートは３０フレーム／秒（ｆｐｓ）とする。ＨＤＲ動画の１フレームを２枚の画像から生成するため、撮影フレームレートは６０ｆｐｓである。なお、これらのフレームレートは例示であり、他のフレームレートを用いてもよい。

タイミングパルスは、内蔵クロックを用いてシステム制御部１０８が生成する。１/６０ｓ周期の撮影同期信号によって、６０ｆｐｓの撮影が行われる。
本実施形態においてシステム制御部１０８は、High画像２０１とLow画像２０２の撮影動作を交互に行っていく。ここで、例えば、High画像は適正露出Ev(０)から１段明るく（＋１段）した露出条件Ev(H)で撮影した高露出画像を、Low画像は、適正露出から１段暗く（−１段）した露出条件Ev(L)で撮影した低露出画像とする。

撮影された画像は、フレームメモリ１１３に一時的に記憶され、High画像２０１とLow画像２０２が揃うと、次のフレーム周期で映像信号処理部１０４が両画像を合成し、HDR画像２０３を作成する。なお、High画像２０１とLow画像２０２からのＨＤＲ画像２０３の生成は、公知の方法を用いて行うことができる。

撮像評価値検出部１０７は、システム制御部１０８から出力される撮像評価値抽出タイミング２０４、２０５に従い、High画像２０１およびLow画像２０２のそれぞれについて、予め定められた撮像評価値を検出する。
さらに撮像評価値検出部１０７は、システム制御部１０８から出力される撮像評価値選択タイミング２０６に従い、HDR動画撮影動作に使用するために他方よりも適切と判定される撮像評価値を選択する。
合成画像から撮像評価値を得る場合、撮像評価値が得られるのは合成処理終了後になるが、本実施形態では、合成処理の開始前のタイミングで撮像評価値が選択され、反映可能となるため、撮像評価値を用いる処理の応答性を向上できる。

システム制御部１０８は、撮像評価値選択タイミングで選択された撮像評価値のうち、AF評価値に基づいて、レンズ駆動制御部１０６を通じてフォーカスレンズ位置を制御し、レンズ１０１の合焦距離を調整する。システム制御部１０８は、フォーカスレンズ位置の制御を、レンズ制御タイミング２０７の１周期、すなわち出力同期信号の１周期（１／３０秒）内で実施する。

図３に示すフローチャートを用いて、本実施形態の撮像装置のＨＤＲ動画撮影に係る動作について詳細に説明する。なお、以下の説明では、High画像で検出される撮像評価値をα、Low画像で検出される撮像評価値をβとする。

操作部１１０の電源スイッチの操作などにより、電源がONされると（Ｓ３０１）、電源部１１２から各部に電源が供給される。システム制御部１０８は、各種初期設定を行い（Ｓ３０２）、撮影スタンバイ状態となる。

この状態で操作部１１０の録画ボタンなどが操作されると、記録用の動画撮影が開始される。また、録画ボタンなどの操作がなされなくても、スタンバイ時に表示部１０５に表示するためのライブビュー映像の撮影が開始される（Ｓ３０３）。ここでは、いずれの場合もＨＤＲ動画撮影を行うものとし、以下ではライブビュー映像か記録用映像かの区別はせずに説明する。

まず、システム制御部１０８が、公知の任意の方法で適正露出の条件を算出し、この適正露出の条件を基準として、＋１段のHigh画像用露出(Ev(H))および−１段のLow画像用露出(Ev(L))を決定する（Ｓ３０４）。なお、ここでは、シャッタースピード（必要に応じてさらに感度）を適正露出条件から＋１段および−１段分調整してEv(H)およびEV(L)を決定するものとする。また、ここではシステム制御部１０８が撮像素子１０２における電荷蓄積時間を制御することによりシャッタースピードを制御するものとする。

Ｓ３０５でシステム制御部１０８は、Ｓ３０４で決定した露出条件Ev(H)に従って撮影を行う。システム制御部１０８は、撮影で得られたHigh画像をフレームメモリ１１３へ保存するとともに、撮像評価値検出部１０７に与える。撮像評価値検出部１０７ではHigh画像から撮像評価値αを検出する（Ｓ３０６）。

Ｓ３０７でシステム制御部１０８は、Ｓ３０４で決定した露出条件Ev(L)に従って撮影を行う。システム制御部１０８は、撮影で得られたLow画像をフレームメモリ１１３へ保存するとともに、撮像評価値検出部１０７に与える。撮像評価値検出部１０７ではLow画像から撮像評価値βを検出する（Ｓ３０８）。

Ｓ３０９で、映像信号処理部１０４が、フレームメモリ１１３に保存されたHigh画像とLow画像とからHDR画像（ＨＤＲ動画フレーム）を生成する合成処理を開始する。

Ｓ３１０で、映像信号処理部１０４は、Ｓ３０９で生成したHDR画像の現像処理を行う。現像処理後、記憶部１１１への動画記録や、表示部１０５のライブビュー表示などを行う。なお、図２に示したように、Ｓ３１０で記録または表示されるHDR画像は、１つ前のフレーム周期で撮影されたHigh画像とLow画像の合成画像である。

Ｓ３１１においてシステム制御部１０８は、記録動作の終了が指示されたり、ライブビュー表示動作を行わない動作モードへの移行が指示されたりした場合など、動作撮影を終了する指示がなされていれば、処理を終了する。一方、撮影が継続される場合は処理をＳ３１２へ進める。

Ｓ３１２〜Ｓ３１４で、撮像評価値検出部１０７は、Ｓ３０６でHigh画像から検出された撮像評価値αと、Ｓ３０８でLow画像から検出された撮像評価値βとの比較結果に基づいて、より好適と判定される一方を選択する。

例えば、撮像評価値がコントラスト検出方式の自動焦点検出（コントラストAF）用のAF評価値であるとする。この場合、AF評価値はコントラストの大きさを表し、AF評価値が高い（大きい）ほど、光学系が合焦状態に近いことを意味する。従って、画像の明暗差が大きい方が、高いAF評価値が得られる。
例えば、逆光のようなシーンを撮影した場合、被写体のコントラスト（AF評価値）は、High画像の方が高く、Low画像の方が小さくなる。

Ｓ３１２で、High画像から検出された撮像評価値αがLow画像から検出された撮像評価値β以上（α≧β）と判別された場合、Ｓ３１３において撮像評価値検出部１０７は、High画像から検出された撮像評価値αを選択する。また、Ｓ３１２で、Low画像から検出された撮像評価値βの方が高い（α＜β）と判別された場合、Ｓ３１４において撮像評価値検出部１０７は、Low画像から検出された撮像評価値βを選択する。なお、３枚以上を合成する場合、最も高い値のものを選択することができる。
そして、Ｓ３０４からの処理を繰り返す。

システム制御部１０８は、選択された撮像評価値を基に、撮像装置の動作を制御する。撮像評価値がAF評価値であれば、図２に示したように、レンズ制御タイミング２０７で、フォーカスレンズの制御を行う。なお、AF評価値に基づいてどのようにフォーカスレンズの制御を行うかは特に限定されず、公知の手法を用いることができる。

このように本実施形態では、HDR動画を撮影しながら検出した撮像評価値を用いる必要がある場合、合成後のHDR画像から検出した撮像評価値ではなく、複数の合成前画像から検出された撮像評価値のうち、好適なものを動的に選択して用いる。そのため、合成前画像の撮影から撮像評価値が得られるまでの時間が短く、応答性のよい制御が可能になる。また、複数の合成前画像から検出された撮像評価値のうち、最適なものを用いることができるため、複数の合成前画像のうち特定の順番で撮影されるものから検出される撮像評価値を用いる場合よりも、制御の精度が向上するという効果がある。

なお、本実施形態では撮像評価値の一例としてAF評価値について説明したが、その他の撮像評価値、例えば、ホワイトバランス評価値（ＷＢ評価値）や、AE評価値などについても同様の構成を適用することができる。
つまり、他の撮像評価値に関しても、図３に示したＳ３０６でHigh画像、Ｓ３０８でLow画像からそれぞれ検出し、Ｓ３１２で最適な１つを選択する。そして、選択された撮像評価値に基づいて撮像装置の動作（ホワイトバランス係数の算出動作や次の撮影時の露出制御パラメータの決定）を制御する。

（第２の実施形態）
第１の実施形態では、複数の合成前画像から検出した撮像評価値の比較結果に基づいて最適な撮像評価値を選択するものであった。第２の実施形態では、最適な撮像評価値を、撮影シーンの検出に用いられる情報に基づいて選択することを特徴とする。

図４は、第２の実施形態に係る撮像装置の機能構成例を示すブロック図であり、図１の撮像装置と共通する構成には共通する参照数字を付してある。本実施形態の撮像装置は図１の撮像装置に対して、顔情報検出部４０１、輝度情報検出部４０２、色情報検出部４０３、シーン判別部４０４を付加した点を特徴とする。

顔情報検出部４０１は、撮像信号処理部１０３が出力した画像信号に対して公知の顔検出処理を適用し、画像中に存在する人物や動物（ペットなど）の顔領域を検出し、検出した顔領域の情報を被写体検出情報としてシーン判別部４０４に出力する。なお、被写体検出情報は顔領域以外の検出情報であってもよい。

輝度情報検出部４０２では、映像信号処理部１０４から受信した映像信号に対応する画像を複数の領域に分割し、各領域における平均輝度を求める。
そして、輝度情報検出部４０２は、これらの平均輝度を用いて、例えば、フレーム画像の中心部とその周辺部との輝度差や中心輝度値などの輝度情報を求める。輝度情報検出部４０２で検出された輝度情報は、シーン判別部４０４へ送られる。

色情報検出部４０３では、映像信号処理部１０４から受信した映像信号に対して色検出処理を行い、平均彩度、高彩度領域の面積などの色情報を検出する。色情報検出部４０３で検出された色情報は、シーン判別部４０４へ送られる。

シーン判別部４０４では、顔情報検出部４０１、輝度情報検出部４０２、及び、色情報検出部４０３から送られてきた各情報を基に、映像信号処理部１０４で処理された映像信号から撮影シーンが特定の条件を満たす撮影シーンかどうかを判別する。この判別は、例えば背景の輝度や被写体の輝度の関係や、背景の色情報、人物の検出有無などに基づいて行う事が可能であり、公知のシーン判別技術（シーン認識技術とも呼ばれる）を用いることができる。
顔情報検出部４０１、輝度情報検出部４０２、及び、色情報検出部４０３から送られてきた各情報は、シーン判別部４０４により一時的に保存され、随時更新される。

そして、シーン判別部４０４は、判別した撮影シーンに応じて、撮影時の撮影パラメータや画像処理パラメータなどを変更するための情報をシステム制御部１０８へ送る。
ここで、撮像評価値検出部１０７は、High画像、Low画像のそれぞれから得られた撮像評価値のどちらを用いるかを、シーン判別部４０４の情報を基に選択する。

次に、シーン判別部４０４によるシーン判別動作について説明する。
シーン判別部４０４は、HDR処理される前の、High画像、Low画像に対し、輝度情報検出部４０２にて検出された輝度情報と色情報検出部４０３にて検出された色情報を用いて、撮影シーンの背景を判別する。
さらに、HDR処理される前の、High画像、Low画像に対し、顔情報検出部４０１にて検出された顔情報を用いて、撮影シーンにおける主被写体を判別する。

まず、撮影シーンの背景を判別する場合について説明する。
シーン判別部４０４は、輝度情報検出部４０２にて検出された輝度情報と色情報検出部４０３にて検出された色情報を解析する。そして、シーン判別部４０４は、画像上の青空色の領域の面積が閾値以上ならば、撮影シーンの背景は青空であると判定する。

また、シーン判別部４０４は、輝度情報検出部４０２からの輝度情報と色情報検出部４０３からの色情報を解析し、画像の輝度が、ヒストグラム分布や分散について所定の条件を満たすと判定した場合に、撮影シーンの背景は夜景であると判定する。
例えば、画像の輝度ヒストグラムにおいて低輝度部が大部分を占め、かつ、高輝度部が単発的に分布している場合に、撮影シーンの背景は夜景であると判定することができる。

また、シーン判別部４０４は、輝度情報検出部４０２からの輝度情報と色情報検出部４０３からの色情報を解析し、画像の平均彩度と、高彩度の領域の面積とが共に閾値以上であれば、撮影シーンが鮮やかなシーンであると判定する。

次に、撮影シーンにおける主被写体を判別する場合について説明する。
シーン判別部４０４は、顔情報検出部４０１からの顔情報を解析し、画像信号から顔が検出されていた場合には、撮影シーンにおける主被写体が人物であると判定する。

このように、シーン判別部４０４は、シーンの背景と被写体の両方を判定し、これらの判定結果を組み合わせて、１つの判定結果をシステム制御部１０８に出力する。

例えば、逆光シーンのように背景が非常に明るい状況で人物を撮影した場合、輝度情報と色情報の検出値はLow画像の方が、顔情報の検出値はHigh画像の方が高くなる。
一方で、トンネルシーンのように、背景が暗く、主被写体の占有面積が小さい場合、輝度情報と色情報の検出値はHigh画像の方が、顔情報の検出値はLow画像の方が高くなる。

撮像評価値検出部１０７は、シーン判別部４０４から得られた情報を基に、High画像から検出された撮像評価値αと、Low画像から検出された撮像評価値βとの何れかを選択する。

図５に示すフローチャートを用いて、本実施形態の撮像装置のＨＤＲ動画撮影に係る動作について詳細に説明する。なお、図５において第１の実施形態と同様の処理を行うステップには図３と同じ参照数字を付し、重複する説明は省略する。また、以下の説明では、High画像から検出される顔情報検出値をXh、輝度情報検出値をYh、色情報検出値をZhとし、Low画像から検出される顔情報検出値をXl、輝度情報検出値をYl、色報検出値をZlとする。なお、比較に用いる顔情報、輝度情報、色情報は、各検出部４０１〜４０３において検出される複数種の情報のうち、予め定めた１つであってもよいし、複数種の情報を所定の条件により１つの値に変換したものであってもよい。

撮像評価値検出部１０７は、Low画像およびHigh画像のそれぞれから検出された顔情報X、輝度情報Y、色情報Zの各情報値を比較し、例えば図６に示すように、撮像評価値α、βを選択する。図６では、顔情報、輝度情報、および色情報の大小関係の組み合わせにより、撮像評価値α、βのどちらが選択されるかを示している。
なお、撮像評価値検出部１０７は、図６に示すように、シーン判別部４０４におけるシーン判別結果に基づいて撮像評価値α、βを選択してもよい。シーン判別結果を用いる場合、個々の情報についての比較を行う必要が無い。

Ｓ３０５におけるHigh画像の取得後、Ｓ５０１では、High画像に対して、顔情報検出部４０１が顔情報Xh、輝度情報検出部４０２が輝度情報Yh、色情報検出部４０３が色情報Zhを、それぞれ検出する。
また、Ｓ５０２では、Ｓ３０７にて取得したLow画像に対して、顔情報検出部４０１が顔情報Xl、輝度情報検出部４０２が輝度情報Yl、色情報検出部４０３が色情報Zlを、それぞれ検出する。

Ｓ３１１においてシステム制御部１０８は、動作撮影を終了する指示がなされていれば、処理を終了する。一方、撮影が継続される場合は処理をＳ５０４へ進める。

Ｓ５０４で撮像評価値検出部１０７は、Ｓ５０１でHigh画像から検出された各値と、Ｓ５０２でLow画像から検出された各値から、次の撮影に反映するための撮像評価値を決定する。
例えば、各値の関係が
顔情報値：Xh≦Xl
輝度情報値：Yh＞Yl
色情報値：Zh＞Zl
であった場合、撮像評価値検出部１０７は、High画像から検出された撮像評価値αを選択する。なお、この関係はシーン判別部４０４において逆光シーンと判別した場合に満たされる関係でもあるため、シーン判別部４０４において逆光シーンと判別されていれば、撮像評価値検出部１０７は直ちに撮像評価値αを選択することができる。

同様に、
顔情報値：Xh＞Xl
輝度情報値：Yh≦Yl
色情報値：Zｈ≦Zl
であった場合、撮像評価値検出部１０７は、Low画像から検出された撮像評価値βを選択する。なお、この関係はシーン判別部４０４においてトンネルシーンと判別した場合に満たされる関係でもあるため、シーン判別部４０４においてトンネルシーンと判別されていれば、撮像評価値検出部１０７は直ちに撮像評価値βを選択することができる。
Ｓ５０４で選択された撮像評価値が次の撮影時に反映される。

第２の実施形態では、ライブビューモードや、動画記録時にHDR処理を行う場合において、シーン判別結果またはシーン判別に用いる情報に基づいて最適な撮像評価値を選択することで、動画における精度のよいHDR結果を得ることが可能である。

本実施形態においてシーン判別を行う際、High画像とLow画像それぞれから、顔情報、輝度情報、色情報を検出したが、例えば、１フレーム前の、合成前画像もしくはHDR画像から各情報を検出するなど、他の方法を用いてもよい。

また、本実施形態では、顔情報、輝度情報、色情報を用いてシーン判別を行う場合について説明したが、これら情報の一部を用いたり、より多くの情報を用いてシーン判別や撮像評価値の選択を行ってもよい。

また、本実施形態では、シーン判別を行う際に用いる顔情報、輝度情報、色情報のうち、少なくとも２つが大きな値となる画像から検出される撮像評価値を選択した。しかし、各情報値を重み付けして比較を行ってもよい。

本実施形態では、High画像、Low画像の２枚を合成する場合において、説明を行ったが、High画像、Low画像、middle画像等の３枚以上の複数画像を合成する場合においても同様な構成で対応可能である。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態は、１フレーム期間内に露出の異なる複数の画像を取得可能な構成に、第１の実施形態の構成を適用したものである。

図７は、撮像素子１０２の一例としてのＣＭＯＳイメージセンサの構成例を示す図である。撮像素子１０２は、光電変換素子を含む単位画素（以下、単に「画素」と記す場合もある）７００が行列状（マトリクス状）に２次元配置されてなる画素アレイ部７０１を有する。また、撮像素子１０２は、画素アレイ部７０１の周辺回路として、例えば、垂直走査部７０２、列信号処理回路７０３、列選択回路７０４、水平走査部７０５等を有している。

単位画素７００には、列ごとに垂直信号線７０６が配線され、ラインごとに駆動制御線、例えばリセット制御線RST７０７と転送制御線TRS７０８および選択制御線SEL７０９が配線されている。

図８に、単位画素７００の回路構成例を示す。
単位画素７００は、光電変換素子、例えばフォトダイオード３００に加えて、例えば転送トランジスタ３０１、リセットトランジスタ３０２、増幅トランジスタ３０３及び選択トランジスタ３０４の四つのトランジスタを有する画素構成となっている。

転送トランジスタ３０１は、フォトダイオード３００のカソード電極と電荷電圧変換部であるフローティングディフュージョン３０５との間に接続されている。
また、転送トランジスタ３０１のゲート電極は、転送制御線TRS７０８に接続されている。転送トランジスタ３０１は、ゲート電極（制御電極）に転送制御線TRS７０８から転送パルスが与えられると、フォトダイオード３００で光電変換により蓄積された信号電荷を、フローティングディフュージョン３０５に転送する。

リセットトランジスタ３０２は、画素電源ＶＤＤにドレイン電極が、フローティングディフュージョン３０５にソース電極がそれぞれ接続されている。また、リセットトランジスタ３０２のゲート電極は、リセット制御線RST７０７に接続されている。
フォトダイオード３００からフローティングディフュージョン３０５への信号電荷の転送に先立って、リセットトランジスタ３０２のゲート電極にリセット制御線RST７０７からリセットパルスが与えられる。これにより、フローティングディフュージョン３０５の電位を所定電位にリセットされる。

増幅トランジスタ３０３は、フローティングディフュージョン３０５にゲート電極が、画素電源ＶＤＤにドレイン電極がそれぞれ接続されている。増幅トランジスタ３０３は、リセットトランジスタ３０２によってリセットされた後のフローティングディフュージョン３０５の電位をリセットレベルとして出力する。
さらに、増幅トランジスタ３０３は、転送トランジスタ３０１によって信号電荷が転送されたあとのフローティングディフュージョン３０５の電位を信号レベルとして出力する。

選択トランジスタ３０４は、例えば、ドレイン電極が増幅トランジスタ３０３のソース電極に、ソース電極が垂直信号線７０６にそれぞれ接続されている。
また、選択トランジスタ３０４のゲート電極は、選択制御線SEL７０９に接続されている。選択トランジスタ３０４は、ゲート電極に選択パルスが与えられることによってオン状態となり、単位画素７００を選択状態として増幅トランジスタ３０３から出力される電気信号を垂直信号線７０６に出力する。

なお、選択トランジスタ３０４については、画素電源ＶＤＤと増幅トランジスタ３０３のドレイン電極との間に接続した構成とすることも可能である。
また、ここで説明した単位画素の構成は一例であり、例えば選択トランジスタ３０４を省略し、増幅トランジスタ３０３を選択トランジスタ３０４として兼用する３トランジスタの構成であってもよい。あるいは、増幅トランジスタ３０３を複数の単位画素間で共有する構成などであってもよい。他の構成であってもよい。

図７に示す垂直走査部７０２は、ライン選択回路とドライバ回路を備えている。
ライン選択回路は、シフトレジスタあるいはアドレスデコーダ等によって構成され、システム制御部１０８の制御のもと、単位画素７００をライン単位で垂直走査するための転送パルス、リセットパルスおよび選択パルス等の画素駆動パルスを発生する。

ドライバ回路は、ライン選択回路による垂直走査に同期して、単位画素７００の各トランジスタ３０１，３０２，３０４をＯＮ／ＯＦＦするための、所定電圧を有する転送パルス、リセットパルスおよび選択パルスを単位画素７００に供給する。また、ドライバ回路は、垂直走査に同期して、所定電圧より低い中間的な電圧の転送パルスを単位画素７００に供給可能に構成されている。

列信号処理回路７０３は、画素アレイ部７０１の各列に対して単一に配されている。
列信号処理回路７０３は、垂直走査によって選択された読み出しラインの各単位画素７００から垂直信号線７０６を通して出力される電気信号に対して所定の信号処理を行い、単位画素７００から読み出された信号電荷に応じた画素信号を生成して一時的に保持する。

例えば、列信号処理回路７０３は、撮像信号処理部１０３に代わって同様の信号処理を実施してもよい。例えば、列信号処理回路７０３は、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理を実施することができる。ＣＤＳは、リセットノイズや増幅トランジスタ３０３の閾値ばらつき等の画素固有の固定パターンノイズを低減させる処理である。また、列信号処理回路７０３は、アナログ信号をデジタル信号に変換するＡＤ変換処理などを行うことができる。

列選択回路７０４は、シフトレジスタあるいはアドレスデコーダ等によって構成されている。列選択回路７０４は、画素アレイ部７０１の画素列ごとの水平走査を行い、列信号処理回路７０３に一時的に保持されている画素信号を、水平走査順に水平走査部７０５で読み出させる。

水平走査部７０５は、水平選択スイッチ等によって構成されており、列信号処理回路７０３に一時的に保持されている画素信号を、列選択回路７０４による水平走査によって画素列ごとに順次読み出して、ライン単位で画像信号の出力を行う。

システム制御部１０８は、垂直走査部７０２や列選択回路７０４の動作を制御して、画素アレイ部７０１の単位画素７００をライン単位で垂直方向に走査し、この垂直走査によって読み出された各画素の信号を水平走査によって出力させる。

本実施形態では、図７に示すように、隣接する２ラインを１単位として、長時間露光用のEvenラインと短時間露光用のOddラインを設定し、画素アレイ部７０１の走査を制御する。

現在市販されている単板式のカラー撮像素子は、縦横２画素を繰り返し単位としてＲ，Ｇ１，Ｂ，Ｇ２の画素が規則的に配列された原色ベイヤー配列のカラーフィルタを備えている。本実施形態においても撮像素子１０２が原色ベイヤー配列のカラーフィルタを備えているものとして説明する。

ベイヤー配列は縦横２画素の４画素を繰り返し単位とするため、本実施形態では、ベイヤー配列の繰り返し単位から構成される隣接２ラインを１つの画素領域として、画素領域ごとに、長時間露光用のEvenラインと短時間露光用のOddラインを設定する。図７において、ライン（Ln，Ln+１）および（Ln+２，Ln+３）はそれぞれOddライン、ライン（Hn，Hn+１）および（Hn+２，Hn+３）はそれぞれEvenラインに設定される。短時間露光用のOddラインと長時間露光用のEvenラインとは、垂直方向で隣接する。

図９は、本実施形態の撮像装置におけるHDR動画撮影時の動作タイミングを説明するためのタイミングチャートである。ここでは、HDR動画のフレームレートは６０フレーム／秒（ｆｐｓ）とする。ＨＤＲ動画の１フレームを２枚の画像から生成するが、本実施形態では露出の異なる２枚の画像を１フレーム期間内に（１回の撮影で）取得するため、撮影フレームレートは６０ｆｐｓである。なお、これらのフレームレートは例示であり、他のフレームレートを用いてもよい。

システム制御部１０８が生成する１/６０ｓ周期の撮影同期信号（垂直同期信号）によって、１フレーム期間ごとに撮影動作が行われる。
本実施形態においてシステム制御部１０８は、１フレーム期間内に、Low画像９０１とHigh画像９０２と撮影の露光動作を同時に行っていく。ここで、例えば、High画像は適正露出Ev(０)から１段明るく（＋１段）した露出条件Ev(H)で撮影した高露出画像を、Low画像は、適正露出から１段暗く（−１段）した露出条件Ev(L)で撮影した低露出画像とする。

１フレーム期間内で取得されたLow画像９０１とHigh画像９０２は、フレームメモリ１１３に一時的に記憶され、Low画像とHigh画像が揃うと、次のフレーム期間で映像信号処理部１０４が両画像を合成し、HDR画像９０３を作成する。

撮像評価値検出部１０７は、システム制御部１０８から出力される撮像評価値抽出タイミング９０４、９０５に従い、Low画像９０１およびHigh画像９０２のそれぞれについて、予め定められた撮像評価値を検出する。
さらに、撮像評価値検出部１０７はシステム制御部１０８から出力される撮像評価値選択タイミング９０５に従い、HDR動画撮影動作に使用するために他方よりも適切と判定される撮像評価値を選択する。
合成画像から撮像評価値を得る場合、撮像評価値が得られるのは合成処理終了後になるが、本実施形態では、合成処理の開始前のタイミングで撮像評価値が選択され、反映可能となるため、撮像評価値を用いる処理の応答性を向上できる。

システム制御部１０８は、撮像評価値選択タイミングで選択された撮像評価値のうち、AF評価値に基づいて、レンズ駆動制御部１０６を通じてフォーカスレンズ位置を制御し、レンズ１０１の合焦距離を調整する。システム制御部１０８は、フォーカスレンズ位置の制御を、レンズ制御タイミング９０６の１周期、すなわち出力同期信号の１周期（１／６０秒）内で実施する。

図１０は本実施形態において、HDR画像を生成するためのLow画像およびHigh画像を１フレーム期間内に取得するために垂直走査部７０２が生成する信号のタイミングチャートである。ここでは、短時間露光に対応するOddラインLnのリセット制御線RST_Lnと転送制御線TRX_Ln、長時間露光に対応するEvenラインHnのリセット制御線RST_Hnと転送制御線TRX_Hnの信号タイミングを示す。

転送制御線TRS信号およびリセット制御RST信号が立ち上がることによって、フォトダイオード３００の電荷がリセットされ露光（電荷蓄積）が開始される。この動作はシステム制御部１０８によって設定された条件で、画素アレイ部７０１の各ラインに対して所定の順番で順次行われる。

その後、Low画像用のOddラインにおいて、Low画像取得用の露光時間経過後に、oddライン用のTRS_Ln信号が順次立ち上がる。これにより、フォトダイオード３００に蓄積された電荷が選択トランジスタ３０４に読み出され、列選択回路７０４を通して出力される。この信号からLow画像９０１が得られる。
そして、High画像取得用の露光時間経過後に、TRS_Hｎ信号が順次立ち上がり、フォトダイオード３００に蓄積された電荷が選択トランジスタ３０４に読み出され、列選択回路７０４を通して出力される。この信号からHigh画像９０２が得られる。

次に、図１１に示すフローチャートを用いて、本実施形態の撮像装置のＨＤＲ動画撮影に係る動作について詳細に説明する。なお、以下の説明では、High画像で検出される撮像評価値をα、Low画像で検出される撮像評価値をβとする。
図１１において、第１の実施形態で説明した処理と同じ処理を行うステップには図３と同じ参照数字を付して説明を省略し、第１の実施形態と異なる処理ステップに関して説明する。図３と図１１との比較から分かるように、本実施形態では、図３のＳ３０５，Ｓ３０７におけるHigh画像、Low画像の取得動作がＳ１１０１に、Ｓ３０６，Ｓ３０８における撮像評価値α，βの検出動作がＳ１１０２に置き換わっている。

Ｓ１１０１においてシステム制御部１０８は、Ｓ３０４で決定した露出条件Ev(H)およびEv(L)に応じたタイミングパルスを生成し、撮像素子１０２のｅｖｅｎラインとｏｄｄラインに供給する。これにより、ｏｄｄラインからはLow画像が、ｅｖｅｎラインからはHigh画像が、１フレーム期間中に取得できる。システム制御部１０８は、取得したLow画像およびHigh画像をフレームメモリ１１３へ保存する。

Ｓ１１０２において撮像評価値検出部１０７は、フレームメモリ１１３を参照して、High画像に対する撮像評価値α、Low画像に対する撮像評価値βをそれぞれ検出する。

他の処理は第１の実施形態と同様であるため、説明を省略する。
このように、第１の実施形態は、１フレーム期間中に異なる露出の複数枚画像を取得してHDR合成を行う撮像装置に対しても適用することができる。

なお、AF評価値を選択する際、コントラストAF評価値を比較する代わりに、焦点検出エリアのヒストグラムの比較によって最適なAF評価値を選択してもよい。
図１２（ａ），（ｂ）は、それぞれHigh画像、Low画像の例と、それに対するヒストグラムの例を示している。

図１２（ａ）においてヒストグラム１２０２は、Low画像の焦点検出エリア１２０１の信号レベル分布を示し、ヒストグラム１２０４は、High画像の焦点検出エリア１２０３の信号レベル分布を示す。信号レベルは輝度レベルであってよい。撮像評価値検出部１０７は、ヒストグラム１２０２，１２０４を生成した後、それぞれにおける信号レベルmin値の個数とmax値の個数をHigh画像、Low画像について算出する。

図１２（ａ）におけるLow画像のmin値の個数をmin_la，max値の個数をmax_laとし、High画像のmin値の個数をmin_ha，max値の個数をmax_haとする。図１２（ａ）に示したヒストグラム１２０２，１２０４では、以下のような関係がある。
min_la＜max_la
min_ha＜max_ha
この場合、撮像評価値検出部１０７は、それぞれの画像において個数の多い方、すなわち図１２（ａ）の例では、Low画像ではmax_la，High画像ではmax_haの個数について、比較を行う。

この例では、max_la＜max_haであるため、High画像の焦点検出エリア１２０３についてのヒストグラム１２０４は、信号レベルが高い画素が多く、High画像の白飛びを示唆していると考えられる。
一方で、Low画像の焦点検出エリア１２０１についてのヒストグラム１２０２は、信号レベルがHigh画像よりも中央に分布しており、白飛びしている可能性は低いと考えられる。そのため撮像評価値検出部１０７は、図１２（ａ）の例については、Low画像で検出された撮像評価値βをＳ３１２で選択する。

図１２（ｂ）は、逆光シーンなどの例であり、Low画像の焦点検出エリア１２０５のヒストグラム１２０６は、信号レベルの低い画素が多いことを示している。
図１２（ｂ）におけるLow画像のmin値の個数をmin_lb，max値の個数をmax_lbとし、High画像のmin値の個数をmin_hb，max値の個数をmax_hbとする。この場合、とそれぞれの画像のヒストグラムから、以下のような関係が得られる。
min_lb＞ max_lb
min_hb＜ max_hb

この場合、撮像評価値検出部１０７は、それぞれの画像において個数の多い方、すなわち図１２（ｂ）の例では、Low画像ではmin_lb，High画像ではmax_hbの個数について、比較を行う。
この例では、min_lb ＞ max_hbにあるため、Low画像の焦点検出エリア１２０５のヒストグラム１２０６は信号レベルの低い画素が多く、黒つぶれの発生が示唆される。
一方で、High画像の焦点検出エリア１２０７内のヒストグラム１２０８は、信号レベルがLow画像よりも中央に分布している。そのため撮像評価値検出部１０７は、そのため撮像評価値検出部１０７は、図１２（ｂ）の例については、High画像で検出された撮像評価値αをＳ３１２で選択する。

このように、High画像、Low画像から検出されるヒストグラムのmin値，max値の個数に応じてAF評価値を選択するようにしてもよい。

なお、ヒストグラムの比較の例として、min値とmax値を有する画素の数を比較する方法を説明したが、所定の閾値以上の個数と閾値未満の個数との比較など、他の方法を採用しても、最適な撮像評価値を検出することが可能である。

また、撮像評価値の例としてのAF評価値について説明したが、その他の撮像評価値、例えば、WB評価値や、AE評価値においても同様な構成で最適な評価値を検出することが可能である。
WB評価値やAE評価値においても、図１１のＳ１１０２で取得されたHigh画像、Low画像に対して、WB評価値、AE評価値を検出する。
そして、Ｓ３１３またはＳ３１４では、選択されたWB評価値を基に現像に必要なパラメータを算出する。また、AE評価値についても、Ｓ３１３またはＳ３１４で選択されたAE評価値を基に、次フレームの撮影時に露出が適正になるように、絞りの制御値や、シャッタースピード、感度を算出する。

このように、１フレーム期間内に露出の異なる複数の画像を取得する装置においても、第１の実施形態と同様の効果を得ることができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。本実施形態は、１フレーム期間内に露出の異なる複数の画像を取得可能な構成に、第２の実施形態の構成を適用したものである。
本実施形態に係る撮像装置の機能構成は、第２の実施形態（図４）と同様であってよいため、説明を省略する。

本実施形態の撮像装置のＨＤＲ動画撮影に係る動作を、図１３のフローチャートに示す。なお、図１３において第２の実施形態と同様の処理を行うステップには図５と同じ参照数字を付し、重複する説明は省略する。

Ｓ１２０１においては、第３の実施形態におけるＳ１１０１と同様に、Low画像およびHigh画像を１フレーム期間内に取得する。
Ｓ１２０２においては、Ｓ５０１およびＳ５０２と同様の処理を行う。
Ｓ１２０３においれは、Ｓ３０６およびＳ３０８と同様の処理を行う。
他の処理ステップについては第２の実施形態と同様である。

このように、１フレーム期間内に露出の異なる複数の画像を取得する装置においても、第２の実施形態と同様の効果を得ることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 撮像装置であって、
   動画を撮影する撮像手段と、
   １枚の合成画像を生成するために用いる露出の異なる複数の画像を撮影するように、前記撮像手段に露出条件を設定する設定手段と、
   前記撮像手段から得られる、前記露出の異なる複数の画像の少なくとも２つから、撮像評価値を検出する評価値検出手段と、
   前記評価値検出手段によって検出された複数の撮像評価値から、前記撮像装置の動作を制御するために用いる撮像評価値を、予め定められた条件に基づいて選択する選択手段と、
   前記選択手段が選択した撮像評価値に基づいて、前記撮像装置の動作を制御する制御手段と、を有することを特徴とする撮像装置。
2. 前記露出の異なる複数の画像を合成して、１枚の合成画像を動画フレームとして生成する生成手段をさらに有することを特徴とする請求項１記載の撮像装置。
3. 前記撮像評価値がAF評価値、AE評価値、ホワイトバランス評価値の少なくとも１つであることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記選択手段は、前記評価値検出手段によって検出された複数の撮像評価値の比較結果に基づいて前記選択を行うことを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
5. さらに、撮影シーンを判別するシーン判別手段を有し、
   前記選択手段は、前記シーン判別手段によって判別されたシーンに応じて前記選択を行うことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記設定手段が、適正露出より多い露出で撮影を行う条件と、前記適正露出より少ない露出で撮影を行う条件とを含んだ露出条件を設定し、
   前記選択手段は、前記撮像評価値がAF評価値であり、前記シーン判別手段で撮影シーンが逆光シーンであると判別された場合には、前記露出の異なる複数の画像のうち、前記適正露出より多い露出で撮影を行う条件で撮影された画像から検出された前記撮像評価値を選択することを特徴とする請求項５に記載の撮像装置。
7. 前記設定手段が、適正露出より多い露出で撮影を行う条件と、前記適正露出より少ない露出で撮影を行う条件とを含んだ露出条件を設定し、
   前記選択手段は、前記撮像評価値がAF評価値であり、前記シーン判別手段で撮影シーンがトンネルシーンであると判別された場合には、前記露出の異なる複数の画像のうち、前記適正露出より少ない露出で撮影を行う条件で撮影された画像から検出された前記撮像評価値を選択することを特徴とする請求項５または請求項６に記載の撮像装置。
8. 前記露出の異なる複数の画像のそれぞれから得られる情報に基づいて撮影シーンを判別するシーン判別手段をさらに有し、
   前記選択手段は、前記露出の異なる複数の画像のそれぞれから得られる前記情報の比較結果に基づいて前記選択を行うことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
9. 前記情報が、輝度情報、色情報、被写体検出情報の少なくとも１つを含むことを特徴とする請求項８記載の撮像装置。
10. 前記設定手段は、前記撮像手段に予め設定された複数の画素領域に対し、複数の電荷蓄積時間を設定することにより、予め定められた動画の１フレーム期間内に、前記撮像手段によって前記露出の異なる複数の画像を撮影することを特徴とする請求項１から請求項９のいずれか１項に記載の撮像装置。
11. 前記複数の画素領域が、前記撮像手段が有する撮像素子のカラーフィルタの繰り返し単位に基づいて設定されることを特徴とする請求項１０記載の撮像装置。
12. 動画を撮影する撮像手段を有する撮像装置の制御方法であって、
    設定手段が、１枚の合成画像を生成するために用いる露出の異なる複数の画像を撮影するように、前記撮像手段に露出条件を設定する設定工程と、
    評価値検出手段が、前記撮像手段から得られる、前記露出の異なる複数の画像の少なくとも２つから、撮像評価値を検出する評価値検出工程と、
    選択手段が、前記評価値検出工程において検出された複数の撮像評価値から、前記撮像装置の動作を制御するために用いる撮像評価値を、予め定められた条件に基づいて選択する選択工程と、
    制御手段が、前記選択工程で選択された撮像評価値に基づいて、前記撮像装置の動作を制御する制御工程と、を有することを特徴とする撮像装置の制御方法。

Images