JP2015073172A - 撮像装置、制御方法及びそのプログラム - Google Patents

Abstract

【課題】 被写体の輝度変化に応じた露出制御を行いつつ、ダイナミックレンジ拡大処理に用いる露出量の異なる複数の画像を適正に取得することを可能とする。【解決手段】 入射光量に応じた電荷を蓄積し画像を出力する撮像手段と、第１画像と第１画像とは露出量の異なる第２画像とを合成に用いられる組として第１画像から順に周期的に連続して撮像手段に出力させる制御手段と、撮像手段に入射する光量を調節する光量調節部材の駆動を制御することで、光量調節度合を変化させる駆動制御手段と、を有し、駆動制御手段は、第１画像の電荷の蓄積開始前に光量調節度合を変化させ第１画像の電荷の蓄積中と第２画像の電荷の蓄積中は光量調節度合を変化させず、第１画像と第２画像とで光量調節度合を変化させないように光量調節部材の駆動を制御することを特徴とする構成とした。【選択図】 図２

Description

本発明は、ダイナミックレンジ拡大処理に用いる露出量の異なる複数の画像を取得する撮像装置とその制御方法及びプログラムに関する。

従来、撮像装置において、ダイナミックレンジを拡大する技術として、同一のシーンで露出量が異なる複数の被合成画像を取得し、該被合成画像同士を合成するＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成処理という技術が一般的に知られている。

このＨＤＲ合成処理としては、まず、被写体の測光結果に応じた露出量（適正露出の露出量）の画像を取得する。そして、該適正露出の露出量よりも相対的に少ない露出量（アンダー露出の露出量）、及び、相対的に多い露出量（オーバー露出の露出量）で撮像した画像の一方、若しくは両方を取得する。その後、取得した露出量の異なる被合成画像同士を合成することで広いダイナミックレンジを有する合成画像を取得することが出来る。

以上の構成を動画に適用した、所謂、動画ＨＤＲの技術として、特許文献１には露出量の異なる画像を周期的に取得（撮像）し、当該画像同士を撮像装置の内部で合成して連続的に出力することが可能な撮像装置について提案されている。

特公平０７−０９７８４１号公報

しかしながら、特許文献１には、被写体の輝度が変化した場合に、該輝度の変化に追従するための露出制御（以下、輝度変化に応じた露出制御と称す）についての開示はされていない。

上述した輝度変化に応じた露出制御を、撮像素子への入射光量を調節する機構（絞り等）を駆動して行う場合、該機構の駆動中は被合成画像の露出量は当初意図していたものとは異なってしまう。この場合、ダイナミックレンジ拡大処理に用いる露出量の異なる複数の画像として適正な画像が取得されない可能性があった。

本発明の目的は、被写体の輝度変化に応じた露出制御を行いつつ、ダイナミックレンジ拡大処理に用いる露出量の異なる複数の画像を適正に取得することを可能とすることである。

上記目的を達成するための本発明としての撮像装置は、入射光量に応じた電荷を蓄積し画像を出力する撮像手段と、第１画像と前記第１画像とは露出量の異なる第２画像とを合成に用いられる組として前記第１画像から順に周期的に連続して前記撮像手段に出力させる制御手段と、前記撮像手段に入射する光量を調節する光量調節部材の駆動を制御することで、光量調節度合を変化させる駆動制御手段と、を有し、前記駆動制御手段は、前記第１画像の電荷の蓄積開始前に前記光量調節度合を変化させ前記第１画像の電荷の蓄積中と前記第２画像の電荷の蓄積中は前記光量調節度合を変化させず、前記第１画像と前記第２画像とで前記光量調節度合を変化させないように前記光量調節部材の駆動を制御することを特徴とする。

また、上記目的を達成するためのその他の本発明としての撮像装置は、入射光量に応じた電荷を蓄積し画像を出力する撮像手段と、第１画像と前記第１画像とは露出量の異なる第２画像とを合成に用いる組として前記第１画像から順に周期的に連続して前記撮像手段から出力させる制御手段と、前記光量調節部材の駆動を制御し、当該光量調節部材の状態を変化させることで前記撮像手段に入射する光量を調節する駆動制御手段と、を有し、前記駆動制御手段は、前記第１画像の電荷の蓄積開始から前記第２画像の電荷の蓄積終了まで前記光量調節部材の状態を変化させないことを特徴とする。

本発明によれば、被写体の輝度変化に応じた露出制御を行いつつ、ダイナミックレンジ拡大処理に用いる露出量の異なる複数の画像を適正に取得することができる。

本発明の第１実施形態に係る撮像装置の構成例を示す図である。 （ａ）本発明の第１実施形態に係る撮像装置の露出制御のタイミングチャートを例示的に示す図である。（ｂ）本発明の第１実施形態に係る撮像装の絞りの駆動のタイミングチャートを例示的に示す図である。 本発明の第１実施形態に係る撮像装置のＨＤＲ合成処理の例を示すフローチャートである。 本発明の第１実施形態に係る撮像装置の絞り駆動処理の例を示すフローチャートである。 本発明の第１実施形態に係る撮像装置の絞りの駆動の例外処理のタイミングチャートを例示的に示す図である。 本発明の第１実施形態に係る撮像装置のＮＤフィルタの駆動タイミングを例示的に示す図である。 本発明の第２実施形態に係る撮像装置の露出制御と絞りの駆動のタイミングチャートを例示的に示す図である。 本発明の第２実施形態に係る撮像装置のＨＤＲ合成処理の例を示すフローチャートである。

（第１実施形態）
以下、本発明の実施形態について図１を参照して説明する。図１は本実施形態に係る撮像装置であるカメラ１の構成例を示したブロック図である。

光学レンズ群（以下、単にレンズと称す）２は、フォーカスレンズやズームレンズなどを含む複数のレンズからなり、被写体の光学像をカメラ１の内部へと導く。絞り３は、レンズ２を介して入射する光量を調節するための光量調節部材である。このレンズ２と絞り３とを総称して光学ブロック４とする。

尚、本実施形態のカメラ１は、該光学ブロック４とカメラ本体とが一体的に設けられている構成であるが、これに限定されるものではない。例えば、光学ブロック４がカメラ本体に対して、取り外し可能な構成であっても良い。

レンズ制御部７は、光学ブロック４（レンズ２と絞り３）の駆動制御部であって、該レンズ制御部７が光学ブロック４を制御することでズームやフォーカス、絞り値の調整などの制御を実行する。

撮像素子５は、被写体の光学像を電気信号の画像データに変換するＣＣＤやＣＭＯＳなどの電荷蓄積型の固体撮像素子である。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）６は、撮像素子５で変換された画像データに対して、ゲイン調整、サンプリング、Ａ／Ｄ変換等を行い、アナログ信号の画像データをデジタル信号に変換するための変換部である。尚、後述するＩＳＯ感度はＡＦＥ６のゲイン調整により変更される。また、上述した撮像素子５やＡＦＥ６などが本実施形態における撮像手段となる。

タイミング発生部８は撮像素子５やＡＦＥ６に対してクロック信号や制御信号を供給する。また、タイミング発生部８は、撮像素子５のリセットタイミング（読み出し）を制御可能な電子シャッタとしての役目も果たす。例えば、不図示のメカシャッタと同期して制御されることで撮像素子５における露出時間（蓄積時間）を設定することも可能である。

画像処理部９は、ＡＦＥ６から出力された画像に対して、画素補間処理や色変換処理などの種々の画像処理を行う回路である。尚、画像処理部９の内部には、後述する測光演算部１７や露出制御部１８、合成部１９の他に、取得された動画像の暗号化、符号化を行う不図示のエンコード部などが設けられている。

画像処理部９の内部の測光演算部１７では、ＡＦＥ６から出力されたデジタル信号の画像データに基づいて被写体輝度を算出する。そして、測光演算部１７の算出結果に応じて、露出制御部１８が後述するＨＤＲ合成処理に用いる露出量の異なる複数の画像データ（以下、被合成画像と称す）の露出量を設定する。詳細としては、露出量の設定指示がバスと後述のＣＰＵ１０を介してレンズ制御部７やタイミング発生部８へと伝えられ、該指示に従って、絞り値、蓄積時間、ＩＳＯ感度を変更することで露出制御が行われる。そして、被合成画像ごとに露出量を変化させて、前述した撮像素子５によってアナログ信号の画像データの取得をおこなう。尚、被合成画像それぞれの露出量の詳細については後述する。

画像処理部９で処理された被合成画像の画像データはバッファメモリ１２に一時的に保存される。そして、メモリ制御部１１によって、バッファメモリ１２における画像データの保存および消去などの制御がおこなわれる。尚、被合成画像のみでなく、後述するＨＤＲ合成処理が施された合成画像データ（以下、単に合成画像と称す）についても同様にバッファメモリ１２に一時的に保存される。

合成部１９は、取得した被合成画像同士を合成しＨＤＲ合成処理を行うためのダイナミックレンジ拡大手段であり、被合成画像をバッファメモリ１２から読出しＨＤＲ合成処理を行う。そして、ＨＤＲ合成処理後の合成画像は、再びバッファメモリ１２、及びメモリ１４に出力される。

カードスロット１５は、例えばＳＤカード等の着脱可能な記録媒体１６を差し込み可能である。そして、記録媒体１６は、カードスロット１５に差し込まれた状態で、バスを介してメモリ１４に記録されている画像データを記録媒体１６へと記録することが可能である。また、記録媒体１６の内部に記録されたデータをカメラ１で読み出すことも可能である。

液晶表示素子からなるＴＦＴなどの表示部１３は、種々の処理後の画像、及び、各種メニューやガイドなどの表示を行う。尚、カメラ１に不図示の外部通信用のインターフェースを設け、ケーブル等を介して不図示の外部表示装置を用いて上述したような表示を行う構成であってもよい。

メモリ１４は本実施形態において使用される種々のデータの記憶と、カメラ１の撮影処理に応じて出力されるデータを保存するための記憶部である。例えば、タイミング発生部８における各部の駆動タイミングや種々の露出条件、カメラ１内の処理で使用する算出式、及び図３、図４や図８に示すフローと同様の動作を指示するためのプログラムなどのデータがメモリ１４に記憶されている。

ＣＰＵ１０は、バスを介して上述したようなカメラ１内の各部へと接続されており、カメラ１内の各部を統括的に制御する制御部である。本実施形態では、ＣＰＵ１０は、レンズ制御部７、タイミング発生部８、画像処理部９、メモリ制御部１１、露出制御部１８に対して、カメラ１内の各部の制御を指示する。尚、上述したような制御部や処理部を設けずに、ＣＰＵ１０がカメラ１内の各部の駆動を制御する構成でも良い。また、ＣＰＵ１０を設けずに上述した制御部や処理部がそれぞれ連動して制御（処理）をおこなうことでカメラ１内の各部の駆動を制御する構成であってもよい。

電源ボタン２０は、カメラ１の内部へと電源供給のＯＮ／ＯＦＦを切り替えるためのボタンである。電源ボタン２０がＯＮされることで、不図示の電源からカメラ１内部に設けられたバスを介して、カメラ１の各部へと電力が供給される。

レリーズボタン２１は、静止画、及び動画の撮影（記録）を開始（及び終了）させるためのボタンである。また、レリーズボタン２１は、２段階の押圧操作が可能であって、半押し操作（ＳＷ１）で被写体に対する焦点合わせ等の撮影準備動作が実行され、全押操作（ＳＷ２）で画像の撮影が実行される。

ズームレバー２２は、予め決められた範囲で回動可能であって、該ズームレバー２２の回動に応じてレンズ２が調整して焦点距離を変更可能な操作部材である。

操作ボタン２３は、カメラ１の各種設定を行うための複数のボタンからなる入力部である。また、モードダイヤル２４は、カメラ１において設定可能な各種のモードを切り替えるための操作ダイヤルである。

以上説明した、各種のボタン、レバー、及びダイヤルはＣＰＵ１０に接続されており、該ボタン等の入力に対応した指示信号がＣＰＵ１０へと入力される。そして、該ＣＰＵ１０からカメラ１の各部に対応する動作の実行が指示される。尚、上述のボタン、レバー、ダイヤルなどはユーザのからの物理的な入力が可能なものであればどの様な構成であっても良いし、ＣＰＵ１０を介することなくカメラ１の各部に対応する指示を直接入力するような構成であっても良い。

以下、本実施形態に係る撮像装置であるカメラ１の基本動作について説明する。まず、ユーザが電源ボタン２０をオンすることで、不図示の電源はカメラ１を構成する各部へと電力を供給する。

次に、レンズ制御部７の電力が供給され不図示のシャッタが開き、撮像素子５に、光学ブロック４を通過して導かれた被写体の光学像が結像される。また、表示部１３に各種のパラメータを設定するためのグラフィカルインターフェース（以下、ＧＵＩと称する）が表示される。

次に、レリーズボタン２１は半押し状態（ＳＷ１）でオンとなり、被写体の撮影準備を開始される。撮影準備の詳細としては、レンズ制御部７によりレンズ２と絞り３の駆動が制御されることで前述したフォーカス、ズーム、絞りなどの制御が必要に応じて実行される。

次に、レリーズボタン２１は全押し状態（ＳＷ２）でオンとなる。この状態で、タイミング発生部８によって、メモリ１４の内部に記憶されている電荷の蓄積を開始するタイミングに基づき、不図示のシャッタの駆動（開閉）が制御される。そして、当該シャッタの駆動（開閉）によって被写体の光学像が撮像素子５で撮像される（電荷が蓄積される）。

次に、ユーザによる操作ボタン２３、モードダイヤル２４の操作に応じて、ＧＵＩに表示された各種のパラメータの選択と設定がされる。尚、本実施形態においてＨＤＲ合成処理を行う動画撮影モードである動画ＨＤＲモードの選択は、当該操作ボタン２３又はモードダイヤル２４をユーザが操作することで行う。また、本実施形態での説明は行わないが、ＨＤＲ合成処理を行わない動画撮影モードである通常動画モードの選択を行うことも可能である。

また、上述の操作ボタン２３によって、ライブビューの開始、及び終了の実行も可能である。例えば、ライブビューの開始については、ＧＵＩ上のライブビュー開始のラベルを選択することに応じて撮像素子５から定期的（例えば１秒に６０回）に画像データが取り込まれ、各種処理を実行した後にメモリ１４へ配置する。これにより、撮像素子５から取り込んだ画像データを表示部１３に逐次表示（ライブビュー）することができる。尚、ライブビューは操作ボタン２３等により指示するのではなく、電源ボタン２０のオンと同時に開始されるような構成でも良い。

更に、ユーザは、ライブビュー中にＧＵＩ上の動画記録開始／終了の表示を選択することで、動画の記録が開始または終了を実行できる。尚、ライブビューされていない状態で、動画記録開始／終了の表示を選択することにより、表示部１３へのライブビューを開始するとともに動画記録の開始をおこなうような構成でも良い。以上が、本実施形態の撮像装置であるカメラ１の構成と基本動作の例であるが、上述した構成はその要旨の範囲内で種々の変形及び変更が可能である。

次に、本実施形態に係る露出制御について図２を参照して例示的に説明する。図２（ａ）は、本実施形態に係るカメラ１の露出制御に関するタイミングチャートである。図中の横方向に示されている符合１、２、…９は、単位時間に、ある露出量の画像を出力する範囲（以下、フレームと称す）の番号を示しており、以下では、それぞれ、フレーム１、フレーム２…フレーム９として称して説明する。また、フレーム１、フレーム２…フレーム９において、行われるそれぞれの露出を露出１、露出２…露出９と称する。更に、それぞれの露出における蓄積時間をＴ１、Ｔ２、…Ｔ９とする。

尚、本実施形態では、ＩＳＯ感度を固定として被合成画像の取得するため、絞り３の駆動によって露出量が変化しない場合は、被合成画像を撮像するための露出量の変化と、被合成画像を取得するための蓄積時間の変化とは同一となる。

図２（ａ）からわかるように、本実施形態では、フレーム毎に異なる露出量の画像が出力可能であって、３つの被合成画像を合成に用いる１組として周期的に連続して被合成画像が出力される。そして、出力された複数の被合成画像を合成して１つの合成画像を出力することによってＨＤＲ合成処理が行われる。

尚、本実施形態における３つの被合成画像の露出量としては、被写体の輝度に対する平均的な露出量である適正露出量（基準露出量）、該適正露出量よりも露出量の少ないアンダー露出量、該適正露出量よりも露出量の多いオーバー露出量とする。従って、これらの露出量に対応するそれぞれの画像である、適正露出画像（第３画像）、アンダー露出画像（第１画像）、オーバー露出画像（第２画像）が本実施形態のＨＤＲ合成処理に用いられる被合成画像となる。

これらの被合成画像は、前述したバッファメモリ１２のそれぞれの領域（バッファ１、２、３）に一時的に記憶される。そして、合成の１組として用いる全ての被合成画像の取得（出力）が終了した後に、ＨＤＲ合成処理を行い合成画像が出力される。そして、この合成画像を３つのフレームごとに１つ出力し、該合成画像を１つの表示画像として順につなぎ合わせることで合成画像が動画像として（前述したメモリ１４に）記録される。

尚、それぞれの被合成画像の露出量の差（以下、露出差と称す）は、被合成画像ごとに蓄積時間を変化させることで実現する。例えば、図中のフレーム１〜３で取得される被合成画像による合成の組では、露出１〜３の順にアンダー露出画像、適正露出画像、オーバー露出画像が取得され、それぞれの被合成画像の蓄積時間の関係は、Ｔ１＜Ｔ２＜Ｔ３となる。即ち、合成の１組となる被合成画像は、蓄積時間が相対的に短いものから順に出力される。

また、本実施形態において被合成画像間の露出差は、ＡＰＥＸ単位で露出量が２段分少なく、又は多くなるように設定される。即ち、アンダー露出画像の露出量は適正露出画像よりも２段分少なく、オーバー露出画像は適正露出画像よりも２段分露出量が多い。

尚、被合成画像間の露出差を、それぞれ２段とは異なる露出差とするような構成でも良い。更に、ユーザが被合成画像間の露出差を設定するだけでなく、メモリ１４に予め記憶された所定の算出式と測光演算部１７による被写体輝度の算出結果に従って露出差の算出（設定）を行うような構成でもあっても良い。

上述した被合成画像は、被写体輝度の異なる範囲をそれぞれカバーするように取得する。従って、３つの被合成画像を用いてＨＤＲ合成処理を行うことで、被写体輝度の広い範囲をカバーする合成画像を取得することが出来る。即ち、広いダイナミックレンジを有する合成画像を取得することが出来る。

図２（ｂ）は、カメラ１に係る絞り３の駆動（変化）タイミングを示すタイミングチャートである。図中の上段部分はフレーム数、中段部分はそれぞれの露出における蓄積時間、そして下段部分に示すグラフは、縦軸が、光量調節度合を表す絞り値、横軸が該絞り値の時間変化を示すグラフである。尚、該グラフにおいて、絞り値は下側が開放側（明）で上側が小絞り側（暗）である。即ち、当該グラフにおいて絞り３の絞り径は、（レンズ２の位置が変化しない場合）下側から上側に向かって小さくなる。

以下、被写体輝度の変化に応じた露出制御の概要について説明する。例えば、図２（ｂ）の〈Ａ〉に示すタイミングで被写体輝度が暗い状態から明るい状態へと変化した場合、該変化に応じて、画像を撮像するための露出量を少なくするように露出制御を行う必要がある。

ここで、上述した露出制御（輝度変化に応じた露出制御）を絞り３の駆動することで実現する場合、絞り３を開放側から小絞り側に向けて駆動する必要がある。図中の点線で示すラインは、絞り３の駆動に制限を設けずに、目標となる絞り値に向けて絞り３を駆動した場合の、絞り値の変化量を示す軌跡（要求絞り動作軌跡）である。尚、被写体輝度の測光演算は、後述するように適正露出画像を用いて行う。

しかしながら、図からわかるように、該破線に沿って絞り３の駆動を行うと、フレーム１〜３の間で取得するそれぞれの被合成画像は、二点鎖線で示すように当初意図したものとは異なる絞り値の画像が取得されてしまう。これは、絞り３を駆動することによって、被合成画像を取得する際の実際の絞り値が、被合成画像同士で変化されてしまうからである。

この場合、絞り値の変化に応じて、被合成画像の露出量も当初意図していたものとは異なってしまうため、ＨＤＲ合成処理を行うために必要な適正な被合成画像を取得することができない。尚、本実施形態における適正な被合成画像とは、合成の１組となる被合成画像同士で絞り値が変化されていない状態のものを指す。

また、絞り３は、目標となる値（当初設定された絞り値）に向かって、当該絞り３の（絞り径の）状態を時間的に変化させて駆動する。従って、合成の組となる複数の被合成画像を取得中に絞り３を駆動する場合は、被合成画像ごとに、露出量だけでなく被写界深度も異なってしまう。

例えば、被合成画像の露出量が当初意図したものとなるようにＩＳＯ感度などのパラメータで当該露出量を補償したとしても、被合成画像同士の被写界深度は異なるものとなってしまう。この場合、被写界深度が異なる被合成画像同士でＨＤＲ合成処理を行うので、取得される合成画像は不自然なものになってしまう可能性がある。

そこで、本実施形態では、被合成画像同士で絞り値を変化させないように、絞り３の駆動を制御することによって上述の問題を解決する。以下、その詳細について説明する。

図２（ｂ）に示すように、本実施形態において、輝度変化に応じた露出制御を絞り３を駆動することで行う場合は、合成の組となる最先の被合成画像の取得前に絞り３の駆動を行う。詳細としては、例えばフレーム１〜３を１つの合成の組とする場合、フレーム１で取得するアンダー露出画像の電荷の蓄積開始前に、絞り３の駆動を完了し、絞り値を目標となる値まで変化させる。尚、目標となる絞り値は、フレーム２の露出２のタイミングで必要とする絞り値とする。

そして、フレーム１でのアンダー露出画像の電荷の蓄積開始からフレーム３でのオーバー露出画像の電荷の蓄積終了までは、絞り３を駆動しない。即ち、絞り３の絞り径の状態を、被合成画像同士で変化させない（レンズ２の位置関係が変化しない場合）。従って、絞り３を駆動することによって実際に変化させる絞り値は、被合成画像同士で変化しない。即ち、フレーム３が終了するまで被合成画像ごとで固定の絞り値となる。

尚、絞り３の駆動を開始するタイミングは、フレーム１で取得するアンダー露出画像の直前の合成に用いる被合成画像の取得後である。即ち、フレーム１でアンダー露出画像を取得する直前に取得する、オーバー露出画像の電荷の蓄積終了後に絞り３の駆動（絞り値の変更）を開始する。

従って、本実施形態において絞り３の駆動は、図中のＴ０で示すような、オーバー露出画像の電荷の蓄積終了後からアンダー露出画像の電荷の蓄積開始前の期間で行う。尚、１つの合成の組となる被合成画像の内、最初にアンダー露出画像を取得するのは、該アンダー露出画像の蓄積時間が他の被合成画像に比べて相対的に短いため、絞り３の駆動を行う期間が長く出来るからである。

以上の構成に係るＨＤＲ合成処理の動作について図３を参照して説明する。図３は、本実施形態に係るカメラ１のＨＤＲ合成処理に関するフローを説明した図である。尚、以下のフローにおける各処理の結果はメモリ１４に記憶され、必要な際にはメモリ１４から適宜出力されるものとする。

ＨＤＲ合成処理が開始されると、ステップＳ１０１で測光演算部１７は被写体輝度の測光演算を行う。ここで、本実施形態では、合成の組ごとに被写体輝度の測光演算が１度行われる。即ち、３フレームに一度だけ測光演算が行われる。詳細としては、適正露出画像を用いて測光演算部１７で測光をする。そして、オーバー露出画像の取得に合わせて、測光演算部１７は、先の適正露出画像の取得時に行った測光の結果からの被写体輝度を演算する。

尚、測光演算のタイミングはこれに限定されるものではない。例えば、オーバー露出画像を用いて測光演算を行うような構成でも良い。その場合、オーバー露出画像は適正露出画像よりも２段分露出量が多いことを加味して被写体輝度の算出を行う。また、後述する本実施形態における絞り３の駆動に影響しない場合は、測光演算を毎フレームごとに行い、被写体輝度の情報を毎フレームごとに更新するような構成であっても良い。

更に、本実施形態では、測光演算によって得られた被写体輝度に応じた露出制御は、被写体輝度が得られた次の合成の組（例えば、フレーム１〜３）に反映されるがこれに限定されるものではない。例えば、フレーム１で行った測光演算により算出した輝度変化に応じて、更に次の合成の組（例えば、フレーム４〜６の組）で露出制御を行うような構成であっても良い。

尚、現在のフレームがＨＤＲ合成処理の開始後、初めてのフレームである場合は、メモリ１４に予め記憶された露出条件で撮影処理が行われる。この場合、例えば、メモリ１４に予め決められた露出条件の予備画像を記憶させておき、該予備画像を用いて測光演算を行う。

次に、ステップＳ１０２で露出制御部１８は、先に算出した被写体輝度に応じた絞り値（目標絞り値）を算出する。即ち、本実施形態では、現在処理中の合成の組よりも一つ前の合成の組の適正露出画像の取得からオーバー露出画像の取得に合わせて、測光演算と目標絞り値の算出をする。

次に、ステップＳ１０３でＣＰＵ１０は、現在のフレーム（処理を開始するフレーム）のフレーム数が、ひとつ前に処理が行われていたフレーム数＋１であるとして処理を開始する。尚、ＨＤＲ合成処理の開始後、初めてのフレームである場合は、現在処理が行われているフレーム数を１（フレーム１）とする。

次に、ステップＳ１０４でＣＰＵ１０は、現在のフレームが何番目のフレームであるかを判定する。判定の詳細としては、３Ｎ−２（１つめ）、３Ｎ−１（２つめ）、３Ｎ（３つめ）の内の何れのフレームであるかを判定する（括弧内は被合成画像の取得順序）。尚、Ｎは１以上の自然数とする。本実施形態では、３Ｎ−２のフレームでアンダー露出画像、３Ｎ−１のフレームで適正露出画像、３Ｎのフレームでオーバー露出画像の撮像がそれぞれ行われる。

ステップＳ１０４でＣＰＵ１０が、現在のフレーム数が３Ｎ−２であり、アンダー露出のフレームであると判定した場合は、ステップＳ１０５において露出制御部１８は、現在設定されている絞り値が目標絞り値か否かを判定する。

ステップＳ１０５で、現在の絞り値が目標絞り値でないと判定した場合は、ステップＳ１０６で露出制御部１８は絞り駆動処理を開始する。

以下、この絞り駆動処理の動作のフローについて図４を参照して説明する。図４は、本実施形態に係るカメラ１の絞り駆動処理の動作に関するフローである。

絞り駆動処理が開始されると、ステップＳ２０１で露出制御部１８は、絞り値が目標絞り値になるために必要となる絞り３の駆動量を算出する。そして、ステップＳ２０２で露出制御部１８は、ステップＳ２０１で算出した絞り駆動量に応じた絞り３の絞り駆動速度を算出する。

次に、ステップＳ２０３で露出制御部１８は、先のステップで算出した絞り３の駆動条件に合わせて、絞り３への通電開始タイミングを算出する。前述したように、本実施形態では合成に用いる被合成画像の取得開始前に絞り３の駆動をおこない絞り値を変化させる。ここで、絞り３を駆動するために、絞り３に内蔵された不図示のモータへの通電をする必要があるが、該モータへの通電開始から実際に絞りが駆動するまでに時間的なズレが生じる。従って、絞り３への通電開始のタイミングは、実際に絞り３を駆動したい期間（例えば、図２（ｂ）のＴ０の絞り駆動期間など）に合わせて補正する必要がある。

次に、ステップＳ２０４で露出制御部１８は、先のステップまでに算出した絞り駆動量、絞り駆動速度から、目標絞り値に向かって必要な絞り３の駆動時間（以下、絞り切り替え時間）が被合成画像を取得していない時間内で終了できるか否かを判定する。詳細としては、ある合成の１組に用いるオーバー露出画像の電荷の蓄積終了から次の合成の組に用いるアンダー露出画像の電荷蓄積開始までの期間（絞り駆動期間）が、絞り切り替え時間よりも長いか否かを判定する。

次に、ステップＳ２０４での判定により、絞り切り替え時間が上述した期間よりも長いと判定した場合はステップＳ２０５へ進み、絞り３の駆動に関する例外処理を行う。

ステップＳ２０６に進み例外処理〈ａ〉を行う場合は、露出制御部１８は、アンダー露出画像の電荷の蓄積開始後も、目標絞り値になるまで絞り値を変化させるように絞り３の駆動を継続することを指示する。そして、そして露出制御部１８からの指示によりＡＦＥ６は、アンダー露出画像の取得期間中に絞り３を駆動することで変化した露出量を、ＩＳＯ感度を変更することで補償する。この構成の場合、少なくともアンダー露出画像を取得するフレーム内で絞り３の駆動を完了することが望ましい。

ステップＳ２０７に進み例外処理〈ｂ〉を行う場合は、露出制御部１８は、今回の絞り駆動期間で駆動可能な上限まで絞り３を駆動し、次の絞り駆動期間で残りの駆動を行う。

例えば、上述の例外処理〈ｂ〉を行うのは、輝度変化に応じた露出制御において、絞り３の駆動量が多い時などに有効である。この状態を示した絞り３の駆動に関するタイミングチャートが図５である。以下、この図５を参照して、例外処理〈ｂ〉について説明する。

図５に示すように、例えば、前述した図４のステップＳ２０４で、絞り切り替え時間が絞り駆動期間（Ｔ０）よりも短い場合は、２つの絞り駆動時間において絞り３を駆動して、１つの目標絞り値を実現する。尚、本実施形態では、例外処理〈ｂ〉を行う場合、次の合成の組に、新たに行った測光演算の結果は反映させないが、残りの駆動量と新たな駆動量とを足し合わせて絞り３の駆動を行うような構成であっても良い。

以上の構成によって、１つの絞り駆動期間（Ｔ０）で絞り３の駆動が完了しない場合であっても、被合成画像同士で絞り値を変化させることなくＨＤＲ合成処理を行うことが出来る。

また、絞り３を急激に変化させると、撮像される画像の輝度も急激に変化してしまい、ユーザが所望する画像が得られない場合がある。この様な場合も、例外処理〈ｂ〉を行うことで、絞り３を緩やかに駆動（変化）することが出来るため、ユーザが所望する画像の取得に有効的である。

以上説明した２つの例外処理〈ａ〉と〈ｂ〉は、ユーザの任意操作によって、何れかの処理を適宜選択可能である。尚、本実施形態では上述した二つの例外処理を行うような構成であるが、これに限定されるわけでなくその他の例外処理を行うような構成でも良い。

例えば、絞り切り替え時間が絞り駆動時間よりも短くなるように、アンダー露出画像の蓄積時間を少なくする構成であっても良い。この場合、蓄積時間を減らした分だけ露出量は減少するので、減少した分の露出量はＩＳＯ感度を変化させて補償する。

図４のフローに戻り、ステップＳ２０８で露出制御部１８は、先に算出した絞り駆動量、絞り駆動速度、通電タイミング、例外処理での絞り３の駆動条件（例外処理を行う場合のみ）から、実際の絞り３の駆動の詳細（絞り駆動パラメータ）を設定する。この、ステップＳ２０８で設定した絞り駆動パラメータが絞り３の駆動に関する諸条件の最終決定値であり、露出制御部１８からバスを介して、レンズ制御部７、タイミング発生部８などのカメラ１の各部へと動作を指示し、絞り駆動処理を終了する。

図３に戻り、Ｓ１０７でレンズ制御部７は、絞り駆動処理にて設定された絞り駆動パラメータに基づいて絞り駆動期間で絞り３を駆動することで、絞り値を変化させる。

そして、ステップＳ１０８で撮像素子５は、タイミング発生部８からの指示に従いアンダー露出画像を撮像（取得）する。該取得されたアンダー露出画像は、メモリ制御部１１の指示に従いバッファメモリ１２に一時的に記憶され、アンダー露出画像の取得が終了する。アンダー露出画像の撮像が終了したら、ステップＳ１０２へと戻り、次のフレームの処理を開始する。

ステップＳ１０４で、現在のフレーム数が３Ｎ−１のフレームであると判定した場合、ステップＳ１０９へと進み撮像素子５は、タイミング発生部８から指示に従い適正露出画像を撮像（取得）する。該取得された適正露出画像は、メモリ制御部１１の指示に従いバッファメモリ１２へと一時的に記憶され、適正露出画像の取得が終了する。

尚、前述したように、この３Ｎ−１のフレームでは絞り３を駆動しないので、適正露出画像の絞り値は先に取得したアンダー露出画像の絞り値と同じ値である（例外処理〈ａ〉を行っていない場合）。適正露出画像の取得が終了したらステップＳ１０３へと戻り、フレーム数を１つ更新して次のフレームの処理を開始する。

ステップＳ１０４で、現在のフレーム数が３Ｎのフレームであると判定した場合、ステップＳ１１０へと進み撮像素子５は、タイミング発生部８からの指示に従い、オーバー露出画像を撮像（取得）する。該取得されたオーバー露出画像は、メモリ制御部１１の指示に従いバッファメモリ１２に一時的に記憶され、オーバー露出画像の取得が終了する。尚、オーバー露出画像の絞り値も、合成の１組となる前述のアンダー露出画像、適正露出画像の絞り値と同じ値である。

次に、ステップＳ１１１で合成部１９は、今までに取得したアンダー露出画像、適正露出画像、オーバー露出画像を合成して合成処理（ダイナミックレンジ拡大処理）をおこなう。

合成処理の詳細としては、まず、被合成画像毎に画像を複数のブロックに分割し、該ブロック内部の所定の画素について、それぞれの被合成画像ごとを比較することで被合成画像同士の位置合わせをおこなう。

次に、被合成画像の所定の画素毎に輝度値を積算し平均輝度値を算出する。そして、積算した平均輝度値が所定の閾値を超えるか否かで画像中の黒つぶれ輝度領域、および白とび輝度領域を検出する。そして検出された黒つぶれ領域と白とび領域を合成の対象から画素から除外する（除外処理）。以上の動作を３つの被合成画像でおこなう。

最後に、適正露出画像の輝度レベルを基準として被合成画像の輝度レベルを合わせ、所定の合成比率に応じての被合成画像同士の合成が実行され合成画像の画像データがメモリ１４へ出力される。尚、本実施形態に係る撮像装置において、合成処理は前述の動作をおこなうものに限定されるものではなく、例えば、被合成画像同士の加算平均をおこなうだけでも良い。また、上述した合成処理は、画像処理部９、ＣＰＵ１０、メモリ１４、露出制御部１８などを適宜用いることで実現する。

ステップＳ１１１での合成処理が終了したら、ステップＳ１１２で画像処理部９内に設けられた不図示のエンコード部で合成画像をメモリ１４から読出し（エンコード処理）を行い、動画像データを生成する。生成された動画像データは表示部１３に出力されることでライブビューの更新が行われる。尚、ＨＤＲ合成処理後はじめての処理である場合は、ライブビューの表示を開始する。

次に、ステップＳ１１３でＣＰＵ１０は、先の工程で生成した動画像データをメモリ１４へと出力することで、カメラ１の内部に該動画像データを記憶する。また、ライブビュー表示だけでなく動画像の記録も行う場合は、このタイミングで、カードスロット１５を介して記録媒体１６にも動画像データの記録が行われる。

その後、ステップＳ１１４へと進み、ＨＤＲ合成処理を終了するか否かに応じて、処理を継続する場合はステップＳ１０１へと戻り、次の合成の組に応じた処理を開始する。以上が本実施形態に係るカメラ１のＨＤＲ合成処理の動作である。

以上の説明より、本実施形態では、被合成画像の取得中は絞り３を駆動しないため、被合成画像同士で、該絞り３の駆動によって変化される絞り値が変化することを抑制できる。即ち、ダイナミックレンジ拡大処理を適用する動画の撮影中であっても、被写体の輝度変化に応じた露出制御を行いつつ、ＨＤＲ合成処理に用いる適正な被合成画像を取得することが出来る。

また、合成の１組となる被合成画像同士で被写界深度が変化してしまうことを抑制することが出来るので、取得される合成画像が不自然なものになってしまうことを抑制することが出来る。

尚、本実施形態では、アンダー露出画像の電荷の蓄積開始時からオーバー露出画像の電荷の蓄積終了まで絞り３を駆動せず、絞り値を変化させない構成である。これは絞り３の駆動タイミングが煩雑になることを抑制するためである。しかしながら、本実施形態は上述の構成に限定されるものではなく、例えば、それぞれの被合成画像間の非蓄積時間に、一時的に絞り値を変化させる構成であっても良い。

例えば、電力の消費を抑えるために、被合成画像間の非蓄積時間で絞り３の駆動用モータへの通電を停止させ、一時的に絞り値が変化されるような構成であっても良い。この場合、当該モータへの通電を停止する期間を、アンダー露出画像の電荷の蓄積終了後から適正露出画像の電荷の蓄積開始までや、適正露出画像の電荷の蓄積終了後からオーバー露出画像の電荷の蓄積開始までとする。この構成の場合も、被合成画像同士で絞り値が変化されることはないため、上述した本発明の効果を得ることが出来る。

即ち、本実施形態では、被合成画像の取得（電荷の蓄積）中に、絞り３を駆動することによって、絞り値が変化されないような構成であって、被合成画像同士で絞り値が（変化されずに）同一であれば、前述した本発明の効果を得ることが出来る。

尚、本実施形態では絞り３を駆動する場合について言及したが、本実施形態はこれに限定されるものではない。例えば、撮像素子５へ入射する光量を調節（制御）するための光量調節部材として、ＮＤフィルタを使用するような構成であっても構わない。

この場合、ＮＤフィルタとしては、減光特性を有するＮＤフィルタを１枚、又は複数枚、撮像素子５への光路に挿入または退避させることで、光量調節度合を表す光の透過率を変化させ撮像素子５への入射光量を制御するものである。この、ＮＤフィルタの使用例としては、前述の絞り３についての説明と同様に被写体輝度の変化や、ユーザの手動操作に応じて撮像素子５への入射光量を変化させるなどが考えられる。

以下、図６を参照して、ユーザの手動操作によってＮＤフィルタの駆動が指示された場合の露出制御について説明する。尚、図６は、本実施形態に係るカメラ１の、ＮＤフィルタの駆動（変化）タイミングを示すタイミングチャートである。

図中の下段に示すグラフは、縦軸がＮＤフィルタを変化（駆動）することによって変化される光の透過率を示しており、横軸はその時間変化を表している。それ以外の段については前述の図２（ｂ）と同様であるので説明は省略する。

図６より、例えば、図中の〈Ｂ〉の位置でユーザの手動操作により、撮像素子５への入射光量が明るい状態から暗い状態へと変化するようにＮＤフィルタの駆動が指示された場合も、実際にＮＤフィルタを駆動するのは期間Ｔ０である。尚、この場合のＴ０は、前述の絞り駆動期間と同様に、露出１で蓄積時間Ｔ１の電荷蓄積を行う直前の被合成画像の電荷の蓄積終了から該蓄積時間Ｔ１での電荷蓄積開始までの期間である。

この場合も、前述した絞り３と同様に、合成の１組となる被合成画像の取得中（電荷の蓄積中）は撮像素子５への光路にあるＮＤフィルタの枚数（光の透過率）を変化させない。従って、被合成画像を取得する間で、蓄積時間の変化以外の要因について撮像素子５に入射する光量を同じにすることが出来るため、ＨＤＲ合成処理に用いる適正な被合成画像を取得することが出来る。尚、ユーザの手動操作によって絞り３の駆動を指示した場合も、上述のＮＤフィルタと同様の動作を行う。

尚、ＮＤフィルタとしては、上述したように挿入と退避を行うようなものだけなく、電気的に光の透過率（フィルタの濃度）の変更が可能な液晶ＮＤフィルタなどでも構わない。また、段階的に光の透過率が異なる１枚のＮＤフィルタを用いて、撮像素子５の光路中の該ＮＤフィルタの位置を移動することで光の透過率を変更するような構成でも構わない。

以上説明したように、本実施形態に係る構成は、絞り３やＮＤフィルタなどの光量調節部材によって光量調節度合を表す絞り値や光の透過率などを変化させることで、撮像素子５に入射する光量を制御するような構成において特に有効である。

即ち、合成の１組となるアンダー露出画像の電荷蓄積開始前に光量調節度合を変化させ、被合成画像の取得中（電荷の蓄積中）は該光量調節度合を変化させないように、光量調節部材の駆動を制御することで上述したような本発明の効果を得ることが出来る。

（第２実施形態）
前述した第１実施形態では、被合成画像を取得するフレームで絞り３を駆動し、絞り値を変化させる場合について説明した。本実施形態では、第１実施形態と同様の構成を有しつつ、絞り駆動用のフレーム（被合成画像の取得をしないフレーム）で絞り３を駆動する場合について説明する。

例えば、前述した第１実施形態では、絞り駆動期間内で絞り３の駆動（絞り値の変化）が完了しない場合、前述したような例外処理を行うことで対応していた。しかしながら、例外処理〈ａ〉を行う場合は、絞り値が目標絞り値となるまで絞り３を駆動することは出来る。しかしながら、合成の１組となるアンダー露出画像の絞り値は絞り３を駆動することによって変化されているため、他の被合成画像の絞り値とは異なる値となってしまう。この場合、アンダー露出画像の取得期間における絞り３の駆動量が少量であればＨＤＲ合成処理への影響は少ない。しかし、絞り３の駆動量が多いとＨＤＲ合成処理への影響も大きくなり、該ＨＤＲ合成処理によって取得される合成画像が不自然なものとなってしまう可能性がある。

また、例外処理〈ｂ〉を行う場合は、合成の１組となる被合成画像同士で絞り値が変化されることはない。しかしながら、当該合成の組においては、目標絞り値に対して絞り３の駆動を完了することが出来ない。従って、撮影の為の露出量を、被写体輝度の変化に応じたものへとすぐに変更することができない。

そこで、本実施形態では、絞り３の駆動を行うためのフレーム（絞り駆動フレーム）を新たに設けることで上述の問題に対応する。以下、その詳細について図７を参照して説明する。図７は、本実施形態に係るカメラ１の、露出制御と絞りの駆動（変化）に関するタイミングチャートである。

図７より、本実施形態では、４つのフレームを１つの合成の組とし、２つ目のフレームから４つ目のフレームで取得された被合成画像を合成処理に使用する。即ち、合成の組において最初のフレームを絞り駆動フレームとして設け、当該絞り駆動フレームでは、被合成画像の取得をしない。

尚、絞り駆動フレームの詳細としては、合成の１組となるアンダー露出画像の直前に取得するオーバー露出画像の電荷の蓄積が終了してから、その次のフレーム（アンダー露出画像を取得するフレームの一つ前のフレーム）の終了までの期間である。

以上の構成によって、前述の第１実施形態における絞り駆動時間時間Ｔ０だけで絞り３の駆動が完了しないような場合であっても、絞り３の駆動が可能な期間を十分に確保することが可能となる。

以下、この構成における動作について図８を参照して説明する。図８は、本実施形態に係るカメラ１の動作を示すフローである。尚、前述の第１実施形態と同様の処理を行う工程については説明を省略する。

ステップＳ３０４でＣＰＵ１０は、現在処理が行われているフレーム数が４Ｎ−３であるか否かを判定する。該判定によって、現在のフレーム数が４Ｎ−３であればステップＳ３０５へと進み、４Ｎ−３でなければステップＳ３０８へと進む。

ステップＳ３０５で露出制御部１８は、現在の絞り値が、先に求めた目標絞り値であるか否かを判定する。尚、本実施形態における被写体輝度の測光演算も前述の第１実施形態と同様に一つ前の合成の組の適正露出画像を用いて行うがこれに限定されるものではない。本実施形態の場合は、新たに絞り駆動フレームを設けたので（合成の組となるフレームが一つ増えたので）、オーバー露出画像を用いて測光演算を行い、絞り駆動フレームが終了する前に目標絞り値を算出するような構成であっても良い。

以下、ステップ３０７までは前述の第１実施形態と同様であるので説明は省略する。尚、本実施形態では、絞り駆動フレームを予め設けてあるため、前述の第１実施形態の図４で示したような例外処理〈ａ〉、〈ｂ〉は行わない。

また、本実施形態では、絞り駆動フレームでのみ絞り３を駆動するような構成であるがこれに限定されるものではない。例えば、絞り駆動フレームに加えて、絞り駆動フレームの終了からアンダー露出画像の電荷の蓄積開始までの期間で絞り３の駆動するような構成であっても良い。

次に、ステップＳ３０４の判定によって、現在のフレーム数が４Ｎ−３でないと判定された場合、ステップＳ３０８へと進む。以下、ＨＤＲ合成処理の終了までは前述の第１実施形態と同様であるので説明は省略する。尚、ステップＳ３０８からステップＳ３０９までの工程（アンダー露出画像の撮像工程）については，ステップＳ３０５からＳ３０７までの間ですでに絞り３の駆動が完了し絞り値が変化されているので、アンダー露出画像の取得のみを行う。

以上説明したように、新たにフレームを設け絞り３の駆動を行うような場合であっても、合成の１組に用いる被合成画像同士で絞り値が変化してしまうことを抑制することが出来る。即ち、被写体の輝度変化に応じた露出制御を行いつつ、ＨＤＲ合成処理に用いる適正な被合成画像を取得することが出来る。

また、本実施形態では、絞り３を駆動するフレームを、被合成画像の取得フレームとは別に設けているため、例えば、輝度変化に応じて必要となる絞り３の駆動量が多い場合であっても、被合成画像同士で絞り値が変化されることを抑制できる。従って、絞り３の駆動量が多い場合であっても、輝度変化に応じた露出制御を行いつつ、ＨＤＲ合成処理に用いる適正な被合成を取得することが出来る。即ち、適正にＨＤＲ合成処理を行うことが出来る。

尚、本実施形態では絞り駆動フレームを１つだけ設けるような構成であるがこれに限定されるものではない。例えば、必要となる絞り３の駆動量に応じて絞り駆動フレームを１つ以上とするような構成であっても良い。

また、本実施形態では、絞り駆動フレームを初めから有するような構成であるが、例えば、測光演算の結果に応じて、絞り駆動フレームを設けるか否かを設定するような構成であっても良い。この場合、前述の第１実施形態で示したような絞り駆動期間Ｔ０だけでは絞り３の駆動（絞り値の変化）が完了しないときのみ絞り駆動フレームを設けられるため、不必要にフレームを設けることを抑制することが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、前述の実施形態では、３つの被合成画像を合成の１組とするような構成であるが２つの被合成画像を合成の１組とするような構成でも良い。

この場合、適正露出画像に加えて、アンダー露出画像、又はオーバー露出画像の内のどちらか１つを合成の１組としてＨＤＲ合成処理を行う。そして、合成の１組となる被合成画像の内、相対的に蓄積時間が短い方の画像の直前に取得した被合成画像の電荷の蓄積終了後から該蓄積時間が短い方の画像の電荷の蓄積開始までに、絞り３を駆動する。尚、この場合は、先に取得する被合成画像を用いて測光演算を行う。そして、該測光演算によって算出された被写体輝度に応じて、次の合成の組における目標絞り値を算出する。

また、前述の実施形態では、被合成画像間の露出差の設定は蓄積時間を変化させることで行うが、例えば、被合成画像ごとにＩＳＯ感度を変化させて被合成画像間の露出差を設定するような構成であっても良い。

また、前述の実施形態では、合成の１組となる被合成画像は、アンダー露出画像、適正露出画像、オーバー露出画像の順に取得するような構成であるがこれに限定されるものではない。例えば、オーバー露出画像や、適正露出画像から取得を開始するような構成でも良いが、その場合は、絞り３の駆動期間がアンダー露出画像から出力する場合よりも短くなる。

また、前述の実施形態では、カメラ１の内部で合成処理を行う場合について説明したが、これに限定されるものではない。例えば、被合成画像をＰＣなどの画像合成機能を有する不図示の外部装置へと出力し、該外部装置で合成処理をするような構成であっても良い。

更に、本発明においてカメラ１内の各部の駆動は、レンズ制御部７、タイミング発生部８、画像処理部９、メモリ制御部１１、露出制御部１８などによって制御されるがこれに限定されるものではない。例えば、前述した図３、図４、及び図８のフローに従ったプログラムをメモリ１４に記憶させておき、ＣＰＵ１０が該プログラムを実行することでカメラ１内の各部の駆動を制御するような構成であってもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１ カメラ（撮像装置）
３ 絞り（光量調節部材）
５ 撮像素子
６ ＡＦＥ
７ レンズ制御部（駆動制御手段）
１０ ＣＰＵ（制御手段）

Claims (19)

1. 入射光量に応じた電荷を蓄積し画像を出力する撮像手段と、
   第１画像と前記第１画像とは露出量の異なる第２画像とを合成に用いられる組として前記第１画像から順に周期的に連続して前記撮像手段に出力させる制御手段と、
   前記撮像手段に入射する光量を調節する光量調節部材の駆動を制御することで、光量調節度合を変化させる駆動制御手段と、
   を有し、
   前記駆動制御手段は、前記第１画像の電荷の蓄積開始前に前記光量調節度合を変化させ前記第１画像の電荷の蓄積中と前記第２画像の電荷の蓄積中は前記光量調節度合を変化させず、前記第１画像と前記第２画像とで前記光量調節度合を変化させないように前記光量調節部材の駆動を制御することを特徴とする撮像装置。
2. 前記駆動制御手段は、前記第１画像の電荷の蓄積開始前であって、当該第１画像の直前に前記撮像手段に出力させる前記第２画像の電荷の蓄積終了後に、前記光量調節部材を駆動して前記光量調節度合を変化させることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第１画像と、前記第１画像よりも相対的に蓄積時間の長い第２画像とを周期的に連続して出力させることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１画像の直前に前記撮像手段に出力させる前記第２画像の電荷の蓄積を行うフレームと当該第１画像の電荷の蓄積を行うフレームとの間に前記光量調節部材を駆動することで前記光量調節度合を変化させるフレームを有することを特徴とする請求項２又は３に記載の撮像装置。
5. 前記撮像手段は、前記光量調節度合を変化させるフレームでは画像の電荷の蓄積を行わないことを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、合成に用いられる組として、前記第１画像と前記第２画像とは露出量の異なる第３画像を、前記第１画像と前記第２画像を出力させる間の期間で前記撮像手段に出力させ、
   前記駆動制御手段は、前記第３画像の電荷の蓄積中に前記光量調節度合を変化させず、前記第１画像と前記第２画像と前記第３画像とで前記光量調節度合を変化させないように前記光量調節部材の駆動を制御することを特徴とする請求項１乃至５の何れか一項に記載の撮像装置。
7. 前記駆動制御手段は、前記第１画像の電荷の蓄積開始前に前記光量調節度合を変化させ、前記第１画像の電荷の蓄積開始から前記第２画像の電荷の蓄積終了まで前記光量調節度合を変化させないように前記光量調節部材の駆動を制御することを特徴とする請求項１乃至６の何れか一項に記載の撮像装置。
8. 前記駆動制御手段は、前記第１画像の電荷の蓄積開始前に前記光量調節度合の変化が完了する場合は前記第１画像の電荷の蓄積中と前記第２画像の電荷の蓄積中とで前記光量調節度合を変化させず、前記第１画像の電荷の蓄積開始前に前記光量調節度合の変化が完了しない場合は前記第１画像の電荷の蓄積中に前記光量調節度合を変化させ前記第２画像の電荷の蓄積中に前記光量調節度合を変化させないように前記光量調節部材の駆動を制御することを特徴とする請求項１乃至７の何れか一項に記載の撮像装置。
9. 前記光量調節部材を駆動し前記光量調節度合を変化させることで被写体の輝度変化に応じた露出量の制御を行う撮像装置であって、
   前記駆動制御手段は、前記第１画像の電荷の蓄積開始前に前記光量調節度合の変化が完了しない場合は、前記第１画像の電荷の蓄積開始後に前記光量調節部材を駆動することによって変化した露出量を、ＩＳＯ感度を変化させて補償することを特徴とする請求項８に記載の撮像装置。
10. 前記光量調節部材は絞りであり、前記光量調節度合は絞り値であって、
    前記駆動制御手段は、前記第１画像の電荷の蓄積開始前に前記絞り値を変化させ、前記第１画像の電荷の蓄積中と前記第２画像の電荷の蓄積中は前記絞り値を変化させず、前記第１画像と前記第２画像とで前記絞り値が変化しないように前記絞りの駆動を制御することを特徴とする請求項１乃至９の何れか一項に記載の撮像装置。
11. 前記光量調節部材はＮＤフィルタであり、前記光量調節度合は光の透過率であって、
    前記駆動制御手段は、前記第１画像の電荷の蓄積開始前に前記光の透過率を変化させ、前記第１画像の電荷の蓄積中と前記第２画像の電荷の蓄積中は前記光の透過率を変化させず、前記第１画像と前記第２画像とで前記光の透過率が変化しないように前記ＮＤフィルタの駆動を制御することを特徴とする請求項１乃至９の何れか一項に記載の撮像装置。
12. 前記駆動制御手段は、前記ＮＤフィルタを前記撮像装置への光路に挿入または、当該光路から退避させることで前記光量調節度合を変化させることを特徴とする請求項１１に記載の撮像装置。
13. 入射光量に応じた電荷を蓄積し画像を出力する撮像手段と、
    第１画像と前記第１画像とは露出量の異なる第２画像とを合成に用いる組として前記第１画像から順に周期的に連続して前記撮像手段から出力させる制御手段と、
    前記光量調節部材の駆動を制御し、当該光量調節部材の状態を変化させることで前記撮像手段に入射する光量を調節する駆動制御手段と、
    を有し、
    前記駆動制御手段は、前記第１画像の電荷の蓄積開始から前記第２画像の電荷の蓄積終了まで前記光量調節部材の状態を変化させないことを特徴とする撮像装置。
14. 前記光量調節部材は絞りであって、前記駆動制御手段は、前記第１画像の電荷の蓄積開始から前記第２画像の電荷の蓄積終了まで前記絞りの絞り径を変化させないことを特徴とする請求項１３に記載の撮像装置。
15. 前記光量調節部材はＮＤフィルタであって、前記駆動制御手段は、前記第１画像の電荷の蓄積開始から前記第２画像の電荷の蓄積終了まで前記ＮＤフィルタの光の透過率を変化させないことを特徴とする請求項１３に記載の撮像装置。
16. 前記光量調節部材はＮＤフィルタであって、前記駆動制御手段は、前記第１画像の電荷の蓄積開始から前記第２画像の電荷の蓄積終了まで前記ＮＤフィルタの光路へ挿入させた状態又は光路から退避させた状態を変化させないことを特徴とする請求項１３に記載の撮像装置。
17. 入射光量に応じた電荷を蓄積し画像を出力する撮像手段を有する撮像装置の制御方法であって、
    第１画像と前記第１画像とは露出量の異なる第２画像とを合成に用いられる組として前記第１画像から順に周期的に連続して前記撮像手段に出力させる制御工程と、
    前記撮像手段に入射する光量を調節する光量調節部材の駆動を制御することで、光量調節度合を変化させる駆動制御工程と、
    を有し、
    前記駆動制御工程では、前記第１画像の電荷の蓄積開始前に前記光量調節度合を変化させ前記第１画像の電荷の蓄積中と前記第２画像の電荷の蓄積中は前記光量調節度合を変化させず、前記第１画像と前記第２画像とで前記光量調節度合を変化させないように前記光量調節部材の駆動を制御することを特徴とする撮像装置の制御方法。
18. 入射光量に応じた電荷を蓄積し画像を出力する撮像手段を有する撮像装置の制御方法であって、
    第１画像と前記第１画像とは露出量の異なる第２画像とを合成に用いる組として前記第１画像から順に周期的に連続して前記撮像手段から出力させる制御工程と、
    前記光量調節部材の駆動を制御し、当該光量調節部材の状態を変化させることで前記撮像手段に入射する光量を調節する駆動制御工程と、
    を有し、
    前記駆動制御工程は、前記第１画像の電荷の蓄積開始から前記第２画像の電荷の蓄積終了まで前記光量調節部材の状態を変化させないことを特徴とする撮像装置の制御方法。
19. 請求項１７又は１８に記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータで読み取り可能なプログラム。

Images