JP2018042089A - 撮像装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】合成モード時に、フレームごとに黒レベルが変動することに起因する画像品位の低下を抑制する。【解決手段】ＩＩＲフィルタ部４０２、４０３は、ＯＢ領域から出力された黒レベルに基づき補正値（Ｙｎ）を各々が生成する。ＨＤＲモード時には、ＣＰＵ１１３は、フレーム単位で露出レベルを異ならせて撮像素子１０３から画像を出力させ、合成部１０７は、有効画素領域２００から出力され補正部１０５により補正値Ｙｎで補正された画像であって互いに露出レベルが異なる画像を合成する。ＨＤＲモード時には、ＣＰＵ１１３は、第１補正部１０５Ｈにおける補正値Ｙｎの生成に使用する生成部として、ＩＩＲフィルタ部４０２とＩＩＲフィルタ部４０３とをフレーム単位（奇数／偶数）で切り替える。【選択図】図４

Description

本発明は、異なる露出で撮影した画像を合成してダイナミックレンジを拡大する技術に関する。

従来、ビデオカメラ等の撮像装置において、限られた出力範囲のなかで輝度の低い箇所から輝度の高い個所までを表現するハイダイナミックレンジ（ＨＤＲ）技術が知られている。ＨＤＲには様々な方式があるが、その１つとして画像合成による方式がある。この方式は、異なる露出により得られる輝度レベルの異なる２枚の画像を部分的に合成することで、限られた出力範囲でもダイナミックレンジが広がっているように見せる手法である。通常、暗部は露出レベルを高くしないと黒潰れし、明部は露出レベルを低くしないと白とびする。画像合成によるＨＤＲによれば、暗部と明部とを共に表現できるように輝度レベルの低い画像と高い画像とを部分的に合成することで、黒潰れせず白とびしない画像が得られる。

また、近年、静止画だけでなく動画でもＨＤＲ合成技術が用いられており、応答性の低いレンズの絞りの調整ではなく、応答性の高い露光時間やゲインの調整を採用することで、輝度レベルの異なる画像が取得される。また、撮像素子から取得される画像に対して、フレーム毎に撮像素子内の遮光画素領域（ＯＢ：オプティカルブラック部）の出力を元に、シェーディングの補正や、撮像素子内のアンプオフセットのばらつきに起因する縦線の補正が行われている。

特開２０１５−１５４１９９号公報

しかしながら、フレーム単位で異なる露出で取得した画像をＨＤＲ合成する場合、フレーム単位で露光時間または撮像素子内の列アンプのゲインが切り替わることになる。露光時間や列アンプのゲインが変化すると暗電流が大きく変化するため、ＯＢの出力がフレーム単位で変動してしまう。ＯＢの出力は、黒基準レベルとして有効画素領域から出力される画像の補正に用いられることから、ＯＢの出力がフレーム単位で変動すると、画像の補正に影響する。特に、シェーディングの補正、及び縦線の補正においては、ノイズの影響を抑えるべくフィルタ処理により応答性を低くしている。そのため、黒基準レベルが適正の黒基準レベルになるまでに時間を要してしまい、誤補正や補正の遅れが生じ、それにより輝度の急激な変化（パカツキ）、縦線が発生するおそれがある。

ここで、特許文献１では、列アンプのゲイン（増幅値）が切り替わる前に、列アンプのゲインの切り替え後の補正データを生成し収束させることで、出力画像における縦線の発生を抑制している。しかし、特許文献１では、ＯＢの出力がフレーム単位で変動する場合に対処できない。

本発明は、合成モード時に、フレームごとに黒レベルが変動することに起因する画像品位の低下を抑制することを目的とする。

上記目的を達成するために本発明は、画素が二次元の行列状に配置され、有効画素領域と遮光画素領域とを有する撮像素子と、前記遮光画素領域から出力された黒レベルに基づき補正値を各々が生成する複数の生成部を有する補正手段と、合成モード時に、フレーム単位で露出レベルを異ならせて前記撮像素子から画像を出力させる制御手段と、前記合成モード時に、前記有効画素領域から出力され前記補正手段により前記補正値で補正された画像であって互いに露出レベルが異なる画像を合成する合成手段と、を有し、前記制御手段は、前記合成モード時には、前記補正手段における、前記補正値の生成に使用する生成部をフレーム単位で切り替えることを特徴とする。

本発明によれば、合成モード時に、フレームごとに黒レベルが変動することに起因する画像品位の低下を抑制することができる。

撮像装置のブロック図である。 撮像素子のＲＧＢベイヤの画素配列を示す図である。 画像データ読み出し時のタイミングチャートである。 第１補正部の構成を示すブロック図である。 入力画素数に対する補正値の変化を示す図である。 第２補正部の構成を示すブロック図である。 ＨＤＲモードの初期動作等の処理のフローチャートである。 初期２回路動作の例を示すタイミングチャートである。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。この撮像装置は、フレームごとに異なる露出で撮影した画像を合成してダイナミックレンジの高い画像を生成し、動画として出力及び記録を行えるビデオカメラ等として構成される。

この撮像装置は、レンズ群１００、絞り部１０１、レンズＤｒ１０２、撮像素子１０３、ＣＰＵ１１３（制御手段）を有する。レンズ群１００には、被写体像からの光量を収束、及び焦点を合わせるためのＡＦ機構、ズーム機構が組み込まれ、レンズ群１００はレンズＤｒ１０２により制御される。絞り部１０１は、レンズＤｒ１０２により制御され、撮像素子１０３に入射される光量を調整する。レンズＤｒ１０２は、ＣＰＵ１１３により制御され、ＡＦ機構／ズーム機構を駆動し、絞り部１０１を被写体の明るさに応じて駆動する。撮像素子１０３は、ＣＭＯＳセンサ等で構成され、ＣＰＵ１１３によって制御される。撮像素子１０３は、レンズ群１００を通過した被写体象の光を電気信号に変換する半導体撮像素子を有し、各画素の出力を順次、映像エンジンＩＣ１０４に出力する。ＣＰＵ１１３は、不図示のＲＡＭ、ＲＯＭを有し、ＲＯＭに格納された制御プログラムを実行して各ブロックの制御を司る。ＲＡＭは各種情報を記憶すると共に、ＣＰＵ１１３が制御プログラムを実行する際のワークエリアとなる。

図２は、撮像素子１０３のＲＧＢベイヤの画素配列を示す図である。撮像素子１０３は、画素が二次元の行列状に配置され、有効画素領域２００と遮光画素領域であるＨＯＢ２０１、ＶＯＢ２０２とを有する。ＨＯＢ２０１は水平オプティカルブラック部、ＶＯＢ２０２は垂直オプティカルブラック部である。有効画素領域２００は光に反応し、実際の画像生成に使用される領域である。すなわち、有効画素領域２００は、入射光に応じて発生した電荷を蓄積して出力する。ＨＯＢ２０１、ＶＯＢ２０２はいずれも、画素の光電変換素子に光が当たらないように遮光部を設けたＯＢ領域（オプティカルブラック領域）であり、光が当たらないので常に黒レベルを出力する。特に、ＨＯＢ２０１は、垂直方向のシェーディングを補正するためのＯＢ領域であり、ＶＯＢ２０２は水平方向の固定パターン(縦線)を補正するためのＯＢ領域であり、いずれも常時、黒レベルを出力する。なお、撮像素子１０３は、列アンプ１１４を有している（図１）。列アンプ１１４は、撮像素子１０３の画素列に対応して列数分だけ設けられる。

図１に示す映像エンジンＩＣ１０４は、撮像素子１０３から入力される画像データに対して、補正処理のほか、輝度レベルの異なる画像の合成、画像処理等を行う。映像エンジンＩＣ１０４は、補正部１０５（補正手段）、第１画像処理部１０６、合成部１０７（合成手段）及び第２画像処理部１０８を有する。補正部１０５は、撮像素子１０３から入力される遮光画像データ(ＨＯＢデータ／ＶＯＢデータ)を基に、垂直方向及び水平方向の補正を行う。補正部１０５は、ＨＯＢデータにより垂直方向の補正を行う第１補正部１０５Ｈと、ＶＯＢデータにより水平方向の縦線補正を行う第２補正部１０５Ｖとで構成される。第１画像処理部１０６は、キズ補正、カラーバランス等、デジタルゲインの調整等を行う。合成部１０７は、輝度レベルの異なる２枚の画像を領域毎に合成する。第２画像処理部１０８は、γ、デジタルゲインの調整、映像信号への変換（現像処理）を行う。映像エンジンＩＣ１０４から出力される画像データは記録部１０９、表示部１１０に入力される。記録部１０９は、第２画像処理部１０８で現像された画像データを記録する。表示部１１０は、現像された画像データをモニタ用に表示する。操作部１１１は、ＣＰＵ１１３に接続され、ユーザが各種設定等を行うのに用いられる。温度センサ１１２は、撮像素子１０３の温度を検出し、その検出結果をＣＰＵ１１３のＡ／Ｄ入力に供給する検出手段である。

装置電源のオン後、ＣＰＵ１１３は各種初期設定を行い、ユーザにより操作部１１１で入力されたモードの設定に従い撮像素子１０３からの画像信号の読み出しを開始する。本実施の形態の撮像装置は、輝度レベルの異なる２枚の画像を合成することにより、高ダイナミックレンジの画像を生成する合成モード（以後、ＨＤＲモードと称する）を実現可能である。以下、主として撮影モードがＨＤＲモードに設定されている場合について説明する。

ＣＰＵ１１３は、レンズＤｒ１０２を介して絞り１０１やレンズ群１００のＡＦを、被写体の明るさ、距離により適正値に設定し、撮像素子１０３に対して露光時間及び列アンプ１１４のゲイン（以下「列アンプゲイン」と記す）を設定する。列アンプ１１４は撮像素子内に列毎に配置された増幅器であり、画像出力レベルに応じてゲインが設定される。本実施の形態では、列アンプゲインは、１倍（×１）、２倍（×２）、４倍（×４）と、離散的に設定され得るものとする。露光時間は、撮像素子１０３内に蓄積された電荷をリセットしてから電荷の読み出しを行うまでの時間であり、露光時間が長いほど撮像素子１０３からの出力は大きくなる。露光時間は出力レベルに応じて適宜制御される。

なお、ＨＤＲモード時（合成モード時）の画像合成においては、ＣＰＵ１１３は、フレーム毎に列アンプ１１４及び露光時間を変えることで露出レベルを制御する。そしてＣＰＵ１１３は、所望の輝度レベルの高い画像と低い画像とを合成することで、高ダイナミックレンジの画像を得る。撮像素子１０３からの読み出しにおいては、ＣＰＵ１１３は、ＶＯＢ２０２から１行ずつＶＯＢデータである黒画像を補正部１０５に転送し、さらにＨＯＢ２０１、有効画素領域２００の画像データを１行ずつ、補正部１０５に転送する。

次に、図３を用いてＨＤＲモード時の撮像素子１０３からの読み出しの態様を説明する。図３は、画像データ読み出し時のタイミングチャートである。ＶＤ信号３００は、映像エンジンＩＣ１０４から１フレーム毎に出力されるタイミング信号であり、１／６０［ｓ］毎に出力される。ＶＤ信号３００の出力タイミングを基に、読み出し信号３０１により１ライン毎に読み出しが行われる。全ラインの読み出しが終了すると１フレーム分の読み出しが終了する。

ＨＤＲモードは、輝度レベルの高い画像と低い画像を合成するモードである。ＨＤＲモード時には、ＣＰＵ１１３は、フレーム単位で露出レベルを第１露出レベルと第１露出レベルよりも高い第２露出レベルとに交互に切り替える。具体的には、ＣＰＵ１１３は、奇数フレームでは第１露出レベルとし、輝度レベルの低い出力（画像３０２、３０４）を得る。ＣＰＵ１１３は、偶数フレームでは第２露出レベルとし、輝度レベルの高い出力(画像３０３、３０５)を得る。ＣＰＵ１１３は、フレームごとに、露光時間または列アンプゲインを変えることでの露出レベル（輝度レベル）を変更する。図３の例では、ＣＰＵ１１３は、奇数フレーム時は露光時間を短くすることで輝度レベルを低く、偶数フレームは露光時間を長くすることで輝度レベルを高くするか、もしくは列アンプゲインを低く／高くすることで輝度レベルを低く／高くする。このようにして、ＣＰＵ１１３は、フレーム毎に輝度レベルを変え、撮像素子１０３からの読み出しを行う。また、補正部１０５はＨＯＢデータ及びＶＯＢデータをフィルタ処理して補正値を作成し、補正値により画像データを補正する補正処理を行う。この補正処理の詳細について、図４〜図６を用いて説明する。

図４は、第１補正部１０５Ｈの構成を示すブロック図である。第１補正部１０５Ｈは、ＨＯＢデータからＨＯＢの補正値を生成し、垂直方向のシェーディングを補正する。まず、撮像素子１０３からの出力は分岐部４００に入力される。分岐部４００は、ＣＰＵ１１３による設定に従って、ＨＯＢ画素の出力（ＨＯＢデータ）のみ第１セレクタ４０１に転送し、ＨＯＢ画素以外（ＶＯＢ画素、有効画素)の出力（ＶＯＢデータ、有効画素データ）は減算部４０５に転送するよう信号を分岐させる。第１セレクタ４０１に入力されるＨＯＢデータは黒レベルのデジタルデータある。第１セレクタ４０１は、奇数フレーム時は第１ＩＩＲフィルタ部４０２（第１の生成部）、偶数フレーム時は第２ＩＩＲフィルタ部４０３（第２の生成部）に入力されるように制御する。ＨＤＲモードでない時は、フレームに限らず、第１ＩＩＲフィルタ部４０２または第２ＩＩＲフィルタ部４０３のいずれか片方のＩＩＲフィルタ部だけに入力されるように制御してもよい。また、ＨＤＲモード時であっても、状況によっては片方のＩＩＲフィルタ部だけに入力されるように制御してもよい。それらの際に使用される片方のＩＩＲフィルタ部はいずれでもよいが、予め定めたいずれかでよく、例えば、第１ＩＩＲフィルタ部４０２とされる。

第１ＩＩＲフィルタ部４０２と第２ＩＩＲフィルタ部４０３の内部回路構成は共通であり、各々の回路は、入力されるＨＯＢデータの黒レベルを基にＨＯＢの補正値を生成する。ＨＯＢの補正値Ｙｎは、次の数式１によって算出される。
［数１］
Ｙｎ＝Ｋ・Ｘｎ＋（１−Ｋ）・Ｙｎ−１

ここで、Ｋはフィルタ係数であり、０＜Ｋ＜１の範囲で設定される。Ｘｎは入力されるＨＯＢデータ、Ｙｎ−１は１つ前のＨＯＢデータの入力時に算出された補正値（すなわち、前回値）である。補正値Ｙｎは保存され、次回の算出時の前回値Ｙｎ−１として記憶される。補正値ＹｎはＲＡＭに格納される。このように、補正値の前回値Ｙｎ−１と最新のＨＯＢデータである黒レベル（Ｘｎ）とに所定の重み付けを行って補正値Ｙｎが更新される。なお、補正値Ｙｎの最初の算出時には、Ｙｎ−１値は存在しないので、Ｙｎ−１値には、初期値として任意の値を設定するか、もしくは調整工程時あるいは電源オン時に取得される適正な黒レベルを初期値として設定しても良い。

ＨＯＢデータに基づく補正値Ｙｎの生成・更新が繰り返されると、補正値Ｙｎは徐々に適正な黒レベルに近づいていく。フィルタ係数Ｋが小さいほど、前回の補正結果の重みづけが大きくなるので補正値Ｙｎが適正値になるまでに要する時間が長くなるが、入力されるＨＯＢ画素のノイズの影響を受けにくい。逆に、フィルタ係数Ｋが大きいほど、入力されるＨＯＢデータの重みづけが大きくなるので、補正値Ｙｎが適正値になるまでに要する時間は短くなるが、ＨＯＢデータのノイズの影響が大きくなる可能性がある。

図５に、入力画素数に対する補正値Ｙｎの変化を示す。図５の例では、Ｙｎ−１値の初期値が“０”、入力されるＨＯＢデータの黒レベルが理想的に常に“８０”であり、フィルタ係数Ｋを“１／２５６”とした場合の遷移を示す。横軸に入力される画素数、縦軸に補正値Ｙｎを示し、適正値の黒レベル“８０”へ変化していく様子が示されている。図５の曲線から分かるように、フィルタ係数Ｋが１／２５６だと、ＨＯＢデータの黒レベルが多少変動しても補正値Ｙｎの影響が少なくノイズの影響を受けにくい。しかし、黒レベルの適正値が変動した場合に、補正値Ｙｎが適正な値になるまで時間を要する。

第１ＩＩＲフィルタ部４０２、第２ＩＩＲフィルタ部４０３のそれぞれで、数式１を用いて、補正値Ｙｎが算出され、今回値が記憶される。第１ＩＩＲフィルタ部４０２は輝度レベルの低い奇数フレーム用の補正値Ｙｎを算出し、第２ＩＩＲフィルタ部４０３では輝度レベルの高い偶数フレーム用の補正値Ｙｎを算出する。ＩＩＲフィルタ部４０２、４０３は、各々が生成した補正値Ｙｎを、自身による次回の生成まで保持する。ＨＯＢ２０１の画素は１ライン毎に４０画素程度存在する。各ＩＩＲフィルタ部４０２、４０３は、１ライン分のＨＯＢデータが入力された時点の補正値Ｙｎを第２セレクタ４０４に出力する。

第２セレクタ４０４は、奇数フレーム時は第１ＩＩＲフィルタ部４０２からの補正値Ｙｎ、偶数フレーム時は第２ＩＩＲフィルタ部４０３からの補正値Ｙｎを選択し、選択した補正値Ｙｎを減算部４０５へ出力する。減算部４０５は、有効画素データから補正値Ｙｎとの差分をとる（有効画素データから補正値Ｙｎを減算する）ことで、垂直方向のシェーディング補正を行う。ＨＯＢ２０１の画素はライン毎に配置され、１ライン毎に補正値Ｙｎは更新されるので、垂直方向のオフセット成分を補正することができる。

ＨＤＲモード時には、露光時間や列アンプゲインがフレーム毎に変化するため、暗電流と列アンプゲインのばらつきにより適正の黒レベルが変化する。仮に１つのＩＩＲフィルタ部で補正値を生成すると、補正値が適正レベルに落ち着くまで時間を要するので誤補正や補正遅延となってしまう。そこで本実施の形態では、第１補正部１０５Ｈでは２つのＩＩＲフィルタ部４０２、４０３を用いて補正値を生成し、垂直シェーディング補正を行う。減算部４０５で補正された有効画素データは、撮像素子１０３の列アンプゲインのばらつきによる縦線を補正するために第２補正部１０５Ｖへ転送される。

図６は、第２補正部１０５Ｖの構成を示すブロック図である。第２補正部１０５Ｖは、奇数フレーム用と偶数フレーム用で一対のＩＩＲフィルタ部を列数分有する。例えば、ＨＤサイズのように水平方向に１９２０列ある場合、ＩＩＲフィルタ部は１９２０列×２＝３８４０だけ存在する。図６に示すＩＩＲフィルタ部の後の最初の数字（Ｘ）が列を表現し、Ｏは奇数フレーム、Ｅは偶数フレームを表現している。例えば、ＩＩＲフィルタ部１＿Ｏは１列目で奇数フレームに対応し、ＩＩＲフィルタ部１＿Ｅは１列目で偶数フレームに対応する。ＩＩＲフィルタ部２＿Ｏは２列目で奇数フレームに対応し、ＩＩＲフィルタ部２＿Ｅは２列目で偶数フレームに対応する。奇数フレーム用、偶数フレーム用のＩＩＲフィルタ部をＩＩＲフィルタ部Ｘ＿Ｏ、Ｘ＿Ｅと記す（Ｘは列）。

奇数フレーム用、偶数フレーム用のＩＩＲフィルタ部Ｘ＿Ｏ、Ｘ＿Ｅの構成は互いに共通であり、しかも第１補正部１０５ＨのＩＩＲフィルタ部４０２、４０３と同じ回路を有している。従って、入力画素数とＶＯＢの補正値との関係も図５に示したのと同じとなる。ＩＩＲフィルタ部Ｘ＿Ｏ、Ｘ＿Ｅは各々、数式１を用いてＶＯＢの補正値を算出する。その際、数式１において、ＹｎはＶＯＢの補正値、Ｘｎは入力されるＶＯＢデータ、Ｙｎ−１はＶＯＢの補正値の前回値と置き換える。各々の補正値Ｙｎは保存され、次回の算出時の前回値Ｙｎ−１として記憶される。なお、ＶＯＢの補正値ＹｎはＲＡＭに格納される。

第１補正部１０５Ｈから出力された画像データは分岐部６００に入力される。分岐部６００は、入力された画像データのうちＶＯＢデータについては第１セレクタ６０１に転送し、それ以外の有効画素データについては減算部６０３に転送するように信号を分岐させる。第１セレクタ６０１に入力されるＶＯＢデータは黒レベルのデジタルデータある。第１セレクタ６０１は、入力されるＶＯＢデータが奇数フレーム／偶数フレームのいずれに対応するか、及び、何列目であるかによって、それぞれの条件に適したＩＩＲフィルタ部を選択し、選択したＩＩＲフィルタ部へＶＯＢデータを転送する。例えば、３列目で奇数フレームに対応するＶＯＢデータが入力された場合、ＩＩＲフィルタ部３＿Ｏに入力され、４列目で偶数フレームに対応するＶＯＢデータが入力された場合、ＩＩＲフィルタ部４＿Ｅに入力される。

このように、１行目−１列目から順次入力されるＶＯＢデータの水平画素分の入力が終了すると、２行目、３行目・・・と、ＶＯＢデータが入力される。ＩＩＲフィルタ部に入力されたＶＯＢデータは、第１補正部１０５Ｈでの処理と基本的に同様に処理される。ここではＶＯＢデータは、列ごとにフィルタ処理され、列ごと、奇数・偶数のフレームごとに、数式１を用いてＶＯＢの補正値Ｙｎが算出・記憶され、第２セレクタ６０２に出力される。

第２セレクタ６０２は、減算部６０３に対して有効画素データに適したＶＯＢの補正値を選択して出力する。第２補正部１０５Ｖは、減算部６０３で、有効画素データからＶＯＢの補正値Ｙｎを減算することで、列アンプのオフセットばらつきに起因する縦線の補正を行う。露光時間または列アンプゲインが変わると黒レベルが変化する。そこで、輝度レベルの低いフレーム(奇数フレーム)と輝度レベルの高いフレーム(偶数フレーム)との間で、使用するＩＩＲフィルタ部を切り替えることで、適切なＶＯＢの補正値で補正することが可能となる。

減算部６０３で補正された有効画素データは第１画像処理部１０６へ出力される（図１）。第１画像処理部１０６は、画像合成前に必要な画像処理を行うが、特に明るさが足りない場合にゲインをかけたり、部分領域検出のためにエッジ強調処理を行ったりなどの処理を行う。第１画像処理部１０６は、このような処理を輝度レベルの低い画像、輝度レベルの高い画像のそれぞれに対して行って、合成部１０７へ出力する。合成部１０７では、ダイナミックレンジが広がるように、黒潰れするような画像領域については輝度レベルの高いフレームから選択すると共に、白とびするような画像領域については輝度レベルの低いフレームから選択する。このようにして、合成部１０７は輝度レベルの異なる２つのフレームから１フレームの画像を合成する。

第２画像処理部１０８は、ガンマ、ホワイトバランス、画像合成時の境界エッジ処理などの画像処理を行うと共に、表示部１１０へ出力するための現像処理、記録部１０９へ記録するための任意のフォーマットへの変換処理等を行う。操作部１１１によって記録／非記録、表示／非表示の設定をユーザによって指示される。第２画像処理部１０８は指示に従って、記録部１０９への画像転送、表示部１１０への画像転送を行う。

ＣＰＵ１１３は、映像エンジンＩＣ１０４と通信を行い、被写体の明るさや輝度レベル差を常に検出し、高ダイナミックレンジに最適な露出レベルを算出し、必要に応じて撮像素子１０３に対して各フレームの露光時間及び列アンプゲインを可変制御する。例えばＣＰＵ１１３は、よりダイナミックレンジを広げたい場合は奇数フレームと偶数フレームの輝度レベルの差を大きくするよう制御する。また、被写体の明暗差が大きくない場合は、無駄にダイナミックレンジを広げる必要はないので、ＣＰＵ１１３は、奇数フレームと偶数フレームの明暗差を小さくするか、もしくは画像合成を行わないという制御をしてもよい。

なお、ＨＤＲモード時に、補正値の生成に使用するＩＩＲフィルタ部をフレーム単位で切り替えるモードを複数モード（第１モード）とする。ＨＤＲモード時に、ＩＩＲフィルタ部を切り替えることなく、１つ（ＶＯＢに関しては列数分である１つの群）のＩＩＲフィルタ部だけを補正値の生成に使用するモードを単一モード（第２モード）とする。そして、複数モードと単一モードとを選択的に採用可能に構成してもよい。単一モードでは、補正部１０５でのＩＩＲフィルタ処理は１回路（１つのＩＩＲフィルタ部の系統で成る回路）で行われる。

例えば、ＶＯＢデータとＨＯＢデータとの適正黒レベルの差は、奇数フレーム／偶数フレームの露光時間差が大きいほど、また撮像素子の温度が高いほど大きくなる。そこでＣＰＵ１１３は、温度センサ１１２により検出される撮像素子１０３の温度が低く（所定温度以下）、且つ、奇数フレーム／偶数フレーム間の露光時間差が小さい（所定時間差以下）である場合は、単一モードを採用してもよい。そしてそれ以外の場合は複数モードを採用してもよい。これにより、適正黒レベルの差が大きくなるような状況に対して補正遅延や誤補正を効果的に防止できる。

本実施の形態によれば、ＨＤＲモード時には、ＣＰＵ１１３は、フレーム単位で露出レベルを異ならせて撮像素子１０３から画像を出力させる。ＣＰＵ１１３は、第１補正部１０５Ｈにおける補正値Ｙｎの生成に使用する生成部として、ＩＩＲフィルタ部４０２とＩＩＲフィルタ部４０３とをフレーム単位（奇数／偶数）で切り替える。また、ＣＰＵ１１３は、第２補正部１０５ＶにおけるＶＯＢの補正値の生成に使用する生成部として、ＩＩＲフィルタ部Ｘ＿ＯとＩＩＲフィルタ部Ｘ＿Ｅとをフレーム単位（奇数／偶数）で切り替える。これにより、露出が異なる画像をフレーム単位で取得する場合に黒基準レベルを規定するＯＢ出力がフレーム単位で変動することに起因する課題を解消できる。すなわち、ノイズの影響を抑えつつ、補正遅延や誤補正を防止でき、輝度のパカツキや縦線の発生を抑制できる。よって、合成モード時に、フレームごとに黒レベルが変動することに起因する画像品位の低下を抑制することができる。

（第２の実施の形態）
ＨＤＲモードへの切替時は、補正値（ＨＯＢ、ＶＯＢの各補正値）の初期値が決まっておらず、奇数フレーム／偶数フレームそれぞれのＩＩＲフィルタ部で生成される補正値が適正値となるまでに時間を要してしまい、パカツキや縦線が発生するおそれがある。そこで、本発明の第２の実施の形態では、主として装置電源立ち上げ時及びＨＤＲモード移行時における黒レベル変動時の制御を工夫する。撮像装置の構成は第１の実施の形態で説明したのと同様である。図７及び図８を加えて本実施の形態を説明する。

図７は、ＨＤＲモードの初期動作等の処理のフローチャートである。このフローチャートの処理は、ＣＰＵ１１３が備えるＲＯＭ等の記憶部に格納されたプログラムをＲＡＭに読み出してＣＰＵ１１３が実行することにより実現される。この処理は、撮像装置の電源がオンにされたことにより開始される。

本実施の形態では、ＣＰＵ１１３は、ＨＤＲモードへの移行時に、フレームごとに最適露出条件を決定する。また、フレームごとの露出レベルの差（輝度レベル差）を保つために、「列アンプ制御」または「露光時間制御」により露出条件を制御する。すなわち、「列アンプ制御」は、ＨＤＲモード時において、奇数フレーム及び偶数フレームのそれぞれに対して列アンプゲインを用いて輝度レベル差を保つ制御態様であり、「露光時間制御」は、露光時間により輝度レベル差を保つ制御態様である。なお、複数モード、単一モードについては第１の実施の形態で説明したのと同じ意味である。

まずステップＳ７０１では、ＣＰＵ１１３は、各補正値（ＨＯＢ、ＶＯＢの各補正値）の初期値の候補を取得する。すなわち、ＣＰＵ１１３は、絞り１０１を完全に絞ることでダーク画像を取得し、露光時間を１／６０［ｓ］に設定して、各列アンプゲイン（×１倍、×２倍、×４倍）に対応する初期値の候補を取得する。ＣＰＵ１１３はさらに、列アンプゲインを×１倍に設定し、所定の露光時間（１／６０、１／２５０、１／５００）に対応する初期値の候補を取得する。このように、ＣＰＵ１１３は、装置電源のオン時に、全画素を遮光した状態での撮像素子１０３の出力から初期値の候補を取得する。すなわちＣＰＵ１１３は、列アンプのゲインの代表値（×１倍、×２倍、×４倍）と露光時間の代表値（１／６０、１／２５０、１／５００［ｓ］）との複数の組み合わせによる複数の初期値の候補を取得する。なお、列アンプゲイン×１倍に対応する候補と露光時間１／６０に対応する候補は、取得の際の条件が同じであるので共用できる。絞り１０１を完全に絞ることで、撮像素子１０３の全領域を黒画像とすることが可能となるので、ＨＯＢ２０１、ＶＯＢ２０２だけでなく有効画素領域２００を黒画像用に使うことが可能である。１フレームで初期値の候補を取得できるので、出画時間への影響は少ない。

初期値の候補の取得においては、ＣＰＵ１１３はまず、露光時間を１／６０［ｓ］で列アンプゲインを×１に設定したときに入力される黒画像（ＨＯＢデータ）を第１補正部１０５ＨのＩＩＲフィルタ部に順次入力する。ＣＰＵ１１３はまた、同様の条件に設定したときに入力される黒画像（ＶＯＢデータ）を第２補正部１０５ＶのＩＩＲフィルタ部に列毎に入力する。そして、ＣＰＵ１１３は、１フレーム入力終了後の各補正値を初期値の候補（１／６０［ｓ］で列アンプゲインが×１に対応する候補）としてメモリに記憶する。

次にＣＰＵ１１３は、露光時間を１／６０［ｓ］で列アンプゲインを×２に設定したときに入力される黒画像（ＨＯＢデータ）を第１補正部１０５ＨのＩＩＲフィルタ部に順次入力する。ＣＰＵ１１３はまた、同様の条件に設定したときに入力される黒画像（ＶＯＢデータ）を第２補正部１０５ＶのＩＩＲフィルタ部に列毎に入力する。そして、ＣＰＵ１１３は、１フレーム入力終了後の各補正値を初期値の候補（１／６０［ｓ］で列アンプゲインが×２に対応する候補）としてメモリに記憶する。ＣＰＵ１１３は、列アンプゲイン×４についても同様の処理を実施し、各補正値を初期値の候補（１／６０［ｓ］で列アンプゲインが×４に対応する候補）としてメモリに記憶する。

さらに、同様にして、ＣＰＵ１１３は、露光時間を１／２５０、１／５００［ｓ］で列アンプゲインを×１に設定したときに入力される黒画像に基づいて、各補正値を算出する。そしてＣＰＵ１１３は、各補正値を初期値の候補（１／２５０、１／５００［ｓ］で列アンプゲインが×１に対応する各候補）としてメモリに記憶する。従って、第１補正部１０５Ｈに関する初期値の候補は５種類が取得され、第２補正部１０５Ｖに関する初期値の候補は５種類×水平画素分が取得される。

なお、列アンプのゲインの代表値と露光時間の代表値との複数の組み合わせの数や態様は例示したものに限定されない。例えば、露光時間制御によるＨＤＲモード時の各フレームの列アンプゲインの代表値は×１倍のみとするが、×２、×４の組み合わせでの制御を行う場合は、それらの列アンプゲインと露光時間との組み合わせによる初期値の候補を取得するようにしてもよい。

なお、ステップＳ７０１ではさらに、初期値の候補の取得が完了すると、ＣＰＵ１１３は、絞り１０１を開けてＨＤＲモードではない通常撮影モードにて撮像素子からの読み出しを行う。そして、ステップＳ７０２で、ＣＰＵ１１３は、撮影モードがＨＤＲモードに移行するか否かを判別する。このモード変更はユーザから指示される。次に、ステップＳ７０３では、ＣＰＵ１１３は、撮像素子１０３からの画像データより、ＨＤＲモードでの輝度レベルの高い偶数フレーム、輝度レベルの低い奇数フレームの各々に適した最適露出条件（露光時間／列アンプゲイン）を算出・決定する。ステップＳ７０４では、ＣＰＵ１１３は、これから実施するＨＤＲモードの制御態様が、「列アンプ制御」または「露光時間制御」のいずれであるかを判別する。ここで、列アンプ制御、露光時間制御については第１の実施の形態で説明した通りである。ＨＤＲモードの制御態様は、ＨＤＲモードへの移行時にユーザによって指定可能である。

そして、ＨＤＲモードの制御態様が列アンプ制御である場合は、ＣＰＵ１１３は、処理をステップＳ７０５へ進め、補正値をロードする。すなわち、ＣＰＵ１１３は、初期値の候補のうち、偶数フレーム、奇数フレームの各最適露出条件における列アンプゲインに対応する候補を補正部１０５Ｈ、１０５ＶのＩＩＲフィルタ部の各々に初期値として（数式１のＹｎ−１値として）設定する。例えばＣＰＵ１１３は、奇数フレームについて、列アンプゲインが×１の場合は、×１に対応する候補を、第１ＩＩＲフィルタ部４０２、ＩＩＲフィルタ部Ｘ＿Ｏのそれぞれに初期値としてロードする。またＣＰＵ１１３は、偶数フレームについて、列アンプゲインが×２の場合は、×２に対応する候補を、第２ＩＩＲフィルタ部４０３、ＩＩＲフィルタ部Ｘ＿Ｅのそれぞれに初期値としてロードする。その後、処理はステップＳ７１２に進む。

ステップＳ７１２では、ＣＰＵ１１３は、第１の実施の形態で述べたような２回路動作による補正処理、すなわち、複数モードの実行を開始する。そして、ステップＳ７１３では、ＣＰＵ１１３は、通常モードへの切り替え指示があると、通常モードへ切り替えてから処理をステップＳ７０２に戻し、電源オフが指示されると図７の処理を終了させる。

ステップＳ７０４で、ＨＤＲモードの制御態様が露光時間制御である場合は、ＣＰＵ１１３は、温度センサ１１２から撮像素子１０３の温度を取得して、ステップＳ７０８に進む。ステップＳ７０８では、ＣＰＵ１１３は、撮像素子１０３の温度が所定温度以下（撮像素子温度≦所定温度）で、且つ、奇数フレーム／偶数フレーム間の露光時間差が所定時間差以下（露光時間差≦所定時間差）であるか否かを判別する。そして、撮像素子温度≦所定温度で且つ露光時間差≦所定時間差という条件が成立する場合は、ＣＰＵ１１３は、ステップＳ７０９へ移行し、単一モードの実行を開始して、処理をステップＳ７１３に進める。

ここで、撮像素子温度が高いほど暗電流が増加するので、露光時間差による黒レベルの変動は撮像素子温度が高いほど大きく、撮像素子温度が低いほど小さい。また、奇数フレームと偶数フレームとの間の露光時間差が大きければ黒レベルの変動が大きく、露光時間差が小さいほど黒レベルの変動が小さい。それゆえＣＰＵ１１３は、上記条件が成立する場合は、黒レベル変動が十分に小さいと推測できるので、単一モードによる１回路動作で補正部１０５を動作させる。偶数フレーム、奇数フレームの黒レベルの変動が小さいので１回路のＩＩＲフィルタ部で補正することで、垂直シェーディング、水平縦線を正確に補正することが可能である。なお、ＣＰＵ１１３は、撮像素子温度と露光時間差との関係をテーブルデータとして持ち、両者の関係から、複数モード、単一モードのいずれを選択するかを決定してもよい。

一方、ステップＳ７０８で、撮像素子温度≦所定温度で且つ露光時間差≦所定時間差という条件が成立しない場合は、ＣＰＵ１１３は、複数モードを採用するべく、処理をステップＳ７１０に進める。ステップＳ７１０では、ＣＰＵ１１３は、最適露出条件における露光時間がいずれかの代表値（１／６０、１／２５０、１／５００）に近いか否かを判別する。ここで、露光時間と最も近い代表値との差が所定以内である場合に、露光時間が代表値に近いと判別されるとし、偶数フレーム、奇数フレームの各露光時間について判断される。偶数フレーム、奇数フレームの各露光時間のうちいずれかが代表値から遠いと判別された場合は、処理はステップＳ７１１に進む。なお、上記条件は、第１補正部１０５Ｈ、第２補正部１０５Ｖのそれぞれについて判別され、判別結果によって処理が分岐する。その判別の結果、ＣＰＵ１１３は、露光時間がいずれかの代表値に近い場合は処理をステップＳ７０６へ進め、そうでない場合は処理をステップＳ７１１に進める。

ステップＳ７０６では、ＣＰＵ１１３は、最適露出条件における露光時間に最も近い代表値に対応する候補を、各ＩＩＲフィルタ部に初期値としてロードする。その後、処理はステップＳ７１２に進む。例えば奇数フレームの露光時間が１／２６０だとすると１／２５０に近く、偶数フレームの露光時間が１／６０だとすると１／６０に近い（同一である）。この場合は、露光時間１／２５０［ｓ］、１／６０［ｓ］に対応する候補が初期値としてロードされる。

ステップＳ７１１では、ＣＰＵ１１３は、「初期２回路動作」を実行する。この初期２回路動作の詳細は図８で説明するが、ここで概説すると、ＣＰＵ１１３は、最適露出条件における露光時間と同じかまたは最も近い代表値に対応する候補を初期値として設定する。そしてＣＰＵ１１３は、使用するＩＩＲフィルタ部の切り替えを所定回数（例えば２回とするが数は問わない）、交互に繰り返し、露出条件を最適露出条件へと徐々に近づけていく。そして、所定回数の切り替えが完了すると、ステップＳ７１２での複数モードが開始される。

図８は、ステップＳ７１１で実行される初期２回路動作の例を示すタイミングチャートである。奇数フレームについての最適露出条件における露光時間が１／８００［ｓ］、偶数フレームについての最適露出条件における露光時間が１／８０［ｓ］であるとする。ＶＤ信号８００は１フレーム毎に出力される。実線で示されるリセット信号８０１は、撮像素子１０３内の電荷をリセットするための信号である。破線で示される読み出し信号８０２は、撮像素子１０３から画像データを読み出すタイミングを規定する。リセット信号８０１から読み出し信号８０２までの区間が露光時間となる。また、「ＩＩＲフィルタ奇」は奇数フレームに対応するＩＩＲフィルタ部が作動しており、「ＩＩＲフィルタ偶」は偶数フレームに対応するＩＩＲフィルタ部が動作していることを示している。

奇数フレームについては最適露出条件における露光時間が１／８００［ｓ］である。そこでＣＰＵ１１３は、代表値の中で１／８００に一番近い１／５００［ｓ］に露光時間を設定し、さらに１／５００［ｓ］に対応する候補を初期値としてロードして、ＩＩＲフィルタ部を動作させて補正値を更新する。ＣＰＵ１１３は、次の奇数フレームの読み出し時には露光時間を１／６５０［ｓ］に設定し、ＩＩＲフィルタ部を動作させて補正値を更新する。ＣＰＵ１１３は、更に次の奇数フレーム読み出し時には露光時間を１／８００［ｓ］に設定し、ＩＩＲフィルタ部を動作させて補正値を更新する。これにて、奇数フレームに関する初期２回路動作は完了する。

一方、偶数フレームについては最適露出条件における露光時間が１／８０［ｓ］である。そこでＣＰＵ１１３は、代表値の中で１／８０に一番近い１／６０［ｓ］に露光時間を設定し、さらに１／６０［ｓ］に対応する候補を初期値としてロードして、ＩＩＲフィルタ部を動作させて補正値を更新する。ＣＰＵ１１３は、次の偶数フレームの読み出し時には露光時間を１／７０［ｓ］に設定し、ＩＩＲフィルタ部を動作させて補正値を更新する。ＣＰＵ１１３は、更に次の偶数フレーム読み出し時には露光時間を１／８０［ｓ］に設定し、ＩＩＲフィルタ部を動作させて補正値を更新する。これにて、偶数フレームに関する初期２回路動作は完了する。

このように、露光時間を徐々に変えていくことで、ＨＤＲモードの初期動作時における黒レベルの変動を小さくし、パカツキや縦線を改善することができる。初期２回路動作が完了すると、ＣＰＵ１１３は、ステップＳ７１２に遷移し、通常の２回路動作である複数モードを開始する。なお、初期２回路動作時には、最適露出条件における露光時間とは異なる値に露光時間が設定されている。そこで、画像合成前の第１画像処理部１０６におけるデジタルゲインで調整することで、最適露出条件時の画像と同等の輝度レベルになるように補正してもよい。

本実施の形態によれば、合成モード時に複数モードを実行することで、フレームごとに黒レベルが変動することに起因する画像品位の低下を抑制することに関し、第１の実施の形態と同様の効果を奏することができる。また、ＨＤＲモードへの移行時に、フレームごとに決定した最適露出条件と撮像素子温度とに基づいて、複数モードまたは単一モードのいずれかを採用するので、黒レベルの変動の程度の予測に応じてモードを選択できる。特に、列アンプ制御の場合は複数モードが採用され、複数モードの動作を開始するにあたって、初期値の候補のうち最適露出条件における列アンプゲインに対応する候補がＩＩＲフィルタ部に初期値として設定される。これにより、露光時間による黒レベルの変動を小さくすることができる。

また、露光時間制御の場合、撮像素子温度が所定温度以下で且つ第１露出レベルに対応する露光時間と前記第２露出レベルに対応する露光時間との差（露光時間差）が所定時間差以下という条件が成立する場合は、単一モードが採用される。これにより、黒レベルの変動が小さいと推測される場合に処理を簡素化できる。一方、この条件が成立しない場合は、代表値のうち最適露出条件における露光時間と同じかまたは最も近い代表値に対応する候補がＩＩＲフィルタ部に初期値として設定されて、複数モードが開始される。これにより、黒レベルの変動が大きいと推測される場合に、黒レベルの変動を小さくすることができる。

また、ＩＩＲフィルタ部に初期値が設定された後、露出条件を最適露出条件へ徐々に遷移させてから複数モードの動作が開始される。これにより、ＨＤＲモードの初期動作時における黒レベルの変動を小さくすることができる。

なお、本実施の形態において、ステップＳ７０８でＮＯと判別された場合でも、被写体の動きが激しいときは、ステップＳ７１１を省略してステップＳ７１２に移行するようにしてもよい。

なお、ＨＤＲモード時に使用するＩＩＲフィルタ部を切り替える処理を第１補正部１０５Ｈ、第２補正部１０５Ｖのいずれかだけに適用する構成も本発明に含まれる。

なお、上記各実施の形態では、ＨＤＲモード時に、２つ（または２つの群）のＩＩＲフィルタ部が奇数フレームと偶数フレームとで切り替え対象となる例を説明した。しかし、ＩＩＲフィルタ部は３つ（または３つの群）以上を設け、それらのうち２つ（または２つの群）のＩＩＲフィルタ部を切り替え対象としてもよい。また、３枚以上の画像を合成するような合成モードを採用した場合に、３つ（または３つの群）以上のＩＩＲフィルタ部を順番に切り替える制御を行うようにしてもよい。

なお、本発明はビデオカメラだけでなく、デジタルスチルカメラ、テレビカメラ等の各種の撮像装置に適用可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１０３ 撮像素子
１０５ 補正部
１０７ 合成部
１１３ ＣＰＵ
２００ 有効画素領域
２０１ ＨＯＢ
２０２ ＶＯＢ
４０２、４０３、Ｘ＿Ｏ、Ｘ＿Ｅ ＩＩＲフィルタ部

Claims (15)

1. 画素が二次元の行列状に配置され、有効画素領域と遮光画素領域とを有する撮像素子と、
   前記遮光画素領域から出力された黒レベルに基づき補正値を各々が生成する複数の生成部を有する補正手段と、
   合成モード時に、フレーム単位で露出レベルを異ならせて前記撮像素子から画像を出力させる制御手段と、
   前記合成モード時に、前記有効画素領域から出力され前記補正手段により前記補正値で補正された画像であって互いに露出レベルが異なる画像を合成する合成手段と、を有し、
   前記制御手段は、前記合成モード時には、前記補正手段における、前記補正値の生成に使用する生成部をフレーム単位で切り替えることを特徴とする撮像装置。
2. 前記生成部には、第１の生成部と第２の生成部とが含まれ、
   前記制御手段は、前記合成モード時には、フレーム単位で露出レベルを第１露出レベルと前記第１露出レベルよりも高い第２露出レベルとに交互に切り替え、露出レベルを前記第１露出レベルにしたときは前記第１の生成部を使用し、露出レベルを前記第２露出レベルにしたときは前記第２の生成部を使用するよう、前記生成部を切り替えることを特徴とする請求項１に記載の撮像装置。
3. 前記遮光画素領域には水平オプティカルブラック部が含まれ、前記生成部は前記水平オプティカルブラック部に対応して複数あることを特徴とする請求項１または２に記載の撮像装置。
4. 前記遮光画素領域には垂直オプティカルブラック部が含まれ、前記生成部は、前記垂直オプティカルブラック部に対応して列ごとに複数あることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記生成部は、前記補正値の前回値と前記遮光画素領域から出力された最新の黒レベルとに所定の重み付けを行って前記補正値を更新することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記撮像素子の温度を検出する検出手段を有し、
   前記制御手段は、前記合成モード時には、前記補正値の生成に使用する生成部をフレーム単位で切り替える第１モードと、前記第１の生成部または前記第２の生成部のいずれかだけを前記補正値の生成に使用する第２モードとを選択的に採用可能であり、
   前記制御手段は、前記撮像素子の温度が所定温度以下で且つ前記第１露出レベルに対応する露光時間と前記第２露出レベルに対応する露光時間との差が所定時間差以下である場合は前記第２モードを採用し、それ以外の場合は前記第１モードを採用することを特徴とする請求項２に記載の撮像装置。
7. 前記撮像素子の温度を検出する検出手段を有し、
   前記制御手段は、前記合成モード時には、前記補正値の生成に使用する生成部をフレーム単位で切り替える第１モードと、前記第１の生成部または前記第２の生成部のいずれかだけを前記補正値の生成に使用する第２モードとを選択的に採用可能であり、
   前記制御手段は、前記合成モードへの移行時に、フレームごとに露出条件を決定し、該決定した露出条件と前記撮像素子の温度とに基づいて、前記第１モードまたは前記第２モードのいずれかを採用することを特徴とする請求項２に記載の撮像装置。
8. 前記制御手段は、前記合成モード時に、前記撮像素子内の列アンプのゲインを制御する列アンプ制御により露出条件を制御する場合は前記第１モードを採用することを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、装置電源のオン時に、全画素を遮光した状態での前記撮像素子の出力から、前記列アンプのゲインの代表値と露光時間の代表値との複数の組み合わせによる複数の初期値の候補を取得し、
   前記制御手段は、前記第１モードの動作を開始するにあたって、前記複数の初期値の候補のうち前記決定した露出条件における前記列アンプのゲインに対応する候補を前記複数の生成部に初期値として設定することを特徴とする請求項８に記載の撮像装置。
10. 前記制御手段は、前記合成モード時に、露光時間を制御する露光時間制御により露出条件を制御する場合、前記撮像素子の温度が所定温度以下で且つ前記決定した露出条件における前記第１露出レベルに対応する露光時間と前記第２露出レベルに対応する露光時間との差が所定時間差以下である場合は、前記第２モードを採用することを特徴とする請求項７に記載の撮像装置。
11. 前記制御手段は、前記合成モード時に、露光時間を制御する露光時間制御により露出条件を制御する場合、前記撮像素子の温度が所定温度より高いかまたは、前記決定した露出条件における前記第１露出レベルに対応する露光時間と前記第２露出レベルに対応する露光時間との差が所定時間差より大きい場合は、前記第１モードを採用することを特徴とする請求項７に記載の撮像装置。
12. 前記制御手段は、装置電源のオン時に、全画素を遮光した状態での前記撮像素子の出力から、前記撮像素子内の列アンプのゲインの代表値と露光時間の代表値との複数の組み合わせによる複数の初期値の候補を取得し、
    前記制御手段は、前記合成モード時に、前記露光時間制御で露出条件を制御する場合であって且つ前記第１モードを採用する場合は、前記代表値のうち前記決定した露出条件における露光時間と同じかまたは最も近い代表値に対応する候補を前記複数の生成部に初期値として設定することを特徴とする請求項１１に記載の撮像装置。
13. 前記制御手段は、前記複数の生成部に前記初期値を設定した後、露出条件を前記決定した露出条件へ徐々に遷移させてから、前記第１モードの動作を開始することを特徴とする請求項１２に記載の撮像装置。
14. 画素が二次元の行列状に配置され、有効画素領域と遮光画素領域とを有する撮像素子と、前記遮光画素領域から出力された黒レベルに基づき補正値を各々が生成する複数の生成部を有する補正手段と、を有する撮像装置の制御方法であって、
    合成モード時に、前記有効画素領域から出力され前記補正手段により前記補正値で補正された画像であって互いに露出レベルが異なる画像を合成する合成ステップと、を有し、
    前記合成モード時に、フレーム単位で露出レベルを異ならせて前記撮像素子から画像を出力させると共に、前記補正手段における、前記補正値の生成に使用する生成部をフレーム単位で切り替える制御ステップと、を有することを特徴とする撮像装置の制御方法。
15. 請求項１３に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。