JP2016019196A - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】動画によるＨＤＲ撮影において自動露出制御を行う場合に、生成画像の階調の連続性を向上させることが可能な撮像装置を提供する。【解決手段】本発明の撮像装置は、撮像手段と、所定のフレームレートで露出の異なる画像を繰り返し撮像するように撮像手段を制御する撮像制御手段と、撮像手段に入射させる光量を調節する露出制御手段とを有する。さらに、撮像手段による撮像中に露出制御手段により光量が調節され、露出の異なる画像の露出差が所定の値から変動した場合、露出制御手段により調節された露出で撮像されたフレームの画像を該変動した露出差に基づいて補正する補正手段と、補正手段により補正されたフレームの画像を含む複数のフレームの画像を合成する合成手段とを有する。【選択図】図２

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関し、特にハイダイナミックレンジ画像の生成技術に関する。

異なる露出（アンダー露出、オーバー露出）で撮影された複数枚の画像を合成して、画像のダイナミックレンジを拡大するハイダイナミックレンジ（ＨＤＲ）合成といわれる技術が知られている。この技術では、各画像の適正露出部分を合成することで、白とびや黒つぶれを抑制し、暗部から明部まで良好な階調性を有する画像を得ることができる。

ＨＤＲ合成技術は、静止画を撮影する場合のみならず、動画の撮影を行う場合にも適用可能な技術である。動画の撮影時にＨＤＲ合成（動画ＨＤＲ撮影）を行う構成には、例えば動画の各フレームに異なる露出（アンダー露出、オーバー露出）を交互に適用して撮影する構成が知られている。このように撮影した場合、例えばフレームレートを６０ｆｐｓとして動画を撮影すると、ＨＤＲ合成されて記録される動画のフレームレートは半分の３０ｆｐｓとなる。

動画の各フレームを用いてＨＤＲ撮影を行うためには、各フレームに適用する露出条件を順次制御する必要がある。特許文献１には、フレームの輝度のピーク検出を毎フレーム行って、アンダー露出を適用して撮影するフレームに対する露出時間を制御する技術が開示されている。また、特許文献２には、まず基準とする露出条件と階調変換特性を設定した撮影を行って、得られた信号レベル（即ちＡＥセンサの測光結果）に基づいて本撮影時に用いる各フレームの各露出と階調変換特性の組み合わせを適応的に選択する技術が開示されている。

特開２００９―２１３０３２号公報 特開２００６−２５４２７９号公報

ところで、動画ＨＤＲ撮影では、ＡＥ（自動露出制御）を動画の撮像中に行う場合がある。静止画のＨＤＲ撮影では、本撮影の前にＡＥによる露出制御が行われるのに対し、動画ＨＤＲ撮影では、ＡＥによる露出制御を動画の撮像中に並行して行う必要がある。露出制御の処理中には適正露出が徐々に変化するため、動画ＨＤＲ撮影に用いるアンダー露出とオーバー露出の露出差が想定と異なるものになってしまう。従来であれば、現像後の露出をアンダー露出およびオーバー露出で撮影された画像で揃えるために、予めデジタルゲインやガンマなどの画像処理パラメータを決定しておくことができる。しかし、ＡＥによる露出制御により想定と異なる露出差が生じた場合、現像後のＨＤＲ合成の際にアンダー露出およびオーバー露出で撮影された画像の間の輝度階調の連続性が低下し、例えば部分的に境界が発生するトーンジャンプが発生することが想定される。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、動画によるＨＤＲ撮影において自動露出制御を行う場合に、生成画像の階調の連続性を向上させることが可能な撮像装置およびその制御方法ならびプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、撮像手段と、所定のフレームレートで露出の異なる画像を繰り返し撮像するように撮像手段を制御する撮像制御手段と、撮像手段に入射させる光量を調節する露出制御手段と、撮像手段による撮像中に露出制御手段により光量が調節され、露出の異なる画像の露出差が所定の値から変動した場合、露出制御手段により調節された露出で撮像されたフレームの画像を該変動した露出差に基づいて補正する補正手段と、補正手段により補正されたフレームの画像を含む複数のフレームの画像を合成する合成手段と、を有することを特徴とする。

本発明によれば、動画によるＨＤＲ撮影において自動露出制御を行う場合に、生成画像の階調の連続性を向上させることが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の断面図（ａ）および機能構成例を示すブロック図（ｂ） 実施形態１に係る動画ＨＤＲ撮影処理の一連の動作を示すフローチャート 実施形態１に係る測光用の信号取得と領域分割を示す図 実施形態１に係る動画ＨＤＲ撮影処理において露出条件を決定するために用いるプログラム線図 実施形態１に係るシーンの輝度値および絞り値等の変化例を説明する図（ａ）および露出差の変化例を説明する図（ｂ） 実施形態１に係る信号処理装置の機能構成例を示すブロック図 実施形態１に係るＨＤＲ合成における合成比率を示す図 実施形態１に係る動画ＨＤＲ撮影処理の一連の動作を示すシーケンス図 実施形態２に係るシーンの輝度値および絞り値等の変化例を説明する図（ａ）および露出差の変化例を説明する図（ｂ） 実施形態２に係るＢｖ値に対する制御値を推定する処理を説明するための図 実施形態２に係る信号処理装置の機能構成例を示すブロック図 実施形態２に係るガンマ変換によるゲイン修正を説明する図 実施形態２に係る動画ＨＤＲ撮影処理の一連の動作を示すシーケンス図 実施形態２の変形例に係るガンマ変換によるゲイン修正を説明する図 実施形態２に係る動画ＨＤＲ撮影処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、露出を変更して動画を取得可能な撮像機能を備えるデジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう撮像装置は、デジタルカメラに限らず、このような撮像機能を備える任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

（１ デジタルカメラの構成）
図１（ａ）は、実施形態の撮像装置の一例としてのデジタルカメラ１００の、主として光学部材やセンサ等の配置を示す断面図である。デジタルカメラ１００は、レンズ交換可能ないわゆるデジタル一眼レフカメラであり、カメラ本体１と交換レンズ２を有している。

カメラ本体１における撮像素子１０は、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（蓄積型光電変換素子）が配列されている。また、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが形成されている。撮像素子１０は、画素に対する電荷の蓄積時間や電荷の読み出しを調節することで、撮像素子による露出制御が可能な電子シャッター機能を実現する。交換レンズ２の備える撮影光学系により結像された被写体光学像を各画素で光電変換し、画素単位の画像信号を出力する。

撮像素子１０の前方近傍に設けられていたメカニカルシャッター１１は、撮像素子１０の露出タイミングおよび露出時間を調節する。半透過性の主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には上部に跳ね上がる。第２の反射ミラー８は、第１の反射ミラー７が反射した光束をさらに反射し、ＡＦセンサ９に入射させる。ＡＦセンサ９は、例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。第１の反射ミラー７、第２の反射ミラー８およびＡＦセンサ９は、撮影画面内の任意の位置での位相差検出方式で焦点検出を行うための構成である。なお、ライブビュー表示および動画記録時には常時主ミラー３が上部に跳ね上がった状態となるため、露出制御や焦点調節制御は撮像面の画像情報を使用して行うこととなる。

ＡＥセンサ６は、測光用センサであり、ペンタプリズム４および第３の反射ミラー５で反射された被写体の光束を受光して測光を行う。ＡＥセンサ６は受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。

ペンタプリズム４によってファインダー光学系が構成される。ペンタプリズム４で反射された被写体光学像は図示しないアイピースから観察可能である。またペンタプリズム４で反射された光束のうち、主ミラー３によって反射されてピント板１２によって拡散された光線の光軸外の一部は、ＡＥセンサ６に入射する。

交換レンズ２は、取り外し可能なレンズであり、カメラ本体１に設けられたレンズマウントの接点を通じて、必要に応じてカメラ本体１と通信を行う。

図１（ｂ）は、図１（ａ）に示したデジタルカメラ１００のカメラ本体１とその交換レンズ２の機能構成例を示すブロック図である。なお、図１（ｂ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

制御部２１は、例えば内部にＡＬＵ(Arithmetic and Logic Unit)３３、ＲＯＭ３４、ＲＡＭ３５やＡ／Ｄコンバータ３１、タイマー３２、シリアル通信ポート（ＳＰＩ）３６等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭ３４に記憶されたプログラムを実行することにより、カメラ本体１および交換レンズ２の動作を制御する。例えば、制御部２１は後述する動画ＨＤＲ撮影に係る処理を実行するためカメラ本体１の各部を制御する。制御部２１のＡ／Ｄコンバータ３１には、ＡＦセンサ９およびＡＥセンサ６の出力信号が入力される。

信号処理部２５は、制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０によって出力された信号にＡ／Ｄ変換および信号処理を適用して画像信号を得る。信号処理部２５は、得られた画像信号を記録する場合には、予め定められた形式で画像信号を圧縮し、記憶部２６に出力する。また、後述する動画ＨＤＲ撮影に必要な現像処理や合成処理を行う。

メモリ２８は、ＤＲＡＭ等により構成される記憶装置である。メモリ２８は、信号処理部２５が種々の信号処理を行う際のワーク用メモリとして使用されるほか、後述する表示部２７に画像を表示する際のＶＲＡＭとして使用される。

表示部２７は、液晶ディスプレイパネル等で構成され、カメラの設定値やメッセージ、メニュー画面等の情報や撮像した画像を表示する。表示部２７は制御部２１からの指示により制御される。記憶部２６は例えばフラッシュメモリ等の不揮発性メモリであり、撮像された画像信号が信号処理部２５から入力される。

モーター２２は、制御部２１の制御に従い、主ミラー３および第１の反射ミラー７のアップ・ダウンやメカニカルシャッター１１のチャージを行う。

操作部２３は、ユーザがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。

接点部２９は、交換レンズ２と通信を行うための接点であり、制御部２１のシリアル通信ポートの入出力信号が接続される。シャッター駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッター１１を駆動する。

交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続され、制御部２１との通信が可能である。レンズ制御部５１は、例えばＲＯＭに記憶されたプログラムを実行し、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。また、交換レンズ２の状態などの情報を制御部２１に通知する。

フォーカスレンズ駆動部５２は、レンズ制御部５１の指示に基づいてフォーカスレンズを駆動し、ズーム駆動部５３は、レンズ制御部５１の指示に基づいて交換レンズの画角を変更する。

絞り駆動部５４は、レンズ制御部５１の指示に基づいて絞りの開口量を調節し、撮像素子１０に入射する光量を調節する。

交換レンズ２がカメラ本体１に装着されると、レンズ制御部５１および制御部２１とは接点部２９および５０を介してデータ通信が可能になる。例えば、制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や距離エンコーダに基づいた被写体距離に関する情報等が、レンズ制御部５１から制御部２１へデータ通信によって出力される。また、制御部２１が焦点検出や露出演算により得られた焦点や絞りの制御情報をレンズへ送信すると、レンズ制御部５１は、受信した制御情報に従って絞り等を制御する。また、接点部２９は、レンズ側の接点部５０を介して、交換レンズ２に備えられた図示しないモーターやアクチュエータに対して電力を供給する。

（２．動画ＨＤＲ撮影に係る一連の動作）
次に、図２を参照して、動画ＨＤＲ撮影に係る一連の動作を説明する。なお、本処理は、制御部２１がＲＯＭ３４に記憶されたプログラムをＲＡＭ３５の作業用領域に展開し、実行することにより実現される。

Ｓ１１において制御部２１は、たとえば操作部２３に含まれる電源スイッチがオンされるなどにより動作が可能になると、交換レンズ２のレンズ制御部５１と通信を行なって、焦点検出や測光に必要な各種レンズの情報を得るなどの初期化処理を行う。

Ｓ１２において制御部２１は、操作部２３に含まれる動画モード切り替えスイッチがオンされたことを検出すると、メモリ２８の配置処理などを動画モードへと切り替えて、撮像を開始する。

Ｓ１３において制御部２１は、操作部２３に含まれるスイッチにおいて動画ＨＤＲ撮影に切り替えられたことを検出すると、撮影モードを動画ＨＤＲ撮影モードに切り替える。

Ｓ１４において制御部２１は、適正露出条件を設定する。動画ＨＤＲ撮影モードでは、予め設定された露出、例えば適正露出に対して＋１ＥＶのオーバー露出および−１ＥＶのアンダー露出の設定で撮像を交互に繰り返す撮像制御を行う。本実施形態では、各露出を設定するための適正露出を算出する。適正露出の算出は、一度適正露出の算出を行って適正露出に制御した後であっても、シーンが変わった場合などに対応するために撮像中に定期的に実行される。

以下に、本ステップにおける適正露出の算出処理について、より詳細に説明する。Ｓ１２において開始された動画モードでは、制御部２１は、いわゆるライブビュー画像（またはスルー画像）と呼ばれる、表示部２７を電子ビューファインダとして機能させる動画撮影を実行する。この撮影はいわゆる電子シャッターによる撮影を連続的に実行することで行われる。この状態ではミラーアップしている状態となるため、ＡＥセンサ６によって測光することができない。

制御部２１は、ライブビュー画像の撮影中に定期的に撮像素子１０による測光用の信号取得を行って測光を行う。例えばライブビュー画像の１フレームを測光用の画像信号として取得すればよい。制御部２１は、画像信号を撮像素子１０から読み出し、Ａ／Ｄ変換を行ってＲＡＭに格納する。制御部２１は、取得した画素信号を、図３に示すように、画素領域を例えば９×７個のブロックに分割して、各ブロックに含まれる画素信号を用いてブロックごとに輝度情報を算出する。各ブロックの輝度情報は、例えばブロック内の全画素の輝度を平均することにより算出する。なお、輝度の演算は、例えばＡＰＥＸ（Additive System of Photographic Exposure ）表現におけるＢｖ値（適正露出における被写体の輝度）に換算して行う。これらの輝度情報に基づいてＹ１〜Ｙ７およびＸ１〜Ｘ９の射影データを算出する。一般にｍ行×ｎ列といった２次元配列のデータから行方向や列方向に加算或いは加算平均した１次元配列のデータに変換する手法のことを２次元から１次元への投影又は射影という。また、列方向や行方向に加算した結果得られた１次元配列のデータのことを射影像或いは射影データと呼ぶ。本実施形態においては射影データＹ１〜Ｙ７およびＸ１〜Ｘ９を以下のように算出する。
Ｘ１＝Σ（ｘ１）÷７ 但し、ｘ＝１〜７
Ｘ２＝Σ（ｘ２）÷７ 但し、ｘ＝１〜７
Ｘ３＝Σ（ｘ３）÷７ 但し、ｘ＝１〜７
Ｘ４＝Σ（ｘ４）÷７ 但し、ｘ＝１〜７
Ｘ５＝Σ（ｘ５）÷７ 但し、ｘ＝１〜７
Ｘ６＝Σ（ｘ６）÷７ 但し、ｘ＝１〜７
Ｘ７＝Σ（ｘ７）÷７ 但し、ｘ＝１〜７
Ｘ８＝Σ（ｘ８）÷７ 但し、ｘ＝１〜７
Ｘ９＝Σ（ｘ９）÷７ 但し、ｘ＝１〜７
Ｙ１＝Σ（１ｙ）÷９ 但し、ｙ＝１〜９
Ｙ２＝Σ（２ｙ）÷９ 但し、ｙ＝１〜９
Ｙ３＝Σ（３ｙ）÷９ 但し、ｙ＝１〜９
Ｙ４＝Σ（４ｙ）÷９ 但し、ｙ＝１〜９
Ｙ５＝Σ（５ｙ）÷９ 但し、ｙ＝１〜９
Ｙ６＝Σ（６ｙ）÷９ 但し、ｙ＝１〜９
Ｙ７＝Σ（７ｙ）÷９ 但し、ｙ＝１〜９
制御部２１は、算出された射影データＹ１〜Ｙ７およびＸ１〜Ｘ９の中の最大値Ｅ_ｍａｘを求め、求めた最大値Ｅ_ｍａｘに基づいて第１の露出補正値γを算出する。具体的には、Ｅ_ｍａｘの値がＢｖ値で１０を超える場合に下記の式により算出する。

γ＝（Ｅ_ｍａｘ−１０）×０．２５
ここで、この第１の露出補正値γは、Ｂｖ値で１０を超えるような高輝度被写体は明るく写った方が好ましい場合が多いという経験則に従い露出補正を行うものである。係数０．２５はあくまで例であって、高輝度被写体をどの程度明るく写るようにするかで最適値を決めれば良い。また画像信号全体の平均Ｂｖ（ＡＶＥＢｖ）を下記の式により算出する
ＡＶＥＢｖ＝Σ（Ｘｘ＋Ｙｙ）÷（７×９）
但し、ｘ＝１〜７、ｙ＝１〜９

これによりＢｖ値に対する制御値は、
適正露出：ＡＶＥＢｖ＋γ
となる。

制御部２１は、このＢｖ値に対する制御値に基づいて予め設定したプログラム線図を参照して露出条件を決定する。図４は、本動画ＨＤＲ撮影において使用するプログラム線図の例を示している。実線は適正露出を、破線はオーバー露出を、二点鎖線はアンダー露出をそれぞれ示している。右側縦軸は絞り値Ａｖを、左側縦軸および上部横軸はＢｖ値を示している。また、下部横軸はＴｖ（シャッタースピード）を示しているが、図４に示す線図では、１／３０秒以上の場合についてはＩＳＯ感度を用いて表示している。これは、動画撮影においてはフレームレートに応じてＴｖ値の限界があるためである。例えば図４において適正露出が３０／ｆｐｓである場合、オーバー側の最長秒設定も１／３０秒となるため、これよりも露出が増大する側はＩＳＯ感度を上げることで実現することを示している。制御部２１は、上述したＢｖ値に対する制御値をもとに、プログラム線図に対応したデータテーブルを参照して露出条件（ＩＳＯ感度、絞り、秒時）を決定し、当該条件に合わせて露出制御を行う。

Ｓ１５において制御部２１は、焦点検出処理および求めた焦点位置にレンズを駆動させる。制御部２１は、撮像素子１０で焦点検出用の信号蓄積を行う。なお、ＡＦセンサ９を用いた焦点検出を行わないのは、動画記録を行うために、ミラーアップして連続的な撮影を行っているためである。従って、撮像素子１０で得られる画像信号から、コントラスト検出方式の焦点検出を行う。蓄積が終了すると蓄積された信号を読み出しながらＡ／Ｄ変換を行い、焦点検出用の画像信号としてＲＡＭ３５に格納する。さらにＳ１１で得ているレンズ情報と焦点検出用の画像信号とから、撮影画面の各部の焦点状態を演算し、合焦させる焦点検出領域を決定する。なお、焦点検出領域の位置の決定は他の方法によってもよく、例えば予め操作部２３を通じてユーザから指定されている焦点検出領域に決定してもよいし、顔検出などの画像認識技術を用いて人物の顔に焦点検出領域を設定してもよい。制御部２１は、決定した焦点検出領域における焦点状態とレンズ情報とに従って、焦点検出領域に合焦させるためのレンズ移動量を算出し、レンズ制御部５１を通じてフォーカスレンズ駆動部５２を制御する。これにより、交換レンズ２は焦点検出領域内の被写体に対して合焦状態となる。フォーカスレンズを駆動すると距離エンコーダの情報が変化するので、制御部２１は交換レンズ２内の各種レンズ情報の更新も行う。

Ｓ１６において制御部２１は、オーバー露出を実現するために処理対象となるフレームにおいて絞り制御が必要かを判定する。なお、ＨＤＲ合成に用いる一組のフレームのうち、オーバー露出となるフレームをオーバーフレーム、アンダー露出となるフレームをアンダーフレームという。まず、例えばあるタイミングで設定している適正露出条件がＢｖ１１であり、画像信号から取得した輝度がＢｖ１０であるとする。図４に示したプログラム線図上ではＩＳＯ感度が２００から４００へ１ＥＶ変化しただけで絞り値Ａｖは変化しない。この場合、制御部２１は絞り制御不要と判断してＳ１８に処理を進め、現在の露出でオーバー露出の撮像（オーバー撮像）を行う。

一方、あるタイミングで設定している適正露出条件がＢｖ８であり、画像信号から取得した輝度がＢｖ１０であるとする。プログラム線図上では絞りが２．８から５．６へ変化しており、絞り値Ａｖは２ＥＶ変化している。この場合、制御部２１は絞り制御が必要と判定して、Ｓ１７に処理を進める。

Ｓ１７において制御部２１は、オーバーフレームにおいてオーバー露出に対する露出条件を算出すると、算出結果を用いて露出制御を行う。オーバー露出の露出条件の算出には、適正露出条件の算出と同様に図４のプログラム線図例を参照する。図中では波線がオーバー露出を示している。先に求めたＢｖ値に対する制御値は適正露出に関する値であるから、以下のように、オーバー露出に対してさらに制御値を修正してからプログラム線図を参照すればよい。制御部２１は、算出した露出条件に基づいてレンズ２に対して露出制御を行わせると、Ｓ１８において基準フレーム、即ちオーバー露出となるフレームにおいてオーバー撮像を行なう。

オーバー：ＡＶＥＢｖ＋γ＋α 但し、αは適正露出に対する露出差

なお、詳細はＳ２１の処理において後述するが、ここで決定したオーバー撮像の露出条件は目標値であり、実際にはあるタイミングから数フレームをかけて目標の露出条件へと近づけていく処理がなされる。

Ｓ１９において制御部２１は、処理対象のフレームを１フレーム進めて、アンダーフレームにおいてアンダー露出を実現するために絞り制御が必要かを判定する。アンダー露出を実現するための絞り制御が必要か否かは、Ｓ１６におけるオーバー露出の絞り制御の判定と同様に行う。制御部２１は、絞り制御が不要と判定した場合は、Ｓ２３に処理を進めてオーバー現像の処理を行わせる。一方、制御部２１は、絞り制御が必要と判定した場合、処理をＳ２０に進めて、アンダー露出の算出および露出制御を行う。

Ｓ２０において制御部２１は、図４に示したプログラム線図例を参照して適正露出と同様にアンダー露出に対する露出条件を算出し、算出結果を用いて露出制御を行う。図４においては、１点鎖線がアンダー露出を示している。先に求めたＢｖ値に対する制御値は適正露出に関する値であるから、以下のように、アンダー露出に対してさらに制御値を修正してからプログラム線図を参照すればよい。制御部２１は、処理を完了するとＳ２１に処理を進めて、実際の露出差を取得する。

アンダー：ＡＶＥＢｖ＋γ―β 但し、βは適正露出に対する露出差

Ｓ２１において制御部２１は、露出制御による露出の調節後の、オーバー露出とアンダー露出における実際の露出差を取得する。以下、本ステップの詳細を図５（ａ）および図５（ｂ）を参照して説明する。動画では露出の変化は滑らかにした方が視認性は良いため、直後のフレームがＳ１７で決定した露出条件になるように制御するのではなく、複数フレームに渡って徐々に目標値に近づけてゆく。このため、目標値に向けた絞り制御の動作を継続しながら、オーバーフレームとアンダーフレームの実際の絞り値Ａｖをフレームごとに取得してゲイン修正に反映させる。

まず、数フレーム先までの露出条件を予め決定する。実際に変化したシーンの輝度値Ｂｖに対し、例えば絞り値Ａｖを何フレームかけて目標値まで変化させるかを設定し、各フレームの露出条件を設定する。図５（ａ）には、Ｂｖ値の変化とそれに伴うＡｖ値を４フレームかけて変化させる例を示している。図５（ａ）における点線は、Ｂｖ値に対する実際の制御値を示している。

ここで重要なのはオーバーフレームとアンダーフレームの露出差であり、図５（ｂ）には、当該露出差をＢｖ値に対する制御値を用いて示している。なお、Ｂｖ値に対する制御値とは、測光したシーンのＢｖ値そのものではなく、オーバーフレームおよびアンダーフレームの露出条件を決めるためのＢｖ値である。図５（ｂ）の例では、絞り駆動によるＡｖ値の変化が始まる前の状態では想定の露出差が実現できていることを示している（図５（ｂ）中に示す「ｂ」で表す露出差）。上述したシーンの例では、Ｂｖ値が８（暗いシーン）から１０（明るいシーン）へと変わるシーンであり、ｂ＝２ＥＶとなる。しかし、ＨＤＲ合成に用いられる１組のフレームのうち、１枚目となるオーバー撮像から開始したＡｖ値変動期間の期間中は、オーバーフレームとアンダーフレームの露出差は２ａ＋ｂとなる。本来、オーバーフレームとアンダーフレームの露出差を予め定めた露出差ｂとなるべきであるが、同時にＡｖを制御することによって適正露出自体が変動しているため、誤差露出の２ａが発生する。

制御部２１は、ＨＤＲ合成に用いられるオーバーフレームとアンダーフレームの絞り値をレンズ制御部５１から取得して、実際の露出差を取得する。制御部２１は実際の露出差を取得すると、信号処理部２５によるゲイン修正の処理に利用させるため、当該実際の露出差を信号処理部２５へ出力する。

Ｓ２２において信号処理部２５は、制御部２１から取得した実際の露出差に基づいて、画像信号に対してゲイン修正を行うための現像パラメータを生成する。なお、本実施形態における現像パラメータは後述するホワイトバランス係数である。

ゲイン修正においてはオーバーフレームかアンダーフレームのいずれかを基準にする必要があるが、本実施形態ではアンダーフレームを基準にオーバーフレームのゲインを修正する。図５（ａ）および図５（ｂ）に示した例では、Ａｖ値の変動が小絞りの（絞り径が小さくなる）方向であって、Ａｖ値の制御開始フレームがオーバーフレームであるため、アンダー露出が想定よりも大きくなる。このため、Ａｖ値の制御中の誤差露出は、上述した通り２ａ分となる。よってゲインを修正する方向はゲインアップとなり、即ち誤差露出の影響を低下させるものとなる。ゲイン修正はデジタルゲインにより実現し、図６に示すホワイトバランス部８０２で生成されたホワイトバランス係数をかけることによって反映する。ホワイトバランス係数は、ホワイトバランス係数修正部８０９においてオーバーとアンダーのＢｖ値に対する制御値を取得し、ホワイトバランス係数８０７を修正することで生成される。以下に、ホワイトバランス係数８０７を修正する例を示す。

ここでＷＢＣｏｅｆｘ（ｘ＝Ｒ、Ｇ１、Ｇ２、Ｂ）は、修正前のホワイトバランス係数であり、Ｂｖ_tは、各フレームにおけるＢｖ値、ｂは図５（ｂ）に示す目標値である露出差である。修正前のホワイトバランス係数については、「太陽光」や「くもり」など予めカメラにプリセットされている場合は各々設定されているホワイトバランス係数を用いる。オートホワイトバランスに設定されている場合は、例えば画像信号から白っぽい領域を検出してその領域の平均Ｒ、Ｇ、Ｂのバランスを整えるような公知のホワイトバランス係数を算出する方法を用いて行うことができる。

Ｓ２３において、信号処理部２５は現像処理を行う。即ち、修正されたホワイトバランス係数を用いてホワイトバランスを含むオーバー現像を行う。ここで、画像信号に対する現像処理の詳細について、図６を参照して説明する。各機能ブロックの処理は、オーバーフレームとアンダーフレームのそれぞれで取得された画像信号に対して行われる。

被写体像は、結像光学系（レンズ）によって撮像素子１０の撮像素子上に結像されて光電変換される。撮像素子１０は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子である。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタは画素ごとに空間的に配列され、各画素は各々単一の色プレーンにおける光の強度を得ることしかできない。このため撮像素子からは色モザイク画像が出力される（８０１および８１０）。ホワイトバランス部８０２では、白くあるべき領域のＲ、Ｇ、Ｂ値が同じ信号値になるようなゲインをＲ、Ｇ、Ｂ各画素値にかける。色補間部８０３では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部８０４およびガンマ変換部８０５を経て基本的なカラー画像が生成される。

ハイダイナミックレンジ合成に先だって、異なる露出で撮影したオーバーフレームとアンダーフレームの各々の輝度レベルを揃えておく必要がある。ガンマ変換部８０５において適用されるゲインは、白飛びや黒潰れをしないように設定する必要があるため一律なゲインではなくガンマ曲線を用いて行う。これらのガンマ曲線の設計に関しては、例えば２ＥＶの露出差によるゲイン、即ちアンダーに対して２倍のゲインやオーバーに対して１／２のゲインをかけたときに、ガンマ曲線と特性が同じになるように設計する。こうすることで、輝度域に応じて複数枚の画像を切り換えた際に、境界を滑らかにすることができる。色輝度調整部８０６で画像の見栄えを改善するための処理がカラー画像に対し行われ、例えば、彩度強調、色相補正、エッジ強調といった画像補正が行われる。色輝度調整部８０６による処理が終わると現像処理が完了する。

静止画のＨＤＲ合成の場合は、さらに、合成前に一方の画像を他方を基準として、手振れ等により生じた動きに対して空間的な位置合わせがなされることが一般的である。しかし、動画ＨＤＲ合成の場合は、オーバーとアンダーの撮影間隔が静止画撮影と比較して格段に短く、位置合わせを行うとフレームレートが低下したような描写になること、処理の計算量などの理由により位置合わせ処理を行わなくてもよい。信号処理部２５は、オーバー現像の処理を完了するとＳ２４に処理を進める。

Ｓ２４において撮像素子１０は、アンダーフレームにおいて、アンダー露出を設定して撮像（アンダー撮像）を行なう。そして、Ｓ２５において信号処理部２５は、得られた画像信号に対する現像パラメータの生成と現像処理を行う。但し、本実施形態では、ゲイン修正はオーバー撮像された画像信号にのみ適用されるため、アンダー撮像された画像信号に対する現像パラメータの修正は行わない。

さらにＳ２６において信号処理部２５は、オーバーフレームとアンダーフレームのそれぞれの画像信号に対する現像処理が完了すると、それぞれオーバー現像画像およびアンダー現像画像を用いて、ＨＤＲ合成部８１６にてＨＤＲ合成処理を行う。

ＨＤＲ合成処理について図７を参照して説明する。横軸は基準輝度を、縦軸は各画像を加算合成する際の合成比率を表す。合成する際の基準輝度の閾値Ｙ１より暗い領域はオーバー現像画像のみを使用し、基準輝度の閾値Ｙ２より明るい領域ではアンダー現像画像のみを用いる。また、基準輝度の閾値付近の境界Ｙ１〜Ｙ２の中間領域では、合成比率を徐々に変化させることで画像の切り替えを滑らかにすることができる。基準輝度として用いるのは、本実施形態ではアンダーフレームとなる。以上の処理により信号処理部は、ＨＤＲ画像を生成して生成したＨＤＲ画像をメモリ２８に格納する。

Ｓ２７において制御部２１は、操作部２３を介してＲＥＣ釦等の押下による撮像終了の指示があったかを判定する。撮像終了の指示がないと判定した場合は、再び処理をＳ１４に戻してＳ１４〜Ｓ２６までの処理を繰り返す。一方、撮像終了の指示があったと判定した場合は、生成したＨＤＲ動画を圧縮するためにＳ２８に処理を進める。

Ｓ２８において信号処理部は、メモリに格納していたＨＤＲ動画を所定の形式で圧縮したうえで、Ｓ２９においてメモリなどの記憶部２６に記録して一連の動作を終了する。

上述した本実施形態の処理について図８に示すシーケンス図を参照して各処理のタイミング等を説明する。なお、ｔ〜ｔ＋３フレームは、動画記録中のある一区間に着目していることを示している。このため、動画記録の開始直後に行われる初期化処理等の説明は省略している。また、当区間中は、Ａｖ値がある目標値に向かって変動している。

ｔフレームの開始前であるｔ−１フレームにおいて、レンズ２は、制御部２１の指示に応じて所定のＡｖ値へと制御し（１００６）、そのＡｖ値をオーバー撮像用のＡｖ値として記憶部２６が記憶する（１００７）。

ｔフレームにおいて撮像素子１０ではオーバー撮像を開始する（１００８）。信号処理部２５は、オーバー撮像により得られた画像信号（オーバー画像信号）を読み出して、記憶部２６に格納する（１００９）。オーバー撮像が終了すると、レンズ２はｔ＋１フレーム用に絞り制御を行ったのち（１０１０）、記憶部２６がアンダー撮像用のＡｖ値を記憶する。記憶部２６は、オーバー撮像用のＡｖ値とアンダー撮像用Ａｖ値を出力（１０１１）し、信号処理部２５はこれらのＡｖ値を用いてホワイトバランスゲインの修正を行う（１０１２）。信号処理部２５は、ホワイトバランスゲインの修正が終わるとオーバー現像を行って現像画像を記憶部２６に格納する（１０１３）。

ｔ＋１フレームの開始タイミングに入ると、撮像素子１０は別途アンダー撮像を開始する（１０１４）。信号処理部２５は、アンダー撮像によって得られた画像（アンダー画像信号）を読み出して記憶部２６に格納する（１０１５）。信号処理部２５は撮像後速やかにアンダー現像を開始する（１０１６）。また、ｔ−１フレームと同様にレンズ２は、制御部２１の指示に応じてオーバー撮像用に絞り制御を行い（１０１７）、記憶部２６がそのオーバー撮像用Ａｖ値を記憶する（１０１８）。

ｔ＋２フレーム開始のタイミングになると、ｔフレームと同様に、撮像素子１０がオーバーフレームの撮像を開始する（１０１９）。信号処理部２５は、同時に現像後のオーバー現像画像とアンダー現像画像を用いてＨＤＲ合成を行い（１０２０）、生成した画像を記憶部２６に記憶させる（１０２２）。以降は、再び１０６０からの処理を撮像終了まで繰り返す。

なお、本実施形態では、オーバーフレームとアンダーフレームの２枚の画像信号を用いる例を説明したが、３枚以上のフレームを繰り返し取得する場合についても適用可能である。例えば３枚のフレームの露出を段階的に変化させている場合、３枚のフレームで生じる露出差をフレーム枚数で平滑化して、平滑化した露出差から得られるゲイン修正を基準となるフレーム以外の画像信号に対して適用すればよい。また、連続するフレーム間で露出差があればよいので、例えば、オーバーフレームとアンダーフレームの代わりに、適正フレームとアンダーフレーム、オーバーフレームと適正フレーム、などであってもよい。

以上説明したように本実施形態では、自動露出の制御によって絞り値が変化することにより適正露出が変化する場合であっても、オーバーフレームとアンダーフレームの絞り値に基づいて実際の露出差を取得するようにした。そして取得した実際の露出差に基づいてデジタルゲインでゲイン修正を行った画像をＨＤＲ合成するようにした。このようにすることで、動画ＨＤＲ撮影において自動露出制御を行う場合に、生成画像の階調の連続性を向上させることが可能になる。即ち、オーバーフレームとアンダーフレームの露出差を想定通りに制御することが可能となり、ＨＤＲ合成された画像においてトーンジャンプなどの画質劣化を抑えることができる。

（実施形態２）
次に実施形態２について説明する。実施形態１では、ホワイトバランスのデジタルゲインを用いて画像信号にゲイン修正を行った。これに対して、本実施形態では、ガンマ特性を用いて画像信号にゲイン修正を行なう。また、実施形態１ではＡｖ値の変動が開始するフレームがＨＤＲ合成に用いるオーバーフレームとアンダーフレームのうち１枚目である場合を例に説明したが、本実施形態では、Ａｖ値の変動が２枚目のフレームから開始する例を説明する。なお、本実施形態のデジタルカメラ１００の構成は実施形態１と同一でよい。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

まず、本実施形態における動画ＨＤＲ撮影に係る一連の動作を、図１５を参照して説明する。なお、図２と共通する処理については共通の参照番号を付して説明を省略する。

Ｓ１５０において制御部２１は、実際の露出差を取得する。なお、本実施形態では、例えば、設定している露出条件がＢｖ１０で設定されたものであり、取得した輝度がＢｖ８であるとする。この場合、図４に示すプログラム線図上では、絞り値が５．６から２．８へ２ＥＶ変化している。即ち、明るいシーンから暗いシーンへとシーンが変化するため、絞りは絞り値が小さくなる側（絞り径が大きくなる側）へと変動していく。図９（ａ）は、この場合のＡｖ値と、Ｂｖ値に対する制御値の変動を示している。Ｂｖ値が低下した後にＡｖ値の変動が開始されている。Ａｖ値の変動が開始するフレームがＨＤＲ合成に用いられるフレームの組の２枚目つまり、アンダーフレームとなっている。そのため、オーバーフレームとアンダーフレームの露出誤差がＡｖ値の変動開始直後および終了直前と変動中とで異なってくる。Ａｖ値の変動開始ではオーバーフレームが、終了直前ではアンダーフレームがそれぞれ想定通りの露出となり、フレームの組のもう一方のフレームがＡｖ値の変動分を含むケースである。この場合の露出差は、図９（ｂ）のようになる。なお、想定の露出差は実施形態１と同様にｂである。

そして、制御部２１は実際の露出差を取得する。実施形態１ではレンズ２との通信により実際の露出を取得する例を示したが、本実施形態では実際の露出差を推定により取得する。これは、ハード上の制約などで必ずしもレンズ通信による絞り値の取得が困難な場合やレンズとの通信に遅延が生じる場合、処理の高速化を図る場合等に有効である。露出差の推定方法について図１０を参照して説明する。制御部２１は、Ｓ１４において算出した適正露出条件に加えて、何フレームかけて露出を変動させていくかの情報を用いて、所定のタイミングｉにおけるＢｖ値に対する制御値（Ｂｖ_i）を以下の式を用いて算出する。そして、制御部２１は算出したＢｖ値に対する制御値と上述したＡｖ値変動中のフレームにおける露出誤差とを用いて露出差を求める。

Ｓ１５１において信号処理部２５は、推定演算により推定した実際の露出に基づいてゲイン修正を行うための現像パラメータを生成する。ゲイン修正においてはオーバーフレームかアンダーフレームのいずれかが基準フレームとする必要があるが、本実施形態ではオーバーフレームを基準にアンダーフレームのゲインを修正することを考える。本実施形態では、Ａｖ値の変動が開放絞りの方向であり、Ａｖ値の制御開始フレームがＨＤＲ合成フレームに用いる１組のフレームの２枚目となるため、アンダー露出が想定よりも小さくなりＡｖ値の制御中の露出誤差は上述の通りａもしくは２ａ分となる。よって、ゲインを修正する方向はゲインアップとなる。本実施形態におけるゲインアップはガンマ特性を用いたガンマ変換により実現し、図１１に示すガンマ変換部８０５が修正されたガンマテーブルを用いてガンマ変換することによって反映する。ガンマテーブルによるゲイン調整を行うことで、より柔軟に階調特性を制御した現像画像を生成できる。

ガンマテーブルの修正は、ガンマテーブル修正部１３１０においてガンマテーブル１３０７を修正することによって行う。ガンマテーブル修正部１３１０は、ガンマテーブル１３０７を修正するために必要なオーバーとアンダーのＢｖ値に対する制御値を、制御Ｂｖ値推定部１３０９より取得する。また制御Ｂｖ値推定部１３０９は、この推定に必要な撮影情報１３０８として、Ａｖ変動開始フレーム、Ａｖ変動終了フレーム、Ａｖ制御フレーム数、処理対象のフレームナンバーを取得する。

ガンマテーブル修正部１３１０におけるガンマテーブルの具体的な修正方法について、図１２を参照して説明する。図１２に示すグラフにおいて横軸はガンマ変換への入力信号値であるがＬｏｇスケール表示されており点線で刻まれる１刻みは１段分を示している。また実線の縦線で示されるポイントは適正露出を示している。縦軸はガンマ変換の出力信号値を示している。実線のガンマテーブルはアンダーフレーム用の変換特性を、一点鎖線のガンマテーブルはオーバーフレーム用の変換特性をそれぞれ示している。この図ではアンダーフレームとオーバーフレームはおおむね３段分の露出差がある。二点鎖線のガンマテーブルは修正後のガンマテーブルを示しており、これは元の実線の変換特性を水平方向にシフトすることで得られるガンマテーブルである。矢印で示されるシフト量は先述したａまたは２ａとして求めればよい。そして、Ｓ２３において信号処理部２５は、修正されたガンマテーブルを用いて現像処理を行う。

以上の実施形態２に係る処理について、シーケンス図を図１３に示す。本実施形態では、Ｂｖ値に対する制御値を推測するため、ｔフレームにおいてアンダーフレーム用のＢｖ値に対する制御値を推定して記憶部２６に格納する（１６０１）。そして、アンダーフレーム用のゲイン即ちガンマテーブルを修正するため、ｔ＋１フレームにおいて、アンダーフレームの現像前にゲイン値（ガンマテーブル）の修正を行い（１６０２）、アンダー現像を行う（１０１６）。

なお、本実施形態ではガンマテーブルを修正してゲイン修正を行うようにしたが、必ずしもガンマテーブルでなくてもよく、所定の階調補正特性を有する補正用のテーブルであれば同様の動画ＨＤＲ撮影が実現できる。

以上説明したように、本実施形態では、露出差を用いてゲイン修正を行う際に、露出差を用いてガンマテーブルを修正し当該ガンマテーブルを用いてゲイン修正を行うようにした。このようにすることで、動画ＨＤＲ撮影において自動露出制御を行う場合に、より柔軟に階調特性を制御した現像画像を生成して合成画像の階調の連続性を向上させることが可能になる。また、実際の露出差については、露出を複数フレームにわたって変更する制御情報に基づいて実際の露出差を推定するようにした。レンズとの通信に遅延が生じる場合や処理の高速化を図ることができる。

（実施形態２の変形例）
さらに実施形態２の変形例について説明する。実施形態１および実施形態２では、共に修正ゲインについてゲインアップする例について説明した。本変形例では、ガンマ変換によって修正ゲインについてゲインダウンする場合について説明する。本変形例では、修正ゲインの適用において、特に高輝度領域の飽和値が変わらないようにするための修正ゲインの適用を新たに行う。

本変形例において想定している状況は、実施形態１同様に、あるタイミングで設定している露出条件がＢｖ８に設定されたものであり、その際に取得した輝度がＢｖ１０の場合である。この場合、図４に示すプログラム線図上では絞りが２．８から５．６へ２ＥＶ変化し、絞り値Ａｖが２ＥＶ変化している。即ち、暗いシーンから明るいシーンへとシーンが変化して、絞りは値が大きくなる側、小絞り側（絞り径が小さくなる側）へと変動していく。Ａｖ値とＢｖ値に対する制御値の変動の様子は図５（ａ）に示す通りであり、この場合の露出差は実施形態１で示した通り２ａ＋ｂである。

上述したように、この露出差を低下させるためにゲイン修正を行う。ゲイン修正においてはオーバーフレームかアンダーフレームのいずれかが基準フレームとする必要があるが本変形例ではオーバーフレームを基準にアンダーフレームのゲインを修正することを考える。本変形例では、Ａｖ値の変動が小絞りの（絞り径が小さくなる）の方向であり、Ａｖ値の制御開始フレームがオーバーフレームとなるため、アンダー露出が想定よりも大きくなる。このためＡｖ値の制御中の露出誤差は、実施形態１において上述した通り２ａ分となる。そしてゲインを修正する方向はゲインダウンとなる。ゲインダウンのゲイン修正は、実施形態２と同様にガンマ変換を用いて行う。対象フレームのＢｖに対する制御値は、実施形態１のようにレンズ通信を介して取得してもよいし、実施形態２のように撮影情報から推定してもよい。

ガンマテーブルの具体的な修正方法を図１４を参照して説明する。図１４に示す二点鎖線のガンマテーブルは、修正後のガンマテーブルである。このガンマテーブルは、実線のガンマテーブルを水平方向に露出誤差２ａ分シフトすることで求められる。しかし、そのままシフトしただけでは、高輝度部は飽和が出なくなってしまう。そこで、基本的には元のガンマテーブルを水平方向にシフトしつつ、高輝度部は元のガンマテーブルに近づくようにテーブルを調整する。例えば、図１４に示す白丸の輝度値から高輝度領域は、アンダーフレームが使用される輝度域であるため、当該領域で調整すればよい。図１４に示す白丸の輝度値は、図７で示したＹ２に相当する輝度値である。

以上説明したように、本変形例では、ゲインダウンするゲイン修正を行う場合に、飽和を維持するようにガンマテーブルの調整を行なうようにした。このようにすることで、自動露出調整に対してゲインダウンのゲイン修正を行う場合に、高輝度部の飽和を維持させたゲイン修正ができるようになる。

なお、上述の実施形態および変形例では、自動露出の制御中にＢｖ値が１度しか変わらないシーンのみを例示したが、Ｂｖ値が連続的に上下に変化するシーンにも適用できる。そのようなシーンであっても、それぞれの変化に対して本実施形態で説明したゲインアップとゲインダウンによるゲイン修正の組み合わせで対応できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０…撮像素子、２５…信号処理部、２１…制御部、５１…レンズ制御部、５４…絞り駆動部、８０５…ガンマ変換部、８０９…ホワイトバランス係数補正部、８１６…ＨＤＲ合成部、１３０９…制御Ｂｖ値推定部、１３１０…ガンマテーブル修正部

Claims (10)

1. 撮像手段と、
   所定のフレームレートで露出の異なる画像を繰り返し撮像するように前記撮像手段を制御する撮像制御手段と、
   前記撮像手段に入射させる光量を調節する露出制御手段と、
   前記撮像手段による撮像中に前記露出制御手段により前記光量が調節され、前記露出の異なる画像の露出差が所定の値から変動した場合、前記露出制御手段により調節された露出で撮像されたフレームの画像を該変動した露出差に基づいて補正する補正手段と、
   前記補正手段により補正されたフレームの画像を含む複数のフレームの画像を合成する合成手段と、を有することを特徴とする撮像装置。
2. 前記補正手段は、前記露出制御手段の前記光量の調節により生じた前記露出差の変動を補正するような補正値を算出し、前記補正値を用いて前記光量の調節後に撮像されたフレームの画像を補正することを特徴とする請求項１に記載の撮像装置。
3. 前記補正値は、階調特性に関する値であることを特徴とする請求項２に記載の撮像装置。
4. 前記補正値は、ガンマ特性またはホワイトバランスの制御に関する値であることを特徴とする請求項２または３に記載の撮像装置。
5. 前記補正手段は、前記露出制御手段による光量の調節後の露出条件に対応する設定値から前記補正値を算出することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記補正手段は、前記露出制御手段による光量の調節後の露出条件に対応する設定値を推定演算することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
7. 前記露出制御手段は、前記光量の調節を行う必要があるか否かを、前記光量と適正露出との差に基づいて判定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記露出の異なる画像は、適正露出に対してオーバー露出で撮像したオーバー画像と、前記適正露出に対してアンダー露出で撮像したアンダー画像であり、
   前記補正手段により補正されるフレームの画像は、前記オーバー画像および前記アンダー画像の少なくともいずれかを含むことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像手段が撮像する撮像工程と、
   撮像制御手段が、所定のフレームレートで露出の異なる画像を繰り返し撮像するように前記撮像手段を制御する撮像制御工程と、
   露出制御手段が、前記撮像手段に入射させる光量を調節する露出制御工程と、
   補正手段が、前記撮像手段による撮像中に前記露出制御手段により前記光量が調節され、前記露出の異なる画像の露出差が所定の値から変動した場合、前記露出制御手段により調節された露出で撮像されたフレームの画像を該変動した露出差に基づいて補正する補正工程と、
   合成手段が、前記補正手段により補正されたフレームの画像を含む複数のフレームの画像を合成する合成工程と、を有することを特徴とする撮像装置の制御方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images