JP2017112457A - 撮像装置、撮像プログラム、撮像方法 - Google Patents

Abstract

【課題】フレーム期間よりも長い任意の露光時間の画像を、フレームレートを低下させることなく取得することができる撮像装置等を提供する。
【解決手段】適正露光時間がフレーム期間よりも長いときに、合計時間が適正露光時間となるように、フレーム期間以下の長露光時間を１つ以上と、短露光時間とを設定するマイクロコンピュータ５０と、長露光画像と短露光画像とをフレーム期間毎に出力する撮像素子２２と、短露光画像と１フレーム以上の長露光画像とを加算して適正露光時間の合成画像を生成する累積加算処理部３１と、を備える撮像装置。
【選択図】図１

Description

本発明は、フレーム期間よりも長い適正露光時間の画像を合成して取得する撮像装置、撮像プログラム、撮像方法に関する。

近年、撮像素子の高速化が進んでおり、画素数を維持しつつ高速なフレームレートで撮影ができるようになってきている。そして高速なフレームレートにより、動画／ライブビューにおける被写体の動きが滑らかになり、連写コマ数が増えるメリットが生じている。ただし、フレームレートが高速になると１フレームの露光時間が短くなるために、フレーム期間よりも長い露光時間を確保しようとすると、フレームレートを下げざるを得ない。例えば、６０ｆｐｓのフレームレートで動画像を撮影しているときに、適正露光時間が１／６０秒よりも長くなると、フレームレートを例えば３０ｆｐｓに落とさざるを得ない、等である。このために、フレームレートの高速化と露光時間の確保との両立が求められている。

ところで、近年のカメラでは、長時間露光画像（以下では適宜、長露光画像と省略する）と短時間露光画像（以下では適宜、短露光画像と省略する）とを合成して、ダイナミックレンジの広い画像（ＨＤＲ画像）を生成する機能が搭載されたものがあり、こうしたＨＤＲ処理は、静止画だけでなく動画やライブビューにおいても行われるようになってきている。

長露光画像と短露光画像とは、フレーム毎に交互に取得する方法以外に、１回の露光期間内に長露光画像と短露光画像とを同時に取得する方法があり、後者の方法を実施できる機能を備えた撮像素子（ＨＤＲセンサとも呼ばれる）が近年提案されている。

具体的に、ＨＤＲセンサと呼ばれる撮像素子は、ライン毎あるいは画素毎に露光時間を異ならせることで、例えば偶数ラインから長露光画像を取得し、奇数ラインから短露光画像を取得する、等を行っている。しかし、この撮像方法では、取得される長露光画像および短露光画像の解像度が通常の画像の解像度よりも低くなり、結果的に得られるＨＤＲ画像の解像度も低くなってしまう。

そこで、例えば特開２０１５−１２４９０号公報には、長時間露光を行うラインと短時間露光を行うラインとをフレーム毎に入れ替えることで、解像度およびフレームレートを低下させることなくＨＤＲ画像を生成する技術が記載されている。

一方、例えば特開２００７−２８１５４８号公報には、１フレームを短い時間間隔に分割して時分割画像を取得し、例えば連続する任意枚数の時分割画像を合成することにより、フレームレートを低下させることなく所望の露光時間の画像を生成する技術が記載されている。

特開２０１５−１２４９０号公報 特開２００７−２８１５４８号公報

しかしながら、特開２０１５−１２４９０号公報に記載されているのは、単に、フレームレートを低下させることなくＨＤＲ画像を取得する技術であり、長露光画像の露光期間はフレーム期間が上限となっている。従って、該公報には、フレーム期間よりも長い露光時間の画像をフレームレートを低下させることなく取得することについては何等記載されていない。

また、特開２００７−２８１５４８号公報に記載の技術では、連続する任意枚数の時分割画像を合成することにより、フレーム期間よりも長い露光時間の画像を合成することができるが、合成画像の露光時間は分割時間を最小単位とするために、細かな露出制御を行うことができず、任意の露光時間の画像を得ることができなかった。

こうして、上記従来技術では、フレーム期間よりも長い任意の露光時間の画像を、フレームレートを低下させることなく取得することはできなかった。

本発明は上記事情に鑑みてなされたものであり、フレーム期間よりも長い任意の露光時間の画像を、フレームレートを低下させることなく取得することができる撮像装置、撮像プログラム、撮像方法を提供することを目的としている。

本発明のある態様による撮像装置は、適正露光時間を決定すると共に、前記適正露光時間がフレーム期間よりも長いときに、前記フレーム期間以下の長露光時間と、前記長露光時間よりも短い短露光時間とを、前記短露光時間と１つ以上の前記長露光時間とを合計した時間が前記適正露光時間となるように設定する露出制御部と、前記適正露光時間がフレーム期間よりも長いときに、前記長露光時間で露光した長露光画像と、前記長露光画像の露光期間内に前記短露光時間で露光した短露光画像と、を前記フレーム期間毎に出力する撮像部と、前記適正露光時間がフレーム期間よりも長いときに、１フレームの前記短露光画像と、１フレーム以上の前記長露光画像と、を加算して前記適正露光時間の合成画像を生成する合成部と、を備える。

本発明のある態様による撮像プログラムは、適正露光時間を決定すると共に、前記適正露光時間がフレーム期間よりも長いときに、前記フレーム期間以下の長露光時間と、前記長露光時間よりも短い短露光時間とを、前記短露光時間と１つ以上の前記長露光時間とを合計した時間が前記適正露光時間となるように設定する露出制御ステップと、前記適正露光時間がフレーム期間よりも長いときに、前記長露光時間で露光した長露光画像と、前記長露光画像の露光期間内に前記短露光時間で露光した短露光画像と、を前記フレーム期間毎に出力する撮像ステップと、前記適正露光時間がフレーム期間よりも長いときに、１フレームの前記短露光画像と、１フレーム以上の前記長露光画像と、を加算して前記適正露光時間の合成画像を生成する合成ステップと、をコンピュータに実行させるためのプログラムである。

本発明のある態様による撮像方法は、適正露光時間を決定すると共に、前記適正露光時間がフレーム期間よりも長いときに、前記フレーム期間以下の長露光時間と、前記長露光時間よりも短い短露光時間とを、前記短露光時間と１つ以上の前記長露光時間とを合計した時間が前記適正露光時間となるように設定する露出制御ステップと、前記適正露光時間がフレーム期間よりも長いときに、前記長露光時間で露光した長露光画像と、前記長露光画像の露光期間内に前記短露光時間で露光した短露光画像と、を前記フレーム期間毎に出力する撮像ステップと、前記適正露光時間がフレーム期間よりも長いときに、１フレームの前記短露光画像と、１フレーム以上の前記長露光画像と、を加算して前記適正露光時間の合成画像を生成する合成ステップと、を備える。

本発明の撮像装置、撮像プログラム、撮像方法によれば、フレーム期間よりも長い任意の露光時間の画像を、フレームレートを低下させることなく取得することができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における撮像素子のＨＤＲセンサとしての構成を示す図。 上記実施形態１の撮像装置における１枚撮影の処理を示すフローチャート。 上記実施形態１の図３のステップＳ８における合成なし処理を示すフローチャート。 上記実施形態１の図３のステップＳ９における２枚合成処理を示すフローチャート。 上記実施形態１の図３のステップＳ１０における３枚合成処理を示すフローチャート。 上記実施形態１における合成なし処理を説明するためのタイミングチャート。 上記実施形態１における２枚合成処理を説明するためのタイミングチャート。 上記実施形態１における３枚合成処理を説明するためのタイミングチャート。 上記実施形態１の撮像装置における動画撮影の処理を示すフローチャート。 上記実施形態１の図１０のステップＳ８における合成なし処理を示すフローチャート。 上記実施形態１の図１０のステップＳ９における２枚合成処理を示すフローチャート。 上記実施形態１の図１２のステップＳ５５におけるプレ２枚合成処理を示すフローチャート。 上記実施形態１の図１２のステップＳ５６における通常２枚合成処理を示すフローチャート。 上記実施形態１の図１０のステップＳ１０における３枚合成処理を示すフローチャート。 上記実施形態１の図１５のステップＳ７６における第１プレ３枚合成処理を示すフローチャート。 上記実施形態１の図１５のステップＳ７７における第２プレ３枚合成処理を示すフローチャート。 上記実施形態１の図１５のステップＳ７８における通常３枚合成処理を示すフローチャート。 上記実施形態１における動画撮影の処理を説明するためのタイミングチャート。 上記実施形態１の変形例における撮像装置の構成を示すブロック図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２０は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。なお、本実施形態においては、撮像装置としてデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、撮像機能を備えた装置であれば任意の装置であって構わない。

この撮像装置は、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して相互に通信できるように接続して構成されていて、連写して得られる複数枚の画像データを合成して１枚の合成画像データを生成する機能を有している。

交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。

レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系である。

絞り１２は、レンズ１１から撮像素子２２へ向かう光束の通過範囲を制御する光学絞りである。

ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行う。加えて、ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。

マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、マイクロコンピュータ１５は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ５０と通信し、マイクロコンピュータ５０からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ５０へ送信する。

インタフェース３は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ５０とを、双方向に通信できるように接続する。

次に、カメラ本体２は、メカニカルシャッタ２１と、撮像素子２２と、アナログ処理部２３と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２４と、バス２５と、ＳＤＲＡＭ２６と、ＡＥ処理部２７と、ＡＦ処理部２８と、ＡＷＢ処理部２９と、累積加算処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３８と、ＬＣＤドライバ４１と、ＬＣＤ４２と、ＥＶＦ（電子ビューファインダ：Electronic View Finder）ドライバ４３と、ＥＶＦ４４と、メモリインタフェース（メモリＩ／Ｆ）４５と、記録媒体４６と、操作部４７と、フラッシュメモリ４８と、マイクロコンピュータ５０と、を備えている。

メカニカルシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成の光学シャッタとなっている。このメカニカルシャッタ２１は、静止画撮影時にマイクロコンピュータ５０の指令により駆動されて、撮像素子２２への光束の到達時間、つまり撮像素子２２による被写体の露光時間を制御する。一方、メカニカルシャッタ２１は、動画撮影時あるいはライブビュー時には、開放状態に維持され、各フレーム画像の取得は撮像素子２２のいわゆる電子シャッタにより行われるようになっている。

撮像素子２２は、複数の画素が所定の画素ピッチで２次元状に配列された撮像面を有し、撮像制御部であるマイクロコンピュータ５０の制御に基づき、レンズ１１および絞り１２により結像された被写体の光学像を光電変換してアナログ画像信号を生成する撮像部である。

本実施形態の撮像素子２２は、例えば、原色ベイヤー配列のカラーフィルタを備える単板式の撮像素子として構成されている。ただし、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

さらに、本実施形態の撮像素子２２は、１回の露光で露光時間の異なる複数の画像を取得するいわゆるＨＤＲセンサとして構成されている。そして、撮像素子２２は、適正露光時間ＳＳ（図３等参照）がフレーム期間（後述する垂直同期期間ＴＶＤ）よりも長いときに、長露光時間で露光した長露光画像と、長露光画像の露光期間内に短露光時間で露光した短露光画像と、をフレーム期間毎に出力する。

ここで、図２は、撮像素子２２のＨＤＲセンサとしての構成を示す図である。

原色ベイヤー配列は、公知のように、２×２画素を基本配列として、この基本配列の対角位置にＧ（緑色）フィルタを配置し、残りの対角位置にＲ（赤色）フィルタとＢ（青色）フィルタとをそれぞれ配置した構成となっている。

そこで、撮像素子２２は、基本配列を水平方向に配列した２ライン毎に、長時間露光画像（以下では適宜、長露光画像と省略する）を撮像する画素群でなるＨフィールド２２Ｈと、短時間露光画像（以下では適宜、短露光画像と省略する）を撮像する画素群でなるＬフィールド２２Ｌと、を交互に配置した構成となっている。

ここに、インターレース方式において偶数フィールドと奇数フィールドに分けられているのにならってフィールドと称しているが、インターレース方式とは異なり、ＨＤＲセンサとして構成された本実施形態の撮像素子２２においては、同一フレーム（１つの垂直同期期間ＴＶＤ内）においてＨフィールド２２Ｈの画像とＬフィールド２２Ｌの画像とが読み出される。

そして、Ｈフィールド２２ＨとＬフィールド２２Ｌとで露光開始タイミングと露光終了タイミング（読出タイミング）との少なくとも一方を異ならせることにより、Ｈフィールド２２Ｈにより長露光時間で露光した長露光画像を取得し、Ｌフィールド２２Ｌにより長露光時間よりも短い短露光時間で露光した短露光画像を取得するようになっている。

例えば、垂直同期信号ＶＤ（図７〜図９、図１９等参照）に同期して長露光画像および短露光画像の読み出しを行う場合には、垂直同期信号ＶＤで示される読出時刻から長露光画像の露光時間だけ遡った時点で長露光画像の露光を開始し、読出時刻から短露光画像の露光時間だけ遡った時点で短露光画像の露光を開始すれば良い。

なお、図２には２ライン毎にフィールドを分ける構成例を示したが、２列毎にフィールドを分けても良いし、２×２画素の基本配列単位でフィールドを分けても構わない。また、ベイヤー配列でない場合には、１ライン毎、１列毎、１画素毎等でフィールドを分けても良い。従って、露光時間が異なるフィールドの分け方は、限定されるものではない。

アナログ処理部２３は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部２４は、アナログ処理部２３から出力されたアナログ画像信号をデジタル画像信号（適宜、画像データという）に変換する。

バス２５は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス２５は、Ａ／Ｄ変換部２４と、ＳＤＲＡＭ２６と、ＡＥ処理部２７と、ＡＦ処理部２８と、ＡＷＢ処理部２９と、累積加算処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３８と、ＬＣＤドライバ４１と、ＥＶＦドライバ４３と、メモリＩ／Ｆ４５と、マイクロコンピュータ５０と、に接続されている。

Ａ／Ｄ変換部２４から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス２５を介して転送され、ＳＤＲＡＭ２６に一旦記憶される。

ＳＤＲＡＭ２６は、上述したＲＡＷ画像データ、あるいは累積加算処理部３１、画像処理部３２、ＪＰＥＧ処理部３８等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

このＳＤＲＡＭ２６は、短露光画像と長露光画像との少なくとも一方を一時的に保持する記憶部ともなっている。ここに、ＳＤＲＡＭ２６に記憶する必要があるのは時間的に先行するフレームの画像であるために、先に短露光画像を取得した後に１つ以上の長露光画像を連続して取得する場合と、先に１つ以上の長露光画像を連続した取得した後に短露光画像を取得する場合とでは、記憶する必要がある画像が同一でない。従って、ＳＤＲＡＭ２６が一時的に保持する画像を、「短露光画像と長露光画像との少なくとも一方」と記載している。

ＡＥ処理部２７は、ＲＡＷ画像データから輝度成分を抽出し、抽出した輝度成分に基づき適正露光条件（Ｔｖ，Ａｖ，Ｓｖ等）を算出する。ここで算出された適正露光条件は、自動露出（ＡＥ）制御に用いられ、具体的には、Ａｖ値に基づく絞り１２の制御、Ｔｖ値に基づくメカニカルシャッタ２１の制御、あるいはＴｖ値に基づく撮像素子２２の露光タイミング制御（いわゆる電子シャッタの制御）、Ｓｖ値に基づくアナログ処理部２３のゲイン制御（あるいは画像処理部３２のデジタルゲイン制御）等が行われる。

ＡＦ処理部２８は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うように構成しても構わない。

ＡＷＢ処理部２９は、ＲＡＷ画像データに基づき、被写体のカラーバランスを検出して、ＲＧＢ各成分に対するゲインをそれぞれ算出し、算出したゲインを乗算することでホワイトバランスを調整するオートホワイトバランス処理を行う。

累積加算処理部３１は、適正露光時間ＳＳ（図３等参照）がフレーム期間（後述する垂直同期期間ＴＶＤ）よりも長いときに、１フレームの短露光画像と、１フレーム以上の長露光画像と、を加算して適正露光時間ＳＳの合成画像を生成する合成部である。

後述するように、露出制御部として機能するマイクロコンピュータ５０は、フレーム期間を長露光時間に設定し、適正露光時間ＳＳを長露光時間で割ったときの商をフレーム数に設定して、フレーム数だけ連続するフレームに対して長露光時間を設定すると共に、適正露光時間ＳＳを長露光時間で割ったときの剰余を短露光時間に設定する。そこで、累積加算処理部３１は、商として算出されたフレーム数だけ連続するフレームの長露光画像と、剰余の露光時間の１つの短露光画像とを、各画素位置毎に画素値を累積加算することにより合成する。これにより、合成画像は、適正露光時間ＳＳだけ連続して露光した画像に相当する画像となる。

画像処理部３２は、ＲＡＷ画像データ、あるいは累積加算処理部３１によりＲＡＷ画像データから生成された合成画像データに対して種々の画像処理を行うものであり、ＷＢ補正部３３、同時化処理部３４、色再現処理部３５、およびＮＲ処理部３６を含んでいる。

ＷＢ補正部３３は、白色の被写体が白色として観察されるように、画像データに対してホワイトバランス処理を行う。

同時化処理部３４は、１画素につきＲＧＢ成分の内の１色成分のみが存在するＲＧＢベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補完して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換するデモザイキング処理を行う。

色再現処理部３５は、画像データにカラーマトリクス演算を行うことにより、被写体の色をより忠実に再現する処理を行う。

ＮＲ処理部３６は、画像データに空間周波数に応じたコアリング処理などを行うことによりノイズ低減処理を行う。

こうして画像処理部３２によって各種の処理が行われた後の画像データは、ＳＤＲＡＭ２６に再び記憶される。

ＪＰＥＧ処理部３８は、画像データを記録する際には、ＳＤＲＡＭ２６から画像データを読み出してＪＰＥＧ圧縮方式に従って圧縮してＪＰＥＧ画像データを生成し、ＳＤＲＡＭ２６に記憶させる。このＳＤＲＡＭ２６に記憶されたＪＰＥＧ画像データは、マイクロコンピュータ５０によりヘッダ等を付加されて、メモリＩ／Ｆ４５を介して記録媒体４６にＪＰＥＧファイルとして記録される。

また、ＪＰＥＧ処理部３８は、圧縮画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ５０の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ４５を介して記録媒体４６から読み出され、ＳＤＲＡＭ２６に一旦記憶される。ＪＰＥＧ処理部３８は、ＳＤＲＡＭ２６に記憶されたＪＰＥＧファイル中のＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ２６に記憶させる。

さらに、ＪＰＥＧ処理部３８は、動画像データについても、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧなどの適宜の処理方式で圧縮伸張を行う。なお、ここではＪＰＥＧ処理部３８が動画像データの圧縮伸張部を兼ねる構成としたが、ＪＰＥＧ処理部３８とは別途に、動画像データ専用の圧縮伸張部を設けても構わない。

ＬＣＤドライバ４１は、ＳＤＲＡＭ２６に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ４２を駆動制御して映像信号に基づく画像をＬＣＤ４２に表示させる。

ＬＣＤ４２は、上述したようなＬＣＤドライバ４１の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。

ＥＶＦドライバ４３は、ＳＤＲＡＭ２６に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＥＶＦ４４を駆動制御して映像信号に基づく画像をＥＶＦ４４に表示させる。

ＥＶＦ４４は、上述したようなＥＶＦドライバ４３の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。

ここに、ＬＣＤ４２またはＥＶＦ４４において行われる画像表示には、撮影直後の静止画像データを短時間だけ表示するレックビュー表示、記録媒体４６に記録されたＪＰＥＧファイルの再生表示、記録媒体４６に記録された動画像ファイルの再生表示、およびライブビュー表示などがある。

メモリＩ／Ｆ４５は、記録媒体４６へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体４６からの画像データの読み出しも行う。

記録媒体４６は、画像データを不揮発に記憶する記録部であり、例えばカメラ本体２に着脱できるメモリカード等により構成されている。ただし、記録媒体４６は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。従って、記録媒体４６は、撮像装置に固有の構成である必要はない。

操作部４７は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（単写撮影モード、連写撮影モード、動画撮影モード等）、記録モード、再生モードなどが含まれている。この操作部４７に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ５０へ出力される。

フラッシュメモリ４８は、マイクロコンピュータ５０により実行される処理プログラム（撮像装置により撮像方法を実行するためのプログラムである撮像プログラムを含む）と、この撮像装置に係る各種の情報と、を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４８が記憶する情報としては、例えば、撮像装置を特定するための機種名や製造番号、画像処理に用いるパラメータ、ユーザにより設定された設定値、垂直同期期間ＴＶＤなどが幾つかの例として挙げられる。このフラッシュメモリ４８が記憶する情報は、マイクロコンピュータ５０により読み取られる。

マイクロコンピュータ５０は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、この撮像装置を統括的に制御する制御部である。マイクロコンピュータ５０は、ユーザにより操作部４７から操作入力が行われると、フラッシュメモリ４８に記憶されている処理プログラムに従って、フラッシュメモリ４８から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

さらに、マイクロコンピュータ５０は、ＡＥ処理部２７により算出されたＴｖ値に基づいて、適正露光時間ＳＳを決定すると共に、適正露光時間ＳＳがフレーム期間（後述する垂直同期期間ＴＶＤ）よりも長いときに、フレーム期間以下の長露光時間と、長露光時間よりも短い短露光時間とを、短露光時間と１つ以上の長露光時間とを合計した時間が適正露光時間ＳＳとなるように設定する露出制御部として機能する。

具体的に、マイクロコンピュータ５０は、フレーム期間である垂直同期期間ＴＶＤを長露光時間に設定し、適正露光時間ＳＳを長露光時間で割ったときの剰余を短露光時間に設定する。そして、マイクロコンピュータ５０は、適正露光時間ＳＳを長露光時間で割ったときの商をフレーム数に設定して、フレーム数だけ連続するフレームに対して長露光時間を設定する。さらに、マイクロコンピュータ５０は、フレーム数だけ連続するフレームの最初のフレームの前のフレーム、またはフレーム数だけ連続するフレームの最後のフレームの後のフレームに、短露光時間を設定する。

なお、長露光時間をフレーム期間である垂直同期期間ＴＶＤよりも短い時間に設定することもできるが、合成して得られる画像が適正露光時間ＳＳだけ連続して露光した画像とならず、フレーム期間毎に露光していない期間が生じた画像になってしまうこと、および合計の露光時間を適正露光時間ＳＳにするためのフレーム数が増加してしまう場合もあることなどから、長露光時間はフレーム期間である垂直同期期間ＴＶＤと等しいことが好ましい。

また、マイクロコンピュータ５０は、ＡＥ処理部２７により算出されたＡｖ値に基づく絞り１２の制御をマイクロコンピュータ１５およびドライバ１３を介して行うと共に、ＡＥ処理部２７により算出されたＳｖ値に基づくアナログ処理部２３のゲイン制御（あるいは画像処理部３２のデジタルゲイン制御）も行う。

さらに、マイクロコンピュータ５０は、静止画撮影時には、ＡＥ処理部２７により算出されたＴｖ値に基づくメカニカルシャッタ２１の制御を行う。

次に、図３は、撮像装置における１枚撮影の処理を示すフローチャートである。この処理（および、以下の各フローチャートに示す処理）は、制御部であるマイクロコンピュータ５０の制御に基づき行われる。

なお、ここで説明する１枚撮影の処理は、メカニカルシャッタ２１を開閉して静止画像を１枚撮影する単写撮影モードの処理ではなく、メカニカルシャッタ２１を開放状態にしたままで、一定周期の垂直同期信号ＶＤ（図７〜図９、図１９等参照）に従って１枚の画像を取得するときの処理である（ただし、図７〜図９には、１枚撮影の処理を垂直同期期間ＴＶＤ毎に繰り返して行う例を図示している）。

電源ボタンにより撮像装置の電源がオンされて図示しないメインルーチンの処理を行っているときに、この処理が実行されると、まず、初期設定を行う（ステップＳ１）。この初期設定では、例えば、メカニカルシャッタ２１がもし閉じられているときには、開放状態にするなどの処理が行われる。

次に、マイクロコンピュータ５０は、例えばフラッシュメモリ４８から、予め定められている垂直同期信号ＶＤの周期、つまりフレーム期間である垂直同期期間ＴＶＤを取得する（ステップＳ２）。

そして、ライブビュー等において取得された画像データに基づいて、ＡＥ処理部２７により適正露光条件（Ｔｖ，Ａｖ，Ｓｖ等）を算出する（ステップＳ３）。

マイクロコンピュータ５０は、算出したＡｖ値が反映されるように絞り１２の絞り開口径を制御すると共に、算出したＳｖ値が反映されるようにアナログ処理部２３のゲイン（あるいは画像処理部３２のデジタルゲイン）を制御する（ステップＳ４）。

さらに、マイクロコンピュータ５０は、算出したＴｖ値に対応するシャッタ速度である適正露光時間ＳＳを算出する（ステップＳ５）。

続いて、マイクロコンピュータ５０は、ＳＳ＜ＴＶＤであるか否かを判定する（ステップＳ６）。

ここで、ＳＳ≧ＴＶＤであると判定された場合には、マイクロコンピュータ５０は、さらに、ＳＳ＜２ＴＶＤであるか否かを判定する（ステップＳ７）。

そして、ステップＳ６においてＳＳ＜ＴＶＤであると判定された場合には、後で図４を参照して説明する合成なし処理を行う（ステップＳ８）。

また、ステップＳ７においてＳＳ＜２ＴＶＤであると判定された場合には、後で図５を参照して説明する２枚合成処理を行う（ステップＳ９）。

さらに、ステップＳ７においてＳＳ≧２ＴＶＤであると判定された場合には、後で図６を参照して説明する３枚合成処理を行う（ステップＳ１０）。

なお、３ＴＶＤ≦ＳＳ＜４ＴＶＤである場合には４枚合成処理、４ＴＶＤ≦ＳＳ＜５ＴＶＤである場合には５枚合成処理、等を同様に行えば良いが、説明が煩雑になるのを避けるために、ここではＳＳ＜３ＴＶＤであるものとして、３ＴＶＤ≦ＳＳとなる場合の処理の説明を省略している。従って、以下でもＳＳ＜３ＴＶＤであるものとして説明を行う。

こうして、ステップＳ８〜Ｓ１０の何れかの処理を行ったら、得られた画像を画像処理部３２により処理して、ＬＣＤ４２またはＥＶＦ４４に表示し、あるいは記録媒体４６に記録する（ステップＳ１１）。

その後、この処理から図示しないメインルーチンの処理へリターンする。

次に、図４は図３のステップＳ８における合成なし処理を示すフローチャート、図７は合成なし処理を説明するためのタイミングチャートである。

なお、図４もしくはそれ以降のフローチャートにおいて、ｎを時系列のフレーム番号を示す整数として用いる。特に、ｎを現在処理中のフレーム番号として用いる場合には、１つ前のフレームは（ｎ−１）、１つ後のフレームは（ｎ＋１）などとなる。

そして、ｎフレームにおいてＨフィールド２２Ｈから読み出される長露光画像をＨｎフィールドの画像、ｎフレームにおいてＬフィールド２２Ｌから読み出される短露光画像をＬｎフィールドの画像などと記載する。さらに、図７もしくはそれ以降のタイミングチャートにおいて、Ｈフィールドの撮像に係る露光タイミングをＨ露光、Ｌフィールドの撮像に係る露光タイミングをＬ露光などと表記している。

この図４に示す処理は、図３のステップＳ６において、ＳＳ＜ＴＶＤであると判定された場合に行われる。このときには、ＳＳをＴＶＤで割ったときの商は０、剰余はＳＳである。

従って、Ｈｎフィールドには露光時間を設定せず、Ｌｎフィールドのみに露光時間としてＳＳを設定する（ステップＳ２１）。

そして、Ｌｎフィールドの露光を行う（ステップＳ２２）。

露光されたＬｎフィールドの画像は、垂直同期信号ＶＤに同期して読み出され、画像処理部３２により現像処理が行われる（ステップＳ２３）。従ってここでは、累積加算処理部３１による累積加算処理は行われない。

その後、この処理から図３に示した処理にリターンする。

このような処理を行うことにより、図７に示すように、垂直同期期間ＴＶＤと同じ周期で画像の表示が行われる。

次に、図５は図３のステップＳ９における２枚合成処理を示すフローチャート、図８は２枚合成処理を説明するためのタイミングチャートである。

この図５に示す処理は、図３のステップＳ６においてＳＳ≧ＴＶＤであると判定され、さらにステップＳ７においてＳＳ＜２ＴＶＤであると判定された場合に行われる。このときには、ＳＳをＴＶＤで割ったときの商は１、剰余は（ＳＳ−ＴＶＤ）である。

従って、Ｈ（ｎ＋１）フィールドに露光時間として垂直同期期間ＴＶＤを設定し（ステップＳ３１）、Ｌｎフィールドに露光時間（ＳＳ−ＴＶＤ）を設定する（ステップＳ３２）。

そして、時系列に沿って、まずＬｎフィールドの露光を行い（ステップＳ３３）、次いでＨ（ｎ＋１）フィールドの露光を行う（ステップＳ３４）。

露光されたＬｎフィールド、Ｈ（ｎ＋１）フィールドの各画像が、垂直同期信号ＶＤに同期して読み出されるのは上述と同様である。

その後、累積加算処理部３１により、Ｌｎフィールドの画像とＨ（ｎ＋１）フィールドの画像との累積加算処理が行われ、合成画像が生成される（ステップＳ３５）。

そして、合成画像に対して、画像処理部３２により現像処理が行われ（ステップＳ３６）、この処理から図３に示した処理にリターンする。

このような処理を行うことにより、図８に示すように、垂直同期期間ＴＶＤよりも長い適正露光時間ＳＳの画像が、垂直同期期間ＴＶＤと同じ周期で表示される。

次に、図６は図３のステップＳ１０における３枚合成処理を示すフローチャート、図９は３枚合成処理を説明するためのタイミングチャートである。

この図６に示す処理は、図３のステップＳ７においてＳＳ≧２ＴＶＤであると判定された場合（上述したように、ＳＳ＜３ＴＶＤであるものとする）に行われる。このときには、ＳＳをＴＶＤで割ったときの商は２、剰余は（ＳＳ−２ＴＶＤ）である。

従って、Ｈ（ｎ＋２）フィールドに露光時間として垂直同期期間ＴＶＤを設定し（ステップＳ４１）、Ｈ（ｎ＋１）フィールドに露光時間として垂直同期期間ＴＶＤを設定し（ステップＳ４２）、Ｌｎフィールドに露光時間（ＳＳ−２ＴＶＤ）を設定する（ステップＳ４３）。

そして、時系列に沿って、まずＬｎフィールドの露光を行い（ステップＳ４４）、次いでＨ（ｎ＋１）フィールドの露光を行い（ステップＳ４５）、さらにＨ（ｎ＋２）フィールドの露光を行う（ステップＳ４６）。

露光されたＬｎフィールド、Ｈ（ｎ＋１）フィールド、Ｈ（ｎ＋２）フィールドの各画像が、垂直同期信号ＶＤに同期して読み出されるのは上述と同様である。

その後、累積加算処理部３１により、Ｌｎフィールドの画像とＨ（ｎ＋１）フィールドの画像とＨ（ｎ＋２）フィールドの画像との累積加算処理が行われ、合成画像が生成される（ステップＳ４７）。

そして、合成画像に対して、画像処理部３２により現像処理が行われ（ステップＳ４８）、この処理から図３に示した処理にリターンする。

このような処理を行うことにより、図９に示すように、垂直同期期間ＴＶＤよりも長い適正露光時間ＳＳの画像が、垂直同期期間ＴＶＤと同じ周期で表示される。

次に、図１０は、撮像装置における動画撮影の処理を示すフローチャートである。なお、ここでは動画撮影の処理としているが、ライブビューに対しても同様の処理を適用することができる（サブルーチン、および後述する図１９のタイミングチャートも同様）。

この図１０に示す動画撮影の処理は、図３に示した１枚撮影の処理とほぼ同様であるが、動画であるために画像を繰り返して取得しており、さらに被写体の明るさの変化にも対応しているために、幾つかの点で異なっている。

まず、図１０に示す処理を開始してから最初に行う初期化の処理において、メカニカルシャッタ２１を開放状態にするだけでなく、さらに、処理に用いる各種のカウンタをリセットする（ステップＳ１Ａ）。具体的に、ＰｒｅＭｉｘｃｎｔ＝０、Ｍｉｘｃｎｔ＝０、Ｓｔｅｐｃｎｔ＝０に設定する。なお、カウンタに対する記号「＝」は、疑問符「？」を伴わないときには左辺のカウンタに右辺の値を代入することを示し、疑問符「？」を伴うときには等号を示している（プログラミングにおけるＣ言語などと同様の表記を用いている）。

ここに、ＰｒｅＭｉｘｃｎｔは前回行った処理が合成なし処理、２枚合成処理、３枚合成処理の何れの処理であるかを示すカウンタ、Ｍｉｘｃｎｔは合成なし処理、２枚合成処理、３枚合成処理の何れの処理を実行中であるかを示すカウンタ、ＳｔｅｐｃｎｔはステップＳ３〜Ｓ１２のループに関して、２枚合成処理については「連続１回目のループ」であるか「連続２回目のループもしくはそれ以降の連続ループ」であるかを示し、３枚合成処理については「連続１回目のループ」であるか「連続２回目のループ」であるか「連続３回目のループもしくはそれ以降の連続ループ」であるかを示すカウンタである。

Ｓｔｅｐｃｎｔは、２枚合成処理についてはプレ２枚合成処理と通常２枚合成処理との何れを行うかの判定に用いられ、３枚合成処理については第１プレ３枚合成処理と第２プレ３枚合成処理と通常３枚合成処理との何れを行うかの判定に用いられる。

ステップＳ１Ａの処理を行ったら、続いて、ステップＳ２〜Ｓ１１の処理を図３に示した１枚撮影の処理と同様に行う。

その後、マイクロコンピュータ５０が、表示および記録の処理を終了するか、あるいは継続するかを判定する（ステップＳ１２）。

ここで処理を継続すると判定された場合には、ステップＳ３へ戻って上述したような処理を行い、終了すると判定された場合には、この処理から図示しないメインルーチンの処理へリターンする。

図１１は図１０のステップＳ８における合成なし処理を示すフローチャート、図１９は動画撮影の処理を説明するためのタイミングチャートである。なお、図１９には、被写体が次第に暗くなって、適正露光時間ＳＳが段々と長くなっていくときの様子を示している。

この図１１に示す処理は、図１０のステップＳ６において、ＳＳ＜ＴＶＤであると判定された場合に行われる。このときには、ＳＳをＴＶＤで割ったときの商は０、剰余はＳＳである。

この処理を開始すると、マイクロコンピュータ５０が、まず、Ｍｉｘｃｎｔ＝０を設定する（ステップＳ２０）。

その後、図４に示したようなステップＳ２１〜Ｓ２３の処理を行ってから、マイクロコンピュータ５０が、ＰｒｅＭｉｘｃｎｔ＝Ｍｉｘｃｎｔを設定し（ステップＳ２４）、この処理から図１０に示した処理にリターンする。

このような処理を行うことにより、図１９の表示部分におけるＬ０〜Ｌ３に示すように、垂直同期期間ＴＶＤと同じ周期で画像の表示が行われる。

図１２は図１０のステップＳ９における２枚合成処理を示すフローチャートである。

この図１２に示す処理は、図１０のステップＳ６においてＳＳ≧ＴＶＤであると判定され、さらにステップＳ７においてＳＳ＜２ＴＶＤであると判定された場合に行われる。このときには、ＳＳをＴＶＤで割ったときの商は１、剰余は（ＳＳ−ＴＶＤ）である。

この処理を開始すると、マイクロコンピュータ５０が、まず、Ｍｉｘｃｎｔ＝１を設定する（ステップＳ５１）。

次に、マイクロコンピュータ５０は、ＰｒｅＭｉｘｃｎｔ＝Ｍｉｘｃｎｔであるか否かを判定する（ステップＳ５２）。

ここで、ＰｒｅＭｉｘｃｎｔ≠Ｍｉｘｃｎｔであると判定された場合には、マイクロコンピュータ５０が、Ｓｔｅｐｃｎｔ＝０を設定する（ステップＳ５３）。

ステップＳ５３の処理を行うか、またはステップＳ５２においてＰｒｅＭｉｘｃｎｔ＝Ｍｉｘｃｎｔであると判定された場合には、マイクロコンピュータ５０が、Ｓｔｅｐｃｎｔ＝０であるか否かを判定する（ステップＳ５４）。

ここで、Ｓｔｅｐｃｎｔ＝０であると判定された場合には、後で図１３を参照して説明するプレ２枚合成処理を行う（ステップＳ５５）。

また、ステップＳ５４において、Ｓｔｅｐｃｎｔ≠０であると判定された場合には、後で図１４を参照して説明する通常２枚合成処理を行う（ステップＳ５６）。

ステップＳ５５またはステップＳ５６の処理を行ったら、マイクロコンピュータ５０が、ＰｒｅＭｉｘｃｎｔ＝Ｍｉｘｃｎｔを設定し（ステップＳ５７）、この処理から図１０に示した処理にリターンする。

次に、図１３は図１２のステップＳ５５におけるプレ２枚合成処理を示すフローチャートである。

この図１３に示す処理は、図１２のステップＳ５４においてＳｔｅｐｃｎｔ＝０であると判定された場合、つまり、ステップＳ３〜Ｓ１２のループに関して、２枚合成処理の連続１回目のループであると判定された場合に行われる。また、上述したように、ＳＳをＴＶＤで割ったときの商は１、剰余は（ＳＳ−ＴＶＤ）である。

この処理を開始すると、Ｈ（ｎ＋１）フィールドに露光時間として垂直同期期間ＴＶＤを設定し（ステップＳ６１）、Ｈｎフィールドに露光時間として垂直同期期間ＴＶＤを設定し（ステップＳ６２）、Ｌｎフィールドに露光時間（ＳＳ−ＴＶＤ）を設定する（ステップＳ６３）。

そして、ＨｎフィールドおよびＬｎフィールドの露光を行う（ステップＳ６４）。ここで露光されたＨｎフィールド、Ｌｎフィールドの各画像が、垂直同期信号ＶＤに同期して読み出されるのは上述と同様である。

こうして読み出されたＨｎフィールド、Ｌｎフィールドの各画像は、ＳＤＲＡＭ２６等のメモリに保存される（ステップＳ６５）。

Ｈｎフィールドの画像は、画像処理部３２により現像処理が行われる（ステップＳ６６）。従ってこのプレ２枚合成処理では、累積加算処理部３１による累積加算処理は行われない。

そして、マイクロコンピュータ５０は、Ｓｔｅｐｃｎｔをインクリメントする（ステップＳ６７）。これにより、次のステップＳ３〜Ｓ１２のループにおいてステップＳ９の２枚合成処理に入ったときには、図１２のステップＳ５４の判断において、ステップＳ５６の通常２枚合成処理に入ることになる。

その後、この処理から図１２に示した処理にリターンする。

このような処理を行うことにより、図１９の表示部分におけるＨ４に示すように、垂直同期期間ＴＶＤと同じ適正露光時間ＳＳの画像が、垂直同期期間ＴＶＤと同じ周期で表示される。また、図１９の表示部分におけるＬ３の次の垂直同期期間ＴＶＤにＨ４の表示が行われるために、表示に欠落フレームが生じることもない。加えて、Ｈ４の画像の露光期間がＴＶＤであるために、前後のフレームの画像に対する露光量の変化が滑らかであり、自然な明るさ変化の画像とすることができる。

次に、図１４は図１２のステップＳ５６における通常２枚合成処理を示すフローチャートである。

この図１４に示す処理は、図１２のステップＳ５４においてＳｔｅｐｃｎｔ≠０であると判定された場合、つまり、ステップＳ３〜Ｓ１２のループに関して、２枚合成処理の連続２回目のループもしくはそれ以降の連続ループであると判定された場合に行われる。また、上述したように、ＳＳをＴＶＤで割ったときの商は１、剰余は（ＳＳ−ＴＶＤ）である。

この処理を開始すると、上述したステップＳ６１，Ｓ６３，Ｓ６４の処理を行う。従って、上述したステップＳ６２の処理は不要である（なぜならば、前回のループにおける図１３または図１４のステップＳ６１の処理として既に行われているためである）。

そして、読み出されたＬｎフィールドの画像を、ＳＤＲＡＭ２６等のメモリに保存する（ステップＳ６５Ａ）。

続いて、Ｌ（ｎ−１）フィールドの画像を、ＳＤＲＡＭ２６等のメモリから読み込む（ステップＳ６８）。

その後、累積加算処理部３１により、Ｈｎフィールドの画像とＬ（ｎ−１）フィールドの画像との累積加算処理が行われ、合成画像が生成される（ステップＳ６９）。

そして、合成画像に対して、画像処理部３２により現像処理が行われ（ステップＳ６６Ａ）、この処理から図１２に示した処理にリターンする。

このような処理を行うことにより、図１９の表示部分における（Ｌ４＋Ｈ５）〜（Ｌ９＋Ｈ１０）に示すように、垂直同期期間ＴＶＤよりも長い適正露光時間ＳＳの画像が、垂直同期期間ＴＶＤと同じ周期で表示される。また、上述と同様に、図１９の表示部分におけるＨ４の次の垂直同期期間ＴＶＤに（Ｌ４＋Ｈ５）の表示が行われるために、表示に欠落フレームが生じることはなく、露光量の変化も滑らかである。

図１５は図１０のステップＳ１０における３枚合成処理を示すフローチャートである。

この図１５に示す処理は、図１０のステップＳ７においてＳＳ≧２ＴＶＤであると判定された場合（上述したように、ＳＳ＜３ＴＶＤであるものとする）に行われる。このときには、ＳＳをＴＶＤで割ったときの商は２、剰余は（ＳＳ−２ＴＶＤ）である。

この処理を開始すると、マイクロコンピュータ５０が、まず、Ｍｉｘｃｎｔ＝２を設定する（ステップＳ７１）。

次に、マイクロコンピュータ５０は、ＰｒｅＭｉｘｃｎｔ＝Ｍｉｘｃｎｔであるか否かを判定する（ステップＳ７２）。

ここで、ＰｒｅＭｉｘｃｎｔ≠Ｍｉｘｃｎｔであると判定された場合には、マイクロコンピュータ５０が、Ｓｔｅｐｃｎｔ＝０を設定する（ステップＳ７３）。

ステップＳ７３の処理を行うか、またはステップＳ７２においてＰｒｅＭｉｘｃｎｔ＝Ｍｉｘｃｎｔであると判定された場合には、マイクロコンピュータ５０が、Ｓｔｅｐｃｎｔ＝０であるか否かを判定する（ステップＳ７４）。

ここで、Ｓｔｅｐｃｎｔ≠０であると判定された場合には、さらにマイクロコンピュータ５０が、Ｓｔｅｐｃｎｔ＝１であるか否かを判定する（ステップＳ７５）。

そして、ステップＳ７４においてＳｔｅｐｃｎｔ＝０であると判定された場合には、後で図１６を参照して説明する第１プレ３枚合成処理を行う（ステップＳ７６）。

また、ステップＳ７５において、Ｓｔｅｐｃｎｔ＝１であると判定された場合には、後で図１７を参照して説明する第２プレ３枚合成処理を行う（ステップＳ７７）。

さらに、ステップＳ７５において、Ｓｔｅｐｃｎｔ≠１であると判定された場合には、後で図１８を参照して説明する通常３枚合成処理を行う（ステップＳ７８）。

ステップＳ７６〜Ｓ７８の何れかの処理を行ったら、マイクロコンピュータ５０が、ＰｒｅＭｉｘｃｎｔ＝Ｍｉｘｃｎｔを設定し（ステップＳ７９）、この処理から図１０に示した処理にリターンする。

図１６は図１５のステップＳ７６における第１プレ３枚合成処理を示すフローチャートである。

この図１６に示す処理は、図１５のステップＳ７４においてＳｔｅｐｃｎｔ＝０であると判定された場合、つまり、ステップＳ３〜Ｓ１２のループに関して、３枚合成処理の連続１回目のループであると判定された場合に行われる。また、上述したように、ＳＳをＴＶＤで割ったときの商は２、剰余は（ＳＳ−２ＴＶＤ）である。

この処理を開始すると、Ｈ（ｎ＋２）フィールドに露光時間として垂直同期期間ＴＶＤを設定し（ステップＳ８１）、Ｈ（ｎ＋１）フィールドに露光時間として垂直同期期間ＴＶＤを設定し（ステップＳ８２）、Ｌｎフィールドに露光時間（ＳＳ−２ＴＶＤ）を設定する（ステップＳ８３）。

そして、ＨｎフィールドおよびＬｎフィールドの露光を行う（ステップＳ８４）。ここで露光されたＨｎフィールド、Ｌｎフィールドの各画像が、垂直同期信号ＶＤに同期して読み出されるのは上述と同様である。

こうして読み出されたＨｎフィールド、Ｌｎフィールドの各画像は、ＳＤＲＡＭ２６等のメモリに保存される（ステップＳ８５）。

続いて、Ｌ（ｎ−１）フィールドの画像を、ＳＤＲＡＭ２６等のメモリから読み込む（ステップＳ８６）。

その後、累積加算処理部３１により、Ｈｎフィールドの画像とＬ（ｎ−１）フィールドの画像との累積加算処理が行われ、合成画像が生成される（ステップＳ８７）。

そして、合成画像に対して、画像処理部３２により現像処理が行われる（ステップＳ８８）。

さらに、マイクロコンピュータ５０は、Ｓｔｅｐｃｎｔをインクリメントする（ステップＳ８９）。従って、Ｓｔｅｐｃｎｔは１となる。これにより、次のステップＳ３〜Ｓ１２のループにおいてステップＳ１０の３枚合成処理に入ったときには、図１５のステップＳ７５の判断において、ステップＳ７７の第２プレ３枚合成処理に入ることになる。

その後、この処理から図１５に示した処理にリターンする。

このような処理を行うことにより、図１９の表示部分における（Ｌ１０＋Ｈ１１）に示すように、垂直同期期間ＴＶＤよりも長い適正露光時間ＳＳの画像が、垂直同期期間ＴＶＤと同じ周期で表示される。また、図１９の表示部分における（Ｌ９＋Ｈ１０）の次の垂直同期期間ＴＶＤに（Ｌ１０＋Ｈ１１）の表示が行われるために、表示に欠落フレームが生じることもない。加えて、（Ｌ１０＋Ｈ１１）の画像は、前後のフレームの画像に対する露光量の変化が滑らかであり、自然な明るさ変化の画像とすることができる。

図１７は図１５のステップＳ７７における第２プレ３枚合成処理を示すフローチャートである。

この図１７に示す処理は、図１５のステップＳ７５においてＳｔｅｐｃｎｔ＝１であると判定された場合、つまり、ステップＳ３〜Ｓ１２のループに関して、３枚合成処理の連続２回目のループであると判定された場合に行われる。また、上述したように、ＳＳをＴＶＤで割ったときの商は２、剰余は（ＳＳ−２ＴＶＤ）である。

この処理を開始すると、ステップＳ８１，Ｓ８３〜Ｓ８５の処理を行う。従って、上述したステップＳ８２の処理は不要である（なぜならば、前回のループにおける図１６のステップＳ８１の処理として既に行われているためである）。

続いて、Ｈ（ｎ−１）フィールドの画像を、ＳＤＲＡＭ２６等のメモリから読み込む（ステップＳ８６Ａ）。

そして、累積加算処理部３１により、Ｈｎフィールドの画像とＨ（ｎ−１）フィールドの画像との累積加算処理が行われ、合成画像が生成される（ステップＳ８７Ａ）。

その後、ステップＳ８８の現像処理を行って、ステップＳ８９でＳｔｅｐｃｎｔをインクリメントする。従って、Ｓｔｅｐｃｎｔは２となる。これにより、次のステップＳ３〜Ｓ１２のループにおいてステップＳ１０の３枚合成処理に入ったときには、図１５のステップＳ７５の判断において、ステップＳ７８の通常３枚合成処理に入ることになる。

その後、この処理から図１５に示した処理にリターンする。

このような処理を行うことにより、図１９の表示部分における（Ｈ１１＋Ｈ１２）に示すように、垂直同期期間ＴＶＤよりも長い適正露光時間ＳＳの画像が、垂直同期期間ＴＶＤと同じ周期で表示される。また、図１９の表示部分における（Ｌ１０＋Ｈ１１）の次の垂直同期期間ＴＶＤに（Ｈ１１＋Ｈ１２）の表示が行われるために、表示に欠落フレームが生じることもない。加えて、（Ｈ１１＋Ｈ１２）の画像の露光期間が２ＴＶＤであるために、前後のフレームの画像に対する露光量の変化が滑らかであり、自然な明るさ変化の画像とすることができる。

図１８は図１５のステップＳ７８における通常３枚合成処理を示すフローチャートである。

この図１８に示す処理は、図１５のステップＳ７５においてＳｔｅｐｃｎｔ≠１であると判定された場合、つまり、ステップＳ３〜Ｓ１２のループに関して、２枚合成処理の連続３回目のループもしくはそれ以降の連続ループであると判定された場合に行われる。また、上述したように、ＳＳをＴＶＤで割ったときの商は２、剰余は（ＳＳ−２ＴＶＤ）である。

この処理を開始すると、ステップＳ８１，Ｓ８３〜Ｓ８５，Ｓ８６Ａの処理を行う。従って、上述したステップＳ８２の処理は不要である（なぜならば、前回のループにおける図１７または図１８のステップＳ８１の処理として既に行われているためである）。

さらに、Ｌ（ｎ−２）フィールドの画像を、ＳＤＲＡＭ２６等のメモリから読み込む（ステップＳ８６Ｂ）。

そして、累積加算処理部３１により、Ｈｎフィールドの画像とＨ（ｎ−１）フィールドの画像とＬ（ｎ−２）フィールドの画像との累積加算処理が行われ、合成画像が生成される（ステップＳ８７Ｂ）。

その後、ステップＳ８８の現像処理を行って、この処理から図１５に示した処理にリターンする。

このような処理を行うことにより、図１９の表示部分における（Ｌ１１＋Ｈ１２＋Ｈ１３），（Ｌ１２＋Ｈ１３＋Ｈ１４），…に示すように、垂直同期期間ＴＶＤよりも長い適正露光時間ＳＳの画像が、垂直同期期間ＴＶＤと同じ周期で表示される。また、上述と同様に、図１９の表示部分における（Ｈ１１＋Ｈ１２）の次の垂直同期期間ＴＶＤに（Ｌ１１＋Ｈ１２＋Ｈ１３）の表示が行われるために、表示に欠落フレームが生じることはない。加えて、露光期間が２ＴＶＤである（Ｈ１１＋Ｈ１２）の画像の、後のフレームの画像が（Ｌ１１＋Ｈ１２＋Ｈ１３）であるために、露光量の変化が滑らかであり、自然な明るさ変化の画像とすることができる。

こうして、この撮像装置においては、制御部であるマイクロコンピュータ５０の制御により、動画あるいはライブビューにおいて、適正露光時間ＳＳがフレーム期間未満であって合成部である累積加算処理部３１による合成がない状態から、２枚の画像を合成する状態へ移行するときには、１フレームの長露光画像を記録用または表示用の画像としている（図１３のプレ２枚合成処理、および図１９の表示部分におけるＨ４参照）。また、合成部である累積加算処理部３１による合成がｊ（ｊは２以上の整数）枚の画像を合成する状態から、（ｊ＋１）枚の画像を合成する状態へ移行するときには、長露光画像のみを用いて合成画像を生成し記録用または表示用の画像とすることを少なくとも１フレーム行う（図１７の第２プレ３枚合成処理、および図１９の表示部分における（Ｈ１１＋Ｈ１２）参照）。

なお、上述したように、図１９には、被写体が次第に暗くなって、適正露光時間ＳＳが段々と長くなっていくときの様子を示した。これに対して、被写体が次第に明るくなって、適正露光時間ＳＳが段々と短くなっていくときには、図１３に示したプレ２枚合成処理、図１６に示した第１プレ３枚合成処理、図１７に示した第２プレ３枚合成処理を省略するようにしても構わない。

また、上述では、合成部である累積加算処理部３１が、連続する長露光画像と短露光画像とを合成することにより、適正露光時間ＳＳだけ連続して露光した画像と同様の合成画像を得るようにしたが、これに限定されるものではない。単に、適正露光時間ＳＳに相当する露光量の合成画像を得るためであれば、例えば同一フレームの短露光画像と長露光画像とを合成しても構わない。

ところで、図１に示した構成例では、適正露光時間ＳＳがフレーム期間よりも長いときに、長露光時間で露光した長露光画像と、長露光画像の露光期間内に短露光時間で露光した短露光画像と、をフレーム期間毎に出力する撮像部として、ＨＤＲセンサとして構成された撮像素子２２を用いた。しかし、このような構成に限るものではない。

図２０は、本実施形態の変形例における撮像装置の構成を示すブロック図である。この図２０に示す変形例は、２つの光学像を２つの撮像素子に結像させる、いわゆる２眼カメラの例となっている。

交換式レンズ１は、レンズ１１および絞り１２の光路上にさらにハーフミラー１６を備えており、被写体の光学像を２つ結像する。

一方の光学像の光路上にはメカニカルシャッタ２１Ａおよび撮像素子２２Ａが配置され、撮像素子２２Ａから読み出されたアナログ画像信号は、アナログ処理部２３Ａにより処理され、Ａ／Ｄ変換部２４Ａによりデジタル画像信号に変換される。

また、他方の光学像の光路上にはメカニカルシャッタ２１Ｂおよび撮像素子２２Ｂが配置され、撮像素子２２Ｂから読み出されたアナログ画像信号は、アナログ処理部２３Ｂにより処理され、Ａ／Ｄ変換部２４Ｂによりデジタル画像信号に変換される。

このような構成において、動画撮影やライブビューの場合には、撮像素子２２Ａと撮像素子２２Ｂの電子シャッタの動作を異ならせることにより、それぞれが生成する画像の露光時間を異ならせても良い。あるいは連写撮影の場合には、メカニカルシャッタ２１Ａとメカニカルシャッタ２１Ｂとの開閉時間を異ならせることにより、撮像素子２２Ａにより生成される画像と撮像素子２２Ｂにより生成される画像との露光時間を異ならせても構わない。

さらに、適正露光時間ＳＳがフレーム期間よりも長いときに、長露光時間で露光した長露光画像と、長露光画像の露光期間内に短露光時間で露光した短露光画像と、をフレーム期間毎に出力する撮像部は、上述した例に限るものではなく、例えば、非破壊読み出しすることができる撮像素子等を用いるようにしても良い。この場合には、露光を開始した時点から短露光時間だけ経過した時点で短露光画像を非破壊で読み出し、露光を開始した時点から長露光時間だけ経過した時点で長露光画像を読み出すことを、フレーム期間毎に行えば良い。

このような実施形態１によれば、適正露光時間ＳＳがフレーム期間である垂直同期期間ＴＶＤよりも長いときに、フレーム期間以下の長露光時間と、長露光時間よりも短い短露光時間とを、短露光時間と１つ以上の長露光時間とを合計した時間が適正露光時間ＳＳとなるように設定して、長露光時間で露光した長露光画像と、長露光画像の露光期間内に短露光時間で露光した短露光画像と、をフレーム期間毎に出力し、１フレームの短露光画像と、１フレーム以上の長露光画像と、を加算して適正露光時間ＳＳの合成画像を生成するようにしたために、フレーム期間よりも長い任意の露光時間の画像を、フレームレートを低下させることなく取得することができる。

このとき、フレーム期間である垂直同期期間ＴＶＤを長露光時間に設定し、適正露光時間ＳＳを長露光時間で割ったときの剰余を短露光時間に設定することで、最も少ないフレーム数で、正確な露光量の適正露光画像を得ることができる。

さらに、適正露光時間ＳＳを長露光時間で割ったときの商をフレーム数に設定して、フレーム数だけ連続するフレームに対して長露光時間を設定することで、適正露光時間ＳＳだけ連続して露光した画像と同様の画像を合成できる長露光画像および短露光画像を得ることができる。

そして、フレーム数だけ連続するフレームの最初のフレームの前のフレーム、またはフレーム数だけ連続するフレームの最後のフレームの後のフレームに、短露光時間を設定することで、垂直同期信号に同期して露光を開始することと露光を終了することとの、所望の制御方法を選択することができる。

加えて、フレーム数だけ連続するフレームの長露光画像と、１つの短露光画像と、を合成することで、適正露光時間ＳＳだけ連続して露光した画像と同様の画像を合成画像として得ることができる。しかも、得られる合成画像は、途中に未露光期間を含まない画像となり、例えば移動被写体が存在する場合の被写体ブレに、不自然な途切れが発生することもない。

また、短露光画像と長露光画像との少なくとも一方を一時的に保持する記憶部をさらに備えることで、遅延回路等を不要とし、所望の時点で画像合成を行うことができる。

さらに、動画あるいはライブビューにおいて、適正露光時間ＳＳがフレーム期間未満であって合成部による合成がない状態から、２枚の画像を合成する状態へ移行するときには、１フレームの長露光画像を記録用または表示用の画像とし、合成部による合成がｊ（ｊは２以上の整数）枚の画像を合成する状態から、（ｊ＋１）枚の画像を合成する状態へ移行するときには、長露光画像のみを用いて合成画像を生成し記録用または表示用の画像とすることを少なくとも１フレーム行うようにしたために、合成部による合成枚数が変化する際に、表示に欠落フレームが生じるのを防止し、画像の明るさが不自然に変化するのを防止することができる。

なお、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として撮像装置について説明したが、撮像装置と同様の制御を行う撮像方法であっても良いし、コンピュータに撮像装置と同様の処理を行わせるための撮像プログラム、該撮像プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。

１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ
１２…絞り
１３…ドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
１６…ハーフミラー
２１，２１Ａ，２１Ｂ…メカニカルシャッタ
２２，２２Ａ，２２Ｂ…撮像素子
２２Ｈ…Ｈフィールド
２２Ｌ…Ｌフィールド
２３，２３Ａ，２３Ｂ…アナログ処理部
２４，２４Ａ，２４Ｂ…Ａ／Ｄ変換部
２５…バス
２６…ＳＤＲＡＭ
２７…ＡＥ処理部
２８…ＡＦ処理部
２９…ＡＷＢ処理部
３１…累積加算処理部
３２…画像処理部
３３…ＷＢ補正部
３４…同時化処理部
３５…色再現処理部
３６…ＮＲ処理部
３８…ＪＰＥＧ処理部
４１…ＬＣＤドライバ
４２…ＬＣＤ
４３…ＥＶＦドライバ
４４…ＥＶＦ
４５…メモリＩ／Ｆ
４６…記録媒体
４７…操作部
４８…フラッシュメモリ
５０…マイクロコンピュータ

Claims (9)

1. 適正露光時間を決定すると共に、前記適正露光時間がフレーム期間よりも長いときに、前記フレーム期間以下の長露光時間と、前記長露光時間よりも短い短露光時間とを、前記短露光時間と１つ以上の前記長露光時間とを合計した時間が前記適正露光時間となるように設定する露出制御部と、
   前記適正露光時間がフレーム期間よりも長いときに、前記長露光時間で露光した長露光画像と、前記長露光画像の露光期間内に前記短露光時間で露光した短露光画像と、を前記フレーム期間毎に出力する撮像部と、
   前記適正露光時間がフレーム期間よりも長いときに、１フレームの前記短露光画像と、１フレーム以上の前記長露光画像と、を加算して前記適正露光時間の合成画像を生成する合成部と、
   を備えることを特徴とする撮像装置。
2. 前記露出制御部は、前記フレーム期間を前記長露光時間に設定し、前記適正露光時間を前記長露光時間で割ったときの剰余を前記短露光時間に設定することを特徴とする請求項１に記載の撮像装置。
3. 前記露出制御部は、前記適正露光時間を前記長露光時間で割ったときの商をフレーム数に設定して、前記フレーム数だけ連続するフレームに対して前記長露光時間を設定することを特徴とする請求項２に記載の撮像装置。
4. 前記露出制御部は、前記フレーム数だけ連続するフレームの最初のフレームの前のフレーム、または前記フレーム数だけ連続するフレームの最後のフレームの後のフレームに、前記短露光時間を設定することを特徴とする請求項３に記載の撮像装置。
5. 前記合成部は、前記フレーム数だけ連続するフレームの前記長露光画像と、１つの前記短露光画像と、を合成することを特徴とする請求項４に記載の撮像装置。
6. 前記短露光画像と前記長露光画像との少なくとも一方を一時的に保持する記憶部をさらに備えることを特徴とする請求項１から請求項５の何れか一項に記載の撮像装置。
7. 動画あるいはライブビューにおいて、前記適正露光時間がフレーム期間未満であって前記合成部による合成がない状態から、２枚の画像を合成する状態へ移行するときには、１フレームの前記長露光画像を記録用または表示用の画像とし、前記合成部による合成がｊ（ｊは２以上の整数）枚の画像を合成する状態から、（ｊ＋１）枚の画像を合成する状態へ移行するときには、前記長露光画像のみを用いて合成画像を生成し記録用または表示用の画像とすることを少なくとも１フレーム行うことを特徴とする請求項１から請求項６の何れか一項に記載の撮像装置。
8. 適正露光時間を決定すると共に、前記適正露光時間がフレーム期間よりも長いときに、前記フレーム期間以下の長露光時間と、前記長露光時間よりも短い短露光時間とを、前記短露光時間と１つ以上の前記長露光時間とを合計した時間が前記適正露光時間となるように設定する露出制御ステップと、
   前記適正露光時間がフレーム期間よりも長いときに、前記長露光時間で露光した長露光画像と、前記長露光画像の露光期間内に前記短露光時間で露光した短露光画像と、を前記フレーム期間毎に出力する撮像ステップと、
   前記適正露光時間がフレーム期間よりも長いときに、１フレームの前記短露光画像と、１フレーム以上の前記長露光画像と、を加算して前記適正露光時間の合成画像を生成する合成ステップと、
   をコンピュータに実行させるための撮像プログラム。
9. 適正露光時間を決定すると共に、前記適正露光時間がフレーム期間よりも長いときに、前記フレーム期間以下の長露光時間と、前記長露光時間よりも短い短露光時間とを、前記短露光時間と１つ以上の前記長露光時間とを合計した時間が前記適正露光時間となるように設定する露出制御ステップと、
   前記適正露光時間がフレーム期間よりも長いときに、前記長露光時間で露光した長露光画像と、前記長露光画像の露光期間内に前記短露光時間で露光した短露光画像と、を前記フレーム期間毎に出力する撮像ステップと、
   前記適正露光時間がフレーム期間よりも長いときに、１フレームの前記短露光画像と、１フレーム以上の前記長露光画像と、を加算して前記適正露光時間の合成画像を生成する合成ステップと、
   を備えることを特徴とする撮像方法。

Images