JP2017099026A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】難易度の高いバルブ撮影の露出失敗を防止し、撮影者の意図に沿った写真の撮影を可能とする撮像装置および撮像方法を提供する。【解決手段】Ｍコマの画像データのうち、任意のＮ（２≦Ｎ＜Ｍ）コマの画像データから、画像データを構成する画素データに加算し、Ｌ（２≦Ｌ＜Ｍ）コマの加算合成画像データを生成し（「＋」）、Ｌコマの加算合成画像データの画像データを構成する画素データのそれぞれ対応する画素データを比較し、いずれか大きい方の画素データを新たな画素データとして、１コマの比較明合成画像データを生成する（「比」）（合成画像データ２）。【選択図】 図３

Description

本発明は、デジタルスチルカメラ等の電子撮像装置において、特に、比較明合成によりバルブ撮影画像を生成することが可能で、かつ露光時間が任意に調整可能な画像処理装置および画像処理方法に関する。

従来、一眼レフレックス式の撮像装置においては、被写体像の観察は光学ファインダにより行っていた。しかし、最近では光学ファインダをなくし、イメージセンサから読み出した画像を、背面液晶モニタ等によって表示するライブビュー表示によって、被写体像を観察する撮像装置が市販されている。また、光学ファインダの代わりに、ライブビュー表示による画像を、背面液晶モニタ等とは別に、電子ビューファインダを用いて表示し、上述の背面液晶モニタによる表示と電子ビューファインダによる表示を切替可能とした撮像装置も市販されている。

従来、光学ファインダであっても電子ビューファインダであっても、バルブ撮影のような長時間撮影時には、露出中にイメージセンサから画像信号を読み出すことができないために、被写体の状態や露出状態を確認することができず、撮影が終了してから画像を確認していた。このため、撮影者にとって、絞りやＩＳＯ感度等の露出設定や露出開始と終了のタイミング決定は、被写体の明るさなどから撮影者自身が推定して決めなければならず、露出不足または露出過多による撮影失敗をすることなく、所望の撮影画像を得ることは容易ではなかった。

そこで、このような不具合を解決するために、特許文献１に開示の撮像装置は、所定の時間間隔でイメージセンサから画像信号を読み出し、この画像信号をイメージセンサから読み出す毎に単純に画像信号の累積加算を行い、これによって得られた画像を液晶モニタ等に表示し、露出経過を表示できるようにしている。

また、特許文献２に開示の撮像装置は、連続的にイメージセンサから画像信号を読み出し、比較明合成により、バルブ撮影画像を生成している。この比較明合成は、画像データの画素毎の輝度レベルを比較し、大きい方を選択し、合成後の輝度レベルとする画像合成である。

特開２００５−１１７３９５号公報 特許第４１４８５８６号公報

特許文献１に開示の撮像装置では、バルブ撮影中に、現在の露光情報を撮影者に経過情報として告知することができ、露出不足や露出過多等の失敗を軽減することが可能である。しかし、バルブ撮影の対象として、一般的である夜空に打ち上げられた花火の光跡や、星の光跡を撮影する場合、露光時間が長い程、光跡の長さが延びていくと共に背景（これらの場合には夜空）の明るさが変化する場合がある。このような場合には、背景の明るさが露光過多または露光不足にならないような露光時間で撮影を終了する必要があり、光跡の長さが、撮影者の意図とは無関係に背景の明るさによって決まってしまう。

これに対して、特許文献２に開示の撮像装置では、連続的に撮像素子から読み出した画像を、画像データの画素毎の輝度レベルを比較し、明るい方の画素を選択し、合成後の輝度レベルとする比較明合成により撮像画像を生成している。このため、露光時間に無関係に背景の明るさは合成前の一枚の画像の明るさに維持され、撮影者の作意意図に合うように露光時間を設定して、光跡を写し込むことができる。

しかし、特許文献１、２に開示の撮像装置はいずれも、撮影者が背景の明るさと光跡の長さ・明るさのそれぞれを意図通りに撮影するには、被写体の明るさに合わせて、絞り、ＩＳＯ感度、および合成前の一枚の画像を撮影する露光時間を調整する必要がある。この調整は、長年の撮影経験や試写による明るさ確認等が必要であり、高度な撮影技術を要する。

また、星や花火などは暗い環境下で撮影を行うため、撮影後、昼間や部屋など明るい環境下で画像を確認すると、撮影画像は撮影時とは異なった明るさに見えるため、撮影意図にそぐわない明るさで撮影してしまうことが多々ある。

本発明は、このような事情を鑑みてなされたものであり、難易度の高いバルブ撮影の露出失敗を防止し、撮影者の意図に沿った写真の撮影を可能とする画像処理装置および画像処理方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る画像処理装置は、複数コマの画像データを保存するメモリと、複数コマの画像データを構成する画素データを加算し加算合成画像データを生成する画像加算合成処理部と、複数コマの画像データを構成する画素データのそれぞれ対応する画素データを比較し、いずれか大きい方の画素データを新たな画素データとして、比較明合成画像データを生成する比較明合成処理を行う比較明合成処理部と、上記メモリから読み出されたＭコマの画像データのうち、任意のＮコマの画像データから、上記画像加算合成処理部によりＬコマの加算合成画像データを生成し、上記比較明合成処理部により比較明合成画像データを生成するように指示する制御部と、を具備し、上記Ｎと上記Ｌは上記Ｍより小さく、２以上の正の整数である。

第２の発明に係る画像処理装置は、上記第１の発明において、さらに、上記画像データに任意のゲイン値を乗算するゲイン部を備え、上記制御部は、上記Ｍコマの画像データ、上記Ｌコマの加算合成画像データ、もしくは上記比較明合成画像データのうちの少なくとも１つの画像データに上記ゲイン値を印加するように上記ゲイン部に指示する。

第３の発明に係る画像処理装置は、上記第１または第２の発明において、さらに、上記Ｍを設定可能な設定部を備え、上記制御部は、上記設定部で設定されたＭに基づき上記比較明合成画像データを生成するように指示を行う。

第４の発明に係る画像処理方法は、メモリからＭコマの画像データを読出し、Ｍコマの画像データのうち、任意のＮ（２≦Ｎ＜Ｍ）コマの画像データから、画像データを構成する画素データに加算し、Ｌ（２≦Ｌ＜Ｍ）コマの加算合成画像データを生成し、上記Ｌコマの加算合成画像データの画像データを構成する画素データのそれぞれ対応する画素データを比較し、いずれか大きい方の画素データを新たな画素データとして、１コマの比較明合成画像データを生成する。

本発明によれば、難易度の高いバルブ撮影の露出失敗を防止し、撮影者の意図に沿った写真の撮影を可能とする画像処理装置および画像処理方法を提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、バルブ撮影モードで比較明合成モードが選択されている場合の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、背景の明るさを変えるブラケット合成画像の生成を行うための概念ブロック図である。 本発明の一実施形態に係るカメラにおいて、光跡の明るさを変えるブラケット合成画像の生成を行うための概念ブロック図である。 本発明の一実施形態に係るカメラの変形例において、光跡の明るさを変えるブラケット合成画像の生成を行うための概念ブロック図である。 本発明の一実施形態に係るカメラにおいて、背景および光跡の明るさをブラケット合成した合成画像の例を示す図である。

以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、撮像素子から読み出される画像信号に基づく画像データを表示部にライブビュー表示すると共にレリーズ釦の操作に応じて記録用に画像処理した画像データを外部メモリに記録する。また、バルブ撮影モードとして比較明合成モードを設定すると、バルブ撮影中に、画像データの画素毎に明るい方の画素を用いた比較明合成による比較明合成画像を生成し、この画像を用いてバルブ撮影中に露光状態の経過表示を行うことができる。

さらに、このカメラは、バルブ撮影中に予め決めたＭコマの画像データを取得すると、ゲイン印加・加算・比較明合成処理を行う（後述する図２のＳ２１参照）。このゲイン印加・加算・比較明合成処理では、基準となる明るさの画像と、背景を一定として光跡を、または光跡を一定として背景をオーバ露出およびアンダ露出のブラケット合成画像を生成する。撮影者はブラケット合成画像の中から、意図に沿った露出の画像を選択することができる。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部２０、およびバス３１とこれに接続された各部を有する。

レンズ２は、イメージセンサ４に被写体の光学像を結像する。このレンズ２内には、露出量を調節するための絞り値を決定する絞りを備える。また、メカシャッタ３は、開閉動作によりイメージセンサ４への露出や遮光を行い、シャッタ速度を制御する。イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像信号を、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。

画像処理部１０は、イメージセンサ４から出力された画像信号に画像処理を施し、画像比較合成部１１、画像加算合成部１４、ゲイン印加部１５、および現像処理部１６を有する。

画像比較合成部１１は、イメージセンサ４から連続的に読み出された画像データと、内部メモリ３３に保存された画像データの画素毎の出力を比較し、画素毎に比較明処理を行い、この処理によって生成された比較明合成画像データを用いて合成画像データを生成する。

すなわち、画像比較合成部１１における比較明処理では、最初にイメージセンサ４から読み出された画像信号を基に生成された画像データを構成する画素データを比較明合成画像データとして内部メモリ３３に記憶する。次に、イメージセンサ４から読み出された画像信号を基に生成された画像データを構成する画素データと、内部メモリに記憶されている比較明合成画像データを構成する複数の画素データについて、それぞれ対応する画素データを比較し、いずれか大きい方、すなわち明るい方の画素データを検出し、この明るい方の画素データを用いて、比較明合成画像データを再構成する。この処理をイメージセンサ４から画像信号が読み出されるたびに繰り返し行う。比較明処理を行うことにより、夜空の星の光跡の画像を得ることができる。

画像加算合成部１４は、画素毎の出力を加算し、加算合成データを生成する。すなわち、所定周期でイメージセンサ４から画像信号が読み出される毎に、画像加算合成部１４は、画像信号に基づく画像データを加算し、加算合成データを生成する。

ゲイン印加部１５は、画像データに対して、所定のゲインを乗算等の印加処理を行う。例えば、画像データにゲインとして０．５を乗算することにより輝度が半分になり暗い画像となり、またゲインとして２を乗算することにより輝度が倍になり明るい画像となる。

現像処理部１６は、画像合成部１５において生成されたＲＡＷ画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。

内部メモリ３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像を一時的に記憶する。内部メモリ３３は、フラッシュメモリ、ＤＲＡＭ等の不揮発性のメモリによって構成される。

外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ３６は、現像処理部１６で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。

表示部３７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどの背面表示部やＥＶＦ（電子ビューファインダ）によって構成され、現像処理部１６によって現像された画像を表示する。

入力ＩＦ３８は、レリーズ釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定やレリーズ等撮影動作の指示を行う。

露出検出部３４は、イメージセンサから読み出された画像データまたは各合成部で生成された画像データから露出値を検出する。

システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムに従ってカメラの全体制御を行う。また、システム制御部２０は、露光時間算出部２１および露光時間制御部２２を有する。露光時間算出部２１は露出検出部３４における露出検出結果から最適な露光時間（シャッタ速度）を算出する。露光時間制御部２２は露出時間算出部２１における算出結果に応じてメカシャッタ３の開閉タイミング処理を制御する。露光時間算出部２１および露光時間制御部２２は、ソフトウエアによって処理してもよく、またハードウエアによって処理してもよい。

次に、図１に示したカメラの動作の概要を述べる。システム制御部２０による制御に基づいて、レンズ２を構成するフォーカスレンズの調整が行われ、絞りが所定値に設定され、メカシャッタ３が開いて、イメージセンサ４により光学像が電気信号に変換される。イメージセンサ４から読み出された画像信号は、画像処理部１０において所定の画像処理が施され、外部メモリ３６に記録される。また画像処理部１０で所定の画像処理が施された画像データはリサイズされたのち表示部３７において表示される。

システム制御部２０は、入力ＩＦ３８を介してユーザからの指示を受け、イメージセンサ４の露出開始、信号読出等のタイミング制御、メカシャッタ３の開閉タイミング制御、レンズ２の絞り制御やオートフォーカス制御を行う。また、システム制御部２０は、画像処理部１０から画像データを受け取り、表示部３７による画像表示や、外部メモリ３６に画像データの保存等の制御を行う。

次に、図２に示すフローチャートを用いて、本実施形態に係るカメラの処理の流れを説明する。このフローチャートは、内部メモリ３３に記憶されたプログラムに従って、システム制御部２０が各部を制御することにより実行する。

このフローチャートでは、ユーザが入力ＩＦによりバルブ撮影モードを選択し、かつバルブ撮影モード中の比較明合成モードを選択している場合のシーケンスを図示している。バルブ撮影モードであっても、露光中の経過表示を行わない通常のバルブ撮影や、露光中の経過表示を加算画像で行う加算合成表示モードについては、省略してある。なお、経過表示モードの一種である加算合成表示モードが選択されると、バルブ撮影中に所定の周期でイメージセンサ４から画像信号を読み出し、この読み出された画像データを順次加算することにより、露光時間の経過に応じて徐々に画面が明るくなっていくことを表示部３７に表示することができる。また、経過表示モードの一種である比較明合成モードは、露光時間によらず背景の明るさは一定で、露光時間に応じて光跡の長さを調整可能である。

ユーザは、バルブ撮影を行うにあたって予め表示部３７や光学ファインダ（不図示）を確認して撮影したい被写体を撮影できるように、カメラの向きやレンズの焦点距離（ズーム）を調節しておく。また必要に応じて、釦やタッチパネル等の入力ＩＦ３８を介して、フォーカスレンズの位置、絞り値、ＩＳＯ感度等の撮影情報を設定してもよい。

図２に示すフローに入ると、システム制御部２０は、レリーズスイッチの最初の押圧動作に応じて１ｓｔレリーズスイッチがオンとなったか否かを判定する（Ｓ１）。この判定の結果、オンでなければ、待機状態となる。

ステップＳ１における判定の結果、１ｓｔレリーズスイッチがオンであれば、次に、ＡＦおよびＡＥを行う（Ｓ３）。ここでは、システム手制御部２０は、ＡＦ（オートフォーカス）を行い、被写体にピントを合わせる。ＡＦにあたっては、システム制御部２０は、イメージセンサ４から繰り返し読み出される画像信号のコントラスト値が最大値になるように、レンズ２内のフォーカスレンズを駆動する。また、ＡＥ（自動露出制御）を行い、適正露光となる露出時間や絞り等を算出する。

ＡＦとＡＥを行うと、次に、２ｎｄレリーズスイッチがオンであるか否かを判定する（Ｓ５）。ここでは、システム制御部２０は、最初の押圧動作よりも相対的に強い押圧動作がなされ、２ｎｄレリーズスイッチがオンになったかを判定する。この判定の結果、２ｎｄレリーズスイッチがオンでなければ、ステップＳ３に戻り、ＡＦ・ＡＥ動作を繰り返す。

ステップＳ５における判定の結果、２ｎｄレリーズスイッチがオンであれば、比較明合成モードによる比較明合成を行う。まず、ブラケット設定反映・合成コマ数Ｍを決定する（Ｓ７）。このステップでは、基準の明るさに対してアンダ、オーバ露出を行うブラケット撮影を行うためのブラケット設定反映・合成コマ数Ｍの決定を行う。図３および図４を用いて後述するように、本実施形態においては、バルブ撮影中にＭコマの画像を取得すると、ゲイン印加・加算・比較明合成処理を行う。このコマ数Ｍは、ユーザが事前に設定してもよく、また被写体輝度等に応じて自動的に設定してもよい。なお、このコマ数Ｍは、４、９、１６・・・と、整数の２乗となる値を決定する。

ブラケット設定反映・合成コマ数Ｍを決定すると、次に、画像読み出し周期Ｔを反映させる（Ｓ９）。この周期Ｔは、イメージセンサ４から画像信号を読み出す周期であり、ユーザが手動で設定した値でもよく、またステップＳ３におけるＡＥにおいて算出した適正露光時間に応じた値でもよい。

画像読み出し周期Ｔを反映させると、次に、露出を開始する（Ｓ１１）。ここでは、システム制御部２０は、イメージセンサ４に対して、露出を開始させる。露出を開始させると、次に、露出時間Ｔｍが経過したか否かを判定する（Ｓ１３）。ここでは、ステップＳ１１における露出開始後、時間Ｔｍが経過したかを判定し、時間Ｔｍが経過するまで待機状態となる。なお、時間Ｔｍは、本実施形態においては、ステップＳ９において設定した周期Ｔに対してＴ／２の時間としている。

ステップＳ１１における判定の結果、露出時間Ｔｍが経過すると、次に、画像信号を読み出すと共に、次のコマの露出を開始する（Ｓ１５）。続いて、ステップＳ１５において読み出された画像信号を内部メモリ３３に保存する（Ｓ１７）。

内部メモリ３３に画像信号を保存すると、次に、保存コマ数がＭか否かを判定する（Ｓ１９）。ここでは、ステップＳ１５において読み出した画像のコマ数が、ステップＳ７において決定したコマ数Ｍに達したか否かを判定する。この判定の結果、保存コマ数がＭに達していなかった場合には、ステップＳ１５において露出を開始してから露出時間Ｔｍが経過した時点で、再び、ステップＳ１５における画像信号の読み出しを行うと共に、露出を開始させる。

ステップＳ１９における判定の結果、保存コマ数がＭに達すると、ゲイン印加・加算・比較明合成処理を行う（Ｓ２１）。ここでは、システム制御部２０は、ステップＳ１５〜Ｓ１９において取得したＭコマの画像データを用いて、画像比較合成部１１、画像加算合成部１４、ゲイン印加部１５によって、ブラケット合成画像、即ち、背景または光跡の明るさを、基準の明るさに対して、アンダ、オーバ露出となる合成画像を生成させる。このゲイン印加・加算・比較明合成処理の詳細な動作については、図３および図４を用いて後述する。

ステップＳ２１においてゲイン印加・加算・比較明合成処理を行うと、次に、生成されたブラケット合成画像を、内部メモリ３３に保存する（Ｓ２３）。

ブラケット合成画像を内部メモリ３３に保存すると、次に、現像処理を行う（Ｓ２５）。ここでは、システム制御部２０は、内部メモリ３３に一時記憶された基準となる露出の合成画像の画像データに対して、現像処理部１６によって、デモザイキング処理、γ補正処理、ノイズリダクション処理、ＹＣ信号生成処理、リサイズ処理等の現像処理を行わせる。なお、リサイズ処理は、読み出された画像の画素数は、液晶表示や電子ビューファインダの表示画素よりも大きいため、表示素子の表示画素数に合わせるためである。

現像処理を行うと、次に、現像画像の表示を行う（Ｓ２７）。ここでは、システム制御部２０は、現像処理部１６によって現像処理された基準となる露出の合成画像を、露光経過画像として、表示部３７に表示させる。ユーザは、バルブ撮影時の経過画像として確認することができる。

現像画像の表示を行うと、次に、２ｎｄレリーズスイッチのオフを検知したか否かを判定する（Ｓ２９）。本実施形態においては、ユーザがレリーズ釦を強く押し込んでから離すまで、すなわち２ｎｄレリーズスイッチがオンになるとバルブ撮影を開始し、２ｎｄレリーズスイッチがオフになるとバルブ撮影が終了する。なお、最初、２ｎｄレリーズスイッチがオンした後、オフしてもバルブ撮影を続行し、再度、２ｎｄレリーズスイッチがオンした際に、バルブ撮影を終了するようにしても勿論かまわない。

ステップＳ２９における判定の結果、２ｎｄレリーズスイッチがオフでなかった場合には、ステップＳ１５に戻る。Ｍ＋１コマ目以降の画像も露出時間Ｔｍ経過後にイメージセンサ４から読み出され（Ｓ１５）、内部メモリ３３に保存される（Ｓ１７）。内部メモリ３３に保存すると、内部メモリ３３に保存されたＭコマの合成処理前の画像データを消去し、空いた記録領域を次のＭコマの画像データの記録に用いる。

上述の処理を繰り返すことにより、ユーザが事前に設定、または自動設定された画像データ読み出し周期Ｔに応じて決まる露出時間Ｔｍにて露光し、読み出した画像データを比較明合成した画像データを合成し、露光経過表示を行うことができる。システム制御部２０は、これらの動作を行うように、メカシャッタ３、イメージセンサ４およびその後の画像処理等を制御する。比較明合成モードにおいては、１ｓｔレリーズスイッチがオンした後のＡＥ制御により、背景の明るさが適正露出となるように、画像読み出し周期Ｔ（露出時間Ｔｍ）を自動設定してもよい。

一方、ステップＳ２９における判定の結果、２ｎｄレリーズスイッチのオフを検知すると、バルブ撮影の終了処理を行う。まず、外部メモリに記録を行う（Ｓ３１）。ここでは、ステップＳ２３において最終的に保存されたゲイン印加・加算・比較明合成処理で生成されたブラケット合成画像の画像データを外部メモリ３６に記録する。

外部メモリ３６に画像データを記録すると、次に、画像表示を行う（Ｓ３３）。ここでは、ステップＳ３１において外部メモリ３６に保存された画像データに基づく画像の内、基準となる露出の合成画像を、表示部３７に表示する。表示部３７に画像を表示すると、撮影を完了する。

このように、本発明の一実施形態においては、バルブ撮影中に、時間Ｔｍごとに画像データを取得し、予め設定されたコマ数Ｍの画像データを取得すると（Ｓ１９→Ｙｅｓ）、このＭコマの画像データを用いて基準となる露出の画像、オーバ露出の画像、アンダ露出の画像の画像データを生成し（Ｓ２１）、基準となる露出の画像の比較明合成画像を表示している（Ｓ２７）。この比較明合成画像は、画像データの画素毎に明るい方の画素を選択することにより合成した画像であることから、夜空の星のように輝点が時間と共に移動している場合には、光跡を記録することができる。

また、実質的にブラケット撮影を行ったと同様の画像データを生成することができることから（Ｓ２１参照）、撮影終了後にブラケット合成画像、すなわち、基準となる露出の画像、オーバ露光の画像、アンダ露光の画像を表示部３７に表示させ、ユーザの意図する露出の画像を選択することができる。

次に、図３を用いて、ステップＳ２１におけるゲイン印加・加算・比較明合成処理によるブラケット合成画像データの生成について説明する。図３は、背景の明るさを基準、オーバ、アンダとするブラケット合成画像を生成するための概念ブロック図である。この図３の例では、露光時間Ｔで読み出した画像データを比較明合成した画像データを基準の露出とし、背景の明るさを−１段、＋１段の画像データを同時に生成する。なお、図３中、「比」は比較明合成を行うことを示し、「＋」は加算処理を行うことを示す。また、ＲＡＷ１〜ＲＡＷ４は、ロー画像データを示す。図３ではＲＡＷ１〜ＲＡＷ４までしか示してないが、ＲＡＷ５以降の画像は、ＲＡＷ１〜ＲＡＷ４と同様に処理される。

基準の明るさに対して、−１段、＋１段の画像を生成するためには、図３に示すように連続的に順次読み出した４コマの画像データＲＡＷ１〜ＲＡＷ４に対して、下記の３通りの合成方法の組み合わせによって画像データを生成する。
−１段：合成画像データ１＝比較明合成（ＲＡＷ１，ＲＡＷ２，ＲＡＷ３，ＲＡＷ４）
０段：合成画像データ２＝比較明合成｛（ＲＡＷ１＋ＲＡＷ２），（ＲＡＷ３＋ＲＡＷ４）｝
＋１段：合成画像データ３＝ＲＡＷ１＋ＲＡＷ２＋ＲＡＷ３＋ＲＡＷ４
但し、比較明合成（ＲＡＷ１，ＲＡＷ２，・・・ＲＡＷｎ）は、既述の画像比較合成部１１における比較明合成データの生成処理と同様にして、ＲＡＷ１からＲＡＷｎまで順次に累積的に比較明合成画像データを生成することによって得られた合成画像データを示し、（ＲＡＷ１＋ＲＡＷ２＋・・・＋ＲＡＷｎ）はＲＡＷ１からＲＡＷｎを加算合成して得られた合成画像データを示す。

すなわち、合成画像１は、ＲＡＷ１〜ＲＡＷ４の画像の比較明合成によって生成した画像である。比較明合成画像は、同一アドレスの画素出力を比較し、大きい方（すなわち明るい方の画素）を選択することによって生成する合成画像である。また、合成画像２は、ＲＡＷ１とＲＡＷ２を加算した加算画像と、ＲＡＷ３とＲＡＷ４を加算した加算画像を用いて比較明合成した合成画像である。また、合成画像３は、ＲＡＷ１〜ＲＡＷ４の全てを加算した加算画像である。したがって、合成画像２の背景の明るさを基準露出とすると、合成画像１の背景の明るさは基準露出の１／２倍であり、合成画像３の背景の明るさは基準露出の２倍となる。

基準となる露光時間Ｔで読み出した画像の合成画像データは、合成画像２の画像データに相当するので、合成前の１コマの露出時間ＴｍをＴ／２に設定し、（ＲＡＷ１＋ＲＡＷ２）および（ＲＡＷ３＋ＲＡＷ４）の合計露光時間がＴとなるようにする（図２のＳ１３参照）。また、−１段，０段，＋１段の３パターンの合成画像データを生成するための合成コマ数Ｍは４に設定する（図２のＳ７参照）。

なお、Ｍ＋１コマ目以降の合成画像の生成にあたっては、内部メモリ３３への保存コマ数がＭに到達するまで、イメージセンサ４から画像信号を読み出し、内部メモリ３３に画像データの保存を繰り返し、Ｍコマに達した時点で、システム制御部２０は、画像比較合成部１１、画像加算部１４によって、合成画像１〜合成画像３を生成する。１〜Ｍコマ目と、Ｍ＋１〜２Ｍコマ目までの画像で合成した合成画像データ１同士、合成画像データ２同士、合成画像データ３同士を用いて、比較明合成処理を行い、ここで生成された比較明合成画像を、内部メモリ３３に記録する（Ｓ２３）。合成前の合成画像データ１〜３は内部メモリ３３より削除する。さらに、内部メモリ３３に記録されたＭコマの合成処理前の画像データを消去し、空いた記録領域を次のＭコマ（２Ｍ＋１〜３Ｍ）の画像データの保存領域とする。

次に、図４を用いて、ステップ２１におけるゲイン印加・加算・比較明合成処理によるブラケット合成画像データの生成にあたって、背景の明るさを一定とし、光跡の明るさを基準、オーバ、アンダとするブラケット合成画像の生成を説明する。

露光時間Ｔで読み出した画像データを比較明合成した画像データを基準の露出として、−１段、０段、＋１段を生成するためには、図４に示すように、連続的に順次読み出した４コマの画像データＲＡＷ１〜ＲＡＷ４に対して、下記の３通りの合成方法の組合せで画像データを生成する。

−１段：合成画像データ４：合成画像データ４＝０．５×（ＲＡＷ１＋ＲＡＷ２＋ＲＡＷ３＋ＲＡＷ４）
０段：合成画像データ５＝比較明合成｛（ＲＡＷ１＋ＲＡＷ２），（ＲＡＷ３＋ＲＡＷ４）｝
＋１段：合成画像データ６＝比較明合成｛２×ＲＡＷ１，２×ＲＡＷ２，２×ＲＡＷ３，２×ＲＡＷ４｝
但し、比較明合成（ＲＡＷ１，ＲＡＷ２，・・・ＲＡＷｎ）は、既述の画像比較合成部１１における比較明合成データの生成処理と同様にして、ＲＡＷ１からＲＡＷｎまで順次に累積的に比較明合成画像データを生成することによって得られた合成画像データを示し、（ＲＡＷ１＋ＲＡＷ２＋・・・＋ＲＡＷｎ）はＲＡＷ１からＲＡＷｎを加算合成して得られた合成画像データを示す。

すなわち、合成画像４は、画像加算合成部１４によってＲＡＷ１〜ＲＡＷ４の画像データの加算合成処理を行って生成した画像に、ゲイン印加部１５によって０．５倍の乗算を施した画像である。また、合成画像５は、ＲＡＷ１とＲＡＷ２を加算した加算画像と、ＲＡＷ３とＲＡＷ４を加算した加算画像を用いて、画像比較合成部１１によって比較明合成し、この比較明合成画像にゲイン印加部１５によって１倍の乗算を施した画像である。また、合成画像６は、画像比較合成部１１によってＲＡＷ１〜ＲＡＷ４に対して比較明合成処理を行った後に、ゲイン印加部１５によって２を乗算した画像である。したがって、合成画像４〜６の背景の明るさはいずれも基準露出の明るさとなる。一方、合成画像４の光跡の明るさは基準露出の１／２倍であり、合成画像６の光跡の明るさは基準露出の２倍となる。なお、合成画像データ５を得るにあたって、ゲイン印加部１５によって１倍の乗算処理を行っているが、この乗算処理を省略してもよい。また、ゲイン印加部１５のゲイン（係数）は、×０．５、×１、×２の組合せ以外にも、例えば、合成画像４の生成時には×１、合成画像５の生成時には×２、合成画像６の生成時には×４等、任意のゲイン値を乗算してもよい（後述する図５の例も同様）。

基準となる露光時間Ｔで読み出した画像データの合成画像データは、合成画像データ５に相当するので、合成前の１コマの露出時間ＴｍをＴ／２に設定し、（ＲＡＷ１＋ＲＡＷ２）および（ＲＡＷ３＋ＲＡＷ４）の合計露光時間がＴとなるようにする。また、−１段、０段、＋１段の３パターンの合成画像データを生成するための合成コマＭは４に設定する。

なお、図４に示した光跡の明るさを変えるブラケット合成データの生成においては、加算合成処理または比較明合成処理を行った後に、ゲイン印加部１５によって係数を乗算していた。しかし、図５に示すように、先にゲインを印加した後、加算合成処理または比較明合成処理を行うようにしてもよい。

すなわち、図５において、合成画像４は、ゲイン印加部１５によってＲＡＷ１〜ＲＡＷ４のそれぞれに０．５倍の乗算を施し、この乗算を施した画像に対して加算合成処理を行って生成した画像である。また、合成画像５は、ＲＡＷ１とＲＡＷ２を加算した加算画像と、ＲＡＷ３とＲＡＷ４を加算した加算画像に対して、ゲイン印加部１５によって１倍の乗算を施し、これらの画像に対して画像比較合成部１１によって比較明合成した画像である。また、合成画像６は、ゲイン印加部１５によって２を乗算した後に、画像比較合成部１１によって比較明合成処理した画像である。

なお、合成画像データ４〜６を生成するにあたって、いずれの合成画像データに対しても、加算合成処理または比較明合成処理を行った後に、係数を乗算し、または係数を乗算した後に、加算合成処理または比較明合成処理を行っていた。しかし、合成画像データ毎に異なる組み合わせを採用してもよい。

撮影シーケンスについては、背景の露出をブラケット合成画像データの生成時と同様の処理を行い、画像データの合成方法（図２のＳ２１における処理）については、図４に従う合成処理を行うことで光跡の明るさを−１段、０段、＋１段とするブラケット合成画像データの生成が可能となる。

また、図３、４に示すように、基準となる合成画像データ２、５の合成処理にあたって、露光時間Ｔは同じであるため、一度の撮影で背景と光跡の両方を、−１段、０段、＋１段に変化させたブラケット撮影を行うことも可能である。すなわち、ステップＳ２１において、両方の画像処理を実行すればよい。図６に背景および光跡の明るさをブラケット合成した合成画像の例を示す。ここで、図６（ａ）は背景の明るさを一定とし、光跡の明るさをブラケット合成した例であり、図６（ｂ）は光跡の明るさを一定とし、背景の明るさをブラケット合成した例である。

以上の本実施形態の説明においては、ブラケット合成として、露出を、−１段、０段、＋１段（１／２倍、１倍、２倍）の３パターンとしていた。しかし、これに限らず、露出パターンを変えることができる。例えば、露出を１／３倍，１倍，３倍でブラケット合成する例について説明する。この場合は、ステップＳ７の合成コマ数Ｍを９とする。

背景の露出を３パターン、すなわち、光跡の明るさを一定とし、背景の明るさを１／３倍、１倍、３倍にするには、下記のようなブラケット合成を行う。

１／３倍：合成画像データ１
＝比較明合成（ＲＡＷ１，ＲＡＷ２，ＲＡＷ３，ＲＡＷ４，ＲＡＷ５，ＲＡＷ６，ＲＡＷ７，ＲＡＷ８，ＲＡＷ９）
１倍：画像合成データ２
＝比較明合成｛（ＲＡＷ１＋ＲＡＷ２＋ＲＡＷ３），（ＲＡＷ４＋ＲＡＷ５，ＲＡＷ６），（ＲＡＷ７＋ＲＡＷ８＋ＲＡＷ９）｝
３倍：画像合成データ３
＝ＲＡＷ１＋ＲＡＷ２＋ＲＡＷ３＋ＲＡＷ４＋ＲＡＷ５＋ＲＡＷ６＋ＲＡＷ７＋ＲＡＷ８＋ＲＡＷ９

次に、光跡の露出を３パターン、すなわち、背景の明るさを一定とし、光跡の明るさを１／３倍、１倍、３倍にするには、下記のようなブラケット合成を行う。

１／３倍：合成画像データ４
＝１／３×（ＲＡＷ１＋ＲＡＷ２＋ＲＡＷ３＋ＲＡＷ４＋ＲＡＷ５＋ＲＡＷ６＋ＲＡＷ７＋ＲＡＷ８＋ＲＡＷ９）
１倍：合成画像データ５
＝比較明合成｛（ＲＡＷ１＋ＲＡＷ２＋ＲＡＷ３），（ＲＡＷ４＋ＲＡＷ５，ＲＡＷ６），（ＲＡＷ７＋ＲＡＷ８＋ＲＡＷ９）｝
３倍：合成画像データ６
＝比較明合成（３×ＲＡＷ１，３×ＲＡＷ２，３×ＲＡＷ３，３×ＲＡＷ４，３×ＲＡＷ５，３×ＲＡＷ６，３×ＲＡＷ７，３×ＲＡＷ８，３×ＲＡＷ９）

以上説明したように、本発明の一実施形態においては、イメージセンサ４から読み出された画像信号を基に生成されたＭコマの画像データ全てを画像加算合成部１４により加算合成し第１合成画像データを生成している（図３の合成画像３参照）。また、イメージセンサ４から連続的に読み出されたＭコマの画像データのうちＮコマの画像データを加算合成部１４により加算合成した加算合成画像データをＮコマ合成し、このＮコマの加算合成データ全てを画像比較合成部１１により比較明合成し第２合成画像データを生成している（図３の合成画像２参照）。さらに、イメージセンサ４から読み出された画像信号を基に生成されたＭコマの画像データ全てを画像比較合成部１１により比較明合成し第３合成画像データを生成している（図３の合成画像１参照）。ここで、Ｍ、Ｎは正の整数であり、ＭはＮの２乗の関係で表せ、Ｎは２以上の正の整数である。このように、本実施形態においては、バルブ撮影中に、明るさの異なるブラケット合成画像を生成している。このためブラケット合成画像の中から画像を選択可能であることから、難易度の高いバルブ撮影の露出失敗を防止し、撮影者の意図に沿った写真の撮影を可能としている。

また、本発明の一実施形態においては、メージセンサから読み出された複数コマの画像データに任意のゲイン値を乗算するゲイン印加部１５を有し、イメージセンサ４から読み出された画像信号を基に生成されたＭコマの画像データ全てを画像加算合成部１４により加算合成して合成画像データを生成し、ゲイン印加部１５により合成画像データに任意のゲイン値を乗算して第１合成画像データを生成している（図４の合成画像４）。また、メージセンサ４から読み出された画像信号を基に生成されたＭコマの画像データのうちＮコマの画像データを画像加算合成部１４により加算合成した加算合成画像データをＮコマ合成し、Ｎコマの加算合成データ全てを画像比較合成部１１により比較明合成して第１比較明合成データを生成し、ゲイン印加部１５により第１比較明合成データに任意のゲイン値を乗算して第２合成画像データを生成している（図４の合成画像５参照）。さらに、イメージセンサ４から読み出された画像信号を基に生成されたＭコマの画像データ全てを画像比較合成部１１により比較明合成して第２比較明合成データを生成し、ゲイン印加部１５により第２比較明合成データに任意のゲイン値を印加して第３合成画像データを生成している（図４の合成画像６参照）。Ｍ、Ｎは正の整数であり、ＭはＮの２乗の関係で表せ、Ｎは２以上の正の整数である。このように、本実施形態においては、バルブ撮影中に、明るさの異なるブラケット合成画像を生成している。このためブラケット合成画像の中から画像を選択可能であることから、難易度の高いバルブ撮影の露出失敗を防止し、撮影者の意図に沿った写真の撮影を可能としている。

なお、本発明の一実施形態においては、基準の露出となる画像に対して、オーバ露出の画像とアンダ露出の画像をそれぞれ１画像ずつ生成していた。しかし、これに限らず、加算処理とゲイン印加処理を組み合わせて、段差の異なるオーバ露出とアンダ露出の画像を２画像以上生成するようにしても勿論かまわない。

また、本発明の一実施形態においては、バルブ撮影中に比較明合成画像を生成すると共に、ブラケット合成画像を同時に生成していた。しかし、ブラケット合成画像は、撮影終了後にユーザが意図する露出の画像を選択する際に使用することから、露出時間Ｔｍ毎に読み出された画像データを全て内部メモリ３３に保存しておき、撮影終了後にブラケット合成画像を生成するようにしてもよい。また、ブラケット合成画像の生成はカメラに限らずＰＣ（パーソナルコンピュータ）等の外部機器で行ってもよい。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、撮影中に繰り返し画像データを読み出すことが可能な機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮像部、２・・・レンズ（絞り）、３・・・メカシャッタ、４・・・イメージセンサ、１０・・・画像処理部、１１・・・画像比較合成部、１４・・・画像加算合成部、１５・・・ゲイン印加部、１６・・・現像処理部、２０・・・システム制御部、２１・・・露光時間算出部、２２・・・露光時間制御部、３１・・・バス、３３・・・内部メモリ、３４・・・露出検出部、３６・・・外部メモリ、３７・・・表示部、２８・・・入力ＩＦ

Claims (4)

1. 複数コマの画像データを保存するメモリと、
   複数コマの画像データを構成する画素データを加算し加算合成画像データを生成する画像加算合成処理部と、
   複数コマの画像データを構成する画素データのそれぞれ対応する画素データを比較し、いずれか大きい方の画素データを新たな画素データとして、比較明合成画像データを生成する比較明合成処理を行う比較明合成処理部と、
   上記メモリから読み出されたＭコマの画像データのうち、任意のＮコマの画像データから、上記画像加算合成処理部によりＬコマの加算合成画像データを生成し、上記比較明合成処理部により比較明合成画像データを生成するように指示する制御部と、
   を具備し、
   上記Ｎと上記Ｌは上記Ｍより小さく、２以上の正の整数であることを特徴とする画像処理装置。
2. さらに、上記画像データに任意のゲイン値を乗算するゲイン部を備え、
   上記制御部は、上記Ｍコマの画像データ、上記Ｌコマの加算合成画像データ、もしくは上記比較明合成画像データのうちの少なくとも１つの画像データに上記ゲイン値を印加するように上記ゲイン部に指示する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. さらに、上記Ｍを設定可能な設定部を備え、
   上記制御部は、上記設定部で設定されたＭに基づき上記比較明合成画像データを生成するように指示を行う、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. メモリからＭコマの画像データを読出し、
   Ｍコマの画像データのうち、任意のＮ（２≦Ｎ＜Ｍ）コマの画像データから、画像データを構成する画素データに加算し、Ｌ（２≦Ｌ＜Ｍ）コマの加算合成画像データを生成し、
   上記Ｌコマの加算合成画像データの画像データを構成する画素データのそれぞれ対応する画素データを比較し、いずれか大きい方の画素データを新たな画素データとして、１コマの比較明合成画像データを生成する、
   ことを特徴とする画像処理方法。