JP2016076869A - 撮像装置、撮影方法、およびプログラム - Google Patents

Abstract

【課題】撮影中に被写体を見ながら、簡単に任意の輝度の軌跡を撮影者の意図にあった開始点と長さに調節可能な撮像装置、撮影方法、およびプログラムを提供する。【解決手段】撮像面に結像された被写体像を光電変換し、複数回の露光毎に分割画像データを取得し、複数の分割画像データを合成して軌跡５７を有する合成画像（ｂ）を生成するにあたって、画素データ毎に、画素データが設定部５１において設定された判定閾値（ＨＬ、ＬＬ）内にあるか否かを判定し、判定結果に応じて画像合成の種類を変更し、所定の被写体のみの軌跡５７を得る。【選択図】 図２

Description

本発明は、デジタルカメラ等の撮像装置において、画像合成によりバルブ撮影画像を生成することが可能であり、かつバルブ撮影中での経過画像を表示することが可能な撮像装置、撮影方法、およびプログラムに関する。

天体撮影等、被写体輝度が暗い被写体を撮影する場合には、露光時間を長くして撮影するバルブ撮影等の撮影技法が従来から知られている。このバルブ撮影等においては、適正露出となる露出時間を設定し難いために、所定の時間間隔で露光した分割露光画像データを逐次取得し、これらの分割露光画像データを多重合成して、適正露出となる１枚の撮影画像を取得する手段が知られている。

一般に、このような被写体像は、被写体像にある被写体輝度の明暗差は大きいものが多いため、例えば撮影者が天体（星）等の主要となる被写体像に対して適正露出になるように多重合成すると、主要な天体以外の被写体像に対しては、露出オーバー等適正露出が得られない場合がある。

この様な多重露光によって取得した複数の画像を合成して適正露出画像を得るための技術が種々提案されている（例えば、特許文献１、２参照）。この特許文献１、２には、所定時間間隔で複数枚の撮影を行って分割露光画像データを取得し、これらの分割露光画像データを画像合成処理する際に、分割露光画像データ毎に比較明合成処理を行うことが開示されている。ここで、比較明合成処理は、２つの画像の画素データを画素毎に比較して、輝度出力が大きい方の画素データを選択して合成処理する技術である。

分割露光画像データを単に加算合成するだけでは、例えば、天体撮影にて星の軌跡を撮影する際に、通常の長秒露光撮影では星以外にビルなどが背景として存在する場合には、ビルの明るい部分が白飛びしてしまう。これに対して、比較明合成処理を行う場合には、単純に画素値が加算されないことからビルは一定の明るさとなり、ビルが適正露光でありながら星の軌跡を撮影することが可能となる。

特許第４５６５５０４号公報 特許第４１４８５８６号公報

上述した比較明合成処理を採用することにより、背景の明るい部分も適正露光の合成画像を得ることが可能となる。しかしながら、撮影者の意図は様々である。例えば、天体撮影等では、主要被写体である星や花火の光の軌跡を明確にしたい等の意図している場合がある。さらに、主要被写体である星や花火の光の軌跡の内、ある特定の明るさ領域にある星や花火の光に対して光の軌跡を記録にしたい等の意図が生じる場合もある。

これに対して、前述の特許文献に記載の技術を用いて、主要被写体である星や花火の光の軌跡と背景（夜空など）を、それぞれ撮影者の意図に沿って撮影するには、露出（絞り、感度）を調整して撮影する必要がある。この調整には、撮影経験が必要であり、また何度かの試写が必要となる。また、露出の調整によって、暗い星を消していくことはできるが、逆に明るい星を消すことはできない。

例えば、複数の天体（星）が点在しているような天体像（図１２（ａ）参照）に対して普通の比較明合成をすると、全ての星の軌跡が撮影されてしまう（図１２（ｂ）参照）。図１２（ｂ）に示すような比較明合成画像では、注目したい領域の星の軌跡以外にも、多数の星の軌跡が撮影されてしまい、撮影画像全体に、星の軌跡が交錯して残るようなうるさい画像となってしまう。

本発明は、このような事情を鑑みてなされたものであり、撮影中に被写体を見ながら、簡単に任意の輝度の軌跡を撮影者の意図にあった開始点と長さに調節可能な撮像装置、撮影方法、およびプログラムを提供することである。

上記目的を達成するため第１の発明に係る撮像装置は、撮像面に結像された被写体像を光電変換し、複数回の露光毎に分割画像データを取得する撮影制御部と、上記分割画像データの画素データ毎に、所定の判定閾値内にあるか否かを判定する判定部と、上記分割画像データの画素データ毎に、第１の画像合成または第２の画像合成を行う画像合成部と、上記判定部の判定結果に基づいて、上記第１の画像合成または第２の画像合成のいずれかを選択し、この選択に従って上記画像合成部において画素データ毎に画像合成を行い、合成画像データを生成する画像合成制御部と、上記画像合成制御部による制御によって生成された上記合成画像データを記録する記録部と、を有する。

第２の発明に係る撮像装置は、上記第１の発明において、上記第１の画像合成は、上記分割画像データの画素データと、上記合成画像データの画素データの輝度出力を比較し、輝度出力が大きい方の画素データを選択し、新たな合成画像データとして合成処理を行い、上記第２の画像合成は、上記分割画像データの画素データと、上記合成画像データの画素データの輝度出力を比較し、輝度出力が小さい方の画素データを選択し、新たな合成画像データとして合成処理を行う。

第３の発明に係る撮像装置は、上記第１の発明において、上記分割画像データの画素データと、上記合成画像データの画素データを、それぞれ保持するメモリ部を有し、上記判定部は、上記分割画像データの画素データの輝度出力と、上記合成画像データの画素データのそれぞれについて、所定の判定閾値内にあるか否かを判定し、上記画像合成制御部は、上記分割画像データに関する判定結果および上記合成画像データの判定結果に基づいて上記第１の画像合成または第２の画像合成のいずれかを選択する。

第４の発明に係る撮像装置は、上記第１の発明において、上記判定閾値を設定するための操作部を有し、上記判定部は、上記操作部によって設定された判定閾値に基づいて判定を行う。
第５の発明に係る撮像装置は、上記第４の発明において、複数回の露光毎に、上記分割画像データを記憶するメモリを有し、複数の露光を行っている際に、上記操作部によって新たな判定閾値が設定された場合には、上記画像合成制御部は、上記メモリに記憶されている複数回の露光毎の分割画像データに対して、新たな判定閾値を用いて、合成処理を再度行う。

第６の発明に係る撮像装置は、上記第１の発明において、上記画像合成制御部によって上記合成画像データが生成される毎に、上記合成画像が更新表示される表示部を有する。
第７の発明に係る撮像装置は、上記第１の発明において、上記合成画像データに基づいて合成画像を表示する表示部を有し、上記表示部は、上記合成画像に、上記判定部によって所定の判定閾値内にあると判定された位置を重畳表示する。

第８の発明に係る撮影方法は、撮像面に結像された被写体像を光電変換し、複数回の露光毎に分割画像データを取得する撮像ステップと、上記分割画像データの画素データ毎に、所定の判定閾値内にあるか否かを判定する判定ステップと、上記判定ステップの判定結果に基づいて、第１の画像合成または第２の画像合成のいずれかを選択し、この選択に従って画素データ毎に画像合成を行い、合成画像データを生成する画像合成ステップと、上記画像合成ステップにおいて生成された上記合成画像データを記録する記録ステップと、を有する。

第９の発明に係るプログラムは、被写体像を光電変換し、複数回の露光毎に分割画像データを取得する撮像ステップと、上記分割画像データの画素データ毎に、所定の判定閾値内にあるか否かを判定する判定ステップと、上記判定ステップの判定結果に基づいて、第１の画像合成または第２の画像合成のいずれかを選択し、この選択に従って画素データ毎に画像合成を行い、合成画像データを生成する画像合成ステップと、上記画像合成ステップにおいて生成された上記合成画像データを記録する記録ステップと、をコンピュータに実行させる。

本発明によれば、撮影中に被写体を見ながら、簡単に任意の輝度の軌跡を撮影者の意図にあった開始点と長さに調節可能な撮像装置、撮影方法、およびプログラムを提供することができる。

本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係るカメラにおいて、天体撮影を行った場合の合成画像を示す図である。 本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの画像合成処理の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの画像合成処理の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの表示処理の動作を示すフローチャートである。 本発明の第２実施形態に係るカメラにおいて、天体撮影を行った場合の合成画像を示す図である。 本発明の第２実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第２実施形態に係るカメラの画像合成処理の動作を示すフローチャートである。 本発明の第２実施形態に係るカメラの画像合成処理の動作を示すフローチャートである。 本発明の第２実施形態に係るカメラの画像合成処理の動作を示すフローチャートである。 従来の比較明合成による天体の撮影画像を示す図である。

以下、本発明の好ましい実施形態としてデジタルカメラに適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、このカメラは、バルブ撮影の際に所定時間間隔で露光を行い（この露光を分割露光と称す）、この分割露光によって取得した分割露光画像データを用いて画像合成を行う。この画像合成にあたって、画素データと撮影者の手動操作によって入力した閾値に応じて比較明合成と比較暗合成（または平均加算合成）等の画像合成の処理を変更する。この画像処理の変更によって、撮影者の意図に沿った画像を得ることが可能となる（例えば、図２、図７等参照）。

まず、図１ないし図６を用いて本発明の第１実施形態について説明する。本実施形態においては、撮影者の操作によって輝度レベルの範囲を指定し、画素データと輝度レベルの範囲を比較し、この比較結果に基づいて、比較明合成または比較暗合成（または平均加算合成）の変更を行う。

図１は、本実施形態に係るカメラ１００の主として電気的構成を示すブロック図である。このカメラは、撮影レンズ１、絞り機構３、シャッタ５、撮像素子７、制御部１０、バス１１、ＡＥ処理部１３、ＡＦ処理部１５、表示部１７、電源部１９、画像処理部２０、入力部３０、検知部４１、メモリ部４３を有している。なお、撮影レンズ１および絞り機構３を含むレンズ鏡筒は、カメラ本体と一体に構成してもよく、また交換式レンズ鏡筒として構成してもよい。

撮影レンズ１は、ズームレンズやフォーカスレンズ等の複数の光学レンズを含み、光学像を撮像素子７の撮像面に結像させる。ズームレンズやフォーカスレンズを光軸方向に沿って移動させる駆動機構を有し、後述するＡＦ処理部１５の出力に基づいて制御部１０がピントのためにフォーカスレンズ位置を制御する。

絞り機構３は、撮影レンズ１の光路中に配置され、開閉自在に構成され、撮像素子７に入射する撮影光束の光量を調整するために、開口径が変化する。絞り機構３の開口径は制御部１０によって駆動制御される。すなわち、ＡＥ処理部１３の出力に基づいて制御部１０が適正露光にするために絞り値を制御する。

シャッタ５は、撮影レンズ１の光路中に配置され、撮像素子７の撮像面を遮光状態または露光状態に切り替えるように構成されている。このシャッタ５により、撮像素子７の露光時間が調整される。シャッタ５の開口時間（露光時間）は、ＡＥ処理部１３の出力に基づいて制御部１０によって制御される。

撮像素子７は、撮影レンズ１によって集光された被写体からの撮影光束が結像される撮像面を有している。撮像素子７の撮像面には、複数の画素が二次元状に配置され、また入射面側にカラーフィルタが設けられている。撮像素子７の各画素は、撮像面に結像された撮影光束に対応した光像（被写体像）を、その光量に応じたアナログ画像信号に変換する。このアナログ画像信号は、Ａ／Ｄ変換器（不図示）によってデジタル信号（アナログ画像に信号に対応したデジタル信号を、単に「画像データ」と称する）に変換され、バス１１に出力される。

バス１１は、各種データを送受信するためのバスラインである。ＡＥ処理部１３は、バス１１を介して画像データを入力し、この画像データから被写体輝度情報を抽出し、制御部１０は、被写体輝度情報に基づいて、露出レベルが適正になるようなシャッタ５における露出時間や、絞り機構３における絞り値を演算する。

ＡＦ処理部１５は、バスを介して画像データを入力し、この画像データの空間周波数の高周波成分の強度に関係するコントラスト値に基づいて、被写体のピント状態を検出する。この検出結果に基づいて制御部１０は、前述したように、撮影レンズ１のピント位置を調節する。

画像処理部２０は、合成処理部２１、現像処理部２３、表示処理部２５を有する。合成処理部２１は、比較明合成部２１ａ、比較暗合成部２１ｂ、加算・平均処理部２１ｃ、画素選択部２１ｄを有し、バス１１を介して入力した画像データと検知部４１の検知結果に基づいて、比較合成、平均合成、加算処理等の合成処理を行い、画像データを生成する。合成処理部２１は、分割画像データの画素データ毎に、第１の画像合成または第２の画像合成を行う画像合成部としての機能を果たす。

比較明合成部２１ａは、対応する画素の画素データを比較し、画素データの大きい方を選択して画像を合成する。比較明合成部２１ａは、言い換えると、分割画像データの画素データと、上記合成画像データの画素データの輝度出力を比較し、輝度出力が大きい方の画素データを選択し、新たな合成画像データとして合成処理を行う（第１の画像合成ともいう）。

比較暗合成部２１ｂは、対応する画素の画素データを比較し、画素データの小さい方を選択して画像を合成する。なお、比較明合成部２１ａおよび比較暗合成部２１ｂは、対応する画素の画素データの差分値が閾値以上の場合のみ、画素データの大きい方または小さい方を選択するようにしてもよい。比較暗合成部２１ｂは、言い換えると、上記分割画像データの画素データと、上記合成画像データの画素データの輝度出力を比較し、輝度出力が小さい方の画素データを選択し、新たな合成画像データとして合成処理を行う（第２の画像合成ともいう）。

加算平均処理部２１ｃは、対応する画素の画素データの平均値で画像を合成する。画素選択部２１ｄは、バス１１を介して入力した画像データの中から、順次、画素データを選択する（後述する図５のＳ５１〜Ｓ６１を参照）。

現像処理部２３は、合成処理部２１で生成された画像データまたは表示処理部２５で生成された画像データに対して、諧調変換処理、ホワイトバランス調整、エッジ処理、広ダイナミックレンジ画像データの合成処理等の各種画像処理を行う。この現像処理部２３は、の各種画像処理が施された画像データをバス１１に出力する。

表示処理部２５は、バス１１を介して入力した画像データまたは合成処理部２１で生成された画像データと、検知部４１で行われた処理データを元に表示用画像処理を行い、画像データを生成し、バス１１に出力する。

表示部１７は、カメラ本体の背面等に配置されたＬＣＤパネルや有機ＥＬパネル等の表示パネル、および／または電子ビューファインダ等の表示モニタを有する。表示部１７は、現像処理部２３で生成され、また表示処理部２５で表示処理された画像データに基づいて被写体像を表示し、またその他の情報を表示する。

表示部１７は、画像合成制御部によって合成画像データが生成される毎に、合成画像が更新表示される表示部として機能する（例えば、図３のＳ１７、図６参照）。また、表示部１７は、合成画像データに基づいて合成画像を表示する表示部として機能し、この表示部は、合成画像に判定部によって所定の判定閾値内にあると判定された位置を重畳表示する（例えば、図２の枠５５、図６のＳ７３参照）。電源部１９は、カメラ全体に電源を供給する。

入力部３０は、釦／ダイヤル３１、傾きセンサ３３、ＧＰＳ（Global Positioning System）３５、タイマ３７、タッチセンサ３９を含み、カメラの各種モード設定やレリーズ操作等の各種操作を入力し、またカメラの向き、場所、時間等の情報を得る。すなわち、釦／ダイヤル３１は、パワースイッチ、レリーズ釦、モードダイヤル、十字釦等の各種操作部材である。また傾きセンサ３３は、カメラの傾き状態を検出する。ＧＰＳ３５は、カメラの現在位置を検出する。タイマ３７は計時動作を行い、また年月日等の現在時に関する情報を出力する。タッチセンサ３９は、表示部１７の表示パネル等の前面等に配置され、撮影者のタッチ操作等を検出する。

検知部４１は、入力部３０からの情報に基づいて、検知処理を行う。具体的には入力部３０における各操作入力部材等からの操作入力信号に基づいて、操作入力の種類を検知する。一例としてタッチセンサ３９からの操作入力では、表示部１７に出力された画像出力に対して、撮影者が指示した画像領域の位置を検出したり、表示部１７に出力される設定操作入力表示に対して、撮影者が指示された位置等を検出する。

メモリ４３は、種々のプログラム及び撮影者設定のデータ等を格納する。またメモリ４３は撮像素子７から読み出された画像データを一時的に記憶し、また画像処理部２０における各種処理のワークメモリとして利用される。また記録用に処理された画像データを記録する。この記録用の画像データはカードメモリ等の不揮発性のメモリで、カメラに対して着脱可能となっている。メモリ４３は、画像合成制御部による制御によって生成された合成画像データを記録する記録部として機能する（例えば、図３のＳ２１参照）。

制御部１０は、ＣＰＵ等のプロセッサ等を有し、メモリ４３に記憶されたプログラムに従って、カメラ内の各部の制御を行う。この制御部１０は、例えば、撮影における露光量を制御したり、撮像タイミングを制御したりする撮像制御部としての機能を有する。また、Ａ／Ｄ変換制御部の一部を構成する。また撮影レンズ１を合焦位置に駆動させる制御を行う。また絞り機構３が所定の開口径になるように制御を行う。またシャッタ５の露光時間の制御を行う。

また、制御部１０は、撮像素子７と協働して、撮像面に結像された被写体像を光電変換し、複数回の露光毎に分割画像データを取得する撮影制御部としての機能を果たす（例えば、図３のＳ３〜Ｓ９参照）。また、制御部１０は、分割画像データの画素データ毎に、所定の判定閾値内にあるか否かを判定する判定部としての機能を果たす（例えば、図４のＳ３１、Ｓ３３、Ｓ３７参照）。また、制御部１０は、合成処理部２１と協働して、判定部の判定結果に基づいて、第１の画像合成または第２の画像合成のいずれかを選択し、この選択に従って画像合成部において画素データ毎に画像合成を行い、合成画像データを生成する画像合成制御部として機能を果たす（例えば、図４のＳ３５、Ｓ３９、Ｓ４１参照）。

次に、図２を用いて、本実施形態における操作画面と合成画像（経過画像）について、説明する。図２（ａ）は、天体撮影を行うためにライブバルブモードを設定した際に、表示部１７に表示されるライブビュー画像を示す。この例では、多数の星５３と共に背景（山、塔、家等）が表示されている。また、画面の左下に輝度範囲設定用の設定部５１が表示される。

輝度範囲設定用の設定部５１には、左側に輝度が示されており、撮影者は、撮影時に記録したい輝度範囲の上限閾値ＨＬと下限閾値ＬＬを、十字釦やタッチパネル等によって設定する。輝度範囲の上限閾値ＨＬと下限閾値ＬＬを設定すると、後述するように、本実施形態においては、輝度範囲に入る被写体（この例では、星５３）を枠５５で識別できるように表示する。

図２に示す例では、撮影者によって設定部５１において、中程度の輝度範囲が設定され、この範囲の輝度の被写体の移動軌跡が描かれるように画像合成が行われる（図２（ｂ）参照）。このため、全ての移動体（星５３）の移動軌跡ではなく、設定部５１によって設定された範囲の明るさの移動体の移動軌跡を描くような合成画像となり、撮影者の意図する画像を得ることができる。

次に、図３ないし図６に示すフローチャートを用いて、本実施形態の動作を説明する。これらのフローチャート（後述する図８ないし図１０に示すフローチャートも含めて）は、制御部１０がメモリ４３に記憶されているプログラムに従って実行する。このフローチャートにおいては、複数枚の分割露光の画像データを取得し、複数枚の分割露光画像データの合成処理を行うことによって、１枚のバルブ撮影画像データを生成する多重露光撮影作用に特化して説明する。

撮影者がレリーズ釦を操作することにより、露光開始処理を開始する。露光開始処理として、まず、露光準備（ＡＦ／ＡＥ）を行う（Ｓ１）。ここでは、撮像素子７から取得した撮影画像（ライブビュー画像）に基づいてＡＦ処理部１５がピント情報を取得する。取得したピント情報に基づいて、制御部１０が撮影レンズ１中の焦点調節用のフォーカスレンズの位置が合焦位置となるようにオートフォーカス制御する（ＡＦ処理）。

また、ＡＥ処理部１３は、撮像素子７から取得した撮影画像（ライブビュー画像）に基づいて被写体輝度情報を取得する。取得した被写体輝度情報に基づいて、絞り機構３に設定する絞り量と、シャッタ５に設定する露出時間を算出する。制御部１０は、算出された絞り量に基づいた開口絞り量となるように、絞り機構３に対して、開口絞り位置を制御する（自動露出制御（ＡＥ）処理）。

なお、バルブ撮影時には、撮影者がシャッタ釦を押し込むとシャッタ５が開放され露光を開始し、またシャッタ釦の押し込みを解除する（または再度シャッタ釦を押し込む）と、シャッタ５が閉じられて露光が終了する。なお、後述するように、比較明合成等の多重露光合成を伴うバルブ撮影時においては、露光開始から露光終了のまでの間、撮影者が手動設定または輝度に応じて自動設定された分割露光時間が経過するたびに、撮像素子７から画像データを繰り返し読み出し、画像データがバス１１に出力される。

ステップＳ１において露光準備を行うと、次に、露光を開始する（Ｓ３）。ここでは、シャッタ５を開口させ、撮影レンズ２を通過した被写体像を撮像素子７の撮像面に入射させる。また、露光を開始すると同時に、タイマ３７をリセットし、計時動作を開始する。

ステップＳ３において露光を開始すると、次に、設定された露光時間に達したか否かを判定する（Ｓ５）。ステップＳ３において露光を開始すると、手動設定または自動設定された分割露光時間が経過した否かをタイマ３７の計時情報に基づいて判定する。この判定の結果、露光時間が経過していない場合には、再度、ステップＳ５の判断処理に戻る。

ステップＳ５における判定の結果、設定された露光時間に達すると、露光を終了し（Ｓ７）、撮像素子７より画像データを読み出し、画像ｎとしてメモリ４３に保持する（Ｓ９）。ここでは、撮像素子７の露光を終了し、画像データを読み出す。ｎは、分割露光画像の撮影順番を示し、ｎ＝１が最初の画像であり、以後、分割露光を行うたびに、ｎに１ずつ加算する（ｎ：分割露光して順次得られたｎ番目の分割露光画像データ、ｎ＝１、２、・・・、初期値は１）。なお、露光の終了は撮像素子７の電子シャッタまたはシャッタ５によって行うようにしてもよい。

ステップＳ９において、画像データをメモリ４３に保持すると、次に、画像ｎは１枚目か否かを判定する（Ｓ１１）。前述したように、最初の分割画像に対してはｎ＝１である。画像が１枚目の場合には保持し、画像が２枚目以降の場合には、画像合成を行う。

ステップＳ１１における判定の結果、画像ｎは１枚目の場合には、画像ｎを画像ｍに移行する（Ｓ１３）。ここでは、ステップＳ９において読み出した分割画像の分割露光画像データを、メモリ４３に画像ｍ（経過画像）として一時記憶する。

一方、ステップＳ１１における判定の結果、画像ｎが１枚目でない場合には、画像合成処理を行う（Ｓ１５）。ここでは、画像が２枚目以降であることから、合成処理部２１によって画像合成を行う。後述するように、画像ｎとして一時記憶された分割露光画像データの画素データと、画像ｍとして一時記憶されている経過画像の画像データの画素データについて、図２の設定部５１において設定した輝度範囲と画素データを、それぞれ対応する画素データ毎に比較し、比較結果に基づいて、比較明合成または比較暗合成（または平均加算合成）を行い、合成された経過画像を画像ｍとして一時記憶する。この画像合成処理の詳しい動作については、図４、図５を用いて後述する。

ステップＳ１３において画像ｎを画像ｍに移行すると、またはステップＳ１５において画像合成処理を行うと、次に、表示処理を行う（Ｓ１７）。ここでは、現像処理部２３および表示処理部２５が、ステップＳ１３において格納された初期画像の画像データ、またはステップＳ１５において合成処理された経過画像の画像データに対して、表示用の処理を行い、表示部１７に初期画像または経過画像を表示する。この表示処理の詳しい動作については、図６を用いて後述する。

ステップＳ１７において、表示処理を行うと、次に、撮影終了の判定、すなわち、撮影者が撮影終了動作を行ったか否かの判定を行う（Ｓ１９）。ここでは、入力部３０がレリーズ釦等の操作部材の操作状態に基づいて判定する。この判定の結果、撮影終了動作が行われていない場合には、ステップＳ３に戻り、次の分割露光、画像合成処理、経過画像の表示等の動作を繰り返す。

一方、ステップＳ１９における判定の結果、撮影終了動作が行われた場合には、画像ｍを画像処理し、保存する（Ｓ２１）。ここでは、画像処理部２０によって画像合成・現像処理等がなされ、画像ｍとして格納されている経過画像の画像データを最終的な撮影画像データとして、メモ４３に保存する。画像データを保存すると、撮影動作を終了する。

次に、図４および図５を用いて、ステップＳ１５における画像合成処理について説明する。なお、このフローチャートの説明にあたって、画像ｎを、ｎ回目に撮影された分割露光画像データＩｎとし、画像ｍを、ｍ回目に撮影されて合成処理された合成画像データＳｍとする。分割露光画像データＩｎ、合成画像データＳｍには、それぞれ２次元となる画像の座標（Ｘ，Ｙ）に対応した画素から得られた画素の輝度出力Ｉｎ（Ｘ、Ｙ）、およびＳｍ（Ｘ，Ｙ）を含んでいる。

また、合成処理部２１における合成処理の種類を判別する状態変数として、「比較明フラグ」が設定される。この変数は、１または０の値が設定され、比較明フラグに１が設定される場合は、合成処理部２１は、比較明合成処理部２１ａによって比較明による合成処理を行う。一方、比較明フラグに０が設定される場合は、合成処理部２１は、比較暗合成処理部２１ｂまたは加算・平均処理部２１ｃによる合成処理を行う。

図４の画像合成処理のフローに入ると、まず、画像ｍの画素データと設定出力との比較を行い、比較明フラグの状態設定を行う（Ｓ３１）。すなわち、設定出力２＞画像ｍの画素（Ｘ，Ｙ）の出力＞設定出力１、または設定出力２＞画像ｎの画素（Ｘ，Ｙ）の出力＞設定出力１の場合に比較明フラグ＝１とし、違う場合に比較明フラグ＝０とする。ここで、設定出力１は、図２（ａ）における設定部５１の輝度範囲の下限値ＬＬに相当し、設定出力２は輝度範囲の上限値ＨＬに相当する。

このステップＳ３１においては、分割露光画像データＩｎ、合成画像データＳｍのそれぞれ２次元（Ｘ，Ｙ）の輝度出力、画素出力ごとに比較して、各画素に対して行う合成処理の種類（比較明合成、比較暗合成等）を判別する。ここでは、分割露光画像データＩｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データＳｍにある各画素の輝度出力Ｓｍ値（Ｘ，Ｙ）との値を所定の判定条件に基づいて判定する。ここで所定の判定条件とは、比較明フラグ＝１にセットされる場合（つまり、合成処理の種類として、比較明合成が選択される場合）の条件を示している。

判断条件の閾値として、所定の画素出力の上限値（ステップＳ７１における設定出力２で示す値、図２（ａ）の上限値ＨＬ）と、所定の画素出力の下限値（ステップＳ７１における設定出力１で示す値、図２（ａ）の下限値ＬＬ）とからなる判定閾値がある。この所定の画素出力の上限値と下限値とからなる判定閾値は、撮影者によって表示画面（図２（ａ）の設定部５１参照）において、設定される。

ステップＳ３１においては、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データｍにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との値とのそれぞれの出力値が、所定の画素出力の下限値（設定出力１で示す値、下限値ＬＬ）から、上限値（設定出力２で示す値、上限値ＨＬ）で示される範囲にあるかどうかを判断する。

上述の判断条件を満たす場合は、後に行う合成処理の種類は、比較明合成処理部２１ａを選択する（このステップでの出力として、比較明フラグ＝１にセットされる）。これらの判定を、２次元に配置されている画素（Ｘ、Ｙ）毎に判定する。一例として、最初にＸ＝０、Ｙ＝０の座標に対応した双方の画像出力を判定する。次にＸ方向での分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データｍにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との値とを比較して判定する。また別の方法として、まずＸ方向に対象となる画像出力を移動させて、比較判断を行い、次にＹ方向（垂直方向）での双方の画像出力を比較判定する順番で処理を進める。したがって、列ライン方向（Ｘ方向）を最初に逐次比較する場合か、行カラム方向（Ｙ方向）を最初に逐次比較する方法のどちらの方法を採用しても構わない。

このように、ステップＳ３１では、画像ｍとして記憶された画像データと、画像ｎとして記憶された画像データについて、各座標（Ｘ，Ｙ）での画素出力に対して、上述の判定条件に基づいて、合成処理部２１の判定結果情報である比較明フラグの値を設定する。ステップＳ３１において、比較明フラグの設定を行うと、ステップＳ３３以下において、比較明合成、あるいは比較暗合成、または置き換えなのかを、比較明フラグの状態に基づいて判定し、判定結果に基づいて合成処理を行う。

まず、画像ｍ、画像ｎの両方が比較明フラグ＝１であるか否かの判定を行う（Ｓ３３）。ここでは、ステップＳ３１において、画素毎に設定された比較明フラグに基づいて、画素毎に判定する。

ステップＳ３３における判定の結果、画像ｍと画像ｎの両方の比較明フラグ＝１であった場合には、画像ｍと画像ｎの両方について、比較明合成を行う（Ｓ３５）。すなわち、画像ｍの画素（Ｘ，Ｙ）の出力は、画像ｎの画素（Ｘ，Ｙ）の出力と画像ｍの画素（ｘ、ｙ）の出力の大きい方とする。この合成処理は、比較明合成処理部２１ａが行う。

ステップＳ３５における比較明合成処理は、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データｍにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との値とに対して、比較明合成処理によって合成処理を行い、新たにｍ＋１番目に生成された合成画像データＳｍ＋１（Ｘ，Ｙ）を生成する。具体的には、合成処理後の画像データＳｍ＋１（Ｘ，Ｙ）は、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、ｍ回目の合成処理された画像データにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との出力とを比較して、出力の大きい方の出力値とする。

一方、ステップＳ３３における判定の結果、画像ｍ、画像ｎの両方が比較明フラグ＝１でなかった場合には、次に、画像ｍ、画像ｎの両方が比較明フラグ＝０であるか否かの判定を行う（Ｓ３７）。ここでは、ステップＳ３１において、画素毎に設定された比較明フラグに基づいて、画素毎に判定する。

ステップＳ３７における判定の結果、画像ｍと画像ｎの両方の比較明フラグ＝０であった場合には、画像ｍと画像ｎの両方を用いて、比較暗合成（または平均加算処理）を行う（Ｓ３９）。すなわち、画像ｍの画素（Ｘ，Ｙ）の出力は、画像ｎの画素（Ｘ，Ｙ）の出力と画像ｍの画素（Ｘ，Ｙ）の出力の小さい方（もしくは平均）とする。この合成処理は、比較暗合成処理部２１ｂまたは加算平均処理部２１ｃが行う。

ステップＳ３９における比較暗合成は、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データＳｍにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との値とに対して、比較暗合成処理または平均化合成処理によって合成処理を行い、新たにｍ＋１番目に生成された合成画像データＳｍ＋１（Ｘ，Ｙ）を生成する。

具体的には、合成処理後の画像データＳｍ＋１（Ｘ，Ｙ）は、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、ｍ回目の合成処理された画像データにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との出力とを比較して、出力の小さい方の出力値、あるいは、両者（Ｉｎ（Ｘ、Ｙ）とＳｍ（Ｘ，Ｙ））の平均値とする。

ステップＳ３７における判定の結果、画像ｍと画像ｎの両方の比較明フラグ＝０であった場合には、画素の置き換え処理を行う（Ｓ４１）。すなわち、画像ｍの画素（Ｘ，Ｙ）の出力は、画像ｍ、画像ｎの比較明フラグ１が立っている画像の画素（Ｘ，Ｙ）の出力とする。

ステップＳ４１における画素の置き換え処理は、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データＳｍにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との値とに対して、比較明フラグ１が立った画像の輝度出力値を新たにｍ＋１番目に生成された合成画像データＳｍ＋１（Ｘ，Ｙ）を生成する。

具体的には、合成処理後の画像データＳｍ＋１（Ｘ，Ｙ）は、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、ｍ回目の合成処理された画像データにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との出力とで比較明フラグ１の輝度出力値とする。

ステップＳ３５、Ｓ３９、Ｓ４１において合成処理を行うと、次に、Ｘが最大か否かを判定する（Ｓ５１）。ここでは、画素のＸ方向の座標が、撮影画像サイズの最大値となっているか否かを判定する。

ステップＳ５１における判定の結果、Ｘが最大の場合には、Ｘ＝Ｘ＋１とする（Ｓ５３）。この場合には、Ｘ方向（水平方向）の端に達していないことから、画素のＸ座標に１を加算し、Ｘ方向の座標を１つずらして、ステップＳ３１に戻り、１つずらした画素に対して、前述した比較明フラグの判定を行い、合成処理を行う。

一方、ステップＳ５１における判定の結果、Ｘが最大の場合には、Ｘ＝０とする（Ｓ５５）。この場合には、Ｘ方向（水平方向）の端に達したことから、Ｘの座標位置をリセットする。

ステップＳ５５において、Ｘ＝０とすると、次に、Ｙが最大か否かを判定する（Ｓ５７）。ここでは、画素のＹ方向の座標が、撮影画像サイズの最大値となっているか否かを判定する。

ステップＳ５７における判定の結果、Ｙが最大の場合には、Ｙ＝Ｙ＋１とする（Ｓ５９）。この場合には、Ｙ方向（垂直方向）の端に達していないことから、画素のＹ座標に１を加算し、Ｙ方向の座標を１つずらして、ステップＳ３１に戻り、１つずらした画素に対して、前述した比較明フラグの判定を行い、合成処理を行う。

一方、ステップＳ５７における判定の結果、Ｙが最大の場合には、Ｙ＝０とする（Ｓ６１）。この場合には、Ｙ方向（垂直方向）の端に達したことから、Ｙの座標位置をリセットする。なお、画素座標（Ｘ，Ｙ）のリセットは、このステップにおいて行う以外にも、画像合成処理の最初に行ってもよい。Ｙの座標位置をリセットすると、画像合成処理のフローを終了し、元のフローに戻る。

このように本実施形態における画像合成処理においては、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データｍにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）を用いて、２次元での画像データ内の座標（Ｘ，Ｙ）毎に合成処理を行う。

また、本実施形態においては、分割画像データの画素データと、合成画像データの画素データを、それぞれ保持するメモリ部（メモリ４３）を有しており、分割画像データの画素データの輝度出力と、合成画像データの画素データのそれぞれについて、所定の判定閾値内にあるか否かを判定し（例えば、図４のＳ３１、Ｓ３３、Ｓ３７）、分割画像データに関する判定結果および合成画像データの判定結果に基づいて第１の画像合成または第２の画像合成のいずれかを選択している（例えば、図４のＳ３５、Ｓ３７）。

また、本実施形態においては、判定閾値を判定するための操作部を有しており（入力部３０、図２の設定部５１参照）、操作部によって設定された判定閾値に基づいて判定を行っている（例えば、図４のＳ３１参照）。

なお、ステップＳ３１において、所定の画素出力の上限値（設定出力２で示す値）と、所定の画素出力の下限値（設定出力１で示す値）とからなる判定閾値は、ステップＳ１にある撮影初期状態に設定された値で固定されるものとは限らない。撮影途中で（ステップＳ３~Ｓ１９）、設定値（上限値、下限値）が入力部３０の操作によって変更された場合には、判定閾値を変更し、この変更された設定値を用いて合成画像（経過画像）を生成する。

本実施形態においては、撮影途中に設定値を可変させることができる。すなわち、この場合には、比較明合成される領域（画素）は連続撮影する取り込み画像（分割画像）毎に更新されるので、撮影途中から、撮影者が所望となる被写体領域に対する軌跡を増やしたり、減らしたりできる。

次に、図６に示すフローチャートを用いて、ステップＳ１７（図３参照）における表示処理の動作について説明する。このフローでは、撮影途中の途中経過画像を表示部１７に表示するために、表示用画像Ｚを生成し、また、この表示用画像Ｚに関連した表示処理を行う。

表示処理のフローに入ると、まず、画像ｍの画素（Ｘ，Ｙ）の比較明フラグが１であるか否かを判定する（Ｓ７１）。ここでは、表示対象画像を生成するにあたり、合成された後の合成画像データの各画素（Ｘ，Ｙ）に対して、合成処理が比較明合成されたものであるのか否かを判別する。具体的には、画素データの座標（Ｘ，Ｙ）に対応する比較明フラグの状態が１か０であるかを判定する。

ステップＳ７１における判定の結果、比較明フラグが１であった場合には、比較明合成を行ったことが識別できる特殊な画像処理を行う（Ｓ７３）。すなわち、画像ｍのその画素の周辺もしくはその画素を特殊な画像処理を行い、それを表示用画像Ｚに採用する。この場合には、対象となる画素でのデータは、比較明合成処理をされた画素であるため、合成処理された画像データＳｍ（Ｘ，Ｙ）と、この座標（Ｘ，Ｙ）の周辺にあたる領域を示す画像を重畳処理した表示画像データを生成する（図２（ａ）の枠５５参照）。

一方、ステップＳ７１における判定の結果、比較明フラグが１でなかった場合には、通常の画像処理を行い、それを表示用画像Ｚに採用する（Ｓ７５）。この場合には、対象となる画素でのデータは、比較暗または平均化合成処理をされた画素であるため、合成処理された画像データＳｍ（Ｘ，Ｙ）に対して、そのまま表示画像Ｚを生成する（ステップＳ７３のように領域を示す付加画像は重畳されない）。

ステップＳ７３またはＳ７５において表示用画像Ｚの画像データを生成すると、ステップＳ７７〜Ｓ８７において、画素のＸ座標とＹ座標を順次変更しながら移動する。この座標の移動は、前述したステップＳ５１〜Ｓ６１と同様であることから、詳しい説明を省略する。

ステップＳ７７〜Ｓ８７において、Ｘ座標とＹ座標を順次変更しながら、画像ｍの全画素について、表示用画像Ｚの画像データを生成すると、次に、表示用画像Ｚを表示する（Ｓ８９）。ここでは、生成された表示用画像Ｚの画像データに基づいて、表示部１７に経過画像を表示する。撮影者は、この経過画像を見ることにより、時間と共に変化する撮影画像を観察することができる。この場合、前述したように、撮影途中に設定値を可変させることにより、撮影者が所望となる被写体領域に対する軌跡を増やしたり、減らしたりできる。

このように、本発明の第１実施形態においては、判定用閾値としの設定出力１、２を用いて、画素毎の合成処理を選択していた（特に、図４のＳ３１〜Ｓ４１参照）。このため、簡単に任意の輝度の軌跡を撮影者の意図にあった開始点と長さに調節することができる。

なお、本実施形態においては、比較明対象の設定エリアは、分割露光によって逐次得られる現在取得した分割露光画像データの各画素での輝度出力、および途中経過画像データとなる現在までに生成された合成画像データの全体画像データの状態から自動判定するようにしていた。しかし、比較明対象の設定エリアは、両者の画像全体ではなく、自動的に設定された両者の画像での特定領域の画像エリアのみを対象としてもよい。特定領域の設定は、設定出力や時間情報、場所、シーン認識などを使用し、自動的に決めるようにすればよい。

第１実施形態のように、両者の画像の全画素データに対して、設定出力に対して比較判断をすると、演算処理のステップが増えてしまう。これに対して、両者の画像の特定エリアの画像出力に対して、設定出力に対して比較判断をすれば、演算処理のステップを減らして実行することができる。例えば、天体（星）等の被写体の場合には、星空の領域に画像エリアに特化して、合成処理の種類の比較判断をすればよい。また、これらの画像は、背景画像の輝度に対して、特定の画像エリアの輝度出力との差が大きい。この特性からシーン認識を用いて、特定エリアを自動的に設定することが可能である。

次に、図７ないし図１１を用いて、本発明の第２実施形態について説明する。第１実施形態においては、撮影の途中で輝度出力レベルの下限閾値と上限閾値を変更すると、以後、この変更された閾値に従って合成処理を選択し、経過画像に反映させていた。言い換えると、変更以前の合成処理は、そのままであったことから、閾値の変更前と変更後で、経過画像中の軌跡が途中で断絶したり、途中から軌跡が生ずるものある。これに対して、第２実施形態においては、分割露光時間が経過するたびに読み出された分割画像データを個々に記憶しておき、閾値を変更すると、変更以前の分割画像データも用いて、合成処理を再度やり直すようにしている。このため、閾値の変更前と変更後では、閾値が異なることから、表示される星等は異なるが、軌跡が途中で断絶したり、途中から軌跡が生ずるようなことはない。

本実施形態に係るカメラの構成は、第１実施形態と同様であることから詳細な説明を省略する（図１参照）。但し、合成処理部２１とメモリ４３の作用が異なっている。すなわち、（１）分割露光によって逐次取得された分割露光画像データの全てを、メモリ４３に保持しておく点、および（２）途中経過での合成処理の種類を、撮影者の操作によって変更する場合に、上記（１）で保存されている１枚目からの分割露光画像データを再度読み出して、変更された合成処理の種類に基づいて、再度合成処理を行う点で相違する。

また、本実施形態に係るカメラの動作を示すフローチャートは、第１実施形態に係る図６に示すフローチャートは第２実施形態においても同様であるが、図３ないし図５に係るフローチャートを、図８ないし図１１に示すフローチャートに置き換える。

フローチャートを用いて、本実施形態の動作を説明する前に、図７を用いて、輝度範囲閾値の変更と、これに伴って表示される合成画像（経過画像）について説明する。図７に示されている画像６１〜６３、６５、６７〜６９は、バルブ撮影時に表示部１３に表示される。ここで画像６１、６５、６７は、分割露光によって取得された画像データに基づく被写体像である。また、画像６２、６３、６８、６９は、分割露光による複数の画像データを合成して生成した合成画像（経過画像）である。

今、撮影者が、時刻Ｔ１において取得した分割露光による被写体の画像６１（画像６７）を観察しながら、設定部５１において下限閾値ＬＬ（設定出力１に相当）と上限閾値ＨＬ（設定出力２に相当）を設定する（下限閾値ＬＬと上限閾値ＨＬは、図２（ａ）参照）。この設定の範囲に入る被写体（星等）が枠５５で表示される。

時刻Ｔ２になると、分割露光による複数の分割露光画像データが取得され、合成処理部２１によって合成処理がなされ、表示部１３に画像６２が経過画像として表示される。さらに、時刻Ｔ３になると、分割露光によって取得された分割露光画像データを用いて、さらに合成処理され、画像６３が経過画像として表示される。この経過画像６３は、時刻Ｔ２における経過画像６２に比較し、時間が経過していることから、星の軌跡が伸びている。また、設定を変更していることから、明るい星が増えている。

ところで、時刻Ｔ１で画像６１を見て下限閾値ＬＬと上限閾値ＨＬを設定した後、時刻Ｔ２になった時点で、撮影者が画像６２を見て、輝度レベルの設定変更を意図したとする。この場合には、分割露光で取得した画像６５を見ながら、設定部５１において輝度出力レベルの設定を変更する。輝度出力レベルの設定を変更すると、制御部１０は、メモリ４３に１コマ目から直近までの分割露光によって取得した画像データが全て記憶されている場合には全画像データを読み出し、この全画像データを用いて合成処理部２１が合成処理を行って合成画像（経過画像）の画像データを生成し、画像６８を表示部１３に表示する。一方、１コマ目から直近の１コマ前までの全画像データが記憶されていない場合には、今まで合成された合成画像データと、直近の画像データを用いて、合成画像を生成し、画像を表示部１３に表示する。

さらに、時刻Ｔ３になると、時刻Ｔ１〜Ｔ３までの全画像データを用いて、変更後の輝度範囲の上限値と下限値を用いて、合成画像（経過画像）の画像データを生成し、画像６９を表示部１３に表示する。

このように、本実施形態においては、バルブ撮影の途中で輝度範囲の設定を変更すると、それまでに記憶してある分割露光の全画像データを用いて、変更後の輝度範囲を用いて、再度、合成画像（経過画像）の画像データを生成し、この画像データに基づく画像を表示するようにしている。このため、撮影者、経過画像を見ながら、意図しない写真となっている場合には、設定を変えることにより、撮影者の意図通りの写真となるように変更することができる。

次に、図８を用いて、本実施形態におけるメイン動作について説明する。図３に示した第１実施形態におけるメイン動作と比較し、図８に示す第２実施形態においては、ステップＳ９、Ｓ１１、Ｓ１５をＳ１０、Ｓ１２、Ｓ１６に置き換え、ステップＳ２０を追加している点で相違し、その他のステップでの処理は同様である。同一の処理については同一のステップ番号を付して説明を簡略化し、相違点を中心に説明する。

図８のフローに入り、撮影者がレリーズ操作を行うと、露光準備を行い（Ｓ１）、露光を開始し（Ｓ３）、設定された露光時間に達したか否かを判定する（Ｓ５）。設定された露光時間に達すると、分割露光による露光を終了する（Ｓ７）。

撮像素子より画像データを読み出し、メモリに保持する（Ｓ１０）。このとき取得した分割露光の画像データは、分割露光毎にメモリ４３に逐次、格納する。ここで、ｎ回目に取得されて、メモリへ格納された画像を画像ｎとする（ｎ：分割露光して順次得られたｎ番目の分割露光画像データ、ｎ＝１、２・・・、初期値は１）。従って、メモリ４３には、撮影開始から最初に取得された画像１から、ｎ回目に取得された画像ｎまでのすべての分割露光画像データが格納される。なお、第１実施形態においては、分割露光画像データが取得される毎に、前回の画像データは上書きされていた。

ステップＳ１０において、画像データを読み出し、メモリに保存すると、次に、ｎが１であるか否かを判定する（Ｓ１２）。ここでは、ステップＳ１０で取得した分割露光の画像データの順番が、最初に取得されたもの（ｎ＝１）なのか、否かを判定する。

ステップＳ１０における判定の結果、ｎ＝１であった場合には、画像ｎを画像ｍに移行する（Ｓ１３）。すなわち、最初に取得された分割露光の画像データを、経過画像データ（ｍ）としてメモリ４３に保持する。

一方、ステップＳ１０における判定の結果、ｎ＝１でなかった場合には、画像合成処理を行う（Ｓ１６）。ここでは、複数の画像データを用いて、合成処理部２１による画像合成を行う。第１実施形態においては、それまでの合成画像（経過画像）の画像データと、分割露光によって取得した画像データを用いて、画像合成を行っていたが、第２実施形態においては、輝度レベルの変更があった場合には、最初からの分割露光の全画像データを用いて画像合成を行う。この画像合成処理の詳しい動作については、図９ないし図１１を用いて後述する。

ステップＳ１３において画像の移行を行うと、またはステップＳ１６において画像合成処理を行うと、表示処理を行う（Ｓ１７）。ここでは、ステップＳ１３またはＳ１６における画像データに基づいて、分割露光の画像または合成画像（経過画像）の表示を行う。この表示処理の詳しい動作は、図６を用いて説明したので、詳細は省略する。

ステップＳ１７において表示処理を行うと、撮影者が撮影終了を行ったか否かを判定し（Ｓ１９）、撮影終了動作を行っていない場合には、ｎ＝ｎ＋１とする（Ｓ２０）。ここでは、メモリ４３に保存された分割露光の画像データの枚数カウント（ｎ）を１つ増加させる。ｎ＝ｎ＋１とすると、ステップＳ３に戻り、次の分割露光を開始し、前述したように、合成画像（経過画像）を生成する。このステップで加算したｎを用いて、ステップＳ１０において、分割露光画像データがメモリ４３に格納される。

一方、ステップＳ１９における判定の結果、撮影終了動作を行った場合には、画像ｍを画像処理し、保存する（Ｓ２１）。メモリ４３に保持された合成画像（経過画像）の画像データ（ｍ）を、撮影画像データとして保存する。画像データを保存すると、メイン動作を終了する。

次に、図８を用いて、ステップＳ１６（図８参照）の画像合成処理の詳しい動作について説明する。

フローチャートの説明に先立って、状態変数について説明する。ここでは、第１実施形態の場合と同様に、 画像ｎを、ｎ回目に撮影された分割露光画像データＩｎとし、画像ｍを、ｍ回目に撮影されて合成処理された合成画像データＳｍとする。分割露光画像データＩｎ、合成画像データＳｍには、それぞれ２次元となる画像の座標（Ｘ，Ｙ）に対応した画素から得られた画素の輝度出力Ｉｎ（Ｘ、Ｙ）およびＳｍ（Ｘ，Ｙ）を含んでいる。

本実施形態においては、前述したように、分割露光によって取得した複数の画像データを用いて、合成処理を行う際に、２つの合成処理の種類を途中で変更する場合がある。このため、更に合成処理する上で、状態変数として、比較明判別変数Ｊを用意する。比較明判別変数Ｊは、複数回の分割露光によって、合成処理を行う際に、合成処理として比較明合成処理が選択されていた回数をカウントする値である。

また、第１実施例と同様に、画像合成の種類を判別する状態変数として、比較明フラグが設定される。この変数は、１または０の値が設定される。比較明フラグに１が設定される場合は、画像合成は、比較明合成処理が行われる。一方、比較明フラグに０が設定される場合は、画像合成は、比較暗合成、または平均化合成による合成処理が行われる。

図９に示す画像合成処理のフローに入ると、まず、設定出力が変更されているか否かを判定する（Ｓ２３）。ここでは、画像合成の種類（比較明合成、比較暗合成）を判断する際に使用される判定閾値（ここでは設定出力１、設定出力２の値）、すなわち、分割露光画像データＩｎ、合成画像データＳｍに対する輝度出力に対する判定閾値が、撮影者によって変更されたか否かを判定する。

ステップＳ２３における判定の結果、設定出力が変更されていた場合には、次に、ｎ＞２であるか否かを判定する（Ｓ２５）。分割露光で撮影した回数が２回以下の場合には、実質的に合成処理を１枚目からやり直す必要がないことから、ここでは、撮影回数を示すｎに基づいて判定する。

ステップＳ２５における判定の結果、ｎ＞２の場合には、比較明判別変数Ｊ＝ｎ−２とする（Ｓ２７）。一方、ステップＳ２３における判定の結果、設定出力が変更されていない場合、またはｎ＞２でなかった場合には、比較明判別変数Ｊ＝０とする。前述したように、比較明判別変数Ｊは、複数回の分割露光によって、合成処理を行う際に、合成処理として比較明合成処理が選択されていた回数をカウントする値であり、設定出力が変更された等の場合にはステップＳ２７において変数Ｊの初期値が設定され、一方、設定出力が変更されない場合の変数Ｊの初期値がＳ２８において設定される。

ステップＳ２７、Ｓ２８において変数Ｊの値を設定すると、次に画像ｎ−１−Ｊを画像ｍとする（Ｓ２９）。ここでは、ｍ回目に撮影されて合成処理された合成画像データＳｍを、（ｎ−１−ｊ）回目までに取得された分割露光画像データを基に合成処理をおこなったものとし、メモリ４３に保持する。

ステップＳ２９において、画像の移行を行うと、次に、画像ｍの画素データと設定出力との比較を行い比較明フラグの設定を行う（Ｓ３２）。このステップでの処理は、第１実施形態におけるステップＳ３１（図４）と類似の処理であるが、変数Ｊを考慮している点で異なっている。ここでは、設定出力２＞画像ｍの画素（Ｘ，Ｙ）の出力＞設定出力１、または、設定出力２＞画像ｎ−Ｊの画素（Ｘ，Ｙ）の出力＞設定出力１の場合に、比較明フラグ＝１を設定し、違う場合に比較明フラグ＝０を設定する。

このステップＳ３２においては、ｎ回目に分割露光して取得した分割露光画像データＩｎと、ステップＳ２９において保持された合成画像データＳｍのそれぞれ２次元（Ｘ，Ｙ）の輝度出力を画素出力ごとに比較し、各画素に対して行う画像合成の種類を判別する。この場合、分割露光画像データＩｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データＳｍにある各画素の輝度出力Ｓｍ値（Ｘ，Ｙ）との値を所定の判定条件に基づいて判定する。所定の判定条件としては、比較明フラグ＝１にセットされる場合（つまり、画像合成の種類として比較明合成が選択される場合）の条件を示している。

ステップＳ３２において、比較明フラグの状態設定を行うと、ステップＳ３４以下において、比較明合成、あるいは比較暗合成、または置き換えなのかを、比較明フラグの状態に基づいて判定し、判定結果に基づいて合成処理を行う。

まず、画像ｍ、画像ｎ−Ｊの両方が比較明フラグ＝１であるか否かの判定を行う（Ｓ３４）。ここでは、ステップＳ３２において、画素毎に状態が設定された比較明フラグに基づいて、画素毎に判定する。

ステップＳ３４における判定の結果、画像ｍと画像ｎ−Ｊの両方の比較明フラグ＝１であった場合には、画像ｍと画像ｎ−Ｊの両方について、比較明合成を行う（Ｓ３６）。ここでの処理は、第１実施形態におけるステップＳ３５（図４参照）の処理に類似している。画像ｍの画素（Ｘ，Ｙ）の出力は、画像ｎ−Ｊの画素（Ｘ，Ｙ）の出力と画像ｍの画素（ｘ、ｙ）の出力の大きい方とする。この合成処理は、比較明合成処理部２１ａが行う。

具体的には、分割露光の画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データｍにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との値を用いて、比較明合成処理によって合成処理を行い、新たにｍ＋１番目に生成された合成画像データＳｍ＋１（Ｘ，Ｙ）を生成する。

一方、ステップＳ３４における判定の結果、画像ｍ、画像ｎ−Ｊの両方が比較明フラグ＝１でなかった場合には、次に、画像ｍ、画像ｎ−Ｊの両方が比較明フラグ＝０であるか否かの判定を行う（Ｓ３８）。ここでは、ステップＳ３２において、画素毎に設定された比較明フラグに基づいて、画素毎に判定する。

ステップＳ３８における判定の結果、画像ｍと画像ｎ−Ｊの両方の比較明フラグ＝０であった場合には、画像ｍと画像ｎ−Ｊの両方を用いて、比較暗合成（または平均加算処理）を行う（Ｓ４０）。ここでの処理は、第１実施形態におけるステップＳ３９（図４参照）の処理に類似している。画像ｍの画素（Ｘ，Ｙ）の出力は、画像ｎ−Ｊの画素（Ｘ，Ｙ）の出力と画像ｍの画素（Ｘ，Ｙ）の出力の小さい方（もしくは平均）とする。この合成処理は、比較暗合成処理部２１ｂまたは加算平均処理部２１ｃが行う。

ステップＳ４０では、具体的には、分割露光の画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データＳｍにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との値を用いて、比較暗合成処理または平均化合成処理によって合成処理を行い、新たにｍ＋１番目に生成された合成画像データＳｍ＋１（Ｘ，Ｙ）を生成する。

ステップＳ３８における判定の結果、画像ｍと画像ｎ−Ｊの両方について比較明フラグ＝０であった場合には、画素の置き換え処理を行う（Ｓ４２）。ここでの処理は、第１実施形態におけるステップＳ４１（図４参照）の処理に類似している。画像ｍの画素（Ｘ，Ｙ）の出力は、画像ｍ、画像ｎの比較明フラグ１が立っている画像の画素（Ｘ，Ｙ）の出力とする。

ステップＳ４２における画素の置き換え処理は、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、合成画像データＳｍにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との値とに対して、比較明フラグ１が立った画像の輝度出力値を新たにｍ＋１番目に生成された合成画像データＳｍ＋１（Ｘ，Ｙ）を生成する。

具体的には、合成処理後の画像データＳｍ＋１（Ｘ，Ｙ）は、分割露光画像データｎにある各画素の輝度出力値Ｉｎ（Ｘ、Ｙ）と、ｍ回目の合成処理された画像データにある各画素の輝度出力値Ｓｍ（Ｘ，Ｙ）との出力とで比較明フラグ１の輝度出力値とする。

ステップＳ３６、Ｓ４０、Ｓ４２において、画素毎に合成処理を行うと、次に、ステップＳ５１〜Ｓ６１において、Ｘ座標とＹ座標を１ずつずらしながら、１画面内の全画素について、合成処理を行う。このステップＳ５１〜Ｓ６１における処理は、図５におけるステップＳ５１〜Ｓ６１と同様であることから、詳しい説明は省略する。

ステップＳ５７における判定の結果、Ｙが最大であり、ステップＳ６１において、Ｙ＝０にすると、次に、Ｊ＝０か否かの判定を行う（Ｓ６３）。２次元方向（Ｘ，Ｙ）の全ての画素出力が合成処理されたことから、ここでは、比較明判別変数Ｊについて判定する。この比較明判別変数Ｊは、撮影者がバルブ撮影の途中で、輝度範囲の閾値を変更した場合に、最初の分割露光の画像に遡って画像合成をやり直す際に、撮影回数をカウントするための変数である。この変数Ｊが０であれば、最初の分割露光の画像に遡って画像合成をやり直す必要がないが、変数Ｊが１以上であれば、画像合成をやり直す。

ステップＳ６３における判定の結果、Ｊ＝０でない場合には、Ｊ＝Ｊ−１にする（Ｓ６５）。このステップで、変数Ｊから１だけ減算すると、ステップＳ３２に戻り、輝度出力レベルの閾値に応じて、画像合成を行う。この画像合成は、Ｊ＝０となるまで、繰り返し行われる。ステップＳ６３における判定の結果、Ｊ＝０であれば、画像合成処理のフローを終了し、元のフローに戻る。

このように、本発明の第２実施形態においては、バルブ撮影の際に分割露光を行う毎に、分割露光画像データをメモリ４３に記憶しておき（図８のＳ１０）、撮影者が判定用の輝度出力レベルの閾値を変更した場合には（図９のＳ２３Ｙｅｓ）、バルブ撮影の際に最初に撮影した分割露光画像データから全ての画像データを読み出し、画素毎に閾値に基づいて合成画像処理を選択し、合成画像（経過画像）の画像データを生成し（図９のＳ２７〜図１１のＳ６５）、表示部１７に表示している（図８のＳ１７）。そして、バルブ撮影が終了した時点で、最終の合成画像（経過画像）を最終画像として外部メモリに記録している（図８のＳ２１）。

すなわち、本実施形態においては、複数回の露光毎に、分割画像データを記憶するメモリ（メモリ４３）を有し、複数の露光を行っている際に、操作部によって新たな判定閾値が設定された場合には、画像合成制御部は、メモリに記憶されている複数回の露光毎の分割画像データに対して、新たな判定閾値を用いて、合成処理を再度行っている（例えば、図９、図１０参照）。

このため、バルブ撮影中に、撮影者が経過画像を観察し、意図に沿わない場合には、判定用の輝度出力レベルの閾値を変更することにより、意図に沿った写真となるようにすることができる。

以上説明したように、本発明の各実施形態や変形例においては、分割露光の画像データの画素データ毎に、所定の判定閾値内にあるか否かを判定し、この判定結果に基づいて、画像合成の種類を変更している。このため、バルブ撮影の際に、撮影者の意図に沿った画像にすることができる。

なお、本発明の各実施形態や変形例においては、判定用の輝度範囲は、上限閾値と下限閾値の両方を設定していた。しかし、輝度判定としては、閾値以上の輝度範囲としてもよく、また閾値以下の輝度範囲としてもよい。また、輝度範囲は１つだけであったが、２以上の輝度範囲を設定するようにしてもよい。例えば、暗い被写体と明るい被写体が写るようにし、中間輝度の被写体は写らないようにしてもよい。

また、本発明の各実施形態や変形例においては、判定用の輝度範囲の閾値を設定していたが、輝度のみならず、ＲＧＢの画素データ毎に判定用の閾値を設定するようにしてもよい。この場合には、特定の色の被写体、例えば、青色の星の軌跡のみや、赤色の補正の軌跡の写真を撮影することが可能となる。その場合は、表示部１７に示す設定画面の選択画面を適宜変更して表示する。

また、本発明の各実施形態や変形例においては、判定用の輝度範囲の閾値を設定していたが、輝度情報に限らず、時間情報、場所情報、シーン認識情報を用いるようにしてもよい。具体的な例として、入力部３０内にあるＧＰＳセンサ３５、タイマ３７、傾きセンサ３３等で、撮影時間、場所、撮影方向にある被写体情報を検知部４１で検知して、星の方向、空の明るさ等の情報を得た上で、判定用の輝度範囲の閾値となる目安値を設定するようにしてもよい。

また、本発明の各実施形態においては、ＡＥ処理部１３、ＡＦ処理部１５、画像処理部２０、検知部４１等を、制御部１０とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、制御部１０内のマイクロコンピュータによって実行するようにしても勿論かまわない。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数の画像データを用いて、合成処理を行うことが可能な機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・撮影レンズ、３・・・絞り、５・・・シャッタ、７・・・撮像素子、１０・・・制御部、１１・・・バス、１３・・・ＡＥ処理部、１５・・・ＡＦ処理部、１７・・・表示部、１９・・・電源部、２０・・・画像処理部、２１・・・合成処理部、２１ａ・・・比較明合成処理部、２１ｂ・・・比較暗合成処理部、２１ｃ・・・加算平均処理部、２１ｄ・・・画素選択部、２３・・・現像処理部、２５・・・表示処理部、３０・・・入力部、３１・・・釦／ダイヤル、３３・・・傾きセンサ、３５・・・ＧＰＳ、３７・・・タイマ、３９・・・タッチセンサ、４１・・・検知部、４３・・・メモリ、５１・・・設定部、５３・・・星、５５・・・枠、６１〜６９・・・画像

Claims (9)

1. 撮像面に結像された被写体像を光電変換し、複数回の露光毎に分割画像データを取得する撮影制御部と、
   上記分割画像データの画素データ毎に、所定の判定閾値内にあるか否かを判定する判定部と、
   上記分割画像データの画素データ毎に、第１の画像合成または第２の画像合成を行う画像合成部と、
   上記判定部の判定結果に基づいて、上記第１の画像合成または第２の画像合成のいずれかを選択し、この選択に従って上記画像合成部において画素データ毎に画像合成を行い、合成画像データを生成する画像合成制御部と、
   上記画像合成制御部による制御によって生成された上記合成画像データを記録する記録部と、
   を有することを特徴とする撮像装置。
2. 上記第１の画像合成は、上記分割画像データの画素データと、上記合成画像データの画素データの輝度出力を比較し、輝度出力が大きい方の画素データを選択し、新たな合成画像データとして合成処理を行い、
   上記第２の画像合成は、上記分割画像データの画素データと、上記合成画像データの画素データの輝度出力を比較し、輝度出力が小さい方の画素データを選択し、新たな合成画像データとして合成処理を行う、
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記分割画像データの画素データと、上記合成画像データの画素データを、それぞれ保持するメモリ部を有し、
   上記判定部は、上記分割画像データの画素データの輝度出力と、上記合成画像データの画素データのそれぞれについて、所定の判定閾値内にあるか否かを判定し、
   上記画像合成制御部は、上記分割画像データに関する判定結果および上記合成画像データの判定結果に基づいて上記第１の画像合成または第２の画像合成のいずれかを選択する、
   ことを特徴とする請求項１に記載の撮像装置。
4. 上記判定閾値を設定するための操作部を有し、
   上記判定部は、上記操作部によって設定された判定閾値に基づいて判定を行う、
   ことを特徴とする請求項１に記載の撮像装置。
5. 複数回の露光毎に、上記分割画像データを記憶するメモリを有し、
   複数の露光を行っている際に、上記操作部によって新たな判定閾値が設定された場合には、上記画像合成制御部は、上記メモリに記憶されている複数回の露光毎の分割画像データに対して、新たな判定閾値を用いて、合成処理を再度行う、
   ことを特徴とする請求項４に記載の撮像装置。
6. 上記画像合成制御部によって上記合成画像データが生成される毎に、上記合成画像が更新表示される表示部を有することを特徴とする請求項１に記載の撮像装置。
7. 上記合成画像データに基づいて合成画像を表示する表示部を有し、
   上記表示部は、上記合成画像に、上記判定部によって所定の判定閾値内にあると判定された位置を重畳表示する、
   ことを特徴とする請求項１に記載の撮像装置。
8. 撮像面に結像された被写体像を光電変換し、複数回の露光毎に分割画像データを取得する撮像ステップと、
   上記分割画像データの画素データ毎に、所定の判定閾値内にあるか否かを判定する判定ステップと、
   上記判定ステップの判定結果に基づいて、第１の画像合成または第２の画像合成のいずれかを選択し、この選択に従って画素データ毎に画像合成を行い、合成画像データを生成する画像合成ステップと、
   上記画像合成ステップにおいて生成された上記合成画像データを記録する記録ステップと、
   を有することを特徴とする撮影方法。
9. 被写体像を光電変換し、複数回の露光毎に分割画像データを取得する撮像ステップと、
   上記分割画像データの画素データ毎に、所定の判定閾値内にあるか否かを判定する判定ステップと、
   上記判定ステップの判定結果に基づいて、第１の画像合成または第２の画像合成のいずれかを選択し、この選択に従って画素データ毎に画像合成を行い、合成画像データを生成する画像合成ステップと、
   上記画像合成ステップにおいて生成された上記合成画像データを記録する記録ステップと、
   をコンピュータに実行させることを特徴とするプログラム。