JP2013172372A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】被写体像の一定時間間隔の取得の際の輝度変化に柔軟に対応して意図した合成画像の構築を行うことが可能な撮像装置を提供する。
【解決手段】本発明の撮像装置は、画像データを一定時間間隔で取得する取得手段、更新用画像データを格納するメモリ領域、一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと合成画像データとの画素毎の比較を取得中に実行してメモリ領域の画素に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換処理する画像処理手段を備えている。画像処理手段は、メモリ領域に格納されるべき更新用画像データが初期画像データのときには初期画像データとしての輝度の平均値を求め、更新用画像データが２枚目以後のときには更新用画像データとしての輝度の平均値を求め、両画像データの輝度の平均値の差分が閾値Ｍよりも大きいか小さいかによって、置換処理の内容を変更する。
【選択図】図７

Description

本発明は、いわゆる比較明合成処理機能を有する撮像装置及び撮像方法の改良に関する。

近年、撮像装置としてのデジタルカメラの普及に伴って、そのデジタルカメラが漸次技術的に進歩しており、例えば、バルブ撮影時に所定の周期で被写体像を繰り返し撮像し、それによって得られた複数の画像を加算演算して加算画像を生成し、過去の加算画像を順次表示することにより加算画像の露光量の変化を容易に把握できるようにしたデジタルカメラが提案されている（例えば、特許文献１参照）。

また、デジタルカメラを様々な撮影用途に使用し、フィルムカメラの時代には技術的にあり得なかった新たな映像表現手法も数多く生まれている。
その一つに、デジタルカメラを三脚に固定し、インターバル撮影を行って得られた多量の静止画を利用して、新たな映像を作成する映像表現手法がある。例えば、蛍の光跡を増加させた写真や、地球の日周運動に起因し夜空を移動する星の光跡を残した写真を作成するために、比較明合成という合成処理を行う映像表現手法がある。

図２０は、その比較明合成処理の概要を説明するための概念図である。その図２０において、（ａ）はインターバル撮影により取得された被写体像としての画像群を示し、（ｂ）は比較明合成処理後の写真を示し、（ｃ）、（ｄ）は比較明合成処理の手順を説明するためのバッファメモリ領域の模式図である。

ここでは、その図２０（ａ）に、インターバル撮影により撮影された被写体像としての夜間の星空を含む風景写真からなる画像群G１が示されており、その風景写真の枚数は、例えば、３００枚程度である。

比較明合成処理では、図２０（ｃ）に示すように、比較明合成処理に用いるバッファメモリとしての画像１枚分に相当する合成画像用メモリ領域αに１枚目の被写体像に対応するＮ＝１の画像データを初期の比較対象画像データとしてセットする。

ついで、図２０（ｄ）に示すように、比較明合成処理に用いるバッファメモリとしての画像１枚分に相当する更新画像用メモリ領域βに２枚目以降の被写体像に対応するＮ＝ｉ（ｉ＝２、…、Ｎ）の各画像データを更新用画像データとしてセットする。

次に、比較明合成処理では、合成画像用メモリ領域αの所定画素領域ｉの輝度値Ｐαｉとこの合成画像用メモリ領域αの所定画素領域ｉに対応する更新画像用メモリ領域βの画素領域ｉの輝度値Ｐβｉとを読み出し、輝度値Ｐαｉと輝度値Ｐβｉとを比較し、輝度値が大きい方の画素のデータを、合成画像用メモリ領域αの所定画素領域ｉに置換処理する。

比較明合成処理では、この置換処理を、各更新用画像データの全画素データ（ｉ＝１〜ｍ）について行う。この置換処理をＮ個の被写体像について行うと、この比較明合成処理により、各被写体像を構成する画像データの互いに対応する各画素について最大輝度が抽出され、合成画像用メモリ領域αの各画素領域には、最大輝度値を有するデータが書き込まれることになる。

この比較明合成処理後の合成画像用メモリ領域αの各画素領域に書き込まれた輝度のデータを用いて合成画像G２を構築すると、図２０（ｂ）に示すように、風景と星空の静止画像であっても、地球の日周運動に起因する星の光跡が延びつつ星の無い夜空の部分や、明るさのある風景が真っ白にならずに共存し、あたかも長時間露出を行ったような画像が得られる。

しかしながら、そうは言っても、夜景の撮影等を行っている場合、明け方に近づくにつれ、空全体が明るくなり、輝度情報の明るい部分を合成するという手段のみでは、合成画像Ｇ２の全体が明るくなり、合成処理後に星の軌跡がぼやけて見えなくなってしまうという不具合がある。

また、合成処理中に、極度に明るい輝度を有する被写体が写り込むと、合成画像Ｇ２全体がこの被写体の輝度の影響を受けるため、意図した撮影写真を得られないという不具合もある。

本発明は、上記の事情に鑑みて為されたもので、被写体像の一定時間間隔の取得の際の輝度変化に柔軟に対応して意図した合成画像の構築を行うことが可能な撮像装置及び撮像方法を提供することを目的とする。

本発明の撮像装置は、被写体像を画像１枚分相当の画像データとして一定時間間隔で取得する取得手段１０４と、画像データをその輝度が画素毎に比較される更新用画像データとして格納する更新画像用メモリ領域βと、更新画像用メモリ領域βの画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換処理された比較対象画像データを合成画像データとして格納する合成画像用メモリ領域αと、取得手段１０４により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと合成画像データとの画素毎の比較を取得中に実行して合成画像用メモリ領域αの画素に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換処理する画像処理手段１０４とを備えている。

画像処理手段１０４は、更新用画像メモリ領域βに格納されるべき更新用画像データが第１枚目の被写体像を構成する初期画像データのときには初期画像データとしての輝度の平均値を求め、更新用画像メモリ領域βに格納されるべき更新用画像データが第２枚目以後の被写体像を構成する更新用画像データのときには更新用画像データとしての輝度の平均値を求め、両画像データの輝度の平均値の差分が閾値よりも大きいか小さいかによって、置換処理の内容を変更する。

本発明によれば、被写体像の一定時間間隔の取得の際の輝度変化に柔軟に対応して意図した合成画像の構築を行うことができる。

図１は、本発明の実施例に係る撮像装置としてのデジタルカメラの正面図である。 図２は、図１に示すデジタルカメラの背面図である。 図３は、図１に示すデジタルカメラの上面図である。 図４は、図１に示すデジタルカメラの内部システム構成図である。 図５は、図７に示すインターバル撮影の初期設定画面の説明図である。 図６は、図５に示す設定画面において選択できる項目の説明図である。 図７は、図１に示すデジタルカメラの実施例１に係るインターバル撮影時のメインフローチャートである。 図８は、図７に示す撮影設定確定処理のフローチャートである。 図９は、図７に示す比較明合成処理のフローチャートである。 図１０は、図７に示すインターバル画像ファイル出力処理の一例を示すフローチャートである。 図１１は、図７に示すインターバル撮影処理の変形例１を説明するためのフローチャートである。 図１２は、図７に示すインターバル撮影処理の変形例２を説明するためのフローチャートである。 図１３は、図７に示すインターバル撮影処理の変形例３を説明するためのフローチャートである。 図１４は、図１に示すデジタルカメラの実施例２の説明図であって、（ａ）は合成画像用メモリ領域が複数個のエリアに分割されている状態を示す模式図、（ｂ）は更新画像用メモリ領域が複数個のエリアに分割されている状態を示す模式図、（ｃ）は合成画像用メモリ領域の各エリアに書き込まれている画素データを示す模式図、（ｄ）は更新画像用メモリ領域の各エリアに書き込まれている画素データを示す模式図である。 図１５は、実施例２の閾値の選択に用いるＭＥＮＵ画面の一例を示す説明図である。 図１６は、図１５に示すオート設定の概念を模式的に示す説明図である。 図１７は、図１に示すデジタルカメラの実施例２に係るインターバル撮影時のメインフローチャートである。 図１８は、図１７に示す比較明合成処理のフローチャートである。 図１９は、エリア毎の処理の一例を示す説明図である。 図２０は、比較明合成処理の概念図である。

以下に、本発明に係わる画像記録装置の発明の実施の形態を図面を参照しつつ説明する。
（デジタルカメラの一般的構成）
図１は本発明に係わる画像記録装置（撮像装置）としてのデジタルカメラ（以下、カメラという）の一例を示す正面図、図２はその背面図、図３はその上面図、図４はそのデジタルカメラの内部のシステム構成の概要を示すブロック回路図である。

図１において、カメラ本体の上面には、レリーズスイッチ（レリーズシャッター）ＳＷ１、モードダイアルＳＷ２、図３に示すサブ液晶ディスプレイ（サブＬＣＤ又は表示部ともいう）１が配設されている。なお、サブＬＣＤ１には撮影可能枚数等が表示される。
レリーズスイッチＳＷ１はその一段目の押し込みでオートフォーカスが実行され、二段目の押し込みで撮影が実行される。

カメラ本体（装置本体）の正面には、撮影レンズを含む鏡胴ユニット７、光学ファインダ４、ストロボ発光部３、測距ユニット５、リモートコントロール受光部６が設けられている。

カメラの背面には、図２に示すように電源スイッチＳＷ１３、ＬＣＤモニタ（表示部ともいう）１０、ＡＦＬＥＤ８、ストロボＬＥＤ９、光学ファインダ４、広角方向ズームスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマの設定・削除スイッチＳＷ５、再生スイッチＳＷ６、上移動・ストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、下移動・マクロスイッチＳＷ９、左移動・画像確認スイッチＳＷ１０、ディスプレイスイッチＳＷ１１、メニュー／ＯＫスイッチＳＷ１２等のキースイッチが設けられている。カメラ本体の側面にはメモリカード／電池装填室の蓋２が設けられている。

この実施例のカメラでは、メニュー／ＯＫスイッチＳＷ１２により、ＬＣＤモニタ１０に各種設定を行う画面を表示できる。この各種設定を行う画面において、上下左右のボタンＳＷ７〜ＳＷ１０を操作することにより、連続撮影モード（インターバル撮影モード）に移行することができる。

また、再生スイッチＳＷ６を操作することにより、撮影した画像データを用いて被写体像をLCDモニタ１０へ表示することができ、この被写体像が表示されている状態でズームボタンスイッチ（望遠方向ズームスイッチＴＥＲＥ）SW4、ズームボタンスイッチ（広角方向ズームスイッチＷＩＤＥ）SW3を操作することにより、任意の倍率で被写体像を拡大・縮小することができる。さらに、拡大・縮小表示された状態で、上下左右のボタンＳＷ７〜ＳＷ１０を操作することにより、被写体像の拡大・縮小部分を任意に指定することができる。

（カメラの内部システム構成）
次にカメラの内部のシステム構成を説明する。
図４において、１０４はデジタルスチルカメラプロセッサ（以下、プロセッサともいう）である。

プロセッサ１０４は、ＣＣＤ１信号処理ブロック１０４１、ＣＣＤ２信号処理ブロック１０４２、ＣＰＵブロック１０４３、ローカルＳＲＡＭ１０４４、ＵＳＢブロック１０４５、シリアルブロック１０４６、ＪＰＥＧ・ＣＯＤＥＣブロック（ＪＰＥＧ圧縮・伸長を行うブロック）１０４７、ＲＥＳＩＺＥブロック（画像データのサイズを補間処理により拡大・縮小するブロック）１０４８、ＴＶ信号表示ブロック（画像データを液晶モニタ・ＴＶ等の表示機器に表示させるためのビデオ信号に変換するブロック）１０４９、メモリカードコントローラブロック（撮影画像データを記録するメモリカードの制御を行うブロック）１０４１０を有している。これらの各ブロックは相互にバスラインで接続されている。ＣＣＤ１信号処理ブロック１０４１、ＣＣＤ２信号処理ブロック１０４２は画像処理手段（ＤＳＰ）の一部を構成している。ＣＰＵブロック１０４３は後述する制御手段として機能する。

プロセッサ１０４の外部にはＲＡＷ−ＲＧＢ画像データ（ホワイトバランス設定、γ設定が行われた状態の画像データ）、ＹＵＶ画像データ（輝度データ、色差データ変換が行われた状態の画像データ）、ＪＰＥＧ画像データ（ＪＰＥＧ圧縮された状態の画像データ）を保存するＳＤＲＡＭ１０３が配置され、ＳＤＲＡＭ１０３はプロセッサ１０４にメモリコントローラ（図示を略す）、バスラインを介して接続されている。このＳＤＲＡＭ１０３は、後述する比較明合成処理を行うための合成画像用メモリ領域α、更新画像用メモリ領域β（図２０参照を有する）。

プロセッサ１０４の外部には、更に、記憶手段（ＲＡＭ１０７）、内蔵メモリ（メモリカードスロットルにメモリカードが装着されていない場合でも撮影画像データを記憶するためのメモリ）１２０、制御プログラム、パラメータなどが格納されたＲＯＭ１０８が設けられ、これらもバスラインによってプロセッサ１０４に接続されている。

ＲＯＭ１０８に格納されている制御プログラムは、カメラの電源スイッチＳＷ１３をオンすると、プロセッサ１０４のメインメモリ（図示を略す）にロードされ、プロセッサ１０４は制御プログラムに従って各部の動作制御を行うと共に、制御データ、パラメータ等をＲAＭ１０７等に一時的に保存させる。

その他、このＲＯＭ１０８には、インターバル撮影、比較明合成処理を行うためのプログラムが格納されている。なお、この実施例では、比較明合成処理をプログラムを用いてソフトウエア的に実現しているが、専用のハードウエアにより構成することもできる。

鏡胴ユニット７は、レンズ系としてのズームレンズ７１ａを有するズーム光学系７１、レンズ系としてのフォーカスレンズ７２ａを有するフォーカス光学系７２、絞り７３ａを有する絞りユニット７３、メカニカルシャッター７４ａを有するメカニカルシャッターユニット７４からなるレンズ鏡筒を備えている。

ズーム光学系７１、フォーカス光学系７２、絞りユニット７３、メカニカルシャッターユニット７４は、ズームモータ７１ｂ、フォーカスモータ７２ｂ、絞りモータ７３ｂ、メカニカルシャッターモータ７４ｂによってそれぞれ駆動されるようになっている。

これらの各モータはモータドライバ７５によって駆動され、モータドライバ７５はプロセッサ１０４のＣＰＵブロック１０４３によって制御される。
鏡胴ユニット７の各レンズ系により固体撮像素子としてのＣＣＤ１０１に被写体像が結像され、ＣＣＤ１０１は被写体像を画像信号に変換してＦ／Ｅ−ＩＣ１０２に画像信号を出力する撮像手段の一部として機能する。

Ｆ／Ｅ−ＩＣ１０２は画像ノイズ除去用のため相関二重サンプリングを行うＣＤＳ１０２１、利得調整用のＡＧＣ１０２２、アナログデジタル変換を行うＡ／Ｄ変換部１０２３から構成されている。
すなわち、Ｆ／Ｅ−ＩＣ１０２は画像信号に所定の処理を施し、アナログ画像信号をデジタル信号に変換してプロセッサ１０４のＣＣＤ１信号処理ブロック１０４１に向けてデジタル信号を出力する。なお、ＣＣＤ１０１の代わりにＣＭＯＳを用いることもできる。

これらの信号制御処理は、プロセッサ１０４のＣＣＤ１信号処理ブロック１０４１から出力される垂直同期信号ＶＤ・水平同期信号ＨＤによりＴＧ１０２４を介して行われる。
そのTG１０２４は垂直同期信号ＶＤ・水平同期信号HDに基づき駆動タイミング信号を生成する。

プロセッサ１０４のＣＰＵブロック１０４３は、音声記録回路１１５１による音声記録動作を制御するようになっている。音声記録回路１１５１はマイクロフォン１１５３で変換された音声記録信号のマイクロフォンアンプリファイア（ＡＭＰ）１１５２による増幅信号を指令に応じて記録する。ＣＰＵブロック１０４３は、音声再生回路１１６１の動作も制御する。音声再生回路１１６１は、指令により適宜メモリに記憶されている音声信号を再生してオーディオアンプリファイア（ＡＭＰ）１１６２に出力し、スピーカ１１６３から音声を出力させるように構成されている。

ＣＰＵブロック１０４３は、更に、ストロボ回路１１４を制御することによってストロボ発光部３から照明光を発光させる。これに加えて、ＣＰＵブロック１０４３は、測距ユニット５も制御する。
ＣＰＵブロック１０４３は、プロセッサ１０４のサブＣＰＵ１０９に接続され、サブＣＰＵ１０９はＬＣＤドライバ１１１を介してサブＬＣＤ１による表示制御を行う。サブＣＰＵ１０９は、更に、ＡＦＬＥＤ８、ストロボＬＥＤ９、リモートコントロール受光部６、操作スイッチＳＷ１〜ＳＷ１３からなる操作キーユニット、ブザー１１３に接続されている。

ＵＳＢブロック１０４５はＵＳＢコネクタ１２２に接続され、シリアルブロック１０４６はシリアルドライバ回路１２３１を介してＲＳ−２３２Ｃコネクタ１２３２に接続されている。ＴＶ信号表示ブロック１０４９は、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に接続されると共に、ビデオアンプリファイア（ＴＶ信号表示ブロック１０４９から出力されたビデオ信号を７５Ωインピーダンスに変換するためのアンプリファイア）１１８を介してビデオジャック（カメラをＴＶ等の外部表示機器に接続するためのジャック）１１９に接続されている。メモリカードコントローラブロック１０４１０はメモリカードスロットル１２１のカード接点との接点に接続されている。

ＬＣＤドライバ１１７はＬＣＤモニタ１０を駆動すると共に、TV信号表示ブロック１０４９から出力されたビデオ信号をＬＣＤモニタ１０に表示させる信号に変換する役割を果たす。ＬＣＤモニタ１０は、撮影前の被写体の状態監視、撮影画像確認及びメモリカード又は内蔵メモリ１２０に記録された画像データ表示のために用いられる。このＬＣＤモニタ１０には合成画像用メモリ領域αの内容も表示可能である。

以下、インターバル撮影時の比較明合成処理の動作の説明を行う前に、インターバル撮影時の比較明合成処理の際の画面上での初期設定について説明する。
（メニュー画面上での比較明合成処理の初期設定）
図５はインターバル撮影時の比較明合成処理の初期設定と設定ボタン操作による画面遷移とを示している。図６は図５に示す設定画面において選択できる項目の種類を示しており、図６（ａ）は図５に示す合成リセット時ファイル出力設定を選択したときに、選択できる項目を示し、図６（ｂ）は図５に示すインターバル画像ファイル出力設定処理を選択したときに、選択できる項目を示している。

以下、この図５、図６を参照しながら、インターバル撮影時の比較明合成処理の初期設定について説明する。
ユーザがカメラの電源をＯｎし、各種撮影に関する設定を好みの状態とした後、ＭＥＮＵ／ＯＫ SW（ＳＷ１２）、および、上下左右ボタン（ＳＷ７〜ＳＷ１０）により所定の操作を行うことにより、図５に示す「設定画面１−１」がＬＣＤモニタ１０に表示される。

図５に示す「設定画面１−１」は、インターバル撮影の撮影時間間隔（すなわち、露光開始から次の撮影の露光開始までの時間。以下、インターバル撮影時間間隔ｔ１という）の「時間の桁」が設定可能な画面である。
上下ボタン（ＳＷ７、ＳＷ９）を操作することにより、数値を変更できる。左ボタン（ＳＷ１０）を操作すると、「設定画面１−５」に遷移し、右ボタン（ＳＷ８）を操作すると「設定画面１−２」に遷移する。

図５に示す「設定画面１−２」は、インターバル時間の「分の桁」を設定可能な画面である。上下ボタン（ＳＷ７、ＳＷ９）を操作することにより、数値を変更できる。左ボタン（ＳＷ１０）を操作すると、「設定画面１−１」に遷移し、右ボタン（ＳＷ８）を押すと「設定画面１−３」に遷移する。

図５に示す「設定画面１−３」は、インターバル時間の「秒の桁」を設定可能な画面である。上下ボタン（ＳＷ７、ＳＷ９）を操作することにより、数値を変更できる。左ボタン（ＳＷ１０）を操作すると、「設定画面１−２」に遷移し、右ボタン（ＳＷ８）を操作すると「設定画面１−４」に遷移する。

図５に示す「設定画面１−４」は、合成画像処理の際、合成画像用メモリ領域αの初期化操作を行った際、初期化前の合成画像用メモリ領域αの合成画像データを画像ファイルとして出力する動作を行うか否かを設定する画面である。上下ボタン（ＳＷ７、ＳＷ９）を操作することにより、図６（ａ）に示すように、「リセット前の合成画像を残す」「何も残さない」のいずれかを選択可能である。左ボタン（ＳＷ１０）を操作すると、「設定画面１−３」に遷移し、右ボタン（ＳＷ８）を押すと「設定画面１−５」に遷移する。

図５に示す「設定画面１−５」は、合成画像処理の際、下記の５種類の設定が可能な画面である。上下ボタン（ＳＷ７、ＳＷ９）を操作することにより、図６に示すように、「通常静止画を残す」、「合成静止画（合成処理画像）を残す」、「通常動画を残す」、「合成動画（合成処理画像）を残す」、「何も残さない」のいずれかを選択できる。左ボタン（ＳＷ１０）を操作すると、「設定画面１−４」に遷移し、右ボタン（ＳＷ８）を押すと「設定画面１−１」に遷移する。

図５に示す「設定画面１−１」〜「設定画面１−５」は、どの画面からでもＭＥＮＵ／ＯＫ SW（ＳＷ１２）を押すことにより、インターバル撮影及び合成画像処理の初期設定を確定できる。初期設定の確定を行った後、レリーズシャッターＳＷ１を２段階目まで押し込む（いわゆる、全押し操作する）ことにより、インターバル撮影と合成処理が開始される。

（インターバル撮影時のメインフローチャートの実施例１の説明）
図７はそのデジタルカメラのインターバル撮影実行時のメインフローチャートを示している。
ここでは、そのプロセッサ１０４は、取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと合成画像データとの画素毎の輝度の比較をその取得中に実行して合成画像用メモリ領域αの画素領域に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換処理（いわゆる比較明合成処理）する画像処理手段としての機能も果たす。

更新画像用メモリ領域βは、一定時間間隔で撮像手段から取得された画像データをその輝度が画素毎に比較される更新用画像データとして格納する機能を果たす。
合成画像用メモリ領域αは、更新画像用メモリ領域βの画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換処理された比較対象画像データを合成画像として格納する機能を果たす。

インターバル撮影時には、図７に示すように、まず、合成処理中フラグをクリアし（S.1）、被写体像の合成回数カウンタを初期化する（S.2）。ここで、合成処理中フラグとは、被写体像の１枚分相当の画像データを用いての比較明合成処理が実行中であるか否かを判断するフラグである。

ついで、プロセッサ１０４は、図８に示す撮影条件設定確定処理に移行する（Ｓ.３）。この撮影条件設定確定処理（撮影設定確定処理）では、まず、オート測距モード（ＡＦモード）がオンか否かを判断する（Ｓ．３１）。なお、マニュアルモード以外は、測距モードはオンと判断される。

プロセッサ１０４は、Ｓ．３１においてイエスの場合には、公知のオートフォーカス処理（ＡＦ処理）を実行して（Ｓ．３２）、ステップＳ．３３に移行する。プロセッサ１０４は、Ｓ．３１においてノーの場合には、ステップＳ．３２の処理をスキップしてＳ．３３に移行する。

プロセッサ１０４は、Ｓ．３３においては、オート露光モード（ＡＥモード）であるか否かを判断する。なお、マニュアルモード以外は、オート露光モードはオンと判断される。
プロセッサ１０４は、Ｓ．３３においてイエスの場合には、公知のオート露光処理（ＡＥ処理）を実行して（Ｓ．３４）、撮影設定確定処理を終了した後、ステップＳ．４に移行する。プロセッサ１０４は、Ｓ．３３においてノーの場合には、ステップＳ．３４の処理をスキップして、撮影設定確定処理を終了した後、ステップＳ．４に移行する。

ついで、プロセッサ１０４は、ユーザーが設定したインターバル撮影時間間隔t1を計測して時間間隔ｔ１毎に撮影を行う（Ｓ．４）。
すなわち、そのインターバル撮影時間間隔ｔ１経過ごとに露光処理を行い（S.５）、合成処理中フラグを確認する（S.６）。プロセッサ１０４は、合成処理中フラグがクリアされている場合には、CCD（撮像素子）１０１から被写体像１枚分相当の画像データの取得を実行する（S.７）。合成処理中フラグがセットされている場合、比較明合成処理中として比較明合成処理が終了するまで画像データの取得を禁止する。

ついで、プロセッサ１０４は「１」枚目の撮影であるか否かを判断する（Ｓ．８）。合成回数カウンタのカウント値が「０」である場合には、「１」枚目の撮影と判断する。Ｓ．８において、「ＹＥＳ」の場合には、１枚目の撮影により取得された画像データの輝度の平均値を、例えば、メモリ（適宜のメモリを用いて良い）の空き領域に保存する処理を行う（Ｓ．９）。そして、Ｓ．１１に移行する。
なお、輝度の平均値は、被写体像１枚分相当の各画素の輝度の総和を、この輝度の総和に用いた画素の総個数（被写体像１枚分相当の画素の個数）により除算して求められる。

Ｓ．８において、「ＮＯ」の場合には、２枚目以降の撮影と判断して、２枚目以降の撮影により取得された画像データの輝度の平均値を、例えば、そのメモリの別の空き領域に保存する処理を行う（Ｓ．１０）。

ついで、プロセッサ１０４は、１枚目の画像データの輝度の平均値と２枚目以後の画像データの輝度の平均値とを比較処理するために、メモリの各空き領域から両画像データの輝度の平均値のデータを読み出し、１枚目の画像データの輝度の平均値と２枚目以後の画像データの輝度の平均値との差分を演算する（Ｓ１１）。

ついで、プロセッサ１０４は、この輝度の平均値の差分の絶対値が閾値Ｍ以上であるか否かを判断する（Ｓ．１２）。なお、１枚目の画像データのときには、Ｓ．１２においてその差分は閾値Ｍ以下と判断される。
ここで、閾値Ｍは、被写体像の全体の明るさを判断するのに用いる。例えば、夜間におけるインターバル撮影等を想定した場合、明け方に近づくに従って空全体が明るくなってくると、被写体像の全体の輝度が高まり、このまま、比較明合成処理を続行すると、この閾値Ｍを超えた被写体像からなる画像データに合成画像用メモリ領域αの輝度のデータが置換され、比較明合成処理を行う意味がなくなってしまうからである。

プロセッサ１０４は、Ｓ．１２において、「ＹＥＳ」と判断した場合には、１回目の撮影による被写体像の輝度の平均値と２回目以後の撮影による被写体像の輝度の平均値との差分が閾値Ｍを超えた回数Ｎ’をカウントする（Ｓ．１３）。なお、この回数Ｎ’は、インターバル撮影を開始する際には、初期値が「０」にセットされる。

ついで、プロセッサ１０４は、Ｓ．１４に移行して、回数Ｎ’が設定回数Ｐ以上であるか否かを判定する。設定回数Ｐを設定したのは、閾値Ｍを大きな値に設定して閾値Ｍのみで判断することにすると、雲の移動等の自然条件による被写体像の輝度変化、雲に反射する人工的照明、車両のヘッドライト、懐中電灯等の光が瞬間的に写り込むことによる被写体像の輝度変化等が考慮されず、このような場合に、インターバル撮影が強制終了されるのは好ましくないからである。

そこで、閾値Ｍには、比較明合成処理の際の置換処理に支障の生じない程度の大きさを若干超えた値に設定し、設定回数Ｐにはその閾値Ｍを超えた被写体像を含めて比較明合成処理を行った場合でも、合成画像としての画像品質を維持できる程度の回数を設定することにする。

その閾値Ｍ、設定回数Ｐは、ＩＳＯ感度や撮影モードによって調整できる性質のものであり、カメラの製造者側で設定しても良いし、ユーザーが設定しても良い。
プロセッサ１０４は、Ｓ．１４において、回数Ｎ’が設定回数Ｐ以上の場合には、インターバル撮影を強制的に撮影終了し、回数Ｎ’が設定回数Ｐ未満の場合には、後述のステップＳ．１９に移行する。
なお、このインターバル撮影の強制的撮影終了は、ユーザーが設定した場合にのみ行わせる構成としても良い。

プロセッサ１０４はＳ.１２において、「ＮＯ」と判断した場合、ユーザーがインターバル撮影時間間隔（一定時間間隔）ｔ１ごとに取得した画像データを保存するという設定を行っているか否かを判断する処理を行い（S.１５）、ユーザーにより画像データの保存設定がされていれば、一定時間間隔ｔ１ごとに取得される被写体像の画像データを出力する処理（インターバル画像ファイル出力処理）を実行し（S.１６）、記憶媒体としてのＳＤカード又は内蔵メモリ１２０に保存する処理を行う。ユーザーによるこの設定がない場合には、S.１６の処理をスキップしてS.１７の処理に移行する。
なお、インターバル画像ファイル出力の詳細については後述する。

S.１７においては、合成処理中フラグがセットされる。ついで、プロセッサ１０４は、比較明合成処理S.1８に移行する。この比較明合成処理のフローチャートの詳細についても後述する。
その比較明合成処理が終了すると、プロセッサ１０４は、ユーザーによるインターバル撮影終了操作の有無を判断する（S.1９）。

ユーザーによるインターバル撮影終了操作がされた場合には、プロセッサ１０４は、インターバル撮影処理を終了し、ユーザーによるインターバル撮影終了操作がされていない場合には、プロセッサ１０４は、インターバル撮影時間間隔ｔ１が経過したか否かを判断し（S.2０）、インターバル撮影時間間隔ｔ１が経過した場合には、S.４に移行して、S.４〜S.２０の処理を実行する。

以下、比較明合成処理のフローチャートを実施例ごとに図９を参照しつつ説明する。
（比較明合成処理の基本例）
図９は、図７に示す比較明合成処理の基本例のフローチャートである。
プロセッサ１０４は、まず、合成回数カウンタのカウント値が「０」であるか否かを判断する（S.1８1）。

プロセッサ１０４は、合成回数カウンタのカウント値が「０」の場合には、合成画像用メモリ領域αに更新画像用メモリ領域βの画像データを、比較対象画像データ、すなわち、初期の合成画像データとして用いるためにコピーする（S.1８2）。

プロセッサ１０４は、合成回数カウンタのカウント値が「０」でない場合には、取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと合成画像データとの画素毎の輝度の比較をその取得中に実行して合成画像用メモリ領域αの画素に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換するという比較明合成処理を実行する（Ｓ．１８３）。

ついで、プロセッサ１０４は、合成回数カウンタのカウント値を「＋１」カウントした後、合成処理中フラグをクリアして（S.1８４、S.1８５）、比較明合成処理を終了して、図７に示すS.１９に移行する処理を実行する。

これらの一連の処理により、撮影レンズを通過した光を撮像素子（CCD）に受光して被写体像の画像１枚分相当の画像データの所定周期毎の取得制御実行中に、画素毎に輝度を比較して合成画像の構築を行うことができることになり、ユーザーはデジタルカメラを持ち帰って、後で一連の取得した被写体像の比較明合成処理を行う必要がないので便利である。

更に、この例によれば、後述するように記録媒体に一定時間間隔ごとに取得した被写体像の画像データを保存可能となっているので、デジタルカメラを自宅等に持ち帰った後からでもパーソナルコンピュータ（図示を略す）を用いてこれらの画像データを補正して使用することも可能である。

（インターバル画像ファイル出力処理の一例）
図１０は、図７に示すステップ１６のインターバル画像ファイル出力処理の一例を示すフローチャートである。プロセッサ１０４は、インターバル画像ファイル出力処理においては、図５において、設定されている設定条件に応じてインターバル画像ファイル出力処理を実行する。

すなわち、プロセッサ１０４は、通常静止画を残す設定がされている場合には、更新画像用メモリ領域βの画像データをインターバル撮影による被写体像の取得の都度静止画ファイルとして出力し（Ｓ．１６２）、合成画像を静止画として残す設定がされている場合には、合成画像用メモリ領域αの画像データをインターバル撮影による被写体の取得の都度静止画ファイルとして出力し（Ｓ．１６３）、通常動画を残す設定がされている場合には、更新画像用メモリ領域βの画像データをインターバル撮影による被写体の取得の都度、動画ファイルとして出力し（Ｓ．１６４）、合成画像を動画として残す設定がされている場合には、合成画像用メモリ領域αの画像データをインターバル撮影による被写体の取得の都度、動画ファイルとして出力する（Ｓ．１６５）。

この実施例１によれば、 被写体像を画像１枚分相当の画像データに変換する変換ステップ（図７のＳ．７参照）と、この変換ステップ（Ｓ．７）により変換された画像データを一定時間間隔で取得する取得ステップ（図７のＳ．４〜Ｓ．２０参照）と、画像データをその輝度が画素毎に比較される更新用画像データとして格納する更新画像用メモリ領域βから今回の更新用画像データを読み出すと共に、更新画像用メモリ領域βの画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換処理された比較対象画像データを合成画像データとして格納する合成画像用メモリ領域αから合成画像を読み出す画像処理ステップ（図７のＳ．１〜Ｓ．２０参照）と、読み出された今回の更新用画像データと合成用画像データとを互いに対応する画素毎に比較して画素毎の比較後に輝度が大きい方の輝度に合成画像用メモリ領域αの当該画素のデータを置換処理する置換処理ステップ（図７のＳ．１８、図９のＳ．１８１〜Ｓ．１８５参照）とが実行される。

画像処理ステップ（図７のＳ．１〜Ｓ．２０参照）は、更新用画像データが第１枚目の被写体像を構成する初期画像データであるか否かを判断する初期画像判断ステップ（図７のＳ．８参照）と、初期画像判断ステップ（図７のＳ．８参照）により初期画像データであると判断されたときには初期画像データの輝度の平均値を求め、初期画像判断ステップ（図７のＳ．８参照）により初期画像でないと判断されたときには更新用画像データが第２枚目以後の被写体像を構成する更新用画像データであるとして更新用画像データの輝度の平均値を求める平均値演算ステップ（図７のＳ．９〜Ｓ．１１参照）と、平均値演算ステップ（図７のＳ．９〜Ｓ．１１参照）により求められた両輝度の平均値の差分が閾値Ｍよりも大きいか否かを判断してその判断結果によって、置換処理ステップ（Ｓ１８）の処理内容を変更する変更ステップ（Ｓ．１２〜Ｓ．１４）とを含んでいる。

画像処理ステップ（図７のＳ．１〜Ｓ．２０参照）は、差分が閾値Ｍよりも小さいときには、今回取得された更新用画像データを用いて置換処理を実行するステップと、差分が閾値よりも大きい場合には次回に取得される更新用画像を用いての置換処理に移行するステップとを実行しても良い。
変更ステップ（Ｓ．１２〜Ｓ．１４）は、差分を超えた回数をカウントするカウントステップＳ．１３と、この回数が設定回数Ｐを超えた否かを判断する判断ステップ（図７のＳ．１４参照）とを含み、判断ステップがその設定回数Ｐを超えたと判断したときに置換処理ステップ（図７のＳ．１８参照）の処理を中止させても良い。

（変形例１）
プロセッサ１０４に、合成途中の合成画像を表示させる機能を追加する構成とすることもできる。
図１１は、この合成途中の合成画像を表示させる処理の一例を示すフローチャートである。この合成途中画像表示処理機能は、図７のステップＳ．４からステップＳ．１６の処理の途中に、レリーズスイッチＳＷ１が半押しされたか否かを判断する処理と、合成途中画像表示処理とを追加することにより行うことができる。

図７に示すインターバル撮影処理の実行中にレリーズスイッチＳＷ１が半押しされると、図１１に示すように、プロセッサ１０４は、合成処理中フラグがセットされているか否かを判断し、ＹＥＳの場合、合成処理中フラグがクリアされるまで待機する（Ｓ．３１）。ついで、プロセッサ１０４は、ＮＯの場合、合成回数カウンタのカウント値が「０」か否かを判断し（Ｓ．３２）、合成回数カウンタのカウント値が「０」の場合には、「＋１」カウントアップされるまで待機する。

プロセッサ１０４は、Ｓ３２において、合成回数カウンタのカウント値が「０」でない場合には、Ｓ．３３に移行して、合成画像用メモリ領域αの画像データからなる合成画像をＬＣＤモニタ１０に出力すると共にサブＬＣＤ１に合成枚数の表示データを出力する。そして、プロセッサ１０４は、合成画像の表示時間と合成枚数の表示時間とが経過したか否かを判断する（Ｓ．３４）。

プロセッサ１０４は、表示時間が経過すると、合成画像と合成枚数との表示消去処理を行って、図７に示すインターバル撮影処理に戻る（Ｓ．３５）。
この変形例１によれば、ユーザーが、インターバル撮影処理の途中で、合成画像を確認できるので便利である。

（変形例２）
プロセッサ１０４に、合成途中の合成画像をユーザーが任意に初期化させる機能を追加する構成とすることもできる。
図１２は、合成画像用メモリ領域αを初期化する処理の一例を示すフローチャートである。この合成画像用メモリ領域αの初期化処理も、図７のステップＳ．４からステップＳ．１６の処理の途中に、セルフタイマ／削除ＳＷ５が操作されたか否かを判断する処理と、合成画像用メモリ領域αを初期化する処理とを追加することにより行うことができる。

プロセッサ１０４は、セルフタイマの設定／削除ＳＷ５が操作されると、図１２に示すように、合成処理中フラグがセットされているか否かを判断し、ＹＥＳの場合、合成処理中フラグがクリアされるまで待機する（Ｓ．４１）。ついで、プロセッサ１０４は、ＮＯの場合、合成回数カウンタのカウント値を「０」に初期化し（Ｓ．４２）、ついで、合成画像のリセット時に、合成画像をファイルとして出力するか否かを判断する（Ｓ．４３）。
合成画像初期化前の合成画像を保存する場合には、合成画像用メモリ領域αの合成画像データをファイルとして出力し（Ｓ．４４）、保存しない場合には、Ｓ．４４の処理を実行しないで、図７に示すフローに戻る。

（変形例３）
図１３は、１枚目の画像データの輝度の平均値と２枚目以後の画像データの輝度の平均値との差分が閾値Ｍ以上であった場合には、インターバル撮影処理を強制終了させる代わりに、２枚目以降のその差分を求めるのに用いられた更新用画像の画像データを補正処理して（Ｓ．１２’）、この補正処理された更新用画像データを用いて、比較明合成処理を行うこととしたものであり、その他の処理は、図７に示す処理と同一であるので、そのフローチャートの詳細な説明は省略することにするが、画像データの補正処理について若干説明する。

その更新用画像データの輝度の補正には、各画素について、一次関数関係、二次関数関係の補正式を準備して補正しても良いし、各画素に対応する二次元ルックアップテーブルを準備して、各画素毎の補正量を予め実験により決めていても良い。
これらの実施例や変形例によれば、被写体像の一定時間間隔の取得の際の輝度変化に柔軟に対応して意図した合成画像の構築を行うことができる。

また、合成画像を動画ファイルとして出力すれば、例えば、星の光跡を残したいような場合、星の光跡が徐々に延びていくような動画像を容易に作成するための元データを得ることができる。
高度なテクニックを有するユーザの場合、動画データを作成する前に静止画の微調整を行う傾向があるが、その要望にも耐えられる。

パーソナルコンピュータによる後処理が苦手なユーザでも、長時間にわたる映像を短時間に間引きした動画（いわゆる、微速度動画）を、デジタルカメラのみの撮影により得ることができる。

（インターバル撮影の実施例２の説明）
この実施例２は、比較明合成処理中に、極度に明るい輝度を有する被写体が瞬間的に写り込んだ際の不具合を回避する工夫を施したものである。

この実施例２では、画像処理手段としてのプロセッサ１０４に合成画像用メモリ領域α、更新画像用メモリ領域βとを複数個のエリアに分割する領域分割手段としての機能を持たせている。
合成画像用メモリ領域α、更新画像用メモリ領域βは、図１４（ａ）〜図１４（ｄ）に示すように、領域分割手段によって、複数個のエリアαｉ（ｉ＝１〜ｍ）、βｉ（ｉ＝１〜ｍ）に分割される。この領域分割手段には、公知の手法を用いることができる。

プロセッサ１０４は、合成画像用メモリ領域αの各エリアαｉ（ｉ＝１〜ｍ）内の画素データの輝度値を用いてエリア毎の平均輝度値Ｐαｉ’、更新画像用メモリ領域βの各エリアβｉ（ｉ＝１〜ｍ）の画素データの輝度値を用いてエリア毎の平均輝度値Ｐβｉ’を演算する。
エリア毎の平均輝度値Ｐαｉ’、Ｐβｉ’は、エリア内の各画素の輝度値の総和をそのエリア内の画素の総個数を除算することによって求める。

ついで、プロセッサ１０４は、平均輝度値の差（Ｐαｉ’−Ｐβｉ’）の絶対値が閾値ＰＭを超えているか否かを演算する。
図１４（ｄ）に示すように、例えば、輝度の高い被写体像Ｑがエリアβｉ（ｉ＝４）に存在する場合には、このエリアβ４の平均輝度値Ｐβ４’（輝度β４ｊの総和をそのエリアβ４内の画素の総個数で除算した値）は、このエリアβ４に対応するエリアα４の平均輝度値Ｐα４’（輝度α４ｊの総和をそのエリアα４内の画素の総個数で除算した値）よりも相対的に大きくなる。

この場合に、比較明合成処理をそのまま全画素について実行すると、この被写体像Ｑが瞬間的に写り込んだ合成画像Ｇ２（図２０（ｂ）参照）となり、ユーザーが意図する合成画像が得られないという不都合が生じる。

そこで、この実施例２では、瞬間的に輝度の高い更新用画像データが取得された場合には、この輝度の高い被写体像Ｑが存在するエリア内の画像データは、比較明合成処理に用いないことにしたものである。

この実施例２によれば、この輝度の高い被写体像Ｑが存在するエリア以外のエリア内の各画素の画像データは採用するので、取得した被写体像の画像データを極力有効に活用できるという長所がある。

なお、閾値ＰＭは、各エリア毎に設定可能であり、現時点で作成されている合成画像の平均輝度値Ｐαｉ’の例えば１５％に設定する。例えば、現時点で作成されている合成画像の平均輝度値Ｐαｉ’＝１００の場合、閾値ＰＭ＝１５である。

この閾値ＰＭの設定は、ＭＥＮＵ／ＯＫ SW（ＳＷ１２）を操作して閾値選択画面を図１５に示すように呼び出し、上下ボタン（ＳＷ７、ＳＷ９）の操作により、数値変更できる。

閾値ＰＭを高め、例えば、３０％、５０％程度に設定すると、とりわけ大きな瞬間的輝度変化が除外され、閾値ＰＭを低め、例えば、５％、１０％程度に設定すると、比較的小さな瞬間的輝度変化が除外される。

閾値ＰＭをオートに設定すると、プロセッサ１０４は、合成画像用メモリ領域αの各エリアαｉ内の平均輝度値Ｐαｉ’を演算により求め、各エリアαｉの平均輝度値Ｐαｉ’が相対的に低い方では閾値ＰＭを大きく設定し、各エリアαｉの平均輝度値Ｐαｉ’が相対的に高い方では閾値ＰＭを小さく設定する処理を行う。

図１６は、その閾値ＰＭの大小を概念的に示した模式図であり、符合Ｘ１は各エリアαｉの低い方の平均輝度値の中央値であり、符合Ｘ２は各エリアαｉの高い方の平均輝度値の中央値であり、矢印Ｘ３はその閾値ＰＭが自動的に高めに設定される範囲を示しており、矢印Ｘ４はその閾値ＰＭが自動的に低めに設定される範囲を示している。

これにより、各エリアαｉ、βｉにおいて、平均輝度が低い方では、輝度の変化に対して鈍感に対応し、平均輝度が高い方では、輝度の変化に敏感に対応できることになり、瞬間的な輝度変化に対してより一層柔軟な対応が可能となる。

以下、実施例２に係るインターバル撮影を図１７に示すフローチャート、図１８に示すフローチャートを参照しつつ説明する。
なお、この図１７に示すフローチャートは、説明の便宜のため、図７、図１３に示すフローチャートの一部を捨象して再掲したもので、これらの図７、図１３に示すステップのうち、実施例２の説明に必須のステップのみが示されており、図７、図１３に示すステップを同時に実行させることももちろんできるものである。
まず、プロセッサ１０４は、図１７に示すように、合成処理中フラグをクリアし（Ｓ．１’）、被写体像の合成回数カウンタを初期化する（Ｓ．２’）。

ついで、ユーザーが設定したインターバル撮影時間間隔ｔ１を計測してインターバル撮影時間間隔ｔ１毎に露光処理を行う（Ｓ．４’）。ついで、プロセッサ１０４は合成処理中フラグのセットの有無を判断し（Ｓ．５’）、ＮＯの場合には、プロセッサ１０４はＣＣＤ（撮像素子）１０１から被写体像１枚分相当の画像データの取得を実行後（Ｓ．６’）、合成処理中フラグをセットした後（Ｓ．７’）、比較明合成処理を実行する（Ｓ．８’）。

プロセッサ１０４は、比較明合成処理においては、まず、合成回数カウンタのカウント値が「０」であるか否かを判断する（Ｓ．８１’）。合成回数カウンタのカウント値が「０」の場合、従来と同様に合成画像用メモリ領域αに更新画像用メモリ領域βの画像データをコピーする（Ｓ．８２’）。

ついで、合成回数カウンタのカウント値を「＋１」加算して（Ｓ．８４’）、合成処理中フラグをクリアした後（Ｓ．８５’）、Ｓ．９’、Ｓ．１０’に移行して、インターバル撮影時間間隔ｔ１が経過したか否かを判断して、Ｓ．３’に戻る。

プロセッサ１０４は、Ｓ．８１’において、合成回数カウンタのカウント値が「０」でない場合、Ｓ．８６’において、閾値ＰＭが設定されているか否かを判断する。

Ｓ．８６’において、ＮＯの場合、Ｓ．８３’において、取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと合成画像用データとの画素毎の輝度の比較をその取得中に実行して合成画像用メモリ領域αの画素に格納されていた輝度のデータを輝度が大きい方の輝度データに置換するという比較明合成処理を、合成画像用メモリ領域αの全画素、更新画像用メモリ領域βの全画素について従来通り実行する。その後、プロセッサ１０４は、Ｓ．８４’以降の処理を実行する。

Ｓ．８６’において、プロセッサ１０４は、ＹＥＳの場合、合成画像用メモリ領域αの各エリアα１〜αｍ内の画素の画像データ（画素データともいう）を用いて、エリア毎に平均輝度値Ｐαｉ’を演算すると共に、更新画像用メモリ領域βの各エリアβ１〜βｍ内の画像データ（画素データともいう）を用いて、エリア毎に平均輝度値Ｐβｉ’を演算する（Ｓ．８７’）。

ついで、プロセッサ１０４は、平均輝度値の差Ｐαｉ’−Ｐβｉ’の絶対値が閾値ＰＭを超えているか否かを演算して、平均輝度値の差Ｐαｉ’−Ｐβｉ’の絶対値が閾値ＰＭよりも大きいか否かを判断する（Ｓ．８８’）。

プロセッサ１０４は、Ｓ．８８’において、ＮＯの場合には、Ｓ．８３’に移行して、従来通りの比較明合成処理に移行する。プロセッサ１０４は、Ｓ．８８’において、ＹＥＳの場合には、Ｓ．８９’に移行する。

プロセッサ１０４は、Ｓ．８９’においては、閾値ＰＭを超えているエリアβｉの画素データを除いた更新画像用メモリ領域βの各画素の画像データを用いて比較明合成処理を実行した後、Ｓ．８４’以降の処理を実行する。
この処理により、輝度が極端に明るい被写体像を除外して比較明合成処理を行うことが可能になる。

（変形例４）
図２０に示す画像群Ｇ１にタグ情報を付して、記録手段としての記録媒体に記録させておいた場合、図１９（ａ）に模式的に示すように、最終的に得られた合成画像Ｇ２に輝度が高い被写体像Ｑが例えばエリアα４に写り込んでいたときでも、記録手段から画像群Ｇ１を読み出して、その輝度が高い被写体像Ｑが存在する画像データを一連の画像群Ｇ１から特定し、この輝度が高い画像データの近傍で連続的に取得された画像データを画像選択手段によりユーザーが適宜選択して、この輝度の高い被写体像Ｑが写り込んでいるエリアβ４の画像データを、この輝度の高い被写体像Ｑが写り込んでいない別の画像データのエリアβ４の画素データにより置換処理して、図１９（ｂ）に示すように、この輝度の高い被写体像Ｑが写り込んでいない合成画像Ｇ２を製作することができる。

この変形例４によれば、最終的に合成画像が意図しないものであっても、後でユーザーがエリア毎に輝度データを適宜補正できるので、より一層使い勝手の良いものとなる。
なお、エリア毎に閾値をユーザーが任意に設定できる構成としても良い。

１０４…プロセッサ（取得手段、画像処理手段）
α…合成画像用メモリ領域
β…更新画像用メモリ領域
Ｍ…閾値

特開２００９−２３９６００号公報

Claims (12)

1. 被写体像を画像１枚分相当の画像データに変換する撮像手段と、
   前記画像データを一定時間間隔で前記撮像手段から取得する取得手段と、
   前記画像データをその輝度が画素毎に比較される更新用画像データとして格納する更新画像用メモリ領域と、
   前記更新画像用メモリ領域の画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換処理された比較対象画像データを合成画像データとして格納する合成画像用メモリ領域と、
   前記取得手段により一定時間間隔で取得された更新用画像データのうち今回の更新用画像データと前記合成画像データとの画素毎の比較を前記取得中に実行して前記合成画像用メモリ領域の画素に格納されていた輝度のデータを輝度が大きい方の輝度のデータに置換処理する画像処理手段とを備え、
   前記画像処理手段は、前記更新用画像メモリ領域に格納されるべき更新用画像データが第１枚目の被写体像を構成する初期画像データのときには当該初期画像データとしての輝度の平均値を求め、前記更新用画像メモリ領域に格納されるべき更新用画像データが第２枚目以後の被写体像を構成する更新用画像データのときには当該更新用画像データとしての輝度の平均値を求め、両画像データの輝度の平均値の差分が閾値よりも大きいか小さいかによって、前記置換処理の内容を変更することを特徴とする撮像装置。
2. 前記画像処理手段は、前記差分が前記閾値よりも小さいときには、今回取得された更新用画像データを用いて前記置換処理を実行し、前記差分が前記閾値よりも大きい場合には次回に取得される更新用画像を用いての置換処理に移行することを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理手段は、前記差分が前記閾値を超えた回数をカウントするカウント手段を有し、該カウント手段のカウント値が設定回数を超えた場合に前記合成画像の構築処理を中止することを特徴とする請求項２に記載の撮像装置。
4. 前記画像処理手段は、前記差分が前記閾値よりも小さいときには、今回取得された更新用画像データを用いて前記置換処理を実行し、前記差分が前記閾値よりも大きい場合には今回取得された更新用画像データの輝度値に補正を加えて前記置換処理を実行した後、次回に取得される更新用画像を用いての置換処理に移行することを特徴とする請求項１に記載の撮像装置。
5. 前記画像処理手段は、前記合成画像用メモリ領域と前記更新画像用メモリ領域とを複数個のエリアに分割する領域分割手段を有し、
   前記画像処理手段は、前記合成画像用メモリ領域内のエリア毎の輝度の平均値と、前記更新画像用メモリ領域内のエリア毎の輝度の平均値とを求めると共に、互いに対応するエリア毎の輝度の平均値の差を求め、該輝度の平均値の差が閾値を超えたか否かを判断することにより、前記置換処理の内容を変更することを特徴とする請求項１ないし請求項４のいずれか１項に記載の撮像装置。
6. 前記エリア毎の閾値は、前記領域分割手段で分割されたエリア毎に設定可能なことを特徴とする請求項５に記載の撮像装置。
7. 前記エリア毎の閾値は、初期画像データを用いて前記エリア毎に輝度の平均値を求め、輝度の平均値が大きいときには前記閾値を小さく設定し、輝度の平均値が小さいときには前記閾値を大きく設定することを特徴とする請求項６に記載の撮像装置。
8. 前記画像処理手段は、撮影した画像データを記録手段に記録し、該記録手段から読み出された画像データを用いてエリア毎の置換処理が実行可能であることを特徴とする請求項５に記載の撮像装置。
9. 前記記録手段に記録された画像データから任意の更新画像データを選択する画像選択手段を有し、前記画像選択手段により選択された更新画像データを用いて前記更新画像用メモリ領域のエリアが選択されると、前記合成画像用メモリ領域の前記選択されたエリアに対応するエリア内の画像データが前記更新画像用メモリ領域のエリアの画像データに置換処理されることを特徴とする請求項８に記載の撮像装置。
10. 被写体像を画像１枚分相当の画像データに変換する変換ステップと、
    該変換ステップにより変換された画像データを一定時間間隔で取得する取得ステップと、
    前記画像データをその輝度が画素毎に比較される更新用画像データとして格納する更新画像用メモリ領域から今回の更新用画像データを読み出すと共に、前記更新画像用メモリ領域の画素と互いに対応する画素毎に輝度が比較される画像１枚分相当の比較対象画像データを格納しかつ画素毎の輝度の比較後に輝度が大きい方の輝度にその画素のデータが置換処理された比較対象画像データを合成画像データとして格納する合成画像用メモリ領域から前記合成画像を読み出す画像処理ステップと、
    前記読み出された今回の更新用画像データと前記合成用画像データとを互いに対応する画素毎に比較して画素毎の比較後に輝度が大きい方の輝度に前記合成画像用メモリ領域の当該画素のデータを置換処理する置換処理ステップとを含み、
    前記置換処理ステップは、前記更新用画像データが第１枚目の被写体像を構成する初期画像データであるか否かを判断する初期画像判断ステップと、
    前記初期画像判断ステップにより前記初期画像データであると判断されたときには当該初期画像データとしての輝度の平均値を求め、前記初期画像判断ステップにより前記初期画像でないと判断されたときには前記更新用画像データが第２枚目以後の被写体像を構成する更新用画像データであるとして当該更新用画像データとしての輝度の平均値を求める平均値演算ステップと、
    該平均値演算ステップにより求められた両輝度の平均値の差分が閾値よりも大きいか否かを判断してその判断結果によって、前記置換処理ステップの処理内容を変更する変更ステップと、
    を含むことを特徴とする撮像方法。
11. 前記画像処理ステップは、前記差分が前記閾値よりも小さいときには、今回取得された更新用画像データを用いて置換処理を実行するステップと、前記差分が前記閾値よりも大きい場合には次回に取得される更新用画像を用いての置換処理に移行するステップとを含むことを特徴とする請求項１０に記載の撮像方法。
12. 前記変更ステップは、差分を超えた回数をカウントするカウントステップと、該回数が設定回数を超えた否かを判断する判断ステップとを含み、前記判断ステップが前記回数を超えたと判断したときに前記置換処理ステップの処理を中止させることを特徴とする請求項１０に記載の撮像方法。