JP2018042149A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】データ量を低減しながら比較合成処理をやり直し可能な画像データを生成する画像処理装置等を提供する。【解決手段】基準画像データと取得画像データに基づく対象画像データとを比較合成して合成画像データを生成する比較合成部２１，２２と、比較合成により画素値が変化する差分画素位置を検出する差分画素検出部２１ａ，２２ａと、差分画素位置の画素値に基づく差分画素値を差分画素位置の画素値とし、差分画素位置以外の画素位置の画素値を所定の固定値とする差分画像データを生成する差分画像データ生成部２１ｂ，２２ｂと、を備える画像処理装置。【選択図】図１

Description

本発明は、複数の画像データに比較合成処理を行い、合成画像データを生成する画像処理装置、画像処理方法に関する。

近年、比較合成処理機能が搭載されたデジタルカメラ等の撮像装置、あるいは比較合成処理機能を有する画像処理ソフトウェアなどが提案されている。ここに、比較合成処理には、比較明合成処理と比較暗合成処理とが含まれる。

まず、比較明合成処理とは、複数フレームの画像（例えば、時系列的に撮像された複数フレームの画像）における同一画素位置の画素値を比較して、値が大きい方の画素値で該当画素位置の画素値を置き換える処理である。また、比較暗合成処理は、比較した結果の値が小さい方の画素値で該当画素位置の画素値を置き換える処理である。

これらの内の比較明合成処理は、暗い背景の下で明るい移動体の軌跡を撮影した画像を取得するのに用いることができ、適用される撮影シーンの幾つかの例としては、花火、天体撮影、夜間の車等のヘッドライトの移動軌跡の撮影、などが挙げられる。

また、比較暗合成処理は、明るい背景の下で暗い移動体の軌跡を撮影した画像を取得するのに用いることができ、適用される撮影シーンの例としては、青空の下で飛ぶ鳥の移動軌跡の撮影が挙げられる。

特に、比較明合成処理が適用される撮影シーンは背景が暗いことが多いために、長時間のシャッタ速度で撮影すると、暗電流による画質劣化が目立つことになる。これに対して、得られた複数フレームの画像を比較明合成処理すれば、暗電流による画質劣化を避けてＳ／Ｎ比の高い画像を得ることができる。

ところで、比較合成処理の対象となる画像データは、例えばインターバル撮影（連写撮影）により時系列的に撮影を行って取得されるが、撮影開始から撮影終了までの時間、および１フレームの画像を撮影してから次のフレームの画像を撮影するまでの時間間隔に応じて、例えば数フレーム〜数万フレーム（もしくはそれ以上）の画像データを取得することになる。

撮影時に、随時比較合成画像を生成して、比較合成処理が済んだ画像データを順次削除していけば、最終的に生成された比較合成画像だけを記録媒体に保存すれば良いために、大容量の記録媒体は不要である。

これに対して近年、撮影時に得られた全画像データに基づいて、比較合成処理をやり直したいという要望が生じている。一例としては、夜空の星の軌跡を撮影しているときに、ヘッドライトを点灯した自動車が通過した場合に、ヘッドライトの影響を受けているフレームだけを削除して比較合成処理をやり直す、といった場合である。

このようなリアルタイム処理ではない後段での比較合成処理を可能とするためには、撮影時に得られた全画像データを保存しておく必要があるが、撮影時に取得される画像データは上述したように例えば数フレーム〜数万フレームとなるために、これらを全て保存するためには膨大な容量の記録媒体が必要となる。

そこで、記憶するデータ量を削減する提案がなされている。例えば、特開２００５−２６０３２４号公報には、インターバル撮影時に画像データを記録する記録容量を低減するために、２つの画像の差分があるレベルよりも大きい場合にのみ、画像を記録メディアに記録する技術が開示されている。

特開２００５−２６０３２４号公報

しかしながら、上記特開２００５−２６０３２４号公報のような差分に基づいて画像を記録するか否かを区別する方法では、差分が小さい場合に画像が記録されないために、正確な比較合成画像を再現することができない場合がある。

また、上記特開２００５−２６０３２４号公報に記載の技術は、基準画像と撮影画像との差分、つまり画素値が大きくなった場合と小さくなった場合との両方を検出している。しかし、比較合成処理は、画素値が大きくなった場合と小さくなった場合との何れか一方の画素値のみが合成画像に用いられる処理であるために、該公報に記載の技術は、こうした画素値変化の特徴を生かした効果的なデータ圧縮を行っていない。

本発明は上記事情に鑑みてなされたものであり、データ量を効率的に低減しながら、比較合成処理をやり直し可能な記録用の画像データを生成することができる画像処理装置、画像処理方法を提供することを目的としている。

本発明のある態様による画像処理装置は、基準画像データと、取得画像データに基づく対象画像データと、を比較合成処理して合成画像データを生成する比較合成部と、上記比較合成処理を行った場合に上記基準画像データに対して画素値が変化する差分画素位置を検出する差分画素検出部と、上記取得画像データまたは上記合成画像データの上記差分画素位置の画素値に基づく差分画素値を該差分画素位置の画素値とし、該差分画素位置以外の画素位置の画素値を所定の固定値とする差分画像データを生成する差分画像データ生成部と、を備える。

本発明のある態様による画像処理方法は、基準画像データと、取得画像データに基づく対象画像データと、を比較合成処理して合成画像データを生成する比較合成ステップと、上記比較合成処理を行った場合に上記基準画像データに対して画素値が変化する差分画素位置を検出する差分画素検出ステップと、上記取得画像データまたは上記合成画像データの上記差分画素位置の画素値に基づく差分画素値を該差分画素位置の画素値とし、該差分画素位置以外の画素位置の画素値を所定の固定値とする差分画像データを生成する差分画像データ生成ステップと、を有する。

本発明の画像処理装置、画像処理方法によれば、データ量を効率的に低減しながら、比較合成処理をやり直し可能な記録用の画像データを生成することができる。

本発明の実施形態１における画像処理装置が適用された撮像装置の構成を示すブロック図。 上記実施形態１の撮像装置におけるライブコンポジット撮影の処理を示すフローチャート。 上記実施形態１の撮像装置における設定処理を示すフローチャート。 上記実施形態１の撮像装置における１フレーム目取得の処理を示すフローチャート。 上記実施形態１の撮像装置における差分抽出の処理を示すフローチャート。 上記実施形態１の撮像装置におけるデータ保存の処理を示すフローチャート。 上記実施形態１において、１フレーム目に取得された撮像画像データの例を示す図。 上記実施形態１において、２フレーム目に取得された撮像画像データの例を示す図。 上記実施形態１において、１フレーム目に対する２フレーム目の差分画像データの例を示す図。 上記実施形態１において、１フレーム目および２フレーム目を比較明合成して得られた合成画像データの例を示す図。 上記実施形態１において、動画データを構成する動画フレームの様子を示す図。 上記実施形態１において、全画像を比較明合成して得られた合成画像データの例を示す図。 本発明の実施形態２の撮像装置における設定処理を示すフローチャート。 上記実施形態２の撮像装置における１フレーム目取得の処理を示すフローチャート。 上記実施形態２の撮像装置における差分抽出の処理を示すフローチャート。 上記実施形態２において、評価値Ｄに基づき外乱期間を検出する様子を示すタイミングチャート。 本発明の実施形態３の撮像装置におけるデータ保存の処理を示すフローチャート。 本発明の実施形態４の画像処理装置における１コマ再生処理を示すフローチャート。 上記実施形態４の画像処理装置における再生用の選択画像表示の処理を示すフローチャート。 上記実施形態４の画像処理装置における手動モード処理を示すフローチャート。 上記実施形態４の画像処理装置における合成処理を示すフローチャート。 上記実施形態４において、差分画像データで構成される動画データと共に評価値Ｄを表示する例を示す図。 上記実施形態４において、指定フレームの画像を表示する例を示す図。 上記実施形態４において、指定フレームの画像と共にユーザによる消去の選択を促すメッセージを表示する例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１２は本発明の実施形態１を示したものであり、図１は画像処理装置が適用された撮像装置の構成を示すブロック図である。

本実施形態は、画像処理装置を撮像装置に適用した例となっている。ただし、画像処理装置は、撮像装置に組み込まれているに限るものではなく、単体の画像処理装置であっても良いし、コンピュータに画像処理プログラムを実行させる構成であっても構わないし、特定の構成に限定されるものではない。例えば、撮像装置以外である場合には、撮像装置により取得された撮像画像データを通信回線等を介して受信すれば、記録媒体を介することなく（つまり、多数の画像データをそのまま記録する記録容量を必要とすることなく）、画像処理を行うことが可能である。

この撮像装置は、図１に示すように、撮像部１と、画像処理部２と、バス３と、メモリ制御部４と、表示部５と、符号／復号化部６と、入力部７と、手ブレ検出部８と、マイク９ａおよびアナログ／デジタル変換部（Ａ／Ｄ変換部）９ｂと、システム制御部１０と、を備えている。

撮像部１は、被写体の光学像を撮像して撮像画像データを生成するものであり、レンズ部１１と、絞り部１２と、シャッタ部１３と、イメージセンサ部１４と、駆動制御部１５と、を備えている。

レンズ部１１は、被写体の光学像をイメージセンサ部１４に結像するための撮影光学系である。

絞り部１２は、レンズ部１１からイメージセンサ部１４へ向かう光束の通過範囲を、開口径を変化させることによって制御する光学絞りである。

シャッタ部１３は、レンズ部１１からの光束がイメージセンサ部１４へ到達する時間を制御するものであり、例えば遮光機能を有するシャッタ幕を走行させる光学シャッタとなっている。このシャッタ部１３は、イメージセンサ部１４に光束が到達開始してから到達終了するまでの時間、つまりイメージセンサ部１４の露光時間を制御する。

イメージセンサ部１４は、撮像面に所定の画素ピッチで２次元状に配列された複数の画素を有し、例えば、原色（Ｒ（赤色）Ｇ（緑色）Ｂ（青色））ベイヤー配列のカラーフィルタを配置した単板式の撮像素子を備えている。ただし、カラーフィルタは原色ベイヤー配列に限るものではなく、また単板式の撮像素子に限るものでもない。そして、イメージセンサ部１４は、絞り部１２を介してレンズ部１１により結像された被写体の光学像を光電変換してアナログ画像信号を生成する。

さらに、本実施形態のイメージセンサ部１４は、例えばデジタル撮像素子として構成されていて、生成されたアナログ画像信号にリセットノイズ除去を行いさらにゲインアップしてからＡ／Ｄ変換を行ってデジタルの撮像画像データに変換し、バス３を介して出力するようになっている。ここに、撮像画像データは、Ａ／Ｄ変換時のビット数に応じた下限値から上限値までの画素値をとる。例えば、１０ビットの場合には０〜１０２３、１２ビットの場合には０〜４０９５などが画素値の取り得る範囲となる。こうして撮像素子は、撮像画像データを取得する。

また、イメージセンサ部１４は、いわゆる素子シャッタとしての機能を備えており、露光時間の制御を、シャッタ部１３による光学シャッタを用いるのに代えて、シャッタ部１３を開放状態にしてイメージセンサ部１４の素子シャッタにより行うようにしても構わない。

駆動制御部１５は、システム制御部１０と通信し、システム制御部１０からの指令を受けて、撮像部１内の各部を制御する。具体的に、駆動制御部１５は、レンズ部１１を駆動してフォーカス位置の調整あるいは焦点距離の変更も行い、絞り部１２を駆動して開口径を変化させ、シャッタ部１３を駆動してシャッタ幕を走行させ、イメージセンサ部１４を駆動して撮像を行わせ撮像画像データを生成させあるいは素子シャッタを制御する。

次に、画像処理部２は、基準画像データと、撮像画像データに基づく対象画像データと、を比較合成処理して合成画像データを生成する比較合成部としての比較明合成部２１および比較暗合成部２２を備え、さらに、通常画像処理部２３を備えている。

ここに、比較合成処理には比較明合成処理と比較暗合成処理とが含まれている。そして、比較明合成部２１は、基準画像データと対象画像データとを比較明合成処理して合成画像データを生成する。また、比較暗合成部２２は、基準画像データと対象画像データとを比較暗合成処理して合成画像データを生成する。

より詳細に、比較明合成部２１は、差分画素検出部である比較明差分画素検出部２１ａと、差分画像データ生成部である比較明差分画像データ生成部２１ｂとを含んでいる。比較明差分画素検出部２１ａは、比較明合成処理を行った場合に、基準画像データに対して画素値がより大きい値に変化する差分画素位置を検出する。比較明差分画像データ生成部２１ｂは、撮像画像データまたは合成画像データの差分画素位置の画素値に基づく差分画素値を差分画素位置の画素値とし、差分画素位置以外の画素位置の画素値を所定の固定値（例えば０）とする差分画像データを生成する。

また、比較暗合成部２２は、差分画素検出部である比較暗差分画素検出部２２ａと、差分画像データ生成部である比較暗差分画像データ生成部２２ｂとを含んでいる。比較暗差分画素検出部２２ａは、比較暗合成処理を行った場合に、基準画像データに対して画素値がより小さい値に変化する差分画素位置を検出する。比較暗差分画像データ生成部２２ｂは、撮像画像データまたは合成画像データの差分画素位置の画素値に基づく差分画素値を差分画素位置の画素値とし、差分画素位置以外の画素位置の画素値を所定の固定値（例えば０）とする差分画像データを生成する。

こうして、差分画素検出部は、比較合成処理を行った場合に基準画像データに対して画素値が変化する差分画素位置を検出する。また、差分画像データ生成部は、撮像画像データまたは合成画像データの差分画素位置の画素値に基づく差分画素値を差分画素位置の画素値とし、差分画素位置以外の画素位置の画素値を所定の固定値（例えば０）とする差分画像データを生成する。

ここに、差分画素値は、例えば、撮像画像データまたは合成画像データの差分画素位置の画素値自体（後述する数式１，数式４，数式５，数式８等参照）、あるいは、撮像画像データまたは合成画像データの差分画素位置の画素値から基準画像データの差分画素位置の画素値を減算した値（後述する数式６等参照）などであるが、詳細は後述する。

通常画像処理部２３は、撮像部１により取得された撮像画像データから表示用あるいは記録用の画像データを生成するために、いわゆる現像処理を含む種々の画像処理を行うものである。例えば、通常画像処理部２３は、白色の被写体が白色として観察されるようにするためのホワイトバランス処理、ＲＧＢベイヤー配列の画像データに対するデモザイキング処理、表示画像の階調が適切となるようにするための階調変換処理、被写体の色をより忠実に再現するためのカラーマトリクス処理、空間周波数に応じたコアリング処理などのノイズ低減処理、などの各種の処理を画像データに対して行う。

バス３は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス３は、撮像部１と、画像処理部２と、メモリ制御部４と、表示部５と、符号／復号化部６と、入力部７と、手ブレ検出部８と、Ａ／Ｄ変換部９ｂと、システム制御部１０と、に接続されている。

メモリ制御部４は、内部メモリ４ａと外部メモリ４ｂとを備え、画像データを含む各種データの記録制御および読出制御を行う記録制御部である。

内部メモリ４ａは、例えばＳＤＲＡＭやフラッシュメモリ等を備えた記憶部である。ここに、ＳＤＲＡＭは、撮像画像データ、あるいは画像処理部２により処理された画像データ、符号／復号化部６により処理された画像データなどの各種データを一時的に記憶する。また、フラッシュメモリは、システム制御部１０により実行される処理プログラムと、この撮像装置に係る各種の情報（例えば、画像処理に用いるパラメータやユーザによる設定値など）と、を不揮発に記憶する。

外部メモリ４ｂは、画像データを含む各種データを記録する記録媒体であり、例えば撮像装置に着脱可能なメモリカード（あるいは、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であってもよい）等により構成されている。こうして、外部メモリ４ｂは、撮像装置に固有の構成である必要はない。

表示部５は、例えば、撮像装置の背面に設けられたＬＣＤなどの表示パネル、あるいは拡大光学系を介して観察する構成の電子ビューファインダなどを含んで構成されていて、メモリ制御部４に記憶されている画像処理後の画像データを読み出して画像を表示すると共に、この撮像装置に係る各種の情報やメニューなどを表示するものである。この表示部５において行われる画像表示には、スルー画像を表示するライブビュー画像表示、メニュー設定を行う際のＧＵＩ（グラフィカル・ユーザ・インタフェース）を表示するメニュー表示が含まれると共に、さらに、後述するような、ライブコンポジット撮影中に比較合成処理を行って生成される合成画像の表示、再生用の選択画像表示、撮影後に外部メモリ４ｂに記録されている後述する動画データＦに基づき比較合成処理をやり直すときの合成画像の表示、などが含まれている。

符号／復号化部６は、画像データを符号化して圧縮しあるいは圧縮された画像データを復号化して伸張するものであり、静止画符号／復号化部６ａと、動画符号／復号化部６ｂと、を備えている。

静止画符号／復号化部６ａは、静止画データを例えばＪＰＥＧなどの処理方式で圧縮または伸張する処理を行う。

動画符号／復号化部６ｂは、動画データを例えばＭＰＥＧなどの処理方式で圧縮または伸張する処理を行う。

符号／復号化部６により圧縮された画像データは、システム制御部１０によりヘッダ等を付加されてファイル形式として整えられてから、画像ファイルとして外部メモリ４ｂに記録されるようになっている。

入力部７は、この撮像装置に対する各種の操作入力を行うためのものであり、比較合成モードを含む動作モードを設定するモード設定部を兼ねている。この入力部７は、例えば、操作スイッチや押圧ボタン、表示部５の表示面に配設されたタッチパネル、あるいは無線等を介して操作を行うためのリモートコントローラなどで構成されている。入力部７を構成する操作部材の幾つかの例を挙げれば、電源ボタン、レリーズボタン、メニューボタンなどがある。そして、この撮像装置の動作モードは、例えばメニューボタンの操作により設定可能となっており、設定されるモードには、ライブコンポジット撮影モード、１コマ再生モードなどが含まれている。これらライブコンポジット撮影モードおよび１コマ再生モードは、後述するように、比較合成処理を行う比較合成モードである。これらの内の撮影時の動作モードであるライブコンポジット撮影モードを選択した場合には、さらに比較明合成処理を行う比較明合成モードと比較暗合成処理を行う比較暗合成モードとを選択することができるようになっている。

手ブレ検出部８は、ジャイロセンサ等を備え、例えば手ブレなどによる撮像装置の動きの大きさや方向を、ブレ量として検出する。この手ブレ検出部８により検知されたブレ量は、ユーザへの手ブレ警告、あるいは図示しないブレ補正機構によるブレ補正に用いられると共に、外乱が発生しているか否かを判定するための評価値として用いられる。

マイク９ａは、音声を入力してアナログの電気信号に変換するものである。

Ａ／Ｄ変換部９ｂは、マイク９ａから出力されたアナログの音声信号を、デジタルの音声データにＡ／Ｄ変換する。これらのマイク９ａおよびＡ／Ｄ変換部９ｂにより生成された音声データは、動画撮影時の記録音声として用いられると共に、外乱が発生しているか否かを判定するための評価値として用いられる。

システム制御部１０は、この撮像装置内の各部を統括的に制御する制御部である。システム制御部１０は、内部メモリ４ａに記憶されている処理プログラムに従って、内部メモリ４ａから処理に必要なパラメータを読み込んで、ユーザによる入力部７からの操作入力に応じた各種のシーケンスを実行する。

例えば、システム制御部１０は、自動露出（ＡＥ）制御部として機能して、露出演算を行い、絞り部１２の絞り値、シャッタ部１３の光学シャッタまたはイメージセンサ部１４の素子シャッタによる露光時間制御、イメージセンサ部１４あるいは画像処理部２のゲインの制御等を行う。

また、システム制御部１０は、自動焦点（ＡＦ）制御部として機能して、撮像画像データに基づくコントラストＡＦ、あるいは図示しない位相差ＡＦセンサ（またはイメージセンサ部１４に設けられている位相差画素など）に基づく位相差ＡＦを行う。

さらに、システム制御部１０は、撮像制御部として機能して、イメージセンサ部１４に撮像を行わせて画像データを取得させる。このとき、撮像装置が例えばライブコンポジット撮影モードに設定されている場合には、システム制御部１０は、レリーズボタンの押圧によりレリーズオンの状態に維持されている間（あるいは、レリーズボタンが１回オン操作されてから、２回目にオン操作されるまでの間）、画像を所定の時間間隔で連続して撮影する連写制御部として機能するようになっている。

そして、システム制御部１０は、メモリ制御部４と共に記録制御部として機能して、差分画像データ生成部である比較明差分画像データ生成部２１ｂまたは比較暗差分画像データ生成部２２ｂにより生成された差分画像データを外部メモリ４ｂに記録する制御を行う。

次に、図２は、撮像装置におけるライブコンポジット撮影の処理を示すフローチャートである。なお、この図２に示す処理を含む撮像装置内における各種の処理は、システム制御部１０の制御に基づき行われるようになっている。

図示しないメイン処理において、ユーザが入力部７を操作することにより撮像装置がライブコンポジット撮影モードに設定されると、この図２に示す処理に入る。

そして、図２に示す処理を開始すると、まず、設定処理を行う（ステップＳ１１）。

ここに、図３は、撮像装置における設定処理を示すフローチャートである。

この設定処理に入ると、ユーザが入力部７により、比較明合成モードを設定する操作を行ったか、あるいは比較暗合成モードを設定する操作を行ったかをシステム制御部１０が判定する（ステップＳ２１）。

ここで、比較明合成モードを設定する操作を行ったと判定した場合には、システム制御部１０は、この撮像装置を比較明合成モードに設定する（ステップＳ２２）。

一方、比較暗合成モードを設定する操作を行ったと判定した場合には、システム制御部１０は、この撮像装置を比較暗合成モードに設定する（ステップＳ２３）。

そして、ステップＳ２２またはステップＳ２３の処理を行ったら、図２に示す処理にリターンする。

こうして図２のステップＳ１１の処理が行われたら、システム制御部１０は、入力部７のレリーズボタンにより撮影を指示するレリーズ操作が行われたか否かを判定する（ステップＳ１２）。

ここで、レリーズ操作が行われていないと判定した場合には、ステップＳ１１へ戻って上述した処理を行う。

また、ステップＳ１２においてレリーズ操作が行われたと判定した場合には、１フレーム目取得の処理を行う（ステップＳ１３）。

ここに、図４は、撮像装置における１フレーム目取得の処理を示すフローチャートである。

この１フレーム目取得の処理に入ると、システム制御部１０の制御により撮像部１に撮像を行わせて、撮像部１から１フレーム目の撮像画像データＸ（０）を取得する（ステップＳ３１）。

ここに、ｎを０以上の整数としたときに、（ｎ＋１）フレーム目の撮像画像データをＸ（ｎ）により表すものとし、後述するように、撮像画像データの総フレーム数がＮ（Ｎは１以上の整数）フレームであるものとする。このときには、ｎ＝０〜（Ｎ−１）の範囲をとることになる（従って、後述するように、ステップＳ１６のカウントアップによってｎ＝Ｎとなったときには、ステップＳ１７においてステップＳ１５〜Ｓ１７のループ処理を抜けることになる）。また、１フレーム目のフレーム番号を１とすると、ｎを用いた表記によればフレーム番号が（ｎ＋１）により表される。

次に、１フレーム目の撮像画像データＸ（０）を最初の動画フレームｆ（０）として設定する（ステップＳ３２）。

さらに、１フレーム目の撮像画像データＸ（０）を最初の合成画像データＲ（０）として設定して（ステップＳ３３）、この処理から図２に示す処理にリターンする。

図２に示す処理に戻ると、画像フレーム数をカウントするためのカウンタｎに１を設定する（ステップＳ１４）。

そして、差分抽出処理を行う（ステップＳ１５）。

ここに、図５は、撮像装置における差分抽出の処理を示すフローチャートである。

この差分抽出の処理に入ると、上述したように撮像を行って、撮像部１から撮像画像データＸ（ｎ）を取得する（ステップＳ４１）。

続いて、比較合成モードとして設定されているのが比較明合成モードであるか比較暗合成モードであるかを判定する（ステップＳ４２）。

ここで、比較明合成モードであると判定された場合には、基準画像データである合成画像データＲ（ｎ−１）と撮像画像データＸ（ｎ）とに基づき、比較明差分画素検出部２１ａおよび比較明差分画像データ生成部２１ｂが処理を行って、比較明の差分画像データである動画フレームｆ（ｎ）を生成する（ステップＳ４３）。

具体的に、各画像の画素位置を（ｘ，ｙ）により表すとすると、比較明の差分画像データである動画フレームｆ（ｎ）は、次の数式１に示す処理を全ての画素位置（ｘ，ｙ）に対して行うことにより生成される。
［数１］

ここに、差分画像データである動画フレームｆ（ｎ）における非ゼロの画素値を有する画素位置が、差分画素位置である。

さらに、合成画像データＲ（ｎ−１）と差分画像データである動画フレームｆ（ｎ）とに基づいて、比較明による合成画像データＲ（ｎ）を次の数式２に示すように生成する（全ての画素位置（ｘ，ｙ）に対して行うことは、以下同様である）（ステップＳ４４）。
［数２］

すなわち、合成画像データＲ（ｎ−１）を基準画像データとし、差分画像データである動画フレームｆ（ｎ）を撮像画像データに基づく対象画像データとして、比較合成処理を行っている。

この数式２は、合成画像データＲ（ｎ−１）に対して、非ゼロである差分画素位置のみについてｆ（ｎ）の画素値で置き換えることで、合成画像データＲ（ｎ）を取得することを意味している。このような合成方法を用いれば、処理すべき画素数を削減することができ（差分画像データである動画フレームｆ（ｎ）における画素値が非ゼロである画素数が、全画素数に比して小さい例えば星空のような被写体の場合には、処理すべき画素数を大幅に削減することができ）、処理負荷を軽減して、処理時間を短縮することができる。このような処理は、特に、合成対象となる画像のフレーム数が多い場合（例えば、数百〜数万など）に、高い効果を奏することができる。

比較明合成部２１によって合成画像データＲ（ｎ）を生成する比較明合成処理は、基準画像データである合成画像データＲ（ｎ−１）と対象画像データとに対して行われる。このとき、数式２に示す処理では、対象画像データとして、ステップＳ４３により生成された差分画像データである動画フレームｆ（ｎ）を用いていた。しかし、これに限定されるものではない。

例えば、次の数式３に示すように、撮像画像データＸ（ｎ）を対象画像データとして用いて、基準画像データである合成画像データＲ（ｎ−１）と比較明合成処理を行い、合成画像データＲ（ｎ）を生成するようにしても良い。
［数３］

また、図５に示した処理では差分画像データである動画フレームｆ（ｎ）を先に生成し、合成画像データＲ（ｎ）を後に生成したが、これらの生成順序を入れ替えても構わない。

ここに、合成画像データＲ（ｎ）を先に生成する場合には、数式２に示した方法を用いることができないために、数式３に示した方法を用いることになる。

さらに、合成画像データＲ（ｎ）を先に生成する場合には、差分画像データである動画フレームｆ（ｎ）を生成する際に、合成画像データＲ（ｎ−１）と撮像画像データＸ（ｎ）とを用いるのに代えて、合成画像データＲ（ｎ−１）と合成画像データＲ（ｎ）とを用いることも可能である。

合成画像データＲ（ｎ−１）と合成画像データＲ（ｎ）とを用いて差分画像データである動画フレームｆ（ｎ）を生成する方法としては、次の数式４に示す方法、あるいは数式５に示す方法の何れを用いても構わない。
［数４］

［数５］

なお、数式１，３における括弧内の条件式は、Ｘ（ｎ）（ｘ，ｙ）とＲ（ｎ−１）（ｘ，ｙ）との大小関係を比較するのに代えて、Ｘ（ｎ）（ｘ，ｙ）−Ｒ（ｎ−１）（ｘ，ｙ）が０よりも大きいかまたは０以下であるかを比較するようにしても構わない。

同様に、数式４における括弧内の条件式は、Ｒ（ｎ）（ｘ，ｙ）とＲ（ｎ−１）（ｘ，ｙ）との大小関係を比較するのに代えて、Ｒ（ｎ）（ｘ，ｙ）−Ｒ（ｎ−１）（ｘ，ｙ）が０よりも大きいかまたは０に等しいかを比較するようにしても構わない。

また、数式１，４，５の説明においては、比較明の差分画像データである動画フレームｆ（ｎ）における差分画素位置の画素値（上述した差分画素値が該当する）を、撮像画像データＸ（ｎ）または合成画像データＲ（ｎ）の差分画素位置の画素値自体としたが、上述したように、これに限定されるものではない。

例えば、撮像画像データＸ（ｎ）または合成画像データＲ（ｎ）の差分画素位置の画素値から、基準画像データである合成画像データＲ（ｎ−１）の差分画素位置の画素値を減算した値を、比較明の差分画像データである動画フレームｆ’（ｎ）における差分画素位置の画素値（上述した差分画素値が該当する）とするようにしても良い。このときには、差分画素位置以外の画素位置の画素値である所定の固定値を０とする。ただし、１フレーム目の撮像画像データＸ（０）を最初の動画フレームｆ’（０）として設定するのは、上述したステップＳ３２と同様である。

一例として撮像画像データＸ（ｎ）を用いる場合には、次の数式６に示すようになる。
［数６］

この数式６に示すような比較明の差分画像データである動画フレームｆ’（ｎ）を用いる場合には、任意のｎにおける比較明の合成画像データＲ（ｎ）は、次の数式７に示すように算出すれば良い。
［数７］

差分画像データである動画フレームｆ’（ｎ）は、画素値自体が差分として生成されるために、差分画素位置における非ゼロの画素値が比較的小さな値で構成されることになり、同一の値が連続するケースも増えると期待される。従って、後述するステップＳ４８の処理で動画フレームｆ’（ｎ）から構成される動画データＦをより効率的に圧縮して、データ量を小さくすることが可能となる。

一方、ステップＳ４２において、比較暗合成モードであると判定された場合には、基準画像データである合成画像データＲ（ｎ−１）と撮像画像データＸ（ｎ）とに基づいて、比較暗の差分画像データである動画フレームｆ（ｎ）を、例えば次の数式８に示すように生成する（ステップＳ４５）。
［数８］

さらに、合成画像データＲ（ｎ−１）と差分画像データである動画フレームｆ（ｎ）とに基づいて、比較暗による合成画像データＲ（ｎ）を上述した数式２に示すように生成する（ステップＳ４６）。

なお、比較暗においても、数式１〜７に関連して説明したような各種の変形例を同様に適用しても構わないことは勿論である。

こうして、ステップＳ４４またはステップＳ４６の処理を行ったら、生成された合成画像データＲ（ｎ）を内部メモリ４ａに保存する（ステップＳ４７）。

さらに、生成した動画フレームｆ（ｎ）を動画データＦの（ｎ＋１）フレーム目として内部メモリに保存する（ステップＳ４８）。こうして、記録制御部であるシステム制御部１０およびメモリ制御部４は、図６を参照して後述するように、新たな撮像画像データＸが取得される毎に生成される新たな差分画像データである動画フレームｆを外部メモリ４ｂに記録する制御を行うことになる。その後、この処理から図２に示す処理にリターンする。

図２に示す処理に戻ると、画像フレーム数をカウントするためのカウンタｎをインクリメントする（ステップＳ１６）。

そして、カウンタｎがＮ以上になったか否かを判定し（ステップＳ１７）、まだＮに達していないと判定された場合には、ステップＳ１５に戻って次の撮像画像データＸに対して上述したような処理を行う。

こうして、合成画像データＲを新たな基準画像データに設定して、新たな撮像画像データＸに対して比較明合成部２１、比較明差分画素検出部２１ａ、および比較明差分画像データ生成部２１ｂ（または、比較暗合成部２２、比較暗差分画素検出部２２ａ、および比較暗差分画像データ生成部２２ｂ）の処理を行い新たな合成画像データＲおよび新たな差分画像データである動画フレームｆを生成することを、新たな撮像画像データＸが取得される毎に繰り返して行う。

一方、ステップＳ１７において、カウンタｎがＮ以上になったと判定された場合には、データ保存の処理を行う（ステップＳ１８）。

ここに、図６は、撮像装置におけるデータ保存の処理を示すフローチャートである。

このデータ保存の処理に入ると、内部メモリ４ａに最終的に保存されている合成画像データＲ（ｎ）を、静止画符号／復号化部６ａにより例えばＪＰＥＧ方式で符号化する（ステップＳ５１）。

そして、符号化した合成画像データＲ（ｎ）にヘッダ等を付加してファイル形式に整えてから外部メモリ４ｂに保存する（ステップＳ５２）。

続いて、内部メモリ４ａに最終的に保存されている動画データＦを、動画符号／復号化部６ｂにより符号化する（ステップＳ５３）。

ここに、符号化方式は可逆圧縮を用いるものとし（ただし、不可逆圧縮を用いることを禁止するものではない）、一例を挙げればランレングス圧縮方式を用いる。このようにランレングス圧縮方式を用いることにより、画質を劣化させることなくデータ量を低減することが可能となる。また、比較明合成処理を行うときの被写体となることが多い星空の場合には、星の移動などを除けば画像の変化が少ないために、動画データＦを構成する差分画像データである動画フレームｆ（ｎ）は画素値が０となる画素が多い。従って、星空に限らず、比較明合成処理（あるいは比較暗合成処理）における画像の変化が少ない被写体の場合には、ランレングス圧縮方式によって高い効率での可逆圧縮を行うことができる。

その後、符号化された動画データＦを、動画像ファイルとして外部メモリ４ｂに保存して（ステップＳ５４）、この処理から図２に示す処理にリターンする。

上述したような処理における画像データの様子を、図７〜図１２を参照して説明する。

まず、図７は、１フレーム目に取得された撮像画像データの例を示す図である。

図７は、月あるいは星など（以下では、月であるものとして説明する）が地平線から上ってきたときに撮影された１フレーム目の撮像画像データの様子を示している。月は、１フレームの露光時間に応じた長さの軌跡を描いている。

次に、図８は、２フレーム目に取得された撮像画像データの例を示す図である。

月は、図７に示す軌跡が終端した位置から開始され、その後の露光期間における動きを示す軌跡を描いている。

続いて、図９は、１フレーム目に対する２フレーム目の差分画像データの例を示す図である。

比較明合成処理を想定した場合に、図７を基準画像データとすると、図８の画像において図７の画像よりも明るくなった画素が、差分画像データにおける非ゼロ画素となっている。具体的に、図８における月の軌跡が差分画像データの非ゼロ画素に該当する。そして、月の軌跡を示す画素以外の画素は、例えば画素値０の画素となる（図７および図８における背景の夜空は斜めのハッチングで示しているのに対して、図９における画素値０の画素領域は斜めのクロスハッチングで示している）。

さらに、図１０は、１フレーム目および２フレーム目を比較明合成して得られた合成画像データの例を示す図である。

図７に示す１フレーム目の撮像画像データＸ（０）に対して、図９に示す差分画像データである動画フレームｆ（１）における非ゼロ画素の画素値で置き換えたものが、合成画像データＲ（１）として生成される。

そして、図１１は、動画データを構成する動画フレームの様子を示す図である。

ｎ＝０〜（Ｎ−１）までの撮像画像データに対して上述したような処理を行うと、動画データＦは、１フレーム分の画像データのみで１枚の画像を構成することができるＩフレームである動画フレームｆ（０）＝Ｘ（０）と、差分画素値のみを保持しており１枚の画像を構成するためにはＩフレームを参照する必要がある差分画像データである動画フレームｆ（１）〜ｆ（Ｎ−１）と、を含んで構成される。ここでＩフレームとは、一般的な動画圧縮技術であるフレーム間予測によって圧縮された動画データの各フレームの中で、圧縮されずそのフレーム全ての情報を保持しているフレームのことを指す。

動画データＦを構成する各フレームの内、ｆ（０）は１枚の静止画像データと同様のデータ量となる。これに対して、ｆ（１）〜ｆ（Ｎ−１）については非ゼロの画素値をもつ画素の画素数が少ない差分画像データである。しかも、通常の動画データにおける例えばＢフレーム（前方向予測、後方向予測、両方向予測のうちの何れかを選択して符号化されるフレーム）、あるいはＰフレーム（前方向予測のみを用いて符号化されるフレーム）は、Ｉフレーム等との差分を保持するために、画素値が大きくなった画素データと画素値が小さくなった画素データとの両方を保持することになるのに対して、本実施形態の差分画像データである動画フレームｆ（１）〜ｆ（Ｎ−１）は何れか一方のみを保持すれば良い。

つまり、比較明合成処理の場合には、差分画像データである動画フレームｆ（１）〜ｆ（Ｎ−１）は、画素値が大きくなった画素データのみを保持する（つまり、画素値が小さくなった画素データは保持しない）。また、比較暗合成処理の場合には、差分画像データである動画フレームｆ（１）〜ｆ（Ｎ−１）は、画素値が小さくなった画素データのみを保持する（つまり、画素値が大きくなった画素データは保持しない）。従って、本実施形態の差分画像データは通常の動画データにおけるＢフレーム（あるいはＰフレーム）よりもデータ量が小さく、本実施形態の動画データＦは、通常の動画データよりもデータ量をさらに低減することができる。

この図１１に示すような動画データＦ（比較合成処理をやり直し可能な記録用の画像データ）は、所定フレーム数毎にＩフレームが存在する通常の動画データとは異なるために、比較明合成部２１または比較暗合成部２２による比較合成処理が行われたときにのみ、つまり、モード設定部により比較合成モードとしての比較明合成モードまたは比較暗合成モードが設定された場合にのみ生成される。従って、比較明，暗差分画素検出部２１ａ，２２ａによる差分画素の検出、および比較明，暗差分画像データ生成部２１ｂ，２２ｂによる差分画像データの生成も、比較合成モードが設定された場合にのみ行われる。

また、図１２は、全画像を比較明合成して得られた合成画像データの例を示す図である。

最終的に得られる合成画像データＲ（Ｎ−１）は、撮像画像データＸ（０）を露光開始してから撮像画像データＸ（Ｎ−１）を露光終了するまでの全撮影期間中の月の軌跡が描かれている。さらに、図１２に示すような月の軌跡を１回の長時間露光で撮影して記録する場合に比べて、それぞれの撮像画像データＸ（０）〜Ｘ（Ｎ−１）は露光時間が短いために、合成画像データＲ（Ｎ−１）は暗電流ノイズ等による画質劣化が低減されたものとなる。

なお、例えばＲＧＢカラー画像に対して上述したような比較合成処理を行うときには、ＲＧＢの各成分それぞれに対して行っても良いし、ＲＧＢ信号をＹＵＶ信号などの輝度色差信号に変換してから行っても構わない。

このような実施形態１によれば、比較合成処理を行った場合に基準画像データに対して画素値が変化する差分画素位置を検出して、撮像画像データまたは合成画像データの差分画素位置の画素値に基づく差分画素値を差分画素位置の画素値とし、差分画素位置以外の画素位置の画素値を所定の固定値（例えば０）とする差分画像データを生成するようにしたために、データ量を効率的に低減しながら、比較合成処理をやり直し可能な記録用の画像データを生成することができる。

また、システム制御部１０およびメモリ制御部４が、差分画像データを外部メモリ４ｂに記録する制御を行うために、外部メモリ４ｂの記録容量を効率的に低減することができる。

さらに、新たな撮像画像データが取得される毎に新たな差分画像データを生成し、生成された新たな差分画像データは外部メモリ４ｂに記録されるために、複数のフレーム、特に多数のフレームで構成される画像データを外部メモリ４ｂに記録する際の記録容量が、効果的に低減される。

そして、撮像画像データまたは合成画像データの差分画素位置の画素値を差分画素値として差分画像データを生成する場合には、差分画素位置の画素値のみを残して差分画素位置以外の位置の画素値を０にすれば良いために、コンピュータによる処理負荷が小さく、消費電力の低減を図り、高速処理が可能となる。

一方、撮像画像データまたは合成画像データの差分画素位置の画素値から基準画像データの差分画素位置の画素値を減算した値を差分画素値とし、差分画素位置以外の画素位置の画素値である所定の固定値を０として差分画像データを生成する場合には、画素値が取り得る範囲内における差分画素値の値が小さいために、さらに効果的に記録容量を低減することが可能となる。

加えて、モード設定部により比較合成モードが設定された場合にのみ差分画像データを生成するようにしたために、比較合成モード以外の動作モードが設定されているときに不要な処理が行われるのを防止することができる。

また、数式２に示したように、差分画像データと基準画像データとを比較合成処理して合成画像データを生成する場合には、差分画像データの非ゼロの画素値で、基準画像データにおける対応する画素位置の画素値を置き換える処理を行えば良く、置き換え処理はコンピュータによる処理負荷が小さいために、消費電力の低減を図り、高速処理が可能となる。

これに対して、数式３に示したように、撮像画像データを対象画像データとして、撮像画像データと基準画像データとを比較合成処理して合成画像データを生成する場合には、比較合成処理を行う前に差分画像データを予め生成しておく必要がなく、画像処理装置や画像処理プログラムの設計の自由度を高めることができる。

そして、通常の動画データは所定フレーム数毎にＩフレームが存在するが、本実施形態の構成により生成される動画データＦ（図１１参照）は、原則的に最初の１フレームのみをＩフレームとすれば足りるために、データ量を高い効果で低減することが可能となる。
［実施形態２］

図１３から図１６は本発明の実施形態２を示したものであり、図１３は撮像装置における設定処理を示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

図２のステップＳ１１において設定処理に入ると、図１３の処理が実行され、上述したステップＳ２１の処理と、ステップＳ２２またはステップＳ２３の処理と、が行われる。

その後、入力部７を介したユーザによる閾値Ｔの手動設定が行われたか否かをシステム制御部１０が判定する（ステップＳ２４）。ここに閾値Ｔは、合成画像データに予期しない外乱を与える要因が対象画像データに発生したか否かを判別するための値である。

ここで、閾値Ｔの手動設定が行われていないと判定した場合には、システム制御部１０は、閾値Ｔを所定値に自動設定する（ステップＳ２５）。ここに、所定値は、予め定められた値である。この所定値は、１つの値に定めておくに限るものではなく、複数の値を撮影シーンに応じて定めておいても良い。

また、閾値Ｔの手動設定が行われたと判定した場合には、システム制御部１０は、閾値Ｔを手動で入力された値に設定する（ステップＳ２６）。

そして、ステップＳ２５またはステップＳ２６の処理を行ったら、図２に示す処理にリターンする。

その後、ステップＳ１２のレリーズ操作判定を行い、レリーズ操作が行われたと判定された場合には、ステップＳ１３の１フレーム目取得の処理を行う。

図１４は、撮像装置における１フレーム目取得の処理を示すフローチャートである。

この１フレーム目取得の処理に入ると、上述したステップＳ３１〜Ｓ３３の処理を行う。

さらに、外乱が起きていない画像データの基準となる比較元画像データＣとして、１フレーム目の撮像画像データＸ（０）を設定し（ステップＳ３４）、この処理から図２に示す処理にリターンする。なお、ここではライブコンポジット撮影の開始時点では、外乱が発生していないことを想定している。

そして、上述したステップＳ１４の処理を行って、ステップＳ１５の差分抽出の処理を行う。

続いて、図１５は、撮像装置における差分抽出の処理を示すフローチャートである。

この差分抽出の処理に入ると、ステップＳ４１により撮像画像データＸ（ｎ）を取得した後に、外乱評価部であるシステム制御部１０が、比較元画像データＣと撮像画像データＸ（ｎ）との変化量を算出して、算出した変化量を評価値Ｄとする（ステップＳ４１Ａ）。

ここに、変化量として算出される評価値Ｄは、対象画像データの画素値に影響を及ぼす外乱の大きさを表す値であり、ここでは、比較元画像データＣの画素値に対して、撮像画像データＸ（ｎ）の画素値は、画像全体としてどの程度変化したかを示す指標として算出される。

評価値Ｄの具体例を挙げれば、画素値が変化したか否かを判定するための閾値をＴｈとすると、比較明の場合には、
｛Ｘ（ｎ）（ｘ，ｙ）−Ｃ（ｘ，ｙ）｝≧Ｔｈ
一方、比較暗の場合には、
｛Ｃ（ｘ，ｙ）−Ｘ（ｎ）（ｘ，ｙ）｝≧Ｔｈ
を満たす画素の数を全ての画素位置（ｘ，ｙ）に対して算出し、算出した画素数を評価値Ｄとするものである。

また、評価値Ｄの他の具体例を挙げれば、Ａ，Ｂの内の、小さくない方の値（つまり、大きい方の値、または等しい値）を返す関数をｍａｘ［Ａ，Ｂ］とすると、比較明の場合には全ての画素位置（ｘ，ｙ）に対して次の数式９のΣをとって得られる値Ｄｂ、
［数９］

一方、比較暗の場合には全ての画素位置（ｘ，ｙ）に対して次の数式１０のΣをとって得られる値Ｄｄ、
［数１０］

を評価値Ｄとするものである。

なお、ここでは画像データに基づき外乱の評価値Ｄを算出したが、これに限定されるものではない。例えば、手ブレ検出部８から出力されるブレ量を評価値Ｄとして用いても良い。このときには、ブレを許容することができる上限値を閾値Ｔとすれば良い。この場合には、システム制御部１０および手ブレ検出部８が外乱評価部を構成する。

また、星空を撮影しているときに、自動車のヘッドライトや花火などが外乱となる場合には、マイク９ａおよびＡ／Ｄ変換部９ｂから入力される音声の音量を評価値Ｄとして用いても良い。このときには、自動車や花火が撮影地点の近くにないと判定することができる音量の上限値を閾値Ｔとすれば良い。この場合には、システム制御部１０、マイク９ａ、およびＡ／Ｄ変換部９ｂが外乱評価部を構成する。

こうして評価値Ｄを算出したら、システム制御部１０は、次に、評価値Ｄが閾値Ｔ以上であるか否かを判定する（ステップＳ４１Ｂ）。

ここで、評価値Ｄが閾値Ｔ以上であると判定された場合には、外乱が発生しているとして、１つ前の合成画像データＲ（ｎ−１）をそのまま新たな合成画像データＲ（ｎ）に設定する（ステップＳ４７Ａ）。

さらに、撮像画像データＸ（ｎ）を動画データＦの（ｎ＋１）フレーム目かつＩフレームとして内部メモリ４ａに保存する（ステップＳ４８Ａ）。

一方、ステップＳ４１Ｂにおいて、評価値Ｄが閾値Ｔ未満であると判定された場合には、外乱が発生していないとして、上述したステップＳ４２〜Ｓ４８の処理を行う。

そして、システム制御部１０が、比較元画像データＣとして、撮像画像データＸ（ｎ）を設定する（ステップＳ４８Ｂ）。この処理により、新たな撮像画像データの取得時点に最も近い過去を取得時点とする撮像画像データであって、外乱が発生していないと判定された撮像画像データが、比較元画像データＣに設定されることになる。

こうして、ステップＳ４８ＡまたはステップＳ４８Ｂの処理を行ったら、この差分抽出処理から図２に示す処理にリターンする。図２に示す処理に戻ったら、その後は上述したステップＳ１６〜Ｓ１８の処理を行う。

図１６は、評価値Ｄに基づき外乱期間を検出する様子を示すタイミングチャートである。なお、図１６の横軸は取得時点を示し、取得されたフレームの取得時点を上向き矢印により示している。

図１６において、評価値Ｄが閾値Ｔ以上である期間が、システム制御部１０により外乱が発生していると判定された外乱期間である。

そして、上述したステップＳ４７Ａの処理により、外乱期間に取得されたフレーム（図１６において破線上向き矢印により示される時点に取得されたフレーム）は合成画像データＲ（ｎ）は更新されず、外乱期間の前に取得された最後のフレーム（図１６において、白抜きＸを付した上向き矢印により示されるフレーム）の撮像画像データに基づき生成された合成画像データが維持される。その後の合成画像データＲ（ｎ）の更新は、外乱期間が終了した後のフレーム（図１６において、○を付した上向き矢印により示されるフレーム以降のフレーム）の撮像画像データを用いて再開される。

また、上述したステップＳ４８Ａの処理により、外乱期間には差分画像データに代えて、撮像画像データＸ（ｎ）が動画データＦの（ｎ＋１）フレーム目の動画フレームｆ（ｎ）となり、図２のステップＳ１８のデータ保存の処理により、記録制御部であるシステム制御部１０およびメモリ制御部４によって、外部メモリ４ｂに記録されることになる。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏すると共に、外乱評価部を備えたために、外乱評価部により評価値を取得することで、対象画像データの画素値に影響を及ぼす外乱の大きさを評価することが可能となる。

また、評価値Ｄを所定の閾値Ｔと比較することにより外乱の発生の有無を判定するようにしたために、外乱の発生の有無を即座に判定することができる。

さらに、外乱が発生したと判定された場合には、差分画像データに代えて撮像画像データＸ（ｎ）を動画フレームｆ（ｎ）として外部メモリ４ｂに記録できるようにしたために、外乱期間に取得された撮像画像データＸをそのまま再現することができる。
［実施形態３］

図１７は本発明の実施形態３を示したものであり、撮像装置におけるデータ保存の処理を示すフローチャートである。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態２は、外乱期間に取得された撮像画像データＸをそのまま外部メモリ４ｂに記録したが、この場合には記録容量が増大してしまうことになる。また、合成画像データＲには、外乱期間に取得した撮像画像データＸが合成されないために、例えば星空や花火を撮影していた場合は、星や花火の光の軌跡が途切れて、美しくない画像となってしまう。そこで、この実施形態３においては、外乱期間に取得された撮像画像データＸを、他の動画フレームｆから補間して補間フレームを作成することで、外部メモリ４ｂの記録容量の削減を図ると共に、合成画像データＲの不連続性（光の軌跡の途切れ）を補正するようにしたものとなっている。

そこで、本実施形態においては、符号／復号化部６が、外乱評価部により外乱が発生したと判定された対象画像データよりも前の取得時点に係る差分画像データまたは撮像画像データと、対象画像データよりも後の取得時点に係る差分画像データまたは撮像画像データと、の少なくとも一方に基づいて、外乱評価部により外乱が発生したと判定された対象画像データに係る差分画像データに対応する補間画像データを生成する補間画像生成部として機能するようになっている。

図２のステップＳ１８においてデータ保存の処理に入ると、図１７の処理が実行される。

すると、内部メモリ４ａに記憶されている動画データＦの各動画フレームｆ（０）〜ｆ（Ｎ−１）の中に、ｆ（０）以外のＩフレームがあるか否かをシステム制御部１０が判定する（ステップＳ５０Ａ）。

ここで、ｆ（０）以外のＩフレームがないと判定された場合には、上述したステップＳ５１およびステップＳ５２の処理を行う。

また、ステップＳ５０Ａにおいて、ｆ（０）以外のＩフレームがあると判定された場合には、ｆ（０）以外のＩフレームを動画データＦから除去（削除）する処理を行う（ステップＳ５０Ｂ）。

次に、システム制御部１０が、ステップＳ５０Ｂにおいて除去したフレームを、他の動画フレームに基づき補間可能であるか否かを判定する（ステップＳ５０Ｃ）。

ここで、補間可能であると判定された場合には、除去したフレームに代わる補間フレーム（Ｂフレーム）を補間画像データとして生成する（ステップＳ５０Ｄ）。

この補間フレームの生成は、例えばＭＰＥＧ処理エンジンなどを含んで構成される符号／復号化部６が備える、動き補償機能を用いて行われる。具体的に、Ｂフレームの生成は、前方向予測、後方向予測、両方向予測の内の何れか適切なものを選択して符号化することにより行われる。

こうして、後段のステップＳ５３およびステップＳ５４の処理において、記録制御部であるシステム制御部１０およびメモリ制御部４は、外乱評価部により外乱が発生したと判定された対象画像データに係る撮像画像データに代えて、ステップＳ５０Ｄで生成した補間画像データを外部メモリ４ｂに記録することになる。

一方、ステップＳ５０Ｃにおいて、補間が不可能であると判定された場合には、システム制御部１０が制御して、例えば表示部５に画像合成が不可能である旨の表示を行う（ステップＳ５０Ｅ）。

さらに、動画データＦの例えばファイルヘッダ（ただし、ファイルヘッダでなくても構わない）に、該当フレーム番号に欠損フレームがある旨の情報を追記する（ステップＳ５０Ｆ）。

こうして、ステップＳ５２、ステップＳ５０Ｄ、またはステップＳ５０Ｆの処理を行ったら、その後はステップＳ５３およびステップＳ５４の処理を行って、この処理から図２に示す処理にリターンする。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏すると共に、外乱が発生したと判定された対象画像データに係る差分画像データに対応する補間画像データを補間画像生成部により生成して、外部メモリ４ｂに記録するようにしている。これにより、上述した実施形態２の場合よりも、外部メモリ４ｂの記録容量を削減することが可能となると共に、合成画像の不連続性（星や花火の光の軌跡の途切れ）を補正することができ、美しい合成画像を生成することができる。

また、欠損フレームがある場合でも動画データＦを記録するために、欠損フレーム以外の動画フレームを用いて、後で比較合成処理をやり直すことも可能となる。そして、欠損フレームは、Ｉフレームとして保存してあるので、外乱期間の撮影画像は失われることなく、何が撮影されたのかをユーザが把握することが可能となる。

さらに、ファイルヘッダ等に欠損フレームがある旨が記録されているために、撮像装置やパーソナルコンピュータにおいて、動画ファイル内の全てのフレームを検査しなくても、動画ファイルを読み込むだけで欠損フレームが存在する旨を警告表示等してユーザに知らせることができ、比較合成処理を実行するか中止するかをユーザが即座に判断することが可能となる。
［実施形態４］

図１８から図２４は本発明の実施形態４を示したものであり、図１８は、画像処理装置における１コマ再生処理を示すフローチャートである。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１〜３は、合成画像データＲと動画データＦとを、画像を撮像する際に記録することに主に着目していた。これに対して本実施形態は、既に記録されている画像データを再生する際に、合成画像データＲの再生が選択された場合には動画データＦに基づいて比較合成処理をやり直して別途の合成画像データＲを所望に再構築することができるようにしたものとなっている。従って、本実施形態の処理は、撮像装置だけでなく、例えばパーソナルコンピュータにおいて画像処理プログラムを実行することにより画像処理装置として機能させる場合などにも好適となっている。

そこで、本実施形態においては、記録制御部が、外乱評価部により外乱が発生したと判定された場合には、差分画像データに代えて撮像画像データを記録媒体である外部メモリ４ｂに記録すると共に、外乱評価部により取得された評価値Ｄを外部メモリ４ｂに記録することを前提としている。具体的に、上述した実施形態２，３において説明したようなフレーム毎の評価値Ｄが、フレーム番号に関連付けられて、動画データＦを含む動画ファイルの例えばファイルヘッダに書き込まれているものとする。

このような前提の下に、撮像装置において、あるいは外部メモリ４ｂが接続されて画像処理プログラムが実行されているパーソナルコンピュータにおいて、外部メモリ４ｂに記録されている画像の中から再生対象の画像が選択されて１コマ再生処理が実行されると、この図１８に示す処理が開始される。

するとまず、再生対象の画像が合成画像（コンポジット画像）であるか否かを判定する（ステップＳ６１）。より詳しくは、このステップＳ６１で判定するのは、比較明合成処理または比較暗合成処理により得られた合成画像であるか、それ以外の画像であるか、である。従って、複数フレームの画像を合成して得られた画像であっても、比較明合成処理または比較暗合成処理により得られた合成画像でない場合には、このステップＳ６１においては合成画像でないと判定される。

この判定は、例えば、システム制御部１０（パーソナルコンピュータのＣＰＵ等が相当する）が行うものとして以下の説明を行う。なお、パーソナルコンピュータには、表示部５に相当するモニタと、入力部７に相当するキーボードやマウス等と、が含まれているものとする。

ここで、合成画像であると判定した場合には、システム制御部１０は、再生用の選択画像表示処理を行う（ステップＳ６２）。

ここに、図１９は、画像処理装置における再生用の選択画像表示の処理を示すフローチャートである。

この再生用の選択画像表示の処理に入ると、システム制御部１０は、グラフ表示がオンの状態に設定されているか否かを判定する（ステップＳ７１）。

グラフ表示がオンの状態に設定されていると判定された場合には、システム制御部１０が、動画ファイルのヘッダから各フレームに対応する評価値Ｄを読み出して、フレーム番号に応じた評価値Ｄの変化の様子を示すグラフを作成する（ステップＳ７２）。

そして、動画データＦに含まれる動画フレームと、ステップＳ７２において作成したグラフと、をシステム制御部１０が関連付けて、表示部５あるいはパーソナルコンピュータのモニタなど（本実施形態では、モニタを用いるものとして説明する）に表示する（ステップＳ７３）。

従って、システム制御部１０は、記録媒体である外部メモリ４ｂから読み出した差分画像データ（Ｂフレーム）および撮像画像データ（Ｉフレーム）を、評価値Ｄに関連付けて表示部であるモニタに表示するように制御する表示制御部として機能する。また、撮像装置において処理を行う場合には、システム制御部１０が表示制御部として機能するようになっている。

ここに図２２は、差分画像データで構成される動画データと共に評価値Ｄを表示する例を示す図である。

図２２に示す表示例では、動画データＦに含まれる動画フレームｆ（０）〜ｆ（Ｎ−１）がフレーム番号順に並べて表示されると共に、動画フレームｆ（０）〜ｆ（Ｎ−１）のフレーム番号に対応するように、グラフＧが表示されている。従って、ユーザは、グラフＧにおける評価値Ｄの値を見れば、どの動画フレームｆに外乱が発生しているかを判断することができる。この図２２の例では、例えば、フレーム番号１０（つまり、ｎ＝９）のフレームｆ（９）に外乱が発生していると判断される。

ステップＳ７３の処理を行うか、またはステップＳ７１においてグラフ表示がオフの状態に設定されていると判定された場合には、この処理から図１８に示す処理にリターンする。

図１８に示す処理に戻ると、システム制御部１０は、手動モードが選択されているか否かを判定する（ステップＳ６３）。ここに、手動モードは、ユーザが比較合成処理に用いるフレームを手動で選択して（あるいは、ユーザが比較合成処理から除外するフレームを手動で選択して）、合成画像データを生成するモードである。

ステップＳ６３において、手動モードが選択されていると判定された場合には、システム制御部１０は、手動モード処理を行う（ステップＳ６４）。

ここに、図２０は、画像処理装置における手動モード処理を示すフローチャートである。

この手動モード処理に入ると、システム制御部１０は、ユーザの操作によりフレームが指定されているか否かを判定する（ステップＳ８１）。

ここでフレームが指定されていると判定された場合には、システム制御部１０は、指定されているフレームがＩフレームであるか否かを判定する（ステップＳ８２）。

ここで指定されているフレームがＩフレームであると判定された場合には、単一のフレームで画像表示可能であるために、システム制御部１０が制御して、指定されている動画フレームをモニタに表示する（ステップＳ８３）。

図２３は、指定フレームの画像を表示する例を示す図である。

上述した図２２の例においては、動画フレームｆ（９）に外乱が発生していると判定されるために、この図２３においては、ユーザによりＩフレームである動画フレームｆ（９）が選択され、その結果、画像を確認しやすいように（つまり、図２２に示すような複数フレームの配列ではなく、例えば単一フレームで拡大表示する等の確認しやすい状態で）モニタに表示されている様子を示している。

一方、ステップＳ８２において指定されているフレームがＩフレームでない（例えばＢフレーム等である）と判定された場合には、単一のフレームでは画像を表示することができないために、システム制御部１０は、指定されているフレームまでの比較合成画像を生成してモニタに表示する（ステップＳ８４）。

ステップＳ８３またはステップＳ８４の表示を行ったら、次に、キーボードやマウス等の入力部７を介して指定フレームを除去する操作が行われたか否かを判定する（ステップＳ８５）。ここに、パーソナルコンピュータの場合には、キーボードやマウス等が差分画像データ（Ｂフレーム）または撮像画像データ（Ｉフレーム）の除去を手動で選択可能な除去選択部に該当し、図１に示したような撮像装置の場合には入力部７が除去選択部に該当する。

ここで、図２４は、指定フレームの画像と共にユーザによる消去の選択を促すメッセージを表示する例を示す図である。

指定フレームを除去する操作を行う際には、例えば図２４に示すように、表示部５に表示している指定フレームの画像に、「消去しますか？」等のメッセージｍｓｇを重畳表示してユーザの選択操作を促すようにするようになっている。

ここで、指定フレームを除去する操作が行われたと判定された場合には、指定フレームを除去する（ステップＳ８６）。

そして、除去したフレームに代わる補間フレームを、上述した実施形態３において説明したのと同様に、例えば符号／復号化部６のＭＰＥＧ処理プログラム（ＭＰＥＧ処理エンジンに対応するプログラム）に含まれる動き補償機能などを用いて生成する（ステップＳ８７）。

このステップＳ８７の処理を行うか、またはステップＳ８１においてフレームが指定されていないと判定された場合には、ユーザ選択を終了するか否かをシステム制御部１０が判定する（ステップＳ８８）。

ここでユーザ選択をまだ終了しないと判定された場合には、ステップＳ８１へ戻って、次のユーザによるフレーム指定を待機する。

一方、ステップＳ８８においてユーザ選択を終了すると判定された場合には、この処理から図１８に示す処理にリターンする。

こうしてステップＳ６４の処理を終えて図１８に示す処理に戻るか、あるいはステップＳ６３において手動モードが選択されていないと判定された場合には、システム制御部１０は、画像処理部２を使い合成処理を行う（ステップＳ６５）。

ここに、図２１は、画像処理装置における合成処理を示すフローチャートである。

なお、上述した実施形態１〜３においては撮像時を想定していたために、合成画像データをＲ（０）〜Ｒ（Ｎ−１）あるいはＲ（ｎ）などと記載したが、この実施形態３においては再生時を想定しているために、撮影時の合成画像データＲと区別するために、合成画像データをＬ（０）〜Ｌ（Ｎ−１）あるいはＬ（ｎ）などと記載することにする。

この合成処理に入ると、システム制御部１０は、最初の合成画像データＬ（０）として、Ｉフレームである動画フレームｆ（０）を設定する（ステップＳ９１）。

次に、システム制御部１０は、画像フレーム数をカウントするためのカウンタｍに１を設定する（ステップＳ９２）。ここでも、撮像時のカウンタｎと区別するために、カウンタをｍとしている。

続いて、システム制御部１０は、次の動画フレームｆ（ｍ）がＩフレームであるか否かを判定する（ステップＳ９３）。

ここで、動画フレームｆ（ｍ）がＩフレームであると判定された場合には、システム制御部１０は、基準画像データをＬ（ｍ−１）、対象画像データをｆ（ｍ）として、比較明の場合には、
Ｌ（ｍ−１）（ｘ，ｙ）＜ｆ（ｍ）（ｘ，ｙ）
比較暗の場合には、
Ｌ（ｍ−１）（ｘ，ｙ）＞ｆ（ｍ）（ｘ，ｙ）
となる画素位置（ｘ，ｙ）について、Ｌ（ｍ−１）の画素データをｆ（ｍ）の画素データで置き換えたものにより合成画像データＬ（ｍ）を生成する（ステップＳ９４）。ここに、処理を全ての画素位置（ｘ，ｙ）に対して行うことは上述と同様である（次のステップＳ９５においても同様である）。

また、ステップＳ９３において、動画フレームｆ（ｍ）がＩフレームでないと判定された場合には、システム制御部１０は、基準画像データをＬ（ｍ−１）、対象画像データをｆ（ｍ）として、ｆ（ｍ）の非ゼロの画素値でＬ（ｍ−１）における対応する画素位置の画素値を置き換えたものにより合成画像データＬ（ｍ）を生成する（ステップＳ９５）。

こうして、ステップＳ９４またはステップＳ９５の処理を行ったら、画像フレーム数をカウントするためのカウンタｍをインクリメントする（ステップＳ９６）。

そして、カウンタｍがＮ以上になったか否かを判定し（ステップＳ９７）、まだＮに達していないと判定された場合には、ステップＳ９３に戻って次のフレームに対して上述したような処理を行う。

一方、ステップＳ９７において、カウンタｍがＮ以上になったと判定された場合には、この処理から図１８に示す処理にリターンする。

図１８に示す処理に戻ると、システム制御部１０は、データ保存の処理を行う（ステップＳ６６）。このデータ保存の処理は、Ｒ（ｎ）をＬ（ｎ）に読み替えれば、図６に示したデータ保存の処理とほぼ同様である。あるいは、ステップＳ５１およびステップＳ５２の処理のみを行い、ステップＳ５３およびステップＳ５４の処理をスキップすることで、新たな合成画像データは作成するが、動画データＦについてはそのまま保持するようにしても構わない。

一方、ステップＳ６１において、合成画像でないと判定した場合には、システム制御部１０は、通常の再生処理を実行する（ステップＳ６７）。

こうして、ステップＳ６６またはステップＳ６７の処理を行ったら、この１コマ再生処理から、画像処理における図示しないメイン処理へリターンする。

このような実施形態４によれば、上述した実施形態１〜３とほぼ同様の効果を奏すると共に、評価値Ｄを外部メモリ４ｂに記録して、動画データＦの動画フレームを評価値Ｄに関連付けて表示部に表示し、差分画像データまたは撮像画像データの除去を手動で選択可能としたために、評価値Ｄを参照することで、除去する画像データをユーザが容易に選択することができる。従って、外部メモリ４ｂに記録されている動画データＦを用いて、より好ましい合成画像をユーザが再構築することができる。

なお、上述においては、取得画像データとして撮像画像データを想定したが、これに限定されるものではない。取得画像データとしては、撮像により取得された画像データ以外の画像データ、例えば、コンピュータグラフィックなどにより作成された画像データであっても構わない。

また、上述では、差分画像データにおける差分画素位置以外の画素位置の画素値である所定の固定値が０となる場合を主として説明したが、所定の固定値は０であるに限定されるものではなく、その他の値としても構わない。ただし、所定の固定値を０以外の値に設定する場合には、上述した数式の内の幾つか、例えば数式１，２，４〜８等はそのままでは使用することができないために、所定の固定値の値に応じて適宜の修正を行うことになる。

なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として画像処理装置について説明したが、画像処理装置を上述したように制御する制御方法であってもよいし、コンピュータに画像処理装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像部
２…画像処理部
３…バス
４…メモリ制御部
４ａ…内部メモリ
４ｂ…外部メモリ
５…表示部
６…符号／復号化部
６ａ…静止画符号／復号化部
６ｂ…動画符号／復号化部
７…入力部
８…手ブレ検出部
９ａ…マイク
９ｂ…Ａ／Ｄ変換部
１０…システム制御部
１１…レンズ部
１２…絞り部
１３…シャッタ部
１４…イメージセンサ部
１５…駆動制御部
２１…比較明合成部
２１ａ…比較明差分画素検出部
２１ｂ…比較明差分画像データ生成部
２２…比較暗合成部
２２ａ…比較暗差分画素検出部
２２ｂ…比較暗差分画像データ生成部
２３…通常画像処理部
Ｇ…グラフ
ｍｓｇ…メッセージ

Claims (15)

1. 基準画像データと、取得画像データに基づく対象画像データと、を比較合成処理して合成画像データを生成する比較合成部と、
   上記比較合成処理を行った場合に上記基準画像データに対して画素値が変化する差分画素位置を検出する差分画素検出部と、
   上記取得画像データまたは上記合成画像データの上記差分画素位置の画素値に基づく差分画素値を該差分画素位置の画素値とし、該差分画素位置以外の画素位置の画素値を所定の固定値とする差分画像データを生成する差分画像データ生成部と、
   を備えることを特徴とする画像処理装置。
2. 上記差分画像データを記録媒体に記録する制御を行う記録制御部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 上記合成画像データを新たな基準画像データに設定して、新たな取得画像データに対して上記比較合成部、上記差分画素検出部、および上記差分画像データ生成部の処理を行い新たな合成画像データおよび新たな差分画像データを生成することを、新たな取得画像データが取得される毎に繰り返して行い、
   上記記録制御部は、上記新たな取得画像データが取得される毎に生成される上記新たな差分画像データを上記記録媒体に記録する制御を行うことを特徴とする請求項２に記載の画像処理装置。
4. 上記差分画像データ生成部は、上記取得画像データまたは上記合成画像データの上記差分画素位置の画素値を、上記差分画素値として、上記差分画像データを生成することを特徴とする請求項１に記載の画像処理装置。
5. 上記差分画像データ生成部は、上記取得画像データまたは上記合成画像データの上記差分画素位置の画素値から上記基準画像データの上記差分画素位置の画素値を減算した値を上記差分画素値とし、上記差分画素位置以外の画素位置の画素値である上記所定の固定値を０として、上記差分画像データを生成することを特徴とする請求項１に記載の画像処理装置。
6. 上記対象画像データの画素値に影響を及ぼす外乱の大きさを表す評価値を取得する外乱評価部をさらに備えることを特徴とする請求項３に記載の画像処理装置。
7. 上記外乱評価部は、上記評価値が所定の閾値以上である場合に外乱が発生したと判定し、上記評価値が上記閾値未満である場合に外乱が発生していないと判定することを特徴とする請求項６に記載の画像処理装置。
8. 上記取得画像データは、撮像素子により取得された画像データであり、
   上記記録制御部は、上記外乱評価部により外乱が発生したと判定された場合には、上記差分画像データに代えて、上記取得画像データを上記記録媒体に記録可能とすることを特徴とする請求項７に記載の画像処理装置。
9. 上記外乱評価部により外乱が発生したと判定された上記対象画像データよりも前の取得時点に係る上記差分画像データまたは上記取得画像データと、該対象画像データよりも後の取得時点に係る上記差分画像データまたは上記取得画像データと、の少なくとも一方に基づいて、上記外乱評価部により外乱が発生したと判定された上記対象画像データに係る上記差分画像データに対応する補間画像データを生成する補間画像生成部をさらに備え、
   上記記録制御部は、上記外乱評価部により外乱が発生したと判定された上記対象画像データに係る上記取得画像データに代えて、上記補間画像データを上記記録媒体に記録することを特徴とする請求項８に記載の画像処理装置。
10. 上記記録制御部は、上記外乱評価部により外乱が発生したと判定された場合には、上記差分画像データに代えて上記取得画像データを上記記録媒体に記録すると共に、上記外乱評価部により取得された上記評価値を上記記録媒体に記録し、
    上記記録媒体から読み出した上記差分画像データおよび上記取得画像データを、上記評価値に関連付けて表示部に表示するように制御する表示制御部と、
    上記差分画像データまたは上記取得画像データの除去を手動で選択可能な除去選択部と、
    をさらに備えることを特徴とする請求項８に記載の画像処理装置。
11. 比較合成モードを含む動作モードを設定するモード設定部をさらに備え、
    上記差分画像データ生成部は、上記モード設定部により上記比較合成モードが設定された場合にのみ、上記差分画像データを生成することを特徴とする請求項１に記載の画像処理装置。
12. 上記比較合成部は、上記基準画像データと上記取得画像データとに基づき上記差分画素検出部および上記差分画像データ生成部により処理を行って生成された上記差分画像データを上記対象画像データとして、上記比較合成処理を行うことを特徴とする請求項１に記載の画像処理装置。
13. 上記取得画像データは、撮像素子により取得された画像データであり、
    上記比較合成部は、上記取得画像データを上記対象画像データとして、上記比較合成処理を行うことを特徴とする請求項１に記載の画像処理装置。
14. 基準画像データと、取得画像データに基づく対象画像データと、を比較合成処理して合成画像データを生成する比較合成ステップと、
    上記比較合成処理を行った場合に上記基準画像データに対して画素値が変化する差分画素位置を検出する差分画素検出ステップと、
    上記取得画像データまたは上記合成画像データの上記差分画素位置の画素値に基づく差分画素値を該差分画素位置の画素値とし、該差分画素位置以外の画素位置の画素値を所定の固定値とする差分画像データを生成する差分画像データ生成ステップと、
    を有することを特徴とする画像処理方法。
15. 撮像素子により上記取得画像データを取得する撮像ステップをさらに有し、
    上記比較合成ステップにおいて、上記取得画像データを上記対象画像データとして、上記比較合成処理を行うことを特徴とする請求項１４に記載の画像処理方法。

Images