JP2018113543A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】合成画像データに係るサムネイル画像の視認性を向上することができる画像処理装置等を提供する。【解決手段】画像データが、複数の画像データを合成した合成画像データであるか否かを判定する合成判定部６１と、合成画像データである場合に合成方法を判定する合成方法判定部６２と、判定された合成方法に応じて、合成画像データの合成前の画像データと合成後の画像データとの少なくとも一方に基づき複数のサムネイル画像を生成するサムネイル生成部５１と、を備える画像処理装置。【選択図】図１

Description

本発明は、複数の画像データを合成した合成画像データのサムネイル画像を生成する画像処理装置、画像処理方法に関する。

デジタルカメラ、内視鏡、顕微鏡などの種々の撮像装置で撮影した画像（静止画、あるいは動画）は、サムネイル画像として一覧表示される。

サムネイル画像は、撮影により得られた画像データをリサイズして圧縮することにより生成され、元の画像データよりもサイズが小さくかつデータ量が小さい。そして、サムネイル画像は、画像データの撮影情報（メタデータ）として、画像ファイル内のヘッダ等に記録される。

サムネイル画像は小さい画像として表示されるために、視認性を高くして、何を撮影した画像ファイル（静止画ファイルあるいは動画ファイル等）であるかを閲覧者が判断できるようにすることが好ましい。

例えば、特開２０１２−９９９０６号公報には、画像が通常の画像であるかパノラマ画像であるかを判別して、パノラマ画像である場合には３Ｄのサムネイル画像を生成し、パノラマ画像でない場合には通常のサムネイル画像を生成して、サムネイル一覧表示をするときに、３Ｄのサムネイル画像を回転させながら表示することができるようにした技術が記載されている。

特開２０１２−９９９０６号公報

しかしながら、上記特開２０１２−９９９０６号公報には、パノラマ合成以外の画像合成方法で合成された合成画像について、視認性の高いサムネイル画像を生成して表示することが記載されていない。そして、パノラマ以外の合成画像データに対して３Ｄのサムネイル画像が適しているとはいえず、さらに、３Ｄのサムネイル画像の再生は表示処理の負荷が重いために、表示が遅くなることがある。

本発明は上記事情に鑑みてなされたものであり、合成画像データに係るサムネイル画像の視認性を向上することができる画像処理装置、画像処理方法を提供することを目的としている。

本発明のある態様による画像処理装置は、画像データが、複数の画像データを合成した合成画像データであるか否かを判定する合成判定部と、上記合成判定部の判定結果が合成画像データである場合に、上記合成画像データの合成方法を判定する合成方法判定部と、上記合成方法判定部により判定された合成方法に応じて、上記合成画像データの合成前の画像データと合成後の画像データとの少なくとも一方に基づき複数のサムネイル画像を生成するサムネイル画像生成部と、を備える。

本発明のある態様による画像処理方法は、画像データが、複数の画像データを合成した合成画像データであるか否かを判定する合成判定ステップと、上記合成判定ステップの判定結果が合成画像データである場合に、上記合成画像データの合成方法を判定する合成方法判定ステップと、上記合成方法判定ステップにより判定された合成方法に応じて、上記合成画像データの合成前の画像データと合成後の画像データとの少なくとも一方に基づき複数のサムネイル画像を生成するサムネイル画像生成ステップと、を備える。

本発明の画像処理装置、画像処理方法によれば、合成画像データに係るサムネイル画像の視認性を向上することが可能となる。

本発明の実施形態１における画像処理装置が適用された撮像装置の構成を示すブロック図。 上記実施形態１の撮像装置における再生および撮影の処理を示すフローチャート。 上記実施形態１の撮像装置における静止画撮影の処理を示すフローチャート。 上記実施形態１の撮像装置における動画撮影の処理を示すフローチャート。 上記実施形態１の撮像装置における合成処理判定の処理を示すフローチャート。 上記実施形態１の撮像装置における外部メモリ記録の処理を示すフローチャート。 上記実施形態１の撮像装置における静止画サムネイル生成の処理を示すフローチャート。 上記実施形態１の撮像装置における動画サムネイル生成の処理を示すフローチャート。 上記実施形態１の撮像装置における再生処理を示すフローチャート。 上記実施形態１の撮像装置におけるサムネイル表示制御の処理を示すフローチャート。 上記実施形態１の撮像装置におけるサムネイル表示処理を示すフローチャート。 上記実施形態１の撮像装置における画像データの構造を示すブロック図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１２は本発明の実施形態１を示したものであり、図１は画像処理装置が適用された撮像装置１の構成を示すブロック図である。

この撮像装置１は、撮像部２と、表示部３と、サムネイル処理部５と、合成制御部６と、撮影情報取得部７と、入力部８と、現像処理部９と、内部メモリ１０と、外部メモリ１１と、画像処理部１２と、システム制御部１３と、を備えている。

撮像部２は、駆動制御部２１と、レンズ２２と、絞り２３と、シャッタ２４と、イメージセンサ２５と、を備えている。

レンズ２２は、被写体の光学像をイメージセンサ２５に結像する。レンズ２２は、フォーカスレンズやズームレンズ等を含んで構成されていて、ピント位置およびズーム状態を調整可能となっている。

絞り２３は、絞り径の大きさが可変となっていて、レンズ２２からイメージセンサ２５へ照射される光束の通過範囲を制御することにより、イメージセンサ２５に到達する光の量を調節する。

シャッタ２４は、遮光幕を開閉動作することによりイメージセンサ２５への光の入射／遮光を制御するものであり、露光時間であるシャッタ速度を調節する。

イメージセンサ２５は、例えばＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサなどにより構成されていて、２次元状に配列された複数の画素を備えている。各画素は、入射した光を光電変換して画素信号を蓄積し、蓄積した画素信号を、アナログ値の画素データとして、またはＡ／Ｄ変換してからデジタル値の画素データとして、出力する。こうして、画像データは、複数の画素の画素データにより構成されている。

駆動制御部２１は、システム制御部１３の指令に応じて、撮像部２全体を制御する。例えば駆動制御部２１は、レンズ２２を駆動制御して、ピント位置やズーム状態を制御する。また、駆動制御部２１は、絞り２３を駆動制御して絞り径を変化させ、シャッタ２４を駆動制御して遮光幕の開閉を行わせる。さらに、駆動制御部２１は、イメージセンサ２５による画素信号の蓄積から画像データの出力までの動作を制御する。

入力部８は、操作ボタン、操作スイッチ、タッチパネルなどの各種の操作入力デバイスを含み、使用者が操作することにより撮像装置１に対する入力を行うための操作部である。

現像処理部９は、イメージセンサ２５から読み出された画像データ、あるいは合成制御部６により生成された合成画像データなどに対して、デモザイキング処理、ノイズリダクション処理、ＷＢ（ホワイトバランス）調整処理、ノイズリダクション処理、表示部３の表示画素数に合わせて画素数を調節するリサイズ処理、圧縮処理などの種々の処理を行う。

内部メモリ１０は、揮発性のＤＲＡＭや不揮発性のフラッシュメモリなどを備えて構成されていて、撮像装置１全体の制御を行う制御プログラムを記録して保持すると共に、画像データなどの各種データを一時的に（あるいは継続的に）記録して保持する。内部メモリ１０内のメモリ領域は、自由に再配置することができるようになっている。

外部メモリ１１は、例えばメモリカードなどの可搬性の記録媒体として構成されていて、現像処理部９により処理される前のいわゆるＲＡＷ画像データ、あるいは現像処理部９により現像処理された画像データ、または現像処理後にさらに必要に応じて画像処理部１２により処理された画像データを、例えば画像ファイル形式で記録する。外部メモリ１１は、上述したように可搬性があるために、撮像装置１から取り出して、例えばコンピュータなどの他の装置に接続して画像データを読み込み、画像処理、あるいは画像再生などを行うことができるようになっている。

画像処理部１２は、現像処理部９により処理された画像に対して、色調整やコントラスト調整などの画像処理を行う。

撮影情報取得部７は、外部メモリ１１に記録しようとする画像データに添付する撮影情報（メタデータ）を収集する。また、撮影情報取得部７は、外部メモリ１１に記録されている画像データに添付されている撮影情報（メタデータ）を収集する。

サムネイル処理部５は、サムネイル生成部５１と、サムネイル強調処理部５２と、を備えている。

サムネイル生成部５１は、サムネイル画像生成部であり、後述する合成方法判定部６２により判定された合成方法に応じて、合成画像データの合成前の画像データと合成後の画像データとの少なくとも一方に基づき複数のサムネイル画像を生成する。具体的に本実施形態においては、サムネイル生成部５１は、複数のサムネイル画像の１つを合成後の画像データに基づいて生成する。ここに、サムネイル生成部５１がサムネイル画像を生成する元となる画像は、例えば、撮影を行って撮像部２から入力された画像、外部メモリ１１から入力された画像、あるいは通信回線等を介して入力された画像などである。

ここに、サムネイル画像は、元の画像データ（後述する図１２に示す主画像データ１１３に対応する画像データ）よりもデータ量が小さく、かつ画像サイズが小さい画像のことである。ただし、データ量の大小は、同一条件において（例えば、圧縮の有無、圧縮方式などの条件を同一にして）比較するものとする。

従って、サムネイル画像は、１２０×１６０画素などの画像サイズに限定されるものではなく、一例を挙げれば、撮影により得られた画像データが３６００×５４００画素である場合には、１８００×２７００画素の画像サイズであっても構わない。

そして、サムネイル生成部５１は、複数の画像データを合成した合成画像データに対しては、複数のサムネイル画像を生成するようになっている。ここに、複数のサムネイル画像は、後述するように、１つの主サムネイル画像と、１つの副サムネイル画像と、を含む。さらに、サムネイル生成部５１は、後述するサムネイル表示制御部３３から入力されたモーフィングデータと表示時間とに基づいて、サムネイル画像を生成する。

サムネイル強調処理部５２は、サムネイル生成部５１により生成された複数のサムネイル画像の少なくとも１つに、合成方法判定部６２により判定された合成方法によって得られる画像処理効果を強調する画像強調処理を行う画像強調部である。ここに、画像強調処理の幾つかの具体例としては、明るさ調整、コントラスト調整、輪郭強調などが挙げられる。さらに、サムネイル強調処理部５２は、入力された情報に基づいて、サムネイル画像の画像強調処理が必要であるか否かを判定する。

表示部３は、画像データを表示するものであり、表示部材３１と、再生情報取得部３２と、サムネイル表示制御部３３と、表示用メモリ３７と、を備えている。

表示部材３１は、液晶表示素子などの表示デバイスを備えて構成され、画像や撮像装置１に係る各種の情報を表示するモニタである。

再生情報取得部３２は、例えば撮影情報取得部７から、表示部材３１に表示する画像の撮影情報（メタデータ）を取得する。

サムネイル表示制御部３３は、サムネイル生成部５１により生成された複数のサムネイル画像を、表示部３に表示するように制御する表示制御部であり、具体的には、表示部３に、主サムネイル画像から副サムネイル画像に変化するアニメーション表示をさせる。従って、主サムネイル画像はアニメーション表示における初期サムネイル画像、副サムネイル画像はアニメーション表示における最終サムネイル画像（あるいは、副サムネイル画像を複数とした場合には、アニメーション表示における変化過程のサムネイル画像および最終サムネイル画像）となっている。

このサムネイル表示制御部３３は、コマ切換アニメーション部３４と、透過度変更アニメーション部３５と、モーフィングアニメーション部３６と、を備え、モーフィングデータの生成も行う。

コマ切換アニメーション部３４は、複数のサムネイル画像の内の１つが表示されている場合に、所定の時間が経過したところで複数のサムネイル画像の内の他の１つの表示に切り換える処理を行う。具体的に、コマ切換アニメーション部３４は、アニメーション表示を、主サムネイル画像から副サムネイル画像への画像切替処理により行う。

透過度変更アニメーション部３５は、複数のサムネイル画像を重畳して表示したときに、一番下のサムネイル画像以外のサムネイル画像の透過度を時間が経過するに従って変更する処理を行う。具体的には、一番上のサムネイル画像の透過度を時間が経過するに従って最小（０％）→最大（１００％）へ徐々に変更し、次に上から２番目のサムネイル画像の透過度を時間が経過するに従って最小（０％）→最大（１００％）へ徐々に変更し、等を順次行う。

複数のサムネイル画像が、主サムネイル画像と副サムネイル画像との２枚である場合を例に挙げれば、透過度変更アニメーション部３５は、アニメーション表示を、副サムネイル画像の上に重畳された主サムネイル画像の透過度を最小（０％）から最大（１００％）へ変化させる透過度変更処理により行う。

モーフィングアニメーション部３６は、サムネイル表示制御部３３により生成されたモーフィングデータを用いて、表示している画像の形態を、時間が経過するに従って変化させる処理を行う。ここに、あるサムネイル画像から他のサムネイル画像へ形状を変化させるモーフィング処理は、３Ｄのサムネイル画像を生成する処理よりは負荷が軽い処理となっている。このモーフィングアニメーション部３６との連携により、サムネイル表示制御部３３は、アニメーション表示を、例えば主サムネイル画像から副サムネイル画像へ形状を変化させるモーフィング処理により行う。

表示用メモリ３７は、表示画像展開メモリ３８と、主サムネイル展開メモリ３９と、副サムネイル展開メモリ４０と、モーフィングデータ展開メモリ４１と、を備えている。

表示画像展開メモリ３８は、表示部材３１に表示する画像（後述する図１２に示す主画像データ１１３に対応する画像）を格納する。

主サムネイル展開メモリ３９は、表示画像展開メモリ３８に格納された画像の主サムネイル画像を格納する。

副サムネイル展開メモリ４０は、表示画像展開メモリ３８に格納された画像の副サムネイル画像を格納する。

モーフィングデータ展開メモリ４１は、サムネイル表示制御部３３により生成されたモーフィングデータを格納する。

合成制御部６は、合成判定部６１と、合成方法判定部６２と、合成処理部６３と、を備えている。

合成判定部６１は、画像データ（静止画データ、または動画データを構成する少なくとも１フレームの画像データ）が、複数の画像データを合成した合成画像データであるか否かを判定する。この合成判定部６１による判定は、例えば、合成判定部６１に入力された撮影情報（メタデータ）に基づき行われる。すなわち、合成判定部６１は、画像を撮像して外部メモリ１１に記録しようとする際には、外部メモリ１１に記録する前の撮影情報（メタデータ）に基づいて、合成処理部６３が合成を行うか否かを判定することにより、画像データが合成画像データであるか否かを判定する。また、合成判定部６１は、既に外部メモリ１１に記録されている画像を再生する際には、外部メモリ１１の画像データの撮影情報（メタデータ）として合成方法が記録されているか否かに基づき画像データが合成画像データであるか否かを判定する。

合成方法判定部６２は、合成判定部６１の判定結果が合成画像データである場合に、合成画像データの合成方法を判定する。ここに、合成方法判定部６２は、入力された撮影情報（メタデータ）に基づき判定を行い、これから外部メモリ１１に記録しようとする画像データである場合には合成処理部６３が合成画像データを生成する際に行う合成方法を判定し、既に外部メモリ１１に記録されている画像データである場合には合成画像データの撮影情報（メタデータ）として記録された合成方法を判定する。

合成処理部６３は、複数の画像データを合成して合成画像データを生成する。本実施形態においては、合成処理部６３による合成方法として、加算合成、比較明合成、および比較暗合成を例に挙げる。ただし、合成処理部６３が行う合成方法はこれらに限定されるものではなく、その他の合成方法を加えても良いし、その他の合成方法に差し替えても構わない。

システム制御部１３は、ハードウェアとして構成されたプロセッサ（例えばＣＰＵなど）を有し、上述した各部を含む撮像装置１全体の制御を行う。このシステム制御部１３は、サムネイル生成部５１により生成された複数のサムネイル画像を、合成画像データに関連付けて、記録媒体である外部メモリ１１に記録するように制御する記録制御部を兼ねたものとなっている。

次に、図２は、撮像装置１における再生および撮影の処理を示すフローチャートである。

例えば、撮像装置１の電源がオンされると、この処理が開始される。

すると、システム制御部１３が、入力部８の出力に基づき、撮像装置１が再生モードに設定されているか否かを判定する（ステップＳ１）。

ここで再生モードに設定されていると判定された場合は、後で図９を参照して説明するような再生処理を行う（ステップＳ２）。

そして、システム制御部１３は、入力部８から新たに「再生終了操作」の入力があったか否かを判定する（ステップＳ３）。ここで、入力がないと判定された場合には、入力があったと判定されるまで、ステップＳ２の再生処理が継続して行われる。

ステップＳ３において「再生終了操作」の入力があったと判定されるか、またはステップＳ１において再生モードに設定されていないと判定された場合は、システム制御部１３が、入力部８から「撮影開始操作」の入力があったか否かを判定し（ステップＳ４）、入力があるまでは撮影を開始せず、現状を維持して待機する。

そして、「撮影開始操作」の入力があったと判定された場合には撮影モードに移行して、システム制御部１３の指令に基づいて、撮影情報取得部７が、種々の設定（例えば、ユーザによる設定、自動露出制御による設定、自動焦点調節制御による設定など）に基づいて、撮影情報（メタデータ）を収集し、収集した撮影情報を内部メモリ１０の規定の領域に格納する（ステップＳ５）。

続いて、後で図５を参照して説明するように、収集された撮影情報（メタデータ）に基づいて、これから行う撮影処理により得ようとする画像データが、複数の画像データを合成した合成画像データであるか否かを合成判定部６１が判定し、合成判定部６１の判定結果が合成画像データである場合に、合成画像データの合成方法を合成方法判定部６２が判定する（ステップＳ６）。

システム制御部１３が、入力部８からの「撮影開始操作」の入力が、静止画撮影であるか否か（ひいては、静止画撮影と動画撮影との何れであるか）を判定する（ステップＳ７）。

ここで、静止画撮影であると判定した場合には、後で図３を参照して説明するような静止画撮影処理を行う（ステップＳ８）。

また、ステップＳ７において、静止画撮影でないと判定した場合には、後で図４を参照して説明するような動画撮影処理を行う（ステップＳ９）。

こうして、ステップＳ８を行った場合には撮影されて内部メモリ１０の記録画像確保領域に記録されている静止画データを、またステップＳ９を行った場合には撮影されて内部メモリ１０の記録画像確保領域に記録されている動画データを、後で図６〜図８を参照して説明するように、外部メモリ１１に記録する（ステップＳ１０）。

さらに、一連の撮影処理で記録した画像を表示部３に表示するレックビュー表示を行ってから（ステップＳ１１）、撮影処理を終了する。

次に、図３は、撮像装置１における静止画撮影の処理を示すフローチャートである。

図２のステップＳ７において静止画撮影であると判定されると、ステップＳ８においてこの図３に示すような静止画撮影の処理が行われる。

まず、ステップＳ６における合成処理判定の結果である「合成フラグ」が、オンであるか否かを判定する（ステップＳ２１）。

この「合成フラグ」は、画像データ（静止画データ、または動画データを構成する少なくとも１フレームの画像データ）が、複数の画像データを合成処理して得られる（あるいは得られた）画像データであるか否かを、オン／オフにより示すフラグである。

従って、ここで「合成フラグ」がオフであると判定された場合には、合成処理を行う撮影（合成撮影）ではないことになる。

そこで、入力部８から「撮影終了操作」の入力があったか否かを判定する（ステップＳ２２）。ここで、入力がないと判定した場合には、入力があったと判定するまで、撮影状態を継続する。

ステップＳ２２において「撮影終了操作」の入力があったと判定された場合には、システム制御部１３が、イメージセンサ２５に画像データを出力させて、出力された画像データを内部メモリ１０の読出データ確保領域に記録する（ステップＳ２３）。

そして、システム制御部１３が、内部メモリ１０の読出データ確保領域に記録された画像データを、内部メモリ１０の記録画像確保領域に記録する（ステップＳ２４）。

一方、ステップＳ２１において、「合成フラグ」がオンであると判定された場合には、合成処理を行う撮影（合成撮影）であることになる。この場合には、システム制御部１３が、イメージセンサ２５に画像データを出力させて、出力された画像データを内部メモリ１０の読出データ確保領域に記録する（ステップＳ２５）。

システム制御部１３は、ステップＳ２５において得られた画像データが、合成撮影を始めてから１コマ目の画像データであるか否かを判定する（ステップＳ２６）。

ここで、１コマ目の画像データであると判定された場合には、システム制御部１３が、内部メモリ１０の読出データ確保領域に記録された画像データを、内部メモリ１０の１コマ目確保領域に記録する（ステップＳ２７）。

また、ステップＳ２６において１コマ目の画像データでないと判定された場合には、システム制御部１３が制御を行って、合成制御部６の合成処理部６３に、イメージセンサ２５から新たに得られ内部メモリ１０の読出データ確保領域に記録されている画像データと、内部メモリ１０の記録画像確保領域に記録されているそれまでの合成画像データとを合成させる（ステップＳ２８）。なお、新たに得られた画像データが２コマ目の画像データである場合には、読出データ確保領域に記録されている画像データを、ステップＳ２７において１コマ目確保領域に記録した１コマ目の画像データと合成することになる。

そして、合成処理部６３により生成された合成画像データを、内部メモリ１０の記録画像確保領域に記録する（ステップＳ２９）。なお、この図３に示す処理は静止画撮影であるために、このステップＳ２９においては、記録画像確保領域に既に記録されている１つ前の合成画像データに対して、新たに生成された合成画像データを上書きすれば良い。

こうしてステップＳ２７またはＳ２９の処理を行ったら、入力部８から「撮影終了操作」の入力があったか否かを判定する（ステップＳ３０）。ここで、入力がないと判定した場合には、入力があったと判定するまで、撮影状態を継続する。

ステップＳ３０において「撮影終了操作」の入力があったと判定された場合、またはステップＳ２４の処理を行った場合には、システム制御部１３の制御に基づき、内部メモリ１０の記録画像確保領域に記録されている画像データを、現像処理部９が現像処理し、必要に応じて画像処理部１２が画像処理して（ステップＳ３１）、この処理からリターンする。

続いて、図４は、撮像装置１における動画撮影の処理を示すフローチャートである。

図２のステップＳ７において静止画撮影でないと判定されると、ステップＳ９においてこの図４に示すような動画撮影の処理が行われる。

まず、ステップＳ６における合成処理判定の結果である「合成フラグ」が、オンであるか否かを判定する（ステップＳ４１）。

ここで、「合成フラグ」がオフであると判定された場合には、システム制御部１３が、イメージセンサ２５に画像データを出力させて、出力された画像データを内部メモリ１０の読出データ確保領域に記録する（ステップＳ４２）。

システム制御部１３の制御に基づき、内部メモリ１０の読出データ確保領域に記録されている画像データを、現像処理部９が現像処理し、必要に応じて画像処理部１２が画像処理する（ステップＳ４３）。

そして、処理された画像データを、内部メモリ１０の記録画像確保領域に１フレーム単位で記録する（ステップＳ４４）。ここに、内部メモリ１０は、動画データを全フレーム分記録可能なメモリを想定しているが、メモリ容量が十分でない場合には、動画撮影と並行して外部メモリ１１への記録を行うことはいうまでもない。

その後、入力部８から「撮影終了操作」の入力があったか否かを判定する（ステップＳ４５）。ここで、入力がないと判定した場合には、入力があったと判定するまで、ステップＳ４２へ戻って撮影状態を継続する。

一方、ステップＳ４１において、「合成フラグ」がオンであると判定された場合には、システム制御部１３が、イメージセンサ２５に画像データを出力させて、出力された画像データを内部メモリ１０の読出データ確保領域に記録する（ステップＳ４６）。

システム制御部１３は、ステップＳ４６において得られた画像データが、合成撮影を始めてから１フレーム目の画像データであるか否かを判定する（ステップＳ４７）。

ここで、１フレーム目の画像データであると判定された場合には、システム制御部１３が、内部メモリ１０の読出データ確保領域に記録された画像データを、内部メモリ１０の１フレーム目確保領域と、内部メモリ１０の合成フレーム確保領域と、に記録する（ステップＳ４８）。

システム制御部１３の制御に基づき、内部メモリ１０の１フレーム目確保領域に記録されている画像データを、現像処理部９が現像処理し、必要に応じて画像処理部１２が画像処理する（ステップＳ４９）。

そして、処理された画像データを、内部メモリ１０の記録画像確保領域に記録する（ステップＳ５０）。

また、ステップＳ４７において１フレーム目の画像データでないと判定された場合には、システム制御部１３が合成制御部６の合成処理部６３を制御して、イメージセンサ２５から新たに得られ内部メモリ１０の読出データ確保領域に記録されている画像データと、内部メモリ１０の合成フレーム確保領域に記録されているそれまでの合成画像データとを合成させる（ステップＳ５１）。

そして、合成処理部６３により生成された合成画像データを、内部メモリ１０の合成フレーム確保領域に記録する（ステップＳ５２）。

システム制御部１３の制御に基づき、内部メモリ１０の合成フレーム確保領域に記録されている画像データを、現像処理部９が現像処理し、必要に応じて画像処理部１２が画像処理する（ステップＳ５３）。

そして、処理された画像データを、内部メモリ１０の記録画像確保領域に１フレーム単位で記録する（ステップＳ５４）。

このステップＳ５４の処理、または上述したステップＳ５０の処理を行ったら、入力部８から「撮影終了操作」の入力があったか否かを判定する（ステップＳ５５）。ここで、入力がないと判定した場合には、入力があったと判定するまで、ステップＳ４６へ戻って撮影状態を継続する。

こうして、ステップＳ４５またはＳ５５において「撮影終了操作」の入力があったと判定された場合には、この処理からリターンする。

次に、図５は、撮像装置１における合成処理判定の処理を示すフローチャートである。

図２のステップＳ６に入ると（または、後述する図９のステップＳ１０３に入ると）、この図５に示すような合成処理判定の処理が行われる。

まず、合成判定部６１が、撮影情報（メタデータ）に基づいて、「合成撮影オン」であるか否かを判定する（ステップＳ６１）。

ここで、「合成撮影オン」でないと判定された場合には、全ての合成撮影フラグ（本実施形態の例では、加算合成フラグ、比較明合成フラグ、および比較暗合成フラグ）（後述する図１２の合成撮影フラグ１１８参照）をオフする（ステップＳ６２）。

また、ステップＳ６１において「合成撮影オン」であると判定された場合には、合成方法判定部６２が、撮影情報（メタデータ）に基づいて、合成撮影方法を判定する（ステップＳ６３）。具体的に、合成方法判定部６２は、合成画像データの合成方法が、比較明合成、加算合成、または比較暗合成の何れであるかを判定する。

ここで、合成撮影方法が「加算」であると判定された場合には、［加算合成フラグ］をオンにして、それ以外の全てのフラグ（比較明合成フラグおよび比較暗合成フラグ）をオフにする（ステップＳ６４）。

また、ステップＳ６３において、合成撮影方法が「比較明」であると判定された場合には、［比較明合成フラグ］をオンにして、それ以外の全てのフラグ（加算合成フラグおよび比較暗合成フラグ）をオフにする（ステップＳ６５）。

さらに、ステップＳ６３において、合成撮影方法が「比較暗」であると判定された場合には、［比較暗合成フラグ］をオンにして、それ以外の全てのフラグ（加算合成フラグおよび比較明合成フラグ）をオフにする（ステップＳ６６）。

こうして、ステップＳ６２，Ｓ６４，Ｓ６５，またはＳ６６において全てのフラグがオンまたはオフの何れかに設定されたら、システム制御部１３が、入力部８の出力に基づき、撮像装置１が再生モードに設定されているか否かを判定する（ステップＳ６７）。

ここで、再生モードに設定されていない（ひいては、撮影モードに設定されている）と判定された場合には、合成処理部６３が、合成フラグの状態を、撮影情報（メタデータ）に設定する（ステップＳ６８）。

このステップＳ６８の処理を行うか、またはステップＳ６７において再生モードに設定されていると判定された場合には、この処理からリターンする。

続いて、図６は、撮像装置１における外部メモリ記録の処理を示すフローチャートである。

図２のステップＳ１０に入ると、この図６に示すような外部メモリ記録の処理が行われる。

まず、システム制御部１３は、内部メモリ１０の記録画像確保領域に記録されている画像データが、静止画データであるか否かを判定する（ステップＳ７１）。

ここで、静止画データであると判定された場合には、サムネイル生成部５１により、後で図７を参照して説明するような、静止画サムネイル生成の処理を行う（ステップＳ７２）。

また、ステップＳ７１において静止画データでないと判定された場合には、サムネイル生成部５１により、後で図８を参照して説明するような、動画サムネイル生成の処理を行う（ステップＳ７３）。

ステップＳ７２またはＳ７３の処理を行ったら、撮像装置１の設定情報（例えば、ユーザが入力部８を介して撮像装置１に設定した情報）に基づいて、サムネイル強調処理部５２がサムネイル画像の画像強調処理が必要であるか否かを判定する（ステップＳ７４）。

ここで、サムネイル画像の画像強調処理が必要であると判定された場合には、サムネイル生成部５１により生成されたサムネイル画像に対して、サムネイル強調処理部５２により画像強調処理を行う（ステップＳ７５）。なお、ステップＳ７２またはＳ７３において生成されたサムネイル画像が複数である場合には、全てのサムネイル画像に対して画像強調処理を行うことを想定している。ただし、生成された複数のサムネイル画像の内の、一部のサムネイル画像に対してのみ画像強調処理を行うことを妨げるものではなく、例えば、１コマ（または１フレーム）目の画像から生成されたサムネイル画像に対しては画像強調処理を行わず、撮影結果となる合成画像から生成されたサムネイル画像に対しては画像強調処理を行う、等であっても構わない。

そして、サムネイル強調処理部５２が、図２のステップＳ５において生成された撮影情報（メタデータ）に、「サムネイル画像自体が画像強調処理済」であることを追加する（ステップＳ７６）（後述する図１２の画像強調フラグ１１７参照）。

このステップＳ７６の処理を行った場合、ステップＳ７４においてサムネイル画像の画像強調処理が必要でないと判定された場合、または後述する図７のステップＳ８２の処理を行った場合には、記録画像確保領域の画像に、撮影情報（メタデータ）を添付する（ステップＳ７７）。このときに、例えば２枚のサムネイル画像を生成した場合は、格納場所を次のように設定する。

ここで、図１２は、撮像装置１における画像データの構造を示すブロック図である。

画像データ１１１は、ヘッダ１１２と、主画像データ１１３と、フッタ１１４と、を備えている。

ヘッダ１１２は、撮影情報（メタデータ）格納領域１１５と、第１サムネイル格納領域１１６と、を備えており、図示はしないが、画像フォーマットの構成に必要なその他の情報も格納している。

撮影情報格納領域１１５は、画像強調フラグ１１７と、合成撮影フラグ１１８と、サムネイル格納位置情報１１９と、を備え、図示はしないが画像に係るその他の情報、例えば、撮影日時、ホワイトバランスの設定値なども格納されるようになっている。

画像強調フラグ１１７は、画像データ１１１に含まれるサムネイル画像が画像強調されているか否かの情報を格納する。本実施形態においては、サムネイル画像が複数である場合に、全てのサムネイル画像に対して一括して画像強調が行われたか、または何れのサムネイル画像にも画像強調が行われていないか、の情報が格納されることを想定している。ただし、これに限定されるものではなく、サムネイル画像毎に、画像強調の有無、あるいはさらに画像強調の度合いの情報を格納するようにしても構わない。

合成撮影フラグ１１８は、画像データ１１１が、合成撮影によって記録されたか否かの情報を格納する。具体的に、本実施形態の合成撮影フラグ１１８は、加算合成フラグ、比較明合成フラグ、および比較暗合成フラグのそれぞれについて、オンまたはオフの情報を格納する。従って、全てのフラグがオフであれば、画像データ１１１が、合成撮影によって記録された画像データではないと判定することができる。一方、何れかのフラグがオンであれば、オンであるフラグの種類に応じて、加算合成、比較明合成、または比較暗合成の何れが行われた画像データ１１１であるかを判定することができる。

サムネイル格納位置情報１１９は、第１サムネイル格納領域１１６に格納されている第１サムネイル画像が、主サムネイル画像であるかまたは副サムネイル画像であるかの情報を格納する。ここに、生成されたサムネイル画像が２つである場合には、第１サムネイル画像が主サムネイル画像と副サムネイル画像との内の一方である情報があれば、第２サムネイル画像が主サムネイル画像と副サムネイル画像との内の他方であることが分かる。

また、生成されたサムネイル画像が３つ以上ある場合には、どのサムネイル画像が主サムネイル画像であり、どのサムネイル画像が副サムネイル画像であるかの情報をサムネイル格納位置情報１１９として格納するようにしても良い（あるいは、主サムネイル画像となるのがどのサムネイル画像であるかの情報のみを格納すれば、それ以外のサムネイル画像は全て副サムネイル画像であると判定することができるようにしても構わない）。

このように、生成するサムネイル画像は２つに限るものではなく、３つ以上であっても良い。例えば、動画の場合に、全フレームについてサムネイル画像を作成しても構わない。

第１サムネイル格納領域１１６は、合成後の画像データに基づいて生成されたサムネイル画像として、主画像データ１１３が静止画である場合には撮影結果に対するサムネイル画像を格納し、主画像データ１１３が動画である場合には１フレーム目のサムネイル画像を格納する（この第１サムネイル格納領域１１６への記録は、記録制御部であるシステム制御部１３により行われる）。ここに、第１サムネイル格納領域１１６は、外部メモリ１１における、合成画像データ以外の通常の画像データのサムネイル画像と互換性のある記録位置（格納領域）となっている。そして、静止画について撮影結果に対するサムネイル画像を第１サムネイル格納領域１１６に格納し、動画について１フレーム目のサムネイル画像を第１サムネイル格納領域１１６に格納することは、従来と互換性のある記録方法である。これにより、第２サムネイル格納領域１２０を想定していない従来の装置や従来のソフトウェアとの互換性を保つようにしている。

主画像データ１１３は、記録画像としての静止画または動画を、主画像として格納する。

フッタ１１４は、第２サムネイル格納領域１２０を備えている。

第２サムネイル格納領域１２０は、主画像に対して生成されたサムネイル画像が複数である場合に、第１サムネイル格納領域１１６に格納される撮影結果（または１フレーム目）に対するサムネイル画像以外の、全てのサムネイル画像を格納する。

図６の説明に戻って、記録画像確保領域の画像に、サムネイル画像を添付する（ステップＳ７８）。

そして、主画像データ１１３に、撮影情報格納領域１１５と第１サムネイル格納領域１１６とを備えるヘッダ１１２が添付され、必要に応じてさらに第２サムネイル格納領域１２０を備えるフッタ１１４が添付された記録画像確保領域の画像を、画像データ１１１として外部メモリ１１に記録してから（ステップＳ７９）、この処理からリターンする。

図７は、撮像装置１における静止画サムネイル生成の処理を示すフローチャートである。

図６のステップＳ７１において静止画データであると判定されると、ステップＳ７２においてこの図７に示すような静止画サムネイル生成の処理が行われる。

するとまず、合成判定部６１が、画像の撮影情報（メタデータ）に基づいて、合成フラグがオンであるか否かを判定する（ステップＳ８１）。

ここで合成フラグがオンでないと判定された場合には、合成撮影により得られた静止画ではないことになるために、サムネイル処理部５のサムネイル生成部５１は、撮影結果の画像に基づいて、通常のサムネイル画像を生成する（ステップＳ８２）。このステップＳ８２の処理を行った後は、上述したように、図６のステップＳ７７の処理に進む。

ステップＳ８１において、合成フラグがオンであると判定された場合には、上述したステップＳ５の処理により生成された撮影情報（メタデータ）に基づいて、合成方法判定部６２が「合成方法」を判定する（ステップＳ８３）。具体的に、合成方法判定部６２は、合成方法が、加算、比較明、または比較暗の何れに該当するかを判定する。

ステップＳ８３において合成方法が加算であると判定された場合には、サムネイル処理部５のサムネイル生成部５１が、合成後の画像データである撮影結果の画像に基づきサムネイル画像を生成して主サムネイル画像とし、合成前の画像データである１コマ目の画像に基づきサムネイル画像を生成して副サムネイル画像とする。こうして、サムネイル生成部５１は、２枚の（２種類の）サムネイル画像を生成する（ステップＳ８４）。

また、ステップＳ８３において合成方法が比較明であると判定された場合には、サムネイル処理部５のサムネイル生成部５１が、撮影結果の画像に基づきサムネイル画像を生成して主サムネイル画像とし、１コマ目の画像に基づきサムネイル画像を生成して副サムネイル画像とする。こうして、サムネイル生成部５１は、２枚の（２種類の）サムネイル画像を生成する（ステップＳ８５）。

さらに、ステップＳ８３において合成方法が比較暗であると判定された場合には、サムネイル処理部５のサムネイル生成部５１が、１コマ目の画像に基づきサムネイル画像を生成して主サムネイル画像とし、撮影結果の画像に基づきサムネイル画像を生成して副サムネイル画像とする。こうして、サムネイル生成部５１は、２枚の（２種類の）サムネイル画像を生成する（ステップＳ８６）。

ステップＳ８４、Ｓ８５、またはＳ８６の何れかの処理を行ったら、この処理からリターンする。

図８は、撮像装置１における動画サムネイル生成の処理を示すフローチャートである。

図６のステップＳ７１において静止画データでないと判定されると、ステップＳ７３においてこの図８に示すような動画サムネイル生成の処理が行われる。

するとまず、合成判定部６１が、画像の撮影情報（メタデータ）に基づいて、合成フラグがオンであるか否かを判定する（ステップＳ９１）。

ここで合成フラグがオンでないと判定された場合には、合成撮影により得られた動画ではない（動画データを構成する何れのフレームについても合成処理が行われていない動画である）ことになるために、サムネイル処理部５のサムネイル生成部５１は、１フレーム目の画像に基づいて、通常のサムネイル画像を生成する（ステップＳ９２）。

一方、ステップＳ９１において、合成フラグがオンであると判定された場合には、上述したステップＳ５の処理により生成された撮影情報（メタデータ）に基づいて、合成方法判定部６２が「合成方法」を判定する（ステップＳ９３）。具体的に、合成方法判定部６２は、合成方法が、加算、比較明、または比較暗の何れに該当するかを判定する。

ステップＳ９３において合成方法が加算であると判定された場合には、サムネイル処理部５のサムネイル生成部５１が、合成後の画像データである最終フレームの画像に基づきサムネイル画像を生成して主サムネイル画像とし、合成前の画像データである１フレーム目の画像に基づきサムネイル画像を生成して副サムネイル画像とする。こうして、サムネイル生成部５１は、２枚の（２種類の）サムネイル画像を生成する（ステップＳ９４）。

また、ステップＳ９３において合成方法が比較明であると判定された場合には、サムネイル処理部５のサムネイル生成部５１が、最終フレームの画像に基づきサムネイル画像を生成して主サムネイル画像とし、１フレーム目の画像に基づきサムネイル画像を生成して副サムネイル画像とする。こうして、サムネイル生成部５１は、２枚の（２種類の）サムネイル画像を生成する（ステップＳ９５）。

さらに、ステップＳ９３において合成方法が比較暗であると判定された場合には、サムネイル処理部５のサムネイル生成部５１が、１フレーム目の画像に基づきサムネイル画像を生成して主サムネイル画像とし、最終フレームの画像に基づきサムネイル画像を生成して副サムネイル画像とする。こうして、サムネイル生成部５１は、２枚の（２種類の）サムネイル画像を生成する（ステップＳ９６）。

このように、合成方法判定部６２が比較明合成または加算合成であると判定した場合は、サムネイル生成部５１は、合成後の画像データに基づき主サムネイル画像を生成し、合成前の画像データに基づき副サムネイル画像を生成する（ステップＳ８４、Ｓ８５、Ｓ９４、Ｓ９５参照）。一方、合成方法判定部６２が比較暗合成であると判定した場合は、サムネイル生成部５１は、合成前の画像データに基づき主サムネイル画像を生成し、合成後の画像データに基づき副サムネイル画像を生成する（ステップＳ８６、Ｓ９６参照）。

このステップＳ９６（同様に、上述したステップＳ８６）において、１フレーム目を主サムネイル画像、最終フレームを副サムネイル画像としたのは、次の理由による。すなわち、比較暗の場合には、合成枚数が増えるに従って画像が暗くなるために、最終フレームを主サムネイル画像、１フレーム目を副サムネイル画像とすると、暗い画像である主サムネイル画像を指定して再生を行うと、突然、１フレーム目の明るい画像から再生開始となる。そこで、こうした暗から明への突然の輝度変化を避けるようにしたためである。

ステップＳ９２、Ｓ９４、Ｓ９５、またはＳ９６の何れかの処理を行ったら、この処理からリターンする。

図９は、撮像装置１における再生処理を示すフローチャートである。

図２のステップＳ２に入ると、この図９に示すような再生処理が行われる。

するとまず、外部メモリ１１から再生対象の画像データ１１１を読み出して、読み出した画像データ１１１を表示部３の表示用メモリ３７内にある表示画像展開メモリ３８に格納する（ステップＳ１０１）。

次に、表示部３の再生情報取得部３２が、表示画像展開メモリ３８に格納された画像データ１１１から、撮影情報（メタデータ）を取得する（ステップＳ１０２）。

続いて、これから再生を行う対象の画像が、合成処理により生成された画像であるか否かを、撮影情報（メタデータ）の合成撮影フラグ１１８に基づいて、上述した図５の処理により判定する（ステップＳ１０３）。

そして、再生対象の画像のサムネイル表示制御を、後で図１０を参照して説明するように行い（ステップＳ１０４）、この処理からリターンする。

図１０は、撮像装置１におけるサムネイル表示制御の処理を示すフローチャートである。

図９のステップＳ１０４に入ると、この図１０に示すようなサムネイル表示制御の処理が行われる。

するとまず、表示画像展開メモリ３８に格納された画像データ１１１からサムネイル画像を取得する（ステップＳ１１１）。このときには、サムネイル格納位置情報１１９を参照して、第１サムネイル格納領域１１６に格納されているサムネイル画像と、第２サムネイル格納領域１２０に格納されているサムネイル画像と、の何れが主サムネイル画像であり、何れが副サムネイル画像であるかを判定して、主サムネイル画像であると判定されたサムネイル画像を主サムネイル展開メモリ３９に格納し、副サムネイル画像であるかと判定されたサムネイル画像を副サムネイル展開メモリ４０に格納する。ただし、画像データ１１１に含まれるサムネイル画像が１つのみである場合には、そのサムネイル画像を、主サムネイル展開メモリ３９に格納する。

サムネイル強調処理部５２が、撮影情報（メタデータ）の画像強調フラグ１１７に基づいて、サムネイル画像が画像強調処理されているか否かを判定する（ステップＳ１１２）。

ここで、画像強調処理されていないと判定された場合には、撮像装置１の設定情報に基づいて、サムネイル強調処理部５２が、サムネイル画像の画像強調処理が必要であるか否かを判定する（ステップＳ１１３）。このような処理を行うことにより、画像データ１１１中のサムネイル画像が画像強調されていなくても、再生時に画像強調して表示することが可能となっている。

このステップＳ１１３において、画像強調処理が必要であると判定した場合には、サムネイル強調処理部５２は、表示部３のサムネイル表示制御部３３に対して、サムネイル画像の画像強調処理を行う旨の［強調オン］を通知する（ステップＳ１１４）。

このステップＳ１１４の処理を行った場合、ステップＳ１１２において画像強調処理されていると判定された場合、ステップＳ１１３において画像強調処理が必要でないと判定された場合には、上述したステップＳ１０３の判定結果として得られた合成フラグがオンであるか否かを判定する（ステップＳ１１５）。

ここで、合成フラグがオンであると判定された場合には、上述したステップＳ１１１において取得されたサムネイル画像の枚数が２枚以上であるか否かを判定する（ステップＳ１１６）。

そして２枚以上であると判定された場合には、さらに、撮像装置１の設定情報に基づいて、サムネイル画像の表示方法を判定する（ステップＳ１１７）。ここでは、サムネイル画像の表示方法として、コマ切換、透過度変更、モーフィングの何れかが設定されるものとして説明するが、その他の表示方法を用いても勿論構わない。

上述したステップＳ１１５において合成フラグがオンでないと判定された場合、上述したステップＳ１１６においてサムネイル画像の枚数が２枚以上でなく１枚のみであると判定された場合には、例えばシステム制御部１３が、［通常表示］を行うことをサムネイル表示制御部３３に通知する（ステップＳ１１８）。

また、ステップＳ１１７において、表示方法がコマ切換であると判定された場合には、例えばシステム制御部１３が、［コマ切換］を行うことをサムネイル表示制御部３３に通知する（ステップＳ１１９）。

ステップＳ１１７において、表示方法が透過度変更であると判定された場合には、例えばシステム制御部１３が、［透過度変更］を行うことをサムネイル表示制御部３３に通知する（ステップＳ１２０）。

ステップＳ１１７において、表示方法がモーフィングであると判定された場合には、例えばシステム制御部１３が、［モーフィング］を行うことをサムネイル表示制御部３３に通知する（ステップＳ１２１）。

上述したステップＳ１１８〜Ｓ１２１の何れかの処理により通知を受信したら、サムネイル表示制御部３３は、後で図１１を参照して説明するようにサムネイル表示処理を行って（ステップＳ１２２）、この処理からリターンする。

図１１は、撮像装置１におけるサムネイル表示処理を示すフローチャートである。

図１０のステップＳ１２２に入ると、この図１１に示すようなサムネイル表示処理が行われる。

まず、サムネイル表示制御部３３は、［通常表示］の通知を受信したか否かを判定する（ステップＳ１３１）。

ここで、［通常表示］の通知を受信したと判定した場合には、サムネイル表示制御部３３が、主サムネイル展開メモリ３９のサムネイル画像を、表示部材３１に表示する（ステップＳ１３２）。このときに表示されるサムネイル画像は、画像強調がなされていない通常の表示である。

また、ステップＳ１３１において、［通常表示］の通知を受信していないと判定した場合には、サムネイル表示制御部３３は、［強調オン］の通知を受信したか否かを判定する（ステップＳ１３３）。

ここで、［強調オン］の通知を受信したと判定された場合には、サムネイル処理部５のサムネイル強調処理部５２が、サムネイル画像の画像強調を行う（ステップＳ１３４）。従って、後述するステップＳ１３６、Ｓ１３８、Ｓ１３９、Ｓ１４１、Ｓ１４７において再生対象となっている本画像のサムネイル画像をサムネイル表示制御部３３が表示する際には、画像強調処理が行われたサムネイル画像が表示されることになる。

ステップＳ１３４の処理を行うか、またはステップＳ１３３において［強調オン］の通知を受信していないと判定した場合には、サムネイル表示制御部３３は、受信した通知が示す表示方法を判定する（ステップＳ１３５）。

ここで、［コマ切換］の通知を受信したと判定された場合には、コマ切換アニメーション部３４が、主サムネイル展開メモリ３９のサムネイル画像を表示部材３１に表示する（ステップＳ１３６）。

そして、コマ切換アニメーション部３４は、サムネイル画像を表示部材３１に表示してから一定時間が経過したか否かを判定する（ステップＳ１３７）。ここで、経過していないと判定した場合には、経過したと判定するまで、現在の表示状態を継続する。

こうして、一定時間が経過したと判定した場合には、コマ切換アニメーション部３４は、副サムネイル展開メモリ４０のサムネイル画像を表示部材３１に表示する（ステップＳ１３８）。すなわち、表示制御部であるサムネイル表示制御部３３は、複数のサムネイル画像に基づくサムネイル画像の表示を、コマ切換アニメーションにより行う。

また、ステップＳ１３５において、［透過度変更］の通知を受信したと判定された場合には、透過度変更アニメーション部３５が、副サムネイル展開メモリ４０のサムネイル画像を表示部材３１に表示する（ステップＳ１３９）。

さらに、透過度変更アニメーション部３５が、主サムネイル画像の透過度を最小（具体例としては、透過率０％）に設定した上で（ステップＳ１４０）、ステップＳ１３９の処理で表示された副サムネイル画像の上に重畳させる形で、主サムネイル展開メモリ３９のサムネイル画像を表示部材３１に表示する（ステップＳ１４１）。これにより、表示部材３１上において観察されるのは主サムネイル画像のみとなる。

その後、透過度変更アニメーション部３５は、一定時間が経過したか否かを判定する（ステップＳ１４２）。ここで、経過していないと判定した場合には、経過したと判定するまで、現在の表示状態を継続する。

こうして、一定時間が経過したと判定した場合には、透過度変更アニメーション部３５が、主サムネイル画像の透過度を一定量増加する（ステップＳ１４３）。これにより、主サムネイル画像だけでなく、下の副サムネイル画像も重畳して、表示部材３１上において観察される。

透過度変更アニメーション部３５は、透過度が規定の最大値（具体例としては、透過率１００％）に達したか否かを判定する（ステップＳ１４４）。ここで、最大値に達していないと判定した場合には、ステップＳ１４２に戻って、上述したような、一定時間経過毎の透過度の増大処理を繰り返して行う。すなわち、表示制御部であるサムネイル表示制御部３３は、複数のサムネイル画像に基づくサムネイル画像の表示を、透過度変更アニメーションにより行う。

なお、ステップＳ１３９〜Ｓ１４４においては、副サムネイル画像の上に主サムネイル画像を重畳して、主サムネイル画像の透過度を最小（０％）から最大（１００％）へ変更したが、これに代えて、主サムネイル画像の上に副サムネイル画像を重畳して、副サムネイル画像の透過度を最大（１００％）から最小（０％）へ変更するようにしても勿論構わない。

一方、ステップＳ１３５において、［モーフィング］の通知を受信したと判定された場合には、サムネイル表示制御部３３が、主サムネイル展開メモリ３９のサムネイル画像と副サムネイル展開メモリ４０のサムネイル画像とに基づいてモーフィングデータを生成し、生成したモーフィングデータをモーフィングデータ展開メモリ４１に格納する（ステップＳ１４５）。

すると、サムネイル処理部５のサムネイル生成部５１が、モーフィングデータ展開メモリ４１に格納されたモーフィングデータに基づいて、サムネイル画像を生成する（ステップＳ１４６）。

そして、モーフィングアニメーション部３６が、ステップＳ１４６により生成されたサムネイル画像を、表示部材３１に表示する（ステップＳ１４７）。

その後、モーフィングアニメーション部３６は、一定時間が経過したか否かを判定する（ステップＳ１４８）。ここで、経過していないと判定した場合には、経過したと判定するまで、現在の表示状態を継続する。

こうして、一定時間が経過したと判定した場合には、モーフィングアニメーション部３６が、モーフィングデータ再生の最大時間に達したか否かを判定する（ステップＳ１４９）。ここで、達していないと判定した場合には、達したと判定するまで、ステップＳ１４６に戻って上述した処理を繰り返して行う。すなわち、表示制御部であるサムネイル表示制御部３３は、複数のサムネイル画像に基づくサムネイル画像の表示を、モーフィングアニメーションにより行う。

このような実施形態１によれば、画像データが複数の画像データを合成した合成画像データである場合に、サムネイル生成部５１が、合成前の画像データと合成後の画像データとの少なくとも一方に基づき複数のサムネイル画像を生成するようにしたために、合成画像データに係るサムネイル画像の視認性を向上することが可能となる。

また、生成された複数のサムネイル画像を記録媒体である外部メモリ１１に記録するようにしたために、サムネイル画像を表示しようとする毎に、複数のサムネイル画像を生成し直す処理が不要となり、簡便なサムネイル画像表示が可能となる。

そして、複数のサムネイル画像に基づくサムネイル画像を表示部３に表示するようにしたために、合成画像データであることを分かり易く表示することができる。

撮影された画像については、合成処理部６３が合成を行うか否か、および合成を行う場合の合成方法に基づき、合成判定と合成方法判定とを行うようにしたために、合成画像を外部メモリ１１に記録する前に、サムネイル画像を適切に生成することができる。

外部メモリ１１に記録済みの画像については、記録されている画像データの撮影情報を参照するようにしたために、合成判定と合成方法判定とを直ちに行うことが可能となる。

比較明合成または加算合成の場合は、合成後の画像データに基づき主サムネイル画像を生成し、合成前の画像データに基づき副サムネイル画像を生成するようにしたために、時系列に沿った自然なサムネイル画像表示により、画像データが合成画像データであることを確認することができる。

一方、比較暗合成の場合は、合成前の画像データに基づき主サムネイル画像を生成し、合成後の画像データに基づき副サムネイル画像を生成するようにしたために、暗から明への突然の輝度変化を避けることができる。

そして、主サムネイル画像から副サムネイル画像に変化するアニメーション表示を行うようにしたために、合成画像データがどのような合成方法により合成された画像データであるかを分かり易く表示することができると共に、３Ｄのサムネイル画像に比べて、表示処理の負荷を軽減することができる。

ここに、アニメーション表示を、主サムネイル画像から副サムネイル画像への画像切替処理により行う場合には、処理負荷を極めて軽くすることができる。

また、アニメーション表示を、副サムネイル画像の上に重畳された主サムネイル画像の透過度を最小から最大へ変化させる透過度変更処理により行う場合には、画像変化が緩やかになるために、より視覚的に自然な表示を得ることができる。

さらに、アニメーション表示を、主サムネイル画像から副サムネイル画像へ形状を変化させるモーフィング処理により行う場合には、さらに一層滑らかに変化する表示を得ることができる。

複数のサムネイル画像の少なくとも１つに、画像合成方法によって得られる画像処理効果を強調する画像強調処理を行うようにした場合には、表示サイズが小さいサムネイル画像においても、どのような合成方法で生成された合成画像であるかを容易に確認することが可能となる。

そして、合成後の画像データに基づいて生成されたサムネイル画像を、外部メモリ１１における、合成画像データ以外の通常の画像データのサムネイル画像と互換性のある記録位置に記録するようにしたために、複数のサムネイル画像の表示に対応していない従来の装置や処理プログラム等においても、従来と同様の表示を行うことが可能となり、互換性の高いシステムを構築することができる。

なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。あるいは、ハードウェアとして構成されたプロセッサが、各部の処理を行うようにしても良い。

また、上述では主として画像処理装置について説明したが、画像処理方法であってもよいし、コンピュータに画像処理装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
２…撮像部
３…表示部
５…サムネイル処理部
６…合成制御部
７…撮影情報取得部
８…入力部
９…現像処理部
１０…内部メモリ
１１…外部メモリ
１２…画像処理部
１３…システム制御部
２１…駆動制御部
２２…レンズ
２３…絞り
２４…シャッタ
２５…イメージセンサ
３１…表示部材
３２…再生情報取得部
３３…サムネイル表示制御部
３４…コマ切換アニメーション部
３５…透過度変更アニメーション部
３６…モーフィングアニメーション部
３７…表示用メモリ
３８…表示画像展開メモリ
３９…主サムネイル展開メモリ
４０…副サムネイル展開メモリ
４１…モーフィングデータ展開メモリ
５１…サムネイル生成部
５２…サムネイル強調処理部
６１…合成判定部
６２…合成方法判定部
６３…合成処理部
１１１…画像データ
１１２…ヘッダ
１１３…主画像データ
１１４…フッタ
１１５…撮影情報格納領域
１１６…第１サムネイル格納領域
１１７…画像強調フラグ
１１８…合成撮影フラグ
１１９…サムネイル格納位置情報
１２０…第２サムネイル格納領域

Claims (12)

1. 画像データが、複数の画像データを合成した合成画像データであるか否かを判定する合成判定部と、
   上記合成判定部の判定結果が合成画像データである場合に、上記合成画像データの合成方法を判定する合成方法判定部と、
   上記合成方法判定部により判定された合成方法に応じて、上記合成画像データの合成前の画像データと合成後の画像データとの少なくとも一方に基づき複数のサムネイル画像を生成するサムネイル画像生成部と、
   を備えることを特徴とする画像処理装置。
2. 上記サムネイル画像生成部により生成された上記複数のサムネイル画像を、記録媒体に記録するように制御する記録制御部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 画像データを表示する表示部と、
   上記サムネイル画像生成部により生成された上記複数のサムネイル画像に基づくサムネイル画像を、上記表示部に表示するように制御する表示制御部と、
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
4. 上記複数の画像データを合成して上記合成画像データを生成する合成処理部をさらに備え、
   上記合成判定部は、上記合成処理部が合成を行うか否かに基づき上記画像データが上記合成画像データであるか否かを判定し、
   上記合成方法判定部は、上記合成判定部の判定結果が合成画像データである場合に、上記合成処理部が上記合成画像データを生成する際に行う合成方法を判定することを特徴とする請求項２に記載の画像処理装置。
5. 上記合成判定部は、上記画像データの撮影情報として合成方法が記録されているか否かに基づき上記画像データが上記合成画像データであるか否かを判定し、
   上記合成方法判定部は、上記合成判定部の判定結果が合成画像データである場合に、上記合成画像データの撮影情報として記録された合成方法を判定することを特徴とする請求項３に記載の画像処理装置。
6. 上記複数のサムネイル画像は、１つの主サムネイル画像と、１つの副サムネイル画像と、を含み、
   上記合成方法判定部は、上記合成画像データの合成方法が比較明合成または加算合成であるか否かをさらに判定し、
   上記合成方法判定部が上記比較明合成または上記加算合成であると判定した場合は、上記サムネイル画像生成部は、上記合成後の画像データに基づき上記主サムネイル画像を生成し、上記合成前の画像データに基づき上記副サムネイル画像を生成することを特徴とする請求項１に記載の画像処理装置。
7. 上記複数のサムネイル画像は、１つの主サムネイル画像と、１つの副サムネイル画像と、を含み、
   上記合成方法判定部は、上記合成画像データの合成方法が比較暗合成であるか否かをさらに判定し、
   上記合成方法判定部が上記比較暗合成であると判定した場合は、上記サムネイル画像生成部は、上記合成前の画像データに基づき上記主サムネイル画像を生成し、上記合成後の画像データに基づき上記副サムネイル画像を生成することを特徴とする請求項１に記載の画像処理装置。
8. 画像データを表示する表示部と、
   上記サムネイル画像生成部により生成された上記複数のサムネイル画像に基づくサムネイル画像を、上記表示部に表示するように制御する表示制御部と、
   をさらに備え、
   上記表示制御部は、上記表示部に、上記主サムネイル画像から上記副サムネイル画像に変化するアニメーション表示をさせることを特徴とする請求項６または請求項７に記載の画像処理装置。
9. 上記表示制御部は、上記アニメーション表示を、上記主サムネイル画像から上記副サムネイル画像への画像切替処理、上記副サムネイル画像の上に重畳された上記主サムネイル画像の透過度を最小から最大へ変化させる透過度変更処理、または上記主サムネイル画像から上記副サムネイル画像へ形状を変化させるモーフィング処理により行うことを特徴とする請求項８に記載の画像処理装置。
10. 上記サムネイル画像生成部により生成された上記複数のサムネイル画像の少なくとも１つに、上記合成方法判定部により判定された合成方法によって得られる画像処理効果を強調する画像強調処理を行う画像強調部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
11. 上記サムネイル画像生成部は、上記複数のサムネイル画像の１つを上記合成後の画像データに基づいて生成し、
    上記記録制御部は、上記合成後の画像データに基づいて生成されたサムネイル画像を、上記記録媒体における、上記合成画像データ以外の通常の画像データのサムネイル画像と互換性のある記録位置に記録することを特徴とする請求項２に記載の画像処理装置。
12. 画像データが、複数の画像データを合成した合成画像データであるか否かを判定する合成判定ステップと、
    上記合成判定ステップの判定結果が合成画像データである場合に、上記合成画像データの合成方法を判定する合成方法判定ステップと、
    上記合成方法判定ステップにより判定された合成方法に応じて、上記合成画像データの合成前の画像データと合成後の画像データとの少なくとも一方に基づき複数のサムネイル画像を生成するサムネイル画像生成ステップと、
    を備えることを特徴とする画像処理方法。

Images