JP2014067310A - 画像編集装置、画像編集方法、およびプログラム - Google Patents

Abstract

【課題】組み写真の一部の画像を組み直す組み写真編集を繰り返しても画像劣化が少ない画像編集装置、画像編集方法、およびプログラムを提供する。
【解決手段】組写真を構成する画像に第１の画像処理を行い第１の画像を生成し（Ｓ１２３）、この第１の画像を生成した後に、第１の画像に第２の画像処理を行い第２の画像を生成し（Ｓ１２９、Ｓ１３１）、第２の画像を組み写真の組み位置に応じて合成して組み写真を生成し（Ｓ１３３）、組み写真と第１の画像とを１つの画像ファイルとして記録する（Ｓ１３７）。
【選択図】 図１１

Description

本発明は、画像編集装置、画像編集方法、およびプログラムに関し、詳しくは、複数の写真からなる組み写真等の画像を編集する画像編集装置、画像編集方法、およびプログラムに関する。

従来より、デジタル画像信号の階調処理は行われており、階調飛びのない画像記録を得るために種々の工夫がなされている（特許文献１，２参照）。また、画像を繰り返し使用すると次第に劣化することから、劣化防止対策がなされている（特許文献３，４参照）。

特開２００５−０５１３３７号公報 特開平０９−２３３３３９号公報 特開２０１０−２７６７６５号公報 特開２００１−１４３０５５号公報

ＪＰＥＧ等のデジタル化された画像に対して、同じビット数でコントラストや彩度を強調したり軟調にしたりする変換を繰り返すことがある。この場合、例えば、扱う数値が、整数である場合には、乗算や除算を行うと小数点以下が切り捨てられ、数値の桁落ちが発生し、グラデーション等において値が連続的にならなくなってしまう、いわゆる階調飛び現象が発生してしまう。

複数の画像のコントラストや、彩度などの調整を行った後に、組み合わせて一旦組み写真を作成した後に、一部の画像を他の置換画像で置き換えて組み写真を作成し直す組み写真編集を行うことがある。この場合には、再度、コントラストや彩度等の調整を行うことが想定されている。前述したように、コントラストや彩度を繰り返し行うと、階調飛びが発生しまい、組み写真の画質が劣化してしまう場合がある。

本発明は、このような事情を鑑みてなされたものであり、組み写真の一部の画像を組み直す組み写真編集を繰り返しても画像劣化が少ない画像編集装置、画像編集方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る画像編集装置は、複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集装置であって、上記画像に第１の画像処理を行い第１の画像を生成する第１の画像処理部と、上記第１の画像に第２の画像処理を行い、第２の画像を生成する第２の画像処理部と、上記第２の画像を組み写真の組み位置に応じて合成して組み写真を生成する組み写真処理部と、上記第１の画像と上記組み写真の画像を記録する記録部と、上記第１の画像処理を行った後に、上記第２の画像処理を施した第２の画像を、上記組み写真処理部によって組み写真の組み位置に応じて合成して組み写真を生成し、上記組み写真と、上記第１の画像とを１つの画像ファイルとして記録する制御部と、を具備する。

第２の発明に係る画像編集装置は、上記第１の発明において、上記記録部は、上記第１の画像と上記組み位置を１つの画像ファイルとして記録する。
第３の発明に係る画像編集装置は、上記第１または第２の発明において、上記制御部は、上記組み写真を生成し、上記組み写真と上記第１の画像を１つの画像ファイルとして記録した後に、上記組み写真を構成する画像の一部である被置換画像を上記第１の画像と異なる置換画像で置き換えて新たな組み写真を生成する場合には、上記置換画像を上記第１の画像処理部で画像処理し、さらに上記第２の画像処理部で画像処理し、この画像処理を施した置換画像と、上記画像ファイルに記録されている上記被置換画像以外の上記第１の画像を上記第２の画像処理部で画像処理した第２の画像を用いて、上記組み写真処理部によって新たに組み写真を生成する。

第４の発明に係る画像編集装置は、上記第１ないし第３の発明のいずれかにおいて、上記第１の画像処理部は、画像サイズをリサイズし、または画像を回転し、または画像をトリミングする。
第５の発明に係る画像編集装置は、上記第１ないし第４の発明のいずれかにおいて、上記第２の画像処理部は、画像の色補正、輝度補正のうち少なくとも一つである。

第６の発明に係る画像編集装置は、上記第１ないし第５の発明において、さらに、上記画像の特徴部を解析して解析結果を出力する解析部を備え、上記記録部は、上記第１の画像と、解析結果を１つの画像ファイルとして記録する。
第７の発明に係る画像編集装置は、上記第６の発明において、上記特徴部は、ヒストグラム、被写体検出結果、主要被写体の大きさ、位置、色の特徴のうち少なくとも一つである。

第８の発明に係るコンピュータを実行させるためのプログラムは、数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集装置におけるコンピュータを実行させるプログラムにおいて、上記画像に第１の画像処理を行い第１の画像を生成し、上記第１の画像を生成した後に、上記第１の画像に第２の画像処理を行い、第２の画像を生成し、上記第２の画像を組み写真の組み位置に応じて合成して組み写真を生成し、上記組み写真と上記第１の画像とを１つの画像ファイルとして記録する、ことを上記コンピュータに実行させる。

第９の発明に係る画像編集方法は、複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集方法において、上記画像に第１の画像処理を行い第１の画像を生成し、上記第１の画像を生成した後に、上記第１の画像に第２の画像処理を行い、第２の画像を生成し、上記第２の画像を組み写真の組み位置に応じて合成して組み写真を生成し、上記組み写真と上記第１の画像とを１つの画像ファイルとして記録する。

本発明によれば、複数の画像から構成される組み写真の一部の画像を組み直す組み写真編集を繰り返しても画像劣化が少ない画像編集装置、画像編集方法、およびプログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、画像編集の一例を示す図であって、ライブビューをタッチすることにより画像編集を行う様子を示す図である。 本発明の一実施形態に係るカメラにおいて、画像編集の一例を示す図であって、ライブビューをタッチすることにより画像編集を行う様子を示す図である。 本発明の一実施形態に係るカメラにおいて、画像編集の一例を示す図であって、編集コマを確定する様子を示す図である。 本発明の一実施形態におけるカメラにおいて、画面分割の例を示す図である。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラの画像処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの基本画像処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの特殊画像処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真生成の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおいて、画像解析の変更例を示す図である。 本発明の一実施形態に係るカメラの静止画記録の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、組み写真操作メモリの構造を図である。 本発明の一実施形態に係るカメラの再生・編集の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真編集の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの組み写真生成記録の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、組み写真の組み直し前のファイル構造を示す図である。 本発明の一実施形態に係るカメラにおいて、組み写真の組み直し前のファイル構造を示す図である。 本発明の一実施形態に係るカメラにおいて、組み換え画像のトーン調整を示すグラフである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係るカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、表示部は画面を複数分割し、複数の画像を組み合わせて構成する組み写真を作成し、表示可能である。この組み写真の内の一部の写真を、ライブビュー画像やまた記録媒体に記録されている撮影済み画像で置換することが可能である。この場合、前処理を行った副画像（組み写真を構成する個々の画像）を個別のデータとし、また組み写真の画像を主画像とし、これらの主画像と副画像とから構成される画像ファイルを記憶している（図１１のＳ１２７、Ｓ１３７、図２０、図２１参照）。副画像が個別に記憶されていることから、組み写真の一部の画像を他の画像と置き換える組み写真編集を繰り返し行っても画質が劣化することがない。

図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）３００を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto
Focus）処理部１１３、画像圧縮伸張部１１５、通信部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。

画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、アートフィルタが設定された場合に特殊効果を施すための特殊画像処理部１０９ｂと、複数の写真を組み合わせて１枚の画像を構成する組み写真の編集処理を行うための組み写真処理部１０９ｃと、画像を解析する被写体検出部１０９ｄを有している。

基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタが設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。

また、特殊画像処理部１０９ｂは、設定された特殊効果（アートフィルタ）に応じて、周辺の輝度を低下させるピンホール効果、画像をぼかして元画像と合成するソフトフォーカス処理、ノイズ画像と合成するノイズ効果、輝点にクロスパターンを描画するクロスフィルタ効果、周辺部をぼかすミニチュア効果等、基本画像処理部によって処理された画像に対して、種々の特殊効果を施す。

組み写真処理部１０９ｃは、複数の画像を組み合わせて１枚の画像（組み写真）を生成する。画像の組合せにあたっては、フラッシュメモリ１２５からテンプレート（後述する図５参照）を読み込み、画像の明るさが同様になるように基本画像処理部１０９ａ内のガンマ補正を使用して輝度変更を行う。また、全体のホワイトバランス（ＷＢ）を統一させるために基本画像処理部１０９ａ内の色再現処理を使用してＷＢを変更する。また、合成後に特殊画像処理部１０９ｂを使用してピンホール効果等の特殊効果を適用し、組み画像や置換画像の修正等を行う。

組み写真処理部１０９ｃは、組み写真を構成する画像に第１の画像処理を行い第１の画像を生成する第１の画像処理部としての機能を果たす。また、第１の画像に第２の画像処理を行い、第２の画像を生成する第２の画像処理部としての機能を果たす。また、組み写真処理部１０９ｃは、第２の画像を組み写真の組み位置に応じて合成して組み写真を生成する組み写真処理部としての機能を果たす。

第１の画像処理部として機能する組み写真処理部１０９ｃは、画像サイズをリサイズし、画像を回転し、画像をトリミングする（図１１のＳ１２３参照）。なお、この３つの処理の全てを行う必要はなく一部でもよく、また、組み写真作成前に行う基本画像処理であれば、他の処理を追加してもよい。また、第２の画像処理部として機能する組み写真処理部１０９ｃは、画像の色補正、輝度補正を行う（図１１のＳ１２９、Ｓ１３１参照）。なお、この２つの処理の全てを行う必要はなく、また、基本画像処理後に行う処理、例えば画質調整等を追加してもよい。

被写体検出部１０９ｄは、画像をパターンマッチング等によって解析し、人の顔やペット等の被写体を検出する。被写体を検出できた場合には、画像内における被写体の種類、大きさ、位置、信頼性等の情報を取得する。被写体検出部１０９ｄと組み写真処理部１０９ｃは、協働して、画像の特徴部を解析して解析結果を出力する解析部として機能する（図１１のＳ１２５参照）。画像の特徴部としては、ヒストグラム、被写体検出結果、主要被写体の大きさ、位置、色の特徴のうち少なくとも一つである。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、光路上に位相差センサを設けたり、また撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。

画像圧縮伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯ（Multi Picture Object）ファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加してＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成し、この作成したファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。なお、本実施形態においては、組み写真の画像（主画像）と、組み写真の個々の画像（副画像）からなる画像ファイルをＭＰＯファイルで記録する。このファイル構造については、図２０、図２１において後述する。

また、画像圧縮伸張部１１５は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮伸張部１１５において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。

通信部１１７は、ＵＳＢ、ＬＡＮ等による有線通信、無線通信（ワイヤレス通信）等によって外部と通信を行う。通信部１１７を介して、フラッシュメモリ１２５内に記憶された組む写真の分割用のテンプレートを更新したり、追加する。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

マイクロコンピュータ１２１は、第１の画像処理を行った後に、第２の画像処理を施した第２の画像を、組み写真処理部１０９ｃによって組み写真の組み位置に応じて合成して組み写真を生成し、組み写真と第１の画像とを１つの画像ファイルとして記録する制御部として機能する。この機能は、例えば、図１１に示すフローチャートによって実行される。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦、削除釦、拡大釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。削除釦は、例えば、再生画像が一覧表示されている場合や組み写真が表示されている場合等に、画像を指定して削除するための操作釦である。拡大釦は、再生表示の際に、表示画像を拡大するための操作釦である。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、通常撮影モードや組み写真等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等の仕上がりの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、組み写真のスタイル、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か等、種々の設定も可能である。なお、組み写真の場合、スタイルと組み画像選択状況に応じてライブビュー（ＬＶ）の表示を変更する（図７のＳ４７参照）。

また、操作部１２３にはタッチ入力部１２３ａが設けてある。表示パネル１３５は、タッチ操作可能であり、タッチ入力部１２３ａは、ユーザがタッチした位置等を検出し、マイクロコンピュータ１２１に出力する。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮伸張部１１５等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、第１の画像（図１１のＳ１２３、図２０、２１の副画像Ｐ１１〜Ｐ１４等参照）と組み写真の画像（図１１のＳ１３３、図２０，２１の主画像Ｐ１、Ｐ２参照）を記録する（図１１のＳ１３７）記録部として機能する。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。

表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示部としては、液晶表示パネル（ＬＣＤ）、有機ＥＬ等、種々の表示パネルを採用できる。

次に、本実施形態に係るカメラの組み写真の編集動作を図２ないし図５を用いて説明する。図２は、組み写真モードが選択され、表示パネル１３５の画面が４分割された場合のライブビュー表示を示している。なお、分割画面内の斜線（肘付近の２重線や、足の後ろの２重線）は被写体が動いていることを示す。また、図２の左側は被写体の様子を示し、右側は表示パネル１３５の表示状態を示す。

まず、図２（ａ）に示すように、４分割画面の内、左上画面にライブビュー表示がなされる。ユーザは、組み写真の画像として取り込みたい場合には、表示パネル１３５の左上をタッチすると、図２（ｂ）に示すように、撮影が確定し、次の画面（右上画面）にライブビュー表示がなされる。続いて、図２（ｃ）は右上画面の撮影を確定した様子であり、図２（ｄ）は左下画面の撮影を確定した様子を示す。右下画面の撮影を確定すると（図２（ｅ）参照）、撮影が完了し、組み写真ができる。

図２に示した例では、表示パネル１３５をタッチすることにより撮影が確定し、左上→右上→左下→右下の順にライブビュー表示がなされた。しかし、この順番通りにライブビュー表示を行わなくてもよい。例えば、図３に示すように、左上画面にライブビュー表示がなれている際に（図３（ａ）参照）、ライブビュー表示がなされていない左下画面をタッチすると、この画面にライブビュー表示を行うようにしてもよい（図３（ｂ）参照）。なお、この撮影コマの具体的な変更操作については、図１４のステップＳ１６１、Ｓ１６３を用いて後述する。

また、図２においては、ライブビュー表示中に表示パネル１３５をタッチすると、撮影が確定したが、確定した画面であっても、再度タッチすると、ライブビュー画面に戻るようにしてもよい。図３（ｃ）は、３画面（左上、右上、左下画面）において、撮影が確定している様子を示しているが、この撮影が確定している左下画面をタッチすると、図３（ｄ）に示すように、左下画面はライブビュー表示画面となる。

また、本実施形態においては、全撮影が確定し、組み写真が完成した後であっても、その内の一部の画像を他の画像に置換が可能である。例えば、図４においては、４枚の画像が確定しているが、ユーザが右下画面の画像を他の画像で置換するために、指定した様子を示す。本実施形態においては、タッチすることにより、その画像の枠が表示され、組み換え対象画像であることを示している。

図２ないし図４に示した組み写真の例では、左上、右上、左下、右下の４分割であったが、画面の分割はこれに限らない。例えば、図５に示すように、種々の形状に分割してもよい。この分割の形状（テンプレート、スタイル）は、フラッシュメモリ１２５に記憶しておき、ユーザの好みに応じて設定できるようにしてもよい。

次に、図６および図７に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図６〜図１１、図１３〜図１５、図１７〜図１９に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図６に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５参照）。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、このステップにおいて、組み写真の編集も行う。この再生・編集の詳しい動作については、図１７を用いて後述する。

ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。

ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、前述したように、例えば、通常撮影モードや組み写真等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等の仕上がりの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、組み写真のスタイル、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か、既に記録されている画像を組み写真の所定のコマに嵌め込むための画像を選択する等、種々の設定も可能である。

ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグを判定する（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。

ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。

一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。

ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、組み写真モードで操作部が操作されたか否かを判定する（Ｓ２１）。前述したように、ステップＳ９におけるカメラ設定において、組み写真モードの設定が可能である。このステップでは、この組み写真モードが設定されている状態で、操作部１２３の操作部が操作されたか否かを判定する。

ステップＳ２１における判定の結果、組み写真モードで操作部が操作された場合には、組み写真操作を実行する（Ｓ２３）。この組み写真操作では、組み写真の編集を行うための各種操作、例えば、撮影コマ変更、キャンセル操作、復元操作、一時保存操作、一時保存読み込み操作等の操作がなされると実行される。この組み写真操作の詳しい動作については、図１４および図１５を用いて後述する。

ステップＳ２３において再生・編集を実行すると、またはステップＳ２１における判定の結果、組み写真モードで操作部が操作されていない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３１）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ３１における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３３）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

また、ステップＳ３３においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。その後、ステップＳ３５へ進む。

ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ３７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ３７における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、メカシャッタによる静止画撮影を行う（Ｓ３９）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。

メカシャッタによる撮影を行うと、次に、画像処理を行う（Ｓ４１）。ここでは、メカシャッタによる撮影によって撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。この画像処理の詳しい動作については、図８を用いて後述する。

画像処理を行うと、次に静止画記録を行う（Ｓ４３）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。なお、組み写真で撮影された場合に、組み写真の内の一部の画像をキャンセル（削除）したい場合には、キャンセル操作によって削除可能である。この静止画記録の詳しい動作については、図１３を用いて後述する。

静止画記録を行うと、次に、組み写真モードか否かの判定を行う（Ｓ４５）。前述したように、組み写真モードはメニュー画面等において設定されており、このステップではこの組み写真モードが設定されているか否かを判定する。

ステップＳ４５における判定の結果、組み写真モードが設定されていた場合には、ライブビュー（ＬＶ）表示の変更を行う（Ｓ４７）。組み写真モードが設定されている場合には、スタイル（テンプレート、図５参照）と画像の枚数に応じて、ライブビュー表示を変更する。常に全コマにライブビュー表示を行う場合には、撮影画像以外の部分にライブビュー表示を行うようにする。また１コマずつライブビュー表示する場合には（図２の表示方式）、撮影したら次のコマ（例えば、図２のように、左上→右上→左下→右下のような順）にライブビュー表示を切り換える。いずれの場合にも、撮影したコマは撮影画像を表示する。また、ＯＳＤ（オンスクリーンディスプレイ）を使用し、撮影済みの画像なのかライブビュー表示なのかを分かるように表示してもよく、撮影済みの画像は、撮影順が分かるように表示してもよい。その後、ステップＳ３５へ進む。

ステップＳ３７における判定の結果、レリーズ操作２ｎｄでなかった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ２１からＳ２７を経た場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。ステップＳ５１においては、ライブビュー表示を行うための露出制御を行う。すなわち、適正露出でライブビュー表示を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、撮像素子１０３の電子シャッタを用いて画像データを取得する。続いて、取得した画像データに対して画像処理を行う（Ｓ５５）。ここでの画像処理は、ライブビュー表示用であり、また特殊効果が設定されている場合には、設定されている特殊効果に応じた画像処理も行う。この画像処理の詳しい動作については、図８を用いて後述する。

画像処理を行うと、表示パネル１３５にライブビュー表示を行う（Ｓ５７）。ステップＳ５３において画像データを取得し、ステップＳ５５において画像処理を行ったことから、このステップでは、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ステップＳ５７においてライブビュー表示を行うと、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。その後、ステップＳ３５へ進む。

ステップＳ３５では、電源オフか否かの判定を行う（Ｓ３５）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。

このように本発明の一実施形態におけるメインフローにおいては、組み写真モードが設定されている場合には、再生・編集が可能であり（Ｓ２３）、またレリーズ釦の全押し（レリーズ操作２ｎｄ）がなされると撮影が行われ、またライブビュー表示の変更がなされる。

次に、ステップＳ４１、Ｓ５５における画像処理について、図８に示すフローチャートを用いて説明する。画像処理のフローに入ると、まず、基本画像処理を行う（Ｓ７１）。ここでは、基本画像処理部１０９ａが、撮像素子１０３から読み出され、Ａ／Ｄ変換部１０７でＡＤ変換された画像データに対して、オプティカルブラック（ＯＢ）減算、ホワイトバランス（ＷＢ）補正、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズ除去（ＮＲ）処理等を施す。この基本画像処理の詳しい動作については、図９を用いて後述する。

基本画像処理を行うと、次に、アートフィルタが設定されているか否かを判定する（Ｓ７３）。前述したカメラ設定（Ｓ９）において、アートフィルタが設定されるので、このステップでは、アートフィルタが設定されたか否かを判定する。

ステップＳ７３における判定の結果、アートフィルタが設定されていた場合には、特殊画像処理を行う（Ｓ７５）。ここでは、設定されたアートフィルタの種類に応じて、特殊画像処理を施す。この特殊画像処理の詳しい動作については、図１０を用いて後述する。

特殊画像処理を行うと、またはステップＳ７３における判定の結果、アートフィルタが設定されていなかった場合には、次に、組み写真か否かの判定を行う（Ｓ７７）。この判定の結果、組み写真モードが設定されている場合には、組み写真生成を行う（Ｓ７９）。この組み写真生成では、リサイズや回転等の前処理を行い、色変更や輝度変更を行った後、スタイル（テンプレート）に応じて、画像の合成を行い、組み写真を生成する。この組み写真生成の詳しい動作については、図１１を用いて後述する。

組み写真生成を行うと、またはステップＳ７７における判定の結果、組み写真モードが設定されていない場合には、元のフローに戻る。

このように、本実施形態における画像処理では、基本画像処理を行い、また必要に応じて特殊画像処理を行った後に、組み写真モードが設定されている場合に、組み写真生成を行っている。

次に、ステップＳ７１（図８）の基本画像処理の詳しい動作について、図９に示すフローチャートを用いて説明する。基本画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ８１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。

ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ８３）。このステップでは、予め設定されているホワイトバランスモードに応じて、基本画像処理部１０９ａ内のＷＢ補正部により画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータ等からＲゲインおよびＢゲインを算出し、これらを用いて補正する。

続いて、同時化処理を行う（Ｓ８５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。しかし、例えば、ＲＡＷデータが既にＲＧＢデータと同様の形式（Ｆｏｖｅｏｎセンサで得られたＲＡＷデータなど）の場合には、同時化処理を行う必要がない。

同時化処理を行うと、次に、色再現処理を行う（Ｓ８７）。このステップでは、基本画像処理部１０９ａ内の色再現処理部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。

色再現処理を行うと、次に、輝度変更処理を行う（Ｓ８９）。このステップでは、基本画像処理部１０９ａ内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。すなわち、ＲＧＢでガンマ変換し、ＹＣｂＣｒに色変換後、Ｙでさらにガンマ変換を行う。

ガンマ変換を行うと、次に、エッジ強調を行う（Ｓ９１）。このステップでは、ガンマ変換の行われた画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。

次にＮＲ（ノイズ除去）を行う（Ｓ９３）。このステップでは、画像を周波数分解し、周波数に応じてノイズを低減する処理を行う。ノイズ除去処理を行うと、元のフローに戻る。

次に、ステップＳ７５（図８）の特殊画像処理の詳しい動作について、図１０に示すフローチャートを用いて説明する。

特殊画像処理のフローに入ると、まず、アートフィルタモードとして、トイフォトが設定されているか否かを判定する（Ｓ１０１）。この判定の結果、トイフォトが設定されていた場合には、シェーディング効果を付加する（Ｓ１０３）。ここでは、特殊画像処理部１０９ｂが、中心からの距離に応じて、徐々に輝度が低下するようなゲインマップ（ゲインの値は１以下）を生成し、画素ごとに画素に応じたゲインを乗ずることにより、画像の周辺にシェーディング効果を付与する。

シェーディング付加を行うと、またはステップＳ１０１における判定の結果、トイフォトでなかった場合には、次に、アートフィルタモードとして、ファンタジックフォーカスが設定されているか否かを判定する（Ｓ１０５）。この判定の結果、ファンタジックフォーカスが設定されていた場合には、ソフトフォーカス処理を行う（Ｓ１０７）。ここでは、特殊画像処理部１０９ｂが、元の画像をぼかし、このぼかした画像と、ぼかす前の画像を、所定の割合（例えば、ぼかし：前＝２：３の割合）で合成する。

ソフトフォーカス処理を行うと、またはステップＳ１０５における判定の結果、ファンタジックフォーカスでなかった場合には、次に、アートフィルタモードとして、ラフモノクロームが設定されているか否かを判定する（Ｓ１０９）。この判定の結果、ラフモノクロームが設定されていた場合には、ノイズ重畳処理を行う（Ｓ１１１）。ここでは、特殊画像処理部１０９ｂが画像データに対してノイズ付加処理を施す。ノイズ付加処理は、予め作成したノイズパターン画像を被写体画像に加算する処理である。ノイズパターン画像は乱数等に基づいて生成してもよい。

ノイズ重畳処理を行うと、またはステップＳ１０９における判定の結果、ラフモノクロームでなかった場合には、次に、アートフィルタモードとしてジオラマが設定されているか否かを判定する（Ｓ１１３）。この判定の結果、ジオラマが設定されていた場合には、ぼかし処理を行う（Ｓ１１５）。ここでは、特殊画像処理部１０９ｂが、元の画像のＡＦターゲットを中心に上下、または左右、または距離に応じて徐々にぼかす処理を行う。

ぼかし処理を行うと、またはステップＳ１１３における判定の結果、ジオラマでなかった場合には、次に、アートフィルタモードとしてクリスタルが設定されているか否かを判定する（Ｓ１１７）。この判定の結果、クリスタルが設定されていた場合には、クロスフィルタ処理を行う（Ｓ１１９）。ここでは、特殊画像処理部１０９ｂが、画像の中から輝点を検出し、この輝点を中心として、十字状や、複数本の放射状の形状に輝きを演出する効果のあるクロスパターンを描画する。

クロスフィルタ処理を行うと、またはステップＳ１１７における判定の結果、クリスタルが設定されていなかった場合には、特殊画像処理のフローを終了し、元のフローに戻る。

次に、ステップＳ７９（図８）の組み写真生成の詳しい動作について、図１１に示すフローチャートを用いて説明する。前述したように、図８に示した画像処理のフローでは、まず基本画像処理を行い、次に特殊画像処理を行い、次いで、この組み写真生成を行う。この組み写真生成では、図５に示したようなスタイル（テンプレート）に、画像を合成する。この合成にあたって、概略、ステップＳ１２１〜Ｓ１２７において前処理が未実施のコマがあれば、前処理を実施する。前処理を施すと、色変更や輝度変更等を行い、スタイルに画像を嵌め込む画像処理を実行してから画像記録を行う。

組み写真生成のフローに入ると、まず、前処理未実施コマがあるか否かの判定を行う（Ｓ１２１）。ここでは、合成する全てのコマの画像に対して、ステップＳ１２８以降の処理で毎回実行する必要のない、リサイズ・回転・トリミング、画像解析などの前処理が終了しているか否かを判定する。

ステップＳ１２１における判定の結果、前処理が未実施のコマがあれば、次に、リサイズ・回転・トリミングを行う（Ｓ１２３）。ここでは、図５に示すようなスタイルに嵌め込むために、組み写真処理部１０９ｃが、コマに合わせてリサイズや回転やトリミング等の処理を行う。

リサイズ等を行うと、次に、画像解析を行う（Ｓ１２５）。合成する元の画像（置換画像）を解析し、画像特徴（例えば、輝度分布と色分布等）を取得する。基本画像処理等の画像処理が完了した画像を用いて解析してもよく、また、その元となるＲＡＷデータを解析してもよい。

画像解析を行うと、次に、コマ画像記憶を行う（Ｓ１２７）。ここでは、ステップＳ１２３、Ｓ１２５における前処理を行った画像をＳＤＲＡＭ１２７に記憶する。図１６（ａ）は、ＳＤＲＡＭ１２７の表示・記録用組み画像記憶領域を示しており、領域Ｒ１は組み写真に組み込むコマ数分の領域であり、領域Ｒ２は組み写真に組み込むコマ数分の退避領域である。このステップＳ１２７では、前処理を行った画像の画像データと画像解析結果を、コマ画像領域Ｒ１内の対応する領域（コマ画像領域１〜コマ画像領域ｎのいずれか）に記憶する。

コマ画像の記憶を行うと、またはステップＳ１２１における判定の結果、前処理未実施コマがない場合には、次に、色変更を行う（Ｓ１２９）。ここでは、組み写真処理部１０９ｃが、合成する画像が略同様な色になるように、ＣｂＣｒを補正する。このとき、各コマ画像領域のデータを用いて処理を行うが、ＳＤＲＡＭ１２７のコマ画像領域Ｒ１内のデータは変更しないようにする。これは、後ほどＭＰＯ形式でデータを保存するためである。このＭＰＯ形式でのデータ保存については、図２０、図２１を用いて後述する。

色変更の補正方法としては、例えば、合成する全ての画像の色分布（ＣｂＣｒ平面での分布）のピークが、各ピークの平均値になるように画像のＣｂＣｒをオフセットさせる。この補正方法を図１２（ｂ）（ｃ）を用いて説明する。図１２（ｂ）の（ｂ−１）は画像１および画像２の色差（Ｃｂ）を示し、図１２（ｃ）の（ｃ−１）は、色差（Ｃｒ）を示す。画像１，２のそれぞれについて、色分布のピークが平均値となるように色差をオフセットさせると（図１２の（ｂ−２）、（ｃ−２）参照）、両画像の色差は略同様になる（図１２の（ｂ−３）（ｃ−３）参照）。

ステップＳ１２９において色変更を行うと、次に、輝度変更を行う（Ｓ１３１）。ここでは、組み写真処理部１０９ｃが合成する画像の輝度が同様になるように補正する。補正方法としては、例えば、合成する全ての画像の輝度分布の平均値に、各画像の平均値が略一致するように補正する。このとき、輝度ガンマ（輝度成分のみのガンマ）で変換すると、大きく輝度を変更した場合に、色が不自然に見える。そこで、例えば、ＲＧＢ変換してＲＧＢ色空間でガンマ補正するようにしてもよい。

輝度変更の例を、図１２（ａ）を用いて説明する。図１２（ａ）の（ａ−１）は、画像１と画像２の輝度を示す。両者をＲＧＢ色空間でテーブル変換する（（ａ−２）参照）。画像２は（ａ−１）から分かるように、全体に低輝度成分が多いことから、テーブル変換によって低輝度側を持ち上げている。変換後は、（ａ−３）に示すように、画像１と画像２は、略同様な輝度分布となる。

ステップＳ１３１において輝度変更を行うと、次に、合成を行う（Ｓ１３３）。ここでは、組み写真処理部１０９ｃが、背景画像上の各画像を合成する。すなわち、図５に示したようなスタイルの各位置に画像を嵌め込み合成することにより、組み写真を生成する。

合成を行うと、次に、特殊効果を付加する（Ｓ１３５）。ここでは、合成した画像に対して、シェーディングやぼかし等の特殊効果を付加する。なお、各画像に対しては、図８のステップ７５において特殊効果を付加しており、このステップでは、合成画像に対する特殊効果を付加している。

特殊効果を付加すると、次に、画像記憶を行う（Ｓ１３７）。ここでは、表示・記録用組み画像記録領域に合成結果を記憶する。画像記憶を行うと元のフローに戻る。

このように組み写真生成のフローにおいては、前処理を未実施の場合には、リサイズ等の処理や画像解析を施し（Ｓ１２３、Ｓ１２５）、この前処理した画像データをＳＤＲＡＭ１２７のコマ画像領域Ｒ１に記憶し（Ｓ１２７）、前処理済みの画像に対して色変更と輝度変更を行った後（Ｓ１２９、Ｓ１３１）、組み写真の画像を合成し（Ｓ１３３）、画像記録を行っている（Ｓ１３７）。前処理し色変更や輝度変更を行う前の画像データを、コマ画像領域Ｒ１に記憶していることから、組み写真作成後、置換画像と入れ替える際に前処理時の画像データを読出すことができ、適切な色変更や輝度変更を行うことができる。

また、組み写真生成のフローにおいては、リサイズ、回転、トリミング等の前処理を行った画像と、画像解析結果を、コマ画像（副画像）として記憶している（Ｓ１２３〜Ｓ１２７参照）。また、色変更や輝度変更を行った画像を用いて、合成処理を施し組み写真の画像（主画像）を生成し、画像記録している（Ｓ１２９〜Ｓ１３７）。組み写真を構成する個々の副画像を個別に記憶していることから、組み写真を構成する一部の画像を繰り返し置き換えても、組み写真の画像が劣化することがない。

したがって、組み写真生成のフローにおいては、組み写真を生成し、この組み写真と副画像（第１の画像）を１つの画像ファイルとして記録した後に、組み写真を構成する画像の一部を副画像（第１の画像）と異なる置換画像で置き換えて新たな組み写真を生成することができる。この場合には、置換画像を第１の画像処理部で画像処理し（すなわち、ステップＳ１２３）、さらに第２の画像処理部で画像処理し（すなわち、ステップＳ１２９、１３１）、この画像処理を施した置換画像と、画像ファイルに記録されている置換画像以外の副画像（第１の画像）を第２の画像処理部（ステップＳ１２９、Ｓ１３１）で画像処理した第２の画像を用いて、組み写真処理部によって新たに組み写真を生成する。この組み写真の生成については、図２０、図２１を用いて後述する。

次に、ステップＳ４３（図７）の静止画記録の詳しい動作について、図１３に示すフローチャートを用いて説明する。この静止画記録は、前述のメカシャッタによる撮影（Ｓ３９）、画像処理（Ｓ４３）に引き続いて実行され、画像処理された画像データを記録媒体１３１に記録するための処理を行う。

静止画記録のフローに入ると、まず、組み写真モードか否かの判定を行う（Ｓ１４１）。この判定の結果、組み写真モードでない場合には、通常モードであり、レックビュー表示を行う（Ｓ１５７）。ここでは、記録媒体１３１に記録する画像を、表示パネル１３５に一時的に所定時間の間、表示する。これにより、ユーザは撮影画像を確認することができる。

レックビュー表示を行うと、次に静止画記録を行う（Ｓ１５９）。組み写真以外では、画像処理した画像をＪＰＥＧ圧縮して記録媒体１３１に記録する。しかし、これに限らず、非圧縮形式（例えば、ＴＩＦＦ等）で記録するようにしてもよく、別の圧縮形式でもよい。また、ＲＡＷ画像を記録するようにしても良い。

ステップＳ１４１における判定の結果、組み写真モードであった場合には、撮影画像記録か否かを判定する（Ｓ１４３）。組み写真モードでは、図５に示すようなスタイルに各画像を嵌め込むが、組み写真モードが設定されている場合であっても、スタイル中に嵌め込まない画像を記録するようにしてもよい。このステップでは、図６のステップＳ９のカメラ設定において、ユーザが組み写真の各コマを記録するかどうかの設定をオンにしているか否かを判定する。

ステップＳ１４３における判定の結果、撮影画像記録の場合には、静止画記録を行う（Ｓ１４５）。ここでは、ステップＳ１５９と同様に、組み写真ではない、単独の撮影画像として撮影し、ＪＰＥＧ等によって圧縮等を行って記録媒体１３１に記録する。

ステップＳ１４５において静止画記録を行うと、またはステップＳ１４３における判定の結果、撮影画像記録でない場合には、次に、組み完了か否かの判定を行う（Ｓ１４７）。ここでは、予め設定されているスタイルを満たす数の画像が撮影され、合成されているか否かを判定する。例えば、図２、図３を用いて説明した組み写真では、４枚の写真が撮影され、合成されているかを判定する。また、例えば、４枚合成の場合であって、２枚を撮影し、２枚を記録画像から選択した場合も組み完了と判定される。

ステップＳ１４７における判定の結果、組み完了であった場合には、レックビュー表示を行う（Ｓ１４９）。ここでは、組み写真として全画像が揃ったことから、この組み写真を表示パネル１３５にレックビュー表示を行う。なお、レックビュー表示中には、後述する再生のフローと同様に、拡大表示ができるようにしてもよい。

レックビュー表示を行うと、次に、キャンセル操作がなされたか否かを判定する（Ｓ１５１）。ユーザがレックビュー表示を観察した際に、一部の写真を削除し、取り換えたいと思う場合がある。そこで、本実施形態においては、レックビュー表示を行い、所定時間（例えば、３秒）内にキャンセル操作を行った場合には、指定したコマをキャンセルして、再撮影を行うことができるようにしている。なお、キャンセル操作としては、タッチパネルで指定してもよく、また削除釦でキャンセルするようにしてもよい。

ステップＳ１５１における判定の結果、キャンセル操作を行った場合には、組み写真操作を行う（Ｓ１５５）。組み写真操作のサブルーチン中において、キャンセル操作が実行される（後述する図１４のＳ１６５〜Ｓ１７３参照）。

一方、ステップＳ１５１における判定の結果、キャンセル操作が行われない場合には、組み写真記録が行われる（Ｓ１５３）。ここでは、完成した組み写真の合成画像データを記録媒体１３１に記録する。

ステップＳ１５３において組み写真記録を行うと、またはステップＳ１５５において組み写真操作を行うと、またはステップＳ１４７における判定の結果、組み完了していない場合には、またはステップＳ１５９において静止画記録を行うと、元のフローに戻る。

このように、静止画記録フローにおいては、スタイルによって決まる画像の枚数が揃うまでは組み写真の記録を行わず（Ｓ１４７→Ｎｏ）、枚数が揃うと組み写真の記録を行っている（Ｓ１５３）。また、組み写真が完成した後でも、キャンセル操作を行うことにより（Ｓ１５１）、組み写真の指定した画像の削除を行うことができる。

次に、ステップＳ２３（図６）およびステップＳ１５５（図１３）の組み写真操作の詳しい動作について、図１４および図１５に示すフローチャートを用いて説明する。この組み写真操作は、前述したように、組み写真の編集を行うための各種操作がなされた際に実行される。

組み写真操作のフローに入ると、まず、撮影コマ変更操作がなされたか否かの判定を行い（Ｓ１６１）、この判定の結果、撮影コマ変更操作が行われた場合には、撮影コマの変更を行う（Ｓ１６３）。図３（ａ）（ｂ）を用いて説明したように、組み写真のスタイルの中でいずれかの枠に撮影画像を嵌め込むかは適宜変更可能である。十字キーとＯＫ釦の操作や、タッチパネル操作等により、撮影するコマを変更する操作がなされた場合に、撮影するコマを変更する。その際、どのコマを撮影するかを分かるようにするために、コマに枠を表示したり、アイコンを表示したり、撮影コマ以外のコマを暗く表示したり、撮影コマ以外のコマの彩度を低下するようにしてもよい。ライブビュー表示中のコマがタッチされた場合には、レリーズ操作（１ｓｔと２ｎｄ、または１ｓｔのみ）を実行する。複数のコマでライブビュー表示を行っている場合には、レリーズ釦を使用して撮影するコマを選ぶ。

ステップＳ１６３において撮影コマの変更を行うと、またはステップＳ１６１における判定の結果、撮影コマの変更操作がなかった場合には、次に、キャンセル操作がなされた否かを判定する（Ｓ１６５）。静止画記録のフローにおいて説明したように、完成した組み写真において、一部の画像を削除し、画像を置換したい場合がある。そこで、本実施形態においては、十字キーで撮影したコマを選択し、削除釦を押した場合や、タッチパネルで撮影したコマをゴミ箱アイコンドロップした場合等、撮影したコマをキャンセルする。このステップＳ１６５においては、これらの操作がなされたか否かを判定する。

ステップＳ１６５における判定の結果、キャンセル操作がなされた場合には、次に、タッチ操作でコマサイズが小か否かの判定を行う（Ｓ１６７）。キャンセル操作が、タッチ操作で行われた場合、キャンセルしようとしているコマのサイズ（縦横サイズまたは面積）が小さいか（例えば、面積が１平方センチメートル以下）否かを判定する。コマサイズが小さいと誤操作となってしまうからである。

ステップＳ１６７における判定の結果、タッチ操作でコマサイズが所定値より大きい場合には、次に、画像退避し（Ｓ１６９）、ライブビュー表示の変更を行う（Ｓ１７１）。キャンセル操作によって画像を削除した場合でも、復元したい場合がある。そこで、復元を可能とするために（すなわち、キャンセル操作の取り消し）、削除の指定がなされた撮影画像（組み写真のコマの画像）を一旦メモリ内の別領域に退避し、そのコマを未撮影状態とみなしてライブビュー表示を変更している。この画像退避については、図１６（ｂ）（ｃ）を用いて後述する。

ライブビュー表示を行うと、組み写真生成を行う（Ｓ１７３）。この組み写真生成のサブルーチンは、図１１を用いて説明した。キャンセル操作によって指定された画像が削除されたので、このステップでは、残りの画像を用いて組み写真を生成し直す。

ステップＳ１７３において組み写真生成を行うと、またはステップＳ１６７における判定の結果、タッチ操作でコマサイズが小さかった場合には、またはステップＳ１６５における判定の結果、キャンセル操作がなされていなかった場合には、次に、復元操作か否かの判定を行う（Ｓ１７５）。復元操作は、十字キーで復元したいコマを選択して削除釦を操作したり、またタッチ操作によりゴミ箱アイコンを復元したいコマへドロップ操作した場合等、操作部１２３やタッチパネル１２３ａの操作によって行う。

ステップＳ１７５における判定の結果、復元操作がなされた場合には、次に、画像を復元し（Ｓ１７７）、ライブビュー表示の変更を行う（Ｓ１７９）。ここでは、退避させた画像を元の位置に戻し、そのコマを撮影したとみなして、ライブビュー表示を変更する。

ライブビュー表示の変更を行うと、組み写真生成を行う（Ｓ１８１）。この組み写真生成のサブルーチンは、図１１を用いて説明した。復元操作によって指定された画像が復元されたので、このステップでは、復元された画像も含めて組み写真を生成し直す。

ステップＳ１８１において組み写真生成を行うと、またはステップＳ１７５における判定の結果、復元操作がなされなかった場合には、次に、一時保存操作か否かの判定を行う（図１５のＳ１８３）。短時間の間に複数の撮影を行い、組み写真の作成を行う場合には、連続的に撮影を行える。しかし、朝、昼、夜等と時間間隔をおいて撮影した画像を用いて組み写真を作成する場合には、作成途中の画像を一時保存できると便利である。そこで、本実施形態においては、組み写真を構成する画像の一時保存を可能としている。復元操作としては、メニュー画面またはタッチパネル操作等によって、一時保存メニューの選択操作やアイコンの選択操作等で行う。

ステップＳ１８３における判定の結果、一時保存操作がなされた場合には、組みデータの記録を行う（Ｓ１８５）。ここでは、現在の組み写真の状態、すなわち、どのスタイルでどの写真を撮影しているか等を、フラッシュメモリ１２５または記録媒体１３１に記録する。記録する組みデータとしては、少なくともスタイル（テンプレートに関する情報）、撮影した写真データ、写真データとテンプレート上の関連情報がある。

組みデータの記録を行うと、次に、組み写真のリセットを行う（Ｓ１８７）。記録後、撮影していた組み写真の情報をリセットし、１枚目撮影と同様の状態、すなわち、ライブビュー表示やＳＤＲＡＭ１２７のリセット等の状態にする。

ステップＳ１８７において組み写真のリセットを行うと、またはステップＳ１８３における判定の結果、一時保存操作がなされなかった場合には、次に、一時保存読み込み操作がなされたか否かを判定する（Ｓ１８９）。この操作は、ステップＳ１８３、Ｓ１８５において組み写真の組みデータを一時保存した場合に、この一時保存された組みデータの読み出しを行う。操作としては、例えば、メニュー画面またはタッチパネル等で、一時保存読み込みメニューやアイコンの選択操作を行う。

ステップＳ１８９における判定の結果、一時保存読み込み操作がなされた場合には、次に、撮影途中か否かの判定を行う（Ｓ１９１）。組み写真を撮影中に、一時保存読み込み操作がなされる場合がある。この場合には、現在、進行している組み写真撮影を一時中断しなければならないことから、ステップＳ１９１〜Ｓ１９５において対応する。このステップでは、組み写真撮影モードであって、かつテンプレートに対して１枚以上撮影されているか否かを判定する。

ステップＳ１９１における判定の結果、組み写真の撮影中であった場合には、次に、一時保存するか否かを確認する（Ｓ１９３）。この場合には、撮影途中の現状の状態を一時保存するか否かの確認画面を表示パネル１３５表示し、ユーザに問い合わせる。この判定の結果、一時保存する場合には、組みデータの記録を行う（Ｓ１９５）。ここでは、現状の状態を一時保存するために、ステップＳ１８５と同様の組みデータを記録する。

ステップＳ１９５において組みデータ記録を行うと、またはステップＳ１９３における判定の結果、一時保存しない場合、またはステップＳ１９１における判定の結果、撮影途中でなかった場合には、次に、組みデータを読み込み（Ｓ１９７）、ライブビュー表示し（Ｓ１９９）、組み写真生成を行う（Ｓ２０１）。ここでは、ステップＳ１８５において一時保存した組みデータを読出し、ステップＳ１７１やＳ１７９と同様にライブビュー表示の変更を行い、ステップＳ１７３やＳ１８１と同様に組み写真の生成を行う。

ステップＳ２０１において組み写真の生成を行うと、またはステップＳ１８９における判定の結果、一時保存読み込み操作が行われなかった場合には、組み写真操作の動作を終了し、元のフローに戻る。

このように、組み写真操作のフローにおいては、スタイルのコマの中で撮影するコマを変更することができ（Ｓ１６３）、またコマを削除し復元することもできる（Ｓ１６９、Ｓ１７７）。さらに、組み写真撮影中であっても、データを一時保存でき、この一時保存したデータを読出し、組み写真撮影を続行することもできる。

次に、組み写真操作のフローで説明した画像退避（Ｓ１６９）と画像復元（Ｓ１７７）について、図１６（ｂ）を用いて説明する。

図１６（ｂ）はＳＤＲＡＭ１２７の表示・記録用組み画像記憶領域を示す。図１６（ｂ）の左側のコラムは、４枚から構成される組み写真の内で３枚撮影した状態を示す。すなわち、コマ画像領域Ｒ１の内、コマ画像１〜コマ画像３のデータが記録されている。

図１６（ｂ）において３枚撮影された状態で、コマ画像２がキャンセル操作されたとすると（図１４のＳ１６５Ｙｅｓ）、コマ画像領域Ｒ１のコマ画像２のデータは、退避画像領域Ｒ２のコマ画像２にコピーされ、コマ画像領域Ｒ１のコマ画像２の位置のデータは消去される（図１６（ｂ）の真ん中のコラム参照）。

続いて、コマ画像２が復元操作されたとすると（図１４のＳ１７５Ｙｅｓ）、退避画像領域Ｒ２のコマ画像２のデータが、コマ画像領域Ｒ１のコマ画像２の位置にコピーされる。そして、退避画像領域Ｒ２のコマ画像２の位置のデータが消去される（図１６（ｂ）の右側のコラム参照）。

このように、本実施形態においては、コマ画像のデータを記録しておくコマ画像領域Ｒ１と、データの退避用の退避画像領域Ｒ２を設けている。そして、キャンセル操作がなされると、退避画像領域Ｒ２に記憶し、復元操作がなされると、コマ画像領域Ｒ１にコピーしている。このため、一旦消去した画像でも簡単に復元することができる。

なお、本実施形態においては、キャンセル操作や復元操作時に、データをコピーしていた。しかし、これに限らず、ポインタによって管理するようにしてもよい。図１６（ｃ）は、ポインタで管理する例を示す。

図１６（ｃ）に示す例では、ＳＤＲＡＭ１２７の表示・記録用組み画像記録領域に、参照ポインタを記憶する参照ポインタ領域Ｒ３とコマ画像領域Ｒ１を設けている。まず、４枚のうちの３枚を撮影した時点では、参照ポインタ領域Ｒ３には、有効な画像としてコマ画像１〜コマ画像３に対応するアドレスが記録されている（図１６（ｃ）の左側のコラム参照）。

コマ画像２がキャンセル操作されると、コマ画像領域Ｒ１にはコマ画像２は記録されたままであるが、参照ポインタ領域Ｒ３からはコマ画像２のアドレスが消去される（図１６（ｃ）の真ん中のコラム参照）。

続いて、コマ画像２が復元操作されると、コマ画像領域Ｒ１にはコマ画像２は記録されたままであり、また参照ポインタ領域Ｒ３にはコマ画像２のアドレスが復元される（図１６（ｃ）の右側のコラム参照）。

次に、ステップＳ５（図６）の再生・編集の詳しい動作について、図１７に示すフローチャートを用いて説明する。この再生・編集は、前述したように、記録媒体１３１から撮影済みの画像データを読出し、再生する場合に実行される。

再生・編集のフローに入ると、まず、一覧表示を行い（Ｓ２１１）、画像選択を行う（Ｓ２１３）。ここでは、記録媒体１３１に記録されている画像ファイルのサムネールを一覧表示する。ユーザは一覧表示の中から画像を選択する。

画像選択を行うと、次に、選択された画像が動画か否かの判定を行う（Ｓ２１５）。画像としては、静止画または動画が記録されていることから、画像の形式から判定する。

ステップＳ２１５における判定の結果、選択された画像が動画の場合には、フレーム数を読み込む（Ｓ２１７）。動画ファイルには、フレーム数が記録されているので、この情報を読み込む。続いて、カウンタｉを１に初期化する（Ｓ２１９）。このカウンタｉは、フレーム数を計数する。

次に、ｉフレーム目を再生・表示し（Ｓ２２１）、フレームｉに１を加算し（Ｓ２２３）、フレームｉがフレーム数より小さいか否かを判定する（Ｓ２２５）。ここでは、１フレーム目から順次、動画の画像データを読出し、表示パネル１３５に表示する。フレームｉが、ステップＳ２１７において読み出したフレーム数に達するまで、動画再生を行う。その後、ステップＳ２２７へ進む。

ステップＳ２１５における判定の結果、ステップＳ２１３において選択された画像が静止画の場合には、画像読み込み（Ｓ２２９）、表示する（Ｓ２３１）。ここでは、記録媒体１３１に記録された静止画の画像データを読み出し、伸張処理を行って、表示パネル１３５に表示する。

表示を行うと、次に、拡大操作がなされたか否かを判定し（Ｓ２３３）、この判定の結果、拡大操作がなされた場合には、拡大表示する（Ｓ２３５）。静止画表示中に、例えば、拡大釦等を操作することにより、拡大表示する。このとき、組み写真の場合には、各コマを拡大表示したり、特定の１コマを拡大表示したりする。

ステップＳ２３５において拡大表示すると、またはステップＳ２３３における判定の結果、拡大操作がなされていなかった場合には、次に、拡大中かつ表示位置変更操作がなされたか否かを判定し（Ｓ２３７）、この判定の結果、変更操作がなされていた場合には、拡大位置変更を行う（Ｓ２３９）。拡大表示中で、かつ表示位置の変更操作、例えば、十字キー操作がなされた場合には、画像中において拡大表示する部分を変更する。組み写真の場合には、拡大中のコマ内のみ表示位置を変更できるように制限する。制限がない場合には、通常の画像と同様の表示とする。

ステップＳ２３９において拡大位置変更を行うと、またはステップＳ２３７における判定の結果、拡大中かつ表示位置変更操作が行われていなかった場合には、次に、組み写真かつ表示コマ変更操作がなされたか否かを判定し（Ｓ２４１）、変更操作がなされていた場合には、表示コマの変更を行う（Ｓ２４３）。組み写真の場合、拡大表示中かつ表示コマ変更操作、例えば、ファンクション釦（Ｆｎ釦）操作等があった場合には、拡大表示を行うコマを切り換える。このとき、各コマで拡大位置を記憶しておき、現在表示されているコマを再度表示するように指示された場合には、同じ位置を拡大表示する。

ステップＳ２４３において表示コマ変更を行うと、またはステップＳ２４１における判定の結果、組み写真かつ表示コマ変更操作がなかった場合には、次に、組み写真かつ編集操作か否かの判定を行い（Ｓ２４５）、この判定の結果、編集操作がなされていた場合には、組み写真編集を行う（Ｓ２４７）。組み写真の場合、メニュー画面から組み写真編集を選択したり、タッチ操作で編集アイコンを選択したりする等によって、現在再生している組み写真におけるコマを編集することができる。この組み写真編集の詳しい動作については、図１８を用いて後述する。

ステップＳ２４７において組み写真編集を行うと、またはステップＳ２４５における判定の結果、組み写真かつ編集操作が行われていなかった場合には、次に、表示終了か否かを判定する（Ｓ２４９）。表示終了釦が操作された場合や表示終了アイコン等がタッチ操作されると、表示を終了する。このステップＳ２４９の判定の結果、表示終了でない場合には、ステップＳ２３３に戻り、表示を続行する。一方、表示終了であった場合には、ステップＳ２２７へ進む。

ステップＳ２４９における判定の結果、表示終了であった場合、またはステップＳ２２５における判定の結果、動画のフレームｉがフレーム数を超えた場合には、次に、再生終了か否かを判定する（Ｓ２２７）。再生釦が再度、操作されると、再生を終了する。このステップにおける判定の結果、再生終了でなかった場合には、ステップＳ２１１に戻り、再生モードを続行する。一方、判定の結果、再生終了の場合には、この再生・編集のフローを終了し、元のフローに戻る。

このように、再生・編集のフローにおいては、動画の再生や、静止画の拡大表示や、組み写真の編集操作等を実行する。なお、本実施形態においては、組み写真の編集のみを行っていたが、これ以外にも動画も編集するようにしてもよい。

次に、ステップＳ２４７（図１７）の組み写真編集の詳しい動作について、図１８に示すフローチャートを用いて説明する。この組み写真編集は、前述したように、記録媒体１３１から完成した組み写真画像のデータを読出し、組み写真の中の画像を、他の記録画像または新たに撮影で取得する画像で置換する場合に実行される。

組み写真編集のフローに入ると、まず、組み画像の読み込みを行う（Ｓ２５１）。組み画像を読み込み、主画像および副画像をＳＤＲＡＭ１２７の各記憶領域に記憶する。ここで、主画像は、合成された組み写真の画像データであり、副画像は前処理（図１１のＳ１２３、Ｓ１２５参照）がなされた画像データである。副画像は、図１６に示したコマ画像領域に各コマに対応するように記憶する。

組み画像の読み込みを行うと、次に、編集コマの指定を行う（Ｓ２５３）。ここでは、ユーザが組み写真を構成する複数のコマの内、いずれを他の画像で置換するかを指定する。

編集コマの指定がなされると、次に、記録画像と置換するか否かを判定する（Ｓ２５５）。前述したように、編集にあたっては、記録済みの画像か、新たに撮影する画像を選択できる。記録済みの画像を選択する場合には、記録済みの画像の一覧表を表示させ、この中から選択する。一方、新たに撮影する場合には、撮影待機状態に移行し、撮影時のライブビュー表示と撮影シーケンスを実行することにより取得する。メニュー画面またはアイコン表示によって、記録画像と置換するか撮影画像と置換するかを選択する。

ステップＳ２５５における判定の結果、記録画像と置換する場合には、次に、一覧表示を行い（Ｓ２５７）、画像選択する（Ｓ２５９）。ここでは、ステップＳ２１１、Ｓ２１３（図１７）と同様に、記録媒体１３１に記録されている画像ファイルのサムネールを一覧表示する。ユーザは、一覧表示の中から十字キーとＯＫ釦等を操作して置換する画像を選択する。

画像選択を行うと、次に、画像読み込みを行う（Ｓ２６１）。ここでは、ステップＳ２５９において選択された画像のデータを記録媒体１３１から読み出す。

ステップＳ２５５における判定の結果、置換する画像が記録画像でなかった場合、すなわち、置換する画像が新たに撮影する画像である場合には、次に、レリーズ操作がオフから１ｓｔに遷移かを判定する（Ｓ２７３）。ここでは、レリーズ釦が半押しされたか否かを判定する。レリーズ釦の半押しにより撮影準備状態に移行する。ステップＳ２７３における判定の結果、レリーズ操作がオフから１ｓｔ遷移であった場合には、次に、ＡＥ・ＡＦを行う（Ｓ２７５）。ステップＳ３３（図７）と同様に、ここでは、ＡＥ動作とＡＦ動作を実行する。ＡＥ・ＡＦを行うとステップＳ２７３に戻る。

ステップＳ２７３における判定の結果、レリーズ操作オフから１ｓｔ遷移でない場合には、次にレリーズ操作２ｎｄか否かを判定する（Ｓ２７７）。ここでは、レリーズ釦が全押しされたか否かを判定する。この判定の結果、レリーズ操作２ｎｄでなかった場合には、ＡＥを行い（Ｓ２８１）、電子シャッタによる撮影を行い（Ｓ２８３）、画像処理を行い（Ｓ２８５）、ライブビュー表示を行う（Ｓ２８７）。このステップＳ２８１〜Ｓ２８７の動作は、前述した図７のステップＳ５１〜Ｓ５７と同様であることから、詳しい説明を省略する。ライブビュー表示を行うと、ステップＳ２７３に戻る。

ステップＳ２７７における判定の結果、レリーズ操作２ｎｄであった場合には、次に、メカシャッタによる撮影を行う（Ｓ２７９）。すなわち、ユーザがライブビュー表示を観察し、レリーズ釦の全押しを行うことにより、組み写真のコマと置換する画像を取得することができる。メカシャッタによる撮影において露光が終わると、ＲＡＷデータを取得する。

ステップＳ２６１において画像データを読み出すと、またはステップＳ２７９においてメカシャッタによる撮影が終わると、次に、画像のデータ形式がＲＡＷデータであるか否かを判定する（Ｓ２６３）。ステップＳ２７９において取得する画像データはＲＡＷであるが、記録媒体１３１から読み出した画像データは、ＲＡＷやＪＰＥＧ等、種々の形式が含まれている。ＲＡＷデータの場合には、ステップＳ２６５〜Ｓ２６９において基本画像処理および特殊画像処理を行う。ＪＰＥＧデータの場合には、既に画像処理されていることから、これらの処理はスキップする。

ステップＳ２６３における判定の結果、ＲＡＷデータであった場合には、次に基本画像処理を行う（Ｓ２６３）。この基本画像処理は図９に示したフローであるので、詳しい説明を省略する。基本画像処理を行うと、アートフィルタが設定されているか否かを判定する（Ｓ２６７）、この判定の結果、アートフィルタが設定されている場合には、特殊画像処理を行う（Ｓ２６９）。この特殊画像処理は図１０に示したフローであるので、詳しい説明を省略する。

ステップＳ２６９において特集画像処理を行うと、またはステップＳ２６３における判定の結果、ＲＡＷデータでなかった場合、またはステップＳ２６７における判定の結果、アートフィルタが設定されていなかった場合には、次に、組み写真生成記録を行う（Ｓ２７１）。ステップＳ２６１において置換画像として指定された記録画像の画像データを読み込み、またステップＳ２７９において置換画像として新たに撮影した撮影画像の画像データを取得したことから、このステップにおいて、組み写真の１コマの画像を置換画像に置き換えて組み写真を生成する。この組み写真生成記録の詳しい動作については、図１９を用いて説明する。

このように、組み写真編集のフローでは、組み写真の中で置換する画像を、記録画像の中から選択し（Ｓ２５７〜Ｓ２６１）、または新たに撮影することにより取得している（Ｓ２７９）。そして組み写真と置換画像を用いて、新たに組み写真を生成する（Ｓ２７１）。

次に、ステップＳ２７１の組み写真生成記録の詳しい動作について、図１９に示すフローチャートを用いて説明する。この組み写真生成記録のフローに入ると、まず、組み写真生成を行う（Ｓ２９１）。ここでは、図１１において説明したフローを実行する。すなわち、組み写真を構成する各コマについて前処理を行った後、色変更および輝度変更等を行うことによって、各コマを調整し、違和感のないようにする。また、画質調整を行い、圧縮率の差などによる画質の差が目立たないようにする。各コマの色、輝度、画質の調整を行うと、合成を行って組み写真を生成する。

組み写真生成を行うと、次に静止画記録を行う（Ｓ２９３）。ここでは、ステップＳ２９１において生成された組み写真のデータを記録媒体１３１に記録する。

次に、図１１のフローの際に言及したＭＰＯファイルについて、図２０および図２１を用いて説明する。図２０はファイルの構造と、これに記録する画像の関係を示している。このＭＰＯファイルは、ＳＤＲＡＭ１２７または記録媒体１３１に記録される。図２０の左側にファイル構造を示す。領域Ｆ１には、主画像ヘッダが記録されている。この主画像ヘッダには、副画像の記録されているアドレスを示す副画像オフセット、組み位置と副画像の対応関係、組み写真のスタイルの情報が記録されている。

ファイル構造の領域Ｆ２には、主画像データが記録されている。主画像としては、組み写真Ｐ１であり、この画像データが領域Ｆ２に記録されている。また、領域Ｆ３、Ｆ５、Ｆ７、Ｆ９には、副画像１，２、３、４のヘッダが、領域Ｆ４、Ｆ６、Ｆ８、Ｆ１０には副画像１、２、３、４のデータが、それぞれ記録されている。副画像のヘッダには、例えば、ステップＳ１２５（図１１）における解析結果が記録される。

領域Ｆ２に記録されている主画像データは、組み写真Ｐ１の画像データであり、また、領域Ｆ４、Ｆ６、Ｆ８、Ｆ１０に記録されている副画像データは、組み写真Ｐ１を構成する副画像Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４の画像データである。このように、記録部（ＳＤＲＡＭ１２７、記録媒体１３１）には、副画像（第１の画像）と組み位置（主画像ヘッダに記録）が１つの画像ファイルとして記録されている。また、記録部には、副画像（第１の画像）と、解析結果が１つの画像ファイルとして記録されている。

組み写真Ｐ１を構成する一部の副画像を組み換える場合には、これらの副画像を用いて階調や彩度を変更し、この変更した副画像を組み合わせる。組み直した画像を記録する際には、組まれている画像と、階調や彩度の変更前の画像を同様な形式で保存する。

図２１は、副画像Ｐ１３を副画像Ｐ１３ａに組み直す例を示す。すなわち、図２０に示す例では、副画像Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４の４枚の画像を用いて、組み写真Ｐ１を生成している。図２１では、副画像Ｐ１１、Ｐ１２、Ｐ１３ａ、Ｐ１４の４枚の画像を用いて、組み写真Ｐ２を生成している。この組み写真Ｐ２を生成するにあたって、副画像Ｐ１１、Ｐ１２、Ｐ１３ａ、Ｐ１４を用いて、新たに階調や彩度を変更していることから、何回組み直しても、画質を維持することができる。

従来技術の課題の欄において説明したように、組み写真を構成する画像の一部を組み直す際に乗算や除算を繰り返すと、画像データの小数点以下が切り捨てられてしまう。図２２（ｂ−１）〜（ｂ−３）は、元画像をアンダに階調変更した後に、元の明るさに戻す例を示す。図２２（ｂ−１）〜（ｂ−３）は、小数点以下を切り捨てられた場合を示し、Ａの部分は元の画像の特性と一致しておらず、階調飛びの現象がおきしまう。

それに対して、本実施形態では、組み写真を生成する前の副画像を、組み写真とは別個に記録している。この場合には、図２２（ａ−１）〜（ａ−３）に示すように、元の画像を一旦アンダに階調変更を行った後に、元の明るさに戻すと、両者の特性は一致する。

このように、本実施形態においては、組み写真を記録するときには、主画像として組み写真を、副画像として組まれている画像と同じサイズにリサイズした画像（階調や彩度の変更を行っていない）を記録している。そして、組み写真の編集時には、副画像を読み込み、階調や彩度を補正するようにしている。このため、組み写真の編集を繰り返しても、自然な感じの組み写真を得ることができる。また、画像の組合せに依存しないリサイズ処理などの前処理を行った画像を副画像として記録するため、ファイルサイズの肥大化を防止できると主に、組み直し処理時間の短縮にもつながる。

以上説明したように、本発明の一実施形態に係る画像編集装置は、組み写真を構成する画像に第１の画像処理を行い第１の画像を生成し（図１１のＳ１２３）、この第１の画像を生成した後に、第１の画像に第２の画像処理を行い第２の画像を生成し（図１１のＳ１２９、Ｓ１３１）、第２の画像を組み写真の組み位置に応じて合成して組み写真を生成し（図１１のＳ１３３）、組み写真と第１の画像とを１つの画像ファイルとして記録している（図１１のＳ１３７）。このように、組み写真のみならず、第１の画像も併せて１つの画像ファイルとして記録しているため、組み写真の一部の画像を組み直すことを繰り返しても画像劣化が少ないという効果を奏する。

なお、本発明の一実施形態においては、カメラに本発明を適用した例を説明したが、これに限らず、撮影済み画像を用いて、組み写真を生成するための画像編集装置、パーソナルコンピュータ等、撮影機能を有さない画像編集装置にも本発明を適用することができる。

また、本発明の一実施形態においては、撮影のための機器として、カメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、組み写真を撮影可能な撮影のための機器であれば、本発明を適用することができる。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・特殊画像処理部、１０９ｃ・・・組み写真処理部、１０９ｄ・・・被写体検出部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮伸張部、１１７・・・通信部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２３ａ・・・タッチ入力部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・Ｉ／Ｆ

Claims (9)

1. 複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集装置において、
   上記画像に第１の画像処理を行い第１の画像を生成する第１の画像処理部と、
   上記第１の画像に第２の画像処理を行い、第２の画像を生成する第２の画像処理部と、
   上記第２の画像を組み写真の組み位置に応じて合成して組み写真を生成する組み写真処理部と、
   上記第１の画像と上記組み写真の画像を記録する記録部と、
   上記第１の画像処理を行った後に、上記第２の画像処理を施した第２の画像を、上記組み写真処理部によって組み写真の組み位置に応じて合成して組み写真を生成し、上記組み写真と、上記第１の画像とを１つの画像ファイルとして記録する制御部と、
   を具備することを特徴とする画像編集装置。
2. 上記記録部は、上記第１の画像と上記組み位置を１つの画像ファイルとして記録することを特徴とする請求項１に記載の画像編集装置。
3. 上記制御部は、上記組み写真を生成し、上記組み写真と上記第１の画像を１つの画像ファイルとして記録した後に、上記組み写真を構成する画像の一部である被置換画像を上記第１の画像と異なる置換画像で置き換えて新たな組み写真を生成する場合には、上記置換画像を上記第１の画像処理部で画像処理し、さらに上記第２の画像処理部で画像処理し、この画像処理を施した置換画像と、上記画像ファイルに記録されている上記被置換画像以外の上記第１の画像を上記第２の画像処理部で画像処理した第２の画像を用いて、上記組み写真処理部によって新たに組み写真を生成することを特徴とする請求項１または２に記載の画像編集装置。
4. 上記第１の画像処理部は、画像サイズをリサイズし、または画像を回転し、または画像をトリミングすることを特徴とする請求項１ないし３のうち何れか一項に記載の画像編集装置。
5. 上記第２の画像処理部は、画像の色補正、輝度補正のうち少なくとも一つであることを特徴とする請求項１ないし４のうち何れか一項に記載の画像編集装置。
6. さらに、上記画像の特徴部を解析して解析結果を出力する解析部を備え、
   上記記録部は、上記第１の画像と、解析結果を１つの画像ファイルとして記録することを特徴とする請求項１ないし５のうち何れか一項に記載の画像編集装置。
7. 上記特徴部は、ヒストグラム、被写体検出結果、主要被写体の大きさ、位置、色の特徴のうち少なくとも一つであることを特徴とする請求項６に記載の画像編集装置。
8. 複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集装置におけるコンピュータを実行させるプログラムにおいて、
   上記画像に第１の画像処理を行い第１の画像を生成し、
   上記第１の画像を生成した後に、上記第１の画像に第２の画像処理を行い、第２の画像を生成し、
   上記第２の画像を組み写真の組み位置に応じて合成して組み写真を生成し、
   上記組み写真と上記第１の画像とを１つの画像ファイルとして記録する、
   ことを上記コンピュータに実行させることを特徴とするプログラム。
9. 複数枚の画像を組み合わせて構成する組み写真画像を編集する画像編集方法において、
   上記画像に第１の画像処理を行い第１の画像を生成し、
   上記第１の画像を生成した後に、上記第１の画像に第２の画像処理を行い、第２の画像を生成し、
   上記第２の画像を組み写真の組み位置に応じて合成して組み写真を生成し、
   上記組み写真と上記第１の画像とを１つの画像ファイルとして記録する、
   ことを特徴とする画像編集方法。