JP2014068269A - 画像処理装置、画像処理方法、及び、画像処理プログラム - Google Patents

Abstract

【課題】全体として統一感のある組み画像の画像データを生成する技術を提供する。
【解決手段】カメラは、複数の画像をレイアウトして組み画像の画像データを生成する画像処理装置である。カメラの組み画像処理部１０９ｃは、組み画像を構成する画像から画像の特徴を示す特徴量を算出する特徴量算出部１５１と、特徴量算出部１５１で算出された特徴量が目標特徴量に近づくように特徴量が算出された画像を補正する画像補正部１５４と、画像補正部１５４で補正された画像を含む複数の画像の画像データを合成して組み画像の画像データを生成する組み画像生成部１５５と、を備える。
【選択図】図１１

Description

本発明は、複数回の撮影により取得した複数の画像をレイアウトして、一枚の画像としてなる組み画像の画像データを生成する画像処理装置、画像処理方法、及び、画像処理プログラムに関する。

デジタルカメラやデジタルビデオカメラなどの撮影装置では、取得した画像がデジタルデータとして記憶または記録されるため、取得した画像を容易に加工することができる。このような特徴を活かした撮影装置の用途のひとつに組み画像がある。組み画像とは、複数回の撮影により取得した複数の画像をレイアウトした合成画像のことである。

組み写真を取得する撮影装置は、例えば、特許文献１及び特許文献２に開示されている。特許文献１には、複数の画像を連続して撮影するとともに、その複数の画像を一覧表示するデジタルカメラが開示されている。特許文献２には、同一被写体について複数枚ずつ撮影された複数の異なる被写体の画像のうち、被写体毎に１枚ずつ選択された最適画像を合成して記録する撮像装置が開示されている。

特開２００７−０５３６１６号公報 特許第４５２９５６１号公報

組み画像は、異なる場面、異なる視点で取得した複数のコマ画像を合成することで、立体感、時間の流れ、被写体の動きなどを表現することができることから、撮影者の感情表現の手段としても期待されている。

その一方で、組み画像を構成する複数の画像（以降、コマ画像と記す。）は、それぞれ異なる条件で取得した独立した画像であり、それらの間には統一感がないのが通常である。従って、それらを単に合成しただけでは、生成された組み画像は観察者に全体として雑然とした印象を与える画像となってしまう。撮影装置が全体として雑然とした印象を与えてしまうような組み画像しか生成できないとすると、そのような組み画像では撮影者の感情を観察者に適切に伝えることは困難である。
以上のような実情を踏まえ、本発明は、全体として統一感のある組み画像の画像データを生成する技術を提供することを目的とする。

本願の第１の態様は、複数の画像をレイアウトして、組み画像の画像データを生成する画像処理装置であって、前記組み画像を構成する画像から前記画像の特徴を示す特徴量を算出する特徴量算出部と、前記特徴量算出部で算出された特徴量が目標特徴量に近づくように、前記特徴量が算出された画像を補正する画像補正部と、前記画像補正部で補正された画像を含む前記複数の画像の画像データを合成して前記組み画像の画像データを生成する組み画像生成部と、を備える画像処理装置を提供する。

本願の第２の態様は、第の態様１に記載の画像処理装置において、さらに、前記特徴量算出部で算出された特徴量から前記目標特徴量を算出する目標特徴量算出部を備える画像処理装置を提供する。

本願の第３の態様は、第１の態様または第２の態様に記載の画像処理装置において、さらに、前記特徴量算出部で算出された特徴量と前記目標特徴量から補正パラメータを算出するパラメータ算出部を備え、前記画像補正部は、前記パラメータ算出部で算出された補正パラメータにより、前記特徴量が算出された画像を補正する画像処理装置を提供する。

本願の第４の態様は、第１の態様乃至第３の態様のいずれか１つに記載の画像処理装置において、前記特徴量は、前記組み画像を構成する画像の輝度分布、色差信号分布、彩度分布、または、色相分布のうちの少なくとも一つを含む画像処理装置を提供する。

本願の第５の態様は、第１の態様乃至第４の態様のいずれか１つに記載の画像処理装置において、さらに、前記組み画像生成部で生成された組み画像の画像データに対して特殊効果を付加する処理を行う特殊効果付加部を備える画像処理装置を提供する。

本願の第６の態様は、第１の態様乃至第５の態様のいずれか１つに記載の画像処理装置において、さらに、被写体を撮像して撮影画像を取得する撮像部を備え、前記組み画像を構成する前記複数の画像の少なくとも一つは、前記撮像部で取得した撮影画像である画像処理装置を提供する。

本願の第７の態様は、第６の態様に記載の画像処理装置において、さらに、前記組み画像を表示する表示部を備える画像処理装置を提供する。

本願の第８の態様は、第７の態様に記載の画像処理装置において、前記表示部は、前記撮像部で繰り返し取得された撮影画像をライブビュー表示する画像処理装置を提供する。

本願の第９の態様は、第６の態様に記載の画像処理装置において、さらに、画像を記録する記録部を備え、前記記録部は、前記撮像部で繰り返し取得された撮影画像を動画として記録する画像処理装置を提供する。

本願の第１０の態様は、複数の画像をレイアウトして、組み画像の画像データを生成する画像処理装置の画像処理方法であって、前記組み画像を構成する画像から画像の特徴を示す特徴量を算出する特徴量算出工程と、前記特徴量算出工程で算出された特徴量が目標特徴量に近づくように、前記特徴量が算出された画像を補正する画像補正工程と、前記画像補正工程で補正された画像を含む前記複数の画像の画像データを合成して前記組み画像の画像データを生成する組み画像生成工程と、を含む画像処理方法を提供する。

本願の第１１の態様は、複数の画像をレイアウトして、組み画像の画像データを生成する画像処理方法をコンピュータに実行させる画像処理プログラムであって、前記組み画像を構成する画像から画像の特徴を示す特徴量を算出する特徴量算出する特徴量算出工程と、前記特徴量算出工程で算出された特徴量が目標特徴量に近づくように、前記特徴量が算出された画像を補正する画像補正工程と、前記画像補正工程で補正された画像を含む前記複数の画像の画像データを合成して前記組み画像の画像データを生成する組み画像生成工程と、をコンピュータに実行させる画像処理プログラムを提供する。

本発明によれば、全体として統一感のある組み画像の画像データを生成する技術を提供することができる。

本発明の実施例１に係るカメラの主として電気系の全体構成を示すブロック図である。 本発明の実施例１に係るカメラの処理全体を示すフローチャートである。 本発明の実施例１に係るカメラの処理全体を示すフローチャートであり、図２Ａの続きである。 本発明の実施例１に係るカメラの画像処理を示すフローチャートである。 本発明の実施例１に係るカメラの基本画像処理を示すフローチャートである。 本発明の実施例１に係るカメラの特殊画像処理を示すフローチャートである。 本発明の実施例１に係るカメラの特殊画像処理を示すフローチャートであり、図５Ａの続きである。 本発明の実施例１に係るカメラの組み画像生成処理を示すフローチャートである。 本発明の実施例１に係るカメラの静止画像記録処理を示すフローチャートである。 本発明の実施例１に係るカメラの組み画像操作処理を示すフローチャートである。 本発明の実施例１に係るカメラの組み画像操作処理を示すフローチャートであり、図８Ａの続きである。 本発明の実施例１に係るカメラの撮影操作について説明するための図である。 図４に示す基本画像処理で使用されるガンマテーブルの一例を示す図である。 本発明の実施例１に係るカメラの組み画像処理部の機能ブロック図である。 図６に示す組み画像生成処理で行われる輝度に関する画像補正について説明するための図である。 図６に示す組み画像生成処理で行われる色差（Ｃｂ）に関する画像補正について説明するための図である。 図６に示す組み画像生成処理で行われる色差（Ｃｒ）に関する画像補正について説明するための図である。 図６に示す組み画像生成処理で行われる彩度に関する画像補正について説明するための図である。 図６に示す組み画像生成処理で行われる色相に関する画像補正について説明するための図である。 図６に示す組み画像生成処理で使用される補正パラメータの算出方法の一例について説明するための図である。 図６に示す組み画像生成処理で使用される補正パラメータの算出方法の他の一例について説明するための図である。 図６に示す組み画像生成処理で使用される補正パラメータの算出方法のさらに他の一例について説明するための図である。 図６に示す組み画像生成処理で使用される補正パラメータの算出方法のさらに他の一例について説明するための図である。 図６に示す組み画像生成処理で使用される補正パラメータの算出方法のさらに他の一例について説明するための図である。 図６に示す組み画像生成処理で使用される補正パラメータの算出方法のさらに他の一例について説明するための図である。 本発明の実施例１に係るカメラのＳＤＲＡＭの表示・記録用組み画像記憶領域の構成を説明するための図である。 本発明の実施例１に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための図である。 本発明の実施例１に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための他の図である。 本発明の実施例２に係るカメラの組み画像生成処理を示すフローチャートである。 本発明の実施例３に係るカメラの組み画像生成処理を示すフローチャートである。 本発明の実施例３に係るカメラにおける組み画像データの生成のために行われる各種処理のデータの入出力について示す図である。 本発明の実施例３に係るカメラにおける組み画像データの生成のために行われる各種処理のデータの入出力について示す図であり、図２８Ａの続きである。 本発明の実施例３に係るカメラにおける組み画像データの生成のために行われる各種処理のデータの入出力について示す図であり、図２８Ｂの続きである。 本発明の実施例４に係るカメラの画像処理を示すフローチャートである。 本発明の実施例４に係るカメラの基本画像処理部の機能ブロック図である。 本発明の実施例４に係るカメラの組み画像処理部の機能ブロック図である。

以下、図面を参照しながら、本発明の各実施例について説明する。なお、本明細書において、画像とは、特に明記しない限り、静止画像（つまり、写真）と動画像のいずれであっても良い。ライブビュー画像とは、レリーズ操作などによるカメラのユーザからの明示的な撮影指示に応じて取得される画像と異なり、カメラのライブビュー機能により随時取得される画像のことである。

図１は、本実施例に係るカメラの主として電気系の全体構成を示すブロック図である。図１に例示されるカメラ１は、取得した画像をデジタルデータとして記憶または記録する撮影装置である。カメラ１のユーザは、表示部である表示パネル１３５に表示されるライブビュー画像を観察しながら、操作部１２３を用いたレリーズ操作により画像の取得を指示することができる。なお、カメラ１は、静止画像（つまり、写真）と動画像を取得する機能に加えて、複数の静止画像または動画像をレイアウトした組画像を取得する機能も備えている。従って、カメラ１は、複数の画像の画像データから組み画像の画像データを生成する画像処理装置である。

まず、図１を参照しながら、カメラ１の構成について説明する。カメラ１は、カメラ本体１００と、カメラ本体１００に脱着可能な、撮影レンズ２０１を含む交換式レンズ２００とを備えている。なお、本実施例では、撮影レンズを交換可能なカメラの構成を例示したが、撮影レンズはカメラ本体に固定されてもよい。

交換式レンズ２００は、撮影レンズ２０１と、絞り２０３と、ドライバ２０５と、マイクロコンピュータ２０７と、フラッシュメモリ２０９とを備えている。また、カメラ本体１００と交換式レンズ２００とは、インターフェース（以降、Ｉ／Ｆと記す）３００を介して接続されている。

撮影レンズ２０１は、被写体像を形成するための単数または複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。撮影レンズ２０１の光軸の後方には、絞り２０３が配置されている。絞り２０３は口径が可変であり、撮影レンズ２０１を通過する被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能である。マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、撮影レンズ２０１がズームレンズである場合には、撮影レンズ２０１の焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作する。プログラムに従って動作したマイクロコンピュータ２０７は、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信して、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他に、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。メカシャッタ１０１は、被写体光束を遮断することで後述する撮像素子１０３への被写体光束の照射時間を制御するものであり、例えば、公知のフォーカルプレーンシャッタ等が採用され得る。メカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３には、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されている。各フォトダイオードは受光量に応じた光電変換電流を発生させ、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ配列のＲＧＢフィルタが配置されている。なお、撮像素子１０３の構成はベイヤ配列に並べられたＲＧＢフィルタを含む構成に限定されず、例えばＦＯＶＥＯＮ（フォベオン・インコーポレーテッドの登録商標）のような素子の厚さ方向に複数のセンサを配列した構成であってもよい。

撮像素子１０３はアナログ処理部１０５に接続されている。アナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（以降、アナログ画像信号と記す）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５は、Ａ／Ｄ変換部１０７に接続されている。Ａ／Ｄ変換部１０７は、アナログ画像信号をアナログ−デジタル変換して、得られたデジタル画像信号（以降、画像データと記す）をバス１１０に出力してＳＤＲＡＭ１２７に記憶させる。即ち、カメラ１では、撮像素子１０３、アナログ処理部１０５、Ａ／Ｄ変換部１０７が全体として、被写体を撮像してその画像を取得する撮像部として機能する。なお、本明細書においては、画像処理部１０９で画像処理される前の生の画像データをＲＡＷデータと記す。

撮像素子１０３は電子シャッタを内蔵しており、動画撮像時やライブビュー撮像時のように繰り返し撮像する際には、メカシャッタ１０１を開放にしたままで内蔵の電子シャッタを使用し撮像する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮展開部１１７、通信部１１９、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以降、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。

画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、アートフィルタ等の特殊効果を適用するモードが設定された場合に特殊効果を施すための特殊画像処理部１０９ｂと、組み画像の画像データを生成する組み画像処理部１０９ｃと、画像データをパターンマッチング処理等により解析して被写体を検出する被写体検出部１０９ｄと、を有している。画像処理部１０９は、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して画像処理を施す。

基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行われる同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズリダクション（ＮＲ）処理等を行う。

特殊画像処理部１０９ｂは、基本画像処理部１０９ａで処理された画像データに対して、設定された特殊効果（アートフィルタ）等に応じて、種々の視覚的な特殊効果を付与する特殊画像処理を行う。例えば、トイフォトが設定されている場合には、シェーディングを付加する処理を行う。また、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル、ホワイトエッジ、パートカラーが設定されている場合には、それぞれ、ソフトフォーカス処理、ノイズ重畳処理、ぼかし処理、クロスフィルタ処理、周辺部を白くする処理、所定の色域以外を無彩色にする処理を行う。

組み画像処理部１０９ｃは、複数の画像データを合成して、複数の画像データに対応する複数の画像が所定の配置にレイアウトされた画像である組み画像の画像データを生成する。合成される複数の画像データは、少なくとも基本画像処理部１０９ａで処理された画像データであり、特殊効果が設定されている場合には、基本画像処理部１０９ａ及び特殊画像処理部１０９ｂで処理された画像データが合成される。

また、組み画像処理部１０９ｃは、画像データを合成する処理を実行する前に、それらの画像（つまり、組み画像を構成するコマ画像）を補正する。具体的には、コマ画像からその画像の特徴を示す特徴量を算出し、算出された特徴量が目標（以降、目標特徴量と記す。）に近づくようにその画像を補正する。この補正により、各コマ画像の特徴量が目標特徴量に近づくことで、コマ画像間の特徴量の差が補正前に比べて小さくなり、その結果、全体として統一感がある組み画像を得ることができる。

なお、組み画像処理部１０９ｃでは、必ずしもすべてのコマ画像を補正する必要はない。２枚以上のコマ画像が補正されれば、補正前に比べて全体としての統一感は改善される。また、画像サイズの小さなコマ画像は大きなコマ画像に比べて全体としての統一感に与える影響は小さいと考えられる。このため、画像サイズの大きなコマ画像のみに、または、画像サイズの大きなコマ画像を優先して、補正を行ってもよい。また、例えば、特定のコマ画像の特徴量を目標特徴量として設定する場合であれば、その他のコマ画像を１枚だけ補正した場合であっても、全体としての統一感が改善する可能性がある。従って、組み画像処理部１０９ｃでは、少なくとも１枚のコマ画像を補正すればよく、２枚以上のコマ画像を補正することがより望ましい。

また、組み画像処理部１０９ｃは、生成された組み画像の画像データに対して特殊効果を付加する処理を行う。組み画像全体に対して特殊効果を付加することで、組み画像の全体としての統一感をさらに改善することができる。

被写体検出部１０９ｄは、パターンマッチング技術等を用いた画像解析により、所定の被写体、例えば、人の顔やペットなどの動物を検出する処理を行う。さらに、検出した被写体の種類、大きさ、位置などを算出する処理を行ってもよい。これらの検出結果は、例えば、撮影モードの切り換え、オートフォーカス、被写体像を一定の大きさに撮像するオートズームなどに利用され得る。

ＡＥ処理部１１１は、バス１１０を介して入力された画像データに基づいて被写体輝度を測定し、測定した被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。なお、ここでは、ＡＥ処理部１１１により画像データに基づいて被写体輝度を算出する構成が採用されているが、カメラ１は、被写体輝度の測定のために専用の測光センサを設けることにより、同様の機能を実現してもよい。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得する。ＡＦ処理部１１３は、取得した合焦標価値を、バス１１０を介してマイクロコンピュータ１２１に出力する。すなわち、カメラ１は、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。

画像圧縮展開部１１７は、画像データをメモリＩ／Ｆ１２９に接続された記録媒体１３１へ記録するときに、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ等の圧縮方式、また動画の場合にはＭＰＥＧ等の圧縮方式に従って、圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成する。マイクロコンピュータ１２１は、作成したファイルを、メモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。

また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施例では、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用する例を示したが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でもよい。

通信部１１９は、後述するフラッシュメモリ１２５内に記憶されているテンプレートの更新や追加のために、外部機器と通信する。通信部１１９は、有線ＬＡＮや無線ＬＡＮによって外部機器と接続されてもよく、その他、ＵＳＢケーブルなどによって外部機器と接続されてもよい。

マイクロコンピュータ１２１は、カメラ１全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦、モードダイヤル等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。つまり、カメラ１では、操作部１２３は、ユーザからの種々の指示（例えば、撮影指示、キャンセル指示、復元指示、再生指示など）を受け付ける受付部として機能する。

電源釦は、カメラ１の電源のオン／オフを指示するための操作部材である。電源釦が押されるとカメラ１の電源はオンとなり、再度、電源釦が押されるとカメラ１の電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチにつながっている。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影した画像の画像データを読み出し、表示パネル１３５に画像を再生表示する。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、特殊効果（アートフィルタ）の設定がある。特殊効果としては、ファンタジックフォーカス、ポップ、アート、トイフォト、ラフモノクローム、ジオラマ等、種々の特殊効果が設定可能である。その他にも、組み画像の設定もメニュー画面上で行うことができる。

モードダイヤルは、撮影モードを選択するためのダイヤルである。カメラ１では、モードダイヤルを操作することで、撮影モードが通常の撮影を行う通常モードと組み画像の撮影を行う組み画像モードとの間で切り替わる。なお、ここで、各モードについて具体的に説明すると、通常モードとは、撮影前には表示パネル１３５の全体にライブビュー画像が表示され、撮影後には表示パネル１３５の全体に撮影した画像が表示されるモードであり、１回の撮影で１枚の画像データを生成するモードである。一方、組み画像モードとは、撮影前には表示パネル１３５に定義された、画像を表示するための複数の領域（以降、表示領域と記す。）の一つにライブビュー画像が表示され、撮影後にはライブビュー画像が表示されていた表示領域に撮影した画像が表示されるとともに他の表示領域にライブビュー画像が表示されるモードである。組み画像モードでは、１回の撮影で組み画像を構成する１枚のコマ画像の画像データが生成されるため、通常は１枚の組み画像を得るために複数回の撮影が行われる。

操作部１２３は、さらに、タッチ入力部１２４を備えている。タッチ入力部１２４は、例えば、表示パネル１３５に重ねて配置されたタッチパネルセンサである。タッチ入力部１２４は、ユーザによる表示パネル１３５に対するタッチ操作を検出し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からのタッチ入力部１２４の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。

なお、操作部１２３は、上述した各種釦を表示パネル１３５上に備えてもよい。すなわち、カメラ１の表面に物理的に釦を設ける代わりに、表示パネル１３５に釦を表示してタッチ入力部１２４で表示パネル１３５に表示された釦に対する操作を検出してもよい。なお、レリーズ釦を表示パネル１３５に表示する代わりに、表示パネル１３５をレリーズ釦として機能させてもよい。その場合、表示パネル１３５にタッチしたとき、または、表示パネル１３５のうちのライブビュー画像が表示されている表示領域にタッチしたときをレリーズ釦が半押された状態とし、所定時間（例えば1秒）以上タッチされ続けたときをレリーズ釦が全押しとした状態のみなしても良いし、タッチしたときをレリーズ釦が半押しされた状態と全押しした状態とみなしても良い。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はフラッシュメモリ１２５に記憶されたプログラムに基づいてカメラ全体の制御を行う。また、フラッシュメモリ１２５は、カラーマトリックス係数、ホワイトバランスモードに応じたＲゲインとＢゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。また、フラッシュメモリ１２５には、後述する補正目標が記憶されていても良い。さらに、フラッシュメモリ１２５は、組み画像のスタイル、つまり、組み画像を構成するコマ画像をどのようにレイアウトするかに関する情報等をテンプレートとして記憶している。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の、電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮展開部１１７等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されている。メモリＩ／Ｆ１２９は、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に対して書き込みおよび読み出しする制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵された不揮発性メモリやハードディスク等であっても良い。

表示ドライバ１３３は、表示パネル１３５に接続されている。表示ドライバ１３３は、ＳＤＲＡＭ１２７や記録媒体１３１から読み出されて、画像圧縮展開部１１７によって伸張された画像データに基づいて、画像を表示パネル１３５に表示させる。表示パネル１３５は、例えば、カメラ本体１００の背面に設けられた液晶ディスプレイ（ＬＣＤ）であり、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示パネル１３５は、ＬＣＤの他に有機ＥＬなどであってもよく、さらに他の表示パネルが採用されてもよい。また、撮影モードが組み画像モードの場合に定義される複数の表示領域のレイアウトは、組み画像のスタイルによって画定される。

次に、図２Ａから図８を参照しながら、以上のように構成されたカメラ１で行われる処理について説明する。なお、図２Ａから図８のフローチャートが示すカメラの処理は、フラッシュメモリ１２５に記憶されているプログラムをマイクロコンピュータ１２１が実行することにより行われる。はじめに、図２Ａ及び図２Ｂに示されるカメラの処理全体の流れについて説明する。

操作部１２３の内の電源釦が操作されてカメラ１の電源がオンになり、図２Ａ及び図２Ｂに示すカメラ１の処理が開始されると、マイクロコンピュータ１２１は、カメラ１を初期化する（ステップＳ１）。ここでは、機械的初期化と各種フラグ等の初期化等の電気的初期化が行われる。初期化対象のフラグとしては、例えば、動画を記録中か否かを示す記録中フラグなどがあり、初期化により記録中フラグはオフに設定される。

初期化が完了すると、次に、マイクロコンピュータ１２１は、再生釦が押されたか否かを判定する（ステップＳ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。また、再生釦が表示パネル１３５に表示されている場合には、タッチ入力部１２４からの信号を検知し、判定する。再生釦が押下されると、マイクロコンピュータ１２１は動作モードを再生モードに設定して、記録媒体１３１に記録された画像データを再生し表示パネル１３５に表示する再生処理を実行する（ステップＳ４）。再生処理が完了すると、再びステップＳ３の処理を実行する。

ステップＳ３で再生釦が押下されていないと判定されると、マイクロコンピュータ１２１はメニュー釦が押下されたか否か、すなわち、メニュー画面が表示されてカメラ設定が行われる状態になったか否かを判定する（ステップＳ５）。ここでは、操作部１２３内のメニュー釦の操作状態を検知し、判定する。メニュー釦が表示パネル１３５に表示されている場合には、タッチ入力部１２４からの信号を検知し、判定する。

メニュー釦が押下されると、マイクロコンピュータ１２１は、操作部１２３に対するさらなる操作を検出して、検出結果に従ってカメラ設定を変更する（ステップＳ７）。カメラ設定処理が完了すると、再びステップＳ３の処理を実行する。

なお、カメラ設定としては、例えば、撮影モード設定、記録モード設定、画像の仕上がり設定、組み画像のスタイルの設定、組み画像に組み込む予め取得した画像を選択する設定、コマ画像を記録するか否かの設定などがある。撮影モードには、通常の撮影モードと組み画像モードがある。また、記録モードには、静止画記録モードとしてＪＰＥＧ記録、ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録等があり、動画記録モードとしてＭｏｔｉｏｎ−ＪＰＥＧ、Ｈ．２６４等がある。さらに、画像の仕上がりの設定には、自然に見える画像にする（Ｎａｔｕｒａｌ）、鮮やかな画像にする（Ｖｉｖｉｄ）、落ち着いた画像にする（Ｆｌａｔ）といった設定の他に、アートフィルタ等の特殊効果の設定がある。

ステップＳ５でメニュー釦が押されていないと判定されると、マイクロコンピュータ１２１は、動画釦が押下されたか否かを判定する（ステップＳ９）。ここでは、操作部１２３内の動画釦の操作状態を検知し、判定する。動画釦が表示パネル１３５に表示されている場合には、タッチ入力部１２４からの信号を検知し、判定する。

動画釦が押されていないと判定されると、マイクロコンピュータ１２１は、ステップＳ１９の処理を実行する。一方、動画釦が押されると、マイクロコンピュータ１２１は、記録中フラグを反転させる（ステップＳ１１）。つまり、記録中フラグがオフであればオンに、オンであればオフに変更する。さらに、マイクロコンピュータ１２１は、反転後の記録中フラグの状態に基づいて画像記録中か否かを判定する（ステップＳ１３）。

記録中フラグがオンと判定されると、マイクロコンピュータ１２１は、動画記録の開始が指示されたと判断して動画ファイルを生成し（ステップＳ１５）、画像データを記録するための準備を整える。このような処理は、例えば、電源オン後はじめて動画釦が押下された場合などに行われる。なお、動画ファイル生成後は、ステップＳ１９の処理が実行される。

ステップＳ１３で記録中フラグがオフと判定されると、マイクロコンピュータ１２１は、動画記録の終了が指示されたと判断して、動画ファイルを閉じる（ステップＳ１７）。つまり、動画ファイルのヘッダにフレーム数を記録する処理等を行って動画ファイルを再生可能な状態にしてから、書き込み処理を終了する。なお、動画ファイルへの書き込み終了後は、ステップＳ１９の処理が実行される。

ステップＳ１９では、マイクロコンピュータ１２１は、撮影モードが組み画像モードであり、且つ、操作部１２３に対して所定の組み画像操作が行われたか否かを判定する。ここでは、ＳＤＲＡＭ１２７に記憶されている撮影モードの設定と操作部１２３の操作状態とを検知し、判定する。

組み画像モードで且つ所定の操作が行われたと判定されると、マイクロコンピュータ１２１は、組み画像操作処理を実行する（ステップＳ６００）。組み画像操作処理が完了すると、ステップＳ２１の処理を実行する。なお、組み画像操作処理の詳細については、図８Ａ及び図８Ｂを参照しながら後に詳述する。

ステップＳ１９で撮影モードが組み画像モードでないと判定されるか、操作部１２３に対して所定の組み画像操作が行われていないと判定されると、マイクロコンピュータ１２１は、レリーズ釦が半押しされたか否かを判定する（ステップＳ２１）。ここでは、レリーズ釦に連動するファーストレリーズスイッチのオフからオンへの遷移を検知し、判定する。レリーズ釦が表示パネル１３５に表示されている場合または表示パネル１３５がレリーズ釦として機能している場合には、レリーズ釦が表示されている領域またはライブビュー画像が表示されている表示領域をタッチしたことを示す信号を検出し、判定する。

レリーズ釦が半押しされると、マイクロコンピュータ１２１は、ＡＥ・ＡＦ動作を実行する（Ｓ２３）。ここでは、ＡＥ動作は、ＡＥ処理部１１１が撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて適正露出となるシャッタ速度、絞り値等を算出することにより行われる。また、ＡＦ動作は、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させることにより行われる。なお、タッチ入力部１２４からの信号によりＡＦ動作が行われる場合には、タッチ位置に表示されている被写体に合焦点するように撮像レンズ２０１を移動させる。ＡＥ・ＡＦ動作後は、ステップＳ２５の処理が実行される。
ＡＦ動作は上述の所謂コントラストＡＦ以外にも、専用のセンサを用いた位相差ＡＦ等様々なＡＦ方式を用いても良い。

ステップＳ２１でレリーズ釦が半押しされていないと判定されると、マイクロコンピュータ１２１は、レリーズ釦が全押しされたか否かを判定する（ステップＳ２７）。ここでは、セカンドレリーズスイッチのオフからオンへの遷移を検知し、判定する。セカンドレリーズスイッチがオフの状態であることを検知して判定することで、連写撮影を行うようにしても良い。また、レリーズ釦が表示パネル１３５に表示されている場合または表示パネル１３５がレリーズ釦として機能している場合には、レリーズ釦が表示されている領域またはライブビュー画像が表示されている表示領域をタッチしたことを示す信号を検出し、判定する。

レリーズ釦が全押しされると、マイクロコンピュータ１２１は、メカシャッタによる静止画撮影を行う（Ｓ２９）。ここでは、ステップＳ２３で算出された絞り値で絞り２０３が制御され、また算出されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０を介してＳＤＲＡＭ１２７に一時記憶される。

その後、マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータを読み出して、画像処理部１０９に画像処理を実行させ（ステップＳ１００ａ）、処理した画像データ等を記録媒体１３１に記録する静止画記録処理を実行する（ステップＳ５００）。なお、画像処理と静止画記録処理の詳細については、それぞれ、図３から図６、図７を参照しながら後に詳述する。

静止画記録処理が完了すると、マイクロコンピュータ１２１は、撮影モードが組み画像モードか否かを判定する（ステップＳ３１）。ここでは、ＳＤＲＡＭ１２７に記憶されている撮影モードの設定により、判定する。

撮影モードが組み画像モードでない場合、つまり、通常の撮影モードの場合、マイクロコンピュータ１２１は、ステップＳ２５の処理を実行する。一方、撮影モードが組み画像モードの場合には、マイクロコンピュータ１２１は、ライブビュー表示を変更する（ステップＳ３３）。なお、カメラ１では、撮影モードが組み画像モードの場合には、表示パネル１３５が複数の表示領域を有し、後述するステップＳ３９での処理により、そのうちの１つの表示領域にライブビュー画像が表示されている。ステップＳ３３のライブビュー表示の変更処理では、マイクロコンピュータ１２１の制御の下、ライブビュー画像が表示される表示領域を変更するように、表示ドライバ１３３が表示パネル１３５を制御する。より具体的には、ライブビュー画像が表示されていた表示領域に表示される画像をステップＳ２９で撮影しステップＳ１００ａで画像処理された画像に変更する。さらに、ライブビュー画像が表示されるべき表示領域を切り替えて、他の表示領域にライブビュー画像を表示させる。即ち、カメラ１では、マイクロコンピュータ１２１及び表示ドライバ１３３は、表示パネル１３５を制御する表示制御部として機能する。ライブビュー表示処理後、マイクロコンピュータ１２１は、ステップＳ２５の処理を実行する。

ステップＳ２７でレリーズ釦が全押しされていないと判定されると、マイクロコンピュータ１２１は、動画またはライブビュー画像のために、ＡＥ動作を実行する（ステップＳ３５）。ＡＥ動作は、適正露出でライブビュー表示を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度をＡＥ処理部１１１が算出することにより行われる。ＡＥ動作後、マイクロコンピュータ１２１は、電子シャッタによる撮影を行う（ステップＳ３７）。ここでは、電子シャッタを用いて撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０を介してＳＤＲＡＭ１２７に一時記憶される。

その後、マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータを読み出して、メカシャッタによる撮影の場合と同様の画像処理を画像処理部１０９に実行させる（ステップＳ１００ｂ）。さらに、マイクロコンピュータ１２１の制御の下、ライブビュー画像が表示されている表示領域の画像をステップＳ３７で取得されてステップＳ１００ｂで画像処理された画像データに変更してライブビュー画像を更新するように、表示ドライバ１３３が表示パネル１３５を制御する（ステップＳ３９）。

ライブビュー画像を更新すると、マイクロコンピュータ１２１は、動画記録中か否かを判定する（ステップＳ４１）。ここでは、ＳＤＲＡＭ１２７に記憶されている記録中フラグの状態により、判定する。

記録中フラグがオフの場合には、マイクロコンピュータ１２１は、ステップＳ２５の処理を実行する。一方、記録中フラグがオンの場合には、マイクロコンピュータ１２１は動画記録中と判断し、動画記録する（ステップＳ４３）。即ち、ステップＳ３９で更新したライブビュー画像の画像データをステップＳ１５で生成した動画ファイルのフレーム画像として記録する。その後、ステップＳ２５の処理を実行する。

ステップＳ２５では、マイクロコンピュータ１２１は、電源がオフか否かを判定する。電源がオンの場合には、ステップＳ３の処理を実行する。オフの場合には、マイクロコンピュータ１２１は必要な終了処理を実行後、カメラ１の処理を終了する。

上述したように動作するカメラ１によれば、例えば、時間の経過に従って移動している被写体を組み画像モードで撮影する場合、図９に示されるように、ライブビュー画像が表示されている表示領域をタッチするだけで、組み画像を構成するコマ画像を容易に取得し、タッチした表示領域に表示されている画像をライブビュー画像から取得したコマ画像に変更することができる。つまり、ライブビュー画像をタッチする操作は、撮影指示に相当する。さらに、ライブビュー画像が表示される領域が自動的に切り替わり、コマ画像（組み画像に組み込まれる予め取得した画像を含む）が表示されていない他の表示領域にライブビュー画像が表示されるため、被写体が動いている場合であってもシャッタチャンスを逃すことなく、素早く次のコマ画像を取得することが可能である。また、表示パネル１３５に定義された複数の表示領域のうちの１つの表示領域にのみライブビュー画像が表示されているため、ユーザに撮影に集中しやすい環境を提供することができる。

次に、図３から図６を参照しながら、図２Ｂに示されるメカシャッタによる撮影または電子シャッタによる撮影後に行われる画像処理について、さらに詳細に説明する。なお、メカシャッタによる撮影後に行われる画像処理の対象は、メカシャッタによる撮影で取得されたＲＡＷデータであり、電子シャッタによる撮影後に行われる画像処理の対象は、電子シャッタによる撮影で取得されたＲＡＷデータである。

画像処理は、図３に示すように、主として、基本画像処理部１０９ａにより行われる基本画像処理と、特殊画像処理部１０９ｂにより行われる特殊画像処理と、組み画像処理部１０９ｃにより行われる組み画像生成処理とから、構成されている。

マイクロコンピュータ１２１がＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータを読み出して、画像処理部１０９に画像処理を指示すると、まず、基本画像処理部１０９ａが読み出されたＲＡＷデータに対して基本画像処理を実行する（ステップＳ２００）。

基本画像処理部１０９ａが実行する基本画像処理は、図４に示すように、７つの画像処理ステップにより構成されている。最初に、オプティカルブラック（ＯＢ）減算を行う（ステップＳ２０１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部が、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。

ＯＢ減算後、ホワイトバランス（ＷＢ）補正を行う（ステップＳ２０３）。このステップでは、基本画像処理部１０９ａ内のＷＢ補正部が、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、画像データにその値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。

続いて、同時化処理を行う（ステップＳ２０５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部が、各画素のデータ（ベイヤデータ）をＲＧＢデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。なお、このステップは、撮像素子１０３としてＦＯＶＥＯＮ（フォベオン・インコーポレーテッドの登録商標）形式の撮像素子を用いた場合等、ＲＡＷデータにおいて１画素あたり複数のデータを有している場合には省略される。

同時化処理後、色再現処理を行う（ステップＳ２０７）。このステップでは、基本画像処理部１０９ａ内の色再現処理部が、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って、画像データの色を補正する。なお、カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。

色再現処理後、輝度変更処理を行う（ステップＳ２０９）。このステップでは、基本画像処理部１０９ａ内の輝度変更処理部が、画像データ（ＲＧＢデータ）に対してガンマ補正処理を行う。さらに、ＲＧＢデータからＹＣｂＣｒデータに色変換し、変換後の画像データのＹデータに対してガンマ補正を行う。なお、ガンマ補正では、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出して使用する。

図１０は、ステップＳ２０９の輝度変更処理で使用されるガンマテーブルを例示した図である。図１０では、ＲＧＢデータに対するガンマ補正処理で使用される単一のテーブルＲと、ＹＣｂＣｒデータのうちのＹデータに対するガンマ補正処理でアートフィルタの設定に応じて使用される複数の異なるテーブル（テーブルＹ１、Ｙ２、Ｙ３）が例示されている。ここで、テーブルＹ１は、ファンタジックフォーカスが設定される場合に使用されるテーブルである。テーブルＹ２は、ポップアートまたはトイフォトが設定されている場合に使用されるテーブルである。テーブルＹ３は、それら以外の設定の場合に使用されるテーブルである。なお、ＲＧＢデータに対するガンマ補正処理も、Ｙデータに対するガンマ補正処理と同様に、アートフィルタの設定毎に異なるテーブルを使用してもよい。

輝度変更処理後、エッジ強調を行う（ステップＳ２１１）。このステップでは、画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。

最後に、ＮＲ（ノイズ除去）を行う（ステップＳ２１３）。このステップでは、基本画像処理部１０９ａ内のＮＲ部が、画像を周波数分解し、周波数に応じてコアリング処理を行うことでノイズを低減する処理を行う。

以上の基本画像処理が完了すると、特殊効果（アートフィルタ）が設定されている場合には、基本画像処理部１０９ａにより処理された画像データに対して、特殊画像処理部１０９ｂが特殊画像処理を実行する（図３のステップＳ１０１、ステップＳ３００）。

特殊画像処理部１０９ｂが実行する特殊画像処理は、図５Ａ及び図５Ｂに示すように、特殊効果の設定に応じて行われる７つの画像処理ステップを中心に構成されている。具体的には、特殊効果（アートフィルタ）として、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル、ホワイトエッジ、パートカラーが設定されているか否かを順に判定する（ステップＳ３０３、ステップＳ３０７、ステップＳ３１１、ステップＳ３１５、ステップＳ３１９、ステップＳ３２３、ステップＳ３２７）。

トイフォトが設定されている場合には、画像データに対してシェーディング付加処理を行う（ステップＳ３０５）。このステップでは、特殊画像処理部１０９ｂが中心からの距離に応じて徐々に輝度が低下するようなゲインマップ（ゲイン値は１以下）を生成し、画像データに対してそのゲインマップに従って各画素に応じたゲインを乗じることで、周辺にシェーディングを付加する。

ファンタジックフォーカスが設定されている場合には、画像データに対してソフトフォーカス処理を行う（ステップＳ３０９）。このステップでは、特殊画像処理部１０９ｂが画像全体にぼかし処理を施した画像データを生成し、ぼかす前の画像の画像データとぼかし処理後の画像の画像データとを所定の割合（例えば、３：２など）で合成する。

ラフモノクロームが設定されている場合には、画像データに対してノイズ重畳処理を行う（ステップＳ３１３）。このステップでは、特殊画像処理部１０９ｂが予め作成したノイズパターンを画像データに加算する。なお、ノイズパターンは乱数等に基づいて生成してもよい。

ジオラマが設定されている場合には、画像データに対してぼかし処理を行う（ステップＳ３１７）。このステップでは、特殊画像処理部１０９ｂがＡＦのターゲットを中心に画像の周辺（例えば、上下または左右、または、その両方）を距離に応じて徐々にぼかす。

クリスタルが設定されている場合には、画像データに対してクロスフィルタ処理を行う（ステップＳ３２１）。このステップでは、特殊画像処理部１０９ｂが画像中の輝点を検出し、その輝点を中心にクロスパターンが描画されるように画像データを加工する。

ホワイトエッジが設定されている場合には、画像データに対してその周辺部を白くする処理を行う（ステップＳ３２５）。このステップでは、予め画像の中心からの距離に応じて徐々に白の割合が大きくなるような特性を設計しておき、特殊画像処理部１０９ｂがその特性に従って画像の各画素データを加工する。

パートカラーが設定されている場合には、所定の色域以外の色を無彩色にする処理を行う（ステップＳ３２９）。このステップでは、特殊画像処理部１０９ｂが予め設定された所定の色以外の画素データを無彩色の画素データに変換する。

以上の特殊画像処理が完了すると、撮影モードが組み画像モードであるか否かを組み画像処理部１０９ｃが判定する（図３のステップＳ１０３）。撮影モードが組み画像モードでない場合には、画像処理を終了する。

撮影モードが組み画像モードである場合には、組み画像処理部１０９ｃが、表示パネル１３５の複数の表示領域に表示されている複数の画像の画像データを用いて、組み画像生成処理を実行する（図３のステップＳ４００）。

組み画像処理部１０９ｃが実行する組み画像生成処理は、図６に示すように、６つの画像処理ステップで構成されていて、それぞれのステップで行われる処理は、図１１に示す組み画像処理部１０９ｃの各種機能により実行される。

最初に、基本画像処理（及び特殊画像処理）が行われた各コマ画像に対して画像解析を行う（ステップＳ４０３）。このステップでは、図１１に示す特徴量算出部１５１が、各コマ画像を解析して、各画像の特徴を示す特徴量を算出する。特徴量としては、例えば、コマ画像の輝度分布、色差信号分布、色相分布、または、彩度分布などが挙げられ、これらのうちの少なくとも一つが含まれることが望ましい。

画像解析後、複数のコマ画像に対して単一の補正目標を作成する（ステップＳ４０５）。このステップでは、図１１に示す目標特徴量算出部１５２が特徴量算出部で算出された特徴量から補正目標である目標特徴量を算出する。目標特徴量は、例えば、複数のコマ画像の特徴量の平均、最初に解析したコマ画像の特徴量、最後に解析したコマ画像の特徴量、その他、各コマ画像の特徴量を重み付けして算出される特徴量などである。つまり、複数の画像データの特徴量から算出しても良く、単一の画像データの特徴量から算出しても良い。また、目標特徴量は、必ずしも、特徴量算出部１５１で算出された特徴量と同様に分布として算出される必要はなく、所定値を目標特徴量として算出しても良い。例えば、特徴量が色差信号分布である場合であれば、目標特徴量は、色差信号分布のピークが示す色差、色差信号分布の中心が示す色差などであってもよい。

その後、コマ画像データを補正するための補正パラメータをコマ画像毎に算出する（ステップＳ４０７）。このステップでは、図１１に示すパラメータ算出部１５３が特徴量算出部１５１で算出された特徴量と目標特徴量算出部１５２で算出された目標特徴量から、補正後のコマ画像の特徴量が目標特徴量に近づくような補正パラメータをコマ画像毎に算出する。

補正パラメータを算出すると、特徴量算出部１５１で算出された特徴量が目標特徴量に近づくように各コマ画像を補正する画像補正処理を行う（ステップＳ４０９）。このステップでは、図１１に示す画像補正部１５４がパラメータ算出部１５３でコマ画像毎に算出された補正パラメータにより、各コマ画像を補正する。これにより、補正されたコマ画像の特徴量が目標特徴量に近づくことで、コマ画像間の特徴量の差が小さくなる。

画像補正が終了すると、組み画像を構成する複数のコマ画像を背景画像上に合成する（ステップＳ４１１）。このステップでは、画像補正部１５４で補正されたコマ画像が組み画像のスタイルに従ってレイアウトされるように、図１１に示す組み画像生成部１５５が組み画像を構成する複数のコマ画像の画像データを合成することで組み画像の画像データを生成する。

最後に、組み画像に対して特殊効果を付加する（ステップＳ４１３）。このステップでは、図１１に示す特殊効果付加部１５６が組み画像生成部１５５で生成された組み画像の画像データに対して、シェーディングやぼかし等の特殊効果を付加する処理を行う。なお、この特殊効果は、カメラ設定における仕上がり設定に依存しせず、例えば、組み画像のスタイルなどに応じて付与してもよい。以上の処理が終了すると、図６の組み画像生成処理を終了し、図３の画像処理が終了する。

以下、上述したコマ画像に対する補正処理について、図１２から図１４を参照しながら、組み画像が２枚のコマ画像からなり、その２枚のコマ画像をともに補正する場合を例に、具体的に説明する。

図１２には、２枚のコマ画像の輝度分布を近づける補正の例が示されている。この例では、まず、図１２（ａ）に示されるように、特徴量算出部１５１が２枚のコマ画像（第１の画像と第２の画像）のＲＧＢデータをＹＣｂＣｒデータに色変換し、それぞれの画像の特徴量として輝度分布（輝度ヒストグラムである分布Ｂ１、Ｂ２）を算出する。そして、目標特徴量算出部１５２が分布Ｂ１と分布Ｂ２から目標とすべき輝度分布を補正目標Ｔとして算出する。次に、図１２（ｂ）に示されるように、パラメータ算出部１５３が、分布Ｂ１を有する第１の画像を補正目標Ｔに近い分布を有する画像に補正するための補正パラメータとして、ＲＧＢ色空間におけるテーブルＣ１を分布Ｂ１と補正目標Ｔから算出する。同様に、分布Ｂ２を有する第２の画像を補正目標Ｔに近い分布を有する画像に補正するための補正パラメータとして、ＲＧＢ色空間におけるテーブルＣ２を分布Ｂ２と補正目標Ｔから算出する。最後に、画像補正部１５４がテーブルＣ１、Ｃ２を用いて第１の画像、第２の画像を補正し、図１２（ｃ）に示す補正目標Ｔに近い輝度分布（輝度ヒストグラムである分布Ａ１、Ａ２）を有する補正後の第１の画像、第２の画像を得る。

図１３には、２枚のコマ画像のＣｂ成分の色差信号分布を近づける補正の例が示されている。この例では、まず、図１３（ａ）に示されるように、特徴量算出部１５１が２枚のコマ画像（第１の画像と第２の画像）のＲＧＢデータをＹＣｂＣｒデータに色変換し、それぞれの画像の特徴量としてＣｂ成分の色差信号分布（色差信号ヒストグラムである分布Ｂ１、Ｂ２）を算出する。そして、目標特徴量算出部１５２が分布Ｂ１と分布Ｂ２から目標とすべき色差信号分布を代表とする色差の階調（例えば、分布のピークが示す階調や分布の中心が示す階調など）を補正目標Ｔとして算出する。次に、図１３（ｂ）に示されるように、パラメータ算出部１５３が、分布を代表する階調が補正目標Ｔに近い値となるように分布Ｂ１を有する第１の画像を補正するための補正パラメータとして、色差信号分布のオフセット値を分布Ｂ１と補正目標Ｔから算出する。同様に、分布を代表する階調が補正目標Ｔに近い値となるように分布Ｂ２を有する第２の画像を補正するための補正パラメータとして、色差信号分布のオフセット値を分布Ｂ２と補正目標Ｔから算出する。最後に、画像補正部１５４がそれぞれのオフセット値を用いて第１の画像、第２の画像を補正し、図１３（ｃ）に示す分布を代表する階調が補正目標Ｔに近い色差信号分布（色差信号ヒストグラムである分布Ａ１、Ａ２）を有する補正後の第１の画像、第２の画像を得る。補正後分布の一部が階調の最大値を上回るまたは最小値を下回る場合には、例えば、その部分については最大値、または最小値にクリップすればよい。なお、色差信号分布についても、図１２に示す輝度分布の補正と同様に、テーブル変換により分布を近づけても良い。

図１４には、２枚のコマ画像のＣｒ成分の色差信号分布を近づける補正の例が示されている。なお、詳細は、図１３に示す２枚のコマ画像の色差Ｃｂを近づける補正と同様であるので、省略する。

図１２から図１４に示す補正を行うことで、２枚のコマ画像の輝度及び色差を近づけることができるため、これらをレイアウトした組み画像の統一感を改善することができる。なお、組み画像処理部１０９ｃは、必ずしも図１２から図１４に示す補正すべてを行う必要はなく、いずれか１つの補正を行うことによっても組み画像の統一感は改善され得る。
図１５及び図１６は、組み画像が２枚のコマ画像からなり、その２枚のコマ画像をともに補正する場合についての別の具体例である。

図１５には、２枚のコマ画像の彩度分布を近づける補正の例が示されている。この例では、まず、図１５（ａ）に示されるように、特徴量算出部１５１が２枚のコマ画像（第１の画像と第２の画像）のＲＧＢデータをＨＳＶデータに色変換し、それぞれの画像の特徴量として彩度分布（彩度ヒストグラムである分布Ｂ１、Ｂ２）を算出する。そして、目標特徴量算出部１５２が分布Ｂ１と分布Ｂ２から目標とすべき彩度分布を補正目標Ｔとして算出する。次に、図１５（ｂ）に示されるように、パラメータ算出部１５３が、分布Ｂ１を有する第１の画像を補正目標Ｔに近い分布を有する画像に補正するための補正パラメータとして、各彩度に対するゲインを示すテーブルＣ１を分布Ｂ１と補正目標Ｔから算出する。同様に、分布Ｂ２を有する第２の画像を補正目標Ｔに近い分布を有する画像に補正するための補正パラメータとして、各彩度に対するゲインを示すテーブルＣ２を分布Ｂ２と補正目標Ｔから算出する。最後に、画像補正部１５４がテーブルＣ１、Ｃ２を用いて第１の画像、第２の画像を補正し、図１５（ｃ）に示す補正目標Ｔに近い彩度度分布（彩度ヒストグラムである分布Ａ１、Ａ２）を有する補正後の第１の画像、第２の画像を得る。

図１６には、２枚のコマ画像の色相分布を近づける補正の例が示されている。この例では、まず、図１６（ａ）に示されるように、特徴量算出部１５１が２枚のコマ画像（第１の画像と第２の画像）のＲＧＢデータをＨＳＶデータに色変換し、それぞれの画像の特徴量として色相分布（色相ヒストグラムである分布Ｂ１、Ｂ２）を算出する。そして、目標特徴量算出部１５２が分布Ｂ１と分布Ｂ２から目標とすべき色相分布を代表する色相の角度を補正目標Ｔとして算出する。次に、図１６（ｂ）に示されるように、パラメータ算出部１５３が、分布を代表する角度が補正目標Ｔに近い値となるように分布Ｂ１を有する第１の画像を補正するための補正パラメータとして、色相分布のオフセット値（色相回転量）を分布Ｂ１と補正目標Ｔから算出する。同様に、分布を代表する角度が補正目標Ｔに近い値となるように分布Ｂ２を有する第２の画像を補正するための補正パラメータとして、色相分布のオフセット値（色相回転量）を分布Ｂ２と補正目標Ｔから算出する。最後に、画像補正部１５４がそれぞれのオフセット値を用いて第１の画像、第２の画像を補正し、図１６（ｃ）に示す補正目標Ｔに近い色相分布（色相ヒストグラムである分布Ａ１、Ａ２）を有する補正後の第１の画像、第２の画像を得る。なお、補正により角度が３６０度を上回る部分については０度側に移動させ、角度が０度を下回る部分については３６０度側に移動させる。この点は、色差の場合とは異なる。

図１５及び図１６に示す補正を行うことで、２枚のコマ画像の彩度及び色相を近づけることができることができるため、これらをレイアウトした組み画像の統一感を改善することができる。なお、組み画像処理部１０９ｃは、必ずしも図１５と図１６に示す補正の両方を行う必要はなく、いずれか一方の補正を行うことによっても組み画像の統一感は改善され得る。

また、図１５及び図１６では、ＨＳＶ空間で彩度及び色相を補正する例を示したが、簡易的には、ＣｂＣｒ平面におけるＣｂ軸のプラス側（無彩色の場合のＣｂの値よりも大きい側）の軸に対する角度を色相、無彩色からの距離を彩度としてみなすことができるため、彩度及び色相の補正はＹＣｂＣｒ色空間で補正してもよい。
ＣｂＣｒ平面におけるＣｂ軸、Ｃｒ軸は一般的（ＩＴＵ−Ｒ ＢＴ６０１規格で一般的に知られている）なので、図示しない。

次に、上述した補正処理のうちの補正パラメータの算出方法について、図１７から図２２を参照しながら、さらに具体的に説明する。なお、補正パラメータの算出方法は、図１７から図２２に例示される方法に限られず、任意の方法により算出することができる。

図１７（ａ）及び図１７（ｂ）には、補正後の輝度分布Ａと目標とすべき分布である補正目標Ｔとの差が分布の何点か（例えば、低、中、高の３階調）において所定範囲内になるように補正前の輝度分布Ｂを補正するパラメータとして、補正パラメータが算出される例が示されている。

図１８（ａ）及び図１８（ｂ）には、補正後の輝度分布Ａと目標とすべき分布である補正目標Ｔとが分布の一部分Ｐ１において一致するように補正前の輝度分布Ｂを補正するパラメータとして、補正パラメータが算出される例が示されている。

図１９（ａ）及び図１９（ｂ）には、補正後の輝度分布Ａのピーク（最大度数）及びその階調と目標とすべき分布である補正目標Ｔのピーク（最大度数）及びその階調が一致するように補正前の輝度分布Ｂを補正するパラメータとして、補正パラメータが算出される例が示されている。

図２０（ａ）及び図２０（ｂ）には、補正後の輝度分布Ａのピーク（最大度数）と目標とすべき輝度の最大度数である補正目標Ｔが一致するように補正前の輝度分布Ｂを補正するパラメータとして、補正パラメータが算出される例が示されている。

図２１（ａ）及び図２１（ｂ）には、補正後の色差信号分布Ａのピーク（最大度数）が示す階調と目標とすべき階調である補正目標Ｔが一致するように補正前の色差信号分布Ｂを補正するパラメータとして、補正パラメータが算出される例が示されている。

図２２（ａ）及び図２２（ｂ）には、補正後の色差信号分布Ａの中心が示す階調と目標とすべき階調である補正目標Ｔが一致するように補正前の色差信号分布Ｂを補正するパラメータとして、補正パラメータが算出される例が示されている。この場合、分布の中心はノイズを考慮して決定しても良い。

上述したように動作するカメラ１によれば、組み画像を構成する複数のコマ画像の各々が同じ補正目標に向かって補正される。このため、組み画像を構成する複数のコマ画像の特徴量が互いに近づいて類似するようになり、コマ画像間の特徴量の差が小さくなる。その結果、各コマ画像が観察者に与える印象が似通った、全体として統一感のある組み画像の画像データを生成することができる。また、カメラ１では、複数のコマ画像の画像データを合成した後に、組み画像全体に対して特殊効果が付加される。これにより、さらに統一感が改善された組み画像の画像データを生成することができる。

なお、コマ画像の補正は、必ずしも組み画像を構成するすべてのコマ画像に対して行う必要がない点は、上述したとおりである。特徴量及び補正パラメータも、必ずしもすべてのコマ画像から算出する必要はなく、少なくとも補正の対象となるコマ画像から算出すればよい。一方、目標特徴量は、コマ画像毎ではなく組み画像毎に１つ算出し、組み画像を構成するすべてのコマ画像に対して同一の目標特徴量を使用する。なお、目標特徴量は、コマ画像の特徴量から算出することが望ましいが、予めフラッシュメモリ１２５に記録されたものを使用してもよい。

次に、図７を参照しながら、図２Ｂに示されるメカシャッタ撮影で取得された画像データに対する画像処理後に行われる静止画記録について、さらに詳細に説明する。

図７に示されるように、静止画記録処理が開始されると、まず、マイクロコンピュータ１２１が、撮影モードが組み画像モードか否かを判定する（ステップＳ５０１）。このステップでは、ＳＤＲＡＭ１２７に記憶されている撮影モードの設定により、判定する。

撮影モードが組み画像モードでない場合、マイクロコンピュータ１２１は、表示ドライバ１３３を制御して、メカシャッタにより撮影されて画像処理部１０９で画像処理された画像データの画像１枚を表示パネル１３５にレックビュー表示する（ステップＳ５１５）。その後、メモリＩ／Ｆ１２９を制御して、表示した画像の画像データを記録媒体１３１に記録させて（ステップＳ５１７）、静止画記録処理を終了する。なお、画像データは、画像圧縮伸張部１１７でＪＰＥＧ形式に圧縮されてから記録されてもよく、また、非圧縮で記録されてもよい。さらに、画像処理部１０９で画像処理される前のＲＡＷデータも記録するようにしてもよい。

一方、撮影モードが組み画像モードである場合には、マイクロコンピュータ１２１が、組み画像を構成するために撮影した画像であるコマ画像（撮影画像とも記す）の画像データを記録する設定となっているか否かを判定する（ステップＳ５０３）。記録する設定となっている場合には、マイクロコンピュータ１２１は、メモリＩ／Ｆ１２９を制御して、画像処理部１０９で処理されたコマ画像の画像データを記録媒体１３１に記録させる（ステップＳ５０４）。このとき、画像処理後のコマ画像の画像データに加えて、ＲＡＷデータや図６のステップＳ４０３の画像解析で得られた特徴量を記録しても良い。

その後、マイクロコンピュータ１２１は、組みが完了しているか否か、つまり、組み画像を構成するすべてのコマ画像を撮影済みか否か、を判定する（ステップＳ５０５）。なお、組み画像に組み込む予め取得した画像が設定されている場合には、予め取得した画像をのぞくすべてのコマ画像を撮影済みか否かを判定する。このステップは、設定された組み画像のスタイルに応じて決定される枚数のコマ画像がＳＤＲＡＭ１２７のコマ画像領域に記憶されているかにより判断する。すべてのコマ画像を撮影していない場合には、静止画記録処理を終了する。

すべてのコマ画像を撮影済みの場合には、マイクロコンピュータ１２１は、表示ドライバ１３３を制御して、画像処理部１０９で得られた組み画像を表示パネル１３５にレックビュー表示させる（ステップＳ５０７）。

その後、マイクロコンピュータ１２１は、一定期間（例えば、３秒など）、キャンセル操作を監視する（ステップＳ５０９）。これは、レックビューで表示されている組み画像が所望する画像となっているか否かを判断する時間をユーザに提供するためである。

この一定期間中にキャンセル操作が検出された場合には、指定された画像をキャンセルするために組み画像操作処理を実行し（ステップＳ６００ａ）、静止画記録処理を終了する。キャンセル操作が検出されない場合には、メモリＩ／Ｆ１２９を制御して、画像処理部１０９で生成した組み画像の画像データを記録媒体１３１に記録させて（ステップＳ５１１）、静止画記録処理を終了する。

なお、一定期間キャンセル操作を監視するのではなく、記録するかどうか（キャンセルするかどうか）を問い合わせる画面を表示し、ユーザの入力に応じてキャンセルまたは記録を行うようにしても良い。
次に、図８Ａ及び図８Ｂを参照しながら、組み画像操作処理について、さらに詳細に説明する。

図８Ａ及び図８Ｂに示されるように、組み画像操作処理が開始されると、組み画像操作処理が開始される原因となった操作が特定される。具体的には、マイクロコンピュータ１２１が、撮影コマ変更操作、キャンセル操作、復元操作、一時保存操作、一保存読み込み操作が行われた否かを、順に判定する（ステップＳ６０１、ステップＳ６０５、ステップＳ６１３、ステップＳ６１９、ステップＳ６２５）。

ステップＳ６０１の撮影コマ変更操作が行われたか否かの判定は、例えば、画像が表示されていない表示領域に対するタッチ操作をタッチ入力部１２４が検出したか否かによって行われる。マイクロコンピュータ１２１は、画像が表示されていない表示領域に対するタッチ操作を検出すると、撮影コマ変更処理、つまり、ライブビュー画像を表示すべき表示領域を切り替えてタッチされた表示領域にライブビュー画像を表示する処理、を行う（ステップＳ６０３）。

ステップＳ６０５のキャンセル操作が行われたか否かの判定は、例えば、メカシャッタによる静止画撮影により得られたＲＡＷデータに基づく画像（コマ画像）が表示されている表示領域に対するタッチ操作をタッチ入力部１２４が検出したか否かによって行われる。そして、コマ画像が表示された表示領域に対するタッチ操作を検出すると、マイクロコンピュータ１２１は、タッチされたコマ画像（表示領域）のサイズが小さいか否かを判定する（ステップＳ６０７）。

コマ画像のサイズが小さいと判定されると、後述するキャンセル処理（ステップＳ６０９、ステップＳ６１１）を行うことなく、ステップＳ６１３の処理を実行する。コマ画像のサイズが小さい場合には、例えば、撮影指示のためにライブビュー画像にタッチしたつもりが誤ってコマ画像にタッチしてしまうなど、意図した表示領域とは異なる表示領域にタッチしてしまいやすい。このため、意図しないキャンセル処理の発生を防止するため、このような判定処理が設けられている。

なお、コマ画像のサイズが小さいか否かは、表示領域の数または組み画像のスタイルによって判定されてもよい。つまり、例えば、分割数（表示領域の数）が多いレイアウトに対応するスタイルが設定されている場合には、コマ画像のサイズは小さいと判定され、それ以外のレイアウトに対応するスタイルが設定されている場合には、コマ画像のサイズは大きいと判定されるように、予め設定されていてもよい。

また、コマ画像のサイズが小さいか否かは、タッチした表示領域の面積が所定の面積よりも小さいか否かによって判定してもよい。この場合、表示領域の数または組み画像のスタイルによって判定する場合と異なり、表示パネル１３５のサイズが考慮されることになる。このため、コマ画像のサイズが意図しないキャンセル処理が発生し得るようなサイズである場合にのみ、キャンセル処理を回避することができるという点で好適である。

コマ画像のサイズが大きいと判定されると、マイクロコンピュータ１２１は、タッチされた表示領域に表示されているコマ画像の画像データを退避する回避処理を行う（ステップＳ６０９）。具体的には、図２３に示されるように、ＳＤＲＡＭ１２７にコマ画像領域とコマ画像退避領域とからなる表示・記憶用組み画像記憶領域が確保されている場合に、図２４（ａ）及び図２４（ｂ）に示されるように、例えば、タッチされた表示領域に表示されているコマ画像の画像データを、ＳＤＲＡＭ１２７のコマ画像領域からコマ画像退避領域にコピーして、コマ画像領域に記憶されているコピー元の画像データを削除する処理を行う。または、図２５（ａ）及び図２５（ｂ）に示されるように、コマ画像の画像データが参照ポインタを使って管理されている場合であれば、画像データ自体を削除する代わりに画像データのアドレスへの参照ポインタによる参照を削除してもよい。

その後、ライブビュー表示変更処理、つまり、ライブビュー画像を表示すべき表示領域を切り替えてタッチされた表示領域に表示される画像をライブビュー画像に変更する処理、を行う（ステップＳ６１１）。

ステップＳ６１３の復元操作が行われたか否かの判定は、所定の操作（例えば、ライブビュー画像が表示されている表示領域に対するダブルクリック操作やライブビュー画像が表示された表示領域を選択して行われる削除釦の押下操作など）を操作部１２３が検出したか否かによって行われる。復元操作が検出されると、マイクロコンピュータ１２１は、キャンセル操作（ステップＳ６０９、ステップＳ６１１）によりキャンセルされたコマ画像の画像データを復元する画像復元処理を行う（ステップＳ６１５）。具体的には、図２４（ｂ）及び図２４（ｃ）に示されるように、例えば、ＳＤＲＡＭ１２７の退避領域に退避されたコマ画像の画像データを元のコマ画像領域にコピーして、コマ画像退避領域の画像データを削除する処理を行う。または、図２５（ｂ）及び図２５（ｃ）に示されるように、コマ画像の画像データが参照ポインタを使って管理されている場合であれば、画像データのアドレスへの参照ポインタによる参照を復元してもよい。

その後、ライブビュー表示変更処理、つまり、ライブビュー画像が表示されている表示領域に復元されたコマ画像を表示してコマ画像が表示されていない領域にライブビュー画像を表示する処理、を行う（ステップＳ６１７）。

ステップＳ６１９の一時保存操作が行われたか否かの判定は、所定の操作（例えば、一時保存釦の押下操作など）を操作部１２３が検出したか否かによって行われる。一時保存操作を検出すると、マイクロコンピュータ１２１は、メモリＩ／Ｆ１２９を制御して、ＳＤＲＡＭ１２７の組み画像記憶領域に記憶されているコマ画像の画像データと、組み画像の画像データを生成するための他のデータ（例えば、設定された組み画像のスタイルに関するデータや、コマ画像の画像データと表示領域との関係を示すデータなど）とを、記録媒体１３１に記録する（ステップＳ６２１）。なお、記録媒体１３１の代わりにフラッシュメモリ１２５に記録してもよい。その後、ＳＤＲＡＭ１２７の組み画像記憶領域に記憶されている画像データを削除して表示パネル１３５の表示状態を更新する組み画像リセット処理を行う（ステップＳ６２３）。

ステップＳ６２５の一時保存読み込み操作が行われたか否かの判定は、所定の操作（例えば、一時保存読み込み釦の押下など）を操作部１２３が検出したか否かによって行われる。一時保存読み込み操作を検出すると、マイクロコンピュータ１２１は、撮影途中であるか否かを判定する（ステップＳ６２７）。これは、例えば、ＳＤＲＡＭ１２７の組み画像記憶領域にコマ画像の画像データが記憶されているか否かによって判定する。

撮影途中であると判定されると、マイクロコンピュータ１２１は、表示ドライバ１３３を制御して、組み画像記憶領域に記憶されているコマ画像の画像データ等を一時保存するか否かを選択させるための表示を表示パネル１３５に表示する（ステップＳ６２９）。ユーザが一時保存を選択した場合には、メモリＩ／Ｆ１２９を制御して、組み画像記憶領域に記憶されているコマ画像の画像データ等を記録媒体１３１に記録する（ステップＳ６３１）。なお、記録媒体１３１の代わりにフラッシュメモリ１２５に記録してもよい。

その後、マイクロコンピュータ１２１は、ステップＳ６２１で記録したコマ画像の画像データ等を記録媒体１３１から読み込んで、ＳＤＲＡＭ１２７の組み画像記憶領域に展開する（ステップＳ６３３）。ＳＤＲＡＭ１２７の組み画像記憶領域に記憶されたコマ画像の画像データを表示パネル１３５の表示領域に表示し、さらに、コマ画像が表示されていない表示領域にライブビュー画像を表示する（ステップＳ６３５）。以上により、図８Ａ及び図８Ｂの組み画像操作処理が終了する。

上述したように動作するカメラ１によれば、ライブビュー画像が表示される表示領域をタッチ操作により容易に変更することができるため、複数の表示領域の各々に対して、任意の順番で撮影したコマ画像を表示させることができる。このため、撮影の順番に対して表示領域が確定している従来のカメラとは異なり、ユーザが意図した領域に意図した順番で撮影したコマ画像を表示した組み画像を生成することができる。したがって、所望の組み画像の画像データを容易に生成することができる。また、カメラ１は、コマ画像が表示された表示領域にタッチするだけで、そのコマ画像がキャンセルされてライブビュー画像に変更される。このため、気に入らないコマ画像を簡単な操作により容易に取りなおすことができるため、所望の組み画像の画像データを容易に生成することができる。

以上で説明したように、本実施例に係るカメラ１では、ライブビュー画像が表示された表示領域がタッチされることなどによって操作部１２３が撮影指示を受け付けると、コマ画像が取得され、ライブビュー画像が表示される表示領域が自動的に切り替わる。また、コマ画像が表示された表示領域がタッチされることなどによって操作部１２３がキャンセル指示を受け付けると、コマ画像がキャンセルされて、撮影のやりなおしのためにライブビュー画像が表示される。また、本実施例に係るカメラ１では、合成前に同一の補正目標に向かってコマ画像を補正することで、各コマ画像が観察者に与える印象が似通った全体として統一感のある組み画像の画像データが生成される。このため、本実施例に係るカメラ１によれば、所望の組み画像の画像データを簡単な操作で容易に生成することができる。従って、組み画像を生成する強いモチベーションをユーザに維持させることができる。

図２６は、本実施例に係るカメラの組み画像生成処理を示すフローチャートである。本実施例に係るカメラは、図１に例示される実施例１に係るカメラ１と同様の物理構成を有し、組み画像生成処理を除いてカメラ１と同様の処理を実行するように構成されている。以下、図２６を参照しながら、本実施例に係るカメラで行われる組み画像生成処理について、実施例１に係るカメラ１で行われる組み画像生成処理との相違点を中心に説明する。

図２６に示される組み画像生成処理は、画像解析の対象が、基本画像処理が行われる前のコマ画像の画像データ（ＲＡＷデータ）である点が、図６に示される実施例１に係るカメラ１の組み画像生成処理と異なっている。つまり、本実施例に係るカメラは、コマ画像のＲＡＷデータから特徴量を算出し（ステップＳ７０３）、ＲＡＷデータから算出した特徴量から目標特徴量を算出し（ステップＳ７０５）、コマ画像のＲＡＷデータと目標特徴量から補正パラメータを算出する（ステップＳ７０７）。このため、図７の静止画記録処理（ステップＳ５０４）において、画像処理後の画像データとともにＲＡＷデータが記録されるように予め設定しておくことが望ましい。なお、静止画記録処理において画像解析で得られたコマ画像の特徴量が記録されている場合には、ステップＳ７０３で、記録されているコマ画像の特徴量を取得しても良い。その後の処理は、カメラ１の場合と同様である。ステップＳ７０７で得られた補正パラメータで、基本画像処理（及び特殊画像処理）が行われたコマ画像を補正し（ステップＳ４０９）、その後、補正されたコマ画像を含む複数のコマ画像の画像データを合成して組み画像を得る（ステップＳ４１１）。そして、最後に、組み画像全体に対して特殊効果を付加する（ステップＳ４１３）。

本実施例に係るカメラによっても、実施例１に係るカメラと同様の効果を得ることが可能であり、各コマ画像が観察者に与える印象が似通った全体として統一感のある組み画像の画像データを生成することができる。

なお、本実施例に係るカメラは、異なる特殊効果で画像処理された画像を組み画像に組み込む場合に特に効果的である。このような場合には、組み画像全体としては統一感のある画像を得たいが画像に付加された特殊効果の差も維持したい、といった要求が想定される。例えば、全体的に明るい画像が得られるような特殊効果（例えば、ファンタジックフォーカス）で画像処理された画像と、コントラストを強調した画像が得られるような特殊効果（例えば、ポップアート、トイフォト）で画像処理された画像を組み画像に組み込む場合、実施例１に係るカメラ１では、特殊効果が適用された画像データから特徴量が算出されて、それに応じた補正パラメータが算出されるため、特殊効果の特徴が相殺されてしまうことが起こりうる。しかしながら、本実施例に係るカメラでは、ＲＡＷ画像データから特徴量が算出されて、それに応じた補正パラメータが算出されるため、付加された特殊効果の違いをある程度維持しながら、全体としての統一感が改善された組み画像を得ることができる。

図２７は、本実施例に係るカメラの組み画像生成処理を示すフローチャートである。図２８Ａから図２８Ｃは、組み画像データの生成のために行われる各種処理でのデータの入出力について示す図である。本実施例に係るカメラは、図１に例示される実施例１に係るカメラ１と同様の物理構成を有し、組み画像生成処理を除いてカメラ１と同様の処理を実行するように構成されている。以下、図２７から図２８Ｃを参照しながら、本実施例に係るカメラで行われる組み画像生成処理について、実施例１に係るカメラ１で行われる組み画像生成処理との相違点を中心に説明する。

図２７に示される組み画像生成処理は、画像解析前に、コマ画像のＲＡＷデータに基本画像処理を行い、その基本画像処理が行われた画像データを画像解析の対象とする点が、図６に示される実施例１に係るカメラ１の組み画像生成処理と異なっている。なお、画像解析前に行う基本画像処理は、図３に示す基本画像処理とは異なり、カメラの設定の一つである画像の仕上がりの設定によらず、予め決められた所定の設定（例えばこの実施例では、Ｎａｔｕｒａｌ設定）で動作する基本画像処理である。つまり、本実施例に係るカメラは、コマ画像のＲＡＷデータに対してＮａｔｕｒａｌ設定で基本画像処理を行い（ステップＳ２００ａ）、その出力である画像データ（以降、Ｎａｔｕｒａｌ画像データと記す。）から特徴量を算出し（ステップＳ８０３）、Ｎａｔｕｒａｌ画像データから算出した特徴量から目標特徴量を算出し（ステップＳ８０５）、コマ画像のＮａｔｕｒａｌ画像データと目標特徴量から補正パラメータを算出する（ステップＳ８０７）。このため、図７の静止画記録処理（ステップＳ５０４）において、画像処理後の画像データとともにＲＡＷデータが記録されるように予め設定しておくことが望ましい。その後の処理は、カメラ１の場合と同様である。ステップＳ８０７で得られた補正パラメータで、図３に示すカメラの仕上がり設定に従った基本画像処理（及び特殊画像処理）が行われたコマ画像を補正し（ステップＳ４０９）、その後、補正されたコマ画像を含む複数のコマ画像の画像データを合成して組み画像を得る（ステップＳ４１１）。そして、最後に、組み画像全体に対して特殊効果を付加する（ステップＳ４１３）。従って、図２８Ａから図２８Ｃに示されるように、本実施例に係るカメラでは、コマ画像のＲＡＷデータは、補正対象のコマ画像の画像データを生成するための一連の処理（ステップＳ２００、Ｓ３００）の入力として使用されるだけではなく、補正パラメータを算出するための一連の処理（ステップＳ２００ａ、Ｓ８０３、Ｓ８０５、Ｓ８０７）の入力としても使用される。

本実施例に係るカメラによっても、実施例１に係るカメラと同様の効果を得ることが可能であり、各コマ画像が観察者に与える印象が似通った全体として統一感のある組み画像の画像データを生成することができる。また、本実施例に係るカメラは、実施例２に係るカメラと同様に特殊画像処理前の画像データから補正パラメータを算出しているため、予め取得した画像であってカメラの設定とは異なる特殊効果が既に付加された画像を組み画像に組み込む場合であっても、付加された特殊効果の違いをある程度維持しながら、全体としての統一感が改善された組み画像を得ることができる。

なお、本実施例に係るカメラは、実施例２に係るカメラに比べて、より統一感のある組み画像を生成することができる。その理由は、基本画像処理で行われるガンマ補正による輝度変更処理によりＲＡＷデータと基本画像処理後の画像データで輝度が大きく異なる場合があり、輝度が大きく異なる状態で得られた補正パラメータによる補正では、コマ画像間の統一感が十分に改善されない場合があるからである。また、色の見え方については、基本画像処理で行われるホワイトバランスの補正処理が統一感に与える影響が比較的大きいからである。

図２９は、本実施例に係るカメラの画像処理を示すフローチャートである。図３０は、本実施例に係るカメラの基本画像処理部の機能ブロック図である。図３１は、本実施例に係るカメラの組み画像処理部の機能ブロック図である。本実施例に係るカメラは、図１に例示される実施例１に係るカメラ１と同様の物理構成を有し、画像処理を除いてカメラ１と同様の処理を実行するように構成されている。ただし、基本画像処理部１０９ａと組み画像処理部１０９ｃが有する機能は、図３０及び図３１に示すように、実施例１に係るカメラ１とは異なっている。以下、図２９から図３１を参照しながら、本実施例に係るカメラで行われる画像処理について、実施例１に係るカメラ１で行われる画像処理との相違点を中心に説明する。

実施例１に係るカメラ１は、基本画像処理及び特殊画像処理後に行われる組み画像処理中で補正パラメータを算出しコマ画像を補正するのに対して、本実施例に係るカメラは、図２９に示されるように、従来の基本画像処理に相当する処理（ステップＳ２００ｃ）の前に補正パラメータを算出し、その補正パラメータを基本画像処理のパラメータとして使用することでコマ画像を補正する点が、実施例１に係るカメラ１と大きく異なっている。組み画像モードでない場合の画像処理については、実施例１に係るカメラ１と実質的には同じである。

組み画像モードである場合の画像処理について具体的に説明する。まず、組み画像モードであることを確認すると（ステップＳ９０１）、基本画像処理部１０９ａの画像補正部１６４が、カメラの設定（画像の仕上がりの設定）によらず予め決められた所定の設定（例えばこの実施例では、Ｎａｔｕｒａｌ設定）でＲＡＷデータに対して基本画像処理を行う（ステップＳ２００ｂ）。そして、特徴量算出部１６１がその出力データを解析して特徴量を算出し（ステップＳ９０３）、目標特徴量算出部１６２が算出した特徴量から補正目標である目標特徴量を算出する（ステップＳ９０５）。さらに、パラメータ算出部１６３が、コマ画像の特徴量が互いに類似するように補正するための補正パラメータを、ステップＳ９０３で算出した特徴量とステップＳ９０５で算出した目標特徴量から算出する（ステップＳ９０７）。具体的には、例えば、特徴量と目標特徴量が輝度分布であり、補正パラメータがガンマテーブルである。また、補正パラメータとしてＷＢゲイン（Ｒゲイン、Ｂゲイン）を算出しても良い。その後、カメラ設定とステップＳ９０７で得られた補正パラメータに基づいて、画像補正部１６４がコマ画像のＲＡＷデータに対して基本画像処理を行う（ステップＳ２００ｃ）。アートフィルタが設定される場合には、特殊画像処理部１０９ｂが特殊画像処理を行う（ステップＳ９１１、Ｓ３００ａ）。それらの画像処理が終了すると、組み画像処理部１０９ｃの組み画像生成部１６５がその出力である複数のコマ画像を背景画像上に合成し（ステップＳ９１３）、最後に、特殊効果付加部１６６が、組み画像に対して特殊効果を付加して（ステップＳ９１５）、画像処理を終了する。

本実施例に係るカメラでは、補正パラメータを基本画像処理のパラメータとして使用するために、実施例１に係るカメラ１の組み画像処理部１０９ｃが担当していた機能のいくつか（特徴量算出部１６１、目標特徴量算出部１６２、パラメータ算出部１６３、画像補正部１６４）を、基本画像処理部１０９ａが担当している。なお、補正パラメータを基本画像処理のパメラータとして使用できればよいため、補正パラメータを得るための画像解析の対象はＲＡＷデータであってもよく、その場合には、ステップＳ２００ｂを省略することができる。

本実施例に係るカメラによっても、実施例１に係るカメラと同様の効果を得ることが可能であり、各コマ画像が観察者に与える印象が似通った全体として統一感のある組み画像の画像データを生成することができる。また、本実施例に係るカメラは、実施例２、３に係るカメラと同様に特殊画像処理前の画像データから補正パラメータを算出しているため、予め取得した画像であってカメラの設定とは異なる特殊効果が既に付加された画像を組み画像に組み込む場合であっても、付加された特殊効果の違いをある程度維持しながら、全体としての統一感が改善された組み画像を得ることができる。

なお、本実施例に係るカメラでは、ＲＡＷデータを処理する基本画像処理のパラメータとして補正パラメータが使用される。つまり、本実施例に係るカメラでは、補正の対象がＲＡＷデータであり、この点が他の実施例に係るカメラとは大きく異なっている。一般に、画像処理では、計算時間の短縮や回路規模の抑制のため、処理の途中で階調数を減らして画像をリサイズする処理が行われる。例えば、本実施例に係るカメラの場合であれば、組み画像モードでのみ使用される組み画像処理の回路規模を小さくするために、特殊画像処理後に画像をリサイズする構成が想定される。リサイズ前の画像データを補正する場合と、リサイズ後の画像データを補正する場合では、補正精度に差が生じるため、組み画像の統一感に違いが生じる可能性がある。このため、より良好な統一感を得るためには、画像サイズの大きなＲＡＷデータを補正対象とすることが望ましい。従って、本実施例に係るカメラによれば、特殊画像処理後の画像を補正する他の実施例に係るカメラに比べて、より統一感のある組み画像を生成することができる。その反面、画像の統一感よりも処理時間の短縮を重視する場合には、他の実施例に係るカメラがより望ましい。

以上では、画像処理装置としてデジタルカメラを例示して説明したが、上述した技術はカメラ専用機器に限られず、カメラ付携帯電話（スマートフォン）やタブレット型機器、その他携帯機器に適用してもよい。また、撮影機能をしない画像処理装置、例えば、パーソナルコンピュータなどに適用してもよい。上述した実施例は、発明の理解を容易にするために本発明の具体例を示したものであり、本発明はこれらに実施例に限定されるものではない。本発明の撮像装置は、特許請求の範囲に規定された本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。
また、同様の効果が得られるのであれば、上述した処理の順番に限らず、フローチャートの処理のステップを入れ替えたりしても良いことは言うまでもない。
ＹＣｂＣｒの軸で変換する例にとって説明したが、他の色空間でも成り立つ。例えば、本実施例では、ＨＳＶや、ＹＣｂＣｒの色空間であるが、他のＹＰｂＰｒ色空間（ＩＴＵ−Ｒ ＢＴ７０９として規格化されている）や、均等色空間（Ｌ^＊ａ^＊ｂ^＊）等がある。
また、同じ色空間であっても任意の座標軸を定義してその軸上で適用しても良い。

１ カメラ
１００ カメラ本体
１０１ メカシャッタ
１０３ 撮像素子
１０５ アナログ処理部
１０７ Ａ／Ｄ変換部
１０９ 画像処理部
１０９ａ 基本画像処理部
１０９ｂ 特殊画像処理部
１０９ｃ 組み画像処理部
１０９ｄ 被写体検出部
１１０ システムバス
１１１ ＡＥ処理部
１１３ ＡＦ処理部
１１７ 画像圧縮伸張部
１１９ 通信部
１２１、２０７ マイクロコンピュータ
１２３ 操作部
１２４ タッチ入力部
１２５、２０９ フラッシュメモリ
１２７ ＳＤＲＡＭ
１２９ メモリＩ／Ｆ
１３１ 記録媒体
１３３ 表示ドライバ
１３５ 表示パネル
１５１、１６１ 特徴量算出部
１５２、１６２ 目標特徴量算出部
１５３、１６３ パラメータ算出部
１５４、１６４ 画像補正部
１５５、１６５ 組み画像生成部
１５６、１６６ 特殊効果付加部
２００ 交換式レンズ
２０１ 撮影レンズ
２０３ 絞り
２０５ ドライバ
３００ Ｉ／Ｆ

Claims (11)

1. 複数の画像をレイアウトして、組み画像の画像データを生成する画像処理装置であって、
   前記組み画像を構成する画像から前記画像の特徴を示す特徴量を算出する特徴量算出部と、
   前記特徴量算出部で算出された特徴量が目標特徴量に近づくように、前記特徴量が算出された画像を補正する画像補正部と、
   前記画像補正部で補正された画像を含む前記複数の画像の画像データを合成して前記組み画像の画像データを生成する組み画像生成部と、を備える
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、さらに、
   前記特徴量算出部で算出された特徴量から前記目標特徴量を算出する目標特徴量算出部を備える
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、さらに、
   前記特徴量算出部で算出された特徴量と前記目標特徴量から補正パラメータを算出するパラメータ算出部を備え、
   前記画像補正部は、前記パラメータ算出部で算出された補正パラメータにより、前記特徴量が算出された画像を補正する
   ことを特徴とする画像処理装置。
4. 請求項１乃至請求項３のいずれか１項に記載の画像処理装置において、
   前記特徴量は、前記組み画像を構成する画像の輝度分布、色差信号分布、彩度分布、または、色相分布のうちの少なくとも一つを含む
   ことを特徴とする画像処理装置。
5. 請求項１乃至請求項４のいずれか１項に記載の画像処理装置において、さらに、
   前記組み画像生成部で生成された組み画像の画像データに対して特殊効果を付加する処理を行う特殊効果付加部を備える
   ことを特徴とする画像処理装置。
6. 請求項１乃至請求項５のいずれか１項に記載の画像処理装置において、さらに、
   被写体を撮像して撮影画像を取得する撮像部を備え、
   前記組み画像を構成する前記複数の画像の少なくとも一つは、前記撮像部で取得した撮影画像である
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、さらに、
   前記組み画像を表示する表示部を備える
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記表示部は、前記撮像部で繰り返し取得された撮影画像をライブビュー表示する
   ことを特徴とする画像処理装置。
9. 請求項６に記載の画像処理装置において、さらに、
   画像を記録する記録部を備え、
   前記記録部は、前記撮像部で繰り返し取得された撮影画像を動画として記録する
   ことを特徴とする画像処理装置。
10. 複数の画像をレイアウトして、組み画像の画像データを生成する画像処理装置の画像処理方法であって、
    前記組み画像を構成する画像から画像の特徴を示す特徴量を算出する特徴量算出工程と、
    前記特徴量算出工程で算出された特徴量が目標特徴量に近づくように、前記特徴量が算出された画像を補正する画像補正工程と、
    前記画像補正工程で補正された画像を含む前記複数の画像の画像データを合成して前記組み画像の画像データを生成する組み画像生成工程と、を含む
    ことを特徴とする画像処理方法。
11. 複数の画像をレイアウトして、組み画像の画像データを生成する画像処理方法をコンピュータに実行させる画像処理プログラムであって、
    前記組み画像を構成する画像から画像の特徴を示す特徴量を算出する特徴量算出する特徴量算出工程と、
    前記特徴量算出工程で算出された特徴量が目標特徴量に近づくように、前記特徴量が算出された画像を補正する画像補正工程と、
    前記画像補正工程で補正された画像を含む前記複数の画像の画像データを合成して前記組み画像の画像データを生成する組み画像生成工程と、
    をコンピュータに実行させる
    ことを特徴とする画像処理プログラム。