JP2014176024A - 撮影装置、画像処理方法、及び、画像処理プログラム - Google Patents

Abstract

【課題】任意の被写体に対して所望の組み画像の画像データを簡単な操作で容易に生成できるように支援する技術を提供する。
【解決手段】撮影装置１は、被写体を撮像して第１の画像データを取得する撮像部２と、第１の画像データを画像処理して第２の画像データを取得する画像処理部４と、第１の画像データ及び第２の画像データの一方又は両方を含む画像データが記憶される第１の記憶部３と、第１の記憶部３に記憶されている画像データの特徴を解析する画像解析部５と、画像解析部５による解析の結果に基づいてシナリオデータを生成するシナリオ生成部６と、シナリオデータに基づいて、第１の記憶部３に記憶されている複数の画像データを合成して組み画像データを生成する組み画像処理部７とを備える。
【選択図】図１

Description

本発明は、複数回の撮影により取得した複数の画像をレイアウトして、一枚の画像としてなる組み画像の画像データを生成する撮影装置、画像処理方法、及び、画像処理プログラムに関する。

デジタルカメラやデジタルビデオカメラなどの撮影装置では、取得した画像がデジタルデータとして記憶または記録されるため、取得した画像を容易に加工することができる。このような特徴を活かした撮影装置の用途のひとつに組み写真がある。組み写真とは、複数回の撮影により取得した複数の写真をレイアウトしてなる合成写真のことである。
より詳しくは、撮影者が異なる場面、異なる視点による立体感を表現する画像、時間の流れに応じた撮影画像、及び、被写体の動きのある撮影画像から、撮影時の感情や想像を表現するために、複数の画像から構成される組み写真を生成する。そして、その組み画像によって撮影時の感情や想像を見る人に伝えようとする。この目的を達するため、組み写真の並び方や並べる順序にはシナリオがあり、そのシナリオは見る人の感情をよびおこす上でもとても重要である。

そのため、例えば、所望の組み写真を得ようとする撮影者は、その組み写真に使用する複数の写真を撮影する際に、その組み写真のシナリオを予め考慮して、そのシナリオに適した写真を撮影する必要がある。

なお、撮影装置として、複数の撮影のパターンでの一連の撮影を容易かつ効率良く実施する撮像装置が知られている（例えば特許文献１参照）。この撮像装置では、特定の撮影対象物について一連のパターン撮影を行うときに、一連のパターン撮影の見本となる複数個のガイド画像を撮像装置の背面表示部に同時に表示する。そして、ユーザの操作に基づいて、一連のパターン撮影に属する一の撮影を行うために、背面表示部に同時に表示された複数個のガイド画像から、任意のガイド画像を選択してライブビュー画像とともに背面表示部に表示させて、一の撮影を行う。そして、このような撮影を順次に行うことによって、一連のパターン撮影を行う。

特開２００４−２１５１５７号公報

上述のとおり、所望の組み写真に使用する複数の写真を撮影する際に、撮影者は、その組み写真のシナリオを予め考慮し、そのシナリオに適した写真を撮影する必要がある。

しかしながら、例えば、組み写真に不慣れな撮影者にとって、シナリオ自体や、そのシナリオに適する写真とはどのような写真か等を想起することは容易ではない。また、組み写真に使用する複数の写真を取得した後においても、組み写真の構成（配置する写真の形状やレイアウト等）を決定すること等は容易ではない。

そこで、撮影装置においては、シナリオ自体やそのシナリオに適する写真の想起ならびに組み写真の構成の決定など、組み写真の生成を支援することができることが望ましい。

しかしながら、従来において、そのような組み写真の生成を支援する撮影装置は存在しない。例えば、上述の特許文献１に記載されているような撮像装置では、特定の撮影対象物について一連のパターン撮影を行うことはできるものの、任意の被写体に対して上述のような組み写真の生成を支援することはできない。

なお、上述した技術的な課題は、写真（つまり、静止画像）でのみ生じるものではなく、動画像であっても生じ得る。つまり、静止画像、動画像を問わず、画像全般で生じ得る。

以上のような実情を踏まえ、本発明は、任意の被写体に対して所望の組み画像の画像データを簡単な操作で容易に生成できるように支援する技術を提供することを目的とする。

本発明の第１の態様は、複数の画像データを合成して組み画像データを生成する撮影装置であって、被写体を撮像して第１の画像データを取得する撮像部と、前記第１の画像データを画像処理して第２の画像データを取得する画像処理部と、前記第１の画像データ及び前記第２の画像データの一方又は両方を含む画像データが記憶される第１の記憶部と、前記第１の記憶部に記憶されている画像データの特徴を解析する画像解析部と、前記画像解析部による解析の結果に基づいてシナリオデータを生成するシナリオ生成部と、前記シナリオデータに基づいて、前記第１の記憶部に記憶されている複数の画像データを合成して組み画像データを生成する組み画像処理部と、を備える撮影装置を提供する。

本発明の第２の態様は、第１の態様に記載の撮影装置において、前記シナリオデータは、組み画像の分割数、分割形状、合成される画像の配置情報を含む撮影装置を提供する。

本発明の第３の態様は、第１又は２の態様に記載の撮影装置において、前記画像解析部により特徴が解析される画像データは、ライブビュー画像の画像データである撮影装置を提供する。

本発明の第４の態様は、第１乃至第３の態様のいずれか１つに記載の撮影装置において、前記組み画像処理部により合成される複数の画像データは、ライブビュー画像の画像データを含む撮影装置を提供する。

本発明の第５の態様は、第１乃至第４の態様のいずれか１つに記載の撮影装置において、さらに、画像データを表示する表示部を備え、前記表示部は、前記組み画像処理部により生成された組み画像データを表示する撮影装置を提供する。

本発明の第６の態様は、第１乃至第５の態様のいずれか１つに記載の撮影装置において、画像データが記憶される第２の記憶部を更に備え、前記組み画像処理部により生成された組み画像データが前記第２の記憶部に記憶される撮影装置を提供する。

本発明の第７の態様は、第１乃至第６の態様のいずれか１つに記載の撮影装置において、シナリオ変更指示を受け付ける受付部を更に備え、前記シナリオ生成部は、前記受付部により受け付けられたシナリオ変更指示と、前記画像解析部による解析の結果とに基づいて、シナリオデータを生成する撮影装置を提供する。
本発明の第８の態様は、第７の態様に記載の撮影装置において、前記画像解析部の解析の結果の特徴は、主要被写体の数、主要被写体が風景、主要被写体が縦長、主要被写体が移動体、主要被写体が人物であってその表情、主要被写体の像倍率である撮影装置を提供する。

本発明の第９の態様は、第１乃至第８の態様のいずれか１つに記載の撮影装置において、前記第２の記憶部に記憶されている画像データが読み出されて、前記第１の記憶部に記憶される撮影装置を提供する。

本発明の第１０の態様は、被写体を撮像して第１の画像データを取得する工程と、前記第１の画像データを第１の記憶部に記憶する工程と、前記第１の画像データを画像処理して第２の画像データを取得する工程と、前記第２の画像データを第１の記憶部に記憶する工程と、前記第１の記憶部に記憶されている画像データの特徴を解析する工程と、前記解析の結果に基づいてシナリオデータを生成する工程と、前記シナリオデータに基づいて、前記第１の記憶部に記憶されている複数の画像データを合成して組み画像データを生成する工程と、を備える画像処理方法を提供する。

本発明の第１１の態様は、コンピュータに、被写体を撮像して第１の画像データを取得する工程と、前記第１の画像データを第１の記憶部に記憶する工程と、前記第１の画像データを画像処理して第２の画像データを取得する工程と、前記第２の画像データを第１の記憶部に記憶する工程と、前記第１の記憶部に記憶されている画像データの特徴を解析する工程と、前記解析の結果に基づいてシナリオデータを生成する工程と、前記シナリオデータに基づいて、前記第１の記憶部に記憶されている複数の画像データを合成して組み画像データを生成する工程と、を実行させる画像処理プログラムを提供する。

本発明によれば、任意の被写体に対して所望の組み画像の画像データを簡単な操作で容易に生成できるように支援する技術を提供することができる。

本発明の実施例１に係る撮影装置の構成例を示す図である。 本発明の実施例２に係るカメラの主として電気系の全体構成を示すブロック図である。 本発明の実施例２に係るカメラの処理全体を示すフローチャートである。 本発明の実施例２に係るカメラの画像処理を示すフローチャートである。 本発明の実施例２に係るカメラの基本画像処理を示すフローチャートである。 本発明の実施例２に係るカメラの特殊画像処理を示すフローチャートである。 本発明の実施例２に係るカメラの組み画像生成処理を示すフローチャートである。 本発明の実施例２に係るカメラの静止画像記録処理を示すフローチャートである。 本発明の実施例２に係るカメラの組み画像操作処理を示すフローチャートである。 本発明の実施例２に係るカメラのシナリオ設定処理を示すフローチャートである。 本発明の実施例２に係るカメラの組み画像処理部で行われる色変更処理について説明するためのさらに他の図である。 本発明の実施例２に係るカメラの組み画像処理部で行われる輝度変更処理について説明するためのさらに他の図である。 本発明の実施例２に係るカメラに設定されるシナリオ（分割数、分割形状）によって実現される組み画像を説明するための図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための他の図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための更に他の図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための更に他の図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための更に他の図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための更に他の図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための更に他の図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための更に他の図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための更に他の図である。 本発明の実施例２に係るカメラに設定されるシナリオによって表示パネルに表示される組み画像を説明するための更に他の図である。

以下、図面を参照しながら、本発明の各実施例について説明する。なお、本明細書において、ライブビュー画像とは、レリーズ操作などによるカメラ（撮影装置の一例）のユーザからの明示的な撮影指示に応じて取得される画像と異なり、カメラのライブビュー機能により随時取得される画像のことである。

図１は、本実施例に係る撮影装置の構成例を示す図である。
図１に示される撮影装置１は、複数の画像データを合成して組み画像データを生成する機能を有し、図１に示されるように、撮像部２、第１の記憶部３、画像処理部４、画像解析部５、シナリオ生成部６、組み画像処理部７、表示部８、第２の記憶部９、受付部１０を含む。

撮像部２は、被写体を撮像して第１の画像データを取得する。第１の記憶部３は、第１の画像データ及び後述の第２の画像データの一方又は両方を含む画像データが記憶される。画像処理部４は、第１の画像データを画像処理して第２の画像データを取得する。画像解析部５は、第１の記憶部３に記憶されている画像データの特徴を解析する。シナリオ生成部６は、画像解析部５による解析の結果に基づいて、シナリオデータ（以下単にシナリオともいう）を生成する。組み画像処理部７は、シナリオデータに基づいて、第１の記憶部３に記憶されている複数の画像データを合成して組み画像データを生成する。表示部８は、画像データを表示する。第２の記憶部９は、画像データが記憶される。受付部１０は、指示を受け付ける。

このような構成の撮影装置１において、シナリオデータは、例えば、組み画像の分割数、分割形状、合成される画像の配置情報を含む。また、画像解析部５により特徴が解析される画像データは、例えば、ライブビュー画像の画像データである。また、組み画像処理部７により合成される複数の画像データは、例えば、撮像部２において被写界を繰り返し連続的に撮像して得たライブビュー画像の画像データを含む。また、表示部８は、例えば、組み画像処理部７により生成された組み画像データを表示する。また、第２の記憶部９は、例えば、組み画像処理部７により生成された組み画像データが記憶される。また、例えば、受付部１０がシナリオ変更指示を受け付けると、シナリオ生成部６は、そのシナリオ変更指示と、画像解析部５による解析の結果とに基づいて、シナリオデータを生成する。また、第２の記憶部９に記憶されている画像データが読み出されて、第１の記憶部３に記憶される。また、第２の記憶部９は、第１の画像データ、第２の画像データ等も記憶される。

また、このような構成の撮影装置１では、例えば、次の画像処理方法が実施される。
被写体を撮像して第１の画像データを取得する工程と、第１の画像データを第１の記憶部３に記憶する工程と、第１の画像データを画像処理して第２の画像データを取得する工程と、第２の画像データを第１の記憶部３に記憶する工程と、第１の記憶部３に記憶されている画像データの特徴を解析する工程と、その解析の結果に基づいてシナリオデータを生成する工程と、そのシナリオデータに基づいて、第１の記憶部３に記憶されている複数の画像データを合成して組み画像データを生成する工程とを備える画像処理方法が実施される。

また、このような構成の撮影装置１のコンピュータでは、例えば、次の画像処理プログラムが実行される。
そのコンピュータに、被写体を撮像して第１の画像データを取得する工程と、第１の画像データを第１の記憶部３に記憶する工程と、第１の画像データを画像処理して第２の画像データを取得する工程と、第２の画像データを第１の記憶部３に記憶する工程と、第１の記憶部３に記憶されている画像データの特徴を解析する工程と、その解析の結果に基づいてシナリオデータを生成する工程と、そのシナリオデータに基づいて、第１の記憶部３に記憶されている複数の画像データを合成して組み画像データを生成する工程とを実行させる画像処理プログラムが実行される。

以上で説明したように、本実施例によれば、撮影装置１、撮影装置１で実施される画像処理方法、又は、撮影装置１で実行される画像処理プログラムによって、画像（例えばライブビュー画像）の特徴に基づいてシナリオが生成され、そのシナリオに基づいて組み画像が生成されるようになるので、任意の被写体に対して所望の組み画像を簡単な操作で容易に生成できるように支援することができる。

図２は、本実施例に係るカメラの主として電気系の全体構成を示すブロック図である。図２に例示されるカメラ１１は、取得した画像をデジタルデータとして記憶または記録する撮影装置である。カメラ１１のユーザは、表示部である表示パネル１３５に表示されるライブビュー画像を観察しながら、操作部１２３を用いたレリーズ操作により画像の取得を指示することができる。なお、カメラ１１は、静止画像（つまり、写真）と動画像を取得する機能に加えて、複数の静止画像または動画像をレイアウトしてなる組画像を取得する機能も備えている。

まず、図２を参照しながら、カメラ１１の構成について説明する。カメラ１１は、カメラ本体１００と、カメラ本体１００に脱着可能な、撮影レンズ２０１を含む交換式レンズ２００とを備えている。なお、本実施例では、撮影レンズを交換可能なカメラの構成を例示したが、撮影レンズはカメラ本体に固定されてもよい。

交換式レンズ２００は、撮影レンズ２０１と、絞り２０３と、ドライバ２０５と、マイクロコンピュータ２０７と、フラッシュメモリ２０９とを備えている。また、カメラ本体１００と交換式レンズ２００とは、インターフェース（以降、Ｉ／Ｆと記す）３００を介して接続されている。

撮影レンズ２０１は、被写体像を形成するための単数または複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。撮影レンズ２０１の光軸の後方には、絞り２０３が配置されている。絞り２０３は口径が可変であり、撮影レンズ２０１を通過する被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能である。マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、撮影レンズ２０１がズームレンズである場合には、撮影レンズ２０１の焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作する。プログラムに従って動作したマイクロコンピュータ２０７は、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信して、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他に、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。メカシャッタ１０１は、被写体光束を遮断することで後述する撮像素子１０３への被写体光束の照射時間を制御するものであり、例えば、公知のフォーカルプレーンシャッタ等が採用され得る。メカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３には、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されている。各フォトダイオードは受光量に応じた光電変換電流を発生させ、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ配列のＲＧＢフィルタが配置されている。なお、撮像素子１０３の構成はベイヤ配列に並べられたＲＧＢフィルタを含む構成に限定されず、例えばＦＯＶＥＯＮ（フォベオン・インコーポレーテッドの登録商標）のような素子の厚さ方向に複数のセンサを配列した構成であってもよい。

撮像素子１０３はアナログ処理部１０５に接続されている。アナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（以降、アナログ画像信号と記す）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５は、Ａ／Ｄ変換部１０７に接続されている。Ａ／Ｄ変換部１０７は、アナログ画像信号をアナログ−デジタル変換して、得られたデジタル画像信号（以降、画像データと記す）をバス１１０に出力してＳＤＲＡＭ１２７に記憶させる。即ち、カメラ１１では、撮像素子１０３、アナログ処理部１０５、Ａ／Ｄ変換部１０７が全体として、被写体を撮像してその画像を取得する撮像部として機能する。なお、本明細書においては、画像処理部１０９で画像処理される前の生の画像データをＲＡＷデータと記す。
撮像素子１０３は電子シャッタを内蔵しており、動画撮像時やライブビュー撮像時のように繰り返し撮像する際には、メカシャッタ１０１を開放にしたままで内蔵の電子シャッタを使用し撮像する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮展開部１１７、通信部１１９、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以降、メモリＩ／Ｆという）１２９、表示ドライバ１３３、オーディオ部１３７が接続されている。

画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、アートフィルタ等の特殊効果を適用するモードが設定された場合に特殊効果を施すための特殊画像処理部１０９ｂと、組み画像の画像データを生成する組み画像処理部１０９ｃと、画像データをパターンマッチング処理等により解析して被写体を検出する被写体検出部１０９ｄと、を有している。画像処理部１０９は、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して画像処理を施す。

基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行われる同時化処理、色再現処理、ガンマ補正処理、輝度変更処理、エッジ強調処理、ノイズリダクション（ＮＲ）処理等を行う。

特殊画像処理部１０９ｂは、基本画像処理部１０９ａで処理された画像データに対して、設定された特殊効果（アートフィルタ）等に応じて、種々の視覚的な特殊効果を付与する特殊画像処理を行う。例えば、トイフォトが設定されている場合には、シェーディングを付加する処理を行う。また、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタルが設定されている場合には、それぞれ、ソフトフォーカス処理、ノイズ重畳処理、ぼかし処理、クロスフィルタ処理を行う。

組み画像処理部１０９ｃは、設定された組み画像のシナリオに基づいて、複数の画像データを合成して、複数の画像データに対応する複数の画像が所定の配置にレイアウトされた画像である組み画像の画像データを生成する。合成される複数の画像データは、画像処理部１０９で処理される前の生の画像データ（ＲＡＷデータ）、基本画像処理部１０９ａで処理された画像データ、及び、特殊効果が設定されている場合には基本画像処理部１０９ａ及び特殊画像処理部１０９ｂで処理された画像データの何れかを含む。但し、組み画像処理部１０９ｃは、画像データを合成する処理を実行する前に、組み画像を構成する各画像を補正する。具体的には、複数の画像データを解析して、画像間の色分布の相違や輝度平均の相違などを算出する。そして、算出された情報に基づいて、組み画像が最適な状態となるように、組み画像を構成する各画像の色や輝度を補正する。画像を補正して画像間の調整処理を行うことで、組み画像としてより良好な画像を得ることができる。なお、以降では、基本画像処理部１０９ａのみで処理された画像データ、または、基本画像処理部１０９ａ及び特殊画像処理部１０９ｂで処理された画像データに係る画像をコマ画像とも記す。

被写体検出部１０９ｄは、パターンマッチング技術等を用いた画像解析により、所定の被写体、例えば、人の顔やペットなどの動物を検出する処理を行う。さらに、検出した被写体の種類、大きさ、位置、特徴的な配色などを算出する処理を行ってもよい。これらの検出結果は、例えば、撮影モードの切り換え、オートフォーカス、被写体像を一定の大きさに撮像するオートズーム、組み画像のシナリオの生成、似た配色やトーン（色の調子、明度、濃淡、彩度方向のバランス）の画像抽出、検索などに利用され得る。

ＡＥ処理部１１１は、バス１１０を介して入力された画像データに基づいて被写体輝度を測定し、測定した被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。なお、ここでは、ＡＥ処理部１１１により画像データに基づいて被写体輝度を算出する構成が採用されているが、カメラ１１は、被写体輝度の測定のために専用の測光センサを設けることにより、同様の機能を実現してもよい。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得する。ＡＦ処理部１１３は、取得した合焦標価値をバス１１０を介してマイクロコンピュータ１２１に出力する。すなわち、カメラ１１は、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。

画像圧縮展開部１１７は、画像データをメモリＩ／Ｆ１２９に接続された記録媒体１３１へ記録するときに、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って、圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成する。マイクロコンピュータ１２１は、作成したファイルを、メモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。

また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施例では、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用する例を示したが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でもよい。

通信部１１９は、後述するフラッシュメモリ１２５内に記憶されているテンプレートの更新や追加のために、外部機器と通信する。通信部１１９は、有線ＬＡＮや無線ＬＡＮによって外部機器と接続されてもよく、その他、ＵＳＢケーブルなどによって外部機器と接続されてもよい。

マイクロコンピュータ１２１は、カメラ１１全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。例えば、マイクロコンピュータ１２１の制御によって、組み画像のシナリオの生成、変更等が行われる。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦、モードダイヤル等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。つまり、カメラ１１では、操作部１２３は、ユーザからの種々の指示（例えば、撮影指示、シナリオ変更指示、再生指示など）を受け付ける受付部として機能する。

電源釦は、カメラ１１の電源のオン／オフを指示するための操作部材である。電源釦が押されるとカメラ１１の電源はオンとなり、再度、電源釦が押されるとカメラ１１の電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチにつながっている。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影した画像の画像データを読み出し、表示パネル１３５に画像を再生表示する。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、特殊効果（アートフィルタ）の設定がある。特殊効果としては、ファンタジックフォーカス、ポップ、アート、トイフォト、ラフモノクローム、ジオラマ等、種々の特殊効果が設定可能である。その他にも、組み画像の設定もメニュー画面上で行うことができる。組み画像の設定としては、例えば、組み画像のシナリオの設定がある。組み画像のシナリオの設定では、組み画像の分割数、分割形状、合成される画像の配置などの設定が可能である。また、旅行、運動会等といった撮影シーンを指定することで、その撮影シーンに適したシナリオ（組み画像の分割数、分割形状、合成される画像の配置等）を自動設定することも可能である。さらに、複数のテンプレートの中の一つを指定することで、そのテンプレートに応じたシナリオを自動設定することも可能である。なお、各テンプレートでは、組み画像の分割数、分割形状、合成される画像の配置等が規定されている。また、組み画像のシナリオの設定では、ユーザにより設定されたシナリオを優先とするか否かを設定することもできる。この設定では、ユーザにより設定されたシナリオを優先とする設定が行われた場合には、原則として、そのシナリオが変更されることなく、そのシナリオに従って組み写真の生成が行われる。一方、ユーザにより設定されたシナリオを優先とする設定が行われなかった場合には、画像（例えばライブビュー画像）の解析結果に応じて、そのシナリオが、カメラ１１が推奨する最適なシナリオへ変更され得る。但し、いずれの場合であっても、詳しくは後述するように、ユーザがシナリオ変更指示を行うことによってシナリオを変更することができる。なお、組み画像のシナリオの設定が行われなかった場合には、画像（例えばライブビュー画像）の解析結果に応じて、カメラ１１が推奨する最適なシナリオが自動設定される。

モードダイヤルは、撮影モードを選択するためのダイヤルである。カメラ１１では、モードダイヤルを操作することで、動作モードが、通常の撮影を行う通常モードと組み画像の撮影を行う組み画像モードとの間で切り替わる。通常モードと組み画像モードの切り替えは、メニュー画面等から行うようにしてもよい

操作部１２３は、さらに、タッチ入力部１２４を備えている。タッチ入力部１２４は、例えば、表示パネル１３５に重ねて配置されたタッチパネルセンサである。タッチ入力部１２４は、ユーザによる表示パネル１３５に対するタッチ操作を検出し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からのタッチ入力部１２４の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。

なお、操作部１２３は、上述した各種釦を表示パネル１３５上に備えてもよい。すなわち、カメラ１１の表面に物理的に釦を設ける代わりに、表示パネル１３５に釦を表示してタッチ入力部１２４で表示パネル１３５に表示された釦に対する操作を検出してもよい。なお、レリーズ釦を表示パネル１３５に表示する代わりに、表示パネル１３５をレリーズ釦として機能させてもよい。その場合、表示パネル１３５にタッチしたときをレリーズ釦が半押された状態とし、所定時間（例えば1秒）以上タッチされ続けたときをレリーズ釦が全押しとした状態のみなしても良いし、タッチしたときをレリーズ釦が半押しされた状態と全押しした状態とみなしても良い。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はフラッシュメモリ１２５に記憶されたプログラムに基づいてカメラ全体の制御を行う。また、フラッシュメモリ１２５は、カラーマトリックス係数、ホワイトバランスモードに応じたＲゲインとＢゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。さらに、フラッシュメモリ１２５は、組み画像のシナリオ、つまり、組み画像を構成する画像をどのようにレイアウトするかに関する情報（組み画像の分割数、分割形状、合成される画像の配置等に関する情報）等を、テンプレートとして記憶すると共に、撮影シーン（旅行、運動会等）と関連付けて記憶している。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の、電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮展開部１１７等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されている。メモリＩ／Ｆ１２９は、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に対して書き込みおよび読み出しする制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵された不揮発性メモリやハードディスク等であっても良い。

表示ドライバ１３３は、表示パネル１３５に接続されている。表示ドライバ１３３は、ＳＤＲＡＭ１２７や記録媒体１３１から読み出されて、画像圧縮展開部１１７によって伸張された画像データに基づいて、画像を表示パネル１３５に表示させる。表示パネル１３５は、例えば、カメラ本体１００の背面に設けられた液晶ディスプレイ（ＬＣＤ）であり、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示パネル１３５は、ＬＣＤの他に有機ＥＬなどであってもよく、さらに他の表示パネルが採用されてもよい。また、表示パネル１３５は、撮影モードが組み画像モードの場合には、画像を表示するための複数の領域（以降、表示領域と記す。）が表示パネル１３５に定義される。なお、複数の表示領域のレイアウトは、組み画像のシナリオによって画定される。
オーディオ部１３７は、ＳＰ（スピーカー）１３９およびＭＩＣ（マイクロフォン）１４１に接続されている。オーディオ部１３７は、入力されたデジタルデータである音声情報をアナログ信号に変換し、ＳＰ１３９を鳴らす。また、オーディオ部１３７は、ＭＩＣ１４１により検出された音声をデジタルデータに変換し、音声情報としてバス１１０へ出力する。オーディオ部１３７は、バス１１０を介して、マイクロコンピュータ１２１との間でデジタルデータの送受信を行う。なお、ＳＰ１３９は、記録されている音声情報を再生する際に使用される。また、ＭＩＣ１４１は、カメラ１１の周囲の音声を検出し、記録もしくは環境の判断に使用される。

このような構成のカメラ１１において、例えば、撮像素子１０３、アナログ処理部１０５、Ａ／Ｄ変換部１０７は、図１に示した撮像部２に対応する。また、例えば、基本画像処理部１０９ａ、又は、基本画像処理部１０９ａ及び特殊画像処理部１０９ｂは、図１に示した画像処理部４に対応する。また、例えば、ＳＤＲＡＭ１２７は、図１に示した第１の記憶部３に対応する。また、例えば、被写体検出部１０９ｄは、図１に示した画像解析部５に対応する。また、例えば、マイクロコンピュータ１２１は、図１に示したシナリオ生成部６に対応する。また、例えば、組み画像処理部１０９ｃは、図１に示した組み画像処理部７に対応する。また、例えば、表示パネル１３５は、図１に示した表示部８に対応する。また、例えば、記録媒体１３１は、図１に示した第２の記憶部９に対応する。また、例えば、操作部１２３は、図１に示した受付部１０に対応する。

次に、図３から図１０を参照しながら、以上のように構成されたカメラ１１で行われる処理について説明する。なお、図３から図１０のフローチャートが示すカメラ１１の処理は、フラッシュメモリ１２５に記憶されているプログラムをマイクロコンピュータ１２１が実行することにより行われる。はじめに、図３に示されるカメラの処理全体の流れについて説明する。

操作部１２３の内の電源釦が操作されてカメラ１１の電源がオンになり、図３に示すカメラ１１の処理が開始されると、マイクロコンピュータ１２１は、カメラ１１を初期化する（ステップＳ１）。ここでは、機械的初期化と各種フラグ等の初期化等の電気的初期化が行われる。初期化対象のフラグとしては、例えば、動画を記録中か否かを示す記録中フラグなどがあり、初期化により記録中フラグはオフに設定される。

初期化が完了すると、次に、マイクロコンピュータ１２１は、再生釦が押されたか否かを判定する（ステップＳ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。また、再生釦が表示パネル１３５に表示されている場合には、タッチ入力部１２４からの信号を検知し、判定する。再生釦が押下されると、マイクロコンピュータ１２１は動作モードを再生モードに設定して、再生処理を実行する（ステップＳ４）。再生処理が完了すると、再びステップＳ３の処理を実行する。なお、再生処理の詳細な説明については割愛するが、例えば、ユーザの指示に応じて、記録媒体１３１に記憶されている画像を表示パネル１３５に表示する等の処理が行われる。

ステップＳ３で再生釦が押下されていないと判定されると、マイクロコンピュータ１２１はメニュー釦が押下されたか否か、すなわち、メニュー画面が表示されてカメラ設定が行われる状態になったか否かを判定する（ステップＳ５）。ここでは、操作部１２３内のメニュー釦の操作状態を検知し、判定する。メニュー釦が表示パネル１３５に表示されている場合には、タッチ入力部１２４からの信号を検知し、判定する。

メニュー釦が押下されると、マイクロコンピュータ１２１は、操作部１２３に対するさらなる操作を検出して、検出結果に従ってカメラ設定を変更する（ステップＳ７）。カメラ設定処理が完了すると、再びステップＳ３の処理を実行する。

なお、カメラ設定としては、例えば、撮影モード設定、記録モード設定、画像の仕上がり設定、組み画像のシナリオの設定、組み画像に組み込む予め取得した画像を選択する設定、画像を記録するか否かの設定などがある。撮影モードには、通常の撮影モードと組み画像モードがある。また、記録モードには、静止画記録モードとしてＪＰＥＧ記録、ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録等があり、動画記録モードとしてＭｏｔｉｏｎ−ＪＰＥＧ、Ｈ．２６４等がある。本実施例では、一例として、静止画記録モードとしてＪＰＥＧ記録が設定されるものとする。さらに、画像の仕上がりの設定には、自然に見える画像にする（Ｎａｔｕｒａｌ）、鮮やかな画像にする（Ｖｉｖｉｄ）、落ち着いた画像にする（Ｆｌａｔ）、アートフィルタ等の特殊効果の設定がある。

ステップＳ５でメニュー釦が押されていないと判定されると、マイクロコンピュータ１２１は、動画釦が押下されたか否かを判定する（ステップＳ９）。ここでは、操作部１２３内の動画釦の操作状態を検知し、判定する。動画釦が表示パネル１３５に表示されている場合には、タッチ入力部１２４からの信号を検知し、判定する。

動画釦が押されていないと判定されると、マイクロコンピュータ１２１は、ステップＳ１９の処理を実行する。一方、動画釦が押されると、マイクロコンピュータ１２１は、記録中フラグを反転させる（ステップＳ１１）。つまり、記録中フラグがオフであればオンに、オンであればオフに変更する。さらに、マイクロコンピュータ１２１は、反転後の記録中フラグの状態に基づいて画像記録中か否かを判定する（ステップＳ１３）。

記録中フラグがオンと判定されると、マイクロコンピュータ１２１は、動画記録の開始が指示されたと判断して動画ファイルを生成し（ステップＳ１５）、画像データを記録するための準備を整える。このような処理は、例えば、電源オン後はじめて動画釦が押下された場合などに行われる。なお、動画ファイル生成後は、ステップＳ１９の処理が実行される。

ステップＳ１３で記録中フラグがオフと判定されると、マイクロコンピュータ１２１は、動画記録の終了が指示されたと判断して、動画ファイルを閉じる（ステップＳ１７）。つまり、動画ファイルのヘッダにフレーム数を記録する処理等を行って動画ファイルを再生可能な状態にしてから、書き込み処理を終了する。なお、動画ファイルへの書き込み終了後は、ステップＳ１９の処理が実行される。

ステップＳ１９では、マイクロコンピュータ１２１は、撮影モードが組み画像モードであり、且つ、操作部１２３に対して所定の組み画像操作が行われたか否かを判定する。ここでは、ＳＤＲＡＭ１２７に記憶されている撮影モードの設定と操作部１２３の操作状態とを検知し、判定する。

組み画像モードで且つ所定の操作が行われたと判定されると、マイクロコンピュータ１２１は、組み画像操作処理を実行する（ステップＳ６００）。組み画像操作処理が完了すると、再びステップＳ２１の処理を実行する。なお、組み画像操作処理の詳細については、図９を参照しながら後に詳述する。

ステップＳ１９で撮影モードが組み画像モードでないと判定されるか、操作部１２３に対して所定の組み画像操作が行われていないと判定されると、マイクロコンピュータ１２１は、レリーズ釦が半押しされたか否かを判定する（ステップＳ２１）。ここでは、レリーズ釦に連動するファーストレリーズスイッチのオフからオンへの遷移を検知し、判定する。レリーズ釦が表示パネル１３５に表示されている場合または表示パネル１３５がレリーズ釦として機能している場合には、レリーズ釦が表示されている領域またはライブビュー画像が表示されている表示領域をタッチしたことを示す信号を検出し、判定する。

レリーズ釦が半押しされると、マイクロコンピュータ１２１は、ＡＥ・ＡＦ動作を実行する（Ｓ２３）。ここでは、ＡＥ動作は、ＡＥ処理部１１１が撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて適正露出となるシャッタ速度、絞り値等を算出することにより行われる。また、ＡＦ動作は、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させることにより行われる。なお、タッチ入力部１２４からの信号によりＡＦ動作が行われる場合には、タッチ位置に表示されている被写体に合焦点するように撮影レンズ２０１を移動させる。ＡＥ・ＡＦ動作後は、ステップＳ２５の処理が実行される。
ＡＦ動作は上述の所謂コントラストＡＦ以外にも、専用のセンサを用いた位相差ＡＦ等様々なＡＦ方式を用いても良い。

ステップＳ２１でレリーズ釦が半押しされていないと判定されると、マイクロコンピュータ１２１は、レリーズ釦が全押しされたか否かを判定する（ステップＳ２７）。ここでは、セカンドレリーズスイッチのオフからオンへの遷移を検知し、判定する。セカンドレリーズスイッチがオンの状態であることを連続して検知して判定することで、連写撮影を行うようにしても良い。また、レリーズ釦が表示パネル１３５に表示されている場合または表示パネル１３５がレリーズ釦として機能している場合には、レリーズ釦が表示されている領域またはライブビュー画像が表示されている表示領域をタッチしたことを示す信号を検出し、判定する。

レリーズ釦が全押しされると、マイクロコンピュータ１２１は、メカシャッタによる静止画撮影を行う（Ｓ２９）。ここでは、ステップＳ２３で算出された絞り値で絞り２０３が制御され、また算出されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０を介してＳＤＲＡＭ１２７に一時記憶される。

その後、マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータを読み出して、画像処理部１０９に画像処理を実行させ（ステップＳ１００ａ）、処理した画像データ等を記録媒体１３１に記録する静止画記録処理を実行する（ステップＳ５００）。なお、画像処理と静止画記録処理の詳細については、それぞれ、図４から図７、図８を参照しながら後に詳述する。静止画記録処理が完了すると、マイクロコンピュータ１２１は、ステップＳ２５の処理を実行する。

ステップＳ２７でレリーズ釦が全押しされていないと判定されると、マイクロコンピュータ１２１は、動画またはライブビュー画像のために、ＡＥ動作を実行する（ステップＳ３５）。ＡＥ動作は、適正露出でライブビュー表示を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度をＡＥ処理部１１１が算出することにより行われる。ＡＥ動作後、マイクロコンピュータ１２１は、電子シャッタによる撮影を行う（ステップＳ３７）。ここでは、電子シャッタを用いて撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０を介してＳＤＲＡＭ１２７に一時記憶される。

その後、マイクロコンピュータ１２１は、撮影モードが組み画像モードである場合に限り、組み画像のシナリオ設定処理を行う（Ｓ７００）。なお、シナリオ設定処理の詳細については、図１０を参照しながら後に詳述する。シナリオ設定処理が完了すると、マイクロコンピュータ１２１は、Ｓ３７でＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータを読み出して、メカシャッタによる撮影の場合と同様の画像処理を画像処理部１０９に実行させる（ステップＳ１００ｂ）。さらに、マイクロコンピュータ１２１の制御の下、ライブビュー画像が表示される表示領域の画像をステップＳ３７で取得されてステップＳ１００ｂで画像処理された画像データに変更してライブビュー画像を更新するように、表示ドライバ１３３が表示パネル１３５を制御する（ステップＳ３９）。

ライブビュー画像を更新すると、マイクロコンピュータ１２１は、動画記録中か否かを判定する（ステップＳ４１）。ここでは、ＳＤＲＡＭ１２７に記憶されている記録中フラグの状態により、判定する。

記録中フラグがオフの場合には、マイクロコンピュータ１２１は、ステップＳ２５の処理を実行する。一方、記録中フラグがオンの場合には、マイクロコンピュータ１２１は動画記録中と判断し、動画記録する（ステップＳ４３）。即ち、ステップＳ３９で更新したライブビュー画像の画像データをステップＳ１５で生成した動画ファイルのフレーム画像として記録する。その後、ステップＳ２５の処理を実行する。

ステップＳ２５では、マイクロコンピュータ１２１は、電源がオフか否かを判定する。電源がオンの場合には、ステップＳ３の処理を実行する。オフの場合には、マイクロコンピュータ１２１は必要な終了処理を実行後、カメラ１１の処理を終了する。

次に、図４から図７を参照しながら、図３に示されるメカシャッタによる撮影、または、電子シャッタによる撮影及びシナリオ設定後に行われる画像処理について、さらに詳細に説明する。なお、メカシャッタによる撮影後に行われる画像処理の対象は、メカシャッタによる撮影で取得されたＲＡＷデータであり、電子シャッタによる撮影及びシナリオ設定後に行われる画像処理の対象は、電子シャッタによる撮影で取得されたＲＡＷデータである。

画像処理は、図４に示すように、主として、基本画像処理部１０９ａにより行われる基本画像処理と、特殊画像処理部１０９ｂにより行われる特殊画像処理と、組み画像処理部１０９ｃにより行われる組み画像生成処理とから、構成されている。

マイクロコンピュータ１２１がＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータを読み出して、画像処理部１０９に画像処理を指示すると、まず、基本画像処理部１０９ａが読み出されたＲＡＷデータに対して基本画像処理を実行する（ステップＳ２００）。

基本画像処理部１０９ａが実行する基本画像処理は、図５に示すように、７つの画像処理ステップにより構成されている。最初に、オプティカルブラック（ＯＢ）減算を行う（ステップＳ２０１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部が、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。

ＯＢ減算後、ホワイトバランス（ＷＢ）補正を行う（ステップＳ２０３）。このステップでは、基本画像処理部１０９ａ内のＷＢ補正部が、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、画像データにその値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。

続いて、同時化処理を行う（ステップＳ２０５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部が、各画素のデータ（ベイヤデータ）をＲＧＢデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。なお、このステップは、撮像素子１０３としてＦＯＶＥＯＮ（フォベオン・インコーポレーテッドの登録商標）形式の撮像素子を用いた場合等、ＲＡＷデータにおいて１画素あたり複数のデータを有している場合には省略される。

同時化処理後、色再現処理を行う（ステップＳ２０７）。このステップでは、基本画像処理部１０９ａ内の色再現処理部が、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って、画像データの色を補正する。なお、カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。

色再現処理後、輝度変更処理を行う（ステップＳ２０９）。このステップでは、基本画像処理部１０９ａ内の輝度変更処理部が、画像データ（ＲＧＢデータ）に対してガンマ補正処理を行う。さらに、ＲＧＢデータからＹＣｂＣｒデータに色変換し、変換後の画像データのＹデータに対してガンマ補正を行う。なお、ガンマ補正では、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出して使用する。

輝度変更処理後、エッジ強調を行う（ステップＳ２１１）。このステップでは、画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。

最後に、ＮＲ（ノイズ除去）を行う（ステップＳ２１３）。このステップでは、基本画像処理部１０９ａ内のＮＲ部が、画像を周波数分解し、周波数に応じてコアリング処理を行うことでノイズを低減する処理を行う。

以上の基本画像処理が完了すると、特殊効果（アートフィルタ）が設定されている場合には、基本画像処理部１０９ａにより処理された画像データに対して、特殊画像処理部１０９ｂが特殊画像処理を実行する（図４のステップＳ１０１、ステップＳ３００）。

特殊画像処理部１０９ｂが実行する特殊画像処理は、図６に示すように、特殊効果の設定に応じて行われる５つの画像処理ステップを中心に構成されている。

具体的には、特殊効果（アートフィルタ）として、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタルが設定されているか否かを順に判定する（ステップＳ３０３、ステップＳ３０７、ステップＳ３１１、ステップＳ３１５、ステップＳ３１９）。

トイフォトが設定されている場合には、画像データに対してシェーディング付加処理を行う（ステップＳ３０５）。このステップでは、特殊画像処理部１０９ｂが中心からの距離に応じて徐々に輝度が低下するようなゲインマップ（ゲイン値は１以下）を生成し、画像データに対してそのゲインマップに従って各画素に応じたゲインを乗じることで、周辺にシェーディングを付加する。

ファンタジックフォーカスが設定されている場合には、画像データに対してソフトフォーカス処理を行う（ステップＳ３０９）。このステップでは、特殊画像処理部１０９ｂが画像全体にぼかし処理を施した画像データを生成し、ぼかす前の画像の画像データとぼかし処理後の画像の画像データとを所定の割合（例えば、３：２など）で合成する。

ラフモノクロームが設定されている場合には、画像データに対してノイズ重畳処理を行う（ステップＳ３１３）。このステップでは、特殊画像処理部１０９ｂが予め作成したノイズパターンを画像データに加算する。なお、ノイズパターンは乱数等に基づいて生成してもよい。

ジオラマが設定されている場合には、画像データに対してぼかし処理を行う（ステップＳ３１７）。このステップでは、特殊画像処理部１０９ｂがＡＦのターゲットを中心に画像の周辺（例えば、上下または左右、または、その両方）を距離に応じて徐々にぼかす。

クリスタルが設定されている場合には、画像データに対してクロスフィルタ処理を行う（ステップＳ３２１）。このステップでは、特殊画像処理部１０９ｂが画像中の輝点を検出し、その輝点を中心にクロスパターンが描画されるように画像データを加工する。

以上の特殊画像処理が完了すると、撮影モードが組み画像モードであるか否かを組み画像処理部１０９ｃが判定する（図４のステップＳ１０３）。撮影モードが組み画像モードでない場合には、画像処理を終了する。

撮影モードが組み画像モードである場合には、組み画像処理部１０９ｃが、表示パネル１３５の複数の表示領域に表示されている複数の画像の画像データを用いて、組み画像生成処理を実行する（図４のステップＳ４００）。

組み画像処理部１０９ｃが実行する組み画像生成処理は、図７に示すように、５つの画像処理ステップにより構成されている。

最初に、画像解析を行う（ステップＳ４０３）。このステップでは、組み画像処理部１０９ｃが、表示パネル１３５の表示領域に表示されている複数の画像の画像データの各々が有する色分布と輝度分布を算出する。なお、表示領域に表示されている画像の画像データそのもの（つまり、基本画像処理部１０９ａ及び特殊画像処理部１０９ｂで処理された画像データ）ではなく、それらの画像データに対応する、画像処理がされる前のＲＡＷデータから色分布と輝度分布を算出してもよい。

画像解析後、組み画像を構成する複数の画像データの画像がほぼ同じ色となるように、色変更処理を行う（ステップＳ４０５）。このステップでは、複数の画像データの色差Ｃｂ、色差Ｃｒのピークがそれらの平均値になるように、組み画像処理部１０９ｃが各画像データの色差Ｃｂ、色差Ｃｒをオフセットして補正する。例えば、画像解析により図１１（ａ）及び図１１（ｄ）に示されるような色分布（色差の分布）が算出された場合であれば、図１１（ｂ）及び図１１（ｅ）に示されるように色差Ｃｂ、色差Ｃｒの分布をオフセットする。その結果、図１１（ｃ）及び図１１（ｆ）に示されるように、色変更処理が行われた複数の画像がほぼ同じような色を示すことになる。
なお、色変更処理における色変更の方法は上記の色差Ｃｂと色差Ｃｒを変更する方法以外に、例えば、ＲＧＢ色空間においてＲやＢにゲインを乗じる等、他の方法でも実現可能である。

さらに、色変更処理後、組み画像を構成する複数の画像データの画像の輝度がほぼ同じになるように、輝度変更処理を行う（ステップＳ４０７）。このステップでは、複数の画像データの各々の輝度分布の平均が、複数の画像データ全体の輝度分布の平均になるように、組み画像処理部１０９ｃが各画像データを補正する。例えば、画像解析により図１２（ａ）に示されるような輝度Ｙの分布が得られた場合であれば、図１２（ｂ）に示されるように各画像データのＲＧＢデータに対してそれぞれ異なるガンマ変換を行うことにより輝度Ｙの分布を補正し、図１２（ｃ）に示されるように、複数の画像の輝度をほぼ同じにする。なお、輝度成分に対するガンマ変換ではなくＲＧＢ色空間でのガンマ変換により輝度を補正する理由は、補正により輝度が大きく変更された場合であっても、画像の色が不自然にならないようにするためである。
なお、輝度変更処理における輝度変更の方法は、上記のガンマ変化を用いる方法以外に、例えば、日陰等の暗部領域のみ輝度を変更したり、明部領域のみ輝度を変更したりする等、他の方法でも実現可能である。

輝度変更処理後、色と輝度が補正された複数の画像データを合成する合成処理を行う（ステップＳ４０９）。このステップでは、表示パネル１３５の複数の表示領域に表示されている複数の画像の画像データを、より詳細には、色変更処理及び輝度変更処理が行われた複数の画像データを、設定されている組み画像のシナリオに基づいて組み画像処理部１０９ｃが合成して、それらの複数の画像を表示パネル１３５に表示されているようにレイアウトした組み画像の画像データを生成する。
最後に、組み画像全体に対して、特殊画像処理部１０９ｂがアートフィルタ等で適用可能な効果であるぼかし処理やシェーディング付加などの特殊効果をカメラ設定における仕上がり設定によらず、組み画像のシナリオに応じて付与し（ステップＳ４１１）、組み画像生成処理を終了する。なお、このようにして生成された組み画像は、表示パネル１３５の表示にも反映される。以上により、図４の画像処理が終了する。

上述したように動作して組み画像を生成するカメラ１１によれば、組み画像を構成する複数の画像の各々が他の画像と比較した結果に基づいて補正される。そして、補正された画像の画像データを合成することで組み画像の画像データが生成される。このため、画像が個別に画像処理されるだけの従来のカメラに比べて、画像間で色合いや明るさのバランスが取れた、組み画像として良好な画像を得ることができる。なお、図７では、各画像に色変更処理と輝度変更処理を実行する例を示したが、他の画像と比較した結果に基づいて行われる画像処理はこれらに限られず、他の画像処理が実行されてもよい。

次に、図８を参照しながら、図３に示されるメカシャッタ撮影で取得された画像データに対する画像処理後に行われる静止画記録について、さらに詳細に説明する。

図８に示されるように、静止画記録処理が開始されると、まず、マイクロコンピュータ１２１が、撮影モードが組み画像モードか否かを判定する（ステップＳ５０１）。このステップでは、ＳＤＲＡＭ１２７に記憶されている撮影モードの設定により、判定する。

撮影モードが組み画像モードでない場合、マイクロコンピュータ１２１は、表示ドライバ１３３を制御して、メカシャッタにより撮影されて画像処理部１０９で画像処理された画像データの画像１枚を表示パネル１３５にレックビュー表示する（ステップＳ５１５）。その後、メモリＩ／Ｆ１２９を制御して、表示した画像の画像データを記録媒体１３１に記録させて（ステップＳ５１７）、静止画記録処理を終了する。なお、画像データは、画像圧縮伸張部１１７でＪＰＥＧ形式に圧縮されてから記録されてもよく、また、非圧縮で記録されてもよい。さらに、画像処理部１０９で画像処理される前のＲＡＷデータも記録するようにしてもよい。

一方、撮影モードが組み画像モードである場合には、マイクロコンピュータ１２１が、組み画像を構成するために撮影した画像であるコマ画像（撮影画像とも記す）を記録する設定となっているか否かを判定する（ステップＳ５０３）。記録する設定となっている場合には、マイクロコンピュータ１２１は、メモリＩ／Ｆ１２９を制御して、画像処理部１０９で処理されたコマ画像を記録媒体１３１に記録させる（ステップＳ５０４）。

その後、マイクロコンピュータ１２１は、組みが完了しているか否か、つまり、組み画像を構成するすべてのコマ画像を撮影済みか否か、を判定する（ステップＳ５０５）。なお、組み画像に組み込む予め取得した画像が設定されている場合には、予め取得した画像をのぞくすべてのコマ画像を撮影済みか否かを判定する。このステップは、設定された組み画像のシナリオに応じて決定される枚数のコマ画像がＳＤＲＡＭ１２７のコマ画像領域に記憶されているかにより判断する。すべてのコマ画像を撮影していない場合には、静止画記録処理を終了する。

すべてのコマ画像を撮影済みの場合には、マイクロコンピュータ１２１は、表示ドライバ１３３を制御して、画像処理部１０９で生成した組み画像を表示パネル１３５にレックビュー表示させる（ステップＳ５０７）。

その後、マイクロコンピュータ１２１は、メモリＩ／Ｆ１２９を制御して、画像処理部１０９で生成した組み画像の画像データを記録媒体１３１に記録させて（ステップＳ５１１）、静止画記録処理を終了する。
次に、図９を参照しながら、組み画像操作処理について、さらに詳細に説明する。

図９に示されるように、組み画像操作処理が開始されると、組み画像操作処理が開始される原因となった操作が特定される。具体的には、マイクロコンピュータ１２１が、撮影コマ変更操作、領域拡大操作、領域分割操作が行われた否かを、順に判定する（ステップＳ６０１、ステップＳ６０５、ステップＳ６０９）。なお、撮影コマ変更操作、領域拡大操作、領域分割操作は、シナリオ変更指示に対応する操作の一例である。

ステップＳ６０１の撮影コマ変更操作が行われたか否かの判定は、例えば、画像が表示されていない表示領域に対するタッチ操作をタッチ入力部１２４が検出したか否かによって行われる。マイクロコンピュータ１２１は、画像が表示されていない表示領域に対するタッチ操作を検出すると、撮影コマ変更情報記憶処理、つまり、ライブビュー画像を表示すべき表示領域を切り替えてタッチされた表示領域にライブビュー画像を表示するようにさせるための情報をＳＤＲＡＭ１２７に記憶する処理、を行う（ステップＳ６０３）。なお、本ステップにおいて、タッチ操作に代えて、十字キーなどのキー操作により画像が表示されていない表示領域を指定するようにしてもよい。

ステップＳ６０５の領域拡大操作が行われたか否かの判定は、例えば、ライブビュー画像が表示されている表示領域と画像が表示されていない表示領域との間の境界をなぞるタッチ操作をタッチ入力部１２４が検出したか否かによって行われる。マイクロコンピュータ１２１は、このようなタッチ操作を検出すると、領域拡大情報記憶処理、つまり、そのタッチ操作が検出された境界に隣接する、ライブビュー画像が表示されている表示領域と画像が表示されていない表示領域とを１つの表示領域として統合し、その統合された表示領域にライブビュー画像を表示するようにさせるための情報をＳＤＲＡＭ１２７に記憶する処理、を行う（ステップＳ６０７）。

ステップＳ６０９の領域分割操作が行われたか否かの判定は、例えば、ライブビュー画像が表示されている表示領域の外周上の２点間を一方の点から他方の点までなぞるタッチ操作をタッチ入力部１２４が検出したか否かによって行われる。マイクロコンピュータ１２１は、このようなタッチ操作を検出すると、領域分割情報記憶処理、つまり、そのタッチ操作が検出された２点間を境界として表示領域を２つに分割し、その一方の領域にライブビュー画像を表示するようにさせるための情報をＳＤＲＡＭ１２７に記憶する処理、を行う（ステップＳ６１１）。以上により、図９の組み画像操作処理が終了する。

次に、図１０を参照しながら、組み画像のシナリオ設定処理について、さらに詳細に説明する。組み画像のシナリオ設定処理は、図１０に示すように、Ｓ７００の判定の結果に応じて、Ｓ７０１、Ｓ７０３、Ｓ７０５、Ｓ７０７の４つのステップ、又は、Ｓ７０５、Ｓ７０７の２つのステップが実行される。
具体的には、マイクロコンピュータ１２１は、最初に、Ｓ７のカメラ設定（図３参照）において、ユーザにより設定されたシナリオを優先とする設定が行われているか否かを判定する（Ｓ７００）。

ユーザにより設定されたシナリオを優先とする設定が行われていないと判定した場合には（Ｓ７００がＮｏ）、マイクロコンピュータ１２１は、ライブビュー画像を取得して画像解析を行う（Ｓ７０１）。具体的には、Ｓ３７（図３参照）でＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータ、または、ＲＡＷデータに対して少なくとも基本画像処理を施した画像データのいずれかを解析用画像データとして取得し、その解析用画像データ上に表現されている被写体の種類や特徴（静止している被写体か移動している被写体か、ペット等の動物や、自動車、山、海、空などの風景、家具や食器等の静物、橋、ビルなどの建造物、道路等）、被写体までの距離、画角内の位置、大きさ、数などといった、シナリオの生成に必要とされる要素を解析する。そして、その解析の結果から、被写体と構図の情報を取得する（Ｓ７０３）。なお、被写体と構図の情報は、例えば、どのような被写体がどのように配置されているか等の情報である。

その後、マイクロコンピュータ１２１は、取得した被写体と構図の情報に基づいて、適切なシナリオ（シナリオデータ）を生成する（Ｓ７０５）。但し、シナリオ変更指示（撮影コマ変更操作、領域拡大操作、又は領域分割操作）が行われていた場合には、ＳＤＲＡＭ１２７に記憶されている対応する情報（撮影コマ変更情報、領域拡大情報、又は領域分割情報）と、Ｓ７０３で取得された被写体と構図の情報とに基づいて、適切なシナリオ（シナリオデータ）を生成する。そして、マイクロコンピュータ１２１は、設定されているシナリオを、生成されたシナリオへ変更する（Ｓ７０７）。

一方、ユーザにより設定されたシナリオを優先とする設定が行われていると判定した場合には（Ｓ７００がＹｅｓ）、Ｓ７０１、Ｓ７０３がスキップされ、マイクロコンピュータ１２１は、シナリオ変更指示（撮影コマ変更操作、領域拡大操作、又は領域分割操作）が行われていた場合に限り、ＳＤＲＡＭ１２７に記憶されている対応する情報（撮影コマ変更情報、領域拡大情報、又は領域分割情報）に基づいて、対応するシナリオ（シナリオデータ）を生成し（Ｓ７０５）、設定されているシナリオを、生成したシナリオへ変更する（Ｓ７０７）。以上により、図１０の組み画像のシナリオ設定処理が終了する。

なお、カメラ１１に設定されたシナリオによって実現される組み画像は、例えば、図１３（ａ）、図１３（ｂ）、図１３（ｃ）、又は図１３（ｄ）に示される分割数、分割形状のような組み画像となる。図１３（ａ）、図１３（ｄ）に示される組み画像は、いずれも、分割数が４つで同じであるが、分割形状は異なっている。また、図１３（ｂ）、図１３（ｃ）に示される組み画像は、いずれも、分割数が３つで同じであるが、分割形状は異なっている。なお、分割形状は、四角形に限らず、図１３（ｄ）に示されるように、他の多角形や円形等であってもよい。

上述したように動作するカメラ１１によれば、設定されている組み画像のシナリオに基づいて、表示パネル１３５には次のような表示が行われる。
被写体検出部１０９ｄで主要被写体が、人物であると判断された場合、検出された顔の数から人数を判断することが可能である。その例を示す。
例えば、図１４（ａ）に示されるように、左上の表示領域にライブビュー画像が配置されて表示されているときに撮影指示が行われると、図１４（ｂ）に示されるように、左上の表示領域にコマ画像（上記の撮影指示に応じて得られた撮影画像）が配置されると共に、残りの表示領域にライブビュー画像（図１４（ｃ）参照）上に表現されている各人物の顔がそれぞれ配置されて表示される。このような表示は、図１４（ｃ）に示されるライブビュー画像の解析結果、つまり、ライブビュー画像上に３人の人物の顔が表現されている等の解析結果に基づいて生成されたシナリオによるものである。なお、図１４（ａ）、図１４（ｂ）において、「ＬＶ」と記された画像はライブビュー画像を示しており、この「ＬＶ」は実際に表示されてもよいし、表示されなくてもよい（後述の図１５乃至図２３においても同じ）。「ＬＶ」を表示せずに、撮影指示を行ったコマ画像（図１４（ｂ）の場合には左上のコマ画像）に、ライブビュー画像と区別できるような表示（たとえば、「撮影画像」と表示する）を行ってもよい（後述の図１５乃至図２３においても同じ）。

また、例えば、図１５（ａ）に示されるように、左上の表示領域にライブビュー画像が配置されて表示されているときに撮影指示が行われると、一旦、図１５（ｂ）に示されるように、左上の表示領域にコマ画像（上記の撮影指示に応じて得られた撮影画像）が配置されると共に右上の表示領域にライブビュー画像が配置されて表示された後、図１５（ｃ）に示されるように、左下と右下の表示領域が一つに統合されてなる下側の表示領域にライブビュー画像が配置されて表示される。このような表示は、ライブビュー画像の解析結果、つまり、ライブビュー画像上に風景が表現されている等の解析結果に基づいて生成されたシナリオによるものである。なお、図１５（ｃ）に示される表示において、左上及び右上の表示領域と、下側の表示領域とを入れ替えるように配置して表示させるようにしてもよい。
このように、被写体検出部１０９ｄで、主要被写体が遠景の風景を含んだ画像や、左右への横方法に移動する移動体を含んだ画像を判断した場合には、図１５（ａ）から図１５（ｃ）に示すような構図となる。

或いは、図１５（ａ）に示される表示が行われているときに撮影指示が行われると、一旦、図１５（ｄ）に示されるように、左上の表示領域にコマ画像が配置されると共に右上の表示領域にライブビュー画像が配置されて表示された後、図１５（ｅ）に示されるように、右上と右下の表示領域が一つに統合されてなる右側の表示領域にライブビュー画像が配置されて表示される。このような表示は、ライブビュー画像の解析結果、つまり、ライブビュー画像上に人物の全身が表現されている等の解析結果に基づいて生成されたシナリオによるものである。なお、図１５（ｅ）に示される表示において、左上及び左下の表示領域と、右側の表示領域とを入れ替えるように配置して表示させるようにしてもよい。

或いは、図１５（ａ）に示される表示が行われているときに撮影指示が行われると、一旦、図１５（ｆ）に示されるように、左上の表示領域にコマ画像が配置されると共に右上の表示領域にライブビュー画像が配置されて表示された後、図１５（ｇ）に示されるように、左下と右下の表示領域が一つに統合されてなる下側の表示領域にライブビュー画像が配置されて表示される。このような表示は、ライブビュー画像の解析結果、つまり、ライブビュー画像上に右側から左側へ動いている人物が表現されている等の解析結果に基づいて生成されたシナリオによるものである。なお、図１５（ｇ）に示される表示において、左上及び右上の表示領域と、下側の表示領域とを入れ替えて、図１５（ｈ）に示されるように表示させるようにしてもよい。

また、例えば、図１６（ａ）に示されるように、左上の表示領域にライブビュー画像が配置されて表示されているときに、図１６（ｂ）に示されるように、ライブビュー画像上に表現されている人物が笑顔で大声で笑っている場合には、図１６（ｃ）に示されるように、動画記録が開始される。なお、図１６（ｃ）に示す「ＭＯＶＩＥ」は、動画記録中であることを示す。このような表示は、ライブビュー画像の解析結果、つまり、ライブ画像上に笑顔で大声で笑っている人物が表現されている等の解析結果に基づいて生成されたシナリオによるものである。なお、音声は、ＭＩＣ１４１とオーディオ部１３７から入力された音声情報により判断することが出来る。

或いは、図１６（ａ）に示される表示が行われているときに撮影指示が行われると、図１６（ｄ）に示されるように（図１４（ｂ）に示される表示と同様に）、左上の表示領域にコマ画像（上記の撮影指示に応じて得られた撮影画像）が配置されると共に、残りの表示領域にライブビュー画像上に表現されている各人物の顔がそれぞれ配置されて表示される。そして、右下の表示領域に表示されているライブビュー画像上に表現されている人物が笑顔で大声で笑っている場合には、図１６（ｅ）に示されるように、右下の表示領域に表示されているライブビュー画像に対して特殊画像処理（例えばファンタジックフォーカスに対応したソフトフォーカス処理等）が施されて表示される。或いは、図１６（ｆ）に示されるように、右下の表示領域の大きさを大きくして同様の表示が行われる。このような表示は、ライブビュー画像の解析結果、つまり、ライブビュー画像上に笑顔で大声で笑っている１人の人物を含む３人の人物の顔が表現されている等の解析結果に基づいて生成されたシナリオによるものである。
このように、オーディオ部１３７で検出した音声を判断した結果により、図１６（ｂ）から図１６（ｅ）に示すような構図となる。そのほかにも、被写体検出部１０９ｄで人物の顔の表情を解析し表情に応じて構図を決めることも可能である。

また、例えば、図１７（ａ）に示されるように、表示パネル１３５にライブビュー画像が１コマ形式で表示されているときに撮影指示が行われると、一旦、図１７（ｂ）に示されるように、左下の小さな表示領域にコマ画像（上記の撮影指示に応じて得られた撮影画像）が配置されると共に、それ以外の表示領域にライブビュー画像が配置されて表示された後、図１７（ｃ）に示されるように、右上の表示領域にコマ画像が配置されると共に、左側の表示領域にライブビュー画像が配置されて表示される。このような表示は、ライブビュー画像の解析結果、つまり、ライブビュー画像上に人物の全身が表現されている等の解析結果に基づいて生成されたシナリオによるものである。
このように、被写体検出部１０９ｄで、人物や、ビル等の建造物のような縦方向の主要被写体を含んだ画像を判断した場合には、図１７（ａ）から図１７（ｃ）に示すような構図となる。

また、例えば、図１８（ａ）に示されるように、左上の表示領域にライブビュー画像が配置されて表示されているときに撮影指示が行われると、図１８（ｂ）に示されるように、左上の表示領域にコマ画像（上記の撮影指示に応じて得られた撮影画像）が配置されると共に、右上の表示領域にライブビュー画像が配置されて表示される。このときに、図１８（ｃ）に示されるように、ライブビュー画像が表示されている右上の表示領域と、画像が表示されていない右下の表示領域との間の境界をなぞるタッチ操作（領域拡大操作）が行われると、図１８（ｄ）に示されるように、右上と右下の表示領域が一つに統合されてなる右側の表示領域にライブビュー画像が配置されて表示される。このような表示は、ユーザによる領域拡大操作に基づいて生成されたシナリオによるものである。

或いは、例えば、図１８（ａ）に示される表示が行われているときに撮影指示が行われると、図１８（ｅ）に示されるように、左上の表示領域にコマ画像が配置されると共に、左下の表示領域にライブビュー画像が配置されて表示される。このときに、図１８（ｆ）に示されるように、ライブビュー画像が表示されている左下の表示領域と、画像が表示されていない右下の表示領域との間の境界をなぞるタッチ操作（領域拡大操作）が行われると、図１８（ｇ）に示されるように、左下と右下の表示領域が一つに統合されてなる下側の表示領域にライブビュー画像が配置されて表示される。このような表示も、ユーザによる領域拡大操作に基づいて生成されたシナリオによるものである。

また、例えば、図１９（ａ）に示されるように、左上の表示領域にライブビュー画像が配置されて表示されているときに、図１９（ｂ）に示されるように、ライブビュー画像が表示されている左上の表示領域と、画像が表示されていない左下の表示領域との間の境界をなぞるタッチ操作（領域拡大操作）が行われると、図１９（ｃ）に示されるように、左上と左下の表示領域が一つに統合されてなる左側の表示領域にライブビュー画像が配置されて表示される。そして、図１９（ｄ）に示されるように、さらに、ライブビュー画像が表示されている左側の表示領域と、画像が表示されていない右側の表示領域（右上と右下の表示領域）との間の境界をなぞるタッチ操作（領域拡大操作）が行われると、図１９（ｅ）に示されるように、左側と右側の表示領域が一つに統合されてなる表示領域にライブビュー画像が配置されて表示される。このような表示も、ユーザによる領域拡大操作に基づいて生成されたシナリオによるものである。
このように、被写体検出部１０９ｄで、画角中の主要被写体の占める割合、像倍率（すなわち焦点距離と被写体までの距離から演算し、アップで撮影している画像）を判断した場合には、図１９（ａ）から図１９（ｅ）に示すような構図となる。

但し、例えば、図２０（ａ）に示されるように、左上の表示領域にライブビュー画像が配置されて表示されているときに撮影指示が行われ、図２０（ｂ）に示されるように、左上の表示領域にコマ画像（上記の撮影指示に応じて得られた撮影画像）が配置されると共に、右上の表示領域にライブビュー画像が配置されて表示されているときに、図２０（ｃ）に示されるように、コマ画像が表示されている左上の表示領域とライブビュー画像が表示されている右上の表示領域との間の境界をなぞるタッチ操作が行われた場合には、図１９（ｄ）に示されるように、領域拡大は行われない。これは、そのタッチ操作が行われた境界に隣接する画像の一方、つまり、左上の表示領域に表示されているコマ画像が組み画像の合成に使用される画像として確定されているからである。このような場合には、領域拡大は行われない。なお、このようなタッチ操作は、ライブビュー画像が表示されている表示領域と画像が表示されていない表示領域との間の境界をなぞるタッチ操作に該当しないため、そもそも領域拡大操作ではない。

また、例えば、図２１（ａ）に示されるように、左上の表示領域にライブビュー画像が配置されて表示されているときに撮影指示が行われると、図２１（ｂ）に示されるように、左上の表示領域にコマ画像（上記の撮影指示に応じて得られた撮影画像）が配置されると共に、右上と右下の表示領域が一つに統合されてなる右側の表示領域にライブビュー画像が配置されて表示される。このときに、図２１（ｃ）に示されるように、ライブビュー画像が表示されている右側の表示領域の外周上の２点間を一方の点から他方の点までなぞるタッチ操作（領域分割操作）が行われると、図２１（ｄ）又は図２１（ｅ）に示されるように、右側の表示領域が右上の表示領域と右下の表示領域に分割され、その一方（本例では右上）の表示領域にライブビュー画像が配置されて表示される。なお、図２１（ｅ）に示される表示の例では、ライブビュー画像上に表現されている被写体（人物の全身）が右上の表示領域に収まるようにライブビュー画像が縮小されて表示された例である。このような表示は、ユーザによる領域分割操作やライブビュー画像の解析結果に基づいて生成されたシナリオによるものである。

なお、カメラ１１では、シナリオ変更指示が、撮影コマ変更操作、領域拡大操作、領域分割操作によって行われていたが、他の操作によっても行われるようにしてもよい。
例えば、図２２（ａ）に示されるように、左上の表示領域にライブビュー画像が配置されて表示されているときに、テレ側（長焦点距離側）へのズーム操作が行われると、図２２（ｂ）、図２２（ｃ）に示されるように、そのズーム操作に応じて被写体が拡大されたライブビュー画像が表示される。そして、更に、テレ側へのズーム操作が行われると、図２２（ｄ）に示されるように、そのズーム操作に応じて被写体が更に拡大されたライブビュー画像が表示されるが、この場合には、当該ライブビュー画像上に表現されている顔が欠けないように、左上と左下の表示領域が一つに統合されてなる左側の表示領域にライブビュー画像が配置されて表示される。そして、更に、テレ側へのズーム操作が行われると、図２２（ｅ）に示されるように、そのズーム操作に応じて被写体が更に拡大されたライブビュー画像が表示されるが、この場合には、当該ライブビュー画像上に表現されている顔が欠けないように、左側と右上と右下の表示領域が一つに統合されてなる表示領域にライブビュー画像が配置されて表示される。このような表示は、ユーザによるテレ側へのズーム操作に基づいて生成されたシナリオによるものである。

また、例えば、図２３（ａ）に示されるように、左上の表示領域にライブビュー画像が配置されて表示されているときに撮影指示が行われると、図２３（ｂ）に示されるように、左上の表示領域にコマ画像（上記の撮影指示に応じて得られた撮影画像）が配置されると共に、右上の表示領域にライブビュー画像が配置されて表示される。このときに、テレ側へのズーム操作が行われると、図２３（ｃ）に示されるように、そのズーム操作に応じて被写体が更に拡大されたライブビュー画像が表示される。このときに、更に、テレ側へのズーム操作が行われると、図２３（ｄ）に示されるように、そのズーム操作に応じて被写体が更に拡大されたライブビュー画像が表示されるが、この場合には、当該ライブビュー画像上に表現されている顔が欠けないように、右上と右下の表示領域が一つに統合されてなる右側の表示領域にライブビュー画像が配置されると共に、それに合わせて、左上に表示されていたコマ画像も左上と左下の表示領域が一つに統合されてなる左側の表示領域に配置されて表示される。或いは、図２３（ｅ）に示されるように、左上の表示領域に表示されていたコマ画像が、小さな別の表示領域に配置されると共に、ズーム操作に応じて被写体が更に拡大されたライブビュー画像が、当該ライブビュー画像上に表現されている顔が欠けないように、残りの表示領域に配置されて表示される。このような表示も、ユーザによるテレ側へのズーム操作に基づいて生成されたシナリオによるものである。

その他に、ライブビュー画像の主要被写体の特徴的な色を検出して、似た色や、関連のある色を使った画像を抽出もしくは切り出すことも考えられる。例えば、主要被写体の人物が赤いセーターを着ていた場合には、配色に赤い部分が強いと判断し、被写界内の夕焼け、りんご、ポスト、信号機、標識、看板、自動車、けん玉など、「赤」に関連する被写体を切り出して組み写真にすることが考えられる。過去に撮影された画像から色情報で検索し組み写真にすることも可能である。色による判断は、単色に限らず、トーン（色の調子、明度、濃淡、彩度方向のバランス）も含めて判断することができ、ポップな色の組み写真や暗い感じの色の組み写真を生成することが可能となる。
以上で説明したように、本実施例に係るカメラ１１では、ユーザが組み画像のシナリオを手動設定することが可能であることは勿論のこと、カメラ１１がライブビュー画像の解析結果から最適なシナリオを自動設定することも可能である。また、いずれの場合も、ユーザは、設定されているシナリオをシナリオ変更指示によって自由に変更することもできる。そして、その設定されているシナリオに基づいて組み画像が生成されることから、本実施例に係るカメラ１１によれば、任意の被写体に対して所望の組み画像の画像データを簡単な操作で容易に生成できるように支援することができる。

なお、以上では、撮影装置としてデジタルカメラを例示して説明したが、上述した技術はカメラ専用機器に限られず、カメラ付携帯電話（スマートフォン）やタブレット型機器、その他携帯機器に適用してもよい。また、上述した実施例は、発明の理解を容易にするために本発明の具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。本発明の撮影装置は、特許請求の範囲に規定された本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。

１ ・・・撮影装置
２ ・・・撮像部
３ ・・・第１の記憶部
４ ・・・画像処理部
５ ・・・画像解析部
６ ・・・シナリオ生成部
７ ・・・組み画像処理部
８ ・・・表示部
９ ・・・第２の記憶部
１０ ・・・受付部
１１ ・・・カメラ
１００ ・・・カメラ本体
１０１ ・・・メカシャッタ
１０３ ・・・撮像素子
１０５ ・・・アナログ処理部
１０７ ・・・Ａ／Ｄ変換部
１０９ ・・・画像処理部
１０９ａ ・・・基本画像処理部
１０９ｂ ・・・特殊画像処理部
１０９ｃ ・・・組み画像処理部
１０９ｄ ・・・被写体検出部
１１０ ・・・バス
１１１ ・・・ＡＥ処理部
１１３ ・・・ＡＦ処理部
１１７ ・・・画像圧縮展開部
１１９ ・・・通信部
１２１、２０７・・・マイクロコンピュータ
１２３ ・・・操作部
１２４ ・・・タッチ入力部
１２５、２０９・・・フラッシュメモリ
１２７ ・・・ＳＤＲＡＭ
１２９ ・・・メモリＩ／Ｆ
１３１ ・・・記録媒体
１３３ ・・・表示ドライバ
１３５ ・・・表示パネル
１３７ ・・・オーディオ部
１３９ ・・・ＳＰ
１４１ ・・・ＭＩＣ
２００ ・・・交換式レンズ
２０１ ・・・撮影レンズ
２０３ ・・・絞り
２０５ ・・・ドライバ
３００ ・・・Ｉ／Ｆ

Claims (11)

1. 複数の画像データを合成して組み画像データを生成する撮影装置であって、
   被写体を撮像して第１の画像データを取得する撮像部と、
   前記第１の画像データを画像処理して第２の画像データを取得する画像処理部と、
   前記第１の画像データ及び前記第２の画像データの一方又は両方を含む画像データが記憶される第１の記憶部と、
   前記第１の記憶部に記憶されている画像データの特徴を解析する画像解析部と、
   前記画像解析部による解析の結果に基づいてシナリオデータを生成するシナリオ生成部と、
   前記シナリオデータに基づいて、前記第１の記憶部に記憶されている複数の画像データを合成して組み画像データを生成する組み画像処理部と、
   を備える、
   ことを特徴とする撮影装置。
2. 前記シナリオデータは、組み画像の分割数、分割形状、合成される画像の配置情報を含む、
   ことを特徴とする請求項１記載の撮影装置。
3. 前記画像解析部により特徴が解析される画像データは、ライブビュー画像の画像データである、
   ことを特徴とする請求項１又は２記載の撮影装置。
4. 前記組み画像処理部により合成される複数の画像データは、ライブビュー画像の画像データを含む、
   ことを特徴とする請求項１乃至３の何れか一項に記載の撮影装置。
5. さらに、画像データを表示する表示部を備え、
   前記表示部は、前記組み画像処理部により生成された組み画像データを表示する、
   ことを特徴とする請求項１乃至４の何れか一項に記載の撮影装置。
6. 画像データが記憶される第２の記憶部を更に備え、
   前記組み画像処理部により生成された組み画像データが前記第２の記憶部に記憶される、
   ことを特徴とする請求項１乃至５の何れか一項に記載の撮影装置。
7. シナリオ変更指示を受け付ける受付部を更に備え、
   前記シナリオ生成部は、前記受付部により受け付けられたシナリオ変更指示と、前記画像解析部による解析の結果とに基づいて、シナリオデータを生成する、
   ことを特徴とする請求項１乃至６の何れか一項に記載の撮影装置。
8. 前記画像解析部の解析の結果の特徴は、主要被写体の数、主要被写体が風景、主要被写体が縦長、主要被写体が移動体、主要被写体が人物であってその表情、主要被写体の像倍率である、
   ことを特徴とする請求項７記載の撮影装置。
9. 前記第２の記憶部に記憶されている画像データが読み出されて、前記第１の記憶部に記憶される、
   ことを特徴とする請求項１乃至８の何れか一項に記載の撮影装置。
10. 被写体を撮像して第１の画像データを取得する工程と、
    前記第１の画像データを第１の記憶部に記憶する工程と、
    前記第１の画像データを画像処理して第２の画像データを取得する工程と、
    前記第２の画像データを第１の記憶部に記憶する工程と、
    前記第１の記憶部に記憶されている画像データの特徴を解析する工程と、
    前記解析の結果に基づいてシナリオデータを生成する工程と、
    前記シナリオデータに基づいて、前記第１の記憶部に記憶されている複数の画像データを合成して組み画像データを生成する工程と、
    を備える、
    ことを特徴とする画像処理方法。
11. コンピュータに、
    被写体を撮像して第１の画像データを取得する工程と、
    前記第１の画像データを第１の記憶部に記憶する工程と、
    前記第１の画像データを画像処理して第２の画像データを取得する工程と、
    前記第２の画像データを第１の記憶部に記憶する工程と、
    前記第１の記憶部に記憶されている画像データの特徴を解析する工程と、
    前記解析の結果に基づいてシナリオデータを生成する工程と、
    前記シナリオデータに基づいて、前記第１の記憶部に記憶されている複数の画像データを合成して組み画像データを生成する工程と、
    を実行させる、
    ことを特徴とする画像処理プログラム。