JP2014150476A - 撮影装置、画像処理方法、及び、画像処理プログラム - Google Patents

Abstract

【課題】所望の組み画像の画像データを簡単な操作で容易に生成する技術を提供する。
【解決手段】カメラ１は、複数の表示領域を有する表示パネル１３５と、撮影指示と表示位置変更指示を受け付ける操作部１２３と、被写体を撮像して画像を取得する撮像部を備える。また、カメラ１は、撮影指示を受け付けると、ある表示領域に表示される画像をライブビュー画像から撮影指示に応じて取得されたコマ画像に変更し、表示領域を指定した表示位置変更指示を受け付けると、指定された表示領域に表示される画像をライブビュー画像に変更するように表示パネル１３５を制御する表示制御部と、複数の表示領域に表示されている複数の画像の画像データを合成し、複数の画像を表示パネル１３５に表示されているようにレイアウトした組み画像の画像データを生成する組み画像処理部１０９ｃを備える。
【選択図】図１

Description

本発明は、複数回の撮影により取得した複数の画像をレイアウトして、一枚の画像としてなる組み画像の画像データを生成する撮影装置、画像処理方法、及び、画像処理プログラムに関する。

デジタルカメラやデジタルビデオカメラなどの撮影装置では、取得した画像がデジタルデータとして記憶または記録されるため、取得した画像を容易に加工することができる。このような特徴を活かした撮影装置の用途のひとつに組み写真がある。組み写真とは、複数回の撮影により取得した複数の写真をレイアウトしてなる合成写真のことである。
より詳しくは、撮影者が異なる場面、異なる視点による立体感を表現する画像、時間の流れに応じた撮影画像、及び、被写体の動きのある撮影画像から、撮影時の感情や想像を表現するために、複数の画像から構成される組み写真を生成する。そして、その組み画像によって撮影時の感情や想像を見る人に伝えようとする。この目的を達するため、組み写真の並び方や並べる順序にはシナリオがあり、そのシナリオは見る人の感情をよびおこす上でもとても重要である。

組み写真を取得する撮影装置は、例えば、特許文献１に開示されるような組み写真を構成する複数の写真を１回のシャッタ操作で取得するものと、例えば、特許文献２に開示されるような組み写真を構成する複数の写真の各々をそれぞれに対応するシャッタ操作で取得するものと、に大別される。

なお、特許文献１には、複数コマの画像を連続して撮影するとともに、その複数コマの画像を一覧表示するデジタルカメラが開示されている。特許文献２には、同一被写体について複数枚ずつ撮影された複数の異なる被写体の画像のうち、被写体毎に１枚ずつ選択された最適画像を合成して記録する撮像装置が開示されている。

特開２００７−０５３６１６号公報 特許第４５２９５６１号公報

ところで、所望の組み写真を得るためには、組み写真の画像データを生成する際に、組み写真を構成する写真の配置位置を撮影装置の利用者が好みに応じて容易に変更し得ることが望ましい。

しかしながら、上述した特許文献１から特許文献２に開示される技術では、組み写真を構成する写真の配置位置を利用者が変更することはできない。

具体的に説明すると、特許文献１に開示されるデジタルカメラは、連続して撮影された複数の画像を撮影された順序で一覧表示する（つまり、組み写真として表示する）ように構成されているため、組み写真を構成する写真の配置位置を利用者が変更することはできない。

また、特許文献２に開示される撮像装置では、被写体毎に取得した複数枚の画像から被写体毎に１枚の画像を選択することができる。しかしながら、選択された画像の配置位置は、その画像が取得（撮影）された時点で決定されてしまうため、選択された画像の配置位置を利用者が変更することはできない。

なお、上述した技術的な課題は、写真（つまり、静止画像）でのみ生じるものではなく、動画像であっても生じ得る。つまり、静止画像、動画像を問わず、画像全般で生じ得る。

以上のような実情を踏まえ、本発明は、所望の組み画像を構成する画像の配置位置を簡単な操作で容易に変更する技術を提供することを目的とする。

本発明の第１の態様は、複数の表示領域を有する表示部と、撮影指示を受け付ける第１の受付部と、前記表示部の表示領域を指定した表示位置変更指示を受け付ける第２の受付部と、被写体を撮像して画像を取得する撮像部と、前記第１の受付部が撮影指示を受け付けると、前記複数の表示領域のうちの１つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて前記撮像部により取得された画像に変更し、且つ、前記第２の受付部が前記表示位置変更指示を受け付けると、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更するように、前記表示部を制御する表示制御部と、前記複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する組み画像処理部と、を備える撮影装置を提供する。

本発明の第２の態様は、第１の態様に記載の撮影装置において、前記表示位置変更指示により指定される表示領域は、ブランク画像が表示されている表示領域である撮影装置を提供する。

本発明の第３の態様は、第１の態様に記載の撮影装置において、前記表示位置変更指示により指定される表示領域は、前記撮影指示に応じて前記撮像部により取得された画像が表示されている表示領域であり、前記表示制御部は、前記第２の受付部が前記表示位置変更指示を受け付けると、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更すると共に、当該変更前に前記ライブビュー画像が表示されていた表示領域に表示される画像を前記撮影指示に応じて前記撮像部により取得された画像に変更するように、前記表示部を制御する撮影装置を提供する。

本発明の第４の態様は、表示部の少なくとも１つの表示領域にライブビュー画像を表示する工程と、撮影指示を受け付ける工程と、前記撮影指示に応じて被写体の画像を取得する工程と、前記少なくとも１つの表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、を備える画像処理方法を提供する。

本発明の第５の態様は、複数の表示領域を有する表示部を備えたコンピュータに、前記表示部の少なくとも１つの表示領域にライブビュー画像を表示する工程と、撮影指示を受け付ける工程と、前記撮影指示に応じて被写体の画像を取得する工程と、前記少なくとも１つの表示領域のうちの1つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、を実行させる画像処理プログラムを提供する。

本発明によれば、所望の組み画像を構成する画像の配置位置を簡単な操作で容易に変更する技術を提供することができる。

本発明の実施例１に係るカメラの主として電気系の全体構成を示すブロック図である。 本発明の実施例１に係るカメラの処理全体を示すフローチャートである。 本発明の実施例１に係るカメラの画像処理を示すフローチャートである。 本発明の実施例１に係るカメラの基本画像処理を示すフローチャートである。 本発明の実施例１に係るカメラの特殊画像処理を示すフローチャートである。 本発明の実施例１に係るカメラの組み画像生成処理を示すフローチャートである。 本発明の実施例１に係るカメラの静止画像記録処理を示すフローチャートである。 本発明の実施例１に係るカメラの組み画像操作処理を示すフローチャートである。 本発明の実施例１に係るカメラの再生処理を示すフローチャートである。 被写体の動作を説明するための図である。 本発明の実施例１に係るカメラの撮影操作について説明するための図である。 本発明の実施例１に係るカメラの撮影操作について説明するための他の図である。 本発明の実施例１に係るカメラの撮影操作について説明するためのさらに他の図である。 表示領域のレイアウトについて説明するための図である。 本発明の実施例１に係るカメラの撮影操作について説明するためのさらに他の図である。 本発明の実施例１に係るカメラの組み画像処理部で行われる色変更処理について説明するためのさらに他の図である。 本発明の実施例１に係るカメラの組み画像処理部で行われる輝度変更処理について説明するためのさらに他の図である。 本発明の実施例１に係るカメラの撮影コマ変更操作について説明するための図である。 本発明の実施例１に係るカメラのＳＤＲＡＭの表示・記録用組み画像記憶領域の構成を説明するための図である。 本発明の実施例１に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための図である。 本発明の実施例１に係るカメラのキャンセル操作によるコマ画像データの退避と復元操作によるコマ画像データの復元について説明するための他の図である。 本発明の実施例１に係るカメラのキャンセル操作について説明するための図である。 本発明の実施例１に係るカメラの表示領域と撮影順番との関係を示す図である。 従来のカメラの表示領域と撮影順番との関係を示す図である。 本発明の実施例１に係るカメラのキャンセル操作について説明するための他の図である。 本発明の実施例１に係るカメラのキャンセル操作について説明するためのさらに他の図である。 本発明の実施例１に係るカメラのキャンセル操作について説明するためのさらに他の図である。 本発明の実施例１に係るカメラの再生モードにおける拡大表示操作について説明するための図である。 本発明の実施例１に係るカメラの再生モードにおける拡大表示操作について説明するための他の図である。 本発明の実施例１に係るカメラの組み画像モードにおける拡大表示操作について説明するための図である。 本発明の実施例２に係るカメラの組み画像操作処理を示すフローチャートである。 本発明の実施例２に係るカメラの撮影コマ変更処理を示すフローチャートである。 本発明の実施例２に係るカメラの撮影コマ変更処理を示す他のフローチャートである。 本発明の実施例２に係るカメラの撮影コマ変更操作について説明するための図である。 本発明の実施例２に係るカメラの撮影コマ変更操作について説明するための他の図である。

以下、図面を参照しながら、本発明の各実施例について説明する。なお、本明細書において、ライブビュー画像とは、レリーズ操作などによるカメラのユーザからの明示的な撮影指示に応じて取得される画像と異なり、カメラのライブビュー機能により随時取得される画像のことである。

図１は、本実施例に係るカメラの主として電気系の全体構成を示すブロック図である。図１に例示されるカメラ１は、取得した画像をデジタルデータとして記憶または記録する撮影装置である。カメラ１のユーザは、表示部である表示パネル１３５に表示されるライブビュー画像を観察しながら、操作部１２３を用いたレリーズ操作により画像の取得を指示することができる。なお、カメラ１は、静止画像（つまり、写真）と動画像を取得する機能に加えて、複数の静止画像または動画像をレイアウトしてなる組画像を取得する機能も備えている。

まず、図１を参照しながら、カメラ１の構成について説明する。カメラ１は、カメラ本体１００と、カメラ本体１００に脱着可能な、撮影レンズ２０１を含む交換式レンズ２００とを備えている。なお、本実施例では、撮影レンズを交換可能なカメラの構成を例示したが、撮影レンズはカメラ本体に固定されてもよい。

交換式レンズ２００は、撮影レンズ２０１と、絞り２０３と、ドライバ２０５と、マイクロコンピュータ２０７と、フラッシュメモリ２０９とを備えている。また、カメラ本体１００と交換式レンズ２００とは、インターフェース（以降、Ｉ／Ｆと記す）３００を介して接続されている。

撮影レンズ２０１は、被写体像を形成するための単数または複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。撮影レンズ２０１の光軸の後方には、絞り２０３が配置されている。絞り２０３は口径が可変であり、撮影レンズ２０１を通過する被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能である。マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、撮影レンズ２０１がズームレンズである場合には、撮影レンズ２０１の焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ３００およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作する。プログラムに従って動作したマイクロコンピュータ２０７は、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信して、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他に、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ３００は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。メカシャッタ１０１は、被写体光束を遮断することで後述する撮像素子１０３への被写体光束の照射時間を制御するものであり、例えば、公知のフォーカルプレーンシャッタ等が採用され得る。メカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３には、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されている。各フォトダイオードは受光量に応じた光電変換電流を発生させ、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ配列のＲＧＢフィルタが配置されている。なお、撮像素子１０３の構成はベイヤ配列に並べられたＲＧＢフィルタを含む構成に限定されず、例えばＦＯＶＥＯＮ（フォベオン・インコーポレーテッドの登録商標）のような素子の厚さ方向に複数のセンサを配列した構成であってもよい。

撮像素子１０３はアナログ処理部１０５に接続されている。アナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（以降、アナログ画像信号と記す）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。アナログ処理部１０５は、Ａ／Ｄ変換部１０７に接続されている。Ａ／Ｄ変換部１０７は、アナログ画像信号をアナログ−デジタル変換して、得られたデジタル画像信号（以降、画像データと記す）をバス１１０に出力してＳＤＲＡＭ１２７に記憶させる。即ち、カメラ１では、撮像素子１０３、アナログ処理部１０５、Ａ／Ｄ変換部１０７が全体として、被写体を撮像してその画像を取得する撮像部として機能する。なお、本明細書においては、画像処理部１０９で画像処理される前の生の画像データをＲＡＷデータと記す。
撮像素子１０３は電子シャッタを内蔵しており、動画撮像時やライブビュー撮像時のように繰り返し撮像する際には、メカシャッタ１０１を開放にしたままで内蔵の電子シャッタを使用し撮像する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮展開部１１７、通信部１１９、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以降、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。

画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、アートフィルタ等の特殊効果を適用するモードが設定された場合に特殊効果を施すための特殊画像処理部１０９ｂと、組み画像の画像データを生成する組み画像処理部１０９ｃと、画像データをパターンマッチング処理等により解析して被写体を検出する被写体検出部１０９ｄと、を有している。画像処理部１０９は、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して画像処理を施す。

基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行われる同時化処理、色再現処理、ガンマ補正処理、輝度変更処理、エッジ強調処理、ノイズリダクション（ＮＲ）処理等を行う。

特殊画像処理部１０９ｂは、基本画像処理部１０９ａで処理された画像データに対して、設定された特殊効果（アートフィルタ）等に応じて、種々の視覚的な特殊効果を付与する特殊画像処理を行う。例えば、トイフォトが設定されている場合には、シェーディングを付加する処理を行う。また、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタルが設定されている場合には、それぞれ、ソフトフォーカス処理、ノイズ重畳処理、ぼかし処理、クロスフィルタ処理を行う。

組み画像処理部１０９ｃは、複数の画像データを合成して、複数の画像データに対応する複数の画像が所定の配置にレイアウトされた画像である組み画像の画像データを生成する。合成される複数の画像データは、少なくとも基本画像処理部１０９ａで処理された画像データであり、特殊効果が設定されている場合には、基本画像処理部１０９ａ及び特殊画像処理部１０９ｂで処理された画像データが合成される。

また、組み画像処理部１０９ｃは、画像データを合成する処理を実行する前に、組み画像を構成する、基本画像処理部１０９ａ及び特殊画像処理部１０９ｂで処理された各画像（以降、コマ画像とも記す。）を補正する。具体的には、基本画像処理部１０９ａ及び特殊画像処理部１０９ｂで処理された複数の画像データを解析して、画像間の色分布の相違や輝度平均の相違などを算出する。そして、算出された情報に基づいて、組み画像が最適な状態となるように、組み画像を構成する各コマ画像の色や輝度を補正する。コマ画像を補正して画像間の調整処理を行うことで、組み画像としてより良好な画像を得ることができる。

被写体検出部１０９ｄは、パターンマッチング技術等を用いた画像解析により、所定の被写体、例えば、人の顔やペットなどの動物を検出する処理を行う。さらに、検出した被写体の種類、大きさ、位置などを算出する処理を行ってもよい。これらの検出結果は、例えば、撮影モードの切り換え、オートフォーカス、被写体像を一定の大きさに撮像するオートズームなどに利用され得る。

ＡＥ処理部１１１は、バス１１０を介して入力された画像データに基づいて被写体輝度を測定し、測定した被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。なお、ここでは、ＡＥ処理部１１１により画像データに基づいて被写体輝度を算出する構成が採用されているが、カメラ１は、被写体輝度の測定のために専用の測光センサを設けることにより、同様の機能を実現してもよい。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得する。ＡＦ処理部１１３は、取得した合焦標価値をバス１１０を介してマイクロコンピュータ１２１に出力する。すなわち、カメラ１は、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。

画像圧縮展開部１１７は、画像データをメモリＩ／Ｆ１２９に接続された記録媒体１３１へ記録するときに、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って、圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加して、ＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成する。マイクロコンピュータ１２１は、作成したファイルを、メモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。

また、画像圧縮展開部１１７は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮展開部１１７において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施例では、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用する例を示したが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でもよい。

通信部１１９は、後述するフラッシュメモリ１２５内に記憶されているテンプレートの更新や追加のために、外部機器と通信する。通信部１１９は、有線ＬＡＮや無線ＬＡＮによって外部機器と接続されてもよく、その他、ＵＳＢケーブルなどによって外部機器と接続されてもよい。

マイクロコンピュータ１２１は、カメラ１全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ３００以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦、モードダイヤル等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。つまり、カメラ１では、操作部１２３は、ユーザからの種々の指示（例えば、撮影指示、キャンセル指示、復元指示、再生指示など）を受け付ける受付部として機能する。

電源釦は、カメラ１の電源のオン／オフを指示するための操作部材である。電源釦が押されるとカメラ１の電源はオンとなり、再度、電源釦が押されるとカメラ１の電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチにつながっている。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影した画像の画像データを読み出し、表示パネル１３５に画像を再生表示する。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、特殊効果（アートフィルタ）の設定がある。特殊効果としては、ファンタジックフォーカス、ポップ、アート、トイフォト、ラフモノクローム、ジオラマ等、種々の特殊効果が設定可能である。その他にも、組み画像の設定もメニュー画面上で行うことができる。

モードダイヤルは、撮影モードを選択するためのダイヤルである。カメラ１では、モードダイヤルを操作することで、動作モードが、通常の撮影を行う通常モードと組み画像の撮影を行う組み画像モードとの間で切り替わる。通常モードと組み画像モードの切り替えは、メニュー画面等から行うようにしてもよい

操作部１２３は、さらに、タッチ入力部１２４を備えている。タッチ入力部１２４は、例えば、表示パネル１３５に重ねて配置されたタッチパネルセンサである。タッチ入力部１２４は、ユーザによる表示パネル１３５に対するタッチ操作を検出し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からのタッチ入力部１２４の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。

なお、操作部１２３は、上述した各種釦を表示パネル１３５上に備えてもよい。すなわち、カメラ１の表面に物理的に釦を設ける代わりに、表示パネル１３５に釦を表示してタッチ入力部１２４で表示パネル１３５に表示された釦に対する操作を検出してもよい。なお、レリーズ釦を表示パネル１３５に表示する代わりに、表示パネル１３５をレリーズ釦として機能させてもよい。その場合、表示パネル１３５にタッチしたときをレリーズ釦が半押された状態とし、所定時間（例えば1秒）以上タッチされ続けたときをレリーズ釦が全押しとした状態のみなしても良いし、タッチしたときをレリーズ釦が半押しされた状態と全押しした状態とみなしても良い。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はフラッシュメモリ１２５に記憶されたプログラムに基づいてカメラ全体の制御を行う。また、フラッシュメモリ１２５は、カラーマトリックス係数、ホワイトバランスモードに応じたＲゲインとＢゲイン、ガンマテーブル、露出条件決定テーブル等の種々の調整値を記憶している。さらに、フラッシュメモリ１２５は、組み画像のスタイル、つまり、組み画像を構成するコマ画像をどのようにレイアウトするかに関する情報等をテンプレートとして記憶している。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の、電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９や画像圧縮展開部１１７等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されている。メモリＩ／Ｆ１２９は、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に対して書き込みおよび読み出しする制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵された不揮発性メモリやハードディスク等であっても良い。

表示ドライバ１３３は、表示パネル１３５に接続されている。表示ドライバ１３３は、ＳＤＲＡＭ１２７や記録媒体１３１から読み出されて、画像圧縮展開部１１７によって伸張された画像データに基づいて、画像を表示パネル１３５に表示させる。表示パネル１３５は、例えば、カメラ本体１００の背面に設けられた液晶ディスプレイ（ＬＣＤ）であり、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、表示パネル１３５は、ＬＣＤの他に有機ＥＬなどであってもよく、さらに他の表示パネルが採用されてもよい。また、表示パネル１３５は、撮影モードが組み画像モードの場合には、画像を表示するための複数の領域（以降、表示領域と記す。）が表示パネル１３５に定義される。なお、複数の表示領域のレイアウトは、組み画像のスタイルによって画定される。

次に、図２から図９を参照しながら、以上のように構成されたカメラ１で行われる処理について説明する。なお、図２から図９のフローチャートが示すカメラの処理は、フラッシュメモリ１２５に記憶されているプログラムをマイクロコンピュータ１２１が実行することにより行われる。はじめに、図２に示されるカメラの処理全体の流れについて説明する。

操作部１２３の内の電源釦が操作されてカメラ１の電源がオンになり、図２に示すカメラ１の処理が開始されると、マイクロコンピュータ１２１は、カメラ１を初期化する（ステップＳ１）。ここでは、機械的初期化と各種フラグ等の初期化等の電気的初期化が行われる。初期化対象のフラグとしては、例えば、動画を記録中か否かを示す記録中フラグなどがあり、初期化により記録中フラグはオフに設定される。また、簡易処理設定もオフに設定される。

初期化が完了すると、次に、マイクロコンピュータ１２１は、再生釦が押されたか否かを判定する（ステップＳ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。また、再生釦が表示パネル１３５に表示されている場合には、タッチ入力部１２４からの信号を検知し、判定する。再生釦が押下されると、マイクロコンピュータ１２１は動作モードを再生モードに設定して、再生処理を実行する（ステップＳ７００）。再生処理が完了すると、再びステップＳ３の処理を実行する。なお、再生処理の詳細については、図９を参照しながら後に詳述する。

ステップＳ３で再生釦が押下されていないと判定されると、マイクロコンピュータ１２１はメニュー釦が押下されたか否か、すなわち、メニュー画面が表示されてカメラ設定が行われる状態になったか否かを判定する（ステップＳ５）。ここでは、操作部１２３内のメニュー釦の操作状態を検知し、判定する。メニュー釦が表示パネル１３５に表示されている場合には、タッチ入力部１２４からの信号を検知し、判定する。

メニュー釦が押下されると、マイクロコンピュータ１２１は、操作部１２３に対するさらなる操作を検出して、検出結果に従ってカメラ設定を変更する（ステップＳ７）。カメラ設定処理が完了すると、再びステップＳ３の処理を実行する。

なお、カメラ設定としては、例えば、撮影モード設定、記録モード設定、画像の仕上がり設定、組み画像のスタイルの設定、組み画像に組み込む予め取得した画像を選択する設定、コマ画像を記録するか否かの設定などがある。撮影モードには、通常の撮影モードと組み画像モードがある。また、記録モードには、静止画記録モードとしてＪＰＥＧ記録、ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録等があり、動画記録モードとしてＭｏｔｉｏｎ−ＪＰＥＧ、Ｈ．２６４等がある。さらに、画像の仕上がりの設定には、自然に見える画像にする（Ｎａｔｕｒａｌ）、鮮やかな画像にする（Ｖｉｖｉｄ）、落ち着いた画像にする（Ｆｌａｔ）、アートフィルタ等の特殊効果の設定がある。

ステップＳ５でメニュー釦が押されていないと判定されると、マイクロコンピュータ１２１は、動画釦が押下されたか否かを判定する（ステップＳ９）。ここでは、操作部１２３内の動画釦の操作状態を検知し、判定する。動画釦が表示パネル１３５に表示されている場合には、タッチ入力部１２４からの信号を検知し、判定する。

動画釦が押されていないと判定されると、マイクロコンピュータ１２１は、ステップＳ１９の処理を実行する。一方、動画釦が押されると、マイクロコンピュータ１２１は、記録中フラグを反転させる（ステップＳ１１）。つまり、記録中フラグがオフであればオンに、オンであればオフに変更する。さらに、マイクロコンピュータ１２１は、反転後の記録中フラグの状態に基づいて画像記録中か否かを判定する（ステップＳ１３）。

記録中フラグがオンと判定されると、マイクロコンピュータ１２１は、動画記録の開始が指示されたと判断して動画ファイルを生成し（ステップＳ１５）、画像データを記録するための準備を整える。このような処理は、例えば、電源オン後はじめて動画釦が押下された場合などに行われる。なお、動画ファイル生成後は、ステップＳ１９の処理が実行される。

ステップＳ１３で記録中フラグがオフと判定されると、マイクロコンピュータ１２１は、動画記録の終了が指示されたと判断して、動画ファイルを閉じる（ステップＳ１７）。つまり、動画ファイルのヘッダにフレーム数を記録する処理等を行って動画ファイルを再生可能な状態にしてから、書き込み処理を終了する。なお、動画ファイルへの書き込み終了後は、ステップＳ１９の処理が実行される。

ステップＳ１９では、マイクロコンピュータ１２１は、撮影モードが組み画像モードであり、且つ、操作部１２３に対して所定の組み画像操作が行われたか否かを判定する。ここでは、ＳＤＲＡＭ１２７に記憶されている撮影モードの設定と操作部１２３の操作状態とを検知し、判定する。

組み画像モードで且つ所定の操作が行われたと判定されると、マイクロコンピュータ１２１は、組み画像操作処理を実行する（ステップＳ６００）。組み画像操作処理が完了すると、再びステップＳ２１の処理を実行する。なお、組み画像操作処理の詳細については、図８を参照しながら後に詳述する。

ステップＳ１９で撮影モードが組み画像モードでないと判定されるか、操作部１２３に対して所定の組み画像操作が行われていないと判定されると、マイクロコンピュータ１２１は、レリーズ釦が半押しされたか否かを判定する（ステップＳ２１）。ここでは、レリーズ釦に連動するファーストレリーズスイッチのオフからオンへの遷移を検知し、判定する。レリーズ釦が表示パネル１３５に表示されている場合または表示パネル１３５がレリーズ釦として機能している場合には、レリーズ釦が表示されている領域またはライブビュー画像が表示されている表示領域をタッチしたことを示す信号を検出し、判定する。

レリーズ釦が半押しされると、マイクロコンピュータ１２１は、ＡＥ・ＡＦ動作を実行する（Ｓ２３）。ここでは、ＡＥ動作は、ＡＥ処理部１１１が撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて適正露出となるシャッタ速度、絞り値等を算出することにより行われる。また、ＡＦ動作は、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させることにより行われる。なお、タッチ入力部１２４からの信号によりＡＦ動作が行われる場合には、タッチ位置に表示されている被写体に合焦点するように撮像レンズ２０１を移動させる。ＡＥ・ＡＦ動作後は、ステップＳ２５の処理が実行される。
ＡＦ動作は上述の所謂コントラストＡＦ以外にも、専用のセンサを用いた位相差ＡＦ等様々なＡＦ方式を用いても良い。

ステップＳ２１でレリーズ釦が半押しされていないと判定されると、マイクロコンピュータ１２１は、レリーズ釦が全押しされたか否かを判定する（ステップＳ２７）。ここでは、セカンドレリーズスイッチのオフからオンへの遷移を検知し、判定する。セカンドレリーズスイッチがオンの状態であることを連続して検知して判定することで、連写撮影を行うようにしても良い。また、レリーズ釦が表示パネル１３５に表示されている場合または表示パネル１３５がレリーズ釦として機能している場合には、レリーズ釦が表示されている領域またはライブビュー画像が表示されている表示領域をタッチしたことを示す信号を検出し、判定する。

レリーズ釦が全押しされると、マイクロコンピュータ１２１は、メカシャッタによる静止画撮影を行う（Ｓ２９）。ここでは、ステップＳ２３で算出された絞り値で絞り２０３が制御され、また算出されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０を介してＳＤＲＡＭ１２７に一時記憶される。

その後、マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータを読み出して、画像処理部１０９に画像処理を実行させ（ステップＳ１００ａ）、処理した画像データ等を記録媒体１３１に記録する静止画記録処理を実行する（ステップＳ５００）。なお、画像処理と静止画記録処理の詳細については、それぞれ、図３から図６、図７を参照しながら後に詳述する。

静止画記録処理が完了すると、マイクロコンピュータ１２１は、撮影モードが組み画像モードか否かを判定する（ステップＳ３１）。ここでは、ＳＤＲＡＭ１２７に記憶されている撮影モードの設定により、判定する。

撮影モードが組み画像モードでない場合、つまり、通常の撮影モードの場合、マイクロコンピュータ１２１は、ステップＳ２５の処理を実行する。一方、撮影モードが組み画像モードの場合には、マイクロコンピュータ１２１は、ライブビュー表示を変更する（ステップＳ３３）。なお、カメラ１では、撮影モードが組み画像モードの場合には、表示パネル１３５が複数の表示領域を有し、後述するステップＳ３９での処理により、そのうちの１つの表示領域にライブビュー画像が表示されている。ステップＳ３３のライブビュー表示の変更処理では、マイクロコンピュータ１２１の制御の下、ライブビュー画像が表示される表示領域を変更するように、表示ドライバ１３３が表示パネル１３５を制御する。より具体的には、ライブビュー画像が表示されていた表示領域に表示される画像をステップＳ２９で撮影しステップＳ１００ａで画像処理された画像に変更する。さらに、ライブビュー画像が表示されるべき表示領域を切り替えて、他の表示領域にライブビュー画像を表示させる。即ち、カメラ１では、マイクロコンピュータ１２１及び表示ドライバ１３３は、表示パネル１３５を制御する表示制御部として機能する。ライブビュー表示処理後、マイクロコンピュータ１２１は、ステップＳ２５の処理を実行する。

ステップＳ２７でレリーズ釦が全押しされていないと判定されると、マイクロコンピュータ１２１は、動画またはライブビュー画像のために、ＡＥ動作を実行する（ステップＳ３５）。ＡＥ動作は、適正露出でライブビュー表示を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度をＡＥ処理部１１１が算出することにより行われる。ＡＥ動作後、マイクロコンピュータ１２１は、電子シャッタによる撮影を行う（ステップＳ３７）。ここでは、電子シャッタを用いて撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０を介してＳＤＲＡＭ１２７に一時記憶される。

その後、マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータを読み出して、メカシャッタによる撮影の場合と同様の画像処理を画像処理部１０９に実行させる（ステップＳ１００ｂ）。さらに、マイクロコンピュータ１２１の制御の下、ライブビュー画像が表示されている表示領域の画像をステップＳ３７で取得されてステップＳ１００ｂで画像処理された画像データに変更してライブビュー画像を更新するように、表示ドライバ１３３が表示パネル１３５を制御する（ステップＳ３９）。

ライブビュー画像を更新すると、マイクロコンピュータ１２１は、動画記録中か否かを判定する（ステップＳ４１）。ここでは、ＳＤＲＡＭ１２７に記憶されている記録中フラグの状態により、判定する。

記録中フラグがオフの場合には、マイクロコンピュータ１２１は、ステップＳ２５の処理を実行する。一方、記録中フラグがオンの場合には、マイクロコンピュータ１２１は動画記録中と判断し、動画記録する（ステップＳ４３）。即ち、ステップＳ３９で更新したライブビュー画像の画像データをステップＳ１５で生成した動画ファイルのフレーム画像として記録する。その後、ステップＳ２５の処理を実行する。

ステップＳ２５では、マイクロコンピュータ１２１は、電源がオフか否かを判定する。電源がオンの場合には、ステップＳ３の処理を実行する。オフの場合には、マイクロコンピュータ１２１は必要な終了処理を実行後、カメラ１の処理を終了する。

上述したように動作するカメラ１によれば、図１０に示されるように時間の経過に従って移動している被写体を組み画像モードで撮影する場合、図１１に示されるように、ライブビュー画像が表示されている表示領域をタッチするだけ、組み画像を構成するコマ画像を容易に取得し、タッチした表示領域に表示されている画像をライブビュー画像から取得したコマ画像に変更することができる。つまり、ライブビュー画像をタッチする操作は、撮影指示に相当する。さらに、ライブビュー画像が表示される領域が自動的に切り替わり、コマ画像が表示されていない他の表示領域（組み画像に組み込む予め取得した画像が設定されている場合には、コマ画像及び予め取得した画像が表示されていない他の表示領域）にライブビュー画像が表示されるため、被写体が動いている場合であってもシャッタチャンスを逃すことなく、素早く次のコマ画像を取得することが可能である。また、表示パネル１３５に定義された複数の表示領域のうちの１つの表示領域にのみライブビュー画像が表示されているため、ユーザに撮影に集中しやすい環境を提供することができる。

また、カメラ１は、ライブビュー画像とコマ画像とを識別するために、例えば、図１２に例示されるように、ライブビュー画像を示すマーク（ここでは、“ＬＶ”）をライブビュー画像が表示されている表示領域に表示してもよい。これにより、時間的に変化しない被写体を撮影する場合などライブビュー画像とコマ画像との区別が難しい場合であっても、ライブビュー画像を容易に特定することが可能となる。さらに、コマ画像を表示している表示領域には、コマ画像が取得された順番を示すマーク（ここでは、“１”、“２”、“３”、“４”）を表示してもよい。これにより、表示領域が多数ある場合であっても、ユーザはコマ画像を取得した順番を容易に把握することができる。

また、カメラ１は、ライブビュー画像とコマ画像とを識別するために、例えば、図１３に例示されるように、コマ画像をライブビュー画像に比べて暗く表示したり、彩度を下げて表示してもよい。
なお、図１１では、タッチ操作によりユーザが撮影を指示する例を示したが、カメラ１は、十字キーとレリーズ釦の操作によっても同様に動作する。

また、図１１では、縦横２×２の４つの表示領域が表示パネル１３５に定義された例を示したが、表示領域のレイアウトはこれに限らない。表示領域のレイアウトは、設定された組み画像のスタイルによって画定されるため、組み画像のスタイルの設定を変更することで、例えば、図１４（ａ）から図１４（ｋ）に示すような種々のレイアウトが選択され得る。図１４（ａ）から図１４（ｊ）は複数の表示領域が互いに重ならないように配置されているが、図１４（ｋ）は各表示領域の一部が他の表示領域と重なって配置されている。図１４（ｋ）のレイアウトが用いられる場合には、各表示領域に表示される画像を周辺に向かって徐々に濃度を下げて表示することで、各画像の境界が見えないように工夫されている。

また、図１１では、ライブビュー画像が表示パネル１３５に定義された複数の表示領域のうちの１つの表示領域にのみ表示される例を示したが、カメラ１は、図１５に示されるように、コマ画像が表示されている表示領域を除く複数またはすべての表示領域にライブビュー画像を表示してもよい。すべての表示領域にライブビュー画像を表示する場合、ライブビュー画像の表示領域が切り替わる時間を考慮する必要がないため、例えば、指を滑らしながら複数の表示領域を連続的にタッチすることで、複数のコマ画像を取得することができる。このため、従来のカメラにない新たな操作感覚をユーザに提供することができる。

次に、図３から図６を参照しながら、図２に示されるメカシャッタによる撮影または電子シャッタによる撮影後に行われる画像処理について、さらに詳細に説明する。なお、メカシャッタによる撮影後に行われる画像処理の対象は、メカシャッタによる撮影で取得されたＲＡＷデータであり、電子シャッタによる撮影後に行われる画像処理の対象は、電子シャッタによる撮影で取得されたＲＡＷデータである。

画像処理は、図３に示すように、主として、基本画像処理部１０９ａにより行われる基本画像処理と、特殊画像処理部１０９ｂにより行われる特殊画像処理と、組み画像処理部１０９ｃにより行われる組み画像生成処理とから、構成されている。

マイクロコンピュータ１２１がＳＤＲＡＭ１２７に一時記憶されたＲＡＷデータを読み出して、画像処理部１０９に画像処理を指示すると、まず、基本画像処理部１０９ａが読み出されたＲＡＷデータに対して基本画像処理を実行する（ステップＳ２００）。

基本画像処理部１０９ａが実行する基本画像処理は、図４に示すように、７つの画像処理ステップにより構成されている。最初に、オプティカルブラック（ＯＢ）減算を行う（ステップＳ２０１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部が、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。

ＯＢ減算後、ホワイトバランス（ＷＢ）補正を行う（ステップＳ２０３）。このステップでは、基本画像処理部１０９ａ内のＷＢ補正部が、設定されているホワイトバランスモードに応じて、画像データに対してＷＢ補正を行う。具体的には、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、画像データにその値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータからＲゲインおよびＢゲインを算出し、これらを用いて補正する。

続いて、同時化処理を行う（ステップＳ２０５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部が、各画素のデータ（ベイヤデータ）をＲＧＢデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。なお、このステップは、撮像素子１０３としてＦＯＶＥＯＮ（フォベオン・インコーポレーテッドの登録商標）形式の撮像素子を用いた場合等、ＲＡＷデータにおいて１画素あたり複数のデータを有している場合には省略される。

同時化処理後、色再現処理を行う（ステップＳ２０７）。このステップでは、基本画像処理部１０９ａ内の色再現処理部が、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って、画像データの色を補正する。なお、カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。

色再現処理後、輝度変更処理を行う（ステップＳ２０９）。このステップでは、基本画像処理部１０９ａ内の輝度変更処理部が、画像データ（ＲＧＢデータ）に対してガンマ補正処理を行う。さらに、ＲＧＢデータからＹＣｂＣｒデータに色変換し、変換後の画像データのＹデータに対してガンマ補正を行う。なお、ガンマ補正では、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出して使用する。

輝度変更処理後、エッジ強調を行う（ステップＳ２１１）。このステップでは、画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。

最後に、ＮＲ（ノイズ除去）を行う（ステップＳ２１３）。このステップでは、基本画像処理部１０９ａ内のＮＲ部が、画像を周波数分解し、周波数に応じてコアリング処理を行うことでノイズを低減する処理を行う。

以上の基本画像処理が完了すると、特殊効果（アートフィルタ）が設定されている場合には、基本画像処理部１０９ａにより処理された画像データに対して、特殊画像処理部１０９ｂが特殊画像処理を実行する（図３のステップＳ１０１、ステップＳ３００）。

特殊画像処理部１０９ｂが実行する特殊画像処理は、図５に示すように、特殊効果の設定に応じて行われる５つの画像処理ステップを中心に構成されている。最初に、簡易画像処理が設定されているか否かを判定する（ステップＳ３０１）。このステップでは、特殊画像処理部１０９ｂが、ＳＤＲＡＭ１２７に記憶されている簡易処理設定の状態により、判定する。なお、簡易処理設定がオンの場合には、特殊画像処理を終了する。

簡易処理設定がオフの場合には、特殊効果（アートフィルタ）として、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタルが設定されているか否かを順に判定する（ステップＳ３０３、ステップＳ３０７、ステップＳ３１１、ステップＳ３１５、ステップＳ３１９）。

トイフォトが設定されている場合には、画像データに対してシェーディング付加処理を行う（ステップＳ３０５）。このステップでは、特殊画像処理部１０９ｂが中心からの距離に応じて徐々に輝度が低下するようなゲインマップ（ゲイン値は１以下）を生成し、画像データに対してそのゲインマップに従って各画素に応じたゲインを乗じることで、周辺にシェーディングを付加する。

ファンタジックフォーカスが設定されている場合には、画像データに対してソフトフォーカス処理を行う（ステップＳ３０９）。このステップでは、特殊画像処理部１０９ｂが画像全体にぼかし処理を施した画像データを生成し、ぼかす前の画像の画像データとぼかし処理後の画像の画像データとを所定の割合（例えば、３：２など）で合成する。

ラフモノクロームが設定されている場合には、画像データに対してノイズ重畳処理を行う（ステップＳ３１３）。このステップでは、特殊画像処理部１０９ｂが予め作成したノイズパターンを画像データに加算する。なお、ノイズパターンは乱数等に基づいて生成してもよい。

ジオラマが設定されている場合には、画像データに対してぼかし処理を行う（ステップＳ３１７）。このステップでは、特殊画像処理部１０９ｂがＡＦのターゲットを中心に画像の周辺（例えば、上下または左右、または、その両方）を距離に応じて徐々にぼかす。

クリスタルが設定されている場合には、画像データに対してクロスフィルタ処理を行う（ステップＳ３２１）。このステップでは、特殊画像処理部１０９ｂが画像中の輝点を検出し、その輝点を中心にクロスパターンが描画されるように画像データを加工する。

以上の特殊画像処理が完了すると、撮影モードが組み画像モードであるか否かを組み画像処理部１０９ｃが判定する（図３のステップＳ１０３）。撮影モードが組み画像モードでない場合には、画像処理を終了する。

撮影モードが組み画像モードである場合には、組み画像処理部１０９ｃが、表示パネル１３５の複数の表示領域に表示されている複数の画像の画像データを用いて、組み画像生成処理を実行する（図３のステップＳ４００）。

組み画像処理部１０９ｃが実行する組み画像生成処理は、図６に示すように、５つの画像処理ステップを中心に構成されている。最初に、簡易画像処理が設定されているか否かを判定する（ステップＳ４０１）。このステップでは、組み画像処理部１０９ｃが、ＳＤＲＡＭ１２７に記憶されている簡易処理設定の状態によって判定する。

簡易処理設定がオフの場合には、画像解析を行う（ステップＳ４０３）。このステップでは、組み画像処理部１０９ｃが、表示パネル１３５の表示領域に表示されている複数の画像の画像データの各々が有する色分布と輝度分布を算出する。なお、表示領域に表示されている画像の画像データそのもの（つまり、基本画像処理部１０９ａ及び特殊画像処理部１０９ｂで処理された画像データ）ではなく、それらの画像データに対応する、画像処理がされる前のＲＡＷデータから色分布と輝度分布を算出してもよい。

画像解析後、組み画像を構成する複数の画像データの画像がほぼ同じ色となるように、色変更処理を行う（ステップＳ４０５）。このステップでは、複数の画像データの色差Ｃｂ、色差Ｃｒのピークがそれらの平均値になるように、組み画像処理部１０９ｃが各画像データの色差Ｃｂ、色差Ｃｒをオフセットして補正する。例えば、画像解析により図１６（ａ）及び図１６（ｄ）に示されるような色分布（色差の分布）が算出された場合であれば、図１６（ｂ）及び図１６（ｅ）に示されるように色差Ｃｂ、色差Ｃｒの分布をオフセットする。その結果、図１６（ｃ）及び図１６（ｆ）に示されるように、色変更処理が行われた複数の画像がほぼ同じような色を示すことになる。
なお、色変更処理における色変更の方法は上記の色差Ｃｂと色差Ｃｒを変更する方法以外に、例えば、ＲＧＢ色空間においてＲやＢにゲインを乗じる等、他の方法でも実現可能である。

さらに、色変更処理後、組み画像を構成する複数の画像データの画像の輝度がほぼ同じになるように、輝度変更処理を行う（ステップＳ４０７）。このステップでは、複数の画像データの各々の輝度分布の平均が、複数の画像データ全体の輝度分布の平均になるように、組み画像処理部１０９ｃが各画像データを補正する。例えば、画像解析により図１７（ａ）に示されるような輝度Ｙの分布が得られた場合であれば、図１７（ｂ）に示されるように各画像データのＲＧＢデータに対してそれぞれ異なるガンマ変換を行うことにより輝度Ｙの分布を補正し、図１７（ｃ）に示されるように、複数の画像の輝度をほぼ同じにする。なお、輝度成分に対するガンマ変換ではなくＲＧＢ色空間でのガンマ変換により輝度を補正する理由は、補正により輝度が大きく変更された場合であっても、画像の色が不自然にならないようにするためである。
なお、輝度変更処理における輝度変更の方法は、上記のガンマ変化を用いる方法以外に、例えば、日陰等の暗部領域のみ輝度を変更したり、明部領域のみ輝度を変更したりする等、他の方法でも実現可能である。

輝度変更処理後、色と輝度が補正された複数の画像データを合成する合成処理を行う（ステップＳ４０９）。このステップでは、表示パネル１３５の複数の表示領域に表示されている複数の画像の画像データを、より詳細には、色変更処理及び輝度変更処理が行われた複数の画像データを、組み画像処理部１０９ｃが合成して、それらの複数の画像を表示パネル１３５に表示されているようにレイアウトした組み画像の画像データを生成する。
最後に、組み画像全体に対して、特殊画像処理部１０９ｂがアートフィルタ等で適用可能な効果であるぼかし処理やシェーディング付加などの特殊効果をカメラ設定における仕上がり設定によらず、組み画像のスタイルに応じて付与し（ステップＳ４１１）、組み画像生成処理を終了する。

一方、簡易処理設定がオンの場合には、組み画像処理部１０９ｃが表示パネル１３５の複数の表示領域に表示されている複数の画像の画像データそのものを合成して、それらの複数の画像を表示パネル１３５に表示されているようにレイアウトした組み画像の画像データを生成する（ステップＳ４１３）。その後、組み画像生成処理を終了する。以上により、図３の画像処理が終了する。

上述したように動作して組み画像を生成するカメラ１によれば、組み画像を構成する複数のコマ画像の各々が他のコマ画像と比較した結果に基づいて補正される。そして、補正されたコマ画像の画像データを合成することで組み画像の画像データが生成される。このため、コマ画像が個別に画像処理されるだけの従来のカメラに比べて、コマ画像間で色合いや明るさのバランスが取れた、組み画像として良好な画像を得ることができる。なお、図６では、各コマ画像に色変更処理と輝度変更処理を実行する例を示したが、他のコマ画像と比較した結果に基づいて行われる画像処理はこれらに限られず、他の画像処理が実行されてもよい。

次に、図７を参照しながら、図２に示されるメカシャッタ撮影で取得された画像データに対する画像処理後に行われる静止画記録について、さらに詳細に説明する。

図７に示されるように、静止画記録処理が開始されると、まず、マイクロコンピュータ１２１が、撮影モードが組み画像モードか否かを判定する（ステップＳ５０１）。このステップでは、ＳＤＲＡＭ１２７に記憶されている撮影モードの設定により、判定する。

撮影モードが組み画像モードでない場合、マイクロコンピュータ１２１は、表示ドライバ１３３を制御して、メカシャッタにより撮影されて画像処理部１０９で画像処理された画像データの画像１枚を表示パネル１３５にレックビュー表示する（ステップＳ５１５）。その後、メモリＩ／Ｆ１２９を制御して、表示した画像の画像データを記録媒体１３１に記録させて（ステップＳ５１７）、静止画記録処理を終了する。なお、画像データは、画像圧縮伸張部１１７でＪＰＥＧ形式に圧縮されてから記録されてもよく、また、非圧縮で記録されてもよい。さらに、画像処理部１０９で画像処理される前のＲＡＷデータも記録するようにしてもよい。

一方、撮影モードが組み画像モードである場合には、マイクロコンピュータ１２１が、組み画像を構成するために撮影した画像であるコマ画像（撮影画像とも記す）を記録する設定となっているか否かを判定する（ステップＳ５０３）。記録する設定となっている場合には、マイクロコンピュータ１２１は、メモリＩ／Ｆ１２９を制御して、画像処理部１０９で処理されたコマ画像を記録媒体１３１に記録させる（ステップＳ５０４）。

その後、マイクロコンピュータ１２１は、組みが完了しているか否か、つまり、組み画像を構成するすべてのコマ画像を撮影済みか否か、を判定する（ステップＳ５０５）。なお、組み画像に組み込む予め取得した画像が設定されている場合には、予め取得した画像をのぞくすべてのコマ画像を撮影済みか否かを判定する。このステップは、設定された組み画像のスタイルに応じて決定される枚数のコマ画像がＳＤＲＡＭ１２７のコマ画像領域に記憶されているかにより判断する。すべてのコマ画像を撮影していない場合には、静止画記録処理を終了する。

すべてのコマ画像を撮影済みの場合には、マイクロコンピュータ１２１は、表示ドライバ１３３を制御して、画像処理部１０９で生成した組み画像を表示パネル１３５にレックビュー表示させる（ステップＳ５０７）。

その後、マイクロコンピュータ１２１は、一定期間（例えば、３秒など）、キャンセル操作を監視する（ステップＳ５０９）。これは、レックビューで表示されている組み画像が所望する画像となっているか否かを判断する時間をユーザに提供するためである。

この一定期間中にキャンセル操作が検出された場合には、指定された画像をキャンセルするために組み画像操作処理を実行し（ステップＳ６００）、静止画記録処理を終了する。キャンセル操作が検出されない場合には、メモリＩ／Ｆ１２９を制御して、画像処理部１０９で生成した組み画像の画像データを記録媒体１３１に記録させて（ステップＳ５１１）、静止画記録処理を終了する。
なお、一定期間キャンセル操作を監視するのではなく、記録するかどうか（キャンセルするかどうか）を問い合わせる画面を表示し、ユーザの入力に応じてキャンセルまたは記録を行うようにしても良い。
次に、図８を参照しながら、組み画像操作処理について、さらに詳細に説明する。

図８に示されるように、組み画像操作処理が開始されると、組み画像操作処理が開始される原因となった操作が特定される。具体的には、マイクロコンピュータ１２１が、撮影コマ変更操作、キャンセル操作、復元操作、一時保存操作、一保存読み込み操作が行われた否かを、順に判定する（ステップＳ６０１、ステップＳ６０５、ステップＳ６１３、ステップＳ６１９、ステップＳ６２５）。

ステップＳ６０１の撮影コマ変更操作が行われたか否かの判定は、例えば、画像が表示されていない表示領域に対するタッチ操作をタッチ入力部１２４が検出したか否かによって行われる。マイクロコンピュータ１２１は、画像が表示されていない表示領域に対するタッチ操作を検出すると、図１８に例示されるような、撮影コマ変更処理、つまり、ライブビュー画像を表示すべき表示領域を切り替えてタッチされた表示領域にライブビュー画像を表示する処理、を行う（ステップＳ６０３）。

ステップＳ６０５のキャンセル操作が行われたか否かの判定は、例えば、メカシャッタによる静止画撮影により得られたＲＡＷデータに基づく画像（コマ画像）が表示されている表示領域に対するタッチ操作をタッチ入力部１２４が検出したか否かによって行われる。そして、コマ画像が表示された表示領域に対するタッチ操作を検出すると、マイクロコンピュータ１２１は、タッチされたコマ画像（表示領域）のサイズが小さいか否かを判定する（ステップＳ６０７）。

コマ画像のサイズが小さいと判定されると、後述するキャンセル処理（ステップＳ６０９、ステップＳ６１１）を行うことなく、ステップＳ６１３の処理を実行する。コマ画像のサイズが小さい場合には、例えば、撮影指示のためにライブビュー画像にタッチしたつもりが誤ってコマ画像にタッチしてしまうなど、意図した表示領域とは異なる表示領域にタッチしてしまいやすい。このため、意図しないキャンセル処理の発生を防止するため、このような判定処理が設けられている。

なお、コマ画像のサイズが小さいか否かは、表示領域の数または組み画像のスタイルによって判定されてもよい。つまり、例えば、分割数（表示領域の数）が多い図１４（ｇ）のレイアウトに対応するスタイルが設定されている場合には、コマ画像のサイズは小さいと判定され、それ以外のレイアウトに対応するスタイルが設定されている場合には、コマ画像のサイズは大きいと判定されるように、予め設定されていてもよい。

また、コマ画像のサイズが小さいか否かは、タッチした表示領域の面積が所定の面積よりも小さいか否かによって判定してもよい。この場合、表示領域の数または組み画像のスタイルによって判定する場合と異なり、表示パネル１３５のサイズが考慮されることになる。このため、コマ画像のサイズが意図しないキャンセル処理が発生し得るようなサイズである場合にのみ、キャンセル処理を回避することができるという点で好適である。

コマ画像のサイズが大きいと判定されると、マイクロコンピュータ１２１は、タッチされた表示領域に表示されているコマ画像の画像データを退避する回避処理を行う（ステップＳ６０９）。具体的には、図１９に示されるように、ＳＤＲＡＭ１２７にコマ画像領域とコマ画像退避領域とからなる表示・記憶用組み画像記憶領域が確保されている場合に、図２０（ａ）及び図２０（ｂ）に示されるように、例えば、タッチされた表示領域に表示されているコマ画像の画像データを、ＳＤＲＡＭ１２７のコマ画像領域からコマ画像退避領域にコピーして、コマ画像領域に記憶されているコピー元の画像データを削除する処理を行う。または、図２１（ａ）及び図２１（ｂ）に示されるように、コマ画像の画像データが参照ポインタを使って管理されている場合であれば、画像データ自体を削除する代わりに画像データのアドレスへの参照ポインタによる参照を削除してもよい。

その後、図２２に例示されるような、ライブビュー表示変更処理、つまり、ライブビュー画像を表示すべき表示領域を切り替えてタッチされた表示領域に表示される画像をライブビュー画像に変更する処理、を行う（ステップＳ６１１）。

ステップＳ６１３の復元操作が行われたか否かの判定は、所定の操作（例えば、ライブビュー画像が表示されている表示領域に対するダブルクリック操作やライブビュー画像が表示された表示領域を選択して行われる削除釦の押下操作など）を操作部１２３が検出したか否かによって行われる。復元操作が検出されると、マイクロコンピュータ１２１は、キャンセル操作（ステップＳ６０９、ステップＳ６１１）によりキャンセルされたコマ画像の画像データを復元する画像復元処理を行う（ステップＳ６１５）。具体的には、図２０（ｂ）及び図２０（ｃ）に示されるように、例えば、ＳＤＲＡＭ１２７の退避領域に退避されたコマ画像の画像データを元のコマ画像領域にコピーして、コマ画像退避領域の画像データを削除する処理を行う。または、図２１（ｂ）及び図２１（ｃ）に示されるように、コマ画像の画像データが参照ポインタを使って管理されている場合であれば、画像データのアドレスへの参照ポインタによる参照を復元してもよい。

その後、ライブビュー表示変更処理、つまり、ライブビュー画像が表示されている表示領域に復元されたコマ画像を表示してコマ画像が表示されていない領域にライブビュー画像を表示する処理、を行う（ステップＳ６１７）。

ステップＳ６１９の一時保存操作が行われたか否かの判定は、所定の操作（例えば、一時保存釦の押下操作など）を操作部１２３が検出したか否かによって行われる。一時保存操作を検出すると、マイクロコンピュータ１２１は、メモリＩ／Ｆ１２９を制御して、ＳＤＲＡＭ１２７の組み画像記憶領域に記憶されているコマ画像の画像データと組み画像の画像データを生成するための他のデータ（例えば、設定された組み画像のスタイルに関するデータや、コマ画像の画像データと表示領域との関係を示すデータなど）とを、記録媒体１３１に記録する（ステップＳ６２１）。なお、記録媒体１３１の代わりにフラッシュメモリ１２５に記録してもよい。その後、ＳＤＲＡＭ１２７の組み画像記憶領域に記憶されている画像データを削除して表示パネル１３５の表示状態を更新する組み画像リセット処理を行う（ステップＳ６２３）。

ステップＳ６２５の一時保存読み込み操作が行われたか否かの判定は、所定の操作（例えば、一時保存読み込み釦の押下など）を操作部１２３が検出したか否かによって行われる。一時保存読み込み操作を検出すると、マイクロコンピュータ１２１は、撮影途中であるか否かを判定する（ステップＳ６２７）。これは、例えば、ＳＤＲＡＭ１２７の組み画像記憶領域にコマ画像の画像データが記憶されているか否かによって判定する。

撮影途中であると判定されると、マイクロコンピュータ１２１は、表示ドライバ１３３を制御して、組み画像記憶領域に記憶されているコマ画像の画像データ等を一時保存するか否かを選択させるための表示を表示パネル１３５に表示する（ステップＳ６２９）。ユーザが一時保存を選択した場合には、メモリＩ／Ｆ１２９を制御して、組み画像記憶領域に記憶されているコマ画像の画像データ等を記録媒体１３１に記録する（ステップＳ６３１）。なお、記録媒体１３１の代わりにフラッシュメモリ１２５に記録してもよい。

その後、マイクロコンピュータ１２１は、ステップＳ６２１で記録したコマ画像の画像データ等を記録媒体１３１から読み込んで、ＳＤＲＡＭ１２７の組み画像記憶領域に展開する（ステップＳ６３３）。ＳＤＲＡＭ１２７の組み画像記憶領域に記憶されたコマ画像の画像データを表示パネル１３５の表示領域に表示し、さらに、コマ画像が表示されていない表示領域にライブビュー画像を表示する（ステップＳ６３５）。以上により、図８の組み画像操作処理が終了する。

上述したように動作するカメラ１によれば、図１８に示されるように、ライブビュー画像が表示される表示領域をタッチ操作により容易に変更することができるため、例えば、図２３（ａ）から図２３（ｃ）に示されるように、複数の表示領域の各々に対して、任意の順番で撮影したコマ画像を表示させることができる。このため、図２４に示されるような撮影の順番に対して表示領域が確定している従来のカメラとは異なり、ユーザが意図した領域に意図した順番で撮影したコマ画像を表示した組み画像を生成することができる。したがって、所望の組み画像の画像データを容易に生成することができる。

なお、図１８では、表示パネル１３５に対するタッチ操作によりライブビュー画像を表示する表示領域を変更する例を示したが、カメラ１は、十字キーなどのキー操作によりライブビュー画像を表示する表示領域を変更してもよい。また、例えば、図１５に示されるように、コマ画像が表示される表示領域を除くすべての表示領域にライブビュー画像が設定されている場合には、十字キーにより撮影コマ（つまり、次の撮影によりコマ画像が表示される表示領域）を変更できるようにしてもよい。これにより、レリーズ釦により撮影を指示する場合であっても、タッチ操作により撮影を指示する場合と同様に、ユーザが意図した領域に意図した順番で撮影したコマ画像を表示した組み画像を生成することができる。

また、カメラ１は、図２２に示されるように、コマ画像が表示された表示領域にタッチするだけで、そのコマ画像がキャンセルされてライブビュー画像に変更される。このため、気に入らないコマ画像を簡単な操作により容易に取りなおすことができるため、所望の組み画像の画像データを容易に生成することができる。

なお、図２２では、コマ画像をキャンセルするためにタッチされた表示領域にライブビュー画像を表示する例を示したが、カメラ１は、タッチされた表示領域に背景画像を表示してもよい。この場合、ライブビュー画像が表示される表示領域を変更することなく、コマ画像をキャンセルすることができる。

また、コマ画像をキャンセルする方法は、図２２に示される方法に限られない。カメラ１は、例えば、図２５に示されるように、各表示領域に表示されたゴミ箱マークに対するタッチ操作によりコマ画像をキャンセルしてもよい。また、図２６に示されるように、ゴミ箱マークは表示パネル１３５の端に１つだけ表示されていてもよく、その場合には、キャンセルするコマ画像をゴミ箱マークにドラッグする操作によりコマ画像をキャンセルしてもよい。また、図２７に示されるように、表示パネル１３５に対する操作の代わりに、十字キーとゴミ箱釦に対する操作により、十字キーで選択したコマ画像をキャンセルしてもよい。
次に、図９を参照しながら、図２に示される再生処理について、さらに詳細に説明する。

図９に示されるように、再生処理が開始されると、マイクロコンピュータ１２１は、メモリＩ／Ｆ１２９を制御して記録媒体１３１から画像データを読み出して、表示ドライバ１３３を制御して表示パネル１３５に記録媒体１３１に記憶されている画像（静止画と動画）のサムネイルを一覧表示し（ステップＳ７０１）、ユーザによる画像選択操作を監視する（ステップＳ７０３）。画像選択を検出すると、選択された画像が動画か否かが判定される（ステップＳ７０４）。

画像が動画の場合には、マイクロコンピュータ１２１は、動画ファイルのヘッダからフレーム数を読み込み（ステップＳ７０５）、カウンタｉの初期化処理後（ステップＳ７０７）、動画ファイルのフレーム画像を順次再生して、表示パネル１３５に表示する（ステップＳ７０９、ステップＳ７１１、ステップＳ７１３）。

一方、画像が静止画の場合には、マイクロコンピュータ１２１は、選択された画像の画像データを読み込み（ステップＳ７１７）、選択された画像を表示パネル１３５に表示する（ステップＳ７１９）。その後、画像再生中にユーザにより行われる各種操作を監視する（ステップＳ７２１、ステップＳ７２５、ステップＳ７２９、ステップＳ７３３）。

拡大釦が押下されて拡大操作が検出されると（ステップＳ７２１）、マイクロコンピュータ１２１は、表示パネル１３５に表示されている画像を拡大して表示する拡大表示処理を行う（ステップＳ７２３）。

なお、図２８（ａ）に示されるように、表示されている画像が組み画像である場合には、図２８（ｂ）または図２８（ｅ）に示されるように、組み画像を構成する特定のコマ画像が表示されている表示領域を大きくすることによりその特定のコマ画像を拡大して表示する。図２８（ｃ）及び図２８（ｆ）に示されるように、表示パネル１３５全体に拡大した特定のコマ画像を表示してもよく、その場合、拡大したコマ画像に矢印マークを表示する等して、組み画像を構成する他のコマ画像の存在を示してもよい。図２８（ｄ）及び図２８（ｇ）に示されるように、表示パネル１３５の大きさを超えてコマ画像を拡大してもよく、その場合、表示パネル１３５に表示されているコマ画像が組み画像中に占める範囲を、コマ画像とともに表示してもよい。また、特定のコマ画像を拡大して表示する代わりに、図２９（ａ）及び図２９（ｂ）に示されるように、組み画像を構成するすべてのコマ画像を拡大して表示してもよい。

拡大表示中に十字キーなどを用いた表示位置を変更する操作が検出されると（ステップＳ７２５）、マイクロコンピュータ１２１は、拡大位置変更処理を行う（ステップＳ７２７）。例えば、組み画像ではない通常の画像が表示されている場合であれば、画像中の拡大表示されている部分を変更する。また、図２８（ｄ）及び図２８（ｇ）に示されるような組み画像を構成する特定のコマ画像が表示パネル１３５の大きさを超えて拡大表示されている場合であれば、その特定のコマ画像中の拡大表示されている部分を変更する。

組み画像を拡大表示中にＦｎ釦などの所定の釦を用いた表示すべきコマ画像を変更する操作が検出されると（ステップＳ７２９）、マイクロコンピュータ１２１は、拡大表示するコマ画像を切り替える表示コマ変更処理を行う（ステップＳ７３１）。なお、コマ画像を切り替える前に現在表示中のコマ画像の拡大表示状態を記憶する。これにより、現在表示されているコマ画像を再び表示したときに、同じ拡大表示状態、つまり、コマ画像中の拡大表示されている部分が同じ状態、でコマ画像を拡大表示することができる。
その後、静止画像の表示終了が指示されるまで、上述した各種操作の監視が繰り返される（ステップＳ７３３）。

静止画像の表示終了が指示されると、再生処理を終了するか否かが判定される（ステップＳ７１５）。ここでは、例えば、カメラ１の動作モードの、再生モードから撮影モードへの変更を検出し、判定する。動作モードの変更が検出されない場合には、再びステップＳ７０１を実行してサムネイルを一覧表示する。一方、動作モードの撮影モードへの変更が検出された場合には、再生処理を終了する。

なお、図２８及び図２９では、再生処理中の拡大表示について説明したが、拡大表示は撮影中やレックビュー表示中に行われてよい。例えば、図３０に示されるように、組み画像モードでユーザによる拡大操作を検出した場合には、ライブビュー画像を拡大してもよい。このようにライブビュー画像を拡大して表示することで、ユーザに撮影に集中しやすい環境を提供することができる。
また、図９では静止画像に対してのみ拡大表示等を可能にしていたが、動画像に対しても同様に拡大表示、拡大位置変更、表示コマ変更等を行うようにしてもよい。

以上で説明したように、本実施例に係るカメラ１では、ライブビュー画像が表示された表示領域がタッチされることなどによって操作部１２３が撮影指示を受け付けると、コマ画像が取得され、ライブビュー画像が表示される表示領域が自動的に切り替わる。また、コマ画像が表示された表示領域がタッチされることなどによって操作部１２３がキャンセル指示を受け付けると、コマ画像がキャンセルされて、撮影のやりなおしのためにライブビュー画像が表示される。また、組み画像の画像データを生成する際に、組み画像を構成する各コマ画像が他のコマ画像との比較結果に基づいて補正されて、良好な組み画像が得られる。このため、本実施例に係るカメラ１によれば、所望の組み画像の画像データを簡単な操作で容易に生成することができる。また、所望の組み画像の画像データを簡単な操作で容易に生成することができるため、組み画像を生成する強いモチベーションをユーザに維持させることができる。

図３１は、本実施例に係るカメラの組み画像操作処理を示すフローチャートである。図３２は、本実施例に係るカメラの撮影コマ変更処理を示すフローチャートである。図３３は、本実施例に係るカメラの撮影コマ変更処理を示す他のフローチャートである。図３４は、本実施例に係るカメラの撮影コマ変更操作について説明するための図である。図３５は、本実施例に係るカメラの撮影コマ変更操作について説明するための他の図である。以下、図３１から図３５を参照しながら、本実施例に係るカメラで行われる処理について、実施例１に係るカメラ１で行われる処理との相違点を中心に説明する。なお、本実施例に係るカメラは、図１に例示される実施例１に係るカメラ１と同様の物理構成を有している。

図３１に示されるように、本実施例に係るカメラの組み画像操作処理が開始されると、図８に示される実施例１に係るカメラ１の組み画像操作処理と同様に、組み画像操作処理が開始される原因となった操作が特定される。但し、本実施例に係るカメラでは、マイクロコンピュータ１２１が、撮影コマ変更操作、一時保存操作、一時保存読み込み操作が行われた否かの判定（Ｓ６４１、Ｓ６１９、Ｓ６２５）は行うものの、実施例１に係るカメラ１とは異なり、キャンセル操作、復元操作が行われたか否かの判定は行わない。これは、本実施例に係るカメラでは、キャンセル操作、復元操作の受け付けを行わないとしたことによる。なお、これに伴い、本実施例に係るカメラでは、図７に示されるキャンセル操作が行われたか否かの判定も行わない。

ステップＳ６４１の撮影コマ変更操作が行われたか否かの判定は、例えば、画像が表示されていない表示領域に対するタッチ操作に限らず、単に、表示領域に対するタッチ操作をタッチ入力部１２４が検出したか否かによって行われる。マイクロコンピュータ１２１は、表示領域に対するタッチ操作を検出すると、撮影コマ変更処理、つまり、ライブビュー画像を表示すべき表示領域を切り替えてタッチされた表示領域にライブビュー画像を表示する処理、を行う（ステップＳ８００）。なお、本実施例に係るカメラにおいて、撮影コマ変更操作は、表示位置変更指示を行うための操作の一例でもある。

以降の処理（Ｓ６１９乃至Ｓ６３５）については、図８に示される実施例１に係るカメラ１の組み画像操作処理と同様となるので、ここでは説明を割愛する。

次に、図３２を参照しながら、図３１に示される撮影コマ変更処理について、さらに詳細に説明する。

図３２に示されるように、撮影コマ変更処理が開始されると、マイクロコンピュータ１２１は、表示領域に対するタッチ操作が行われたタッチ位置の座標データを取得し（Ｓ８０１）、その座標データに基づいて、タッチ操作が行われた表示領域を特定する（Ｓ８０２）。そして、マイクロコンピュータ１２１は、特定された表示領域が、コマ画像の表示領域であるか否かを判定する（Ｓ８０３）。

特定された表示領域がコマ画像の表示領域である場合、マイクロコンピュータ１２１は、そのコマ画像とライブビュー画像とを入れ替えて表示する（Ｓ８０４）。つまり、タッチ操作が行われた表示領域に表示されていたコマ画像と、他の表示領域に表示されていたライブビュー画像とを入れ替えて表示する。これは、例えば、コマ画像の表示範囲を示す座標データと、ライブビュー画像の表示範囲を示す座標データを入れ替えることによって行われる。そして、Ｓ８０４が終了すると、撮影コマ変更処理を終了する。

一方、特定された表示領域がコマ画像の表示領域でない場合、マイクロコンピュータ１２１は、特定された表示領域がブランク画像の表示領域であるか否かを判定する（Ｓ８０５）。

特定された表示領域がブランク画像の表示領域である場合、マイクロコンピュータ１２１は、例えば図１８に示されるように、そのブランク画像とライブビュー画像とを入れ替えて表示する（Ｓ８０６）。つまり、タッチ操作が行われた表示領域に表示されていたブランク画像と、他の表示領域に表示されていたライブビュー画像とを入れ替えて表示する。これは、例えば、ブランク画像の表示範囲を示す座標データと、ライブビュー画像の表示範囲を示す座標データを入れ替えることによって行われる。なお、ブランク画像は、何も表されていない画像であり、例えば、黒一色の画像や、青一色の画像等である。そして、Ｓ８０６が終了すると、撮影コマ変更処理を終了する。

一方、特定された表示領域がブランク画像の表示領域でない場合、マイクロコンピュータ１２１は、撮影コマ変更処理を終了する。

このようにして行われる撮影コマ変更処理によれば、ユーザは、ライブビュー画像が表示される表示領域を、タッチ操作により、自由に変更することができる。

なお、図３２に示される撮影コマ変更処理では、ライブビュー画像が表示される表示領域の変更がタッチ操作により行われるものであったが、例えば、それが十字釦、ＯＫ釦等の操作により行われるようにしてもよい。この場合、ユーザは、十字釦の操作により、ライブビュー画像を表示させる表示領域を選択し、更に、ＯＫ釦の操作により、その選択を確定することにより、ライブビュー画像が表示される表示領域を所望の表示領域へ変更することができる。

また、図３２に示される撮影コマ変更処理は、例えば、図３３に示される撮影コマ変更処理に置き換えることもできる。

図３３に示される撮影コマ変更処理は、特定された表示領域がコマ画像の表示領域ではなく且つブランク画像の表示領域でもない場合の処理が、図３２に示される撮影コマ変更処理と異なっている。

具体的には、図３３に示されるように、特定された表示領域がコマ画像の表示領域ではなく（Ｓ８０３）、且つブランク画像の表示領域でもない場合（Ｓ８０５）、つまり、特定された表示領域がライブビュー画像の表示領域である場合にステップＳ８０７に移行する点が図３２と異なり、マイクロコンピュータ１２１は、ライブビュー画像の表示範囲を示す座標データを取得する（Ｓ８０７）。そして、マイクロコンピュータ１２１は、タッチ入力部１２４が表示領域に対するタッチ操作を検出したか否か、つまり、表示領域に対するタッチ操作が継続して行われているか否かを判定する（Ｓ８０８）。

タッチ入力部１２４が表示領域に対するタッチ操作を検出した場合、つまり、表示領域に対するタッチ操作が継続して行われていると判定された場合、マイクロコンピュータ１２１は、この時のタッチ位置の座標データを取得し（Ｓ８０９）、その座標データと前回に取得されたタッチ位置の座標データとの差に基づいて、タッチ位置に変化が有ったか否かを判定する（Ｓ８１０）。例えば、その差がゼロでなければ、タッチ位置に変化が有ったと判定される。タッチ位置に変化が有った場合、マイクロコンピュータ１２１は、そのタッチ位置の変化に応じて、ライブビュー画像を移動させて表示する（Ｓ８１１）。例えば、タッチ位置の変化方向へタッチ位置の変化量分だけライブビュー画像を移動させて表示する。そして、処理がＳ８０８へ戻る。一方、タッチ入力部１２４に指はタッチしたままでもタッチ位置に変化が無かった場合、そのまま、処理がＳ８０８へ戻る。

一方、タッチ入力部１２４が表示領域に対するタッチ操作を検出しなかった場合、つまり、タッチ入力部１２４から指が離されて、表示領域に対するタッチ操作が継続して行われていないと判定された場合、マイクロコンピュータ１２１は、表示領域に対するタッチ操作が最後に行われたタッチ位置の座標データを取得し（Ｓ８１２）、その座標データに基づいて、最後にタッチ操作が行われた表示領域を特定する（Ｓ８１３）。そして、マイクロコンピュータ１２１は、特定された表示領域が、コマ画像の表示領域であるか否かを判定する（Ｓ８１４）。

特定された表示領域がコマ画像の表示領域である場合、マイクロコンピュータ１２１は、そのコマ画像とライブビュー画像とを入れ替えて表示する（Ｓ８１５）。つまり、最後にタッチ操作が行われた表示領域に表示されていたコマ画像と、他の表示領域に表示されていたライブビュー画像とを入れ替えて表示する。そして、これが終了すると、撮影コマ変更処理を終了する。

一方、特定された表示領域がコマ画像の表示領域でない場合、マイクロコンピュータ１２１は、特定された表示領域がブランク画像の表示領域であるか否かを判定する（Ｓ８１６）。

特定された表示領域がブランク画像の表示領域である場合、マイクロコンピュータ１２１は、そのブランク画像とライブビュー画像とを入れ替えて表示する（Ｓ８１７）。つまり、最後にタッチ操作が行われた表示領域に表示されていたブランク画像と、他の表示領域に表示されていたライブビュー画像とを入れ替えて表示する。そして、これが終了すると、撮影コマ変更処理を終了する。

一方、特定された表示領域がブランク画像の表示領域でない場合、マイクロコンピュータ１２１は、撮影コマ変更処理を終了する。

このようにして行われる撮影コマ変更処理によっても、ユーザは、ライブビュー画像が表示される表示領域を、タッチ操作により、自由に変更することができる。例えば、図３４（ａ）乃至図３４（ｄ）に示されるように、ユーザは、ライブビュー画像が表示されている左上の表示領域からブランク画像が表示されている右上の表示領域まで指をタッチしたまま移動させることにより、左上の表示領域に表示されていたライブビュー画像と右上の表示領域に表示されていたブランク画像とを入れ替えることができる。つまり、ライブビュー画像が表示される表示領域を左上の表示領域から右上の表示領域へ変更することができる。なお、この場合、指をタッチしたまま移動させている間は、その指の移動に伴ってライブビュー画像が一緒に移動する。また、例えば、図３４（ａ）、図３４（ｅ）乃至図３４（ｇ）に示されるように、ユーザは、ライブビュー画像が表示されている左上の表示領域から左下の表示領域を経由してブランク画像が表示されている右下の表示領域まで指をタッチしたまま移動させることにより、左上の表示領域に表示されていたライブビュー画像と右下の表示領域に表示されていたブランク画像とを入れ替えることができる。つまり、ライブビュー画像が表示される表示領域を左上の表示領域から右下の表示領域へ変更することができる。なお、この場合も、指をタッチしたまま移動させている間は、その指の移動に伴ってライブビュー画像が一緒に移動する。また、例えば、図３４（ｈ）乃至図３４（ｋ）に示されるように、ユーザは、ライブビュー画像が表示されている右上の表示領域からコマ画像が表示されている左上の表示領域まで指をタッチしたまま移動させることにより、右上の表示領域に表示されていたライブビュー画像と左上の表示領域に表示されていたコマ画像とを入れ替えることができる。つまり、ライブビュー画像が表示される表示領域を右上の表示領域から左上の表示領域へ変更することができる。なお、この場合も、指をタッチしたまま移動させている間は、その指の移動に伴ってライブビュー画像が一緒に移動する。なお、図３４（ａ）乃至図３４（ｋ）（後述の図３５（ａ）乃至図３５（ｋ）も同様）において、「ＬＶ」と示されている画像はライブビュー画像を示し、灰色の画像はブランク画像を示している。「ＬＶ」は、その画像がライブビュー画像であることをユーザに知らせるためのアイコンとして実際に表示されてもいいし、表示されなくてもよい。

なお、図３３に示される撮影コマ変更処理では、このように、ユーザがライブビュー画像に指をタッチしたまま指を移動させている間には、その指の移動に伴ってライブビュー画像が一緒に移動するものであったが、この間における処理を、例えば、図３５（ａ）乃至図３５（ｋ）に示されるように、変形することもできる。

図３５（ａ）乃至図３５（ｄ）に示されるように、ユーザが、ライブビュー画像が表示されている左上の表示領域からブランク画像が表示されている右上の表示領域まで指をタッチしたまま移動させる場合には、タッチされる表示領域が変更された時点で、つまり、タッチされる表示領域が左上の表示領域から右上の表示領域に変更された時点で、タッチされていた左上の表示領域に表示されていたライブビュー画像と、タッチされている右上の表示領域に表示されているブランク画像とが入れ替えられる。従って、この場合は、指をタッチしたまま移動させている間に、図３４（ａ）乃至図３４（ｄ）に示されるように指の移動に伴って一緒にライブビュー画像が移動することはない。また、図３５（ａ）、図３５（ｅ）乃至図３５（ｇ）に示されるように、ユーザが、ライブビュー画像が表示されている左上の表示領域から左下の表示領域を経由してブランク画像が表示されている右下の表示領域まで指をタッチしたまま移動させる場合にも、タッチされる表示領域が変更された時点で、つまり、タッチされる表示領域が左上の表示領域から左下の表示領域に変更された時点で、タッチされていた左上の表示領域に表示されていたライブビュー画像と、タッチされている左下の表示領域に表示されているブランク画像とが入れ替えられ、その後、タッチされる表示領域が左下の表示領域から右下の表示領域に変更された時点で、タッチされていた左下の表示領域に表示されていたライブビュー画像と、タッチされている右下の表示領域に表示されているブランク画像とが入れ替えられる。従って、この場合は、指をタッチしたまま移動させている間に、図３４（ａ）、図３４（ｅ）乃至図３４（ｇ）に示されるように指の移動に伴って一緒にライブビュー画像が移動することはない。また、図３５（ｈ）乃至図３５（ｋ）に示されるように、ユーザが、ライブビュー画像が表示されている右上の表示領域からコマ画像が表示されている左上の表示領域まで指をタッチしたまま移動させる場合には、タッチされる表示領域が変更された時点で、つまり、タッチされる表示領域が右上の表示領域から左上の表示領域に変更された時点で、タッチされていた右上の表示領域に表示されていたライブビュー画像と、タッチされている左上の表示領域に表示されているコマ画像とが入れ替えられる。従って、この場合は、指をタッチしたまま移動させている間に、図３４（ｈ）乃至図３４（ｋ）に示されるように指の移動に伴って一緒にライブビュー画像が移動することはない。

以上、本実施例に係るカメラによれば、組み画像を生成する際に、ライブビュー画像が表示される表示領域をタッチ操作により自由に変更することができるので、所望の組み画像を構成する画像の配置位置を簡単な操作で容易に変更することができる。

なお、以上では、撮像装置としてデジタルカメラを例示して説明したが、上述した技術はカメラ専用機器に限られず、カメラ付携帯電話（スマートフォン）やタブレット型機器、その他携帯機器に適用してもよい。また、上述した実施例は、発明の理解を容易にするために本発明の具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。本発明の撮像装置は、特許請求の範囲に規定された本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。

１ ・・・カメラ
１００ ・・・カメラ本体
１０１ ・・・メカシャッタ
１０３ ・・・撮像素子
１０５ ・・・アナログ処理部
１０７ ・・・Ａ／Ｄ変換部
１０９ ・・・画像処理部
１０９ａ ・・・基本画像処理部
１０９ｂ ・・・特殊画像処理部
１０９ｃ ・・・組み画像処理部
１０９ｄ ・・・被写体検出部
１１０ ・・・バス
１１１ ・・・ＡＥ処理部
１１３ ・・・ＡＦ処理部
１１７ ・・・画像圧縮伸張部
１１９ ・・・通信部
１２１、２０７・・・マイクロコンピュータ
１２３ ・・・操作部
１２４ ・・・タッチ入力部
１２５、２０９・・・フラッシュメモリ
１２７ ・・・ＳＤＲＡＭ
１２９ ・・・メモリＩ／Ｆ
１３１ ・・・記録媒体
１３３ ・・・表示ドライバ
１３５ ・・・表示パネル
２００ ・・・交換式レンズ
２０１ ・・・撮影レンズ
２０３ ・・・絞り
２０５ ・・・ドライバ
３００ ・・・Ｉ／Ｆ

Claims (5)

1. 複数の表示領域を有する表示部と、
   撮影指示を受け付ける第１の受付部と、
   前記表示部の表示領域を指定した表示位置変更指示を受け付ける第２の受付部と、
   被写体を撮像して画像を取得する撮像部と、
   前記第１の受付部が撮影指示を受け付けると、前記複数の表示領域のうちの１つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて前記撮像部により取得された画像に変更し、且つ、前記第２の受付部が前記表示位置変更指示を受け付けると、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更するように、前記表示部を制御する表示制御部と、
   前記複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する画像処理部と、を備える
   ことを特徴とする撮影装置。
2. 請求項１に記載の撮影装置において、
   前記表示位置変更指示により指定される表示領域は、ブランク画像が表示されている表示領域である
   ことを特徴とする撮影装置。
3. 請求項１に記載の撮影装置において、
   前記表示位置変更指示により指定される表示領域は、前記撮影指示に応じて前記撮像部により取得された画像が表示されている表示領域であり、
   前記表示制御部は、前記第２の受付部が前記表示位置変更指示を受け付けると、前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更すると共に、当該変更前に前記ライブビュー画像が表示されていた表示領域に表示される画像を前記撮影指示に応じて前記撮像部により取得された画像に変更するように、前記表示部を制御する
   ことを特徴とする撮影装置。
4. 表示部の少なくとも１つの表示領域にライブビュー画像を表示する工程と、
   撮影指示を受け付ける工程と、
   前記撮影指示に応じて被写体の画像を取得する工程と、
   前記少なくとも１つの表示領域のうちの１つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、
   前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、
   前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、
   前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、
   を備える
   ことを特徴とする画像処理方法。
5. 複数の表示領域を有する表示部を備えたコンピュータに、
   前記表示部の少なくとも１つの表示領域にライブビュー画像を表示する工程と、
   撮影指示を受け付ける工程と、
   前記撮影指示に応じて被写体の画像を取得する工程と、
   前記少なくとも１つの表示領域のうちの１つの表示領域に表示される画像をライブビュー画像から前記撮影指示に応じて取得された画像に変更する工程と、
   前記表示部の表示領域を指定した表示位置変更指示を受け付ける工程と、
   前記表示位置変更指示により指定された表示領域に表示される画像をライブビュー画像に変更する工程と、
   前記表示部の複数の表示領域に表示されている複数の画像の画像データを合成し、前記複数の画像を前記表示部に表示されているようにレイアウトした組み画像の画像データを生成する工程と、
   を実行させる
   ことを特徴とする画像処理プログラム。