JP2015162851A - 撮像装置、撮像方法、およびプログラム - Google Patents

Abstract

【課題】限られた容量において、可能な限り多くの撮影枚数を確保でき、十分な画質の合成画像を生成可能な撮像装置、撮像方法、およびプログラムを提供する。【解決手段】被写体を撮像して基準画像の画像データを生成し（Ｓ１０１、Ｓ１０３）、被写体を撮像して合成用画像の画像データを生成し（Ｓ１１３、Ｓ１１５、Ｓ１２５、Ｓ１２７、Ｓ１３５、Ｓ１３７）合成用画像の画像データを基準画像の画像データよりデータ量の少なくなるようにデータ量を削減し（Ｓ１１５、Ｓ１２７、Ｓ１３７）、基準画像の画像データと合成用画像の画像データを用いて、画像データの合成を行い、合成画像データを生成する。【選択図】 図４

Description

本発明は、複数の画像データを合成し、合成画像を生成可能な撮像装置、撮像方法、およびプログラムに関する。

デジタルカメラ等の撮像装置において、複数の画像を撮影し、この複数の画像を合成することにより、１枚の画像では表現できない画質を実現する機能を搭載したものが市販されている。

複数の画像を合成する技術としては、例えば、焦点位置を移動しながら複数の画像を撮影し、この撮影によって取得した複数の画像データを用い、被写体の位置合わせを行い、画像を合成することで、全焦点画像やボケをコントロールした画像を生成することが提案されている（特許文献１参照）。また、階調の異なる複数の画像を撮影し、この撮影によって取得した複数の画像データを合成することにより、単体の画像では実現できない階調特性を有するＨＤＲ（High Dynamic Range）効果のある画像を生成することが提案されている（特許文献２参照）。

特開２００８−２７１２４０号公報 特開２０１１−００４３５３号公報

このように、複数の画像データを合成し、合成画像データを生成する技術は種々提案されているが、画像を合成する際に、一般に画像枚数を多くするほど、良好な結果を得られる。このため、画質の観点からは撮影枚数を可能な限り多くすることが好ましいといえる。一方、デジタルカメラ等の撮像装置に搭載されているＳＤＲＡＭ等のメモリは容量が限られているために、同時に記憶できる画像データの数も限られている。

本発明は、このような事情を鑑みてなされたものであり、限られた容量において、可能な限り多くの撮影枚数を確保でき、十分な画質の合成画像を生成可能な撮像装置、撮像方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、被写体を撮像して画像データを出力する撮像部と、上記画像データから基準画像データを生成する基準画像生成部と、上記画像データのデータ量を削減し、上記基準画像データよりデータ量の少ない合成用画像データを生成する画像データ量削減部と、上記基準画像データと上記合成用画像データを用いて画像データの合成を行い、合成画像データを生成する画像合成部と、を有する。

第２の発明に係る撮像装置は、上記第１の発明において、上記画像データ量削減部は、上記画像データのビット精度を低下させる。
第３の発明に係る撮像装置は、上記第２の発明において、上記画像データ削減部は、テーブルまたは折れ線による階調変換部を含み、上記画像データに対して階調変換する。

第４の発明に係る撮像装置は、上記第１の発明において、上記画像データ削減部は、上記画像データを符号化して圧縮する圧縮部を含む。
第５の発明に係る撮像装置は、上記第４の発明において、上記圧縮部は非可逆圧縮を行う。
第６の発明に係る撮像装置は、上記がｚ第１の発明において、上記画像データ削減部は、色差信号のデータ量を削減する。

第７の発明に係る撮像装置は、上記第１の発明において、上記画像合成部は、被写界の深度を深くする合成およびダイナミックレンジを広げる合成の内の少なくとも１つを行う。
第８の発明に係る撮像装置は、上記第１の発明において、上記基準画像データは、上記画像合成部において合成を行う複数の画像データの内、最初に撮像された画像データ、またはピントの合っている画像データ、または適正露出で撮影された画像データのいずれかである。

第９の発明に係る撮像装置は、上記第１の発明において、上記合成画像データを記録する画像記録部を有し、上記データ量削減部によってデータ量が削減された合成用画像データを用いて、上記合成画像データを生成した場合には、上記合成画像データに削減情報を添付の上、上記画像データ記録部に記録する。
第１０の発明に係る撮像装置は、上記第１の発明において、上記画像データ量削減部は、画像データのデータ量に応じて、または上記撮像装置から外部へ送信する際の送信先の条件に応じて、画像データのデータ削減量を変更する。
第１１の発明に係る撮像装置は、上記第１の発明において、上記画像データ量削減部は、非可逆な方式によりデータ量を削減する。

第１２の発明に係る撮像方法は、被写体を撮像して基準画像の画像データを生成し、被写体を撮像して合成用画像の画像データを生成し、上記合成用画像の画像データを上記基準画像の画像データよりデータ量の少なくなるようにデータ量を削減し、上記基準画像の画像データと上記合成用画像の画像データを用いて、画像データの合成を行い、合成画像データを生成する。

第１３の発明に係るプログラムは、被写体を撮像して基準画像の画像データを生成し、被写体を撮像して合成用画像の画像データを生成し、上記合成用画像の画像データを上記基準画像の画像データよりデータ量の少なくなるようにデータ量を削減し、上記基準画像の画像データと上記合成用画像の画像データを用いて、画像データの合成を行い、合成画像データを生成する、ことをコンピュータに実行させる。

本発明によれば、限られた容量において、可能な限り多くの撮影枚数を確保でき、十分な画質の合成画像を生成可能な撮像装置、撮像方法、およびプログラムを提供することができる。

本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラにおけるＲＡＷ圧縮特性の一例を示すグラフであり、（ａ）はＨＤＲ合成時のＲＡＷ圧縮特性の一例を示し、（ｂ）は深度合成時のＲＡＷ圧縮特性の一例を示す。 本発明の第１実施形態に係るカメラにおけるＲＡＷ伸張特性の一例を示すグラフであり、（ａ）はＨＤＲ合成時のＲＡＷ伸張特性の一例を示し、（ｂ）は深度合成時のＲＡＷ伸張特性の一例を示す。 本発明の第２実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第２実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第２実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第３実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第３実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第３実施形態に係るカメラのメイン動作を示すフローチャートである。

以下、本発明の実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、第１実施形態に係るカメラは、複数の画像データを合成する際に、基準となる画像データよりも、合成する画像データのサイズを小さくしてからＳＤＲＡＭ等の内部メモリに記憶する。このため限られた容量の内部メモリ内に多くの撮影画像データを記憶することができ、同じ容量の内部メモリの場合と比較すると、より高品位の合成画像を生成することができる。

図１は、本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、撮像部としての機能を果たし、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。撮像素子１０３は被写体を撮像して画像データを出力する撮像部として機能する。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０およびＲＡＷデータ圧縮部１０８に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。

ＲＡＷデータ圧縮部１０８は、Ａ／Ｄ変換部１０７から出力されたＲＡＷデータの圧縮を行い、基準画像以外のＲＡＷデータの取り込み時に使用する。基準画像は、複数枚の画像データを合成する際に、基準とする画像をいう。基準画像としては、後述する画像合成部１０９ｃにおいて合成を行う複数の画像データの内、最初に撮像された画像データ、またはピントの合っている画像データ、または適正露出で撮影された画像データのいずれかである。

ＲＡＷデータ圧縮部１０８は、Ａ／Ｄ変換されたＲＡＷデータに対して、折れ線またはテーブルを用い、入力データよりもデータ量の小さいデータに変換する。単純な下位ビット切り落としや、１未満の係数を乗じるような変換方法でもよいが、画像処理部１０９におけるガンマ変換を考慮し、折れ線やテーブルを用いた変換の方が、画質劣化を少なくすることができる。ＲＡＷデータ圧縮部１０８は、画像データのデータ量を削減し、基準画像データよりデータ量の少ない合成用画像データを生成する画像データ量削減部として機能する。この画像データ量削減部は、画像データ量の削減にあたっては、非可逆な方式によりデータ量を削減する。また、ＲＡＷデータ圧縮部１０８における圧縮特性については、図６を用いて後述する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７とＲＡＷデータ圧縮部１０８の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮部１１５、画像伸張部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。

画像処理部１０９は、圧縮されたＲＡＷデータを伸張するＲＡＷデータ伸張部１０９ａと、通常の画像処理を行う基本画像処理部１０９ｂと、画像合成を行う画像合成部１０９ｃを有する。複数の画像を合成する場合には、ＲＡＷデータ伸張部１０９ａ、基本画像処理部１０９ｂ、および画像合成部１０９ｃを使用する。

基準画像以外の画像データは、ＲＡＷデータ圧縮部１０８によって圧縮されており、ＲＡＷデータ伸張部１０９ａは、圧縮されたＲＡＷデータの伸張を行う。ＲＡＷデータ伸張部１０９ａは、ＲＡＷデータ圧縮部１０８の逆特性を適用し、Ａ／Ｄ変換直後と同様のデータに変換する。圧縮が可逆であれば、同一のデータになり、また不可逆圧縮であれば、同様のデータに変換する。一般には、Ａ／Ｄ変換後のデータは、露光量に対してリニアな特性のため、ＳＤＲＡＭに記憶されている圧縮されたＲＡＷデータをリニアなＲＡＷデータに変換する。ＲＡＷデータ伸張部１０９ａにおける伸張特性は、図７を用いて後述する。

基本画像処理部１０９ｂは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつ特殊効果等が設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。

画像合成部１０９ｃは、設定されている合成モード等応じて種々の画像合成を行う。この画像合成部１０９ｃは、基準画像データと合成用画像データを用いて画像データの合成を行い、合成画像データを生成する画像合成部として機能する。本実施形態においては、後述するように、ダイナミックレンジを広げるＨＤＲ合成、被写界の深度を深くする深度合成、および解像度の高くする超解像合成の３種類の合成モードが設定可能である。ＨＤＲ合成モードが設定されている場合には、画像合成部１０９ｃは、複数の露光量で撮影した複数の画像データに対し、基準画像に対して位置合わせと合成を行うことで、単写よりも広いダイナミックレンジの画像を生成する。

また、深度合成モードが設定されている場合には、画像合成部１０９ｃは、複数のフォーカス位置で撮影した複数の画像データに対し、基準画像に対して位置合わせと合成を行うことで、単写とは異なる被写界深度の画像を生成する。超解像合成モードが設定されている場合には、画像合成部１０９ｃは、複数の画像データに対し、基準画像に対して位置合わせと合成を行うことがで、単写よりも解像感のある画像を生成する。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。

画像圧縮部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。

また、画像伸張部１１７は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像伸張部１１５において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。また、圧縮方式は、可逆圧縮でも、非可逆圧縮でもよい。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、フラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、ＨＤＲ合成、深度合成、および超解像合成等の合成モードがある。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９、画像圧縮部１１５、画像伸張部１１７等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。記録媒体１３１は、合成画像データを記録する画像記録部として機能する。

表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像伸張部１１７によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。

表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。

次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２、図３、および後述する図４、図５、図９、図１０、図１２、図１３に示すフローチャートは、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５、Ｓ３１等参照）。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、選択している画像の編集を行うことができる。

ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。

ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、前述したように、例えば、撮影モードとしては、通常撮影、ＨＤＲ合成、深度合成、超解像合成等のモードが設定可能である。また、静止画記録モードとしては、ＪＰＥＧ記録、ＴＩＦＦ記録、ＪＰＥＧ−ＲＡＷ記録、ＲＡＷ記録等のモードが設定可能である。動画記録モードとしては、Ｍｏｔｉｏｎ ＪＰＥＧ記録、Ｈ．２６４記録等のモードの設定が可能である。画質モードとしては、ファイン（Fine）、ノーマル（Normal）等のモードが設定可能である。

ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグの反転を行う（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。

ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。

一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。

ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、動画記録中か否かの判定を行う（Ｓ３１）。このステップでは、ステップＳ１５と同様に、記録中フラグのオンかオフに基づいて判定する。

ステップＳ３１における判定の結果、動画記録中でない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ３３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

また、ステップＳ３３においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。その後、ステップＳ３５へ進む。

ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ４１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ４１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、撮影・画像処理を行う（Ｓ４３）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。

また、ステップＳ４３においては、撮影を行うと画像処理を行う。撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。また、画像合成モードが設定されている場合には、このステップにおいて、画像合成モードに応じて複数回の撮影が行われ、画像合成の際に使用する画像データが記録媒体１３３等に一時的に退避する。この撮影・画像処理の詳しい動作については、図４および図５を用いて後述する。

撮影・画像処理を行うと、次に静止画記録を行う（Ｓ４５）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。静止画記録にあたっては、設定されている形式で記録を行う。ＪＰＥＧが設定されている場合には、画像処理済みデータを画像圧縮部１１５においてＪＰＥＧ圧縮して記録する。またＴＩＦＦ形式の場合には、ＲＧＢデータに変換してＲＧＢ形式で記録する。また、ＲＡＷ記録が設定されている場合に、撮影によって取得したＲＡＷデータと合成を行った場合には、合成ＲＡＷデータも記録する。ここで、撮影によって取得したＲＡＷデータを合成した場合、合成する前の複数のＲＡＷデータを記録し、ステップＳ５において複数のＲＡＷデータを１セットとしてユーザが選択可能にし、ユーザが編集を指示した場合には、ステップＳ４３における画像処理部分のみ（図５参照）を処理するようにしてもよい。画像データの記録先は、カメラ本体内の記録媒体１３１でもよいし、通信部（不図示）を介して外部の機器へ記録するようにしてもよい。

ステップＳ４１における判定の結果、レリーズ釦２ｎｄでなかった場合、またはステップＳ３１における判定の結果、動画記録中であった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ４１の判定がＮｏであった場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。また、前述のステップＳ３１の判定がＹｅｓであった場合は、動画記録中である。このステップでは、適正露出でライブビュー表示または動画撮影を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。

電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理を行う（Ｓ５５）。このステップでは、基本画像処理部１０９ｂによって、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクションン等の基本画像処理を行う。

基本画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５７）。このステップでは、ステップＳ５５における基本画像処理された画像データを用いて、表示パネル１３５にライブビュー表示を行う。すなわち、ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ステップＳ５７においてライブビュー表示を行うと、次に、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。

ステップＳ６１において動画記録を行うと、またはステップＳ５９における判定の結果、動画記録中でない場合、またはステップＳ４５において静止画記録を行うと、またはステップＳ３５において、ＡＥ・ＡＦを行うと、次に、電源オフか否かの判定を行う（Ｓ３７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、このメインフローを終了する。

このように本発明の第１実施形態におけるメインフローにおいては、画像合成モード等の設定が可能であり（Ｓ９）、画像合成モードが設定されると、撮影・画像処理において、画像合成モードに応じて複数回、撮影が行われ（Ｓ４３）、合成された画像データが記録される（Ｓ４５）。

なお、ステップＳ４５またはＳ６１において、画像データを記録媒体１３１に記録する際に、後述するステップＳ１１５、Ｓ１２７、Ｓ１３８において画像データを圧縮し、Ｓ１５７、Ｓ１６７、Ｓ１７７において画像合成を行った場合には、合成画像データに削減情報を添付の上、記録媒体に１３１に記録してもよい。この場合、削減情報としては、データ量削減の有無の他に、例えば、削減率等であってもよい。

また、ステップＳ１１５、Ｓ１２７、Ｓ１３７において、画像データの削減を行うにあたって、ＲＡＷデータ圧縮部は、画像データのデータ量に応じて、またカメラの外部にデータ送信する際の送信先の条件に応じて、画像データの削減量（削減率）を変更するようにしてもよい。

次に、図４および図５に示すフローチャートを用いて、ステップＳ４３の撮影・画像処理の詳しい動作について説明する。撮影・画像処理のフローに入ると、まず、適正露出撮影を行う（Ｓ１０１）。ここでは、レリーズ釦が半押しされた際に、ステップＳ３５において算出された露出条件で撮影を行う。また、ステップＳ３５において焦点調節が行われていることから、合焦状態で撮影を行う。なお、撮影モード等によっては、このステップでの撮影は適正露光としなくてもよく、また非合焦状態でもよい。

適正露出撮影を行うと、次に、ＲＡＷ取り込みを行う（Ｓ１０３）。ステップＳ１０１における撮影は基準画像であり、画質を優先するために、ＲＡＷデータ圧縮部１０８によってデータ圧縮を行うことなく、非圧縮でＲＡＷ画像データを取り込みＳＤＲＡＭ１２７に記憶する。ここでは、撮像素子１０３が画像データから基準画像を生成する基準画像生成部として機能する。

ＲＡＷ取り込みを行うと、次に、ＨＤＲ合成か否かを判定する（Ｓ１０５）。ステップＳ９のカメラ設定において、撮影モードとしてＨＤＲ合成モードが設定されたか否かを判定する。ＨＤＲ合成モードは、前述したように、異なる露光量で順次撮影することによって取得した複数の画像データを用いて、単写よりも広いダイナミックレンジの画像を生成するモードである。

ステップＳ１０５における判定の結果、ＨＤＲ合成の場合には、露光量変更を行う（Ｓ１１１）。露光量を、例えば、ステップＳ３５で決定した適正露光条件に対して、−１段、＋１段と順次変更する。露光量を変更すると、合成用画像の撮影を行う（Ｓ１１３）。ここでは、ステップＳ１１１において変更した露光量に従って撮影を行う。

撮影を行うと、ＲＡＷ圧縮取り込みを行う（Ｓ１１５）。露光量を変更して撮影した画像は基準画像でないことから、多少の画質の劣化は許容される。そこで、画像データの容量を小さくするために、読み出された画像データを、ＲＡＷデータ圧縮部１０８によってデータ圧縮し、この圧縮したＲＡＷ画像データを合成用画像ＲＡＷデータとしてＳＤＲＡＭ１２７に一時記憶する。

ＲＡＷ圧縮取り込みを行うと、次に、合成用画像の撮影枚数が所定枚数か否かを判定する（Ｓ１１７）。ここでは、ＨＤＲ合成を行うために設定されている枚数、例えば、合成用画像の撮影枚数が２枚に達したか否かを判定する。この判定の結果、所定枚数に達していない場合には、ステップＳ１１１に戻り、ＨＤＲ合成のための撮影を続行する。

ステップＳ１０５における判定の結果、ＨＤＲ合成でない場合には、次に、深度合成か否かを判定する（Ｓ１２１）。ステップＳ９のカメラ設定において、撮影モードとして深度合成モードが設定されたか否かを判定する。深度合成モードは、前述したように、異なるフォーカス位置で順次撮影することによって取得した複数の画像データを用いて、単写とは異なる被写界深度の画像を生成するモードである。

ステップＳ１２１における判定の結果、深度合成の場合には、フォーカス移動を行う（Ｓ１２３）。ここでは、交換式レンズ２００内のマイクロコンピュータ２０７に対して、撮影レンズ２０１を所定フォーカス位置に順次移動させるように指示する。所定位置としては、例えば、至近側から無限遠まで１／８ステップずつ変更させた位置でもよい。

フォーカス移動を行うと、次に、適正露出撮影を行う（Ｓ１２５）。ここでは、露光量を、ステップＳ３５で決定した適正露光条件に従って、合成用画像の撮影を行う。適正露出撮影を行うと、次に、ステップＳ１１５と同様に、ＲＡＷ圧縮取り込みを行う（Ｓ１２７）。ここでは、読み出された画像データを、ＲＡＷデータ圧縮部１０８によってデータ圧縮し、この圧縮したＲＡＷ画像データを合成用画像ＲＡＷデータとしてＳＤＲＡＭ１２７に一時記憶する。

ＲＡＷ圧縮取り込みを行うと、次に、合成用画像の撮影枚数が所定枚数か否かを判定する（Ｓ１２９）。ここでは、深度合成を行うために設定されている枚数、例えば、フォーカス位置のステップ数を１／８に設定した場合には、合成用画像の撮影枚数が所定枚数＝８枚に達したか否かを判定する。この判定の結果、所定枚数に達していない場合には、ステップＳ１２３に戻り、深度合成のための撮影を続行する。

ステップＳ１２１における判定の結果、深度合成でない場合には、次に、超解像合成か否かを判定する（Ｓ１３１）。ステップＳ９のカメラ設定において、撮影モードとして超解像合成モードが設定されたか否かを判定する。超解像合成モードは、前述したように、複数の画像データを用いて、単写よりも解像感のある画像を生成するモードである。具体的には、センサ手振れ補正の場合にはセンサ（撮像素子１０３）を、またレンズ手振れ補正の場合には補正用レンズを、例えば、センサの１画素分ずらしながら、順次複数の撮影を行う。複数の画像データを取得すると、これらの画像データを用いて、単写とは異なる解像度の高い画像を生成するモードである。

ステップＳ１３１における判定の結果、超解像合成の場合には、光軸微移動を行う（Ｓ１３３）。ここでは、センサ手振れの場合には、撮像素子１０３を、例えば、１画素分移動させるように、センサの位置を光軸と直交する面内で微移動させる。

光軸微移動を行うと、ステップＳ１２５と同様に、適正露出撮影を行う（Ｓ１３５）。ここでは、露光量を、ステップＳ３５で決定した適正露光条件に従って、合成用画像の撮影を行う。適正露出撮影を行うと、次に、ステップＳ１１５と同様に、ＲＡＷ圧縮取り込みを行う（Ｓ１３７）。ここでは、読み出された画像データを、ＲＡＷデータ圧縮部１０８によってデータ圧縮し、この圧縮したＲＡＷ画像データを合成用画像ＲＡＷデータとしてＳＤＲＡＭ１２７に一時記憶する。

ＲＡＷ圧縮取り込みを行うと、次に、合成用画像の撮影枚数が所定枚数か否かを判定する（Ｓ１３９）。ここでは、超解像合成を行うために設定されている所定枚数、例えば、最初に撮影した位置から、左へ１画素、下へ１画素、左下へ各１画素、ずらした３枚に達したか否かを判定する。この判定の結果、合成用画像の撮影枚数が所定枚数に達していない場合には、ステップＳ１３３に戻り、超解像合成のための撮影を続行する。

ステップＳ１１７、Ｓ１２９、Ｓ１３９における判定の結果、所定枚数に達すると、次に、ステップＳ１５１以下において画像合成を行う。まず、ステップＳ１０５と同様に、ＨＤＲ合成か否かを判定する（Ｓ１５１）。この判定の結果、ＨＤＲ合成であった場合には、次に、ＲＡＷ取得と伸張を行う（Ｓ１５３）。基準画像のＲＡＷデータと合成用画像のＲＡＷデータをＳＤＲＡＭ１２７から取得する。この場合、基準画像のＲＡＷデータは非圧縮であるが、合成用画像のＲＡＷデータは圧縮されているので、合成用画像のＲＡＷデータについては、ＲＡＷデータ伸張部１０９ａにおいて伸張処理を行う。

ＲＡＷ取得と伸張を行うと、次に、位置合わせを行う（Ｓ１５５）。ここでは、ステップＳ１５３において取得した基準画像のＲＡＷデータと合成用画像のＲＡＷデータの画像の部分部分で位置合わせを行う。

位置合わせを行うと、次に、ＨＤＲ合成を行う（Ｓ１５７）。ここでは、基準画像のＲＡＷデータに対して、異なる露光量で順次撮影された合成用のＲＡＷデータを順次読出し、この読み出された合成用ＲＡＷデータを用いて、単写よりも広いダイナミックレンジの画像を生成する。

ＨＤＲ合成を行うと、次に、ステップＳ１１７と同様に、合成した合成用画像が所定枚数に達したか否かを判定する（Ｓ１５９）。ここでは、ＨＤＲ合成用に撮影された枚数について、ＨＤＲ合成を行ったか否かを判定する。この判定の結果、所定枚数に達していなかった場合には、ステップＳ１５３に戻り、ＨＤＲ合成を続行する。

ステップＳ１５１における判定の結果、ＨＤＲ合成でなかった場合には、次に、ステップＳ１２１と同様に、深度合成か否かを判定する（Ｓ１６１）。この判定の結果、深度合成の場合には、ステップＳ１５３と同様にＲＡＷ取得と伸張を行う（Ｓ１６３）。続いて、ステップＳ１５５と同様に、位置合わせを行う（Ｓ１６５）。

位置合わせを行うと、次に、深度合成を行う（Ｓ１６７）。ここでは、基準画像のＲＡＷデータに対して、異なるフォーカス位置で順次撮影された合成用のＲＡＷデータを順次読出し、この読み出された合成用ＲＡＷデータを用いて、単写とは異なる被写界深度の画像を生成する。

深度合成を行うと、次に、ステップＳ１２９と同様に、合成した合成用画像が所定枚数に達したか否かを判定する（Ｓ１６９）。ここでは、深度合成用に撮影された枚数について、深度合成を行ったか否かを判定する。この判定の結果、所定枚数に達していなかった場合には、ステップＳ１６３に戻り、深度合成を続行する。

ステップＳ１６１における判定の結果、深度合成でなかった場合には、次に、ステップＳ１３１と同様に、超解像合成か否かを判定する（Ｓ１７１）。この判定の結果、超解像合成の場合には、ステップＳ１５３と同様にＲＡＷ取得と伸張を行う（Ｓ１７３）。続いて、ステップＳ１５５と同様に、位置合わせを行う（Ｓ１７５）。

位置合わせを行うと、次に、超解像合成を行う（Ｓ１７７）。ここでは、基準画像のＲＡＷデータに対して、異なる光軸位置で順次撮影された合成用のＲＡＷデータを順次読出し、この読み出された合成用ＲＡＷデータを用いて、単写とは異なる解像感の画像を生成する。

超解像合成を行うと、次に、ステップＳ１３９と同様に、合成した合成用画像が所定枚数に達したか否かを判定する（Ｓ１７９）。ここでは、超解像合成用に撮影された枚数について、超解像合成を行ったか否かを判定する。この判定の結果、所定枚数に達していなかった場合には、ステップＳ１７３に戻り、超解像合成を続行する。

ステップＳ１５９、Ｓ１６９、Ｓ１７９における判定の結果、所定枚数であれば、次に、基本画像処理を行う（Ｓ１８１）。ここでは、ステップＳ１５７、Ｓ１６７、Ｓ１７７において合成されたＲＡＷデータに対して、基本画像処理部１０９ｂが基本画像処理、すなわちＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の画像を行う。基本画像処理を行うと、撮影・画像処理のフローを終了し、元のフローに戻る。

このように、本実施形態における撮影・画像処理のフローにおいては、最初に適正露出で基準画像を撮影し、基準画像のＲＡＷデータを非圧縮で取り込み（Ｓ１０３）、その後、設定された撮影モード（合成モード）に沿った撮影を行うと（Ｓ１１１、Ｓ１１３、Ｓ１２３、Ｓ１２５、Ｓ１３３、Ｓ１３５）、取得したＲＡＷデータを圧縮して取り込んでいる（Ｓ１１５、Ｓ１２７、Ｓ１３５）。このように、画像合成用の画像データは、圧縮して一時記憶しているので、一時記憶用のメモリの容量が小さくても、画像合成用に多数の画像を取得することができ、合成画像の画質を向上させることができる。

次に、図６を用いて、ＲＡＷデータ圧縮部１０８における圧縮特性について説明する。図６（ａ）は、撮影モードとして、ＨＤＲ合成モードが設定された場合の圧縮特性を示し、ステップＳ１１５（図４）におけるＲＡＷ圧縮の際に使用される圧縮特性である。図６（ａ）と図６（ｂ）では、横軸が入力輝度を、縦軸が出力を示す。ここで示した圧縮特性で圧縮したデータを、入力輝度よりも少ないビット数でサンプリングすることにより、画質低下を最小限にしながらＲＡＷデータを圧縮できる。

図６（ａ）に示す例では、ＨＤＲ合成を行うために、適正露光で撮影した基準画像の他に、適正露光よりも＋１段オーバー露光での画像と、−１段アンダー露光での画像を取得する。すなわち、ＨＤＲ合成では、オーバー撮影（＋１段撮影）した画像は暗部階調があるため暗部を、アンダー撮影（−１段撮影）した画像は明部階調があるため明部を主として合成に使用する。

ＲＡＷデータ圧縮部１０８は、＋１段オーバー露光で取得したＲＡＷデータに対しては、被写体の暗い部分について再現しやすくするために、圧縮特性ラインＬＣ（＋１）に沿ったＲＡＷ圧縮を行う。すなわち、オーバー撮影した場合には、暗部の階調を保持し明部の階調を圧縮する。一方、−１段アンダー露光で取得したＲＡＷデータに対しては、被写体の明るい部分について再現しやすくために、圧縮特性ラインＬＣ（−１）に沿ったＲＡＷ圧縮を行う。すなわち、アンダー撮影した場合には、明部の階調をできるだけ保持し、暗部の階調を圧縮する。

なお、図６（ａ）に示す図では、圧縮特性ラインＬＣ（＋１）、ＬＣ（−１）を折れ線としているが、なめらかなカーブを描くような特性としてもよい。折れ線状の特性ラインの場合には、ハードウエアの規模を小さくすることができる。特に傾きが２のべき乗（２のｋ乗：ｋは整数）の折れ線状の特性にすると、乗算することなくビットシフトを用いて入力値と出力値の相互の変換演算が可能になる。

図６（ｂ）は、撮影モードとして、深度合成または超解像合成が設定された場合の圧縮特性ラインＬＣの一例を示し、ステップＳ１２７、Ｓ１３７（図４）におけるＲＡＷ圧縮の際の圧縮特性である。図中、横軸が入力輝度、縦軸が出力である。

深度合成では、コントラストの高い部分を基準画像に合成する。また超解像合成では、単写での画素の間に、位置をずらして撮影した画像の画素に基づくデータを補間挿入する。よって、輝度に応じて合成部分を変えるわけではない。そこで、ＲＡＷデータを用いて合成した後に画像処理で用いるガンマ特性に類する特性でデータを圧縮する。これにより、合成後に画像処理したときに、トーンジャンプなどの画質劣化を最小限に抑えることができる。なお、図６（ｂ）では、圧縮特性ラインＬＣは、なめらかなカーブを描いているが、図６（ａ）に示すような折れ線形状としてもよい。

次に、図７を用いて、ＲＡＷデータ伸張部１０９ａおける伸張特性について説明する。図７（ａ）は、撮影モードとして、ＨＤＲ合成モードが設定された場合の伸張特性を示し、ステップＳ１５３（図５）におけるＲＡＷ伸張の際に使用される伸張特性である。図７（ａ）では、横軸が入力輝度を、縦軸が出力を示す。

ＲＡＷ伸張する場合には、圧縮時の圧縮特性ライン（図中に細線で記載）ＬＣ（＋１）、ＬＣ（−１）に対して、逆特性の伸張特性ラインＬＥ（＋１）、ＬＥ（−１）で変換することにより、元のＲＡＷデータと同様のデータに戻る。すなわち、オーバー撮影した場合には圧縮特性ラインＬＣ（＋１）によって被写体の暗い部分の変化率を大きくし明るい部分の変化率を小さくしていたが、伸張する場合には伸張特性ラインＬＥ（＋１）で示すように、被写体の暗い部分の変化率を小さくし明るい部分の変化率を大きくすることにより、被写体の暗い部分について単写の場合よりも階調を再現することができる。アンダー撮影した場合には、オーバー撮影した場合と逆の傾向の圧縮特性ラインＬＣ（−１）と伸張特性ラインＬＥ（−１）を組み合わせることにより、被写体の明るい部分について単写の場合よりも階調を再現することができる。なお、特性ラインＬは、非圧縮の場合の伸張特性を示す。

図７（ｂ）は、撮影モードとして、深度合成・超解像合成モードが設定された場合の伸張特性を示し、ステップＳ１６７、Ｓ１７７（図５）におけるＲＡＷ伸張の際に使用される伸張特性である。図７（ｂ）でも、横軸が入力輝度を、縦軸が出力を示す。この場合も、ＲＡＷ伸張する場合には、圧縮時の圧縮特性ライン（図中に細線で記載）ＬＣに対して、逆特性の伸張特性ラインＬＥで変換することにより、元のＲＡＷデータと同様のデータに戻る。

このように、本発明の第１実施形態においては、基準画像データは非圧縮で一時記憶するが（図４のＳ１０３）、合成用画像データは図６に示すような圧縮特性でＲＡＷ圧縮し一時記憶している（図４のＳ１１５、Ｓ１２７、Ｓ１３７）。そして、画像合成する際には、ＲＡＷ圧縮した画像データは、図７に示すような伸張特性でＲＡＷ伸張し、基準画像データと伸張された合成用画像データを用いて、ＨＤＲ合成等、各種の画像合成が行われる。このため、多数の合成用画像データを記憶することが可能となり、合成画像の画質を向上させることができる。

次に、本発明の第２実施形態について、図８ないし図１０を用いて説明する。第１実施形態においては、合成用画像の画像データについて、ＲＡＷ圧縮してから一時記憶し、この圧縮した画像データをＲＡＷ伸張してから画像合成を行っていた。これに対して、本実施形態においては、合成用画像の画像データについてはダウンサンプル処理をしてから一時記憶し、このダウンサンプルした画像データをアップサンプルしてから画像合成を行うようにしている。

本実施形態の構成は、第１実施形態に係る図１のブロック図と比較し、第１実施形態におけるＲＡＷデータ圧縮部１０８とＲＡＷデータ伸張部１０９ａの代わりに、ダウンサンプル処理部１０９ｄとアップサンプル処理部１０９ａを配置し、また基本画像処理部１０９ｂ等の接続関係を変更した点が相違し、他は同一である。そこで、この相違点を中心に図８を用いて本実施形態の構成について説明する。

図８において、Ａ／Ｄ変換部１０７の出力は、バス１１０と基本画像処理部１０９ｂに出力される。画像処理部１０９内の基本画像処理部１０９ｂは、第１実施形態の場合と同様、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。基本画像処理部１０９ｂによって画像処理された画像データは、バス１１０とダウンサンプル処理部１０９ｄに出力される。

画像処理部１０９内のダウンサンプル処理部１０９ｄは、基本画像処理部１０９ｂによる基本画像処理後に、画像データをダウンサンプルして色差成分のデータ量を減らす処理を行う。例えば、水平２画素単位で１組の色差成分ＣｂＣｒだけ残すＹＣ４２２データや、水平垂直２画素（２×２の領域）で１組のＣｂＣｒだけを残すＹＣ４２０データにダウンサンプルする。ダウンサンプル処理部１０９によって処理された画像データは、バス１１０に出力される。なお、ダウンサンプルにおいて、どのように一組のＣｂＣｒを生成するかは、ＪＥＩＤＡ規格のデジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）Ｖｅｒｓｉｏｎ２．１（ＪＥＩＤＡ−４９−１９９８）などで規定されている方法を使用すればよい。

ダウンサンプル処理部１０９ｄは、画像データのデータ量を削減し、基準画像データよりデータ量の少ない合成用画像データを生成する画像データ量削減部として機能する。この画像データ量削減部は、色差信号の数（データ量）、輝度信号の数（データ量）よりも少なくなるように削減している。これにより、色の解像度は低下するが、人間の知覚特製は輝度の変化よりも色の変化を知覚しにくいため、画質の劣化を抑えながらデータ量を削減できる。

基本画像処理部１０９ｂは、基準画像および合成用画像の両画像データを処理するが、基準画像の画像データは、基本画像処理部１０９ｂによって処理された後に、バス１１０を介してＳＤＲＡＭ１２７に一時記憶される。一方、合成用画像の画像データは、ダウンサンプル処理部１０９ｄによって処理された後に、バス１１０を介してＳＤＲＡＭ１２７に一時記憶される。したがって、基準画像の画像データはダウンサンプルされることなく、各画素ＹＣｂＣｒの情報を持つデータ（例えば、ＹＣ４４４データ）がＳＤＲＡＭ１２７に一時記憶されるのに対して、合成用画像の画像データはダウンサンプルされ、データ量を小さくした上で、ＳＤＲＡＭ１２７に一時記憶される。

画像処理部１０９内のアップサンプル処理部１０９ｅは、画像合成部１０９ｃによる画像合成前に、画像データをアップサンプルする。すなわち、画像データの内の色差成分ＣｂＣｒが輝度データ（Ｙ）に対して少ない場合（上述のＹＣ４２２、ＹＳ４２０データのような場合）、色差成分ＣｂＣｒをアップサンプルして、各画素ＹＣｂＣｒのデータがあるように変換する。アップサンプルの方法は、単純に色差成分ＣｂＣｒをコピーしてもよく、またＹＣ４２０やＹＣ４２２形式のデータにおいて近傍のＣｂＣｒを使用して線形補間で求めるようしてもよい。なお、基準画像（ＹＣ４４４形式）の画像データは、既に各画素のＣｂＣｒを有するため、アップサンプル処理の必要はない。

次に、図９および図１０に示すフローチャートを用いて、本実施形態の動作について説明する。本実施形態におけるメイン動作は、図２および図３に示したフローチャートと同様であるので、詳しい説明は省略する。本実施形態は、第１実施形態に係る図４および図５に示したフローチャートを図９および図１０に示すフローチャートに置き換えればよく、さらに、これらのフローチャートにおいて、図４のステップＳ１１５、Ｓ１２７、Ｓ１３７を図９のＳ１１５Ａ、Ｓ１２７Ａ、Ｓ１３７Ａに置き換え、図５のステップＳ１５３、Ｓ１６３、Ｓ１７３を図１０のＳ１５３Ａ、Ｓ１６３Ａ、Ｓ１７３Ａに置き換える点でのみ相違する。そこで、第１実施形態に係る図５および図６と同一の処理を行うステップには同一のステップ番号を付し詳しい説明を省略し、相違点を中心に説明する。

図９に示す撮影のフローに入ると、適正露出で撮影を行う（Ｓ１０１）。このステップでは、レリーズ釦の１ｓｔレリーズで決めた露出条件および合焦位置（図３のＳ３５）で露光を行う。続いて、基本画像処理を行う（Ｓ１０３）。このステップでは、ステップＳ１０１における露光で取得した画像データに対して、基本画像処理部１０９ｂが基本画像処理を行い、画像データをダウンサンプルせずにＳＤＲＡＭ１２７に一時記憶させる。

基本画像処理を行うと、次に、ＨＤＲ合成が設定されている場合には、第１実施形態と同様に、露光量を変更しながら撮影を行う（Ｓ１０５Ｙｅｓ、Ｓ１１１、Ｓ１１３）。撮影を行うと、基本画像処理とダウンサンプルを行う（Ｓ１１５Ａ）。ここでは、取得した画像データに対して、基本画像処理部１０９ｂが基本画像処理を行い、この画像データをダウンサンプル処理部１０９ｄがダウンサンプル処理を行い、ダウンサンプルした画像データをＳＤＲＡＭ１２７に一時記憶させる。ダウンサンプルを行うと所定枚数に達したか否かを判定し（Ｓ１１７）。達していない場合には、ステップＳ１１１に戻る。

また、深度合成が設定されている場合には、第１実施形態と同様に、フォーカス移動を行いながら撮影を行う（Ｓ１２１Ｙｅｓ、Ｓ１２３、Ｓ１２５）。撮影を行うと、基本画像処理とダウンサンプルを行う（Ｓ１２７Ａ）。ここでは、ステップＳ１１５Ａと同様に、取得した画像データに対して、基本画像処理部１０９ｂが基本画像処理を行い、この画像データをダウンサンプル処理部１０９ｄがダウンサンプル処理を行い、ダウンサンプルした画像データをＳＤＲＡＭ１２７に一時記憶させる。ダウンサンプルを行うと所定枚数に達したか否かを判定し（Ｓ１２９）。達していない場合には、ステップＳ１２３に戻る。

また、超解像合成が設定されている場合には、第１実施形態と同様に、光軸を微移動させながら撮影を行う（Ｓ１３１Ｙｅｓ、Ｓ１３３、Ｓ１３５）。撮影を行うと、基本画像処理とダウンサンプルを行う（Ｓ１３７Ａ）。ここでは、ステップＳ１１５Ａと同様に、取得した画像データに対して、基本画像処理部１０９ｂが基本画像処理を行い、この画像データをダウンサンプル処理部１０９ｄがダウンサンプル処理を行い、ダウンサンプルした画像データをＳＤＲＡＭ１２７に一時記憶させる。ダウンサンプルを行うと所定枚数に達したか否かを判定し（Ｓ１３９）。達していない場合には、ステップＳ１３３に戻る。

ステップＳ１１７、Ｓ１２９、Ｓ１３９における判定の結果、所定枚数に達すると、次に、ステップＳ１５１以下において画像合成を行う。まず、撮影モードとしてＨＤＲ合成が設定されている場合には（Ｓ１５１Ｙｅｓ）、まずアップサンプルを行う（Ｓ１５３Ａ）。ここでは、ＳＤＲＡＭ１２７に一時記憶されている基準画像と合成用画像の画像データを読み出し、合成用画像の画像データに対しアップサンプルを行う。合成用画像の画像データは、前述したようにダウンサンプルしてデータ量を減らしたＹＣデータ記憶していることから、このステップでアップサンプル処理部１０９ｅがアップサンプル処理を行う。

アップサンプル処理を行うと、位置合わせを行い（Ｓ１５５）、ＨＤＲ合成を行い（Ｓ１５７）、所定枚数に達したか否かを判定し（Ｓ１５９）、達していない場合には、ステップＳ１５３Ａに戻る。

また、撮影モードとし深度合成が設定されている場合には（Ｓ１６１Ｙｅｓ）、まずステップＳ１５３Ａと同様に、アップサンプルを行う（Ｓ１６３Ａ）。ここでは、ＳＤＲＡＭ１２７に一時記憶されている基準画像と合成用画像の画像データを読み出し、合成用画像の画像データに対してアップサンプル処理部１０９ｅがアップサンプルを行う。アップサンプル処理を行うと、位置合わせを行い（Ｓ１６５）、深度合成を行い（Ｓ１６７）、所定枚数に達したか否かを判定し（Ｓ１６９）、達していない場合には、ステップＳ１６３Ａに戻る。

また、撮影モードとし超解像合成が設定されている場合には（Ｓ１７１Ｙｅｓ）、まずステップＳ１５３Ａと同様に、アップサンプルを行う（Ｓ１７３Ａ）。ここでは、ＳＤＲＡＭ１２７に一時記憶されている基準画像と合成用画像の画像データを読み出し、合成用画像の画像データに対してアップサンプル処理部１０９ｅがアップサンプルを行う。アップサンプル処理を行うと、位置合わせを行い（Ｓ１７５）、超解像合成を行い（Ｓ１７７）、所定枚数に達したか否かを判定し（Ｓ１７９）、達していない場合には、ステップＳ１７３Ａに戻る。

このように、本発明の第２実施形態においては、基準画像データはダウンサンプル行うことなく一時記憶するが（図９のＳ１０３）、基本画像処理を行った合成用画像データはダウンサンプルを行ってから一時記憶している（図９のＳ１１５Ａ、Ｓ１２７Ａ、Ｓ１３７Ａ）。そして、画像合成する際には、ダウンサンプルした画像データは、アップサンプルしてから、ＨＤＲ合成等、各種の画像合成が行われる。このため、多数の合成用画像データを記憶することが可能となり、合成画像の画質を向上させることができる。

なお、本実施形態においては、基準画像の画像データはダウンサンプルを行っていないが、合成用画像の画像データよりは、データ量の削減が大きくないようなダウンサンプルを行うようにしても勿論かまわない。また、ダウンサンプルの例として、輝度信号Ｙと色差信号ＣｂＣｒを用いたが、他の輝度成分と色成分に分けて表記する色空間（例えば、ＹＰｂＰｒ、Ｌ＊ａ＊ｂ＊、ＨＳＶ等の色空間）を用い、輝度成分を表す信号よりも色差成分を表す信号を減らすようなダウンサンプルしてもよい。

次に、本発明の第３実施形態について、図１１ないし図１３を用いて説明する。第１実施形態においては、合成用画像の画像データについて、ＲＡＷ圧縮してから一時記憶し、この圧縮した画像データをＲＡＷ伸張してから画像合成を行い、また第２実施形態においては、ダウンサンプル処理して一時記憶し、このダウンサンプルした画像データをアップサンプルしてから画像合成していた。これに対して、本実施形態においては、合成用画像の画像データについてはＪＰＥＧ等の画像圧縮をしてから一時記憶し、この画像圧縮した画像データを画像伸張してから画像合成を行うようにしている。

本実施形態の構成は、第１実施形態に係る図１のブロック図と比較し、第１実施形態におけるＲＡＷデータ圧縮部１０８とＲＡＷデータ伸張部１０９ａの代わりに、画像圧縮部１０９ｆと画像伸張部１０９ｅを配置し、また基本画像処理部１０９ｂ等の接続関係を変更し、画像圧縮部１１５および画像伸張部１１７が重複することから省略した点が相違し、他は同一である。そこで、この相違点を中心に図１１を用いて本実施形態の構成について説明する。

図８において、Ａ／Ｄ変換部１０７の出力は、バス１１０と基本画像処理部１０９ｂに出力される。画像処理部１０９内の基本画像処理部１０９ｂは、第１実施形態の場合と同様、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。基本画像処理部１０９ｂによって画像処理された画像データは、バス１１０と画像圧縮部１０９ｆに出力される。

画像処理部１０９内の画像圧縮部１０９ｆは、第１実施形態における画像圧縮部１１５と同様に、画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。画像圧縮部１０９ｆは、画像データのデータ量を削減し、基準画像データよりデータ量の少ない合成用画像データを生成する画像データ量削減部として機能する。また、この画像データ量削減部は、画像データを符号化して圧縮する圧縮部を含んでいる。この圧縮部はＪＰＥＧ等の非可逆圧縮を行う。

基本画像処理部１０９ｂは、基準画像および合成用画像の両画像データを処理するが、基準画像の画像データは、基本画像処理部１０９ｂによって処理された後に、バス１１０を介してＳＤＲＡＭ１２７に一時記憶される。一方、合成用画像の画像データは、画像圧縮部１０９ｆによって画像圧縮処理された後に、バス１１０を介してＳＤＲＡＭ１２７に一時記憶される。したがって、基準画像の画像データは画像圧縮されることなく、ＳＤＲＡＭ１２７に一時記憶されるのに対して、合成用画像の画像データは画像圧縮され、データ量を小さくした上で、ＳＤＲＡＭ１２７に一時記憶される。

画像処理部１０９内の画像伸張部１０９ｇは、第１実施形態と同様に、ＪＰＥＧ画像データやＭＰＥＧ画像データ等の圧縮画像データの伸張を行う。なお、基準画像（の画像データは、非圧縮データであることから、画像伸張処理の必要はない。

次に、図１２および図１３に示すフローチャートを用いて、本実施形態の動作について説明する。本実施形態におけるメイン動作は、図２および図３に示したフローチャートと同様であるので、詳しい説明は省略する。また、本実施形態は、第１実施形態に係る図４および図５に示したフローチャートを図１２および図１３に示すフローチャートに置き換えればよく、さらに、これらのフローチャートにおいて、図４のステップＳ１０３、Ｓ１１５、Ｓ１２７、Ｓ１３７を図１２のＳ１０３Ｂ、Ｓ１１５Ｂ、Ｓ１２７Ｂ、Ｓ１３７Ｂに置き換え、図５のステップＳ１５３、Ｓ１６３、Ｓ１７３を図１３のＳ１５３Ｂ、Ｓ１６３Ｂ、Ｓ１７３Ｂに置き換える点でのみ相違する。そこで、第１実施形態に係る図５および図６と同一の処理を行うステップには同一のステップ番号を付し詳しい説明を省略し、相違点を中心に説明する。

図１２に示す撮影のフローに入ると、適正露出で撮影を行う（Ｓ１０１）。このステップでは、レリーズ釦の１ｓｔレリーズで決めた露出条件および合焦位置（図３のＳ３５）で露光を行う。続いて、基本画像処理と低圧縮を行う（Ｓ１０３Ｂ）。このステップでは、ステップＳ１０１における露光で取得した画像データに対して、基本画像処理部１０９ｂが基本画像処理を行い、また画像圧縮部１０９ｆによって低圧縮したのちにＳＤＲＡＭ１２７に一時記憶させる。ここでは、撮像素子１０３と低圧縮で画像データを圧縮する画像圧縮部１０９ｆが画像データから基準画像を生成する基準画像生成部として機能する。

基本画像処理と低圧縮を行うと、次に、ＨＤＲ合成が設定されている場合には、第１実施形態と同様に、露光量を変更しながら撮影を行う（Ｓ１０５Ｙｅｓ、Ｓ１１１、Ｓ１１３）。撮影を行うと、基本画像処理と高圧縮を行う（Ｓ１１５Ｂ）。ここでは、取得した画像データに対して、基本画像処理部１０９ｂが基本画像処理を行い、この画像データを画像圧縮部１０９ｆが高圧縮で画像圧縮を行い、高圧縮した画像データをＳＤＲＡＭ１２７に一時記憶させる。高圧縮を行うと所定枚数に達したか否かを判定し（Ｓ１１７）。達していない場合には、ステップＳ１１１に戻る。

また、深度合成が設定されている場合には、第１実施形態と同様に、フォーカス移動を行いながら撮影を行う（Ｓ１２１Ｙｅｓ、Ｓ１２３、Ｓ１２５）。撮影を行うと、基本画像処理と高圧縮を行う（Ｓ１２７Ｂ）。ここでは、ステップＳ１１５Ｂと同様に、取得した画像データに対して、基本画像処理部１０９ｂが基本画像処理を行い、この画像データを画像圧縮部１０９ｆが高圧縮で画像圧縮処理を行い、画像圧縮した画像データをＳＤＲＡＭ１２７に一時記憶させる。高圧縮を行うと所定枚数に達したか否かを判定し（Ｓ１２９）。達していない場合には、ステップＳ１２３に戻る。

また、超解像合成が設定されている場合には、第１実施形態と同様に、光軸を微移動させながら撮影を行う（Ｓ１３１Ｙｅｓ、Ｓ１３３、Ｓ１３５）。撮影を行うと、基本画像処理と高圧縮を行う（Ｓ１３７Ｂ）。ここでは、ステップＳ１１５Ｂと同様に、取得した画像データに対して、基本画像処理部１０９ｂが基本画像処理を行い、この画像データを画像圧縮部１０９ｆが高圧縮で画像圧縮処理を行い、画像圧縮した画像データをＳＤＲＡＭ１２７に一時記憶させる。高圧縮を行うと所定枚数に達したか否かを判定し（Ｓ１３９）。達していない場合には、ステップＳ１３３に戻る。

ステップＳ１１７、Ｓ１２９、Ｓ１３９における判定の結果、所定枚数に達すると、次に、ステップＳ１５１以下において画像合成を行う。まず、撮影モードとしてＨＤＲ合成が設定されている場合には（Ｓ１５１Ｙｅｓ）、まず、画像伸張を行う（Ｓ１５３Ｂ）。ここでは、ＳＤＲＡＭ１２７に一時記憶されている基準画像と合成用画像の画像データを読み出し、合成用画像の画像データに対し高伸張率で画像伸張を行い、基準画像の画像データに対し低伸張率で画像伸張を行う。合成用画像の画像データは、前述したように高画像圧縮によりデータ量を減らしてデータ記憶していることから、このステップでは高伸張率で画像伸張部１０９ｇが画像伸張処理を行う。また基準画像の画像データは低画像圧縮で圧縮されていることから、このステップでは低伸張率で画像伸張を行う。

画像伸張を行うと、位置合わせを行い（Ｓ１５５）、ＨＤＲ合成を行い（Ｓ１５７）、所定枚数に達したか否かを判定し（Ｓ１５９）、達していない場合には、ステップＳ１５３Ｂに戻る。

また、撮影モードとし深度合成が設定されている場合には（Ｓ１６１Ｙｅｓ）、まずステップＳ１５３Ｂと同様に、画像伸張を行う（Ｓ１６３Ｂ）。ここでは、ＳＤＲＡＭ１２７に一時記憶されている基準画像と合成用画像の画像データを読み出し、低伸張率または高伸張率で画像伸張部１０９ｇが画像伸張を行う。画像伸張を行うと、位置合わせを行い（Ｓ１６５）、深度合成を行い（Ｓ１６７）、所定枚数に達したか否かを判定し（Ｓ１６９）、達していない場合には、ステップＳ１６３Ｂに戻る。

また、撮影モードとし超解像合成が設定されている場合には（Ｓ１７１Ｙｅｓ）、まずステップＳ１５３Ｂと同様に、画像伸張を行う（Ｓ１７３Ｂ）。ここでは、ＳＤＲＡＭ１２７に一時記憶されている基準画像と合成用画像の画像データを読み出し、低伸張率または高伸張率で画像伸張部１０９ｇが画像伸張を行う。画像伸張を行うと、位置合わせを行い（Ｓ１７５）、超解像合成を行い（Ｓ１７７）、所定枚数に達したか否かを判定し（Ｓ１７９）、達していない場合には、ステップＳ１７３Ｂに戻る。

このように、本発明の第３実施形態においては、基準画像データは低圧縮率で画像圧縮を行い一時記憶するが（図１２のＳ１０３Ｂ）、基本画像処理を行った合成用画像データは高圧縮率で画像圧縮を行ってから一時記憶している（図１３のＳ１１５Ｂ、Ｓ１２７Ｂ、Ｓ１３７Ｂ）。そして、画像合成する際には、画像圧縮した画像データは、画像伸張してから、ＨＤＲ合成等、各種の画像合成が行われる。このため、多数の合成用画像データを記憶することが可能となり、合成画像の画質を向上させることができる。

なお、本実施形態においては、基準画像データを低圧縮率で画像圧縮していたが、画像圧縮を行わないままで、ＳＤＲＡＭ１２７に一時記憶するようにしても構わない。この場合には、画像伸張の必要がない。

以上説明したように、本発明の各実施形態においては、被写体を撮像して基準画像の画像データを生成し（例えば、図４のＳ１０１、Ｓ１０３）、被写体を撮像して合成用画像の画像データを生成し（例えば、図４のＳ１１３、Ｓ１２５、Ｓ１３５）合成用画像の画像データを基準画像の画像データよりデータ量の少なくなるようにデータ量を削減し（例えば、図４のＳ１１５、Ｓ１２７、Ｓ１３７、図６）、基準画像の画像データと合成用画像の画像データを用いて、画像データの合成を行い、合成画像データを生成している（例えば、図５のＳ１５７、Ｓ１６７、Ｓ１７７）。このように、複数の画像を合成する際に、基準となる画像データよりも、合成する画像データのサイズを小さくしてメモリ（例えば、図１のＳＤＲＡＭ１２７）に一時記憶する。この結果、限られた容量のメモリ内において多くの撮影画像を記憶でき、同じ容量のメモリで比較すると、より高品位の合成画像を実現できる。

なお、本発明の各実施形態においては、ＲＡＷ圧縮データ等の画像データはＳＤＲＡＭ１２７に一時記憶したが、記憶媒体１３７やフラッシュメモリ１２３に一時記憶するようにしてもよい。ＲＡＷデータで合成処理が終わってから、基本画像処理を行う実施形態と、逆に基本画像処理後に合成処理を行う実施形態があるが、ＲＡＷデータで合成処理を行うか、基本画像処理後の画像データで合成処理を行うかは適宜選択してもよい。

また、本発明の第１および第２実施形態においては、基準画像の画像データは、データ量の削減を行っていなかったが、合成用画像のデータ量よりは低削減率（非可逆な削減方法の場合であれば合成用画像よりも高画質の状態）であれば、基準画像の画像データのデータ量を削減してもよい。

また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数の画像データを合成する撮影のための機器であれば、本発明を適用することができる。また、撮影機器で撮影した複数の画像データを合成する画像合成装置であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０８・・・ＲＡＷデータ圧縮部、１０９・・・画像処理部、１０９ａ・・・ＲＡＷデータ伸張部、１０９ｂ・・・基本画像処理部、１０９ｃ・・・画像合成部、１０９ｄ・・・ダウンサンプル処理部、１０９ｅ・・・アップサンプル処理部、１０９ｇ・・・画像伸張部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮部、１１７・・・画像伸張部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ１３５・・・表示パネル、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ

Claims (13)

1. 被写体を撮像して画像データを出力する撮像部と、
   上記画像データから基準画像データを生成する基準画像生成部と、
   上記画像データのデータ量を削減し、上記基準画像データよりデータ量の少ない合成用画像データを生成する画像データ量削減部と、
   上記基準画像データと上記合成用画像データを用いて画像データの合成を行い、合成画像データを生成する画像合成部と、
   を有することを特徴とする撮像装置。
2. 上記画像データ量削減部は、上記画像データのビット精度を低下させることを特徴とする請求項１に記載の撮像装置。
3. 上記画像データ削減部は、テーブルまたは折れ線による階調変換部を含み、上記画像データに対して階調変換することを特徴とする請求項２に記載の撮像装置。
4. 上記画像データ削減部は、上記画像データを符号化して圧縮する圧縮部を含むことを特徴とする請求項１に記載の撮像装置。
5. 上記圧縮部は非可逆圧縮を行うことを特徴とする請求項４に記載の撮像装置。
6. 上記画像データ削減部は、色差信号のデータ量を削減することを特徴とする請求項１に記載の撮像装置。
7. 上記画像合成部は、被写界の深度を深くする合成およびダイナミックレンジを広げる合成の内の少なくとも１つを行うことを特徴とする請求項１に記載の撮像装置。
8. 上記基準画像データは、上記画像合成部において合成を行う複数の画像データの内、最初に撮像された画像データ、またはピントの合っている画像データ、または適正露出で撮影された画像データのいずれかであることを特徴とする請求項１に記載の撮像装置。
9. 上記合成画像データを記録する画像記録部を有し、
   上記データ量削減部によってデータ量が削減された合成用画像データを用いて、上記合成画像データを生成した場合には、上記合成画像データに削減情報を添付の上、上記画像データ記録部に記録することを特徴とする請求項１に記載の撮像装置。
10. 上記画像データ量削減部は、画像データのデータ量に応じて、または上記撮像装置から外部へ送信する際の送信先の条件に応じて、画像データのデータ削減量を変更することを特徴とする請求項１に記載の撮像装置。
11. 上記画像データ量削減部は、非可逆な方式によりデータ量を削減することを特徴とする請求項１に記載の撮像装置。
12. 被写体を撮像して基準画像の画像データを生成し、
    被写体を撮像して合成用画像の画像データを生成し、
    上記合成用画像の画像データを上記基準画像の画像データよりデータ量の少なくなるようにデータ量を削減し、
    上記基準画像の画像データと上記合成用画像の画像データを用いて、画像データの合成を行い、合成画像データを生成する、
    ことを特徴とする撮像方法。
13. 被写体を撮像して基準画像の画像データを生成し、
    被写体を撮像して合成用画像の画像データを生成し、
    上記合成用画像の画像データを上記基準画像の画像データよりデータ量の少なくなるようにデータ量を削減し、
    上記基準画像の画像データと上記合成用画像の画像データを用いて、画像データの合成を行い、合成画像データを生成する、
    ことをコンピュータに実行させることを特徴とするプログラム。