JP2015179909A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な画像処理装置及びその制御方法において、ＲＡＷ画像の現像パラメータの設定を容易にする。
【解決手段】 撮影時には、ＲＡＷ画像データを簡易現像処理した画像データをＲＡＷ画像とともに記録し、その後、ＲＡＷ画像データを高画質現像処理した画像データを生成して簡易現像した画像データを置き換える。撮影時に、ＲＡＷ画像データに対して複数の異なる現像パラメータを用いて複数の画像データを生成し、ＲＡＷ画像データと関連付けて記録する。ユーザが選択した画像データに対応する現像パラメータを、その後ＲＡＷ画像データの高画質現像処理に用いる現像パラメータとする。
【選択図】 図１

Description

本発明は、撮像装置及びその制御方法に関し、特に、動画又は静止画のＲＡＷ画像を扱う技術に関する。

従来、撮像センサを用いる撮像装置では、撮像センサによって得られる画像情報（ＲＡＷ画像）にいわゆる現像処理を適用し、現像処理された輝度信号及び色差信号を圧縮符号化してＪＰＥＧ形式で記録媒体に記録するのが一般的である。現像処理には、各画素について色補間処理を行って輝度と色差からなる信号を生成するデモザイク処理、信号に対するノイズ低減処理、ホワイトバランス処理、光学的な歪を補正する処理、画像の適正化処理などが含まれるが、これらに限定されない。

一方、ＲＡＷ画像を記録できる撮像装置も存在する（特許文献１）。ＲＡＷ画像はＪＰＥＧ形式などと比較して記録に必要なデータ量が膨大になるが、画質の劣化を最低限に抑えながら柔軟な後編集が可能であるという利点がある。また、特許文献１には、ＲＡＷ画像の現像処理に用いるための現像パラメータをＲＡＷ画像と共に記録することが記載されている。

特開２０１１−２４４４２３号公報

近年、撮像センサの進歩により、画像１枚あたりの画素数が大幅に増加している。そのため、ＲＡＷ画像の現像処理に必要な処理量も増大し、撮影と並行したリアルタイムの現像処理を実現するには処理能力の高いハードウェアが必要となる。一般に、処理能力が高いハードウェアは回路規模と消費電力の少なくとも一方が増加する傾向にあるが、実装可能なハードウェアは実装可能面積、消費電力、コストなどの制約を受ける。その結果、撮像装置の性能（例えば連写性能）が現像処理能力に左右されることも起こりうる。

ＲＡＷ画像を現像せずに記録する構成とすれば、リアルタイムで現像処理が可能かどうかは問題にならないが、記録するデータ量が大きくなるため、バッファ量を増やす必要があるかもしれない。また、撮影結果を確認するには現像処理が必要であるが、ＲＡＷ画像のデータ形式はメーカ固有であるため、撮影した撮像装置とは異なる機器では適切な現像処理ができない場合があり、ユーザの利便性を損なうおそれがある。

このように、従来、高い撮影能力と撮影画像の高速な再生とを可能にするには、処理能力の高い、高コストかつ高消費電力の回路を搭載して高出力で駆動できるようにするか、記録されたＲＡＷ画像を高速に再生できるようにしなければならなかった。

また、ＲＡＷ画像を記録する事により、ユーザは後から様々な現像パラメータを設定して現像処理を行う事が可能となる。しかし、所望の現像結果を得るための現像パラメータの設定は一般的なユーザにとって必ずしも容易でない。

本発明はこのような従来技術の課題の少なくとも１つを改善するためになされたものである。本発明の目的は、高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な画像処理装置及びその制御方法において、ＲＡＷ画像の現像パラメータの設定を容易にすることにある。

上述の目的は、撮影指示に応答して被写体像のＲＡＷ画像データを生成する撮像手段と、ＲＡＷ画像データに対して第１の現像処理または第１の現像処理よりも高画質な画像が得られる第２の現像処理を行って画像データを生成する現像手段と、記録媒体にデータを読み書きする記録手段と、ＲＡＷ画像データとＲＡＷ画像データに第１の現像処理を行って得られた第１の画像データを記録媒体に書き込むように記録手段を制御し、その後、記録媒体に書き込まれたＲＡＷ画像データに第２の現像処理を行って第２の画像データを生成して記録媒体に書き込むように現像手段および記録手段を制御する制御手段と、を有し、制御手段はさらに、複数の異なる現像パラメータを用いてＲＡＷ画像データから複数の第３の画像データを生成するように第１の現像手段もしくは第２の現像手段を制御し、複数の第３の画像データのうち、ユーザが選択した画像データに対応する現像パラメータを、ＲＡＷ画像データが記録媒体に書き込まれた後に行われるＲＡＷ画像データの現像処理で用いる現像パラメータとして決定する、ことを特徴とする撮像装置によって達成される。

本発明によれば、高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な画像処理装置及びその制御方法において、ＲＡＷ画像の現像パラメータの設定を容易にすることができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図 実施形態に係る撮像装置の、パラメータ静止画撮影モードおよびパラメータ動画撮影モードにおける動作の概要を模式的に示した図 実施形態に係る撮像装置のパラメータ静止画撮影モードにおける動作を説明するためのフローチャート 実施形態に係る撮像装置がパラメータ静止画撮影モードで記録する情報の例を示す図 実施形態に係る撮像装置のパラメータ動画撮影モードにおける動作を説明するためのフローチャート 実施形態に係る撮像装置がパラメータ動画撮影モードで記録する情報の例を示す図 実施形態に係る撮像装置の静止画再生モードにおける動作を説明するためのフローチャート 実施形態に係る撮像装置が表示する現像パラメータ選択画面の例を示す図 実施形態に係る撮像装置の動画再生モードにおける動作を説明するためのフローチャート 実施形態に係る撮像装置のアイドル状態における動作を説明するためのフローチャート 実施形態に係る撮像装置の後現像処理後の情報の例を示す図

以下、添付図面を参照しながら、本発明の例示的な実施形態を詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置の機能構成例を示すブロック図である。これらの機能ブロックは、ＡＳＩＣなどの専用ハードウェアによって実現されてもよいし、ＭＰＵ等の汎用プロセッサがプログラムを実行することによりソフトウェア的に実現されてもよい。

図１に示した撮像装置１００は、被写体像を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理して表示する機能や、画像データを外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することもできる。

図１において、制御部１６１は、ＣＰＵ、ＭＰＵなどのプログラマブルプロセッサと、プログラマブルプロセッサが実行する制御プログラムを格納する不揮発性メモリを含み、撮像装置１００の全体の処理を制御する。なお、図１では煩雑さを避けるために一部しか記載していないが、制御や通信を行うための信号線が制御部１６１から各機能ブロックに接続されている。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、制御部１６１は検出した操作に応じた動作が実行されるように他の機能ブロックなどを制御する。表示部１２３は、表示処理部１２２を通じて提供される、撮像装置１００で撮影もしくは再生された画像や、メニュー画面、各種情報等を表示する。表示部１２３は例えば液晶ディスプレイ（ＬＣＤ）等を含む。

撮像対象となる被写体像は、撮像光学部１０１を介して撮像センサ部１０２上に結像する。操作部１６２による撮影開始の指示に応答して制御部１６１は撮影および記録動作を開始させる。なお、撮影スタンバイ時にライブビュー表示を実現するための動画撮影を行うように構成してもよい。撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１からの被写体情報に基づいて、制御部１６１によって制御される。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであってよい。本実施形態の撮像センサ部１０２は、例えば横８０００画素×横４０００画素の画像データを６０フレーム毎秒で出力する能力を有するものとする。なお、カラーフィルターを構成する色や配列は例えば原色ベイヤー配列であってよいが、他の任意の配列を採用することができる。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像データを、未現像の画像を意味するＲＡＷ画像データという。

センサ信号処理部１０３から出力されたＲＡＷ画像データは、現像部１１０で現像処理される。現像部１１０は、複数（本実施形態では２つ）の異なる現像処理部を有し、それぞれ、処理精度と処理負荷の優先度が異なっている。本実施形態では、第１の現像処理を行う簡易現像部１１１と、第２の現像処理を行う高画質現像部１１２とから構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理もしくは色補間処理とも呼ばれる）、ホワイトバランス調整、ＲＧＢ→ＹＵＶ変換、ノイズ低減、光学歪の補正などの現像処理を行う。なお、これらは現像処理に含まれる処理の例示であり、これらの全てが現像処理に必須であることを意味しない。他の処理が含まれてもよいし、一部が含まれなくてもよい。

高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行う。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きい。他方、簡易現像部１１１は、ＲＡＷ画像データの１画面の画素数を、例えば横２０００画素×縦１０００画素に縮小する。更に、簡易現像部１１１は、高画質現像部１１２よりも処理の精度が低いため、得られる画質は高画質現像部１１２よりも低いものの、撮影中に高速に現像処理を行うことができる。このように、簡易現像部１１１は、ＲＡＷ画像データよりも画素数が少ない画像データを処理し、更に、処理自体も簡易的に行うことで、処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられ、簡易現像部１１１または高画質現像部１１２の一方の出力を後段のブロックに供給する。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成としてもよい。また、複数の現像部は互いに処理負荷が異なればよく、処理する画像のサイズと処理精度の両方を下げることは必須ではない。例えば、処理する画素数は同一であるが、処理精度が異なっている現像部や、処理精度は同一であるが処理する画素数が異なっている現像部が含まれていてもよい。ただし、撮影された画像の現像処理が、次の画像の撮影開始までに完了できる現像部が少なくとも１つ含まれるようにする。

なお、図１ではセンサ信号処理部１０３からのＲＡＷ画像データが現像部１１０の中の簡易現像部１１１と高画質現像部１１２に入力されるように図示しているが、これは同一のＲＡＷ画像データに対して両方の現像部で現像処理を行うことを意味していない。処理負荷の観点から、基本的には１つの現像部だけが現像処理を実行する。従って、ＲＡＷ画像データが入力される現像部を切り替えるようなスイッチ部１２１がさらに設けられても良い。

現像部１１０によって現像処理された画像データは、表示処理部１２２によって所定の処理がなされた後、表示部１２３にて表示される。また、現像処理された画像データは、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給される。評価値算出部１０５は、画像データから例えばフォーカス状態や露出状態などの評価値を算出する。これらの評価値は例えば制御部１６１による自動焦点検出や自動露出制御に用いられる。

現像部１１０によって現像処理された画像データは、認識部１３１にも供給される。認識部１３１は、画像データ中の被写体情報を検出及び認識する機能を有する。認識部１３１は例えば、画像データによって表される画像に含まれる人物の顔を検出し、検出された場合は顔の位置や大きさなどを示す情報を出力する。認識部１３１はさらに顔などの特徴情報に基づいて特定の人物の認証などを行ってもよい。

現像部１１０によって現像処理された画像データは、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４１を用いる。符号化手段としての静止画圧縮部１４１は、ＪＰＥＧ等の公知の符号化方式に従い静止画データを符号化する。画像データを動画として圧縮する場合は、動画圧縮部１４２を用いる。動画圧縮部１４２は、Ｈ．２６４、Ｈ．２６５等の公知の符号化方式に従って動画データを符号化する。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像データを高能率符号化（圧縮符号化）し、情報量が圧縮された画像データを生成して、記録再生部１５１に送る。

現像パラメータ生成部１１７は、現像部１１０によって現像処理された画像データや、認識部１３１の認識結果に基づき、現像パラメータを生成する。具体的には、現像パラメータ生成部１１７は、画像データから撮影時の光源（の色温度）を推定し、ホワイトバランス値を決定したり、認識部１３１により認識された被写体の領域に対する補正の要否や補正範囲などを決定したりする。例えば認識部１３１が被写体として人物や動物の顔を検出および認識する場合、現像パラメータ生成部１１７は、顔領域について赤目の発生有無を判定し、判定結果に応じて赤目補正処理の要否や補正を行う目領域などを決定することができる。

また、現像パラメータ生成部１１７は、簡易現像部１１１用の現像パラメータと、高画質現像部１１２用の現像パラメータを生成する。上述の通り、簡易現像部１１１はその構造上、処理量が非常に多い現像処理（例えばノイズリダクション処理等）を実行することが困難である。そのため、現像パラメータ生成部１１７は、高画質現像部１１２と簡易現像部１１１のそれぞれに適した現像パラメータを生成する。また、操作部１６２により、後述するパラメータ撮影モードが設定されていた場合、現像パラメータ生成部１１７は、１つの画像データに対して複数種類の現像パラメータを自動的に生成する。

パラメータ撮影モードにおいて、現像パラメータ生成部１１７は、現像処理された画像データから例えば逆光状態を判定した場合には、ブラケット撮影のように露出量を異ならせた現像結果が得られるような複数の現像パラメータを生成することができる。また、現像パラメータ生成部１１７は、画像内の合焦位置を評価値算出部１０５の評価結果から判定し、合焦位置付近を拡大するような現像パラメータを生成することができる。これらは単なる例示であり、現像パラメータ生成部１１７は他の条件に基づく現像パラメータを生成可能であるが、撮影された画像データに基づいた現像パラメータを自動的に行うことができる。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３から出力されたＲＡＷ画像データにウエーブレット変換や、差分符号化等を適用し、データ量を削減した圧縮ＲＡＷデータを生成する。ＲＡＷ圧縮部１１３は、圧縮ＲＡＷデータをバッファ部１１５に格納する。バッファ部１１５はメモリやＨＤＤなど、任意の記憶装置であってよい。圧縮ＲＡＷデータは、バッファ部１１５に保存しておいてもよいし、格納後にさらに別の記録媒体に移動させてバッファ部１１５から削除してもよい。

記録再生部１５１は、静止画圧縮部１４１からの静止画データや、動画圧縮部１４２からの動画データを記録媒体１５２に記録する。また記録再生部１５１は、バッファ部１１５から読み出したＲＡＷデータの状態の静止画および動画データを、圧縮後の静止画並びに動画データとは別個のＲＡＷファイルとして記録媒体１５２に記録する。また記録再生部１５１は、記録媒体１５２に記録されたデータを、ＦＡＴ等の公知のファイルシステムに従いファイルとして管理する。記録媒体１５２は、例えば内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。また、記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイル（静止画、動画）を読み出すこともできる。また、記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種データファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を通じ、無線通信や有線通信によりコンピュータネットワークや外部機器へのアクセスを撮像装置１００に提供する。通信端子１５４として、Ｅｔｈｅｒｎｅｔ（登録商標）やＵＳＢ等の有線端子の他、ＩＥＥＥ８０２．１１ｘやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線端子を用いることができる。

記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮ＲＡＷデータを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷデータは、現像部１１０の簡易現像部１１１、高画質現像部１１２に供給される。

静止画ＲＡＷ抽出部１１６は、後述するパラメータ動画撮影モードでの動画撮影時に、動画データから所定のフレーム画像を抽出し（切り出し）、現像部１１０の簡易現像部１１１、高画質現像部１１２に供給する。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２に供給する。表示処理部１２２で処理された静止画や動画は、表示部１２３で表示される。

次に、パラメータ撮影モードにおける撮像装置１００の動作について詳細に説明する。 図２（ａ）および（ｂ）は、パラメータ静止画撮影モードおよびパラメータ動画撮影モードにおける撮像装置１００動作の概要を、データと処理との関係を用いて模式的に示した図である。
パラメータ静止画撮影モードでは、１つのＲＡＷ静止画ファイル３０１に対し、デフォルト現像パラメータを用いるデフォルト現像処理３１１と、デフォルト現像パラメータとは異なる現像パラメータを用いるパラメータ現像処理３１２とを実行する。デフォルト現像処理３１１によって１つのデフォルト静止画ファイル３２１（第１の画像データ）が生成される。一方、互いに異なる現像パラメータを用いたパラメータ現像処理３１２が複数回実行され、対応するパラメータ静止画ファイル３２２（第３の画像データ）が生成される。

パラメータ静止画撮影モードにより、様々な現像パラメータで現像された静止画像を撮影終了直後に入手する事が可能となる。そのため、ＲＡＷデータの現像処理に対する理解の浅いユーザにおいても、現像された画像を比較しながら好みに応じた現像画像を入手するための現像パラメータ設定が可能となる。

パラメータ動画撮影モードでは、１つのＲＡＷ動画ファイル４０１に対し、デフォルト現像パラメータを用いるデフォルト現像処理４１１を行い、デフォルト動画ファイル４２１（第１の画像データ）を作成する。また、フレーム切り出し処理４０２によりＲＡＷ動画ファイル４０１中の所定のフレームからＲＡＷ静止画ファイル４０３（代表フレーム画像）を生成する。この処理は静止画ＲＡＷ抽出部１１６が行う。そして、このＲＡＷ静止画ファイル４０３に対してデフォルト現像処理４１２とパラメータ現像処理４１３とを実行して、１つのデフォルト静止画ファイル４２２および複数のパラメータ静止画ファイル４２３（第３の画像データ）を生成する。

動画データは静止画データよりデータ量が遙かに大きいため、異なる現像処理を動画データ全体に対して実施することは撮像装置１００に搭載する集積回路の規模や消費電力の観点から現実的ではない。そのため、パラメータ動画撮影モードにおけるパラメータ現像処理は、動画ファイルから切り出したフレーム画像（静止画）について実施するようにしている。なお、パラメータ現像処理を適用するフレーム画像は、先頭フレーム、シーンチェンジ直後のフレームなどの特徴的なフレーム画像や、所定時間またはフレーム数ごとに抽出するなど、様々な条件で抽出することができる。また、所定数のフレーム画像を連続的に取得して、短い動画の様な形式で抽出してもよい。

また、デフォルト現像処理についてもパラメータ現像処理と同じフレーム画像について実施する。このように、動画撮影時においても静止画に対する現像結果を生成することで、様々な現像パラメータによる現像結果を撮影後すぐに比較でき、ユーザの好みに応じた現像結果を得るための現像パラメータ設定が可能となる。

なお、パラメータ撮影モードが設定されていない場合（通常撮影モード）では、静止画撮影時も動画撮影時もデフォルト現像処理のみを実施し、デフォルト静止画ファイル３２１およびデフォルト動画ファイル４２１を生成する。

次に、上述したパラメータ静止画撮影モードにおける撮像装置１００の具体的な動作について、図３のフローチャートを用いて説明する。図３のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

制御部１６１は撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ５０１）、負荷状況に応じてアイドル状態（Ｓ５２０）へ遷移させ、そうでなければＳ５０２へ処理を進める。負荷状態は制御部１６１が有するＣＰＵの稼働率や、予め定められた高負荷の動作、例えば高速連写動作が行われているかどうかなどに応じて判別することができるが、これらに限定されない。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をＳ５０２へ進める。なお、アイドル状態へ移行するかどうかの判定処理については後述する。

Ｓ５０２において制御部１６１は、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、制御部１６１は、操作部１６２を通じたユーザのズーム指示や撮影準備指示に従って、撮像光学部１０１に含まれるズームレンズやフォーカスレンズを移動させたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域を設定したりする。また、制御部１６１は、評価値算出部１０５からの評価値の情報や認識部１３１からの被写体情報に基づいて、特定被写体に対する合焦や追尾などの制御を実現する。Ｓ５０２では、所定のフレーム周期に応じた撮影条件で撮影が実施される。

Ｓ５０３では、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。例えば、センサ信号処理部１０３は、撮像素子の欠落画素に対応する電気信号や、信頼性の低い画素の電気信号に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ５０３の処理を終えて、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と呼ぶ。

Ｓ５０４において、簡易現像部１１１がＲＡＷ画像データを現像処理する。このときに用いられる現像パラメータは、現像パラメータ生成部１１７により生成されるデフォルトパラメータであり、一般的な撮像装置で算出されるような自動ホワイトバランス処理や自動露出処理等を行った結果に基づく現像パラメータである。なお、制御部１６１は、遅くともＳ５０４の開始時までに、現像部１１０から簡易現像部１１１で現像処理された画像データが出力されるようにスイッチ部１２１の状態を制御する。

簡易現像部１１１は、ＲＡＷ画像データの画素数を前述のように削減し、画像を縮小する。そして、簡易現像部１１１は、縮小ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）して各画素に不足している色信号を生成したのち、輝度と色差から成る信号へ変換する（ＲＧＢ→ＹＵＶ変換）。さらに簡易現像部１１１は、各信号に含まれるノイズを除去したり、撮影光学系の光学歪（収差）を補正したり、ホワイトバランスを調整したりする。上述の通り簡易現像部１１１は、画素数を削減してから現像処理したり、ノイズ除去や光学歪補正を処理速度を優先した処理で行ったり省いたりすることで、現像処理の負荷（処理速度や消費電力）が撮像装置１００の撮影能力に与える制限を軽減または除去する。簡易現像部１１１を用いることで、例えば、高画質現像部１１２を用いた場合には不可能な高速連写速度や連続撮影枚数などを実現することができる。

簡易現像部１１１で現像処理された画像データは、スイッチ部１２１を通じて評価値算出部１０５に供給される。評価値算出部１０５は、画像データに含まれる輝度値やコントラスト値などから撮像光学部１０１の合焦状態や、画像の露出状態などの評価値を所定の方法で算出する（Ｓ５０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データに対してこれらの評価値を算出しても良い。

また、簡易現像部１１１で現像処理された画像データは、スイッチ部１２１を経由して認識部１３１に供給される。認識部１３１は、画像データに対し、予め定められた特定の特徴を有する被写体（例えば人物の顔）の検出処理を適用し、被写体情報を生成する。例えば、画像データ内における顔の有無や、顔の位置や大きさ、顔に基づいて認識された個人の情報などを被写体情報として出力する（Ｓ５０６）。

また、簡易現像部１１１で現像処理された画像データは、スイッチ部１２１を経由して表示処理部１２２に供給される。表示処理部１２２は、取得した画像データから表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ５０７）。表示部１２３による表示画像は例えば、撮影待機状態において、ユーザが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される評価値や被写体情報を活用して、例えば、表示画像に合焦領域や認識された顔の位置を示す枠状のマークを重畳表示したりしてもよい。

Ｓ５０８において、制御部１６１は、操作部１６２を通じてユーザから撮影指示が入力されたか判定し、撮影指示の入力が無かった場合はＳ５０１からの処理を繰り返す。

Ｓ５０８で撮影指示が入力された場合、制御部１６１は撮影指示に応答して、撮像光学部１０１、撮像センサ部１０２を制御して所定の撮影条件での撮影を開始させる。撮像センサ部１０２で得られた１画面分の画像データはセンサ信号処理部１０３を通じて現像部１１０に供給されて簡易現像部１１１で現像処理されたのち、静止画圧縮部１４１に供給される。また、撮像センサ部１０２で得られた１画面分の画像データはＲＡＷ圧縮部１１３にも供給される。そして、制御部１６１は、処理をＳ６１０へ進める。

Ｓ６１０において制御部１６１は、ブラケット撮影を追加で行う必要性の有無を判定する。ブラケット撮影が必要と判定されるのは、１つの撮影条件では適切な画像が得られにくいと考えられる場合であり、例えば以下の様な場合である。（１）シーンの明暗差が閾値より大きく、黒つぶれや白とびが発生すると判断される場合。（２）認識部１３１が認識した複数の被写体が近くと遠くに存在する場合。（１）の場合は露出のブラケット撮影、（２）の場合は合焦距離のブラケット撮影が必要と判定される。もちろん、他の条件に基づいて、他のブラケット撮影の必要性が判定されてもよい。
ブラケット撮影が必要であると判定された場合、制御部１６１は判定結果に従ったブラケットモードを選択し（Ｓ６１１）、ブラケット撮影処理を行う（Ｓ６１２）。ブラケット撮影で得られた１画面分の画像データも、センサ信号処理部１０３を通じて現像部１１０およびＲＡＷ圧縮部１１３に供給される。

Ｓ６１３において、簡易現像部１１１により現像された現像画像と、評価値算出部１０５の評価値、認識部１３１の認識結果から、現像パラメータ生成部１１７で所定数（本実施形態においては６種類とする）の現像パラメータを作成する。また、６種類のうち、第１の現像パラメータについてはＳ５０４で生成された現像パラメータを利用し（デフォルト現像パラメータ）、第２から第６の現像パラメータについては現像パラメータ生成部１１７で新規に生成するものとする。第２から第６の現像パラメータについては、第１の現像パラメータのような、実際の被写体の情報を忠実に再現することを目的としたものでなくても良い。例えば、モノクロ画像を得るための現像パラメータや、特定の色情報を残すような現像パラメータや、撮影画像の一部分をクロップするような現像パラメータであっても良い。

Ｓ６１３で生成された第１から第６の現像パラメータを用い、Ｓ６１４では簡易現像部１１１が簡易静止画データを生成する。なお第１の現像パラメータにおける簡易現像静止画像については、Ｓ５０４で生成したものを利用しても良い。静止画圧縮部１４１は、簡易現像部１１１により現像した画像データに対して高能率符号化処理を施し、静止画ファイルを生成する（Ｓ６１５）。なお、静止画圧縮部１４１は、ＪＰＥＧ等の公知の静止画圧縮技術を用いて圧縮を行う。本実施形態では、このように、撮影時において、簡易現像部１１１により現像され、静止画圧縮部１４１で符号化された静止画データを簡易静止画データ（第１の画像データ）、簡易静止画データを含んだデータファイルを簡易静止画ファイルと呼ぶ。なお、符号化方法はＪＰＥＧ方式に限らず、任意のものが使用可能である。

次にＳ６１６において、記録再生部１５１が第１〜第６の簡易静止画ファイルと、現像パラメータを関連付けて記録媒体１５２に記録する。

上述の通り、撮像センサ部１０２で得られた１画面分のＲＡＷ画像データは、さらにＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、ＲＡＷ画像データにデータ量を削減するための符号化（ＲＡＷ圧縮）処理を適用して圧縮ＲＡＷ画像データに変換する（Ｓ６１７）。圧縮ＲＡＷ画像データはバッファ部１１５に格納される。なお、ＲＡＷ圧縮部１１３が行う高能率符号化はウェーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でもよい。更に、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮状態のまま出力されてもよい。ＲＡＷ圧縮の有無にかかわらず、本実施形態では、センサ信号処理部１０３から供給される画像情報を大きく損なわない、高画質な画像を生成可能なＲＡＷ画像データを生成する。

Ｓ６１８において、記録再生部１５１は、バッファ部１１５から画像データを読み出し、（圧縮）ＲＡＷ画像データが格納されたデータファイル（ＲＡＷファイル）を記録媒体１５２に記録する。

なお、簡易静止画データの生成および記録処理（Ｓ６１３〜Ｓ６１６）と、ＲＡＷ画像データの圧縮および記録処理（Ｓ６１７〜Ｓ６１８）の少なくとも一部は並列処理されてよい。また、Ｓ６１５及びＳ６１８において、記録再生部１５１は、静止画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

Ｓ６１９において制御部１６１は、記録した画像の確認表示時に、ユーザから現像パラメータの選択を受け付け、画像ファイルを特定する情報（例えばファイル名）と関連付けて選択情報をバッファ部１１５に記憶したのちに処理をＳ５０１へ戻す。Ｓ６１９においては後述する再生モードと同様に、６つの現像パラメータを用いて簡易現像した結果を一覧表示し、操作部１６２を通じてユーザに画像を選択させることで現像パラメータの選択を受け付けることができる。なお、選択情報は記録媒体１５２に記録してもよい。連写時等、現像パラメータを選択する時間が無い場合は、デフォルト現像パラメータが選択される。ここで選択された現像パラメータは、再生時や後述する後現像時に用いられる。

また、ブラケット撮影を行った場合には、得られた複数枚の画像データを用いた処理、例えば露出ブラケット撮影により取得された複数枚の画像を用いたＨＤＲ画像の生成といった処理を行うこともできる。しかし、簡易現像部１１１でＨＤＲ画像を生成するのは実行時間的に望ましくない。そこで、現像パラメータ生成部１１７は、露出ブラケット撮影がなされた場合、単一のＲＡＷ静止画像に対して適用する、コントラスト値を変更（低減）した現像パラメータを簡易現像部１１１用に生成する。また、適正露出で撮影された画像と露出ブラケット撮影で得られた画像を合成してＨＤＲ画像を生成する現像パラメータを高画質現像部１１２用に生成する。ＨＤＲ画像は元の画像よりもコントラストが低くなるので、ユーザは、高画質現像部１１２により生成される画像を、簡易現像部１１１での現像結果から推測することができる。

図４は、パラメータ静止画撮影モードで記録される情報の例を示す図である。
本実施形態の撮像装置１００は、撮影動作毎に静止画情報ＩＳを生成する。静止画情報には、１つのＲＡＷ静止画ファイルＲＩ１と選択現像パラメータ情報ＳＥに加え、Ｎ（≧２）種類の簡易現像用パラメータＬＰ１〜ＬＰＮ、高画質現像用パラメータＨＰ１〜ＨＰＮ、簡易静止画ファイルＬＩ１〜ＬＩＮが含まれる。簡易現像用パラメータＬＰＮ、高画質現像用パラメータＨＰＮ、簡易静止画ファイルＬＩＮはそれぞれ関連付けられており、簡易画像ファイルから対応する現像パラメータ（ＬＰＮ、ＨＰＮ）を容易に特定可能である。

選択現像パラメータ情報ＳＥは再生時や後述する後現像時に用いられる現像パラメータを特定する情報である。選択現像パラメータ情報ＳＥは例えば撮影直後にＳ６１９でユーザによって指定されたり、制御部１６１により自動的に決定されたりする。
なお、パラメータ静止画撮影モードでない、通常の静止画撮影モードにおいては、現像パラメータＬＰＮ、ＨＰＮ、簡易静止画ファイルＬＩＮはそれぞれ１種類ずつしか記録されない。そのため、選択現像パラメータ情報ＳＥは常に第１の現像パラメータを特定する情報となる。

次に、パラメータ動画撮影モードにおける撮像装置１００の具体的な動作について、図５のフローチャートを用いて説明する。図５のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

図５において、パラメータ静止画撮影モードと同じ動作を行うＳ５０１からＳ５０７については、説明を省略する。
Ｓ９０８において、制御部１６１は、ユーザからの記録の開始指示を受けて撮影された動画を記録中（ＲＥＣ中）であるか否かを判定し、ＲＥＣ中の場合は処理をＳ１０１０へ進める。Ｓ９０８でＲＥＣ中でない場合（すなわちスタンバイ中である場合）、制御部１６１は処理をＳ５０１へ戻して、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。

Ｓ９０８においてＲＥＣ中であると判断された場合、制御部１６１は、後現像時に用いる現像パラメータをユーザに選択させるための代表フレーム画像の高画質現像を高画質現像部１１２が実行中か否かを判断する（Ｓ１０１０）。代表フレーム画像の高画質現像を実行中である場合、制御部１６１は高画質現像部１１２で実行中の高画質現像を継続させる（Ｓ１０１５）が、高画質現像処理を実行中で無い場合は、処理をＳ１０１１へ進める。

Ｓ１０１１において制御部１６１は、同一の代表フレーム画像に対し、デフォルト現像パラメータを含む、全種類の現像パラメータに対応する現像処理が完了しているかどうかを判断する。未適用の現像パラメータがあれば、制御部１６１はその現像パラメータを選択し（Ｓ１０１２）、対応する高画質現像処理を高画質現像部１１２に行わせる（Ｓ１０１５）。

一方、未適用の現像パラメータがなければ、１つのフレーム画像に対する現像パラメータ選択用の静止画ファイルの作成が完了しているため、制御部１６１はＳ１０１３で、静止画ＲＡＷ抽出部１１６により新たな代表フレーム画像を抽出させる。なお、ここでは順次代表フレーム画像を抽出するものとしているが、上述の通り、代表フレーム画像の抽出条件は予め設定しておくことが可能であり、この条件を満たす場合にＳ１０１３へ処理を移行するようにしてもよい。

新たな代表フレーム画像を抽出した場合、制御部１６１は適用する複数の現像パラメータを現像パラメータ生成部１１７により決定し（Ｓ１０１４）、決定した現像パラメータの中から一つを選択して高画質現像部１１２に現像処理を実行させる（Ｓ１０１５）。

録画開始直後は現像パラメータが決定されていないため、Ｓ１０１１で制御部１６１は未適用の現像パラメータがないと判定する。そのため、代表フレーム画像の抽出と代表フレーム画像を現像するための現像パラメータ複数種類を、現像パラメータ生成部１１７により決定し、決定した現像パラメータの中から一つを選択して高画質現像部１１２に現像処理を実行させる。

なお、現像パラメータ生成部１１７は、新たな代表フレーム画像が抽出されるたびに現像パラメータを決定する。ただし、同一シーン内で現像パラメータが急激に変化しないよう、同一シーンから抽出された代表フレーム画像に対しては、直前に決定した現像パラメータと同一もしくはほぼ同一の現像パラメータを生成する。また、現像パラメータ生成部１１７は、前回の代表フレーム画像からシーンが急激に変化している場合は、変化に合わせて急激に現像パラメータを変化させてもよい。シーンの変化有無は、前回の代表フレーム画像と今回の代表フレーム画像との相関や平均輝度の変化によって判別することができるが、公知かつ任意の方法を用いることができる。

高画質現像部１１２による現像処理は簡易現像部１１１による現像処理よりも時間を要するので、１フレーム時間（例えば１／３０秒）内に完了しない可能性がある。そのため、制御部１６１は、Ｓ１０１６において高画質現像処理の実行状態を判別する。そして、高画質現像処理が完了していれば、高画質現像部１１２により現像処理された代表フレーム画像に対し、静止画圧縮部１４１での静止画圧縮処理（Ｓ１０１７）、記録再生部１５１での記録処理を実行する（Ｓ１０１８）。記録処理では、符号化静止画ファイルと、使用した現像パラメータの情報が関連付けられて記録される。

一方、動画記録のための処理が、Ｓ１０１９以降で実施される。簡易現像部１１１で簡易現像処理したフレーム画像が動画圧縮部１４２によって圧縮される（Ｓ１０１９）。なお、不図示のマイクロフォンによって入力された音声情報についても動画圧縮部１４２で圧縮処理を適用する。すなわち、動画圧縮部１４２は、取得した簡易現像済みの動画の画像情報及び音声情報に対して高能率符号化処理（動画圧縮）を施し、動画ファイルを生成する。なお、動画圧縮部１４２は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等の公知の動画圧縮技術を用いて圧縮処理を行う。Ｓ１０２０において、記録再生部１５１が動画圧縮部１４２の生成した動画ファイルを記録媒体１５２に記録する。

また、記録期間に撮影されたＲＡＷ画像（ＲＡＷ動画）が、センサ信号処理部１０３からＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換し、バッファ部１１５に格納する（Ｓ１０２１）。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウェーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でもよい。あるいは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮状態のままバッファ部１１５に格納されてもよい。ＲＡＷ圧縮の有無にかかわらず、本実施形態では、センサ信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。
Ｓ１０２２において、記録再生部１５１がバッファ部１１５に格納されたＲＡＷファイルを記録媒体１５２に記録すると、制御部１６１は処理をＳ５０１に戻す。

代表フレーム画像の現像及び記録処理（Ｓ１０１０〜Ｓ１０１８）、簡易現像画像を用いた動画データの圧縮及び記録処理（Ｓ１０１９〜Ｓ１０２０）、及びＲＡＷ画像データの圧縮及び記録処理（Ｓ１０２０〜Ｓ１０２２）の少なくとも一部は並列処理されてよい。また、Ｓ１０１８、Ｓ１０２０及びＳ１０２２において、記録再生部１５１は、動画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

なお、本実施形態では、代表フレーム画像の現像処理に、動画撮影時には使用されない高画質現像部１１２を用いる例を説明した。しかし、簡易現像部１１１の負荷が十分に少ない場合は、簡易現像部１１１を用いてもよい。また、高画質現像部１１２で代表フレーム画像の現像処理を行う場合でも、簡易現像部１１１と同様の品質での現像処理を行うような現像パラメータを供給してもよい。このようにすることで、現像パラメータを選択するための静止画を生成するための現像処理に要する処理を削減でき、撮像装置１００の消費電力を削減可能となる。

図６は、パラメータ動画撮影モードで記録される情報の例を示す図である。
本実施形態の撮像装置１００は、１回の動画撮影毎に静止画情報ＭＳを生成する。動画情報には、１つのＲＡＷ動画ファイルＲＭと選択現像パラメータ情報ＳＥに加え、Ｎ（≧２）種類の簡易現像用パラメータＬＰ１〜ＬＰＮ、高画質現像用パラメータＨＰ１〜ＨＰＮ、高画質静止画ファイルＬＩ１〜ＬＩＮが含まれる。簡易現像用パラメータＬＰＮ、高画質現像用パラメータＨＰＮ、高画質静止画ファイルＬＩＮはそれぞれ関連付けられており、高画質画像ファイルから対応する現像パラメータ（ＬＰＮ、ＨＰＮ）を容易に特定可能である。

選択現像パラメータ情報ＳＥは再生時や後述する後現像時に用いられる現像パラメータを特定する情報である。選択現像パラメータ情報ＳＥは例えばＳ９０８でＲＥＣ中からＲＥＣ中で無くなった際（撮影直後）にユーザによって指定されたり、制御部１６１により自動的に決定されたりする。
なお、パラメータ動画撮影モードでない、通常の動画撮影モードにおいては、ＲＡＷ動画像ＲＭ、現像パラメータＬＰＮ、ＨＰＮ、簡易動画ファイルＬＩＮがそれぞれ１種類記録され、高画質静止画ファイルは記録されない。そのため、選択現像パラメータ情報ＳＥは常に第１の現像パラメータを特定する情報となる。

図７は、本実施形態の撮像装置１００における、静止画再生モードの動作を示すフローチャートである。図７のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

静止画再生モードの処理が開始されると、制御部１６１は撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ８０１）、負荷状況に応じてアイドル状態（Ｓ８２０）へ遷移させ、そうでなければＳ８０２へ処理を進める。負荷状態は制御部１６１が有するＣＰＵの稼働率や、予め定められた高負荷の動作、例えば高速連写動作が行われているかどうかなどに応じて判別することができるが、これらに限定されない。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をＳ８０２へ進める。なお、アイドル状態へ移行するかどうかの判定処理については後述する。

なお、表示対象の静止画の決定方法に特に制限は無く、予め定められた条件で決定すれば良い。例えば一覧表示画面などからユーザに選択させてもよいし、記録媒体１５２に直近に記録された静止画であってもよい。ここでは、何らかの方法で再生対象の静止画ファイルが１つ特定されたものとする。

Ｓ８０２において制御部１６１は、表示対象の静止画ファイルについて、再生用の現像パラメータを決定する。再生用の現像パラメータの決定は様々な方法で行うことができるが、記録時に生成した簡易静止画ファイルを用いてユーザに選択させることができる。

図８は、現像パラメータ選択画面の例を示す図である。Ｓ８０２において制御部１６１は、ユーザに現像パラメータを選択させる場合、記録再生部１５１を通じて、撮像時に保存した簡易静止画ファイルを記録媒体１５２から読み出し、表示処理部１２２に供給する。表示処理部１２２は、表示部１２３に、予め定められたレイアウトで、簡易静止画ファイルの縮小画像１３０１〜１３０６を選択可能に一覧表示させる。

制御部１６１は操作部１６２を通じて縮小画像１３０１〜１３０６のいずれかの選択を検出すると、選択された画像に用いられた現像パラメータを再生用の現像パラメータとして決定する。このように、ユーザは、表示部１２３に表示された、同一画像に対して異なる現像パラメータを用いて得られた画像の中から、好みの画像を選択することで、現像パラメータを設定することができる。そのため、細かいパラメータの設定を行うことなく、希望の現像結果を得るための現像パラメータを設定することができる。また、本実施形態の特徴として、予め生成済みの静止画ファイルを用いて図８の選択画面を表示可能なため、記録後に個々の現像パラメータを用いて現像処理を行う構成よりも選択画面の表示に要する時間を大幅に短縮できる。

なお、Ｓ６１９等で現像パラメータの選択が既に完了している静止画ファイルにおいては、現像パラメータの選択処理を省略してもよい。また、現像パラメータの選択処理を行わずに、選択現像パラメータ情報ＳＥで特定される現像パラメータの使用を決定してＳ８０３へ処理を進めてもよい。ただし、再生時にユーザが現像パラメータを選択できるように、図８に示す選択画面の表示をユーザが指示するためのメニューなどを用意しておく。
なお、図８に示す選択画面を通じた現像パラメータの選択は、Ｓ６１９においてユーザに現像パラメータを選択させる場合にも行うことができる。なお、現像パラメータを選択させる場合には、選択画面において複数の画像の選択を許してもよく、この場合、選択された画像に対応する複数の現像パラメータを特定する情報が選択現像パラメータ情報ＳＥに記録される。複数の現像パラメータが選択されている場合、再生処理においても複数の画像を表示してもよいし、いずれか１つに対応した画像のみを表示してもよい。

Ｓ８０３において制御部１６１は、再生を行う静止画について、高画質な画像が必要か判定し、必要であればＳ８０４へ、必要で無ければＳ８２０へ処理を進める。本実施形態において、高画質な画像が必要な場合とは、画像の拡大表示が設定されている場合や、簡易静止画ファイルの画素数よりも表示領域の画素数が多い場合などが例示できるが、これらに限定されない。

Ｓ８０４において制御部１６１は、表示する静止画ファイルが高画質現像済みのものであるか否かを判定し、後述する後現像が適用されて既に高画質現像処理が適用されている場合はＳ８２０へ、そうでない場合はＳ８０５へ処理を進める。

Ｓ８０５において制御部１６１は、再生対象の静止画ファイルに対応するＲＡＷファイルが、バッファ部１１５に存在するか確認する。そして、制御部１６１は、バッファ部１１５にＲＡＷファイルが存在すれば処理をＳ８０７に進め、存在しなければ記録再生部１５１を通じて記録媒体１５２から読み出してバッファ部１１５に格納（Ｓ８０６）してから処理をＳ８０７に進める。バッファ部１１５には直近に撮影されたものから予め定められた数のＲＡＷファイルが保持されている。そのため、制御部１６１は再生対象の静止画ファイルに対応するＲＡＷファイルが、記録媒体１５２に記録されているＲＡＷファイルのうち、直近に撮影されたものから予め定められた数に含まれていれば、バッファ部１１５に記憶されていることが分かる。なお、記録再生部１５１から記録時のＲＡＷファイルの情報を取得し、バッファ部１１５に記憶されているＲＡＷファイルと、記録媒体１５２に記録されているＲＡＷファイルとの対応関係を保存しておいてもよい。

制御部１６１は、記録媒体１５２からＲＡＷファイルを読み出す場合、古いものから順に読みだしてバッファ部１１５に記憶する。そして、バッファ部１１５の記憶領域が一杯になった場合、最も古いＲＡＷ画像データをバッファ部１１５から削除し、新たに撮影、あるいは、記録媒体１５２から読み出されたＲＡＷ画像データをバッファ部１１５に格納する。こうすることにより、直前に撮影されたＲＡＷ画像データは常にバッファに保持されているので、Ｓ８０６をスキップし、高速に処理できる。

Ｓ８０７において、制御部１６１はＲＡＷ画像データをバッファ部１１５からＲＡＷ伸張部１１４に供給する。ＲＡＷ伸張部１１４はＲＡＷ画像データが圧縮処理されたものであれば伸張処理してＲＡＷ画像データを復元してから、一方、圧縮処理されていなければそのまま出力する。ＲＡＷ画像データが圧縮されているものかどうかは、圧縮時に例えばＲＡＷ画像データの先頭に識別可能な情報を記録しておくことなどによって判別可能である。

Ｓ８０８において制御部１６１は、Ｓ８０２で決定された現像パラメータのうち、高画質現像パラメータを、記録再生部１５１を通じて記録媒体１５２から読み出し、現像パラメータ生成部１１７によって高画質現像部１１２に設定させる。高画質現像部１１２は、ＲＡＷ伸張部１１４からのＲＡＷ画像データを、現像パラメータ生成部１１７から設定される現像パラメータを用いて現像処理する（Ｓ８０９）。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。また、高画質現像部１１２は、画像のリサイズ、拡大・縮小処理、部分的なぼかし処理等の簡易な画像補正処理を行う。高画質現像部１１２によって生成される現像処理済みの画像の画素数は、撮像センサ部１０２から読出された画素数のまま、あるいはユーザから設定された画素数となる。そのため、高画質現像部１１２からの画像データの画素数は、簡易現像部１１１から出力される画像データよりも多い。したがって、高画質現像部１１２で得られる画像は簡易現像部１１１で得られる画像とより品質が高く、拡大表示の要求などに対しても十分な画質で対応可能である。
高画質現像部１１２で得られた画像は、スイッチ部１２１を経由して表示処理部１２２に入力される。

Ｓ８０４において既に高画質現像済みの静止画ファイルがあると判断された場合、制御部１６１は記録再生部１５１を通じて記録媒体１５２から該当する静止画ファイルを読み出し（Ｓ８１０）、静止画伸張部１４３に供給する。静止画伸張部１４３は静止画ファイルを伸張（Ｓ８１１）し、表示処理部１２２に出力する。

Ｓ８１２において表示処理部１２２は、高画質現像部１１２または静止画伸張部１４３から入力された静止画像を表示部１２３等に出力する。表示が完了すると、制御部１６１は処理をＳ８０１に戻す。

図７のＳ８０５以降で行う高画質現像処理は、撮影直後など、後述する後現像が適用されていないタイミングで実施されることが想定される。本実施形態では、撮影と撮影の合間や、撮影モードやスリープ状態などユーザ操作待ちの、比較的装置の処理負荷が小さい状態の時に後述する静止画の後現像が逐次実行され、簡易現像による静止画ファイルが自然と高画質現像による静止画ファイルに置き換わる。そうして置き換えが進むに従って、Ｓ８０５以降の高画質現像は発生するケースが減少し、速やかに高画質現像を出力できるようになり、操作性が一層高まっていく。

図９は、本実施形態の撮像装置１００における、動画再生モードの動作を示すフローチャートである。図９のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

動画再生モードの処理が開始されると、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ１２０１）、負荷状況に応じてアイドル状態（Ｓ１２２０）へ遷移させ、そうでなければＳ１２０２へ進む。例えば、再生指示などのユーザ操作を待っている間は、処理負荷が低いため、Ｓ１２２０へ遷移する。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をＳ１２０２へ進める。

なお、再生対象の動画の決定方法に特に制限は無く、予め定められた条件で決定すれば良い。例えば一覧表示画面などからユーザに選択させてもよいし、記録媒体１５２に直近に記録された動画であってもよい。ここでは、何らかの方法で再生対象の動画ファイルが１つ特定されたものとする。

Ｓ１２０２において制御部１６１は、再生対象の動画ファイルの再生用の現像パラメータを決定する。再生用の現像パラメータの決定は様々な方法で行うことができるが、図８を用いて説明したようにして、記録時に生成した静止画ファイルを用いてユーザに選択させることができる。ただし、再生対象が動画であるため、選択画面に表示する縮小画像は高画質静止画ファイルＨＦ１〜ＨＦＮから生成される。なお、代表フレーム画像が複数存在する場合、デフォルト現像パラメータで現像された代表フレーム画像の一覧を表示させて、ユーザに代表フレーム画像を１つ選択させた後、対応する高画質静止画ファイルＨＦ１〜ＨＦＮを用いて図８の選択画面を表示する。

なお、現像パラメータの選択処理を行わずに、選択現像パラメータ情報ＳＥで特定される現像パラメータを用いるものと決定してＳ１２０３へ処理を進めてもよい。ただし、再生時にユーザが現像パラメータを選択できるように、図８に示す選択画面の表示をユーザが指示するためのメニューなどを用意しておく。なお、現像パラメータを選択させる場合には、選択画面において複数の画像の選択を許してもよく、この場合、選択された画像に対応する複数の現像パラメータを特定する情報が選択現像パラメータ情報ＳＥに記録される。複数の現像パラメータが選択されている場合、動画の再生処理においてはいずれか１つに対応した動画のみを表示する。例えば高画質現像済みのものを優先的に表示してもよい。

Ｓ１２０３で制御部１６１は決定した現像パラメータを用いて現像された動画が存在するかどうか判別し、存在する場合はＳ１２０７へ、存在しない場合はＳ１２０４へ処理を進める。

Ｓ１２０４において制御部１６１は、記録再生部１５１を通じて、ＲＡＷ動画ファイルＲＭと、Ｓ１２０２において決定した現像パラメータのうち、簡易現像パラメータを記録媒体１５２から読み出す。そして、制御部１６１は、ＲＡＷ動画ファイルＲＭはＲＡＷ伸張部１１４に、現像パラメータは現像パラメータ生成部１１７にそれぞれ供給する。なお、Ｓ１２０４におけるＲＡＷ動画ファイルの読み出しは、例えば１〜符号化単位（例えばＧＯＰ）に対応する数のフレームごとに行うものとする。また、現像パラメータの読み出しは、現像パラメータが変更されない限り、１度行えば良い。

Ｓ１２０５において、ＲＡＷ伸張部１１４はＲＡＷ動画データが圧縮処理されたものであれば伸張処理してＲＡＷ動画データを復元してから、一方、圧縮処理されていなければそのまま出力する。

現像パラメータ生成部１１７は、簡易現像パラメータを簡易現像部１１１に設定する。簡易現像部１１１は、ＲＡＷ伸張部１１４からのＲＡＷ動画データを、現像パラメータ生成部１１７から設定される現像パラメータを用いて現像処理する（Ｓ１２０６）。

Ｓ１２０３において既に現像済みの動画ファイルがあると判断された場合、制御部１６１は記録再生部１５１を通じて記録媒体１５２から該当する動画ファイルを読み出し（Ｓ１２０７）、動画伸張部１４４に供給する。動画伸張部１４４は動画ファイルを１フレームずつ伸張（Ｓ１２０８）し、表示処理部１２２に出力する。

Ｓ１２０９において表示処理部１２２は、簡易現像部１１１または動画伸張部１４４から入力されたフレーム画像を表示部１２３等に出力する。表示が完了すると、制御部１６１は処理をＳ１２０１に戻し、動画ファイルの再生を継続する。動画ファイルの再生中は、ユーザから選択画面の表示指示がないかぎり、Ｓ１２０２における現像パラメータの決定処理はスキップしてよい。

このように、本実施形態の撮像装置１００は、撮影時に簡易現像された動画ファイルを用いて、遅延なく容易に動画を再生することができる。また、簡易現像に用いられた現像パラメータと異なる現像パラメータを用いて再生を行うことも容易である。

なお、本実施形態では、再生時に現像を行う場合、再生待ち時間を短くするために、Ｓ１２０６において簡易現像部１１１を用いて現像を行った。しかし、待ち時間よりも画質を優先する場合には、高画質現像パラメータを用いて高画質現像部１１２で現像処理を行って、より高画質な動画を再生してもよい。例えば、Ｓ１２０２で現像パラメータをユーザに選択させる場合に、画質も選択させるように構成したり、画質を変更するための選択画面を動画再生中にユーザ指示に応じて表示可能に構成したりすることができる。

なお、静止画と同様、動画についても、後述する後現像処理によって順次高画質化されていく。そのため、撮影後の時間経過に従って、Ｓ１２０４〜Ｓ１２０６における高画質現像処理が再生時に実施される可能性が低下し、速やかに高画質現像を出力できる確率が高まるので、操作性が一層高まっていく。

次に、本実施形態における後現像の処理について説明する。後現像処理は、撮影時におけるＲＡＷ画像データと簡易静止画／動画データの記録動作を終えた後、ＲＡＷ画像データから高画質静止画／動画データを生成し、記録する処理である。具体的には、まず、バッファ部１１５又は記録媒体１５２等に記録されたＲＡＷ静止画／動画データを読み出して高画質現像部１１２で現像処理する。そして、静止画圧縮部１４１または動画圧縮部１４２において高画質な符号化画像データ（第２の画像データ）を生成し、記録媒体１５２に記録する。本実施形態では、静止画および動画のＲＡＷ画像データに対して後現像処理が可能であるが、まず静止画を例に説明する。

前述のように、撮影時に記録される簡易静止画データは、簡易現像部１１１で現像処理した後に圧縮されたものである。そのため、高画質現像部１１２で現像処理した場合と比較して画素数が少なかったり、画質が劣る。簡易静止画データは撮影内容を撮影直後に大まかに確認したり、撮像装置１００の表示部１２３のように画素数の低い表示装置に表示したりするには十分な品質であっても、画像の細部を確認したり、プリントアウトしたりするには品質が十分でない場合がある。

もちろん、ユーザがＲＡＷ画像データの高画質な現像処理を必要に応じて都度行ってもよいが、手間や時間がかかる。そのため本実施形態では撮像装置１００がアイドル状態である際に、後現像処理を自動的に実行するものとする。アイドル状態とは、撮影スタンバイ時、静止画再生時の待機状態、スリープ状態など、撮像装置１００の処理負荷が小さいと判定される状態である。なお、自動的に実施するだけでなく、ユーザからの指示によって後現像処理を開始してもよい。

撮像装置１００がアイドル状態かどうかの判定方法に特に制限は無く、一般的な処理負荷の測定方法をはじめとした任意の判定方法を用いることができる。例えば、制御部１６１が有するＣＰＵの稼働率が予め定めた閾値未満かどうかや、予め定められた高負荷の動作、例えば高速連写動作、記録・再生処理が行われているかどうかなどに応じて判別することができる。あるいは、基本的に負荷の低い処理しか発生しない動作モードが選択されていれば、無条件にアイドル状態とみなしてもよい。

続いて、図３のＳ５２０、図７のＳ８２０で実施するアイドル処理について、図１０のフローチャートを用いて説明する。

図１０のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものである。図１０のフローチャートにより示される処理は、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図１０においてアイドル状態の処理が開始されると、制御部１６１が、ユーザの設定に基づいて、後現像を行うか否かを判定し（Ｓ５０１）、後現像を行わない場合はアイドル処理を終了して元の処理に復帰し、後現像を行う場合はＳ５２０に遷移する。

後現像を行う場合、制御部１６１は、記録媒体１５２に記録されている各ＲＡＷファイルについて、後現像処理により高画質静止画ファイルが記録されているか（後現像済みかどうか）判定する（Ｓ５２０）。例えば制御部１６１は、ＲＡＷファイルのヘッダに含まれる現像ステータスを参照し、対応する静止画ファイルが簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルの後現像が行われていないと判定する。あるいは、制御部１６１は、ＲＡＷファイルのメタデータに含まれる静止画ファイル名を有する静止画ファイルを記録媒体１５２内で探索する。これは、静止画撮影モードで撮影されていれば、記録媒体１５２には、１回の撮影開始指示に対して１つ以上の静止画ファイルとＲＡＷファイルが互いに関連付けられて記録されていることに基づく。そして、見つかった静止画ファイルのメタデータ部に格納されている現像ステータスを参照し、簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルに後現像が行われていないと判定する。あるいは、一連の静止画に対し、後現像処理の実行有無を示すテーブルを別に用意しておき、このテーブルを参照して判定するようにしても良い。なお、複数の現像パラメータが選択されている可能性がある場合、制御部１６１は、選択パラメータ情報ＳＥで特定される現像パラメータに対応する静止画ファイルが全て高画質現像されたものかどうかで判定する。

記録媒体１５２に記録されたＲＡＷファイルの全てが後現像処理済みである場合（Ｓ５２０，ＮＯ）、制御部１６１は後現像処理を行わない場合と同様、アイドル処理を終了して元の処理に復帰する。一方、記録媒体１５２に記録されているＲＡＷファイルに後現像処理が行われていないものが存在した場合、制御部１６１は処理をＳ５２１に遷移させる。

制御部１６１は、記録媒体１５２に記録されている、後現像処理が行われていないＲＡＷファイルに対応するＲＡＷ画像データが、バッファ部１１５にも記憶されているかどうか調べる（Ｓ５２１）。そして、制御部１６１は、ＲＡＷファイルがバッファ部１１５に残っていれば直接、バッファ部１１５に残っていなければＳ５２２で記録媒体１５２からＲＡＷファイルを読み出した後、処理をＳ５２３に進める。バッファ部１１５には直近に撮影されたものから予め定められた数のＲＡＷファイルが保持されている。そのため、制御部１６１は後処理を行うＲＡＷファイルが、記録媒体１５２に記録されているＲＡＷファイルのうち、直近に撮影されたものから予め定められた数に含まれていれば、バッファ部１１５に記憶されていることが分かる。なお、記録再生部１５１から記録時のＲＡＷファイルの情報を取得し、バッファ部１１５に記憶されているＲＡＷファイルと、記録媒体１５２に記録されているＲＡＷファイルとの対応関係を保存しておいてもよい。

なお、後現像処理が行われておらず、バッファ部１１５にないＲＡＷファイルが複数ある場合、制御部１６１は１つずつ読み出して後現像処理を行ってもよいし、バッファ部１１５に記憶可能な範囲で任意の数のＲＡＷファイルをまとめて読み出してもよい。

制御部１６１は、記録媒体１５２からＲＡＷファイルを読み出す場合、古いものから順に読みだしてバッファ部１１５に記憶する。そして、バッファ部１１５の記憶領域が一杯になった場合、最も古いＲＡＷ画像データをバッファ部１１５から削除し、新たに撮影、あるいは、記録媒体１５２から読み出されたＲＡＷ画像データをバッファ部１１５に格納する。こうすることにより、直前に撮影されたＲＡＷ画像データは常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、後現像を実行するようにすれば、バッファ部１１５に保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、制御部１６１は後現像処理するＲＡＷ画像データをＲＡＷ伸張部１１４に供給する。ＲＡＷ伸張部１１４はＲＡＷ画像データが圧縮処理されたものであれば伸張処理してＲＡＷ画像データを復元してから、一方、圧縮処理されていなければそのまま出力する。ＲＡＷ画像データが圧縮されているものかどうかは、圧縮時に例えばＲＡＷ画像データの先頭に識別可能な情報を記録しておくことなどによって判別可能である。

ＲＡＷ伸張部１１４が出力したＲＡＷ画像データは、現像部１１０に供給される。後現像処理時には高画質現像部１１２で現像処理を行い、簡易現像部１１１では現像処理しないように制御部１６１が動作を制御する。Ｓ５２４で制御部１６１は、記録再生部１５１を制御し、選択現像パラメータ情報ＳＥで特定される現像パラメータのうち、高画質現像パラメータを記録媒体１５２から読み出し、現像パラメータ生成部１１７に供給する。現像パラメータ生成部１１７は、この現像パラメータを高画質現像部１１２に設定する。なお、高画質現像パラメータは、Ｓ５２２で読み出してもよい。

高画質現像部１１２はＲＡＷ伸張部１１４から供給されるＲＡＷ画像データに対し、現像パラメータ生成部１１７から設定された高画質現像パラメータを用いて現像処理を適用する。高画質現像部１１２は、簡易現像部１１１よりも質の高い画像が得られる現像処理を実施する。本実施形態では高画質現像部１１２はＲＡＷ画像データの画素数を削減しないほか、適用する現像処理の品質（精度や工程の数など）も簡易現像部１１１より高くする。しかし、高画質現像部１１２は簡易現像部１１１よりも高品質の画像が得られる画像処理を行いさえすれば、その具体的な現像処理の内容に制限は無い。例えば現像処理の内容は簡易現像部１１１と同等とし、画像の画素数を多くしてもよいし、画像の画素数は同様に削減するが、現像処理の品質を高くしてもよい。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像の画素数は、撮像センサ部１０２から読出された画素数のまま、あるいはユーザから設定された画素数となる。そのため、高画質現像部１１２からの画像データの画素数は、簡易現像部１１１から出力される画像データよりも多い。

高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を行わないことで、消費電力やコストの大きな回路の利用を回避している。

高画質現像部１１２で現像処理された画像データは、静止画圧縮部１４１に供給され、静止画圧縮部１４１は、取得した画像データに対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２５）、高画質静止画データを生成する。

Ｓ５２６において、記録再生部１５１が高画質静止画データを含む静止画ファイルを記録媒体１５２に記録する。

Ｓ５２７は、アイドル状態でなくなったかどうかの判断処理であり、例えば予め定められた、アイドル状態を脱するイベントが発生したかどうかの判断処理であってよい。イベントは例えば、撮影準備指示や撮影開始指示の入力、再生処理の実行指示の入力、ＣＰＵの稼働率が閾値を超えるなどであってよい。なお、これらのイベント発生は、実際にはＳ５２７で示されるタイミングで実施するのではなく、アイドル処理中に制御部１６１がバックグラウンドで監視している。イベントの発生を検知した時点で実施中の動作を中断もしくは中止するか、静止画記録が終了するまでは実行を継続するかは予め定めておくことができる。例えば、Ｓ５２２〜Ｓ５２６のどの処理を実行中かに応じて処理を継続するか中断もしくは中止するかが異なってもよい。また、発生したイベントに応じて対応が異なってもよい。例えば撮影開始指示のようにタイムラグが問題になるイベントが発生した場合は直ちに撮影処理に移行し、再生開始指示のように緊急性がさほど高くないイベントの場合には静止画記録が終了してから再生処理に移行するようにしてもよい。

処理を中断する場合、制御部１６１は、中断した処理を次にアイドル状態になった際に再開できるように必要な情報を記憶する中断処理を行う（Ｓ５２８）。中断処理は例えば途中まで処理が終わったデータの保存や、どこまで処理が終わっているのかを示す情報の保存などを含む。一方、処理を中止する場合には、次回の処理において未処理のＲＡＷファイルの処理を行えば良いため、中断処理を実施しなくてもよい。

アイドル状態でなくなった場合、制御部１６１はアイドル処理を実行する前に実施していた動作モードとイベントに応じた処理に移行する。例えば静止画撮影モードからアイドル処理に移行していた場合に撮影指示が入力された場合、制御部１６１は静止画撮影モードの処理をＳ５０２の処理から復帰させる。

Ｓ５２６で記録処理が終了した後、アイドル状態が継続していれば、処理をＳ５２０に戻し、後現像が未処理のＲＡＷ画像データが残っている場合には、上述した処理を繰り返して実行する。

なお、Ｓ５２６で記録される高画質静止画ファイルは、ＲＡＷファイルと同時に記録された簡易静止画ファイルと同じファイル名で記録する。これは、読み出したＲＡＷファイルのメタデータ部に含まれる静止画ファイル名を記録媒体管理部１７２から記録再生部１５１に通知することで実現できる。バッファ部１１５に残っているＲＡＷ画像データを用いる場合には、記録媒体１５２に記録された対応するＲＡＷファイルのメタデータを参照すればよい。あるいは、記録再生部１５１が簡易静止画ファイルを記録する際にファイル名を制御部１６１に通知し、制御部１６１がバッファ部１１５内のＲＡＷ画像データと対応付けて保存するようにしてもよい。このようなファイル名とすることで、記録媒体１５２内の簡易静止画ファイルを高画質静止画ファイルで置き換えることができる。
また、記録媒体管理部１７２は、高画質静止画ファイルを記録する際に、記録再生部１５１を通じて、対応するＲＡＷファイルにおけるメタデータ内の現像ステータスを高画質現像済（又は後現像済）を示す情報で更新する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態のときに後現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。これにより、細部の確認表示やプリントアウトなど、高画質な画像が要求された場合であっても、その都度な現像処理を実行する必要がなく、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

なお、撮影時の簡易現像による動画ファイルについても、同様にして後現像処理を実施し、高画質現像による動画ファイルに置き換えて行く（図５のＳ９３０、図９のＳ１２２０）。ＲＡＷ動画データは各フレームがＲＡＷ画像データで構成されているため、各フレームを静止画ファイルと同様にして現像処理することができる。そして、現像後のフレーム画像を動画の符号化方式に応じて符号化することで、高画質な動画ファイルを順次生成する。なお、符号化処理の効率を向上させるため、記録媒体１５２から未処理のＲＡＷファイルを読み出す場合に、動画の符号化方式に応じたフレーム数（例えばＧＯＰを構成するフレーム数）を単位とすることができる。

動画ファイルの後現像処理を中断する場合、Ｓ５２８の中断処理では、例えば、動画圧縮部１４２が所定フレーム数を単位とした符号化を行う場合、記録媒体１５２に符合化単位で高画質動画ファイルが書き込まれるまで待つ。そして、高画質動画ファイルを書き込む（簡易動画ファイルに上書きする）際に、後現像中のＲＡＷ動画データのファイル名と、何フレーム目まで処理が終わっているかの情報を記録媒体管理部１７２が保存しておく。そして、次回アイドル状態になったらこの情報を用いて後現像処理を再開する。なお、動画の後現像処理時には、符合化単位で高画質動画ファイルを書き込む毎にファイルをクローズして記録媒体１５２の管理情報を更新してもよいし、中断時にこれらの書き込み終了処理を実施してもよい。前者の方が処理が煩雑であるが、後現像処理から他の処理に移行するまでに要する時間が短いほか、ファイルが破損する可能性は小さくできる。なお、イベントによっては直ちに処理を中止してもよいことは静止画の後現像処理と同様であるが、この場合でも記録媒体１５２における処理中の動画ファイルをクローズする点で異なる。

図１１は、記録媒体１５２に記録された情報の後現像後の状態を示す図である。図１１（ａ）は静止画像ファイル、図１１（ｂ）は動画像ファイルについて、後現像後の状態例を示し、それぞれ図４および図６に対応している。

静止画像ファイルにおいては、後現像により、簡易現像静止画像ＬＩＮのうち、選択現像パラメータ情報ＳＥで特定される現像パラメータに対応したものが置き換えられる。図１１（ａ）では、例として選択現像パラメータ情報ＳＥで特定される現像パラメータが「２」であるため、簡易現像静止画像ＬＩ２が高画質現像パラメータＨＰ２を用いた後現像で生成される高画質現像静止画像ＨＩ２に置き換えられる。後現像により生成された高画質現像画像ＨＩＮは、簡易現像静止画像ＬＩＮと同様、対応する簡易現像パラメータＬＰＮと高画質現像パラメータＨＰＮに関連付けて記録される。従って、高画質現像静止画像ＨＩＮから、現像に用いられた現像パラメータを容易に特定することができる。

動画像ファイルにおいては、後現像により簡易動画像ＬＭＮが置き換えられる。図１１（ｂ）では、例として選択現像パラメータ情報ＳＥで特定される現像パラメータが「１」と「２」の２つの場合を示す。この場合、簡易動画像ＬＭ１が後現像により生成される高画質動画像ＨＭ１で置き換えられるほか、新たに高画質動画像ＨＭ２が生成されて記録される。高画質動画像ＨＭＮは対応する現像パラメータＬＰＮおよびＬＰＨと関連付けて記録される。

以上説明したように本実施形態によれば、撮影時にはＲＡＷ画像を簡易現像処理した画像とともに記録しておく。その後、記録済みのＲＡＷ画像に対して簡易現像処理よりも高画質な画像が得られる現像処理を適用して高画質な画像を生成し、簡易現像処理で得られた画像と置き換える後現像処理を行う。このような構成により、高速に現像処理を行う回路が無くても高速連写などが可能になるほか、他の装置で内容を確認したい場合などにもＲＡＷ画像の内容を容易に確認できる。

また、後現像処理を撮像装置の負荷が低い状態に自動的に行うようにすることで、ユーザに後現像処理を意識させることなく高画質な画像が得られるため、再生時に後現像処理を実施する手間なく、直ちに高画質な画像を再生することができる。
さらに、後現像処理の進捗状況を示す情報を提示するので、進捗状況に応じて再生する動画像を選択したり、高画質現像処理の実行を指示したりすることが可能になり、ユーザの使い勝手を向上させることが可能になる。

さらに本実施形態によれば、撮影時に、ＲＡＷ画像データに異なる現像パラメータを適用して生成した複数の静止画データを、適用した現像パラメータおよびＲＡＷ画像データに関連付けて記録するようにした。そして、ユーザに、ＲＡＷ画像データに関連付けて記録された静止画データの中から所望の現像結果を表すものを選択させ、選択された静止画データに対応する現像パラメータを、再生時や後現像処理に用いる現像パラメータとして設定するようにした。そのため、現像パラメータを調整するための知識がないユーザであっても、希望の現像結果を得るために適切な現像パラメータを容易に設定することが可能になる。

（その他の実施形態）
なお、本実施形態では、撮影時に現像パラメータを生成する構成を説明したが、現像パラメータの生成は撮影後に行ってもよい。撮影後に現像パラメータを生成することで、様々な現像パラメータによる現像処理結果を比較するための静止画データの生成も撮影後に行われることになるため、画像撮影時の処理負荷を軽減することができる。反面、撮影直後に現像パラメータごとの現像処理結果を比較できなくなるほか、ブラケット撮影ができなくなるため、生成可能な現像済み静止画像の種類が制約される。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 撮影指示に応答して被写体像のＲＡＷ画像データを生成する撮像手段と、
   前記ＲＡＷ画像データに対して第１の現像処理または該第１の現像処理よりも高画質な画像が得られる第２の現像処理を行って画像データを生成する現像手段と、
   記録媒体にデータを読み書きする記録手段と、
   前記ＲＡＷ画像データと該ＲＡＷ画像データに前記第１の現像処理を行って得られた第１の画像データを前記記録媒体に書き込むように前記記録手段を制御し、その後、前記記録媒体に書き込まれた前記ＲＡＷ画像データに前記第２の現像処理を行って第２の画像データを生成して前記記録媒体に書き込むように前記現像手段および前記記録手段を制御する制御手段と、を有し、
   前記制御手段はさらに、複数の異なる現像パラメータを用いて前記ＲＡＷ画像データから複数の第３の画像データを生成するように前記第１の現像手段もしくは前記第２の現像手段を制御し、前記複数の第３の画像データのうち、ユーザが選択した画像データに対応する現像パラメータを、前記ＲＡＷ画像データが前記記録媒体に書き込まれた後に行われる前記ＲＡＷ画像データの現像処理で用いる現像パラメータとして決定する、
   ことを特徴とする撮像装置。
2. 前記ＲＡＷ画像データが前記記録媒体に書き込まれた後に行われる前記ＲＡＷ画像データの現像処理が、前記第２の画像データの生成のための前記第２の現像処理であることを特徴とする請求項１記載の撮像装置。
3. 前記ＲＡＷ画像データが前記記録媒体に書き込まれた後に行われる前記ＲＡＷ画像データの現像処理が、前記ＲＡＷ画像データの再生のための前記第２の現像処理であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、前記ＲＡＷ画像データが静止画データであれば、前記複数の第３の画像データを前記第１の現像手段に生成させ、前記ＲＡＷ画像データが動画データであれば、前記複数の第３の画像データを前記第２の現像手段に生成させることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記ＲＡＷ画像データが動画データの場合、前記ＲＡＷ画像データの代表フレーム画像から前記複数の第３の画像データを生成するように前記第２の現像手段を制御することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記複数の第３の画像データを選択可能に表示する表示手段と、
   前記表示された前記複数の第３の画像データの選択を受け付ける入力手段と、
   をさらに有することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記第１の現像処理は、前記第２の現像処理よりも処理負荷が低いことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記第１の現像処理で得られる画像データは、前記第２の現像処理で得られる画像データよりも画素数が少ないことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記第１の現像処理は、前記第２の現像処理よりも工程の数が少ないか、前記第２の現像処理よりも精度が低いか、の少なくとも一方であることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 撮影指示に応答して被写体像のＲＡＷ画像データを生成する撮像手段と、
    前記ＲＡＷ画像データに対して第１の現像処理または該第１の現像処理よりも高画質な画像が得られる第２の現像処理を行って画像データを生成する現像手段と、
    記録媒体にデータを読み書きする記録手段と、を有する撮像装置の制御方法であって、
    制御手段が、前記ＲＡＷ画像データと該ＲＡＷ画像データに前記第１の現像処理を行って得られた第１の画像データを前記記録媒体に書き込むように前記記録手段を制御する工程と、
    前記制御手段が、前記記録媒体に書き込まれた前記ＲＡＷ画像データに前記第２の現像処理を行って第２の画像データを生成して前記記録媒体に書き込むように前記現像手段および前記記録手段を制御する工程と、
    前記制御手段が、複数の異なる現像パラメータを用いて前記ＲＡＷ画像データから複数の第３の画像データを生成するように前記第１の現像手段もしくは前記第２の現像手段を制御する工程と、
    前記制御手段が、前記複数の第３の画像データのうち、ユーザが選択した画像データに対応する現像パラメータを、前記ＲＡＷ画像データが前記記録媒体に書き込まれた後に行われる前記ＲＡＷ画像データの現像処理で用いる現像パラメータとして決定する工程と、
    を有することを特徴とする撮像装置の制御方法。
11. 撮影指示に応答して被写体像のＲＡＷ画像データを生成する撮像手段を有する撮像装置のコンピュータを、請求項１から９のいずれか１項に記載の各手段として機能させるためのプログラム。

Images