JP2015179910A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 ＲＡＷ画像データと、このＲＡＷ画像データを現像処理して生成された動画データとが利用可能な場合に、動画データの再生画質を改善することを可能にする画像処理装置及びその制御方法を提供する。【解決手段】 動画ファイルの再生速度が予め定められた閾値より高いと判定された場合には、動画ファイルを再生速度で再生し、動画ファイルの再生速度が閾値以下と判定された場合には、動画ファイルに対応するＲＡＷ画像データに、現像手段によって現像処理を行って再生速度で再生する。再生時に実行する現像処理は、動画ファイルの生成時に行われた現像処理よりも高精度とする。【選択図】 図１

Description

本発明は、画像処理装置及びその制御方法に関し、特にはＲＡＷ画像を扱う画像処理装置および画像処理方法に関する。

従来、単板式カラー撮像センサを用いる撮像装置では、撮像センサによって得られる画像情報（ＲＡＷ画像）にいわゆる現像処理を適用し、現像処理された輝度信号及び色差信号を圧縮符号化してＪＰＥＧ形式で記録媒体に記録するのが一般的である。現像処理には、各画素について色補間処理を行って輝度と色差から成る信号を生成するデモザイク処理、信号に対するノイズ低減処理、ホワイトバランス処理、光学歪補正処理、画像の適正化処理などが含まれるが、これらに限定されない。

一方、ＲＡＷ画像を記録できる撮像装置も存在する（特許文献１）。ＲＡＷ画像はＪＰＥＧ形式などと比較して記録に必要なデータ量が膨大になるが、画質の劣化を最低限に抑えながら柔軟な後編集が可能であるという利点がある。
特許文献１には、ＲＡＷ画像と共に記録した現像パラメータを用いて、ＲＡＷ画像の現像及び再生を行う構成が記載されている。

特開２０１１−２４４４２３号公報

近年の撮像装置は、画素数の多い撮像素子を用いているため、画像１枚あたりのデータ量が大幅に増加している。また、連写スピードおよび連写可能枚数も増加傾向にある。そのため、ＲＡＷ画像に対するデモザイク処理や、ノイズ低減処理、光学歪補正処理など、現像処理を構成する各処理の量が相乗的に増大している。従って、撮影と並行してリアルタイムに現像処理を行うには、高速に処理するための回路が必要となり、回路規模の増大や消費電力の増加につながっていた。また、現像処理に処理能力や電力を割り当てるために、現像処理中は撮像装置の性能（例えば連写性能）が制限を受けることも起こりうる。

特許文献１に記載されるように、ＲＡＷ画像を現像せずに記録する構成とすれば、リアルタイムで現像処理が可能かどうかは問題にならないが、記録するデータ量が大きくなるため、バッファ量を増やす必要があるかもしれない。また、撮影結果を確認するには現像処理が必要であるため、時間がかかる。さらに、ＲＡＷ画像のデータ形式はメーカ固有であるため、撮影した撮像装置とは異なる機器では適切な現像処理ができない場合があり、ユーザの利便性を損なうおそれがある。この問題はデータ量が大きくなる動画撮影時に特に問題となる。

このように、従来、高い撮影能力と撮影画像の高速な再生とを可能にするには、処理能力の高い、高コストかつ高消費電力の回路を搭載して高出力で駆動できるようにするか、記録されたＲＡＷ画像を高速に再生できるようにしなければならなかった。

このような問題を解決するためには、例えば、動画撮影時に、ＲＡＷ画像データを記録するとともに、高性能な回路でなくても高速に処理可能な程度の簡易現像処理を適用して汎用的な形式（ＭＰＥＧ形式など）の動画データを併せて記録することが考えられる。しかし、この場合、汎用形式の動画データの品質は高くないため、例えばスロー再生した場合には符号化ノイズや暗部ノイズなどが分かりやすくなってしまう。

本発明の目的は、ＲＡＷ画像データと、このＲＡＷ画像データを現像処理して生成された動画データとが利用可能な場合に、動画データの再生画質を改善することを可能にする画像処理装置及びその制御方法を提供することにある。

上述の目的は、ＲＡＷ画像データに第１の現像処理を行って生成された動画ファイルを取得する取得手段と、動画ファイルの再生を制御する制御手段と、ＲＡＷ画像データの現像処理が可能な現像手段と、動画ファイルの再生速度が予め定められた閾値以下かどうか判定する判定手段と、を有し、制御手段は、動画ファイルの再生速度が閾値より高いと判定された場合には、動画ファイルを再生速度で再生し、動画ファイルの再生速度が閾値以下と判定された場合には、動画ファイルに対応するＲＡＷ画像データに、現像手段によって第２の現像処理を行って再生速度で再生するように制御を行い、第２の現像処理は、第１の現像処理よりも高精度であることを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、ＲＡＷ画像データと、このＲＡＷ画像データを現像処理して生成された動画データとが利用可能な場合に、動画データの再生画質を改善することを可能にする画像処理装置及びその制御方法を提供することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図 実施形態に係る撮像装置の静止画撮影モードにおける動作を説明するためのフローチャート 実施形態における静止画ファイルとＲＡＷファイルの構成例を示す図 実施形態に係る撮像装置のアイドル状態における動作を説明するためのフローチャート 実施形態に係る撮像装置の静止画再生モードにおける動作を説明するためのフローチャート 実施形態に係る撮像装置の静止画再生モードにおける表示例を示す図 本実施形態の現像処理に関する説明図である。 本実施形態のスロー用現像部１７１のブロック図である。 本実施形態の動画再生モード処理に関する説明図である。 実施形態に係る撮像装置の動画再生モードにおける動作を説明するためのフローチャート 実施形態に係る撮像装置の撮像センサ部における画素配列の例を示す図

以下、添付図面を参照しながら、本発明の例示的な実施形態を詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の機能構成例を示すブロック図である。これらの機能ブロックは、ＡＳＩＣなどの専用ハードウェアによって実現されてもよいし、ＭＰＵ等の汎用プロセッサがプログラムを実行することによりソフトウェア的に実現されてもよい。

図１に示した撮像装置１００は、被写体像を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理して表示する機能や、画像データを外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することもできる。

図１において、制御部１６１は、ＣＰＵ、ＭＰＵなどのプログラマブルプロセッサと、プログラマブルプロセッサが実行する制御プログラムを格納する不揮発性メモリを含み、撮像装置１００の全体の処理を制御する。なお、図１では煩雑さを避けるために一部しか記載していないが、制御や通信を行うための信号線が制御部１６１から各機能ブロックに接続されている。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、制御部１６１は検出した操作に応じた動作が実行されるように他の機能ブロックなどを制御する。表示部１２３は、表示処理部１２２を通じて提供される、撮像装置１００で撮影もしくは再生された画像や、メニュー画面、各種情報等を表示する。表示部１２３は例えば液晶ディスプレイ（ＬＣＤ）等を含む。

撮像対象となる被写体像は、撮像光学部１０１を介して撮像センサ部１０２上に結像する。操作部１６２による撮影開始の指示に応答して制御部１６１は撮影および記録動作を開始させる。なお、撮影スタンバイ時にライブビュー表示を実現するための動画撮影を行うように構成してもよい。撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１からの被写体情報に基づいて、制御部１６１によって制御される。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルタを透過した光を電気信号に変換する、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであってよい。図１１は、撮像センサ部１０２に配置されるカラーフィルタの一例であり、撮像装置１００が扱う画像の画素配列を表している。図１１に示すように、赤（Ｒ）１６０３、緑（Ｇ）１６０１、青（Ｂ）１６０２が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このようなカラーフィルタの配列は、一般に原色ベイヤー配列と呼ばれる。本実施形態の撮像センサ部１０２は、横８０００画素×横４０００画素の画像データを６０フレーム毎秒で出力する能力を有するものとする。なお、カラーフィルタを構成する色や配列は原色ベイヤー配列に限定されず、他の任意の配列を採用することができる。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像データを、未現像の画像を意味するＲＡＷ画像データという。

センサ信号処理部１０３から出力されたＲＡＷ画像データは、現像部１１０で現像処理される。現像部１１０は、複数（本実施形態では３つ）の異なる現像処理部を有し、それぞれ、処理精度と処理負荷の優先度が異なっている。本実施形態では、第１の現像処理を行う簡易現像部１１１と、第２の現像処理を行う高画質現像部１１２と、第３の現像処理を行うスロー用現像部１７１とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２、スロー用現像部１７１は、ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理もしくは色補間処理とも呼ばれる）、ホワイトバランス調整、ＲＧＢ→ＹＵＶ変換、ノイズ低減、光学歪の補正などの現像処理を行う。なお、これらは現像処理に含まれる処理の例示であり、これらの全てが現像処理に必須であることを意味しない。他の処理が含まれてもよいし、一部が含まれなくてもよい。

高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行う。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きい。他方、簡易現像部１１１は、ＲＡＷ画像データの１画面の画素数を、横２０００画素×縦１０００画素に縮小する。更に、簡易現像部１１１は、高画質現像部１１２よりも処理の精度が低いため、得られる画質は高画質現像部１１２よりも低いものの、撮影中に高速に現像処理を行うことができる。このように、簡易現像部１１１は、ＲＡＷ画像データよりも画素数が少ない画像データを処理し、更に、処理自体も簡易的に行うことで、処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。

スロー用現像部１７１は、動画のスロー再生時にＲＡＷ画像データを現像処理する。通常再生時と比較してスロー再生時には１フレームあたりの処理時間に余裕があるので、現像処理を簡易現像部１１１よりは高精度に実施できる。しかし、高画質現像部１１２よりは短い時間で処理する必要があるため、高画質現像部１１２よりは現像処理の精度は低い。本実施形態における簡易現像部１１１、高画質現像部１１２、スロー用現像部１７１の処理時間と画質との関係を図７に示す。１フレームあたりの現像処理時間は、簡易現像部１１１＜スロー用現像部１７１＜高画質現像部１１２の順に長くなる。得られる画質は、簡易現像部１１１＜スロー用現像部１７１＜高画質現像部１１２の順に高画質となる。

また、スロー再生時は現像処理にかけられる時間が再生速度によって異なるため、スロー用現像部１７１は、図８に示すように、それぞれ異なる品質の現像処理を行う第１〜第４スロー現像処理部１２０１〜１２０４を有している。そして、制御部１６１によって切り替え可能なスイッチ部１２０５によって第１〜第４スロー現像処理部１２０１〜１２０４のいずれか１つの出力を選択し、スイッチ部１２１へ供給する。このような構成により、スロー再生の速度に応じて現像処理の品質（精度および処理時間）を切り替えることができる。

ここでは、図７に示すように、第１スロー現像処理部１２０１＜第２スロー現像処理部１２０２＜第３スロー現像処理部１２０３＜第４スロー現像処理部１２０４の順に現像処理時間は長く、また現像後の画質は高くなる。なお、各スロー現像処理部１２０１〜１２０４に行う具体的な現像処理の内容（パラメータ）は、処理時間と得られる画質が上述の関係を満たすように予め定めておく。動画スロー再生時の動作の詳細は後述する。なお、図８の構成は一例であり、スロー現像処理部は任意の複数設けることができる。なお、各スロー現像処理部は独立したハードウェアで構成されなくてもよく、１つのハードウェアが異なるパラメータを用いて異なる品質が得られる（処理時間の異なる）現像処理を実施する構成であってもよい。
現像部１１０のスイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１、高画質現像部１１２、スロー用現像部１７１が独立に存在する構成を示したが、一つの現像部が動作モードを切り替えて簡易現像、高画質現像、スロー用現像の処理を排他的に行う構成としてもよい。また、複数の現像部は互いに処理負荷が異なればよく、処理する画像のサイズと処理精度の両方を下げることは必須ではない。例えば、処理する画素数は同一であるが、処理精度が異なっている現像部や、処理精度は同一であるが処理する画素数が異なっている現像部が含まれていてもよい。ただし、撮影された画像の現像処理が、次の画像の撮影開始までに完了できる現像部が少なくとも１つ含まれるようにする。

なお、図１ではセンサ信号処理部１０３からのＲＡＷ画像データが現像部１１０の中の全ての現像部に入力されるように図示しているが、これは同一のＲＡＷ画像データに対して３つの現像部で現像処理を行うことを意味していない。処理負荷の観点から、基本的には１つの現像部が排他的に現像処理を実行する。従って、ＲＡＷ画像データが入力される現像部を切り替えるようにスイッチ部１２１が前段に設けられても良い。同様に、図８の第１〜第４スロー現像処理部１２０１〜１２０４についても、いずれか１つが排他的に現像処理を実行するものであり、またスイッチ部１２０５が前段に設けられてもよい。

現像部１１０によって現像処理された画像データは、表示処理部１２２によって所定の処理がなされた後、表示部１２３にて表示される。また、現像処理された画像データは、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給される。評価値算出部１０５は、画像データから例えばフォーカス状態や露出状態などの評価値を算出する。これらの評価値は例えば制御部１６１による自動焦点検出や自動露出制御に用いられる。

現像部１１０によって現像処理された画像データは、認識部１３１にも供給される。認識部１３１は、画像データ中の被写体情報を検出及び認識する機能を有する。認識部１３１は例えば、画像データによって表される画像に含まれる人物の顔を検出し、検出された場合は顔の位置や大きさなどを示す情報を出力する。認識部１３１はさらに顔などの特徴情報に基づいて特定の人物の認証などを行ってもよい。

現像部１１０によって現像処理された画像データは、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４１を用いる。符号化手段としての静止画圧縮部１４１は、ＪＰＥＧ等の公知の符号化方式に従い静止画データを符号化する。画像データを動画として圧縮する場合は、動画圧縮部１４２を用いる。動画圧縮部１４２は、Ｈ．２６４、Ｈ．２６５等の公知の符号化方式に従って動画データを符号化する。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像データを高能率符号化（圧縮符号化）し、情報量が圧縮された画像データを生成して、記録再生部１５１に送る。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３から出力されたＲＡＷ画像データにウエーブレット変換や、差分符号化等を適用し、データ量を削減した圧縮ＲＡＷデータを生成する。ＲＡＷ圧縮部１１３は、圧縮ＲＡＷデータをバッファ部１１５に格納する。バッファ部１１５はメモリやＨＤＤなど、任意の記憶装置であってよい。圧縮ＲＡＷデータは、バッファ部１１５に保存しておいてもよいし、格納後にさらに別の記録媒体に移動させてバッファ部１１５から削除してもよい。

記録再生部１５１は、静止画圧縮部１４１からの静止画データや、動画圧縮部１４２からの動画データを記録媒体１５２に記録する。また記録再生部１５１は、バッファ部１１５から読み出したＲＡＷデータの状態の静止画および動画データを、圧縮後の静止画並びに動画データとは別個のＲＡＷファイルとして記録媒体１５２に記録する。また記録再生部１５１は、記録媒体１５２に記録されたデータを、ＦＡＴ等の公知のファイルシステムに従いファイルとして管理する。記録媒体１５２は、例えば内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。また、記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイル（静止画、動画）を読み出すこともできる。また、記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種データファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を通じ、無線通信や有線通信によりコンピュータネットワークや外部機器へのアクセスを撮像装置１００に提供する。

記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮ＲＡＷデータを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷデータは、現像部１１０の簡易現像部１１１、高画質現像部１１２、スロー用現像部１７１に供給される。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２に供給する。表示処理部１２２で処理された静止画や動画は、表示部１２３で表示される。

次に、図２に示すフローチャートを用いて、撮像装置１００の撮影モードにおける動作について説明する。図２のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

制御部１６１は撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ３０１）、負荷状況に応じてアイドル状態（Ｓ３２０）へ遷移させ、そうでなければＳ３０２へ処理を進める。負荷状態は制御部１６１が有するＣＰＵの稼働率や、予め定められた高負荷の動作、例えば高速連写動作が行われているかどうかなどに応じて判別することができるが、これらに限定されない。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をＳ３０２へ進める。なお、アイドル状態へ移行するかどうかの判定処理については後述する。

Ｓ３０２において制御部１６１は、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、制御部１６１は、操作部１６２を通じたユーザのズーム指示や撮影準備指示に従って、撮像光学部１０１に含まれるズームレンズやフォーカスレンズを移動させたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域を設定したりする。また、制御部１６１は、評価値算出部１０５からの評価値の情報や認識部１３１からの被写体情報に基づいて、特定被写体に対する合焦や追尾などの制御を実現する。Ｓ３０２では、所定のフレーム周期に応じた撮影条件で撮影が実施される。

Ｓ３０３では、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。例えば、センサ信号処理部１０３は、撮像素子の欠落画素に対応する電気信号や、信頼性の低い画素の電気信号に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０３の処理を終えて、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と呼ぶ。

Ｓ３０４において、簡易現像部１１１がＲＡＷ画像データを現像処理する。なお、制御部１６１は、遅くともＳ３０４の開始時までに、現像部１１０から簡易現像部１１１で現像処理された画像データが出力されるようにスイッチ部１２１の状態を制御する。

簡易現像部１１１は、ＲＡＷ画像データの画素数を前述のように削減し、画像を縮小する。そして、簡易現像部１１１は、縮小ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）して各画素に不足している色信号を生成したのち、輝度と色差から成る信号へ変換する（ＲＧＢ→ＹＵＶ変換）。さらに簡易現像部１１１は、各信号に含まれるノイズを除去したり、撮影光学系の光学歪（収差）を補正したり、ホワイトバランスを調整したりする。上述の通り簡易現像部１１１は、画素数を削減してから現像処理したり、ノイズ除去や光学歪補正を処理速度を優先した処理で行ったり省いたりすることで、現像処理の負荷（処理速度や消費電力）が撮像装置１００の撮影能力に与える制限を軽減または除去する。簡易現像部１１１を用いることで、例えば、高画質現像部１１２を用いた場合には不可能な高速連写速度や連続撮影枚数などを実現することができる。

簡易現像部１１１で現像処理された画像データは、スイッチ部１２１を通じて評価値算出部１０５に供給される。評価値算出部１０５は、画像データに含まれる輝度値やコントラスト値などから撮像光学部１０１の合焦状態や、画像の露出状態などの評価値を所定の方法で算出する（Ｓ３０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データに対してこれらの評価値を算出しても良い。

また、簡易現像部１１１で現像処理された画像データは、認識部１３１に供給される。認識部１３１は、画像データに対し、予め定められた特定の特徴を有する被写体（例えば人物の顔）の検出処理を適用し、被写体情報を生成する。例えば、画像データ内における顔の有無や、顔の位置や大きさ、顔に基づいて認識された個人の情報などを被写体情報として出力する（Ｓ３０６）。

また、簡易現像部１１１で現像処理された画像データは、表示処理部１２２に供給される。表示処理部１２２は、取得した画像データから表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ３０７）。表示部１２３による表示画像は例えば、撮影待機状態において、ユーザが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される評価値や被写体情報を活用して、例えば、表示画像に合焦領域や認識された顔の位置を示す枠状のマークを重畳表示したりしてもよい。

Ｓ３０８において、制御部１６１は、操作部１６２を通じてユーザから撮影指示が入力されたか判定し、撮影指示が入力された場合は処理をＳ３１０へ進め、撮影指示の入力が無かった場合はＳ３０１からの処理を繰り返す。

Ｓ３１０で制御部１６１は、撮影指示に応答して、撮像光学部１０１、撮像センサ部１０２を制御して所定の撮影条件での撮影を開始させる。ここでは、静止画撮影時の動作を説明する。撮像センサ部１０２で得られた１画面分の画像データは現像部１１０に供給されて簡易現像部１１１で現像処理されたのち、静止画圧縮部１４１に供給される。静止画圧縮部１４１は、供給された画像データに対してＪＰＥＧ符号化処理など所定の符号化処理（静止画圧縮）を施し（Ｓ３１０）、静止画データを生成する。本実施形態では、このように、撮影時において、簡易現像部１１１により現像され、静止画圧縮部１４１で符号化された静止画データを簡易静止画データ（第１の符号化画像データ）と呼ぶ。なお、符号化方法はＪＰＥＧ方式に限らず、任意のものが使用可能である。

撮像センサ部１０２で得られた１画面分のＲＡＷ画像データは、さらにＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、ＲＡＷ画像データにデータ量を削減するための符号化（ＲＡＷ圧縮）処理を適用して圧縮ＲＡＷ画像データに変換する（Ｓ３１２）。圧縮ＲＡＷ画像データはバッファ部１１５に格納される。なお、ＲＡＷ画像データの符号化は可逆および不可逆符号化のいずれであってもよい。

Ｓ３１１において記録再生部１５１は、簡易静止画データを含む静止画ファイル（簡易静止画ファイル）を記録媒体１５２に記録する。

Ｓ３１３において、記録再生部１５１は、バッファ部１１５から画像データを読み出し、（圧縮）ＲＡＷ画像データが格納されたデータファイル（ＲＡＷファイル）を記録媒体１５２に記録する。

なお、簡易静止画データの生成および記録処理（Ｓ３１０〜Ｓ３１１）と、ＲＡＷ画像データの圧縮および記録処理（Ｓ３１２〜Ｓ３１３）の少なくとも一部は並列処理されてよい。また、Ｓ３１１及びＳ３１３において、記録再生部１５１は、静止画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

なお、ここでは、Ｓ３０８で静止画の撮影指示がなされた場合について説明したが、動画の撮影指示がなされた場合も基本的には同様に処理できる。まず、Ｓ３０１〜Ｓ３０７までの処理は共通である。そして、Ｓ３１０〜Ｓ３１１で簡易動画データの生成および記録処理を、Ｓ３１２〜Ｓ３１３でＲＡＷデータの圧縮および記録処理を実施すればよい。なお、動画撮影時にはＳ３０８で撮影指示がなされた場合に改めて撮影を行う必要は無く、Ｓ３０２で撮影し、Ｓ３０４で簡易現像した画像データを用いれば良い。

簡易動画データは、撮像センサ部１０２から得られるＲＡＷ画像データから構成される動画データについて、Ｓ３１０で各フレーム画像を簡易現像部１１１で現像処理し、動画圧縮部１４２で符号化して生成する。そして、Ｓ３１１で記録再生部１５１が簡易動画データを記録する。また、ＲＡＷデータについては、Ｓ３１２で各ＲＡＷ画像フレームを圧縮したデータを、Ｓ３１３でバッファ部１１５を通じて記録再生部１５１が記録する。なお、動画撮影時には、動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても、被写体を適切にフレーミングするためのライブビュー表示のために簡易動画データが用いられる。

次に、本実施形態における静止画ファイルおよびＲＡＷファイルの構造について説明する。図３は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。
図３（ａ）は静止画ファイルの構造例を示す。静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルであることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルと同時に生成された（対応する）ＲＡＷファイル（圧縮データ部４０３に格納される静止画データの元になっているＲＡＷデータが格納されたファイル）を特定する情報（例えばファイル名）４０４が含まれる。また、現像ステータス４０５は、この静止画ファイルに格納されている圧縮データが簡易現像されたものかどうかを判別可能な情報である。また、撮影メタデータ４０６は、評価値算出部１０５や認識部１３１が求めた評価値や被写体情報や、撮像光学部１０１や撮像センサ部１０２からの撮影時情報（例えば、絞り値、シャッタ速度、感度、レンズ種別識別情報、センサ種別識別情報など）を含む。また、図示していないが、メタデータ部４０２は、同時に生成された（対応する）ＲＡＷファイルが記録されている記録媒体の識別コードや、記録先のパス情報などをさらに含んでも良い。これらのメタデータは、例えば制御部１６１から記録再生部１５１に送られて記録される。

以上説明したように、本実施形態に係る撮像装置１００は、ライブビュー表示や、撮影開始指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。また、本実施形態に係る撮像装置１００は、撮影開始指示に応答して、ＲＡＷファイルを記録する。ＲＡＷファイルの記録には現像処理を必要としない。

図３（ｂ）は、ＲＡＷファイル４１０の構造例を示す。ＲＡＷファイル４１０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された静止画のＲＡＷ圧縮データが含まれている（非圧縮のＲＡＷ画像データであっても良い）。

メタデータ部４１２には、このＲＡＷファイルと同時に生成された（対応する）静止画ファイルを特定する情報（例えばファイル名）４１４が含まれる。また、対応する静止画ファイルが格納する画像データが簡易現像されたことを示す現像ステータス４１５も含まれる。また、撮影メタデータ４０６と同様の撮影メタデータ４１６が含まれる。

また、図示していないが、同時に生成された静止画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された静止画ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。これらのメタデータは、例えば制御部１６１から記録再生部１５１に送られて記録される。

なお、図３に示しここで説明したファイル構造は一例であり、ＥＸＩＦなど他の標準規格に準じた構成であっても良い。また、記録媒体１５２へのファイル記録は例えばＤＣＦに従ったファイルシステムで行うことができる。

なお、圧縮データ部４０３に高能率符号化された動画と音声の圧縮データが含まれていること、圧縮データがＡＶＣＨＤやＭＰＥＧ２などの動画用の符号化形式であることを除き、動画ファイルであっても基本的なデータ構造は静止画ファイルと共通である。

本実施形態に係る撮像装置１００は、撮影モードにおける、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される静止画もしくは動画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、省いたりして、例えば毎秒６０コマの静止画やＨＤサイズの動画の現像処理を小規模かつ少消費電力の回路で実現する。一方で、本実施形態に係る撮像装置１００は、撮影指示に応答して、静止画または動画のＲＡＷファイルを生成する。ＲＡＷファイルは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画素数や連写のスピードを高めたり、フレームあたりの画素数やフレームレートを高めたりしても、小規模かつ少消費電力の回路でＲＡＷファイルを記録することが可能である。

次に、本実施形態における後現像の処理について説明する。後現像処理は、撮影時におけるＲＡＷ画像データと簡易静止画／動画データの記録動作を終えた後、ＲＡＷ画像データから高画質静止画／動画データを生成し、記録する処理である。具体的には、まず、バッファ部１１５又は記録媒体１５２等に記録されたＲＡＷ画像データを読み出して高画質現像部１１２で現像処理する。そして、静止画圧縮部１４１または動画圧縮部１４２において高画質な符号化画像データ（第２の符号化画像データ）を生成し、記録媒体１５２に記録する。本実施形態では、静止画および動画のＲＡＷ画像データに対して後現像処理が可能である。

前述のように、撮影時に記録される簡易静止画／動画データは、簡易現像部１１１で現像処理した後に圧縮されたものである。そのため、高画質現像部１１２で現像処理した場合と比較して画素数が少なかったり、画質が劣ったりする。簡易静止画／動画データの品質は、撮影内容を撮影直後に大まかに確認したり、撮像装置１００の表示部１２３のように画素数の低い表示装置に表示したりするには十分であっても、画像の細部を確認したり、プリントアウトしたりするには十分でない場合がある。

もちろん、ユーザがＲＡＷ画像データの高画質な現像処理を必要に応じて都度行ってもよいが、手間や時間がかかる。そのため本実施形態では撮像装置１００がアイドル状態である際に、後現像処理を自動的に実行するものとする。アイドル状態とは、撮影スタンバイ時、静止画／動画再生時の待機状態、スリープ状態など、撮像装置１００の処理負荷が小さいと判定される状態である。なお、自動的に実施するだけでなく、ユーザからの指示によって後現像処理を開始してもよい。

撮像装置１００がアイドル状態かどうかの判定方法に特に制限は無く、一般的な処理負荷の測定方法をはじめとした任意の判定方法を用いることができる。例えば、制御部１６１が有するＣＰＵの稼働率が予め定めた閾値未満かどうかや、予め定められた高負荷の動作、例えば高速連写動作、記録・再生処理が行われているかどうかなどに応じて判別することができる。あるいは、基本的に負荷の低い処理しか発生しない動作モードが選択されていれば、無条件にアイドル状態とみなしてもよい。

続いて、図２のＳ３２０で実施するアイドル処理について、図４のフローチャートを用いて説明する。なお、アイドル処理は静止画撮影モードだけでなく、静止画／動画再生モードなど、他の動作モードにおいてアイドル状態と判定された場合にも実行される。

図４のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図４においてアイドル状態の処理が開始されると、制御部１６１が、ユーザの設定に基づいて、後現像を行うか否かを判定し（Ｓ５０１）、後現像を行わない場合はアイドル処理を終了して元の処理に復帰し、後現像を行う場合はＳ５２０に遷移する。

後現像を行う場合、制御部１６１は、記録媒体１５２に記録されている各ＲＡＷファイルについて、後現像処理により高画質静止画ファイルが記録されているか（後現像済みかどうか）判定する（Ｓ５２０）。例えば制御部１６１は、ＲＡＷファイル４１０の中の現像ステータス４１５を参照し、対応する静止画ファイルが簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルの後現像が行われていないと判定する。あるいは、制御部１６１は、ＲＡＷファイルのメタデータ部４１２に含まれる静止画ファイル名４１４を有する静止画ファイルを記録媒体１５２内で探索する。これは、静止画撮影モードで撮影されていれば、記録媒体１５２には、１回の撮影開始指示に対して静止画ファイルとＲＡＷファイルが互いに関連付けられて１つずつ記録されていることに基づく。そして、見つかった静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５を参照し、簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルに後現像が行われていないと判定する。あるいは、一連の静止画に対し、後現像処理の実行有無を示すテーブルを別に用意しておき、このテーブルを参照して判定するようにしても良い。

記録媒体１５２に記録されたＲＡＷファイルの全てが後現像処理済みである場合（Ｓ５２０，ＮＯ）、制御部１６１は後現像処理を行わない場合と同様、アイドル処理を終了して元の処理に復帰する。一方、記録媒体１５２に記録されているＲＡＷファイルに後現像処理が行われていないものが存在した場合、制御部１６１は処理をＳ５２１に遷移させる。

制御部１６１は、記録媒体１５２に記録されている、後現像処理が行われていないＲＡＷファイルに対応するＲＡＷ画像データが、バッファ部１１５にも記憶されているかどうか調べる（Ｓ５２１）。そして、制御部１６１は、ＲＡＷファイルがバッファ部１１５に残っていれば直接、バッファ部１１５に残っていなければＳ５２２で記録媒体１５２からＲＡＷファイルを読み出した後、処理をＳ５２３に進める。バッファ部１１５には直近に撮影されたものから予め定められた数のＲＡＷファイルが保持されている。そのため、制御部１６１は後処理を行うＲＡＷファイルが、記録媒体１５２に記録されているＲＡＷファイルのうち、直近に撮影されたものから予め定められた数に含まれていれば、バッファ部１１５に記憶されていることが分かる。なお、記録再生部１５１から記録時のＲＡＷファイルの情報を取得し、バッファ部１１５に記憶されているＲＡＷファイルと、記録媒体１５２に記録されているＲＡＷファイルとの対応関係を保存しておいてもよい。

なお、後現像処理が行われておらず、バッファ部１１５にないＲＡＷファイルが複数ある場合、制御部１６１は１つずつ読み出して後現像処理を行ってもよいし、バッファ部１１５に記憶可能な範囲で任意の数のＲＡＷファイルをまとめて読み出してもよい。

制御部１６１は、記録媒体１５２からＲＡＷファイルを読み出す場合、古いものから順に読みだしてバッファ部１１５に記憶する。そして、バッファ部１１５の記憶領域が一杯になった場合、最も古いＲＡＷ画像データをバッファ部１１５から削除し、新たに撮影、あるいは、記録媒体１５２から読み出されたＲＡＷ画像データをバッファ部１１５に格納する。こうすることにより、直前に撮影されたＲＡＷ画像データは常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、後現像を実行するようにすれば、バッファ部１１５に保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、制御部１６１は後現像処理するＲＡＷ画像データをＲＡＷ伸張部１１４に供給する。ＲＡＷ伸張部１１４はＲＡＷ画像データが圧縮処理されたものであれば伸張処理してＲＡＷ画像データを復元してから、一方、圧縮処理されていなければそのまま出力する。ＲＡＷ画像データが圧縮されているものかどうかは、圧縮時に例えばＲＡＷ画像データの先頭に識別可能な情報を記録しておくことなどによって判別可能である。

ＲＡＷ伸張部１１４が出力したＲＡＷ画像データは、現像部１１０に供給される。後現像処理時には高画質現像部１１２で現像処理を行い、簡易現像部１１１では現像処理しないように制御部１６１が動作を制御する。ＲＡＷ画像データに対して高画質現像部１１２は簡易現像部１１１よりも高画質の画像が得られる現像処理を適用する（Ｓ５２４）。本実施形態では高画質現像部１１２はＲＡＷ画像データの画素数を削減しないほか、適用する現像処理の品質（精度や工程の数など）も簡易現像部１１１より高くする。しかし、高画質現像部１１２は簡易現像部１１１よりも高品質の画像が得られる画像処理を行いさえすれば、その具体的な現像処理の内容に制限は無い。例えば現像処理の内容は簡易現像部１１１と同等とし、画像の画素数を多くしてもよいし、画像の画素数は同様に削減するが、現像処理の品質を高くしてもよい。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像の画素数は、撮像センサ部１０２から読出された画素数のまま、あるいはユーザから設定された画素数となる。そのため、高画質現像部１１２からの画像データの画素数は、簡易現像部１１１から出力される画像データよりも多い。

高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を行わないことで、消費電力やコストの大きな回路の利用を回避している。

高画質現像部１１２で現像処理された画像データは、静止画圧縮部１４１に供給され、静止画圧縮部１４１は、取得した画像データに対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２５）、高画質静止画データを生成する。

Ｓ５２６において、記録再生部１５１が高画質静止画データを含む静止画ファイルを記録媒体１５２に記録する。

Ｓ５２７は、アイドル状態でなくなったかどうかの判断処理であり、例えば予め定められた、アイドル状態を脱するイベントが発生したかどうかの判断処理であってよい。イベントは例えば、撮影準備指示や撮影開始指示の入力、再生処理の実行指示の入力、ＣＰＵの稼働率が閾値を超えるなどであってよい。なお、これらのイベント発生は、実際にはＳ５２７で示されるタイミングで実施するのではなく、アイドル処理中に制御部１６１がバックグラウンドで監視している。イベントの発生を検知した時点で実施中の動作を中断もしくは中止するか、静止画記録が終了するまでは実行を継続するかは予め定めておくことができる。例えば、Ｓ５２２〜Ｓ５２６のどの処理を実行中かに応じて処理を継続するか中断もしくは中止するかが異なってもよい。また、発生したイベントに応じて対応が異なってもよい。例えば撮影開始指示のようにタイムラグが問題になるイベントが発生した場合は直ちに撮影処理に移行し、再生開始指示のように緊急性がさほど高くないイベントの場合には静止画記録が終了してから再生処理に移行するようにしてもよい。

処理を中断する場合、制御部１６１は、中断した処理を次にアイドル状態になった際に再開できるように必要な情報を記憶する中断処理を行う（Ｓ５２８）。中断処理は例えば途中まで処理が終わったデータの保存や、どこまで処理が終わっているのか（あるいはどこから処理を再開するか）を示す情報の保存などを含む。一方、処理を中止する場合には、次回の処理において未処理のＲＡＷファイルの処理を行えば良いため、中断処理を実施しなくてもよい。

アイドル状態でなくなった場合、制御部１６１はアイドル処理を実行する前に実施していた動作モードとイベントに応じた処理に移行する。例えば静止画撮影モードからアイドル処理に移行していた場合に撮影指示が入力された場合、制御部１６１は静止画撮影モードの処理をＳ３１０の撮影処理から復帰させる。

Ｓ５２６で記録処理が終了した後、アイドル状態が継続していれば、処理をＳ５２０に戻し、後現像が未処理のＲＡＷ画像データが残っている場合には、上述した処理を繰り返して実行する。

Ｓ５２６で記録される高画質静止画ファイルは、現像ステータス４０５が高画質現像部１１２で処理されたことを示す情報であることを除き、簡易現像部１１１で処理された画像データの静止画ファイルと同様の構成を有する。

なお、Ｓ５２６で記録される高画質静止画ファイルは、ＲＡＷファイルと同時に記録された簡易静止画ファイルと同じファイル名で記録する。これは、読み出したＲＡＷファイルのメタデータ部に含まれる静止画ファイル名を制御部１６１から記録再生部１５１に通知することで実現できる。バッファ部１１５に残っているＲＡＷ画像データを用いる場合には、記録媒体１５２に記録された対応するＲＡＷファイルのメタデータを参照すればよい。あるいは、記録再生部１５１が簡易静止画ファイルを記録する際にファイル名を制御部１６１に通知し、制御部１６１がバッファ部１１５内のＲＡＷ画像データと対応付けて保存するようにしてもよい。このようなファイル名とすることで、記録媒体１５２内の簡易静止画ファイルを高画質静止画ファイルで置き換えることができる。
また、制御部１６１は、高画質静止画ファイルを記録する際に、記録再生部１５１を通じて、対応するＲＡＷファイルにおけるメタデータ部４１２内の現像ステータス４１５を高画質現像済（又は後現像済）を示す情報で更新する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態のときに後現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。これにより、細部の確認表示やプリントアウトなど、高画質な画像が要求された場合であっても、その都度な現像処理を実行する必要がなく、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

なお、撮影時の簡易現像による動画ファイルについても、同様にして後現像処理を実施し、高画質現像による動画ファイルに置き換えて行く。ＲＡＷ動画データは各フレームがＲＡＷ画像データで構成されているため、各フレームを静止画ファイルと同様にして現像処理することができる。そして、現像後のフレーム画像を動画の符号化方式に応じて符号化することで、高画質な動画ファイルを順次生成する。なお、符号化処理の効率を向上させるため、記録媒体１５２から未処理のＲＡＷファイルを読み出す場合に、動画の符号化方式に応じたフレーム数（例えばＧＯＰを構成するフレーム数）を単位とすることができる。

動画ファイルの後現像処理を中断する場合、Ｓ５２８の中断処理では、例えば、動画圧縮部１４２が所定フレーム数を単位とした符号化を行う場合、記録媒体１５２に符合化単位で高画質動画ファイルが書き込まれるまで待つ。そして、高画質動画ファイルを書き込む（簡易動画ファイルに上書きする）際に、後現像中のＲＡＷ動画データのファイル名と、何フレーム目まで処理が終わっているかの情報を制御部１６１が保存しておく。あるいは、またはさらに、高画質動画ファイルのメタデータ部４０２の現像ステータス４０５にも、同様の情報を記録する。そして、次回のアイドル時には、この情報を用いて後現像処理を再開する。なお、動画の後現像処理時には、符合化単位で高画質動画ファイルを書き込む毎にファイルをクローズして記録媒体１５２の管理情報を更新してもよいし、中断時にこれらの書き込み終了処理を実施してもよい。前者の方が処理が煩雑であるが、後現像処理から他の処理に移行するまでに要する時間が短いほか、ファイルが破損したりする可能性は小さくできる。なお、イベントによっては直ちに処理を中止してもよいことは静止画の後現像処理と同様であるが、この場合でも記録媒体１５２における処理中の動画ファイルをクローズする点で異なる。

なお、後現像処理を行う場合、最初は先頭の所定時間（例えば１分）についてのみ実行するように構成してもよい。これは、動画ファイルは数十フレーム／秒という多数のフレームから構成されているため、例えば数分から数十分の撮影期間の簡易動画データの全フレームについて後現像処理すると、次の画像ファイルに対する後現像処理がなかなか開始されないためである。また、後現像処理による撮像装置のバッテリー消費が多くなりすぎないようにするためでもある。動画ファイルの先頭部分のみを後現像することで、バッテリー消費も抑制しつつ、高画質の画像表示や高画質の動画ファイルの再生の即時に行うことが可能になる。

このように、所定部分のみ後現像を行う場合、所定部分の後現像が終了したら、中断処理と同様に、未処理部分について後現像を再開するための情報を動画ファイルのメタデータや制御部１６１内に保存しておく。なお、未処理の画像ファイルが無い場合には、未処理部分について後現像処理を実行するように構成してもよい。この場合も、１ファイルあたり所定時間分ずつ後現像処理を実行するようにしてよい。

なお、Ｓ５２０における処理済みか否かの判断方法として、いくつかのステップを設けてもよい。例えば動画の撮影時間全てに対して処理されているかを判断する構成にしてもよい。また、動画先頭部分から予め定められた時間（例えば、１分）毎に区切って、先頭から所定の時間分について後現像処理がなされていれば、その簡易動画ファイルを処理済みと判断する構成でもよい。更に、後現像処理が所定時間なされているか判断する場合においては、操作部１６２からの操作によって後現像処理済みか否かを判断する際の時間を設定出来る構成にしてもよい。

また、先頭部分のみなど、一部だけが後現像処理されている場合には、ＲＡＷファイルと同時に記録された簡易動画ファイルは削除しない。そして、制御部１６１は、後現像で生成された高画質の動画ファイルのメタデータ部４０２に、対応する簡易動画ファイル名などの識別情報を含めるように記録再生部１５１を制御する。また、制御部１６１は、簡易動画ファイルの圧縮データ部４０３は保持しつつ、メタデータ部４０２に後現像処理で生成された動画ファイル名や後現像処理済みの部分を特定可能な情報などをメタデータ部９０２に含めるよう、記録再生部１５１を制御する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態のときに後現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。撮影時の簡易現像による動画ファイルも、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

次に、図５に示すフローチャートを用いて、撮像装置１００の静止画再生モードにおける動作について説明する。図５のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

制御部１６１は撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ６０１）、負荷状況に応じてアイドル状態（Ｓ６１０）へ遷移させ、そうでなければＳ６０２へ処理を進める。負荷状態は制御部１６１が有するＣＰＵの稼働率や、予め定められた高負荷の動作、例えば高速連写動作が行われているかどうかなどに応じて判別することができるが、これらに限定されない。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をＳ６０２へ進める。なお、アイドル状態へ移行するかどうかの判定処理については撮影モード動作で説明したものと同じであってよい。

例えば、ユーザからの操作に応じて静止画の再生が開始されている（再生中の状態を含む）場合、制御部１６１は処理をＳ６０２へ進める。Ｓ６０２において、制御部１６１は、静止画を拡大表示するようにユーザから指示されているか判定する。制御部１６１は、拡大表示の指示を受けていればＳ６０３に、受けていなければＳ６２０に処理を進める。

図６は、本実施形態の撮像装置１００が静止画再生時に表示部１２３で行う表示の形態例を模式的に示す図である。
図６（ａ）に示す表示画面７００は、縮小画像を表示する例であり、ここでは６つずつ表示する例を示している。図６（ｂ）に示す表示画面７１０は、１つの画像７１１の全体を表示している例であり、通常表示の状態である。図６（ｃ）に示す表示画面７２０は、１つの画像の一部の拡大画像７２１を表示している例であり、拡大表示に該当する。拡大表示は例えば、撮影直後にフォーカスの適否の確認を行うような場合に用いられる。また、ユーザからの拡大表示の指示に応じても実行される。

Ｓ６０２で拡大表示の指示を受けていない場合、制御部１６１は、表示部１２３の表示画素数Ａと、簡易静止画ファイルの画素数Ｂとの関係がＡ≦Ｂであれば通常表示、Ａ＞Ｂであれば縮小表示とする。

Ｓ６２０において、制御部１６１は、記録再生部１５１を通じて記録媒体１５２等から再生対象の静止画ファイルを読み出し、静止画伸張部１４３に供給する。そして、Ｓ６２１において、制御部１６１は静止画伸張部１４３が伸張した静止画ファイルを表示処理部１２２に供給する。Ｓ６０８において表示処理部１２２が図６（ａ）〜（ｃ）に示すような形態で画像を表示部１２３へ出力する。

画像の全体を表示する場合、表示画素数Ａが簡易現像による静止画ファイルの画素数Ｂ、上述の例ならば２００万画素以下であれば、簡易現像部１１１で現像処理された静止画ファイルであっても十分な画質である。高画質現像部１１２で現像処理された静止画ファイルが全体表示に十分な画質であるということは言うまでも無い。

一方、画像の一部を切り出して等倍表示することにより拡大表示を実現する場合、簡易現像による静止画ファイルでは切り出した部分の画素数が表示画素数を下回ることが起こり得る。この場合、画素補間などの拡大処理が必要となり、解像感の低下を招いてしまう。

よって、拡大表示する場合、制御部１６１はＳ６０３において、拡大表示する画像の静止画ファイルが、高画質現像部１１２で現像されたもの（後現像されたもの）であるかどうかを判定する。判定は、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、簡易現像部１１１で処理されたものか否かを識別するフラグから行うことができる。あるいは、ＲＡＷファイル４１０の中の現像ステータス４１５を参照して判定したり、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定してもよい。

Ｓ６０３で、拡大表示する静止画が高画質現像されたものであると判定された場合、十分な画質で拡大表示可能である。そのため制御部１６１は処理をＳ６２０に進め、記録再生部１５１によって記録媒体１５２等から読み出した静止画ファイルを表示処理部１２２を通じて表示部１２３に表示する。

Ｓ６０３で、拡大表示する静止画が高画質現像されたものでないと判定された場合、簡易現像部１１１で現像処理された静止画ファイルであることを意味する。この場合、制御部１６１はＳ６０４移行の処理によって高画質現像（上述した、後現像）を実行する。なお、ここでは簡易現像された画像ファイルが拡大表示対象の場合は無条件に高画質現像を実行するものとしたが、簡易現像による静止画ファイルにおける拡大表示領域内の画素数が表示画素数未満である場合だけ高画質現像を実行するようにしてもよい。

Ｓ６０４において制御部１６１は、再生対象の静止画に対応するＲＡＷファイルがバッファ部１１５に存在しているかどうかを調べる。ＲＡＷファイルがバッファ部１１５に存在していない場合、制御部１６１はＲＡＷファイルを記録再生部１５１を通じて記録媒体１５２等からバッファ部１１５に読み出す（Ｓ６０５）。

バッファ部１１５は、古いものから順に削除することで、静止画撮影モードで撮影された直近の所定数のＲＡＷデータが保存されるように更新されている。こうすることにより、比較的最近に記録媒体１５２に記録された画像ファイルに対応するＲＡＷデータはバッファ部１１５に保持されているので、Ｓ６０５をスキップして、表示処理を高速に実施することが可能になる。

Ｓ６０６において、ＲＡＷ伸張部１１４が、バッファ部１１５から読み出したＲＡＷファイルを復号して伸張し、ＲＡＷ画像を復元する。ＲＡＷファイル内のＲＡＷ画像データが圧縮されていない場合には復元処理は不要である。

復元されたＲＡＷ画像は、高画質現像部１１２に供給されて高画質現像処理が適用され（Ｓ６０７）た後、スイッチ部１２１を経由して表示処理部１２２に出力される。Ｓ６０８において、表示処理部１２２が図６（ｃ）に示すような拡大画像を表示部１２３へ出力する。なお、拡大表示用の部分画像の切り出しは例えば制御部１６１からの指示に従って表示処理部１２２が行うことができる。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサ部１０２から読出された全体サイズのまま、あるいはユーザから設定されたサイズである。これは、通常、簡易現像された画像のサイズ（例えば２００万画素以下）よりも大幅に大きいため、高画質現像部１１２で現像された静止画ならば、十分な画質で拡大表示が可能である。

なお、Ｓ６０８で表示が行われると、制御部１６１は処理をＳ６０１に戻す。なお、表示対象の画像の変更指示、拡大表示の解除指示、縮小表示画面からの全体表示もしくは拡大表示指示などに応じて上述の処理を実行し、制御部１６１は指示に応じた表示用画像の生成ならびに表示を実現する。例えば制御部１６１は、全体表示状態で次の画像もしくは前の画像の表示指示があれば、表示中の画像の次もしくは直前に記録媒体１５２に記録された画像ファイルを表示対象ファイルとして上述の処理を実施する。拡大表示の解除指示については、制御部１６１は切り出しを解除し、高画質現像された画像の全体を表示するように表示処理部１２２に指示する。また、縮小表示画面から１つの縮小画像が選択されると、制御部１６１は選択された縮小画像に対応する画像ファイルもしくはＲＡＷファイルについて通常表示を実行させる。

本実施形態では、静止画再生モードにおける装置の処理負荷が小さい状態やスリープ状態など装置の処理負荷が比較的小さい状態になると、静止画の後現像が徐々に実行され、簡易現像された静止画ファイルが自然と高画質現像された静止画ファイルに置き換わる。置き換えが進むに従って、拡大表示時であってもＳ６０４〜Ｓ６０７の処理が実施される頻度が低下し、高画質画像を利用した拡大表示がスムーズに実施されるようになり、操作性が一層高まっていく。

また、高画質現像処理されていない画像の拡大表示に要する時間を短縮するため、例えば縮小表示や通常（全体）表示をしている簡易画像ファイルに対応するＲＡＷファイルがバッファ部１１５になければ、予め記録媒体１５２から読み込んでおくことができる。

次に、撮像装置１００の動画再生モードにおける動作について説明する。本実施形態の撮像装置１００は動画再生モードの動作として、通常再生、スロー再生、一時停止の３つを行う。図９は撮像装置１００が動画再生モードで行う動作と、再生速度と、再生するファイルの種類と、使用する現像処理部（現像処理の種類）との対応関係を示している。

通常再生時は、動画ファイルを予め定められた通常フレームレートで再生する。通常再生時の再生速度を１倍速とする。
スロー再生時は、画像の動きがゆっくり表示されるので、通常再生時よりも細部の画質を視認しやすい状態になるため、簡易現像部１１１よりも高画質が得られる現像処理を行うことが望ましい。しかし、例えば再生速度が１／２倍速と１／３倍速の場合は、高画質現像部１１２や第１スロー現像処理部１２０１を用いて画像処理を行うほどの時間的な余裕がないため、通常再生時と同様に動画ファイルを用いたスロー再生を行う。

一方、スロー再生速度が１／４倍速以下の場合は、スロー用処理部１１７による現像処理が可能となるため、ＲＡＷファイルをこれらの現像部で現像して生成した画像を用いてスロー再生を行う。これにより、簡易現像部１１１で現像処理した動画ファイルよりも高い画質でスロー再生することができる。再生速度が遅いほど現像処理に費やせる時間が長くなるので、図９に示すように、制御部１６１は再生速度が遅いほど、高画質な結果が得られる（必要な処理時間の長い）現像処理部を用いるようにスロー用現像部１７１を制御する。

上述の通り、第１スロー現像処理部１２０１＜第２スロー現像処理部１２０２＜第３スロー現像処理部１２０３＜第４スロー現像処理部１２０４の順に現像処理時間は長く、また現像後の画質は高くなる。本実施形態で制御部１６１は、スロー再生速度が１／４倍速の場合は第１スロー現像処理部１２０１、１／８倍速の場合は第２スロー現像処理部１２０２を用いてＲＡＷファイルを現像するようにスロー用現像部１７１を制御する。また制御部１６１は、スロー再生速度が１／８倍速の場合は第３スロー現像処理部１２０３、１／１６倍速の場合は第４スロー現像処理部１２０４を用いてＲＡＷファイルを現像するようにスロー用現像部１７１を制御する。

また、再生速度が最も遅い一時停止状態では、画像が静止して表示されるので、スロー再生時よりさらに細部の画質を視認しやすい状態になると共に、拡大表示の指示を受けやすいと考えられる。しかしながら一時停止状態では現像処理に十分な時間を費やせるため、制御部１６１は高画質現像部１１２を用いて現像を行うように現像部１１０を制御する。

なお、図９に示した再生速度、再生ファイルおよび使用する現像処理部の関係は単なる例示であり、現像部の処理能力や動画ファイルのサイズなどによって変化しうることは言うまでもない。また、再生速度の範囲や刻みについても単なる例示である。また、現像処理部の代わりに現像処理の品質を表す情報を再生速度に関連付けてもよい。

図１０示すフローチャートを用いて、上述した動画再生モードにおける撮像装置１００の動作についてさらに説明する。図１０のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

図１０において動画再生モードの処理が開始されると（Ｓ１０００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ１００１）、処理負荷が低い場合にアイドル状態（Ｓ１０１０）へ遷移させ、そうでなければＳ１００２へ処理を進める。なお、アイドル状態へ移行するかどうかの判定処理については撮影モード動作で説明したものと同じであってよい。

例えば、再生指示などのユーザ操作を待っている間は、処理負荷が低いため、制御部１６１は処理をＳ１０１０に進めてアイドル処理を実行する。また、ユーザからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合は処理負荷が低くないため、制御部１６１は処理をＳ１００２へ進める。

Ｓ１００２において制御部１６１は、再生中の動画について、ユーザからスロー再生または一時停止（ポーズ）の指示を受けているか判定し、スロー再生または一時停止の指示がなければ動画再生を継続するために処理をＳ１００３に進める。

Ｓ１００３で制御部１６１は、バッファ部１１５から、あるいは記録再生部１５１を通じて記録媒体１５２から、再生対象の動画ファイルを所定量読み出し、動画伸張部１４４に供給する。そして、Ｓ１００４において、動画伸張部１４４が、読み出された動画ファイルを１フレームずつ復号して伸張して表示処理部１２２へ出力し、Ｓ１００５において、表示処理部１２２が再生された動画の表示画像を表示部１２３へ出力する。

なお、Ｓ１００５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、制御部１６１は処理をＳ１００１に戻す。

Ｓ１００２でスロー再生か一時停止の指示を受けていると判定された場合、制御部１６１は指示が１/２倍速もしくは１/３倍速のスロー再生であるかどうかを判別する（Ｓ１０２０）。１/２倍速もしくは１/３倍速スロー再生であれば制御部１６１は処理をＳ１００３に進め、再生速度に応じた頻度でフレームを更新すること以外は上述した通常の動画再生時と同様に処理を行う。

一方、Ｓ１０２０で、指示が１/２倍速もしくは１/３倍速のスロー再生ではない場合、制御部１６１はＳ１０２１において、再生対象の動画ファイルに対応するＲＡＷファイルを、バッファ部１１５から読み出してＲＡＷ伸張部１１４に供給する。ＲＡＷファイルがバッファ部１１５に存在しない場合、制御部１６１は、記録媒体１５２からバッファ部１１５に読み出し、ＲＡＷ伸張部１１４に供給する。

Ｓ１０２２においてＲＡＷ伸張部１１４は、ＲＡＷファイル内のＲＡＷ画像データが圧縮処理されたものであれば伸張処理してＲＡＷ画像データを復元してから、一方、圧縮処理されていなければそのまま出力する。ＲＡＷ画像データが圧縮されているものかどうかは、圧縮時に例えばＲＡＷ画像データの先頭に識別可能な情報を記録しておくことなどによって判別可能である。

Ｓ１０２３、Ｓ１０２４、Ｓ１０３０、Ｓ１０３１、Ｓ１０４０、Ｓ１０４１、Ｓ１０５０、Ｓ１０５１、Ｓ１０６１は、制御部１６１がＲＡＷ画像データに適用するべき現像処理の品質（あるいは使用すべき現像処理部）を決定する処理である。上述の通り、本実施形態では再生速度（一時停止を含む）と用いるべき現像処理部とが図９に示したように予め定められており、制御部１６１は再生速度に応じてこの情報を参照して、用いるべき現像処理部を決定する。

まず制御部１６１はＳ１０２３において、Ｓ１００２で受け付けたユーザからの指示が一時停止の指示かどうか判断し、一時停止の指示であれば、高画質現像部１１２を用いて現像処理を行うように現像部１１０を制御する（Ｓ１０２４）。

本実施形態の撮像装置１００は、動画再生が一時停止された際に動画のＲＡＷファイルから高画質に現像された、一時停止表示中のフレームに対応する静止画を、新たな静止画ファイルとしてキャプチャすることが可能である。そのため、Ｓ１０２５において制御部１６１は、一時停止時に表示されているフレームを静止画としてキャプチャする指示を受けつけたか否かを判定する。Ｓ１０２５で静止画キャプチャ指示を受けつけていなければ、制御部１６１は動画のＲＡＷファイルから高画質に現像されたフレーム画像（静止画）データをスイッチ部１２１を通じて表示処理部１２２に供給し、処理をＳ１００５に進める。Ｓ１００５において、表示処理部１２２は、ＲＡＷファイルから現像された高画質な静止画像データを必要に応じて表示用の画像データに変換して表示部１２３へ出力する。この処理によって、表示中の、動画ファイルから生成された画像は、ＲＡＷ画像から高画質に現像された静止画像に基づく画像によって置き換わり、表示画質が向上する。

一方、Ｓ１０２５で静止画キャプチャの指示を受けつけた場合、制御部１６１はＳ１０２４で高画質現像部１１２によって現像処理された静止画像データをスイッチ部１２１を通じて静止画圧縮部１４１に供給する。この際、後でＳ１００５で実行する表示処理のために、表示制御部１２２にも静止画像データを供給してよい。静止画圧縮部１４１は、静止画像データに対してＪＰＥＧ等の高能率符号化処理（静止画圧縮処理）を施し（Ｓ１０２６）、高画質の静止画ファイルを生成する。
Ｓ１０２７において制御部は、記録再生部１５１を通じて静止画ファイルを記録媒体１５２等に記録したら、処理をＳ１００５に進める。Ｓ１００５の処理は上述した通りである。

なお、Ｓ１０２６で静止画圧縮部１４１によって生成される高画質の静止画ファイルは、図３（ａ）に示した静止画ファイル４００の構造を有する。メタデータ部４０２には、ＲＡＷファイルのファイル名の情報４０４として、生成元の動画のＲＡＷファイル名が格納される。また、撮影メタデータ４０６には静止画としてキャプチャされたフレームの時刻情報が格納される。従って、静止画ファイルのメタデータ部４０２から、対応する動画のＲＡＷファイルのフレーム位置を特定することができる。また、動画のＲＡＷファイルの対応するフレームのＲＡＷデータを静止画のＲＡＷ画像データとして抽出して、対となる新たなＲＡＷファイル４１０をこのとき作成しても良い。静止画のＲＡＷファイルの生成に関しては、前述の撮影モードのＳ３１０〜Ｓ３１３で説明した方法で、静止画ファイルとＲＡＷファイルを構成する。

Ｓ１０２３において、Ｓ１００２で受け付けたユーザからの指示が一時停止の指示でないと判断された場合、制御部１６１はＳ１０３０で、ユーザからの指示が１／４倍速のスロー再生指示かどうかを判断する。ユーザからの指示が１／４倍速のスロー再生指示であれば、制御部１６１は処理をＳ１０３１に進め、第１スロー現像処理部１２０１を用いて現像処理を行うように現像部１１０（スロー用現像部１７１）を制御する。

第１スロー現像処理部１２０１は、ＲＡＷ伸張部１１４から供給されるＲＡＷ画像データに現像処理を適用する（Ｓ１０３１）。現像処理後の画像データは、第１スロー現像処理部１２０１からスイッチ部１２０５および１２１を通じて表示処理部１２２に供給される。Ｓ１００５で表示処理部１２２は必要に応じて表示用の画像データに変換したのち、画像データを表示部１２３に表示する。

Ｓ１０３０において、Ｓ１００２で受け付けたユーザからの指示が１／４倍速のスロー再生指示でないと判断された場合、制御部１６１はＳ１０４０で、ユーザからの指示が１／８倍速のスロー再生指示かどうかを判断する。ユーザからの指示が１／８倍速のスロー再生指示であれば、制御部１６１は処理をＳ１０４１に進め、第２スロー現像処理部１２０２を用いて現像処理を行うように現像部１１０（スロー用現像部１７１）を制御する。

第２スロー現像処理部１２０２は、ＲＡＷ伸張部１１４から供給されるＲＡＷ画像データに現像処理を適用する（Ｓ１０４１）。現像処理後の画像データは、第２スロー現像処理部１２０２からスイッチ部１２０５および１２１を通じて表示処理部１２２に供給される。Ｓ１００５で表示処理部１２２は必要に応じて表示用の画像データに変換したのち、画像データを表示部１２３に表示する。

Ｓ１０４０において、Ｓ１００２で受け付けたユーザからの指示が１／８倍速のスロー再生指示でないと判断された場合、制御部１６１はＳ１０５０で、ユーザからの指示が１／１６倍速のスロー再生指示かどうかを判断する。ユーザからの指示が１／１６倍速のスロー再生指示であれば、制御部１６１は処理をＳ１０５１に進め、第３スロー現像処理部１２０３を用いて現像処理を行うように現像部１１０（スロー用現像部１７１）を制御する。

第３スロー現像処理部１２０３は、ＲＡＷ伸張部１１４から供給されるＲＡＷ画像データに現像処理を適用する（Ｓ１０５１）。現像処理後の画像データは、第３スロー現像処理部１２０３からスイッチ部１２０５および１２１を通じて表示処理部１２２に供給される。Ｓ１００５で表示処理部１２２は必要に応じて表示用の画像データに変換したのち、画像データを表示部１２３に表示する。

Ｓ１０５０において、Ｓ１００２で受け付けたユーザからの指示が１／１６倍速のスロー再生指示でないと判断された場合、ユーザからの指示は１／３２倍速のスロー再生指示である。そのため制御部１６１は処理をＳ１０６１に進め、第４スロー現像処理部１２０４を用いて現像処理を行うように現像部１１０（スロー用現像部１７１）を制御する。

第４スロー現像処理部１２０４は、ＲＡＷ伸張部１１４から供給されるＲＡＷ画像データに現像処理を適用する（Ｓ１０６１）。現像処理後の画像データは、第４スロー現像処理部１２０４からスイッチ部１２０５および１２１を通じて表示処理部１２２に供給される。Ｓ１００５で表示処理部１２２は必要に応じて表示用の画像データに変換したのち、画像データを表示部１２３に表示する。

なお、Ｓ１００５の表示は動画ファイルの１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、処理はＳ１００１から繰り返される。Ｓ１００１において、アイドル状態Ｓ１０１０に遷移した場合は、上述した図４のフローチャートに従って処理される。

本実施形態によれば、簡易現像処理された動画ファイルと、現像処理されていない（ＲＡＷ画像データからなる）動画ファイルとが記録されている場合、再生速度に応じて動画ファイルを再生するか、ＲＡＷ画像データを現像して再生するかを切り替える。再生速度が予め定められた閾値以下の場合にはＲＡＷ画像データを現像して再生することにより、フレームの切り替わりが遅く、画質が分かりやすいスロー再生時において表示画質を改善することができる。また、再生速度が予め定められた閾値以上の場合には動画ファイルを再生するので、直ちに再生を開始でき、またＲＡＷ画像データの現像に対応していない装置においても内容を容易に確認できる。

（その他の実施形態）
上述の実施形態では、発明の理解を容易にするため、動画再生時に存在する動画ファイルが、記録時に生成された画質の低い動画ファイル（簡易動画ファイル）であることを前提として説明した。しかし、実際には、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態のときにアイドル状態に移行し、高画質現像部１１２を用いた後現像処理が実行される。従って、再生対象の動画ファイルが、後現像処理によって高画質の動画ファイルに置換されている場合もある。この場合、簡易動画ファイルを再生する場合より、暗部ノイズや符号化ノイズが目立ちにくい。従って、再生対象の動画ファイルが簡易動画ファイルかどうか判別し、簡易動画ファイルである場合のみ、上述の再生処理を行うようにしてもよい。

しかしながら、後現像済みの（高画質な）動画ファイルであっても、圧縮符号化されているため、被写体や撮影環境によってはスロー再生時に暗部ノイズや符号化ノイズが見えやすくなる場合がある。従って、再生対象の動画ファイルが後現像済みの動画ファイルであっても、ＲＡＷ画像データを現像することが可能な再生速度である場合には、上述した実施形態で説明したようにＲＡＷ画像データを現像して再生するように構成してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
以上、本発明を例示的な実施形態に関して説明したが、本発明は上述した実施形態の構成に限定されず、特許請求の範囲によって規定される発明の範囲内で種々の変更が可能である。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルタを透過した光を電気信号に変換する、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであってよい。図１１は、撮像センサ部１０２に配置されるカラーフィルタの一例であり、撮像装置１００が扱う画像の画素配列を表している。図１１に示すように、赤（Ｒ）１６０３、緑（Ｇ）１６０１、青（Ｂ）１６０２が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このようなカラーフィルタの配列は、一般に原色ベイヤー配列と呼ばれる。本実施形態の撮像センサ部１０２は、横８０００画素×縦４０００画素の画像データを６０フレーム毎秒で出力する能力を有するものとする。なお、カラーフィルタを構成する色や配列は原色ベイヤー配列に限定されず、他の任意の配列を採用することができる。

制御部１６１は、記録媒体１５２に記録されている、後現像処理が行われていないＲＡＷファイルに対応するＲＡＷ画像データが、バッファ部１１５にも記憶されているかどうか調べる（Ｓ５２１）。そして、制御部１６１は、ＲＡＷファイルがバッファ部１１５に残っていれば直接、バッファ部１１５に残っていなければＳ５２２で記録媒体１５２からＲＡＷファイルを読み出した後、処理をＳ５２３に進める。バッファ部１１５には直近に撮影されたものから予め定められた数のＲＡＷファイルが保持されている。そのため、制御部１６１は後現像処理を行うＲＡＷファイルが、記録媒体１５２に記録されているＲＡＷファイルのうち、直近に撮影されたものから予め定められた数に含まれていれば、バッファ部１１５に記憶されていることが分かる。なお、記録再生部１５１から記録時のＲＡＷファイルの情報を取得し、バッファ部１１５に記憶されているＲＡＷファイルと、記録媒体１５２に記録されているＲＡＷファイルとの対応関係を保存しておいてもよい。

また、先頭部分のみなど、一部だけが後現像処理されている場合には、ＲＡＷファイルと同時に記録された簡易動画ファイルは削除しない。そして、制御部１６１は、後現像で生成された高画質の動画ファイルのメタデータ部４０２に、対応する簡易動画ファイル名などの識別情報を含めるように記録再生部１５１を制御する。また、制御部１６１は、簡易動画ファイルの圧縮データ部４０３は保持しつつ、メタデータ部４０２に後現像処理で生成された動画ファイル名や後現像処理済みの部分を特定可能な情報などを含めるよう、記録再生部１５１を制御する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態のときに後現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。撮影時の簡易現像による動画ファイルも、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な画像の再生の要求が与えられた場合であっても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

Ｓ６０３で、拡大表示する静止画が高画質現像されたものでないと判定された場合、簡易現像部１１１で現像処理された静止画ファイルであることを意味する。この場合、制御部１６１はＳ６０４以降の処理によって高画質現像（上述した、後現像）を実行する。なお、ここでは簡易現像された画像ファイルが拡大表示対象の場合は無条件に高画質現像を実行するものとしたが、簡易現像による静止画ファイルにおける拡大表示領域内の画素数が表示画素数未満である場合だけ高画質現像を実行するようにしてもよい。

一方、スロー再生速度が１／４倍速以下の場合は、スロー用現像部１７１による現像処理が可能となるため、ＲＡＷファイルをこれらの現像部で現像して生成した画像を用いてスロー再生を行う。これにより、簡易現像部１１１で現像処理した動画ファイルよりも高い画質でスロー再生することができる。再生速度が遅いほど現像処理に費やせる時間が長くなるので、図９に示すように、制御部１６１は再生速度が遅いほど、高画質な結果が得られる（必要な処理時間の長い）現像処理部を用いるようにスロー用現像部１７１を制御する。

上述の通り、第１スロー現像処理部１２０１＜第２スロー現像処理部１２０２＜第３スロー現像処理部１２０３＜第４スロー現像処理部１２０４の順に現像処理時間は長く、また現像後の画質は高くなる。本実施形態で制御部１６１は、スロー再生速度が１／４倍速の場合は第１スロー現像処理部１２０１、１／８倍速の場合は第２スロー現像処理部１２０２を用いてＲＡＷファイルを現像するようにスロー用現像部１７１を制御する。また制御部１６１は、スロー再生速度が１／１６倍速の場合は第３スロー現像処理部１２０３、１／３２倍速の場合は第４スロー現像処理部１２０４を用いてＲＡＷファイルを現像するようにスロー用現像部１７１を制御する。

一方、Ｓ１０２５で静止画キャプチャの指示を受けつけた場合、制御部１６１はＳ１０２４で高画質現像部１１２によって現像処理された静止画像データをスイッチ部１２１を通じて静止画圧縮部１４１に供給する。この際、後でＳ１００５で実行する表示処理のために、表示処理部１２２にも静止画像データを供給してよい。静止画圧縮部１４１は、静止画像データに対してＪＰＥＧ等の高能率符号化処理（静止画圧縮処理）を施し（Ｓ１０２６）、高画質の静止画ファイルを生成する。
Ｓ１０２７において制御部は、記録再生部１５１を通じて静止画ファイルを記録媒体１５２等に記録したら、処理をＳ１００５に進める。Ｓ１００５の処理は上述した通りである。

Claims (10)

1. ＲＡＷ画像データに第１の現像処理を行って生成された動画ファイルを取得する取得手段と、
   前記動画ファイルの再生を制御する制御手段と、
   ＲＡＷ画像データの現像処理が可能な現像手段と、
   前記動画ファイルの再生速度が予め定められた閾値以下かどうか判定する判定手段と、を有し、
   前記制御手段は、前記動画ファイルの再生速度が前記閾値より高いと判定された場合には、前記動画ファイルを前記再生速度で再生し、前記動画ファイルの再生速度が前記閾値以下と判定された場合には、前記動画ファイルに対応するＲＡＷ画像データに、前記現像手段によって第２の現像処理を行って前記再生速度で再生するように前記制御を行い、
   前記第２の現像処理は、前記第１の現像処理よりも高精度であることを特徴とする画像処理装置。
2. 前記第１の現像処理が、前記第２の現像処理よりも処理負荷が低いことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の現像処理で得られる画像データは、前記第２の現像処理で得られる画像データよりも画素数が少ないことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の現像処理は、前記第２の現像処理よりも工程の数が少ないか、前記第２の現像処理よりも工程の精度が低いか、の少なくとも一方であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記現像手段は精度の異なる複数の現像処理を実行することができ、前記制御手段は、前記再生速度が前記閾値以下の場合、再生速度が遅いほど精度の高い現像処理を行うように前記現像手段を制御することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記判定手段は、前記動画ファイルの再生が一時停止している場合、再生速度がもっとも低いものと判定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記動画ファイルの再生が一時停止している際、ユーザの指示に応答して、前記第２の現像処理を行って得られた画像データから静止画ファイルを生成する生成手段をさらに有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記動画ファイルと、前記動画ファイルに対応するＲＡＷ画像データとが、同一の記録媒体に関連付けられて記録されていることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. ＲＡＷ画像データの現像処理が可能な現像手段を有する画像処理装置の制御方法であって、
   取得手段が、ＲＡＷ画像データに第１の現像処理を行って生成された動画ファイルを取得する取得工程と、
   制御手段が、前記動画ファイルの再生を制御する制御工程と、
   判定手段が、前記動画ファイルの再生速度が予め定められた閾値以下かどうか判定する判定工程と、を有し、
   前記制御工程において前記制御手段は、前記判定工程において前記動画ファイルの再生速度が前記閾値より高いと判定された場合には、前記動画ファイルを前記再生速度で再生し、前記判定工程において前記動画ファイルの再生速度が前記閾値以下と判定された場合には、前記動画ファイルに対応するＲＡＷ画像データに、前記現像手段によって第２の現像処理を行って前記再生速度で再生するように前記制御を行い、
   前記第２の現像処理は、前記第１の現像処理よりも高精度であることを特徴とする画像処理装置の制御方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images