JP2016005103A

JP2016005103A - 撮像装置およびその制御方法

Info

Publication number: JP2016005103A
Application number: JP2014123812A
Authority: JP
Inventors: 浩二磨田; Koji Mada
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-06-16
Filing date: 2014-06-16
Publication date: 2016-01-12

Abstract

【課題】高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な撮像装置およびその制御方法を提供する。
【解決手段】撮影時には、ＲＡＷ画像データを簡易現像処理した画像データに基づく第１の符号化画像データをＲＡＷ画像とともに記録し、後で、ＲＡＷ画像データを高画質現像処理した画像データに基づく第２の符号化画像データを生成して記録する。撮影時に第２の符号化画像データのデータ量を見積もり、このデータ量に基づく領域を第２の符号化画像データを記録するための領域として確保しておく。また、記録媒体の空き容量と、予め定められた固定量とから、記録可能な枚数または時間を表す残量情報を取得する。
【選択図】図１

Description

本発明は、撮像装置およびその制御方法に関する。

従来、単板式カラー撮像センサを用いる撮像装置では、撮像センサによって得られる画像情報（ＲＡＷ画像）にいわゆる現像処理を適用し、現像処理された輝度信号及び色差信号を圧縮符号化してＪＰＥＧ形式で記録媒体に記録するのが一般的である。現像処理には、各画素について色補間処理を行って輝度と色差から成る信号を生成するデモザイク処理、信号に対するノイズ低減処理、ホワイトバランス処理、光学的な歪を補正する処理、画像の適正化処理などが含まれるが、これらに限定されない。

一方、ＲＡＷ画像を記録できる撮像装置も存在する（特許文献１）。ＲＡＷ画像はＪＰＥＧ形式などと比較して記録に必要なデータ量が膨大になるが、画質の劣化を最低限に抑えながら柔軟な後編集が可能であるという利点がある。

特開２０１１−２４４４２３号公報特開２００８−６６８５２号公報

近年の撮像装置は、撮像素子の画素数が増加し、画像１枚あたりのデータ量が大幅に増加してきている。また、読み出し動作の高速化などにより、１秒間に連写できる画像の枚数も増える傾向にある。そのため、デモザイク処理や、ノイズ除去、光学歪補正など、ＲＡＷ画像に対する現像処理を構成する個々の処理量が相乗的に増大し、撮影と並行したリアルタイムの現像処理を行うには、回路規模や消費電力の大きなプロセッサが必要になっている。そして、処理能力や消費電力に占める現像処理の割合が高くなることで、撮影を含めた他の処理が制限を受ける場合も起こり得る。

特許文献１のように、ＲＡＷ画像を現像せずに記録する構成ならば、撮影時の現像に係る処理量を軽減することができる。しかし、未現像状態で記録されるため、画像を速やかに再生表示することが困難である。また、ＲＡＷ画像のデータ形式はメーカや機種によって異なるため、撮影した機器と別の機器では現像や再生ができるとは限らず、ユーザーの利便性を損なうことがあった。

このような課題を緩和する方法として、撮影時にはリアルタイムの現像処理を行わずにＲＡＷ画像を記録しておき、記録後、処理負荷に余裕のある際に現像処理を行い、現像処理された輝度信号及び色差信号を圧縮符号化する方法が考えられる。しかし、記録媒体の残量が少なくなっている場合、圧縮符号化したデータを記録媒体に書き込むことができなくなる懸念がある。

破棄する符号化データと同サイズの符号化データを生成し、記録媒体に上書きすることで、後から生成する圧縮符号化したデータが必ず記録媒体に書き込めるようにする技術が、特許文献２に記載されている。しかし、ＲＡＷ画像を現像して圧縮符号化したデータのサイズが分からない場合にはこの技術を適用することができない。

本発明はこのような従来技術の課題に鑑みてなされたものであり、高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な撮像装置およびその制御方法を提供することにある。

上述の目的は、撮像手段と、撮像手段により得られたＲＡＷ画像データに対して第１の現像処理、または第１の現像処理よりも高画質な画像を得るための第２の現像処理を行って画像データを生成する現像手段と、現像手段により生成された画像データを符号化して符号化画像データを生成する符号化手段と、ＲＡＷ画像データに対して第２の現像処理を行ったとした場合に、符号化手段で生成されるであろう第２の符号化画像データのデータ量を見積もる見積もり手段と、記録媒体にデータを読み書きする記録手段と、ＲＡＷ画像データとＲＡＷ画像データに対して第１の現像処理を行って生成された画像データを符号化手段によって符号化することにより生成された第１の符号化画像データを記録媒体に書き込むように記録手段を制御し、記録媒体に書き込まれたＲＡＷ画像データに対応する第２の符号化画像データを生成するように現像手段および符号化手段を制御し、第２の符号化画像データを記録媒体に書き込むように記録手段を制御する制御手段と、記録媒体の空き容量と、予め定められた固定量とから、記録可能な枚数または時間を表す残量情報を取得する残量取得手段と、を有し、制御手段は、見積もり手段が見積もったデータ量に基づいて、記録媒体に書き込まれたＲＡＷ画像データに対応する第２の符号化画像データを書き込むための領域を記録媒体に確保し、確保した領域に第２の符号化画像データを書き込むように記録手段を制御する、ことを特徴とする撮像装置によって達成される。

本発明によれば、高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な撮像装置およびその制御方法を提供することができる。

本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図実施形態に係る撮像装置の静止画撮影モードにおける動作を説明するためのフローチャート実施形態における静止画ファイルとＲＡＷファイルの構成例を示す図実施形態に係る撮像装置のアイドル状態における動作を説明するためのフローチャート実施形態における簡易現像前後の画像データ量の関係例を示す図第１の実施形態に係る撮像装置における、後現像処理前後の管理情報と記録媒体上のファイルの配置との関係例を示す図実施形態における静止画圧縮部の動作を説明するためのフローチャート

第１の実施形態の残量算出部の動作を説明するためのフローチャート第１の実施形態における、後現像処理前後の管理情報と記録媒体上のファイルの配置との関係例を示す図第２の実施形態の静止画圧縮部の動作を説明するためのフローチャート第２の実施形態の静止画圧縮部が行う見積もりデータ量の修正方法の例を説明するための図第２の実施形態の残量算出部の動作を説明するためのフローチャート第２の実施形態における、後現像処理前後の管理情報と記録媒体上のファイルの配置との関係例を示す図実施形態に係る撮像装置の撮像センサ部における画素配列の例を示す図

●（第１の実施形態）
以下、添付図面を参照しながら、本発明の例示的な実施形態を詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の機能構成例を示すブロック図である。これらの機能ブロックは、ＡＳＩＣなどの専用ハードウェアによって実現されてもよいし、ＭＰＵ等の汎用プロセッサがプログラムを実行することによりソフトウェア的に実現されてもよい。

図１に示した撮像装置１００は、被写体像を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理して表示する機能や、画像データを外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することもできる。

図１において、制御部１６１は、ＣＰＵ、ＭＰＵなどのプログラマブルプロセッサと、プログラマブルプロセッサが実行する制御プログラムを格納する不揮発性メモリを含み、撮像装置１００の全体の処理を制御する。なお、図１では煩雑さを避けるために一部しか記載していないが、制御や通信を行うための信号線が制御部１６１から各機能ブロックに接続されている。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、制御部１６１は検出した操作に応じた動作が実行されるように他の機能ブロックなどを制御する。表示部１２３は、表示処理部１２２を通じて提供される、撮像装置１００で撮影もしくは再生された画像や、メニュー画面、各種情報等を表示する。表示部１２３は例えば液晶ディスプレイ（ＬＣＤ）等を含む。

撮像対象となる被写体像は、撮像光学部１０１を介して撮像センサ部１０２上に結像する。操作部１６２による撮影開始の指示に応答して制御部１６１は撮影および記録動作を開始させる。なお、撮影スタンバイ時にライブビュー表示を実現するための動画撮影を行うように構成してもよい。撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１からの被写体情報に基づいて、制御部１６１によって制御される。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであってよい。図１４は、撮像センサ部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図１４に示すように、赤（Ｒ）１６０３、緑（Ｇ）１６０１、青（Ｂ）１６０２が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このようなカラーフィルターの配列は、一般に原色ベイヤー配列と呼ばれる。本実施形態の撮像センサ部１０２は、横８０００画素×横４０００画素の画像データを６０フレーム毎秒で出力する能力を有するものとする。なお、カラーフィルターを構成する色や配列は原色ベイヤー配列に限定されず、他の任意の配列を採用することができる。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像データを、未現像の画像を意味するＲＡＷ画像データという。

センサ信号処理部１０３から出力されたＲＡＷ画像データは、現像部１１０で現像処理される。現像部１１０は、複数（本実施形態では２つ）の異なる現像処理部を有し、それぞれ、処理精度と処理負荷の優先度が異なっている。本実施形態では、第１の現像処理を行う簡易現像部１１１と、第２の現像処理を行う高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理もしくは色補間処理とも呼ばれる）、ホワイトバランス調整、ＲＧＢ→ＹＵＶ変換、ノイズ低減、光学歪の補正などの現像処理を行う。なお、これらは現像処理に含まれる処理の例示であり、これらの全てが現像処理に必須であることを意味しない。他の処理が含まれてもよいし、一部が含まれなくてもよい。

高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行う。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。

他方、簡易現像部１１１は、ＲＡＷ画像データの１画面の画素数を、横２０００画素×縦１０００画素に縮小する。更に、簡易現像部１１１は、高画質現像部１１２よりも処理の精度が低いため、得られる画質は高画質現像部１１２よりも低いものの、撮影中に高速に現像処理を行うことができる。例えば、簡易現像部１１１は、デベイヤー処理やその他の補正処理のために用いるフィルターのタップ数が、高画質現像部１１２よりも少ない。このように、簡易現像部１１１は、ＲＡＷ画像データよりも画素数が少ない画像データを処理し、更に、処理自体も簡易的に行うことで、処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成としてもよい。また、複数の現像部は互いに処理負荷が異なればよく、処理する画像のサイズと処理精度の両方を下げることは必須ではない。例えば、処理する画素数は同一であるが、処理精度が異なっている現像部や、処理精度は同一であるが処理する画素数が異なっている現像部が含まれていてもよい。ただし、撮影された画像の現像処理が、次の画像の撮影開始までに完了できる現像部が少なくとも１つ含まれるようにする。

なお、図１ではセンサ信号処理部１０３からのＲＡＷ画像データが現像部１１０の中の簡易現像部１１１と高画質現像部１１２に入力されるように図示しているが、これは同一のＲＡＷ画像データに対して両方の現像部で現像処理を行うことを意味していない。処理負荷の観点から、基本的には１つの現像部だけが現像処理を実行する。従って、ＲＡＷ画像データが入力される現像部を切り替えるようにスイッチ部１２１が設けられても良い。

現像部１１０によって現像処理された画像データは、表示処理部１２２によって所定の処理がなされた後、表示部１２３にて表示される。また、現像処理された画像データは、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給される。評価値算出部１０５は、画像データから例えばフォーカス状態や露出状態などの評価値を算出する。これらの評価値は例えば制御部１６１による自動焦点検出や自動露出制御に用いられる。

現像部１１０によって現像処理された画像データは、認識部１３１にも供給される。認識部１３１は、画像データ中の被写体情報を検出及び認識する機能を有する。認識部１３１は例えば、画像データによって表される画像に含まれる人物の顔を検出し、検出された場合は顔の位置や大きさなどを示す情報を出力する。認識部１３１はさらに顔などの特徴情報に基づいて特定の人物の認証などを行ってもよい。

現像部１１０によって現像処理された画像データは、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４１を用いる。符号化手段としての静止画圧縮部１４１は、ＪＰＥＧ等の公知の符号化方式に従い静止画データを符号化する。画像データを動画として圧縮する場合は、動画圧縮部１４２を用いる。動画圧縮部１４２は、Ｈ．２６４、Ｈ．２６５等の公知の符号化方式に従って動画データを符号化する。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像データを高能率符号化（圧縮符号化）し、情報量が圧縮された画像データを生成して、記録再生部１５１に送る。また、静止画圧縮部１４１及び動画圧縮部１４２は、符号化された静止画データ、或いは動画データのデータ量を記録媒体管理部１７２へと通知する。

また、静止画圧縮部１４１は、簡易現像部１１１からの静止画データを圧縮した場合、圧縮後の静止画データ量をデータ量見積もり部１７１に通知する。データ量見積もり部１７１は、同じＲＡＷ画像データを、記録時よりも品質よく現像処理（ここでは高画質現像部１１２を用いて現像処理）して静止画圧縮部１４１で圧縮した場合のデータ量を推定する。データ量見積もり部１７１の動作の詳細については後述する。

データ量見積もり部１７１は、見積もったデータ量を記録媒体管理部１７２と静止画圧縮部１４１へと通知する。また、データ量見積もり部１７１は、データ量を見積もったＲＡＷ画像データが高画質現像部１１２で現像処理され、静止画圧縮部１４１で符号化されるまで、見積ったデータ量を例えばバッファ部１１５に保持しておくことができる。静止画圧縮部１４１は、高画質現像部１１２からの出力を符号化する際に、データ量見積もり部１７１から通知されたデータ量に応じた符号化を行うことができる。詳細は後述する。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３から出力されたＲＡＷ画像データにウエーブレット変換や、差分符号化等を適用し、データ量を削減した圧縮ＲＡＷデータを生成する。ＲＡＷ圧縮部１１３は、圧縮ＲＡＷデータをバッファ部１１５に格納する。バッファ部１１５はメモリやＨＤＤなど、任意の記憶装置であってよい。また、ＲＡＷ圧縮部１１３は、圧縮ＲＡＷデータのデータ量を記録媒体管理部１７２へと通知する。圧縮ＲＡＷデータは、バッファ部１１５に保存しておいてもよいし、格納後にさらに別の記録媒体に移動させてバッファ部１１５から削除してもよい。

記録再生部１５１は、静止画圧縮部１４１からの静止画データや、動画圧縮部１４２からの動画データを記録媒体１５２に記録する。また記録再生部１５１は、バッファ部１１５から読み出したＲＡＷデータの状態の静止画および動画データを、圧縮後の静止画並びに動画データとは別個のＲＡＷファイルとして記録媒体１５２に記録する。また記録再生部１５１は、記録媒体１５２に記録されたデータを、ＦＡＴ等の公知のファイルシステムに従いファイルとして管理する。記録媒体１５２は、例えば内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。また、記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイル（静止画、動画）を読み出すこともできる。また、記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種データファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を通じ、無線通信や有線通信によりコンピュータネットワークや外部機器へのアクセスを撮像装置１００に提供する。

記録媒体管理部１７２は、記録再生部１５１により記録媒体１５２に記録されるファイルの記録領域を管理する管理情報を生成する。
また、記録媒体管理部１７２は、
・静止画圧縮部１４１や動画圧縮部１４２から通知されたＲＡＷ画像データ、静止画データ、又は動画データのデータ量と、
・データ量見積もり部１７１からの見積データ量と、
を用いて管理情報を更新し、記録媒体１５２の記録領域を管理する。そして、記録媒体１５２における、各ファイルの記録アドレスを記録再生部１５１へと通知する。

残量算出部１８１は、記録媒体管理部１７２によって管理情報が更新されると、記録再生部１５１を通じて記録媒体１５２の管理情報を読み出し、記録媒体１５２の空き領域のサイズ（空き容量）を用いて、記録可能枚数を算出し、表示処理部１２２へ通知する。残量算出部の処理の詳細については後述する。

表示処理部１２２は、残量算出部１８１より通知された記録可能枚数を表す画像を、静止画伸張部１４３などから入力された撮像画像に重畳し、表示部１２３に表示させる。

記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮ＲＡＷデータを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷデータは、現像部１１０の簡易現像部１１１、高画質現像部１１２に供給される。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２に供給する。表示処理部１２２で処理された静止画や動画は、表示部１２３で表示される。

次に、図２に示すフローチャートを用いて、撮像装置１００の撮影モードにおける動作について説明する。図２のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。

制御部１６１は撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ３０１）、負荷状況に応じてアイドル状態（Ｓ３２０）へ遷移し、そうでなければＳ３０２へ進む。負荷状態は制御部１６１が有するＣＰＵの稼働率や、予め定められた高負荷の動作、例えば高速連写動作が行われているかどうかなどに応じて判別することができるが、これらに限定されない。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をＳ３０２へ進める。なお、アイドル状態へ遷移するかどうかの判定処理については後述する。

Ｓ３０２において制御部１６１は、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、制御部１６１は、操作部１６２を通じたユーザのズーム指示や撮影準備指示に従って、撮像光学部１０１に含まれるズームレンズやフォーカスレンズを移動させたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域を設定したりする。また、制御部１６１は、評価値算出部１０５からの評価値の情報や認識部１３１からの被写体情報に基づいて、特定被写体に対する合焦や追尾などの制御を実現する。Ｓ３０２では、所定のフレーム周期に応じた撮影条件で撮影が実施される。

Ｓ３０３では、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。例えば、センサ信号処理部１０３は、撮像素子の欠落画素に対応する電気信号や、信頼性の低い画素の電気信号に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０３の処理を終えて、センサ信号処理部１０３から出力される画像データを、ＲＡＷ画像データと呼ぶ。

Ｓ３０４において、簡易現像部１１１がＲＡＷ画像データを現像処理する。なお、制御部１６１は、遅くともＳ３０４の開始時までに、現像部１１０から簡易現像部１１１で現像処理された画像データが出力されるようにスイッチ部１２１の状態を制御する。

簡易現像部１１１は、ＲＡＷ画像データの画素数を前述のように削減し、画像を縮小する。そして、簡易現像部１１１は、縮小ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）して各画素に不足している色信号を生成したのち、輝度と色差から成る信号へ変換する（ＲＧＢ→ＹＵＶ変換）。さらに簡易現像部１１１は、各信号に含まれるノイズを除去したり、撮影光学系の光学歪（収差）を補正したり、ホワイトバランスを調整したりする。上述の通り簡易現像部１１１は、画素数を削減してから現像処理したり、ノイズ除去や光学歪補正を処理速度を優先した処理で行ったり省いたりすることで、現像処理の負荷（処理速度や消費電力）が撮像装置１００の撮影能力に与える制限を軽減または除去する。簡易現像部１１１を用いることで、例えば、高画質現像部１１２を用いた場合には不可能な高速連写速度や連続撮影枚数などを実現することができる。

簡易現像部１１１で現像処理された画像データは、スイッチ部１２１を通じて評価値算出部１０５に供給される。評価値算出部１０５は、画像データに含まれる輝度値やコントラスト値などから撮像光学部１０１の合焦状態や、画像の露出状態などの評価値を所定の方法で算出する（Ｓ３０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データに対してこれらの評価値を算出しても良い。

また、簡易現像部１１１で現像処理された画像データは、認識部１３１に供給される。認識部１３１は、画像データに対し、予め定められた特定の特徴を有する被写体（例えば人物の顔）の検出処理を適用し、被写体情報を生成する。例えば、画像データ内における顔の有無や、顔の位置や大きさ、顔に基づいて認識された個人の情報などを被写体情報として出力する（Ｓ３０６）。

また、簡易現像部１１１で現像処理された画像データは、表示処理部１２２に供給される。表示処理部１２２は、取得した画像データから表示画像を形成し、表示部１２３又は映像出力端子１２４を通じて外部の表示装置に出力して、表示する（Ｓ３０７）。表示部１２３による表示画像は例えば、撮影待機状態において、ユーザが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される評価値や被写体情報を活用して、例えば、表示画像に合焦領域や認識された顔の位置を示す枠状のマークを重畳表示したりしてもよい。

Ｓ３０８において、制御部１６１は、操作部１６２を通じてユーザから撮影指示が入力されたか判定し、撮影指示が入力された場合は処理をＳ３１０へ進め、撮影指示の入力が無かった場合はＳ３０１からの処理を繰り返す。

Ｓ３１０で制御部１６１は、撮影指示に応答して、撮像光学部１０１、撮像センサ部１０２を制御して所定の撮影条件での撮影を開始させる。ここでは、静止画撮影時の動作を説明する。撮像センサ部１０２で得られた１画面分の画像データは現像部１１０に供給されて簡易現像部１１１で現像処理されたのち、静止画圧縮部１４１に供給される。静止画圧縮部１４１は、供給された画像データに対してＪＰＥＧ符号化処理など所定の符号化処理（静止画圧縮）を施し（Ｓ３１０）、静止画データを生成する。本実施形態では、このように、撮影時において、簡易現像部１１１により現像され、静止画圧縮部１４１で符号化された静止画データを簡易静止画データ（第１の符号化画像データ）と呼ぶ。なお、符号化方法はＪＰＥＧ方式に限らず、任意のものが使用可能である。

Ｓ３１１において記録再生部１５１は、簡易静止画データを含む静止画ファイル（簡易静止画ファイル）を記録媒体１５２に記録する。

撮像センサ部１０２で得られた１画面分のＲＡＷ画像データは、さらにＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、ＲＡＷ画像データにデータ量を削減するための符号化（ＲＡＷ圧縮）処理を適用して圧縮ＲＡＷ画像データに変換する（Ｓ３１２）。圧縮ＲＡＷ画像データはバッファ部１１５に格納される。なお、ＲＡＷ画像データの符号化は可逆および不可逆符号化のいずれであってもよい。或いは、ＲＡＷ圧縮部１１３の処理を省略して、ＲＡＷ画像データが非圧縮の状態のまま出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサ信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。

Ｓ３１３において、記録再生部１５１は、バッファ部１１５から画像データを読み出し、（圧縮）ＲＡＷ画像データが格納されたデータファイル（ＲＡＷファイル）を記録媒体１５２に記録する。以降、Ｓ３０１からの処理が繰り返される。

なお、簡易静止画データの生成および記録処理（Ｓ３１０〜Ｓ３１１）と、ＲＡＷ画像データの圧縮および記録処理（Ｓ３１２〜Ｓ３１３）の少なくとも一部は並列処理されてよい。また、Ｓ３１１及びＳ３１３において、記録再生部１５１は、静止画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

なお、ここでは、Ｓ３０８で静止画の撮影指示がなされた場合について説明したが、動画の撮影指示がなされた場合も基本的には同様に処理できる。まず、Ｓ３０１〜Ｓ３０７までの処理は共通である。そして、Ｓ３１０〜Ｓ３１１で簡易動画データの生成および記録処理を、Ｓ３１２〜Ｓ３１３でＲＡＷデータの圧縮および記録処理を実施すればよい。

簡易動画データは、撮像センサ部１０２から得られるＲＡＷ画像データから構成される動画データについて、Ｓ３１０で各フレーム画像を簡易現像部１１１で現像処理し、動画圧縮部１４２で符号化して生成する。そして、Ｓ３１１で記録再生部１５１が簡易動画データを記録する。また、ＲＡＷデータについては、Ｓ３１２で各ＲＡＷ画像フレームを圧縮したデータを、Ｓ３１３でバッファ部１１５を通じて記録再生部１５１が記録する。

次に、本実施形態における静止画ファイルおよびＲＡＷファイルの構造について説明する。図３は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。
図３（ａ）は静止画ファイルの構造例を示す。静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルであることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルと同時に生成された（対応する）ＲＡＷファイル（圧縮データ部４０３に格納される静止画データの元になっているＲＡＷデータが格納されたファイル）を特定する情報（例えばファイル名）４０４が含まれる。また、メタデータ部４０２には、現像ステータス４０５と、撮影メタデータ４０６が含まれる。現像ステータス４０５は、この静止画ファイルに格納されている圧縮データが簡易現像されたものかどうかを判別するための情報である。また、撮影メタデータ４０６は、評価値算出部１０５や認識部１３１が求めた評価値や被写体情報や、撮像光学部１０１や撮像センサ部１０２からの撮影時情報（例えば、絞り値、シャッタ速度、感度、レンズ種別識別情報、センサ種別識別情報など）を含む。また、図示していないが、メタデータ部４０２は、同時に生成された（対応する）ＲＡＷファイルが記録されている記録媒体の識別コードや、記録先のパス情報、データ量見積もり部１７１から通知された見積データ量などをさらに含んでも良い。これらのメタデータは、記録媒体管理部１７２から記録再生部１５１に送られて記録される。

以上説明したように、本実施形態に係る撮像装置１００は、ライブビュー表示や、撮影開始指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。また、本実施形態に係る撮像装置１００は、撮影開始指示に応答して、ＲＡＷファイルを記録する。ＲＡＷファイルを記録するために、現像処理は必要としない。

図３（ｂ）は、ＲＡＷファイル４１０の構造例を示す。ＲＡＷファイル４１０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された静止画のＲＡＷ圧縮データが含まれている（非圧縮のＲＡＷ画像データであっても良い）。

メタデータ部４１２には、このＲＡＷファイルと同時に生成された（対応する）静止画ファイルを特定する情報（例えばファイル名）４１４が含まれる。また、対応する静止画ファイルが格納する画像データが簡易現像されたことを示す現像ステータス４１５も含まれる。また、撮影メタデータ４０６と同様の撮影メタデータ４１６が含まれる。

また、図示していないが、同時に生成された静止画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された静止画ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。これらのメタデータは、記録媒体管理部１７２から記録再生部１５１に送られて記録される。

なお、図３に示しここで説明したファイル構造は一例であり、ＥＸＩＦなど他の標準規格に準じた構成であっても良い。また、記録媒体１５２へのファイル記録は例えばＤＣＦに従ったファイルシステムで行うことができる。

次に、本実施形態における後現像処理の処理について説明する。後現像処理は、撮影時におけるＲＡＷ画像データと簡易静止画／動画データの記録動作を終えた後、ＲＡＷ画像データから高画質静止画／動画データを生成し、記録する処理である。具体的には、まず、バッファ部１１５又は記録媒体１５２等に記録されたＲＡＷ画像データを読み出して高画質現像部１１２で現像処理する。そして、静止画圧縮部１４１または動画圧縮部１４２において高画質な符号化画像データ（第２の符号化画像データ）を生成し、記録媒体１５２に記録する。本実施形態では、静止画および動画のＲＡＷ画像データに対して後現像処理が可能であるが、以下では静止画を例に説明する。

前述のように、撮影時に記録される簡易静止画データは、簡易現像部１１１で現像処理した後に圧縮されたものである。そのため、高画質現像部１１２で現像処理した場合と比較して画素数が少なかったり、画質が劣る。簡易静止画データは撮影内容を撮影直後に大まかに確認したり、撮像装置１００の表示部１２３のように画素数の低い表示装置に表示したりするには十分な品質であっても、画像の細部を確認したり、プリントアウトしたりするには品質が十分でない場合がある。

もちろん、ユーザがＲＡＷ画像データの高画質な現像処理を必要に応じて都度行ってもよいが、手間や時間がかかる。そのため本実施形態では撮像装置１００がアイドル状態である際に、後現像処理を自動的に実行するものとする。アイドル状態とは、撮影スタンバイ時、静止画再生時の待機状態、スリープ状態など、撮像装置１００の処理負荷が小さいと判定される状態である。なお、自動的に実施するだけでなく、ユーザからの指示によって後現像処理を開始してもよい。

撮像装置１００がアイドル状態かどうかの判定方法に特に制限は無く、一般的な処理負荷の測定方法をはじめとした任意の判定方法を用いることができる。例えば、制御部１６１が有するＣＰＵの稼働率が予め定めた閾値未満かどうかや、予め定められた高負荷の動作、例えば高速連写動作、記録・再生処理が行われているかどうかなどに応じて判別することができる。あるいは、基本的に負荷の低い処理しか発生しない動作モードが選択されていれば、無条件にアイドル状態とみなしてもよい。

続いて、図２のＳ３２０で実施するアイドル処理について、図４のフローチャートを用いて説明する。なお、アイドル処理は静止画撮影モードだけでなく、他の動作モードにおいてアイドル状態と判定された場合にも実行される。

図４のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図４においてアイドル状態の処理が開始されると、制御部１６１が、ユーザの設定に基づいて、後現像処理を行うか否かを判定し（Ｓ５０１）、後現像処理を行わない場合はアイドル処理を終了して元の処理に復帰し、後現像処理を行う場合はＳ５２０に遷移する。

後現像処理を行う場合、制御部１６１は、記録媒体１５２に記録されている各ＲＡＷファイルについて、後現像処理により高画質静止画ファイルが記録されているか（後現像処理済みかどうか）判定する（Ｓ５２０）。例えば制御部１６１は、ＲＡＷファイル４１０の中の現像ステータス４１５を参照し、対応する静止画ファイルが簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルの後現像処理が行われていないと判定する。あるいは、制御部１６１は、ＲＡＷファイルのメタデータ部４１２に含まれる静止画ファイル名４１４を有する静止画ファイルを記録媒体１５２内で探索する。これは、静止画撮影モードで撮影されていれば、記録媒体１５２には、１回の撮影開始指示に対して静止画ファイルとＲＡＷファイルが互いに関連付けられて１つずつ記録されていることに基づく。そして、見つかった静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５を参照し、簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルに後現像処理が行われていないと判定する。あるいは、一連の静止画に対し、後現像処理の実行有無を示すテーブルを別に用意しておき、このテーブルを参照して判定するようにしても良い。

記録媒体１５２に記録されたＲＡＷファイルの全てが後現像処理済みである場合（Ｓ５２０，ＮＯ）、制御部１６１は後現像処理を行わない場合と同様、アイドル処理を終了して元の処理に復帰する。一方、記録媒体１５２に記録されているＲＡＷファイルに後現像処理が行われていないものが存在した場合、制御部１６１は処理をＳ５２１に遷移させる。

制御部１６１は、記録媒体１５２に記録されている、後現像処理が行われていないＲＡＷファイルに対応するＲＡＷ画像データが、バッファ部１１５にも記憶されているかどうか調べる（Ｓ５２１）。そして、制御部１６１は、ＲＡＷファイルがバッファ部１１５に残っていれば直接、バッファ部１１５に残っていなければＳ５２２で記録媒体１５２からＲＡＷファイルを読み出した後、処理をＳ５２３に進める。バッファ部１１５には直近に撮影されたものから予め定められた数のＲＡＷファイルが保持されている。そのため、制御部１６１は後現像処理を行うＲＡＷファイルが、記録媒体１５２に記録されているＲＡＷファイルのうち、直近に撮影されたものから予め定められた数に含まれていれば、バッファ部１１５に記憶されていることが分かる。なお、記録再生部１５１から記録時のＲＡＷファイルの情報を取得し、バッファ部１１５に記憶されているＲＡＷファイルと、記録媒体１５２に記録されているＲＡＷファイルとの対応関係を保存しておいてもよい。

なお、後現像処理が行われておらず、バッファ部１１５にないＲＡＷファイルが複数ある場合、制御部１６１はこれらのＲＡＷファイルを１つずつ読み出して後現像処理を行ってよい。あるいは、制御部１６１はバッファ部１１５に記憶可能な範囲で任意の数のＲＡＷファイルをまとめて読み出してもよい。

制御部１６１は、記録媒体１５２からＲＡＷファイルを読み出す場合、古いものから順に読みだしてバッファ部１１５に記憶する。そして、バッファ部１１５の記憶領域が一杯になった場合、最も古いＲＡＷ画像データをバッファ部１１５から削除し、新たに撮影、あるいは、記録媒体１５２から読み出されたＲＡＷ画像データをバッファ部１１５に格納する。こうすることにより、直前に撮影されたＲＡＷ画像データは常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、後現像処理を実行するようにすれば、バッファ部１１５に保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、制御部１６１は後現像処理するＲＡＷ画像データをＲＡＷ伸張部１１４に供給する。ＲＡＷ伸張部１１４はＲＡＷ画像データが圧縮処理されたものであれば伸張処理してＲＡＷ画像データを復元してから、一方、圧縮処理されていなければそのまま出力する。ＲＡＷ画像データが圧縮されているものかどうかは、圧縮時に例えばＲＡＷ画像データの先頭に識別可能な情報を記録しておくことなどによって判別可能である。

ＲＡＷ伸張部１１４が出力したＲＡＷ画像データは、現像部１１０に供給される。後現像処理時には高画質現像部１１２で現像処理を行い、簡易現像部１１１では現像処理しないように制御部１６１が動作を制御する。ＲＡＷ画像データに対して高画質現像部１１２は簡易現像部１１１よりも高画質の画像が得られる現像処理を適用する（Ｓ５２４）。本実施形態では高画質現像部１１２はＲＡＷ画像データの画素数を削減しないほか、適用する現像処理の品質（精度や工程の数など）も簡易現像部１１１より高くする。しかし、高画質現像部１１２は簡易現像部１１１よりも高品質の画像が得られる画像処理を行いさえすれば、その具体的な現像処理の内容に制限は無い。例えば現像処理の内容は簡易現像部１１１と同等とし、画像の画素数を多くしてもよいし、画像の画素数は同様に削減するが、現像処理の品質を高くしてもよい。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像の画素数は、撮像センサ部１０２から読出された画素数のまま、あるいはユーザから設定された画素数となる。そのため、高画質現像部１１２からの画像データの画素数は、簡易現像部１１１から出力される画像データよりも多い。

高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を行わないことで、消費電力やコストの大きな回路の利用を回避している。

高画質現像部１１２で現像処理された画像データは、静止画圧縮部１４１に供給され、静止画圧縮部１４１は、取得した画像データに対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２５）、高画質静止画データを生成する。

Ｓ５２６において、記録再生部１５１が高画質静止画データを含む静止画ファイルを記録媒体１５２に記録する。

Ｓ５２７は、アイドル状態でなくなったかどうかの判断処理であり、例えば予め定められた、アイドル状態を脱するイベントが発生したかどうかの判断処理であってよい。イベントは例えば、撮影準備指示や撮影開始指示の入力、再生処理の実行指示の入力、ＣＰＵの稼働率が閾値を超えるなどであってよい。なお、これらのイベント発生は、実際にはＳ５２７で示されるタイミングで実施するのではなく、アイドル処理中に制御部１６１がバックグラウンドで監視している。イベントの発生を検知した時点で実施中の動作を中断もしくは中止するか、静止画記録が終了するまでは実行を継続するかは予め定めておくことができる。例えば、Ｓ５２２〜Ｓ５２６のどの処理を実行中かに応じて処理を継続するか中断もしくは中止するかが異なってもよい。また、発生したイベントに応じて対応が異なってもよい。例えば撮影開始指示のようにタイムラグが問題になるイベントが発生した場合は直ちに撮影処理に移行し、再生開始指示のように緊急性がさほど高くないイベントの場合には静止画記録が終了してから再生処理に移行するようにしてもよい。

処理を中断する場合、制御部１６１は、中断した処理を次にアイドル状態になった際に再開できるように必要な情報を記憶する中断処理を行う（Ｓ５２８）。中断処理は例えば途中まで処理が終わったデータの保存や、どこまで処理が終わっているのかを示す情報の保存などを含む。一方、処理を中止する場合には、次回の処理において未処理のＲＡＷファイルの処理を行えば良いため、中断処理を実施しなくてもよい。

アイドル状態でなくなった場合、制御部１６１はアイドル処理を実行する前に実施していた動作モードとイベントに応じた処理に移行する。例えば静止画撮影モードからアイドル処理に遷移していた場合に撮影指示が入力された場合、制御部１６１は静止画撮影モードの処理をＳ３１０の撮影処理から復帰させる。

Ｓ５２６で記録処理が終了した後、アイドル状態が継続していれば、処理をＳ５２０に戻し、後現像処理が未処理のＲＡＷ画像データが残っている場合には、上述した処理を繰り返して実行する。

Ｓ５２６で記録される高画質静止画ファイルは、現像ステータス４０５が高画質現像部１１２で処理されたことを示す情報であることを除き、簡易現像部１１１で処理された画像データの静止画ファイルと同様の構成を有する。

なお、Ｓ５２６で記録される高画質静止画ファイルは、ＲＡＷファイルと同時に記録された簡易静止画ファイルと同じファイル名で記録する。これは、読み出したＲＡＷファイルのメタデータ部に含まれる静止画ファイル名を記録媒体管理部１７２から記録再生部１５１に通知することで実現できる。バッファ部１１５に残っているＲＡＷ画像データを用いる場合には、記録媒体１５２に記録された対応するＲＡＷファイルのメタデータを参照すればよい。あるいは、記録再生部１５１が簡易静止画ファイルを記録する際にファイル名を制御部１６１に通知し、制御部１６１がバッファ部１１５内のＲＡＷ画像データと対応付けて保存するようにしてもよい。このようなファイル名とすることで、記録媒体１５２内の簡易静止画ファイルを高画質静止画ファイルで置き換えることができる。
また、記録媒体管理部１７２は、高画質静止画ファイルを記録する際に、記録再生部１５１を通じて、対応するＲＡＷファイルにおけるメタデータ部４１２内の現像ステータス４１５を高画質現像済（又は後現像処理済）を示す情報で更新する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態のときに後現像処理を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。これにより、細部の確認表示やプリントアウトなど、高画質な画像が要求された場合であっても、その都度な現像処理を実行する必要がなく、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

なお、撮影時の簡易現像による動画ファイルについても、同様にして後現像処理を実施し、高画質現像による動画ファイルに置き換えて行く。ＲＡＷ動画データは各フレームがＲＡＷ画像データで構成されているため、各フレームを静止画ファイルと同様にして現像処理することができる。そして、現像後のフレーム画像を動画の符号化方式に応じて符号化することで、高画質な動画ファイルを順次生成する。なお、符号化処理の効率を向上させるため、記録媒体１５２から未処理のＲＡＷファイルを読み出す場合に、動画の符号化方式に応じたフレーム数（例えばＧＯＰを構成するフレーム数）を単位とすることができる。

動画ファイルの後現像処理を中断する場合、Ｓ５２８の中断処理では、例えば、動画圧縮部１４２が所定フレーム数を単位とした符号化を行う場合、記録媒体１５２に符号化単位で高画質動画ファイルが書き込まれるまで待つ。そして、高画質動画ファイルを書き込む（簡易動画ファイルに上書きする）際に、後現像処理中のＲＡＷ動画データのファイル名と、何フレーム目まで処理が終わっているかの情報を記録媒体管理部１７２が保存しておく。そして、次回アイドル状態になったらこの情報を用いて後現像処理を再開する。なお、動画の後現像処理時には、符号化単位で高画質動画ファイルを書き込む毎にファイルをクローズして記録媒体１５２の管理情報を更新してもよいし、中断時にこれらの書き込み終了処理を実施してもよい。前者の方が処理が煩雑であるが、後現像処理から他の処理に移行するまでに要する時間が短いほか、ファイルが破損したりする危険性は小さくできる。なお、イベントによっては直ちに処理を中止してもよいことは静止画の後現像処理と同様であるが、この場合でも記録媒体１５２における処理中の動画ファイルをクローズする点で異なる。

（見積処理）
続いて、データ量見積もり部１７１が行う見積処理について、図５を用いて説明する。本実施形態では、ＲＡＷ画像データから後現像処理により生成される高画質静止画データのデータ量を、ＲＡＷ画像データの記録時に見積もる。図５（ａ）は、センサ信号処理部１０３から出力された画像データの画素数と、簡易現像された画像データの画素数の大小関係を示す図である。６０１は、簡易現像された画像データである。６０２は、センサ信号処理部１０３から出力された画像データである。

本実施形態では、図５（ａ）に示すように、簡易現像部１１１によって、センサ信号処理部１０３からの画像データの画素数を水平方向に１／Ｎ倍、垂直方向に１／Ｍ倍に縮小する。そのため、簡易現像処理された画像データの画素数は、センサ信号処理部１０３からの画像データの１／（Ｎ×Ｍ）となる。

図５（ｂ）は、簡易現像部１１１からの出力を静止画圧縮部１４１にて高能率符号化処理（静止画圧縮）を施し、生成された簡易静止画データのデータ量と、データ量見積もり部１７１が算出する見積もりデータ量の関係を示す図である。
６１１は、簡易静止画データのデータ量である。６１２は、算出された見積もりデータ量である。６１３は、所定のオフセットである。データ量見積もり部１７１は、例えば以下のような式で、高画質静止画データのデータ量を算出する。

見積もりデータ量＝（ＳＩＺＥ／ＲＥＤ＿ＲＡＴＩＯ）＋ＯＦＳ・・・（式１）
あるいは
見積もりデータ量＝（ＳＩＺＥ×Ｎ×Ｍ）＋ＯＦＳ・・・（式１’）
ここで、
ＳＩＺＥ：簡易静止画データのデータ量
ＲＥＤ＿ＲＡＴＩＯ：縮小率（＝１／（Ｎ×Ｍ））
ＯＦＳ：オフセット
である。

図５の例では、見積もりデータ量６１２は、簡易静止画データのデータ量６１１を（Ｎ×Ｍ）倍し、オフセット６１３だけ加算した値となる。オフセット６１３の大きさは、符号化画像データから画像ファイルを生成する際に付加される領域（ヘッダなど）の容量を考慮して決定することができる。

続いて、記録媒体管理部１７２による処理について、図６を用いて説明する。
本実施形態では、後現像処理によって生成された高画質静止画データが記録媒体１５２に記録されると、対応する簡易静止画データを記録媒体１５２から削除する（高画質静止画データで簡易静止画データを上書きすることも削除に含む）。記録媒体管理部１７２は、記録媒体１５２における記録領域を管理すると共に、記録媒体１５２に記録された各ファイルのアドレスやデータ量を示す管理情報を生成し、内部のメモリに保持する。

図６（ａ）は、後現像処理が行われる前の、記録媒体１５２に記録されている各ファイルの記録領域（アドレス）及びデータ量を示す管理情報７００である。図６（ｂ）は、後現像処理が行われる前の記録媒体１５２上の各ファイルの配置を示す図である。図６（ｃ）は、後現像処理後の、記録媒体１５２に記録されている各ファイルの記録領域（アドレス）及びデータ量を示す管理情報７１０である。図６（ｄ）は、後現像処理後の記録媒体１５２上の各ファイルの配置を示す図である。

後現像処理の前の管理情報生成処理について、図６（ａ）を用いて説明する。管理情報７００において、７０１はＲＡＷファイルの記録領域及びデータ量に関する情報、７０２は簡易静止画ファイルの記録領域及びデータ量に関する情報、７０３は予約領域に関する情報である。

撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサ信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）する。記録媒体管理部１７２は、ＲＡＷ画像データのデータ量が通知されると、記録媒体１５２におけるＲＡＷ画像ファイルの記録アドレスを決定する。そして、決定されたアドレスにＲＡＷファイルを記録するように記録再生部１５１に指示すると共に、このＲＡＷファイルに関する情報（アドレス、データ量）７０１を生成し、内部のメモリに保持する。

静止画圧縮部１４１は、簡易現像部１１１で現像処理された画像データを取得し、高能率符号化処理（静止画圧縮）を施し、簡易静止画データを生成する。記録媒体管理部１７２は、簡易静止画データのデータ量が通知されると、記録媒体１５２における静止画ファイルの記録アドレスを決定する。そして、決定されたアドレスに静止画ファイルを記録するように記録再生部１５１に指示すると共に、簡易静止画ファイルに関する情報（アドレス、データ量）７０２を生成し、内部のメモリに保持する。

さらに、記録媒体管理部１７２は、データ量見積り部１７１より通知された見積もりデータ量から、簡易静止画ファイルのデータ量を差し引いたデータ量の予約領域を設定する。そして、この予約領域の情報（記録アドレス及びデータ量の情報）７０３を内部のメモリに保持すると共に、この予約領域に対するデータの書き込みを禁止するように記録再生部１５１を制御する。予約領域は１つの領域として扱われ、撮影により見積もりデータ量が通知された場合は、通知されたデータ量に基づいて予約領域の情報７０３の内容を変更する。なお、予約領域の情報７０３を複数（例えば、簡易静止画ファイルごとに）設けてもよい。

記録媒体管理部１７２は以上のような記録領域の管理情報を生成、更新を通じて、記録再生部１５１における記録媒体１５２へのファイル記録を管理並びに制御しながら、記録媒体１５２に予約領域を確保する。

後現像処理時の記録媒体管理部１７２の処理について、図６（ｃ）を用いて説明する。後現像処理の後の管理情報７１０において、７１１はＲＡＷファイルに関する情報、７１２は後現像処理によって生成された高画質静止画ファイルに関する情報、７１３は予約領域に関する情報である。

上述の通り、後現像処理時には、記録媒体１５２に記録されているＲＡＷファイルを復号した後、高画質現像部１１２で現像処理を行い、静止画圧縮部１４１で高能率符号化処理（静止画圧縮）をすることで高画質静止画データを生成する。記録媒体管理部１７２は、静止画圧縮部１４１から高画質静止画データのデータ量を通知されると、予約領域の一部を高画質静止画ファイルの記録領域に割り当て、記録アドレスを決定する。そして、記録媒体管理部１７２は、決定した記録アドレスに高画質静止画ファイルを記録するとともに、この高画質静止画ファイルの生成に用いたＲＡＷファイルに対応した簡易静止画ファイルを削除するように、記録再生部１５１に指示する。また、記録媒体管理部１７２は、高画質静止画ファイルに関する情報（アドレス、データ量）７１２を管理情報７１０に登録すると共に、記録媒体１５２から削除された簡易静止画ファイルに関する情報を管理情報７１０から削除して、管理情報７１０を更新する。さらに記録媒体管理部１７２は、記録媒体１５２における予約領域を変更し、予約領域の情報７１３を更新する。

ＲＡＷファイルに関する情報（アドレス、データ量）７１１は、後現像処理の前後で変化しない。一方、予約領域の内容は、見積もりデータ量と、後現像処理で生成された高画質静止画ファイルのデータ量の差分に応じて予約領域の情報７０３から変化する。
記録媒体管理部１７２は以上のようにして、後現像処理後の記録再生部１５１における記録媒体１５２へのファイル記録を管理並びに制御する。図６（ｄ）は、図６（ｃ）の管理情報７１０に対応する記録媒体１５２のファイル記録状態を示している。
なお、記録媒体管理部１７２は、動画データについても同様にして管理情報の生成、更新を行う。

（後現像処理時の符号化処理）
次に、後現像処理における静止画データの符号化処理について説明する。図７は、後現像処理における静止画圧縮部１４１の処理を示すフローチャートである。
静止画圧縮部１４１は、高画質現像部１１２から画像データを取得する（Ｓ８０１）とともに、見積もりデータ量を例えば制御部１６１を通じて取得（Ｓ８０２）する。静止画圧縮部１４１は符号化パラメータを設定する（Ｓ８０３）し、設定に基づく符号化処理を実施（Ｓ８０４）し、静止画ファイルを生成する。なお、Ｓ８０３において静止画圧縮部１４１は、見積データ量を考慮して符号化パラメータを設定してもよい。例えば、見積データ量の範囲に応じて設定する符号化パラメータを予め設定しておくことで、見積データ量を考慮した符号化パラメータを設定できる。なお、符号化パラメータは量子化テーブルを含んでよい。

静止画圧縮部１４１は、生成された静止画データのデータ量が見積もりデータ量以下であるか否かを判定する（Ｓ８０５）。生成された静止画データのデータ量が、通知された見積もりデータ量以下であれば処理を終了し、そうでなければ、Ｓ８０３へ進み、データ量がより小さくなるように符号化パラメータの設定を変更して符号化処理を再実施する。

以上のようにすることで、後現像処理の際に静止画圧縮部１４１により生成される静止画データのデータ量が、必ずデータ量見積もり部１７１が見積もったデータ量以下となる。そのため、後現像処理により生成された高画質静止画ファイルを書き込む場合に、予約領域が不足することがない。

（記録可能枚数算出処理）
次に、後現像時の残量算出部１８１（残量取得手段）の動作について詳細について、図８に示すフローチャートを用いて説明する。
上述の通り、残量算出部１８１は記録媒体管理部１７２が管理情報を更新（新規生成を含む）すると、記録可能枚数の取得処理を実行する。なお、例えば電源投入時など、管理情報の更新とは異なるイベントに応じて実行してもよい。

Ｓ９０１で残量算出部１８１は、記録媒体１５２の空き領域サイズ（空き容量）を取得する。空き容量の取得方法に制限は無く、は例えば記録媒体管理部１７２から取得してもよいし、記録再生部１５１を通じて記録媒体１５２から読み出してもよい。また、前述のように、後現像処理により得られる画像データを記憶するための予約領域は、空き領域としては用いられることは無い。

Ｓ９０２で残量算出部１８１は、残量情報である記録可能枚数を算出する。この方法も特に制限は無いが、
記録可能枚数＝floor（空き容量／１回の撮影に関して発生するデータ量）
として求めることができる。なお、floor(x)はｘを超えない最大の整数を表し、床関数とも呼ばれる。

ここで、１回の撮影に関して発生するデータ量は、今回の記録指示により記録されるＲＡＷ画像データのデータ量と、このＲＡＷ画像データを後現像処理することにより得られる高画質画像データのデータ量の合計である。ただし、１回の撮影指示により記録されるＲＡＷ画像データのデータ量及び、ＲＡＷ画像データを後現像処理することにより得られる符号化データのデータ量の何れも、固定量ではなく、また事前に知ることもできない。従って、ＲＡＷ画像、静止画ともに、予想される最大のデータ量に基づいて１回の撮影指示により記録されるＲＡＷ画像データ及びこのＲＡＷ画像データを後現像処理することにより得られる画像データの予測データ量（固定量）を事前に求め、記憶しておく。そして、残量算出部１８１はこの記憶値を用いて記録可能枚数を算出する。なお、１回の撮影あたりの予測データ量（固定量）は他の方法で算出してもよい。

Ｓ９０３で残量算出部１８１は、Ｓ９０２で算出した記録可能枚数が、直近に算出した（現在、表示部１２３に表示されている）記録可能枚数より多いか否かを判定する。そして、残量算出部１８１は、Ｓ９０２で算出した記録可能枚数の方が多ければ、Ｓ９０２で算出した記録可能枚数を表示処理部１２２に通知し（Ｓ９０４）、処理をＳ９０５へ進める。表示処理部１２２は、表示画像に重畳する記録可能枚数を表す画像を、残量算出部１８１から通知された記録可能枚数を表す画像に更新し、表示部１２３等に表示する。これにより、記録可能枚数を１枚増加することができる。

一方、Ｓ９０２で算出した記録可能枚数が、直近に算出した記録可能枚数と等しい場合、残量算出部１８１はＳ９０４をスキップし、処理をＳ９０５に進める。

Ｓ９０５で残量算出部１８１は、後現像処理が終了したかどうかを判定し、後現像処理が終了していれば処理を終了し、終了していなければ処理をＳ９０１戻し、管理情報の更新など、記録可能枚数の算出開始イベントの発生を待機する。

次に、図９を用いて、記録可能枚数が増加する理由について説明する。Ｓ９０３で肯定判定されるのは、１回の撮影あたりの予測データ量（固定量）に含まれるＲＡＷ画像データおよび高画質静止画データの予測最大データ量と、実際のデータ量の差の累計が新たに、１回の撮影あたりの予測データ量（固定量）以上となった場合である。即ち、本実施形態では、後現像処理の際、見積もりデータ量以下となるように、画像データを符号化する。そして、図７に示す予約領域のうち、ＲＡＷ画像データを後現像処理することにより得られた画像データと、見積もりデータ量との差に対応した記憶領域は空き領域となる。このように、後現像処理により空き領域が発生する場合がある。Ｓ９０１では、このように後現像処理により新たに発生した空き領域を含む、空き容量が取得される。

記録可能枚数の表示が０でないにも関わらず、ＲＡＷ画像データまたは後現像で得られた高画質静止画データが空き容量不足で記録できない事態は避けなければならない。そのため、多めに予測したデータ量で撮影可能枚数を算出せざるを得ず、結果としては実際よりも少ない撮影可能枚数が表示されうる。

撮影時にＲＡＷ画像データを記録した時点で、予測データ量のうち、ＲＡＷ画像データの最大予測データ量と、実際のデータ量との差が生じる。ただし、この差は直ちに空き容量に反映される。一方、予約領域（高画質静止画データ用の領域）は、後現像が終わるまでは確保され続ける。

そして、後現像処理で生成した高画質静止画データの記録が終わるごとに、見積もりデータ量と高画質静止画データの実際のデータ量との差（予測誤差）が、空き容量として発生する。記録媒体管理部１７２は後現像処理が終わるごとに管理情報を更新するため、そのタイミングで撮影可能枚数の算出処理を行うことで、予約領域の予約誤差の累計が１回の撮影あたりの予測データ量（固定量）以上となるごとに、撮影可能枚数を更新する。

図９において、横軸が時間を、縦軸が見積もりデータ量と後現像処理後の画像データの実際のデータ量との誤差によって発生した空き量量の累計を示している。また、１００１は、後現像処理前の記録媒体１５２の空き容量である。１００４は、後現像処理中に表示される記録可能枚数の変化を示している。１００２は、後現像処理中の記録媒体の空き容量を模式的に示している。１００３は、１回の撮影あたりの予測データ量（固定量）に相当するサイズの倍数に相当する空き容量を示している。

後現像実行時に静止画圧縮部１４１が生成する静止画ファイルは、必ずサイズ見積もり部１７１から通知された見積もりサイズ以下となる。後現像実行中には他の処理に係るデータ記録がないものとすると、記録媒体の空き容量１００２は、高画質静止画ファイルが記録される都度、ほとんどの場合で記録媒体の空き領域が増加する。また、減少することはない。従って、上述した記録可能枚数の算出処理を行うことにより、予約領域の大きさと実際の高画質静止画ファイルの大きさとの差に応じた空き容量の累計が、１回の撮影あたりの予測データ量（固定量）の倍数を新たに超えた時点で、記録可能枚数が増加する。

本実施形態によれば、簡易現像結果に基づく、後現像処理で得られる画像の見積データ量に基づいて記録媒体の容量を予約し、後現像処理時には見積データ量に基づいて符号化処理を実施することで、後現像処理時に記録媒体の容量が不足することを防止できる。さらに、このような予約を行うことで、後現像処理の実施により記録媒体の記録可能枚数が減少することもない。

また、後現像実行時には、高画質静止画ファイルが生成されるごとに、記録可能枚数の算出処理を実行し、予測誤差の累計が一定値の倍数以上となるごとに記録可能枚数を増加させる。そのため、後現像処理の進行に伴って、記録可能枚数を実際に記録可能な枚数に近づけることができる。

なお、ここでは静止画記録に関する記録可能枚数の算出処理について説明したが、動画記録に関する残量情報の算出も基本的な構成は同じでよい。動画記録の場合、記録可能フレーム数として表示するよりも記録可能時間で表示した方が使い勝手がよい。従って、予測誤差の累計が（フレームレート×１フレーム分の予測データ量）の倍数となるごとに、記録可能時間が１秒ずつ追加される構成とすれば良い。

また、本実施形態では管理情報の予約領域が１つである場合を説明したが、管理情報に予約領域を複数（例えば、簡易現像から生成された静止画ファイルごとに）有する場合であっても、上述した構成を適用することができる。

●（第２の実施形態）
本実施形態は、第１の実施形態の構成に対し、静止画圧縮部１４１が、
・後現像時に複数の高画質静止画ファイルをまとめて生成する場合、所定数までは、生成する静止画ファイルが、データ量見積もり部１７１から通知された見積もりサイズを超えても、再符号化する代わりに次の見積もりサイズを更新し、
・所定数を超えると、第１の実施形態と同様に、必ず、データ量見積もり部１７１から通知された見積もりサイズ以下となるよう、必要に応じて再符号化する、
点を特徴とする。

また、残量算出部１８１が、後現像処理の実行中には記録可能枚数の算出処理を行わず、後現像処理の終了後に記録可能枚数を算出する点を特徴とする。

なお、本実施形態では、Ｎ枚分の高画質静止画データをまとめて生成する場合に、前記所定数をＮ−１枚とし、最後の１枚の高能率符号化（圧縮符号化）のみ、データ量見積もり部１７１から通知された見積もりサイズ以下とするよう制御するものとする。ただし、これは単なる一例である。

（静止画符号化処理）
静止画圧縮部１４１の処理のうち、後現像処理時に高画質現像部１１２から出力された画像データに対する処理の詳細を、図１０に示すフローチャートを用いて説明する。
静止画圧縮部１４１は、高画質現像部１１２から出力された画像データを取得する（Ｓ１１０１）。また、静止画圧縮部１４１は、データ量見積もり部１７１から通知された見積もりデータ量を、前回（１枚前）の符号化で生成したデータ量を用いて修正（Ｓ１１０３）する。

Ｓ１１０３における見積もりデータ量の修正方法の一例を、図１１を用いて説明する。
図１１は、符号化を行う５枚分の静止画データについて、見積もりデータ量、修正後の見積もりデータ量、生成された静止画データ量、修正後の見積もりデータ量と生成された静止画データ量との差分（差分データ量）の例を示している。図１１において、データ量は１６進数で記載されている。

１２０１は、データ量見積もり部１７１から通知された見積もりデータ量である。
１２０２は、修正後の見積もりデータ量である。静止画圧縮部１４１は、データ量見積もり部１７１から通知された見積もりデータ量に、前回（１枚前）の符号化処理時に算出された前回差分データ量１２０５を加算して、見積もりデータ量を修正する。１枚目の画像データを符号化する際に用いる前回差分データ量１２０５は０である。

Ｓ１１０４で静止画圧縮部１４１は、見積もりデータ量を踏まえた符号化パラメータ（量子化パラメータなど）を設定し、Ｓ１１０５で符号化処理を実施する。

Ｓ１１０５で生成された符号化データの量が、図１１における静止画データ量（生成データ量）１２０３である。
Ｓ１１０６で静止画圧縮部１４１は、最後の画像データの符号化処理が終了したと判定されればＳ１１０７に、未処理の画像データがあると判定されれば処理をＳ１１０８にそれぞれ移行させる。

Ｓ１１０８で静止画圧縮部１４１は、修正後の見積もりデータ量１２０２と生成データ量１２０３との差分データ量１２０４（図１１）を算出する。生成データ量１２０３の方が修正後の見積もりデータ量１２０２より小さければ正の値、大きければ負の値となる。

Ｓ１１０７で静止画圧縮部１４１は、最後の画像データに対する生成データ量が修正後の見積もりデータ量以下であれば符号化処理を終了する。一方、最後の画像データに対する生成データ量が修正後の見積もりデータ量を超えていれば、静止画圧縮部１４１は処理をＳ１１０４に戻し、再符号化処理を行う。なお、静止画圧縮部１４１は、再符号化時にはＳ１１０４で前回よりも生成データ量が少なくなる符号化パラメータを設定する。

以上の処理について、図１１を用いて具体的に説明する。
例えば、１枚目（ＪＰＥＧ_０_１）については、
見積もりデータ量１２０１が０ｘ３００、前回差分データ量１２０５は０（１枚目のため）であるため、修正後の見積もりデータ量は０ｘ３００となる。生成データ量１２０３が０ｘ２８０のため、差分データ量は０ｘ８０となる。

同様に、２枚目（ＪＰＥＧ_０_２）については、
見積もりデータ量１２０１が０ｘ３００、前回差分データ量１２０５は０ｘ８０となるため、修正後の見積もりデータ量１２０２は０ｘ３８０となる。生成データ量１２０３が０ｘ４００のため、差分データ量１２０４は−０ｘ８０となる。
静止画圧縮部１４１は、３枚目、４枚目についても同様に処理を行う。

このようにして得られる最新の差分データ量１２０４は、これまで符号化処理された画像データの、見積もりデータ量１２０１の合計と生成データ量の合計との差を示す。従って、最後の１枚について、生成データ量１２０３が修正後の見積もりデータ量１２０２以下となるように符号化処理を行えば、記録媒体１５２に予約された領域に収めることができる。

図１１の例では、４枚目まで符号化処理が終わった時点での差分データ量１２０４が０ｘ４０であり、見積もりデータ量１２０１の合計＞生成データ量の合計であったが、５枚目の生成データ量１２０３が修正後の見積もりデータ量１２０２を０ｘ４０だけ超えた。そのため、静止画圧縮部１４１は５枚目に対して再符号化処理を実行する。

再符号化時には、修正後の見積もりデータ量を再修正することなく、当初の値を継続して用いる。従って、図１１の例では、５枚目に対する最初の符号化処理後の差分データ量１２０４は−０ｘ４０だが、再符号化時の前回差分データ量１２０５は４枚目の差分データ量１２０４の０ｘ４０であり、修正後の見積もりデータ量１２０２は０ｘ３４０である。図１１の例では１回の再符号化で修正後の見積もりデータ量以下の生成データ量が実現できたため、再符号化が１回で終わっているが、依然として生成データ量が修正後の見積もりデータ量を超える場合には、再符号化をさらに実施する。

なお、再符号化を行うのが最後の画像データだけでない場合、Ｓ１１０６では再符号化対象の画像データかどうかを判定し、再符号化対象の画像データで無ければＳ１１０８へ、再符号化対象の画像データであればＳ１１０７へ処理を移行させるようにする。また、Ｓ１１０７で生成データ量が修正後の見積もりデータ量以下である場合には、未処理の画像データが残っていればＳ１１０８へ、残っていなければ符号化処理を終了するようにする。

このように、本実施形態では、静止画圧縮部１４１が一連の画像データのうち少なくとも最後の画像データを除く画像データについては再符号化制御を行わないようにすることで、再符号化処理に伴う処理時間や処理負荷を省くことができる。一方で、一連の画像データの符号化処理で生成されるデータ量の合計が見積もりデータ量の合計以下に収まるよう、必要に応じて再符号化処理を実施するので、記録媒体１５２には後現像処理で得られた高画質の画像を確実に記録することができる。

（記録可能枚数算出処理）
続いて、本実施形態における、後現像時の残量算出部１８１の動作について、図１２に示すフローチャートを用いて説明する。
Ｓ１３０１で残量算出部１８１は、後現像処理が終了したか否かを判定し、終了していなければ一定時間後にまた判定を行う。後現像処理が終了したと判定された場合、残量算出部１８１は、処理をＳ１３０２に進めて記録媒体１５２の空き領域サイズ（空き容量）を取得する。空き容量の取得方法は第１の実施形態と同じであってよい。

Ｓ１３０３で残量算出部１８１は、例えば第１の実施形態と同様にして記録可能枚数を算出し、表示処理部１２２へ、算出した記録可能枚数を通知（Ｓ１３０４）して処理を終了する。

図１３は、図９と同様に、後現像時の現像枚数と、記録媒体の空き容量、記録可能枚数の関係例を示す図であり、１４０１〜１４０４は図９の１００１〜１００４に対応する。

図１４に示すように、後現像実行時に静止画圧縮部１４１が生成する高画質静止画ファイルのサイズ（データ量）は、サイズ見積もり部１７１から通知された見積もりサイズ以下になるとは限らない。そのため、記録媒体１５２の空き容量１４０２は、一時的に後現像実行前の記録媒体の空き容量１４０１よりも少なくなってしまうことがある。

しかし、後現像処理の終了後の空き容量１４０２が後現像処理の実行前の空き容量１４０１を下回ることはない。よって、本実施形態の残量算出部１８１は、後現像処理中には記録可能枚数の算出を行わず、後現像処理の終了後に記録可能枚数を算出して表示処理部１２２へ通知することで、後現像処理中に記録可能枚数の表示が一時的に減ることを防止している。

また、後現像処理中には記録可能枚数の算出を行わず、後現像処理の終了後に記録可能枚数を算出することで、後現像処理中に記録可能枚数の表示が一時的に減ることを防止することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…撮像装置、１０１…撮像光学部、１０２…撮像センサ部、１０３…センサ信号処理部、１０５…評価値算出部、１１０…現像部、１１１…簡易現像部、１１２…高画質現像部、１１３…ＲＡＷ圧縮部、１１４…ＲＡＷ伸張部、１１５…バッファ部

Claims

撮像手段と、
前記撮像手段により得られたＲＡＷ画像データに対して第１の現像処理、または該第１の現像処理よりも高画質な画像を得るための第２の現像処理を行って画像データを生成する現像手段と、
前記現像手段により生成された前記画像データを符号化して符号化画像データを生成する符号化手段と、
前記ＲＡＷ画像データに対して前記第２の現像処理を行ったとした場合に、前記符号化手段で生成されるであろう第２の符号化画像データのデータ量を見積もる見積もり手段と、
記録媒体にデータを読み書きする記録手段と、
前記ＲＡＷ画像データと該ＲＡＷ画像データに対して前記第１の現像処理を行って生成された画像データを前記符号化手段によって符号化することにより生成された前記第１の符号化画像データを前記記録媒体に書き込むように前記記録手段を制御し、前記記録媒体に書き込まれた前記ＲＡＷ画像データに対応する前記第２の符号化画像データを生成するように前記現像手段および前記符号化手段を制御し、前記第２の符号化画像データを前記記録媒体に書き込むように前記記録手段を制御する制御手段と、
前記記録媒体の空き容量と、予め定められた固定量とから、記録可能な枚数または時間を表す残量情報を取得する残量取得手段と、
を有し、
前記制御手段は、前記見積もり手段が見積もったデータ量に基づいて、前記記録媒体に書き込まれたＲＡＷ画像データに対応する前記第２の符号化画像データを書き込むための領域を前記記録媒体に確保し、前記確保した領域に前記第２の符号化画像データを書き込むように前記記録手段を制御する、
ことを特徴とする撮像装置。
前記残量取得手段は、前記第２の符号化画像データが前記記録媒体に書き込まれるごとに前記残量情報を取得する、ことを特徴とする請求項１記載の撮像装置。
前記残量取得手段は、生成すべき最後の前記第２の符号化画像データが前記記録媒体に書き込まれるまで前記残量情報を取得せず、該書き込みが終了すると前記残量情報を取得する、ことを特徴とする請求項１記載の撮像装置。
前記固定量が、前記ＲＡＷ画像データの予測データ量と、前記第２の符号化画像データの予測データ量とに基づくことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記見積もり手段が、前記ＲＡＷ画像データのデータ量、もしくは該ＲＡＷ画像データに対応する前記第１の符号化画像データのデータ量に基づいて、該ＲＡＷ画像データに対応する前記第２の符号化画像データのデータ量を見積もることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記制御手段は、前記撮像装置が予め定められたアイドル状態にあると判定された場合に、前記記録媒体に書き込まれた前記ＲＡＷ画像データに対応する前記第２の符号化画像データを生成するように前記現像手段および前記符号化手段を制御し、前記第２の符号化画像データを前記記録媒体に書き込むように前記記録媒体を制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記制御手段は、前記第２の符号化画像データを書き込んだ後、対応する前記第１の符号化画像データを削除するように前記記録媒体を制御することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記制御手段は、前記第２の符号化画像データで、対応する前記第１の符号化画像データを置き換えるように前記記録媒体を制御することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記制御手段は、前記第１の符号化画像データのデータ量と、前記見積もり手段が見積もったデータ量との差に応じた領域を予約領域として前記記録媒体に確保することを特徴とする請求項８記載の撮像装置。
前記符号化手段が、生成した前記第２の符号化画像データのデータ量が前記見積もり手段が見積もったデータ量を超える場合、前記第２の符号化画像データのデータ量が前記見積もり手段が見積もったデータ量以下になるように再符号化を行うことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
前記符号化手段が、複数のＲＡＷ画像データに対応する複数の前記第２の符号化画像データを生成する場合、少なくとも最後のＲＡＷ画像データに対応する第２の符号化画像データを除き、データ量が前記見積もり手段が見積もったデータ量を超えても前記再符号化を行わないことを特徴とする請求項１０記載の撮像装置。
前記第１の現像処理は、前記第２の現像処理よりも処理負荷が低いことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
前記第１の現像処理で得られる画像データは、前記第２の現像処理で得られる画像データよりも画素数が少ないことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
前記第１の現像処理は、前記第２の現像処理よりも工程の数が少ないか、前記第２の現像処理よりも精度が低いか、の少なくとも一方であることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
撮像手段と、
前記撮像手段により得られたＲＡＷ画像データに対して第１の現像処理または該第１の現像処理よりも高画質な画像が得られる第２の現像処理を行って画像データを生成する現像手段と、
前記現像手段により生成された前記画像データを符号化して符号化画像データを生成する符号化手段と、
記録媒体にデータを読み書きする記録手段と、を有する撮像装置の制御方法であって、
見積もり手段が、前記ＲＡＷ画像データに対して前記第２の現像処理を行ったとした場合に、前記符号化手段で生成されるであろう第２の符号化画像データのデータ量を見積もる見積もり工程と、
制御手段が、前記ＲＡＷ画像データと該ＲＡＷ画像データに対応する前記第１の符号化画像データを前記記録媒体に書き込むように前記記録手段を制御する工程と、
前記制御手段が、前記記録媒体に書き込まれた前記ＲＡＷ画像データに対応する前記第２の符号化画像データを生成するように前記現像手段および前記符号化手段を制御する工程と、
残量取得手段が、前記記録媒体の空き容量と、予め定められた固定量とから、記録可能な枚数または時間を表す残量情報を取得する残量取得工程と、
前記制御手段が、前記見積もり手段が見積もったデータ量に基づいて、前記記録媒体に書き込まれたＲＡＷ画像データに対応する前記第２の符号化画像データを書き込むための領域を前記記録媒体に確保し、前記確保した領域に前記第２の符号化画像データを書き込むように前記記録手段を制御する工程と、を有することを特徴とする撮像装置の制御方法。
撮像手段と、
記録媒体にデータを読み書きする記録手段と、を有する撮像装置のコンピュータを、請求項１から１４のいずれか１項に記載の各手段として機能させるためのプログラム。