JP2015220510A - 撮像装置、撮像装置の制御方法及び画像処理方法 - Google Patents

Abstract

【課題】分割画素センサを用いた撮像装置において撮影時に処理量の小さい簡易現像を行って再生容易な画像を確保しつつ、ＲＡＷ画像からの高画質現像も可能にして、記録容量を抑える撮像装置、方法を提供する。【解決手段】被写体像を撮像してＲＡＷ画像の画像情報を生成し、当該ＲＡＷ画像に対して撮影時に簡易現像して記録するとともに、当該ＲＡＷ画像も記録するように構成する。画素分割撮像素子を使用する場合は、撮像素子の分割領域ごとに得られた画像情報を互いに加算した加算ＲＡＷ画像情報と減算した差分ＲＡＷ画像情報を記録する。さらに、撮影動作を行っているときに画像を表示する場合には、簡易現像処理された画像情報を表示し、撮影動作を終えた後に画像を表示する場合には、後から高画質に現像処理された画像情報を表示するよう構成する。【選択図】図１

Description

本発明は、撮像装置、撮像装置の制御方法及び画像処理方法に関する。

従来の撮像装置では、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）を輝度と色差から成る信号に変換して、各信号について例えばノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を抑えられ、撮影後に編集できる利点がある。

ＲＡＷ画像を記録する撮像装置の構成は特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。

また、特許文献２は、撮像センサの各画素を二つに領域（高感度画素と低感度画素）分割した構造のセンサ（分割画素センサ）の場合に、高感度画素と低感度画素から得られた分割画像データを個別にＲＡＷデータとして記録媒体に記録する構成を開示する。当該構成によれば、カメラ外で画像合成するときでも容易に処理可能な記録方法を提供することができる。

また、分割画素センサでは、二つの領域の感度を等しくすることにより、視差のある二つの画像データを取得することも可能である。取得した二つの画像内の被写体の相対位置を検出することによって、画像のデフォーカス量を算出し、デフォーカス量に応じたフォーカス再調整（リフォーカス）などの画像処理も実施可能である。

特開２０１１−２４４４２３号公報 特開２００４−２２２１４８号公報

近年の撮像装置は、撮像センサが進化し、画像１枚あたりの画素数が増加してきている。また、１秒あたりに連写できる画像の枚数も増える傾向にある。そのため、ＲＡＷ画像に対する例えばデベイヤー処理や、ノイズ除去、光学歪補正など、現像処理の処理量が相乗的に増大し、撮影と並行した現像処理を行うには、膨大な回路や消費電力を費やす場合がある。時には、例えば現像処理による回路の占有や消費電力上の制限などのために、高い撮影パフォーマンスを実行できない場合も起こり得る。

一方、前述の特許文献１のように、ＲＡＷ画像を現像せずに記録する構成ならば、撮影時の現像に係る処理量は軽減されるかもしれないが、現像されていない状態で記録されるために、画像を速やかに再生表示等することが困難である。さらに、他の機器ではＲＡＷ画像を再生（現像）できない場合もあるので、従来のＲＡＷ画像の記録方式では、ユーザーの利便性を損なうことがあった。

また、前述の特許文献１のようにＲＡＷ画像を現像せずに記録する構成ならば、撮影後の現像処理および編集時に、前述の特許文献２のように高感度画素と低感度画素の画像情報からダイナミックレンジ調整等を行う場合もある。しかし、画素領域分割によって得られる画像位相情報からフォーカス調整を行いたい場合もある。その場合は分割された領域毎の情報を記録媒体に記録したいが、前述の特許文献２では分割画像データを個別のＲＡＷデータとして記録媒体に記録する手法が提案されている。しかし、記録データが増えて記録可能なデータ容量が減り、ユーザーの利便性を損なう場合があった。

このように、従来の装置で、高い撮影パフォーマンスと記録パフォーマンスを実現し、なおかつ再生画像も高速に出画可能にするには、処理性能の高い回路を搭載して高出力の駆動が求められる場合があった。また、容量の大きな記録媒体を搭載してＲＡＷ画像を記録して高速かつ簡便な再生が求められる場合があった。

そこで、本発明の目的は、分割画素センサを用いた撮像装置において撮影時に処理量の小さい簡易現像を行って再生容易な画像を確保しつつ、ＲＡＷ画像からの高画質現像も可能にして、記録容量を抑えることを可能にする。

上記目的を達成するための本発明は、撮像装置であって、
各画素が複数の領域に分割された撮像素子で被写体像を撮像して撮像素子の分割領域ごとにＲＡＷ画像を生成する撮像手段と、
前記分割領域ごとに生成されたＲＡＷ画像を加算した加算ＲＡＷ画像と、該ＲＡＷ画像を減算した差分ＲＡＷ画像とを生成する生成手段と、
前記加算ＲＡＷ画像を現像処理して第一の画像データを生成する第一の現像手段と、
前記加算ＲＡＷ画像と前記差分ＲＡＷ画像とを圧縮し、加算ＲＡＷ画像データと差分ＲＡＷ画像データとを生成するＲＡＷ圧縮手段とを備え、
前記加算ＲＡＷ画像に対し、前記第一の現像手段よりも処理負荷の高い現像処理を行うための第二の現像手段を更に備え、
前記撮像手段が撮像を行っていない場合に、前記第二の現像手段が前記加算ＲＡＷ画像を現像処理して第二の画像データを生成することを特徴とする。

本発明によれば、分割画素センサを用いた撮像装置において撮影時に処理量の小さい簡易現像を行って再生容易な画像を確保しつつ、ＲＡＷ画像からの高画質現像も可能にして、記録容量を抑えることができる。

発明の実施形態に係る撮像装置の構成例を示すブロック図である。 発明の実施形態の状態遷移図である。 発明の実施形態の静止画撮影モードの処理に係るフローチャートである。 発明の実施形態の静止画ファイルとＲＡＷファイルの構成例を示す図である。 発明の実施形態のアイドル状態の処理に係るフローチャートである。 発明の実施形態の静止画再生モードの処理に係るフローチャートである。 発明の実施形態の静止画再生モードの表示処理の例を示す図である。 発明の実施形態の動画撮影モードの処理に係るフローチャートである。 発明の実施形態の動画ファイルとＲＡＷファイルの構成例である。 発明の実施形態の動画再生モードの処理に係るフローチャートである。 発明の画素配列及び分割画素センサの構成例を説明するための図である。 発明の実施形態のリフォーカス処理に係るフローチャートである。

以下、本発明の実施の形態について、詳細に説明する。図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示した撮像装置１００は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。

また図１の撮像装置１００において、撮像素子、表示素子、入力デバイスや端子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。また、撮像装置１００は、デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。

図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、操作に応じた動作が実行されるよう制御部１６１によって制御される。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。

操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサ部１０２上に結像する。撮影時、撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される被写体情報に基づいて、カメラ制御部１０４によって制御される。

撮像センサ部１０２は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を備え、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。図１１は、撮像センサ部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図１１に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ―配列と呼ばれる。

なお、図１１（ａ）は一つの画素が一つの領域で構成される場合を示し、図１１（ｂ）は各画素が二つの分割領域（ＡとＢ）で構成される場合の例を示している。本実施形態では、図１１（ｂ）の構造の撮像センサ（分割画素センサ）を採用した例を説明する。

図１１（ｂ）の構造の撮像センサを採用した撮像センサ部１０２の構造の１例を図１１（ｃ）に示す。Ａ像用受光素子は、撮像レンズのＡ像領域を通過した光を受光し、Ｂ像用受光素子は、撮像レンズのＢ像領域を通過した光を受光する。同一撮像レンズのＡ像とＢ像を一つのマイクロレンズを通して分割画素で受光することにより、視差のある２つの画像信号を取得することが可能である。

撮像センサ部１０２によって変換された電気信号は、図１１（ｂ）に示すＡ領域とＢ領域から各々得られた画像情報を信号１７１、１７２で個別にセンサ信号処理部１０３に入力して画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と称す。

また、図１の信号１７３は図１１（ｂ）に示すＡ領域から得られた画像情報とＢ領域から得られた画像情報を加算した加算情報（加算ＲＡＷ画像）である。そして、図１の信号１７４はＡ領域から得られた画像情報とＢ領域から得られた画像情報を減算した減算情報（差分ＲＡＷ画像）である。加算ＲＡＷ画像の情報量はＡ領域またはＢ領域の画像情報量よりも１ビット分多くなるが、差分ＲＡＷ画像はＡ領域またはＢ領域の画像情報量よりも数ビット分少なくなる。従って、単純に２枚のＲＡＷ画像を保存する場合よりもデータ量を削減することが可能となる。

ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。

特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成であっても本発明の範疇である。現像部１１０によって現像処理された画像情報は、表示制御部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩやＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態や露出状態などの評価値を算出する。

現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。

現像部１１０によって現像処理された画像情報は、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像情報を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画圧縮はＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３が出力した加算ＲＡＷ画像と差分ＲＡＷ画像を各々、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化する。そして、圧縮された状態の加算ＲＡＷ画像データと差分ＲＡＷ画像データに変換して、バッファ部（一時記憶メモリ）１１５に格納する。ＲＡＷ画像データは、バッファ部１１５内に残しておいて再び読み出すことができるが、バッファ部１１５に格納された後、別の記録媒体に移動して記録する（バッファ部１１５から削除する）ようにしても良い。

ＲＡＷ画像データを含むＲＡＷファイルと、上述の静止画ファイル及び動画ファイルは、記録再生部１５１によって、記録媒体１５２に記録される。記録媒体１５２は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。

記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。

再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルに格納されたＲＡＷ画像データをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルに格納された静止画データを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルに格納された動画データを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷ画像データを読みだして、圧縮された状態のＲＡＷ画像データを復号してＲＡＷ画像を生成する。ＲＡＷ伸張部１１４によるＲＡＷ画像データの伸張処理により得られたＲＡＷ画像は、現像部１１０内の簡易現像部１１１、高画質現像部１１２に供給される。

静止画伸張部１４３は、入力された静止画データを復号して伸張し、静止画の再生画像として表示制御部１２２に供給する。動画伸張部１４４は、入力された動画データを復号して伸張し、動画の再生画像（再生動画）として表示制御部１２２に供給する。

次に、本実施形態の撮像装置１００の動作モードに関して、図を用いて詳細に説明する。図２は、撮像装置１００における、各動作モードの遷移を示す状態遷移図である。このようなモードの遷移は、操作部１６２からのユーザー操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図２のように、撮像装置１００は、アイドル状態（２００）を経由して４つのモード、静止画撮影モード（２０１）、静止画再生モード（２０２）、動画撮影モード（２０３）、動画再生モード（２０４）に適宜切り替わって動作する。

次に、撮像装置１００の静止画撮影モードにおける動作について説明する。

図３に、本実施形態の静止画撮影モードの処理に係るフローチャートを示す。図３のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図３において静止画撮影モードの処理が開始されると、Ｓ３０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ３２０でアイドル状態へ遷移し、それ以外の場合はＳ３０２へ進む。例えば、高速連写中は処理負荷が高いため、Ｓ３２０へは遷移せず、常にＳ３０２へ進む。通常の単発の撮影を行う場合においては、第１の撮影と第２の撮影の合間に例えば半分の頻度でＳ３２０へ遷移する。

Ｓ３０２において、カメラ制御部１０４が、好適な条件で撮影を行うように、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ３０３において、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。ここでは、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０３の処理を終えて、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と呼ぶ。本実施形態では、センサ信号処理部１０３は、加算ＲＡＷ画像１７３と差分ＲＡＷ画像１７４を出力する。加算ＲＡＷ画像１７３は図１１（ｂ）に示すＡ領域から得られた画像情報とＢ領域から得られた画像情報を加算した加算情報である。また、差分ＲＡＷ画像１７４はＡ領域から得られた画像情報とＢ領域から得られた画像情報を減算した減算情報である。

Ｓ３０４において、簡易現像部１１１が加算ＲＡＷ画像１７３を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。簡易現像部１１１は、加算ＲＡＷ画像１７３に対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部１１１が行う現像処理（簡易現像）について説明する。

簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。Ｓ３０５にて評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像を取得して、ＲＡＷ画像から同様に評価値を算出するようにしても良い。また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。Ｓ３０６にて認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する。

また、簡易現像部１１１で現像処理された画像情報は、表示制御部１２２にも供給される。Ｓ３０７にて表示制御部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して表示する。表示部１２３による表示画像は、静止画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。なお、表示画像は、表示制御部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示制御部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ３０８において、制御部１６１は、ユーザーからの撮影指示（撮像指示）の入力を判定し、撮影の指示があった場合は、Ｓ３０９へ進む。Ｓ３０８で撮影指示が無い場合は、Ｓ３０１へ戻って、撮影の準備動作とライブビュー表示を繰り返す。Ｓ３０８における撮影指示に応答して、簡易現像部１１１で現像処理された画像情報が、静止画圧縮部１４１に供給される。静止画圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ３０９）、静止画データを含む静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の静止画圧縮技術を用いて圧縮処理を行う。

Ｓ３１０において、記録再生部１５１が静止画ファイルを記録媒体１５２に記録する。さらに、Ｓ３０８における撮影指示に応答して、Ｓ３１１とＳ３１２では、加算ＲＡＷファイルと差分ＲＡＷファイルとの記録を行うか否かを判定する。もしＳ３１１において加算ＲＡＷファイルの記録を行う場合はＳ３１２に移行して、差分ＲＡＷファイルの記録を行うか否かを判定する。もし差分ＲＡＷファイルの記録を行う場合はＳ３１３に移行する。一方、差分ＲＡＷファイルの記録を行わない場合はＳ３１５に移行する。また、加算ＲＡＷファイルの記録を行わない場合はＳ３１７に移行して差分ＲＡＷファイルの記録を行うか否かを判定する。差分ＲＡＷファイルの記録を行う場合はＳ３１８に移行し、差分ＲＡＷファイルの記録を行わない、すなわち、加算ＲＡＷファイルも差分ＲＡＷファイルも記録しない場合はＳ３０１に戻る。

Ｓ３１３ではＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサ信号処理部１０３から出力された加算ＲＡＷ画像と差分ＲＡＷ画像を取得し、それぞれ高能率符号化（ＲＡＷ圧縮）する。ＲＡＷ圧縮処理れにより得られた加算ＲＡＷ画像データと、差分ＲＡＷ画像データとは各々バッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサ信号処理部１０３から供給される画像情報を大きく損なわない、高画質な画像として復元可能なＲＡＷ画像データを生成する。Ｓ３１４において、記録再生部１５１がＲＡＷファイルを記録媒体１５２に記録した後、フローはＳ３０１に遷移する。なお、Ｓ３１１及びＳ３１４において、記録再生部１５１は、静止画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

Ｓ３１５、Ｓ３１８では、Ｓ３１３で行った処理と同様に、それぞれ撮影された静止画に対応するセンサ信号処理部１０３から出力された加算ＲＡＷ画像、または差分ＲＡＷ画像をＲＡＷ圧縮部１１３が取得する。そして、それぞれ高能率符号化して加算ＲＡＷ画像データ、または、差分ＲＡＷ画像データに変換する。続くＳ３１６、Ｓ３１９では、記録再生部１５１が前工程で生成したＲＡＷ画像データを含むＲＡＷファイルを記録媒体１５２に記録した後、フローはＳ３０１に遷移する。以上が、本実施形態の静止画撮影モードの処理に係るフローの説明である。

ここで、本実施形態に係る、静止画ファイルの構造と、ＲＡＷファイルの構造について説明する。図４は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。

図４（ａ）に示す静止画ファイル４００は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルに格納された静止画データに対応したＲＡＷ画像データを含むＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルが簡易現像部１１１によって簡易現像された画像データを含むのか、又は高画質現像部１１２で高画質現像された画像データを含むのかを示すフラグを含む現像ステータスの情報４０５が含まれてもよい。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサ種別識別情報など）を含む撮影メタデータ４０６が含まれる。また、図示していないが、対応するＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図４（ｂ）に示すＲＡＷファイル４１０と図４（ｃ）に示すＲＡＷファイル４２０とは、バッファ部１１５に記憶されているか、または、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。なお、バッファ部１１５にＲＡＷ画像データが記憶される場合、必ずしも図４の順にファイルの形式で各データが記憶されていなくてもよい。なお、記録媒体１５２に記録した後も、ＲＡＷ画像データ及びヘッダ部、メタデータ部の情報をバッファ部１１５に保持しておいてもよい。ＲＡＷファイル４１０と４２０は、ヘッダ部４１１（４２１）、メタデータ部４１２（４２２）、圧縮データ部４１３（４２３）から成る。ヘッダ部４１１（４２１）には、このファイルが加算ＲＡＷファイルの形式であることや差分ＲＡＷファイルの形式であることを示す識別コード４１７（４２７）などが含まれている。圧縮データ部４１３（４２３）には、高能率符号化されたＲＡＷ画像データが含まれている（圧縮されていないＲＡＷ画像であっても良い）。

メタデータ部４１２（４２２）には、このＲＡＷファイルに含まれるＲＡＷ画像データを現像処理することにより生成された静止画データを含む静止画ファイルのファイル名の情報４１４（４２４）が含まれる。また、その静止画ファイルに含まれる静止画データが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含む現像ステータスの情報４１５（４２５）が含まれてもよい。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサ種別識別情報など）を含む撮影メタデータ４１６（４２６）が含まれる。また、図示していないが、対応する静止画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、対応する静止画ファイルそのものをメタデータ化して、メタデータ部４１２（４２２）に格納しても良い。上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格に準じた構成であっても良い。

なお、上述した本実施形態の図１の、Ａ領域から得られた信号１７１とＢ領域から得られた信号１７２、加算ＲＡＷ画像１７３と差分ＲＡＷ画像１７４、加算ＲＡＷファイル１７５と差分ＲＡＷファイル１７６の組み合わせは一例に過ぎない。即ち、図１１（ａ）に示す撮像素子の場合、Ｂ領域から得られた信号１７２、差分ＲＡＷ画像１７４、差分ＲＡＷファイル１７６は使用せず、Ａ領域から得られた信号１７１、加算ＲＡＷ画像１７３、加算ＲＡＷファイル１７５で画像情報を伝送することができる。

また、本実施形態と同様に図１１（ｂ）に示す撮像素子を使用する場合でも、本実施形態とは異なる情報内容の組み合わせがあっても良い。例えば、信号１７１、加算ＲＡＷ画像１７３、加算ＲＡＷファイル１７５は領域Ａに関する画像情報、信号１７２、差分ＲＡＷ画像１７４、差分ＲＡＷファイル１７６は領域Ｂに関する画像情報としても良い。さらに、例えば信号１７１、加算ＲＡＷ画像１７３、加算ＲＡＷファイル１７５は領域Ａに関する画像情報、信号１７２は領域Ｂに関する画像情報、差分ＲＡＷ画像１７４、差分ＲＡＷファイル１７６は差分画像情報に関する画像情報としても良い。

組み合わせを変えた場合も、図４に示すファイル構造を変えることなく使用可能である。そして、例えば領域ＡのみのＲＡＷファイルを生成する場合は、ＲＡＷ画像を示す図４（ｂ）のヘッダ部４１１の識別コード４１７に領域ＡのＲＡＷの形式であることを示す識別コードを挿入することができる。よって、図１１（ａ）と（ｂ）のどちらの撮像素子構造を使用しても図４に示すファイル構造を変える必要はない。また、どの組み合わせのファイルを生成して記録するのかを決定するのは撮像装置であっても、撮像装置を操作するユーザーのどちらであってもよい。
本実施形態に係る撮像装置１００は、上述のように、静止画撮影モードにおける、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される静止画データのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることで、例えば２００万画素の毎秒６０コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、静止画の撮影指示に応答して、ＲＡＷファイルを生成する。ＲＡＷファイルは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。

続いて、図３のＳ３２０におけるアイドル状態の処理について、図５のフローチャートを用いて説明する。図５に、本実施形態のアイドル状態の処理に係るフローチャートを示す。図５のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図５においてアイドル状態の処理が開始されると、Ｓ５０１にて制御部１６１が、ユーザーの設定による手動操作に応じて追いかけ現像を行うか否かを判定し、追いかけ現像を行わない場合はＳ５０２に、追いかけ現像を行う場合はＳ５２０に遷移する。

Ｓ５０１で追いかけ現像を行わない場合、ユーザーからのモード設定に従って、制御部１６１が図２に示した２０１，２０２，２０３，２０４の何れかのモードに遷移するか判定する（Ｓ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０５）。そして、制御部１６１が、選ばれたモードの処理フローへ遷移するよう制御する（Ｓ５１０、Ｓ５１１、Ｓ５１２、Ｓ５１３）。

ここで、本実施形態に係る「追いかけ現像」とは、撮影動作終了後、バッファ部１１５に保持されたＲＡＷ画像データ、又は、記録媒体１５２等に記録されたＲＡＷファイルに格納されたＲＡＷ画像データに対し、改めて高画質に現像処理を施し、高画質の表示画像や高画質の静止画データを生成する処理を意味する。本実施形態に係る追いかけ現像の対象となるＲＡＷファイルは、静止画と動画の両方を対象とするが、以下では静止画を例に説明する。

上述したように、撮影時に現像処理された静止画データは、簡易現像部１１１で現像されているため、画素数が２００万画素以下であったり、現像処理を一部省いていたりするために、画質は限定的な品質である。撮影内容の大まかな確認としては有効であるが、画像の細部を確認したり、プリントアウトしたりする用途には十分ではない場合がある。一方、ＲＡＷ画像データは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高品質を有するが、現像処理前のデータであるため、そのままの状態で表示やプリントアウトを行うことが困難である。表示やプリントアウトのためには現像処理が必要となり、現像のための時間を要してしまう。また、一般に、ＲＡＷ画像データはメーカ固有の形式であることが多く、ＲＡＷ画像データを扱える再生環境も限定されてしまう。

そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているＲＡＷファイルから１フレーム毎にＲＡＷ画像データを読みだして、高画質現像部１１２によって高画質に現像処理を行う。そして、高画質な現像処理を行うことにより得られた画像データを記録媒体１５２等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態において実行させる。追いかけ現像は手動に限らず、制御部１６１が自動に実行させるように設計すると良い。

このように構成することにより、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

図５の説明に戻り、記録媒体１５２等には、１回の撮影指示に対して、現像処理により得られた静止画データを格納する静止画ファイルと加算ＲＡＷ画像データを格納する加算ＲＡＷファイル、差分ＲＡＷ画像データを格納する差分ＲＡＷファイルが１組として記録されている。手動または自動によって追いかけ現像を行う場合、Ｓ５２０にて制御部１６１が、各画像の組について、追いかけ現像が処理済みか未処理かを判定する。判定の方法は、例えば静止画ファイル４００の現像ステータス４０５に含まれる、静止画ファイルが格納する静止画データが簡易現像部１１１で処理されたものか否かを識別するためのフラグを参照する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、高画質現像部１１２で現像されたことを示すフラグ情報が含まれるかにより判定してもよい。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

制御部１６１によって、追いかけ現像が処理済みと判断されれば、Ｓ５０２に遷移する。追いかけ現像が未処理の静止画があれば、Ｓ５２１に遷移する。Ｓ５２１では制御部１６１が、追いかけ現像が未処理の静止画に対応するＲＡＷファイルが、バッファ部１１５に記憶されているか否かを判定する。もしバッファリングされていれば、Ｓ５２３に進み、バッファリングされていなければＳ５２２で対応するＲＡＷファイルを記録媒体１５２等から読み出す。

バッファ部１１５は、静止画撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファに保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２から読み出したＲＡＷ画像データを伸張処理し、ＲＡＷ画像を復元する。このとき伸張処理の対象となるＲＡＷ画像データは、加算ＲＡＷ画像データのみ、または加算ＲＡＷ画像データと差分ＲＡＷ画像データの二つのＲＡＷ画像データである。

復元されたＲＡＷ画像は、Ｓ５２４にて高画質現像部１１２が高画質に現像し、スイッチ部１２１を経由して表示制御部１２２や静止画圧縮部１４１に出力される。高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。

高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサ部１０２から読出された全体サイズのまま、或いはユーザーから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。

なお、ＲＡＷ伸張部１１４が差分ＲＡＷ画像を復元した場合には、フォーカス再調整を行うことも可能である。また、図１１（ｂ）に示すＡ領域とＢ領域が高感度画素と低感度画素の場合には、差分ＲＡＷ画像を復元することによってダイナミックレンジ調整を行うことも可能である。図１２は、フォーカス再調整のフローチャートの一例を示す。図１２に対応する処理は、例えばＳ１０２２の高画質現像処理の一部として実行することができる。Ｓ１２０１にてＲＡＷ伸張部１１４は、Ｓ１０２１で伸張された加算ＲＡＷ画像信号と差分ＲＡＷ画像信号を加算して１／２にしてＡ画像信号を復元し、伸張された加算ＲＡＷ画像信号と差分ＲＡＷ画像信号を減算して１／２にしてＢ画像信号を復元する。続くＳ１２０２で、高画質現像部１１２はＡ画像信号とＢ画像信号の位相差を検出する(位相差検出処理)。さらにＳ１２０３で、高画質現像部１１２は検出した位相差と撮像レンズの光学特性や二つの撮像素子の距離などからデフォーカス量（ピントずれ量）を算出する(デフォーカス算出処理)。Ｓ１２０４で、高画質現像部１１２は算出したデフォーカス量に基づき、伸張された加算ＲＡＷ画像信号を補正してフォーカス再調整処理（リフォーカス処理）を行う。なお、デフォーカス量の算出方法及びリフォーカス処理の詳細については公知の技術を利用することができるので、ここでの詳細な説明は省略する。このようにしてリフォーカス処理されたＲＡＷ画像につき、Ｓ１０２２にて高画質現像部１１２は上述の高画質現像を行うことができる。なお、上記では、図１２のリフォーカス処理を高画質現像部１１２が実行する場合を説明した。しかし、それ以外にもこれらの処理を実行するリフォーカス処理部を別途設けて処理を行うこともできる。

高画質現像部１１２で現像処理された画像情報は、静止画圧縮部１４１に供給され、Ｓ５２５にて静止画圧縮部１４１が、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し、高画質の静止画データを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

続くＳ５２６において、記録再生部１５１が高画質に現像された静止画データを格納する静止画ファイルを記録媒体１５２等に記録したら、フローはＳ５０２に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の静止画がある場合、その画像毎に同様の処理を繰り返して実行可能である。

Ｓ５２６で記録される静止画ファイルは、図４（ａ）に示す静止画ファイル４００の構成で、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルに含まれる静止画データに対応するＲＡＷ画像データが格納されたＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルに含まれる静止画データが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含む現像ステータスの情報４０５が含まれる。また、対応するＲＡＷファイルのメタデータから抽出された、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報を含む撮影メタデータ４０６が含まれる。

記録再生部１５１は、高画質現像処理により得られ、Ｓ５２６で記録される新たな静止画データを含む静止画ファイルには、対応するＲＡＷファイルのＲＡＷ画像データから簡易現像により得られた画像データを含む静止画ファイルと同じファイル名を与えて、上書き記録する。すなわち簡易現像による静止画データを含む静止画ファイルは削除される。そして、記録再生部１５１は、対応するＲＡＷファイルにおけるメタデータ部４１２内の現像ステータス４１５を、高画質現像済（又は追いかけ現像済）を示す情報にて更新する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに追いかけ現像を実行する。そして、撮影時の簡易現像による静止画データを含む静止画ファイルを、高画質現像による静止画データを含む静止画ファイルに置き換えて行く。撮影時の簡易現像による動画データを含む動画ファイルも、高画質現像による動画データを含む動画ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

次に、撮像装置１００の静止画再生モードにおける動作について説明する。図６に、本実施形態の静止画再生モードの処理に係るフローチャートを示す。図６のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図６において静止画再生モードの処理が開始されると、Ｓ６０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ６１０でアイドル状態へ遷移し、それ以外の場合はＳ６０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ６１０へ遷移する。ユーザーからの操作に応じて静止画の再生が開始されている（再生中の状態を含む）場合はＳ６０２へ進む。Ｓ６０２において、制御部１６１が、再生される静止画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればＳ６０３に進み、拡大表示がなければＳ６２０に進む。

図７に、拡大表示を含む表示形態の種類を説明する。図７は、本実施形態の静止画再生モードの表示処理の例を示す図である。

図７（ａ）の表示例７００は、７０１で示す６つの画像を縮小して表示部１２３に縮小表示している例である。図７（ｂ）の表示例７１０は、ある１つの画像７１１の全体を表示部１２３に表示している例であり、この表示の状態を通常表示とする。図７（ｃ）の表示例７２０は、ある１つの画像の一部領域を拡大した画像７２１を表示部１２３に拡大表示している例である。例えば、撮影直後にフォーカスの適否の確認を行うような場合に、表示例７２０のように被写体像の細部を拡大表示する使われ方が一般的である。

表示例７２０のように拡大表示する場合、図６のフローはＳ６０２からＳ６０３へ遷移する。表示例７００のように縮小表示する場合は、Ｓ６０２からＳ６２０へ遷移する。表示例７１０のような場合は、表示部１２３の表示画素数が簡易現像による静止画ファイルの画素数、上述の例ならば２００万画素以下、であれば等倍もしくは縮小での表示であるため、Ｓ６０２からＳ６２０へ遷移する。

Ｓ６２０において、記録再生部１５１が、記録媒体１５２等から再生対象の静止画ファイルを読み出す。そして、Ｓ６２１において、静止画伸張部１４３が、静止画ファイルに含まれる静止画データを復号して伸張し、Ｓ６０８において、表示制御部１２２が図７の各図に示すような形態で表示画像を表示部１２３へ出力する。

表示される画像が、簡易現像による静止画データの画素数、上述の例ならば２００万画素以下で足りる場合は、静止画データが簡易現像部１１１で現像処理されたものであっても、十分な画質で表示できる。静止画データが高画質現像部１１２で現像処理されたものであるならば、勿論、表示に十分な画質であるということは言うまでも無い。

一方、拡大表示の場合、表示される画像が、簡易現像による静止画データの画素数、上述の例ならば２００万画素以下では足りないことが起こり得る。すなわち、簡易現像による静止画データを用いて表示したのでは、解像感の低下を招いてしまう。

よって、拡大表示の場合は、Ｓ６０３において、制御部１６１が、再生対象となって表示されるべき画像の静止画データが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定の際、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、この静止画ファイルが簡易現像部１１１で処理された静止画データを含むのか、あるいは、高画質現像部１１２で処理された静止画データを含むのかを識別するためのフラグを参照する。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

Ｓ６０３で、高画質現像されたものと判定された場合、拡大されても十分な画質で表示可能な高画質の静止画データであることを意味するので、Ｓ６２０に進む。Ｓ６２０では、記録再生部１５１が該当する高画質の静止画ファイルを記録媒体１５２等から読み出して、再生表示する。このように、高画質現像部１１２で現像された静止画データである場合は、Ｓ６２０以降の処理で高画質に表示できる。Ｓ６０３で、高画質現像されたものと判定されなかった場合、簡易現像部１１１で現像処理された静止画データであることを意味するので、Ｓ６０４に進み、高画質現像（上述した、追いかけ現像）を実行する。Ｓ６０４において、制御部１６１が再生対象となる静止画データに対応するＲＡＷ画像データが、バッファ部１１５に記憶されているかどうかを判定する。記憶されていれば、Ｓ６０６に進み、記憶されていなければＳ６０５で記録再生部１５１が対応するＲＡＷファイルを記録媒体１５２等から読み出し、バッファ部１１５に格納する。このときバッファ部１１５又は記録媒体１５２から読み出すＲＡＷファイルは、加算ＲＡＷファイルのみ、または加算ＲＡＷファイルと差分ＲＡＷファイルの二つのファイルである。

なお、バッファ部１１５は、静止画撮影モードで撮影された新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファ部１１５から取り除かれる。こうすることにより、直前に撮影された画像は常にバッファ部１１５に保持されているので、Ｓ６０５をスキップし、高速に表示に至れるようになる。

Ｓ６０６において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２等から読み出したＲＡＷ画像データ（加算ＲＡＷ画像データ１７７と差分ＲＡＷ画像データ１７８、または、加算ＲＡＷ画像データのみ）を復号して伸張する。伸張されたＲＡＷ画像データは、Ｓ６０７にて高画質現像部１１２が高画質に現像処理し、スイッチ部１２１を経由して表示制御部１２２に出力される。Ｓ６０８において、表示制御部１２２が図７（ｃ）に示すような拡大画像を表示部１２３へ出力する。高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。なお、ＲＡＷ伸張部１１４が差分ＲＡＷ画像を復元した場合には、上述のフォーカス再調整を行うことも可能である。また、図１１（ｂ）に示すＡ領域とＢ領域が高感度画素と低感度画素の場合には、差分ＲＡＷ画像を復元することによってダイナミックレンジ調整を行うことも可能である。

高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサ部１０２から読出された全体サイズのまま、或いはユーザーから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。従って、高画質現像部１１２で現像された静止画ならば、拡大表示の要求に対して十分な画質で答えることができる。なお、Ｓ６０８の表示が停止されると、フローはＳ６０１に戻る。Ｓ６０１において、アイドル状態Ｓ６１０に遷移した場合は、上述した図５のフローチャートに従って処理される。

図６のＳ６０４以降の高画質現像は、上述したように、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的装置の処理負荷が小さい状態のときに静止画の追いかけ現像が徐々に終了する。その結果、簡易現像による静止画データを含む静止画ファイルが自然と高画質現像による静止画データを含む静止画ファイルに置き換わる。そうして置き換えが進むに従って、Ｓ６０４以降の高画質現像は発生するケースが減少し、拡大表示に対して速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。

また、バッファ部１１５にＲＡＷ画像データが保持されている場合には、Ｓ６０５をスキップできるため、素早く表示できるようになると上述した。そこで、バッファ部１１５になるべくＲＡＷ画像データが保持された状態になるよう、図７の表示例７００や７１０の場合に、拡大表示に備え、画像７０１や画像７１１に対応するＲＡＷ画像データを予め記録媒体から読み出してバッファ部１１５へ記憶させると良い。拡大表示の指示よりも先行して、記録再生部１５１が記録媒体１５２等から該当するＲＡＷ画像データを読みだしてバッファ部１１５に記憶させることで、表示例７２０のような拡大表示の指示がなされたときに、より素早く表示することができる。

次に、撮像装置１００の動画撮影モードにおける動作について説明する。図８に、本実施形態の動画撮影モードの処理に係るフローチャートを示す。図８のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図８において動画撮影モードの処理が開始されると、Ｓ８０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ８２０にてアイドル状態へ遷移し、それ以外の場合はＳ８０２へ進む。例えば、水平解像度が４０００画素相当（４Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画が設定されているときは処理負荷が高いため、Ｓ８２０へは遷移せず、常にＳ８０２へ進む。画素数が所定値より少なかったり、フレームレートが所定の速度より低かったりする動画の撮影を行う設定のときは、動画の第１のフレームと第２のフレームの処理の合間に、例えば半分の頻度でＳ８２０へ遷移する。

Ｓ８０２において、カメラ制御部１０４が、好適な条件で動画撮影を行うよう、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ８０３において、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。ここでは、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ８０３の処理を終えて、センサ信号処理部１０３から出力される画像情報を、生（未現像）の動画を意味するＲＡＷ画像と呼ぶ。

なお、本実施形態では、センサ信号処理部１０３は、図１１（ｂ）に示すＡ領域から得られた画像情報とＢ領域から得られた画像情報を加算した加算ＲＡＷ画像１７３を出力する。加えて、Ａ領域から得られた画像情報とＢ領域から得られた画像情報を減算した差分ＲＡＷ画像１７４を出力する。Ｓ８０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。

簡易現像部１１１は、動画の各フレームを構成する加算ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部１１１が行う動画の現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを例えばＨＤ映像の２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えばＨＤサイズの動画の高速撮影を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、Ｓ８０５にて画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する。なお、評価値算出部１０５は、現像処理前の加算ＲＡＷ画像を取得して、加算ＲＡＷ画像から同様に評価値を算出するようにしても良い。

また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。認識部１３１は、Ｓ８０６にて画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する。

また、簡易現像部１１１で現像処理された画像情報は、表示制御部１２２に供給される。表示制御部１２２は、Ｓ８０７にて取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。表示部１２３による表示画像は、動画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするための確認表示のために用いられる。具体的に、動画撮影特有の使用形態として、撮影された動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても、被写体を適切にフレーミングするためのライブビュー表示のために用いられる。なお、表示画像は、表示制御部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示制御部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ８０８において、制御部１６１は、ユーザーからの記録の開始指示を受けて撮影された動画を記録中（ＲＥＣ中）であるか否かを判定し、ＲＥＣ中の場合は、Ｓ８０９へ進む。Ｓ８０８でＲＥＣ中では無い場合（すなわちスタンバイ中）は、Ｓ８０１へ戻って、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。

Ｓ８０８で記録中と判定され撮影された動画のうち、記録開始から記録終了までの記録対象となる動画が、Ｓ８０９にてフレーム単位で動画圧縮部１４２によって圧縮される。なお、図面を用いての説明は省略するが、動画の撮影と同時に、不図示のマイクロフォンによって入力された音声情報が取得されている。動画圧縮部１４２は、動画に対応する音声情報に対しても圧縮処理を施すことになる。動画圧縮部１４２は、取得した簡易現像済の動画の画像情報及び音声情報に対して高能率符号化処理（動画圧縮）を施し、動画データを生成する。なお、動画圧縮部１４２は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの公知の動画圧縮技術を用いて圧縮処理を行う。Ｓ８１１において、記録再生部１５１が、生成された動画データを含む動画ファイルを記録媒体１５２に記録する。

さらに、Ｓ８０８で記録中と判定に従い、Ｓ８１１とＳ８１２では、加算ＲＡＷファイルと差分ＲＡＷファイルとの記録を行うか否かを判定する。もしＳ８１１において加算ＲＡＷファイルの記録を行う場合はＳ８１２に移行して、差分ＲＡＷファイルの記録を行うか否かを判定する。もし差分ＲＡＷファイルの記録を行う場合はＳ８１３に移行する。一方、差分ＲＡＷファイルの記録を行わない場合はＳ８１５に移行する。また、加算ＲＡＷファイルの記録を行わない場合はＳ８１７に移行して差分ＲＡＷファイルの記録を行うか否かを判定する。差分ＲＡＷファイルの記録を行う場合はＳ８１８に移行し、差分ＲＡＷファイルの記録を行わない、すなわち、加算ＲＡＷファイルも差分ＲＡＷファイルも記録しない場合はＳ８０１に戻る。

Ｓ８１３では、記録対象となった動画に対応する期間の加算ＲＡＷ画像と差分ＲＡＷ画像が、センサ信号処理部１０３からＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、記録対象となった動画と同じシーンを示すＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷ画像データに変換し、加算ＲＡＷファイル１７５と差分ＲＡＷファイル１７６を生成する。当該ＲＡＷファイルは各々バッファ部１１５に格納される。生成されるＲＡＷファイルの詳細は図３等で説明したのと同様であるので省略する。Ｓ８１４において、記録再生部１５１がＲＡＷファイルを記録媒体１５２に記録した後、フローはＳ８０１に遷移する。なお、Ｓ８１１及びＳ８１４において、記録再生部１５１は、動画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

Ｓ８１５、Ｓ８１８では、Ｓ８１３で行った処理と同様に、それぞれ記録対象となった動画に対応する期間に対応するセンサ信号処理部１０３から出力された加算ＲＡＷ画像、または差分ＲＡＷ画像をＲＡＷ圧縮部１１３が取得する。そして、それぞれ高能率符号化して加算ＲＡＷファイル１７５、または、差分ＲＡＷファイル１７６に変換する。続くＳ８１６、Ｓ８１９では、記録再生部１５１が前工程で生成したＲＡＷファイルを記録媒体１５２に記録した後、フローはＳ８０１に遷移する。以上が、本実施形態の動画撮影モードの処理に係るフローの説明である。

ここで、本実施形態に係る、動画ファイルの構造と、ＲＡＷファイルの構造について説明する。図９は、動画ファイル及びＲＡＷファイルの構成例を示す図である。

図９（ａ）に示す動画ファイル９００は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。動画ファイル９００は、ヘッダ部９０１、メタデータ部９０２、圧縮データ部９０３から成る。ヘッダ部９０１には、このファイルが動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９０３には、高能率符号化された動画と音声の圧縮データが含まれている。

メタデータ部９０２には、この動画ファイルに含まれる動画データに対応するＲＡＷ画像データが格納されたＲＡＷファイルのファイル名の情報９０４が含まれる。また、この動画ファイルに含まれる動画データが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含む現像ステータスの情報９０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサ種別識別情報など）を含む撮影メタデータ９０６が含まれる。また、図示していないが、対応するＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図９（ｂ）に示すＲＡＷファイル９１０と図９（ｃ）に示すＲＡＷファイル９２０とは、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル９１０と９２０は、ヘッダ部９１１（９２１）、メタデータ部９１２（９２２）、圧縮データ部９１３（９２３）から成る。ヘッダ部９１１（９２１）には、このファイルが加算ＲＡＷファイルの形式であることや差分ＲＡＷファイルであることを示す識別コード９１７（９２７）などが含まれている。圧縮データ部９１３（９２３）には、高能率符号化された動画のＲＡＷ画像データが含まれている（圧縮されていない動画のＲＡＷ画像であっても良い）。

メタデータ部９１２（９２２）には、このＲＡＷファイルに含まれるＲＡＷ画像データを現像処理することにより生成された動画データを含む動画ファイルのファイル名の情報９１４（９２４）が含まれる。また、その動画ファイルに含まれる動画データが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含む現像ステータスの情報９１５（９２５）が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサ種別識別情報など）を含む撮影メタデータ９１６（９２６）が含まれる。また、図示していないが、対応する動画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、対応する動画ファイルそのもの全部又は一部（先頭フレームなど）を抽出してメタデータ化して、メタデータ部９１２（９２２）に格納しても良い。上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦ、ＡＶＣＨＤ、ＭＸＦなどの標準規格に準じた構成であっても良い。

なお、上述した本実施形態の図１の、Ａ領域から得られた信号１７１とＢ領域から得られた信号１７２、加算ＲＡＷ画像１７３と差分ＲＡＷ画像１７４、加算ＲＡＷファイル１７５と差分ＲＡＷファイル１７６の組み合わせは一例に過ぎない。即ち、図１１（ａ）に示す撮像素子の場合、Ｂ領域から得られた信号１７２、差分ＲＡＷ画像１７４、差分ＲＡＷファイル１７６は使用せず、Ａ領域から得られた信号１７１、加算ＲＡＷ画像１７３、加算ＲＡＷファイル１７５で画像情報を伝送することができる。また、本実施形態と同様に図１１（ｂ）に示す撮像素子を使用する場合でも、本実施形態とは異なる情報内容の組み合わせがあっても良い。例えば、信号１７１、加算ＲＡＷ画像１７３、加算ＲＡＷファイル１７５は領域Ａに関する画像情報、信号１７２、差分ＲＡＷ画像１７４、差分ＲＡＷファイル１７６は領域Ｂに関する画像情報としても良い。さらに、例えば信号１７１、加算ＲＡＷ画像１７３、加算ＲＡＷファイル１７５は領域Ａに関する画像情報、信号１７２は領域Ｂに関する画像情報、差分ＲＡＷ画像１７４、差分ＲＡＷファイル１７６は差分画像情報に関する画像情報としても良い。

本実施形態に係る撮像装置１００は、上述のように、動画撮影モードにおける撮影画像表示（ライブビュー表示）や、撮影時に生成される動画データのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりすることで、例えばＨＤサイズの動画の現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、動画ファイルと共に、その動画の記録期間に対応するＲＡＷファイルを生成する。ＲＡＷファイルは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、４Ｋや８Ｋ（水平解像度が８０００画素相当）のように画像の画素数を高めたり、毎秒１２０コマ（１２０Ｐ）のようにフレームレートを高めたりしても、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。

次に、撮像装置１００の動画再生モードにおける動作について説明する。図１０に、本実施形態の動画再生モードの処理に係るフローチャートを示す。図１０のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図１０において動画再生モードの処理が開始されると、Ｓ１００１において制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ１０１０にてアイドル状態へ遷移し、それ以外の場合はＳ１００２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ１０１０へ遷移する。アイドル状態Ｓ１０１０に遷移した場合は、上述した図５のフローチャートに従って処理される。また、ユーザーからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合はＳ１００２へ進む。

Ｓ１００２において、制御部１６１が、再生される動画について、ユーザーから再生の一時停止（ポーズ）の指示を受けているかを判定する。Ｓ１００２で一時停止指示がなければ動画再生を継続するためにフローはＳ１００３に進む。Ｓ１００３において、記録再生部１５１が、記録媒体１５２等から再生対象の動画ファイルを読み出す。そして、Ｓ１００４において、動画伸張部１４４が、動画ファイルを１フレームずつ復号して伸張し、Ｓ１００５において、表示制御部１２２が再生された動画の表示画像を表示部１２３へ出力する。なお、Ｓ１００５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、フローはＳ１００１に戻る。

Ｓ１００２で一時停止指示を受けた場合、制御部１６１が、再生及び表示中の動画を一時停止状態にするともに、一時停止されたときの停止位置のフレームを静止画として表示させるために、Ｓ１０２０へフローを遷移させる。一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には拡大表示の指示を受けやすいと考えられる。そこで、より高画質な画像の表示を提供するため、Ｓ１０２０において、再生中の動画データに対応する動画のＲＡＷ画像データのうち、更に一時停止表示中のフレームに対応するＲＡＷ画像データを記録再生部１５１が再生する。このとき再生対象となるＲＡＷ画像データが、バッファ部１１５に記憶されていればバッファ部１１５から該ＲＡＷ画像データを読み出す。一方、記憶されていなければ記録再生部１５１が記録媒体１５２等からＲＡＷ画像データを読み出しバッファ部１１５に記憶する。バッファ部１１５又は記録媒体１５２から読み出すＲＡＷ画像データは、加算ＲＡＷ画像データのみ、または加算ＲＡＷ画像データと差分ＲＡＷ画像データの二つである。

Ｓ１０２１において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２等から読み出した加算ＲＡＷ画像データ１７７と差分ＲＡＷ画像データ１７８を復号して伸張し、ＲＡＷ画像を復元する。復元されたＲＡＷ画像は、Ｓ１０２２にて高画質現像部１１２が高画質に現像処理する。本実施形態に対応する撮像装置１００は、再生中の動画の一時停止表示中のフレームのキャプチャ画像を、対応する加算ＲＡＷ画像から高画質に現像された新たな静止画として生成することも可能である。なお、図５のＳ５２４との関連で説明したのと同様、ＲＡＷ伸張部１１４が差分ＲＡＷ画像を復元した場合には、図１２のフローチャートに従う加算ＲＡＷ画像のフォーカス再調整を行うことも可能である。また、図１１（ｂ）に示すＡ領域とＢ領域が高感度画素と低感度画素の場合には、差分ＲＡＷ画像を復元することによってダイナミックレンジ調整を行うことも可能である。

続くＳ１０２３において、制御部１６１が、一時停止位置の表示画像を静止画としてキャプチャするユーザーからのキャプチャ指示を受けつけたか否かを判定する。Ｓ１０２３で静止画キャプチャ指示を受けつけないならば、動画のＲＡＷファイルから高画質に現像された静止画像は表示制御部１２２に供給され、Ｓ１００５において、表示制御部１２２が高画質に現像された静止画像を表示部１２３へ出力する。この処理によって、再生中の動画データにおける一時停止表示中の画像は、ＲＡＷ画像から高画質に現像された静止画像の表示画像によって置き換わる。

一方、Ｓ１０２３で静止画キャプチャの指示を受けつけたならば、Ｓ１０２２で高画質現像部１１２によって現像処理された画像情報が静止画圧縮部１４１に供給される。Ｓ１０２４にて静止画圧縮部１４１は、キャプチャによって取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し、高画質の静止画データを含む静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

続くＳ１０２５において、記録再生部１５１が高画質の静止画データを含む静止画ファイルを記録媒体１５２等に記録したら、フローはＳ１００５に遷移する。動画のＲＡＷ画像データから高画質に現像された静止画像は表示制御部１２２に供給され、Ｓ１００５において、表示制御部１２２が高画質に現像された静止画像を表示部１２３へ出力する。この処理によって、再生中の動画データにおける一時停止表示中の画像は、ＲＡＷ画像から高画質に現像された静止画像の表示画像によって置き換わる。

Ｓ１０２４で静止画圧縮部１４１によって生成される高画質の静止画データを含む静止画ファイルは、図４（ａ）の静止画ファイル４００の構成を成す。メタデータ部４０２には、ＲＡＷファイルのファイル名の情報４０４として、キャプチャ元となったＲＡＷ画像データを含む動画のＲＡＷファイルのファイル名が格納される。また、撮影メタデータ４０６として、静止画としてキャプチャされたフレームの時刻情報が格納され、動画のＲＡＷファイルの対応するフレーム位置を指し示すことができる。また、動画のキャプチャ画像である静止画を対応するＲＡＷファイルのＲＡＷ画像データから生成する際に、当該静止画と対となる新たなＲＡＷファイル４１０及び４２０を併せて作成しても良い。当該静止画と対となるＲＡＷファイルの生成は、前述の静止画撮影モードのＳ３１１〜Ｓ３１９で説明したのと同様方法で実行することができる。

このように、本実施形態の撮像装置１００は、撮影時に記録された動画ファイルを用いて、遅延なく容易に動画を再生することができ、一時停止状態では、ＲＡＷ画像データから高画質に現像した静止画を差し替えて表示できる。さらに、この高画質な静止画を容易に静止画画像データとしてキャプチャすることができる。

また、図１０のＳ１０２０以降の高画質現像は、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに動画の追いかけ現像が徐々に終了し、簡易現像による動画ファイルが自然と高画質現像による動画ファイルに置き換わる。そうして置き換えが進むに従って、Ｓ１０２０以降の高画質現像は発生するケースが減少し、常時速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。

以上が本実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：撮像光学部、１０２：撮像センサ部、１０３：センサ信号処理部、１０４：カメラ制御部、１０５：評価値算出部、１１０：現像部、１１１：簡易現像部、１１２：高画質現像部、１１３：ＲＡＷ圧縮部、１１４：ＲＡＷ伸張部、１１５：バッファ部、１２１：スイッチ部、１２２：表示制御部、１２３：表示部、１２４：映像出力端子、１３１：認識部、１４１：静止画圧縮部、１４２：動画圧縮部、１４３：静止画伸張部、１４４：動画伸張部、１５１：記録再生部、１５２：記録媒体、１５３：通信部、１５４：通信端子

Claims (8)

1. 各画素が複数の領域に分割された撮像素子で被写体像を撮像して撮像素子の分割領域ごとにＲＡＷ画像を生成する撮像手段と、
   前記分割領域ごとに生成されたＲＡＷ画像を加算した加算ＲＡＷ画像と、該ＲＡＷ画像を減算した差分ＲＡＷ画像とを生成する生成手段と、
   前記加算ＲＡＷ画像を現像処理して第一の画像データを生成する第一の現像手段と、
   前記加算ＲＡＷ画像と前記差分ＲＡＷ画像とを圧縮し、加算ＲＡＷ画像データと差分ＲＡＷ画像データとを生成するＲＡＷ圧縮手段と、
   を備える撮像装置であって、
   前記加算ＲＡＷ画像に対し、前記第一の現像手段よりも処理負荷の高い現像処理を行うための第二の現像手段を更に備え、
   前記撮像手段が撮像を行っていない場合に、前記第二の現像手段が前記加算ＲＡＷ画像を現像処理して第二の画像データを生成することを特徴とする撮像装置。
2. 前記加算ＲＡＷ画像データ、および、前記第一の画像データの少なくともいずれかは、対応する前記第二の画像データが生成されたか否かを示す情報と関連づけられ、
   前記情報が第二の画像データが生成されていないことを示し、かつ、前記撮像手段が撮像指示に応じた撮像を行っていない場合に、前記加算ＲＡＷ画像を前記第二の現像手段が現像処理することを特徴とする請求項１に記載の撮像装置。
3. 前記第一の画像データの再生画像を表示部に表示させる表示制御手段を更に備え、
   前記加算ＲＡＷ画像データ、および、前記第一の画像データの少なくともいずれかは、対応する前記第二の画像データが生成されたか否かを示す情報と関連づけられ、
   対応する前記第二の画像データが生成されたか否かを示す情報と関連づけられ、
   前記情報が第二の画像データが生成されていないことを示し、かつ、前記再生画像が前記表示部において拡大表示される場合に、前記加算ＲＡＷ画像について前記第二の現像手段が現像処理を実行し、
   前記表示制御手段は、前記再生画像に替えて前記第二の現像手段により現像処理された前記加算ＲＡＷ画像を前記表示部に表示することを特徴とする請求項１または２に記載の撮像装置。
4. 前記第一の画像データは動画データであって、
   前記動画データの再生動画を表示部に表示させる表示制御手段と、
   前記撮像装置のユーザーからの操作指示を受け付ける操作手段と
   を更に備え、
   前記表示部に前記再生動画が表示されている場合に、前記操作手段が一時停止の操作指示を受け付けると、
   前記表示制御手段は前記表示部における再生動画の表示を一時停止し、
   前記第二の現像手段は前記一時停止に応じて前記表示部に表示されている動画に対応する加算ＲＡＷ画像について現像処理を実行し、
   前記表示制御手段はさらに、前記一時停止された前記再生動画に替えて、前記第二の現像手段により現像処理された加算ＲＡＷ画像を前記表示部に表示させることを特徴とする請求項１に記載の撮像装置。
5. 前記操作手段が前記一時停止された前記再生動画に替えて表示された前記加算ＲＡＷ画像の撮像指示を受け付けた場合に、前記現像処理された加算ＲＡＷ画像を圧縮して静止画ファイルを生成する圧縮手段と、
   前記静止画ファイルを記録媒体に記録する記録手段と
   を更に備えることを特徴とする請求項４に記載の撮像装置。
6. 前記加算ＲＡＷ画像と前記差分ＲＡＷ画像とから、前記分割領域ごとに生成されたＲＡＷ画像を復元する手段と、
   前記復元されたＲＡＷ画像から位相差を検出する位相差検出手段と、
   前記位相差に基づきデフォーカス量を算出するデフォーカス算出手段と、
   前記デフォーカス量に基づき前記加算ＲＡＷ画像を補正する補正手段と
   を更に備え、
   前記ＲＡＷ圧縮手段は前記補正された加算ＲＡＷ画像を圧縮し、加算ＲＡＷ画像データを生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 各画素が複数の領域に分割された撮像素子で被写体像を撮像して撮像素子の分割領域ごとにＲＡＷ画像を生成する撮像工程と、
   前記分割領域ごとに生成されたＲＡＷ画像を加算した加算ＲＡＷ画像と、該ＲＡＷ画像を減算した差分ＲＡＷ画像とを生成する生成工程と、
   前記加算ＲＡＷ画像を現像処理して第一の画像データを生成する第一の現像工程と、
   前記加算ＲＡＷ画像と前記差分ＲＡＷ画像とを圧縮し、加算ＲＡＷ画像データと差分ＲＡＷ画像データとを生成するＲＡＷ圧縮工程と、
   を含む撮像装置の制御方法であって、
   前記加算ＲＡＷ画像に対し、前記第一の現像工程が行う現像処理よりも処理負荷の高い現像処理を行う第二の現像工程を更に備え、
   前記撮像工程における撮像が行われていない間に、前記第二の現像工程において前記加算ＲＡＷ画像を現像処理して第二の画像データの生成が行われることを特徴とする撮像装置の制御方法。
8. 各画素が複数の領域に分割された撮像素子で被写体像を撮像して撮像素子の分割領域ごとに生成したＲＡＷ画像を処理する画像処理方法であって、
   前記分割領域ごとに生成されたＲＡＷ画像を加算した加算ＲＡＷ画像と、該ＲＡＷ画像を減算した差分ＲＡＷ画像とを生成する生成工程と、
   前記加算ＲＡＷ画像を現像処理して第一の画像データを生成する第一の現像工程と、
   前記加算ＲＡＷ画像と前記差分ＲＡＷ画像とを圧縮し、加算ＲＡＷ画像データと差分ＲＡＷ画像データとを生成するＲＡＷ圧縮工程と、
   前記加算ＲＡＷ画像に対し、前記第一の現像工程で行われる現像処理よりも処理負荷の高い現像処理を行う第二の現像工程と
   を備え、
   前記第一の現像工程における現像処理が行われていない間に、前記第二の現像工程において前記加算ＲＡＷ画像を現像処理して第二の画像データの生成が行われることを特徴とする画像処理方法。

Images