JP2014179853A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 ＲＡＷ画像を記録しながらも、再生画像を速やかに表示させることを可能にする画像処理装置及び画像処理方法を提供する。
【解決手段】 被写体像を撮像してＲＡＷ画像の画像情報を生成し、当該ＲＡＷ画像に対して撮影時に簡易現像して記録するとともに、当該ＲＡＷ画像も記録するように構成する。撮影後に、記録媒体に記録されたＲＡＷファイルを読みだして、簡易現像よりも高画質な画像を生成する高画質現像手段を備え、再生の要求に応じて、撮影の直後は簡易現像された画像ファイルから得られる表示画像を再生し、高画質現像手段による現像処理が終えている場合には、簡易現像された画像に換えて高画質現像された高画質な表示画像を再生するよう制御する。
【選択図】 図１

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、動画又は静止画のＲＡＷ画像を扱う技術に関する。

従来の撮像装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。

ＲＡＷ画像を記録する撮像装置の構成は特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。

特開２０１１−２４４４２３号公報

近年の撮像装置は、撮像センサーが進化し、画像１枚あたりの画素数が大幅に増加してきている。また、１秒あたりに連写できる画像の枚数も増える傾向にある。そのため、ＲＡＷ画像に対するデベイヤー処理や、ノイズ除去、光学歪補正など、現像処理を成すそれぞれの処理量が相乗的に増大し、撮影と並行したリアルタイムの現像処理を行うには、膨大な回路や消費電力を費やしている。時には、現像処理による回路の占有や消費電力上の制限などのために、高い撮影パフォーマンスを実行できないことも起こり得る。

一方、前述の特許文献１のように、ＲＡＷ画像を現像せずに記録する構成ならば、撮影時の現像に係る処理量は軽減されるかもしれないが、現像されていない状態で記録されるために、画像を速やかに再生表示することが困難である。さらに、ＲＡＷ画像特有のデータの特殊性によって、他の機器ではＲＡＷ画像を再生（現像）できなかったりするので、従来のＲＡＷ画像の記録方式では、ユーザーの利便性を損なうことがあった。

このように、従来の装置で、高い撮影パフォーマンスを実行し、なおかつ再生画像も高速に出画可能にするには、高コストの回路を搭載して高出力で駆動できるようにするか、ＲＡＷ画像を記録して高速かつ簡便に再生できるようにしなければならない課題があった。

そこで、本発明の目的は、ＲＡＷ画像を記録しながらも、再生画像を速やかに表示させることを可能にする画像処理装置及び画像処理方法を提供することにある。

上記目的を達成するために、本発明の画像処理装置は、被写体像を撮像してＲＡＷ画像情報を生成する撮像手段と、前記ＲＡＷ画像情報を取得して現像処理を行う第１の現像手段と、前記第１の現像手段によって現像処理された画像の画像ファイルと、前記ＲＡＷ画像情報をＲＡＷ画像のままファイルにしたＲＡＷファイルとを記録媒体に記録する記録手段と、前記記録媒体に記録されたＲＡＷファイルを読みだして前記第１の現像手段よりも高画質な画像を得るための現像処理を行う第２の現像手段と、再生に際して、前記第２の現像手段による現像処理が終えていない場合には、前記画像ファイルから得られる前記第１の現像手段により現像処理された画像を再生し、前記第２の現像手段による現像処理を終えている場合には、前記第２の現像手段により現像処理された高画質な画像を再生するよう制御する制御手段と、を具備することを特徴とする。

本発明によれば、従来よりも利便性が向上したＲＡＷ画像を得ることができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本実施形態の状態遷移図である。 本実施形態の静止画撮影モードの処理に係るフローチャートである。 本実施形態の静止画ファイルとＲＡＷファイルの構成例を示す図である。 本実施形態のアイドル状態の処理に係るフローチャートである。 本実施形態の静止画再生モードの処理に係るフローチャートである。 本実施形態の静止画再生モードの表示処理の例を示す図である。 本実施形態の動画撮影モードの処理に係るフローチャートである。 本実施形態の動画ファイルとＲＡＷ動画ファイルの構成例を示す図である。 本実施形態の動画再生モードの処理に係るフローチャートである。 画素配列の説明図である。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示した撮像装置１００は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。

図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、操作に応じた動作が実行されるよう制御部１６１によって制御される。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。

操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサー部１０２上に結像する。撮影時、撮像光学部１０１及び撮像センサー部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される顔認識結果等の被写体情報に基づいて、カメラ制御部１０４によって制御される。

撮像センサー部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のモザイクカラーフィルターを透過した光を電気信号に変換する。図１１は、撮像センサー部１０２に配置されるカラーフィルターの一例を示す図であり、撮像装置１００が扱う画像の画素配列を表している。図１１に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ―配列と呼ばれる。

撮像センサー部１０２によって変換された電気信号は、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像情報（以降、ＲＡＷ画像）と称す。

ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。

特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後のアイドル期間に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、主に撮影動作と並行したリアルタイムの現像の際に簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。また、スイッチ部１２１の切換に連動して、簡易現像部１１１と高画質現像部１１２のうち、信号出力の対象となる一方だけが現像動作を行うように構成しても良い。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を選択的に行っても良い。

現像部１１０によって現像処理された画像情報は、表示処理部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された外部表示機器に出力することもできる。映像出力端子１２４は、例えばＨＤＭＩやＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態や露出状態などの評価値を算出する。

現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。

現像部１１０によって現像処理された画像情報は、静止画圧縮部１４１又は動画圧縮部１４２に供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像情報を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画圧縮はＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。

ＲＡＷ圧縮部１１３は、センサー信号処理部１０３が出力したＲＡＷ画像のデータを、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、バッファ部（記憶媒体）１１５に格納する。ＲＡＷファイルは、バッファ部１１５内に残しておいて再び読み出すことができるが、バッファ部１１５に格納された後、別の記録媒体に移動して記録する（バッファ部１１５から削除する）ようにしても良い。

ＲＡＷファイルと、上述の静止画ファイル及び動画ファイルは、記録再生部１５１によって、記録媒体１５２に記録される。記録媒体１５２は、例えば内蔵式の大容量半導体メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。

記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。

再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮された状態のＲＡＷファイルを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷファイルは、現像部１１０に供給されて、現像部１１０内の簡易現像部１１１や高画質現像部１１２に入力される。

静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２に供給する。

次に、本実施形態の撮像装置１００の動作モードに関して、図を用いて詳細に説明する。図２は、撮像装置１００における、各動作モードの遷移を示す状態遷移図である。このようなモードの遷移は、操作部１６２からのユーザー操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図２のように、撮像装置１００は、アイドル状態（２００）を経由して４つのモード、静止画撮影モード（２０１）、静止画再生モード（２０２）、動画撮影モード（２０３）、動画再生モード（２０４）に適宜切り替わって動作する。

次に、撮像装置１００の静止画撮影モードにおける動作について説明する。

図３に、本実施形態の静止画撮影モードの処理に係るフローチャートを示す。図３のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図３において静止画撮影モードの処理が開始されると（Ｓ３００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ３０１）、負荷状況に応じた頻度でアイドル状態（Ｓ３２０）へ遷移し、そうでなければＳ３０２へ進む。例えば、高速連写中は処理負荷が高いため、Ｓ３２０へは遷移せず、常にＳ３０２へ進む。通常の単発の撮影を行う場合においては、第１の撮影と第２の撮影の合間に例えば半分の頻度でＳ３２０へ遷移する。

Ｓ３０２において、カメラ制御部１０４が、好適な条件で撮影を行うよう、撮像光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ３０３において、撮像センサー部１０２によって変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。すなわち、センサー信号処理部１０３が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０３の処理を終えて、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と呼ぶ。

Ｓ３０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。

簡易現像部１１１は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部１１１が行う現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する（Ｓ３０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像を取得して、ＲＡＷ画像から同様に評価値を算出するようにしても良い。

また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する（Ｓ３０６）。

また、簡易現像部１１１で現像処理された画像情報は、表示処理部１２２に供給される。表示処理部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ３０７）。表示部１２３による表示画像は、静止画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。なお、表示画像は、表示処理部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ３０８において、制御部１６１は、ユーザーからの撮影指示の入力を判定し、撮影の指示があった場合は、Ｓ３１０へ進む。Ｓ３０８で撮影指示が無い場合は、Ｓ３０１へ戻って、撮影の準備動作とライブビュー表示を繰り返す。

Ｓ３０８における撮影指示に応答して、簡易現像部１１１で現像処理された画像情報が、静止画圧縮部１４１に供給される。静止画圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ３１０）、静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の静止画圧縮技術を用いて圧縮処理を行う。

Ｓ３１１において、記録再生部１５１が静止画ファイルを記録媒体１５２に記録する。

さらに、Ｓ３０８における撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサー信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換する（Ｓ３１２）。ＲＡＷファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。

Ｓ３１３において、記録再生部１５１がＲＡＷファイルを記録媒体１５２に記録した後、フローはＳ３０１に遷移する。なお、Ｓ３１１及びＳ３１３において、記録再生部１５１は、静止画ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

以上が、本実施形態の静止画撮影モードの処理に係るフローの説明である。

ここで、本実施形態に係る、静止画ファイルの構造と、ＲＡＷファイルの構造について説明する。図４（ａ）、（ｂ）は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。

図４（ａ）に示す静止画ファイル４００は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルと同時に生成されたＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報４０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４０６が含まれる。また、図示していないが、同時に生成されたＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図４（ｂ）に示すＲＡＷファイル４１０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された静止画のＲＡＷ圧縮データが含まれている（圧縮されていない静止画のＲＡＷ画像データであっても良い）。

メタデータ部４１２には、このＲＡＷファイルと同時に生成された静止画ファイルのファイル名の情報４１４が含まれる。また、その静止画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報４１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４１６が含まれる。撮影メタデータ４１６のうち、撮影メタデータ４０６と共通するものは同じデータを用いる。また、図示していないが、同時に生成された静止画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された静止画ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。

上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格と互換性を有する構成であっても良い。なお、ＤＣＦとは、Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍの意味であり、ＥＸＩＦとは、Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ ｆｏｒｍａｔの意味である。

本実施形態に係る撮像装置１００は、上述のように、静止画撮影モードにおける、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることで、例えば２００万画素の毎秒６０コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、静止画の撮影指示に応答して、ＲＡＷファイルを生成する。ＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。

続いて、図３のＳ３０１で遷移するステップであるＳ３２０について、図５のフローチャートを用いて説明する。図５に、本実施形態のアイドル状態の処理に係るフローチャートを示す。図５のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図５においてアイドル状態の処理が開始されると（Ｓ５００）、制御部１６１が、ユーザーの設定により追いかけ現像を行うか否かを判定し（Ｓ５０１）、追いかけ現像を行わない場合はＳ５０２に、追いかけ現像を行う場合はＳ５２０に遷移する。

Ｓ５０１で追いかけ現像を行わない場合、ユーザーからの命令やモード設定に従って、制御部１６１が図２に示した２０１，２０２，２０３，２０４の何れかのモードに遷移するか判定する（Ｓ５０２、Ｓ５０３、Ｓ５０４、Ｓ５０５）。そして、制御部１６１が、選ばれたモードの処理フローへ遷移するよう制御する（Ｓ５１０、Ｓ５１１、Ｓ５１２、Ｓ５１３）。Ｓ５０２〜Ｓ５０５において、静止画撮影モードならばＳ５１０に、静止画再生モードならばＳ５１１に、動画撮影モードならばＳ５１２に、動画再生モードならばＳ５１３に、それぞれフローが遷移する。

ここで、本実施形態に係る「追いかけ現像」とは、撮影動作を終えた後、バッファ部１１５又は記録媒体１５２等に記録されたＲＡＷファイルをソースとして、改めて高画質に現像処理を施し、高画質の表示画像や高画質の静止画ファイルを生成する処理を意味する。本実施形態に係る追いかけ現像の対象となるＲＡＷファイルは、静止画と動画の両方を対象とするが、以下では静止画を例に説明する。

上述したように、撮影時に生成される静止画ファイルは、簡易現像部１１１で現像されているため、画素数が２００万画素以下であったり、現像処理を一部省いていたりするために、画質は限定的な品質である。撮影内容の大まかな確認としては有効であるが、画像の細部を確認したり、プリントアウトしたりする用途には十分ではない場合がある。一方、静止画と同時に生成するＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高品質を有するが、現像処理前のデータであるため、表示やプリントアウトには即時対応ができず、ＲＡＷ現像のための時間を要してしまう。また、ＲＡＷはＪＰＥＧなどのように広く普及したファイルではないため、ＲＡＷファイルを扱える再生環境も限定されてしまう。

そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているＲＡＷファイルを読みだして、高画質現像部１１２によって高画質に現像処理を行い、生成した高画質の静止画ファイルを記録媒体１５２等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態において実行させる。追いかけ現像は手動に限らず、制御部１６１が自動に実行させるように設計すると良い。

このように構成することにより、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度現像処理（再生出力）の遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。

記録媒体１５２等には、１回の静止画撮影指示に対して、静止画ファイルとＲＡＷファイルが１つずつの組として記録されている。手動または自動によって追いかけ現像を行う場合、制御部１６１が、各画像の組について、追いかけ現像が処理済みか未処理かを判定する（Ｓ５２０）。判定の方法は、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、この静止画ファイルが簡易現像部１１１で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから判定する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

制御部１６１によって、追いかけ現像が処理済みと判断されれば、Ｓ５０２に遷移する。追いかけ現像が未処理の静止画があれば、Ｓ５２１に遷移する。追いかけ現像が未処理の静止画に対応するＲＡＷファイルが、バッファ部１１５にバッファリングされていれば（Ｓ５２１）、Ｓ５２３に進み、バッファリングされていなければ対応するＲＡＷファイルを記録媒体１５２等から読み出す（Ｓ５２２）。記録媒体１５２等から読み出されたＲＡＷファイルは、バッファ部１１５によって一時保持される。

バッファ部１１５は、静止画撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファに保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２から読み出したＲＡＷファイルを伸張処理し、ＲＡＷ画像を復元する。

復元されたＲＡＷ画像は、高画質現像部１１２で高画質に現像されて（Ｓ５２４）、スイッチ部１２１を経由して表示処理部１２２や静止画圧縮部１４１に出力される。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサー部１０２から読出されたフルサイズのまま、或いはユーザーから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。

高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。

高画質現像部１１２で現像処理された画像情報は、静止画圧縮部１４１に供給され、静止画圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２５）、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

Ｓ５２６において、記録再生部１５１が高画質の静止画ファイルを記録媒体１５２等に記録したら、フローはＳ５０２に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の静止画がある場合、その画像毎に同様の処理を繰り返して実行可能である。

Ｓ５２６で記録される静止画ファイルは、図４（ａ）に示す静止画ファイル４００のようなファイル構成であり、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部４０２には、この静止画ファイルの元となったＲＡＷファイルのファイル名の情報４０４が含まれる。また、この静止画ファイルが高画質現像部１１２によって高画質現像されたことを示す現像ステータスの情報４０５が含まれる。また、元のＲＡＷファイルのメタデータから抽出された、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報を含む撮影メタデータ４０６が含まれる。

記録再生部１５１は、高画質現像を経て、Ｓ５２６で記録される新たな静止画ファイルには、元となったＲＡＷファイルと同時に記録された簡易現像による静止画ファイルと同じファイル名を与えて、上書き記録する。すなわち簡易現像による静止画ファイルは削除される。そして、記録再生部１５１は、追いかけ現像の元となったＲＡＷファイルは、メタデータ部４１２内の現像ステータス４１５を、高画質現像済（又は追いかけ現像済）を示す情報にて更新する。なお、上書き記録ではなく、例えば、ファイル名はほぼ同じでファイル名の一部（例えば拡張子や末尾の文字）のみを変更した別のファイルとして記録し、元のファイルを削除しても良い（勿論、記録容量に余裕があれば元のファイルを残しておいてもよい）。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態（アイドル状態）のときに追いかけ現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。撮影時の簡易現像による動画ファイルも、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度現像処理（再生出力）の遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。

次に、撮像装置１００の静止画再生モードにおける動作について説明する。

図６に、本実施形態の静止画再生モードの処理に係るフローチャートを示す。図６のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図６において静止画再生モードの処理が開始されると（Ｓ６００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ６０１）、負荷状況に応じた頻度でアイドル状態（Ｓ６１０）へ遷移し、そうでなければＳ６０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ６１０へ遷移する。ユーザーからの操作に応じて静止画の再生が開始されている（再生中の状態を含む）場合はＳ６０２へ進む。

Ｓ６０２において、制御部１６１が、再生される静止画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればＳ６０３に進み、拡大表示がなければＳ６２０に進む。

図７に、拡大表示を含む表示形態の種類を説明する。図７（ａ）、（ｂ）、（ｃ）は、本実施形態の静止画再生モードの表示処理の例を示す図である。

図７（ａ）の表示例７００は、７０１に示す６つの画像を縮小して表示部１２３に縮小表示している例である。図７（ｂ）の表示例７１０は、ある１つの画像７１１の全体を表示部１２３に表示している例であり、この表示の状態を通常表示とする。図７（ｃ）の表示例７２０は、ある１つの画像の一部領域を拡大した画像７２１を表示部１２３に拡大表示している例である。例えば、撮影直後にフォーカスの適否の確認を行うような場合に、表示例７２０のように被写体像の細部を拡大表示する使われ方が一般的である。

表示例７２０のように拡大表示する場合、図６のフローはＳ６０２からＳ６０３へ遷移する。表示例７００のように縮小表示する場合は、Ｓ６０２からＳ６２０へ遷移する。表示例７１０のような場合は、表示部１２３の表示画素数が簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）、であれば等倍もしくは縮小での表示であるため、Ｓ６０２からＳ６２０へ遷移する。

Ｓ６２０において、記録再生部１５１が、記録媒体１５２等から再生対象の静止画ファイルを読み出す。そして、Ｓ６２１において、静止画伸張部１４３が、静止画ファイルを復号して伸張し、Ｓ６０８において、表示処理部１２２が図７の各図に示すような形態で表示画像を表示部１２３へ出力する。

表示される画像が、簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）で足りる場合は、静止画ファイルが簡易現像部１１１で現像処理されたものであっても、十分な画質で表示できる。なお、静止画ファイルが高画質現像部１１２で現像処理されたものであるならば、勿論、表示に十分な画質であるということは言うまでも無い。

一方、拡大表示の場合、表示される画像が、簡易現像による静止画ファイルの画素数（上述の例ならば２００万画素以下）では足りないことが起こり得る。すなわち、簡易現像による静止画ファイルを用いて表示したのでは、解像感の低下を招いてしまう。

よって、拡大表示の場合は、Ｓ６０３において、制御部１６１が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定の方法は、例えば静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、この静止画ファイルが簡易現像部１１１で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから判定する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

Ｓ６０３で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、Ｓ６２０に進み、記録再生部１５１が該当する高画質の静止画ファイルを記録媒体１５２等から読み出して、再生表示する。このように、高画質現像部１１２で現像された静止画ファイルである場合は、このようにＳ６２０以降の処理で高画質に表示できる。

Ｓ６０３で、高画質現像されたものでない場合は、簡易現像部１１１で現像処理された静止画ファイルであることを意味するので、Ｓ６０４に進み、高画質現像（上述した、追いかけ現像）を実行する。

Ｓ６０４において、再生対象となる静止画に対応するＲＡＷファイルが、バッファ部１１５にバッファリングされていれば（Ｓ６０４）、Ｓ６０６に進み、バッファリングされていなければ対応するＲＡＷファイルを記録媒体１５２等から読み出す（Ｓ６０５）。記録媒体１５２等から読み出されたＲＡＷファイルは、バッファ部１１５によって一時保持される。

バッファ部１１５は、静止画撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、Ｓ６０５をスキップし、高速に表示に至れるようになる。

Ｓ６０６において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２等から読み出したＲＡＷファイルを復号して伸張し、ＲＡＷ画像を復元する。

復元されたＲＡＷ画像は、高画質現像部１１２で高画質に現像処理されて（Ｓ６０７）、スイッチ部１２１を経由して表示処理部１２２に出力される。Ｓ６０８において、表示処理部１２２が図７（ｃ）に示すような拡大画像を表示部１２３へ出力する。

高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサー部１０２から読出されたフルサイズのまま、或いはユーザーから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。従って、高画質現像部１１２で現像された静止画ならば、拡大表示の要求に対して十分な画質で答えることができる。

なお、Ｓ６０８の表示が停止されると、フローはＳ６０１に戻る。Ｓ６０１において、アイドル状態Ｓ６１０に遷移した場合は、上述した図５のフローチャートに従って処理される。

図６のＳ６０４以降の高画質現像は、上述したように、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的装置の処理負荷が小さい状態のときに静止画の追いかけ現像が徐々に終了し、簡易現像による静止画ファイルが自然と高画質現像による静止画ファイルに置き換わる。そうして置き換えが進むに従って、Ｓ６０４以降の高画質現像は発生するケースが減少し、拡大表示に対して速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。

また、バッファ部１１５にＲＡＷファイルが保持されている場合には、Ｓ６０５をスキップできるため、素早く表示できるようになると上述した。そこで、バッファ部１１５になるべくＲＡＷファイルが保持された状態になるよう、図７の表示例７００や７１０の場合に、拡大表示に備え、画像７０１や画像７１１に対応するＲＡＷファイルを予め記録媒体から読み出してバッファ部１１５へ移動すると良い。拡大表示の指示よりも先行して、記録再生部１５１が記録媒体１５２等から該当するＲＡＷファイルを読みだしてバッファリングすることで、表示例７２０のような拡大表示の指示がなされたときに、より素早く表示することができる。

次に、撮像装置１００の動画撮影モードにおける動作について説明する。

図８に、本実施形態の動画撮影モードの処理に係るフローチャートを示す。図８のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図８において動画撮影モードの処理が開始されると（Ｓ８００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ８０１）、負荷状況に応じた頻度でアイドル状態（Ｓ８２０）へ遷移し、そうでなければＳ８０２へ進む。例えば、水平解像度が４０００画素相当（４Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画が設定されているときは処理負荷が高いため、Ｓ８２０へは遷移せず、常にＳ８０２へ進む。画素数が所定値より少なかったり、フレームレートが所定の速度より低かったりする動画の撮影を行う設定のときは、動画の第１のフレームと第２のフレームの処理の合間に、例えば半分の頻度でＳ８２０へ遷移する。

Ｓ８０２において、カメラ制御部１０４が、好適な条件で動画撮影を行うよう、撮像光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ８０３において、撮像センサー部１０２によって変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。すなわち、センサー信号処理部１０３が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ８０３の処理を終えて、センサー信号処理部１０３から出力される画像情報を、生（未現像）の動画を意味するＲＡＷ画像（特に、ＲＡＷ動画像）と呼ぶ。

Ｓ８０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。

簡易現像部１１１は、動画の各フレームを構成するＲＡＷ動画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差（や原色）から成る信号へ変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部１１１が行う動画の現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを例えばＨＤ映像の２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えばＨＤサイズの動画の高速撮影を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する（Ｓ８０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ動画像を取得して、ＲＡＷ動画像から同様に評価値を算出するようにしても良い。

また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する（Ｓ８０６）。

また、簡易現像部１１１で現像処理された画像情報は、表示処理部１２２に供給される。表示処理部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ８０７）。表示部１２３による表示画像は、動画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするための確認表示のために用いられる。具体的に、動画撮影特有の使用形態として、撮影された動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても、被写体を適切にフレーミングするためのライブビュー表示のために用いられる。なお、表示画像は、表示処理部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示することもできる。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ８０８において、制御部１６１は、ユーザーからの記録の開始指示を受けて撮影された動画を記録中（ＲＥＣ中）であるか否かを判定し、ＲＥＣ中の場合は、Ｓ８１０へ進む。Ｓ８０８でＲＥＣ中では無い場合（すなわちスタンバイ中）は、Ｓ８０１へ戻って、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。

Ｓ８０８によって、撮影された動画のうち、記録開始から記録終了までの記録対象となる動画が、フレーム単位で動画圧縮部１４２によって圧縮される（Ｓ８１０）。なお、図面を用いての説明は省略するが、動画の撮影と同時に、不図示のマイクロフォンによって入力された音声情報が取得されている。動画圧縮部１４２は、動画に対応する音声情報に対しても圧縮処理を施すことになる。

動画圧縮部１４２は、取得した簡易現像済の動画の画像情報及び音声情報に対して高能率符号化処理（動画圧縮）を施し、動画ファイルを生成する。なお、動画圧縮部１４２は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの公知の動画圧縮技術を用いて圧縮処理を行う。

Ｓ８１１において、記録再生部１５１が動画ファイルを記録媒体１５２に記録する。

さらに、Ｓ８０８によって記録対象となった動画に対応する期間のＲＡＷ動画像が、センサー信号処理部１０３からＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、記録対象となった動画と同じシーンを示すＲＡＷ動画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイル（ＲＡＷ動画ファイル）に変換する（Ｓ８１２）。ＲＡＷ動画ファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ動画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷ動画ファイルを生成する。

Ｓ８１３において、記録再生部１５１がＲＡＷ動画ファイルを記録媒体１５２に記録した後、フローはＳ８０１に遷移する。なお、Ｓ８１１及びＳ８１３において、記録再生部１５１は、動画ファイル及び／又はＲＡＷ動画ファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。

以上が、本実施形態の動画撮影モードの処理に係るフローの説明である。

ここで、本実施形態に係る、動画ファイルの構造と、ＲＡＷ動画ファイルの構造について説明する。図９（ａ）、（ｂ）は、動画ファイル及びＲＡＷ動画ファイルの構成例を示す図である。

図９（ａ）に示す動画ファイル９００は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。動画ファイル９００は、ヘッダ部９０１、メタデータ部９０２、圧縮データ部９０３から成る。ヘッダ部９０１には、このファイルが動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９０３には、高能率符号化された動画と音声の圧縮データが含まれている。

メタデータ部９０２には、この動画ファイルと同時に生成されたＲＡＷ動画ファイルのファイル名の情報９０４が含まれる。また、この動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報９０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ９０６が含まれる。また、図示していないが、同時に生成されたＲＡＷ動画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図９（ｂ）に示すＲＡＷ動画ファイル９１０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷ動画ファイル９１０は、ヘッダ部９１１、メタデータ部９１２、圧縮データ部９１３から成る。ヘッダ部９１１には、このファイルがＲＡＷ動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部９１３には、高能率符号化された動画のＲＡＷ圧縮データが含まれている（圧縮されていない動画のＲＡＷ画像データであっても良い）。

メタデータ部９１２には、このＲＡＷ動画ファイルと同時に生成された動画ファイルのファイル名の情報９１４が含まれる。また、その動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報９１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ９１６が含まれる。撮影メタデータ９１６のうち、撮影メタデータ９０６と共通するものは同じデータを用いる。また、図示していないが、同時に生成された動画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された動画ファイルそのもの全部又は一部（先頭フレームなど）を抽出してメタデータ化して、メタデータ部９１２に格納しても良い。

上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦ、ＡＶＣＨＤ、ＭＸＦなどの標準規格と互換性を有する構成であっても良い。なお、ＡＶＣＨＤとは、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎの意味であり、ＭＸＦとは、Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔの意味である。

本実施形態に係る撮像装置１００は、上述のように、動画撮影モードにおける撮影画像表示（ライブビュー表示）や、撮影時に生成される動画ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを例えば２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、例えばＨＤサイズの動画の現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、動画ファイルと共に、その動画の記録期間に対応するＲＡＷ動画ファイルを生成する。ＲＡＷ動画ファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、４Ｋや８Ｋ（水平解像度が８０００画素相当）のように画像の画素数を高めたり、毎秒１２０コマ（１２０Ｐ）のようにフレームレートを高めたりしても、小規模な回路によって少ない消費電力でＲＡＷ動画ファイルを記録することが可能である。

次に、撮像装置１００の動画再生モードにおける動作について説明する。

図１０に、本実施形態の動画再生モードの処理に係るフローチャートを示す。図１０のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図１０において動画再生モードの処理が開始されると（Ｓ１０００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ１００１）、負荷状況に応じた頻度でアイドル状態（Ｓ１０１０）へ遷移し、そうでなければＳ１００２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ１０１０へ遷移する。ユーザーからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合はＳ１００２へ進む。

Ｓ１００２において、制御部１６１が、再生される動画について、ユーザーから再生の一時停止（ポーズ）の指示を受けているかを判定する。Ｓ１００２で一時停止指示がなければ動画再生を継続するためにフローはＳ１００３に進む。

Ｓ１００３において、記録再生部１５１が、記録媒体１５２等から再生対象の動画ファイルを読み出す。そして、Ｓ１００４において、動画伸張部１４４が、動画ファイルを１フレームずつ復号して伸張し、Ｓ１００５において、表示処理部１２２が再生された動画の表示画像を表示部１２３へ出力する。

Ｓ１００２で一時停止指示を受けた場合、制御部１６１が、再生及び表示中の動画を一時停止状態にするともに、一時停止されたときの停止位置のフレームを静止画として表示させるために、Ｓ１０２０へフローを遷移させる。一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には拡大表示の指示を受けやすいと考えられる。そこで、簡易現像されている動画ファイルよりも高画質な画像の表示を提供するため、Ｓ１０２０において、再生中の動画ファイルに対応するＲＡＷ動画ファイルの、更に一時停止表示中のフレームに対応するＲＡＷ画像のフレームを、記録再生部１５１が再生する。このとき再生対象となるＲＡＷ動画ファイルが、バッファ部１１５にバッファリングされていればバッファ部１１５からＲＡＷ動画ファイルを読み出し、バッファリングされていなければ記録媒体１５２等からＲＡＷ動画ファイルを読み出す。記録媒体１５２等から読み出されたＲＡＷ動画ファイルは、バッファ部１１５によって一時保持される。

Ｓ１０２１において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２等から読み出したＲＡＷ動画ファイルを復号して伸張し、ＲＡＷ動画像を復元する。復元されたＲＡＷ動画像は、高画質現像部１１２で高画質に現像処理される（Ｓ１０２２）。

撮像装置１００は、このように動画のＲＡＷファイルから高画質に現像された、一時停止表示中のフレームに対応する高画質静止画を、新たな静止画ファイルとしてキャプチャすることも可能である。Ｓ１０２３において、制御部１６１が、静止位置の表示画像を静止画としてキャプチャするユーザー指示を受けつけたか否かを判定する。Ｓ１０２３で静止画キャプチャの指示を受けつけないならば、動画のＲＡＷファイルから高画質に現像された静止画像は表示処理部１２２に供給され、Ｓ１００５において、表示処理部１２２が高画質に現像された静止画像の表示画像を表示部１２３へ出力する。この処理によって、動画ファイルによる一時停止表示中の画像は、ＲＡＷ画像から高画質に現像された静止画像の表示画像によって置き換わる。

Ｓ１０２３で静止画キャプチャの指示を受けつけたならば、Ｓ１０２２で高画質現像部１１２によって現像処理された画像情報が静止画圧縮部１４１に供給される。静止画圧縮部１４１は、キャプチャによって取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ１０２４）、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

Ｓ１０２５において、記録再生部１５１が高画質の静止画ファイルを記録媒体１５２等に記録したら、フローはＳ１００５に遷移する。ＲＡＷ動画ファイルから高画質に現像された静止画像は表示処理部１２２に供給され、Ｓ１００５において、表示処理部１２２が高画質に現像された静止画像の表示画像を表示部１２３へ出力する。この処理によって、動画ファイルによる一時停止表示中の画像は、ＲＡＷ画像から高画質に現像された静止画像の表示画像によって置き換わる。

Ｓ１０２４で静止画圧縮部１４１によって生成される高画質の静止画ファイルは、図４（ａ）の静止画ファイル４００の構成を成す。メタデータ部４０２には、ＲＡＷファイルのファイル名の情報４０４として、キャプチャの元となったＲＡＷ動画ファイルのファイル名が格納される。また、撮影メタデータ４０６として、静止画としてキャプチャされたフレームの時刻情報が格納され、ＲＡＷ動画ファイルの対応するフレーム位置を指し示すことができる。また、ＲＡＷ動画ファイルの対応するフレームを静止画として抽出して、対となる新たな静止画のＲＡＷファイル４１０をこのとき作成しても良い。静止画のＲＡＷファイルの生成に関しては、前述の静止画撮影モードのＳ３１０〜Ｓ３１３で説明したような方法で、静止画ファイルとＲＡＷファイルを構成する。

なお、Ｓ１００５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、フローはＳ１００１に戻る。Ｓ１００１において、アイドル状態Ｓ１０１０に遷移した場合は、上述した図５のフローチャートに従って処理される。

このように、本実施形態の撮像装置１００は、撮影時に記録された動画ファイルを用いて、遅延なく容易に動画を再生することができ、一時停止状態では、動画のＲＡＷファイルから高画質に現像した静止画を差し替えて表示できる。さらに、この高画質な静止画を容易に静止画ファイルとしてキャプチャすることができる。

また、図１０のＳ１０２０以降の高画質現像は、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに動画の追いかけ現像が徐々に終了し、簡易現像による動画ファイルが自然と高画質現像による動画ファイルに置き換わる。そうして置き換えが進むに従って、Ｓ１０２０以降の高画質現像は発生するケースが減少し、常時速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。

以上が本実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。

（その他の実施形態）
さらに、上述した本発明の実施形態におけるフローチャート図に示した各処理は、各処理の機能を実現する為のコンピュータプログラムを本件発明の画像符号化装置が動作するシステムのメモリから読み出してシステムのＣＰＵが実行することによっても実現できる。この場合、メモリに記憶されたプログラムは本件発明を構成する。

上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、フローチャート図に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、フローチャート図に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。

１０１ 撮像光学部
１０２ 撮像センサー部
１０３ センサー信号処理部
１０４ カメラ制御部
１０５ 評価値算出部
１１０ 現像部
１１１ 簡易現像部
１１２ 高画質現像部
１１３ ＲＡＷ圧縮部
１１４ ＲＡＷ伸張部
１１５ バッファ部
１２１ スイッチ部
１２２ 表示処理部
１２３ 表示部
１２４ 映像出力端子
１３１ 認識部
１４１ 静止画圧縮部
１４２ 動画圧縮部
１４３ 静止画伸張部
１４４ 動画伸張部
１５１ 記録再生部
１５２ 記録媒体
１５３ 通信部
１５４ 通信端子

Claims (8)

1. 被写体像を撮像してＲＡＷ画像情報を生成する撮像手段と、
   前記ＲＡＷ画像情報を取得して現像処理を行う第１の現像手段と、
   前記第１の現像手段によって現像処理された画像の画像ファイルと、前記ＲＡＷ画像情報をＲＡＷ画像のままファイルにしたＲＡＷファイルとを記録媒体に記録する記録手段と、
   前記記録媒体に記録されたＲＡＷファイルを読みだして前記第１の現像手段よりも高画質な画像を得るための現像処理を行う第２の現像手段と、
   再生に際して、前記第２の現像手段による現像処理が終えていない場合には、前記画像ファイルから得られる前記第１の現像手段により現像処理された画像を再生し、前記第２の現像手段による現像処理を終えている場合には、前記第２の現像手段により現像処理された高画質な画像を再生するよう制御する制御手段と、
   を具備することを特徴とする画像処理装置。
2. 前記第２の現像手段は、撮像又は再生の合間に前記ＲＡＷファイルを読みだして現像処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記記録手段は、前記第２の現像手段によって現像処理された画像から新たな画像ファイルを生成して、前記記録媒体に記録することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記記録手段は、前記新たな画像ファイルを前記記録媒体に記録することに応じて、前記記録媒体に記録されている前記第１の現像手段によって現像処理された画像ファイルを削除することを特徴とする請求項３に記載の画像処理装置。
5. 前記記録手段は、前記新たな画像ファイルのファイル名を、前記記録媒体に記録されている前記第１の現像手段によって現像処理された画像ファイルのファイル名と同じか対応するファイル名にすることを特徴とする請求項４に記載の画像処理装置。
6. 被写体像を撮像してＲＡＷ画像情報を生成する撮像工程と、
   前記ＲＡＷ画像情報を取得して現像処理を行う第１の現像工程と、
   前記第１の現像工程によって現像処理された画像の画像ファイルと、前記ＲＡＷ画像情報をＲＡＷ画像のままファイルにしたＲＡＷファイルとを記録媒体に記録する記録工程と、
   前記記録媒体に記録されたＲＡＷファイルを読みだして前記第１の現像工程よりも高画質な画像を得るための現像処理を行う第２の現像工程と、
   再生に際して、前記第２の現像工程による現像処理が終えていない場合には、前記画像ファイルから得られる前記第１の現像工程により現像処理された画像を再生し、前記第２の現像工程による現像処理を終えている場合には、前記第２の現像工程により現像処理された高画質な画像を再生するよう制御する制御工程と、
   を具備することを特徴とする画像処理方法。
7. コンピュータに、請求項６に記載の画像処理方法の各工程を実行させるためのプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
   

Images