JP2015173420A - 画像記録装置および画像記録方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】動画や静止画とそれらのＲＡＷ画像データを記録することによる記録容量の増大を低減する。
【解決手段】画像記録装置は、被写体像を撮像して得られたＲＡＷ画像データを入力する入力手段と、前記ＲＡＷ画像データの撮影時の情報を取得する取得手段と、前記ＲＡＷ画像データを記録する記録手段と、前記撮影時の情報に基づいて、前記ＲＡＷ画像データが生成されたときの撮像画面の有効画素部の最外周と防振演算画素部の最外周とに囲まれた領域の画素値を所定値へ置換することにより前記ＲＡＷ画像データのデータ量を抑制する制御手段と、を有する。
【選択図】図２

Description

本発明は、動画や静止画とそれらのＲＡＷ画像データを記録する技術に関する。

従来の撮像装置では、撮像センサにより得られた生の画像信号（ＲＡＷ画像データ）をデベイヤー処理（デモザイク処理）して輝度と色差からなる信号に変換し、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの現像処理を行っている。このように現像処理された輝度信号および色差信号は、圧縮符号化されて記録媒体に記録されるのが一般的である。

ＲＡＷ画像データはデータ量が膨大であり、撮像装置に記録するには大容量の記録媒体が必要となる。一方、ＲＡＷ画像データは、オリジナル画像に対する補正を可能とし、画質の劣化を最低限に抑え、撮影後に編集できるという利点から、特に上級者が好んで使用している。例えば、撮影後に編集できる利点としては、電子式手振れ補正を、より高精度な手振れ補正として行うことができる。

例えば、特許文献１には、ＲＡＷ画像データを記録する際に、フレーム毎に角速度センサの出力値や出力値から得られる撮像素子の移動量データなどを記録媒体に記録し、再生時にＲＡＷ画像データを現像処理する際に利用することが記載されている。

特開２００９−１５２６７２号公報

撮像装置は、撮像センサの進歩に伴い、画像１枚あたりの画素数が大幅に増加しており、また、１秒あたりに連写できる画像の枚数も増加傾向にある。そのため、ＲＡＷ画像データに対するデベイヤー処理や、ノイズ除去、光学歪補正などの現像処理の処理量が相乗的に増大し、撮影と並行したリアルタイムの現像処理を行うために膨大な回路や消費電力が必要となっている。このような現像処理による回路の占有や消費電力上の制限などのために、高い撮影パフォーマンスを実行できないことも起こり得る。

また、前述のようにＲＡＷ画像データの記録には、大容量の記録媒体が必要となる。例えば、水平解像度が４０００画素相当（４Ｋ）の解像度の場合、データ量は総画素数で約１１６０万画素、有効画素数で約８３０万画素となる。

また、特許文献１のように、撮影後にＲＡＷ画像データを現像処理して高精度な手振れ補正処理を実行する場合、ＲＡＷ画像データの記録時に移動量データ（補正処理作業に必要なデータ）も記録するため、更に大容量の記録媒体が必要となる。

さらに、撮影後に手振れ補正処理を行うため、本来必要な画角（撮影したい画角）より広い領域のデータを記録しておく必要もあり、記録媒体の記録容量が増大する原因となっている。

本発明は、上記課題に鑑みてなされ、その目的は、動画や静止画とそれらのＲＡＷ画像データを記録することによる従来の弊害を低減する技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像記録装置は、被写体像を撮像して得られたＲＡＷ画像データを入力する入力手段と、前記ＲＡＷ画像データの撮影時の情報を取得する取得手段と、前記ＲＡＷ画像データを記録する記録手段と、前記撮影時の情報に基づいて、前記ＲＡＷ画像データが生成されたときの撮像画面の有効画素部の最外周と防振演算画素部の最外周とに囲まれた領域の画素値を所定値へ置換することにより前記ＲＡＷ画像データのデータ量を抑制する制御手段と、を有する。

本発明によれば、動画や静止画とそれらのＲＡＷ画像データを記録することによる従来の弊害を低減することができる。

本発明に係る実施形態の撮像装置の構成を示すブロック図。 実施形態１の動画撮影処理を示すフローチャート。 実施形態１の動画ファイルとＲＡＷファイルの構成例を示す図。 動画撮影モードにおける画素領域制御処理を示すフローチャート。 実施形態１の動画再生処理を示すフローチャート。 撮像装置の手振れを画像データ上で模式的に示す図。 実施形態１の静止画ファイルとＲＡＷファイルの構成例を示す図。 実施形態１のＲＡＷ画像データ量の抑制方法を説明する図。 実施形態２のＲＡＷ画像データ量の抑制方法を説明する図。 実施形態３のＲＡＷ画像データ量の抑制方法を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明の画像記録装置を、例えば、動画や静止画を撮影するデジタルビデオカメラなどの撮像装置に適用した実施形態について説明する。

なお、以下の実施形態では、本発明を撮像装置に適用した例を説明するが、本発明はこれに限らず、例えば、カメラ付き携帯電話やスマートフォン、タブレット、ＷＥＢカメラを有するパーソナルコンピュータなどにも適用可能である。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成および機能の概略について説明する。

本実施形態の撮像装置は、被写体像を撮像して得られる動画や静止画などの画像データを記録媒体に記録するだけでなく、記録媒体から画像データを読み出して再生したり、記録媒体から読み出したＲＡＷ画像データに現像処理を施して表示する機能を有する。また、本実施形態の撮像装置は、記録、再生または表示などのために、画像データをサーバ（クラウド）などの外部機器との間で送受信する機能も有する。

このように、本実施形態の撮像装置は、画像処理装置、画像記録装置、画像再生装置、画像記録再生装置、通信装置などの範疇にも属するものである。

図１において、制御部１６０は、ＣＰＵと、ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の動作を制御する。操作部１６１は、ユーザが撮像装置１００に対して指示を与えるキーやボタン、タッチパネルなどの入力デバイスを含む。制御部１６０は、操作部１６１からの操作信号を検出し、操作に対応した動作を実行するよう撮像装置１００の各部を制御する。表示部１２１は、撮像装置１００で撮影または再生された画像や、メニュー画面、各種情報などを表示するための液晶ディスプレイ（ＬＣＤ）などから構成される。

操作部１６１から撮影開始が指示されると、撮影対象となる被写体の光学像が撮影光学系１０１を介して入力され、撮像部１０２上に結像される。撮影時の撮影光学系１０１および撮像部１０２の駆動は、評価値算出部１０５により取得される、絞り、フォーカス、手ぶれなどの評価値の算出結果や、被写体認識部１３０によって抽出される被写体情報に基づいて、カメラ信号制御部１０４によって制御される。

撮像部１０２で光電変換を行って生成された画像信号は、撮像信号処理部１０３によって画素の修復処理が施され、画像データとして出力される。この修復処理では、撮像部１０２の欠落画素や信頼性の低い画素の値を、その周辺画素値を用いて補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、撮像信号処理部１０３から出力される画像データを、生（未現像）の画像を意味する「ＲＡＷ画像データ」と呼ぶ。

ＲＡＷ画像データは、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とを含む。また、現像部１１０は、簡易現像部１１１と高画質現像部１１２からの出力を選択するスイッチ部１１６を含む。簡易現像部１１１と高画質現像部１１２は共に、ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）を施し、輝度と色差からなる信号に変換し、各信号に含まれるノイズの除去、光学的な歪の補正、画像の適正化などの所謂現像処理を行う。

特に高画質現像部１１２は、簡易現像部１１１よりも各処理を高精度に行うものであり、それ故、簡易現像部１１１よりも高画質な現像画像が得られる一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を実行可能とされる。このように高画質現像処理を撮影時ではなく、撮影後に時間をかけて行うことで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像処理よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるよう制御する。スイッチ部１１６は、操作部１６１によりユーザから指示された操作内容や実行中の動作モードに応じた制御部１６０による制御に従い、簡易現像処理と高画質現像処理のいずれかを行うかを選択するよう制御される。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を例示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成であっても良い。

現像部１１０によって現像処理された画像データは、表示処理部１２０によって所定の表示処理がなされた後、表示部１２１に表示される。また、現像処理された画像データは、映像出力端子１２２により、外部に接続された表示機器に出力されても良い。映像出力端子１２２は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースである。

現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給され、画像データからフォーカス状態や露出状態などの評価値が算出される。

また、現像部１１０によって現像処理された画像データは、被写体認識部１３０にも供給される。被写体認識部１３０は、画像データ中の被写体情報を検出および認識する機能を有し、例えば、画像データによって表される画面内における顔を検出して顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。

現像部１１０によって現像処理された画像データは、静止画圧縮部１４０および動画圧縮部１４１にも供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４０を用い、動画として圧縮する場合は、動画圧縮部１４１を用いる。静止画圧縮部１４０および動画圧縮部１４１は、それぞれ対象となる画像データを高効率符号化（圧縮符号化）して、情報量が圧縮された画像データを生成し、画像ファイル（静止画ファイル、または、動画ファイル）に変換する。静止画圧縮では例えばＪＰＥＧなどを、動画圧縮では例えばＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などが適用できる。

ＲＡＷ動画領域制御部１７５は、ジャイロセンサ１７０の出力値に基づいて、撮像信号処理部１０３から出力されて記録媒体１５１に記録するＲＡＷ画像データ量を抑制する。

ここで、図６を参照して、本実施形態のＲＡＷ画像データ量の抑制方法について説明する。

図６において、破線で囲まれた領域６００は撮影時に手振れが発生したときの撮影画角、実線で囲まれた領域６０２は、撮影時に手振れが発生していないときの撮影画角である。そして、図６の黒色領域６０１は、撮像部１０２の撮像画面の有効画素部である。そして、図６の灰色領域６０６は、撮影後の手振れ補正処理に用いる原画素部（防振演算画素部）であり、撮像画面有効画素部６０１の領域内で、かつ、撮影領域６００（撮影画角）の外側の領域まで含む。つまり、灰色領域６０６には撮影時に手振れが発生したときの撮影画角６００、手振れが発生していないときの撮影画角６０２の両方が含まれる。

ジャイロセンサ１７０は、撮像装置の動き（向きの変化）を検出する。ジャイロセンサ１７０からの出力値は移動量算出部１７１へ供給され、移動量算出部１７１が撮影時の撮像装置の手振れ量を算出する。

防振演算画素部である灰色領域６０６の大きさは、横方向の手振れ量（移動量）ΔＨと縦方向の手振れ量（移動量）ΔＶに基づいて、記録画素領域の大きさに対する手振れ量ΔＨ、ΔＶの大きさに応じて可変に制御される。すなわち、撮像装置の手振れ量の大きさに応じて記録媒体１５１に記録するＲＡＷファイルのＲＡＷ画像データ量を制御する。

図６（ｂ）のように撮像装置の手振れ量が大きい場合は、撮影後の手振れ補正で広い原画素部が必要となるため、ＲＡＷ圧縮部１１３へ出力する原画素部（灰色領域６０６）を大きくする。また、図６（ａ）のように撮像装置の手振れ量が小さい場合は、撮影後の手振れ補正で用いる原画素部は狭くて良いため、ＲＡＷ圧縮部１１３へ出力する原画素部（灰色領域６０６）を小さくする。

さらに圧縮後のＲＡＷファイルのＲＡＷ画像データ量を抑制するため、原画素部（灰色領域６０６）の最外周と撮像画面有効画素部の最外周とに囲まれた領域６０１は、原画素をヌル画素に置換する。

図８は原画素をヌル画素に置換する方法を説明するために、撮像画面有効画素部の画面左上隅部を拡大した図である。８０１は撮像画面有効画素部の最外周、８０２は防振演算画素部の最外周、８０５（白丸）はヌル画素、８０６（灰色丸）は原画素、８１０はＲＡＷ画像データを符号化する際の単位画素であるＲＡＷ符号化マクロブロック（８画素×８画素）を示している。

ＲＡＷ圧縮部１１３は、ＲＡＷ動画領域制御部１７５から出力されたＲＡＷ画像データを、ウエーブレット変換や、差分符号化などの技術を用いて高効率符号化して、圧縮された状態のＲＡＷファイルに変換し、バッファ部（記憶媒体）１１５に格納する。ＲＡＷファイルをバッファ部１１５に残しておき再び読み出すことも可能であるが、バッファ部１１５に格納された後は、別の記録媒体に記録し、バッファ部１１５から削除しても良い。

ＲＡＷファイルと静止画ファイルおよび動画ファイルは、記録再生部１５０によって記録媒体１５１に記録される。記録媒体１５１は、内蔵式の大容量メモリやハードディスク、または、着脱式のメモリカードなどである。記録再生部１５０は、記録媒体１５１から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。

記録再生部１５０は、通信部１５２を介して、外部のストレージやサーバに、各種ファイルを書き込んだり（送信）、読み出したりする（受信）機能も有する。通信部１５２は、通信端子１５３を用いて無線通信や有線通信によりインターネットや外部機器へのアクセスを可能にする構成を有する。

操作部１６１によって再生開始が指示されると、記録再生部１５０は、記録媒体１５１から、または、通信部１５２を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルの場合は、記録再生部１５０は、取得したＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルの場合は、記録再生部１５０は、取得した静止画ファイルを静止画伸張部１４２に供給する。再生対象のファイルが動画ファイルの場合は、記録再生部１５０は、取得した動画ファイルを動画伸張部１４３に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読み出し、圧縮された状態のＲＡＷファイルを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷ画像ファイルは、ＲＡＷ動画領域制御部１７５へ供給され、手振れ補正処理が施される。すなわち、ＲＡＷファイルのメタデータ（図３で後述する）として保存されている手振れ補正データΔＨ、ΔＶに応じて、シフトさせた読み出し座標にてＲＡＷファイルを切り出して出力する。ＲＡＷ動画領域制御部１７５により手振れ補正されたＲＡＷファイルは、現像部１１０の簡易現像部１１１および高画質現像部１１２に供給される。

静止画伸張部１４２は、入力された静止画ファイルを復号して伸張し、静止画の表示用画像データとして表示処理部１２０に供給する。動画伸張部１４３は、入力された動画ファイルを復号して伸張し、動画の表示用画像データとして表示処理部１２０に供給する。表示処理部１２０は、静止画再生モードか動画再生モードかに応じて、供給された表示用画像データを選択し、表示部１２１に供給する。

＜動画撮影処理＞次に、図２を参照して、本実施形態の撮像装置１００による動画撮影処理について説明する。

なお、図２の各ステップ（Ｓ）は、制御部１６０が有する不図示のメモリ（ＲＯＭ）に格納されているプログラムを同じく不図示のメモリ（ＲＡＭ）に展開して実行することにより実現される。

図２において、操作部１６１により動画撮影モードに設定されると（Ｓ２００）、制御部１６０が撮像装置１００の処理負荷状況を判定し（Ｓ２０１）、処理負荷が低いときに所定の頻度で画素領域制御処理に進む（Ｓ２１３）。例えば、水平解像度が４０００画素相当（４Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画の撮影を行う設定にされている場合は処理負荷が高いので、画素領域制御処理（Ｓ２１３）へは移行せずにＳ２０２へ進む。また、画素数が所定値より少なかったり、フレームレートが所定の速度より低い動画の撮影設定のときは、処理負荷が低いので、第１フレームと第２フレームの処理の合間に、例えば半分の頻度で画素領域制御処理に進む（Ｓ２１３）。

Ｓ２０２では、カメラ信号制御部１０４が、最適な撮影条件で動画撮影が行われるように撮影光学系１０１や撮像部１０２の駆動を制御する。例えば、ユーザのズームやフォーカスの指示に従って、撮影光学系１０１に含まれるレンズを移動したり、動画の記録画素数の指示に従って撮像部１０２の読み出し領域を設定する。また、後述の評価値算出部１０５や被写体認識部１３０から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御も行う。

Ｓ２０３では、撮像信号処理部１０３が、撮像部１０２で生成された画像信号に対して、画素の修復のための信号処理を施す。ここでは、欠落画素や信頼性の低い画素値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算する処理を行う。本実施形態では、Ｓ２０３の処理を終えた後、撮像信号処理部１０３からＲＡＷ画像データが出力される。

Ｓ２０４では、簡易現像部１１１がＲＡＷ画像データの現像処理を行う。このとき、制御部１６０が現像部１１０のスイッチ部１１６を切り替えて、簡易現像部１１１で現像処理された画像データを選択する。

簡易現像部１１１は、動画の各フレームを構成するＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）を行い、輝度と色差からなる信号に変換して、各信号に含まれるノイズの除去、光学的な歪の補正、画像の適正化などの現像処理を行う。

ここで、簡易現像部１１１が行う動画の（簡易）現像処理について説明する。

簡易現像部１１１は、現像後の画像サイズを、例えばＨＤ映像の２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたりまたは省いたりすることで、現像処理の高速化や簡易化を実現している。簡易現像部１１１が画像サイズを縮小した上で処理を行ったり、現像処理の機能の一部を制限したりすることで、例えばＨＤサイズの動画の高速撮影を小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像データは、評価値算出部１０５に供給される。評価値算出部１０５は、画像データに含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する（Ｓ２０５）。なお、評価値算出部１０５ＧＡ、現像処理前のＲＡＷ画像データを取得し、取得したＲＡＷ画像データから評価値を算出するようにしても良い。

また、簡易現像部１１１で現像処理された画像データは、被写体認識部１３０にも供給される。被写体認識部１３０は、画像データから被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像データ内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する（Ｓ２０６）。

さらに、簡易現像部１１１で現像処理された画像データは、表示処理部１２０にも供給される。表示処理部１２０は、取得した画像データから表示用画像データを生成し、表示部１２１または外部の表示装置に出力する（Ｓ２０７）。表示部１２１に表示される画像は、動画撮影モードにおいては、ユーザが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。具体的には、動画撮影特有の使用形態として、撮影された動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても被写体を適切にフレーミングするためのライブビュー表示に用いられる。

なお、表示用画像データを、表示処理部１２０から映像出力端子１２２を経由して、外部のテレビジョンなどの他の表示装置にて表示するようにしても良い。さらに、表示処理部１２０は、評価値算出部１０５や被写体認識部１３０から供給される評価値情報や被写体情報を用いて、例えば、表示された画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示する機能を有しても良い。

Ｓ２０８では、制御部１６０は、ユーザからの記録開始指示により撮影された動画が記録中（ＲＥＣ中）であるか否かを判定し、ＲＥＣ中の場合は、Ｓ２１０へ進む。ＲＥＣ中でない場合（すなわちスタンバイ中）は、Ｓ２０１へ戻り、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。Ｓ２０８にて撮影された動画のうち記録開始から記録終了までの記録対象となる動画が、フレーム単位で動画圧縮部１４１によって圧縮される（Ｓ２０９）。

なお、動画圧縮部１４１は、動画撮影時にマイクロフォン（不図示）によって集音された音声情報も取得し、動画に対応する音声情報にも圧縮処理を施す。動画圧縮部１４１は、取得した簡易現像済の動画の画像データおよび音声情報に対して高効率符号化処理（動画圧縮）を施し、動画ファイルを生成する。なお、動画圧縮部１４１は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの公知の動画圧縮技術を用いて圧縮処理し、ファイル生成を行う。

Ｓ２１０では、記録再生部１５０が動画ファイルを記録媒体１５１に記録する。

一方、Ｓ２１４では、Ｓ２０２の処理と並行して、ジャイロセンサ１７０が撮像装置１００の動きを検出する。

Ｓ２１５では、ジャイロセンサ１７０により検出された撮像装置１００の動き情報が移動量算出部１７１へ供給され、撮影時の撮像装置１００の手振れ量を算出する。

Ｓ２１６では、ＲＡＷ動画領域制御部１７５が、算出された手振れ量に基づいて手振れ補正処理に用いる原画素部（図６の灰色領域６０６）を決定する。なお、原画素部は、手振れ量だけでなく、撮影時のズーム倍率や被写体の動き量なども含めて決定しても良い。

Ｓ２１７では、ＲＡＷ動画領域制御部１７５が、原画素部の最外周と撮像画面有効画素部の最外周とに囲まれた領域の原画素をヌル画素に置換する。そして、Ｓ２０８で記録対象となった動画に対応する期間について、Ｓ２１４からＳ２１７にて事前処理が施されたＲＡＷ画像データが、ＲＡＷ動画領域制御部１７５からＲＡＷ圧縮部１１３へ供給される。ＲＡＷ圧縮部１１３は、記録対象となった動画と同じシーンを示すＲＡＷ画像データを、高効率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換し（Ｓ２１１）、バッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高効率符号化は、ウエーブレット変換や、差分符号化などの公知の技術が用いられるが、非可逆符号化でも可逆符号化でも良い。本実施形態では、撮像信号処理部１０３から供給される画像データを大きく損なわない、高画質ファイルとして復元可能なＲＡＷ画像ファイルが生成される。

Ｓ２１２では、記録再生部１５０がＲＡＷ画像ファイルを記録媒体１５１に記録し、その後、Ｓ２０１に戻る。なお、Ｓ２１０およびＳ２１２では、記録再生部１５０は、動画ファイルおよび／またはＲＡＷファイルを、通信部１５２を介して、通信端子１５３を介して外部のストレージに送信し、記憶するようにしても良い。

なお、Ｓ２１７では、ＲＡＷ動画領域制御部１７５が、原画素部の最外周と撮像画面有効画素部の最外周とに囲まれた領域の原画素をヌル画素で置換したが、値がゼロである「ヌル」以外の「所定値」に置換し、さらに圧縮効率を向上させても良い。

＜ファイル構成＞ここで、図３を参照して、本実施形態の動画ファイルとＲＡＷファイルの構造について説明する。

図３（ａ）に示す動画ファイル３００は、記録再生部１５０によって、例えば記録媒体１５１の所定の記録領域に記録される。動画ファイル３００は、ヘッダ部３０１、メタデータ部３０２、圧縮データ部３０３からなる。ヘッダ部３０１には、動画ファイルの形式であることを示す識別コードなどが含まれる。圧縮データ部３０３は、高効率符号化された動画と音声の圧縮データを含む。

メタデータ部３０２は、動画ファイルと同時に生成されたＲＡＷファイルのファイル名の情報３０４を含み、また、動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報３０５を含む。

また、動画ファイル３００は、評価値算出部１０５や被写体認識部１３０からの評価値や被写体情報、撮影光学系１０１や撮像部１０２からの撮影時の情報（例えば、レンズ種別識別情報やセンサ種別識別情報など）を含む撮影メタデータ３０６を含む。また、図示していないが、動画ファイルと同時に生成されたＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図３（ｂ）に示すＲＡＷファイル３１０は、記録再生部１５０によって、例えば記録媒体１５１の所定の記録領域に記録される。ＲＡＷファイル３１０は、ヘッダ部３１１、メタデータ部３１２、圧縮データ部３１３からなる。ヘッダ部３１１は、ＲＡＷ画像ファイルの形式であることを示す識別コードなどが含まれる。圧縮データ部３１３は、高効率符号化された動画のＲＡＷデータを含む。

メタデータ部３１２は、ＲＡＷファイルと同時に生成された動画ファイルのファイル名の情報３１４、その動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報３１５を含む。

ＲＡＷファイル３１０は、評価値算出部１０５や被写体認識部１３０からの評価値や被写体情報、撮影光学系１０１や撮像部１０２からの撮影時の情報（例えば、レンズ種別識別情報やセンサ種別識別情報など）を含む撮影メタデータ３１６も含む。さらに撮影メタデータ３１６には、ジャイロセンサ１７０により検出された撮像装置の動き情報に基づいて移動量算出部１７１が算出した手振補正データ３１７が格納される。これらのデータは、ＲＡＷ画像データに手振れ補正処理を施す際に参照する補正量となる。例えば、撮影後に高画質現像処理を施す場合、メタデータとして保存されているこれらのデータに基づいて、圧縮されたＲＡＷ画像データの一部を切り出すことにより、手振れ補正処理（移動処理）を行った画像データを生成する。

また、図示していないが、撮影メタデータ３１６は、ＲＡＷファイルと同時に生成された動画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。さらに、ＲＡＷファイルと同時に生成された動画ファイルそのものをメタデータ化して、メタデータ部３１２に格納しても良い。

上述した各種ファイルの構造はその一例であり、ＤＣＦやＡＶＣＨＤ、ＭＸＦなどの標準規格に準じた構成であっても良い。

＜画素領域制御処理＞次に、図４を参照して、図２のＳ２１３における画素領域制御処理について説明する。

図４において、画素領域制御処理が開始されると（Ｓ４００）、制御部１６０が、ユーザ設定により追いかけ現像を行うか否かを判定し（Ｓ４０１）、追いかけ現像を行わない場合はＳ４０２に進み、追いかけ現像を行う場合はＳ４１０に進む。

Ｓ４０１で追いかけ現像を行わない場合は、制御部１６０が、ユーザにより設定されたモードに応じて、静止画撮影モード、静止画再生モード、動画撮影モード、動画再生モードのいずれかのモードに移行するか否かを判定する（Ｓ４０２、Ｓ４０３、Ｓ４０４、Ｓ４０５）。その後、制御部１６０は、判定結果に応じて選択されたモードの処理を実行する（Ｓ４０６、Ｓ４０７、Ｓ４０８、Ｓ４０９）。

ここで、Ｓ４１０からＳ４１６で行う「追いかけ現像」について説明する。「追いかけ現像」とは、撮影処理を終えた後、バッファ部１１５や記録媒体１５１などに記録されたＲＡＷファイルを用いて、改めて高画質の現像処理を施し、高画質の表示用画像データや静止画ファイルを生成する処理である。本実施形態の「追いかけ現像」の対象となるＲＡＷファイルは、静止画と動画の両方とする。

具体的には、Ｓ４０１で追いかけ現像を行うと判定され、Ｓ４１０で追いかけ現像が未処理のときに、制御部１６０は、バッファ部１１５にバッファリングされているＲＡＷファイル（Ｓ４１１）、または、バッファリングされていない場合は記録媒体１５１などに記録されたＲＡＷファイルを読み出し（Ｓ４１２）、ＲＡＷ伸張部１１４によってＲＡＷファイルを復号して伸張する（Ｓ４１３）。ＲＡＷ伸張部１１４によって伸張されたＲＡＷファイルは、現像部１１０へ供給される。

Ｓ４１４では、高画質現像部１１２が、ＲＡＷファイルを用いて、撮影静止画に高画質現像処理を施す。

Ｓ４１５では、静止画圧縮部１４０が、高画質現像された静止画データを高効率符号化して静止画ファイルを生成する。

Ｓ４１６では、記録再生部１５０が、静止画ファイルを記録媒体に記録する。その後、Ｓ４０２に進む。

＜動画再生処理＞次に、図５を参照して、本実施形態の撮像装置による動画再生処理について説明する。

なお、図５の各ステップ（Ｓ）は、制御部１６０のＣＰＵが、制御部１６０有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開して実行することにより実現される。

図５において、操作部１６１により動画再生モードに設定されると（Ｓ５００）、制御部１６０が撮像装置１００の処理負荷状況を判定し（Ｓ５０１）、処理負荷が低いときに所定の頻度で画素領域制御処理へ進む（Ｓ５１０）。例えば、再生指示などのユーザ操作を待っている間は処理負荷が低いので、画素領域制御処理へ進む（Ｓ５１０）。また、ユーザ操作に応じて動画の再生が開始されている（再生中の状態を含む）場合は処理負荷が高いので、画素領域制御処理（Ｓ５１０）へは移行せずにＳ５０２へ進む。

Ｓ５０２では、制御部１６０が、再生される動画について、ユーザから再生の一時停止（ポーズ）の指示を受けているか判定し、一時停止指示がなければ、動画再生を継続するためにＳ５０３に進む。

Ｓ５０３では、記録再生部１５１が、記録媒体１５１などから再生対象の動画ファイルを読み出し、Ｓ５０４では、動画伸張部１４３が、動画ファイルを１フレームずつ復号して伸張する。

Ｓ５０５では、表示処理部１２０が再生される動画の表示用画像データを表示部１２１へ出力し、動画が再生される。

なお、Ｓ５０２で一時停止指示があった場合は、制御部１６０が、再生中の動画を一時停止状態にすると共に、一時停止されたときの停止位置のフレームを静止画として表示するためにＳ５２０へ進む。一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には拡大表示の指示を受けやすいとも考えられる。そこで、本実施形態では、簡易現像されている動画よりも高画質な画像の表示を行うため、Ｓ５２０において、記録再生部１５０がＲＡＷファイルの読み出しを行う。具体的には、再生中の動画に対応するＲＡＷファイルの、更に一時停止表示中のフレームに対応するＲＡＷ画像データのフレームを、記録再生部１５０が読み出す。このとき、読み出し対象となるＲＡＷファイルが、バッファ部１１５にバッファリングされる場合はバッファ部１１５からＲＡＷ画像ファイルを読み出し、バッファリングされていない場合は記録媒体１５１などからＲＡＷファイルを読み出す。

Ｓ５２１では、ＲＡＷ伸張部１１４が、バッファ部１１５または記録媒体１５１などから読み出したＲＡＷファイルを復号して伸張し、ＲＡＷ画像データを復元する。復元されたＲＡＷ画像データは、ＲＡＷ動画領域制御部１７５へ供給され、手振れ補正処理が施される。この手振れ補正処理では、ＲＡＷファイルのメタデータ（図３）として保存されている手振れ補正データΔＨ、ΔＶに応じて、シフトさせた読み出し座標にてＲＡＷファイルを切り出して出力する（Ｓ５３０）。このように手振れ補正処理が施されたＲＡＷファイルがＲＡＷ動画領域制御部１７５から高画質現像部１１２へ供給され、高画質に現像処理される（Ｓ５２２）。

本実施形態の撮像装置１００は、上述のように動画のＲＡＷファイルから高画質に現像された、一時停止表示中のフレームに対応する高画質な静止画を、新たな静止画ファイルとしてキャプチャすることも可能である。具体的には、Ｓ５２３では、制御部１６０が、一時停止位置での画像を静止画としてキャプチャする指示を操作部１６１から受け付けたか否かを判定する。静止画キャプチャ指示がない場合は、動画のＲＡＷファイルから高画質に現像された静止画は、制御部１６０がスイッチ部１１６を制御することで高画質現像部１１２から表示処理部１２０に供給される（Ｓ５０５）。

Ｓ５２３で静止画キャプチャ指示を受け付けた場合は、高画質現像部１１２で現像処理された画像データが静止画圧縮部１４０に供給される。静止画圧縮部１４０は、キャプチャによって取得した画像データに対して高効率符号化処理（静止画圧縮）を施し（Ｓ５２４）、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４０は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

Ｓ５２５では、記録再生部１５０が高画質の静止画ファイルを記録媒体１５１などに記録し、Ｓ５０５に進む。

Ｓ５０５では、動画のＲＡＷファイルから高画質に現像された静止画が表示処理部１２０に供給され、表示処理部１２０が高画質に現像された静止画の表示用画像データを表示部１２１へ出力する。この処理によって、一時停止表示中の画像は、ＲＡＷ画像データを高画質に現像した静止画の表示用画像データに置き換えられる。

Ｓ５２４で静止画圧縮部１４０により生成される高画質の静止画ファイル７００は、図７（ａ）に示すファイル構成を有する。メタデータ部７０２には、ＲＡＷファイルのファイル名の情報７０４として、キャプチャの元となった動画のＲＡＷファイルのファイル名が格納される。また、撮影メタデータ７０６には、静止画としてキャプチャされたフレームの時刻情報が格納され、これにより動画のＲＡＷファイルの対応するフレーム位置が識別される。

この場合、図３と同様に、静止画についても、動画のＲＡＷファイルに対応するフレームを静止画として抽出して、静止画ファイル７００と対になる新たなＲＡＷファイル７１０（図７（ｂ））を作成しても良い。なお、Ｓ５０５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うために、Ｓ５０１に戻る。

Ｓ５０１で画素領域制御処理に移行した場合は（Ｓ５１０）、上述した図４の処理が実行される。

このように、本実施形態の撮像装置１００は、撮影時に記録された動画ファイルを用いて、遅延なく容易に動画を再生することができ、一時停止中は、ＲＡＷファイルから高画質に現像した静止画に置換するような表示制御を行うことができる。さらに、表示されている高画質な静止画を容易に静止画ファイルとしてキャプチャすることも可能である。

以上のように、本実施形態によれば、撮影時の撮像装置の手振れ量に応じてＲＡＷファイルのＲＡＷ画像データ量を制御することにより、記録媒体の記録容量を削減することができる。

［実施形態２］次に、実施形態２のＲＡＷ画像データ量抑制方法について説明する。

実施形態１では、ＲＡＷ動画領域制御部１７５により記録媒体１５１に記録するＲＡＷ画像データ量を抑制するために、原画素部（図６の灰色領域６０６）の最外周と撮像画面有効画素部の最外周とに囲まれた領域の原画素をヌル画素で置換した。これに対して、実施形態２では、実施形態１よりもＲＡＷ画像データ量を抑制するため、ヌル画素に置換する領域（６０１）の境界とＲＡＷ符号化マクロブロックの境界を合致させるときの、画素の配分方法に特徴がある。

なお、実施形態２の装置構成および動画撮影処理は実施形態１と同様である。実施形態１との相違点は、ＲＡＷ動画領域制御部１７５の機能および図２のＳ２１７における原画素部（灰色領域６０６）の最外周と撮像画面有効画素部の最外周とに囲まれた領域６０１の原画素をヌル画素に置換する方法である。

ここで、図９を参照して、本実施形態のＲＡＷ画像データ置換方法について説明する。

実施形態１では、防振演算画素部の最外周の破線８０２の内側の領域を原画素部とし、手振れ補正に用いる原画素部の最外周８０２と撮像画面有効画素部の最外周８０１とに囲まれた領域について、全ての原画素をヌル画素に置換した。これに対して、実施形態２では、防振演算画素部の最外周８０２と撮像画面有効画素部の最外周８０１とに囲まれた領域について、全ての原画素をヌル画素に置換しない。すなわち、図９に示すように、防振演算画素部の最外周８０２を含むＲＡＷ符号化マクロブロックの境界８１０ａまでの領域については原画素を配置する。また、ＲＡＷ符号化マクロブロックの境界８１０ａから撮像画面有効画素部の最外周８０１の間の領域について、全ての原画素をヌル画素に置換する。

本実施形態のようにＲＡＷ画像データ量を制限することにより、動画圧縮処理が単純になるため、圧縮後のＲＡＷファイルのＲＡＷ画像データ量の抑制に効果がある。

［実施形態３］次に、実施形態３の圧縮ＲＡＷ画像データ量抑制方法について説明する。

実施形態３も、実施形態１よりもＲＡＷ画像データ量を抑制するため、ヌル画素に置換する領域（６０１）の境界とＲＡＷ符号化マクロブロックの境界を合致させるときの、画素の配分方法に特徴がある。

なお、実施形態３の装置構成および動画撮影処理は実施形態１と同様である。実施形態１との相違点は、ＲＡＷ動画領域制御部１７５の機能および図２のＳ２１７における原画素部（灰色領域６０６）の最外周と撮像画面有効画素部の最外周とに囲まれた領域６０１の原画素をヌル画素に置換する方法である。

ここで、図１０を参照して、本実施形態のＲＡＷ画像データ置換方法について説明する。

実施形態３では、図１０に示すように、防振演算画素部の最外周８０２を含むＲＡＷ符号化マクロブロックの境界８１０ａまでの領域については防振演算画素部の最外周８０２の画素を配置する。また、ＲＡＷ符号化マクロブロックの境界８１０ａから撮像画面有効画素部の最外周８０１の間の領域について、全ての原画素をヌル画素に置換する。

本実施形態のようにＲＡＷ画像データ量を制限することにより、動画圧縮処理が単純になるため、圧縮後のＲＡＷファイルのＲＡＷ画像データ量の抑制に効果がある。

なお、上述した各実施形態では、撮像装置１００の撮像部１０２で撮像された動画データや静止画データ、ＲＡＷ画像データを処理の対象としていたが、ネットワークを介して外部から取得したデータやメモリカードなどから取得したデータを対象に処理を行っても良い。この場合、現像部１１０や動画領域制御部１７５は外部から入力したＲＡＷ画像データについて現像処理やデータ量を抑制する処理を行うことになる。

［他の実施形態］
なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims (14)

1. 被写体像を撮像して得られたＲＡＷ画像データを入力する入力手段と、
   前記ＲＡＷ画像データの撮影時の情報を取得する取得手段と、
   前記ＲＡＷ画像データを記録する記録手段と、
   前記撮影時の情報に基づいて、前記ＲＡＷ画像データが生成されたときの撮像画面の有効画素部の最外周と防振演算画素部の最外周とに囲まれた領域の画素値を所定値へ置換することにより前記ＲＡＷ画像データのデータ量を抑制する制御手段と、を有することを特徴とする画像記録装置。
2. 前記撮影時の情報は、少なくともＲＡＷ画像データが生成されたときの撮像装置の動き情報を含み、
   前記制御手段は、前記撮像装置の動き情報と前記被写体像の撮影画角とに基づいて前記領域を決定することを特徴とする請求項１に記載の画像記録装置。
3. 前記制御手段は、前記防振演算画素部の最外周と、前記ＲＡＷ画像データを符号化する際の単位画素の境界との間の領域に、前記防振演算画素より内側の領域の画素を配置することを特徴とする請求項１または２に記載の画像記録装置。
4. 前記制御手段は、前記防振演算画素部の最外周と、前記ＲＡＷ画像データを符号化する際の単位画素の境界との間の領域に、当該防振演算画素部の最外周の画素を配置することを特徴とする請求項１または２に記載の画像記録装置。
5. 前記所定値はゼロであることを特徴とする請求項１ないし４のいずれか１項に記載の画像記録装置。
6. 前記被写体像を光電変換して画像信号を生成する撮像手段と、
   前記画像信号に信号処理を施してＲＡＷ画像データを生成する信号処理手段と、
   前記ＲＡＷ画像データに現像処理を施して画像データを生成する現像処理手段と、を有し、
   前記記録手段は、前記画像データから生成された画像ファイルと、前記ＲＡＷ画像データから生成されたＲＡＷファイルを記録し、
   前記撮影時の情報が前記ＲＡＷファイルのメタデータとして保存されることを特徴とする請求項１ないし５のいずれか１項に記載の画像記録装置。
7. 前記撮像手段により動画を撮影する動画撮影モードまたは前記動画を再生する動画再生モードに設定する設定手段と、をさらに有し、
   前記制御手段は、前記動画撮影モードにおいて所定の頻度で前記領域を決定し、
   前記動画撮影モードでは、前記現像処理手段により生成される画像データから動画ファイルが生成されると共に、前記決定された領域に基づいて前記ＲＡＷ画像データからＲＡＷファイルが生成されることを特徴とする請求項６に記載の画像記録装置。
8. 前記動画撮影モードにおいて、前記記録手段に記録されているＲＡＷファイルから高画質の静止画ファイルを生成するファイル生成手段をさらに有することを特徴とする請求項７に記載の画像記録装置。
9. 前記動画撮影モードにおいて生成される動画ファイルには、当該動画ファイルと同時に生成されたＲＡＷファイルの情報が保存されることを特徴とする請求項７または８に記載の画像記録装置。
10. 前記動画撮影モードにおいて前記記録手段から動画ファイルを読み出して再生する再生手段と、
    前記動画の再生が一時停止されたときに、前記動画ファイルと同時に生成されたＲＡＷファイルから高画質の静止画データを生成する生成手段と、
    前記一時停止中に表示されている画像を前記生成された静止画に置き換えて表示する表示手段と、をさらに有し、
    前記生成手段は、前記一時停止中に表示されている画像をキャプチャする指示に応じて、前記高画質の静止画データから静止画ファイルを生成し、
    前記記録手段は、前記静止画ファイルを記録することを特徴とする請求項７に記載の画像記録装置。
11. 前記静止画ファイルには、当該静止画ファイルの元となったＲＡＷファイルの情報が保存されることを特徴とする請求項１０に記載の画像記録装置。
12. 入力手段が、被写体像を撮像して得られたＲＡＷ画像データを入力するステップと、
    取得手段が、前記ＲＡＷ画像データの撮影時の情報を取得するステップと、
    記録手段が、前記ＲＡＷ画像データを記録するステップと、
    制御手段が、前記撮影時の情報に基づいて、前記ＲＡＷ画像データが生成されたときの撮像画面の有効画素部の最外周と防振演算画素部の最外周とに囲まれた領域の画素値を所定値へ置換することにより前記ＲＡＷ画像データのデータ量を抑制するステップと、を有することを特徴とする画像記録方法。
13. コンピュータを、請求項１ないし１１のいずれか１項に記載された画像記録装置の各手段として機能させるためのプログラム。
14. コンピュータを、請求項１ないし１１のいずれか１項に記載された画像記録装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。