JP2018082251A - 撮像装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】ＲＡＷ画像の記録時に量子化制御の実行によりＲＡＷ画像のデータ量を制御して、データの記録時や再生時における問題を回避するための技術を提供する。【解決手段】一連のＲＡＷ画像を連続的に生成し記録する撮像装置であって、被写体を撮像してＲＡＷ画像を生成する撮像手段と、前記ＲＡＷ画像を符号化した符号化データを生成する符号化手段と、前記符号化データを記録媒体に記録し、該記録媒体から読み出す記録再生手段とを備え、前記符号化手段が、前記一連のＲＡＷ画像を連続的に生成する場合に同一のＲＡＷ画像内で量子化パラメータを変更しながら量子化を行う量子化手段を含む。【選択図】図１

Description

本発明は、撮像装置、画像処理方法、及び、プログラムに関する。

撮像装置は、撮像センサによって撮像された生の画像（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行うことができる。このとき現像処理された輝度信号及び色差信号は、圧縮符号化されて記録媒体に記録されるのが一般的である。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるため、上級者により好んで使われている。

このようなＲＡＷ画像の記録は、静止画のみならず、動画にも適用されるようになってきている。ＲＡＷ画像の動画記録を行う場合、所定の記録媒体に一定時間の動画像が記録できるよう、データ量を所望の符号量へ圧縮する制御が必要となる。しかし、符号量制御および量子化制御が適切に行われず、所定の記録媒体へのデータ転送速度を超えるデータ量が発生した場合には、記録媒体上のデータの破損が生ずる。また、静止画記録の場合はリアルタイム再生を保証する概念は無いが、動画記録の場合は、記録媒体に書き込むことができた場合でもリアルタイム再生を保証するビットレートを超えてしまうと、再生装置で正しく再生できなくなってしまう。これらの問題が起きないよう、撮像装置において符号量制御、および量子化制御を適切に行う必要がある。

また、所定の記録媒体へのデータ転送速度を超えるデータ量の発生は、動画の記録時のみならず静止画の連写記録時にも起こりえる。特許文献１は、ＲＡＷ画像の静止画と、ＲＡＷ画像を現像し、圧縮技術（例えばＪＰＥＧ等）を用いて圧縮符号化した静止画の２種類の静止画を連写記録する撮像装置であって、圧縮符号化した静止画の量子化制御を行う撮像装置を提案している。

特開２００７−９７１４５号公報

特許文献１の撮像装置では、静止画の連写記録時に、ＤＰＣＭ変換による可逆圧縮のＲＡＷとＪＰＥＧの組み合わせで記録を行うため、可逆圧縮のＲＡＷについてはビットレート調整のための量子化制御ができない。よって、所定の記録媒体へのデータ転送速度を超えるデータ量が発生するおそれがある。

本発明は上記の問題点に鑑み、ＲＡＷ画像の記録時に量子化制御の実行によりＲＡＷ画像のデータ量を制御して、データの記録時や再生時における問題を回避するための技術を提供する。

上記課題を解決するための発明は、一連のＲＡＷ画像を連続的に生成し記録する撮像装置であって、
被写体を撮像してＲＡＷ画像を生成する撮像手段と、
前記ＲＡＷ画像を符号化した符号化データを生成する符号化手段と、
前記符号化データを記録媒体に記録し、該記録媒体から読み出す記録再生手段と
を備え、
前記符号化手段が、前記一連のＲＡＷ画像を連続的に生成する場合に同一のＲＡＷ画像内で量子化パラメータを変更しながら量子化を行う量子化手段を含むことを特徴とする。

本発明によれば、ＲＡＷ画像の記録時に量子化制御の実行によりＲＡＷ画像のデータ量を制御して、データの記録時や再生時における問題を回避する技術を提供することができる。

発明の実施形態に対応する撮像装置の構成例を示すブロック図。 発明の実施形態に対応する画素配列を示す図。 発明の実施形態に対応する、ＲＡＷ圧縮部１１３の構成例を示すブロック図、及び、符号化制御部１７１の処理内容の一例を示す表。 発明の実施形態に対応する静止画単写モード時の、符号化制御部１７１の構成例を示すブロック図、及び、符号化制御部１７１における処理の一例を示すフローチャート。 発明の実施形態に対応する動画モード時の符号化制御部１７１の構成例を示すブロック図。 発明の実施形態に対応する動画モード時の符号化制御部１７１の処理における一例を示すフローチャート。 発明の実施形態に対応する動画モード時における、バッファ関連構成の説明図、及び、符号量制御における仮想バッファモデルの概念図。 発明の実施形態に対応する、符号化対象画像の一例を示す図、及び、画面内の目標符号量と発生符号量の関係を示す図。 発明の実施形態に対応する静止画連写モード時の、符号化制御部１７１の構成例を示すブロック図。 発明の実施形態に対応する静止画連写モード時の、符号化制御部１７１の処理の一例を示すフローチャート。 発明の実施形態に対応する静止画連写モード時の、バッファ関連構成の説明図、バッファの概念図、及び、バッファの状態を示す概念図。 発明の実施形態に対応する動作モード判定処理の一例を示すフローチャート。

以下、図面を参照しながら、発明の実施の形態を説明する。図１は、発明の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示した撮像装置１００は、被写体を撮像して得られた画像を記録媒体に記録するだけでなく、画像を記録媒体から再生し、現像処理して表示する機能や、画像を外部の装置やサーバ（クラウド）等と送受信する機能を有することができる。従って、発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。

撮像装置１００は、デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。図１の撮像装置１００において、撮像素子、表示素子、記録媒体、入力デバイスや端子のような物理的デバイスを除き、各ブロックは画像処理装置として専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、当該装置がソフトウェア的に構成されてもよい。これらの場合、撮像装置は撮像素子で取得された画像信号に所定の画像処理を施した後、表示素子に表示したり、記録媒体に記録したりするための装置として機能し得る。また、記録媒体に記録された画像を読み出して、表示素子に表示させることもできる。なお、図１は、デジタルカメラ等として機能する場合を考慮して撮像センサ部１０２を含む構成を示した。しかし、発明の実施形態として、ＲＡＷ画像を処理する画像処理装置として、撮像センサ部１０２を有しない構成で実現してもよい。

＜撮像装置１００の構成＞
図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２は、例えば、シャッターボタンを含むことができる。制御部１６１は、操作部１６２からの操作信号を検出し、検出した操作信号に応じた動作が実行されるよう撮像装置１００の各ブロックの動作を制御する。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示し、例えば液晶ディスプレイ（ＬＣＤ）等により構成される。

操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサ部１０２上に結像する。撮影時、撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される被写体情報に基づいて、カメラ制御部１０４によって制御される。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換して出力する。図２は、撮像センサ部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図２に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ配列と呼ばれる。

撮像センサ部１０２から出力された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像を、生（未現像）の画像を意味するＲＡＷ画像と称す。センサ信号処理部１０３の出力の後、不図示の符号化部によってＲＡＷ画像が画素の情報量を圧縮符号化された状態で後段の現像部１１０に供給されても良い。この場合、圧縮符号化されたＲＡＷ画像を後段の現像部１１０内で復号したものもＲＡＷ画像と称す。本実施形態では、撮像センサ部１０２が、５Ｋ以上の解像度を有するベイヤ―配列のＲＡＷ画像を取得可能な画素数を有するものとし、センサ信号処理部１０３は、５Ｋ以上の解像度を有するベイヤ配列のＲＡＷ画像を取得する。

現像部１１０はセンサ信号処理部１０３から出力されたＲＡＷ画像の現像処理を実行する現像部１１０は、複数の異なる現像処理部を有することができる。本実施形態では、現像部１１０が、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２と、それらの出力を選択するスイッチ部１２１とを含む構成を有する場合を説明する。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。

本実施形態では、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行う。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成であっても本発明の範疇である。現像部１１０によって現像処理された画像は、表示制御部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像は、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像からフォーカス状態や露出状態などの評価値を算出する。

現像部１１０によって現像処理された画像は、認識部１３１にも供給される。認識部１３１は、画像中の被写体情報を検出及び認識する機能を有する。例えば、画像によって表される画面内における顔を検出し、ある場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。

現像部１１０によって現像処理された画像は、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像を高能率符号化（圧縮符号化）し、情報量が圧縮された画像を生成して、画像データ（静止画データ、又は、動画データ）に変換する。静止画圧縮はＪＰＥＧ等の方式に従い、動画圧縮はＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等の方式に従って実行できる。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３が出力したＲＡＷ画像を、符号化制御部１７１の指示に基づいて、ウェーブレット変換や、差分符号化等の技術を用いて高能率符号化する符号化部として機能する。そして、圧縮された状態のＲＡＷ画像データに変換し、バッファ（一時記憶メモリ）１１５に格納する。バッファ１１５は、ＲＡＷ画像データとしての符号化データを後段の処理のために一時的に保持する。例えば、ＲＡＷ圧縮部１１３が生成したＲＡＷ画像データを記録媒体１５２に書き込む際に一時的に保持したり、記録媒体１５２から読み出したＲＡＷ画像データをＲＡＷ伸張部１１４に提供する際に一時的に保持したりすることができる。ＲＡＷ画像データは、バッファ１１５内に残しておいて再び読み出すことができるが、バッファ１１５に格納された後、別の記録媒体に移動して記録する（バッファ１１５から削除する）ようにしても良い。

ＲＡＷ伸張部１１４は、バッファ１１５に格納されているＲＡＷ画像データを読み出し、圧縮された状態のＲＡＷ画像データを復号してＲＡＷ画像を生成する伸張処理を実行する。ＲＡＷ伸張部１１４による伸張処理により得られたＲＡＷ画像は、現像部１１０内の簡易現像部１１１、高画質現像部１１２に供給される。

制御部１６１は、動画を記録する「動画」、静止画を1枚だけ記録する「静止画単写」、静止画を連続して記録する「静止画連写」の３つの動作モードのうち、選択中の動作モードを符号化制御部１７１に通知する。符号化制御部１７１は、制御部１６１から通知された動作モードと、ＲＡＷ圧縮部１１３から通知された前ピクチャの発生符号量とに基づいて、符号量制御を行い、ＲＡＷ圧縮部１１３に対してピクチャ目標符号量設定、および量子化制御設定を行う。

記録再生部１５１は、ＲＡＷ画像データを含むＲＡＷファイル、静止画データを含む静止画ファイル、及び、動画データを含む動画ファイルを記録媒体１５２に記録する。記録媒体１５２は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。

記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。

再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルに含まれるＲＡＷ画像データをバッファ１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルに含まれる静止画データを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルに含まれる動画データを動画伸張部１４４に供給する。静止画伸張部１４３は、入力された静止画ファイルに含まれる静止画データを復号して静止画を生成する伸張処理を実行し、静止画を再生画像として表示制御部１２２に供給する。動画伸張部１４４は、入力された動画ファイルに含まれる動画データを復号して動画を生成する伸張処理を実行し、動画を再生画像として表示制御部１２２に供給する。

＜ＲＡＷ圧縮部１１３の構成＞
次に、図３（Ａ）を参照して、ＲＡＷ圧縮部１１３の動作を説明する。図３（Ａ）は、ＲＡＷ圧縮部１１３の構成例を示すブロック図である。ＲＡＷ圧縮部１１３は、ウェーブレット変換部３０１、量子化部３０２、符号化部３０３、量子化制御部３０４を有する。ウェーブレット変換部３０１は、センサ信号処理部１０３が出力したＲＡＷ画像に対してウェーブレット変換処理を行い、係数を出力する。量子化部３０２はウェーブレット変換により得られた係数を量子化し、量子化係数を符号化部３０３に出力する。符号化部３０３は例えばゴロム符号化などの符号化方式で量子化係数を圧縮し、ＲＡＷ画像データとしての符号化データをバッファ１１５へ出力する。

量子化制御部３０４は、符号化制御部１７１からの指示に基づいて、符号化部３０３から発生符号量の情報を取得し、所定の単位毎に量子化パラメータを演算し、量子化部３０２へ通知する。量子化制御部３０４における量子化パラメータの演算については、図８（Ａ）から図８（Ｃ）を参照して後述する。符号化制御部１７１は、ＲＡＷ圧縮部１１３から符号化対象のＲＡＷ画像のピクチャの前ピクチャの発生符号量を受け取り、量子化制御部３０４で使用する目標符号量や量子化パラメータをピクチャ単位に設定する。この詳細も後述する。

＜符号化制御部１７１：３つの動作モードの使い分け＞
図３（Ｂ）を参照して、本実施形態において撮像装置１００がＲＡＷ画像を生成する動作モードにおける処理について説明する。図３（Ｂ）は、各動作モードにおける、符号化制御部１７１の処理内容を示す表である。本実施形態では、撮像装置１００は、「動画」、「静止画単写」及び「静止画連写」の３つの動作モードにおいてＲＡＷ画像を生成することができる。

まず、動作モードが「動画」の場合、符号化制御部１７１はＲＡＷ圧縮部１１３に対してピクチャ単位の目標符号量を設定し、量子化制御部３０４による画面内（同一のＲＡＷ画像内）の量子化パラメータ制御を有効にする。また、リアルタイム再生を保証するための仮想バッファを考慮した符号量制御を行う。仮想バッファについての詳細は後述する。

動作モードが「静止画単写」の場合、ＲＡＷ圧縮部１１３に対してピクチャ単位の目標符号量は設定せず、量子化制御部３０４を無効にする。この動作モードでは、ＲＡＷ圧縮部１１３によるＲＡＷ画像データの生成速度が遅いため、符号量制御を行わなくともバッファ１１５が破綻することは無い。そのため、量子化制御部３０４を無効にして、符号量の制御よりも画質を優先させることができる。

動作モードが「静止画連写」の場合、ＲＡＷ圧縮部１１３に対してピクチャ目標符号量を設定し、量子化制御部３０４を有効にする。動画モードとは異なり、リアルタイム再生を保証するための、仮想バッファを考慮した符号量制御を行う必要はない。

このように本実施形態では、一連のＲＡＷ画像を連続的に生成し、記録する動作モードである「動画」及び「静止画連写」の各動作モードにおいてピクチャ単位に目標符号量を設定し、符号量制御及び量子化制御を行うものである。以下、動作モードが「動画」、「静止画単写」、「静止画連写」のそれぞれ場合における符号量制御と量子化制御について、詳細を説明する。

＜静止画単写モード時の動作＞
まず、静止画単写モード時における撮像装置１００の動作を説明する。図４（Ａ）は、静止画単写モード時の符号化制御部１７１の機能構成の一例を示すブロック図である。画質モード受信部４０１は、制御部１６１より画質モードの指示を受信し、量子化パラメータ決定部４０２に通知する。量子化パラメータ決定部４０２は、画質モードに応じた量子化パラメータを決定し、符号化制御パラメータ通知部４０４に通知する。量子化制御オン／オフ決定部４０３は、量子化制御部３０４を無効にする信号を生成し、符号化制御パラメータ通知部４０４に出力する。符号化制御パラメータ通知部４０４は、量子化パラメータと、量子化制御部３０４の有効／無効を示す信号をＲＡＷ圧縮部１１３へ通知する。

静止画単写モード時の符号化制御部１７１の動作について図４（Ｂ）のフローチャートを参照して説明する。まず、Ｓ４１１では、画質モード受信部４０１が、画質モードを指定する情報を制御部１６１から受信する。続くＳ４１２では、量子化パラメータ決定部４０２が、画質モード受信部４０１から画質モードの情報を取得し、画質モードに応じた量子化パラメータを決定する。続くＳ４１３では、量子化制御オン／オフ決定部４０３で、量子化制御部３０４を無効にする信号（量子化制御オフ信号）を生成する。Ｓ４１４では、符号化制御パラメータ通知部４０４が、制御信号をＲＡＷ圧縮部１１３へ出力する。当該制御信号には、決定した量子化パラメータと、量子化制御オフ信号とが含まれる。

ＲＡＷ圧縮部１１３は、符号化制御パラメータ通知部４０４より通知されたパラメータに従って符号化を行う。量子化部３０２は、符号化制御パラメータ通知部４０４より通知された量子化パラメータを用いて、量子化処理を行う。量子化制御部３０４を無効にするように指示されているため、画面内で、量子化処理に用いる量子化パラメータを変更することはない。

このようにすることで、静止画単写モードでは、量子化制御部３０４が無効にされているため、符号量の制御性は無いが、符号量の観点から量子化に強弱をつけることがないため、画質を優先させた符号化であると言える。

＜動画モード時の動作＞
次に、動画モード時における撮像装置１００の動作を説明する。図５は、動画モード時の、符号化制御部１７１の機能構成の一例を示すブロック図である。動画モード時では、図４（Ａ）に示した静止画単写モード時に追加の機能ブロックが加わる。図４（Ａ）に含まれる機能ブロックも動画モードに応じた動作を実行する。なお、図４（Ａ）と共通の機能ブロックには同一の参照番号を付している。

画質モード受信部４０１は、制御部１６１より画質モードの指示を受信し、量子化パラメータ決定部４０２と目標符号量算出部５０３にそれぞれ通知する。量子化パラメータ決定部４０２は、先頭ピクチャについて画質モードに応じたデフォルトの量子化パラメータを決定し、後続のピクチャについては符号化結果に応じてピクチャ単位の量子化パラメータを決定する。量子化制御オン／オフ決定部４０３は、量子化制御部３０４を有効にする信号（量子化制御オン信号）を生成し、符号化制御パラメータ通知部４０４に出力する。

符号化結果受信部５０１は、ＲＡＷ圧縮部１１３から、前ピクチャの符号化結果を受信する。仮想バッファ算出部５０２は、前ピクチャの符号化結果に基づいて、仮想バッファのバッファ位置を更新する。仮想バッファとは、ＲＡＷ画像データの伸張時のバッファ１１５の仮想的な保持量を想定してＲＡＷ圧縮部１１３における符号化処理を制御するためのものであり、詳細は後述する。目標符号量算出部５０３は、前ピクチャの符号化結果における発生符号量と、仮想バッファのバッファ位置の情報とに基づき、符号化対象ピクチャの目標符号量を算出する。先頭ピクチャの場合、画質モード受信部４０１から通知された画質モードに応じたデフォルトの目標符号量を決定する。符号化制御パラメータ通知部４０４は、量子化パラメータ、目標符号量、量子化制御部３０４の有効、無効を示す信号をＲＡＷ圧縮部１１３へ通知する。

図６は、動画モード時の、符号化制御部１７１の処理を示すフローチャートである。Ｓ６０１では、制御部１６１は符号化対象のピクチャが先頭ピクチャか否かを判定する。符号化対象のピクチャが先頭ピクチャであれば処理はＳ６０２へ進み、それ以降の後続ピクチャであれば処理はＳ６０５へ進む。

Ｓ６０２では、画質モード受信部４０１が画質モードを指定する情報を制御部１６１から受信する。画質モード受信部４０１は、受信した画質モードの情報を量子化パラメータ決定部４０２と目標符号量算出部５０３に通知する。続くＳ６０３では、量子化パラメータ決定部４０２が画質モード受信部４０１から通知された画質モードに応じたデフォルトの量子化パラメータを決定する。続くＳ６０４では、目標符号量算出部５０３が画質モード受信部４０１から通知された画質モードに応じたデフォルトの目標符号量を決定する。その後、処理はＳ６１１に進む。

Ｓ６０５では、符号化結果受信部５０１が、ＲＡＷ圧縮部１１３より前ピクチャの符号化結果を取得する。符号化結果受信部５０１は、取得した符号化結果を仮想バッファ算出部５０２に通知する。続くＳ６０６では、仮想バッファ算出部５０２が通知された符号化結果における発生符号量に基づいて、仮想バッファ位置を算出する。続くＳ６０７では、目標符号量算出部５０３が符号化結果の発生符号量に基づいて、符号化対象ピクチャの目標符号量を算出する。Ｓ６０８では、目標符号量算出部５０３が、算出した符号化対象ピクチャの目標符号量が仮想バッファ位置に対応するデータ量よりも小さいか否かを判定する。目標符号量が仮想バッファ位置に対応するデータ量よりも小さい場合、処理はＳ６１０へ進み、目標符号量が仮想バッファ位置に対応するデータ量以上の場合、処理はＳ６０９へ進む。Ｓ６０９では、目標符号量算出部５０３は目標符号量を仮想バッファ位置に対応するデータ量とする。これにより、ＲＡＷ画像データを伸張する際のバッファアンダーフローを回避することが可能となる。当該処理の詳細について、後段で図８（Ｃ）を参照して説明する。

続くＳ６１０では、量子化パラメータ決定部４０２が量子化パラメータを算出する。ここでは、例えば前ピクチャの符号化で使用した量子化パラメータの平均値を符号化結果から取得し、設定することができる。Ｓ６１１では、量子化制御オン／オフ決定部４０３が、量子化制御部３０４を有効にする量子化制御オン信号を生成する。Ｓ６１２では、符号化制御パラメータ通知部４０４が、制御信号をＲＡＷ圧縮部１１３へ出力する。当該制御信号には、決定した量子化パラメータ、目標符号量、及び、量子化制御オン信号が含まれる。

次に、仮想バッファ算出部５０２による仮想バッファ位置の計算手法について図７（Ａ）及び（Ｂ）を参照して説明する。図７（Ａ）は、動画モード時の符号量制御で考慮すべきバッファに関連する構成を示す。図７（Ｂ）は、動画モード時の符号量制御における仮想バッファモデルの概念を説明するための図である。

動画モード時は、記録時のフレームレートは特に問題にならないが、バッファ溢れを無くすることが求められる。その一方、再生時にバッファが溢れることなく、再生時のフレームレートに対応したリアルタイムの復号・表示を可能とする必要がある。よって、動画モード時に特に考慮すべきは再生時におけるバッファ１１５の状態である。

図７（Ａ）に示すように、再生時には、記録媒体１５２から圧縮された状態のＲＡＷ画像データが、まずバッファ１１５に入力される。バッファ１１５に入力されたＲＡＷ画像データは、ＲＡＷ伸張部１１４へ出力されるとバッファ１１５から削除される。符号量制御は記録時に行うものなので、記録媒体１５２からバッファ１１５にＲＡＷ画像データを書き込む際に符号量制御を実施することはできない。そこで、本実施形態では、再生時のバッファ１１５の状態を図７（Ｂ）に示すように仮想的にエミュレートして、再生時に問題が発生しないように記録時の符号量制御を実施する。

図７（Ｂ）では、バッファ１１５に記録媒体１５２からＲＡＷ画像データを読出した際のバッファ保持量を縦軸とし、時間を横軸としている。時間軸に示すＤＴＳは、各フレームのデコード時刻を示す。このタイミングにおいて伸張対象のＲＡＷ画像データが仮想バッファからＲＡＷ伸張部１１４へ出力される。ＳＩＺＥは、該当フレームの符号量を示す。各デコード時刻において、ＳＩＺＥに相当する伸張対象フレームの符号量分が仮想バッファから減じられることになる。そして、次のデコード時刻まで、次の伸張対象のＲＡＷ画像データが入力される。

ＰＯＳは、デコード時刻において仮想バッファからＲＡＷ画像データの読出す直前の仮想バッファの保持量を示す。このとき仮想バッファの最大値はバッファ１１５の最大値に対応し、ＰＯＳがバッファ最大値を超えなければバッファオーバーフローは発生しない。再生時にバッファ１１５を使用する場合、バッファ１１５には記録媒体１５２から圧縮状態のＲＡＷ画像データが一定のビットレート（データ転送速度）で入力されることになる。本実施形態では、このビットレートをBitrate （bit/s）とする。このとき、仮想バッファの残量ＰＯＳは、以下の式（１）に従って算出できる。

＜n==０の場合＞
POS(0)＝Bitrate ×DTS(0)
＜n!=0の場合＞ （式１）
POS(n)＝POS(n-1)-SIZE(n-1)＋Bitrate ×(DTS[n]-DTS[n-1])
ここで、式（１）は、以下のように変形することができる。
POS(n)＝Bitrate ×DTS[n]−{Size(0)＋Size(1)＋...＋Size(n-1)} (式１')

式１'に示すように、仮想バッファの残量ＰＯＳ（ｎ）は、記録媒体１５２からバッファ１１５へ動画を構成するＲＡＷ画像データの読み出しを実行した継続時間（DTS[n]）と、記録媒体１５２からバッファ１１５へのデータ転送速度（ビットレート）に基づく符号化データの仮想的な総転送量（Bitrate ×DTS[n]）から、符号化対象のＲＡＷ画像より前に符号化されたＲＡＷ画像の符号化データの総符号量（Size(0)＋Size(1)＋...＋Size(n-1)）を減算した値として特定される。

このときＰＯＳ（ｎ）が仮想バッファの最大値を超えた場合、バッファオーバーフローとなり、再生時にバッファ上のデータが上書きされ、正しくデコードできなくなってしまう。そのような場合、例えばバッファに書き込むデータにスタッフィングデータを付加してＳＩＺＥ（ｎ−１）を大きくすることにより、ＰＯＳ（ｎ）の位置を下げてバッファオーバーフローを回避することができる。このオーバーフロー回避処置は、ＳＩＺＥ（ｎ−１）を調整することにより復号時に実施することができる。また、ここでは常にデータが転送されるＣＢＲ（固定ビットレート）のバッファ制御を想定して説明したが、ＰＯＳ（ｎ）がバッファ最大値を超えた場合に、データの転送を停止するＶＢＲ（可変ビットレート）を適用しても良い。

一方、ＰＯＳ（ｎ）−ＳＩＺＥ（ｎ）が負の値の場合、バッファアンダーフローとなり、再生時に、該当ピクチャのデコード開始時刻になってもデータの供給が間に合っていない状態となり、正しくデコードできなくなってしまう。そこで、符号化制御部１７１は、記録時に、仮想的なバッファが破綻しないように符号量制御を行うことで、再生時にアンダーフローが発生することなく、リアルタイムに復号・表示を保証する。当該処理は図６のＳ６０７からＳ６０９の工程において実施される。

次に、ＲＡＷ圧縮部１１３の量子化制御部３０４が実行する量子化制御について説明する。量子化制御部３０４は、先頭ピクチャと、２ピクチャ目以後で量子化制御を切り替える。まずは、先頭ピクチャにおける量子化制御について図８（Ａ）及び図８（Ｂ）用いて説明する。図８（Ａ）は、本実施形態に対応する符号化対象画像の一例を示す図である。図８（Ｂ）は、１ピクチャ内の目標符号量と発生符号量との関係の一例を示す図である。

図８（Ａ）では、符号化対象のＲＡＷ画像を領域（０）から領域（３）まで４つの領域に分割している。この場合、量子化制御部３０４は、領域毎に量子化パラメータを決定し、量子化部３０２へ通知する。なお、領域の分割方法及び分割領域の数はあくまで例示であって、より多くの領域に分割されても良い。

次に、量子化制御部３０４における領域毎の量子化パラメータの決定方法について、図８（Ｂ）を用いて説明する。一点鎖線８０１は、各領域における目標符号量の総和を示し、先頭領域のＴ（０）からＴ（３）まで４領域分の値が算出されている。当該目標符号量は、目標符号量算出部５０３がＳ６０４の処理において算出したものである。図８（Ｂ）に示すように、１ピクチャ目では領域毎の目標符号量を均等に割り当てている。これは、先頭ピクチャでは、画像の特徴が分からず領域毎の符号量の重みをつけることが難しいため、目標符号量を領域毎に均等に割り振ったものである。

実線８０２は、各領域の発生符号量の総和を示している。例えば、先頭領域の総発生符号量はＳ（０）となる。先頭領域に続く２つ目の領域の総発生符号量はＳ（１）は、Ｓ（０）と当該２つ目の領域の発生符号量（値はＳ（１）−Ｓ（０）に相当する）とを合計した値となる。３つ目以降の領域については同様に求められる。矢印８０３は、総目標符号量８０１と総発生符号量８０２との符号量差分であるＥＲＲを示す。図８（Ｂ）では、先頭領域の目標符号量Ｔ（０）に対して、発生符号量Ｓ（０）が上回っていることが分かる。このような場合、２領域目は先頭領域と比較して、量子化パラメータとしての量子化ステップ数を大きくし、２領域目の発生符号量を抑えることで、Ｔ（１）とＳ（１）を近づけるよう、以下の数式を用いて量子化パラメータを決定することで制御する。

Q(N)=Q(0)＋ERR(N-1)×R （式２）
Ｑ（n）：領域Ｎの量子化パラメータ（量子化ステップ数）
ERR（n）：領域Ｎまでの総符号量差分
R：制御感度

この式２では、領域０に対して設定した量子化パラメータを基準とし、ＥＲＲの大きさに応じて当該量子化パラメータを調整し、総目標符号量８０１と総発生符号量８０２との符号量差分が小さくなるようにする。領域０に対して設定される量子化パラメータは、量子化パラメータ決定部４０２が決定し符号化制御部１７１より通知されたパラメータを用いる。式２はＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５に示された画像符号化方式に代表されるものと同様であり、ピクチャに対する目標符号量と実際の発生符号量との差を押さえるために、量子化コードをフィードバック制御により求める。

次に、２ピクチャ目以降における量子化制御について図８（Ａ）及び図８（Ｃ）用いて説明する。図８（Ｃ）は、２ピクチャ目以降における１ピクチャ内の目標符号量と発生符号量との関係の一例を示す図である。量子化制御部３０４における領域毎の量子化パラメータの決定方法について、図８（Ｃ）を用いて説明する。ここでは、動画を構成する一連のピクチャのうち先頭ピクチャである１ピクチャ目の制御との差分を中心に説明する。

一点鎖線８１１は、各領域に対する目標符号量の総和を示し、先頭領域のＴ（０）からＴ（３）まで４領域分の値が順に算出されている。当該目標符号量は、目標符号量算出部５０３がＳ６０７からＳ６０９の処理において算出したものである。図８（Ｃ）に示すように領域毎の目標符号量に重みがつけられている。２ピクチャ目以降では、前ピクチャの符号化結果をフィードバックすることで、画像の特徴を把握することができるので、領域毎の目標符号量に重みをつけることができる。

図８（Ａ）に示す例では、高周波成分が少ない「空」が多くを占める領域（０）及び領域（１）は目標符号量を少なくすることができる一方、領域（２）、領域（３）は高周波成分の多い「木」が多くを占めるので目標符号量が多くなるように重みをつけている。実線８１２は、各領域に対する発生符号量の総和を示し、矢印８１３は、総目標符号量と総発生符号量との符号量差分であるＥＲＲを示し、これらは図８（Ｂ）と同様である。２ピクチャ目以降においても、１ピクチャ目と同様に式２に従って各領域の量子化ステップを決定することができる。

ここで、図８（Ｃ）を参照して、図６のＳ６０９における処理の詳細について説明する。本実施形態では図８（Ｃ）に示すように目標符号量は領域毎に設定されている。そこで、Ｓ６０９において目標符号量を修正する場合、仮想バッファ位置に基づく符号量をＳ６０７で算出された各領域の目標符号量の比率に応じて分配した符号量を各領域に割り当てる。例えば、領域毎の目標符号量の比が領域（０）から領域（３）について1：0.9：1.2：1.3であった場合、仮想バッファ位置に基づく符号量（Ｃｖ）を当該比率に基づいて分配する。よって、領域（０）については、Ｃｖ×1／(1＋0.9＋1.2＋1.3)となる。なお、比率に基づく以外に、計算された次ピクチャの目標符号量と、仮想バッファ位置との差分値を均等割りしたものを、各領域について計算された目標符号量から減ずるようにしても良い。
＜静止画連写モード時の動作＞
次に、静止画連写モード時における撮像装置１００の動作を説明する。図９は、静止画連写モード時の、符号化制御部１７１の機能構成の一例を示すブロック図である。静止画ＲＡＷ連写モード時では、図５に示した動画モード時の仮想バッファ算出部５０２の代わりに、バッファ残量受信部９０１が加わる。図４（Ａ）及び図５に含まれる機能ブロックも静止画連写モードに応じた動作を実行する。なお、図４（Ａ）及び図５と共通の機能ブロックには同一の参照番号を付している。

以下、動画モード時の符号化制御部１７１の動作との相違部分について説明する。バッファ残量受信部９０１は、符号化対象ピクチャを符号化する時点でのバッファ１１５上の空きバッファ残量を受信する。目標符号量算出部５０３は、前ピクチャの符号化結果の発生符号量と、空きバッファ残量との情報を用いて、符号化対象ピクチャの目標符号量を算出する。先頭ピクチャでは画質モードに応じたデフォルトの目標符号量を決定する。その他の機能ブロックの動作は、動画モード時と同様であるから説明を省略する。

図１０は、静止画連写モード時の符号化制御部１７１の処理を示すフローチャートである。Ｓ１００１では、制御部１６１は符号化対象のピクチャが先頭ピクチャか否かを判定する。符号化対象のピクチャが先頭ピクチャであれば処理はＳ１００２へ進み、後続のピクチャであれば処理はＳ１００５へ進む。

Ｓ１００２では、画質モード受信部４０１が画質モードを指定する情報を制御部１６１から受信する。画質モード受信部４０１は、受信した画質モードの情報を量子化パラメータ決定部４０２と目標符号量算出部５０３に通知する。続くＳ１００３では、量子化パラメータ決定部４０２が画質モード受信部４０１から通知された画質モードに応じたデフォルトの量子化パラメータを決定する。続くＳ１００４では、目標符号量算出部５０３が画質モード受信部４０１から通知された画質モードに応じたデフォルトの目標符号量を決定する。その後、処理はＳ１０１１に進む。

Ｓ１００４では、図８（Ａ）及び（Ｂ）を参照して説明したように、ピクチャを複数の領域に分割した上で領域毎の目標符号量を決定する。特に、Ｓ１００４では静止画連写における先頭のピクチャであるため、各領域の目標符号量は同一の値に決定することができる。

Ｓ１００５では、符号化結果受信部５０１が、ＲＡＷ圧縮部１１３より前ピクチャの符号化結果を取得する。符号化結果受信部５０１は、取得した符号化結果を目標符号量算出部５０３に通知する。続くＳ１００６では、バッファ残量受信部９０１が、バッファ１１５上の空きバッファ残量を受信する。バッファ残量受信部９０１は目標符号量算出部５０３に受信した空きバッファ残量を通知する。続くＳ１００７では、目標符号量算出部５０３が前ピクチャの符号化結果の発生符号量に基づいて、符号化対象ピクチャの目標符号量を算出する。ここでの目標符号量の算出は、図８（Ａ）及び（Ｃ）を参照して説明したように、ピクチャを複数の領域に分割した上で領域毎に行う。特に、２ピクチャ目以降が対象となるＳ１００７では、既に符号化された先行ピクチャにおける対応する領域の発生符号量に基づき目標符号量を算出する。

Ｓ１００８では、目標符号量算出部５０３が、算出した目標符号量が、バッファ１１５の空きバッファ残量よりも少ないか否かを判定する。目標符号量が空きバッファ残量よりも少ない場合、処理はＳ１０１０へ進み、目標符号量が空きバッファ残量以上の場合、処理はＳ１００９へ進む。Ｓ１００９では、目標符号量算出部５０３は目標符号量を空きバッファ残量とする。この処理の詳細については図８（Ｃ）及び図１１（Ｃ）を参照して後述する。

続くＳ１０１０では、量子化パラメータ決定部４０２が量子化パラメータを算出する。ここでは、例えば前ピクチャの符号化で使用した量子化パラメータの平均値を符号化結果から取得し、設定することができる。ここで得られた量子化パラメータは、量子化制御部３０４が式２に基づき量子化パラメータを決定する際に、Ｑ（０）の値として用いられる。Ｓ１０１１では、量子化制御オン／オフ決定部４０３が、量子化制御部３０４を有効にする量子化制御オン信号を生成する。Ｓ１０１２では、符号化制御パラメータ通知部４０４が、制御信号をＲＡＷ圧縮部１１３へ出力する。当該制御信号には、決定した量子化パラメータ、目標符号量、及び、量子化制御オン信号が含まれる。

以下、空きバッファ残量の概念について図１１（Ａ）から（Ｃ）を参照して説明する。図１１（Ａ）は、静止画連写モード時の符号量制御で考慮すべきバッファ１１５に関連する構成を示す。図１１（Ｂ）は、静止画連写モード時のバッファの概念を説明するための図である。図１１（Ｃ）は、静止画連写モード時のバッファの状態を示す概念図である。

静止画連写モード時は、ＲＡＷ画像データのエンコード時にバッファが溢れないことが必要である。再生時は、動画の場合と異なりフレームレートの概念が無く、伸張ができた順に復号・表示ができればよいため、再生時のバッファ状態を考慮しなくてもよい。よって、静止画連写モード時に特に考慮すべきはエンコード時のバッファ１１５の状態である。図１１（Ａ）に示すように、ＲＡＷ圧縮部１１３から圧縮された状態のＲＡＷファイルを入力し、ＲＡＷ伸張部１１４や記録媒体１５２へデータを出力する。静止画連写モード時の符号量制御は、動画の場合と異なり、仮想的な再生バッファをエミュレートする必要は無い。

ここで図１１（Ｂ）を参照して、静止画連写モード時のバッファ残量の考え方を説明する。消費済みポインタ１１０１は、バッファ１１５におけるＲＡＷ伸張部１１４や記録媒体１５２へデータ出力済みのバッファ位置を示す。符号化済みポインタ１１０２は、バッファ１１５におけるＲＡＷ圧縮部１１３から圧縮された状態のＲＡＷ画像データ（符号化データ）が保持されているバッファ位置を示す。領域１１０３はバッファ１１５における使用中のデータ領域を示し、ＲＡＷ伸張部１１４や記録媒体１５２へデータ出力待ちのデータが含まれる。斜線で示した領域１１０４はバッファ１１５上の空き領域を示す。

次に、図１１（Ｃ）を参照して静止画連写モード時のバッファの状態について説明する。図１１（Ｃ）のグラフにおいて、縦軸はバッファ１１５の全容量を表し、横軸はピクチャ番号を示している。グラフ中の斜線で示した領域１１０４は空き領域を示し、領域１１０３はデータを既に保持している使用中のデータ領域を示している。図１１（Ｃ）は各ピクチャの符号化開始時におけるバッファ１１５の状態をバッファ１１５に含まれる使用中データ領域のデータ長と、空き領域のデータ長との割合で示している。バッファ１１５には、ピクチャ単位で書き込みと読出しが行なわれるので、１ピクチャが符号化されると、その分だけ空き領域が減り、記録媒体１５２に１ピクチャ分のＲＡＷ画像データが書き込まれると、空き領域が増える。静止画連写モード時の符号量制御は、使用中のデータ領域１１０３が、新たに符号化されたＲＡＷ画像データにより上書きされないように、ＲＡＷ圧縮部１１３における符号化処理における目標符号量を空き領域１１０４のデータ長以下に設定するように制御する。

ここで、図８（Ｃ）及び図１１（Ｃ）を参照して、図１０のＳ１００９における処理の詳細について説明する。本実施形態では図８（Ｃ）に示すように目標符号量は領域毎に設定されている。そこで、Ｓ１００９において目標符号量を修正する場合、図１１（Ｃ）で符号化対象のピクチャのピクチャ番号に該当するバッファ残量に相当する符号量をＳ１００７で算出された各領域の目標符号量の比率に応じて分配した符号量を、各領域に割り当てる。例えば、領域毎の目標符号量の比が領域（０）から領域（３）について1：0.8：1.1：1.5であった場合、バッファ残量に基づく符号量（Ｃr）を当該比率に基づいて分配し割り当てる。よって、領域（０）については、Ｃr×1／(1＋0.8＋1.1＋1.5)となる。なお、比率に基づく以外に、計算された次ピクチャの目標符号量と、仮想バッファ位置との差分値を均等割りしたものを、各領域について計算された目標符号量から減ずるようにしても良い。

静止画連写モード時の量子化制御は、基本的には図８（Ａ）から図８（Ｃ）を参照して説明した動画モード時の量子化制御と同様に画面内での量子化パラメータの変更を行うことにより実施できる。静止画連写モードにおいても、量子化制御部３０４は、連写記録により生成されるＲＡＷ画像について、先頭ピクチャのＲＡＷ画像と、２ピクチャ目以後のＲＡＷ画像とで量子化制御を切り替える。

＜動作モードの判定＞
次に、図１２を参照して制御部１６１における各動作モードの判定方法を説明する。図１２は、発明の実施形態に係る制御部１６１の動作モード判定処理の一例を示すフローチャートである。

Ｓ１２０１では、制御部１６１は、操作部１６２から撮影設定情報を取得する。続くＳ１２０２では、制御部１６１ユーザが操作部１６２からの撮影設定情報の内容に基づき、ユーザから動画記録が指示されたか否かを判定する。制御部１６１が動画記録が指示されたと判定した場合、処理をＳ１２０３へ進め、動画記録が指示されていないと判定した場合は処理をＳ１２０４へ進める。Ｓ１２０３では、制御部１６１は動作モードを動画モードに決定する。Ｓ１２０４では、撮影設定情報の内容に基づき、ユーザから静止画連続撮影が指示されたか否かを判定する。制御部１６１は、静止画連続撮影が指示されたと判定した場合、処理をＳ１２０５へ進め、静止画連続撮影が指示されていないと判定した場合、処理をＳ１２０６へ進める。Ｓ１２０６では、制御部１６１は、シャッター速度が所定の閾値Ｔｈ以上かどうかを判定する。制御部１６１は、シャッター速度が所定の閾値Ｔｈ以上であると判定した場合、処理をＳ１２０５に進める。Ｓ１２０５では、制御部１６１は動作モードを静止画連写モードに決定する。制御部１６１は、シャッター速度が所定の閾値Ｔｈ以上でないと判定した場合、処理をＳ１２０７に進める。Ｓ１２０７では、制御部１６１は、動作モードを静止画単写モードに決定する。

以上のように、制御部１６１は、操作部１６２を介してユーザから指定された撮影設定情報に従い、動画記録の時は動作モードを動画モードに決定する。また、静止画連続撮影が指定された場合は連写記録が想定されるため、動作モード静止画連写モードにする。さらに、静止画記録で、かつ、シャッター速度が速い場合は、連写記録が可能なため、動作モードを静止画連写モードに決定する。それ以外の場合は、ＲＡＷ圧縮部１１３の圧縮された状態のＲＡＷファイル生成速度が遅いため、符号量制御を行わなくとも、バッファ１１５が溢れることは無いため、静止画単写モードに決定する。このようにして、動画、静止画単写、静止画連写の各動作モードを、ユーザ操作に応じて適切に選択することができる。

以上の実施形態によれば、静止画単写モードでは、画質重視の符号量制御及び量子化制御を行う。動画モードでは、符号量の制御性を重視した符号量制御及び量子化制御を行う。より具体的に、動画モードの符号化制御では、リアルタイム再生時のバッファ状態を考慮した符号化を行うことで、リアルタイム再生時のバッファオーバーフローを防止することができる。さらに、静止画連写モードでは、再生時のバッファ状態は考慮せず、符号化時のバッファ状態を考慮して、符号量制御及び量子化制御を行うため、動画モードよりも制約が緩く、より画質重視の制御が可能となる。これにより、ＲＡＷ圧縮処理及びその制御において、動画、静止画単写、静止画連写の各モードで最適な符号量制御及び量子化制御を可能とし、高画質でありながら、記録時のデータ破損が無く、動画のリアルタイム再生を保証することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１３：ＲＡＷ圧縮部、１７１：符号化制御部、３０１：ウェーブレット変換部、３０２：量子化部、３０３：符号化部、３０４：量子化制御部

Claims (14)

1. 一連のＲＡＷ画像を連続的に生成し記録する撮像装置であって、
   被写体を撮像してＲＡＷ画像を生成する撮像手段と、
   前記ＲＡＷ画像を符号化した符号化データを生成する符号化手段と、
   前記符号化データを記録媒体に記録し、該記録媒体から読み出す記録再生手段と
   を備え、
   前記符号化手段が、前記一連のＲＡＷ画像を連続的に生成する場合に同一のＲＡＷ画像内で量子化パラメータを変更しながら量子化を行う量子化手段を含むことを特徴とする撮像装置。
2. 前記量子化手段は、符号化対象のＲＡＷ画像を複数の領域に分割した場合の各領域について、領域毎の量子化パラメータを設定して量子化を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記量子化パラメータは、前記符号化対象のＲＡＷ画像の各領域についての、符号化の目標符号量と符号化した結果の発生符号量との差分に基づいて決定されることを特徴とする請求項２に記載の撮像装置。
4. 前記量子化パラメータは、前記複数の領域のうち先頭で符号化される領域について設定された第１の量子化パラメータを前記差分に基づき補正した値として設定されることを特徴とする請求項３に記載の撮像装置。
5. 前記複数の領域のうち符号化対象の領域の量子化パラメータは、前記複数の領域のうち該符号化対象の領域よりも前に符号化された領域の前記目標符号量の合計と、前記発生符号量の合計との差分に基づき前記第１の量子化パラメータを補正した値として設定されることを特徴とする請求項４に記載の撮像装置。
6. 前記第１の量子化パラメータは、前記一連のＲＡＷ画像のうち、先頭のＲＡＷ画像については、指定された画質モードに応じた量子化パラメータに決定され、
   前記先頭のＲＡＷ画像より後のＲＡＷ画像については、前記符号化対象のＲＡＷ画像よりも前に符号化されたＲＡＷ画像における前記複数の領域について設定された量子化パラメータに基づいて決定されることを特徴とする請求項４または５に記載の撮像装置。
7. 前記符号化対象のＲＡＷ画像が前記一連のＲＡＷ画像における先頭のＲＡＷ画像である場合、前記目標符号量は前記複数の領域について同一に設定されることを特徴とする請求項３から６のいずれか１項に記載の撮像装置。
8. 前記符号化データを一時的に保持する保持手段を更に備え、
   静止画連写により前記一連のＲＡＷ画像が連続的に生成される場合に、
   前記目標符号量は、前記複数の領域の前記目標符号量の合計が、前記保持手段における空き領域の大きさを超えないように設定されることを特徴とする請求項３から７のいずれか１項に記載の撮像装置。
9. 前記目標符号量は、前記静止画連写において符号化対象のＲＡＷ画像よりも前に符号化された他のＲＡＷ画像における前記複数の領域のそれぞれを符号化した結果の発生符号量に基づいて領域毎に計算され、
   計算された前記領域毎の目標符号量の合計が前記空き領域の大きさを超える場合、前記空き領域に基づく符号量を前記計算された領域毎の目標符号量の比率に応じて分配した目標符号量が、前記複数の領域のそれぞれに割り当てられることを特徴とする請求項８に記載の撮像装置。
10. 前記符号化データを一時的に保持する保持手段と、
    前記保持手段が保持する前記符号化データを復号する復号手段と
    を更に備え、
    動画の撮影により前記一連のＲＡＷ画像が連続的に生成される場合に、
    前記目標符号量は、前記複数の領域の前記目標符号量の合計が、前記記録媒体に記録された前記符号化データが前記保持手段に読み出され、前記復号手段に供給されて、該保持手段から削除される際に想定される前記保持手段の仮想的な保持量を超えない値に設定されることを特徴とする請求項３から７のいずれか１項に記載の撮像装置。
11. 前記仮想的な保持量は、前記動画を構成する符号化データの前記記録媒体から前記保持手段への読み出しを実行した継続時間と、前記記録媒体から前記保持手段へのデータ転送速度とに基づく符号化データの仮想的な総転送量から、前記符号化対象のＲＡＷ画像より前に符号化されたＲＡＷ画像の符号化データの総符号量を減算した値として特定されることを特徴とする請求項１０に記載の撮像装置。
12. 前記目標符号量は、前記動画の撮影において符号化対象のＲＡＷ画像よりも前に符号化された他のＲＡＷ画像における前記複数の領域を符号化した結果の発生符号量に基づいて領域毎に計算され、
    計算された前記領域毎の目標符号量の合計が前記仮想的な保持量を超える場合、前記仮想的な保持量に基づく符号量を前記計算された領域毎の目標符号量の比率に応じて分配した目標符号量が、前記複数の領域のそれぞれに割り当てられることを特徴とする請求項１０または１１に記載の撮像装置。
13. 一連のＲＡＷ画像を連続的に生成し記録する画像処理方法であって、
    撮像手段が生成したＲＡＷ画像を符号化した符号化データを生成する符号化工程と、
    前記符号化データを記録媒体に記録する記録工程と
    を含み、
    前記符号化工程では、前記一連のＲＡＷ画像を連続的に生成する場合に同一のＲＡＷ画像内で量子化パラメータを変更しながら量子化を行う量子化工程を含むことを特徴とする画像処理方法。
14. コンピュータを請求項１から１２のいずれか１項に記載の撮像装置における符号化手段及び記録再生手段として動作させるためのプログラム。

Images