JP2020088506A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 複数の記録媒体への振り分け記録に係る条件をこれまでよりも緩いものとし、高ビットレートの動画像の記録し易くする。【解決手段】撮像部より得られた画像を記録媒体に記録する撮像装置であって、撮像部より得られたベイヤ配列のＲＡＷ画像データを周波数変換して複数のサブバンドを生成し、各サブバンドをそれぞれに設定された目標符号量となるように符号化することで、予め設定されたビットレートの動画像の符号化データを生成する符号化部と、複数の記録媒体を装着するためのインタフェースと、複数の記録媒体へのサブバンドの符号化データの振り分けパターン群を記憶する記憶部と、記憶部に記憶されたパターン群のうち、インタフェースに接続された複数の記録媒体の記録レートが許容するパターンを用いて、複数の記録媒体に、符号化部より得た各サブバンドの符号化データを振り分け記録する記録制御部とを有する。【選択図】 図５

Description

本発明は、撮像して得たＲＡＷ画像の記録技術に関するものである。

通常、デジタルカメラに代表される撮像装置は、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤ処理（デモザイク処理）し、輝度と色差から成る信号に変換し、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行う。そして、撮像装置は、この現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録する。

一方で、ＲＡＷ画像を記録可能な撮像装も存在する。ＲＡＷ画像は撮像センサで得た直後の画像データと実質的に等価の画像であり、現像処理を行う以前の画像である。かかる点で、ＲＡＷ画像は、高度な編集を行うユーザによって好んで使われる画像フォーマットと言える。

ただし、ＲＡＷ画像はデータ量が膨大である。したがって、限られた記憶容量の記録媒体に少しでも多くのＲＡＷ画像を記録するためには、そのデータ量を抑える必要がある。このため、ＲＡＷ画像を圧縮符号化する技術が必要になる。更にＲＡＷ画像の符号化ビットレートが高く、１つの記録媒体の記録可能なレートを超える場合には、記録そのものが行えなくなる。かかる点に対し、特許文献１には階層符号化を行い、階層毎に符号化ビットストリームを各々別の記録媒体に記録する構成が記載されている。

特開２００４−３２０５０２号公報

しかしながら、特許文献１に記載の従来技術では、階層毎のビットストリームを記録するため、同一階層の画像データを同一記録媒体に記録する必要がある。このため、記録レートの性能が異なる複数の記録媒体への記録には対応出来ない場合がある。

本発明は上記問題に鑑み成されたものであり、複数の記録媒体への振り分け記録に係る条件をこれまでよりも緩いものとし、高ビットレートの動画像の記録し易くする技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段より得られた画像を記録媒体に記録する撮像装置であって、
前記撮像手段より得られたベイヤ配列のＲＡＷ画像データを周波数変換して複数のサブバンドを生成し、各サブバンドをそれぞれに設定された目標符号量となるように符号化することで、予め設定されたビットレートの動画像の符号化データを生成する符号化手段と、
複数の記録媒体を装着するためのインタフェースと、
複数の記録媒体へのサブバンドの符号化データの振り分けパターン群を記憶する記憶手段と、
前記記憶手段に記憶されたパターン群のうち、前記インタフェースに接続された複数の記録媒体の記録レートが許容するパターンを用いて、前記複数の記録媒体に、前記符号化手段より得た各サブバンドの符号化データを振り分け記録する記録制御手段とを有する。

本発明によれば、複数の記録媒体への振り分け記録に係る条件をこれまでよりも緩いものとし、高ビットレートの動画像の記録し易くする。

実施形態の画像符号化装置のブロック構成図。 ベイヤ配列を説明するための図。 ＲＡＷ画像符号化部のブロック構成図。 離散ウェーブレット変換(DWT)の分解レベル３のサブバンド形成図。 実施形態における符号化データの振り分けパターンの決定処理を示すフローチャート。 実施形態におけるサブバンド毎の符号量の比率を示す図。 実施形態における媒体情報の抽出例を示す図。 実施形態における符号化データの振り分けパターンのテーブルを示す図。 実施形態にけるファイルフォーマットの一例である。 図９の各ヘッダの構造を示す図。 ２枚の記録媒体に記録する場合の各々のメインヘッダの構造を示す図。 ２枚の記録媒体のプレーンヘッダの構造を示す図。 ２枚の記録媒体のサブバンドヘッダの構造を示す図。 第２の実施形態における符号化データの振り分けパターンのテーブルを示す図。 第３の実施形態に係る撮像装置のブロック構成図。 第３の実施形態におけるタイル、サブバンドの符号量を表す図。 第３の実施形態における振り分けパターンのテーブルを示す図。 第３の実施形態におけるファイルフォーマットの一例を示す図。 第３の実施形態における各ヘッダの構造を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態では、画像符号化装置として、デジタルカメラに代表される撮像装置に適用する例を説明するが、撮像機能を有する装置、例えば、スマートホン等にも適用できるのであくまで一例であると理解されたい。

［第１の実施形態］
図１は、本実施形態における撮像装置１００のブロック構成図である。撮像装置１００は、装置全体の制御を司る制御部１５０、ユーザの操作を受け付ける操作部１５１、撮像した画像の表示、各種メニューの表示を行う表示部１５２を有する。制御部１５０はＣＰＵにより構成され、ＣＰＵが実行するプログラムや各種データを記憶しているＲＯＭ１５０ａ、ＣＰＵのワークエリアとして使用されるＲＡＭ１５０ｂを有する。操作部１５１は、動画記録の開始／終了を指示するボタンを含む、複数のボタン、スイッチ、タッチパネルを含む。

また、撮像装置１００は、撮像光学部１０１、撮像センサ１０２、センサ信号処理部１０３、ＲＡＷ画像符号化部１０４、バッファ１０５、記録制御部１０６、媒体Ｉ／Ｆ部を有する。実施形態における媒体インタフェース部（以下、媒体Ｉ／Ｆ部）１０７は、複数の記録媒体を装着（接続）するための複数のスロットを有する。図示では、記録媒体１８０ａ、１８０ｂの２つが示されているが、媒体Ｉ／Ｆ部１０７が有するスロットの数が装着できる記録媒体の上限となる。実施形態では、記録媒体はＳＤカードであるものとして説明するが、特にその種類に制限があるわけではない。

撮像光学部１０１は、レンズ、絞りなどの光学部品を有し、被写体像を撮像センサ１０２の面上に結像する。撮像センサ１０２は、その表面にＲ（赤）、Ｇ（緑），Ｂ（青）成分に対応するカラーフィルタが配置されていて、各フィルタを透過して入射した光強度を示す信号に変換し、出力する。

図２は、撮像センサ部１０２の前面に設けられるカラーフィルタの配列の一例を示している。同図のように、Ｒのフィルタ１１０３、Ｇのフィルタ１１０１、Ｂのフィルタ１１０２がモザイク状に配置されている。そして、その中の２×２個のフィルタは、赤が１つ、青が１つ、緑が２つで構成されている。この２×２個のフィルタが１セットとなって、このセットが繰り返し配列されている。このようなフィルタの配置は、一般にベイヤ配列と呼ばれる。したがって、撮像センサ１０２から出力される電気信号が表す各画素の配列もまたベイヤ配列となる。

撮像センサ部１０２からの画像信号は、センサ信号処理部１０３に供給される。センサ信号処理部１０３は、Ａ／Ｄ変換器を有し、画像信号をデジタル信号に変換するとともに、画素の修復処理を施す。この修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像データは、ベイヤ配列の生（未現像）の画像であるので、以降、ＲＡＷ画像データと称す。

ＲＡＷ画像符号化部１０４は、センサ信号処理部１０３からのＲＡＷ画像データを入力する。そして、ＲＡＷ画像符号化部１０４は、ＲＡＷ画像データに対して、ウェーブレット変換を用いた多階層の周波数変換を施して複数のサブバンドの生成、量子化、エントロピー符号化を行う。そして、ＲＡＷ画像符号化部１０４は、得られた符号化データをバッファ１０５に格納する。

ここで、ＲＡＷ画像符号化部１０４の構成とその処理内容を説明する。図３は実施形態におけるＲＡＷ画像符号化部１０４のブロック構成図である。

プレーン分離部３０２は、入力端子３０１を介してＲＡＷ画像データを入力する。そして、プレーン分離部３０２は、入力したＲＡＷ画像データを、単一色成分で表される複数のプレーンに分離する。先の説明から明らかなように、ＲＡＷ画像データにおけるＧ成分の画素数は、Ｒ成分（又はＢ成分）の画素数の２倍である。青画素の水平方向に隣り合う緑画素が表す成分をＧ１，赤画素の水平方向に隣り合う緑画素が表す成分をＧ２とし、緑成分を２つに区別することとする。プレーン分離部３０２は、入力したＲＡＷ画像データを、Ｒ成分の画素のみで構成されるＲプレーン、Ｂ成分の画素のみで構成されるＢプレーン、Ｇ１成分の画素のみで構成されるＧ１プレーン、Ｇ２成分の画素のみで構成されるＧ２プレーンの４つのプレーンに分離する。なお、ＲＡＷ画像データの水平方向の画素数をＷ，垂直方向の画素数をＨとした場合、４つのプレーンそれぞれの水平方向の画素数はＷ／２、垂直方向の画素数はＨ／２となる。そして、プレーン分離部３０２は、生成した４つのプレーンを、予め設定された順番に、離散ウェーブレット変換部３０３に供給する。

プレーン分離部３０２が出力する４つのプレーンそれぞれは、単一色成分の多値画像データであり、モノクロ多値画像と言うことができる。離散ウェーブレット変換部３０３は、各プレーンをモノクロ多値画像データとして入力し、ウェーブレット変換（ＤＷＴ）を所定回数行い、複数のサブバンドを生成する。実施形態では、このＤＷＴの実行回数を“３”として説明するが、この回数に特に制限はない。あくまで例示であると理解されたい。

図４は、ＤＷＴの垂直、水平フィルタリングをそれぞれ３回実行した場合のサブバンド形成図を示している。ＤＷＴは、垂直、水平にそれぞれフィルタをかけることで周波数帯域を複数に分解する。そして、上記変換により生成された低域サブバンドに対して再帰的にＤＷＴを施すことで分解レベルを増加させ、図４のように周波数分解の粒度を細かくすることができる。なお、図４の記載において、“Ｌ”は低域、“Ｈ”は高域を示し、その順序は、前側が水平フィルタリングを行った結果の帯域、後側が垂直フィルタリングを行った結果の帯域を示す。また、“Lv”の後の数字は、ＤＷＴの分解レベルを示す。また、“ＬＬ”は、最低域サブバンドを表す。

離散ウェーブレット変換部３０３は、入力した１つのプレーンに対する離散ウェーブレット変換を所定回数行うことで、複数のサブバンドを生成する。なお、ＤＷＴの実行回数（分解レベルでもある）をｎとした場合、生成されるサブバンドの個数は「１＋３×ｎ」で与えられる。実施形態では、ＤＷＴの実行回数を“３”としている。そのため、離散ウェーブレット変換部３０３は、図４に示すように、１つのプレーンから１０個のサブバンドを生成することになる。また、各サブバンドは、複数の変換係数で構成されることになる。そして、離散ウェーブレット変換部３０３は、サブバンド単位に、変換係数を量子化部３０５に供給する。

量子化部３０５は、量子化制御部３０４より設定される量子化パラメータＱｐに従い、サブバンド毎の量子化ステップ値を決定し、サブバンド内の変換係数１つ１つをそのサブバンドに対して決定した量子化ステップ値を用いて量子化する。なお、量子化部３０５は、与えられた量子化パラメータＱｐの値が大きいほど、各サブバンドで用いる量子化ステップ値も大きくなる。量子化ステップ値を大きくなると、量子化後の変換係数が小さい値となり、符号量削減に寄与する度合いが大きくなる。ただし、量子化パラメータＱｐの値が大きいほど、逆に量子化による誤差が大きくなり、画質劣化が顕著になる。よって、量子化パラメータは、圧縮率／画質に係るパラメータであると言える。

エントロピー符号化部３０７は、量子化部３０５による量子化後の変換係数データをエントロピー符号化（例えばゴロム符号化）して符号化データを生成する。エントロピー符号化部３０７は、出力端子３０９を介して、生成した符号化データをバッファ１０５に格納すると共に、その符号量を示す情報を符号量算出部３０６に供給する。

符号量算出部３０６は、エントロピー符号化部３０７からの情報が示す符号量を累積加算して、ピクチャ（ＲＡＷ画像データから分離した４プレーン）の符号量データを求める。符号量算出部３０６は、ピクチャの符号量データを符号量制御部３０４に供給する。

量子化制御部３０４は、符号量算出部３０６からのピクチャの符号量データに基づき、次ピクチャにおける量子化パラメータＱｐを決定することを繰り返し、１秒当たりの符号量を、制御部１５０が設定した目標ビットレートとなるよう、符号量を制御する。

例えば、ＲＡＷ画像データの１画素のビット数をＢとし、撮像センサ部１０２の１秒当たり撮像するフレーム数を“３０”とした場合の１秒当たりのデータ量Ａは次式となる。
Ａ＝Ｗ×Ｈ×Ｂ×３０
ここで、圧縮率をＲ（＜１）としたとき、目標ビットレートＴa（１秒当たりの符号量（ビット数））は、次式の通りである。
Ｔa＝Ｒ×Ａ＝Ｒ×Ｗ×Ｈ×Ｂ×３０ …（１）
また、１ピクチャ（フレーム）当たりの目標符号量Ｔｐは、次式（２）となる。
Ｔｐ＝Ｒ×Ｗ×Ｈ×Ｂ
ここで、１ピクチャの実際の符号化処理で得た符号量をＣｐと表す。量子化制御部３０４は、目標符号量Ｔｐに対する実際に生成された符号量Ｃｐの差分Ｄ（＝Ｔｐ−Ｃｐ）を累積加算して「ΣＤ」を求めていく。そのΣＤが負の場合、目標を超える符号化データが生成されていることを示すので、量子化制御部３０４は、前回の量子化パラメータＱｐを、予め設定された正の値ΔＱだけ増加させる。この結果、次のピクチャの符号量を減少させることができる。一方、ΣＤが正の場合には次のピクチャの符号量を大きくしても良いことになる。それ故、量子化制御部３０４は、前回の量子化パラメータＱｐから値ΔＱを減じ、量子化パラメータを小さくなるように更新する。この結果、次のピクチャの符号量を増加させる。このような処理により、１秒当たりに発生する符号量を、目標ビットレートに近似するように制御することができる。

先に説明したように実施形態の場合、離散ウェーブレット変換部３０３により１プレーンの画像データから図４に示すように１０個のサブバンドが生成される。サブバンドは、その分解レベルが高いほど画質に支配的であり、逆に分解レベルが低いほど画質に与える影響は小さい。そこで、分解レベルが高くなるほど符号化によるロスは小さくする。このため、実施形態では、分解レベルに応じて圧縮率を設定する。具体的には、サブバンド｛ＬＬ、Ｌｖ３ＨＬ，Ｌｖ３ＬＨ，Ｌｖ３ＨＨ｝の目標圧縮率を“ｒ”としたとき、サブバンド｛Ｌｖ２ＨＬ，Ｌｖ２ＬＨ，Ｌｖ２ＨＨ｝の目標圧縮率を“ｒ×３／４”、サブバンド｛Ｌｖ１ＨＬ，Ｌｖ１ＬＨ，Ｌｖ１ＨＨ｝の目標圧縮率を“ｒ×１／２”とする。

また、分解レベル３，２，１の各サブバンド内の係数の個数の比率は：１：４：８である。故に、サブバンドＬＬの目標符号量を仮に“ａ”としたとき、各サブバンドの目標符号量は概ね図６に示すようになる。図示のごとく、分解レベル１の各サブバンドの符号量は、分解レベル３のサブバンド（又はサブバンドＬＬ）の８倍となり、分解レベル２の各サブバンドの符号量は、分解レベル３の４倍の符号量となる。

図１に戻り、説明を続ける。バッファ１０５には、ＲＡＷ画像符号化部１０４からの出力されたサブバンド単位の符号化データが格納され、各サブバンドの符号量の比率は図６に示した通りとなる。

記録制御部１０６は、制御部１５０の制御の下で、バッファ１０５に格納された符号化データをサブバンド単位に、媒体Ｉ／Ｆ部１０７を介し、いずれか１つの記録媒体に記録していく。実施形態では、記録媒体１８０ａ、１８０ｂの２枚が媒体Ｉ／Ｆ部１０７に装着されている例を説明する。したがって、１つのプレーンから生成される１０個のサブバンドの符号化データは、記録媒体１８０ａ、１８０ｂに分散して格納されることになる。このため、記録制御部１０６は、バンド単位の符号化データの格納処理の際、格納されるサブバンドの所在を示す情報を持つヘッダを生成する。そして記録制御部１０６は、生成したヘッダ情報に後続してバンド単位の符号化データを該当する記録媒体１８０ａまたは１８０ｂに格納していくことになる。

上記の結果、個々の記録媒体の書き込み速度が、目標ビットレートを下回っていたとしても、それら記録媒体の合計の書き込み速度が目標ビットレートを上回っているという条件を満たせば、ユーザの望むビットレートの動画像符号化データの記録が可能にする。

ここで、複数の記録媒体へのバンド単位の振り分け処理の詳細を図５のフローチャートにしたがって説明する。なお、本処理は、撮像装置１００の電源がＯＮになった場合の初期化処理の一部として実行されるものとする。ただし、ユーザから録画設定の指示が操作１５１から入力された場合に実行されるものとしても良い。

Ｓ５０１にて、制御部１５０は、媒体Ｉ／Ｆ部１０７に装着されている記録媒体に関する媒体情報を取得し、制御部１５０内のＲＡＭ１５０ｂにその情報を保持する。媒体情報には、装着された記録媒体の数、装着されている記録媒体それぞれの書き込み可能な速度、および、それぞれの容量（空き容量）が含まれる。

ここで、実施形態における、媒体Ｉ／Ｆ部１０７が有する記録媒体を装着するためのスロットの数が３つであり、それぞれをスロット＃１〜＃３を表記し、撮像装置１００の媒体Ｉ／Ｆ部１０７の表面にも、“＃１〜＃３”の刻印が示されているものとする。そして、スロット＃１に記録媒体１８０ａが装着され、スロット＃２に記録媒体１８０ｂが装着されているものとする。

図７は、かかる状況においてＲＡＭ１５０ｂに保持された媒体情報の一例である。図示の場合、スロット＃３には記録媒体が非装着となっていることを示している。また、スロット＃１に装着された記録媒体１８０ａの記録レートはＳｐ１、記憶容量はＳｃ１であること、スロット＃２に装着された記録媒体１８０ｂの記録レートはＳｐ２、記憶容量はＳｃ２であることを示している。

なお媒体情報の取得方であるが、媒体Ｉ／Ｆ部１０７を構成する各スロットを介して適当なコマンドを送信し、そのレスポンスの記録媒体の装着／非装着が判明するので、これを利用して装着されている記録媒体の数を判定する。また、各スロットに媒体の装着／非装着を検出するセンサを設けて、これを利用して記録媒体の数を判定しても構わない。また、実施形態での記録媒体はＳＤカードを前提にしている。ＳＤカードでは、スピードクラスやビデオスピードクラスが規格化されており、媒体からそのクラスに関する情報を取得できるので、その情報から各記録媒体の書き込み速度を判定する。なお、実際にダミーのデータの書き込む処理を行って書き込み速度を判定するようにしても良い。

次に、Ｓ５０２にて、制御部１５０は、符号化のビットレートを取得する。このビットレートは、先に示した式（１）で示す目標ビットレートである。ユーザは、操作部１５１を介して、画質の高低の程度を設定できる。制御部１５０は、この画質の程度で決まる圧縮率Ｒを式（１）に代入してビットレートを算出する。

Ｓ５０３にて、制御部１５０は、Ｓ５０１で取得した媒体情報、Ｓ５０２で取得した符号化ビットレートに基づき、サブバンド単位の符号化データの振り分けパターン候補を決定する（詳細後述）。

そして、Ｓ５０４にて、制御部１５０は、決定した振り分けパターンの候補の一覧を表示部１５２に表示する。ユーザは、操作部１５１を操作し、そのうちの１つ振り分けパターンを選択する。

この後、Ｓ５０５にて、制御部１５０は記録制御部１０６に対して、媒体Ｉ／Ｆ部１０７のスロット＃１、＃２に向けて出力するサブバンドを特定する情報をセットする。

以降、ユーザが操作部１５１を操作して動画の記録を介すると、記録制御部１０６はバッファ１０５に格納されるプレーンの符号化データをサブバンド単位に、複数の記録媒体にサブバンドの符号化データを振り分け記録を行うことになる。

続いて、Ｓ５０３の処理の詳細を以下に説明する。

ＲＯＭ１５０ａは、媒体Ｉ／Ｆ部１０７が有する記録媒体が２つセットされている場合の振り分けパターンテーブル、３つセットされている場合の振り分けパターンテーブルが予め格納されている。実施形態の場合、記録媒体１８０ａ、１８０ｂの２つが装着されている例を説明しているので、制御部１５０は前者の振り分けパターンテーブルを参照して処理することになる。

図８は、装着された記録媒体の数が“２”の場合の振り分けパターン群を定義するテーブルを示す。図示のテーブルの「記録媒体＃１」、「記録媒体＃２」は３つのスロット中の実際に装着した２つの記録媒体のスロットの若い方からの順番を示している。実施形態では、スロット＃１に記録媒体１８０ａが装着され、スロット＃２に記録媒体１８０ｂが装着されているので、図示のテーブルの「記録媒体＃１」は記録媒体１８０ａを、「記録媒体＃２」は記録媒体１８０ｂを示すことになる。

図示のテーブルの「サブバンド」フィールドの表記で“分解レベル”のみが示されているものは、その分解レベルに含まれる全サブバンドを表す。例えば、“Ｌｖ３”はサブバンド｛Ｌｖ３ＨＬ，Ｌｖ３ＬＨ，Ｌｖ３ＨＨ｝を示す。そして、“分解レベル＋括弧書き”は、該当する分解レベルにおける括弧内で示したサブバンドのみを表す。例えば、“Ｌｖ１（ＨＬ）”はサブバンドＬｖ１ＨＬを示し、同じ分解レベルのサブバンドＬｖ１ＬＨ，Ｌｖ１ＨＨは含まない。

また、テーブルの左端の「符号量比率」は、２つの記録媒体に対する単位時間当たりの書き込む符号量の比を示している。例えば、図示のテーブルの先頭レコードは、記録媒体＃１には１０個のサブバンドのうちサブバンドＬＬの符号化データが記録され、記録媒体＃２には残りの９個のサブバンドの符号化データが記録されることを示している。図６を参照すると、サブバンドＬＬの符号量を“ａ”としたとき、残りの９つのサブバンドの合計符号量の合計は“３６ａ”（＝１×３＋３×３＋８×３）となる。よって、第１レコードにおける、ビットレートの比率は「１：３６」となる。他のレコードの符号量比率も同じようにして求められるものである。

また、テーブルにおける「要求レート」とは、該当する記録媒体に要求される記録レートの下限を示している。実施形態の撮像装置１００が生成する１秒当たりの符号量は式（１）で示すように“Ｔａ”であるので、要求レートは、「Ｔａ」と比率の乗算となる。例えば、記録媒体＃１と記録媒体＃２との符号量比率が１：３６の場合、記録媒体＃１の要求レートは、Ｔａ／（３６＋１）＝Ｔａ／３７となり、記録媒体＃２の要求レートは、３６×Ｔａ／（３６＋１）＝３６＊Ｔａ／３７となる。

また、第１乃至第５レコードの範囲８１は、記録媒体＃１にサブバンドＬＬが記録されるパターンであり、第６乃至第１０レコードの範囲８２は記録媒体＃２にサブバンドＬＬが記録されるパターンを示している。

ここで、更に考察すると、図８の第１レコードの振り分けパターンの場合、記録媒体＃１には、サブバンドＬＬのみが記録されることになるので、オリジナル解像度の水平、垂直とも１／８のサイズの画像が再現できることを意味する。

第２レコードの振り分けパターンの場合、記録媒体＃１には、サブバンドＬＬと分解レベル３の全サブバンドが記録されるので、オリジナル解像度の水平、垂直とも１／４のサイズの画像が再現できることになる。

第３レコードの振り分けパターンの場合、記録媒体＃１には、サブバンドＬＬ、分解レベル３の全サブバンド、および、分解レベル２の全サブバンドが記録されるので、オリジナル解像度の水平、垂直とも１／２のサイズの画像が再現できることになる。

第４レコードの振り分けパターンの場合、記録媒体＃１には、サブバンドＬＬ、分解レベル３の全サブバンド、および、分解レベル２の全サブバンドが記録されるものの、分解レベル１の一部のサブバンドしか記録されないので、オリジナル解像度の水平、垂直とも１／２のサイズの画像が再現できることになる。

第５レコードの振り分けパターンの場合、記録媒体＃１には、サブバンドＬＬ、分解レベル３の全サブバンド、および、分解レベル２の一部のサブバンド、分解レベル１の一部のサブバンドが記録される。したがって、この場合、オリジナル解像度の水平、垂直とも１／４のサイズの画像が再現できることになる。

第６乃至第１０レコードは、第１乃至第５の振り分けパターンとは逆のパターンを示し、サブバンドＬＬの格納対象が記録媒体＃２となっている。

ここで、振り分けるテーブルの記録媒体＃１が記録媒体１８０ａに対応し、記録媒体＃２は記録媒体１８０ｂに対応するものとし、説明を続ける。

この場合、実施形態の撮像装置１００が生成する動画像を記録するためには、次式が満たされる必要があるのは理解できよう。

Ｔａ＜Ｓｐ１＋Ｓｐ２ …（２）
なお、Ｓｐ１＜Ｔａ、かつ、ＳＰ２＜Ｔａであっても構わない。

ここで、制御部１５０は、記録媒体１８０ａ、１８０ｂの記録レートが許容するパターンを、図８のテーブルのパターン群の中から検索する。以下はその具体例である。

図８のテーブルにおける第ｉレコードの「記録媒体＃１（記録媒体１８０ａ）」の要求レートを「Ｒｒ１（ｉ）」、「記録媒体＃２（記録媒体１８０ｂ）」の要求レートをＲｒ２（ｉ）と表す。そして、制御部１５０は、図８のテーブルにおける、以下の条件を満たすレコードを探す。
条件：Ｓｐ１＞Ｒｒ１（ｉ） かつ Ｓｐ２＞Ｒｒ（ｉ）
そして、制御部１５０は、上記条件を満たすレコード番号が示す振り分けパターンを候補として決定していく。なお、上記条件を満たすレコードが１つも見つからなかった場合（式（２）を満たさない場合がこれに当たる）、制御部１５０は記録が行えない旨のエラーメッセージを表示部１５２に表示する。ユーザは、画質を下げるなどの操作を再度行うことになる。

さて、記録媒体１８０ａ、１８０ｂが共に、撮像装置１００が生成する１秒当たりの符号量Ｔａの６０％程度の記録レートまでしか対応できない場合、記録媒体１８０ａ、１８０ｂに記録するサブバンドの割り振りパターン候補は第４、第５、第９、第１０レコードのパターンとなるであろう。

そこで、制御部１５０は、この振り分けパターンを表示部１５２に表示し、ユーザに選択させる。このとき、テーブルにおける「記録媒体＃１」、「記録媒体＃２」はユーザにとっては無意味である。ユーザにとって重要なのは、どのスロットに挿入した記録媒体にＬＬサブバンドの符号化データが格納されるかである。そこで、制御部１５０は、振り分けパターン候補を表示部１５２に表示するとき、テーブルにおける記録媒体＃１、＃２と、スロット番号やスロット位置を特定する情報で置き換えた上で、表示する。

以上が、図５のＳ５０３の処理である。

以降、制御部１５０は、Ｓ５０４にて、ユーザによる操作部１５１を介した候補の１つの選択を検出する。ここで注意したい点は、ユーザによる１つの振り分けパターンの選択操作は、少なくとも、サブバンドＬＬを格納する記録媒体の選択操作を含む点である。つまりユーザは、少なくとも単独で動画像を再生する媒体をいずれにするかを選択する操作も行っていることである。

この選択を受け、制御部１５０は、Ｓ５０５にて、記録媒体＃１に対応する記録媒体１８０ａ、記録媒体＃２に対応する記録媒体１８０ｂそれぞれに、選択した振り分けパターンが示すサブバンドを格納するよう、記録制御部１０６に設定する。

そして、実際にユーザによる操作部１５１を操作した動画記録の開始を検出すると、先に説明した符号化処理が行われ、２つの記録媒体１８０ａ、１８０ｂへの分散記録が行われることになる。

上記の結果、記録媒体１枚ではユーザが望む画質の動画の記録が行えない場合や、比較的古く記録レートが低い記録媒体の場合、装着する記録媒体を２枚以上とすることで、その記録が可能となる。そして、各プレーンのサブバンドＬＬの符号化データは、必ず１つの記録媒体に格納されることになる。故に、その記録媒体を他の再生装置にセットすれば、少なくとも動画の再生を保証できることになる。

次に上記再生を可能とするヘッダ情報及びデータフォーマットについて説明する。

図９はファイルフォーマットの一例である。これは、記録媒体が１つの場合に記録されるデータフォーマットである。図において、ヘッダ部とデータ部に分かれており、ヘッダ部はメインヘッダ部、サブヘッダ部がある。なお、実施形態では、１枚のＲＡＷ画像データから４つのプレーンを生成して符号化するので、図示のプレーンヘッダの“Plane_P Header”の“Ｐ”は“４”となる。

図１０（ａ）はメインヘッダ部のデータ構造であり、識別番号、ヘッダ状態、画像サイズ、画像のビット幅、ウェーブレット変換の分解レベル、ヘッダサイズ、サムネイル画像、データ部のアドレス及びデータサイズが記載される。なお、同図の識別番号はメインヘッダであるという番号であり、他のヘッダもこの識別番号で何のヘッダであるか判断されるように記録されている。このためヘッダによって識別番号は異なる。

図１０（ｂ）は、プレーンヘッダ部のデータ構造であり、識別番号、ヘッダ状態、ヘッダサイズ、データ部のアドレス及びデータサイズ、サブバンド数及びサブバンドヘッダが記載される。

図１０（ｃ）はサブバンドヘッダ部のデータ構造であり、識別番号、ヘッダ状態、ヘッダサイズ、データ部のアドレス及びデータサイズが記載される。

次に、複数記録媒体に記録するファイルフォーマットについて説明する。そのときの記録媒体を、記録媒体Ｘ及び記録媒体Ｙとして区別し、記録媒体Ｘを再生可能（サブバンドＬＬを格納する側）側として説明する。複数の記録媒体のうち、いずれを再生可能（サブバンドＬＬを格納する側）側とするかは、操作部１５１を介してユーザに選択させるようにするとよい。または、記録媒体Ｘと記録媒体Ｙの記録可能な残りの容量から制御部１５０が自動的に決定してもよい。

図１１（ａ）は記録媒体Ｘのメインヘッダ部である。記録媒体Ｘは再生可能であるため、再生可能となるヘッダ情報が生成され書き込まれる。

Header X Statusとは、記録媒体Ｘのヘッダ状態を示しており、その情報と意味は以下の通りである。
0：通常
1：分割かつ再生可能
2：分割かつ再生不可
実施形態の場合記録媒体Ｘは、分割かつ再生可能であるため“１”が格納される。

また、画像サイズは再生可能サイズを記載する。分解レベルも再生時必要な分解レベルである。例えばサブバンドＬＬのみであれば０、ＬＬとＬｖ３であれば１である。以降はヘッダの長さ、データの記録位置、データの長さは記録媒体Ｘの記録に則して記録する。また、サムネイル画像は図１０（ａ）と同等の画像が記録される。

また、図１１（ｂ）は記録媒体Ｙのメインヘッダ部である。記録媒体Ｙは再生不可であるため、復号時に有効となるヘッダ情報を生成し書き込む。Main Header Y Statusは、分割かつ再生不可であるため“２”が格納される。

また、画像サイズは記録媒体２つを復号し、合成したときに再生可能となるサイズを記載する。分解レベルも記録媒体２つを復号し、合成したときの分解レベルである。本実施形態では“３”である。以降はヘッダの長さ、データの記録位置、データの長さは記録媒体Ｙに記録に則して記録する。また、サムネイル画像は図１０と同等の画像が記録される。

図１２（ａ）は、記録媒体Ｘのプレーンヘッダ部であり、図１２（ｂ）は記録媒体Ｙのプレーンヘッダ部である。上記はそれぞれ記録媒体Ｘ、記録媒体Ｙの記録に則して記録する。

図１３（ａ）は記録媒体Ｘのサブバンドヘッダ部であり、図１３（ｂ）は記録媒体Ｙのサブバンドヘッダ部である。例えば、振り分けパターンが、図８の第１レコードの場合、記録媒体Ｘのフィールド“Subband Header X status”には、サブバンドＬＬを示す情報が格納され、記録媒体Ｙの同フィールドにはサブバンドＬＬ以内の９つのサブバンドを示す情報が格納されることになる。

以上のように記録することにより、サブバンド単位に複数の記録媒体に振り分けて格納することで、単位時間当たりのデータ量の大きい高解像度の動画像データを記録することが可能になる。

以上が本実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。

なお、上記実施形態では、振り分けパターン候補の１つをユーザにより選択するものとして説明したが、候補が１つだけであった場合には、ユーザによる選択の操作を介在しないで振り分け記録を行っても良い。ただし、この場合、制御部１５０はいずれの記録媒体にサブバンドＬＬを記録したのかを示す情報を表示部１５２に表示する。

また、上記実施形態のプレーン分離部３０２は、１フレーム（１ピクチャ）のＲＡＷ画像データを、単一成分のＲ，Ｇ１，Ｇ２、Ｂの４つのプレーンに分離したが、分離するプレーンの種類はこれに限らない。例えば、プレーン分離部３０２は、次式（３）乃至（６）に従って１つの輝度Ｙで構成されるＹプレーンと、３つの色差成分Ｃ１，Ｃ２，Ｃ３を算出し、それぞれが示すＣ１プレーン、Ｃ２プレーン、Ｃ３プレーンを出力しても良い。
Ｙ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４ …（３）
Ｃ１＝Ｒ−Ｇ１ …（４）
Ｃ２＝Ｂ−Ｇ２ …（５）
Ｃ３＝（Ｒ＋Ｇ１）／２−（Ｂ＋Ｇ２）／２ …（６）

また、実施形態では、記録レートに従って、サブバンドの符号化データの振り分けの候補を決める例を説明したが、例えば、複数の記録媒体の記録レートは同一である場合、単位時間当たりの符号量の多い方に、容量（空き領域）の大きい媒体を優先して割り当てるようにしても良い。

［第２の実施形態］
第２の実施形態を説明する。装置構成は第１の実施形態と同じであるものとする。異なる点は、記録制御部１０６の処理及び記録媒体群１０７への記録データが第１の実施形態と異なるので、かかる点について説明する。

第１の実施形態では、２つの記録媒体のうち、一方のみが単独で再生可能であり、他方が再生不可であった。これは、サブバンドＬＬの符号化データが片方の記録媒体のみに格納されるからである。

そこで、本第２の実施形態では、サブバンドＬＬについては、全記録媒体に記録するものとする。

図１４は、本第２の実施形態における記録媒体が２つの振り分けパターンテーブルを示している。図８と異なる点は、両記録媒体にサブバンドＬＬの符号化データが格納される点と、ＬＬサブバンドの記録が追加される側での要求レートが図８より上がる点である。

本第２の実施形態では、先に示した式（２）に変えて、以下の式（２’）を満たす必要がある。
Ｔａ＋α＜Ｓｐ１＋Ｓｐ２ …（２’）
上記αはサブバンドＬＬの単位時間当たりの符号量であり、実施形態では“Ｔａ／３７”である。故に、式（２’）は次式（２”）のようにも表現できる。
３８×Ｔａ／３７＜Ｓｐ１＋Ｓｐ２ …（２”）
以上のように記録サブバンドを構成することにより、どちらも１つの記録媒体で解像度は低いが再生（閲覧）可能とすることができる。

なお、ファイルフォーマットとしては、図１１（ｂ）のメインヘッダ部を拡張し、ヘッダ状態“Header Y Status”の情報を、
0：通常
1：分割かつ再生可能
2：分割かつ再生不可
3：分割かつ一部再生可
とし、特に図１３（ｂ）である記録媒体Ｙのヘッダ状態“Header Y Status”の情報で”3”を選択し記録する。

なお、実際の振り分けパターン候補を決定する場合は、先の第１の実施形態と同じであり、次の条件を満たすレコードを探せばよい。
条件：Ｓｐ１＞Ｒｒ１（ｉ） かつ Ｓｐ２＞Ｒｒ（ｉ）
ただし、ここで示す要求レートＲｒ１（ｉ）、Ｒｒ２（ｉ）は、図１４のテーブルに依存したものとなる点に注意されたい。

以上説明したように、本第２の実施形態によれば、先に示した第１の実施形態の作用効果に加えて、各々の記録媒体に記録された画像を閲覧することが出来る。

［第３の実施形態］
図１５は、本第３の実施形態における撮像装置のブロック構成図である。第１の実施形態における図１と同じ参照符号の構成要素は同じ処理もしくは機能を有するものとし、その説明は省略する。以下、第１の実施形態と異なる点について説明する。

センサ信号処理部１０３により出力されたベイヤ配列のＲＡＷ画像データは、タイル分割部１５０８に供給される。タイル分割部１５０８は、１フレームのＲＡＷ画像データを、所定のサイズの複数のタイルに分割する。ここで各タイルのベイヤ配列のままである。そして、タイル分割部１５０８は、タイル単位に画像データをＲＡＷ画像符号化部１０４に供給する。ＲＡＷ画像符号化部１０４からバッファ１０５までは、タイル単位の符号化処理となる点を除き、第１の実施形態と同じである。

本第３の実施形態のタイル分割部１５０８は、１フレームのＲＡＷ画像データを水平方向に２分割する。つまり、センサ信号処理部１０３から出力されるＲＡＷ画像データは左右に２分されることになる。

図１６は、タイル分割され、ＤＷＴを３回実施した場合の符号量比率を表わす。図６に対して、画面を水平方向二分割したところを破線で示している。それ故、図６の符号量ａと図１６の符号量ｂとの関係は、ａ＝２ｂとなる。

図１６の符号量比率を基に、記録媒体２つに符号化データを記録する。本第３の実施形態でも記録媒体を、記録媒体Ｘ及び記録媒体Ｙとし、記録媒体Ｘを再生可能側として説明する。

図１７は、記録媒体２つに記録する場合の符号量比率と、サブバンドの候補を示す表である。例として２つの候補を示している。ここで、[L]、[R]は左右二分割したうちの左側、右側を示している。

再生可能側の一方の記録媒体はタイル分割であっても全画像分で下位より同階層分の画像データを持つことにより、復号時に全階層記録された解像度までの再生が可能となる。

図１７の（ｉ）によれば、記録媒体Ｘはオリジナル画像の水平、垂直とも１／８サイズの画像が表示でき、（ｉｉ）によれば記録媒体Ｘは分解レベル３までの有効なため、水平、垂直とも１／４サイズの画像が表示できることになる。また、図１７の（ｉｉｉ）によれば、記録媒体Ｙはオリジナル画像の水平、垂直とも１／８サイズの画像が表示でき、（ｉｉ）によれば記録媒体Ｙは分解レベル３までの有効なため、水平、垂直とも１／４サイズの画像が表示できることになる。

仮に図１７のテーブルの４つのパターンが候補となった場合、ユーザはそのうちの１つを選択するための操作を行う。この選択操作は、サブバンドＬＬが格納される記録媒体を選択する操作でもあることに注意されたい。

次に、再生を可能とするヘッダ情報及びデータフォーマットを説明する。

図１８はファイルフォーマットの一例を示している。これは、記録媒体が１つの場合に記録されるデータフォーマットでもある。図示のごとく、ヘッダ部とデータ部に分かれており、ヘッダ部にはメインヘッダ部、サブヘッダ部がある。サブヘッダ部及びデータ部はタイル毎に分割されている。なお、図１８では、タイル分割による分割数が“ｎ”とし、プレーン数が“ｐ”とする例であるが、上記実施形態に適用するのであればｎ＝２、ｐ＝４である。

図１９（ａ）は記録媒体ＸがサブバンドＬＬを記録する場合のメインヘッダを示している。サムネイルの次にタイル情報が記録される。記録媒体Ｘではタイル数として“２”が記録される。更に分割位置が記録される。分割位置は、画像サイズを水平Ｗ（Ｗは偶数）、垂直Ｈとした場合、位置（x，y）として（Ｗ／２, ０）となるため、
Ｗ／２, ０
が記録される。

他は第１の実施形態の図１０（ａ）と同様であるため割愛する。

図１９（ｂ）は、記録媒体ＹがサブバンドＬＬを記録しない場合のメインヘッダ部である。タイル情報以外は、図１０（ａ）と同様であるため説明は割愛する。

図１９（ｃ）は、タイルヘッダ部である。

識別番号でタイルヘッダであるコードが記録され、次に
Tile Header Statusとして、
0：通常
1：分割かつ再生可能
2：分割かつ再生不可
のいずれかの情報が選択出来る。

記録媒体ＸがサブバンドＬＬを含む場合、分割かつ再生可能であるため“１”である。また、記録媒体ＹはサブバンドＬＬを含まないので、分割かつ再生不可であるため“２”である。次にヘッダ長が記録され、次にタイルナンバが記載される。

本実施形態では、左側のタイルがタイルナンバ“０”であり、右側のタイルがタイルナンバ“１”として記録される。次はプレーンヘッダが記録される。プレーンヘッダ以降は、第１の実施形態の図１２（ａ）以降と同様であるため説明は割愛する。

以上のように、本実施形態によれば、タイル分割を行って、サブバンド単位に符号化データを振り分けて複数の複数媒体に記録を行うので、記録レートの性能が低くい記録媒体であっても複数装着することで記録を行うことが可能になる。

なお、実施形態では、タイル分割数を“２”として説明したが、タイル分割数に制限はなくい。

以上が本実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…撮像光学部、１０２…撮像センサ部、１０３…センサ信号処理部、１０４…ＲＡＷ画像符号部、１０５…バッファ、１０６…記録制御部、１０７…媒体Ｉ／Ｆ部、１５０…制御部、１５１…操作部、１５２…表示部

Claims (13)

1. 撮像手段より得られた画像を記録媒体に記録する撮像装置であって、
   前記撮像手段より得られたベイヤ配列のＲＡＷ画像データを周波数変換して複数のサブバンドを生成し、各サブバンドをそれぞれに設定された目標符号量となるように符号化することで、予め設定されたビットレートの動画像の符号化データを生成する符号化手段と、
   複数の記録媒体を装着するためのインタフェースと、
   複数の記録媒体へのサブバンドの符号化データの振り分けパターン群を記憶する記憶手段と、
   前記記憶手段に記憶されたパターン群のうち、前記インタフェースに接続された複数の記録媒体の記録レートが許容するパターンを用いて、前記複数の記録媒体に、前記符号化手段より得た各サブバンドの符号化データを振り分け記録する記録制御手段と
   を有することを特徴とする撮像装置。
2. 前記符号化手段は、
   ベイヤ配列のＲＡＷ画像データを、それぞれ単一成分の画素で構成される、複数のプレーンに分離手段と、
   各プレーンを予め設定された分解レベルまでウェーブレット変換することで、複数のサブバンドを生成するウェーブレット変換手段と、
   前記複数のサブバンドを、エントロピー符号化するエントロピー符号化手段と
   を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記分離手段は、ベイヤ配列のＲＡＷ画像データを、Ｒ成分の画素で構成されるＲプレーン、Ｂ成分の画素で構成されるＢプレーン、Ｇ１成分の画素で構成されるＧ１プレーン、および、Ｇ２成分の画素で構成されるＧ２プレーンの４プレーンに分離する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記分離手段は、ベイヤ配列のＲＡＷ画像データを、輝度Ｙの画素で構成されるＹプレーン、および、互いに異なる３つの色差を示すＣ１プレーン、Ｃ２プレーン、Ｃ３プレーンの４プレーンに分離する
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記記録制御手段は、サブバンドＬＬについては、接続された全記録媒体に記録することを特徴とする請求項２に記載の撮像装置。
6. 前記記録制御手段は、前記複数の記録媒体のうちの一方の記録媒体には、前記複数のサブバンドのうちの低域のサブバンドのデータを記録し、前記複数の記録媒体のうちの他方の記録媒体には、前記複数のサブバンドのうちの低域のサブバンドのデータを記録することを特徴とする請求項２に記載の撮像装置。
7. 前記記録制御手段は、前記複数の記録媒体のうちの一方の記録媒体には、前記複数のサブバンドのうちの低域のサブバンドのデータを記録し、前記複数の記録媒体のうちの他方の記録媒体には、前記複数のサブバンドのうち、前記一方の記録媒体に記録しなかったサブバンドのデータを記録することを特徴とする請求項２に記載の撮像装置。
8. 前記複数の記録媒体のうち、低域のサブバンドのデータを記録する記録媒体を選択する選択手段を有することを特徴とする請求項６または７に記載の撮像装置。
9. 前記符号化手段は、前記ＲＡＷ画像データを複数のタイルに分割する分割手段を有し、
   前記分離手段は、前記タイルを分離の対象とすることを特徴とする請求項２に記載の撮像装置。
10. 前記記憶手段に記憶されたパターン群のうち、前記インタフェースに接続された複数の記録媒体の記録レートが許容するパターンが複数あるとき、その１つをユーザからの指示に従って選択する手段を有し、
    前記記録制御手段は、ユーザによって選択されたパターンにしたがって、前記複数の記録媒体に、前記符号化手段より得た各サブバンドの符号化データを振り分け記録する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記記録制御手段は、
    前記複数の記録媒体に各サブバンドの符号化データを振り分け記録する際、各記録媒体にいずれのサブバンドが記録されているかを示すヘッダを生成し、符号化データを記録することを特徴とする請求項１０に記載の撮像装置。
12. 撮像手段と、複数の記録媒体を装着するためのインタフェースとを有し、前記撮像手段より得られた画像を前記記録媒体に記録する撮像装置の制御方法であって、
    前記撮像手段より得られたベイヤ配列のＲＡＷ画像データを周波数変換して複数のサブバンドを生成し、各サブバンドをそれぞれに設定された目標符号量となるように符号化することで、予め設定されたビットレートの動画像の符号化データを生成する符号化工程と、
    複数の記録媒体へのサブバンドの符号化データの振り分けパターン群を記憶する所定の記憶手段を参照し、当該記憶手段に記憶されたパターン群のうち、前記インタフェースに接続された複数の記録媒体の記録レートが許容するパターンを用いて、前記複数の記録媒体に、前記符号化工程より得た各サブバンドの符号化データを振り分け記録する記録制御工程と
    を有することを特徴とする撮像装置の制御方法。
13. コンピュータが読み込み実行することで、前記コンピュータに、請求項１２に記載の方法の各工程を実行させるためのプログラム。

Images