JP2017085319A - 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】 符号化効率と画質のいずれを優先するかに応じた、ベイヤ配列のＲＡＷ画像データの符号化技術を提供する。【解決手段】第１プレーン変換部は、ＲＡＷ画像データから、Ｒ，Ｇ０，Ｇ１，Ｂの各プレーンに変換する。第２プレーン変換部はＲＡＷ画像データを、輝度プレーンと、それぞれが互いに異なる色差成分で構成される３つの色差プレーンに変換する。そして、いずれを用いた符号化を行うかを判定し、判定に応じた各プレーンを符号化する。【選択図】 図１

Description

本発明は、ベイヤ配列のＲＡＷ画像データの符号化技術に関するものである。

昨今、デジタルカメラ等の撮像装置では、撮像素子にＣＣＤセンサまたはＣＭＯＳセンサを採用している。それらのセンサは、センサ表面のカラーフィルターアレイ（以下、ＣＦＡと呼ぶ）によって１つの画素で１つの色成分を構成している。ＣＦＡを用いることで、図２に示すようなＲ（赤）、Ｇ０（緑）、Ｂ（青）、Ｇ１（緑）の２×２画素の周期的なパターンで配置されたベイヤ配列の画像データ（以下、ＲＡＷ画像データと呼ぶ）が得られる。人間の視覚特性は、輝度成分に対して特に高い感度を持っている。このことから、一般的なベイヤ配列においては、図２に示すように輝度成分を多く含む緑成分の画素数は、赤成分や青成分の画素数の２倍となっている。ＲＡＷ画像データは、１画素に１つの色成分の情報しか持たない。これに対し、人間が視覚することになる通常のカラー画像における１画素は、赤、青、緑の３成分で構成される。それ故、ＲＡＷ画像データについてデモザイクと呼ばれる処理を適用することで、１画素が赤、青、緑の３つの成分を持つＲＧＢ画像データに変換される。一般に、データ量を圧縮するため、デモザイクによって得られたＲＧＢ画像データ、あるいは、ＲＧＢ画像データから変換して得られたＹＵＶ画像データに対して符号化処理が適用される。しかしながら、デモザイク処理によって１画素に３つの色成分を持つので、デモザイク処理後の画像データのデータ量は、ＲＡＷ画像データのそれの３倍となる。それ故、デモザイク前のＲＡＷ画像データを直接、符号化して記録する方法が提案されている。

特許文献１には、ベイヤ配列のＲ成分で構成される画像データ、Ｇ０成分で構成される画像データ、Ｂ成分で構成される画像データ、そして、Ｇ１成分で構成される画像データの４つのプレーンに分離し、各プレーンを符号化する方法が示されている。

また、特許文献２には、ＲＡＷ画像データを特許文献１と同様にＲ、Ｇ０、Ｂ、Ｇ１の４つのプレーンに分離した後、近似的に輝度Ｙと、色差Ｃｏ、Ｃｇ、Ｄｇに変換し符号化する方法が示されている。

特開２００３−１２５２０９号公報 特開２００６−１２１６６９号公報

特許文献１の手法の場合、空間的な距離が近く、かつ同色のため相関が高いＧ０成分とＧ１成分とを別々のプレーンとして符号化する。それ故、この手法では、Ｇ０，Ｇ１成分の両方を含む１プレーンとして符号化する場合と比較し、その符号化効率は劣る。

一方、特許文献２の手法は、人間の視覚特性を利用して、輝度（Ｙ）プレーンに多くの符号量を割り振るので解像感の低下を防ぐことができ、且つ、符号化効率は特許文献１の手法と比較すると高い。しかし、特許文献２の手法で符号化した場合、例えばユーザが復号処理を経て、現像およびカラーグレーディングを行う場合、その処理の設定によっては想定外の色ノイズが発生してしまう可能性がある。

本発明は、符号化効率と画質のいずれを優先するかに応じた、ベイヤ配列のＲＡＷ画像データの符号化技術を提供しようとするものである。また、他の発明は、ＲＡＷ画像データの符号化効率を優先しながらも、ＲＡＷ画像データに応じて画質劣化を抑制した符号化を行う技術を提供しようとするものである。

この課題を解決するため、例えば本発明の実施態様に従えば、符号化装置は以下の構成を備える。すなわち、
ベイヤ配列のＲＡＷ画像データを符号化する符号化装置であって、
ＲＡＷ画像データを、Ｒ成分で構成されるＲプレーン、Ｇ０成分で構成されるＧ０プレーン、Ｇ１成分で構成されるＧ１プレーン、及び、Ｂ成分で構成されるＢプレーンの計４プレーンで構成される第１プレーン群に変換する第１の変換手段と、
ＲＡＷ画像データを、輝度成分で構成される輝度プレーンとそれぞれが互いに異なる色差成分で構成される３つの色差プレーンとの計４プレーンで構成される第２プレーン群に変換する第２の変換手段と、
１成分で構成される画像を符号化する符号化手段と、
符号化対象のＲＡＷ画像データを、前記第１プレーン群、第２プレーン群のいずれに変換するかを判定する判定手段と、
該判定手段による判定により得られた４プレーンの各々を前記符号化手段で符号化させる制御手段とを有する。

また、他の実施態様に従えば、符号装置は以下の構成を備える。すなわち、
ベイヤ配列のＲＡＷ画像データを符号化する符号化装置であって、
ＲＡＷ画像データを、輝度成分で構成される輝度プレーンとそれぞれが互いに異なる色差成分で構成される３つの色差プレーンとの計４プレーンに変換する変換手段と、
ＲＡＷ画像データの目標符号量を設定する設定手段と、
前記３つの色差プレーンのうちの少なくとも１つの色差プレーンを解析することで、前記設定手段で設定したＲＡＷ画像データの目標符号量から前記輝度プレーンに割り当てる量を決定し、且つ、前記目標符号量における、前記輝度プレーンに割り振った量を減じた残りの量を、各色差プレーンに分配して割り当てる割り当て手段と、
前記変換手段で変換して得られた輝度プレーン、及び３つの色差プレーンのそれぞれを、前記割り当て手段で割り当てた各プレーンに割り当てた符号量を目標符号量として符号化する符号化手段とを有する。

本発明によれば、符号化効率と画質のいずれを優先するかに応じた、ベイヤ配列のＲＡＷ画像データの符号化技術を提供することが可能となる。また、他の発明によれば、ＲＡＷ画像データの符号化効率を優先しながらも、ＲＡＷ画像データに応じて画質劣化を抑制した符号化を行う技術を提供することが可能になる。

第１の実施形態における符号化装置のブロック構成図。 ベイヤ配列を示す図。 第１プレーン変換部、第２プレーン変換部を説明するための図。 ウェーブレット変換のブロック構成図。 第１の実施形態の変形例の符号化処理を示すフローチャート。 第２の実施形態におけるＲＡＷデータ符号化部のブロック構成図。 第２の実施形態におけるプレーン判定部の処理手順を示すフローチャート。 色差プレーンに対してウェーブレット変換を１回かけた場合のサブバンドを示す図。 第３の実施形態におけるプレーン判定部の処理手順を示すフローチャート。 色差プレーンに対してウェーブレット変換を２回かけた場合のサブバンドを示す図。 第４の実施形態におけるＲＡＷデータ符号化部のブロック構成図。 第４の実施形態におけるプレーン判定部の処理手順を示すフローチャート。 第５の実施形態におけるＲＡＷデータ符号化部のブロック構成図。 第５の実施形態におけるプレーン判定部の処理手順を示すフローチャート。 実施形態が適用する撮像装置のブロック構成図。 実施形態における動画像及び静止画のファイル構造を示す図。 実施形態が適用する情報処理装置のブロック構成図。 第６の実施形態におけるＲＡＷデータ符号化部のブロック構成図。 第６の実施形態の変形例の符号化処理を示すフローチャート。 第７の実施形態におけるＲＡＷデータ符号化部のブロック構成図。 第７の実施形態における符号量制御部の処理手順を示すフローチャート。 第８の実施形態における符号量制御部の処理手順を示すフローチャート。 第９の実施形態におけるＲＡＷデータ符号化部のブロック構成図。 第９の実施形態における符号量制御部の処理手順を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、本発明は、ベイヤ配列のＲＡＷ画像データの符号化に関わるものであり、そのＲＡＷ画像データの供給源の種類は問わない。例えば記憶媒体がＲＡＷ画像データの供給源であっても構わない。ただし、理解を容易にするため、以下の各実施形態では、ベイヤ配列の撮像素子を含む撮像装置におけるＲＡＷ画像データの符号化を説明する。

［第１の実施形態］
図１５は実施形態が適用する撮像装置のブロック構成図である。ＣＰＵ１５０１はプログラムを実行することでバス１５１２に接続された以下に説明する各構成要素を制御する。ＲＯＭ１５０２は、装置の設定に必要な各種データ、並びに、ＣＰＵ１５０１が実行するプログラムを格納している。ＲＡＭ１５０３は、ＣＰＵ１５０１のワークエリアや各種バッファとして機能する。操作部１５０４は、電源のＯＮ／ＯＦＦのスイッチ、撮像記録を指示するスイッチ、モード切換のスイッチ、更にはタッチパネルを含む。表示部１５０５は液晶等、フラットタイプのもので、各種メニューや撮像画像を表示する。操作部１５０４のタッチパネルは、この表示部１５０５の表示画面の前面に設けられる。よって、ユーザは表示画面に表示された各種メニュー項目を指でタッチすることで、該当する項目を選択できる。そして、これら操作部１５０４及び表示部１５０５が、ユーザインターフェースとして機能することになる。撮像部１５０６は、フォーカスレンズ、ズームレンズ等の光学レンズ１５０６ａ、結像した像を電気信号に変換する撮像素子１５０６ｂを含む。この撮像素子１５０６ｂは、ベイヤタイプのカラーフィルターアレイを有する。撮像素子１５０６ｂから得られた電気信号はＡ／Ｄ変換器１５０７にてデジタル画像データに変換される。Ａ／Ｄ変換器１５０７からのデジタル画像データは、ベイヤ配列のデータであり、且つ、各種画像処理を施す前のデータである。よって、以降、Ａ／Ｄ変換器１５０７で得られた直後の、ベイヤ配列のデジタル画像データをＲＡＷデータと呼ぶ。撮像制御部１５０８はＣＰＵ１５０１の制御下にて撮像部１５０６の光学レンズ１５０６ａのズームレンズやフォーカスレンズの位置調整を行う。画像処理部１５０９はホワイトバランス処理、ＲＡＷデータから表示部１５０５に表示するための１画素当たりＲＧＢの３成分への変換処理、更には、撮像したＲＡＷデータの圧縮符号化処理とその復号処理を行う。メモリカードインターフェース１５１０は、ＣＰＵ１５０１の制御下で、脱着可能なメモリカード（たとえばＳＤカード）１５１１への書き込み及び読出しを行う。

以上実施形態における撮像装置の基本構成を説明した。撮像時の撮像制御部１５０７によるフォーカシング処理、画像処理部１５０９におけるホワイトバランス処理や、表示のためのＲＡＷデータ→ＲＧＢデータへの変換処理等は、本発明の主眼ではないので説明は省略する。以下、操作部１５０４によって動画像の撮像記録が開始指示された場合の、画像処理部１５０９におけるＲＡＷデータの符号化について説明する。

図１は、画像処理部１５０９に含まれるＲＡＷデータ符号化部のブロック構成図である。このＲＡＷデータ符号化部は、ＲＡＷデータの変換法を判定する判定部１１１と、判定部１１１の判定結果に応じて符号化処理を実行する符号化部１１２とを有する。

判定部１１１は、フレームメモリ１０１、第１プレーン変換部１０２、第２プレーン変換部１０３、プレーン判定部１０４、色差変換部１０８、特徴抽出部１０９を有する。実施形態における判定部１１１が入力することになるＲＡＷデータは、既に説明したようにベイヤ配列の画像データである。

符号化部１０５は、ウェーブレット変換部１０５、量子化部１０６、エントロピー符号化部１０７、符号量制御部１１０、符号列生成部１１３を含む。また、実施形態における符号化部１０５は、ＪＰＥＧ２０００に準拠して符号化するものとするが、その符号化方式についても問わない。

以上、実施形態におけるＲＡＷデータ符号化部の構成について説明した。次に、ＲＡＷデータの符号化処理を、上記の各構成要素を用いて更に詳しく説明する。

フレームメモリ１０１には、Ａ／Ｄ変換器１５０７より得られたＲＡＷデータが撮像タイミングに従って順に格納されていく。そして、プレーン判定部１０４は、後述する特徴抽出部１０９による処理結果に基づき、フレームメモリ１０１に格納されたＲＡＷデータを、後述する第１プレーン群、第２プレーン群のいずれに変換すべきかを判定する。そして、プレーン判定部１０４は、その判定結果に従い、フレームメモリ１０１内のＲＡＷデータを、所定の符号化処理のタイミングで読み出し、第１プレーン変換部１０２、第２プレーン変換部１０３のいずれか一方に供給する。なお、プレーン判定部１０４における判定処理の詳細については後述する。このようにフレームメモリ１０１は、プレーン判定部１０４による読出しタイミングとなるまで、ＲＡＷデータを記憶保持するバッファとして機能することになる。

図３を参照して第１プレーン変換部１０２、第２プレーン変換部１０３を説明する。

第１プレーン変換部１０２は、ベイヤ配列のＲＡＷデータを、Ｒ成分のみで構成されるＲプレーン、Ｇ０成分のみで構成されるＧ０プレーン、Ｇ１成分のみで構成されるＧ１プレーン、そして、Ｂ成分のみで構成されるＢプレーンの計４プレーンに変換する。そして、第１プレーン変換部１０２は、Ｒプレーン、Ｇ０プレーン、Ｇ１プレーン、Ｂプレーンを、この順に符号化部１１２に供給する。先に説明した第１プレーン群は、ここで示したＲ、Ｇ０、Ｇ１、Ｂプレーンの総称である。

第２プレーン変換部１０３は内部にバッファメモリを有し、ＲＡＷデータ中のベイヤ配列の２×２画素であるＲ，Ｇ０，Ｇ１，Ｂの各値を、以下の式（１）に従い、近似的に１つの輝度Ｙと、３つの色差Ｃｏ，Ｃｇ，Ｄｇに変換し、バッファメモリに格納する。そして、第２プレーン変換部１０３は、この変換処理をＲＡＷデータの全画素に対して行う。この結果、第２プレーン変換部１０３のバッファメモリには、輝度Ｙのみで構成されるＹプレーン、色差Ｃｏのみで構成されるＣｏプレーン、色差Ｃｇのみで構成されるＣｇプレーン、色差Ｄｇのみで構成されるＤｇプレーンの計４プレーンが生成される。そして、第２プレーン変換部１０３は、生成したＹプレーン、Ｃｏプレーン、Ｃｇプレーン、Ｄｇプレーンを、この順に符号化部１１２に供給する。先に説明した第２プレーン群は、ここで示したＹ，Ｃｏ，Ｃｇ，Ｄｇのプレーンの総称である。

上記のように判定部１１１は、Ｒ、Ｇ０、Ｇ１、Ｂ、Ｙ、Ｃｏ、Ｃｇ、Ｄｇのいずれかのプレーンを１つずつ符号化部１１２に供給する。ただし、判定部１１１から符号化部１１１に連続して供給される４つのプレーンは、｛Ｒ，Ｇ０，Ｇ１，Ｂ｝、又は、｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝のいずれか一方である。そして、符号化部１１２は、入力したプレーンを、所謂モノクロ多値画像データであるものとして符号化することになる。説明を単純なものとするため、いずれのプレーンであるかを問わず、そのプレーンに含まれる個々のデータを便宜的に画素と呼ぶこととする。以下、実施形態における符号化部１１２の処理を説明する。

ウェーブレット変換部１０５は、ＲＡＷ画像入力部１１１から１つのプレーン（以下、着目プレーン）に対してウェーブレット変換処理を実行し、複数のサブバンドを生成する。そして、ウェーブレット変換部１０５は、生成された複数のサブバンドを量子化部１０６に供給する。

ここで、ウェーブレット変換部１０５のブロック構成図を図４に示す。同図は、ＪＰＥＧ２０００でも採用されている構成と同じであり、且つ、ウェーブレット変換を１回行うための構成を示している。図示の符号４００が、判定部１１１から入力した１プレーンであり、便宜的に「入力画像」と表現している。入力画像４００は、垂直ＬＰＦ（垂直ローパスフィルタ）４０１と垂直ＨＰＦ（垂直ハイパスフィルタ）４０２に供給される。垂直ＬＰＦ４０１は、入力画像４００中の垂直方向に並ぶ画素の低周波成分を通過させる。垂直ハイパスフィルタ４０２は入力画像中の垂直方向に並ぶ画素の高周波成分を通過させる。そして、垂直ＬＰＦ４０１及び垂直ＨＰＦ４０２を通して抽出されたデータそれぞれは、ダウンサンプリング回路４０３、４０４によって、垂直方向に２：１にダウンサンプリングされる。この結果、入力画像４００の垂直方向の解像度に対して１／２の解像度を持つ低周波成分のデータと高周波成分のデータが得られる。

ダウンサンプリング回路４０３より得られた垂直方向の低周波成分のデータは、水平ＬＰＦ４０５、水平ＨＰＦ４０６に供給される。水平ＬＰＦ４０５は、入力したデータから、水平方向に並ぶ低周波成分を通過させる。水平ＨＰＦ４０６は、入力したデータから、水平方向に並ぶ高周波成分を通過させる。水平ＬＰＦ４０５及び水平ＨＰＦ４０６で得られたデータは、ダウンサンプリング回路４０９、４１０を介して水平方向に２：１にダウンサンプリングされる。この結果、ダウンサンプリング回路４０９からは、入力画像４００に対し、水平及び垂直方向とも１／２の解像度のサブバンドＬＬを示す変換係数データが得られる。また、ダウンサンプリング回路４１０からは、入力画像４００に対し、水平及び垂直方向とも１／２の解像度のサブバンドＬＨを示す変換係数データが得られる。

ダウンサンプリング回路４０４より得られた垂直方向の高周波成分のデータは、水平ＬＰＦ４０７、水平ＨＰＦ４０８に供給される。水平ＬＰＦ４０７は、入力したデータから、水平方向に並ぶ低周波成分を通過させる。水平ＨＰＦ４０８は、入力したデータから、水平方向に並ぶ高周波成分を通過させる。水平ＬＰＦ４０７及び水平ＨＰＦ４０８で得られたデータは、ダウンサンプリング回路４１１、４１２を介して水平方向に２：１にダウンサンプリングされる。この結果、ダウンサンプリング回路４１１からは、入力画像４００に対し、水平及び垂直方向とも１／２の解像度のサブバンドＨＬを示す変換係数データが得られる。また、ダウンサンプリング回路４１２からは、入力画像４００に対し、水平及び垂直方向とも１／２の解像度のサブバンドＨＨを示す変換係数データが得られる。

図示の符号４１３は、ダウンサンプリング回路４０９乃至４１２から出力された変換係数データで構成されるサブバンドＬＬ、ＨＬ、ＬＨ，ＨＨを示している。ここで、サブバンドＬＬは、入力画像４００の水平、垂直とも低周波の変換係数データで構成されるものであり、入力画像４００の縮小画像と見ることができる。また、サブバンドＨＨ、ＨＬ、ＬＨに含まれる変換係数データは、その多くが十分に小さい値であり、高い符号化効率が期待できる。上記は、ウェーブレット変換を１回行う場合の説明である。２回以上のウェーブレット変換は、直前の変換で得られたサブバンドＬＬを再帰的に入力画像４００として用いることで実現できる。

符号量制御部１１０は、ユーザが操作部１５０４から設定した圧縮率に従い、各フレームおよび各プレーンに割り振る目標符号量を決定し、その決定した目標符号量を量子化部１０６に設定する。なお、ここで言うフレームとは、１枚のＲＡＷデータの画像を意味する。

量子化部１０６は、ウェーブレット変換部１０５から送られた変換係数データを、符号量制御部１１０から設定された目標符号量を基づいて決定した量子化パラメータを用いて量子化する。そして量子化部１０６は、量子化後の変換係数データをエントロピー符号化部１０７に供給する。なお、設定される目標符号量が少ないほど大きな量子化ステップを選択することになる。

エントロピー符号化部１０７は、量子化部１０６で量子化後の変換係数データを、サブバンドごとに、ＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）などのエントロピー符号化を施し、符号化データを生成する。

符号列生成部１１３は内部にバッファメモリを有する。また、符号列生成部１１３は、プレーン判定部１０４から制御信号を受信する。この制御信号は、フレームメモリ１０１からのＲＡＷデータの供給先として、第１プレーン変換部１０２、第２プレーン変換部１０３のいずれに供給したかを表す信号である。つまり、この制御信号は、エントロピー符号化部１０７が生成中の符号化データが、第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝に属するプレーンの符号化データであるか、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に属するプレーンの符号化データであるかを示す。符号列生成部１１３は、内部のバッファメモリに４プレーン分の符号化データが蓄積されたとき、プレーン判定部１０４からの制御信号に従った識別情報を含むヘッダを生成し、ＲＡＭ１５０３に予め確保された書き込みバッファに出力する。そしてプレーン判定部１０４は、そのヘッダに後続して４プレーン分の符号化データを所定の順番に、その書き込みバッファに出力する。ここで、識別情報は、ヘッダに後続する符号化データが第１プレーン群｛Ｒ，Ｇｏ，Ｇ１，Ｂ｝、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝のいずれであるかを示す情報である。

なお、書き込みバッファにある程度の符号化データが格納されるたびに、ＣＰＵ１５０１は、メモリカードＩ/Ｆ１５１０を制御し、書き込みバッファに蓄積されたデータのメモリカード１５１１への記録を行わせる。ただし、メモリカード１５１１への記録処理は、本発明の主眼ではないので、ここでの詳述は省略する。

次に、判定部１１１における、色差変換部１０８、特徴抽出部１０９、及び、プレーン判定部１０４の処理を説明する。プレーン判定部１０４は、色差変換部１０８、特徴抽出部１０９を経て得たデータに基づき、ＲＡＷデータの供給先として、第１プレーン変換部１０２、第２プレーン変換部１０３のいずれにするかを決定する。なお、プレーン判定部１０４は、この判定を行った際の信号を、先に説明した制御信号として符号列生成部１１３に出力する。

ＲＡＷデータを非可逆符号化する場合において、第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝の符号化と、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝の符号化とを比較したとき、後者の方が高い圧縮率が期待できる。しかし、後者の符号化が採用された場合、その復号画像に対して、強いカラーグレーディング等の処理を行うと、ユーザの意図しない色ノイズが発生する可能性がある。これに対し、前者の符号化を採用した場合、カラーグレーディング処理を行っても色ノイズの発生は無い、もしくは無視できる程度である。

そこで、本実施形態では、ユーザがカラーグレーディング等の画像処理を行えるツールを有していることを想定する。そして、そのツールを活用した場合に色ノイズが発生しやすい性質を持つＲＡＷデータについては、ＲＡＷデータを第１プレーン群に変換して符号化を行う。一方、色ノイズが発生し難い性質を持つＲＡＷデータについは、第２プレーン群に変換して符号化を行うことで、符号化効率を高める。そのため、ＲＡＷデータ（以下、着目ＲＡＷデータという）が上記性質を含んでいるか否かを判定もしくは推定する必要がある。以下、この判定に係る処理を説明する。

色差変換部１０８は、フレームメモリ１０１に格納することになる着目ＲＡＷデータから、先に示した式（１）に従い、色差成分Ｃｏ，Ｃｇ，Ｄｇを算出する。色差変換部１０８は、算出した色差成分Ｃｏ，Ｃｇ，Ｄｇを内部に設けられた不図示のバッファメモリに蓄積する。着目ＲＡＷデータの全画素についての色差成分の算出を終えたとき、内部バッファにはＣｏ，Ｃｇ，Ｄｇの各プレーンが格納されることになる。なお、Ｃｏ，Ｃｇ，Ｄｇに含まれる各データは式（１）に示すように色差データであるが、ここでも便宜的に画素、その値を画素値と表現する。

特徴抽出部１０９は、次式（２）に従い、色差変換部１０８が生成したＣｏプレーン、Ｃｇプレーン、Ｄｇプレーンの画素値の分散値ＶａｒＣｏ，ＶａｒＣｇ，ＶａｒＤｇを算出する。そして、特徴抽出部１０９は、算出した分散値ＶａｒＣｏ，ＶａｒＣｇ，ＶａｒＤｇを、着目ＲＡＷデータの特徴データとしてプレーン判定部１０４に供給する。

なお、式（２）において、ｎは各プレーンのデータの画素数を示し、ＡｖｅＣｏ、ＡｖｅＣｇ、ＡｖｅＤｇはＣｏ、Ｃｇ、Ｄｇプレーンそれぞれの画素値の平均値を示している。

プレーン判定部１０４は、特徴抽出部１０９から供給されたＶａｒＣｏ，ＶａｒＣｇ，ＶａｒＤｇに基づいて、着目ＲＡＷデータを第１プレーン群、第２プレーン群のいずれに変換すべきかを判定する。そして、プレーン判定部１０４は、着目ＲＡＷデータは第１プレーン群に変換すべきと判定した場合、その着目ＲＡＷデータを第１プレーン変換部１０２に供給する。また、プレーン判定部１０４は、着目ＲＡＷデータは第２プレーン群に変換すべきと判定した場合、その着目ＲＡＷデータを第２プレーン変換部１０２に供給する。

ここで分散ＶａｒＣｏに対応する閾値をＴｈＣｏ、分散ＶａｒＣｇに対応する閾値をＴｈＣｇ、分散ＶａｒＤｇに対応する閾値をＴｈＤｇと定義する。プレーン判定部１０４は、以下の条件を満たすか否かの条件判定を行う。この条件を満たす場合、プレーン判定部１０４は、着目ＲＡＷデータが第２プレーン群への変換には適さないと判定し、着目ＲＡＷデータを第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝に変換するとして決定する。
ＶａｒＣｏ＞ＴｈＣｏ、又は、
ＶａｒＣｇ＞ＴｈＣｇ、又は、
ＶａｒＤｇ＞ＴｈＤｇ
一方、上記条件を満たさない場合、プレーン判定部１０４は着目ＲＡＷデータを第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に変換すると決定する。

このように色差の分散値が大きく、符号化した際に色差の発生符号量、振幅が大きくなる場合には、第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝への変換を選択し、各色成分の歪みを均等に保つことで色ノイズの発生を抑える。一方、各色差の分散値が十分に小さい場合には、色ノイズの発生が低いことになるので、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝への変換を選択する。この結果、Ｙプレーンに多くの符号量を割り振ることで、高い画質を維持しつつ、符号化データ量の抑制も可能となる。

図１６（ａ）は、上記符号化処理を経て、ＣＰＵ１５０１がメモリカードＩ/Ｆ１５１０を介して処理でメモリカード１５１１に書き込んだ動画像データファイルの構造を示している。ファイルヘッダには、ＲＡＷデータの水平、垂直方向の画素数、各画素が何ビットであるかを示す情報など、復号の際に各フレームに共通な情報が格納される。また、プレーンヘッダには、後続するプレーンが第１プレーン群の符号化データであるか、第２プレーン群の符号化データであるかを示す情報が格納される。

なお、上記実施形態によれば、色変換部１０８が色差Ｃｏ，Ｃｇ，Ｄｇを算出し、それぞれのプレーンを生成している。従って、第２プレーン変換部１０３はＹプレーンのみを生成することとし、他のＣｏ，Ｃｇ，Ｄｇプレーンは色差変換部１０８で生成したものを再利用するようにしても良い。

また、通常、撮像装置で動画像を記録する場合には、撮影中の画角はさして変動しないことも多い。そこで、上記のプレーン判定部１０４は、動画像の最初のフレームのＲＡＷデータに対して判定を行い、２番目以降のフレームのＲＡＷデータは最初のフレームで決定したプレーン群へ変更するようにしても良い。この場合の、動画像ファイルヘッダには、最初のフレームが第１プレーン群、第２プレーン群のいずれに変換したのかを示す情報を格納すれば良い。

また、上記実施形態では、動画像を符号化する例を説明したが、静止画を記録する場合にも適用しても良い。この場合の静止画データファイルのデータ構造は図１６（ｂ）のようになる。ペイロード部の符号化データが第１プレーン群、第２プレーン群のいずれの符号化データであるかは、ファイルヘッダに格納されることになる。

また、上記実施形態では、プレーン判定部１０４が参照する特徴データとして、色差Ｃｏ，Ｃｇ，Ｄｇの３つの分散値としたがが、色差Ｃｏ、Ｃｇのみの分散値としてもよい。Ｄｇの分散値の演算量が減るメリットがある。また、並びに、Ｄｇは、Ｇ０とＧ１の差分であり、色差としての性質よりＧ成分の斜め方向のエッジとしての性質が大きく、色ノイズ発生への影響が比較的小さいため、判定に与える影響も小さい。なお、Ｄｇ成分を判定要素に入れるか否かを、ユーザが操作部１５０４より適宜選択可能としても構わない。

上記第１の実施形態では、プレーン判定部１０４が、ＲＡＷデータを第１プレーン変換部１０２、第２プレーン変換部１０３のいずれに供給すべきかを判定した。つまり、プレーン判定部１０４は、いずれの変換部を利用するかを決定した。

代替として、第１プレーン変換部１０２、第２プレーン変換部１０３がそれぞれバッファメモリを有するようにする。そして第１プレーン変換部１０２、第２プレーン変換部１０３が同時に同じＲＡＷデータから４プレーンへの変換を行う。プレーン判定部１０４は、いずれかで生成したプレーン群を、符号化部１１２に供給するようにしてもよい。

また、上記第１の実施形態では、色差変換部１０８は色差Ｃｏ，Ｃｇ，Ｄｇのプレーンを生成している。従って、第２プレーン変換部１０３は輝度Ｙプレーンのみを生成し、色差Ｃｏ，Ｃｇ，Ｄｇについては色差変換部１０８を利用しても良い。場合によっては、色差変換部１０８と第２プレーン変換部を共通化しても構わない。

また、上記実施形態では、符号量制御部１１０が、量子化部１０６に各プレーンの目標符号量を設定することで生成される符号量の調整を行うものとした。しかし、これによって本発明は限定されない。ＪＰＥＧ２０００では、量子化で得られた変換係数を、同じビット位置で構成されるビットプレーンを２値データと見なし、各ビットプレーンを単位にエントロピー符号化部（算術符号化）１０７が符号化することが可能である。今、或る着目色成分のプレーンのビットｉのビットプレーンの符号化データをＣｉと表現し、その符号量をＡ（Ｃｉ）と表すとする。このとき、符号化データの総符号量Ｃ_totalは、
Ｃ_total＝ΣＡ（Ｃｉ） （ｉ＝０，１，２、…、ＭＳＢ）
である。従って、着目色成分プレーンの目標符号量をＡ_Targetとするなら、次式を満たすｋの最小値を求める。
Ｃ_Target≧Ｃ_total−ΣＡ（Ｃｋ）
そして、ビット０からビットｋまでのビットプレーンの符号化データを破棄すれば良い。以下に説明する各実施形態でも、上記第１の実施形態と同様に量子化パラメータで符号量を調整するものとして説明するが、ＪＰＥＧ２０００を採用することのメリットを生かしてビットプレーンの破棄処理によって符号量調整を行うようにしても良い。

［第１の実施形態に対応する変形例］
上記第１の実施形態で説明した処理を、パーソナルコンピュータなどの汎用の情報処理装置で実行するアプリケーションプログラムで実現する例を、第１の実施形態の変形例として以下に説明する。

図１７は、本変形例における情報処理装置のブロック構成図である。本装置の電源がＯＮになると、ＣＰＵ１７０１はＲＯＭ１７０２に格納されたブートプログラムに従って処理を開始し、ＨＤＤ（ハードディスクドライブ）１７０４からＯＳ（オペレーティングシステム）をＲＡＭ１７０３にロードする。この結果、ＣＰＵ１７０１は、キーボード１７０９、マウス１７０１を介してユーザからの指示の受け付けと、表示制御部１７１１を制御した表示装置１７１２へのメニュー等の表示が可能となる。つまり、本装置がユーザが利用する情報処理装置として機能する。そして、ユーザがマウス１７１０等からアプリケーションプログラム１７０６の起動を指示すると、ＣＰＵ１７０１はそのアプリケーションプログラム１７０６をＲＡＭ１７０２にロードし、実行する。この結果、本装置が画像符号化装置として機能することになる。

図５は、このアプリケーションプログラム１７１０を実行した際のＣＰＵ１７０１の処理手順を示すフローチャートである。なお、ここでは、ＨＤＤ１７０４に格納されたＲＡＷデータファイル１７０７に含まれる未符号化ＲＡＷデータを符号化し、符号化ファイル１７０８として生成する例を説明する。なお、符号化結果の出力先はＨＤＤ１７０４ではなく、ネットワーク上のストレージでも構わない。この場合、符号化データはネットワークインターフェース１７１３を介して送信されることになる。

まず、ＣＰＵ１７０１はステップＳ５０１にて、ＲＡＷデータファイル１７０７内の全ＲＡＷデータに対する符号化処理を終えたか否かを判定する。否の場合、ＣＰＵ１７０１は、ステップＳ５０２にて、ＲＡＷデータファイル１７０７から、１フレーム分のＲＡＷデータを入力し、ＲＡＭ１７０３に格納する。そして、ＣＰＵ１７０４はステップＳ５０３にて、ＲＡＭ１７０３に格納されたＲＡＷデータを参照して、式（１）に従って色差Ｃｏ，Ｃｇ，Ｄｇを算出する。ＣＰＵ１７０４は、算出した色差Ｃｏ，Ｃｇ、Ｄｇを、ＲＡＭ１７０３上に確保したＣｏ，Ｃｇ，Ｄｇの各プレーンの格納領域に格納する。この処理をＲＡＷデータの全画素について実行することで、Ｃｏ，Ｃｇ，Ｄｇの各プレーンがＲＡＭ１７０３に格納される。ＣＰＵ１７０１は、ステップＳ５０４にて、各プレーンの分散値ＶａｒＣｏ，ＶａｒＣｇ，ＶａｒＤｇを算出する。この算出は式（２）で示した通りである。

次に、ＣＰＵ１７０１はステップＳ５０５にて、次の条件を満たすか否かを判定する。ＶａｒＣｏ＞ＴｈＣｏ、又は、
ＶａｒＣｇ＞ＴｈＣｇ、又は、
ＶａｒＤｇ＞ＴｈＤｇ
ＣＰＵ１７０１は、上記条件を満たさない場合には、着目ＲＡＷデータを第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に変換してから符号化するものとして決定する。Ｃｏ，Ｃｇ，Ｄｇプレーンは既にＲＡＭ１７０３に生成されている。それ故、ＣＰＵ１７０１は、ステップＳ５０６にて、Ｙプレーンへの変換のみを行い、得られたＹプレーンをＲＡＭ１７０３に格納する。そして、ＣＰＵ１７０１は、ステップＳ５０７にて、まず、｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝の各プレーンの符号化データであることを表す識別情報を含むプレーンヘッダを符号化ファイル１７０８に追記する。そして、ＣＰＵ１７０１は、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝の各プレーンをモノクロ多値画像としてＪＰＥＧ２０００に従って順に符号化し、その符号化データを符号化ファイル１７０８に追記する。なお、ＪＰＥＧ２０００の符号化処理は公知であるので、その説明は省略する。

一方、先に説明した条件を満たす場合、ＣＰＵ１７０１は、着目ＲＡＷデータを第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝に変換してから符号化するものと決定する。そこで、ＣＰＵ１７０１は、ステップＳ５０８にて、着目ＲＡＷデータから第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝の各プレーンをＲＡＭ上に生成する。そして、ステップＳ５０９にて、ＣＰＵ１７０１は、第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝の符号化データであることを表す識別情報を含むプレーンヘッダを符号化ファイル１７０８に追記する。そして、ＣＰＵ１７０１は、第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝の各プレーンをモノクロ多値画像としてＪＰＥＧ２０００に従って順に順番に符号化し、その符号化データを符号化ファイル１７０８に追記する。

以上の説明のように、コンピュータプログラムをコンピュータに実行させることでも、先に説明した第１の実施形態と等価の効果が得るＲＡＷ画像の符号化ファイルを生成することが可能となる。なお、第１の実施形態と同様に、ステップＳ５０５における「ＶａｒＤｇ＞ＴｈＤｇ」の条件から除外しても良い。

［第２の実施形態］
第２の実施形態を以下に説明する。本第２の実施形態も、第１の実施形態と同様に撮像装置に適用した例を説明する。撮像装置の構成は、第１の実施形態と同様、図１５と同じである。よって、本第２の実施形態も画像処理部１５０９におけるＲＡＷデータ符号化部を説明する。図６は、第２の実施形態であるＲＡＷデータ符号化部のブロック構成図である。

第２の実施形態におけるＲＡＷデータ符号化部は、第１の実施形態のそれとほぼ同様の構成である。ただし、第１の実施形態で存在していたフレームメモリ１０１、色差変換部１０８、特徴抽出部１０９は削除した。その代わり、第２の実施形態では演算部６０８を新設した。第２の実施形態でも、符号化対象として時系列に入力されるＲＡＷデータで構成される動画像を符号化する例を説明する。なお、図６において、図１と同じ参照符号を付した構成は同じ機能をもつものとし、その説明は省略する。

以下、第２の実施形態におけるプレーン判定部６０４の処理を、図７のフローチャートに従って説明すると共に、演算部６０８の機能も併せて説明する。

動画記録開始が操作部１５０４から指示されると、プレーン判定部６０４は、入力したＲＡＷデータが、動画像記録の最初のフレームであるか否かを判定する（ステップＳ７０１）。最初のフレームであると判定した場合、入力したＲＡＷデータを第２プレーン変換部１０３に供給する（ステップＳ７０２）。この結果、第２プレーン変換部１０３は、ＲＡＷデータから第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝の各プレーンを生成することになる。また、このとき、プレーン判定部６０４は、第２プレーン群を選択したことを示す制御信号を符号列生成部１１３に供給する。そして、プレーン判定部６０４は、演算部６０８に対してアクティブする制御信号を出力する（ステップＳ７０３）。

上記の結果、最初のＲＡＷデータについては、判定部１１１から符号化部１１２へ第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝のプレーンが順に提供される。ウェーブレット変換部１０５は、Ｙプレーン、Ｃｏプレーン、Ｃｇプレーン，Ｄｇプレーンの順にウェーブレット変換を行い、プレーンごとに、サブバンＬＬ，ＨＬ，ＬＨ，ＨＨの係数データを量子化部１０６に供給する。この後の符号化処理は第１の実施形態で説明した通りである。

先に説明したように動画像の最初のＲＡＷデータの符号化を行うとき、演算部６０８はアクティブに設定される。演算部６０８は、動画像記録の最初のＲＡＷデータのＹプレーンを除く、Ｃｏプレーン、Ｃｇプレーン、Ｄｇプレーンのウェーブレット変換で得られたサブバンドの変換係数データを用いた演算を行う。具体的には、演算部６０８はＣｏプレーンのウェーブレット変換で得られた、高周波成分を含むサブバンドＨＬ，ＬＨ，ＨＨの変換係数データの絶対値を累積加算していき、絶対和Ｗｈ＿ｓｕｍＣｏとして算出する。また、演算部６０８は、Ｃｇプレーンのウェーブレット変換で得られた、高周波成分を含むサブバンドＨＬ，ＬＨ，ＨＨの変換係数データの絶対値和をＷｈ＿ｓｕｍＣｇとして算出する。そして、演算部６０８は、Ｄｇプレーンのウェーブレット変換で得られた、高周波成分を含むサブバンドＨＬ，ＬＨ，ＨＨの変換係数データの絶対値和をＷｈ＿ｓｕｍＤｇとして算出する。これら絶対値和Ｗｈ＿ｓｕｍＣｏ、Ｗｈ＿ｓｕｍＣｇ、Ｗｈ＿ｓｕｍＤｇは、動画像記録の開始から２番目以降のＲＡＷデータを、第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝のいずれに変換するかを決定するパラメータとして利用される。そのため、演算部６０８は算出した絶対値和Ｗｈ＿ｓｕｍＣｏ、Ｗｈ＿ｓｕｍＣｇ、Ｗｈ＿ｓｕｍＤｇをプレーン判定部６０４に供給する。

図７のフローチャートの説明に戻る。プレーン判定部６０４は入力したＲＡＷデータが、動画像記録を開始してから２番目以降のフレームであると判定した場合、処理をステップＳ７０４に進める。このステップＳ７０４では、演算部６０８から供給された絶対値和Ｗｈ＿ｓｕｍＣｏ、Ｗｈ＿ｓｕｍＣｇ、Ｗｈ＿ｓｕｍＤｇを参照し、２番目以降のフレームのＲＡＷデータに対する変換法を決定する。

具体的には、プレーン判定部６０４は、色差ごとに予め用意した閾値ＴｈｗｈＣｏ．ＴｈｗｈＣｇ、ＴｈｗｈＤｇを用いて次の条件を満たすか否かを判定する。
Ｗｈ＿ｓｕｍＣｏ＞ＴｈｗｈＣｏ、又は、
Ｗｈ＿ｓｕｍＣｇ＞ＴｈｗｈＣｇ、又は、
Ｗｈ＿ｓｕｍＤｇ＞ＴｈｗｈＤｇ

上記条件を満たす場合、プレーン判定部６０４は、２番目以降のフレームのＲＡＷデータは、第１プレーン変換部１０２が変換処理するように設定する（ステップＳ７０５）。この結果、２番目以降のＲＡＷデータについては、動画記録が終了するまで、第１プレーン変換部１０２で生成された第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝に対するＪＰＥＧ２０００の符号化が行われることになる。

また、上記条件を満たさない場合、プレーン判定部６０４は、２番目以降のフレームのＲＡＷデータは、第２プレーン変換部１０３が変換処理するように設定する（ステップＳ７０６）。この結果、２番目以降のＲＡＷデータについては、動画記録が終了するまで、第２プレーン変換部１０３で生成された第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に対するＪＰＥＧ２０００の符号化が行われることになる。

なお、２番目以降のフレームの符号化処理では、演算部６０８は機能はしなくて良い。それ故、プレーン判定部６０４は、上記絶対値和を演算部６０８から取得した場合、演算部６０８をインアクティブに設定するようにしても良い。

色差Ｃｏ，Ｃｇ，Ｄｇの各プレーンのウェーブレット変換の高周波成分を含むサブバンドの変換係数が大きい場合、色ノイズが発生する可能性が高い。そのため、上記のように、色ノイズが発生する可能性が高いＲＡＷデータについては、第１プレーン群｛Ｒ．Ｇ０，Ｇ１，Ｂ｝への変換することとし、色ノイズの発生を抑えた符号化データを生成することができる。逆に言えば、色ノイズが発生する可能性が無い、もしくは無視できる場合には、ＲＡＷデータを第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝へ変換することとし、解像感を高めつつ、符号化効率を上げることが可能になる。

なお、上記第２の実施形態によれば、先に説明した第１の実施形態と異なり、記録開始が指示された際の最初のフレームのＲＡＷデータの特徴を用いて変換法を決定した。それ故、時間が経過するにつれて、変換法の判定の精度が次第に落ちる可能性がある。しかしながら、フレームメモリを必要とせず、第１の実施形態ほど、メモリアクセスが発生しないため、フレームレートの高い動画であってもリアルタイム処理を実現することが容易になる。

また、第２の実施形態によれば、動画像の記録の最初のフレームでは、第２プレーン群｛Ｙ、Ｃｏ，Ｃｇ，Ｄｇ｝に変換して符号化が行われ、動画像記録の２番目から最後のフレームまでは上記の条件に従った分類法が採用される。しかし、所定の時間間隔で、ＲＡＷデータの再評価を行うようにしても良い。この場合、その所定時間経過する度に、プレーン判定部１０４は演算部６０８をアクティブにし、上記判定処理を行えばよい。この結果、動画像記録中に、ユーザがパン、チルト操作、ズーミング操作等を行って、被写体が変化した場合であっても、その被写体の変化に追従したプレーン群への変換法が決定できる。なお、先に説明したように、第１の実施形態の変形例と同様、上記第２の実施形態の符号化処理をコンピュータプログラムで実現させても構わない。

［第３の実施形態］
第３の実施形態を以下に説明する。本第３の実施形態も、第１の実施形態と同様に撮像装置に適用した例を説明する。本第３の実施形態におけるＲＡＷデータ符号化部の構成は、第２の実施形態の図６と同じである。ただし、本第３の実施形態におけるプレーン判定部６０４の判定処理、演算部６０８の演算処理は、第２の実施形態のそれと異なる。また、本第３の実施形態におけるウェーブレット変換部１０５は、入力したプレーンに対して２回ウェーブレット変換を行うものとする。

以下、図９のフローチャートに従って第３の実施形態におけるプレーン判定部６０４の処理と、第２の実施形態との差を説明する。

動画記録開始が操作部１５０４から指示されると、ＲＡＷデータが判定部１１１に供給される。判定部１１１内のプレーン判定部６０４は、入力したＲＡＷデータが、動画像記録の最初のフレームであるか否かを判定する（ステップＳ９０１）。最初のフレームであると判定した場合、入力したＲＡＷデータを第２プレーン変換部１０３に供給し、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝の各プレーンを生成させる（ステップＳ７０２）。また、このとき、プレーン判定部６０４は、第２プレーン群を選択したことを示す制御信号を符号列生成部１１３に供給する。そして、プレーン判定部６０４は、演算部６０８に対してアクティブする制御信号を出力する（ステップＳ７０３）。

先に説明したようにウェーブレット変換部１０５は着目プレーン（Ｒ，Ｇ０，Ｇ１，Ｂ，Ｙ，Ｃｏ，Ｃｇ，Ｄｇのいずれかのプレーン）に対してウェーブレット変換を２回実行する。ウェーブレット変換を２回行うことで１つのフレームから、ＬＬ２、ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ１，ＬＨ１，ＨＨ１の計７つのサブバンドが生成される。サブバンドの個数は増える点を除き、量子化部１０６、エントロピー符号化部１０７、符号列生成部１１３による符号化データの生成に至る処理は第２の実施形態と同じであるので、その説明は省略する。

本第３の実施形態における演算部６０８は、最初のフレームのＲＡＷデータから得られたＣｏ，Ｃｇ，Ｄｇプレーンそれぞれの、ＬＬサブバンドを除く、高周波成分を含むサブバンドを演算対象とする。

図１０は、ウェ−ブレット変換を２回実行した場合のＣｏプレーン、Ｃｇプレーン、Ｄｇプレーンのウェ−ブレット変換後のサブバンドを示している。なお、ここで、Ｌ、Ｈの後についている数字は、階層レベルを示している。従って、例えばＬＬ２は、水平方向、垂直方向ともに低周波領域の階層レベル２のサブバンドであることを示す。

演算部６０８は、図１０に示すように、動画像記録を開始してから最初のフレームのＲＡＷデータの符号化時に、色差プレーン毎に、サブバンドＬＬ２以外のサブバンドＨＬ２，ＬＨ２、ＨＨ２，ＨＬ１，ＬＨ１，ＨＨ１の変換係数データの絶対値和を演算する。

ここで、Ｃｏプレーンの階層レベル１のサブバンドＨＨ１における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｏＨＨ１とする。Ｃｏプレーンの階層レベル１のサブバンドＨＬ１における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｏＨＬ１とする。Ｃｏプレーンの階層レベル１のサブバンドＬＨ１における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｏＬＨ１とする。Ｃｏプレーンの階層レベル２のサブバンドＨＨ２における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｏＨＨ２とする。Ｃｏプレーンの階層レベル２のサブ場バンドＨＬ２における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｏＨＬ２とする。Ｃｏプレーンの階層レベル２のサブバンドＬＨ２における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｏＬＨ２とする。

同様に、Ｃｇプレーンの階層レベル１のサブバンドＨＨ１における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｇＨＨ１とする。Ｃｇプレーンの階層レベル１のサブバンドＨＬ１における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｇＨＬ１とする。Ｃｇプレーンの階層レベル１のサブバンドＬＨ１における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｇＬＨ１とする。Ｃｇプレーンの階層レベル２のサブバンドＨＨ２における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｇＨＨ２とする。Ｃｇプレーンの階層レベル２のサブ場バンドＨＬ２における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｇＨＬ２とする。Ｃｇプレーンの階層レベル２のサブバンドＬＨ２における変換係数データの絶対値和をＷｈ＿ｓｕｍＣｇＬＨ２とする。

同様に、Ｄｇプレーンの階層レベル１のサブバンドＨＨ１における変換係数データの絶対値和をＷｈ＿ｓｕｍＤｇＨＨ１とする。Ｄｇプレーンの階層レベル１のサブバンドＨＬ１における変換係数データの絶対値和をＷｈ＿ｓｕｍＤｇＨＬ１とする。Ｄｇプレーンの階層レベル１のサブバンドＬＨ１における変換係数データの絶対値和をＷｈ＿ｓｕｍＤｇＬＨ１とする。Ｄｇプレーンの階層レベル２のサブバンドＨＨ２における変換係数データの絶対値和をＷｈ＿ｓｕｍＤｇＨＨ２とする。Ｄｇプレーンの階層レベル２のサブ場バンドＨＬ２における変換係数データの絶対値和をＷｈ＿ｓｕｍＤｇＨＬ２とする。Ｄｇプレーンの階層レベル２のサブバンドＬＨ２における変換係数データの絶対値和をＷｈ＿ｓｕｍＤｇＬＨ２とする。

図９のフローチャートの説明に戻る。プレーン判定部６０４は、入力したＲＡＷデータが、動画像記録を開始してから２フレーム目以降であると判定した場合、処理をステップＳ９０４に進める。このステップＳ９０４にて、プレーン判定部６０４は、演算部６０８が最初のフレームの符号化時に算出したサブバンドの絶対値和（図１０参照）を参照する。そして、プレーン判定部６０４は、次式（３）に従い、各色差毎の評価値Ｗｈ＿ｓｕｍＣｏ、Ｗｈ＿ｓｕｍＣｇ，Ｗｈ＿ｓｕｍＤｇを算出する。
Wh_sumCo=α1×Wh_sumCoHH1+β1×Wh_sumCoHL1+γ1×Wh_sumCoLH1
+α2×Wh_sumCoHH2+β2×Wh_sumCoHL2+γ2×Wh_sumCoLH2
Wh_sumCg=ａ1×Wh_sumCgHH1+ｂ1×Wh_sumCgHL1+ｃ1×Wh_sumCgLH1
+ａ2×Wh_sumCgHH2+ｂ2×Wh_sumCgHL2+ｃ2×Wh_sumCgLH2
Wh_sumDg=ｘ1×Wh_sumDgHH1+ｙ1×Wh_sumDgHL1+ｚ1×Wh_sumDgLH1
+ｘ2×Wh_sumDgHH2+ｙ2×Wh_sumDgHL2+ｚ2×Wh_sumDgLH2 …（３）
式中、α１、α２、β１、β２、γ１、γ２、ａ１、ａ２、ｂ１、ｂ２、ｃ１、ｃ２、ｘ１、ｘ２、ｙ１、ｙ２、ｚ１、ｚ２は予め設定された重み係数である。また、これら重み係数の関係は次の通りである。
α１＜β１≒γ１、α２＜β２≒γ２、α１＜α２、β１＜β２、γ１＜γ２、
ａ１＜ｂ１≒ｃ１、ａ２＜ｂ２≒ｃ２、ａ１＜ａ２、ｂ１＜ｂ２、ｃ１＜ｃ２、
ｘ１＜ｙ１≒ｚ１、ｘ２＜ｙ２≒ｚ２、ｘ１＜ｘ２、ｙ１＜ｙ２、ｚ１＜ｚ２
上記のように、サブバンドＨＬ、ＬＨに対する重み係数は、サブバンドＨＨのそれより大きい。この理由は、サブバンドＨＬ、ＬＨは、各々垂直エッジ、水平エッジの性質を強く反映しているため、色ノイズに限らず、視覚的な画質劣化がより目立ち易くなるためである。同様に、階層レベルが小さいほうの重みを小さくしているのも、階層レベルが高いところで量子化を実施するほど、色ノイズに限定されず画質劣化が目立つためである。

プレーン判定部６０４は、評価値Ｗｈ＿ｓｕｍＣｏ、Ｗｈ＿ｓｕｍＣｇ、Ｗｈ＿ｓｕｍＤｇを演算したら、処理をステップＳ９０５に進める。このステップＳ９０５にて、プレーン判定部６０４は、各々の評価値に対して予め設定された閾値ＴｈｗｈＣｏ、ＴｈｗｈＣｇ、ＴｈｗｈＤｇを用いて、次に示す条件を満たすか否かを判定する（ステップＳ９０５）。
Ｗｈ＿ｓｕｍＣｏ＞ＷｈｗｈＣｏ、又は
Ｗｈ＿ｓｕｍＣｇ＞ＷｈｗｈＣｇ、又は
Ｗｈ＿ｓｕｍＤｇ＞ＷｈｗｇＤｇ

上記条件を満たす場合、プレーン判定部６０４は、２番目以降のフレームのＲＡＷデータは、第１プレーン変換部１０２が変換処理するように設定する（ステップＳ９０６）。この結果、２番目以降のフレームのＲＡＷデータについては、動画記録が終了するまで、第１プレーン変換部１０２で生成された第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝に対するＪＰＥＧ２０００の符号化が行われることになる。

また、上記条件を満たさない場合、プレーン判定部６０４は、２番目以降のフレームのＲＡＷデータは、第２プレーン変換部１０３が変換処理するように設定する（ステップＳ９０７）。この結果、２番目以降のＲＡＷデータについては、動画記録が終了するまで、第２プレーン変換部１０３で生成された第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に対するＪＰＥＧ２０００の符号化が行われることになる。

このように階層レベル、周波数領域に応じてウェーブレット係数絶対値総和に対して重みを付けることでより、ＲＡＷデータの第１プレーン群、第２プレーン群のいずれかに変換するかの判定精度を高めることが可能となる。

また、第３の実施形態によれば、動画像の記録の最初のフレームでは、第２プレーン群｛Ｙ、Ｃｏ，Ｃｇ，Ｄｇ｝に変換して符号化が行われ、２番目以降で動画像記録の最後のフレームまでは上記の条件に従った分類法が採用される。しかし、第２の実施形態で説明したように、所定の時間間隔で、ＲＡＷデータの再評価を行うようにしても良い。この場合、その所定時間経過する度に、プレーン判定部１０４は演算部６０８をアクティブにし、上記判定処理を行えばよい。この結果、動画像記録中に、ユーザがパン、チルト操作を行って、被写体が変化した場合であっても、その被写体の変化に追従したプレーン群への変換法が決定できる。

なお、上記例ではウェーブレット変換を２回行う例であったが、３回でも良く、その回数はいくつでも構わない。また、先に説明したように、第１の実施形態の変形例と同様、上記第３の実施形態の符号化処理をコンピュータプログラムで実現させても構わない。

［第４の実施形態］
第４の実施形態を説明する。本第４の実施形態も、第１の実施形態と同様に撮像装置に適用した例を説明する。撮像装置の構成は、第１の実施形態と同様、図１５と同じである。よって、本第２の実施形態も画像処理部１５０９におけるＲＡＷデータ符号化部を説明する。

図１１は、第４の実施形態のＲＡＷデータ符号化部のブロック構成図である。本第４の実施形態の、既に説明した第２の実施形態との相違は、プレーン判定部１１０４の処理内容と、圧縮率設定部１１０１を設けた点である。

圧縮率設定部１１０１は、ユーザーによる操作部１５０４からの指定したＲＡＷデータの圧縮率をプレーン判定部１１０４および符号量制御部１１０に送信するものとする。以下、図１２のフローチャートに従って、本第４の実施形態におけるプレーン判定部１１０４の処理を説明する。

動画像記録の開始指示を受けると、プレーン判定部１１０４は、ステップＳ１２０２にて圧縮率設定部１１０１より設定された圧縮率と、予め設定された閾値とを比較する。圧縮率が閾値より大きい場合、ユーザは符号化データファイルのサイズを小さくすることを望んでいることになる。それ故、プレーン判定部６０４は、ＲＡＷデータを第２プレーン変換部１０３が変換処理するように設定する（ステップＳ１２０３）。この結果、動画像の記録が終了するまで、第２プレーン変換部１０３で生成された第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に対するＪＰＥＧ２０００の符号化が行われることになる。

一方、圧縮率が閾値以下であった場合、ユーザは色ノイズの発生の回避を重視していると見なす。それ故、プレーン判定部６０４は、ＲＡＷデータを第１プレーン変換部１０２が変換処理するように設定する（ステップＳ１２０４）。この結果、動画像の記録が終了するまで、第１プレーン変換部１０２で生成された第２プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝に対するＪＰＥＧ２０００の符号化が行われることになる。

以上のように、本第４の実施形態によれば、ユーザが圧縮率が低くても画質が良いことを望んでいる場合には、ＲＡＷデータを第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝への変換して符号化する。この結果、ユーザーが復号処理を経て現像後、カラーグレーディングする際の影響を少なくすることができる。一方、極端なカラーグレーディングを掛けることをしないユーザの場合には、圧縮率が高く設定できるので、解像感の低下による画質劣化を少なくしつつ、且つ、符号化ファイルのサイズも小さくできる。また、第４の実施形態では、記録対象は動画、静止画のいずれであっても構わない。また上記第４の実施形態の符号化処理をコンピュータプログラムで実現させても構わない。

［第５の実施形態］
第５の実施形態を説明する。本第５の実施形態も、第１の実施形態と同様に撮像装置に適用した例を説明する。撮像装置の構成は、第１の実施形態と同様、図１５と同じである。よって、この第５の実施形態でも画像処理部１５０９におけるＲＡＷデータ符号化部を説明する。

図１３は第５の実施形態におけるＲＡＷデータ符号化部のブロック構成図である。第４の実施形態と異なる点は、プレーン判定部１３０４の判定処理と、被写界深度設定部１３０１が設けられた点である。また、これまで説明した実施形態における同じ参照符号で示される構成要素については特に説明しない。なお、第５の実施形態においても、第４の実施形態４と同様に、符号化対象を動画あるいは静止画（含む連写）であっても構わない。

被写界深度設定部１３０１は、ユーザによる操作部１５０４に対する操作に従って撮像部１５０６に設定されたズーム倍率、絞り等によって決定されるＦ値を、プレーン判定部１３０４に設定するものとする。被写界深度が浅く背景がぼける場合には、符号化対象となるＲＡＷ画像データの多くの箇所で色差に限らず振幅が小さくなる。そのため、色ノイズは発生しない、もしくは発生したとしても無視できる程度に小さい。よって、被写界深度が浅い場合には、ＲＡＷデータを第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に変換して符号化する。一方、被写界深度が深い場合、色差の振幅が大きくなる可能性がある。そのため、ＲＡＷデータは第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝に変換してから符号化することとする。以下、図１４のフローチャートに従って、本第５の実施形態におけるプレーン判定部１３０４の処理を説明する。

動画像記録の開始指示を受けると、プレーン判定部１３０４は、ステップＳ１４０２にて被写界深度設定部１３０１より設定されたＦ値と、予め設定された閾値とを比較する。Ｆ値が閾値より大きい場合、プレーン判定部１３０４は、ＲＡＷデータを第１プレーン変換部１０２が変換処理するように設定する（ステップＳ１４０３）。この結果、動画像の記録が終了するまで、第１プレーン変換部１０２で生成された第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝に対するＪＰＥＧ２０００の符号化が行われることになる。一方、Ｆ値が閾値以下の場合、プレーン判定部１３０４は、ＲＡＷデータを第２プレーン変換部１０３が変換処理するように設定する（ステップＳ１４０３４。この結果、動画像の記録が終了するまで、第２プレーン変換部１０３で生成された第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に対するＪＰＥＧ２０００の符号化が行われることになる。

以上の結果、本第５の実施形態によれば、ユーザが設定した撮像する際の被写界深度に影響がある操作をした場合、ユーザは格別意識することなしに、撮像画像に適した符号化を行うことが可能になる。また上記第５の実施形態の符号化処理をコンピュータプログラムで実現させても構わない。

［第６の実施形態］
上記第１乃至第５の実施形態では、ベイヤ配列のＲＡＷデータを符号化する際に、ＲＡＷデータを第１プレーン群｛Ｒ，Ｇ０，Ｇ１，Ｂ｝、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝のいずれに変換するかを決定し、符号化するものであった。

本第６の実施形態以降では、ＲＡＷデータを第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に変換し符号化する例を説明する。また、本第６の実施形態では、色差Ｃｏ，Ｃｇ，Ｄｈプレーンを解析することで、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝の各プレーンに割り当てる符号量を決定し、画質劣化と符号量の増大の抑制を行う。本第６の実施形態も、第１の実施形態と同様に撮像装置に適用した例を説明する。撮像装置の構成は、第１の実施形態と同様、図１５と同じである。よって、本第２の実施形態も画像処理部１５０９におけるＲＡＷデータ符号化部を説明する。

図１８に本第６の実施形態におけるＲＡＷデータ符号化部のブロック構成図を示す。図示のように、本第６の実施形態におけるＲＡＷデータ符号化部は、前処理部１８０１と符号化部１８０２で構成される。前処理部１８０１は、フレームメモリ１０１、第２プレーン変換部１０３、色差変換部１０８、特徴抽出部１０９を含む。また、符号化部１８０２は、ウェーブレット変換部１０５、量子化部１０６、エントロピー符号化部１０７、符号量制御部１１０、符号列生成部１１３を含む。第１の実施形態の図１における構成要素と実質的に同じ構成要素については同一参照符号を付し、その詳述は省略する。以下、第６の実施形態の処理を説明する。

ユーザが操作部１５０４より動画記録の開始指示を行うと、ベイヤ配列のＲＡＷデータが時系列にフレームメモリ１０１に格納されていく。第２プレーン変換部１０３は、先に示した式（１）に従って演算することで、フレームメモリ１０１に格納されたＲＡＷデータを第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に変換し、各プレーンを順に符号化部１８０２に供給する。

符号化部１８０２におけるウェーブレット変換部１０５は、第２プレーン変換部１０３から１つのプレーンが供給されるたびに、ウェーブレット変換する。そして、ウェーブレット変換部１０５は、その変換で得られたサブバンドＬＬ、ＨＬ，ＬＨ，ＨＨを量子化部１０４に供給する。量子化部１０６は、ウェーブレット変換部１０５から供給された各サブバンドの各変換係数データを、符号量制御部１１０から設定された目標符号量に従った量子化パラメータを用いて量子化する。そして、量子化部１０６は、量子化後の変換係数をエントロピー符号化部１０７に供給する。エントロピー符号化部１０７は、量子化部１０６で量子化された変換係数データをサブバンドごとにエントロピー符号化を行い、この符号化で得られた符号化データを符号列生成部１１３に供給する。符号列生成部１１３は、内部にバッファメモリを有し、エントロピー符号化部１０５から符号化データを一時的に格納し、各プレーンの符号化データを所定の順番に連結し、必要に応じてヘッダを生成し、ＲＡＭ１５０３に確保された不図示の書き込み用バッファに出力する。

上記の説明からわかるように、ＲＡＷデータを変換して得られた第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝の符号量は、符号量制御部１１０によって設定される目標符号量に依存する。そこで、各プレーンの目標符号量をどのようにして決定するかについて以下に更に詳しく説明する。

色差変換部１０８は、符号化部１８０２にて着目ＲＡＷデータの符号化に先立って、その着目ＲＡＷデータから色差Ｃｏ，Ｃｇ，Ｄｇを算出する。色差変換部１０８は内部バッファを有し、算出した色差Ｃｏ，Ｃｇ，Ｄｇをその内部バッファに格納する。この結果、色差変換１０８の内部バッファには、Ｃｏプレーン、Ｃｇプレーン、Ｄｇプレーンが生成される。

特徴抽出部１０９は、色差変換部１０８の内部バッファに格納された３つの色差プレーンの分散値ＶａｒＣｏ，ＶａｒＣｇ，ＶａｒＤｇを式（２）に従って算出する。更に、特徴抽出部１０９は算出した各色差成分の分散値の加算値ＶａｒＳｕｍを算出し、算出した加算値ＶａｒＳｕｍを符号量制御部１１０に供給する。
ＶａｒＳｕｍ＝ＶａｒＣｏ＋ＶａｒＣｇ＋ＶＡｒＤｇ

符号量制御部１０６は、ユーザーが操作部１５０４を介して設定した圧縮率ｒａｔｅ、ＲＡＷ画像データのビット深度ｂｉｔ＿ｄｅｐｔｈ、ＲＡＷデータの水平解像度ｗ及び垂直解像度ｈから着目フレームの目標符号量ｐｉｃ＿ｃｏｄｅを決定する。具体的には、次式の通りである。
pic_code=ｗ×ｈ×bit_deth×rate／１００ …（４）

符号量制御部１０６は、上記のようにして算出した着目フレームの目標符号量ｐｉｃ＿ｃｏｄｅと、特徴抽出部１０９から供給されたＶａｒＳｕｍとから、次式（５）に従って、輝度Ｙプレーンに割り振る符号量Ｙ＿ｃｏｄｅを決定する。
Varmax＜VarSumのとき、Y_code=pic_code×α
Varmin≦VarSum≦Varmax、Y_code=pic_code×β／Var_Sum
VarSum＜Varminのとき、Y_code=pic_code×γ …（５）
ここで、α、β、γは所定の係数、Ｖａｒｍａｘ、Ｖａｒｍｉｎは所定の閾値である。なお、α＜γであり、０＜α＜１かつ０＜γ＜１である。また、α＝β／Ｖａｒｍａｘ、γ＝β／Ｖａｒｍｉｎである。

３つの色差プレーンに割り当てる目標符号量は、着目フレームの目標符号量ｐｉｃ＿ｃｏｄｅから輝度Ｙプレーンの目標符号量Ｙ＿ｃｏｄｅを減じた残り量に基づき算出される。実施形態では、各色差プレーンの分散値が大きさに依存して割り当てる符号量を決定した。具体的には、符号量制御部１０６は、次式（６）に従って、色差Ｃｏ，Ｃｇ，Ｄｇの各プレーンに分配する符号量（目標符号量）Ｃｏ＿ｃｏｄｅ、Ｃｇ＿ｃｏｄｅ、Ｄｇ＿ｃｏｄｅを決定する。
Co_code=(pic_code-Y_code)×VarCo／VarSum
Cg_code=(pic_code-Y_code)×VarCg／VarSum
Dg_code=(pic_code-Y_code)×VarDg／VarSum …（６）

ウェーブレット変換部１０５から着目フレームのＹプレーンのサブバンドが量子化部１０６に供給される際、符号量制御部１０６は量子化部１０６に対して目標符号量Ｙ＿ｃｏｄｅを設定する。この結果、量子化部１０６は、Ｙプレーンの各サブバンドを、設定された目標符号量Ｙ＿ｃｏｄｅに対応するパラメータで示される量子化ステップに従って量子化することになる。同様に、ウェーブレット変換部１０５から着目フレームのＣｏプレーンのサブバンドが量子化部１０６に供給される際、符号量制御部１０６は、量子化部１０６に対して目標符号量Ｃｏ＿ｃｏｄｅを設定する。この結果、量子化部１０６は、Ｃｏプレーンの各サブバンドを、設定された目標符号量Ｃｏ＿ｃｏｄｅに対応するパラメータで示される量子化ステップに従って量子化することになる。他のＣｇ，Ｄｇプレーンについても同様である。

このように符号量を制御することで色差の分散値が大きく、符号化した際に色差の発生符号量、振幅が大きくなる場合には、該当する色成分に符号量を多く割り振ることができ、色ノイズの発生を抑えることができる。一方、色差の分散値が小さい場合には、輝度に割り振る符号量を多くなお、色ノイズを発生させることなく解像感を高め、主観画質の劣化を抑制することが可能になる。

なお、上記第６の実施形態では、色差Ｃｏ、Ｃｇ、Ｄｇの３つ全ての色差プレーンで分散値を算出したが、例えばＣｏ、Ｃｇのみにするなど、分散値を算出する色差プレーンの数を絞ってもよい。Ｃｏ、Ｃｇに絞るのは、Ｄｇは、Ｇ０とＧ１の差分であり、色差としての性質よりＧ成分の斜め方向のエッジとしての性質が大きく、色ノイズ発生への影響が比較的小さいためである。この場合、ＶａｒＳｕｍは、ＶａｒＣｏ、ＶａｒＣｇの和として算出し、数式（４）のβ、Ｖａｒｍａｘ、ＶａｒｍｉｎをＶａｒＤｇを加算しないことを考慮して調整する。また、色差の符号量を求める際には、式（５）を用いる代わりにｐｉｃ＿ｃｏｄｅとＹ＿ｃｏｄｅの差分を求め、３等分して各々の色差プレーンに割り振るなど別の方式で代用して決定すればよい。

［第６の実施形態の変形例］
上記第６の実施形態で説明した処理を、パーソナルコンピュータなどの汎用の情報処理装置で実行するアプリケーションプログラムで実現する例を、第６の実施形態の変形例として以下に説明する。

第６の実施形態が適用する情報処理装置のブロック構成図は図１７と同じであり、その説明は省略する。ただし、アプリケーションプログラム１７０６は、本第６の実施形態に従ってものとなる。

ＣＰＵ１７０１がアプリケーションプログラム１７０６を実行した際の処理手順を図１９のフローチャートに従って説明する。ここでも、ＨＤＤ１７０４に格納されたＲＡＷデータファイル１７０７に含まれる未符号化ＲＡＷデータを符号化し、符号化ファイル１７０８として生成する例を説明する。また、ＲＡＷデータファイル１７０７のファイルヘッダには、ＲＡＷデータの水平方向の解像度、垂直方向の解像度、及び１画素のビット数に関わるデータがセットされているものとする。また、ユーザからキーボード１７０９、マウス１７１０から、圧縮率が設定されているものとする。

まず、ＣＰＵ１７０１はステップＳ１９０１にて、ＲＡＷデータファイル１７０７内の全ＲＡＷデータに対する符号化処理を終えたか否かを判定する。否の場合、ＣＰＵ１７０１は、ステップＳ１９０２にて、ＲＡＷデータファイル１７０７から、１フレーム分のＲＡＷデータを入力し、ＲＡＭ１７０３に格納する。そして、ＣＰＵ１７０４はステップＳ１９０３にて、ＲＡＭ１７０３に格納されらＲＡＷデータを参照して、式（１）に従って輝度Ｙ、色差Ｃｏ，Ｃｇ、Ｄｇを算出する。そして、ＣＰＵ１７０４は、算出した輝度Ｙと３つ色差Ｃｏ，Ｃｇ、Ｄｇを、ＲＡＭ１７０３上に確保したＹ，Ｃｏ，Ｃｇ，Ｄｇの各プレーンの格納領域に格納する。この処理をＲＡＷデータの全画素について実行することで、ＲＡＭ１７０３には、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝が生成される。ＣＰＵ１７０１は、ステップＳ１９０４にて、ＲＡＭ１７０３に格納されている色差Ｃｏ，Ｃｇ，Ｄｇのプレーンを参照し、式（２）に従い、各プレーンの分散値ＶａｒＣｏ，ＶａｒＣｇ，ＶａｒＤｇを算出する。また、ＣＰＵ１７０１は、分散値ＶａｒＣｏ，ＶａｒＣｇ，ＶａｒＤｇの加算することでＶａｒＳｕｍを算出する。

次に、ＣＰＵ１７０１は、ステップＳ１９０５にて、着目フレームの目標符号量ｐｉｃ＿ｃｏｄｅを式（４）に従って算出する。そして、ＣＰＵ１７０１は、ステップＳ１９０６にて輝度Ｙプレーンの目標符号量Ｙ＿ｃｏｄｅを式（５）に従って算出する。また、ＣＰＵ１７０１は、色差Ｃｏ，Ｃｇ，Ｄｇプレーンそれぞれの目標符号量Ｃｏ＿ｃｏｄｅ，Ｃｇ＿ｃｏｄｅ，Ｄｇ＿ｃｏｄｅを式（６）に従って算出する。この後、ＣＰＵ１７０１は、ステップＳ１９０７にて、ＲＡＭ１７０３に既に格納されている輝度Ｙプレーンを目標符号量Ｙ_ｃｏｄｅとなるようＪＰＥＧ２０００に基づく符号化処理を行う。ＣＰＵ１７０１は、符号化して得られた輝度Ｙプレーンの符号化データはＲＡＭ１７０３に一時的に格納する。同様に、ＣＰＵ１７０１は、Ｃｏ，Ｃｇ，Ｄｇの色差プレーンについても、それぞれの目標符号量Ｃｏ＿ｃｏｄｅ，Ｃｇ＿ｃｏｄｅ，Ｄｇ＿ｃｏｄｅとなるようにＪＰＥＧ２０００に基づく符号化処理を行う。生成された符号化データは、ＲＡＭ１７０３に一時的に格納される。ＣＰＵ１７０１は、生成された符号化データを所定の順に結合し、結合した符号化データを符号化ファイル１７０８に追記する。

以上の説明のように、コンピュータプログラムをコンピュータに実行させることでも、先に説明した第６の実施形態と等価の効果が得るＲＡＷ画像の符号化ファイルを生成することが可能となる。

［第７の実施形態］
第７の実施形態を説明する。本第７の実施形態も、第１の実施形態と同様に撮像装置に適用した例を説明する。撮像装置の構成は、第１の実施形態と同様、図１５と同じである。また、本第７の実施形態でも、第６の実施形態と同様に着目フレームの目標符号量から、第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝に割り振る符号量を決定するものである。図２０は第７の実施形態におけるＲＡＷデータ符号化部のブロック構成図を示す。第６の実施形態における図１８との違いは、フレームメモリ１０１、色差変換部１０８、特徴抽出部１０９がない点、並びに、演算部２００１を設けた点である。それ以外は第６の実施形態と同じであるので、それらの説明は省略する。

演算部２００１は、符号量制御１１０からの指示に従い、ウェーブレット変換部１０５が生成した色差ＣｏのサブバンドＨＬ，ＬＨ，ＨＨの変換係数の合計値Ｗｈ＿ＳｕｍＣｏを算出する。また、演算部２００１は、色差ＣｇのサブバンドＨＬ，ＬＨ，ＨＨの変換係数の合計値Ｗｈ＿ＳｕｍＣｇ、色差ＤｇのサブバンドＨＬ，ＬＨ，ＨＨの変換係数の合計値Ｗｈ＿ＳｕｍＤｇも算出する。

以下、本第７の実施形態の処理手順を図２１のフローチャートに従って説明する。

符号量制御部１１０は、着目ＲＡＷデータが動画像記録の開始してから最初のフレームであるか否かを判定する（ステップＳ２１０１）。着目ＲＡＷデータが最初のフレームである場合には、ステップＳ２１０２にて、符号量制御部１１０は、フレームの目標符号量ｐｉｃ＿ｃｏｄｅを式（４）に基づき算出する。そして、符号量制御部１１０は、ステップＳ２１０３にて、最初のフレームの各プレーンの目標符号量を次式（７）に従って算出する。
Y_code＝pic_code×ａ
Co_code＝pic_code×ｂ
Cg_code＝pic_code×ｃ
Dg_code＝pic_code×ｄ …（７）
ここで、ａ，ｂ，ｃ，ｄは予め設定された係数であり、ａ＋ｂ＋ｃ＋ｄ＝１である。つまり、係数ａ，ｂ，ｃ，ｄは各プレーンの割り振り比率を示している。最初のフレームの符号化時には、各プレーンの符号量を適切に決定する指標が存在しない。それ故、色ノイズが発生する確率を減らせるように、係数ｂ、ｃ、ｄは、大きめに設定するものとする。なお、ステップＳ２１０２，２１０３は、最初の符号化する現実のプレーンとは無関係に算出される点に注意されたい。符号量制御部１１０は、最初のプレーンの符号化を行うに当たって、式（７）により決定した各プレーンの目標符号量を量子化部１０６に設定する。これによって、動画像の最初のフレームのＲＡＷデータの符号化処理が行われることになる。

また、符号量制御部１１０は、最初のフレームを符号化する際に、演算部２００２に対してアクティブに設定する（ステップＳ２１０４）。このステップＳ２１０４の処理は、動画像の記録の２フレーム以降のＲＡＷデータの符号化の際の、各プレーンの目標符号量を決定するための準備処理ということができる。このステップＳ２１０４の処理の結果、演算部２００２は、最初のフレームの色差Ｃｏプレーンから得られたサブバンドＨＬ，ＬＨ，ＨＨの変換係数の合計値Ｗｈ＿ｓｕｍＣｏを算出する。また、同様に、演算部２００２は、最初のフレームの色差Ｃｇプレーンから得れたサブバンドＨＬ，ＬＨ，ＨＨの変換係数の合計値Ｗｈ＿ｓｕｍＣｇを算出する。また、同様に、演算部２００２は、最初のフレームの色差Ｄｇプレーンから得れたサブバンドＨＬ，ＬＨ，ＨＨの変換係数の合計値Ｗｈ＿ｓｕｍＤｇを算出する。

符号量制御部１１０は、着目フレームが動画像記録を開始してから２番目のフレームであると判定した場合、処理をステップＳ２１０５に進める。このステップＳ２１０５において、符号量制御部１１０は、演算部２００２から、最初のフレームから求めたＷｈ＿ｓｕｍＣｏ，Ｗｈ＿ｓｕｍＣｇ，Ｗｈ＿ｓｕｍＤｇを取得し、それらの合計値Ｗｈ＿ｓｕｍを算出する。そして、符号量制御部１１０は、最初のフレームの符号化時に算出したｐｉｃ＿ｃｏｄｅと、これらＷｈ＿ｓｕｍＣｏ，Ｗｈ＿ｓｕｍＣｇ，Ｗｈ＿ｓｕｍＤｇ、及びＷｈ＿ｓｕｍに基づき、次式（８）に従って輝度Ｙプレーンの目標符号量Ｙ＿ｃｏｄｅを算出する。
Whmax＜Wh_Sumのとき、Y_code=pic_code×α
Whmin≦Wh_Sum≦Whmax、Y_code=pic_code×β／Vh_Sum
Wh_Sum＜Whminのとき、Y_code=pic_code×γ …（８）
ここで、α、β、γは所定の係数、Ｗｈｍａｘ、Ｗｈｒｍｉｎは所定の閾値である。なお、α＜γであり、０＜α＜１かつ０＜γ＜１である。また、α＝β／Ｗｈｍａｘ、γ＝β／Ｗｈｍｉｎである。

そして、符号量制御部１１０は、次式（９）に従い、色差Ｃｏ，Ｃｇ，Ｄｇのプレーンの目標符号量Ｃｏ＿ｃｏｄｅ，Ｃｇ＿ｃｏｄｅ，Ｄｇ＿ｃｏｄｅを、それぞれのプレーンの絶対値の合計の割合に応じて算出する。
Co_code=(pic_code-Y_code)×Wh_SumCo／Wh_Sum
Cg_code=(pic_code-Y_code)×Wh_SumCg／Wh_Sum
Dg_code=(pic_code-Y_code)×Wh_SumDg／Wh_Sum …（９）
上記のようにして、符号量制御部１１０は、動画像の２フレーム以降の第２プレーン群｛Ｙ，Ｃｏ，Ｃｇ，Ｄｇ｝の各プレーンの目標符号量を決定する。従って、２フレーム以降のＲＡＷデータを符号化する際、符号量制御部１１０は、上記のようにして決定した目標符号量を量子化部１０６に設定し、符号化処理を行わせることになる。

以上の結果、色差の高周波領域におけるウェーブレット係数絶対値総和が大きい場合、色差の振幅が大きく色ノイズが発生する可能性が高いと言える。かかる状況では、本第７の実施形態のように符号量を制御することで、各色差プレーンに割り振る符号量を多くし、色ノイズの発生を抑えることができる。一方、色差の高周波領域におけるウェーブレット係数絶対値総和が小さい場合は、輝度Ｙプレーンに多くの符号量を割り振ることで解像感を高め、主観的な画質を高めることが可能である。

なお、第７の実施形態では、動画像の記録の最初のフレームについては、符号化対象画像の特徴そのものではなく、撮影開始時の画像の特徴を用いている。そのため、第６の実施形態と比較し、最初のフレームについては画質が劣る可能性がある。しかしながら、フレームメモリを必要とせず、メモリアクセスが発生しないため、フレームレートの高い動画であってもリアルタイム処理を実現することが容易になる。

また、第７の実施形態においてウェーブレット係数絶対値総和を演算するのは、撮影開始時のみであるが、フレーム符号化と並列して演算を行い、次のフレームの各プレーンの目標符号量設定に用いるようにしてもよい。また、第７の実施形態においても、第６の実施形態と同様に、色差プレーンをＣｏ、Ｃｇのみにするなどウェーブレット係数の絶対値総和を算出する色差プレーンの数を絞ってもよい。更に、上記第７の実施形態の符号化処理をコンピュータプログラムで実現させても構わない。

［第８の実施形態］
第８の実施形態を説明する。本第８の実施形態も、第１の実施形態と同様に撮像装置に適用した例を説明する。本第８の実施形態ＲＡＷデータ符号化部の構成図は第７の実施形態と同じである。ただし、ウェーブレット変換部１０５が１つのプレーンに対してウェーブレット変換を２回実行するものとする。また、演算部２００２及び符号量制御部１１０の処理内容が第７の実施形態と異なる。なお、ウェーブレット変換を２回行うことで、ウェーブレット変換部１０５は、サブバンドＬＬ，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ１，ＬＨ２，ＨＨ１の変換係数データを生成することになる。

本第８の実施形態における演算部２００２は、符号量制御部１１０からアクティブに設定されると、ウェーブレット変換部１０５で変換されたＣｏ，Ｃｇ，Ｄｇの色差プレーンの変換係数に対する演算を行う。具体的には、演算部２００２は、サブバンドＬＬ以外のサブバンドＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２それぞれの変換係数データの絶対値和を演算する。色差Ｃｏプレーンの各サブバンドの絶対値和をＷｈ＿ｓｕｍＣｏＨＨ１、Ｗｈ＿ｓｕｍＣｏＨＬ１、Ｗｈ＿ｓｕｍＣｏＬＨ１、Ｗｈ＿ｓｕｍＣｏＨＨ２、Ｗｈ＿ｓｕｍＣｏＨＬ２、Ｗｈ＿ｓｕｍＣｏＬＨ２と表す。また、色差Ｃｇプレーンの各サブバンドの絶対値和をＷｈ＿ｓｕｍＣｇＨＨ１、Ｗｈ＿ｓｕｍＣｇＨＬ１、Ｗｈ＿ｓｕｍＣｇＬＨ１、Ｗｈ＿ｓｕｍＣｇＨＨ２、Ｗｈ＿ｓｕｍＣｇＨＬ２、Ｗｈ＿ｓｕｍＣｇＬＨ２とする。また、色差Ｄｇプレーンの各サブバンドの絶対値和をＷｈ＿ｓｕｍＤｇＨＨ１、Ｗｈ＿ｓｕｍＤｇＨＬ１、Ｗｈ＿ｓｕｍＤｇＬＨ１、Ｗｈ＿ｓｕｍＤｇＨＨ２、Ｗｈ＿ｓｕｍＤｇＨＬ２、Ｗｈ＿ｓｕｍＤｇＬＨ２とする。なお、これらの表記の、プレーンとサブバンドに対する関係は第３の実施形態と同じである。また、演算部２００２は、上記演算結果である１８個の合計値を符号量制御部１１０に供給する。

以下、本第８の実施形態における符号量制御部１１０の処理手順を図２２のフローチャートに従って説明する。

符号量制御部１１０は、着目ＲＡＷデータが動画像記録を開始してから最初のフレームであるか否かを判定する（ステップＳ２２０１）。着目ＲＡＷデータが最初のフレームである場合には、符号量制御部１１０は、ステップＳ２２０２にて、着目フレームの目標符号量ｐｉｃ＿ｃｏｄｅを式（４）に基づき算出する。そして、符号量制御部１１０は、算出した目標符号量ｐｉｃ＿ｃｏｄｅから、各プレーンの目標符号量Ｙ＿ｃｏｄｅ，Ｃｏ＿ｃｏｄｅ，Ｃｇ＿ｃｏｄｅ，Ｄｇ＿ｃｏｄｅを式（７）に従って算出する（ステップＳ２２０３）。そして、符号量制御部１１０は、最初のプレーンの符号化を行うに当たって、上記のようにして算出した式（７）により決定した各プレーンの目標符号量を量子化部１０６に設定する。これによって、動画像の最初のフレームのＲＡＷデータの符号化処理が行われることになる。

また、符号量制御部１１０は、最初のフレームを符号化する際に、演算部２００２をアクティブする（ステップＳ２２０４）。このステップＳ２２０４の処理は、動画像の記録の２フレーム以降のＲＡＷデータの符号化の際の、各プレーンの目標符号量を決定するための準備処理と言うことができる。演算部２００２がアクティブになると、最初のフレームから変換した輝度Ｙプレーン以外の、色差Ｃｏ，Ｃｇ，Ｄｇのプレーンから、先に示した１８個の合計値を算出する。そして、演算部２００２は演算した１８個の合計値を符号量制御部１１０に供給することになる。

符号量制御部１１０は、着目フレームが動画像記録を開始してから最初のフレームではないと判定した場合、処理をステップＳ２２０５に進める。このステップＳ２２０５において、符号量制御部１１０は、演算部２００２から、最初のフレームから求めた１８個の合計値に基づき式（３）に従って評価値Ｗｈ＿ｓｕｍＣｏ、Ｗｈ＿ｓｕｍＣｇ，Ｗｈ＿ｓｕｍＤｇを算出する。

そして、符号量制御部１１０は、算出した評価値Ｗｈ＿ｓｕｍＣｏ、Ｗｈ＿ｓｕｍＣｇ，Ｗｈ＿ｓｕｍＤｇから、その総和Ｗｈ＿ｓｕｍ（＝Ｗｈ＿ｓｕｍＣｏ＋Ｗｈ＿ｓｕｍＣｇ＋Ｗｈ＿ｓｕｍＤｇ）を更に算出する。そして、符号量制御部１１０は、２フレーム目以降の輝度Ｙプレーンの目標符号量Ｙ＿ｃｏｄｅを式（８）に従い算出する（ステップＳ２２０６）。そして、符号量制御部１１０は、色差Ｃｏ，Ｃｇ，ＤＧのプレーンの目標符号量Ｃｏ＿ｃｏｄｅ，Ｃｇ＿ｃｏｄｅ，Ｄｇ＿ｃｏｄｅを式（９）に従って算出する。２フレーム以降のＲＡＷデータを符号化する際、符号量制御部１１０は、上記のようにして決定した各プレーンの目標符号量を量子化部１０６に設定し、符号化処理を行わせることになる。

このように階層レベル、サブバンドに応じて、変換係数データの絶対値和に対して重みを付けることで、より精度を高めた符号量制御を行うことができる。なお、第８の実施形態において変換係数データの絶対値和を演算するのは、動画記録の最初のフレームのみとしたが、毎フレーム符号化を符号化する度に求めることで、次回のフレームの各プレーンの目標符号量設定に用いるようにしてもよい。また、第８の実施形態においても、第６の実施形態と同様に、ウェーブレット変換で得られた変換係数の絶対値和を算出する対象を、色差Ｃｏ，Ｃｇ，Ｄｇのプレーンのみに絞ってもよい。また上記第８の実施形態の符号化処理をコンピュータプログラムで実現させても構わない。

［第９の実施形態］
第９の実施形態を説明する。本第９の実施形態でも、第１の実施形態と同様に撮像装置に適用した例を説明する。撮像装置の構成は、第１の実施形態と同様、図１５と同じである。よって、この第５の実施形態でも画像処理部１５０９におけるＲＡＷデータ符号化部を説明する。

図２３は第９の実施形態におけるＲＡＷデータ符号化部のブロック構成図である。第７の実施形態と異なる点は、演算部２００２がない点、被写界深度設定部２３０１が新設された点である。なお、第９の実施形態４においては、第７の実施形態と異なり、符号化対象を動画あるいは静止画連写時の静止画の何れであっても構わない。また、第９実施形態における被写界深度設定部２３０１および符号量制御部１１０の処理以外は第７の実施形態実と同様であるため、その説明を省略する。

被写界深度設定部２３０１は、ユーザによる操作部１５０４に対する操作に従って撮像部１５０６に設定されたズーム倍率、絞り等によって決定されるＦ値を、符号量制御部１１０に設定する。以下、係る点を踏まえ、本第９の実施形態における符号量制御部１１０の処理内容を図２４のフローチャートに従って説明する。

符号量制御部１１０は、ステップＳ２４０１にて、被写界深度設定部２３０１から設定されたＦ値を読み込む。そして、符号量制御部１１０は、ステップＳ２４０２にて、ユーザが操作部１５０４で設定した圧縮率ｒａｔｅ、ＲＡＷデータのビット深さｂｉｔ＿ｄｅｐｔｈ、ＲＡＷデータの水平解像度ｗ、垂直解像度ｈから、先に示した式（４）に基づき、１フレーム値の目標符号量ｐｉｃ＿ｃｏｄｅを算出する。

そして、符号量制御部１１０は、ステップＳ２４０３にて、算出したｐｉｃ＿ｃｏｄｅとＦ値とから、輝度プレーンの目標符号量Ｙ＿ｃｏｄｅを次式（１０）のように算出する。
α／Ｆ＞βのとき、Y_code=pic_ccde×α／Ｆ
α／Ｆ≦βのとき、Y_code=pic_ccde×β …（１０）
ここで、α、βは、所定の係数でありＦ値の最小値をＦｍｉｎとするとα／Ｆｍｉｎ＜１である。

符号量制御部１１０６は、次にステップＳ２４０４にて、ｐｉｃ＿ｃｏｄｅとＹ＿ｃｏｄｅの差分「ｐｉｃ＿ｃｏｄｅ−Ｙ＿ｃｏｄｅ」の３等分を、各色差プレーンの目標符号量Ｃｏ＿ｃｏｄｅ、Ｃｇ＿ｃｏｄｅ、Ｄｇ＿ｃｏｄｅに割り当てる。
Ｃｏ＿ｃｏｄｅ＝｛ｐｉｃ＿ｃｏｄｅ−Ｙ＿ｃｏｄｅ｝／３
Ｃｇ＿ｃｏｄｅ＝｛ｐｉｃ＿ｃｏｄｅ−Ｙ＿ｃｏｄｅ｝／３
Ｄｇ＿ｃｏｄｅ＝｛ｐｉｃ＿ｃｏｄｅ−Ｙ＿ｃｏｄｅ｝／３

被写界深度が浅く背景がぼける場合には、符号化対象となるＲＡＷ画像データの多くの箇所で色差に限らず振幅が小さくなるため、色ノイズが発生しづらい。従って、被写界深度が浅い場合には、輝度プレーンに多くの符号量を割り振り、解像感を高め、主観画質を高める。一方、被写界深度が深い場合には、色差の振幅が大きくなる可能性があるため、輝度に割り振る符号量を少なくし、色差プレーンにも多くの符号量を割り当てることで色ノイズの発生を抑制する。また上記第９の実施形態の符号化処理をコンピュータプログラムで実現させても構わない。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…フレームメモリ、１０２…第１プレーン変換部１０２、１０３…第２プレーン変換部、１０４…プレーン判定部、１０５…ウェーブレット変換部、１０６…量子化部、１０７…エントロピー符号化部、１０８…色差変換部、１０９…特徴抽出部、１１０…符号量制御部、１１１…判定部、１１２…符号化部、１１３…符号列生成部

Claims (17)

1. ベイヤ配列のＲＡＷ画像データを符号化する符号化装置であって、
   ＲＡＷ画像データを、Ｒ成分で構成されるＲプレーン、Ｇ０成分で構成されるＧ０プレーン、Ｇ１成分で構成されるＧ１プレーン、及び、Ｂ成分で構成されるＢプレーンの計４プレーンで構成される第１プレーン群に変換する第１の変換手段と、
   ＲＡＷ画像データを、輝度成分で構成される輝度プレーンとそれぞれが互いに異なる色差成分で構成される３つの色差プレーンとの計４プレーンで構成される第２プレーン群に変換する第２の変換手段と、
   １成分で構成される画像を符号化する符号化手段と、
   符号化対象のＲＡＷ画像データを、前記第１プレーン群、第２プレーン群のいずれに変換するかを判定する判定手段と、
   該判定手段による判定により得られた４プレーンの各々を前記符号化手段で符号化させる制御手段と
   を有することを特徴とする符号化装置。
2. 前記判定手段は、
   前記３つの色差プレーンそれぞれの分散値を算出する算出手段と、
   算出した分散値それぞれと、それぞれの色差に対して設定された閾値とを比較することで、少なくとも１つの色差プレーンの分散値が該当する閾値より大きいとする条件を満たすかどうかを判定する条件判定手段とを含み、
   前記判定手段は、
   前記条件判定手段の判定結果が前記条件を満たすことを示す場合、前記ＲＡＷ画像データを前記第１プレーン群に変換すると判定し、
   前記条件判定手段の判定結果が前記条件を満たさないことを示す場合、前記ＲＡＷ画像データを前記第２プレーン群に変換すると判定する
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記判定手段は、
   前記３つの色差プレーンそれぞれをウェーブレット変換するウェーブレット変換手段と、
   該ウェーブレット変換手段で得られた高周波成分を含むサブバンドの変換係数の絶対値和を、各色差の評価値として算出する算出手段と、
   算出した評価値それぞれと、それぞれの色差に対して設定された閾値とを比較することで、少なくとも１つの色差の評価値が該当する閾値より大きいとする条件を満たすかどうかを判定する条件判定手段とを含み、
   前記判定手段は、
   前記条件判定手段の判定結果が前記条件を満たすことを示す場合、前記ＲＡＷ画像データを前記第１プレーン群に変換すると判定し、
   前記条件判定手段の判定結果が前記条件を満たさないことを示す場合、前記ＲＡＷ画像データを前記第２プレーン群に変換すると判定する
   ことを特徴とする請求項１に記載の符号化装置。
4. 前記算出手段は、色差毎に、
   高周波成分を含むサブバンドＨＬ，ＬＨ，ＨＨごとに絶対値和を算出し、且つ、サブバンドごとに設定された重み係数を各サブバンドの絶対値和に乗じることで、１つの色差の前記評価値を算出することを特徴とする請求項３に記載の符号化装置。
5. ＲＡＷ画像データを時系列に入力する入力手段を有し、
   前記制御手段は、
   前記入力手段で入力した最初のＲＡＷ画像データについては、前記２の変換手段で変換させて符号化し、
   前記判定手段は、
   当該最初のＲＡＷ画像データから第２プレーン群に変換した際の色差プレーンに基づいて、２番目以降に入力されるＲＡＷ画像データを、前記第１プレーン群、第２プレーン群のいずれに変換するかを判定する
   ことを特徴とする請求項３又は４に記載の符号化装置。
6. 前記判定手段は、ユーザから指示された圧縮率が予め設定された閾値より大きい場合、前記ＲＡＷ画像データを前記第２プレーン群に変換すると判定し、前記圧縮率が前記閾値以下である場合には前記ＲＡＷ画像データを前記第１プレーン群に変換すると判定することを特徴とする請求項１に記載の符号化装置。
7. 撮像手段の被写界深度を設定する設定手段を更に有し、
   前記判定手段は、前記被写界深度が予め設定された閾値より大きい場合、前記ＲＡＷ画像データを前記第１プレーン群に変換すると判定し、前記被写界深度が前記閾値以下である場合には前記ＲＡＷ画像データを前記第２プレーン群に変換すると判定することを特徴とする請求項１に記載の符号化装置。
8. ベイヤ配列のＲＡＷ画像データを符号化する符号化装置であって、
   ＲＡＷ画像データを、輝度成分で構成される輝度プレーンとそれぞれが互いに異なる色差成分で構成される３つの色差プレーンとの計４プレーンに変換する変換手段と、
   ＲＡＷ画像データの目標符号量を設定する設定手段と、
   前記３つの色差プレーンのうちの少なくとも１つの色差プレーンを解析することで、前記設定手段で設定したＲＡＷ画像データの目標符号量から前記輝度プレーンに割り当てる量を決定し、且つ、前記目標符号量における、前記輝度プレーンに割り振った量を減じた残りの量を、各色差プレーンに分配して割り当てる割り当て手段と、
   前記変換手段で変換して得られた輝度プレーン、及び３つの色差プレーンのそれぞれを、前記割り当て手段で割り当てた各プレーンに割り当てた符号量を目標符号量として符号化する符号化手段と
   を有することを特徴とする符号化装置。
9. 前記割り当て手段は、
   前記３つの色差プレーンそれぞれの分散値を算出し、当該３つの色差プレーンの分散値の合計値を算出する算出手段と、
   前記算出手段が算出した分散値の合計値を予め設定された１つ以上の閾値とを比較することで、前記ＲＡＷ画像データの目標符号量のうち前記輝度プレーンに割り当てる符号量を決定し、
   前記色差プレーンには、各色差プレーンの分散値の割合に応じた符号量を割り当てる
   ことを特徴とする請求項８に記載の符号化装置。
10. ＲＡＷ画像データを時系列に入力する入力手段を有し、
    前記符号化手段は、符号化対象のプレーンをＪＰＥＧ２０００に従って符号化し、
    前記割り当て手段は、
    最初のＲＡＷ画像データについては、予め設定された比率に従って、前記ＲＡＷ画像データの目標符号量を、前記輝度プレーン、前記３つの色差プレーンの符号量として割り当て、
    ２番目以降のＲＡＷ画像データについては、最初のＲＡＷ画像データを前記符号化手段で符号化する際のウェーブレット変換にて得られた各色差プレーンそれぞれのサブバンドＨＬ，ＬＨ，ＨＨの絶対値和の合計値と閾値とを比較することで、輝度プレーンに割り当てる符号量を決定し、
    ２番目以降のＲＡＷ画像データの色差プレーンについては、前記絶対値和の合計値に対する、各各色差プレーンの絶対値和の比率に従って割り当てる符号量を決定する
    ことを特徴とする請求項８に記載の符号化装置。
11. 前記割り当て手段は、サブバンドＨＬ，ＬＨ，ＨＨごとに、ウェーブレット変換の変換係数を累積加算し、サブバンドＨＬ，ＬＨ，ＨＨごとに設定された重み係数を、各サブバンドの累積した値に乗じた値を互いに加算することで、１つの色差プレーンの前記絶対値和を算出することを特徴とする請求項１０に記載の符号化装置。
12. 撮像手段の被写界深度を設定する設定手段を更に有し、
    前記判定手段は、
    前記被写界深度と予め設定された閾値とを比較することで、前記ＲＡＷ画像データの目標符号量から前記輝度プレーンに割り当てる量を決定し、
    前記目標符号量における、前記輝度プレーンに割り振った量を減じた残りの量を３等分した値を、前記３つの色差プレーンの目標符号量として判定する
    ことを特徴とする請求項８に記載の符号化装置。
13. ベイヤ配列のＲＡＷ画像データを符号化する符号化装置の制御方法であって、
    ＲＡＷ画像データを、Ｒ成分で構成されるＲプレーン、Ｇ０成分で構成されるＧ０プレーン、Ｇ１成分で構成されるＧ１プレーン、及び、Ｂ成分で構成されるＢプレーンの計４プレーンで構成される第１プレーン群に変換する第１の変換工程と、
    ＲＡＷ画像データを、輝度成分で構成される輝度プレーンとそれぞれが互いに異なる色差成分で構成される３つの色差プレーンとの計４プレーンで構成される第２プレーン群に変換する第２の変換工程と、
    １成分で構成される画像を符号化する符号化工程と、
    符号化対象のＲＡＷ画像データを、前記第１プレーン群、第２プレーン群のいずれに変換するかを判定する判定工程と、
    該判定工程による判定により得られた４プレーンの各々を前記符号化工程で符号化させる制御工程と
    を有することを特徴とする符号化装置の制御方法。
14. ベイヤ配列のＲＡＷ画像データを符号化する符号化装置の制御方法であって、
    ＲＡＷ画像データを、輝度成分で構成される輝度プレーンとそれぞれが互いに異なる色差成分で構成される３つの色差プレーンとの計４プレーンに変換する変換工程と、
    ＲＡＷ画像データの目標符号量を設定する設定工程と、
    前記３つの色差プレーンのうちの少なくとも１つの色差プレーンを解析することで、前記設定工程で設定したＲＡＷ画像データの目標符号量から前記輝度プレーンに割り当てる量を決定し、且つ、前記目標符号量における、前記輝度プレーンに割り振った量を減じた残りの量を、各色差プレーンに分配して割り当てる割り当て工程と、
    前記変換工程で変換して得られた輝度プレーン、及び３つの色差プレーンのそれぞれを、前記割り当て工程で割り当てた各プレーンに割り当てた符号量を目標符号量として符号化する符号化工程と
    を有することを特徴とする符号化装置の制御方法。
15. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至１２のいずれか１項に記載の符号化装置の各手段として機能させるためのコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを格納したコンピュータが読み取り可能な記憶媒体。
17. ベイヤ配列のＲＡＷ画像データを符号化する符号化装置であって、
    ＲＡＷ画像データを、色成分別の複数のプレーンで構成される第１プレーン群に変換する第１の変換手段と、
    ＲＡＷ画像データを、輝度成分のプレーンと互いに異なる色差成分のプレーンとで構成される第２プレーン群に変換する第２の変換手段と、
    符号化対象のＲＡＷ画像データを、前記第１プレーン群および前記第２プレーン群のいずれに変換するかを判定する判定手段と、
    該判定手段による判定に応じて、前記第１の変換手段及び前記第２の変換手段のいずれかにより変換されたプレーンの各々を符号化する符号化手段と
    を有することを特徴とする符号化装置。

Images