JP2017085545A - 画像処理装置及びその制御方法、並びに、コンピュータプログラム - Google Patents

Abstract

【課題】 ベイヤー配列の画像データを、更に効率良く圧縮符号化する。
【解決手段】 ベイヤー配列の画像データのＧ０成分データ及びＧ１成分データから、Ｇ成分の低周波成分データで構成されるＧＬプレーン、及び、Ｇ成分の高周波成分データで構成されるＧＨプレーンを生成する生成部と、ベイヤー配列の画像データのＲ成分データで構成されるＲプレーン、Ｂ成分データで構成されるＢプレーン、及び、ＧＬプレーンから、輝度成分データで構成される輝度プレーン、第１の色差成分データで構成される第１の色差プレーン、第２の色差成分データで構成される第２の色差プレーンを生成する輝度色差変換部と、輝度プレーン、第１の色差プレーン、第２の色差プレーン、及び、ＧＨプレーンを符号化する符号化部とを有する。
【選択図】 図１

Description

本発明は、ベイヤー配列の画像データの符号化技術に関するものである。

一般に、デジタルカメラに代表される撮像装置は、ベイヤー配列の撮像素子を搭載している。ベイヤー配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素がモザイク状に配列された構造である。そして、ベイヤー配列中の２×２画素は、１つ赤（Ｒ）、２つの緑（Ｇ０、Ｇ１）および１つの青（Ｂ）の画素で構成される。従って、このような撮像素子で撮像して得られた直後の画像データの画素の配列もベイヤー配列となっている。

ベイヤー配列の画像データの各画素は、上記の通り１色成分の情報しか持たない。そのため、一般に、デモザイクと呼ばれる補間処理がベイヤー配列の画像データに対して適用され、１画素がＲ（赤）、Ｇ（緑）およびＢ（青）の複数成分を持つ画像データが生成される。そして、記録や転送効率の観点から、デモザイク処理で得られた画像データは、符号化され、そのデータ量が圧縮される。圧縮符号化の代表であるＪＰＥＧ（Joint Photographic Experts Group）は、ＲＧＢ色空間の画像データをＹＵＶ色空間の画像データに変換してから圧縮符号化する。しかし、１成分当たりのビット数が同じであるなら、デモザイク後の画像データは、デモザイク前のベイヤー配列の画像データの３倍のデータ量となる。つまり、ＪＰＥＧは、ベイヤー配列の画像データの３倍のデータ量の画像データを符号化対象としていると言える。

これに対し、デモザイク処理を行わず、ベイヤー配列の画像データを成分毎（Ｒ、Ｇ０、Ｂ、Ｇ１）に分類し、各成分の画像データを独立して符号化する技術が知られている（たとえば、特許文献１）。

特開２００３−１２５２０９号公報 特開２００６−１２１６６９号公報

ベイヤー配列の画像データに含まれる総画素数の半分はＧ成分の画素である。それ故、このＧ成分の画素を如何に効率的に符号化するかが重要である。特許文献１の手法では、元々画素位置が近く、同色で相関が高いＧ０成分とＧ１成分を別コンポーネントに分類してしまう。それ故、符号化処理におけるウェーブレット変換はベイヤー配列の画像データがサブサンプリングした状態で行われるため、高周波成分と低周波成分との切り分け時に折り返し雑音（Folding noise）が印加され、圧縮率の低下につながる。

一方で、ベイヤー配列の画像データを色空間変換を行って、１つの輝度成分（Ｙ）、３つの色差成分（Ｄｇ、Ｃｏ、Ｃｇ）を生成し、それぞれの成分の画像データを符号化する技術が知られている（特許文献２）。これは、人間の眼が輝度成分に対する感度が高いという視感度特性を利用したもので、色成分毎の冗長データの削減を狙った圧縮効率向上方法の一つである。この方式のＤｇ成分は、Ｇ１−Ｇ０（微分によるハイパスフィルタ）で表され、Ｇ成分に対する高周波成分を算出している。しかし、この特許文献２では、Ｇ成分に対する低周波成分は算出していないので、圧縮効率の点で改善の余地がある。

本発明は、ベイヤー配列の画像データを、更に効率良く圧縮符号化する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
ベイヤー配列の画像データを符号化する画像処理装置であって、
ベイヤー配列の画像データのＧ０成分データ及びＧ１成分データから、Ｇ成分の低周波成分データで構成されるＧＬプレーン、及び、Ｇ成分の高周波成分データで構成されるＧＨプレーンを生成する生成手段と、
ベイヤー配列の画像データのＲ成分データで構成されるＲプレーン、Ｂ成分データで構成されるＢプレーン、及び、前記ＧＬプレーンから、輝度成分データで構成される輝度プレーン、第１の色差成分データで構成される第１の色差プレーン、第２の色差成分データで構成される第２の色差プレーンを生成する輝度色差変換手段と、
前記輝度プレーン、前記第１の色差プレーン、前記第２の色差プレーン、及び、前記ＧＨプレーンを符号化する符号化手段とを有する。

本発明によれば、ベイヤー配列の画像データを、これまでよりも更に効率良く圧縮符号化することが可能となる。

第１の実施形態に係る符号化装置が有するブロック構成図。 ベイヤー配列の画像データの色分離及びプレーン形成方法を説明する図。 第１の実施形態に係る符号化処理のフローチャート。 ウェーブレット変換を説明するための図。 Ｇ０プレーンとＧ１プレーンを用いた、低周波成分プレーンと高周波成分プレーンの生成方法を説明する図。 各プレーンのサブバンド毎の目標符号量の設定の一例を示す図。 第２の実施形態に係る符号化装置が有すブロック構成図。 第２の実施形態に係る符号化処理のフローチャート。 ベイヤー配列の画像データの色分離及びプレーン形成方法の他の例を示す図。 第１の実施形態の変形例における情報処理装置のブロック構成図。 第１の実施形態の変形例における各プレーンのサブバンド毎の目標符号量の設定の一例を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
第１の実施形態では、デジタルカメラに代表される撮像装置に適用した例である。図１は、撮像装置１００における画像符号化に係る主要部のブロック構成図である。撮像装置１００は、撮像部１０１、プレーン形成部１０２、メモリＩ／Ｆ部１０３、メモリ１０４、プレーン変換部１０５、色変換部１０６、周波数変換部１０７、制御部１０８、量子化部１０９、エントロピー符号化部１１０及び出力部１１１を有する。なお、記憶媒体１１２は、例えば脱着可能なメモリカードである。また、本装置は、ユーザインターフェースとして機能する操作部１１５を有する。

撮像部１０１は、光を電気信号に変換するセンサが２次元に配列された構造を有する。そして、各センサの前面には赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかのカラーフィルターが配置されている。このカラーフィルターの並びはベイヤー配列である。撮像部１０１は、各センサで得られた各色成の電気信号をデジタルの画像データとしてプレーン形成部２０２に供給する。カラーフィルタはベイヤー配列となっているので、プレーン形成部２０２に供給される画像データの各画素もベイヤー配列である。本第１の実施形態における符号化対象の画像データは、デモザイク処理を行う前段階のベイヤー配列の画像データであるので、以降、このベイヤー配列の画像データをＲＡＷ画像データと言う。

プレーン形成部１０２は、撮像部１０１からのＲＡＷ画像データを受信する。また、プレーン形成部１０２は、ＲＡＷ画像データから、Ｒ成分データで構成されるＲプレーン、Ｇ０成分データで構成されるＧ０プレーン、Ｇ１成分データで構成されるＧ１プレーン、Ｂ成分データで構成されるＢプレーンを形成（分離）する。図２は、ＲＡＷ画像データと、Ｒ，Ｇ０，Ｇ１，Ｂプレーンとの関係を示している。ＲＡＷ画像データの水平方向の画素数をＷ，垂直方向の画素数をＨとしたとき、Ｒ，Ｇ０，Ｇ１，Ｂプレーンの各々の水平方向の画素数はＷ／２、垂直方向の画素数はＨ／２となる。プレーン形成部１０２は、形成したＲプレーン、Ｇ０プレーン、Ｇ１プレーン、Ｂプレーンを、メモリＩ／Ｆ部１０３を介してメモリ１０４に一時的に格納する。

メモリＩ／Ｆ部１０３は、各処理部からメモリ１０４に対するアクセス要求を調停し、メモリ１０４に対する読出し／書き込み制御を行う。

メモリ１０４は、各処理部から出力される各種データを一時的に記憶保持するために設けられるものであり、ＲＡＭで構成される。

プレーン変換部１０５は、メモリＩ／Ｆ部１０３を介して、メモリ１０４からＧ０プレーン、Ｇ１プレーンを読み出す。そして、プレーン変換部１０５は、これら２つのプレーンの相関を利用した所定の画素演算を行い、Ｇ成分の高周波成分（以降ＧＨと呼ぶ）データと低周波成分（以降ＧＬと呼ぶ）データを生成する。そして、プレーン変換部１０５は、生成したＧＬデータで構成されるＧＬプレーン、ＧＨデータで構成されるＧＨプレーンを、メモリＩ／Ｆ部１０３を介してメモリ１０４に書き込む。このプレーン変換部１０５で行う画素演算の詳細は後述する。

色変換部１０６は、メモリ１０４に格納されるＧＬプレーン、Ｒプレーン、ＢプレーンをメモリＩ／Ｆ部１０３を介して読み出し、該３プレーンに対して輝度色差変換を行う。そして、色変換部１０６は、輝度色差変換で得られた各プレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４に再び書き込む。この時、生成される各プレーンは、輝度Ｙを示すＹプレーン、色差Ｕ，Ｖを示すＵプレーン及びＶプレーンである。

周波数変換部１０７は、メモリＩ／Ｆ部１０３を介してメモリ１０４から読み出したＹプレーン、Ｕプレーン、Ｖプレーン、及び、ＧＨプレーンに対して、ウェーブレット変換を実行する。そして、周波数変換部１０７は、このウェーブレット変換で得られた複数種類のサブバンドの変換係数データを量子化部１０９に送る。ここで、ウェーブレット変換とは、周波数解析手法の一つで、画像データの周波数成分を低域（ローパスフィルタ処理を実施）と高域（ハイパスフィルタ処理を実施）に切り分ける処理を指す。入力画像データに対して、２次元ウェーブレット変換を１回実施した（分解レベル１）際のサブバンド形成結果を図４に示す。図４で示す「Ｌ」は低周波成分を意味し、「Ｈ」は高周波成分を意味する。例えば、ＨＨサブバンドは、垂直方向と水平方向についてハイパスフィルタ処理を施して得られた変換係数データの集合である。また、ウェーブレット変換は再帰的に何度も実行しても良い。２回目以降のウェーブレット変換（分解レベル２以降）を行う対象は、直前に実行したウェーブレット変換（ここでは分解レベル１のウェーブレット変換）のＬＬサブバンドとなる。

制御部１０８は、本装置全体の制御を司るものである。そして、制御部１０８は、操作部１１５を介してユーザからの指示を受け付ける。この指示には、記録指示、記録品位、ＲＡＷ画像データの総目標符号量等が含まれる。制御部１０８は、操作部１１５を介してのユーザからの指示入力があると、その指示された情報を制御部１０８内の不図示のメモリに格納する。そして、制御部１０８は、そのメモリに格納された情報に基づき、総目標符号量のうち、Ｙプレーン、Ｕプレーン、Ｖプレーン、及び、ＧＨプレーンの割り当てるプレーン目標符号量を量子化部１０９に設定する。

量子化部１０９は、ウェーブレット変換部１０８から供給される変換係数データに対して、量子化を実行し、量子化後の変換係数データをエントロピー符号化部１１０に送る。なお量子化を行う際に用いる量子化パラメータ（量子化ステップ）は、制御部１０８によって設定されたプレーン目標符号量を基に決定する。

エントロピー符号化部１１０は、量子化後の変換係数をエントロピー符号化して、符号化データを生成する。そして、エントロピー符号化部１１０は、生成された符号化データを出力部１１１に供給する。

出力部１１１は、エントロピー符号化部１１０から供給されてきたＹプレーン、Ｕプレーン、Ｖプレーン、及び、ＧＨプレーンの各符号化データを、予め設定されたフォーマットに従い連結する。そして、出力部１１１は、復号に必要な情報を含むファイルヘッダを生成し、そのファイルヘッダと符号化データとを１つのファイルとして、記憶媒体１１２に書き込む。この記憶媒体１１１は、例えばＳＤカード等の、着脱自在な不揮発性メモリである。

次に、第１の実施形態におけるＲＡＷ画像データ（１フレーム）に対する符号化処理を、図３のフローチャートに従って説明する。なお、第１の実施形態では１フレーム単位での処理を例に示すが、１フレームを複数のタイルに分割し、各タイルに対して後述の符号化処理を実行してもよい。

ステップＳ３０１にて、プレーン形成部１０２は、撮像部１０１が出力したベイヤー配列のＲＡＷ画像データを入力し、Ｒプレーン、Ｇ０プレーン、Ｇ１プレーン、Ｂプレーンを形成する。そして、プレーン形成部１０２は、形成したＲプレーン、Ｇ０プレーン、Ｇ１プレーン、Ｂプレーンを、メモリＩ／Ｆ部１０３を介してメモリ１０４に書き込む。

ステップＳ３０２では、プレーン変換部１０５は、メモリＩ／Ｆ部１０３を介してメモリ１０４から、Ｇ０プレーン、Ｇ１プレーンを読み出し、ＧＬ成分データで構成されるＧＬプレーンを生成する。

このＧＬ成分データの生成方法を図５を用いて説明する。プレーン変換部１０５は、入力したＧ０プレーン、Ｇ１プレーンの同じ座標位置の画素データを加算平均し、その加算平均した値をＧＬ成分データとして生成する。つまり、ＧＬプレーンは、Ｇ０プレーンとＧ１プレーンの加算平均の集合である。加算平均処理は当該画素間の移動平均（積分）処理であって、ローパスフィルタ処理と同意である。そして、加算平均値は、Ｇ成分に対する低周波成分データに相当する。プレーン変換部１０５は、生成したＧＬプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４に書き込む。

ステップＳ３０３にて、プレーン変換部１０５は、メモリＩ／Ｆ部１０３を介してメモリ１０４から、Ｇ０プレーン、Ｇ１プレーンを読み出し、ＧＨ成分データで構成されるＧＨプレーンを生成する。具体的には、図５に示すように、プレーン変換部１０５は、入力したＧ０プレーン、Ｇ１プレーンの同じ座標位置の画素データの差分平均を演算し、その差分平均値をＧＨ成分データとして生成する。つまり、ＧＨプレーンは、Ｇ０プレーンとＧ１プレーンの差分平均値の集合である。差分平均処理は２つのＧ０、Ｇ１プレーン間の移動差分（微分）演算であって、ハイパスフィルタ処理と同意である。そして差分平均値は、Ｇ成分に対する高周波成分データに相当する。そして、プレーン変換部１０５は、生成したＧＨプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４に書き込む。

ステップＳ３０４にて、色変換部１０６は、ＧＬプレーンとＲプレーンとＢプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４から読み出し、輝度色差変換を行い、１枚の輝度プレーン、２枚の色差プレーンを生成する。具体的には、色変換部１０６は式（１）に従って輝度色差変換を行い、輝度成分データで構成されるＹプレーン、色差Ｕの色差成分データで構成されるＵプレーン、及び、色差Ｖの色差成分データで構成されるＶプレーンを生成する。なお、第１の実施形態の輝度色差変換では、整数型可逆コンポーネント変換式を例に説明するが、他の同様の変換式でも適用可能である。

ステップＳ３０５にて、周波数変換部１０７が、Ｙプレーン、Ｕプレーン、Ｖプレーン、並びに、ＧＨプレーンを、メモリＩ／Ｆ部１０３を介してメモリ１０４から読み出す。そして、周波数変換部１０７は、読み出した各プレーンに対してウェーブレット変換を実行してサブバンドを形成する。なお、第１の実施形態の周波数変換は、ＪＰＥＧ等の符号化技術で用いられる離散コサイン変換で代用してもよく、ウェーブレット変換に限定されるものではない。

ステップＳ３０６にて、制御部１０８は、自身のメモリに記憶された情報を参照して、各プレーンのプレーン目標符号量の比率を決定する。制御部１０８は、人間の視感度特性を考慮し、Ｙプレーンのプレーン目標符号量が他のプレーンの目標符号量よりも大きくなるように、各プレーン目標符号量の比率を決定する。なお、Ｙプレーンを除く、Ｕプレーン、Ｖプレーン、ＧＨプレーンのプレーン目標符号量の比率に関しては、各プレーン目標符号量比率が均等になるように割り振ってもよいし、それぞれ変えてもよい。

また、制御部１０８は、プレーンごとに、周波数変換部１０７によってウェーブレット変換を実行して生成した各サブバンドのサブバンド目標符号量も決定する。一般的に、ウェーブレット変換で得られたサブバンドのうち、低域のサブバンドに画像のエネルギーがより多く集中する。従って、同一分解レベル内での各サブバンド目標符号量の比率は、低域サブバンドのサブバンド目標符号量の比率を多く設定することが画質劣化を抑えるために必要である。一方で、ＧＨプレーンはＧ成分に対する高周波成分を多く含んでいる。このため、ＧＨプレーンについては、低域サブバンドのサブバンド目標符号量比率のみを優遇した目標符号量設定方法だけでは、画像のエッジ等の劣化が大きくなる可能性が高い。そのため、ＧＨプレーンのＨＨサブバンドのサブバンド目標符号量の比率は、他のプレーンで設定するＨＨサブバンドのサブバンド目標符号量の比率よりも多く設定する。このように設定することで、高周波成分の情報を残し画像のエッジ等の劣化を抑えることができる。

ここで、各プレーン、各サブバンドのサブバンド目標符号量比率の設定例を図６に示す。図示の場合、各プレーンのプレーン目標符号量の比率は、Ｙ：Ｕ：Ｖ：ＧＨ＝４０：１５：１５：３０（パーセント）である。また、ＧＨプレーン内での各サブバンドのサブバンド目標符号量比率は、ＬＬ：ＨＬ：ＬＨ：ＨＨ＝４０：２０：２０：２０である。そして、ＧＨプレーン以外の各サブバンドのサブバンド目標符号量比率を、ＬＬ：ＨＬ：ＬＨ：ＨＨ＝４５：２２：２２：１１である。制御部１０８は、ＲＡＷデータ全体の総目標符号量が１００％となるようにプレーン毎のプレーン目標符号量の配分比率を決定する。そして、制御部１０８は、１つのプレーンのプレーン目標符号量が１００％となるようにサブバンド目標符号量を決定する。

なお、図６に示すサブバンド形成結果は説明を簡単にするため、ウェーブレット変換によるサブバンド分割回数を１回としている。そして、制御部１０８は、ＲＡＷデータ全体の総目標符号量をＴ、図６の条件でプレーン目標符号量比率を設定した際の、各サブバンド目標符号量を以下のように求める。
［Ｙプレーン］
ＬＬサブバンドのサブバンド目標符号量＝Ｔ×（４０／１００）×（４５／１００）
ＨＬサブバンドのサブバンド目標符号量＝Ｔ×（４０／１００）×（２２／１００）
ＬＨサブバンドのサブバンド目標符号量＝Ｔ×（４０／１００）×（２２／１００）
ＨＨサブバンドのサブバンド目標符号量＝Ｔ×（４０／１００）×（１１／１００）
［Ｕプレーン］
ＬＬサブバンドのサブバンド目標符号量＝Ｔ×（１５／１００）×（４５／１００）
ＨＬサブバンドのサブバンド目標符号量＝Ｔ×（１５／１００）×（２２／１００）
ＬＨサブバンドのサブバンド目標符号量＝Ｔ×（１５／１００）×（２２／１００）
ＨＨサブバンドのサブバンド目標符号量＝Ｔ×（１５／１００）×（１１／１００）
［Ｖプレーン］
ＬＬサブバンドのサブバンド目標符号量＝Ｔ×（１５／１００）×（４５／１００）
ＨＬサブバンドのサブバンド目標符号量＝Ｔ×（１５／１００）×（２２／１００）
ＬＨサブバンドのサブバンド目標符号量＝Ｔ×（１５／１００）×（２２／１００）
ＨＨサブバンドのサブバンド目標符号量＝Ｔ×（１５／１００）×（１１／１００）
［ＧＨプレーン］
ＬＬサブバンドのサブバンド目標符号量＝Ｔ×（３０／１００）×（４０／１００）
ＨＬサブバンドのサブバンド目標符号量＝Ｔ×（３０／１００）×（２０／１００）
ＬＨサブバンドのサブバンド目標符号量＝Ｔ×（３０／１００）×（２０／１００）
ＨＨサブバンドのサブバンド目標符号量＝Ｔ×（３０／１００）×（２０／１００）
なお、図６には、ＲＡＷデータ全体の総目標符号量を１００％としたときに、各サブバンドに割り当てられる目標符号量を、カッコ内に記載している。

ステップＳ３０７にて、量子化部１０９は、周波数変換部１０７から供給される周波数変換後の変換係数データを、その変換係数データが属するプレーン、サブバンドの種類に応じて、量子化する。また、量子化部１０９が用いる量子化パラメータは、ステップＳ３０６で算出したサブバンド目標符号量に基づき決定する。

ステップＳ３０８にて、エントロピー符号化部１１０は、量子化後の各サブバンドの変換係数データを圧縮符号化して、符号化データとして出力部１１１に供給する。出力部１１１は、各プレーンの各サブバンドの符号化データを予め設定された順番に連結する。また、出力部１１１は、復号に必要な情報を含む情報を含むファイルヘッダを作成する。ファイルヘッダに格納する情報には、ＲＡＷ画像データの水平、垂直方向の画素数、１画素当たりのビット数、プレーンとサブバンドの種類毎の量子化パラメータ等である。そして、出力部１１１は、ファイルヘッダとそれに後続する符号化データで構成されるファイルを、記憶媒体１１２に書き込む。

以上のように第１の実施形態によれば、撮像装置１００は、ベイヤー配列のＲＡＷ画像データから、Ｒ，Ｇ０，Ｇ１，Ｂの色成分データをそれぞれ独立したプレーンを生成する。そして撮像装置１００は、そのうちＧ０、Ｇ１プレーンの加算平均処理を行うことで、ＧＬプレーンを生成する。また、撮像装置１００は、Ｇ０、Ｇ１プレーンの減算平均処理を行うことで、ＧＨプレーンを生成する。ここで、加算平均はローパスフィルタ演算であるため、ＧＬプレーンの生成処理はＲＡＷデータのＧ成分に対する低周波成分を抽出する処理に相当する。また、減算平均はハイパスフィルタ演算であるため、ＧＨプレーンの生成処理はＲＡＷデータのＧ成分に対する高周波成分を抽出する処理に相当する。そして、第１の実施形態の撮像装置１００は、符号化効率を更に高めるため、ＧＬ，Ｒ、Ｂプレーンを、輝度色差であるＹ、Ｕ、Ｖプレーンに変換する。そして撮像装置１００は、変換して得られたＹＵＶの各プレーンに加え、ＧＨプレーンそれぞれに対して周波数変換、量子化、エントロピー符号化を行う。

上記のように、第１の実施形態の撮像装置１００（符号化装置）は、周波数変換前にＧ成分に対する高周波成分と低周波成分を予め生成する。この結果、Ｇ０、Ｇ１プレーン形成時のサブサンプリングによって発生していた折り返り雑音の発生を抑制し、周波数変換効率の悪化を軽減することが可能である。そして、Ｒプレーン、ＧＬプレーン、Ｂプレーンを用いて、ＹＵＶへの輝度色差変換が行われる。そして、視感度特性に応じた目標符号量の重み付けを行うため、Ｙプレーンの目標符号量を他のプレーンの目標符号量よりも多く割り当てる。これにより、画質劣化を抑えつつ、符号化処理の圧縮効率を高めることができる。

また、上記第１の実施形態では、制御部１０８が、量子化部１０９に、プレーンの種類とサブバンドの種類に応じたサブバンド目標符号量を設定することで、符号量の調整を行うものとした。しかし、これによって本発明は限定されない。例えば、ＪＰＥＧ２０００でも、ウェーブレット変換で得られた変換係数データを量子化する。そして、ＪＰＥＧ２０００では、量子化で得られた変換係数データを、同じビット位置で構成されるビットプレーンを２値データと見なし、各ビットプレーンを単位にエントロピー符号化（算術符号化）を行う。今、或る着目色成分の着目サブバンドのビットｉのビットプレーンの符号化データをＣｉと表現し、その符号量をＡ（Ｃｉ）と表すとする。このとき、着目色成分の着目サブバンドの符号化データの総符号量Ｃ_totalは、
Ｃ_total＝ΣＡ（Ｃｉ） （ｉ＝０，１，２、…、ＭＳＢ）
である。従って、着目色成分の着目サブバンドの目標符号量をＡ_Targetとするなら、次式を満たすｋの最小値を求める。
Ｃ_total−ΣＡ（Ｃｋ）≦Ａ_Target
そして、ビット０からビットｋまでのビットプレーンの符号化データを破棄すれば良い。以下に説明する各実施形態でも、上記第１の実施形態と同様に量子化パラメータで符号量を調整するものとして説明するが、ＪＰＥＧ２０００を採用することのメリットを生かしてビットプレーンの破棄処理によって符号量調整を行うようにしても良い。

［第１の実施形態の変形例１］
上記第１の実施形態は撮像装置に適用する例であった。以下では、パーソナルコンピュータなどの汎用の情報処理装置で実行するアプリケーションプログラムで実現する例を、第１の実施形態の変形例として説明する。

図１０は、本変形例における情報処理装置のブロック構成図である。本装置の電源がＯＮになると、ＣＰＵ１００１はＲＯＭ１００２に格納されたブートプログラムを実行し、ＨＤＤ（ハードディスクドライブ）１００４からＯＳ（オペレーティングシステム）１００５をＲＡＭ１００３にロードし、ＯＳを実行する。この結果、ＣＰＵ１０１は、キーボード１００９、マウス１０１０を介してユーザからの指示の受け付けと、表示制御部１０１１を制御して表示装置１０１２へのメニュー等の表示が可能となる。つまり、本装置がユーザが利用する情報処理装置として機能する。そして、ユーザがマウス１０１０等からアプリケーションプログラム１００６の起動を指示すると、ＣＰＵ１００１はそのアプリケーションプログラム１００６をＲＡＭ１００２にロードし、実行する。この結果、本装置がＲＡＷ画像データを符号化する画像処理装置として機能する。そして、ＨＤＤ１００４に格納されたＲＡＷ画像データファイル１００７に含まれる未符号化ＲＡＷデータを符号化し、符号化ファイル１００８として生成する。

上記において、アプリケーションプログラム１００６を実行した際の、ＣＰＵ１００１の処理手順は、図３のフローチャートとほぼ同じである。異なる点は、図８の各ステップをＣＰＵ１００１が実行する点である。また、図１におけるメモリ１０４や各ステップでの一時記憶に用いるメモリとして、ＲＡＭ１００３が利用されることになる。

［第１の実施形態の変形例２］
上記第１の実施形態では、目標符号量比率を図６のように設定したが、目標符号量の設定を他の方法で行う場合について、変形例２として説明する。

この変形例では、図１１のように、分解レベル３までウェーブレット変換を行い、各サブバンドに対して目標符号量を割り当てる。なお、本変形例においては、撮像装置１００の操作部１１５および表示部（不図示）を使用して、ユーザにより設定された圧縮率に応じて、各プレーン、各サブバンドへの目標符号量の分配の比率を変えている。圧縮率はユーザが操作部および表示部により設定するものとするが、撮像装置１００の撮影モードに応じて、ユーザが圧縮率を自動的に設定するようにしてもよい。

図１１（ａ）は、圧縮率として１／３圧縮が設定された場合の、各プレーン、各サブバンドの目標符号量の比率を示しており、図１１（ｂ）は、１／５圧縮が設定された場合の、各プレーン、各サブバンドの符号量の比率を示している。

ＲＡＷ画像全体の目標符号量を１００％として、１／３圧縮の場合、Ｙプレーンに３５%、Ｕプレーン、Ｖプレーンにそれぞれ２３%、ＧＨプレーンに１９％の比率で目標符号量が割り当てられる。同様に、１／５圧縮の場合、Ｙプレーンに４５%、Ｕプレーン、Ｖプレーンにそれぞれ１９%、ＧＨプレーンに１７％の比率で目標符号量が割り当てられる。つまり、本変形例では、Ｙプレーンの目標符号量＞Ｕプレーンの目標符号量＝Ｖプレーンの目標符号量＞ＧＨプレーンの目標符号量となるように目標符号量が設定される。

画像データにおいて、輝度成分は重要な成分であるため、Ｙプレーンには、他のプレーンよりも多くの符号量が割り当てられるようにしている。また、Ｙプレーン、Ｕプレーン、Ｖプレーンは、ＲＧＢの画像を形成するのに必要となる成分であるため、ＧＨプレーンよりも多くの符号量が割り当てられるようにしている。

また、１／５圧縮の場合、１／３圧縮の場合よりも全体の符号量が少なくなり、各プレーンの比率を１／３圧縮と同じにすると、Ｙプレーンへ割り当てられる符号量が小さくなってしまう。そこで、１／５圧縮においては、１／３圧縮の場合よりも、Ｙプレーンの目標符号量の分配の比率を大きくすることにより、Ｙプレーンの符号量を確保している。

各プレーンに割り当てられた符号量は、さらに各サブバンドへ割り当てられる。図１１では、ＲＡＷ画像全体の目標符号量を１００％として、各サブバンドへの目標符号量の分配の比率を示している。

画像データでは、高域成分よりも低域成分が重要となる。そのため、Ｙ、Ｕ、Ｖプレーンでは、分解レベル２および分解レベル１において、ＨＬサブバンド＝ＬＨサブバンド＞ＨＨサブバンドとなるように、目標符号量が設定される。それに対し、ＧＨプレーンでは、分解レベル２および分解レベル１において、ＨＬサブバンド＝ＬＨサブバンド≦ＨＨサブバンドとなるように、目標符号量が設定される。これは、ＧＨプレーンは、緑の高域成分に対応するデータであるため、Ｙ、Ｕ、Ｖプレーンよりも、高域成分のデータは重要な役割を持ってくる。そのため、ＧＨプレーンでは、ＨＨサブバンドの目標符号量は、ＨＬサブバンド、ＬＨサブバンドの目標符号量以上になるようにしている。

本変形例において、１／３圧縮の場合、ＧＨプレーンの分解レベル1および２において、ＨＬサブバンド＝ＬＨサブバンド＝ＨＨサブバンドとし、１／５圧縮の場合、ＧＨプレーンの分解レベル１および２において、ＨＬサブバンド＝ＬＨサブバンド＜ＨＨサブバンドとなるように目標符号量を設定した。

しかし、これに限らず、ＨＬサブバンド＝ＬＨサブバンド＞ＨＨサブバンドとなる場合であっても、ＧＨプレーンにおいては、他のプレーンよりも高域成分に重みづけを行って目標符号量を設定するようにしてもよい。例えば、Ｙ、Ｕ、ＶプレーンにおけるＨＬサブバンドまたはＬＨサブバンドに対するＨＨサブバンドの目標符号量の比率よりも、ＧＨプレーンにおけるＨＬサブバンドまたはＬＨサブバンドに対するＨＨサブバンドの目標符号量が大きくなるようにすることにより、ＧＨプレーンの高域成分のサブバンドに重みづけを行って目標符号量を設定することができる。

［第２の実施形態］
第１の実施形態に係る制御部１０８が行う符号量制御では、Ｙプレーンのプレーン目標符号量を他のプレーンの目標符号量よりも多くする、静的な目標符号量設定方法について説明した。それに対し、本第２の実施形態では、プレーン形成部１０２が出力した各色プレーンの分散から、ＧＨプレーンの発生符号量を推定し、ＧＨプレーン、Ｒプレーン、Ｂプレーンのプレーン目標符号量を動的に設定する方法を説明する。

また、第１の実施形態に係るプレーン変換部１０５は、ベイヤー配列を構成する斜め方向に位置するＧ０画素、Ｇ１画素の２画素間で所定の画素演算を行い、Ｇ成分に対する低周波成分及び高周波成分を算出していた。これに対し本第２の実施形態では、隣り合う上下２ラインのＧ０画素とＧ１画素、または、隣り合う左右２列のＧ０画素、Ｇ１画素を単位として所定の画素演算を行い、Ｇ成分に対する低周波成分及び高周波成分を算出する方法についても説明する。

図７は、第２の実施形態に係る撮像装置７００における符号化に係る主要部のブロック構成図である。第１の実施形態における図１との違いは、特徴解析部７０１が追加された点である。この特徴解析部７０１は、メモリ１０４に格納されるＧ０プレーンを読み出し、Ｇ０プレーンの分散を算出する。そして、特徴解析部７０１は、算出した分散情報を符号量制御部１０８に供給する。なお、第２の実施形態における分散算出で用いる色成分はＧプレーンとしたが、Ｒプレーン、Ｇプレーン、Ｂプレーン、それぞれの分散の平均であってもよい。また、本第２の実施形態に係る撮像装置７００が有する構成要素の少なくとも一つはハードウェア構成を有する。

一般的に、エッジが多く存在する画像は分散が大きく、Ｇ成分に対する高周波成分を表すＧＨプレーンの発生符号量は多くなる。従って分散が大きい場合は、ＧＨプレーンのプレーン目標符号量を多めに割り振ることで、画像のエッジを維持し易くする。これが、分散を算出する目的である。

以下、本第２の実施形態における撮像装置１００におけるＲＡＷ画像データの１フレームに対する符号化処理を図８のフローチャートを参照して説明する。なお、ここでは、１フレーム単位での処理を例に示すが、任意の大きさのタイルに分割して、それぞれで独立して後述の符号化処理を実行してもよい。

ステップＳ８０１では、プレーン形成部１０２は、撮像部１０１からのベイヤー配列のＲＡＷ画像データを、図９に示すように、Ｒ、Ｇ、Ｂの色成分毎の独立したプレーンを形成して、メモリＩ／Ｆ部１０３を介してメモリ１０４に書き込む。図９に示すＧプレーンは、ベイヤー配列の上下に隣接する２ライン間で、Ｇ１画素を上方向に移動させてＧ０画素と左右で隣接するように敷き詰めた配置となっている。そのため、Ｇプレーンの水平サイズは、ＲＡＷ画像データの水平方向画素数と同じであり、ＲプレーンやＢプレーンの水平方向の画素数の２倍になる。また、ステップＳ８０１にて、ベイヤー配列の左右に隣接する２列間で、Ｇ０画素を左方向に移動させてＧ１画素と上下で隣接するように敷き詰めた配置としてもよい。この場合、Ｇプレーンの垂直サイズは、ＲプレーンやＢプレーンと比べて２倍になる。

ステップＳ８０２にて、特徴解析部７０１は、ＧプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４から読み出し、分散を算出する。分散の算出式は式（２）に示す通りである。数式中のσ²は分散、ＮはＧプレーンを構成する総画素数、ＸaveはＧプレーンを構成する全画素値の平均値、ＸｉはＧプレーンを構成するｉ番目の画素の値をそれぞれ表す。そして、特徴解析部７０１は、算出した分散σ²を制御部１０８に供給する。

ステップＳ８０３にて、プレーン変換部１０５は、ＧプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４から読み出し、ＧＬプレーンを生成する。そして、プレーン変換部１０５は、生成したＧＬプレーンをメモリＩ／Ｆ部１０３を介して再びメモリ１０４に書き込む。ＧＬプレーンは、例えば、周波数変換部１０７が行うウェーブレット変換のローパスフィルタ処理を水平方向に１回適用することで生成すればよい。ただし、プレーン変換部１０５は、Ｇプレーンの水平方向に沿って偶数番目の画素をサブサンプリングしながらウェーブレット変換のフィルタ処理を実行する。このため、生成されるＧＬプレーンの水平サイズは、ＲプレーンやＢプレーンと同じになる。

また、ステップＳ８０１で、プレーン形成部１０２が、ベイヤー配列の左右に隣接する２列間で、Ｇ０画素とＧ１画素とが上下に隣接するように配置することでＧプレーンを形成したとする。この場合、プレーン変換部１０５は、周波数変換部１０７が行うウェーブレット変換のローパスフィルタ処理を垂直方向に１回適用すればよい。そして、プレーン変換部１０５は、生成したＧＬプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４に書き込む。

ステップＳ８０４にて、プレーン変換部１０５は、ＧプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４から読み出し、ＧＨプレーンを生成する。そして、プレーン変換部１０５は、生成したＧＨプレーンをメモリＩ／Ｆ部１０３を介して再びメモリ１０４に書き込む。ＧＨプレーンは、例えば、周波数変換部１０７が行うウェーブレット変換のハイパスフィルタ処理を水平方向に１回適用することで生成すればよい。ただし、プレーン変換部１０５は、Ｇプレーンの水平方向に沿って奇数番目の画素列をサブサンプリングながらウェーブレット変換のフィルタ処理を実行する。このため、生成されるＧＨプレーンの水平サイズは、ＲプレーンやＢプレーンと同じになる。

また、ステップＳ８０１で、プレーン形成部１０２が、ベイヤー配列の左右に隣接する２列間で、Ｇ０画素とＧ１画素とが上下に隣接するように配置することでＧプレーンを形成したとする。この場合、プレーン変換部１０５は、周波数変換部１０７が行うウェーブレット変換のハイパスフィルタ処理を垂直方向に１回適用すればよい。そして、プレーン変換部１０５は、生成したＧＨプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４に書き込む。

ステップＳ８０５にて、色変換部１０６は、ＧＬプレーンとＲプレーンとＢプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４から読み出し、これら３つのプレーンに対して輝度色差変換処理を実行する。そして、色変換部１０６は、輝度色差変換処理で得られたＹプレーン、Ｕプレーン、ＶプレーンをメモリＩ／Ｆ部１０３を介してメモリ１０４に書き込む。次式（３）は、輝度色差変換の実数型非可逆変換式の例である。
Ｙ＝０．２１２６×Ｒ＋０．７１５２×ＧＬ＋０．０７２２×Ｂ
Ｕ＝−０．１１４６×Ｒ−０．３８５４×ＧＬ＋０．５×Ｂ
Ｖ＝０．５×Ｒ−０．４５４２×ＧＬ−０．０４５８×Ｂ …（３）

ステップＳ８０６にて、周波数変換部１０７は、Ｙプレーン、Ｕプレーン、Ｖプレーン、及び、ＧＨプレーンを、メモリＩ／Ｆ部１０３を介してメモリ１０４から読み出し、ウェーブレット変換を実行して、各プレーンのサブバンドを形成する。そして、周波数変換部１０７は、形成したサブバンドを、量子化部１０９に供給する。

ステップＳ８０７にて、制御部１０８は各プレーンのプレーン目標符号量を決定する。制御部１０８は、Ｙプレーンのプレーン目標符号量が他のプレーン目標符号量よりも大きくなるように、重みづけを行う。ここで設定するプレーン目標符号量の比率は、第１の実施形態と同様にＹ：Ｕ：Ｖ：ＧＨ＝４０：１５：１５：３０とする。なお、サブバンド毎のサブバンド目標符号量の設定方法は第１の実施形態と同様とし、その説明は省略する。
ステップＳ８０８にて、制御部１０８は、予め設定された複数の閾値（実施形態では、Ｔ１、Ｔ２であり、Ｔ１＜Ｔ２の関係を持つ）と、特徴解析部７０１から供給された分散σ²との比較判定を行う。分散σ²が閾値Ｔ１以上、閾値Ｔ２以下の場合は、プレーン目標符号量の比率を変更せずに処理をステップＳ８１０に進める。そうでない場合、つまり、分散σ²＜Ｔ１、又は、分散σ²＞Ｔ２である場合、制御部１０８は処理をステップＳ８０９に進める。

ステップＳ８０９にて、制御部１０８は、特徴解析部７０１が出力する分散σ²に基づいてＧＨプレーン、Ｕプレーン、Ｖプレーンのプレーン目標符号量を修正する。σ²＜Ｔ１である場合、符号化対象のＲＡＷ画像データは平坦な画像と見なせる。それ故、制御部１０８は、ＧＨプレーンのプレーン目標符号量が少なくなるように修正する。具体的には、制御部１０８は、Ｙ：Ｕ：Ｖ：ＧＨプレーンのプレーン目標符号量の比率を、４０：２０：２０：２０と修正する。また、分散σ²＞Ｔ２の場合、符号化対象のＲＡＷ画像データは、輝度について起伏の多い（エッジの多い）画像と見なせる。それ故、制御部１０８は、ＧＨプレーンのプレーン目標符号量を更に多くなるように修正する。具体的には、制御部１０８は、Ｙ：Ｕ：Ｖ：ＧＨのプレーン目標符号量の比率を、４０：１０：１０：４０と修正する。ここで、ＲＡＷ画像データ全体の総目標符号量をＴとした場合、各プレーンの目標符号量は以下のように求められる。
［σ²＜Ｔ１の場合］
Ｙプレーンのプレーン目標符号量＝Ｔ×（４０／１００）
Ｕプレーンのプレーン目標符号量＝Ｔ×（２０／１００）
Ｖプレーンのプレーン目標符号量＝Ｔ×（２０／１００）
ＧＨプレーンのプレーン目標符号量＝Ｔ×（２０／１００）
［Ｔ１≦σ²≦Ｔ２の場合］
Ｙプレーンのプレーン目標符号量＝Ｔ×（４０／１００）
Ｕプレーンのプレーン目標符号量＝Ｔ×（１５／１００）
Ｖプレーンのプレーン目標符号量＝Ｔ×（１５／１００）
ＧＨプレーンのプレーン目標符号量＝Ｔ×（３０／１００）
［Ｔ２＜σ²の場合］
Ｙプレーンのプレーン目標符号量＝Ｔ×（４０／１００）
Ｕプレーンのプレーン目標符号量＝Ｔ×（１０／１００）
Ｖプレーンのプレーン目標符号量＝Ｔ×（１０／１００）
ＧＨプレーンのプレーン目標符号量＝Ｔ×（４０／１００）
そして、各プレーンのサブバンド目標符号量を決定する。サブバンド目標符号量の設定方法は、第１の実施形態と同様である。

ステップＳ８１０にて、量子化部１０９は、周波数変換部１０７で供給された変換係数データを、制御部１０８から設定されたサブバンド目標符号量に対応する量子化パラメータ（量子化ステップ）で量子化する。量子化パラメータは、ステップＳ８０７或いはステップＳ８０９で設定したサブバンド目標符号量に基づき決定される。

ステップＳ８１１にて、エントロピー符号化部１１０は、量子化後の各サブバンドの変換係数データを圧縮符号化して、符号化データとして出力部１１１に供給する。出力部１１１は、各プレーンの各サブバンドの符号化データを予め設定された順番に連結する。また、出力部１１１は、復号に必要な情報を含む情報を含むファイルヘッダを作成する。そして、ファイルヘッダとそれに後続する符号化データで構成されるファイルを、記憶媒体１１２に書き込む。

以上のように本第２の実施形態によれば、少なくとも、先に説明した第１の実施形態と同様の効果を奏することが可能となる。そして、本第２の実施形態では、符号化対象のＲＡＷ画像データに含まれるエッジの多少を推定するため、特徴解析部７０１が、Ｇプレーンについて分散を求めるようにした。そして、制御部１０８は、その分散に基づき、Ｙプレーン以外のＵ，Ｖ，ＧＨプレーンの目標符号量の比率を適応的に決定した。具体的には、特徴解析部７０１が出力する分散が、２つの閾値Ｔ１，Ｔ２間にある場合には、制御部１０８は、その分散は標準的であるものとみなし、デフォルトの目標符号量の比率を設定する。そして、分散が閾値Ｔ２を上回る場合は、エッジ（高周波成分）が多いと判定し、ＧＨプレーンの目標符号量の比率が多くなるようにＧＨプレーン、Ｕプレーン、Ｖプレーンの目標符号量の比率を修正する。逆に、特徴解析部７０１が出力する分散が閾値Ｔ１を下回る場合、制御部１０８は、エッジ（高周波成分）が少ないと推定し、ＧＨプレーンの目標符号量の比率が少なくなるようにＧＨプレーン、Ｕプレーン、Ｖプレーンの目標符号量の比率を修正する。つまり、分散が大きいほど、ＧＨプレーンに割り当てる符号量を増やし、Ｕ，Ｖプレーンに割り当てる符号量を少なくした。この結果、エッジ（高周波成分）の多い画像に対しても、圧縮効率を高めることができ、結果的に主観画質の劣化を抑制することが可能となる。

［第３の実施形態］
上記の実施形態では、ＲＡＷ画像データ全体に対して目標符号量を設定し、設定した目標符号量となるように、符号化を行った。それに対し、本実施形態では、目標符号量を設定するのではなく、サブバンド毎に量子化パラメータを設定し、設定した量子化パラメータで量子化を行うものとする。基本的な構成は第１の実施形態、第２の実施形態と同じであるため、異なる部分のみ説明する。

本実施形態では、ウェーブレット変換（Ｓ３０５、Ｓ８０６）後、目標符号量の算出（Ｓ３０６、、Ｓ８０７）をせずに、各プレーンのサブバンド毎に量子化パラメータの設定を行う。そしてその後、量子化（Ｓ３０７、Ｓ８１０）、エントロピー符号化（Ｓ３０８、Ｓ８１１）を行う。

量子化パラメータについては、以下のように設定する。
Ｙプレーンの３ＬＬの量子化ステップ値：３ＬＬｙ
Ｙプレーンの３ＨＬの量子化ステップ値：３ＨＬｙ
Ｙプレーンの３ＬＨの量子化ステップ値：３ＬＨｙ
Ｙプレーンの３ＨＨの量子化ステップ値：３ＨＨｙ
Ｙプレーンの２ＨＬの量子化ステップ値：２ＨＬｙ
Ｙプレーンの２ＬＨの量子化ステップ値：２ＬＨｙ
Ｙプレーンの２ＨＨの量子化ステップ値：２ＨＨｙ
Ｙプレーンの１ＨＬの量子化ステップ値：１ＨＬｙ
Ｙプレーンの１ＬＨの量子化ステップ値：１ＬＨｙ
Ｙプレーンの１ＨＨの量子化ステップ値：１ＨＨｙ
Ｕ／Ｖプレーンの３ＬＬの量子化ステップ値：３ＬＬｕｖ
Ｕ／Ｖプレーンの３ＨＬの量子化ステップ値：３ＨＬｕｖ
Ｕ／Ｖプレーンの３ＬＨの量子化ステップ値：３ＬＨｕｖ
Ｕ／Ｖプレーンの３ＨＨの量子化ステップ値：３ＨＨｕｖ
Ｕ／Ｖプレーンの２ＨＬの量子化ステップ値：２ＨＬｕｖ
Ｕ／Ｖプレーンの２ＬＨの量子化ステップ値：２ＬＨｕｖ
Ｕ／Ｖプレーンの２ＨＨの量子化ステップ値：２ＨＨｕｖ
Ｕ／Ｖプレーンの１ＨＬの量子化ステップ値：１ＨＬｕｖ
Ｕ／Ｖプレーンの１ＬＨの量子化ステップ値：１ＬＨｕｖ
Ｕ／Ｖプレーンの１ＨＨの量子化ステップ値：１ＨＨｕｖ
ＧＨプレーンの３ＬＬの量子化ステップ値：３ＬＬｇｈ
ＧＨプレーンの３ＨＬの量子化ステップ値：３ＨＬｇｈ
ＧＨプレーンの３ＬＨの量子化ステップ値：３ＬＨｇｈ
ＧＨプレーンの３ＨＨの量子化ステップ値：３ＨＨｇｈ
ＧＨプレーンの２ＨＬの量子化ステップ値：２ＨＬｇｈ
ＧＨプレーンの２ＬＨの量子化ステップ値：２ＬＨｇｈ
ＧＨプレーンの２ＨＨの量子化ステップ値：２ＨＨｇｈ
ＧＨプレーンの１ＨＬの量子化ステップ値：１ＨＬｇｈ
ＧＨプレーンの１ＬＨの量子化ステップ値：１ＬＨｇｈ
ＧＨプレーンの１ＨＨの量子化ステップ値：１ＨＨｇｈ
とすると、
３ＬＬｙ＝３ＨＬｙ＝３ＬＨｙ＝３ＨＨｙ≦２ＨＬｙ＝２ＬＨｙ＜２ＨＨｙ≦１ＨＬｙ＝１ＬＨｙ＜１ＨＨｙ …（４）
３ＬＬｕｖ≦３ＨＬｕｖ＝３ＬＨｕｖ＜３ＨＨｕｖ＜２ＨＬｕｖ＝２ＬＨｕｖ＜２ＨＨｕｖ≦１ＨＬｕｖ＝１ＬＨｕｖ＜１ＨＨｕｖ …（５）
３ＬＬｇｈ＝３ＨＬｇｈ＝３ＬＨｇｈ≦３ＨＨｇｈ≦２ＨＬｇｈ＝２ＬＨｇｈ＝２ＨＨｇｈ＜１ＨＬｇｈ＝１ＬＨｇｈ＝１ＨＨｇｈ …（６）
３ＬＬｙ≦３ＬＬｕｖ＜３ＬＬｇｈ …（７）
１ＨＨｙ＜１ＨＨｕｖ＜１ＨＨｇｈ …（８）
を満たすように、各プレーンのサブバンドの量子化パラメータを設定する。

量子化パラメータを設定する際には、制御部１０８が、上記を満たす量子化ステップ値を算出してもよいし、上記を満たす量子化ステップ値を不図示の不揮発性メモリに予め記憶しておき、不揮発性メモリから読み出して設定するようにしてもよい。また、第１の実施形態の変形例２のように、圧縮率が設定可能な場合は、圧縮率に応じて異なる量子化ステップ値を設定するようにしてもよい。

上記の関係となる量子化ステップ値を設定することで、通常は、Ｙプレーンの発生符号量＞Ｕ／Ｖプレーンの発生符号量＞ＧＨプレーンの発生符号量となる。

これは、画像データにおいて、輝度成分は重要な成分であるため、Ｙプレーンは量子化ステップ値を小さくして、劣化が比較的目立ちにくい他のプレーンよりもより細かく量子化することで劣化を目立たなくしている。また、Ｙプレーン、Ｕプレーン、Ｖプレーンは、ＲＧＢの画像を形成するのに必要となる成分であるため、ＧＨプレーンより量子化ステップ値を小さくて、ＧＨプレーンより細かく量子化することで劣化を目立たなくしている。ＧＨプレーンは、他のプレーンよりも量子化ステップ値を大きくして、他のプレーンよりも粗く量子化することで発生符号量を抑えている。

分解レベル２のサブバンドにおける量子化ステップ値は、Ｙ、Ｕ，Ｖプレーンにおいては、２ＨＬ＝２ＬＨ＜２ＨＨとなっているのに対し、ＧＨプレーンでは、２ＨＬ＝２ＬＨ＝２ＨＨとなっている。分解レベル１のサブバンドにおける量子化ステップ値についても、Ｙ、Ｕ，Ｖプレーンにおいては、１ＨＬ＝１ＬＨ＜１ＨＨとなっているのに対し、ＧＨプレーンでは、１ＨＬ＝１ＬＨ＝１ＨＨとなっている。画像においては低域成分のほうが重要度が高いため、Ｙ、Ｕ，Ｖプレーンにおいては、サブバンドＨＬ、ＬＨは、サブバンドＨＨよりも量子化ステップ値を小さくして、サブバンドＨＨよりも劣化が少なくなるようにしている。そして、サブバンドＨＨは重要度が低いため量子化ステップ値を大きくし、より粗く量子化して発生符号量を抑えるようにしている。それに対し、ＧＨプレーンは、緑の高域成分のデータであるため、他のプレーンよりも高域成分の重要度が高くなる。そのため、Ｙ、Ｕ，Ｖプレーンのように、サブバンドＨＨだけ量子化ステップ値を大きくせずに、サブバンドＨＬ，サブバンドＬＨと同じ量子化ステップ値にし、サブバンドＨＨの劣化を防いでいる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…撮像部、１０２…プレーン形成部、１０３…メモリＩ／Ｆ部、１０４…メモリ、１０５…プレーン変換部、１０６…色変換部、１０７…周波数変換部、１０８…制御部、１０９…量子化部、１１０…エントロピー符号化部、１１１…出力部、１１２…記憶媒体、１１５…操作部、７０１…特徴解析部

Claims (13)

1. ベイヤー配列の画像データを符号化する画像符号化装置であって、
   ベイヤー配列の画像データのＧ０成分データ及びＧ１成分データから、Ｇ成分の低周波成分データで構成されるＧＬ成分データ、及び、Ｇ成分の高周波成分データで構成されるＧＨ成分データを生成する生成手段と、
   ベイヤー配列の画像データのＲ成分データ、Ｂ成分データ、及び、前記ＧＬ成分データから、輝度成分データで構成される輝度成分データ、第１の色差成分データで構成される第１の色差成分データ、第２の色差成分データで構成される第２の色差成分データを生成する輝度色差変換手段と、
   前記輝度成分データ、前記第１の色差成分データ、前記第２の色差成分データ、及び、前記ＧＨ成分データを、成分ごとに符号化する符号化手段と
   を有することを特徴とする画像符号化装置。
2. 前記符号化手段は、前記輝度成分データの符号量＞前記第１の色差成分データの符号量≒前記第２の色差成分データの符号量＞前記ＧＨ成分データの符号量となるように、各成分データを符号化することを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号化手段は、前記輝度成分データの目標符号量＞前記第１の色差成分データの目標符号量≒前記第２の色差成分データの目標符号量＞前記ＧＨ成分データの目標符号量となるように、各成分データの目標符号量を設定し、設定された目標符号量となるように各成分データを符号化することを特徴とする請求項２に記載の画像符号化装置。
4. 前記符号化手段は、成分データをウェーブレット変換して複数のサブバンドを生成し、生成したサブバンド毎に符号化することを特徴とする請求項１に記載の画像符号化装置。
5. 前記符号化手段は、サブバンド毎に目標符号量を設定して、設定された目標符号量となるように符号化を行い、
   所定の分解レベルのサブバンドを符号化する際に、前記輝度成分データ、前記第１の色差成分データ、及び、前記第２の色差成分データについては、ＨＨサブバンドの目標符号量が、ＨＬサブバンド、ＬＨサブバンドの目標符号量よりも小さくなるように、目標符号量を設定し、前記ＧＨ成分データについては、ＨＬまたはＬＨサブバンドの目標符号量に対するＨＨサブバンドの目標符号量の割合が、前記輝度成分データ、前記第１の色差成分データ、または、前記第２の色差成分データよりも大きくなるように、サブバンドの目標符号量を設定することを特徴とする請求項４に記載の画像符号化装置。
6. 前記符号化手段は、前記所定の分解レベルのサブバンドを符号化する際に、前記輝度成分データ、前記第１の色差成分データ、及び、前記第２の色差成分データについては、ＨＨサブバンドの目標符号量が、ＨＬサブバンド、ＬＨサブバンドの目標符号量よりも小さくなるように目標符号量を設定して符号化し、前記第１の色差成分データについては、ＨＨサブバンドの目標符号量が、ＨＬサブバンド、ＬＨサブバンドの目標符号量以上になるように目標符号量を設定して符号化することを特徴とする請求項５に記載の画像符号化装置。
7. 前記符号化手段は、成分データに割り当てられた目標符号量を、各サブバンドに分配することによりサブバンドの目標符号量を決定し、
   さらに、画像データの圧縮率を設定する圧縮率設定手段を有し、
   前記符号化手段は、前記圧縮率設定手段により設定された圧縮率によって、各サブバンドに分配する目標符号量の比率を異ならせることを特徴とする請求項４に記載の画像符号化装置。
8. 前記符号化手段は、サブバンド毎に設定される量子化パラメータに基づいて量子化を行い、量子化後のデータを符号化することを特徴とする請求項４に記載の画像符号化装置。
9. 前記符号化手段は、所定の分解レベルのサブバンドの量子化パラメータを、前記輝度成分データ、前記第１の色差成分データ、及び、前記第２の色差成分データについては、ＨＨサブバンドの量子化パラメータを、ＨＬサブバンド、ＬＨサブバンドの量子化パラメータよりも大きくなるように設定し、前記ＧＨ成分データについては、ＨＨサブバンドの量子化パラメータを、ＨＬサブバンド、および、ＬＨサブバンドの量子化パラメータ以上となるように設定することを特徴とする請求項８に記載の画像符号化装置。
10. 前記符号化手段は、前記所定の分解レベルのサブバンドの量子化パラメータを、前記ＧＨ成分データについては、ＨＨサブバンドの量子化パラメータが、ＨＬサブバンド、および、ＬＨサブバンドの量子化と等しくなるように、設定することを特徴とする請求項８に記載の画像符号化装置。
11. 前記生成手段は、
    前記Ｇ０成分データと前記Ｇ１成分データの加算平均を低周波成分データと算出することで前記ＧＬデータを生成し、
    前記Ｇ０成分データと前記Ｇ１成分データの減算平均を高周波成分データと算出することで前記ＧＨデータを生成する
    ことを特徴とする請求項１に記載の画像符号化装置。
12. ベイヤー配列の画像データを符号化する画像符号化装置の制御方法であって、
    生成手段が、ベイヤー配列の画像データのＧ０成分データ及びＧ１成分データから、Ｇ成分の低周波成分データで構成されるＧＬ成分データ、及び、Ｇ成分の高周波成分データで構成されるＧＨ成分データを生成する生成工程と、
    輝度色差変換手段が、ベイヤー配列の画像データのＲ成分データ、Ｂ成分データ、及び、前記ＧＬ成分データから、輝度成分データで構成される輝度成分データ、第１の色差成分データで構成される第１の色差成分データ、第２の色差成分データで構成される第２の色差成分データを生成する輝度色差変換工程と、
    符号化手段が、前記輝度成分データ、前記第１の色差成分データ、前記第２の色差成分データ、及び、前記ＧＨ成分データを、成分ごとに符号化する符号化工程と
    を有することを特徴とする画像符号化装置の制御方法。
13. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至１１のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。

Images