JP2005086384A - 変換符号化方法および変換復号化方法 - Google Patents

Abstract

【課題】 従来のＭＰ符号化方法では、色信号に対する処理が考慮されていない。
【解決手段】 画像信号を分離手段１１１により３つの成分（Ｙ、Ｕ、Ｖ成分）分離し、各成分の画像信号のそれぞれに対して、変換符号化手段１０２、１０３、１１０によりＭＰ符号化による変換符号化を施す。変換符号化手段１０２、１０３、１１０は、変換基底群保持手段１０４が保持する変換基底群の中から選択した変換基底の線形和により各成分の画像信号を表現し、変換基底の番号、変換基底を配置する画面上の位置、変換基底を加算する際の重みを出力する。変換符号化制御手段１０９は、変換符号化手段１０２、１０３、１１０から出力された番号、位置、重みを符号列中に記述する。
【選択図】 図１

Description

本発明は、画像信号を符号化または復号化する際に用いる変換符号化方法および変換復号化方法に関するものである。

ＪＰＥＧ方式、ＭＰＥＧビデオ方式に代表される従来の画像符号化方式においては、画面を予め定められた単位に分割し、その分割単位で符号化を行う。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２方式においては、マクロブロックと呼ばれる水平１６画素、垂直１６画素の単位で動き補償を行う。そして、動き補償後の残差信号に対しては、画面中の各マクロブロックに含まれるブロックと呼ばれる水平８画素、垂直８画素の単位で変換符号化（離散コサイン変換）を行い、変換係数に量子化等の処理を行うことにより、最終的な符号列を得る。

これに対して近年、低ビットレート用の変換符号化方式として、マッチングパースート（Matching Pursuit、以下ＭＰと略す）方式が提案されている（非特許文献１）。非特許文献１で提案されているＭＰ方式では、動き補償後の残差信号を符号化する際に、予め定められた多数の変換基底（非直交変換基底）を用いて、画面内の任意の位置に一つの変換基底を置く処理を繰り返すことにより符号化する方法である。ＭＰ方式における、符号化方法のフローチャートを図１０に示す。まず、ステップＳ２０００で初期設定を行う。初期設定では、残差信号をｆ（ｘ）とし（ここでｘは１次元または２次元座標を示すものとする）、変換基底ｇｋ（ｘ）の設定を行い、ｎ＝１とする。非特許文献１では、変換基底として４００個の可分型のガボール関数が用いられており、この場合、ｋは１から４００の値を取る。以降、ステップＳ２００１からステップＳ２００３までの処理を繰り返す。ステップＳ２００１では、残差信号ｆ（ｘ）の各位置ｄについて、各変換基底ｇｋ（ｘ）に対する内積値を計算し、その値をα（ｋ，ｄ）とする。ステップＳ２００２ではαの最大値を求め、そのときの位置をｄｎ、変換基底の番号をｋｎ、内積値をαｎとする。位置ｄｎ、変換基底の番号ｋｎ、内積値αｎの組をアトムと呼ぶ。ステップＳ２００３では、ｆ（ｘ）から、ｇｋｎ（ｘ）×αｎを引き、残差信号を更新する。ステップＳ２００４では、終了条件を判定する。終了条件としては、例えば、所定の回数だけステップＳ２００１〜Ｓ２００３の処理を行った場合や、残差信号のエネルギーが所定値を下回った場合、がある。終了条件を満たせば終了となり、終了条件を満たさなければ、ステップＳ２００５でｎを１増加させた後、再びステップＳ２００１以降の処理を繰り返す。
今、ｎ＝Ｎで終了したとすると、符号列には、位置ｄｎ、変換基底の番号ｋｎ、内積値αｎ（ｎ＝１〜Ｎ）が情報として記述される。

従来のＭＰＥＧ方式等では、残差信号の全ブロックに対する離散コサイン変換係数を求め符号化していたが、ＭＰ方式においては、一般的に残差信号のエネルギーの大きい部分から順に符号化を行っていくため、低ビットレート符号化に適している。
R.Neff et. al., "Very Low Bit-Rate Video Coding Based on Matching Persuits", IEEE Trans. on Circuits and Systems for Video Technology, Vol.７, No.１, pp. １５８-１７１, Feb. １９９７.

しかしながら、上記従来の方法では、輝度信号に対する処理については考慮されているが、色信号に対する処理が一切考慮されていない。一般的にカラー画像は、３つまたは４つの成分から構成されており、幅広い応用展開を考えた場合、輝度信号以外の成分への対応が不可欠となる。

本発明は、上記従来の課題を解決するものであり、ＭＰ方式を用いてカラー画像信号の符号化および復号化を効率よく実施することができる変換符号化方法および変換復号化方法を提供することを目的とする。

この課題を解決するために、第１の発明は、画像信号をＮ個（Ｎは１より大きい整数）の成分に分離する分離ステップと、前記Ｎ成分の画像信号のそれぞれに変換符号化を施すＮ個の変換符号化ステップと、前記変換符号化ステップにおいて用いる変換基底群を保持する変換基底保持ステップと、前記Ｎ個の変換符号化ステップの処理を制御する制御ステップと、を具備し、前記変換符号化ステップでは、所定の変換基底群の中から選択した変換基底の線形和により前記１成分の画像信号を表現し、前記変換基底の番号、前記変換基底を配置する画面上の位置、前記変換基底を加算する際の重みを出力し、前記制御ステップでは、前記Ｎ個の変換符号化ステップから出力された前記番号、前記位置、前記重みを符号列中に記述することを特徴とする変換符号化方法である。

第２の発明は、入力符号列を成分別にＮ個（Ｎは１より大きい整数）に分離する分離ステップと、前記Ｎ成分の符号列のそれぞれに変換復号化を施すＮ個の変換復号化ステップと、前記変換復号化ステップにおいて用いる変換基底群を保持する変換基底保持ステップと、前記変換復号化ステップの出力を合成する合成ステップと、を具備し、前記変換復号化ステップでは、前記符号列中に記述されている前記変換基底の番号、前記変換基底を配置する画面上の位置、前記変換基底を加算する際の重みに基づいて１成分の復号化画像を生成し、前記合成ステップでは、前記変換符号化ステップから出力された各成分の復号化画像を合成し、Ｎ成分の復号化画像を生成することを特徴とする変換復号化方法である。

本発明の変換符号化方法は、入力画像を複数の成分に分割し、成分毎に異なる変換基底を用いてＭＰ符号化を行う。この際には、すべての成分の中から、内積値が最大となるアトムを選択し、各成分の残差信号のエネルギーを減少させていく。また、アトムの情報を符号化する際には、全成分の中から選択したアトム順に記述したり、成分別に記述したりすることができる。このような動作により、本発明の変換符号化方法を用いることにより、ある制約条件の元で、未符号化信号の全成分のエネルギー合計値を最小化することができる。また、変換基底群を成分毎に適したものを用いることによって、未符号化信号のエネルギーの減少率を大きくすることができ、符号化効率の向上を図ることができる。また、アトムの情報の符号化時に、全成分の中から選択したアトム順に記述した場合には、復号化側で符号列の復号化中にエラーを検出した場合であっても、画質に対する影響を最小限に押さえることができる。また、成分別に記述した場合には、符号化効率の向上を図ることができる。

また、本発明の変換復号化方法は、入力符号列を複数の成分毎の符号列に分割し、成分毎に異なる変換基底を用いてＭＰ復号化を行う。このような動作により、本発明の変換復号化方法を用いることにより、本発明の変換符号化方法を用いて生成した符号列を正しく復号化することができる。
以上のような効果により、本発明の変換符号化方法および変換復号化方法は、その実用的価値が高い。

以下、本発明の実施の形態について、図１から図５を用いて説明する。

（実施の形態１）
図１は、本発明の変換符号化方法を用いた動画像符号化装置１００のブロック図であり、動き補償手段１０１、第１成分変換符号化手段１０２、第２成分変換符号化手段１０３、第３成分変換符号化手段１１０、変換基底群保持手段１０４、可変長符号化手段１０５、フレームメモリ手段１０７、差分演算手段１０７、加算演算手段１０８、変換符号化制御手段１０９、分離手段１１１から構成される。

入力画像信号は動き補償手段１０１に入力される。入力画像は、Ｙ、Ｕ、Ｖの３つの成分から構成されているものとする。ここでＹ成分が輝度成分であり、Ｕ成分、Ｖ成分は色差成分である。

動き補償手段１０１では、入力画像に対して、フレームメモリ手段１０６に保持されている既に符号化済みの画像を用いて動き検出を行い、動き補償画像と動きベクトルの生成を行う。動き検出および動き補償の方式については、本発明の主題ではないのでどのような方法を用いても良いが、例えば従来のブロックマッチング法等を用いることができる。動き補償手段１０１は、生成した動き補償画像を差分演算手段１０７に出力し、動きベクトルを動きベクトル情報として出力する。

差分演算手段１０７では、入力画像信号と動き補償画像とを入力とし、その差分信号、すなわち残差信号を求めて分離手段１１１に対して出力する。
分離手段１１１は、入力された残差信号を成分毎に分離して、異なる変換符号化手段に対して出力する。今、画像信号はＹ、Ｕ、Ｖ形式であるとしているので、Ｙ成分の残差信号は第１成分変換符号化手段１０２に対して、Ｕ成分の残差信号は第２成分変換符号化手段１０３に対して、Ｖ成分の残差信号は第３成分変換符号化手段１１０に対して出力するとする。

第１成分変換符号化手段１０２、第２成分変換符号化手段１０３、第３成分変換符号化手段１１０は、入力されたＹ成分の残差信号、Ｕ成分の残差信号、Ｖ成分の残差信号に対して、それぞれＭＰ符号化を行う。第１成分変換符号化手段１０２、第２成分変換符号化手段１０３、第３成分変換符号化手段１１０の動作は、変換符号化制御手段１０９により制御される。また、第１成分変換符号化手段１０２、第２成分変換符号化手段１０３、第３成分変換符号化手段１１０において用いる変換基底は、変換基底群保持手段１０４に保持されているものとする。

第１成分変換符号化手段１０２、第２成分変換符号化手段１０３、第３成分変換符号化手段１１０、変換符号化制御手段１０９、変換基底群保持手段１０４での処理方法を図２のフローチャートを用いて説明する。

図２のフローチャートにおいては、Ｙ成分の残差信号をｆｙ（ｘ）で、Ｕ成分の残差信号をｆｕ（ｘ）で、Ｕ成分の残差信号をｆｖ（ｘ）で示す。また、変換基底群保持手段１０４には、Ｙ成分用の変換基底群ｇｙｋ（ｘ）、Ｕ成分用の変換基底群ｇｕｋ（ｘ）、Ｖ成分用の変換基底群ｇｖｋ（ｘ）が保持されているとする。これらの変換基底は、予め学習データを用いて、各成分に適した基底が設定されているものとする。

ステップＳ２０１では、初期値としてｎを１に設定する。以降、終了条件を満たすまで、ステップＳ２０２からステップＳ２０４の処理を繰り返す。
ステップＳ２０２では、Ｙ成分の残差信号ｆｙ（ｘ）の各位置ｄについて、各変換基底ｇｙｋ（ｘ）に対する内積値を計算し、その値をαｙ（ｋ，ｄ）とする。この処理は、第１成分変換符号化手段１０２により行われる。また、Ｕ成分の残差信号ｆｕ（ｘ）の各位置ｄについて、各変換基底ｇｕｋ（ｘ）に対する内積値を計算し、その値をαｕ（ｋ，ｄ）とする。この処理は、第２成分変換符号化手段１０３により行われる。さらに、Ｖ成分の残差信号ｆｖ（ｘ）の各位置ｄについて、各変換基底ｇｖｋ（ｘ）に対する内積値を計算し、その値をαｖ（ｋ，ｄ）とする。この処理は、第３成分変換符号化手段１０３により行われる。

ステップＳ２０３では、αｙ（ｋ，ｄ）、αｕ（ｋ，ｄ）、αｖ（ｋ，ｄ）の中から最大値を求め、そのときの位置をｄｎ、変換基底の番号をｋｎ、内積値をαｎとする。この処理は、変換符号化制御手段１０９により行われる。そして、位置ｄｎ、変換基底番号ｋｎ、内積値αｎの組、すなわちアトムの情報と、このアトムがＹ、Ｕ、Ｖ成分のいずれに対するものか、という情報が、可変長符号化手段１０５に対して出力される。

ステップＳ２０４では、ステップＳ２０３で選択された内積値αｎが、Ｙ成分に対するものである場合には、ｆｙ（ｘ）から位置ｄｎを中心として、ｇｙｋｎ（ｘ）×αｎを引き、Ｙ成分の残差信号を更新する。また、ステップＳ２０３で選択された内積値αｎがＵ成分に対するものである場合には、ｆｕ（ｘ）から位置ｄｎを中心として、ｇｕｋｎ（ｘ）×αｎを引き、Ｕ成分の残差信号を更新する。また、ステップＳ２０３で選択された内積値αｎがＶ成分に対するものである場合には、ｆｖ（ｘ）から位置ｄｎを中心として、ｇｖｋｎ（ｘ）×αｎを引き、Ｖ成分の残差信号を更新する。この処理は、第１成分変換符号化手段１０２、または第２成分変換符号化手段１０３、または第３成分変換符号化手段１１０により行われるが、ステップＳ２０３で選択されなかった成分に対しては、残差信号の更新処理は行わない。この時点での各成分の残差信号は、未符号化信号を表すことになる。

ステップＳ２０５では、終了条件を満たすか否かの判定を行う。終了条件としては、例えば、所定の回数だけステップＳ２０２〜Ｓ２０４の処理を行った場合や（これはｎの値により変換符号化制御手段１０９で判定できる）、残差信号のエネルギーが所定値を下回った場合（これは各成分の残差信号のエネルギーのそれぞれを第１成分変換符号化手段１０２、第２成分変換符号化手段１０３、第３成分変換符号化手段１１０で計算して変換符号化制御手段１０９に渡し、いずれかの成分のエネルギーが所定のしきい値を下回った場合、またはすべての成分のエネルギーが所定のしきい値を下回った場合として、変換符号化制御手段１０９で判定する）、発生符号量が所定量に達した場合（これは可変長符号化手段１０５により生成した符号列の符号量を計数した結果を変換符号化制御手段１０９により判定する）等がある。終了条件を満たせばステップＳ２０７に処理が移り、終了条件を満たさなければ、ステップＳ２０６でｎを１増加させた後、再びステップＳ２０２以降の処理を繰り返す。

ステップＳ２０７では、各成分の残差復号化画像を生成する。これはそれぞれ第１成分変換符号化手段１０２、第２成分変換符号化手段１０３、第３成分変換符号化手段１１０により行われるが、それぞれの成分毎に変換符号化制御手段１０９で選択されたすべてのαｎに対して、ｇｙｋｎ（ｘ）×αｎの総和、ｇｕｋｎ（ｘ）×αｎ、ｇｖｋｎ（ｘ）×αｎの総和を計算することにより得られる。この残差復号化画像は、加算演算手段１０８に対して出力される。

加算演算手段１０８では、動き補償手段１０１から出力された動き補償画像と、第１成分変換符号化手段１０２、第２成分変換符号化手段１０３、第３成分変換符号化手段１１０とから出力された残差復号化画像を加算することにより、局所復号化画像を生成し、これをフレームメモリ手段１０６に保持する。この局所復号化画像は、以降の画像の符号化において参照画像として用いられる。

可変長符号化手段１０５では、変換符号化制御手段１０９から入力された、アトムの情報（位置ｄｎ、変換基底番号ｋｎ、内積値αｎ）、およびこれがＹ、Ｕ、Ｖのいずれの成分に対するものか、という情報に対して、可変長符号化を行って符号列を生成し出力する。

可変長符号化の第１の方法としては、アトムの情報とそれがどの成分に対するものか（例えばＹ、Ｕ、Ｖ成分）という情報をそれぞれの可変長符号化テーブルを用いてそのまま可変長符号化する方法がある。この場合は、アトムの順序はどのような順序でも良いが、例えば、変換符号化制御手段１０９により選択した順に符号列中に記述することにより、復号化側で符号列の復号化中にエラーを検出した場合であっても、画質に対する影響を最小限に押さえることができる。なぜならば、変換符号化制御手段１０９では、残差信号のエネルギーを最も小さくする事ができる順に選択がなされるからである。この場合の符号列のフォーマット例を図３（ａ）に示す。またこの際、アトムの情報は、前の値との差分値を符号化しても良い。例えば、位置の差分、基底番号の差分、内積値の差分である。そのようにすることにより、符号化効率の向上を図ることができる。また、成分別に可変長符号化を行っていることから、各成分の情報を容易に分離することができ、成分毎の処理が実施しやすくなる。

可変長符号化の第２の方法としては、まず成分別（Ｙ、Ｕ、Ｖ別）にアトムを並べ直す。並べ直す方法としては、画面内の走査順（左上から右下に向かってのラスタ順の走査）等がある。そして、成分別に可変長符号化を行う。１成分の符号列としては、アトムの個数、画面全体の位置情報、そしてアトムの個数分の変換基底番号と内積値の組、が記述される。この場合の符号列のフォーマット例を図３（ｂ）に示す。ここで、画面全体の位置情報の可変長符号化方法としては、画面をラスタ順に走査し、最初に存在する代表点の左端からの距離、そして２番目以降に存在する代表点の直前の代表点からの距離、次に代表点が存在するラインへの垂直距離、の３つのパラメータに分類し、それぞれに異なる可変長符号テーブルを用いることにより符号化する方法等がある。図３（ｂ）に示すような可変長符号化列フォーマットを用いることによって、位置情報の符号量を削減することができ、符号化効率を向上することができる。

以上のように本発明の変換符号化方法は、入力画像を複数の成分に分割し、成分毎に異なる変換基底を用いてＭＰ符号化を行う。この際には、すべての成分の中から、内積値が最大となるアトムを選択し、各成分の残差信号のエネルギーを減少させていく。また、アトムの情報を符号化する際には、全成分の中から選択したアトム順に記述したり、成分別に記述したりすることができる。

このような動作により、本発明の変換符号化方法を用いることにより、ある制約条件（アトムの個数や符号量の制限）の元で、未符号化信号の全成分のエネルギー合計値を最小化することができる。また、変換基底群を成分毎に適したものを用いることによって、未符号化信号のエネルギーの減少率を大きくすることができ、符号化効率の向上を図ることができる。また、アトムの情報の符号化時に、全成分の中から選択したアトム順に記述した場合には、復号化側で符号列の復号化中にエラーを検出した場合であっても、画質に対する影響を最小限に押さえることができる。また、成分別に記述した場合には、符号化効率の向上を図ることができる。

なお、本発明の変換符号化方法の実施の形態においては、動き補償手段１０１において入力画像に対して動き補償を行った後、動き補償残差信号に対して変換符号化を施す場合について説明したが、動き補償を行なわず入力画像の原信号に対して変換符号化を施しても良い。この場合には、動き補償手段１０１、フレームメモリ手段１０６は不要となる。

また、本発明の変換符号化方法の実施の形態においては、動き補償手段１０１において生成した動きベクトル情報符号列と、可変長符号化手段１０５で生成した変換符号化情報符号列を別々に出力する場合について説明したが、これは動きベクトル情報符号列を可変長符号化手段１０５に入力し、動きベクトル情報符号列と変換符号化情報符号列とを統合して一つの符号列として出力してもよい。

また、本発明の変換符号化方法の実施の形態においては、画像信号がＹ、Ｕ、Ｖの３つの成分を有している場合について説明したが、これは他の成分で構成されていても良い。他の成分の構成例としては、Ｒ、Ｇ、ＢやＣ、Ｍ、Ｙ、Ｋ等がある。

また、本発明の変換符号化方法の実施の形態においては、Ｙ、Ｕ、Ｖの各成分に対して、異なる変換基底群を用いる場合について説明したが、すべての成分に対して同じ変換基底を用いても良いし、色差成分であるＵ、Ｖ成分に対して同じ変換基底を用いても良い。また、Ｙ成分に対する変換基底群を所定の処理により変換したものをＵ成分、Ｖ成分の変換基底群としてもよい。例えば、所定の変換方法としては、変換基底を低周波数成分にシフトさせるように変換する方法が考えられる。これは、輝度成分に対して、色差成分は低周波数成分を有しているためである。これにより、成分毎に変換基底群を用意するよりも符号化効率は若干低下するが、変換基底群保持手段１０４で保持する変換基底の数を減らすことができ、使用メモリ量を削減することができる。またこの場合、どのような構成の変換基底群を用いたかを符号列中に記述してもよい。例えば、変換基底群の生成パラメータを記述する、予め定められた変換基底の番号を複数指定することにより変換基底群を定義する、すべての成分に対して同じ変換基底を用いていることを示す情報を記述する、Ｕ、Ｖ成分に対しては同じ変換基底群を用いることを示す情報を記述する、Ｙ成分に対する変換基底群を所定の処理により変換したものをＵ成分、Ｖ成分の変換基底群とすることを示す情報またはその際の変換方法を示す情報を記述する、等である。

また、本発明の変換符号化方法の実施の形態においては、図２のステップＳ２０３において、全成分の中から内積値αが最大となるアトムを検出したが、ステップＳ２０３の最大値の評価においては、Ｕ成分、Ｖ成分に対する内積値に対しては所定の係数を乗じたものを用いて、最大値の評価を行ってもよい。これは、一般的に輝度成分よりも色差成分の方が、残差信号のエネルギー値が小さくなるため、単純に内積値を比較すると、輝度成分のみが符号化される可能性があるためである。所定の係数として１．０以上の値を用いることにより、色差成分であるＵ成分、Ｖ成分が符号化される割合を増やすことができ、色差成分の画質を向上させることができる。ただし、この場合であっても、ステップＳ２０４の処理においては、ステップＳ２０２で求めた内積値を用いる。

また、本発明の変換符号化方法の実施の形態においては、各アトムの内積値をそのまま可変長符号化する場合について説明したが、この値に対して量子化処理を施しても良い。これにより、内積値に対する符号量を減らすことができる。この際には、ステップＳ２０４の処理においても、量子化された内積値を用いて演算を行う。また、この際には、Ｙ、Ｕ、Ｖの各成分に対する量子化値を変えることにより、各成分に対する重みを変えることができる。またこの際には、量子化値を符号列中に記述する。

また、本発明の変換符号化方法の実施の形態においては、図２のフローチャートを用いて説明した処理については、ステップＳ２０２からステップＳ２０４の繰り返し処理におけるｎ回目の処理で、ステップＳ２０４で残差信号が更新されなかった部分においては、ｎ＋１回目のステップＳ２０２の処理で、内積値の計算を行う必要はなく、ｎ回目のステップＳ２０２において計算した内積値を記憶しておき、その値をｎ＋１回目のステップＳ２０３で用いればよい。これにより、内積計算の処理量を大幅に削減することができる。

また、本発明の変換符号化方法の実施の形態においては、符号列フォーマットの第２の例として、図３（ｂ）に示すフォーマットを用いて説明したが、ある成分のアトムの数が０である場合には、その成分に対する位置情報、変換基底番号、内積値のデータは符号列中には記述されない。

（実施の形態２）
図４は本発明の変換復号化方法を用いた動画像復号化装置４００の構成を示すブロック図であり、可変長復号化手段４０１、第１成分可変長復号化手段４０２、第２成分可変長復号化手段４０３、第３成分可変長復号化手段４０４、変換基底群保持手段４０５、動き補償手段４０６、フレームメモリ手段４０７、加算演算手段４０８、合成手段４０９から構成される。

可変長復号化手段４０２には、図３（ａ）または図３（ｂ）に示すフォーマットの変換符号化情報符号列、および動き補償用の動きベクトル情報符号列が入力されるものとする。可変長復号化手段４０２は、入力符号列に対して可変長復号化を施し、第１成分変換復号化手段４０２、第２成分変換復号化手段４０３、第３成分変換復号化手段４０４に対して出力する。例えば符号列が図３（ａ）のフォーマットである場合には、アトムの個数を復号化した後、順に各アトムの情報を復号化していく。そして、復号化したアトム情報がどの成分のものかに応じて、第１成分変換復号化手段４０２、第２成分変換復号化手段４０３、第３成分変換復号化手段４０４のいずれかに対して出力する。また符号列が図３（ｂ）のフォーマットである場合には、Ｙ成分のアトム情報を順に復号化した後、Ｕ成分のアトム情報を順に復号化し、さらにＶ成分のアトム情報を順に復号化する。そして、復号化したアトム情報がどの成分のものかに応じて、第１成分変換復号化手段４０２、第２成分変換復号化手段４０３、第３成分変換復号化手段４０４のいずれかに対して出力する。ここでは例えば、Ｙ成分は第１成分変換復号化手段４０２に、Ｕ成分は第２成分変換復号化手段４０３に、Ｖ成分は第３成分変換復号化手段４０４に対して出力するものとする。

第１成分変換復号化手段４０２、第２成分変換復号化手段４０３、第３成分変換復号化手段４０４は、入力された各成分のアトム情報（位置ｄｎ、変換基底番号ｋｎ、内積値αｎ）から残差信号を復号化する。復号化処理において用いる変換基底群は、変換基底群保持手段４０５から得る。変換基底群保持手段４０５では、Ｙ成分用の変換基底群ｇｙｋ（ｘ）、Ｕ成分用の変換基底群ｇｕｋ（ｘ）、Ｖ成分用の変換基底群ｇｖｋ（ｘ）を保持しているとする。復号化処理においては、例えば、第１成分変換復号化手段４０２では、すべてのアトムについて、位置ｄｎにｇｙｋｎ（ｘ）×αｎを加算する処理を繰り返すことにより、Ｙ成分の残差画像の復号化を行う。同様に、第２成分変換復号化手段４０３ではＵ成分の、第３成分変換復号化手段４０４ではＶ成分の残差画像の復号化を行う。ここで、内積値αｎが量子化されている場合には、加算に先立って逆量子化の処理を施す。復号化された各成分の残差画像は合成手段４０９に対して出力される。

合成手段４０９は、第１成分変換復号化手段４０２、第２成分変換復号化手段４０３、第３成分変換復号化手段４０４から出力された各成分の残差画像を合成してカラーの残差画像を生成し、加算演算手段４０８に対して出力する。

一方、動き補償手段４０６は、入力である動きベクトル情報符号列を入力とし、フレームメモリ手段４０７から既に復号化済みの参照ピクチャの画像データを動きベクトル情報に従って取り出し、動き補償画像を生成する。動き補償画像は加算演算手段４０８に対して出力される。

加算演算手段４０８では、合成手段４０９から入力された残差画像と、動き補償手段４０６から入力された動き補償画像との加算を行い、復号化画像を生成する。復号化画像信号は、出力されると共に、フレームメモリ手段４０７に保持される。フレームメモリ手段４０７に保持された復号化画像は、以降の画像の復号化において参照画像として用いられる。
以上のように本発明の変換復号化方法は、入力符号列を複数の成分毎の符号列に分割し、成分毎に異なる変換基底を用いてＭＰ復号化を行う。

このような動作により、本発明の変換復号化方法を用いることにより、本発明の変換符号化方法を用いて生成した符号列を正しく復号化することができる。
なお、本発明の変換復号化方法の実施の形態においては、変換符号化情報符号列は残差画像の符号列である場合について説明したが、これは動き補償を行なわずに入力画像の原信号に対して変換符号化を施して生成した符号列であってもよい。この場合には、動き補償手段４０６と、フレームメモリ手段４０７とは不要となる。

また、本発明の変換復号化方法の実施の形態においては、動きベクトル情報符号列と、変換符号化情報符号列とが別々に入力される場合について説明したが、これは２つの符号列が統合された符号列を入力としてもよい。この場合、可変長復号化手段１０１が、動きベクトル情報符号列を分離して動き補償手段１０６に対して出力するようにすればよい。

また、本発明の変換復号化方法の実施の形態においては、画像信号がＹ、Ｕ、Ｖの３つの成分を有している場合について説明したが、これは他の成分で構成されていても良い。他の成分の構成例としては、Ｒ、Ｇ、ＢやＣ、Ｍ、Ｙ、Ｋ等がある。

また、本発明の変換復号化方法の実施の形態においては、Ｙ、Ｕ、Ｖの各成分に対して、異なる変換基底群を用いる場合について説明したが、すべての成分に対して同じ変換基底を用いても良いし、色差成分であるＵ、Ｖ成分に対して同じ変換基底を用いても良い。また、Ｙ成分に対する変換基底群を所定の処理により変換したものをＵ成分、Ｖ成分の変換基底群としてもよい。例えば、所定の変換方法としては、変換基底を低周波数成分にシフトさせるように変換する方法が考えられる。これにより、変換基底群保持手段１０４で保持する変換基底の数を減らすことができ、使用メモリ量を削減することができる。

また、本発明の変換復号化方法の実施の形態においては、変換基底群保持手段４０５が変換基底群を保持している場合について説明したが、例えば符号列中に変換基底群を定義する符号列が記述されている場合には、その定義情報に従って、変換基底群保持手段４０５が変換基底群の生成を行ってもよい。定義情報としては、例えば、変換基底群の生成パラメータ、予め定められた変換基底から選択指定された番号、すべての成分に対して同じ変換基底を用いていることを示す情報、Ｕ、Ｖ成分に対しては同じ変換基底群を用いることを示す情報、Ｙ成分に対する変換基底群を所定の処理により変換したものをＵ成分、Ｖ成分の変換基底群とすることを示す情報またはその際の変換方法を示す情報、等がある。

（実施の形態３）
さらに、上記各実施の形態で示した変換符号化方法および変換復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図５は、上記各実施の形態の変換符号化方法および変換復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。変換符号化方法および変換復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより変換符号化方法および変換復号化方法を実現する上記変換符号化方法および変換復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態４）
さらにここで、上記実施の形態で示した変換符号化方法および変換復号化方法の応用例とそれを用いたシステムを説明する。

図６は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。
図７は、上記実施の形態で説明した変換符号化方法および変換復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図８を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図８に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した変換符号化方法および変換復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明にかかる変換符号化方法および変換復号化方法は、カラー画像に対して効率よく符号化を行うことができる効果を有し、蓄積、伝送、通信等における画像符号化方法、画像復号化方法として有用である。

本発明の変換符号化方法を用いた変換符号化装置の一構成例を示すブロック図（実施の形態１）である。 本発明の変換符号化方法の処理方法を示すフローチャート（実施の形態１）である。 本発明の変換符号化方法により生成される符号列、または本発明の変換復号化方法への入力符号列のフォーマット例を示す模式図（実施の形態１、実施の形態２）である。 本発明の変換復号化方法を用いた変換復号化装置の一構成例を示すブロック図（実施の形態２）である。 上記各実施の形態の変換符号化方法および変換復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態３）である。 コンテンツ供給システムの全体構成を示すブロック図（実施の形態４）である。 変換符号化方法および変換復号化方法を用いた携帯電話の例を示す図（実施の形態４）である。 携帯電話のブロック図（実施の形態４）である。 ディジタル放送用システムの例を示す図（実施の形態４）である。 従来のマッチングパースート符号化方法の処理内容を示すフローチャートである。

符号の説明

１０１ 動き補償手段
１０２ 第１成分変換符号化手段
１０３ 第２成分変換符号化手段
１０４ 変換基底群保持手段
１０５ 可変長符号化手段
１０６ フレームメモリ手段
１０７ 差分演算手段
１０８ 加算演算手段
１０９ 変換符号化制御手段
１１０ 第３成分変換符号化手段
１１１ 分離手段
４０１ 可変長復号化手段
４０２ 第１成分変換復号化手段
４０３ 第２成分変換復号化手段
４０４ 第３成分変換復号化手段
４０５ 変換基底群保持手段
４０６ 動き補償手段
４０７ フレームメモリ手段
４０８ 加算演算手段
４０９ 合成手段
Ｃｓ コンピュータ・システム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ

Claims (17)

1. 画像信号をＮ個（Ｎは１より大きい整数）の成分に分離する分離ステップと、
   前記Ｎ成分の画像信号のそれぞれに変換符号化を施すＮ個の変換符号化ステップと、
   前記変換符号化ステップにおいて用いる変換基底群を保持する変換基底保持ステップと、
   前記Ｎ個の変換符号化ステップの処理を制御する制御ステップと、を具備し、
   前記変換符号化ステップでは、所定の変換基底群の中から選択した変換基底の線形和により前記１成分の画像信号を表現し、前記変換基底の番号、前記変換基底を配置する画面上の位置、前記変換基底を加算する際の重みを出力し、
   前記制御ステップでは、前記Ｎ個の変換符号化ステップから出力された前記番号、前記位置、前記重みを符号列中に記述する
   ことを特徴とする変換符号化方法。
2. 請求項１記載の変換符号化方法であって、
   前記制御ステップでは、前記重みの大きい順に、前記番号、前記位置、前記重みを符号列中に記述する
   ことを特徴とする変換符号化方法。
3. 請求項１記載の変換符号化方法であって、
   前記制御ステップでは、前記成分別に、前記番号、前記位置、前記重みを符号列中に記述する
   ことを特徴とする変換符号化方法。
4. 請求項１記載の変換符号化方法であって、
   前記画像信号は、１つの輝度成分と、１つ以上の色差成分とから構成され、
   前記変換基底保持ステップでは、すべての成分の画像信号に対して用いる１つの変換基底群を保持する
   ことを特徴とする変換符号化方法。
5. 請求項１記載の変換符号化方法であって、
   前記画像信号は、１つの輝度成分と、１つ以上の色差成分とから構成され、
   前記変換基底保持ステップでは、前記輝度成分の画像信号用の変換基底群と前記色差成分の画像信号用の変換基底群の２つの変換基底群を保持する
   ことを特徴とする変換符号化方法。
6. 請求項１記載の変換符号化方法であって、
   前記画像信号は、１つの輝度成分と、１つ以上の色差成分とから構成され、
   前記変換基底保持ステップでは、前記輝度成分の画像信号用の変換基底群し、
   色差成分用の前記変換符号化ステップでは、前記輝度成分用の変換基底群を所定の方法により変更した変換基底群を用いて処理を行う
   ことを特徴とする変換符号化方法。
7. 請求項１記載の変換符号化方法であって、
   前記制御ステップでは、各成分に対して用いた変換基底群に関する情報を符号列に記述する
   ことを特徴とする変換符号化方法。
8. 請求項１記載の変換符号化方法であって、
   前記画像信号は、１つの輝度成分と、１つ以上の色差成分とから構成され、
   前記変換符号化ステップでは、前記画像信号に対して、前記変換基底との内積値を計算し、
   前記制御ステップでは、前記内積値が最大となる変換基底を選択し、前記変換基底を用いた際の内積値を前記重みとし、前記内積値を比較する際に、色差成分に対する内積値に対して重みを乗算した値を用いて比較する
   ことを特徴とする変換符号化方法。
9. 請求項１記載の変換符号化方法であって、
   前記制御ステップでは、前記重みに量子化を施した値を符号列に記述し、成分別に量子化値を変更することができる
   ことを特徴とする変換符号化方法。
10. 入力符号列を成分別にＮ個（Ｎは１より大きい整数）に分離する分離ステップと、
    前記Ｎ成分の符号列のそれぞれに変換復号化を施すＮ個の変換復号化ステップと、
    前記変換復号化ステップにおいて用いる変換基底群を保持する変換基底保持ステップと、
    前記変換復号化ステップの出力を合成する合成ステップと、を具備し、
    前記変換復号化ステップでは、前記符号列中に記述されている前記変換基底の番号、前記変換基底を配置する画面上の位置、前記変換基底を加算する際の重みに基づいて１成分の復号化画像を生成し、
    前記合成ステップでは、前記変換符号化ステップから出力された各成分の復号化画像を合成し、Ｎ成分の復号化画像を生成する
    ことを特徴とする変換復号化方法。
11. 請求項１０記載の変換復号化方法であって、
    前記入力符号列は、１つの輝度成分と、１つ以上の色差成分とから構成され、
    前記変換基底保持ステップでは、すべての成分に対して用いる１つの変換基底群を保持する
    ことを特徴とする変換復号化方法。
12. 請求項１０記載の変換復号化方法であって、
    前記入力符号列は、１つの輝度成分と、１つ以上の色差成分とから構成され、
    前記変換基底保持ステップでは、前記輝度成分用の変換基底群と前記色差成分用の変換基底群の２つの変換基底群を保持する
    ことを特徴とする変換復号化方法。
13. 請求項１０記載の変換復号化方法であって、
    前記入力符号列は、１つの輝度成分と、１つ以上の色差成分とから構成され、
    前記変換基底保持ステップでは、前記輝度成分用の変換基底群し、
    色差成分用の前記変換復号化ステップでは、前記輝度成分用の変換基底群を所定の方法により変更した変換基底群を用いて処理を行う
    ことを特徴とする変換復号化方法。
14. 請求項１０記載の変換復号化方法であって、
    前記変換基底保持ステップでは、符号列に記述された、各成分に対して用いた変換基底群に関する情報に基づいて変換基底群を生成し保持する
    ことを特徴とする変換復号化方法。
15. コンピュータにより、請求項１記載の変換符号化方法を実行させるためのプログラムであって、
    上記プログラムはコンピュータに、
    画像信号をＮ個（Ｎは１より大きい整数）の成分に分離する分離ステップと、
    前記Ｎ成分の画像信号のそれぞれに変換符号化を施すＮ個の変換符号化ステップと、
    前記変換符号化ステップにおいて用いる変換基底群を保持する変換基底保持ステップと、
    前記Ｎ個の変換符号化ステップの処理を制御する制御ステップと、を実行させ、
    前記変換符号化ステップでは、所定の変換基底群の中から選択した変換基底の線形和により前記１成分の画像信号を表現し、前記変換基底の番号、前記変換基底を配置する画面上の位置、前記変換基底を加算する際の重みを出力し、
    前記制御ステップでは、前記Ｎ個の変換符号化ステップから出力された前記番号、前記位置、前記重みを符号列中に記述する
    ことを特徴とするプログラム。
16. コンピュータにより、請求項１０記載の変換復号化方法を実行させるためのプログラムであって、
    上記プログラムはコンピュータに、
    入力符号列を成分別にＮ個（Ｎは１より大きい整数）に分離する分離ステップと、
    前記Ｎ成分の符号列のそれぞれに変換復号化を施すＮ個の変換復号化ステップと、
    前記変換復号化ステップにおいて用いる変換基底群を保持する変換基底保持ステップと、
    前記変換復号化ステップの出力を合成する合成ステップと、を実行させ、
    前記変換復号化ステップでは、前記符号列中に記述されている前記変換基底の番号、前記変換基底を配置する画面上の位置、前記変換基底を加算する際の重みに基づいて１成分の復号化画像を生成し、
    前記合成ステップでは、前記変換符号化ステップから出力された各成分の復号化画像を合成し、Ｎ成分の復号化画像を生成する
    ことを特徴とするプログラム。
17. データを格納した記録媒体であって、
    上記データは、
    画像信号をＮ個（Ｎは１より大きい整数）の成分に分離する分離ステップと、
    前記Ｎ成分の画像信号のそれぞれに変換符号化を施すＮ個の変換符号化ステップと、
    前記変換符号化ステップにおいて用いる変換基底群を保持する変換基底保持ステップと、
    前記Ｎ個の変換符号化ステップの処理を制御する制御ステップと、を具備し、
    前記変換符号化ステップでは、所定の変換基底群の中から選択した変換基底の線形和により前記１成分の画像信号を表現し、前記変換基底の番号、前記変換基底を配置する画面上の位置、前記変換基底を加算する際の重みを出力し、
    前記制御ステップでは、前記Ｎ個の変換符号化ステップから出力された前記番号、前記位置、前記重みを符号列中に記述する変換符号化方法が生成した符号列である
    ことを特徴とする記録媒体。
    

Images