JP2011223068A - 符号化装置、復号装置及びプログラム - Google Patents

Abstract

【課題】フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化する符号化装置、復号装置及びプログラムを提供する。
【解決手段】本発明の符号化装置（１０）は、前記差分信号に対して第１の直交変換処理を施して符号化するか、又は前記差分信号に対して前記第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理を施して符号化するかを切り替える切替スイッチと、前記フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに前記切替手段の切り替えを制御するコスト算出部とを備える直交変換部（１３）と、前記第１の直交変換処理及び／又は前記第２の直交変換処理によって得られる直交変換係数に対して量子化処理を施す量子化部（１４）とを備え、量子化部（１４）は、前記第１の直交変換処理及び前記第２の直交変換処理に対して共通の正規化係数マトリクスを用いて量子化する。
【選択図】図１

Description

本発明は、画像符号化技術に関し、特に、非可逆な符号化方式による画像処理装置、符号化装置、復号装置及びプログラムに関する。

フレーム画像の画素値を直交変換によって直交変換係数で表し、この直交変換係数に対して必要に応じて量子化及びエントロピー符号化を施すことによって、少ない信号表現で品質を損なわずに、或いは最小限の品質の低下によって信号を伝送する画像符号化技術が知られている。特に、映像符号化の分野などで利用される技術である。

代表的な直交変換としては、ＤＦＴ（離散フーリエ変換）、ＤＣＴ（離散コサイン変換）、ＤＷＴ（離散ウェーブレット変換）が知られている。特に、小領域にフレーム画像を分割して直交変換を施すブロックベースの映像符号化では、ＤＣＴが最も広く用いられている。

広く用いられている映像符号化としてＭＰＥＧが知られている。ＭＰＥＧ−２やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４は、フレーム画像を小領域に分割し、例えば８×８画素ブロックごとに直交変換を施し、各直交変換係数を量子化し、エントロピー符号化を施す。このような符号化では、フレーム画像の画像信号と直交変換の特性からＤＣＴが広く用いられている。

従来からの動画像用の符号化装置（例としてＭＰＥＧ−４ＡＶＣ／Ｈ．２６４）の構成例を図１７に示す。

［符号化装置］
一般的に動画像の符号化では動き補償予測、直交変換、量子化、エントロピー符号化によって画像を符号化する。動き補償予測や画面内予測を用いる符号化方式の場合、復号された画像を予測に用いるため符号化装置内に復号装置を内包している。

従来からの符号化装置１００は、ブロック化部１０１と、減算部１０２と、整数精度変換部１０５（直交変換部１０３及び量子化部１０４からなる）と、整数精度逆変換部１０８（逆量子化部１０６及び逆直交変換部１０７からなる）と、加算部１０９と、デブロッキングフィルタ１２０と、メモリ１２１と、フレーム内予測部１２２と、動き補償予測部１２３と、切替スイッチ１２４と、スキャニング部１２５と、エントロピー符号化部１２６とを備える。

ブロック化部１０１は、フレーム画像を入力してバッファ（図示せず）に保持し、このバッファから１６×１６画素のマクロブロックに分割し、このマクロブロックを８×８画素に分割するとともに、更に４×４画素に分割して予め定めた順で減算部１０２及び動き補償予測部１２３に送出する。尚、マクロブロックの分割は、８×８画素及び４×４画素に分割した小領域の画素ブロック単位で処理する例を代表的に説明し、以下、符号化対象ブロックと称する。

フレーム間予測の場合、動き補償予測部１２３は、ブロック化部１０１から供給される符号化対象ブロックに対して、メモリ１２１から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替スイッチ１２４を介して減算部１０２及び加算部１０９に出力する。動きベクトルの情報は、エントロピー符号化部１２６に送出される。

フレーム内予測の場合、フレーム内予測部１２２は、メモリ１２１から取得する参照画像を用いて外挿補間を行って、その結果得られた予測画像を、切替スイッチ１２４を介して減算部１０２及び加算部１０９に出力する。

以下、フレーム間予測及びフレーム内予測のいずれも同様の処理が施されるため、フレーム間予測の場合を説明する。以下、代表的に、４×４ブロックの符号化について説明するが、８×８ブロックや１６×１６ブロックによる符号化も同様である。

減算部１０２は、ブロック化部１０１からの符号化対象ブロックと、動き補償予測部１２３からの予測画像との差分信号を生成して直交変換部１０３に送出する。

直交変換部１０３は、減算部１０２から供給される４×４ブロックの差分信号に対して直交変換（整数精度ＤＣＴ）を施し、量子化部１０４に送出する。

量子化部１０４は、直交変換部１０３から供給される４×４ブロックの差分信号の直交変換係数に対応する配列で量子化を行うための正規化係数マトリクス（量子化演算に用いるＭＦ：Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ Ｆａｃｔｏｒのマトリクス）を用いて、４×４ブロックの差分信号の直交変換係数に対して量子化処理を行い、得られた量子化ブロックを、スキャニング部１２５を経てエントロピー符号化部１２６へ送出するとともに、逆量子化部１０６に送出する。

スキャニング部１２５は、直交変換（整数精度ＤＣＴ）に対応する予め定めたスキャニングオーダーで量子化ブロックの読出しを行い、エントロピー符号化部１２６へ送出する。

エントロピー符号化部１２６は、量子化部１０４から供給される量子化ブロックについてエントロピー符号化処理（適応的な可変長符号化処理や算術符号化処理を選択可能）を施しビットストリームを生成するとともに、動き補償予測部１２３から供給される動きベクトルの情報もエントロピー符号化処理を施して出力する。

逆量子化部１０６は、量子化部１０４から供給される量子化ブロックについて逆量子化処理を行って逆直交変換部１０７に出力する。

逆直交変換部１０７は、逆量子化部１０６から供給される直交変換係数に対して逆直交変換（整数精度ＩＤＣＴ）を施し、加算部１０９に出力する。

加算部１０９では、逆直交変換部１０７から得られる逆直交変換した信号と、動き補償予測部１２３を経て得られる予測画像とを加算処理して復号画像を生成し、ブロック歪みを抑制するデブロッキングフィルタ１２０を介してメモリ１２１に格納する。メモリ１２１に格納された画像は、フレーム間予測における参照画像、フレーム内予測における参照画像として用いられる。

尚、切替スイッチ１２４は、画面内予測と画面間予測の切り替えに用いられる。

ところで、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、直交変換部１０３及び量子化部１０４、並びに逆量子化部１０６及び逆直交変換部１０７は、それぞれ一括処理されるため、本説明では、それぞれ整数精度変換部１０５及び整数精度逆変換部１０８として図示している。

これは、直交変換と量子化を一括処理する際に、正規化係数が用いられるためである。即ち、直交変換行列で４×４ブロックの差分信号を周波数係数列に変換した値に対して正規化係数を乗じると本来の直交変換係数列となるが、この正規化係数に対応させた量子化パラメータｑＰを予め規定しておき、量子化ステップの対数と量子化パラメータｑＰが比例関係（量子化係数ｑＰが６増えると量子化ステップが２倍）となるように、予め正規化係数マトリクスの要素位置ごとの値（後述するα，β，γごとの値）を量子化係数として規定しておく。

逆直交変換と逆量子化も同様な逆処理で一括処理される。

次に、従来からの対応する復号装置（例としてＭＰＥＧ−４ＡＶＣ／Ｈ．２６４）の構成例を図１８に示す。上記と同様、フレーム間予測及びフレーム内予測のいずれも同様の処理が施されるため、フレーム間予測の場合を説明する。

［復号装置］
従来からの復号装置３００は、エントロピー復号部３０１と、スキャニング部３０２と、整数精度逆変換部３０５（逆量子化部３０３及び逆直交変換部３０４からなる）と、加算部３０６と、デブロッキングフィルタ３０７と、メモリ３０８と、フレーム内予測部３０９と、動き補償予測部３１０と、切替スイッチ３１１と、並べ替え部３１２とを備える。以下、代表的に、４×４ブロックの符号化について説明するが、８×８ブロックや１６×１６ブロックによる符号化も同様である。

エントロピー復号部３０１は、符号化されたビットストリームを入力して、エントロピー復号処理（符号化装置側で指定される適応的な可変長復号処理や算術符号化の復号処理）を施し、符号化装置側で指定されるスキャニングオーダーで量子化ブロックを読み出し、逆量子化部３０３に送出するとともに、動きベクトルの情報を復号して動き補償予測部３１０に送出する。

逆量子化部３０３は、エントロピー復号部３０１から供給される量子化ブロックの量子化信号に対して逆量子化処理を施して４×４ブロックの差分信号の直交変換係数を取得し、逆直交変換部３０４に送出する。

逆直交変換部３０４は、逆量子化部３０３から供給される４×４ブロックの差分信号の直交変換係数に対して、逆直交変換（整数精度ＩＤＣＴ）を施し、得られる当該４×４ブロックの差分信号を加算部３０６に送出する。

動き補償予測部３１０は、メモリ３１０から得られる参照画像とエントロピー復号部３０１から得られる動きベクトルとを用いて予測画像を生成し、切替スイッチ３１１を介して加算部３０６に出力する。

加算部３０６は、逆直交変換部３０４から得られる当該差分信号と、動き補償予測部３１０から供給される予測画像とを加算して４×４画素ブロックの画像信号を復元し、復元した画像信号を、ブロック歪みを抑制するデブロッキングフィルタ３０７を介して並べ替え部３１２に送出するとともに、メモリ３０８に格納する。

並べ替え部３１２は、復元した画像信号を表示信号として並べ替えを行う。

整数精度逆変換部３０５の逆直交変換と逆量子化は、符号化装置側と同様な逆処理で一括処理される。

このように、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、動き補償予測又は画面内予測の予測信号と、ブロック分割された画像信号との差分信号に対して、整数精度ＤＣＴの直交変換（整数精度ＩＤＣＴの逆直交変換）が採用されている。

画像信号を周波数領域で表現すると、一般的に低域にエネルギーが集中することが知られており、ＤＣＴを使用することで低周波領域にエネルギーを集中させることができ、例えば８×８画素に対応する符号化対象ブロックでＤＣＴを施した場合、６４個の直交変換係数の信号を形成することができるが、高周波成分の信号が０又は０に近い数値になりやすい。そこで、映像符号化では、このように０と分かっている直交変換係数の信号をわざわざ伝送する必要がないため、高周波成分以外の直交変換係数の信号だけを伝送することで伝送信号の圧縮を実現する。

しかしながら、例えば吹雪や水しぶき、或いは極端に複雑なテクスチャなどの画像信号は、高周波成分の信号を多く含み、ＤＣＴを用いて周波数領域の信号に変換してもエネルギー集中が十分ではなく、符号化効率が低下する場合があり、復号した際の画像信号の劣化につながることもあることが知られている。

このために、ＤＣＴベースの符号化方式では符号化が困難な画像信号を効率的に符号化する技術が望まれている。

一方、高周波成分の信号に対し良好なエネルギー集中度を示す直交変換としてＤＳＴ（離散コサイン変換）が知られている。ＤＣＴとＤＳＴは、ＤＣＴの変換核がコサイン（ｃｏｓ）で構成されるのに対して、ＤＳＴの変換核がサイン(ｓｉｎ)である点だけが相違する。だたし、ＤＣＴは、ｃｏｓ(０)が直流成分を表すことができるのに対し、ＤＳＴはｓｉｎ(０)が常に０となるために、直流成分を単独の直交変換係数として表すことができないという性質がある。このため、ＤＣＴは、直流成分を多く持つ画像信号に対してエネルギー集中度が高くなり、且つ１つの直交変換係数で直流成分を表すことができるが、ＤＳＴは、直流成分を多く持つ画像信号に対してエネルギー分散を生じ、複数の直交変換係数で直流成分を表すことになる。

このような性質の違いから、一般的に低周波成分を多く含む画像信号の符号化では、ＤＣＴが使用され、ＤＳＴが使用されることは極めて稀である。

ところで、このＤＣＴとＤＳＴの性質の違いを利用して、フレーム画像を小領域のブロックに分割し、このブロックをＤＣＴとＤＳＴの双方で直交変換を施し、ブロック内の画素間相関の強さを、ＤＣＴとＤＳＴの各係数の０ランレングスの長さで比較して、いずれが適切な直交変換であるかを判別して、量子化するための直交変換係数を決定する技術が開示されている（例えば、特許文献１参照）。

特開平５−２２７１５号公報

前述した特許文献１の技術では、符号化対象ブロック内の画素間相関の強さを、ＤＣＴとＤＳＴとの係数で、単純な０ランレングスの長さで比較し、差分信号を符号化するものではなく、符号化対象ブロックの画素値に対して直交変換を施して得られる直交変換係数を量子化して符号化する技術である。

しかしながら、ＤＣＴとＤＳＴの各係数で、単純な０ランレングスの長さで比較するよりも、確実に符号化時の影響を反映させたブロック内の画素間相関の強さに応じた最適な切り替えとしては改善の余地がある。

また、上述したように、映像符号化では、動き補償予測技術や画面内予測技術などの発展により現在の符号化方式において実際に直交変換処理の対象となる信号は、これらの差分信号である。例えば、ＭＰＥＧでは、この差分信号に対してＤＣＴの直交変換を行うことが多い。特に、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、動き補償予測又は画面内予測の予測信号と、ブロック分割された画像信号との差分信号（差分信号）に対して、整数精度ＤＣＴの直交変換が採用されている。

この整数精度ＤＣＴは、後述する変換行列を２次元の画素ブロックに対して水平（この変換行列に入力して直交変換を実行）、垂直（この変換行列を転置した行列に入力して直交変換を実行）に１回ずつ適用することで２次元の直交変換係数を求める。この整数精度ＤＣＴの直交変換は、符号化／復号時の演算精度の違いによる演算誤差（量子化誤差）を極力抑えるべく、正規化係数を用いて量子化演算と一括して処理される。尚、正規化係数は、整数精度直交変換の前後で信号のエネルギーの大きさ（直交変換係数の２乗の総和）が変化しないように補正する係数である。

そこで、現行の符号化技術におけるＭＰＥＧ−４ＡＶＣ／Ｈ．２６４に対して、前述した特許文献１の技術を適用した場合、例えば、図１９に示すような構成が考えられる。

即ち、図１９は、図１６に示す符号装置１００における直交変換部１０３において、入力される４×４ブロックの差分信号に対して整数精度ＤＣＴを施すＤＣＴ１０３１ａ及び整数精度ＤＳＴを施すＤＳＴ１０３１ｂと、ＤＣＴ１０３１ａとＤＳＴ１０３１ｂの各係数に対して、単純な０ランレングスの長さで比較して量子化するための直交変換係数を決定する０ランレングス比較部１０３２と、決定された直交変換係数を量子化するべく切り替えを行う切替スイッチ１０３３とを構成した場合を想定した図である。

上記の差分信号に対してＤＣＴを施した結果は、画素ブロックに直接的にＤＣＴを施した場合よりも、直流成分のエネルギーが減少し、全体的なエネルギー集中度が減少する。一方で、上記の差分信号に対してＤＳＴを施した結果は、画素ブロックに直接的にＤＳＴを施した場合よりも、全体的なエネルギー集中度が増大する。

従って、上記の差分信号に対してＤＣＴとＤＳＴの双方で直交変換を施し、ＤＣＴとＤＳＴの各係数の０ランレングスの長さで単純に比較するやり方では、高域に存在する“はずれ値”があるとその影響を受けてしまい必ずしも安定した符号化効率が得られないので、より符号化効率を確実に高める技法が望まれる。

また、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、演算負担を軽減させることを意図して、整数精度ＤＣＴと量子化を一括処理するように規定されており、単にＤＣＴとＤＳＴの双方で直交変換を施すように構成することは現在における映像符号化の趣旨にも反することになりかねず、ＤＣＴとＤＳＴの双方で直交変換を施すとしても如何にして演算負担を軽減させるかが問題となる。

本発明の目的は、上述のような問題に鑑みて、演算負担をさほど増大させることなく、最適な直交変換係数を判断して符号化する符号化装置、この符号化した信号を復号する復号装置及びプログラムを提供することにある。

本発明では、ＤＣＴとＤＳＴの性質の違いをより的確に利用して符号化効率を高める。１つの例では、ＤＣＴとＤＳＴのエネルギーの総和で比較して、視覚感度の高い信号成分のエネルギーの集中度が高いほうを選択することにより、任意の画像に対して適応した符号化を符号量も鑑みて選択することができ、結果として従来技術よりも符号量も少なく画質もよくなる。
即ち、本発明による符号化装置は、フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化する符号化装置であって、前記差分信号に対して第１の直交変換処理を施して符号化するか、又は前記差分信号に対して前記第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理を施して符号化するかを切り替える切替手段と、前記フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに前記切替手段の切り替えを制御するコスト算出手段と、前記第１の直交変換処理及び／又は前記第２の直交変換処理によって得られる直交変換係数に対して量子化処理を施す量子化手段とを備え、前記量子化手段は、前記第１の直交変換処理及び前記第２の直交変換処理に対して共通の正規化係数マトリクスを用いて量子化する手段を有することを特徴とする。

即ち、本発明による符号化装置は、前記量子化手段は、前記正規化係数マトリクスの読み出し順を切替えることにより前記切替手段の切り替えによらず、当該共通の正規化係数マトリクスを用いて量子化する手段を有することを特徴とする。

また、本発明による符号化装置において、前記量子化手段による量子化後の伝送すべき係数を１次元配列に変換する際のスキャニングオーダーを前記第１の直交変換処理及び前記第２の直交変換処理の切り替えに応じて切り替えるスキャニング手段を有し、前記第１の直交変換処理及び前記第２の直交変換処理における互いの変換行列が、前記第１の直交変換処理及び前記第２の直交変換処理の切り替えに応じて切り替えられるスキャニングオーダーに対応して当該共通の正規化係数マトリクスを用いて量子化することができる直交関係で規定されていることを特徴とする。

また、本発明による符号化装置において、前記コスト算出手段は、前記符号化対象ブロックに対して異なる画素ブロックサイズごとの差分信号についてそれぞれコスト計算を行って、最も少ない符号量となる画素ブロックサイズ及び直交変換処理の組み合わせを決定し、前記符号化対象ブロックの差分信号に対する前記切替手段の切り替えを制御する手段を有することを特徴とする。

また、本発明による符号化装置において、前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、前記切替手段は、前記第１の直交変換処理及び前記第２の直交変換処理の前後に切替スイッチを有し、前記コスト算出手段は、前記差分信号の分散値をアクティビティの値として算出して分散値が所定の閾値より大きい場合にのみ前記第２の直交変換処理を選択するか、又は前記差分信号内の隣接画素間の相関係数をアクティビティの値として算出して相関係数が所定の閾値より小さい場合にのみ前記第２の直交変換処理を選択するよう前記切替スイッチを制御する比較手段を有することを特徴とする。

また、本発明による符号化装置において、前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、前記切替手段は、前記第１の直交変換処理及び前記第２の直交変換処理の後段に切替スイッチを有し、前記コスト算出手段は、前記第１の直交変換処理によるマクロブロックの直交変換係数のエネルギー分布を算出してエネルギー集中度を算出する第１マクロブロックエネルギー集中度算出手段と、前記第２の直交変換処理によるマクロブロックの直交変換係数のエネルギー分布を算出してエネルギー集中度を算出する第２マクロブロックエネルギー集中度算出手段と、各々で算出したエネルギー集中度を比較して、エネルギー集中度の高いほうの前記第１の直交変換処理又は前記第２の直交変換処理のいずれかを選択するよう前記切替スイッチを制御する手段とを有することを特徴とする。

また、本発明による符号化装置において、前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、前記切替手段は、前記第１の直交変換処理の後段処理としての量子化及びエントロピー符号化処理を施す第１信号系統と、前記第２の直交変換処理の後段処理としての量子化及びエントロピー符号化処理を施す第２信号系統の後段に切替スイッチを有し、前記コスト算出手段は、前記第１信号系統の符号化値の歪み量を算出する第１歪み量算出手段と、前記第２信号系統の符号化値の歪み量を算出する第２歪み量算出手段と、各々で算出した歪み量について、レート歪み最適化法に基づくコスト値を比較して効率の良いほうの前記第１信号系統又は前記第２信号系統のいずれかを選択するよう前記切替スイッチを制御する手段とを有することを特徴とする。

更に、本発明による復号装置は、フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化することによって符号化されたフレーム画像を復号する復号装置であって、本発明の符号化装置における比較手段によって生成される、前記第１の直交変換処理及び前記第２の直交変換処理のいずれを選択したかを表す制御信号を取得して、符号化された当該フレーム画像を復号する手段を有し、該手段は、符号化された当該フレーム画像における量子化信号に対して、前記第１の直交変換処理及び前記第２の直交変換処理に共通する正規化係数マトリクスを用いて逆量子化処理を施す手段を有することを特徴とする。

また、本発明による符号化装置及び復号装置は、コンピュータとして構成することができ、各符号化及び復号処理を実行するプログラムとしての特徴を有する。

本発明によれば、演算負担をさほど増大させることなく、ＤＣＴベースの符号化方式ではエネルギー集中度が十分でないような画像信号に対しても、最適な直交変換係数を判断して符号化及び復号することができる。

本発明による一実施例の符号化装置の概略図である。 本発明による一実施例の復号装置の概略図である。 本発明による一実施例のＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）に対応する整数精度変換部における直交変換部の構成を示す図である。 本発明による一実施例のＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）に対応する整数精度変換部における直交変換部の構成を示す図である。 本発明による一実施例のＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出し、その際のレート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する方法（技法３）に対応する構成を示す図である。 本発明による一実施例のＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）の双方に適用可能な整数精度逆変換部における逆直交変換部の構成を示す図である。 本発明による一実施例のＤＣＴ及びＤＳＴの整数精度の変換行列の例を示す図である。 本発明による一実施例の量子化部の構成を示す図である。 本発明による一実施例の逆量子化部の構成を示す図である。 本発明による一実施例の正規化係数マトリクスの例を示す図である。 本発明による一実施例の量子化係数の例を示す図である。 本発明による一実施例の正規化係数マトリクスの読み出し順を切替えの説明図である。 本発明による一実施例のＤＳＴの変換行列の変形例を示す図である。 本発明による一実施例のＤＳＴの変換行列の変形例を示す図である。 本発明による一実施例のＤＣＴの場合におけるスキャニングオーダーを示す図である。 本発明による一実施例のＤＣＴの場合におけるスキャニングオーダーを示す図である。 従来からの動画像用の符号化装置（例としてＭＰＥＧ−４ＡＶＣ／Ｈ．２６４）の構成例を示す図である。 従来からの対応する復号装置（例としてＭＰＥＧ−４ＡＶＣ／Ｈ．２６４）の構成例を示す図である。 ＤＣＴとＤＳＴの各係数に対して、０ランレングスの長さで比較して切り替えを行う例である。

以下、本発明による一実施例の符号化装置１０及び復号装置３０を説明する。

本発明による符号化装置１０は、フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化する符号化装置であり、この差分信号に対して第１の直交変換処理（例えば、ＤＣＴ)を施して符号化するか、又は当該差分信号に対して第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理（例えば、ＤＳＴ)を施して符号化するかを切り替える切替スイッチと、フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに切替スイッチの切り替えを制御するコスト算出部とを備える。第１の直交変換処理（例えば、ＤＣＴ)は、第２の直交変換処理（例えば、ＤＳＴ)よりも少ない係数で直流成分を表現する基底に基づいており、例えば、このＤＣＴ及びＤＳＴの選択基準の方法例として、ＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法１）、画素値レベルでアクティビティを比較して決定する方法（技法２）、及び、ＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出し、その際のレート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する方法（技法３）がある。いずれの場合も、最適な直交変換係数を判断して符号化することができる。
尚、レート歪み最適化法に基づくコスト算出は、例えば、
http://www.tom.comm.waseda.ac.jp/~tsukuba/source/avm20050609.pdf
を参照されたい。

符号化装置１０では、各符号化した伝送信号に、ＤＣＴによる直交変換であるかＤＳＴによる直交変換であるかを識別可能な直交変換種別を表す制御信号（例えば、１ビット）を生成する。この制御信号は、選択した直交変換係数列のヘッダ情報として付加して後段の処理へと伝送するやり方と、制御信号を付加情報として別途伝送するやり方とがある。

選択した直交変換係数列のヘッダ情報として付加して後段の処理へと伝送するやり方の場合、局部復号時や復号装置３０では、この制御信号に従って続いて伝送される直交変換係数を、当該制御信号によって示される直交変換種別に応じてＩＤＣＴ又はＩＤＳＴの直交変換処理を切替える。

制御信号を付加情報として別途伝送するやり方では、この制御信号に応じて処理対象の直交変換係数に対応して適応的に処理する。

以下の説明では、制御信号を付加情報として別途伝送するやり方で説明することで、選択した直交変換係数列のヘッダ情報として付加して後段の処理へと伝送するやり方も容易に理解されるようになる。

図１は、本発明による一実施例の符号化装置１０の概略図である。前述した図１６に示す従来からの符号化装置１００と同様な構成要素には同一の参照番号を付しており、これらの説明は省略する。

本実施例の符号化装置１０は、従来の符号化装置１００に対して、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）を適するべく、整数精度変換部１０５（直交変換部１０３及び量子化部１０４）の代わりに、直交変換種別の選択のための制御信号を扱う整数精度変換部１５（直交変換部１３及び量子化部１４）が設けられ、整数精度逆変換部１０８（逆量子化部１０６及び逆直交変換部１０７）の代わりに、直交変換種別の選択のための制御信号を扱う整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）が設けられている点で相違する。

また、図２は、本発明による一実施例の復号装置３０の概略図である。前述した図１８に示す従来からの復号装置３００と同様な構成要素には同一の参照番号を付しており、これらの説明は省略する。

本実施例の復号装置３０は、従来の復号装置３００に対して、画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）を適するべく、整数精度逆変換部３０５（逆量子化部３０３及び逆直交変換部３０４）の代わりに、直交変換種別の選択のための制御信号を扱う整数精度逆変換部３５（逆量子化部３３及び逆直交変換部３４）が設けられている点で相違する。

図３は、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）に対応する整数精度変換部１５における直交変換部１３の構成を示しており、図４は、ＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）に対応する整数精度変換部１５における直交変換部１３の構成を示している。

また、図６は、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）の双方に適用可能な整数精度逆変換部１８における逆直交変換部１７を示している。

更に、図８は、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）の双方に適用可能な整数精度変換部１５における量子化部１４の構成を示している。

更に、図９は、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）の双方に適用可能な整数精度逆変換部３５における逆量子化部３３の構成を示している。

尚、復号装置３０における整数精度逆変換部３５（逆量子化部３３及び逆直交変換部３４）は、整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）と同様に動作する。

以下、具体的にそれぞれのＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）について順に説明する。

［技法１］
図３（Ａ）を参照するに、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）に対応する直交変換部１３は、バッファ１３１と、切替スイッチ１３２ａ及び１３２ｂと、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂと、コスト算出部１３４とを備える。

ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの処理は、図７に示すような整数精度の変換行列が用いられる。図７は、本発明による一実施例のＤＣＴ及びＤＳＴの整数精度の変換行列の例を示している。

ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、動き補償予測又は画面内予測の予測画像の信号と、ブロック分割された符号化対象ブロックの画像信号との差分信号に対して、整数精度ＤＣＴの直交変換が採用されている。

整数精度ＤＣＴの変換行列の基底と、整数精度ＤＳＴの変換行列の基底は、それぞれｎ次の基底同士が直交関係にあることが重要である。例えば、整数精度ＤＣＴの変換行列では、０次（１行目）が［１ １ １ １］、１次（２行目）が［２ １ −１ −２］、２次（３行目）が［１ −１ −１ １］、３次（４行目）が［１ −２ ２ −１］であり、整数精度ＤＳＴの変換行列では、１次（１行目）が［１ ２ ２ １］、２次（２行目）が［１ １ −１ −１］、３次（３行目）が［２ −１ −１ ２］、４次（４行目）が［１ −１ １ −１］であるから、整数精度ＤＣＴの変換行列の１次の［２ １ −１ −２］と、整数精度ＤＳＴの変換行列の１次の［１ ２ ２ １］が直交関係にある。

また、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、４×４直交変換のほかに、８×８直交変換を用いることもできるが、この場合も同様に、整数精度ＤＣＴと整数精度ＤＳＴを定義する。ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４以外の直交変換を用いる場合も、同様に基底ごとに互いに直交関係にある２種類の直交変換の変換行列を規定することができる。

本実施例では、基底ごとに互いに直交関係にある２種類の直交変換として、ＤＣＴ（整数精度ＤＣＴ）及びＤＳＴ（整数精度ＤＳＴ）を併用するものとして説明するが、基底ごとに互いに直交関係にある２種類の直交変換であれば、同様の効果を得ることができる。

図３（Ａ）に示す（技法１）における直交変換部１３は、減算部１０２から供給される差分信号をバッファ１３１に保持して、コスト算出部１３４によって、バッファ１３１から処理対象の差分信号を取り出し、そのアクティビティの値からＤＣＴ１３３ａ及びＤＳＴ１３３ｂのいずれかを選択するよう制御信号を発生させ、切替スイッチ１３２ａ及び１３２ｂで切り替えを行うように構成される。

図３（Ｂ）に示すように、コスト算出部１３４は、バッファ１３１から処理対象の差分信号を取り出し、アクティビティの値を算出するアクティビティ算出部１３４１と、このアクティビティの値と予め定めた閾値と比較してＤＣＴ１３３ａ及びＤＳＴ１３３ｂのいずれかを選択するよう制御信号を発生する比較部１３４２とを備える。

コスト算出部１３４は、例えば入力信号（差分信号）の分散値をアクティビティの値として算出して分散値が所定の閾値より大きい場合にのみＤＳＴを選択するか、又は隣接画素間の相関係数をアクティビティの値として算出して相関係数が所定の閾値より小さい場合にのみＤＳＴを選択するように構成される。

これにより、簡便な方法として、入力信号（差分信号）を直交変換前に分析していずれの直交変換を用いるかを決定することができ、アクティビティ算出よりも処理コストが大きいＤＣＴ１３３ａ及びＤＳＴ１３３ｂの並列処理が不要となり、処理コストの低減を図ることができる。

図８は、本発明による一実施例の量子化部の構成を示す図である。図８を参照するに、整数精度変換部１５における量子化部１４は、正規化係数マトリクス記憶部１４１１と、マトリクス読出制御部１４１２と、量子化ステップ算出部１４１３と、量子化演算部１４１４とを備える。量子化部１４の各構成は、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４で採用されている処理構成とほぼ同様であるが、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの各々用の正規化係数マトリクスを正規化係数マトリクス記憶部１４１１に記憶しておき、マトリクス読出制御部１４１２が、直交変換部１３からの直交変換種別の選択のための制御信号に従って各直交変換に対応する正規化係数マトリクスを読み出すように構成している点で相違する。尚、この制御信号は、ヘッダ情報として付加される場合には、入力される処理対象の信号から抽出する。

量子化ステップ算出部１４１３は、逆量子化でも共通に用いる予め定めた量子化パラメータｑＰに従う量子化係数を正規化係数マトリクスから読み出して量子化ステップを算出し、量子化演算部１４１４が、入力される直交変換係数の信号を、算出した量子化ステップで除算して量子化ブロックの量子化信号を生成して外部に送出する。

正規化係数マトリクスの例、及び量子化係数の例を、それぞれ図１０及び図１１に示す。この場合の量子化ステップは、量子化パラメータｑＰを６で除算した剰余（０〜５の値）で定まる要素位置ごとの値（α，β，γごとの値）に対して当該除算した商でビット左シフトさせて得られる値に相当する（ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式と同様）。

このように、（技法１）によれば、処理コストを低減させつつ、最適な直交変換係数を判断して符号化することができる。

尚、符号化装置１０の局部復号の整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）の動作は、図６及び図９に示すように簡単な構成で処理コストを増大させることなく実現することができる。

図９は、本発明による一実施例の逆量子化部の構成を示す図である。図９を参照するに、整数精度逆変換部１８における逆量子化部１６は、正規化係数マトリクス記憶部１６１１と、マトリクス読出制御部１６１２と、量子化ステップ算出部１６１３と、逆量子化演算部１６１４とを備える。逆量子化部１８の各構成は、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４で採用されている処理構成とほぼ同様であるが、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの各々用の正規化係数マトリクスを正規化係数マトリクス記憶部１６１１に記憶しておき、マトリクス読出制御部１６１２が、直交変換部１３からの直交変換種別の選択のための制御信号に従って各直交変換に対応する正規化係数マトリクスを読み出すように構成している点で相違する。尚、この制御信号は、ヘッダ情報として付加される場合には、入力される処理対象の信号から抽出する。

量子化ステップ算出部１６１３は、量子化でも共通に用いる予め定めた量子化パラメータｑＰに従う量子化係数を正規化係数マトリクスから読み出して量子化ステップを算出し、量子化演算部１６１４が、入力される量子化ブロックの量子化信号を、算出した量子化ステップで乗算して直交変換係数の信号を生成して外部に送出する。

図６に示す逆直交変換部１７は、直交変換部１３からの制御信号に従って、逆量子化部１６から供給される対応する逆直交変換のＩＤＣＴ１７１ａ又はＩＤＳＴ１７１ｂのいずれかを選択する切替スイッチ１７２ａ及び１７２ｂで切り替えを行って、適応的に差分信号を復元する。

整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）の動作は、復号装置３０における整数精度逆変換部３５（逆量子化部３３及び逆直交変換部３４）の動作も同様である。

従って、（技法１）によれば、処理コストを低減させつつ、最適な直交変換係数を判断して符号化することができる。

次に、ＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）について説明する。

［技法２］
図４（Ａ）を参照するに、ＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）に対応する直交変換部１３は、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂと、バッファ１３４ａ，１３４ｂと、切替スイッチ１３５と、コスト算出部１３６とを備える。

図４（Ａ）に示す（技法３）における直交変換部１３は、減算部１０２から供給される差分信号をＤＣＴ１３３ａ及びＤＳＴ１３３ｂにてそれぞれ直交変換を施し、それぞれバッファ１３４ａ，１３４ｂに格納するとともに、コスト算出部１３６によって、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの双方の直交変換係数のエネルギー分布からＤＣＴ１３３ａ及びＤＳＴ１３３ｂのいずれかを選択するよう制御信号を発生させ、切替スイッチ１３５でそれぞれのバッファ１３４ａ，１３４ｂからの読出しを制御して切替を行うように構成される。

図４（Ｂ）に示すように、コスト算出部１３６は、ＤＣＴ１３３ａのマクロブロックにおける直交変換係数のエネルギー分布を算出してエネルギー集中度を算出するマクロブロックエネルギー集中度算出部１３６１と、ＤＳＴ１３３ｂのマクロブロックにおける直交変換係数のエネルギー分布を算出してエネルギー集中度を算出するマクロブロックエネルギー集中度算出部１３６２と、マクロブロックエネルギー集中度算出部１３６１，１３６２の各々で算出したエネルギー集中度を比較して、エネルギー集中度の高いほうのＤＣＴ１３３ａ及びＤＳＴ１３３ｂのいずれかを選択するよう制御信号を発生する比較部１３６３とを備える。

尚、整数精度変換部１５における量子化部１４の構成は前述の図８の説明と同様であり、符号化装置１０の局部復号の整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）の動作や復号装置３０における整数精度逆変換部３５（逆量子化部３３及び逆直交変換部３４）の動作も、前述の図６及び図９の説明と同様である。

これにより、（技法２）によれば、（技法１）と比較してＤＣＴ１３３ａ及びＤＳＴ１３３ｂの並列処理が必要ではあるが、実際に処理した直交変換係数の値からそのエネルギー集中度を比較するため、（技法１）と比較して符号化効率が改善する。

尚、（技法２）の変形例として、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する代わりに、ＤＣＴ１３３ａ及び量子化部からなる信号系統と、ＤＳＴ１３３ｂ及び量子化部からなる信号系統の出力からマクロブロックにおけるエネルギー分布を算出してエネルギー集中度を算出してエネルギー集中度の高いほうの信号系統を選択するよう制御信号を発生するよう整数精度変換部１５を構成することもできる（図示せず）。

上述した（技法１）及び（技法２）では、従来からのＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式の符号化装置３００に対して、整数精度変換部１５及び整数精度逆変換部１８，３５を組み替えるのみで、最適な直交変換係数を判断して符号化することができる。一方で、更に符号化効率を向上させたい場合に、ＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出し、その際のレート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する方法（技法３）があり、以下、説明する。

図５は、ＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出し、その際のレート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する方法（技法３）に対応する構成を示している。図５（Ａ）に示すように、ＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出するよう構成されたコスト算出処理ユニット１９は、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂと、量子化部１３７ａ，１３７ｂと、エントロピー符号化部１３８ａ，１３８ｂと、バッファ１３９ａ，１３９ｂと、切替スイッチ１４０と、コスト算出部１４１とを備える。

コスト算出処理ユニット１９は、減算部１０２から供給される差分信号をＤＣＴ１３３ａ及びＤＳＴ１３３ｂにてそれぞれ直交変換を施し、さらに量子化部１３７a，１３７ｂによって、それぞれの直交変換ごとに量子化を施し、さらにエントロピー符号化部１３８ａ，１３８ｂによってそれぞれの量子化ブロックの量子化信号ごとにエントロピー符号化を施し、各符号化したビットストリーム信号（符号化値）をそれぞれバッファ１３９ａ，１３９ｂに格納するとともに、コスト算出部１４１によって、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの双方の信号系統における符号量からＤＣＴ１３３ａ及びＤＳＴ１３３ｂの信号系統のいずれかを選択するよう制御信号を発生させ、切替スイッチ１３５でそれぞれのバッファ１３９ａ，１３９ｂからの読出しを制御して切り替えを行うように構成される。

図５（Ｂ）に示すように、コスト算出部１４１は、ＤＣＴ係数に基づく符号化値から歪み量を算出する歪み量算出部１４２１と、ＤＳＴ係数に基づく符号化値から歪み量を算出する歪み量算出部１４２２と、レート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する比較部１４２３とを備える。

これにより、（技法３）によれば、（技法１）及び（技法２）と比較してＤＣＴ１３３ａ及びＤＳＴ１３３ｂからの各信号系統の並列処理が必要ではあるが、実際に処理した直交変換係数の値からその符号化コストと品質の効率によって比較するため、（技法１）及び（技法２）と比較して符号化効率が改善する。

尚、当業者であれば、コスト算出処理ユニット１９を、前述した符号化装置１０（又は復号装置３０）に適用可能であることは上記の説明から理解される。

上記の説明では、４×４ブロックの符号化処理についてコスト計算して最適な直交変換（又は直交変換の信号系統）を選択する例について説明したが、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式では、８×８ブロックの符号化処理もサポートされている。従って、本実施例の符号化装置１０において、４×４ブロックと８×８ブロックの双方の符号化処理についてコスト計算して最適な直交変換（又は直交変換の信号系統）を選択するように構成することもできる。

最も好適なコスト算出において、符号化対象ブロックに対して異なる画素ブロックサイズごとの差分信号についてそれぞれコスト計算を行って、最も少ない符号量となる画素ブロックサイズ及び直交変換処理の組み合わせを決定し、符号化対象ブロックの差分信号に対する最適な直交変換（又は直交変換の信号系統）を選択するように切り替えを制御することである。つまり、４×４ブロックと８×８ブロックの双方の符号化処理についてコスト計算することは、前述したいずれの例でも適用可能である。

例えば、ブロック化部１０１によって、１６×１６画素マクロブロックから、８×８画素（８×８ブロック）に分割し、さらに、４×４画素（４×４ブロック）に再分割する例を考える。この場合、８×８ブロックで、直交変換（又は直交変換の信号系統）のコスト計算を行うとともに、４×４ブロックで、直交変換（又は直交変換の信号系統）のコスト計算を行う。続いて、例えばレート歪み最適化法に基づいて算出した全てのコスト値から最小のものを選択し、符号化ビットストリームを最終決定する。

上記の例では、ＤＣＴベースの符号化方式ではエネルギー集中度が十分でないような画像信号に対しても、ブロック内の画素間相関の強さに適切に応じた直交変換係数を判断して符号化する符号化装置１０、この符号化した信号を復号する復号装置３０が実現される。ただし、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、演算負担を軽減させることを意図して、整数精度ＤＣＴと量子化を一括処理するように規定されており、単にＤＣＴとＤＳＴの双方で直交変換を施すように構成することは現在における映像符号化の趣旨にも反することになりかねない。そこで、ＤＣＴとＤＳＴの双方で直交変換を施すとしても如何にして演算負担を軽減させるかについて以下説明する。

通常、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式のままでＤＣＴとＤＳＴを併用すると、正規化係数マトリクス（量子化演算に用いるＭＦ：Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ Ｆａｃｔｏｒのマトリクス）として、各直交変換に固有の量子化係数からなるものを用意する必要があり、ＤＣＴとＤＳＴでは個別の正規化係数マトリクスを用いることになる。このような正規化係数マトリクスは符号化装置及び復号装置でメモリに保持し続ける必要があり、２種類の直交変換を採用する場合、量子化のためのメモリ量が２倍になるという問題が生じる。

しかしながら、図１０から明らかなように、整数精度ＤＣＴと整数精度ＤＳＴでは、正規化係数マトリクスの配置が、右下方向に（１，１）ずらした関係にあり、各々の係数値が一致する。

そこで、マトリクス読出制御部１４１２，１６１２（図８及び図９）によって、ＤＣＴの正規化係数マトリクスのみを正規化係数マトリクス記憶部１４１１，１６１１（図８及び図９）に格納しておき、マトリクス読出制御部１４１２，１６１２（図８及び図９）によって、ＤＣＴとＤＳＴで正規化係数マトリクスの読み出し順を切替えることで、ＤＣＴとＤＳＴで同一の正規化係数マトリクスからそれぞれの量子化係数の値を用いることができるようになり、メモリ量の増大の問題を解決することができる（図１２参照）。

更に、別の方法として、正規化係数マトリクスの読み出し順を切替える代わりに、マトリクス読出制御部１４１２，１６１２（図８及び図９）によって、ＤＣＴの正規化係数マトリクスのみを正規化係数マトリクス記憶部１４１１，１６１１（図８及び図９）に格納しておき、ＤＳＴの変換行列を図１３及び図１４に示すごとく変形し、ＤＣＴ及びＤＳＴにおける互いの変換行列が、ＤＣＴ及びＤＳＴの切り替えに応じて切り替えられるスキャニングオーダーに対応して当該共通の正規化係数マトリクスを用いて量子化することができる直交関係で規定する。これにより、スキャニング部１２５によって当該直交変換の切り替えを表す制御信号に従って、量子化後の伝送すべき係数を１次元配列に変換する際のスキャニングオーダーをＤＣＴ（図１５）とＤＳＴ（図１６）で切替えることで、ＤＣＴとＤＳＴで同一の正規化係数マトリクスからそれぞれの量子化係数の値を用いることができるようになり、メモリ量の増大の問題を解決することができる。

即ち、ＤＳＴの変換行列を変形して直交変換を施し、ＤＣＴと同一の正規化係数マトリクスを用いると、ＤＳＴの最低次数が（０，０）の位置でなく、（１，１）に配置されるため、量子化後の伝送すべき係数を１次元配列に変換する際のスキャニングオーダーを（１，１）から開始するようにする。

符号化装置１０における局部復号時や、復号装置３０における逆量子化を行う場合も同様に、ＤＣＴ及びＤＳＴのいずれを選択したかを表す制御信号を取得して、符号化された当該フレーム画像を復号する際に、符号化された当該フレーム画像における量子化信号に対して、ＤＣＴ及びＤＳＴに共通する正規化係数マトリクスを用いて逆量子化処理を施すように構成する。

また、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、画面内予測時に、例えば４×４ブロック（輝度信号）及び２×２ブロック（色差信号）のＤＣＴの直交変換係数の直流成分に対しては、１つの直流成分の画素ブロックを構成してアダマール変換を実行することで空間周波数分解能を改善する技術があるが、本発明に係るＤＳＴの最低次数の成分に対して同様にアダマール変換を実行するよう構成することもできる。

これにより、演算負担をさほど増大させることなく、ＤＣＴベースの符号化方式ではエネルギー集中度が十分でないような画像信号に対しても、ブロック内の画素間相関の強さに適切に応じた直交変換係数を判断して符号化する符号化装置、及び、この符号化した信号を復号する復号装置を実現することができる。

更に、本発明の一態様として、符号化装置１０及び復号装置３０をコンピュータとして構成させることができる。コンピュータに、前述した符号化装置１０及び復号装置３０の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。特に、正規化部における正規化処理は、教師信号による修正処理における信号間の相関をとるためのレベル調整を行うものであればよい。

本発明によれば、ＤＣＴベースの符号化方式ではエネルギー集中度が十分でないような画像信号に対しても、最適な直交変換係数を判断して符号化することが可能となるので、映像符号化技術に有用である。

１０ 符号化装置
１３ 直交変換部
１４ 量子化部
１５ 整数精度変換部
１６ 逆量子化部
１７ 逆直交変換部
１８ 整数精度逆変換部
１９ コスト算出処理ユニット
３０ 復号装置
３３ 逆量子化部
３４ 逆直交変換部
３５ 整数精度逆変換部
１００ 符号化装置
１０１ ブロック化部
１０２ 減算部
１０３ 直交変換部
１０４ 量子化部
１０５ 整数精度変換部
１０６ 逆量子化部
１０７ 逆直交変換部
１０８ 整数精度逆変換部
１０９ 加算部
１２０ デブロッキングフィルタ
１２１ メモリ
１２２ フレーム内予測部
１２３ 動き補償予測部
１２４ 切替スイッチ
１２５ スキャニング部
１２６ エントロピー符号化部
１３１ バッファ
１３４ コスト算出部
１３４ａ，１３４ｂ バッファ
１３５ 切替スイッチ
１３６ コスト算出部
１３７ａ，１３７ｂ 量子化部
１３８ａ，１３８ｂ エントロピー符号化部
１３９ａ，１３９ｂ バッファ
１４０ 切替スイッチ
１４１ コスト算出部
１７１ａ 整数精度ＩＤＣＴ
１７１ｂ 整数精度ＩＤＳＴ
１７２ａ，１７２ｂ 切替スイッチ
３００ 復号装置
３０１ エントロピー復号部
３０２ スキャニング部
３０３ 逆量子化部
３０４ 逆直交変換部
３０５ 整数精度逆変換部
３０６ 加算部
３０７ デブロッキングフィルタ
３０８ メモリ
３０９ フレーム内予測部
３１０ 動き補償予測部
３１１ 切替スイッチ
３１２ 並べ替え部
１０３１ａ 整数精度ＤＣＴ
１０３１ｂ 整数精度ＤＳＴ
１０３２ ０ランレングス比較部
１０３３ 切替スイッチ
１３４１ アクティビティ算出部
１３６１，１３６２ マクロブロックエネルギー集中度算出部
１３６３ 比較部
１４１１ 正規化係数マトリクス記憶部
１４１２ マトリクス読出制御部
１４１３ 量子化ステップ算出部
１４１４ 量子化演算部
１４２１，１４２２ 歪み量算出部
１４２３ 比較部
１６１１ 正規化係数マトリクス記憶部
１６１２ マトリクス読出制御部
１６１３ 量子化ステップ算出部
１６１４ 逆量子化演算部

Claims (10)

1. フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化する符号化装置であって、
   前記差分信号に対して第１の直交変換処理を施して符号化するか、又は前記差分信号に対して前記第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理を施して符号化するかを切り替える切替手段と、
   前記フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに前記切替手段の切り替えを制御するコスト算出手段と、
   前記第１の直交変換処理及び／又は前記第２の直交変換処理によって得られる直交変換係数に対して量子化処理を施す量子化手段とを備え、
   前記量子化手段は、前記第１の直交変換処理及び前記第２の直交変換処理に対して共通の正規化係数マトリクスを用いて量子化する手段を有することを特徴とする符号化装置。
2. 前記量子化手段は、前記正規化係数マトリクスの読み出し順を切替えることにより前記切替手段の切り替えによらず、当該共通の正規化係数マトリクスを用いて量子化する手段を有することを特徴とする、請求項１に記載の符号化装置。
3. 前記量子化手段による量子化後の伝送すべき係数を１次元配列に変換する際のスキャニングオーダーを前記第１の直交変換処理及び前記第２の直交変換処理の切り替えに応じて切り替えるスキャニング手段を有し、
   前記第１の直交変換処理及び前記第２の直交変換処理における互いの変換行列が、前記第１の直交変換処理及び前記第２の直交変換処理の切り替えに応じて切り替えられるスキャニングオーダーに対応して当該共通の正規化係数マトリクスを用いて量子化することができる直交関係で規定されていることを特徴とする、請求項１に記載の符号化装置。
4. 前記コスト算出手段は、前記符号化対象ブロックに対して異なる画素ブロックサイズごとの差分信号についてそれぞれコスト計算を行って、最も少ない符号量となる画素ブロックサイズ及び直交変換処理の組み合わせを決定し、前記符号化対象ブロックの差分信号に対する前記切替手段の切り替えを制御する手段を有することを特徴とする、請求項１〜３のいずれか一項に記載の符号化装置。
5. 前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、
   前記切替手段は、前記第１の直交変換処理及び前記第２の直交変換処理の前後に切替スイッチを有し、
   前記コスト算出手段は、前記差分信号の分散値をアクティビティの値として算出して分散値が所定の閾値より大きい場合にのみ前記第２の直交変換処理を選択するか、又は前記差分信号内の隣接画素間の相関係数をアクティビティの値として算出して相関係数が所定の閾値より小さい場合にのみ前記第２の直交変換処理を選択するよう前記切替スイッチを制御する比較手段を有することを特徴とする、請求項１〜４のいずれか一項に記載の符号化装置。
6. 前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、
   前記切替手段は、前記第１の直交変換処理及び前記第２の直交変換処理の後段に切替スイッチを有し、
   前記コスト算出手段は、
   前記第１の直交変換処理によるマクロブロックの直交変換係数のエネルギー分布を算出してエネルギー集中度を算出する第１マクロブロックエネルギー集中度算出手段と、
   前記第２の直交変換処理によるマクロブロックの直交変換係数のエネルギー分布を算出してエネルギー集中度を算出する第２マクロブロックエネルギー集中度算出手段と、
   各々で算出したエネルギー集中度を比較して、エネルギー集中度の高いほうの前記第１の直交変換処理又は前記第２の直交変換処理のいずれかを選択するよう前記切替スイッチを制御する手段とを有することを特徴とする、請求項１〜４のいずれか一項に記載の符号化装置。
7. 前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、
   前記切替手段は、前記第１の直交変換処理の後段処理としての量子化及びエントロピー符号化処理を施す第１信号系統と、前記第２の直交変換処理の後段処理としての量子化及びエントロピー符号化処理を施す第２信号系統の後段に切替スイッチを有し、
   前記コスト算出手段は、
   前記第１信号系統の符号化値の歪み量を算出する第１歪み量算出手段と、
   前記第２信号系統の符号化値の歪み量を算出する第２歪み量算出手段と、
   各々で算出した歪み量について、レート歪み最適化法に基づくコスト値を比較して効率の良いほうの前記第１信号系統又は前記第２信号系統のいずれかを選択するよう前記切替スイッチを制御する手段とを有することを特徴とする、請求項１〜４のいずれか一項に記載の符号化装置。
8. フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化することによって符号化されたフレーム画像を復号する復号装置であって、
   前記請求項１〜７のいずれか一項に記載の符号化装置における比較手段によって生成される、前記第１の直交変換処理及び前記第２の直交変換処理のいずれを選択したかを表す制御信号を取得して、符号化された当該フレーム画像を復号する手段を有し、
   該手段は、符号化された当該フレーム画像における量子化信号に対して、前記第１の直交変換処理及び前記第２の直交変換処理に共通する正規化係数マトリクスを用いて逆量子化処理を施す手段を有することを特徴とする復号装置。
9. フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化する符号化装置として構成するコンピュータに、
   前記差分信号に対して第１の直交変換処理を施して符号化するか、又は前記差分信号に対して前記第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理を施して符号化するかを切り替えるステップと、
   前記フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに当該切り替えを制御するステップと、
   前記第１の直交変換処理及び／又は前記第２の直交変換処理によって得られる直交変換係数に対して量子化処理を施すステップと、を実行させるためのプログラムであって、
   該ステップは、前記第１の直交変換処理及び前記第２の直交変換処理に対して共通の正規化係数マトリクスを用いて量子化するステップを含むことを特徴とするプログラム。
10. フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化することによって符号化されたフレーム画像を復号する復号装置として構成するコンピュータに、
    前記請求項１〜７のいずれか一項に記載の符号化装置における比較手段によって生成される、前記第１の直交変換処理及び前記第２の直交変換処理のいずれを選択したかを表す制御信号を取得するステップと、
    該制御信号に基づいて、前記符号化装置によって符号化された当該フレーム画像を復号するステップと、を実行させるためのプログラムであって、
    該ステップは、符号化された当該フレーム画像における量子化信号に対して、前記第１の直交変換処理及び前記第２の直交変換処理に共通する正規化係数マトリクスを用いて逆量子化処理を施すステップを含むことを特徴とするプログラム。

Images