JP2000506686A - オーバラップブロック動き補償及びゼロツリーウェーブレット符号化を用いる低ビットレートビデオ符号化器 - Google Patents

Abstract

(57)【要約】 本発明は、オーバラップブロックの動き補償をゼロツリーウェーブレット符号化と組み合わせて用いるビデオフレームシーケンス（入力画像）を符号化する装置及び関連する方法を提供する。この方法は各入力画像を複数のオーバラップを持つブロックに区分し、区分した入力画像をウェーブレット変換処理する。

Description

【発明の詳細な説明】 オーバラップブロック動き補償及びゼロツリー、ウェーブレット符号化 を用いる低ビットレートビデオ符号化器 本願は１995年10月25日出願の米国仮出願No.60/007,013の権利を請求するもの である。 本発明は、ビデオ信号符号化システムに関し、より詳細には、オーバラップブ ロック動き予測補償及びゼロツリーウェーブレット符号化を用いるビデオ信号符 号化装置及び関連する方法に関する。 発明の背景 ＭＰＥＧ規格のような標準化されたブロックベースビデオ信号符号化技法は、 ビデオ信号内の連続フレームからフレーム間冗長度を除去するためにブロック動 き予測補償を用いる。この規格は、フレーム間の動きを表現する一連の動きベク トルを発生させるために、連続するフレームからの画像画素（ピクセル）のオー バラップのない矩形ブロックの使用を規定する。これらの規格を実施するシステ ムは、動きベクトル及び動きベクトル補償により表現されない連続フレーム間の 残差分の符号化を要する。 ブロックベース動き補償システムによる全ての処理操作は、ブロック毎に行わ れる。 これらの処理操作は各ブロック毎に個別に行われるので、隣接する動きベクト ルは必ずしも同じではない。そのために、システムは残部に不連続部分（ブロッ キングエッジの形状の）を形成する。かような不連続部分は符号化を困難にし、 かなりのビット数を使用することになる。 このブロック化の影響に対処すべく用いられる通常のブロック動き補償システ ムへの１つの改良点は、互いに僅かにオーバラップし合う画素の矩形ブロック、 即ち、任意の２つの隣接ブロックが１つ以上の画素でオーバラップし合う画素の 矩形ブロックを使用することである。かようなブロックのオーバラップにより、 残差の不連続部分が軽減されブロック化の影響が改善される。 最近、静止（写真）画像の符号化に用いられる符号化技術が開発されている。 この技法は、フレーム内情報の冗長度を除去し、一枚の画像フレームを効率よく 符号化するのに有効である。この技法は、1995年5月2日に発行された米国特許No .5,419,741に開示されており、ここにこれを参照する。この米国特許は、階層表 現画像を形成するために、埋込みゼロツリーウェーブレット（ＥＺＷ）を導き出 す時に離散ウェーブレット変換（ＤＷＴ）を使用することを開示している。この 階層表現は次にエントロピー符号化を用いて効率的に符号化される。 これまで、インターフレーム（フレーム間）の冗長度とイントラフレーム（フ レーム内）の冗長度の両方を圧縮して連続画像を有効に符号化出来るようにゼロ ツリーウェーブレット符号化技法をオーバラップブロック動き補償技法と組み合 わせたことはなかった。 従って、オーバラップブロック動き補償及びゼロツリーウェーブレット符号化 の両方を用いる低ビットレートのビデオ符号化器が当技術分野において必要とさ れている。 発明の概要 本発明は、オーバラップブロック動き補償（overlapping block motion compe nsation）をゼロツリーウェーブレット符号化（zerotree wavelet coding）と組み合わせて用いるビデオフレームシーケンス（入力画像）を符号化 する装置及びそれに関連する方法の提供する。この方法は各入力画像を複数のオ ーバラップを持つブロックに区分し、区分した入力画像にウェーブレット変換処 理を行う。 図面の簡単な説明 本発明の思想は、下記の詳細な説明を添付の図面を参照して検討すれば容易に 理解出来るであろう。 図１は、本発明の符号化器を示すブロック図である。 図２は、ブロック動き補償（ＢＭＣ）技法における動きベクトルの利用を説明 する図である。 図３は、オーバラップブロック動き補償（ＯＢＭＣ）技法における動きベクト ルの利用を説明する図である。 図４は、本発明において用いられるオーバラップブロックの動き補償器の詳細 ブロック図である。 図５は、ＯＢＭＣの四辺形ブロックを示す図である。 図６は、多角形ブロックに区分された入力画像を示す図である。 図７は、図６の多角形ブロックを用いるＯＢＭＣ技法における動きベクトルの 利用を説明する図である。 図８は、本発明の離散ウェーブレット（ＤＷＴ）を実施するための4段階ツリ ー構造を示す図である。 図９は、本発明の逆離散ウェーブレット（ＤＷＴ）を実施するための4段階ツ リー構造を示す図である。 図１０は、図８に示したＤＷＴの１つのフィルタを示すブロック図である。 図１１は、図９に示した逆ＤＷＴの１つのフィルタを示すブロック図である。 図１２は、ゼロ周辺にデッドゾーンを持つ中高均等量子化器（Mid-riser Unif orm Qantizer）を示す図である。 図１３は、全ウェーブレットパケット変換における時間−周波数のタイル図で ある。 図１４は、１ウェーブレットパケット変換における時間−周波数のタイル図で ある。 図１５は、ウェーブレットパケット変換における時間−周波数のタイル図であ る。 図１６は、適応ウェーブレットパケット変換における時間−周波数のタイル図 である。 理解を容易にするために、図面に共通な同一要素には可能な範囲で同じ参照番 号を付してある。 詳細な説明 図１に本発明の教示内容を組み込んだ符号化装置100を示す。この符号化装置 はオーバラップブロック動き補償器（ＯＢＭＣ）104と減算器102とウェーブレッ ト発生器／符号器106とビットレートコントローラ110と逆ウェーブレット発生器 112と加算器114とフレームバッファ116とエントロピー符号器120を含む。 通常、入力はビデオ画像（ビデオシーケンス中の１枚のフレームを規定する２ 次元列をなす画素の集まり（ペル））である。低ビットレートチャンネルを介し て正確に送信するためにはビデオシーケンス中の空間的及び時間的冗長度を十分 に削減すべきである。これは、遂次フレーム間の差分 だけを符号化して送信することにより達成される。この符号器は次の3つの機能 を有している。第１の機能は、フレーム間に生じる動きを表現する複数の動きベ クトルを発生する。第２の機能は、先行フレームの再構成バージョンと動きベク トルを用いて現在フレームを予測する。第３の機能は、予測フレームを現在フレ ームから差引いて残差フレームを発生させて符号化し、動きベクトルと共にレシ ーバに伝送する。レシーバ内で、復号器が符号化残差分と動きベクトルを用いて 各ビデオフレームを再生する。 特に、現在入力画像はビットレートコントローラ110と減算器102とＯＢＭＣ10 4に送られる。ＯＢＭＣは画像を複数のオーバラップマクロブロック、即ち、好 ましくは後述のように画素の多角形状ブロックに分割する。現在画像中のマクロ ブロックを先に転送した入力画像と比較する。先に転送された画像は通常ビデオ シーケンス中の先行フレームであるが、該シーケンスの他の部分からのフレーム であってもよい。ＯＢＭＣは、先行フレームと現フレーム間に生じた動きを表す 動きベクトルを生成する。これらの動きベクトルをハフマン符号器のようなエン トロピー符号器120で符号化し、最終的にレシーバに送信するためにバッファ118 に送り保管する。これらの動きベクトルを次に、先行処理された画像に適用して 予測画像を生成する。このＯＢＭＣは単一モジュールとして描かれているが、当 該技術に熟達した人は、ＯＢＭＣにより実行される機能を個別モジュール、例え ば動き算定モジュールと動き補償モジュールを使用しても実施し得るであろう。 より具体的には、動き補償アルゴリズムをビデオシーケンス列の時間的冗長度 を低減させるために使用する。慣用の動き補償法（スキーム）において、入力信 号はオーバラップのないブロックに区分される。差分絶対値和のようなブロック マッチング判定基準を用いて、先行フレームの１ブロ ックを現在フレームの各ブロックに対する最良予測として選択する。動きベクト ルは、予測処理操作を表現するものとして用いられる。図２に慣用のブロックマ ッチング動き補償（ＢＭＣ：B1ock matching Motion Compensution）を示す。こ の図において、フレームｎのブロック（ｉ，ｊ）に対し最もよく整合するのは、 フレームｎ−１のブロック（ｐ，ｑ）である。 これらのブロック間の距離はベクトルｖ＝（ｋ，ｌ）で示される。従って、所 与の先行フレームを用いて入力信号の現在フレームは１つの動きベクトルフィー ルドと１つの動き補償残差（ＭＣＲ：Motion Compensated Residual）フレーム によって表すことが出来る。このＭＣＲフレームは現在フレームと予測フレーム との差をとることにより得られる。 動きベクトルフィールドとＭＣＲフレームを現在入力フレーム全体の代わりに 圧縮することが出来、圧縮効率が改善出来る。ブロックマッチング動き補償にお ける全ての操作は、ブロック毎に行われる。これらの操作は各ブロックに個別に 適用されるので、隣接動きベクトルは必ずしも同一ではない。従って、ＢＭＣ型 システムの場合、ＭＣＲフレームにおいて（ブロッキングエッジ形状において） 不連続部分を生じる。このような不連続部分は符号化が難しくかなりのビット数 が使用される。 従来のブロック単位符号化法（スキーム）の場合、ＤＣＴのようなブロック単 位変換をＭＣＲフレームに適用する。一般的には、動き補償に用い た同一のブロック分割サイズと形状を変換計算にも使用する。従って、ＭＣＲフ レームの不連続により符号化効率は低減しない。しかしながら、これらのブロッ キングエッジは復号化シーケンスにおけるブロック化の影響を増大させる。もし 、ＤＣＴの代わりに、ウェーブレット変換のようなグローバルな変換をＭＣＲに 適用すると、ＢＭＣにより発生したブロッキングエッジが変換されてしまう。変 換領域において、これらのブロッキングエッジは高周波域の大きな値の係数で表 され、従って、符号化効率を低下させる。変換された不連続部分は復号化シーケ ンスにおいてもブロック化の影響を発生させる。 従って、ウェーブレット変換を用いる場合は、符号化の質を向上させるために ブロッキングエッジを効果的に減少させることが必要である。 不連続部分を減少させる確かな解決法の１つは、動き補償プロセスにおいてブ ロックを重複させる、即ち、オーバラップブロック動き補償（ＯＢＭＣ）法であ る。図３に動きベクトルにより移動させた動き補償ブロックを示す。尚、ブロッ クは互いに重なっている。特に、各補償ブロックは８つの隣接ブロックとオーバ ラップし合っている。オーバラップ区域の動き補償のために窓関数も採用する。 図３において、フレームｎのブロックＢ（ｉ，ｊ）は次式によって得られる。 式中、Ｗ（ｋ，ｌ）は窓関数も表すマトリックスであり、×は要素毎の積和演算 を表している。図４は、複数の予測器400と複数の窓関数402を含むＯＢＭＣ104 を示す詳細ブロック図である。各予測器400は１つの窓関数402と直列に接続し、 全ての予測器と窓関数の組合わせを加算器114に並列に 接続している。各窓関数402の出力は加算器404に接続する。動作時、予測器400 によって生成された予じめ再構成されたフレームからの複数のブロックが窓関数 により重み付けされ加算されて、動き補償フレームのための１つのブロックを得 る。隣接する２つの動きベクトルが同一でない場合でも、該当動き補償ブロック 間の不連続は、隣接ブロック間のオーバラップのために除去される。動き補償ブ ロックを重ねても幾つかのブロックに多少の不必要な歪みを生じる可能性がある が、ウェーブレット変換を使用するフレーム間符号化の効率はかなり改善される ことが示されている。理想的な窓関数の形状は入力信号の空間的相関関数である 。呼者の頭部と両肩を示す画像のようにビデオ・フォーン電話装置に共通に現れ る画像シーケンスに対しては台形または二乗余弦（raised-cosine）形状の窓関 数がほぼ理想に近い形状でであることも明らかになっている。 本発明では図５に示すような４辺形のオーバラップを用いたオーバラップブロ ックによる動き補償法を使用する。この方法においては、各ブロックは４等分さ れ、各四半分は隣接ブロックの３つの四半分と重なる。二乗余弦窓関数機能はブ ロックのオーバラップを決めるためにも選択される。 Ｗ（ｉ，ｊ）＝ｗ（ｉ）ｗ（ｊ） （４ ） ここで、ウィンドウのサイズは１６×１６で、ｉ＝０，１，…，１５である。Ｂ ＭＣよりもＯＢＭＣを採用した方がウェーブレット符号器の品質性能がかなり向 上することが観察されている。例えば、“母−娘”シーケン スの２００フレームを２５Ｋビット／秒のビットレートで符号化する場合、平均 信号対ノイズ比（ＳＮＲ：Signal-to-Noise Ratio）はＢＭＣの代わリにＯＢＭ Ｃを用いると０.５デシベル改善された。 ＢＭＣの場合は、各ブロックは他のブロックから独立して予測されることは注 目される。ＯＢＭＣ法における各ブロックの予測性能は隣接動きベクトルの影響 を受ける。先行技術の殆どのオーバラッピング法において、これらのベクトルは 依然として個別に計算されている。ＯＢＭＣ法をさらに改善する１つのステップ は隣接ブロックの予測の際に各動きベクトルの効果を考慮することである。１つ の方法として、動きベクトル推定（estimation）に反復アルゴリズムを使用する 。反復法で動き推定を２回または３回繰り返すことにより予測誤差を１５％まで 低減出来ることが明らかにされている。 ＯＢＭＣで規定されるブロックは多角形状、例えば六角形の形状とすることが 好ましい。六角形は四角形よりも人間の視覚特性をより近似表現出来る。従って 、六角形を使用することにより視覚的ブロッキング効果を低減できる。さらに、 六角形ブロックは人間の視覚特性をより良く表現する。図６には、複数のオーバ ラップのない六角形ブロック602に区分した入力フレーム600を示す。 図７には、フレームｉ内のブロック702からフレームｉ−１内のブロック702に 関する動きベクトル700と、フレームｉ内のブロック706からフレームｉ−１内の ブロック706に関する動きベクトル704を示す。各動きベクトルによりブロックが 互いにオーバラップを持つことがわかる。 一度動きベクトルが得られると、それを利用して、予測フレームを生成する（ 図１中のパス134上に）。この予測フレームは今度はＭＣＲフレームを生成する ために使用される。減算器102は画素毎に現在入力フレーム から前記予測フレームを差引く。その結果、動き補償残差フレーム（ＭＣＲフレ ーム）が得られる。 ウェーブレット発生器／符号器106は、従来の離散ウェーブレット変換アルゴ リズムとゼロツリー符号化及び量子化技術を用いて、前記の残差分（residuals ）を処理する。ウェーブレット発生器／符号器は、離散ウェーブレット変換（Ｄ ＷＴ）ブロック122と、量子化器（Ｑ）124と、ゼロツリー符号器126とエントロ ピー符号器128を含んでいる。ウェーブレット発生器／符号器に関する詳細は、1 995年5月2日に発行された米国特許No.5,412,741号に開示されており、本明細書 においても参照する。代わりとなるゼロツリー符号器が1995年10月25日に提出の 仮出願60/007,012、代理人事件整理番号11908（ 年 月 日提出の米国特許 出書No. 、代理人事件整理番号DSRC11908）に開示されており、本明細書で も参照する。 逆ウェーブレット発生器112は、逆量子化器（Ｑ^-1）130と逆離散ウェーブレッ ト変換（ＤＷＴ^-1）ブロック132を含んでいる。このように逆ウェーブレット発 生器は、前記離散ウェーブレット発生器／符号器への入力を形成するＭＣＲフレ ームの再構成を行う。再構成差分フレームを加算器114にて前記予測画像と結合 して現在入力画像を推定する。この画像はフレームバッファ116に保管され、次 の入力フレームに対する新しい予測フレームを生成する時に前記ＯＢＭＣにより 先行画像として使用される。 図８乃至図１１には、離散ウェーブレット変換（ＤＷＴ）のための多段フィル ター構造を示す。このＤＷＴ122は、通常、複数のフィルター800,802,804,806を 含むオクターブ帯域のツリー構造を用いて実施する。ツリー構造の各段（フィル ター段）は、２バンド分解方式で、２バンドシステムの低い周波数のみをさらに 分解する。図１０に、一例として、図８のＤＷＴの−段800（一次元）の詳細ブ ロック図を示す。段800は、低帯域フィル ター1002と高帯域フィルター1004を含んでいる。各フィルターにはダウンサンプ ラー（Downsampler）1006と1008が後続しフィルタ処理された両像をサブサンプ リングする。 図９および図１１には、上記システムに対応する２バンド合成部900,902,904, 906を用い同様の構造で実施した逆ＤＷＴ132を示している。各段は、２つのアッ プサンプラー（upsampler）1106と1108を含み、各アップサンプラーには低帯域 フィルター1102と高帯域フィルター1104が後続している。各々のフィルターから の出力信号は加算器1116で加算される。基本２バンドシステムが完全再構成なら ば、ＤＷＴは可逆である。所望のＤＷＴは必要な特性を有する２バンド形フィル ターバンクを設計することにより得られる。 一次元の場合と同様に、多次元離散ウェーブレット変換は、通常、階層的ツリ ー構造のフィルターバンクの形で実施する。ツリー構造の各段は１つの多次元フ ィルタバンクより成る。フィルターバンクの多次元への一般化は、分離可能な場 合に対して明白（straight-forward）である。分離可能なフィルターバンクは分 離可能なフィルターと分離可能なダウン・アップサンプリング（Down-upsamplin g）機能の両方を使用する。分離可能なフィルターバンクは、分解が各次元にお いて個別に行えるので非常に効率的である。分離可能なフィルターバンクは所与 の画像に対する変換の符号化ゲインを必ずしも最大にしないが、ウェーブレット 構造における性能は自然画像に対し最適に近い。従って、本発明の好ましい実施 例では、二次元（２−Ｄ）ウェーブレット変換に分離可能なフィルターバンクを 使用する。サブバンド分解は先ず画像中の画素の横列方向に、次に縦列方向に行 う。従って、簡単な反復ルーチンを使用して、入力画像を各回毎に４つの部分画 像に分解することが出来る。本発明の好ましい実施例は分離可能な フィルターを使用しているが、他の実施例では分離不可能なフィルター又は分離 可能なフィルターと分離不可能なフィルターを組み合わせて使用する。 ＤＷＴにおけるフィルターの選択は重要なパラメータの１つである。画像の圧 縮を容易にするためには、線形位相特性を欠くとエッジ周りに位相の歪みが非常 に目立つので線形フィルターを必要とすることは良く知られている。従って、本 発明においては線形位相フィルターのみを使用する。 直交性がフィルターバンクにおけるもう１つの課題である。サブバンド信号の 非相関性は圧縮システムにおいては望ましい特性であるので、本発明においては 、直交性又は近直交性フィルターバンクを使用する。完全再構成特性がフィルタ ーバンクのもう１つの重要な特性である。低ビットレートでは再構成誤差は量子 化誤差に比して無視できるので、本発明では近似的完全再構成フィルターバンク を使用する。フィルターのサイズに関しては、長尺フィルターは通常符号化ノイ ズを拡散する傾向がある。従って、低ビットレート符号化システムにおいて長尺 フィルタを使用すると鋭いエッジの周囲にリンギングの影響が現れる。このよう に、本発明を非常に低いビットレートを用いる用途に使用する場合は、本発明で は一般に短尺のフィルターを使用する。但し短尺フィルタは、特に良い阻止域除 波特性を有してはいない。従って、本発明において使用するフィルターは１２タ ップ以下の長さとする。 異なるウェーブレットサブバンドに対し異なるフィルタ形式を使用する際の実 用性を示すために、本発明は、“母−娘”シーケンスを２つの異なるウェーブレ ットセット、即ち２個のＱＭＦ9フィルターと２個のＨａｒｒフィルター（図８ −１１参照）を用いて符号化した。Ｈａｒｒウェーブレットは、ＱＭＦ9ウェー ブレットに比べ時間分解能が優れているのでＭ ＣＲフレームに対しより良い結果が得られることが期待された。フレーム間符号 化信号を復号した全体の画質は実際にＨａｒｒウェーブレットを使用した時の方 が良いことが明らかになった。輝度信号のＳＮ比の改善は、母−娘シーケンスの 場合約０.１７デシベルである。Ｈａｒｒフィルターを使用することにより、エ ッジ周辺のリンギングアーチファクトが減少し、復号シーケンスの主観画質（su bjective quality）が著しく改善される。但し、この変換はＱＭＦ9ウェーブレ ットよりブロック化の傾向がある。 本発明において、ウェーブレット変換を動き補償残差（ＭＣＲ）フレームに対 して行う。次に、各ＭＣＲフレームのウェーブレット・ツリー表現内の係数をウ ェーブレット・ツリー符号化をする。 図１に戻り、離散ウェーブレット変換122の後、量子化器124がウェーブレット 変換係数を量子化する。この量子化器の後、ゼロツリー符号器126とエントロピ ー符号器128が量子化された係数をロスレス符号化する。離散ウェーブレット変 換はロスの無い可逆的なプロセスであり、何も圧縮はしないが、続く圧縮段階の ためのデータを準備する。実質的な圧縮、従ってロスが量子化器において発生す る。量子化器に続くゼロツリー符号器とエントロピー符号器は、ロスレス圧縮段 階を形成し、量子化された係数を出来るだけ少ないビットで符号化する。 本発明の第１の実施例は、埋込みゼロツリーウェーブレット（ＥＺＷ：Embedd ed Zerotree Wavelet）符号化プロセスを採用し、ウェーブレット変換と量子化 とゼロツリー／エントロピー符号化の複合動作を行う。ＥＺＷ符号器の詳細な説 明は1995年5月2日に発行された米国特許No.5,412,741号に開示されており、本明 細書においても参照する。本発明の第２の（代替）実施例では、異なる形態のゼ ロツリー符号器を使用する。この符号器は1995年10月25日に出願された仮出願60 /007,012、代理人事件整理番号11908 の”ウェーブレットベースの符号化技法により生成したゼロツリーを符号化する ための装置及び方法（ 年 月 日提出の米国特許出願書No. 、代理人事 件整理番号DSRC11908に変更）に開示されており、本明細書でも参照する。各形 式のウェーブレットツリー符号器を以下に記述する。 ウェーブレット変換処理後、ＥＺＷは同時に係数を量子化し、係数のゼロツリ ーを構築し、算術符号器を用いてゼロツリーと係数をエントロピー符号化する。 これは反復実行され、反復のたびに量子化が微細になり、反復毎に符号化の質が 向上する。反復処理は特定のフレームに対するビットの割当てを満たすまで続け られる。ビットの割り当ては本発明の符号化装置のビットレートコントローラ11 0によって設定される。 ＥＺＷにより実施される量子化はゼロ周辺にデッドゾーンを有する中高（mid- riser）均等量子化器群と特徴づけることができる。図１２にこのような量子化 器の一例を示す。ＥＺＷプロセス反復後、これらの量子化器の中の１つを用いて 全ての係数を効率よく量子化する。このアルゴリズムは次の反復を通して実行さ れるので、各係数に対する効果的な量子化は、量子化器群中の次のより微細な量 子化器での量子化へと進み、反復終了時には全ての係数の量子化がこの新しい量 子化器での量子化になる。１回の反復終了時に割り当てられたビットを使い果た した場合は、同一の量子化器で全ての係数を量子化する。しかし、１回の反復が 完了する以前に割り当てビットを使いきる可能性の方が高く、この場合は、各係 数に対する最終の有効な量子化は２つの量子化器の中の１つの量子化器に従い、 これは係数走査時のアルゴリズムの停止位置に依存する。 ＥＺＷプロセスの各回の反復は閾値によって特徴付けられ、有効に実装された 量子化器はその閾値の関数である。反復が進行するに従い、閾値が減少し量子化 が細かくなる。全ての閾値は２の累乗である。当初の閾値Ｔ ｄを、少なくとも１つの係数の大きさがＴｄと２＊Ｔｄの間にあり、２Ｔｄを越 える大きさの係数がないような２の累乗に設定する。大きさｃの各係数をこの反 復により処理すると、その量子化量ｃｑは次式で表される。 式中のｉｎｔ［］は“…の整数部分をとる”ことを意味する。 この反復後、新しい閾値Tsを使用する。ここで、Ｔｓ＝Ｔｄ／２。係数を再度 走査し、次式に従って量子化する。 この量子化器と最初の量子化器の差は、ゼロ周辺のデッドゾーンが第１量子化 器中の閾値に達するが第２量子化器においてはその閾値の２倍に達することが注 目される。 この反復後、閾値Ｔｄを再度使用し、ＴｄをＴｄ＝Ｔｓに設定する。係数を再 び走査し式（６）に従い量子化を行う。この反復後、Ｔｓを設定し式（７）を適 用する。量子化器のこの切り替えをフレームに対するビット割り当て分が無くな るまで続ける。 量子化係数を符号化するために、ＥＺＷはゼロツリーと呼ばれる構造を使用し 係数を順序付けされた後、算術符号器で実際に符号化を行う。ゼロツリーと算術 符号器は協働して量子化係数を係数のエントロピーまでロスなく圧縮する。ゼロ ツリーはウェーブレット係数の量子化現状を反映するようにＥＺＷの反復毎に再 発生される。ツリーは各ウェーブレット係数毎にノードを持つ。米国特許No.5,4 12,741では、４つのシンボル、すなわち、 “正の有効値”、“負の有効値”、“ゼロツリールート”または“孤立ゼロ”、 の中の１つがそのノードにおける係数を記述している。ゼロツリーによる符号化 は、“ゼロツリールート”の記号をツリーの枝刈りに使用し、すなわち、“ゼロ ツリールート”から延びる枝は符号化しない。このような剪定により、本発明は 符号化しなければならない係数の個数を制限することが出来、それにより、かな りのビット数を削減できる。 代わって、1995年5月2日に発行された米国仮出願No.60/0007,012（代理人事件 整理番号11908）（ 年 月 日提出の米国特許出願書No. 、代理人事件 整理番号DSRC11908に変更）には、ゼロツリー符号器がゼロツリーを探索（trave rse）するために深さ優先パターンを用い、即ち、親から子、子から孫へと延び る木の各枝を次の枝を探索前に完全に探索することが開示されている。この深さ 優先の縦形木探索パターンを使用して、木の係数を量子化するだけでなく、ＥＺ Ｗ法で用いたような反復プロセスを使用せずに量子化係数に記号を与える。量子 化は、連続ウェーブレット係数値から離散値を生成する任意の量子化方法で達成 出来る。かような量子化プロセスは図１２の中高（mid-riser）量子化器を含ん でいる。さらに、このゼロツリー符号器126は、各ノードに３つのシンボル、す なわち、“ゼロツリールート”、“数値化（valued）ゼロツリールート”及び“ 数値”、の中の１つを割り当てる。ＥＺＷ法の場合のように、ゼロツリー符号化 は“ゼロツリールート”シンボルを用いて木の枝刈りを行う、即ち、“ゼロツリ ールート”から延びる枝を符号化しないので圧縮が生じる。このような剪定によ り、本発明は符号化しなければならない係数の個数を制限することが出来、それ により、かなりのビット数を削減できる。 ゼロツリー符号器に続く算術（エントロピー）符号器126は残りのシンボルと 量子化係数のビットを実際に符号化する。算術符号器は、シンボル のストリームをエントロピーにおいて符号化する。算術符号器は、ハフマン符号 器と類似しているが、算術符号器は分数ビットをシンボルに割当てることが出来 、ハフマン符号器より迅速にシンボルの統計（statistics）の変更に適応出来る ので、ハフマン符号器よりも高性能である。 使用した特定の算術符号器はWitten,Neal及びClearyにより開発された符号器 を直接実装したものである。この符号器は、Witten他“データ圧縮用算術符号化 ”「ＡＣＭの通信」、第30巻、6号、520-540頁、1987年6月、に詳しく説明され ている。この符号器は、シンボルの確率モデルに従ってシンボルにビットを割当 てて作動する。使用する最適モデルは、符号化プロセス中にシンボルに遭遇する ごとに確率計算をすることを意味する。この方法で、データを出来るだけ少ない ビットで符号化でき、また、復号器が符号器と同じモデルを構築し確率を調べる ことができるので、復号も可能である。最適モデルを用いることにより、算術符 号器は符号化の進行に応じた信号統計の変化に適応できる。 ビットレートコントローラ110は入力画像と、バッファ118の状態と、エントロ ピー符号器120の状態と量子化器124に対する最適な量子化器スケールを決定する ための残差分を監視する。量子化器スケールの制御は所与の画像フレームを符号 化するために使用する最終ビット数を制御する。 ビットの割り当ては、ビデオシーケンスを圧縮する際に使用可能なビットレー トをどのように使用するかを決定することを含む。ビットの割り当てはビデオ圧 縮において次の２つの理由に基づき行われる。第１の理由は圧縮中に生成される ビット数を制御するために使用する。この場合、ビットの割り当ては、ビットレ ート制御と呼ばれることもある。ビットレートの制御は、所望のビットレートを 維持し、符号化装置内のバッファが適当な使用率にある状態を維持するために重 要である。第２の理由は、出来る 限り最良の伸長（decompression）を達成できるようビットの割り当てを利用し て圧縮ビデオ画質を制御する。この文脈において、“最良”なのは、使用目的に 対して最適である伸長されたビデオである。しばしば、伸長されたビデオは単純 に特定の課題を持たない人々が見るために単純に使用される。この場合、“最良 ”は単に“視聴者にとって最良に見える”ことを意味する。しかしながら、その 他の場合に、ビデオの或る時空間部分が他の時空間部分より重要性を持つことが あり得る。例えば、ビデオ電話の場合、顔が通常重要であり、背景は重要度が低 い。この場合、“最良”は、最良に見える顔を生み出す伸長ビデオであり、背景 の画質はあまり考慮されない。これらの関連用途による“最良”の定義を、ビッ ト割り当てのスキームに組み込まねばならない。 ビットの割り当てを実施することのできる幾つかのレベルがある。最高レベル においては、ビデオのビット割り当ては、空間品質と時間品質の間のトレードオ フを処理する。このトレードオフは秒当たりのフレーム数（ｆ／ｓ）を変えるこ とによって行われる。このタイプのビット割り当てはフレームレートの制御であ る。１例を挙げると、例えば所与のビットレートＸビット／秒（ｂ／ｓ）におい てＹｆ／ｓの使用と、各圧縮フレームを表現するために平均値でＸ／Ｙ＝Ｚビッ ト／フレーム（ｂ／ｆ）が割り当てられる。同じビットレートＸｂ／ｓでＹ／２ ｆ／ｓの使用を選択すれば、各圧縮フレームを表現するために平均値で２＊Ｚビ ット／フレーム（ｂ／ｆ）が割り当てられる。第１のケースにおいては、ビット レートの大部分がビデオシーケンスの時間情報を表現するため（ｆ／ｓに多く、 ｂ／ｓに少なく）使用される。第２のケースにおいては、ビットレートの大部分 がビデオシーケンスの空間情報を表現するために（ｆ／ｓに少なく、ｂ／ｓに多 く）使用される。伸長ビデオ画質により測定し、ｆ／ｓとｂ／ ｆの間の最良のバランスを実現することがフレームレート制御の目標である。任 意の特殊な時点におけるｆ／ｓとｂ／ｆの間の最良のバランスはその時点におけ るビデオの空間及び時間の複雑性（complexity）に強く左右される。比較的小さ な動きのあるビデオの場合、動きを円滑にするためにｆ／ｓはあまり大きい必要 はない。他方、比較的大きな動きのあるビデオの場合、動きを円滑に表現するた めに比較的大きなｆ／ｓが必要である。 次のレベルにおいては、ビットの割り当て処理は、使用可能なビットをフレー ム間で分割しフレーム間の空間−時間の画質を均一化する。これは、“フレーム 間”のビットの割り当てである。空間−時間の複雑度はフレーム毎に広く変化す るので、均一なフレーム間画質を達成するためには、異なるフレームには異なる ビット配分を必要とする。特定のフレームに対するビットの割り当てはそのフレ ームの時空間の複雑度に強く左右される。フレーム間ビットの割り当てはフレー ムレートを連続的に変化させることにより達成出来ることに注目すべきである。 しかしながら、固定フレームレートの場合であってもビデオシーケンス中の異な るフレームに対しては異なるビット数を割り当てることが望ましい。 最低レベルにおけるビットの割り当ては、フレームの画質を空間的に均ー化す るためにフレーム内での使用可能なビットの割り当てを決定することを含んでい る。これは“フレーム内”ビットの割り当てである。一枚のフレームの空間複雑 度は空間位置によって広く変化するので、均一なフレーム内画質を達成するため には、異なるフレーム部分には異なるビット配分を必要とする。フレーム間ビッ トの割り当ての場合と同様に、フレーム内ビットの割り当ての場合も、特定の空 間位置への最適なビットの割り当てはその位置におけるそのフレームの空間複雑 度に強く依存する。 本発明において使用できるビット割り当て方法の１つは、基本的なファ ーストパス（basic first-pass）技法である。空間画質を制御するために、本発 明は可変空間量子化法を用いる。この基本的な方法において、ビットレートとフ レームレートは符号器が稼動している時に指定され、ビデオシーケンスの符号化 プロセスを通して固定される。フレームレートとビットレートを固定化すること により、本発明はフレーム当たりのビット数も固定する。各フレームに対し、符 号器はそのフレーム用にそのフレームに割り当てられたビット数（全てのフレー ム対し同じビット数）を正確に生成し、量子化器のスケールを選択する。この場 合、この量子化器スケールはフレーム毎にのみ変化する。 伸長したビデオにおける空間画質と時間画質をバランスさせるために、本発明 は、上記ビットレート制御手法を補強するフレームレート制御を用いることがで きる。フレームレート制御を容易にするために、空間と時間の複雑度を測定する 必要がある。時間的複雑度は１フレーム（又はフレームセット）の動きベクトル の振幅だけでなく動きベクトルフィールドのより上位の統計値を考慮したもので ある。時間的複雑度には、１フレーム（又はフレームセット）の動き補償予測誤 差を伴う統計値も含まれる。空間的複雑度は、１枚の情報源ビデオフレーム（又 は複数からなるセット）からの統計値と１枚の動き補償予測誤差フレーム（又は 複数からなるセット）からの統計値が使用される。これらの統計値は、前記フレ ームの異なる時空間の限られた位置またはフレームの全面に対し個別に計算され る。同様な時空間の複雑度の測定はフレーム間ビットの割り当てを決定するため にも用いられる。 フレーム内の画質を均一にするために、本発明は、空間画質を制御するために 空間振幅の量子化を用いたフレーム内ビット割り当て法を使用する。フレーム内 ビット割り当ての場合、フレームの空間的区分を行う。この区 分は２つの異なるタイプの情報を考慮したものである。先ず、ビデオデータを用 途に対する相対的重要度に基づき分類する。先述の例を再引用すると、ビデオ電 話シーケンス（画像列）において顔を背景から区分し、（フレームに割り当てら れたビットの大部分を使用して）より正確に圧縮する。この区分は、人間の視覚 特性も考慮したもので、画像領域を、それらの領域における圧縮によるアーティ ファクトを粉らす程度に基づき分類する。この区分情報はまたフレーム間のビッ ト割り当ての決定にも用いられる。 本発明は前述の通り従来のウェーブレット変換を用いて作動するが、他のより 特殊なウェーブレット変換と符号化プロセスが利用可能であり、これらも本発明 の範囲内である。例えば、ウェーブレットパケットを従来のウェーブレット変換 の代わりに使用できる。ウェーブレットパケットは、従来のウェーブレット変換 とは、低バンド以外のバンドをさらに分解出来る点で異なっている。オクターブ ベースフィルターバンクとして実装される従来のウェーブレット変換の場合は、 信号は２つのバンド（高、低）に分割され、低バンドはさらに高低のバンドに分 割され、以後これが繰り返される。この方式のフィルター構成を図８に示す。ウ ェーブレットパケットの実施例においては、低バンド出力の代わりに高バンド出 力を低バンドと高バンドに分割出来る。さらに、低バンド出力と高バンド出力の 両方とも各々低バンドと高バンドに分割出来る。この方式のフィルター構成は各 段階において種々の組み合わせのバンド分割を可能とする。 この柔軟性により、広範な範囲の分解が可能で、各々の分解バンドが異なる時 間-周波数タイル（Tiling）を有し、従って、異なる時間-周波数位置を有する。 単純な構成の場合、ツリー構造の各段階において両バンドに分解される。これは 、均一なフィルターバンクと等価である。異なる分解を用いて変換し、時間-周 波数平面の異なるタイルを実現することが出来 る。複雑な時間-周波数タイルの４例を図１３−１６に示す。図１３には、完全 ウェーブレットパケット変換における時間−周波数のタイルを示し、図１４には 、ウェーブレット変換における時間−周波数のタイルを示し、図１５にはウェー ブレットパケット変換における時間一周波数のタイルを示し、図１６には、適応 ウェーブレットパケット変換における時間−周波数のタイルを示す。 埋込みゼロツリー符号化方式において各チャイルドは１のペアレントだけを持 つことが出来る。これは、ウェーブレットパケットにおいてはチャイルドは複数 のペアレントを持つことが出来るので、ゼロツリー符号化スキームは汎用ウェー ブレットパケットの分解には直接適用出来ないことを意味する。本発明の１つの 実施例において、本発明は、各チャイルドはただ１のペアレントを持つことが出 来るように制限されたウェーブレットパケット分解を使用している。この実施例 においては、従来のウェーブレット変換と異なり、ペアレントは信号のより高い 周波数係数を含むことが出来る。各所与のＭＣＲフレームに対する異なる適応手 段を用いて、前記フレームの最良（限定）ウェーブレットパケットを見つけ出し て、ウェーブレットパケットの係数に埋込みゼロツリーによる符号化を行う。“ 最良”の変換は、最も重要なサンプルが僅かな粗いバンドに集まっている変換で ある。本発明はＭＣＲのウェーブレットパケット分解に対し２つの異なる判別基 準を使用している。第１の基準は、サブバンドのエネルギーである。本発明のこ の実施例の場合、ツリー構造の各段階において、他のサブバンドより大きいエネ ルギーを含むサブバンドをさらに分解する。実験結果は、このような適応分解は 符号化の質を向上させることを示している。第２の基準は、予備閾値のエネルギ ーである。この方法では、各サブバンドはを閾値により先ずクリッピングし、次 に、サブバンドのエネルギーを互いに 比較する。実験結果は、元ウェーブレット変換に対し、符号化の質の向上を示し ている。 本発明の教示を化体した種々の実施例を示し詳述してきたが、当業者には、こ れらの教示を含む多数の他の変形例を案出することが可能であろう。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ソドガー，イラジ アメリカ合衆国，ニュージャージー州 08536，プレインズボロ，ハンター グレ ン ドライブ 2810 (72)発明者 ザン，ヤチン アメリカ合衆国，ニュージャージー州 08536，プレインズボロ，アシュフォード ドライブ 98

Claims (1)

1. 【特許請求の範囲】 １．入力画像を複数のオーバラップブロックに区分して符号化するための装置で あって、 前記複数のオーバラップブロックに対する複数の動きベクトルを計算し該複数 の動きベクトルを用いて予測画像を生成するためのオーバラップブロック動き補 償器と、 該オーバラップブロック動き補償器に結合されており、前記入力画像と前記予 測画像間の差信号にウェーブレット変換を適用し、複数の係数を発生するウェー ブレット変換モジュールと、 該ウェーブレット変換モジュールに結合されており、前記複数の係数を量子化 するための量子化器と、 該量子化器に結合されており、前記複数の量子化係数を符号化するための符号 化器より成る入力画像符号化装置。 ２．請求項１記載の入力画像符号化装置において、前記オーバラップブロック動 き補償器が、 複数のオーバラップのないブロックを予測するための複数の予測器と、 該複数の予測器の１つの予測器と直列に各々が結合されており、前記複数の重 ならないブロックに窓関数により重み付けするための複数の窓関数と、 該複数窓関数に結合されており、該複数の窓関数により重み付けされたオーバ ラップのないブロックを加算してオーバラップブロックを生成する加算器より成 る入力画像符号化装置。 ３．請求項１記載の入力画像符号化装置において、前記ウェーブレット変換モジ ュールが、複数のウェーブレットサブバンドを有するツリー構造に 構成された複数の分離可能なフィルターより成る入力画像符号化装置。 ４．請求項１記載の入力画像符号化装置であって、前記量子化器に結合されてお り、前記複数の係数の各々に対する量子化器スケールを選択するためのレートコ ントローラをさらに設ける入力画像符号化装置。 ５．請求項１記載の入力画像符号化装置であって、前記量子化器に結合されてお り、前記複数の量子化係数を選択的に間引くためのゼロツリー符号器をさらに設 ける入力画像符号化装置。 ６．入力画像を複数のオーバラップブロックに区分して符号化する方法であって 、 前記複数のオーバラップブロックに対する複数の動きベクトルを計算するステ ップと、 前記複数の動きベクトルを用いて予測画像を生成するステップと、 前記入力画像と前記予測画像間の差信号にウェーブレット変換を適用し、複数 の係数を発生するステップと、 前記複数の係数を量子化するステップと、 前記複数の量子化係数を符号化するステップより成る入力画像符号化方法。 ７．請求項６記載の方法において、前記複数のオーバラップブロックが多角形状 のブロックである入力画像符号化方法。 ８．請求項６記載の方法において、前記複数のオーバラップブロックの各々を窓 関数を用いることにより発生させる入力画像符号化方法。 ９．請求項６記載の方法において、前記ウェーブレット変換を適用するステップ が前記ウェーブレット変換の結果生じる異なるウェーブレットサブバンドに異な る形式のフィルター処理を選択可能に適用するようにした入力画像符号化方法。 １０．請求項６記載の方法において、前記ウェーブレット変換を適用するステッ プがウェーブレットパケット変換を適用するようにした入力画像符号化方法。