JP2008289132A - データセットを変換係数に変換する方法 - Google Patents

Abstract

【課題】ビデオ画像を表しているデータを効率的に符号化して、それにより復号器へ移されなければならないデータ量を減らす方法と装置を提供する。
【解決手段】残りを一方のサブバンドからもう一つのサブバンドへ伝送することができるテンソル積小波変換を利用してデータセットを変換することを含む。サブバンドの集合（マクロブロック形式になっている）が重みを付けられ、検出され、そして順序付けられて変換されたデータの優先順位付けを可能にする。動き補償技術が復号器へ伝送のためにビットストリーム・パケットに位置的に符号化される動きベクトルと予測誤差を生成するサブバンド・データで実行される。サブバンド・マクロブロックとゼロに等しいサブバンド・ブロックが復号器へ移されなければならないデータ量をさらに減らすためにビットストリーム・パケットにあるようなものとして識別される。
【選択図】図１

Description

本発明は、一般的にいえば装置とビデオ情報を符号化して、復号する方法に関する。より詳しくいえば、本発明は装置と変換ドメインにおけるデータセットを変換係数に変換する方法に関する。

関連出願についてのクロス・リファレンス
本願は、１９９７年１１月１４日出願の暫定出願番号６０／０６６，６３８に対する優先権を主張し、それは本明細書において引用して組入れられている。

伝送路に利用可能な帯域幅が限られているために、音声とビデオ情報を符号化するために限られた数のビットだけしか利用できない。ビデオ符号化技術が与えられた用途に必要とされる画質をなお、維持しながら、できるだけ少ないビットでビデオ情報を符号化しようとしている。したがって、ビデオ圧縮技術が冗長な情報を除き、重要な特徴の損失を最小にして元の画像に近似したものを再構成できる最小のビットで残りの情報を表すことによってビデオ信号を伝えるに必要な帯域幅を減らそうとしている。このようにして、圧縮データを元の画像データより有効な方法で記憶又は伝送できる。

ビデオ信号から統計的冗長性を除くことによって符号化効率を改良する多くのビデオ符号化技術がある。多くの標準の画像圧縮方式は、離散的コサイン変換（ＤＣＴ）のような入力画像のブロック変換に基づいている。例えば、映画専門家グループによって開発された周知のＭＰＥＧビデオ符号化技術は、空間ドメイン（ＤＣＴ使用して）における画素（ペル）間の相関と時間ドメイン（予測と動き補償を使用して）の画像枠間の相関を利用することによってかなりのビットレート削減を達成している。

システム（含めて重ねられた直交する変換の）を符号化して基礎を形成される周知の直交及び二直交（サブバンド）変換において、画像がその画像を最初にブロック化する必要なしに変換される。ＤＣＴに基づく変換符号器は、画像を最初にブロック化する必要なしに変換する。ＤＣＴに基づく変換符号器は、主に二つの理由で画像をブロック化する、すなわち、１）経験によってＤＣＴが画像の８×８領域又は一連の差画像ついての既知の最適変換（カルーネン・ルーベ）に対する良好な近似であることを知った、及び２）ＤＣＴの処理は、Ｏ（ＮｌｏｇＮ）を増大させて、画像のブロック化によって計算努力が制限される、ということである。

最終結果は、ＤＣＴをベースにした方法が、特に高められない限り、画像の８×８領域によって（又は直ぐ外側に）コンパクトに支えられる基素機能を有する。考慮中の直交及び二直交変換は、画像の有限の間隔内に主に支持される基素部材を有するが、範囲を隣接した空間領域と共有する。サブバンド画像符号化技術、例えば、１組のフィルタを用いて一つの入力画像を複数の空間周波数帯域に分割し、各帯域又はチャネルを量子化する。サブバンド画像符号化技術の詳細な議論については、ＳＰＩＥ第１６６６巻「人間の視力、視覚処理及びデジタル表示ＩＩＩ」、ｐｐ．２４１−５２（１９９２年２月）のシー・ポディルチャック（Ｃ．Ｐｏｄｉｌｃｈｕｃｋ）及びエイ・ジャッキン（Ａ．Ｊａｃｑｕｉｎ）著「動的ビット割当及び幾何学的ベクトル量子化でのサブバンド・ビデオ符号化」（Ｓｕｂｂａｎｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｗｉｔｈ Ｄｙｎａｍｉｃ Ｂｉｔ Ａｌｌｏｃａｔｉｏｎ ａｎｄ Ｇｅｏｍｅｔｒｉｃ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）を参照されたい。サブバンド符号化方法の各段階で、信号は、画像の低域通過近似とその近似を作ることによって失われた細部を表す高域項に分割される。

それに加えて、ＤＣＴベース変換符号器は、ベース部材が８×８ブロック全体にわたって伸びる支えを有するという意味で変換不変量である。これは、動き補償が変換ドメインにおいて能率的に行われないようにする。したがって、使用中の大部分の動き補償技術は、８×８ブロックに符号化された変換である誤差項を作るために隣接画像フレームを一時的に利用する。結果として、これらの技術は、基準フレームを周波数領域から時間領域に与えるために行われるべき逆変換を必要とする。このようなシステムの例は、鈴木ほかの米国特許第５，４８１，５５３号と村上ほかの米国特許第５，０２５，４８２号にある。

図１は、ＤＣＴを使用している従来の標準ビデオ圧縮方法の略ブロック図を示す。ブロック１０において、画像シーケンス内の変化は、予測モードにあるときＭＰＥＧにおいて使用される一つの技術のような動き検出技術によって能率的に表される。特に、前のフレームが基準のフレームとして使われ、前向き予測において、次のフレームが時間的冗長性をなくして、度合に従ってそれらの間の差に順位を付けるために前のフレームと比較される。このステップは、次のフレームの動き予測の段階を設定するとともに次のフレームのデータの大きさを小さくする。

ブロック１２において、判定が画像のどの部分が動いたかについてなされる。ブロック１０によって与えられたデータセットを使用して、ＭＰＥＧの例を続けると、フレーム間の動き予測は、動き補償技術を基準フレームと次のフレームに適用することによって実施される。結果として生じる予測は、予測誤差／フレームを生成するために次のフレームから引かれる。その後で、ブロック１４において、変化は特徴に変換される。ＭＰＥＧにおいて、これは２次元の８×８のＤＣＴを使用している予測誤差を圧縮することによって行われる。

ＤＣＴ又はサブバンド・符号器に基づく大部分のビデオ圧縮技術は、変換段階において正確さを失うことなくビデオ情報を符号化しようとする高精度技術に集中した。そのような高精度符号化技術は、比較的費用のかかるマイクロプロセッサ（例えばインテル社ＰＥＮＴＩＵＭ（商標）プロセッサ）に依存する。そして、それは、浮動小数点演算の操作において助けとなり、それによって高精度を維持することに対するペナルティーを少なくする専用のハードウェアを有している。

しかし、多くのアプリケーションの場合、そのような比較的高価なハードウェアは、実際的でないか又は価値があると認められていない。したがって、安くて受け入れ可能な画像品質水準をも維持する具体化が必要である。しかし、低価格のハードウェアで実行できる既知の限られた精密変換は、符号化プロセスが「損失のある」性質であるために、低い精度を示す傾向がある。ここで使用しているように、「損失のある」システムは、符号器の種々の段階を通して精度を失って、それにより復号のとき変換係数からの入力をほぼ復元する能力を欠いているシステムに関する。これらの低精度変換によって示された精度低減を補償することができないことは、そのような変換を使用することに対して障害であった。

前述のことからみて、変換ドメイン内で動き補償を行い、それにより符号器における逆変換の必要をなくして、ソフトウェアとハードウェア装置のための単純な制御構造を可能にするビデオ符号器が要求されている。また、低価格のハードウェアと高速ソフトウェア装置を可能にする制御構造を含む低精度具体化に適している変換のクラスを有するビデオ符号器のための技術的要求もある。
米国特許第５，４８１，５５３号 米国特許第５，０２５，４８２号 ＳＰＩＥ第１６６６巻「人間の視力、視覚処理及びデジタル表示ＩＩＩ」、ｐｐ．２４１−５２（１９９２年２月）のシー・ポディルチャック（Ｃ．Ｐｏｄｉｌｃｈｕｃｋ） エイ・ジャッキン（Ａ．Ｊａｃｑｕｉｎ）著「動的ビット割当及び幾何学的ベクトル量子化でのサブバンド・ビデオ符号化」（Ｓｕｂｂａｎｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｗｉｔｈ Ｄｙｎａｍｉｃ Ｂｉｔ Ａｌｌｏｃａｔｉｏｎ ａｎｄ Ｇｅｏｍｅｔｒｉｃ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）

本発明は、データを圧縮するための新規で独特な装置と方法を目的とする。さらに詳しくいえば、本装置と方法は、例えば、ビデオ画像を表すデータをより能率的に符号化し、それにより復号器へ移されなければならないデータ量を減らすように適応されて構成される。

本発明は、第１のデータセット及び第２のデータセットを含むデータを圧縮する方法に関する。この方法は、第１及び第２のデータセットを対応する第１及び第２の変換係数セットに変換することを含んでいる。その後で、第１及び第２の変換係数セット間の差を表すデータが生成される。生成されたデータは、次に復号器に伝達するために符号化される。

第１及び第２のデータセットを変換することは、テンソル積小波変換を利用して実行されてもよい。さらに、変換方法から生ずる残りは、一つのサブバンドからもう一つのサブバンドへ送ることができる。

第１及び第２の変換係数セット間の差を表すデータは、動きベクトルを与えるように第１及び第２の変換係数セット間の差を評価することによって生成される。動きベクトルは、第２の変換係数セットの予測を作るために第１の変換係数セットに適用される。その予測は、第２の変換係数セットから引かれて１組の予測誤差を生ずる。第１及び第２の変換係数セットは、符号器と復号器の間の同期を確実にするために誤差を修正されることができる。

第１及び第２の変換係数セット間の差を評価する際に、検索領域が第１及び第２の変換係数セットの一方から変換係数のサブセットの回りに生成される。その後で、変換係数の関連のサブセットが第１及び第２の変換係数セットのもう一方から検索領域に加えられる。次に、変換係数の関連のサブセットは、最良増分一致を表す位置へ検索領域内を増分的に横に動かされる。次に、前記関連のサブセットは、最良分数一致を表す位置へ検索領域内を分数的に横に動かすことができる。

第１のデータセットと第２のデータセットを含むデータを圧縮する方法のもう一つの実施例は、第１及び第２のデータセットをサブバンドの対応する第１及び第２の集合に変換することを含む。次に、サブバンドの第１及び第２の集合間の差を表すデータを生ずる。このデータは、例えば、動き補償技術を実施することによって生成できる。動き補償技術は、動きベクトル及び予測誤差などの出力を与えることができる。その後で、生成されたデータは、復号器に伝達するために符号化される。

一つの実施例がまた、サブバンド・マクロブロック・クルーピングを形成するようにマクロブロック・パッキングされた第２の集合であってもよい。その後で、生成されたデータを次のように動き補償技術によって得ることができる。サブバンドの第１の集合とサブバンド・マクロブロック・グルーピングの間の差は、動きベクトルを与えるために評価される。動きベクトルは、サブバンドの第１の集合に加えられてサブバンドの第２の集合の予測を作る。この予測は、それからサブバンドの第２の集合から引かれて１組の予測誤差を生ずる。

これらの差は、次のようにサブバンドとサブバンド・サブバンド・グルーピングの第１の集合の間で次のように評価することができる。検索領域がサブバンドの第１の集合から変換係数のサブセットの周りに生成される。サブバンド・マクロブロック・グルーピングからの変換係数の関連サブセットが検索領域に適用される。変換係数の関連サブセットは、次に最良増分一致を表す位置へ検索領域内を増分的に横に動かされる。次に、変換係数の関連サブセットは、最良分数一致を表す位置へ検索領域内で分数的に横に動かされる。

画像の変換から得られるサブバンドの集合のサブバンド・ブロックを編成するサブバンド・マクロブロック・パッキング方法もまた、開示される。この方法は、画像内の画像マクロブロックに対応するサブバンドの集合から１組の関連のサブバンド・ブロックを分離することを含む。関連のサブバンド・ブロックの組は、サブバンド・マクロブロックと一つとしてパックされる。分離及びパッキングに関連したサブバンド・ブロックのステップは、サブバンド・マクロブロック・グルーピングを形成するためにサブバンドの集合における関連サブバンド・ブロックの各セットに対して繰り返される。

マクロブロック・パッキングの方法は、サブバンド・ブロックがサブバンドの集合において占めるのと同じ相対位置にサブバンド・マクロブロック内の関連サブバンド・ブロックの組を配列することによってさらに精密にできる。この方法はまた、対応する画像マクロブロックが画像マクロブロック・グルーピングの中で位置するのと同じ空間位置にサブバンド・マクロブロック・グルーピング内のサブバンド・マクロブロックの位置を決めることを含む。

マクロブロック・パッキングの後、変化を第１のサブバンド・マクロブロック・グルーピング（基準）と次の第２のサブバンド・マクロブロック・グルーピングの間で検出できる。検出ステップは、次の形の一般式

ここで：
ｅｃ＝基準Ｒに対するゆがみの測定値、
Ｗｉ＝適用された重み、
Ｇ＝第２のサブバンド・マクロブロック・グルーピングの変換係数、
及び
Ｒ＝基準（例えば第１のサブバンド・マクロブロック・グルーピング）
に従うゆがみ計算に基づく。

ゆがみを評価するための方程式のより特殊な形は、次の形のものである

本発明のもう一つの実施例が一つのデータセットを変換係数に変換するための有限精密法として記述されており、その方法では、データセットがテンソル積小波対を利用して変換され、そこから出ている残りは、反対側のフィルタ経路に伝搬される。さらに詳しくいえば、この実施例は画像の低域通過構成要素と高域通過構成要素を決定することを含むことができる。低域通過構成要素は、低域通過正規化出力と第１の残り（ｒｌ）を生成するために正規化される。同様に、高域通過構成要素は、高域通過正規化出力と第２の残り（ｒｈ）を生成するために正規化される。第１の演算（ｇ（ｒｌ，ｒｈ））が第１及び第２の残り（ｒｌ（ｒｈ））について行われ、それから出る結果が近似に加えられる。そして、第２の演算（ｆ（ｒｌ，ｒｈ））もまた、第１及び第２の残り（ｒｌ（ｒｈ））について行われて、それから出ている結果が詳細部に加えられる。残り（誤差の伝達）の伝搬をいかなる変換においても使うことができるが、ただテンソル積にはできない点に注意することが重要である。

上記の有限精密法によると、画像の表現が完全過ぎるものになる。この方法は、変化ドメイン内の画像を表す必要かつ充分な変換係数を得るために高域通過と低域通過構成要素の、ダウンサンプリング、例えば二つだけ、をすることを含むことができる。

有限の精密法の実施例が値−１、２、６、２、−１を有する低域通過フィルタ及び値−１，２、−１を有する高域フィルタを備えている。
第１の演算（ｇ（ｒｌ，ｒｈ））と第２の演算（ｆ（ｒｌ，ｒｈ））は、以下の関数を有する、
ｇ（ｒｌ，ｒｈ）＝ｒｈ、
及び
ｆ（ｒｌ，ｒｈ）＝ｆｌｏｏｒ（ｒｈ＋／２）、
ここでｎｈ ＝１／２。

上記を含んでいるテンソル積小波変換の特定の例は、次式を有する

及び

ここで
Ｘ^２ｉ＝入力データ、
Ｘ^２ｉ−^１＝入力データＸ２１に先行するデータ
Ｘ^２ｉ＋^１＝あとに続くデータは、ｄａｔａＸ２、
Ｄｉ＝詳細部項（高域フィルタ出力の１０分の１を取った）、
Ｄ^ｉ＋^１＝詳細部項Ｄのあとに続く詳細部項、
及び
Ａｉ＝近似項（低域フィルタ出力の１０分の１を取った）。

また、変換ドメインにある一連のフレーム間の変化を予測する符号器装置が開示される。この装置は、一連のフレームの第１及び第２フレームを受けるように構成され、さらに、それから各々が１組の変換係数を支援する対応するサブバンドの第１及び第２の集合を生成するように構成された入力を有する変換装置を備えている。変換装置に連結された入力を有する動き補償装置は、サブバンドの第１及び第２の集合を受けるように構成されて、さらにサブバンドの第１及び第２の集合間の差を効率よく表すように構成されている。また、変換装置に連結された入力と動き補償装置の出力に連結された入力を有する差ブロックが含まれる。動き補償装置から受けられる入力は、差ブロックにあるサブバンドの第２の集合から引かれ、それにより予測誤差を生成する。

動き補償装置は、サブバンドの第１及び第２の集合を比較するように構成された動き評価装置を備えている。動きベクトルの集合がそこから生成され、それはサブバンドの第１及び第２の集合間の差を近似的に表す。動き補償装置はまた、入力を動き評価装置に連結されて、サブバンドの動きベクトルと第１の集合を受けるように構成されて、さらにそこからサブバンドの第２の集合の予測を表す予測グルーピングを生成するように構成された動き予測装置を備えている。サブバンドの第２の集合の予測は、差ブロック内のサブバンドの第２集合から引かれて予測誤差を得る。

画像フレームを変換ドメインに変換する有限精密変換装置もまた、開示されている。この装置は、並列配列されて画像フレームを受けるように構成された入力を共有する低域通過構成要素と高域通過構成要素を備えている。低域通過構成要素の出力を受けるように構成された入力を有しさらに、低域通過正規化出力及び第２の残り（ｒｌ）を作るようにさらに構成された低域通過正規化装置が設けられている。高域通過正規化装置が高域通過構成要素の出力を受けるように構成された入力を有しさらに、高域通過正規化出力及び第２の残り（ｒｌ）を作るようにさらに構成されている。第１の演算装置が入力を第１の残り（ｒｌ）と第２の残り（ｒｈ）を受けるように構成されて、さらに、第１の計算（ｇ（ｒｌ，ｒｈ））を計算するように構成され、それによって第１の計算結果を生成する。第２の演算装置が入力を第１の残り（ｒｌ）と第２の残り（ｒｈ）を受けるように構成されて、さらに、第２の計算（ｆ（ｒｌ，ｒｈ））を計算するように構成され、それによって第１の計算結果を生成する。なお、第１の加算器が低域通過正規化出力と第１の算出結果を受けるように構成された入力を有し、前記第１の加算器はサブバンド近似を生成する。同様に、第２の加算器が低域通過正規化出力と第２の計算結果を受けるように構成された入力を有し、第２の加算器がサブバンド詳細部を生成する。

有限精密変換装置は、さらに低域通過出力での第１のダウンサンプラ（標本化数を下げて標本化する回路）と高域通過出力での第２のダウンサンプラを含む。２のダウンサンプリング（標本数を下げて標本化すること）は、復号器において入力画像を復元するために充分かつ必要な変換係数を与える。

本明細書において開示した装置と方法のこれら及びその他のユニークな特徴は、図面とともに行われる以下の詳細な説明からさらに容易に明らかになるだろう。

本発明の実施例が限られた精密変換技術を用いてディジタルビデオ信号を圧縮する装置及び方法を与える。その実施例は、従来の無損失又は有損失変換に基づいた技術について、従来技術におけるような時間ドメインではなく、変換ドメインにおいて、動き補償、例えば、動きを評価して予測すること、によって改良する。こうして、改良された画質をより安価なハードウェアにおいて達成できる。

用語「動き補償」は、最も広義に定義されることを意図している。換言すれば、動き補償が本明細書において一群の画素の動き評価と動き予測を含むものとして記載されて、図示されていることが多いが、例えば、回転とスケールを包含するといることも理解されるべきである。それに加えて、例えば、用語「動き補償」は、２セットのデータ間の差を表わすデータを簡単に生成することを含んでいてもよい。

圧縮効率が画像を特徴に変換することと最初に特徴を図にすることの両方によって得られる。本明細書における開示は、それが一連の画像又はビデオ・フレームに関するとして示されている。そのような画像シーケンスは、容易に、互い整列して置かれて、時間又は何らかの他のパラメータによって割出される空間的に配位されたデータ要素（スカラー、ベクトル又は関数的のいずれか）であると理解できる。画像シーケンスは直角座標系にあるようにできるが、従来技術における他の座標系を用いることもできる。

なお、現在の装置と方法は、非ビデオ・アプリケーション（例えばスピーチ、音声及び心電図圧縮）において利用できる。すなわち、たとえ本明細書において開示された発明が二次元のシステム（２Ｄ）（すなわちビデオ圧縮）に図示されているとしても、教示が一般にデータ圧縮の技術を進めるために他のいかなる次元のシステムにも適用できることを意図している。

例えば、教示は、超音波イメージングなどの１−１／２の次元のシステム（１−１／２Ｄ）に適用できる。また、教示は、３次元のシステム（３Ｄ）（例えば磁気共鳴イメージング（ＭＲＩ））に適用することもできる。

下記の説明の全体にわたって、用語「フレーム」は、単一画像の形に関係なく、すなわち、それが時間領域、周波数領域にあるか又はそれになされたどんな他の処理のものであるかどうかに関係なく、符号器に送られた一連の画像中の単一画像に関する。その他に、用語「ベル」は、時間領域の画素に関して使われ、用語「係数」と「変換係数」は、例えば、ベルが前方小波変換を通過したあとに発生されるベルの表示に関して使われる。これらの用語は、実施例の説明を容易にするために用いて、決して本発明の範囲を制限することを目的としていない。

同様な参照番号が本発明の同様の要素を識別している図面を、ここで参照すると、図２において一連の画像又は一連のフレームを圧縮するための実施例の略ブロック図で示されている。この線図は、本明細書において開示されるいくつかの実施例のうちの一つである。より詳細な実施例を以下の節において論ずる。

図２において、一つの画像がブロック２０において変換ドメイン内の特徴の集合に変換される。その画像に対して有意であると決定された特徴（すなわち、過去又は基準フレームからかなり変化したと決定されるそれらの特徴）は、ブロック２２において選ばれる。有意な特徴は、ブロック２４において効率的に表されて、その後で、基準フレーム内の特徴を更新するために復号器に送られる。

例えば、元の画像は、ブロック２０において変換されて、変換係数セットによって表される。係数セットの変換係数は、次に種々の重み付け及び評価技術よってそれらの有意性を決定するためにブロック２２において評価され、次に重みに従って順位を付けられる。その後で、ブロック２４において、現在のフレームと過去又は基準フレームの間の動き補償が起こる。動き補償は、１組の動きベクトルを生成するためにフレーム間の変化を評価する動きを含むでいてもよい。その後で、動きベクトルは、動き予測ステップの間に基準フレームに適用される。動き予測からの結果は、その予測の誤差を決定するために変換係数セットから引かれる。予測誤差は、次に任意選択的に拡大・縮小されて、復号器に伝送のための動きベクトルとともに最後に位置的に符号化される。

図３を参照すると、略ブロック線図が図２に関して記載された実施例のより詳しい構成を示している。例えば、カルテック中間フォーマット（Ｃａｌｔｅｃｈ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ（ＣＩＦ））において符号化された画像シーケンス又は一連のビデオ・フレーム２６がコンバータ２８に送られる。ＣＩＦフレームは、２８８×３５２ペルを有する。コンバータ２８において、フレームは、４分の１ＣＩＦ（ＱＣＩＦ）、例えば図４（ａ）に図示したようなＱＣＩＦ画像３０、に変換される。ＱＣＩＦ画像は、１４４×１７６ペルを有する。ＣＩＦは、水平方向と垂直方向の両方において二つだけ低域通過フィルタリングして１０分の１を取ることによってＱＣＩＦに変換される。処理を容易にするために、１４４×１７６ペルは、各々１６×１６ペルを有する画像マクロブロック（ＩＭＢｘ，ｘ）に分割される。ＱＣＩＦが、例としてだけ本明細書において使われて、本発明に関する限界として全く考えられていない。後術の技術は、容易にその他の画像（及び非画像）フォーマットに当業者にとって公知の方法で適応できる。

図３と４を参照すると、ＱＣＩＦ画像３０は、画像の特徴への写像が起こる図２のブロック２０を形成するブロック３２と３６に送られる。さらに具体的には、ＱＣＩＦ画像３０（図４（ａ））は、前方小波変換が各フレームをサブバンドの集合３４（図４（ｂ））に変換するブロック３２に送られる。変換された画像（すなわちサブバンドの集合３４）のこの編成は、例えば、動き評価、動き予測と予測誤差の決定のためなどに後で使用するためにメモリーに記憶される。本発明のために使用できる適当な前方小波変換は、本明細書において更に詳細に以下に論じる。

サブバンドの集合３４は、サブバンド・マクロブロック・パッキングのためのブロック３６に送られる。サブバンド・マクロブロック・パッキングの間に、特定の画像マクロブロックに対応するサブバンド・ブロックは、サブバンド・マクロブロック（ＳＭＢｘ，ｘ）を形成するように編成される。その後で、各サブバンド・マクロブロックは、それが関係するので表す画像マクロブロックの空間的に常駐する。特定のフレームのための全てのサブバンド・マクロブロックの集合は、サブバンド・マクロブロック・グルーピング４０と呼ばれている。

図５は、サブバンド・マクロブロック・パッキングの方法を示す。サブバンド・マクロブロック・パッキングの間、サブバンド３４（図５（ａ））の集合内の全関連サブバンド・ブロックは、図５（ａ）に示したようなサブバンド・マクロブロック３８を形成するためにサブバンド・マクロブロック・パッキングの間に再編成される。

例えば、図４（ａ）の画像マクロブロック２，４（１ＭＢ^２，４）に対応する図５（ａ）の影付きサブバンド・ブロックは、図５（ｂ）に示したようなサブバンド・マクロブロックＳＭＢ２，４を形成するためにブロック３６（図３）におけるサブバンド・マクロブロック・パッキングの間に再構成される。サブバンド・マクロブロック３８（ＳＭＢｏ，ｏ乃至ＳＭＢ^８，１０）は、次に、各サブバンド・マクロブロックがＱＣＩＦ画像３０の中の対応する画像マクロブロック（ＩＭＢｘ，ｘ）の空間位置によって裏付けられるように、サブバンド・マクロブロック３８（図５（ｃ））に図示したように、サブバンド・マクロブロック・グルーピング４０に構成される。この例では、ＳＭＢ^２，４は、図４（ａ）と図５（ｃ）に示されたように、１ＭＢ^２，４の空間的位置によって有意に裏付けられていることが分かる。

本明細書において記載されている実施例がＱＣＩＦで表されたフレーム画像だけに言及しているが、当業者は、他のフォーマットを本発明の教示から逸れることなく使うことができると容易に理解するだろうことを再び特記することが重要である。各サブバンド・マクロブロックにおけるサブバンド・ブロックの特定のグルーピングが図示された特定の小波を適応させるために用いられる点に注意することもまた、重要である。他の小波に対してより適当であるサブバンド・データの他のグルーピングが存在する。

画像マクロブロックの集合３０（図４（ａ））、サブバンドの集合３４（図４（ｂ））及びサブバンド・マクロブロック・グルーピング４０（図５（ｃ））の上記の説明から多少の画像マクロブロック、サブバンド・ブロックとサブバンド・マクロブロックの間に相関があることは、容易に明らかなはずである。そのような相関の例は、次の通りである：（ａ）画像マクロブロック２，４（１ＭＢ２，４）。それは、影をつけられて、更に図４（ａ）の画像マクロブロック１０６として識別される、（ｂ）図４（ｂ）の影付サブバンド・ブロック（例えばサブバンド００（ＳＢｏｏ）内のサブバンド・ブロック１１６及びサブバンド３３（ＳＢ３３）内のサブバンド・ブロック１１８）の全て及び、（ｃ）図５（ｃ）において、影を付けられるとともにサブバンド・マクロブロック１１７として識別されたサブバンド・マクロブロック２，４（ＳＭＢ^２，４）。上に例示されたもののような関係を有する係数を含むこの明細書の説明が「関連の」あるとしているといわれることがある。

図３を再び参照すると、サブバンド・マクロブロック・グルーピング４０が図２にあるブロック２２を形成するブロック４２、４６、４８及び５２に送られる。図２では、特徴又はサブバンド・マクロブロック（ＳＭＢ０，０乃至ＳＭＢ８，１０）が変わったことを決める。特に、重みがサブバンド・マクロブロックの知覚的重要性をならす量だけサブバンド・マクロブロック・グルーピング４０にある各サブバンド・マクロブロックを拡大・縮小するために適用されるブロック４２に送られる。重み付けブロック４２の出力は、重み付きグルーピング４４である。

重み付けによる知覚重要性を、例えば、Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｅ研究によって決めることもできるし、又は、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）（それの規格は、本明細書において参照することによって組み入れられている）のＨ．２６１とＨ．２６３にあるような他の符号化システムにおいて用いられた重みからも決定できる。Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｉｎｇの検討のために、本明細書に参照することによって組み入れられたケイ・アール・ラオ（Ｋ．Ｒ．Ｒａｏ）ケイ・アール及びピー・イップ（Ｐ．Ｙｉｐ）著「離散的コサイン変換」（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、アカデミック・プレス社（ｐｐ．１６５−７４（１９９０））を参照のこと。重みが各サブバンド・マクロブロックを拡大・縮小するためにブロック４２において適用されたあと、重み付きグルーピング４４は、変化検出ブロック４６に送られて、そこで処理され、起こった変化の相対量を決定される。この変化は、また、「有意性」又は、ビデオの場合には、重み付きグルーピング４４のゆがみと呼ばれる。有意性を与えられた基準（例えばゼロ又は過去の重み付きグルーピング）に関して決定できる。変化・検出ブロック４６から伸びているループは、過去の重み付きグルーピングを基準として使用するために変化・検出ブロック４６に返すフレーム・ディレー４８を備えている。変化・検出ブロック４６の出力は、変化を検出されたグルーピング５０である。

ゼロ基準が、例えば、符号器を通じてフレームを最初に伝えるとき、変化・検出ブロック４６において使われる。この場合、フレーム全体は、ゼロに照合される。これは、また、フレーム内照合として知られている。上記の通りに、過去のマクロブロック・グルーピングが上記の通りにブロック４２において重みを付けられ、その後で、基準として使用するために変化・検出ブロック４６の遅延ブロック４８において遅らされる重み付きグルーピングもまた使うことができる。また、フレーム間照合として知られているこの後者の方法は、冗長な及び／又は重要でない情報を復号器に繰り返し送ることをなくす。

ゼロフレーム照合の択一的使用が、システムの動作中、復号器での比較的正確な基準画像を再生して、維持するために行われる。一つの方法は、ゼロ基準を標準の３０フレーム／秒の割合で８番目ごとのフレームの全部に周期的に適用することを使う。代わりに、画像は、サブバンド・ブロックをゼロにランダムに又は整然として照合することによるなどで確率的にリフレッシュできる。フレームの全て又は一部分をゼロに照合するいかなる方法もを容易にするために、ゼロ照合されたサブバンド・ブロックは、変化をもたらされたブロックについて行われるべき動き補償演算（後術）を妨げるためのようなものとして識別される。したがって、識別されたサブバンド・ブロックは、場合により、そのブロック内の基準全体又は基準の一部分をリフレッシュするために復号器において全部再生される。

図３を再度参照すると、メモリーに以前に記憶されたサブバンドの集合３４と変化を検出されたグルーピング５０のサブバンド・マクロブロックは、各サブバンド・ブロックが変化したと決められた量、すなわちそれらの有意性と一致している量、に従ってブロック５２において順序付けされる。順序付けは、ブロック４２と４６にあるサブバンド・マクロブロックにそれぞれ重みを付けるのと検出するのを行うことによって先に割り当てられた値に基づいている。ブロック５２の出力は、線５５を通して送られる順序付けサブバンド・グルーピング５３と順序付サブバンド・マクロブロック・グルーピング５４を備えている。

図３の参照を続けると、順序付サブバンド・グルーピング５３と順序付サブバンド・マクロブロック・グルーピング５４は、変更マクロブロックは、効率的に表されている図２のブロック２４と対応するブロック５６、６０、６２、６８、７２及び７６へ選択的に送られる。特に、順序付けサブバンド・マクロブロック・グルーピング５４（「現在の」フレーム）は、動き評価のためのブロック５６に送られる。順序付サブバンド・グルーピング５３は遅延ブロック６２に送られ、そのあと、ブロック５６と６０の動き評価と動き予測のために遅延した順序付サブバンド・グルーピング５７（「照合」フレーム）を線６４に与える。動きベクトル５８の集合が、以下に記載する方法で、動き評価ブロック５６において生成され、動き予測のためのブロック６０に送られるとともに、位置的符号化のためのブロック７６にも送られる。

動き予測ブロック６０に送られた動きベクトル５８は、予測されたグルーピング６６を生成するために遅延順序付サブバンド・グルーピング５７を変更するのに用いられる。差ブロック６８は、順序付サブバンド・グルーピング５３を受けて、そこから予測されたグルーピング６６を引き、グルーピング差７０（すなわち予測誤差）を得る。グルーピング差７０は、さらに、ブロック７２において拡大・縮小され、拡大・縮小されたグルーピング差７４になる。当業者は、非ゼログルーピング差７０の数が少なければ少ないほど、動きベクトル５８の集合が現在のフレームと基準フレームの間の変化をより正確に予測したことを認めるであろう。そして、差が少なければ少ないほど、動き評価における不備を補正するために復号器に送られなければならないビットは少ない。

拡大・縮小ブロック７２からの拡大・縮小されたグルーピング差７４と動き評価ブロック５６からの動きベクトル５８の集合は、ブロック７６のマクロブロックとして位置的に符号化される。そこにおいて、データは効率的にビットストリームに編成される。符号化されたビットストリーム・グルーピング７８は、ブロック７６から出力され、逆処理のための復号器８２に伝送線８０を通して伝送される。伝送を様々な媒体、例えば電子的、電磁的又は光学的媒体を通じてできる。

ビットストリーム書式設定に関して、ビットストリームの書式を設定する技術には周知のいくつかの標準的方法がある。Ｈ．２６３ ベースの符号器システムにおいて使用される書式は１例である。ビットストリームが基本的にビット・パケットの直列ストリングである。各パケットはデータの特定の部類を表している。

例えば、ビット・パケットは、システムレベル・データ、ビデオ、制御及び音声データを含むことができる。データがブロック７６の位置的符号化のために受けられると、それは使用中の書式に従ってビット・パケットに構成される。一般に、ビデオ・フレームを表しているビット・パケットの集合は、それを新しいフレームと識別するビットで始まる。量子化の量及びその他の制御コードは、一般にあとに続く。その後で、拡大・縮小されたグルーピング差７４を表しているマクロブロックのリストが符号化される。ＱＣＩＦの場合、マクロブロックの数は、９９に等しい。（図５（ｃ）を参照のこと。）

より効率的なデータ転送を容易にするために、各マクロブロックがマクロブロックにゼロでないデータの有無を示すマクロブロック・ゼロビット（ＭＢＺｅｒｏ−ｂｉｔ）によって先行される。マクロブロックが存在する場合、動きベクトル５８の関連の集合を含んでいるマクロブロックのための制御情報が送られ、その後にサブバンド・データ、すなわち関連の拡大・縮小されたグルーピング差７４が続く。そのような情報を含むことは、マクロブロックの欠如がゼロに等しいマクロブロック係数の全ストリングを識別するのに必要である全ビットの代わりに単一の記号によって表されるので、伝送線８０を通して送られるビットの数を著しく減らす。

それ以上の効率をもつことができるもう一つの状況は、サブバンド・マクロブロック内のサブバンド・ブロックのほんの幾つかだけがゼロであるときである。ある実施例は、ゼロに等しい係数を有するサブバンドにサブバンド・ゼロフラグ（ＳＢＺｅｒｏ ｆｌａｇ）を立てるステップを含む。拡大・縮小されたグルーピング差７４からのゼロである係数を持つサブバンドは、順序付サブバンド・グルーピング５３の対応するサブバンド・ブロックと予測されたグルーピング６６との間に変化があると分らなかったことを示す。ゼロに等しくなっている各係数を別々に表すより、ＳＢＺｅｒｏフラグを表すに必要なビットの方が著しく少ない。もちろん、復号器は、ブロック７６における位置的符号化の間に導入された記号を解釈するためにＭＢＺｅｒｏ−ｂｉｔとＳＢＺｅｒｏフラグの両方を認識するようにプログラムされる。

ゼロのストリングを象徴化するためのゼロ・ランレングス符号の例は、以下の通りである。

図３を続けて参照すると、符号化されたビットストリーム・グルーピング７８は、伝送ライン８０を経た復号器８２によって受けられて、位置的符号化ブロック７６の効果を逆にする位置的復号化ブロック８６に送られる。動きベクトルの集合５８は、ビットストリーム・グルーピング７８から抽出されて、予測ブロック９８に送られる。サブバンド形式（図４（ｂ））になっている復号されて拡大・縮小されたグルーピング差８８は、量子化回復ブロック９０に与えられる。量子化回復ブロック９０において、過去の変換係数及び過去と現在の量子化解除項が量子化された変換係数の値を回復するために用いられる、すなわち、それらはグルーピング差７０を再生するために用いられる。

サブバンドの集合９２（符号器基準フレーム）が遅延ブロック９４に送られる。サブバンドの遅延集合９６は、遅延ブロック９４から予測ブロック９８に送られる。符号器の動き予測ブロック６０において実施されたプロセスと同様に、動きベクトルの集合５８は、予測ブロック９８のサブバンドの遅延集合９６に適用される。そこにおいて、サブバンドの遅延集合９６は、予測されたグルーピング１００（すなわちグルーピング差７０を含まない更新された画像のサブバンド表現）を生成するために変更される。グルーピング差７０と予測されたグルーピング１００は、サブバンドの集合９２（すなわち新しい基準フレーム）を生成する加算器ブロック１０２において加えられる。最後に、逆小波変換がサブバンドの集合９２についてブロック１０４において行われる。このステップは、本質的には簡単に上述した順方向小波変換３２の逆であり、本明細書において以下により詳細にする。ブロック１０４からの結果として生じる出力は、復元された画像１０５である。

前に説明し、図３及び図４において示したように、ＱＣＩＦ画像３０（図４（ａ））は、各ビデオ・フレームを変換してサブバンドの集合３４（図４（ｂ））を形成する順方向小波変換３２に送られる。変換ブロック３２の実施例は、テンソル積小波変換を利用する。テンソル積小波が変換するの詳細な論議のために、本明細書に参照して取り入れられているジョウエル・ラウジエンヌ（Ｊｏｅｌ Ｒｏｓｉｅｎｅ）とイアン・グリーンシールド（Ｉａｎ Ｇｒｅｅｎｓｈｉｅｌｄｓ）著、「画像の標準小波基礎圧縮」（Ｓｔａｎｄａｒｄ Ｗａｖｅｌｅｔ Ｂａｓｉｓ Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｉｍａｇｅｓ）、オプチカル・エンジニアリング（Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ）第３３巻、第８号（１９９４年８月）を参照されたい。周知のＭａｌｌａｔ、ＧｅｎＬＯＴ又はＨａｒｒ変換のような他の有限精度変換を利用もできる。そのような適切な代替小波変換の論議のために、本明細書に参照することによって組み入れられているジー・ストラング（Ｇ．Ｓｔｒａｎｇ）及びティー・ニュイアン（Ｔ．Ｎｇｕｙｅｎ）著、「小波及びフィルタバンク」（Ｗａｖｅｌｅｔｓ ａｎｄ Ｆｉｌｔｅｒ Ｂａｎｋｓ）、Ｗｅｌｌｅｓｌｅｙ−Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ（１９９７）を参照のこと。

図４（ｂ）を参照すると、順方向小波変換３２が通過した後のサブバンド３４の集合が示されている。前に指摘したように、順方向小波変換プロセスは、テンソル積小波変換又は本明細書において修正された他の周知の有限精密変換を利用して有限精密実働化の効果を減らす。一般に、変換プロセスは、（ｍ＋１）ｘ（ｎ＋１）サブバンドをつくるためにｍｘｎ段階から成るだろう。図６と共同して以下で論ずる一つの実施例において、変換プロセスは合計１６のサブバンドを作るために３ｘ３段階から成る。本発明の範囲内にある他の実施例を本明細書において与えられた開示に従って作ることができる。

図６（ａ）を参照すると、順方向小波変換プロセスがＱＣＩＦ画像フレーム３０を１列ずつベースで３ 段階を使用してフィルタする。各段階は、低域フィルタ１０８と高域フィルタ１１０を含む。一つの実施例において、各低域フィルタ１０８は、−１、２、６、２の値を有し、各高域フィルタが−１、２、−１の値を有する。

フィルタした後に、低域通過成分と高域通過成分は、基準化されるか、それぞれ、デシメータ１１２と１１４によって各段階で１０分の１を取られるか又は抽出数を減らされ、それによって離散信号を含むサンプル値の成分は除去される。例示の実施例において、入力画像は一つおきのサンプルを捨てるために抽出数を半分にされる。２０分の１を取ることは、最終的に入力の正確な再生を可能にするために必要にしてかつ十分な変換係数を得ることになる。その後で、低域通過成分と高域通過成分の抽出数を減らされた値は、図７に関して本明細書において以下にさらに詳細に説明する方法で各段階において正規化される。代１段階の出力は、低域フィルタ成分ＡＯＲ と高域フィルタ成分ＤＯＲを含む。低域フィルタＡＯＲは２回目に分解され、次に、３回目に追加の列詳細Ｄ１Ｒ及びＤ２Ｒ並びに列平均Ａ２Ｒを得る。

図６（ａ）に示された列段階の列出力Ｄ^０Ｒ、Ｄ^１Ｒ、Ｄ^２ＲとＡ^２Ｒは、次に図６（ｂ）に示された段階に行ごとベースで適用される。図６（ｂ）に示される３段階の各々は、図６（ａ）とともに上で示したのと同じ方法で適用されるフィルタ対、ダウンサンプリング及び正規化プロセスを備えている。変換出力は、図３に関して上述し、図４（ｂ）に図示したようなサブバンドの集合３４である。

図４（ｂ）をここで参照すると、識別目的のために、各サブバンドがサブバンド記号ＳＢｉ，ｊによって識別される。ここで各列に対してｉ＝０、１、２又は３及び各行に対してｊ＝０、１、２又は３である。影付きサブバンド・ブロック（例えばＳＢｏｏ内のサブバンド・ブロック１１６とＳＢ^３３内のサブバンド・ブロック１１８）は、図４（ａ）のＱＣＩＦ画像３０の１ＭＢ^２４に対応する。上述の１０分の１の抽出プロセスのために、各対応するサブバンド・ブロックは、例えば、ＳＢｏｏのサブバンド・ブロック１１６が８×８の係数を含み、ＳＢ^３３のサブバンド・ブロック１１２が２×２の係数を含むように比例して減らされる。上述のように、関連のサブバンド・ブロック（例えばサブバンド位置２，４にある各サブバンド（ＳＢｏｏ乃至ＳＢ^３３）にあるサブバンド・ブロック）は、若干の処理ステップを容易にするために、ブロック３６（図３と５）におけるサブバンド・マクロブロック・パッキングのステップの間に集められる。

図７を次に参照すると、開示された実施例の特徴によればによれば、サブバンド符号化プロセスの各段階の間の残りは、有限精密変換のために導入された誤差を補償するために反対側のフィルタ経路に伝搬される。伝搬された残りは、精度の失われるのを償うように反対側のフィルタ経路で係数を調整するために利用される。このプロセスは、非線形変換に結果としてなる。さらに、フィルタを変更するプロセスは、それらを２直交にも直交にもしない。

図７は、図６（ａ）に示された列変換の代段階の対向フィルタ・チャネルに残りを伝搬するための実働化を例示している。同様の実働化が列段階と行段階各々に含まれている。入力フレーム３０の係数は、通常の方法で低域フィルタ１０８と高域フィルタ１１０においてフィルタされる。結果は、それぞれ、サンプラ１１２と１１４において減数抽出される。低域フィルタ１０８の分解された結果は、低域通過正規化出力１２２と低域通過残りｒｌを作る低域通過正規化プロセス１２０において正規化される。高域フィルタ１１０の分解された結果は、高域通過正規化出力１２６高域通過残りｒｈを生成する高域通過正規化プロセス１２４において正規化される。各正規化プロセス１２０と１２４からそれぞれ生じている残りｒｌとｒｈは、各々図示されたように関数ｇ（ｒｌ，ｒｈ）１２８とｆ（ｒｌ，ｒｈ）１３０を通される。関数ｇ（ｒｌ，ｒｈ）１２８の結果は、加算器１３２において低域通過正規化出力１２２に加えられてＡＯＲ（第１の段階平均）になる。関数ｆ（ｒｌ，ｒｈ）１３０の結果は、加算器１３３において高域通過正規化出力１２６に加えられてＤＯＲ（第１の段階脱落細部）になる。

フィルタＬ＝｛−１、２、６、２、−１｝及びＨ＝｛−１，２、−１｝の場合、残りの関数の一つの実施例が次の通りである。ｎｈ＝１／２であるｆ（ｒｌ，ｒｈ）＝ｆｌｏｏｒ（ｒｈ＋１／２）及びｇ（ｒｌ，ｒｈ）＝ｒｈ。残りの上述の操作は各フィルタ対に対して繰り返され、変換出力におけるビット割当が少なくする。

テンソル積小波対の実施例は、次式のものである：

ここで：Ｘ^２ｉ ＝入力データ
Ｘ^２ｉ−１＝入力データＸ^２ｉに先行するＸ＝データ、
Ｘ^２ｉ＋１＝入力データＸ^２ｉに続くデータ、
Ｄ^ｉ ＝詳細部項（１０分の１を取った高域フィルタ出力）、
Ｄ^ｉ＋１ ＝詳細部項Ｄｉに続く詳細部項、
Ａ^ｉ ＝近似項（１０分の１を取った低域フィルタ出力）。

テンソル積小波変換の上述の説明は、高域通過（詳細部）と低域通過（近似）成分への２方向分割を示している。それに加えて、その説明は、第１のバンドから第２のバンドへ、第２のバンドから第１のバンドへ、又は、第１のバンドから第２のバンドへと第２のバンドから第２のバンドへの両方向へ伝搬する可能性を示している。上述の実施例は、本発明の基礎概念を示すことを目的として、本発明の有効範囲を制限すると決して解釈されてはならない。

例えばテンソル積小波が３方向分割が高域フィルタ、中域フィルタと低域フィルタを含んでいる第１段階持つことができる。次に、低域フィルタの出力を繰り返すことができる、すなわち、３方向分割を有する第２段階を低域フィルタの出力に適用して合計５サブバンドにすることができる。そのような実施例において、残りを低域フィルタと高域フィルタから中域フィルタへ伝搬させることができるだろう。この実施例は、テンソル積小波変換が変えられてなお、開示された発明の範囲および精神を保ち続けることのできる方法のまさに一例である。当業者は、入力が各段階で分割されて繰返されることのできる多数の他の方法があることとともに、残りがサブバンド間を伝搬させられることができる多数の他の方法があるということを容易に理解するだろう。

それに加えて、残りの伝搬に関する上述の説明は、その使用をテンソル積小波変換に制限することを目的としない。それをいかなる変換とも一緒に使うことができる。例えば、残りの伝搬を離散コサイン変換（ＤＣＴ）と一緒に使うことができる。また、残りの伝搬を損失なし又は損失の多い方法で使用できる。

本明細書において上述したように、順方向小波変換３２の出力は、ＱＣＩＦ画像３０の完全な表現又は過完全な表現である可能性がある。ＱＣＩＦ画像３０の完全な表現は、画像の内容を表示するのにちょうど十分であるサブバンドの集合を含んでいる。ＱＣＩＦ画像３０の過完全表現が、本明細書において後術する動き補償を容易にするために、完全な表現及び冗長、選択的又は付加的なサブバンド表現を含んでいる。各表現は、開示された実施例における値を有する。例えば、過完全表現は、様々な画像変化（例えば並進的動き、回転動き及び拡大縮小）を含むことができる。これらの変化は、動き補償の間、必要に応じて撤回されて、画像変化を表しているという問題を索引手法の一つに縮減することができる。

上述の順方向小波変換に関して、本明細書において例示された変換画像フレーム構造がルマ（ｌｕｍａ）成分のためのものであるが、その構造はまたクロマ（ｃｈｒｏｍａ）成分に対しても適用できるので、別に記載されていなかったことを特記しておく。

図３に関してより上に本明細書において記載されている変化・検出ブロック４６に関して、ゼロの基準又は他の若干の基準（例えば遅延４８通して出力される過去の重み付きグルーピング）が重み付きグルーピング４４変化量を検出するために用いられてもよい点特記しておく。変化・検出ブロック４６の実施例が下記の一般式の変化検出計量（重み付きグルーピング４４が適用されることになっている）を含んでいる。

ここで、ｅ^ｃ＝基準Ｒに対するゆがみの測定、
Ｗ^ｉ＝適用した重み、
Ｇ ＝サブバンド変換係数の現在のグルーピング、
及び
Ｒ ＝基準（例えばゼロ又は遅延ブロック４８を通して得られたサブバンド係数の前のグルーピング）
変化検出計量が以下のより特殊な形を取ってもよい

なお、変化・検出４６は、何かが変化・検出４６から出力されるには、ビット割当てに関して、高過ぎると決定されれば、重み付きグルーピング４４の若干の重み付きマクロブロックを除去するために、符号化ビットストリーム・グルーピング７８からの帰還１３２（図３）によって与えられる情報を利用できる。さらに、変換検出ブロック４６は、それがもう一つの特徴（例えばサブバンド・ブロック）をその特徴をさらによく表すと思われるもう一つのものと取替えることができる。

本明細書において上述され、図３に示されているように、順序付サブバンド・グルーピング５３と順序付サブバンド・マクロブロック・グルーピング５４は、それぞれ遅延ブロック６２と動き評価ブロック５６に動き評価のための線５５を介して送られる。ブロック５６で、比較プロセスが順序付サブバンド・マクロブロック・グルーピング５４（すなわち「現在の」フレーム）のサブバンド・ブロックと遅延順序付サブバンド・グルーピング５７（すなわち「基準」フレーム）の関連した検索領域との間で実施される。当業者は、現在のフレーム用の順序付サブバンド・マクロブロック・グルーピング５４を、そして基準フレーム用の遅延順序付サブバンド・グルーピング５７を利用することにある程度の利点を認めるだろう。しかし、本発明の教示を守っている他のグルーピングと組合せを利用できることもまた認められるべきである。ブロック５６において実施された比較プロセスは、本明細書において簡単に上述されているように、動き予測のためのブロック６０へ及びビットストリーム中に位置的符号化するためのブロック７６に送られる動きベクトルの集合５８を作る。

図８と９を参照して、ブロック５６の動き評価及び動きベクトルの集合５８の生成を次にさらに詳しく説明する。図８には、遅延順序付サブバンド・グルーピング５７が示されている。遅延順序付サブバンド・グルーピング５７は、図４（ｂ）において示されたサブバンドの集合３４と同様であるが、ブロック５２（図３）において順序付けられたそれのサブバンド・ブロックを持つこと及び遅延ブロック６２において少なくとも１フレームだけ遅延させられたことによってさらに処理された。個々の動きベクトルを決定するのを容易にするために、検索領域がサブバンド（ＳＢｏｏ乃至ＳＢ^３３）のうちの少なくとも一つにあるサブバンド・ブロックの周りに定められている。周りに検索領域を定められるように選ばれた各サブバンド内のサブバンド・ブロックは、変化・検出ブロック４６において有意として定められたものである。それは、動きベクトルをＳＢｏｏ内の有意なサブバンド・ブロックに基づいて作り出すのに十分なことが多い。

図８を続けて参照すると、ＱＣＩＦ画像３０（図４（ａ））の画像マクロブロック２，４（１ＭＢ^２，４）に対応する各サブバンド・ブロックの周りに作り出された検索領域が示されている。検索領域の大きさは、変えられてもよい。しかし、サブバンド・ブロックの周りの検索領域は、それらと画像の分数関係に常に比例するであろう。例えば、１３６に示されているように、ＱＣＩＦ画像３０（図３）のＰｘＰペルの基本検索領域がＰ／２ｘＰ／２のＳＢｏｏ（図８）のサブバンド・ブロック１３７の周りの検索領域へ及び１３９に支持されているようにＰ／４ｘＰ／２のＳＢ^０１のサブバンド・ブロック１４０の周りの検索領域へ移動する。

本明細書において以下に与えられる動き評価の例の場合、図１３のＰｘＰ検索領域１０７は、３２×３２ペル（それは１６×１６ペルを有する１ＭＢ２，４の大きさの４倍である）を含むことになっている。したがって、Ｐ／２ｘＰ／２検索領域１３６（図８）は、サブバンド・ブロック１３７（８×８係数）の大きさの４倍である１６の×１６の係数を含む。そして、Ｐ／４ｘＰ／２検索領域１３９は、サブバンド・ブロック１４０（８×４係数）の大きさの４倍である１６×８の係数を含む。本明細書においてさらに後術するように、サブバンド・検索領域は、サブバンド（ＳＢ００乃至ＳＢ３３）のいくつか又は全ての各有意なサブバンド・ブロック（０，０乃至８，１０）のための動きベクトルを決定するのを容易にするために用いられる。

検索領域の基準寸法（ＰｘＰ）は、例えばフレームとの間に予期される動きの量を考慮して、経験的又は統計的解析によって決定できる。また、与えられた検索領域の検索を実施するために必要とされる計算努力を考慮しなければならない。検索領域が大きければ大きいほど、固定プロセッサのためにより多くの計算資源、したがって、より多くのフレーム間遅延を必要とすることが当業者によって容易に理解される。逆に、検索領域が小さければ小さいほど、画質を特性にすることを除いて少ない計算資源でよい。これは、特に高い画像−動き周期の間あてはまる。すなわち、動きの一部分が検索領域の外に位置し、したがって、正確な動きベクトル選択を妨げる可能性があるので、画像の品質は落とされる。

上述のように、順序付サブバンド・グルーピング５３と順序付サブバンド・マクロブロック・グルーピング５４は、ブロック５２からそれぞれ遅延ブロック６２と動き評価ブロック５６へ線５５を通して送られる。本明細書における下記の例の場合、検索領域が遅延順序付サブバンド・グルーピング５７（図８）のＳＢｏｏのサブバンド・ブロック２，４のまわりに配置される。そして、順序付サブバンド・マクロサブバンド・グルーピング５４（図５（ｃ）のサブバンド・ブロック１１６を参照）内のサブバンド・マクロブロック２，４にあるＳＢｏｏのサブバンド・ブロックが変化するために検索領域を横に動くために用いられる。しかし、上述のように、サブバンドのいかなる選択もすなわちサブバンドの全てを下記の方法に続いて使用してもよい。

図３、８と９を次に参照すると、上述の通り、順序付サブバンド・グルーピング５３は、遅延順序付サブバンド・グルーピング５７（「基準」フレーム）を生成する遅延６２において遅らされる。遅延順序付サブバンド・グルーピング５７は、動き評価ブロック５６に送られ、そこでは、検索領域１３６がサブバンド・ブロック１３７の周りにＳＢｏｏ内のＰ／２ｘＰ／２領域を有するとして識別されている。この例の場合、検索領域は、１６ｘ１６係数に等しい。順位付サブバンド・マクロブロック・グルーピング５４（「現在の」フレーム）もまた、動き評価ブロック５６に送られ、そこでは、図５（ｃ）のサブバンド・ブロック１１６の影付き領域と同様のサブバンド・ブロック１３８（図９（ａ））が後術の比較プロセスにおいて使用するために検索される。

特に図９（ａ）乃至（ｄ）を次に参照すると、動きベクトル（ＭＶｘ，ｘ）が図３の動き評価ブロック５６において決定されるプロセスが示されている。下記の例において、動きベクトルは一つのサブバンド・ブロック（すなわちＳＢ００のサブバンド・ブロック２，４）に対して決定される。しかし、動きベクトルを各サブバンド（ＳＢｏｏ乃至ＳＢ^３３）の各有意なサブバンド・ブロックのために決定できる。

図９（ａ）を参照すると、順序付サブバンド・マクロブロック・グルーピング５４のサブバンド・ブロック１３８が遅延順序付サブバンド・グルーピング５７（図８）の検索領域１３６の中にある。サブバンド・ブロック１３８は、遅延順序付サブバンド・グルーピング５７のサブバンド・ブロック１３７の上にほとんど重ね合わされる。上述のように、順序付サブバンド・マクロブロック・グルーピング５４は、図５（ｃ）において示されたサブバンド・マクロブロック・グルーピング４０と同様の構造を有する。そして、遅延順序付サブバンド・グルーピング５７は、図４（ｂ）に示されたサブバンド３４の集合と同様の構造を有する。

図９（ａ）を再度参照すると、検索領域１３６の係数１４１（各々に「ｘ」のついた４つの円として示されている）とサブバンド・ブロック１３８ の係数１４２（４つの円として示されている）が動きベクトルを決定する方法を図示するのを容易にするために本明細書において使われる。係数１４１と１４２は、値においてほぼ等しいこと及び残りの係数（図示せず）は、係数１４１と１４２と異なるが互いにほぼ等しい値のものであることをこの例に対して仮定している。係数１４１と１４２の位置の差は、二つのビデオ・フレーム（の間の変化例えば並進的移動）を表している。

図９（ｂ）を参照すると、ブロック１３８が横に動く、すなわち、予め定めた段階的パターンで検索し、検索領域１３６は、サブバンド・ブロック１３８と検索領域１３６の間の各ステップで総絶対差を決定しようとする。当業者は、種々の横移動パターンを使用できること認めるであろう。なお、総絶対差以外の基準を比較のための基礎として使うことができる。初めの比較は、サブバンド・ブロック１３８ の増分的又は全ステップ移動を利用して最良の一致を見出そうとする。増分的移動がｘ又はｙ方向どちらかにおいて、全シフト又はステップである。例えば、検索領域１３６全体を検索する際に、サブバンド・ブロック１３８はｘ方向に±４増分、すなわち、変換係数、だけ及びｙ方向で±４増分だけ検索領域１３６内でシフトする。サブバンド・ブロック１３８が８×８係数を有し、一方検索領域１３６が１６×１６係数を有するので、サブバンド・ブロック１３８は、ｘとｙ方向に±４増分をシフトする。

図９（ｂ）を続けて参照すると、増分的検索を行った後に、最良の一致が、正のｘ方向に３全増分移動と正のｙ方向に２全増分移動であると分かる。その後で、図９（ｃ）に見られるように、分数差がサブバンド・ブロック１３８と検索領域１３６の間の差をより正確に表すために決定される。このプロセスを容易にするために、特定のサブバンドに適当な分数の動きを表すマスクがサブバンド・ブロック１３８に適用される。

例えば、ＳＢｏｏは、元の画像（図４（ａ）の１ＭＢ２，４を参照のこと）にある関連したマクロブロックの大きさの１／４なので、サブバンド・ブロック１３８が１ＭＢ２，４のより細かい動きをより正確に再生させることができる４分数移動がある。すなわち、サブバンド・ブロック１３８は、ｘ方向の増分の±１／２とｙ方向の増分の±１／２を動かすことができる。したがって、四つの分数マスク１４３は、最良の一致を捜してサブバンド・ブロック１３８を変更するために用いられる。

図９（ｃ）の参照を続けると、四つのマスク１４３は、サブバンド・ブロック１３８に適用される。各マスクの適用の間に、サブバンド・ブロック１３８と検索領域１３６にある係数間の総絶対差は決定される。より良い一致が見出されれば、上記の増分検索の間に決定されたものと比較して、分数マスクは、動きベクトルに加算される。この例において、最良の一致は、正のｘ方向に＋１／２の分数動きであると決定される。動きベクトルの結果として生じるｘとｙ成分は、それぞれ＋３・１／２と＋２である。当業者は、上述の例において示したのと同程度に正確な一致を得ることは普通でないと認めるであろう。この意味で、サブバンド・ブロックの係数と検索領域の係数との間の「最良一致」は、二つの間の「最も近い近似」としてより正確に記載されることがある。動き予測は、このような精度の不足を補償するために後で用いられる。

図９（ｄ）を参照すると、動きベクトルのｘとｙ成分は、それの符号に逆にされて拡大・縮小される。さらに詳しくは、ｘとｙ成分の各々に−１を掛けること、及びＳＢｏｏが動き評価の為に使われているこの例においては、ｘとｙ成分の各々に２を掛けることである。ｘとｙ成分の符号は、動きベクトルが動き予測（更に詳細に以下に論じる）の間、遅延順序付サブバンド・グルーピング５７に適用されるとき、適当な係数が「前の」フレーム位置から「現在の」フレーム位置へ動かされるように逆にされる。そして、ｘとｙ成分は、元のＱＣＩＦ画像（１ＭＢ^２，４）の関連マクロブロックに関して、上で決定された移動（ｘ＝３・１／２（ｙ＝２））を表すために拡大される。拡大・縮小することは、動き予測の間、サブバンドＳＢｏｏ乃至ＳＢ^３３における適当な係数をシフトする際に使用されるｘとｙ成分の決定をより簡単にできるようにする。

この例において、ＳＭＢ^２，４内のサブバンド・ブロックの動きを識別している結果として生じる動きベクトルは、ｘ＝−７とｙ＝−４（ＭＶ２，４）である。ＭＶ^２，４は、動きベクトルの集合５８を記憶される。ＭＶ^２，４は、したがって、遅延順序付サブバンド・グルーピング５７（「基準」フレーム）の各サブバンドからの係数の若干の集合順序付サブバンド・グルーピング５３（「現在の」フレーム）を予測するためのそれらの新しい位置への移動を表している。上記のプロセスは、例えば、ＳＢｏｏの各有意なサブバンド・ブロックに対して繰り返される。処理は、一般的にランキング順で、すなわち、最大量の移動を有するマクロブロックから最小量の移動、を有するものへ進む。完全に無意味なサブバンド・ブロックは、全く考えられないので、動きベクトルを割り当てられないだろう。これは、例えば、フレーム間の位置における変化が無意味又は無いときに起こるだろう。サブバンド・ブロックが、本明細書において上述のように、ゼロと照合されたときにもそれは起こる可能性がある。

異なるサブバンドを動きベクトルを計算するために用いるべき場合、増分的動き及び分数動きは、ＱＣＩＦ画像３０に関して特定のサブバンドの比例関係を使用して上述のものと類似の方法で決定されるだろう。例えば、ＳＢ^０１のサブバンド・ブロックが動きベクトルを作り出すために用いられる場合、以下の基準を適用する。領域サイズ＝１６×８係数、ｘ分数のマスク＝１／４、±１／２及び±３／４増分、ｙ分数のマスク＝±１／２増分、ｘスケーリング＝４、及びｙスケーリング＝２

上記の方法を使用する利点は、その分離できるフィルタを使用できるということである。換言すれば、一つのサブバンド・ブロックの増分及び分数移動のために使用するフィルタをもう一つのサブバンド・ブロックの増分及び分数のために使用できる。例えば、ＳＢｏｏのサブバンド・ブロックは、ｘ＝±１／２及びｙ＝±１／２の四つの可能な分数移動を有する。そして、ＳＢ^０１のサブバンド・ブロックは、ｘ＝±１／４、±１／２と±３／４及びｙ＝±１／２の可能な分数移動を有する。ＳＢｏｏとＳＢ^０１におけるｘ＝±１／２及びｙ＝±１／２の共通分数移動のため、単一の分離できるフィルタを両方のサブバンドにおけるｘ＝＋１／２、ｘ＝−１／２，ｙ＝＋１／２及びｙ＝−１／２の分数移動のために使用できる。この方法を遅延順序付サブバンド・グルーピング５７にある全ての共通の分数移動に使用できる。分離できるフィルタの同じ有利な使用法を動き予測ブロック６０において実施できる。

図１０を参照すると、全ての有意なサブバンド・ブロックが動き評価ブロック５６において処理されたあと、動きブロックの集合５８は、動き予測ブロック６０と位置的符号化ブロック７６に出力される。動き予測ブロック６０において、動きベクトルは、係数のある数の集合の遅延順序付サブバンド・グルーピング５７（「基準」フレーム）の各サブバンドから順序付サブバンド・グルーピング５３（「現在の」フレーム）を予測するためのそれらの新しい位置へのシフトを計算するために用いられる。

そのようなシフトを生成するためにどのマスクを使用するべきかについて決定するために、ｘとｙ成分は、各サブバンド・ブロックの対応するモジュロの逆数を掛けられる。例えば、ＳＢｏｏの２，４位置に動いたと決定された係数１４８の８×８集合をシフトするためのｘとｙ成分を決定するために、ＭＶ^２，４のｘとｙ成分は、各々対応するモジュロ２の逆数を掛けられる。この計算結果は、ｘ＝−３１／２とｙ＝−２になる。したがって、ｘ＝−３の増分移動用マスク、ｘ＝−１／２の分数移動用マスク、及びｙ＝−２の増分移動用マスクが８×８係数１４８に適用される。

第２の例として、ＳＢ^０１の２，４位置に動いて決定された係数１４９の８×４集合をシフトするためのｘとｙ成分を決定するために、ＭＶ^２，４のｘ成分はモジュロ４の逆数を掛けられ、ＭＶ^２，４のｙ成分はモジュロ２の逆数を掛けられる。この計算結果は、ｘ＝−１・３／４及びｙ＝−２になる。したがって、ｘ＝−１の増分移動用マスク、ｘ＝−３／４の分数の移動用マスク及びｙ＝−２の増分移動用マスクが適用される。

図１０は、係数の全集合のＳＭＢ^２，４に対応するサブバンド・ブロックへの移動を示す。動きベクトル５８の集合からの動きベクトル（ＭＶｘ，ｘ）を遅延順序付サブバンド・グルーピング５７（「基準」フレーム）に適用すると順序付サブバンド・グルーピング５３（「現在の」フレーム）の予測が得られ、予測されたグルーピング６６（図３）という。

フレーム間の分数移動を決定するための上述のマスキング・プロセスの代替実施例が３×３係数マスクを使用することを含んでいる。これらのマスクは、選択された係数を囲んでいる係数の重み付き平均を取る。代替方法において、増分移動だけを含む動きベクトル５８の集合が各サブバンド（ＳＢｏｏ乃至ＳＢ^３３）又は選択数のサブバンド（例えばＳＢｏｏだけ）にある各有意なサブバンド・ブロックに対して上述し図９（ａ）と９（ｂ）に示されたように決定される。動きベクトル５８の集合は、動き予測ブロック６０に送られる。

動き予測ブロック６０において、動きベクトル５８の集合は、図１０において図で示されたものに類似している方法で適用され、遅延順序付サブバンド・グルーピング５７の有意なサブバンド・ブロックを増分的にシフトさせる。その後で、係数の各シフトされた集合の各係数は、３×３マスクをそれに適用される。適用されるマスクは、各シフトされた係数を囲んでいる係数の重み付き平均を決定する。その計算の結果は、シフトされた係数の予測すなわち係数の新しい値である。

動きベクトル５８の集合からの動きベクトルの全てが遅延順序付サブバンド・グルーピング５７に適用されて、動きベクトルによってシフトされた係数の全てがそれらに３×３マスクを適用された後に、結果は、予測されたグルーピング６６としての動き予測ブロック６０から出力される。もちろん、このプロセスは、動き予測ブロック６０において行われたマスキング・プロセスを模写するために復号器８２の予測ブロック９８において繰り返される。

予測が上述の方法のどちらかによって決定された後で、予測されたグルーピング６６が順序付サブバンド・グルーピング５３と予測されたグルーピング６６の間の差が決定される差ブロック６８に渡される。上述の通りに、差ブロック６８は、グルーピング差７０を生成する。

本明細書において記載された動き補償法がテンソル積小波と連動して機能するとして例示されているが、その方法を他の形式の変換とともに利用できることを特記しておくことは重要である。これは、動き補償法を時間領域又は変換ドメインのいずれかにおける他の変換とともに利用することを含む。例えば、ＤＣＴにおいて変換されたデータを上述したものと同様の方法で動き補正できる。すなわち、ＤＣＴの８×８ブロックの各々にある６４の変換係数は、テンソル積小波のＳＢｏｏの８×８サブバンド・ブロックの各々にある６４の変換係数を動き補正するために使用されたものと同様の方法で動き補正できる。

図１１を次に参照すると、ビデオ符号器のもう一つの実施例が示されている。上述され図３において示された実施例におけるように、動き評価と動き予測が、それぞれ、ブロック１５０と１５２の変換ドメインにおいて行われる。また、実施例の前部分は、上述し図３において示したものと同様である。さらに具体的にいえば、ＣＩＦ画像２６は、コンバータ２８においてＱＣＩＦ画像３０に変換される。ＱＣＩＦ画像３０は、変換して、マッピング成分２０を特徴づける画像によってサブバンド・マクロブロック・グルーピング４０にコンバートされる。そして、サブバンド３４の集合とサブバンド・マクロブロック・グルーピング４０は、それぞれ、２２を変更した特徴を決定することと関連した成分によって、順序付けされたサブバンド・グルーピング５３と順序付けされたサブバンド・マクロブロック・グルーピング５４に変換される。

また、順序付サブバンド・マクロブロック・グルーピング５４が動き評価ブロック１５０へ送られ、順序付サブバンド・グルーピング５３が差ブロック６８に送られることは、図３において示された実施例と同様である。しかし、基準枠として遅延順序付サブバンド・グルーピング５７を利用する代わりに、累積誤差をそれに加えられた、誤差修正済みサブバンド・グルーピング１７１が遅延ブロック１５６に送られ、それによって、遅延サブバンド・グルーピング１７２（「基準」フレーム）を生成する。量子化（又は拡大・縮小）が差ブロック６８において生成された予測誤差７０をいちじるしく変更するほど大きいとき、そのような変形が必要である。

誤差修正サブバンド・グルーピング１７１を作り出すために、システムがゼロに照合されるときに、例えば、システムが始められるとき又は復号器の基準がリフレッシュされるべきとき、１部の順序付サブバンド・グルーピング５３が差ブロック６８を無変化で通されて、メモリに記憶される。その後で、次の各フレームの予測誤差７０が量子化ブロック１５８を通過するので、予測誤差７０は累算される、すなわち、基準に加えられる。更新された基準画像は、遅延ブロック１５６に送られ、それによって、遅延サブバンド・グルーピング１７２を生成する。この方法を利用することによって、符号器の基準は、復号器の基準と同期したままになる。当業者は、かなりの量の拡大・縮小及び／又は量子化が、動き予測と位置的符号化の間に行われるとき、そのような構成が符号器と復号器の間の同期を維持する際に有効であることを認めるであろう。

動き評価ブロック１５０と動き予測ブロック１５２が遅延ブロック１５６から遅延サブバンド・グルーピング１７２を受けたあと、動き評価と動き予測は本明細書において上述されたものと同様の手続によって決定されて、図８乃至１０において図で示される。なお、順方向送り１５９は、変化検出４６と量子化ブロック１５８の間に設けられて、ブロックが変化した量に従い、特定のブロックに行われることになっている量子化の量を調整する。多量の変化が変化検出４６に認められるときに、多数のビットが量子化ために割り当てられる。そして、逆に、少量の変化が変化検出４６に認められるときには、比例してより小数のビットが量子化のために割り当てられる。

図１２を次に参照すると、ビデオ符号器のもう一つの実施例がなお示されている。この実施例の前部分は、上述し、図３と１１に図示した実施例と同様である。しかし、上述の実施例とは異なり、動き評価が画像ドメインにおいて実施されている。この実施例は、若干のプロセッサに現在利用できる特殊なハードウェア配置を利用している。

図１２において、ＣＩＦ画像２６がコンバータ・ブロック２８内でＱＣＩＦ画像３０に変換される。ＱＣＩＦ画像３０は、変換されて、マッピング構成要素２０を特徴づける画像によってサブバンド・マクロブロック・グルーピング４０に、コンバートされる。サブバンド・マクロブロック・グルーピング４０は、サブバンド・マクロブロック・ランキングを決定するように変えられた構成要素２２を有する特徴を決定することと関連する構成要素によって処理される。その結果は、サブバンド３４の集合に適用されて順序付サブバンド・グルーピング５３になる。その後で、順位付サブバンド・グルーピング５３が差ブロック６８に送られる。ＱＣＩＦ画像３０（また、「現在の」フレームと称する）は、また、動き評価ブロック１６０と動きベクトル１６２の集合を決定するための遅延ブロック１６６に送られる。さらに具体的にいえば、画像フレーム３０は、遅延画像フレーム１６７（また、「基準」フレームと称する）を生成する遅延ブロック１６６において遅らされる。図１３を参照すると、遅延画像フレーム１６７は、ＰｘＰペル検索領域が各有意な画像マクロブロックのまわりに創り出される動き評価ブロック１６０に送られる。例えば、ＰｘＰペル検索領域１０７が画像マクロブロック２，４（１ＭＢ２，４）のまわりに設定される。経験的解析に基づいて、３２×３２のペルの検索領域１０７が、ＱＣＩＦ画像フレームの１６×１６ペル画像マクロブロックのまわりに検索領域として使われる。

動き評価ブロック１６０において、現在のＱＣＩＦ画像３０のフレームの各有意な画像マクロブロック（ＩＭＢｘ，ｘ）は、動きベクトルを決定するための遅延画像フレーム１６７の対応する検索領域内にある。例えば、１ＭＢ２，４は、ＱＣＩＦ画像３０から検索されて、遅延画像フレーム１６７の検索領域１０７の中に置かれる。このプロセスは、図８と９（ａ）において上述し図で示したような変換ドメインにおいて実施されたものと類似している。

図９（ｂ）において上述し、図で示したものに類似している方法で、１ＭＢ^２，４は、１ＭＢ^２，４と検索領域１０７の間の各ステップでの最小総絶対差を決定しようとしている検索領域１０７を横に移動する。しかし、上述のサブバンド検索とは異なり、検索が画像ドメインの中にあるとき、分数検索は不必要である。したがって、１ＭＢ２，４の増分動きを決定した後に、ｘ及びｙ座標は、逆にされ（−１を掛けられて）て、動きベクトル１６２の集合をメモリに記憶される。動きベクトルは、動き予測ブロック１５４及び位置的符号化ブロック７６に送られる。その後で、動きベクトルは、図３及び１１に関して上述され図１０において示されたものと同様の方法で遅延サブバンド・グルーピング１７２に適用される。

図１４を次に参照すると、ビデオ・符号器のもう一つの実施例が示され、その図において、前部分は、上述され図３、１１及び１２において例示された実施例と同様である。しかし、上述の実施例とは異なり、動き評価及び動き予測は、画像ドメインにおいて実施される。

図１４において、動きベクトルの集合１６２が上述され図１２及び１３において例示されたものと同様の方法で決定される。動きベクトル集合１６２は、動き予測のためのブロック１６４及び位置的符号化のためのブロック７６に送られる。上述され図１１及び１２において例示されたものと同様の方法で、累積誤差を加えられた誤差修正サブバンド・グルーピング１７１は、遅延ブロック１５６に送られ、それによって、遅延サブバンド・グルーピング１７２（「基準フレーム」）を生成する。しかし、上述の実施例とは異なり、遅延サブバンド・グルーピング１７２は、それから逆小波変換ブロック１７４によって復元されて、復元された画像１７６を形成する。復元された画像は、図４（ａ）に示されたＱＣＩＦ画像３０と同様の構成を有する。

代わりに、遅延サブバンド・グルーピング１７２をその全体を復元する代わりに、グルーピングの一部分を復元しての率を上げることができる。例えば、３、５のフィルタを用いて４８×４８ペルを有する復元された領域を得ることができる。いくつもの領域が、周りにそれらの領域が集められている画像マクロブロック（１６×１６）の重要性（すなわち、それらの領域の中で検出された変化）に基づいて選ばれる。

動き予測ブロック１６４において、動きベクトルの集合１６２が復元された画像１７６（又は、数領域だけが逆数小波変換されたとすれば、復元された４８×４８ペル領域）に適用される。動きベクトル１６２の集合は、ＱＣＩＦ画像のサブバンド表現における変換係数の集合をシフトするために上述され図１０において例示されたものと同様の方法で復元された基準画像１７６に適用される。その後で、予測１７８が予測されたグルーピング６６を生成する順方向小波変換ブロック１８０に送られる。予測されたグルーピング６６は、それから差ブロック６８における順序付サブバンド・グルーピング５３から引かれて、グルーピング差７０になる。量子化がブロック１５８において実施され、誤差は基準（上記の通りの）を維持するために累算されるとともに、位置的符号化ブロック７６に前送りされる。量子化された誤差及び動きベクトル１６２の位置的符号化が上述のように起こり、伝送線８０を通して復号器に転送される。

ソフトウェア実動化として本明細書において例示されたが、本発明の実施例の原理はまた、特定用途向け集積回路（ＡＳＩＣ）によって、ハードウェアにおいて実現できるであろう。なるべくなら、必要なメモリ必要条件を含めて、ＡＳＩＣ実動化は、（ｉ）実施例と整合した電力消費を最小にするため、及び（ｉｉ）１３．５ＭＨｚ未満のデータレートでフルカラー・ビデオ（例えば全ＣＣＩＲ６０１）の圧縮を可能にするためのペル・レートで動作する必要がある。電力消費が従来のソフトウェアとプロセッサ実動化と比較して、ＡＳＩＣを利用することによって１０倍のファクタだけ減らされることが見込まれる。

代わりに、光学的方法を電力をさらに削減するように使用できる。上記の通りに、画像への近似が小波変換の各段階でつくられ、そして、この近似を作ることによって失われた詳細部は記録される。光電子的又は光学的実動化において、光が集められて関連の電荷が検出される方法を近似画像のサンプルの各々を集めるように調整できる。これらの近似画像が並列に一緒に重ね合わされる場合、詳細項はアナログ又はディジタルのどちらかの手段によってこれらの中間値から計算できる。なるべくなら、アナログ手段が詳細項をアナログ段階の出力として計算するために用いられるのがよい。

詳細項は、量子化方策を実行するビット直列のアナログー デジタル変換器の使用によって量子化できる。結果として生じるビットストリームは、圧縮される。このようにして、光子／光デバイスは、画像データレート（ＡＳＩＣの場合のように）又はプロセッサ・データレート（従来のプロセッサの場合のように）でではなく圧縮データレートで動作する。これはごくわずかな電流しか消費しないので、電力の必要量の少ない実動化をもたらすであろう。光学的方法の実動化が電力消費をＡＳＩＣ実動化のもののほぼ１０倍のファクタだけさらに減らすだろうと見込まれる。

本明細書において図示され説明された実施例と変化形態が単に本発明の原理を例示するだけであり、その種々の変更態様は本発明の範囲と精神から逸れることなく当業者が実現できることを理解すべきである。

以下の図面を参照して本発明の代表的実施例について詳細に説明する。
動き補償が画像ドメインにおいて実施される離散的コサイン変換（ＤＣＴ）を使用している従来技術標準ビデオ圧縮方法の略ブロック図である。 変換ドメインにおいて実施される動き補償のための機能を含んでいる本発明の実施例の一般構成を図示している略ブロック図である。 図２において図示された実施例のより詳細な構成の略ブロック図である。 画像マクロブロック（ＩＭＢｘ，ｘ）０、０乃至８、１０を有するＱＣＩＦ画像を示す。 画像フレームが順方向小波変換によって変換されたあとのＱＣＩＦ画像のサブバンド表現を示す。 図４（ｂ）において図示されたＱＣＩＦ画像のサブバンド表現を示す。 図５（ａ）において図示されたサブバンド表現から生成されたサブバンド・マクロブロック（ＳＭＢｘ、ｘ）の集合を示す。 サブバンド・マクロブロック（ＳＭＢｘ，ｘ）が図４（ａ）のそれらの関連画像マクロブロック（ＩＭＢｘ、ｘ）と空間的に対応するように図５（ｂ）のサブバンド・マクロブロックの編成を示す。 入力画像を変換して、１０分の１を取るためのフィルタバンク及び各フィルタバンクから作られるそれらのそれぞれの垂直及び水平サブバンドを図で示している略ブロック図である。 入力画像を変換して、１０分の１を取るためのフィルタバンク及び各フィルタバンクから作られるそれらのそれぞれの垂直及び水平サブバンドを図で示している略ブロック図である。 フィルタバンクにおける有限精密計算を広帯域から低帯域まで及び逆に低帯域から高帯域まで移すためのアーキテクチャを示す。 検索バンドがＰｘＰペルであり、さらに、入力画像の大きさがＱＣＩＦであるときに、ＳＢ００の検索バンドに対する検索領域を詳述する画像ドメインにおける画像マクロブロック２，４（１ＭＢ２，４）に対応する各サブバンド（ＳＢｉｊ）のための変換ドメイン内の検索領域を示す。 動きが変換ドメインにおいて評価される方法を示す。 動きが変換ドメインにおいて予測される方法を示す。 図２において示された実施例の詳細なもう一つの構成を図で示している略ブロック図である。 動き評価が画像ドメインにおいて実施され、動き予測が変換ドメインにおいて実施されている本発明の詳細なもう一つの実施例を示している略ブロック図である。 入力大きさがＱＣＩＦであるとき、画像マクロブロック２，４（１ＭＢ２，４）の周りの画像ドメインにおいて検索するときのＰ×Ｐペル検索領域を示す。 動き評価と動き予測が画像ドメインにおいて実施される本発明の詳細なもう一つの実施例を図で示している略ブロック図である。

Claims (12)

1. 少なくとも二つのフィルタ経路を有するテンソル積ウエーブレットを利用して一つのデータセットを変換すること、及び変換の間に誘導された残りをフィルタ経路中の少なくとも二つの間で伝搬させることを含むデータセットを変換係数に変換する方法。
2. 少なくとも二つのフィルタ経路の第１フィルタ経路から残りが少なくとも二つのフィルタ経路の第２フィルタ経路からの残りが第１フィルタ経路に伝搬される請求項１に記載のデータセットを変換係数に変換する方法。
3. テンソル積ウエーブレット変換が高域通過成分及び低域通過成分を決定するためのテンソル積ウエーブレット対である請求項１に記載のデータセットを変換係数に変換する方法。
4. データセットの変換及びフィルタ経路間の残りの伝搬がデータセットの低域通過成分及び高域通過成分を決定すること、低域通過正規化出力及び第１の残り(rl)を生成するために低域通過成分を正規化すること、高域通過正規化出力及び第２の残り（rh）を生成するために高域通過成分を正規化すること、第１及び第２の残りに第１の演算（g(rl,rh)）を実行して、近似を生成するために、そこから出る結果を低域通過正規化出力に加えること、及び第１及び第２の残り（rl,rh）に第２の演算（f(rl,rh)）を実行して、詳細を生成するために、そこから出る結果を高域通過正規化出力に加えることを含む請求項３に記載のデータセットを変換係数に変換する方法。
5. 低域通過成分及び高域通過成分をダウンサンプルすることを更に備える請求項４に記載のデータセットを変換係数に変換する方法。
6. 低域通過成分は、値−1,2,6,2,−1を有するフィルタを利用して決定され、高域通過成分は、値−１，２、−１を有するフィルタを利用して決定され、及び以下の関数
   a(rl,rh)=rh
   及び
   f(rl,rh)=floor(rh+1/2)、ここでnh=1/2
   を有する第１の演算（g(rl,rh)）及び（f(rl,rh)）を備える請求項３に記載のデータセットを変換係数に変換する方法。
7. テンソル積ウエーブレット対が
   

   

   及び
   

   

   という形のものである請求項３に記載のデータセットを変換係数に変換する方法。
8. 符号化技術を利用してデータセットを変換すること及び符号化の間に誘導された残りをエンコーダの第１のフィルタ経路へ伝搬させることを備えるデータセットを変換係数に符号化する方法。
9. 残りを第２のフィルタ経路から第１のフィルタ経路へ伝搬することを更に備えている請求項8に記載のデータセットを変換系ルウに符号化する方法。
10. 符号化技術がテンソル積ウエーブレット変換である請求項8に記載のデータセットを変換係数に符号化する方法。
11. 符号化技術が離散的コサイン変換である請求項8に記載のデータセットを変換係数に符号化する方法。
12. 第１のフィルタ経路におけるデータセットの第１のフィルタ成分を決定すること、第２のフィルタ経路におけるデータセットの第２のフィルタ成分を決定すること、正規化出力及び残りを生成するために第１のフィルタ成分を正規化すること、及び第２のフィルタ経路へ伝搬することを備えるデータセットを変換係数に符号化する方法。

Images