JP2006501750A - ウェーブレットベースの符号化において、動き補償された時間フィルタリングのための、フィルタリングされた領域とフィルタリングされない領域とを両方備えるｌフレーム - Google Patents

Abstract

本発明は、ビデオを符号化する方法及び装置に関する。本発明によれば、第１のフレームにおける第１の領域は、第２のフレームにおける第２の領域にマッチングしている。前記第１の領域のピクセル値と、前記第２の領域のピクセル値との間の差異を含む第１の部分的に符号化されたフレームが生成される。前記第１の領域又は前記第２の領域の一方のピクセル値を含む第２の部分的に符号化されたフレームが生成される。さらに、これら第１及び第２の部分的に符号化されたフレームはウェーブレット係数に変換される。

Description

本出願は、２００２年７月１５日出願の米国予備出願番号60/395,921の利益を述べてあり、この出願が教えていることは参照することによりこれに含まれるものとする。

本発明は一般的にビデオ圧縮に関することであり、特にフィルタリングされた領域と、フィルタリングされない領域とを共に備えるＬフレームを生成する動き補償された時間フィルタリングを利用するウェーブレット(wavelet)ベースの符号化に関する。

多くの現在のビデオ符号化アルゴリズムは、動き補償された予測符号化に基づいてあり、これらアルゴリズムはハイブリッド方式とみなされている。このようなハイブリッド方式において、時間的冗長が動き補償を用いて減少する一方、空間的冗長は前記動き補償の残余を変換符号化することにより減少する。通常用いられる変換は離散コサイン変換（ＤＣＴ）又はサブバンド／ウェーブレット分解を含んでいる。しかしながら、このような方式は、本当のスケーラブルなビットストリームを供給する点において柔軟性を欠いている。

３Ｄサブバンド／ウェーブレット（以後は“３Ｄウェーブレット”）ベースの符号化として知られる他の形式の方式は、ヘテロジーニアスなネットワーク(heterogeneous network)を介するビデオ通信の現在のシナリオにおいて特に人気を得ている。これら方式は、非常に柔軟なスケーラブルビットストリーム及び高いエラー耐性が提供されるので、上記アプリケーションにおいて好ましい。３Ｄウェーブレット符号化において、全フレームは、ＤＣＴベースの符号化ではブロック毎である代わりに、一度に変換される。

３Ｄウェーブレット方式の１つの構成要素は、動き補償された時間フィルタリング（ＭＣＴＦ）であり、これは時間的冗長を減少させるために行われる。ＭＣＴＦの一例は、Seung-Jong Choi及びJohn Woods著、タイトル”Motion-Compensated 3-D Subband Coding of Video”, IEEE Transactions On Image Processing, Volume 8, No. 2, February 1999の論文に記載されてあり、以後”Woods”と呼ぶ。

Woodsにおいて、フレームは、空間分解が行われる前に、動きの方向に時間フィルタリングされる。この時間フィルタリング中、幾つかのピクセルは、その場面における動きの性質及びオブジェクトをカバーしている／カバーしていないによって、参照されなかったり又は何度も参照されたりする。このようなピクセルは不連続(unconnected)ピクセルとして知られ、特別な処理を必要とする。これが減少した符号化効率となってしまう。Woodsから引用された不連続又は接続ピクセルの一例が図１に示される。

本発明は、ビデオを符号化するための方法及び装置を述べている。本発明によれば、第１のフレームにおける第１の領域が第２のフレームにおける第２の領域にマッチングする。第１の領域のピクセル値と第２の領域のピクセル値との間の差異を含む第１の部分的に符号化されたフレームが生成される。第１の領域又は第２の領域のどちらか一方のピクセル値を含む第２の部分的に符号化されたフレームが生成される。さらに、第１及び第２の部分的に符号化されたフレームはウェーブレット係数に変換される。

ある実施例において、第１の領域又は第２の領域のどちらか一方のピクセル値を含む前記第２の部分的に符号化されたフレームは、前記第１の領域と前記第２の領域との間のマッチングの質が既定のしきい値よりも大きい場合に生成される。他の実施例において、前記第１の領域又は第２の領域のどちらか一方のピクセル値を含む前記第２の部分的に符号化されるフレームは、第２の部分的に復号されたフレームを符号化するためのビットの数が、前記第２の部分的に符号化されたフレームに含まれる前記第１の領域及び第２の領域のピクセル値の平均の場合よりも小さい場合に生成される。

本発明はビットストリームを復号するための方法及び装置を述べている。本発明によれば、このビットストリームはウェーブレット係数を生成するためにエントロピー復号される。

ウェーブレット係数は、フィルタリングされた領域を含む第１の部分的に復号されるフレームと、フィルタリングされない領域を含む第２の部分的に復号されるフレームとに変換される。加算又は減算のどちらか一方により、フィルタリングされた領域及びフィルタリングされない領域のピクセル値を合わせて含む第１のフレームが生成される。さらに、前記フィルタリングされない領域のピクセル値を含む第２のフレームが生成される。

ここで図を参照してみると、同じ参照番号は、図を通じて対応する部分を示している。

前述したように、３Ｄウェーブレット方式の１つの構成要素は、動き補償された時間フィルタリング（ＭＣＴＦ）であり、これは時間的冗長を減少させるために行われる。従来のＭＣＴＦにおいて、フレームはペアでフィルタリングされる。特にフレームの各ペア（Ａ，Ｂ）は、フレームの各ペアにおいて同様の領域をマッチングさせる動きベクトル（Ｖ_ｙ，Ｖ_ｘ）を用いて、フィルタリングされ、

のようなＬ及びＨフレームのペアとなる。

数式（１）において、Ｌは各ペアのスケーリングされた平均に対応し、ｃ_１はスケーリング因子を表す。数式（２）において、Ｈは各ペアのスケーリングされた差異に対応し、ｃ_２はスケーリング因子を表す。Ｌフレームが時間平均されたフレームを表しているので、通常これらＬフレームは、ビデオが低いフレームレートで復号される場合にだけ表示される。これにより、復号されたＬフレームに生成される如何なるアーチファクトも低いフレームレートでの低品質なビデオ品質となってしまうので、Ｌフレームは良好な品質のビデオ品質にすべきである。

Ｌフレームの品質は通常、動き推定の品質が良い、すなわち良好なマッチングが見られる場合、かなり良好である。しかしながら、ビデオシーケンスにおいて２つのフレーム間の領域に対し良好なマッチングが見つからない場合がある。このような場合は、場面の転換、素早い動き又は特定の場面においてオブジェクトをカバーする及びカバーしないことを含んでいる。これにより、本発明によれば、悪いマッチングに対応するＬフレームの部分はフィルタリングされないままであり、これら部分はＡ領域と規定される。これは、良好なマッチングが見つけられなくても、これら領域の視覚的品質に影響しないことを可能にする。さらに、悪いマッチング領域にわたりフィルタリングを行わないことにより、符号化効率が改善されることも可能である。

本発明による時間フィルタリングの一例が図２に示される。

本実施例において、Ｌ及びＨ領域が生成されるようにフィルタリングされた２つの（網掛された）領域が示される。さらに、Ａ及びＨ領域が生成されるようにフィルタリングされた他の２つの（網掛されていない）領域が示される。前述したように、Ａ領域はフィルタリングされないままにしてあるフレームの一部である。Ｌ領域はフィルタリング中にスケーリングされるので、同じ大きさとなるために、フィルタリングされないＡ領域もスケーリングする必要がある。Ａ領域のこのスケーリングは、

と表される。

本発明による符号化器の一例が図３に示される。分かるように、符号化器は入力ビデオをＧＯＰ(group of picture)に分割するための分割ユニット(partitioning unit)２を含み、これらＧＯＰは１つの単位として符号化される。本発明によれば、分割ユニット２は、前記ＧＯＰが既定数のフレームを含む、又は動作中に例えば帯域幅、符号化効率のようなパラメタと、ビデオコンテンツとに基づいて動的に決められるように動作する。例えば、ビデオが素早い場面転換及び早い動きからなる場合、短いＧＯＰを持つことがより効率的である一方、前記ビデオが主に静止したオブジェクトからなる場合、長いＧＯＰを持つことがより効率的である。

分かるように、動き推定ユニット６及び時間フィルタリングユニット８で構成されるＭＣＴＦユニット４が含まれている。動作中、各ＧＯＰのフレームはペアで処理される。ここでこれらペアの各々はソースフレーム及び基準フレームを含んでいる。これにより、動き推定ユニット６は、ソースフレームの各々における領域を基準フレームの各々における同様の領域にマッチングさせる。ある実施例において、動き推定ユニット６は後方予測を行う。これにより、この実施例では、ソースフレームは後のフレームであり、基準フレームは前のフレームである。他の実施例において、動き推定ユニット６は前方予測を行う。これにより、この実施例では、ソースフレームは前のフレームであり、基準フレームは後のフレームである。上述したマッチングの結果として、動き推定ユニット６は、動きベクトルＭＶ及び処理されている現在のフレームにマッチングする各領域に対するフレーム番号を供給する。

動作中、時間フィルタリングユニット８は、フレームの各ペア間における時間的冗長を取り除く。これを行うために、この時間フィルタリングユニット８は、動き推定ユニット６により供給される動きベクトル及びフレーム基準番号に従い、フレームの各ペアに対しマッチングする２つの対応する領域の各々を取り出す。この時間フィルタリングユニット８は次いで、処理されているフレームの各ペアに対するＬフレーム及びＨフレームを生成する。

Ｈフレームを生成するために、時間フィルタリングユニット８は、フレームの各ペアに対する２つの対応するマッチングした各領域に対するピクセル値の間の差異を計算する。好ましくは、この差異はスケーリング因子により乗算される。適切なスケーリング因子の例は、２の平方根の逆数（１／√２）を含んでいる。

Ｌフレームを生成するために、時間フィルタリングユニット８は、フレームの各ペアに対する２つの対応するマッチングした領域の各々に対し、フィルタリングされないＡ領域であるべきか、又はＬ領域としてフィルタリングされるべきかを判断する。Ｌ領域であるべきだと判断された２つの対応するマッチングした領域の各々に対し、時間フィルタリングユニット８は、２つの領域のピクセル値の平均を計算する。好ましくは、これら２つの領域の平均は、スケーリング因子により乗算される。適切なスケーリング因子の例は、２の平方根（√２）を含む。

Ａ領域であるべきだと判断された２つの対応するマッチングした領域の各々に対し、時間フィルタリングユニット８は、各Ｌフレームに含まれるべき２つの領域の一方の領域のピクセル値を選択する。好ましくは、この時間フィルタリングユニット８は、基準フレームから前記領域を選択する。しかしながら、本発明によれば、前記領域がソースフレームから選択されてもよい。適切な復号を保証するために、各Ａ領域が基準フレーム又はソースフレームのどちらから選択されたかを復号器に知らせる必要がある。これは、各Ｌフレームに関連する何らかの種類のフラグ又はヘッダにより達成される。さらに、この選択された領域がスケーリング因子により乗算されることも好ましい。適切なスケーリング因子の例は、２の平方根の逆数（１／√２）を含む。

上述したように、時間フィルタリングユニット８は、フレームの各ペアにおける２つの対応するマッチングした領域の各々に対し、Ａ領域であるべきか、又はＬ領域としてフィルタリングされるべきかを判断する。本発明によれば、これは数多くの異なるやり方で行われる。ある実施例において、これは２つの対応する領域間におけるマッチングの質に基づいて判断される。このマッチングの質は、マッチング表示の質を用いることにより判断されてよい。適切なマッチング表示の質は、２つの対応するマッチングする領域間のＭＡＤ(mean absolute difference)又はＭＳＥ(mean squared error)を含む。２つのＮ×Ｎ領域ｘ_ｉｊ及びｙ_ｉｊ間のＭＡＤは、絶対ピクセル差の平均により、

と計算される。

この数式（４）によれば、ＭＡＤ値が小さくなれば、２つの領域間の差異は小さくなることを示し、これら２つの領域は良好にマッチングされていると分析される。この値はシーケンス依存であり、低い動きシーケンスは、平均して小さなＭＡＤ値を持ち、高い動きシーケンスは、大きな平均ＭＡＤを持つ。平均して、理にかなった良質のマッチングは、５よりも小さいＭＡＤ値を持つ。これにより、このしきい値は、これら２つの対応するマッチングした領域の各々が良好なマッチングであるかを判断するのに用いられる。ＭＡＤ値が５よりも小さい場合、これら特定の２つの対応するマッチングした領域は、Ｌ領域としてフィルタリングされる。ＭＡＤ値がこのしきい値よりも大きい場合、これら特定の２つのマッチングした領域は、Ａ領域としてフィルタリングされない。

他の実施例において、これら２つの対応するマッチングした領域の各々がＡ領域であるべきか、又はＬフレームを符号化するのに要するビット数に基づいて、Ｌ領域としてフィルタリングされるべきかを判断する。特に、これら対応するマッチングした領域の各々に対し、Ａ領域を備える及びＡ領域を備えない各Ｌフレームを符号化するのに必要とされるビット数が計算される。Ａ領域を備えたＬフレームのビット数の方が少ない場合、これら特定の対応するマッチングした領域はＬ領域としてフィルタリングされる。この例において、符号化効率は高まる。

Ｌフレームを符号化するのに要するビット数は、使用される特定のエントロピー符号化技術により影響が及ぼされる。例えば、ＥＺＢＣ(embedded zerotree block coding)技術は、ウェーブレットベースのビデオ符号化器に対し人気のあるエントロピー符号化技術である。このような方式が持つ特徴の１つは、分散化したデータを持つ領域に対して、局所化したデータを持つ領域を符号化するのに数ビットしか必要としないことである。変換された係数（時間フィルタリング及び空間分解後）が非零係数を僅かしか持たない多くの広域エリアでクラスタ化される場合、ＥＺＢＣはデータを圧縮するのに僅かなビットしか必要としない。他方、これら係数が分散化している場合、ＥＺＢＣは多くのビットを必要とする。これにより、これら２つの対応するマッチングした領域の各々がＡ領域としてフィルタリングされないままでいるか、又はＬ領域としてフィルタリングされるかの判断は、使用されるエントロピー符号化技術に依存して異なる。

上述されるＭＣＴＦも不連続ピクセルを生成してよい。これにより、時間フィルタリングユニット８はWoodsに記載されるような、これら不連続ピクセルを扱う。

分かるように、空間分解ユニット１０は、ＭＣＴＦユニット４により供給されるフレームにおける空間的冗長を減少させるために含まれる。動作中、ＭＣＴＦユニット４から入力されるフレームは、２Ｄウェブレット変換に従って、ウェーブレット係数に変換される。このウェーブレット変換のフィルタ及び実施は、多くの形式がある。

適切な２Ｄウェーブレット変換の一例が図４に示される。分かるように、フレームは、ウェーブレットフィルタを用いて低周波のサブ帯域及び高周波のサブ帯域に分解される。これは２Ｄ変換であるため、３つの周波数のサブ帯域（水平、垂直及び対角線）が存在する。低周波のサブ帯域は、（水平周波数及び垂直周波数の両方において低い）ＬＬサブ帯域と名付けられる。これら高周波のサブ帯域は、ＬＨ、ＨＬ及びＨＨと名付けられ、水平方向に高い周波数、垂直方向に高い周波数、水平及び垂直の両方向に高い周波数に対応する。低い周波数のサブ帯域はさらに再帰的に分解される。図３において、ＷＴはウェーブレット変換を表している。Stephane Mallet著、タイトル”A
Wavelet Tour of Signal Processing”, Academic Press, 1997の書籍に記載される他の知られたウェーブレット変換がある。

図３に戻り参照すると、符号化器は有意情報(significance information)に従って、空間分解ユニット１０の出力を符号化するための有意符号化ユニット１２も含む。本実施例において、有意とは、ウェーブレット係数の大きさを表し、ここで大きい係数は小さい係数よりも有意である。本実施例において、有意符号化ユニット１２は、空間分解ユニット１０から入力されるウェーブレット係数を眺め、次に大きさに従ってこれらウェーブレット係数を再整列させる。これにより、最大の大きさを持つウェーブレット係数が最初に送られる。有意符号化の一例は、ＳＰＩＨＴ(Set Partitioning in
Hierarchical Trees)である。これは、A. Said及びW.
Pearlman著、タイトル”A New Fast and Efficient Image Codec
Based on Set Partitioning in Hierarchical Trees”, IEEE Transactions on Circuits
and Systems for Video Technology, vol.6, June 1996の文献に記載されている。

図３から分かるように、破線は幾つかの動作間における依存状態を示すために含まれている。ある例において、動き推定６は有意符号化ユニット１２の特質に依存している。例えば、この動き推定により生成される動きベクトルは、どのウェーブレット係数がより有意であるかを判断するのに用いられる。他の例において、空間分解ユニット１０が有意符号化ユニット１２の形式に依存してもよい。例えば、ウェーブレット分解のレベル数が有意係数の数に関係してもよい。

さらに分かるように、エントロピー符号化ユニット１４は出力ビットストリームを生成するために含まれる。動作中、エントロピー符号化技術は、ウェーブレット係数を出力ビットストリームに符号化するのに利用される。このエントロピー符号化技術は、動き推定ユニット６により供給される動きベクトル及びフレーム番号にも利用される。復号を可能にするために、この情報は出力ビットストリームに含まれる。適当なエントロピー符号化技術の実施例は可変長符号化及び算術符号化を含んでいる。

本発明による復号器の一例が図５に示されている。図３に関して前述されたように、入力ビデオはＧＯＰに分割され、各ＧＯＰは１つの単位として符号化される。これにより、入力ビットストリームは、１つの単位としても復号されるＧＯＰを１つ以上含んでいる。ビットストリームは、動き補償された時間フィルタリングを事前に行ったＧＯＰにおける各フレームに対応する多数の動きベクトルＭＶ及びフレーム番号も含んでいる。

分かるように、復号器は入力するビットストリームを復号するためのエントロピー復号ユニット１６を含む。動作中、この入力ビットストリームは、符号器側で行われたエントロピー符号化技術の逆に従って復号される。このエントロピー復号は、各ＧＯＰに対応するウェーブレット係数を生成する。さらに、エントロピー復号は、後で利用される多数の動きベクトル及びフレーム番号を生成する。有意復号ユニット１８は、有意情報に従ってエントロピー復号ユニット１６からのウェーブレット係数を復号するために含まれる。これにより、動作中、ウェーブレット係数は、符号器側で用いられた技術の逆を用いることにより、正しい空間順序に従って再整列される。

さらに分かるように、空間再構成ユニット２０は、有意復号ユニット１８からのウェーブレット係数を空間的に復号されたフレームに変換するために含まれる。動作中、各ＧＯＰに対応するウェーブレット係数は、符号器側で行われた２Ｄウェーブレット変換の逆に従って変換される。これは、本発明従って、動き補償された時間フィルタリングを行った部分的に復号されたフレームを生成する。前述したように、この動き補償された時間フィルタリングは、処理されるフレームの各ペアに対しＨフレーム及びＬフレームのペアを生成する。さらに、本発明によれば、Ｌフレームは、前述されたように、フィルタリングされないＡ領域とフィルタリングされたＬ領域との両方を含んでいる。

逆の時間フィルタリングユニット２２は、空間再構成ユニット２０からの部分的に復号されたフレームを復元するために含まれている。動作中、この逆の時間フィルタリングユニット２２は、以下のように、各ＧＯＰに含まれるＨフレーム及びＬフレームの各ペアを処理する。最初に、Ｈ及びＬフレームの各ペアにおける対応する領域がエントロピー復号ユニット１６により供給される動きベクトル及びフレーム番号に従って取り出される。本発明によれば、取り出された対応する領域の各々は、ＬフレームからのＬ領域又はＡ領域の一方と、Ｈフレームからの領域とを含む。前述したように、Ａ領域はフレームのペア間における２つの対応するマッチングした領域の一方の領域のフィルタリングされないピクセル値を表し、Ｌ領域はこれら２つの対応するマッチングした領域のピクセル値の平均を表し、Ｈフレームからの領域はこれら２つの対応するマッチングした領域間の差異を表す。さらに、取り出された対応する領域は、符号化器側で用いられた同じスケーリング因子により分割される。

Ｌフレームに含まれる各Ｌ領域に対し、各Ｌ領域及びＨフレームにおける対応する領域のピクセル値に対する和及び差が計算される。各和及び差は、次いで他のスケーリング因子により分割される。適切なスケーリング因子の一例は、２の値である。各スケーリングされた和及び差は次いで、適切な再構成されたフレームに置かれる。

Ｌフレームに含まれる各Ａ領域に対し、上述されたように、各領域は最初にスケーリングされた後、前記適切な再構成されたフレームにそのまま送られる。前述されたように、各Ｌフレームは、特定のＡ領域が基準フレーム又はソースフレームのどちらから選択されたかを示す関連するヘッダ又はフラグを持ってもよい。これにより、各Ａ領域は、これら関連するヘッダ又はフラグに関する情報に従って、適切な再構成されたフレームに置かれる。代わりに、Ａ領域が既定される規則に従って前記適切なフレームに置かれてもよい。例えば、全ビデオシーケンスに対し基準フレームから全てのＡ領域を選択すると決めることができる。

さらに、各Ａ領域に対するピクセル値もＨフレームにおける対応する領域からのピクセル値と結合される。本発明によれば、これらピクセルの結合は、加算又は減算の一方により行われる。例えば、後方予測が復号器側且つ基準フレームから生じたＡ領域において用いられる場合、減算が好ましい。代わりに、後方予測が符号器側且つソースフレームから生じたＡ領域において用いられる場合、加算が好ましい。このＡ領域をＨフレームにおける領域と結合することで得られる値の各々は次いで、前記適切な再構成されたフレームに置かれる。

本発明によるフィルタリングされた領域及びフィルタリングされない領域の両方を備えるＬフレームを生成する動き補償された時間フィルタリングを利用して、ウェーブレットベースの符号化が実施されるシステムの一例が図６に示される。例として、このシステムはテレビジョン、セットトップボックス、デスクトップ、ラップトップ又はパームトップコンピュータ、ＰＤＡ、例えばＶＣＲ、ＤＶＲ、ＴｉＶＯ装置等のようなビデオ／画像記憶装置、並びにこれら及び他の装置の一部又は組み合わせたものを表す。このシステムは、１つ以上のビデオソース２６、１つ以上の入力／出力装置３４、プロセッサ２８、メモリ３０及びディスプレイ装置３６を含む。

ビデオ／画像ソース２６は、例えばテレビジョン受信器、ＶＣＲ又は他のビデオ／画像記憶装置を表す。このソース２６は代わりに、インターネット、ＷＡＮ、ＭＡＮ(metropolitan area network)、ＬＡＮ、地上波放送システム、ケーブルネットワーク、衛生ネットワーク、無線ネットワーク又は電話ネットワーク並びにこれら及び他の形式のネットワークの一部又は組み合わせたものである広域コンピュータ通信ネットワークを介してサーバからビデオを入力するための１つ以上のネットワーク接続を表す。

入力／出力装置３４、プロセッサ２８及びメモリ３０は、通信媒体３２を介して通信する。この通信媒体３２は例えばバス、通信ネットワーク、回路、回路カード又は他の装置の１つ以上の内部接続、並びにこれら及び他の通信媒体の一部及び組み合わせたものを表す。ソース２６からの入力ビデオデータは、ディスプレイ装置３６に供給される出力ビデオ／画像を生成するために、メモリ３０に記憶され、プロセッサ２８により実行される１つ以上のソフトウェアプログラムに従い処理される。

特に、メモリ３０に記憶されるソフトウェアプログラムは、図３及び図５に関して前述されたように、ウェーブレットベースの符号化を含んでいる。本実施例において、このウェーブレットベースの符号化は、前記システムにより実行されるコンピュータ読み取り可能コードにより実施される。このコードはメモリ３０に記憶されるか、又はＣＤ−ＲＯＭ若しくはフロッピーディスク（登録商標）のような記憶媒体から読み取り／ダウンロードされてよい。他の実施例において、ハードウェア回路は、本発明を実施するソフトウェア命令の代わりに又は組み合わせて使用されてよい。

本発明が特定の実施例に関して上述した一方、本発明がここで開示された実施例に限定される又は制限されることを意図していないと理解されるべきである。それ故に、本発明は、請求項における意図及び範囲内に含まれる様々な構造及びこれら構造の変形を含むことを意味する。

既知の動き補償された時間フィルタリング技術の態様を説明する図。 本発明による時間フィルタリングの実施例を説明する図。 本発明による符号化器の実施例を説明するブロック図。 ２Ｄウェーブレット変換の実施例を説明するブロック図。 本発明による復号器の実施例。 本発明によるシステムの実施例。

Claims (21)

1. ビデオを符号化する方法において、
   −第１のフレームにおける第１の領域を第２のフレームにおける第２の領域にマッチングさせるステップと、
   −前記第１の領域のピクセル値と前記第２の領域のピクセル値との間の差異を含む第１の部分的に符号化されたフレームを生成するステップと、
   −前記第１の領域又は前記第２の領域のどちらか一方のピクセル値を含む第２の部分的に符号化されたフレームを生成するステップと、
   −前記第１及び前記第２の部分的に符号化されたフレームをウェーブレット係数に変換するステップと、
   を有する方法。
2. 有意情報に従って前記ウェーブレット係数を符号化するステップをさらに有する請求項１に記載の方法。
3. 前記ウェーブレット係数をエントロピー符号化するステップをさらに有する請求項１に記載の方法。
4. 前記第１の領域のピクセル値と前記第２の領域のピクセル値との間の前記差異をスケーリング因子により乗算するステップをさらに有する請求項１に記載の方法。
5. 前記第１の領域又は前記第２の領域のどちらか一方の前記ピクセル値をスケーリング因子により乗算するステップをさらに有する請求項１に記載の方法。
6. 請求項１に記載の方法において、
   −前記第１のフレームにおける第３の領域を前記第２のフレームにおける第４の領域にマッチングさせるステップと、
   −前記第３及び前記第４の領域のピクセル値の平均を前記第２の部分的に符号化されたフレームに含むステップと、
   をさらに有する方法。
7. 前記第３及び前記第４の領域のピクセル値の前記平均をスケーリング因子により乗算するステップをさらに有する請求項６に記載の方法。
8. 前記第１又は前記第２の領域のどちらか一方のピクセル値を含む前記第２の部分的に符号化されたフレームを生成するステップは、マッチング表示の質が既定のしきい値よりも大きい場合に行われる請求項１に記載の方法。
9. 前記第１又は前記第２の領域のどちらか一方のピクセル値を含む前記第２の部分的に符号化されたフレームを生成するステップは、前記第２の部分的に復号されたフレームを符号化するためのビット数が、前記第１及び前記第２の領域のピクセル値の平均が前記第２の部分的に符号化されたフレームに含まれる場合よりも少ないとき行われる請求項１に記載の方法。
10. ビデオを符号化するコードを含む記憶媒体において、前記コードは、
    −第１のフレームにおける第１の領域を第２のフレームにおける第２の領域にマッチングさせるコードと、
    −前記第１の領域のピクセル値と前記第２の領域のピクセル値との間の差異を含む第１の部分的に符号化されたフレームを生成するコードと、
    −前記第１の領域又は前記第２の領域のどちらか一方のピクセル値を含む第２の部分的に符号化されたフレームを生成するコードと、
    −前記第１及び前記第２の部分的に符号化されたフレームをウェーブレット係数に変換するコードと、
    を有する記憶媒体。
11. ビデオを符号化する装置において、
    −第１のフレームにおける第１の領域を第２のフレームにおける第２の領域にマッチングさせる動き推定ユニットと、
    −前記第１の領域のピクセル値と前記第２の領域のピクセル値との間の差異を含む第１の部分的に符号化されるフレーム、及び前記第１又は前記第２の領域のどちらか一方のピクセル値を含む第２の部分的に符号化されるフレームを生成する時間フィルタリングユニットと、
    −前記第１及び前記第２の部分的に符号化されるフレームをウェーブレット係数に変換する空間分解ユニットと、
    を有する装置。
12. ビットストリームを復号する方法において、
    −前記ビットストリームをエントロピー復号して、ウェーブレット係数を生成するステップと、
    −前記ウェーブレット係数をフィルタリングされた領域を含む第１の部分的に復号されるフレーム、及びフィルタリングされない領域を含む第２の部分的に復号されるフレームに変換するステップと、
    −前記フィルタリングされた領域及び前記フィルタリングされない領域のピクセル値を合わせて含む第１のフレームを生成するステップと、
    −前記フィルタリングされない領域の前記ピクセル値を含む第２のフレームを生成するステップと、
    を有する方法。
13. スケーリング因子により前記フィルタリングされた領域を分割するステップをさらに有する請求項１２に記載の方法。
14. スケーリング因子により前記フィルタリングされない領域を分割するステップをさらに有する請求項１２に記載の方法。
15. 前記フィルタリングされた領域及び前記フィルタリングされない領域のピクセル値は、減算することにより結合される請求項１２に記載の方法。
16. 前記フィルタリングされた領域及び前記フィルタリングされない領域のピクセル値は、加算することにより結合される請求項１２に記載の方法。
17. 前記フィルタリングされない領域は、２つのマッチングした領域のうち一方の領域のピクセル値を含んでいる請求項１２に記載の方法。
18. 前記フィルタリングされた領域は、２つのマッチングした領域からのピクセル値の差異を含んでいる請求項１２に記載の方法。
19. 有意情報に従って前記ウェーブレット係数を復号するステップをさらに有する請求項１２に記載の方法。
20. ビットストリームを復号する装置において、
    −前記ビットストリームをウェーブレット係数に復号するエントロピー復号ユニットと、
    −前記ウェーブレット係数をフィルタリングされた領域を含む第１の部分的に復号されるフレーム、及びフィルタリングされない領域を含む第２の部分的に復号されるフレームに変換する空間再構成ユニットと、
    −前記フィルタリングされる領域及び前記フィルタリングされない領域の前記ピクセル値を合わせて含む第１のフレーム、及び前記フィルタリングされない領域の前記ピクセル値を含む第２のフレームを生成する逆の時間フィルタリングユニットと、
    を有する装置。
21. ビットストリームを復号するコードを含む記憶媒体において、前記コードは、
    −前記ビットストリームをエントロピー復号し、ウェーブレット係数を生成するコードと、
    −前記ウェーブレット係数をフィルタリングされた領域を含む第１の部分的に復号されたフレーム、及びフィルタリングされない領域を含む第２の部分的に復号されたフレームに変換するコードと、
    −前記フィルタリングされた領域及び前記フィルタリングされない領域の前記ピクセル値を合わせて含む第１のフレームを生成するコードと、
    −前記フィルタリングされない領域の前記ピクセル値を含む第２のフレームを生成するコードと、
    を有する記憶媒体。

Images