JP2007535834A - 空間的及び時間的スケーラビリティを以て符号化された画像シーケンスの符号化及び復号化の方法 - Google Patents

Abstract

動き補償時間フィルタリングの動作の間、前記動き情報の使用のために選択される分解能と使用される補間フィルタの複雑度が、復号化のシナリオに、すなわち、空間及び時間分解能と復号化のために選択したビットレート、又は相応する時間分解レベル、又はこれらのパラメータの組合せに依存するようにしたことを特徴とする方法。
上記方法の使用は、インターネットを介したビデオ電話又はビデオ伝送の分野における「スケーラブル」として知られるビデオコーダ／デコーダに関係する。

Description

本発明は、動き補償時間フィルタリングを利用した階層的な時間分解による、空間的及び時間的スケーラビリティを以て符号化された画像シーケンスのビデオ符号化及び復号化の方法に関するものである。

本発明の範囲は、「スケーラブル」として知られる空間的及び／又は時間的スケーラビリティダイアグラムに基づいたビデオ圧縮である。それは、例えば、動き補償時間フィルタリングを含んだ２Ｄ＋ｔウェーブレット符号化に関係している。

図１には、スケーラブル符号化・抽出・復号化システムが示されている。

ソース画像がスケーラブルビデオ符号化回路１に送られる。得られた原ビットストリームは抽出器２により処理され、抽出されたビットストリームが得られる。このビットストリームは復号化回路３により復号化され、復号化回路３はこの復号化されたビデオを出力側に供給する。

スケーラビリティにより原ビットストリームの生成が可能になり、この原ビットストリームからは、フロー、空間分解能、時間周波数などの一連のデータに適合したバイナリサブストリームを抽出することができる。例えば、スケーラブルな原ビットストリームが何らのビットストリーム制限もなしに２５Ｈｚ、７２０×４８０ピクセルの分解能のビデオシーケンスから生成された場合、このビットストリームから適切なデータを抽出した後に、例えば、１Ｍｂ／ｓ、１２．５Ｈｚのパラメータを有する３６０×２４０ピクセルの分解能のそれ自体スケーラブルなサブビットストリームを得ることができる。

スケーラブルなビデオ圧縮に対する既存のアプローチでは、符号化と復号化は、時間分解レベル、ビットレート、復号化されたビデオの空間分解能のような動作条件を考慮せずに同様に進行する。特に、復号化が画像間の動き補償を伴っている場合には、この補償は、画像のサイズ又は復号化されるべきビデオのビットレートを考慮せずに、同様に適用される。その結果、特に画像の分解能が動き補償に使用される補間フィルタのサイズに比べて小さくなる場合には、画質が低下してしまう。

本発明の課題は上記の不利点を克服することである。

本発明の目的の１つは、動き情報を含んだ空間的及び時間的スケーラビリティを以て符号化された画像シーケンスを復号化する方法であって、ある周波数分解レベルの画像の動き補償時間フィルタリング、すなわち、ＭＣＴＦを実行して、より低い分解レベルの画像を供給する階層的な時間統合ステップを有している形式の方法において、動き補償時間フィルタリングの動作の間、前記動き情報の使用のために選択される分解能と使用される補間フィルタの複雑度が、復号化のシナリオに、すなわち、空間及び時間分解能と復号化のために選択したビットレート、又は相応する時間分解レベル、又はこれらのパラメータの組合せに、依存するようにしたことを特徴とするものである。

１つの実施形態によれば、動き補償に使用される前記補間フィルタの係数の個数が前記復号化シナリオ又は前記時間分解レベルに依存する。

１つの実施形態によれば、前記階層的時間統合ステップは動き補償フィルタリングを用いたウェーブレット係数の復号化である。

本発明はまた、所与の空間分解能を有する画像シーケンスを空間的及び時間的スケーラビリティを以て符号化する方法であって、画像間の動き情報からある周波数分解レベルの画像の動き補償時間フィルタリングを実行して、より高い分解レベルの画像を供給する階層的な時間分解ステップを有している形式の方法において、動き補償時間フィルタリングの動作の間、前記動き情報の使用のために選択される分解能と使用される補間フィルタの複雑度が、ソース画像の前記空間分解能又は相応する時間分解レベルに依存するようにしたことを特徴とするものにも関している。

１つの実施形態によれば、この方法は前記動き補償を行うために、所与の分解レベルの２つの画像の間で計算される動き推定ステップを有しており、該動き推定の計算の精度は時間分解レベル又はソース画像の前記空間分解能に依存する。

前記時間分解ステップは、例えば、動き補償フィルタリングを用いたウェーブレット符号化である。

本発明はまた、動き補償のために時間分解回路により使用される補間フィルタをソース画像の前記空間分解能又は相応する時間分解レベルに依存して決定する動きコンフィギュレーション選択回路を有していることを特徴とする上記復号化方法を実施するためのデコーダにも関している。

本発明はまた、動き補償のために時間分解回路により使用される補間フィルタをソース画像の前記空間分解能又は相応する時間分解レベルに依存して決定する動きコンフィギュレーション選択回路を有していることを特徴とする上記符号化方法を実施するためのコーダにも関している。

１つの実施形態によれば、前記コーダは、動き推定回路により計算される動きの精度をソース画像の前記空間分解能又は相応する時間分解レベルに依存して決定する動きコンフィギュレーション選択回路を有していることを特徴とする。

動きの精度と、符号化及び復号化のプロセスにおいて動き補償のために使用される補間フィルタは、処理を実行する際の時間分解レベルのような種々のパラメータにしたがって適応させられる。これらのフィルタは、復号化のために、復号化されたフローのビットレート、復号化されたビデオの空間的又は時間的分解能に適応させられる。この適応動き補償のおかげで、画質が改善され、処理動作の計算量が低減される。

他の特徴及び利点は以下の説明からより明らかとなる。以下の説明は非限定的な例として提供されるものであり、添付した図面を参照している。添付図面のうち、
図１は、従来技術による符号化システムを示しており、
図２は、簡略化された符号化ダイアグラムを示しており、
図３は、ＧＯＰの時間フィルタリングを示しており、
図４は、２つの画像での時間フィルタリングを示しており、
図５は、復号化回路を示しており、
図６は、動きのコンフィギュレーションを選択するためのフローチャートを示しており、
図７は、動きのコンフィギュレーションを選択するための第２のフローチャートを示している。

我々は動きの軌跡に沿ってウェーブレット分解／統合を操作する２Ｄ＋ｔウェーブレットに基づいた符号化／復号化ダイアグラムを考察する。システムは画像のグループ、すなわち、ＧＯＰに対して作用する。

コーダの全体的なアーキテクチャは図２に示されている。

ソース画像は時間分解回路４に送られ、時間分解回路４は、異なる時間周波数帯域を得るために、動き補償時間分解、すなわち、ＭＣＴＦを行う。ここで、ＭＣＴＦはmotion compensation temporal filteringの頭字語である。画像は動きフィールドを計算する動き推定回路７に送られる。これらのフィールドは「剪定」回路１０に送られ、「剪定」回路１０は、動きのコストを制御するために、動き推定回路により計算された動き情報の「剪定」又は単純化を実行する。このようにして単純化された動きフィールドは、分解フィルタを決定するために、時間分解回路１１へと送られる。これらの動きフィールドは単純化された動きフィールドを符号化する符号化回路１１にも送られる。

時間分解の結果として得られた画像は空間分解回路５に送られ、空間分解回路５は、時間分解により得られた低帯域幅画像と高帯域幅画像のサブバンド符号化を行う。このようにして得られた空間・時間ウェーブレット係数は最終的にエントロピーコーダ６により符号化される。このコーダは、層を成すスケーラビリティの階層と、画質と空間及び時間分解能とに応じて、一連のバイナリパケットを出力側に供給する。パケッタイザー１２はこれらのバイナリバケットを符号化回路１１からの動きデータと融合し、最終的なスケーラブルビットストリームを供給する。

時間分解回路４により、異なる時間分解レベルにある画像が、第１の動きコンフィギュレーション選択回路を内蔵した動き推定回路７に送られる。図示されていないこの第１の動きコンフィギュレーション選択回路は、画像の異なる分解レベルに応じて、動き推定回路の動作条件を規定する。選択肢として、剪定回路１０を介していったん単純化された動き情報を、モードスイッチング回路９を通して時間分解回路に送るようにしてもよい。この回路は、例えば、所与の分解レベルにおいて現在画像と前画像との間で連結しているピクセルの個数をテストすることにより動き推定の品質をテストするために使用され、この動き品質が不十分な場合には、時間分解回路にイントラモード符号化、又は予測モード符号化、すなわち、前画像ではなく後続画像による現在画像のフィルタリングを課すことができる。イントラモードと予測モードとの間での選択は、例えば、現在画像と後続画像との間の動き推定の品質に依存する。時間分解回路は、画像の分解レベル及び／又はソース画像の空間分解能に応じて、この時間分解で使用される動き補償に採用するコンフィギュレーションを決定する第２の動きコンフィギュレーション選択回路を有している。この第２の動きコンフィギュレーション選択回路も図示されていない。

図３は、時間分析回路４により実行されるＧＯＰに対する４段階の分解による動き補償時間フィルタリング動作を概略的に示したものである。この例では、ＧＯＰは太線で示された１６の画像から成っている。

使用されるフィルタリングモードは「リフティング」と呼ばれる。非常に長い線形フィルタを用いたウェーブレット符号化のための複雑なフィルタリングを使用する代わりに、我々の例では、フィルタリングは１６の画像から成るグループに対して実行される。このフィルタリング法の要点は、周知のように、限られた長さの複数のフィルタでフィルタを「因数分解」することにある。例えば、サンプルを２×２でフィルタリングすることが決定された場合には、長さ２のフィルタで「因数分解」する。このフィルタリングはそれぞれの分解レベルごとに更新される。したがって、画像の対に対して動きの方向にフィルタリングを実行する場合を考察する。ＧＯＰの各対に対する低周波数及び高周波数フィルタリングは、第１の時間分解レベルにおいて、それぞれ８つの低時間周波数画像（ｔ−Ｌ）と８つの高時間周波数画像（ｔ−Ｈ）を形成する。

そして、低時間周波数画像は再び同じ方法にしたがって分解される。これらの画像をローパスフィルタリングすることにより４つの新たな低時間周波数画像ｔ−ＬＬが得られ、これらの同じ画像をハイパスフィルタリングすることにより４つの高時間周波数画像ｔ−ＬＨが得られる。第３の分解レベルは２つの低時間周波数画像ｔ−ＬＬＬと２つの高時間周波数画像ｔ−ＬＬＨを提供する。第４の最終レベルは１つの低時間周波数画像ｔ−ＬＬＬＬと１つの高時間周波数画像ｔ−ＬＬＬＨを提供する。

この時間分解は５バンド時間分解であり、したがって、１６の画像から成るＧＯＰにつき、１つのｔ−ＬＬＬＬ画像と、１つのｔ−ＬＬＬＨ画像と、２つのｔ−ＬＬＨ画像と、４つのｔ−ＬＨ画像と、８つのｔ−Ｈ画像を生成する。ｔ−Ｌ，ｔ−ＬＬ，ｔ−ＬＬＬ画像、そして、もちろん原画像も、ダウンストリームコーディングでは無視される。というのも、これらの画像は、各レベルにおいて無相関の画像を提供するためにサブバンドへの分解の原点にあるからである。したがって、この分解は、ＧＯＰの集合の平均を表し且つエネルギーの集中する低時間周波数の有効画像ｔ−ＬＬＬＬと４つのレベルの低エネルギー高時間周波数画像、すなわち、５つの周波数帯域、を生成することにより新たなエネルギー分布を可能にする。サブバンドへの空間分解のために空間分解回路へ送られるのはこれらの画像である。

フィルタリングを実行するため、各レベルについて、フィルタリングすべき画像の各対の間で動きフィールドが推定される。これは動き推定器７の機能である。

ソース画像ＡとＢの対のフィルタリングは、デフォルトでは、以下の式にしたがって低時間周波数画像Ｌと高時間周波数画像Ｈを生成することからなる：

ここで、ＭＣ（ｌ）は動き補償画像ｌに相当する。

和はローパスフィルタリングに関係しており、差はハイパスフィルタリングに関係している。

図４は、２つの連続する画像ＡとＢの時間フィルタリングを簡単に示したものである。ここで、画像Ａは時間軸及び表示順序において最初の画像であり、低周波数画像Ｌと高周波数画像Ｈを与える。

動き推定は、基準画像に関して、現在画像から基準画像へと行われる。現在画像の各ピクセルについて、相応するピクセルが基準画像内に存在しているならば、この相応するピクセルに関する探索が行われ、相応する動きベクトルがこのピクセルに割り当てられる。この場合、基準画像のピクセルは連結されていると言われる。

画像Ｌを得るには画像Ａの動き補償が必要である。この補償は、画像Ａを基準画像として、画像Ａに対する画像Ｂの動き推定により行われる。このようにして、動きと、したがってまたベクトルが、画像Ｂの各ピクセルに割り当てられる。Ｌのピクセルの値は、最も近い形状ファクターにおいては、画像Ｂの相応するピクセルの輝度と画像Ｂの相応するピクセルに割り当てられた動きベクトルにより指されるＡのピクセル又はサブピクセルの輝度との和に等しい。このベクトルが画像Ａのピクセルを指していない場合には、補間が必要である。これは過去の基準画像からの順方向予測と、ＭＰＥＧ規格に準拠した順方向ベクトルの計算とに関係している。

画像Ｈを得るには画像Ｂの動き補償が必要である。この補償は、画像Ｂを基準画像として、画像Ｂに対する画像Ａの動き推定により行われる。このようにして、動きと、したがってまたベクトルが、画像Ａの各ピクセルに割り当てられる。Ｈのピクセルの値は、最も近い形状ファクターにおいては、画像Ａの相応するピクセルの輝度と画像Ａの相応するピクセルに割り当てられた動きベクトルにより指されるＢのピクセル又はサブピクセルの輝度との和に等しい。このベクトルが画像Ｂのピクセルを指していない場合には、補間が必要である。これは将来の基準画像からの逆方向予測と、ＭＰＥＧ規格に準拠した逆方向ベクトルの計算とに関係している。

実際的には、ＡからＢへの又はＢからＡへの一方の動きベクトルフィールだけが計算される。他方の動きフィールドは第１の動きベクトルフィールドから導出され、非連結ピクセル、すなわち、動きベクトルが割り当てられておらず、逆方向動きベクトルフィールド内の穴に相当するピクセルを形成する。

実際的には、低周波数画像と高周波数画像は次のように計算される：

既に説明したフィルタリングと等価なこのフィルタリングの要点は、最初に画像Ｈを計算することにある。この画像は画像Ｂと動き補償画像Ａの点対点での差から得られる。したがって、画像Ａ内の変位ベクトルによって指された画像Ｂのピクセルから或る値が差し引かれる、必要ならば、補間される。なお、上記の動きベクトルは画像Ｂから画像Ａへの動き推定の間に計算されたものである。

つぎに、逆方向に動き補償された画像Ｈに画像Ａを加算することにより、画像Ｌはもはや画像Ｂからでなく画像Ｈから導出される。ＭＣ_A←B ^-1（Ｈ）は画像（Ｈ）の動き「補償解除」に相当する。したがって、ＢからＡへ向かい且つＡのピクセルを指す変位ベクトルに基づいて、画像Ｈ内に位置する或る値が、必要ならば補間されて、Ａのピクセルに、より詳細には、ピクセルの輝度の規格化された値に、加算される。

同じ理屈がピクセルレベルの代わりに画像ブロックレベルでも当てはまる。

動き推定回路７は、例えば、ブロックマッチングによる動き推定アルゴリズムを実行する。現在ブロック画像と基準画像内の探索窓のブロックとの相関がとられ、最も相関の良い動きベクトルが求められる。この探索はピクセルの連続的な水平及び垂直変位により得られる探索窓のブロック上だけでなく、要求される精度が１ピクセル未満である場合には、補間されたブロック上でも行われる。この補間の要点は、２つのピクセルの間の距離に満たない値の連続的変位により得られる画像ブロックを生成するために、サブピクセルの輝度値を計算することにある。例えば、１／４ピクセルの精度の場合には、相関テストが水平方向及び垂直方向に対して１／４ピクセルごとに行われる。この補間は動き推定補間フィルタと呼ばれるフィルタを使用する。

動き補償時間フィルタリングを施すべき画像は、２つの画像の間の動きを推定できるように動き推定器７に送られる。この回路は第１の動きコンフィギュレーション選択回路を有しており、この第１の動きコンフィギュレーション選択回路は、画像の分解レベル情報に加えて、ソース画像の空間分解能のような他の情報も受け取る。この回路はこのレベル及び／又は空間分解能に応じて動きのコンフィギュレーションを決定する。したがって、例えば、動き値の計算における精度は処理される画像の時間分解レベルに依存する。この精度は分解レベルが大きいだけにますます低くなる。動き推定器の補間フィルタは動きの精度に適応するように構成されている。コンフィギュレーションの例を以下に示す。

時間分解回路４は、上に示したように、画像の時間フィルタリングのための動き補償を実現する。これらの動き補償動作は、各分解レベルについて、補間フィルタを用いた補間動作を必要とする。この時間分解回路の第２の動きコンフィギュレーション選択回路は、動き補償すべき画像の時間分解レベルに応じて動きの精度と動き補償のための補間フィルタの複雑度を適応させる処理アルゴリズムを実施する。なお、この第２の動きコンフィギュレーション選択回路は第１の動きコンフィギュレーション選択回路とは異なっていてもよい。第１の動きコンフィギュレーション選択回路に関しては、これらの異なる適応又はコンフィギュレーションは処理されるソース画像の空間分解能にも依存することがある。

もちろん、これらのコンフィギュレーション選択回路の一方のみを内蔵したコーダは本発明の範囲内にある。

本発明によるデコーダは図５に示されている。デコーダが受け取ったバイナリフローは、コーダのエントロピー符号化回路の逆演算を行うエントロピー復号化回路１３の入力側に伝送される。とりわけ、デコーダは、空間・時間ウェーブレット係数と、必要ならば、符号化モードを復号化する。このバイナリフローは並列して動き復号化回路１４の入力側に送られる。動き復号化回路１４はバイナリフローの受け取った動きフィールドを復号化し、時間統合回路に送る。エントロピー復号化回路１３は、異なる時間サブバンドに対応する画像を再構成する空間統合回路１５に接続されている。空間統合回路からの時間ウェーブレット係数は、時間統合フィルタから出力画像を再構成する時間統合回路１６に送られる。時間統合回路は図示されていない動きコンフィギュレーション選択回路を含んでいる。この動きコンフィギュレーション選択回路は、復号化条件及び／又は画像分解レベルに応じて、この時間統合で使用される動き補償に採用すべきコンフィギュレーションを決定する。時間統合回路は事後処理回路１７に接続されており、事後処理回路１７の出力側がデコーダの出力側である。事後処理回路１７は、例えば、ブロック効果のようなアーチファクトの低減を可能にするフィルタリングに関与している。

コーダがＭＣＴＦモード以外の他の符号化モード、例えば、イントラモードや予測モード、を使用する場合には、エントロピー復号化回路からこの符号化モード情報を受け取り、この符号化モード情報を後にフィルタスイッチを実行する時間統合回路１６に送るために、時間フィルタスイッチモードが使用される。

動きコンフィギュレーション選択回路は、ビットレートと空間及び時間分解能の情報、ならびに、時間分解レベルを受け取る。これらの情報又はこれらの情報のうちの１つから、動きコンフィギュレーション選択回路は時間統合のために動き補償のコンフィギュレーションを選択する。時間統合回路はこの選択されたコンフィギュレーションに応じて補間フィルタを適応させる。

デコーダが受け取ったバイナリフローのビットレートは抽出されたビットストリームに対応している。上で見たように、スケーラブルコーダは一般に原ビットストリームである最も高いビットレートを送り、デコーダにより制御することのできる抽出器が必要な分解能に対応するビットストリームを抽出する。受け取ったビットレート情報はデコーダで使用可能である。

空間分解能、時間分解能、及びビットレートの情報が復号化シナリオを決定する。このシナリオは、例えば、デコーダによって使用されるディスプレイ、データ受信に使用することのできるビットレートに依存する。補間フィルタに関して時間統合回路のコンフィギュレーションが行われるのは、この情報及び／又は時間分解レベルからである。

コーダの動き推定動作又はコーダもしくはデコーダにおける動き補償動作に関して、動きの精度とこの精度に依存する補間フィルタの適応の一例を以下に示す。

コンフィギュレーションフィルタ２は、ＭＰＥＧ４パート１０規格（ITU-T Rec. H.264 ISO/IEC 14496-10 AVC参照）で使用されるフィルタと非常に似ている。

図６は、時間分解回路に属する動きコンフィギュレーション選択回路により実施される決定フローチャートを示したものである。

ステップ２０は、コーダに供給されたソース画像の分解能が、１７６ピクセル、１２０ラインに相当するＱＣＩＦフォーマット、英語では、Quarter Common Intermediate Format、の分解能よりも低いか否かを判定する。判定が肯定的である場合には、次のステップはステップ２３であり、コンフィギュレーション１に決定される。

判定が否定的でれば、次のステップは時間分解レベルを調べるステップ２１である。このレベルが厳密に２よりも大きい場合には、次のステップはステップ２３であり、コンフィギュレーション１が選択される。そうでなければ、次のステップはステップ２２であり、コンフィギュレーション２に決定される。

図７は、デコーダのための決定フローチャートを示したものである。

ステップ２４は、デコーダに供給された抽出されたバイナリフローに相応する画像の分解能が、１７６ピクセル、１２０ラインに相当するＱＣＩＦフォーマットの分解能よりも低いか否かを判定する。判定が肯定的であれば、次のステップはコンフィギュレーション１を選択するステップ２６である。

判定が否定的であれば、次のステップは時間分解レベルを調べるステップ２５である。このレベルが厳密に２よりも大きい場合には、次のステップはステップ２６であり、コンフィギュレーション１が使用される。そうでなければ、次のステップはステップ２７である。このステップ２７は、復号化すべき画像の分解能が、７２０ピクセル、４８０ラインのＳＤフォーマット、英語では、Standard Definitionフォーマット、の分解能に等しいか否か、またバイナリフローのビットレートが１．５Ｍｂ／ｓよりも低いか否かを判定する。判定が肯定的であれば、次のステップはステップ２６であり、コンフィギュレーション１に決定される。

判定が否定的であれば、ステップ２８が次のステップである。このステップ２８は、復号化すべき画像の分解能が、３５２ピクセル、２４０ラインのＣＩＦフォーマットの分解能に等しいか否か、またビットレートが７００ｋｂｉｔｓ／ｓよりも低いか否かを判定する。判定が肯定的であれば、次のステップはステップ２６であり、コンフィギュレーション１が課される。

判定が否定的であれば、時間フィルタリング回路にコンフィギュレーション２が課される。

補間フィルタは例えば８係数ＦＩＲタイプのフィルタである。ここで、ＦＩＲはFinite Impulse Responseの頭字語である。フィルタリングは畳み込みにより行われる。したがって、計算すべきサブピクセルの前後４ピクセルの輝度が考慮される。

サブピクセルｓの１／４，１／２，及び３／４における異なる位置に対して、上記タイプの３つの異なる補間フィルタを使用してもよい。係数ｎの値は次の式により与えられる：

ｓはサブピクセル位置であり、ｓ＝１／４，１／２，又は３／４、ｎは係数の番号であり、ｈ（ｍ）はハミング窓の減衰フィルタである。

ＦＩＲフィルタはハミング窓による重み付けとこれら重み付けされたフィルタの打切りにより導出することができる。

ｓ＝１／４の場合、係数は：
［-0.0110 0.0452 -0.1437 0.8950 0.2777 -0.0812 0.0233 -0.0053］
ｓ＝１／２の場合、係数は：
［-0.0053 0.0233 -0.0812 0.2777 0.8950 -0.1437 0.0452 -0.0110］
ｓ＝３／４の場合、係数は：
［-0.0105 0.0465 -0.1525 0.6165 0.6165 -0.1525 0.0465 -0.0105］
これらのフィルタを用いれば、１ピクセルの１／４，１／２，及び３／４に補間することができる。補間はまず水平次元に沿って、続いて垂直次元に沿って行われる。次に、１ピクセルの１／８への補間が１ピクセルの１／４の位置からの双線形補間によって行われる。

コーダのレベルで為される上記の適応の例はデコーダのレベルでも同様に適用することができる。

一般に、小サイズの画像を限られた画質で、すなわち、低ビットレートで、かつ、高い時間分解レベルで処理する場合には、限られた動き精度と単純な補間フィルタを使用することが原則である。逆に、高画質、高空間分解能、高ビットレート、低時間分解率で処理する場合には、高い動き精度と洗練された補間フィルタを使用する。この原則の根拠は、フィルタリングすべき画像の周波数内容が乏しい、又は分解能が限られている場合、高度に進化した補間フィルタ又は非常に高い動き精度を用いるのが有効であることにある。

本発明の使用は、例えば、インターネットを介したビデオ電話又はビデオ伝送の分野におけるデータ圧縮／伸長に使用される「スケーラブル」として知られるビデオコーダ／デコーダに関係している。

従来技術による符号化システムを示す。 簡略化された符号化ダイアグラムを示す。 ＧＯＰの時間フィルタリングを示す。 ２つの画像での時間フィルタリングを示す。 復号化回路を示す。 動きのコンフィギュレーションを選択するためのフローチャートを示す。 動きのコンフィギュレーションを選択するための第２のフローチャートを示す。

Claims (9)

1. 動き情報を含んだ空間的及び時間的スケーラビリティを以て符号化された画像シーケンスを復号化する方法であって、前記動き情報から或る周波数分解レベルの画像の動き補償時間フィルタリング、すなわち、ＭＣＴＦを実行して、より低い分解レベルの画像を供給する階層的な時間統合ステップ（１６）を有している形式の方法において、
   動き補償時間フィルタリングの動作の間、前記動き情報の使用のために選択される分解能と使用される補間フィルタの複雑度が、復号化のシナリオに、すなわち、空間及び時間分解能と復号化のために選択したビットレート、又は相応する時間分解レベル、又はこれらのパラメータの組合せに、依存するようにしたことを特徴とする、空間的及び時間的スケーラビリティを以て符号化された画像シーケンスを復号化する方法。
2. 動き補償に使用される前記補間フィルタ（１６）の係数の個数が前記復号化シナリオ又は前記時間分解レベルに依存する、請求項１記載の方法。
3. 前記階層的時間統合ステップ（１６）は動き補償フィルタリングを用いたウェーブレット係数の復号化である、請求項１記載の方法。
4. 所与の空間分解能を有する画像シーケンスを空間的及び時間的スケーラビリティを以て符号化する方法であって、画像間の動き情報（７）から或る周波数分解レベルの画像の動き補償時間フィルタリングを実行して、より高い分解レベルの画像を供給する階層的な時間分解ステップ（４）を有している形式の方法において、
   動き補償時間フィルタリング（４）の動作の間、前記動き情報の使用のために選択される分解能と使用される補間フィルタ（９）の複雑度が、ソース画像の前記空間分解能又は相応する時間分解レベルに依存するようにしたことを特徴とする、画像シーケンスを空間的及び時間的スケーラビリティを以て符号化する方法。
5. 前記動き補償（４）を行うために、所与の分解レベルの２つの画像の間で計算される動き推定ステップ（７）を有しており、該動き推定（７）の計算の精度は時間分解レベル又はソース画像の前記空間分解能に依存する、請求項４記載の方法。
6. 前記階層的時間分解ステップ（４）は動き補償フィルタリングを用いたウェーブレット符号化である、請求項４記載の方法。
7. 請求項１に記載の方法を実施するためのデコーダであって、
   動き分解能と、動き補償フィルタリングのために動き補償の際に使用される補間フィルタ（１６）を、復号化シナリオ、すなわち、空間及び時間分解能と復号化のために選択したビットレート、又は相応する時間分解レベル、又はこれらのパラメータの組合せに依存して決定する動きコンフィギュレーション選択回路（１６）を有していることを特徴とするデコーダ。
8. 請求項４に記載の方法を実施するためのコーダであって、
   動き補償（４）のために時間分解回路により使用される補間フィルタをソース画像の前記空間分解能又は相応する時間分解レベルに依存して決定する動きコンフィギュレーション選択回路（４）を有していることを特徴とするコーダ。
9. 請求項４に記載の方法を実施するためのコーダであって、
   動き推定回路（７）により計算される動きの精度をソース画像の前記空間分解能又は相応する時間分解レベルに依存して決定する動きコンフィギュレーション選択回路（７）を有していることを特徴とするコーダ。

Images