JP2005513925A

JP2005513925A - ビデオ符号化及び復号化方法及び装置

Info

Publication number: JP2005513925A
Application number: JP2003555814A
Authority: JP
Inventors: ボットレアウ　ヴィンセント; マリオンベネティエレ
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-12-20
Filing date: 2002-12-09
Publication date: 2005-05-12
Also published as: WO2003055224A1; EP1461956A1; KR20040068963A; US20050069212A1; AU2002366825A1; CN1606880A

Abstract

本発明は、フレームの群（ＧＯＦ）に分割されたビデオシーケンスの圧縮のための符号化方法に関し、ここで各フレームの群は３次元（３Ｄ）ウェーブレット変換によって分解され、当該ウェーブレット変換は各分解レベルにおいて連続的に、動き補償ステップ、時間フィルタリングステップ及び空間分解ステップを有する。前記動き補償は、符号化され、関連する空間分解レベルの符号化されたテクスチャ情報と共にかつ該情報の直前に前記符号化されたビットストリーム中に配置される動きベクトルに導く動き推定に基づく。前記動きベクトルの符号化動作は最低の空間分解能で実行され、他の空間分解能のそれぞれにおける前記動きベクトルのリファインメントビットのみが、リファインメントビットプレーン毎に符号化されたビットストリーム中に配置される。それぞれ前記ビットプレーンの末尾、前記時間分解レベル、及び前記空間分解レベルを示すための特定のマーカが、前記符号化されたビットストリーム中に導入される。本発明によれば、各時間分解レベルについて、各空間分解レベルにおいて前記空間分解レベルに関連する動きベクトル情報の末尾を示すための付加的なマーカが、次いで前記符号化されたビットストリーム中に導入される。本方法は、非常に低い復号化ビットレートの場合、残りの動き情報をスキップしテクスチャ情報のみを復号化することを可能とし、又は他の実装においては、前記残りの動き情報及び関連する時間レベルの残りの空間レベルをもスキップすることを可能とする。

Description

本発明は、それぞれが幾つかのフレームの対に更に分割されたフレームの群に分割されたビデオシーケンスの圧縮のための符号化方法であって、前記フレームの群のそれぞれは３次元ウェーブレット変換によって分解され、前記変換は各分解レベルにおいてフレームの各対の２つのフレームの間の動き補償ステップ、時間フィルタリングステップ、及びかくして得られた各時間サブバンドの空間分解ステップを連続的に有し、前記動き補償は各時間分解レベルについて最高の空間分解能レベルで実行された動き推定に基づき、かくして得られた動きベクトルはより低い空間分解能についても動きベクトルを得るために２のべき乗によって乗算され、いずれの空間分解能レベルも再構築することをも可能とする前記推定された動きベクトルは符号化され、所定の空間レベルにおけるウェーブレット係数によって形成される符号化されたテクスチャ情報と共にかつ該情報の直前に前記符号化されたビットストリーム中に配置され、前記符号化の動作は前記推定された動きベクトルに対して最低の空間分解能で実行され、ある分解能レベルから他の分解能レベルへと、各空間分解能における前記動きベクトルのリファインメント（refinement）ビットのみが次いでリファインメントビットプレーン毎に前記符号化されたビットストリーム中に配置され、それぞれビットプレーンの末尾、時間分解レベル及び空間分解レベルを示す特定のマーカが前記符号化されたビットストリーム中に導入される方法に関する。

本発明はまた、対応する符号化装置、かような符号化装置によって生成された符号化されたビットストリームから成る伝送可能なビデオ信号、対応する復号化装置、及びかような復号化装置における利用のためのコンピュータ実行可能な処理ステップに関する。

異種のネットワークに渡るビデオストリーミングは高いスケーラビリティ能力を必要とする。高いスケーラビリティ能力とは即ち、ビットストリームの一部がシーケンスの完全な復号化なしに復号化されることができ、より低い空間若しくは時間分解能（空間スケーラビリティ、時間スケーラビリティ）で又はより低い品質で（ＳＮＲ又はビットレートスケーラビリティ）最初のビデオ情報を再構築するために結合されることができることを意味する。これら３つのタイプのスケーラビリティ（空間、時間、ＳＮＲ）の全てを達成する便利な方法は、入力ビデオシーケンスの動き補償の後の、前記入力ビデオシーケンスの３次元サブバンド分解（subband decomposition）である（効率的なスケーラブルなビデオ符号化方式の設計のため、動き推定及び動き補償は本当に重要な要素であるが、主にテクスチャの符号化／復号化のために利用可能なビット予算（budget）を急激に減少させないように動き情報のオーバヘッドを低く保ちつつ、優れた時間的な予測を提供するための、幾つかの相反する要求を伴う）。

完全にスケーラブルなビデオ符号化方法は既に、国際特許出願公開WO02/01881（PHFR000070）において記載されている。本方法の主な特徴は、ビデオシーケンスの時間的なサブバンド分解を示す図１を参照しながら最初に思い起こされる。図示された動き補償を用いた３Ｄウェーブレット分解はフレームの群（ＧＯＦ）に適用され、ここでフレームはＦ１乃至Ｆ８で参照される。各ＧＯＦは、大きな動きを伴うシーケンスを処理するために最初に動き補償（ＭＣ）され、次いでHaarウェーブレットを利用して時間フィルタリング（ＴＦ）される（点線の矢印はハイパス時間フィルタリングに対応し、他方のものはローパス時間フィルタリングに対応する）。動き補償操作及び時間フィルタリング操作の後、各時間サブバンドが空間−時間サブバンドに空間的に分解され、図２に示すように最終的には元のＧＯＦの３Ｄウェーブレット表現に導く。図１及び図２の例においては、分解の３つの段階が示され（Ｌ及びＨ＝第１段階、ＬＬ及びＬＨ＝第２段階、ＬＬＬ及びＬＬＨ＝第３段階）、動きベクトル場の群が各時間分解レベルにおいて、即ち第１のレベルにおいてＭＶ４、第２のレベルにおいてＭＶ３、第３のレベルにおいてＭＶ２というように生成される（実際には、各時間分解レベルにおいて考慮されるＧＯＦ中の２つのフレーム毎に１つの動きベクトルが生成され、それ故動きベクトル場の数は、３つの分解レベルの例では、時間サブバンド中のフレームの数の半分に等しい。即ち、動きベクトル場の第１のレベルでは４、第２のレベルにおいては２、第１のレベルにおいては１である）。

復号化器側においては、時間スケーラビリティの場合、プログレッシブな復号化を可能とするため、前記ビットストリームは例えば図３に記載されるように構成される。図１の３つの時間分解レベル（ここではＴＤＬと呼ばれる）は、４つの時間分解能レベル（１乃至４）をもたらし、最初のフレームレートから得られることができる可能なフレームレートを表す。最低の分解能時間レベルに対応する係数（coefficient）が、当該レベルにおいて動きベクトルを送信することなく最初に符号化され（１）、他の全ての再構築フレームレート（２、３、４）については、動きベクトル場ＭＶ２乃至ＭＶ４及び対応する高周波の時間サブバンド２乃至４のフレームが符号化される。ビットストリームの構成のこの説明は時間レベルのみを考慮に入れており、各時間レベル内の空間的なスケーラビリティも考慮される必要がある。このことは、図４において思い起こされる完全なスケーラビリティ解決方法に導き、ここでは各時間スケール内で、全ての空間分解能が連続的に走査され（ＳＤＬ＝空間分解レベル）、それ故全ての空間周波数が利用可能である（フレームレートｔ＝１乃至４、表示サイズｓ＝１乃至４）。ビットプレーン及び時間レベルを分離するためにマーカが利用される（それぞれ、２つのビットプレーンの間のフラグＡ、及び２つの連続する時間分解レベルの間のフラグＢ）。

空間スケーラビリティの場合、減少された空間分解能のビデオを再構築することが可能であるように、前記ビットストリームの最初において、全分解能の動きベクトル場を伝送することは望ましくなく思われ、前記引用文献におけるこの目的のために提案される解決方法は、動きベクトルによって記述される動きを現在の空間レベルのサイズに適応させるためのものである。即ち、最低の空間分解能に対応する低い分解能の動きベクトル場が最初に伝送され、前記動きベクトルの分解能は空間分解能における増加に従ってプログレッシブに増大させられ、動きベクトル場の分解能と他のものとの差分のみが符号化され伝送される（かくして記載された手法においては、前記動きベクトルは、全検索ブロックマッチング又はいずれの他の得られた手法のようなブロックベースの動き推定方法によって得られるものと仮定され、前記動き推定におけるブロックのサイズはこのとき注意深く選択される必要がある。実際には、全分解能において前記ブロックの元のサイズが８×８の場合、半分の分解能において４×４となり、４分の１で２×２となる等する。従って、前記ブロックの元のサイズが小さすぎる場合、前記元のサイズが分解／再構築レベルの数と適合性があるかどうかのチェックに常に導くという問題が発生し得る）。

例えば空間分解レベルについては、全てのとり得る分解能に対応する動きベクトルを望む場合、最初の動きベクトルが２^Ｓによって除算されるか、又はｓ個の位置のシフトが実行されるかのいずれかとなり、その結果は、サイズが２^Ｓによって除算された最低の分解能からのブロックに対応する動きベクトルを表す。前記元の動きベクトルの２^ｓ−１による除算は、次の空間分解能を提供し得るが、この値は既に以前の操作から取得可能であり、ｓ−１個の位置のシフトに対応する。最初の操作に対する差は、２^ｓ−１の重みを持つ動きベクトルのバイナリ表現におけるビットである。このとき、より高い分解能で前記動きベクトルを再構築するため、以前に伝送されたベクトルに当該ビット（リファインメントビットと呼ばれる）を追加することは十分である。このことはｓ＝４について図５に示される。前記動きベクトルのこのプログレッシブな伝送は、図６に示すように、同一の空間レベルにおけるテクスチャに対応するビットの直前に、ある空間分解能から他の空間分解能へと前記ビットストリーム中に前記動きベクトル場の前記リファインメントビットを含むことを可能とする。上述したように、空間レベルを分離するためにマーカが利用される（２つの連続するレベルの間のフラグＣ）。

（前記引用文献に記載され、以上に思い起こされたような）このスケーラブルな動きベクトル符号化方法のため、時間及び空間レベルの階層構造が動きベクトル符号化に置き換えられ、動き情報をプログレッシブに復号化することを可能とする。所定の空間分解能について、前記復号化器はもはや該レベルにおいて有用ではない前記ビットストリームの一部を復号化する必要はない。しかしながら、前記スケーラブルなベクトル符号化方法は、完全にプログレッシブなビットストリームを保証するが、非常に低いビットレートにおける復号化の場合には動き情報のオーバヘッドが高くなりすぎ、以下の欠点、即ち、利用可能な予算の不足のためテクスチャビットを復号化することができない点、及びそれ故非常に悪い再構築品質という欠点に導く。

本発明の目的はそれ故、この欠点を回避し、それ故高いビットレートのスケーラビリティが得られる必要がある状況、即ち復号化ビットレートが符号化ビットレートよりもかなり低い場合に、より適合した符号化方法を提案することにある。

この目的のため、本発明は、本明細書の導入部において定義されたような符号化方法であって、更に、各時間分解レベルについて、各空間分解レベルにおいて前記空間分解レベルに関連する動きベクトル情報の末尾を示す付加的な特定のマーカが前記符号化されたビットストリーム中に導入されることを特徴とする符号化方法に関する。

本発明の他の目的は、前記符号化方法を実行する符号化装置を提案することにある。

この目的のため、本発明は、それぞれが幾つかのフレームの対に更に分割されたフレームの群に分割されたビデオシーケンスを符号化するための装置であって、前記フレームの群のそれぞれは３次元ウェーブレット変換によって分解され、前記変換は各分解レベルにおいてフレームの各対の２つのフレームの間の動き補償ステップ、時間フィルタリングステップ、及びかくして得られた各時間サブバンドの空間分解ステップを連続的に有し、前記動き補償は各時間分解レベルについて最高の空間分解能レベルで実行された動き推定に基づき、かくして得られた動きベクトルはより低い空間分解能についても動きベクトルを得るために２のべき乗によって乗算され、いずれの空間分解能レベルも再構築することをも可能とする前記推定された動きベクトルは符号化され、所定の空間レベルにおけるウェーブレット係数によって形成される符号化されたテクスチャ情報と共にかつ該情報の直前に前記符号化されたビットストリーム中に配置され、前記符号化の動作は前記推定された動きベクトルに対して最低の空間分解能で実行され、ある分解能レベルから他の分解能レベルへと、各空間分解能における前記動きベクトルのリファインメントビットのみが次いでリファインメントビットプレーン毎に前記符号化されたビットストリーム中に配置され、それぞれビットプレーンの末尾、時間分解レベル及び空間分解レベルを示す特定のマーカが前記符号化されたビットストリーム中に導入される装置であって、前記ビデオシーケンスから前記フレームの全ての対に関連する動きベクトルを決定ための動き推定手段と、前記ビデオシーケンス及び前記動きベクトルに基づいて動き補償ステップ、時間フィルタリングステップ及び空間分解ステップを連続的に各フレームの群内で実行する３次元ウェーブレット変換手段と、前記変換手段から生じた係数と前記動き推定手段によって出力された動きベクトルとの両方を符号化し前記符号化されたビットストリームを生じる符号化手段とを有する装置において、前記装置は更に、各空間分解レベルにおいて前記空間分解レベルに関連する動きベクトル情報の末尾を示す付加的な特定のマーカを前記符号化されたビットストリーム中に導入する手段を有することを特徴とする装置に関する。

本発明はまた、かような符号化装置によって生成された符号化されたビットストリームから成る送信可能なビデオ信号であって、前記符号化されたビットストリームが、各空間分解レベルにおいて前記空間分解レベルに関連する動きベクトル情報の末尾を示す付加的な特定のマーカを有することを特徴とする送信可能なビデオ信号に関する。

本発明の他の目的は、提案されるような符号化方法を実行することにより生成されるビットストリームを復号化する装置を提案することにある。

この目的のため、本発明は、上述した符号化方法を実行することにより生成された符号化されたビットストリームを復号化する装置であって、前記復号化装置は、前記符号化されたビットストリームにおいて係数と動きベクトルとの両方を復号化する復号化手段と、前記復号化された係数及び動きベクトルに基づいて出力ビデオシーケンスを再構築する逆３次元ウェーブレット変換手段と、各動きベクトル復号化処理の前に既に費やされたビット予算の量を規定し、前記量に基づいて動き情報に関連する復号化動作を前記動き情報の残りの部分のスキップ動作によって停止するか否かを決定するリソース制御手段とを有する装置、又は前記符号化方法を実行することにより生成された符号化されたビットストリームを復号化する装置であって、前記復号化装置は、前記符号化されたビットストリームにおいて係数と動きベクトルとの両方を復号化する復号化手段と、前記復号化された係数及び動きベクトルに基づいて出力ビデオシーケンスを再構築する逆３次元ウェーブレット変換手段と、各動きベクトル復号化処理の前に既に費やされたビット予算の量を規定し、前記量に基づいて動き情報及び関連する空間分解レベルの残りの部分に関連する復号化動作を、前記動き情報の残りの部分及び前記関連する空間分解レベルの後続する残りの部分のスキップ動作によって停止するか否かを決定するリソース制御手段とを有する装置に関する。

本発明はまた、かような復号化装置における利用のためのコンピュータ実行可能な処理ステップに関する。

本発明は、添付する図を参照しながら以下に例として説明される。

図６に示された方法は、第１のビットプレーン（タイプＡの２つのフラグの間に含まれ、所定の品質に対応する各ビットプレーンは、全ての時間レベルについての情報を含み、各時間レベルは所定のフレームレートに対応する）が復号化器側で完全に再構築されるべきこと、即ち復号化ビットレート（符号化器側では先験的に知られない）が少なくとも当該ビットプレーンを完全に再構築するのに十分であるべきことを仮定する。前記ビットレートは、前記復号化器が到達することができる品質、フレームレート及び空間分解能の点で最低の再構築パラメータに対応する（各時間レベルはすべての空間レベルについての情報を含み、各空間レベルは所定の空間分解能に対応する）。しかしながら、スケーラビリティが完全に利用される実際の応用においては、前記復号化ビットレートは、所定の瞬間において（例えばネットワークの輻輳のため）、所望の復号化パラメータに従って当該特定のビットプレーンを復号化するには低くなりすぎる可能性がある（例えば、ユーザは完全なフレームレート及び完全な空間分解能を必要とし得る）。この状況が起こる場合、前記第１のビットプレーンは、ビデオの粗い平均のみを含むため、再構築の質は許容できないものとなり、一方でビデオの詳細をも得るために、及び視覚的に許容可能な再構築の品質を得るために、幾つかの付加的なビットプレーンが復号化される必要がある。

これらの特定の状況下で、本発明によれば、動きベクトル復号化の損傷にテクスチャビットを復号化することに集中すること、及び復号化処理の実施の間前記動きベクトルの復号化を続けることを許容するか否かの決定を導入することが提案される。特定の復号化ビットレートが与えられると、各動きベクトル復号化処理（近似ＭＶ１又はその他のＭＶｉ）の前に、既に費やされたビット予算がチェックされる。この量が、総ビット予算の特定の百分率（Ｍ％）を超える場合、動きオーバヘッドは更なる詳細なビットプレーンの復号化を許容するには高すぎると推測され、以降のテクスチャ係数のためにビットを節約するため、動き情報の残りの部分を復号化しないことが決定される。この手法を実施化することを可能とするため、前記復号化器は、次のテクスチャ部分に直接ジャンプするために前記動きベクトルに対応するビットストリームの部分をスキップすることが可能である必要がある。例えば図７において、一方ＭＶ２中の復号化動きベクトル及び前記アルゴリズムが次いで、ｓ＝２の冒頭において復号化処理を再同期化させる必要がある間、上述の臨界百分率が到達され得る。本発明によれば、テクスチャビットへの容易で直接なアクセスを可能とするため、付加的な特定のマーカ即ちＤで表されるフラグが、図７に示されるように動きベクトル情報の末尾に追加される。

かくして説明された符号化方法は、図８に示されたような、以下の主モジュールを有する符号化装置において実施化されても良い。第１に、入力ビデオシーケンスを受信する動き推定回路８１が、（好ましくはブロックマッチングアルゴリズムによって）前記動きベクトルの推定を実行する。次いで、３Ｄウェーブレット変換回路８２が前記入力ビデオシーケンス及び前記推定された動きベクトルを受信し、動き補償ステップ、時間フィルタリングステップ、及び空間分解ステップを実行する。変換回路８２によってもたらされた係数及び回路８１の出力部において利用可能な動きベクトルは、最後に符号化手段によって受信される。該符号化手段は、例えば符号化装置８３及び算術符号化装置８４を直列に有し、前記ウェーブレット変換から生じた係数と前記動き補償から生じたベクトルとの両方を符号化するために備えられる。前記符号化手段の出力部において利用可能な符号化されたビットストリームＣＢは伝送される（復号化器による受信を考慮して）か又は保存される（復号化器又はサーバによる後の受信を考慮して）。

復号化側において（又はサーバにおいて）、対応する復号化方法は、図９に示されたような、以下の主モジュールを有する復号化装置において実施化され得る。前記受信された符号化されたビットストリームは最初に復号化装置９１によって処理される。該復号化処理装置９１は、例えば算術復号化段と復号化段とを直列に有し、符号化された係数及び符号化された動きベクトルを含む前記符号化されたビットストリームを復号化するために備えられる。前記復号化された係数及び動きベクトルは次いで、元のものに対応する出力ビデオシーケンスを再構築するために備えられた、逆３Ｄウェーブレット変換回路９２によって受信される。前記復号化装置はまた、リソースコントローラ９３を有する。該リソースコントローラ９３は、チェック動作を担当する。即ち、各動きベクトル復号化処理の前に既に費やされたビット予算の量を検証し、当該量に基づいて前記動き情報に関する復号化動作を停止して関連する空間分解レベルの残りのテクスチャ情報のみを復号化するか否か決定する必要がある。

提案されたような方法はしかしながら、前記動きベクトル復号化動作が特定の空間−時間レベルにおいて停止させられた場合、符号化動作と復号化動作との間にずれを生じる。更なる空間−時間レベルが依然復号化される場合、動き補償は実際に、再構築中であるものを含むこれらの残りの分解能について実行されない。この欠点を制限するために、及び復号化のために利用可能なビット予算の多くの部分が第１のビットプレーンのために既に到達されたという事実を考慮に入れ、本発明によれば、視覚的に許容可能な再構築品質を得るために、例えば応用の所定の要求に従ってフレームレート又は空間分解能を減少させることにより、復号化パラメータのセットを動的に減少させることが提案される。動きベクトルの復号化動作が停止させられる空間−時間分解能は、利用可能なビット予算により許容される最大の品質で再構築される必要があり、より高い分解能は断念される。かくしてここでは、上述した復号化条件によりいずれの方法でも悪い品質のものとなるであろう現在の空間−時間分解能についてのビットプレーンの全ての再構築を試みる代わりに、前記ビットプレーンの綿密な探査に重点が置かれる。このことは図１０に示され、ここでは、本発明によって、第２の空間分解能から動きベクトルの復号化動作を停止することが選択されている。残りの２つの空間ビットレベルも次いで、各時間分解能について中断されており、このことは、４分の１の空間分解能におけるが完全なフレームレートにおける復号化には対応しない。

本発明の好適な実施例の以上の記載は、例示及び説明の目的のために示された。当該記載は網羅的であることを意図されておらず、本発明を開示されたそのままの形式に限定することを意図されていない。明らかに、当業者には明白で本発明の範囲内に含まれることを意図された多くの変更及び変形が、上述の教示に照らして可能である。

例えば、ここで記載された装置はハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組み合わせによって実装されることができることは理解されるべきである。このとき、単一のアイテムのハードウェア又はソフトウェアが幾つかの機能を実行することができること、又はハードウェア及びソフトウェア若しくはこれら両方のアイテムの集合が単一の機能を実行することを除外するものではない。これらの装置は、いずれのタイプのコンピュータシステムによっても、又はここで記載された方法を実行するように構成された他の装置によって実装されても良い。ハードウェアとソフトウェアとの典型的な組み合わせは、ロードされ実行されるときにコンピュータシステムがここで記載された方法を実行するように該コンピュータシステムを制御するコンピュータプログラムを持つ汎用コンピュータシステムであり得る。代替として、本発明の機能タスクのうちの１以上のものを実行するための特化されたハードウェアを含む専用コンピュータが利用されても良い。本発明はまた、ここで記載された方法及び機能の実装を可能とする全ての特徴を有し、コンピュータシステムにロードされたときこれらの方法及び機能を実行することが可能な、コンピュータプログラム製品に組み込まれても良い。本文脈においてコンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品、又はソフトウェアとは、情報処理能力を持つシステムに、特定の機能を直接に又は以下のいずれか又は両方の後に実行させるように意図された命令のセットの、いずれの言語、コード又は表記によるいずれの表現をも意味する：（ａ）他の言語、コード又は表記への変換、及び／又は（ｂ）異なるマテリアル形式での再生。

動き補償を伴う時間サブバンド分解を示す。３次元ウェーブレット分解に起因する空間−時間サブバンドを示す。時間スケーラビリティのためのビットストリーム中の動きベクトル挿入を示す。空間−時間ツリーの時間主導の走査を用いて得られるビットストリームの構造を示す。動きベクトルのバイナリ表現、及び該ベクトルの最低の分解能から最高の分解能までのプログレッシブな伝送である。以前に引用された文献WO02/01881において記載された完全にスケーラブルなアプローチにおける動きベクトル符号化のためのビットストリーム構成を示す。本発明による符号化方法を実行するときに得られる符号化されたビットストリームを示し、前記符号化されたビットストリームが次いで本発明によってどのような復号化されるかを理解することを可能とする図である。本発明による符号化方法を実行するための符号化装置を示す。本発明による復号化方法を実行するための復号化装置を示す。符号化されたビットストリームの他の表現を示し、本発明による復号化方法の他の実施例を示す。

Claims

それぞれが幾つかのフレームの対に更に分割されたフレームの群に分割されたビデオシーケンスの圧縮のための符号化方法であって、前記フレームの群のそれぞれは３次元ウェーブレット変換によって分解され、前記変換は各分解レベルにおいてフレームの各対の２つのフレームの間の動き補償ステップ、時間フィルタリングステップ、及びかくして得られた各時間サブバンドの空間分解ステップを連続的に有し、前記動き補償は各時間分解レベルについて最高の空間分解能レベルで実行された動き推定に基づき、かくして得られた動きベクトルはより低い空間分解能についても動きベクトルを得るために２のべき乗によって乗算され、いずれの空間分解能レベルも再構築することをも可能とする前記推定された動きベクトルは符号化され、所定の空間レベルにおけるウェーブレット係数によって形成される符号化されたテクスチャ情報と共にかつ該情報の直前に前記符号化されたビットストリーム中に配置され、前記符号化の動作は前記推定された動きベクトルに対して最低の空間分解能で実行され、ある分解能レベルから他の分解能レベルへと、各空間分解能における前記動きベクトルのリファインメントビットのみが次いでリファインメントビットプレーン毎に前記符号化されたビットストリーム中に配置され、それぞれビットプレーンの末尾、時間分解レベル及び空間分解レベルを示す特定のマーカが前記符号化されたビットストリーム中に導入される方法において、各時間分解レベルについて、各空間分解レベルにおいて前記空間分解レベルに関連する動きベクトル情報の末尾を示す付加的な特定のマーカが前記符号化されたビットストリーム中に導入されることを特徴とする方法。
それぞれが幾つかのフレームの対に更に分割されたフレームの群に分割されたビデオシーケンスを符号化するための装置であって、前記フレームの群のそれぞれは３次元ウェーブレット変換によって分解され、前記変換は各分解レベルにおいてフレームの各対の２つのフレームの間の動き補償ステップ、時間フィルタリングステップ、及びかくして得られた各時間サブバンドの空間分解ステップを連続的に有し、前記動き補償は各時間分解レベルについて最高の空間分解能レベルで実行された動き推定に基づき、かくして得られた動きベクトルはより低い空間分解能についても動きベクトルを得るために２のべき乗によって乗算され、いずれの空間分解能レベルも再構築することをも可能とする前記推定された動きベクトルは符号化され、所定の空間レベルにおけるウェーブレット係数によって形成される符号化されたテクスチャ情報と共にかつ該情報の直前に前記符号化されたビットストリーム中に配置され、前記符号化の動作は前記推定された動きベクトルに対して最低の空間分解能で実行され、ある分解能レベルから他の分解能レベルへと、各空間分解能における前記動きベクトルのリファインメントビットのみが次いでリファインメントビットプレーン毎に前記符号化されたビットストリーム中に配置され、それぞれビットプレーンの末尾、時間分解レベル及び空間分解レベルを示す特定のマーカが前記符号化されたビットストリーム中に導入される装置であって、前記ビデオシーケンスから前記フレームの全ての対に関連する動きベクトルを決定するための動き推定手段と、前記ビデオシーケンス及び前記動きベクトルに基づいて動き補償ステップ、時間フィルタリングステップ及び空間分解ステップを連続的に各フレームの群内で実行する３次元ウェーブレット変換手段と、前記変換手段から生じた係数と前記動き推定手段によって出力された動きベクトルとの両方を符号化し前記符号化されたビットストリームを生じる符号化手段とを有する装置において、前記装置は更に、各空間分解レベルにおいて前記空間分解レベルに関連する動きベクトル情報の末尾を示す付加的な特定のマーカを前記符号化されたビットストリーム中に導入する手段を有することを特徴とする装置。
請求項２に記載の符号化装置によって生成された符号化されたビットストリームから成る送信可能なビデオ信号であって、前記符号化されたビットストリームが、各空間分解レベルにおいて前記空間分解レベルに関連する動きベクトル情報の末尾を示す付加的な特定のマーカを有することを特徴とする送信可能なビデオ信号。
請求項１に記載の符号化方法を実行することにより生成された符号化されたビットストリームを復号化する装置であって、前記復号化装置は、前記符号化されたビットストリームにおいて係数と動きベクトルとの両方を復号化する復号化手段と、前記復号化された係数及び動きベクトルに基づいて出力ビデオシーケンスを再構築する逆３次元ウェーブレット変換手段と、各動きベクトル復号化処理の前に既に費やされたビット予算の量を規定し、前記量に基づいて動き情報に関連する復号化動作を前記動き情報の残りの部分のスキップ動作によって停止するか否かを決定するリソース制御手段とを有する装置。
請求項１に記載の符号化方法を実行することにより生成された符号化されたビットストリームを復号化する装置における利用のためのコンピュータ実行可能な処理ステップであって、前記処理ステップは、前記符号化されたビットストリームにおいて係数と動きベクトルとの両方を復号化する復号化ステップと、前記復号化された係数及び動きベクトルに基づいて出力ビデオシーケンスを再構築する逆３次元ウェーブレット変換ステップと、各動きベクトル復号化処理の前に既に費やされたビット予算の量を規定し、前記量に基づいて動き情報に関する復号化動作を前記動き情報の残りの部分のスキップ動作によって停止するか否かを決定するリソース制御ステップとを有する、コンピュータ実行可能な処理ステップ。
請求項１に記載の符号化方法を実行することにより生成された符号化されたビットストリームを復号化する装置であって、前記復号化装置は、前記符号化されたビットストリームにおいて係数と動きベクトルとの両方を復号化する復号化手段と、前記復号化された係数及び動きベクトルに基づいて出力ビデオシーケンスを再構築する逆３次元ウェーブレット変換手段と、各動きベクトル復号化処理の前に既に費やされたビット予算の量を規定し、前記量に基づいて動き情報及び関連する空間分解レベルの残りの部分に関連する復号化動作を、前記動き情報の残りの部分及び前記関連する空間分解レベルの後続する残りの部分のスキップ動作によって停止するか否かを決定するリソース制御手段とを有する装置。
請求項１に記載の符号化方法を実行することにより生成された符号化されたビットストリームを復号化する装置における利用のためのコンピュータ実行可能な処理ステップであって、前記処理ステップは、前記符号化されたビットストリームにおいて係数と動きベクトルとの両方を復号化する復号化ステップと、前記復号化された係数及び動きベクトルに基づいて出力ビデオシーケンスを再構築する逆３次元ウェーブレット変換ステップと、各動きベクトル復号化処理の前に既に費やされたビット予算の量を規定し、前記量に基づいて動き情報及び関連する空間分解レベルの残りの部分に関連する復号化動作を、前記動き情報の残りの部分及び前記関連する空間分解レベルの後続する残りの部分のスキップ動作によって停止するか否かを決定するリソース制御ステップとを有する、コンピュータ実行可能な処理ステップ。