JP2004519909A - 細粒度スケーラビリティビデオ符号化における上位レイヤのための改善された予測構造 - Google Patents

Abstract

本発明は柔軟で効率的なビデオデータの符号化のための手法に向けたものである。本手法は、基本レイヤフレームと呼ばれる前記ビデオデータの一部の符号化と、前記ビデオデータ及び予測信号から生成される残りの画像の符号化とを含む。各ビデオフレームについての前記予測は、複数の復号化された基本レイヤフレームを利用して生成され、動き補償を利用しても良い。前記残りの画像は上位レイヤフレームと呼ばれ、次いで符号化される。本手法に基づきより広い区域の基本レイヤフレームが利用されるため、より優れた予測が得られることができる。上位レイヤフレーム中の結果の残りのデータは小さいため、効率良く符号化されることができる。上位レイヤフレームの符号化のため、（ＤＣＴ変換符号化又はウェーブレット符号化のような）細粒度スケーラビリティ手法が利用される。復号化処理は符号化処理の逆である。それ故、柔軟だが効率的なビデオの符号化及び復号化が達成される。

Description

【０００１】
【発明の属する技術分野】
本発明は一般的にはビデオ圧縮に関し、更に詳細には上位レイヤのフレームの夫々を生成するために複数の基本レイヤのフレームを利用するスケーラビリティ構造（ｓｃａｌａｂｉｌｉｔｙ ｓｔｒｕｃｔｕｒｅ）に関する。
【０００２】
【従来の技術】
スケーラブルなビデオ符号化は、多くのマルチメディアアプリケーション及びサービスのために望ましい特徴である。例えば、ビデオのスケーラビリティは、広い範囲の処理能力を持つ復号化器を利用するシステムにおいて利用される。この場合、低い計算能力を持つプロセッサは、前記スケーラブルなビデオストリームのサブセットのみを復号化する。
【０００３】
スケーラブルなビデオの他の利用は、可変伝送帯域幅を持つ環境中にある。この場合、低アクセスの帯域幅を持つ受信器は、前記スケーラブルなビデオストリームのサブセットのみを受信し、続いて復号化する。ここで前記スケーラブルなビデオストリームのこのサブセットの量は、利用可能な帯域幅に比例する。
【０００４】
幾つかのビデオのスケーラビリティの取り組みは、ＭＰＥＧ−２及びＭＰＥＧ−４のような主要なビデオ圧縮規格によって採用されてきた。時間、空間及び質（ＳＮＲ）スケーラビリティのタイプが、これらの規格において規定されてきた。これらの取り組みの全ては、基本レイヤ（Ｂａｓｅ Ｌａｙｅｒ、ＢＬ）及び上位レイヤ（Ｅｎｈａｎｃｅｍｅｎｔ
Ｌａｙｅｒ、ＥＬ）から成る。前記スケーラブルなビデオストリームのＢＬ部分は一般に、前記ビデオストリームを復号化するために必要とされるデータの最小量を表す。前記ストリームのＥＬ部分は、受信器によって復号化されるときにビデオ信号の表現を向上するために利用される付加的な情報を表す。
【０００５】
静止画像を符号化するために利用される他の種類のスケーラビリティは、細粒度スケーラビリティ（ｆｉｎｅ−ｇｒａｎｕｌａｒ ｓｃａｌａｂｉｌｉｔｙ、ＦＧＳ）である。このタイプのスケーラビリティを用いて符号化された画像は、進行的に符号化される。言い換えると、復号化器は、前記画像の符号化のために利用されるデータの全てを受信する前に、前記画像の復号化及び表示を開始する。より多くのデータが受信されるにつれて、前記画像を符号化するために利用される全てのデータが受信され、復号化され、表示されるまで、前記復号化される画像の質は進行的に向上される。
【０００６】
ビデオのための細粒度スケーラビリティは、次世代マルチメディア国際標準である、ＭＰＥＧ−４内の活発な標準化下にある。このタイプのスケーラビリティ構造においては、他の一般的なビデオスケーラビリティ方法において通常為されるように、符号化に基づく動き予測がＢＬにおいて利用される。各符号化されたＢＬフレームについて、上位レイヤフレームを生成するため、残りの画像が次いで計算され細粒度スケーラビリティ方法を利用して符号化される。この構造は、ＢＬ内の予測を利用しながら、前記上位レイヤのフレームの間の依存を除去し、それ故細粒度スケーラビリティを可能にし、従って幾らかの符号化効率を提供する。
【０００７】
ＦＧＳ構造の例が図１に示される。図に見られるように、この構造もＢＬ及びＥＬから成る。更に、上位フレームの夫々は時間的に共に配置された元の基本レイヤフレームから生成される。このことは、各基本レイヤから対応する上位レイヤのフレームへと上方を指す単一の矢印によって示されている。
【０００８】
ＦＧＳベースの符号化システムの例が図２に示される。本システムは、（Ｂ_ｍｉｎ＝Ｒ_ｍｉｎ，Ｂ_ｍａｘ＝Ｒ_ｍａｘ）の範囲において可変の利用可能な帯域幅を持つネットワーク６を含む。算出ブロック４も、現在の利用可能な帯域幅（Ｒ）の見積もり又は測定のために含まれる。
【０００９】
更に、基本レイヤ（ＢＬ）ビデオ符号化器８は、（Ｒ_ｍｉｎ，Ｒ）の範囲におけるビットレートを利用してビデオ源２からの信号を圧縮する。典型的に、基本レイヤ符号化器８は、最小のビットレート（Ｒ_ｍｉｎ）を利用して前記信号を圧縮する。ＢＬ符号化が前記ビデオ信号の送信の時間より前にオフラインで起こるとき特別な場合は特に当てはまる。図に見られるように、ユニット１０も残りの画像１２を計算するため含まれる。
【００１０】
上位レイヤ（ＥＬ）符号化器１４は残りの信号１２をビットレートＲ_ＥＬで圧縮する。ここでＲ_ＥＬはＲ_ＢＬからＲ_ｍａｘ−Ｒ_ＢＬの範囲の中であっても良い。ビデオ信号の符号化（上位レイヤ及び基本レイヤの両方）は、（図によって示されるように）リアルタイムか又は送信の時間の前にオフラインで起こることができる。後者の場合において、図示されるように、前記ビデオは保存され次いでリアルタイム・レート制御器１６を利用して後の時間に送信（又はストリーミング）されることができる。リアルタイム制御器１６は、現在の（リアルタイムの）利用可能な帯域幅Ｒを考慮に入れて最も良い質の上位レイヤ信号を選択する。それ故、レート制御器１６からのＥＬ信号の出力ビットレートはＲ−Ｒ_ＢＬに等しい。
【００１１】
【発明が解決しようとする課題】
本発明は、入力ビデオデータの符号化のための、柔軟だが効率的な手法に向けたものである。
【００１２】
【課題を解決するための手段】
本方法は、基本レイヤフレーム及び上位レイヤフレームと呼ばれるビデオデータの一部の符号化を含む。基本レイヤフレームは、ＭＰＥＧ−４又はＭＰＥＧ−２のようないずれの動き補償されたＤＣＴ符号化手法によって符号化される。
【００１３】
残りの画像は、前記入力ビデオデータから予測信号を減算することによって生成される。本発明によれば前記予測は、動き補償を用い又は用いずに複数の復号化された基本レイヤフレームから形成される。ここでモード選択決定は符号化されたストリームに含まれる。このタイプの予測の効率のため、前記残りの画像データは比較的小さい。上位レイヤフレームと呼ばれる残りの画像は次いで（ＤＣＴ変換符号化又はウェーブレット符号化のような）細粒度スケーラビリティを利用して符号化される。かくして、柔軟だが効率的なビデオの符号化が達成される。
【００１４】
本発明は、復号化されたフレームを生成するために、上述したビデオデータの符号化を反転する方法にも向けたものである。前記符号化されたデータは２つの部分、即ち基本レイヤ及び上位レイヤから成る。本方法は、復号化された基本レイヤのビデオフレームを生成するために、符号化方法（前記符号化器において選択されたＭＰＥＧ−２又はＭＰＥＧ−４）に依存して復号化された前記基本レイヤを含む。また、上位レイヤフレームを生成するため（前記符号化器において選択されたＤＣＴ変換符号化又はウェーブレット符号化のような）細粒度スケーラビリティに依存して復号化された前記上位レイヤも含む。前記符号化されたストリーム中のモード決定情報に従って、複数の復号化された基本レイヤのビデオフレームの中から選択されたフレームは、前記予測信号を生成するために動き補償を用いて又は用いずに利用される。前記予測は次いで、復号化された出力ビデオを生成するために、前記復号化された基本レイヤのビデオフレームの夫々に加算される。
【００１５】
【発明の実施の形態】
ここでは同様の参照番号が図を通して対応する部分を表す図を参照する。
【００１６】
圧縮しやすい上位レイヤフレームを生成するためには、符号化され送信される必要がある情報の量を減少することが望ましい。現在のＦＧＳ増強方式において、このことは、前記基本レイヤ中の予測信号を含むことにより達成される。これらの予測信号は、元の画像からの様々な量の情報を含む基本レイヤの圧縮の量に依存する。前記基本レイヤ信号によって運ばれない残りの情報は、次いで上位レイヤ符号化器によって符号化される。
【００１７】
隣接する画像間の高い時間的な相関の量のため、１つの特定の元の画像に関係する情報は、対応する基本レイヤ符号化されたフレームを超えて存することに言及することは重要である。例えば、前の基本レイヤフレームは現在のものより高い質で圧縮される場合があり、２つの元の画像の間の時間的な相関は非常に高くなり得る。この場合、前の基本レイヤフレームが現在の基本レイヤフレームよりも多くの現在の元の画像についての情報を担持することが可能である。それ故、該画像について上位レイヤ信号を計算するため前の基本レイヤフレームを利用することが好ましい場合がある。
【００１８】
図１に関して前記のとおり議論されたように、現在のＦＧＳ構造は、対応する時間的に配置された基本レイヤフレームから上位レイヤフレームの夫々を生成する。比較的低い複雑さにもかかわらず該構造は、より良い上位信号を生成することが可能であり得る、基本レイヤのより広い区域（ｌｏｃａｌｉｔｙ）において利用可能な情報の可能な活用を除外する。それ故、本発明によれば、基本レイヤ画像のより広い区域を利用することが、単一の時間的に共に配置された基本レイヤフレームに比較して、いずれの特定の画像について上位レイヤフレームを生成する、より良い原因として働き得る。
【００１９】
現在のスケーラビリティ構造と新たなスケーラビリティ構造との間の差は、以下の数式を通して示される。現在の上位構造は以下によって示される：
Ｅ（ｔ）＝Ｏ（ｔ）−Ｂ（ｔ） （１）
ここでＥ（ｔ）は時間ｔにおける上位レイヤ信号、Ｏ（ｔ）は元の画像、Ｂ（ｔ）は基本レイヤ符号化された画像である。本発明による前記新たな上位構造は以下によって示される：
Ｅ（ｔ）＝Ｏ（ｔ）−ｓｕｍ｛ａ（ｔ−ｉ）＊Ｍ（Ｂ（ｔ−ｉ））｝ （２）
ｉ＝−Ｌ１，−Ｌ１＋１，．．．，０，１，．．．，Ｌ２−１，Ｌ２
ここでＬ１及びＬ２は「区域」パラメータであり、ａ（ｔ−ｉ）は各基本レイヤ画像に与えられる重みパラメータである。重みａ（ｔ−ｉ）は以下のように制限される：
０＜＝ａ（ｔ−ｉ）＜＋１ （３）
ｓｕｍ｛ａ（ｔ−ｉ）｝＝１
ｉ＝−Ｌ１，−Ｌ１＋１，．．．，０，１，．．．，Ｌ２−１，Ｌ２
更に、式（２）の重みパラメータａ（ｔ−ｉ）は上位レイヤ信号Ｅ（ｔ）のサイズを最小にするように選択されることが好ましい。この計算は上位レイヤ残り計算ユニットにおいて実行される。しかしながら、該計算を実行するために必須な計算能力の量が利用可能でない場合、重みパラメータａ（ｔ−ｉ）は０と１との間でトグルされるか、又はａ（ｔ＋１）＝０．５若しくはａ（ｔ−１）＝０．５とに平均されても良い。
【００２０】
式（２）のＭ演算子は、実行される動き推定演算を示す。このとき、近隣の画像又はフレームにおける対応する部分は通常、ビデオ中の動きのため共に配置されない。従って前記動き推定演算は、式（２）において定義される前記上位レイヤ信号についての動き推定（ＭＣ）情報を生成するために、近隣の基本レイヤ画像又はフレームに対して実行される。典型的に前記ＭＣ情報は、動きベクトル及び近隣の画像間のいずれの差分情報をも含む。
【００２１】
本発明によれば、式（２）に従って生成された前記上位レイヤ信号のための動き補償（ＭＣ）情報を利用して送信する、計算のための幾つかの代替がある。例えば、Ｍ演算子中で利用されるＭＣ情報は、前記基本レイヤによって計算されたＭＣ情報（例えば動きベクトル）と同一となり得る。しかしながら、前記基本レイヤが所望のＭＣ情報を持たない場合もある。
【００２２】
例えば、後方予測（ｂａｃｋｗａｒｄ ｐｒｅｄｉｃｔｉｏｎ）が利用される場合、後方ＭＣ情報が前記基本レイヤの一部として計算され送信されない場合（例えば前記基本レイヤがＩピクチャ及びＰピクチャのみから成りＢ画像を含まない場合）、後方ＭＣ情報は計算され送信される必要がある。前記基本レイヤのために必要とされるものに加えて計算され送信される必要がある動き情報の量に基づいて、とりうる３つのシナリオがある。
【００２３】
１つのとりうるシナリオにおいては、ただ上位レイヤ予測のための動きベクトルの個別のセットの計算に含まれる付加的な複雑さは、重大な関心事ではない。理論的に言えば、この選択肢はその後の圧縮のための最良の上位レイヤ信号を与えるであろう。
【００２４】
第２のとりうるシナリオにおいては、前記上位レイヤ予測は前記基本レイヤにおいて計算された動きベクトルのみを利用する。特定の画像についての上位レイヤ予測のための元の画像（ここから予測が実行された）は、同一の画像について前記基本レイヤにおいて利用されるもののサブセットでなければならない。例えば前記基本レイヤがイントラ画像である場合、その上位レイヤは同一のイントラ基本画像からのみ予測されることができる。前記基本レイヤがＰピクチャである場合、その上位画像は前記基本レイヤの動き補償のために利用される同一の参照画像から予測される必要があり、Ｂピクチャについても同様である。
【００２５】
上述の第２のシナリオは、前記上位レイヤのために利用され得る予測のタイプを制限し得る。しかしながら該シナリオは、余分な動きベクトルの送信を必要とせず、いずれの余分な動きベクトルの計算の必要性も除去する。それ故このことは、恐らくほんの小さな質における不利益を伴い符号化器の複雑さを低く保つ。
【００２６】
第３のとりうるシナリオは、最初の２つのシナリオの間のどこかである。このシナリオにおいては、前記上位レイヤが利用することができる予測のタイプに少しの制限のみしか又は全く制限が課せられない。所望のタイプの上位予測のために利用可能な基本レイヤ動きベクトルをたまたま持つ画像については、基本動きベクトルが再利用される。他の画像については、前記動きベクトルは上位予測のために個別に計算される。
【００２７】
上述の形式化は上位レイヤ信号の計算のための全般的なフレームワークを与える。しかしながら、この全般的なフレームワークの幾つかの点をここで述べる価値がある。例えば、式（２）においてＬ１＝Ｌ２＝０である場合、新たなＦＧＳ上位予測構造は、図１に示される現在のＦＧＳ上位予測構造になる。上位レイヤ画像はそのお互いから得られるものではないため上位レイヤ画像間の関係は変わらないため、前記新たな構造によって提供される機能性は、ここで提案された改善によっていずれの点においても損なわれるものではないことは留意されるべきである。
【００２８】
更に、式（２）においてＬ１＝０及びＬ２＝１である場合、前記全般的なフレームワークは図３に示されるスケーラビリティ構造になる。本発明によるスケーラビリティ構造のこの例において、次の基本レイヤフレームと同様に時間的に配置された基本レイヤフレームが、前記上位レイヤフレームの夫々を生成するために利用される。それ故式（２）のＭ演算子は前方予測を実行する。
【００２９】
同様に、式（２）においてＬ１＝１及びＬ２＝０である場合、前記全般的なフレームワークは図４に示されるスケーラビリティ構造になる。本発明によるスケーラビリティ構造のこの例において、前の基本レイヤフレームと同様に時間的に配置された基本レイヤフレームが、前記上位レイヤフレームの夫々を生成するために利用される。それ故式（２）のＭ演算子は後方予測を実行する。
【００３０】
更に、式（２）においてＬ１＝Ｌ２＝１である場合、前記全般的なフレームワークは図５に示されるスケーラビリティ構造になる。本発明によるスケーラビリティ構造のこの例において、次の及び前の基本レイヤフレームが、前記上位レイヤフレームの夫々を生成するために利用される。それ故式（２）のＭ演算子は両方向予測を実行する。
【００３１】
本発明による符号化器の一例が図６に示される。図に見られるように、前記符号化器は基本レイヤ符号化器１８及び上位レイヤ復号化器３６を含む。基本レイヤ符号化器１８は、基本レイヤ信号を生成するために、入力ビデオＯ（ｔ）の一部を符号化する。更に、上位レイヤ符号化器３６は、上位レイヤ信号を生成するために、入力ビデオＯ（ｔ）の残りを符号化する。
【００３２】
図に見られるように基本レイヤ符号化器１８は、動き推定／補償された予測ブロック２０、離散コサイン変換（ＤＣＴ）ブロック２２、量子化ブロック２４、可変長符号化（ＶＬＣ）ブロック２６及び基本レイヤバッファ２８を含む。動作の間、動き推定／補償された予測ブロック２０は、動きベクトルを生成するため入力ビデオＯ（ｔ）に動き予測、及びＶＬＣブロック２６を通過するデータをどのように符号化するかのモード決定を実行する。更に、動き推定／補償された予測ブロック２０はまた、変更されていない入力ビデオＯ（ｔ）の他の部分をＤＣＴブロック２２に渡す。該部分は、動きベクトルに符号化されていなかったＩフレーム並びに部分的なＢフレーム及びＰフレームに符号化される入力ビデオＯ（ｔ）に対応する。
【００３３】
ＤＣＴブロック２２は、動き推定／補償された予測ブロック２０から受信された入力ビデオに離散コサイン変換を実行する。更に、量子化ブロック２４はＤＣＴブロック２２の出力を量子化する。ＶＬＣブロック２６は、基本レイヤフレームを生成するため、動き推定／補償された予測ブロック２０及び量子化ブロック２４の双方の出力に可変長符号化を実行する。前記基本レイヤフレームは、リアルタイムでの送信のために出力されるか又はより長い時間の間保存される前に、基本レイヤビットバッファ２８に一時的に保存される。
【００３４】
更に図に見られるように、逆量子化ブロック３４及び逆ＤＣＴブロック３２が、量子化ブロック２４の他の出力に直列に結合される。動作の間、これらのブロック３２、３４は、フレーム保存部３０に保存された、符号化された前のフレームの復号化されたバージョンを供給する。この復号化されたフレームは動き推定／補償された予測ブロック２０によって、現在のフレームついての動きベクトルを生成するために利用される。前記前のフレームの復号化されたバージョンの利用は、復号化器側で受信されたものと同じであるため、復号化器側で実行される動き補償をより正確なものとすることができる。
【００３５】
更に図６より見られるように、上位レイヤ符号化器３６は、上位予測及び残り算出ブロック３８、上位レイヤＦＧＳ符号化ブロック４０及び上位レイヤバッファ４２を含む。動作の間、上位予測及び残り算出ブロック３８は、入力ビデオＯ（ｔ）からの残りの信号を減算することにより、残りの画像を生成する。
【００３６】
本発明によれば、前記予測信号は、式（２）による複数の基本レイヤフレームＢ（ｔ）、Ｂ（ｔ−ｉ）から形成される。上述したように、Ｂ（ｔ）は時間的に配置された基本レイヤフレームを表し、Ｂ（ｔ−ｉ）は前のフレーム、次のフレーム又はその両方のような１以上の隣接する基本レイヤフレームを表す。それ故、残りの画像の夫々は複数の基本レイヤフレームを利用して形成される。
【００３７】
更に、上位レイヤＦＧＳ符号化ブロック４０は、上位レイヤフレームを生成するために、上位予測及び残り算出ブロック３８によって生成された残りの画像を符号化するために利用される。上位レイヤ符号化ブロック４０によって利用される符号化手法は、ＤＣＴ変換又はウェーブレット画像符号化のような、いずれの細粒度スケーラビリティ符号化手法であっても良い。上位レイヤフレームはまた、リアルタイムでの送信のために出力されるか又はより長い時間の間保存される前に、上位レイヤビットバッファ４２において一時的に保存される。
【００３８】
本発明による復号化器の一例は図７に示される。図に見られるように、前記復号化器は基本レイヤ復号化器４４及び上位レイヤ復号化器５６を含む。基本レイヤ復号化器４４は、基本レイヤビデオＢ’（ｔ）を生成するために、入力される基本レイヤフレームを復号化する。更に、上位レイヤ復号化器５６は、入力される上位レイヤフレームを復号化し、増強された出力ビデオＯ’（ｔ）を生成するためこれらのフレームを適切な復号化された基本レイヤフレームと結合する。
【００３９】
図に見られるように、基本レイヤ復号化器４４は可変長復号化（ＶＬＤ）ブロック４６、逆量子化ブロック４８及び逆ＤＣＴブロック５０を含む。動作の間、これらのブロック４６、４８及び５０は、復号化された動きベクトル、Ｉフレーム、部分的なＢ及びＰフレームを生成するため、入力される基本レイヤフレームにそれぞれ可変長復号化、逆量子化及び逆離散コサイン変換を実行する。
【００４０】
基本レイヤ復号化器４４はまた、前記基本レイヤビデオを生成するために、逆ＤＣＴブロック５０の出力に動き補償を実行する動き補償された予測ブロック５２を含む。更に、前に復号化された基本レイヤフレームＢ’（ｔ−ｉ）を保存するためにフレーム保存部５４が含まれる。このことは、前記復号化された動きベクトル及びフレーム保存部５４に保存された基本レイヤフレームＢ’（ｔ−ｉ）に基づき部分的なＢ又はＰフレームに動き補償が実行されることを可能にする。
【００４１】
図に見られるように、上位レイヤ復号化器５６は上位レイヤＦＧＳ復号化ブロック５８及び上位予測及び残り結合ブロック６０を含む。動作の間、上位レイヤＦＧＳ復号化ブロック５８は入力される上位レイヤフレームを復号化する。実行される復号化のタイプは、ＤＣＴ変換又はウェーブレット画像符号化のようないずれの細粒度スケーラビリティ手法を含んでも良い符号化器側に実行される操作の逆である。
【００４２】
更に、上位予測及び残り結合ブロック６０は、強調されたビデオＯ’（ｔ）を生成するため、復号化された上位レイヤフレームＥ’（ｔ）を、基本レイヤビデオＢ’（ｔ）、Ｂ’（ｔ−ｉ）と結合する。とりわけ、復号化された上位レイヤフレームＥ’（ｔ）の夫々は予測信号と結合される。本発明によれば、前記予測信号は時間的に配置された基本レイヤフレームＢ’（ｔ）、及びフレーム保存部５４に保存された少なくとも１つの他の基本レイヤフレームＢ’（ｔ−ｉ）から形成される。本発明によれば、他の基本レイヤフレームは、前のフレーム、次のフレーム又はそれら両方のような、隣接するフレームであっても良い。これらのフレームは以下の式に従って結合される：
Ｏ’（ｔ）＝Ｅ’（ｔ）＋ｓｕｍ｛ａ（ｔ−ｉ）＊Ｍ（Ｂ’（ｔ−ｉ））｝ （４）
ｉ＝−Ｌ１，−Ｌ１＋１，．．．，０，１，．．．，Ｌ２−１，Ｌ２
ここでＭ演算子は動き変位または補償演算子であり、ａ（ｔ−ｉ）は重みパラメータを示す。式（４）において実行される演算は、式（２）に示されたような復号器側に実行される演算の逆である。式に見られるように、これらの演算は動き補償された基本レイヤのビデオフレームの重みを掛けられた合計への、復号化された上位レイヤフレームＥ’（ｔ）の夫々の加算を含む。
【００４３】
本発明が中で実施化され得るシステムの一例が図８に示される。例として、システム６６はテレビジョン、セットトップボックス、デスクトップ又はラップトップ又はパームトップ型のコンピュータ、個人用デジタル端末（ＰＤＡ）、ビデオカセットレコーダ（ＶＣＲ）又はデジタルビデオレコーダ（ＤＶＲ）又はＴｉＶＯ装置などのようなビデオ／画像保記憶装置、並びにこれらの及び他の装置の一部又は組み合わせを表していても良い。システム６６は１以上のビデオ源６８、１以上の入力／出力装置７６、プロセッサ７０及びメモリ７２を含む。
【００４４】
ビデオ／画像源６８は、例えばテレビジョン受信器、ＶＣＲ又は他のビデオ／画像記憶装置を表していても良い。源６８は代わりに、例えばインターネット、広域ネットワーク、都市型ネットワーク、ローカルエリアネットワーク、衛星放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク又は電話ネットワーク並びにこれらの及び他のタイプのネットワークの一部及び結合のようなグローバルなコンピュータ通信ネットワークに渡って、サーバ又は複数のサーバからビデオを受信するための１以上のネットワーク接続を表していても良い。
【００４５】
入力／出力装置７６、プロセッサ７０及びメモリ７２は、通信媒体７８を介して通信する。通信媒体７８は、例えばバス、通信ネットワーク、回路の１以上の内部接続、回路カード又は他の装置並びにこれらの及び他の通信メディアの一部及び結合を表していても良い。源６８からの入力ビデオデータは、表示装置７４に供給される出力ビデオ／画像を生成するため、メモリ７２に保存されプロセッサ７０によって実行される１以上のソフトウェアプログラムに従って処理される。
【００４６】
一実施例において、本発明による新たなスケーラビリティ構造を利用する符号化及び復号化は、前記システムによって実行されるコンピュータ読み込み可能なコードによって実装される。前記コードはメモリ７２に保存されても良いし、又はＣＤ−ＲＯＭ若しくはフロッピー（登録商標）ディスクのようなメモリ媒体から読み取り／ダウンロードされても良い。他の実施例において、本発明を実施化するために、ソフトウェア命令の代わりに、又はソフトウェア命令と結合してハードウェア回路が利用されても良い。例えば、図６及び７に示された要素は、個々のハードウェア要素として実装されても良い。
【００４７】
本発明は特定の例に関して以上説明された、本発明はここで開示された例に制限又は限定されることを意図したものではないことは理解されるべきである。例えば、本発明はいずれの特定の符号化戦略、フレームのタイプ又は確率分布に限定されるものではない。それどころか本発明は、添付する請求項の精神及び範囲内に含まれる、本発明の種々の構造及び変更に及ぶことを意図されたものである。
【図面の簡単な説明】
【図１】一スケーラビリティ構造の図である。
【図２】一符号化システムのブロック図である。
【図３】本発明によるスケーラビリティ構造の一例の図である。
【図４】本発明によるスケーラビリティ構造の他の例の図である。
【図５】本発明によるスケーラビリティ構造の他の例の図である。
【図６】本発明による符号化器の一例のブロック図である。
【図７】本発明による復号化器の一例のブロック図である。
【図８】本発明によるシステムの一例のブロック図である。

Claims (12)

1. ビデオデータを符号化する方法であって、
   基本レイヤフレームを生成するため前記ビデオデータの一部を符号化するステップと、
   前記ビデオデータ及び前記基本レイヤフレームから残りの画像を、前記残りの画像の夫々について複数の基本レイヤフレームを利用して生成するステップと、
   上位レイヤフレームを生成するため細粒度スケーラビリティ手法を用いて前記残りの画像を符号化するステップと、
   を有する方法。
2. 前記複数の基本レイヤフレームは、時間的に配置された基本レイヤフレームと少なくとも１つの隣接する基本レイヤフレームとを含む、請求項１に記載の方法。
3. 前記残りの画像の夫々は前記ビデオデータから予測信号を減算することにより生成され、前記予測信号は前記複数の基本レイヤフレームから形成される、請求項１に記載の方法。
4. 前記予測信号は、
   前記基本レイヤフレームの夫々に動き推定を実行するステップと、
   前記基本レイヤフレームの夫々に重み付けするステップと、
   前記複数の基本レイヤフレームを合計するステップと、
   により生成される、請求項３に記載の方法。
5. 基本レイヤ及び上位レイヤを含むビデオ信号を復号化する方法であって、
   基本レイヤビデオフレームを生成するため前記基本レイヤを復号化するステップと、
   上位レイヤビデオフレームを生成するため細粒度スケーラビリティ手法を用いて前記上位レイヤを復号化するステップと、
   出力ビデオを生成するため前記上位レイヤビデオフレームの夫々を複数の基本レイヤビデオフレームと結合するステップと、
   を有する方法。
6. 前記複数の基本レイヤビデオフレームは、時間的に配置された基本レイヤビデオフレームと少なくとも１つの隣接する基本レイヤビデオフレームとを含む、請求項５に記載の方法。
7. 前記結合するステップは前記上位レイヤビデオフレームの夫々を予測信号に加算することにより実行され、前記予測信号は前記複数の基本レイヤビデオフレームから形成される、請求項５に記載の方法。
8. 前記予測信号は、
   前記基本レイヤビデオフレームの夫々に動き補償を実行するステップと、
   前記基本レイヤビデオフレームの夫々に重み付けするステップと、
   前記複数の基本レイヤビデオフレームを合計するステップと、
   により生成される、請求項７に記載の方法。
9. ビデオデータを符号化する装置であって、
   基本レイヤフレームを生成するため前記ビデオデータの一部を符号化する第１の符号化器と、
   前記ビデオデータ及び前記基本レイヤフレームから、前記残りの画像の夫々について複数の基本レイヤフレームを利用して残りの画像を生成する上位予測及び残り算出ブロックと、
   上位レイヤフレームを生成するため細粒度スケーラビリティ手法を用いて前記残りの画像を符号化する第２の符号化器と、
   を有する装置。
10. 基本レイヤ及び上位レイヤを含むビデオ信号を復号化する装置であって、
    基本レイヤビデオフレームを生成するため前記基本レイヤを復号化する第１の復号化器と、
    上位レイヤビデオフレームを生成するため細粒度スケーラビリティ手法を用いて前記上位レイヤを復号化する第２の復号化器と、
    出力ビデオを生成するため前記上位レイヤビデオフレームの夫々を複数の基本レイヤビデオフレームと結合する、上位予測及び残り結合ブロックと、
    を有する装置。
11. ビデオデータを符号化するためのコードを含むメモリ媒体であって、前記コードは、
    基本レイヤフレームを生成するため前記ビデオデータの一部を符号化するコードと、
    前記ビデオデータ及び前記基本レイヤフレームから前記残りの画像を、前記残りの画像の夫々について複数の基本レイヤフレームを利用して生成するコードと、
    上位レイヤフレームを生成するため細粒度スケーラビリティ手法を用いて前記残りの画像を符号化するコードと、
    を有するメモリ媒体。
12. 基本レイヤ及び上位レイヤを含むビデオ信号を復号化するためのコードを含むメモリ媒体であって、前記コードは、
    基本レイヤビデオフレームを生成するため前記基本レイヤを復号化するコードと、
    上位レイヤビデオフレームを生成するため細粒度スケーラビリティ手法を用いて前記上位レイヤを復号化するコードと、
    出力ビデオを生成するため前記上位レイヤビデオフレームの夫々を複数の基本レイヤビデオフレームと結合するコードと、
    を有するメモリ媒体。

Images