JP2005528046A

JP2005528046A - 高品質参照フレームを利用する、効率を向上させたｆｇｓｔフレームワーク

Info

Publication number: JP2005528046A
Application number: JP2004507259A
Authority: JP
Inventors: ダーシャール，ミハエラヴァン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-05-28
Filing date: 2003-05-27
Publication date: 2005-09-15
Also published as: CN1656816A; US6944346B2; KR20050012755A; AU2003241071A1; US20030223643A1; WO2003101116A1; EP1512293A1

Abstract

ビデオを符号化する方法(200,300)及び装置は動き補償拡張参照フレームを時間的残余画像フレームの少なくとも部分から構築する工程を有する。動き補償拡張参照フレームは、ＦＧＳ動き補償された、残余画像フレーム又は時間的フレーム、の別のレベルを双方向及び/又は単一方向に予測するのに用いられる。

Description

本発明は、一般的に、細粒度スケーラビリティ（FGS）ビデオ符号化に関し、特に、FGS符号化手法で、多層の、双方向及び/又は単一方向に予測されたFGS時間的（FGST）フレームが、高品質参照フレームで、ベース・レイヤ情報及び少なくとも拡張レイヤ情報の一部分を有するもの、から予測されるもの、に関する。

インターネット・プロトコル（IP）ネットワークによるビデオ・ストリーミングは広範囲のマルチメディア・アプリケーションを容易にした。インターネット・ビデオ・ストリーミングは連続メディア・コンテンツのリアル・タイム配信及び提供を備える一方で、インターネット上でのサービス品質（QoS）保証がないことを補償する。IPネットワーク上での帯域幅及び別の性能パラメータ（例えば、パケット損失レート）が変動し、予測できないことによって、一般的に、提案されているストリーミング・ソルーションの大部分は何かの種類の階層型（すなわちスケーラブルな）ビデオ符号化手法に基づくものである。

図１A及び１Bはハイブリッド型時間的SNR細粒度スケーラビリティ（FGS HS）として知られる一種のスケーラブルなビデオ符号化手法の例示的なスケーラビリティ構造１０A,１０Bを示し、このFGS HSは詳細に、本発明の譲受人に譲渡された、同時係属の米国特許出願番号第09/590,825号に記載されている。各FGS HS構造１０A,１０Bはベース・レイヤ１１A,１１B（BL）及び拡張レイヤ１２A,１２B（EL）を有する。スケーラブルなビデオ・ストリームのBL部分は、一般的に、そのストリームを復号化するのに要する最小データ量を表す。このストリームのEL部分は付加情報、すなわち、FGS SNRフレーム又はピクチャ、及び、（FGSTと表す）FGS時間的フレーム又はピクチャで、受信器によって復号化された場合にビデオ信号表現を拡張するもの、を表す。特に、この付加時間的フレームは高フレーム・レートを得るよう挿入される。MPEG-4のFGS標準は図１Aの双方向に予測されたFGSTピクチャの種類と図１Bの前方予測FGSTピクチャの種類との両方をサポートする。

図２は、米国特許出願番号第09/590,825号に記載された例示的なFGS HSビデオ符号器100の機能的アーキテクチャを示す。符号化処理はDCT変換に基づくものであるが、別の変換（例えば、ウェーブレット）も用い得る。このビデオ符号器１００は図１A及び１BのFGS HS構造10A,10Bを生成することができる。ビデオ符号器はBL符号器１１０及びEL符号器１３０を有する。ビデオ符号器１００は元のビデオ信号を受信し、この信号はBL符号器１１０によってIとPのフレームのBLビットストリームに処理され、EL符号器１３０によってFGS SNRのIとPのフレーム及び/又はPとBのFGSTフレームのELビットストリームに処理される。

図１A及び１BのFGS HS構造においては、FGSTフレームはフレーム・メモリ・ブロックに記憶された低品質ベース・レイヤ参照フレームから予測される。その結果、発生する動き補償残余エラーは高く、したがってこれらのフレームを圧縮するのに多数のビットを要する。したがって、高フレーム・レートへの移行が、低ビット・レートと非常に高いビット・レートとの何れかで行われる。

したがって、FGSTフレームをFGS HSビデオ符号化手法において挿入するのに要する帯域幅を低減する手法が必要となる。

本発明の第１の特徴はビデオ符号化に関する。この特徴は第１レベルの動き補償残余画像フレームの少なくとも部分から動き補償拡張参照フレームを構築することに関する。第２レベルの動き補償残余画像フレームは動き拡張参照フレーム及びビデオから予測される。第２レベルの動き補償残余画像フレームは時間的フレームのデータ・ストリームに細粒度スケーラブル符号化される。

本発明の第２の特徴はビデオ復号化に関する。この特徴は第１レベルの動き補償残余画像フレームの少なくとも部分から動き補償拡張参照フレームを構築することに関する。拡張レイヤ・データ・ストリームの第２レベルの時間的フレーム部分は細粒度スケーラブル復号化されて第２レベルの動き補償残余フレームを構築する。動き補償拡張参照フレームは第２レベルの動き補償残余フレームと合成されて第２レベルの時間的フレームを構築する。

本発明の効果、特性、及び種々の別の特徴は、添付図面に関連して詳細に次に記載する例示的実施例を検討することによって十分に明らかとなり、添付図面では同じ参照番号は図面を通して同様な構成要素を示す。

図３Ａは本発明の第１例示的実施例によるＦＧＳベースのハイブリッド型時間的ＳＮＲスケーラビリティ構造（ＦＧＳＨＳ構造３０Ａ）を示す。ＦＧＳＨＳ構造３０ＡはＩとＰのフレームによって符号化されたＢＬ３１Ａと、残余ＳＮＲのＩとＰのフレーム３３Ａ及び、少なくとも、第１と第２のレベルの、動き補償された、残余又は時間的（ＦＧＳＴ）、双方向予測（Ｂ）フレーム34,35a,並びに３５B、とによってFGS符号化された単一のEL３２Aを有する。

第１レベルのFGSTフレーム３４は、高品質「拡張」BL参照フレームで、各々がBLフレーム全体と、少なくともELフレームの一部分、すなわち、ELフレームの1つ若しくは複数のビットプレーン、又はビットプレーンの部分、とから構築されるもの、から双方向に予測される。第２レベルのFGSTフレーム３５Aは、高品質拡張BL参照フレームと、高品質「拡張」FGST参照フレーム、すなわち、FGSTフレーム34の1つ若しくは複数のビットプレーン、又はビットプレーンの部分、とから双方向に予測し得る。第２レベルのFGSTフレーム３５Bは２つの別の高品質拡張FGST参照フレームの少なくとも部分から双方向に予測し得る。

図３Bは本発明の第２の例示的実施例によるFGSハイブリッド型時間的SNRスケーラビリティ構造（FGS HS構造30B）を示す。FGS HS構造３０BはIとPのフレームによって符号化されたBL３１B並びに、残余SNRのIとPのフレーム３３Bと、少なくとも第１と第２のレベルの動き補償された、残余又は時間的（FGST）、単一方向予測（B）フレーム３６,３７,及び３８とによってFGS符号化された単一のEL ３２Bを有する。

第１レベルのFGSTフレーム３６は少なくともSNRフレーム３３Bの一部分から導き出された高品質拡張BL参照フレームから単一方向に予測される。第２レベルのFGSTフレーム３７は更に、少なくともこの高品質拡張BL参照フレームの一部分から単一方向に予測される。第２レベルのFGSTフレーム３８は、高品質拡張FGST参照フレーム、すなわち、少なくとも第１レベルのFGSTフレーム36の一部分、から単一方向に予測される。

これらの拡張参照フレームはずっと高い品質のものであるので、FGSTフレーム内部で符号化された残余動き補償エラーは図１A及び１BのFGS HS構造のFGSTフレームにおいてよりもずっと低い。したがって、本発明のFGSTフレームは少ないビット数で効率的に伝送し得る。本発明の高符号化効率は特に、符号化効率利得が必要な、無線の応用分野、に有用である。

図４は本発明の例示的実施例によるFGS HSビデオ符号器２００の機能的アーキテクチャを示す。このビデオ符号器２００は図３A及び３BのFGS HS構造30A,30Bによってビデオ信号を符号化することができるものである。ビデオ符号器２００はBL符号器210及びEL符号器２３０を有する。ビデオ符号器２００は元のビデオ信号を受信し、この信号はBL符号器２１０によってIとPのフレームのBLビット・ストリームに処理され、EL符号器２３０によって、FGS SNRのIとPのフレーム及び/又はPとBのFGSTフレームのELビット・ストリームに処理される。図4の符号器２００は離散コサイン変換に基づくものであるが、ウェーブレットのような、別の変換を用い得る。

BL符号器２１０は、動き予測器２１１、動き補償器２１２、離散コサイン変換（DCT）２１３、量子化装置２１４、及びエントロピ符号器２１５を有する、第１ビデオ信号処理分岐で、BLビット・ストリームを生成するもの、を有する。BL符号器210は更に、逆量子化装置２１６、逆離散コサイン変換（IDCT）２１７、及びフレーム・メモリ２１８を含む第２ビデオ信号処理分岐を有する。

フレーム・メモリ２１８は、標準BL参照フレーム、拡張BL参照フレーム、及びFGST参照フレームを記憶するのに用いられる。動き予測器２１１は元のビデオ信号を受信し、フレーム・メモリ218に記憶された参照フレームと元のビデオ信号におけるビデオ・フレームとの間の動きの量で、画素特性における変動によって表されるもの、を予測し、BL動きベクトルと予測モード（BL参照フレーム）、又はEL動きベクトルと予測モード（拡張BL参照フレーム及びFGST参照フレーム）を有する動き情報信号を生成する。動き情報信号は動き補償器２１２及び第１データフロー・コントローラ２１９に印加される。

標準BL参照フレーム信号、BL動きベクトル及び予測モード信号が動き補償器２１２によって利用されて、標準BLのPフレームを予測するのに用いられる動き補償参照フレーム信号を生成する。拡張BL参照フレーム信号、FGST参照フレーム信号、及び、FGSTフレームに対するEL動き情報信号、が、動き補償器２１２によって利用されて、FGSTフレームの第１と第２のレベルを予測するのに用いられる、動き補償拡張BL参照フレーム信号及び動き補償FGST参照フレーム信号を生成する。

動き補償残余BLのPフレーム信号が第１減算器２２０で、標準動き補償BL参照フレーム信号を元のビデオ信号から減算することによって、生成される。第１レベルのFGSTフレームを生成する動き補償残余FGSTフレーム信号は第１減算器２２０で、動き補償拡張BL参照フレーム信号を元のビデオ信号から減算することによって、生成される。図３Aの第２レベルのFGSTフレーム３５Aを生成する動き補償残余FGSTフレーム信号は第１減算器２２０で、動き補償拡張BL参照フレームと動き補償拡張FGST参照フレーム信号を合成したものを元のビデオ信号から減算することによって、生成する。図３Aの第２レベルFGSTフレーム３５Bを生成する動き補償残余FGSTフレーム信号は第１減算器２２０で、２つの別の動き補償拡張FGST参照フレームを有する合成動き補償拡張FGST参照フレーム信号を元のビデオ信号から、減算することによって、生成される。

図３Bの第２レベルのFGSTフレーム３７を生成する動き補償残余FGSTフレーム信号は第１減算器２２０で、動き補償拡張BL参照フレーム信号を元のビデオ信号から減算することによって、生成される。図３Bの第２レベルのFGSTフレーム38を生成する動き補償残余FGSTフレーム信号は第１減算器２２０で、動き補償FGST参照フレーム信号を元のビデオ信号から減算することによって、生成される。

DCT２１３は圧縮を、動き補償された残余の、FGSTとBLのPのフレーム信号における空間的情報を周波数領域に慣例的に変換することによって、実現する。元のビデオ信号におけるBLのIフレームもこの方法でDCT２１３によって圧縮される。適切な時点で、第２データフロー・コントローラ２２１はDCT213の出力で生成されたBLのIとPのフレームのDCTビットプレーン信号を量子化装置２１４に送信し、更に圧縮する。

エントロピ符号器２１５は通常の可変長符号化などの手法を用いて更に、量子化装置２１４の出力での量子化DCTビットプレーン信号を圧縮する。第１多重化装置２２２はエントロピ符号器２１５の出力での信号を、第１多重化装置２２２に、上記動き予測器から第１データフロー・コントローラ２１９を介して、転送される、BL動き情報信号、と多重化してIとPのフレームのBLビット・ストリームを生成する。

逆量子化装置２１６は量子化装置214の出力を逆量子化して、量子化装置214に対する変換入力を表す信号を生成する。この信号は再構築された、BLのDCT係数を表す。IDCT２１７は再構築された、BLのDCT係数を復号化して、変換及び量子化の処理によって修正された元のビデオ信号のBLのIとPのフレームの表現を備える信号を生成する。第１加算器２２３はIDCT217の出力での信号と動き補償器212の出力での適切な参照フレーム信号からBLのIとPのフレームを再構築する。これらの再構築されたBLのIとPのフレームはフレーム・メモリ２１８に記憶され、別のBLのPフレームと第１レベルのFGSTフレームを予測する標準BL参照フレームとして用いられる。

EL符号器２３０は、DCT残余画像メモリ２３１、適応型量子化装置２３２、及びFGS符号器２３５を有する第１ビデオ信号処理分岐を有する。EL符号器230は更に、第１ビットプレーン選定器２３６、第２IDCT２３７、第２ビットプレーン選定器２４４、及び第３IDCT２４６を有する第２ビデオ信号処理分岐を有する。

EL符号器２３０における第２減算器２３８はDCT213の出力でのBLのDCTビットプレーン信号を量子化装置２１４の出力での量子化されたBLのDCTビットプレーン信号から減算してSNRのDCTビットプレーン残余画像を生成する。適切な時点で、第３のデータフロー・コントローラ２３９がSNRのDCTビットプレーン残余画像信号（SNR残余信号）を第２減算器238の出力に印加するか、動き補償された第１と第２のレベルのFGST のDCTビットプレーン残余信号（FGST残余信号）が第２データフロー・コントローラ２２１によってDCT残余画像メモリ２３１に転送されて記憶される。

適応型量子化装置２３２は変換符号化ビデオの視覚品質を向上させる既知の符号化ツールである。適応型量子化装置２３２はSNRとFGSTの残余信号に選択的拡張を、残余画像フレーム内部の選定マクロブロックをビット・シフトすることによって、行う既知の選択的拡張ツール２３３、及び選定係数をビット・シフトする任意の既知の周波数重み付けツールを有する。

適応型量子化装置２３２でのSNR残余信号はFGS符号器２３５によって、ビットプレーンDCT走査及びエントロピ符号化を用いて圧縮され、それによってFGSのSNRビットストリームが生成される。第４データ・フロー・コントローラ２４０は適切な時点でFGSのSNRビットストリームを第３多重化装置２４３に送出する。適応型量子化装置２３２の出力でのFGST残余信号は更に、FGS符号器２３５によって、ビットプレーンDCT走査及びエントロピ符号化を用いて圧縮される。FGS符号器235の出力での圧縮FGST残余信号は第４データフロー・コントローラ２４０によって適切な時点で第２多重化装置241に送出され、該第２多重化装置２４１は第１データフロー・コントローラ２１９を介して転送されるEL動き情報信号を圧縮FGST残余信号と多重化し、それによってFGSTビットストリームを生成する。SNR FGS ELビットストリームと時間的FGSビットストリームは、第３多重化装置２４３を介して多重化されて（SNRと、第１と第２のレベルの時間的、との両方のFGSフレームを有する）単一のELビット・ストリームを生成するか、２つの別個のストリームにおいて記憶/送信される。

第１ビットプレーン選定器すなわちマスキング装置２３６は、SNR残余画像信号の、少なくともビットプレーンの一部分、すなわち、ビットプレーンの一部分、1つ若しくは複数のビットプレーンの全部、又はビットプレーンの全部とビットプレーンの一部分との如何なる組み合わせでもあるもの、を選定する。このデータ信号は第２加算器２４２で、BL符号器210のIDCT２１６の出力でのその相当するBLフレーム信号と合成されて拡張BL参照フレームを構築する。第２IDCT２３７は拡張BL参照フレームのDCT係数を復号化する。第３加算器２２４は、第２IDCT２３７の出力での拡張BLフレーム信号と動き補償器２１２での出力での適切な参照フレーム信号とを合成する。第３加算器２２４で構築された拡張BLフレームはフレーム・メモリ218に記憶され、FGSTフレームを予測する拡張BL参照フレームとして用いられる。

第２ビットプレーン選定器２４４、第４と第５の加算器２４５並びに２４７、及び第３のIDCT２４６は第２レベルのFGSTフレームを予測するのに用いられるFGST参照フレームを生成する。図３Aの第２レベルのFGSTフレーム３５Aの場合には、第２ビットプレーン選定器２４４は参照FGST DCTビットプレーン残余画像３４の少なくとも一部分と参照SNR DCTビットプレーン残余画像３３Aの少なくとも一部分を選定する。このデータ信号は、第４加算器２４５でBL符号器２１０のIDCT２１６の出力での相当するBL DCT残余フレーム信号と合成されて、図３AのFGSTフレーム３５Aを双方向に予測するFGST参照フレーム信号を構築する。このデータ信号は更に、第３IDCT２４６に印加される。

図３Aの第２レベルのFGSTフレーム３５Bの場合、第２ビットプレーン選定器２４４は参照FGST DCTビットプレーン残余画像３４の各々の少なくとも一部分を選定する。このデータ信号は図３AのFGSTフレーム３５Bを双方向に予測するFGST参照フレーム信号を有する。このデータ信号は第４加算器２４５によって処理されるものでなく、したがって、第３IDCT２４６に印加される。

図３Bの第２レベルのFGSTフレーム37の場合、第２ビットプレーン選定器２４４は参照SNR DCTビットプレーン残余画像３３Bの少なくとも一部分を選定する。このデータ信号は第4加算器２４５で、BL符号器２１０のIDCT２１６の出力での相当するBL DCT残余フレーム信号と合成されて図３Bの第２レベルFGSTフレーム３７を単一方向に予測するFGST参照フレーム信号を構築する。

図３Bのもう1つの第２レベルFGSTフレーム38の場合、第２ビットプレーン選定器244は参照FGST DCTビットプレーン残余画像３６の少なくとも一部分を選定する。このデータ信号は図３BのFGSTフレーム３８を単一方向に予測するFGST参照フレーム信号を有する。このデータ信号は第４加算器２４５によって処理されるものでなく、したがって、第３IDCT２４６に印加される。

第３IDCT２４６は上記参照フレーム信号のDCT係数を復号化する。第５加算器２４７は第３IDCT２４６の出力での信号と動き補償器218の出力での適切な参照フレーム信号とを合成する。第５加算器２４７で構築された、拡張FGSTフレーム（すなわち、図３Aの第１レベルFGST参照フレーム３４とSNR参照フレーム３３A、並びに図３Bの第１レベルFGST参照フレーム３６から導き出されたもの）及び拡張BL参照フレーム（すなわち、図３Bの第１レベルSNR参照フレームから導き出されたもの）はフレーム・メモリ２１８に記憶されて、第２レベルFGSTフレームを予測する参照フレームとして用いられる。

図５は本発明の例示的実施例によるFGS HSビデオ復号器300の機能的アーキテクチャを示す。このビデオ復号器３００は図4のビデオ符号器２００によって生成されるBLとELのビットストリームを復号化することができる。

ビデオ復号器３００はBL復号器３１０及びEL復号器３３０を有する。BL復号器はBL可変長復号器（VLD）３１１、逆量子化装置３１１、並びに第１IDCT３１３、BLフレーム・メモリ３１４及び動き補償器３１５を有する。

EL復号器３３０はFGSビットプレーン復号器３３１、第１ビットプレーン選定器３３２、第２IDCT３３３、ELフレーム・メモリ３３４、第２ビットプレーン選定器３４３、及び第３IDCT３４４を有する。EL復号器３３０は動き補償器３１５をBL復号器310と共有する。

BLビットストリームはBL復号器３１０によって受信され、第１逆多重化装置３１６を介して、逆多重化されて、符号化BL情報信号をBL動き情報信号から分離する。BL VLD３１１はBL情報信号を受信し、BL符号器２１０からのエントロピ符号化処理を逆にして量子化BL DCT係数信号を生成する。量子化BL情報信号は逆量子化装置３１２によって逆量子化されてBL DCT係数信号を再構築する。第１IDCT３１３はBL DCT係数信号を逆コサイン変換する。第１IDCT313の出力でのBLのIのフレーム部分は更なる処理を何ら要するものでない。したがって、第１加算器３１９でのBLのIフレームはBLフレーム・メモリ３１４に記憶される。

動き補償器３１５は、第１データフロー・コントローラによって制御されて、適切な時点でBL動き情報信号を受信する。動き補償器３１５は更に、BLフレーム・メモリ３１４に記憶されたBL動き情報及び、BLのIとPの参照フレーム、を用いて、BLのPフレームを予測するのに用いられる動き補償BL参照フレームを再構築する。

動き補償器３１５の出力での動き補償BL参照フレーム信号は第１加算器３１９に適切な時点で第２データフロー・コントローラ３１８によって印加される。第１加算器３１９はこの信号と、第１IDCT３１３の出力での信号の残りの部分とを合成してBL Pフレームを再構築し、その結果はBLフレーム・メモリ３１４に記憶される。第１加算器319の出力で生成されたBLフレーム信号は任意にBLビデオとして出力し得る。

ELビットストリームはEL復号器３３０によって受信され、第２逆多重化装置３３５によって逆多重化されて符号化FGS SNR信号を符号化FGST信号から分離する。符号化FGS SNR信号は適切な時点で第３データフロー・コントローラ３３７を介して、FGSビットプレーン復号器３３１に入力され、該復号器は符号化FGS SNR信号のビットプレーンを、可変長復号化、逆シフト、及び逆離散コサイン変換の処理を行うことによって、復号化する。第２加算器３４０は、FGSビットプレーン復号器331の出力での復号化FGSのIとPのSNRフレーム信号を第１加算器３１９の出力での復号化されたBLのIとPのフレーム信号と適切な時点で第4データフロー・コントローラ３３８を介して合成する。第５データフロー・コントローラ３４１は、適切な時点を選定して第１加算器319の出力で、合成されたBLとSNRのフレーム信号を、拡張ビデオとして出力する。

第１ビットプレーン選定器３３２はFGSビットプレーン復号器３３１によって処理されるFGS SNR残余画像又はフレームの信号を逆離散コサイン変換する前に入力し、先行して選定された、いくつかの参照ビットプレーン、ビットプレーンの一部など、で、符号化中に第１レベルFGSTフレームを予測するのに用いられたもの、を選定する。第２IDCT３３３は選定された部分的に復号化された参照FGS SNRビットプレーンに逆コサイン変換を行う。第３加算器３４２は第２IDCT333の出力での完全に復号化された参照FGS SNR残余画像又はフレームの部分を、BLフレーム・メモリ314に記憶された相当するBLフレームと合成して、拡張BL参照フレームを再構築する。拡張BL参照フレームはELフレーム・メモリ３３４に記憶されて、後に第１レベルFGSTフレームを再構築するのに用いられる。

第３逆多重化装置３３６はFGST情報信号を逆多重化して符号化FGST残余画像又はフレームの信号をEL動き情報信号から分離する。符号化FGST残余画像又はフレームの信号はFGSビットプレーン復号器３３１によって適切な瞬間に、第３データフロー・コントローラ３３７を介して、受信され、次に説明するように処理される。

図３Aの双方向に予測されたFGSTフレーム３５Aについては、第２ビットプレーン選定器３３２はFGSビットプレーン復号器３３１によって処理される、FGSのSNRとFGSTとの両方の、残余の、画像又はフレームの信号を、逆離散コサイン変換する前に、入力し、先行して選定された、いくつかの、参照ビットプレーン、ビットプレーンの部分、など、で、符号化中に第２レベルFGSTフレーム３５Aを予測するのに用いられたもの、を選定する。第３IDCT３４４は選定された部分的に復号化された参照FGSのSNRとFGSTのビットプレーンに逆コサイン変換を行う。FGS SNRビットプレーンの場合、第４加算器３４５が第３IDCT344の出力での完全に復号化された参照FGS SNR残余画像又はフレームの部分をBLフレーム・メモリ314に記憶された相当するBLフレームと合成して第２レベルのFGSTフレーム３５Aに対する拡張BL参照フレームを再構築する。これらの拡張BL参照フレームはELフレーム・メモリ334に記憶される。FGSTビットプレーンの場合、第４加算器は何の役目を担うものでなく、したがって、第３IDCT344の出力での完全に復号化された拡張FGST参照フレームがELフレーム・メモリ３３４に、相当する拡張BL参照フレームとともに、記憶されて、後に第２レベルのFGSTフレーム３５Aを再構築するのに用いられる。

図３Aの双方向に予測されたFGSTフレーム３５Bについては、第２ビットプレーン選定器３３２はFGSビットプレーン復号器３３１によって処理されるFGST残余画像又はフレームの信号のみを逆離散コサイン変換する前に入力し、先行して選定された、いくつかの参照ビットプレーン、ビットプレーンの部分、など、で、符号化中に第２レベルのFGSTフレーム３５Bを予測するのに用いられたもの、を選定する。第３IDCT３４４は選定された部分的に復号化された参照FGSTビットプレーンに逆コサイン変換を行う。第４加算器はFGSTビットプレーンの場合には、役目を何ら担うものでないため、第３IDCT344の出力での完全に復号化された拡張FGST参照フレームはELフレーム・メモリ３３４に記憶されて、第２レベルFGSTフレーム３５Bを再構築するのに後に用いられる。

図３Bの単一方向に予測されたFGSTフレーム３７については、第２ビットプレーン３３２は、FGSビットプレーン復号器３３１によって処理されるFGS SNRの残余の画像又はフレームの信号を入力し、先行して選定された、いくつかの参照ビットプレーン、ビットプレーンの部分、など、で、符号化中に、第２レベルのFGSTフレーム３７を予測するのに用いられたもの、を選定する。第３IDCT３４４は選定された部分的に復号化された参照FGS SNRビットプレーンに逆コサイン変換を行う。第4加算器３４５は第３IDCT344の出力での完全に復号化された参照FGS SNR残余画像又はフレームの部分をBLフレーム・メモリ314に記憶された相当するBLフレームと合成して第２レベルのFGSTフレーム３７に対する拡張BL参照フレームを再構築する。これらの拡張BL参照フレームはELフレーム・メモリ334に記憶されて後に、第２レベルFGSTフレーム３７を再構築するのに用いられる。

図３Bの単一方向に予測されるFGSTフレーム３８については、第２ビットプレーン選定器３３２はFGSビットプレーン復号器３３１によって処理されるFGST残余の画像又はフレームの信号のみを、逆離散コサイン変換前に、入力し、先行して選定された、いくつかの参照ビットプレーン、ビットプレーンの部分、など、で、符号化中に第２レベルFGSTフレーム３８を予測するのに用いられたもの、を選定する。第３IDCT３４４は選定された部分的に復号化された参照FGSTビットプレーンに逆コサイン変換を行う。第４加算器はFGSTビットプレーンの場合には何ら役目を担うものでないため、第３IDCT344の出力での完全に復号化された拡張FGST参照残余画像又はフレームの部分はELフレーム・メモリ３３４に記憶されて、第２レベルFGSTフレーム３８を再構築するのに後に用いられる。

EL動き情報信号は動き補償器３１５によって適切な瞬間に、第１データフロー・コントローラ３１７を介して、受信される。動き補償器は、ELフレーム・メモリにおいて記憶された、EL動き情報と、拡張BL並びにFGSTの参照フレーム、を用いて動き補償拡張BLとFGSTの参照フレームを再構築する。

第５加算器３３９は動き補償器３１５の出力での動き補償拡張BLとFGSTの参照フレーム信号をFGS復号器３３１の出力での復号化FGST残余フレーム信号と合成する。この機能のタイミングは第４データフロー・コントローラ３３８によって制御される。第５データフロー・コントローラ３４１は、適切な時点で、第５加算器の出力で、再構築されたFGSTフレーム信号を、拡張ビデオとして出力する。

図６は本発明の原理を実施するのに用い得るシステム400の例示的実施例を示す。システム４００はテレビ受信機、セット・トップ・ボックス、デスクトップ型、ラップトップ型若しくはパームトップ型のコンピュータ、携帯情報端末（PDA）、ビデオ・カセット・レコーダ（VCR）、ディジタル・ビデオ・レコーダ（DVR）、TiVO（ティーボ）装置など、のようなビデオ/画像記憶装置、更には、これら及び別の装置の一部分又は組み合わせを表し得る。システム４００は1つ又は複数のビデオ/画像源４０１、1つ又は複数の入力/出力装置４０２、プロセッサ４０３及びメモリ４０４を有する。ビデオ/画像源４０１は、例えば、テレビジョン受信器、VCR又は別のビデオ/画像記憶装置を表し得る。上記ビデオ/画像源４０１は代替として、例えば、インターネットのようなグローバル・コンピュータ・ネットワーク、ワイド・エリア・ネットワーク、メトロポリタン・エリア・ネットワーク、ローカル・エリア・ネットワーク、地上波放送システム、ケーブル・ネットワーク、衛星ネットワーク、無線ネットワーク、若しくは電話ネットワーク、更には、これら及び別の種類のネットワークの部分又は組み合わせを介して1つ若しくは複数のサーバからビデオを受信する1つ又は複数のネットワーク接続を表し得る。

入出力装置４０２、プロセッサ４０３及びメモリ４０４は通信媒体４０５を介して通信し得る。通信媒体４０５は、例えば、バス、通信ネットワーク、回路、回路カード若しくは別の装置の1つ又は複数の内部接続、更には、これら並びに別の通信装置の一部分及び組み合わせを表し得る。上記ビデオ/画像源４０１からの入力ビデオ・データはメモリ４０４に記憶された1つ又は複数のソフトウェア・プログラムによって処理され、プロセッサ４０３によって、表示装置４０６に供給される出力ビデオ/画像を生成するよう、実行される。

好適実施例では、本発明の原理を利用する符号化及び復号化はコンピュータが判読可能なコードで、このシステムによって実行されるもの、によって実施し得る。このコードはメモリ404に記憶され得るか、CD-ROM又はフロッピー（登録商標）・ディスクのようなメモリ媒体からの読み取り/ダウンロードが行われ得る。別の実施例では、ハードウェア回路を、ソフトウェア命令の代わりか、ソフトウェア命令との組み合わせで用いて、本発明を実施し得る。例えば、図4及び５に表す機能的構成要素は更に、別個のハードウェア構成要素として実施し得る。

本発明は特定の実施例によって上記に記載したが、本発明は本明細書及び特許請求の範囲開示の実施例に限定すなわち制限することを意図するものでないこととする。例えば、DCT以外の別の変換を利用し得るものであり、該別の変換はウェーブレット又は対戦追撃法を有するものであるが、これらに限定されるものでない。これら及び別の全てのそのような修正及び変更は本特許請求の範囲記載の範囲内におさまるものとする。

ハイブリッド型時間的SNR細粒度スケーラビリティとして知られるスケーラブルなビデオ符号化手法の例示的なスケーラビリティ構造を示す図である。ハイブリッド型時間的SNR細粒度スケーラビリティとして知られるスケーラブルなビデオ符号化手法の例示的なスケーラビリティ構造を示す図である。図１A及び１Bのスケーラビリティ構造を生成することができる、例示的なFGSハイブリッド型時間的SNRビデオ符号器の機能的アーキテクチャを示す図である。本発明の第１例示的実施例によるFGSベースのハイブリッド型時間的SNRスケーラビリティ構造を示す図である。本発明の第２例示的実施例によるFGSベースのハイブリッド型時間的SNRスケーラビリティ構造を示す図である。本発明の例示的実施例によるFGSハイブリッド型時間的SNRビデオ符号器の機能的アーキテクチャを示す図である。本発明の例示的実施例によるFGSハイブリッド型時間的SNRビデオ復号器の機能的アーキテクチャを示す図である。本発明の原理を実施するのに用い得るシステムの例示的実施例を示す図である。

Claims

ビデオを符号化する方法であって：
第１レベル動き補償残余画像フレームの少なくとも部分から動き補償拡張参照フレームを構築する工程；
該動き補償拡張参照フレーム並びに該ビデオから第２レベル動き補償残余画像フレームを予測する工程；及び
該第２レベル動き補償残余画像フレームを時間的フレームのデータ・ストリームに細粒度スケーラブル符号化する工程；
を有することを特徴とする、ビデオを符号化する方法。
請求項１記載の、ビデオを符号化する方法であって、更に：
該ビデオをベース・レイヤ・フレームのデータ・ストリームに符号化する工程；
残余画像フレームを該ベース・レイヤ・フレームから算定する工程；及び
該残余画像フレームをSNR品質フレームのデータ・ストリームに細粒度スケーラブル符号化する工程；
を有することを特徴とする、ビデオを符号化する方法。
請求項２記載の、ビデオを符号化する方法であって、更に：
該ベース・レイヤ・フレーム並びに、該残余画像フレームの少なくとも部分、から動き補償拡張ベース・レイヤ参照フレームを構築する工程；
該動き補償拡張ベース・レイヤ参照フレーム並びに該ビデオから該第１レベル動き補償残余画像フレームを予測する工程；及び
該第１レベル動き補償残余画像フレームを該時間的フレームのデータ・ストリームに細粒度スケーラブル符号化する工程；
を有することを特徴とする、ビデオを符号化する方法。
請求項３記載の、ビデオを符号化する方法であって、更に：
該時間的フレームのデータ・ストリームを該SNR品質フレームのデータ・ストリームと合成して、該時間的フレームと該SNR品質フレームとの、単一データ・ストリームを構築する工程；
を有することを特徴とする、ビデオを符号化する方法。
請求項２記載の、ビデオを符号化する方法であって、更に：
該時間的フレームのデータ・ストリームを該SNR品質フレームのデータ・ストリームと合成して、該時間的フレームと該SNR品質フレームとの、単一データ・ストリーム、を構築する工程；
を有することを特徴とする、ビデオを符号化する方法。
ビデオ信号を符号化する方法であって：
第１レベル動き補償残余画像フレームの少なくとも部分から動き補償拡張参照フレームを構築する工程；
該動き補償拡張参照フレーム並びに該ビデオから第２レベル動き補償残余画像フレームを予測する工程；及び
該第２レベル動き補償残余画像フレームを時間的フレームのデータ・ストリームに細粒度スケーラブル符号化する工程；
を有することを特徴とする、ビデオ信号を符号化する方法。
ビデオを符号化する装置であって：
第１レベル動き補償残余画像フレームの少なくとも部分から動き補償拡張参照フレームを構築する手段；
該動き補償拡張参照フレーム並びに該ビデオから第２レベル動き補償残余画像フレームを予測する手段；及び
該第２レベル動き補償残余画像フレームを時間的フレームのデータ・ストリームに細粒度スケーラブル符号化する手段；
を有することを特徴とする、ビデオを符号化する装置。
ビデオを符号化するメモリ媒体であって：
第１レベル動き補償残余画像フレームの少なくとも部分から動き補償拡張参照フレームを構築するコード；
該動き補償拡張参照フレーム並びに該ビデオから第２レベル動き補償残余画像フレームを予測するコード；及び
該第２レベル動き補償残余画像フレームを時間的フレームのデータ・ストリームに細粒度スケーラブル符号化するコード；
を有することを特徴とする、ビデオを符号化するメモリ媒体。
ベース・レイヤ・データ・ストリームと拡張レイヤ・データ・ストリームで、併せてビデオを表すもの、を、復号化する方法であって：
第１レベル動き補償残余画像フレームの少なくとも部分から動き補償拡張参照を構築する工程；
該拡張レイヤ・データ・ストリームの第２レベル時間的フレーム部分を細粒度スケーラブル復号化して第２レベル動き補償残余フレームを構築する工程；及び
該動き補償拡張参照フレームを該第２レベル動き補償残余フレームと合成して第２レベル時間的フレームを構築する工程；
を有することを特徴とする、復号化する方法。
請求項9記載の復号化する方法であって、更に：
該ベース・レイヤ・データ・ストリームを復号化してベース・レイヤ・フレームを構築する工程；
該拡張レイヤ・データ・ストリームのSNR品質フレーム部分を細粒度スケーラブル復号化してSNR品質フレームを構築する工程；
該ベース・レイヤ・フレーム並びに、該SNR品質フレームの少なくとも部分、から動き補償拡張ベース・レイヤ参照フレームを構築する工程；
該拡張レイヤ・データ・ストリームの時間的フレーム部分を細粒度スケーラブル復号化して該第１レベル動き補償残余フレームを構築する工程；及び
該動き補償拡張ベース・レイヤ参照フレームを該第１レベル動き補償残余フレームと合成して第１レベル時間的フレームを構築する工程；
を有することを特徴とする、復号化する方法。
請求項１０記載の復号化する方法であって、更に：
該ベース・レイヤ・フレーム及び該SNR品質フレームを拡張ビデオに合成する工程；
を有することを特徴とする、復号化する方法。
請求項１０記載の復号化する方法であって、更に：
該ベース・レイヤ・フレーム、該SNR品質フレーム、及び、該第１と該第２のレベルの時間的フレーム、を拡張ビデオに合成する工程；
を有することを特徴とする、復号化する方法。
ベース・レイヤ・データ・ストリームと拡張レイヤ・データ・ストリームで、併せてビデオを表すもの、を、復号化する装置であって：
第１レベル動き補償残余画像フレームの少なくとも部分から動き補償拡張参照を構築する手段；
該拡張レイヤ・データ・ストリームの第２レベル時間的フレーム部分を細粒度スケーラブル復号化して第２レベル動き補償残余フレームを構築する手段；及び
該動き補償拡張参照フレームを該第２レベル動き補償残余フレームと合成して第２レベル時間的フレームを構築する手段；
を有することを特徴とする、復号化する装置。
ベース・レイヤ・データ・ストリームと拡張レイヤ・データ・ストリームで、併せてビデオを表すもの、を、復号化するメモリ媒体であって：
第１レベル動き補償残余画像フレームの少なくとも部分から動き補償拡張参照を構築するコード；
該拡張レイヤ・データ・ストリームの第２レベル時間的フレーム部分を細粒度スケーラブル復号化して第２レベル動き補償残余フレームを構築するコード；及び
該動き補償拡張参照フレームを該第２レベル動き補償残余フレームと合成して第２レベル時間的フレームを構築するコード；
を有することを特徴とする、復号化するメモリ媒体。