JP2004509581A - ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ - Google Patents
ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ Download PDFInfo
- Publication number
- JP2004509581A JP2004509581A JP2002529033A JP2002529033A JP2004509581A JP 2004509581 A JP2004509581 A JP 2004509581A JP 2002529033 A JP2002529033 A JP 2002529033A JP 2002529033 A JP2002529033 A JP 2002529033A JP 2004509581 A JP2004509581 A JP 2004509581A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- difference
- enhancement layer
- motion compensated
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 235
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000006835 compression Effects 0.000 claims 1
- 238000007906 compression Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 11
- 230000002457 bidirectional effect Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004503 fine granule Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】拡張レイヤ・ビデオ符号化方式、特に、予測及び双方向予測のフレームに対して拡張レイヤ内で動き補償を用いるＦＧＳ拡張レイヤ・ビデオ符号化方式、を提供すること。
【解決手段】
ファイン・グラニューラ・スケーラブル符号化拡張レイヤ内に、動き補償を有するビデオ符号化技法。一実施例の場合、前記ビデオ符号化技法は、動き補償されていない拡張レイヤＩおよびＰフレームと動き補償された拡張レイヤＢフレームを有する二重ループ予測に基づく拡張レイヤを含む。動き補償された拡張レイヤＢフレームは、１） ２つの時間的に隣接した差分ＩおよびＰまたはＰおよびＰのフレーム残差からの動き予測と、２） 前記復号化された基本レイヤＢフレーム残差を前記オリジナルの基本レイヤＢフレーム残差から減算することによって得られる前記差分Ｂフレーム残差を使用して、計算される。第２の実施例の場合、前記拡張レイヤは、更に、動き補償された拡張レイヤＰフレームを含む。動き補償された拡張レイヤＰフレームは、１） 時間的に隣接した差分ＩまたはＰフレーム残差からの動き予測と、２） 前記復号化された基本レイヤＰフレーム残差とを前記オリジナルの基本レイヤＰフレーム残差から減算することによって得られる前記差分Ｐフレーム残差を使用して、計算される。
【選択図】図４
【解決手段】
ファイン・グラニューラ・スケーラブル符号化拡張レイヤ内に、動き補償を有するビデオ符号化技法。一実施例の場合、前記ビデオ符号化技法は、動き補償されていない拡張レイヤＩおよびＰフレームと動き補償された拡張レイヤＢフレームを有する二重ループ予測に基づく拡張レイヤを含む。動き補償された拡張レイヤＢフレームは、１） ２つの時間的に隣接した差分ＩおよびＰまたはＰおよびＰのフレーム残差からの動き予測と、２） 前記復号化された基本レイヤＢフレーム残差を前記オリジナルの基本レイヤＢフレーム残差から減算することによって得られる前記差分Ｂフレーム残差を使用して、計算される。第２の実施例の場合、前記拡張レイヤは、更に、動き補償された拡張レイヤＰフレームを含む。動き補償された拡張レイヤＰフレームは、１） 時間的に隣接した差分ＩまたはＰフレーム残差からの動き予測と、２） 前記復号化された基本レイヤＰフレーム残差とを前記オリジナルの基本レイヤＰフレーム残差から減算することによって得られる前記差分Ｐフレーム残差を使用して、計算される。
【選択図】図４
Description
【発明が属する技術分野】
【０００１】
本発明は、ビデオ符号化、特に、双方向予測フレーム（Ｂフレーム）と、予測フレームおよび双方向予測フレーム（ＰおよびＢのフレーム）とに対する拡張レイヤ内での動き補償を用いるスケーラブル拡張レイヤ・ビデオ符号化方式に関する。
【従来の技術】
【０００２】
スケーラブル拡張レイヤ・ビデオ符号化は、インターネットのような帯域が変化するコンピュータ・ネットワークによって伝送されるビデオを圧縮するために使用されてきている。（ＩＳＯ ＭＰＥＧ−４標準に採用されている）ファイン・グラニューラ符号化技術を用いる現行の拡張レイヤ・ビデオ符号化方式が、図１に示されている。図に示されるように、ビデオ符号化方式１０は、ビット・レートＲＢＬで符号化される予測に基づく基本レイヤ１１と、ＲＥＬで符号化されるＦＧＳ拡張レイヤ１２を含む。
【０００３】
予測に基づく基本レイヤ１１は、フレーム内符号化Ｉフレームと、前のＩまたはＰフレームから動き推定補償を使用して時間的に予測されるフレーム間符号化Ｐフレームと、Ｂフレームに隣接している前と後のフレームから動き推定補償を使用して時間的に予測されるフレーム間双方向符号化Ｂフレームとを含む。基本レイヤ１１の中で予測および／または補間符号化（すなわち動き推定及び対応する補償）を使用すると、その中の時間的冗長度は減少する。
【０００４】
拡張レイヤ１２は、それぞれのオリジナルのフレームからそれらのそれぞれの再構成された基本レイヤ・フレームを減算すること（この減算は、動き補償されるドメイン内でも行うことが出来る）によって導かれるＦＧＳ拡張レイヤＩ、Ｐ及びＢフレームを含む。結果として、拡張レイヤ内のＦＧＳ拡張レイヤＩ、Ｐ及びＢフレームは、動き補償されない。（ＦＧＳ残差は、同じタイム・インスタンスでフレームから取り込まれる。）この主な理由は、伝送時に利用可能な帯域に個々に依存する各ＦＧＳ拡張レイヤ・フレームの切捨てを可能にするフレキシビリティが提供されるからである。より詳しくは、拡張レイヤ１２のファイン・グラニューラ・スケーラブル符号化によって、ＦＧＳビデオストリームを、Ｒｍｉｎ ＝ＲＢＬからＲｍａｘ ＝ ＲＢＬ ＋ ＲＥＬまでの利用可能な帯域で任意のネットワーク・セッションによって伝送することが可能となる。例えば、送信機及び受信機の間で利用可能な帯域がＢ＝Ｒである場合、送信機は、レートＲＢＬで基本レイヤ・フレームを送信し、かつレートＲＥＬ ＝ Ｒ‐ＲＢＬで拡張レイヤ・フレームの部分のみを送信する。図１から分かるように、拡張レイヤ内のＦＧＳ拡張レイヤ・フレームの部分は、伝送に対してファイン・グラニューラ・スケーラブル方法で選択することが出来る。ゆえに、伝送されるビット・レートの合計は、Ｒ＝ ＲＢＬ ＋ ＲＥＬである。このフレキシビリティにより、単一の拡張レイヤで広範囲にわたる伝送帯域がサポートされる。
【０００５】
図２は、図１のビデオ符号化方式の基本レイヤ１１及び拡張レイヤ１２を符号化する従来のＦＧＳ符号器のブロック図を示す。図に示されるように、フレームｉの拡張レイヤ残差（ＦＧＳＲ（ｉ））は、ＭＣＲ（ｉ）−ＭＣＲＱ（ｉ）に等しい。ここで、ＭＣＲ（ｉ）は、フレームｉの動き補償された残差であり、ＭＣＲＱ（ｉ）は、量子化及び逆量子化処理後のフレームｉの動き補償された残差である。
【０００６】
図１の現行のＦＧＳ拡張レイヤ・ビデオ符号化方式１０は、極めてフレキシブルではあるが、それは、その性能が同じ伝送ビット・レートで機能する非スケーラブルなコーダの性能と比較して、ビデオ画質が相対的に低いという問題を有する。画質の低下は、拡張レイヤ１２のファイン・グラニューラ・スケーラブル符号化に起因するのではなく、主に、拡張レイヤ１２内のＦＧＳ残差フレーム間の時間的冗長度の利用が減少したことに起因する。特に、拡張レイヤ１２のＦＧＳ拡張レイヤ・フレームは、それらのそれぞれの基本レイヤＩ、ＰおよびＢフレームの動き補償された残差のみから導かれる。如何なるＦＧＳ拡張レイヤ・フレームも、拡張レイヤ１２内の他のＦＧＳ拡張レイヤ・フレームまたは基本レイヤ１１内の他のフレームを予測するためには、使用されない。
【０００７】
したがって、現行のＦＧＳビデオ符号化方式に典型的なフレキシビリティ及び魅力的な特性の大部分を維持しつつ、画質を向上させるために拡張レイヤ内で動き補償を用いるスケーラブル拡張レイア・ビデオ符号化方式が、必要とされている。
【課題を解決するための手段】
【０００８】
本発明は、拡張レイヤ・ビデオ符号化方式、特に、予測及び双方向予測のフレームに対して拡張レイヤ内で動き補償を用いるＦＧＳ拡張レイヤ・ビデオ符号化方式を目的とする。本発明の一つの観点は、基本レイヤ・フレームを発生させるために、非スケーラブルな符復号化によって、符号化されていないビデオを符号化するステップと、差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記符号化されていないビデオと前記基本レイヤ・フレームから前記差分フレーム残差を計算するステップと、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の前記少なくとも部分に適用するステップと、動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するステップとを有するビデオを符号化する方法に関する。
【０００９】
本発明の別の観点は、基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するステップと、差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するステップと、リファレンス動き補償された差分フレーム残差を発生させるために、リファレンスとして作用する前記差分フレーム残差の前記少なくとも部分に動き補償を適用するステップと、動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を前記差分フレーム残差のそれぞれのものに加算するステップと、画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるステップとを有する、圧縮ビデオを復号化する方法に関する。
【００１０】
本発明の更に別の観点は、符号化されていないビデオを、基本レイヤ・フレームに非スケーラブルにエンコードをするためのコードと、差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして機能するように、前記差分フレーム残差を、前記符号化されていないビデオおよび前記基本レイヤ・フレームから計算するためのコードと、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の少なくとも部分に適用するためのコードと、
動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するためのコードとを有するメモリ媒体に関する。
【００１１】
本発明の更なる観点は、基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するためのコードと、前記差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するためのコードと、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に、適用するためのコードと、動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するためのコードと、画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるためのコードとを有するメモリ媒体に関する。
【００１２】
更に、本発明の更なる観点は、基本レイヤ・フレームを発生させる符号化されていないビデオを非スケーラブルに符号化するための手段と、差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記符号化されていないビデオおよび前記基本レイヤ・フレームから前記差分フレーム残差を計算するための手段と、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、 動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものから前記リファレンス動き補償された差分フレーム残差を減算するための手段とを有する、ビデオを符号化するための装置に関する。
【００１３】
本発明の更に別の観点は、基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するための手段分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するための手段と、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するための手段と、画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるための手段とを有する、圧縮ビデオを復号化するための装置に関する。
【発明を実施するための説明】
【００１４】
本発明の効果、特性、および様々な付加機能は、以下に、（図面全体を通して同じ要素には同じ参照番号が付されている）添付の図面と共に詳細に記載される実施例を考慮して、より明らかになるであろう。
【００１５】
図３Ａは、本発明の第１の典型的な実施例による拡張レイヤ・ビデオ符号化方式３０を示す。図に示されるように、このビデオ符号化方式３０は、予測に基づく基本レイヤ３１と二重ループ予測に基づく拡張レイヤ３２を含む。
【００１６】
予測に基づく基本レイヤ３１は、図１で示される従来の拡張レイヤ・ビデオ方式のように、フレーム内符号化Ｉフレーム、フレーム間符号化予測Ｐフレーム、およびフレーム間符号化双方向予測Ｂフレームを含む。基本レイヤＩ、Ｐ、およびＢフレームは、従来の非スケーラブルなフレーム予測符号化技法を使用して符号化することが出来る。（基本レイヤＩフレームは、もちろん動き予測されない。）。
【００１７】
二重ループ予測に基づく拡張レイヤ３２は、動き予測されていない拡張レイヤＩおよびＰフレームと動き予測された拡張レイヤＢフレームを含む。動き予測されていない拡張レイヤＩおよびＰフレームは、従来、それらのそれぞれの再構成された（復号化された）基本レイヤＩおよびＰフレーム残差をそれらのそれぞれのオリジナルの基本レイヤＩおよびＰフレームの残差から減算することによって導かれる。
【００１８】
本発明に従って、動き予測された拡張レイヤＢフレームは、それぞれ、１）２つの時間的に隣接した差分ＩおよびＰまたはＰおよびＰフレーム残差（別名、拡張レイヤ・フレーム）からの動き予測と、２）復号化された基本レイヤＢフレーム残差をオリジナルの基本レイヤＢフレーム残差から減算することによって得られる差分Ｂフレーム残差とを使用して計算される。２）差分Ｂフレーム残差と、１）２つの時間的に隣接した、動き補償された差分フレーム残差から得られるＢフレーム動き予測との差は、拡張レイア ３２内で動き予測された拡張レイヤＢフレームを提供する。この処理から生じる動き予測された拡張レイヤＢフレームと動き予測されていない拡張レイヤＩおよびＰフレームは、何れも、任意の適切なスケーラブルな符復号化、好ましくは、図３Ａに示されるファイン・グラニューラ・スケーラブル（ＦＧＳ）符復号化、によって符号化することが出来る。
【００１９】
本発明のビデオ符号化方式３０は、それが、拡張レイヤ３２の拡張レイヤＢフレーム内で時間的冗長度を減らすので、ビデオ画質を向上させる。拡張レイヤＢフレームが、ＩＢＢＰのＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）構造において拡張レイヤ３２の全ビット・レート予算（ｂｕｄｇｅｔ）の６６％を占めるので、拡張レイヤＢフレームに対してのみ動き補償を行うことから、画質のロスは、大部分のビデオ・シーケンスに対し極めて限定される。（従来の拡張レイヤ・ビデオ符号化方式の場合、通常のレート制御は、全ての拡張レイヤＩ、ＰおよびＢフレームに等しい数のビットを割り当てることによって、大部分拡張レイヤ内で行われる。）
【００２０】
更に、レート制御が、本発明のビデオ符号化方式によって充分な性能を達成するために重要な役割を果たすことに留意することは、重要である。しかしながら、Ｂｔｏｔ ＝ ｂＩ＊Ｎｏ．＿Ｉ＿ｆｒａｍｅｓ ＋ ｂＰ＊Ｎｏ．＿Ｐ＿ｆｒａｍｅｓ ＋ ｂＢ＊Ｎｏ．＿Ｂ＿ｆｒａｍｅｓ（ここで、ｂＩ＞ｂＰ＞ｂＢ）にしたがってＧＯＰに全ビット予算 Ｂｔｏｔを割り当てる極めて単純なアプローチさえ、すでに、極めて充分な結果を提供する。更に、動き補償ループ内で使用される各拡張レイヤ・リファレンス・フレームごとに、拡張レイヤのビット／ビットプレーン（ビット／ビットプレーンは、整数である必要はない）の数を異ならせることも可能であることにも留意されたい。更に、場合によっては、拡張レイヤ動き補償ループには、拡張レイヤ・リファレンス・フレーム内のある種の部分または周波数しか、組み込む必要がない。
【００２１】
上述の方式のパケットロス耐性は、図１の現行の拡張レイヤ符号化方式のそれに類似する。すなわち、エラーが、動き予測された拡張レイヤＢフレーム内で発生すると、このエラーは、次に受信されるＩまたはＰフレームを越えて広がらない。発生する可能性があるパケットロス・シナリオは、次の２つである：
・ エラーが、動き予測された拡張レイヤＢフレーム内で発生する場合、このエラーは、このＢフレームに限定される。
・ エラーが、拡張レイヤＩまたはＰフレーム内で発生する場合、このエラーは、これらの拡張レイヤ・フレームをリファレンスとして使用する動き予測された（２つの）拡張レイヤＢフレームを越えて進まない。次いで、動き予測された拡張レイヤＢフレームのうちの１つを破棄して、フレーム反復を適用するか、他のエラーの無いリファレンス拡張レイヤ・フレームを使用して、エラー隠蔽を適用するの何れかを行うことが出来る。
【００２２】
図４は、本発明の典型的な実施例による、図３Ａの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る符号器４０のブロック図である。図示されるように、符号器４０は、基本レイヤ符号器４１と拡張レイヤ符号器４２を含む。基本レイヤ符号器４１は、従来のものであり、かつオリジナルのビデオ・シーケンスとメモリ４４に格納された適切なレファレンス・フレームとから動き情報（運動ベクトルと予測モード）を発生させる動き推定器４３を含む。第１の動き補償ループ６２における第１の動き補償器４５は、動き情報を処理し、かつ、動き補償された基本レイヤ・レファレンス・フレーム（Ｒｅｆ（ｉ））を発生させる。第１の減算器４６は、オリジナルのビデオ・シーケンスから動き補償された基本レイヤ・レファレンス・フレームＲｅｆ（ｉ）を減算して、基本レイヤ・フレームの動き補償された残差ＭＣＲ（ｉ）を発生させる。基本レイヤ・フレームの動き補償された残差ＭＣＲ（ｉ）は、離散コサイン変換（ＤＣＴ）符号器４７、量子化器４８およびエントロピー符号器４９によって、処理され、オリジナルのビデオ・シーケンスから圧縮された基本レイヤ・ストリーム（基本レイヤ・フレーム）の部分となる。動き推定器４３によって発生される動き情報は、また、マルチプレクサ５０により、第１の減算器４６、ＤＣＴ符号器４７、量子化器４８、およびエントロピー符号器４９によって処理された基本レイヤ・ストリームの部分に、結合される。量子化器４８の出力に発生される基本レイヤ・フレームの量子化された、動き補償された残差ＭＣＲ（ｉ）は、逆量子化器５１によって逆量子化され、次いで、逆ＤＣＴユニット５２により逆ＤＣＴ変換される。この処理は、基本レイヤ・フレームの動き補償された残差の量子化および逆量子化されたバージョンＭＣＲＱ（ｉ）を、逆ＤＣＴ ５２の出力に発生させる。基本レイヤ・フレームの量子化および逆量子化された動き補償された残差ＭＣＲＱ（ｉ）とそれらのそれぞれの動き補償された基本レイヤ・レファレンス・フレームＲｅｆ（ｉ）は、加算器５３で合計され、（第１のフレームメモリ４４に格納され、かつ他のフレームを処理するための）動き推定器４３と動き補償器４５とによって使用される新規のレファレンス・フレームが発生する。
【００２３】
更に、図４を参照すると、（図４に示されるように、ＦＧＳ拡張レイヤ符号器を有することが好ましい）拡張レイヤ符号器４２は、（ＩおよびＰフレーム残差の場合、拡張レイヤＩおよびＰフレームである）差分Ｉ、ＰおよびＢフレーム残差ＦＧＳＲ（ｉ）を発生させるために、基本レイヤ・フレームの動き補償された残差ＭＣＲ（ｉ）と、基本レイヤ・フレームの量子化および逆量子化された動き補償された残差ＭＣＲＱ（ｉ）との差を計算する第２の減算器５４を含む。フレーム・フロー制御デバイス５５は、差分Ｂフレーム残差を本発明の原理に従って拡張レイヤ内で動き補償によって処理する間、差分ＩおよびＰフレーム残差を従来方法で処理することを可能とするために設けられている。フレーム・フロー制御デバイス５５は、第２の減算器５４の出力でのデータ・フローを、第２の減算器５４によって出力されるフレームのタイプに従って、異なる方法で流すことにより、この作業を達成する。より詳細には、第２の減算器５４の出力で発生される差分ＩおよびＰフレーム残差は、フレーム制御デバイス５５によって、ビットプレーンＤＣＴスキャンとエントロピー・エンコーディングとがその後に続く従来のＤＣＴエンコーディングを使用するＦＧＳ符号化用のＦＧＳ符号器６１（または同様なスケーラブルな符号器）に、その経路が向けられ、圧縮された拡張レイヤ・ストリームの部分（動き補償されていない拡張レイヤのＩおよびＰフレーム）を発生させる。第２の減算器５４の出力で発生される差分ＩおよびＰフレーム残差は、また、それらが動き補償のために後で使用される、第２のフレームメモリ５８にも、その経路が向けられる。第２の減算器５４の出力で発生される差分Ｂフレーム残差は、フレーム制御デバイス５５によって第３の減算器６０と第２のフレームメモリ５８にその経路が向けられる。第２の動き補償ループ６３における第２の動き補償器５９は、オリジナルのビデオ・シーケンスからの動き情報（基本レイヤ符号器４１の動き推定器４３の出力）と、リファレンスとして使用される、第２のフレームメモリ５８内に格納された差分ＩおよびＰフレーム残差とを再使用して、リファレンス動き補償された差分（ＩおよびＰ、またはＰおよびＰ）フレーム残差ＭＣＦＧＳＲ（ｉ）を発生させる。必要に応じてリファレンス差分フレーム残差全体を使用することが出来るが、各リファレンス差分ＩおよびＰフレーム残差の一部（例えば、数個のビットプレーン）しか必要とされないことに留意されたい。第３の減算器６０は、リファレンス動き補償された差分（ＩおよびＰまたはＰおよびＰ）フレーム残差ＭＣＦＧＳＲ（ｉ）を、そのそれぞれの差分Ｂフレーム残差ＦＧＳＲ（ｉ）から減算することによって、各々の動き予測された拡張レイヤＢフレームＭＣＦＧＳ（ｉ）を発生させる。フレーム・フロー制御デバイス５５は、動き予測された拡張レイヤＢフレームＭＣＦＧＳ（ｉ）の経路を、それらを圧縮された拡張レイヤ・ストリームに加算する、ビットプレーンＤＣＴスキャンとエントロピー・エンコーディングとが後に続く従来のＤＣＴエンコーディングを使用するＦＧＳ符号化用のＦＧＳ符号器６１に向ける。
【００２４】
ここまでで、明らかとなったように、基本レイヤは、図３Ａの拡張レイヤ・ビデオ符号化方式において、変化しない。さらに、拡張レイヤＩおよびＰフレームは、図１の現行のＦＧＳビデオ符号化方式と実質的に同じ方法で処理され、それゆえ、これらのフレームは、拡張レイヤ内で動き予測されない。動き予測された拡張レイヤＢフレームの場合、ｉ番目のフレームＭＣＦＧＳの拡張レイヤに符号化される信号が、
に等しく、ここで、ＭＣＲ（ｉ）が、量子化と逆量子化処理の後のフレームｉの動き補償された残差で、ＦＧＳＲ（ｉ）が、実質的に図１の現行のＦＧＳビデオ符号化方式と同じであり（すなわち、ＦＧＳＲ（ｉ）はＭＣＲ（ｉ）−ＭＣＲＱ（ｉ）に等しく）、かつ、ＭＣＦＧＳＲ（ｉ）が、フレーム（ｉ）に対するリファレンス動き補償された差分フレーム残差であることは、明らかなはずである。本発明の拡張レイヤＢフレーム処理方法は、単に、動き予測された拡張レイヤＢフレームを提供するための、拡張レイヤ内の追加の動き補償ループしか必要としないことに、留意すべきである。
【００２５】
図６は、本発明の典型的な実施例による、図４の符号器４０によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る復号器７０のブロック図である。図示されるように、復号器７０は、基本レイヤ復号器７１と拡張レイヤ復号器７２を含む。基本レイヤ復号器７１は、エンコードされた基本レイヤ・ストリームを受信し、かつこのストリームを第１および第２のデータ・ストリーム７６， ７７に非多重化する、デマルチプレクサ７５を含む。動き情報（運動ベクトルと動き予測モード）を含む第１のデータ・ストリーム７６は、第１の動き補償器７８に与えられる。動き補償器７８は、動き情報および関連した基本レイヤ・フレームメモリ７９に格納された基本レイヤ・リファレンス・ビデオ・フレームを使用して、第１の加算器８０の第１の入力８１に与えられる動き予測された基本レイヤＰおよびＢフレームを発生させる。第２のデータ・ストリーム７７は、復号化するための基本レイヤ可変長コード復号器８３と逆量子化するための逆量子化器８４に与えられる。逆量子化されたコードは、逆ＤＣＴ復号器８５に与えられ、ここで、この逆量子化されたコードが、第１の加算器８０の第２の入力８２に与えられる基本レイヤ残差ビデオＩ、ＰおよびＢフレームに変換される。基本レイヤ残差ビデオ・フレームと動き補償器７８によって発生される動き予測された基本レイヤ・フレームとは、第１の加算器８０内で合計され、（基本レイヤ・フレームメモリ７９に格納され、かつオプションとして、基本レイヤ・ビデオとして出力される）基本レイヤ・ビデオＩ、ＰおよびＢフレームを発生させる。
【００２６】
拡張レイヤ復号器７２は、ＦＧＳビットプレーン復号器８６または同じスケーラブルな復号器を含む。この復号器は、圧縮された拡張レイヤ・ストリームを復号化して、第１および第２のフレーム・フロー制御デバイス８７， ９１にそれぞれ与えられる、差分Ｉ、Ｐ、およびＢフレーム残差を第１および第２の出力７３， ７４で発生させる。第１および第２のフレーム・フロー制御デバイス８７， ９１は、ＦＧＳビットプレーン復号器８６の出力７３， ７４でのデータ・フローを、復号器８６によって出力される拡張レイヤ・フレームのタイプに従って、異なる方法で流すことによって、差分ＩおよびＰフレームの残差を、差分Ｂフレーム残差とは異なるように処理することが出来る。ＦＧＳビットプレーン復号器８６の第１の出力７３での差分ＩおよびＰフレーム残差の経路は、第１のフレーム制御デバイス８７によって、（それらが格納され、かつ動き補償のために後で使用される）拡張レイヤ・フレームメモリ８８に向けられる。ＦＧＳビットプレーン復号器８６の第１の出力７３での差分Ｂフレーム残差の経路は、第１のフレーム制御デバイス８７によって、第２の加算器９２に向けられ、かつ、以下に説明されるように、処理される。
【００２７】
第２の動き補償器９０は、基本レイヤ復号器７１によって受信される動き情報と拡張レイヤ・フレームメモリ８８内で格納される差分ＩおよびＰフレーム残差を再使用して、拡張レイヤＢフレームを予測するために使用される、リファレンス動き補償された差分（ＩおよびＰまたはＰおよびＰ）フレーム残差を発生させる。第２の加算器９２は、各々のリファレンス動き補償された差分フレーム残差とそのそれぞれの差分Ｂフレーム残差とを合計して、拡張レイヤＢフレームを発生させる。
【００２８】
第２のフレーム制御デバイス９１は、逐次、ＦＧＳビットプレーン復号器８６の第２の出力７４での拡張レイヤＩおよびＰフレーム（差分ＩおよびＰフレーム残差）と第２の加算器９２の出力９３での動き予測された拡張レイヤＢフレームの経路とを、第３の加算器８９に向ける。第３の加算器８９は、それらの対応する基本レイヤＩ、ＰおよびＢフレームと、拡張レイヤＩ、ＰおよびＢフレームとを合計して、画質の向上したビデオを発生させる。
【００２９】
図３Ｂは、本発明の第２の典型的な実施例に従う拡張レイヤ・ビデオ符号化方式１００を示す。図示されるように、第２の実施例のビデオ符号化方式１００は、二重ループ予測に基づく拡張レイヤ１３２内の拡張レイヤＰフレームが、拡張レイヤＢフレームのように動き補償されることを除いて、実質的に図３Ａの第１の実施例と同一である。
【００３０】
動き補償された拡張レイヤＰフレームは、拡張Ｂフレームに類似した方法で計算される。すなわち、各動き補償された拡張レイヤＰフレームは、１） 時間的に隣接した差分ＩまたはＰフレーム残差からの動き予測と、２） 復号化された基本レイヤＰフレーム残差をオリジナルの基本レイヤＰフレーム残差から減算することによって得られる差分Ｐフレーム残差とを使用して、計算される。２） 差分Ｐフレーム残差と、１） 時間的に隣接した動き補償された差分フレーム残差から得られたＰフレーム動き予測との間の差は、拡張レイヤ１３２内に動き補償された拡張レイヤＰフレームを提供する。この処理から発生させる動き補償された拡張レイヤＰとＢのフレームと動き補償されていない拡張レイヤＩフレームとは、両者とも、任意の適切なスケーラブルな符復号化（好ましくは、図３Ｂに示すようにファイン・グラニューラ・スケーラブル（ＦＧＳ）符復号化）によって符号化することが出来る。
【００３１】
図３Ｂのビデオ符号化方式１００は、ビデオ画質の更なる向上を提供する。これは、ビデオ符号化方式１００が、拡張レイヤ１３２のＰとＢの両方のフレーム内で時間的冗長度を減らすからである。
【００３２】
本発明のビデオ符号化方式は、ビデオ・シーケンスの様々な部分または様々なビデオ・シーケンスに対して、図１の現行のビデオ符号化方式を置換させることができる。さらに、全ての３つのビデオ符号化方式、すなわち図１の現行のビデオ符号化方式と図３Ａと図３Ｂに示されるビデオ符号化方式間の切替は、チャンネル特性に基づいて行うことが出来、かつエンコーディングまたは伝送時に行うことが出来る。更に、本発明のビデオ符号化方式は、複雑さを僅かしか増加させずに、符号化効率を大幅に増加させる。
【００３３】
図５は、本発明の典型的な実施例による、図３Ｂの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る符号器１４０のブロック図である。図示されるように、図５の符号器１４０は、符号器４０内で使用されるフレーム・フロー制御デバイス５５が省略されている点を除いて、（図３Ａの拡張レイヤ・ビデオ符号化方式を発生させるために使用される）図４の符号器４０と、実質的に同じである。この符号器１４０では、フレーム・フロー制御デバイスは、必要ない。何故ならば、差分Ｉフレーム残差が、動き補償により処理されることがないので、それらを、拡張レイヤ符号器１４２内で差分ＰとＢのフレーム残差から異なった経路に向ける必要がないからである。
【００３４】
したがって、第２の減算器５４の出力で発生される差分Ｉフレーム残差は、ビットプレーンＤＣＴスキャンとエントロピー・エンコーディングが後に続く従来のＤＣＴエンコーディングを使用するＦＧＳ符号化用のＦＧＳ符号器６１に送られ、圧縮された拡張レイヤ・ストリームの部分（動き補償されていない拡張レイヤのＩフレーム）が発生する。差分Ｉフレーム残差は、また、動き補償のために後で使用される差分Ｐフレーム残差とともに第２のフレームメモリ５８にも送られる。第１の減算器５４の出力で発生される差分ＰとＢのフレーム残差も、また、第３の減算器６０に送られる。第２の動き補償ループ６３の第２の動き補償器５９は、オリジナルのビデオ・シーケンスからの動き情報（基本レイヤ符号器４１の動き推定器４３の出力）と、リファレンスとして使用される、第２のフレームメモリ５８内に格納された差分のＩおよびＰフレーム残差とを再使用して、拡張レイヤＰフレームを動き補償するためのリファレンス動き補償された差分（ＩまたはＰ）のフレーム残差ＭＣＦＧＳＲ（ｉ）と、拡張レイヤＢフレームを動き補償するためのリファレンス動き補償された差分（ＩおよびＰ、またはＰおよびＰ）のフレーム残差ＭＣＦＧＳＲ（ｉ）とを発生させる。第３の減算器６０は、リファレンス動き補償された差分（ＩまたはＰ）または（ＩおよびＰまたはＰおよびＰ）のフレーム残差ＭＣＦＧＳＲ（ｉ）を、そのそれぞれの差分ＰまたはＢのフレーム残差ＦＧＳＲ（ｉ）から減算することによって各動き補償された拡張レイヤＰまたはＢのフレームＭＣＦＧＳ（ｉ）を発生させる。動き補償された拡張レイヤＰとＢのフレームＭＣＦＧＳ（ｉ）は、次いで、ビットプレーンＤＣＴスキャンとエントロピー・エンコーディングが後に続く従来のＤＣＴエンコーディングを使用するＦＧＳ符号化用のＦＧＳ符号器６１に送られ、ここで、それらは、圧縮された拡張レイヤ・ストリームに加算される。
【００３５】
図３Ａのビデオ符号化方式と同じように、図３Ｂの拡張レイヤ・ビデオ符号化方式において、基本レイヤは、変化しない。さらに、本発明の拡張レイヤＰとＢのフレーム処理方法は、動き予測された拡張レイヤＰとＢのフレームを提供するために、拡張レイヤ内において追加の動き補償ループしか必要としないことに、留意すべきである。
【００３６】
図７は、本発明の典型的な実施例による、図５の符号器１４０によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る復号器１７０のブロック図である。
【００３７】
図示されるように、復号器７０内で使用されるフレーム・フロー制御デバイス８７， ９１が、省略されていることを除いて、図７の復号器１７０は、図６の復号器７０と実質的に同じである。この復号器１７０では、フレーム・フロー制御デバイスは、必要ない。何故ならば、差分Ｉフレーム残差が、動き補償により処理されないので、これらを、拡張レイヤ復号器１７２内で、復号された差分ＰとＢのフレーム残差から異なった経路に向ける必要がないからである。
【００３８】
したがって、ＦＧＳビットプレーン復号器８６の第１の出力７３での差分ＩおよびＰフレーム残差は、（それらが格納され、かつ動き補償のために後で使用される）拡張レイヤ・フレームメモリ８８に送られる。ＦＧＳビットプレーン復号器８６の第２の出力７４での差分ＰとＢのフレーム残差は、第２の加算器９２に送られる。ＦＧＳビットプレーン復号器８６の第２の出力７４での差分Ｉフレーム残差（以下、拡張レイヤＩフレームと称す）は、（その目的は、以下に、説明される）第３加算器８９に送られる。第２の動き補償器９０は、基本レイヤ復号器７１と拡張レイヤ・フレームメモリ８８内で格納される差分ＩおよびＰフレーム残差によって受信される動き情報を、再利用して、１）拡張レイヤＢフレームを予測するために使用されるリファレンス動き補償された差分（ＩおよびＰまたはＰおよびＰ）のフレーム残差と、２）拡張レイヤＰフレームを予測するために使用されるリファレンス動き補償された差分（Ｉまたは Ｐ）のフレーム残差とを発生させる。第２の加算器９２は、それらのそれぞれの差分Ｂフレーム残差またはＰフレーム残差とリファレンス動き補償された差分フレーム残差を合計して、拡張レイヤＢとＰのフレームを発生させる。第３の加算器８９は、それらの対応する基本レイヤＩ、Ｐ、およびＢフレームと拡張レイヤＩ、ＰおよびＢフレームを合計して、画質の向上したビデオを発生させる。
【００３９】
図８は、本発明の原理を実施するために使用することが出来るシステム２００の典型的な実施例を示す。システム２００は、テレビ、セットトップボックス、デスクトップ、ラップトップまたはパームトップ・コンピュータ、パーソナル・ディジタル・アシスタント（ＰＤＡ）、ビデオ・カセット・レコーダ（ＶＣＲ）のようなビデオ／画像記憶装置、デジタル・ビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等、ならびに、これらのおよび他の装置の部分または組合せとすることが出来る。システム２００は、１つ以上のビデオ／画像ソース２０１、１つ以上の入出力装置２０２、プロセッサ２０３およびメモリ２０４を含む。ビデオ／画像ソース２０１は、例えば、テレビ受信機、ＶＣＲまたは他のビデオ／画像記憶装置とすることが出来る。ソース ２０１は、例えば、これに代えて、（インターネット、広域ネットワーク、メトロポリタン・エリア・ネットワーク、ローカル・エリア・ネットワーク、地上のブロードキャスト・システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワークまたは電話網、ならびに、これらのおよび他のタイプのネットワークの部分または組合せのような）グローバルなコンピュータ通信ネットワークの上の、１つまたは複数のサーバからビデオを受信するための１つ以上のネットワークコネクションとすることが出来る。
【００４０】
入出力装置２０２、プロセッサ２０３およびメモリ２０４は、通信媒体２０５によって通信することが出来る。通信メディア２０５は、例えば、バス、通信網、回線の１つ以上の内部接続、回路カードまたは他の装置、ならびにこれらおよび他の通信メディアの部分および組合せとすることが出来る。ソース ２０１からの入力ビデオ・データは、メモリ２０４に格納される１つ以上のソフトウェアプログラムに従って処理され、かつ、表示装置２０６に供給される出力ビデオ／画像を発生させるためにプロセッサ２０３によって実行される。
【００４１】
好適な実施例の場合、本発明の原理を用いる符号化および復号化は、システムによって実行されるコンピュータ読み込み可能なコードによって実施することが出来る。コードは、メモリ２０４に格納する、つまり、例えば、ＣＤ−ＲＯＭまたはフロッピー・ディスク・メモリ媒体から読み出し／ダウンロードすることが出来る。
【００４２】
他の実施例の場合、ハードウェア回路を、本発明を実施するソフトウェア命令に代えて、またはそれと共に、使用することが出来る。例えば、図４〜７に示す要素を、個別のハードウェア要素として実施することも出来る。
【００４３】
本発明を特定の実施例に関して述べたが、本発明は、本明細書において開示される本実施例に限定または制限されるものではないことは、理解されるべきである。例えば、ウェーブレットまたはマッチング追跡（ｍａｔｃｈｉｎｇ−ｐｕｒｓｕｉｔ）を含むがこれに限定されない、ＤＣＴの他に他の変換器を、用いることも出来る。別の具体例の場合、動き補償が、基本レイヤからの動きデータを再利用することによって、達成されるが、本発明の他の実施例では、拡張レイヤ内で、追加の運動ベクトルの送信を必要とするであろう追加の動き推定器を用いることも出来る。さらに別の具体例の場合、本発明の他の実施例は、まさにＰフレームに対して拡張レイヤ内で、動き補償を用いることが出来る。これらおよび全ての他のこのような変更態様と変更は、添付の請求の範囲の範囲内にあると考えるべきである。
【図面の簡単な説明】
【図１】現行の拡張レイヤ・ビデオ符号化方式を示す。
【図２】図１のビデオ符号化方式の基本レイヤと拡張レイヤを符号化するための従来の符号器のブロック図を示す。
【図３Ａ】本発明の第１の典型的な実施例による拡張レイヤ・ビデオ符号化方式を示す。
【図３Ｂ】本発明の第２の典型的な実施例による拡張レイヤ・ビデオ符号化方式を示す。
【図４】図３Ａの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る、本発明の典型的な実施例による符号器のブロック図を示す。
【図５】図３Ｂの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る、本発明の典型的な実施例による符号器のブロック図を示す。
【図６】本発明の典型的な実施例による、図４の符号器によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る、復号器のブロック図を示す。
【図７】本発明の典型的な実施例による、図５の符号器によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る、復号器のブロック図を示す。
【図８】本発明の原理を実施するために使用することが出来るシステムの典型的な実施例を示す。
【符号の説明】
１１ 基本レイヤ
１２ 拡張レイヤ
ＦＧＳＲ（ｉ） フレームｉの拡張レイヤ残差
３０ 拡張レイヤ・ビデオ符号化方式
３２ 拡張レイヤ
Ｂ Ｂフレーム（双方向予測フレーム）
５５ フレーム・フロー制御デバイス
５９ 第２の動き補償器
６０ 第３の減算器
６３ 第２の動き補償ループ
７６ 第１のデータ・ストリーム
９０ 第２の動き補償器
１７２ 拡張レイヤ復号器
２０１ ビデオ／画像ソース
２０６ 表示装置
【０００１】
本発明は、ビデオ符号化、特に、双方向予測フレーム（Ｂフレーム）と、予測フレームおよび双方向予測フレーム（ＰおよびＢのフレーム）とに対する拡張レイヤ内での動き補償を用いるスケーラブル拡張レイヤ・ビデオ符号化方式に関する。
【従来の技術】
【０００２】
スケーラブル拡張レイヤ・ビデオ符号化は、インターネットのような帯域が変化するコンピュータ・ネットワークによって伝送されるビデオを圧縮するために使用されてきている。（ＩＳＯ ＭＰＥＧ−４標準に採用されている）ファイン・グラニューラ符号化技術を用いる現行の拡張レイヤ・ビデオ符号化方式が、図１に示されている。図に示されるように、ビデオ符号化方式１０は、ビット・レートＲＢＬで符号化される予測に基づく基本レイヤ１１と、ＲＥＬで符号化されるＦＧＳ拡張レイヤ１２を含む。
【０００３】
予測に基づく基本レイヤ１１は、フレーム内符号化Ｉフレームと、前のＩまたはＰフレームから動き推定補償を使用して時間的に予測されるフレーム間符号化Ｐフレームと、Ｂフレームに隣接している前と後のフレームから動き推定補償を使用して時間的に予測されるフレーム間双方向符号化Ｂフレームとを含む。基本レイヤ１１の中で予測および／または補間符号化（すなわち動き推定及び対応する補償）を使用すると、その中の時間的冗長度は減少する。
【０００４】
拡張レイヤ１２は、それぞれのオリジナルのフレームからそれらのそれぞれの再構成された基本レイヤ・フレームを減算すること（この減算は、動き補償されるドメイン内でも行うことが出来る）によって導かれるＦＧＳ拡張レイヤＩ、Ｐ及びＢフレームを含む。結果として、拡張レイヤ内のＦＧＳ拡張レイヤＩ、Ｐ及びＢフレームは、動き補償されない。（ＦＧＳ残差は、同じタイム・インスタンスでフレームから取り込まれる。）この主な理由は、伝送時に利用可能な帯域に個々に依存する各ＦＧＳ拡張レイヤ・フレームの切捨てを可能にするフレキシビリティが提供されるからである。より詳しくは、拡張レイヤ１２のファイン・グラニューラ・スケーラブル符号化によって、ＦＧＳビデオストリームを、Ｒｍｉｎ ＝ＲＢＬからＲｍａｘ ＝ ＲＢＬ ＋ ＲＥＬまでの利用可能な帯域で任意のネットワーク・セッションによって伝送することが可能となる。例えば、送信機及び受信機の間で利用可能な帯域がＢ＝Ｒである場合、送信機は、レートＲＢＬで基本レイヤ・フレームを送信し、かつレートＲＥＬ ＝ Ｒ‐ＲＢＬで拡張レイヤ・フレームの部分のみを送信する。図１から分かるように、拡張レイヤ内のＦＧＳ拡張レイヤ・フレームの部分は、伝送に対してファイン・グラニューラ・スケーラブル方法で選択することが出来る。ゆえに、伝送されるビット・レートの合計は、Ｒ＝ ＲＢＬ ＋ ＲＥＬである。このフレキシビリティにより、単一の拡張レイヤで広範囲にわたる伝送帯域がサポートされる。
【０００５】
図２は、図１のビデオ符号化方式の基本レイヤ１１及び拡張レイヤ１２を符号化する従来のＦＧＳ符号器のブロック図を示す。図に示されるように、フレームｉの拡張レイヤ残差（ＦＧＳＲ（ｉ））は、ＭＣＲ（ｉ）−ＭＣＲＱ（ｉ）に等しい。ここで、ＭＣＲ（ｉ）は、フレームｉの動き補償された残差であり、ＭＣＲＱ（ｉ）は、量子化及び逆量子化処理後のフレームｉの動き補償された残差である。
【０００６】
図１の現行のＦＧＳ拡張レイヤ・ビデオ符号化方式１０は、極めてフレキシブルではあるが、それは、その性能が同じ伝送ビット・レートで機能する非スケーラブルなコーダの性能と比較して、ビデオ画質が相対的に低いという問題を有する。画質の低下は、拡張レイヤ１２のファイン・グラニューラ・スケーラブル符号化に起因するのではなく、主に、拡張レイヤ１２内のＦＧＳ残差フレーム間の時間的冗長度の利用が減少したことに起因する。特に、拡張レイヤ１２のＦＧＳ拡張レイヤ・フレームは、それらのそれぞれの基本レイヤＩ、ＰおよびＢフレームの動き補償された残差のみから導かれる。如何なるＦＧＳ拡張レイヤ・フレームも、拡張レイヤ１２内の他のＦＧＳ拡張レイヤ・フレームまたは基本レイヤ１１内の他のフレームを予測するためには、使用されない。
【０００７】
したがって、現行のＦＧＳビデオ符号化方式に典型的なフレキシビリティ及び魅力的な特性の大部分を維持しつつ、画質を向上させるために拡張レイヤ内で動き補償を用いるスケーラブル拡張レイア・ビデオ符号化方式が、必要とされている。
【課題を解決するための手段】
【０００８】
本発明は、拡張レイヤ・ビデオ符号化方式、特に、予測及び双方向予測のフレームに対して拡張レイヤ内で動き補償を用いるＦＧＳ拡張レイヤ・ビデオ符号化方式を目的とする。本発明の一つの観点は、基本レイヤ・フレームを発生させるために、非スケーラブルな符復号化によって、符号化されていないビデオを符号化するステップと、差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記符号化されていないビデオと前記基本レイヤ・フレームから前記差分フレーム残差を計算するステップと、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の前記少なくとも部分に適用するステップと、動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するステップとを有するビデオを符号化する方法に関する。
【０００９】
本発明の別の観点は、基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するステップと、差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するステップと、リファレンス動き補償された差分フレーム残差を発生させるために、リファレンスとして作用する前記差分フレーム残差の前記少なくとも部分に動き補償を適用するステップと、動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を前記差分フレーム残差のそれぞれのものに加算するステップと、画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるステップとを有する、圧縮ビデオを復号化する方法に関する。
【００１０】
本発明の更に別の観点は、符号化されていないビデオを、基本レイヤ・フレームに非スケーラブルにエンコードをするためのコードと、差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして機能するように、前記差分フレーム残差を、前記符号化されていないビデオおよび前記基本レイヤ・フレームから計算するためのコードと、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の少なくとも部分に適用するためのコードと、
動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するためのコードとを有するメモリ媒体に関する。
【００１１】
本発明の更なる観点は、基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するためのコードと、前記差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するためのコードと、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に、適用するためのコードと、動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するためのコードと、画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるためのコードとを有するメモリ媒体に関する。
【００１２】
更に、本発明の更なる観点は、基本レイヤ・フレームを発生させる符号化されていないビデオを非スケーラブルに符号化するための手段と、差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記符号化されていないビデオおよび前記基本レイヤ・フレームから前記差分フレーム残差を計算するための手段と、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、 動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものから前記リファレンス動き補償された差分フレーム残差を減算するための手段とを有する、ビデオを符号化するための装置に関する。
【００１３】
本発明の更に別の観点は、基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するための手段分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するための手段と、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するための手段と、画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるための手段とを有する、圧縮ビデオを復号化するための装置に関する。
【発明を実施するための説明】
【００１４】
本発明の効果、特性、および様々な付加機能は、以下に、（図面全体を通して同じ要素には同じ参照番号が付されている）添付の図面と共に詳細に記載される実施例を考慮して、より明らかになるであろう。
【００１５】
図３Ａは、本発明の第１の典型的な実施例による拡張レイヤ・ビデオ符号化方式３０を示す。図に示されるように、このビデオ符号化方式３０は、予測に基づく基本レイヤ３１と二重ループ予測に基づく拡張レイヤ３２を含む。
【００１６】
予測に基づく基本レイヤ３１は、図１で示される従来の拡張レイヤ・ビデオ方式のように、フレーム内符号化Ｉフレーム、フレーム間符号化予測Ｐフレーム、およびフレーム間符号化双方向予測Ｂフレームを含む。基本レイヤＩ、Ｐ、およびＢフレームは、従来の非スケーラブルなフレーム予測符号化技法を使用して符号化することが出来る。（基本レイヤＩフレームは、もちろん動き予測されない。）。
【００１７】
二重ループ予測に基づく拡張レイヤ３２は、動き予測されていない拡張レイヤＩおよびＰフレームと動き予測された拡張レイヤＢフレームを含む。動き予測されていない拡張レイヤＩおよびＰフレームは、従来、それらのそれぞれの再構成された（復号化された）基本レイヤＩおよびＰフレーム残差をそれらのそれぞれのオリジナルの基本レイヤＩおよびＰフレームの残差から減算することによって導かれる。
【００１８】
本発明に従って、動き予測された拡張レイヤＢフレームは、それぞれ、１）２つの時間的に隣接した差分ＩおよびＰまたはＰおよびＰフレーム残差（別名、拡張レイヤ・フレーム）からの動き予測と、２）復号化された基本レイヤＢフレーム残差をオリジナルの基本レイヤＢフレーム残差から減算することによって得られる差分Ｂフレーム残差とを使用して計算される。２）差分Ｂフレーム残差と、１）２つの時間的に隣接した、動き補償された差分フレーム残差から得られるＢフレーム動き予測との差は、拡張レイア ３２内で動き予測された拡張レイヤＢフレームを提供する。この処理から生じる動き予測された拡張レイヤＢフレームと動き予測されていない拡張レイヤＩおよびＰフレームは、何れも、任意の適切なスケーラブルな符復号化、好ましくは、図３Ａに示されるファイン・グラニューラ・スケーラブル（ＦＧＳ）符復号化、によって符号化することが出来る。
【００１９】
本発明のビデオ符号化方式３０は、それが、拡張レイヤ３２の拡張レイヤＢフレーム内で時間的冗長度を減らすので、ビデオ画質を向上させる。拡張レイヤＢフレームが、ＩＢＢＰのＧＯＰ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）構造において拡張レイヤ３２の全ビット・レート予算（ｂｕｄｇｅｔ）の６６％を占めるので、拡張レイヤＢフレームに対してのみ動き補償を行うことから、画質のロスは、大部分のビデオ・シーケンスに対し極めて限定される。（従来の拡張レイヤ・ビデオ符号化方式の場合、通常のレート制御は、全ての拡張レイヤＩ、ＰおよびＢフレームに等しい数のビットを割り当てることによって、大部分拡張レイヤ内で行われる。）
【００２０】
更に、レート制御が、本発明のビデオ符号化方式によって充分な性能を達成するために重要な役割を果たすことに留意することは、重要である。しかしながら、Ｂｔｏｔ ＝ ｂＩ＊Ｎｏ．＿Ｉ＿ｆｒａｍｅｓ ＋ ｂＰ＊Ｎｏ．＿Ｐ＿ｆｒａｍｅｓ ＋ ｂＢ＊Ｎｏ．＿Ｂ＿ｆｒａｍｅｓ（ここで、ｂＩ＞ｂＰ＞ｂＢ）にしたがってＧＯＰに全ビット予算 Ｂｔｏｔを割り当てる極めて単純なアプローチさえ、すでに、極めて充分な結果を提供する。更に、動き補償ループ内で使用される各拡張レイヤ・リファレンス・フレームごとに、拡張レイヤのビット／ビットプレーン（ビット／ビットプレーンは、整数である必要はない）の数を異ならせることも可能であることにも留意されたい。更に、場合によっては、拡張レイヤ動き補償ループには、拡張レイヤ・リファレンス・フレーム内のある種の部分または周波数しか、組み込む必要がない。
【００２１】
上述の方式のパケットロス耐性は、図１の現行の拡張レイヤ符号化方式のそれに類似する。すなわち、エラーが、動き予測された拡張レイヤＢフレーム内で発生すると、このエラーは、次に受信されるＩまたはＰフレームを越えて広がらない。発生する可能性があるパケットロス・シナリオは、次の２つである：
・ エラーが、動き予測された拡張レイヤＢフレーム内で発生する場合、このエラーは、このＢフレームに限定される。
・ エラーが、拡張レイヤＩまたはＰフレーム内で発生する場合、このエラーは、これらの拡張レイヤ・フレームをリファレンスとして使用する動き予測された（２つの）拡張レイヤＢフレームを越えて進まない。次いで、動き予測された拡張レイヤＢフレームのうちの１つを破棄して、フレーム反復を適用するか、他のエラーの無いリファレンス拡張レイヤ・フレームを使用して、エラー隠蔽を適用するの何れかを行うことが出来る。
【００２２】
図４は、本発明の典型的な実施例による、図３Ａの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る符号器４０のブロック図である。図示されるように、符号器４０は、基本レイヤ符号器４１と拡張レイヤ符号器４２を含む。基本レイヤ符号器４１は、従来のものであり、かつオリジナルのビデオ・シーケンスとメモリ４４に格納された適切なレファレンス・フレームとから動き情報（運動ベクトルと予測モード）を発生させる動き推定器４３を含む。第１の動き補償ループ６２における第１の動き補償器４５は、動き情報を処理し、かつ、動き補償された基本レイヤ・レファレンス・フレーム（Ｒｅｆ（ｉ））を発生させる。第１の減算器４６は、オリジナルのビデオ・シーケンスから動き補償された基本レイヤ・レファレンス・フレームＲｅｆ（ｉ）を減算して、基本レイヤ・フレームの動き補償された残差ＭＣＲ（ｉ）を発生させる。基本レイヤ・フレームの動き補償された残差ＭＣＲ（ｉ）は、離散コサイン変換（ＤＣＴ）符号器４７、量子化器４８およびエントロピー符号器４９によって、処理され、オリジナルのビデオ・シーケンスから圧縮された基本レイヤ・ストリーム（基本レイヤ・フレーム）の部分となる。動き推定器４３によって発生される動き情報は、また、マルチプレクサ５０により、第１の減算器４６、ＤＣＴ符号器４７、量子化器４８、およびエントロピー符号器４９によって処理された基本レイヤ・ストリームの部分に、結合される。量子化器４８の出力に発生される基本レイヤ・フレームの量子化された、動き補償された残差ＭＣＲ（ｉ）は、逆量子化器５１によって逆量子化され、次いで、逆ＤＣＴユニット５２により逆ＤＣＴ変換される。この処理は、基本レイヤ・フレームの動き補償された残差の量子化および逆量子化されたバージョンＭＣＲＱ（ｉ）を、逆ＤＣＴ ５２の出力に発生させる。基本レイヤ・フレームの量子化および逆量子化された動き補償された残差ＭＣＲＱ（ｉ）とそれらのそれぞれの動き補償された基本レイヤ・レファレンス・フレームＲｅｆ（ｉ）は、加算器５３で合計され、（第１のフレームメモリ４４に格納され、かつ他のフレームを処理するための）動き推定器４３と動き補償器４５とによって使用される新規のレファレンス・フレームが発生する。
【００２３】
更に、図４を参照すると、（図４に示されるように、ＦＧＳ拡張レイヤ符号器を有することが好ましい）拡張レイヤ符号器４２は、（ＩおよびＰフレーム残差の場合、拡張レイヤＩおよびＰフレームである）差分Ｉ、ＰおよびＢフレーム残差ＦＧＳＲ（ｉ）を発生させるために、基本レイヤ・フレームの動き補償された残差ＭＣＲ（ｉ）と、基本レイヤ・フレームの量子化および逆量子化された動き補償された残差ＭＣＲＱ（ｉ）との差を計算する第２の減算器５４を含む。フレーム・フロー制御デバイス５５は、差分Ｂフレーム残差を本発明の原理に従って拡張レイヤ内で動き補償によって処理する間、差分ＩおよびＰフレーム残差を従来方法で処理することを可能とするために設けられている。フレーム・フロー制御デバイス５５は、第２の減算器５４の出力でのデータ・フローを、第２の減算器５４によって出力されるフレームのタイプに従って、異なる方法で流すことにより、この作業を達成する。より詳細には、第２の減算器５４の出力で発生される差分ＩおよびＰフレーム残差は、フレーム制御デバイス５５によって、ビットプレーンＤＣＴスキャンとエントロピー・エンコーディングとがその後に続く従来のＤＣＴエンコーディングを使用するＦＧＳ符号化用のＦＧＳ符号器６１（または同様なスケーラブルな符号器）に、その経路が向けられ、圧縮された拡張レイヤ・ストリームの部分（動き補償されていない拡張レイヤのＩおよびＰフレーム）を発生させる。第２の減算器５４の出力で発生される差分ＩおよびＰフレーム残差は、また、それらが動き補償のために後で使用される、第２のフレームメモリ５８にも、その経路が向けられる。第２の減算器５４の出力で発生される差分Ｂフレーム残差は、フレーム制御デバイス５５によって第３の減算器６０と第２のフレームメモリ５８にその経路が向けられる。第２の動き補償ループ６３における第２の動き補償器５９は、オリジナルのビデオ・シーケンスからの動き情報（基本レイヤ符号器４１の動き推定器４３の出力）と、リファレンスとして使用される、第２のフレームメモリ５８内に格納された差分ＩおよびＰフレーム残差とを再使用して、リファレンス動き補償された差分（ＩおよびＰ、またはＰおよびＰ）フレーム残差ＭＣＦＧＳＲ（ｉ）を発生させる。必要に応じてリファレンス差分フレーム残差全体を使用することが出来るが、各リファレンス差分ＩおよびＰフレーム残差の一部（例えば、数個のビットプレーン）しか必要とされないことに留意されたい。第３の減算器６０は、リファレンス動き補償された差分（ＩおよびＰまたはＰおよびＰ）フレーム残差ＭＣＦＧＳＲ（ｉ）を、そのそれぞれの差分Ｂフレーム残差ＦＧＳＲ（ｉ）から減算することによって、各々の動き予測された拡張レイヤＢフレームＭＣＦＧＳ（ｉ）を発生させる。フレーム・フロー制御デバイス５５は、動き予測された拡張レイヤＢフレームＭＣＦＧＳ（ｉ）の経路を、それらを圧縮された拡張レイヤ・ストリームに加算する、ビットプレーンＤＣＴスキャンとエントロピー・エンコーディングとが後に続く従来のＤＣＴエンコーディングを使用するＦＧＳ符号化用のＦＧＳ符号器６１に向ける。
【００２４】
ここまでで、明らかとなったように、基本レイヤは、図３Ａの拡張レイヤ・ビデオ符号化方式において、変化しない。さらに、拡張レイヤＩおよびＰフレームは、図１の現行のＦＧＳビデオ符号化方式と実質的に同じ方法で処理され、それゆえ、これらのフレームは、拡張レイヤ内で動き予測されない。動き予測された拡張レイヤＢフレームの場合、ｉ番目のフレームＭＣＦＧＳの拡張レイヤに符号化される信号が、
【００２５】
図６は、本発明の典型的な実施例による、図４の符号器４０によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る復号器７０のブロック図である。図示されるように、復号器７０は、基本レイヤ復号器７１と拡張レイヤ復号器７２を含む。基本レイヤ復号器７１は、エンコードされた基本レイヤ・ストリームを受信し、かつこのストリームを第１および第２のデータ・ストリーム７６， ７７に非多重化する、デマルチプレクサ７５を含む。動き情報（運動ベクトルと動き予測モード）を含む第１のデータ・ストリーム７６は、第１の動き補償器７８に与えられる。動き補償器７８は、動き情報および関連した基本レイヤ・フレームメモリ７９に格納された基本レイヤ・リファレンス・ビデオ・フレームを使用して、第１の加算器８０の第１の入力８１に与えられる動き予測された基本レイヤＰおよびＢフレームを発生させる。第２のデータ・ストリーム７７は、復号化するための基本レイヤ可変長コード復号器８３と逆量子化するための逆量子化器８４に与えられる。逆量子化されたコードは、逆ＤＣＴ復号器８５に与えられ、ここで、この逆量子化されたコードが、第１の加算器８０の第２の入力８２に与えられる基本レイヤ残差ビデオＩ、ＰおよびＢフレームに変換される。基本レイヤ残差ビデオ・フレームと動き補償器７８によって発生される動き予測された基本レイヤ・フレームとは、第１の加算器８０内で合計され、（基本レイヤ・フレームメモリ７９に格納され、かつオプションとして、基本レイヤ・ビデオとして出力される）基本レイヤ・ビデオＩ、ＰおよびＢフレームを発生させる。
【００２６】
拡張レイヤ復号器７２は、ＦＧＳビットプレーン復号器８６または同じスケーラブルな復号器を含む。この復号器は、圧縮された拡張レイヤ・ストリームを復号化して、第１および第２のフレーム・フロー制御デバイス８７， ９１にそれぞれ与えられる、差分Ｉ、Ｐ、およびＢフレーム残差を第１および第２の出力７３， ７４で発生させる。第１および第２のフレーム・フロー制御デバイス８７， ９１は、ＦＧＳビットプレーン復号器８６の出力７３， ７４でのデータ・フローを、復号器８６によって出力される拡張レイヤ・フレームのタイプに従って、異なる方法で流すことによって、差分ＩおよびＰフレームの残差を、差分Ｂフレーム残差とは異なるように処理することが出来る。ＦＧＳビットプレーン復号器８６の第１の出力７３での差分ＩおよびＰフレーム残差の経路は、第１のフレーム制御デバイス８７によって、（それらが格納され、かつ動き補償のために後で使用される）拡張レイヤ・フレームメモリ８８に向けられる。ＦＧＳビットプレーン復号器８６の第１の出力７３での差分Ｂフレーム残差の経路は、第１のフレーム制御デバイス８７によって、第２の加算器９２に向けられ、かつ、以下に説明されるように、処理される。
【００２７】
第２の動き補償器９０は、基本レイヤ復号器７１によって受信される動き情報と拡張レイヤ・フレームメモリ８８内で格納される差分ＩおよびＰフレーム残差を再使用して、拡張レイヤＢフレームを予測するために使用される、リファレンス動き補償された差分（ＩおよびＰまたはＰおよびＰ）フレーム残差を発生させる。第２の加算器９２は、各々のリファレンス動き補償された差分フレーム残差とそのそれぞれの差分Ｂフレーム残差とを合計して、拡張レイヤＢフレームを発生させる。
【００２８】
第２のフレーム制御デバイス９１は、逐次、ＦＧＳビットプレーン復号器８６の第２の出力７４での拡張レイヤＩおよびＰフレーム（差分ＩおよびＰフレーム残差）と第２の加算器９２の出力９３での動き予測された拡張レイヤＢフレームの経路とを、第３の加算器８９に向ける。第３の加算器８９は、それらの対応する基本レイヤＩ、ＰおよびＢフレームと、拡張レイヤＩ、ＰおよびＢフレームとを合計して、画質の向上したビデオを発生させる。
【００２９】
図３Ｂは、本発明の第２の典型的な実施例に従う拡張レイヤ・ビデオ符号化方式１００を示す。図示されるように、第２の実施例のビデオ符号化方式１００は、二重ループ予測に基づく拡張レイヤ１３２内の拡張レイヤＰフレームが、拡張レイヤＢフレームのように動き補償されることを除いて、実質的に図３Ａの第１の実施例と同一である。
【００３０】
動き補償された拡張レイヤＰフレームは、拡張Ｂフレームに類似した方法で計算される。すなわち、各動き補償された拡張レイヤＰフレームは、１） 時間的に隣接した差分ＩまたはＰフレーム残差からの動き予測と、２） 復号化された基本レイヤＰフレーム残差をオリジナルの基本レイヤＰフレーム残差から減算することによって得られる差分Ｐフレーム残差とを使用して、計算される。２） 差分Ｐフレーム残差と、１） 時間的に隣接した動き補償された差分フレーム残差から得られたＰフレーム動き予測との間の差は、拡張レイヤ１３２内に動き補償された拡張レイヤＰフレームを提供する。この処理から発生させる動き補償された拡張レイヤＰとＢのフレームと動き補償されていない拡張レイヤＩフレームとは、両者とも、任意の適切なスケーラブルな符復号化（好ましくは、図３Ｂに示すようにファイン・グラニューラ・スケーラブル（ＦＧＳ）符復号化）によって符号化することが出来る。
【００３１】
図３Ｂのビデオ符号化方式１００は、ビデオ画質の更なる向上を提供する。これは、ビデオ符号化方式１００が、拡張レイヤ１３２のＰとＢの両方のフレーム内で時間的冗長度を減らすからである。
【００３２】
本発明のビデオ符号化方式は、ビデオ・シーケンスの様々な部分または様々なビデオ・シーケンスに対して、図１の現行のビデオ符号化方式を置換させることができる。さらに、全ての３つのビデオ符号化方式、すなわち図１の現行のビデオ符号化方式と図３Ａと図３Ｂに示されるビデオ符号化方式間の切替は、チャンネル特性に基づいて行うことが出来、かつエンコーディングまたは伝送時に行うことが出来る。更に、本発明のビデオ符号化方式は、複雑さを僅かしか増加させずに、符号化効率を大幅に増加させる。
【００３３】
図５は、本発明の典型的な実施例による、図３Ｂの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る符号器１４０のブロック図である。図示されるように、図５の符号器１４０は、符号器４０内で使用されるフレーム・フロー制御デバイス５５が省略されている点を除いて、（図３Ａの拡張レイヤ・ビデオ符号化方式を発生させるために使用される）図４の符号器４０と、実質的に同じである。この符号器１４０では、フレーム・フロー制御デバイスは、必要ない。何故ならば、差分Ｉフレーム残差が、動き補償により処理されることがないので、それらを、拡張レイヤ符号器１４２内で差分ＰとＢのフレーム残差から異なった経路に向ける必要がないからである。
【００３４】
したがって、第２の減算器５４の出力で発生される差分Ｉフレーム残差は、ビットプレーンＤＣＴスキャンとエントロピー・エンコーディングが後に続く従来のＤＣＴエンコーディングを使用するＦＧＳ符号化用のＦＧＳ符号器６１に送られ、圧縮された拡張レイヤ・ストリームの部分（動き補償されていない拡張レイヤのＩフレーム）が発生する。差分Ｉフレーム残差は、また、動き補償のために後で使用される差分Ｐフレーム残差とともに第２のフレームメモリ５８にも送られる。第１の減算器５４の出力で発生される差分ＰとＢのフレーム残差も、また、第３の減算器６０に送られる。第２の動き補償ループ６３の第２の動き補償器５９は、オリジナルのビデオ・シーケンスからの動き情報（基本レイヤ符号器４１の動き推定器４３の出力）と、リファレンスとして使用される、第２のフレームメモリ５８内に格納された差分のＩおよびＰフレーム残差とを再使用して、拡張レイヤＰフレームを動き補償するためのリファレンス動き補償された差分（ＩまたはＰ）のフレーム残差ＭＣＦＧＳＲ（ｉ）と、拡張レイヤＢフレームを動き補償するためのリファレンス動き補償された差分（ＩおよびＰ、またはＰおよびＰ）のフレーム残差ＭＣＦＧＳＲ（ｉ）とを発生させる。第３の減算器６０は、リファレンス動き補償された差分（ＩまたはＰ）または（ＩおよびＰまたはＰおよびＰ）のフレーム残差ＭＣＦＧＳＲ（ｉ）を、そのそれぞれの差分ＰまたはＢのフレーム残差ＦＧＳＲ（ｉ）から減算することによって各動き補償された拡張レイヤＰまたはＢのフレームＭＣＦＧＳ（ｉ）を発生させる。動き補償された拡張レイヤＰとＢのフレームＭＣＦＧＳ（ｉ）は、次いで、ビットプレーンＤＣＴスキャンとエントロピー・エンコーディングが後に続く従来のＤＣＴエンコーディングを使用するＦＧＳ符号化用のＦＧＳ符号器６１に送られ、ここで、それらは、圧縮された拡張レイヤ・ストリームに加算される。
【００３５】
図３Ａのビデオ符号化方式と同じように、図３Ｂの拡張レイヤ・ビデオ符号化方式において、基本レイヤは、変化しない。さらに、本発明の拡張レイヤＰとＢのフレーム処理方法は、動き予測された拡張レイヤＰとＢのフレームを提供するために、拡張レイヤ内において追加の動き補償ループしか必要としないことに、留意すべきである。
【００３６】
図７は、本発明の典型的な実施例による、図５の符号器１４０によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る復号器１７０のブロック図である。
【００３７】
図示されるように、復号器７０内で使用されるフレーム・フロー制御デバイス８７， ９１が、省略されていることを除いて、図７の復号器１７０は、図６の復号器７０と実質的に同じである。この復号器１７０では、フレーム・フロー制御デバイスは、必要ない。何故ならば、差分Ｉフレーム残差が、動き補償により処理されないので、これらを、拡張レイヤ復号器１７２内で、復号された差分ＰとＢのフレーム残差から異なった経路に向ける必要がないからである。
【００３８】
したがって、ＦＧＳビットプレーン復号器８６の第１の出力７３での差分ＩおよびＰフレーム残差は、（それらが格納され、かつ動き補償のために後で使用される）拡張レイヤ・フレームメモリ８８に送られる。ＦＧＳビットプレーン復号器８６の第２の出力７４での差分ＰとＢのフレーム残差は、第２の加算器９２に送られる。ＦＧＳビットプレーン復号器８６の第２の出力７４での差分Ｉフレーム残差（以下、拡張レイヤＩフレームと称す）は、（その目的は、以下に、説明される）第３加算器８９に送られる。第２の動き補償器９０は、基本レイヤ復号器７１と拡張レイヤ・フレームメモリ８８内で格納される差分ＩおよびＰフレーム残差によって受信される動き情報を、再利用して、１）拡張レイヤＢフレームを予測するために使用されるリファレンス動き補償された差分（ＩおよびＰまたはＰおよびＰ）のフレーム残差と、２）拡張レイヤＰフレームを予測するために使用されるリファレンス動き補償された差分（Ｉまたは Ｐ）のフレーム残差とを発生させる。第２の加算器９２は、それらのそれぞれの差分Ｂフレーム残差またはＰフレーム残差とリファレンス動き補償された差分フレーム残差を合計して、拡張レイヤＢとＰのフレームを発生させる。第３の加算器８９は、それらの対応する基本レイヤＩ、Ｐ、およびＢフレームと拡張レイヤＩ、ＰおよびＢフレームを合計して、画質の向上したビデオを発生させる。
【００３９】
図８は、本発明の原理を実施するために使用することが出来るシステム２００の典型的な実施例を示す。システム２００は、テレビ、セットトップボックス、デスクトップ、ラップトップまたはパームトップ・コンピュータ、パーソナル・ディジタル・アシスタント（ＰＤＡ）、ビデオ・カセット・レコーダ（ＶＣＲ）のようなビデオ／画像記憶装置、デジタル・ビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等、ならびに、これらのおよび他の装置の部分または組合せとすることが出来る。システム２００は、１つ以上のビデオ／画像ソース２０１、１つ以上の入出力装置２０２、プロセッサ２０３およびメモリ２０４を含む。ビデオ／画像ソース２０１は、例えば、テレビ受信機、ＶＣＲまたは他のビデオ／画像記憶装置とすることが出来る。ソース ２０１は、例えば、これに代えて、（インターネット、広域ネットワーク、メトロポリタン・エリア・ネットワーク、ローカル・エリア・ネットワーク、地上のブロードキャスト・システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワークまたは電話網、ならびに、これらのおよび他のタイプのネットワークの部分または組合せのような）グローバルなコンピュータ通信ネットワークの上の、１つまたは複数のサーバからビデオを受信するための１つ以上のネットワークコネクションとすることが出来る。
【００４０】
入出力装置２０２、プロセッサ２０３およびメモリ２０４は、通信媒体２０５によって通信することが出来る。通信メディア２０５は、例えば、バス、通信網、回線の１つ以上の内部接続、回路カードまたは他の装置、ならびにこれらおよび他の通信メディアの部分および組合せとすることが出来る。ソース ２０１からの入力ビデオ・データは、メモリ２０４に格納される１つ以上のソフトウェアプログラムに従って処理され、かつ、表示装置２０６に供給される出力ビデオ／画像を発生させるためにプロセッサ２０３によって実行される。
【００４１】
好適な実施例の場合、本発明の原理を用いる符号化および復号化は、システムによって実行されるコンピュータ読み込み可能なコードによって実施することが出来る。コードは、メモリ２０４に格納する、つまり、例えば、ＣＤ−ＲＯＭまたはフロッピー・ディスク・メモリ媒体から読み出し／ダウンロードすることが出来る。
【００４２】
他の実施例の場合、ハードウェア回路を、本発明を実施するソフトウェア命令に代えて、またはそれと共に、使用することが出来る。例えば、図４〜７に示す要素を、個別のハードウェア要素として実施することも出来る。
【００４３】
本発明を特定の実施例に関して述べたが、本発明は、本明細書において開示される本実施例に限定または制限されるものではないことは、理解されるべきである。例えば、ウェーブレットまたはマッチング追跡（ｍａｔｃｈｉｎｇ−ｐｕｒｓｕｉｔ）を含むがこれに限定されない、ＤＣＴの他に他の変換器を、用いることも出来る。別の具体例の場合、動き補償が、基本レイヤからの動きデータを再利用することによって、達成されるが、本発明の他の実施例では、拡張レイヤ内で、追加の運動ベクトルの送信を必要とするであろう追加の動き推定器を用いることも出来る。さらに別の具体例の場合、本発明の他の実施例は、まさにＰフレームに対して拡張レイヤ内で、動き補償を用いることが出来る。これらおよび全ての他のこのような変更態様と変更は、添付の請求の範囲の範囲内にあると考えるべきである。
【図面の簡単な説明】
【図１】現行の拡張レイヤ・ビデオ符号化方式を示す。
【図２】図１のビデオ符号化方式の基本レイヤと拡張レイヤを符号化するための従来の符号器のブロック図を示す。
【図３Ａ】本発明の第１の典型的な実施例による拡張レイヤ・ビデオ符号化方式を示す。
【図３Ｂ】本発明の第２の典型的な実施例による拡張レイヤ・ビデオ符号化方式を示す。
【図４】図３Ａの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る、本発明の典型的な実施例による符号器のブロック図を示す。
【図５】図３Ｂの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る、本発明の典型的な実施例による符号器のブロック図を示す。
【図６】本発明の典型的な実施例による、図４の符号器によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る、復号器のブロック図を示す。
【図７】本発明の典型的な実施例による、図５の符号器によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る、復号器のブロック図を示す。
【図８】本発明の原理を実施するために使用することが出来るシステムの典型的な実施例を示す。
【符号の説明】
１１ 基本レイヤ
１２ 拡張レイヤ
ＦＧＳＲ（ｉ） フレームｉの拡張レイヤ残差
３０ 拡張レイヤ・ビデオ符号化方式
３２ 拡張レイヤ
Ｂ Ｂフレーム（双方向予測フレーム）
５５ フレーム・フロー制御デバイス
５９ 第２の動き補償器
６０ 第３の減算器
６３ 第２の動き補償ループ
７６ 第１のデータ・ストリーム
９０ 第２の動き補償器
１７２ 拡張レイヤ復号器
２０１ ビデオ／画像ソース
２０６ 表示装置
Claims (30)
- ビデオを符号化する方法であって、
基本レイヤ・フレームを発生させるために、非スケーラブルな符復号化によって、符号化されていないビデオを符号化するステップと、
差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記符号化されていないビデオと前記基本レイヤ・フレームから前記差分フレーム残差を計算するステップと、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の前記少なくとも部分に適用するステップと、
動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するステップとを有するビデオを符号化する方法。 - スケーラブルな符復号化によって前記動き補償された拡張レイヤ・フレームを符号化する前記ステップを更に有する、請求項１に記載のビデオを符号化する方法。
- ファイン・グラニューラ・スケーラブル・符復号化によって前記動き補償された拡張レイヤ・フレームを符号化する前記ステップを更に有する、請求項１に記載のビデオを符号化する方法。
- 前記減算するステップで前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＢフレームを含み、前記減算するステップで前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分ＩおよびＰフレーム残差またはリファレンス動き補償された差分ＰおよびＰのフレーム残差を含み、かつ、前記減算するステップで前記差分フレーム残差の前記それぞれのものが、差分Ｂフレームを含む、請求項１に記載のビデオを符号化する方法。
- 前記動き補償された拡張レイヤ・フレームが、前記減算するステップで動き補償された拡張レイヤＰフレームを更に含み、前記減算するステップで前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を更に含み、かつ、前記減算するステップで前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを更に含む、請求項４に記載のビデオを符号化する方法。
- 前記減算するステップで前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを含み、前記減算するステップで前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を含み、かつ、前記減算するステップで前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを含む、請求項１に記載のビデオを符号化する方法。
- 基本レイヤ・ストリームおよび拡張レイヤ・ストリームを有する圧縮ビデオを復号化する方法であって、
基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するステップと、
差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するステップと、
リファレンス動き補償された差分フレーム残差を発生させるために、リファレンスとして作用する前記差分フレーム残差の前記少なくとも部分に動き補償を適用するステップと、
動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を前記差分フレーム残差のそれぞれのものに加算するステップと、
画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるステップとを有する、圧縮ビデオを復号化する方法。 - 前記加算するステップ内で前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＢフレームを含み、前記加算するステップ内で前記リファレンス動き補償された差分フレーム残差は、リファレンス動き補償された差分ＩおよびＰフレーム残差、またはリファレンス動き補償された差分ＰおよびＰのフレーム残差を含み、かつ、加算するステップで前記差分フレーム残差の前記それぞれのものが、差分Ｂフレームを含む、請求項７に記載の圧縮ビデオを復号化する方法。
- 前記加算するステップで前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを更に含み、前記加算するステップで前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を更に含み、かつ、前記加算するステップで前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを更に含む、請求項８に記載の圧縮ビデオを復号化する方法。
- 前記加算するステップで前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを含み、前記加算するステップで前記リファレンス動き補償された差分フレーム残差が、含むリファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を含み、かつ、前記加算するステップで前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを含む、請求項７に記載の圧縮ビデオを復号化する方法。
- ビデオをエンコードするためのメモリ媒体であって、
符号化されていないビデオを、基本レイヤ・フレームに非スケーラブルにエンコードをするためのコードと、
差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして機能するように、前記差分フレーム残差を、前記符号化されていないビデオおよび前記基本レイヤ・フレームから計算するためのコードと、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の少なくとも部分に適用するためのコードと、
動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するためのコードとを有するメモリ媒体。 - 前記動き補償された拡張レイヤ・フレームをスケーラブルにエンコードするためのコードを更に有する、請求項１１に記載のビデオをエンコードするためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームをファイン・グラニューラ・スケーラブル・エンコードするためのコードを更に有する、請求項１１に記載のビデオをエンコードするためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＢフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分ＩおよびＰフレーム残差またはリファレンス動き補償された差分ＰおよびＰのフレーム残差を含み、及び、前記差分フレーム残差の前記それぞれのものが、差分Ｂフレームを含む、請求項１１に記載のビデオをエンコードするためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを更に含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を更に含み、及び、前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを更に含む、請求項１４に記載のビデオをエンコードするためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を含み、及び、前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを含む、請求項１４に記載のビデオをエンコードするためのメモリ媒体。
- 基本レイヤ・ストリームおよび拡張レイヤ・ストリーム有する圧縮ビデオを復号化するためのメモリ媒体であって、
基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するためのコードと、
前記差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するためのコードと、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に、適用するためのコードと、
動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するためのコードと、
画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるためのコードとを有するメモリ媒体。 - 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＢフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分ＩおよびＰフレーム残差またはリファレンス動き補償された差分ＰおよびＰのフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Ｂフレームを含む、請求項１７に記載の圧縮ビデオを復号化するためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを更に含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を更に含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを更に含む、請求項１８に記載の圧縮ビデオを復号化するためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを含む、請求項１７に記載の圧縮ビデオを復号化するためのメモリ媒体。
- ビデオを符号化するための装置であって、
基本レイヤ・フレームを発生させる符号化されていないビデオを非スケーラブルに符号化するための手段と、
差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記符号化されていないビデオおよび前記基本レイヤ・フレームから前記差分フレーム残差を計算するための手段と、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、
動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものから前記リファレンス動き補償された差分フレーム残差を減算するための手段とを有する、ビデオを符号化するための装置。 - 前記動き補償された拡張レイヤ・フレームをスケーラブルに符号化するための手段を更に有する、請求項２１に記載のビデオを符号化するための装置。
- 前記動き補償された拡張レイヤ・フレームをファイン・グラニューラ・スケーラブル符号化するための手段を更に有する、請求項２１に記載のビデオを符号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＢフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分ＩおよびＰフレーム残差またはリファレンス動き補償された差分ＰおよびＰのフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Ｂフレームを含む、請求項２１に記載のビデオを符号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを更に含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を更に含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを更に含む、請求項２４に記載のビデオを符号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを含む、請求項２１に記載のビデオを符号化するための装置。
- 基本レイヤ・ストリームおよび拡張レイヤ・ストリーム有する圧縮ビデオを復号化するための装置であって、
基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するための手段分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するための手段と、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、
動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するための手段と、
画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるための手段とを有する、圧縮ビデオを復号化するための装置。 - 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＢフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉ及びＰのフレーム残差またはリファレンス動き補償された差分Ｐ及びＰのフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Ｂフレームを含む、請求項２７に記載の圧縮ビデオを復号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを更に含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を更に含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを更に含む、請求項２８に記載の圧縮ビデオを復号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤＰフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Ｉフレーム残差またはリファレンス動き補償されたＰフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Ｐフレームを含む、請求項２７に記載の圧縮ビデオを復号化するための装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US23449900P | 2000-09-22 | 2000-09-22 | |
| US09/887,743 US6940905B2 (en) | 2000-09-22 | 2001-06-21 | Double-loop motion-compensation fine granular scalability |
| PCT/EP2001/010874 WO2002025954A2 (en) | 2000-09-22 | 2001-09-18 | Double-loop motion-compensation fine granular scalability |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004509581A true JP2004509581A (ja) | 2004-03-25 |
| JP2004509581A5 JP2004509581A5 (ja) | 2008-11-06 |
Family
ID=26928015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002529033A Pending JP2004509581A (ja) | 2000-09-22 | 2001-09-18 | ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP1323316A2 (ja) |
| JP (1) | JP2004509581A (ja) |
| KR (1) | KR100860950B1 (ja) |
| CN (1) | CN1254115C (ja) |
| AU (1) | AU2002220558A1 (ja) |
| MY (1) | MY126133A (ja) |
| WO (1) | WO2002025954A2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008506327A (ja) * | 2004-07-15 | 2008-02-28 | サムスン エレクトロニクス カンパニー リミテッド | ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置 |
| JP2009522974A (ja) * | 2006-01-09 | 2009-06-11 | ノキア コーポレイション | 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002054774A2 (de) * | 2001-01-08 | 2002-07-11 | Siemens Aktiengesellschaft | Optimale snr-skalierbare videocodierung |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9022326D0 (en) | 1990-10-15 | 1990-11-28 | British Telecomm | Signal coding |
| JPH04177992A (ja) | 1990-11-09 | 1992-06-25 | Victor Co Of Japan Ltd | 階層性を有する画像符号化装置 |
| GB9206860D0 (en) | 1992-03-27 | 1992-05-13 | British Telecomm | Two-layer video coder |
| CA2126467A1 (en) | 1993-07-13 | 1995-01-14 | Barin Geoffry Haskell | Scalable encoding and decoding of high-resolution progressive video |
| JP3788823B2 (ja) | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
| US5852565A (en) | 1996-01-30 | 1998-12-22 | Demografx | Temporal and resolution layering in advanced television |
| US6148026A (en) | 1997-01-08 | 2000-11-14 | At&T Corp. | Mesh node coding to enable object based functionalities within a motion compensated transform video coder |
-
2001
- 2001-09-18 JP JP2002529033A patent/JP2004509581A/ja active Pending
- 2001-09-18 CN CNB018038034A patent/CN1254115C/zh not_active Expired - Fee Related
- 2001-09-18 KR KR1020027006542A patent/KR100860950B1/ko not_active IP Right Cessation
- 2001-09-18 WO PCT/EP2001/010874 patent/WO2002025954A2/en not_active Application Discontinuation
- 2001-09-18 EP EP01985317A patent/EP1323316A2/en not_active Ceased
- 2001-09-18 AU AU2002220558A patent/AU2002220558A1/en not_active Abandoned
- 2001-09-20 MY MYPI20014417A patent/MY126133A/en unknown
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008506327A (ja) * | 2004-07-15 | 2008-02-28 | サムスン エレクトロニクス カンパニー リミテッド | ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置 |
| US8031776B2 (en) | 2004-07-15 | 2011-10-04 | Samsung Electronics Co., Ltd. | Method and apparatus for predecoding and decoding bitstream including base layer |
| JP2009522974A (ja) * | 2006-01-09 | 2009-06-11 | ノキア コーポレイション | 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1486574A (zh) | 2004-03-31 |
| WO2002025954A2 (en) | 2002-03-28 |
| AU2002220558A1 (en) | 2002-04-02 |
| CN1254115C (zh) | 2006-04-26 |
| KR20020056940A (ko) | 2002-07-10 |
| MY126133A (en) | 2006-09-29 |
| WO2002025954A3 (en) | 2002-10-31 |
| EP1323316A2 (en) | 2003-07-02 |
| KR100860950B1 (ko) | 2008-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6940905B2 (en) | Double-loop motion-compensation fine granular scalability | |
| US7042944B2 (en) | Single-loop motion-compensation fine granular scalability | |
| JP4729220B2 (ja) | ハイブリッドな時間的／ｓｎｒ的微細粒状スケーラビリティビデオ符号化 | |
| US20020037046A1 (en) | Totally embedded FGS video coding with motion compensation | |
| KR100954816B1 (ko) | 비디오 및 비디오 신호를 코딩하는 방법, 비디오를 코딩하기 위한 장치 및 컴퓨터 판독 가능한 기록 매체, 및 베이스 층 데이터-스트림과 강화층 데이터-스트림을 디코딩하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 | |
| US6697426B1 (en) | Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames | |
| US20060291562A1 (en) | Video coding method and apparatus using multi-layer based weighted prediction | |
| WO2006118384A1 (en) | Method and apparatus for encoding/decoding multi-layer video using weighted prediction | |
| US6944346B2 (en) | Efficiency FGST framework employing higher quality reference frames | |
| US6904092B2 (en) | Minimizing drift in motion-compensation fine granular scalable structures | |
| JP2004509581A (ja) | ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ | |
| US20050135478A1 (en) | Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20080917 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080917 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110412 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110913 |