JP2004509581A - ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ - Google Patents
ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ Download PDFInfo
- Publication number
- JP2004509581A JP2004509581A JP2002529033A JP2002529033A JP2004509581A JP 2004509581 A JP2004509581 A JP 2004509581A JP 2002529033 A JP2002529033 A JP 2002529033A JP 2002529033 A JP2002529033 A JP 2002529033A JP 2004509581 A JP2004509581 A JP 2004509581A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- difference
- enhancement layer
- motion compensated
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 235
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000006835 compression Effects 0.000 claims 1
- 238000007906 compression Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 11
- 230000002457 bidirectional effect Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004503 fine granule Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】
ファイン・グラニューラ・スケーラブル符号化拡張レイヤ内に、動き補償を有するビデオ符号化技法。一実施例の場合、前記ビデオ符号化技法は、動き補償されていない拡張レイヤIおよびPフレームと動き補償された拡張レイヤBフレームを有する二重ループ予測に基づく拡張レイヤを含む。動き補償された拡張レイヤBフレームは、1) 2つの時間的に隣接した差分IおよびPまたはPおよびPのフレーム残差からの動き予測と、2) 前記復号化された基本レイヤBフレーム残差を前記オリジナルの基本レイヤBフレーム残差から減算することによって得られる前記差分Bフレーム残差を使用して、計算される。第2の実施例の場合、前記拡張レイヤは、更に、動き補償された拡張レイヤPフレームを含む。動き補償された拡張レイヤPフレームは、1) 時間的に隣接した差分IまたはPフレーム残差からの動き予測と、2) 前記復号化された基本レイヤPフレーム残差とを前記オリジナルの基本レイヤPフレーム残差から減算することによって得られる前記差分Pフレーム残差を使用して、計算される。
【選択図】図4
Description
【0001】
本発明は、ビデオ符号化、特に、双方向予測フレーム(Bフレーム)と、予測フレームおよび双方向予測フレーム(PおよびBのフレーム)とに対する拡張レイヤ内での動き補償を用いるスケーラブル拡張レイヤ・ビデオ符号化方式に関する。
【従来の技術】
【0002】
スケーラブル拡張レイヤ・ビデオ符号化は、インターネットのような帯域が変化するコンピュータ・ネットワークによって伝送されるビデオを圧縮するために使用されてきている。(ISO MPEG−4標準に採用されている)ファイン・グラニューラ符号化技術を用いる現行の拡張レイヤ・ビデオ符号化方式が、図1に示されている。図に示されるように、ビデオ符号化方式10は、ビット・レートRBLで符号化される予測に基づく基本レイヤ11と、RELで符号化されるFGS拡張レイヤ12を含む。
【0003】
予測に基づく基本レイヤ11は、フレーム内符号化Iフレームと、前のIまたはPフレームから動き推定補償を使用して時間的に予測されるフレーム間符号化Pフレームと、Bフレームに隣接している前と後のフレームから動き推定補償を使用して時間的に予測されるフレーム間双方向符号化Bフレームとを含む。基本レイヤ11の中で予測および/または補間符号化(すなわち動き推定及び対応する補償)を使用すると、その中の時間的冗長度は減少する。
【0004】
拡張レイヤ12は、それぞれのオリジナルのフレームからそれらのそれぞれの再構成された基本レイヤ・フレームを減算すること(この減算は、動き補償されるドメイン内でも行うことが出来る)によって導かれるFGS拡張レイヤI、P及びBフレームを含む。結果として、拡張レイヤ内のFGS拡張レイヤI、P及びBフレームは、動き補償されない。(FGS残差は、同じタイム・インスタンスでフレームから取り込まれる。)この主な理由は、伝送時に利用可能な帯域に個々に依存する各FGS拡張レイヤ・フレームの切捨てを可能にするフレキシビリティが提供されるからである。より詳しくは、拡張レイヤ12のファイン・グラニューラ・スケーラブル符号化によって、FGSビデオストリームを、Rmin =RBLからRmax = RBL + RELまでの利用可能な帯域で任意のネットワーク・セッションによって伝送することが可能となる。例えば、送信機及び受信機の間で利用可能な帯域がB=Rである場合、送信機は、レートRBLで基本レイヤ・フレームを送信し、かつレートREL = R‐RBLで拡張レイヤ・フレームの部分のみを送信する。図1から分かるように、拡張レイヤ内のFGS拡張レイヤ・フレームの部分は、伝送に対してファイン・グラニューラ・スケーラブル方法で選択することが出来る。ゆえに、伝送されるビット・レートの合計は、R= RBL + RELである。このフレキシビリティにより、単一の拡張レイヤで広範囲にわたる伝送帯域がサポートされる。
【0005】
図2は、図1のビデオ符号化方式の基本レイヤ11及び拡張レイヤ12を符号化する従来のFGS符号器のブロック図を示す。図に示されるように、フレームiの拡張レイヤ残差(FGSR(i))は、MCR(i)−MCRQ(i)に等しい。ここで、MCR(i)は、フレームiの動き補償された残差であり、MCRQ(i)は、量子化及び逆量子化処理後のフレームiの動き補償された残差である。
【0006】
図1の現行のFGS拡張レイヤ・ビデオ符号化方式10は、極めてフレキシブルではあるが、それは、その性能が同じ伝送ビット・レートで機能する非スケーラブルなコーダの性能と比較して、ビデオ画質が相対的に低いという問題を有する。画質の低下は、拡張レイヤ12のファイン・グラニューラ・スケーラブル符号化に起因するのではなく、主に、拡張レイヤ12内のFGS残差フレーム間の時間的冗長度の利用が減少したことに起因する。特に、拡張レイヤ12のFGS拡張レイヤ・フレームは、それらのそれぞれの基本レイヤI、PおよびBフレームの動き補償された残差のみから導かれる。如何なるFGS拡張レイヤ・フレームも、拡張レイヤ12内の他のFGS拡張レイヤ・フレームまたは基本レイヤ11内の他のフレームを予測するためには、使用されない。
【0007】
したがって、現行のFGSビデオ符号化方式に典型的なフレキシビリティ及び魅力的な特性の大部分を維持しつつ、画質を向上させるために拡張レイヤ内で動き補償を用いるスケーラブル拡張レイア・ビデオ符号化方式が、必要とされている。
【課題を解決するための手段】
【0008】
本発明は、拡張レイヤ・ビデオ符号化方式、特に、予測及び双方向予測のフレームに対して拡張レイヤ内で動き補償を用いるFGS拡張レイヤ・ビデオ符号化方式を目的とする。本発明の一つの観点は、基本レイヤ・フレームを発生させるために、非スケーラブルな符復号化によって、符号化されていないビデオを符号化するステップと、差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記符号化されていないビデオと前記基本レイヤ・フレームから前記差分フレーム残差を計算するステップと、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の前記少なくとも部分に適用するステップと、動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するステップとを有するビデオを符号化する方法に関する。
【0009】
本発明の別の観点は、基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するステップと、差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するステップと、リファレンス動き補償された差分フレーム残差を発生させるために、リファレンスとして作用する前記差分フレーム残差の前記少なくとも部分に動き補償を適用するステップと、動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を前記差分フレーム残差のそれぞれのものに加算するステップと、画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるステップとを有する、圧縮ビデオを復号化する方法に関する。
【0010】
本発明の更に別の観点は、符号化されていないビデオを、基本レイヤ・フレームに非スケーラブルにエンコードをするためのコードと、差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして機能するように、前記差分フレーム残差を、前記符号化されていないビデオおよび前記基本レイヤ・フレームから計算するためのコードと、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の少なくとも部分に適用するためのコードと、
動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するためのコードとを有するメモリ媒体に関する。
【0011】
本発明の更なる観点は、基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するためのコードと、前記差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するためのコードと、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に、適用するためのコードと、動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するためのコードと、画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるためのコードとを有するメモリ媒体に関する。
【0012】
更に、本発明の更なる観点は、基本レイヤ・フレームを発生させる符号化されていないビデオを非スケーラブルに符号化するための手段と、差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記符号化されていないビデオおよび前記基本レイヤ・フレームから前記差分フレーム残差を計算するための手段と、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、 動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものから前記リファレンス動き補償された差分フレーム残差を減算するための手段とを有する、ビデオを符号化するための装置に関する。
【0013】
本発明の更に別の観点は、基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するための手段分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するための手段と、リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するための手段と、画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるための手段とを有する、圧縮ビデオを復号化するための装置に関する。
【発明を実施するための説明】
【0014】
本発明の効果、特性、および様々な付加機能は、以下に、(図面全体を通して同じ要素には同じ参照番号が付されている)添付の図面と共に詳細に記載される実施例を考慮して、より明らかになるであろう。
【0015】
図3Aは、本発明の第1の典型的な実施例による拡張レイヤ・ビデオ符号化方式30を示す。図に示されるように、このビデオ符号化方式30は、予測に基づく基本レイヤ31と二重ループ予測に基づく拡張レイヤ32を含む。
【0016】
予測に基づく基本レイヤ31は、図1で示される従来の拡張レイヤ・ビデオ方式のように、フレーム内符号化Iフレーム、フレーム間符号化予測Pフレーム、およびフレーム間符号化双方向予測Bフレームを含む。基本レイヤI、P、およびBフレームは、従来の非スケーラブルなフレーム予測符号化技法を使用して符号化することが出来る。(基本レイヤIフレームは、もちろん動き予測されない。)。
【0017】
二重ループ予測に基づく拡張レイヤ32は、動き予測されていない拡張レイヤIおよびPフレームと動き予測された拡張レイヤBフレームを含む。動き予測されていない拡張レイヤIおよびPフレームは、従来、それらのそれぞれの再構成された(復号化された)基本レイヤIおよびPフレーム残差をそれらのそれぞれのオリジナルの基本レイヤIおよびPフレームの残差から減算することによって導かれる。
【0018】
本発明に従って、動き予測された拡張レイヤBフレームは、それぞれ、1)2つの時間的に隣接した差分IおよびPまたはPおよびPフレーム残差(別名、拡張レイヤ・フレーム)からの動き予測と、2)復号化された基本レイヤBフレーム残差をオリジナルの基本レイヤBフレーム残差から減算することによって得られる差分Bフレーム残差とを使用して計算される。2)差分Bフレーム残差と、1)2つの時間的に隣接した、動き補償された差分フレーム残差から得られるBフレーム動き予測との差は、拡張レイア 32内で動き予測された拡張レイヤBフレームを提供する。この処理から生じる動き予測された拡張レイヤBフレームと動き予測されていない拡張レイヤIおよびPフレームは、何れも、任意の適切なスケーラブルな符復号化、好ましくは、図3Aに示されるファイン・グラニューラ・スケーラブル(FGS)符復号化、によって符号化することが出来る。
【0019】
本発明のビデオ符号化方式30は、それが、拡張レイヤ32の拡張レイヤBフレーム内で時間的冗長度を減らすので、ビデオ画質を向上させる。拡張レイヤBフレームが、IBBPのGOP(group of pictures)構造において拡張レイヤ32の全ビット・レート予算(budget)の66%を占めるので、拡張レイヤBフレームに対してのみ動き補償を行うことから、画質のロスは、大部分のビデオ・シーケンスに対し極めて限定される。(従来の拡張レイヤ・ビデオ符号化方式の場合、通常のレート制御は、全ての拡張レイヤI、PおよびBフレームに等しい数のビットを割り当てることによって、大部分拡張レイヤ内で行われる。)
【0020】
更に、レート制御が、本発明のビデオ符号化方式によって充分な性能を達成するために重要な役割を果たすことに留意することは、重要である。しかしながら、Btot = bI*No._I_frames + bP*No._P_frames + bB*No._B_frames(ここで、bI>bP>bB)にしたがってGOPに全ビット予算 Btotを割り当てる極めて単純なアプローチさえ、すでに、極めて充分な結果を提供する。更に、動き補償ループ内で使用される各拡張レイヤ・リファレンス・フレームごとに、拡張レイヤのビット/ビットプレーン(ビット/ビットプレーンは、整数である必要はない)の数を異ならせることも可能であることにも留意されたい。更に、場合によっては、拡張レイヤ動き補償ループには、拡張レイヤ・リファレンス・フレーム内のある種の部分または周波数しか、組み込む必要がない。
【0021】
上述の方式のパケットロス耐性は、図1の現行の拡張レイヤ符号化方式のそれに類似する。すなわち、エラーが、動き予測された拡張レイヤBフレーム内で発生すると、このエラーは、次に受信されるIまたはPフレームを越えて広がらない。発生する可能性があるパケットロス・シナリオは、次の2つである:
・ エラーが、動き予測された拡張レイヤBフレーム内で発生する場合、このエラーは、このBフレームに限定される。
・ エラーが、拡張レイヤIまたはPフレーム内で発生する場合、このエラーは、これらの拡張レイヤ・フレームをリファレンスとして使用する動き予測された(2つの)拡張レイヤBフレームを越えて進まない。次いで、動き予測された拡張レイヤBフレームのうちの1つを破棄して、フレーム反復を適用するか、他のエラーの無いリファレンス拡張レイヤ・フレームを使用して、エラー隠蔽を適用するの何れかを行うことが出来る。
【0022】
図4は、本発明の典型的な実施例による、図3Aの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る符号器40のブロック図である。図示されるように、符号器40は、基本レイヤ符号器41と拡張レイヤ符号器42を含む。基本レイヤ符号器41は、従来のものであり、かつオリジナルのビデオ・シーケンスとメモリ44に格納された適切なレファレンス・フレームとから動き情報(運動ベクトルと予測モード)を発生させる動き推定器43を含む。第1の動き補償ループ62における第1の動き補償器45は、動き情報を処理し、かつ、動き補償された基本レイヤ・レファレンス・フレーム(Ref(i))を発生させる。第1の減算器46は、オリジナルのビデオ・シーケンスから動き補償された基本レイヤ・レファレンス・フレームRef(i)を減算して、基本レイヤ・フレームの動き補償された残差MCR(i)を発生させる。基本レイヤ・フレームの動き補償された残差MCR(i)は、離散コサイン変換(DCT)符号器47、量子化器48およびエントロピー符号器49によって、処理され、オリジナルのビデオ・シーケンスから圧縮された基本レイヤ・ストリーム(基本レイヤ・フレーム)の部分となる。動き推定器43によって発生される動き情報は、また、マルチプレクサ50により、第1の減算器46、DCT符号器47、量子化器48、およびエントロピー符号器49によって処理された基本レイヤ・ストリームの部分に、結合される。量子化器48の出力に発生される基本レイヤ・フレームの量子化された、動き補償された残差MCR(i)は、逆量子化器51によって逆量子化され、次いで、逆DCTユニット52により逆DCT変換される。この処理は、基本レイヤ・フレームの動き補償された残差の量子化および逆量子化されたバージョンMCRQ(i)を、逆DCT 52の出力に発生させる。基本レイヤ・フレームの量子化および逆量子化された動き補償された残差MCRQ(i)とそれらのそれぞれの動き補償された基本レイヤ・レファレンス・フレームRef(i)は、加算器53で合計され、(第1のフレームメモリ44に格納され、かつ他のフレームを処理するための)動き推定器43と動き補償器45とによって使用される新規のレファレンス・フレームが発生する。
【0023】
更に、図4を参照すると、(図4に示されるように、FGS拡張レイヤ符号器を有することが好ましい)拡張レイヤ符号器42は、(IおよびPフレーム残差の場合、拡張レイヤIおよびPフレームである)差分I、PおよびBフレーム残差FGSR(i)を発生させるために、基本レイヤ・フレームの動き補償された残差MCR(i)と、基本レイヤ・フレームの量子化および逆量子化された動き補償された残差MCRQ(i)との差を計算する第2の減算器54を含む。フレーム・フロー制御デバイス55は、差分Bフレーム残差を本発明の原理に従って拡張レイヤ内で動き補償によって処理する間、差分IおよびPフレーム残差を従来方法で処理することを可能とするために設けられている。フレーム・フロー制御デバイス55は、第2の減算器54の出力でのデータ・フローを、第2の減算器54によって出力されるフレームのタイプに従って、異なる方法で流すことにより、この作業を達成する。より詳細には、第2の減算器54の出力で発生される差分IおよびPフレーム残差は、フレーム制御デバイス55によって、ビットプレーンDCTスキャンとエントロピー・エンコーディングとがその後に続く従来のDCTエンコーディングを使用するFGS符号化用のFGS符号器61(または同様なスケーラブルな符号器)に、その経路が向けられ、圧縮された拡張レイヤ・ストリームの部分(動き補償されていない拡張レイヤのIおよびPフレーム)を発生させる。第2の減算器54の出力で発生される差分IおよびPフレーム残差は、また、それらが動き補償のために後で使用される、第2のフレームメモリ58にも、その経路が向けられる。第2の減算器54の出力で発生される差分Bフレーム残差は、フレーム制御デバイス55によって第3の減算器60と第2のフレームメモリ58にその経路が向けられる。第2の動き補償ループ63における第2の動き補償器59は、オリジナルのビデオ・シーケンスからの動き情報(基本レイヤ符号器41の動き推定器43の出力)と、リファレンスとして使用される、第2のフレームメモリ58内に格納された差分IおよびPフレーム残差とを再使用して、リファレンス動き補償された差分(IおよびP、またはPおよびP)フレーム残差MCFGSR(i)を発生させる。必要に応じてリファレンス差分フレーム残差全体を使用することが出来るが、各リファレンス差分IおよびPフレーム残差の一部(例えば、数個のビットプレーン)しか必要とされないことに留意されたい。第3の減算器60は、リファレンス動き補償された差分(IおよびPまたはPおよびP)フレーム残差MCFGSR(i)を、そのそれぞれの差分Bフレーム残差FGSR(i)から減算することによって、各々の動き予測された拡張レイヤBフレームMCFGS(i)を発生させる。フレーム・フロー制御デバイス55は、動き予測された拡張レイヤBフレームMCFGS(i)の経路を、それらを圧縮された拡張レイヤ・ストリームに加算する、ビットプレーンDCTスキャンとエントロピー・エンコーディングとが後に続く従来のDCTエンコーディングを使用するFGS符号化用のFGS符号器61に向ける。
【0024】
ここまでで、明らかとなったように、基本レイヤは、図3Aの拡張レイヤ・ビデオ符号化方式において、変化しない。さらに、拡張レイヤIおよびPフレームは、図1の現行のFGSビデオ符号化方式と実質的に同じ方法で処理され、それゆえ、これらのフレームは、拡張レイヤ内で動き予測されない。動き予測された拡張レイヤBフレームの場合、i番目のフレームMCFGSの拡張レイヤに符号化される信号が、
に等しく、ここで、MCR(i)が、量子化と逆量子化処理の後のフレームiの動き補償された残差で、FGSR(i)が、実質的に図1の現行のFGSビデオ符号化方式と同じであり(すなわち、FGSR(i)はMCR(i)−MCRQ(i)に等しく)、かつ、MCFGSR(i)が、フレーム(i)に対するリファレンス動き補償された差分フレーム残差であることは、明らかなはずである。本発明の拡張レイヤBフレーム処理方法は、単に、動き予測された拡張レイヤBフレームを提供するための、拡張レイヤ内の追加の動き補償ループしか必要としないことに、留意すべきである。
【0025】
図6は、本発明の典型的な実施例による、図4の符号器40によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る復号器70のブロック図である。図示されるように、復号器70は、基本レイヤ復号器71と拡張レイヤ復号器72を含む。基本レイヤ復号器71は、エンコードされた基本レイヤ・ストリームを受信し、かつこのストリームを第1および第2のデータ・ストリーム76, 77に非多重化する、デマルチプレクサ75を含む。動き情報(運動ベクトルと動き予測モード)を含む第1のデータ・ストリーム76は、第1の動き補償器78に与えられる。動き補償器78は、動き情報および関連した基本レイヤ・フレームメモリ79に格納された基本レイヤ・リファレンス・ビデオ・フレームを使用して、第1の加算器80の第1の入力81に与えられる動き予測された基本レイヤPおよびBフレームを発生させる。第2のデータ・ストリーム77は、復号化するための基本レイヤ可変長コード復号器83と逆量子化するための逆量子化器84に与えられる。逆量子化されたコードは、逆DCT復号器85に与えられ、ここで、この逆量子化されたコードが、第1の加算器80の第2の入力82に与えられる基本レイヤ残差ビデオI、PおよびBフレームに変換される。基本レイヤ残差ビデオ・フレームと動き補償器78によって発生される動き予測された基本レイヤ・フレームとは、第1の加算器80内で合計され、(基本レイヤ・フレームメモリ79に格納され、かつオプションとして、基本レイヤ・ビデオとして出力される)基本レイヤ・ビデオI、PおよびBフレームを発生させる。
【0026】
拡張レイヤ復号器72は、FGSビットプレーン復号器86または同じスケーラブルな復号器を含む。この復号器は、圧縮された拡張レイヤ・ストリームを復号化して、第1および第2のフレーム・フロー制御デバイス87, 91にそれぞれ与えられる、差分I、P、およびBフレーム残差を第1および第2の出力73, 74で発生させる。第1および第2のフレーム・フロー制御デバイス87, 91は、FGSビットプレーン復号器86の出力73, 74でのデータ・フローを、復号器86によって出力される拡張レイヤ・フレームのタイプに従って、異なる方法で流すことによって、差分IおよびPフレームの残差を、差分Bフレーム残差とは異なるように処理することが出来る。FGSビットプレーン復号器86の第1の出力73での差分IおよびPフレーム残差の経路は、第1のフレーム制御デバイス87によって、(それらが格納され、かつ動き補償のために後で使用される)拡張レイヤ・フレームメモリ88に向けられる。FGSビットプレーン復号器86の第1の出力73での差分Bフレーム残差の経路は、第1のフレーム制御デバイス87によって、第2の加算器92に向けられ、かつ、以下に説明されるように、処理される。
【0027】
第2の動き補償器90は、基本レイヤ復号器71によって受信される動き情報と拡張レイヤ・フレームメモリ88内で格納される差分IおよびPフレーム残差を再使用して、拡張レイヤBフレームを予測するために使用される、リファレンス動き補償された差分(IおよびPまたはPおよびP)フレーム残差を発生させる。第2の加算器92は、各々のリファレンス動き補償された差分フレーム残差とそのそれぞれの差分Bフレーム残差とを合計して、拡張レイヤBフレームを発生させる。
【0028】
第2のフレーム制御デバイス91は、逐次、FGSビットプレーン復号器86の第2の出力74での拡張レイヤIおよびPフレーム(差分IおよびPフレーム残差)と第2の加算器92の出力93での動き予測された拡張レイヤBフレームの経路とを、第3の加算器89に向ける。第3の加算器89は、それらの対応する基本レイヤI、PおよびBフレームと、拡張レイヤI、PおよびBフレームとを合計して、画質の向上したビデオを発生させる。
【0029】
図3Bは、本発明の第2の典型的な実施例に従う拡張レイヤ・ビデオ符号化方式100を示す。図示されるように、第2の実施例のビデオ符号化方式100は、二重ループ予測に基づく拡張レイヤ132内の拡張レイヤPフレームが、拡張レイヤBフレームのように動き補償されることを除いて、実質的に図3Aの第1の実施例と同一である。
【0030】
動き補償された拡張レイヤPフレームは、拡張Bフレームに類似した方法で計算される。すなわち、各動き補償された拡張レイヤPフレームは、1) 時間的に隣接した差分IまたはPフレーム残差からの動き予測と、2) 復号化された基本レイヤPフレーム残差をオリジナルの基本レイヤPフレーム残差から減算することによって得られる差分Pフレーム残差とを使用して、計算される。2) 差分Pフレーム残差と、1) 時間的に隣接した動き補償された差分フレーム残差から得られたPフレーム動き予測との間の差は、拡張レイヤ132内に動き補償された拡張レイヤPフレームを提供する。この処理から発生させる動き補償された拡張レイヤPとBのフレームと動き補償されていない拡張レイヤIフレームとは、両者とも、任意の適切なスケーラブルな符復号化(好ましくは、図3Bに示すようにファイン・グラニューラ・スケーラブル(FGS)符復号化)によって符号化することが出来る。
【0031】
図3Bのビデオ符号化方式100は、ビデオ画質の更なる向上を提供する。これは、ビデオ符号化方式100が、拡張レイヤ132のPとBの両方のフレーム内で時間的冗長度を減らすからである。
【0032】
本発明のビデオ符号化方式は、ビデオ・シーケンスの様々な部分または様々なビデオ・シーケンスに対して、図1の現行のビデオ符号化方式を置換させることができる。さらに、全ての3つのビデオ符号化方式、すなわち図1の現行のビデオ符号化方式と図3Aと図3Bに示されるビデオ符号化方式間の切替は、チャンネル特性に基づいて行うことが出来、かつエンコーディングまたは伝送時に行うことが出来る。更に、本発明のビデオ符号化方式は、複雑さを僅かしか増加させずに、符号化効率を大幅に増加させる。
【0033】
図5は、本発明の典型的な実施例による、図3Bの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る符号器140のブロック図である。図示されるように、図5の符号器140は、符号器40内で使用されるフレーム・フロー制御デバイス55が省略されている点を除いて、(図3Aの拡張レイヤ・ビデオ符号化方式を発生させるために使用される)図4の符号器40と、実質的に同じである。この符号器140では、フレーム・フロー制御デバイスは、必要ない。何故ならば、差分Iフレーム残差が、動き補償により処理されることがないので、それらを、拡張レイヤ符号器142内で差分PとBのフレーム残差から異なった経路に向ける必要がないからである。
【0034】
したがって、第2の減算器54の出力で発生される差分Iフレーム残差は、ビットプレーンDCTスキャンとエントロピー・エンコーディングが後に続く従来のDCTエンコーディングを使用するFGS符号化用のFGS符号器61に送られ、圧縮された拡張レイヤ・ストリームの部分(動き補償されていない拡張レイヤのIフレーム)が発生する。差分Iフレーム残差は、また、動き補償のために後で使用される差分Pフレーム残差とともに第2のフレームメモリ58にも送られる。第1の減算器54の出力で発生される差分PとBのフレーム残差も、また、第3の減算器60に送られる。第2の動き補償ループ63の第2の動き補償器59は、オリジナルのビデオ・シーケンスからの動き情報(基本レイヤ符号器41の動き推定器43の出力)と、リファレンスとして使用される、第2のフレームメモリ58内に格納された差分のIおよびPフレーム残差とを再使用して、拡張レイヤPフレームを動き補償するためのリファレンス動き補償された差分(IまたはP)のフレーム残差MCFGSR(i)と、拡張レイヤBフレームを動き補償するためのリファレンス動き補償された差分(IおよびP、またはPおよびP)のフレーム残差MCFGSR(i)とを発生させる。第3の減算器60は、リファレンス動き補償された差分(IまたはP)または(IおよびPまたはPおよびP)のフレーム残差MCFGSR(i)を、そのそれぞれの差分PまたはBのフレーム残差FGSR(i)から減算することによって各動き補償された拡張レイヤPまたはBのフレームMCFGS(i)を発生させる。動き補償された拡張レイヤPとBのフレームMCFGS(i)は、次いで、ビットプレーンDCTスキャンとエントロピー・エンコーディングが後に続く従来のDCTエンコーディングを使用するFGS符号化用のFGS符号器61に送られ、ここで、それらは、圧縮された拡張レイヤ・ストリームに加算される。
【0035】
図3Aのビデオ符号化方式と同じように、図3Bの拡張レイヤ・ビデオ符号化方式において、基本レイヤは、変化しない。さらに、本発明の拡張レイヤPとBのフレーム処理方法は、動き予測された拡張レイヤPとBのフレームを提供するために、拡張レイヤ内において追加の動き補償ループしか必要としないことに、留意すべきである。
【0036】
図7は、本発明の典型的な実施例による、図5の符号器140によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る復号器170のブロック図である。
【0037】
図示されるように、復号器70内で使用されるフレーム・フロー制御デバイス87, 91が、省略されていることを除いて、図7の復号器170は、図6の復号器70と実質的に同じである。この復号器170では、フレーム・フロー制御デバイスは、必要ない。何故ならば、差分Iフレーム残差が、動き補償により処理されないので、これらを、拡張レイヤ復号器172内で、復号された差分PとBのフレーム残差から異なった経路に向ける必要がないからである。
【0038】
したがって、FGSビットプレーン復号器86の第1の出力73での差分IおよびPフレーム残差は、(それらが格納され、かつ動き補償のために後で使用される)拡張レイヤ・フレームメモリ88に送られる。FGSビットプレーン復号器86の第2の出力74での差分PとBのフレーム残差は、第2の加算器92に送られる。FGSビットプレーン復号器86の第2の出力74での差分Iフレーム残差(以下、拡張レイヤIフレームと称す)は、(その目的は、以下に、説明される)第3加算器89に送られる。第2の動き補償器90は、基本レイヤ復号器71と拡張レイヤ・フレームメモリ88内で格納される差分IおよびPフレーム残差によって受信される動き情報を、再利用して、1)拡張レイヤBフレームを予測するために使用されるリファレンス動き補償された差分(IおよびPまたはPおよびP)のフレーム残差と、2)拡張レイヤPフレームを予測するために使用されるリファレンス動き補償された差分(Iまたは P)のフレーム残差とを発生させる。第2の加算器92は、それらのそれぞれの差分Bフレーム残差またはPフレーム残差とリファレンス動き補償された差分フレーム残差を合計して、拡張レイヤBとPのフレームを発生させる。第3の加算器89は、それらの対応する基本レイヤI、P、およびBフレームと拡張レイヤI、PおよびBフレームを合計して、画質の向上したビデオを発生させる。
【0039】
図8は、本発明の原理を実施するために使用することが出来るシステム200の典型的な実施例を示す。システム200は、テレビ、セットトップボックス、デスクトップ、ラップトップまたはパームトップ・コンピュータ、パーソナル・ディジタル・アシスタント(PDA)、ビデオ・カセット・レコーダ(VCR)のようなビデオ/画像記憶装置、デジタル・ビデオレコーダ(DVR)、TiVO装置等、ならびに、これらのおよび他の装置の部分または組合せとすることが出来る。システム200は、1つ以上のビデオ/画像ソース201、1つ以上の入出力装置202、プロセッサ203およびメモリ204を含む。ビデオ/画像ソース201は、例えば、テレビ受信機、VCRまたは他のビデオ/画像記憶装置とすることが出来る。ソース 201は、例えば、これに代えて、(インターネット、広域ネットワーク、メトロポリタン・エリア・ネットワーク、ローカル・エリア・ネットワーク、地上のブロードキャスト・システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワークまたは電話網、ならびに、これらのおよび他のタイプのネットワークの部分または組合せのような)グローバルなコンピュータ通信ネットワークの上の、1つまたは複数のサーバからビデオを受信するための1つ以上のネットワークコネクションとすることが出来る。
【0040】
入出力装置202、プロセッサ203およびメモリ204は、通信媒体205によって通信することが出来る。通信メディア205は、例えば、バス、通信網、回線の1つ以上の内部接続、回路カードまたは他の装置、ならびにこれらおよび他の通信メディアの部分および組合せとすることが出来る。ソース 201からの入力ビデオ・データは、メモリ204に格納される1つ以上のソフトウェアプログラムに従って処理され、かつ、表示装置206に供給される出力ビデオ/画像を発生させるためにプロセッサ203によって実行される。
【0041】
好適な実施例の場合、本発明の原理を用いる符号化および復号化は、システムによって実行されるコンピュータ読み込み可能なコードによって実施することが出来る。コードは、メモリ204に格納する、つまり、例えば、CD−ROMまたはフロッピー・ディスク・メモリ媒体から読み出し/ダウンロードすることが出来る。
【0042】
他の実施例の場合、ハードウェア回路を、本発明を実施するソフトウェア命令に代えて、またはそれと共に、使用することが出来る。例えば、図4〜7に示す要素を、個別のハードウェア要素として実施することも出来る。
【0043】
本発明を特定の実施例に関して述べたが、本発明は、本明細書において開示される本実施例に限定または制限されるものではないことは、理解されるべきである。例えば、ウェーブレットまたはマッチング追跡(matching−pursuit)を含むがこれに限定されない、DCTの他に他の変換器を、用いることも出来る。別の具体例の場合、動き補償が、基本レイヤからの動きデータを再利用することによって、達成されるが、本発明の他の実施例では、拡張レイヤ内で、追加の運動ベクトルの送信を必要とするであろう追加の動き推定器を用いることも出来る。さらに別の具体例の場合、本発明の他の実施例は、まさにPフレームに対して拡張レイヤ内で、動き補償を用いることが出来る。これらおよび全ての他のこのような変更態様と変更は、添付の請求の範囲の範囲内にあると考えるべきである。
【図面の簡単な説明】
【図1】現行の拡張レイヤ・ビデオ符号化方式を示す。
【図2】図1のビデオ符号化方式の基本レイヤと拡張レイヤを符号化するための従来の符号器のブロック図を示す。
【図3A】本発明の第1の典型的な実施例による拡張レイヤ・ビデオ符号化方式を示す。
【図3B】本発明の第2の典型的な実施例による拡張レイヤ・ビデオ符号化方式を示す。
【図4】図3Aの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る、本発明の典型的な実施例による符号器のブロック図を示す。
【図5】図3Bの拡張レイヤ・ビデオ符号化方式を発生させるために使用することが出来る、本発明の典型的な実施例による符号器のブロック図を示す。
【図6】本発明の典型的な実施例による、図4の符号器によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る、復号器のブロック図を示す。
【図7】本発明の典型的な実施例による、図5の符号器によって発生される圧縮された基本レイヤと拡張レイヤのストリームを復号化するために使用することが出来る、復号器のブロック図を示す。
【図8】本発明の原理を実施するために使用することが出来るシステムの典型的な実施例を示す。
【符号の説明】
11 基本レイヤ
12 拡張レイヤ
FGSR(i) フレームiの拡張レイヤ残差
30 拡張レイヤ・ビデオ符号化方式
32 拡張レイヤ
B Bフレーム(双方向予測フレーム)
55 フレーム・フロー制御デバイス
59 第2の動き補償器
60 第3の減算器
63 第2の動き補償ループ
76 第1のデータ・ストリーム
90 第2の動き補償器
172 拡張レイヤ復号器
201 ビデオ/画像ソース
206 表示装置
Claims (30)
- ビデオを符号化する方法であって、
基本レイヤ・フレームを発生させるために、非スケーラブルな符復号化によって、符号化されていないビデオを符号化するステップと、
差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記符号化されていないビデオと前記基本レイヤ・フレームから前記差分フレーム残差を計算するステップと、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の前記少なくとも部分に適用するステップと、
動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するステップとを有するビデオを符号化する方法。 - スケーラブルな符復号化によって前記動き補償された拡張レイヤ・フレームを符号化する前記ステップを更に有する、請求項1に記載のビデオを符号化する方法。
- ファイン・グラニューラ・スケーラブル・符復号化によって前記動き補償された拡張レイヤ・フレームを符号化する前記ステップを更に有する、請求項1に記載のビデオを符号化する方法。
- 前記減算するステップで前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤBフレームを含み、前記減算するステップで前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分IおよびPフレーム残差またはリファレンス動き補償された差分PおよびPのフレーム残差を含み、かつ、前記減算するステップで前記差分フレーム残差の前記それぞれのものが、差分Bフレームを含む、請求項1に記載のビデオを符号化する方法。
- 前記動き補償された拡張レイヤ・フレームが、前記減算するステップで動き補償された拡張レイヤPフレームを更に含み、前記減算するステップで前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を更に含み、かつ、前記減算するステップで前記差分フレーム残差の前記それぞれのものが、差分Pフレームを更に含む、請求項4に記載のビデオを符号化する方法。
- 前記減算するステップで前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを含み、前記減算するステップで前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を含み、かつ、前記減算するステップで前記差分フレーム残差の前記それぞれのものが、差分Pフレームを含む、請求項1に記載のビデオを符号化する方法。
- 基本レイヤ・ストリームおよび拡張レイヤ・ストリームを有する圧縮ビデオを復号化する方法であって、
基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するステップと、
差分フレーム残差のある種のものの少なくとも部分がリファレンスとして機能するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するステップと、
リファレンス動き補償された差分フレーム残差を発生させるために、リファレンスとして作用する前記差分フレーム残差の前記少なくとも部分に動き補償を適用するステップと、
動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を前記差分フレーム残差のそれぞれのものに加算するステップと、
画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるステップとを有する、圧縮ビデオを復号化する方法。 - 前記加算するステップ内で前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤBフレームを含み、前記加算するステップ内で前記リファレンス動き補償された差分フレーム残差は、リファレンス動き補償された差分IおよびPフレーム残差、またはリファレンス動き補償された差分PおよびPのフレーム残差を含み、かつ、加算するステップで前記差分フレーム残差の前記それぞれのものが、差分Bフレームを含む、請求項7に記載の圧縮ビデオを復号化する方法。
- 前記加算するステップで前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを更に含み、前記加算するステップで前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を更に含み、かつ、前記加算するステップで前記差分フレーム残差の前記それぞれのものが、差分Pフレームを更に含む、請求項8に記載の圧縮ビデオを復号化する方法。
- 前記加算するステップで前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを含み、前記加算するステップで前記リファレンス動き補償された差分フレーム残差が、含むリファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を含み、かつ、前記加算するステップで前記差分フレーム残差の前記それぞれのものが、差分Pフレームを含む、請求項7に記載の圧縮ビデオを復号化する方法。
- ビデオをエンコードするためのメモリ媒体であって、
符号化されていないビデオを、基本レイヤ・フレームに非スケーラブルにエンコードをするためのコードと、
差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして機能するように、前記差分フレーム残差を、前記符号化されていないビデオおよび前記基本レイヤ・フレームから計算するためのコードと、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、リファレンスとして機能する前記差分フレーム残差の少なくとも部分に適用するためのコードと、
動き補償された拡張レイヤ・フレームを発生させるために、前記リファレンス動き補償された差分フレーム残差を、前記差分フレーム残差のそれぞれのものから減算するためのコードとを有するメモリ媒体。 - 前記動き補償された拡張レイヤ・フレームをスケーラブルにエンコードするためのコードを更に有する、請求項11に記載のビデオをエンコードするためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームをファイン・グラニューラ・スケーラブル・エンコードするためのコードを更に有する、請求項11に記載のビデオをエンコードするためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤBフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分IおよびPフレーム残差またはリファレンス動き補償された差分PおよびPのフレーム残差を含み、及び、前記差分フレーム残差の前記それぞれのものが、差分Bフレームを含む、請求項11に記載のビデオをエンコードするためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを更に含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を更に含み、及び、前記差分フレーム残差の前記それぞれのものが、差分Pフレームを更に含む、請求項14に記載のビデオをエンコードするためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を含み、及び、前記差分フレーム残差の前記それぞれのものが、差分Pフレームを含む、請求項14に記載のビデオをエンコードするためのメモリ媒体。
- 基本レイヤ・ストリームおよび拡張レイヤ・ストリーム有する圧縮ビデオを復号化するためのメモリ媒体であって、
基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するためのコードと、
前記差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するためのコードと、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に、適用するためのコードと、
動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するためのコードと、
画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるためのコードとを有するメモリ媒体。 - 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤBフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分IおよびPフレーム残差またはリファレンス動き補償された差分PおよびPのフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Bフレームを含む、請求項17に記載の圧縮ビデオを復号化するためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを更に含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を更に含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Pフレームを更に含む、請求項18に記載の圧縮ビデオを復号化するためのメモリ媒体。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Pフレームを含む、請求項17に記載の圧縮ビデオを復号化するためのメモリ媒体。
- ビデオを符号化するための装置であって、
基本レイヤ・フレームを発生させる符号化されていないビデオを非スケーラブルに符号化するための手段と、
差分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記符号化されていないビデオおよび前記基本レイヤ・フレームから前記差分フレーム残差を計算するための手段と、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、
動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものから前記リファレンス動き補償された差分フレーム残差を減算するための手段とを有する、ビデオを符号化するための装置。 - 前記動き補償された拡張レイヤ・フレームをスケーラブルに符号化するための手段を更に有する、請求項21に記載のビデオを符号化するための装置。
- 前記動き補償された拡張レイヤ・フレームをファイン・グラニューラ・スケーラブル符号化するための手段を更に有する、請求項21に記載のビデオを符号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤBフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分IおよびPフレーム残差またはリファレンス動き補償された差分PおよびPのフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Bフレームを含む、請求項21に記載のビデオを符号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを更に含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を更に含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Pフレームを更に含む、請求項24に記載のビデオを符号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Pフレームを含む、請求項21に記載のビデオを符号化するための装置。
- 基本レイヤ・ストリームおよび拡張レイヤ・ストリーム有する圧縮ビデオを復号化するための装置であって、
基本レイヤ・ビデオ・フレームを発生させるために、前記基本レイヤ・ストリームを復号化するための手段分フレーム残差のある種のものの少なくとも部分が、リファレンスとして作用するように、前記差分フレーム残差を発生させるために、前記拡張レイヤ・ストリームを復号化するための手段と、
リファレンス動き補償された差分フレーム残差を発生させるために、動き補償を、前記少なくともリファレンスとして作用する前記差分フレーム残差の部分に適用するための手段と、
動き補償された拡張レイヤ・フレームを発生させるために、前記差分フレーム残差のそれぞれのものと前記リファレンス動き補償された差分フレーム残差を加算するための手段と、
画質を向上させたビデオを発生させるために、前記動き補償された拡張レイヤ・フレームを前記基本レイヤ・フレームのそれぞれのものと組み合わせるための手段とを有する、圧縮ビデオを復号化するための装置。 - 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤBフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分I及びPのフレーム残差またはリファレンス動き補償された差分P及びPのフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Bフレームを含む、請求項27に記載の圧縮ビデオを復号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを更に含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を更に含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Pフレームを更に含む、請求項28に記載の圧縮ビデオを復号化するための装置。
- 前記動き補償された拡張レイヤ・フレームが、動き補償された拡張レイヤPフレームを含み、前記リファレンス動き補償された差分フレーム残差が、リファレンス動き補償された差分Iフレーム残差またはリファレンス動き補償されたPフレーム残差を含み、かつ、前記差分フレーム残差の前記それぞれのものが、差分Pフレームを含む、請求項27に記載の圧縮ビデオを復号化するための装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US23449900P | 2000-09-22 | 2000-09-22 | |
US09/887,743 US6940905B2 (en) | 2000-09-22 | 2001-06-21 | Double-loop motion-compensation fine granular scalability |
PCT/EP2001/010874 WO2002025954A2 (en) | 2000-09-22 | 2001-09-18 | Double-loop motion-compensation fine granular scalability |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004509581A true JP2004509581A (ja) | 2004-03-25 |
JP2004509581A5 JP2004509581A5 (ja) | 2008-11-06 |
Family
ID=26928015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002529033A Pending JP2004509581A (ja) | 2000-09-22 | 2001-09-18 | ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP1323316A2 (ja) |
JP (1) | JP2004509581A (ja) |
KR (1) | KR100860950B1 (ja) |
CN (1) | CN1254115C (ja) |
AU (1) | AU2002220558A1 (ja) |
MY (1) | MY126133A (ja) |
WO (1) | WO2002025954A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008506327A (ja) * | 2004-07-15 | 2008-02-28 | サムスン エレクトロニクス カンパニー リミテッド | ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置 |
JP2009522974A (ja) * | 2006-01-09 | 2009-06-11 | ノキア コーポレイション | 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002054774A2 (de) * | 2001-01-08 | 2002-07-11 | Siemens Aktiengesellschaft | Optimale snr-skalierbare videocodierung |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9022326D0 (en) | 1990-10-15 | 1990-11-28 | British Telecomm | Signal coding |
JPH04177992A (ja) | 1990-11-09 | 1992-06-25 | Victor Co Of Japan Ltd | 階層性を有する画像符号化装置 |
GB9206860D0 (en) | 1992-03-27 | 1992-05-13 | British Telecomm | Two-layer video coder |
CA2126467A1 (en) | 1993-07-13 | 1995-01-14 | Barin Geoffry Haskell | Scalable encoding and decoding of high-resolution progressive video |
JP3788823B2 (ja) | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
US5852565A (en) | 1996-01-30 | 1998-12-22 | Demografx | Temporal and resolution layering in advanced television |
US6148026A (en) | 1997-01-08 | 2000-11-14 | At&T Corp. | Mesh node coding to enable object based functionalities within a motion compensated transform video coder |
-
2001
- 2001-09-18 JP JP2002529033A patent/JP2004509581A/ja active Pending
- 2001-09-18 CN CNB018038034A patent/CN1254115C/zh not_active Expired - Fee Related
- 2001-09-18 KR KR1020027006542A patent/KR100860950B1/ko not_active IP Right Cessation
- 2001-09-18 WO PCT/EP2001/010874 patent/WO2002025954A2/en not_active Application Discontinuation
- 2001-09-18 EP EP01985317A patent/EP1323316A2/en not_active Ceased
- 2001-09-18 AU AU2002220558A patent/AU2002220558A1/en not_active Abandoned
- 2001-09-20 MY MYPI20014417A patent/MY126133A/en unknown
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008506327A (ja) * | 2004-07-15 | 2008-02-28 | サムスン エレクトロニクス カンパニー リミテッド | ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置 |
US8031776B2 (en) | 2004-07-15 | 2011-10-04 | Samsung Electronics Co., Ltd. | Method and apparatus for predecoding and decoding bitstream including base layer |
JP2009522974A (ja) * | 2006-01-09 | 2009-06-11 | ノキア コーポレイション | 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置 |
Also Published As
Publication number | Publication date |
---|---|
CN1486574A (zh) | 2004-03-31 |
WO2002025954A2 (en) | 2002-03-28 |
AU2002220558A1 (en) | 2002-04-02 |
CN1254115C (zh) | 2006-04-26 |
KR20020056940A (ko) | 2002-07-10 |
MY126133A (en) | 2006-09-29 |
WO2002025954A3 (en) | 2002-10-31 |
EP1323316A2 (en) | 2003-07-02 |
KR100860950B1 (ko) | 2008-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6940905B2 (en) | Double-loop motion-compensation fine granular scalability | |
US7042944B2 (en) | Single-loop motion-compensation fine granular scalability | |
JP4729220B2 (ja) | ハイブリッドな時間的/snr的微細粒状スケーラビリティビデオ符号化 | |
US20020037046A1 (en) | Totally embedded FGS video coding with motion compensation | |
KR100954816B1 (ko) | 비디오 및 비디오 신호를 코딩하는 방법, 비디오를 코딩하기 위한 장치 및 컴퓨터 판독 가능한 기록 매체, 및 베이스 층 데이터-스트림과 강화층 데이터-스트림을 디코딩하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 | |
US6697426B1 (en) | Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames | |
US20060291562A1 (en) | Video coding method and apparatus using multi-layer based weighted prediction | |
WO2006118384A1 (en) | Method and apparatus for encoding/decoding multi-layer video using weighted prediction | |
US6944346B2 (en) | Efficiency FGST framework employing higher quality reference frames | |
US6904092B2 (en) | Minimizing drift in motion-compensation fine granular scalable structures | |
JP2004509581A (ja) | ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ | |
US20050135478A1 (en) | Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20080917 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080917 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110412 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110913 |