JP2005516494A - ドリフトフリー映像符合化及び復号化方法並びに対応する装置 - Google Patents
ドリフトフリー映像符合化及び復号化方法並びに対応する装置 Download PDFInfo
- Publication number
- JP2005516494A JP2005516494A JP2003563222A JP2003563222A JP2005516494A JP 2005516494 A JP2005516494 A JP 2005516494A JP 2003563222 A JP2003563222 A JP 2003563222A JP 2003563222 A JP2003563222 A JP 2003563222A JP 2005516494 A JP2005516494 A JP 2005516494A
- Authority
- JP
- Japan
- Prior art keywords
- sequence
- resolution
- decomposition
- low resolution
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本発明は、映像シーケンスの圧縮のための映像符合化方法に関し、連続的な低解像度GOFを有する低解像度シーケンスを、ウェーブレット分解により、前記オリジナル映像シーケンスから生成する段階と、各々の低解像度GOFの動き補償時空間分析により、低解像度分解を前記低解像度シーケンスにおいて実行する段階と、ウェーブレット分解から前記低解像度分解に結果的に生じる前記高周波数空間サブバンドのアンカリングにより、最大解像度シーケンスを前記低解像度分解から生成する段階と、前記動き補償時空間分析の間に生成された前記動きベクトルと前記最大解像度シーケンスとを符合化する段階と、を有する。本発明は又、対応する復号化方法と、対応する符合化装置及び復号化装置と、に関する。
Description
本発明は、連続的なフレームのグループ(GOF)に分割されたオリジナル映像シーケンスの圧縮のための符合化方法と対応する復号化方法とに関する。本発明は又、対応する符合化装置と復号化装置とに関する。
インターネットの発展及びマルチメディア技術における発達は、新しいアプリケーション及びサービスを可能にしてきた。それらの多くは、変化するネットワークの条件と端末の能力とを適合させるために、符合化効率ばかりでなく高い機能性及びフレキシビリティを必要とする。スケーラビリティはこれらの要求に答える。今日の映像圧縮規格は、しばしば、各々のフレームが基準フレームから時間的に予測され(予測オプション:イントラフレーム又はIフレームについての0値予測、Pフレームについての前方向予測、Bフレームについての双方向予測)、得られた予測誤差が空間的冗長性の優位性を得るために空間的に送信される予測スキームに基づいて、所謂、ハイブリッドソリューション(hybrid solution)を使用する。MPEG−2乃至MPEG−4から、規格ベースのスケーラブルソリューションが提供されてきた。それらは、オリジナル映像シーケンスの最も低い空間的、時間的及び/又はSNR解像度バージョンを有するベースレイヤ、並びに、空間的、時間的及び/又はSNR改善再構成を可能にする(送信され、復号化される場合)1つ又は幾つかのエンハンスメントレイヤ、の生成に依存する。スケーラビリティに基づくこれらのレイヤの欠点は、しかしながら、それらの符合化効率の欠如からもたらされる。
異なる方法は、埋め込みビットストリームを生成することができる3次元(3D)サブバンド符合化のような技術を提供してきた。それらの多重解像度分析構造のお陰で、スケーラビリティはそれらのスキームに対して固有であり、それらの固有な符合化効率を弱めない。例えば、非特許文献、“A fully scalable 3D subband video codec”,Proceedings of the Intennational Conference on Image Processing(ICIP2001),Vol.2,2001,pp.1017−1020に記載された3Dサブバンドコーデック復号化器において、埋め込みビットストリームは十分スケーラブルであり、既知の位置における切り捨てにより簡単に、いずれの空間的及び時間的解像度において、及びいずれの望ましいSNR品質を用いて、復号化されることができる。そのようなスキームにおいて、低周波数においてエネルギーをコンパクトにするように、連続的なフレームのグループ(GOF)は3D構造として処理され、時空間的にフィルタリングされ、動き補償が又、全体としての符合化効率を改善するために提供される。3Dサブバンド構造について、図1に示す。図に示した、動き補償を伴う3Dウェーブレット分解はフレームのグループ(GOF)に適用され、大きい動きを伴うシーケンスを処理するために、この現時点のGOFは、先ず、動き補償(MC)され、次いで、Haarウェーブレットを用いて、時間的にフィルタリング(TF)される(破線の矢印は時間的ハイパスフィルタリングに対応する一方、他の矢印は時間的ローパスフィルタリングに対応する)。動き補償操作と時間的フィルタリング操作の後、各々の時間的サブバンドは、時空間サブバンドに空間的に分解され、最終的に、オリジナルのGOFの3Dウェーブレット表現になり、3つの分解の段階について、図1の例に示している(L及びH=第1段階、LL及びHH=第2段階、LLL及びHHH=第3段階)。2Dから3Dに拡張する、周知のSPIHTアルゴリズムは、時空間分解構造に関連して最後の係数ビットプレーンを効率的に符合化するために選択される。
ここで実施するように、3Dサブバンドコーデック復号化器は、復号化器側で十分なオリジナルの解像度において動き補償(MC)時空間分析を適用する。空間的スケーラビリティは、最も高い分解の空間的サブバンドを取り除くことにより得られる。しかしながら、動き補償が3D分析スキームにおいて使用されるとき、この方法においては、非常に高いビットレートにあっても尚、低解像度における映像シーケンスの完全な再構築が可能ではない。以下の接ミニおいてドリフトと呼ぶこの現象は、目標の最後の表示サイズにおける直接符合化に比較して、スケーラブルソリューションの視認性品質を低下させる。非特許文献“Multiscale video compression using wavelet transform and motion compensation”,P.Y.Cheng and et.al.,Proceedings of the INternational Conference on Image Processing(ICIP95),Vol.1,1996,pp606−609に記載されているように、このようなドリフトは、取り替え可能でない動き補償とウェーブレット変換の順序によりもたらされる。実際には、フレーム(A)が低解像度(a)において合成されるとき、次の演算が適用され、
a=DWTL(L)+MC[DWTL(H)]
=DWTL(A)+[MC[DWTL(H)]−DWTL(MC[H])](1)
ここで、DWTLは、3D分析において同じウェーブレットフィルタを使用する解像度ダウンサンプルを意味する。完全なスケーラブルソリューションにおいては、次の演算を有することが望まれる。
a=DWTL(L)+MC[DWTL(H)]
=DWTL(A)+[MC[DWTL(H)]−DWTL(MC[H])](1)
ここで、DWTLは、3D分析において同じウェーブレットフィルタを使用する解像度ダウンサンプルを意味する。完全なスケーラブルソリューションにおいては、次の演算を有することが望まれる。
a=DWTL(A) (2)
式(1)の残りの部分は、それ故、ドリフトに相当する。MCが適用されない場合、ドリフトは取り除かれることが理解できる。一意の動きベクトルがフレームに適用される場合、同じ現象が起こる(画像の境界を除いて)。しかし、良好な符合化効率を得るためにはMCは回避することができず、一意のグローバルな動きの可能性は、次のパラグラフにおいてこの特定な場合を削除するには十分小さい。
式(1)の残りの部分は、それ故、ドリフトに相当する。MCが適用されない場合、ドリフトは取り除かれることが理解できる。一意の動きベクトルがフレームに適用される場合、同じ現象が起こる(画像の境界を除いて)。しかし、良好な符合化効率を得るためにはMCは回避することができず、一意のグローバルな動きの可能性は、次のパラグラフにおいてこの特定な場合を削除するには十分小さい。
J.W.Woods等のような一部の著者は、非特許文献“A resolution and frame−rate scalable subband/wavelet video coder”,IEEE transactions on Circuits and Systems for Video Technology,Vol.1,No.9,September 2001,pp.1035−1044において、異なる手段により良好な空間的スケーラビリティを達成するためにドリフトを取り除いている。しかしながら、前記文献においては、記載されているスキームは、非常に複雑であることに加えて、ビットストリームに付加的な情報(上位解像度を正確に合成するために必要なドリフト補正)を送ることを含み、それ故、一部のビットを浪費する(文献“Multiscale video compression using wavelet transform and motion compensation”,P.Y.Cheng and et.al.,Proceedings of the INternational Conference on Image Processing(ICIP95),Vol.1,1996,pp606−609に記載されている解決方法は、このボトルネックを回避するが、予測スキームにおいて機能し、3Dサブバンドコーデック復号化器に置き換え可能ではない)。
に代わる発光能力及び光センシング能力を結合した装置が要請されている。
に代わる発光能力及び光センシング能力を結合した装置が要請されている。
本発明の目的は上記の欠点を回避する解決方法を提供することである。
この目的を達成するために、本発明は、連続的なフレームのグループ(GOF)に分割されるオリジナル映像シーケンスの圧縮のための映像符合化方法に関し、前記方法は:
(1)連続的な低解像度のGOFを有する低解像度シーケンスを、ウェーブレット分解によりオリジナル映像シーケンスから生成する段階;
(2)各々の低解像度GOFの動き補償時空間分析により、低解像度分解を前記低解像度シーケンスにおいて実行する段階;
(3)ウェーブレット分解から前記低解像度分解に結果的に生じる高周波数空間サブバンドのアンカリングにより、最大解像度シーケンスを前記低解像度分解から生成する段階;並びに
(4)出力復号化ビットストリームを生成するために、動き補償時空間分析の間に生成された動きベクトルと前記最大解像度シーケンスとを符合化する段階;
を有する。
(1)連続的な低解像度のGOFを有する低解像度シーケンスを、ウェーブレット分解によりオリジナル映像シーケンスから生成する段階;
(2)各々の低解像度GOFの動き補償時空間分析により、低解像度分解を前記低解像度シーケンスにおいて実行する段階;
(3)ウェーブレット分解から前記低解像度分解に結果的に生じる高周波数空間サブバンドのアンカリングにより、最大解像度シーケンスを前記低解像度分解から生成する段階;並びに
(4)出力復号化ビットストリームを生成するために、動き補償時空間分析の間に生成された動きベクトルと前記最大解像度シーケンスとを符合化する段階;
を有する。
提供する解決方法は、3DS分析における分解ツリーのグローバル構造がドリフト効果分解/再構築機構のみが変化される)を補正するために送信される、という意味で注目すべきものである。動き推定/補償が最大解像度において実行されない場合、提供する解決方法は、複雑さという点で低コストの解決方法である。動き補償が高空間サブバンドに導入される場合、よりよい符合化効率が提供される。
本発明は又、対応する復号化方法であって:
(1)復号化最大解像度シーケンス及び関連する復号化動きベクトルを生成するために前記入力符合化ビットストリームを復号化する段階;
(2)前記復号化最大解像度シーケンスにおいて、復号化高周波数空間サブバンドと復号化低解像度分解とを分離する段階;
(3)復号化低解像度シーケンスを、動き補償時空間合成により、前記復号化低解像度分解から生成する段階;並びに
(4)オリジナル映像シーケンスに対応する出力最大解像度シーケンスを、前記復号化低解像度シーケンスと復号化高周波数空間サブバンドとから再構築する段階;
を有する方法に関する
本発明は又、前記符合化方法及び前記復号化方法それぞれを実施するために提供する、符合化装置及び復号化装置に関する。
(1)復号化最大解像度シーケンス及び関連する復号化動きベクトルを生成するために前記入力符合化ビットストリームを復号化する段階;
(2)前記復号化最大解像度シーケンスにおいて、復号化高周波数空間サブバンドと復号化低解像度分解とを分離する段階;
(3)復号化低解像度シーケンスを、動き補償時空間合成により、前記復号化低解像度分解から生成する段階;並びに
(4)オリジナル映像シーケンスに対応する出力最大解像度シーケンスを、前記復号化低解像度シーケンスと復号化高周波数空間サブバンドとから再構築する段階;
を有する方法に関する
本発明は又、前記符合化方法及び前記復号化方法それぞれを実施するために提供する、符合化装置及び復号化装置に関する。
提供する解決方法(即ち、動き補償3Dサブバンドコーデック復号化器においてドリフトの伴わない空間スケーラビリティ)はについて、2つの主な段階、即ち、(a)低解像度における動き補償段階、及び(b)高空間サブバンドを符合化する段階、を参照して、以下、説明する。
先ず、低解像度におけるドリフトを回避するために、動き補償(MC)が低解像度のレベルにおいて適用される。その結果、図2に示すように、先ず、ウェーブレットフィルタを用いて、GOFをダウンサイズ(参照符号d)し、次いで、通常の3DサブバンドMC分解スキームを最大サイズのGOFの代わりにこのダウンサイズされたGOFに適用する。図2において、時間的サブバンド(L0,d,H0,d)と(L1,d,H1,d)は周知のリフティングスキーム)に従って決定され(先ず、HがAとBとから規定され、次いで、LがAとHとから規定される)、破直線の矢印は時間的ハイパスフィルタリングに対応し、実直線は時間的ローパスフィルタリングに対応し、実曲線(参照符号A0,d,A1,d,A2,d,A3,dで示すシーケンスのフレームの低周波数空間サブバンド間、又は、参照符号L0,d及びL1,dで示される低周波数時間サブバンド間)は動き補償に対応する(本方法の副次的効果は、ビットストリームに送られる動きベクトルの大きさを減少させ、テクスチャ符合化のために幾つかのビットを蓄える、ことを記しておく)。ツリーベースのエントロピー符号化器(例えば、文献“Low bit−rate scalable video coding with 3D set partitioning in hierarchiacl trees(3D−SPIHT)”,B.J.Kim and al. IEEE Transactions on Circuits and Systems for Video Technology,Vol.10,No.8,December 2000,pp.1374−1387に記載されているような3D−SPIHT)にサブバンドを送信する前に、最大解像度の再構築を可能にする高空間サブバンドを設定する。最後のツリー構造は、文献“A fully scalable 3Dsubband video codec”,IEEE Conference on Image Processing(ICIP2001),Vol.2,pp.1017−1020,Thessaloniki,Greece,October 7−10,2001に記載されているツリー構造のような、3Dサブバンドコーデック復号化器のツリー構造に非常に似ているように考えられ、それ故、(最大解像度シーケンスのフレームのための)参照符号を次に列挙するような図3の新しい符合化スキームにおいて説明するように、ツリーベースのエントロピー符号化器は、いずれの制限を伴うことなく、適用されることができる。
FRS: 最大解像度シーケンス
WD: ウェーブレット分解
LRS: 低解像度シーケンス
MC−3DSA: 動き補償3Dサブバンド分析
LRD: 低解像度分解
HS: 高サブバンド
U−HFSS: フレームの3つの高周波数空間サブバンドの結合
FR−3D−SPIHT: 最大解像度3D SPIHT
OCB: 出力符合化ビットストリーム
図4に示す、対応する復号化スキームはこの符号化器に対して対称的である(図4における付加的な参照符号は、次のようなものである。
MC−3DSS: 動き補償3Dサブバンド合成
HSS: 高サブバンド分離
FRR: 最大解像度再構築)
空間スケーラビリティを可能にするために、高周波数空間サブバンドは、通常のバージョンの3DSコーデック復号化器におけるようにカットされる必要があり、図4の復号化スキームは、低解像度シーケンスをどのように自然に得るかについて示している。
FRS: 最大解像度シーケンス
WD: ウェーブレット分解
LRS: 低解像度シーケンス
MC−3DSA: 動き補償3Dサブバンド分析
LRD: 低解像度分解
HS: 高サブバンド
U−HFSS: フレームの3つの高周波数空間サブバンドの結合
FR−3D−SPIHT: 最大解像度3D SPIHT
OCB: 出力符合化ビットストリーム
図4に示す、対応する復号化スキームはこの符号化器に対して対称的である(図4における付加的な参照符号は、次のようなものである。
MC−3DSS: 動き補償3Dサブバンド合成
HSS: 高サブバンド分離
FRR: 最大解像度再構築)
空間スケーラビリティを可能にするために、高周波数空間サブバンドは、通常のバージョンの3DSコーデック復号化器におけるようにカットされる必要があり、図4の復号化スキームは、低解像度シーケンスをどのように自然に得るかについて示している。
それ故、高空間サブバンドを符合化するために、2つの主な解決方法、即ち、第1のMCを伴わない解決方法及び第2のMCを伴う解決方法を提供する。
A)MCを伴わない解決方法
第1の解決方法において、高サブバンドは、ウェーブレット分解におけるGOFのオリジナル(最大解像度)フレームの高周波数空間サブバンドに単純に対応する。それらのサブバンドは、復号化器における最大解像度での再構築を可能にする。実際には、フレームは低解像度において復号化されることができる。しかしながら、これらのフレームは、オリジナルフレームのウェーブレット分析における低空間サブバンドに対応する。それ故、単に、低解像度フレームと対応する高サブバンドを共に設定し、最大解像度フレームを得るためにウェーブレット合成を適用する必要がある。しかし、ここで、3D−SPIHT符号化器を最適化するために、どこに及びどのようにそれら高サブバンドを設定するのであろうか?3Dサブバンド符号化器のためのMCスキームにおいて、低時間的サブバンドは、常に、GOFのオリジナルフレームの1つのようにみえる。実際、
L=(1/√2)[A+MC(B)] (3)
であり、それ故、LはAであるようにみえる。従って、高空間サブバンドAは、Lに対応する低解像度分解と共に設定される必要がある。この方法(順方向補償の場合の高空間サブバンドの記録)について、図5に示し、ここで、DWTHは高周波数ウェーブレットフィルタを表し、係数cjtは乗算係数である。cjtを規定する方法については下で説明する。
第1の解決方法において、高サブバンドは、ウェーブレット分解におけるGOFのオリジナル(最大解像度)フレームの高周波数空間サブバンドに単純に対応する。それらのサブバンドは、復号化器における最大解像度での再構築を可能にする。実際には、フレームは低解像度において復号化されることができる。しかしながら、これらのフレームは、オリジナルフレームのウェーブレット分析における低空間サブバンドに対応する。それ故、単に、低解像度フレームと対応する高サブバンドを共に設定し、最大解像度フレームを得るためにウェーブレット合成を適用する必要がある。しかし、ここで、3D−SPIHT符号化器を最適化するために、どこに及びどのようにそれら高サブバンドを設定するのであろうか?3Dサブバンド符号化器のためのMCスキームにおいて、低時間的サブバンドは、常に、GOFのオリジナルフレームの1つのようにみえる。実際、
L=(1/√2)[A+MC(B)] (3)
であり、それ故、LはAであるようにみえる。従って、高空間サブバンドAは、Lに対応する低解像度分解と共に設定される必要がある。この方法(順方向補償の場合の高空間サブバンドの記録)について、図5に示し、ここで、DWTHは高周波数ウェーブレットフィルタを表し、係数cjtは乗算係数である。cjtを規定する方法については下で説明する。
しかしながら、3Dサブバンド構造における動き補償は、順方向又は逆方向のどちらかとすることができる(交互の方向が符合化効率を改善することさえ示された。その表記法が:
.jt:時間分解レベル(最大フレームレートに対して0、最小フレームレートに対してjt_max)
.t:低時間サブバンドに対して0、高時間サブバンドに対して1
.nf:時間レベルjtにおけるサブバンド指数
.me_dir_desc_tree:所定の時間レベルjtにおいて用いられるME方向を表すバイト(LSBは初めのME/MCの方向を表す、0は“順方向”、1は“逆方向”)
である次のアルゴリズムは、GOFにおけるフレームGOF_indexとそれと最もよく似ている時空間サブバンド{jt;n;t}との間のリンクを形成する。
UInt8
STlocationToGofIndex(MEDirectionDescriptionTree me_dir_desc_tree,UInt8
jt_max,UInt8 jt,UInt8 nf,UInt8 t)
{
UInt8 gof_index=0;
UInt direction;
UInt8 j,n_sb;
UInt8 sign;
gof_index=nf<<jt;
sign=1;
n_sb=nf;
for(j=jt−1;j>=0;J――)
{
direction=1<<n_sb;
if(t==0)
sign=0;
direction &=me_dir?desc_tree.aui8_level[j];
direction>>n_sb;
if(sign)
{
direction=!direction;
sign=0;
}
n_sb=(n_sb<<1)+direction;
}
return)gof_index);
}
係数cjtを規定する方法について、ここで説明する(Haarフィルタの場合)。αは時間2タップHaarフィルタにおいて用いられる係数であるとする。従来の3Dサブバンドスキームにおいて:
.jt:時間分解レベル(最大フレームレートに対して0、最小フレームレートに対してjt_max)
.t:低時間サブバンドに対して0、高時間サブバンドに対して1
.nf:時間レベルjtにおけるサブバンド指数
.me_dir_desc_tree:所定の時間レベルjtにおいて用いられるME方向を表すバイト(LSBは初めのME/MCの方向を表す、0は“順方向”、1は“逆方向”)
である次のアルゴリズムは、GOFにおけるフレームGOF_indexとそれと最もよく似ている時空間サブバンド{jt;n;t}との間のリンクを形成する。
UInt8
STlocationToGofIndex(MEDirectionDescriptionTree me_dir_desc_tree,UInt8
jt_max,UInt8 jt,UInt8 nf,UInt8 t)
{
UInt8 gof_index=0;
UInt direction;
UInt8 j,n_sb;
UInt8 sign;
gof_index=nf<<jt;
sign=1;
n_sb=nf;
for(j=jt−1;j>=0;J――)
{
direction=1<<n_sb;
if(t==0)
sign=0;
direction &=me_dir?desc_tree.aui8_level[j];
direction>>n_sb;
if(sign)
{
direction=!direction;
sign=0;
}
n_sb=(n_sb<<1)+direction;
}
return)gof_index);
}
係数cjtを規定する方法について、ここで説明する(Haarフィルタの場合)。αは時間2タップHaarフィルタにおいて用いられる係数であるとする。従来の3Dサブバンドスキームにおいて:
本スキームにおいて、高空間サブバンドに対してcjt=αjtを用いる場合、時間スケーラビリティを用いることは尚も意味がある。実際には、
B)MCを伴う解決方法
全てのサブバンドにおいてMCを用いることはドリフトを伴わない再構築を可能にするため、図6に示すように、高空間サブバンド を構築するためにMCを部分的に用いる(符合化効率の点で良好である)ことは可能であり、又、全ての解像度を再構築することができる(図6における付加的な参照符号は:
ME/MC:動き推定/動き補償
PRE:予測誤差
である。)
ウェーブレット分解の高周波数空間サブバンドを直接用いることの代わりに、ウェーブレット分解は、例えば、低解像度の動きベクトルを用いて、最大解像度シーケンスにおいて実行されるMCから得られる予測誤差に関して実行される。
全てのサブバンドにおいてMCを用いることはドリフトを伴わない再構築を可能にするため、図6に示すように、高空間サブバンド を構築するためにMCを部分的に用いる(符合化効率の点で良好である)ことは可能であり、又、全ての解像度を再構築することができる(図6における付加的な参照符号は:
ME/MC:動き推定/動き補償
PRE:予測誤差
である。)
ウェーブレット分解の高周波数空間サブバンドを直接用いることの代わりに、ウェーブレット分解は、例えば、低解像度の動きベクトルを用いて、最大解像度シーケンスにおいて実行されるMCから得られる予測誤差に関して実行される。
この解決方法は:
本発明は上記の実施形態に限定されるものではなく、本発明の範囲と主旨から逸脱することなく、変化及び修正を施すことが可能である。ハードウェア又はソフトウェアの単一のアイテムが幾つかの機能を実行することができる場合、ハードウェア又はソフトウェア又はそれら両方のアイテムにより、本発明に従った方法の機能を実施する多くの方法が存在する。ハードウェア又はソフトウェア又はそれら両方のアイテムのアセンブリは機能を実行し、それ故、本発明に従って、方法を修正することなく、単一の機能を構成することを除外しない。前記ハードウェア又はソフトウェアのアイテムは、例えば、有線の電子回路により又は適切にプログラムされた集積回路により、幾つかの方式において実施されることができる。集積回路は、コンピュータ、符号化器または復号化器に含まれ、例えば、コンピュータのプログラミングメモリ、又は符号化器或いは復号化器のメモリに含まれる命令の集合を有することができ、コンピュータ又は復号化器が本発明に従った方法の異なる段階を実行するようにすることができる。このような命令の集合は、例えば、ディスクのようなデータキャリアを読み取ることによりプログラミングメモリにロードされることが可能である。サービスプロバイダは又、例えば、インターネットのような通信ネットワークにより利用可能な根異例の集合を作成することができる。
Claims (6)
- 連続的なフレームのグループ(GOF)に分割されるオリジナル映像シーケンスの圧縮のための映像符合化方法であって:
(1)連続的な低解像度GOFを有する低解像度シーケンスを、ウェーブレット分解により前記オリジナル映像シーケンスから生成する段階;
(2)各々の低解像度GOFの動き補償時空間分析により、低解像度分解を前記低解像度シーケンスにおいて実行する段階;
(3)ウェーブレット分解から前記低解像度分解に結果的に生じる高周波数空間サブバンドのアンカリングにより、最大解像度シーケンスを前記低解像度分解から生成する段階;及び
(4)出力符合化ビットストリームを生成するために、前記動き補償時空間分析の間に生成された動きベクトルと前記最大解像度シーケンスとを符合化する段階;
を有することを特徴とする方法。 - 請求項1に記載の方法であって、前記高周波数空間サブバンドは、各々のフレームのために、前記時空間分解において動き推定方向に依存して最も前記フレームのようにみえる低解像度サブバンドに直接アンカリングされる、ことを特徴とする方法。
- 請求項1に記載の方法であって、推定モードは前記高周波数空間サブバンドを構築するために用いられ、前記高周波数空間サブバンドは前記オリジナル映像シーケンスに適用される動き補償から得られる予測誤差に関して実行される第2ウェーブレット分解から結果的に生じる、ことを特徴とする方法。
- 請求項1乃至3のいずれ一項に記載の映像符合化方法を実施するための符合化装置。
- 請求項1乃至3のいずれ一項に記載の符合化方法により符合化される入力ビットストリームを復号化するための方法であって:
(1)復号化最大解像度シーケンス及び関連する復号化動きベクトルを生成するために前記入力符合化ビットストリームを復号化する段階;
(2)前記復号化最大解像度シーケンスにおいて、前記復号化高周波数空間サブバンドと前記復号化低解像度分解とを分離する段階;
(3)復号化低解像度シーケンスを動き補償時空間合成により前記復号化低解像度分解から生成する段階;並びに
(4)前記オリジナル映像シーケンスに対応する出力最大解像度シーケンスを、前記復号化低解像度シーケンス及び前記復号化高周波数空間サブバンドから再構築する段階;
を有することを特徴とする方法。 - 請求項5に記載の前記映像復号化方法を実行するための復号化装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP02290155 | 2002-01-22 | ||
PCT/IB2003/000156 WO2003063497A1 (en) | 2002-01-22 | 2003-01-20 | Drift-free video encoding and decoding method, and corresponding devices |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005516494A true JP2005516494A (ja) | 2005-06-02 |
Family
ID=27589172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003563222A Withdrawn JP2005516494A (ja) | 2002-01-22 | 2003-01-20 | ドリフトフリー映像符合化及び復号化方法並びに対応する装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20050018771A1 (ja) |
EP (1) | EP1472883A1 (ja) |
JP (1) | JP2005516494A (ja) |
KR (1) | KR20040077777A (ja) |
CN (1) | CN1620815A (ja) |
WO (1) | WO2003063497A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9628819B2 (en) | 2003-03-06 | 2017-04-18 | Thomson Licensing Dtv | Method for coding a video image taking into account the part relating to a component of a movement vector |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070019722A1 (en) * | 2003-06-04 | 2007-01-25 | Koninklijke Philips Electronics N.V. | Subband-video decoding method and device |
KR20060090986A (ko) * | 2003-09-29 | 2006-08-17 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 3―d 오버컴플릿 웨이블렛 비디오 코딩 프레임워크에 대해결합 시공간 예측을 이용하는 형태학적 유효 맵 코딩 |
KR20060121912A (ko) * | 2003-10-10 | 2006-11-29 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 3d 비디오 스케일러블 비디오 인코딩 방법 |
DE102004031407A1 (de) * | 2004-06-29 | 2006-01-26 | Siemens Ag | Verfahren zur Bildencodierung einer Folge von Originalbildern, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung |
US8340177B2 (en) * | 2004-07-12 | 2012-12-25 | Microsoft Corporation | Embedded base layer codec for 3D sub-band coding |
US8442108B2 (en) * | 2004-07-12 | 2013-05-14 | Microsoft Corporation | Adaptive updates in motion-compensated temporal filtering |
US8374238B2 (en) * | 2004-07-13 | 2013-02-12 | Microsoft Corporation | Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video |
US8199825B2 (en) * | 2004-12-14 | 2012-06-12 | Hewlett-Packard Development Company, L.P. | Reducing the resolution of media data |
US20070014365A1 (en) * | 2005-07-18 | 2007-01-18 | Macinnis Alexander | Method and system for motion estimation |
CN102036070A (zh) | 2005-12-08 | 2011-04-27 | 维德约股份有限公司 | 用于视频通信系统中的差错弹性和随机接入的系统和方法 |
US7956930B2 (en) * | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
US8693538B2 (en) * | 2006-03-03 | 2014-04-08 | Vidyo, Inc. | System and method for providing error resilience, random access and rate control in scalable video communications |
US8953673B2 (en) * | 2008-02-29 | 2015-02-10 | Microsoft Corporation | Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers |
US8711948B2 (en) * | 2008-03-21 | 2014-04-29 | Microsoft Corporation | Motion-compensated prediction of inter-layer residuals |
US8549556B2 (en) * | 2008-04-15 | 2013-10-01 | Shlomo Selim Rakib | Contextual advertising |
US9571856B2 (en) | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
US8213503B2 (en) | 2008-09-05 | 2012-07-03 | Microsoft Corporation | Skip modes for inter-layer residual video coding and decoding |
WO2010039417A1 (en) * | 2008-09-23 | 2010-04-08 | Dolby Laboratories Licensing Corporation | Encoding and decoding architecture of checkerboard multiplexed image data |
JP5406942B2 (ja) | 2009-01-29 | 2014-02-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 立体画像である複数の画像をサブサンプリング及びインタリーブする方法及び装置 |
US9729899B2 (en) | 2009-04-20 | 2017-08-08 | Dolby Laboratories Licensing Corporation | Directed interpolation and data post-processing |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2286740B (en) * | 1994-02-21 | 1998-04-01 | Sony Uk Ltd | Coding and decoding of video signals |
CN1381142A (zh) * | 2000-05-18 | 2002-11-20 | 皇家菲利浦电子有限公司 | 用于视频序列压缩的编码方法 |
KR20020077884A (ko) * | 2000-11-17 | 2002-10-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 블록 매칭 프로세스를 사용하는 비디오 코딩 방법 |
US6801573B2 (en) * | 2000-12-21 | 2004-10-05 | The Ohio State University | Method for dynamic 3D wavelet transform for video compression |
-
2003
- 2003-01-20 CN CNA038025337A patent/CN1620815A/zh active Pending
- 2003-01-20 KR KR10-2004-7011386A patent/KR20040077777A/ko not_active Application Discontinuation
- 2003-01-20 EP EP03731788A patent/EP1472883A1/en not_active Withdrawn
- 2003-01-20 JP JP2003563222A patent/JP2005516494A/ja not_active Withdrawn
- 2003-01-20 WO PCT/IB2003/000156 patent/WO2003063497A1/en not_active Application Discontinuation
- 2003-01-20 US US10/501,825 patent/US20050018771A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9628819B2 (en) | 2003-03-06 | 2017-04-18 | Thomson Licensing Dtv | Method for coding a video image taking into account the part relating to a component of a movement vector |
Also Published As
Publication number | Publication date |
---|---|
KR20040077777A (ko) | 2004-09-06 |
CN1620815A (zh) | 2005-05-25 |
US20050018771A1 (en) | 2005-01-27 |
WO2003063497A1 (en) | 2003-07-31 |
EP1472883A1 (en) | 2004-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5014989B2 (ja) | 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体 | |
JP2005516494A (ja) | ドリフトフリー映像符合化及び復号化方法並びに対応する装置 | |
US7889793B2 (en) | Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer | |
KR100621581B1 (ko) | 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치 | |
US6898324B2 (en) | Color encoding and decoding method | |
US20060039472A1 (en) | Methods and apparatus for coding of motion vectors | |
US7042946B2 (en) | Wavelet based coding using motion compensated filtering based on both single and multiple reference frames | |
JP4844741B2 (ja) | 動画像符号化装置及び動画像復号装置と、その方法及びプログラム | |
US20070147492A1 (en) | Scalable encoding and decoding of interlaced digital video data | |
US20030202599A1 (en) | Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames | |
JP2004502358A (ja) | ビデオ系列の圧縮のための符号化方法 | |
US20060012680A1 (en) | Drift-free video encoding and decoding method, and corresponding devices | |
JP2006501750A (ja) | ウェーブレットベースの符号化において、動き補償された時間フィルタリングのための、フィルタリングされた領域とフィルタリングされない領域とを両方備えるlフレーム | |
JP2006526923A (ja) | サブバンドビデオデコードの方法および装置 | |
Wang | Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering | |
JP2006503475A (ja) | ドリフトのないビデオ符号化及び復号化方法、並びに対応する装置 | |
WO2005081531A1 (en) | Three-dimensional video scalable video encoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060117 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20060922 |