JP2009522974A - 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置 - Google Patents

低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置 Download PDF

Info

Publication number
JP2009522974A
JP2009522974A JP2008549945A JP2008549945A JP2009522974A JP 2009522974 A JP2009522974 A JP 2009522974A JP 2008549945 A JP2008549945 A JP 2008549945A JP 2008549945 A JP2008549945 A JP 2008549945A JP 2009522974 A JP2009522974 A JP 2009522974A
Authority
JP
Japan
Prior art keywords
base layer
block
prediction
frame
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008549945A
Other languages
English (en)
Inventor
ワン，シャンリン
カルチェビッチュ，マルタ
リッジ，ジャスティン
アンマー，ネジブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2009522974A publication Critical patent/JP2009522974A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

符号化構成は、スケーラブルビデオ符号化における削減された符号化及び復号の複雑度と共に、符号化効率を改善するために構成される。特に、個別レイヤの上位の複数FGSレイヤを符号化する場合が考慮される。複数FGSレイヤの符号化において、復号器向け２ループ構成が用いられる。復号器側では、新たな構成は２ループ構成と同等の複雑度を持ち、同時にマルチループ構成と同等の符号化性能を提供する。符号化構成及び方法は、個別レイヤ間予測におけるFGSレイヤの使用による部分復号の場合のドリフト効果を防止するよう構成され、符号化効率を改善するためにFGSレイヤ符号化における時間的予測を効率的に使用することを目的とする。符号化方法は、更なる変換操作を回避し、FGSレイヤにループ内デブロッキングフィルターを適用することを回避し、FGSレイヤ上に簡単な残余変換を使用する。

Description

本発明は、ビデオ符号化の分野に関連し、より詳細にはスケーラブル（scalable）ビデオ符号化に関連する。
ビデオ符号化において、ビデオフレーム間に存在する時間的冗長性は、他のビデオフレームに基づき、ビデオフレームを予測することにより最小化することができる。これら他のフレームは、参照フレームと呼ばれる。時間的予測は、種々の方法により実行できる。
- 復号器は、符号化器で使用されたものと同一の参照フレームを使用する。これは、従来の非スケーラブルビデオ符号化において、最も一般的な方法である。通常の操作において、符号化器で使用される参照フレームと復号器で使用されるものの間で、少しの不一致もあるべきではない。
- 符号化器は、復号器が利用できない参照フレームを使用する。１つの例では、符号化器は、参照フレームとして、再構成フレームの代わりにオリジナルフレームを使用する。
- 復号器は、符号化器内で使用されるフレームと比較し部分的にのみ再構成された参照フレームを使用する。同じフレームのビットストリームが完全には復号されない場合、又はそれ自身の参照フレームが部分的に再構成されている場合のどちらかであれば、フレームは部分的に再構成される。
時間的予測が第２及び第３の方法に従い行われるとき、符号化器により使用される参照フレームと復号器による参照フレームの間で不一致が生じ易い。もし復号器側において、不一致が蓄積すると、再構成されたビデオの品質が劣化する。
符号化器と復号器の間の時間的予測の不一致は、ドリフト（drift）と呼ばれる。蓄積されたエラーは再構成されたビデオに悪影響をもたらすことがある為、多くのビデオ符号化システムは、ドリフトなしとなるよう設計される。時には、SNR拡張性などの一定のビデオ符号化特性をより効率的に達成するために、ドリフトは常に完全に回避されるわけではない。
信号対ノイズ比（SNR）スケーラブルビデオストリームは、低品質レベルのビデオを部分的ビットストリームから再構成することができるという性質を持つ。微細粒度拡張性（FGS: Fine granularity scalability）は、スケーラブルストリームを任意に切り詰めることができるSNR拡張性の１つのタイプである。図１は、FGS特性のストリームがどのようにMPEG-4内で生成されるのかを示す。まず、基本レイヤ（base layer）が非スケーラブルビットストリームで符号化される。そしてFGSレイヤは、その上部で符号化される。MPEG-4 FGSは、FGSレイヤ内での時間的相関を利用しない。図２に示されるように、FGSレイヤ符号化で、時間的予測が使用されないとき、FGSレイヤは基本レイヤ再構成フレームから予測される。１フレームのFGSストリームの切捨ては他フレームの復号に影響しないので、このアプローチは、最大のビットストリーム柔軟性を持つが、符号化特性の優位性はない。
符号化特性を改善するため、FGSレイヤ符号化内で、その他の予測ループを導入することは望ましい。しかし、任意のフレームのFGSレイヤが部分的に復号されるため、復号器と符号化器内で使用される参照フレーム間の違いにより生じるエラーが蓄積し、ドリフトとなる。これは、図３で説明される。
漏れ（Leaky）予測は、SNR拡張レイヤ（enhancement layer）符号化における符号化特性とドリフト制御間でのバランスを追求するために使用されてきた技術である（例えば、Huang et al.、"A robust fine granularity scalability using trellis-based predictive leak"、 IEEE Transaction on Circuits and Systems for Video Technology、pp. 372-385、vol.12、Issue 6、June 2002を参照）。n番目フレームのFGSレイヤを符号化するために、実際の参照フレームは、基本レイヤ再構成フレームと拡張レイヤ参照フレームの線形結合により形成される。復号器内で、拡張レイヤ参照フレームが部分的に再構成されるなら、漏れ予測方法は、符号化器により使用される参照フレームと復号器により使用されるものとの間の不一致により生じるエラーの伝搬を限定するであろう。これは、新たな参照信号が形成される度にエラーが減衰されることによる。
米国公開特許第11/403,233号（これよりは、US11/403,233として参照する）は、基本レイヤ内で符号化される情報に基づき漏れ係数（leaky factor）を適応的に選択する方法を開示する。そのような方式を用いて、符号化特性を改善するため、時間的予測はFGSレイヤ符号化に効率的に組み込まれ、そして同時に、ドリフトは効果的に制御される。US11/403,233は、次を開示する。１）FGSレイヤ符号化における動き補償において、双一次などのより簡単な補間方法を用いて、差分のある参照フレーム（即ち、拡張レイヤ参照フレームと基本レイヤ参照フレーム間の差分）上で補間を実行する。２）少なくとも特定数の非ゼロ係数を持つ複数ブロック上に同一漏れ係数を適用することにより変換演算の数を減らす。US11/403,233において、個別（discrete）の基本レイヤの上位の複数FGSレイヤを符号化するための２つの符号化構成もまた開示される、即ち２ループ構成及びマルチループ構成である。
図３に示されるように、２ループ構成によれば、現在のフレームの第１FGSレイヤは、「基本レイヤ」として個別基本レイヤ、及び「拡張レイヤ」として先に符号化されたフレームの最上位FGSレイヤを使用する。図３に示されるように、現在のフレームnの第１のFGSレイヤの符号化は、参照フレームとして、フレームn−1の第３、最上位、の拡張レイヤを使用する。そして、現在のフレームのより高いFGSレイヤ、即ち、第２、第３…は、予測として現在のフレームの再構成された下位のFGSレイヤを使用する。これは、MPEG-4と類似する。このような構成に従い、動き補償の合計２つのループが、FGSレイヤを符号化するために必要となる。
マルチループ構成によれば、符号化器は以下を実行する。
・ 第１の符号化ループは、個別基本レイヤフレームを再構成するためのものである。
・ 第２の符号化ループは、第１のFGSレイヤを再構成するためのものである。「基本レイヤ」は個別基本レイヤで、「拡張レイヤ」は参照フレームの第１のFGSレイヤである。
・ 第３の符号化ループは、第２のFGSレイヤを再構成するためのものであり、「基本レイヤ」は第２の符号化ループからの同一フレームの第１のFGSレイヤで、「拡張レイヤ」は参照フレームの第２のFGSレイヤである、などとなる。
マルチループ構成は、図４に示される。
各FGSレイヤの符号化において、更なる動き補償が必要であるため、これは２ループ構成よりかなり複雑となる。一般的に、m番目FGSレイヤの符号化に対し、動き補償の(m+1)ループが必要である。
上記のシナリオにおいて、ただ１つの個別のレイヤが考慮される。１より多い個別レイヤが、個別レイヤの上位にあるFGSレイヤと共に利用可能であるとき、更なる問題が生じる。個別の拡張レイヤは、空間的な拡張レイヤとすることができる。粗大粒度拡張性（CGS: coarse granularity scalability）レイヤなど、FGSレイヤとは異なるSNR拡張レイヤともできる。
図６は、２つの個別のレイヤが符号化され、拡張個別レイヤが空間拡張レイヤとなる１つの例である。また、１つのFGSレイヤは個別の基本レイヤの上位でも利用可能である。この場合、空間拡張レイヤはFGSレイヤから部分的に予測されるため、復号器側におけるFGSレイヤの部分的復号の場合、ドリフト効果が空間拡張レイヤにおいて予期される。
現在のSVC標準によれば、異なる個別レイヤ間の予測は、制限されるものではないが次を有する。
１．イントラベース（intra-base）モードとも呼ばれるテクスチャ予測。再構成された基本レイヤブロックは、拡張レイヤブロックを予測するために用いられる。
２．残差予測。再構成された基本レイヤブロックの予測残差は、拡張レイヤブロックの予測残差を予測するために用いられる。
本発明は、複数FGSレイヤを符号化するための方法とシステムを提供し、復号器向け２ループ構成が用いられる。復号器側において、新たな構成は２ループ構成と同等の複雑度を持ち、一方でマルチループ構成と同等の符号化性能を提供する。また、個別レイヤ間予測におけるFGSレイヤの使用による部分復号の場合、本発明はドリフト効果を防ぐための方法も提供する。本発明は、符号化効率を改善するため、FGSレイヤ符号化における時間的予測を効果的に利用することを目的とする。
このため、本発明の第１の観点は、個別基本レイヤフレーム及び複数の拡張レイヤフレームを生成するため、デジタルビデオシーケンスのフレームを符号化する、又は符号化されたデジタルビデオシーケンスを復号する方法であり、各フレームは複数のブロックに分割された画素の配列を有する。この方法は、
個別基本レイヤにおける現在ブロックの共配置（collocated）ブロックに対し使用される参照ブロック、及び先の符号化フレーム内の同一拡張レイヤにおける現在のブロックに対する参照ブロックの両方に基づいて、現在フレームの現在ブロックの拡張レイヤを符号化するための予測を決定し、
低位レイヤの全てから現在のブロックの予測残差の合計を計算し、
予測に予測残差の合計を加算することにより、拡張レイヤを符号化するための参照ブロックを形成すること、を有する。
本発明によれば、個別基本レイヤの現在のブロックの共配置ブロックは、１つ又はそれ以上の係数を持ち、もし個別基本レイヤ内の共配置ブロックの１つ又はそれ以上の係数の全てがゼロなら、現在のブロックの予測は個別基本レイヤ内の参照ブロック及び拡張レイヤ内の参照ブロックの加重平均として計算される。
本発明によれば、もし個別基本レイヤ内の共配置ブロック内の非ゼロ係数の数が既定のしきいを超えるなら、現在のブロック内の１つ又はそれ以上の係数の全てが単一の漏れ係数を使用し、漏れ係数は個別基本レイヤ内の非ゼロ係数の数に基づき決定され、現在のブロックの予測は個別基本レイヤ内の参照ブロック及び拡張レイヤ内の参照ブロックの加重平均である。そして、もし個別基本レイヤ内の共配置ブロック内の非ゼロ係数の数がゼロより大きく、且つその数が既定のしきい値より低い又は同じであるなら、予測は、個別基本レイヤ内の参照ブロックの変換係数及び拡張レイヤ内の参照ブロックの変換係数の加重平均として、変換係数領域内で形成される。
既定のしきい値は、0に設定することができる。
本発明は、また、個別基本レイヤフレームに基づく個別拡張フレーム及び個別基本レイヤフレームの上位の複数の非個別拡張レイヤフレームを生成するため、デジタルビデオシーケンスのフレームを符号化する、又は符号化されたデジタルビデオシーケンスを復号する方法を提供する。各フレームは、複数ブロックに分割された画素の配列を有する。符号化方法は、その個別基本レイヤフレーム又は低位の拡張レイヤフレームの任意の１つのどちらか一方から、個別拡張レイヤフレームに対する予測を形成し、予測がその個別基本レイヤフレーム又は低位拡張レイヤフレームの１つから形成されているかをビットストリーム内に示すことを有する。復号方法は、現在フレームの現在ブロックの拡張レイヤを符号化するための予測が、個別基本レイヤフレームから又は低位拡張レイヤフレームの１つからのものであるかどうかの表示をビットストリーム内で受信し、受信情報に基づき、その個別基本レイヤフレーム又は低位拡張レイヤフレームの１つのどちらか一方から、現在の個別拡張レイヤフレームを復号するための予測を形成することを有する。
本発明の第２の観点は、個別基本レイヤフレーム及び複数の拡張レイヤフレームを生成するため、デジタルビデオシーケンスのフレームを符号化するための符号化器であり、各フレームは、複数ブロックに分割された画素の配列を有する。符号化器は、
個別基本レイヤにおける現在のブロックの共配置ブロックに対し使用される参照ブロック及び先の符号化フレーム内の同一拡張レイヤにおける現在ブロックに対する参照ブロックの両方に基づき、現在フレームの現在ブロックの拡張レイヤを符号化するための予測を決定するためのモジュール、
全ての低位レイヤからの現在ブロックの予測残差の合計を計算するためのモジュール、
予測に予測残差の合計を加えることにより、拡張レイヤを符号化するための参照ブロックを形成するためのモジュール、を有する。
本発明の第３の観点は、個別基本レイヤフレーム及び複数の拡張レイヤフレームを生成するため、符号化されたデジタルビデオシーケンスを復号するための復号器であり、各フレームは、複数ブロックに分割された画素の配列を有する。復号器は、
個別基本レイヤにおける現在ブロックの共配置ブロックに対し使用される参照ブロック及び先の符号化フレーム内の同一拡張レイヤにおける現在ブロックに対する参照ブロックの両方に基づき、現在フレームの現在ブロックの拡張レイヤを符号化するための予測を決定するためのモジュール、
全ての低位レイヤからの現在ブロックの予測残差の合計を計算するためのモジュール、
予測に予測残差の合計を加えることにより、拡張レイヤを符号化するための参照ブロックを形成するためのモジュール、を有する。
本発明の第４の観点は、上記した符号化器及び復号器を持つ、携帯電話などのデバイスである。
本発明の第５の観点は、ソフトウェアアプリケーションプロダクトであり、デジタルビデオシーケンスの符号化又は符号化されたデジタルビデオシーケンスの復号に使用するためのソフトウェアアプリケーションを持つコンピュータ読取り可能蓄積メディアを有し、ソフトウェアアプリケーションは上述した符号化及び復号方法を実行するためのプログラミングコードを待つ。
本発明の様々な実施例は、スケーラブルビデオ符号化における減少された符号化及び復号の複雑性と共に、改善された符号化効率のための符号化構成及び方法を提供する。特に、個別レイヤの上位にある複数FGSレイヤの符号化の場合が検討される。
複数のFGSレイヤを符号化するために、復号器向け２ループ構成が用いられる。復号器側では、新たな構成は２ループ構成と同程度の複雑度を持ち、同時に複数ループ構成と同程度の符号化性能を供給する。
本発明の様々な実施例は、また、個別レイヤ間予測に対するFGSレイヤの使用による部分復号の場合に、ドリフト効果を防止するための方法を提供する。
本発明は、符号化効率を改善するため、FGSレイヤ符号化における時間的予測を効果的に利用することを目的とする。しかし、復号器側におけるFGSフレームの部分復号の場合、FGSレイヤ符号化に対する予測に時間情報を組み込むことは、ドリフト問題を起こす可能性がある。FGSレイヤ符号化における予測に対し時間情報を効率的に利用し、同時にドリフト効果を制御するための方法が、本発明の主な焦点となる。
より高い個別レイヤに対する予測として、FGSレイヤが使用されるとき、FGSレイヤの部分復号の場合、予測ドリフトが符号化性能に著しく影響する。
先の解決方法に対する更なる簡素化
Ａ．更なる変換操作の回避
US11/403,233に記述された方式において、FGSレイヤ内のブロックを符号化するための予測を形成するとき、一般的に、次の３ケースが考慮される。
ａ）基本レイヤ内のその共配置ブロックの全係数がゼロであるなら、現在のブロックの予測は、基本レイヤの参照ブロック及び拡張レイヤの参照ブロックの加重平均として計算される。この場合、平均化操作は空間領域で実行され、更なる変換操作の必要はない。
ｂ）基本レイヤ内のその共配置ブロック内の非ゼロ係数の数が特定のしきい値Tcを超えるなら、このブロック内の全係数は単一の漏れ係数を使用する。漏れ係数の値は、基本レイヤ内の非ゼロ係数の数に依存する。この場合でも、現在のブロックの予測は、基本レイヤの参照ブロック及び拡張レイヤの参照ブロックの加重平均となる。平均化操作は空間領域で実行され、変換の必要はない。
ｃ）基本レイヤ内のその共配置ブロック内の非ゼロ係数の数がゼロではなく、且つしきい値Tcを超えないなら、変換が実施され、異なる漏れ係数が異なる係数に適用される。
特別なケース及び簡素化された装置として、しきい値Tcを0に設定することにより、ケース（ｃ）はケース（ｂ）に簡単に合併できる。この結果、この方式では更なる変換の必要はない。アルゴリズムの最も複雑な部分は、ケース（ｃ）の処理と関連するため、ケース（ｃ）を削除することは、全体的なアルゴリズムの複雑性を著しく簡潔にできる。特に、複数FGSレイヤを符号化するために、マルチループ構成が使用されるとき、そのような簡潔化が所望され、一般的に適用されるべきである。
Ｂ．FGSレイヤへのループ内デブロッキングフィルターの非適用
H.264において、ループ内デブロッキングフィルターが設計され、符号化ブロック境界付近のブロック悪影響を削減するために適用される。そのようなフィルターは、ループフィルターと呼ばれる。より良い（即ち、フィルターされた）フレームは、続くフレームを符号化するための参照フレームとして使用できるため、ループフィルターは、ブロック悪影響の削減のみならず、符号化性能を高めるためにも使用される。しかし、ループフィルターの使用は、特にマルチループ構成の場合において、全体の符号化複雑度をもかなり増大させる。
複雑度を低減するための実現可能な方法は、個別基本レイヤに対してのみ、ループ内フィルターを許可することである。この個別基本レイヤの上位のFGSレイヤに対し、ループ内フィルターは適用しない。最終FGSレイヤ、即ち、復号器側において最終的に再構成されたFGSレイヤに対し、ループフィルターがポストフィルターとして任意に適用できる。これは、最終FGSレイヤが復号された後、ブロック悪影響を除去するため、フィルターが復号されたシーケンスに任意に適用され、しかしフィルターされたFGSフレームは符号化ループ内に含まれないことを意味する。
Ｃ．FGSレイヤ上により簡単な残差変換（residual transform）の使用
更に複雑度を削減するため、FGSレイヤ符号化に対し、より簡単な残差変換が使用される。H.264において、DCTに基づく整数変換が定義され、残差変換に対し使用される。しかし、残差変換として４ｘ４アダマール変換などのより簡単な変換を使用することは、明らかな符号化性能劣化をもたらさないことが分かっている。４ｘ４アダマール変換は、DCTに基づく整数変換より、より簡単である。
複数FGSレイヤを符号化するための復号器向け２ループ構成
US11/403,233において、個別基本レイヤの上位にある複数FGSレイヤを符号化するため、２ループ構成とマルチループ構成の両方が開示されている。しかし、２つの構成の各々が幾つかの欠点を持つ。
マルチループ構成において、問題はその複雑性である。図４に示されるように、マルチループ構成によれば、各FGSレイヤの予測はその基本レイヤ及びその参照フレームの同一FGSレイヤから形成される。FGSレイヤは、１つずつ連続して符号化される必要がある。符号化器側において、個別基本レイヤが符号化された後、第１のFGSレイヤが符号化される。第2のFGSレイヤは、第1のFGSレイヤが符号化された後にのみ符号化される、などとなる。事情は、復号器に対しても同一である。復号器側において、個別基本レイヤが復号された後、第1のFGSレイヤが復号される。そして、第2のFGSレイヤ、更に第3のとなる。例として、復号器側において第3のFGSレイヤを再構成するために、個別基本レイヤの各々、第1のFGSレイヤ、及び第2のFGSレイヤが復号され、再構成されなければならない。動き補償もまた、低位レイヤ及び現在のレイヤの各々の復号において必要である。
２ループ構成は、それがどのFGSレイヤかに関係なく、FGSレイヤを符号化するために2ループの動き補償のみ要求するため、マルチループ構成よりかなり低い複雑度を持つ。図3に示されるように、第1のFGSレイヤを符号化するとき、個別基本レイヤ及びその参照フレームの最上位FGSレイヤが予測を形成するために使用される。第２のFGSレイヤを符号化するとき、再構成された第1のFGSレイヤフレームが予測として使用され、そしてそれ故に、これ以上の動き補償は必要ではない。同様に、第３のFGSレイヤを符号化するとき、再構成された第２のFGSレイヤフレームが予測として使用される、などとなる。全体として、動き補償の２ループは、FGSレイヤを符号化するために必要である。そのような状況は、符号化器と復号器の両方において同じである。
しかし、2ループ構成において、問題はその性能である。第1のFGSレイヤフレームを符号化するとき、現在のフレームの個別基本レイヤ及びその参照フレームの最上位FGSレイヤから予測が形成されるので、FGSレイヤの部分復号の場合、予測ドリフトが予想できる。例として、符号化器側において、図３に従い３つのFGSレイヤが符号化されると仮定する。復号器側において、第1のFGSレイヤを復号するだけのとき、第1のFGSレイヤに対する予測は、図２に示される方法で形成できるであろう。この場合、復号された各フレームに対し、第1のFGSレイヤのみ利用可能であり、それ故に、このレイヤ（即ち、利用可能な最上位レイヤ）はFGSレイヤ予測において使用される。これは、予測において第3のFGSレイヤフレームが使用される符号化器側でのケースとは異なる。符号化器側と復号器側において使用される予測器の間の不一致は、ドリフト効果の原因となる。この結果、第1のFGSレイヤ及び第2のFGSレイヤの符号化性能は、著しく影響を受ける。
本発明の様々な実施例において、新たな２ループ構成が提示される。新たな２ループ符号化構成によれば、マルチループ動き補償が符号化器側において使用することができ、復号器側では、2ループ動き補償のみが使用される。この理由により、本発明の様々な実施例の以下の記述において、この構成は、復号器向け２ループ構成として参照される。
FGSレイヤフレームの時間的予測は、図５に図示されるように形成される。第1のFGSレイヤの予測P1は、11/403,233で開示されるFGS符号化方法に従いマルチループ符号化構成におけるものと同一の方法で形成される。第2のFGSレイヤに対して、提案された同一のFGS符号化方法に従うが、「基本レイヤ」として個別基本レイヤ及び「拡張レイヤ」として第2のFGSレイヤを使用して、初期予測P2´がまず計算される。そしてP2´が第1のFGSレイヤ再構成予測残差D1に加えられ（これは、図５内で中抜き矢印で示される）、合計P2は実際の予測として使用される。
P2＝P2´＋α＊D1
αはパラメータで、0≦α≦1である。同様に、第3のFGSレイヤに対して、同一のFGS符号化方法に従うが、「基本レイヤ」として個別基本レイヤ及び「拡張レイヤ」として第３のFGSレイヤを使用して、初期予測P3´がまず計算される。そしてP3´が第1及び第２のFGSレイヤ再構成予測残差D1及びD2の両方に加えられ、合計P3は実際の予測として使用される。
P3＝P3´＋α＊D1＋β＊D2
βもまたパラメータで、0≦β≦1である。βは、αと同一又は異なるもののどちらか一方とできる。通常は、αとβとも、1に設定できる。
復号器向け２ループ構成とマルチループ構成の間の違いは、復号器向け２ループ構成において、各FGSレイヤの予測が現在のフレームの個別基本レイヤ及びその参照フレームの同一FGSレイヤから形成され、一方、マルチループ構成において、各FGSレイヤの予測がその直接の基本レイヤから形成されることである。
復号器向け２ループ構成と共に、符号化器側では、さらにマルチループ動き補償が必要である。個別基本レイヤが符号化された後、第1のFGSレイヤが符号化される。第2のFGSレイヤは、第1のFGSレイヤが符号化された後でのみ符号化される、などとなる。動き補償は、各FGSレイヤの符号化において必要となる。しかし、復号器側において、それがどのFGSレイヤであるのかに関わらず、FGSレイヤの復号において、動き補償の２ループのみが必要となり、１つは個別基本レイヤにおいて、１つは現在のFGSレイヤにおいてである。例えば、第2のFGSレイヤを復号するために、個別基本レイヤが動き補償と共に、まず復号される。そして、第1のFGSレイヤ残差が復号され、動き補償は必要ではない。最後に、図5に示される構造に従い、第2のFGSレイヤが動き補償と共に復号される。
FGSレイヤ内の時間的予測において、FGSレイヤは、その個別基本レイヤの同一動きベクターを使用できることに注意すべきである。しかし、FGSレイヤは、その基本レイヤとは異なる動きベクターもまた使用できる。どちらの場合も、複数FGSレイヤに対し、提案するFGS符号化方法及び符号化構成が適用可能である。
本発明において、２ループ又はマルチループ又は復号器向け2ループ符号化構成の選択は、符号化器での選択となり、ビットストリーム内で伝達することができることにも注意すべきである。それ故に、シーケンス内で、異なるフレーム（又はスライス）が異なる符号化構成に従い符号化され、符号化構成の選択が各フレーム（又はスライス）に対し伝達されることが可能である。
FGS部分復号による個別拡張レイヤにおけるドリフト効果の防止
図６に示されるように、FGSレイヤが利用可能であり、高位の個別レイヤを予測するために使用されるとき、FGSレイヤ部分復号の場合、予測ドリフト問題が予想できる。そのようなドリフト効果は、符号化性能に著しく影響する。しかし、もしFGSレイヤの代わりに個別基本レイヤが予測に使用されるなら、個別基本レイヤはFGSレイヤに比べ、低い画質を持つため、符号化性能にも影響する。
そのような予測ドリフトを克服するための実際的な方法は、復号器に信号を送るため更なる信号（又はフラグビット）を使用することであり、任意の個別拡張レイヤへの予測は、個別基本レイヤの上位にあるFGSレイヤの代わりに個別基本レイヤから来るべきである。個別基本レイヤは、利用可能で、且つ復号されることが常に保証されるため、この場合に予測ドリフトはない。その一方、そのようなフラグは時々のみ有効であり、常時ではない。そこで、殆どの時間において、更にFGSレイヤが、より良い符号化性能のために予測に使用される。本質的には、蓄積される予測ドリフト効果を防止するために拡張個別レイヤに対する予測を得る方法の観点では、そのような信号（又はフラグビット）は復号器に周期的な回復を与える。
フラグビットを符号化するための様々な方法がある。フレームレベルにて信号伝達できる（即ち、H.264によるスライスヘッダー）。そこで、任意のフレーム（又はスライス）において、個別拡張レイヤにおける全ブロックは、予測のため個別基本レイヤを使用する。また、マクロブロックレベルにおいても信号伝達できる。この場合、信号伝達された個別拡張レイヤのこれらマクロブロックのみ、予測のため個別基本レイヤを使用する。そうでなければ、個別基本レイヤのFGSレイヤが予測のため使用される。
本発明の様々な実施例は、複数のFGSレイヤを符号化するために、復号器向け２ループ構成を使用する。この２ループ構成は、図３に示される２ループ構成と同一の復号器複雑性を持つが、図4に示されるマルチループ構成の符号化性能と同程度の性能を提供できる。
FGSレイヤが利用可能であり、高位の個別レイヤを予測するために使われるとき、本発明は、FGSレイヤ部分復号による予測ドリフト問題に対する解法を提供する。
FGS符号化器の概要
図７及び８は、本発明のFGS符号化器及び復号器のブロックダイアグラムであり、ここでは、参照ブロックの構成は基本レイヤを基とする。これらブロックダイアグラムにおいて、１つのFGSレイヤのみ示される。しかし、１つのFGSレイヤの複数FGSレイヤを持つ構成への拡張は容易であることを理解すべきである。
ブロックダイアグラムで示されるように、FGS符号化器は更なる「参照ブロック構成モジュール」を伴う２ループビデオ符号化器である。
図9は、本発明の一実施例による典型的なモバイルデバイスを表す。図９に示されるモバイルデバイス１０は、セルラーのデータ及び音声通信が可能である。本発明はこの特定の実施例、これは多数の異なる実施例の１つを表す、に制限されないことに注意すべきである。モバイルデバイス１０は、（メインの）マイクロプロセッサー又はマイクロ制御器１００及びモバイルデバイスの動作を制御するマイクロプロセッサーに関連する要素を有する。これら要素は、ディスプレーモジュール１３５に接続するディスプレー制御器１３０、不揮発性メモリー１４０、ランダムアクセスメモリー（RAM）などの揮発性メモリー１５０、マイクロフォン１６１、スピーカー１６２及び／又はヘッドセット１６３と接続するオーディオ入力／出力（I/O）インタフェース１６０、キーパッド１７５又はキーボードと接続されたキーパッド制御器１７０、任意の補助入力／出力（I/O）インタフェース２００、及び短距離通信インタフェース１８０を有する。このようなデバイスは、通常、概して１９０で示される他のデバイスサブシステムも有する。
モバイルデバイス１０は、例えば、デジタルセルラーネットワーク、特にGSM (global system for mobile communication) 又はUMTS (universal mobile telecommunications system)の形式で、公衆陸上モバイルネットワーク（PLMN: public land mobile network）など、音声ネットワーク上で通信することができ、及び／又は同様にデータネットワーク上で通信することができる。一般的には、音声及び／又はデータ通信は、エアインタフェースを介して作用する。即ち、更なる要素（上を参照）と連携するセルラー通信インタフェースサブシステムからセルラーネットワークのインフラ基盤の無線アクセスネットワーク（RAN）の一部である基地局（BS）又はノードB（示されていない）までである。図9に説明として図示されるセルラー通信インタフェースサブシステムは、セルラーインタフェース１１０、デジタル信号プロセッサー（DSP）１２０、受信機（RX）１２１、送信機（TX）１２２、及び１又はそれ以上の局部発信機（LO）１２３を有し、１又はそれ以上の公衆陸上モバイルネットワーク（PLMN）との通信を可能にする。デジタル信号プロセッサー（DSP）１２０は、通信信号１２４を送信機（TX）１２２に送り、受信機（RX）１２１から通信信号１２５を受信する。通信信号を処理することに加え、デジタル信号プロセッサー１２０は、受信機制御信号１２６及び送信機制御信号１２７も供給する。例えば、送信される信号及び受信される信号のそれぞれ変調及び復調に加えて、受信機（RX）１２１及び送信機（TX）１２２内の通信信号に適用される利得レベルは、デジタル信号プロセッサー（DSP）１２０内に実装される自動利得制御アルゴリズムを通して適応的に制御される。送信機１２２のより高度な制御を供給するため、その他の送受信機制御アルゴリズムもまたデジタル信号プロセッサー（DSP）１２０内に実装可能である。PLMNを介したモバイルデバイス１０通信が単一周波数又は密接した周波数のセットで発生する場合、単一の局部発信機（LO）１２３が、送信機（TX）１２２及び受信機（RX）１２１と連結して使用できる。あるいは、音声／データ通信又は送信対受信において異なる周波数が利用されるなら、対応する複数の周波数を生成するために複数の局部発信機が使用される。図９に示されるモバイルデバイス１０は、ダイバーシチアンテナシステム（示されていない）としての、又はダイバーシチアンテナシステムを備えるアンテナ１２９と共に使用されるが、モバイルデバイス１０は、信号の受信及び送信において単一アンテナ構成と共に使用することができる。音声及びデータ情報の両方を含む情報は、デジタル信号プロセッサー（DSP）１２０間のデータリンクを介して、セルラーインタフェース１１０に、及びセルラーインタフェースから伝送される。周波数バンド、要素選択、電力レベルなど、セルラーインタフェース１１０の詳細設計は、モバイルデバイス１０が動作することになるワイヤレスネットワークに依存する。
何らかの要求されたネットワーク登録又は起動手順、これはセルラーネットワークへの登録に対し要求される加入者確認モジュール（SIM）２１０を含むことができる、が完了した後、モバイルデバイス１０は、ワイヤレスネットワーク上で、音声及びデータ信号の両方を含む通信信号を送信及び受信することができる。ワイヤレスネットワークからアンテナ１２９により受信される信号は、受信機１２１、これは信号増幅器のような動作を供給する、周波数ダウンコンバージョン、フィルターリング、チャネル選択、及びアナログ−デジタル変換に送られる。受信信号のアナログ−デジタル変換は、デジタル信号プロセッサー（DSP）１２０を用いて実行されるデジタル復調及び復号などのより複雑な通信機能を可能とする。同様の方法で、ネットワークに送信される信号は、例えば、デジタル信号プロセッサー（DSP）１２０により変調及び符号化を含めて処理され、デジタル−アナログ変換、周波数アップコンバージョン、フィルターリング、増幅、及びアンテナ１２９を介してのワイヤレスネットワークへの送信のために送信機１２２に供給される。
デバイスプラットフォームマイクロプロセッサーとして指定されることもできるマイクロプロセッサー／マイクロ制御器（μC）１１０は、モバイルデバイス１０の機能を管理する。プロセッサー１１０により使用されるオペレーティングシステムソフトウェア１４９は、不揮発性メモリー１４０などの持続的記憶領域に望ましくは記憶される。これは、例えば、フラッシュメモリー、バッテリーバックアップRAM、その他の不揮発性記憶技術、又はそれらの組合せとして実装できる。モバイルデバイス１０の低レベル機能及び（グラフィックな）基本ユーザーインタフェース関数を制御するオペレーティングシステム１４９に加えて、不揮発性メモリー１４０は、音声通信ソフトウェアアプリケーション１４２、データ通信ソフトウェアアプリケーション１４１、管理化（organizer）モジュール（示されていない）、又はその他のタイプのソフトウェアモジュール（示されていない）など、複数の高レベルソフトウェアアプリケーションプログラム又はモジュールを有する。これらモジュールは、プロセッサー１００により実行され、モバイルデバイス１０のユーザーとモバイルデバイス１０の間の高レベルインタフェースを提供する。このインタフェースは、一般的に、ディスプレー制御器１３０により制御されるディスプレー１３５を通し供給されるグラフィック要素、及びキーパッド制御器１７０を介し、プロセッサー１００、補助入力／出力（I/O）インタフェース２００、及び／又は短距離（SR: short-range）通信インタフェース１８０に接続されるキーパッド１７５を通し供給される入力／出力要素を有する。補助I/Oインタフェース２００は、特にUSB (universal serial bus)インタフェース、シリアルインタフェース、MMC (multimedia card) インタフェース及び関連するインタフェース技術／標準、並びにその他の標準化された又は所有権のあるデータ通信バス技術を有する。一方、短距離通信インタフェース無線周波数（RF）低電力インタフェースは、特にWLAN (wireless local area network)及びブルートゥース（bluetooth）通信技術、又はIRDA (infrared data access) インタフェースを有する。ここで参照されるRF低電力インタフェース技術は、何らかのIEEE 801.xx標準技術、この表記はInstitute of Electrical and Electronics Engineersから得られている、を含むことを特に理解すべきである。更に、補助I/Oインタフェース２００及び短距離通信インタフェース１８０は、１つ又はそれ以上の入力／出力インタフェース技術及び通信インタフェース技術それぞれをサポートする１つ又はそれ以上のインタフェースを代表することができる。オペレーティングシステム、特定のデバイスソフトウェアアプリケーション若しくはモジュール、又はそれらの一部は、ランダムアクセスメモリー（通常、より早い動作のためにDRAM（direct random access memory）技術に基づいて実装される）などの揮発性記憶領域１５０内に一時的に取り込まれる。更に、受信された通信信号もまた、それらを不揮発性メモリー１４０又はデータ格納のために補助I/Oインタフェースを介し好ましくは取り外し可能で接続されるマス記憶領域の中に置かれるファイルシステムに恒久的に書き込む前に、揮発性記憶領域１５０に一時的に格納することができる。当然ではあるが、上記の要素は、セルラー電話の形式でここに具体化される従来のモジュールデバイス１０の典型的な要素を表す。本発明は、説明のため及び完全を期すために単に表現されたこれらの特定の要素及びそれらの実装に限定されない。
モバイルデバイス１０の一例となるソフトウェアアプリケーションモジュールは、典型的には予定管理、カレンダー、タスク管理などを有するPDA機能性を提供するパーソナル情報管理アプリケーションである。そのようなパーソナル情報管理は、プロセッサー１００で実行され、モバイルデバイス１０の要素へのアクセスを持ち、その他のソフトウェアアプリケーションモジュールと相互作用できる。例えば、音声通信ソフトウェアアプリケーションとの相互作用では、電話のコール、音声メールなどを管理することを可能とし、データ通信ソフトウェアアプリケーションとの相互作用では、ショートメッセージサービス (SMS: soft message service)、マルチメディアサービス (MMS: multimedia service)、e-mail通信、及びその他データ送信の管理を可能とする。不揮発性メモリー１４０は、特にカレンダー入力、予定などを含むデバイス上のデータアイテムの恒久的な格納を容易とするため、できるならファイルシステムを提供する。例えば、セルラーインタフェース、短距離通信インタフェース、又は補助I/Oインタフェースを介したネットワークとのデータ通信に対する能力は、そのようなネットワークを介しアップロード、ダウンロード、及び同期を可能とする。
アプリケーションモジュール１４１から１４９は、プロセッサー１００により実行されるよう構成されたデバイス機能又はソフトウェアアプリケーションを表す。最も知られたモバイルデバイスにおいて、単一のプロセッサーは、全デバイス機能及びソフトウェアアプリケーション、さらにモバイルデバイスの全般の動作を管理及び制御する。そのようなコンセプトは、現在のモバイルデバイスにおいて適用可能である。拡張されたマルチメディア機能性の実装は、例えば、ビデオストリーミングアプリケーションを再生すること、デジタルイメージを操作すること、及び一体化された又は取り付け可能に接続されたデジタルカメラ機能により記録されたビデオシーケンスを有する。実装は、計算能力の要求を強いる高機能なグラフィックスを伴うゲームアプリケーションもまた有することができる。計算能力に対する要求、これは過去にも追及されてきた、に対応するための１つの方法は、強力且つ汎用のプロセッサーコアを実装することにより、計算能力を増加させるための問題を解決する。計算能力を供給するためのその他のアプローチは、２又はそれ以上の独立なプロセッサーコアを実装することであり、これは技術的によく知られた方法である。幾つかの独立なプロセッサーコアの優位点は、当業者により直ぐに理解できることである。汎用プロセッサーが、個別のタスクの事前選択に特化することなしに複数の異なるタスクを実行するよう設計されるのに対し、マルチプロセッサー構成は、１つ又はそれ以上の汎用プロセッサー、及び既定セットのタスクを処理するために適用される１つ又はそれ以上の専門化したプロセッサーを有することができる。それにもかかわらず、1つのデバイス、特にモバイルデバイス１０などモバイルデバイス内への幾つかのプロセッサーの実装は、従来、要素の完全な及び高度な再設計を必要とする。
以下において、本発明は、現行のプロセッシングデバイス実装内に更なるプロセッサーコアの簡単な統合を可能とするコンセプトを提供し、これは高価で完全な及び高度な再設計の省略を可能とする。発明のコンセプトはSoC（system-on-a-chip）設計を参考に記載される。SoCは、単一の高度集積チップ内にプロセッシングデバイスの少なくとも多数（又は全部）の要素を統合するためのコンセプトである。このようなSoCは、デジタル、アナログ、混合信号、及びしばしば無線周波数機能を全て１チップ上に含むことができる。典型的なプロセッシングデバイスは、異なるタスクを実行する多数の集積回路を有する。これら集積回路は、特に、マイクロプロセッサー、メモリー、汎用非同期受信機−送信機（UART）、シリアル／パラレルポート、ダイレクトメモリーアクセス（DMA）制御器などを有することができる。汎用非同期受信機−送信機（UART）はデータのパラレルビットとシリアルビット間での形を変える。VLSI（very-large-scale integration）集積回路をもたらしたセミコンダクター技術における最近の改良は、複雑性における大きな発展を可能とし、単一チップ内にシステムの多数の要素を統合することを可能とする。図９を参照すると、１つ又はそれ以上のそれら要素、即ち、制御器１３０及び１６０、メモリー要素１５０及び１４０．並びに１つ又はそれ以上のインタフェース２００、１８０及び１１０は、単一チップ内のプロセッサー１００と共に統合され、これは最終的にSoCを形成する。
更に、デバイス１０は、本発明の創意的な作用に従い、ビデオデータのスケーラブルな符号化１０５及びスケーラブルな復号１０６のためのモジュールを備える。CPU１００により、モジュール１０５、１０６が個々に使用される。しかし、デバイス１０はビデオデータの符号化又は復号それぞれを実行するよう適合される。ビデオデータは、デバイスの通信モジュールを用いて受信される、又はデバイス１０内の何かの可能な蓄積手段内に格納することもできる。
要約すると、本発明は複数FGSレイヤを符号化するための方法及びシステムを提供し、ここでは復号器向け２ループ構成が用いられる。復号器側において、新たな構成は２ループ構成と同等の複雑度を持ち、同時にマルチループ構成と同等の符号化性能を提供する。本発明はまた、個別レイヤ間の予測におけるFGSレイヤの使用による部分復号の場合において、ドリフト効果を防止するための方法を提供する。本発明は、符号化効率を改善するため、FGSレイヤ符号化における時間的予測を効率的に使用することを目的とする。
本発明は、個別基本レイヤフレーム及び複数の拡張レイヤフレームを生成するため、デジタルビデオシーケンスのフレームを符号化する又は符号化されたデジタルビデオシーケンスを復号する方法を提供する。各フレームは、複数のブロックに分割された画素の配列を有する。方法は、
個別基本レイヤにおける現在のブロックと共配置ブロックに対し使用される参照ブロック及び先の符号化フレーム内の同一拡張レイヤにおける現在のブロックに対する参照ブロックの両方に基づき、現在フレームの現在ブロックの拡張レイヤを符号化するための予測を決定し、
全ての低位レイヤからの現在ブロックの予測残差の合計を計算し、
予測に予測残差の合計を加えることにより、拡張レイヤを符号化するための参照ブロックを形成すること、を有する。
本発明によれば、個別基本レイヤの現在ブロックの共配置ブロックは、１つ又はそれ以上の係数を持ち、個別基本レイヤ内の共配置ブロックの１つ又はそれ以上の係数の全てがゼロであるなら、現在ブロックの予測は、個別基本レイヤ内の参照ブロック及び拡張レイヤ内の参照ブロックの加重平均として計算される。
本発明によれば、個別基本レイヤ内の共配置ブロック内の非ゼロ係数の数が既定のしきい値を超える場合、現在ブロック内の１つ又はそれ以上の係数の全ては単一の漏れ係数を使用し、漏れ係数は個別基本レイヤ内の非ゼロ係数の数に基づき決定され、現在ブロックの予測は個別基本レイヤ内の参照ブロック及び拡張レイヤ内の参照ブロックの加重平均である。個別基本レイヤの共配置ブロック内の非ゼロ係数の数がゼロより多く、且つ既定のしきい値より低い又は等しい場合、予測は、個別基本レイヤ内の参照ブロックの変換係数及び拡張レイヤ内の参照ブロックの変換係数の加重平均として、変換係数領域内に形成される。
既定のしきい値は、0に設定することができる。
本発明は、個別基本レイヤフレーム及び個別基本レイヤフレームの上位の複数の非個別拡張レイヤフレームに基づき個別拡張フレームを生成するため、デジタルビデオシーケンスのフレームを符号化する又は符号化されたデジタルビデオシーケンスを復号する方法もまた提供する。各フレームは、複数のブロックに分割される画素の配列を有する。符号化方法は、個別基本レイヤフレーム又は低位の拡張レイヤフレームの任意の１つのどちらか一方から、個別拡張レイヤフレームに対する予測を形成し、予測がその個別基本レイヤフレーム又は低位の拡張レイヤフレームの１つから形成されるかどうかをビットストリーム内に示すことを有する。復号方法は、現在フレームの現在ブロックの拡張レイヤを符号化するための予測が個別基本レイヤフレーム又は低位の拡張レイヤフレームの１つからのものであるかの表示をビットストリーム内に受信し、受信情報に基づき、個別基本レイヤフレーム又は低位拡張レイヤフレームの１つのどちらか一方から現在の個別拡張レイヤフレームを復号するための予測を形成することを有する。
本発明は、個別基本レイヤフレーム及び複数の拡張レイヤフレームを生成するため、デジタルビデオシーケンスのフレームを符号化するための符号化器を提供し、各フレームは、複数のブロックに分割される画素の配列を有する。符号化器は、
個別基本レイヤにおける現在ブロックの共配置ブロックに対し使用される参照ブロック及び先の符号化フレーム内の同一拡張レイヤにおける現在ブロックに対する参照ブロックの両方に基づき、現在フレームの現在ブロックの拡張レイヤを符号化するための予測を決定するためのモジュール、
全ての低位レイヤから現在ブロックの予測残差の合計を計算するためのモジュール、
予測に予測残差の合計を加えることにより拡張レイヤを符号化するための参照ブロックを形成するためのモジュールを有する。
本発明は、個別基本レイヤフレーム及び複数の拡張レイヤフレームを生成するため、符号化されたデジタルビデオシーケンスを復号するための復号器を提供し、各フレームは、複数のブロックに分割される画素の配列を有する。復号器は、
個別基本レイヤにおける現在ブロックの共配置ブロックに対し使用される参照ブロック及び先の符号化フレーム内の同一拡張レイヤにおける現在ブロックに対する参照ブロックの両方に基づき、現在フレームの現在ブロックの拡張レイヤを符号化するための予測を決定するためのモジュール、
全ての低位レイヤから現在ブロックの予測残差の合計を計算するためのモジュール、
予測に予測残差の合計を加えることにより拡張レイヤを符号化するための参照ブロックを形成するためのモジュールを有する。
上記の符号化器及び復号器は、移動電話などの電子デバイス内に実装することができる。
更に、上記した符号化及び復号するための方法は、ソフトウェアアプリケーションプロダクト内に実装できる。通常、ソフトウェアアプリケーションプロダクトは、デジタルビデオシーケンスを符号化するため又は符号化されたデジタルビデオシーケンスを復号するために使用されるソフトウェアアプリケーションを持つコンピュータ読取り可能記憶媒体を持ち、ソフトウェアアプリケーションは、上記した符号化及び復号方法を実行するためのプログラミングコードを持つ。
このように、本発明は、１つ又はそれ以上の実施例に関して記載されているが、形式及びその詳細における前述した並びに様々なその他の変更、省略、及び逸脱は、本発明の目的から逸脱することなくもたらされることは、当業者にとって当然のことである。
MPEG-4に従い、FGSレイヤ内に時間的予測を伴わない微細粒子拡張性を示す。 FGSレイヤ内に時間的予測を備える微細粒子拡張性を示す。 ２ループ構成においてFGSレイヤ内に時間的予測を備える微細粒子拡張性を示す。 マルチループ構成においてFGSレイヤ内に時間的予測を備える微細粒子拡張性を示す。 本発明に従い、復号器向け２ループ構成においてFGSレイヤ内に時間的予測を備える微細粒子拡張性を示す。 FGSレイヤと共に、複数個別レイヤの例を示す。 参照ブロックの基本レイヤ従属構成を備えるFGS符号化器を示す。 参照ブロックの基本レイヤ従属構成を備えるFGS復号器を示す。 本発明に従い、少なくとも１つのスケーラブル符号化器及びスケーラブル復号器を持つ電子デバイスを示す。

Claims (32)

  1. 個別の基本レイヤフレーム及び複数の拡張レイヤフレームを生成するためにデジタルビデオシーケンスのフレームを符号化する方法であって、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    個別の基本レイヤにおける現在のブロックの共配置ブロックに対し使用される参照ブロック及び先に符号化されたフレーム内の同一拡張レイヤにおける該現在のブロックに対する参照ブロックの両方に基づき、現在のフレームの該現在のブロックの拡張レイヤを符号化するための予測を決定することを特徴とする方法。
  2. 全ての低位レイヤから前記現在のブロックの予測残差の合計を計算し、
    前記予測に該予測残差の合計を加えることにより前記拡張レイヤを符号化するための参照ブロックを形成することを更に特徴とする、請求項１に記載の方法。
  3. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロックの該１つ又はそれ以上の係数の全てがゼロであるなら、前記現在のブロックの前記予測は、前記個別の基本レイヤ内の前記参照ブロック及び前記拡張レイヤ内の前記参照ブロックの加重平均として計算されることを特徴とする、請求項１に記載の方法。
  4. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の非ゼロ係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロック内の非ゼロ係数の数が既定のしきい値を超えるなら、前記現在のブロック内の該１つ又はそれ以上の係数の全ては単一の漏れ係数を使用し、該漏れ係数は前記個別の基本レイヤ内の非ゼロ係数の数に基づき決定され、前記現在のブロックの前記予測は、前記個別の基本レイヤ内の前記参照ブロック及び前記拡張レイヤ内の前記参照ブロックの加重平均であることを特徴とする、請求項１に記載の方法。
  5. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の非ゼロ係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロック内の非ゼロ係数の数がゼロより大きく、且つ既定のしきい値より少ない又は同じなら、前記予測は前記個別の基本レイヤ内の前記参照ブロックの変換係数及び前記拡張レイヤ内の前記参照ブロックの該変換係数の加重平均として該変換係数の領域内に形成されることを特徴とする、請求項１に記載の方法。
  6. 前記既定のしきいの値が0であることを特徴とする、請求項４に記載の方法。
  7. 個別の基本レイヤフレーム及び該個別の基本レイヤフレームの上位にある複数の非個別の拡張レイヤフレームに基づき個別の拡張レイヤフレームを生成するためにデジタルビデオシーケンスのフレームを符号化する方法であって、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    その個別の基本レイヤフレーム又は低位の拡張レイヤフレームの任意の１つのどちらか一方から個別の拡張レイヤフレームに対する予測を形成し、
    該予測がその個別の基本レイヤフレーム又は該低位の拡張レイヤフレームの１つから形成されているかどうかをビットストリーム内に示すことを特徴とする方法。
  8. 個別の基本レイヤフレーム及び複数の拡張レイヤフレームを生成するために符号化されたデジタルビデオシーケンスを復号する方法であって、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    個別の基本レイヤにおける現在のブロックの共配置ブロックに対し使用される参照ブロック及び先に符号化されたフレーム内の同一拡張レイヤにおける該現在のブロックに対する参照ブロックの両方に基づき、現在のフレームの該現在のブロックの拡張レイヤを符号化するための予測を決定することを特徴とする方法。
  9. 全ての低位レイヤから前記現在のブロックの予測残差の合計を計算し、
    前記予測に該予測残差の合計を加えることにより前記拡張レイヤを符号化するための参照ブロックを形成することを更に特徴とする、請求項８に記載の方法。
  10. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロックの該１つ又はそれ以上の係数の全てがゼロであるなら、前記現在のブロックの前記予測は、前記個別の基本レイヤ内の前記参照ブロック及び前記拡張レイヤ内の前記参照ブロックの加重平均として計算されることを特徴とする、請求項８に記載の方法。
  11. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の非ゼロ係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロック内の非ゼロ係数の数が既定のしきい値を超えるなら、前記現在のブロック内の該１つ又はそれ以上の係数の全ては単一の漏れ係数を使用し、該漏れ係数は前記個別の基本レイヤ内の非ゼロ係数の数に基づき決定され、前記現在のブロックの前記予測は、前記個別の基本レイヤ内の前記参照ブロック及び前記拡張レイヤ内の前記参照ブロックの加重平均であることを特徴とする、請求項８に記載の方法。
  12. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の非ゼロ係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロック内の非ゼロ係数の数がゼロより大きく、且つ既定のしきい値より少ない又は同じなら、前記予測は前記個別の基本レイヤ内の前記参照ブロックの変換係数及び前記拡張レイヤ内の前記参照ブロックの該変換係数の加重平均として該変換係数の領域内に形成されることを特徴とする、請求項８に記載の方法。
  13. 前記既定のしきいの値が0であることを特徴とする、請求項１１に記載の方法。
  14. 個別の基本レイヤフレーム及び該個別の基本レイヤフレームの上位にある複数の非個別の拡張レイヤフレームに基づき個別の拡張レイヤフレームを生成するために符号化されたデジタルビデオシーケンスを復号する方法であって、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    現在のフレームの現在のブロックの拡張レイヤを符号化するための予測が個別の基本レイヤフレーム又は低位の拡張レイヤフレームの１つからのものであるかの表示をビットストリーム内に受信し、
    該受信された情報に基づき、その個別の基本レイヤフレーム又は該低位の拡張レイヤフレームの１つのどちらか一方から該現在の個別の拡張レイヤフレームを復号するための予測を形成することを特徴とする方法。
  15. 個別の基本レイヤフレーム及び複数の拡張レイヤフレームを生成するためにデジタルビデオシーケンスのフレームを符号化するための符号化器であって、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    個別の基本レイヤにおける現在のブロックの共配置ブロックに対し使用される参照ブロック及び先に符号化されたフレーム内の同一拡張レイヤにおける該現在のブロックに対する参照ブロックの両方に基づき、現在のフレームの該現在のブロックの拡張レイヤを符号化するための予測を決定するためのモジュールにより特徴付けられる符号化器。
  16. 全ての低位レイヤから前記現在のブロックの予測残差の合計を計算するためのモジュール、
    前記予測に該予測残差の合計を加えることにより前記拡張レイヤを符号化するための参照ブロックを形成するためのモジュールにより更に特徴付けられる、請求項１５に記載の符号化器。
  17. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロックの該１つ又はそれ以上の係数の全てがゼロであるなら、前記計算モジュールは、前記個別の基本レイヤ内の前記参照ブロック及び前記拡張レイヤ内の前記参照ブロックの加重平均として前記現在のブロックの前記予測を計算するために適合されることを特徴とする、請求項１５に記載の符号化器。
  18. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の非ゼロ係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロック内の非ゼロ係数の数が既定のしきい値を超えるなら、前記現在のブロック内の該１つ又はそれ以上の係数の全ては単一の漏れ係数を使用し、該漏れ係数は前記個別の基本レイヤ内の非ゼロ係数の数に基づき決定され、前記現在のブロックの前記予測は、前記個別の基本レイヤ内の前記参照ブロック及び前記拡張レイヤ内の前記参照ブロックの加重平均であることを特徴とする、請求項１５に記載の符号化器。
  19. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の非ゼロ係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロック内の非ゼロ係数の数がゼロより大きく、且つ既定のしきい値より少ない又は同じなら、前記予測は前記個別の基本レイヤ内の前記参照ブロックの変換係数及び前記拡張レイヤ内の前記参照ブロックの該変換係数の加重平均として該変換係数の領域内に形成されることを特徴とする、請求項１５に記載の符号化器。
  20. 前記既定のしきいの値が0であることを特徴とする、請求項１８に記載の符号化器。
  21. 個別の基本レイヤフレーム及び該個別の基本レイヤフレームの上位にある複数の非個別の拡張レイヤフレームに基づき個別の拡張レイヤフレームを生成するためにデジタルビデオシーケンスのフレームを符号化するための符号化器であって、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    その個別の基本レイヤフレーム又は低位の拡張レイヤフレームの任意の１つのどちらか一方から個別の拡張レイヤフレームに対する予測を形成するためのモジュール、
    該予測がその個別の基本レイヤフレーム又は該低位の拡張レイヤフレームの１つから形成されているかどうかをビットストリーム内に示すためのモジュールにより特徴付けられる符号化器。
  22. 個別の基本レイヤフレーム及び複数の拡張レイヤフレームを生成するために符号化されたデジタルビデオシーケンスを復号するための復号器であって、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    個別の基本レイヤにおける現在のブロックの共配置ブロックに対し使用される参照ブロック及び先に符号化されたフレーム内の同一拡張レイヤにおける該現在のブロックに対する参照ブロックの両方に基づき、現在のフレームの該現在のブロックの拡張レイヤを符号化するための予測を決定するためのモジュールにより特徴付けられる復号器。
  23. 全ての低位レイヤから前記現在のブロックの予測残差の合計を計算するためのモジュール、
    前記予測に該予測残差の合計を加えることにより前記拡張レイヤを符号化するための参照ブロックを形成するためのモジュールにより更に特徴付けられる、請求項２２に記載の復号器。
  24. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロックの該１つ又はそれ以上の係数の全てがゼロであるなら、前記現在のブロックの前記予測は、前記個別の基本レイヤ内の前記参照ブロック及び前記拡張レイヤ内の前記参照ブロックの加重平均として計算されることを特徴とする、請求項２２に記載の復号器。
  25. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の非ゼロ係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロック内の非ゼロ係数の数が既定のしきい値を超えるなら、前記現在のブロック内の該１つ又はそれ以上の係数の全ては単一の漏れ係数を使用し、該漏れ係数は前記個別の基本レイヤ内の非ゼロ係数の数に基づき決定され、前記現在のブロックの前記予測は、前記個別の基本レイヤ内の前記参照ブロック及び前記拡張レイヤ内の前記参照ブロックの加重平均であることを特徴とする、請求項２２に記載の復号器。
  26. 前記個別の基本レイヤの前記現在のブロックの前記共配置ブロックは１つ又はそれ以上の非ゼロ係数を持ち、
    前記個別の基本レイヤ内の前記共配置ブロック内の非ゼロ係数の数がゼロより大きく、且つ既定のしきい値より少ない又は同じなら、前記予測は前記個別の基本レイヤ内の前記参照ブロックの変換係数及び前記拡張レイヤ内の前記参照ブロックの該変換係数の加重平均として該変換係数の領域内に形成されることを特徴とする、請求項２２に記載の復号器。
  27. 前記既定のしきいの値が0であることを特徴とする、請求項２５に記載の復号器。
  28. 個別の基本レイヤフレーム及び該個別の基本レイヤフレームの上位にある複数の非個別の拡張レイヤフレームに基づき個別の拡張レイヤフレームを生成するために符号化されたデジタルビデオシーケンスを復号するための復号器であって、各々の該フレームは複数ブロックに分割された画素の配列を有し、復号器は、現在のフレームの現在のブロックの拡張レイヤを符号化するための予測が個別の基本レイヤフレーム又は低位の拡張レイヤフレームの１つからのものであるかの表示をビットストリーム内に受信するよう構成され、
    該受信された情報に基づき、その個別の基本レイヤフレーム又は該低位の拡張レイヤフレームの１つのどちらか一方から該現在の個別の拡張レイヤフレームを復号するための予測を形成するモジュールにより特徴付けられる復号器。
  29. 個別の基本レイヤフレーム及び複数の拡張レイヤフレームを生成するためにデジタルビデオシーケンスのフレームを符号化及び復号するための符号化器及び復号器であり、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    該符号化器は、
    個別の基本レイヤにおける現在のブロックの共配置ブロックに対し使用される参照ブロック及び先に符号化されたフレーム内の同一拡張レイヤにおける該現在のブロックに対する参照ブロックの両方に基づき、現在のフレームの該現在のブロックの拡張レイヤを符号化するための予測を決定するためのモジュールを有し、
    該復号器は、
    個別の基本レイヤにおける現在のブロックの共配置ブロックに対し使用される参照ブロック及び先に符号化されたフレーム内の同一拡張レイヤにおける該現在のブロックに対する参照ブロックの両方に基づき、現在のフレームの該現在のブロックの拡張レイヤを符号化するための予測を決定するためのモジュールを有する、
    ことを特徴とするデバイス。
  30. モバイル端末を有する、請求項２９に記載のデバイス。
  31. 個別の基本レイヤフレーム及び複数の拡張レイヤフレームを生成するためにデジタルビデオシーケンスのフレームを符号化するために使用するソフトウェアアプリケーションを持つコンピュータ読取り可能記憶媒体を有するソフトウェアアプリケーションプロダクトであって、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    個別の基本レイヤにおける現在のブロックの共配置ブロックに対し使用される参照ブロック及び先に符号化されたフレーム内の同一拡張レイヤにおける該現在のブロックに対する参照ブロックの両方に基づき、現在のフレームの該現在のブロックの拡張レイヤを符号化するための予測を決定するためのプログラムコード、
    全ての低位レイヤから該現在のブロックの予測残差の合計を計算するためのプログラムコード、
    該予測に該予測残差の合計を加えることにより該拡張レイヤを符号化するための参照ブロックを形成するためのプログラムコードにより特徴付けられるソフトウェアアプリケーション。
  32. 個別の基本レイヤフレーム及び複数の拡張レイヤフレームを生成するために符号化されたデジタルビデオシーケンスを復号するために使用するソフトウェアアプリケーションを持つコンピュータ読取り可能記憶媒体を有するソフトウェアアプリケーションプロダクトであって、各々の該フレームは複数ブロックに分割された画素の配列を有し、
    個別の基本レイヤにおける現在のブロックの共配置ブロックに対し使用される参照ブロック及び先に符号化されたフレーム内の同一拡張レイヤにおける該現在のブロックに対する参照ブロックの両方に基づき、現在のフレームの該現在のブロックの拡張レイヤを符号化するための予測を決定するためのプログラムコード、
    全ての低位レイヤから該現在のブロックの予測残差の合計を計算するためのプログラムコード、
    該予測に該予測残差の合計を加えることにより該拡張レイヤを符号化するための参照ブロックを形成するためのプログラムコードにより特徴付けられるソフトウェアアプリケーション。
JP2008549945A 2006-01-09 2007-01-09 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置 Pending JP2009522974A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US75774606P 2006-01-09 2006-01-09
PCT/IB2007/000058 WO2007080491A1 (en) 2006-01-09 2007-01-09 System and apparatus for low-complexity fine granularity scalable video coding with motion compensation

Publications (1)

Publication Number Publication Date
JP2009522974A true JP2009522974A (ja) 2009-06-11

Family

ID=38256030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008549945A Pending JP2009522974A (ja) 2006-01-09 2007-01-09 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置

Country Status (7)

Country Link
US (1) US20070201551A1 (ja)
EP (1) EP1989883A1 (ja)
JP (1) JP2009522974A (ja)
KR (1) KR20080085199A (ja)
CN (1) CN101416513A (ja)
TW (1) TW200737993A (ja)
WO (1) WO2007080491A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101043619A (zh) * 2006-03-24 2007-09-26 华为技术有限公司 视频编码的误差控制系统和方法
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
GB2440004A (en) * 2006-07-10 2008-01-16 Mitsubishi Electric Inf Tech Fine granularity scalability encoding using a prediction signal formed using a weighted combination of the base layer and difference data
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
EP2334082A1 (en) * 2008-09-17 2011-06-15 Sharp Kabushiki Kaisha Scalable video stream decoding apparatus and scalable video stream generating apparatus
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
KR20120138712A (ko) * 2011-06-15 2012-12-26 광운대학교 산학협력단 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
US9648318B2 (en) 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
WO2015037922A1 (ko) * 2013-09-10 2015-03-19 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10045036B2 (en) * 2013-10-22 2018-08-07 Kt Corporation Method and device for encoding/decoding multi-layer video signal
KR20150046742A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9967576B2 (en) * 2013-10-29 2018-05-08 Kt Corporation Multilayer video signal encoding/decoding method and device
US12058310B2 (en) 2021-02-26 2024-08-06 Lemon Inc. Methods of coding images/videos with alpha channels
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004509581A (ja) * 2000-09-22 2004-03-25 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ
JP2004159157A (ja) * 2002-11-07 2004-06-03 Kddi R & D Laboratories Inc 階層符号化された動画像の復号装置
JP2004274773A (ja) * 2003-03-10 2004-09-30 Microsoft Corp Ｆｇｓ／ｐｆｇｓビデオビットストリームのパケット化

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1928999A (en) * 1997-12-19 1999-07-12 Kenneth Rose Scalable predictive coding method and apparatus
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7072394B2 (en) * 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
US8619860B2 (en) * 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004509581A (ja) * 2000-09-22 2004-03-25 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ダブル・ループ動き補償ファイン・グラニューラ・スケーラビリティ
JP2004159157A (ja) * 2002-11-07 2004-06-03 Kddi R & D Laboratories Inc 階層符号化された動画像の復号装置
JP2004274773A (ja) * 2003-03-10 2004-09-30 Microsoft Corp Ｆｇｓ／ｐｆｇｓビデオビットストリームのパケット化

Also Published As

Publication number Publication date
EP1989883A1 (en) 2008-11-12
KR20080085199A (ko) 2008-09-23
WO2007080491A1 (en) 2007-07-19
CN101416513A (zh) 2009-04-22
TW200737993A (en) 2007-10-01
US20070201551A1 (en) 2007-08-30

Similar Documents

Publication Publication Date Title
JP2009522974A (ja) 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置
US20070014348A1 (en) Method and system for motion compensated fine granularity scalable video coding with drift control
US20080240242A1 (en) Method and system for motion vector predictions
KR100931870B1 (ko) 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템
KR20220113326A (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
US20070160137A1 (en) Error resilient mode decision in scalable video coding
US20070014349A1 (en) Residual prediction mode in scalable video coding
TWI587685B (zh) 用於視訊處理之裝置、方法及電腦程式
US20070053441A1 (en) Method and apparatus for update step in video coding using motion compensated temporal filtering
US20070009050A1 (en) Method and apparatus for update step in video coding based on motion compensated temporal filtering
WO2007015126A1 (en) Method, device, and module for improved encoding mode control in video encoding
EP1915872A1 (en) Method and apparatus for sub-pixel interpolation for updating operation in video coding
JP2008533855A (ja) マルチメディアデータの改良符号化
KR100931871B1 (ko) 비디오 데이터의 효과적인 ｆｇｓ 부호화 및 복호화를 위한방법, 장치, 시스템
KR102407912B1 (ko) 양방향 인트라 예측 시그널링
JP2009522973A (ja) 細粒度スケーラブル映像符号化におけるエントロピ符号化の方法及び装置
CN101185340A (zh) 具有漂移控制的运动补偿精细粒度可伸缩视频编码方法和系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111122