JP2009540733A - ビデオ信号デコーディング／エンコーディング方法及び装置 - Google Patents

ビデオ信号デコーディング／エンコーディング方法及び装置 Download PDF

Info

Publication number
JP2009540733A
JP2009540733A JP2009515319A JP2009515319A JP2009540733A JP 2009540733 A JP2009540733 A JP 2009540733A JP 2009515319 A JP2009515319 A JP 2009515319A JP 2009515319 A JP2009515319 A JP 2009515319A JP 2009540733 A JP2009540733 A JP 2009540733A
Authority
JP
Japan
Prior art keywords
picture
nal unit
flag information
video signal
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009515319A
Other languages
English (en)
Other versions
JP5143829B2 (ja
Inventor
ウーク パク，スン
ムーン ジョン，ビョン
ホ パク，ジ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2009540733A publication Critical patent/JP2009540733A/ja
Application granted granted Critical
Publication of JP5143829B2 publication Critical patent/JP5143829B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ビデオ信号デコーディング方法の提供。
【解決手段】テンポラルドメイン及びスケーラブルドメイン上でパーシャルレファレンシングを用いたスケーラブルビデオ信号デコーディング方法において、第１時点の第１パーシャルピクチャを獲得する段階と、前記第１パーシャルピクチャを参照して、前記第１時点以降に位置する第２時点のフルピクチャをデコーディングする段階と、を含み、前記第１パーシャルピクチャのスケーラブルドメイン上のレベルは、前記フルピクチャのスケーラブルドメイン上のレベルよりも下位レベルであることを特徴とする。
【選択図】図３

Description

本発明は、ビデオ信号のコーディング技術に関するものである。
圧縮符号化とは、デジタル化した情報を、通信回線を通じて転送し、または保存媒体に適合する形態で保存する一連の信号処理技術を意味する。圧縮符号化の対象には、音声、映像、文字などがあり、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮と呼ぶ。ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性を持っている点にある。
そのうち、スケーラブルビデオコーディングされたビットストリームは、その一部分のみ選択的にデコーディングすることができる。例えば、複雑度が低いデコーダは、基本的なレイヤをデコーディングでき、低い転送率のビットストリームは、限られた容量を持つネットワークを通じた転送に用いられる。徐々に高い解像度のイメージを生成できるようにするために映像の画質を段階的に増加させる必要がある。
本発明の目的は、ビデオ信号のコーディング効率を上げることにある。
本発明は、コーデック互換のためのシンタックスを定義することによって、相異なる種類のコーデック間の互換性を高めることができる。
スケーラブルビデオコーディングされたビットストリームの再作成のためのシンタックスを定義することによって、コーデック間の互換性を高めることができる。
参照ベースピクチャを保存するか否かを知らせるシンタックスを適切な位置で制限することによって、コーデック間の互換性を高めることができる。
参照ベースピクチャを保存するか否かを知らせるシンタックスを適切な位置で定義することによって、ビデオ信号のコーディング効率を上げることができる。
参照ベースピクチャを保存するか否かを知らせるシンタックスを適切な位置で定義することによって、復号ピクチャバッファを効率的に管理することができる。
参照ベースピクチャを保存するか否かを知らせるシンタックスを適切な位置で定義することによって、デコーディングされたピクチャマーキングを効率的に行うことができる。
転送過程上のエラーによってビデオ信号の復号過程で発生する問題を最小化できるデコーディング方法を提供する。
転送過程上のエラーによって映像信号の復号過程で発生する問題を最小化できるデコーディング方法による復号ピクチャバッファの管理方法を提供する。
上記の目的を達成するために、本発明は、テンポラルドメイン及びスケーラブルドメイン上でパーシャルレファレンシングを用いたスケーラブルビデオ信号デコーディング方法において、第１時点の第１パーシャルピクチャを獲得する段階と、前記第１パーシャルピクチャを参照して、前記第１時点以降に位置する第２時点のフルピクチャをデコーディングする段階と、を含み、前記第１パーシャルピクチャのスケーラブルドメイン上のレベルは、前記フルピクチャのスケーラブルドメイン上のレベルよりも下位レベルであることを特徴とするビデオ信号デコーディング方法を提供する。
また、本発明において、前記フルピクチャは、前記第１時点の第１パーシャルピクチャに対応する前記第２時点の第２パーシャルピクチャを、スケーラブルデコーディングを用いてデコーディングすることを特徴とする。
また、本発明は、ビットストリームでパーシャルレファレンシング情報に対応するシンタックスを制限する制限フラグ情報を獲得する段階をさらに含むことを特徴とする。
また、本発明は、現在ＮＡＬ単位のクオリティレベルを確認する段階と、前記現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを確認する段階と、前記確認の結果、前記現在ＮＡＬ単位が最も低いクオリティレベルに該当しながら参照ピクチャのスライスを含む場合、前記現在ＮＡＬ単位をバッファに保存するか否かを示す第１フラグ情報を獲得する段階と、前記第１フラグ情報に基づいて、前記ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャにマーキングする段階と、を含むことを特徴とするビデオ信号デコーディング方法を提供する。
また、本発明は、現在ＮＡＬ単位のクオリティレベルと、前記現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを確認する識別情報確認部と、前記確認の結果、前記現在ＮＡＬ単位が最も低いクオリティレベルに該当しながら参照ピクチャのスライスを含む場合、前記現在ＮＡＬ単位をバッファに保存するか否かを示す第１フラグ情報に基づいて、前記ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャにマーキングする復号ピクチャバッファ部と、を含むことを特徴とするビデオ信号デコーディング装置を提供する。
本発明によれば、まず、ビデオ信号をコーディングする場合においてコーデック互換のためのシンタックスを定義することによって、相異なる種類のコーデック間の互換性を高めることができる。例えば、スケーラブルビデオコーディングされたビットストリームを、ＡＶＣコーデックでコーディングされたビットストリームに変換するためのシンタックス構造を定義することによって、コーデック間の互換性を高めることができる。
また、本発明によれば、ＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）をより効率的に管理することによって、ＤＰＢの負担を軽減し、コーディング速度を向上させることができる。
なお、スケーラブルビデオ映像に関する様々な属性情報を用いることによって、より効率的なコーディングが可能になる。
ビデオ信号データを圧縮符号化する技術は、空間的冗長性、時間的冗長性、スケーラブルな冗長性、視点間に存在する冗長性を考慮している。スケーブルな冗長性を考慮する圧縮コーディングスキームは、本発明の単なる実施例に過ぎず、本発明の技術的思想は、時間的冗長性、空間的冗長性、視点間冗長性などにも適用することができる。また、本明細書でいうコーディングとは、エンコーディングとデコーディングの概念をいずれも含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。
ビデオ信号のビット列構成について説明すると、動画像符号化処理そのものを扱うＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ：ビデオ符号化階層）と、符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ：ネットワーク抽象階層）との分離された階層構造と定義されている。符号化過程の出力はＶＣＬデータであり、転送または保存する前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ：動画像圧縮の結果データ）を含む。
ＮＡＬ単位は、基本的に、ＮＡＬヘッダとＲＢＳＰの２部分から構成される。ＮＡＬヘッダには、そのＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示すフラグ情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）と、ＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が含まれている。ＲＢＳＰには、圧縮された元データを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの最後にＲＢＳＰ埋め合わせビット（ＲＢＳＰ ｔｒａｉｌｉｎｇ ｂｉｔ）を付加する。このようなＮＡＬ単位の種類には、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ：瞬間復号リフレッシュ）ピクチャ、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：シーケンスパラメータセット）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ピクチャパラメータセット）、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ：補充的付加情報）などがある。
したがって、前記ＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）がスケーラブルビデオコーディングされたスライスであることを示す場合、前記スケーラブルコーディングに関する様々な属性情報を追加することによって、コーディング効率を上げることができる。例えば、現在アクセスユニットが瞬間復号リフレッシュ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ：以下、‘ＩＤＲ’という。）アクセスユニットか否かを示すフラグ情報、空間的スケーラビリティを示す依存関係識別情報、クオリティ識別情報、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報、時間的スケーラビリティを示す識別情報、優先順位識別情報などを追加することができる。また、復号ピクチャバッファをより效率的に管理すべく前記スケーラブルコーディングに関する様々な属性情報を利用することができる。これは、図２を参照して詳細に説明する。
また、規格では、対象製品を適当な費用で実現可能とすべく、様々なプロファイル及びレベルで制約しているが、復号器は、該当のプロファイルとレベルで定められた制約を満たさなければならない。このように復号器がどんな圧縮映像の範囲まで対応できるか、及びその機能またはパラメータを示す目的で、プロファイルとレベルという２種類の概念が定義された。ビットストリームがどのプロファイルに基づくかは、プロファイル識別子（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別子とは、ビットストリームが基盤としているプロファイルを示すフラグをいう。例えば、Ｈ．２６４／ＡＶＣではプロファイル識別子が６６であれば、ベースラインプロファイルに基づくということを意味し、７７であればメインプロファイルに基づくということを意味し、８８であれば拡張プロファイルに基づくということを意味する。前記プロファイル識別子は、シーケンスパラメータセットに含まれてもよい。
したがって、スケーラブル映像を扱うためには、入力されるビットストリームがスケーラブル映像に関するプロファイルか否かを識別し、スケーラブル映像に関するプロファイルであると識別されると、スケーラブル映像に関する一つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、スケーラブル映像に関するプロファイルとは、Ｈ．２６４／ＡＶＣの追加技術としてスケーラブルビデオを扱うプロファイルモードを指し示す。ＳＶＣは既存ＡＶＣ技術に対する追加技術であるから、無条件的なシンタックスよりはＳＶＣモードである場合に対する追加情報としてシンタックスを追加することがより効率的であるといえよう。例えば、ＡＶＣのプロファイル識別子がスケーラブル映像に関するプロファイルを示すとき、スケーラブル映像に関する情報を追加することによって符号化効率を上げることができる。
シーケンスパラメータセットとは、プロファイル、レベルなどシーケンス全体の符号化にわたる情報が含まれているヘッダ情報をいう。圧縮された動画像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、該パラメータセットを参照するデータよりも以前に復号器に到着すべきである。結果として、シーケンスパラメータセットＲＢＳＰは、動画像圧縮の結果データに対するヘッダ情報として機能する。ビットストリームが入力されると、まず、プロファイル識別子は、入力されたビットストリームが複数個のプロファイルのうちいずれのプロファイルに基づくかを識別することになる。
以下、ビデオ信号の効率的なデコーディング方法を提供するための様々な実施例について説明する。
図１は、本発明が適用されるスケーラブルビデオコーディングシステムを示す概略ブロック図である。
様々な通信環境と様々な端末機に最適化した映像を提供するためには、端末機に提供される映像もまた多様に用意されなければならない。端末機ごとにそれに最適化した映像を提供するということは、一つの映像源を、秒当たり転送フレーム数、解像度、ピクセル当たりビット数等、様々な変数の組み合わされた値に対して備えていなければならないという意味であり、コンテンツプロバイダにとっては負担にならざるを得ない。このような理由から、コンテンツプロバイダは、原映像を高速ビットレートの圧縮映像データにエンコーディングしておき、端末機からシーケンス要求を受信する場合、原映像をデコーディングした後、端末機の映像処理能力に合う映像データに再びエンコーディングして提供することができる。しかし、このようなトランスコーディングではエンコーディング−デコーディング−エンコーディング過程が行われるので、映像提供において時間遅延を発生させざるを得ず、よって、複雑なハードウェアのデバイスとアルゴリズムがさらに要求されることとなる。
一方、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：ＳＶＣ）方式は、ビデオ信号をエンコーディングする場合において、最高画質でエンコーディングするが、その結果として生成されたピクチャシーケンスの部分シーケンスのみをデコーディングして使用しても映像表現ができるようにする方式である。ここで、部分シーケンスとは、シーケンス全体から間欠的に選択されたフレームからなるシーケンスをいう。ＳＶＣでエンコーディングされたピクチャシーケンスは、低いビットレートに対して空間的スケーラビリティを用いて映像のサイズを縮めても良い。また、クオリティスケーラビリティを用いて映像の画質を低くしても良い。このとき、小画面及び／または秒当たりフレーム数などが低いピクチャシーケンスをベースレイヤとし、相対的に大画面及び／または秒当たりフレーム数の高いシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
ところが、上述したようなスケーラブル方式でエンコーディングされたピクチャシーケンスは、その部分シーケンスのみを受信して処理することによっても、低画質の映像表現が可能であるが、ビットレートが低くなると画質低下が大きくなってしまう。これを解消するために、低い転送率のための別途の補助ピクチャシーケンス、例えば小画面及び／または秒当たりフレーム数などが低いピクチャシーケンスを提供しても良い。このような補助シーケンスをベースレイヤとし、主ピクチャシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
続いて、このようなスケーラブルビデオコーディングシステムについてより具体的に説明する。前記スケーラブルビデオコーディングシステムは、エンコーディング装置１０２とデコーディング装置１１０とを含む。前記エンコーディング装置１０２は、ベースレイヤエンコーディング部１０４、エンハンスドレイヤエンコーディング部１０６及びマルチプレクシング部１０８を含み、デコーディング装置１１０は、デマルチプレクシング部１１２、ベースレイヤデコーディング部１１４及びエンハンスドレイヤデコーディング部１１６を含んでいてもよい。ベースレイヤエンコーディング部１０４は、入力された映像信号Ｘ(ｎ)を圧縮し、ベースビットストリームを生成することができる。エンハンスドレイヤエンコーディング部１０６は、入力映像信号Ｘ(ｎ)とベースレイヤエンコーディング部１０４により生成される情報を用いてエンハンスドレイヤビットストリームを生成できる。マルチプレクシング部１０８は、前記ベースレイヤビットストリームと前記エンハンスドレイヤビットストリームを用いてスケーラブルビットストリームを生成できる。
このように生成されたスケーラブルビットストリームは、所定チャンネルを通じてデコーディング装置１１０に転送され、転送されたスケーラブルビットストリームは、デコーディング装置１１０のデマルチプレクシング部１１２によりエンハンスドレイヤビットストリームとベースレイヤビットストリームとに区分することができる。ベースレイヤデコーディング部１１４は、ベースレイヤビットストリームを受信して出力映像信号Ｘｂ(ｎ)を復号し、エンハンスドレイヤデコーディング部１１６はエンハンスドレイヤビットストリームを受信し、ベースレイヤデコーディング部１１４で復元された信号を参照して出力映像信号Ｘｅ(ｎ)を復号する。ここで、出力映像信号Ｘｂ(ｎ)は、出力映像信号Ｘｅ(ｎ)に比べて画質が低いか、解像度が低い映像信号となる。
スケーラブルビデオコーディングで、エンハンスドレイヤまでエンコーディングされて転送された特定ピクチャを復号するとき、転送過程でエンハンスドレイヤビットストリームの一部が損失される恐れがある。この場合、前記デコーディング装置１１０は、損失されたエンハンスドレイヤビットストリームを用いて該当のピクチャを復号するから、原映像と復号された映像の画質が異なってくることがある。特に、このような問題が発生したピクチャが、他のピクチャを復号化するのに必要なレファレンスピクチャであって、テンポラルレベルの最も低いピクチャである場合には、その問題はより深刻化するおそれがある。したがって、前記テンポラルレベルが最も低いピクチャに対しては、より効率的な管理が必要である。これは、図３及び図４で詳細に後述する。
本発明の実施例として、スケーラブルビデオコーディングではＤＰＢでフルピクチャとパーシャルピクチャをスケーラブルに保存またはマーキングすることができる。ここで、フルピクチャとは、クオリティレベルが最も上位に在るピクチャを意味するといえる。そして、パーシャルピクチャとは、クオリティレベルが最も下位に在るピクチャを意味するといえる。または、前記フルピクチャとパーシャルピクチャは、クオリティレベルが相対的に高いか低いことを示すために定義しても良い。例えば、クオリティレベルが５段階（０〜４）である場合、クオリティレベルが０〜３の場合をパーシャルピクチャとし、クオリティレベルが４の場合をフルピクチャとすることができる。または、クオリティレベルが０の場合のみをパーシャルピクチャとしても良い。
また、第１時点に在るパーシャルピクチャを参照ピクチャとして用いるためにはあらかじめ保存しておく必要がある。したがって、第１時点以降に在る第２時点のパーシャルピクチャまたはフルピクチャをデコーディングするために、前記第１時点に在るパーシャルピクチャを参照ピクチャとして用いることができる。そして、前記第１時点に在るフルピクチャまたはパーシャルピクチャは、参照ピクチャとして適応的に用いることができる。
図２は、本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加されうるスケーラブル映像に関する属性情報を示す。
図２では、スケーラブル映像に関する属性情報が追加されうるＮＡＬ単位の構成の一例を示す。ＮＡＬ単位は、まず、ＮＡＬ単位のヘッダとＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ：動画像圧縮の結果データ）とから構成することができる。そして、ＮＡＬ単位のヘッダでは、ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）とＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含むことができる。また、制限的に前記ＮＡＬ単位ヘッダの拡張領域も含むことができる。例えば、前記ＮＡＬ単位のタイプを示す情報がスケーラブルビデオコーディングと関連している場合にまたはプレフィックスＮＡＬユニットを示す場合に、前記ＮＡＬ単位は前記ＮＡＬ単位ヘッダの拡張領域を含むことができる。具体的な例として、前記ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝２０または１４のとき、前記ＮＡＬ単位は前記ＮＡＬ単位ヘッダの拡張領域も含むことができる。また、前記ＮＡＬ単位ヘッダの拡張領域内では、ＳＶＣビットストリームであるか否かを識別できるフラグ情報（ｓｖｃ＿ｍｖｃ＿ｆｌａｇ）によってスケーラブル映像に関する属性情報を追加することができる。
他の例として、前記ＮＡＬ単位のタイプを示す情報がサブセットシーケンスパラメータセットを示す情報である場合、前記ＲＢＳＰは、サブセットシーケンスパラメータセットに関する情報を含むことができる。具体的な例として、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝１５の場合、前記ＲＢＳＰは、サブセットシーケンスパラメータセットに関する情報を含むことができる。このとき、プロファイル情報によって前記サブセットシーケンスパラメータセットはシーケンスパラメータセットの拡張領域を含むことができる。例えば、プロファイル情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）がスケーラブルビデオコーディングに関連したプロファイルである場合、前記サブセットシーケンスパラメータセットは、シーケンスパラメータセットの拡張領域を含むことができる。または、プロファイル情報によってシーケンスパラメータセットがシーケンスパラメータセットの拡張領域を含むことができる。前記シーケンスパラメータセットの拡張領域は、コーデック互換のための特定のシンタックスを制限する制限フラグ情報を含むことができる。
以下、スケーラブル映像に関する様々な属性情報、例えば、ＮＡＬ単位ヘッダの拡張領域に含むことができる属性情報、または、シーケンスパラメータセットの拡張領域に含むことができる属性情報について具体的に説明する。
まず、空間的スケーラビリティを示す識別情報とは、ＮＡＬ単位への依存関係を識別できるようにする情報を意味する。例えば、空間的解像度によって依存関係が変わりうる。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャはそれぞれ同一の解像度を持つことができる。Ｓｐａ＿Ｌａｙｅｒ０に在るピクチャは、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャをダウンサンプリングして得られたピクチャとなりうる。具体的な例として、前記ＮＡＬ単位への依存関係を識別できるようにする情報をｄｅｐｅｎｄｅｎｃｙ＿ｉｄとするとき、Ｓｐａ＿Ｌａｙｅｒ０に在るピクチャのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝０になり、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝１になりうる。このような依存関係識別情報は様々に定義することができる。このように、依存関係を識別できるようにする情報と同じ値を持っているＮＡＬ単位をディペンデンシーレプレゼンテーションと表すことができる。
クオリティ識別情報とは、ＮＡＬ単位に対するクオリティを識別できるようにする情報を意味する。例えば、一つのピクチャを、相異なるクオリティのピクチャにコーディングすることができる。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャがいずれもそれぞれ異なるクオリティのピクチャにコーディングされうる。具体的な例として、前記ＮＡＬ単位に対するクオリティを識別できるようにする情報をｑｕａｌｉｔｙ＿ｉｄとするとき、Ｂ１，Ｂ２，…，Ｂ１０ピクチャはｑｕａｌｉｔｙ＿ｉｄ＝０になり、Ｑ１，Ｑ２，…，Ｑ１０ピクチャはｑｕａｌｉｔｙ＿ｉｄ＝１になりうる。すなわち、Ｂ１，Ｂ２，…，Ｂ１０ピクチャは、画質が最も低いピクチャを意味するといえる。これをベースピクチャという。Ｑ１，Ｑ２，…，Ｑ１０ピクチャはそれぞれ、Ｂ１，Ｂ２，…，Ｂ１０ピクチャを含みながらＢ１，Ｂ２，…，Ｂ１０ピクチャよりも画質の良いピクチャに該当する。このようなクオリティ識別情報は多様に定義することができる。例えば、１６段階で表現することができる。
上記の依存関係を識別できるようにする情報とクオリティ識別情報によって一つのレイヤを定義することができる。このとき、依存関係を識別可能にする情報及びクオリティ識別情報と同じ値を持っているＮＡＬ単位を、レイヤレプレゼンテーションと表すことができる。
時間的スケーラビリティを示す識別情報とは、ＮＡＬ単位に対する時間的レベルを識別可能にする情報を意味する。前記時間的レベルは、階層的Ｂピクチャ構造で説明することができる。例えば、図３のＳｐａ＿Ｌａｙｅｒ０で、（Ｂ１，Ｑ１）ピクチャと（Ｂ３，Ｑ３）ピクチャは同じ時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）を持つことができる。（Ｂ５，Ｑ５）ピクチャが（Ｂ１，Ｑ１）ピクチャと（Ｂ３，Ｑ３）ピクチャを参照する場合、前記（Ｂ５，Ｑ５）ピクチャは、前記（Ｂ１，Ｑ１）ピクチャと（Ｂ３，Ｑ３）ピクチャの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ１）を持つことができる。同様に、（Ｂ７，Ｑ７）ピクチャが（Ｂ１，Ｑ１）ピクチャと（Ｂ５，Ｑ５）ピクチャを参照する場合、前記（Ｂ７、Ｑ７）ピクチャは、前記（Ｂ５，Ｑ５）ピクチャの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）を持つことができる。一つのアクセスユニット内に在る全てのＮＡＬ単位は、同一の時間的レベル値を持つことができる。また、ＩＤＲアクセスユニットの場合には、前記時間的レベル値は０になりうる。
参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報は、インター予測過程で参照ベースピクチャが参照ピクチャとして用いられるか、または、デコーディングされたピクチャが参照ピクチャとして用いられるかを示す。前記フラグ情報は同じレイヤ上に在る、すなわち、依存関係を識別可能にする情報が同一であるＮＡＬ単位に対しては同一の値を持つことができる。
優先順位識別情報とは、ＮＡＬ単位の優先順位を識別可能にする情報を意味する。これを用いてレイヤ間拡張性またはピクチャ間拡張性を提供することができる。例えば、前記優先順位識別情報を用いて使用者に様々な時間的レベル及び空間的レベルの映像を提供することができる。したがって、使用者は、所望する時間及び空間の映像のみを見ることもでき、他の制限条件による映像のみを見ることもできる。前記優先順位情報は、その基準条件によって様々な方法でそれぞれ設定することができる。また、前記優先順位情報は、特別な基準によらずに任意に設定されても良く、デコーディング装置によって決定されても良い。
また、ＮＡＬ単位ヘッダの拡張領域に含むことのできる属性情報には、現在アクセスユニットがＩＤＲアクセスユニットか否かを示すフラグ情報がありうる。
図３は、本発明が適用される実施例で、参照ベースピクチャを保存しこれを利用する過程を説明するためのスケーラブルビデオコーディングの様々なスケーラビリティ構造図である。
まず、時間的スケーラビリティでは、ビデオ映像のレイヤをフレームレートによって決定することができる。図３を参照すると、レイヤごとに下から上に行くほど上位の時間的スケーラブルレイヤを意味し、これは、フレームレートが高くなるということを示す。時間的スケーラブルビデオコーディングは、Ｈ．２６４ビデオコーディングに階層的Ｂピクチャまたは階層的Ｐピクチャの概念を適用して実現できる。例えば、時間的レベルＴｅｍ＿Ｌａｙｅｒ１に属するピクチャ（Ｂ５，Ｑ５）を予測するとき、前記時間的レベルＴｅｍ＿Ｌａｙｅｒ１よりも大きい値を持つ時間的レベルＴｅｍ＿Ｌａｙｅｒ２に属するピクチャ（Ｂ７，Ｑ７，Ｂ９，Ｑ９）は、参照ピクチャとして用いられることができない。しかし、時間的レベルが低いＴｅｍ＿Ｌａｙｅｒ０に属するピクチャ（Ｂ１，Ｑ１，Ｂ３，Ｑ３）は、参照ピクチャとして用いることができる。したがって、任意の時間的レイヤに属するピクチャは、それよりも上位レイヤに属するピクチャのデコーディングの有無によらずに独立してデコーディングが可能になる。デコーダの能力に基づいてデコーディング可能なレベルが決定されると、該当のフレームレートによるＨ．２６４互換可能なビデオ信号をデコーディングすることができる。
図３で、空間的スケーラビリティを説明すると、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャはそれぞれ同一の解像度を持つことができる。Ｓｐａ＿Ｌａｙｅｒ０に在るピクチャは、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャをダウンサンプリングして得られたピクチャとなりうる。例えば、ＮＡＬ単位への依存関係を識別可能にする情報をｄｅｐｅｎｄｅｎｃｙ＿ｉｄとするとき、Ｓｐａ＿Ｌａｙｅｒ０に在るピクチャのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝０、Ｓｐａ＿Ｌａｙｅｒ１に在るピクチャのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝１になりうる。
また、クオリティスケーラビリティについて説明すると、空間軸上に在る各レイヤのピクチャはそれぞれ異なるクオリティのピクチャを持つことができる。例えば、ＮＡＬ単位に対するクオリティを識別可能にする情報をｑｕａｌｉｔｙ＿ｉｄとするとき、Ｂ１，Ｂ２，…，Ｂ１０ピクチャはｑｕａｌｉｔｙ＿ｉｄ＝０になり、Ｑ１，Ｑ２，…，Ｑ１０ピクチャはｑｕａｌｉｔｙ＿ｉｄ＝１になりうる。すなわち、Ｂ１，Ｂ２，…，Ｂ１０ピクチャは、画質が最も低いピクチャを意味するといえる。一方、Ｑ１，Ｑ２，…，Ｑ１０ピクチャはＢ１，Ｂ２，…，Ｂ１０ピクチャよりは画質が良いピクチャに該当する。このようなクオリティ識別情報は多様に定義することができる。例えば、１６段階で表現することができる。
本発明の実施例として、参照ベースピクチャを保存してこれをデコーディング過程で利用する場合について説明する。
図３に示すピクチャを基準とするとき、デコーディング順序は、Ｂ１，Ｑ１，Ｂ２，Ｑ２，Ｂ３，Ｑ３，…，Ｂ１０，Ｑ１０（１→２→３→４→…→９→１０）のようになりうる。このとき、現在デコーディングしようとするピクチャをＢ４とすれば、Ｂ１，Ｑ１，Ｂ２，Ｑ２，Ｂ３，Ｑ３ピクチャは既にデコーディングされたピクチャである。Ｂ４ピクチャは、時間的レベルが最も低いピクチャでありつつ、クオリティレベルも最も低いピクチャに該当する。このＢ４ピクチャは、ベースピクチャであるＢ２ピクチャを参照できる。したがって、前記Ｂ２ピクチャは、復号ピクチャバッファに保存されていなければならない。
このとき、前記Ｂ２ピクチャは既にデコーディングされたピクチャであるが、前記Ｂ２ピクチャをデコーディングするとき、前記Ｂ２ピクチャが以降にコーディングされるピクチャ（例えば、Ｂ４ピクチャ）のため、復号ピクチャバッファに保存されるか否かを知らせるフラグ情報が必要となりうる。例えば、現在ＮＡＬ単位が参照ベースピクチャに該当する場合に、前記現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報をｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇと定義することができる。また、前記Ｂ２ピクチャはベースピクチャとして参照されるべきだという表示が必要となりうる。したがって、復号ピクチャバッファでは、前記Ｂ２ピクチャデコーディング以降に参照ベースピクチャとしてマーキングすることができる。こういう過程を経た後に前記Ｂ４ピクチャをデコーディングするとき、前記Ｂ４ピクチャは、ｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇによって復号ピクチャバッファに保存されており、参照ベースピクチャにマーキングされたＢ２ピクチャを参照ピクチャとして用いることができる。
本発明が適用される他の実施例として、現在ＮＡＬ単位が最も低いクオリティレベルに該当しながら、参照ピクチャのスライスを含む場合、前記現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するための過程について説明する。例えば、前記フラグ情報は、スケーラブルビデオコーディングされたビットストリームのみのためのシンタックス要素でありうる。したがって、コーデック互換性のために前記フラグ情報を制限できる他の情報が必要となりうる。または、ビットストリームのフォーマットを容易に変換させるために前記フラグ情報を制限できる他の情報が必要となりうる。例えば、コーデック互換のためにスケーラブルビデオコーディングされたビットストリームの再作成のためのフラグ情報を定義することができる。
既存コーデックとの互換のために、例えば、スケーラブルビデオコーディングされたビットストリームをＡＶＣコーデックでデコーディングする場合、前記スケーラブルビデオコーディングされたビットストリームをＡＶＣビットストリームに再作成する必要がある。このとき、前記制限フラグ情報がスケーラブルビデオコーディングされたビットストリームにのみ適用されるシンタックス情報を制限することができる。このような制限によって、簡単な変換過程を通じてＡＶＣビットストリームに変換できることとなる。例えば、これをｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇで示すことができる。前記制限フラグ情報は、シーケンスパラメータセットまたはサブシーケンスパラメータセットから獲得することができる。または、サブシーケンスパラメータセットの拡張領域から獲得されても良い。
前記制限フラグ情報により特定コーデックにのみ用いられるシンタックス要素を制限することができる。例えば、前記制限フラグ情報を用いて、現在ＮＡＬ単位が最も低いクオリティレベルに該当しながら参照ピクチャのスライスを含む場合に、現在ＮＡＬ単位をバッファに保存するか否かを示す前記フラグ情報をスライスヘッダで制限することができる。すなわち、ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ＝０の時に限ってｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ情報を獲得できる。または、ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ＝１の時にはｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ情報を獲得できない。これは、スケーラブルビデオコーディングされたビットストリームのスライスヘッダをＡＶＣコーデックでデコーディング可能なようにＡＶＣビットストリームのヘッダと同一にさせる役割を果たす。
図４は、本発明が適用される実施例で、参照ベースピクチャを保存する過程を説明するための流れ図である。
まず、図３を用いて説明すると、現在ピクチャであるＢ４ピクチャをデコーディングしようとするとき、前記Ｂ４ピクチャは時間的レベルが最も低いピクチャでありつつ、クオリティレベルも最も低いピクチャに該当する。すなわち、ベースレプレゼンテーションで表示されるベースピクチャに該当することができる。したがって、前記Ｂ４ピクチャは、ベースピクチャであるＢ２ピクチャを参照でき、前記Ｂ２ピクチャを参照するには、該Ｂ２ピクチャは既に復号ピクチャバッファに保存されていなければならない。
以下では、前記Ｂ２ピクチャを参照ピクチャとして利用するために復号ピクチャに保存する過程について説明する。Ｂ２ピクチャをデコーディングするとき、現在ＮＡＬ単位ヘッダの拡張領域からクオリティ識別情報を獲得できる。図２で説明したように、クオリティ識別情報が最も低い値を示す場合、Ｂ２ピクチャの現在ＮＡＬ単位はベースピクチャに該当することができる。したがって、前記獲得されたクオリティ識別情報によってＢ２ピクチャの現在ＮＡＬ単位がベースピクチャに該当するか否かを確認する必要がある（Ｓ４１０）。そして、Ｂ２ピクチャは参照ピクチャとして用いられるはずであるから、これをＮＡＬ単位のヘッダによって知らせることができる。例えば、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）を獲得できる。前記識別情報によって、Ｂ２ピクチャの現在ＮＡＬ単位は参照ピクチャのスライスを含んでいるか否か確認する必要がある（Ｓ４２０）。前記識別情報によって、現在ＮＡＬ単位がベースピクチャでありつつ参照ピクチャのスライスを含んでいる場合、現在ＮＡＬ単位は参照ベースピクチャに該当することができる。
このように現在ＮＡＬ単位が最も低いクオリティレベルに該当しながら参照ピクチャのスライスを含むと、参照ピクチャマーキング過程が行われる。参照ベースピクチャは、復号ピクチャバッファのピクチャマーキング過程で追加的に参照ベースピクチャとしてマーキングすることができる。このとき、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報を獲得できるが、該フラグ情報を獲得するためには、前記フラグ情報を制限する他のフラグ情報が存在してはならない。例えば、コーデック互換のための特定シンタックスを制限する制限フラグ情報を確認する必要がある（Ｓ４３０）。
前記フラグ情報は、サブセットシーケンスパラメータセットの拡張領域から獲得された情報でありうる。具体的な例として、コーデック互換性のためにスケーラブルビデオコーディングされたビットストリームをＡＶＣビットストリームに再作成するための制限フラグ情報をｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇとしよう。前記制限フラグ情報を以って、スライスヘッダ内にシーケンスパラメータセットを参照する特定シンタックスが存在するか否かを示すことができる。前記制限フラグ情報に基づいて、前記現在ＮＡＬ単位をバッファに保存するか否かを知らせるフラグ情報を獲得できる（Ｓ４４０）。
また、前記現在ＮＡＬ単位をバッファに保存するか否かを知らせるフラグ情報によって前記現在ＮＡＬ単位が保存されており、前記現在ＮＡＬ単位がＩＤＲピクチャでない場合には、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる。
前記現在ＮＡＬ単位をバッファに保存するか否かを知らせるフラグ情報によって前記現在ＮＡＬ単位が保存され、保存されたＮＡＬ単位を含むデコーディングされたピクチャが参照ベースピクチャとしてマーキングされると、前記参照ベースピクチャを用いてビデオ信号をデコーディングすることができる（Ｓ４５０）。例えば、前記Ｂ２ピクチャが前記フラグ情報によって保存され、参照ベースピクチャとしてマーキングされると、現在ピクチャであるＢ４ピクチャをデコーディングする時に前記Ｂ２ピクチャを参照ピクチャとして利用可能となる。
図５は、本発明が適用される一実施例で、参照ベースピクチャを保存しマーキングするためのシンタックス構造を示す。
図５は、図４で説明した流れ図の技術的思想をシンタックス構造例としたものである。まず、スライスヘッダでクオリティ識別情報によって現在ＮＡＬ単位がベースピクチャに該当するか否かを確認する必要がある（Ｓ５１０）。そして、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるかを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）によって、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるかを確認する必要がある（Ｓ５２０）。前記識別情報によって現在ＮＡＬ単位がベースピクチャでありつつ参照ピクチャのスライスを含んでいる場合、現在ＮＡＬ単位は参照ベースピクチャに該当することができる。このように現在ＮＡＬ単位が参照ベースピクチャに該当する場合、参照ピクチャマーキング過程を行うことになる（Ｓ５３０）。参照ベースピクチャは、復号ピクチャバッファのピクチャマーキング過程で追加的に参照ベースピクチャとしてマーキングすることができる。
このとき、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報を獲得できるが、該フラグ情報を獲得するためには、コーデック互換のための特定シンタックスを制限する制限フラグ情報を確認する必要がある（Ｓ５４０）。前記フラグ情報はサブセットシーケンスパラメータセットの拡張領域から獲得された情報でありうる。例えば、コーデック互換性のためにスケーラブルビデオコーディングされたビットストリームをＡＶＣビットストリームに再作成するための制限フラグ情報をｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇとすることができる。前記制限フラグ情報を以って、スライスヘッダ内にシーケンスパラメータセットを参照する特定シンタックスが存在するか否かを示すことができる。前記制限フラグ情報によって、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報を獲得できる（Ｓ５５０）。
また、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報によって参照ベースピクチャが保存されており、前記参照ベースピクチャがＩＤＲピクチャでない場合（Ｓ５６０）には、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる（Ｓ５７０）。
または、参照ベースピクチャがインター予測過程で参照ピクチャとして用いられるか、それとも、デコーディングされたピクチャが参照ピクチャとして用いられるかを示すフラグ情報を確認することができる。確認の結果、参照ベースピクチャが参照ピクチャでとして利用され、前記参照ベースピクチャがＩＤＲピクチャでない場合（Ｓ５６０）には、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる（Ｓ５７０）。
図６は、本発明が適用される一実施例で、参照ベースピクチャを保存しマーキングするためのシンタックス構造を示す。
ＮＡＬ単位に信号を処理するにおいて、現在ＮＡＬ単位に先行する他のＮＡＬ単位を利用することができる。これを‘プレフィックスＮＡＬ’という。該プレフィックスＮＡＬは、ベースレイヤビットストリームとＡＶＣコーデックとの互換性を維持しながらＳＶＣにのみ適用される情報をベースレイヤに伝達するために用いることができる。例えば、図５で説明した参照ベースピクチャを保存するか否かを知らせるフラグ情報をプレフィックスＮＡＬに含めることができる。具体的な例として、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるかを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）によって、現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるかを確認する必要がある。前記識別情報によって現在ＮＡＬ単位が参照ピクチャのスライスを含んでいる場合、参照ベースピクチャを保存するか否かを知らせるフラグ情報を獲得できる。
また、前記参照ベースピクチャを保存するか否かを知らせるフラグ情報によって、参照ベースピクチャが保存されており、前記参照ベースピクチャがＩＤＲピクチャでないと、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる。
または、参照ベースピクチャがインター予測過程で参照ピクチャとして用いられるか、それとも、デコーディングされたピクチャが参照ピクチャとして用いられるかを示すフラグ情報を確認することができる。確認の結果、参照ベースピクチャが参照ピクチャとして利用され、前記参照ベースピクチャがＩＤＲピクチャでない場合には、デコーディングされたベースレイヤの参照ピクチャをマーキングする過程を行うことができる。
図７〜図１２はそれぞれ、本発明が適用される一実施例で、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。
図７の実施例では、参照ベースピクチャを保存するためのフラグ情報をｓｔｏｒｅ＿ｂａｓｅ＿ｒｅｐ＿ｆｌａｇと定義することができる。該フラグ情報は、スライスヘッダから獲得できる（Ｓ７１０）。該フラグ情報を獲得するために一定の条件が与えられることができる。例えば、スライスタイプがＰＲでない場合を挙げることができる。すなわち、向上したクオリティレベルを示すスライスタイプでない場合で、クオリティレベルが最も低い場合といえる。また、コーデック互換性のために現在スライスの特定シンタックスを制限するか否かを示す情報を確認することができる。例えば、ビットストリームのフォーマットを容易に変換させるために前記フラグ情報を制限できる他の情報を確認することができる。または、コーデック互換のためにスケーラブルビデオコーディングされたビットストリームの再作成のためのフラグ情報を定義することができる。上述したように、スライスタイプがＰＲでないながら前記フラグ情報により制限されない場合に、参照ベースピクチャを保存するための前記フラグ情報を獲得できる。
図８の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するために、他のフラグ情報を定義することができる。例えば、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報を定義することができる。前記フラグ情報はインター予測過程で参照ベースピクチャが参照ピクチャとして用いられるか、それとも、デコーディングされたピクチャが参照ピクチャとして用いられるかを示す。前記フラグ情報は同一のレイヤ上に在る、すなわち、依存関係を識別可能にする情報が同一であるＮＡＬ単位に対しては同一値を持つことができる。前記フラグ情報はＮＡＬ単位ヘッダの拡張領域で定義することができる（Ｓ８１０）。
そして、現在スライスがベースレイヤに該当しながら最も低いクオリティレベルを有するか否かを確認することができる（Ｓ８２０）。現在スライスが参照ピクチャとして用いられるか否かを確認することができる（Ｓ８３０）。また、参照ベースピクチャが参照ピクチャとして用いられるか否かを確認し（Ｓ８４０）、参照ピクチャとして用いられる場合に、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ８５０）。前記現在ＮＡＬ単位をバッファに保存し、ＮＡＬ単位の種類がＳＶＣに関連している場合に（Ｓ８６０）、前記現在ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャとしてマーキングする過程を行うことができる（Ｓ８７０）。また、スライスヘッダからも一定の条件の下に現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる。例えば、スライスタイプが、向上したクオリティレベルのスライスを示し、クオリティレイヤを分けた時に最初の部分に該当し、参照ベースピクチャが参照ピクチャとして用いられる場合に（Ｓ８８０）、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ８９０）。
図９の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報が、他の方法で定義することができる。例えば、該フラグ情報が、参照ベースピクチャが参照ピクチャとして用いられるか否かを示す他のフラグ情報（Ｓ９１０）と一緒に、ＮＡＬ単位ヘッダの拡張領域で定義することができる。
図１０の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報が、他のフラグ情報を用いて獲得することができる。例えば、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報を定義することができる。前記フラグ情報はＮＡＬ単位ヘッダの拡張領域で定義することができる（Ｓ１０１０）。そして、現在スライスがベースレイヤに該当しながら最も低いクオリティレベルを有するか否かを確認することができる（Ｓ１０２０）。現在スライスが参照ピクチャとして用いられるか否かを確認し（Ｓ１０３０）、参照ピクチャとして用いられる場合に、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ１０４０）。前記現在ＮＡＬ単位をバッファに保存し、ＮＡＬ単位の種類がＳＶＣに関連している場合に（Ｓ１０５０）、前記現在ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャとしてマーキングする過程を行うことができる（Ｓ１０６０）。また、スライスヘッダからも一定の条件の下に現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる。例えば、スライスタイプが向上したクオリティレベルのスライスでなく、コーデック互換性のために現在スライスの特定シンタックスが制限されなく、参照ベースピクチャが参照ピクチャとして用いられる場合に（Ｓ１０７０）、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ１０８０）。
図１１の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を、他のフラグ情報を用いて獲得することができる。例えば、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報を利用できる。例えば、スライスタイプが向上したクオリティレベルのスライスでなく、参照ベースピクチャが参照ピクチャとして用いられる場合に、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（ａ）。または、コーデック互換性のために現在スライスの特定シンタックスが制限されずに、参照ベースピクチャが参照ピクチャとして用いられる場合に、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（ｂ）。または、参照ベースピクチャが参照ピクチャとして用いられるかのみを確認した後、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（ｃ）。
図１２の実施例では、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を、他のフラグ情報を用いて獲得することができる。
例えば、まず、スライスタイプが、向上したクオリティレベルのスライスを示し、クオリティレイヤを分けたときに最初の部分に該当するか否かを確認することができる（Ｓ１２１０）。そして、参照ベースピクチャが参照ピクチャとして用いられるか、また、現在スライスのクオリティレベルが最初の向上したクオリティレベルを示すか否かを確認することができる（Ｓ１２３０）。これにより、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得できる（Ｓ１２５０）。
以上説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送の送／受信装置に備えられ、ビデオ信号及びデータ信号などを復号化するのに用いることができる。また、前記マルチメディア放送の送／受信装置は、移動通信端末機を含むことができる。
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行可能なプログラムとして製作され、コンピュータ読取り可能な記録媒体に記憶することができ、本発明によるデータ構造を持つマルチメディアデータも、コンピュータ読取り可能な記録媒体に記憶することができる。該コンピュータ読取り可能な記録媒体は、コンピュータシステムで読取り可能なデータが記憶されうるいかなる種類の保存装置も含む。コンピュータ読取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した転送）の形態で実現されるものも含む。また、上記エンコーディング方法により生成されたビットストリームは、コンピュータ読取り可能な記録媒体に記憶され、または有／無線通信網を通じて転送することができる。
以上説明した具体的な実施例は、本発明の例示に過ぎず、添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施例に改良、変更、代替または付加できるということは、当業者にとっては明らかである。
本発明が適用されるスケーラブルビデオコーディングシステムを示す概略ブロック図である。 本発明が適用される実施例を示し、スケーラブルビデオコーディングされたビットストリームに追加されうるスケーラブル映像に関する属性情報を示す。 本発明が適用される実施例を示す、参照ベースピクチャを保存し、これを用いる過程を説明するためのスケーラブルビデオコーディングの様々なスケーラビリティ構造図である。 本発明が適用される実施例を示し、参照ベースピクチャを保存する過程を説明するための流れ図である。 本発明が適用される一実施例を示し、参照ベースピクチャを保存し、マーキングするためのシンタックス構造を示す。 本発明が適用される一実施例を示し、参照ベースピクチャを保存し、マーキングするためのシンタックス構造を示す。 本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。 本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。 本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。 本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。 本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。 本発明が適用される一実施例を示し、現在ＮＡＬ単位をバッファに保存するか否かを示すフラグ情報を獲得するためのシンタックス構造を示す。

Claims (17)

  1. テンポラルドメイン及びスケーラブルドメイン上でパーシャルレファレンシングを用いたスケーラブルビデオ信号デコーディング方法において、
    第１時点の第１パーシャルピクチャを獲得する段階と、
    前記第１パーシャルピクチャを参照して、前記第１時点以降に位置する第２時点のフルピクチャをデコーディングする段階と、
    を含み、
    前記第１パーシャルピクチャのスケーラブルドメイン上のレベルは、前記フルピクチャのスケーラブルドメイン上のレベルよりも下位レベルであることを特徴とするビデオ信号デコーディング方法。
  2. 前記フルピクチャは、前記第１時点の第１パーシャルピクチャに対応する前記第２時点の第２パーシャルピクチャを、スケーラブルデコーディングを用いてデコーディングする、請求項１に記載のビデオ信号デコーディング方法。
  3. ビットストリームでパーシャルレファレンシング情報に対応するシンタックスを制限する制限フラグ情報を獲得する段階をさらに含む、請求項１に記載のビデオ信号デコーディング方法。
  4. 現在ＮＡＬ単位のクオリティレベルを確認する段階と、
    前記現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを確認する段階と、
    前記確認結果によって、前記現在ＮＡＬ単位が最も低いクオリティレベルに該当しながら参照ピクチャのスライスを含む場合、前記現在ＮＡＬ単位をバッファに保存するか否かを示す第１フラグ情報を獲得する段階と、
    前記第１フラグ情報に基づいて、前記ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャにマーキングする段階と、
    を含むことを特徴とするビデオ信号デコーディング方法。
  5. 前記マーキングされた参照ベースピクチャを用いてビデオ信号をデコーディングする段階をさらに含む、請求項４に記載のビデオ信号デコーディング方法。
  6. 前記参照ベースピクチャは、テンポラルレベルが最も低い、請求項４に記載のビデオ信号デコーディング方法。
  7. 前記第１フラグ情報は、スライスヘッダから獲得される、請求項４に記載のビデオ信号デコーディング方法。
  8. 前記第１フラグ情報は、前記現在ＮＡＬ単位に先行するＮＡＬ単位のＲＢＳＰから獲得される、請求項４に記載のビデオ信号デコーディング方法。
  9. コーデック互換のために特定シンタックスを制限する制限フラグ情報を確認する段階をさらに含み、
    前記制限フラグ情報に基づいて前記第１フラグ情報を獲得する、請求項４に記載のビデオ信号デコーディング方法。
  10. 前記制限フラグ情報は、サブシーケンスパラメータセットの拡張領域から獲得される、請求項９に記載のビデオ信号デコーディング方法。
  11. 前記第１フラグ情報によって前記ＮＡＬ単位が保存され、前記現在ＮＡＬ単位がＩＤＲピクチャでない場合、前記ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャにマーキングする、請求項９に記載のビデオ信号デコーディング方法。
  12. 前記参照ベースピクチャが参照ピクチャとして用いられるか否かを示す第２フラグ情報を獲得する段階と、
    前記第２フラグ情報によって前記参照ベースピクチャがＩＤＲピクチャでなく且つ参照ピクチャとして用いられる場合、前記ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャにマーキングする、請求項９に記載のビデオ信号デコーディング方法。
  13. コーデック互換のために特定シンタックスを制限する制限フラグ情報を獲得する段階と、
    前記制限フラグ情報に基づいてクオリティレイヤを分けるために必要な情報を獲得する段階と、をさらに含み、
    前記クオリティレイヤを分けるために必要な情報は、変換係数レベルに関するスキャン位置情報である、請求項４に記載のビデオ信号デコーディング方法。
  14. 前記ビデオ信号は、放送信号として受信される、請求項４に記載のビデオ信号デコーディング方法。
  15. 前記ビデオ信号は、デジタル媒体を通じて受信される、請求項４に記載のビデオ信号デコーディング方法。
  16. 請求項４に記載された方法を実行させるためのプログラムを記録した、コンピュータ読取可能記憶媒体。
  17. 現在ＮＡＬ単位のクオリティレベルと、前記現在ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを確認する識別情報確認部と、
    前記確認の結果、前記現在ＮＡＬ単位が、最も低いクオリティレベルに該当しながら参照ピクチャのスライスを含む場合、前記現在ＮＡＬ単位をバッファに保存するか否かを示す第１フラグ情報に基づいて、前記ＮＡＬ単位を含むデコーディングされたピクチャを参照ベースピクチャとしてマーキングする復号ピクチャバッファ部と、
    を含むことを特徴とするビデオ信号デコーディング装置。
JP2009515319A 2006-09-07 2007-09-07 スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置 Expired - Fee Related JP5143829B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US84266106P 2006-09-07 2006-09-07
US60/842,661 2006-09-07
US85780206P 2006-11-09 2006-11-09
US60/857,802 2006-11-09
US85895706P 2006-11-15 2006-11-15
US60/858,957 2006-11-15
US85953206P 2006-11-17 2006-11-17
US60/859,532 2006-11-17
PCT/KR2007/004350 WO2008030067A1 (en) 2006-09-07 2007-09-07 Method and apparatus for decoding/encoding of a video signal

Publications (2)

Publication Number Publication Date
JP2009540733A true JP2009540733A (ja) 2009-11-19
JP5143829B2 JP5143829B2 (ja) 2013-02-13

Family

ID=39157444

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009515319A Expired - Fee Related JP5143829B2 (ja) 2006-09-07 2007-09-07 スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置
JP2009515320A Expired - Fee Related JP5143830B2 (ja) 2006-09-07 2007-09-07 スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2009515320A Expired - Fee Related JP5143830B2 (ja) 2006-09-07 2007-09-07 スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置

Country Status (7)

Country Link
US (2) US8428144B2 (ja)
EP (2) EP2060123A4 (ja)
JP (2) JP5143829B2 (ja)
KR (3) KR101349837B1 (ja)
CN (1) CN102158697B (ja)
TW (2) TWI376958B (ja)
WO (2) WO2008030067A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110234007A (zh) * 2013-03-21 2019-09-13 索尼公司 图像解码装置和方法

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
CA2666452C (en) * 2006-10-16 2014-12-16 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
WO2008047258A2 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for implementing low-complexity multi-view video coding
EP2137973B1 (en) * 2007-04-12 2019-05-01 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
BR122012021950A2 (pt) * 2007-10-05 2015-08-04 Thomson Licensing Aparelho para incorporação de informação de usabilidade de vídeo (vui) em um sistema de codificação de vídeo com múltiplos visualizações (mvc)
JP5238069B2 (ja) * 2008-04-25 2013-07-17 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ トランスポート・データストリーム内で参照するフレキシブル・サブストリーム
KR101220175B1 (ko) * 2008-12-08 2013-01-11 연세대학교 원주산학협력단 Ｓｖｃ 비디오 기반의 디지털 위성 방송을 위한 계층 분리형 ｐｅｓ 패킷 생성 및 처리 방법
US8531961B2 (en) 2009-06-12 2013-09-10 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US8627396B2 (en) 2009-06-12 2014-01-07 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
KR101247595B1 (ko) 2009-06-12 2013-03-26 시그너스 브로드밴드, 인코포레이티드 통신 네트워크의 지능형 폐기 시스템 및 방법
US8745677B2 (en) 2009-06-12 2014-06-03 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
CN106067983B (zh) 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
EP3703369B1 (en) 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
CN106231337B (zh) 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
BR122020008249B1 (pt) 2010-04-13 2021-02-17 Ge Video Compression, Llc herança em amostra de arranjo em subdivisão multitree
US8965139B2 (en) * 2010-09-29 2015-02-24 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
WO2012096981A1 (en) * 2011-01-14 2012-07-19 Vidyo, Inc. Improved nal unit header
EP2666296A4 (en) * 2011-01-19 2013-12-25 Ericsson Telefon Ab L M INDICATION OF BITS FLOW SUBASSEMBLIES
DK3787289T3 (da) 2011-06-14 2022-08-29 Lg Electronics Inc Fremgangsmåde til kodning og afkodning af billedinformationer
US10944994B2 (en) * 2011-06-30 2021-03-09 Telefonaktiebolaget Lm Ericsson (Publ) Indicating bit stream subsets
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
WO2013048324A1 (en) * 2011-09-29 2013-04-04 Telefonaktiebolaget L M Ericsson (Publ) Reference picture list handling
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
KR102071577B1 (ko) * 2012-03-20 2020-01-30 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 복호화 방법 및 그 장치
TWI752680B (zh) 2012-04-13 2022-01-11 美商Ｇｅ影像壓縮有限公司 用以自資料串流重構圖像的解碼器及方法、用以將圖像編碼入資料串流的編碼器及方法、與相關電腦程式及機器可存取媒體
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
CN115442623B (zh) 2012-06-29 2024-08-23 Ge视频压缩有限责任公司 解码视频数据流的方法、存储介质、编码器、解码器
EP2863630A4 (en) * 2012-07-03 2016-03-09 Samsung Electronics Co Ltd Method and apparatus for video coding with temporal scalability and method and apparatus for video decoding with temporal scalability
EP2871567A4 (en) 2012-07-06 2016-01-06 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING MULTILAYER VIDEO, AND METHOD AND APPARATUS FOR DECODING MULTILAYER VIDEO
US10412414B2 (en) 2012-08-13 2019-09-10 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
GB2505169B (en) 2012-08-13 2016-03-16 Gurulogic Microsystems Oy decoder and method
US9723321B2 (en) 2012-10-08 2017-08-01 Samsung Electronics Co., Ltd. Method and apparatus for coding video stream according to inter-layer prediction of multi-view video, and method and apparatus for decoding video stream according to inter-layer prediction of multi view video
CN108540809A (zh) 2012-10-09 2018-09-14 英迪股份有限公司 用于多层视频的解码装置、编码装置及层间预测方法
CN109982078B (zh) * 2012-12-14 2023-03-28 Lg 电子株式会社 编码视频的方法、解码视频的方法以及使用其的装置
EP2942963A4 (en) 2013-01-04 2016-08-17 Samsung Electronics Co Ltd SCALABLE VIDEO ENCODING METHOD AND APPARATUS USING IMAGE OVERHEAD SAMPLING IN CONSIDERATION OF A PHASE AND METHOD AND APPARATUS FOR SCALEABLE VIDEO DECODING
US20150373354A1 (en) * 2013-01-07 2015-12-24 Samsung Electronics Co., Ltd. Method and device for encoding/decoding image so that image is compatible with multiple codecs
US10368089B2 (en) 2013-01-23 2019-07-30 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
US9294776B2 (en) * 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US20160080752A1 (en) * 2013-04-17 2016-03-17 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing video signal
WO2014196198A1 (ja) * 2013-06-05 2014-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2015009020A1 (ko) * 2013-07-15 2015-01-22 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015053596A1 (ko) 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오의 복호화 및 부호화를 위한 버퍼 관리 방법 및 장치
US10045019B2 (en) 2013-10-22 2018-08-07 Kt Corporation Method and device for encoding/decoding multi-layer video signal
CN105684446B (zh) 2013-10-29 2020-01-07 株式会社Kt 多层视频信号编码/解码方法和装置
KR20150075041A (ko) 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015147427A1 (ko) 2014-03-24 2015-10-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR102553316B1 (ko) 2015-03-06 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
JP6328076B2 (ja) * 2015-06-17 2018-05-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 画像復号装置および方法、記録媒体、並びにプログラム
KR102476207B1 (ko) * 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
EP4088462A4 (en) 2020-02-14 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. SUBPICTURE INFORMATION SIGNALING IN VIDEO BITSTREAM
WO2022131845A1 (ko) * 2020-12-17 2022-06-23 엘지전자 주식회사 Nal 유닛 정보를 포함하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일 전송 방법

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
JPH0779436A (ja) 1993-09-07 1995-03-20 Toshiba Corp 動きベクトル検出装置
CN1085466C (zh) 1993-09-14 2002-05-22 株式会社金星社 图象解码器中包括半象素单元运动补偿装置的b帧处理装置
JPH09102954A (ja) * 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd １つまたは２つの予測ブロックからブロックの画素値を計算する方法
US6043846A (en) 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
JPH10276437A (ja) 1997-03-31 1998-10-13 Matsushita Electric Ind Co Ltd 階層的動画像信号符号化／復号化方法及び装置
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
WO2001049036A1 (en) 1999-12-28 2001-07-05 Koninklijke Philips Electronics N.V. Snr scalable video encoding method and corresponding decoding method
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
WO2003091989A1 (en) 2002-04-26 2003-11-06 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
US6907079B2 (en) 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
JP2004289745A (ja) 2003-03-25 2004-10-14 Toshiba Corp 動画像復号化方法および装置
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105409A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
IL162740A (en) * 2003-06-26 2010-06-16 Given Imaging Ltd Device, method and system for reduced transmission imaging
BRPI0413988A (pt) * 2003-08-26 2006-11-07 Thomson Licensing método e aparelho para decodificar blocos intra-inter codificador hìbridos
MXPA06002495A (es) 2003-09-07 2006-06-20 Microsoft Corp Capa de porcion en codificador/descodificador (codec) de video.
US7415069B2 (en) * 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
KR100619822B1 (ko) 2003-12-24 2006-09-13 엘지전자 주식회사 영상처리 장치 및 방법
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7664176B2 (en) 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
KR100657268B1 (ko) * 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
KR100679011B1 (ko) 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US20060078049A1 (en) 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
WO2006044370A1 (en) 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
KR100886191B1 (ko) * 2004-12-06 2009-02-27 엘지전자 주식회사 영상 블록을 디코딩 하는 방법
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
KR100913088B1 (ko) 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100703749B1 (ko) 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
CN100345450C (zh) 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
JP5065051B2 (ja) 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
WO2006087319A2 (en) * 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1862010A4 (en) 2005-03-25 2011-08-17 Korea Electronics Telecomm HIERARCHICAL VIDEO ENCODING / DECODING METHOD FOR COMPLETE SCALE VARIABILITY AND APPARATUS THEREOF
TW200704202A (en) 2005-04-12 2007-01-16 Nokia Corp Method and system for motion compensated fine granularity scalable video coding with drift control
WO2006108863A2 (en) 2005-04-13 2006-10-19 Thomson Licensing Process for scalable coding of images
US20060256863A1 (en) 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763182B1 (ko) 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US8483277B2 (en) * 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
MX2008004760A (es) * 2005-10-12 2008-11-13 Thomson Licensing Region de codificacion de video h .264 escalable de interes.
WO2007080480A2 (en) 2006-01-09 2007-07-19 Nokia Corporation Error resilient mode decision in scalable video coding
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
JP5213064B2 (ja) * 2006-03-29 2013-06-19 トムソン ライセンシング マルチビュービデオ符号化方法及びその装置
KR100781524B1 (ko) 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US7535383B2 (en) 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8253752B2 (en) 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
WO2008051995A2 (en) * 2006-10-23 2008-05-02 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
EP4224853A1 (en) 2006-11-08 2023-08-09 InterDigital VC Holdings, Inc. Methods and apparatus for in-loop de-artifact filtering
CN101888559B (zh) 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1985121A4 (en) 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CSNG200000708008; 児玉明（外２名）: '「マルチメディアスケーラビリティパッケージ通信サービスのための動画像情報構造化における考察」' 電子情報通信学会技術研究報告 第９８巻，第３０６号（ＩＥ９８-５８〜６８）, 19980925, 第４７〜５２頁, 社団法人電子情報通信学会 *
CSNG200501127009; 木本崇博: '「ＭＰＥＧにおけるスケーラブルビデオ符号化の標準化動向」' 情報処理学会研究報告 第２００５巻，第２３号（２００５-ＡＶＭ-４８）, 20050311, 第５５〜６０頁, 社団法人情報処理学会 *
JPN6011045117; 木本崇博: '「ＭＰＥＧにおけるスケーラブルビデオ符号化の標準化動向」' 情報処理学会研究報告 第２００５巻，第２３号（２００５-ＡＶＭ-４８）, 20050311, 第５５〜６０頁, 社団法人情報処理学会 *
JPN6011045120; 安田浩（外１名）監訳: 「デジタル放送・インターネットのための情報圧縮技術」 初版, 19990610, 第２０３〜２０４頁, 共立出版株式会社 *
JPN6011045123; 「ＩＴＵ-Ｔホワイトブック　オーディオビジュアル／マルチメディア関連（Ｈシリーズ）勧告書」 , 19950218, 第３８０，３８５，５４５，５４６頁, 財団法人日本ＩＴＵ協会 *
JPN6011045126; 児玉明（外２名）: '「マルチメディアスケーラビリティパッケージ通信サービスのための動画像情報構造化における考察」' 電子情報通信学会技術研究報告 第９８巻，第３０６号（ＩＥ９８-５８〜６８）, 19980925, 第４７〜５２頁, 社団法人電子情報通信学会 *
JPN6012034341; Ｔｈｏｍａｓ　Ｗｉｅｇａｎｄ，　ｅｔ．ａｌ．: '"Ｊｏｉｎｔ　Ｄｒａｆｔ　ＩＴＵ-Ｔ　Ｒｅｃ．　Ｈ．２６４　｜　ＩＳＯ／ＩＥＣ　１４４９６-１０　／　Ａｍｄ．３　Ｓｃａｌａｂｌｅ　ｖｉｄｅｏ　ｃｏｄｉｎｇ"' ［ｏｎｌｉｎｅ］Ｄｏｃｕｍｅｎｔ：　ＪＶＴ-Ｘ２０１ , 20071026, 表紙と、目次と、第３８０〜４２４頁, Ｊｏｉｎｔ　Ｖｉｄｅｏ　Ｔｅａｍ（ＪＶＴ）　ｏｆ　ＩＳＯ／ＩＥＣ　ＭＰＥＧ　＆　ＩＴＵ-Ｔ　ＶＣＥＧ *
JPN6012034342; "ｗｆｔｐ３．ｉｔｕ．ｉｎｔ　-　／ａｖ-ａｒｃｈ／ｊｖｔ-ｓｉｔｅ／２００７＿０６＿Ｇｅｎｅｖａ／" , 20120626, 全２頁, ［ｏｎｌｉｎｅ］ *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110234007A (zh) * 2013-03-21 2019-09-13 索尼公司 图像解码装置和方法

Also Published As

Publication number Publication date
WO2008030068A1 (en) 2008-03-13
KR20090045323A (ko) 2009-05-07
JP5143829B2 (ja) 2013-02-13
US8401085B2 (en) 2013-03-19
US20090034626A1 (en) 2009-02-05
US8428144B2 (en) 2013-04-23
KR100908062B1 (ko) 2009-07-15
JP5143830B2 (ja) 2013-02-13
EP2060123A4 (en) 2016-05-04
TWI364990B (en) 2012-05-21
CN102158697A (zh) 2011-08-17
EP2060123A1 (en) 2009-05-20
KR100904444B1 (ko) 2009-06-26
EP2060122A4 (en) 2016-04-27
EP2060122A1 (en) 2009-05-20
KR20080093427A (ko) 2008-10-21
KR101349837B1 (ko) 2014-01-10
CN102158697B (zh) 2013-10-09
WO2008030067A1 (en) 2008-03-13
US20090220010A1 (en) 2009-09-03
KR20080099246A (ko) 2008-11-12
TW200833117A (en) 2008-08-01
JP2009540734A (ja) 2009-11-19
TWI376958B (en) 2012-11-11
TW200829030A (en) 2008-07-01

Similar Documents

Publication Publication Date Title
JP5143829B2 (ja) スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置
JP7041294B2 (ja) 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP6219464B2 (ja) 高ダイナミックレンジ画像を生成するデコーダ及びその方法
JP5947405B2 (ja) ビデオ符号化方法および装置
JP5063684B2 (ja) ビデオ信号のデコーディング／エンコーディング方法及び装置
JP2018534824A (ja) ビデオの符号化・復号装置、方法、およびコンピュータプログラム
JP2018524897A (ja) ビデオの符号化・復号装置、方法、およびコンピュータプログラム
JP2009540666A (ja) ビデオ信号のデコーディング／エンコーディング方法及び装置
JP7472292B2 (ja) ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
JP2022521992A (ja) ビデオコーディングのための方法、装置及びコンピュータプログラム
US12069269B2 (en) Systems and methods for encoding a video stream
JP2017508417A (ja) 映像の復号化方法及びこれを利用する装置
CN116018782A (zh) 用于音频混合的方法和装置
CN101395925B (zh) 用于解码/编码视频信号的方法及装置
KR20140043240A (ko) 영상 부호화/복호화 방법 및 장치
JP7061202B2 (ja) フレキシブルなツリー構造における連結符号化単位
US11863780B2 (en) Method for indication of sublayer numbers in multilayered video stream
RU2773642C1 (ru) Сигнализация для передискретизации опорного изображения
JP2024535550A (ja) ビデオ処理のための方法、装置及び媒体
JP2022537244A (ja) 符号化されたビデオストリームを復号するための方法、装置およびコンピュータプログラム
CN114600460A (zh) 基于推断的视频参数集进行解码的系统和方法
CN114586364A (zh) 用于多层视频流中的输出层集模式的方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5143829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees