JP2015526973A - Hevcおよび拡張のためのビデオパラメータセット - Google Patents

Hevcおよび拡張のためのビデオパラメータセット Download PDF

Info

Publication number
JP2015526973A
JP2015526973A JP2015520661A JP2015520661A JP2015526973A JP 2015526973 A JP2015526973 A JP 2015526973A JP 2015520661 A JP2015520661 A JP 2015520661A JP 2015520661 A JP2015520661 A JP 2015520661A JP 2015526973 A JP2015526973 A JP 2015526973A
Authority
JP
Japan
Prior art keywords
video
parameter set
video data
syntax elements
syntax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015520661A
Other languages
English (en)
Other versions
JP6775952B2 (ja
JP2015526973A5 (ja
Inventor
チェン、イン
ワン、イェ−クイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015526973A publication Critical patent/JP2015526973A/ja
Publication of JP2015526973A5 publication Critical patent/JP2015526973A5/ja
Application granted granted Critical
Publication of JP6775952B2 publication Critical patent/JP6775952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

ビデオコーダが、ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、ビデオデータ中で、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、ビデオデータ中で、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを行うように構成され得る。

Description

[0001]本出願は、その各々の内容全体が参照により本明細書に組み込まれる、
2012年7月2日に出願された米国仮出願第61/667,387号、
2012年7月9日に出願された米国仮出願第61/669,587号、および
2013年3月15日に出願された米国仮出願第61/798,135号
に関する。
[0002]本開示は、ビデオデータの処理に関し、より詳細には、本開示では、ビデオデータのパラメータセットを生成し、処理することに関係する技法について説明する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part10、アドバンストビデオコーディング(AVC:Advanced Video Coding)、現在開発中の高効率ビデオコーディング(HEVC:High Efficiency Video Coding)規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法などのビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的(イントラピクチャ)予測および/または時間的(インターピクチャ)予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス(すなわち、ビデオフレームまたはビデオフレームの一部分)はビデオブロックに区分され得、これらのビデオブロックは、ツリーブロック、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコード化(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は2次元アレイで構成され、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。
[0006]本開示では、ビデオコーディングにおけるパラメータセットの設計技法について説明し、より詳細には、本開示では、ビデオパラメータセット(VPS:video parameter set)に関係する技法について説明する。
[0007]一例では、ビデオデータを復号する方法は、ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD:hypothetical reference decoder)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、ビデオデータ中で、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、ビデオデータ中で、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを含む。
[0008]別の例では、ビデオデータを符号化する方法は、ビデオパラメータセット中に含めるために、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を生成することと、ビデオデータ中に含めるために、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを生成することと、ビデオデータ中に含めるために、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを生成することと、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを含む。
[0009]別の例では、ビデオデータを処理するためのデバイスは、ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、ビデオデータ中で、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、ビデオデータ中で、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを行うように構成されたビデオデコーダを含む。
[0010]別の例では、ビデオデータを処理するためのデバイスは、ビデオパラメータセット中に含めるために、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を生成することと、ビデオデータ中に含めるために、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを生成することと、ビデオデータ中に含めるために、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを生成することと、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを行うように構成されたビデオエンコーダを含む。
[0011]別の例では、ビデオデータを処理するためのデバイスは、ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信するための手段と、ビデオデータ中で、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信するための手段と、ビデオデータ中で、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信するための手段と、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングするための手段とを含む。
[0012]別の例では、1つまたは複数のプロセッサによって実行されたとき、その1つまたは複数のプロセッサに、ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、ビデオデータ中で、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、ビデオデータ中で、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを行わせる命令を記憶したコンピュータ可読記憶媒体。
[0013]1つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
[0014]本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0015]例示的なMVC復号順序を示す概念図。 [0016]例示的なMVCの時間的予測およびビュー間予測構造を示す概念図。 [0017]本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0018]本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。 [0019]ネットワークの一部を形成するデバイスの例示的なセットを示すブロック図。 [0020]本開示の技法による、パラメータセットを処理するための例示的な方法を示すフローチャート。 [0021]本開示の技法による、パラメータセットを生成するための例示的な方法を示すフローチャート。 [0022]本開示の技法による、パラメータセットを復号するための例示的な方法を示すフローチャート。 [0023]本開示の技法による、パラメータセットを処理するための例示的な方法を示すフローチャート。 [0024]本開示の技法による、パラメータセットを生成するための例示的な方法を示すフローチャート。 [0025]本開示の技法による、パラメータセットを処理するための例示的な方法を示すフローチャート。 [0026]本開示の技法による、パラメータセットを生成するための例示的な方法を示すフローチャート。
[0027]本開示では、ビデオコーディングにおけるパラメータセットの設計技法について説明し、より詳細には、本開示では、ビデオパラメータセット(VPS)に関係する技法について説明する。VPSに加えて、パラメータセットの他の例としては、いくつかの例を挙げれば、シーケンスパラメータセット(SPS:sequence parameter set)、ピクチャパラメータセット(PPS:picture parameter set)、および適応パラメータセット(APS:adaptation parameter set)がある。
[0028]ビデオエンコーダはビデオデータを符号化する。ビデオデータは1つまたは複数のピクチャを含み得、それらのピクチャの各々はビデオの一部を形成する静止画像である。ビデオエンコーダがビデオデータを符号化するとき、ビデオエンコーダは、ビデオデータのコード化表現を形成するビットのシーケンスを含むビットストリームを生成する。ビットストリームはコード化ピクチャおよび関連するデータを含み得、ここで、コード化ピクチャはピクチャのコード化表現を指す。関連するデータは、VPS、SPS、PPS、およびAPSを含む様々なタイプのパラメータセット、ならびに潜在的に他のシンタックス構造を含み得る。SPSは、全ビデオシーケンスに対して有効であるデータを搬送するために使用されるが、PPSは、ピクチャごとに有効な情報を搬送する。APSは、同じくピクチャごとに有効であるピクチャ適応情報を搬送するが、PPS中の情報よりも頻繁に変化することが予想される。
[0029]HEVCもVPSを導入しており、HEVCワーキングドラフトはVPSについて次のように述べている。
ビデオパラメータセット(VPS):各スライスセグメントヘッダ中で見つけられるpic_parameter_set_idシンタックス要素によって参照されるピクチャパラメータセット中で見つけられる、seq_parameter_set_idシンタックス要素によって参照されるシーケンスパラメータセット中で見つけられるvideo_parameter_set_idシンタックス要素のコンテンツによって判断される、0個以上のコード化ビデオシーケンス全体に適用されるシンタックス要素を含んでいるシンタックス構造。
[0030]このようにして、VPSはコード化ビデオシーケンス全体に適用されるので、VPSは頻度に変化しないシンタックス要素を含む。HEVCのいくつかのバージョンにおけるVPS、SPS、PPS、およびAPS機構は、頻度に変化しない情報の送信をコード化ビデオブロックデータの送信から分離する。VPS、SPS、PPS、およびAPSは、いくつかの適用例では、「アウトオブバンド(out-of-band)」で搬送され得、すなわち、コード化ビデオデータを含んでいるユニットとともにトランスポートされないことがある。アウトオブバンド送信は、一般に信頼でき、インバンド送信に対して信頼性の改善のために望ましいことがある。HEVC WD7では、VPS、SPS、PPS、またはAPSの識別子(ID)はパラメータセットごとにコーディングされ得る。各SPSはSPS IDとVPS IDとを含み、各PPSはPPS IDとSPS IDとを含み、各スライスヘッダは、PPS IDと、場合によってはAPS IDとを含む。このようにして、IDは、異なる事例において使用されるべき適切なパラメータセットを識別するために使用され得る。
[0031]上記で紹介したように、ビデオエンコーダは一般にビデオデータを符号化し、デコーダは一般にビデオデータを復号する。しかしながら、エンコーダおよびデコーダは、ビデオデータを処理するために使用される唯一のデバイスではない。たとえば、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部としてビデオがトランスポートされるとき、ルーティングデバイスおよび他のそのようなデバイスは、ビデオデータをソースから宛先デバイスに送出するためにビデオデータを処理し得る。メディアアウェアネットワーク要素(MANE)と呼ばれることがある、特殊なルーティングデバイスは、ビデオデータのコンテンツに基づいて様々なルーティング機能を実行し得る。ビデオデータのコンテンツを判断し、これらのルーティング機能を実行するために、MANEは、VPSまたはSPS中の情報など、符号化ビットストリーム中の情報にアクセスし得る。
[0032]パラメータセットにおいて、いくつかのシンタックス要素は固定ビット数を使用してコーディングされるが、いくつかのシンタックス要素は可変ビット数を使用してコーディングされる。可変長のシンタックス要素を処理するために、デバイスはエントロピー復号機能を必要とし得る。しかしながら、エントロピー復号を実行することは、MANEまたは他のネットワーク要素のために望ましくない複雑さレベルを導入し得る。本開示で紹介する一技法によれば、ネットワーク要素がエントロピー復号を用いないで復号され得るシンタックス要素を識別するのを助けるために、VPSなどのパラメータセット中にオフセットシンタックス要素が含まれ得る。オフセットシンタックス要素は、固定長シンタックス要素によって先行され得る。オフセットシンタックス要素は、その場合、可変長シンタックス要素を使用してコーディングされるべきであるパラメータセット中のシンタックス要素を識別し得る。オフセットシンタックス要素を使用して、MANEなどのデバイスは、可変の長さのコード化シンタックス要素をスキップし、固定長シンタックス要素を処理するのを再開し得る。オフセットシンタックス要素は、スキップされるべきであるパラメータセット内のバイト数を識別することによって、スキップされるべきシンタックス要素を識別し得る。これらのスキップされるバイトは、スキップされるシンタックス要素に対応し得る。上述のように、スキップされるシンタックス要素は可変長コード化シンタックス要素を含み得、また、固定長コード化シンタックス要素を含み得る。
[0033]このコンテキストでは、シンタックス要素をスキップすることは、MANEが、可変長でコーディングされるシンタックス要素のパースまたは他の処理を回避し得ることを意味する。したがって、MANEは、本来ならエントロピー復号を必要とし得るいくつかのシンタックス要素をスキップしながら、エントロピー復号を実行する必要なしにVPS中のいくつかのシンタックス要素(たとえば、固定長要素)を処理することができる。様々な例ではいくつかの固定長シンタックス要素もスキップされ得るので、MANEによってスキップされるシンタックス要素は可変長シンタックス要素に限定されない。ビデオデコーダは、オフセットシンタックス要素を受信すると、シンタックス要素のうちの1つまたは複数を本質的に無視するように構成され得、これは、ビデオデコーダが、MANEによってスキップされたシンタックス要素をパースおよび処理するのを回避し得ることを意味する。
[0034]オフセットシンタックス要素の使用により、たとえば、MANEがエントロピー復号を実行する必要をなくすことによって、MANEがパラメータセットの部分を処理するために必要とされる複雑さが低減され得る。さらに、オフセットシンタックス要素の使用により、本開示で提案するように、パラメータセットのための階層フォーマットの使用が可能になり得る。階層フォーマットの一例として、VPSにおいて、ベースレイヤとエンハンスメントレイヤとのためのシンタックス要素をVPS内で相互混合させる代わりに、ベースレイヤのすべてのまたは実質的にすべてのシンタックス要素は、第1のエンハンスメントレイヤのすべてのまたは実質的にすべてのシンタックス要素に先行し得、それらのシンタックス要素は、今度は、第2のエンハンスメントレイヤのためのすべてのまたは実質的にすべてのシンタックス要素に先行し得、以下同様である。本開示で紹介するオフセットシンタックス要素を使用して、MANEは、ベースレイヤのためのいくつかの固定長シンタックス要素を処理し、ベースレイヤのためのいくつかの可変長シンタックス要素をスキップし、第1のエンハンスメントレイヤのためのいくつかの固定長シンタックス要素を処理し、第1のエンハンスメントレイヤのためのいくつかの可変長シンタックス要素をスキップし、第2のエンハンスメントレイヤのためのいくつかの固定長シンタックス要素を処理し得、以下同様である。ビデオデコーダは、MANEによってスキップされたシンタックス要素をパースし、処理するように構成され得る。
[0035]オフセットシンタックス要素の使用により、さらに、ビデオコーディング規格への将来の拡張が可能になり得る。たとえば、(たとえば、HEVCへの将来の拡張に従って)他のタイプの可変長コード化情報がビットストリームに追加された場合でも、そのような可変長要素のスキップを可能にするために1つまたは複数のオフセットシンタックス要素が定義され得る。言い換えれば、1つまたは複数のオフセットシンタックス要素は、ビットストリーム内の固定長シンタックス要素のロケーションを識別するために使用され得、オフセットシンタックス要素は、たとえば、MANEによって、復号が回避され得るビットストリーム中の他の要素の追加を考慮するように変更され得る。
[0036]本開示は、さらに、SPSなどの別のパラメータセット中にとは対照的に、ビデオパラメータセット中にセッションネゴシエーションに関係するシンタックス要素を含めることを提案する。VPS中にセッションネゴシエーションに関係するシンタックス要素を含めることによって、特に、VPSがシングルレイヤのみについての情報とは対照的に、ビデオの多重レイヤについての情報を記述するとき、シグナリングオーバーヘッドが低減されることが可能になり得る。その上、本開示は、セッションネゴシエーションシンタックス要素のために固定長シンタックス要素を使用することを提案し、固定長セッションネゴシエーションシンタックス要素はどんな可変長シンタックス要素の前にも位置し得る。可変長のシンタックス要素を処理するために、デバイスは、エントロピー復号を実行することが可能である必要がある。しかしながら、エントロピー復号を実行することは、MANEのために望ましくない複雑さレベルを導入し得る。したがって、どんな可変長シンタックス要素よりも前にVPS中に存在する固定長シンタックス要素を使用することによって、MANEは、エントロピー復号を実行する必要なしにセッションネゴシエーションのためのシンタックス要素をパースすることが可能であり得る。
[0037]以下の表2に、VPS中に含まれ得るセッションネゴシエーション関係のシンタックス要素の例を示す。セッション否定についての情報の例としては、情報識別プロファイル、ティア、およびレベルがある。HEVCワーキングドラフトは、プロファイル、ティア、およびレベルについて以下のように説明している。
「プロファイル」は、この勧告|国際規格によって指定されたビットストリームシンタックス全体のサブセットである。所与のプロファイルのシンタックスによって課される限界内で、復号されたピクチャの指定されたサイズなど、ビットストリーム中のシンタックス要素がとる値に応じて、エンコーダおよびデコーダのパフォーマンスの極めて大きい変動を必要とする可能性が依然としてある。多くの適用例において、現在、特定のプロファイル内でシンタックスのすべての仮定的使用を処理することが可能なデコーダを実装することは実際的でもなく、経済的でもない。
この問題に対処するために、各プロファイル内で「ティア」および「レベル」が指定される。ティアのレベルは、ビットストリーム中のシンタックス要素の値に課された制約の指定セットである。これらの制約は、値に関する単純な制限であり得る。代替的に、それらは、値の演算の組合せ(たとえば、ピクチャの幅×ピクチャの高さ×毎秒復号されるピクチャの数)に関する制約の形態をとり得る。下位ティアのために指定されたレベルは、上位ティアのために指定されたレベルよりも制約される。
[0038]クライアントとMANEとの間のセッションネゴシエーション中に、クライアントは、あるプロファイル、レベル、および/またはティアに従ってコーディングされたビデオデータのMANEにおける利用可能性について照会し得る。MANEは、プロファイル、レベル、およびティア情報を含む、VPSの第1の部分(すなわち固定長コード化部分)をパースすることが可能であり得る。MANEにおいて利用可能な動作点のうち、適切な動作点がクライアントによって選定され得、MANEは、セッションがネゴシエートされた後に、対応するパッケージをクライアントに転送することができる。
[0039]本開示は、さらに、SPSなどの別のパラメータセット中にとは対照的に、ビデオパラメータセット中に仮想リファレンスデコーダ(HRD:hypothetical reference decoder)を識別するためのシンタックス要素を含めることを提案する。HRDパラメータは、符号化プロセスが生じ得る準拠NALユニットストリームまたは準拠バイトストリームの変動性に関する制約を指定する仮想デコーダモデルを識別する。2つのタイプのHRDパラメータセット(NAL HRDパラメータおよびVCL HRDパラメータ)がVPS中に含まれ得る。NAL HRDパラメータはタイプIIビットストリーム準拠に関係するが、VCL HRDパラメータはすべてのビットストリーム準拠に関係する。HRD準拠に従う2つのタイプのビットストリーム間で現在区別されたHEVC。第1のものはタイプIビットストリームと呼ばれ、ビットストリーム中に、VCL NALユニットと、すべてのアクセスユニットのためのフィラーデータNALユニットとのみを含んでいるNALユニットストリームを指す。第2のタイプのビットストリームはタイプIIビットストリームと呼ばれ、ビットストリーム中に、VCL NALユニットと、すべてのアクセスユニットのためのフィラーデータNALユニットと、さらに他のタイプの追加のNALユニットとを含んでいる。
[0040]本開示の技法は、シングルレイヤコーディングにおいて、ならびにスケーラブルおよびマルチビュービデオコーディングに対して適用され得る。レイヤは、たとえば、空間スケーラブルレイヤ、品質スケーラブルレイヤ、テクスチャビュー、または深度ビューであり得る。HEVCでは、レイヤは、概して、すべてが特定のレイヤID値を有する、ビデオコーディングレイヤ(VCL:video coding layer)NALユニットと、関連する非VCL NALユニットとのセットを指す。レイヤは、第1のレイヤが下位レイヤを含んでいることがあるという意味で、階層的であり得る。サブビットストリーム抽出プロセスの動作によって別のビットストリームから作成されるビットストリーム内で表されるレイヤのセットを指すために、レイヤセットが時々使用される。動作点は、概して、別のビットストリームとのサブビットストリーム抽出プロセスの動作によって別のビットストリームから作成されるビットストリームを指す。動作点は、レイヤセット中のすべてのレイヤを含み得、あるいはレイヤセットのサブセットとして形成されるビットストリームであり得る。
[0041]図1は、本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示すように、システム10は、宛先デバイス14によって後で復号されるべき符号化ビデオデータを生成するソースデバイス12を含む。符号化ビデオデータは、メディアアウェアネットワーク要素(MANE)29によってソースデバイス12から宛先デバイス14にルーティングされ得る。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備され得る。
[0042]システム10は、異なるビデオコーディング規格、プロプライエタリ規格、またはマルチビューコーディングの任意の他の方法に従って動作し得る。たとえば、ビデオエンコーダ20およびビデオデコーダ30は、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、ならびにそのスケーラブルビデオコーディング(SVC:Scalable Video Coding)拡張とマルチビュービデオコーディング(MVC:Multiview Video Coding)拡張とを含む(ISO/IEC MPEG−4 AVCとしても知られている)ITU−T H.264などを含むビデオ圧縮規格に従って動作し得る。MVC拡張の最近の公的に入手可能な共同ドラフトは、「Advanced video coding for generic audiovisual services」、ITU−T勧告H.264、2010年3月に記載されている。MVC拡張のさらに最近の公的に入手可能な共同ドラフトは、「Advanced video coding for generic audiovisual services」、ITU−T勧告H.264、2011年6月に記載されている。MVC拡張の現在の共同ドラフトは、2012年1月時点で承認されている。
[0043]さらに、ITU−Tビデオコーディングエキスパーツグループ(VCEG)とISO/IECモーションピクチャエキスパーツグループ(MPEG)とのビデオコーディング共同研究部会(JCT−VC)によって現在開発中の新しいビデオコーディング規格、すなわち、高効率ビデオコーディング(HEVC)規格がある。以下でHEVC WD7と呼ぶ、HEVCの最近のワーキングドラフト(WD)が、2013年7月1日現在、http://phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v6.zipから入手可能である。
[0044]HEVC規格の開発は進行中であり、HEVC WD9と呼ばれる、HEVCのより新しいワーキングドラフト(WD)は、2013年7月1日現在、http://phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v10.zipから入手可能である。説明の目的で、ビデオエンコーダ20およびビデオデコーダ30について、HEVC規格またはH.264規格およびそのような規格の拡張のコンテキストにおいて説明する。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としては、MPEG−2およびITU−T H.263がある。On2 VP6/VP7/VP8と呼ばれるものなど、プロプライエタリコーディング技法もまた、本明細書で説明する技法のうちの1つまたは複数を実装し得る。「HEVC Working Draft 10」または「HEVC WD10」と呼ばれる、次回のHEVC規格のより新しいドラフトは、2013年7月1日現在、http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zipから入手可能である、ブロスら、「Editors’ proposed corrections to HEVC version 1」、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのビデオコーディング共同研究部会(JCT−VC)、第13回会合、仁川、大韓民国、2013年4月に記載されており、その内容全体が参照により本明細書に組み込まれる。
[0045]本開示の技法は、HEVCベースの3Dビデオコーディング(3D−HEVC)を含む、いくつかのMVCおよび/または3Dビデオコーディング規格に潜在的に適用可能である。本開示の技法はまた、H.264/3D−AVCおよびH.264/MVC+Dビデオコーディング規格、またはそれらの拡張、ならびに他のコーディング規格に適用可能であり得る。本開示の技法について、時々、特定のビデオコーディング規格に関してまたはその規格の用語を使用して説明することがあるが、そのような説明は、説明する技法がその特定の規格のみに限定されることを意味するものと解釈されるべきでない。
[0046]宛先デバイス14は、リンク16を介して復号されるべき符号化ビデオデータを受信し得る。リンク16は、ソースデバイス12から宛先デバイス14に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク16は、ソースデバイス12が、符号化ビデオデータをリアルタイムで宛先デバイス14に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス12から宛先デバイス14への通信を可能にするために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。リンク16は、ソースデバイス12から宛先デバイス14にビデオデータをルーティングする、MANE29などの1つまたは複数のMANEを含み得る。
[0047]代替的に、符号化データは、出力インターフェース22からストレージデバイス27に出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイス27からアクセスされ得る。ストレージデバイス27は、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス27は、ソースデバイス12によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、ストレージデバイス27から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、(たとえば、ウェブサイト用の)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブがある。宛先デバイス14は、インターネット接続を含む、任意の標準のデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または両方の組合せを含み得る。ストレージデバイス27からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。ストレージデバイス27から取り出されたビデオデータは、MANE29などの1つまたは複数のMANEを使用して宛先デバイス14にルーティングされ得る。
[0048]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
[0049]図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。ビデオエンコーダ20は、たとえば、本開示で説明するオフセットシンタックスを生成し得る。場合によっては、出力インターフェース22は、変調器/復調器(モデム)および/または送信機を含み得る。ソースデバイス12において、ビデオソース18は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。
[0050]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ12によって符号化され得る。符号化ビデオデータは、ソースデバイス20の出力インターフェース22を介して宛先デバイス14に直接送信され得る。符号化ビデオデータは、さらに(または代替として)、復号および/または再生のための宛先デバイス14または他のデバイスによる後のアクセスのためにストレージデバイス27上に記憶され得る。
[0051]宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。ビデオデコーダ30は、本開示で説明するオフセットシンタックス要素をパースし得る。上記で説明したように、ビデオデコーダ30は、いくつかの事例ではオフセットシンタックス要素を無視し得、このようにして、ビデオデコーダ30は、MANEによってスキップされたシンタックス要素をパースすることが可能になる。いくつかの例では、入力インターフェース28は、受信機および/またはモデムを含み得る。宛先デバイス14の入力インターフェース28は、リンク16を介して符号化ビデオデータを受信する。リンク16を介して通信され、またはストレージデバイス27上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ30など、ビデオデコーダが使用するためのビデオエンコーダ20によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。
[0052]ディスプレイデバイス32は、宛先デバイス14と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス14は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス14はディスプレイデバイスであり得る。概して、ディスプレイデバイス32は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0053]図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0054]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
[0055]JCT−VCは、HEVC規格の開発に取り組んでいる。HEVC規格化の取り組みは、HEVCテストモデル(HM)と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。HMは、たとえば、ITU−T H.264/AVCに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、H.264は9つのイントラ予測符号化モードを与えるが、HMは33個ものイントラ予測符号化モードを与え得る。
[0056]概して、HMのワーキングモデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット(LCU)に分割され得ることを記述する。ツリーブロックは、H.264規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、1つまたは複数のスライスに区分され得る。各ツリーブロックは、4分木に従ってコーディングユニット(CU)に分割され得る。たとえば、4分木のルートノードとしてのツリーブロックは、4つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
[0057]CUは、コーディングノードと、コーディングノードに関連する予測ユニット(PU)および変換ユニット(TU)とを含む。CUのサイズは、コーディングノードのサイズに対応し、形状が方形でなければならない。CUのサイズは、8×8ピクセルから最大64×64以上のピクセルを有するツリーブロックのサイズまでに及び得る。各CUは、1つまたは複数のPUと、1つまたは複数のTUとを含んでいることがある。CUに関連するシンタックスデータは、たとえば、CUを1つまたは複数のPUに区分することを記述し得る。区分モードは、CUが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかの間で異なり得る。PUは、形状が非方形になるように区分され得る。CUに関連するシンタックスデータは、たとえば、4分木に従って、CUを1つまたは複数のTUに区分することも記述し得る。TUは、形状が方形または非方形であり得る。
[0058]HEVC規格は、CUごとに異なり得るTUに従う変換を可能にする。TUは、一般に、区分されたLCUについて定義された所与のCU内のPUのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。TUは、一般にPUと同じサイズであるかまたはPUよりも小さい。いくつかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用して、より小さいユニットに再分割され得る。RQTのリーフノードは変換ユニット(TU)と呼ばれることがある。TUに関連するピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。
[0059]概して、PUは、予測プロセスに関係するデータを含む。たとえば、PUがイントラモード符号化されるとき、PUは、PUについてのイントラ予測モードを記述するデータを含み得る。別の例として、PUがインターモード符号化されるとき、PUは、PUの動きベクトルを定義するデータを含み得る。PUの動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(たとえば、1/4ピクセル精度もしくは1/8ピクセル精度)、動きベクトルが指す参照ピクチャ、および/または動きベクトルの参照ピクチャリスト(たとえば、リスト0、リスト1、もしくはリストC)を記述し得る。
[0060]概して、TUは、変換プロセスと量子化プロセスとのために使用される。1つまたは複数のPUを有する所与のCUは、1つまたは複数の変換ユニット(TU)をも含み得る。予測の後に、ビデオエンコーダ20は、PUに対応する残差値を計算し得る。残差値は、エントロピーコーディングのためのシリアル化変換係数(serialized transform coefficient)を生成するために、TUを使用して変換係数に変換され、量子化され、走査され得るピクセル差分値を備える。本開示では、一般に、CUのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにPUおよびTUを含む、ツリーブロック、すなわち、LCUまたはCUを指す「ビデオブロック」という用語をも使用し得る。
[0061]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャのグループ(GOP)は、概して、一連の1つまたは複数のビデオピクチャを備える。GOPは、GOP中に含まれるいくつかのピクチャを記述するシンタックスデータを、GOPのヘッダ中、ピクチャのうちの1つまたは複数のヘッダ中、または他の場所に含み得る。各ピクチャのスライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、一般に、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはCU内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。
[0062]一例として、HMは、様々なPUサイズでの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2NまたはN×NのPUサイズでのイントラ予測をサポートし、2N×2N、2N×N、N×2N、またはN×Nの対称的なPUサイズでのインター予測をサポートする。HMはまた、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズでのインター予測のための非対称区分をサポートする。非対称区分では、CUの一方向は区分されないが、他の方向は25%と75%とに区分される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」、または「Right」という表示によって示される。したがって、たとえば、「2N×nU」は、上部の2N×0.5N PUと下部の2N×1.5N PUとで水平方向に区分された2N×2N CUを指す。
[0063]本開示では、「N×N(NxN)」および「N×N(N by N)」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、16×16(16x16)ピクセルまたは16×16(16 by 16)ピクセルを指すために互換的に使用され得る。概して、16×16ブロックは、垂直方向に16ピクセルを有し(y=16)、水平方向に16ピクセルを有する(x=16)。同様に、N×Nブロックは、概して、垂直方向にNピクセルを有し、水平方向にNピクセルを有し、ただし、Nは非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはN×Mピクセルを備え得、ただし、Mは必ずしもNに等しいとは限らない。
[0064]CUのPUを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(ピクセル領域とも呼ばれる)空間領域においてピクセルデータを備え得、TUは、変換、たとえば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、PUに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ20は、CUのための残差データを含むTUを形成し、次いで、TUを変換して、CUの変換係数を生成し得る。
[0065]変換係数を生成するための任意の変換の後に、ビデオエンコーダ20は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にnビット値がmビット値に切り捨てられ得、ただし、nはmよりも大きい。
[0066]いくつかの例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ20は適応型走査を実行し得る。量子化変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、たとえば、コンテキスト適応型可変長コーディング(CAVLC:context adaptive variable length coding)、コンテキスト適応型バイナリ算術コーディング(CABAC:context adaptive binary arithmetic coding)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コーディング、または別のエントロピー符号化方法に従って1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
[0067]CABACを実行するために、ビデオエンコーダ20は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非0であるか否かに関係し得る。CAVLCを実行するために、ビデオエンコーダ20は、送信されるべきシンボルに対して可変長コードを選択し得る。VLCにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、VLCの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率判断は、シンボルに割り当てられたコンテキストに基づき得る。
[0068]本開示では、シングルレイヤコーディングならびにスケーラブルおよびマルチビューコーディングにおいて相互互換様式で適用され得る、ビデオパラメータセットとシーケンスパラメータセットの両方を含む、パラメータセットの設計方法について説明する。マルチビュービデオコーディング(MVC)はH.264/AVCの拡張である。MVC仕様について以下で手短に説明する。
[0069]図2は、本開示で説明する1つまたは複数の例による、例示的なMVCの符号化または復号の順序を示すグラフィック図である。たとえば、図2に示された復号順序構成は、時間優先コーディングと呼ばれる。図2では、S0〜S7はそれぞれ、マルチビュービデオの異なるビューを指す。T0〜T8はそれぞれ、1つの出力時間インスタンスを表す。アクセスユニットは、1つの出力時間インスタンスについてのすべてのビューのコード化ピクチャを含み得る。たとえば、第1のアクセスユニットは、時間インスタンスT0についてのビューS0〜S7(すなわち、ピクチャ0〜7)のすべてを含み、第2のアクセスユニットは、時間インスタンスT1についてのビューS0〜S7(すなわち、ピクチャ8〜15)のすべてを含み、以下同様である。この例では、ピクチャ0〜7は、同じ時間インスタンス(すなわち、時間インスタンスT0)におけるものであり、ピクチャ8〜15は、同じ時間インスタンス(すなわち、時間インスタンスT1)におけるものである。同じ時間インスタンスをもつピクチャは概して同時に表示され、3Dボリュームを包含する画像を閲覧者に知覚させるものは、同じ時間インスタンスのピクチャ内のオブジェクト間の水平視差と、場合によっては何らかの垂直視差である。
[0070]図2では、ビューの各々はピクチャのセットを含む。たとえば、ビューS0はピクチャ0、8、16、24、32、40、48、56、および64のセットを含み、ビューS1はピクチャ1、9、17、25、33、41、49、57、および65のセットを含み、以下同様である。各セットは2つのピクチャを含み、一方のピクチャはテクスチャビューコンポーネントと呼ばれ、他方のピクチャは深度ビューコンポーネントと呼ばれる。ビューのピクチャのセット内のテクスチャビューコンポーネントおよび深度ビューコンポーネントは、互いに対応すると見なされ得る。たとえば、ビューのピクチャのセット内のテクスチャビューコンポーネントは、そのビューのピクチャのセット内の深度ビューコンポーネントに対応すると見なされ得、その逆も同様である(すなわち、深度ビューコンポーネントはセット中のそれのテクスチャビューコンポーネントに対応し、その逆も同様である)。本開示で使用する、テクスチャビューコンポーネントと、対応する深度ビューコンポーネントとは、単一のアクセスユニットの同じビューの一部であると見なされ得る。
[0071]テクスチャビューコンポーネントは、表示される実際の画像コンテンツを含む。たとえば、テクスチャビューコンポーネントは、ルーマ(Y)成分と、クロマ(CbおよびCr)成分とを含み得る。深度ビューコンポーネントは、それの対応するテクスチャビューコンポーネント中のピクセルの相対深度を示し得る。一例として、深度ビューコンポーネントは、ルーマ値のみを含むグレースケール画像と同様であり得る。言い換えれば、深度ビューコンポーネントは、画像コンテンツを搬送するのではなく、テクスチャビューコンポーネント中のピクセルの相対深度の測度を与え得る。
[0072]深度ビューコンポーネント中の純白のピクセルに対応するピクセル値は、対応するテクスチャビューコンポーネント中のそれの対応する1つまたは複数のピクセルが閲覧者から見てより近いことを示し得、深度ビューコンポーネント中の純黒のピクセルに対応するピクセル値は、対応するテクスチャビューコンポーネント中のそれの対応する1つまたは複数のピクセルが閲覧者から見てより遠いことを示し得る。黒と白との中間にあるグレーの様々な色合いに対応するピクセル値は、異なる深度レベルを示す。たとえば、深度ビューコンポーネント中の濃いグレーのピクセルは、テクスチャビューコンポーネント中のそれの対応するピクセルが、深度ビューコンポーネント中のより薄いグレーのピクセルよりも遠いことを示す。ピクセルの深度を識別するためには、グレースケールと同様にただ1つのピクセル値が必要とされるので、深度ビューコンポーネントはただ1つのピクセル値を含み得る。したがって、深度をコーディングするとき、クロマ成分に類似する値は必要とされない。
[0073]深度を識別するためにルーマ値(たとえば、強度値)のみを使用する深度ビューコンポーネントが説明のために与えられ、限定するものと見なされるべきではない。他の例では、テクスチャビューコンポーネント中のピクセルの相対深度を示すために任意の技法が利用され得る。
[0074]MVCによれば、テクスチャビューコンポーネントは、同じビュー中のテクスチャビューコンポーネントから、あるいは1つまたは複数の異なるビュー中のテクスチャビューコンポーネントからインター予測される。テクスチャビューコンポーネントは、「ビデオブロック」と呼ばれ、H.264コンテキストでは一般に「マクロブロック」と呼ばれる、ビデオデータのブロック中でコーディングされ得る。
[0075]MVCでは、H.264/AVC動き補償のシンタックスを使用するが、異なるビュー中のピクチャが、コーディングされているピクチャを予測するための参照ピクチャとして使用されることを可能にする視差動き補償により、ビュー間予測がサポートされる。2つのビューのコーディングもMVCによってサポートされ得る。MVCの1つの潜在的利点は、MVCエンコーダが3Dビデオ入力として3つ以上のビューをとることができ、またMVCデコーダが、キャプチャされたビデオのそのようなマルチビュー表現を復号することができるということである。MVCデコーダをもつどんなレンダラも、3つ以上のビューをもつ3Dビデオコンテンツを処理し得る。
[0076]MVCでは、同じアクセスユニット中の(すなわち、同じ時間インスタンスをもつ)ピクチャ間でビュー間予測が可能になる。非ベースビュ中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンスをもつ場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測参照ピクチャは、任意のインター予測参照ピクチャと同様に、参照ピクチャリストの任意の位置に置かれ得る。
[0077]図3は、例示的なMVC予測パターンを示す概念図である。図3の例では、(ビューID「S0」〜「S7」を有する)8つのビューが示され、12個の時間ロケーション(「T0」〜「T11」)がビューごとに示されている。すなわち、図3中の各行はビューに対応し、各列は時間ロケーションを示す。図3の例では、大文字「B」および小文字「b」は、異なるコーディング方法ではなく、ピクチャ間の異なる階層関係を示すために使用される。概して、大文字の「B」ピクチャは、小文字の「b」フレームよりも予測階層が比較的高い。
[0078]図3では、ビューS0はベースビューと見なされ得、ビューS1〜S7は従属ビューと見なされ得る。ベースビューは、ビュー間予測されないピクチャを含む。ベースビュー中のピクチャは、同じビュー内の他のピクチャに対してインター予測され得る。たとえば、ビューS0中のピクチャのいずれも、ビューS1〜S7のいずれの中のピクチャに対してもインター予測され得ないが、ビューS0中のピクチャのいくつかは、ビューS0中の他のピクチャに対してインター予測され得る。
[0079]従属ビューは、ビュー間予測されるピクチャを含む。たとえば、ビューS1〜S7の各々は、別のビュー中のピクチャに対してインター予測される少なくとも1つのピクチャを含む。従属ビュー中のピクチャは、ベースビュー中のピクチャに対してインター予測され得るか、または他の従属ビュー中のピクチャに対してインター予測され得る。
[0080]ベースビューと1つまたは複数の従属ビューの両方を含むビデオストリームは、異なるタイプのビデオデコーダによって復号可能であり得る。たとえば、1つの基本タイプのビデオデコーダは、ベースビューのみを復号するように構成され得る。さらに、別のタイプのビデオデコーダは、ビューS0〜S7の各々を復号するように構成され得る。ベースビューと従属ビューの両方を復号するように構成されたデコーダは、マルチビューコーディングをサポートするデコーダと呼ばれることがある。
[0081]図3中のピクチャは、図3中の各行および各列の交点で示される。MVC拡張をもつH.264/AVC規格は、ビデオの一部分を表すためにフレームという用語を使用し得るが、HEVC規格は、ビデオの一部分を表すためにピクチャという用語を使用し得る。本開示では、ピクチャという用語とフレームという用語とを互換的に使用する。
[0082]図3のピクチャは、対応するピクチャがイントラコーティングされる(すなわち、Iフレームである)か、一方向に(すなわち、Pフレームとして)インターコーティングされるか、または複数の方向に(すなわち、Bフレームとして)インターコーティングされるかを指定する、文字を含む陰影付きブロックを使用して示されている。概して、予測は矢印によって示され、ここで矢印の終点のピクチャは、予測参照のために矢印の始点のピクチャを使用する。たとえば、時間ロケーションT0にあるビューS2のPピクチャは、時間ロケーションT0にあるビューS0のIピクチャから予測される。
[0083]シングルビュービデオ符号化の場合と同様に、マルチビュービデオコーディングビデオシーケンスのピクチャは、異なる時間ロケーションにあるピクチャに対して予測符号化され得る。たとえば、時間ロケーションT1にあるビューS0のBピクチャは、時間ロケーションT0にあるビューS0のIピクチャからそのBピクチャに向けられた矢印を有し、その矢印は、bピクチャがIピクチャから予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、ピクチャはビュー間予測され得る。すなわち、ビューコンポーネント(たとえば、テクスチャビューコンポーネント)は、参照のために他のビュー中のビューコンポーネントを使用することができる。MVCでは、たとえば、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット(SPS)MVC拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。
[0084]図3は、ビュー間予測の様々な例を与える。図3の例では、ビューS1のピクチャは、ビューS1の異なる時間ロケーションにあるピクチャから予測されるものとして、ならびに同じ時間ロケーションにあるビューS0およびS2のピクチャからビュー間予測されるものとして示されている。たとえば、時間ロケーションT1にあるビューS1のBピクチャは、時間ロケーションT0およびT2にあるビューS1のBピクチャの各々、ならびに時間ロケーションT1にあるビューS0およびビューS2のBピクチャから予測される。
[0085]図3はまた、異なるレベルの陰影を使用して予測階層の変形形態を示し、ここで、より大きい量の陰影の(すなわち、比較的より暗い)フレームは、より少ない陰影を有する(すなわち、比較的より明るい)フレームよりも予測階層が高い。たとえば、図3のすべてのIピクチャは完全な陰影を用いて示されているが、Pピクチャはよりいくぶん明るい陰影を有し、Bピクチャ(および小文字のbピクチャ)は、互いに対して様々なレベルの陰影を有するが、PピクチャおよびIピクチャの陰影よりも常に明るい。
[0086]概して、予測階層が比較的高いピクチャは、階層が比較的より低いピクチャを復号する前に復号されなければならないという点で、予測階層はビュー順序インデックスに関係し得る。階層が比較的より高いそれらのピクチャは、階層が比較的低いピクチャの復号中に参照ピクチャとして使用され得る。ビュー順序インデックスは、アクセスユニット中のビューコンポーネントの復号順序を示すインデックスである。H.264/AVC(MVC追補)の付属書類Hにおいて規定されているように、ビュー順序インデックスは、シーケンスパラメータセット(SPS)のMVC拡張において暗示されている。SPSでは、各インデックスiについて、対応するview_idがシグナリングされる。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従い得る。すべてのビューが提示された場合、ビュー順序インデックスは、0からnum_views_minus_1までの連続する順序になっている。
[0087]このようにして、参照ピクチャとして使用されるピクチャは、その参照ピクチャに従属するピクチャの前に復号される。ビュー順序インデックスは、アクセスユニット中のビューコンポーネントの復号順序を示すインデックスである。各ビュー順序インデックスiについて、対応するview_idがシグナリングされる。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従う。すべてのビューが提示された場合、ビュー順序インデックスのセットは、0からビューの全数よりも1少ない数までの連続的な順序付きセットを備え得る。
[0088]階層の等しいレベルにあるいくつかのピクチャの場合、復号順序は、互いに重要でないことがある。たとえば、時間ロケーションT0にあるビューS0のIピクチャは、時間ロケーションT0にあるビューS2のPピクチャのための参照ピクチャとして使用され得、そのPピクチャは、今度は、時間ロケーションT0にあるビューS4のPピクチャのための参照ピクチャとして使用され得る。したがって、時間ロケーションT0にあるビューS0のIピクチャは、時間ロケーションT0にあるビューS2のPピクチャの前に復号されるべきであり、そのPピクチャは、今度は、時間ロケーションT0にあるビューS4のPピクチャの前に復号されるべきである。しかしながら、ビューS1およびS3は予測のために互いに従属しないので、ビューS1とビューS3との間で、復号順序は重要でない。代わりに、ビューS1およびS3は、予測階層がより高い他のビューのみから予測される。その上、ビューS1がビューS0およびS2の後に復号される限り、ビューS1はビューS4の前に復号され得る。
[0089]このようにして、ビューS0〜S7を記述するために階層順序が使用され得る。本開示では、表記「SA>SB」は、ビューSAがビューSBの前に復号されるべきであることを意味する。この表記を使用すると、図2の例では、S0>S2>S4>S6>S7である。また、図2の例に関して、S0>S1、S2>S1、S2>S3、S4>S3、S4>S5、およびS6>S5である。この階層順序付けに違反しないビューのための任意の復号順序が可能である。したがって、この階層順序付けに基づく限定をもつ、多くの異なる復号順序が可能である。
[0090]次にSPS MVC拡張について説明する。ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができ、これはビュー間予測と呼ばれる。MVCでは、別のビュー中のビューコンポーネントがインター予測の参照であるかのように、ビュー間予測が実現される。しかしながら、潜在的なビュー間参照は、(以下のシンタックステーブル、表1に示すように)シーケンスパラメータセット(SPS)MVC拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。ビデオエンコーダ20は、表1に示すようにシンタックスを生成するように構成されたビデオエンコーダのエクス例を表し、ビデオデコーダ30は、そのようなシンタックスをパースし、処理するように構成されたビデオデコーダの一例を表す。
[0091]SPS MVC拡張では、ビューごとに、参照ピクチャリスト0と参照ピクチャリスト1とを形成するために使用され得るビューの数がシグナリングされる。SPS MVC拡張においてシグナリングされるアンカーピクチャについての予測関係は、同じビューの(SPS MVC拡張においてシグナリングされる)非アンカーピクチャについての予測関係とは異なり得る。
[0092]次にHEVCのパラメータセットについて説明する。HEVC WD7では、HEVCにおけるビデオ、シーケンス、ピクチャおよび適応パラメータセット機構は、頻度に変化しない情報の送信をコード化ブロックデータの送信から分離する。ビデオ、シーケンス、ピクチャおよび適応パラメータセットは、いくつかの適用例では、「アウトオブバンド」で搬送され得、すなわち、コード化ビデオデータを含んでいるユニットとともにトランスポートされないことがある。アウトオブバンド送信は一般に信頼できる。
[0093]HEVC WD7では、ビデオシーケンスパラメータセット(VPS:video sequence parameter set)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)または適応パラメータセット(APS)の識別子は、可変長シンタックス要素「ue(v)」を使用してコーディングされる。各SPSはSPS IDとVPS IDとを含み、各PPSはPPS IDとSPS IDとを含み、各スライスヘッダは、PPS IDと、場合によってはAPS IDとを含む。
[0094]HEVC WD7においてビデオパラメータセット(VPS)はサポートされるが、シーケンスレベル情報パラメータの大部分は依然としてSPS中にのみ存在する。WD7のVPS設計のいくつかの問題または潜在的欠点が存在する。一例として、SPS中に含まれている情報のかなりの量が、すべてのSPSについて同じであるか、あるいは少なくとも2つのSPSについて同じであり得る。SPS中のこの情報を複製することは、より高い帯域幅を必要とする。(少なくともVPS、SPSおよびPPSを含む)パラメータセットはアウトオブバンドでシグナリングされる必要があり得る。インバンドでシグナリングされる場合、ランダムアクセスポイントにおいてそれぞれ同調するためにそのようなビットレート増加が有効である。
[0095]第2の例として、潜在的なHEVC拡張において、AVCと同様の設計原理に従う場合、動作点記述情報の大部分がSPSまたはVPS中に含まれないことがあり、代わりに、SEIメッセージがセッション初期化およびネゴシエーションのために使用され得る。したがって、MANEは、上述の目的のためにSPS、VPS、およびSEIメッセージをパースするように要求され得る。第3の例として、WD7においてSPS中に存在する何らかの情報が、HEVC拡張において変更または削除され得る。
[0096]上記で説明した潜在的問題に対処するために、本開示は、VPSまたは他のパラメータセットを含む、パラメータセットの設計のためのいくつかの技法を提案する。たとえば、本開示で説明する技法によれば、全コード化ビデオシーケンスについて一般に同じである情報がVPS中に存在し得る一方で、SPSレベルが変化し得るシンタックス要素のみがSPS中に存在し得る。他のシンタックス要素は、VPS中にすでに存在する場合、SPSから除外され得る。
[0097]本開示の技法の別の例として、セッションネゴシエーションに関係する情報がVPS中に存在し得る。セッションネゴシエーションに関係する情報の例としては、プロファイル情報、レベル情報、フレーム解像度情報、フレームレート情報、およびビットレート情報、ならびに他の情報がある。本開示の技法の別の例として、VPSは、セッションネゴシエーションにとって重要である動作点情報をパースすることが、ベースレイヤまたはビューと、エンハンスメントレイヤまたはビューの両方についての情報を潜在的に含めて、可変長コーディングを必要としない方法で設計され得る。VPS中のシンタックス要素は、グループごとに、HEVC拡張が0個以上のインスタンスを与え得、HEVC拡張における動作点がインデックスのみを参照するようにグループ化され得る。
[0098]VPS、SPS、ビデオユーザビリティ情報(VUI:video usability information)、ならびにHRDパラメータおよびスライスヘッダのためのシンタックスおよびセマンティクスの様々な例を以下に与える。表2〜表6に第1の例を示す。上記に記載した表1はVPSシンタックスの一例を示している。表2〜表6中の、ならびに本開示における他の表中の「記述子」の列は、各シンタックス要素のビット数を識別し、ただし、ビット数を示す「v」は可変であり得る。「記述子」の列中の数値は、固定ビット数を使用してシンタックス要素が搬送されることを示す。たとえば、「u(8)」は8の固定ビット数をもつシンタックス要素を表すが、「ue(v)」は可変ビット数をもつシンタックス要素を表す。記述子ue(v)をもつシンタックス要素をパースするために、(ビデオデコーダまたはMANEなどの)パースデバイスは、そのようなシンタックス要素を復号し解釈するために、エントロピーコーディングを実装する必要があり得る。
[0099]次に、上記の表2に示したものなど、ビデオパラメータセットRBSPセマンティクスについて説明する。表2中のシンタックス要素video_parameter_set_idは、ビデオパラメータセットの識別情報を与える。video_parameter_set_idの値を使用して、SPSなどの別のシンタックス構造が特定のVPSをアクティブにすることができる。たとえば、例示的なSPSシンタックス構造を示す表3もシンタックス要素video_parameter_set_idを含む。SPS中のシンタックス要素video_parameter_set_idの値に基づいて、その同じ値をもつ特定のVPSが、SPSに関連するビデオブロックをコーディングするためにアクティブにされ得る。一般に、複数のSPSが同じVPSに関連付けられることになる。一例として、ビデオデコーダ30が、ビデオデータ中で、シンタックス要素video_parameter_set_idの第1の値を含む第1のSPSを受信し得、ビデオデコーダ30はまた、シンタックス要素video_parameter_set_idの同じ値を含む第2のSPSを受信し得る。第1のSPSは、ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを含む第1のシンタックス構造であり得、第2のSPSは、ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを含む第2のシンタックス構造であり得る。ビデオデコーダ30は、同じVPSからのパラメータに基づいて、第1のSPSと第2のSPSの両方に関連付けられたビデオブロックを復号する。
[0100]シンタックス要素profile_space、profile_idc、profile_compatability_flag[i]、constraint_flags、level_idc、bit_depth_luma_minus8、bit_depth_chroma_minus8、chroma_format_idc、pic_width_in_luma_samples、pic_height_in_luma_samples、pic_cropping_flag、pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、pic_crop_bottom_offset、temporal_id_nesting_flagおよびseparate_colour_plane_flagは、WD7において規定されているシーケンスパラメータセット中の同じシンタックス要素名をもつシンタックス要素の同じセマンティクスを有するが、本開示の提案する技法に従ってSPSからVPSに移動されている。
[0101]シンタックス要素profile_spaceは、シンタックス要素profile_idcを解釈するためのコンテキストを識別し、シンタックス要素profile_idcはプロファイルのグループを識別する。シンタックス要素profile_compatability_flag[i]は、ビデオデータがprofile[i]と互換性があるかどうかを識別し得る。ビデオデコーダ30は、たとえば、ビデオデータ中で、profile_spaceとprofile_idcとの値を受信し、profile_spaceの値に基づいて、シンタックス要素profile_idcを解釈するためのコンテキストを識別し得る。profile_idcの解釈された値に基づいて、ビデオデコーダ30は、プロファイルのグループを識別することができ、プロファイルごとに、ビデオデコーダ30は、シンタックス要素profile_compatability_flag[i]の値を受信して、ビデオデータがprofile[i]と互換性があるかどうかを識別することができる。シンタックス要素profile_idcは、たとえば、32個の関連するフラグを有し得、各フラグはプロファイルの特定の態様を示す。たとえば、フラグは、同じプロファイルを仮定すれば、1つの特定のコーディングまたはプロセスツールがオンにされるかオフされるかを示し得る。
[0102]シンタックス要素level_idcは、ビデオデータに関連する最大レベルを識別し、シンタックス要素level_lower_temporal_layers_present_flagは、ビデオデータの時間レイヤが最大レベルよりも低いレベルを有するかどうかを識別する。1に等しく設定されたシンタックス要素level_lower_temporal_layers_present_flagは、level_idc_temporal_subset[i]が存在し得ることを指定する。0に等しく設定されたシンタックス要素level_lower_temporal_layers_present_flagは、level_idc_temporal_subset[i]が存在しないことを指定する。シンタックス要素level_idc_temporal_subset[i]は、temporal_idがi以下であるすべてのNALユニットからなるビットストリームサブセットが適合するレベルを指定する。
[0103]ビデオデコーダ30は、たとえば、1に等しく設定されたシンタックス要素level_lower_temporal_layers_present_flagを受信したことに応答して、シンタックス要素level_idc_temporal_subset[i]を受信し得る。シンタックス要素level_idc_temporal_subset[i]は、temporal layer[i]が適合するレベルを識別するために存在し得る。
[0104]シンタックス要素vps_temporal_id_nesting_flag、vps_temporal_id_nesting_flag、vps_max_dec_pic_bufferingする[i]、vps_num_reorder_pics[i]、およびvps_max_latency_increase[i]は、HEVC WD 7のシーケンスパラメータセット中に、それぞれ以下のシンタックス要素、すなわち、sps_temporal_id_nesting_flag、sps_temporal_id_nesting_flag、sps_max_dec_pic_buffering[i]、sps_num_reorder_pics[i]、sps_max_latency_increase[i]の同じセマンティクスを有する。
[0105]シンタックス要素next_essential_info_byte_offsetは、本開示で紹介するオフセットシンタックス要素の一例である。シンタックス要素next_essential_info_byte_offsetは、NALユニットの始端から始まる、VPS NALユニット中のプロファイルおよびレベル情報と他の固定長コード化情報との次のセットのバイトオフセットを指定する。MANE29は、たとえば、シンタックス要素next_essential_info_byte_offsetを受信し、シンタックス要素next_essential_info_byte_offsetによって示されるバイト数を判断し得、この判断されたバイト数に基づいて、MANE29は、可変長シンタックス要素pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、pic_crop_bottom_offsetなど、表2に示された1つまたは複数可変長コード化シンタックス要素と、表2に示された他の可変長シンタックス要素とをスキップし得る。ただし、ビデオデコーダ30は、シンタックス要素next_essential_info_byte_offsetを受信すると、シンタックス要素の値を無視し得る。したがって、シンタックス要素next_essential_info_byte_offsetをパースした後に、ビデオデコーダ30は、表2に示された可変長シンタックス要素pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offset、pic_crop_bottom_offsetと、他の可変長シンタックス要素とをパースし続け得る。
[0106]HEVC仕様の将来の拡張、たとえば、スケーラブルコーディング拡張または3DV拡張において、非ベースレイヤまたはビューについてのVPS情報は、ベースレイヤまたはビューについてのVPS情報の後にVPS NALユニット中に含められ得る。非ベースレイヤまたはビューについてのVPS情報はまた、セッションネゴシエーションのために必須のコード化プロファイル、レベル、および他の情報など、固定長シンタックス要素で開始し得る。next_essential_info_byte_offsetによって指定されたビットオフセットを使用して、MANE29は、エントロピー復号を実行する必要なしに、VPS NALユニット中でその必須情報の位置を特定し、アクセスし得る。ビデオデータをトランスポートし、処理するように構成されたいくつかのネットワークエンティティ(たとえばMANE29)は、エントロピー復号のために装備されていないことがある。しかしながら、本開示で説明するようにオフセットシンタックス要素を使用して、そのようなネットワークエンティティは依然として、パラメータセットのいくつかの態様を処理し、ビデオデータのルーティング決定を行うときにその処理されたシンタックス要素中に含まれている情報を使用することができる。ルーティング決定を行うときにネットワークエンティティが処理し得る情報の一例としては、セッションネゴシエーションに関係する情報がある。
[0107]シンタックス要素nal_hrd_parameters_present_flag[i]およびvcl_hrd_parameters_present_flag[i]は、WD7のVUIパラメータ中に存在するが、i番目の時間レイヤ表現に適用可能である、nal_hrd_parameters_present_flagおよびvcl_hrd_parameters_present_flagと同様のセマンティックを有する。シンタックス要素nal_hrd_parameters_present_flagは、たとえば、ビットレート、コード化ピクチャバッファ(CPB:coded picture buffer)サイズ、および初期CPB削除遅延(initial_cpb_removal_delay_length_minus1)、CPB削除遅延(cpb_removal_delay_length_minus1)、DPB出力遅延(dpb_output_delay_length_minus1)、および時間オフセット長(time_offset_length)など、HRDパラメータかどうかをシグナリングし得る。シンタックス要素は、たとえば、ビデオ日付のビットレートが固定であるか可変であるかを示すシンタックス要素(cbr_flag)を含み得る。
[0108]シンタックス要素low_delay_hrd_flagは、DPBからの復号ユニットの削除時間を示すために使用され得る。1に等しいシンタックス要素sub_pic_cpb_params_present_flagは、サブピクチャレベルCPB削除遅延パラメータが存在し、CPBがアクセスユニットレベルまたはサブピクチャレベルで動作し得ることを指定し得る。0に等しいシンタックス要素sub_pic_cpb_params_present_flagは、サブピクチャレベルCPB削除遅延パラメータが存在せず、CPBがアクセスユニットレベルで動作することを指定し得る。シンタックス要素num_units_in_sub_tickは、サブピクチャクロックティックカウンタの1増分(サブピクチャクロックティックと呼ばれる)に対応する周波数time_scale Hzで動作するクロックの時間単位の数を表す。上記で説明したHRDパラメータは、すべての時間レイヤ表現に適用可能であり得る。
[0109]1に等しく設定されたシンタックス要素vui_video_parameters_present_flagは、VPS中にvui_vps( )シンタックス構造が存在することを指定する。0に等しく設定されたこのフラグは、vui_vps( )シンタックス要素が存在しないことを指定する。シンタックス要素num_vps_short_term_ref_pic_setsは、ビデオパラメータセット中で指定される短期参照ピクチャセットの数を指定する。1に等しく設定されたシンタックス要素bitrate_info_present_flag[i]は、ビデオパラメータセット中にi番目の時間レイヤについてのビットレート情報が存在することを指定する。0に設定されたシンタックス要素bitrate_info_present_flag[i]は、VPS中にi番目の時間レイヤについてのビットレート情報が存在しないことを指定する。
[0110]1に設定されたシンタックス要素frm_rate_info_present_flag[i]は、ビデオパラメータセット中にi番目の時間レイヤについてのフレームレート情報が存在することを指定する。0に等しく設定されたシンタックス要素frm_rate_info_present_flag[i]は、ビデオパラメータセット中にi番目の時間レイヤについてのフレームレート情報が存在しないことを指定する。
[0111]シンタックス要素avg_bitrate[i]は、i番目の時間レイヤ表現の平均ビットレートを示す。ビット毎秒でのi番目の時間レイヤ表現の平均ビットレートはBitRateBPS(avg_bitrate[i])によって与えられ、ただし、関数BitRateBPS( )は次式によって指定される。
[0112]この平均ビットレートは、HEVC規格の付属書類Cにおいて規定されているアクセスユニット削除時間に従って導出され得る。以下において、bTotalは、i番目の時間レイヤ表現のすべてのNALユニット中のビット数であり、t1は、VPSが適用される最初のアクセスユニットの(秒での)削除時間であり、t2は、VPSが適用される(復号順序で)最後のアクセスユニットの(秒での)削除時間である。
[0113]xがavg_bitrate[i]の値を指定する場合、以下が適用される。
− t1がt2に等しくない場合、以下の条件が真であり得る。
− 他の場合(t1がt2に等しい)、以下の条件が真であり得る。
[0114]シンタックス要素max_bitrate_layer[i]は、付属書類Cにおいて規定されているアクセスユニット削除時間の、任意の1秒時間ウィンドウ中のi番目の時間レイヤ表現のビットレートについての上限を示す。ビット毎秒での現在スケーラブルレイヤのビットレートの上限はBitRateBPS(max_bitrate_layer[i])によって与えられ、ただし、関数BitRateBPS( )は式G−369において指定されている。このビットレート値は、HEVC規格の付属書類Cにおいて規定されているアクセスユニット削除時間に従って導出され得る。以下において、t1は(秒での)任意の時点であり、t2は、t1+max_bitrate_calc_window[i]÷100に等しく設定され、bTotalは、アクセスユニットに属する現在スケーラブルレイヤのすべてのNALユニット中のビット数であり、削除時間は、t1よりも大きいかまたはそれに等しく、t2よりも小さい。xがmax_bitrate_layer[i]の値を指定する場合、t1のすべての値について以下の条件に従い得る。
[0115]シンタックス要素constant_frm_rate_idc[i]は、i番目の時間レイヤ表現のフレームレートが固定であるかどうかを示す。以下において、時間セグメントtSegは、現在時間レイヤ表現の、復号順序で2つ以上の連続するアクセスユニットの任意のセットであり、fTotal(tSeg)は、時間セグメントtSeg中のピクチャの数であり、t1(tSeg)は、時間セグメントtSegの(復号順序で)最初のアクセスユニットの(秒での)削除時間であり、t2(tSeg)は、時間セグメントtSegの(復号順序で)最後のアクセスユニットの(秒での)削除時間であり、avgFR(tSeg)は、時間セグメントtSeg中の平均フレームレートであり、次式によって与えられる。
[0116]i番目の時間レイヤ表現がただ1つのアクセスユニットを含んでいるか、またはavgFR(tSeg)の値がi番目の時間レイヤ表現のすべての時間セグメントにわたって一定である場合、フレームレートは固定であり、そうでない場合、フレームレートは固定でない。0に等しく設定されたシンタックス要素constant_frm_rate_idc[i]は、i番目の時間レイヤ表現のフレームレートが固定でないことを示す。1に等しく設定されたシンタックス要素constant_frm_rate_idc[i]は、i番目の時間レイヤ表現のフレームレートが固定であることを示す。
[0117]2に等しく設定されたシンタックス要素constant_frm_rate_idc[i]は、i番目の時間レイヤ表現のフレームレートが固定であることも固定でないこともあることを示す。constant_frm_rate_idc[i]の値は、両端値を含む0〜2の範囲内にあり得る。
[0118]シンタックス要素avg_frm_rate[i]は256秒ごとのフレームの単位での、i番目の時間レイヤ表現の平均フレームレートを示す。fTotalがi番目の時間レイヤ表現におけるピクチャの数である場合、t1は、VPSが適用される最初のアクセスユニットの(秒での)削除時間であり、t2は、VPSが適用される(復号順序で)最後のアクセスユニットの(秒での)削除時間であり、以下が適用される。
[0119]t1がt2に等しくない場合、以下の条件が真であり得る。
他の場合(t1がt2に等しい)、以下の条件が真であり得る。
[0120]次にVUIパラメータセマンティクスについて説明する。VUIパラメータ中の各シンタックス要素は、WD7において規定されているVUIパラメータシンタックス中の同じ名前をもつシンタックス要素と同じセマンティクスを有する。
[0121]次にシーケンスパラメータセットRBSPセマンティクスについて説明する。1に等しく設定されたシンタックス要素use_rps_from_vps_flagは、シーケンスパラメータセット中に含まれる短期参照ピクチャセットが、参照されるビデオパラメータセット中に含まれる短期参照ピクチャセットに対して加法的であることを指定する。0に等しく設定されたシンタックス要素use_rps_from_vps_flagは、シーケンスパラメータセット中に含まれる短期参照ピクチャセットが、参照されるビデオパラメータセット中に含まれる短期参照ピクチャセットをオーバーライドすることを指定する。
[0122]代替的に、シンタックス要素num_short_term_ref_pic_setsはSPS中に存在しないことがあり、0に等しく設定されると常に推論され得る。代替的に、シンタックス要素use_rps_from_vps_flagは存在しないことがあり、1に等しく設定されると常に推論され得る。代替的に、シンタックス要素use_rps_from_vps_flagは存在しないことがあり、0に等しく設定されると常に推論され得る。
[0123]変数NumShortTermRefPicSetsは以下のように導出され得る。
[0124]次にスライスヘッダセマンティクスについて説明する。シンタックス要素short_term_ref_pic_set_idxは、現在ピクチャの参照ピクチャセットの作成のために使用され得るアクティブシーケンスパラメータセット中で指定される短期参照ピクチャセットのリストへのインデックスを指定する。シンタックス要素short_term_ref_pic_set_idxはCeil(Log2(NumShortTermRefPicSets))個のビットによって表され得る。short_term_ref_pic_set_idxの値は、両端値を含む0からnum_short_term_ref_pic_sets−1の範囲内にあり得、ここで、num_short_term_ref_pic_setsはアクティブシーケンスパラメータセットからのシンタックス要素である。
[0125]変数StRpsIdxは以下のように導出され得る。
[0126]0に等しく設定されたシンタックス要素tiles_fixed_structure_idcは、コード化ビデオシーケンス中のどんなピクチャによって参照される各ピクチャパラメータセットも、0に等しく設定されたtiles_or_entropy_coding_sync_idcを有することを示す。1に等しく設定されたシンタックス要素tiles_fixed_structure_idcは、コード化ビデオシーケンス中のどんなピクチャによって参照される各ピクチャパラメータセットも、存在するとき、シンタックス要素num_tile_columns_minus1、num_tile_rows_minus1、uniform_spacing_flag、column_width[i]、row_height[i]およびloop_filter_across_tiles_enabled_flagの同じ値を有することを示す。2に等しく設定されたシンタックス要素tiles_fixed_structure_idcgは、コード化ビデオシーケンス中のピクチャによって参照される異なるピクチャパラメータセット中のタイルシンタックス要素が同じ値を有することも有しないこともあることを示す。tiles_fixed_structure_idcの値は、両端値を含む0〜2の範囲内にあり得る。シンタックス要素tiles_fixed_structure_flagが存在しないとき、それは2に等しいことが推論される。
[0127]1に等しく設定されたシンタックス要素tiles_fixed_structure_flagのシグナリングは、コード化ビデオシーケンス中の各ピクチャが、同じ方法で分配されるタイルの同じ数を有するという、デコーダに対する保証であり得、これは、マルチスレッド復号の場合における作業負荷割振りのために有用であり得る。
[0128]次に、上記で説明した第1の例と同様である第2の例について説明する。この第2の例では、SPS中に残っていているシンタックス要素は、VPS中に存在し、条件付きでSPS中に存在し得る。この例によるVPSおよびSPSのシンタックスおよびセマンティクスは変更され、表7〜表9において以下で説明する。
[0129]次に、随意のSPSパラメータセマンティクスについて説明する。このシンタックス構造におけるシンタックス要素およびシンタックス構造のセマンティクスは、第1の例において指定されているように同じシンタックス要素名をもつSPS中のシンタックス要素と同じセマンティクスを有する。
[0130]次にシーケンスパラメータセットRBSPセマンティクスについて説明する。1に等しく設定されたシンタックス要素sps_parameters_override_flagは、シーケンスパラメータセット中で指定されているpcm_enabled_flagからtiles_fixed_structure_idcまでのシンタックス要素およびシンタックス構造の値が、参照されるビデオパラメータセット中で指定されている同じシンタックス要素およびシンタックス構造の値をオーバーライドすることを指定する。0に等しく設定されたシンタックス要素sps_parameters_override_flagは、参照されるビデオパラメータセット中で指定されているpcm_enabled_flagからtiles_fixed_structure_idcまでのシンタックス要素およびシンタックス構造の値が使用中である。
[0131]表7に示されたシンタックス要素next_essential_byte_offsetは、表2に関して上記で説明した方法でMANE29および/またはビデオデコーダ30によって処理され、パースされ得る。同様に、シンタックス要素video_parameter_set_id、profile_idc、およびprofile_spaceも、上記で説明した方法でビデオエンコーダ20によって生成され、ビデオデコーダ30によって処理され、パースされ得る。
[0132]第3の例は第1の例のスーパーセットである。この第3の例では、シンタックスは、拡張を実装するのがより容易になる様式で設計され得る。さらに、この例ではVPSの拡張がサポートされ得る。第1の例における相対物と厳密に同じであるシンタックステーブルのシンタックス設計またはセマンティクス設計は存在しない。第3の例について、表10〜表19を参照しながら以下で説明する。
[0133]次にビデオパラメータセットRBSPセマンティクスについて説明する。シンタックス要素byte_alligned_bitsは、num_additional_profile_level_infoより前のVPS NALユニット中のビットをバイト整合させる可能なビットを指定する。シンタックス要素byte_alligned_bitsは、両端値を含む0〜7の範囲内にある。シンタックス要素num_additional_profile_level_infoは、VPS中に存在する追加のプロファイルおよびレベル情報テーブルの数を指定する。シンタックス要素num_additional_rep_fromat_infoは、VPS中に存在する追加の表現フォーマット情報テーブルの数を指定する。シンタックス要素num_additional_dependency_operation_pointsは、時間スケーラビリティにかかわらず、ビットストリーム中にさらに存在する従属性動作点の数を指定する。各従属性動作点は時間サブ動作点を含み得、その各々は同じレイヤ構造を有する。シンタックス要素extension_typeは、現在ビットストリームの拡張のタイプを指定し、ただし、0は3DVに対応し、1はSVCに対応する。シンタックス要素profile_level_index[k]は、現在のk番目の従属性動作点についてVPS中でシグナリングされるレベル情報テーブルへのインデックスを示す。シンタックス要素ref_format_indexは、現在のk番目の従属性動作点についてVPS中でシグナリングされる表現フォーマット情報テーブルへのインデックスを示す。
[0134]シンタックス要素applicable_lowest_temporal_id[k]およびapplicable_highest_temporal_id[k]は、それぞれ、k番目の従属性動作点のシグナリングされる時間サブ動作点に対応する最も低いtemporal_id値および最も高いtemporal_id値を指定する。代替的に、シンタックス要素applicable_lowest_temporal_id[k]およびapplicable_highest_temporal_id[k]は両方ともシグナリングされず、それぞれ0およびvps_max_temporal_layers_minus1に等しいと推論される。代替的に、シンタックス要素applicable_lowest_temporal_id[k]はシグナリングされず、0に等しいと推論される。代替的に、シンタックス要素applicable_highest_temporal_id[k]はシグナリングされず、vps_max_temporal_layers_minus1に等しいと推論される。
[0135]1に等しいシンタックス要素depth_included_flag[k]は、現在の3DV従属性動作点が深度を含んでいることを示す。0に等しいこのフラグは、現在の3DV動作点が深度を含んでいないことを示す。代替的に、シンタックス要素depth_included_flag[k]はシグナリングされず、したがって、深度VCL NALユニットがlayer_id_plust1に従属することを示す。
[0136]シンタックス要素num_target_output_views_minus1[k]+1は、k番目の従属性動作点におけるターゲット出力ビューの数を指定する。シンタックス要素num_depedent_layers[k]は、現在のk番目の従属性動作点を復号するための従属レイヤの数を示す。シンタックス要素layer_id[k][j]は、k番目の従属性動作点のj番目のターゲット出力ビューのlayer_idを示す。シンタックス要素dependent_layer_id[k][j]は、k番目の従属性動作点のj番目の従属ビューのlayer_idを示す。一代替形態では、フラグが、dependent_layer_id[k][j]の直後に、direct_dependent_flag[k][j]としてシグナリングされる。
[0137]シンタックス要素direct_dependent_flag[k][j]は、j番目の従属ビューが、インターバイRPSを導出するために使用されるべき直接従属ビューであるかどうかを示す。シンタックス要素layer_id[k]は、現在のk番目の(SVC)従属性動作点の最も高いlayer_idを示す。代替的に、num_target_output_views_minus1[k]、num_depedent_layers[k]、layer_id[k][j]およびdependent_layer_id[k][j]はue(v)としてシグナリングされ得る。
[0138]シンタックス要素num_additional_vui_vps_set_infoは、VPS中に存在する追加のVUI VPSセットテーブルの数を指定し得る。
[0139]プロファイルおよびレベル情報テーブルセマンティクスについて、シンタックス要素profileLevelInfoIdxが、プロファイルおよびレベル情報テーブルのインデックスを示す。表現フォーマット情報テーブルセマンティクスについて、シンタックス要素repFormatInfoIdxが、表現フォーマット情報テーブルのインデックスを示す。
[0140]表7に示されたシンタックス要素next_essential_byte_offsetは、表2に関して上記で説明した方法でMANE29および/またはビデオデコーダ30によって処理され、パースされ得る。
[0141]VUI VPSセットテーブルセマンティクスについて、シンタックス要素vuiVpsSetIndexが、VUI VPSセットテーブルのインデックスを示す。
[0142]代替的に、各ビューのビュー従属性が、以下のようにSPS中でシグナリングされ得る。
[0143]シンタックス要素num_reference_viewsは、ビュー間RPSサブセットを構成するために使用されるテクスチャまたは深度ビューの最大数を示す。シンタックス要素ref_view_layer_id[i]は、ビュー間RPSサブセット中のi番目のビュー間(のみの)参照ピクチャを示すために使用されるi番目のテクスチャ/深度ビューのlayer_idを識別する。
[0144]代替的に、VPS拡張は以下のようにシグナリングされ得る。シンタックス要素extension_typeがSVCを示すとき、シンタックス要素num_additional_dependency_operation_pointsはシグナリングされないが、vps_max_layers_minus1に等しくなるように導出される。アクセスユニット内のVCL NALユニットがlayer_idの非降順にあるという制約が与えられる。MVCでは、シンタックス要素layer_idがview_idxに等しい。3DVでは、シンタックス要素view_idxは、layer_idによってview_idx=(layer_idx>>1)のように計算され得る。
[0145]1に等しく設定されたシンタックス要素depth_present_flagは、深度を含んでいる動作点があり得ることを示す。0に等しく設定されたシンタックス要素depth_present_flagは、どの動作点も深度を含んでいないことを示す。
[0146]シンタックス要素num_target_output_views_minus1[k]+1は、k番目の従属性動作点におけるターゲット出力ビューの数を指定するために使用され得る。シンタックス要素num_dependent_layers[k]は、現在のk番目の従属性動作点を復号するための従属レイヤの数を示すために使用され得る。depth_present_flagが1に等しく設定されたとき、従属レイヤは、深度ビューまたはテクスチャビューのいずれかであるか両方であり得る。シンタックス要素layer_id[k][j]は、k番目の従属性動作点のj番目のターゲット出力テクスチャビューのlayer_idを示す。テクスチャビューに関連付けられた深度ビューのlayer_idは、存在する場合、layer_id[k][j]+1である。
[0147]代替的に、layer_id[k][j]の代わりにシンタックス要素view_idx[k][j]がターゲット出力ビューごとにシグナリングされ得る。view_idx[k][j]ごとに、対応するテクスチャビューのlayer_idは(view_idx[k][j]<<depth_present_flag)である。depth_included_flag[k]が1に等しい場合、対応する深度ビューのlayer_idは(view_idx[k][j]<<depth_present_flag)+1であり、それは、この場合depth_present_flagが1でなければならないので、(view_idx[k][j]<<1)+1である。代替的に、シンタックス要素layer_id[k][j]はview_idx[k][j]に変更され得、u(v)コーディングされ、ただし長さは5−depth_present_flagである。代替的に、シンタックス要素layer_id[k][j]はview_idx[k][j]に変更され得、u(v)コーディングされ、ただし長さは5−depth_included[k]である。
[0148]第4の例は、第2の例のスーパーセットである。シンタックスは拡張フレンドリーな方法で設計される。さらに、この例ではVPSの拡張が行われる。第2の例における相対物と厳密に同じであるシンタックステーブルのシンタックス設計またはセマンティクス設計は存在しない。
[0149]表21に示されたシンタックス要素next_essential_byte_offsetは、表2に関して上記で説明した方法でMANE29および/またはビデオデコーダ30によって処理され、パースされ得る。
[0150]図4は、本開示で説明する技法を実装し得る例示的なビデオエンコーダ20を示すブロック図である。ビデオエンコーダ20は、たとえば、表1〜表21に関して上記で説明したシンタックス構造を生成し得る。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード(Iモード(登録商標))は、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。
[0151]図4の例では、ビデオエンコーダ20は、区分ユニット35と、予測処理ユニット41と、フィルタユニット63と、ピクチャメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。予測処理ユニット41は、動き推定ユニット42と、動き補償ユニット44と、イントラ予測処理ユニット46とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62とを含む。フィルタユニット63は、デブロッキングフィルタ、適応ループフィルタ(ALF:adaptive loop filter)、およびサンプル適応オフセット(SAO:sample adaptive offset)フィルタなど、1つまたは複数のループフィルタを表すものとする。図4ではフィルタユニット63はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット63はループ後フィルタとして実装され得る。図4はまた、ビデオエンコーダ20によって生成された符号化ビデオデータに対して追加の処理を実行し得る後処理デバイス57を示す。オフセットシンタックス要素をもつパラメータセットを生成することを含む本開示の技法は、いくつかの事例ではビデオエンコーダ20によって実装され得る。しかしながら、他の事例では、本開示の技法は後処理デバイス57によって実装され得る。
[0152]図4に示すように、ビデオエンコーダ20はビデオデータを受信し、区分ユニット35はデータをビデオブロックに区分する。この区分は、たとえば、LCUおよびCUの4分木構造に応じて、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロック区分をも含み得る。ビデオエンコーダ20は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに(および、場合によっては、タイルと呼ばれるビデオブロックのセットに)分割され得る。予測処理ユニット41は、誤差結果(たとえば、コーディングレートおよびひずみレベル)に基づいて現在ビデオブロックのために、複数のイントラコーディングモードのうちの1つ、または複数のインターコーディングモードのうちの1つなど、複数の可能なコーディングモードのうちの1つを選択し得る。予測処理ユニット41は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器50に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器62に与え得る。
[0153]予測処理ユニット41内のイントラ予測処理ユニット46は、空間圧縮を行うために、コーディングされるべき現在ブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対して現在ビデオブロックのイントラ予測コーディングを実行し得る。予測処理ユニット41内の動き推定ユニット42および動き補償ユニット44は、時間圧縮を行うために、1つまたは複数の参照ピクチャ中の1つまたは複数の予測ブロックに対して現在ビデオブロックのインター予測コーディングを実行する。
[0154]動き推定ユニット42は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを判断するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをPスライス、BスライスまたはGPBスライスに指定し得る。動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示し得る。
[0155]予測ブロックは、絶対差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、または他の差分メトリックによって判断され得るピクセル差分に関して、コーディングされるべきビデオブロックのPUにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ20は、ピクチャメモリ64に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、参照ピクチャの1/4ピクセル位置、1/8ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット42は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
[0156]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのPUのための動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択され得、それらの参照ピクチャリストの各々は、ピクチャメモリ64に記憶された1つまたは複数の参照ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。
[0157]動き補償ユニット44によって実行される動き補償は、動き推定によって判断された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在ビデオブロックのPUのための動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャリストのうちの1つにおいて動きベクトルが指す予測ブロックの位置を特定し得る。ビデオエンコーダ20は、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。動き補償ユニット44はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0158]イントラ予測処理ユニット46は、上記で説明したように、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測処理ユニット46は、現在ブロックを符号化するために使用すべきイントラ予測モードを判断し得る。いくつかの例では、イントラ予測処理ユニット46は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット46(または、いくつかの例では、モード選択ユニット40)は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。たとえば、イントラ予測処理ユニット46は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ(または誤差)の量、ならびに符号化ブロックを生成するために使用されるビットレート(すなわち、ビット数)を判断する。イントラ予測処理ユニット46は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを判断するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
[0159]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット46は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット56に与え得る。エントロピー符号化ユニット56は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含め得る。
[0160]予測処理ユニット41が、インター予測またはイントラ予測のいずれかを介して、現在ビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ20は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、1つまたは複数のTU中に含まれ、変換処理ユニット52に適用され得る。変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット52は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換し得る。
[0161]変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行し得る。
[0162]量子化の後に、エントロピー符号化ユニット56は、量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディングあるいは別のエントロピー符号化方法または技法を実行し得る。エントロピー符号化ユニット56によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ30に送信されるか、あるいはビデオデコーダ30が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット56はまた、コード化されている現在ビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
[0163]逆量子化ユニット58および逆変換処理ユニット60は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット44は、残差ブロックを参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器62は、再構築された残差ブロックを動き補償ユニット44によって生成された動き補償予測ブロックに加算して、ピクチャメモリ64に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット42および動き補償ユニット44によって参照ブロックとして使用され得る。
[0164]このように、図4のビデオエンコーダ20は、表1〜表21において上記で説明したシンタックスを生成するように構成されたビデオエンコーダの一例を表す。ビデオエンコーダ20は、たとえば、上記で説明したようにVPS、SPS、PPS、およびAPSパラメータセットを生成し得る。一例では、ビデオエンコーダ20は、1つまたは複数の初期固定長シンタックス要素と、それに続くオフセットシンタックス要素とを含むコード化ビデオデータのためのパラメータセットを生成し得る。1つまたは複数の初期固定長シンタックス要素は、たとえば、セッションネゴシエーションに関係する情報を含み得る。オフセットシンタックス要素は、パラメータセットがMANEによって処理されるときにスキップされるべきバイト数を示し得る。スキップされるべき数のバイトは、たとえば、1つまたは複数の可変長シンタックス要素を含み得る。ビデオエンコーダ20は、パラメータセット中に、スキップされるバイトに続いて、追加の固定長シンタックス要素を含み得る。追加の固定長シンタックス要素は、たとえば、ビデオデータの別のレイヤに関係する情報を含み得る。一例では、初期固定長シンタックス要素は、ベースレイヤのためのセッションネゴシエーションに関係する情報を含み得るが、追加の固定長シンタックス要素は、非ベースレイヤのためのセッションネゴシエーションに関係する情報を含み得る。
[0165]ビデオエンコーダ20は、1つまたは複数の可変長シンタックス要素をコーディングするために使用されるビット数に基づいてオフセットシンタックス要素の値を判断し得る。たとえば、第1のVPSについて、スキップされるべきシンタックス要素が、2ビット、3ビット、および5ビットという3つの固定長シンタックス要素、ならびに2ビット、4ビット、5ビット、および3ビットという4つの可変長シンタックス要素を含むと仮定する。この例では、固定長シンタックス要素は合計10ビットを含むが、可変長シンタックス要素は合計14ビットを含む。したがって、第1のVPSについて、ビデオエンコーダ20は、24ビット(たとえば3バイト)がスキップされるべきであることを含めて、オフセットシンタックス要素の値を24に設定し得る。第2のVPSについては、固定シンタックス要素のビット数は同じく10になるが、可変長シンタックス要素のために使用されるビット数は異なり得る。したがって、第2のVPSについて、ビデオエンコーダ20は、オフセットシンタックス要素のための値を異なる値に設定し得る。
[0166]本開示の技法について、概してビデオエンコーダ20に関して説明したが、上述のように、本開示の技法のいくつかは後処理デバイス57によっても実装され得る。たとえば、後処理デバイス57は、ビデオエンコーダ20によって生成されたビデオデータの複数のレイヤのためのVPSを生成し得る。
[0167]図5は、本開示で説明する技法を実装し得る例示的なビデオデコーダ30を示すブロック図である。ビデオデコーダ30たとえば、表1〜表21に関して上記で説明したシンタックス構造を処理し、パースするように構成され得る。図5の例では、ビデオデコーダ30は、エントロピー復号ユニット80と、予測処理ユニット81と、逆量子化ユニット86と、逆変換処理ユニット88と、加算器90と、フィルタユニット91と、ピクチャメモリ92とを含む。予測処理ユニット81は、動き補償ユニット82と、イントラ予測処理ユニット84とを含む。ビデオデコーダ30は、いくつかの例では、図4のビデオエンコーダ20に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
[0168]復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ30は、ネットワークエンティティ79から符号化ビデオビットストリームを受信し得る。ネットワークエンティティ79は、たとえば、上記で説明した技法のうちの1つまたは複数を実装するように構成されたサーバ、MANE、ビデオエディタ/スプライサ、または他のそのようなデバイスであり得る。ネットワークエンティティ79は、ビデオエンコーダ20を含むことも、含まないこともある。上記で説明したように、本開示で説明する技法のいくつかは、ネットワークエンティティ79が符号化ビデオビットストリームをビデオデコーダ30に送信するより前にネットワークエンティティ79によって実装され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ79およびビデオデコーダ30は別個のデバイスの部分であり得るが、他の事例では、ネットワークエンティティ79に関して説明する機能は、ビデオデコーダ30を備える同じデバイスによって実行され得る。
[0169]ネットワークエンティティ79は、ビデオビットストリームに関連するパラメータセットのための1つまたは複数の初期シンタックス要素を処理することと、パラメータセット中で、パラメータセット内でスキップされるべきシンタックス要素を識別するパラメータセットのためのオフセットシンタックス要素を受信することと、オフセットシンタックス要素に基づいて、パラメータセット内のシンタックス要素をスキップすることとを行うように構成されたビデオ処理デバイスの一例を表す。ネットワークエンティティ79はまた、パラメータセット中の1つまたは複数の追加のシンタックス要素を処理し得る。1つまたは複数の追加のシンタックス要素は、パラメータセット中のスキップされるシンタックス要素の後にある。
[0170]復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオブロックは、たとえば、図1のMANE29または図5のネットワークエンティティ79など、1つまたは複数のMANEを介してビデオエンコーダ20からビデオデコーダ30にルーティングされ得る。ビデオデコーダ30のエントロピー復号ユニット80は、ビットストリームをエントロピー復号して、量子化係数、動きベクトル、および他のシンタックス要素を生成する。エントロピー復号ユニット80は、予測処理ユニット81に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
[0171]上記で紹介したように、エントロピー復号ユニット80は、VPS、SPS、PPS、およびAPSなど、または複数のパラメータセット中の固定長シンタックス要素と可変長シンタックス要素の両方を処理し、パースし得る。パラメータセットのうちの1つまたは複数、たとえばVPS中で、ビデオデコーダ30は、本開示で説明するオフセットシンタックス要素を受信し得る。オフセットシンタックス要素を受信したことに応答して、ビデオデコーダ30は、オフセットシンタックス要素の値を本質的に無視することができる。たとえば、ビデオデコーダ30は、オフセットシンタックス要素を受信し得るが、いかなるシンタックス要素をもスキップすることなしにオフセットシンタックス要素に後続する、可変長シンタックス要素を含むシンタックス要素を復号し続け得る。
[0172]ビデオスライスがイントラコード化(I)スライスとしてコーディングされたとき、予測処理ユニット81のイントラ予測処理ユニット84は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化(すなわち、B、PまたはGPB)スライスとしてコーディングされたとき、予測処理ユニット81の動き補償ユニット82は、エントロピー復号ユニット80から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つから生成され得る。ビデオデコーダ30は、ピクチャメモリ92に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト0およびリスト1を構成し得る。
[0173]動き補償ユニット82は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックのための予測情報を判断し、その予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット82は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラまたはインター予測)、インター予測スライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)、スライスの参照ピクチャリストのうちの1つまたは複数についての構成情報、スライスの各インター符号化ビデオブロックについての動きベクトル、スライスの各インターコード化ビデオブロックについてのインター予測ステータス、および現在ビデオスライス中のビデオブロックを復号するための他の情報を判断するために、受信されたシンタックス要素のいくつかを使用する。
[0174]動き補償ユニット82はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット82は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット82は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを判断し、その補間フィルタを使用して予測ブロックを生成し得る。
[0175]逆量子化ユニット86は、ビットストリーム中で与えられ、エントロピー復号ユニット80によって復号された量子化変換係数を逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)する。逆量子化プロセスは、量子化の程度を判断し、同様に、適用されるべき逆量子化の程度を判断するための、ビデオスライス中の各ビデオブロックについてビデオエンコーダ20によって計算される量子化パラメータの使用を含み得る。逆変換ユニット88は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆DCT、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
[0176]動き補償ユニット82が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ30は、逆変換処理ユニット88からの残差ブロックを動き補償ユニット82によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器90は、この加算演算を実行する1つまたは複数の構成要素を表す。所望される場合、ピクセル遷移を平滑化するか、またはさもなければビデオ品質を改善するために、(コーディングループ内またはコーディングループ後の)ループフィルタも使用され得る。フィルタユニット91は、デブロッキングフィルタ、適応ループフィルタ(ALF)、およびサンプル適応オフセット(SAO)フィルタなど、1つまたは複数のループフィルタを表すものとする。図5ではフィルタユニット91はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット91はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶するピクチャメモリ92に記憶される。ピクチャメモリ92はまた、図1のディスプレイデバイス32などのディスプレイデバイス上に後で提示するために、復号ビデオを記憶する。
[0177]このように、図5のビデオデコーダ30は、表1〜表21において上記で説明したシンタックスをパースするように構成されたビデオデコーダの一例を表す。ビデオデコーダ30は、たとえば、上記で説明したようにVPS、SPS、PPS、およびAPSパラメータセットをパースし得る。
[0178]図6は、ネットワーク150の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク150は、ルーティングデバイス154A、154B(ルーティングデバイス154)と、トランスコーディングデバイス156とを含む。ルーティングデバイス154およびトランスコーディングデバイス156は、ネットワーク150の一部を形成し得る少数のデバイスを表すものである。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスなどの他のネットワークデバイスも、ネットワーク150内に含まれ得る。その上、サーバデバイス152とクライアントデバイス158との間にネットワーク経路に沿って追加のネットワークデバイスが与えられ得る。いくつかの例では、サーバデバイス152はソースデバイス12(図1)に対応し得るが、クライアントデバイス158は宛先デバイス14(図1)に対応し得る。ルーティングデバイス154は、たとえば、メディアデータを駆逐するように構成されたMANEであり得る。
[0179]概して、ルーティングデバイス154は、ネットワーク150を介してネットワークデータを交換するための1つまたは複数のルーティングプロトコルを実装する。概して、ルーティングデバイス154は、ネットワーク150を介したルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス154Bは、それ自体からルーティングデバイス154Aを介してサーバデバイス152へ至るネットワークルートを発見し得る。図6の様々なデバイスは、本開示の技法を実装し得るデバイスの例を表している。ルーティングデバイス154は、たとえば、本開示に従ってVPSなどのパラメータセットのシンタックス要素をパースするように構成されたメディアアウェアネットワーク要素であり得る。たとえば、ルーティングデバイス154は、VPS中で1つまたは複数の初期固定長シンタックス要素を受信し、その固定長シンタックス要素をパースし、処理し得る。初期固定長シンタックス要素は、たとえば、セッションネゴシエーションに関係するシンタックス要素であり得る。ルーティングデバイス154はまた、VPS中で、オフセットシンタックス要素を受信し得る。オフセットシンタックス要素は、スキップされるべきバイト数を識別し得る。ルーティングデバイス154は、指定されたバイト数をスキップすることができ、指定されたバイト数をスキップした後に、VPS内の固定長シンタックス要素をパースし、処理すること再開することができる。ルーティングデバイス154はエントロピー復号演算を実行することができないので、スキップされるバイトは、ルーティングデバイス154がパースすることができない1つまたは複数の可変長シンタックス要素を含み得る。
[0180]図7は、本開示の技法に従ってどのようにオフセットシンタックス要素を処理すべきかの一例を示すフローチャートである。図7の技法について、図1のMANE29、または図6のルーティングデバイス154のうちの1つなど、ネットワークデバイスに関して説明する。ネットワークエンティティは、ビデオビットストリームに関連するパラメータセットのための1つまたは複数の初期シンタックス要素を処理する(171)。1つまたは複数の初期シンタックス要素は、さらに固定長シンタックス要素を含み、オフセットシンタックス要素に先行し得る。1つまたは複数の初期シンタックス要素は、セッションネゴシエーションに関係する情報を含むシンタックス要素を含み得る。さらに、1つまたは複数の初期シンタックス要素は、ビデオデータのベースレイヤのためのシンタックス要素を備え、1つまたは複数の追加のシンタックス要素は、ビデオデータの非ベースレイヤのためのシンタックス要素を備える。
[0181]ネットワークエンティティは、ビデオビットストリーム中でパラメータセットのためのオフセットシンタックス要素を受信する(172)。オフセットシンタックス要素は、パラメータセット内でスキップされるべきビット数を識別する。オフセットシンタックス要素は、たとえば、ビデオパラメータセットの一部であり得る。スキップされるべき数のビットは、たとえば、可変長コーディングを使用してコーディングされる1つまたは複数のシンタックス要素に対応し得る。オフセットシンタックス要素に基づいて、ネットワークエンティティは、パラメータセット内のビット数をスキップする(173)。ネットワークエンティティは、パラメータセット中の1つまたは複数の追加のシンタックス要素を処理する(174)。1つまたは複数の追加のシンタックス要素は、パラメータセット中でスキップされるビット数の後にある。1つまたは複数の追加のシンタックス要素は追加の固定長シンタックス要素であり得、1つまたは複数の追加のシンタックス要素は、オフセットシンタックス要素に後続し、スキップされるべきビットに後続し得る。
[0182]図8は、本開示の技法に従ってどのようにオフセットシンタックス要素を処理すべきかの一例を示すフローチャートである。図8の技法について、ビデオデータを符号化するかまたは符号化ビデオデータを処理するように構成されたビデオ処理デバイスに関して説明する。において符号化ビデオデータを処理するように構成されたビデオ処理デバイスの例としては、図1および図4のビデオエンコーダ20、ならびに図4の後処理デバイス57を含む。ビデオ処理デバイスは、ビデオビットストリームに関連するパラメータセットのための1つまたは複数の初期シンタックス要素を生成する(181)。1つまたは複数の初期シンタックス要素は固定長シンタックス要素を含み得、1つまたは複数の初期シンタックス要素はオフセットシンタックス要素に先行し得る。1つまたは複数の初期シンタックス要素は、セッションネゴシエーションに関係する情報を含むシンタックス要素を含み得る。1つまたは複数の初期シンタックス要素は、ビデオデータのベースレイヤのためのシンタックス要素を含み得、1つまたは複数の追加のシンタックス要素は、ビデオデータの非ベースレイヤのためのシンタックス要素を含み得る。
[0183]ビデオ処理デバイスは、パラメータセットのためのオフセットシンタックス要素を生成する(182)。オフセットシンタックス要素は、パラメータセット内でスキップされるべきビット数を識別し得る。オフセットシンタックス要素はビデオパラメータセットの一部であり得る。ビデオ処理デバイスは、スキップされるべき1つまたは複数のシンタックス要素を生成する(183)。スキップされるべきビットは、スキップされるべき1つまたは複数のシンタックス要素を含む。スキップされるべき1つまたは複数のシンタックス要素は、可変長コーディングを使用してコーディングされる1つまたは複数のシンタックス要素を含み得る。ビデオ処理デバイスは、パラメータセット中に1つまたは複数の追加のシンタックス要素を生成する(184)。1つまたは複数の追加のシンタックス要素は、パラメータセット中でスキップされるべきビット数の後にある。1つまたは複数の追加のシンタックス要素は追加の固定長シンタックス要素を含み得、1つまたは複数の追加のシンタックス要素は、オフセットシンタックス要素に後続し、スキップされるべきビットに後続し得る。
[0184]図9は、本開示の技法に従ってどのようにオフセットシンタックス要素を復号すべきかの一例を示すフローチャートである。図9の技法について、図1および図5のビデオデコーダ30など、ビデオデコーダに関して説明する。ビデオデコーダは、ビデオビットストリームに関連するパラメータセットのための1つまたは複数の初期シンタックス要素を復号する(191)。ビデオデコーダは、ビデオビットストリーム中でパラメータセットのためのオフセットシンタックス要素を受信する(192)。オフセットシンタックス要素は、パラメータセット内でスキップされるべきビット数を識別する。ビデオデコーダは、スキップされるべきビットを復号する(193)。いくつかの例では、ビデオデコーダは、エントロピー復号を実行して、スキップされるべきビット中に含まれる可変長シンタックス要素を復号することによって、スキップされるべきビットを復号する。MANEなどのビデオ処理デバイスによってビデオデータが処理されているとき、ビットはスキップされるべきであるが、ビデオデータを復号するためにそれらのビットが必要であり得るので、ビデオデコーダは、たとえば、スキップされるべきビットを復号し得る。ビデオデコーダとは対照的に、MANEは、ビデオデータを完全に復号する必要なしにビデオデータに対してある処理を実行するために、ビットをスキップし得る。いくつかの事例では、MANEは、ビデオデータを復号するために必要なすべての能力を所有さえしないことがある。
[0185]図10は、本開示の技法に従ってどのようにVPSを処理すべきかの一例を示すフローチャートである。図10の技法について、一般的なビデオ処理デバイスに関して説明する。ビデオ処理デバイスは、図1のMANE29、または図6のルーティングデバイス154のうちの1つなど、ネットワークデバイスに対応し得る。ビデオ処理デバイスはさらに、図1および図4のビデオデコーダ30など、ビデオデコーダに対応し得る。ビデオ処理デバイスは、ビデオパラメータセット中で、セッションネゴシエーションに関係する情報を含む1つまたは複数のシンタックス要素を受信する(201)。ビデオ処理デバイスは、ビデオデータ中で、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信する(202)。第1のシーケンスパラメータセットは、ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを含む第1のシンタックス構造を備える。ビデオ処理デバイスは、ビデオデータ中で、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信する(203)。第2のシーケンスパラメータセットは、ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを含む第2のシンタックス構造を備える。ビデオ処理デバイスは、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとを処理する(204)。
[0186]1つまたは複数のシンタックス要素は、たとえば、固定長シンタックス要素であり得、ビデオパラメータセット中で、どんな可変長コード化シンタックス要素にも先行し得る。1つまたは複数のシンタックス要素は、ビデオコーディング規格のプロファイルを識別するシンタックス要素を含み得る。1つまたは複数のシンタックス要素は、さらにまたは代替的に、ビデオコーディング規格のレベルを識別するシンタックス要素を含み得る。そのレベルは、たとえば、ビデオコーディング規格のプロファイルに関連する複数のレベルのうちの1つに対応し得る。
[0187]1つまたは複数のシンタックス要素は、第1のシンタックス要素と第2のシンタックス要素とを含み得る。第1のシンタックス要素は、第2のシンタックス要素を解釈するためのコンテキストを識別し得、第2のシンタックス要素はプロファイルのグループを識別し得る。ビデオ処理デバイスは、ビデオパラメータセット中で、1つまたは複数の互換性フラグを受信し得、それらの各々はプロファイルのグループからのプロファイルに関連付けられる。1つまたは複数の互換性フラグの各々の値は、ビデオデータが、プロファイルのグループからの関連するプロファイルと互換性があるかどうかを識別し得る。
[0188]1つまたは複数のシンタックス要素はまた、ビデオデータに関連する最大時間レベルを識別する第1のシンタックス要素と、ビデオデータの時間レイヤが、最大時間レベルよりも低いレベルを有するかどうかを識別する第2のシンタックス要素とを含み得る。第2のシンタックス要素が、ビデオデータの時間レイヤが最大時間レベルよりも低いレベルを有することを示すことに応答して、ビデオ処理デバイスは、参照すべきデータの1つまたは複数の時間レイヤのためのレベルを識別する追加のシンタックス要素を受信し得る。
[0189]ビデオ処理デバイスがビデオデコーダである事例では、ビデオデコーダは、ビデオブロックの第1のセットと、ビデオブロックの第2のセットとを復号し得る。ビデオ処理デバイスがMANEである事例では、MANEは、クライアントデバイスに、ビデオブロックの第1のセットと、ビデオブロックの第2のセットとを転送し得る。
[0190]図11は、本開示の技法に従ってどのようにVPS中に含めるためのシンタックス要素を生成すべきかの一例を示すフローチャートである。図8の技法について、ビデオデータを符号化するかまたは符号化ビデオデータを処理するように構成されたビデオ処理デバイスに関して説明する。において符号化ビデオデータを処理するように構成されたビデオ処理デバイスの例としては、図1および図4のビデオエンコーダ20、ならびに図4の後処理デバイス57を含む。ビデオ処理デバイスは、ビデオパラメータセット中に含めるために、セッションネゴシエーションに関係する情報を含む1つまたは複数のシンタックス要素を生成する(211)。ビデオ処理デバイスは、ビデオデータ中に含めるために、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを生成する(212)。第1のシーケンスパラメータセットは、ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを含む第1のシンタックス構造を備える。ビデオ処理デバイスは、ビデオデータ中に含めるために、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを生成する(213)。第2のシーケンスパラメータセットは、ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを含む第2のシンタックス構造を備える。ビデオ処理デバイスは、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとを符号化する(214)。
[0191]1つまたは複数のシンタックス要素は、たとえば、固定長シンタックス要素であり得、ビデオパラメータセット中で、どんな可変長コード化シンタックス要素にも先行し得る。1つまたは複数のシンタックス要素は、ビデオコーディング規格のプロファイルを識別するシンタックス要素を含み得る。1つまたは複数のシンタックス要素は、さらにまたは代替的に、ビデオコーディング規格のレベルを識別するシンタックス要素を含み得る。そのレベルは、たとえば、ビデオコーディング規格のプロファイルに関連する複数のレベルのうちの1つに対応し得る。
[0192]1つまたは複数のシンタックス要素は、第1のシンタックス要素と第2のシンタックス要素とを含み得る。第1のシンタックス要素は、第2のシンタックス要素を解釈するためのコンテキストを識別し得、第2のシンタックス要素はプロファイルのグループを識別し得る。ビデオ処理デバイスは、ビデオパラメータセット中で、1つまたは複数の互換性フラグを受信し得、それらの各々はプロファイルのグループからのプロファイルに関連付けられる。1つまたは複数の互換性フラグの各々の値は、ビデオデータが、プロファイルのグループからの関連するプロファイルと互換性があるかどうかを識別し得る。
[0193]1つまたは複数のシンタックス要素はまた、ビデオデータに関連する最大時間レベルを識別する第1のシンタックス要素と、ビデオデータの時間レイヤが、最大時間レベルよりも低いレベルを有するかどうかを識別する第2のシンタックス要素とを含み得る。第2のシンタックス要素が、ビデオデータの時間レイヤが最大時間レベルよりも低いレベルを有することを示すことに応答して、ビデオ処理デバイスは、参照すべきデータの1つまたは複数の時間レイヤのためのレベルを識別する追加のシンタックス要素を受信し得る。
[0194]図12は、本開示の技法に従ってどのようにVPSを処理すべきかの一例を示すフローチャートである。図12の技法について、一般的なビデオ処理デバイスに関して説明する。ビデオ処理デバイスは、図1のMANE29、または図6のルーティングデバイス154のうちの1つなど、ネットワークデバイスに対応し得る。ビデオ処理デバイスはさらに、図1および図4のビデオデコーダ30など、ビデオデコーダに対応し得る。ビデオ処理デバイスは、ビデオパラメータセット中で、HRDパラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信する(221)。ビデオ処理デバイスは、ビデオデータ中で、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信する(222)。第1のシーケンスパラメータセットは、ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを含む第1のシンタックス構造を備える。ビデオ処理デバイスは、ビデオデータ中で、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信する(223)。第2のシーケンスパラメータセットは、ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを含む第2のシンタックス構造を備える。ビデオ処理デバイスは、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとを処理する(224)。
[0195]図13は、本開示の技法に従ってどのようにVPS中に含めるためのシンタックス要素を生成すべきかの一例を示すフローチャートである。図13の技法について、ビデオデータを符号化するかまたは符号化ビデオデータを処理するように構成されたビデオ処理デバイスに関して説明する。において符号化ビデオデータを処理するように構成されたビデオ処理デバイスの例としては、図1および図4のビデオエンコーダ20、ならびに図4の後処理デバイス57を含む。ビデオ処理デバイスは、ビデオパラメータセット中に含めるために、HRDパラメータに関係する情報を含む1つまたは複数のシンタックス要素を生成する(231)。ビデオ処理デバイスは、ビデオデータ中に含めるために、ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを生成する(232)。第1のシーケンスパラメータセットは、ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを含む第1のシンタックス構造を備える。ビデオ処理デバイスは、ビデオデータ中に含めるために、ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを生成する(233)。第2のシーケンスパラメータセットは、ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを含む第2のシンタックス構造を備える。ビデオ処理デバイスは、1つまたは複数のシンタックス要素に基づいて、第1のパラメータセットに関連するビデオブロックの第1のセットと、第2のパラメータセットに関連するビデオブロックの第2のセットとを符号化する(234)。
[0196]1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、あるいは、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび/またはデータ構造を取り出すために、1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0197]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびBlu−rayディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0198]命令は、1つまたは複数のデジタル信号プロセッサ(DSP)などの1つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用ハードウェアおよび/またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素中に十分に実装され得る。
[0199]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
[0200]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
[0200]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に本願出願当初の特許請求の範囲を付記する。
[C1] ビデオデータを復号する方法であって、前記方法が、
ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、
前記ビデオデータ中で、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、
前記ビデオデータ中で、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、
前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることと
を備える、方法。
[C2] 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、C1に記載の方法。
[C3] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、C1に記載の方法。
[C4] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、C1に記載の方法。
[C5] 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、C4に記載の方法。
[C6] 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、C4に記載の方法。
[C7] 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、C4に記載の方法。
[C8] 前記ビデオデータが2つ以上の時間レイヤを備え、前記方法が、
前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信すること
をさらに備える、C4に記載の方法。
[C9] ビデオデータを符号化する方法であって、前記方法が、
ビデオパラメータセット中に含めるために、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を生成することと、
前記ビデオデータ中に含めるために、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを生成することと、
前記ビデオデータ中に含めるために、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを生成することと、
前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることと
を備える、方法。
[C10] 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、C9に記載の方法。
[C11] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、C9に記載の方法。
[C12] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、C9に記載の方法。
[C13] 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、C12に記載の方法。
[C14] 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、C12に記載の方法。
[C15] 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、C12に記載の方法。
[C16] 前記ビデオデータが2つ以上の時間レイヤを備え、前記方法が、
前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信すること
をさらに備える、C12に記載の方法。
[C17] ビデオデータを処理するためのデバイスであって、前記デバイスが、
ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、前記ビデオデータ中で、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、前記ビデオデータ中で、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを行うように構成されたビデオデコーダ
を備える、デバイス。
[C18] 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、C17に記載のデバイス。
[C19] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、C17に記載のデバイス。
[C20] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、C17に記載のデバイス。
[C21] 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、C20に記載のデバイス。
[C22] 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、C20に記載のデバイス。
[C23] 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、C20に記載のデバイス。
[C24] 前記ビデオデータが2つ以上の時間レイヤを備え、前記ビデオデコーダが、前記ビデオパラメータセット中で、前記時間レイヤの各々のためのHRDパラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信するようにさらに構成された、C20に記載のデバイス。
[C25] ビデオデータを処理するためのデバイスであって、前記デバイスが、
ビデオパラメータセット中に含めるために、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を生成することと、前記ビデオデータ中に含めるために、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを生成することと、前記ビデオデータ中に含めるために、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを生成することと、前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを行うように構成されたビデオエンコーダ
を備える、デバイス。
[C26] 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、C25に記載のデバイス。
[C27] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、C25に記載のデバイス。
[C28] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、C25に記載のデバイス。
[C29] 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、C28に記載のデバイス。
[C30] 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、C28に記載のデバイス。
[C31] 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、C28に記載のデバイス。
[C32] 前記ビデオデータが2つ以上の時間レイヤを備え、前記方法が、
前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信すること
をさらに備える、C28に記載のデバイス。
[C33] 前記デバイスが、
集積回路と、
マイクロプロセッサと、
ビデオデコーダを備えるワイヤレス通信デバイスと
のうちの少なくとも1つを備える、C25に記載のデバイス。
[C34] ビデオデータを処理するためのデバイスであって、前記デバイスが、
ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信するための手段と、
前記ビデオデータ中で、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信するための手段と、
前記ビデオデータ中で、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信するための手段と、
前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングするための手段と
を備える、デバイス。
[C35] 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、C34に記載のデバイス。
[C36] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、C34に記載のデバイス。
[C37] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、C34に記載のデバイス。
[C38] 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、C37に記載のデバイス。
[C39] 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、C37に記載のデバイス。
[C40] 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、C37に記載のデバイス。
[C41] 前記ビデオデータが2つ以上の時間レイヤを備え、前記デバイスが、
前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信するための手段
をさらに備える、C37に記載のデバイス。
[C42] 1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、
前記ビデオデータ中で、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、
前記ビデオデータ中で、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、
前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることと
を行わせる命令を記憶したコンピュータ可読記憶媒体。
[C43] 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、C42に記載のコンピュータ可読記憶媒体。
[C44] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、C42に記載のコンピュータ可読記憶媒体。
[C45] HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、C42に記載のコンピュータ可読記憶媒体。
[C46] 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、C45に記載のコンピュータ可読記憶媒体。
[C47] 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、C45に記載のコンピュータ可読記憶媒体。
[C48] 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、C45に記載のコンピュータ可読記憶媒体。
[C49] 前記ビデオデータが2つ以上の時間レイヤを備え、前記コンピュータ可読記憶媒体が、実行されたとき、前記1つまたは複数のプロセッサに、前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信させるさらなる命令を記憶する、C45に記載のコンピュータ可読記憶媒体。

Claims (49)

  1. ビデオデータを復号する方法であって、前記方法が、
    ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、
    前記ビデオデータ中で、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、
    前記ビデオデータ中で、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、
    前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることと
    を備える、方法。
  2. 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、請求項1に記載の方法。
  3. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、請求項1に記載の方法。
  4. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、請求項1に記載の方法。
  5. 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、請求項4に記載の方法。
  6. 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、請求項4に記載の方法。
  7. 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、請求項4に記載の方法。
  8. 前記ビデオデータが2つ以上の時間レイヤを備え、前記方法が、
    前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信すること
    をさらに備える、請求項4に記載の方法。
  9. ビデオデータを符号化する方法であって、前記方法が、
    ビデオパラメータセット中に含めるために、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を生成することと、
    前記ビデオデータ中に含めるために、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを生成することと、
    前記ビデオデータ中に含めるために、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを生成することと、
    前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることと
    を備える、方法。
  10. 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、請求項9に記載の方法。
  11. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、請求項9に記載の方法。
  12. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、請求項9に記載の方法。
  13. 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、請求項12に記載の方法。
  14. 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、請求項12に記載の方法。
  15. 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、請求項12に記載の方法。
  16. 前記ビデオデータが2つ以上の時間レイヤを備え、前記方法が、
    前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信すること
    をさらに備える、請求項12に記載の方法。
  17. ビデオデータを処理するためのデバイスであって、前記デバイスが、
    ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、前記ビデオデータ中で、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、前記ビデオデータ中で、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを行うように構成されたビデオデコーダ
    を備える、デバイス。
  18. 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、請求項17に記載のデバイス。
  19. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、請求項17に記載のデバイス。
  20. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、請求項17に記載のデバイス。
  21. 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、請求項20に記載のデバイス。
  22. 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、請求項20に記載のデバイス。
  23. 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、請求項20に記載のデバイス。
  24. 前記ビデオデータが2つ以上の時間レイヤを備え、前記ビデオデコーダが、前記ビデオパラメータセット中で、前記時間レイヤの各々のためのHRDパラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信するようにさらに構成された、請求項20に記載のデバイス。
  25. ビデオデータを処理するためのデバイスであって、前記デバイスが、
    ビデオパラメータセット中に含めるために、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を生成することと、前記ビデオデータ中に含めるために、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを生成することと、前記ビデオデータ中に含めるために、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを生成することと、前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることとを行うように構成されたビデオエンコーダ
    を備える、デバイス。
  26. 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、請求項25に記載のデバイス。
  27. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、請求項25に記載のデバイス。
  28. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、請求項25に記載のデバイス。
  29. 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、請求項28に記載のデバイス。
  30. 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、請求項28に記載のデバイス。
  31. 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、請求項28に記載のデバイス。
  32. 前記ビデオデータが2つ以上の時間レイヤを備え、前記方法が、
    前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信すること
    をさらに備える、請求項28に記載のデバイス。
  33. 前記デバイスが、
    集積回路と、
    マイクロプロセッサと、
    ビデオデコーダを備えるワイヤレス通信デバイスと
    のうちの少なくとも1つを備える、請求項25に記載のデバイス。
  34. ビデオデータを処理するためのデバイスであって、前記デバイスが、
    ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信するための手段と、
    前記ビデオデータ中で、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信するための手段と、
    前記ビデオデータ中で、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信するための手段と、
    前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングするための手段と
    を備える、デバイス。
  35. 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、請求項34に記載のデバイス。
  36. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、請求項34に記載のデバイス。
  37. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、請求項34に記載のデバイス。
  38. 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、請求項37に記載のデバイス。
  39. 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、請求項37に記載のデバイス。
  40. 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、請求項37に記載のデバイス。
  41. 前記ビデオデータが2つ以上の時間レイヤを備え、前記デバイスが、
    前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信するための手段
    をさらに備える、請求項37に記載のデバイス。
  42. 1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、
    ビデオパラメータセット中で、仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信することと、
    前記ビデオデータ中で、前記ビデオパラメータセットを識別する第1のシンタックス要素を備える第1のシーケンスパラメータセットを受信することと、
    前記ビデオデータ中で、前記ビデオパラメータセットを識別する第2のシンタックス要素を備える第2のシーケンスパラメータセットを受信することと、
    前記1つまたは複数のシンタックス要素に基づいて、前記第1のパラメータセットに関連するビデオブロックの第1のセットと、前記第2のパラメータセットに関連するビデオブロックの第2のセットとをコーディングすることと
    を行わせる命令を記憶したコンピュータ可読記憶媒体。
  43. 前記第1のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の全ピクチャに適用されるシンタックス要素の第1のグループを備える第1のシンタックス構造を備え、前記第2のシーケンスパラメータセットが、前記ビデオデータの1つまたは複数の異なる全ピクチャに適用されるシンタックス要素の第2のグループを備える第2のシンタックス構造を備える、請求項42に記載のコンピュータ可読記憶媒体。
  44. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータがデフォルトHRDパラメータであることを示すシンタックス要素を備える、請求項42に記載のコンピュータ可読記憶媒体。
  45. HRDパラメータに関係する情報を含む前記1つまたは複数のシンタックス要素は、前記ビデオデータのための前記HRDパラメータが前記ビデオデータ中でシグナリングされることを示すシンタックス要素を備える、請求項42に記載のコンピュータ可読記憶媒体。
  46. 前記1つまたは複数のシンタックス要素が、前記ビデオデータのビットレートを示すシンタックス要素を備える、請求項45に記載のコンピュータ可読記憶媒体。
  47. 前記1つまたは複数のシンタックス要素は、前記ビデオデータのビットレートが固定であるか可変であるかを示すシンタックス要素を備える、請求項45に記載のコンピュータ可読記憶媒体。
  48. 前記1つまたは複数のシンタックス要素が、コード化ピクチャバッファ管理のための1つまたは複数のシンタックス要素を備える、請求項45に記載のコンピュータ可読記憶媒体。
  49. 前記ビデオデータが2つ以上の時間レイヤを備え、前記コンピュータ可読記憶媒体が、実行されたとき、前記1つまたは複数のプロセッサに、前記ビデオパラメータセット中で、前記時間レイヤの各々のための仮想リファレンスデコーダ(HRD)パラメータに関係する情報を含む1つまたは複数のシンタックス要素を受信させるさらなる命令を記憶する、請求項45に記載のコンピュータ可読記憶媒体。
JP2015520661A 2012-07-02 2013-07-02 Hevcおよび拡張のためのビデオパラメータセット Active JP6775952B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261667387P 2012-07-02 2012-07-02
US61/667,387 2012-07-02
US201261669587P 2012-07-09 2012-07-09
US61/669,587 2012-07-09
US201361798135P 2013-03-15 2013-03-15
US61/798,135 2013-03-15
US13/932,960 US9635369B2 (en) 2012-07-02 2013-07-01 Video parameter set including HRD parameters
US13/932,960 2013-07-01
PCT/US2013/049126 WO2014008290A1 (en) 2012-07-02 2013-07-02 Video parameter set for hevc and extensions

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016230236A Division JP6400660B2 (ja) 2012-07-02 2016-11-28 Hevcおよび拡張のためのビデオパラメータセット

Publications (3)

Publication Number Publication Date
JP2015526973A true JP2015526973A (ja) 2015-09-10
JP2015526973A5 JP2015526973A5 (ja) 2016-07-28
JP6775952B2 JP6775952B2 (ja) 2020-10-28

Family

ID=49778131

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015520661A Active JP6775952B2 (ja) 2012-07-02 2013-07-02 Hevcおよび拡張のためのビデオパラメータセット
JP2015520658A Active JP6416086B2 (ja) 2012-07-02 2013-07-02 Hevcおよび拡張のためのビデオパラメータセット
JP2016230236A Active JP6400660B2 (ja) 2012-07-02 2016-11-28 Hevcおよび拡張のためのビデオパラメータセット

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015520658A Active JP6416086B2 (ja) 2012-07-02 2013-07-02 Hevcおよび拡張のためのビデオパラメータセット
JP2016230236A Active JP6400660B2 (ja) 2012-07-02 2016-11-28 Hevcおよび拡張のためのビデオパラメータセット

Country Status (17)

Country Link
US (4) US9635369B2 (ja)
EP (3) EP2868086A1 (ja)
JP (3) JP6775952B2 (ja)
KR (3) KR101822247B1 (ja)
CN (3) CN104509115A (ja)
AU (1) AU2013286730B2 (ja)
BR (2) BR112014033008B1 (ja)
CA (1) CA2877658C (ja)
HK (1) HK1204415A1 (ja)
IL (1) IL236071B (ja)
MY (1) MY168860A (ja)
PH (1) PH12014502783B1 (ja)
RU (1) RU2654138C2 (ja)
SG (1) SG11201408118YA (ja)
TW (4) TW201714452A (ja)
UA (1) UA115335C2 (ja)
WO (3) WO2014008286A1 (ja)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
WO2014000160A1 (en) * 2012-06-26 2014-01-03 Intel Corporation Inter-layer coding unit quadtree pattern prediction
MX342499B (es) 2012-06-29 2016-10-03 Sony Corp Dispositivo de descodificación y método de descodificación.
US9635369B2 (en) 2012-07-02 2017-04-25 Qualcomm Incorporated Video parameter set including HRD parameters
IN2015MN00077A (ja) * 2012-07-06 2015-10-16 Samsung Electronics Co Ltd
US9992490B2 (en) 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
RU2015115467A (ru) * 2012-09-28 2016-11-20 Шарп Кабусики Кайся Устройство декодирования изображений
US9936196B2 (en) 2012-10-30 2018-04-03 Qualcomm Incorporated Target output layers in video coding
US20140140406A1 (en) * 2012-11-16 2014-05-22 General Instrument Corporation Devices and methods for processing of non-idr related syntax for high efficiency video coding (hevc)
KR20150096788A (ko) 2012-12-21 2015-08-25 마이크로닉스 인코포레이티드. 마이크로 유체공학 용도를 위한 저탄성 막
JP6164840B2 (ja) * 2012-12-28 2017-07-19 キヤノン株式会社 符号化装置、符号化方法、及びプログラム
US10419778B2 (en) 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
MX361490B (es) 2013-04-07 2018-12-07 Dolby Int Ab Cambio de señalización en grupos de capa de salida.
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9565437B2 (en) 2013-04-08 2017-02-07 Qualcomm Incorporated Parameter set designs for video coding extensions
CN105210370B (zh) * 2013-07-10 2019-04-12 夏普株式会社 运动图像解码装置
US10075735B2 (en) * 2013-07-14 2018-09-11 Sharp Kabushiki Kaisha Video parameter set signaling
US10284862B2 (en) * 2013-07-14 2019-05-07 Sharp Kabushiki Kaisha Signaling indications and constraints
US20160156915A1 (en) * 2013-07-18 2016-06-02 Samsung Electronics Co., Ltd. Video encoding method and apparatus and video decoding method and apparatus using video format parameter delivery
KR101709775B1 (ko) * 2013-07-23 2017-02-23 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
US9774879B2 (en) 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
WO2015045736A1 (ja) * 2013-09-30 2015-04-02 日本放送協会 画像符号化装置、画像復号装置及びそれらのプログラム
US10187662B2 (en) * 2013-10-13 2019-01-22 Sharp Kabushiki Kaisha Signaling parameters in video parameter set extension and decoder picture buffer operation
CN105659606B (zh) 2013-10-14 2019-06-18 微软技术许可有限责任公司 用于视频和图像编码和解码的方法、系统和介质
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US20150103909A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Multi-threaded video encoder
AU2013403224B2 (en) 2013-10-14 2018-10-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
KR102353787B1 (ko) 2014-01-03 2022-01-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015101716A1 (en) 2014-01-03 2015-07-09 Nokia Technologies Oy Parameter set coding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10684687B2 (en) * 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
WO2015115869A1 (ko) * 2014-02-03 2015-08-06 엘지전자 주식회사 트릭 플레이 서비스 제공을 위한 신호 송수신 장치 및 신호 송수신 방법
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US11388441B2 (en) 2014-03-18 2022-07-12 Qualcomm Incorporated Derivation of SPS temporal ID nesting information for multi-layer bitstreams
KR101809969B1 (ko) * 2014-03-18 2017-12-18 엘지전자 주식회사 Hevc 스트림의 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
US9591316B2 (en) * 2014-03-27 2017-03-07 Intel IP Corporation Scalable video encoding rate adaptation based on perceived quality
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
US9402083B2 (en) * 2014-04-24 2016-07-26 Vidyo, Inc. Signaling conformance points using profile space
EP3138293A4 (en) 2014-04-29 2017-05-24 Microsoft Technology Licensing, LLC Encoder-side decisions for sample adaptive offset filtering
US10171823B2 (en) * 2014-05-26 2019-01-01 Sharp Kabushiki Kaisha Image decoding device and image coding device
KR102311815B1 (ko) 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
US10359871B2 (en) * 2014-09-26 2019-07-23 Lg Display Co., Ltd. Display panel and method of manufacturing the same
JP2017535145A (ja) 2014-09-30 2017-11-24 マイクロソフト テクノロジー ライセンシング,エルエルシー 波面並列処理が可能にされた場合のピクチャ内予測モードに関する規則
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format
SG11201706160UA (en) 2015-02-27 2017-09-28 Sonic Ip Inc Systems and methods for frame duplication and frame extension in live video encoding and streaming
CN107534089B (zh) * 2015-04-24 2019-06-14 住友化学株式会社 发光元件和该发光元件中使用的组合物
WO2016197314A1 (en) 2015-06-09 2016-12-15 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
US10630992B2 (en) 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
US10419768B2 (en) * 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
CN106654030A (zh) * 2016-12-14 2017-05-10 上海天马有机发光显示技术有限公司 一种有机发光显示面板及装置
JP2020515169A (ja) * 2017-03-20 2020-05-21 シャープ株式会社 メディアアプリケーションフォーマットでスケーラブル動画像をシグナリングするためのシステム及び方法
JP6597700B2 (ja) 2017-04-13 2019-10-30 トヨタ自動車株式会社 車両の除電装置
US10587904B2 (en) * 2017-07-10 2020-03-10 Qualcomm Incorporated Processing media data using an omnidirectional media format
CN107580224B (zh) * 2017-08-08 2019-11-22 西安理工大学 一种面向hevc熵编码的自适应扫描方法
CN111684812B (zh) * 2017-12-06 2023-12-22 V-诺瓦国际有限公司 解码经编码二维数据流的方法及解码器
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US10721465B2 (en) * 2018-02-14 2020-07-21 Qualcomm Incorporated Motion compensation for cubemap packed frames
KR102486256B1 (ko) 2018-06-26 2023-01-06 후아웨이 테크놀러지 컴퍼니 리미티드 포인트 클라우드 코딩을 위한 하이-레벨 신택스 설계
ES2973667T3 (es) 2018-09-18 2024-06-21 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y métodos correspondientes
EP3837835A4 (en) 2018-09-18 2021-06-23 Huawei Technologies Co., Ltd. CODING PROCESS, DEVICE AND SYSTEM
CN110944350B (zh) * 2018-09-21 2021-11-30 展讯通信(上海)有限公司 拥塞控制系数获取方法及用户终端、计算机可读存储介质
WO2020097232A1 (en) * 2018-11-07 2020-05-14 Futurewei Technologies, Inc. Header parameter set for video coding
SG11202107543SA (en) 2019-01-09 2021-08-30 Huawei Tech Co Ltd Sub-picture layout signaling in video coding
SG11202109980WA (en) * 2019-03-11 2021-10-28 Huawei Tech Co Ltd Sub-picture level filtering in video coding
CN113812151A (zh) * 2019-03-11 2021-12-17 弗劳恩霍夫应用研究促进协会 具有配置文件和级别相关编码选项的编码器和解码器、编码方法和解码方法
US20220217404A1 (en) * 2019-04-15 2022-07-07 Lg Electronics Inc. Scaling list-based video or image coding
KR102540022B1 (ko) * 2019-06-24 2023-06-02 텔레폰악티에볼라겟엘엠에릭슨(펍) 인코딩된 비디오 비트스트림에 포함된 데이터의 양을 줄이기 위한 파라미터 세트의 시그널링 파라미터 값 정보
US11095916B2 (en) * 2019-07-23 2021-08-17 Qualcomm Incorporated Wraparound motion compensation in video coding
WO2021027773A1 (en) * 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Subpicture size definition in video processing
EP4029256A4 (en) 2019-09-12 2022-11-09 Alibaba Group Holding Limited METHOD AND DEVICE FOR SIGNALING VIDEO ENCODING INFORMATION
WO2021050226A1 (en) 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video
WO2021063418A1 (en) * 2019-10-05 2021-04-08 Beijing Bytedance Network Technology Co., Ltd. Level-based signaling of video coding tools
JP7404522B2 (ja) * 2019-10-07 2023-12-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Dpbサイズベースの参照ピクチャエントリ制約条件
AU2020362795A1 (en) * 2019-10-07 2022-04-21 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
US11395007B2 (en) * 2019-12-12 2022-07-19 Tencent America LLC Method for signaling dependent and independent picture header
CN110968714B (zh) * 2019-12-23 2020-11-06 自然资源部国土卫星遥感应用中心 一种卫星遥感影像即时服务方法及即时服务平台
EP4062640A4 (en) 2019-12-26 2023-01-11 ByteDance Inc. PROFILE, ROW AND LAYER INDICATION IN VIDEO CODING
CN114868158A (zh) 2019-12-26 2022-08-05 字节跳动有限公司 层级视频中的解码图片缓冲区参数的信令通知
WO2021134055A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in parameter sets
CN114946174A (zh) 2020-01-09 2022-08-26 字节跳动有限公司 层间参考图片的存在的信令通知
CN115398913A (zh) * 2020-02-29 2022-11-25 抖音视界有限公司 高级语法元素的约束
CN115299051A (zh) 2020-03-11 2022-11-04 抖音视界有限公司 视频编解码的一致性窗口参数
US11431998B2 (en) * 2020-05-22 2022-08-30 Tencent America LLC Systems and methods for decoding based on inferred video parameter sets
WO2021233447A1 (en) 2020-05-22 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Signalling of general constrains flag
CN115699753A (zh) * 2020-05-31 2023-02-03 抖音视界有限公司 具有本地双树模式类型定义的调色板模式
US11503342B2 (en) * 2020-06-10 2022-11-15 Sharp Kabushiki Kaisha Systems and methods for signaling sequence parameter information in video coding
KR20230027156A (ko) * 2020-06-10 2023-02-27 엘지전자 주식회사 서브레이어 레벨 정보에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
EP4138401A1 (en) * 2021-08-17 2023-02-22 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
CN117981323A (zh) * 2021-09-29 2024-05-03 创峰科技 使用可选的基于神经网络的编码工具的视频编码
WO2023075563A1 (ko) * 2021-11-01 2023-05-04 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007537639A (ja) * 2004-05-12 2007-12-20 ノキア コーポレイション 拡張可能媒体のコード化及び伝送のための多数の相互運用点
JP2010028863A (ja) * 2004-08-31 2010-02-04 Panasonic Corp 動画像符号化方法および装置、動画像復号化方法および装置並びに記録方法
JP2010516085A (ja) * 2007-01-05 2010-05-13 トムソン ライセンシング スケーラブル映像符号化用の仮想リファレンスデコーダ
JP2010524394A (ja) * 2007-04-12 2010-07-15 トムソン ライセンシング スケーラブル・ビデオ符号化のためのビデオ・ユーザビリティ情報(vui)用の方法及び装置
JP2010531554A (ja) * 2007-04-18 2010-09-24 トムソン ライセンシング ビデオデータをスケーラブルに符号化する方法
JP2010232720A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1136733C (zh) 1996-11-06 2004-01-28 松下电器产业株式会社 图象解码方法
US6094443A (en) 1997-10-30 2000-07-25 Advanced Micro Devices, Inc. Apparatus and method for detecting a prescribed pattern in a data stream by selectively skipping groups of nonrelevant data bytes
JP3990011B2 (ja) * 1997-10-31 2007-10-10 沖電気工業株式会社 復号画像変換回路および復号画像変換装置
US6301428B1 (en) * 1997-12-09 2001-10-09 Lsi Logic Corporation Compressed video editor with transition buffer matcher
JP3380763B2 (ja) * 1998-01-23 2003-02-24 松下電器産業株式会社 画像処理方法
US6445776B1 (en) * 1998-12-31 2002-09-03 Nortel Networks Limited Abstract interface for media and telephony services
US6651252B1 (en) * 1999-10-27 2003-11-18 Diva Systems Corporation Method and apparatus for transmitting video and graphics in a compressed form
JP2001309372A (ja) 2000-04-17 2001-11-02 Mitsubishi Electric Corp 符号化装置
JP2002010261A (ja) * 2000-06-16 2002-01-11 Nec Corp 画像符号化方式変換装置
US7548565B2 (en) * 2000-07-24 2009-06-16 Vmark, Inc. Method and apparatus for fast metadata generation, delivery and access for live broadcast program
US6661358B1 (en) 2002-09-17 2003-12-09 Enroute, Inc. Decoding variable length codes without conditional branching
US7373005B2 (en) 2003-04-10 2008-05-13 Micron Technology, Inc. Compression system for integrated sensor devices
US7769088B2 (en) * 2003-05-28 2010-08-03 Broadcom Corporation Context adaptive binary arithmetic code decoding engine
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
EP1709815A1 (en) * 2004-01-21 2006-10-11 Koninklijke Philips Electronics N.V. Method of spatial and snr fine granular scalable video encoding and transmission
US6989773B2 (en) 2004-02-13 2006-01-24 Hewlett-Packard Development Company, L.P. Media data encoding device
EP1723539A4 (en) * 2004-03-03 2009-02-25 Packetvideo Network Solutions SYSTEM AND METHOD FOR RECOVERING DIGITAL MULTIMEDIA CONTENT FROM A NETWORK NODE
KR100662350B1 (ko) * 2004-08-23 2007-01-02 엘지전자 주식회사 영상 전송 장치 및 방법
DE102004042819A1 (de) 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
JP4727342B2 (ja) * 2004-09-15 2011-07-20 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
CN100474391C (zh) * 2004-09-15 2009-04-01 索尼株式会社 图像处理装置和图像处理方法
JP2007065928A (ja) * 2005-08-30 2007-03-15 Toshiba Corp 情報記憶媒体、情報処理方法、情報転送方法、情報再生方法、情報再生装置、情報記録方法、情報記録装置、及びプログラム
US20060098001A1 (en) 2004-10-26 2006-05-11 Lai Jimmy K L System and method for effectively preventing image tearing artifacts in displayed image data
US8711878B2 (en) * 2004-12-10 2014-04-29 Broadcom Corporation Upstream channel bonding in a cable communications system
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
US20060233247A1 (en) * 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
KR20080006609A (ko) * 2005-04-13 2008-01-16 노키아 코포레이션 스케일링가능성 정보의 코딩, 저장, 및 시그널링
US8325707B2 (en) * 2005-04-22 2012-12-04 Rockstar Consortium Us Lp Session initiation from application servers in an IP multimedia subsystem
US20060239563A1 (en) * 2005-04-25 2006-10-26 Nokia Corporation Method and device for compressed domain video editing
US7974341B2 (en) * 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
US8457203B2 (en) 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
KR101245576B1 (ko) * 2005-10-11 2013-03-20 노키아 코포레이션 효율적인 규모가변적 스트림 조정을 위한 시스템 및 방법
JP4874343B2 (ja) * 2006-01-11 2012-02-15 ノキア コーポレイション スケーラブルビデオ符号化における、下位互換性のあるピクチャの集約
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
US8358704B2 (en) * 2006-04-04 2013-01-22 Qualcomm Incorporated Frame level multimedia decoding with frame information table
US8275045B2 (en) * 2006-07-12 2012-09-25 Qualcomm Incorporated Video compression using adaptive variable length codes
US9344362B2 (en) * 2007-01-12 2016-05-17 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, QOS control algorithm and apparatus for IPV6 label switching using the format
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
US20080253467A1 (en) 2007-04-13 2008-10-16 Nokia Corporation System and method for using redundant pictures for inter-layer prediction in scalable video coding
KR101615967B1 (ko) * 2007-04-17 2016-04-28 톰슨 라이센싱 멀티뷰 비디오 코딩을 위한 가설의 참조 디코더
KR101242472B1 (ko) * 2008-07-16 2013-03-12 노키아 코포레이션 트랙 및 트랙 서브세트의 그룹화를 위한 방법 및 장치
US8332725B2 (en) 2008-08-20 2012-12-11 Densbits Technologies Ltd. Reprogramming non volatile memory portions
US20100091841A1 (en) * 2008-10-07 2010-04-15 Motorola, Inc. System and method of optimized bit extraction for scalable video coding
US8760492B2 (en) 2009-01-30 2014-06-24 Polycom, Inc. Method and system for switching between video streams in a continuous presence conference
KR101504887B1 (ko) 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
US8520958B2 (en) 2009-12-21 2013-08-27 Stmicroelectronics International N.V. Parallelization of variable length decoding
US20120063515A1 (en) 2010-09-09 2012-03-15 Qualcomm Incorporated Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
US20120124633A1 (en) 2010-11-15 2012-05-17 International Business Machines Corporation Wireless Video Streaming Quality Management for Bandwidth Constrained Cellular Network
US10034009B2 (en) * 2011-01-14 2018-07-24 Vidyo, Inc. High layer syntax for temporal scalability
US9215473B2 (en) * 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US8787688B2 (en) 2011-10-13 2014-07-22 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
UA125468C2 (uk) * 2012-04-13 2022-03-23 ДЖ.І. ВІДІЕУ КЕМПРЕШН, ЛЛСі Кодування картинки з малою затримкою
US9635369B2 (en) 2012-07-02 2017-04-25 Qualcomm Incorporated Video parameter set including HRD parameters
US9654802B2 (en) 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9565437B2 (en) 2013-04-08 2017-02-07 Qualcomm Incorporated Parameter set designs for video coding extensions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007537639A (ja) * 2004-05-12 2007-12-20 ノキア コーポレイション 拡張可能媒体のコード化及び伝送のための多数の相互運用点
JP2010028863A (ja) * 2004-08-31 2010-02-04 Panasonic Corp 動画像符号化方法および装置、動画像復号化方法および装置並びに記録方法
JP2010516085A (ja) * 2007-01-05 2010-05-13 トムソン ライセンシング スケーラブル映像符号化用の仮想リファレンスデコーダ
JP2010524394A (ja) * 2007-04-12 2010-07-15 トムソン ライセンシング スケーラブル・ビデオ符号化のためのビデオ・ユーザビリティ情報(vui)用の方法及び装置
JP2010531554A (ja) * 2007-04-18 2010-09-24 トムソン ライセンシング ビデオデータをスケーラブルに符号化する方法
JP2010232720A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AJAY LUTHRA(外1名): "US Experts' Comments on the errata reports on JVT-G050 reported in JVT-H010d4", JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6) JVT-, JPN6017013910, 28 May 2003 (2003-05-28), US, pages 1 - 19, ISSN: 0003732605 *
BENJAMIN BROSS(外4名): "High Efficiency Video Coding (HEVC) text specification draft 7", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6017013906, 29 June 2012 (2012-06-29), US, pages 29 - 39, ISSN: 0003915127 *
JILL BOYCE(外2名): "Parameter sets modifications for temporal scalability and extension hooks", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6017013908, 7 May 2012 (2012-05-07), US, pages 1 - 8, ISSN: 0003915128 *
LIHUA ZHU(外3名): "SVC Hypothetical Reference Decoder", JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6) JVT-V, JPN6017013912, 19 January 2007 (2007-01-19), US, pages 1 - 7, XP055425515, ISSN: 0003915129 *

Also Published As

Publication number Publication date
TW201412128A (zh) 2014-03-16
JP6775952B2 (ja) 2020-10-28
KR101799165B1 (ko) 2017-11-17
BR122017006773B1 (pt) 2023-04-04
PH12014502783A1 (en) 2015-02-02
MY168860A (en) 2018-12-04
IL236071B (en) 2018-01-31
CA2877658A1 (en) 2014-01-09
WO2014008290A1 (en) 2014-01-09
KR102006531B1 (ko) 2019-08-01
AU2013286730A1 (en) 2015-01-22
US20140003492A1 (en) 2014-01-02
US20140003491A1 (en) 2014-01-02
IL236071A0 (en) 2015-01-29
SG11201408118YA (en) 2015-01-29
TW201415895A (zh) 2014-04-16
BR122017006773A2 (pt) 2019-09-03
AU2013286730B2 (en) 2017-07-20
JP6400660B2 (ja) 2018-10-03
JP6416086B2 (ja) 2018-10-31
US9602827B2 (en) 2017-03-21
EP3200465A1 (en) 2017-08-02
KR20150036249A (ko) 2015-04-07
CA2877658C (en) 2018-05-15
TW201414315A (zh) 2014-04-01
JP2015526972A (ja) 2015-09-10
HK1204415A1 (en) 2015-11-13
KR20150024934A (ko) 2015-03-09
JP2017079480A (ja) 2017-04-27
WO2014008286A1 (en) 2014-01-09
CN107105295A (zh) 2017-08-29
EP3200465B1 (en) 2023-12-13
WO2014008287A1 (en) 2014-01-09
TWI595772B (zh) 2017-08-11
EP3200465C0 (en) 2023-12-13
TWI575936B (zh) 2017-03-21
RU2654138C2 (ru) 2018-05-16
TW201714452A (zh) 2017-04-16
CN104396253B (zh) 2018-10-26
CN107105295B (zh) 2020-10-20
US9635369B2 (en) 2017-04-25
CN104509115A (zh) 2015-04-08
UA115335C2 (uk) 2017-10-25
EP2868085A1 (en) 2015-05-06
EP2868086A1 (en) 2015-05-06
BR112014033008A2 (pt) 2017-06-27
KR101822247B1 (ko) 2018-01-25
TWI552574B (zh) 2016-10-01
BR112014033011A2 (pt) 2017-06-27
PH12014502783B1 (en) 2015-02-02
CN104396253A (zh) 2015-03-04
RU2015103126A (ru) 2016-08-20
KR20160148038A (ko) 2016-12-23
BR112014033008B1 (pt) 2023-04-18
US9716892B2 (en) 2017-07-25
US20140003493A1 (en) 2014-01-02
US20170094277A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
JP6400660B2 (ja) Hevcおよび拡張のためのビデオパラメータセット
JP6549145B2 (ja) マルチレイヤコーデックのためのhevc seiメッセージの汎用的な使用
JP6117243B2 (ja) ビデオコーディング用のコーディングパラメータセットおよびnalユニットヘッダ
JP6509842B2 (ja) 高効率ビデオコーディング拡張におけるターゲット出力レイヤの選択
JP6728074B2 (ja) マルチレイヤビデオコーディング
JP6158422B2 (ja) アラインされていないirapピクチャを含み得るマルチレイヤビットストリームのクロスレイヤpocアラインメント
US20150092837A1 (en) Inter-view dependency type in mv-hevc
JP6242904B2 (ja) マルチビュー、3次元(3d)およびスケーラブルメディアビットストリームのためのサブビットストリーム抽出

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190404

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201007

R150 Certificate of patent or registration of utility model

Ref document number: 6775952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250